視頻會(huì)議虛擬端點(diǎn)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及提供高效大型視頻會(huì)議的方法、計(jì)算程序和系統(tǒng)。
【背景技術(shù)】
[0002]動(dòng)態(tài)圖像的實(shí)時(shí)傳輸被用于多種應(yīng)用中，比如說，視頻會(huì)議、網(wǎng)絡(luò)會(huì)談、和視頻電話。
[0003]視頻會(huì)議系統(tǒng)允許音頻、視頻、和數(shù)據(jù)信息在多個(gè)會(huì)議場(chǎng)所之間的同時(shí)交換。被稱多點(diǎn)控制單元(MCU)的系統(tǒng)執(zhí)行切換功能以允許多個(gè)場(chǎng)所的端點(diǎn)在會(huì)議中互相通信。端點(diǎn)通常指的是視頻會(huì)議終端，無論是至少配備有相機(jī)、顯示器、揚(yáng)聲器或耳機(jī)和處理器的獨(dú)立終端，還是被安裝在具有相應(yīng)性能的通用計(jì)算機(jī)上的視頻會(huì)議軟件客戶端。在以下說明書中，這也會(huì)被稱為“實(shí)際端點(diǎn)”，以與“虛擬端點(diǎn)”相區(qū)分，虛擬端點(diǎn)的定義隨后會(huì)在說明書中進(jìn)行公開。
[0004]MCU通過從場(chǎng)所接收會(huì)議信號(hào)的幀、對(duì)接收的信號(hào)進(jìn)行處理、以及向合適的場(chǎng)所重新傳送處理過的信號(hào)，來將這些場(chǎng)所聯(lián)系在一起。會(huì)議信號(hào)包括音頻、視頻、數(shù)據(jù)和控制信息。在切換會(huì)議中，來自端點(diǎn)中的一個(gè)端點(diǎn)的視頻信號(hào)(通常是最大聲的發(fā)言人的視頻信號(hào))被廣播至每個(gè)參與者。在連續(xù)呈現(xiàn)的會(huì)議中，來自兩個(gè)或多個(gè)場(chǎng)所的視頻信號(hào)被空間混合以形成供參會(huì)者觀看的復(fù)合視頻信號(hào)。當(dāng)不同的視頻流被一起混合成一個(gè)單一視頻流時(shí)，合成的視頻流被傳送至視頻會(huì)議的不同方，其中每個(gè)被傳送的視頻流優(yōu)選地遵守指示誰接收哪個(gè)視頻流的一組方案。一般來說，不同的用戶更喜歡接收不同的視頻流。連續(xù)呈現(xiàn)的或合成的圖像是可能包括來自會(huì)議參與者的直播視頻流、靜態(tài)圖像、菜單或其它可視圖像的混合圖片。該混合圖片可例如由若干相同大小的圖片組成、或由一個(gè)主圖片和在內(nèi)嵌窗口中的一個(gè)或多個(gè)較小圖片(通常被稱為畫中畫(PIP))組成。由于在屏幕內(nèi)大小的不同，PIP通常要求比主圖片的分辨率低得多的分辨率。
[0005]使用H.323和SIP標(biāo)準(zhǔn)的現(xiàn)有MCU的關(guān)鍵問題是缺少可伸縮性。為了主辦大型會(huì)談，可利用以下三種解決方案中的一種:
[0006]所有的端點(diǎn)呼入單一位置的一個(gè)大的MCU。這個(gè)解決方案的問題是過多的帶寬消耗。舉例來說，如果視頻會(huì)議包括位于美國和歐洲的大量端點(diǎn)且MCU位于紐約，這就需要跨越MCU和在歐洲的端點(diǎn)之間的大西洋的巨大帶寬使用量。
[0007]另一種可能性是通過使用H.243或其類似來級(jí)聯(lián)若干MCU。這個(gè)解決方案的問題是可能會(huì)出現(xiàn)間斷的用戶體驗(yàn)。當(dāng)所有端點(diǎn)呼入同一 MCU時(shí)，參與者通常會(huì)同時(shí)看到最近的4至10個(gè)發(fā)言人。當(dāng)端點(diǎn)呼入兩個(gè)不同MCU時(shí)，端點(diǎn)只能看到與另一 MCU相連的端點(diǎn)中的一個(gè)。
[0008]已經(jīng)存在使用諸如SVC(可擴(kuò)展視頻編碼)之類的技術(shù)處理上面討論的問題的不基于標(biāo)準(zhǔn)的MCU，但是對(duì)基于標(biāo)準(zhǔn)的端點(diǎn)的投資會(huì)被損失掉，并且還會(huì)出現(xiàn)互操作性的問題。

【發(fā)明內(nèi)容】

[0009]本文實(shí)施例的一個(gè)目標(biāo)是克服或者至少緩解上面提到的缺點(diǎn)。通過所附的獨(dú)立權(quán)利要求來實(shí)現(xiàn)這個(gè)目標(biāo)和其它目標(biāo)。
[0010]根據(jù)第一方面，提供了虛擬端點(diǎn)，該虛擬端點(diǎn)被適配為安裝在計(jì)算機(jī)設(shè)備上，該計(jì)算機(jī)設(shè)備與適合參與多方視頻會(huì)議的視頻會(huì)議端點(diǎn)相關(guān)聯(lián)。該視頻會(huì)議端點(diǎn)被適配為在上行方向上對(duì)至少包括視頻數(shù)據(jù)的上行媒體流進(jìn)行編碼和傳送，以及在下行方向上對(duì)混合媒體流進(jìn)行接收和解碼。虛擬端點(diǎn)的特征在于包括:至少一個(gè)上行解碼器，被適配為將從視頻會(huì)議端點(diǎn)接收的上行經(jīng)編碼媒體流解碼成上行經(jīng)解碼媒體流；縮放設(shè)備，被適配為將上行經(jīng)解碼媒體流縮放成經(jīng)縮放的上行媒體流；以及至少一個(gè)上行編碼器，被適配為將經(jīng)縮放的上行媒體流編碼成經(jīng)編碼的縮放上行媒體流。虛擬端點(diǎn)的特征還在于包括:第一下行解碼器，被適配為適對(duì)第一分辨率的下行經(jīng)編碼媒體流進(jìn)行解碼；至少一個(gè)第二下行解碼器，被適配為對(duì)第二分辨率的若干下行經(jīng)編碼媒體流中的至少一個(gè)進(jìn)行解碼；媒體合成器，被適配為合成第一分辨率和第二分辨率的經(jīng)解碼媒體流的混合下行媒體流；以及至少一個(gè)下行編碼器，被適配為對(duì)混合下行媒體流進(jìn)行編碼。
[0011]根據(jù)實(shí)施例，虛擬端點(diǎn)的特征在于它還被適配為重新傳送接收的上行經(jīng)編碼媒體流。
[0012]根據(jù)另一實(shí)施例，虛擬端點(diǎn)的特征在于第一分辨率是高清(HD)分辨率。
[0013]根據(jù)另一實(shí)施例，虛擬端點(diǎn)的特征在于縮放設(shè)備被適配為將經(jīng)解碼的媒體流中的視頻數(shù)據(jù)縮放至第二分辨率。
[0014]根據(jù)一個(gè)實(shí)施例，虛擬端點(diǎn)的特征在于第二分辨率是畫中畫(PIP)分辨率。
[0015]根據(jù)另一實(shí)施例，虛擬端點(diǎn)的特征在于分別與被適配為參與多方視頻會(huì)議的一個(gè)或多個(gè)其它端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)其它虛擬端點(diǎn)被適配為被安裝在計(jì)算機(jī)設(shè)備上。
[0016]根據(jù)另一實(shí)施例，虛擬端點(diǎn)的特征在于虛擬節(jié)點(diǎn)被連接至切換節(jié)點(diǎn)，該切換節(jié)點(diǎn)被適配為將在上行方向上的經(jīng)編碼縮放上行媒體流和/或上行經(jīng)編碼媒體流切換至多方視頻會(huì)議中所涉及的其他切換節(jié)點(diǎn)。
[0017]根據(jù)另一實(shí)施例，虛擬節(jié)點(diǎn)的特征在于切換節(jié)點(diǎn)還被適配為將第一分辨率的下行經(jīng)編碼媒體流和第二分辨率的若干下行經(jīng)編碼媒體流切換至與其它切換節(jié)點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)虛擬節(jié)點(diǎn)。
[0018]根據(jù)第二方面，提供了在安裝在計(jì)算機(jī)設(shè)備上的虛擬端點(diǎn)中的方法，該計(jì)算機(jī)設(shè)備與參與多方視頻會(huì)議的視頻會(huì)議端點(diǎn)相關(guān)聯(lián)。視頻會(huì)議端點(diǎn)正在上行方向?qū)χ辽侔ㄒ曨l數(shù)據(jù)的上行媒體流進(jìn)行編碼和傳送，以及正在下行方向?qū)旌舷滦忻襟w流進(jìn)行接收和解碼。該方法的特征在于包括以下步驟:將從視頻會(huì)議端點(diǎn)接收的上行經(jīng)編碼媒體流解碼成上行經(jīng)解碼媒體流；將上行經(jīng)解碼媒體流縮放成經(jīng)縮放上行媒體流；將經(jīng)縮放上行媒體流編碼成經(jīng)編碼縮放上行媒體流。該方法的特征還在于包括以下步驟:對(duì)第一分辨率的下行經(jīng)編碼媒體流進(jìn)行解碼；對(duì)第二分辨率的若干下行經(jīng)編碼媒體流進(jìn)行解碼；將第一分辨率的下行媒體流和第二分辨率的若干下行解碼媒體流合成混合的媒體流；以及對(duì)混合的媒體流進(jìn)行編碼。
[0019]根據(jù)一個(gè)實(shí)施例，該方法的特征在于包括以下附加步驟:重新傳送接收的上行經(jīng)編碼媒體流。
[0020]根據(jù)另一個(gè)實(shí)施例，該方法的特征在于第一分辨率是高清(HD)分辨率。
[0021]根據(jù)又一個(gè)實(shí)施例，該方法的特征在于包括以下附加步驟:將經(jīng)解碼媒體流中的視頻數(shù)據(jù)縮放至第二分辨率。
[0022]根據(jù)一個(gè)實(shí)施例，該方法的特征在于第二分辨率是畫中畫(PIP)分辨率。
[0023]根據(jù)另一個(gè)實(shí)施例，該方法的特征在于分別與參與多方視頻會(huì)議的一個(gè)或多個(gè)其它端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)其它虛擬端點(diǎn)被安裝在計(jì)算機(jī)設(shè)備上。
[0024]根據(jù)另一個(gè)實(shí)施例，該方法的特征在于包括以下附加步驟:將在上行方向上的經(jīng)編碼縮放上行媒體流和/或上行經(jīng)編碼媒體流切換至多方視頻會(huì)議中所涉及的其它切換節(jié)點(diǎn)。
[0025]根據(jù)另一個(gè)實(shí)施例，該方法的特征在于包括以下附加步驟:將第一分辨率的下行經(jīng)編碼媒體流和第二分辨率的若干下行經(jīng)編碼媒體流切換至與其它切換節(jié)點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)虛擬節(jié)點(diǎn)。
[0026]根據(jù)第三方面，提供了包括以上討論的至少一個(gè)虛擬端點(diǎn)的端點(diǎn)系統(tǒng)。該虛擬端點(diǎn)系統(tǒng)還包括至少一個(gè)切換節(jié)點(diǎn)，該切換節(jié)點(diǎn)被適配為將上行方向上的經(jīng)編碼縮放上行媒體流和/或上行經(jīng)編碼媒體流切換至多方視頻會(huì)議中所涉及的其它切換節(jié)點(diǎn)。
【附圖說明】
[0027]圖1是根據(jù)本公開的實(shí)施例的示例性虛擬端點(diǎn)的圖示；
[0028]圖2是根據(jù)本公開的實(shí)施例的包括若干虛擬端點(diǎn)和切換節(jié)點(diǎn)的示例性MCU的示例；
[0029]圖3是根據(jù)本公開的實(shí)施例被連接至各種不同類型的端點(diǎn)的示例性MCU的圖示；
[0030]圖4是根據(jù)本公開的實(shí)施例包括一個(gè)切換節(jié)點(diǎn)和兩個(gè)虛擬端點(diǎn)的配對(duì)的分布式MCU的圖示；
[0031]圖5是根據(jù)本文實(shí)施例中的一個(gè)實(shí)施例以舉例方式示出背板如何除運(yùn)載若干低分辨率流以外只需要運(yùn)送一個(gè)高分辨率流；
[0032]圖6根據(jù)本公開的實(shí)施例以舉例方式示出如何能夠簡(jiǎn)單地對(duì)穿過背板的媒體流進(jìn)行復(fù)制和轉(zhuǎn)發(fā)穿過背板；以及
[0033]圖7根據(jù)本公開的實(shí)施例以舉例方式示出如何對(duì)穿過背板的媒體數(shù)據(jù)進(jìn)行編碼以在切換節(jié)點(diǎn)之間提供有效的格式。
【具體實(shí)施方式】
[0034]根據(jù)本文的實(shí)施例，引入虛擬端點(diǎn)來克服上述討論的問題。一個(gè)虛擬端點(diǎn)專用于為一個(gè)特定實(shí)際端點(diǎn)服務(wù)，并且虛擬端點(diǎn)通常被與相關(guān)聯(lián)的實(shí)際端點(diǎn)安裝在同一局域網(wǎng)絡(luò)中的服務(wù)器上，MCU或分布式MCU的一部分也被安裝于此。
[0035]在上行方向上，虛擬端點(diǎn)至少包括上行解碼器、縮放單元和上行編碼器。在下行方向上，虛擬端點(diǎn)至少包括若干解碼器、合成單元和下行編碼器。
[0036]實(shí)際端點(diǎn)向其專用的虛擬端點(diǎn)傳送會(huì)被上行解碼器解碼的經(jīng)編碼數(shù)據(jù)。經(jīng)解碼的數(shù)據(jù)可用于縮放單元，接下來，經(jīng)解碼的數(shù)據(jù)會(huì)被縮減到預(yù)先定義的或要求的分辨率。然后經(jīng)縮減的數(shù)據(jù)會(huì)被上行編碼器編碼，并且進(jìn)一步作為經(jīng)縮減的流被傳送至例如一個(gè)或多個(gè)流切換節(jié)點(diǎn)。此外，從實(shí)際端點(diǎn)接收的經(jīng)編碼數(shù)據(jù)作為未經(jīng)縮減的流通過虛擬端點(diǎn)被轉(zhuǎn)發(fā)至一個(gè)或多個(gè)媒介節(jié)點(diǎn)。
[0037]圖1示出了上面討論的虛擬節(jié)點(diǎn)的示例的圖示。此處，在上行方向上虛擬端點(diǎn)的任務(wù)是創(chuàng)建和傳送從其相關(guān)聯(lián)的實(shí)際端點(diǎn)接收的兩個(gè)經(jīng)編碼數(shù)據(jù)流，其中一個(gè)具有高分辨率并且另一個(gè)具有低分辨率。在下行方向中，虛擬端點(diǎn)的任務(wù)是對(duì)從一個(gè)或多個(gè)流切換節(jié)點(diǎn)訂閱的若干經(jīng)編碼PIP (畫中畫)和一個(gè)經(jīng)編碼HD (高清)數(shù)據(jù)流進(jìn)行解碼、由經(jīng)編碼HD數(shù)據(jù)流和若干PIP合成連續(xù)呈現(xiàn)的圖片、并且然后進(jìn)一步對(duì)被傳送回相關(guān)聯(lián)的實(shí)際端點(diǎn)的整體連續(xù)呈現(xiàn)的圖片進(jìn)行編碼。
[0038]在上述示例中，只有一個(gè)從相關(guān)聯(lián)的實(shí)際端點(diǎn)接收的經(jīng)編碼數(shù)據(jù)的經(jīng)縮減的流被傳送至切換節(jié)點(diǎn)。然而，縮放單元應(yīng)該被調(diào)整為按要求對(duì)若干不同分辨率的流進(jìn)行縮減。例如，根據(jù)圖片象限的分辨率在連續(xù)呈現(xiàn)的視圖中是非常常見的。
[0039]單一 MCU可以被實(shí)現(xiàn)為在在售服務(wù)器/計(jì)算機(jī)上的軟件，該MCU包括若干虛擬端點(diǎn)外加切換核心，如圖2所示。可替換地，虛線內(nèi)的組件可以被本地部署在服務(wù)器上。在下文中，在理解非虛擬化部署也是可能的的前提下，描述了虛擬化示例。