專利名稱：視頻會議系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于一種視頻會議系統(tǒng)，特別是關(guān)于一種視頻會議系統(tǒng)的視頻數(shù)據(jù)流的處理與控制。
早期，因通訊不發(fā)達(dá)，會議必須由參與人員，親赴預(yù)定地點才得以進(jìn)行。而當(dāng)通訊科技以及多媒體信息科技發(fā)達(dá)后，參與會議的人，其聲音與影像皆可由電子設(shè)備轉(zhuǎn)換成數(shù)字信號成為一數(shù)據(jù)流，再通過網(wǎng)絡(luò)技術(shù)，例如局域網(wǎng)(local area network，LAN)，將數(shù)據(jù)流輸出與接收，同時，由參與人在其個人的顯示系統(tǒng)，例如個人計算機系統(tǒng)，顯示相互之間的視頻數(shù)據(jù)流，其包括聲音與影像的顯示播放。其間，數(shù)據(jù)的傳遞與控制，由一個統(tǒng)一的協(xié)議進(jìn)行。如此，現(xiàn)代的視頻會議就可不受限于地域的遠(yuǎn)近。
視頻會議其簡單的運作如圖1所示。在圖1中，在使用者a的一端，有一播放系統(tǒng)，例如一計算機系統(tǒng)100a。計算機系統(tǒng)100a也配備一視頻捕獲裝置104，以捕獲使用者a的影像與聲音。類似地，在使用者d的一端也有一計算機系統(tǒng)100d，配備一視頻捕獲裝置104。如此，多個使用者，皆有對應(yīng)的播放系統(tǒng)100a，100b，...100f。這些使用者，在同一的視頻傳輸協(xié)議下，透過局域網(wǎng)絡(luò)LAN，將視頻數(shù)據(jù)流送至一控制單元102，經(jīng)過將個別的視頻數(shù)據(jù)流混合成一混合的視頻數(shù)據(jù)流，且分送到每一端的使用者，以進(jìn)行播放。一般控制單元102可由會議主席控制，在設(shè)備允許的個數(shù)下，例如選擇使用者a，b，c，d的視頻，經(jīng)混合后分送給全部使用者a，b...f。由使用者a的計算機100a，顯示四位使用者的視頻。同樣的，使用者d的計算機100d，也顯示相同四位使用者的視頻，其可包括自己或是不包括自己的視頻。其它使用者也顯示使用者a，b，c，d的視頻。
為了進(jìn)行圖1中的視頻會議系統(tǒng)，傳統(tǒng)上實體的系統(tǒng)如圖2所示。在圖2中，參與會議的多個使用者單元100a，100b...100f，分別輸入其個別的視頻數(shù)據(jù)流給一數(shù)據(jù)流控制中心110。數(shù)據(jù)流控制中心110可由會議主席控制。由于視頻數(shù)據(jù)的數(shù)據(jù)處理，需要配合大量的中央處理器(CPU)的運算及其它相關(guān)器件的處理能力，其負(fù)載仍有限制。一般，一次僅選擇四個視頻數(shù)據(jù)流，作為實時顯示。
被選擇的四個視頻數(shù)據(jù)流，輸入到一多點控制單元112(multi-point control unit，MCU)，其中包括一聲音/影像(audio/video，A/V)的一譯碼編碼處理單元114。輸入的個別視頻數(shù)據(jù)流，會被譯碼成聲音信號與影像信號。而后，個別的聲音信號與影像信號會被混合編碼，成為另一混合視頻數(shù)據(jù)流?；旌弦曨l數(shù)據(jù)流就被分送到每一單元100a，100b...100f，進(jìn)行播放。
在上述傳統(tǒng)的視頻會議系統(tǒng)中，所有的視頻數(shù)據(jù)流的譯碼與編碼皆由單一的處理單元104所處理。由于視頻的處理需大量的CPU運算，以進(jìn)行聲音數(shù)據(jù)的譯碼與編碼，及影像的譯碼與編碼，因此處理單元104將是一很大的負(fù)載。由于運算能力的限制，傳統(tǒng)的視頻會議系統(tǒng)，其效率品質(zhì)仍不是很理想，且系統(tǒng)設(shè)備的成本也不能有效的降低。
根據(jù)上述本發(fā)明提供的視頻會議系統(tǒng)，由于視頻的譯碼部分，與編碼部分經(jīng)過二分開的處理單元進(jìn)行，使得運算處理可分開一編碼芯片與一譯碼芯片進(jìn)行。其二芯片的特點不需有高運算能力，因此芯片的電路設(shè)計，相對較為容易，而成本也隨著降低。因此，視頻會議系統(tǒng)的性能不但可提高，系統(tǒng)設(shè)備的費用也隨之降低。
另外，本發(fā)明因采用譯碼與編碼分離，使得運算能力可包括對每一視頻數(shù)據(jù)流，動態(tài)設(shè)定一播放比重。如此在播放中，一些相關(guān)的個別的視頻數(shù)據(jù)流，可以進(jìn)行加權(quán)播放，使其較突顯。如此以增加視頻會議效果。
本發(fā)明另外提供一種多單元視頻數(shù)據(jù)流控制系統(tǒng)，可適用于一視頻會議系統(tǒng)，給多數(shù)個單元參與一會議，其中每一個單元分別輸出一個別視頻數(shù)據(jù)流。此視頻數(shù)據(jù)流控制系統(tǒng)包括一視頻譯碼單元，用以接收這些個別視頻數(shù)據(jù)流，并分別將其分解成一個別聲音信號與一個別影像信號。并將分解后的聲音信號與影像信號，分別混合成一聲音混合數(shù)據(jù)流與一影像混合數(shù)據(jù)流。另外還包括一視頻編碼單元，用以接收此聲音混合數(shù)據(jù)流與此影像混合數(shù)據(jù)流，并將其編碼成一視頻混合數(shù)據(jù)流，分送給參與單元以播放。
上述的視頻譯碼單元與視頻編碼單元，可由二個視頻處理芯片單元所達(dá)成。當(dāng)二個視頻處理芯片單元的其中任一被動態(tài)選定為一視頻譯碼單元時，另一則為視頻編碼單元。
本發(fā)明又提供一種多輸入視頻數(shù)據(jù)流控制方法，包括提供一視頻譯碼單元與一視頻編碼單元。輸入數(shù)個視頻數(shù)據(jù)流給該視頻譯碼單元。進(jìn)行一譯碼動作，由該視頻譯碼單元執(zhí)行，將每一該些視頻數(shù)據(jù)流分解為一聲音信號與一影像信號，且將分解后的該些聲音信號與該些影像信號，分別混合成一聲音混合數(shù)據(jù)流與一影像混合數(shù)據(jù)流。以及進(jìn)行一譯碼動作，由該視頻編碼單元執(zhí)行，將該聲音混合數(shù)據(jù)流與該影像混合數(shù)據(jù)流，合成一視頻混合數(shù)據(jù)流，供給播放。
為讓本發(fā)明的上述目的、特征、和優(yōu)點能更明顯易懂，下文特舉一較佳實施例，并配合附圖，作詳細(xì)說明。


圖1繪示一視頻會議其簡單的運作。
圖2繪示一視頻會議系統(tǒng)方框圖。
圖3繪示依照本發(fā)明，一視頻會議系統(tǒng)方框圖。標(biāo)號說明100a-100f視頻播放單元 104視頻捕獲單元102控制單元114譯碼編碼處理單元110數(shù)據(jù)流控制中心 112，120多點控制單元122視頻譯碼單元124視頻編碼單元以下舉一實施例，作為發(fā)明特征的描述。本發(fā)明所采用的一視頻數(shù)據(jù)傳輸協(xié)議，可在網(wǎng)絡(luò)上傳輸視頻信號，進(jìn)行一視頻會議。符合通訊標(biāo)準(zhǔn)的視頻數(shù)據(jù)傳輸協(xié)議例如包括H.320、H.321、H.323與H.324等等。其又配合網(wǎng)絡(luò)形態(tài)、視頻標(biāo)準(zhǔn)、音頻標(biāo)準(zhǔn)、多任務(wù)控制、安全協(xié)議、控制協(xié)議及調(diào)制解調(diào)器等的功能，達(dá)到視頻會議的協(xié)議。而本發(fā)明，通過硬件的改變，在其傳輸協(xié)議下，又創(chuàng)造另一些功能，以增加傳輸協(xié)議的性能。
除了軟件的協(xié)議與接口標(biāo)準(zhǔn)外，其相關(guān)的硬設(shè)備圖3，繪示依照本發(fā)明，一視頻會議系統(tǒng)方框圖。在圖3中，一會議的參與者都有一視頻播放單元100a-100f，并配合一視頻捕獲單元104(又如圖1所示)。視頻播放單元又統(tǒng)稱為參與單元100a-100f，供參與會議的會議者使用。由參與單元100a-100f產(chǎn)生的個別視頻數(shù)據(jù)流，皆輸入在一數(shù)據(jù)流控制中心110，其輸入的路徑例如是透過局域網(wǎng)絡(luò)輸入。
數(shù)據(jù)流控制中心110，一般可由會議主席控制。由于可能由于系統(tǒng)顯示能力的限制，可動態(tài)選擇部分參與者的個別視頻數(shù)據(jù)流，以播放給每一參與者。然而，也可同時播放每一參與者的視頻。另外，數(shù)據(jù)流控制中心110也可具有語音辨識能力，以自動確認(rèn)發(fā)言者，并自動選擇播放。在圖3所示，例如是有四位參與者目前被選定播放。被選定的參與者，其個別視頻數(shù)據(jù)流會被輸入于多點控制單元120，進(jìn)行視頻的譯碼與編碼。將個別視頻數(shù)據(jù)流，依照通訊協(xié)議，混合成一混合視頻數(shù)據(jù)流?；旌弦曨l數(shù)據(jù)流輸出后，例如透過網(wǎng)絡(luò)，會分送給每一參與單元100a-100f，進(jìn)行播放。
有鑒于傳統(tǒng)視頻處理單元的負(fù)載太重，造成性能不佳，且設(shè)備昂貴，本發(fā)明在多點控制單元120中，提出將視頻譯碼動作與視頻編碼動作，分由兩個處理芯片單元進(jìn)行。
在多點控制單元120中，被選擇的個別視頻數(shù)據(jù)流先輸入于一聲音/影像(A/V)譯碼單元122中，其又稱視頻譯碼單元122。視頻譯碼單元122將個別視頻數(shù)據(jù)流譯碼成為一個別聲音信號及一個別影像信號。這些個別聲音信號會被混合成一混合聲音數(shù)據(jù)流。而這些個別影像信號會被混合成一混合影像數(shù)據(jù)流。在混合過程中，視實際情形，每一個對應(yīng)的個別聲音信號或影像信號，可設(shè)置個別的播放指數(shù)或是播放比重。例如，目前發(fā)言者有較大的播放比重，以較凸顯發(fā)言者在播放屏幕上的比例或其效果。由于視頻譯碼單元122，不進(jìn)行編碼動作，其處理器的芯片較易設(shè)計制造，而其運算負(fù)載也不需太大，處理芯片的運算能力不需采用高成本的快速芯片設(shè)計。至于，播放比重的調(diào)整，也不必一定由此視頻譯碼單元122進(jìn)行。而其也可在后續(xù)的處理單元進(jìn)行。
由視頻譯碼單元122譯碼與混合處理后，輸出混合聲音數(shù)據(jù)流與混合影像數(shù)據(jù)流給一視頻編碼單元124。此視頻編碼單元124又將混合聲音數(shù)據(jù)流與混合影像數(shù)據(jù)流，依照協(xié)議混合成一混合視頻數(shù)據(jù)流。而后，輸出混合視頻數(shù)據(jù)流給每一參與單元播放。
由于此視頻編碼單元124只進(jìn)行編碼的處理，其也不需太大的處理負(fù)載。相對就不需選用高成本的快速處理芯片。另外，如果視頻譯碼單元122沒有進(jìn)行播放比重的設(shè)定，其播放比重的設(shè)定就由視頻編碼單元124來執(zhí)行。其間可視其當(dāng)下，視頻譯碼單元122與視頻編碼單元124，所處理的負(fù)載程度決定。
另外，上述的視頻譯碼單元與視頻編碼單元，可由二個視頻處理芯片單元所達(dá)成。當(dāng)二個視頻處理芯片單元的其中任一被動態(tài)選定為一視頻譯碼單元時，另一則為視頻編碼單元。換句話說，其可視當(dāng)時計算負(fù)載的程度，動態(tài)調(diào)整選擇二芯片單元的任一處理視頻譯碼，而另一處理視頻編碼。
根據(jù)本發(fā)明的特征，就以實例而言，例如NTSC 60Hz規(guī)格的視頻，其單一全畫面輸出為30Hz，則此系統(tǒng)最大延遲(不考慮譯碼編碼的延遲與網(wǎng)絡(luò)延遲的情況下)，則為約1/30秒。另外，若以PAL 50Hz為例，其在搭配二芯片單元處理編碼與譯碼的方式下，其延遲也僅約1/25秒。將運算的負(fù)載以二芯片處理，得到最佳的價格與性能比為本發(fā)明主要特征之一。
本發(fā)明因此至少具有以下特征與優(yōu)點1.本發(fā)明的譯碼與編碼動作，由不同的處理芯片進(jìn)行，因此將低芯片的負(fù)載，也降低設(shè)備成本。
2.本發(fā)明對被選擇播放的參與單元，指定其播放比重，使某些窗口對應(yīng)的發(fā)言者的視頻能較凸顯。
3.依據(jù)本發(fā)明的硬件設(shè)計，使譯碼與編碼動作由不同的處理芯片進(jìn)行，另外創(chuàng)造出傳統(tǒng)H.323協(xié)議所不能達(dá)到的功能。
4.本發(fā)明的會議系統(tǒng)，可透過局域網(wǎng)絡(luò)傳輸，可進(jìn)行多人視頻會議，不受空間限制。
5.本發(fā)明可具有自動辨認(rèn)目前發(fā)言者的功能，并自動選取播放。
6.本發(fā)明的會議系統(tǒng)，因譯碼與編碼動作由不同的處理芯片進(jìn)行，使處理能力增加，因此可選取多個參與單元的播放，不受限于目前傳統(tǒng)僅能接受四人的限制。
綜上所述，雖然本發(fā)明已以一較佳實施例公開如上，然其并非用以限定本發(fā)明，任何熟悉此技術(shù)者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書所界定者為準(zhǔn)。
權(quán)利要求
1.一種視頻會議系統(tǒng)，可適用于數(shù)個參與單元進(jìn)行一會議，其中每一該些參與單元輸出一個別視頻數(shù)據(jù)流，其特征在于該視頻會議系統(tǒng)包括一中心控制單元，用以接收該些個別視頻數(shù)據(jù)流，并可選擇輸出該些個別視頻數(shù)據(jù)流的一部分或全部；一視頻譯碼單元，用以接收被選擇的該些個別視頻數(shù)據(jù)流，并分別將其分解成一個別聲音信號與一個別影像信號，以及將分解后的該聲音信號與該影像信號，分別混合成一聲音混合數(shù)據(jù)流與一影像混合數(shù)據(jù)流；一視頻編碼單元，用以接收該聲音混合數(shù)據(jù)流與該影像混合數(shù)據(jù)流，并將其編碼成一視頻混合數(shù)據(jù)流，且分送給該些參與單元用以播放。
2.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該中心控制單元，選擇輸出該些個別視頻數(shù)據(jù)流的其中四個。
3.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該視頻會議系統(tǒng)包括配合一H.323的協(xié)議架構(gòu)(H.323 protocol)，以控制與傳輸該些視頻數(shù)據(jù)流。
4.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該視頻會議系統(tǒng)包括配合H.320、H.321以及H.324的協(xié)議架構(gòu)三者其一。
5.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該視頻會議系統(tǒng)包括一視頻數(shù)據(jù)流傳輸控制協(xié)議。
6.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該視頻譯碼單元與該視頻編碼單元為分開獨立的二單元，分別進(jìn)行譯碼與編碼的動作。
7.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該中心控制單元，由該會議的一主席所控制。
8.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中該些參與單元透過一局域網(wǎng)(LAN)，參與該會議。
9.如權(quán)利要求書1所述的視頻會議系統(tǒng)，其特征在于其中被選擇的該些參與單元，其間的一播放比重，可由該視頻譯碼單元與該視頻編碼單元，不固定的二者其一所執(zhí)行。
10.一種多單元視頻數(shù)據(jù)流控制系統(tǒng)，可適用于一視頻會議系統(tǒng)，給數(shù)個單元參與一會議，其中每一個該些單元分別輸出一個別視頻數(shù)據(jù)流，其特征在于該視頻數(shù)據(jù)流控制系統(tǒng)包括一第一視頻處理芯片單元；一第二視頻處理芯片單元，其中當(dāng)該第一視頻處理芯片單元與該第二視頻處理芯片單元的任一動態(tài)被選擇為一視頻譯碼單元，則另一當(dāng)作一視頻編碼單元，其中，該視頻譯碼單元，用以接收該些個別視頻數(shù)據(jù)流，并分別將其分解成一個別聲音信號與一個別影像信號，以及將分解后的該聲音信號與該影像信號，分別混合成一聲音混合數(shù)據(jù)流與一影像混合數(shù)據(jù)流；該視頻編碼單元，用以接收該聲音混合數(shù)據(jù)流與該影像混合數(shù)據(jù)流，并將其編碼成一視頻混合數(shù)據(jù)流，且分送給該些單元以播放。
11.一種多單元視頻數(shù)據(jù)流控制系統(tǒng)，可適用于一視頻會議系統(tǒng)，給數(shù)個單元參與一會議，其中每一個該些單元分別輸出一個別視頻數(shù)據(jù)流，其特征在于該視頻數(shù)據(jù)流控制系統(tǒng)包括一視頻譯碼單元，用以接收該些個別視頻數(shù)據(jù)流，并分別將其分解成一個別聲音信號與一個別影像信號，以及將分解后的該聲音信號與該影像信號，分別混合成一聲音混合數(shù)據(jù)流與一影像混合數(shù)據(jù)流；一視頻編碼單元，用以接收該聲音混合數(shù)據(jù)流與該影像混合數(shù)據(jù)流，并將其編碼成一視頻混合數(shù)據(jù)流，且分送給該些單元用以播放。
12.如權(quán)利要求書11所述的多單元視頻數(shù)據(jù)流控制系統(tǒng)，其特征在于包括采用H.323的協(xié)議架構(gòu)(H.323 protocol)，以控制與傳輸該些視頻數(shù)據(jù)流。
13.如權(quán)利要求書11所述的多單元視頻數(shù)據(jù)流控制系統(tǒng)，其特征在于包括采用H.320、H.321以及H.324的基本協(xié)議架構(gòu)三者其一。
14.如權(quán)利要求書11所述的多單元視頻數(shù)據(jù)流控制系統(tǒng)，其特征在于包括一視頻數(shù)據(jù)流傳輸控制協(xié)議。
15.如權(quán)利要求書11所述的多單元視頻數(shù)據(jù)流控制系統(tǒng)，其特征在于其中該視頻譯碼單元與該視頻編碼單元為分開獨立的二單元，分別進(jìn)行譯碼與編碼的動作。
16.如權(quán)利要求書11所述的多單元視頻數(shù)據(jù)流控制系統(tǒng)，其特征在于其中該些單元其間的一播放比重，可由該視頻譯碼單元與該視頻編碼單元，不固定的二者其一所執(zhí)行。
17.一種多輸入視頻數(shù)據(jù)流控制方法，其特征在于該方法包括提供一視頻譯碼單元與一視頻編碼單元；輸入數(shù)個視頻數(shù)據(jù)流給該視頻譯碼單元；進(jìn)行一譯碼動作，由該視頻譯碼單元執(zhí)行，將每一該些視頻數(shù)據(jù)流分解為一聲音信號與一影像信號，且將分解后的該些聲音信號與該些影像信號，分別混合成一聲音混合數(shù)據(jù)流與一影像混合數(shù)據(jù)流；進(jìn)行一譯碼動作，由該視頻編碼單元執(zhí)行，將該聲音混合數(shù)據(jù)流與該影像混合數(shù)據(jù)流，合成一視頻混合數(shù)據(jù)流，供給播放。
18.如權(quán)利要求書17所述的多輸入視頻數(shù)據(jù)流控制方法，其特征在于其中進(jìn)行該譯碼動作的該步驟中，還包括給該些視頻數(shù)據(jù)流一個別播放比重。
19.如權(quán)利要求書17所述的多輸入視頻數(shù)據(jù)流控制方法，其特征在于其中進(jìn)行該編碼動作的該步驟中，還包括給該些視頻數(shù)據(jù)流一個別播放比重。
全文摘要
一種視頻會議系統(tǒng)，適用于多個參與單元進(jìn)行會議。視頻會議系統(tǒng)包括一中心控制單元，用以接收由多個參與單元的個別視頻數(shù)據(jù)流，并可選擇輸出部分參與單元的視頻數(shù)據(jù)流。一視頻譯碼單元，用以接收被選擇的個別視頻數(shù)據(jù)流，且將個別視頻數(shù)據(jù)流的聲音信號與影像信號分解，并將分解后的這些聲音信號與這些影像信號，分別混合成一聲音混合信號與一影像混合信號。一視頻編碼單元，接收此聲音混合信號與此影像混合信號，并將其編碼成一視頻混合數(shù)據(jù)流，且分送給這些參與單元。
文檔編號H04N7/15GK1422078SQ0114003
公開日2003年6月4日 申請日期2001年11月22日 優(yōu)先權(quán)日2001年11月22日
發(fā)明者劉孟賢 申請人:麗臺科技股份有限公司