專利名稱：視頻會議系統(tǒng)中的帶寬控制方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會議系統(tǒng)，特別是涉及一種視頻會議系統(tǒng)中的帶寬控制方法以及一種視頻會議系統(tǒng)中的帶寬控制系統(tǒng)。
背景技術(shù)：
視頻會議系統(tǒng)中，實現(xiàn)讓終端同時觀看多畫面布局的功能一般是依靠MCU (Multipoint Control Unit,多點控制單元)把來自不同客戶的不同畫面的輸入碼流解碼，然后按某種多畫面布局合成一個包含了多個終端視頻圖像的畫面再重新編碼得到一個輸出碼流的方式實現(xiàn)的。視頻會議系統(tǒng)的架構(gòu)可參見圖1所示。常規(guī)視頻會議系統(tǒng)中，MCU處理多個碼流的流程示意圖可參見圖2所示。以4個碼流為例進行說明，MCU把來自4個不同終端的碼流解碼，得到4個不同畫面，然后把它們按2x2的多畫面布局合成到一個畫面中，再把它們編碼就得到了輸出碼流。這個輸出碼流 就是發(fā)給各個需要觀看多畫面的視頻會議終端的碼流。為了適應(yīng)終端的性能差異，這種MCU通常會為不同性能的終端輸出不同編碼格式的碼流。在這種常規(guī)視頻會議系統(tǒng)中，收和發(fā)的視頻流的碼流的帶寬是基本相等的，例如，對于I個720P的終端，它發(fā)送了一個720P的視頻流給MCU，同時也收到一個來自MCU合成后的720P視頻流，總體上這兩路視頻所占的帶寬是基本相等的。常規(guī)MCU通過合成多畫面的上下行帶寬基本恒定，所以視頻會議系統(tǒng)的帶寬控制會相對簡單，系統(tǒng)管理人員只需要保證各終端的上下行帶寬是某一恒定值，既可得到穩(wěn)定視頻質(zhì)量。然而，上述常規(guī)視頻會議系統(tǒng)，由于MCU需要承擔繁重的解碼合成再編碼的工作，因此MCU的成本一般都比較高。為解決這個問題，業(yè)界提出了一種基于通知編碼技術(shù)的視頻會議系統(tǒng)，采用多碼流方式及根據(jù)實際畫面尺寸的通知編碼技術(shù)實現(xiàn)多畫面。眾所周知，常規(guī)的視頻會議，在屏幕上看到的來自多個不同終端的畫面其實是由MCU合成之后的單個視頻圖像，而該圖像中的各子畫面面積肯定是小于等于整個畫面的面積的。例如，720P的終端，它觀看的畫面是1280*720的，那么它顯示出來的多畫面視頻圖像中，各子畫面的大小肯定是小于等于1280*720的。上述基于通知編碼技術(shù)的視頻會議系統(tǒng)就是建立在“子畫面小于等于總畫面”的基礎(chǔ)上的，該技術(shù)通過MCU通知所有在大畫面上的客戶端，讓它們按各自所在子畫面的尺寸編解碼，然后發(fā)給MCU，MCU則不再對這些碼流解碼和合成編碼，而是直接轉(zhuǎn)發(fā)給其他客戶端。于是來自不同客戶端的視頻碼流，經(jīng)由MCU中轉(zhuǎn)到達了會議當中的各個終端。這些碼流到達了目標終端后，經(jīng)目標終端分別解碼，然后顯示到屏幕上，達到了傳統(tǒng)視頻會議的多畫面的效果。如圖3所示，多畫面布局的總畫面大小為1920*1080,4個子畫面的大小都為705*576，所以MCU在會議過程中負責(zé)通知各終端，按多畫面布局中的畫面大小，即705*576進行編碼。MCU收到了終端的碼流后直接轉(zhuǎn)發(fā)給其他觀看多畫面的終端。觀看多畫面的終端收到多個視頻碼流后分別用不同的解碼器解碼，然后按多畫面布局顯示。以上利用通知編碼實現(xiàn)多畫面的技術(shù)，由于MCU不必承擔繁重的解碼合成再編碼的工作，因此MCU的成本大大降低。同時也因為應(yīng)用了該技術(shù)，使得將來有更多的業(yè)務(wù)設(shè)計和控制策略的靈活性。但更多的靈活性的背后存在一個關(guān)系到整個系統(tǒng)穩(wěn)定性的問題——帶寬控制的難度增大。我們必須對各個子窗口對應(yīng)的終端進行嚴格的帶寬控制，尤其在多畫面窗口布局改變時，我們必須通過計算并逐一通知各終端使用某種編解碼器編碼，只有這樣嚴格地控制才可以讓系統(tǒng)在可控的帶寬范圍內(nèi)穩(wěn)定運行。

發(fā)明內(nèi)容
基于此，本發(fā)明提供一種視頻會議系統(tǒng)中的帶寬控制方法及系統(tǒng)，能夠讓基于通知編碼技術(shù)的視頻會議系統(tǒng)在可控的帶寬范圍內(nèi)穩(wěn)定運行。為實現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案一種視頻會議系統(tǒng)中的帶寬控制方法，包括以下步驟
讀取帶寬能力表；所述帶寬能力表為將預(yù)先定義的視頻編碼器分配到預(yù)先劃分好的各個帶寬段后所形成的帶寬與視頻編碼器對應(yīng)的表格；判斷當前視頻會議中的多畫面窗口布局是否為等比視頻布局；若是，則為各終端選擇相同的視頻編碼器；選擇過程如下根據(jù)視頻總帶寬及當前子窗口個數(shù)計算參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述參考碼率最接近且小于或等于該參考碼率的視頻編碼器?！N視頻會議系統(tǒng)中的帶覽控制系統(tǒng)，包括讀取模塊，用于讀取帶寬能力表；所述帶寬能力表為將預(yù)先定義的視頻編碼器分配到預(yù)先劃分好的各個帶寬段后所形成的帶寬與視頻編碼器對應(yīng)的表格；判斷模塊，用于判斷當前視頻會議中的多畫面窗口布局是否為等比視頻布局；第一視頻編碼器計算模塊，用于在所述判斷模塊的判斷結(jié)果為是的情況下，為各終端選擇相同的視頻編碼器；選擇過程如下根據(jù)視頻總帶寬及當前子窗口個數(shù)計算參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述參考碼率最接近且小于或等于該參考碼率的視頻編碼器。由以上方案可以看出，本發(fā)明的視頻會議系統(tǒng)中的帶寬控制方法及系統(tǒng)，首先自定義一個帶寬與視頻編碼器對應(yīng)的帶寬能力表，然后判斷當前的多畫面窗口布局類型，在等比視頻布局的情況下，計算出參考碼率并根據(jù)該參考碼率在所述帶寬能力表中選擇合適的視頻編碼器。由于本發(fā)明的方案中各終端需要根據(jù)選定的視頻編碼器進行編碼，因此實現(xiàn)了對各個子窗口對應(yīng)的終端的帶寬控制，使得視頻會議系統(tǒng)能夠在一個可控的帶寬范圍下穩(wěn)定的運行。而且采用本發(fā)明的方案所編碼出的視頻畫面質(zhì)量更好。


圖1為視頻會議系統(tǒng)的架構(gòu)示意圖；圖2為常規(guī)視頻會議系統(tǒng)中MCU處理多個碼流的流程示意圖；圖3為通知編碼實現(xiàn)多畫面的流程示意圖；圖4為本發(fā)明實施例中一種視頻會議系統(tǒng)中的帶寬控制方法的流程示意圖；圖5為本發(fā)明實施例中所支持的幾種非等比視頻布局示意圖；圖6為本發(fā)明實施例中一種視頻會議系統(tǒng)中的帶寬控制系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式下面結(jié)合附圖以及具體的實施例，對本發(fā)明的技術(shù)方案作進一步的描述。要實現(xiàn)穩(wěn)定的視頻會議效果，我們需要一套完整的帶寬控制策略及用戶的交互設(shè)計。若需要讓視頻會議系統(tǒng)在一個可控的帶寬范圍下穩(wěn)定的運行，那么我們必須使我們在終端與服務(wù)器之間進行傳輸視頻、音頻、會議信令所用的總帶寬不超過系統(tǒng)所部署網(wǎng)絡(luò)環(huán)境的帶寬值。例如，用戶希望召開一個4Mbps帶寬的會議，那么我們就認為所有參會終端到達MCU的帶寬至少為4Mbps，而我們的帶寬控制的目標就是視頻帶寬+音頻帶寬+會議信令帶寬<=4Mbps。音頻和會議信令所占的帶寬基本不變，所以在通知編碼的帶寬控制中，控制的重點就是視頻的帶寬。為了方便后面的描述，我們暫時把除了音頻和信令外的代表單個客戶端與服務(wù)器間的點對點的用于視頻傳輸?shù)膸捵畲笾捣Q為“視頻總帶寬”，把當前終端觀看視頻和上傳視頻所消耗的帶寬稱為“視頻消耗帶寬”。其中，視頻總帶寬包括上下行帶寬相 等以及上下行帶寬不相等兩種情況，在本發(fā)明實施例中，僅針對視頻總帶寬的上下行帶寬相等的情況進行說明；另外，視頻消耗帶寬是一對可變值，在一個終端沒有觀看任何一路視頻時，它的下行值為零，當它每增加觀看了一路視頻時，它的下行值就增加了該路視頻編碼器對應(yīng)的輸出帶寬，當該終端的視頻在多畫面布局中某個子畫面上時，該終端則按該子畫面大小進行編解碼并上傳，其視頻消耗帶寬的上傳值則為該終端編碼器輸出的帶寬值。參見圖1所示，一種視頻會議系統(tǒng)中的帶寬控制方法，包括以下步驟步驟S101，讀取帶寬能力表；所述帶寬能力表為將預(yù)先定義的視頻編碼器分配到預(yù)先劃分好的各個帶寬段后所形成的帶寬與視頻編碼器對應(yīng)的表格。本發(fā)明實施例中只需直接讀取帶寬能力表即可，而事實上現(xiàn)有技術(shù)中是不存在這個帶寬能力表的。因此為了讓通知編碼中帶寬控制得以實現(xiàn)，我們在步驟SlOl之前還做了以下前期準備工作I)預(yù)先定義視頻編碼器。在本發(fā)明實施例中，我們根據(jù)不同的分辨率、幀率和碼率定義了 23種編碼組合，我們視他們?yōu)?3種視頻編碼器；2)預(yù)先劃分帶寬等級。在本發(fā)明實施例中，為了方便用戶根據(jù)帶寬情況創(chuàng)建視頻會議，我們從384kbps到8Mbps不等比地劃分了 11個帶寬段；3)生成帶寬能力表。我們根據(jù)視頻編碼器的輸出碼率不可高于視頻總帶寬的原貝U，將上述23種視頻編碼器分配到各個帶寬段中。表中各段的視頻編碼器可以按碼率大小由小到大排列，于是形成一份帶寬和視頻編解碼器對應(yīng)的表格，這份表格就是帶寬能力表。在本發(fā)明實施例中，所生成的帶寬能力表如下面的表一所示表一帶寬能力表
權(quán)利要求
1.一種視頻會議系統(tǒng)中的帶寬控制方法，其特征在于，包括以下步驟讀取帶寬能力表；所述帶寬能力表為將預(yù)先定義的視頻編碼器分配到預(yù)先劃分好的各個帶寬段后所形成的帶寬與視頻編碼器對應(yīng)的表格；判斷當前視頻會議中的多畫面窗口布局是否為等比視頻布局；若是，則為各終端選擇相同的視頻編碼器；選擇過程如下根據(jù)視頻總帶寬及當前子窗口個數(shù)計算參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述參考碼率最接近且小于或等于該參考碼率的視頻編碼器。
2.根據(jù)權(quán)利要求1所述的視頻會議系統(tǒng)中的帶寬控制方法，其特征在于，若判斷得出當前視頻會議中的多畫面窗口布局不是等比視頻布局而是由大、小兩種不同尺寸窗口所組成的非等比視頻布局，則為該非等比視頻布局上各終端分別選擇大、小兩種不同尺寸窗口的視頻編碼器；其中小尺寸窗口的視頻編碼器的選擇過程如下在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)最小碼率的視頻編碼器作為所述小尺寸窗口的視頻編碼器；大尺寸窗口的視頻編碼器的選擇過程如下根據(jù)視頻總帶寬、所有小尺寸窗口的視頻編碼器的碼率之和以及大尺寸窗口的個數(shù)計算非等比視頻布局下的參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述非等比視頻布局下的參考碼率最接近且小于或等于該參考碼率的視頻編碼器作為所述大尺寸窗口的視頻編碼器。
3.根據(jù)權(quán)利要求1所述的視頻會議系統(tǒng)中的帶寬控制方法，其特征在于，根據(jù)所述視頻總帶寬及當前子窗口個數(shù)，采用如下公式計算等比視頻布局下的參考碼率視頻總帶寬 /當前子窗口個數(shù)=參考碼率。
4.根據(jù)權(quán)利要求2所述的視頻會議系統(tǒng)中的帶寬控制方法，其特征在于，根據(jù)所述視頻總帶寬、所有小尺寸窗口的視頻編碼器的碼率之和以及大尺寸窗口的個數(shù)，采用如下公式計算非等比視頻布局下的參考碼率(視頻總帶寬一所有小尺寸窗口的視頻編碼器的碼率之和)/大尺寸窗口的個數(shù)=參考碼率。
5.根據(jù)權(quán)利要求2所述的視頻會議系統(tǒng)中的帶寬控制方法，其特征在于，在選定視頻編碼器之后，還包括步驟通知各終端按照所選擇的視頻編碼器進行編碼。
6.—種視頻會議系統(tǒng)中的帶覽控制系統(tǒng)，其特征在于，包括讀取模塊，用于讀取帶寬能力表；所述帶寬能力表為將預(yù)先定義的視頻編碼器分配到預(yù)先劃分好的各個帶寬段后所形成的帶寬與視頻編碼器對應(yīng)的表格；判斷模塊，用于判斷當前視頻會議中的多畫面窗口布局是否為等比視頻布局；第一視頻編碼器計算模塊，用于在所述判斷模塊的判斷結(jié)果為是的情況下，為各終端選擇相同的視頻編碼器；選擇過程如下根據(jù)視頻總帶寬及當前子窗口個數(shù)計算參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述參考碼率最接近且小于或等于該參考碼率的視頻編碼器。
7.根據(jù)權(quán)利要求6所述的視頻會議系統(tǒng)中的帶寬控制系統(tǒng)，其特征在于，還包括第二視頻編碼器計算模塊，用于在所述判斷模塊的判斷結(jié)果為否并且當前視頻會議中的多畫面窗口布局是由大、小兩種不同尺寸窗口所組成的非等比視頻布局時，為該非等比視頻布局上各終端分別選擇大、小兩種不同尺寸窗口的視頻編碼器；其中，小尺寸窗口的視頻編碼器的選擇過程如下在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)最小碼率的視頻編碼器作為所述小尺寸窗口的視頻編碼器；大尺寸窗口的視頻編碼器的選擇過程如下根據(jù)視頻總帶寬、所有小尺寸窗口的視頻編碼器的碼率之和以及大尺寸窗口的個數(shù)計算非等比視頻布局下的參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述非等比視頻布局下的參考碼率最接近且小于或等于該參考碼率的視頻編碼器作為所述大尺寸窗口的視頻編碼器。
8.根據(jù)權(quán)利要求6所述的視頻會議系統(tǒng)中的帶寬控制系統(tǒng)，其特征在于，所述第一視頻編碼器計算模塊包括第一參考碼率計算模塊，用于根據(jù)所述視頻總帶寬及當前子窗口個數(shù)，采用如下公式計算等比視頻布局下的參考碼率視頻總帶寬/當前子窗口個數(shù)=參考碼率。
9.根據(jù)權(quán)利要求7所述的視頻會議系統(tǒng)中的帶寬控制系統(tǒng)，其特征在于，所述第二視頻編碼器計算模塊包括第二參考碼率計算模塊，用于根據(jù)所述視頻總帶寬、所有小尺寸窗口的視頻編碼器的碼率之和以及大尺寸窗口的個數(shù)，采用如下公式計算非等比視頻布局下的參考碼率(視頻總帶寬一所有小尺寸窗口的視頻編碼器的碼率之和)/大尺寸窗口的個數(shù)=參考碼率。
10.根據(jù)權(quán)利要求7所述的視頻會議系統(tǒng)中的帶寬控制系統(tǒng)，其特征在于，還包括通知模塊，用于在所述第一視頻編碼器計算模塊或第二視頻編碼器計算模塊選定視頻編碼器之后，通知各終端按照所選擇的視頻編碼器進行編碼。
全文摘要
本發(fā)明提供一種視頻會議系統(tǒng)中的帶寬控制方法及系統(tǒng)，所述方法包括以下步驟讀取帶寬能力表；所述帶寬能力表為將預(yù)先定義的視頻編碼器分配到預(yù)先劃分好的各個帶寬段后所形成的帶寬與視頻編碼器對應(yīng)的表格；判斷當前視頻會議中的多畫面窗口布局是否為等比視頻布局；若是，則為各終端選擇相同的視頻編碼器；選擇過程如下根據(jù)視頻總帶寬及當前子窗口個數(shù)計算參考碼率，并在所述帶寬能力表中選擇對應(yīng)帶寬段內(nèi)碼率與所述參考碼率最接近且小于或等于該參考碼率的視頻編碼器。本發(fā)明的方法及系統(tǒng)實現(xiàn)了對各個子窗口對應(yīng)的終端的帶寬控制，使得視頻會議系統(tǒng)能夠在一個可控的帶寬范圍下穩(wěn)定的運行，而且采用本發(fā)明方案編碼后的畫面質(zhì)量更好。
文檔編號H04N7/15GK103024342SQ20121057200
公開日2013年4月3日 申請日期2012年12月25日 優(yōu)先權(quán)日2012年12月25日
發(fā)明者劉明宇 申請人:廣東威創(chuàng)視訊科技股份有限公司