專利名稱:一種多點會議的控制方法及裝置的制作方法
技術領域:
本發(fā)明涉及電子通信技術領域,尤其涉及一種多點會議的控制方法及裝置。
背景技術:
目前,通信技術廣泛地應用于圖像傳輸領域。圖像傳輸領域中的一個重 要應用是視訊應用,包括各個終端同時進行通信的 一般視訊應用,以及在一 個終端的顯示屏中同時顯示多個終端的視頻信息的多畫面視訊應用。
在 一舶j見訊應用中,;現(xiàn)訊系統(tǒng)中可能存在處理能力不同的終端,比如 在一個視訊系統(tǒng)中包含高清終端(通常為720P (表示象素為1280X720,逐 行掃描)及以上)、標清終端(通常為4CIF (表示象素為704X576))、通 用終端(通常為CIF (表示象素為352X288))。在各種處理能力不同的終端 同時開會的情況下,需要協(xié)調各個終端的圖像傳輸能力,以便于各個終端的 顯示屏均能夠合適的顯示出圖像。
協(xié)調各個終端的圖像傳輸能力的 一種方法包括視訊系統(tǒng)中的用于控制 各個終端的多點控制單元接收各個終端分辨率能力信息,取各個終端公共最 高能力開會,視訊系統(tǒng)中的各個終端即按照協(xié)商出來的公共最高能力編解碼 圖像。但是,在視訊系統(tǒng)中的終端均采用協(xié)商出的公共最高能力開會的情況 下,只要其中有一個低分辨率終端,具有高分辨率的終端之間相互傳輸圖 像,也只能看到低分辨率圖像。
協(xié)調各個終端的圖像傳輸能力的另 一種方法包括多點控制單元對碼流進行適配轉碼操作,主要的處理過程是多點控制單元將接收到的一個高分 辨率的碼流解碼后,將解碼后的圖像縮小為低分辨率的圖像,再對該低分辨 率的圖像進行編碼得到該低分辨率圖像的碼流,最后將該低分辨率圖像的碼 流發(fā)給需要以低分辨率顯示的終端。但是,采用該方法需要對每一個高分辨 率圖像進行解碼、縮小,并對低分辨率畫面進行編碼,運算復雜,效率低。
現(xiàn)有的視訊系統(tǒng)結構圖如圖1所示,包括End-user (終端)1-N和用于 連接各個終端的MCU (多點控制單元)。MCU可以是獨立的一個設備,也可 以是嵌入終端的 一個功能^^莫塊。
采用圖1所示結構的視訊系統(tǒng)的一種開會過程包括
步驟1:系統(tǒng)中的多點控制單元確定系統(tǒng)中各個終端的公共最高開會能 力,并將該結果發(fā)送給系統(tǒng)中的各個終端。
步驟2:系統(tǒng)中的各個終端獲知公共最高開會能力之后,按該公共最高開 會能力的要求將圖像信息編碼并發(fā)送碼流。
步驟3:系統(tǒng)中的多點控制單元接收終端發(fā)送的碼流,并將碼流傳輸至需 要接收碼流的終端。
但是,采用該方法有如下缺點只要其中有一個低分辨率終端,具有高 分辨率的終端之間相互傳輸圖像,也只能看到低分辨率圖像。。
采用圖1所示結構的視訊系統(tǒng)的另一種開會過程包括
步驟1:系統(tǒng)中的多點控制單元記錄系統(tǒng)中各個終端的開會能力;
步驟2:當多點控制單元發(fā)現(xiàn)接收終端能力與發(fā)送終端能力不匹配時,則 對發(fā)送終端發(fā)來的碼流解碼,按接收終端的能力編碼,并將碼流傳輸至需要 接收的終端。
但是,采用該方法有如下缺點需要進行解碼,并進行編碼,運算復 雜,效率低。
采用圖1所示結構的朝L訊系統(tǒng)的第三種開會過程包括系統(tǒng)中的多點控制單元接收一 個大畫面的碼流,對于只顯示此大畫面的 終端轉發(fā)大畫面碼流;對于需要顯示包含此畫面的多畫面的終端,即需要顯 示多個小畫面的終端,多點控制單元解碼此碼流,縮小解出的圖像到子畫面 大小,與其它子畫面組成一個組合大畫面,編碼此組合大畫面,將組合大畫 面碼流發(fā)給需要顯示的終端。
但是,采用該方法有如下缺點對每一個子畫面需要進行解碼、縮小, 并對組合大畫面進行編碼,運算復雜,效率低。
發(fā)明內容
本發(fā)明實施例提供一種多點會議的控制方法及裝置,能夠支持系統(tǒng)中各
種不同顯示能力終端的圖像顯示需求。
本發(fā)明實施例是通過以下技術方案實現(xiàn)的
本發(fā)明實施例提供一種多點會議的控制方法,所述方法包括
確定各個終端的分辨率分層編碼參數(shù),并分別輸出給各個終端;
接收各個終端輸出的碼流;根據(jù)各個終端的顯示需求、分辨率能力信
息,從接收到的各個碼流中選擇出各個終端需要顯示的碼流,并將得到的碼
流轉碼映射為所述終端能夠解碼的碼流;將各個終端能夠解碼的碼流分別輸
出給各個終端。
本發(fā)明實施例提供一種多點控制單元,所述單元包括
第一處理單元,用于確定各個終端的分辨率分層編碼參數(shù),并將所述參
數(shù)分別輸出給各個終端;
第二處理單元,用于從接收到的各個碼流中選擇出各個終端需要顯示的
碼流;將得到的碼流轉碼映射為所述終端能夠解碼的碼流;并分別輸出給各
個終端。
本發(fā)明實施例提供一種多點會議系統(tǒng),包括多點控制單元,用于確定各個終端的分辨率分層編碼參數(shù),并將所述參
數(shù)分別輸出給各個終端;并從接收到的各個碼流中選擇出各個終端需要顯示 的碼流;將得到的碼流轉碼映射為所述終端能夠解碼的碼流;并分別輸出給 各個終端;
終端,用于根據(jù)接收到的分辨率分層編碼參數(shù),對待發(fā)送的圖像進行分 辨率分層編碼,并輸出編碼后的碼流;以及對接收到的碼流進行解碼操作。
由上述本發(fā)明實施例提供的技術方案可以看出,本發(fā)明實施例采用多點 控制單元控制分辨率分層編碼的技術方案,使得系統(tǒng)既能夠存在支持分層協(xié) 議的終端,也能夠存在不支持分層協(xié)議的終端,并且,能夠降低運算量,提 高系統(tǒng)的效率。
圖1為現(xiàn)有的視訊系統(tǒng)結構圖2為本發(fā)明第 一個實施例的過程圖3為本發(fā)明第四個實施例的結構圖。
具體實施例方式
本發(fā)明的第一個實施例為一種編解碼的方法,如圖2所示,其具體實現(xiàn)包 括如下步驟
步驟1:確定各個終端的分辨率分層編碼參數(shù),并分別輸出給各個終端。 具體可以由系統(tǒng)中用于控制各個終端的多點控制單元來確定。
步驟2:終端根據(jù)接收到的分辨率分層編碼參數(shù),對待發(fā)送的圖像進行分 辨率分層編碼,并輸出編碼后的碼流。具體可以將該碼流輸出給多點控制單 元》
步驟3:接收各個終端輸出的碼流;根據(jù)各個終端的圖像顯示需求,從接收到的各個碼流中選擇出各個終端需要解碼的碼流,并將所述需要解碼的碼
流轉碼映射為所述終端能夠解碼的碼流;將各個終端能夠解碼的碼流分別輸
出給各個終端。具體可以由多點控制單元完成該步驟的摔:作。
步驟4:終端對接收到的碼流進行解碼操作,以得到能夠顯示的圖像。
該分辨率分層編碼參數(shù)可以包括SVC協(xié)議確定的分辨率分層編碼參 數(shù);或者,H263協(xié)議確定的分辨率分層編碼參數(shù)。
本發(fā)明實施例可以應用于各個終端同時進4亍通信的一舶^見訊應用,以及 在一個終端的顯示屏中同時顯示多個終端的視頻信息的多畫面視訊應用中。 下面分別以在一般視訊應用中的具體步驟作為本發(fā)明的第二個實施例,在多 畫面視訊應用中的具體步驟作為本發(fā)明的第三個實施例,對本發(fā)明實施例進 4亍詳細敘述。
本發(fā)明的第二個實施例具體包括如下步驟
步驟1:確定各個終端的基本層分辨率。具體可以由系統(tǒng)中用于控制各個 終端的多點控制單元來確定。在預先設置基本層分辨率的情況下,應確認不 出現(xiàn)確定的基本層分辨率比系統(tǒng)中某些終端最高解碼分辨率高的情況;在沒 有預先設置基本層分辨率的情況下,該多點控制單元可以將接收到的系統(tǒng)中 的所有終端解碼分辨率的公共最高分辨率確定為基本層分辨率。
步驟2:根據(jù)確定的基本層分辨率、各個終端的顯示需求和預先確定的分 辨率分層編碼標準確定各個終端的基本層編碼標準、增強層編碼層數(shù)和編碼 標準,并分別輸出給各個終端。
對分辨率等于基本層分辨率的終端,確定其編碼協(xié)議為基本層編碼協(xié) 議,編碼分辨率為基本層分辨率,此時僅向該終端輸出預先確定的基本層編 碼標準與基本層分辨率;
對分辨率高于基本層分辨率但不具備分層編碼能力的終端,確定其編碼 協(xié)議為基本層編碼協(xié)議,編碼分辨率為基本層分辨率,此時僅向該終端輸出預先確定的基本層編碼標準與基本層分辨率;
對分辨率高于基本層分辨率且具備分層編碼能力的終端,確定其編碼協(xié) 議為分層編碼協(xié)議,基本層編碼分辨率為所述基本層分辨率,并確定增強層
參數(shù);具體可以通過下述方法確定增強層參數(shù)分辨率大于公共最高能力、 且至少有兩個終端支持的分辨率,每個分辨率對應一個增強層;和/或,對分 辨率聚類,聚類后的每個分辨率對應一個增強層。
基本層編碼標準可以包括AVC標準,或H263標準;增強層編碼標準可 以包括SVC標準,或H263標準。
步驟3:終端根據(jù)接收到的基本層分辨率、基本層編碼標準、增強層編碼 層數(shù)、增強層分辨率和增強層編碼標準,進行分辨率分層編碼,并輸出編碼 后的碼流。在終端僅接收到基本層編碼標準與基本層分辨率的情況下,按照 該基本層編碼標準對圖像進行編碼;在終端接收到基本層編碼標準與基本層 分辨率、增強層編碼層數(shù)、分辨率和編碼標準的情況下,按照該基本層編碼 標準與基本層分辨率、增強層編碼層數(shù)、分辨率和編碼標準對圖像進行編 碼。
步驟4:接收各個終端輸出的碼流,根據(jù)預先設置的終端的解碼需要,確 定各個終端需要解碼的碼流;根據(jù)各個終端的碼流解碼能力,將各個終端需 要解碼的碼流轉換為各個終端能夠解碼的碼流。
即對于分辨率等于基本層分辨率的終端,選擇出需要解碼的基本層碼 流;對于分辨率高于公共最高能力且具備分層解碼能力的終端,選擇出需要 解碼的基本層碼流,及增強層碼流;或者,將包含基本層與增強層的分層碼 流轉碼映射到基本層編碼標準碼流;對于分辨率高于公共最高能力但不具備 分層解碼能力的終端,選擇出需要解碼的基本層碼流;或者,將包含基本層 與增強層的分層碼流轉碼映射到基本層編碼標準碼流。
轉碼映射可以是完全解碼后再編碼,可以是直接進行預測系數(shù)調整及相
12應的語法語義調整,而不需要進行復雜的變換運算且不會引入飄移誤差。最 后再將得到的各個碼流輸出給各個終端。
比如系統(tǒng)中存在終端1、終端2、終端3和終端4,由多點控制單元接收 各個終端輸出的碼流;若預先設置的終端的圖像顯示需求為終端4顯示終端 1的發(fā)送的圖像,則多點控制單元設置終端4需要解碼的碼流為終端1發(fā)送的碼 流。在終端4僅能解碼按照AVC標準編碼的碼流(即AVC碼流)的情況下,若 終端1輸出的是SVC碼流,則多點控制單元需要選擇出需要解碼的基本層AVC 碼流;或者,將SVC碼流轉碼映射到AVC碼流之后輸出;在終端4能解碼SVC 碼流的情況下,若終端1輸出的是SVC碼流,則多點控制單元可以將SVC碼流 直接輸出。
采用本發(fā)明實施例的多點會議的控制方法,使得系統(tǒng)既能夠存在支持分 層協(xié)議的終端,也能夠存在不支持分層協(xié)議的終端,并且,能夠降低運算 量,提高系統(tǒng)的效率。
本發(fā)明實施例中的多點控制單元可以為視訊系統(tǒng)中某一終端上的多點控 制單元,也可以為系統(tǒng)中單獨設置的多點控制單元。
下面以包括終端1、 2、 3、 4的視訊系統(tǒng)為例,說明本發(fā)明的第二個實施 例,其中,終端1包括多點控制單元,預先設置分辨率分層編碼標準為SVC標 準。終端1的解碼能力為CIF、 4CIF、 720P,需要顯示終端2傳輸?shù)膱D像且能 解碼SVC碼流;終端2的解碼分辨率最低,終端2的解碼能力為CIF,需要顯示 終端3傳輸?shù)膱D像且僅能解碼AVC碼流,終端3的解碼能力為CIF、 4CIF,需 要顯示終端4傳輸?shù)膱D像且能解碼SVC碼流。終端4的解碼能力為CIF、 4CIF、 720P。若采用對分辨率大于基本層分辨率、且至少有兩個終端支持的 分辨率,每個分辨率對應一個增強層的增強層分層方法,系統(tǒng)的具體實現(xiàn)包 括如下步驟
步驟1:多點控制單元接收視訊系統(tǒng)中各個終端發(fā)送的解碼分辨率能力,確定基本層分辨率為終端2的解碼分辨率。
步驟2:多點控制單元根據(jù)確定的基本層分辨率、各個終端的顯示需求和 預先設置的SVC分辨率分層編碼標準確定視訊系統(tǒng)中各個終端的編碼方式, 并將各個終端的編碼方式分別發(fā)送給各個終端。對終端1、 3、 4,基本層采用
AVC標準編碼,編碼的分辨率為基本層分辨率,增強層采用SVC標準編碼, 增強層編碼層數(shù)按照分辨率大于基本層分辨率、且至少有兩個終端支持的分 辨率,每個分辨率對應一個增強層的方法確定,則增強層編碼層數(shù)為2,增強 層1分辨率為4CIF,增強層2分辨率為720P;對終端2,基本層采用AVC標準 編碼,編碼的分辨率為基本層分辨率CIF,沒有增強層。
步驟3:各個終端按照接收到的編碼方式對圖像進行編碼,并向多點控制 單元輸出編碼后的碼流。即,終端1、 3、 4輸出的碼流為SVC碼流,終端2輸 出的碼流為AVC碼 流。
步驟4:多點控制單元接收到各個終端傳輸?shù)拇a流之后,根據(jù)終端的解碼 能力,對碼流進行選擇轉換,并輸出。即,將終端2傳輸過來的碼流(AVC碼 流)直接發(fā)送至終端1;將終端3傳輸過來的碼流(SVC碼流)選擇基本層 AVC碼流發(fā)送至終端2;將終端4傳輸過來的碼流(SVC碼流)選擇基本層碼 流及增強層1碼流發(fā)送至終端3。
步驟5:各個終端將接收到的碼流進行解碼操作。
若采用對增強層聚類的增強層分層方法,系統(tǒng)的具體實現(xiàn)包括如下步
驟
步驟1:多點控制單元接收視訊系統(tǒng)中各個終端發(fā)送的解碼分辨率能力, 確定基本層分辨率為終端2的解碼分辨率。
步驟2:多點控制單元根據(jù)確定的基本層分辨率、各個終端的顯示需求和 預先設置的SVC分辨率分層編碼標準確定視訊系統(tǒng)中各個終端的編碼方式, 并將各個終端的編碼方式分別發(fā)送給各個終端。對終端1、 3、 4,基本層采用AVC標準編碼,編碼的分辨率為基本層分辨率,增強層采用SVC標準編碼,
增強層編碼層數(shù)按照分辨率大于基本層分辨率、且至少有兩個終端支持的分
辨率聚類的方法確定,則增強層編碼層數(shù)為1,增強層1分辨率為4CIF;對終 端2,基本層采用AVC標準編碼,編碼的分辨率為基本層分辨率CIF,沒有增 強層。
步驟3:各個終端按照接收到的編碼方式對圖像進行編碼,并向多點控制 單元輸出編碼后的碼流。即,終端1、 3、 4輸出的碼流為SVC碼流,終端2輸 出的碼流為AVC碼 流o
步驟4:多點控制單元接收到各個終端傳輸?shù)拇a流之后,根據(jù)終端的解碼 能力,對碼流進行選擇轉換,并輸出。即,將終端2傳輸過來的碼流(AVC碼 流)直接發(fā)送至終端1;將終端3傳輸過來的碼流(SVC碼流)選擇基本層 AVC碼流發(fā)送至終端2;將終端4傳輸過來的碼流(SVC碼流)選擇基本層碼 流及增強層1碼流發(fā)送至終端3 。
步驟5:各個終端將接收到的碼流進行解碼操作。
本發(fā)明的第三個實施例具體包括如下步驟
步驟1:接收各個終端發(fā)送的分辨率能力信息,并根據(jù)該信息和各個終端 的顯示需求確定子畫面分辨率及組合大畫面分辨率;具體可以由系統(tǒng)中的多 點控制單元確定。
步驟2:根據(jù)確定的子畫面分辨率、組合大畫面分辨率和預先確定的分辨 率分層編碼標準確定各個終端的基本層編碼標準、增強層編碼層數(shù)和編碼標 準,并分別輸出給各個終端。
對于分辨率等于子畫面分辨率的終端,確定其編碼協(xié)議為基本層編碼協(xié) 議,編碼分辨率為子畫面分辨率;
對于分辨率高于子畫面分辨率但不具備分層編碼能力的終端,確定其編 碼協(xié)議為基本層編碼協(xié)議,編碼分辨率為子畫面分辨率;
15對于分辨率高于子畫面分辨率且具備分層編碼能力的終端,確定其編碼 協(xié)議為分層編碼協(xié)議,基本層編碼分辨率為所述子畫面分辨率,增強層編碼 分辨率為所述組合大畫面分辨率。
步驟3:終端根據(jù)接收到的基本層分辨率、基本層編碼標準、增強層編碼
層數(shù)、增強層分辨率和增強層編碼標準,進行分辨率分層編碼,并輸出編碼 后的碼流。在終端僅接收到基本層編碼標準與基本層分辨率的情況下,按照
該基本層編碼標準對圖像進行編碼;在終端接收到基本層編碼標準與基本層 分辨率、增強層編碼層數(shù)、分辨率和編碼標準的情況下,按照該基本層編碼 標準與基本層分辨率、增強層編碼層數(shù)、分辨率和編碼標準對圖像進行編 碼。
步驟4:接收各個終端輸出的碼流,對需要顯示多個小畫面的終端,直接 將選擇出的需要顯示的至少一個需要解碼的碼流組合成一個基本層碼流;和/ 或,將選擇出的至少一個需要解碼的碼流進行解碼操作,將各個解碼后的畫 面組成一個大畫面,之后,將該大畫面進行編碼操作,得到一個基本層碼
流o
對需要顯示一個大畫面的終端,根據(jù)終端的不同解碼能力,可以采取如
下兩種方式對于具備分層解碼能力的終端,選擇出需要解碼的子畫面碼 流,及增強層碼流;或者,將包含子畫面碼流與增強層碼流的分層碼流轉碼 映射到基本層編碼標準碼流;
對于不具備分層解碼能力的終端,將包含子畫面碼流與增強層碼流的分 層碼流轉碼映射到基本層編碼標準碼流。
比如在本發(fā)明的第三個實施例中,多畫面^f見訊系統(tǒng)中包括終端1、 2、 3、 4以及多點控制單元,預先設置編碼標準為SVC標準。終端1的解碼能力為 CIF、 4CIF、 720P,需要顯示終端2傳輸?shù)膱D像且能解碼SVC碼流,終端2的 解碼分辨率最低,終端2的解碼能力為CIF,需要顯示終端3傳輸?shù)膱D像且僅能解碼AVC碼流,終端3的解碼能力為CIF、 4CIF,需要同時顯示終端1、 2、 4 傳輸?shù)膱D像且能解碼SVC碼流,終端4的解碼能力為CIF、 4CIF、 720P。若采 用對分辨率大于基本層分辨率、且至少有兩個終端支持的分辨率,每個分辨 率對應一個增強層的增強層分層方法,系統(tǒng)的具體實現(xiàn)包括如下步驟
步驟1:多點控制單元接收視訊系統(tǒng)中各個終端發(fā)送的解碼分辨率能力, 確定子畫面分辨率為CIF,組合大畫面分辨率為4CIF。
步驟2:確定各個終端的分層參數(shù),并將各個終端的編碼方式分別發(fā)送給 各個終端。對終端1、 3、 4,基本層采用AVC標準編碼,編碼的分辨率為子畫 面分辨率CIF,增強層采用SVC標準編碼,增強層編碼層數(shù)按照分辨率大于基 本分辨率、且至少有兩個終端支持的分辨率,每個分辨率對應一個增強層的 方法確定,則增強層編碼層數(shù)為2,增強層1分辨率為4CIF,增強層2分辨率 為720P;對終端2,基本層采用AVC標準編碼,編碼的分辨率為子畫面分辨 率CIF,沒有增強層。
步驟3:各個終端按照接收到的編碼方式對圖像進行編碼,并向多點控制 單元輸出編碼后的碼流。即,終端1、 3、 4輸出的碼流為SVC碼流,終端2輸 出的碼流為AVC碼流。
步驟4:多點控制單元接收到各個終端傳輸?shù)拇a流之后,根據(jù)終端的解碼 能力與顯示需求,對碼流進行轉換,并輸出。即,由于終端1、 2不需要顯示 小畫面,因此對需要發(fā)送給終端1、 2的碼流的處理過程與第二個實施例相 同,即將終端2傳輸過來的碼流(AVC碼流)直接發(fā)送至終端1;將終端3傳輸 過來的碼流(SVC碼流)選擇基本層AVC碼流發(fā)送至終端2;。
由于終端3需要顯示組合畫面,因此多點控制單元可以直接選擇終端1傳 輸?shù)幕緦覣VC碼流、終端2傳輸?shù)腁VC碼流、終端4傳輸?shù)幕緦覣VC碼流 組合成一個大畫面基本層AVC碼流發(fā)送給終端3。
步驟5:多畫面視訊系統(tǒng)中的各個終端將接收到的碼流進行解碼操作。對需要顯示組合畫面的終端3,將接收到的組合畫面基本層碼流進行解碼。
若采用對增強層聚類的增強層分層方法,系統(tǒng)的具體實現(xiàn)包括如下步
驟
步驟1:多點控制單元接收視訊系統(tǒng)中各個終端發(fā)送的解碼分辨率能力, 確定子畫面分辨率為CIF,組合大畫面分辨率為4CIF。
步驟2:確定各個終端的分層參數(shù),并將各個終端的編碼方式分別發(fā)送給 各個終端。對終端1、 3、 4,基本層采用AVC標準編碼,編碼的分辨率為子畫 面分辨率CIF,增強層采用SVC標準編碼,增強層編碼層數(shù)按照分辨率大于公 共最高能力、且至少有兩個終端支持的分辨率聚類的方法確定,則增強層編 碼層數(shù)為1,增強層1分辨率為4CIF;對終端2,基本層采用AVC標準編碼, 編碼的分辨率為子畫面分辨率CIF,沒有增強層。
步驟3:各個終端按照接收到的編碼方式對圖像進行編碼,并向多點控制 單元輸出編碼后的碼流。即,終端1、 3、 4輸出的碼流為SVC碼流,終端2輸 出的碼流為AVC;馬流。
步驟4:多點控制單元接收到各個終端傳輸?shù)拇a流之后,根據(jù)終端的解碼 能力與顯示需求,對碼流進行轉換,并輸出。即,由于終端1、 2不需要顯示 小畫面,因此對需要發(fā)送給終端1、 2的碼流的處理過程與第二個實施例相 同,即將終端2傳輸過來的碼流(AVC碼流)直接發(fā)送至終端1;將終端3傳輸 過來的碼流(SVC碼流)選擇基本層AVC碼流發(fā)送至終端2;。
由于終端3需要顯示組合畫面,因此多點控制單元可以將選擇出的終端1 傳輸?shù)幕緦覣VC碼流、終端2傳輸?shù)腁VC碼流、終端3傳輸?shù)幕緦覣VC碼 流、終端4傳輸?shù)幕緦覣VC碼流解碼后的畫面組成一個大畫面,之后,將該 組合大畫面進行編碼操作,得到一個基本層AVC碼流發(fā)送給終端3。
步驟5:多畫面視訊系統(tǒng)中的各個終端將接收到的碼流進行解碼操作。對 需要顯示組合畫面的終端3,將接收到的組合畫面基本層碼流進行解碼。采用本發(fā)明實施例的多點會議的控制方法,使得系統(tǒng)既能夠存在支持分 層協(xié)議的終端,也能夠存在不支持分層協(xié)議的終端,并且,能夠降低運算 量,提高系統(tǒng)的效率。
本發(fā)明的第四個實施例為一種多點會議系統(tǒng),具體結構如圖3所示,包括 一種多點控制單元和一種設置于終端中的編解碼裝置,該多點控制單元包
括用于確定各個終端的分辨率分層編碼參數(shù),并將所述參數(shù)分別輸出給各
個終端的第一處理單元,以及用于從接收到的各個碼流中選擇出各個終端需
要顯示的碼流;將得到的碼流轉碼映射為所述終端能夠解碼的碼流;并分別 輸出給各個終端的第二處理單元,其中 該第 一處理單元具體包括
信息接收單元,用于接收各個終端的顯示需求、分辨率能力信息; 參數(shù)確定單元,包括第一參數(shù)確定單元和/或第二參數(shù)確定單元,其中 第一參數(shù)確定單元用于一般視訊應用中,用于根據(jù)信息接收單元接收到 的各個終端的顯示需求、分辨率能力信息,將所有終端解碼分辨率的公共最 高分辨率確定為基本層分辨率,確定各個終端的分辨率分層編碼參數(shù);可以 采用如下方式確定分辨率分層編碼參數(shù)對于分辨率等于公共最高能力的終 端,確定其編碼協(xié)議為基本層編碼協(xié)議,編碼分辨率為基本層分辨率;對于 分辨率高于公共最高能力但不具備分層編碼能力的終端,確定其編碼協(xié)i^為 基本層編碼協(xié)議,編碼分辨率為基本層分辨率;對于分辨率高于公共最高能 力且具備分層編碼能力的終端,確定其編碼協(xié)議為分層編碼協(xié)議,基本層編 碼分辨率為所述基本層分辨率,并確定增強層參數(shù)??梢圆捎萌缦路绞酱_定 增強層參數(shù)分辨率大于基本層分辨率、且至少有兩個終端支持的分辨率, 每個分辨率對應一個增強層;和/或,對分辨率聚類,聚類后的每個分辨率對 應一個增強層;
第二參數(shù)確定單元用于多畫面視訊系統(tǒng)中,用于根據(jù)所述分辨率能力信息和各個終端的顯示需求,確定子畫面分辨率及組合大畫面分辨率,確定各
個終端的分辨率分層編碼參數(shù);可以采用如下方式確定分辨率分層編碼參 數(shù)針對多畫面視訊系統(tǒng),對于分辨率等于子畫面分辨率的終端,確定其編 碼協(xié)議為基本層編碼協(xié)議,編碼分辨率為子畫面分辨率;對于分辨率高于子 畫面分辨率但不具備分層編碼能力的終端,確定其編碼協(xié)議為基本層編碼協(xié) 議,編碼分辨率為子畫面分辨率;對于分辨率高于子畫面分辨率且具備分層 編碼能力的終端,確定其編碼協(xié)議為分層編碼協(xié)議,基本層編碼分辨率為所 述子畫面分辨率,并確定增強層參數(shù)??梢圆捎萌缦路绞酱_定增強層參數(shù) 分辨率大于基本層分辨率、且至少有兩個終端支持的分辨率,每個分辨率對 應一個增強層;和/或,對分辨率聚類,聚類后的每個分辨率對應一個增強 層。
參數(shù)分別輸出給各個終端。 該第二處理單元具體包括 碼流接收單元,用于接收各個終端發(fā)送的碼流;
碼流選擇單元,用于從接收到的各個碼流中選擇出各個終端需要顯示的 碼流;
碼流轉碼映射單元,將所述碼流選擇單元選擇得到的碼流轉碼映射為所 述終端能夠解碼的碼流,具體包括第一轉碼映射單元、第二轉碼映射單元和 第三轉碼映射單元中的至少一個單元,其中
第一轉碼映射單元,用于一般視訊應用中,包括對于分辨率等于基本 層分辨率的終端,選擇出需要解碼的基本層碼流;
對于分辨率高于基本層分辨率且具備分層解碼能力的終端,選擇出需要 解碼的基本層碼流,及增強層碼流;或者,將包含基本層與增強層的分層碼 流轉碼映射到基本層編碼標準碼流;
對于分辨率高于基本層分辨率但不具備分層解碼能力的終端,選擇出需要解碼的基本層碼流;或者,將包含基本層與增強層的分層碼流轉碼映射到
基本層編碼標準碼流;
第二轉碼映射單元,用于多畫面^L訊應用中直"J妻將選擇出的至少一個 所述需要解碼的碼流組合成一個基本層碼流;和/或,將選擇出的至少一個所 述需要解碼的碼流進行解碼操作,將各個解碼后的畫面組成一個大畫面,之 后,將所述組合畫面進行編碼梯:作,得到一個基本層碼流;
第三轉碼映射單元,用于多畫面視訊應用中對于具備分層解碼能力的 終端,選擇出需要解碼的子畫面碼流,及增強層碼流;或者,將包含子畫面 碼流與增強層碼流的分層碼流轉碼映射到基本層編碼標準碼流;對于不具備 分層解碼能力的終端,將包含子畫面碼流與增強層碼流的分層碼流轉碼映射 到基本層編碼標準碼流;
碼流輸出單元,將轉碼映射后的碼流分別輸出給各個終端。
該編解碼的裝置包括
參數(shù)接收單元,用于接收分辨率分層編碼參數(shù);
編碼單元,用于根據(jù)參數(shù)接收單元接收到的分辨率分層編碼參數(shù),對待 發(fā)送的圖像進行分辨率分層編碼,并輸出編碼后的碼流; 解碼單元,用于對"J妄收到的碼流進行解碼操作。
采用本發(fā)明實施例的多點會議系統(tǒng),使得系統(tǒng)既能夠存在支持分層協(xié)議 的終端,也能夠存在不支持分層協(xié)議的終端,并且,能夠降低運算量,提高 系統(tǒng)的效率。
以上所述,僅為本發(fā)明較佳的具體實施方式
,但本發(fā)明的保護范圍并不 局限于此,任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內,可 輕易想到的變化或替換,都應涵蓋在本發(fā)明的保護范圍之內。因此,本發(fā)明 的保護范圍應該以權利要求書的保護范圍為準。
權利要求
1、一種多點會議的控制方法,其特征在于,所述方法包括確定各個終端的分辨率分層編碼參數(shù),并分別輸出給各個終端;接收各個終端輸出的碼流;根據(jù)各個終端的顯示需求、分辨率能力信息,從接收到的各個碼流中選擇出各個終端需要顯示的碼流,并將得到的碼流轉碼映射為所述終端能夠解碼的碼流;將各個終端能夠解碼的碼流分別輸出給各個終端。
2、 如權利要求1所述的方法,其特征在于,所述確定各個終端的分辨率 分層編碼參數(shù)包括接收各個終端分辨率能力信息;根據(jù)接收到的各個終端的分辨率能力信息,將所有終端解碼分辨率的公 共最高分辨率確定為基本層分辨率;對于分辨率等于公共最高能力的終端,確定其編碼協(xié)議為基本層編碼協(xié) 議,編碼分辨率為基本層分辨率;對于分辨率高于公共最高能力但不具備分層編碼能力的終端,確定其編 碼協(xié)議為基本層編碼協(xié)議,編碼分辨率為基本層分辨率;對于分辨率高于公共最高能力且具備分層編碼能力的終端,確定其編碼 協(xié)議為分層編碼協(xié)議,基本層編碼分辨率為所述基本層分辨率,并確定增強 層參數(shù)。
3、 如權利要求1或2所述的方法,其特征在于,所述將得到的碼流轉碼映 射為所述終端能夠解碼的碼流包括對于分辨率等于基本層分辨率的終端,選擇出需要解碼的基本層碼流; 對于分辨率高于基本層分辨率且具備分層解碼能力的終端,選擇出需要解碼的基本層碼流,及增強層碼流;或者,將包含基本層與增強層的分層碼流轉碼映射到基本層編碼標準碼流;對于分辨率高于基本層分辨率但不具備分層解碼能力的終端,選擇出需要解碼的基本層碼流;或者,將包含基本層與增強層的分層碼流轉碼映射到基本層編碼標準碼流。
4、 如權利要求1所述的方法,其特征在于,所述確定各個終端的分辨率 分層編碼參數(shù)包括接收各個終端發(fā)送的分辨率能力信息,并根據(jù)所述信息和顯示需求確定 子畫面分辨率;對于分辨率等于子畫面分辨率的終端,確定其編碼協(xié)議為基本層編碼協(xié) 議,編碼分辨率為子畫面分辨率;對于分辨率高于子畫面分辨率但不具備分層編碼能力的終端,確定其編 碼協(xié)議為基本層編碼協(xié)議,編碼分辨率為子畫面分辨率;對于分辨率高于子畫面分辨率且具備分層編碼能力的終端,確定其編碼 協(xié)議為分層編碼協(xié)議,基本層編碼分辨率為所述子畫面分辨率,并確定增強 層參數(shù)。
5、 如權利要求2或4所述的方法,其特征在于,所述確定增強層參數(shù)包括分辨率大于基本層分辨率、且至少有兩個終端支持的分辨率,每個分辨 率對應一個增強層;和/或,對分辨率聚類,聚類后的每個分辨率對應一個增強層。
6、 如權利要求1或4所述的方法,其特征在于,所述將得到的碼流轉碼映 射為所述終端能夠解碼的碼流包括將選擇出的至少一個所述需要解碼的碼流組合成一個基本層碼流; 和/或,將選擇出的至少一個所述需要解碼的碼流進行解碼操作,將各個解碼后的畫面組成一個大畫面,之后,將所述大畫面進行編碼操作,得到一個基本層碼流。
7、 如權利要求1或4所述的方法,其特征在于,所述將得到的碼流轉碼映射為所述終端能夠解碼的碼流包括對于具備分層解碼能力的終端,選擇出需要解碼的子畫面碼流,及增強 層碼流;或者,將包含子畫面碼流與增強層碼流的分層碼流轉碼映射到基本 層編碼標準碼流;對于不具備分層解碼能力的終端,將包含子畫面碼流與增強層碼流的分 層碼流轉碼映射到基本層編碼標準碼流。
8、 如權利要求1或2或4任一項所述的方法,其特征在于,所述分辨率分 層編碼參數(shù)包括SVC協(xié)議確定的分辨率分層編碼參數(shù);或者,H263協(xié)議確 定的分辨率分層編碼參數(shù)。
9、 一種多點控制單元,其特征在于,所述單元包括 第一處理單元,用于確定各個終端的分辨率分層編碼參數(shù),并將所述參數(shù)分別輸出給各個終端;第二處理單元,用于從接收到的各個碼流中選擇出各個終端需要顯示的 碼流;將得到的碼流轉碼映射為所述終端能夠解碼的碼流;并分別輸出給各 個終端。
10、 如權利要求9所述的多點控制單元,其特征在于,所述第一處理單元 包括信息接收單元,用于接收各個終端的顯示需求、分辨率能力信息; 參數(shù)確定單元,用于根據(jù)信息接收單元接收到的各個終端的顯示需求、 分辨率能力信息,將所有終端解碼分辨率的公共最高分辨率確定為基本層分 辨率,確定各個終端的分辨率分層編碼參數(shù);和/或,根據(jù)所述分辨率能力信 息和各個終端的顯示需求,確定子畫面分辨率,確定各個終端的分辨率分層 編碼參數(shù);參數(shù)輸出單元,用于將參數(shù)確定單元確定的各個終端的分辨率分層編碼參數(shù)分別輸出給各個終端。
11、如權利要求9所述的多點控制單元,其特征在于,所述第二處理單元包括碼流選擇單元,用于從接收到的各個碼流中選擇出各個終端需要顯示的 碼流;碼流轉碼映射單元,將所述碼流選擇單元選擇得到的碼流轉碼映射為所 述終端能夠解碼的碼流,具體包括第一轉碼映射單元、第二轉碼映射單元和 第三轉碼映射單元中的至少一個單元,其中第一轉碼映射單元,用于對于分辨率等于基本層分辨率的終端,選擇出 需要解碼的基本層碼流;對于分辨率高于基本層分辨率且具備分層解碼能力 的終端,選擇出需要解碼的基本層碼流,及增強層碼流;或者,將包含基本 層與增強層的分層碼流轉碼映射到基本層編碼標準碼流;對于分辨率高于基 本層分辨率但不具備分層解碼能力的終端,選擇出需要解碼的基本層碼流; 或者,將包含基本層與增強層的分層碼流轉碼映射到基本層編碼標準碼流;第二轉碼映射單元,用于直接將選擇出的至少一個所述需要解碼的碼流 組合成一個基本層碼流;和/或,將選擇出的至少一個所述需要解碼的碼流進 行解碼操作,將各個解碼后的畫面組成一個大畫面,之后,將所述大畫面進 行編碼操作,得到一個基本層碼流;第三轉碼映射單元,用于對于具備分層解碼能力的終端,選擇出需要 解碼的子畫面碼流,及增強層碼流;或者,將包含子畫面碼流與增強層碼流 的分層碼流轉碼映射到基本層編碼標準碼流;對于不具備分層解碼能力的終 端,將包含子畫面碼流與增強層碼流的分層碼流轉碼映射到基本層編碼標準 碼流;碼流輸出單元,將轉碼映射后的碼流分別輸出給各個終端。
12、 一種多點^i義系統(tǒng),其特征在于,包括多點控制單元,用于確定各個終端的分辨率分層編碼參數(shù),并將所述參數(shù)分別輸出給各個終端;并從接收到的各個碼流中選擇出各個終端需要顯示 的碼流;將得到的碼流轉碼映射為所述終端能夠解碼的碼流;并分別輸出給 各個終端;終端,用于根據(jù)接收到的分辨率分層編碼參數(shù),對待發(fā)送的圖像進行分 辨率分層編碼,并輸出編碼后的碼流;以及對接收到的碼流進行解碼操作。
13、 如權利要求12所述的系統(tǒng),其特征在于,所述多點控制單元包括 第一處理單元,用于確定各個終端的分辨率分層編碼參數(shù),并將所述參數(shù)分別輸出給各個終端;第二處理單元,用于從接收到的各個碼流中選擇出各個終端需要顯示的 碼流;將得到的碼流轉碼映射為所述終端能夠解碼的碼流;并分別輸出給各 個終端。
14、 如權利要求12或13所述的系統(tǒng),其特征在于,所述終端包括 參數(shù)接收單元,用于接收分辨率分層編碼參數(shù);編碼單元,用于根據(jù)參數(shù)接收單元接收到的分辨率分層編碼參數(shù),對待 發(fā)送的圖像進行分辨率分層編碼,并輸出編碼后的碼流; 解碼單元,用于對接收到的碼流進行解碼操作。
全文摘要
一種多點會議的控制方法及裝置,包括確定各個終端的分辨率分層編碼參數(shù),并分別輸出給各個終端;接收各個終端輸出的碼流;根據(jù)各個終端的顯示需求、分辨率能力信息,從接收到的各個碼流中選擇出各個終端需要顯示的碼流,并將得到的碼流轉碼映射為所述終端能夠解碼的碼流;將各個終端能夠解碼的碼流分別輸出給各個終端。本發(fā)明實施例采用多點控制單元控制分辨率分層編碼的技術方案,使得系統(tǒng)既能夠存在支持分層協(xié)議的終端,也能夠存在不支持分層協(xié)議的終端,并且,能夠降低運算量,提高系統(tǒng)的效率。
文檔編號H04L29/06GK101588252SQ200810112398
公開日2009年11月25日 申請日期2008年5月23日 優(yōu)先權日2008年5月23日
發(fā)明者靜 王 申請人:華為技術有限公司