專利名稱：視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元及其視頻處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元及其視 頻處理方法。
背景技術(shù)：
會(huì)議電視系統(tǒng)是指能夠?qū)崿F(xiàn)多點(diǎn)的視頻和聲音進(jìn)行實(shí)時(shí)交互和傳輸?shù)南到y(tǒng)，通常 是由后臺(tái)會(huì)議管理105、多點(diǎn)控制單元(MultipointControlling Unit, MCU)104和各點(diǎn)的 終端101組成，如圖1所示。后臺(tái)會(huì)議管理用于實(shí)現(xiàn)對(duì)會(huì)議管理的功能，可以通過(guò)Internet進(jìn)行；MCU則是根 據(jù)會(huì)議要求，完成媒體處理等功能；這里終端是指參加會(huì)議一方的設(shè)備，包含了攝像頭、視 頻接收和顯示、麥克風(fēng)、擴(kuò)音器等終端設(shè)備的集合。該系統(tǒng)的工作原理是各終端通過(guò)傳輸 網(wǎng)絡(luò)103 (包括以太網(wǎng)、E1等網(wǎng)絡(luò))把視頻傳送到MCU104，MCU104根據(jù)后臺(tái)會(huì)議管理105提 出的會(huì)議要求，把與會(huì)終端視頻進(jìn)行解碼、交互、合成、編碼等處理，再傳送給各終端，從而 實(shí)現(xiàn)會(huì)議電視的功能。MCU中實(shí)現(xiàn)視頻處理功能的單元定義為VPU(Vide0Pr0CesSing Unit, 視頻處理單元)。由此可知，MCU是會(huì)議電視的核心，而VPU則是MCU的核心，它決定了會(huì)議電視系 統(tǒng)能夠處理的終端的數(shù)量、畫面的形式(比如六畫面、12畫面、16畫面等形式)和質(zhì)量(比 如圖像有1080p，720p, Dl，CIF等不同的分辨率)，即會(huì)議電視系統(tǒng)的容量和性能。通用端口(Universal Port,簡(jiǎn)稱為UP)，是會(huì)議電視行業(yè)內(nèi)通用的說(shuō)法，并非指 通常意義上理解的端口或接口，而是指會(huì)議電視系統(tǒng)中MCU可以支持各種不同類型的終端 (比如有高清、標(biāo)清終端，或其他處理能力、碼流、格式不同的終端)，并且它們之間可以不 限制終端類型，隨意組合舉行會(huì)議，并滿足它們各自對(duì)視頻音頻格式、不同的碼率、不同形 式的多畫面和多畫面內(nèi)容的不同要求。具有這樣性能的會(huì)議電視系統(tǒng)好比擁有支持各種終 端的“通用端口，，一樣，連接任何終端都可以舉行會(huì)議。例如，某會(huì)議系統(tǒng)有40個(gè)終端，分別為XI X40，其中XI X20為高清終端，碼 流為8Mb/s，X21 X40為標(biāo)清終端，碼流為2Mb/s?，F(xiàn)在要舉行一場(chǎng)有XI X10和X21 X30參加的會(huì)議，XI要求實(shí)現(xiàn)高清(1080p分辨率)16畫面(比如分別來(lái)自X2 X10，X21 X27)的視頻，而X21則只需實(shí)現(xiàn)720p分辨率4畫面(比如分別來(lái)自XI，X2，X6，X25)的視 頻即可，其他終端的要求也都不盡相同。所以，要實(shí)現(xiàn)這個(gè)會(huì)議，MCU必須具有“通用性”，滿 足所有與會(huì)終端的要求。而終端的這種要求是應(yīng)用層面的要求，不是物理層意義上的一般 端口或接口(如以太網(wǎng)口、E1接口)。終端應(yīng)用層面的要求往往是對(duì)媒體流的處理，比如前面提到的視頻音頻格式、碼 率、各種形式的多畫面和多畫面內(nèi)容的要求。所以這里的通用端口就是指在媒體處理上實(shí) 現(xiàn)“通用端口，，化，使得能夠處理和支持不同類型終端的媒體流。在會(huì)議電視中，媒體流的 處理重點(diǎn)在于視頻處理，而視頻處理主要在VPU中完成。所以，只要VPU實(shí)現(xiàn)通用端口，即 視頻會(huì)議實(shí)現(xiàn)了通用端口。
VPU實(shí)現(xiàn)通用端口是對(duì)VPU單元化，每個(gè)單元可以對(duì)應(yīng)一個(gè)終端，負(fù)責(zé)完成對(duì) 應(yīng)終端的各種要求。這個(gè)單元好比一個(gè)VPU的媒體流端口，我們把它定義為Universal Port (UP)。各UP內(nèi)部可以不同，能力也不一樣，MCU內(nèi)部的媒體控制單元(Media Controller, MC)負(fù)責(zé)協(xié)調(diào)UP和終端的連接。目前，通用端口已經(jīng)成為會(huì)議電視的一個(gè)趨勢(shì)，下面介紹實(shí)現(xiàn)VPU通用端口的一 種常用方法基于Rapid 10實(shí)現(xiàn)Universal Port功能的方法。Rapid 10是一種高速率串行接口，目前最高達(dá)到3. 125G bit/s，一些芯片可以支 持4X模式(但只能硬件設(shè)置，軟件不能更改)，也就是4路并行，達(dá)到12. 5G bit/s。Rapid 10支持板內(nèi)、通過(guò)背板、一定長(zhǎng)度內(nèi)定制的銅軸電纜連接。如圖2所示，該方案和上述方案 的不同之處在于這里用Rapid 10傳輸各UP之間的基帶數(shù)據(jù)，下面說(shuō)明其工作原理1)在一 個(gè)會(huì)議中，MC根據(jù)各UP的能力和空閑狀態(tài)，分配UP1對(duì)應(yīng)XI。2)UP1和XI通過(guò)千兆以太 網(wǎng)建立連接，接收XI的碼流。3) UP1解碼XI的碼流后，通過(guò)Rapid 101傳遞到Rapid 10交 換機(jī)，用于其他UP多畫面合成的素材，即基帶數(shù)據(jù)；同時(shí)，UP1通過(guò)Rapid 101從Rapid 10 交換機(jī)接收到其他UP輸出的基帶數(shù)據(jù)用于多畫面合成。4)UP1將合成的多畫面進(jìn)行編碼， 通過(guò)千兆以太網(wǎng)傳遞給XI，從而實(shí)現(xiàn)XI的要求。由于Rapid 10的高帶寬，可以滿足各UP之間基帶數(shù)據(jù)的交互，另外Rapid 10接 口有專用的交換芯片，可以組成網(wǎng)絡(luò)。但是，這個(gè)方案存在以下缺陷1)具有Rapid 10接口的芯片價(jià)格比較貴，成本較高，并且不夠普遍，選擇面較窄 導(dǎo)致具體的實(shí)現(xiàn)方式有限；2)Rapid 10接口(是一種板內(nèi)技術(shù))雖然支持定制的銅軸電纜進(jìn)行傳輸，但長(zhǎng)度 有限，一般在幾米之內(nèi)，限制了其應(yīng)用空間；3) Rapid 10對(duì)單板的布局和走線要求比較高，組成的網(wǎng)絡(luò)穩(wěn)定性較差，并且由于 Rapid 10主要應(yīng)用于板內(nèi)互聯(lián)，因此在板間形成復(fù)雜網(wǎng)絡(luò)存在的技術(shù)風(fēng)險(xiǎn)較大。綜上所述，上述方案的問(wèn)題主要是使用Rapid 10組成網(wǎng)絡(luò)存在成本較高、芯片選 擇面窄、應(yīng)用范圍受限、以及組成網(wǎng)絡(luò)的技術(shù)風(fēng)險(xiǎn)較大的問(wèn)題，這些問(wèn)題都不利于視頻會(huì)議 系統(tǒng)的擴(kuò)容和平滑升級(jí)。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于提供一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元及其視頻處理方 法，以至少解決上述問(wèn)題。根據(jù)本發(fā)明的一個(gè)方面，提供了一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元，包括視頻處 理單元，其包括多個(gè)通用端口單元，多個(gè)通用端口單元通過(guò)以太網(wǎng)接口與視頻會(huì)議系統(tǒng)的 多個(gè)終端連接，多個(gè)通用端口單元中的各個(gè)通用端口單元分別用于對(duì)來(lái)自視頻會(huì)議系統(tǒng)中 的一個(gè)終端的壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解壓縮數(shù)據(jù)發(fā)送給以太網(wǎng)交換機(jī)；以太網(wǎng)交 換機(jī)，其通過(guò)以太網(wǎng)接口與多個(gè)通用端口單元連接形成內(nèi)部以太網(wǎng)，用于接收多個(gè)通用端 口單元發(fā)送來(lái)的解壓縮數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供了一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元的視頻處理方 法，包括第一通用端口單元通過(guò)以太網(wǎng)接口接收來(lái)自視頻會(huì)議系統(tǒng)的終端的壓縮視頻數(shù) 據(jù)；第一通用端口單元對(duì)壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解壓縮數(shù)據(jù)通過(guò)以太網(wǎng)接口發(fā)送給以太網(wǎng)交換機(jī)。通過(guò)本發(fā)明，基于以太網(wǎng)技術(shù)，將各UP通過(guò)以太網(wǎng)接口與以太網(wǎng)交換機(jī)連接，用 于傳輸各UP之間的基帶數(shù)據(jù)(即上述解壓縮數(shù)據(jù))，從而實(shí)現(xiàn)了視頻會(huì)議多點(diǎn)控制單元媒 體處理上的通用端口功能，并且基于以太網(wǎng)技術(shù)的組網(wǎng)穩(wěn)定性較好、成本較低、容易擴(kuò)容、 以及兼容性較強(qiáng)。此外，由于以太網(wǎng)傳輸線纜長(zhǎng)度不受限從而基于以太網(wǎng)接口組網(wǎng)應(yīng)用廣 泛。


此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā) 明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中圖1是根據(jù)相關(guān)技術(shù)的典型的會(huì)議電視系統(tǒng)示意圖；圖2是根據(jù)相關(guān)技術(shù)的基于Rapid 10實(shí)現(xiàn)Universal Port功能的會(huì)議電視系統(tǒng) 示意圖；圖3是根據(jù)本發(fā)明實(shí)施例的視頻會(huì)議系統(tǒng)的示意圖；圖4是根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于以太網(wǎng)實(shí)現(xiàn)Universal Port功能的視頻會(huì) 議系統(tǒng)的示意圖；圖5是根據(jù)本發(fā)明第一優(yōu)選實(shí)施例的基于以太網(wǎng)的通用端口單元的內(nèi)部框圖；圖6是根據(jù)本發(fā)明第二優(yōu)選實(shí)施例的通用端口單元的實(shí)現(xiàn)框圖；圖7是根據(jù)本發(fā)明第二優(yōu)選實(shí)施例的6畫面形式圖；以及圖8是根據(jù)本發(fā)明實(shí)施例的視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元的視頻處理方法的流 程圖。
具體實(shí)施例方式下文中將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。需要說(shuō)明的是，在不沖突的 情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。圖3是根據(jù)本發(fā)明實(shí)施例的視頻會(huì)議系統(tǒng)的示意圖，該視頻會(huì)議系統(tǒng)的多點(diǎn)控制 單元MCU，包括視頻處理單元VPU 20，其包括多個(gè)通用端口單元(UP) 202，多個(gè)通用端口單元202 通過(guò)以太網(wǎng)接口與視頻會(huì)議系統(tǒng)的多個(gè)終端50連接，多個(gè)通用端口單元202中的各個(gè)通用 端口單元分別用于對(duì)來(lái)自視頻會(huì)議系統(tǒng)中的一個(gè)終端的壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解 壓縮數(shù)據(jù)發(fā)送給以太網(wǎng)交換機(jī)204 ；以太網(wǎng)交換機(jī)204，其通過(guò)以太網(wǎng)接口與多個(gè)通用端口單元202連接形成內(nèi)部以 太網(wǎng)，用于接收多個(gè)通用端口單元202發(fā)送來(lái)的解壓縮數(shù)據(jù)。如圖2所示的相關(guān)技術(shù)中由于UP使用Rapid 10接口與RapidIO交換機(jī)連接而組 成網(wǎng)絡(luò)，從而存在成本較高、芯片選擇面窄、應(yīng)用范圍受限、以及組成網(wǎng)絡(luò)的技術(shù)風(fēng)險(xiǎn)較大 的問(wèn)題。本實(shí)施例基于廉價(jià)、成熟的以太網(wǎng)技術(shù)，將各UP通過(guò)以太網(wǎng)接口與以太網(wǎng)交換機(jī) 連接從而形成以太網(wǎng)絡(luò)，用于傳輸各UP之間的基帶數(shù)據(jù)(即上述解壓縮數(shù)據(jù))，從而實(shí)現(xiàn)了 視頻會(huì)議多點(diǎn)控制單元媒體處理上的通用端口功能，并且基于以太網(wǎng)技術(shù)的組網(wǎng)穩(wěn)定性較 好以及成本較低。此外，由于以太網(wǎng)傳輸線纜(可以為一般使用的網(wǎng)線)長(zhǎng)度不受限從而
6基于以太網(wǎng)接口組網(wǎng)應(yīng)用廣泛。此外，本實(shí)施例由于各UP采用以太網(wǎng)方式組成網(wǎng)絡(luò)，以太網(wǎng)技術(shù)成熟、廉價(jià)，通過(guò) 以太網(wǎng)交換機(jī)就可以很方便地增加更多的UP，從而實(shí)現(xiàn)擴(kuò)容，理論上不限于UP數(shù)量和空 間；并且，各UP(可以內(nèi)部實(shí)現(xiàn)方式不同，處理能力不一樣)可以通過(guò)以太網(wǎng)交換機(jī)形成以 太網(wǎng)絡(luò)，能力差的UP可以處理要求低的終端，能力強(qiáng)的UP即可以處理要求高的也可以處 理要求低的終端，因此兼容性較強(qiáng)，且在升級(jí)過(guò)程中，視情況不必完全更換或淘汰能力差的 UP，可以實(shí)現(xiàn)平滑過(guò)渡。優(yōu)選地，多個(gè)通用端口單元202中的各個(gè)通用端口單元分別還用于通過(guò)以太網(wǎng)交 換機(jī)204接收來(lái)自多個(gè)通用端口單元中除自己以外的其他通用端口單元(可以是一個(gè)或多 個(gè)，具體根據(jù)對(duì)應(yīng)的終端的要求或者由媒體控制單元30通過(guò)指令來(lái)協(xié)調(diào))的解壓縮數(shù)據(jù)， 并按照對(duì)應(yīng)的終端的要求(由媒體控制單元將對(duì)應(yīng)的終端的要求通過(guò)指令發(fā)送給各個(gè)通 用端口單元)對(duì)該解壓縮數(shù)據(jù)進(jìn)行處理，將處理后的數(shù)據(jù)通過(guò)外部以太網(wǎng)發(fā)送給該對(duì)應(yīng)的 終端。因此，以太網(wǎng)交換機(jī)204用于將VPU中的通用端口單元組成以太網(wǎng)絡(luò)，實(shí)現(xiàn)各個(gè)通用 端口單元之間的數(shù)據(jù)交換。優(yōu)選地，如圖3所示，在上述的MCU中，還包括媒體控制單元MC 30，用于根據(jù)視 頻會(huì)議系統(tǒng)中的第一終端(如圖3中位于XI處的終端)的請(qǐng)求消息(該請(qǐng)求消息中可以 包括第一終端所要求的畫面格式、碼流速率、內(nèi)容、和形式等個(gè)性化要求)，通知多個(gè)通用端 口單元中的第一通用端口單元(如圖3中UP1)接收第一終端的壓縮視頻數(shù)據(jù)。MCU內(nèi)部的 媒體控制單元MC (Media Controller,MC)控制和協(xié)調(diào)所有UP的工作。MC接收到來(lái)自第一 終端的請(qǐng)求消息后，根據(jù)當(dāng)前所有通用端口單元的使用情況和處理能力，選擇一個(gè)通用端 口單元(如第一通用端口單元)與第一終端相對(duì)應(yīng)，并通知UP1接收第一終端送往MCU的 壓縮視頻數(shù)據(jù)。這樣，MC可以在接收到視頻會(huì)議系統(tǒng)中任一終端的請(qǐng)求消息后，從VPU的 多個(gè)UP中選擇一個(gè)空閑的UP以作為為該終端分配的UP來(lái)接收其發(fā)送的壓縮視頻數(shù)據(jù)。圖4是根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于以太網(wǎng)實(shí)現(xiàn)Universal Port功能的會(huì)議電 視系統(tǒng)示意圖。優(yōu)選地，如圖4和圖5所示，第一通用端口單元202包括外部以太網(wǎng)接口 A，通過(guò) 外部以太網(wǎng)與第一終端連接，用于根據(jù)媒體控制單元30的通知指令接收第一終端發(fā)送的 壓縮視頻數(shù)據(jù)；解碼模塊2021，用于解壓縮外部以太網(wǎng)接口 A接收到的壓縮視頻數(shù)據(jù)，得到 解壓縮數(shù)據(jù)；第一媒體處理模塊2022，用于對(duì)上述解壓縮數(shù)據(jù)進(jìn)行縮放處理，得到預(yù)定尺 寸的圖像；壓縮模塊2023，用于對(duì)上述預(yù)定尺寸的圖像進(jìn)行壓縮，得到壓縮數(shù)據(jù)；內(nèi)部以太 網(wǎng)接口 B，與以太網(wǎng)交換機(jī)204連接，用于將壓縮數(shù)據(jù)發(fā)送給以太網(wǎng)交換機(jī)204。該優(yōu)選實(shí)施例提供了通用端口單元的具體實(shí)施方案，顯然，VPU中的多個(gè)通用端 口單元均可包括上述模塊以實(shí)現(xiàn)對(duì)來(lái)自某一終端的壓縮視頻數(shù)據(jù)的處理(包括解壓縮、縮 放、和壓縮處理)。例如，上述模塊的工作原理為1)MC根據(jù)第一終端(位于XI處)上報(bào)的 情況，通知UP1的外部以太網(wǎng)接口 A接收第一終端送往MCU的壓縮視頻數(shù)據(jù)，UP1的解碼模 塊2021解碼該圖像成原始圖像或某一中間格式的圖像(即上述的解壓縮數(shù)據(jù))；2)UP1中 的第一媒體處理模塊2022對(duì)解碼圖像(即上述的解壓縮數(shù)據(jù))進(jìn)行縮放，形成大、中、小畫 面(即上述的預(yù)定尺寸的圖像)；3)UP1的壓縮模塊2023對(duì)大、中、小畫面采用特定算法進(jìn) 行壓縮；4)UP1將壓縮數(shù)據(jù)通過(guò)外部網(wǎng)絡(luò)接口 B以單播或組播方式發(fā)送到以太網(wǎng)交換機(jī)204上，作為其它UPx多畫面的合成素材。優(yōu)選地，以太網(wǎng)交換機(jī)204還用于將來(lái)自多個(gè)通用端口單元中的第二通用端口單 元(如為UP2至UP7的6個(gè)通用端口單元)的壓縮數(shù)據(jù)發(fā)送給第一通用端口單元(UP1)； 第一通用端口單元的內(nèi)部以太網(wǎng)接口 A還用于根據(jù)媒體控制單元30的指令接收來(lái)自以太 網(wǎng)交換機(jī)204的壓縮數(shù)據(jù)(即第二通用端口單元對(duì)來(lái)自第二終端(如為處于X3至X8處的 6個(gè)終端)的壓縮視頻數(shù)據(jù)經(jīng)解壓縮、縮放、和壓縮處理后的得到的數(shù)據(jù))；第一通用端口單 元還包括解壓縮模塊2024，用于對(duì)內(nèi)部以太網(wǎng)接口 B接收的壓縮數(shù)據(jù)進(jìn)行解壓縮，得到與 第二通用端口單元對(duì)應(yīng)的第二終端的預(yù)定尺寸的圖像；第二媒體處理單元2025，用于將上 述與第二通用端口單元對(duì)應(yīng)的第二終端的預(yù)定尺寸的圖像進(jìn)行合成處理，得到第一終端所 需的畫面形式的合成圖像；編碼模塊2026，用于對(duì)合成圖像進(jìn)行壓縮編碼，得到與第一終 端的類型相對(duì)應(yīng)的壓縮視頻碼流，并通過(guò)外部以太網(wǎng)接口 A發(fā)送給第一終端。該優(yōu)選實(shí)施例提供了 UP1對(duì)其他UPx發(fā)送的壓縮數(shù)據(jù)進(jìn)行解壓縮、合成、和壓縮編 碼處理后，將符合終端所需圖像格式、速率碼流等要求的壓縮視頻碼流發(fā)送給終端進(jìn)行播 放的具體實(shí)施方案。為實(shí)現(xiàn)通用端口的功能，每一個(gè)UP都需要與其它UP交互圖像數(shù)據(jù)，如 某一個(gè)高清終端在會(huì)議中要求看一個(gè)16畫面的高清圖像，那么與這個(gè)終端對(duì)應(yīng)的UP需要 通過(guò)以太網(wǎng)交換機(jī)從其它16個(gè)UP獲得16個(gè)其它終端的小的畫面圖像。這樣，可以為終端 提供符合其類型要求的碼流，位于終端處的用戶可以觀看任意一個(gè)或多個(gè)自己會(huì)場(chǎng)或其他 會(huì)場(chǎng)的視頻。例如，1) UP1根據(jù)MC的指令，從內(nèi)部以太網(wǎng)接口 B接收來(lái)自其他UPx的壓縮畫 面(即上述的壓縮數(shù)據(jù))，比如接收其它n (多畫面數(shù)量)個(gè)UPx的小畫面壓縮碼流；2) UP1 的解壓縮模塊2024將接收到的小畫面壓縮碼流解碼成原始圖像(即上述的預(yù)定尺寸的圖 像)，然后送到第二媒體處理模塊2025，比如，解碼后的n個(gè)UPx的小畫面；3)第二媒體處 理模塊2025合成和處理相關(guān)圖像，形成第一終端需要的原始圖像數(shù)據(jù)(為基帶圖像，即上 述的合成圖像)，然后送給編碼模塊2026 ；4)UP1的編碼模塊2026將基帶圖像壓縮編碼成 第一終端需要的圖像格式和速率碼流(即與第一終端的類型相對(duì)應(yīng)的壓縮視頻碼流)，發(fā) 送給第一終端進(jìn)行播放。優(yōu)選地，壓縮模塊2023和解壓縮模塊2024可以使用淺壓縮(如MJPEG、H. 264低 復(fù)雜度算法等)算法對(duì)接收到的數(shù)據(jù)進(jìn)行壓縮和解壓縮。由于采用GE(以太網(wǎng))接口傳 送基帶視頻流，尤其是高清基帶視頻流有很大的困難，一路1080p30(4:2:0)的原始圖像基 帶數(shù)據(jù)就達(dá)到了 94M Byte/s。考慮到大量UP通過(guò)以太網(wǎng)交換機(jī)互聯(lián)，為了避免沖突和保 證效率，GE 口的吞吐量也不宜過(guò)大。為此，在各個(gè)UP之間傳遞基帶數(shù)據(jù)必須找到一種低 延時(shí)(如最終達(dá)到編解碼總延時(shí)要小于10ms)的圖像壓縮算法，用于內(nèi)部圖像交換，可以 稱為“淺壓縮算法”。如果采用DSP實(shí)現(xiàn)這種算法，為了達(dá)到延時(shí)要求，這種算法要求復(fù)雜 度低(如H. 264bp算法復(fù)雜度的30% )，在帶寬、碼率波動(dòng)、甚至是圖像質(zhì)量方面要求有 所放松，比如可以使用 MJPEG (Motion Join Photographic Expert Group)算法(MJPEG 是 在JPEG算法基礎(chǔ)上發(fā)展起來(lái)的動(dòng)態(tài)圖像壓縮技術(shù))，也可以使用H. 264低復(fù)雜度算法來(lái)實(shí) 現(xiàn)上述的“淺壓縮算法”。不同分辨率圖像基帶數(shù)據(jù)流量如下1080p30 4:2:0-94MByte/s； 720p304:2:0-42MByte/s ；D1 30fps 4:2:0-16MByte/s ；CIF 30fps 4:2:0_5MByte/so優(yōu)選地，第一通用端口單元還用于通過(guò)加入組播組的方式接收來(lái)自第二通用端口 單元的對(duì)應(yīng)于第二終端的壓縮數(shù)據(jù)。這樣，VPU中的多個(gè)通用端口單元加入一個(gè)組播組，其中的任意一個(gè)通用端口單元都可以選擇接收與其屬于同一組播組的其他通用端口單元中 的一個(gè)或多個(gè)的壓縮數(shù)據(jù)。采用組播方式，數(shù)據(jù)傳輸效率會(huì)更高。優(yōu)選地，上述的第二終端可以為多個(gè)，上述的第二通用端口單元也可以為多個(gè)。這 樣，視頻會(huì)議系統(tǒng)中的任意一個(gè)終端可以選擇觀看其他任意一個(gè)或多個(gè)終端的視頻。優(yōu)選地，視頻處理單元20為分層拓?fù)浣Y(jié)構(gòu)。MCU的VPU由大量分散的媒體處理點(diǎn) 構(gòu)成，每個(gè)媒體處理點(diǎn)對(duì)外可以稱為通用端口單元(Universal Port，UP)。分層的拓?fù)浣Y(jié) 構(gòu)可以是若干UP組成媒體處理板，若干媒體處理板組成媒體處理框，若干媒體處理框組 成媒體處理柜，若干媒體處理柜組成VPU。這樣，可以實(shí)現(xiàn)MCU容量的擴(kuò)展，視頻會(huì)議系統(tǒng)的 擴(kuò)容也將不受單板、機(jī)框、機(jī)架、甚至地域的限制，理論上可以無(wú)限擴(kuò)容。優(yōu)選地，通用端口單元202可以由處理芯片(如DSP芯片)實(shí)現(xiàn)。UP是一個(gè)獨(dú)立 運(yùn)作的單元，內(nèi)部可由一片或幾片DSP(SOC)構(gòu)成，對(duì)外有一個(gè)以太網(wǎng)口 A與視頻會(huì)議終端 連接，對(duì)內(nèi)有一個(gè)或多個(gè)以太網(wǎng)口 B通過(guò)內(nèi)部以太網(wǎng)交換機(jī)與其它UP連接。按照以上技術(shù)方案，UP是個(gè)獨(dú)立的單元，同一架構(gòu)下的UP，其內(nèi)部實(shí)現(xiàn)方式可以 不盡相同。參照?qǐng)D4，不盡相同的UP(UP1 UP8)通過(guò)內(nèi)部高速以太網(wǎng)組成VPU;同時(shí)連接 外部高速以太網(wǎng)，根據(jù)MC的指令，和終端建立連接。這樣就建立了一個(gè)基于不同UP構(gòu)成的 分布式媒體處理架構(gòu)。而事實(shí)上，整個(gè)架構(gòu)的以太網(wǎng)網(wǎng)絡(luò)是成熟的技術(shù)，其實(shí)現(xiàn)的關(guān)鍵在于 UP的實(shí)現(xiàn)。UP的實(shí)現(xiàn)形式雖然可以不一樣的，但是它們都具備圖5的內(nèi)部結(jié)構(gòu)和外部接口。 在具體實(shí)施上，Universal Port可以是一片高性能的處理芯片組成，也可以由幾片相對(duì)廉 價(jià)的處理芯片組成，如圖4中UP1 UP8都可能根據(jù)項(xiàng)目要求不盡相同。同樣由多片處理 芯片組成的UP，其內(nèi)部處理芯片也可能不盡相同；根據(jù)它們的接口和能力，這些處理芯片 分別完成相應(yīng)的模塊功能。例如，如圖6所示，以一個(gè)六畫面為例，假設(shè)MC分配圖4中的UP1來(lái)處理終端XI 的各項(xiàng)請(qǐng)求。此時(shí)，終端XI要求實(shí)現(xiàn)一個(gè)如圖7所示的六畫面，其中畫面一到六分別來(lái)自 終端X2 X7，假定終端X2 X7分別對(duì)應(yīng)UP2 UP7，如圖6所示，UP1由三片DSP組成， 各DSP具有千兆網(wǎng)口 GE(作為內(nèi)部以太網(wǎng)接口 B或外部以太網(wǎng)接口 A)和VP (Video Port, 視頻端口)，各DSP的處理能力可以不同，相應(yīng)地完成的功能模塊也不同。DSP之間采用 VP(VideoPort) 口連接，也可以采用Rapid 10、PCIE、萬(wàn)兆網(wǎng)口等高速接口或多核處理芯片 的內(nèi)部高速鏈路等技術(shù)。其中，DSP1完成解碼模塊2021、第一媒體處理模塊2022、和壓縮 模塊2023的功能；DSP2完成解壓縮模塊2024和第二媒體處理模塊2025的功能；DSP3完成 編碼模塊2026的功能。UP1的具體工作原理為(1)MC收到終端XI的要求后，通知UP1接收XI的碼流，并輸出終端X2 X7六個(gè) 畫面合成的六畫面到XI，其中要求X2的畫面為大畫面，其他為小畫面； (2) UP1的DSP1對(duì)XI的碼流進(jìn)行解碼，然后將視頻數(shù)據(jù)通過(guò)VP1發(fā)送給DSP2用于 多畫面合成或環(huán)回顯示；同時(shí)對(duì)解碼后的視頻數(shù)據(jù)使用MJPEG算法進(jìn)行“淺壓縮”，變成大、 中、小畫面碼流，單播或組播到內(nèi)部高速以太網(wǎng)，用作其他UP多畫面的合成；
(3)根據(jù)MC的通知，DSP2接收UP2 UP7的“淺壓縮”碼流(即同(1)中使用 MJPEG算法進(jìn)行“淺壓縮”得到的碼流)，其中UP2的碼流為“淺壓縮”大畫面碼流，其他為 小畫面碼流；
9
(4)DSP2對(duì)“淺壓縮”碼流進(jìn)行解碼后，合成圖7所示的六畫面(也可根據(jù)終端的 要求，合成的多畫面包含自己的畫面，或單獨(dú)環(huán)回顯示)；(5)DSP2合成的多畫面數(shù)據(jù)最后通過(guò)VP2發(fā)送給DSP3 ；(6)DSP3按照終端需要的碼率(比如lMb/s、2Mb/s、4Mb/S、8Mb/S等)，對(duì)合成的多 畫面進(jìn)行編碼，通過(guò)連接外部高速以太網(wǎng)的GE 口發(fā)送給終端XI，從而實(shí)現(xiàn)終端XI的六畫面 請(qǐng)求。上述優(yōu)選實(shí)施例中的UP之間采用以太網(wǎng)接口互聯(lián)，能夠線性的擴(kuò)容，不受單板、 機(jī)框、機(jī)架的限制，也不受會(huì)議的限制。某個(gè)UP的故障能夠被快速隔離，并被其它空閑UP 替代。UP內(nèi)部芯片選擇面廣，以降低成本和實(shí)現(xiàn)高低搭配。隨著處理芯片的升級(jí)而平滑過(guò) 渡，即新擴(kuò)容的能力通過(guò)增加新單板完成，老的單板可以繼續(xù)使用而不需要被替換。圖8是根據(jù)本發(fā)明實(shí)施例的視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元的視頻處理方法，結(jié)合 圖3，該方法包括以下步驟步驟S802，第一通用端口單元(如UP1)通過(guò)以太網(wǎng)接口接收來(lái)自視頻會(huì)議系統(tǒng)的 第一終端(如終端XI)的壓縮視頻數(shù)據(jù)；步驟S804，第一通用端口單元對(duì)上述壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解壓縮數(shù)據(jù) 通過(guò)以太網(wǎng)接口發(fā)送給以太網(wǎng)交換機(jī)204 ；步驟S806，以太網(wǎng)交換機(jī)204將上述解壓縮數(shù)據(jù)通過(guò)以太網(wǎng)接口發(fā)送給第二通用 端口單元(可以是一個(gè)或多個(gè)，如UP3、UP5、和UP6)以進(jìn)行合成處理并將合成畫面(通過(guò) 外部以太網(wǎng))發(fā)送給對(duì)應(yīng)的第二終端(如終端Xn、X7、和X10)。優(yōu)選地，在上述的方法中，還包括第一通用端口單元通過(guò)以太網(wǎng)交換機(jī)204接收 來(lái)自VPU中除自己以外的其他通用端口單元(可以是一個(gè)或多個(gè)，如UP4-UP8)的解壓縮數(shù) 據(jù)；第一通用端口單元按照與其對(duì)應(yīng)的第一終端的要求對(duì)該解壓縮數(shù)據(jù)進(jìn)行合成處理，并 將處理后的合成畫面(通過(guò)外部以太網(wǎng))發(fā)送給第一終端。結(jié)合圖4和圖5，一個(gè)UP實(shí)現(xiàn)的流程如下步驟1，MC根據(jù)終端上報(bào)的情況，通知UP的對(duì)外網(wǎng)絡(luò)端口 A接收終端送往MCU的 壓縮視頻數(shù)據(jù)；步驟2，UP的解碼模塊2021解碼該圖像成原始圖像或某一中間格式的圖像；步驟3，UP中的第一媒體處理模塊2022對(duì)解碼的圖像進(jìn)行縮放，形成大、中、小畫步驟4，UP的壓縮模塊2023對(duì)大、中、小畫面采用特定算法(MJPEG算法)進(jìn)行壓縮。步驟5，UP將壓縮數(shù)據(jù)通過(guò)內(nèi)部以太網(wǎng)接口 B單播或組播到內(nèi)部以太網(wǎng)上，作為其 它UPx多畫面的合成素材；步驟6，同時(shí)，UP根據(jù)MC的指令，從內(nèi)部以太網(wǎng)接口 B接收來(lái)自其他UPx的壓縮畫 面。比如，通過(guò)加入組播組的方式接收其它n (多畫面數(shù)量)個(gè)UPx的小畫面壓縮碼流；步驟7，UP的解壓縮模塊2024將接收到的壓縮碼流解碼成原始圖像，然后送到第 二媒體處理模塊2025。比如，解碼n個(gè)UPx的小畫面；步驟8，第二媒體處理模塊2025合成和處理相關(guān)圖像，形成終端需要的原始圖像 數(shù)據(jù)，然后送給編碼模塊2026 ；
步驟9，UP的編碼模塊2026將基帶圖像壓縮編碼成終端需要的圖像格式和速率碼 流，發(fā)送給終端。從以上的描述中，可以看出，本發(fā)明實(shí)現(xiàn)了如下技術(shù)效果(1)可以以較低的成本實(shí)現(xiàn)視頻會(huì)議的Universal Port功能，同時(shí)提升MCU的擴(kuò) 容和升級(jí)能力；(2) 一個(gè)UP可以和其他UP通過(guò)內(nèi)部高速以太網(wǎng)組成一個(gè)基于分布式UP的媒體處 理架構(gòu)，采用“淺壓縮”算法，內(nèi)部的高速網(wǎng)的帶寬足夠各UP之間傳遞基帶數(shù)據(jù)，并具有較 小的延時(shí)，實(shí)現(xiàn)高清視頻會(huì)議。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用 的計(jì)算裝置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成 的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ) 在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示 出或描述的步驟，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或 步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技 術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元，其特征在于，包括視頻處理單元，其包括多個(gè)通用端口單元，所述多個(gè)通用端口單元通過(guò)以太網(wǎng)接口與所述視頻會(huì)議系統(tǒng)的多個(gè)終端連接，所述多個(gè)通用端口單元中的各個(gè)通用端口單元分別用于對(duì)來(lái)自所述視頻會(huì)議系統(tǒng)中的一個(gè)終端的壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解壓縮數(shù)據(jù)發(fā)送給所述以太網(wǎng)交換機(jī)；所述以太網(wǎng)交換機(jī)，其通過(guò)以太網(wǎng)接口與所述多個(gè)通用端口單元連接形成內(nèi)部以太網(wǎng)，用于接收所述多個(gè)通用端口單元發(fā)送來(lái)的所述解壓縮數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的多點(diǎn)控制單元，其特征在于，各個(gè)所述通用端口單元分別還 用于通過(guò)所述以太網(wǎng)交換機(jī)接收來(lái)自所述多個(gè)通用端口單元中除自己以外的其他通用端 口單元的解壓縮數(shù)據(jù)，并按照對(duì)應(yīng)的終端的要求對(duì)所述解壓縮數(shù)據(jù)進(jìn)行處理，將處理后的 數(shù)據(jù)發(fā)送給所述對(duì)應(yīng)的終端。
3.根據(jù)權(quán)利要求1所述的多點(diǎn)控制單元，其特征在于，還包括媒體控制單元，用于根據(jù)所述視頻會(huì)議系統(tǒng)中的第一終端的請(qǐng)求消息，通知所述多個(gè) 通用端口單元中的第一通用端口單元接收所述第一終端的壓縮視頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的多點(diǎn)控制單元，其特征在于，所述第一通用端口單元包括 外部以太網(wǎng)接口，通過(guò)外部以太網(wǎng)與所述第一終端連接，用于根據(jù)所述媒體控制單元的通知指令接收所述第一終端發(fā)送的所述壓縮視頻數(shù)據(jù)；解碼模塊，用于解壓縮所述外部以太網(wǎng)接口接收到的所述壓縮視頻數(shù)據(jù)，得到所述解 壓縮數(shù)據(jù)；第一媒體處理模塊，用于對(duì)所述解壓縮數(shù)據(jù)進(jìn)行縮放處理，得到預(yù)定尺寸的圖像； 壓縮模塊，用于對(duì)所述預(yù)定尺寸的圖像進(jìn)行壓縮，得到壓縮數(shù)據(jù)； 內(nèi)部以太網(wǎng)接口，與所述以太網(wǎng)交換機(jī)連接，用于將所述壓縮數(shù)據(jù)發(fā)送給所述以太網(wǎng) 交換機(jī)。
5.根據(jù)權(quán)利要求4所述的多點(diǎn)控制單元，其特征在于，所述以太網(wǎng)交換機(jī)還用于將來(lái) 自所述多個(gè)通用端口單元中的第二通用端口單元的壓縮數(shù)據(jù)發(fā)送給所述第一通用端口單 元；所述內(nèi)部以太網(wǎng)接口還用于根據(jù)所述媒體控制單元的指令接收來(lái)自所述以太網(wǎng)交換 機(jī)的所述壓縮數(shù)據(jù)；所述第一通用端口單元還包括解壓縮模塊，用于對(duì)所述內(nèi)部以太網(wǎng)接口接收的所述壓縮數(shù)據(jù)進(jìn)行解壓縮，得到與所 述第二通用端口單元對(duì)應(yīng)的第二終端的預(yù)定尺寸的圖像；第二媒體處理單元，用于將所述與所述第二通用端口單元對(duì)應(yīng)的第二終端的預(yù)定尺寸 的圖像進(jìn)行合成處理，得到所述第一終端所需的畫面形式的合成圖像；編碼模塊，用于對(duì)所述合成圖像進(jìn)行壓縮編碼，得到與所述第一終端的類型相對(duì)應(yīng)的 壓縮視頻碼流，并通過(guò)所述外部以太網(wǎng)接口發(fā)送給所述第一終端。
6.根據(jù)權(quán)利要求5所述的多點(diǎn)控制單元，其特征在于，所述壓縮模塊和所述解壓縮模 塊使用淺壓縮算法進(jìn)行壓縮和解壓縮。
7.根據(jù)權(quán)利要求5所述的多點(diǎn)控制單元，其特征在于，所述第一通用端口單元還用于 通過(guò)加入組播組的方式接收來(lái)自所述第二通用端口單元的對(duì)應(yīng)于第二終端的壓縮數(shù)據(jù)。
8.根據(jù)權(quán)利要求5至7中任一項(xiàng)所述的多點(diǎn)控制單元，其特征在于，所述第二終端為多 個(gè)，所述第二通用端口單元為多個(gè)。
9.根據(jù)權(quán)利要求1所述的多點(diǎn)控制單元，其特征在于，所述視頻處理單元為分層拓?fù)浣Y(jié)構(gòu)。
10.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的多點(diǎn)控制單元，其特征在于，各所述通用端口 單元由處理芯片實(shí)現(xiàn)。
11.一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元的視頻處理方法，其特征在于，包括 第一通用端口單元通過(guò)以太網(wǎng)接口接收來(lái)自所述視頻會(huì)議系統(tǒng)的終端的壓縮視頻數(shù)據(jù)；所述第一通用端口單元對(duì)所述壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解壓縮數(shù)據(jù)通過(guò)以太網(wǎng) 接口發(fā)送給以太網(wǎng)交換機(jī)。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，還包括所述第一通用端口單元通過(guò)所述以太網(wǎng)交換機(jī)接收來(lái)自第二通用端口單元的解壓縮 數(shù)據(jù)；所述第一通用端口單元按照所述終端的要求對(duì)所述解壓縮數(shù)據(jù)進(jìn)行處理，并將處理后 的數(shù)據(jù)發(fā)送給所述終端。
全文摘要
本發(fā)明公開(kāi)了一種視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元及其視頻處理方法，其中，視頻會(huì)議系統(tǒng)的多點(diǎn)控制單元，包括視頻處理單元，其包括多個(gè)通用端口單元，多個(gè)通用端口單元通過(guò)以太網(wǎng)接口與視頻會(huì)議系統(tǒng)的多個(gè)終端連接，多個(gè)通用端口單元中的各個(gè)通用端口單元分別用于對(duì)來(lái)自視頻會(huì)議系統(tǒng)中的一個(gè)終端的壓縮視頻數(shù)據(jù)進(jìn)行解壓縮，并將解壓縮數(shù)據(jù)發(fā)送給以太網(wǎng)交換機(jī)；以太網(wǎng)交換機(jī)，其通過(guò)以太網(wǎng)接口與多個(gè)通用端口單元連接形成內(nèi)部以太網(wǎng)，用于接收多個(gè)通用端口單元發(fā)送來(lái)的解壓縮數(shù)據(jù)。本發(fā)明實(shí)現(xiàn)了視頻會(huì)議多點(diǎn)控制單元媒體處理上的通用端口功能，并且基于以太網(wǎng)技術(shù)的組網(wǎng)穩(wěn)定性較好、成本較低、容易擴(kuò)容、以及兼容性較強(qiáng)。
文檔編號(hào)H04N7/15GK101867767SQ20101017017
公開(kāi)日2010年10月20日 申請(qǐng)日期2010年4月30日 優(yōu)先權(quán)日2010年4月30日
發(fā)明者劉克華, 李文, 陳濤, 高恩克 申請(qǐng)人:中興通訊股份有限公司