專利名稱:一種多畫面輸出系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本實(shí)用新型涉及多媒體視頻會議技術(shù),其特別涉及寬帶多媒體通信、視頻監(jiān)控與視頻會議技術(shù),具體的講是一種多畫面輸出系統(tǒng)。
基于H.323標(biāo)準(zhǔn)的系統(tǒng)主要包括兩種產(chǎn)品,即如
圖1所示的多點(diǎn)控制單元(MCUMultipoint Control Unit)和如圖2所示的終端,其中MCU主要實(shí)現(xiàn)的功能包括多點(diǎn)連接、多點(diǎn)控制、多點(diǎn)數(shù)據(jù)轉(zhuǎn)發(fā),也就是說,只要是使用多點(diǎn),即通信中的物理點(diǎn),點(diǎn)數(shù)大于等于3的視頻會議,就必須使用MCU,由MCU構(gòu)成一個(gè)多點(diǎn)、實(shí)時(shí)、交互的通信環(huán)境。而終端是視頻會議的用戶端設(shè)備,主要實(shí)現(xiàn)的功能包括語音、圖像、數(shù)據(jù)等信息的輸入和輸出、通信聯(lián)接及數(shù)據(jù)收發(fā)等。其中就通信聯(lián)接而言,當(dāng)一個(gè)終端與另一個(gè)終端相聯(lián)時(shí)便構(gòu)成了點(diǎn)到點(diǎn)的2方通信,當(dāng)一個(gè)終端與MCU參與的多個(gè)終端相聯(lián)時(shí)便構(gòu)成了多點(diǎn)通信,不論是點(diǎn)到點(diǎn)方式的2點(diǎn)通信,還是由MCU構(gòu)成的多點(diǎn)通信,最終用戶都是通過終端觀看其它點(diǎn)的圖像,收聽其它點(diǎn)的聲音,并將自己的聲音和圖像發(fā)送給對方。在進(jìn)行所述的多點(diǎn)通信時(shí),圖3所示的各個(gè)通信點(diǎn)的聯(lián)接關(guān)系為一種可選的聯(lián)接方式,即在參與通信的多個(gè)(n個(gè))通信點(diǎn)中,可設(shè)定某一通信點(diǎn)為主通信點(diǎn),其他通信點(diǎn)為分通信點(diǎn),所述的主通信點(diǎn)可由終端和MCU構(gòu)成(如圖4所示),所述的分通信點(diǎn)可由終端構(gòu)成(如圖2所示)。
現(xiàn)有技術(shù)可以實(shí)現(xiàn)一定程度上的多點(diǎn)通信,但由于技術(shù)標(biāo)準(zhǔn)和實(shí)際應(yīng)用環(huán)境的限制,每個(gè)通信點(diǎn)在同一時(shí)間僅能觀看到一個(gè)通信點(diǎn)的圖像信息,而不能同時(shí)看到多個(gè)通信點(diǎn)的圖像信息,這在很大程度上限制了視頻會議技術(shù)的應(yīng)用,因?yàn)樵诙帱c(diǎn)可視通信中,通信中的人更希望在同一時(shí)間能夠同時(shí)了解多個(gè)其它通信點(diǎn)的圖像信息。目前,有些廠商為了解決這一問題,提出了兩種解決的方法,即多畫面分屏和多路圖像。其中多畫面分屏指在MCU內(nèi)部對接收到的多個(gè)點(diǎn)的圖像信息進(jìn)行合成,然后再將圖像壓縮成一個(gè)圖像的分辨率,再發(fā)送到終端。這個(gè)解決方法可以實(shí)現(xiàn)同時(shí)觀看多個(gè)點(diǎn)的圖像,但由于它必須將多個(gè)點(diǎn)的圖像壓縮成一個(gè)圖像的分辨率,因此每個(gè)圖像的分辨率均變得非常低,清晰度很差。例如,將9個(gè)圖像合成到一個(gè)圖像時(shí),每個(gè)圖像的分辨率均變成原來的1/9,根本無法觀看圖像的細(xì)節(jié),因此實(shí)用效果不佳。而多路圖像是指MCU將多路圖像信息同時(shí)發(fā)送到終端,由終端進(jìn)行處理。這一方法由于完全采用了非標(biāo)準(zhǔn)的方法,與其它廠商的產(chǎn)品不能進(jìn)行互操作,因此兼容性很差,這將對產(chǎn)品的市場造成影響。
本實(shí)用新型的技術(shù)方案為
一種多畫面輸出系統(tǒng),包括MCU;其特征在于還包括多畫面支撐模塊、多畫面服務(wù)器;MCU收發(fā)的數(shù)據(jù)為多畫面支撐模塊的輸入,多畫面支撐模塊的輸出數(shù)據(jù)為多畫面服務(wù)器的輸入;采用多畫面支撐模塊提取MCU接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號輸出,從而實(shí)現(xiàn)n畫面輸出。
所述的多畫面支撐模塊可內(nèi)置于所述的MCU,其中在所述的多畫面支撐模塊與所述的MCU中的MC模塊之間建立控制信令的信道,所述的信道采用進(jìn)程間通信的方式實(shí)現(xiàn);在所述的多畫面支撐模塊與所述的多畫面服務(wù)器之間建立控制信令的信道,所述的信道采用進(jìn)程間通信的方式實(shí)現(xiàn);在所述的MCU中的MC模塊與MP模塊之間至少增加一個(gè)控制信道,所述的信道采用進(jìn)程間通信的方式實(shí)現(xiàn),所述的MC模塊通過該控制信道控制所述的MP模塊,并將所述的圖像數(shù)據(jù)傳送到所述的多畫面服務(wù)器。
所述的在多畫面支撐模塊與所述的多畫面服務(wù)器之間建立控制信令的信道包括所述的信道可以采用TCP/IP通信,或可以采用RPC通信,或可以采用消息管道通信等;并采用TPKT標(biāo)準(zhǔn)進(jìn)行所述信令的打包,所述的信道用于所述的多畫面支撐模塊和所述的多畫面服務(wù)器之間進(jìn)行信令通信。
所述的信令包括查詢所述的多畫面服務(wù)器能力、查詢所述的多畫面服務(wù)器工作狀態(tài)、控制所述的多畫面服務(wù)器、所述的多畫面服務(wù)器報(bào)告工作狀態(tài)等。
所述的在多畫面支撐模塊與所述的MCU中的MC模塊之間建立控制信令的信道包括
所述的信道可以采用TCP/IP通信,或可以采用RPC通信,或可以采用消息管道通信等;所述的信令為所述的MC模塊查詢所述的多畫面服務(wù)器的能力、工作狀態(tài)、媒體信道的信息,以及所述的多畫面支撐模塊報(bào)告所述的多畫面服務(wù)器能力、工作狀態(tài)、媒體信道的信息等。
所述的多畫面支撐模塊可為一獨(dú)立裝置,其中包括控制模塊、數(shù)據(jù)獲取模塊、數(shù)據(jù)轉(zhuǎn)發(fā)模塊、以及網(wǎng)卡;所述的網(wǎng)卡通過網(wǎng)絡(luò)連接方式接收到所述的MCU的數(shù)據(jù);所述的控制模塊與所述的多畫面服務(wù)器通信;所述的控制模塊控制所述的數(shù)據(jù)獲取模塊和所述的數(shù)據(jù)轉(zhuǎn)發(fā)模塊協(xié)同工作,所述的控制模塊接受上層的用戶界面的控制,所述的數(shù)據(jù)獲取模塊通過操作系統(tǒng)提供的底層網(wǎng)絡(luò)編程功能實(shí)時(shí)獲取網(wǎng)絡(luò)數(shù)據(jù),并將獲取到的數(shù)據(jù)交所述的數(shù)據(jù)轉(zhuǎn)發(fā)模塊處理;所述的數(shù)據(jù)轉(zhuǎn)發(fā)模塊在所述的數(shù)據(jù)獲取模塊轉(zhuǎn)交的數(shù)據(jù)中分離出所述的MCU接收到的全部或部分視頻數(shù)據(jù),并按照控制指令將視頻數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器。
所述的網(wǎng)絡(luò)連接方式包括共享式的以太網(wǎng)集線器,將所述的MCU和所述的多畫面支撐模塊均連接到該集線器;或?yàn)榫哂卸丝阽R像功能的以太網(wǎng)交換機(jī),將所述的MCU和所述的多畫面支撐模塊均連接到該交換機(jī),該交換機(jī)設(shè)置成將所述的MCU端口上收發(fā)的全部數(shù)據(jù)鏡像到所述的多畫面支撐模端口;或?yàn)榇矸绞?,使所述的MCU的全部通信均經(jīng)過所述的多畫面支撐模塊進(jìn)行代理轉(zhuǎn)發(fā)。
所述的多畫面支撐模塊可為工控機(jī),或者可為PC機(jī)。
所述的多畫面服務(wù)器包括控制模塊、媒體數(shù)據(jù)模塊、解碼器、D/A變換模塊;
所述的控制模塊與所述的多畫面支撐模塊建立控制信道,并接受所述的多畫面支撐模塊的控制;所述的媒體數(shù)據(jù)接收模塊接收所述的MP模塊轉(zhuǎn)發(fā)的媒體數(shù)據(jù),并將媒體數(shù)據(jù)遞交到解碼器;所述的解碼器模塊接收視頻數(shù)據(jù),并對視頻數(shù)據(jù)進(jìn)行解碼,將壓縮的視頻數(shù)據(jù)解壓縮為圖像數(shù)據(jù),然后通過所述的D/A變換模塊將數(shù)字化的圖像數(shù)據(jù)轉(zhuǎn)換成模擬的視頻信號進(jìn)行輸出。
所述的多畫面服務(wù)器可為工控機(jī),或者可為PC機(jī)。
所述的n滿足以下條件n≥3。
本發(fā)明所述的系統(tǒng)還包括n個(gè)終端、網(wǎng)絡(luò)設(shè)備、多畫面顯示裝置;其中n≥3;所述的n個(gè)終端分別通過各自的網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的MCU通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面支撐模塊通過網(wǎng)絡(luò)設(shè)備與所述的多畫面服務(wù)器聯(lián)接;所述的多畫面顯示裝置與所述的多畫面服務(wù)器聯(lián)接;所述的n個(gè)終端將各自獲取的n個(gè)通信點(diǎn)上的圖像數(shù)據(jù)送入網(wǎng)絡(luò);采用多畫面支撐模塊提取MCU從網(wǎng)絡(luò)上接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器進(jìn)行處理;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號在所述的多畫面顯示裝置上輸出,從而實(shí)現(xiàn)在一個(gè)通信點(diǎn)上可以同時(shí)看到n點(diǎn)的畫面。
本發(fā)明所述的系統(tǒng)還包括n個(gè)終端、網(wǎng)絡(luò)設(shè)備、n個(gè)多畫面顯示裝置、n個(gè)多畫面服務(wù)器;其中n≥3所述的n個(gè)終端、n個(gè)多畫面顯示裝置、n個(gè)多畫面服務(wù)器分別通過各自的網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的MCU通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;
所述的多畫面支撐模塊通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面顯示裝置與所述的多畫面服務(wù)器聯(lián)接;所述的n個(gè)終端將各自獲取的n個(gè)通信點(diǎn)上的圖像數(shù)據(jù)送入網(wǎng)絡(luò);采用多畫面支撐模塊提取MCU從網(wǎng)絡(luò)上接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)通過網(wǎng)絡(luò)分別轉(zhuǎn)發(fā)到n個(gè)多畫面服務(wù)器進(jìn)行處理;n個(gè)多畫面服務(wù)器將接收到的圖像數(shù)據(jù)經(jīng)過解碼后轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號在各自聯(lián)接的多畫面顯示裝置上輸出,從而實(shí)現(xiàn)在n點(diǎn)的任意一個(gè)通信點(diǎn)上可以同時(shí)看到n點(diǎn)的其他點(diǎn)的畫面。
所述的網(wǎng)絡(luò)為IP網(wǎng);所述的多畫面顯示裝置為多畫面電視墻;所述的多畫面支撐模塊與所述的多畫面服務(wù)器進(jìn)行連接的接口可為獨(dú)立的通信接口。
本實(shí)用新型的有益效果在于通過提供一種多畫面輸出系統(tǒng),使得通信一方可以實(shí)時(shí)觀看其它全部或多個(gè)通信點(diǎn)的圖像信息,極大的增強(qiáng)了可視通信的臨場感,使通信參與者仿佛置身于一個(gè)真實(shí)的會議環(huán)境,全面提升可視通信的效果和質(zhì)量;多個(gè)圖像信息分別顯示在多個(gè)顯示設(shè)備上,不同于現(xiàn)有技術(shù)在一個(gè)顯示設(shè)備上顯示多個(gè)圖像(每個(gè)圖像的分辨率下降),圖像分辨率很高,圖像運(yùn)動流暢;其可依托國際標(biāo)準(zhǔn),完全兼容現(xiàn)有和未來該技術(shù)領(lǐng)域的產(chǎn)品;其可全面提升視頻會議技術(shù)的應(yīng)用解決方案,極大的擴(kuò)大視頻會議技術(shù)的應(yīng)用領(lǐng)域。
圖5為本實(shí)用新型系統(tǒng)聯(lián)接關(guān)系圖;圖6為內(nèi)置于MCU的多畫面支撐模塊結(jié)構(gòu)圖;圖7為獨(dú)立的多畫面支撐模塊結(jié)構(gòu)圖;圖8為多畫面服務(wù)器結(jié)構(gòu)圖;圖9為本實(shí)用新型系統(tǒng)中主通信點(diǎn)的構(gòu)成圖;圖10為本實(shí)用新型系統(tǒng)中增強(qiáng)型分通信點(diǎn)的構(gòu)成圖;圖11為采用獨(dú)立的多畫面支撐模塊時(shí)系統(tǒng)聯(lián)接關(guān)系圖;圖12為采用獨(dú)立的多畫面支撐模塊時(shí)本實(shí)用新型系統(tǒng)中主通信點(diǎn)構(gòu)成圖。
關(guān)于多畫面支撐模塊多畫面支撐模塊在實(shí)現(xiàn)上有兩種具體的實(shí)現(xiàn)方案,分別適合不同的應(yīng)用情況。方案1需要對現(xiàn)有的MCU進(jìn)行修改,將多畫面支撐模塊內(nèi)置于MCU。方案2完全不需要修改現(xiàn)有MCU,多畫面支撐模塊與現(xiàn)有MCU并列工作。
方案1(如圖5、圖6所示)多畫面支撐模塊放置在標(biāo)準(zhǔn)的MCU設(shè)備內(nèi)部,并增強(qiáng)MCU的功能,使MCU設(shè)備能夠支持多畫面服務(wù)器。
在所有的標(biāo)準(zhǔn)MCU設(shè)計(jì)中,MCU均包括兩個(gè)主要的技術(shù)組件MC和MP。MC為多點(diǎn)控制模塊,負(fù)責(zé)同多個(gè)終端(或MCU)建立呼叫信令和控制信令的連接,并通過呼叫信令和控制信令提供會議的集中控制功能。MP為多點(diǎn)處理模塊,負(fù)責(zé)同多個(gè)終端(或MCU)建立媒體通信的信道,并按照MC的控制要求進(jìn)行媒體(主要包括音頻、視頻、數(shù)據(jù)等信息)數(shù)據(jù)的接收和轉(zhuǎn)發(fā)。從這個(gè)設(shè)計(jì)要求可以看出,全部通信點(diǎn)的媒體數(shù)據(jù)均經(jīng)過了MP模塊的處理,只不過在標(biāo)準(zhǔn)的實(shí)現(xiàn)中MP僅對媒體數(shù)據(jù)做轉(zhuǎn)發(fā)處理,并且丟棄了大部分的媒體數(shù)據(jù)。
從這個(gè)實(shí)際情況出發(fā),可以在標(biāo)準(zhǔn)MCU內(nèi)部增加多畫面支撐模塊這一技術(shù)組件。該支撐模塊放置在標(biāo)準(zhǔn)MCU內(nèi)部,其位置與MC和MP并列,具體邏輯結(jié)構(gòu)見附圖6。附圖6中各部分完成的功能為多畫面支撐模塊1與多畫面服務(wù)器之間建立一個(gè)控制信令的信道4。該信令信道采用進(jìn)程(主機(jī))間通信的方式建立,具體可以采用的技術(shù)包括但不限于TCP/IP通信、RPC、消息管道等。為了保證數(shù)據(jù)的正確性,并盡量簡化處理步驟,建議采用TCP方式建立信令連接,并采用TPKT標(biāo)準(zhǔn)進(jìn)行信令的打包。該信令信道用于支撐模塊和多畫面服務(wù)器之間進(jìn)行信令通信,具體信令包括但不限于查詢多畫面服務(wù)器系統(tǒng)能力、查詢多畫面服務(wù)器工作狀態(tài)、控制多畫面服務(wù)器、多畫面服務(wù)器報(bào)告工作狀態(tài)等。
多畫面支撐模塊1與MC模塊之間建立一個(gè)控制信令的信道2。該信令信道采用進(jìn)程間通信的方式建立,具體可以采用的技術(shù)包括但不限于TCP/IP通信、RPC、消息管道等。該信令信道用于支撐模塊和MC模塊之間進(jìn)行信令通信,具體信令包括但不限于MC查詢多畫面服務(wù)器能力、工作狀態(tài)、媒體信道的信息,支撐模塊報(bào)告多畫面服務(wù)器能力、工作狀態(tài)、媒體信道的信息等。
MC與MP之間增加一個(gè)控制信道3。該信道采用進(jìn)程間通信的方式建立,具體可以采用的技術(shù)包括但不限于TCP/IP通信、RPC、消息管道等,也可以采用已有方式實(shí)現(xiàn)。MC模塊通過該信道控制MP將媒體數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器。
MP模塊在MC模塊的控制下將全部或選擇的部分媒體數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器。
方案1的工作流程為1)多畫面服務(wù)器加電自檢后通過信道4報(bào)告支撐模塊自身系統(tǒng)能力和媒體信道的信息。
2)支撐模塊通過信道2報(bào)告MC模塊已就緒的多畫面服務(wù)器的系統(tǒng)能力和媒體信道的信息。
3)MC模塊控制MP模塊將某個(gè)具體的通信點(diǎn)的媒體數(shù)據(jù)轉(zhuǎn)發(fā)到某個(gè)具體的多畫面服務(wù)器的媒體信道。
4)MC模塊控制支撐模塊對多畫面服務(wù)器進(jìn)行控制。
5)多畫面服務(wù)器對接收到的媒體數(shù)據(jù)處理后輸出。
方案2在方案1討論的多畫面解決方案中,設(shè)計(jì)思路的前提是修改標(biāo)準(zhǔn)的MCU,使支撐模塊能夠在標(biāo)準(zhǔn)的MCU內(nèi)部配合MC和MP工作。在有些情況下(如標(biāo)準(zhǔn)MCU廠商并不愿意作這個(gè)修改工作),這個(gè)思路就不能夠很好的實(shí)現(xiàn)。為此,我們設(shè)計(jì)了方案2來解決這個(gè)問題。
方案2的邏輯結(jié)構(gòu)圖見附圖7。
在方案2中,多畫面支撐模塊存在于一個(gè)獨(dú)立的硬件設(shè)備之中,這個(gè)獨(dú)立的硬件設(shè)備既可以是為多畫面支撐模塊專門設(shè)計(jì)的硬件設(shè)備,也可以直接使用多畫面服務(wù)器。該硬件設(shè)備可以采用標(biāo)準(zhǔn)的工業(yè)控制計(jì)算機(jī)作為硬件平臺,也可以采用PC機(jī)作為硬件平臺,并采用嵌入式實(shí)時(shí)操作系統(tǒng)(Linux)作為系統(tǒng)軟件平臺。在該平臺上開發(fā)實(shí)現(xiàn)多畫面支撐模塊功能的系統(tǒng)軟件。
方案2的工作流程為1)通過特殊的網(wǎng)絡(luò)連接方式使多畫面支撐模塊的網(wǎng)卡能夠接收到標(biāo)準(zhǔn)MCU收發(fā)的全部數(shù)據(jù)。特殊的網(wǎng)絡(luò)連接方式可以用以下幾種方式實(shí)現(xiàn)a)采用共享式的以太網(wǎng)集線器,標(biāo)準(zhǔn)MCU和多畫面支撐模塊均連接到該集線器;b)采用具有端口鏡像功能的以太網(wǎng)交換機(jī),標(biāo)準(zhǔn)MCU和多畫面支撐模塊均連接到該交換機(jī),該交換機(jī)設(shè)置成將標(biāo)準(zhǔn)MCU端口上收發(fā)的全部數(shù)據(jù)鏡像到多畫面支撐模塊端口;c)采用代理方式,使標(biāo)準(zhǔn)MCU的全部通信均經(jīng)過多畫面支撐模塊進(jìn)行代理轉(zhuǎn)發(fā)。
2)控制模塊與多畫面服務(wù)器通信。
3)控制模塊控制獲取模塊和轉(zhuǎn)發(fā)模塊協(xié)同工作,獲取模塊和轉(zhuǎn)發(fā)模塊取代方案1中由MP完成的工作。
4)控制模塊接受上層的用戶界面的控制,取代原來MC實(shí)現(xiàn)的控制功能。
5)獲取模塊通過操作系統(tǒng)提供的底層網(wǎng)絡(luò)編程功能(如在網(wǎng)絡(luò)IP層之下進(jìn)行網(wǎng)絡(luò)編程,或通過‘鉤子’等技術(shù))實(shí)時(shí)獲取網(wǎng)絡(luò)數(shù)據(jù),并將獲取到的數(shù)據(jù)交媒體數(shù)據(jù)轉(zhuǎn)發(fā)模塊處理。
6)轉(zhuǎn)發(fā)模塊在獲取模塊轉(zhuǎn)交的數(shù)據(jù)中分離出標(biāo)準(zhǔn)MCU接收到的全部或部分視頻數(shù)據(jù),并按照控制指令將視頻數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器。
關(guān)于多畫面服務(wù)器(如圖8所示)多畫面服務(wù)器是獨(dú)立的硬件設(shè)備,它負(fù)責(zé)同MCU內(nèi)置的多畫面支撐模塊通信,接受多畫面支撐模塊的控制,接收多畫面支撐模塊轉(zhuǎn)發(fā)的圖像數(shù)據(jù),并對接收到的圖像數(shù)據(jù)進(jìn)行解碼,將圖像數(shù)據(jù)還原為數(shù)字化的圖像,再通過D/A變換將數(shù)字化的圖像轉(zhuǎn)換為模擬的視頻信號進(jìn)行輸出。
多畫面服務(wù)器的邏輯結(jié)構(gòu)圖見附圖8。
多畫面服務(wù)器采用標(biāo)準(zhǔn)的工業(yè)控制計(jì)算機(jī)作為硬件平臺,并采用嵌入式實(shí)時(shí)操作系統(tǒng)(Linux)作為系統(tǒng)軟件平臺。在該平臺上設(shè)計(jì)開發(fā)基于PCI總線的硬件卡,單臺設(shè)備最多可以插1~4塊硬件卡。
多畫面服務(wù)器的工作流程為1)控制模塊與多畫面支撐模塊建立控制信道(參見支撐模塊說明),并接受支撐模塊的控制??刂菩帕畎ǖ幌抻谥文K查詢多畫面服務(wù)器系統(tǒng)能力、支撐模塊查詢多畫面服務(wù)器工作狀態(tài)、支撐模塊控制多畫面服務(wù)器、多畫面服務(wù)器報(bào)告工作狀態(tài)等。
2)媒體數(shù)據(jù)接收模塊通過網(wǎng)絡(luò)接收MP模塊轉(zhuǎn)發(fā)的媒體數(shù)據(jù)(視頻數(shù)據(jù)),并將媒體數(shù)據(jù)遞交到解碼器模塊。
3)解碼器模塊接收視頻數(shù)據(jù),并對視頻數(shù)據(jù)進(jìn)行解碼,將壓縮的視頻數(shù)據(jù)解壓縮為圖像(YUV格式或其它圖像表示格式)數(shù)據(jù),然后通過D/A變換模塊將數(shù)字化的圖像數(shù)據(jù)轉(zhuǎn)換成模擬的視頻信號進(jìn)行輸出。
4)控制模塊與媒體數(shù)據(jù)模塊之間建立控制信道,該信道采用進(jìn)程間通信的方式建立,具體可以采用的技術(shù)包括但不限于TCP/IP通信、RPC、消息管道等??刂颇K和媒體數(shù)據(jù)模塊之間通過該信道交換控制信息。該信道上的控制信令包括但不限于初始化、啟動、停止、暫停、畫面更新請求等。
關(guān)于系統(tǒng)連接多畫面支撐模塊可以選擇通過獨(dú)立的通信接口與多畫面服務(wù)器進(jìn)行連接。這樣的連接方法有兩個(gè)明顯優(yōu)點(diǎn)最大限度的保證現(xiàn)有MCU的系統(tǒng)處理能力;在常規(guī)應(yīng)用模式下,該模塊和多畫面服務(wù)器可以通過直連網(wǎng)線或者獨(dú)立的網(wǎng)絡(luò)交換機(jī)進(jìn)行連接,在這種情況下,本方法完全不占用用戶的任何網(wǎng)絡(luò)資源(包括網(wǎng)絡(luò)端口,IP地址,網(wǎng)絡(luò)帶寬等),最大限度的保護(hù)用戶的網(wǎng)絡(luò)穩(wěn)定性和安全性,使用戶完全可以接受本方法。
下面以本實(shí)用新型在n個(gè)通信點(diǎn)上的應(yīng)用為例,進(jìn)一步說明如下本實(shí)用新型還提供了一種多畫面輸出系統(tǒng),包括MCU;其特征在于還包括多畫面支撐模塊、多畫面服務(wù)器;采用多畫面支撐模塊提取MCU接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器進(jìn)行處理;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)經(jīng)過解碼后轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號輸出,從而實(shí)現(xiàn)n畫面輸出。
所述的多畫面支撐模塊可內(nèi)置于所述的MCU,其中在所述的多畫面支撐模塊與所述的MCU中的MC模塊之間建立控制信令的信道,所述的信道采用進(jìn)程間消息管道的方式實(shí)現(xiàn);在所述的多畫面支撐模塊與所述的多畫面服務(wù)器之間建立控制信令的信道,所述的信道采用通信協(xié)議的方式實(shí)現(xiàn);在所述的MCU中的MC模塊與MP模塊之間至少增加一個(gè)控制信道,所述的MC模塊通過該控制信道控制所述的MP模塊,并將所述的圖像數(shù)據(jù)傳送到所述的多畫面服務(wù)器。
所述的在多畫面支撐模塊與所述的多畫面服務(wù)器之間建立控制信令的信道包括所述的信道既可以采用TCP方式的連接,或可以采用UDP方式的連接;并采用TPKT標(biāo)準(zhǔn)進(jìn)行所述信令的打包,所述的信道用于所述的多畫面支撐模塊和所述的多畫面服務(wù)器之間進(jìn)行信令通信。
所述的信令包括查詢所述的多畫面服務(wù)器能力、查詢所述的多畫面服務(wù)器工作狀態(tài)、控制所述的多畫面服務(wù)器、所述的多畫面服務(wù)器報(bào)告工作狀態(tài)等。
所述的在多畫面支撐模塊與所述的MCU中的MC模塊之間建立控制信令的信道包括所述的信令為所述的MC模塊查詢所述的多畫面服務(wù)器的能力、工作狀態(tài)、媒體信道的信息,以及所述的多畫面支撐模塊報(bào)告所述的多畫面服務(wù)器能力、工作狀態(tài)、媒體信道的信息等;所述的信道用于所述的多畫面支撐模塊和所述的MC模塊之間進(jìn)行所述的信令通信。
所述的多畫面服務(wù)器包括控制模塊、媒體數(shù)據(jù)模塊、解碼器、D/A變換模塊;所述的控制模塊與所述的多畫面支撐模塊建立控制信道,并接受所述的多畫面支撐模塊的控制;所述的媒體數(shù)據(jù)接收模塊接收所述的MP模塊轉(zhuǎn)發(fā)的媒體數(shù)據(jù),并將媒體數(shù)據(jù)遞交到解碼器;所述的解碼器模塊接收視頻數(shù)據(jù),并對視頻數(shù)據(jù)進(jìn)行解碼,將壓縮的視頻數(shù)據(jù)解壓縮為圖像數(shù)據(jù),然后通過所述的D/A變換模塊將數(shù)字化的圖像數(shù)據(jù)轉(zhuǎn)換成模擬的視頻信號進(jìn)行輸出。
所述的控制模塊與所述的媒體數(shù)據(jù)模塊之間有控制信道,該信道采用進(jìn)程間的消息管道方式實(shí)現(xiàn),所述的控制模塊和所述的媒體數(shù)據(jù)模塊之間通過該信道交換控制信息;該信道上的控制信令包括初始化、啟動、停止、暫停、畫面更新請求等。
如圖7、圖11所示,所述的多畫面支撐模塊還可為一獨(dú)立裝置;其中包括控制模塊、獲取模塊、轉(zhuǎn)發(fā)模塊、網(wǎng)卡,所述的多畫面支撐模塊可聯(lián)接到所述的MCU的前點(diǎn)(如圖11所示);所述的網(wǎng)卡通過網(wǎng)絡(luò)連接方式接收到所述的MCU的數(shù)據(jù);所述的控制模塊與所述的多畫面服務(wù)器通信;所述的控制模塊控制所述的獲取模塊和所述的轉(zhuǎn)發(fā)模塊協(xié)同工作,所述的控制模塊接受上層的用戶界面的控制,所述的獲取模塊通過操作系統(tǒng)提供的底層網(wǎng)絡(luò)編程功能實(shí)時(shí)獲取網(wǎng)絡(luò)數(shù)據(jù),并將獲取到的數(shù)據(jù)交所述的轉(zhuǎn)發(fā)模塊處理;所述的轉(zhuǎn)發(fā)模塊在所述的獲取模塊轉(zhuǎn)交的數(shù)據(jù)中分離出所述的MCU接收到的全部或部分視頻數(shù)據(jù),并按照控制指令將視頻數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器。
所述的網(wǎng)絡(luò)連接方式包括采用共享式的以太網(wǎng)集線器,并將所述的MCU和所述的多畫面支撐模塊均連接到該集線器;或采用具有端口鏡像功能的以太網(wǎng)交換機(jī),并將所述的MCU和所述的多畫面支撐模塊均連接到該交換機(jī),該交換機(jī)設(shè)置成將所述的MCU端口上收發(fā)的全部數(shù)據(jù)鏡像到所述的多畫面支撐模端口;或采用代理方式,使所述的MCU的全部通信均經(jīng)過所述的多畫面支撐模塊進(jìn)行代理轉(zhuǎn)發(fā)。
所述的多畫面支撐模塊可為一工控機(jī)。
在本實(shí)用新型所述的系統(tǒng)中所述的n可滿足以下條件n≥3。
本實(shí)用新型所述的系統(tǒng)還包括n個(gè)終端、網(wǎng)絡(luò)設(shè)備、多畫面顯示裝置;其中n≥3;如圖9和圖12所示的聯(lián)接可作為其中的主通信點(diǎn);所述的n個(gè)終端分別通過各自的網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的MCU通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面支撐模塊通過網(wǎng)絡(luò)設(shè)備與所述的多畫面服務(wù)器聯(lián)接;所述的多畫面顯示裝置與所述的多畫面服務(wù)器聯(lián)接;所述的n個(gè)終端將各自獲取的n個(gè)通信點(diǎn)上的圖像數(shù)據(jù)送入網(wǎng)絡(luò);采用多畫面支撐模塊提取MCU從網(wǎng)絡(luò)上接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器進(jìn)行處理;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)經(jīng)過解碼后轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號在所述的多畫面顯示裝置上輸出,從而實(shí)現(xiàn)在一個(gè)通信點(diǎn)上可以同時(shí)看到n點(diǎn)的畫面。
本實(shí)用新型所述的系統(tǒng)還包括n個(gè)終端、網(wǎng)絡(luò)設(shè)備、n個(gè)多畫面顯示裝置、n個(gè)多畫面服務(wù)器;其中n≥3;如圖9和圖12所示的聯(lián)接可作為其中的主通信點(diǎn);如圖10所示的聯(lián)接可作為其中的增強(qiáng)型分通信點(diǎn);所述的n個(gè)終端、n個(gè)多畫面顯示裝置、n個(gè)多畫面服務(wù)器分別通過各自的網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的MCU通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面支撐模塊通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面顯示裝置與所述的多畫面服務(wù)器聯(lián)接;所述的n個(gè)終端將各自獲取的n個(gè)通信點(diǎn)上的圖像數(shù)據(jù)送入網(wǎng)絡(luò);采用多畫面支撐模塊提取MCU從網(wǎng)絡(luò)上接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)通過網(wǎng)絡(luò)分別轉(zhuǎn)發(fā)到n個(gè)多畫面服務(wù)器進(jìn)行處理;n個(gè)多畫面服務(wù)器將接收到的圖像數(shù)據(jù)經(jīng)過解碼后轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號在各自聯(lián)接的多畫面顯示裝置上輸出,從而實(shí)現(xiàn)在n點(diǎn)的任意一個(gè)通信點(diǎn)上可以同時(shí)看到n點(diǎn)的其他點(diǎn)的畫面。
所述的網(wǎng)絡(luò)可為IP網(wǎng)。
所述的多畫面顯示裝置可為多畫面電視墻。
本實(shí)用新型的有益效果在于通過提供一種多畫面輸出方法,使得通信一方可以實(shí)時(shí)觀看其它全部或多個(gè)通信點(diǎn)的圖像信息,極大的增強(qiáng)了可視通信的臨場感,使通信參與者仿佛置身于一個(gè)真實(shí)的會議環(huán)境,全面提升可視通信的效果和質(zhì)量;多個(gè)圖像信息分別顯示在多個(gè)顯示設(shè)備上,不同于現(xiàn)有技術(shù)在一個(gè)顯示設(shè)備上顯示多個(gè)圖像(每個(gè)圖像的分辨率下降),圖像分辨率很高,圖像運(yùn)動流暢;其可依托國際標(biāo)準(zhǔn),完全兼容現(xiàn)有和未來該技術(shù)領(lǐng)域的產(chǎn)品;其可全面提升視頻會議技術(shù)的應(yīng)用解決方案,極大的擴(kuò)大視頻會議技術(shù)的應(yīng)用領(lǐng)域。
以上具體實(shí)施方式
僅用于說明本實(shí)用新型而非用于限定本實(shí)用新型。
權(quán)利要求1.一種多畫面輸出系統(tǒng),包括MCU;其特征在于還包括多畫面支撐模塊、多畫面服務(wù)器;MCU收發(fā)的數(shù)據(jù)為多畫面支撐模塊的輸入,多畫面支撐模塊的輸出數(shù)據(jù)為多畫面服務(wù)器的輸入;采用多畫面支撐模塊提取MCU接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號輸出,從而實(shí)現(xiàn)n畫面輸出。
2.根據(jù)權(quán)利要求1所述的系統(tǒng),其特征在于,所述的多畫面支撐模塊可內(nèi)置于所述的MCU,其中在所述的多畫面支撐模塊與所述的MCU中的MC模塊之間建立控制信令的信道,所述的信道采用進(jìn)程間通信的方式實(shí)現(xiàn);在所述的多畫面支撐模塊與所述的多畫面服務(wù)器之間建立控制信令的信道,所述的信道采用進(jìn)程間通信的方式實(shí)現(xiàn);在所述的MCU中的MC模塊與MP模塊之間至少增加一個(gè)控制信道,所述的信道采用進(jìn)程間通信的方式實(shí)現(xiàn),所述的MC模塊通過該控制信道控制所述的MP模塊,并將所述的圖像數(shù)據(jù)傳送到所述的多畫面服務(wù)器。
3.根據(jù)權(quán)利要求2所述的系統(tǒng),其特征在于,所述的在多畫面支撐模塊與所述的多畫面服務(wù)器之間建立控制信令的信道包括所述的信道可以采用TCP/IP通信,或可以采用RPC通信,或可以采用消息管道通信等;并采用TPKT標(biāo)準(zhǔn)進(jìn)行所述信令的打包,所述的信道用于所述的多畫面支撐模塊和所述的多畫面服務(wù)器之間進(jìn)行信令通信。
4.根據(jù)權(quán)利要求3所述的系統(tǒng),其特征在于,所述的信令包括查詢所述的多畫面服務(wù)器能力、查詢所述的多畫面服務(wù)器工作狀態(tài)、控制所述的多畫面服務(wù)器、所述的多畫面服務(wù)器報(bào)告工作狀態(tài)等。
5.根據(jù)權(quán)利要求2所述的系統(tǒng),其特征在于,所述的在多畫面支撐模塊與所述的MCU中的MC模塊之間建立控制信令的信道包括所述的信道可以采用TCP/IP通信,或可以采用RPC通信,或可以采用消息管道通信等;所述的信令為所述的MC模塊查詢所述的多畫面服務(wù)器的能力、工作狀態(tài)、媒體信道的信息,以及所述的多畫面支撐模塊報(bào)告所述的多畫面服務(wù)器能力、工作狀態(tài)、媒體信道的信息等。
6.根據(jù)權(quán)利要求1所述的系統(tǒng),其特征在于,所述的多畫面支撐模塊可為一獨(dú)立裝置,其中包括控制模塊、數(shù)據(jù)獲取模塊、數(shù)據(jù)轉(zhuǎn)發(fā)模塊、以及網(wǎng)卡;所述的網(wǎng)卡通過網(wǎng)絡(luò)連接方式接收到所述的MCU的數(shù)據(jù);所述的控制模塊與所述的多畫面服務(wù)器通信;所述的控制模塊控制所述的數(shù)據(jù)獲取模塊和所述的數(shù)據(jù)轉(zhuǎn)發(fā)模塊協(xié)同工作,所述的控制模塊接受上層的用戶界面的控制,所述的數(shù)據(jù)獲取模塊通過操作系統(tǒng)提供的底層網(wǎng)絡(luò)編程功能實(shí)時(shí)獲取網(wǎng)絡(luò)數(shù)據(jù),并將獲取到的數(shù)據(jù)交所述的數(shù)據(jù)轉(zhuǎn)發(fā)模塊處理;所述的數(shù)據(jù)轉(zhuǎn)發(fā)模塊在所述的數(shù)據(jù)獲取模塊轉(zhuǎn)交的數(shù)據(jù)中分離出所述的MCU接收到的全部或部分視頻數(shù)據(jù),并按照控制指令將視頻數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器。
7.根據(jù)權(quán)利要求6所述的系統(tǒng),其特征在于,所述的網(wǎng)絡(luò)連接方式包括共享式的以太網(wǎng)集線器,將所述的MCU和所述的多畫面支撐模塊均連接到該集線器;或?yàn)榫哂卸丝阽R像功能的以太網(wǎng)交換機(jī),將所述的MCU和所述的多畫面支撐模塊均連接到該交換機(jī),該交換機(jī)設(shè)置成將所述的MCU端口上收發(fā)的全部數(shù)據(jù)鏡像到所述的多畫面支撐模端口;或?yàn)榇矸绞?,使所述的MCU的全部通信均經(jīng)過所述的多畫面支撐模塊進(jìn)行代理轉(zhuǎn)發(fā)。
8.根據(jù)權(quán)利要求6所述的系統(tǒng),其特征在于,所述的多畫面支撐模塊可為工控機(jī),或者可為PC機(jī)。
9.根據(jù)權(quán)利要求1所述的系統(tǒng),其特征在于,所述的多畫面服務(wù)器包括控制模塊、媒體數(shù)據(jù)模塊、解碼器、D/A變換模塊;所述的控制模塊與所述的多畫面支撐模塊建立控制信道,并接受所述的多畫面支撐模塊的控制;所述的媒體數(shù)據(jù)接收模塊接收所述的MP模塊轉(zhuǎn)發(fā)的媒體數(shù)據(jù),并將媒體數(shù)據(jù)遞交到解碼器;所述的解碼器模塊接收視頻數(shù)據(jù),并對視頻數(shù)據(jù)進(jìn)行解碼,將壓縮的視頻數(shù)據(jù)解壓縮為圖像數(shù)據(jù),然后通過所述的D/A變換模塊將數(shù)字化的圖像數(shù)據(jù)轉(zhuǎn)換成模擬的視頻信號進(jìn)行輸出。
10.根據(jù)權(quán)利要求9所述的系統(tǒng),其特征在于,所述的多畫面服務(wù)器可為工控機(jī),或者可為PC機(jī)。
11.根據(jù)權(quán)利要求1至10任意一項(xiàng)所述的系統(tǒng),其特征在于所述的n滿足以下條件n≥3。
12.根據(jù)權(quán)利要求1至10任意一項(xiàng)所述的系統(tǒng),其特征在于還包括n個(gè)終端、網(wǎng)絡(luò)設(shè)備、多畫面顯示裝置;其中n≥3;所述的n個(gè)終端分別通過各自的網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的MCU通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面支撐模塊通過網(wǎng)絡(luò)設(shè)備與所述的多畫面服務(wù)器聯(lián)接;所述的多畫面顯示裝置與所述的多畫面服務(wù)器聯(lián)接;所述的n個(gè)終端將各自獲取的n個(gè)通信點(diǎn)上的圖像數(shù)據(jù)送入網(wǎng)絡(luò);采用多畫面支撐模塊提取MCU從網(wǎng)絡(luò)上接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器進(jìn)行處理;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號在所述的多畫面顯示裝置上輸出,從而實(shí)現(xiàn)在一個(gè)通信點(diǎn)上可以同時(shí)看到n點(diǎn)的畫面。
13.根據(jù)權(quán)利要求1至10任意一項(xiàng)所述的系統(tǒng),其特征在于還包括n個(gè)終端、網(wǎng)絡(luò)設(shè)備、n個(gè)多畫面顯示裝置、n個(gè)多畫面服務(wù)器;其中n≥3所述的n個(gè)終端、n個(gè)多畫面顯示裝置、n個(gè)多畫面服務(wù)器分別通過各自的網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的MCU通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面支撐模塊通過網(wǎng)絡(luò)設(shè)備與網(wǎng)絡(luò)聯(lián)接;所述的多畫面顯示裝置與所述的多畫面服務(wù)器聯(lián)接;所述的n個(gè)終端將各自獲取的n個(gè)通信點(diǎn)上的圖像數(shù)據(jù)送入網(wǎng)絡(luò);采用多畫面支撐模塊提取MCU從網(wǎng)絡(luò)上接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)通過網(wǎng)絡(luò)分別轉(zhuǎn)發(fā)到n個(gè)多畫面服務(wù)器進(jìn)行處理;n個(gè)多畫面服務(wù)器將接收到的圖像數(shù)據(jù)轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號在各自聯(lián)接的多畫面顯示裝置上輸出,從而實(shí)現(xiàn)在n點(diǎn)的任意一個(gè)通信點(diǎn)上可以同時(shí)看到n點(diǎn)的其他點(diǎn)的畫面。
14.根據(jù)權(quán)利要求12所述的系統(tǒng),其特征在于,所述的網(wǎng)絡(luò)為IP網(wǎng);所述的多畫面顯示裝置為多畫面電視墻;所述的多畫面支撐模塊與所述的多畫面服務(wù)器進(jìn)行連接的接口可為獨(dú)立的通信接口。
15.根據(jù)權(quán)利要求13所述的系統(tǒng),其特征在于,所述的網(wǎng)絡(luò)為IP網(wǎng);所述的多畫面顯示裝置為多畫面電視墻;所述的多畫面支撐模塊與所述的多畫面服務(wù)器進(jìn)行連接的接口可為獨(dú)立的通信接口。
專利摘要本實(shí)用新型提供了一種多畫面輸出系統(tǒng),其中包括MCU、多畫面支撐模塊、多畫面服務(wù)器;MCU收發(fā)的數(shù)據(jù)為多畫面支撐模塊的輸入,多畫面支撐模塊的輸出數(shù)據(jù)為多畫面服務(wù)器的輸入;采用多畫面支撐模塊提取MCU接收到的n點(diǎn)圖像數(shù)據(jù),并將所述的圖像數(shù)據(jù)轉(zhuǎn)發(fā)到多畫面服務(wù)器;所述的多畫面服務(wù)器將接收到的圖像數(shù)據(jù)轉(zhuǎn)換為模擬的視頻信號,并將所述的視頻信號輸出,從而實(shí)現(xiàn)n畫面輸出。本實(shí)用新型使得在多點(diǎn)通信時(shí),任意一個(gè)通信點(diǎn)都能夠?qū)崟r(shí)看到其他全部或部分通信點(diǎn)的圖像。本實(shí)用新型可使多個(gè)圖像信息分別顯示在多個(gè)顯示設(shè)備上,并且圖像分辨率高、圖像運(yùn)動流暢、系統(tǒng)兼容性強(qiáng)。
文檔編號H04N7/15GK2588704SQ02294179
公開日2003年11月26日 申請日期2002年12月27日 優(yōu)先權(quán)日2002年12月27日
發(fā)明者熊勝峰, 戴少華 申請人:北京鼎視通軟件技術(shù)有限公司