專利名稱：視頻及音頻處理方法、多點(diǎn)控制單元和視頻會議系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音視頻技術(shù)，尤其涉及一種視頻處理方法、音頻處理方法、 視頻處理裝置、音頻處理裝置、多點(diǎn)控制單元和視頻會議系統(tǒng)。
背景技術(shù)：
最初的視頻會議系統(tǒng)中，每個會場只能發(fā)送一路視頻圖像， 一般為攝像 機(jī)采集的會議室場景，給與會者提供類似面對面的效果。隨著視頻會議技術(shù) 的不斷進(jìn)步，又出現(xiàn)了雙流標(biāo)準(zhǔn)，允許與會者發(fā)送兩踏4見頻圖像，主流發(fā)送 攝像機(jī)采集的會議室場景，輔流可以發(fā)送筆記本電腦上的膠片圖像，提高了 與會者之間的數(shù)據(jù)共享。再進(jìn)一步的又出現(xiàn)了遠(yuǎn)程呈現(xiàn)系統(tǒng)，該系統(tǒng)可以同 時傳送多個攝像機(jī)圖像，并且多個攝像機(jī)圖像可以拼接在一起構(gòu)成一個視角 更大的完整會議室場景，給與會者提供高臨場感視頻溝通體驗(yàn)。
雖然雙流或多流的會議模式給用戶帶來了極大的方便和體驗(yàn)，但是要求 同 一個會議的所有會場都要同時支持雙流或多流，不能與現(xiàn)有的單流兼容。 單流會場的用戶如果需要參加雙流或多流會議，就必須將單流設(shè)備替換為雙 流或多流設(shè)備，而雙流或多流設(shè)備的成本比較高，因此需要一種方案來支持 單流會場、雙流會場、多流會場之間的混合組網(wǎng)，以盡量減低整體建設(shè)成本。 現(xiàn)有技術(shù)中存在一種方案可以解決單流會場和雙流會場的混合會議，其采用 的方案是將雙流會場的主視頻流轉(zhuǎn)發(fā)給單流會場，而丟棄雙流會場的輔視頻流。
發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在如下問題現(xiàn)有技 術(shù)在實(shí)現(xiàn)雙流會場和單流會場的混合組網(wǎng)時，由于丟棄了雙流會場的輔視頻 流，造成單流會場只能看到雙流會場發(fā)送的主流圖像，而看不到輔流圖像，
影響會議效果。同時，現(xiàn)有技術(shù)中還沒有給出遠(yuǎn)程呈現(xiàn)會場與單流會場及雙 流會場及路數(shù)不同的遠(yuǎn)程呈現(xiàn)會場之間的混合組網(wǎng)方案。

發(fā)明內(nèi)容
本發(fā)明是提供一種視頻處理方法、音頻處理方法、視頻處理裝置、音頻 處理裝置、多點(diǎn)控制單元和視頻會議系統(tǒng)，解決支持不同音視頻會場的混合 組網(wǎng)問題。
本發(fā)明實(shí)施例提供了一種視頻處理方法，包括 獲取第一會議終端發(fā)送的N路視頻流；
確定與所述第一會議終端進(jìn)行交互的第二會議終端，所述第二會議終端 支持與N不同的L路視頻流；
將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路視頻流中； 將所述L路視頻流傳輸給所述第二會議終端。 本發(fā)明實(shí)施例提供了一種音頻處理方法，包括
獲取各會議終端的音頻流，所述會議終端至少包括一個遠(yuǎn)程呈現(xiàn)會場的 終端；
對各會議終端的音頻流進(jìn)行混音處理；
將混音后的音頻流發(fā)送給各會議終端。
本發(fā)明實(shí)施例提供了一種視頻處理裝置，包括
視頻獲取模塊，用于獲取第一會議終端發(fā)送的N路視頻流；
確定模塊，用于確定與所述第一會議終端進(jìn)行交互的第二會議終端，所
述第二會議終端支持與N不同的L路視頻流；
處理模塊，用于將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路
視頻流中；
傳輸模塊，用于將所述L路視頻流傳輸給所述第二會議終端。 本發(fā)明實(shí)施例提供了一種音頻處理裝置，包括
音頻獲取模塊，用于獲取各會議終端的音頻流，所述會議終端至少包括
一個遠(yuǎn)程呈現(xiàn)會場的終端；
混音模塊，用于對各會議終端的音頻流進(jìn)行混音處理； 發(fā)送模塊，用于將混音后的音頻流發(fā)送給各會議終端。 本發(fā)明實(shí)施例提供了一種多點(diǎn)控制單元，包括
第一接入模塊，用于接入第一會議終端，與所述第一會議終端傳輸?shù)谝?br> 媒體流，所述第一i某體流包括N路視頻流和N路音頻流；
第二接入模塊，用于接入第二會議終端，與所述第二會議終端傳輸?shù)诙?br> 媒體流，所述第二媒體流包括L路視頻流和L路音頻流，L與N不相同； 媒體交換模塊，用于將第一媒體流中的信息傳輸給第二會議終端，將第
二媒體流中的信息傳輸給第一會議終端。
本發(fā)明實(shí)施例提供了一種視頻會議系統(tǒng)，包括
至少兩個會議終端，所述會議終端至少支持兩種媒體流路數(shù)；
多點(diǎn)控制單元，用于交換所述至少兩個會議終端的媒體流中攜帶的信息。
由上述技術(shù)方案可知，本發(fā)明實(shí)施例通過對接入的音視頻流進(jìn)行處理，
使處理后的音視頻路數(shù)與接收會場的路數(shù)相同，實(shí)現(xiàn)各個不同路數(shù)會場之間
的互通，即實(shí)現(xiàn)遠(yuǎn)程呈現(xiàn)會場、單流會場、雙流會場之間的互通融合，使這
些不同路數(shù)的會場可以混合組網(wǎng)，降低整網(wǎng)建設(shè)成本。


為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例描述中所 需要使用的附圖作簡單地介紹，顯而易見地，下面描迷中的附圖僅僅是本發(fā) 明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前 提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例提供的視頻會議系統(tǒng)的結(jié)構(gòu)示意圖； 圖2為本發(fā)明實(shí)施例一提供的視頻處理方法的流程示意圖； 圖3為本發(fā)明實(shí)施例二提供的多點(diǎn)控制單元的結(jié)構(gòu)示意圖4為本發(fā)明實(shí)施例二提供的視頻處理方法的實(shí)施例一的流程示意圖5為本發(fā)明實(shí)施例二提供的視頻處理方法的實(shí)施例二的流程示意圖6為本發(fā)明實(shí)施例三提供的多點(diǎn)控制單元的結(jié)構(gòu)示意圖7為本發(fā)明實(shí)施例四提供的多點(diǎn)控制單元的結(jié)構(gòu)示意圖8為本發(fā)明實(shí)施例四提供的音頻處理方法的流程示意圖9為本發(fā)明視頻處理裝置實(shí)施例的結(jié)構(gòu)示意圖IO為本發(fā)明音頻處理裝置實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行 清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例， 而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有 做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
圖1為本發(fā)明實(shí)施例提供的視頻會議系統(tǒng)的結(jié)構(gòu)示意圖，包括第一會議 終端、與第 一會議路數(shù)不同的第二會議終端和用于進(jìn)行第 一會議終端與第二 會議終端媒體流交互的多點(diǎn)控制單元(Multipoint Control Unit，MCU) 13。第 一會議終端和第二會議終端至少為一個，其中，圖1所示的第一會議終端為 路數(shù)為三路的第一遠(yuǎn)程呈現(xiàn)會場111、第二遠(yuǎn)程呈現(xiàn)會場112,傳輸?shù)姆謩e為 A、 B、 C及D、 E、 F三路媒體流；第二會議終端為第一單流會場121、第二 單流會場122、第三單流會場123，分別傳輸?shù)臑镚、 H、 I 一路士某體流；MCU13 負(fù)責(zé)各個會場(包括單流會場、雙流會場、多流會場)之間的核心交換、混 音、分屏處理等。第一遠(yuǎn)程呈現(xiàn)會場111、第二遠(yuǎn)程呈現(xiàn)會場112與第一單 流會場121、第二單流會場122、第三單流會場123通過E1或IP或ISDN等 傳輸網(wǎng)絡(luò)接入MCU13,媒體流(包括視頻流和音頻流)在MCU13上匯聚， MCU13對各個會場接入的々某體流統(tǒng)一進(jìn)行控制、交換，以實(shí)現(xiàn)各個會場之間
的媒體流交換。
參見圖1,第二遠(yuǎn)程呈現(xiàn)會場112可以接收到第一單流會場121、第二單 流會場122、第三單流會場123的媒體信息(G、 H、 I)，第一單流會場121 可以接收到第二遠(yuǎn)程呈現(xiàn)會場112的媒體信息(D、 E、 F),因此，實(shí)現(xiàn)了 遠(yuǎn)程呈現(xiàn)會場和單流會場之間的交互，解決了現(xiàn)有技術(shù)中不同路數(shù)會場之間 不能融合的問題。同時，同現(xiàn)有技術(shù)一樣，遠(yuǎn)程呈現(xiàn)會場之間、單流會場之 間也可以交互，例如，第一遠(yuǎn)程呈現(xiàn)會場111可以接收到第二遠(yuǎn)程呈現(xiàn)會場 112的媒體信息，第二單流會場122、第三單流會場123分別接收到第一單流 會場lll、第二單流會場112的媒體信息，因此，可以同現(xiàn)有技術(shù)兼容。
本實(shí)施例還可以進(jìn)一步包括業(yè)務(wù)管理臺14，業(yè)務(wù)管理臺14用于對系統(tǒng) 的各種參數(shù)進(jìn)行預(yù)定義，之后將預(yù)定義的各參數(shù)傳輸給MCU13，使MCU13 根據(jù)預(yù)定義的各參數(shù)進(jìn)行統(tǒng)一控制管理。具體的MCU的結(jié)構(gòu)及實(shí)現(xiàn)方式可 以參見下述的實(shí)施例。
本實(shí)施例中，MCU進(jìn)行不同媒體流路數(shù)的會場之間的交互，可以實(shí)現(xiàn)不 同路數(shù)會場之間的混合組網(wǎng)，可以根據(jù)網(wǎng)絡(luò)中各用戶的情況配置相應(yīng)的遠(yuǎn)程 呈現(xiàn)會場終端、單流會場終端、雙流會場終端，而不必整網(wǎng)配置性能較高的 設(shè)備，因此，可以降低整網(wǎng)的建設(shè)成本，避免之前使用的設(shè)備的資源浪費(fèi)。
圖2為本發(fā)明實(shí)施例一提供的視頻處理方法的流程示意圖，包括
步驟21: MCU獲取第一會議終端發(fā)送的N路視頻流。例如，MCU接收 遠(yuǎn)程呈現(xiàn)會場的三路視頻流。
步驟22: MCU確定與所述第一會議終端進(jìn)行交互的第二會議終端，所 述第二會議終端支持L路視頻流，L與N不同。例如，第二會議終端為單流 會場，支持一路一見頻流。
步驟23: MCU將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路 視頻流中。例如，參照圖1，第一單流會場121支持的視頻流為一路，與MCU 接入的第二遠(yuǎn)程呈現(xiàn)會場112支持的三路視頻流的路數(shù)不相同，因此，MCU 需要對三路視頻流進(jìn)行處理，使三路視頻流中的信息攜帶在一路視頻流中，
如該一路視頻流中包括信息D、 E、 F)。相比于現(xiàn)有會議電視系統(tǒng)中要求各 會場支持的路數(shù)相同，本實(shí)施例可以支持各不同路數(shù)的會場之間的互通；相 比于現(xiàn)有雙流會場只將主視頻流傳輸給單流會場造成的信息丟失問題，本實(shí) 施例在處理后得到的第二々某體流中保留了原有的第一々某體流中全部信息，避 免信息丟失的問題。上述將遠(yuǎn)程呈現(xiàn)會場的三路視頻信息進(jìn)行合成，還可以 將三路視頻信息分時地以一路視頻流的方式發(fā)送給單流會場，具體的可參見 下述實(shí)施例。
步驟24: MCU將所述L路視頻流傳輸給所述第二會議終端。例如，將 攜帶三流視頻信息的 一路視頻流發(fā)送給單流會場。
本實(shí)施例通過對來自各會場的視頻流進(jìn)行處理，使接入的視頻流與輸出 的視頻流的路數(shù)不相同，實(shí)現(xiàn)各不同路數(shù)的會場之間的融合；并且實(shí)現(xiàn)輸出 的視頻流保留輸入視頻流的全部信息，避免信息丟失。
圖3為本發(fā)明實(shí)施例二提供的多點(diǎn)控制單元的結(jié)構(gòu)示意圖，本實(shí)施例是 針對視頻的MCU的結(jié)構(gòu)示意圖，包括第一接入模塊31、第二接入模塊32、 視頻合成模塊33和媒體交換模塊34。第一接入模塊31與第一會議終端連接， 用于接入第一會議終端的N路視頻流，例如，接入圖1中的遠(yuǎn)程呈現(xiàn)會場的 三路視頻流；第二接入模塊32與第二會議終端連接，用于接入第二會議終端 的與N不同的L路視頻流，例如，接入圖1中的單流會場的一路視頻流；視 頻合成模塊33與第一接入模塊31相連，用于將N路視頻流合成為L路視頻 流，例如，將圖1的遠(yuǎn)程呈現(xiàn)會場的三路視頻流合成一路視頻流；媒體交換 模塊34與視頻合成模塊33相連，用于將N路視頻流合成得到的L路視頻流 轉(zhuǎn)發(fā)給第二會議終端，例如，將圖1的三路視頻流合成為一路視頻流后發(fā)送 給單流會場。同時，視頻合成模塊33還可以用于將接入的未合成的N路視 頻流直接轉(zhuǎn)發(fā)給媒體交換模塊34，再傳輸給相應(yīng)的支持多路的會場，例如， 圖1的第二遠(yuǎn)程呈現(xiàn)會場112將多路視頻流通過媒體交換模塊34直接轉(zhuǎn)發(fā)給
第一遠(yuǎn)程呈現(xiàn)會場111。
息，如將L個N路視頻信息合成為L路視頻信息，每個N路視頻信息合成為 一路視頻信息；或者所述視頻合成模塊具體用于將一個N路視頻信息合成為 L路視頻信息，如將一個N路視頻信息中的(L-l )路視頻信息保持不變，將 N- (L-l )路的視頻信息合成為一路視頻信息。本實(shí)施例還可以進(jìn)一步包括協(xié) 議轉(zhuǎn)換/速率適配模塊35，協(xié)議轉(zhuǎn)換/速率適配模塊35分別位于視頻合成模塊 與媒體交換模塊之間，及位于第二接入模塊與媒體交換模塊之間，用于對不 同的協(xié)議和速率進(jìn)行轉(zhuǎn)換和適配，即把源視頻流格式轉(zhuǎn)換為目的視頻格式， 或把源視頻帶寬轉(zhuǎn)換為目的視頻帶寬。如果會場之間的協(xié)議或速率不需要轉(zhuǎn) 換和適配，就不需要經(jīng)過此模塊。進(jìn)一步的，本實(shí)施例還可以包括會議控制 模塊，會議控制模塊與MCU內(nèi)部的各模塊連接，用于根據(jù)業(yè)務(wù)管理臺輸入 的各種參數(shù)，管理、控制MCU內(nèi)部包括接入模塊、視頻合成模塊、協(xié)議轉(zhuǎn) 換/速率適配模塊、媒體交換模塊共同動作，實(shí)現(xiàn)用戶對會議的管理，例如， 控制接入模塊將接入的視頻流送入?yún)f(xié)議轉(zhuǎn)換/速率適配模塊，還是直接送入視 頻合成模塊；控制視頻合成模塊是進(jìn)行視頻流合成還是直接進(jìn)行視頻流轉(zhuǎn)發(fā)； 控制媒體交換模塊將處理后的視頻流送入哪個會場；并且還可以控制這些模 塊統(tǒng)一工作等。
本實(shí)施例通過視頻合成模塊實(shí)現(xiàn)多路視頻流的合成，達(dá)到路數(shù)少會場可 以支持的路數(shù)，因此可以實(shí)現(xiàn)將路數(shù)多會場的視頻信息傳輸給路數(shù)少會場， 而無需將支持較少路數(shù)的會場升級成支持較多路數(shù)的會場，節(jié)省設(shè)備成本。
圖4為本發(fā)明實(shí)施例二提供的視頻處理方法的實(shí)施例一的流程示意圖。 本實(shí)施例以遠(yuǎn)程呈現(xiàn)會場為輸入側(cè)，單流會場及遠(yuǎn)程呈現(xiàn)會場為輸出側(cè)的情 形為例，第一接入模塊接入的為遠(yuǎn)程呈現(xiàn)會場輸入的多路視頻流。該實(shí)施例 包括
步驟41:通過標(biāo)準(zhǔn)協(xié)議(H.323或SIP或H.320)的呼叫、能力協(xié)商過程，
遠(yuǎn)程呈現(xiàn)會場與MCU中的第一接入模塊建立媒體通道，MCU中的第一接入 模塊獲取遠(yuǎn)程呈現(xiàn)會場的多路視頻流。
步驟42:第一接入模塊將多路視頻流發(fā)送給視頻合成模塊。視頻合成模 塊對接收到的多路視頻流進(jìn)行圖像解碼，解碼出來的原始圖像進(jìn)行縮放、組 合成一幅新的圖像，然后對該新的圖像進(jìn)行編碼，根據(jù)會議控制模塊的控制 獲知需要傳輸給單流會場，因此視頻合成模塊將編碼得到一路視頻流，并將 編碼后的圖像一路視頻流發(fā)送給媒體交換模塊。同時，因?yàn)檫h(yuǎn)程呈現(xiàn)會場之 間交換的是多路視頻流，所以，視頻合成模塊除了可以將合成后的一路視頻 流發(fā)送給媒體交換模塊之外，還可以將接入模塊接入的多路視頻流直接轉(zhuǎn)發(fā) 給媒體交換模塊，用于在遠(yuǎn)程呈現(xiàn)會場之間進(jìn)行交換。具體的是要合成還是 直接轉(zhuǎn)發(fā)可以由會議控制模塊進(jìn)行控制。
步驟43:視頻合成模塊將合成后的視頻流發(fā)送給媒體交換模塊。媒體交 換模塊根據(jù)會議控制模塊的指令，將視頻流在各個會場之間進(jìn)行轉(zhuǎn)發(fā)。
步驟44:視頻合成模塊將多路視頻流直接轉(zhuǎn)發(fā)給媒體交換模塊。
步驟45:媒體交換模塊將合成后的視頻流發(fā)送給單流會場。通過視頻合 成模塊的處理，將多路視頻流合成一路視頻流，并且，經(jīng)過媒體交換模塊的 轉(zhuǎn)發(fā)，單流會場便可以收看到遠(yuǎn)程呈現(xiàn)會場的多路信息。參見圖1,經(jīng)過路 數(shù)合成，第一單流會場121可以收看到第二遠(yuǎn)程呈現(xiàn)會場112的包括三路視 頻信息(D、 E、 F)的視頻圖像。
步驟46:媒體交換模塊將多路視頻流發(fā)送給遠(yuǎn)程呈現(xiàn)會場。參照圖1， 將第二遠(yuǎn)程呈現(xiàn)會場112的信息傳輸給第一遠(yuǎn)程呈現(xiàn)會場111。
本實(shí)施例以多路轉(zhuǎn)換成一路為例，應(yīng)用該碼流合成原理可以實(shí)現(xiàn)任意的 N流會場與L流會場之間的混和組網(wǎng)，假設(shè)N〉L。具體的做法可以包括下述 兩種方式
方式一將若干個N路;f見頻信息合成為L踏4見頻信息，即對若干個N流 會場進(jìn)行分別合成，得到L鴻4見頻流。具體可以為將N流會場的N鴻4見頻碼流組合成包括N個畫面的 一路視頻流，再把該一路視頻流發(fā)送給L流會場的 一個^L頻通道中，L流會場的其余L-l個^L頻通道可以用于4妻收其他會場的 牙見頻流信息。例如，對兩個三流會場進(jìn)行處理，將每個三流會場的三3各浮見頻 流合成為一鴻4見頻流，最終形成兩蹈4見頻流，之后可以發(fā)送全合雙流會場。因 此，通過該方式可以使L流會場接收到L個會場的組合畫面。
方式二將一個N鴻4見頻信息合成為L鴻"視頻信息，即對一個N流會場 進(jìn)行合成得到L絲4見頻流。具體可以為將N流會場中的L-l賴4見頻流分別發(fā) 送給L流會場的L-l個視頻通道中，N流會場的其余的N- ( L-l )路的視頻 流組合成包括N- (L-l)個畫面的一蹤4見頻流，將該包括多畫面的一聘4見頻 流發(fā)送給L流會場的剩下的 一個視頻通道中。例如，將一個三流會場的 一路 保持不變，另兩路合成為一路，最終形成兩踏4見頻流，之后可以發(fā)送給雙流 會場。因此，通過該方式可以保證L流會場盡可能看到最多的大畫面。
本實(shí)施例通過將路數(shù)多會場的視頻流進(jìn)行合成，解決了路數(shù)少會場收看 路數(shù)多會場的視頻互通問題。
圖5為本發(fā)明實(shí)施例二提供的視頻處理方法的實(shí)施例二的流程示意圖， 本實(shí)施例是以單流會場為輸入側(cè)，遠(yuǎn)程呈現(xiàn)會場為輸出側(cè)的情形為例，包括
步驟51-53:單流會場將單路視頻流分別通過第二接入^t塊發(fā)送給々某體交 換模塊。例如，參照圖1,第一單流會場121、第二單流會場122、第三單流 會場123分別將各自的一路—見頻流(分別為G、 H、 I)發(fā)送》會^某體交換中心。
步驟54:媒體交換模塊將多個單流會場的單路視頻流合并成多路視頻流。 例如，將上述的三個單路一見頻流合并成三路3見頻流。
步驟55-56:媒體交換模塊將多路視頻流轉(zhuǎn)發(fā)給遠(yuǎn)程呈現(xiàn)會場。例如，參 照圖1,將三路視頻流(G、 H、 I)發(fā)送給第二遠(yuǎn)程呈現(xiàn)會場112。
本實(shí)施例以 一路轉(zhuǎn)換成三路為例，應(yīng)用該會場合成原理可以實(shí)現(xiàn)任意的 L流會場與N流會場之間的混和組網(wǎng)，假設(shè)N〉L。具體的做法可以為在若 干個L流會場中任意選擇共N路的視頻碼流發(fā)送給N流會場。例如，將2個
雙流會場的^L頻流合并成4路4見頻流后，輸出給一個路H為四的遠(yuǎn)程呈現(xiàn)會 場。
本實(shí)施例通過將若千個路數(shù)少會場的視頻碼流進(jìn)行合成，解決了路數(shù)多 會場收看路數(shù)少會場的視頻互通問題。
圖6為本發(fā)明實(shí)施例三提供的多點(diǎn)控制單元的結(jié)構(gòu)示意圖，本實(shí)施例是 針對視頻的MCU的結(jié)構(gòu)示意圖，包括第一接入模塊61、第二接入模塊62和 媒體交換模塊63。第一接入模塊61用于接入第一會議終端的N路視頻流， 例如，接入遠(yuǎn)程呈現(xiàn)會場的視頻流。第二接入模塊62用于接入第二會議終端 的與N不同的L路視頻流，例如，接入單流會場的視頻流。
以N大于L為例，第一會議終端為輸入側(cè)，第二會議終端為輸出側(cè)的情 況下，與實(shí)施例二提供的MCU不同的是，本實(shí)施例中不包括視頻合成單元， 本實(shí)施例中的媒體交換模塊63根據(jù)預(yù)設(shè)的條件或者視頻流的條件分時地在N 路視頻流中選擇L路視頻流，得到分時的若干個L路視頻流；之后，將該若 干個L路視頻流分時傳輸給第二會議終端。如設(shè)置第一時刻選擇圖1中的第 二遠(yuǎn)程呈現(xiàn)會場112的包含D信息的這一路(如可以根據(jù)視頻流的源地址確 定是否為需要選擇的視頻流)，第二時刻選擇包含E信息的這一路，第三時 刻選擇包含F(xiàn)信息的這一路，之后分別傳輸給圖1中的第一單流會場121， 這樣第一單流會場121便會分時地看到第二遠(yuǎn)程呈現(xiàn)會場112的全部內(nèi)容。 其中，某一時刻在N路視頻流中選擇L路視頻流具體可以為
方式一根據(jù)預(yù)設(shè)的控制規(guī)則，如用戶可以將自身需要的視頻流的信息 設(shè)置為相應(yīng)的控制規(guī)則，在N路視頻流中選擇L路視頻流。方式二根據(jù)預(yù) 設(shè)的優(yōu)先級，在N路視頻流中按照優(yōu)先級從高到低排列選擇L路傳輸給L流 會場。
方式三MCU通過分析接入的N路視頻流對應(yīng)的音頻流，按照音頻流 的音量從高到低排列選擇L路音頻流對應(yīng)的視頻流傳輸給L流會場。
方式四N流會場在視頻流中攜帶一個表明優(yōu)先級高低的標(biāo)志，MCU根
據(jù)優(yōu)先級從高到低排列選擇L路視頻流傳輸給L流會場。
本實(shí)施例還可以進(jìn)一步包括協(xié)議轉(zhuǎn)換/速率適配模塊64和會議控制模塊。 這兩個模塊的作用于實(shí)施例二相同，如，協(xié)議轉(zhuǎn)換/速率適配模塊64用于協(xié) 議及速率之間的轉(zhuǎn)換和適配，會議控制模塊對各模塊進(jìn)行控制。
圖7為本發(fā)明實(shí)施例四提供的多點(diǎn)控制單元的結(jié)構(gòu)示意圖，本實(shí)施例是 針對音頻的MCU的結(jié)構(gòu)示意圖，包括第一接入模塊71、第二接入模塊72、 音頻碼流選擇/合成模塊73、媒體交換模塊74和混音模塊75。第一接入模塊 71用于接入N路音頻流。第二接入才莫塊72用于接入與N不同的L路音頻流。 音頻碼流選擇/合成模塊73與接入非單路音頻流的接入模塊對應(yīng)連接，例如， N不為1, L為1,則音頻碼流選擇/合成模塊與第一接入模塊連接；若N及L 均不為1,則存在兩個音頻碼流選擇/合成模塊，分別與第一接入模塊和第二 接入模塊連接。音頻碼流選擇/合成模塊用于對第一接入模塊或/和第二接入模 塊接入的多路音頻流進(jìn)行選擇或者合成，即可以根據(jù)各音頻流的音量選擇一 路音量最大的音頻流，或者將至少兩路的音頻流合成為一路音頻流?；煲舨拍?塊75用于對各個會場的音頻流進(jìn)行集中混音，集中混音的輸入方為遠(yuǎn)程呈現(xiàn) 會場的選擇或合成的一路音頻碼流，及單流會場的直接的一路音頻碼流?；?音可以具體為將各個會場的音頻碼流進(jìn)行解碼，然后根據(jù)音量大小，選擇其 中幾路會場的語音進(jìn)行數(shù)字合成，合成后的語音數(shù)據(jù)重新進(jìn)行編碼，編碼后 的碼流經(jīng)過媒體交換模塊發(fā)送給各個會場。其中，編碼可以根據(jù)不同會場的 具體協(xié)議或速率等分別編碼，以滿足不同會場的協(xié)議或速率等要求。媒體交 換模塊74對各會場集中混音后的音頻流進(jìn)行交換。
本實(shí)施例還可以進(jìn)一步包括會議控制模塊，與上述各個模塊(第一接入 模塊、第二接入模塊、混音模塊、媒體交換模塊)連接，對各個模塊進(jìn)行控 制。
本實(shí)施例中，混音模塊用于對各會場的音頻流進(jìn)行混音處理，可以使各 會場聽到其它會場的聲音，實(shí)現(xiàn)不同會場之間的音頻互通。
圖8為本發(fā)明實(shí)施例四提供的音頻處理方法的流程示意圖，包括 步驟81:遠(yuǎn)程呈現(xiàn)會場通過呼叫、能力協(xié)商過程建立與第一接入模塊之 間的媒體通道。
步驟82:第一接入模塊將遠(yuǎn)程呈現(xiàn)會場的多路音頻流發(fā)送給音頻碼流選 擇/合成模塊。音頻碼流選擇/合成模塊根據(jù)會議控制模塊的指定選擇某 一路音 頻流或自動根據(jù)音頻流的音量選擇一路音頻流，或者，音頻碼流選擇/合成模 塊將多路音頻流合成為 一路包括多路語音信息的音頻碼流?？梢愿鶕?jù)需要設(shè) 定是選擇出 一路還是組合成一路。
步驟83:音頻碼流選擇/合成模塊將選擇或合成后的音頻流發(fā)送給媒體交 換模塊。
步驟84:媒體交換模塊將合成后的音頻流發(fā)送給混音模塊。
步驟85-86:混音模塊將混音后的音頻流通過第二接入模塊發(fā)送給單流會 場，及通過第一接入^t塊發(fā)送給遠(yuǎn)程呈現(xiàn)會場。
本實(shí)施例將各個會場的音頻流集中到混音模塊進(jìn)行混音，再通過媒體交 換模塊分發(fā)給各個會場，使各個會場都能夠聽到會議的聲音，實(shí)現(xiàn)會場的音 頻互通。同時，混音才莫塊在混音處理時根據(jù)不同音頻協(xié)i義進(jìn)行編碼，可以實(shí) 現(xiàn)不同音頻協(xié)議的會場之間的音頻互通。
上述實(shí)施例針對視頻和音頻分別對MCU進(jìn)行了描述，其中圖3、圖6是 針對視頻的，圖7是針對音頻的。由于MCU需要對視頻和音頻都進(jìn)行處理， 因此MCU可以結(jié)合圖3及圖7，或者結(jié)合圖6及圖7。即MCU包括第一接 入模塊、第二接入模塊和媒體交換模塊；第一接入模塊用于接入第一會議終 端，與所述第一會議終端傳輸?shù)谝幻襟w流，所述第一i某體流包括N路視頻流 和N路音頻流；第二接入模塊用于接入第二會議終端，與所述第二會議終端 傳輸?shù)诙某體流，所述第二媒體流包括L路視頻流和L路音頻流，L與N不 相同；媒體交換模塊用于將第一媒體流中的信息傳輸給第二會議終端，將第 二i某體流中的信息傳輸給第一會議終端。更為具體的，以N大于L為例，MCU包括上述的第一接入模塊、第二 接入模塊和媒體交換模塊，還包括視頻合成模塊、音頻碼流選擇/合成模塊和 混音模塊。視頻合成模塊與第 一接入模塊相連，用于將N路視頻流合成為L 路視頻流，通過所述媒體交換模塊轉(zhuǎn)發(fā)給第二會議終端；所述媒體交換模塊 還用于將多個所述L路視頻流合并為N路視頻流，轉(zhuǎn)發(fā)給第二會議終端；音 頻碼流選擇/合成模塊，與第一接入模塊和/或第二接入模塊相連，用于當(dāng)N 大于1時，將N路音頻流合成為一路音頻流或者根據(jù)音量在N路音頻流中選 擇一路音頻流，得到一路的第一音頻流，當(dāng)L大于1時，將L路音頻流合成 為一路音頻流或者根據(jù)音量在L路音頻流中選擇一路音頻流，得到一路的第 二音頻流；混音模塊，用于對音頻碼流選擇/合成模塊得到的一路的第一音頻 流或者第一接入模塊接入的一路音頻流，及音頻碼流選擇/合成模塊得到的一 路的第二音頻流或者第二接入模塊接入的一路音頻流，進(jìn)行混音處理，并將
混音處理后的音頻流通過媒體交換模塊發(fā)送給第一會議終端和第二會議終 端。其中，視頻合成模塊具體用于將若干個N路視頻信息合成為L路視頻信 息，如將L個N路視頻信息合成為L路視頻信息，每個N路視頻信息合成為 一路視頻信息；或者所述視頻合成模塊具體用于將一個N路視頻信息合成為 L路視頻信息，如將一個N路視頻信息中的(L-l )路視頻信息保持不變，將 N- (L-l)路的視頻信息合成為一路視頻信息。
或者，MCU包括上述的第一接入模塊、第二接入模塊和媒體交換模塊， 還包括音頻碼流選擇/合成模塊和混音模塊；所述媒體交換模塊還用于分時地 在所述N路視頻流中選擇L路視頻流，得到分時的若干個L路視頻流，并將 所述若干個L路視頻流分時傳輸給所述第二會議終端；音頻碼流選擇/合成模 塊，與第一接入模塊和/或第二接入模塊相連，用于當(dāng)N大于1時，將N路 音頻流合成為一路音頻流或者根據(jù)音量在N路音頻流中選擇一路音頻流，得 到一路的第一音頻流，當(dāng)L大于1時，將L路音頻流合成為一路音頻流或者 根據(jù)音量在L路音頻流中選擇一路音頻流，得到一路的第二音頻流；混音模
塊，用于對音頻碼流選擇/合成模塊得到的一路的第一音頻流或者第一接入模 塊接入的一路音頻流，及音頻碼流選擇/合成模塊得到的一路的第二音頻流或 者第二接入模塊接入的一路音頻流，進(jìn)行混音處理，并將混音處理后的音頻 流通過媒體交換模塊發(fā)送給第一會議終端和第二會議終端。其中，媒體交換 模塊用于根據(jù)預(yù)設(shè)的控制規(guī)則，在所述N路視頻流中選擇預(yù)設(shè)的控制規(guī)則指
定的L路視頻流；或者媒體交換模塊用于根據(jù)預(yù)設(shè)的優(yōu)先級，在所述N路視 頻流中選擇L路視頻流；或者媒體交換模塊用于根據(jù)與各視頻流對應(yīng)的音頻 流，按照音頻流的音量大小選擇L路視頻流；或者媒體交換模塊用于根據(jù)各 視頻流中攜帶的優(yōu)先級，選擇L路視頻流。
或者，MCU進(jìn)一步包括協(xié)議轉(zhuǎn)換/速率適配模塊，協(xié)議轉(zhuǎn)換/速率適配模 塊與第一接入模塊和第二接入模塊相連，用于對N路視頻流和L路視頻流進(jìn) 4亍協(xié)議轉(zhuǎn)換或速率適配處理。
圖9為本發(fā)明視頻處理裝置實(shí)施例的結(jié)構(gòu)示意圖，包括視頻獲取模塊91、 確定模塊92、處理模塊93和傳輸模塊94。視頻獲取模塊91用于獲取第一會 議終端發(fā)送的N路視頻流；確定模塊92用于確定與視頻獲取模塊91接入的 第一會議終端進(jìn)行交互的第二會議終端，所述第二會議終端支持與N不同的 L路視頻流；處理模塊93用于將視頻獲取模塊91獲取的所述N路視頻流中 攜帶的N路視頻信息，攜帶在確定模塊92確定的第二會議終端支持的L路 視頻流中；傳輸模塊94用于將處理模塊93得到的所述L路視頻流傳輸給所 述第二會議終端。
其中，若N大于L，所述處理模塊具體用于將所述N路浮見頻信息合成為 L路視頻信息，將所述L路視頻信息分別攜帶在L路視頻流中。
若N小于L，所述處理模塊具體用于將多個所述N路視頻信息合并為L 路信息，將所述L路視頻信息分別攜帶在L路視頻流中。
若N大于L，所述處理模塊還可以具體用于分時地在所述N路一見頻流中 選擇L路視頻流，得到分時的若干個L路視頻流；所述傳輸模塊具體用于將
所述L路視頻流傳輸給所述第二會議終端包括將所述若干個L路視頻流分 時傳輸給所述第二會議終端。
本實(shí)施例還可以進(jìn)一步包括協(xié)議轉(zhuǎn)換/速率適配^^塊，該協(xié)議轉(zhuǎn)換/速率適 配模塊用于對所述N路視頻流和L路視頻流進(jìn)行協(xié)議轉(zhuǎn)換或/和速率適配。
本實(shí)施例對視頻流進(jìn)行合成或合并或選擇處理，可以實(shí)現(xiàn)不同路數(shù)的會 i義終端之間的^L頻互通。
圖10為本發(fā)明音頻處理裝置實(shí)施例的結(jié)構(gòu)示意圖，包括音頻獲取模塊 101、混音模塊102和發(fā)送模塊103。音頻獲取模塊101用于獲取各會議終端 的音頻流，所述會議終端至少包括一個遠(yuǎn)程呈現(xiàn)會場的終端；混音模塊102 用于對音頻獲取模塊101獲取各會議終端的音頻流進(jìn)行混音處理；發(fā)送模塊 103用于將混音模塊102混音后的音頻流發(fā)送給各會議終端。
本實(shí)施例還可以進(jìn)一步包括音頻合成/選擇模塊，與音頻獲取模塊連接， 用于分別將各會議終端的音頻流合成為一路音頻流或者根據(jù)音量選擇一路音 頻流，并將合成的或者選擇的 一路音頻流分別發(fā)送給所述混音模塊。
本實(shí)施例通過混音處理，實(shí)現(xiàn)不同路數(shù)的會場之間的音頻互通。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟 可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計(jì)算機(jī)可讀 取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實(shí)施例的步驟；而前述 的存儲介質(zhì)包括ROM、 RAM、磁碟或者光盤等各種可以存儲程序代碼的介 質(zhì)。
最后應(yīng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對其進(jìn) 行限制，盡管參照較佳實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技 術(shù)人員應(yīng)當(dāng)理解其依然可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換， 而這些修改或者等同替換亦不能使修改后的技術(shù)方案脫離本發(fā)明技術(shù)方案的 精神和范圍。
權(quán)利要求
1.一種視頻處理方法，其特征在于，包括獲取第一會議終端發(fā)送的N路視頻流；確定與所述第一會議終端進(jìn)行交互的第二會議終端，所述第二會議終端支持與N不同的L路視頻流；將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路視頻流中；將所述L路視頻流傳輸給所述第二會議終端。
2、 根據(jù)權(quán)利要求1所述的視頻處理方法，若N大于L，其特征在于，所 述將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路視頻流中包括將 所述N路視頻信息合成為L路視頻信息，將所述L路視頻信息分別攜帶在L 路視頻流中。
3、 根據(jù)權(quán)利要求1所述的視頻處理方法，若N小于L，其特征在于，所 述將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路視頻流中包括將 多個所述N路視頻信息合并為L路視頻信息，將所述L路視頻信息分別攜帶 在L路視頻流中。
4、 根據(jù)權(quán)利要求1所述的視頻處理方法，若N大于L,其特征在于 所述將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路視頻流中包括分時地在所述N路^L頻流中選擇L路:f見頻流，得到分時的若干個L鴻4見 頻流；所述將所述L路視頻流傳輸給所述第二會議終端包括將所述若干個L 路視頻流分時傳輸給所述第二會議終端。
5、 根據(jù)權(quán)利要求2所述的視頻處理方法，其特征在于，所述將所述N 路視頻信息合成為L路視頻信息包括將若干個N路視頻信息合成為L路視頻信息；或者 將一個N路視頻信息合成為L路視頻信息。
6、 根據(jù)權(quán)利要求5所述的視頻處理方法，其特征在于所述將若千個N路視頻信息合成為L路視頻信息包括將L個N路視頻 信息合成為L路^L頻信息，每個N路視頻信息合成為一路視頻信息；或者，所述將一個N路視頻信息合成為L路視頻信息包括將N路視頻信息中 的(L-l)路視頻信息保持不變，將N- (L-l)路的視頻信息合成為一路視頻 信息。
7、 根據(jù)權(quán)利要求4所述的視頻處理方法，其特征在于，所述在所述N 路視頻流中選擇L路視頻流包括根據(jù)預(yù)設(shè)的控制規(guī)則，在所述N路視頻流中選擇預(yù)設(shè)的控制規(guī)則指定的 L路視頻流；或者根據(jù)預(yù)設(shè)的優(yōu)先級，在所述N路視頻流中選擇L路視頻流；或者 根據(jù)與各視頻流對應(yīng)的音頻流，按照音頻流的音量大小選擇L路視頻流；或者根據(jù)各視頻流中攜帶的優(yōu)先級，選擇L路視頻流。
8、 根據(jù)權(quán)利要求1所述的視頻處理方法，其特征在于，還包括 對所述N路視頻流和L路視頻流進(jìn)行協(xié)議轉(zhuǎn)換或/和速率適配。
9、 一種音頻處理方法，其特征在于，包括獲取各會議終端的音頻流，所述會議終端至少包括一個遠(yuǎn)程呈現(xiàn)會場的 終端；對各會議終端的音頻流進(jìn)行混音處理； 將混音后的音頻流發(fā)送給各會議終端。
10、 根據(jù)權(quán)利要求9所述的音頻處理方法，其特征在于，所述對各會議 終端的音頻流進(jìn)行混音處理包括將各非單流會議終端的音頻流合成為一路 音頻流或者將各非單流會議終端的音頻流根據(jù)音量選擇一路音頻流后，進(jìn)行 混音處理。
11、 一種視頻處理裝置，其特征在于，包括 視頻獲取模塊，用于獲取第一會議終端發(fā)送的N路視頻流確定模塊，用于確定與所述第一會議終端進(jìn)行交互的第二會議終端，所述第二會議終端支持與N不同的L路視頻流；處理模塊，用于將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路 視頻流中；傳輸模塊，用于將所述L路視頻流傳輸給所述第二會議終端。
12、 根據(jù)權(quán)利要求11所述的視頻處理裝置，若N大于L，其特征在于 所述處理模塊具體用于將所述N路視頻信息合成為L路視頻信息，將所述L 路視頻信息分別攜帶在L路視頻流中。
13、 根據(jù)權(quán)利要求11所述的視頻處理裝置，若N小于L，其特征在于 所述處理模塊具體用于將多個所述N路視頻信息合并為L路信息，將所述L 路視頻信息分別攜帶在L路視頻流中。
14、 根據(jù)權(quán)利要求11所述的視頻處理裝置，若N大于L，其特征在于 所述處理模塊具體用于分時地在所述N路視頻流中選擇L路視頻流，得到分時的若干個L路視頻流；所述傳輸模塊具體用于將所述L路視頻流傳輸給所述第二會議終端包 括將所述若干個L路視頻流分時傳輸給所述第二會議終端。
15、 根據(jù)權(quán)利要求12所述的視頻處理裝置，其特征在于所述處理模塊 進(jìn)一步具體用于將若干個N路視頻信息合成為L路視頻信息；或者所述處理 模塊進(jìn)一步地具體用于將一個N路視頻信息合成為L路視頻信息。
16、 根據(jù)權(quán)利要求15所述的視頻處理裝置，其特征在于所述處理模塊 進(jìn)一步具體用于將L個N路視頻信息合成為L路視頻信息，每個N路視頻信 息合成為一路視頻信息；或者所述處理模塊進(jìn)一步地具體用于將一個N路視 頻信息中的(L-l)路視頻信息保持不變，將N- (L-l)路的視頻信息合成為 一路^L頻信息。
17、 根據(jù)權(quán)利要求14所述的視頻處理裝置，其特征在于 所述處理模塊用于根據(jù)預(yù)設(shè)的控制規(guī)則，在所述N路視頻流中選擇預(yù)設(shè) 的控制規(guī)則指定的L路視頻流；或者所述處理模塊用于根據(jù)預(yù)設(shè)的優(yōu)先級，在所述N路視頻流中選擇L路視 頻流；或者所述處理模塊用于根據(jù)與各視頻流對應(yīng)的音頻流，按照音頻流的音量大 小選擇L路視頻流；或者所述處理模塊用于根據(jù)各視頻流中攜帶的優(yōu)先級，選擇L路視頻流。
18、 根據(jù)權(quán)利要求11所述的視頻處理裝置，其特征在于，還包括 協(xié)議轉(zhuǎn)換/速率適配模塊，用于對所述N路視頻流和L路視頻流進(jìn)行協(xié)議轉(zhuǎn)換或/和速率適配。
19、 一種音頻處理裝置，其特征在于，包括音頻獲取模塊，用于獲取各會議終端的音頻流，所述會議終端至少包括 一個遠(yuǎn)程呈現(xiàn)會場的終端；混音模塊，用于對各會議終端的音頻流進(jìn)行混音處理； 發(fā)送模塊，用于將混音后的音頻流發(fā)送給各會議終端。
20、 根據(jù)權(quán)利要求19所述的音頻處理裝置，其特征在于，還包括 音頻合成/選擇模塊，與所述音頻獲取模塊連接，用于分別將各會議終端的音頻流合成為一路音頻流或者根據(jù)音量選擇一路音頻流，并將合成的或者 選擇的 一路音頻流分別發(fā)送給所述混音模塊。
21、 一種多點(diǎn)控制單元，其特征在于，包括第一接入模塊，用于接入第一會議終端，與所述第一會議終端傳輸?shù)谝?媒體流，所述第 一媒體流包括N路視頻流和N路音頻流；第二接入模塊，用于接入第二會議終端，與所述第二會議終端傳輸?shù)诙?媒體流，所述第二媒體流包括L路視頻流和L路音頻流，L與N不相同；媒體交換模塊，用于將第一媒體流中的信息傳輸給第二會議終端，將第 二媒體流中的信息傳輸給第一會議終端。
22、 根據(jù)權(quán)利要求21所述的多點(diǎn)控制單元，若N大于L,其特征在于， 還包括視頻合成模塊，與第一接入模塊相連，用于將N路視頻流合成為L路視 頻流，通過所述媒體交換模塊轉(zhuǎn)發(fā)給第二會議終端；所述媒體交換模塊還用于將多個所述L路視頻流合并為N路視頻流，轉(zhuǎn) 發(fā)給第二會議終端；音頻碼流選擇/合成模塊，與第一接入模塊和/或第二接入模塊相連，用于 當(dāng)N大于1時，將N路音頻流合成為一路音頻流或者根據(jù)音量在N路音頻流 中選擇一路音頻流，得到一路的第一音頻流，當(dāng)L大于1時，將L路音頻流 合成為一路音頻流或者根據(jù)音量在L路音頻流中選擇一路音頻流，得到一路 的第二音頻流；混音模塊，用于對音頻碼流選擇/合成模塊得到的一路的第 一音頻流或者 第 一接入模塊接入的 一路音頻流，及音頻碼流選擇/合成模塊得到的 一路的第 二音頻流或者第二接入模塊接入的一路音頻流，進(jìn)行混音處理，并將混音處 理后的音頻流通過媒體交換模塊發(fā)送給第 一會議終端和第二會議終端。
23、 根據(jù)權(quán)利要求22所述的多點(diǎn)控制單元，其特征在于所述視頻合成 模塊具體用于將若干個N路視頻信息合成為L路視頻信息；或者所述視頻合 成模塊具體用于將一個N路視頻信息合成為L路視頻信息。
24、 根據(jù)權(quán)利要求23所述的多點(diǎn)控制單元，其特征在于所述視頻合成 模塊進(jìn)一步具體用于將L個N路視頻信息合成為L路視頻信息，每個N路視 頻信息合成為一路視頻信息；或者所述視頻合成模塊進(jìn)一步地具體用于將一 個N路視頻信息中的(L-l)路視頻信息保持不變，將N- (L-l)路的視頻信 息合成為 一路視頻信息。
25、 根據(jù)權(quán)利要求21所述的多點(diǎn)控制單元，若N大于L，其特征在于 所述媒體交換模塊還用于分時地在所述N路視頻流中選擇L路視頻流，得到 分時的若干個L路視頻流，并將所述若干個L路視頻流分時傳輸給所述第二 會議終端； 該多點(diǎn)控制單元還包括音頻碼流選擇/合成模塊，與第一接入模塊和第二接入模塊相連，用于將 N路音頻流合成為一路音頻流或者根據(jù)音量在N路音頻流中選擇一路音頻 流，得到一路的第一音頻流，將L路音頻流合成為一路音頻流或者根據(jù)音量 在L路音頻流中選擇一路音頻流，得到一路的第二音頻流；混音模塊，用于第一音頻流和第二音頻流進(jìn)行混音處理，并將混音處理 后的音頻流通過媒體交換模塊發(fā)送給第 一會議終端和第二會議終端。
26、 根據(jù)權(quán)利要求25所述的多點(diǎn)控制單元，其特征在于 所述媒體交換模塊用于根據(jù)預(yù)設(shè)的控制規(guī)則，在所述N路視頻流中選擇預(yù)設(shè)的控制規(guī)則指定的L路視頻流；或者所述媒體交換模塊用于根據(jù)預(yù)設(shè)的優(yōu)先級，在所述N路視頻流中選擇L 路視頻流；或者所述媒體交換模塊用于根據(jù)與各視頻流對應(yīng)的音頻流，按照音頻流的音 量大小選擇L路視頻流；或者所述媒體交換模塊用于根據(jù)各視頻流中攜帶的優(yōu)先級，選擇L路視頻流。
27、 根據(jù)權(quán)利要求21至26任一權(quán)利要求所述的多點(diǎn)控制單元，其特征 在于，還包括協(xié)議轉(zhuǎn)換/速率適配模塊，與第一接入模塊和第二接入模塊相 連，用于對N路^L頻流和L路^L頻流進(jìn)行協(xié)議轉(zhuǎn)換或速率適配處理。
28、 一種視頻會議系統(tǒng)，其特征在于，包括至少兩個會議終端，所述會議終端至少支持兩種媒體流路數(shù)；多點(diǎn)控制單元，用于交換所述至少兩個會議終端的媒體流中攜帶的信息。
29、 根據(jù)權(quán)利要求28所述的視頻會議系統(tǒng)，其特征在于所述多點(diǎn)控制 單元為權(quán)利要求21至26任一權(quán)利要求所述的多點(diǎn)控制單元。
全文摘要
本發(fā)明公開了一種視頻及音頻處理方法、多點(diǎn)控制單元和視頻會議系統(tǒng)，尤其是一種視頻處理方法、音頻處理方法、視頻處理裝置、音頻處理裝置、多點(diǎn)控制單元和視頻會議系統(tǒng)。該視頻處理方法包括獲取第一會議終端發(fā)送的N路視頻流；確定與所述第一會議終端進(jìn)行交互的第二會議終端，所述第二會議終端支持與N不同的L路視頻流；將所述N路視頻流中攜帶的N路視頻信息，攜帶在L路視頻流中；將所述L路視頻流傳輸給所述第二會議終端。通過本發(fā)明實(shí)施例可以實(shí)現(xiàn)支持不同媒體流路數(shù)的會場之間的互通，實(shí)現(xiàn)遠(yuǎn)程呈現(xiàn)會場、雙流會場、單流會場之間的融合，有利于降低整網(wǎng)建設(shè)成本。
文檔編號H04N7/15GK101370114SQ200810223810
公開日2009年2月18日 申請日期2008年9月28日 優(yōu)先權(quán)日2008年9月28日
發(fā)明者王向炯, 龍彥波 申請人:深圳華為通信技術(shù)有限公司