專利名稱：多點(diǎn)視頻會(huì)議中對(duì)帶寬進(jìn)行優(yōu)化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及電信，并且更具體地涉及多點(diǎn)視頻會(huì)議中對(duì)帶寬進(jìn) 行優(yōu)化。
背景技術(shù)：
存在可用于成組的個(gè)體參與會(huì)議的很多方法。 一種進(jìn)行視頻會(huì)議的普 通方法涉及第一位置處的個(gè)體參與和位于至少一個(gè)遠(yuǎn)程位置的一個(gè)或多個(gè) 個(gè)體的視頻和音頻通信。視頻會(huì)議通常需要相當(dāng)大的帶寬以容納實(shí)時(shí)傳輸 的數(shù)據(jù)量，特別是與音頻會(huì)議相比。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了用于在多點(diǎn)視頻會(huì)議中優(yōu)化帶寬的技術(shù)。根據(jù)具 體實(shí)施例，這些技術(shù)描述了通過發(fā)送選中的視頻流來減小視頻會(huì)議期間所 使用的帶寬的量的方法。
根據(jù)具體實(shí)施例， 一種用于在視頻會(huì)議期間優(yōu)化帶寬的系統(tǒng)包括多
個(gè)多點(diǎn)會(huì)議單元(MCU)，每個(gè)MCU都能夠輔助兩個(gè)或更多參與者之問 的視頻會(huì)議。MCU還能夠輔助包括由兩個(gè)或更多MCU管理的參與者的級(jí) 聯(lián)(cascade)的視頻會(huì)議。所述系統(tǒng)還包括多個(gè)端點(diǎn)，這多個(gè)端點(diǎn)參與視 頻會(huì)議。每個(gè)端點(diǎn)能夠建立與MCU中的選中的一個(gè)MCU的會(huì)議鏈接， 生成多個(gè)視頻流和相應(yīng)多個(gè)音頻流，在會(huì)議鏈接上發(fā)送所生成的視頻流和 所生成的音頻流，接收多個(gè)視頻流和多個(gè)音頻流，利用多個(gè)揚(yáng)聲器呈現(xiàn)所 接收的音頻流，并且利用多個(gè)監(jiān)視器顯示所接收的視頻流。所述系統(tǒng)還包 括MCU中的受控MCU，受控MCU管理第一組端點(diǎn)。受控MCU能夠
(1)接收包括了從第一組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流的第一組可 用視頻流，(2)從第一組可用視頻流中選出N個(gè)潛在(potential)視頻流，其中N等于任一端點(diǎn)能夠并發(fā)顯示的活動(dòng)視頻流的最大數(shù)目，并且
(3)向MCU中的主MCU發(fā)送潛在視頻流。所述系統(tǒng)還包括主MCU， 主MCU管理第二組端點(diǎn)。主MCU能夠(1)接收包括了從第二組端點(diǎn) 中的每一個(gè)端點(diǎn)生成的視頻流以及來自受控MCU的潛在視頻流的第二組 可用視頻流，(2)從第二組可用視頻流中選出活動(dòng)視頻流，其中活動(dòng)視 頻流包括N個(gè)主要視頻流和M個(gè)替代視頻流，(3)確定活動(dòng)視頻流中所 需的視頻流，用于傳送至第一組端點(diǎn)中的一個(gè)或多個(gè)端點(diǎn)，并且(4)將 活動(dòng)視頻流中所需的視頻流發(fā)送至受控MCU。
本發(fā)明的實(shí)施例提供了各種技術(shù)優(yōu)點(diǎn)。例如，這些技術(shù)可減小多點(diǎn)視 頻會(huì)議所需要的帶寬。通過減小帶寬，額外視頻會(huì)議可以基本上同時(shí)發(fā) 生。此外，在較少帶寬可用的情況下，可發(fā)起和維持優(yōu)化了帶寬的視頻會(huì) 議。在某些實(shí)施例中，有限的帶寬連接使用這些帶寬減小技術(shù)以支持高清 晰度的視頻會(huì)議。在一些實(shí)施例中，通過從總體數(shù)目的可用視頻流中發(fā)送 僅特定的視頻流，可減少網(wǎng)絡(luò)業(yè)務(wù)量和產(chǎn)生的錯(cuò)誤。此外，在具體實(shí)施例 中，降低了對(duì)接收(一個(gè)或多個(gè))視頻流的裝置的處理要求。如果更少的 視頻流被發(fā)送，則接收裝置可處理更少的接收到的視頻流。
從下面的附圖、說明書和權(quán)利要求中，本領(lǐng)域的技術(shù)人員將會(huì)容易明 白本發(fā)明的其他技術(shù)優(yōu)點(diǎn)。此外，雖然具體優(yōu)點(diǎn)已被列舉在上面，但是各 種實(shí)施例可全部地、 一些地或者不包括所列舉的優(yōu)點(diǎn)。


為了更完整地理解本發(fā)明及其優(yōu)點(diǎn)，結(jié)合附圖參考下面的描述，其
中
圖1示出用于優(yōu)化多點(diǎn)視頻會(huì)議中的帶寬的系統(tǒng)；
圖2是示出示例三重端點(diǎn)的框圖，該端點(diǎn)生成三個(gè)視頻流并且顯示三
個(gè)接收到的視頻流；
圖3示出多點(diǎn)控制單元(MCU)，該單元通過選擇某些視頻流以發(fā)送
至視頻會(huì)議參與者來優(yōu)化多點(diǎn)視頻會(huì)議期間的帶寬 ，
圖4是示出在主MCU處和在受控MCU處執(zhí)行的優(yōu)化帶寬的方法的
10流程圖5是示出用于通過選擇某些視頻流以發(fā)送至視頻會(huì)議參與者來優(yōu)化 MCU處的帶寬的特定方法的流程圖；并且
圖6示出示例多點(diǎn)視頻會(huì)議，該視頻會(huì)議通過選擇特定視頻流以發(fā)送 至端點(diǎn)和/或MCU來優(yōu)化帶寬。
具體實(shí)施例方式
圖1示出用于優(yōu)化多點(diǎn)視頻會(huì)議中的帶寬的系統(tǒng)，該系統(tǒng)總地指示為
10。如所示出的，視頻會(huì)議系統(tǒng)IO包括網(wǎng)絡(luò)12。網(wǎng)絡(luò)12包括端點(diǎn)14、 日歷服務(wù)器16、呼叫服務(wù)器18、遠(yuǎn)程會(huì)議服務(wù)器20和多點(diǎn)控制單元 (MCU) 22 (有時(shí)被稱為多點(diǎn)會(huì)議單元)。總的說來，視頻會(huì)議系統(tǒng)10 內(nèi)的元件互操作(interoperate)以優(yōu)化視頻會(huì)議期間所使用的帶寬。
在具體實(shí)施例中，MCU 22可通過選擇發(fā)送至端點(diǎn)14禾[1/或其他MCU 22的具體視頻流，來優(yōu)化視頻會(huì)議期間所使用的帶寬。在某些實(shí)施例中， 當(dāng)端點(diǎn)14中止發(fā)送未使用的視頻流時(shí)，也可在視頻會(huì)議期間優(yōu)化帶寬。 例如，如果音頻流指示在某個(gè)時(shí)間段中沒有活動(dòng)的說話者，則管理MCU 22可指示發(fā)送端點(diǎn)14停止發(fā)送相應(yīng)的視頻流。作為另一示例，不是接收 來自管理MCU 22的指令，而是端點(diǎn)14可自己確定它的音頻流沒有活動(dòng) 說話者并且臨時(shí)間斷相應(yīng)視頻流的發(fā)送。
網(wǎng)絡(luò)12將系統(tǒng)10的元件互連并且輔助視頻會(huì)議系統(tǒng)10中端點(diǎn)14之 間的視頻會(huì)議。網(wǎng)絡(luò)12表示包括了用于將耦合至網(wǎng)絡(luò)12的或網(wǎng)絡(luò)12內(nèi)的 元件互連的硬件和任何適當(dāng)?shù)目刂七壿嫷耐ㄐ旁O(shè)備。網(wǎng)絡(luò)12可包括局域 網(wǎng)(LAN)，城域網(wǎng)(MAN)，廣域網(wǎng)(WAN)，任何其他的公用或?qū)?用網(wǎng)，本地的、區(qū)域的或全球的通信網(wǎng)絡(luò)，企業(yè)內(nèi)聯(lián)網(wǎng)，其他合適的有線 或無線通信鏈路，或者任何合適網(wǎng)絡(luò)的任何組合。網(wǎng)絡(luò)12可包括網(wǎng)關(guān)、 路由器、集線器、交換機(jī)、接入點(diǎn)、基站以及實(shí)現(xiàn)合適的協(xié)議和通信的任 何其他硬件或軟件的任何組合。
端點(diǎn)14表示支持參與視頻會(huì)議的電信設(shè)備。視頻會(huì)議系統(tǒng)IO的用戶 可使用端點(diǎn)14之一以參與視頻會(huì)議。端點(diǎn)14可包括任何合適的視頻會(huì)議設(shè)備，例如揚(yáng)聲器、麥克風(fēng)、揚(yáng)聲器電話、顯示器、相機(jī)和網(wǎng)絡(luò)接口。在
例示實(shí)施例中，視頻會(huì)議系統(tǒng)10包括六個(gè)端點(diǎn)14a、 14b、 14c、 14d、 14e、 14f。在視頻會(huì)議期間，每個(gè)參與端點(diǎn)14都可生成一個(gè)或多個(gè)音頻、 視頻和/或數(shù)據(jù)流，并且可將這些音頻、視頻和/或數(shù)據(jù)流發(fā)送至MCU 22 中管理的一個(gè)。端點(diǎn)14還可為每個(gè)音頻流生成和發(fā)送置信值(confidence value)，其中置信值指示音頻流包括活動(dòng)說話者的話音的可能性。每個(gè)端 點(diǎn)14還可顯示或投射(project)從管理MCU 22接收的一個(gè)或多個(gè)音頻、 視頻和/或數(shù)據(jù)流。如下面更充分地描述的，MCU 22可建立并輔助兩個(gè)或 更多的端點(diǎn)14之間的視頻會(huì)議。
在具體實(shí)施例中，端點(diǎn)14被配置為生成和顯示(或投射)相同數(shù)目 的音頻和視頻流。例如，"單重(single)"端點(diǎn)14可生成一個(gè)音頻流和 一個(gè)視頻流，并且顯示一個(gè)接收到的音頻流和一個(gè)接收到的視頻流。"雙 重(double)"端點(diǎn)14可生成兩個(gè)音頻流和兩個(gè)視頻流，每個(gè)流通過該端 點(diǎn)14傳送參與視頻會(huì)議的一個(gè)或多個(gè)用戶的聲音或圖像。雙重端點(diǎn)14還 可包括用于顯示和呈現(xiàn)多個(gè)視頻和音頻流的兩個(gè)視頻屏幕和多個(gè)揚(yáng)聲器。 類似地，具有"三重(triple)"配置的端點(diǎn)14可包含用于生成和發(fā)送多 達(dá)三個(gè)視頻流的三個(gè)視頻屏幕、三個(gè)相機(jī)，以及用于接收和投射音頻信號(hào) 的三個(gè)麥克風(fēng)和揚(yáng)聲器的組。在某些實(shí)施例中，視頻會(huì)議系統(tǒng)10中的端 點(diǎn)14包括任何數(shù)目的單重、雙重和三重端點(diǎn)14。端點(diǎn)14可生成和顯示大 于三的音頻和視頻流。此外，在具體實(shí)施例中， 一個(gè)或多個(gè)端點(diǎn)14可生 成與端點(diǎn)14能夠顯示的數(shù)目相比不同數(shù)目的音頻、視頻和/或數(shù)據(jù)流。
此外，端點(diǎn)14可包括利用任何合適的協(xié)議技術(shù)或方法建立和輔助視 頻會(huì)議的任何合適的組件和裝置。例如，會(huì)話發(fā)起協(xié)議(SIP)或H.323可 被使用。此外，端點(diǎn)14可支持支持了諸如H.26K H.263和/或H.264之類 的其他標(biāo)準(zhǔn)的、以及具有純音頻電話裝置的其他視頻系統(tǒng)，并且對(duì)這些其 他視頻系統(tǒng)是不可操作的(inoperable)。雖然視頻會(huì)議系統(tǒng)10被示出為 具有六個(gè)端點(diǎn)14，但是被理解的是，視頻會(huì)議系統(tǒng)10可包括任何合適配 置的任何合適數(shù)目的端點(diǎn)14。
日歷服務(wù)器16使用戶能在一個(gè)或多個(gè)端點(diǎn)14之間調(diào)度視頻會(huì)議。日歷服務(wù)器16可執(zhí)行編排日歷(calendaring)操作，例如接收視頻會(huì)議請(qǐng) 求、存儲(chǔ)所調(diào)度的視頻會(huì)議和提供對(duì)所調(diào)度的視頻會(huì)議的通知。在具體實(shí) 施例中，用戶可借助在編排日歷應(yīng)用中調(diào)度會(huì)議通過日歷服務(wù)器16來組 織視頻會(huì)議。用戶可通過端點(diǎn)14之一或通過用戶的個(gè)人計(jì)算機(jī)、蜂窩或 工作電話、個(gè)人數(shù)字助理(PDA)或任何適當(dāng)?shù)难b置來訪問編排日歷應(yīng) 用。日歷服務(wù)器16可使組織者能指定所調(diào)度的視頻會(huì)議的各種方面，例 如視頻會(huì)議中的其他參與者、視頻會(huì)議的時(shí)間、視頻會(huì)議的持續(xù)時(shí)間以及 視頻會(huì)議所需要的任何資源。 一旦用戶已調(diào)度了視頻會(huì)議，日歷服務(wù)器16 就可存儲(chǔ)視頻會(huì)議的必要信息。日歷服務(wù)器16還可向組織者提醒視頻會(huì) 議或者向組織者提供關(guān)于所調(diào)度的視頻會(huì)議的額外信息。
呼叫服務(wù)器18協(xié)調(diào)網(wǎng)絡(luò)12中某音頻、視頻和/或數(shù)據(jù)通信的發(fā)起、維 持和終止。在具體實(shí)施例中，呼叫服務(wù)器18輔助了端點(diǎn)14之間的IP語音 (Voice-over-Intemet-Protocol) (VoIP)通信。例如，呼叫服務(wù)器18可輔 助實(shí)現(xiàn)了基于分組的媒體流通信的端點(diǎn)14之間的信號(hào)發(fā)送。呼叫服務(wù)器 18可保存與網(wǎng)絡(luò)12中的端點(diǎn)14或其他裝置有關(guān)的任何必要信息。
遠(yuǎn)程會(huì)議服務(wù)器20協(xié)調(diào)視頻會(huì)議系統(tǒng)IO中端點(diǎn)14之間的視頻會(huì)議的 發(fā)起、維持和終止。遠(yuǎn)程會(huì)議服務(wù)器20可訪問日歷服務(wù)器16以獲得關(guān)于 所調(diào)度的視頻會(huì)議的信息。遠(yuǎn)程會(huì)議服務(wù)器20可使用此信息來預(yù)約網(wǎng)絡(luò) 12中的裝置，例如端點(diǎn)14和MCU 22。遠(yuǎn)程會(huì)議服務(wù)器20可在視頻會(huì)議 的發(fā)起之前預(yù)約網(wǎng)絡(luò)12中的各種元件(例如端點(diǎn)14和MCU 22)，并且 可在視頻會(huì)議期間修改這些預(yù)約。例如，遠(yuǎn)程會(huì)議服務(wù)器20可使用關(guān)于 所調(diào)度的視頻會(huì)議的信息來確定端點(diǎn)14a、 14b、 14e將被預(yù)約，從4:00 p.m. EST直到5:00 p.m. EST,用于將由MCU 22a建立和維持的視頻會(huì) 議。此外，在具體實(shí)施例中，遠(yuǎn)程會(huì)議服務(wù)器20負(fù)責(zé)在視頻會(huì)議終止之 后釋放資源。
遠(yuǎn)程會(huì)議服務(wù)器20可確定哪一個(gè)或多個(gè)MCU 22將會(huì)建立視頻會(huì) 議、以及哪些端點(diǎn)14將會(huì)連接到所分配的MCU 22中的每一個(gè)。遠(yuǎn)程會(huì) 議服務(wù)器20還可確定"主"MCU 22以及一個(gè)或多個(gè)"受控"MCU 22。 在具體實(shí)施例中，遠(yuǎn)程會(huì)議服務(wù)器20基于各種不同因素，例如參與端點(diǎn)14的位置、 一個(gè)或多個(gè)MCU 22的容量、網(wǎng)絡(luò)連接性以及網(wǎng)絡(luò)12中不同 裝置之間的等待時(shí)間和帶寬，來選擇用于參與視頻會(huì)議的主MCU 22以及 一個(gè)或多個(gè)受控MCU 22。在作出哪些MCU 22將會(huì)作為主MCU 22和 (一個(gè)或多個(gè))受控MCU 22來參與視頻會(huì)議的決定之后，遠(yuǎn)程會(huì)議服務(wù) 器20可向這些MCU 22發(fā)送消息告知它們主和/或受控的指定。此消息可 被包括在關(guān)于視頻會(huì)議所發(fā)送的其他消息內(nèi)。在具體實(shí)施例中，主和受控 MCU 22由視頻會(huì)議系統(tǒng)10中的不同裝置來選擇。
在具體實(shí)施例中，遠(yuǎn)程會(huì)議服務(wù)器20將MCU 22a和MCU 22b分配給 涉及端點(diǎn)14a、 14b、 14c、 14d、 14e禾卩14f的視頻會(huì)議。遠(yuǎn)程會(huì)議服務(wù)器 20還可確定MCU 22a將會(huì)管理端點(diǎn)14a、 14b、 14c，同時(shí)MCU22b將會(huì) 管理端點(diǎn)14d、 14e、 14f。遠(yuǎn)程會(huì)議服務(wù)器20還可確定MCU 22a和MCU 22b如何交互和/或連接的細(xì)節(jié)，例如，MCU 22a可被指定為主MCU， MCU 22b可被指定為受控MCU。雖然視頻會(huì)議系統(tǒng)IO被示出和描述為具 有具體配置，但是要理解，遠(yuǎn)程會(huì)議服務(wù)器20可發(fā)起、維持和終止視頻 會(huì)議系統(tǒng)IO中任何端點(diǎn)14與任何MCU22之間的視頻會(huì)議。
總的說來，MCU 22可建立視頻會(huì)議、在視頻會(huì)議期間控制和管理端 點(diǎn)14、并且輔助視頻會(huì)議的終止。MCU 22可管理哪些端點(diǎn)14參與哪些 視頻會(huì)議，并且可控制向受管理端點(diǎn)14發(fā)送的和從受管理端點(diǎn)14發(fā)送的 視頻、音頻和/或數(shù)據(jù)流。
在具體實(shí)施例中，MCU 22可通過在視頻會(huì)議期間選擇某(一個(gè)或多 個(gè))視頻流以發(fā)送至端點(diǎn)14和/或其他MCU 22，來優(yōu)化帶寬。例如，當(dāng) 帶寬在端點(diǎn)14和/或MCU22之間是有限的時(shí)候，這可能是重要的。所選 擇的視頻流的數(shù)目可直接與任何一個(gè)端點(diǎn)14可并發(fā)顯示的流的最大數(shù)目 有關(guān)。為了選擇視頻流，MCU 22可標(biāo)識(shí)出提供識(shí)別要選擇哪些流的準(zhǔn)則 的一個(gè)或多個(gè)策略。在具體實(shí)施例中，遠(yuǎn)程會(huì)議服務(wù)器20確定哪個(gè)策略 或哪些策略將被用于具體視頻會(huì)議，并且發(fā)送此信息至MCU 22。在具體 實(shí)施例中，參與視頻會(huì)議的其他裝置將會(huì)選擇該一個(gè)或多個(gè)策略來用，并 且發(fā)送此信息至MCU 22。例如， 一個(gè)策略可指定特定視頻流應(yīng)當(dāng)顯示在 參與視頻會(huì)議的所有端點(diǎn)14處(例如，用于從一個(gè)端點(diǎn)14到所有其他參與端點(diǎn)14的演講或陳述)。結(jié)果，MCU 22可選擇至少此特定視頻流用于 發(fā)送至視頻會(huì)議中涉及的端點(diǎn)14和/或MCU22。
作為另一示例， 一種策略可指定活動(dòng)說話者應(yīng)當(dāng)顯示在端點(diǎn)14處。 活動(dòng)說話者可以是當(dāng)前正在通信(例如說話)的用戶，或者活動(dòng)說話者可 以是通信的最后用戶。結(jié)果，MCU 22可確定一個(gè)或多個(gè)活動(dòng)說話者，并 且選擇(一個(gè)或多個(gè))相應(yīng)視頻流用于發(fā)送至視頻會(huì)議中涉及的端點(diǎn)14 和/或MCU22。例如，為了確定活動(dòng)說話者，MCU22a可監(jiān)控從受管理端 點(diǎn)14a、 14b、 14c接收的音頻流。如果端點(diǎn)14a、 14b和14c被配置為三 重，則MCU22a監(jiān)控和分析九個(gè)音頻流。為了確定活動(dòng)說話者，MCU22a 可估計(jì)與每個(gè)接收到的音頻流相關(guān)聯(lián)的置信值。置信值可通過發(fā)送端點(diǎn)14 來生成，并且可指示音頻流包含活動(dòng)說話者的音頻的可能性。此外，MCU 22a可分析音頻流以識(shí)別任何活動(dòng)說話者。如果活動(dòng)說話者被識(shí)別出在來 自端點(diǎn)14b的音頻流之一中，則MCU22a選擇相應(yīng)的視頻流用于發(fā)送。當(dāng) 參與視頻會(huì)議的端點(diǎn)14被配置為單重、雙重或三重時(shí)，那么MCU22a可 識(shí)別三個(gè)活動(dòng)說話者，用于利用多達(dá)三個(gè)的視頻流向端點(diǎn)14發(fā)送。在具 體實(shí)施例中，MCU 22還選擇一個(gè)或多個(gè)替代活動(dòng)說話者，從而活動(dòng)說話 者不被顯示自身的圖像。此外，除選擇和發(fā)送視頻流以外，MCU22可接 收來自受管理端點(diǎn)14的音頻流，并且向參與視頻會(huì)議的端點(diǎn)14和MCU 22全部地、 一些地或者不轉(zhuǎn)發(fā)這些流。
雖然可以描述這些具體策略，但是被理解的是，當(dāng)為了優(yōu)化帶寬而在 視頻會(huì)議期間選擇具體視頻流來傳輸時(shí)，可使用任何合適的策略。此外， 雖然視頻會(huì)議系統(tǒng)10被示出和描述為包含兩個(gè)MCU，但是被理解的是， 視頻會(huì)議系統(tǒng)10可包括任何合適數(shù)目的MCU。例如第三個(gè)MCU可連接 至MCU22b。在此示例中，MCU 22b可以以類似于受管理端點(diǎn)14的方式 來與第三個(gè)MCU交互，并且第三個(gè)MCU可以以和MCU 22a與MCU 22b 交互大致相同的方式來與MCU 22b交互。
在示例操作中，端點(diǎn)14通過向其他端點(diǎn)14發(fā)送音頻、視頻和/或數(shù)據(jù) 流以及從其他端點(diǎn)14接收流(MCU 22控制這媒體流)來參與視頻會(huì)議。 例如，MCU 22a可建立與端點(diǎn)14a、 14b、 14c和MCU 22b的視頻會(huì)議，其中MCU22b可將端點(diǎn)14d、 14e、 14f連接至視頻會(huì)議。MCU22a可被指 定為主MCU，同時(shí)MCU 22b被指定為受控MCU。 MCU 22a、 22b可發(fā)送 和接收由端點(diǎn)14a、 14b、 14c、 14d、 14e和14f生成的音頻、視頻和/或數(shù) 據(jù)流中的各種流。為了優(yōu)化帶寬，MCU 22b可選擇特定視頻流以發(fā)送至 MCU 22a，并且MCU 22a可選擇特定視頻流以發(fā)送至MCU 22b和受管理 端點(diǎn)14。 MCU 22還可通過指示一個(gè)或多個(gè)受管理端點(diǎn)14不發(fā)送視頻流 來優(yōu)化帶寬。
在具體實(shí)施例中，端點(diǎn)14a、 14b、 14c、 14d、 14e、 14f具有單重配 置，每個(gè)都生成一個(gè)視頻流，并且每個(gè)都能夠顯示一個(gè)接收到的視頻流。 此外，端點(diǎn)14a、 14b、 14c、 14d、 14e、 14f每個(gè)都可生成一個(gè)音頻流并且 接收一個(gè)聚合(aggregate)的音頻流。受控MCU， MCU 22b，可從受管 理端點(diǎn)14d、 14e、 14f接收三個(gè)音頻流和三個(gè)視頻流。從這些音頻流中， MCU 22b可確定活動(dòng)說話者，選擇相應(yīng)的視頻流，并且發(fā)送此視頻流至 MCU22a。在具體實(shí)施例中，如果活動(dòng)說話者是不可得的，則MCU 22b 可選擇和發(fā)送對(duì)應(yīng)于適度活動(dòng)的說話者的視頻流。MCU 22b還可將與受管 理端點(diǎn)14d、 14e、 14f相對(duì)應(yīng)的三個(gè)音頻流發(fā)送至MCU22a。主MCU， MCU22a，可接收來自MCU 22b的視頻流、來自MCU 22b的音頻流、 以及來自受管理端點(diǎn)14a、 14b、 14c中的每一個(gè)的視頻流和音頻流。對(duì)于 六個(gè)接收到的音頻流，MCU 22a可確定所有參與端點(diǎn)14中的活動(dòng)說話 者。可替代地，MCU 22a可使用僅僅四個(gè)音頻流(來自受管理端點(diǎn)14a、 14b、 14c的三個(gè)以及與MCU 22b所發(fā)送的視頻流相對(duì)應(yīng)的一個(gè))，因?yàn)?MCU 22b已經(jīng)從它的受管理端點(diǎn)14d、 14e、 14f之中選出了 "勝利的"音 頻/視頻組合。MCU 22a然后可選擇對(duì)應(yīng)于所識(shí)別的活動(dòng)說話者的視頻 流，并且向端點(diǎn)14a、 14b、 14c和MCU 22b發(fā)送此視頻流。MCU 22a還 可聚合六個(gè)接收到的音頻流，并且向端點(diǎn)14a、 14b、 14c和MCU22b發(fā)送 聚合的音頻流。在接收到此視頻流和聚合音頻流之后，MCU22b可向端點(diǎn) 14d、 14e、 14f發(fā)送此視頻流和聚合音頻流。
在某些實(shí)施例中，MCU 22a將會(huì)選擇兩個(gè)視頻流以確?；顒?dòng)說話者不 收到它自己的視頻流。例如，可能不希望向正在進(jìn)行說話的用戶顯示活動(dòng)
1說話者的圖像。因此，MCU 22可確定活動(dòng)說話者和替代的活動(dòng)說話者。
替代的活動(dòng)說話者可以是先前的活動(dòng)說話者(在當(dāng)前的活動(dòng)說話者被選擇 之前)，或者替代的活動(dòng)說話者可指示正在比活動(dòng)說話者更小聲地說話的
說話者。雖然大多數(shù)端點(diǎn)14接收對(duì)應(yīng)于活動(dòng)說話者的視頻流，但是與活 動(dòng)說話者相關(guān)聯(lián)的端點(diǎn)14可接收對(duì)應(yīng)于替代的活動(dòng)說話者的視頻流。例 如，MCU 22b可選擇對(duì)應(yīng)于端點(diǎn)14d的視頻流，并且可發(fā)送此視頻流至 MCU22a。在分析了接收到的音頻流之后，MCU 22a可確定端點(diǎn)14d包含 活動(dòng)說話者并且端點(diǎn)14a包含替代的活動(dòng)說話者，例如因?yàn)槎它c(diǎn)14a先前 是活動(dòng)說話者。MCU22a向受管理端點(diǎn)14a、 14b、 14c發(fā)送對(duì)應(yīng)于端點(diǎn) 14d的視頻流。另一方面，MCU22a向MCU22b發(fā)送既與端點(diǎn)14a相對(duì)應(yīng) 的又與端點(diǎn)14d相對(duì)應(yīng)的視頻流。MCU22b然后可向端點(diǎn)14e、 14f發(fā)送 對(duì)應(yīng)于端點(diǎn)14d的視頻流，并且可向端點(diǎn)14d發(fā)送對(duì)應(yīng)于端點(diǎn)Ma的視頻 流。
雖然己參考被配置為單重端點(diǎn)14的端點(diǎn)14描述了優(yōu)化帶寬，但是被 理解的是，可修改這些技術(shù)并且使這些技術(shù)適于支持包括任何合適數(shù)目的 單重、雙重、三重和/或更大重?cái)?shù)的端點(diǎn)的視頻會(huì)議系統(tǒng)10。在具體實(shí)施 例中，視頻會(huì)議系統(tǒng)10包括各種不同類型的端點(diǎn)14。在具體實(shí)施例中， MCU 22a僅將與它的受管理端點(diǎn)14a、 14b、 14c相對(duì)應(yīng)的(一個(gè)或多個(gè)) 視頻流發(fā)送至MCU 22b，因?yàn)镸CU 22b緩沖了由它的受管理端點(diǎn)14d、 14e、 14f接收到的視頻流，并且因此MCU22a不需要發(fā)送這些流給MCU 22b。在一些實(shí)施例中，不是選擇和發(fā)送視頻流給MCU 22a，而是MCU 22b將接收到的音頻流轉(zhuǎn)發(fā)至MCU 22a，直到被MCU 22a指示發(fā)送特定視 頻流。
視頻會(huì)議系統(tǒng)10的具體實(shí)施例己被描述，并且不希望是全部包括 的。雖然視頻會(huì)議系統(tǒng)10被描繪為包含元件和裝置的某配置和布置，但 是應(yīng)當(dāng)注意，這是邏輯描繪，并且可以既邏輯地又物理地酌情組合、分開 和分布視頻會(huì)議系統(tǒng)10的組件和功能。此外，可通過組件的任何合適的 聚集和布置來提供視頻會(huì)議系統(tǒng)10的功能。視頻會(huì)議系統(tǒng)10內(nèi)的元件所 執(zhí)行的功能可由在視頻會(huì)議期間優(yōu)化帶寬的任何合適裝置來實(shí)現(xiàn)。圖2是示出示例三重端點(diǎn)14的框圖，該端點(diǎn)14生成三個(gè)視頻流并且
顯示三個(gè)接收到的視頻流。端點(diǎn)14可包括參與視頻會(huì)議的任何合適數(shù)0 的用戶30。總的說來，即使端點(diǎn)14處監(jiān)視器36的數(shù)目可能少于其他端點(diǎn) 14為視頻會(huì)議生成的視頻流的數(shù)目，視頻會(huì)議系統(tǒng)IO也通過端點(diǎn)14向用 戶30提供逼真的視頻會(huì)議體驗(yàn)。
用戶30表示可出席視頻會(huì)議的一個(gè)或多個(gè)個(gè)體或者成組的個(gè)體。用 戶30可利用諸如音頻因特網(wǎng)協(xié)議(IP)電話、視頻電話器具、基于個(gè)人計(jì) 算機(jī)(PC)的視頻電話和流客戶端(streaming client)之類的任何合適的 裝置和/或組件來參與視頻會(huì)議。在視頻會(huì)議期間，用戶30可作為說話者 或作為觀察者參與視頻會(huì)議。
遙現(xiàn)設(shè)備32輔助了在不同端點(diǎn)14處的用戶30之間的視頻會(huì)議。遙現(xiàn) 設(shè)備32可包括建立和輔助視頻會(huì)議的任何合適的元件和裝置。例如，遙 現(xiàn)設(shè)備32可包括揚(yáng)聲器、用戶接口、控制器、麥克風(fēng)或揚(yáng)聲器電話。在 所示的實(shí)施例中，遙現(xiàn)設(shè)備32包括相機(jī)34、監(jiān)視器36、麥克風(fēng)38、揚(yáng)聲 器40、控制器42、存儲(chǔ)器44和網(wǎng)絡(luò)接口 46。
相機(jī)34和監(jiān)視器36生成和投射視頻會(huì)議期間的視頻流。相機(jī)34可包 括輔助捕捉一個(gè)或多個(gè)用戶30和周圍區(qū)域的圖像以及提供圖像給其他用 戶30的任何合適的硬件和/或軟件。每個(gè)視頻信號(hào)可作為分開的視頻流來 發(fā)送(例如，每個(gè)相機(jī)34都發(fā)送它自己的視頻流)。在具體實(shí)施例中， 相機(jī)34捕捉和發(fā)送一個(gè)或多個(gè)用戶30的圖像作為高清晰度視頻信號(hào)。監(jiān) 視器36可包括輔助接收(一個(gè)或多個(gè))視頻流和向用戶30顯示接收到的 視頻流的任何合適的硬件和/或軟件。例如，監(jiān)視器36可包括筆記本PC、 墻上安裝的監(jiān)視器、地板上安裝的監(jiān)視器或自立式(free standing)監(jiān)視 器。雖然，如所示出的，端點(diǎn)14包含每個(gè)用戶30—個(gè)相機(jī)34和一個(gè)監(jiān) 視器36，但是被理解的是，端點(diǎn)14可包含每個(gè)都與任何合適數(shù)目的用戶 30相關(guān)聯(lián)的任何合適數(shù)目的相機(jī)34和監(jiān)視器36。
麥克風(fēng)38和揚(yáng)聲器40生成和投射視頻會(huì)議期間的音頻流。麥克風(fēng)38 提供來自用戶30的音頻輸入。麥克風(fēng)38可從每個(gè)麥克風(fēng)38周圍的噪聲生 成音頻流。揚(yáng)聲器40可包括輔助接收(一個(gè)或多個(gè))音頻流和向用戶30
18投射接收到的音頻流的任何合適的硬件和/或軟件。例如，揚(yáng)聲器40可包 括高保真揚(yáng)聲器。雖然，如所示出的，端點(diǎn)14包含每個(gè)用戶30—個(gè)麥
克風(fēng)38和一個(gè)揚(yáng)聲器40，但是被理解的是，端點(diǎn)14可包含每個(gè)都與任何 合適數(shù)目的用戶30相關(guān)聯(lián)的任何合適數(shù)目的麥克風(fēng)38和揚(yáng)聲器40。
控制器42控制遙現(xiàn)設(shè)備32的操作和管理?？刂破?2可處理從諸如麥 克風(fēng)38、相機(jī)34和網(wǎng)絡(luò)接口 46之類的、遙現(xiàn)設(shè)備32的其他元件接收的 信息和信號(hào)?？刂破?2可包括任何合適的硬件、軟件和/或邏輯。例如， 控制器42可以是可編程邏輯器件、微控制器、微處理器、任何合適的處 理裝置或上述的任何組合。存儲(chǔ)器44可存儲(chǔ)在提供視頻會(huì)議功能方面由 控制器42使用的任何數(shù)據(jù)或邏輯。在一些實(shí)施例中，存儲(chǔ)器44可存儲(chǔ)全 部或部分的視頻會(huì)議。存儲(chǔ)器44可包括任何形式的易失性或非易失性存 儲(chǔ)器，包括但不限于磁介質(zhì)、光介質(zhì)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存 儲(chǔ)器(ROM)、可拆卸介質(zhì)、或任何其他合適的本地或遠(yuǎn)程存儲(chǔ)組件。網(wǎng) 絡(luò)接口 46可向網(wǎng)絡(luò)12傳送信息和信號(hào)，并且從網(wǎng)絡(luò)12接收信息和信號(hào)。 網(wǎng)絡(luò)接口 46表示任何端口或連接，真實(shí)或虛擬的，包括使遙現(xiàn)設(shè)備32能 與視頻會(huì)議系統(tǒng)10中的網(wǎng)絡(luò)12、其他遙現(xiàn)設(shè)備32和/或其他裝置交換信 息和信號(hào)的任何合適的硬件和/或軟件。
當(dāng)端點(diǎn)14參與視頻會(huì)議時(shí)，視頻流可由每個(gè)相機(jī)34生成并且被發(fā)送 至呼叫的遠(yuǎn)端參與者。類似地，端點(diǎn)14可利用麥克風(fēng)38捕捉相應(yīng)的音頻 流并且與視頻流一起發(fā)送這些音頻流。在多點(diǎn)視頻會(huì)議的情況下，遠(yuǎn)端參 與者可以是選出的管理MCU 22，并且管理MCU 22可能需要或者可能不 需要一個(gè)或多個(gè)視頻流。對(duì)于這些和類似的情況，端點(diǎn)14可支持暫停一 個(gè)或多個(gè)它的視頻流的發(fā)送。例如，如果對(duì)應(yīng)于特定相機(jī)34的麥克風(fēng)38 己超過針對(duì)給定時(shí)間段的預(yù)定閾值還沒檢測到輸入，則MCU 22可指示端 點(diǎn)14中止發(fā)送由相應(yīng)相機(jī)34生成的視頻流。響應(yīng)地，端點(diǎn)14可臨時(shí)停止 發(fā)送視頻流。此時(shí)間段可被自動(dòng)調(diào)節(jié)，并且可以啟發(fā)式地或利用可配置的 參數(shù)來確定?？商娲鼗蚋郊拥?，端點(diǎn)14可獨(dú)立確定它的視頻流是不需 要的并且可單向地暫停發(fā)送。如果MCU 22檢測到活動(dòng)說話者可能對(duì)應(yīng)于 被停止的視頻流，則MCU 22可發(fā)送開始視頻消息至適當(dāng)?shù)亩它c(diǎn)14。可替代地或附加地，在檢測到超過預(yù)定閾值的輸入之后，端點(diǎn)14可重啟視頻 流的發(fā)送。
根據(jù)具體實(shí)施例，控制器42監(jiān)控來自麥克風(fēng)38的輸入，并且向每個(gè) 輸入音頻流指派置信值。例如，端點(diǎn)14可指派從1到10 (或者任何其他 合適的范圍)的置信值，該置信值指示麥克風(fēng)38正在從相應(yīng)的(一個(gè)或 多個(gè))用戶30接收所希望的音頻輸入的可能性。為了生成這些置信值， 端點(diǎn)14可使用任何適當(dāng)?shù)乃惴ê蛿?shù)據(jù)。例如，端點(diǎn)14可處理接收到的音 頻輸入，并且甚至可使用從適當(dāng)相機(jī)34接收的相應(yīng)視頻輸入來確定相應(yīng) 的(一個(gè)或多個(gè))用戶30希望提供輸入的可能性。在規(guī)則的間隔或其他 適當(dāng)時(shí)間，端點(diǎn)14可將這些經(jīng)測量的置信值嵌入它的音頻流中，或者以 另外的方式將這些值發(fā)信號(hào)給管理MCU22。在某些實(shí)施例中，端點(diǎn)14將 用于每個(gè)視頻流的置信值發(fā)送至它的管理MCU 22。 MCU 22然后可使用 這些置信值來幫助選擇活動(dòng)的音頻和視頻流，它們可被提供至參與視頻會(huì) 議的端點(diǎn)14。
在視頻會(huì)議期間，端點(diǎn)14可在監(jiān)視器36上顯示三個(gè)視頻流(或者更 多，在單個(gè)監(jiān)視器36顯示多個(gè)視頻流的情況下)。在具體實(shí)施例中，端 點(diǎn)14利用對(duì)哪個(gè)監(jiān)視器36應(yīng)當(dāng)顯示每個(gè)視頻流的指示來接收三個(gè)視頻 流。作為具體示例，考慮四個(gè)三重端點(diǎn)14之間的視頻會(huì)議。在此示例 中，參與端點(diǎn)14總共生成十二個(gè)視頻流。在會(huì)議期間，MCU22確定哪些 視頻流將由參與端點(diǎn)14處的哪些監(jiān)視器來顯示。在此示例中，從每個(gè)端 點(diǎn)14接收的三個(gè)視頻流可被指定為左、中和右流。在每個(gè)參與端點(diǎn)14 處，監(jiān)視器36將會(huì)顯示活動(dòng)的左視頻流、活動(dòng)的中視頻流和活動(dòng)的右視 頻流。這提供了用于維持參與者的空間 一致性的相對(duì)直接的技術(shù)。
為了避免迫使活動(dòng)說話者觀看它自己的視頻饋給(feed) ， MCU 22 可選擇替代的視頻饋給，例如先前的活動(dòng)視頻流。例如，如果參與端點(diǎn)14 的左視頻流被選為活動(dòng)流，則MCU 22可向此端點(diǎn)14提供替代的左視頻 流。
如果單重或雙重端點(diǎn)14也參與和三重端點(diǎn)14的呼叫，則MCU 22可 使用適當(dāng)?shù)募夹g(shù)來確保來自這些端點(diǎn)14的視頻流維持空間一致性。例如，MCU22可確保來自雙重端點(diǎn)14的視頻饋給總是保持在所有顯示器上
正確的左-右配置中。然而，應(yīng)當(dāng)明白，來自具有小于最大數(shù)目的監(jiān)視器
的端點(diǎn)14的視頻流可被不同地對(duì)待，同時(shí)仍然維持參與者之間的空間一 致性。例如，在不損害空間一致性的情況下，來自單重端點(diǎn)14的視頻饋 給可被置于左、中或右監(jiān)視器36上。
在具體實(shí)施例中，主MCU22創(chuàng)建和存儲(chǔ)"虛擬表"，該虛擬表維持 了參與視頻會(huì)議的所有用戶的空間一致性。使用此虛擬表以及與選擇哪些 視頻流用于發(fā)送有關(guān)的策略，MCU 22可確定哪些監(jiān)視器36顯示視頻流中 的哪些。例如，通過使用虛擬表，MCU 22a可確定針對(duì)左監(jiān)視器36a、中 監(jiān)視器36b和右監(jiān)視器36c的活動(dòng)說話者。這可實(shí)現(xiàn)用于確定適當(dāng)?shù)囊曨l 饋給以顯示在每個(gè)端點(diǎn)14處的監(jiān)視器36上的更復(fù)雜的算法。然而，系統(tǒng) 10考慮到了 MCU 22使用用于確定哪些視頻饋給顯示在哪些監(jiān)視器36上 的任何合適的算法。例如，系統(tǒng)操作者可確定空間一致性是不重要的，并 且MCU 22可被配置為當(dāng)選擇和提供視頻流時(shí)完全不管空間關(guān)系。
此外，在某些實(shí)施例中，端點(diǎn)14可將一個(gè)或多個(gè)監(jiān)視器36的部分劃 分成分開區(qū)，每個(gè)區(qū)仿佛它是分開的監(jiān)視器般發(fā)揮作用。通過將監(jiān)視器劃 分成分幵區(qū)，端點(diǎn)14可以能夠顯示額外的視頻流。
生成和接收三個(gè)視頻流的端點(diǎn)14的具體實(shí)施例已被描述，并且不希 望是全部包括的。要理解，雖然端點(diǎn)14被描述為具有三重配置，但是端 點(diǎn)14可生成和接收任何合適數(shù)目的音頻和視頻流。生成的音頻流、接收 到的音頻流、生成的視頻流和接收到的視頻流的數(shù)目可以是不同的。雖然 端點(diǎn)14被描繪為包含元件和裝置的某配置和布置，但是應(yīng)當(dāng)注意，這是 邏輯描繪，并且可以既邏輯地又物理地酌情組合、分開和分布端點(diǎn)14的 組件和功能。例如，端點(diǎn)14可包括任何合適數(shù)目的相機(jī)34和監(jiān)視器36以 輔助視頻會(huì)議。此外，可通過組件的任何合適的聚集和布置來提供端點(diǎn)14 的功能。
圖3示出多點(diǎn)控制單元(MCU)，該單元總地指示為MCU 22，該單 元通過選擇某些視頻流以發(fā)送至視頻會(huì)議參與者來在多點(diǎn)視頻會(huì)議期間優(yōu) 化帶寬。視頻會(huì)議參與者可包括一個(gè)或多個(gè)受管理端點(diǎn)14和/或其他MCU
2122。在所示的實(shí)施例中，MCU 22包括網(wǎng)絡(luò)接口 50、控制器52、交叉點(diǎn)交換器54和存儲(chǔ)器56。
網(wǎng)絡(luò)接口 50支持與視頻會(huì)議系統(tǒng)IO的其他元件的通信。網(wǎng)絡(luò)接口 50可與端點(diǎn)14和其他MCU 22相連接。在具體實(shí)施例中，網(wǎng)絡(luò)接口50可包括有線以太網(wǎng)接口。雖然被描述和示出為MCU 22內(nèi)的單個(gè)組件，但是被理解的是，這是邏輯描繪。網(wǎng)絡(luò)接口 50可由用于將MCU 22與視頻會(huì)議系統(tǒng)10的其他元件和/或網(wǎng)絡(luò)12相接口的任何合適的組件、硬件、軟件和/或邏輯所組成。這里所使用的術(shù)語"邏輯"包括軟件、固件以及可運(yùn)行以執(zhí)行操作的計(jì)算機(jī)可讀代碼。
總的說來，控制器52控制MCU22的操作和功能。控制器52可處理由MCU 22通過網(wǎng)絡(luò)接口 50接收的信息。控制器52還可訪問存儲(chǔ)器56中的信息以供操作期間使用并且在該存儲(chǔ)器56中存儲(chǔ)信息。雖然被描繪為MCU22中的單個(gè)元件，但是被理解的是，控制器52的功能可由一個(gè)或多個(gè)元件來執(zhí)行?？刂破?2可具有控制MCU 22的操作的任何合適的額外功能。
交叉點(diǎn)交換器54 —般地使MCU 22能接收和轉(zhuǎn)發(fā)從端點(diǎn)14和/或其他MCU 22接收到的分組至端點(diǎn)14和/或其他MCU 22。在具體實(shí)施例中，MCU 22接收來自一個(gè)或多個(gè)端點(diǎn)14的視頻、音頻和/或數(shù)據(jù)流中的分組，并且轉(zhuǎn)發(fā)這些分組至另一MCU22。交叉點(diǎn)交換器54可轉(zhuǎn)發(fā)特定視頻流至端點(diǎn)14和/或其他MCU 22。在具體實(shí)施例中，交叉點(diǎn)交換器54確定活動(dòng)說話者。為了確定活動(dòng)說話者，交叉點(diǎn)交換器54可分析從受管理端點(diǎn)14和/或其他MCU 22接收的音頻流以確定哪個(gè)端點(diǎn)14包含正在口頭通信的用戶。在具體實(shí)施例中，交叉點(diǎn)交換器54估計(jì)與每個(gè)接收到的音頻流相關(guān)聯(lián)的置信值以確定(一個(gè)或多個(gè))活動(dòng)流。基于(一個(gè)或多個(gè))活動(dòng)說話者，MCU 22可選擇視頻流以發(fā)送至受管理端點(diǎn)14和/或其他MCU22。交叉點(diǎn)交換器54還可聚合從端點(diǎn)14和/或其他MCU 22接收的一些或全部音頻流。在具體實(shí)施例中，交叉點(diǎn)交換器54轉(zhuǎn)發(fā)聚合的音頻流至受管理端點(diǎn)14和其他MCU 22。交叉點(diǎn)交換器54可包含執(zhí)行這些功能或任何其他合適功能的硬件、軟件、邏輯和/或任何適當(dāng)?shù)碾娐贰４送?，雖然被描述為MCU 22內(nèi)的不同元件，但是被理解的是，網(wǎng)絡(luò)接口 50和交叉點(diǎn)交換器54是邏輯元件并且可物理地實(shí)現(xiàn)為MCU 22中的一個(gè)或多個(gè)元件。
存儲(chǔ)器56存儲(chǔ)由MCU 22使用的數(shù)據(jù)。在所示的實(shí)施例中，存儲(chǔ)器56包含端點(diǎn)信息58、會(huì)議信息60、虛擬表62、選擇策略64和選擇數(shù)據(jù)66。
端點(diǎn)信息58和會(huì)議信息60分別可包括與受管理端點(diǎn)14和涉及端點(diǎn)14的視頻會(huì)議有關(guān)的任何合適的信息。例如，端點(diǎn)信息58可存儲(chǔ)與指派給用于特定視頻會(huì)議的MCU 22的端點(diǎn)14的數(shù)目和類型有關(guān)的信息。端點(diǎn)信息58還可指定從特定端點(diǎn)14預(yù)期的視頻、音頻和/或數(shù)據(jù)流的數(shù)目(如果有的話)。端點(diǎn)信息58可指示每個(gè)端點(diǎn)14預(yù)期接收的視頻流的數(shù)目。在具體實(shí)施例中，當(dāng)MCU 22被指定為用于特定視頻會(huì)議的主MCU時(shí)，端點(diǎn)信息58存儲(chǔ)與參與視頻會(huì)議的所有端點(diǎn)14有關(guān)的信息。會(huì)議信息60可包含與MCU 22將會(huì)建立或管理的經(jīng)調(diào)度的或?qū)ｉT的視頻會(huì)議有關(guān)的信息。例如，會(huì)議信息60可包括視頻會(huì)議的調(diào)度開始時(shí)間和持續(xù)吋間，并且可包括視頻會(huì)議所必需的額外資源。在具體實(shí)施例中，會(huì)議信息60包括與可能正在參與特定視頻會(huì)議的其他MCU 22有關(guān)的信息。例如，會(huì)議信息60可包括對(duì)于哪個(gè)MCU 22將會(huì)在視頻會(huì)議期間作為主MCU 22來操作以及哪些其他MCU 22 (如果有的話)將會(huì)作為受控MCU 22來操作的指定。在具體實(shí)施例中，哪個(gè)MCU 22被指定為主MCU 22可基于任何數(shù)目的因素在視頻會(huì)議期間被修改，這些因素例如哪些端點(diǎn)14連接至?xí)h、從會(huì)議斷開和/或包含最活動(dòng)的說話者。在某些實(shí)施例中，用于特定視頻會(huì)議的主MCU 22具有大于或等于由任何參與的受控MCU 22管理的端點(diǎn)14的數(shù)目的受管理端點(diǎn)14的數(shù)目。要理解，存儲(chǔ)器56可包括與視頻會(huì)議系統(tǒng)10內(nèi)的端點(diǎn)14、 MCU 22和/或任何其他元件有關(guān)的任何合適的自
虛擬表62維持視頻會(huì)議期間參與者的空間一致性。在具體實(shí)施例中，利用虛擬表62， MCU22確保特定三重端點(diǎn)14的左側(cè)的相機(jī)34c總是顯示在任何三重端點(diǎn)14的左監(jiān)視器36c上。對(duì)虛擬表的指派可持續(xù)視頻會(huì)
23議的持續(xù)時(shí)間。因此，當(dāng)多于一個(gè)的監(jiān)視器在端點(diǎn)14處可用時(shí)，MCU22可使用虛擬表62來確保遠(yuǎn)程用戶貫穿視頻會(huì)議都顯示在相同的監(jiān)視器上。這可使得用戶更容易識(shí)別所顯示的用戶是誰和在哪。在具體實(shí)施例中，由虛擬表62表示的虛擬表處的位置針對(duì)每個(gè)端點(diǎn)14都是不同的。例如，雖然特定視頻流可顯示在端點(diǎn)14b的左監(jiān)視器36上，但是相同的視頻流可顯示在端點(diǎn)14a的中監(jiān)視器上。雖然以具體的方式來描述，但是被理解的是，虛擬表62可以以任何適當(dāng)?shù)姆绞綖橛脩糁付ㄌ摂M的"位置"。
MCU 22還可包括一個(gè)或多個(gè)選擇策略64。每個(gè)選擇策略64都可標(biāo)識(shí)用于選擇視頻流以在視頻會(huì)議期間發(fā)送的特定算法。例如，選擇策略64之一可指定特定視頻流應(yīng)當(dāng)顯示在參與視頻會(huì)議的所有端點(diǎn)14處。結(jié)果，MCU 22可選擇至少此特定視頻流用于發(fā)送至視頻會(huì)議中涉及的端點(diǎn)14禾B/或MCU 22。例如，當(dāng)個(gè)體正在作陳述或者當(dāng)公司的CEO正在對(duì)各種不同辦公室處的雇員演講時(shí)，此選擇策略64可以是適當(dāng)?shù)?。作為另一示例?一種策略可指定一個(gè)或多個(gè)活動(dòng)說話者應(yīng)當(dāng)顯示在端點(diǎn)14處。結(jié)果，MCU22可確定(一個(gè)或多個(gè))活動(dòng)說話者，并且選擇與這些(一個(gè)或多個(gè))活動(dòng)說話者相對(duì)應(yīng)的(一個(gè)或多個(gè))視頻流用于發(fā)送至視頻會(huì)議中涉及的端點(diǎn)14禾Q/或MCU 22。 MCU 22可使用任何合適的手段來確定使用哪一個(gè)或多個(gè)選擇策略64。例如，會(huì)議信息60可標(biāo)識(shí)哪一個(gè)或多個(gè)選擇策略64應(yīng)用于特定視頻會(huì)議期間。
選擇數(shù)據(jù)66存儲(chǔ)由選擇策略64用來確定 些視頻流發(fā)送至端點(diǎn)14和/或其他MCU 22的數(shù)據(jù)。例如，如果活動(dòng)說話者選擇策略64被選中，則選擇數(shù)據(jù)66可標(biāo)識(shí)(一個(gè)或多個(gè))活動(dòng)說話者。在具體實(shí)施例中，選擇數(shù)據(jù)66還指定(一個(gè)或多個(gè))替代的活動(dòng)說話者，從而，不是看到他自身的視頻，而是當(dāng)前的活動(dòng)說話者被示出對(duì)應(yīng)于替代活動(dòng)說話者的視頻流。
在操作中，充當(dāng)主MCU的MCU 22選擇特定視頻流以發(fā)送至一個(gè)或多個(gè)端點(diǎn)14和/或其他MCU 22，以便優(yōu)化視頻會(huì)議期間的帶寬使用。MCU 22可標(biāo)識(shí)當(dāng)選擇視頻會(huì)議期間的視頻流時(shí) 用的一個(gè)或多個(gè)選擇策略64，例如主要說話者優(yōu)先(override)和/或活動(dòng)說話者。如果活動(dòng)說話 者選擇策略64被建立，則MCU 22可選擇特定的視頻流來發(fā)送。在具體 實(shí)施例中，此選擇基于活動(dòng)說話者、替代的活動(dòng)說話者、虛擬表62中不 同說話者的位置、以及任何其他合適的因素。
MCU 22可通過確定參與端點(diǎn)14將會(huì)同時(shí)接收的視頻流的最大數(shù)目， 來確定選擇的視頻流的數(shù)目。此信息可存儲(chǔ)在端點(diǎn)信息58和/或會(huì)議信息 60中。在某些實(shí)施例中，當(dāng)端點(diǎn)14要么是單重的、要么是雙重的、要么 是三重的端點(diǎn)14時(shí)，所顯示的流的此最大數(shù)目是三。在具體實(shí)施例中， 沒有端點(diǎn)14接收它自己所生成的視頻流，所以MCU22可選擇多達(dá)六個(gè) 視頻流用于發(fā)送三個(gè)活動(dòng)說話者流以及發(fā)送至活動(dòng)說話者的三個(gè)替代說 話者流。選擇數(shù)據(jù)66可存儲(chǔ)對(duì)當(dāng)前活動(dòng)說話者和上一活動(dòng)說話者的指 示。例如，端點(diǎn)14可接收要顯示在左、中和右監(jiān)視器上的多達(dá)三個(gè)視頻 流的情況下，選擇數(shù)據(jù)66可存儲(chǔ)活動(dòng)的左說話者、替代的左說話者、活 動(dòng)的中說話者、替代的中說話者、活動(dòng)的右說話者和替代的右說話者。
當(dāng)新的活動(dòng)說話者被選中時(shí)，虛擬表62可用來確定新的活動(dòng)說話者 的位置。例如，虛擬表62可指定某些視頻流定位于左、中或右位置。利 用虛擬表62， MCU 22可判斷新的活動(dòng)說話者是否變?yōu)榛顒?dòng)的左說話者、 活動(dòng)的右說話者或活動(dòng)的中說話者。如果虛擬表62沒有指定新的活動(dòng)說 話者的位置，則MCU 22可為新的活動(dòng)說話者選擇位置。在具體實(shí)施例 中，MCU 22將新的活動(dòng)說話者放在與已經(jīng)保持安靜最長時(shí)間段的活動(dòng)說 話者(左、中或右)相對(duì)應(yīng)的位置。
MCU22的具體實(shí)施例已被示出和描述，并且不希望是全部包括的。 雖然MCU22被描繪為包含組件的某配置和布置，但是應(yīng)當(dāng)注意，這是邏 輯描繪，并且可以既邏輯地又物理地酌情組合、分開和分布MCU 22的組 件和功能。MCU22的功能可由在多點(diǎn)視頻會(huì)議期間優(yōu)化帶寬的任何合適 組件來執(zhí)行。
圖4是總地指示為80的流程圖，示出在主MCU 82處和在受控MCU 84處執(zhí)行的優(yōu)化帶寬的方法。在具體實(shí)施例中，主MCU 82和受控MCU 84具有類似于MCU 22的功能。或數(shù) 據(jù)流。在具體實(shí)施例中，MCU 84從一個(gè)或多個(gè)受管理端點(diǎn)14接收多個(gè)音 頻流和多個(gè)視頻流。受控MCU 84在步驟88處分析接收到的音頻流，并 且在步驟90中確定選中的視頻流。在具體實(shí)施例中，MCU 84分析接收到 的音頻流以識(shí)別一個(gè)或多個(gè)活動(dòng)說話者。為了識(shí)別(一個(gè)或多個(gè))活動(dòng)說 話者，MCU 84可估計(jì)與每個(gè)接收到的音頻流相關(guān)聯(lián)的置信值。MCU 84 可選擇與(一個(gè)或多個(gè))當(dāng)前活動(dòng)說話者和/或(一個(gè)或多個(gè))替代說話者 相對(duì)應(yīng)的視頻流。MCU 84可使它對(duì)視頻流的選擇基于虛擬表中說話者的 位置。在具體實(shí)施例中，MCU 84基于任何一個(gè)端點(diǎn)14處同時(shí)顯示的視頻 流的最大數(shù)目來確定選擇的視頻流的數(shù)目。例如，如果僅僅單重、雙重和 三重端點(diǎn)14被涉及在特定視頻會(huì)議中，則MCU 84可選擇三個(gè)視頻流。 在步驟92處，受控MCU 84向主MCU 82發(fā)送選中的視頻流和接收到的 音頻流。
在步驟94處，主MCU 82從受管理端點(diǎn)14接收音頻、視頻和/或數(shù)據(jù) 流。在具體實(shí)施例中，主MCU 82從一個(gè)或多個(gè)受管理端點(diǎn)14接收多個(gè) 音頻流和多個(gè)視頻流。在步驟96處，主MCU 82接收由受控MCU 84發(fā) 送的音頻和視頻流。在具體實(shí)施例中，步驟94和96可以以任何合適的順 序發(fā)生，例如步驟94和96可并行地發(fā)生。
在步驟98處，主MCU 82分析從受管理端點(diǎn)14和受控MCU 84接收 的音頻流。在步驟100中，從接收到的音頻流，主MCU82確定所選擇的 視頻流。這些選中的視頻流可包括從受控MCU 84接收的一個(gè)、很多或零 個(gè)視頻流。在具體實(shí)施例中，類似于MCU 84， MCU 82分析接收到的音 頻流以識(shí)別一個(gè)或多個(gè)活動(dòng)說話者。為了識(shí)別(一個(gè)或多個(gè))活動(dòng)說話 者，MCU 82可估計(jì)與每個(gè)接收到的音頻流相關(guān)聯(lián)的置信值。主MCU 82 還可選擇與當(dāng)前活動(dòng)說話者和/或替代說話者相對(duì)應(yīng)的視頻流。MCU 82還 可使它對(duì)視頻流的選擇基于虛擬表處說話者的位置。此虛擬表可以是虛擬 表62。在具體實(shí)施例中，MCU 82可選擇多達(dá)MCU 84所選擇的兩倍多的 視頻流。例如，如果MCU 84發(fā)送三個(gè)視頻流并且所有的三個(gè)視頻流都被 MCU 82選擇，則MCU 82可選擇與原始的三個(gè)活動(dòng)說話者相對(duì)應(yīng)的、要顯示在監(jiān)視器36處的額外的三個(gè)視頻流。在步驟102處，主MCU 82可聚 合音頻流。在具體實(shí)施例中，MCU 82聚合從端點(diǎn)14和MCU 84接收的所 有音頻流。在聚合期間，MCU 82可使用任何合適的協(xié)議或技術(shù)來減小聚 合的音頻流中的噪聲、回聲和其他不希望的效果。在某些實(shí)施例中，MCU 82對(duì)接收到的音頻流的一些組合進(jìn)行聚合。例如，MCU82可將特定音頻 流或其部分增加到對(duì)應(yīng)于選中視頻流的音頻流中，并且可發(fā)送后面的流用 于與選中視頻流一起投射。
在步驟104處，主MCU82向受管理端點(diǎn)14和受控MCU22發(fā)送聚合 的音頻流和選中的視頻流。在具體實(shí)施例中，主MCU82向端點(diǎn)14和受 控MCU 84發(fā)送不同的選中視頻流。例如，主MCU 82可向受控MCU 84 發(fā)送與MCU 82所管理的端點(diǎn)14處的活動(dòng)說話者相對(duì)應(yīng)的三個(gè)視頻流； 然而主MCU 82可向原始地發(fā)送選中流的三個(gè)端點(diǎn)14中的每一個(gè)都發(fā)送 額外的視頻流。因此，端點(diǎn)14可以不接收由此端點(diǎn)14原始生成的視頻 流。受控MCU 22在步驟106處接收這些音頻和視頻流，并且在歩驟108 中向受管理端點(diǎn)14發(fā)送這些流。類似地，受控MCU 22可將不同的視頻 流發(fā)送至不同的受管理端點(diǎn)14以提供端點(diǎn)14處的更希望的用戶體驗(yàn)。
參考圖4描述的方法僅是例示性的，并且被理解的是，操作的方式以 及指示為執(zhí)行操作的裝置可以以任何適當(dāng)?shù)姆绞絹硇薷?。雖然該方法描述 了以特定順序執(zhí)行的具體步驟，但是應(yīng)當(dāng)理解，視頻會(huì)議系統(tǒng)IO考慮到 了以任何可操作順序來一些地、全部地或者不執(zhí)行步驟的元件的任何合適 的聚集和布置。如所描述的，主MCU 82和受控MCU 84以特定的方式來 選擇視頻流以在視頻會(huì)議期間發(fā)送。要理解，這些技術(shù)可以以任何合適的 方式來使之適應(yīng)和修改，以便通過選擇特定視頻流以在視頻會(huì)議期間發(fā)送 來優(yōu)化帶寬。
圖5是示出特定方法的流程圖，該方法總地指示為120，該方法用于 通過選擇某些視頻流以發(fā)送至視頻會(huì)議參與者來優(yōu)化MCU 22處的帶寬。 在具體實(shí)施例中，MCU22是受控MCU22。
在步驟122處，MCU 22從受管理端點(diǎn)14接收音頻和視頻流。MCU 22還可接收來自另一 MCU 22的音頻和視頻流，并且可以以仿佛它們是從受管理端點(diǎn)14接收的相同的方式來處理這些流。在具體實(shí)施例中，MCU
22管理三個(gè)端點(diǎn)14d、 14e、 14f，其中端點(diǎn)14d具有單重配置，端點(diǎn)14e、 14f具有三重配置。因此，MCU 22可接收七個(gè)音頻流和七個(gè)視頻流。 MCU 22在步驟124處分析接收到的音頻流，并且在步驟126中判斷新的 活動(dòng)說話者是否出現(xiàn)。MCU 22可確定哪個(gè)音頻流具有相應(yīng)的活動(dòng)說話 者。在具體實(shí)施例中，MCU 22通過估計(jì)每個(gè)音頻流的置信值來分析音頻 流。置信值可由端點(diǎn)14來確定并且可指示相應(yīng)音頻流具有活動(dòng)說話者的 可能性。如果新的活動(dòng)說話者沒有出現(xiàn)，則方法120進(jìn)至步驟140。
在步驟127處，MCU 22判斷對(duì)應(yīng)于活動(dòng)說話者的視頻饋給是否需要 開始。例如，當(dāng)發(fā)送端點(diǎn)14先前從MCU 22接收到關(guān)于此視頻流的停 止-視頻消息時(shí)，開始視頻饋給可能是必需的。例如，在步驟138中停 止-視頻消息可能被發(fā)送至特定端點(diǎn)14。在具體實(shí)施例中，代替MCU22 發(fā)送開始-視頻消息，端點(diǎn)14確定何時(shí)它應(yīng)當(dāng)恢復(fù)特定視頻流的發(fā)送。 如果視頻饋給需要開始，則MCU 22在步驟128中發(fā)送開始_視頻消息。 在步驟129處，MCU 22選擇對(duì)應(yīng)于活動(dòng)說話者的視頻流。例如，如果 MCU 22確定活動(dòng)說話者出現(xiàn)在端點(diǎn)14e的中心位置，則MCU 22可選擇 由端點(diǎn)14e的中心位置生成的視頻流。在步驟130處，MCU22確定虛擬 表處活動(dòng)說話者的"位置"。在具體實(shí)施例中，MCU22訪問虛擬表62以 判斷活動(dòng)說話者的虛擬位置是否已被設(shè)置。如果位置沒被設(shè)置，則MCU 22可設(shè)置活動(dòng)說話者的位置。如果位置己被確定，則MCU 22識(shí)別此位 置。例如，如果活動(dòng)說話者位于端點(diǎn)14e的中心位置，則MCU22可確定 此活動(dòng)說話者位于虛擬表處的中心位置。從此"位置"，MCU 22可確定 對(duì)應(yīng)于此活動(dòng)說話者的視頻流應(yīng)當(dāng)顯示在其他端點(diǎn)14的什么地方。
在步驟132處，MCU 22判斷活動(dòng)說話者的位置是否與另一選中流的 位置相同。例如，如果端點(diǎn)14e處的中心位置被確定為當(dāng)前的活動(dòng)說話 者，則MCU 22判斷任何其他的選中視頻流是否對(duì)應(yīng)于活動(dòng)的中心說話 者。如果沒有另一選中流對(duì)應(yīng)于此位置，則方法120進(jìn)至步驟140。否 則，在步驟134處，MCU 22不選擇該另一視頻流。在具體實(shí)施例中， MCU 22可指定此未選中的視頻流作為替代的活動(dòng)流。在步驟136處，
28MCU 22判斷相應(yīng)的端點(diǎn)14是否應(yīng)當(dāng)繼續(xù)發(fā)送未選中視頻流。MCU 22可 以使此判斷基于自從活動(dòng)說話者對(duì)應(yīng)于未選中視頻流以來的時(shí)間長度。此 時(shí)間量的閾值可以被自動(dòng)調(diào)節(jié)、啟發(fā)式地來確定、或者利用可配置的參數(shù) 來確定。如果視頻流應(yīng)當(dāng)被停止，則在步驟138中，MCU22將停止-視 頻消息發(fā)送至對(duì)應(yīng)于未選中視頻流的端點(diǎn)14。在具體實(shí)施例中，代替 MCU 22發(fā)送停止-視頻消息，端點(diǎn)14確定何時(shí)它應(yīng)當(dāng)不再發(fā)送此特定的 (一個(gè)或多個(gè))視頻流。在某些實(shí)施例中，如果此端點(diǎn)14確定它應(yīng)當(dāng)重 啟發(fā)送，則它將會(huì)重啟此特定的(一個(gè)或多個(gè))視頻流的發(fā)送。例如，如 果端點(diǎn)14確定與相應(yīng)音頻流相關(guān)聯(lián)的置信值超過閾值，則端點(diǎn)14可恢復(fù) 視頻流的發(fā)送。作為另一示例，端點(diǎn)14可確定相關(guān)聯(lián)的相機(jī)34已檢測到 超過預(yù)定閾值的輸入，并且可響應(yīng)地重啟發(fā)送。
在步驟140處，受控MCU 22向主MCU 22發(fā)送接收到的音頻流和選 中的視頻流。在步驟142處，受控MCU 22從主MCU 22接收一個(gè)或多個(gè) 音頻流和選中的視頻流。在具體實(shí)施例中，主MCU選中的視頻流可以全 部地、 一些地或者不包括由受控MCU22選擇的視頻流。此外，受控 MCU 22可接收(一個(gè)或多個(gè))聚合音頻流。每個(gè)選中視頻流都可具有它 自己相關(guān)聯(lián)的音頻流，該音頻流可以包括或者可以不包括從一個(gè)或多個(gè)其 他音頻流聚合的音頻。在步驟144處，受控MCU22訪問虛擬表以確定接 收到的視頻流應(yīng)當(dāng)如何分配至受管理端點(diǎn)14。例如，受控MCU22可能接 收四個(gè)視頻流，其中的三個(gè)與主MCU 22所管理的端點(diǎn)14a、 14b、 14c相 對(duì)應(yīng)，并且其中的一個(gè)與端點(diǎn)14e的中心相對(duì)應(yīng)。這些視頻流可指示端點(diǎn) 14e的中心是最新近活動(dòng)的說話者，并且其他三個(gè)視頻流是虛擬表處左、 中和右位置處的替代活動(dòng)說話者。因此，MCU 22可確定具有單重配置 的端點(diǎn)14d應(yīng)當(dāng)接收與端點(diǎn)14e的中心相對(duì)應(yīng)的視頻流；具有三重配置的 端點(diǎn)i4e應(yīng)當(dāng)接收與遠(yuǎn)程端點(diǎn)14a、 14b、 14c左、中和右位置相對(duì)應(yīng)的視 頻流(從而端點(diǎn)14e不接收它原始生成的視頻流)；并且具有三重配置的 端點(diǎn)14f應(yīng)當(dāng)接收與端點(diǎn)14e的中心以及遠(yuǎn)程端點(diǎn)14a、 14b、 14c的左和 右位置相對(duì)應(yīng)的視頻流?；谒_定的分布，MCU 22向受管理端點(diǎn)14發(fā) 送接收到的音頻流和選中的視頻流。
29參考圖5描述的方法僅是例示性的，并且被理解的是，操作的方式以 及指示為執(zhí)行操作的裝置可以以任何適當(dāng)?shù)姆绞絹硇薷?。雖然該方法描述 了以特定順序執(zhí)行的具體步驟，但是應(yīng)當(dāng)理解，視頻會(huì)議系統(tǒng)IO考慮到 了以任何可操作順序來一些地、全部地或者不執(zhí)行步驟的元件的任何合適
的聚集和布置。如所描述的，MCU22以特定的方式來選擇視頻流以在視
頻會(huì)議期間發(fā)送。要理解，這些技術(shù)可以以任何合適的方式來使之適應(yīng)和 修改，以便通過選擇特定視頻流以在視頻會(huì)議期間發(fā)送來優(yōu)化帶寬。
圖6示出總地指示為150的示例多點(diǎn)視頻會(huì)議，該視頻會(huì)議通過選擇 特定視頻流以發(fā)送至端點(diǎn)14和/或MCU 22來優(yōu)化帶寬。如所示出的，多 點(diǎn)視頻會(huì)議150包括六個(gè)端點(diǎn)14a、 14b、 14c、 14d、 14e、 14f，主MCU 22a，以及受控MCU22b。
如所示出的，端點(diǎn)14被配置為三重。因此，每個(gè)端點(diǎn)14生成三個(gè)視 頻流并且轉(zhuǎn)發(fā)這三個(gè)視頻流至它的管理MCU 22。例如，端點(diǎn)14a生成視 頻流a,、 a2、 a3并且轉(zhuǎn)發(fā)這些流至MCU 22a。類似地，端點(diǎn)14d生成視頻 流d,、 d2、 d3并且轉(zhuǎn)發(fā)這些流至MCU22b。在此示例中，來自每個(gè)端點(diǎn)14 的三個(gè)視頻流分別可被指定為與下標(biāo)"1" 、 "2"和"3"相對(duì)應(yīng)的左、 中和右。在每個(gè)參與端點(diǎn)14處，三個(gè)監(jiān)視器36顯示接收到的左視頻流、 中視頻流和右視頻流。雖然沒有被分開地示出，但是每個(gè)端點(diǎn)14還生成 三個(gè)音頻流并且轉(zhuǎn)發(fā)這三個(gè)音頻流至它的管理MCU 22。每個(gè)音頻流都與 特定視頻流相關(guān)聯(lián)。端點(diǎn)14可確定與每個(gè)生成的音頻流相關(guān)聯(lián)的置信 值。此置信值可指示音頻流包含活動(dòng)說話者的可能性。在具體實(shí)施例中， 端點(diǎn)14將這些置信值與音頻流一起發(fā)送至管理MCU 22。
受控MCU 22b可接收來自它的受管理端點(diǎn)14d、 14e、 14f的九個(gè)視頻 流和九個(gè)音頻流。從接收到的視頻流，MCU 22b確定選中的視頻流以發(fā)送 至主MCU 22a。在某些實(shí)施例中，受控MCU 22b選擇多達(dá)N個(gè)視頻流， 其中N等于任何端點(diǎn)14可同時(shí)顯示的視頻流的最大數(shù)目。在所示的實(shí)施 例中，N是三。雖然MCU 22b可選擇多達(dá)N個(gè)視頻流，但是在適當(dāng)?shù)沫h(huán) 境下，MCU22b可選擇少于N個(gè)視頻流。例如，如果MCU22b確定(或 者被MCU22a告知)沒有受管理端點(diǎn)14d、 14e、 14f所生成的視頻流正顯示在端點(diǎn)14a、 14b、 14c處，則MCU22b可以不選擇或發(fā)送任何視頻流至 MCU22a并且可以僅發(fā)送相應(yīng)的音頻流，直到以另外的方式被指示。
在具體實(shí)施例中，MCU 22b通過識(shí)別任何當(dāng)前活動(dòng)的或新近活動(dòng)的 (一個(gè)或多個(gè))說話者，來選擇視頻流以發(fā)送至主MCU22a。例如， MCU 22b可分析音頻流以判斷一個(gè)或多個(gè)活動(dòng)說話者是否出現(xiàn)。在具體實(shí) 施例中，MCU 22b估計(jì)與每個(gè)接收到的音頻流相關(guān)聯(lián)的置信值以判斷(一 個(gè)或多個(gè))活動(dòng)說話者的存在或不存在。MCU 22b還可存儲(chǔ)類似于選擇數(shù) 據(jù)66的選擇數(shù)據(jù)，該選擇數(shù)據(jù)可包含上一活動(dòng)的左、中和右說話者以及 針對(duì)左、中和右位置的替代說話者的標(biāo)識(shí)。例如，當(dāng)新的活動(dòng)或替代說話 者被識(shí)別出時(shí)，MCU 22b可更新選擇數(shù)據(jù)66?；谒鎯?chǔ)的選擇數(shù)據(jù)， MCU 22b可選擇和發(fā)送與左活動(dòng)說話者、中活動(dòng)說話者和右活動(dòng)說話者相 對(duì)應(yīng)的視頻流至MCU 22a。替代的左、中和右活動(dòng)說話者可被維持，用于 發(fā)送至任何受管理端點(diǎn)14。例如，在所示的實(shí)施例中，MCU22b選擇三 個(gè)(N個(gè))視頻流視頻流山，因?yàn)樗赡芫哂谢顒?dòng)說話者；以及視頻流 &和e3，因?yàn)檫x擇數(shù)據(jù)指示，中和右位置的視頻流，這些視頻流最新近地 具有有著活動(dòng)說話者的音頻流。MCU 22b還可將所有接收到的音頻流發(fā)送 至MCU 22a 。
以與受控MCU 22b接收和處理從它的受管理端點(diǎn)14d、 14e、 14f接收 的音頻和視頻流類似的方式，主MCU 22a接收和處理來自它的受管理端 點(diǎn)14a、 14b、 14c的音頻和視頻流。此外，MCU22a接收來自MCU 22b 的音頻和視頻流。類似于MCU 22b， MCU 22a確定選擇哪些視頻流用于 發(fā)送至受管理端點(diǎn)14a、 14b、 14c和MCU 22b。在某些實(shí)施例中，主 MCU 22a將會(huì)選擇多達(dá)2N個(gè)視頻流，其中N等于任何端點(diǎn)14可同時(shí)顯 示的視頻流的最大數(shù)目。因此，在所示的實(shí)施例中，MCU22a選擇六個(gè)視 頻流用于發(fā)送至受管理端點(diǎn)14和MCU 22b。雖然MCU 22a可選擇多達(dá) 2N個(gè)視頻流，但是在適當(dāng)?shù)沫h(huán)境下，MCU22a可選擇少于2N個(gè)視頻流。
為了選擇視頻流，MCU 22a可分析接收到的音頻流以判斷(一個(gè)或多 個(gè))活動(dòng)說話者是否出現(xiàn)，并且可估計(jì)與音頻流相關(guān)聯(lián)的置信值。在所示 的實(shí)施例中，MCU 22a將選擇數(shù)據(jù)存儲(chǔ)在活動(dòng)說話者表152中。活動(dòng)說話者表152針對(duì)虛擬表處的每個(gè)位置，即左、中和右將活動(dòng)說話者標(biāo)識(shí)為
"PRIM.(主要)"并且將替代說話者標(biāo)識(shí)為"ALT.(替代)"。如所示 出的，活動(dòng)說話者表152當(dāng)前指定了活動(dòng)的左說話者、活動(dòng)的中說話者和 活動(dòng)的右說話者山、a2和b3。因此，除端點(diǎn)14d以外的所有端點(diǎn)14將會(huì) 接收到d,視頻流用于顯示在左屏幕上。類似地，除端點(diǎn)14a以外的所有端 點(diǎn)14將會(huì)接收到a2視頻流用于顯示在中屏幕上，并且除端點(diǎn)14b以外的 所有端點(diǎn)14將會(huì)接收到b3視頻流用于顯示在右屏幕上。然而，因?yàn)橛脩?可能發(fā)現(xiàn)不希望被顯示自身的視頻，所以活動(dòng)說話者表152為活動(dòng)說話者 提供三個(gè)替代說話者以選擇。如活動(dòng)說話者表152中所示出的，端點(diǎn)14d 的左屏幕將會(huì)顯示a,視頻流，端點(diǎn)14a的中屏幕將會(huì)顯示e2視頻流，并且 端點(diǎn)14b的右屏幕將會(huì)顯示a3視頻流。
利用活動(dòng)說話者表152， MCU 22a可選擇視頻流，并且可確定每個(gè)受 管理端點(diǎn)14和MCU 22b應(yīng)當(dāng)接收哪些視頻流。在所示的實(shí)施例中，MCU 22a向MCU 22b發(fā)送對(duì)應(yīng)于主要活動(dòng)流的視頻流，即山、&2和b3。此外， 如上所述，MCU 22a確定端點(diǎn)14d將不會(huì)顯示d,視頻流，所以MCU 22a 將替代活動(dòng)流，即ai發(fā)送至MCU22b。因此，在所示的示例中，MCU22a 選擇四個(gè)視頻流(即N+l)用于發(fā)送至MCU 22b。除了選擇視頻流以 外，MCU 22a可選擇某些音頻流用于發(fā)送和/或聚合某些音頻流。例如， MCU 22a可選擇對(duì)應(yīng)于選中視頻流的音頻流，并且將這些音頻流與它們相 應(yīng)的視頻流一起發(fā)送至MCU22b和受管理端點(diǎn)14。在具體實(shí)施例中， MCU 22a將對(duì)應(yīng)于未選中視頻流的一些音頻包括進(jìn)對(duì)應(yīng)于選中視頻流的音 頻流。
通過從MCU 22b向MCU 22a發(fā)送N個(gè)視頻流，可優(yōu)化MCU 22a與 MCU 22b之間的帶寬使用。在所示的實(shí)施例中，MCU22b接收九個(gè)視頻 流并且向MCU 22a發(fā)送可能用在視頻會(huì)議中的僅僅三個(gè)視頻流。此外， MCU 22b可向MCU 22a發(fā)送少于N個(gè)視頻流。例如，MCU 22a可指不 MCU 22b中止ei視頻流的發(fā)送，因?yàn)榇艘曨l流最終沒有發(fā)送至任何參與端 點(diǎn)14。在具體實(shí)施例中，受控MCU 22b將音頻流和零視頻流發(fā)送至主 MCU 22a，直到MCU 22a指示MCU 22b發(fā)送一個(gè)或多個(gè)特定視頻流。MCU 22a還可通過確定哪些視頻流將會(huì)被MCU 22b所管理的端點(diǎn)14顯示 并且僅發(fā)送這些視頻流至MCU 22b，來優(yōu)化帶寬使用。
此外，例如，當(dāng)受管理端點(diǎn)14d、 14e、 14f中止未被MCU 22b選中的 一些視頻流的發(fā)送時(shí)，MCU22b和受管理端點(diǎn)14d、 14e、 14f之間的帶寬 使用可被優(yōu)化。在具體實(shí)施例中，當(dāng)相應(yīng)的音頻流已經(jīng)有閾值時(shí)間段不具 有活動(dòng)說話者時(shí)，MCU 22b向端點(diǎn)14發(fā)送指定特定視頻流的停止-視頻 消息。此時(shí)間段可被自動(dòng)調(diào)節(jié)，并且可以啟發(fā)式地或利用可配置的參數(shù)來 確定。例如， 一旦自從對(duì)應(yīng)于d3的音頻流指示了活動(dòng)說話者以來已流逝了 五分鐘，MCU22b就可指示端點(diǎn)14d中止對(duì)應(yīng)于d3的視頻流的發(fā)送。當(dāng)相 應(yīng)視頻流變得適當(dāng)?shù)臅r(shí)候，端點(diǎn)14d可繼續(xù)發(fā)送對(duì)應(yīng)于ds的音頻流，并且 可重啟相應(yīng)視頻流的發(fā)送。在具體實(shí)施例中，當(dāng)MCU22b確定活動(dòng)說話 者與此視頻流相關(guān)聯(lián)時(shí)，MCU 22b將開始-視頻消息發(fā)送至受管理端點(diǎn) 14，指示受管理端點(diǎn)14恢復(fù)視頻流的發(fā)送。在某些實(shí)施例中，當(dāng)與相應(yīng) 音頻流相關(guān)聯(lián)的置信值指示活動(dòng)說話者的出現(xiàn)時(shí)，特定端點(diǎn)14重啟發(fā) 送。利用類似的技術(shù)可優(yōu)化MCU 22a和它的受管理端點(diǎn)14a、 14b、 14c之 間的帶寬使用。
多點(diǎn)視頻會(huì)議150的具體示例己被描述并且不希望是包括性的。雖然 多點(diǎn)視頻會(huì)議150被描繪為包含元件的某配置和布置，但是應(yīng)當(dāng)注意，這 這是示例，并且視頻會(huì)議可包含全部地、 一些地或者不執(zhí)行上述功能的元 件的任何合適的聚集和布置。
雖然已在幾個(gè)實(shí)施例中描述了本發(fā)明，但是無數(shù)的改變和修改可被暗 示給本領(lǐng)域的技術(shù)人員，并且希望本發(fā)明包括落在本所附權(quán)利要求內(nèi)的這 樣的改變和修改。
權(quán)利要求
1.一種用于在視頻會(huì)議期間優(yōu)化帶寬的系統(tǒng)，包括多個(gè)多點(diǎn)會(huì)議單元(MCU)，每個(gè)MCU都可操作用于輔助兩個(gè)或更多參與者之間的視頻會(huì)議，MCU還可操作用于輔助包括由兩個(gè)或更多MCU管理的參與者的級(jí)聯(lián)的視頻會(huì)議；多個(gè)端點(diǎn)，所述多個(gè)端點(diǎn)參與視頻會(huì)議，每個(gè)端點(diǎn)可操作用于建立與MCU中的選中的一個(gè)MCU的會(huì)議鏈接，生成多個(gè)視頻流和相應(yīng)多個(gè)音頻流，在所述會(huì)議鏈接上發(fā)送所生成的視頻流和所生成的音頻流，接收多個(gè)視頻流和多個(gè)音頻流，利用多個(gè)揚(yáng)聲器呈現(xiàn)所接收的音頻流，并且利用多個(gè)監(jiān)視器顯示所接收的視頻流；MCU中的受控MCU，所述受控MCU管理第一組端點(diǎn)，所述受控MCU可操作用于接收包括了從第一組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流的第一組可用視頻流；從所述第一組可用視頻流中選出N個(gè)潛在視頻流，其中N等于任一端點(diǎn)能夠并發(fā)顯示的活動(dòng)視頻流的最大數(shù)目；并且向MCU中的主MCU發(fā)送所述潛在視頻流；以及所述主MCU，所述主MCU管理第二組端點(diǎn)，所述主MCU可操作用于接收包括了從第二組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流以及來自所述受控MCU的潛在視頻流的第二組可用視頻流；從所述第二組可用視頻流中選出活動(dòng)視頻流，所述活動(dòng)視頻流包括N個(gè)主要視頻流和M個(gè)替代視頻流；確定所述活動(dòng)視頻流中所需的視頻流，用于傳送至第一組端點(diǎn)中的一個(gè)或多個(gè)端點(diǎn)；并且將所述活動(dòng)視頻流中所需的視頻流發(fā)送至所述受控MCU。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述活動(dòng)視頻流中所需的視頻流 包括由第二組端點(diǎn)生成的活動(dòng)流。
3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述活動(dòng)視頻流中所需的視頻流包括所述N個(gè)主要視頻流；并且 如果任何的主要視頻流都是由第一組端點(diǎn)生成的，則所需的視頻流還 包括所述M個(gè)替代視頻流中的一個(gè)或多個(gè)。
4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述受控MCU和所述主MCU每個(gè)都還可操作用于對(duì)于每個(gè)主要視頻流，將該主要視頻流發(fā)送至沒有生成該主要視頻流的每個(gè)端點(diǎn)；并且對(duì)于生成L個(gè)主要流的每個(gè)受管理端點(diǎn)，將L個(gè)替代視頻流發(fā)送至此受管理端點(diǎn)。
5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中從所述第一組可用視頻流中選出N個(gè)潛在視頻流包括對(duì)于所述第一組可用視頻流中的每個(gè)可用視頻流，識(shí)別與對(duì)應(yīng)于該可 用視頻流的音頻流相關(guān)聯(lián)的置信值，所述置信值指示相應(yīng)音頻流與活動(dòng)說話者相關(guān)聯(lián)的可能性；并且選擇具有指示最高可能性的置信值的N個(gè)可用視頻流。
6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述受控MCU和所述主MCU 每個(gè)都還可操作用于確定自從特定音頻流與活動(dòng)說話者相關(guān)聯(lián)以來流逝了的時(shí)間段，所述 特定音頻流與由特定端點(diǎn)所生成的特定視頻流相對(duì)應(yīng)；并且響應(yīng)于該確定，發(fā)送停止-視頻消息至所述特定端點(diǎn)，所述停止-視 頻消息指示所述特定端點(diǎn)停止所述特定視頻流的發(fā)送。
7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中M等于N。
8. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括參與視頻會(huì)議的一個(gè)或多個(gè)單重端點(diǎn)，每個(gè)單重端點(diǎn)可操作用于生成 一個(gè)視頻流和一個(gè)音頻流并且用于接收一個(gè)視頻流和一個(gè)音頻流；其中所述多個(gè)端點(diǎn)包括一個(gè)或多個(gè)雙重端點(diǎn)和一個(gè)或多個(gè)三重端點(diǎn)， 每個(gè)雙重端點(diǎn)可操作用于生成兩個(gè)視頻流和兩個(gè)音頻流并且用于接收兩個(gè) 視頻流和兩個(gè)音頻流，每個(gè)三重端點(diǎn)可操作用于生成三個(gè)視頻流和三個(gè)音頻流并且用于接收三個(gè)視頻流和三個(gè)音頻流。
9. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)監(jiān)視器中的至少一個(gè)可操作用于顯示多個(gè)所接收的視頻流。
10. 根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括遠(yuǎn)程會(huì)議服務(wù)器，所述遠(yuǎn)程會(huì)議服務(wù)器可操作用于從多個(gè)MCU中選出所述主MCU和所述受控MCU;并且向所述受控MCU發(fā)送消息，該消息標(biāo)識(shí)所述主MCU。
11. 一種用于在視頻會(huì)議期間優(yōu)化帶寬的多點(diǎn)會(huì)議單元(MCU)，所述MCU包括控制器，所述控制器可操作用于在第一操作模式中作為管理第一組參與視頻會(huì)議的多個(gè)端點(diǎn)的受控MCU來輔助視頻會(huì)議，每個(gè)端點(diǎn)可操作用于生成多個(gè)視頻流和相應(yīng)多個(gè)音頻流并且用于接收不同的多個(gè)視頻流和不同的多個(gè)音頻流；接收包括了從第一組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流的第一組可用視頻流；從所述第一組可用視頻流中選出N個(gè)潛在視頻流，其中N等于任一端點(diǎn)能夠并發(fā)顯示的活動(dòng)視頻流的最大數(shù)目；并且向主MCU發(fā)送所述潛在視頻流；并且所述控制器還可操作用于在第二操作模式中作為管理第二組端點(diǎn)的所述主MCU來輔助視頻會(huì)議；接收包括了從第二組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流以及來自所述受控MCU的潛在視頻流的第二組可用視頻流；從所述第二組可用視頻流中選出活動(dòng)視頻流，所述活動(dòng)視頻流包括N個(gè)主要視頻流和M個(gè)替代視頻流；確定所述活動(dòng)視頻流中所需的視頻流，用于傳送至第一組端點(diǎn)屮的一個(gè)或多個(gè)端點(diǎn)；并且將所述活動(dòng)視頻流中所需的視頻流發(fā)送至所述受控MCU。
12. 根據(jù)權(quán)利要求11所述的MCU，其中所述活動(dòng)視頻流中所需的視頻流包括由第二組端點(diǎn)生成的活動(dòng)流。
13. 根據(jù)權(quán)利要求ll所述的MCU，其中所述活動(dòng)視頻流中所需的視頻流包括所述N個(gè)主要視頻流；并且如果任何的主要視頻流都是由第一組端點(diǎn)生成的，則所需的視頻流還包括所述M個(gè)替代視頻流中的一個(gè)或多個(gè)。
14. 根據(jù)權(quán)利要求11所述的MCU，其中所述控制器還可操作用于對(duì)于每個(gè)主要視頻流，將該主要視頻流發(fā)送至沒有生成該主要視頻流的每個(gè)端點(diǎn)；并且對(duì)于生成L個(gè)主要流的每個(gè)受管理端點(diǎn)，將L個(gè)替代視頻流發(fā)送至此受管理端點(diǎn)。
15. 根據(jù)權(quán)利要求11所述的MCU，其中從所述第一組可用視頻流中選出N個(gè)潛在視頻流包括對(duì)于所述第一組可用視頻流中的每個(gè)可用視頻流，識(shí)別與對(duì)應(yīng)于該可用視頻流的音頻流相關(guān)聯(lián)的置信值，所述置信值指示相應(yīng)音頻流與活動(dòng)說話者相關(guān)聯(lián)的可能性；并且選擇具有指示最高可能性的置信值的N個(gè)可用視頻流。
16. —種用于在視頻會(huì)議期間優(yōu)化帶寬的方法，包括在第一操作模式中作為管理第一組參與視頻會(huì)議的多個(gè)端點(diǎn)的受控MCU來輔助視頻會(huì)議，每個(gè)端點(diǎn)可操作用于生成多個(gè)視頻流和相應(yīng)多個(gè)音頻流并且用于接收不同的多個(gè)視頻流和不同的多個(gè)音頻流；接收包括了從第一組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流的第一組可用視頻流；從所述第一組可用視頻流中選出N個(gè)潛在視頻流，其中N等于任一端點(diǎn)能夠并發(fā)顯示的活動(dòng)視頻流的最大數(shù)目；并且向主MCU發(fā)送所述潛在視頻流；并且在第二操作模式中作為管理第二組端點(diǎn)的所述主MCU來輔助視頻會(huì)議；接收包括了從第二組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流以及來自所述受控MCU的潛在視頻流的第二組可用視頻流；從所述第二組可用視頻流中選出活動(dòng)視頻流，所述活動(dòng)視頻流包括N個(gè)主要視頻流和M個(gè)替代視頻流；確定所述活動(dòng)視頻流中所需的視頻流，用于傳送至第一組端點(diǎn)中的一個(gè)或多個(gè)端點(diǎn)；并且將所述活動(dòng)視頻流中所需的視頻流發(fā)送至所述受控MCU。
17. 根據(jù)權(quán)利要求16所述的方法，其中所述活動(dòng)視頻流中所需的視頻流包括由第二組端點(diǎn)生成的活動(dòng)流。
18. 根據(jù)權(quán)利要求16所述的方法，其中所述活動(dòng)視頻流中所需的視頻流包括所述N個(gè)主要視頻流；并且如果任何的主要視頻流都是由第一組端點(diǎn)生成的，則所需的視頻流還包括所述M個(gè)替代視頻流中的一個(gè)或多個(gè)。
19. 根據(jù)權(quán)利要求16所述的方法，還包括對(duì)于每個(gè)主要視頻流，將該主要視頻流發(fā)送至沒有生成該主要視頻流的每個(gè)端點(diǎn)；并且對(duì)于生成L個(gè)主要流的每個(gè)受管理端點(diǎn)，將L個(gè)替代視頻流發(fā)送至此受管理端點(diǎn)。
20. 根據(jù)權(quán)利要求16所述的方法，其中從所述第一組可用視頻流中選出N個(gè)潛在視頻流包括對(duì)于所述第一組可用視頻流中的每個(gè)可用視頻流，識(shí)別與對(duì)應(yīng)于該可用視頻流的音頻流相關(guān)聯(lián)的置信值，所述置信值指示相應(yīng)音頻流與活動(dòng)說話者相關(guān)聯(lián)的可能性；并且選擇具有指示最高可能性的置信值的N個(gè)可用視頻流。
21. —種用于在視頻會(huì)議期間優(yōu)化帶寬的邏輯，所述邏輯編碼在介質(zhì)中，并且當(dāng)被執(zhí)行時(shí)可操作用于在第一操作模式中作為管理第一組參與視頻會(huì)議的多個(gè)端點(diǎn)的受控MCU來輔助視頻會(huì)議，每個(gè)端點(diǎn)可操作用于生成多個(gè)視頻流和相應(yīng)多個(gè)音頻流并且用于接收不同的多個(gè)視頻流和不同的多個(gè)音頻流；接收包括了從第一組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流的第一組可用視頻流；從所述第一組可用視頻流中選出N個(gè)潛在視頻流，其中N等于任一端點(diǎn)能夠并發(fā)顯示的活動(dòng)視頻流的最大數(shù)目；并且向主MCU發(fā)送所述潛在視頻流；并且在第二操作模式中作為管理第二組端點(diǎn)的所述主MCU來輔助視頻會(huì)議；接收包括了從第二組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流以及來自所述受控MCU的潛在視頻流的第二組可用視頻流；從所述第二組可用視頻流中選出活動(dòng)視頻流，所述活動(dòng)視頻流包括N個(gè)主要視頻流和M個(gè)替代視頻流；確定所述活動(dòng)視頻流中所需的視頻流，用于傳送至第一組端點(diǎn)中的一個(gè)或多個(gè)端點(diǎn)；并且將所述活動(dòng)視頻流中所需的視頻流發(fā)送至所述受控MCU。
22. 根據(jù)權(quán)利要求21所述的邏輯，其中所述活動(dòng)視頻流中所需的視頻流包括由第二組端點(diǎn)生成的活動(dòng)流。
23. 根據(jù)權(quán)利要求21所述的邏輯，其中所述活動(dòng)視頻流中所需的視頻流包括所述N個(gè)主要視頻流；并且如果任何的主要視頻流都是由第一組端點(diǎn)生成的，則所需的視頻流還包括所述M個(gè)替代視頻流中的一個(gè)或多個(gè)。
24. 根據(jù)權(quán)利要求21所述的邏輯，還可操作用于對(duì)于每個(gè)主要視頻流，將該主要視頻流發(fā)送至沒有生成該主要視頻流的每個(gè)端點(diǎn)；并且對(duì)于生成L個(gè)主要流的每個(gè)受管理端點(diǎn)，將L個(gè)替代視頻流發(fā)送至此受管理端點(diǎn)。
25. 根據(jù)權(quán)利要求21所述的邏輯，其中從所述第一組可用視頻流中選出N個(gè)潛在視頻流包括對(duì)于所述第一組可用視頻流中的每個(gè)可用視頻流，識(shí)別與對(duì)應(yīng)于該可用視頻流的音頻流相關(guān)聯(lián)的置信值，所述置信值指示相應(yīng)音頻流與活動(dòng)說話者相關(guān)聯(lián)的可能性；并且選擇具有指示最高可能性的置信值的N個(gè)可用視頻流。
26. —種用于在視頻會(huì)議期間優(yōu)化帶寬的系統(tǒng)，包括 在第一操作模式中用于作為管理第一組參與視頻會(huì)議的多個(gè)端點(diǎn)的受控MCU來輔 助視頻會(huì)議的裝置，每個(gè)端點(diǎn)可操作用于生成多個(gè)視頻流和相應(yīng)多個(gè)音頻流并且用于接收不同的多個(gè)視頻流和不同的多個(gè)音頻流；用于接收包括了從第一組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流的第一組可用視頻流的裝置；用于從所述第一組可用視頻流中選出N個(gè)潛在視頻流的裝置，其 中N等于任一端點(diǎn)能夠并發(fā)顯示的活動(dòng)視頻流的最大數(shù)目；以及用于向主MCU發(fā)送所述潛在視頻流的裝置；并且在第二操作模式中用于作為管理第二組端點(diǎn)的所述主MCU來輔助視頻會(huì)議的裝置；用于接收包括了從第二組端點(diǎn)中的每一個(gè)端點(diǎn)生成的視頻流以及 來自所述受控MCU的潛在視頻流的第二組可用視頻流的裝置；用于從所述第二組可用視頻流中選出活動(dòng)視頻流的裝置，所述活 動(dòng)視頻流包括N個(gè)主要視頻流和M個(gè)替代視頻流；用于確定所述活動(dòng)視頻流中所需的視頻流，用于傳送至第一組端 點(diǎn)中的一個(gè)或多個(gè)端點(diǎn)的裝置；以及用于將所述活動(dòng)視頻流中所需的視頻流發(fā)送至所述受控MCU的裝置。
全文摘要
多個(gè)多點(diǎn)會(huì)議單元(MCU)可通過選擇特定的視頻流以發(fā)送至參與視頻會(huì)議的端點(diǎn)和/或其他MCU來優(yōu)化帶寬。端點(diǎn)可生成視頻流和音頻流，并且將這些流發(fā)送至它的管理MCU。在視頻會(huì)議期間，端點(diǎn)還可接收和顯示不同的視頻流和不同的音頻流。在具體實(shí)施例中，受控MCU從它的受管理端點(diǎn)接收視頻流，基于任一端點(diǎn)能夠并發(fā)顯示的視頻流的最大數(shù)目來選擇潛在視頻流，并且向主MCU發(fā)送這些潛在視頻流。MCU還可以從它的受管理端點(diǎn)接收視頻流，并且可以選擇活動(dòng)視頻流用于發(fā)送至它的受管理端點(diǎn)和受控MCU，受控MCU向它的受管理端點(diǎn)發(fā)送選中的流。
文檔編號(hào)H04L12/18GK101669324SQ200880013465
公開日2010年3月10日 申請(qǐng)日期2008年4月22日 優(yōu)先權(quán)日2007年4月27日
發(fā)明者克魯塔斯·M·沙赫, 拉加·K·V·R·卡利帕特那普, 拉杰什·維利亞特, 考·T·瑞恩, 莫西·V·艾特瑪酷睿 申請(qǐng)人:思科技術(shù)公司