Mcu堆疊中的視頻布局及處理的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及多點會議技術(shù)，并且更具體地涉及在通過堆疊兩個或更多個多點控制 單元（MCU)進行的會議中的視頻布局。
【背景技術(shù)】
[0002] 公司和組織越來越多地使用音頻/視頻會議技術(shù)和多點會議技術(shù)來提高組織內(nèi) 的通信和效率。大型組織在組織各處分布大量的多媒體終端。通常，一個或多個多點控制 單元（MCU)為這些端點的內(nèi)部多點多媒體會議技術(shù)的需要而服務(wù)。
[0003] 多媒體端點是一種聯(lián)網(wǎng)的終端，其能夠提供與其他終端或MCU (例如，Polycom? VSX8000)的實時雙向視聽通信。端點還可以包括MCU。MCU是位于網(wǎng)絡(luò)節(jié)點處或在終端中的 會議控制實體，并可以經(jīng)由訪問端口接收來自端點的多個媒體信道。根據(jù)特定標準，MCU處 理視聽和數(shù)據(jù)信號，并將所處理的信號分發(fā)到所連接的信道。端點和MCU的更詳細的說明 可以在國際電信聯(lián)盟（"ITU"）標準中找到，所述標準例如但不限于Η. 320、H. 324和H. 323 標準。
[0004] 幾種技術(shù)已被用于改善多點通信系統(tǒng)的使用和效率。這些技術(shù)中的一些通過使 得能進行無預(yù)約呼叫、臨時呼叫（ad-hoc call)、虛擬會議室等而改善了建立通信會話的過 程。這些技術(shù)的一些在美國專利號7, 085, 243、7, 310, 320和7, 830, 824中公開，其各自通 過引用并入本文。
[0005] 其他技術(shù)通過供應(yīng)監(jiān)測和控制多個MCU的Web服務(wù)器來改善對多點通信網(wǎng)絡(luò)的 控制。使用快速更新的web控制技術(shù)的示例公開在美國專利號6, 760, 750中，其通過引用 而并入本文。已經(jīng)公開了附加的技術(shù)，以用于利用一個或多個MCU的資源、以用于級聯(lián)一 個或多個MCU、并且一般以用于改善一個或多個MCU的資源使用。例如，參見美國專利號 8, 542, 266、7, 800, 642、7, 492, 730、7, 174, 365、7, 113, 992和美國專利公開號 2012-0236111 A1，其各自通過引用并入本文。
[0006] 參考圖1，MCU 116 -般具有有限的硬件和/或軟件資源，例如，MCU 116可能只 具有對來自一定數(shù)目的端點114的視頻信號進行編碼/解碼的能力。當MCU 116可能具 有有限的處理能力（硬件或軟件）以支持視頻信號的編碼或解碼時，就可能會發(fā)生這種情 況。在另一個示例中，MCU 116可以具有有限數(shù)量的視頻輸入端口。在每種情況下，使用級 聯(lián)MCU(116a、116b)的級聯(lián)會議可用于克服資源限制。
[0007] 在級聯(lián)會議中，會議參與者可以被劃分成兩個或更多個網(wǎng)絡(luò)中的兩組或更多個 組，并且每一個與不同的MCU 116相關(guān)聯(lián)，并且其中一個MCU 116被指定為會議主MCU 116a(MMCU)，而另一個MCU 116被指定為會議從MCU 116b(SMCU)。這種技術(shù)還可以在位于 不同站點的參與者之間的會議中使用，每個站點具有其自己的MCU 116，每個參與者可以使 用他自己的本地MCU 116,并且整個會議可以通過級聯(lián)不同的本地MCU 116進行。
[0008] 圖1是多點會議技術(shù)通信系統(tǒng)100的框圖。例如，系統(tǒng)100可以由具有多個區(qū)域網(wǎng) 絡(luò)110的公司或由具有多個區(qū)域網(wǎng)絡(luò)110的全球會議技術(shù)服務(wù)提供商使用。區(qū)域網(wǎng)絡(luò)110 可以對應(yīng)于單獨的會議技術(shù)站點，并可以經(jīng)由分組交換網(wǎng)絡(luò)120和/或電路交換網(wǎng)絡(luò)130 彼此通信。雖然區(qū)域網(wǎng)絡(luò)110可以對應(yīng)于特定的基于分組的網(wǎng)絡(luò)段或域，但是這不是必須 的，并且區(qū)域網(wǎng)絡(luò)110可以跨越多個網(wǎng)絡(luò)段或域。每個區(qū)域網(wǎng)絡(luò)110可具有多個多媒體端 點114和一個或多個本地或特定于站點的MCU 116。
[0009] -個或多個控制服務(wù)器112(CS)可以用于每個區(qū)域網(wǎng)絡(luò)110中。在每個區(qū)域網(wǎng)絡(luò) 110內(nèi)，本地端點114的每個可以經(jīng)由分組交換網(wǎng)絡(luò)和/或電路交換網(wǎng)絡(luò)與其相關(guān)聯(lián)的本地 MCU 116進行通信（未示出）。在通信系統(tǒng)100的一個示例中，控制服務(wù)器112是Web服務(wù) 器，其可以通過網(wǎng)絡(luò)120使用互聯(lián)網(wǎng)協(xié)議（IP)與每個本地MCU 116進行通信。與MCU 116 的通信可以經(jīng)由應(yīng)用程序接口（API)模塊（未示出）來完成，所述應(yīng)用程序接口模塊可以 是MCU 116的一部分?？刂品?wù)器112可以是用于執(zhí)行多站點會議的級聯(lián)的專用服務(wù)器， 但也可被嵌入在MCU 116中，或者可以包括共享單個Web服務(wù)器的應(yīng)用。例如，如在上文并 入的專利和專利申請參考中所公開的，單個Web服務(wù)器可以執(zhí)行附加的會議技術(shù)應(yīng)用，并 可以用于管理連接、呼叫、虛擬會議室、監(jiān)測和控制MCU 116等。
[0010] 在一個替代示例中，除了與MCU 116進行通信外，控制服務(wù)器112可以與管理服務(wù) 器（未示出）進行通信（例如，公司或全球服務(wù)提供商的服務(wù)器）。管理服務(wù)器可以包括潛 在端點用戶的管理數(shù)據(jù)庫（未示出），所述潛在端點用戶諸如是公司員工或全球服務(wù)提供 商的客戶。管理數(shù)據(jù)庫可以包括諸如姓名、不同類型的地址（例如電子郵件、電話等）、ID 號（例如員工ID號、客戶賬單號或客戶ID號）、認證號碼和會議室號之類的信息。在另一 個實施例中，控制服務(wù)器112和/或MCU 116可以包括管理服務(wù)器。
[0011] 根據(jù)正在進行的會議的類型，組織相關(guān)聯(lián)的會議的視頻。一種會議類型被稱為視 頻切換會議，其中每個與會者看到一個所選擇的參與者（視頻的一個端點114的源）。會議 期間，所選擇的參與者可以保持不變，或者可以根據(jù)會議的動態(tài)而改變。例如，當前活躍的 發(fā)言者可作為會議視頻而向所有的參與者（即在所有端點114處）示出。一旦活躍發(fā)言者 改變，則可示出一個新的活躍發(fā)言者。
[0012] 另一種會議類型是連續(xù)呈現(xiàn)會議（CP)，其中貫穿會議，來自一個或多個所選擇的 端點114的視頻可以被連續(xù)地示出。在連續(xù)呈現(xiàn)級聯(lián)會議中，SMCU 116b可以根據(jù)SMCU 116b相關(guān)聯(lián)的會議布局，將來自其相關(guān)聯(lián)區(qū)域網(wǎng)絡(luò)110的所選參與者的視頻信號構(gòu)成連續(xù) 呈現(xiàn)視頻。相關(guān)聯(lián)的會議的混合音頻和視頻以類似于單個參與者的視頻和音頻的方式被傳 遞到MMCU 116a。一個常見的連續(xù)呈現(xiàn)過程涉及縮放來自各種源用戶終端的視頻數(shù)據(jù)來改 變幀分辨率，以便在以后將其并入到連續(xù)呈現(xiàn)布局和視頻混合中。
[0013] MMCU 116a可以將從一個或多個SMCU 116b接收的音頻和視頻和來自與MMCU 116a相關(guān)聯(lián)的參與者組的所選參與者的音頻和視頻相混合。其結(jié)果是級聯(lián)會議的所混合的 音頻和視頻。然后MMCU 116a可以將級聯(lián)會議的所混合的音頻和視頻遞送到與它自已相關(guān) 聯(lián)的端點114a中的每一個，并且遞送到所連接的一個或多個SMCU 116b。一個或多個SMCU 116b中的每一個可將級聯(lián)會議的所混合的音頻和視頻分發(fā)到與其相關(guān)聯(lián)的端點114b。
[0014] 管理級聯(lián)會議的一個挑戰(zhàn)是，每個MCU 116 (MMCU 116a和SMCU 116b)從與其相關(guān) 聯(lián)的組選擇要被混合和顯示的參與者（端點114)，而這與所選擇的參與者與其他相關(guān)聯(lián)組 中的參與者如何相關(guān)無關(guān)。另外，與MMCU 116a相關(guān)聯(lián)的參與者的圖像的尺寸往往不同于 與SMCU 116b相關(guān)聯(lián)的參與者的圖像。
[0015] 如圖2所示，連續(xù)呈現(xiàn)布局200被用作是在與MMCU 116a相關(guān)聯(lián)的四個端點 114al-114a4和與SMCU 116b相關(guān)聯(lián)的四個端點114bl-114b4之間的會議的布局。參與者 AM、BM、CM和DM可分別與端點114al-114a4相關(guān)聯(lián)，而參與者AS、BS、CS和DS可分別與端 點114bl-114b4相關(guān)聯(lián)。最活躍的發(fā)言者可以是參與者AM、BM、DM和AS，并且期望從在2x2 的連續(xù)呈現(xiàn)布局中的最活躍的參與者中選擇和示出視頻。然而，在級聯(lián)會議中，來自SMCU 116b的視頻被當做是來自任何其他端點114a的視頻。布局200示出了來自SMCU 116b (AS、 BS、CS和DS)的所構(gòu)成的視頻如何取代在級聯(lián)布局中的單個參與者的圖塊位置。其結(jié)果是， 與SMCU 116b相關(guān)聯(lián)的參與者的每一個都得到了一個更小的屏幕區(qū)域（例如，在2X2布局 中通常向參與者指派四分之一的空間）。
[0016] -種校正與MMCU 116a相關(guān)聯(lián)的參與者的圖像尺寸相比于與SMCU116b相關(guān)聯(lián)的 參與者的圖像尺寸的差別的方式是，通過迫使SMCU 116b使用視頻切換布局并遞送單個所 選參與者的視頻。單個所選參與者的圖像被放置在級聯(lián)會議的布局中。布局220圖示了迫 使SMCU 116b工作在切換模式