技術(shù)領(lǐng)域

本發(fā)明一般而言涉及視頻會議系統(tǒng)，更具體而言，涉及多流、多站點會議系統(tǒng)。

背景技術(shù)：

視頻會議需要在至少兩個參與者之間交換音頻、視頻，及其他信息。一般而言，每一參與者位置處的視頻會議端點將包括用于捕捉本地參與者的圖像的攝像機以及用于顯示遠程參與者的圖像的顯示設(shè)備。視頻會議端點也可以包括額外的用于顯示數(shù)字內(nèi)容的顯示設(shè)備。在兩個以上的端點參與視頻會議會話的情況下，可以使用多點控制單元（MCU）作為會議控制實體。MCU和端點通常通過通信網(wǎng)絡(luò)進行通信，MCU從端點接收并向端點傳輸視頻、音頻，以及數(shù)據(jù)信道。

遠程呈現(xiàn)技術(shù)向參與者提供增強的視頻會議體驗，以便近端參與者感覺好象他們與遠端參與者在同一個房間?？梢蕴峁┯糜诟鞣N會議系統(tǒng)的遠程呈現(xiàn)視頻會議，從兩個人的點對點視頻會議系統(tǒng)到多參與者多點視頻會議系統(tǒng)。通常，遠程呈現(xiàn)使用多個攝像機來捕捉近端參與者的圖像，并使用多個顯示器來顯示遠端參與者的圖像。多個視頻流被從多個端點傳輸?shù)組CU以合并到一個或多個經(jīng)組合的視頻流，這些視頻流被發(fā)回端點以顯示在多個顯示設(shè)備上。例如，在涉及三個端點的遠程呈現(xiàn)系統(tǒng)中，每一端點都具有三個攝像機，MCU將接收九個視頻流。MCU必須將九個接收到的視頻流組合為一個或多個經(jīng)組合的視頻流，這些經(jīng)組合的視頻流被發(fā)回以顯示在每一端點上的顯示設(shè)備上。這九個視頻流必須基于每一端點上的顯示器的數(shù)量和類型，為每一個端點展示。此外，雖然MCU可以從端點接收當(dāng)前發(fā)言者位于該端點上的信息，從每一端點接收到一個以上的視頻流，但是，MCU可能不能確定多個視頻流中的哪一個包括當(dāng)前發(fā)言者。如此，動態(tài)地選擇從端點接收到的許多視頻流中的一個來突出顯示可能是困難的。

傳統(tǒng)上，對于多點和多流視頻會議系統(tǒng)，被發(fā)送到每一端點的視頻流的排列是手動執(zhí)行的。例如，視頻網(wǎng)絡(luò)操作中心（也稱為VNOC），提供對遠程呈現(xiàn)視頻會議的手動管理，包括適當(dāng)?shù)貙魅氲囊曨l流布置為經(jīng)組合的傳出視頻流。在VNOC處管理視頻會議的人員監(jiān)測當(dāng)前發(fā)言者的視頻流，然后，手動排列布局，以便具有當(dāng)前發(fā)言者的視頻流突出地顯示在每一端點上的顯示屏幕上。突出地顯示當(dāng)前發(fā)言者的圖像可以涉及操縱被顯示的視頻流的比例和大小。再者，管理視頻會議的人員也將手動執(zhí)行縮放過程。然而，對VNOC的手動管理會受到人為錯誤和延遲的危害。另外，使用操作員以及提供對于操作設(shè)備的必需的專業(yè)訓(xùn)練是非常昂貴的。

概括地說，傳統(tǒng)方法被視頻流的靜態(tài)布局排列（或者如果需要動態(tài)布局排列，使用易于出錯的手動控制的必要性）危害。

技術(shù)實現(xiàn)要素：

公開了自動生成視頻流的布局以向視頻會議端點呈現(xiàn)的連續(xù)的呈現(xiàn)、遠程呈現(xiàn)、視頻會議MCU。視頻會議端點可包括耦合到處理器的兩個或更多攝像機，至少一個顯示設(shè)備。處理器可包括用于編碼供傳輸?shù)囊曨l和音頻流和解碼接收到的視頻和音頻流的編解碼器。處理器也可以包括用于將屬性指定到傳出流的流屬性模塊。端點也可以包括用于從多個參與者中確定當(dāng)前發(fā)言者的位置的發(fā)言者定位器。然后，處理器可以確定捕捉當(dāng)前發(fā)言者的攝像機。隨后，處理器可以指示屬性模塊將屬性添加到由該攝像機所生成的視頻流中，該屬性當(dāng)由MCU或另一個端點檢查時可以指出相關(guān)聯(lián)的視頻流包括當(dāng)前發(fā)言者的圖像。

屬性模塊可以將各種屬性指定到單個視頻流。一些屬性可以是基于位置的，指定作為視頻流的源的攝像機的位置。例如，基于位置的屬性可包括“FR”（遠右）、“CL”（中左）等等。一些屬性可以是基于角色的，指定視頻流中所包括的參與者的角色。例如，基于角色的屬性可包括“人”、“內(nèi)容”等等?；诮巧膶傩钥梢跃哂袑哟畏诸?，諸如，“人/觀眾”、“人/演示者”等等?？梢越o視頻流指定一個以上的屬性。例如，還包括當(dāng)前發(fā)言者的圖像的由遠右攝像機捕捉到的視頻流可以具有屬性“FR”和“發(fā)言者”。作為另一個示例，具有基于角色的屬性“人/觀眾”的視頻流也可以具有“發(fā)言者”屬性，如果觀眾成員中的一個也是當(dāng)前發(fā)言者。

MCU可包括布局管理器和混合器。布局管理器基于傳入的視頻流的屬性和與每一端點相關(guān)聯(lián)的配置信息來生成發(fā)送到每一端點的視頻流的布局。這樣的配置信息可包括，例如，顯示屏幕的數(shù)量、每一顯示屏幕的縱橫比，專用的發(fā)言者顯示屏幕等等?；旌掀骺梢曰谟刹季止芾砥鞔_定的布局來組合視頻流?？梢詫⒔?jīng)組合的流傳輸?shù)竭m當(dāng)?shù)亩它c。布局管理器監(jiān)測每一傳入的視頻流的屬性的任何變化，傳入的視頻流的數(shù)量，每一端點的配置信息等等，并基于這些變化，動態(tài)地改變布局。

附圖說明

通過閱讀下列描述并通過參考各個附圖，將更輕松地理解本發(fā)明的示例性實施例，其中：

圖1描繪了示例性多點視頻會議系統(tǒng)；

圖2示出了示例性視頻會議端點；

圖3示出了其中兩個或更多端點通過MCU相互進行通信的示例性視頻會議系統(tǒng)；

圖4A-4D示出了各種示例性顯示布局；

圖4E示出了由布局管理器所生成的示例性布局數(shù)據(jù)；以及

圖5示出了由布局管理器在生成視頻布局時執(zhí)行的示例性步驟。

具體實施方式

圖1描繪了示例性多點視頻會議系統(tǒng)100。系統(tǒng)100可包括網(wǎng)絡(luò)110、一個或多個多點控制單元（MCU）106，以及多個端點A-E 101-105。網(wǎng)絡(luò)110可以是，但不僅限于，分組交換網(wǎng)絡(luò)，電路交換網(wǎng)或兩者的組合。端點A-E 101-105可以發(fā)送和接收音頻和視頻數(shù)據(jù)。通過網(wǎng)絡(luò)的通信可以基于諸如H.320、H.324、H.323、SIP等等之類的通信協(xié)議，并可以使用諸如H.263、H.264等等之類的壓縮標準。MCU 106可以啟動和管理兩個或更多端點之間的視頻會議會話。一般而言，MCU 106可以混合從一個或多個端點接收到的音頻數(shù)據(jù)，生成混合的音頻數(shù)據(jù)，并將混合的音頻數(shù)據(jù)發(fā)送到適當(dāng)?shù)亩它c。另外，MCU 106可以從一個或多個端點接收視頻流。這些視頻流中的一個或多個可以通過MCU 106被組合為經(jīng)組合的視頻流。視頻流，組合的或以別的方式，可以由MCU 106發(fā)送到適當(dāng)?shù)亩它c，以顯示在它們的相應(yīng)的顯示屏幕上。作為替代方案，MCU 106可以位于端點A-E 101-105中的任何一個中。

圖2示出了帶有多個攝像機和多個顯示設(shè)備的示例性端點200。攝像機202-205捕捉出現(xiàn)在會議室中的本地參與者的圖像，并可以成行地排列以捕捉會議室的不同的部分。相應(yīng)地，攝像機202-205可以被標記為FR（遠右）、CR（中右）、CL（中左），以及FL（遠左）。當(dāng)然，這些標記只是示例性的。例如，也可以使用不同的標記，如果攝像機205被用來捕捉所有參與者的圖像，那么，它可以被標記為WR（整個房間）。在另一種情況下，攝像機202可以是只捕捉本地參與者中的當(dāng)前發(fā)言者的圖像的平遙-傾斜-變焦（PZT）式攝像機，并因此，可以被標記為CS（當(dāng)前發(fā)言者）。標記或?qū)傩钥梢耘c攝像機相關(guān)聯(lián)，并存儲在處理器209中的存儲器中。

處理器209可包括用于壓縮和解壓縮視頻和音頻流的編解碼器210。例如，編解碼器210可以壓縮由攝像機202-205所生成的視頻流，以生成經(jīng)壓縮視頻流，這些經(jīng)壓縮視頻流可以被傳輸?shù)竭h程端點和/或MCU。另外，編解碼器210還可以解壓縮從遠程端點或MCU接收到的視頻流，并將視頻流顯示在顯示設(shè)備206、207，以及208上。編解碼器210可包括諸如H.261 FCIF、H.263 QCIF、H.263 FCIF、H.261 QCIF、H.263 SQCIF、H.264等等之類的視頻編解碼器，以及諸如G.711、G.722、G.722.1、G.723.1等等之類的音頻編解碼器。

處理器209可以與發(fā)言者定位器模塊213進行通信，該發(fā)言者定位器模塊213確定當(dāng)前發(fā)言者（即，當(dāng)前正在發(fā)言的參與者）的位置。由發(fā)言者定位器模塊213所提供的信息可以被處理器209用來確定接收到的視頻流中的哪一個包括當(dāng)前發(fā)言者。發(fā)言者定位器模塊213可以使用分析從諸如當(dāng)前發(fā)言者之類的源接收到的聲音的麥克風(fēng)陣列224，來確定當(dāng)前發(fā)言者相對于麥克風(fēng)陣列224的位置。麥克風(fēng)陣列224可包括可以水平地、垂直地，或組合地排列的一系列分隔的麥克風(fēng)。通常，陣列中的麥克風(fēng)中的至少一個可以被指定為參考麥克風(fēng)。可以預(yù)定若干個候選位置，其中，候選位置與每一個麥克風(fēng)的距離是已知的。由每一個麥克風(fēng)捕捉到的聲信號可以相對于由參考麥克風(fēng)捕捉到的聲信號延遲。此延遲可以部分地是候選源位置和麥克風(fēng)位置相對于參考麥克風(fēng)的函數(shù)。然后，可以確定與每一候選位置相關(guān)聯(lián)的每一個被延遲的信號的信號能量。隨后，可以選擇與最高信號能量相關(guān)聯(lián)的候選位置作為最佳估計音頻源的實際位置的位置。換言之，通過使用最大似然率估計，可以選擇可能是音頻源的實際位置的最佳估計的預(yù)定的候選源作為音頻源的位置。顯而易見，估計的準確性可以隨著候選位置的數(shù)量增大和空間分布而提高。例如，可以在距離麥克風(fēng)10英尺的近似徑向距離使用61個候選位置。在Chu等人所著的共同轉(zhuǎn)讓的標題為“System and method for computing a location of an acoustic source”的美國專利No. 6,912,178中公開了有關(guān)使用麥克風(fēng)陣列確定參與者的位置的更多細節(jié)，此處引用了該申請的全部內(nèi)容作為參考。

通常，麥克風(fēng)陣列224和攝像機202-205之間的空間關(guān)系保持固定。因此，簡單地通過改變參考系，已知的當(dāng)前發(fā)言者相對于麥克風(fēng)陣列224的位置可以被輕松地變換成當(dāng)前發(fā)言者相對于攝像機的位置。每一攝像機，在帶有其特定平遙-變焦-傾斜設(shè)置的情況下，可以捕捉會議室的特定部分，該部分的邊界可以是預(yù)定的。如此，處理器209可以確定當(dāng)前發(fā)言者的位置，如在攝像機的參考系內(nèi)表達的，是否在由該攝像機捕捉到的會議室的該部分內(nèi)。如果當(dāng)前發(fā)言者位于由攝像機捕捉到的會議室的該部分內(nèi)，則處理器209可以指示流屬性模塊212將屬性“發(fā)言者”指定到由攝像機所生成的視頻流。

流屬性模塊212可以將屬性指定到傳出流。這些屬性可以以對于MCU和/或遠程端點有用的方式限定傳出視頻流，以便呈現(xiàn)和顯示視頻流。這些屬性可以在傳輸過程中被添加到傳出流。例如，諸如H.323和H.320之類的協(xié)議可以被擴展，以包括可以被用來標記傳出數(shù)據(jù)流的屬性定義。視頻流可以具有各種屬性。例如，視頻流可以具有標識作為該視頻流的源的攝像機的相對位置的位置屬性。如圖2所示，傳出流215-218可以具有指出它們的源攝像機的相對位置的屬性。例如，流215被標記為“FR”，因為它源自被置于遠右（FR）位置的攝像機202。類似地，視頻流217被標記為“CL”，因為其源攝像機204位于中左（CL）位置。

視頻流也可以具有諸如“人”和“內(nèi)容”之類的基于角色的屬性。如果視頻流包括人/參與者的圖像，則視頻流可以被標記為帶有“人”屬性?；诮巧膶傩赃€可以具有層次分類。例如，在視頻會議中的若干個參與者輪流演示信息的情況下，可以提供“人/演示者”和“人/觀眾”的分類。“人/演示者”屬性可以指出相關(guān)聯(lián)的視頻流包括將被突出地顯示的人的圖像，不管視頻流是否包括發(fā)言者。包含諸如演示文稿之類的數(shù)字內(nèi)容的視頻流可以具有“內(nèi)容”屬性。例如，處理器209從計算機224接收數(shù)據(jù)內(nèi)容，該數(shù)據(jù)內(nèi)容可包括演示文稿、文檔、視頻等等。數(shù)據(jù)內(nèi)容可以被壓縮，并給予屬性“CON”。雖然未示出，在圖2中，端點也可以包括專用數(shù)據(jù)內(nèi)容顯示器，該顯示器顯示從MCU或遠程端點接收到的數(shù)據(jù)流。

視頻流也可以具有一個以上的屬性。例如，視頻流可以具有基于角色的和“發(fā)言者”屬性，如“人/觀眾，發(fā)言者”，“人/演示者，發(fā)言者”等等?？梢元毩⒂谝曨l流的作用，來指定“發(fā)言者”屬性。例如，即使當(dāng)前發(fā)言者被包括在具有“人/觀眾”角色的視頻流中，也可以另外給該視頻流指定“發(fā)言者”屬性。作為另一個示例，視頻流可以具有位置和“發(fā)言者”屬性，如，視頻流215——其中，除具有“FR”屬性之外，它也可以具有“發(fā)言者”屬性。如前面所描述的，處理器209可以確定哪個攝像機正在捕捉當(dāng)前發(fā)言者。然后，處理器可以將“發(fā)言者”屬性添加到由該攝像機所生成的視頻流。在圖2所示出的示例中，當(dāng)前發(fā)言者正在被攝像機202捕捉；因此，視頻流215具有與它相關(guān)聯(lián)的屬性“發(fā)言者”。如果當(dāng)前發(fā)言者的位置改變，那么，處理器可以重新將“發(fā)言者”屬性指定到當(dāng)前包括當(dāng)前發(fā)言者的視頻流。例如，如果不同的發(fā)言者開始說話，并且該當(dāng)前發(fā)言者的圖像被攝像機204捕捉，則除“CL”屬性之外，還將給視頻流217指定屬性“發(fā)言者”。

雖然圖2中只有一個傳出流215被示為具有多個屬性，但是，可以將這樣的多個屬性指定到一個以上的流。例如，流218還可以具有給它指定的諸如“人/演示者”和“FL”之類的多個屬性。如此，可以給視頻流指定一個或多個屬性，并且指定的屬性可以是基于角色的，基于攝像機位置的，基于當(dāng)前發(fā)言者的，或基于任何其他選定的屬性。應(yīng)該理解，圖2所示出的屬性可以被編碼，用于傳輸。

視頻流、數(shù)據(jù)流，以及音頻流，以及它們的屬性可以通過網(wǎng)絡(luò)110被端點200傳輸?shù)組CU或遠程端點。傳輸器/接收器214可以充當(dāng)端點200和網(wǎng)絡(luò)110之間的物理接口。Tx/Rx 214也可以從MCU或遠程端點接收視頻流。例如，視頻流219-221由處理器209接收。視頻流219-221可包括限定視頻流并可以被處理器209用來呈現(xiàn)或再現(xiàn)視頻流的屬性。例如，視頻流219具有屬性“R”和“發(fā)言者”。處理器209可以在位于右邊的顯示設(shè)備208上顯示視頻流219。此外，由于視頻流219也具有“發(fā)言者”屬性，因此，視頻流可以被更突出地顯示。同樣，帶有屬性“C”的視頻流220可以顯示在顯示設(shè)備207上，而帶有屬性“L”的視頻流221可以顯示在顯示設(shè)備206上。

圖3示出了其中兩個或更多端點通過MCU 106相互進行通信的示例性會議系統(tǒng)300。端點101、102，以及103可以類似于圖2所示出的示例性端點。每一端點都可以具有攝像機的各種配置和用于向它們的相應(yīng)的參與者提供遠程呈現(xiàn)體驗的顯示屏幕。例如，端點A 101可包括4個攝像機和4個顯示設(shè)備，端點B 102可包括4個攝像機和3個顯示設(shè)備，而端點C 103可包括1個攝像機和2個顯示設(shè)備。視頻流可以在每一端點和MCU 106之間交換。為清楚起見，只詳細示出了往返于端點A 101的視頻流。MCU 106也可以包括通過其可以發(fā)送和接收視頻、音頻，以及信令數(shù)據(jù)的網(wǎng)絡(luò)接口328。

MCU 106可包括布局管理器302和混合器303。布局管理器302可以確定顯示或視頻布局，該布局包括被發(fā)送到每一端點的視頻流的排列。在確定視頻布局時，布局管理器302不僅確定接收到的視頻流中的哪些將被發(fā)送到端點，而且還確定顯示視頻流的空間排列。此判斷可以基于與接收到的視頻流相關(guān)聯(lián)的屬性以及與端點相關(guān)聯(lián)的配置信息。布局管理器302可以確定與由MCU 106接收到的每一視頻流相關(guān)聯(lián)的屬性。例如，可以從端點A 101接收與視頻流307、308、309，以及310相關(guān)聯(lián)的屬性“FR，發(fā)言者”317、“CR”318、“CL”319，以及“FL”320。類似地，也可以從端點B 102和C 103（為簡明起見，分別通過315和316來表示），以及任何額外的端點接收視頻流以及它們的屬性。從每一端點接收到的配置信息329可包括顯示設(shè)備的數(shù)量，顯示設(shè)備的縱橫比和分辨率，專用當(dāng)前發(fā)言者顯示設(shè)備的存在，所使用的編碼類型等等。如下文進一步詳細描述的，布局管理器302可以生成發(fā)送到每一端點的視頻流的排列。此排列被傳遞到混合器303，用于通過信號通道321來執(zhí)行。

混合器303可以從一個或多個端點接收視頻流。混合器303可以執(zhí)行由布局管理器302確定的視頻流的排列。例如，混合器303可以從端點A 101、B 102，以及C 103接收視頻流，基于從布局管理器302接收到的信號321來將視頻流組合起來，并將經(jīng)組合的視頻流發(fā)送回每一端點?；旌掀?03可包括用于解碼傳入的視頻和音頻流，以及編碼傳出的視頻和音頻流的編解碼器322。例如，音頻編解碼器可包括標準編解碼器，諸如，G.711、G.722、G.722.1、G.723.1等等。視頻編解碼器可包括標準編解碼器，諸如，H.261 FCIF、H.263 QCIF、H.263 FCIF、H.261 QCIF、H.263 SQCIF、H.264等等。編解碼器322也可以基于在接收端點處所使用的編碼方案來改變傳出的音頻和視頻流的編碼方案。

混合器303也可以包括用于執(zhí)行對從各種端點接收到的視頻幀的操縱的圖像處理模塊325。這樣的操縱可包括將兩個或更多視頻幀組合到一個幀、縮放、裁剪、覆蓋等等，在由Avishay Halavy所著的共同轉(zhuǎn)讓的標題為“System and method for combining a plurality of video stream generated in a videoconference”的美國專利申請序列No. 12/581,626中公開了其更多細節(jié)，在此引用該文件作為參考。

混合器303也可以包括用于將屬性指定到傳出流的流屬性模塊327。例如，流屬性模塊327可以將屬性“FL”、“CL”、“CR，發(fā)言者”，以及“FR，CON”分別指定到流311，312，313，以及314。流屬性模塊327可以從布局管理器302接收有關(guān)將哪些屬性指定給特定傳出視頻流的指令。

MCU 106可以符合ITU標準，諸如，但不僅限于，H.320、H.323，以及H.324。相應(yīng)地，布局管理器302可以是媒體控制器（MC）的一部分，而混合器303可以是媒體處理器（MP）的一部分?；旌掀?03可以在專用集成電路（ASIC）、微控制器、FPGA、硬件/固件組合、在微處理器上運行的軟件等等上實現(xiàn)?；旌掀?03內(nèi)的各種模塊，例如，編解碼器322、圖像處理模塊325以及流屬性模塊327可以是單個硬件模塊，或者也可以是軟件/固件模塊。布局管理器302也可以分別作為諸如微控制器、ASIC、FPGA、硬件/固件組合之類的硬件組件、軟件等等來實現(xiàn)。

圖4A示出了各種端點的圖像的布局的示例。在所示出的示例中，MCU 106將視頻流傳輸?shù)蕉它c，比方說，具有四個顯示設(shè)備402、404、406，以及408的端點E。視頻會議可包括四個其他端點，比方說，A、B、C，以及D。布局管理器302可以接收與由五個端點A、B、C、D，以及E中的每一個所生成的視頻流相關(guān)聯(lián)的屬性，并確定要顯示在每一端點中的每一個顯示設(shè)備上的傳出視頻流的布局。傳出視頻流也可以包括可使端點確定將要在其上面顯示視頻流的顯示設(shè)備的屬性。例如，由端點E接收到的視頻流可包括諸如“FL”（遠左顯示設(shè)備）、“CL”（中左顯示設(shè)備）、“CR，發(fā)言者”（中右顯示設(shè)備）和“FR”（遠右顯示設(shè)備）等等之類的屬性。每一個顯示設(shè)備的傳出視頻流都可以是來自多個源的視頻流的合成。布局管理器302可以確定要顯示在每一顯示設(shè)備內(nèi)的“單元”的數(shù)量，其中，在一個單元內(nèi)顯示的視頻對應(yīng)于一個源。例如，顯示在顯示設(shè)備402上的經(jīng)組合的視頻流可以由四個單元421-424組成。為了說明，單元被標記有指定給它們的源，諸如A-FL（端點A，攝像機“遠左”）、A-CL（端點A，攝像機“中左”），B-FL（端點B，攝像機“遠左”），以及B-CL（端點B，攝像機“中左”）。當(dāng)然，這些標記不向參與者顯示。

端點E也可以包括用于只顯示包括當(dāng)前發(fā)言者的視頻流的一個或多個顯示設(shè)備。然而，可以選擇任何顯示設(shè)備，作為示例示出了顯示設(shè)備406。如上文所提及的，布局管理器302可以基于與每一視頻流相關(guān)聯(lián)的屬性來確定傳入的視頻流中的哪一個包括發(fā)言者。然后，布局管理器302可以排列該視頻流，以使得它顯示在為包括當(dāng)前發(fā)言者的視頻流預(yù)留的特定顯示設(shè)備上，（除排列同一個視頻流以使得它顯示在其他顯示設(shè)備中的一個上的單元之外）。例如，在圖4A中，從端點A的中左攝像機接收到的視頻流包括當(dāng)前發(fā)言者。布局管理器302可包括顯示在顯示設(shè)備402上的視頻流的單元422中的視頻流（除只將該視頻流顯示在顯示設(shè)備406上之外）（注意，單元422中的參與者的圖像帶有陰影，只是指出相關(guān)聯(lián)的視頻流包括發(fā)言者）。

布局管理器302也可以響應(yīng)于輸入流的屬性中的變化來動態(tài)地排列輸出流。例如，如果當(dāng)前發(fā)言者從一個視頻流變?yōu)榱硪粋€，則布局管理器302可以重新排列輸出流以反映此變化。如作為示例所示的，在圖4B中，當(dāng)前發(fā)言者現(xiàn)在位于端點D中的左側(cè)攝像機的視頻流中。此視頻流可以具有與它相關(guān)聯(lián)的屬性“發(fā)言者”，該屬性可以由布局管理器302檢測到。因此，布局管理器可以重新排列輸出流，以便被定向到顯示設(shè)備406的視頻流是從端點D中的左側(cè)攝像機接收到的視頻流，替換來自端點A的中左攝像機的前面所顯示的視頻流。

布局管理器302可以向會議參與者提供連續(xù)的呈現(xiàn)體驗。換言之，會議參與者可以同時查看來自所有端點的視頻流，而不只是來自包括當(dāng)前發(fā)言者的端點的視頻流。例如，參考圖4A，盡管當(dāng)前發(fā)言者位于端點A中，但是，端點E中的參與者可以從其他參與端點A、B、C，以及D中的每一個接收視頻流。另外，會議參與者還可以查看當(dāng)前發(fā)言者之外的參與者的視頻流。例如，如果當(dāng)前發(fā)言者位于端點A中，那么，端點E中的參與者除捕捉當(dāng)前發(fā)言者的視頻流之外還可以看到捕捉其他參與者的圖像的視頻流。此外，甚至在當(dāng)前發(fā)言者的位置從一個端點變?yōu)榱硪粋€端點的情況下（例如，從端點A變?yōu)槎它cD），布局管理器302仍維持視頻流的連續(xù)的存在顯示。

圖4C示出了當(dāng)其中一個端點具有專用發(fā)言者攝像機時視頻流的示例性布局。例如，端點C可包括至少兩個攝像機：一個用于捕捉整個房間，而另一個用于捕捉房間內(nèi)的當(dāng)前發(fā)言者。捕捉整個房間的攝像機可以是廣角攝像機，而只捕捉發(fā)言者的攝像機可以是平遙-傾斜變焦攝像機。注意，端點可包括確定當(dāng)前發(fā)言者的位置的發(fā)言者定位器模塊（例如，圖2，213）。處理器可以使用此位置信息來控制PTZ攝像機，以便該攝像機主要捕捉當(dāng)前發(fā)言者的圖像。端點的流屬性模塊可以將屬性“C-WR”指定到捕捉整個房間的攝像機的視頻流，而將屬性“C-發(fā)言者”指定到PTZ攝像機的視頻流。在從端點C接收到這些視頻流時，MCU 106的布局管理器302可以將帶有“C-WR”屬性的視頻流指定到單元481，而將帶有“C-發(fā)言者”屬性的視頻流指定到顯示設(shè)備406。

與其中顯示屏幕406被預(yù)留以只顯示當(dāng)前發(fā)言者并且其中發(fā)送到顯示設(shè)備406的視頻流沒有被分成單元的圖4A-4C相比，圖4D中所示出的示例除當(dāng)前發(fā)言者之外還可包括示出了數(shù)字內(nèi)容的多個單元。發(fā)送到顯示設(shè)備406的視頻流可包括三個單元461、462，以及463。單元461可包括數(shù)據(jù)內(nèi)容視頻流，該數(shù)據(jù)內(nèi)容可包括源自，例如，其中一個端點中的計算機的演示文稿。單元462和463可包括最后兩個當(dāng)前發(fā)言者的圖像。單元462或463中的一個可以顯示具有屬性“人/演示者”的視頻流，這表明相關(guān)聯(lián)的視頻流應(yīng)該始終突出地顯示。

圖4E示出了布局管理器302可以生成并發(fā)送到混合器303的布局數(shù)據(jù)?；旌掀?03可以使用此數(shù)據(jù)來生成參與視頻會議的端點的傳出流。作為示例，圖4E示出了對應(yīng)于為圖4A中的顯示屏幕402和406所描繪的顯示布局的布局數(shù)據(jù)。應(yīng)該理解，可以類似地生成同一個端點E的其他流的布局數(shù)據(jù)，以及其他端點的流的布局數(shù)據(jù)。

布局數(shù)據(jù)490包括混合器303可以用來混合視頻流的多個參數(shù)。例如，幀大小表明流1的每一幀中的水平和垂直像素的數(shù)量。布局管理器302可以基于顯示屏幕的分辨率來確定幀大小。通常作為配置信息從端點E接收有關(guān)分辨率的信息。因此，如果顯示屏幕的分辨率是720x1280，那么，布局管理器302可以選定720x1280作為幀大小。單元字段的數(shù)量定義幀被分成的部分的數(shù)量。例如，參考圖4A，顯示在顯示設(shè)備402上的幀被分成4個一樣大小的單元，并被排列成兩行和兩列（2x2）。單元大小表示以像素為單位的每一單元大小。在單元是不相等的大小的情況下，單元大小字段可包括對應(yīng)于每一單元的額外的單元大小。下一字段表示幀內(nèi)每一個單元的源流。在此示例中，最上面兩個單元，單元1和單元2（對應(yīng)于圖4A中的部分421和422）被分配了從端點A接收到的并分別具有屬性FL和CL的視頻流。布局管理器302也可以將屬性指定到傳出的流，以便接收端點E可以確定將在其上面顯示此視頻流的顯示設(shè)備，例如，在遠左（FL）顯示設(shè)備402上。布局數(shù)據(jù)491可以對應(yīng)于圖4A的顯示設(shè)備406上的視頻流的布局。由于顯示設(shè)備406專門用于只顯示一個視頻流（包括當(dāng)前發(fā)言者），因此，幀只包括單個單元。布局管理器可以指定屬性，以便端點可以在中右（CR）顯示設(shè)備406上顯示流2。

布局管理器302可以通過信號通道321將布局數(shù)據(jù)（例如，490和491）發(fā)送到混合器303。布局管理器302也可以將布局數(shù)據(jù)存儲在可以被混合器303訪問的存儲器中。這樣的存儲器可包括寄存器、RAM、等等。混合器303可以反復(fù)地訪問布局數(shù)據(jù)，以檢查布局數(shù)據(jù)是否變化?？闪磉x地，布局管理器302可以每當(dāng)在布局數(shù)據(jù)中有任何變化或者如果存儲器被更新，設(shè)置標記或?qū)е轮袛唷?/p>

圖5示出了詳述了可以由布局管理器302在確定一個端點上的顯示設(shè)備上的視頻流的布局時執(zhí)行的步驟的示例性流程圖。布局管理器302可以執(zhí)行類似的步驟，以便確定參與視頻會議的每一個其他端點的布局。在步驟501中，布局管理器302可以從參與視頻會議會話中的所有端點接收與每一傳入的視頻流相關(guān)聯(lián)的屬性。在步驟502中，布局管理器302可以確定端點處的顯示設(shè)備的數(shù)量。可以實時地以配置信息的形式接收關(guān)于顯示設(shè)備的數(shù)量以及它們的屬性的信息。這樣的信息也可以被存儲在MCU 106中的存儲器中。

在步驟503中，布局管理器302可以確定要顯示在端點E處的傳入流的數(shù)量是否超出端點E處的顯示設(shè)備的數(shù)量。如果要顯示在端點E處的傳入流的數(shù)量小于或等于端點E處的顯示設(shè)備的數(shù)量，那么，潛在地，每一顯示設(shè)備都可以顯示單個視頻流。如此，MCU 106可能不需要將兩個或更多視頻流組合為一個視頻流。例如，如果端點E將具有四個顯示設(shè)備并與三個其他端點處于一個視頻會議會話中，每一端點都生成單個視頻流，那么，布局管理器302可以將端點E處的三個顯示設(shè)備與三個其他端點的視頻流相關(guān)聯(lián)?？梢灾付ǖ谒娘@示設(shè)備接收包括數(shù)字內(nèi)容的視頻流或包括當(dāng)前發(fā)言者的視頻流。一旦布局管理器302將視頻流指定到特定顯示設(shè)備（在步驟504中），布局管理器302就將屬性添加到傳出流中（在步驟509中）。這樣的屬性可包括視頻流將在其上面顯示的顯示設(shè)備的相對位置，視頻流是否包括數(shù)字內(nèi)容、發(fā)言者等等。

如果要在端點E處顯示的視頻流的數(shù)量大于可用的顯示設(shè)備的數(shù)量，那么，可以將兩個或更多視頻流合并到一個視頻流。布局管理器302可以檢查端點E處的顯示設(shè)備中的任何一個是否專門用于只顯示當(dāng)前發(fā)言者。如果是，那么，帶有屬性“發(fā)言者”的視頻流可以被定向到該顯示設(shè)備（步驟505）。其余的顯示設(shè)備可用于顯示其余的視頻流。

作為示例，每個顯示設(shè)備的單元的數(shù)量可以通過將要顯示的視頻流的總數(shù)除以可用的顯示設(shè)備的數(shù)量來確定。但是，在確定單元的數(shù)量和大小時，也可以考慮諸如視頻流以及顯示設(shè)備的縱橫比，視頻流的可以接受的縮小的量等等之類的其他因數(shù)。參考圖4A所示出的示例，布局管理器302可以確定端點E處的顯示設(shè)備406中的一個是為顯示包括當(dāng)前發(fā)言者的視頻流預(yù)留的。因此，有三個顯示設(shè)備——402、404，以及408－用于顯示來自端點A、B、C，以及D的11個視頻流。布局管理器302可以將顯示設(shè)備中的兩個的顯示區(qū)分割為四個單元，而將其余的顯示設(shè)備的顯示區(qū)分割為三個單元。應(yīng)該理解，這種確定每個顯示設(shè)備的單元的數(shù)量的方法只是示例性的，也可以預(yù)見其他方法。

在步驟507中，布局管理器302可以將視頻流指定到單元。如果視頻流是相同格式并且沒有任何空間相互關(guān)系，那么，布局管理器302可以寬松地將視頻流指定到任何單元。例如，布局管理器302可以將來自一個端點的所有視頻流指定到單個顯示設(shè)備內(nèi)的單元。但是，一般而言，在視頻會議中－特別是在遠程呈現(xiàn)視頻會議中－由MCU 106從端點接收到的視頻流可以表示會議室的完整的圖像的某些部分，該視頻流在被并排顯示時可以再現(xiàn)完整的會議室的圖像。例如，參考圖4A，布局管理器302可以在四個單元421、422、441，以及442中并排排列從端點A接收到的4個視頻流，其中，單元421和422屬于一個顯示設(shè)備402，而單元441和442屬于相鄰的顯示設(shè)備404。結(jié)果，來自一個端點的視頻流可以分布到多個顯示設(shè)備上。換言之，被顯示的視頻流的空間關(guān)系可以在多個顯示設(shè)備上延伸。以類似的方式，來自端點B的四個視頻流可以被指定到單元423、424、443，以及444。同樣，來自端點B的兩個視頻流可以被指定到單元482和483，而來自端點C的單個視頻流可以被指定到單元481。

一旦傳入的視頻流被指定給它們的單元，布局管理器302就可以指示混合器303組合被指定給同一顯示設(shè)備的單元的視頻流（步驟508）。例如，參考圖4A，分別與單元421、422、441，以及442相關(guān)聯(lián)的被標記為“A-FL”、“A-CL”、“B-FL”，以及“B-CL”的四個視頻流可以被合并到單個視頻流。經(jīng)組合的視頻流可以具有允許接收端點確定經(jīng)組合的視頻流將在哪一個顯示設(shè)備上顯示的屬性。例如，來自單元421、422、441，以及442的視頻流的經(jīng)組合的視頻流可以具有表明遠左顯示設(shè)備402的屬性“FL”。在步驟509中，布局管理器302可以指示混合器303將屬性添加到傳出的經(jīng)組合的視頻流中。屬性也可以被添加到不是其他視頻流的組合的結(jié)果（如由步驟504所產(chǎn)生的）的視頻流。

配置了向每一端點傳出的視頻流的布局，布局管理器302，在步驟510中，可以監(jiān)測接收到的視頻流的屬性的任何變化和/或視頻流的數(shù)量的變化。例如，如果以前與一個傳入的視頻流相關(guān)聯(lián)的屬性“發(fā)言者”現(xiàn)在與一個不同的傳入的視頻流相關(guān)聯(lián)，則布局管理器302可以檢測到此變化，并重新配置（在步驟503-509中）傳出的流的布局，以便當(dāng)前具有屬性“發(fā)言者”的視頻流被適當(dāng)?shù)仫@示在每一端點中。例如，參考圖4A和4B，當(dāng)以前與從端點A的中左攝像機（A-CL）接收到的視頻流相關(guān)聯(lián)的“發(fā)言者”屬性現(xiàn)在與來自端點D的左側(cè)攝像機（D-L）的視頻流相關(guān)聯(lián)時，布局管理器302可以重新配置布局，以便被發(fā)送到專用發(fā)言者顯示器406的視頻流從A-CL變?yōu)镈-L。另外，如果來自參與端點的傳入的視頻流的數(shù)量發(fā)生變化，例如，當(dāng)端點退出視頻會議會話時，布局管理器302可以檢測到此變化，并重新配置傳出的視頻流。如此，布局管理器可以提供視頻流布局的動態(tài)重新配置。

上文的描述只是說明性的，而不是限制性的。在閱讀了此說明書之后，本發(fā)明的許多變化將對本領(lǐng)域的技術(shù)人員變得顯而易見。因此，本發(fā)明的范圍不應(yīng)該參考上面的描述來確定，而是參考所附權(quán)利要求書以及它們的等效內(nèi)容的全部范圍來確定。