分布式音頻控制方法、設(shè)備、系統(tǒng)以及軟件產(chǎn)品的制作方法
【專利說明】分布式音頻控制方法、設(shè)備、系統(tǒng)以及軟件產(chǎn)品
[0001]本發(fā)明涉及用于分布式音頻控制的方法、設(shè)備以及系統(tǒng)。本發(fā)明還涉及相應(yīng)的軟件產(chǎn)品。本發(fā)明特別地適合于在開會應(yīng)用中使用。
[0002]對于開會應(yīng)用而言已經(jīng)知道一個或多個多點(diǎn)控制單元(MCU)被用來控制來自多個音頻源的音頻。一般地，由客戶端來表示每個音頻源。多個客戶端被連接到一個MCU。多個MCU可以被作為網(wǎng)或樹或者在混合式網(wǎng)/樹結(jié)構(gòu)中被互連。如果正在建立大型電話會議，則對MCU的要求隨著附著客戶端的數(shù)目N而增長。尤其是對處理語音本身的多點(diǎn)處理器(MP)的性能和帶寬要求隨著每個附加的客戶端而增長。如果更多的MCU被互連，則可以獲得某種可量測性。然而，每個MCU引入不能被減小到幾十毫秒以下的有效負(fù)荷延遲。因此，可量測性是有限的。
[0003]更具體地，圖2示出了其中多點(diǎn)控制單元(M⑶)10控制多個客戶端30(客戶端1...客戶端N)的在現(xiàn)有技術(shù)中包含的示例。在這里，采取數(shù)目為N的客戶端30。(遍及本申請，總體上，將N稱為要控制的客戶端的數(shù)目。)在此配置中，如上所述，MCU性能是瓶頸以及MCU網(wǎng)絡(luò)連接。
[0004]圖3示出了其中每個控制多個客戶端30的多個MCU10被以全網(wǎng)的形式互連的在現(xiàn)有技術(shù)中包含的另一示例。在此配置中，可以獲得良好的語音延遲，因為語音延遲被限制到2 XMCU_delay。將注意到的是MCU互連的數(shù)目快速地增長，遵循關(guān)系m* = (MX (M -1)) /2，其中，m*是網(wǎng)中的所有M⑶之間的M⑶-M⑶互連的數(shù)目，并且M是網(wǎng)中的M⑶的數(shù)目。然后，在m**表示可能的MCU-MCU和MCU-客戶端連接的最大數(shù)目的情況下，客戶端N的最大數(shù)目Nmax被限制到約Nmax= ((m林 + I)2) / 4。
[0005]圖4示出了其中每個控制多個客戶端30的多個MCU10被以2層級樹結(jié)構(gòu)的形式互連的在現(xiàn)有技術(shù)中包含的另一示例。在此配置中，語音延遲隨著層級的數(shù)目而增長，并且在本示例中是(3 XMCU_delay)，其可以在接受的邊緣上，或者在較少質(zhì)量的網(wǎng)絡(luò)上可以是不可接受的。再次地在m**表示MCU連接的最大數(shù)目的情況下，客戶端的數(shù)目N被限制到約Nmax=m**X (m** -1) ο
[0006]上面描述的M⑶配置并未良好地進(jìn)行縮放，因為每個M⑶包含抖動緩沖器和引入不能被減小的顯著延遲的混頻單元(mixing unit)。所有混頻算法并未使用實(shí)際上所有輸入流，而是選擇其中的僅某些且只有那些被選擇的流被混頻。
[0007]根據(jù)W02012120240或US2013342639，已知要分配(視頻)音頻流的混頻。存在一個主媒體服務(wù)器和一個或多個輔助媒體服務(wù)器。客戶端被連接到這些服務(wù)器。主媒體服務(wù)器包括用以選擇多個輸入流的選擇模塊和用以創(chuàng)建包括所選流的聚合流的全局混頻單元。輔助服務(wù)器包括用以對由主服務(wù)器的選擇模塊選擇的輸入流進(jìn)行混頻的本地混頻單元。因此，提供混頻單元的兩個平面。
[0008]根據(jù)類似于US2013342639的EP2285106，分布式混頻單元被公共應(yīng)用服務(wù)器控制。如上面的，提供分布式混頻。
[0009]US8437281公開了在網(wǎng)絡(luò)中跨節(jié)點(diǎn)分布混頻過程且其甚至可在末端節(jié)點(diǎn)(也稱為端子(terminal))中發(fā)生。假若各種節(jié)點(diǎn)之間的有效負(fù)荷(或會話)路徑是沒有環(huán)路的，因為建立了具有一個根節(jié)點(diǎn)和多個葉節(jié)點(diǎn)的樹分級。樹的建立取決于節(jié)點(diǎn)進(jìn)入會議的序列。
[0010]本發(fā)明的目的是提供用于分布式音頻控制的方法、設(shè)備和系統(tǒng)，其能夠至少部分地減輕如上面提到的現(xiàn)有技術(shù)的缺點(diǎn)。特別地，本發(fā)明的目的是提供用于分布式音頻控制的此類方法、設(shè)備以及系統(tǒng)，其能夠增強(qiáng)MCU結(jié)構(gòu)的可量測性。
[0011]本發(fā)明的一個或多個上述目的至少部分地被獨(dú)立權(quán)利要求的特征解決。在從屬權(quán)利要求中闡述了本發(fā)明的有利實(shí)施例和進(jìn)一步發(fā)展。
[0012]本發(fā)明的基本思想是流評估和選擇可以是分布式的，并且中央混頻節(jié)點(diǎn)僅僅接收預(yù)選流以用于最終混頻。只有中央節(jié)點(diǎn)需要抖動緩沖器以根據(jù)接收到的分組(packet)來重構(gòu)流。用于實(shí)現(xiàn)這個基本思想的重要工具是提供關(guān)于如何預(yù)選輸入流的控制信息和自頂?shù)降邹D(zhuǎn)送此類控制信息的分級結(jié)構(gòu)。這允許結(jié)構(gòu)化的頂?shù)降卓刂?，使得可由分布式處理資源在大多數(shù)可能的下級水平處完成數(shù)據(jù)分組的分析和預(yù)選，仍確保滿足上級實(shí)體的需要。這通過在仍保持由上級實(shí)體進(jìn)行的完全控制的同時將選擇的能力轉(zhuǎn)移到下級實(shí)體而確保只有所需的音頻流被轉(zhuǎn)送到上級實(shí)體。
[0013]因此，本發(fā)明的第一方面是一種用于處理源自于多個音頻客戶端的音頻流的多點(diǎn)音頻處理方法，所述方法包括要在分布式多點(diǎn)音頻處理節(jié)點(diǎn)中執(zhí)行的以下步驟:
接收關(guān)于如何從接收到的音頻流中預(yù)選用于上游混頻的音頻流的控制信息；
從被連接到所述分布式多點(diǎn)音頻處理節(jié)點(diǎn)的音頻客戶端接收音頻流；
在每個音頻流中，通過在至少一個音頻通信特性方面分析從所述音頻客戶端接收到的所述音頻流的分組并將所述分析的分析結(jié)果信息附著到所述分組來生成已評估音頻流；基于所述接收控制信息和/或包含在所述已評估音頻流中的所述分析結(jié)果信息，通過判定任何已評估音頻流是否將在上游發(fā)射以用于混頻來預(yù)選音頻流;以及
發(fā)射被判定為要在上游發(fā)射的所述音頻流，同時丟棄被判定為將不在上游發(fā)射的已評估音頻流。
[0014]預(yù)選不需要被限制到整個音頻流。還可例如通過幀速率、數(shù)據(jù)密度等來預(yù)選接收音頻流的一部分以進(jìn)行發(fā)射，丟棄其余部分。應(yīng)注意的是音頻流并未在此點(diǎn)處、即在分布式多點(diǎn)音頻處理節(jié)點(diǎn)中被混頻。
[0015]這個方面的方法還可包括將在所述分布式多點(diǎn)音頻處理節(jié)點(diǎn)中執(zhí)行的步驟: 將所述控制信息發(fā)送到被連接到所述分布式多點(diǎn)音頻處理節(jié)點(diǎn)的一個或多個其它分布式多點(diǎn)音頻處理節(jié)點(diǎn)；
從所述其它分布式多點(diǎn)音頻處理節(jié)點(diǎn)接收音頻流;以及
在上游發(fā)射從所述其它分布式多點(diǎn)音頻處理節(jié)點(diǎn)接收到的所述音頻流以用于混頻，優(yōu)選地預(yù)先在其上應(yīng)用所述判定步驟，同時依賴于已經(jīng)包含在從所述其它分布式多點(diǎn)音頻處理節(jié)點(diǎn)接收到的所述音頻流中的分析結(jié)果信息。
[0016]換言之，不需要使得從所述其它分布式多點(diǎn)音頻處理節(jié)點(diǎn)接收到的音頻流在接收到它們的分布式多點(diǎn)音頻處理節(jié)點(diǎn)中經(jīng)受另一評估步驟。然而，通過向其應(yīng)用所述判定步驟，可以或不可以使得其為另一預(yù)選步驟的主體(subject)，使得正如由已連接音頻客戶端直接地接收到的任何流一樣，從另一分布式多點(diǎn)音頻處理節(jié)點(diǎn)接收到的任何音頻流是:
通過基于(從上游)接收到的所述控制信息和/或包含在其中的所述分析結(jié)果信息(即，從下游接收到的音頻流)來判定其是否將被在上游發(fā)射以用于混頻而被預(yù)選;并且只有其被判定將在上游發(fā)射才被在上游發(fā)射，而如果其被判定將不在上游被發(fā)射，則被丟棄。
[0017]本發(fā)明的另一方面是用于處理源自于多個音頻客戶端的音頻流的多點(diǎn)音頻處理方法，所述方法包括要在中央音頻處理節(jié)點(diǎn)中執(zhí)行的步驟:
將關(guān)于如何預(yù)選輸入音頻流的控制信息在下游發(fā)送到被連接到所述中央音頻處理節(jié)點(diǎn)的一個或多個分布式多點(diǎn)音頻處理節(jié)點(diǎn)；
從所述分布式多點(diǎn)音頻處理節(jié)點(diǎn)接收音頻流;以及
基于所述控制信息和/或包含在所述接收音頻流中的關(guān)于接收音頻流是否將被用于混頻的任何分析結(jié)果信息，從所述接收音頻流生成已混頻音頻流，優(yōu)選地在采用抖動緩沖器的情況下，并且優(yōu)選地預(yù)先判定。
[0018]可將此方面的方法與先前方面的方法步驟組合，而且實(shí)現(xiàn)本發(fā)明思想本身。在這里首要的是控制信息被自頂?shù)降椎胤职l(fā)，從中央音頻處理節(jié)點(diǎn)開始?；祛l僅在中央節(jié)點(diǎn)處完成。不存在在中央節(jié)點(diǎn)中接收的流的評估。替代地，本方法依賴于任何音頻流已在下級節(jié)點(diǎn)處被評估并預(yù)選的假設(shè)。源自于混頻的抖動緩沖器的延遲將不通過多個混頻級而總