本發(fā)明涉及一種控制實(shí)時(shí)會(huì)議會(huì)話的方法。本發(fā)明進(jìn)一步涉及一種使計(jì)算機(jī)執(zhí)行該方法的計(jì)算機(jī)程序產(chǎn)品以及一種用于控制實(shí)時(shí)會(huì)議會(huì)話的通信系統(tǒng)。

現(xiàn)代會(huì)議會(huì)話(也簡稱為會(huì)議)可以由以會(huì)議橋或媒體流送器的形式存在的混合單元來建立。媒體流送器執(zhí)行下述應(yīng)用：該應(yīng)用用于控制可被定義為程序的會(huì)議，該程序特別是允許管理員控制會(huì)議的計(jì)算機(jī)程序或應(yīng)用軟件。當(dāng)用于控制會(huì)議的應(yīng)用正在計(jì)算機(jī)上運(yùn)行時(shí)，該應(yīng)用能夠提供來自會(huì)議的參與者(也稱為用戶)的話音信號(hào)的混合物。用于控制會(huì)議的應(yīng)用可以被安裝在個(gè)人計(jì)算機(jī)(簡稱為pc)上和/或運(yùn)行于pc上。這種pc也被稱為媒體流送器、媒體服務(wù)器或者應(yīng)用服務(wù)器。接下來，除了其上安裝應(yīng)用以控制會(huì)議的計(jì)算機(jī)(因而例如，媒體流送器、媒體服務(wù)器或者應(yīng)用服務(wù)器)外，用于控制會(huì)議的應(yīng)用自身也被稱為媒體服務(wù)器。在該程度上，接下來，術(shù)語“媒體流送器”(也稱為“會(huì)議服務(wù)器”)等同地被用于以軟件形式和以硬件中的該應(yīng)用的形式執(zhí)行用于控制會(huì)議的應(yīng)用軟件。媒體流送器被設(shè)立成作為服務(wù)器從會(huì)議參與者的通信終端中的每一個(gè)接收相應(yīng)音頻/視頻信號(hào)，并傳輸混合的音頻/視頻信號(hào)到會(huì)議參與者的通信終端。存在差異，使得對(duì)于主動(dòng)參與者，除自身的圖像/語音外的所有圖像/語音都由會(huì)議單元單獨(dú)混合，而對(duì)于流送模式中的被動(dòng)參與者，所有的被動(dòng)用戶都接收相同的圖像/語音。因此，在大型會(huì)議中流送模式是有優(yōu)勢(shì)的，這是因?yàn)橄啾扔趯?duì)于每個(gè)參與者、除自身的圖像/語音外的所有圖像/語音都由會(huì)議單元單獨(dú)混合的情況，會(huì)議單元的處理能力顯著減弱。作為參與者的通信終端可以表現(xiàn)為電話單元、ip電話(ip：互聯(lián)網(wǎng)協(xié)議)或者pc客戶端，其中，諸如移動(dòng)電話或另一服務(wù)器之類的另一通信終端是可能的。

在會(huì)議會(huì)話下，其特別地被理解為下述會(huì)議：其中，該會(huì)議的至少兩個(gè)參與者不駐留于同一地點(diǎn)/位置處，使得他們不能在不使用技術(shù)手段的情況下彼此通信。相反，參與者的通信將經(jīng)由混合單元通過混合參與者的語音信號(hào)而執(zhí)行，其中所述會(huì)議可以被配置為例如電話會(huì)議或視頻會(huì)議。在電話會(huì)議中，參與者僅通過交換話音來通信，而不管參與者的語音信號(hào)被如何傳送。因此，通過陸地線路進(jìn)行的電話會(huì)議和其中一個(gè)或多個(gè)參與者通過蜂窩網(wǎng)絡(luò)彼此通信的電話會(huì)議二者都稱為電話會(huì)議。

此外，以視頻會(huì)議的形式存在的會(huì)議是可能的，其中除了參與者的語音信號(hào)的交換外，將參與者的圖像信號(hào)實(shí)時(shí)傳輸給其他參與者。然而，接下來，會(huì)議還意在包括應(yīng)用共享，其中除了參與者的語音和視頻數(shù)據(jù)的交換(例如，以參與者之間的數(shù)據(jù)傳送的形式)外，要在會(huì)議的參與者之間交換其他媒體。該數(shù)據(jù)相對(duì)于參與者的語音和/或圖像信號(hào)的實(shí)時(shí)數(shù)據(jù)可以在時(shí)間上移位/延遲，且可以被顯示在屏幕(例如個(gè)人計(jì)算機(jī)的屏幕)上。通常，以媒體流送器的形式存在的混合單元可以經(jīng)由網(wǎng)絡(luò)(例如，內(nèi)聯(lián)網(wǎng)或互聯(lián)網(wǎng))連接到會(huì)議的參與者的通信終端。在這種情況下，語音和/或視頻和/或數(shù)據(jù)信號(hào)以數(shù)據(jù)分組的形式從會(huì)議中的一個(gè)參與者傳送給另一參與者。

在電話交談中(例如，在會(huì)議會(huì)話中)，參與者經(jīng)常激活靜音以防止人們聽到來自他們的書桌的背景噪聲或者以便在參與會(huì)議會(huì)話的同時(shí)討論另一個(gè)問題。當(dāng)用戶按壓解除靜音或靜音關(guān)閉按鈕時(shí)，該靜音模式可以被去激活。然而，存在用戶忘記去按壓靜音關(guān)閉按鈕時(shí)的時(shí)間，并且到參與者開始談話的時(shí)間，靜音仍然開啟，并且顯然，會(huì)議的其他參與者不能夠聽到談話的參與者，直到談話的參與者認(rèn)識(shí)到解除靜音或靜音關(guān)閉并重復(fù)已說過的內(nèi)容。雖然存在檢測(cè)語音活動(dòng)并自動(dòng)地關(guān)斷靜音按鈕的機(jī)制，但這些高度復(fù)雜的機(jī)制需要一些時(shí)間，直到解除靜音已經(jīng)被激活以用于要傳輸給其他參與者的先前靜音的參與者的語音。在最優(yōu)情形下，該語音活動(dòng)識(shí)別和后續(xù)自動(dòng)解除靜音的響應(yīng)行為可能需要大約2到3秒，其中靜音的談話參與者的某些有用信息可能丟失。因此，當(dāng)會(huì)議會(huì)話的用戶忘記解除靜音時(shí)，期望更好地減少信息的丟失。

類似問題對(duì)于下述會(huì)議會(huì)話而發(fā)生：其中，單個(gè)或幾個(gè)參與者正在主動(dòng)參與，并且一大群其他參與者是被動(dòng)的，即，僅聽該單個(gè)或幾個(gè)主動(dòng)參與的參與者的主題。這種情況可能發(fā)生在小組討論或網(wǎng)絡(luò)研討會(huì)中。經(jīng)由快速通信信道而服務(wù)的主動(dòng)參與者可以經(jīng)由快速語音和/或視頻會(huì)議信道而服務(wù)。被動(dòng)參與者可以經(jīng)由不同的更慢語音和/或視頻會(huì)議信道而服務(wù)，從而導(dǎo)致在針對(duì)被動(dòng)參與者而接收數(shù)據(jù)時(shí)與由主動(dòng)參與者對(duì)數(shù)據(jù)的接收的同一時(shí)間點(diǎn)相比時(shí)有延遲。只要參與者保持被動(dòng)，該延遲對(duì)于被動(dòng)參與者來說就不是關(guān)鍵的。然而，被動(dòng)參與者可能想要說話或臨時(shí)參加主動(dòng)參與者的討論，典型地由所謂的“舉手”或類似的指示來引入。在該指示后，管理員或主持人可以利用通知將被動(dòng)參與者轉(zhuǎn)變?yōu)橹鲃?dòng)參與者。因此，由于流送延遲阻止該參與者趕上實(shí)時(shí)討論的時(shí)間點(diǎn)，指示了要參加主動(dòng)參與者的討論的參與者經(jīng)由實(shí)時(shí)而連接到他不知道的討論的時(shí)間點(diǎn)。該情形與如針對(duì)在開始談話前忘記解除靜音的靜音參與者而描述的情形可比較。因此，當(dāng)相對(duì)于會(huì)議會(huì)話的主動(dòng)用戶接收到延遲數(shù)據(jù)的被動(dòng)用戶被轉(zhuǎn)變?yōu)橹鲃?dòng)用戶時(shí)，期望更好地減少信息的丟失。因此，本發(fā)明的目的是提供一種方法，當(dāng)會(huì)議會(huì)話的被動(dòng)用戶被轉(zhuǎn)變?yōu)橹鲃?dòng)用戶時(shí)，該方法更好地減少信息的丟失。

該目的由根據(jù)權(quán)利要求1的控制實(shí)時(shí)會(huì)議會(huì)話的方法、根據(jù)權(quán)利要求12的使計(jì)算機(jī)執(zhí)行該方法的計(jì)算機(jī)程序產(chǎn)品以及根據(jù)權(quán)利要求14的用于控制實(shí)時(shí)會(huì)議會(huì)話的通信系統(tǒng)解決。

本發(fā)明的控制實(shí)時(shí)會(huì)議會(huì)話的方法包括以下步驟：將第一用戶的第一通信終端和第二用戶的第二通信終端連接到媒體處理單元，以在第一用戶和第二用戶之間傳輸音頻和/或視頻數(shù)據(jù)，其中會(huì)議會(huì)話包括：第一用戶的被動(dòng)模式，其中數(shù)據(jù)作為被動(dòng)數(shù)據(jù)而被第一通信終端接收和傳輸，但不被第二終端接收；以及第一用戶的主動(dòng)模式，其中數(shù)據(jù)作為主動(dòng)數(shù)據(jù)而被第一通信終端接收和傳輸且被第二終端接收；在切換時(shí)間點(diǎn)處從被動(dòng)模式切換到主動(dòng)模式，其中在切換后，第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間被留下要傳輸給第二用戶，第一持續(xù)時(shí)間結(jié)束在切換時(shí)間點(diǎn)處或開始于切換時(shí)間點(diǎn)；記錄第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間，第二持續(xù)時(shí)間開始于切換時(shí)間點(diǎn)；與記錄相比，在切換后將被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間加速重放到第二用戶，重放開始于切換時(shí)間點(diǎn)；以及當(dāng)同步延遲、即在記錄期間第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的第一次結(jié)束與在記錄后主動(dòng)數(shù)據(jù)的重放的第二持續(xù)時(shí)間的第二次結(jié)束之間的同步持續(xù)時(shí)間等于或小于預(yù)定持續(xù)時(shí)間(例如，n乘以10毫秒，其中n為1和10之間的整數(shù)，優(yōu)選地，3到5，并且更優(yōu)選地，被選擇成使得預(yù)定持續(xù)時(shí)間不會(huì)被第一和/或第二用戶感知到)時(shí)，關(guān)斷記錄并開始將第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸給第二用戶。會(huì)議會(huì)話可以由諸如網(wǎng)絡(luò)服務(wù)器之類的媒體流送器或諸如dsp單元(dsp：數(shù)字信號(hào)處理器)或會(huì)議橋之類的會(huì)議單元建立。音頻和/或視頻數(shù)據(jù)可以作為rtp分組(rtp：實(shí)時(shí)傳輸協(xié)議)而傳輸?？梢允褂民詈现练植际矫襟w處理單元的單個(gè)或若干個(gè)媒體處理單元。第一和第二通信設(shè)備中的每一個(gè)可以為有線電話、蜂窩電話、諸如pc或平板pc之類的計(jì)算機(jī)、服務(wù)器等等。在被動(dòng)模式中，可以僅針對(duì)給定用戶的接收而傳輸或流送音頻和/或視頻數(shù)據(jù)。因此，被動(dòng)模式中的用戶的通信終端不被允許/不能夠向媒體處理單元傳輸數(shù)據(jù)。被動(dòng)模式的音頻和/或視頻數(shù)據(jù)可以以更小的數(shù)據(jù)速率傳輸，從而導(dǎo)致與主動(dòng)模式的音頻和/或視頻數(shù)據(jù)的傳輸相比更低的服務(wù)質(zhì)量和/或更慢的傳輸速度。例如，在視頻會(huì)議中，被動(dòng)模式可以不傳輸圖像數(shù)據(jù)，而僅傳輸供被動(dòng)用戶接收的音頻數(shù)據(jù)。可以針對(duì)主動(dòng)模式預(yù)留更高服務(wù)質(zhì)量信道。分別針對(duì)主動(dòng)和被動(dòng)信道使用不同傳輸信道。主動(dòng)模式可以實(shí)時(shí)地向通信終端傳輸數(shù)據(jù)和從通信終端傳輸數(shù)據(jù)。在回放所記錄的數(shù)據(jù)期間，這種實(shí)時(shí)主動(dòng)模式被定義成仍在主動(dòng)模式中傳輸，盡管第二用戶尚未實(shí)時(shí)接收到數(shù)據(jù)。

在切換時(shí)間點(diǎn)處結(jié)束的第一持續(xù)時(shí)間對(duì)應(yīng)于2到3秒的語音識(shí)別和后續(xù)自動(dòng)解除靜音的持續(xù)時(shí)間。在該第一持續(xù)時(shí)間期間，會(huì)議會(huì)話的其他用戶不能聽到仍然靜音且因而被動(dòng)的參與者，并且該靜音持續(xù)時(shí)間被留下要傳輸給諸如第二用戶之類的另一個(gè)用戶。開始于切換時(shí)間點(diǎn)的第一持續(xù)時(shí)間對(duì)應(yīng)于在針對(duì)被動(dòng)用戶接收數(shù)據(jù)時(shí)與由主動(dòng)用戶對(duì)數(shù)據(jù)的接收的同一時(shí)間點(diǎn)相比時(shí)的延遲，主動(dòng)用戶被與被動(dòng)用戶相比更快的通信信道所服務(wù)。主動(dòng)用戶可以經(jīng)由(s)rtp[(安全)實(shí)時(shí)傳輸協(xié)議]上的實(shí)時(shí)語音和/或視頻會(huì)議、經(jīng)由sip(會(huì)話發(fā)起協(xié)議)或webrtc(網(wǎng)絡(luò)實(shí)時(shí)通信)通信平臺(tái)而服務(wù)，而被動(dòng)用戶可以經(jīng)由http(s)[超文本傳輸協(xié)議(安全)]上的語音/視頻流送(也被稱為dash(http上的動(dòng)態(tài)自適應(yīng)流送)或hls(http實(shí)況流送)協(xié)議)而服務(wù)。與幾百毫秒的實(shí)時(shí)延遲相比，基于流送的協(xié)議以大約3到5秒的流送延遲、以音頻和/或視頻數(shù)據(jù)的形式遞送媒體。因此，開始于切換時(shí)間點(diǎn)的第一持續(xù)時(shí)間可以處于相同范圍(即3到5秒)中。

已記錄被留下要傳輸給第二用戶的第一持續(xù)時(shí)間并且繼續(xù)記錄開始于切換時(shí)間點(diǎn)的第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間允許在在主動(dòng)模式中提供到第一用戶的數(shù)據(jù)的無縫過渡的同時(shí)重構(gòu)未被傳輸給第二用戶的數(shù)據(jù)。所記錄的數(shù)據(jù)以比記錄速度更快的速度被重放，即，與記錄相比加速重放，其中在從切換時(shí)間點(diǎn)開始切換后，重放被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間到第二用戶。由于加速重放，有可能在時(shí)間上逐漸重構(gòu)第一持續(xù)時(shí)間的丟失內(nèi)容，以趕上在主動(dòng)模式中提供的更快或?qū)崟r(shí)或傳輸。當(dāng)在記錄期間第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的第一次結(jié)束與在記錄后主動(dòng)數(shù)據(jù)的所重放的第二持續(xù)時(shí)間的第二次結(jié)束之間的同步延遲等于或小于預(yù)定持續(xù)時(shí)間(例如不會(huì)被第一和/或第二用戶感知到的10到30msec(毫秒))時(shí)，關(guān)斷記錄并且將在關(guān)斷后第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸給第二用戶。這樣，第二用戶接收尚未接收到的第一持續(xù)時(shí)間的時(shí)間中的概述以及主動(dòng)模式中的第一用戶的音頻和/或視頻數(shù)據(jù)的后續(xù)內(nèi)容，直到不再必須記錄數(shù)據(jù)和可能切換回到第一用戶的數(shù)據(jù)向第二用戶的直接傳輸。所記錄的被動(dòng)數(shù)據(jù)和所記錄的主動(dòng)數(shù)據(jù)的加速重放替代恰在從被動(dòng)模式切換到主動(dòng)模式后第一用戶的主動(dòng)數(shù)據(jù)向第二用戶的實(shí)時(shí)傳輸。在從第一用戶的被動(dòng)模式切換到第一用戶的主動(dòng)模式后，第一用戶的數(shù)據(jù)不僅可以被傳輸給第二用戶，而且可以被傳輸給第一用戶。因此，通過在以幾秒的延遲完成流送的同時(shí)趕上幾百毫秒的實(shí)時(shí)延遲，第一用戶可以聽他的被動(dòng)模式的結(jié)束與他的主動(dòng)模式的開始之間的延遲數(shù)據(jù)。通過引入媒體處理單元，有可能同時(shí)記錄和回放第一用戶的數(shù)據(jù)，在沒有媒體處理單元的情況下，當(dāng)將第一用戶從被動(dòng)模式切換到主動(dòng)模式時(shí)，該數(shù)據(jù)會(huì)丟失。關(guān)于本發(fā)明，媒體處理單元作為附加組件而介于第一終端和第二終端之間，該附加組件在切換點(diǎn)后同時(shí)執(zhí)行音頻和/或視頻記錄和播放。

有利地，在記錄和/或重放期間引入被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和/或主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間的信息的丟失以用于實(shí)現(xiàn)加速重放，例如通過實(shí)現(xiàn)丟失系統(tǒng)，包括丟棄或跳過被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和/或主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間的單個(gè)或若干個(gè)話音樣本和/或幀。在本發(fā)明的數(shù)字音頻/視頻系統(tǒng)中，可以促進(jìn)加速重放，例如通過實(shí)現(xiàn)丟失系統(tǒng)，其容忍某種程度的服務(wù)降級(jí)，優(yōu)選地在所感知的用戶體驗(yàn)不降低的情況下。在音頻的情況下，存在不同編解碼器，對(duì)此，編碼器從固定時(shí)間切片(例如，itu-tg.711)一對(duì)一地簡單對(duì)話音樣本進(jìn)行編碼。相比于應(yīng)用其中時(shí)間切片可以跨越多于一個(gè)話音樣本的附加算法的編解碼器，這些編解碼器是更合適的。話音樣本被填充到幀中，這些幀進(jìn)而被分組化以用于通過會(huì)議會(huì)話的通信網(wǎng)絡(luò)/系統(tǒng)而傳輸。通信終端的發(fā)送方側(cè)處的編碼器可以生成在udp分組上的srtp內(nèi)實(shí)時(shí)加密傳送的連續(xù)流，作為分組丟失風(fēng)險(xiǎn)與協(xié)議開銷之間的折衷，每一個(gè)連續(xù)流承載幾個(gè)或少數(shù)話音樣本。rtp分組包括使用中的編解碼器的標(biāo)識(shí)以及允許重排序和標(biāo)識(shí)傳輸網(wǎng)絡(luò)上的分組丟失的時(shí)間戳。在對(duì)rtp有效載荷進(jìn)行解密后，可以將有效載荷堆疊為位流到抖動(dòng)緩沖器上，從而適應(yīng)第一通信終端之間的傳輸網(wǎng)絡(luò)的傳播延遲變化。從該緩沖器，解碼器可以消耗該位流以用于在接收器的音頻設(shè)備處重放，該接收器可以體現(xiàn)為媒體處理單元。

可以通過在第一通信終端中的解碼器前面實(shí)現(xiàn)丟失系統(tǒng)來促進(jìn)音頻/視頻流的加速重放，該丟失系統(tǒng)在將話音樣本堆疊到第一通信終端的抖動(dòng)緩沖器前丟棄每第n個(gè)話音樣本(m乘以10毫秒)。必須避免大批丟棄，即，提供少數(shù)m，對(duì)此，m的數(shù)目通常是已知的，這不影響第一和/或第二用戶的用戶體驗(yàn)，例如，m可以在編解碼器的質(zhì)量度量中被確定到預(yù)定值。進(jìn)一步的附加實(shí)施例是通過縮短音頻數(shù)據(jù)的分組包括的靜默時(shí)段來加速重放，在該靜默時(shí)段內(nèi)，可由第一通信終端注入的舒適噪聲模式被識(shí)別。在視頻的情況下，類似于盒式錄像機(jī)(vcr)能力“前進(jìn)”，促進(jìn)例如加速重放。在前進(jìn)期間，第一通信終端或媒體處理單元有利地以更快速度對(duì)接收到的信息進(jìn)行解碼，且可以跳過以分組傳輸?shù)囊曨l數(shù)據(jù)的某些幀。直至雙倍速度，甚至更快的速度，可以保留音頻。mpeg和相關(guān)的視頻編解碼器知道(i)幀內(nèi)、(p)預(yù)測(cè)和(b)雙向幀。在快速/更快前進(jìn)期間，例如，解碼器可以跳過(b)雙向幀或后續(xù)b-幀以用于加快/加速重放。

實(shí)施例中的同步延遲的預(yù)定持續(xù)時(shí)間被定義為n乘以10毫秒，其中n是優(yōu)選地被選擇成使得同步延遲不會(huì)被第二用戶感知到的整數(shù)，例如，通過將n選擇為1與10之間的整數(shù)，優(yōu)選地為6，更優(yōu)選地為3。建議將數(shù)字n選擇成使得接收的人(例如第二用戶)不會(huì)感測(cè)到/注意到同步延遲。n的值不僅可以取決于接收的人的主觀感知，而且可以取決于第一通信終端、媒體處理單元和第二終端之間的傳輸網(wǎng)絡(luò)的質(zhì)量。傳輸網(wǎng)絡(luò)的服務(wù)質(zhì)量越低，則數(shù)字n可以被選擇為越小。另一方面，如果在第一用戶和第二用戶之間的通信信道中已存在可感知的中斷，則數(shù)字n可以被選擇成使得由同步延遲引入的中斷不會(huì)被感知達(dá)到比在同步延遲不被傳輸?shù)那闆r下通信信道中的其他中斷更高的程度。

在實(shí)施例中建議：當(dāng)在第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的記錄已經(jīng)開始后第一用戶被通信會(huì)話的第二用戶或另一用戶在第一中斷時(shí)間點(diǎn)處中斷時(shí)，被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間到第二用戶的加速重放在第一中斷時(shí)間點(diǎn)處結(jié)束，并且，關(guān)斷記錄和開始將第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸?shù)降诙脩舯灰莆坏降谝恢袛鄷r(shí)間點(diǎn)。在這種情況下，關(guān)斷記錄和開始實(shí)時(shí)傳輸?shù)谝挥脩舻臄?shù)據(jù)在時(shí)間上被移位到第一中斷時(shí)間點(diǎn)，以用于對(duì)中斷用戶給予他說話的機(jī)會(huì)。在中斷后，第一用戶可以停止談話并等待其他中斷用戶完成。在第一中斷時(shí)間點(diǎn)處，記錄與重放一起完成。因此，尚未重放的第一用戶的所記錄的數(shù)據(jù)的信啟不被傳輸給第二用戶。

當(dāng)在被動(dòng)模式中第一用戶被靜音且在開始講話后未激活解除靜音功能以切換到主動(dòng)模式時(shí)，產(chǎn)生了特別有利的實(shí)施例。在該實(shí)施例中，在切換時(shí)間點(diǎn)處結(jié)束且被留下要傳輸給第二用戶的第一持續(xù)時(shí)間包括根據(jù)語音活動(dòng)檢測(cè)單元的響應(yīng)行為的語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間，其中當(dāng)語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間(即，語音活動(dòng)識(shí)別的響應(yīng)行為的持續(xù)時(shí)間)結(jié)束時(shí)，由語音活動(dòng)檢測(cè)單元通過自動(dòng)激活解除靜音功能來觸發(fā)從第一用戶的被動(dòng)模式向第一用戶的主動(dòng)模式的切換。結(jié)合從切換時(shí)間點(diǎn)開始記錄第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間、從切換時(shí)間點(diǎn)開始將被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間加速重放到第二用戶、以及關(guān)斷記錄并開始將第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸?shù)降诙脩舻奶卣?，?dāng)在記錄期間第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的第一次結(jié)束與記錄的主動(dòng)數(shù)據(jù)的所重放的第二持續(xù)時(shí)間的第二次結(jié)束之間的同步延遲等于或小于預(yù)定持續(xù)時(shí)間時(shí)，該實(shí)施例是對(duì)本發(fā)明的目的來說的一種解決方案，其在會(huì)議會(huì)話的用戶忘記解除靜音時(shí)更好地減少信息的丟失。

當(dāng)在ip上的實(shí)時(shí)通信中存在故意延遲要被引入以用于同步會(huì)議會(huì)話的第一用戶和第二用戶的流時(shí)，在另一實(shí)施例中提出語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間的至少部分被用作故意延遲。在語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間期間，第一用戶仍然是靜音的且(尚)不能被第二用戶聽到。因此，當(dāng)沒有照此引入用于同步會(huì)議會(huì)話的流的故意延遲時(shí)，對(duì)于第二用戶而言是有利的，但是，檢測(cè)第一用戶的語音以對(duì)第一用戶自動(dòng)解除靜音所需的語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間的部分被用作故意延遲。

當(dāng)在第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的記錄已經(jīng)開始之前第一用戶被第二用戶在第二中斷時(shí)間點(diǎn)處中斷時(shí)，進(jìn)一步的實(shí)施例解決了該情況。關(guān)斷記錄以及開始將第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸給第二用戶然后被移位到當(dāng)語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間結(jié)束時(shí)的時(shí)間點(diǎn)，其中被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間的加速重放在當(dāng)語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間結(jié)束時(shí)的時(shí)間點(diǎn)處結(jié)束。因此，在語音活動(dòng)檢測(cè)單元已經(jīng)檢測(cè)到語音后發(fā)送的所有其他信息不被傳輸給第二用戶，因此，在第一用戶靜音時(shí)，第二用戶將僅聽到第一用戶已經(jīng)發(fā)送的內(nèi)容。第一用戶也可以聽到他的重放語音，直到語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間結(jié)束。因此，第一用戶知道：他在中斷前所說的不論什么內(nèi)容都已經(jīng)被傳輸給第二用戶。此后，由第一用戶和/或第二用戶負(fù)責(zé)決定誰將繼續(xù)談話，正如在當(dāng)兩個(gè)用戶嘗試同時(shí)談話時(shí)的會(huì)議會(huì)話中經(jīng)常發(fā)生的那樣。

在大型會(huì)議會(huì)話或者網(wǎng)絡(luò)研討會(huì)中，在另一實(shí)施例中，當(dāng)?shù)谝挥脩粢呀?jīng)對(duì)會(huì)議會(huì)話的管理員和/或指示識(shí)別裝置給出他意圖從被動(dòng)模式切換到主動(dòng)模式的指示(例如，以諸如舉手或按壓在指示按鈕或觸摸板上之類的手勢(shì)的形式)時(shí)，由管理員和/或由指示識(shí)別裝置自動(dòng)地將被動(dòng)模式切換到主動(dòng)模式，該指示識(shí)別設(shè)備識(shí)別指示并響應(yīng)于識(shí)別該指示而執(zhí)行從被動(dòng)模式到主動(dòng)模式的切換。指示識(shí)別裝置可以包括用于檢測(cè)第一用戶的光學(xué)數(shù)據(jù)的單個(gè)或若干個(gè)相機(jī)，該光學(xué)數(shù)據(jù)被處理以用于檢索第一用戶的光學(xué)指示。指示識(shí)別裝置可以可替換地或另外包括用于記錄和檢索第一用戶的音頻說話的一個(gè)或多個(gè)麥克風(fēng)。如果利用若干個(gè)麥克風(fēng)和/或相機(jī)，則可以通過處理來自麥克風(fēng)和/或相機(jī)的飛行時(shí)間信息來檢測(cè)第一用戶的位置/定位。指示識(shí)別裝置可以被媒體處理單元所包括或被實(shí)現(xiàn)為獨(dú)立單元。

根據(jù)本發(fā)明的另一實(shí)施例，被動(dòng)數(shù)據(jù)以比主動(dòng)數(shù)據(jù)的數(shù)據(jù)速率低的數(shù)據(jù)速率傳輸，其中相對(duì)于主動(dòng)數(shù)據(jù)，被動(dòng)數(shù)據(jù)被第一用戶以被動(dòng)延遲接收，其中被動(dòng)延遲對(duì)應(yīng)于開始于切換時(shí)間點(diǎn)且被留下要傳輸給第二用戶的第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間。該實(shí)施例解決了下述情況：其中在主動(dòng)模式中，音頻/視頻數(shù)據(jù)被實(shí)時(shí)傳輸，而在被動(dòng)模式中，音頻/視頻數(shù)據(jù)以比在主動(dòng)模式中低的速度通過流送而傳輸。在多于兩個(gè)用戶的情況下，在另一實(shí)施例中，通過以媒體流送單元(例如，網(wǎng)絡(luò)服務(wù)器)的形式存在的混合單元將被動(dòng)數(shù)據(jù)傳輸給第一用戶，從而引入被動(dòng)延遲作為流送延遲持續(xù)時(shí)間的流送延遲，例如1到10秒，優(yōu)選地3到5秒。因此，結(jié)合從切換時(shí)間點(diǎn)開始記錄第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間、從切換時(shí)間點(diǎn)開始將被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間加速重放到第二用戶、以及關(guān)斷記錄并開始將第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸?shù)降诙脩舻奶卣?，?dāng)查看記錄的第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的第一次結(jié)束與記錄的主動(dòng)數(shù)據(jù)的所重放的第二持續(xù)時(shí)間的第二次結(jié)束之間的同步延遲等于或小于預(yù)定持續(xù)時(shí)間時(shí)，這些相應(yīng)實(shí)施例是本發(fā)明的另一目的的解決方案，其提供了一種方法，該方法更好地減少當(dāng)會(huì)議會(huì)話的被動(dòng)用戶被轉(zhuǎn)變?yōu)橹鲃?dòng)用戶時(shí)的信息丟失，該被動(dòng)用戶以相比于主動(dòng)用戶的延遲接收音頻和/或視頻數(shù)據(jù)。

在進(jìn)一步實(shí)施例中，可以針對(duì)加速重放而預(yù)適應(yīng)流送在記錄期間流送延遲的被動(dòng)數(shù)據(jù)，例如，通過減少傳送延遲和/或省略流送延遲的被動(dòng)數(shù)據(jù)的互補(bǔ)編碼層。預(yù)適應(yīng)可以通過傳輸不同數(shù)據(jù)流到第一用戶和第二用戶而實(shí)現(xiàn)，第一用戶已經(jīng)指示他想要從被動(dòng)模式切換到主動(dòng)模式，第二用戶未指示他想要從被動(dòng)模式切換到主動(dòng)模式。可以在媒體處理單元中針對(duì)第一用戶生成預(yù)適應(yīng)的數(shù)據(jù)流?？梢栽诿襟w處理單元中針對(duì)其他潛在切換的被動(dòng)用戶生成相同或其他的預(yù)適應(yīng)數(shù)據(jù)流。

可以提供計(jì)算機(jī)程序產(chǎn)品，其在運(yùn)行于計(jì)算機(jī)上時(shí)使該計(jì)算機(jī)執(zhí)行如前所概述的本發(fā)明方法。該計(jì)算機(jī)程序產(chǎn)品可以是包括指令的軟件產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品可以被機(jī)器可讀介質(zhì)所包括，其中該機(jī)器可讀介質(zhì)可以是軟盤、cd(致密盤)、dvd(數(shù)字多功能盤)或任何其他合適的數(shù)字或模擬介質(zhì)。

本發(fā)明進(jìn)一步包括用于控制實(shí)時(shí)會(huì)議會(huì)話的通信系統(tǒng)，其包括：第一用戶的第一通信終端；第二用戶的第二通信終端；以及媒體處理單元，其中第一通信終端和第二通信終端連接到媒體處理單元，以用于在第一用戶和第二用戶之間傳輸音頻和/或視頻數(shù)據(jù)，其中通信系統(tǒng)被配置成允許會(huì)議會(huì)話包括：第一用戶的被動(dòng)模式，其中數(shù)據(jù)作為被動(dòng)數(shù)據(jù)而在第一通信終端處接收且被第一通信終端傳輸，但不被第二終端接收；以及第一用戶的主動(dòng)模式，其中數(shù)據(jù)作為主動(dòng)數(shù)據(jù)而被第一通信終端接收和傳輸，且被第二終端接收。通信系統(tǒng)進(jìn)一步包括：切換裝置，用于在切換時(shí)間點(diǎn)處從被動(dòng)模式切換到主動(dòng)模式，其中在切換后，第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間被留下要傳輸給第二用戶，第一持續(xù)時(shí)間在切換時(shí)間點(diǎn)處結(jié)束或開始于切換時(shí)間點(diǎn)；記錄裝置，用于對(duì)第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間進(jìn)行記錄，第二持續(xù)時(shí)間開始于切換時(shí)間點(diǎn)；重放裝置，用于與記錄相比，在切換后將被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間加速重放給第二用戶，重放開始于切換時(shí)間點(diǎn)；以及關(guān)斷裝置，用于當(dāng)在記錄期間第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的第一次結(jié)束與在記錄后主動(dòng)數(shù)據(jù)的所重放的第二持續(xù)時(shí)間的第二次結(jié)束之間的同步延遲等于或小于預(yù)定持續(xù)時(shí)間時(shí)，關(guān)斷記錄并開始將第一用戶的數(shù)據(jù)實(shí)時(shí)傳輸給第二用戶。

作為用于會(huì)議會(huì)話的多于兩個(gè)用戶的實(shí)施例，本發(fā)明包括通信系統(tǒng)，其進(jìn)一步包括：以媒體流送單元(例如，網(wǎng)絡(luò)服務(wù)器)的形式存在的混合單元，用于提供會(huì)議特征或會(huì)議單元，其中媒體處理單元和/或混合單元被布置在諸如專用自動(dòng)化交換分機(jī)之類的專用交換分機(jī)內(nèi)部。在會(huì)議會(huì)話中的音頻/視頻數(shù)據(jù)傳輸?shù)那闆r下，可以不經(jīng)由pbx而是經(jīng)由可連接到媒體處理單元的以網(wǎng)絡(luò)服務(wù)器的形式存在的媒體服務(wù)器來傳輸數(shù)據(jù)。網(wǎng)絡(luò)服務(wù)器和媒體處理單元可以鏈接到分解的pbx，其處置呼叫/會(huì)話控制和協(xié)議處置。媒體處理單元可以生成諸如反饋音之類的通告，并在混合音頻/視頻數(shù)據(jù)信號(hào)以及到第一和第二通信終端的連接方面處置會(huì)議。當(dāng)使用專用自動(dòng)交換分機(jī)(pabx)時(shí)，這種pbx可以被實(shí)現(xiàn)為自動(dòng)提供切換功能的服務(wù)器。根據(jù)本發(fā)明，在實(shí)施例中提出：媒體處理單元的部分或全部功能(諸如從被動(dòng)模式切換到主動(dòng)模式、記錄第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間、與記錄相比在切換后將被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間加速重放給第二用戶、以及當(dāng)在記錄期間第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間的第一次結(jié)束與在記錄后主動(dòng)數(shù)據(jù)的所重放的第二持續(xù)時(shí)間的第二次結(jié)束之間的同步延遲等于或小于預(yù)定持續(xù)時(shí)間時(shí)關(guān)斷記錄并開始將第一用戶的數(shù)據(jù)實(shí)時(shí)地傳輸?shù)降诙脩?和/或媒體流送器的部分或全部功能(諸如混合第一和第二用戶的數(shù)據(jù)流)被布置在諸如專用自動(dòng)交換分機(jī)之類的專用交換分機(jī)內(nèi)部。

以下參照附圖來強(qiáng)調(diào)本發(fā)明的進(jìn)一步實(shí)施例和優(yōu)點(diǎn)。對(duì)改善的清晰度，附圖并非真正按比例或成比例繪制。在附圖中，只要未以其他方式提及，相同的附圖標(biāo)記指示具有相同含義的相同部分。附圖圖示了：

圖1a、1b，第一實(shí)施例中的根據(jù)本發(fā)明的包括媒體處理單元的用于四個(gè)用戶的會(huì)議會(huì)話的通信系統(tǒng)的示意圖，

圖2，第二實(shí)施例中的根據(jù)本發(fā)明的包括靜音用戶的方法的示意時(shí)間線，

圖2a，根據(jù)本發(fā)明的圖2的示意時(shí)間線的流程圖，

圖3，第三實(shí)施例中的根據(jù)本發(fā)明的包括實(shí)時(shí)主動(dòng)模式和延遲被動(dòng)模式的方法的示意時(shí)間線，

圖4，根據(jù)本發(fā)明的圖3的示意時(shí)間線的流程圖，

圖5，第四實(shí)施例中的根據(jù)本發(fā)明的包括由通信系統(tǒng)添加的預(yù)期延遲的方法的示意時(shí)間線，

圖6，第五實(shí)施例中的根據(jù)本發(fā)明的包括在從被動(dòng)模式切換到主動(dòng)模式后的中斷的方法的示意時(shí)間線，以及

圖7，第六實(shí)施例中的根據(jù)本發(fā)明的包括在從被動(dòng)模式切換到主動(dòng)模式前的中斷的方法的示意時(shí)間線。

圖1a圖示了用于四個(gè)用戶的會(huì)議會(huì)話的通信系統(tǒng)100。第一用戶的通信終端1(例如，智能手機(jī)、平板pc、ip電話或pc客戶端)經(jīng)由連接鏈路6連接到以媒體流送器的形式(即，以網(wǎng)絡(luò)服務(wù)器的形式)存在的混合單元3或者會(huì)議單元。由通信系統(tǒng)100建立來自會(huì)議會(huì)話的用戶的數(shù)據(jù)的傳輸和混合。用于會(huì)議會(huì)話的用戶之間的數(shù)據(jù)傳輸?shù)钠渌麉f(xié)議是可能的。第二或更多用戶的附加通信終端5a、5b、5c(例如，有線電話或蜂窩電話)分別通過通信鏈路7a、7b和7c鏈接到混合單元3?；旌蠁卧?和媒體處理單元2被專用自動(dòng)化交換分機(jī)4所包括。當(dāng)用戶的音頻/視頻數(shù)據(jù)在通信終端1、5a、5b和5c之間向下游(即，從混合單元3到通信終端1、5a、5b、5c，也稱為從服務(wù)器到客戶端)和向上游(即，從通信終端1、5a、5b、5c中的至少一個(gè)到混合單元3，也稱為從客戶端到服務(wù)器)傳輸時(shí)，來自通信終端(也稱為客戶端)的數(shù)據(jù)的交換經(jīng)由混合單元3發(fā)生，而不涉及媒體處理單元2。在要連接的僅兩個(gè)用戶的實(shí)施例中，混合單元3將使第一用戶和第二用戶的數(shù)據(jù)通過而不進(jìn)行混合?？商鎿Q地，對(duì)于在需要時(shí)僅使用pbx或pabx的切換功能的第一通信終端(1)和第二通信終端(5a)之間的通信鏈路，混合單元可能缺失。

當(dāng)會(huì)議會(huì)話包括例如第一用戶的被動(dòng)模式(其中數(shù)據(jù)作為被動(dòng)數(shù)據(jù)而被第一通信終端1接收和傳輸，但不被第二終端5a、5b、5c接收，即，允許數(shù)據(jù)在混合單元3和第一通信終端1之間向上游和向下游傳輸，但不從混合單元3到第二通信終端5a、5b、5c向下游傳輸以及第一用戶的主動(dòng)模式時(shí)(其中數(shù)據(jù)被第一通信終端1從第二通信終端5a、5b、5c接收且被第一通信終端1傳輸?shù)降诙ㄐ沤K端5a、5b、5c，即，允許數(shù)據(jù)在混合單元3和第一通信終端1之間向下游和向上游傳輸以及在混合單元3和第二通信終端5a、5b、5c之間向下游和向上游傳輸時(shí)，可能的是，在從被動(dòng)模式切換到主動(dòng)模式后，第一用戶的被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間不被傳輸給第二用戶，且因此被留下要傳輸給第二用戶。如圖1b中所示，在這種情況下，第一通信終端1未直接連接到混合單元3，而是經(jīng)由通信鏈路8鏈接到媒體處理單元2，媒體處理單元2經(jīng)由通信鏈路9鏈接到混合單元3。取代在從被動(dòng)模式切換到主動(dòng)模式后經(jīng)由混合單元3直接傳輸語音/視頻數(shù)據(jù)給通信終端5a、5b、5c，在切換到主動(dòng)模式后，為了趕上會(huì)議會(huì)話的用戶之間的主動(dòng)模式中的實(shí)時(shí)會(huì)話，以比在記錄期間的速度更快的速度且與由媒體處理單元2進(jìn)行的記錄同時(shí)記錄和重放被留下要傳輸?shù)谋粍?dòng)數(shù)據(jù)的第一持續(xù)時(shí)間。

圖2圖示了第一用戶靜音的實(shí)施例的圖1b的情況，也稱為靜音開啟模式或靜音激活模式，這被定義為被動(dòng)模式，并且存在從混合單元3到媒體處理單元2的切換，混合單元3可以是會(huì)議單元(dsp單元)、會(huì)議服務(wù)器或媒體處理單元。在從混合單元3到媒體處理單元2的切換之后，從第一通信終端1接收的rtp分組在通信系統(tǒng)100中不再被導(dǎo)向到混合單元3，而是被導(dǎo)向到媒體處理單元2，其中媒體處理單元2發(fā)送(經(jīng)處理的)rtp分組到混合單元3。圖2中的上部區(qū)域1a表示第一通信終端1(所傳輸?shù)臄?shù)據(jù)的定時(shí))。圖2b中的下部區(qū)域2a表示記錄模式2r和重放模式2p中的媒體處理單元2。在從被動(dòng)模式切換到主動(dòng)模式的切換時(shí)間點(diǎn)13a之前，媒體處理單元2開始記錄11第一用戶何時(shí)激活靜音開啟12，這可以保留用于節(jié)省用于在媒體處理單元2中記錄的存儲(chǔ)器的時(shí)間窗口。圖2中顯示的水平箭頭12到26——以及圖3、5、6和7中的其他水平箭頭——的長度表示對(duì)彼此的相對(duì)持續(xù)時(shí)間/時(shí)間段(參見圖2左上角處的時(shí)間“t”——以及圖3、5、6和7中的“t”——的箭頭的方向)。

在靜音后的某個(gè)時(shí)間點(diǎn)處，第一用戶在表示語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間的箭頭13的開始處決定談話。在語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13的結(jié)束處檢測(cè)第一用戶的語音，語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13可以是大約1到3毫秒。當(dāng)在某時(shí)間后靜音被自動(dòng)去激活時(shí)，這意味著：在靜音持續(xù)時(shí)間期間，第一用戶所說的內(nèi)容在未被媒體處理單元2記錄的情況下將會(huì)丟失。第一用戶在靜音被去激活并且已經(jīng)在第一用戶和第二用戶之間向上游和向下游建立有效載荷時(shí)的時(shí)間點(diǎn)后繼續(xù)談話。

該實(shí)施例中的語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13是被動(dòng)數(shù)據(jù)的第一持續(xù)時(shí)間，其連同第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間14一起自從被動(dòng)模式切換到主動(dòng)模式的切換時(shí)間點(diǎn)13a開始被記錄。因此，在第二持續(xù)時(shí)間14的開始處，通過切換到主動(dòng)模式來自動(dòng)地對(duì)靜音進(jìn)行去激活，并且在語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13期間所說的無論什么內(nèi)容都從媒體處理單元2傳輸給到混合單元3。由于語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13的結(jié)束時(shí)間點(diǎn)不是預(yù)先知道的，因此可以由每用戶的個(gè)體輪轉(zhuǎn)記錄緩沖器針對(duì)會(huì)議會(huì)話的所有用戶而布置記錄(例如在媒體處理單元2或混合單元3處)，輪詢過程指代一種模式或排序，由此最近記錄以循環(huán)的方式蓋寫每用戶的先前記錄序列。

與記錄速度相比，針對(duì)下述操作選擇更快的速度：經(jīng)由媒體處理單元2加速重放被動(dòng)數(shù)據(jù)的所記錄的第一持續(xù)時(shí)間13和主動(dòng)數(shù)據(jù)的所記錄的第二持續(xù)時(shí)間14，以及經(jīng)由混合單元3和通信鏈路7a、7b、7c向通信終端5a、5b、5c傳輸它們(參見所重放的語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間23和所重放的第二持續(xù)時(shí)間24相對(duì)于所記錄的語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13和所記錄的第二持續(xù)時(shí)間14的更小長度)。如圖2中所示，記錄繼續(xù)第二持續(xù)時(shí)間15、16。只要在記錄期間第一用戶的主動(dòng)數(shù)據(jù)的第二持續(xù)時(shí)間16的第一次結(jié)束18與在記錄后主動(dòng)數(shù)據(jù)的所重放的第二持續(xù)時(shí)間26的第二次結(jié)束26a之間的同步延遲27等于或小于預(yù)定持續(xù)時(shí)間，則加速重放繼續(xù)。因此，媒體處理單元2繼續(xù)向混合單元3重放所記錄的第二持續(xù)時(shí)間15、16作為所重放的第二持續(xù)時(shí)間25、26，直到第一用戶的所重放的音頻/視頻數(shù)據(jù)處于同步延遲27的預(yù)定持續(xù)時(shí)間內(nèi)。當(dāng)同步延遲處于預(yù)定持續(xù)時(shí)間(其可以是10到100毫秒，優(yōu)選地是30到50毫秒)內(nèi)時(shí)，在媒體處理單元2不再記錄且不再重放的切換點(diǎn)17處存在記錄的關(guān)斷，使得混合單元3現(xiàn)在由通信終端1供給音頻/視頻數(shù)據(jù)(參見主動(dòng)模式中的第二持續(xù)時(shí)間19)，而沒有來自媒體處理單元2的參與或媒體處理單元2的繞過。這樣，通信系統(tǒng)100開始實(shí)時(shí)傳輸?shù)谝挥脩舻臄?shù)據(jù)至第二用戶。

圖2a的示意時(shí)間線的流程圖開始于第一用戶激活靜音s21，其中記錄s22開始，導(dǎo)致切換到媒體處理單元2，s23，這發(fā)起以語音活動(dòng)檢測(cè)的形式存在的靜音關(guān)閉檢測(cè)，s24。靜音關(guān)閉檢測(cè)繼續(xù)，直到第一用戶開始談話，導(dǎo)致從被動(dòng)模式切換到主動(dòng)模式以及與記錄的速度相比加速重放s25第一用戶的所記錄的/視頻數(shù)據(jù)。記錄繼續(xù)s26，只要最后記錄的會(huì)話時(shí)間差(也稱為同步延遲)小于以毫秒為單位測(cè)量的預(yù)定持續(xù)時(shí)間，s27(參見圖2a中的步驟s27中的xms，其中x是整數(shù)，例如1到100，優(yōu)選地是30-50，并且ms是毫秒)。一旦達(dá)到或縮短預(yù)定持續(xù)時(shí)間，就在更快模式中重放主動(dòng)數(shù)據(jù)的最后記錄的第二持續(xù)時(shí)間，s28。然后，通信系統(tǒng)100切換過去到第一通信終端1，s29，其中圖2a的流程結(jié)束。

圖3在包括實(shí)時(shí)主動(dòng)模式和延遲被動(dòng)模式的示意時(shí)間線中圖示了本發(fā)明的另一個(gè)實(shí)施例。第一通信終端1(及其數(shù)據(jù)傳輸?shù)臅r(shí)間線)由水平條1b表示，而媒體處理單元2由水平條2b表示。具有主動(dòng)和被動(dòng)參與者/用戶的會(huì)議會(huì)話由通信系統(tǒng)100建立。在主動(dòng)用戶和被動(dòng)用戶方面以不同方式服務(wù)于用戶，主動(dòng)用戶與經(jīng)由例如會(huì)議服務(wù)器3a而交換的實(shí)時(shí)媒體通信，被動(dòng)用戶通過流送36(例如，在例如由媒體流送器(典型地，網(wǎng)絡(luò)服務(wù)器)3b遞送的https上)接收媒體/數(shù)據(jù)，其中會(huì)議服務(wù)器和媒體流送器可以被混合單元3所包括。該實(shí)施例可以尤其出現(xiàn)在大量參與者(例如，數(shù)十個(gè)或數(shù)百個(gè)用戶作為被動(dòng)用戶和幾個(gè)用戶作為主動(dòng)用戶)的會(huì)議中。與主動(dòng)模式的實(shí)時(shí)通信相比，媒體流送可能受制于顯著的附加延遲(大致3-5秒)。因此，流送可能不適合于在線(即，實(shí)時(shí))通信，但可能足以節(jié)省用于大量被動(dòng)用戶的會(huì)議和/或混合單元處的處理能力，這是因?yàn)橹灰魉脱舆t未被停留在被動(dòng)模式中的用戶感知到，由被動(dòng)用戶發(fā)送的媒體就不需要被處理。

然而，被動(dòng)用戶可以改變成主動(dòng)用戶以貢獻(xiàn)于主動(dòng)用戶的討論。為此，例如，來自網(wǎng)絡(luò)研討會(huì)，概念“舉手”31對(duì)于被動(dòng)用戶30而言是已知的，被動(dòng)用戶30可以被靜音以避免大型或移動(dòng)配置中的背景噪聲?；诘谝挥脩舻脑撚脩糁甘荆鞒秩丝梢酝ㄟ^用戶交互或者通信系統(tǒng)100可以自動(dòng)地將第一用戶從被動(dòng)模式切換到主動(dòng)模式，32。由于不可忽略的編碼延遲，實(shí)時(shí)通信可以領(lǐng)先流送通信幾秒，導(dǎo)致要平滑地趕上(優(yōu)選地不被經(jīng)轉(zhuǎn)變的第一用戶33和/或諸如第二用戶之類的其他與會(huì)者感知)的時(shí)間間隙。與應(yīng)用自動(dòng)化解除靜音的語音(活動(dòng))檢測(cè)相比，這是類似的場(chǎng)景，區(qū)別在于：從被動(dòng)模式切換到主動(dòng)模式的時(shí)間點(diǎn)是已知的/由通信系統(tǒng)100而不是由第一用戶觸發(fā)的。因此，在該方面中，圖3中圖示的實(shí)施例是不同的。

在將第一用戶從被動(dòng)模式切換到主動(dòng)模式的時(shí)間點(diǎn)32處，媒體處理單元2開始對(duì)從第一通信設(shè)備1捕獲的實(shí)時(shí)媒體37進(jìn)行記錄37a。在切換時(shí)間點(diǎn)32處，媒體流送的重放緩沖器(未示出)仍可以包含媒體幀36b，其要被遞送給第一用戶的第一通信設(shè)備1以避免信息丟失。在另一實(shí)施例中，媒體處理單元2可以與規(guī)則媒體流送36并行提供至少一個(gè)預(yù)適應(yīng)/優(yōu)化的媒體/數(shù)據(jù)流36a，以用于節(jié)省重放期間的時(shí)間的目的，例如，以所處理的數(shù)據(jù)的形式，該所處理的數(shù)據(jù)包括與規(guī)則媒體流送36相比減少的傳送延遲和/或省略的互補(bǔ)編碼層。一旦由規(guī)則媒體流36和/或媒體處理單元2的預(yù)適應(yīng)媒體流送36a通過重放來遞送剩余幀36b，在切換到主動(dòng)模式后對(duì)實(shí)時(shí)數(shù)據(jù)37的所記錄的持續(xù)時(shí)間37a的加速重放(參見重放持續(xù)時(shí)間37b)就開始(無縫)繼續(xù)實(shí)時(shí)持續(xù)時(shí)間38的同時(shí)記錄的媒體(參見持續(xù)時(shí)間38a)的重放持續(xù)時(shí)間38b，直到所重放的媒體/數(shù)據(jù)與實(shí)時(shí)媒體適時(shí)地在預(yù)定同步延遲內(nèi)。這是第一用戶從媒體處理單元2切換到被混合單元3所包括的會(huì)議服務(wù)器的時(shí)間點(diǎn)。在記錄2r的關(guān)斷時(shí)間點(diǎn)17(也稱為同步點(diǎn)34)處，開始將實(shí)時(shí)數(shù)據(jù)從第一通信設(shè)備1傳輸?shù)交旌蠁卧?(即，向上游39)以及從混合單元3傳輸?shù)降谝煌ㄐ旁O(shè)備1(即，向下游39a)。遵循同步點(diǎn)34的第一用戶的過渡模式33和主動(dòng)用戶模式35被定義成被開始于切換時(shí)間點(diǎn)的主動(dòng)模式所包括。結(jié)論是，開始于持續(xù)時(shí)間37b的時(shí)間線與圖2中圖示的開始于第二持續(xù)時(shí)間24的解除靜音使用相對(duì)應(yīng)。

圖4圖示了圖3的示意時(shí)間線的流程圖，并開始于作為被動(dòng)用戶的第一用戶舉手，31。會(huì)議會(huì)話的主持人/管理員將第一用戶從被動(dòng)模式切換到主動(dòng)模式，s41，這停止了從媒體流送器到第一通信終端1的規(guī)則流送(向下游，s42)。其開始記錄s43音頻/視頻數(shù)據(jù)，其(在被動(dòng)模式中)從第二通信終端5a、5b、5c流送到媒體處理單元2(即，向上游)，其中媒體處理單元2可以可選地提供經(jīng)修改/預(yù)適應(yīng)的媒體流，以便除了s43的所記錄的流之外或取代s43的所記錄的流，促進(jìn)加速重放s44。從媒體處理單元2向第一通信終端1傳輸s45剩余排隊(duì)流送幀。一旦最后的幀已經(jīng)被傳輸s46到第一通信終端1，就開始s47重放預(yù)適應(yīng)的剩余排隊(duì)流送幀或沒有預(yù)適應(yīng)的剩余排隊(duì)流送幀并且隨后加速重放已被傳輸?shù)矫襟w處理單元2(向上游)的所記錄的媒體/數(shù)據(jù)。一旦所記錄的數(shù)據(jù)的最后記錄的內(nèi)容已經(jīng)被重放s48，就關(guān)斷第一用戶的記錄并且在主動(dòng)模式中將第一用戶從流送切換到實(shí)時(shí)，32。第一用戶然后處于主動(dòng)模式(激活)中，該主動(dòng)模式使得能夠在第一用戶和第二用戶之間進(jìn)行雙向?qū)崟r(shí)通信，s49，這結(jié)束圖4中圖示的流程。

圖5圖示了本發(fā)明方法的示意時(shí)間線，包括由通信系統(tǒng)100添加的預(yù)期延遲51以同步會(huì)議會(huì)話的用戶的數(shù)據(jù)流。為了避免重復(fù)描述，僅強(qiáng)調(diào)與圖2的區(qū)別。在圖5的上部區(qū)域1c中，表示了第一通信終端1，而在下部區(qū)域2c中表示媒體處理單元2。尤其是在ip上的實(shí)時(shí)通信中，可以引入故意延遲以便對(duì)流進(jìn)行同步。故意延遲使得其他用戶可能比第一用戶自己晚一些時(shí)間聽到第一用戶的語音?？梢酝ㄟ^對(duì)使用本發(fā)明方法的用戶的流進(jìn)行優(yōu)先化排序來利用該預(yù)期延遲。通過提供語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13的一部分作為預(yù)期延遲，將靜默持續(xù)時(shí)間制止到更小的量。取代生成用于對(duì)會(huì)議會(huì)話的用戶的數(shù)據(jù)流進(jìn)行同步的預(yù)期延遲，利用語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13的至少部分以提供預(yù)期延遲51。由于語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間是其中第一用戶仍然靜音的靜默持續(xù)時(shí)間，因此靜默持續(xù)時(shí)間可以出現(xiàn)在該預(yù)期延遲期間。

圖6圖示了本發(fā)明方法的示意時(shí)間線，其包括在從被動(dòng)模式切換到主動(dòng)模式后的中斷。該實(shí)施例解決了以下情況：其中在媒體處理單元2重放第一用戶的所記錄的音頻/視頻內(nèi)容的同時(shí)，作為另一用戶的第二用戶介入。在圖6的上部區(qū)域1d中，表示了第一通信終端1，而在下部區(qū)域2d中表示媒體處理單元2。該另一用戶正在中斷會(huì)話，這導(dǎo)致中斷時(shí)間點(diǎn)61處重放的中斷。當(dāng)該另一用戶正在中斷第一用戶時(shí)，可以禮貌的是，第一用戶停止談話并等待該另一用戶完成。這意味著：關(guān)斷記錄18的切換點(diǎn)17被移位到中斷時(shí)間點(diǎn)61。一旦這種情況發(fā)生，應(yīng)該被記錄的所有信息/數(shù)據(jù)就被自動(dòng)移位到通信終端1，由區(qū)域1d表示。記錄被停止，并且要記錄的后續(xù)持續(xù)時(shí)間64、65、66不被記錄，但被第一通信終端1向上游傳輸作為持續(xù)時(shí)間64a、65a、66a。因此，未記錄的持續(xù)時(shí)間64、65、66將不以加速方式被重放作為持續(xù)時(shí)間62b、25、26。中斷時(shí)間點(diǎn)61使得在重放期間，由其他用戶進(jìn)行的數(shù)據(jù)接收結(jié)束于時(shí)間點(diǎn)63a處。盡管第一用戶已經(jīng)在從時(shí)間點(diǎn)63a到62a的持續(xù)時(shí)間期間談話，但從時(shí)間點(diǎn)63a到時(shí)間點(diǎn)62a的導(dǎo)致記錄停止的所有其他信息被丟棄。從時(shí)間點(diǎn)63a到時(shí)間點(diǎn)62a的重放中的持續(xù)時(shí)間在圖6中被顯示為持續(xù)時(shí)間64b和65b，其在記錄中對(duì)應(yīng)于持續(xù)時(shí)間62。丟失持續(xù)時(shí)間64b之前的持續(xù)時(shí)間63對(duì)應(yīng)于中斷時(shí)間點(diǎn)61之前記錄的持續(xù)時(shí)間13。在時(shí)間點(diǎn)62a后，沒有說出哪個(gè)在圖6中由灰色持續(xù)時(shí)間64、64a、65、65a顯示。由于在中斷時(shí)間點(diǎn)61之后所說的任何內(nèi)容都將被傳遞以用于傳輸給第一通信終端1，因此這些分組/數(shù)據(jù)66、66a也以灰色示出。

圖7圖示了本發(fā)明方法的示意時(shí)間線，包括在從被動(dòng)模式到主動(dòng)模式的切換時(shí)間點(diǎn)17之前的中斷時(shí)間點(diǎn)71，導(dǎo)致用于記錄的關(guān)斷時(shí)間點(diǎn)18。在圖7的上部區(qū)域1e中，表示了第一通信終端1，而在下部區(qū)域2e中表示媒體處理單元2。當(dāng)?shù)谝挥脩粽勗挷⑶医獬o音尚未被檢測(cè)到時(shí)，可以引入中斷時(shí)間點(diǎn)71。在這種情況下，在記錄被關(guān)斷時(shí)的時(shí)間點(diǎn)18處，切換點(diǎn)17被移位到語音活動(dòng)檢測(cè)響應(yīng)持續(xù)時(shí)間13的結(jié)束。這意味著：在語音檢測(cè)后發(fā)送的信息丟失，圖7中以黑色示作持續(xù)時(shí)間72。因此，諸如第二用戶之類的其他用戶將僅聽到在靜音上時(shí)已經(jīng)說出的內(nèi)容。在靜音上時(shí)所記錄的數(shù)據(jù)已經(jīng)被記錄，且在第一用戶繼續(xù)說話時(shí)被重放。在示作間隙73和圖7的該持續(xù)時(shí)間中，除了他的實(shí)時(shí)語音外，第一用戶還將聽到如在記錄已經(jīng)被關(guān)斷之前在靜音上所記錄的他的語音。因此，第一用戶將知道他在中斷前所說的無論什么內(nèi)容不會(huì)丟失而是被傳輸給第二用戶。然后，由用戶負(fù)責(zé)決定誰將繼續(xù)談話，正如在當(dāng)兩個(gè)用戶嘗試同時(shí)談話時(shí)的會(huì)議中可能發(fā)生的那樣。

取代單個(gè)媒體處理單元2，可以利用若干個(gè)媒體處理單元以設(shè)施本發(fā)明。在該實(shí)施例中，由第二用戶觸發(fā)的中斷將從服務(wù)于第二用戶的相關(guān)媒體處理單元指示。

已關(guān)于前文中討論的單個(gè)或若干個(gè)實(shí)施例而公開的一個(gè)技術(shù)特征或若干個(gè)技術(shù)特征(例如，利用若干個(gè)媒體處理單元)也可以出現(xiàn)在另一實(shí)施例(例如，包括圖3和圖4中分別顯示的實(shí)時(shí)主動(dòng)模式和延遲被動(dòng)模式的實(shí)施例)中，除了它/它們未被指定為存在或者它/它們不可能出于技術(shù)原因而存在。