本發(fā)明涉及音視頻會(huì)議技術(shù)領(lǐng)域，具體涉及一種音視頻會(huì)議系統(tǒng)的混音方法、裝置及系統(tǒng)。

背景技術(shù)：

視頻會(huì)議系統(tǒng)可以使位于兩個(gè)或多個(gè)會(huì)場的用戶進(jìn)行實(shí)時(shí)地交談，并且現(xiàn)有視頻會(huì)議技術(shù)已經(jīng)能夠比較真實(shí)地將其他會(huì)場中發(fā)言人的影像呈現(xiàn)在本地會(huì)場的與會(huì)者面前，從而視頻會(huì)議系統(tǒng)中使用戶如同置身于真實(shí)的會(huì)議場景。

在音頻數(shù)據(jù)包方面，現(xiàn)有視頻會(huì)議技術(shù)下本地會(huì)場的與會(huì)者已可以同時(shí)聽取多個(gè)其他會(huì)場的發(fā)言內(nèi)容。具體地，中國專利文獻(xiàn)cn102364952a公開了一種多路音視頻同時(shí)播放時(shí)處理音視頻同步的方法，該方法中對(duì)n個(gè)用戶中的每個(gè)用戶均采集一路音頻數(shù)據(jù)包，然后將這n路音頻數(shù)據(jù)包進(jìn)行混音形成n+1路音頻數(shù)據(jù)包后，再分別發(fā)送給各個(gè)用戶。例如，分別采集a、b、c三個(gè)會(huì)場的音頻數(shù)據(jù)包，混音成四路音頻分別發(fā)送給a、b、c以及其他會(huì)場(例如沒有發(fā)言權(quán)的會(huì)場)，即第一混音對(duì)a、b、c三個(gè)會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音，將第一混音數(shù)據(jù)包發(fā)送給其他會(huì)場即可以使其他會(huì)場的與會(huì)者同時(shí)聽到a、b、c三個(gè)會(huì)場的發(fā)言內(nèi)容；第二混音僅對(duì)b、c兩個(gè)會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音，將第二混音數(shù)據(jù)包發(fā)送至a會(huì)場即可以使a會(huì)場的與會(huì)者同時(shí)聽到b、c兩個(gè)會(huì)場的發(fā)言內(nèi)容；第三混音僅對(duì)a、c兩個(gè)會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音，將第三混音數(shù)據(jù)包發(fā)送至b會(huì)場即可以使b會(huì)場的與會(huì)者同時(shí)聽到a、c兩個(gè)會(huì)場的發(fā)言內(nèi)容；第四混音僅對(duì)a、b兩個(gè)會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音，將第四混音數(shù)據(jù)包發(fā)送至c會(huì)場即可以使c會(huì)場的與會(huì)者同時(shí)聽到a、b兩個(gè)會(huì)場的發(fā)言內(nèi)容。

由于現(xiàn)有方式對(duì)每個(gè)會(huì)場僅采集一路音頻數(shù)據(jù)包，混音時(shí)只需將各個(gè)會(huì)場簡單組合后將相應(yīng)音頻數(shù)據(jù)包進(jìn)行混音，因而在每個(gè)會(huì)場只能聽到其他會(huì)場有聲音，而當(dāng)其他會(huì)場的聲音來自不同方位時(shí)，則無法對(duì)該不同方位的聲音進(jìn)行區(qū)分，無法實(shí)現(xiàn)聽聲辨位的功能。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)的混音方法、裝置及系統(tǒng)，以解決現(xiàn)有技術(shù)無法實(shí)現(xiàn)聽音辨位的問題。

根據(jù)第一方面，本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)的混音方法，包括：接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包；所述第一會(huì)場的多路音頻數(shù)據(jù)包由位于所述第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集；將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作；將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場；所述第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音；所述多個(gè)揚(yáng)聲器與所述多個(gè)麥克風(fēng)一一對(duì)應(yīng)；所述方法還包括：在所述將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作的步驟之前，使所述第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步；和/或，在所述將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟之前，使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步。

可選地，所述第一會(huì)場的每路音頻數(shù)據(jù)包攜帶有第一源標(biāo)識(shí)和采集時(shí)間戳；所述第一源標(biāo)識(shí)用于標(biāo)識(shí)音頻數(shù)據(jù)包來源于所述第一會(huì)場；所述采集時(shí)間戳用于標(biāo)識(shí)每路音頻數(shù)據(jù)包被采集的時(shí)間；所述使所述第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步的步驟包括：獲取攜帶有所述第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包的采集時(shí)間戳；判斷攜帶有所述第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包中預(yù)定采集時(shí)間戳相同的音頻數(shù)據(jù)包路數(shù)是否達(dá)到預(yù)定數(shù)量；所述預(yù)定數(shù)量為所述第一會(huì)場中麥克風(fēng)的數(shù)量；當(dāng)達(dá)到所述預(yù)定數(shù)量時(shí)，即完成所述預(yù)定采集時(shí)間戳所對(duì)應(yīng)時(shí)刻第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步操作；相應(yīng)地，所述將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作步驟中，所述第一會(huì)場的多路音頻數(shù)據(jù)包為攜帶有所述第一源標(biāo)識(shí)且采集時(shí)間戳相同的、所述預(yù)定數(shù)量路數(shù)的音頻數(shù)據(jù)包。

可選地，所述混音操作所得的各路混音數(shù)據(jù)包攜帶有混音時(shí)間戳，所述混音時(shí)間戳與每路混音數(shù)據(jù)包所對(duì)應(yīng)的所述第一會(huì)場的一路音頻數(shù)據(jù)包所攜帶的采集時(shí)間戳一致；所述使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步的步驟包括：獲取各路混音數(shù)據(jù)包所攜帶的混音時(shí)間戳；判斷所獲取到的各路混音數(shù)據(jù)包中混音時(shí)間戳相同的混音路數(shù)是否達(dá)到預(yù)定數(shù)量；所述預(yù)定數(shù)量為所述第一會(huì)場中麥克風(fēng)的數(shù)量；當(dāng)達(dá)到所述預(yù)定數(shù)量時(shí)，執(zhí)行所述將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟；相應(yīng)地，所述將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟中，所述混音操作所得的各路混音數(shù)據(jù)包為混音時(shí)間戳相同的、所述預(yù)定數(shù)量路數(shù)的混音數(shù)據(jù)包。

可選地，所述第二會(huì)場的音頻數(shù)據(jù)包路數(shù)與所述第一會(huì)場的音頻數(shù)據(jù)包路數(shù)相同；所述將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作的步驟包括：將所述第二會(huì)場中的每路音頻數(shù)據(jù)包分別與所述第一會(huì)場中的一路音頻數(shù)據(jù)包進(jìn)行混音操作。

根據(jù)第二方面，本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)的混音裝置，包括：接收單元，用于接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包；所述第一會(huì)場的多路音頻數(shù)據(jù)包由位于所述第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集；第一混音單元，用于將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作；發(fā)送單元，用于將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場；所述第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音；所述多個(gè)揚(yáng)聲器與所述多個(gè)麥克風(fēng)一一對(duì)應(yīng)；所述裝置還包括：第一同步單元，用于在所述將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作的步驟之前，使所述第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步；和/或，第二同步單元，用于在所述將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟之前，使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步。

可選地，所述第一會(huì)場的每路音頻數(shù)據(jù)包攜帶有第一源標(biāo)識(shí)和采集時(shí)間戳；所述第一源標(biāo)識(shí)用于標(biāo)識(shí)音頻數(shù)據(jù)包來源于所述第一會(huì)場；所述采集時(shí)間戳用于標(biāo)識(shí)每路音頻數(shù)據(jù)包被采集的時(shí)間；所述第一同步單元包括：第一獲取子單元，用于獲取攜帶有所述第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包的采集時(shí)間戳；第一判斷子單元，用于判斷攜帶有所述第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包中預(yù)定采集時(shí)間戳相同的音頻數(shù)據(jù)包路數(shù)是否達(dá)到預(yù)定數(shù)量；所述預(yù)定數(shù)量為所述第一會(huì)場中麥克風(fēng)的數(shù)量；當(dāng)達(dá)到所述預(yù)定數(shù)量時(shí)，即完成所述預(yù)定采集時(shí)間戳所對(duì)應(yīng)時(shí)刻第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步操作；相應(yīng)地，所述將所述第一會(huì)場的多路音頻數(shù)據(jù)包分別與所述多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作步驟中，所述第一會(huì)場的多路音頻數(shù)據(jù)包為攜帶有所述第一源標(biāo)識(shí)且采集時(shí)間戳相同的、所述預(yù)定數(shù)量路數(shù)的音頻數(shù)據(jù)包。

可選地，所述混音操作所得的各路混音數(shù)據(jù)包攜帶有混音時(shí)間戳，所述混音時(shí)間戳與每路混音數(shù)據(jù)包所對(duì)應(yīng)的所述第一會(huì)場的一路音頻數(shù)據(jù)包所攜帶的采集時(shí)間戳一致；所述第二同步單元包括：第二獲取子單元，用于獲取各路混音數(shù)據(jù)包所攜帶的混音時(shí)間戳；第二判斷子單元，用于判斷所獲取到的各路混音數(shù)據(jù)包中混音時(shí)間戳相同的混音路數(shù)是否達(dá)到預(yù)定數(shù)量；所述預(yù)定數(shù)量為所述第一會(huì)場中麥克風(fēng)的數(shù)量；當(dāng)達(dá)到所述預(yù)定數(shù)量時(shí)，執(zhí)行所述將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟；相應(yīng)地，所述將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟中，所述混音操作所得的各路混音數(shù)據(jù)包為混音時(shí)間戳相同的、所述預(yù)定數(shù)量路數(shù)的混音數(shù)據(jù)包。

可選地，所述第二會(huì)場的音頻數(shù)據(jù)包路數(shù)與所述第一會(huì)場的音頻數(shù)據(jù)包路數(shù)相同；所述裝置還包括：第二混音單元，用于將所述第二會(huì)場中的每路音頻數(shù)據(jù)包分別與所述第一會(huì)場中的一路音頻數(shù)據(jù)包進(jìn)行混音操作。

根據(jù)第三方面，本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)，包括：第一會(huì)場中多個(gè)麥克風(fēng)；第二會(huì)場的麥克風(fēng)；第三會(huì)場中與所述第一會(huì)場的麥克風(fēng)數(shù)量相同的多個(gè)揚(yáng)聲器，所述第三會(huì)場的揚(yáng)聲器與所述第一會(huì)場的麥克風(fēng)一一對(duì)應(yīng)；混音服務(wù)器，用于執(zhí)行第一方面及第一方面任意一種可選方式所述的音視頻會(huì)議系統(tǒng)的混音方法。

可選地，所述混音服務(wù)器包括多個(gè)混音器，所述混音器的數(shù)量不少于所述第一會(huì)場中麥克風(fēng)的數(shù)量。

本發(fā)明實(shí)施例所提供的音視頻會(huì)議系統(tǒng)的混音方法、裝置及系統(tǒng)，通過位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)采集得到多路音頻數(shù)據(jù)包，混音服務(wù)器接收來自該第一會(huì)場多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包，再將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作，最后將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場，第三會(huì)場中通過與第一會(huì)場麥克風(fēng)一一對(duì)應(yīng)的揚(yáng)聲器播放各路混音數(shù)據(jù)包。在進(jìn)行混音操作之前使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步，和/或，將各路混音數(shù)據(jù)包發(fā)送至第三會(huì)場之前使各路混音數(shù)據(jù)包的時(shí)間同步，從而使第一會(huì)場中同一時(shí)刻所采集的多路聲音在第三會(huì)場的播放時(shí)間差較小，進(jìn)而能夠體現(xiàn)第一會(huì)場中各個(gè)麥克風(fēng)對(duì)于同一發(fā)言內(nèi)容的采集時(shí)間差，使得第三會(huì)場的用戶可以根據(jù)該采集時(shí)間差判別聲音的位置，達(dá)到聽聲辨位的效果，如同自己置身于a會(huì)場中一樣。

附圖說明

通過參考附圖會(huì)更加清楚的理解本發(fā)明的特征和優(yōu)點(diǎn)，附圖是示意性的而不應(yīng)理解為對(duì)本發(fā)明進(jìn)行任何限制，在附圖中：

圖1示出了本發(fā)明實(shí)施例的應(yīng)用場景示意圖；

圖2示出了根據(jù)本發(fā)明實(shí)施例的一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖；

圖3示出了根據(jù)本發(fā)明實(shí)施例的另一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖；

圖4示出了根據(jù)本發(fā)明實(shí)施例的又一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖；

圖5示出了根據(jù)本發(fā)明實(shí)施例的再一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖；

圖6示出了根據(jù)本發(fā)明實(shí)施例的再一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖；

圖7示出了根據(jù)本發(fā)明實(shí)施例的一種音視頻會(huì)議系統(tǒng)的混音裝置的示意圖；

圖8示出了根據(jù)本發(fā)明實(shí)施例的另一種音視頻會(huì)議系統(tǒng)的混音裝置的示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1示出了本發(fā)明實(shí)施例的應(yīng)用場景示意圖。圖1中包括音頻采集會(huì)場(圖1中的a、b、c、d會(huì)場)、音頻播放會(huì)場(e會(huì)場)和混音服務(wù)。其中音頻采集會(huì)場中的第一會(huì)場(例如圖1中的a會(huì)場)采用多個(gè)麥克風(fēng)采集該會(huì)場中的聲音。音頻采集會(huì)場所采集到的各路音頻數(shù)據(jù)包傳輸至混音服務(wù)器進(jìn)行混音，將混音后所得的各路混音數(shù)據(jù)包發(fā)送至音頻播放會(huì)場進(jìn)行播放。音頻播放會(huì)場采用多個(gè)揚(yáng)聲器播放各路混音數(shù)據(jù)包(圖1中的e會(huì)場)。其中音頻播放會(huì)場的揚(yáng)聲器數(shù)量不小于音頻采集會(huì)場中第一會(huì)場的麥克風(fēng)數(shù)量。該混音服務(wù)器包括網(wǎng)絡(luò)接收模塊、網(wǎng)絡(luò)發(fā)送模塊和多個(gè)混音器，其中該混音器的數(shù)量不小于音頻采集會(huì)場中第一會(huì)場的麥克風(fēng)的數(shù)量。

由于a會(huì)場中發(fā)言人與各個(gè)麥克風(fēng)的距離不同，則各個(gè)麥克風(fēng)對(duì)于發(fā)言人同一時(shí)刻發(fā)言內(nèi)容的采集時(shí)間會(huì)有差別，e會(huì)場中的揚(yáng)聲器在播放對(duì)應(yīng)麥克風(fēng)所采集的聲音時(shí)，若能夠體現(xiàn)這第一時(shí)間差(即第一會(huì)場中多個(gè)麥克風(fēng)采集同一聲音時(shí)采集時(shí)間的差別)，則e會(huì)場中的用戶可以根據(jù)自身所聽到的a會(huì)場多路聲音的第一時(shí)間差判別聲音的位置，如同用戶自身置身于a會(huì)場中一樣。若實(shí)現(xiàn)e會(huì)場的揚(yáng)聲器在播放對(duì)應(yīng)麥克風(fēng)所采集的聲音時(shí)能夠體現(xiàn)上述第一時(shí)間差，則需要a會(huì)場的多路聲音中采集時(shí)刻相同的聲音在e會(huì)場中同時(shí)播放(或播放的時(shí)間差較小)。

需要補(bǔ)充說明的是，本申請(qǐng)中的麥克風(fēng)還可以是其他音頻采集設(shè)備，揚(yáng)聲器還可以是其他音頻播放設(shè)備。

實(shí)施例一

基于上述原理，本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)的混音方法，圖2示出了根據(jù)本發(fā)明實(shí)施例的一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖。該音視頻會(huì)議系統(tǒng)的混音方法適用于圖1中所示的混音服務(wù)器。根據(jù)圖2所示，該方法包括：

s101：接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包。第一會(huì)場的多路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集。

如圖1所示，a會(huì)場的3路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的3個(gè)對(duì)應(yīng)麥克風(fēng)所采集，a會(huì)場為第一會(huì)場。b、c、d會(huì)場為第二會(huì)場。混音服務(wù)器通過網(wǎng)絡(luò)接收模塊接收該a會(huì)場中的三路音頻數(shù)據(jù)包a1、a2和a3，并接收b會(huì)場的音頻數(shù)據(jù)包b1、c會(huì)場的音頻數(shù)據(jù)包c(diǎn)1、d會(huì)場的音頻數(shù)據(jù)包d1。

s102：使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步。

例如，由于網(wǎng)絡(luò)擁塞或延遲，第一會(huì)場中3個(gè)麥克風(fēng)同一時(shí)刻所采集得到的3個(gè)音頻數(shù)據(jù)包并不是同時(shí)到達(dá)混音服務(wù)器的。例如，在a會(huì)場發(fā)言人說一個(gè)“哈”字，3個(gè)麥克風(fēng)所采集到的3個(gè)音頻數(shù)據(jù)包a1、a2和a3，分別于t1時(shí)刻、t1+△t時(shí)刻和t1+2*△t時(shí)刻到達(dá)混音服務(wù)器，則混音后所得的各混音數(shù)據(jù)包之間存在第二時(shí)間差(即對(duì)于采集時(shí)刻相同的數(shù)據(jù)包，由于傳輸延時(shí)所導(dǎo)致的時(shí)間差)，例如第二時(shí)間差也為△t，加之從混音服務(wù)器傳輸至e會(huì)場的過程中還會(huì)有時(shí)間延遲，則混音后各混音數(shù)據(jù)包之間的第二時(shí)間差進(jìn)一步加大，從而容易在e會(huì)場播放出“哈哈哈”的情形。

步驟s102使第一會(huì)場中的3個(gè)麥克風(fēng)同一時(shí)刻所采集得到的3路音頻數(shù)據(jù)包的時(shí)間同步，也即，使第一會(huì)場中同一時(shí)刻所采集得到的音頻數(shù)據(jù)包同時(shí)進(jìn)入混音器進(jìn)行混音，從而可以縮小混音后第一會(huì)場各路音頻內(nèi)容(例如采集到的“哈”)之間的第二時(shí)間差，避免第一會(huì)場中多個(gè)麥克風(fēng)同一時(shí)刻所采集到的聲音(例如“哈”)在音頻播放會(huì)場中被播放為時(shí)差較大的多個(gè)同一聲音(例如“哈哈哈”)。

s103：將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作。

如圖1所示，步驟s102之后，第一會(huì)場a會(huì)場的音頻數(shù)據(jù)包為aa1、aa2和aa3，將這三個(gè)音頻數(shù)據(jù)包分別與b、c、d會(huì)場的音頻數(shù)據(jù)包b1、c1、d1進(jìn)行混音，如將aa1與b1進(jìn)行混音獲得混音數(shù)據(jù)包h1，將aa2與c1進(jìn)行混音獲得混音數(shù)據(jù)包h2，將aa3與d1進(jìn)行混音獲得混音數(shù)據(jù)包h3。

需要補(bǔ)充說明的是，第一會(huì)場的各路音頻數(shù)據(jù)包分別采用一個(gè)混音器進(jìn)行混音，如音頻數(shù)據(jù)包aa1采用混音器1、aa2采用混音器2、aa3采用混音器3。第二會(huì)場的音頻數(shù)據(jù)包可以采用各個(gè)混音器中的任意一者進(jìn)行混音，例如音頻數(shù)據(jù)包b1、c1和d1均可以采用圖1中所示的混音器1進(jìn)行混音；或者，若另有一個(gè)第二會(huì)場e，則其音頻數(shù)據(jù)包e1可以采用圖1中所示的任一混音器進(jìn)行混音。

s104：將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場。第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音。第三會(huì)場中的多個(gè)揚(yáng)聲器與第一會(huì)場中的多個(gè)麥克風(fēng)一一對(duì)應(yīng)。

例如，直接將圖1中所示的3路混音數(shù)據(jù)包h1、h2、h3通過網(wǎng)絡(luò)發(fā)送模塊發(fā)送至第三會(huì)場，第三會(huì)場通過3個(gè)揚(yáng)聲器播放這3路混音。

此處所指的“一一對(duì)應(yīng)”為一個(gè)麥克風(fēng)所采集的音頻由對(duì)應(yīng)的揚(yáng)聲器來播放；或者進(jìn)一步地，為了使第一會(huì)場的聲音能夠更加真實(shí)地呈現(xiàn)在第三會(huì)場，揚(yáng)聲器在第三會(huì)場中的擺放位置還與第一會(huì)場中麥克風(fēng)的擺放位置相對(duì)應(yīng)。

上述音視頻會(huì)議系統(tǒng)的混音方法，通過位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)采集得到多路音頻數(shù)據(jù)包，混音服務(wù)器接收來自該第一會(huì)場多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包，然后使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步，再將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作，最后將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場，第三會(huì)場中通過與第一會(huì)場麥克風(fēng)一一對(duì)應(yīng)的揚(yáng)聲器播放各路混音數(shù)據(jù)包，從而使第一會(huì)場中同一時(shí)刻所采集的多路聲音在第三會(huì)場的播放時(shí)間差較小，進(jìn)而能夠體現(xiàn)第一會(huì)場中各個(gè)麥克風(fēng)對(duì)于同一發(fā)言內(nèi)容的采集時(shí)間差，使得第三會(huì)場的用戶可以根據(jù)該采集時(shí)間差判別聲音的位置，達(dá)到聽聲辨位的效果，如同自己置身于a會(huì)場中一樣。

實(shí)施例二

圖3示出了根據(jù)本發(fā)明實(shí)施例的另一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖。該音視頻會(huì)議系統(tǒng)的混音方法適用于圖1中所示的混音服務(wù)器。根據(jù)圖3所示，該方法包括：

s201：接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包。第一會(huì)場的多路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集。該步驟請(qǐng)參照實(shí)施例一中的步驟s101類似，在此不再贅述。

s202：將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作。

如圖1所示，第一會(huì)場a會(huì)場的音頻數(shù)據(jù)包為a1、a2和a3，直接將這三個(gè)音頻數(shù)據(jù)包分別與b、c、d會(huì)場的音頻數(shù)據(jù)包b1、c1、d1進(jìn)行混音，如將a1與b1進(jìn)行混音獲得混音數(shù)據(jù)包h1，將a2與c1進(jìn)行混音獲得混音數(shù)據(jù)包h2，將a3與d1進(jìn)行混音獲得混音數(shù)據(jù)包h3。

需要補(bǔ)充說明的是，第一會(huì)場的各路音頻數(shù)據(jù)包分別采用一個(gè)混音器進(jìn)行混音，如音頻數(shù)據(jù)包a1采用混音器1、a2采用混音器2、a3采用混音器3。第二會(huì)場的音頻數(shù)據(jù)包可以采用各個(gè)混音器中的任意一者進(jìn)行混音，例如音頻數(shù)據(jù)包b1、c1和d1均可以采用圖1中所示的混音器1進(jìn)行混音；或者，若另有一個(gè)第二會(huì)場e，則其音頻數(shù)據(jù)包e1可以采用圖1中所示的任一混音器進(jìn)行混音。

s203：使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步。

例如，由于網(wǎng)絡(luò)擁塞或延遲，第一會(huì)場中3個(gè)麥克風(fēng)同一時(shí)刻所采集得到的3個(gè)音頻數(shù)據(jù)包并不是同時(shí)到達(dá)混音服務(wù)器的。例如，在a會(huì)場發(fā)言人說一個(gè)“哈”字，3個(gè)麥克風(fēng)所采集到的3個(gè)音頻數(shù)據(jù)包a1、a2和a3，分別于t1時(shí)刻、t1+△t時(shí)刻和t1+2*△t時(shí)刻到達(dá)混音服務(wù)器，則混音后所得的各混音數(shù)據(jù)包之間存在第二時(shí)間差(即對(duì)于采集時(shí)刻相同的數(shù)據(jù)包，由于傳輸延時(shí)所導(dǎo)致的時(shí)間差)，例如第二時(shí)間差也為△t，加之從混音服務(wù)器傳輸至e會(huì)場的過程中還會(huì)有時(shí)間延遲，則混音后各混音數(shù)據(jù)包之間的第二時(shí)間差進(jìn)一步加大，從而容易在e會(huì)場播放出“哈哈哈”的情形。

步驟s203使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步，也即，使各路混音數(shù)據(jù)包發(fā)送至第三會(huì)場之前，先對(duì)混音數(shù)據(jù)包進(jìn)行實(shí)際同步，尤其是使混音數(shù)據(jù)包中第一會(huì)場音頻內(nèi)容的時(shí)間同步，從而可以縮小混音后第一會(huì)場各路音頻內(nèi)容(例如采集到的“哈”)之間的第二時(shí)間差，避免第一會(huì)場中多個(gè)麥克風(fēng)同一時(shí)刻所采集到的聲音(例如“哈”)在音頻播放會(huì)場中被播放為時(shí)差較大的多個(gè)同一聲音(例如“哈哈哈”)。

s204：將各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場。第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音。第三會(huì)場中的多個(gè)揚(yáng)聲器與第一會(huì)場中的多個(gè)麥克風(fēng)一一對(duì)應(yīng)。該步驟請(qǐng)參照實(shí)施例一中的步驟s104類似，在此不再贅述。

上述音視頻會(huì)議系統(tǒng)的混音方法，通過位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)采集得到多路音頻數(shù)據(jù)包，混音服務(wù)器接收來自該第一會(huì)場多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包，然后將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作，再使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步，最后將各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場，第三會(huì)場中通過與第一會(huì)場麥克風(fēng)一一對(duì)應(yīng)的揚(yáng)聲器播放各路混音數(shù)據(jù)包，從而使第一會(huì)場中同一時(shí)刻所采集的多路聲音在第三會(huì)場的播放時(shí)間差較小，進(jìn)而能夠體現(xiàn)第一會(huì)場中各個(gè)麥克風(fēng)對(duì)于同一發(fā)言內(nèi)容的采集時(shí)間差，使得第三會(huì)場的用戶可以根據(jù)該采集時(shí)間差判別聲音的位置，達(dá)到聽聲辨位的效果，如同自己置身于a會(huì)場中一樣。

實(shí)施例三

圖4示出了根據(jù)本發(fā)明實(shí)施例的又一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖。該音視頻會(huì)議系統(tǒng)的混音方法適用于圖1中所示的混音服務(wù)器。根據(jù)圖4所示，該方法包括：

s301：接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包。第一會(huì)場的多路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集。該步驟與實(shí)施例一中的步驟s101類似，在此不再贅述。

s302：獲取攜帶有第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包的采集時(shí)間戳。

第一會(huì)場的每路音頻數(shù)據(jù)包攜帶有第一源標(biāo)識(shí)和采集時(shí)間戳。第一源標(biāo)識(shí)用于標(biāo)識(shí)音頻數(shù)據(jù)包來源于第一會(huì)場。采集時(shí)間戳用于標(biāo)識(shí)每路音頻數(shù)據(jù)包被采集的時(shí)間。

s303：判斷攜帶有第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包中預(yù)定采集時(shí)間戳相同的音頻數(shù)據(jù)包路數(shù)是否達(dá)到預(yù)定數(shù)量。預(yù)定數(shù)量為第一會(huì)場中麥克風(fēng)的數(shù)量。

s304：當(dāng)達(dá)到預(yù)定數(shù)量時(shí)，即完成預(yù)定采集時(shí)間戳所對(duì)應(yīng)時(shí)刻第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步操作。

上述步驟s302、s303和s304中，混音服務(wù)器接收到每個(gè)音頻數(shù)據(jù)包之后，查看音頻數(shù)據(jù)包中是否攜帶有第一源標(biāo)識(shí)，若有第一源標(biāo)識(shí)(即為第一會(huì)場的音頻數(shù)據(jù)包)則需要對(duì)該音頻數(shù)據(jù)包進(jìn)行時(shí)間同步。

具體地，對(duì)攜帶有第一源標(biāo)識(shí)的音頻數(shù)據(jù)包，獲取其所攜帶的采集時(shí)間戳之后，等待時(shí)間戳相同的音頻數(shù)據(jù)包達(dá)到預(yù)定數(shù)量時(shí)，即完成時(shí)間同步操作。例如第一會(huì)場中麥克風(fēng)的數(shù)量為3個(gè)，對(duì)于采集時(shí)間戳為t2的音頻數(shù)據(jù)包，等到采集時(shí)間戳為t2的音頻數(shù)據(jù)包(攜帶有第一源標(biāo)識(shí))的數(shù)量達(dá)到3個(gè)時(shí)，即完成時(shí)間同步步驟。可選地，當(dāng)?shù)却A(yù)定時(shí)間段后，若時(shí)間戳相同的音頻數(shù)據(jù)包未達(dá)到預(yù)定數(shù)量，則丟棄具有該時(shí)間戳的音頻數(shù)據(jù)包。

上述步驟s302、s303和s304具體實(shí)現(xiàn)了實(shí)施例一中的步驟s102“使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步”。

需要補(bǔ)充說明的是，本實(shí)施例中采用麥克風(fēng)采集聲音的時(shí)間對(duì)第一會(huì)場的各路音頻數(shù)據(jù)包進(jìn)行時(shí)間同步的，作為本實(shí)施方式的變形方式也可以采用麥克風(fēng)所采集到的數(shù)據(jù)發(fā)送至混音服務(wù)器之前任一時(shí)刻添加于所述音頻數(shù)據(jù)包中的時(shí)間戳。

s305：將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作。第一會(huì)場的多路音頻數(shù)據(jù)包為攜帶有第一源標(biāo)識(shí)且采集時(shí)間戳相同的、預(yù)定數(shù)量路數(shù)的音頻數(shù)據(jù)包。該步驟與實(shí)施例一中的步驟s103類似，在此不再贅述。

s306：將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場。第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音。第三會(huì)場中的多個(gè)揚(yáng)聲器與第一會(huì)場中的多個(gè)麥克風(fēng)一一對(duì)應(yīng)。該步驟與實(shí)施例一中的步驟s104類似，在此不再贅述。

實(shí)施例四

圖5示出了根據(jù)本發(fā)明實(shí)施例的再一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖。該音視頻會(huì)議系統(tǒng)的混音方法適用于圖1中所示的混音服務(wù)器。根據(jù)圖5所示，該方法包括：

s401：接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包。第一會(huì)場的多路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集。該步驟請(qǐng)參照實(shí)施例二中的步驟s201類似，在此不再贅述。

s402：將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作。該步驟請(qǐng)參照實(shí)施例二中的步驟s202類似，在此不再贅述。

s403：獲取各路混音數(shù)據(jù)包所攜帶的混音時(shí)間戳。

混音操作所得的各路混音數(shù)據(jù)包攜帶有混音時(shí)間戳，混音時(shí)間戳與每路混音數(shù)據(jù)包所對(duì)應(yīng)的第一會(huì)場的一路音頻數(shù)據(jù)包所攜帶的采集時(shí)間戳一致。如圖1所示，若第一會(huì)場的音頻數(shù)據(jù)包a1直接與第二會(huì)場b會(huì)場的音頻數(shù)據(jù)包b1混音得到混音數(shù)據(jù)包h1，則h1所攜帶的混音時(shí)間戳與a1所攜帶的采集時(shí)間戳是一致的。

s404：判斷所獲取到的各路混音數(shù)據(jù)包中混音時(shí)間戳相同的混音路數(shù)是否達(dá)到預(yù)定數(shù)量。該預(yù)定數(shù)量為第一會(huì)場中麥克風(fēng)的數(shù)量。

s405：當(dāng)達(dá)到預(yù)定數(shù)量時(shí)，將各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場。第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音。第三會(huì)場中的多個(gè)揚(yáng)聲器與第一會(huì)場中的多個(gè)麥克風(fēng)一一對(duì)應(yīng)。將各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟請(qǐng)參照實(shí)施例二中的步驟s204類似，在此不再贅述。

該步驟中混音操作所得的各路混音數(shù)據(jù)包為混音時(shí)間戳相同的、預(yù)定數(shù)量路數(shù)的混音數(shù)據(jù)包。

上述步驟s403、s404和s405中，混音服務(wù)器在將混音操作所得的各路混音數(shù)據(jù)包發(fā)送至第三會(huì)場之前，先獲取各路混音數(shù)據(jù)包所攜帶的混音時(shí)間戳，等待混音時(shí)間戳相同的混音數(shù)據(jù)包的數(shù)量達(dá)到預(yù)定數(shù)量時(shí)，即完成時(shí)間同步操作。例如第一會(huì)場中麥克風(fēng)的數(shù)量為3個(gè)，對(duì)于混音時(shí)間戳為t3的混音數(shù)據(jù)包，等到混音時(shí)間戳為t3的混音數(shù)據(jù)包的數(shù)量達(dá)到3個(gè)時(shí)，即完成時(shí)間同步步驟。可選地，當(dāng)?shù)却A(yù)定時(shí)間段后，若時(shí)間戳相同的音頻數(shù)據(jù)包未達(dá)到預(yù)定數(shù)量，則丟棄具有該時(shí)間戳的音頻數(shù)據(jù)包。

上述步驟s403、s404和s405具體實(shí)現(xiàn)了實(shí)施例二中的步驟s203“使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步”。

實(shí)施例五

圖6示出了根據(jù)本發(fā)明實(shí)施例的再一種音視頻會(huì)議系統(tǒng)的混音方法的流程圖。該音視頻會(huì)議系統(tǒng)的混音方法適用于圖1中所示的混音服務(wù)器。根據(jù)圖6所示，該方法包括：

s501：接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包。第一會(huì)場的多路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集。該步驟請(qǐng)參照實(shí)施例一中的步驟s101類似，在此不再贅述。

s502：使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步。該步驟請(qǐng)參照實(shí)施例一中的步驟s102類似，在此不再贅述。

需要補(bǔ)充說明的是，該步驟s502也可以替換為實(shí)施例三中的步驟s302、s303和s304。

s503：將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作。該步驟請(qǐng)參照實(shí)施例一中的步驟s103類似，在此不再贅述。

s504：使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步。該步驟請(qǐng)參照實(shí)施例二中的步驟s203類似，在此不再贅述。

需要補(bǔ)充說明的是，該步驟s504也可以替換為實(shí)施例四中的步驟s403、s404和s405。

s505：將各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場。第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音。第三會(huì)場中的多個(gè)揚(yáng)聲器與第一會(huì)場中的多個(gè)麥克風(fēng)一一對(duì)應(yīng)。該步驟請(qǐng)參照實(shí)施例一中的步驟s104類似，在此不再贅述。

實(shí)施例六

本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)的混音方法，與實(shí)施例一至實(shí)施例五的區(qū)別在于，第二會(huì)場的音頻數(shù)據(jù)包路數(shù)與第一會(huì)場的音頻數(shù)據(jù)包路數(shù)相同。

將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作的步驟包括：將第二會(huì)場中的每路音頻數(shù)據(jù)包分別與第一會(huì)場中的一路音頻數(shù)據(jù)包進(jìn)行混音操作。

如圖1所示，假設(shè)作為第二會(huì)場的b會(huì)場中也有3個(gè)麥克風(fēng)采集得到3路音頻數(shù)據(jù)包b1、b2、b3(與第一會(huì)場的音頻數(shù)據(jù)包的數(shù)量相同)，則第一會(huì)場a會(huì)場中的每路音頻數(shù)據(jù)包與該第二會(huì)場b會(huì)場的每路音頻數(shù)據(jù)包分別進(jìn)行混音，如a1與b1混音，a2與b2混音，a3與b3混音。也即b會(huì)場中的每路音頻也同第一會(huì)場a會(huì)場中的每路音頻一樣，分別采用一個(gè)混音器進(jìn)行混音。

實(shí)施例七

圖7示出了根據(jù)本發(fā)明實(shí)施例的一種音視頻會(huì)議系統(tǒng)的混音裝置的示意圖。該音視頻會(huì)議系統(tǒng)的混音裝置適用于圖1中所示的混音服務(wù)器。根據(jù)圖7所示，該裝置包括接收單元10、第一混音單元20和發(fā)送單元30。

接收單元10，用于接收第一會(huì)場的多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包。第一會(huì)場的多路音頻數(shù)據(jù)包由位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)所采集。

第一混音單元20，用于將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作。

發(fā)送單元30，用于將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場。第三會(huì)場包括多個(gè)揚(yáng)聲器，用于分別播放各路混音。多個(gè)揚(yáng)聲器在第三會(huì)場的方位與多個(gè)麥克風(fēng)在第一會(huì)場的方位一一對(duì)應(yīng)。

該裝置還包括第一同步單元40和/或第二同步單元50。

第一同步單元40，用于在將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作的步驟之前，使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步。

第二同步單元50，用于在將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟之前，使混音操作所得的各路混音數(shù)據(jù)包的時(shí)間同步。

上述音視頻會(huì)議系統(tǒng)的混音裝置，通過位于第一會(huì)場內(nèi)不同位置的多個(gè)對(duì)應(yīng)麥克風(fēng)采集得到多路音頻數(shù)據(jù)包，混音服務(wù)器接收來自該第一會(huì)場多路音頻數(shù)據(jù)包以及多個(gè)第二會(huì)場的音頻數(shù)據(jù)包，再將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作，最后將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場，第三會(huì)場中通過與第一會(huì)場麥克風(fēng)一一對(duì)應(yīng)的揚(yáng)聲器播放各路混音數(shù)據(jù)包。在進(jìn)行混音操作之前使第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步，和/或，將各路混音數(shù)據(jù)包發(fā)送至第三會(huì)場之前使各路混音數(shù)據(jù)包的時(shí)間同步，從而使第一會(huì)場中同一時(shí)刻所采集的多路聲音在第三會(huì)場的播放時(shí)間差較小，進(jìn)而能夠體現(xiàn)第一會(huì)場中各個(gè)麥克風(fēng)對(duì)于同一發(fā)言內(nèi)容的采集時(shí)間差，使得第三會(huì)場的用戶可以根據(jù)該采集時(shí)間差判別聲音的位置，達(dá)到聽聲辨位的效果，如同自己置身于a會(huì)場中一樣。

實(shí)施例八

圖8示出了根據(jù)本發(fā)明實(shí)施例的另一種音視頻會(huì)議系統(tǒng)的混音裝置的示意圖。該音視頻會(huì)議系統(tǒng)的混音裝置適用于圖1中所示的混音服務(wù)器，其與實(shí)施例七的區(qū)別在于，第一會(huì)場的每路音頻數(shù)據(jù)包攜帶有第一源標(biāo)識(shí)和采集時(shí)間戳。第一源標(biāo)識(shí)用于標(biāo)識(shí)音頻數(shù)據(jù)包來源于第一會(huì)場。采集時(shí)間戳用于標(biāo)識(shí)每路音頻數(shù)據(jù)包被采集的時(shí)間。第一同步單元40包括第一獲取子單元41和第一判斷子單元42。

第一獲取子單元41，用于獲取攜帶有第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包的采集時(shí)間戳。

第一判斷子單元42，用于判斷攜帶有第一源標(biāo)識(shí)的每路音頻數(shù)據(jù)包中預(yù)定采集時(shí)間戳相同的音頻數(shù)據(jù)包路數(shù)是否達(dá)到預(yù)定數(shù)量。預(yù)定數(shù)量為第一會(huì)場中麥克風(fēng)的數(shù)量。

當(dāng)達(dá)到預(yù)定數(shù)量時(shí)，即完成預(yù)定采集時(shí)間戳所對(duì)應(yīng)時(shí)刻第一會(huì)場的多路音頻數(shù)據(jù)包的時(shí)間同步操作。

相應(yīng)地，將第一會(huì)場的多路音頻數(shù)據(jù)包分別與多個(gè)第二會(huì)場的音頻數(shù)據(jù)包進(jìn)行混音操作步驟中，第一會(huì)場的多路音頻數(shù)據(jù)包為攜帶有第一源標(biāo)識(shí)且采集時(shí)間戳相同的、預(yù)定數(shù)量路數(shù)的音頻數(shù)據(jù)包。

作為本實(shí)施例的一種可選實(shí)施方式，混音操作所得的各路混音數(shù)據(jù)包攜帶有混音時(shí)間戳，混音時(shí)間戳與每路混音數(shù)據(jù)包所對(duì)應(yīng)的第一會(huì)場的一路音頻數(shù)據(jù)包所攜帶的采集時(shí)間戳一致。第二同步單元50包括第二獲取子單元51和第二判斷子單元52。

第二獲取子單元51，用于獲取各路混音數(shù)據(jù)包所攜帶的混音時(shí)間戳。

第二判斷子單元52，用于判斷所獲取到的各路混音數(shù)據(jù)包中混音時(shí)間戳相同的混音路數(shù)是否達(dá)到預(yù)定數(shù)量。預(yù)定數(shù)量為第一會(huì)場中麥克風(fēng)的數(shù)量。

當(dāng)達(dá)到預(yù)定數(shù)量時(shí)，執(zhí)行將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟。

相應(yīng)地，將混音操作所得的各路混音數(shù)據(jù)包分別發(fā)送至第三會(huì)場的步驟中，混音操作所得的各路混音數(shù)據(jù)包為混音時(shí)間戳相同的、預(yù)定數(shù)量路數(shù)的混音數(shù)據(jù)包。

作為本實(shí)施例的一種可選實(shí)施方式，第二會(huì)場的音頻數(shù)據(jù)包路數(shù)與第一會(huì)場的音頻數(shù)據(jù)包路數(shù)相同。該裝置還包括：第二混音單元60，用于將第二會(huì)場中的每路音頻數(shù)據(jù)包分別與第一會(huì)場中的一路音頻數(shù)據(jù)包進(jìn)行混音操作。

實(shí)施例九

本發(fā)明實(shí)施例提供了一種音視頻會(huì)議系統(tǒng)，如圖1所示，包括第一會(huì)場中多個(gè)麥克風(fēng)、第二會(huì)場的麥克風(fēng)、第三會(huì)場中與第一會(huì)場的麥克風(fēng)數(shù)量相同的多個(gè)揚(yáng)聲器和混音服務(wù)器。第三會(huì)場的揚(yáng)聲器與第一會(huì)場的麥克風(fēng)一一對(duì)應(yīng)。

該混音服務(wù)器用于執(zhí)行實(shí)施例一至六任一所述的音視頻會(huì)議系統(tǒng)的混音方法。

作為本實(shí)施例的一種可選實(shí)施方式，混音服務(wù)器包括多個(gè)混音器，混音器的數(shù)量不少于第一會(huì)場中麥克風(fēng)的數(shù)量。

雖然結(jié)合附圖描述了本發(fā)明的實(shí)施例，但是本領(lǐng)域技術(shù)人員可以在不脫離本發(fā)明的精神和范圍的情況下作出各種修改和變型，這樣的修改和變型均落入由所附權(quán)利要求所限定的范圍之內(nèi)。