本公開涉及移動(dòng)通信技術(shù)領(lǐng)域，尤其涉及一種直播處理方法、裝置、終端設(shè)備及系統(tǒng)。

背景技術(shù)：

隨著移動(dòng)直播軟件的日益發(fā)展，移動(dòng)直播漸漸成為一種深受用戶喜好的直播方式。從早年的PC直播、網(wǎng)頁直播、到現(xiàn)在的手機(jī)APP(Application，應(yīng)用程序)直播，移動(dòng)直播被越來越多的用戶所接受和喜愛。在移動(dòng)直播中，主播的主播客戶端(簡稱主播端)可以通過直播軟件向觀眾進(jìn)行直播。當(dāng)前的直播類產(chǎn)品，大多數(shù)是一人主播，目前也出現(xiàn)有連麥模式的直播，觀眾可以同時(shí)看到兩個(gè)主播進(jìn)行雙人直播互動(dòng)。所謂麥就是麥克風(fēng)的簡稱，連麥?zhǔn)侵冈邴溞蚰Ｊ较聦?shí)現(xiàn)多人同時(shí)上麥說話的目的。

但是現(xiàn)有的連麥模式的直播處理方法中，存在以下問題：兩個(gè)主播客戶端分屬兩路視頻，這期間的交互會(huì)出現(xiàn)視頻延遲，導(dǎo)致兩個(gè)主播之間說話時(shí)快時(shí)慢，經(jīng)常會(huì)有沖突，觀眾和主播都會(huì)覺得視聽體驗(yàn)差，影響使用體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

本公開提供了一種直播處理方法、裝置、終端設(shè)備及系統(tǒng)，能解決多人直播時(shí)的通信延遲問題，提高用戶體驗(yàn)。

根據(jù)本公開實(shí)施例的第一方面，提供一種直播處理方法，用于主播客戶端，包括：

與嘉賓客戶端建立直播連線連接；

接收所述嘉賓客戶端發(fā)送的嘉賓音頻流；

將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流；

向服務(wù)器發(fā)送所述目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

可選的，所述方法還包括：

接收所述嘉賓客戶端發(fā)送的嘉賓視頻流；

將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流；

向服務(wù)器發(fā)送所述目標(biāo)視頻流，以使所述服務(wù)器將所述目標(biāo)視頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

可選的，所述方法還包括：

當(dāng)檢測到所述主播音頻流或所述嘉賓音頻流中存在預(yù)設(shè)關(guān)鍵詞時(shí)，在直播畫面中顯示所述預(yù)設(shè)關(guān)鍵詞對(duì)應(yīng)的動(dòng)畫。

可選的，所述方法還包括：

當(dāng)檢測到所述主播視頻流或所述嘉賓視頻流中存在預(yù)設(shè)動(dòng)作或預(yù)設(shè)表情時(shí)，在直播畫面中顯示所述預(yù)設(shè)動(dòng)作或所述預(yù)設(shè)表情對(duì)應(yīng)的動(dòng)畫。

可選的，所述接收所述嘉賓客戶端發(fā)送的嘉賓音頻流，包括：

基于用戶數(shù)據(jù)報(bào)協(xié)議UDP的實(shí)時(shí)傳輸協(xié)議RTP接收所述嘉賓客戶端發(fā)送的嘉賓音頻流。

可選的，所述與嘉賓客戶端建立直播連線連接，包括：

根據(jù)用戶選擇指令，向所述嘉賓客戶端發(fā)送連麥邀請(qǐng)消息，所述用戶選擇指令中攜帶有所述嘉賓客戶端的標(biāo)識(shí)信息；

當(dāng)接收到所述嘉賓客戶端返回的連麥確認(rèn)消息時(shí)，與所述嘉賓客戶端建立直播連線連接。

根據(jù)本公開實(shí)施例的第二方面，提供一種直播處理方法，用于嘉賓客戶端，包括：

與主播客戶端建立直播連線連接；

向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流；

接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

可選的，所述方法還包括：

向所述主播客戶端發(fā)送嘉賓視頻流，以使所述主播客戶端將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成得到目標(biāo)視頻流；

接收所述服務(wù)器發(fā)送的所述目標(biāo)視頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

可選的，所述向所述主播客戶端發(fā)送嘉賓音頻流包括：

基于用戶數(shù)據(jù)報(bào)協(xié)議UDP的實(shí)時(shí)傳輸協(xié)議RTP向所述主播客戶端發(fā)送嘉賓音頻流。

可選的，所述與主播客戶端建立直播連線連接，包括：

接收所述主播客戶端根據(jù)用戶選擇指令發(fā)送的連麥邀請(qǐng)消息，所述用戶選擇指令中攜帶有所述嘉賓客戶端的標(biāo)識(shí)信息；

向所述主播客戶端發(fā)送連麥確認(rèn)消息，與所述主播客戶端建立直播連線連接。

根據(jù)本公開實(shí)施例的第三方面，提供一種直播處理裝置，位于主播客戶端，包括：

第一連接模塊，用于與嘉賓客戶端建立直播連線連接；

第一音頻接收模塊，用于接收所述嘉賓客戶端發(fā)送的嘉賓音頻流；

音頻合成模塊，用于將本地的主播音頻流與所述第一音頻接收模塊接收的嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流；

音頻輸出模塊，用于向服務(wù)器發(fā)送所述音頻合成模塊合成的目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

可選的，所述裝置還包括：

第一視頻接收模塊，用于接收所述嘉賓客戶端發(fā)送的嘉賓視頻流；

視頻合成模塊，用于將本地的主播視頻流與所述視頻接收模塊接收的嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流；

視頻輸出模塊，用于向服務(wù)器發(fā)送所述視頻合成模塊合成的目標(biāo)視頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

可選的，所述裝置還包括：

動(dòng)畫模塊，用于當(dāng)檢測到所述主播音頻流或所述嘉賓音頻流中存在預(yù)設(shè)關(guān)鍵詞時(shí)，在直播畫面中顯示所述預(yù)設(shè)關(guān)鍵詞對(duì)應(yīng)的動(dòng)畫；或者，

當(dāng)檢測到所述主播視頻流或所述嘉賓視頻流中存在預(yù)設(shè)動(dòng)作或預(yù)設(shè)表情時(shí)，在直播畫面中顯示所述預(yù)設(shè)動(dòng)作或所述預(yù)設(shè)表情對(duì)應(yīng)的動(dòng)畫。

根據(jù)本公開實(shí)施例的第四方面，提供一種直播處理裝置，位于嘉賓客戶端，包括：

第二連接模塊，用于與主播客戶端建立直播連線連接；

音頻發(fā)送模塊，用于向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流；

第二音頻接收模塊，用于接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

可選的，所述裝置還包括：

視頻發(fā)送模塊，用于向所述主播客戶端發(fā)送嘉賓視頻流，以使所述主播客戶端將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成得到目標(biāo)視頻流；

第二視頻接收模塊，用于接收所述服務(wù)器發(fā)送的所述目標(biāo)視頻流，其中所述目標(biāo)視頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

根據(jù)本公開實(shí)施例的第五方面，提供一種終端設(shè)備，包括：

處理器和用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：

與嘉賓客戶端建立直播連線連接；

接收所述嘉賓客戶端發(fā)送的嘉賓音頻流；

將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流；

向服務(wù)器發(fā)送所述目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

根據(jù)本公開實(shí)施例的第六方面，提供一種終端設(shè)備，包括：

處理器和用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：

與主播客戶端建立直播連線連接；

向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流；

接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

根據(jù)本公開實(shí)施例的第七方面，提供一種直播處理系統(tǒng)，包括：

主播客戶端，用于與嘉賓客戶端建立直播連線連接，接收所述嘉賓客戶端發(fā)送的嘉賓音頻流，將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，向服務(wù)器發(fā)送所述目標(biāo)音頻流；

服務(wù)器，用于將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及所述嘉賓客戶端；

嘉賓客戶端，用于向所述主播客戶端發(fā)送嘉賓音頻流，接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流。

可選的，所述主播客戶端接收所述嘉賓客戶端發(fā)送的嘉賓視頻流，將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流，向服務(wù)器發(fā)送所述目標(biāo)視頻流；

所述服務(wù)器將從所述主播客戶端接收的目標(biāo)視頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

本公開在直播過程中，主播客戶端接收嘉賓客戶端發(fā)送的嘉賓音頻流后，可以先將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，再向服務(wù)器發(fā)送所述目標(biāo)音頻流以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端，這樣就使得在觀眾客戶端及嘉賓客戶端面前播放的是合成處理后的流暢的音頻，不會(huì)存在之前因?yàn)闀r(shí)延導(dǎo)致主播客戶端與嘉賓客戶端之間的音頻對(duì)話顯得時(shí)快時(shí)慢或沖突的問題，因此可以解決直播過程中的通信延遲問題，提高直播的音頻效果和用戶的使用體驗(yàn)。

本公開還可以對(duì)視頻流進(jìn)行合成，可以將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成得到目標(biāo)視頻流后，再向服務(wù)器發(fā)送所述目標(biāo)視頻流，以使所述服務(wù)器將所述目標(biāo)視頻流發(fā)送給觀眾客戶端及嘉賓客戶端，這樣就使得在觀眾客戶端及嘉賓客戶端面前播放的是合成處理后的流暢的視頻，因此可以提高直播的視頻效果和用戶的使用體驗(yàn)。

本公開還可以當(dāng)檢測到所述主播音頻流或所述嘉賓音頻流中存在預(yù)設(shè)關(guān)鍵詞時(shí)，在直播畫面中顯示所述預(yù)設(shè)關(guān)鍵詞對(duì)應(yīng)的動(dòng)畫；或者，當(dāng)檢測到所述主播視頻流或所述嘉賓視頻流中存在預(yù)設(shè)動(dòng)作或預(yù)設(shè)表情時(shí)，在直播畫面中顯示所述預(yù)設(shè)動(dòng)作或所述預(yù)設(shè)表情對(duì)應(yīng)的動(dòng)畫，這樣可以提高直播過程中的用戶視覺系效果和使用體驗(yàn)。

本公開在直播過程中，主播客戶端還可以通過UDP(User Datagram Protocol，用戶數(shù)據(jù)報(bào)協(xié)議)的RTP(Real-time Transport Protocol，實(shí)時(shí)傳輸協(xié)議)與所述嘉賓客戶端進(jìn)行音頻收發(fā)，UDP主要就是用于對(duì)高速傳輸和實(shí)時(shí)性有較高要求的通信或廣播通信，網(wǎng)絡(luò)負(fù)荷比一般直播所使用的TCP(Transmission Control Protocol，傳輸控制協(xié)議)小，傳輸速度也要比TCP快。另外RTP協(xié)議是為數(shù)據(jù)提供了具有實(shí)時(shí)特征的端對(duì)端傳送服務(wù)，如在組播或單播網(wǎng)絡(luò)服務(wù)下的交互式視頻音頻或模擬數(shù)據(jù)等。因此本公開使用UDP協(xié)議進(jìn)行音頻通話也可以極大減小通信延遲。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本公開的實(shí)施例，并與說明書一起用于解釋本公開的原理。

圖1是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理方法的流程圖。

圖2是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理方法的另一流程圖。

圖3是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理方法的另一流程圖。

圖4是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的框圖。

圖5是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的另一框圖。

圖6是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的另一框圖。

圖7是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的另一框圖。

圖8是本公開根據(jù)一示例性實(shí)施例示出的一種終端設(shè)備的一結(jié)構(gòu)框圖。

圖9是本公開根據(jù)一示例性實(shí)施例示出的一種終端設(shè)備的一結(jié)構(gòu)框圖。

圖10是本公開根據(jù)一示例性實(shí)施例示出的一種設(shè)備的一結(jié)構(gòu)框圖。

圖11是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理系統(tǒng)的一結(jié)構(gòu)框圖。

具體實(shí)施方式

這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。

在本公開使用的術(shù)語是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本公開。在本公開和所附權(quán)利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。

應(yīng)當(dāng)理解，盡管在本公開可能采用術(shù)語第一、第二、第三等來描述各種信息，但這些信息不應(yīng)限于這些術(shù)語。這些術(shù)語僅用來將同一類型的信息彼此區(qū)分開。例如，在不脫離本公開范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決于語境，如在此所使用的詞語“如果”可以被解釋成為“在……時(shí)”或“當(dāng)……時(shí)”或“響應(yīng)于確定”。

本公開提供了一種直播處理方法，能解決多人直播時(shí)的通信延遲問題，提高用戶體驗(yàn)。

圖1是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理方法的流程圖。

該方法可以應(yīng)用于主播客戶端中，如圖1所示，該方法可以包括以下步驟：

在步驟101中，與嘉賓客戶端建立直播連線連接。

該步驟中，主播客戶端可以根據(jù)用戶選擇指令，向所述嘉賓客戶端發(fā)送連麥邀請(qǐng)消息，所述用戶選擇指令中攜帶有所述嘉賓客戶端的標(biāo)識(shí)信息；當(dāng)接收到所述嘉賓客戶端返回的連麥確認(rèn)消息時(shí)，與所述嘉賓客戶端建立直播連線連接。

在步驟102中，接收所述嘉賓客戶端發(fā)送的嘉賓音頻流。

該步驟中，主播客戶端可以基于用戶數(shù)據(jù)報(bào)協(xié)議UDP的實(shí)時(shí)傳輸協(xié)議RTP接收所述嘉賓客戶端發(fā)送的嘉賓音頻流。

在步驟103中，將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流。

該步驟中，主播客戶端可以將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流。

在步驟104中，向服務(wù)器發(fā)送所述目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

其中，上述方法還可以包括：接收所述嘉賓客戶端發(fā)送的嘉賓視頻流；將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流；向服務(wù)器發(fā)送所述目標(biāo)視頻流，以使所述服務(wù)器將所述目標(biāo)視頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

其中，上述方法還可以包括：當(dāng)檢測到所述主播音頻流或所述嘉賓音頻流中存在預(yù)設(shè)關(guān)鍵詞時(shí)，在直播畫面中顯示所述預(yù)設(shè)關(guān)鍵詞對(duì)應(yīng)的動(dòng)畫。

其中，上述方法還可以包括：當(dāng)檢測到所述主播視頻流或所述嘉賓視頻流中存在預(yù)設(shè)動(dòng)作或預(yù)設(shè)表情時(shí)，在直播畫面中顯示所述預(yù)設(shè)動(dòng)作或所述預(yù)設(shè)表情對(duì)應(yīng)的動(dòng)畫，這樣可以提高直播過程中的用戶視覺系效果和使用體驗(yàn)。

由該實(shí)施例可見，本公開在直播過程中，主播客戶端接收嘉賓客戶端發(fā)送的嘉賓音頻流后，可以先將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，再向服務(wù)器發(fā)送所述目標(biāo)音頻流以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端，這樣就使得在觀眾客戶端及嘉賓客戶端面前播放的是合成處理后的流暢的音頻，不會(huì)存在之前因?yàn)闀r(shí)延導(dǎo)致主播客戶端與嘉賓客戶端之間的音頻對(duì)話顯得時(shí)快時(shí)慢或沖突的問題，因此可以解決直播過程中的通信延遲問題，提高直播的音頻效果和用戶的使用體驗(yàn)。

圖2是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理方法的另一流程圖。

該方法可以應(yīng)用于嘉賓客戶端中，如圖2所示，該方法可以包括以下步驟：

在步驟201中，與主播客戶端建立直播連線連接。

該步驟中，嘉賓客戶端可以接收所述主播客戶端根據(jù)用戶選擇指令發(fā)送的連麥邀請(qǐng)消息，所述用戶選擇指令中攜帶有所述嘉賓客戶端的標(biāo)識(shí)信息；向所述主播客戶端發(fā)送連麥確認(rèn)消息，與所述主播客戶端建立直播連線連接。

在步驟202中，向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流。

該步驟中，嘉賓客戶端可以基于用戶數(shù)據(jù)報(bào)協(xié)議UDP的實(shí)時(shí)傳輸協(xié)議RTP向所述主播客戶端發(fā)送嘉賓音頻流。

在步驟203中，接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

其中，上述方法還可以包括：向所述主播客戶端發(fā)送嘉賓視頻流，以使所述主播客戶端將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成得到目標(biāo)視頻流；接收所述服務(wù)器發(fā)送的所述目標(biāo)視頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

從上述實(shí)施例可以看出，本公開在直播過程中，嘉賓客戶端是將嘉賓音頻流發(fā)送給主播客戶端以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流，主播客戶端再向服務(wù)器發(fā)送所述目標(biāo)音頻流以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端，這樣就使得在觀眾客戶端及嘉賓客戶端面前播放的是合成處理后的流暢的音頻，不會(huì)存在之前因?yàn)闀r(shí)延導(dǎo)致主播客戶端與嘉賓客戶端之間的音頻對(duì)話顯得時(shí)快時(shí)慢或沖突的問題，因此可以解決直播過程中的通信延遲問題，提高直播的音頻效果和用戶的使用體驗(yàn)。

圖3是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理方法的另一流程圖。

該方法可以應(yīng)用于終端設(shè)備中。圖3相對(duì)于圖1和圖2更詳細(xì)描述了本發(fā)明方案，并描述了主播客戶端和嘉賓客戶端的交互過程。

如圖3所示，該方法可以包括以下步驟：

在步驟301中，主播客戶端與嘉賓客戶端建立直播連線連接。

該步驟中，主播客戶端與嘉賓客戶端可以通過無線網(wǎng)絡(luò)建立直播連線連接，也就是主播和嘉賓可以進(jìn)行兩人直播。

在步驟302中，主播客戶端基于用戶數(shù)據(jù)報(bào)協(xié)議UDP的實(shí)時(shí)傳輸協(xié)議RTP接收所述嘉賓客戶端發(fā)送的嘉賓音頻流。

在步驟303中，主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，并發(fā)送給服務(wù)器。

在步驟304中，主播客戶端接收所述嘉賓客戶端發(fā)送的嘉賓視頻流。

在步驟305中，主播客戶端將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流，并發(fā)送給服務(wù)器。

需說明的是，步驟302、303與步驟304、305之間沒有必然的順序關(guān)系。

在步驟306中，服務(wù)器將所述目標(biāo)音頻流和所述目標(biāo)視頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

需說明的是，上述方法中，當(dāng)檢測到所述主播音頻流或所述嘉賓音頻流中存在預(yù)設(shè)關(guān)鍵詞時(shí)，在直播畫面中顯示所述預(yù)設(shè)關(guān)鍵詞對(duì)應(yīng)的動(dòng)畫；或者，當(dāng)檢測到所述主播視頻流或所述嘉賓視頻流中存在預(yù)設(shè)動(dòng)作或預(yù)設(shè)表情時(shí)，在直播畫面中顯示所述預(yù)設(shè)動(dòng)作或所述預(yù)設(shè)表情對(duì)應(yīng)的動(dòng)畫。

還需說明的是，上述方法中可以只有音頻流合成而沒有視頻流合成。

也就是說，本公開在A主播客戶端設(shè)備和B嘉賓客戶端設(shè)備(也可以是其他具備音視頻通話能力的設(shè)備)之間，可以由A主播客戶端設(shè)備先將本地的主播音頻流與B嘉賓客戶端設(shè)備的嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，再向服務(wù)器發(fā)送所述目標(biāo)音頻流以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及B嘉賓客戶端設(shè)備，這樣就使得在觀眾客戶端及B嘉賓客戶端設(shè)備面前播放的是合成處理后的流暢的音頻，從而提高用戶體驗(yàn)。

與前述應(yīng)用功能實(shí)現(xiàn)方法實(shí)施例相對(duì)應(yīng)，本公開還提供了一種直播處理裝置、終端設(shè)備、設(shè)備、系統(tǒng)及相應(yīng)的的實(shí)施例。

圖4是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的框圖。

該裝置可以是位于主播客戶端中。如圖4所示，在一種直播處理裝置中可以包括：第一連接模塊41、第一音頻接收模塊42、音頻合成模塊43、音頻輸出模塊44。

第一連接模塊41，用于與嘉賓客戶端建立直播連線連接。

第一音頻接收模塊42，用于接收所述嘉賓客戶端發(fā)送的嘉賓音頻流。

音頻合成模塊43，用于將本地的主播音頻流與所述第一音頻接收模塊42接收的嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流。

音頻輸出模塊44，用于向服務(wù)器發(fā)送所述音頻合成模塊43合成的目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

由該實(shí)施例可見，本公開在直播過程中，主播客戶端接收嘉賓客戶端發(fā)送的嘉賓音頻流后，可以先將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，再向服務(wù)器發(fā)送所述目標(biāo)音頻流以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端，這樣就使得在觀眾客戶端及嘉賓客戶端面前播放的是合成處理后的流暢的音頻，不會(huì)存在之前因?yàn)闀r(shí)延導(dǎo)致主播客戶端與嘉賓客戶端之間的音頻對(duì)話顯得時(shí)快時(shí)慢或沖突的問題，因此可以解決直播過程中的通信延遲問題，提高直播的音頻效果和用戶的使用體驗(yàn)。

圖5是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的另一框圖。

圖5中，直播處理裝置包括第一連接模塊41、第一音頻接收模塊42、音頻合成模塊43、音頻輸出模塊44，功能可參見圖4描述。

其中，直播處理裝置還可以包括：第一視頻接收模塊45、視頻合成模塊46、視頻輸出模塊47。

第一視頻接收模塊45，用于接收所述嘉賓客戶端發(fā)送的嘉賓視頻流。

視頻合成模塊46，用于將本地的主播視頻流與所述第一視頻接收模塊45接收的嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流。

視頻輸出模塊47，用于向服務(wù)器發(fā)送所述視頻合成模塊46合成的目標(biāo)視頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

其中，直播處理裝置還可以包括：動(dòng)畫模塊48。

動(dòng)畫模塊48，用于當(dāng)檢測到所述主播音頻流或所述嘉賓音頻流中存在預(yù)設(shè)關(guān)鍵詞時(shí)，在直播畫面中顯示所述預(yù)設(shè)關(guān)鍵詞對(duì)應(yīng)的動(dòng)畫；或者，當(dāng)檢測到所述主播視頻流或所述嘉賓視頻流中存在預(yù)設(shè)動(dòng)作或預(yù)設(shè)表情時(shí)，在直播畫面中顯示所述預(yù)設(shè)動(dòng)作或所述預(yù)設(shè)表情對(duì)應(yīng)的動(dòng)畫。

圖6是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的另一框圖。

該裝置可以是設(shè)置在嘉賓客戶端中。如圖6所示，在一種直播處理裝置中可以包括：第二連接模塊51、音頻發(fā)送模塊52、第二音頻接收模塊53。

第二連接模塊51，用于與主播客戶端建立直播連線連接。

音頻發(fā)送模塊52，用于向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流。

第二音頻接收模塊53，用于接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

圖7是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理裝置的另一框圖。

圖7中，直播處理裝置包括：第二連接模塊51、音頻發(fā)送模塊52、第二音頻接收模塊53，功能可參見圖6所示。

其中，直播處理裝置還可以包括：視頻發(fā)送模塊54、第二視頻接收模塊55。

視頻發(fā)送模塊54，用于向所述主播客戶端發(fā)送嘉賓視頻流，以使所述主播客戶端將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成得到目標(biāo)視頻流。

第二視頻接收模塊55，用于接收所述服務(wù)器發(fā)送的所述目標(biāo)視頻流，其中所述目標(biāo)視頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

上述裝置中各個(gè)單元的功能和作用的實(shí)現(xiàn)過程具體詳見上述方法中對(duì)應(yīng)步驟的實(shí)現(xiàn)過程，在此不再贅述。

對(duì)于裝置實(shí)施例而言，由于其基本對(duì)應(yīng)于方法實(shí)施例，所以相關(guān)之處參見方法實(shí)施例的部分說明即可。以上所描述的裝置實(shí)施例僅僅是示意性的，其中作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本公開方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。

圖8是本公開根據(jù)一示例性實(shí)施例示出的一種終端設(shè)備的一結(jié)構(gòu)框圖。

如圖8所示，在終端設(shè)備中可以包括：處理器601和用于存儲(chǔ)處理器601可執(zhí)行指令的存儲(chǔ)器602；

其中，處理器601被配置為：

與嘉賓客戶端建立直播連線連接；

接收所述嘉賓客戶端發(fā)送的嘉賓音頻流；

將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流；

向服務(wù)器發(fā)送所述目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

還需說明的是，存儲(chǔ)器602存儲(chǔ)的其他程序，具體參見前面方法流程中的描述，此處不再贅述，處理器601還用于執(zhí)行存儲(chǔ)器602存儲(chǔ)的其他程序。

圖9是本公開根據(jù)一示例性實(shí)施例示出的一種終端設(shè)備的一結(jié)構(gòu)框圖。

如圖9所示，在終端設(shè)備中可以包括：處理器601和用于存儲(chǔ)處理器601可執(zhí)行指令的存儲(chǔ)器702；

其中，處理器701被配置為：

與主播客戶端建立直播連線連接；

向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流；

接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

圖10是本公開根據(jù)一示例性實(shí)施例示出的一種設(shè)備的一結(jié)構(gòu)框圖。

例如，設(shè)備800可以是移動(dòng)電話，計(jì)算機(jī)，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺(tái)，平板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個(gè)人數(shù)字助理等。

參照?qǐng)D8，設(shè)備800可以包括以下一個(gè)或多個(gè)組件：處理組件802，存儲(chǔ)器804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的接口812，傳感器組件814，以及通信組件816。

處理組件802通?？刂圃O(shè)備800的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信，相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件802可以包括一個(gè)或多個(gè)處理器820來執(zhí)行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個(gè)或多個(gè)模塊，便于處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模塊，以方便多媒體組件808和處理組件802之間的交互。

存儲(chǔ)器804被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在設(shè)備800的操作。這些數(shù)據(jù)的示例包括用于在設(shè)備800上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話簿數(shù)據(jù)，消息，圖片，視頻等。存儲(chǔ)器804可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)，電可擦除可編程只讀存儲(chǔ)器(EEPROM)，可擦除可編程只讀存儲(chǔ)器(EPROM)，可編程只讀存儲(chǔ)器(PROM)，只讀存儲(chǔ)器(ROM)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤或光盤。

電源組件806為設(shè)備800的各種組件提供電力。電源組件806可以包括電源管理系統(tǒng)，一個(gè)或多個(gè)電源，及其他與為設(shè)備800生成、管理和分配電力相關(guān)聯(lián)的組件。

多媒體組件808包括在設(shè)備800和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可以被實(shí)現(xiàn)為觸摸屏，以接收來自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測觸摸、滑動(dòng)和觸摸面板上的手勢。觸摸傳感器可以不僅感測觸摸或滑動(dòng)動(dòng)作的邊界，而且還檢測與觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中，多媒體組件808包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)設(shè)備800處于操作模式，如拍攝模式或視頻模式時(shí)，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。

音頻組件810被配置為輸出和/或輸入音頻信號(hào)。例如，音頻組件810包括一個(gè)麥克風(fēng)(MIC)，當(dāng)設(shè)備800處于操作模式，如呼叫模式、記錄模式和語音識(shí)別模式時(shí)，麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器804或經(jīng)由通信組件816發(fā)送。在一些實(shí)施例中，音頻組件810還包括一個(gè)揚(yáng)聲器，用于輸出音頻信號(hào)。

I/O接口812為處理組件802和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點(diǎn)擊輪，按鈕等。這些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。

傳感器組件814包括一個(gè)或多個(gè)傳感器，用于為設(shè)備800提供各個(gè)方面的狀態(tài)評(píng)估。例如，傳感器組件814可以檢測到設(shè)備800的打開/關(guān)閉狀態(tài)，組件的相對(duì)定位，例如組件為設(shè)備800的顯示器和小鍵盤，傳感器組件814還可以檢測設(shè)備800或設(shè)備800一個(gè)組件的位置改變，用戶與設(shè)備800接觸的存在或不存在，設(shè)備800方位或加速/減速和設(shè)備800的溫度變化。傳感器組件814可以包括接近傳感器，被配置用來在沒有任何的物理接觸時(shí)檢測附近物體的存在。傳感器組件814還可以包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應(yīng)用中使用。在一些實(shí)施例中，該傳感器組件814還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件816被配置為便于設(shè)備800和其他設(shè)備之間有線或無線方式的通信。設(shè)備800可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò)，如WiFi，2G或3G，或它們的組合。在一個(gè)示例性實(shí)施例中，通信組件816經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中，通信組件816還包括近場通信(NFC)模塊，以促進(jìn)短程通信。例如，在NFC模塊可基于射頻識(shí)別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(huì)(IrDA)技術(shù)，超寬帶(UWB)技術(shù)，藍(lán)牙(BT)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。

在示例性實(shí)施例中，設(shè)備800可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSPD)、可編程邏輯器件(PLD)、現(xiàn)場可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)，用于執(zhí)行上述方法。

在示例性實(shí)施例中，還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如包括指令的存儲(chǔ)器804，上述指令可由設(shè)備800的處理器820執(zhí)行以完成上述方法。例如，非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是ROM、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)設(shè)備等。

一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)存儲(chǔ)介質(zhì)中的指令由終端設(shè)備的處理器執(zhí)行時(shí)，使得終端設(shè)備能夠執(zhí)行一種直播處理方法，方法包括：

與嘉賓客戶端建立直播連線連接；

接收所述嘉賓客戶端發(fā)送的嘉賓音頻流；

將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流；

向服務(wù)器發(fā)送所述目標(biāo)音頻流，以使所述服務(wù)器將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及嘉賓客戶端。

一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)存儲(chǔ)介質(zhì)中的指令由終端設(shè)備的處理器執(zhí)行時(shí)，使得終端設(shè)備能夠執(zhí)行一種直播處理方法，方法包括：

與主播客戶端建立直播連線連接；

向所述主播客戶端發(fā)送嘉賓音頻流，以使所述主播客戶端將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成得到目標(biāo)音頻流；接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流，其中所述目標(biāo)音頻流由所述主播客戶端合成后發(fā)送給所述服務(wù)器。

圖11是本公開根據(jù)一示例性實(shí)施例示出的一種直播處理系統(tǒng)的一結(jié)構(gòu)框圖。

如圖11所示，在一種直播處理系統(tǒng)中包括：主播客戶端91、嘉賓客戶端92、服務(wù)器93。

主播客戶端91，用于與嘉賓客戶端92建立直播連線連接，接收所述嘉賓客戶端92發(fā)送的嘉賓音頻流，將本地的主播音頻流與所述嘉賓音頻流進(jìn)行合成，得到目標(biāo)音頻流，向服務(wù)器93發(fā)送所述目標(biāo)音頻流。

服務(wù)器93，用于將所述目標(biāo)音頻流發(fā)送給觀眾客戶端及所述嘉賓客戶端92。

嘉賓客戶端92，用于向所述主播客戶端發(fā)送嘉賓音頻流，接收所述服務(wù)器發(fā)送的所述目標(biāo)音頻流。

其中，所述主播客戶端91還可以接收所述嘉賓客戶端92發(fā)送的嘉賓視頻流，將本地的主播視頻流與所述嘉賓視頻流進(jìn)行合成，得到目標(biāo)視頻流，向服務(wù)器93發(fā)送所述目標(biāo)視頻流；所述服務(wù)器93將從所述主播客戶端91接收的目標(biāo)視頻流發(fā)送給觀眾客戶端及嘉賓客戶端92。

主播客戶端91的結(jié)構(gòu)可以參見圖4、圖5和圖8所示，嘉賓客戶端92的結(jié)構(gòu)可以參見圖6、圖7和圖9所示，此處不再贅述。

本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后，將容易想到本公開的其它實(shí)施方案。本公開旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的，本公開的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當(dāng)理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限制。