本發(fā)明涉及通信，尤其是一種通話翻譯字幕顯示方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著5g網(wǎng)絡(luò)的普及和應(yīng)用，基于5g增強實時通信技術(shù)的發(fā)展，移動通信技術(shù)變得更高效便捷，提升了實時通話質(zhì)量和用戶體驗。全球化進程加速，跨語言交流需求增長，但通話中使用不同語言可能導(dǎo)致溝通困難。傳統(tǒng)方式中，通過語音識別翻譯后播放翻譯音頻會改變原有通話音頻，導(dǎo)致信息誤差，影響了通話效率以及信息獲取的準確性。

2、術(shù)語解釋：

3、bdc(bootstrap?data?channel，引導(dǎo)數(shù)據(jù)通道)：在終端和ims網(wǎng)絡(luò)之間建立，用于終端從ims網(wǎng)絡(luò)獲取數(shù)據(jù)通道應(yīng)用的列表并下載所需的數(shù)據(jù)通道應(yīng)用。

4、adc(application?data?channel，應(yīng)用數(shù)據(jù)通道)：在終端和ims網(wǎng)絡(luò)或者終端之間建立，用于在兩端之間傳遞數(shù)據(jù)通道應(yīng)用的應(yīng)用數(shù)據(jù)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。

2、為此，本發(fā)明實施例的一個目的在于提供一種通話翻譯字幕顯示方法，該方法提高了通話效率以及信息獲取的準確性。

3、本發(fā)明實施例的另一個目的在于提供一種通話翻譯字幕顯示系統(tǒng)。

4、為了達到上述技術(shù)目的，本發(fā)明實施例所采取的技術(shù)方案包括：

5、一方面，本發(fā)明實施例提供了一種通話翻譯字幕顯示方法，包括以下步驟：

6、觸發(fā)網(wǎng)絡(luò)側(cè)完成音視頻媒體錨定，并建立第一通話終端與所述網(wǎng)絡(luò)側(cè)的adc通道；

7、響應(yīng)于所述第一通話終端的啟動翻譯命令，通過智能翻譯應(yīng)用服務(wù)器向數(shù)據(jù)通道信令功能網(wǎng)元發(fā)起媒體流復(fù)制請求，使得媒體功能網(wǎng)元將第二通話終端的上行音頻流傳輸至媒體處理功能網(wǎng)元；

8、通過所述媒體處理功能網(wǎng)元對所述上行音頻流進行翻譯得到字幕流，并將所述字幕流返回至所述媒體功能網(wǎng)元；

9、通過所述媒體功能網(wǎng)元將所述字幕流發(fā)送至所述第一通話終端，使得所述第一通話終端對所述字幕流與下行視頻流進行合成，得到字幕視頻流并進行展示，或者，通過所述媒體功能網(wǎng)元對所述字幕流與下行視頻流進行合成，得到字幕視頻流，并將所述字幕視頻流發(fā)送至所述第一通話終端進行展示。

10、進一步地，在本發(fā)明的一個實施例中，所述觸發(fā)網(wǎng)絡(luò)側(cè)完成音視頻媒體錨定，并建立第一通話終端與所述網(wǎng)絡(luò)側(cè)的adc通道，其具體包括：

11、通過智能翻譯小程序觸發(fā)5g增強通話sdk向核心網(wǎng)側(cè)請求建立所述adc通道，使得所述核心網(wǎng)側(cè)通過所述數(shù)據(jù)通道信令功能網(wǎng)元向所述智能翻譯應(yīng)用服務(wù)器發(fā)送媒體變更呼叫事件通知；

12、通過所述智能翻譯應(yīng)用服務(wù)器調(diào)用所述數(shù)據(jù)通道信令功能網(wǎng)元提供的呼叫控制北向接口觸發(fā)所述網(wǎng)絡(luò)側(cè)進行音視頻媒體錨定重協(xié)商，并協(xié)商完成所述adc通道的建立；

13、其中，所述adc通道包括用于業(yè)務(wù)控制的第一adc通道以及用于字幕接收的第二adc通道。

14、進一步地，在本發(fā)明的一個實施例中，所述通話翻譯字幕顯示方法還包括以下步驟：

15、通過所述智能翻譯小程序觸發(fā)所述5g增強通話sdk向所述媒體功能網(wǎng)元請求獲取所述第一通話終端的用戶訂購關(guān)系，使得所述媒體功能網(wǎng)元從所述智能翻譯應(yīng)用服務(wù)器獲取所述用戶訂購關(guān)系，并將所述用戶訂購關(guān)系返回至所述智能翻譯小程序；

16、通過所述智能翻譯小程序根據(jù)所述用戶訂購關(guān)系確定所述第一通話終端是否訂購字幕翻譯服務(wù)，當(dāng)所述第一通話終端未訂購字幕翻譯服務(wù)，通過所述智能翻譯小程序引導(dǎo)用戶進行業(yè)務(wù)開通。

17、進一步地，在本發(fā)明的一個實施例中，所述響應(yīng)于所述第一通話終端的啟動翻譯命令，通過智能翻譯應(yīng)用服務(wù)器向數(shù)據(jù)通道信令功能網(wǎng)元發(fā)起媒體流復(fù)制請求，使得媒體功能網(wǎng)元將第二通話終端的上行音頻流傳輸至媒體處理功能網(wǎng)元，其具體包括：

18、通過所述智能翻譯小程序觸發(fā)所述5g增強通話sdk調(diào)用所述第一adc通道向所述媒體功能網(wǎng)元發(fā)送所述啟動翻譯命令，使得所述媒體功能網(wǎng)元向所述智能翻譯應(yīng)用服務(wù)器上報所述啟動翻譯命令；

19、通過所述智能翻譯應(yīng)用服務(wù)器向所述數(shù)據(jù)通道信令功能網(wǎng)元發(fā)起所述媒體流復(fù)制請求，使得所述數(shù)據(jù)通道信令功能網(wǎng)元與所述媒體功能網(wǎng)元協(xié)商完成媒體流復(fù)制，并通過所述媒體功能網(wǎng)元將復(fù)制的所述上行音頻流傳輸至所述媒體處理功能網(wǎng)元；

20、通過所述數(shù)據(jù)通道信令功能網(wǎng)元返回媒體流控制地址至所述智能翻譯應(yīng)用服務(wù)器。

21、進一步地，在本發(fā)明的一個實施例中，所述通過所述媒體處理功能網(wǎng)元對所述上行音頻流進行翻譯得到字幕流，并將所述字幕流返回至所述媒體功能網(wǎng)元，其具體包括：

22、通過智能翻譯應(yīng)用服務(wù)器根據(jù)所述媒體流控制地址向所述媒體處理功能網(wǎng)元發(fā)起智能翻譯控制請求，所述智能翻譯控制請求攜帶字幕接收地址；

23、通過所述媒體處理功能網(wǎng)元對所述上行音頻流進行語音識別與翻譯操作，得到所述字幕流，并根據(jù)所述字幕接收地址將所述字幕流返回至所述媒體功能網(wǎng)元。

24、進一步地，在本發(fā)明的一個實施例中，所述對所述字幕流與所述下行視頻流進行合成，其具體包括：

25、對所述字幕流進行解析，得到多個字幕文本和對應(yīng)的第一時間戳；

26、對所述下行視頻流進行解碼，得到多個視頻幀和對應(yīng)的第二時間戳；

27、根據(jù)所述第一時間戳和所述第二時間戳對所述字幕文本和所述視頻幀進行匹配，得到匹配的目標視頻幀和目標字幕文本；

28、根據(jù)預(yù)設(shè)的字幕樣式模板和所述目標字幕文本生成字幕圖像，并將所述字幕圖像與所述目標視頻幀疊加，得到字幕視頻幀；

29、對所述字幕視頻幀進行視頻編碼，得到所述字幕視頻流。

30、進一步地，在本發(fā)明的一個實施例中，所述根據(jù)所述第一時間戳和所述第二時間戳對所述字幕文本和所述視頻幀進行匹配，得到匹配的目標視頻幀和目標字幕文本，其具體包括：

31、根據(jù)所述第一時間戳和所述第二時間戳確定目標字幕文本對應(yīng)的多個候選視頻幀；

32、對所述候選視頻幀進行語音識別得到文字內(nèi)容，并計算所述文字內(nèi)容與所述目標字幕文本的余弦相似度；

33、當(dāng)所述余弦相似度大于等于預(yù)設(shè)的第一閾值，確定所述候選視頻幀為所述目標視頻幀。

34、另一方面，本發(fā)明實施例提供了一種通話翻譯字幕顯示系統(tǒng)，包括：

35、通道建立模塊，用于觸發(fā)網(wǎng)絡(luò)側(cè)完成音視頻媒體錨定，并建立第一通話終端與所述網(wǎng)絡(luò)側(cè)的adc通道；

36、音頻流復(fù)制模塊，用于響應(yīng)于所述第一通話終端的啟動翻譯命令，通過智能翻譯應(yīng)用服務(wù)器向數(shù)據(jù)通道信令功能網(wǎng)元發(fā)起媒體流復(fù)制請求，使得媒體功能網(wǎng)元將第二通話終端的上行音頻流傳輸至媒體處理功能網(wǎng)元；

37、音頻流翻譯模塊，用于通過所述媒體處理功能網(wǎng)元對所述上行音頻流進行翻譯得到字幕流，并將所述字幕流返回至所述媒體功能網(wǎng)元；

38、字幕視頻合成模塊，用于通過所述媒體功能網(wǎng)元將所述字幕流發(fā)送至所述第一通話終端，使得所述第一通話終端對所述字幕流與下行視頻流進行合成，得到字幕視頻流并進行展示，或者，通過所述媒體功能網(wǎng)元對所述字幕流與下行視頻流進行合成，得到字幕視頻流，并將所述字幕視頻流發(fā)送至所述第一通話終端進行展示。

39、另一方面，本發(fā)明實施例提供了一種電子設(shè)備，所述電子設(shè)備包括存儲器、處理器、存儲在所述存儲器上并可在所述處理器上運行的程序以及用于實現(xiàn)所述處理器和所述存儲器之間的連接通信的數(shù)據(jù)總線，所述程序被所述處理器執(zhí)行時實現(xiàn)如前面所述的通話翻譯字幕顯示方法。

40、另一方面，本發(fā)明實施例還提供了一種存儲介質(zhì)，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，用于計算機可讀存儲，所述存儲介質(zhì)存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執(zhí)行，以實現(xiàn)如前面所述的通話翻譯字幕顯示方法。

41、本發(fā)明的優(yōu)點和有益效果將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到：

42、本發(fā)明實施例觸發(fā)網(wǎng)絡(luò)側(cè)完成音視頻媒體錨定，并建立第一通話終端與網(wǎng)絡(luò)側(cè)的adc通道，響應(yīng)于第一通話終端的啟動翻譯命令，通過智能翻譯應(yīng)用服務(wù)器向數(shù)據(jù)通道信令功能網(wǎng)元發(fā)起媒體流復(fù)制請求，使得媒體功能網(wǎng)元將第二通話終端的上行音頻流傳輸至媒體處理功能網(wǎng)元，通過媒體處理功能網(wǎng)元對上行音頻流進行翻譯得到字幕流，并將字幕流返回至媒體功能網(wǎng)元，通過媒體功能網(wǎng)元將字幕流發(fā)送至第一通話終端，使得第一通話終端對字幕流與下行視頻流進行合成，得到字幕視頻流并進行展示，或者，通過媒體功能網(wǎng)元對字幕流與下行視頻流進行合成，得到字幕視頻流，并將字幕視頻流發(fā)送至第一通話終端進行展示。本發(fā)明實施例在視頻通話中疊加翻譯字幕，通過在終端屏幕上顯示字幕實現(xiàn)翻譯，不影響原有通話音頻，減少了信息誤差，提高了通話效率以及信息獲取的準確性；基于運營商現(xiàn)有ims核心網(wǎng)絡(luò)進行系統(tǒng)增強和業(yè)務(wù)功能增強，在用戶終端視頻通話過程中顯示翻譯字幕，無需額外安裝翻譯軟件，簡化了用戶操作流程，提升了用戶體驗。