本發(fā)明涉及機(jī)頂盒技術(shù)領(lǐng)域，尤其涉及一種用于溝通障礙的視頻通話方法和系統(tǒng)。

背景技術(shù)：

視頻通話通常指基于互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)(3G互聯(lián)網(wǎng))端，通過智能終端之間實(shí)時(shí)傳送人的語(yǔ)音和圖像(用戶的半身像、照片、物品等)的一種通信方式。視頻通話主要傳輸?shù)氖菆D像和聲音。特殊人群在參與視頻通話時(shí)，可能面對(duì)一些特殊的困難。特殊人群(聾啞人)使用手語(yǔ)交流，他們與正常的視頻通話參與者之前無(wú)法正常有效的溝通。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題之一，在于提供一種用于溝通障礙的視頻通話系統(tǒng)，實(shí)現(xiàn)了溝通障礙的視頻通話參與者，能夠和溝通正常者進(jìn)行視頻通話，為溝通障礙者提供了方便。

本發(fā)明問題之一是這樣實(shí)現(xiàn)的：一種用于溝通障礙的視頻通話系統(tǒng)，所述系統(tǒng)包括：視頻通話發(fā)起端、手語(yǔ)語(yǔ)言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端；所述手語(yǔ)語(yǔ)言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器通過通信網(wǎng)與視頻通話發(fā)起端和視頻通話目標(biāo)端連接；

所述視頻通話發(fā)起端將溝通障礙的參與者使用手語(yǔ)語(yǔ)言進(jìn)行交流后，通過手語(yǔ)語(yǔ)言識(shí)別服務(wù)器，將手語(yǔ)語(yǔ)言轉(zhuǎn)換為文字字幕信息，并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息；

所述視頻通話發(fā)起端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包，進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。

進(jìn)一步地，所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語(yǔ)識(shí)別引擎、手語(yǔ)轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊；

所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象；

所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ)；

所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱；

所述手語(yǔ)識(shí)別引擎，用于識(shí)別出手語(yǔ)信息；

所述手語(yǔ)轉(zhuǎn)字幕模塊，將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息，包括采集用戶圖像信息，手勢(shì)識(shí)別，手勢(shì)信息與特定動(dòng)作比對(duì)，識(shí)別對(duì)應(yīng)的手語(yǔ)含義，將手語(yǔ)含義轉(zhuǎn)換成文字字幕信息；

所述字幕轉(zhuǎn)聲音模塊，用于將文字轉(zhuǎn)為聲音；

所述視頻/音頻/字幕編碼打包模塊，識(shí)別出了手勢(shì)信息，并轉(zhuǎn)成音頻流和字幕流，然后將視頻流信息、音頻流和字幕流三路流重新打包；

所述視頻通話傳輸模塊，即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>

進(jìn)一步地，所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。

進(jìn)一步地，所述手語(yǔ)識(shí)別引擎包括：手語(yǔ)識(shí)別接口、手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語(yǔ)識(shí)別實(shí)施模塊、以及手語(yǔ)識(shí)別管理模塊；

所述手語(yǔ)識(shí)別接口是完成手語(yǔ)識(shí)別功能邏輯上所需接口的定義；

所述手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊，選擇最終的手語(yǔ)識(shí)別接口的實(shí)施例；

所述手語(yǔ)識(shí)別實(shí)施模塊，用于對(duì)具體實(shí)施例的實(shí)施；

所述手語(yǔ)識(shí)別管理模塊，負(fù)責(zé)管理和維護(hù)多個(gè)手語(yǔ)識(shí)別接口的具體實(shí)施。

進(jìn)一步地，所述手語(yǔ)識(shí)別引擎的工作原理：對(duì)溝通障礙的人進(jìn)行視頻畫面采集；再將采集的圖像二值化預(yù)處理；并進(jìn)行手語(yǔ)追蹤與識(shí)別、手語(yǔ)分割、手語(yǔ)語(yǔ)義映射和手語(yǔ)語(yǔ)義轉(zhuǎn)文字，從而完成手勢(shì)識(shí)別。

進(jìn)一步地，所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為：所述視頻通話發(fā)起端采集參與者的視頻畫面，進(jìn)而將視頻畫面給手語(yǔ)語(yǔ)言識(shí)別服務(wù)器處理；手語(yǔ)識(shí)別主要進(jìn)行以下操作：調(diào)用手語(yǔ)識(shí)別引擎識(shí)別出手語(yǔ)信息；手語(yǔ)轉(zhuǎn)字幕模塊通過將手語(yǔ)信息轉(zhuǎn)化為文字字幕信息；調(diào)用字幕轉(zhuǎn)聲音模塊，將字幕信息轉(zhuǎn)換為聲音信息；將字幕信息和聲音信息回傳給視頻通話發(fā)起端，視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包，進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊，將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。

本本發(fā)明要解決的技術(shù)問題之二，在于提供一種用于溝通障礙的視頻通話方法，實(shí)現(xiàn)了溝通障礙的視頻通話參與者，能夠和溝通正常者進(jìn)行視頻通話，為溝通障礙者提供了方便。

本發(fā)明問題之二是這樣實(shí)現(xiàn)的：一種用于溝通障礙的視頻通話方法，其特征在于：所述方法需提供視頻通話發(fā)起端、手語(yǔ)語(yǔ)言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端；

溝通障礙的參與者在視頻通話發(fā)起端使用手語(yǔ)語(yǔ)言進(jìn)行交流，通過手語(yǔ)語(yǔ)言識(shí)別服務(wù)器，將手語(yǔ)語(yǔ)言轉(zhuǎn)換為文字字幕信息，并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息；

所述視頻通話終端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包，進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。

進(jìn)一步地，所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語(yǔ)識(shí)別引擎、手語(yǔ)轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊；

所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象；

所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ)；

所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱；

所述手語(yǔ)識(shí)別引擎，用于識(shí)別出手語(yǔ)信息；

所述手語(yǔ)轉(zhuǎn)字幕模塊，將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息，包括采集用戶圖像信息，手勢(shì)識(shí)別，手勢(shì)信息與特定動(dòng)作比對(duì)，識(shí)別對(duì)應(yīng)的手語(yǔ)含義，將手語(yǔ)含義轉(zhuǎn)換成文字字幕信息；

所述字幕轉(zhuǎn)聲音模塊，用于將文字轉(zhuǎn)為聲音；

所述視頻/音頻/字幕編碼打包模塊，識(shí)別出了手勢(shì)信息，并轉(zhuǎn)成音頻流和字幕流，然后將視頻流信息、音頻流和字幕流三路流重新打包；

所述視頻通話傳輸模塊，即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>

進(jìn)一步地，所述方法進(jìn)一步具體為：所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為：所述視頻通話發(fā)起端采集參與者的視頻畫面，進(jìn)而將視頻畫面給手語(yǔ)語(yǔ)言識(shí)別服務(wù)器處理；手語(yǔ)識(shí)別主要進(jìn)行以下操作：調(diào)用手語(yǔ)識(shí)別引擎識(shí)別出手語(yǔ)信息；手語(yǔ)轉(zhuǎn)字幕模塊通過將手語(yǔ)信息轉(zhuǎn)化為文字字幕信息；調(diào)用字幕轉(zhuǎn)聲音模塊，將字幕信息轉(zhuǎn)換為聲音信息；將字幕信息和聲音信息回傳給視頻通話發(fā)起端，視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包，進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊，將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。

進(jìn)一步地，所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。

進(jìn)一步地，所述手語(yǔ)識(shí)別引擎包括：手語(yǔ)識(shí)別接口、手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語(yǔ)識(shí)別實(shí)施模塊、以及手語(yǔ)識(shí)別管理模塊；

所述手語(yǔ)識(shí)別接口是完成手語(yǔ)識(shí)別功能邏輯上所需接口的定義；

所述手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊，選擇最終的手語(yǔ)識(shí)別接口的實(shí)施例；

所述手語(yǔ)識(shí)別實(shí)施模塊，用于對(duì)具體實(shí)施例的實(shí)施；

所述手語(yǔ)識(shí)別管理模塊，負(fù)責(zé)管理和維護(hù)多個(gè)手語(yǔ)識(shí)別接口的具體實(shí)施。

進(jìn)一步地，所述手語(yǔ)識(shí)別引擎的工作原理：對(duì)溝通障礙的人進(jìn)行視頻畫面采集；再將采集的圖像二值化預(yù)處理；并進(jìn)行手語(yǔ)追蹤與識(shí)別、手語(yǔ)分割、手語(yǔ)語(yǔ)義映射和手語(yǔ)語(yǔ)義轉(zhuǎn)文字，從而完成手勢(shì)識(shí)別。

本發(fā)明具有如下優(yōu)點(diǎn)：本發(fā)明使溝通障礙的視頻通話參與者，使用手語(yǔ)語(yǔ)言進(jìn)行交流，通過手語(yǔ)語(yǔ)言識(shí)別服務(wù)器，將手語(yǔ)語(yǔ)言轉(zhuǎn)換為文字字幕信息。視頻通話終端最終將視頻、音頻和字幕數(shù)據(jù)打包，進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。從而實(shí)現(xiàn)了溝通障礙的視頻通話參與者，能夠和溝通正常者進(jìn)行視頻通話，為溝通障礙者提供了方便。

附圖說明

下面參照附圖結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說明。

圖1為本發(fā)明的系統(tǒng)總體框架圖。

圖2為本發(fā)明視頻通話終端中各模塊的結(jié)構(gòu)示意圖。

圖3為本發(fā)明手語(yǔ)識(shí)別的工作原理圖。

圖4為本發(fā)明方法操作流程示意圖。

具體實(shí)施方式

請(qǐng)參閱圖1至圖3所示，視頻通話終端通過基礎(chǔ)通信網(wǎng)(互聯(lián)網(wǎng)等)互聯(lián)互通。視頻通話包含外部增強(qiáng)通話功能的手語(yǔ)語(yǔ)言識(shí)別服務(wù)器和視頻通話輔助功能服務(wù)器。服務(wù)器功能的劃分是功能邏輯上劃分，并非從物理邏輯上劃分，即手語(yǔ)語(yǔ)言識(shí)別服務(wù)器和視頻通話輔助功能服務(wù)器可能是存在于同一臺(tái)服務(wù)器主機(jī)上。視頻通話的參與主體的有效組合是：溝通障礙參與者和溝通障礙參與者(不需要特殊處理)；溝通正常參與者和溝通正常參與者(不需要特殊處理)；溝通障礙參與者和溝通正常參與者(需要特殊處理)。

本發(fā)明的一種用于溝通障礙的視頻通話系統(tǒng)，所述系統(tǒng)包括：視頻通話發(fā)起端(一般是溝通障礙的參與者使用)、手語(yǔ)語(yǔ)言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端(一般是溝通正常的參與者使用)；所述手語(yǔ)語(yǔ)言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器通過通信網(wǎng)與視頻通話發(fā)起端和視頻通話目標(biāo)端連接；

所述視頻通話發(fā)起端將溝通障礙的參與者使用手語(yǔ)語(yǔ)言進(jìn)行交流后，通過手語(yǔ)語(yǔ)言識(shí)別服務(wù)器，將手語(yǔ)語(yǔ)言轉(zhuǎn)換為文字字幕信息，并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息；

所述視頻通話發(fā)起端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包，進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。

在本發(fā)明中，所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語(yǔ)識(shí)別引擎、手語(yǔ)轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊；

所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象；所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。

所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ)；

所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱；

所述手語(yǔ)識(shí)別引擎，用于識(shí)別出手語(yǔ)信息；

所述手語(yǔ)轉(zhuǎn)字幕模塊，將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息，包括采集用戶圖像信息，手勢(shì)識(shí)別，手勢(shì)信息與特定動(dòng)作比對(duì)，識(shí)別對(duì)應(yīng)的手語(yǔ)含義，將手語(yǔ)含義轉(zhuǎn)換成文字字幕信息；

所述字幕轉(zhuǎn)聲音模塊，用于將文字轉(zhuǎn)為聲音；

所述視頻/音頻/字幕編碼打包模塊，識(shí)別出了手勢(shì)信息，并轉(zhuǎn)成音頻流和字幕流，然后將視頻流信息、音頻流和字幕流三路流重新打包；

所述視頻通話傳輸模塊，即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>

所述手語(yǔ)識(shí)別引擎包括：手語(yǔ)識(shí)別接口、手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語(yǔ)識(shí)別實(shí)施模塊、以及手語(yǔ)識(shí)別管理模塊；

所述手語(yǔ)識(shí)別接口是完成手語(yǔ)識(shí)別功能邏輯上所需接口的定義；

所述手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊，選擇最終的手語(yǔ)識(shí)別接口的實(shí)施例；即配置使用哪種手語(yǔ)識(shí)別服務(wù)器(自己的還是第三方的)

所述手語(yǔ)識(shí)別實(shí)施模塊，用于對(duì)具體實(shí)施例的實(shí)施；

所述手語(yǔ)識(shí)別管理模塊，負(fù)責(zé)管理和維護(hù)多個(gè)手語(yǔ)識(shí)別接口的具體實(shí)施。手語(yǔ)識(shí)別引擎為了方便引擎的升級(jí)，維護(hù)和擴(kuò)展，最佳的實(shí)施是部署在視頻通話輔助功能服務(wù)器上。手語(yǔ)識(shí)別引擎部署在視頻通話輔助功能服務(wù)器上；手語(yǔ)識(shí)別接口(API)部署在視頻通話客戶端上。手語(yǔ)識(shí)別提供商管理模塊，負(fù)責(zé)管理和維護(hù)多個(gè)手語(yǔ)識(shí)別接口(API)的具體實(shí)施，這些具體實(shí)施可能位于第三方手語(yǔ)識(shí)別服務(wù)器上。手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊負(fù)責(zé)選擇最終的手語(yǔ)識(shí)別接口的實(shí)施例。

其中，所述手語(yǔ)識(shí)別引擎的工作原理：對(duì)溝通障礙的人進(jìn)行視頻畫面采集；再將采集的圖像二值化預(yù)處理；并進(jìn)行手語(yǔ)追蹤與識(shí)別、手語(yǔ)分割、手語(yǔ)語(yǔ)義映射和手語(yǔ)語(yǔ)義轉(zhuǎn)文字，從而完成手勢(shì)識(shí)別。

如圖4所示，所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為：所述視頻通話發(fā)起端采集參與者的視頻畫面，進(jìn)而將視頻畫面給手語(yǔ)語(yǔ)言識(shí)別服務(wù)器處理；手語(yǔ)識(shí)別主要進(jìn)行以下操作：調(diào)用手語(yǔ)識(shí)別引擎識(shí)別出手語(yǔ)信息；手語(yǔ)轉(zhuǎn)字幕模塊通過將手語(yǔ)信息轉(zhuǎn)化為文字字幕信息；調(diào)用字幕轉(zhuǎn)聲音模塊，將字幕信息轉(zhuǎn)換為聲音信息；將字幕信息和聲音信息回傳給視頻通話發(fā)起端，視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包(視頻/音頻/字幕)，進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊，將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。

請(qǐng)參閱圖2至圖4所示，本發(fā)明的一種用于溝通障礙的視頻通話方法，所述方法需提供視頻通話發(fā)起端、手語(yǔ)語(yǔ)言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端；

溝通障礙的參與者在視頻通話發(fā)起端使用手語(yǔ)語(yǔ)言進(jìn)行交流，通過手語(yǔ)語(yǔ)言識(shí)別服務(wù)器，將手語(yǔ)語(yǔ)言轉(zhuǎn)換為文字字幕信息，并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息；

所述視頻通話終端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包，進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。

所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語(yǔ)識(shí)別引擎、手語(yǔ)轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊；

所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象；所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。

所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ)；

所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱；

所述手語(yǔ)識(shí)別引擎，用于識(shí)別出手語(yǔ)信息；

所述手語(yǔ)轉(zhuǎn)字幕模塊，將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息，包括采集用戶圖像信息，手勢(shì)識(shí)別，手勢(shì)信息與特定動(dòng)作比對(duì)，識(shí)別對(duì)應(yīng)的手語(yǔ)含義，將手語(yǔ)含義轉(zhuǎn)換成文字字幕信息；

所述字幕轉(zhuǎn)聲音模塊，用于將文字轉(zhuǎn)為聲音；

所述視頻/音頻/字幕編碼打包模塊，識(shí)別出了手勢(shì)信息，并轉(zhuǎn)成音頻流和字幕流，然后將視頻流信息、音頻流和字幕流三路流重新打包；

所述視頻通話傳輸模塊，即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>

在本發(fā)明中，所述方法進(jìn)一步具體為：所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為：所述視頻通話發(fā)起端采集參與者的視頻畫面，進(jìn)而將視頻畫面給手語(yǔ)語(yǔ)言識(shí)別服務(wù)器處理；手語(yǔ)識(shí)別主要進(jìn)行以下操作：調(diào)用手語(yǔ)識(shí)別引擎識(shí)別出手語(yǔ)信息；手語(yǔ)轉(zhuǎn)字幕模塊通過將手語(yǔ)信息轉(zhuǎn)化為文字字幕信息；調(diào)用字幕轉(zhuǎn)聲音模塊，將字幕信息轉(zhuǎn)換為聲音信息；將字幕信息和聲音信息回傳給視頻通話發(fā)起端，視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包，進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊，將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。

所述手語(yǔ)識(shí)別引擎包括：手語(yǔ)識(shí)別接口、手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語(yǔ)識(shí)別實(shí)施模塊、以及手語(yǔ)識(shí)別管理模塊；

所述手語(yǔ)識(shí)別接口是完成手語(yǔ)識(shí)別功能邏輯上所需接口的定義；

所述手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊，選擇最終的手語(yǔ)識(shí)別接口的實(shí)施例；

所述手語(yǔ)識(shí)別實(shí)施模塊，用于對(duì)具體實(shí)施例的實(shí)施；

所述手語(yǔ)識(shí)別管理模塊，負(fù)責(zé)管理和維護(hù)多個(gè)手語(yǔ)識(shí)別接口的具體實(shí)施。手語(yǔ)識(shí)別引擎為了方便引擎的升級(jí)，維護(hù)和擴(kuò)展，最佳的實(shí)施是部署在視頻通話輔助功能服務(wù)器上。手語(yǔ)識(shí)別引擎部署在視頻通話輔助功能服務(wù)器上；手語(yǔ)識(shí)別接口(API)部署在視頻通話客戶端上。手語(yǔ)識(shí)別提供商管理模塊，負(fù)責(zé)管理和維護(hù)多個(gè)手語(yǔ)識(shí)別接口(API)的具體實(shí)施，這些具體實(shí)施可能位于第三方手語(yǔ)識(shí)別服務(wù)器上。手語(yǔ)識(shí)別服務(wù)運(yùn)營(yíng)策略模塊負(fù)責(zé)選擇最終的手語(yǔ)識(shí)別接口的實(shí)施例。

其中，所述手語(yǔ)識(shí)別引擎的工作原理：對(duì)溝通障礙的人進(jìn)行視頻畫面采集；再將采集的圖像二值化預(yù)處理；并進(jìn)行手語(yǔ)追蹤與識(shí)別、手語(yǔ)分割、手語(yǔ)語(yǔ)義映射和手語(yǔ)語(yǔ)義轉(zhuǎn)文字，從而完成手勢(shì)識(shí)別。

總之，本發(fā)明使溝通障礙的視頻通話參與者，使用手語(yǔ)語(yǔ)言進(jìn)行交流，通過手語(yǔ)語(yǔ)言識(shí)別服務(wù)器，將手語(yǔ)語(yǔ)言轉(zhuǎn)換為文字字幕信息。視頻通話終端最終將視頻、音頻和字幕數(shù)據(jù)打包，進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。從而實(shí)現(xiàn)了溝通障礙的視頻通話參與者，能夠和溝通正常者進(jìn)行視頻通話，為溝通障礙者提供了方便。

雖然以上描述了本發(fā)明的具體實(shí)施方式，但是熟悉本技術(shù)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，我們所描述的具體的實(shí)施例只是說明性的，而不是用于對(duì)本發(fā)明的范圍的限定，熟悉本領(lǐng)域的技術(shù)人員在依照本發(fā)明的精神所作的等效的修飾以及變化，都應(yīng)當(dāng)涵蓋在本發(fā)明的權(quán)利要求所保護(hù)的范圍內(nèi)。