1.一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述系統(tǒng)包括:視頻通話發(fā)起端、手語語言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端;所述手語語言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器通過通信網(wǎng)與視頻通話發(fā)起端和視頻通話目標(biāo)端連接;
所述視頻通話發(fā)起端將溝通障礙的參與者使用手語語言進(jìn)行交流后,通過手語語言識(shí)別服務(wù)器,將手語語言轉(zhuǎn)換為文字字幕信息,并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息;
所述視頻通話發(fā)起端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包,進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。
2.根據(jù)權(quán)利要求1所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語識(shí)別引擎、手語轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊;
所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象;
所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ);
所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱;
所述手語識(shí)別引擎,用于識(shí)別出手語信息;
所述手語轉(zhuǎn)字幕模塊,將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息,包括采集用戶圖像信息,手勢(shì)識(shí)別,手勢(shì)信息與特定動(dòng)作比對(duì),識(shí)別對(duì)應(yīng)的手語含義,將手語含義轉(zhuǎn)換成文字字幕信息;
所述字幕轉(zhuǎn)聲音模塊,用于將文字轉(zhuǎn)為聲音;
所述視頻/音頻/字幕編碼打包模塊,識(shí)別出了手勢(shì)信息,并轉(zhuǎn)成音頻流和字幕流,然后將視頻流信息、音頻流和字幕流三路流重新打包;
所述視頻通話傳輸模塊,即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>
3.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。
4.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述手語識(shí)別引擎包括:手語識(shí)別接口、手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語識(shí)別實(shí)施模塊、以及手語識(shí)別管理模塊;
所述手語識(shí)別接口是完成手語識(shí)別功能邏輯上所需接口的定義;
所述手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊,選擇最終的手語識(shí)別接口的實(shí)施例;
所述手語識(shí)別實(shí)施模塊,用于對(duì)具體實(shí)施例的實(shí)施;
所述手語識(shí)別管理模塊,負(fù)責(zé)管理和維護(hù)多個(gè)手語識(shí)別接口的具體實(shí)施。
5.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述手語識(shí)別引擎的工作原理:對(duì)溝通障礙的人進(jìn)行視頻畫面采集;再將采集的圖像二值化預(yù)處理;并進(jìn)行手語追蹤與識(shí)別、手語分割、手語語義映射和手語語義轉(zhuǎn)文字,從而完成手勢(shì)識(shí)別。
6.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為:所述視頻通話發(fā)起端采集參與者的視頻畫面,進(jìn)而將視頻畫面給手語語言識(shí)別服務(wù)器處理;手語識(shí)別主要進(jìn)行以下操作:調(diào)用手語識(shí)別引擎識(shí)別出手語信息;手語轉(zhuǎn)字幕模塊通過將手語信息轉(zhuǎn)化為文字字幕信息;調(diào)用字幕轉(zhuǎn)聲音模塊,將字幕信息轉(zhuǎn)換為聲音信息;將字幕信息和聲音信息回傳給視頻通話發(fā)起端,視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包,進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊,將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。
7.一種用于溝通障礙的視頻通話方法,其特征在于:所述方法需提供視頻通話發(fā)起端、手語語言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端;
溝通障礙的參與者在視頻通話發(fā)起端使用手語語言進(jìn)行交流,通過手語語言識(shí)別服務(wù)器,將手語語言轉(zhuǎn)換為文字字幕信息,并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息;
所述視頻通話終端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包,進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。
8.根據(jù)權(quán)利要求7所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語識(shí)別引擎、手語轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊;
所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象;
所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ);
所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱;
所述手語識(shí)別引擎,用于識(shí)別出手語信息;
所述手語轉(zhuǎn)字幕模塊,將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息,包括采集用戶圖像信息,手勢(shì)識(shí)別,手勢(shì)信息與特定動(dòng)作比對(duì),識(shí)別對(duì)應(yīng)的手語含義,將手語含義轉(zhuǎn)換成文字字幕信息;
所述字幕轉(zhuǎn)聲音模塊,用于將文字轉(zhuǎn)為聲音;
所述視頻/音頻/字幕編碼打包模塊,識(shí)別出了手勢(shì)信息,并轉(zhuǎn)成音頻流和字幕流,然后將視頻流信息、音頻流和字幕流三路流重新打包;
所述視頻通話傳輸模塊,即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>
9.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述方法進(jìn)一步具體為:所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為:所述視頻通話發(fā)起端采集參與者的視頻畫面,進(jìn)而將視頻畫面給手語語言識(shí)別服務(wù)器處理;手語識(shí)別主要進(jìn)行以下操作:調(diào)用手語識(shí)別引擎識(shí)別出手語信息;手語轉(zhuǎn)字幕模塊通過將手語信息轉(zhuǎn)化為文字字幕信息;調(diào)用字幕轉(zhuǎn)聲音模塊,將字幕信息轉(zhuǎn)換為聲音信息;將字幕信息和聲音信息回傳給視頻通話發(fā)起端,視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包,進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊,將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。
10.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。
11.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述手語識(shí)別引擎包括:手語識(shí)別接口、手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語識(shí)別實(shí)施模塊、以及手語識(shí)別管理模塊;
所述手語識(shí)別接口是完成手語識(shí)別功能邏輯上所需接口的定義;
所述手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊,選擇最終的手語識(shí)別接口的實(shí)施例;
所述手語識(shí)別實(shí)施模塊,用于對(duì)具體實(shí)施例的實(shí)施;
所述手語識(shí)別管理模塊,負(fù)責(zé)管理和維護(hù)多個(gè)手語識(shí)別接口的具體實(shí)施。
12.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述手語識(shí)別引擎的工作原理:對(duì)溝通障礙的人進(jìn)行視頻畫面采集;再將采集的圖像二值化預(yù)處理;并進(jìn)行手語追蹤與識(shí)別、手語分割、手語語義映射和手語語義轉(zhuǎn)文字,從而完成手勢(shì)識(shí)別。