亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種用于溝通障礙的視頻通話方法和系統(tǒng)與流程

文檔序號(hào):12479334閱讀:來源:國(guó)知局

技術(shù)特征:

1.一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述系統(tǒng)包括:視頻通話發(fā)起端、手語語言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端;所述手語語言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器通過通信網(wǎng)與視頻通話發(fā)起端和視頻通話目標(biāo)端連接;

所述視頻通話發(fā)起端將溝通障礙的參與者使用手語語言進(jìn)行交流后,通過手語語言識(shí)別服務(wù)器,將手語語言轉(zhuǎn)換為文字字幕信息,并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息;

所述視頻通話發(fā)起端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包,進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。

2.根據(jù)權(quán)利要求1所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語識(shí)別引擎、手語轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊;

所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象;

所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ);

所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱;

所述手語識(shí)別引擎,用于識(shí)別出手語信息;

所述手語轉(zhuǎn)字幕模塊,將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息,包括采集用戶圖像信息,手勢(shì)識(shí)別,手勢(shì)信息與特定動(dòng)作比對(duì),識(shí)別對(duì)應(yīng)的手語含義,將手語含義轉(zhuǎn)換成文字字幕信息;

所述字幕轉(zhuǎn)聲音模塊,用于將文字轉(zhuǎn)為聲音;

所述視頻/音頻/字幕編碼打包模塊,識(shí)別出了手勢(shì)信息,并轉(zhuǎn)成音頻流和字幕流,然后將視頻流信息、音頻流和字幕流三路流重新打包;

所述視頻通話傳輸模塊,即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>

3.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。

4.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述手語識(shí)別引擎包括:手語識(shí)別接口、手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語識(shí)別實(shí)施模塊、以及手語識(shí)別管理模塊;

所述手語識(shí)別接口是完成手語識(shí)別功能邏輯上所需接口的定義;

所述手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊,選擇最終的手語識(shí)別接口的實(shí)施例;

所述手語識(shí)別實(shí)施模塊,用于對(duì)具體實(shí)施例的實(shí)施;

所述手語識(shí)別管理模塊,負(fù)責(zé)管理和維護(hù)多個(gè)手語識(shí)別接口的具體實(shí)施。

5.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述手語識(shí)別引擎的工作原理:對(duì)溝通障礙的人進(jìn)行視頻畫面采集;再將采集的圖像二值化預(yù)處理;并進(jìn)行手語追蹤與識(shí)別、手語分割、手語語義映射和手語語義轉(zhuǎn)文字,從而完成手勢(shì)識(shí)別。

6.根據(jù)權(quán)利要求2所述的一種用于溝通障礙的視頻通話系統(tǒng),其特征在于:所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為:所述視頻通話發(fā)起端采集參與者的視頻畫面,進(jìn)而將視頻畫面給手語語言識(shí)別服務(wù)器處理;手語識(shí)別主要進(jìn)行以下操作:調(diào)用手語識(shí)別引擎識(shí)別出手語信息;手語轉(zhuǎn)字幕模塊通過將手語信息轉(zhuǎn)化為文字字幕信息;調(diào)用字幕轉(zhuǎn)聲音模塊,將字幕信息轉(zhuǎn)換為聲音信息;將字幕信息和聲音信息回傳給視頻通話發(fā)起端,視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包,進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊,將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。

7.一種用于溝通障礙的視頻通話方法,其特征在于:所述方法需提供視頻通話發(fā)起端、手語語言識(shí)別服務(wù)器、視頻通話輔助功能服務(wù)器以及視頻通話目標(biāo)端;

溝通障礙的參與者在視頻通話發(fā)起端使用手語語言進(jìn)行交流,通過手語語言識(shí)別服務(wù)器,將手語語言轉(zhuǎn)換為文字字幕信息,并將文字字幕信息轉(zhuǎn)換成數(shù)字音頻信息;

所述視頻通話終端最終將視頻、音頻信息和文字字幕數(shù)據(jù)打包,進(jìn)而通過視頻通話輔助功能服務(wù)器將視頻通話數(shù)據(jù)送到視頻通話目標(biāo)端。

8.根據(jù)權(quán)利要求7所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述視頻通話發(fā)起端中設(shè)置有硬件驅(qū)動(dòng)、操作系統(tǒng)模塊、視頻通話中間件模塊、手語識(shí)別引擎、手語轉(zhuǎn)字幕模塊、字幕轉(zhuǎn)聲音模塊、視頻/音頻/字幕編碼打包模塊以及視頻通話傳輸模塊;

所述硬件驅(qū)動(dòng)是設(shè)備硬件的軟件接口抽象;

所述操作系統(tǒng)模塊是設(shè)備運(yùn)行其他軟件的基礎(chǔ);

所述視頻通話中間件模塊,通過軟件實(shí)現(xiàn)視頻通話的全部功能接口的總稱;

所述手語識(shí)別引擎,用于識(shí)別出手語信息;

所述手語轉(zhuǎn)字幕模塊,將采集的手勢(shì)信息轉(zhuǎn)換成文字字幕信息,包括采集用戶圖像信息,手勢(shì)識(shí)別,手勢(shì)信息與特定動(dòng)作比對(duì),識(shí)別對(duì)應(yīng)的手語含義,將手語含義轉(zhuǎn)換成文字字幕信息;

所述字幕轉(zhuǎn)聲音模塊,用于將文字轉(zhuǎn)為聲音;

所述視頻/音頻/字幕編碼打包模塊,識(shí)別出了手勢(shì)信息,并轉(zhuǎn)成音頻流和字幕流,然后將視頻流信息、音頻流和字幕流三路流重新打包;

所述視頻通話傳輸模塊,即視頻通話中間件模塊的傳輸?shù)墓δ堋?/p>

9.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述方法進(jìn)一步具體為:所述視頻視頻通話系統(tǒng)進(jìn)行視頻通話操作具體為:所述視頻通話發(fā)起端采集參與者的視頻畫面,進(jìn)而將視頻畫面給手語語言識(shí)別服務(wù)器處理;手語識(shí)別主要進(jìn)行以下操作:調(diào)用手語識(shí)別引擎識(shí)別出手語信息;手語轉(zhuǎn)字幕模塊通過將手語信息轉(zhuǎn)化為文字字幕信息;調(diào)用字幕轉(zhuǎn)聲音模塊,將字幕信息轉(zhuǎn)換為聲音信息;將字幕信息和聲音信息回傳給視頻通話發(fā)起端,視頻通話發(fā)起端將視頻通話的多媒體數(shù)據(jù)通過視頻/音頻/字幕編碼打包模塊進(jìn)行打包,進(jìn)而調(diào)用視頻通話中間件模塊的視頻通話傳輸模塊,將視頻通話的數(shù)據(jù)通過視頻通話輔助功能服務(wù)器傳輸?shù)揭曨l通話目標(biāo)端。

10.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述硬件驅(qū)動(dòng)包括處理器驅(qū)動(dòng)、通信接口驅(qū)動(dòng)、音頻驅(qū)動(dòng)以及視頻硬編碼驅(qū)動(dòng)。

11.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述手語識(shí)別引擎包括:手語識(shí)別接口、手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊、手語識(shí)別實(shí)施模塊、以及手語識(shí)別管理模塊;

所述手語識(shí)別接口是完成手語識(shí)別功能邏輯上所需接口的定義;

所述手語識(shí)別服務(wù)運(yùn)營(yíng)策略模塊,選擇最終的手語識(shí)別接口的實(shí)施例;

所述手語識(shí)別實(shí)施模塊,用于對(duì)具體實(shí)施例的實(shí)施;

所述手語識(shí)別管理模塊,負(fù)責(zé)管理和維護(hù)多個(gè)手語識(shí)別接口的具體實(shí)施。

12.根據(jù)權(quán)利要求8所述的一種用于溝通障礙的視頻通話方法,其特征在于:所述手語識(shí)別引擎的工作原理:對(duì)溝通障礙的人進(jìn)行視頻畫面采集;再將采集的圖像二值化預(yù)處理;并進(jìn)行手語追蹤與識(shí)別、手語分割、手語語義映射和手語語義轉(zhuǎn)文字,從而完成手勢(shì)識(shí)別。

當(dāng)前第2頁(yè)1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1