一種手語識別轉(zhuǎn)換系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種手語識別轉(zhuǎn)換系統(tǒng)，包括用戶終端，所述用戶終端設有信息存儲模塊、手語采集模塊、文字輸入模塊、語音輸入模塊、圖像處理模塊、翻譯模塊、語音處理模塊、顯示模塊、語音輸出模塊、控制模塊和無線傳輸模塊。本發(fā)明方便將手語信息轉(zhuǎn)換為中文文字信息、外文文字信息、中文語音信息或者外文語音信息輸出，同時也可以將中文文字信息、外文文字信息、中文語音信息或者外文語音信息轉(zhuǎn)換為手語信息輸出，方便聾啞人士與普通人之間的交流；還可以通過無線傳輸模塊將一個用戶終端與另一個用戶終端聯(lián)系起來，方便聾啞人士和普通人進行遠程交流。
【專利說明】
一種手語識別轉(zhuǎn)換系統(tǒng)
技術(shù)領域
[0001]本發(fā)明主要涉及手語識別領域，具體是一種手語識別轉(zhuǎn)換系統(tǒng)。
【背景技術(shù)】
[0002]手語是由手形、手臂運動并輔助以表情、唇動以及其他體勢表達思想的語言，具有規(guī)范的語法、明確的寓意和完備的詞匯體系。聾啞人士之間一般都是使用手語進行交流，但是聾啞人士與普通人之間的交流就比較困難，他們之間互相不懂得對方的語言，在進行互動時很不方便。

【發(fā)明內(nèi)容】

[0003]為了解決現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種手語識別轉(zhuǎn)換系統(tǒng)，方便將手語信息轉(zhuǎn)換為中文文字信息、外文文字信息、中文語音信息或者外文語音信息輸出，同時也可以將中文文字信息、外文文字信息、中文語音信息或者外文語音信息轉(zhuǎn)換為手語信息輸出，方便聾啞人士與普通人之間的交流。
[0004]本發(fā)明為實現(xiàn)上述目的，通過以下技術(shù)方案實現(xiàn):
[0005]—種手語識別轉(zhuǎn)換系統(tǒng)，包括用戶終端，所述用戶終端設有信息存儲模塊、手語采集模塊、文字輸入模塊、語音輸入模塊、圖像處理模塊、翻譯模塊、語音處理模塊、顯示模塊、語音輸出模塊、控制模塊和無線傳輸模塊；
[0006]所述信息存儲模塊:用于存儲標準手語的動態(tài)模型、與標準手語的動態(tài)模型對應的中文文字信息、與中文文字信息對應的中文語音信息、與中文文字信息對應的外文文字信息、與外文文字信息對應的外文語音信息；
[0007]所述手語采集模塊:用于采集人體影像，并將采集的人體影像傳輸入圖像處理模塊；
[0008]所述文字輸入模塊:用于輸入中文文字信息、外文文字信息，并根據(jù)控制模塊的指令信息將中文文字信息傳輸至圖像處理模塊，將外文文字信息傳輸至翻譯模塊；
[0009]所述語音輸入模塊:用于采集中文語音信息、外文語音信息，并根據(jù)控制模塊的指令信息將中文語音信息、外文語音信息傳輸至語音處理模塊；
[0010]所述圖像處理模塊:根據(jù)手語采集模塊輸入的人體影像抽取出用于識別手語信息的人體特征影像，并對人體特征影像進行圖像分割，分割出臉部的特征以及手臂和手部的運動軌跡，提取出手語特征，根據(jù)提取的手語特征與信息存儲模塊存儲的信息進行識別比較，得到對應的中文文字信息，并根據(jù)控制模塊的指令信息將此中文文字信息傳輸至顯示模塊、語音處理模塊或者翻譯模塊;圖像處理模塊接收文字輸入模塊傳輸?shù)闹形奈淖中畔ⅰ⒎g模塊傳輸?shù)闹形奈淖中畔?、語音處理模塊傳輸?shù)闹形奈淖中畔?，并將接收的此中文文字信息與信息存儲模塊存儲的信息進行比較，得到手語動態(tài)模型，將手語動態(tài)模型傳輸至顯示模塊；
[0011 ]所述翻譯模塊:將傳輸至翻譯模塊的中文文字信息翻譯成外文文字信息，并根據(jù)控制模塊的指令信息將此外文文字信息傳輸至顯示模塊或者語音處理模塊;將傳輸至翻譯模塊的外文文字信息翻譯成中文文字信息，并根據(jù)控制模塊的指令信息將中文文字信息傳輸至顯示模塊或者語音處理模塊或者圖像處理模塊；
[0012]所述語音處理模塊:接收圖像處理模塊傳輸?shù)闹形奈淖中畔⒉⒔邮盏闹形奈淖中畔⑥D(zhuǎn)換為中文語音信息，同時將此中文語音信息傳輸至語音輸出模塊;接收翻譯模塊傳輸?shù)耐馕奈淖中畔⒉⒔邮盏耐馕奈淖中畔⑥D(zhuǎn)換為外文語音信息，同時將此外文語音信息傳輸至語音輸出模塊;接收語音輸入模塊傳輸?shù)闹形恼Z音信息和外文語音信息，同時將接收的中文語音信息轉(zhuǎn)換為中文文字信息，并將此中文文字信息傳輸至圖像處理模塊，將外文語音信息轉(zhuǎn)換為外文文字信息并將轉(zhuǎn)換的外文文字信息傳輸至翻譯模塊；
[0013]所述顯示模塊:包括顯示屏，根據(jù)圖像處理模塊傳輸?shù)氖终Z動態(tài)模型輸出手語動態(tài)影像;根據(jù)圖像處理模塊傳輸?shù)闹形奈淖中畔⑤敵鲋形奈淖中畔?根據(jù)語音處理模塊傳輸?shù)闹形奈淖中畔⑤敵鲋形奈淖中畔?根據(jù)翻譯模塊輸出的外文文字信息輸出外文文字信息;
[0014]所述語音輸出模塊:根據(jù)語音處理模塊傳輸?shù)闹形恼Z音信息輸出中文語音信息，根據(jù)語音處理模塊傳輸?shù)耐馕恼Z音信息輸出外文語音信息；
[0015]所述控制模塊:用于設置指令信息并發(fā)出指令信息，指令信息包括手語轉(zhuǎn)換為中文文字指令、手語轉(zhuǎn)換為中文語音指令、手語轉(zhuǎn)換為外文文字指令、手語轉(zhuǎn)換為外文語音指令、中文文字轉(zhuǎn)換為手語的指令、中文語音轉(zhuǎn)換為手語的指令、外文文字轉(zhuǎn)換為手語的指令、外文語音轉(zhuǎn)換為手語的信息指令；
[0016]所述無線傳輸模塊:與顯示模塊、語音輸出模塊連接，所述用戶終端之間通過無線傳輸模塊進行中文文字信息、外文文字信息、中文語音信息、外文語音信息和手語動態(tài)影像的傳遞。
[0017]所述用戶終端為手機終端或者電腦終端。
[0018]對比現(xiàn)有技術(shù)，本發(fā)明有益效果在于:本發(fā)明方便將手語信息轉(zhuǎn)換為中文文字信息、外文文字信息、中文語音信息或者外文語音信息輸出，同時也可以將中文文字信息、夕卜文文字信息、中文語音信息或者外文語音信息轉(zhuǎn)換為手語信息輸出，方便聾啞人士與普通人之間的交流;還可以通過無線傳輸模塊將一個用戶終端與另一個用戶終端聯(lián)系起來，方便聾啞人士和普通人進行遠程交流。
【附圖說明】
[0019]附圖1是本發(fā)明的結(jié)構(gòu)示意圖。
[0020]附圖中所示標號:1、用戶終端;2、信息存儲模塊;3、手語采集模塊;4、文字輸入模塊;5、語音輸入模塊;6、圖像處理模塊;7、翻譯模塊;8、語音處理模塊;9、顯示模塊;1、語音輸出模塊;11、控制模塊12、無線傳輸模塊。
【具體實施方式】
[0021]結(jié)合附圖和具體實施例，對本發(fā)明作進一步說明。應理解，這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領域技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權(quán)利要求書所限定的范圍。
[0022]—種手語識別轉(zhuǎn)換系統(tǒng)，包括用戶終端I，所述用戶終端I設有信息存儲模塊2、手語采集模塊3、文字輸入模塊4、語音輸入模塊5、圖像處理模塊6、翻譯模塊7、語音處理模塊
8、顯示模塊9、語音輸出模塊10、控制模塊11和無線傳輸模塊12。
[0023]所述信息存儲模塊2:用于存儲標準手語的動態(tài)模型、與標準手語的動態(tài)模型對應的中文文字信息、與中文文字信息對應的中文語音信息、與中文文字信息對應的外文文字信息、與外文文字信息對應的外文語音信息。
[0024]所述手語采集模塊3:用于采集人體影像，并將采集的人體影像傳輸入圖像處理模塊6 0
[0025]所述文字輸入模塊4:用于輸入中文文字信息、外文文字信息，并根據(jù)控制模塊11的指令信息將中文文字信息傳輸至圖像處理模塊6，將外文文字信息傳輸至翻譯模塊7。
[0026]所述語音輸入模塊5:用于采集中文語音信息、外文語音信息，并根據(jù)控制模塊11的指令信息將中文語音信息、外文語音信息傳輸至語音處理模塊8。
[0027]所述圖像處理模塊6:根據(jù)手語采集模塊3輸入的人體影像抽取出用于識別手語信息的人體特征影像，并對人體特征影像進行圖像分割，分割出臉部的特征以及手臂和手部的運動軌跡，提取出手語特征，根據(jù)提取的手語特征與信息存儲模塊2存儲的信息進行識別比較，得到對應的中文文字信息，并根據(jù)控制模塊11的指令信息將此中文文字信息傳輸至顯示模塊9、語音處理模塊8或者翻譯模塊7;圖像處理模塊6接收文字輸入模塊4傳輸?shù)闹形奈淖中畔?、翻譯模塊7傳輸?shù)闹形奈淖中畔?、語音處理模塊8傳輸?shù)闹形奈淖中畔ⅲ⒔邮盏拇酥形奈淖中畔⑴c信息存儲模塊2存儲的信息進行比較，得到手語動態(tài)模型，將手語動態(tài)模型傳輸至顯示模塊9。
[0028]所述翻譯模塊7:將傳輸至翻譯模塊7的中文文字信息翻譯成外文文字信息，并根據(jù)控制模塊11的指令信息將此外文文字信息傳輸至顯示模塊9或者語音處理模塊8;將傳輸至翻譯模塊7的外文文字信息翻譯成中文文字信息，并根據(jù)控制模塊11的指令信息將中文文字信息傳輸至顯示模塊9或者語音處理模塊8或者圖像處理模塊6。
[0029]所述語音處理模塊8:接收圖像處理模塊6傳輸?shù)闹形奈淖中畔⒉⒔邮盏闹形奈淖中畔⑥D(zhuǎn)換為中文語音信息，同時將此中文語音信息傳輸至語音輸出模塊10;接收翻譯模塊7傳輸?shù)耐馕奈淖中畔⒉⒔邮盏耐馕奈淖中畔⑥D(zhuǎn)換為外文語音信息，同時將此外文語音信息傳輸至語音輸出模塊10;接收語音輸入模塊5傳輸?shù)闹形恼Z音信息和外文語音信息，同時將接收的中文語音信息轉(zhuǎn)換為中文文字信息，并將此中文文字信息傳輸至圖像處理模塊6，將外文語音信息轉(zhuǎn)換為外文文字信息并將轉(zhuǎn)換的外文文字信息傳輸至翻譯模塊7。
[0030]所述顯示模塊9:包括顯示屏，根據(jù)圖像處理模塊6傳輸?shù)氖终Z動態(tài)模型輸出手語動態(tài)影像;根據(jù)圖像處理模塊6傳輸?shù)闹形奈淖中畔⑤敵鲋形奈淖中畔?根據(jù)語音處理模塊8傳輸?shù)闹形奈淖中畔⑤敵鲋形奈淖中畔?根據(jù)翻譯模塊7輸出的外文文字信息輸出外文文字信息。
[0031]所述語音輸出模塊10:根據(jù)語音處理模塊8傳輸?shù)闹形恼Z音信息輸出中文語音信息，根據(jù)語音處理模塊8傳輸?shù)耐馕恼Z音信息輸出外文語音信息。
[0032]所述控制模塊11:用于設置指令信息并發(fā)出指令信息，指令信息包括手語轉(zhuǎn)換為中文文字指令、手語轉(zhuǎn)換為中文語音指令、手語轉(zhuǎn)換為外文文字指令、手語轉(zhuǎn)換為外文語音指令、中文文字轉(zhuǎn)換為手語的指令、中文語音轉(zhuǎn)換為手語的指令、外文文字轉(zhuǎn)換為手語的指令、外文語音轉(zhuǎn)換為手語的信息指令。
[0033]具體的，使用者通過控制模塊11設置手語轉(zhuǎn)換為中文文字指令，通過手語采集模塊3采集人體影像，并將采集的人體影像傳輸至圖像處理模塊6，圖像處理模塊6得到對應的中文文字信息，并將此中文文字信息傳輸至顯示模塊9，顯示模塊9顯示出中文文字信息。使用者通過控制模塊11設置手語轉(zhuǎn)換為中文語音指令，通過手語采集模塊3采集人體影像，并將采集的人體影像傳輸至圖像處理模塊6，圖像處理模塊6得到對應的中文文字信息，并將此中文文字信息傳輸至語音處理模塊8，語音處理模塊8將接收的中文文字信息轉(zhuǎn)換為中文語音信息，并將轉(zhuǎn)換的中文語音信息傳輸至語音輸出模塊10，語音輸出模塊10輸出中文語音信息。使用者通過控制模塊11設置手語轉(zhuǎn)換為外文文字指令，通過手語采集模塊3采集人體影像，并將采集的人體影像傳輸至圖像處理模塊6，圖像處理模塊6得到對應的中文文字信息，并將此中文文字信息傳輸至翻譯模塊7，翻譯模塊7將中文文字信息翻譯成外文文字信息，并將翻譯的外文文字信息傳輸至顯示模塊9，顯示模塊9顯示出外文文字信息。使用者通過控制模塊11設置手語轉(zhuǎn)換為外文文字指令，通過手語采集模塊3采集人體影像，并將采集的人體影像傳輸至圖像處理模塊6，圖像處理模塊6得到對應的中文文字信息，并將此中文文字信息傳輸至翻譯模塊7，翻譯模塊7將中文文字信息翻譯成外文文字信息，并將翻譯的外文文字信息傳輸至語音處理模塊8，語音處理模塊8將接收的此外文文字信息轉(zhuǎn)換為外文語音信息，同時將轉(zhuǎn)換的此外文語音信息傳輸至語音輸出模塊10，語音輸出模塊10輸出外文語音信息。使用者通過控制模塊11設置中文文字轉(zhuǎn)換為手語的指令，通過文字輸入模塊4輸入中文文字信息，并將中文文字信息傳輸至圖像處理模塊6，通過圖像處理模塊6得到對應的手語動態(tài)模型，并將手語動態(tài)模型傳輸至顯示模塊9，顯示模塊9輸出手語動態(tài)影像。使用者通過控制模塊11設置中文語音轉(zhuǎn)換為手語的指令，通過語音輸入模塊5采集中文語音信息，并將此中文語音信息傳輸至語音處理模塊8，語音處理模塊8將將接收的中文語音信息轉(zhuǎn)換為中文文字信息，并將此中文文字信息傳輸至圖像處理模塊6，通過圖像處理模塊6得到對應的手語動態(tài)模型，并將手語動態(tài)模型傳輸至顯示模塊9，顯示模塊9輸出手語動態(tài)影像。使用者通過控制模塊11設置外文文字轉(zhuǎn)換為手語的指令，通過文字輸入模塊4輸入外文文字信息，并將外文文字信息傳輸至翻譯模塊7，翻譯模塊7將外文文字信息翻譯成中文文字信息，并將翻譯的中文文字信息傳輸至圖像處理模塊6，通過圖像處理模塊6得到對應的手語動態(tài)模型，并將手語動態(tài)模型傳輸至顯示模塊9，顯示模塊9輸出手語動態(tài)影像。使用者通過控制模塊11設置外文語音轉(zhuǎn)換為手語的信息指令，通過語音輸入模塊5采集外文語音信息，并將此外文語音信息傳輸至語音處理模塊8，語音處理模塊8將將接收的外文語音信息轉(zhuǎn)換為外文文字信息，并將轉(zhuǎn)換的外文文字信息傳輸至翻譯模塊7，翻譯模塊7將外文文字信息翻譯成中文文字信息，并將翻譯的中文文字信息傳輸至圖像處理模塊6，通過圖像處理模塊6得到對應的手語動態(tài)模型，并將手語動態(tài)模型傳輸至顯示模塊9，顯示模塊9輸出手語動態(tài)影像O
[0034]所述無線傳輸模塊12:與顯示模塊9、語音輸出模塊10連接，所述用戶終端I之間通過無線傳輸模塊12進行中文文字信息、外文文字信息、中文語音信息、外文語音信息和手語動態(tài)影像的傳遞，聾啞人士和普通人可以只是使用一個用戶終端進行互相的交流，或者通過無線傳輸模塊12可以將一個用戶終端與另一個用戶終端聯(lián)系起來，方便聾啞人士和普通人進行遠程聊天。
[0035]所述用戶終端I為手機終端或者電腦終端，聾啞人士和普通人可以通過手機或者電腦進行溝通，簡單方便。
【主權(quán)項】
1.一種手語識別轉(zhuǎn)換系統(tǒng)，其特征是:包括用戶終端(I)，所述用戶終端(I)設有信息存儲模塊(2)、手語采集模塊(3)、文字輸入模塊(4)、語音輸入模塊(5)、圖像處理模塊(6)、翻譯模塊(7)、語音處理模塊(8)、顯示模塊(9)、語音輸出模塊(10)、控制模塊(11)和無線傳輸豐旲塊(12); 所述信息存儲模塊(2):用于存儲標準手語的動態(tài)模型、與標準手語的動態(tài)模型對應的中文文字信息、與中文文字信息對應的中文語音信息、與中文文字信息對應的外文文字信息、與外文文字信息對應的外文語音信息； 所述手語采集模塊(3):用于采集人體影像，并將采集的人體影像傳輸入圖像處理模塊(6)； 所述文字輸入模塊(4):用于輸入中文文字信息、外文文字信息，并根據(jù)控制模塊(11)的指令信息將中文文字信息傳輸至圖像處理模塊(6)，將外文文字信息傳輸至翻譯模塊(7)； 所述語音輸入模塊(5):用于采集中文語音信息、外文語音信息，并根據(jù)控制模塊(11)的指令信息將中文語音信息、外文語音信息傳輸至語音處理模塊(8); 所述圖像處理模塊(6):根據(jù)手語采集模塊(3)輸入的人體影像抽取出用于識別手語信息的人體特征影像，并對人體特征影像進行圖像分割，分割出臉部的特征以及手臂和手部的運動軌跡，提取出手語特征，根據(jù)提取的手語特征與信息存儲模塊(2)存儲的信息進行識別比較，得到對應的中文文字信息，并根據(jù)控制模塊(11)的指令信息將此中文文字信息傳輸至顯示模塊(9)、語音處理模塊(8)或者翻譯模塊(7);圖像處理模塊(6)接收文字輸入模塊(4)傳輸?shù)闹形奈淖中畔?、翻譯模塊(7)傳輸?shù)闹形奈淖中畔ⅰ⒄Z音處理模塊(8)傳輸?shù)闹形奈淖中畔?，并將接收的此中文文字信息與信息存儲模塊(2)存儲的信息進行比較，得到手語動態(tài)模型，將手語動態(tài)模型傳輸至顯示模塊(9); 所述翻譯模塊(7):將傳輸至翻譯模塊(7)的中文文字信息翻譯成外文文字信息，并根據(jù)控制模塊(11)的指令信息將此外文文字信息傳輸至顯示模塊(9)或者語音處理模塊(8);將傳輸至翻譯模塊(7)的外文文字信息翻譯成中文文字信息，并根據(jù)控制模塊(11)的指令信息將中文文字信息傳輸至顯示模塊(9)或者語音處理模塊(8)或者圖像處理模塊(6); 所述語音處理模塊(8):接收圖像處理模塊(6)傳輸?shù)闹形奈淖中畔⒉⒔邮盏闹形奈淖中畔⑥D(zhuǎn)換為中文語音信息，同時將此中文語音信息傳輸至語音輸出模塊(10);接收翻譯模塊(7)傳輸?shù)耐馕奈淖中畔⒉⒔邮盏耐馕奈淖中畔⑥D(zhuǎn)換為外文語音信息，同時將此外文語音信息傳輸至語音輸出模塊(10);接收語音輸入模塊(5)傳輸?shù)闹形恼Z音信息和外文語音信息，同時將接收的中文語音信息轉(zhuǎn)換為中文文字信息，并將此中文文字信息傳輸至圖像處理模塊(6)，將外文語音信息轉(zhuǎn)換為外文文字信息并將轉(zhuǎn)換的外文文字信息傳輸至翻譯t旲塊(7); 所述顯示模塊(9):包括顯示屏，根據(jù)圖像處理模塊(6)傳輸?shù)氖终Z動態(tài)模型輸出手語動態(tài)影像;根據(jù)圖像處理模塊(6)傳輸?shù)闹形奈淖中畔⑤敵鲋形奈淖中畔?根據(jù)語音處理模塊(8)傳輸?shù)闹形奈淖中畔⑤敵鲋形奈淖中畔?根據(jù)翻譯模塊(7)輸出的外文文字信息輸出外文文字信息； 所述語音輸出模塊(10):根據(jù)語音處理模塊(8)傳輸?shù)闹形恼Z音信息輸出中文語音信息，根據(jù)語音處理模塊(8)傳輸?shù)耐馕恼Z音信息輸出外文語音信息； 所述控制模塊(11):用于設置指令信息并發(fā)出指令信息，指令信息包括手語轉(zhuǎn)換為中文文字指令、手語轉(zhuǎn)換為中文語音指令、手語轉(zhuǎn)換為外文文字指令、手語轉(zhuǎn)換為外文語音指令、中文文字轉(zhuǎn)換為手語的指令、中文語音轉(zhuǎn)換為手語的指令、外文文字轉(zhuǎn)換為手語的指令、外文語音轉(zhuǎn)換為手語的信息指令； 所述無線傳輸模塊(12):與顯示模塊(9)、語音輸出模塊(10)連接，所述用戶終端(I)之間通過無線傳輸模塊(12)進行中文文字信息、外文文字信息、中文語音信息、外文語音信息和手語動態(tài)影像的傳遞。2.根據(jù)權(quán)利要求1所述的一種手語識別轉(zhuǎn)換系統(tǒng)，其特征是:所述用戶終端(I)為手機終端或者電腦終端。
【文檔編號】G06K9/00GK105913015SQ201610218652
【公開日】2016年8月31日
【申請日】2016年4月7日
【發(fā)明人】黃錦陽
【申請人】安徽大學