本發(fā)明涉及手語(yǔ)翻譯系統(tǒng)領(lǐng)域，尤其涉及一種可穿戴式手語(yǔ)識(shí)別裝置及手語(yǔ)翻譯方法，具體是基于多軸運(yùn)動(dòng)傳感器與肌肉電信號(hào)的運(yùn)動(dòng)姿態(tài)解算與模式識(shí)別技術(shù)將手語(yǔ)翻譯為語(yǔ)音或文字的實(shí)時(shí)人機(jī)交互系統(tǒng)。

背景技術(shù)：

手語(yǔ)是語(yǔ)言或聽(tīng)覺(jué)障礙者與人溝通的主要工具，而普通人中能夠熟練使用手語(yǔ)的比例較低。因此，語(yǔ)言或聽(tīng)覺(jué)障礙者與普通人溝通存在諸多不便。由于手語(yǔ)種類(lèi)多，以中國(guó)手語(yǔ)詞匯為例，共有5000余個(gè)手勢(shì)詞；手語(yǔ)動(dòng)作動(dòng)態(tài)變化等特點(diǎn)，使得手語(yǔ)識(shí)別技術(shù)尚未取得廣泛的應(yīng)用。

通過(guò)手語(yǔ)識(shí)別技術(shù)，將手語(yǔ)動(dòng)作翻譯為普通人可以聽(tīng)懂的語(yǔ)音或者可以看懂的文字，能夠跨越語(yǔ)言或聽(tīng)覺(jué)障礙者與普通人之間的溝通障礙，提高語(yǔ)言或聽(tīng)覺(jué)障礙者的生活質(zhì)量。

目前對(duì)于手勢(shì)識(shí)別的主要技術(shù)方案有基于數(shù)據(jù)手套采集關(guān)節(jié)角度信息，但是數(shù)據(jù)手套的佩戴限制了語(yǔ)言或聽(tīng)覺(jué)障礙者的日常生活；基于圖像處理的手勢(shì)識(shí)別方式受環(huán)境的限制，且在便攜方面不具有優(yōu)勢(shì)。此外，中國(guó)專(zhuān)利申請(qǐng)?zhí)枮椋?01410376205.X的“基于肌電信號(hào)和運(yùn)動(dòng)傳感器的手語(yǔ)翻譯和顯示發(fā)聲系統(tǒng)”提出一種通過(guò)佩戴在手臂上的設(shè)備，采集手臂肌電信號(hào)和多軸運(yùn)動(dòng)傳感器信號(hào)，但依據(jù)其原理只能檢測(cè)手指與前臂的姿態(tài)，不能檢測(cè)手掌與手臂的相對(duì)姿態(tài)，而手語(yǔ)動(dòng)作中手掌與手臂的相對(duì)姿態(tài)對(duì)于手語(yǔ)動(dòng)作的區(qū)分具有重要意義；依據(jù)其所述原理不具有反饋功能，聽(tīng)覺(jué)障礙者無(wú)法確定翻譯系統(tǒng)是否正常工作，所以此方法存在技術(shù)缺陷。

技術(shù)實(shí)現(xiàn)要素：

有鑒于現(xiàn)有技術(shù)的不足，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種簡(jiǎn)單準(zhǔn)確的可穿戴式手語(yǔ)識(shí)別裝置。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種可穿戴式手語(yǔ)識(shí)別裝置，通過(guò)臂環(huán)的肌肉電信號(hào)傳感器實(shí)時(shí)采集手臂的肌肉電信號(hào)檢測(cè)手指的運(yùn)動(dòng)姿態(tài)，通過(guò)指環(huán)以及臂環(huán)的多軸運(yùn)動(dòng)傳感器實(shí)時(shí)采集手掌與手臂的相對(duì)姿態(tài)以及手臂在三維空間的姿態(tài)，采用模式識(shí)別的方式，實(shí)現(xiàn)手語(yǔ)識(shí)別，并通過(guò)上位機(jī)將翻譯結(jié)果以語(yǔ)音或文字的形式輸出。具體地，本發(fā)明提供的技術(shù)方案如下：

一種可穿戴式手語(yǔ)識(shí)別裝置，包括穿戴設(shè)備端和上位機(jī)端；穿戴設(shè)備端包括可穿戴的指環(huán)和臂環(huán)，指環(huán)上具有手掌處多軸運(yùn)動(dòng)傳感器；臂環(huán)上具有至少一個(gè)第一模塊、一個(gè)或多個(gè)第二模塊以及固定第一模塊和第二模塊的臂帶，第一模塊包括肌肉電信號(hào)傳感器、前臂處多軸運(yùn)動(dòng)傳感器、微處理器、反饋部件以及第一通訊模塊，第二模塊包括肌肉電信號(hào)傳感器；肌肉電信號(hào)傳感器、前臂處多軸運(yùn)動(dòng)傳感器、反饋部件、第一通訊模塊以及手掌處多軸運(yùn)動(dòng)傳感器都與微處理器連接，微處理器用于讀取和處理肌肉電信號(hào)傳感器、前臂處多軸運(yùn)動(dòng)傳感器和手掌處多軸運(yùn)動(dòng)傳感器采集的信息，反饋部件用于向使用者反饋提示信息；上位機(jī)端包括上位機(jī)和第二通訊模塊，微處理器通過(guò)第一通訊模塊和第二通訊模塊與上位機(jī)交互信息。

優(yōu)選地，上位機(jī)端還包括與上位機(jī)連接的交互設(shè)備，交互設(shè)備被設(shè)置為用于對(duì)上位機(jī)識(shí)別的手語(yǔ)進(jìn)行語(yǔ)義校正及語(yǔ)法矯正。

優(yōu)選地，多通道肌肉電信號(hào)傳感器包括多通道肌肉電信號(hào)電極、濾波電路以及放大電路。

優(yōu)選地，上位機(jī)為智能手機(jī)、平板電腦等移動(dòng)終端設(shè)備。

優(yōu)選地，臂帶采用可伸縮材料制成。

優(yōu)選地，手掌處多軸運(yùn)動(dòng)傳感器和前臂處多軸運(yùn)動(dòng)傳感器均包括三軸加速度計(jì)、三軸角速度計(jì)和三軸磁力計(jì)。

優(yōu)選地，提示信息包括振動(dòng)、聲音、顯示屏、信號(hào)燈等反饋提示方式。

一種使用上述可穿戴式手語(yǔ)識(shí)別裝置的手語(yǔ)翻譯方法，包括如下步驟：

1)選擇上位機(jī)模式為訓(xùn)練，根據(jù)手語(yǔ)動(dòng)作訓(xùn)練分類(lèi)器并得到手語(yǔ)分類(lèi)器集，儲(chǔ)存于上位機(jī)中；

2)選擇上位機(jī)模式為識(shí)別，根據(jù)手語(yǔ)動(dòng)作的信號(hào)得到分類(lèi)器集，與儲(chǔ)存在上位機(jī)中的手語(yǔ)分類(lèi)器集匹配并輸出識(shí)別結(jié)果；

3)通過(guò)上位機(jī)的交互設(shè)備對(duì)識(shí)別結(jié)果進(jìn)行語(yǔ)義校正及語(yǔ)法矯正，并以語(yǔ)音或文字的形式輸出，用戶(hù)完成一句話的手語(yǔ)動(dòng)作后反饋部件提示用戶(hù)語(yǔ)音是否翻譯完成。

優(yōu)選地，步驟1)的訓(xùn)練過(guò)程包括以下步驟：

a)通過(guò)手掌處多軸運(yùn)動(dòng)傳感器和前臂處多軸運(yùn)動(dòng)傳感器對(duì)手語(yǔ)動(dòng)作進(jìn)行姿態(tài)解算，提取特征并訓(xùn)練第一訓(xùn)練分類(lèi)器；

b)通過(guò)多通道肌肉電信號(hào)傳感器對(duì)手語(yǔ)動(dòng)作進(jìn)行分窗處理，提取特征并訓(xùn)練第二訓(xùn)練分類(lèi)器；

c)將第一訓(xùn)練分類(lèi)器和第二訓(xùn)練分類(lèi)器信息進(jìn)行分類(lèi)器融合，得到手語(yǔ)分類(lèi)器集，將所得手語(yǔ)分類(lèi)器存儲(chǔ)在上位機(jī)中。

優(yōu)選地，步驟2)的識(shí)別過(guò)程包括以下步驟：

a)由手掌處多軸運(yùn)動(dòng)傳感器對(duì)手語(yǔ)動(dòng)作進(jìn)行姿態(tài)解算，判斷單手動(dòng)作和雙手動(dòng)作；

b)由多通道肌肉電信號(hào)傳感器對(duì)手語(yǔ)動(dòng)作進(jìn)行端點(diǎn)檢測(cè)，使連續(xù)的手語(yǔ)動(dòng)作被分割為單個(gè)手語(yǔ)動(dòng)作；

c)通過(guò)手掌處多軸運(yùn)動(dòng)傳感器和前臂處多軸運(yùn)動(dòng)傳感器對(duì)手語(yǔ)動(dòng)作進(jìn)行姿態(tài)解算以及通過(guò)多通道肌肉電信號(hào)傳感器對(duì)手語(yǔ)動(dòng)作進(jìn)行分窗處理，得到手語(yǔ)分類(lèi)器集；

d)將所得到的分類(lèi)器集，與儲(chǔ)存在上位機(jī)中的手語(yǔ)分類(lèi)器集匹配并輸出識(shí)別結(jié)果。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)勢(shì)是：

1、本發(fā)明將肌肉電信號(hào)與多軸運(yùn)動(dòng)信號(hào)融合，利用模式識(shí)別技術(shù)實(shí)現(xiàn)手語(yǔ)動(dòng)作的準(zhǔn)確識(shí)別，并且不受手語(yǔ)動(dòng)作詞匯量的限制。將上述信號(hào)采集、數(shù)據(jù)處理、分類(lèi)過(guò)程集成于可穿戴設(shè)備中，便于使用者佩戴并且不影響其日常生活。

2、本發(fā)明在采用模式識(shí)別技術(shù)過(guò)程中，將手語(yǔ)動(dòng)作首先分為單手手語(yǔ)動(dòng)作與雙手手語(yǔ)動(dòng)作，避免雙手穿戴設(shè)備時(shí)刻處于工作狀態(tài)，降低功耗；指環(huán)與手臂處多軸運(yùn)動(dòng)傳感器能準(zhǔn)確檢測(cè)手掌相對(duì)于手臂的姿態(tài)，使得手語(yǔ)識(shí)別準(zhǔn)確率與效率更高。

以下將結(jié)合附圖對(duì)本發(fā)明的方法及產(chǎn)生的技術(shù)效果作進(jìn)一步說(shuō)明，以充分地了解本發(fā)明的目的、特征和效果。

附圖說(shuō)明

圖1是本發(fā)明的可穿戴式手語(yǔ)識(shí)別裝置示意圖；

圖2是本發(fā)明的可穿戴式手語(yǔ)識(shí)別裝置硬件系統(tǒng)結(jié)構(gòu)圖；

圖3是本發(fā)明的手語(yǔ)識(shí)別系統(tǒng)單手手語(yǔ)訓(xùn)練流程圖；

圖4是本發(fā)明的手語(yǔ)識(shí)別系統(tǒng)雙手手語(yǔ)訓(xùn)練流程圖；

圖5是本發(fā)明的手語(yǔ)識(shí)別系統(tǒng)識(shí)別過(guò)程圖。

具體實(shí)施方式

如圖1和圖2所示分別為本發(fā)明提供的可穿戴式手語(yǔ)識(shí)別裝置及硬件系統(tǒng)示意圖，包括在用戶(hù)的手指和雙臂前臂上佩戴的指環(huán)401以及臂環(huán)404，臂環(huán)404的臂帶402可伸縮以適應(yīng)不同臂圍的用戶(hù)使用。

臂環(huán)404上包括多通道肌肉電信號(hào)傳感器113、多軸運(yùn)動(dòng)傳感器107、微處理器106、反饋部件114以及通訊模塊108，其中多通道肌肉電信號(hào)傳感器113包括多通道肌肉電信號(hào)電極102、濾波電路103以及放大電路104。指環(huán)401中包括多軸運(yùn)動(dòng)傳感器405。臂環(huán)404中模塊403包括肌肉電信號(hào)傳感器113、多軸運(yùn)動(dòng)傳感器107、微處理器106、反饋部件114以及通訊模塊108，其余模塊只包括肌肉電信號(hào)傳感器113。

手語(yǔ)識(shí)別硬件系統(tǒng)通過(guò)多通道肌肉電信號(hào)電極102上的多個(gè)電極片406采集前臂處多通道肌肉電信號(hào)，經(jīng)過(guò)濾波電路103、放大電路104以及A/D轉(zhuǎn)換后由微處理器106讀取，手掌處多軸運(yùn)動(dòng)傳感器105獲取手掌處三軸加速度計(jì)、三軸角速度計(jì)、三軸磁力計(jì)數(shù)據(jù)，通過(guò)但不限于有線方式由微處理器106讀取，前臂處多軸運(yùn)動(dòng)傳感器107獲取手臂處三軸加速度計(jì)、三軸角速度計(jì)、三軸磁力計(jì)數(shù)據(jù)，由微處理器106讀取，當(dāng)微處理器106進(jìn)行分類(lèi)運(yùn)算后，向反饋部件114發(fā)送指令，由反饋部件114提供但不限于振動(dòng)反饋。微處理器106通過(guò)通訊模塊108實(shí)現(xiàn)與上位機(jī)111的雙向信息傳輸。

本發(fā)明所述穿戴設(shè)備端101在使用時(shí)首先通過(guò)通訊模塊110與上位機(jī)端109實(shí)現(xiàn)通訊，通訊模塊110采用但不僅限于藍(lán)牙傳輸或無(wú)線傳輸；上位機(jī)111可采用智能手機(jī)、平板電腦等移動(dòng)終端設(shè)備。初次使用穿戴設(shè)備端101時(shí)，需要進(jìn)行訓(xùn)練；再次使用穿戴設(shè)備端101時(shí)，可跳過(guò)訓(xùn)練環(huán)節(jié)，直接進(jìn)入在線識(shí)別。

如圖3和圖4所示為本發(fā)明的手語(yǔ)識(shí)別系統(tǒng)訓(xùn)練流程。初次使用時(shí)，當(dāng)上位機(jī)111與穿戴設(shè)備端101成功建立通訊后反饋部件114提示正常連接。通過(guò)上位機(jī)111經(jīng)通訊模塊110向穿戴設(shè)備端101通訊模塊108發(fā)送上位機(jī)模式選擇201，216指令，進(jìn)入訓(xùn)練202，217。訓(xùn)練模式下選擇手語(yǔ)動(dòng)作203，218分為單手手語(yǔ)動(dòng)作204和雙手手語(yǔ)動(dòng)作219。

在訓(xùn)練模式下進(jìn)行單手動(dòng)作204訓(xùn)練時(shí)，通過(guò)微處理器106讀取指環(huán)401的多軸運(yùn)動(dòng)傳感器405得到單手手掌處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)205，讀取臂環(huán)404中的模塊403中的多軸運(yùn)動(dòng)傳感器得到單手前臂處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)206，對(duì)兩種原始數(shù)據(jù)進(jìn)行手掌與前臂姿態(tài)解算207并提取特征208，得到手掌與前臂的相對(duì)位置，訓(xùn)練第一分類(lèi)器210。通過(guò)微處理器106讀取經(jīng)過(guò)濾波電路103、放大電路104后的多通道肌肉電信號(hào)113，經(jīng)過(guò)分窗處理211，提取特征213并訓(xùn)練第二分類(lèi)器212。將訓(xùn)練得到的第一分類(lèi)器210和第二分類(lèi)器212進(jìn)行分類(lèi)器融合，得到單手手語(yǔ)分類(lèi)器集214，將所得手語(yǔ)分類(lèi)器215存儲(chǔ)在上位機(jī)111中。

在訓(xùn)練模式下進(jìn)行雙手動(dòng)作219訓(xùn)練時(shí)，通過(guò)微處理器106讀取雙手指環(huán)401的多軸運(yùn)動(dòng)傳感器405得到左手手掌處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)220和右手手掌處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)222，讀取雙臂臂環(huán)404中的模塊403中的多軸運(yùn)動(dòng)傳感器得到左手前臂處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)221和右手前臂處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)222，分別對(duì)兩種原始數(shù)據(jù)進(jìn)行左手手掌與前臂姿態(tài)解算224和右手手掌與前臂姿態(tài)解算226并分別提取特征225，227，得到左右手手掌與前臂的相對(duì)位置，訓(xùn)練第一分類(lèi)器229和第三分類(lèi)器231。通過(guò)微處理器106讀取經(jīng)過(guò)濾波電路103、放大電路104后的左手前臂處多通道肌肉電信號(hào)228和右手前臂處多通道肌肉電信號(hào)241，分別進(jìn)行分窗處理233，235，分別提取特征234，236并訓(xùn)練第二分類(lèi)器230和第四分類(lèi)器232。將訓(xùn)練得到的第一分類(lèi)器229和第二分類(lèi)器230進(jìn)行分類(lèi)器融合得到左手手語(yǔ)分類(lèi)器集237，將訓(xùn)練得到的第三分類(lèi)器231和第四分類(lèi)器232進(jìn)行分類(lèi)器融合得到右手手語(yǔ)分類(lèi)器集238，將左右手分類(lèi)器集融合得到左手右手融合分類(lèi)器239，將所得手語(yǔ)分類(lèi)器240存儲(chǔ)在上位機(jī)111中。

訓(xùn)練結(jié)束后，用戶(hù)可通過(guò)上位機(jī)111經(jīng)通訊模塊110向穿戴設(shè)備端101通訊模塊108發(fā)送上位機(jī)模式選擇301指令，進(jìn)入在線識(shí)別302。用戶(hù)根據(jù)想要表達(dá)的意思做手語(yǔ)動(dòng)作303，通過(guò)微處理器106讀取雙手指環(huán)401的多軸運(yùn)動(dòng)傳感器405得到雙手手掌處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)304，采取姿態(tài)解算305判斷用戶(hù)所做手語(yǔ)動(dòng)作為單手動(dòng)作306還是雙手動(dòng)作307。

若用戶(hù)所做手語(yǔ)動(dòng)作為單手動(dòng)作306，通過(guò)微處理器106讀取經(jīng)過(guò)濾波電路103、放大電路104后的多通道肌肉電信號(hào)308，采用端點(diǎn)檢測(cè)311的方法分割動(dòng)作314，端點(diǎn)檢測(cè)311方法具體為計(jì)算多通道肌肉電信號(hào)308分窗后每個(gè)窗內(nèi)數(shù)據(jù)點(diǎn)的平方和，并與設(shè)定肌肉激活狀態(tài)的閾值進(jìn)行比較，以此判斷動(dòng)作是否進(jìn)行，使得連續(xù)的手語(yǔ)動(dòng)作被分割為單個(gè)手語(yǔ)動(dòng)作。對(duì)單手手語(yǔ)動(dòng)作原始數(shù)據(jù)進(jìn)行處理332。

單手手語(yǔ)動(dòng)作原始數(shù)據(jù)處理332過(guò)程包括，通過(guò)微處理器106讀取指環(huán)401的多軸運(yùn)動(dòng)傳感器405得到單手手掌處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)317，讀取臂環(huán)404中的模塊403中的多軸運(yùn)動(dòng)傳感器得到單手前臂處多軸運(yùn)動(dòng)傳感器原始數(shù)據(jù)318，對(duì)兩種原始數(shù)據(jù)進(jìn)行手掌與前臂姿態(tài)解算321并提取特征322，送入第一分類(lèi)器325中初步判斷所做手語(yǔ)動(dòng)作所在類(lèi)別。通過(guò)微處理器106讀取經(jīng)過(guò)濾波電路103、放大電路104后的多通道肌肉電信號(hào)327，經(jīng)過(guò)分窗處理328，提取特征329并送入第二分類(lèi)器326中初步判斷所做手語(yǔ)動(dòng)作所在類(lèi)別。

將第一分類(lèi)器325和第二分類(lèi)器326所做的初步判斷手語(yǔ)動(dòng)作所在類(lèi)別結(jié)果送入單手手語(yǔ)分類(lèi)器集333，最終得到單手手語(yǔ)動(dòng)作識(shí)別334的結(jié)果。

若用戶(hù)所做手語(yǔ)動(dòng)作為雙手動(dòng)作307，通過(guò)微處理器106讀取經(jīng)過(guò)濾波電路103、放大電路104后的左手前臂處多通道肌肉電信號(hào)309和右手前臂處多通道肌肉電信號(hào)310，采用端點(diǎn)檢測(cè)312，313的方法分割左手和右手動(dòng)作315，316，使得連續(xù)的手語(yǔ)動(dòng)作被分割為單個(gè)手語(yǔ)動(dòng)作。分別對(duì)左手和右手手語(yǔ)動(dòng)作原始數(shù)據(jù)進(jìn)行處理319，320，分別進(jìn)行左手手語(yǔ)分類(lèi)器集323和右手手語(yǔ)分類(lèi)器集324的初步分類(lèi)后送入左手右手融合分類(lèi)器330，最終得到雙手手語(yǔ)動(dòng)作識(shí)別331的結(jié)果。

將手語(yǔ)識(shí)別結(jié)果335通過(guò)可穿戴設(shè)備端101通訊模塊108經(jīng)上位機(jī)端109通訊模塊110發(fā)送至上位機(jī)111，借助于上位機(jī)111的交互設(shè)備112實(shí)現(xiàn)語(yǔ)義校正及語(yǔ)法矯正，并以語(yǔ)音或文字的形式輸出。用戶(hù)完成一句話的手語(yǔ)動(dòng)作后反饋部件114會(huì)提示用戶(hù)語(yǔ)音是否翻譯完成，避免交流發(fā)生混亂，實(shí)現(xiàn)語(yǔ)言或聽(tīng)覺(jué)障礙的人與普通人正常交流。

經(jīng)過(guò)訓(xùn)練模式后，用戶(hù)再次使用穿戴設(shè)備端時(shí)可直接選擇在線識(shí)別模式，不需要再次經(jīng)歷訓(xùn)練過(guò)程。

以上詳細(xì)描述了本發(fā)明的較佳具體實(shí)施例。應(yīng)當(dāng)理解，本領(lǐng)域的普通技術(shù)無(wú)需創(chuàng)造性勞動(dòng)就可以根據(jù)本發(fā)明的構(gòu)思做出諸多修改和變化。因此，凡本技術(shù)領(lǐng)域中技術(shù)人員依本發(fā)明的構(gòu)思在現(xiàn)有技術(shù)的基礎(chǔ)上通過(guò)邏輯分析、推理或者有限的實(shí)驗(yàn)可以得到的技術(shù)方案，皆應(yīng)在由權(quán)利要求書(shū)所確定的保護(hù)范圍內(nèi)。