專(zhuān)利名稱(chēng)：：一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種聾啞人與正常人之間實(shí)現(xiàn)實(shí)時(shí)交流的方法，尤其是一種手語(yǔ)交流方法。
背景技術(shù)：
：手語(yǔ)是聾啞人使用的語(yǔ)言。它是由手形動(dòng)作輔之以表情姿勢(shì)而構(gòu)成的比較穩(wěn)定的表達(dá)系統(tǒng)，是一種靠動(dòng)作/視覺(jué)進(jìn)行交際的特殊語(yǔ)言。我國(guó)有2000多萬(wàn)的聽(tīng)力障礙者，他們主要使用手語(yǔ)進(jìn)行交流。由于手語(yǔ)不是社會(huì)的大多數(shù)人的常用語(yǔ)言，這在很大程度上制約了他們與社會(huì)的交流。手語(yǔ)交流系統(tǒng)的研制，可以一定程度上解決這個(gè)問(wèn)題，為聾人創(chuàng)造無(wú)障礙環(huán)境方面發(fā)揮重要作用，并對(duì)推廣規(guī)范的中國(guó)手語(yǔ)有很大作用。隨著社會(huì)對(duì)聾啞人關(guān)愛(ài)的增長(zhǎng)，越來(lái)越多的學(xué)者專(zhuān)家開(kāi)始研究手語(yǔ)識(shí)別系統(tǒng)，以更好地實(shí)現(xiàn)正常人和聾啞人之間的交流。目前的手語(yǔ)識(shí)別系統(tǒng)主要分為基于數(shù)據(jù)手套的手語(yǔ)識(shí)別和基于視覺(jué)(圖像)的手語(yǔ)識(shí)別系統(tǒng)。對(duì)于具有時(shí)空并發(fā)性的手語(yǔ)的識(shí)別，宜采用數(shù)據(jù)手套作為手形輸入設(shè)備，并采用位置跟蹤器采集手掌的運(yùn)動(dòng)。因?yàn)榕c攝像機(jī)相比，數(shù)據(jù)手套與位置跟蹤器采集的數(shù)據(jù)簡(jiǎn)潔、準(zhǔn)確，這兩種采集設(shè)備易獲取表明手語(yǔ)時(shí)空特性的特征，如手指關(guān)節(jié)運(yùn)動(dòng)信息，手掌運(yùn)動(dòng)信息等，數(shù)據(jù)手套采集的數(shù)據(jù)不受光照等環(huán)境變化的影響。世界上很多專(zhuān)家致力于手語(yǔ)識(shí)別方法的研究，實(shí)現(xiàn)了手語(yǔ)信號(hào)到文本、聲音信息的轉(zhuǎn)化，也有一些專(zhuān)家采用電子設(shè)備把文本信息轉(zhuǎn)化為手語(yǔ)動(dòng)畫(huà)，從而實(shí)現(xiàn)人與機(jī)器終端單向的手語(yǔ)交流。然而，聾椏人絕大部分的交流障礙是在與正常人交流的過(guò)程中產(chǎn)生的。如果要實(shí)現(xiàn)實(shí)時(shí)的交流，就必須要求有響應(yīng)迅速的輸入輸出設(shè)備，同時(shí)也要求高效的識(shí)別與轉(zhuǎn)化方法，能在瞬間實(shí)現(xiàn)手語(yǔ)與文本信息的相互轉(zhuǎn)化。為了進(jìn)一步實(shí)現(xiàn)推廣，所用的設(shè)備成本不能太昂貴。
發(fā)明內(nèi)容為了克服已有的手語(yǔ)識(shí)別方法的快速性差、實(shí)時(shí)性差、成本高的不足，本發(fā)明提供一種快速性好、實(shí)時(shí)性強(qiáng)、成本低的基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法，首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，所述的實(shí)現(xiàn)方法包括以下步驟-(1)、信號(hào)數(shù)據(jù)采集根據(jù)佩戴者身上的數(shù)據(jù)手套和位置跟蹤器的波特率得到時(shí)間段的數(shù)據(jù)幀，得到輸入數(shù)據(jù)的一系列向量數(shù)據(jù)；(2)、數(shù)據(jù)預(yù)處理根據(jù)數(shù)據(jù)手套佩戴者的手語(yǔ)習(xí)慣對(duì)彎曲度值域進(jìn)行界定，同時(shí)使用位置跟蹤器對(duì)佩戴者的個(gè)體特征對(duì)空間區(qū)域進(jìn)行劃分，定位嘴，左耳垂，右耳垂，左肩以及右肩的位置；(3)、手語(yǔ)信息特征提取根據(jù)數(shù)據(jù)手套輸入的數(shù)據(jù)提取手勢(shì)信息，從位置跟蹤器輸入的數(shù)據(jù)中提取手的方向、位置信息，構(gòu)成輸入樣本的特征向量；(4)、手形信息編碼根據(jù)獲得的特征向量的手語(yǔ)信號(hào)進(jìn)行編碼，得到字符串，編碼規(guī)則如下(4.1)、每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲，采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼；(4.2)、對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼；(5)、輸出信息匹配根據(jù)字符串的數(shù)值在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行査詢，查詢到的結(jié)果得到文本信息。作為優(yōu)選的一種方案在所述步驟(4.1)中，將手指的三種狀態(tài)分別編碼為伸直O(jiān)O，半彎曲Ol，完全彎曲10，每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式，用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。作為優(yōu)選的再一種方案在所述步驟(4.2)中，對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間，左耳以左的空間為"ioor，左耳到右耳之間的空間為"iooo"，右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間，左耳以左的空間為"0001"，左耳到右耳之間的空間為"0000"，右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間，左肩以左的空間為"0101"，左肩到右肩的空間為"0100"，右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo)，手掌朝上0010,手掌朝下0011，手掌朝左oioi，手掌朝右oioo，手掌朝前1001以及手掌朝身體1000。一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法，首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，所述的實(shí)現(xiàn)方法包括以下步驟-(1)、根據(jù)虛擬人的骨骼參數(shù)設(shè)定虛擬人的演示空間，以空間劃分規(guī)則界定虛擬人的演示空間；(2)、記錄下運(yùn)動(dòng)手掌在演示空間中各個(gè)區(qū)域的中心位置和相關(guān)的骨骼位置的矩陣；(3)、以輸入的信息作為關(guān)鍵字在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行檢索，檢索到相關(guān)信息則提取出手語(yǔ)編碼信息；(4)、根據(jù)手語(yǔ)編碼信息設(shè)定虛擬人骨骼在手語(yǔ)意義涉及的各個(gè)區(qū)域中的定位位置，得到虛擬人動(dòng)作關(guān)鍵幀；(5)、由關(guān)鍵幀自動(dòng)生成插補(bǔ)幀，得到虛擬人演示的手語(yǔ)動(dòng)畫(huà)，顯示于屏幕終端。作為優(yōu)選的一種方案在所述步驟(3)、(4)中，手語(yǔ)編碼信息的編碼規(guī)則為每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲，采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼；對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼。進(jìn)一步，所述手語(yǔ)編碼信息的編碼規(guī)則中，將手指的三種狀態(tài)分別編碼為伸直O(jiān)O，半彎曲Ol，完全彎曲10，每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式，則用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。再進(jìn)一步，所述手語(yǔ)編碼信息的編碼規(guī)則中，對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間，左耳以左的空間為"1001",左耳到右耳之間的空間為"1000"，右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間，左耳以左的空間為"ooor，左耳到右耳之間的空間為"oooo"，右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間，左肩以左的空間為"0101"，左肩到右肩的空間為"0100"，右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo)，手掌朝上0010，手掌朝下0011，手掌朝左oioi，手掌朝右oioo，手掌朝前1001以及手掌朝身體1000。本發(fā)明的技術(shù)構(gòu)思為基于手語(yǔ)動(dòng)作常用的統(tǒng)計(jì)規(guī)律，通過(guò)構(gòu)造一個(gè)帶有編碼的手形和手勢(shì)的劃分空間，提出了專(zhuān)用于手語(yǔ)與文本之間實(shí)現(xiàn)實(shí)時(shí)交流的方法。根據(jù)手形與手勢(shì)的編碼組合以及手語(yǔ)字典數(shù)據(jù)庫(kù)的引入，給出了一種快速編碼方法，用于手語(yǔ)的識(shí)別；給出了一種快速的解碼方法，用于手語(yǔ)的合成。該方法具有編碼效率高和解碼速度快的特點(diǎn)。本發(fā)明提出一種有效的手語(yǔ)字典數(shù)據(jù)庫(kù)使用方法，用以存儲(chǔ)手語(yǔ)編碼信息并推動(dòng)手語(yǔ)合成的應(yīng)用。原有的將動(dòng)作動(dòng)畫(huà)數(shù)據(jù)一一輸入手語(yǔ)運(yùn)動(dòng)數(shù)據(jù)庫(kù)方法，其數(shù)據(jù)庫(kù)存儲(chǔ)量大，系統(tǒng)運(yùn)行效率低，形成的手語(yǔ)合成文件過(guò)大，不適合實(shí)時(shí)手語(yǔ)翻譯。提出的數(shù)據(jù)庫(kù)使用方法是一種更有效的方法。本發(fā)明的基于空間編碼的特點(diǎn)為(1)、常用手語(yǔ)中手的空間位置主要集中在頭部周?chē)倭糠植加谏习肷砩眢w周?chē)?，所以頭部空間是手語(yǔ)運(yùn)動(dòng)頻率最高的空間。豎直方向分別以嘴部，肩為分界點(diǎn)，將空間劃分為3個(gè)橫向空間，水平方向分別以左耳、右耳、左肩、右肩分界點(diǎn)將空間劃分為6個(gè)縱向空間。這種劃分方法有效地對(duì)頭部周?chē)目臻g進(jìn)行細(xì)致的劃分，而對(duì)身體周?chē)目臻g則進(jìn)行大致的劃分，從而提高空間的識(shí)別效率。(2)、根據(jù)手語(yǔ)設(shè)備佩戴者個(gè)體大小的不同事先對(duì)手語(yǔ)運(yùn)動(dòng)空間進(jìn)行預(yù)定義，使運(yùn)動(dòng)空間具有自適應(yīng)性。(3)、編碼效率高。利用空間的劃分，手形的編碼和手勢(shì)的編碼過(guò)程中充分采用了二進(jìn)制編碼方式，沒(méi)有使用長(zhǎng)碼字和特殊碼字的出現(xiàn)，可以使手語(yǔ)字典數(shù)據(jù)庫(kù)的存儲(chǔ)量更小，讀寫(xiě)效率更高。利用本方法對(duì)手語(yǔ)運(yùn)動(dòng)信息編碼，根據(jù)句子的長(zhǎng)度數(shù)據(jù)量可以控制在0.75K以內(nèi)。(4)、解碼速度快。利用編碼序列映射到虛擬人骨骼矩陣的特點(diǎn)，解碼過(guò)程中可以有效避免圖片或動(dòng)畫(huà)的編輯工作，因此可以很容易實(shí)現(xiàn)手語(yǔ)合成。(5)、方法簡(jiǎn)單，實(shí)現(xiàn)方便。整個(gè)算法只采用二進(jìn)制匹配運(yùn)算，避免了復(fù)雜的運(yùn)算，是一種簡(jiǎn)單且有效的編碼方法，可以方便的在多個(gè)不同版本的開(kāi)發(fā)平臺(tái)上移植。本發(fā)明的有益效果主要表現(xiàn)在(1)、借助于手語(yǔ)運(yùn)動(dòng)空間的劃分與編碼，實(shí)現(xiàn)了手語(yǔ)交流的實(shí)時(shí)功能，減少了無(wú)意義的等待與響應(yīng)時(shí)間；(2)、帶有手指彎曲傳感器的數(shù)據(jù)手套就能實(shí)現(xiàn)手形特征的提取，降低系統(tǒng)配套設(shè)施的成本；(3)、編碼是高效的，佩戴者可以通過(guò)手語(yǔ)的輸入完善手語(yǔ)字典數(shù)據(jù)庫(kù)，保證了手語(yǔ)詞匯的完備性；(4)、所用的快速合成手語(yǔ)方法能保證手語(yǔ)合成具有較快的速度；(5)、手語(yǔ)實(shí)時(shí)交流系統(tǒng)是具有培訓(xùn)性的系統(tǒng)，可以為不懂手語(yǔ)的用戶提供手語(yǔ)教學(xué)訓(xùn)練。圖1是實(shí)時(shí)手語(yǔ)交流系統(tǒng)框架示意圖。圖2是手形編碼說(shuō)明示意圖。圖3是手語(yǔ)空間劃分的示意圖。圖4是手掌方向測(cè)量參考坐標(biāo)示意圖。圖5是漢語(yǔ)手指字母圖。圖6是"你好"手語(yǔ)的示意圖。圖7是"很高興認(rèn)識(shí)你"手語(yǔ)的示意圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。實(shí)施例1參照?qǐng)D1圖7，一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法，首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，所述的實(shí)現(xiàn)方法包括以下步驟(1)、信號(hào)數(shù)據(jù)采集根據(jù)佩戴者身上的數(shù)據(jù)手套和位置跟蹤器的波特率得到時(shí)間段的數(shù)據(jù)幀，得到輸入數(shù)據(jù)的一系列向量數(shù)據(jù)；(2)、數(shù)據(jù)預(yù)處理根據(jù)數(shù)據(jù)手套佩戴者的手語(yǔ)習(xí)慣對(duì)彎曲度值域進(jìn)行界定，同時(shí)使用位置跟蹤器對(duì)佩戴者的個(gè)體特征對(duì)空間區(qū)域進(jìn)行劃分，定位嘴，左耳垂，右耳垂，左肩以及右肩的位置；(3)、手語(yǔ)信息特征提取根據(jù)數(shù)據(jù)手套輸入的數(shù)據(jù)提取手勢(shì)信息，從位置跟蹤器輸入的數(shù)據(jù)中提取手的方向、位置信息，構(gòu)成輸入樣本的特征向量；(4)、手形信息編碼根據(jù)獲得的特征向量的手語(yǔ)信號(hào)進(jìn)行編碼，得到字符串，編碼規(guī)則如下(4.1)、每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲，采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼；(4.2)、對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼；(5)、輸出信息匹配根據(jù)字符串的數(shù)值在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行查詢，查詢到的結(jié)果得到文本信息。參照?qǐng)D2、圖3，根據(jù)手勢(shì)的運(yùn)動(dòng)信息進(jìn)行編碼通過(guò)手語(yǔ)詞匯實(shí)驗(yàn)結(jié)果，在充分考慮手語(yǔ)交流的實(shí)時(shí)性，本文給出的基于空間編碼的手語(yǔ)識(shí)別方法是一種性能穩(wěn)定，識(shí)別迅速的方法。該方法在中國(guó)手語(yǔ)詞匯上進(jìn)行應(yīng)用說(shuō)明。當(dāng)使用者佩戴上數(shù)據(jù)手套時(shí)，根據(jù)使用者手的大小及使用者對(duì)彎曲程度的不同定義閥值。如數(shù)據(jù)手套原始數(shù)據(jù)范圍為04095，對(duì)于食指而言，相應(yīng)的數(shù)據(jù)為小于1862的數(shù)表示手指處于伸直狀態(tài)，顯示值為1862—2268之間的數(shù)值表示手指處于半彎曲狀態(tài)，顯示值為2268—4095之間的數(shù)值則表示手指處于完全彎曲狀態(tài)。由于每個(gè)手指的靈活程度不同，各個(gè)手指的閥值也不盡相同。位置跟蹤器固定于使用者的手腕上，絕對(duì)坐標(biāo)原點(diǎn)位于接收器位置。位置跟蹤器獲得的角度信息可以確定手掌方向，將使用者以豎直方向分別以嘴部，肩為分界點(diǎn)，將空間劃分為3個(gè)橫向空間，水平方向分別以左耳、右耳、左肩、右肩分界點(diǎn)將空間劃分為6個(gè)縱向空間。本發(fā)明的編碼方法為根據(jù)對(duì)于所述終端上獲得的手形和手勢(shì)信息，依次設(shè)定每個(gè)手形和手勢(shì)信息的編碼值，得到碼流數(shù)據(jù)，該碼表對(duì)應(yīng)動(dòng)態(tài)鏈表存儲(chǔ)時(shí)間序列。按照時(shí)間與手形的變換情況可分為靜態(tài)手勢(shì)，靜態(tài)復(fù)合手勢(shì)，和動(dòng)態(tài)手勢(shì)。(1)、靜態(tài)手勢(shì)如表1所示對(duì)應(yīng)的手語(yǔ)手形，編碼規(guī)則如表l所示。表1為漢字手指字母表對(duì)應(yīng)編碼<table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table>表l(2)、靜態(tài)復(fù)合手勢(shì)如圖6所示"你好"手語(yǔ)，按照時(shí)間順序記錄各個(gè)時(shí)間序列的手形，如表2所示:<table>tableseeoriginaldocumentpage14</column></row><table>表2(3)、動(dòng)態(tài)手勢(shì)如圖7所示"很高興認(rèn)識(shí)你"手語(yǔ)，按照時(shí)間順序記錄各個(gè)時(shí)間序列的手形，如表3所示，左手手形同理可得。<table>tableseeoriginaldocumentpage14</column></row><table><table>tableseeoriginaldocumentpage15</column></row><table>上述編碼信息經(jīng)由手語(yǔ)字典數(shù)據(jù)庫(kù)進(jìn)行信息匹配，若對(duì)應(yīng)各個(gè)時(shí)間序列上的各個(gè)編碼均相同，則輸出相對(duì)應(yīng)文字；若對(duì)應(yīng)各個(gè)時(shí)間序列上的編碼不同，則輸出"未知手語(yǔ)信息"，用戶可以重新演示手語(yǔ)以確認(rèn)手語(yǔ)信息或者作為新手語(yǔ)信息輸入手語(yǔ)字典數(shù)據(jù)庫(kù)。實(shí)施例2參照?qǐng)D1—圖7，一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法，首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，所述的實(shí)現(xiàn)方法包括以下步驟(1)、根據(jù)虛擬人的骨骼參數(shù)設(shè)定虛擬人的演示空間，以空間劃分規(guī)則界定虛擬人的演示空間；(2)、記錄下運(yùn)動(dòng)手掌在演示空間中各個(gè)區(qū)域的中心位置和相關(guān)的骨骼位置的矩陣；(3)、以輸入的信息作為關(guān)鍵字在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行檢索，檢索到相關(guān)信息則提取出手語(yǔ)編碼信息；(4)、根據(jù)手語(yǔ)編碼信息設(shè)定虛擬人骨骼在手語(yǔ)意義涉及的各個(gè)區(qū)域中的定位位置，得到虛擬人動(dòng)作關(guān)鍵幀；(5)、由關(guān)鍵幀自動(dòng)生成插補(bǔ)幀，得到虛擬人演示的手語(yǔ)動(dòng)畫(huà)，顯示于屏幕終端。在所述步驟(3)、(4)中，手語(yǔ)編碼信息的編碼規(guī)則為每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲，采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼；對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼。本實(shí)施例的手語(yǔ)編碼信息的編碼規(guī)則與實(shí)施例1相同。當(dāng)不懂手語(yǔ)的用戶看到文字信息并以文字信息作為回應(yīng)時(shí)，參照?qǐng)D3設(shè)定虛擬人的演示空間?？刂铺摂M人骨骼，使手掌位置經(jīng)過(guò)演示空間中各個(gè)區(qū)域的中心位置，并記錄骨骼關(guān)節(jié)矩陣以及相關(guān)的變換信息。以輸入的文字信息作為關(guān)鍵字在手語(yǔ)數(shù)據(jù)詞典中進(jìn)行檢索，檢索到相關(guān)信息則提取出手語(yǔ)動(dòng)作的編碼，若檢索不到則提醒用戶重新輸入文本信息。根據(jù)手語(yǔ)動(dòng)作的時(shí)間序列設(shè)置動(dòng)畫(huà)時(shí)間與各個(gè)關(guān)鍵時(shí)刻點(diǎn)。提取手掌編碼設(shè)定虛擬人骨骼在圖3所示的各個(gè)區(qū)域中各個(gè)關(guān)鍵時(shí)刻點(diǎn)定位位置，提取手掌方向編碼設(shè)定虛擬人手骨骼的方向，提取手形編碼設(shè)定虛擬人手指骨骼的動(dòng)作，從而得到各個(gè)時(shí)間序列中的關(guān)鍵幀；由關(guān)鍵幀生成插補(bǔ)幀，得到虛擬人演示的手語(yǔ)關(guān)鍵幀動(dòng)畫(huà)，顯示于屏幕終端。權(quán)利要求1、一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法，其特征在于首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，所述的實(shí)現(xiàn)方法包括以下步驟(1)、信號(hào)數(shù)據(jù)采集根據(jù)佩戴者身上的數(shù)據(jù)手套和位置跟蹤器的波特率得到時(shí)間段的數(shù)據(jù)幀，得到輸入數(shù)據(jù)的一系列向量數(shù)據(jù)；(2)、數(shù)據(jù)預(yù)處理根據(jù)數(shù)據(jù)手套佩戴者的手語(yǔ)習(xí)慣對(duì)彎曲度值域進(jìn)行界定，同時(shí)使用位置跟蹤器對(duì)佩戴者的個(gè)體特征對(duì)空間區(qū)域進(jìn)行劃分，定位嘴，左耳垂，右耳垂，左肩以及右肩的位置；(3)、手語(yǔ)信息特征提取根據(jù)數(shù)據(jù)手套輸入的數(shù)據(jù)提取手勢(shì)信息，從位置跟蹤器輸入的數(shù)據(jù)中提取手的方向、位置信息，構(gòu)成輸入樣本的特征向量；(4)、手形信息編碼根據(jù)獲得的特征向量的手語(yǔ)信號(hào)進(jìn)行編碼，得到字符串，編碼規(guī)則如下(4.1)、每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲，采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼；(4.2)、對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼；(5)、輸出信息匹配根據(jù)字符串的數(shù)值在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行查詢，查詢到的結(jié)果得到文本信息。2、如權(quán)利要求1所述的基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法，其特征在于在所述步驟(4.1)中，將手指的三種狀態(tài)分別編碼為伸直O(jiān)O，半彎曲Ol，完全彎曲10，每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式，用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。3、如權(quán)利要求1或2所述的基于空間編碼的實(shí)時(shí)手語(yǔ)交流系統(tǒng)，其特征在于在所述歩驟(4.2)中，對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間，左耳以左的空間為"1001"，左耳到右耳之間的空間為"1000"，右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間，左耳以左的空間為"ooor，，左耳到右耳之間的空間為"OOOO"，右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間，左肩以左的空間為"oior，，左肩到右肩的空間為"0100"，右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo)，手掌朝上OOIO，手掌朝下OOll，手掌朝左OIOI，手掌朝右OIOO，手掌朝前IOOI以及手掌朝身體IOOO。4、一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法，其特征在于首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，所述的實(shí)現(xiàn)方法包括以下步驟(1)、根據(jù)虛擬人的骨骼參數(shù)設(shè)定虛擬人的演示空間，以空間劃分規(guī)則界定虛擬人的演示空間；(2)、記錄下運(yùn)動(dòng)手掌在演示空間中各個(gè)區(qū)域的中心位置和相關(guān)的骨骼位置的矩陣；(3)、以輸入的信息作為關(guān)鍵字在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行檢索，檢索到相關(guān)信息則提取出手語(yǔ)編碼信息；(4)、根據(jù)手語(yǔ)編碼信息設(shè)定虛擬人骨骼在手語(yǔ)意義涉及的各個(gè)區(qū)域中的定位位置，得到虛擬人動(dòng)作關(guān)鍵幀；(5)、由關(guān)鍵幀自動(dòng)生成插補(bǔ)幀，得到虛擬人演示的手語(yǔ)動(dòng)畫(huà)，顯示于屏幕終端。5、如權(quán)利要求1所述的一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法，其特征在于在所述步驟(3)、(4)中，手語(yǔ)編碼信息的編碼規(guī)則為每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲，采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼；對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼。6、如權(quán)利要求5所述的一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法，其特征在于所述手語(yǔ)編碼信息的編碼規(guī)則中，將手指的三種狀態(tài)分別編碼為伸直00,半彎曲Ol，完全彎曲10，每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式，則用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。7、如權(quán)利要求5或6所述的一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法，其特征在于所述手語(yǔ)編碼信息的編碼規(guī)則中，對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間，左耳以左的空間為"ioor，左耳到右耳之間的空間為"iooo"，右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間，左耳以左的空間為"ooor，，左耳到右耳之間的空間為"oooo"，右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間，左肩以左的空間為"oior，左肩到右肩的空間為"oioo"，右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo)，手掌朝上OOIO，手掌朝下OOll，手掌朝左oioi，手掌朝右oioo，手掌朝前1001以及手掌朝身體1000。全文摘要一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法，首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù)，通過(guò)檢測(cè)佩戴者的手形變換的數(shù)據(jù)手套和佩戴者的手所在空間區(qū)域的位置跟蹤器，根據(jù)數(shù)據(jù)手套和位置跟蹤器進(jìn)行手語(yǔ)識(shí)別的智能識(shí)別，所述智能識(shí)別包括手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)化為文本信息模塊、文本信息轉(zhuǎn)化為手語(yǔ)信息模塊。本發(fā)明提供一種快速性好、實(shí)時(shí)性強(qiáng)、成本低的基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法。文檔編號(hào)G09B21/00GK101577062SQ20081016375公開(kāi)日2009年11月11日申請(qǐng)日期2008年12月30日優(yōu)先權(quán)日2008年12月30日發(fā)明者應(yīng)文良,張寧寧,曉李,容顧申請(qǐng)人:浙江工業(yè)大學(xué)