專利名稱：：特定會(huì)話場景下的計(jì)算機(jī)輔助手語交流方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于圖像生物特征識(shí)別
技術(shù)領(lǐng)域：
，涉及一種特定會(huì)話場景下的it算機(jī)輔助手語交流方法。
背景技術(shù)：
：現(xiàn)實(shí)生活中，正常人既可以獲得視覺信息也可以獲得聽覺信息，聾啞人則只能利用視覺信息。正常人與聾啞人通常以手語作為媒介進(jìn)行交流，但絕大多數(shù)正常人對(duì)手語知之甚少，根本無法與聾啞人進(jìn)行會(huì)話，使得正常人與聾啞人之間存在難以克服的交流障礙
發(fā)明內(nèi)容'本發(fā)明的目的是提供一種特定會(huì)話場景下的計(jì)算機(jī)輔助手語交流方法，用于詞匯量有限的特定場景下，輔助正常人與聾啞人進(jìn)行會(huì)話交流。本發(fā)明所采用的技術(shù)方案是，特定會(huì)話場景下的計(jì)算機(jī)輔助手語交流方法，建立詞匯數(shù)據(jù)庫和虛擬人手語動(dòng)作的對(duì)應(yīng)關(guān)系，通過采集聾啞人打出的手語信息，將該手語信息經(jīng)過圖像處理和生物特征識(shí)別，獲得所采集手語信息的含義，并將該含義告知正常人，反之，獲得正常人輸入的文字信息，或者在獲得的識(shí)別到聾啞人打出手語的含義之后，在詞匯數(shù)據(jù)庫中自動(dòng)匹配'出相應(yīng)的回答語句，并將該文字信息或回答語句經(jīng)過處理并通過手語的方式告知聾啞人，實(shí)現(xiàn)特定場合下正常人與聾啞人的會(huì)話交流，該方法按以下步驟進(jìn)行步驟l:在計(jì)算機(jī)中建立特定會(huì)話場景下所用的詞匯數(shù)據(jù)庫；步驟2:采用計(jì)算機(jī)圖形學(xué)的方法構(gòu)造三維動(dòng)畫虛擬人，并建立該三維動(dòng)畫虛擬人的骨骼關(guān)節(jié)模型；步驟3:構(gòu)建步驟1建立的詞匯數(shù)據(jù)庫中的詞匯與步驟2構(gòu)造的三維動(dòng)畫虛擬人表征的手語動(dòng)作之間的對(duì)應(yīng)關(guān)系；步驟4:正常人和聾啞人通過步驟2建立的虛擬人和步驟1建立的詞匯.數(shù)據(jù)庫，以步驟3建立的對(duì)應(yīng)關(guān)系為基礎(chǔ)進(jìn)行會(huì)話交流，聾椏人打出的手語轉(zhuǎn)換為文字或語言的具體步驟1)、通過攝像頭采集聾啞人打出的手語圖像信息，并將該手語圖像信息輸入計(jì)算機(jī)；2)、將步驟l)步中采集到的手語圖像信息，通過訓(xùn)練獲得無目標(biāo)背景，采用背景差分法，檢測出該背景中包括手部區(qū)域在內(nèi)的運(yùn)動(dòng)目標(biāo)，并通過手部區(qū)別于其它部位的顏色和形態(tài)，分割出手部區(qū)域，采用數(shù)字視頻關(guān)鍵幀.提取方法，提取該手部區(qū)域的關(guān)鍵幀，然后，通過提取不同手勢的特征差異，識(shí)別出該關(guān)鍵幀中的靜態(tài)手勢；3)、將步驟2)中識(shí)別出的靜態(tài)手勢序列構(gòu)成動(dòng)態(tài)手勢，并采用包括隱馬爾科夫模型的隨機(jī)過程描述法或神經(jīng)元網(wǎng)絡(luò)法結(jié)合模式識(shí)別法對(duì)該動(dòng)態(tài)手勢予以識(shí)別，獲得動(dòng)態(tài)手勢所包含的含義；4)、將步驟3)中識(shí)別出的動(dòng)態(tài)手勢的含義轉(zhuǎn)換為正常人能夠理輛的文字或語言；.將正常人輸入的文字轉(zhuǎn)換為手語部分的具體步驟如下-a)、通過文字輸入裝置輸入文字信息，或者在獲得識(shí)別到的聾啞人手語的含義之后，在專用詞匯數(shù)據(jù)庫中自動(dòng)匹配出相應(yīng)的回答語句，并將該文字信息或回答語句傳入計(jì)算機(jī)；b)、將步驟a)步中獲得的信息進(jìn)行處理，形成步驟1建立的詞匯數(shù)據(jù)庫中的專用詞匯，將該專用詞匯通過步驟3構(gòu)建的對(duì)應(yīng)關(guān)系形成相應(yīng)的手語動(dòng)作；c)、將步驟b)步中形成的手語動(dòng)作通過步驟2構(gòu)造的三維動(dòng)畫虛擬人予以顯示。本發(fā)明的特征還在于，其中步驟2)中關(guān)鍵幀的提取采用等間隔關(guān)鍵幀提取法，該提取法中間隔L通過以下公式計(jì)算得到丄_Wdea/Vww(11)式中，VideoNum為視頻的總幀數(shù)，CodeNum為碼字?jǐn)?shù)。其中，步驟2)中采用基于多級(jí)弦長函數(shù)的實(shí)現(xiàn)對(duì)不同靜態(tài)手勢的識(shí)別。其中，傅立葉描述子方法中計(jì)算一個(gè)手形的傅立葉描述子的公式如下"'(")=HA")6鄧(^^)，"=。，1,…，^—1(1一2)式中，丄,(x,)表示第i級(jí)弦長函數(shù)，分8個(gè)級(jí)別的弦長函數(shù)；N表示函數(shù)采樣點(diǎn)個(gè)數(shù)，令N-8。本發(fā)明方法的有益效果是，通過信息采集、處理和構(gòu)建的三維動(dòng)畫虛擬人，將正常人的語言或文字轉(zhuǎn)換為手語，或者將聾椏人的手語轉(zhuǎn)換為語言或文字，用于特定場合下，正常人與聾啞人之間的交流。'圖1是本發(fā)明方法建立的虛擬人骨骼關(guān)節(jié)模型；具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行詳細(xì)說明。人們交流時(shí)所用的語言非常豐富，若想通過輔助的方法將正常人所說的話語與聾啞人所作的手語完全正確翻譯，并進(jìn)行交流，存在著包括語義分析等許多必須正確翻譯的問題，目前尚無較好的方法。然而，對(duì)于某些特定的公共服務(wù)行業(yè)，如銀行、郵局、醫(yī)院、超市等場合的會(huì)話內(nèi)容，其詞匯量有限，可以通過本發(fā)明方法迸行翻譯交流，該方法用于特定場合，包括兩部分，一部分是將聾椏人打出的手語轉(zhuǎn)換為文字或語言，通過采集聾啞人打出的手語信息，將該手語信息經(jīng)過圖像處理和生物特征識(shí)別，獲得所采集手語信息的含義，并將該含義告知正常人。另一部分是將正常人要表達(dá)的語言或文字轉(zhuǎn)換為手語，即正常人輸入文字信息，或者在獲得識(shí)別到聾啞人打出手語的含義之后，計(jì)算機(jī)系統(tǒng)在專用詞匯數(shù)據(jù)庫中自動(dòng)匹配出相應(yīng)的回答語句，并將該文字信息或回答語句經(jīng)過處理并通過手語的方式告知聾啞人，實(shí)現(xiàn)特定場合下正常人與聾啞人的會(huì)話交流。下面以一個(gè)具體的實(shí)例來說明本發(fā)明'的方法步驟1:在計(jì)算機(jī)中建立特定會(huì)話場景下所用的專用詞匯數(shù)據(jù)庫；本發(fā)明方法用于特定會(huì)話場景下輔助正常人與聾觀人的交流，需在計(jì)算機(jī)中建立該特定會(huì)話場景下所用的專用詞匯數(shù)據(jù)庫，該專用詞匯數(shù)據(jù)庫分不同會(huì)話場景存儲(chǔ)有一定數(shù)量的專用詞匯。步驟2:采用計(jì)算機(jī)圖形學(xué)的方法構(gòu)造一個(gè)三維動(dòng)畫虛擬人，并建立該三維動(dòng)畫虛擬人的骨骼關(guān)節(jié)模型；'構(gòu)建虛擬人，使正常人通過該虛擬人與聾啞人進(jìn)行一定詞匯量的會(huì)話。虛擬人的構(gòu)建采用以人體的骨骼關(guān)節(jié)結(jié)構(gòu)建立的數(shù)學(xué)模型來實(shí)現(xiàn)其相應(yīng)的'手語動(dòng)作。參考人體骨骼關(guān)節(jié)結(jié)構(gòu)構(gòu)建虛擬人，并以關(guān)節(jié)鏈的方式將該虛擬人的骨骼連接成一個(gè)整體，同時(shí)設(shè)置虛擬人骨骼關(guān)節(jié)的數(shù)量和各關(guān)節(jié)的自由度。建立虛擬人骨骼關(guān)節(jié)模型，是為了使虛擬人的動(dòng)作能夠轉(zhuǎn)換成不同關(guān)節(jié)的聯(lián)合旋轉(zhuǎn)動(dòng)作，能夠反映人體手臂部分的絕大部分動(dòng)作，不影響手語的表達(dá)。根據(jù)人體運(yùn)動(dòng)學(xué)的特點(diǎn)，本發(fā)明方法建立的虛擬人骨骼關(guān)節(jié)模型，如圖1所示。該骨骼關(guān)節(jié)模型建立了43個(gè)關(guān)節(jié)，設(shè)置了47個(gè)自由度，并對(duì)各關(guān)節(jié)自由度的運(yùn)動(dòng)范圍進(jìn)行限制，建立表1所示的虛擬人模型各關(guān)節(jié)自由度的運(yùn)'動(dòng)調(diào)整參數(shù)范圍。由于啞語的表達(dá)主要集中在上肢，本發(fā)明方法在虛擬人模型的左右手臂各設(shè)置了23個(gè)自由度，用來實(shí)現(xiàn)各種手語動(dòng)作；在虛擬人模型中心設(shè)置了一個(gè)自由度，用來控制模型的遠(yuǎn)近，方便使用者觀察。表1虛擬人模型各關(guān)節(jié)自由度的運(yùn)動(dòng)調(diào)整參數(shù)范圍<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>備注以上各關(guān)節(jié)運(yùn)動(dòng)范圍是根據(jù)手臂運(yùn)動(dòng)所確定的近似值，其中空白格表示無此方向的運(yùn)動(dòng)。表中的掌指關(guān)節(jié)運(yùn)動(dòng)范圍為不受其它手指約束的情況下得到的。構(gòu)造的虛擬人可以采用三維動(dòng)畫，使其具有一定的卡通性和親和力，卡通性是為了在表現(xiàn)手語時(shí)，能夠夸張手臂部動(dòng)作，而不會(huì)覺得失真；親和力是為了在交流過程中，能夠比較容易被對(duì)方接受。同時(shí)，虛擬人的手臂部細(xì)節(jié)為主要描述對(duì)象，目的是能夠完成較為復(fù)雜動(dòng)作的手語。步驟3:構(gòu)建步驟1建立的專用詞匯數(shù)據(jù)庫中的詞匯與步驟2構(gòu)造的三維動(dòng)畫虛擬人表征的手語動(dòng)作之間的對(duì)應(yīng)關(guān)系；計(jì)算機(jī)數(shù)據(jù)庫的專用詞匯與虛擬人手語動(dòng)作之間的對(duì)應(yīng)關(guān)系，就是虛擬人手臂部的動(dòng)作序列。通過預(yù)先設(shè)置虛擬人手臂動(dòng)作過程對(duì)應(yīng)的參數(shù)，通過該參數(shù)控制虛擬人各骨骼關(guān)節(jié)的動(dòng)作，建立虛擬人各骨骼關(guān)節(jié)動(dòng)作與特定場景下專用詞匯的交流應(yīng)答關(guān)系。在接收到某個(gè)詞匯時(shí)，根據(jù)該交流應(yīng)答關(guān)系檢索出需表達(dá)詞匯或短句對(duì)應(yīng)的動(dòng)作過程，然后，調(diào)出該動(dòng)作過程參數(shù)，驅(qū)動(dòng)虛擬人，按照指定的動(dòng)作參數(shù)，完成某個(gè)手語動(dòng)作。本發(fā)明方法采用一種基于關(guān)節(jié)角度控制的手語動(dòng)作的編輯與表達(dá)，建立特定會(huì)話場景的應(yīng)答關(guān)f，在獲得識(shí)別到的手語含義之后，在專用詞匯數(shù)據(jù)庫中自動(dòng)匹配出相應(yīng)的回答語句，驅(qū)動(dòng)虛擬人做出相應(yīng)的應(yīng)答手語。另外，在專用詞匯數(shù)據(jù)庫的詞匯.量不足時(shí)，能夠采用文字進(jìn)行語句編輯，并將該文字語言翻譯成手語，同時(shí)也將該語句存儲(chǔ)到應(yīng)答數(shù)據(jù)庫中。以控制三維動(dòng)畫虛擬人的關(guān)節(jié)角度實(shí)現(xiàn)"你好"的手語動(dòng)作的編輯與表達(dá)為例來說明。根據(jù)表1中給出的數(shù)據(jù)范圍，通過調(diào)節(jié)虛擬人各個(gè)關(guān)節(jié)的角度數(shù)據(jù)來改變虛擬人手臂部的動(dòng)作，包括分別對(duì)應(yīng)左手和右手的肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、拇指腕掌關(guān)節(jié)、拇指掌指關(guān)節(jié)、拇指指骨間關(guān)節(jié)、食指掌指關(guān)節(jié)、食指近端指關(guān)節(jié)、中指掌指關(guān)節(jié)、中指近端指關(guān)節(jié)、無名指掌指關(guān)節(jié)、無名指近端指關(guān)節(jié)、小指掌指關(guān)節(jié)或小指近端指關(guān)節(jié)縱向、橫向和繞骨絡(luò)軸線旋轉(zhuǎn)三個(gè)方向設(shè)置各關(guān)節(jié)可以運(yùn)動(dòng)的角度?？刂聘麝P(guān)節(jié)運(yùn)動(dòng)角度的參數(shù)如表2所示。表2虛擬人表示"你好"手語動(dòng)作的各關(guān)節(jié)運(yùn)動(dòng)角度<table>tableseeoriginaldocumentpage11</column></row><table>步驟4:正常人和聾啞人通過步驟2建立的虛擬人和步驟1建立的專用詞匯數(shù)據(jù)庫，以步驟3建立的對(duì)應(yīng)關(guān)系為基礎(chǔ)進(jìn)行會(huì)話交流，聾啞人打出的手語轉(zhuǎn)換為文字或語言的具體步驟1)通過攝像頭采集聾啞人打出的手語視頻信息，并將該手語視頻信息輸入計(jì)算機(jī)；由于攝像頭采集到的視頻畫面中，除了人的手部外，還包括人體軀干等其他背景部分，為了分析手部動(dòng)作，需要將攝像頭采集的視頻畫面中的手部區(qū)域分割出來。因此，進(jìn)入下步；.2)將1)步中采集到的手語視頻信息，通過訓(xùn)練獲得無目標(biāo)背景，采用背景差分法，檢測出該背景中包括手部區(qū)域在內(nèi)的運(yùn)動(dòng)目標(biāo)，并通過手部區(qū)別于其它部位的顏色和形態(tài)，分割出手部區(qū)域，并采用數(shù)字視頻關(guān)鍵幀提取方法，提取該手部區(qū)域的關(guān)鍵幀，然后，通過提取不同手勢的特征差異，識(shí)別出該關(guān)鍵幀中的靜態(tài)手勢；為提高分割的正確性，根據(jù)現(xiàn)場環(huán)境讓聾啞人選擇戴紅色、綠色或藍(lán)色的手套，用于輔助分割手部區(qū)域。如聾啞人戴上紅色手套后打出手語的一沖貞圖像，去除背景后，分割得到手部區(qū)域圖。關(guān)鍵幀是指手語中，手勢變化比較大的幀。可采用分析不同幀之間的手勢運(yùn)動(dòng)的相似度來獲取。為了提高手語識(shí)別的速度，本方法釆用等間隔關(guān)鍵幀提取方法，間隔L通過以下公式計(jì)算得到<formula>formulaseeoriginaldocumentpage12</formula>(11)式中，VideoNum為視頻的總幀數(shù)，CodeNum為碼字?jǐn)?shù)。以上例為例，首先獲取聾啞人打出的手語"你好"的關(guān)鍵幀，計(jì)算機(jī)將該手語動(dòng)作進(jìn)行拾取、分割后，獲得兩個(gè)關(guān)鍵幀，每一個(gè)關(guān)鍵幀中虛擬人動(dòng)作的形成都是參考中國標(biāo)準(zhǔn)手語動(dòng)作，通過調(diào)節(jié)控制各關(guān)節(jié)角度的數(shù)據(jù)，獲得各關(guān)節(jié)表示不同含義的角度位置，然后將每一幀中虛擬人各關(guān)節(jié)的角度數(shù)據(jù)保存在數(shù)據(jù)庫中。手語動(dòng)作"你好"編輯完成。使用時(shí)，只需輸入手語動(dòng)作"你好"，計(jì)算機(jī)系統(tǒng)將通過專用詞匯數(shù)據(jù)庫匹配并依次調(diào)出"你好"的關(guān)鍵幀動(dòng)作數(shù)據(jù)，然后，將虛擬人的手勢由當(dāng)前狀態(tài)過渡到新的狀態(tài)，比如，右手食指掌指關(guān)節(jié)由0°變到-90°，近端指關(guān)節(jié)關(guān)節(jié)由0°變到-102°，遠(yuǎn)端指關(guān)節(jié)受近端指關(guān)節(jié)限制，按照約束運(yùn)動(dòng)，完成食指彎曲的動(dòng)作，其他關(guān)節(jié)原理基本相同；所^有的關(guān)節(jié)和所有的動(dòng)作關(guān)鍵幀數(shù)據(jù)執(zhí)行完畢后，就實(shí)現(xiàn)了"你好"這個(gè)動(dòng)作的表達(dá)，為了防止動(dòng)作的突變，本發(fā)明方法在兩個(gè)動(dòng)作關(guān)鍵幀對(duì)應(yīng)的每個(gè)關(guān)節(jié)數(shù)據(jù)之間進(jìn)行線性插值，防止關(guān)節(jié)角度數(shù)據(jù)之間的突變，使得虛擬人的動(dòng)作更加平滑。靜態(tài)手勢是關(guān)鍵幀中獨(dú)立的手部動(dòng)作姿態(tài)。即靜態(tài)手勢是指手語中分解出來的每個(gè)時(shí)刻的手勢，不考慮其前后變化。識(shí)別靜態(tài)手勢的目的，主要是獲得可區(qū)分不同手部動(dòng)作之間的特征。'按照?qǐng)D像處理的方法，目標(biāo)的特征可以是空域特征，如形狀、大小、姿態(tài)顏色、紋理等，可采用邊緣跟蹤鏈碼，質(zhì)心與面積等方法提??；可以是頻域特征，如頻譜等，可采用傅立葉變換、傅立葉描述子和小波變換等方法提取；也可以是顏色特征，采用顏色聚類以及顏色直方圖等方法提取。本發(fā)明方法采用基于多級(jí)弦長函數(shù)的傅立葉描述子方法實(shí)現(xiàn)對(duì)不同靜態(tài)手勢的識(shí)別。計(jì)算一個(gè)手形的傅立葉描述子的公式如下<formula>formulaseeoriginaldocumentpage13</formula>式中，丄,(;c,)表示第i級(jí)弦長函數(shù)，在本發(fā)明方法中共分8個(gè)級(jí)別的弦長函數(shù)；N表示函數(shù)采樣點(diǎn)個(gè)數(shù)，在本方法中令N-8。按照公式(1-2)計(jì)算中國手語中常用典型靜態(tài)手勢的傅立葉描述子的值，并將計(jì)算得到的該值儲(chǔ)存于用于輔助交流的計(jì)算機(jī)的數(shù)據(jù)庫中備查。典型靜態(tài)手勢的多少，取決于輔助交流計(jì)算機(jī)系統(tǒng)適用范圍的大小。之后，按照公式(1-2)計(jì)算出待檢測手勢的傅立葉描述子的值，根據(jù)最短歐氏距離的原則，與計(jì)算機(jī)數(shù)據(jù)庫中儲(chǔ)存的常用典型靜態(tài)手勢的傅立葉描述子的值進(jìn)行匹配，判斷出待檢測靜態(tài)手勢的含義。3)將2)中識(shí)別出的靜態(tài)手勢序列構(gòu)成動(dòng)態(tài)手勢，并采用包括隱馬爾'科夫模型的隨機(jī)過程描述法或神經(jīng)元網(wǎng)絡(luò)法結(jié)合模式識(shí)別法對(duì)該動(dòng)態(tài)手勢予以識(shí)別，獲得動(dòng)態(tài)手勢所包含的含義；連續(xù)的靜態(tài)手勢序列構(gòu)成動(dòng)態(tài)手勢，動(dòng)態(tài)手勢根據(jù)不同的手部動(dòng)作以及手勢的運(yùn)動(dòng)軌跡構(gòu)成。人在不同時(shí)刻打出的手勢具有一定的隨機(jī)性，同時(shí)，不同的人對(duì)于相同含義的手語，存在著個(gè)體表述的差異，而動(dòng)態(tài)手勢的識(shí)別，實(shí)際上是對(duì)隨機(jī)過程的特性進(jìn)行描述與識(shí)別。4)將3)中識(shí)別出的動(dòng)態(tài)手勢的含義轉(zhuǎn)換為正常人能夠理解的文字或'語曰c將正常人的語言或文字轉(zhuǎn)換為手語部分的具體步驟如下a)通過文字輸入裝置輸入文字信息，或者在獲得識(shí)別到的聾觀人打出手語的含義之后，在專用詞匯數(shù)據(jù)庫中自動(dòng)匹配出相應(yīng)的回答語句，并將該文字信息或回答語句傳入計(jì)算機(jī)；b)將a)步中獲得的信息進(jìn)行處理，形成步驟1建立的專用詞匯數(shù)據(jù)庫中的專用詞匯，將該專用詞匯通過步驟3構(gòu)建的對(duì)應(yīng)關(guān)系形成相應(yīng)的手語'動(dòng)作；c)將b)步中形成的手語動(dòng)作通過步驟2構(gòu)造的三維動(dòng)畫虛擬人予以顯示。本發(fā)明方法，用于某些特定會(huì)話場景下，正常人與聾啞人進(jìn)行有限詞匯量的交流，通過手語識(shí)別和顯示，輔助不懂手語的正常人能用手語表達(dá)，并可將聽力障礙者的手語翻譯成文字或者是語音表達(dá)。權(quán)利要求1.一種特定會(huì)話場景下的計(jì)算機(jī)輔助手語交流方法，建立詞匯數(shù)據(jù)庫和虛擬人手語動(dòng)作的對(duì)應(yīng)關(guān)系，通過采集聾啞人打出的手語信息，將該手語信息經(jīng)過圖像處理和生物特征識(shí)別，獲得所采集手語信息的含義，并將該含義告知正常人，反之，獲得正常人輸入的文字信息，或者在獲得的識(shí)別到聾啞人打出手語的含義之后，在詞匯數(shù)據(jù)庫中自動(dòng)匹配出相應(yīng)的回答語句，并將該文字信息或回答語句經(jīng)過處理并通過手語的方式告知聾啞人，實(shí)現(xiàn)特定場合下正常人與聾啞人的會(huì)話交流，其特征在于，該方法按以下步驟進(jìn)行步驟1在計(jì)算機(jī)中建立特定會(huì)話場景下所用的詞匯數(shù)據(jù)庫；步驟2采用計(jì)算機(jī)圖形學(xué)的方法構(gòu)造三維動(dòng)畫虛擬人，并建立該三維動(dòng)畫虛擬人的骨骼關(guān)節(jié)模型；步驟3構(gòu)建步驟1建立的詞匯數(shù)據(jù)庫中的詞匯與步驟2構(gòu)造的三維動(dòng)畫虛擬人表征的手語動(dòng)作之間的對(duì)應(yīng)關(guān)系；步驟4正常人和聾啞人通過步驟2建立的虛擬人和步驟1建立的詞匯數(shù)據(jù)庫，以步驟3建立的對(duì)應(yīng)關(guān)系為基礎(chǔ)進(jìn)行會(huì)話交流，聾啞人打出的手語轉(zhuǎn)換為文字或語言的具體步驟1)、通過攝像頭采集聾啞人打出的手語圖像信息，并將該手語圖像信息輸入計(jì)算機(jī)；2)、將步驟1)步中采集到的手語圖像信息，通過訓(xùn)練獲得無目標(biāo)背景，采用背景差分法，檢測出該背景中包括手部區(qū)域在內(nèi)的運(yùn)動(dòng)目標(biāo)，并通過手部區(qū)別于其它部位的顏色和形態(tài)，分割出手部區(qū)域，采用數(shù)字視頻關(guān)鍵幀提取方法，提取該手部區(qū)域的關(guān)鍵幀，然后，通過提取不同手勢的特征差異，識(shí)別出該關(guān)鍵幀中的靜態(tài)手勢；3)、將步驟2)中識(shí)別出的靜態(tài)手勢序列構(gòu)成動(dòng)態(tài)手勢，并采用包括隱馬爾科夫模型的隨機(jī)過程描述法或神經(jīng)元網(wǎng)絡(luò)法結(jié)合模式識(shí)別法對(duì)該動(dòng)態(tài)手勢予以識(shí)別，獲得動(dòng)態(tài)手勢所包含的含義；4)、將步驟3)中識(shí)別出的動(dòng)態(tài)手勢的含義轉(zhuǎn)換為正常人能夠理解的文字或語言；將正常人輸入的文字轉(zhuǎn)換為手語部分的具體步驟如下a)、通過文字輸入裝置輸入文字信息，或者在獲得識(shí)別到的聾啞人手語的含義之后，在專用詞匯數(shù)據(jù)庫中自動(dòng)匹配出相應(yīng)的回答語句，并將該文字信息或回答語句傳入計(jì)算機(jī)；b)、將步驟a)步中獲得的信息進(jìn)行處理，形成步驟1建立的詞匯數(shù)據(jù)庫中的專用詞匯，將該專用詞匯通過步驟3構(gòu)建的對(duì)應(yīng)關(guān)系形成相應(yīng)的手語動(dòng)作；c)、將步驟b)步中形成的手語動(dòng)作通過步驟2構(gòu)造的三維動(dòng)畫虛擬人予以顯示。2.按照權(quán)利要求1所述的計(jì)算機(jī)輔助手語交流方法，其特征在于，所述2)步中關(guān)鍵幀的提取采用等間隔關(guān)鍵幀提取法，該提取法中間隔L通過以下公式計(jì)算得到丄=-(1-1)式中，VideoNum為視頻的總幀數(shù)，CodeNum為碼字?jǐn)?shù)。3.按照權(quán)利要求1所述的計(jì)算機(jī)輔助手語交流方法，其特征在于，所述步驟2)中采用基于多級(jí)弦長函數(shù)的實(shí)現(xiàn)對(duì)不同靜態(tài)手勢的識(shí)別。4.按照權(quán)利要求3所述的計(jì)算機(jī)輔助手語交流方法，其特征在于，所述傅立葉描述子方法中計(jì)算一個(gè)手形的傅立葉描述子的公式如下'<formula>formulaseeoriginaldocumentpage4</formula>式中，丄,OO表示第i級(jí)弦長函數(shù)，分8個(gè)級(jí)別的弦長函數(shù)；N表示函數(shù)采樣點(diǎn)個(gè)數(shù)，令N-8。全文摘要本發(fā)明公開的一種特定會(huì)話場景下的計(jì)算機(jī)輔助手語交流方法，通過建立虛擬人骨骼模型和特定會(huì)話場景詞匯數(shù)據(jù)庫，設(shè)定該骨骼模型各關(guān)節(jié)的運(yùn)動(dòng)自由度范圍，并建立虛擬人各關(guān)節(jié)動(dòng)作與專用詞匯的交流應(yīng)答對(duì)應(yīng)關(guān)系，通過采集聾啞人打出的手語信息，將該手語信息經(jīng)過圖像處理和生物特征識(shí)別，獲得所采集手語信息的含義，將聾啞人打出的手語轉(zhuǎn)換為文字或語言告知正常人，反之，獲得正常人輸入的文字信息，或者在獲得識(shí)別到的聾啞人打出手語的含義之后，自動(dòng)匹配出相應(yīng)的回答語句，并將該文字信息或回答語句經(jīng)過處理并通過手語轉(zhuǎn)換為手語告知聾啞人，實(shí)現(xiàn)特定場合下正常人與聾啞人的會(huì)話交流。通過本發(fā)明方法可實(shí)現(xiàn)特定場合下正常人與聾啞人之間的交流。文檔編號(hào)G09B21/00GK101527092SQ20091002190公開日2009年9月9日申請(qǐng)日期2009年4月8日優(yōu)先權(quán)日2009年4月8日發(fā)明者吳銳杰,杰姚,孫國清,張嘉蕾,曹建斌,虹朱,李麗賢,棟王,潔許,趙朝杰,歡金,韓永朋申請(qǐng)人:西安理工大學(xué)