專利名稱：一種基于手勢識別的人機(jī)交互方法
技術(shù)領(lǐng)域：
本發(fā)明公開了一種人機(jī)交互的方法，具體涉及一種基于人體手勢的變化的識別而產(chǎn)生的人機(jī)交互方法。
背景技術(shù)：
隨著虛擬現(xiàn)實技術(shù)的發(fā)展和計算機(jī)性能的提高，人機(jī)界面的操作方向必然是向高計算機(jī)性能、高通信帶寬下新的控制方式發(fā)展，讓用戶擁有更便捷的人機(jī)交互方式。近年來，手勢交互技術(shù)已經(jīng)進(jìn)行了一些研究，但是由于人手涉及到多處變形復(fù)雜的關(guān)節(jié)體，以及手勢本身具有的多樣性、復(fù)雜性、多義性等特點，手勢識別技術(shù)還有很大的研究空間。很多現(xiàn)有的人機(jī)交互系統(tǒng)都利用了數(shù)據(jù)手套設(shè)備，雖然利用數(shù)據(jù)手套能夠提高識別的準(zhǔn)確率，但是也失去了手勢交互自然性，并且數(shù)據(jù)手套設(shè)備也比較昂貴。本發(fā)明提出的手勢操作方式是利用攝像頭采集的手勢局部圖像特征來進(jìn)行描述、識別和控制的過程，以及如何基于 手勢控制替代傳統(tǒng)的鼠標(biāo)操作的問題。在中華人民共和國國家知識產(chǎn)權(quán)局專利檢索系統(tǒng)中檢索“手勢”、“人機(jī)”、“交互”等關(guān)鍵詞，檢索到三篇題名與本發(fā)明相近《一種基于語音和手勢的多通道人機(jī)交互方法》(申請?zhí)?01110278390.5)，該發(fā)明通過識別語音和手勢可以完成復(fù)雜場景下的精確目標(biāo)指點，與本發(fā)明的應(yīng)用場景不同，本發(fā)明立足于通過識別基礎(chǔ)的手勢用以替代鼠標(biāo)操作，并確保其可靠性?！兑环N移動終端壓力觸控手勢識別的人機(jī)交互方式》(申請?zhí)?01010152888. 2)，該發(fā)明的技術(shù)實現(xiàn)基于壓力觸摸板，與本發(fā)明基于攝像頭捕捉手勢不同?！痘谝暰€跟蹤和手勢識別的人機(jī)交互方法及裝置》(申請?zhí)?00810030194. 4)，該發(fā)明通過攝像頭同時捕捉人眼與手的動作進(jìn)行鼠標(biāo)定位，并將所有功能封裝于一硬件模塊中；而本發(fā)明則是僅通過捕捉人手進(jìn)行鼠標(biāo)定位，除了配置一普通攝像頭外，其它工作都由相應(yīng)的模塊來完成。

發(fā)明內(nèi)容
發(fā)明目的為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種人機(jī)交互的方法，具體涉及一種基于人體手勢的變化的識別而產(chǎn)生的人機(jī)交互方法。技術(shù)方案為解決上述技術(shù)問題，本發(fā)明提供的一種基于手勢識別的人機(jī)交互方法，包括以下步驟(I)拍攝圖像視頻流過程啟動攝像頭，拍攝手勢圖像視頻流；(2)對圖像視頻流的處理過程此過程包括兩部分手勢分割和手勢跟蹤；通過對手勢圖像視頻流進(jìn)行手勢分割，將手勢圖像視頻轉(zhuǎn)化為相應(yīng)的圖像幀，再根據(jù)相應(yīng)的圖像幀建立手勢模板，再利用HSV直方圖的粒子濾波算法得到手勢的運動軌跡和預(yù)測方向；(3)手勢識別過程從圖像視頻流中得出的圖像幀，根據(jù)相應(yīng)的算法軟件提取出手勢的形狀、特征以及位置信息，通過預(yù)先建立相應(yīng)的手勢模板對手勢進(jìn)行識別，然后再設(shè)置對應(yīng)的鼠標(biāo)位置和動作，同時轉(zhuǎn)換為相應(yīng)的系統(tǒng)鼠標(biāo)事件；(4)手勢交互過程預(yù)先定義手勢映射模型，根據(jù)手勢識別的結(jié)果建立手勢交互的對應(yīng)關(guān)系，轉(zhuǎn)換成相應(yīng)的系統(tǒng)指令，例如，鼠標(biāo)單擊、鼠標(biāo)移動等，然后根據(jù)需求驅(qū)動特定的系統(tǒng)動作模擬相應(yīng)的系統(tǒng)鼠標(biāo)事件，進(jìn)行人機(jī)交互。用戶手勢在計算機(jī)屏幕或者投影屏上指點的位置，通過一個放大的鼠標(biāo)指針來指示，因此無須對計算機(jī)系統(tǒng)做出修改。另外，軟件還預(yù)留了接口可以根據(jù)用戶的定義進(jìn)行功能的擴(kuò)展。所述步驟(2)中的手勢分割是通過背景建模、運動目標(biāo)檢測建模以及結(jié)合HSV膚色檢測模型來快速定位檢測。所述的HSV膚色檢測模型和光線補(bǔ)償模型結(jié)合使用；在某些特定的環(huán)境下，采用自適應(yīng)的光線補(bǔ)償技術(shù)以彌補(bǔ)膚色檢測的不足，保持手勢分割的準(zhǔn)確性，得到手勢的位置和手勢區(qū)域的直方圖等特征。實驗結(jié)果表明，本發(fā)明所采用的方法對復(fù)雜的背景有一定的適應(yīng)能力。所述步驟(3)中的手勢識別包括人臉識別和手勢識別，所述手勢識別包括手掌模板和握拳模板兩種；所述的手勢識別過程是采用動態(tài)的手勢序列識別的方法；所述步驟 (2)中的手勢跟蹤和步驟(3)中手勢識別均還包括錯誤識別程序。本發(fā)明通過預(yù)先定義手勢模板，提取模板的特征，建立當(dāng)前輸入的手勢特征的判決函數(shù)，通過機(jī)器學(xué)習(xí)方法進(jìn)行訓(xùn)練，預(yù)測的匹配結(jié)果作為最后的識別結(jié)果，分析出當(dāng)前手勢的含義。手勢模板為單色位圖，目前只需手掌和握拳兩種即可滿足需求。在跟蹤和識別的過程中還需進(jìn)行錯誤識別的判讀，如在跟蹤手掌手勢時，偶然出現(xiàn)數(shù)幀非連續(xù)性的握拳或其它手勢，則需要進(jìn)行自動排除，避免對后面的交互工作產(chǎn)生干擾。所述步驟(3)中的手勢交互中的模擬系統(tǒng)鼠標(biāo)事件是通過下列方式實現(xiàn)的(I)程序保存歷史手勢，與當(dāng)前手勢進(jìn)行比較；(2)在手勢移動的情況下，若手掌攤開則為普通移動，握拳則是拖動選中的目標(biāo)；
(3)在手勢靜止的情況下，手掌由攤開轉(zhuǎn)為握拳產(chǎn)生鼠標(biāo)按下事件，握拳轉(zhuǎn)為攤開則產(chǎn)生鼠標(biāo)釋放事件，握拳超過時間限制則產(chǎn)生鼠標(biāo)長按事件。有益效果本發(fā)明相對于現(xiàn)有技術(shù)有以下優(yōu)點(I)基于手勢識別的人機(jī)交互方式可替代傳統(tǒng)的鼠標(biāo)操作，可以廣泛應(yīng)用在餐飲購物、娛樂活動、或者是會議大屏演示等場景下，增強(qiáng)人機(jī)之間互動性；(2)相對于現(xiàn)有技術(shù)中的人機(jī)交互方式，本發(fā)明僅通過捕捉人的手勢來完成人機(jī)交換過程，操作過程簡單，易于實現(xiàn)。


圖I是本文明的工作流程示意圖。圖2是本發(fā)明的層次架構(gòu)示意圖。圖3是本發(fā)明的計算機(jī)軟件處理流程示意圖。圖4是人臉檢測流程不意圖。圖5是手勢檢測流程不意圖。圖6是系統(tǒng)鼠標(biāo)設(shè)置流程示意圖。圖7是系統(tǒng)鼠標(biāo)動作檢測流程不意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明作更進(jìn)一步的說明。
如圖I和圖3所示，運行本發(fā)明時，首先啟動攝像頭并設(shè)置視頻來源，同時加載HSV膚色檢測模型，并裝載和處理需要使用的手勢和人臉模板，之后軟件進(jìn)入檢測運行循環(huán)，直到接到退出命令為止。在檢測運行循環(huán)中，軟件每40毫秒取一幀圖像進(jìn)行處理，保證每秒24幀左右的處理頻率，其余時間讓出CPU處理，避免進(jìn)程阻塞CPU導(dǎo)致軟件效率低下影響系統(tǒng)操作。取得的圖片幀首先需要進(jìn)行手勢分割和手勢跟蹤，進(jìn)行手勢識別后映射為特定的系統(tǒng)鼠標(biāo)動作。如圖2所示的本發(fā)明的層次架構(gòu)圖，含有攝像頭的計算機(jī)平臺攝入視頻流，在WIN平臺上對攝像頭驅(qū)動，形成在計算機(jī)視覺庫里，最后通過手勢識別模塊來實現(xiàn)手勢轉(zhuǎn)化為相應(yīng)的鼠標(biāo)動作。本發(fā)明的實施過程中的幾個主要環(huán)節(jié)如下(I)手勢分割本發(fā)明的運行環(huán)境是普通的PC機(jī)，因此無法采用大容量的手型數(shù)據(jù)庫，而限制背景的做法無法滿足現(xiàn)實中的實際操作。因而本發(fā)明采用的方法是通過背景建模、動目標(biāo)檢測技術(shù)，結(jié)合HSV膚色檢測模型，快速的定位人手。在某些特定的環(huán)境下，采用自適應(yīng)的光線補(bǔ)償技術(shù)以彌補(bǔ)膚色檢測的不足，保持手勢分割的準(zhǔn)確性，得到手勢的位置和手勢區(qū)域的直方圖等特征。實驗結(jié)果表明，本發(fā)明所采用的方法對復(fù)雜的背景有一定的適應(yīng)能力。(2)手勢跟蹤本發(fā)明采取的方式是通過手勢分割得到的手勢特征，建立手勢模板，利用基于HSV直方圖的粒子濾波算法，解決手勢的跟蹤問題，得到手勢的歷史運動軌跡和預(yù)測方向。從圖片幀中提取出手勢信息后需要進(jìn)行人臉和手勢識別，具體過程見圖4和圖5。(3)手勢識別本發(fā)明通過預(yù)先定義手勢模板，提取模板的特征，建立當(dāng)前輸入的手勢特征的判決函數(shù)，通過機(jī)器學(xué)習(xí)方法進(jìn)行訓(xùn)練，預(yù)測的匹配結(jié)果作為最后的識別結(jié)果，分析出當(dāng)前手勢的含義。手勢模板為單色位圖，目前只需手掌和握拳兩種即可滿足需求。在跟蹤和識別的過程中還需進(jìn)行錯誤識別的判讀，如在跟蹤手掌手勢時，偶然出現(xiàn)數(shù)幀非連續(xù)性的握拳或其它手勢，則需要進(jìn)行自動排除，避免對后面的交互工作產(chǎn)生干擾。識別出圖片幀中的手勢后，需要設(shè)置對應(yīng)的鼠標(biāo)位置和動作，同時轉(zhuǎn)換為相應(yīng)的系統(tǒng)鼠標(biāo)事件，具體過程見圖6和圖7。(4)手勢交互預(yù)先定義手勢映射模型，根據(jù)手勢識別的結(jié)果建立手勢交互的對應(yīng)關(guān)系，轉(zhuǎn)換成相應(yīng)的系統(tǒng)指令，例如，鼠標(biāo)單擊、鼠標(biāo)移動等。如圖7中所示，程序保存歷史手勢，與當(dāng)前手勢進(jìn)行比較。在手勢移動的情況下，若手掌攤開則為普通移動，握拳則是拖動選中的目標(biāo)。在手勢靜止的情況下，手掌由攤開轉(zhuǎn)為握拳產(chǎn)生鼠標(biāo)按下事件，握拳轉(zhuǎn)為攤開則產(chǎn)生鼠標(biāo)釋放事件，握拳超過一定時間門限則產(chǎn)生鼠標(biāo)長按事件。由這五種事件產(chǎn)生出的操作可以滿足絕大多數(shù)人機(jī)交互的要求。按照攝像頭捕捉到的手勢的中心點在整個視場的位置，可以映射出計算機(jī)屏幕上或者投影屏上放大的鼠標(biāo)指針的位置。另外，軟件還預(yù)留了接口可以根據(jù)用戶的定義進(jìn)行功能的擴(kuò)展，如手掌畫圓、畫方、畫三角都可以規(guī)定為特定的交互動作。以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍?！?br> 權(quán)利要求
1.一種基于手勢識別的人機(jī)交互方法，其特征在于，包括以下步驟 (1)拍攝圖像視頻流過程啟動攝像頭，拍攝手勢圖像視頻流； (2)對圖像視頻流的處理過程此過程包括兩部分手勢分割和手勢跟蹤；通過對手勢圖像視頻流進(jìn)行手勢分割，將手勢圖像視頻轉(zhuǎn)化為相應(yīng)的圖像幀，再根據(jù)相應(yīng)的圖像幀建立手勢模板，再利用HSV直方圖的粒子濾波算法得到手勢的運動軌跡和預(yù)測方向； (3)手勢識別過程從圖像視頻流中圖像幀，根據(jù)相應(yīng)的算法軟件提取出手勢的形狀、特征以及位置信息，通過預(yù)先建立相應(yīng)的手勢模板對手勢進(jìn)行識別，然后再設(shè)置對應(yīng)的鼠標(biāo)位置和動作，同時轉(zhuǎn)換為相應(yīng)的系統(tǒng)鼠標(biāo)事件； (4)手勢交互過程預(yù)先定義手勢映射模型，根據(jù)手勢識別的結(jié)果建立手勢交互的對應(yīng)關(guān)系，轉(zhuǎn)換成相應(yīng)的系統(tǒng)指令，然后根據(jù)需求驅(qū)動特定的系統(tǒng)動作模擬相應(yīng)的系統(tǒng)鼠標(biāo)事件，進(jìn)行人機(jī)交互。
2.根據(jù)權(quán)利要求I所述的一種基于手勢識別的人機(jī)交互方法，其特征在于所述步驟(2)中的手勢分割是通過背景建模、運動目標(biāo)檢測建模以及結(jié)合HSV膚色檢測模型來快速定位檢測。
3.根據(jù)權(quán)利要求2所述的一種基于手勢識別的人機(jī)交互方法，其特征在于所述的HSV膚色檢測模型和光線補(bǔ)償模型結(jié)合使用。
4.根據(jù)權(quán)利要求I所述的一種基于手勢識別的人機(jī)交互方法，其特征在于所述步驟(3)中的手勢識別包括人臉識別和手勢識別，所述手勢識別包括手掌模板和握拳模板兩種。
5.根據(jù)權(quán)利要求I所述的一種基于手勢識別的人機(jī)交互方法，其特征在于所述的手勢識別過程是采用動態(tài)的手勢序列識別的方法。
6.根據(jù)權(quán)利要求I所述的一種基于手勢識別的人機(jī)交互方法，其特征在于所述步驟(2)中的手勢跟蹤和步驟(3)中手勢識別均還包括錯誤識別程序。
7.根據(jù)權(quán)利要求I所述的一種基于手勢識別的人機(jī)交互方法，其特征在于所述步驟(3)中的手勢交互中的模擬系統(tǒng)鼠標(biāo)事件是通過下列方式實現(xiàn)的 (1)程序保存歷史手勢，與當(dāng)前手勢進(jìn)行比較； (2)在手勢移動的情況下，若手掌攤開則為普通移動，握拳則是拖動選中的目標(biāo)；(3)在手勢靜止的情況下，手掌由攤開轉(zhuǎn)為握拳產(chǎn)生鼠標(biāo)按下事件，握拳轉(zhuǎn)為攤開則產(chǎn)生鼠標(biāo)釋放事件，握拳超過時間限制則產(chǎn)生鼠標(biāo)長按事件。
全文摘要
本發(fā)明公開了一種基于手勢識別的人機(jī)交互方法，首先通過攝像頭拍攝手勢圖像視頻流，將視頻流轉(zhuǎn)化為圖像幀；接著從圖像中根據(jù)特定的算法提取出手勢的形狀和特征，以及位置信息，建立分類準(zhǔn)則對手勢進(jìn)行識別；再根據(jù)手勢形狀和位置進(jìn)行坐標(biāo)或者動作命令映射得到一定的系統(tǒng)命令，然后根據(jù)需求驅(qū)動特定的系統(tǒng)動作模擬系統(tǒng)鼠標(biāo)事件，進(jìn)行人機(jī)交互。本發(fā)明提供的基于手勢識別的人機(jī)交互方式可替代傳統(tǒng)的鼠標(biāo)操作，可以廣泛應(yīng)用在餐飲購物、娛樂活動、或者是會議大屏演示等場景下，增強(qiáng)人機(jī)之間互動性。
文檔編號G06K9/00GK102854983SQ20121033115
公開日2013年1月2日 申請日期2012年9月10日 優(yōu)先權(quán)日2012年9月10日
發(fā)明者陳超, 金晶, 魚江海, 孟劍萍, 廖永東 申請人:中國電子科技集團(tuán)公司第二十八研究所