本發(fā)明涉及圖像識(shí)別及圖像處理技術(shù)領(lǐng)域中基于被識(shí)別體的形狀、顏色對(duì)比度信息進(jìn)行識(shí)別和處理的技術(shù)，特別是針對(duì)手勢(shì)的識(shí)別，具體涉及一種基于帶有輔助圖案的彈性手套提高手勢(shì)識(shí)別效率及精確度的方法研究及實(shí)現(xiàn)。

背景技術(shù)：

隨著智能手機(jī)的普及，ar-增強(qiáng)現(xiàn)實(shí)技術(shù)走進(jìn)了大眾的生活，游戲、教育、增強(qiáng)現(xiàn)實(shí)技術(shù)是配合攝像頭功能，識(shí)別特定圖像后，調(diào)取已設(shè)定好的模型或視頻等虛擬物體，在屏幕上呈現(xiàn)攝像頭拍到的實(shí)景加虛擬物體同在一起的畫面。它的識(shí)別技術(shù)是通過判斷識(shí)別體中的顏色和對(duì)比度。一些特定條件下，需要以人的手來做識(shí)別體，但是人的手部各處顏色對(duì)比度很低，識(shí)別的極其不穩(wěn)定，對(duì)于識(shí)別引擎的要求也很高。

手部動(dòng)作數(shù)據(jù)提取(手勢(shì)識(shí)別)作為一項(xiàng)較新技術(shù)應(yīng)用于諸多領(lǐng)域，但由于識(shí)別穩(wěn)定性不夠高，目前主要還是用于游戲領(lǐng)域，其他領(lǐng)域如醫(yī)療、精加工、救援等領(lǐng)域如果能用手勢(shì)控制的機(jī)械手來進(jìn)行一些項(xiàng)目操作，將大大減少人力成本甚至完成一些不可能的操作。

依照感應(yīng)方式與原理的不同，主要可分為三大類：慣性感測(cè)、光學(xué)感測(cè)以及慣性及光學(xué)聯(lián)合感測(cè)。

具體應(yīng)用方式有以下幾種：

1)紅外線攝像頭感應(yīng)，3d傳感器可以感應(yīng)空間三個(gè)軸向上的加速度變化。手柄前端的攝像頭，通過紅外發(fā)光條的兩組基準(zhǔn)光源，可準(zhǔn)確捕捉空間二維坐標(biāo)，實(shí)現(xiàn)精確瞄準(zhǔn)功能，可以輕松地進(jìn)行空中鼠標(biāo)操作。

2)通過在人手安置相關(guān)的硬件設(shè)備，并通過硬件設(shè)備中的計(jì)算模塊對(duì)人手的位置和速度等信息進(jìn)行獲取(傳感器)，對(duì)于識(shí)別過程中的定位和跟蹤均都具有良好的指導(dǎo)和保障作用。

3)直接通過攝像頭捕捉圖像，在后臺(tái)的軟件將圖像進(jìn)行處理，通過對(duì)比圖像不同部分的對(duì)比度信息，來識(shí)別圖像、判斷圖像位置，此技術(shù)多用于增強(qiáng)現(xiàn)實(shí)(augmentedreality，簡(jiǎn)稱ar)

然而大多多操作方法的時(shí)間復(fù)雜度較高，紅外線攝像頭感應(yīng)的方式對(duì)于硬件要求較高；傳感器方式需要操作者穿戴繁瑣且貴重的設(shè)備；攝像頭直接捕捉并后臺(tái)處理圖像提取信息的方式，對(duì)于攝像頭分辨率要求較高，同時(shí)識(shí)別手勢(shì)很不穩(wěn)定。那么如何使手勢(shì)識(shí)別技術(shù)變得更穩(wěn)定的同時(shí)降低成本便于推廣使用是需要認(rèn)真考慮的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出一種以輔助手套配合增強(qiáng)現(xiàn)實(shí)引擎加三紅外感應(yīng)探頭定位的雙重判斷的方式來實(shí)現(xiàn)更穩(wěn)定的手勢(shì)識(shí)別。

針對(duì)人的手部表面無明顯色差，現(xiàn)有圖像識(shí)別技術(shù)直接基于顏色對(duì)比度來判斷手部動(dòng)作信息的方式變得很不穩(wěn)定且對(duì)攝像頭精度要求極高，甚至在光源的影響下，手部出現(xiàn)的影子對(duì)顏色對(duì)比影響極大，因此，此方法基于圖像識(shí)別的原理，特制了一種圖形手套。根據(jù)人機(jī)工程學(xué)及圖像識(shí)別特點(diǎn)，對(duì)于手套的特定位置添加了輔助識(shí)別圖案。

一種基于圖像識(shí)別配合圖形手套的手勢(shì)識(shí)別方法，其特征在于，

具體包括：

使用圖案手套并將不同手勢(shì)對(duì)應(yīng)的圖形一一編碼存入數(shù)據(jù)庫當(dāng)中，通過前端程序預(yù)置圖像識(shí)別軟件識(shí)別手勢(shì)，提取信息后與數(shù)據(jù)庫編碼對(duì)比，判斷手勢(shì)，且線圖案輔助識(shí)別；

針對(duì)手部進(jìn)行圖像識(shí)別的專用手套，其中每個(gè)手指上的縱向圖案縱向圖案標(biāo)注出每根手指的位置，大拇指、食指、小拇指上的橫線標(biāo)注出手部整體寬度邊界信息；手掌中間有兩條橫線，靠上的一條橫線是手部握拳時(shí)的基線，同時(shí)定義了手掌的寬度，遮擋此條線時(shí)說明手掌不是全展開狀態(tài)；靠下的一條線在手握拳時(shí)也不會(huì)被遮擋；

在識(shí)別手勢(shì)后向指定接口發(fā)送數(shù)據(jù)，改變數(shù)據(jù)庫內(nèi)存儲(chǔ)的手勢(shì)信息；使用了三個(gè)紅外探頭確定了手部運(yùn)動(dòng)的三維位置；

只有圖像識(shí)別和紅外探頭感應(yīng)手部動(dòng)作指令重合時(shí)，才確認(rèn)發(fā)出手勢(shì)動(dòng)作，否則默認(rèn)手勢(shì)未改變。

更進(jìn)一步，

將每個(gè)手勢(shì)圖案預(yù)置在圖像識(shí)別引擎的數(shù)據(jù)庫表1；

給每個(gè)手勢(shì)設(shè)定唯一編碼放入數(shù)據(jù)庫表2；

圖像識(shí)別引擎判斷帶有圖像手套的手勢(shì)，與數(shù)據(jù)庫表1圖像做對(duì)比，若對(duì)比成功，則發(fā)送對(duì)應(yīng)圖像編號(hào)到后臺(tái)，否則發(fā)送空數(shù)據(jù)；

紅外線感應(yīng)攝像頭判斷手部位置信息，向后臺(tái)動(dòng)態(tài)上傳數(shù)據(jù)。

將從圖像識(shí)別后的數(shù)據(jù)加紅外感應(yīng)的動(dòng)態(tài)數(shù)據(jù)綜合編碼發(fā)送到后臺(tái)與數(shù)據(jù)庫表2的預(yù)設(shè)編碼進(jìn)行對(duì)比，完全一致時(shí)即發(fā)出手勢(shì)變化信息。

每個(gè)手指上的縱向圖案縱向圖案標(biāo)注出每根手指的位置，大拇指、食指、小拇指上的橫線標(biāo)注出手部整體寬度邊界信息；手掌中間有兩條橫線，圖中所示靠上的一條橫線是手部握拳時(shí)的基線，同時(shí)定義了手掌的寬度，遮擋此條線時(shí)說明手掌不是全展開狀態(tài)；靠下的一條線在手握拳時(shí)也不會(huì)被遮擋，助于握拳時(shí)的手勢(shì)識(shí)別及定位圖像(如圖4所示)。

此方法在攝像頭于人的手部之前加了這樣一個(gè)手套作為信息傳遞的載體，極大提高了手勢(shì)識(shí)別的穩(wěn)定性，同時(shí)與傳統(tǒng)的傳感器傳單設(shè)備相比，此圖形手套的成本幾乎可以忽略不計(jì)。此方式可以直接用于增強(qiáng)現(xiàn)實(shí)引擎，即使是識(shí)別度有限的引擎，或是攝像頭分辨率較低的設(shè)備都可以直接進(jìn)行識(shí)別工作，對(duì)于較好的識(shí)別引擎也進(jìn)一步增強(qiáng)收拾的穩(wěn)定性。

為進(jìn)一步提高穩(wěn)定性，在基于圖像手套配合圖像識(shí)別引擎使用的同時(shí)，增加紅外手勢(shì)傳感模塊，感應(yīng)運(yùn)動(dòng)方向識(shí)別手勢(shì)相配合圖像識(shí)別軟件引擎使用，雙重確認(rèn)手勢(shì)。整合兩方式為一個(gè)程序，程序中判斷只有圖像識(shí)別和紅外感應(yīng)手部動(dòng)作指令重合時(shí)，才確認(rèn)發(fā)出手勢(shì)動(dòng)作，否則默認(rèn)手勢(shì)未改變，提高在人體不穿戴傳感器的情況下手勢(shì)識(shí)別的精確度。

本發(fā)明主要有2方面的工作內(nèi)容：

第一、增強(qiáng)現(xiàn)實(shí)圖像識(shí)別引擎直接識(shí)別手勢(shì)的方式對(duì)手勢(shì)識(shí)別不夠穩(wěn)定，角度的改變可能對(duì)識(shí)別的影響很大，我們使用圖案手套并將不同手勢(shì)對(duì)應(yīng)的圖形一一編碼存入數(shù)據(jù)庫當(dāng)中，通過前端程序預(yù)置圖像識(shí)別軟件識(shí)別手勢(shì)，提取信息后與數(shù)據(jù)庫編碼對(duì)比，判斷手勢(shì)，且線圖案輔助識(shí)別后讓識(shí)別難度極大降低。

第二、紅外感應(yīng)探頭判斷手勢(shì)精細(xì)程度不夠，只能判斷運(yùn)動(dòng)軌跡和粗略使用紅外線感應(yīng)探頭，定位動(dòng)作位置，我們使用了三個(gè)紅外探頭確定了手部運(yùn)動(dòng)的三維位置。

第三、本發(fā)明將上述2個(gè)主要問題進(jìn)行了優(yōu)化，并整合兩方法，同時(shí)使用，疊加判斷識(shí)別，有效的解決了上述2個(gè)問題。本方法得到的手勢(shì)數(shù)據(jù)更加準(zhǔn)確，并且加大提高了穩(wěn)定性，無需穿戴傳感器設(shè)備，直接帶一個(gè)手套對(duì)著攝像頭，甚至移動(dòng)設(shè)備攝像頭即可實(shí)現(xiàn)操控，為手勢(shì)識(shí)別的相關(guān)領(lǐng)域提供了新的實(shí)現(xiàn)方法。

附圖說明：

圖1是增強(qiáng)現(xiàn)實(shí)原理說明圖

圖2是輔助識(shí)別手套線條。

圖3是張開手時(shí)手套上的識(shí)別點(diǎn)測(cè)試圖。

圖4是握拳時(shí)手套上的識(shí)別點(diǎn)測(cè)試圖。

圖5是雙重識(shí)別判定流程說明圖。

圖6是“8”字手勢(shì)。

圖7是“8”字手勢(shì)識(shí)別成功出線手槍模型。

圖8是“5”字手勢(shì)。

圖9是“5”字手勢(shì)識(shí)別成功出線火焰模型。

圖10是運(yùn)行模式整體流程示意圖。

具體實(shí)施方式：

將每個(gè)手勢(shì)圖案預(yù)置在圖像識(shí)別引擎的數(shù)據(jù)庫表1；

給每個(gè)手勢(shì)設(shè)定唯一編碼放入數(shù)據(jù)庫表2；

圖像識(shí)別引擎判斷帶有圖像手套的手勢(shì)，與數(shù)據(jù)庫表1圖像做對(duì)比，若對(duì)比成功，則發(fā)送對(duì)應(yīng)圖像編號(hào)到后臺(tái)，否則發(fā)送空數(shù)據(jù)；

紅外線感應(yīng)攝像頭判斷手部位置信息，向后臺(tái)動(dòng)態(tài)上傳數(shù)據(jù)。

將從圖像識(shí)別后的數(shù)據(jù)加紅外感應(yīng)的動(dòng)態(tài)數(shù)據(jù)綜合編碼發(fā)送到后臺(tái)與數(shù)據(jù)庫表2的預(yù)設(shè)編碼進(jìn)行對(duì)比，完全一致時(shí)即發(fā)出手勢(shì)變化信息。此方法也就限定了必須兩檢測(cè)方式同時(shí)符合時(shí)才能發(fā)出對(duì)應(yīng)的手勢(shì)信號(hào)，雙重判斷提高精度。