專利名稱：一種多用途手勢(shì)識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種手語識(shí)別方法，可以用于人機(jī)交互、手語字母輸入、移動(dòng)設(shè)備的操控以及游戲設(shè)計(jì)等很多領(lǐng)域，同時(shí)也有助于殘障人士更好的使用目前先進(jìn)的電子設(shè)備，融入到現(xiàn)代生活之中。
背景技術(shù)：
2002年，牛津大學(xué)工程科學(xué)系完成了對(duì)46個(gè)手語字母以及符號(hào)的識(shí)別。2003年，美國(guó)加州大學(xué)圣芭芭拉分校計(jì)算機(jī)科學(xué)系研制出HandVu系統(tǒng)，可以對(duì)手勢(shì)進(jìn)行定位和判別，并設(shè)計(jì)了其相關(guān)應(yīng)用，取得了較好的效果。現(xiàn)有技術(shù)中存在的困難有以下幾點(diǎn)首先，手部區(qū)域跟蹤的困難。主要原因在于當(dāng)背景復(fù)雜時(shí)，手部的跟蹤往往難以實(shí)現(xiàn)。在復(fù)雜背景下獲取手部區(qū)域，是目前研究的熱點(diǎn)之一。其次，手部區(qū)域表達(dá)的困難。因?yàn)槿耸质嵌嚓P(guān)節(jié)形變物體，在不同的角度所采集到的特征不盡相同，而且由于遮擋的存在，使得手部區(qū)域的特征表達(dá)有著很大的困難。

發(fā)明內(nèi)容
本發(fā)明解決技術(shù)問題所采用的方案是首先是背景圖像的建模和消減。之后是在此基礎(chǔ)之上獲取手部區(qū)域，得到手部區(qū)域的輪廓。在輪廓的基礎(chǔ)上，對(duì)手部區(qū)域的指尖進(jìn)行檢測(cè)。與此同時(shí)，計(jì)算手部區(qū)域的質(zhì)心，通過質(zhì)心對(duì)手部區(qū)域輪廓的整體進(jìn)行基于改進(jìn)型形狀上下文描述子的描述。并將描述子所構(gòu)成的特征向量送入有向無環(huán)支持向量機(jī)進(jìn)行分類。將分類結(jié)果所屬手型的指尖個(gè)數(shù)與指尖檢測(cè)得到的結(jié)果相比較，若結(jié)果相符，則輸出最終結(jié)果，否則，拒判。本發(fā)明的進(jìn)一步技術(shù)方案是在上所述的背景圖像建模和消減方法中，采用基于滑動(dòng)平均圖像序列的方法對(duì)背景進(jìn)行建模，并在手部區(qū)域伸入圖像之后進(jìn)行背景消減。在上述的指尖檢測(cè)方法中，通過對(duì)指尖輪廓的建模，使用多點(diǎn)游走模板在邊界輪廓上進(jìn)行游走，將符合條件的邊界作為指尖點(diǎn)。在上述的手部輪廓描述算法中，通過改進(jìn)型形狀上下文描述子，以質(zhì)心為基礎(chǔ)，將手部輪廓進(jìn)行投影。在最終的判決結(jié)果中，如判決結(jié)果給出的初步結(jié)果所屬手勢(shì)類型所含有的指尖數(shù)和實(shí)際中指尖檢測(cè)的結(jié)果不相符，則最終結(jié)果給出拒判，反之，將其輸出為最終結(jié)果。較之于現(xiàn)有的技術(shù)，本發(fā)明通過背景建模在最大程度上減輕了復(fù)雜背景對(duì)手勢(shì)的影響。同時(shí)采用改進(jìn)型形狀上下文描述子對(duì)手部區(qū)域的輪廓進(jìn)行描述，并且進(jìn)行指尖檢測(cè)。 將改進(jìn)型形狀上下文描述子送入有向無環(huán)支持向量機(jī)，得到初始判決結(jié)果，并結(jié)合指尖數(shù)給出最終的結(jié)果，通過引入拒判，提高了識(shí)別率，增強(qiáng)了識(shí)別效果。


圖1為本發(fā)明的方法流程示意圖。圖2為本發(fā)明中手指模型示意圖。圖3為本發(fā)明中改進(jìn)型形狀上下文描述子示意圖。
具體實(shí)施例方式在背景建模中，采用滑動(dòng)平均圖像序列的方法。Vx,V_y N-\1
代(X，_y) = ji^^^ + y/d力，其中Rt為t時(shí)刻的均值圖像，Rh為t_l時(shí)刻的均值圖
像，I為當(dāng)前采集到的圖像。通過上述背景建模，可以得到背景模型，由于該方法是不斷滑動(dòng)的，所以對(duì)于環(huán)境的變化能夠?qū)嵤┑淖鞒鱿鄳?yīng)。在建模結(jié)束之后，將手伸入圖像區(qū)域中。將此時(shí)采集到的圖像與先前建模完成的背景圖像做絕對(duì)值差分。通過設(shè)置閾值，將前景圖像和背景圖像區(qū)分開來。如果絕對(duì)值差分的結(jié)果大于閾值，則說明該像素點(diǎn)為前景圖像，若結(jié)果小于閾值，則說明該像素點(diǎn)為背景圖像。由于要適應(yīng)周圍環(huán)境，即背景建模所得到的模型也不是一成不變的。通過采用指尖檢測(cè)，來確定該部分是否為手部區(qū)域。若該部分為手，則降低該部分的更新速率，或者抑制其更新，以保證在背景的更行過程中不至于被當(dāng)做背景而更新掉。否則，按照正常速率更新，這樣就保證了在能在實(shí)時(shí)更新的條件下，保證手部區(qū)域的完整性。在獲取手部輪廓之后，進(jìn)行指尖檢測(cè)。指尖檢測(cè)依賴于手指模型的建立。將手指抽象為一個(gè)長(zhǎng)條矩形和一個(gè)半圓相連接，以此作為手指的抽象模型。并且，在手指模型的邊界上標(biāo)記一些參考點(diǎn)，其中半圓的弧頂為一個(gè)重要標(biāo)記參考點(diǎn)，圓弧與長(zhǎng)矩形相接的兩個(gè)點(diǎn)也標(biāo)記為參考點(diǎn)。在矩形長(zhǎng)邊的中點(diǎn)處設(shè)置參考標(biāo)記點(diǎn)，在矩形的末端同樣也設(shè)置兩個(gè)參考標(biāo)記點(diǎn)。通過以上標(biāo)記點(diǎn)的設(shè)計(jì)，手部輪廓的7點(diǎn)標(biāo)記模型就建立起來了。在該模型中，對(duì)稱兩點(diǎn)到弧頂標(biāo)記點(diǎn)的連線所稱的角度成為內(nèi)角度。那么凡是內(nèi)角度值依次小于一定閾值，并且對(duì)稱部分的面積比值在一定閾值范圍內(nèi)的點(diǎn)均可看做指尖點(diǎn)。采用多點(diǎn)游走模型，在手部區(qū)域的輪廓上進(jìn)行游走，逐個(gè)判別輪廓的內(nèi)角度值是否符合閾值以及面積比值是否符合閾值。對(duì)輪廓游走完之后，在一個(gè)手指的指尖位置會(huì)檢測(cè)出一些符合條件的輪廓點(diǎn)，于是對(duì)于這些輪廓點(diǎn)作出如下處理方式將一個(gè)區(qū)域內(nèi)符合條件的點(diǎn)串聯(lián)起來，并對(duì)這些點(diǎn)求取均值，得出中點(diǎn)所在的位置，并將此位置作為一個(gè)手指尖的描述。在對(duì)手部區(qū)域的整體描述中，首先求取手部區(qū)域的質(zhì)心坐標(biāo)。然后以質(zhì)心坐標(biāo)為基準(zhǔn)，將極坐標(biāo)疊加其上，以邊界點(diǎn)到質(zhì)心點(diǎn)最遠(yuǎn)距離為半徑，以360度角為角度，設(shè)計(jì)作為極坐標(biāo)的長(zhǎng)度軸和角度軸。通過計(jì)算手勢(shì)輪廓的矩形特征，得到該輪廓的主方向。將極坐標(biāo)的長(zhǎng)度軸與輪廓主方向相重合，將極坐標(biāo)的長(zhǎng)度和角度分別均分為m項(xiàng)和η項(xiàng)，這樣一來，整個(gè)極坐標(biāo)區(qū)域被分為mXn個(gè)扇區(qū)。由于極坐標(biāo)的長(zhǎng)度軸以最遠(yuǎn)距離為半徑，則可以覆蓋邊界輪廓上的每一點(diǎn)。通過統(tǒng)計(jì)落在每一扇區(qū)中的輪廓點(diǎn)數(shù)目，將其數(shù)目作為扇區(qū)的值記錄下來。之后將極坐標(biāo)沿著長(zhǎng)度軸展開，以長(zhǎng)度軸為橫坐標(biāo)，以角度軸為縱坐標(biāo)將極坐標(biāo)映射為mXn的直方圖，以此將極坐標(biāo)系下的每個(gè)扇區(qū)映射為直角坐標(biāo)系下的方格點(diǎn)。 在此之后，用輪廓點(diǎn)總數(shù)對(duì)直方圖進(jìn)行歸一化即將直方圖中每一項(xiàng)的數(shù)值除以輪廓點(diǎn)的總數(shù)。以此得到改進(jìn)型形狀上下文描述子。
在對(duì)描述子特征進(jìn)行判別之后，有向無環(huán)支持向量機(jī)分類器會(huì)給出一個(gè)初步的判決結(jié)果，將輸入的手勢(shì)判別為某個(gè)類別的手勢(shì)。該類別的手勢(shì)所包含的單個(gè)手指?jìng)€(gè)數(shù)是已知的，通過與指尖檢測(cè)中所得到的指尖數(shù)結(jié)果相比較，就可以得知這兩個(gè)結(jié)果是否相符。如果指尖數(shù)相符，則說明初步判決是正確的，并將其作為最終的判決結(jié)果輸出，若指尖數(shù)不相符，則認(rèn)為出錯(cuò)，產(chǎn)生拒判。本發(fā)明通過對(duì)圖像序列的建模來降低復(fù)雜背景對(duì)手的干擾，通過使用改進(jìn)型形狀上下文描述子來對(duì)手部區(qū)域進(jìn)行整體描述，與此同時(shí)，進(jìn)行指尖檢測(cè)。在分類過程中，引入拒判機(jī)制，提高了分類率，增加了識(shí)別效果。
權(quán)利要求
1.一種多用途手勢(shì)識(shí)別方法，其主要包括以下處理方法首先是背景圖像的建模和消減。之后是在此基礎(chǔ)之上獲取手部區(qū)域，得到手部區(qū)域的輪廓。在輪廓的基礎(chǔ)上，對(duì)手部區(qū)域的指尖進(jìn)行檢測(cè)。與此同時(shí)，計(jì)算手部區(qū)域的質(zhì)心，通過質(zhì)心對(duì)手部區(qū)域輪廓的整體進(jìn)行基于改進(jìn)型形狀上下文描述子的描述。并將描述子所構(gòu)成的特征向量送入有向無環(huán)支持向量機(jī)進(jìn)行分類。將分類結(jié)果所屬手型的指尖個(gè)數(shù)與指尖檢測(cè)得到的結(jié)果相比較，若結(jié)果相符，則輸出最終結(jié)果，否則，拒判。
2.依據(jù)權(quán)利要求1所述的背景圖像建模和消減方法，其特征在于所述步驟基于滑動(dòng)平均圖像序列對(duì)背景進(jìn)行建模，并在手部區(qū)域伸入圖像之后進(jìn)行背景消減。
3.依據(jù)權(quán)利要求1所述的指尖檢測(cè)，其特點(diǎn)在于通過對(duì)指尖輪廓的建模，使用多點(diǎn)游走模板在邊界輪廓上進(jìn)行游走，將符合條件的邊界作為指尖點(diǎn)。
4.依據(jù)權(quán)利要求1所述的手部輪廓描述，其特征在于通過改進(jìn)型形狀上下文描述子， 以質(zhì)心為基礎(chǔ)，將手部輪廓進(jìn)行投影。
5.依據(jù)權(quán)利要求1所述的判決結(jié)果，其特征在于如判決結(jié)果給出的初步結(jié)果所屬手勢(shì)類型所含有的指尖數(shù)和實(shí)際中指尖檢測(cè)的結(jié)果不相符，則最終結(jié)果給出拒判，反之，將其輸出為最終結(jié)果。
全文摘要
本發(fā)明提供了一種基于視覺的多用途手勢(shì)識(shí)別方法。該方法首先通過背景消減，將手部區(qū)域從背景中提取出來。然后，對(duì)提取出來的手部區(qū)域進(jìn)行指尖檢測(cè)，確定手勢(shì)所含單個(gè)指尖的個(gè)數(shù)。與此同時(shí)，獲取手部區(qū)域的輪廓，將其輪廓通過改進(jìn)型形狀上下文描述子進(jìn)行描述。在此之后，引入有向無環(huán)支持向量機(jī)隊(duì)對(duì)提取的改進(jìn)型形狀上下文描述子進(jìn)行分類。在分類后，將其所屬手型的手指?jìng)€(gè)數(shù)與指尖檢測(cè)的結(jié)果相比較，若結(jié)果相符，則輸出最終判決結(jié)果，若結(jié)果不相符，則做出拒判。本發(fā)明可以在人機(jī)交互，移動(dòng)設(shè)備以及手語輸入上有較好的運(yùn)用。
文檔編號(hào)G06K9/00GK102194097SQ20101012342
公開日2011年9月21日 申請(qǐng)日期2010年3月11日 優(yōu)先權(quán)日2010年3月11日
發(fā)明者范為 申請(qǐng)人:范為