專利名稱：一種基于手指高級特征的手勢識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種手勢識別方法，具體是一種基于手指高級特征的手勢識別方法， 屬于人機交互領(lǐng)域。
背景技術(shù)：
隨著計算機技術(shù)的不斷發(fā)展，人與計算機的交互活動逐漸成為人們?nèi)粘Ｉ畹闹匾M成部分。在這種情況下，更加自然，更加符合人交流習(xí)慣的人機交互技術(shù)得到了較大的發(fā)展。這些技術(shù)包括手勢識別、語音識別和視線跟蹤等等?；谟嬎銠C視覺的手勢識別技術(shù)提供了一種自然的人機交互接口。手勢的圖像特征提取是手勢識別的重要組成部分，將直接影響識別的速度和魯棒性。當(dāng)前最常用的手勢特征有(1)膚色，人體皮膚在一些顏色空間中具有高度的聚類特性，利用膚色來區(qū)分人手與背景是一種常用的粗略分割手勢方法。(2)邊緣，邊緣特征受光照影響較小，能反映手勢的結(jié)構(gòu)，常被用作圖像匹配，進而定位識別手勢。(3)輪廓，指分割手勢之后得到的手勢外輪廓。輪廓特征既可以直接用于圖像匹配以識別手勢，也可以通過分析曲率等局部特性，得到指尖位置等高級特征。(4)指尖，即手指尖在圖像中的位置。指尖特征可通過指尖模板匹配或?qū)κ謩葺喞那史治龅玫?。指尖位置與數(shù)量可以直接反映手勢。(5)手勢中心位置，即手勢在空間中的位置信息，中心位置的連續(xù)移動可用于定義動態(tài)手勢。直接用手勢剪影圖的質(zhì)心或輪廓點的質(zhì)心來定位手勢中心位置是一種常用的方法。但是這種方法受不同手勢形狀的影響較大。(6)手勢的方向，即手勢在空間中的方向信息，可用于定義指示性的手勢。手勢的方向可由手臂確定，但是圖像序列中不一定能檢測到手臂；手勢的方向也可通過擬合手勢外輪廓的橢圓長軸方向確定，但是并不適用于所有手勢。由于手的形狀比較復(fù)雜，即使是同一手勢，隨著位置和角度的不同以及手指夾角的細(xì)微變化，在圖像中也會呈現(xiàn)較大區(qū)別?，F(xiàn)有的手勢識別方法存在如下不足(1)較準(zhǔn)確的實時手勢估計方法通常要求用戶配戴顏色標(biāo)記物，在實際應(yīng)用中很不方便；(2)基于模板匹配的方法通常需要準(zhǔn)備大量的模板，只能應(yīng)用于有限數(shù)量手勢的識別；(3)在高級特征方面，現(xiàn)有的手指檢測方法一般只能檢測伸出的手指，無法檢測收起的手指，不利于整體手勢的估計；(4)識別結(jié)果會受到裸露手臂區(qū)域干擾；(5)難以估計出準(zhǔn)確的手勢方向；(6)識別結(jié)果會受手指夾角變化、手旋轉(zhuǎn)角度影響。
3G(d) =其中 N = 0.25Dfinger，Dfinger

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)存在的上述缺陷，提供了一種基于手指高級特征的手勢識別方法。用戶不必配戴任何標(biāo)記物，也不必預(yù)先訓(xùn)練大量用于匹配的模板，即可實時提取手的掌心位置、手腕位置、手勢方向、所有手指(包括伸出與收起手指)的位置等手勢高級特征，進而識別手勢。該方法具有旋轉(zhuǎn)不變性和很好的實時性，而且不受裸露的手臂膚色區(qū)域影響。本發(fā)明通過如下技術(shù)方案實現(xiàn)一種基于手指高級特征的手勢識別方法，包括如下步驟⑴手勢粗分割；(2)手勢邊緣的提??；C3)手指中心區(qū)域提?。?4)手勢高級特征提??；( 手勢識別；其特征在于，所述手指中心區(qū)域提取根據(jù)手指兩側(cè)邊緣的近似平行特征，利用設(shè)計的算子提取手指的中心區(qū)域；算子為各向同性的環(huán)形算子，可表示為
-K0<d<N
K2N <d<3N
0其他
為手指平均寬度，d表示到算子中心的距離，K為任意正數(shù)。對手勢邊緣采用該算子進行卷積，并進行閾值二值化，閾值的取值范圍為 ^H-KDfmger-^KDfmger，對二值化結(jié)果進行膨脹運算，得到手指中心區(qū)域圖；所述手勢高級特征提取對手指中心區(qū)域圖計算質(zhì)心，作為手指中心點；利用手指中心點重新分割手區(qū)域，去除手臂部分，得到更準(zhǔn)確的手區(qū)域；對分割出的手區(qū)域進行腐蝕運算，腐蝕結(jié)果的質(zhì)心作為手掌中心；由手指中心和手掌中心可以確定手勢方向；根據(jù)手掌中心、手勢方向以及手掌半徑，定位手腕位置；以手腕位置為極點，對提取的手指中心區(qū)域圖進行以極徑為加權(quán)系數(shù)的加權(quán)徑向投影變換，得到一維手勢特征序列；對該序列進行低通濾波并歸一化處理，得到處理后的手勢特征序列；提取該手勢特征序列5個最大的局部極大值，在手勢外輪廓上局部極大值對應(yīng)的角度范圍內(nèi)搜索距離手腕位置最遠(yuǎn)的點， 作為5根手指的定位點；手腕位置到該點的向量角度作為手指角度特征；根據(jù)手腕位置到該點距離，判別手指是伸出還是收起；所述手勢識別直接利用步驟(4)得到的手掌中心位置、手勢方向、手腕位置、5根手指的定位點、5根手指的角度特征、5根手指的伸縮狀態(tài)構(gòu)成的手勢高級特征，構(gòu)造手勢模型，得到手勢識別的結(jié)果。步驟(1)所述手勢粗分割采用基于YCbCr顏色空間的膚色分割，用于初步分離背景；采用形態(tài)學(xué)濾波，分割出手區(qū)域，并得到手勢外輪廓。步驟( 所述手勢邊緣的提取由Carmy邊緣檢測算法初步提取手勢邊緣，通過對Carmy邊緣上像素點的灰度值進行閾值判斷，并根據(jù)收起手指的兩側(cè)邊緣灰度值較低的特點，從Carmy邊緣中提取出收起手指的兩側(cè)邊緣，再與外輪廓進行并集運算，得到手勢邊緣。對于離散圖像信號，所述環(huán)形算子是一個(6N+1) X (6N+1)的環(huán)形算子。
所述方法可以在計算機系統(tǒng)上通過軟件實現(xiàn)，也可以在嵌入式系統(tǒng)、數(shù)字信號處理器和FPGA上通過固件實現(xiàn)。與現(xiàn)有技術(shù)相比，本發(fā)明具有下列優(yōu)點和效果(1)用戶不需要佩戴任何標(biāo)記物；(2)不需要預(yù)先訓(xùn)練大量匹配模板就能有效識別多種手勢；(3)能提取所有手指的特征，包括收起的手指；(4)能有效避免裸露手臂區(qū)域的干擾；(5)能準(zhǔn)確提取手勢方向特征；(6)不受手旋轉(zhuǎn)角度以及手指夾角變化的影響；(7)算法簡單，可以實時實現(xiàn)。


圖1是本發(fā)明手勢識別方法的流程圖。圖2是平行線中心區(qū)域環(huán)形檢測算子示意圖，圖2(a)是連續(xù)信號的檢測算子， 圖2(b)是離散信號的檢測算子(大小為7X7)，圖2(c)是離散信號的檢測算子(大小為 13X13)。圖3是環(huán)形檢測算子檢測的平行線中心區(qū)域示意圖。圖4是去除手臂區(qū)域以及確定手指中心點、手勢方向、手腕位置等特征的方法示意圖。圖5是手指定位方法示意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明具體實施方式
作進一步說明，但需要說明的是，實施例并不構(gòu)成對本發(fā)明要求保護范圍的限制。本發(fā)明具體實施方法流程如圖1所示，主要步驟如下步驟1 手勢粗分割本實施方式采用基于YCbCr顏色空間的膚色分割方法。對通過單目攝像頭獲取的 RGB顏色空間的彩色圖像，采用公式(1)，將其轉(zhuǎn)換到Y(jié)CbCr顏色空間
權(quán)利要求
1.一種基于手指高級特征的手勢識別方法，包括如下步驟(1)手勢粗分割；( 手勢邊緣的提??；C3)手指中心區(qū)域提取；(4)手勢高級特征提??；( 手勢識別；其特征在于，所述手指中心區(qū)域提取根據(jù)手指兩側(cè)邊緣的近似平行特征，利用設(shè)計的算子提取手指的中心區(qū)域；算子為各向同性的環(huán)形算子，可表示為-K0<d<NG{d) = \κ2Ν <d<3N0其他其中N = 0. 25Dfinger, Dfinger為手指平均寬度，d表示到算子中心的距離，K為任意正數(shù)。對手勢邊緣采用該算子進行卷積，并進行閾值二值化，閾值的取值范圍為 Sn-KDfmgerSKDfmger，對二值化結(jié)果進行膨脹運算，得到手指中心區(qū)域圖；所述手勢高級特征提取對手指中心區(qū)域圖計算質(zhì)心，作為手指中心點；利用手指中心點重新分割手區(qū)域，去除手臂部分，得到更準(zhǔn)確的手區(qū)域；對分割出的手區(qū)域進行腐蝕運算，腐蝕結(jié)果的質(zhì)心作為手掌中心；由手指中心和手掌中心可以確定手勢方向；根據(jù)手掌中心、手勢方向以及手掌半徑，定位手腕位置；以手腕位置為極點，對提取的手指中心區(qū)域圖進行以極徑為加權(quán)系數(shù)的加權(quán)徑向投影變換，得到一維手勢特征序列；對該序列進行低通濾波并歸一化處理，得到處理后的手勢特征序列；提取該手勢特征序列5個最大的局部極大值，在手勢外輪廓上局部極大值對應(yīng)的角度范圍內(nèi)搜索距離手腕位置最遠(yuǎn)的點，作為5 根手指的定位點；手腕位置到該點的向量角度作為手指角度特征；根據(jù)手腕位置到該點距離，判別手指是伸出還是收起；所述手勢識別直接利用步驟(4)得到的手掌中心位置、手勢方向、手腕位置、5根手指的定位點、5根手指的角度特征、5根手指的伸縮狀態(tài)構(gòu)成的手勢高級特征，構(gòu)造手勢模型， 得到手勢識別的結(jié)果。
2.根據(jù)權(quán)利要求1所述的識別方法，其特征在于，步驟(1)所述手勢粗分割采用基于 YCbCr顏色空間的膚色分割，用于初步分離背景；采用形態(tài)學(xué)濾波，分割出手區(qū)域，并得到手勢外輪廓。
3.根據(jù)權(quán)利要求1所述的識別方法，其特征在于，步驟( 所述手勢邊緣的提取由 Canny邊緣檢測算法初步提取手勢邊緣，通過對Carmy邊緣上像素點的灰度值進行閾值判斷，并根據(jù)收起手指的兩側(cè)邊緣灰度值較低的特點，從Carmy邊緣中提取出收起手指的兩側(cè)邊緣，再與外輪廓進行并集運算，得到手勢邊緣。
4.根據(jù)權(quán)利要求1所述的識別方法，其特征在于，步驟(3)中對于離散圖像信號，所述環(huán)形算子是一個(6N+1) X (6N+1)的環(huán)形算子。
全文摘要
一種基于手指高級特征的手勢識別方法，包括如下步驟(1)手勢粗分割；(2)手勢邊緣的提取；(3)手指中心區(qū)域提取；(4)手勢高級特征提?。?5)手勢識別；直接利用步驟(4)得到的手掌中心位置、手勢方向、手腕位置、5根手指的定位點、5根手指的角度特征、5根手指的伸縮狀態(tài)構(gòu)成的手勢高級特征，構(gòu)造手勢模型，得到手勢識別的結(jié)果。本發(fā)明直接利用5根手指的伸出/收起狀態(tài)可以識別25＝32種不同手勢，且與手的旋轉(zhuǎn)角度無關(guān)。在需要考慮手勢方向的應(yīng)用場景中，可以利用獲得的手勢方向，識別更多用戶手勢。
文檔編號G06K9/00GK102368290SQ20111025896
公開日2012年3月7日 申請日期2011年9月2日 優(yōu)先權(quán)日2011年9月2日
發(fā)明者李映輝, 林耀榮, 江國來 申請人:華南理工大學(xué)