專利名稱：在圖像中檢測(cè)手指的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法及設(shè)備，并且更具體地涉及一種在圖像中檢測(cè)手指的方法及設(shè)備、以及一種在圖像中進(jìn)行手勢(shì)識(shí)別的方法及設(shè)備。
背景技術(shù)：
目前，在基于視覺的人機(jī)交互領(lǐng)域中，已經(jīng)提出了多種手勢(shì)識(shí)別方法，這些手勢(shì)識(shí)別方法大多基于手指的檢測(cè)。然而，現(xiàn)有的大多數(shù)手指檢測(cè)方法往往在很小的局部范圍內(nèi)進(jìn)行手指檢測(cè)(例如，指尖領(lǐng)域)，并且所檢測(cè)的特征往往不具有明確的物理特性，例如，指根點(diǎn)、掌心點(diǎn)等重要的人手形狀信息在檢測(cè)過(guò)程中被忽略。在專利文獻(xiàn)1(JP2008152622A)中提供了一種用手指進(jìn)行交互的方法，其中首 先，在幾何顏色校正后，利用幀差法得到手區(qū)域；其次，通過(guò)距離變換的方法，把最大內(nèi)接圓中心定義為掌心點(diǎn)；然后，對(duì)整個(gè)手區(qū)域進(jìn)行橢圓擬合，以得到手方向，把指尖點(diǎn)定義為沿該方向的最遠(yuǎn)點(diǎn)。然而，依據(jù)在專利文獻(xiàn)I中提供的方法所進(jìn)行的掌心點(diǎn)和指尖點(diǎn)的估計(jì)的精度不高。此外，在該方法中，不提供指根估計(jì)，并且也不支持多手指的情況。在專利文獻(xiàn)2(JP9035066A)中提供了一種手勢(shì)識(shí)別方法，其中首先利用一些預(yù)處理方法，分割出手區(qū)域；其次，對(duì)該手區(qū)域進(jìn)行Hough變換，檢測(cè)直線并抑制空間臨近但較短的直線，通過(guò)剩余直線來(lái)確定手指數(shù)、指尖和方向；最后，根據(jù)手指數(shù)來(lái)判斷手勢(shì)操作。然而，專利文獻(xiàn)2中的手勢(shì)識(shí)別方法的檢測(cè)結(jié)果高度依賴于直線抑制，而這一操作非常困難和模糊。此外，在手指彎曲時(shí)，或者在所分割的手區(qū)域中包含了過(guò)多的手臂部分時(shí)，該手勢(shì)識(shí)別方法都會(huì)失效。因此，存在對(duì)于一種能夠利用具有顯著物理意義的特征準(zhǔn)確地進(jìn)行手指檢測(cè)方法及設(shè)備的需要。

發(fā)明內(nèi)容
考慮到上述問(wèn)題而提出了本發(fā)明。本發(fā)明的一個(gè)目的是提供一種在圖像中檢測(cè)手指的方法及設(shè)備，其通過(guò)在圖像中提取出具有顯著物理意義的特征并利用所提取的特征進(jìn)行手指檢測(cè)，來(lái)準(zhǔn)確高效地檢測(cè)手指。根據(jù)本發(fā)明的一方面，提供了一種在圖像中檢測(cè)手指的方法，包括在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征；以及根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來(lái)自人手。在將所述在圖像中檢測(cè)手指的方法應(yīng)用于手勢(shì)識(shí)別的情況下，優(yōu)選地，所述在圖像中檢測(cè)手指的方法還可以包括將所有屬于同一手的手指手掌中軸進(jìn)行關(guān)聯(lián)；生成該手的姿態(tài)特征；以及依據(jù)所述姿態(tài)特征，進(jìn)行手勢(shì)識(shí)別。優(yōu)選地，根據(jù)本發(fā)明實(shí)施例，提取候選手指手掌中軸可以包括對(duì)所述二值圖進(jìn)行距離變換以生成距離變換圖，所述距離變換為對(duì)于所述二值圖中每一前景像素計(jì)算該前景像素到背景像素的最近距離以作為該前景像素的距離變換值，而背景像素的距離變換值為
O;在所述二值圖中檢測(cè)候選指尖點(diǎn)；以及以所述候選指尖點(diǎn)為起點(diǎn)，從所述距離變換圖中提取候選手指手掌中軸。優(yōu)選地，根據(jù)本發(fā)明實(shí)施例，生成所述候選手指手掌的形狀特征包括在所述候選手指手掌中軸中提取手形關(guān)鍵點(diǎn)；以及基于所提取的手形關(guān)鍵點(diǎn)，確定所述候選手指手掌的形狀特征。 優(yōu)選地，所述手形關(guān)鍵點(diǎn)可以包括候選指尖點(diǎn)、候選指根點(diǎn)、和候選掌心點(diǎn)。優(yōu)選地，所述形狀特征可以包括以下至少一項(xiàng)候選手指寬度、歸一化候選手指長(zhǎng)度、和歸一化候選手掌寬度，其中，所述候選手指寬度為所述候選指根點(diǎn)處的距離變換值，所述歸一化候選手指寬度為將所述候選指尖點(diǎn)與所述候選指根點(diǎn)之間的中軸長(zhǎng)度除以所述候選手指寬度所得的商值，所述歸一化候選手掌寬度為將所述候選掌心點(diǎn)處的距離變換值除以所述候選手指寬度所得的商值。 優(yōu)選地，所述手的姿態(tài)特征包括以下至少一項(xiàng)伸出手指指數(shù)、手指方向、指尖位置、以及手臂方向。根據(jù)本發(fā)明的另一方面，提供了一種用于在圖像中檢測(cè)手指的設(shè)備，包括中軸提取裝置，其在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；形狀特征生成裝置，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；以及手指決策裝置，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否來(lái)自人手。在將所述在圖像中檢測(cè)手指的設(shè)備應(yīng)用于手勢(shì)識(shí)別的情況下，優(yōu)選地，所述在圖像中檢測(cè)手指的方法還可以包括關(guān)聯(lián)裝置，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)；手姿態(tài)生成裝置，其生成手的姿態(tài)特征；以及手勢(shì)識(shí)別裝置，其依據(jù)所生成的手的姿態(tài)特征進(jìn)行手勢(shì)識(shí)別。優(yōu)選地，根據(jù)本發(fā)明實(shí)施例，所述中軸提取裝置包括距離變換部件，其對(duì)所述二值圖進(jìn)行距離變換以生成距離變換圖；指尖點(diǎn)檢測(cè)部件，其在所述二值圖中檢測(cè)候選指尖點(diǎn)；以及中軸形成部件，其以所述候選指尖點(diǎn)為起點(diǎn)，從所述距離變換圖中提取候選手指手掌中軸。優(yōu)選地，根據(jù)本發(fā)明實(shí)施例，所述形狀特征生成裝置包括關(guān)鍵點(diǎn)提取部件，其在所述候選手指手掌中軸中提取手形關(guān)鍵點(diǎn)；以及形狀特征確定部件，其基于所提取的手形關(guān)鍵點(diǎn)確定所述候選手指手掌的形狀特征。優(yōu)選地，所述手形關(guān)鍵點(diǎn)可以包括候選指尖點(diǎn)、候選指根點(diǎn)、和候選掌心點(diǎn)。優(yōu)選地，所述形狀特征可以包括以下至少一項(xiàng)候選手指寬度、歸一化候選手指長(zhǎng)度、和歸一化候選手掌寬度，其中，所述候選手指寬度為所述候選指根點(diǎn)處的距離變換值，所述歸一化候選手指寬度為將所述候選指尖點(diǎn)與所述候選指根點(diǎn)之間的中軸長(zhǎng)度除以所述候選手指寬度所得的商值，所述歸一化候選手掌寬度為將所述候選掌心點(diǎn)處的距離變換值除以所述候選手指寬度所得的商值。根據(jù)本發(fā)明的又一方面，提供了一種在圖像中進(jìn)行手勢(shì)識(shí)別的方法，包括在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征；根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來(lái)自；判斷在所述二值圖中還存在其它的候選手指手掌中軸未經(jīng)過(guò)判別；將所有屬于同一手的手指手掌中軸進(jìn)行關(guān)聯(lián)；生成該手的姿態(tài)特征；以及依據(jù)所述姿態(tài)特征，進(jìn)行手勢(shì)識(shí)別。根據(jù)本發(fā)明的再一方面，提供了一種在圖像中進(jìn)行手勢(shì)識(shí)別的設(shè)備，包括中軸提取裝置，其在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；形狀特征生成裝置，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；手指決策裝置，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否來(lái)自人手；關(guān)聯(lián)裝置，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)；手姿態(tài)生成裝置，其生成手的姿態(tài)特征；以及手勢(shì)識(shí)別裝置，其依據(jù)所生成的手的姿態(tài)特征進(jìn)行手勢(shì)識(shí)別。


通過(guò)結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)描述，本發(fā)明的上述和其它目的、特征、優(yōu)點(diǎn)將會(huì)變得更加清楚，其中圖I圖示了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法的流程圖；圖2A圖示了圖I中的步驟SllO的提取候選手指手掌中軸的方法的示例流程圖；圖2B圖示了(a)灰度圖與(b)采用城區(qū)距離計(jì)算的距離變換圖的對(duì)應(yīng)關(guān)系的示例；圖3A圖示了圖I中的步驟S120的生成形狀特征的方法的示例流程圖；圖3B圖示了(a)人手的灰度圖像、(b)從該灰度圖像生成的二值圖的距離變換圖、與(C)距離曲線的對(duì)照關(guān)系的示例；圖4圖示了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法的進(jìn)一步擴(kuò)展的流程圖；圖5A圖示了手臂方向和手指方向的示例；圖5B圖示了指根點(diǎn)與手臂夾角的示例；圖6圖示了基于中軸線距離變換值分析得到的手指檢測(cè)結(jié)果；圖7圖示了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備的示意性框圖；以及圖8圖示了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備的應(yīng)用示例。
具體實(shí)施例方式下面將參照附圖來(lái)描述根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法及設(shè)備。首先，將參考圖I來(lái)說(shuō)明根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法100。根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法100在步驟SlOl開始。在步驟S110，在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸。所述候選手指手掌中軸是潛在的連接手指指尖、手指指根和手掌心的手指手掌中軸，其不僅包括真實(shí)的來(lái)自人手的手指手掌中軸，而且還包括類似于手指形狀的對(duì)象的中軸，諸如，人手臂的中軸、兔子耳朵的中軸、以及具有長(zhǎng)條形狀的對(duì)象的中軸等。所述二值圖用于指示潛在的人體區(qū)域，具體地，在二值圖中將所述圖像中與潛在人體相關(guān)的區(qū)域內(nèi)的像素設(shè)置為具有值“I”的前景像素點(diǎn)，而將無(wú)關(guān)區(qū)域內(nèi)的像素設(shè)置為具有值“O”的背景像素點(diǎn)。
例如，可以通過(guò)背景減除法來(lái)從所述圖像生成指示潛在人體區(qū)域的二值圖。具體地，可以設(shè)置一背景圖像B，其往往被取為在沒有任何物體進(jìn)入攝像機(jī)視野時(shí)所拍攝的圖像，其在X點(diǎn)處的像素值為B (x)。然后，在時(shí)刻t拍攝圖像F，其在X點(diǎn)處的像素值為F (X)。圖像F和背景圖像B之間的差異往往屬于進(jìn)入該背景區(qū)域的物體，如人體?？梢岳美缦率絹?lái)生成指示潛在人體區(qū)域的二值圖
[I, |F(x)-5(χ)|>ΓP(X) =
[o, |F(x)-5(x)|<r其中，P(X)為二值圖中X點(diǎn)處的取值，T為給定閾值，其可以隨像素點(diǎn)位置X的不同而變化。優(yōu)選地，可以在拍攝過(guò)程中自動(dòng)更新背景圖像B，以適應(yīng)可能的光照變化。此外，可以對(duì)上面生成的二值圖P進(jìn)行一些形態(tài)學(xué)處理(諸如，開運(yùn)算)以去除噪聲點(diǎn)。 可以以多種方式從所述二值圖中提取候選手指手掌中軸。例如，首先對(duì)所述二值圖做距離變換以便獲得距離變換圖，在所述距離變換圖中獲得該二值圖中對(duì)象的整個(gè)中軸，然后將以該整個(gè)中軸的某個(gè)端點(diǎn)為起點(diǎn)的預(yù)定長(zhǎng)度的中軸確定為候選手指手掌中軸。然而，獲得二值圖中對(duì)象的整個(gè)中軸非常耗時(shí)，通過(guò)獲得候選指尖點(diǎn)并從該候選指尖點(diǎn)出發(fā)來(lái)獲得候選手指手掌中軸將大大降低計(jì)算量。在圖2A中圖示了通過(guò)首先獲得候選指尖點(diǎn)并繼而提取候選手指手掌中軸的方法的示例的流程圖。首先，在步驟S1110，對(duì)所述二值圖進(jìn)行距離變換以生成距離變換圖，所述距離變換為對(duì)于所述二值圖中的每一前景像素計(jì)算該前景像素到背景像素的最近距離。在距離變換中，通常有3種距離，即城區(qū)距離(city block distance)、棋盤距離(chess board distance)、歐幾里德距離(Euclid distance)。對(duì)(x0, yO)和(xl, yl)兩點(diǎn)而言，其城區(qū)距離為(I XO-Xl I +1 yo-yl |)，棋盤距離為max (| x0-xl |，| y0-yl |)，而歐幾里德距離為((X0-Xl)2+(y0-yl)2)1/2。城區(qū)距離和棋盤距離可以通過(guò)從所述二值圖的上左到下右的正向、反向兩次掃描的信息傳遞完成。而歐幾里德距離則可通過(guò)更復(fù)雜的迭代算法或簡(jiǎn)單的距離核卷積近似得到，如在2008年O' Reilly Media中Gary Bradski, AdrianKaehler 的 “Learning OpenCV Computer Vision with the OpenCV Library，，所公開的。優(yōu)選地，在步驟SlllO中，采用最為精確的歐幾里德距離變換，以便更準(zhǔn)確地提取手指手掌中軸。接下來(lái)，在步驟SI 120，在所述二值圖中檢測(cè)候選指尖點(diǎn)。作為示例,把候選指尖點(diǎn)定義為二值圖(f (X) = O或I)的角點(diǎn)，將f (X) = O的點(diǎn)稱為背景像素點(diǎn)，將f(x) = I的點(diǎn)稱為前景像素點(diǎn)，將二值圖在X點(diǎn)的角點(diǎn)響應(yīng)表示為cf(X)，其定義了在以X點(diǎn)為中心的半徑為r的鄰域B(x，r)內(nèi)除x點(diǎn)外的前景像素點(diǎn)的面積與該鄰域B(x，r)內(nèi)除X點(diǎn)外的所有像素點(diǎn)的面積的比值
ι,/(χ) = οCf(X) = I吃舜)/ω)_ _ _1]/(χ) = i其中，Σ y(y)為B(x，r)內(nèi)前景像素點(diǎn)的數(shù)目(SP，前景像素點(diǎn)的面積)，N為鄰域B(x，r)內(nèi)像素點(diǎn)的數(shù)目(即，鄰域B(x，r)內(nèi)所有像素點(diǎn)的面積)，半徑r與手指寬度有關(guān)，角點(diǎn)響應(yīng)Cf(Xtl)是鄰域B(x，r)內(nèi)的一個(gè)局部極小值。優(yōu)選地，角點(diǎn)響應(yīng)Cf(Xtl)滿足Tcfl ( Cf(X0) ( Tca,Tcfl為用于濾除噪聲點(diǎn)的閾值，作為示例，可將其設(shè)置為1/12，而Tca為用于濾出邊界點(diǎn)的閾值，作為示例，可將其設(shè)置為2/5。然而，本發(fā)明不受這些閾值的限制。此外，還可以把二值圖和灰度圖相結(jié)合來(lái)提取候選指尖點(diǎn)。例如，把候選指尖點(diǎn)定義為二值圖凸包上的灰度圖Harris強(qiáng)響應(yīng)角點(diǎn)，如在1988年Alvey vision conference中 C Harris, M Stephens 的 “A combined corner and edge detector，，所公開的。然后，在步驟S1130，以所述候選指尖點(diǎn)為起點(diǎn)，從所述距離變換圖中提取候選手指手掌中軸。所提取的候選手指手掌中軸的長(zhǎng)度足以通過(guò)手掌的掌心。此外，所提取的候選手指手掌中軸的長(zhǎng)度優(yōu)選地依據(jù)手指的寬度而定。作為示例，可以從所述候選指尖點(diǎn)開始，沿著距離變換圖提取脊線點(diǎn)。所謂脊線點(diǎn)在距離變換圖上表現(xiàn)為某個(gè)方向上的極大點(diǎn)。然而，應(yīng)注意，所述候選指尖點(diǎn)不一定就是脊線點(diǎn)，在此情況下，可以從所述候選指尖點(diǎn)開始，首先沿著梯度上升的方向?qū)ふ宜鼍嚯x變換圖中距離值的脊線點(diǎn)；然后，追蹤所述距離變換圖中距離值的脊線點(diǎn)，直至與所述候選指 尖點(diǎn)相距的距離大于或等于預(yù)定閾值。圖2B中給出了灰度圖、其對(duì)應(yīng)距離變換圖、以及距離變換圖的中軸的示例。圖2B中的(a)表示灰度圖，圖2B中的(b)表示對(duì)從(a)生成的二值圖進(jìn)行采用城區(qū)距離的距離變換之后獲得的距離變換圖，其中，數(shù)字“I”表示其所在的前景像素點(diǎn)距背景像素點(diǎn)的最近距離為1，數(shù)字“2”表示其所在的前景像素點(diǎn)距背景像素點(diǎn)的最近距離為2，以此類推。另外，在圖2B中的(b)中示出了連接距離變換圖中的脊線點(diǎn)所形成的中軸。盡管上面給出了幾種提取候選手指手掌中軸的方式，但是本發(fā)明不限于此，本領(lǐng)域技術(shù)人員可以預(yù)期其它的提取候選手指手掌中軸的方式。接下來(lái)，返回圖1，在步驟S120，依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征。所述形狀特征可以包括候選手指寬度、候選手指長(zhǎng)度、候選手掌寬度、候選手掌長(zhǎng)度(即，候選指根點(diǎn)到候選掌心點(diǎn)的長(zhǎng)度)、候選手指長(zhǎng)度與候選手指寬度之比、候選手掌寬度與候選手指寬度之比、候選手掌長(zhǎng)度與候選手掌寬度之比等。本發(fā)明不限于此，可能存在其它的形狀特征。然后，在步驟S130，基于所確定的候選手指手掌的形狀特征，判斷所述候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸。已知人手的形狀特征，例如，手指長(zhǎng)度是手指寬度的2-5倍，手掌寬度是手指寬度的2-3倍，手掌長(zhǎng)度與手掌寬度相差不多等?？梢愿鶕?jù)已知的人手形狀特征來(lái)判別所檢測(cè)的候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸。當(dāng)所確定的候選手指手掌的形狀特征滿足人手形狀特征時(shí)，判定所述候選手指手掌中軸為來(lái)自人手的手指手掌中軸，由此檢測(cè)到手指。反之，當(dāng)所確定的候選手指手掌的形狀特征不滿足人手形狀特征時(shí)，判定所述候選手指手掌中軸不是來(lái)自人手的手指手掌中軸，并將之丟棄。根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法100在步驟S199結(jié)束。接下來(lái)，將參考圖3A來(lái)描述圖I中的生成候選手指手掌中軸的步驟S120的操作的示例。在步驟S1210，在所述候選手指手掌中軸中提取手形關(guān)鍵點(diǎn)。具體地，通過(guò)對(duì)所述候選手指手掌中軸線上的距離變換值進(jìn)行分析，來(lái)提取手形關(guān)鍵點(diǎn)，所述手形關(guān)鍵點(diǎn)可以包括候選指尖點(diǎn)、候選指根點(diǎn)、和候選掌心點(diǎn)。簡(jiǎn)單地，可以將所述候選中軸線上距離變換值突然變大的點(diǎn)確定為候選指根點(diǎn)，而將所述候選中軸線上距離變換值突然變小的點(diǎn)確定為候選掌心點(diǎn)。為了準(zhǔn)確地提取出手形關(guān)鍵點(diǎn)，提高手指檢測(cè)的魯棒性并降低虛警率，優(yōu)選地，在提取了候選手指手掌中軸之后，對(duì)于該候選手指手掌中軸繪制其對(duì)應(yīng)的距離曲線d(l)，其中，橫軸(I)為從該候選手指手掌中軸的起點(diǎn)(指尖點(diǎn))到該候選手指手掌中軸上的當(dāng)前中軸點(diǎn)的中軸游程(即，中軸長(zhǎng)度)，縱軸(d)表示與該起點(diǎn)相距I的中軸點(diǎn)處的距離變換值。研究發(fā)現(xiàn)，指根點(diǎn)和掌心點(diǎn)是中軸線上距離變換值的斜率發(fā)生突變、并滿足一定條件的特殊點(diǎn)。具體而言，在指根點(diǎn)處，d(l)的斜率大約會(huì)從O突變?yōu)?，而在掌心點(diǎn)處，d(l)的斜率大約會(huì)從I突變?yōu)镺。可以從圖3B的(c)中看出d(l)的上述斜率變化。此外，圖3B中的(a)圖示了人手的灰度圖像，(b)圖示了對(duì)從該灰度圖像生成的指示人手區(qū)域的 二值圖進(jìn)行距離變換而得到的距離變換圖，其中，顏色越淺表明距離變換值越高，(c)距離曲線的對(duì)照關(guān)系。在圖3B中用虛線表明了圖3B中(a)和(c)之間的指尖點(diǎn)和掌心點(diǎn)的對(duì)應(yīng)關(guān)系。根據(jù)上述的指根點(diǎn)和掌心點(diǎn)處的斜率變化關(guān)系，從所提取的候選手指手掌中軸中提取候選指根點(diǎn)和候選掌心點(diǎn)。由于經(jīng)由候選指尖點(diǎn)檢測(cè)而檢測(cè)到的候選指尖點(diǎn)不一定是真正的指尖點(diǎn)，優(yōu)選地，還從所提取的候選手指手掌中軸中提取候選指尖點(diǎn)。需要說(shuō)明，在一條候選手指手掌中軸中可能僅提取出候選指根點(diǎn)而沒有提取出候選掌心點(diǎn)，或者僅提取出候選掌心點(diǎn)而沒有提取出候選指根點(diǎn)。優(yōu)選地，在此情況下，可以直接確定所述候選手指手掌中軸不是來(lái)自人手的手指手掌中軸。類似地，在一條候選手指手掌中軸中可能提取出多于一個(gè)候選指根點(diǎn)、和多于一個(gè)候選掌心點(diǎn)，并且所提取的候選指根點(diǎn)的數(shù)目和所提取的候選掌心點(diǎn)的數(shù)目不一定相同。作為示例，將一條候選手指手掌中軸上的所提取的候選指尖點(diǎn)、候選指根點(diǎn)之一、和候選掌心點(diǎn)之一組成一個(gè)三元組(候選指尖點(diǎn)、候選指根點(diǎn)、候選掌心點(diǎn))。接下來(lái)，在步驟S1220，基于所提取的手形關(guān)鍵點(diǎn)，確定所述候選手指手掌中軸所對(duì)應(yīng)的候選手指手掌的形狀特征。所述形狀特征可以包括候選手指寬度FW、候選手指長(zhǎng)度FL、歸一化候選手指長(zhǎng)度FL/FW、候選手掌寬度PW、和歸一化候選手掌寬度等PW/FW。所述候選手指寬度為所述候選指根點(diǎn)處的距離變換值，所述歸一化候選手指寬度為將所述候選指尖點(diǎn)與所述候選指根點(diǎn)之間的中軸長(zhǎng)度除以所述候選手指寬度所得的商值，所述歸一化候選手掌寬度為將所述候選掌心點(diǎn)處的距離變換值除以所述候選手指寬度所得的商值。需要說(shuō)明，一條候選手指手掌中軸可能有多個(gè)三元組，對(duì)每個(gè)三元組產(chǎn)生一組形狀特征，以便用于進(jìn)行手指判別。研究發(fā)現(xiàn)，由候選手指寬度、歸一化候選手指長(zhǎng)度、和歸一化候選手掌寬度所組成的3維特征(FW，F(xiàn)L/FW，PW/FW)具有很強(qiáng)的物理意義，并且具有很強(qiáng)的區(qū)分能力。此外，所述形狀特征還可以包括許多其它特征，例如，指根點(diǎn)距離曲線的擬合斜率及誤差、掌心點(diǎn)距離曲線的擬合斜率及誤差、彩色圖像的顏色等。在此情況下，例如，在圖I的步驟S130中，通過(guò)對(duì)每個(gè)三元組進(jìn)行決策來(lái)判別該三元組是否對(duì)應(yīng)于人手，并且在該三元組對(duì)應(yīng)于人手時(shí)，將該三元組分類為正三元組，而在該三元組不對(duì)應(yīng)于人手時(shí)，將該三元組分類為負(fù)三元組。此外，在圖I的步驟S130中，還可以基于所述形狀特征為每個(gè)正三元組分配不同的分類值，分類值越高表明該正三元組對(duì)應(yīng)于人手的可能性越高。經(jīng)過(guò)步驟S130的處理之后，對(duì)于所檢測(cè)的一條候選手指手掌中軸，可能存在多個(gè)正三元組。優(yōu)選地，所述多個(gè)正三元組具有不同的分類值。作為根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法的擴(kuò)展，可以基于上述手指檢測(cè)的結(jié)果來(lái)進(jìn)一步進(jìn)行手勢(shì)識(shí)別。在圖4中圖示了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法在手勢(shì)識(shí)別應(yīng)用中的擴(kuò)展方法400。換句話說(shuō)，在圖4中圖示了根據(jù)本發(fā)明實(shí)施例的在圖像中進(jìn)行手勢(shì)識(shí)別的方法400。 首先，本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法400或根據(jù)本發(fā)明實(shí)施例的在圖像中進(jìn)行手勢(shì)識(shí)別的方法400(在下文中，為描述簡(jiǎn)便將其統(tǒng)稱為方法400)在步驟S401開始處理。接下來(lái)，在步驟S410到S430中，執(zhí)行手指檢測(cè)。步驟S410、S420和S430分別與圖I中的步驟SI 10、S120和S130相對(duì)應(yīng)，因此在此不再進(jìn)行贅述。在步驟S440，判斷是否還存在其它的候選手指手掌中軸未經(jīng)過(guò)判別/決策。在判斷還存在其它的候選手指手掌中軸未經(jīng)過(guò)判別/決策的情況下，方法400返回到步驟S410，并重復(fù)步驟S410到S430的處理。在不存在其它的候選手指手掌中軸未經(jīng)過(guò)判別/決策的情況下，方法400進(jìn)行到步驟S450。然后，在步驟S450，將所有屬于同一手的手指手掌中軸進(jìn)行關(guān)聯(lián)。如前所述，步驟S410到S430的處理可以重復(fù)多次，結(jié)果在圖像中可能檢測(cè)到多于一個(gè)手指手掌中軸。需要說(shuō)明的是，圖像中的一只手可能沒有手指手掌中軸、一個(gè)手指手掌中軸、或多于一個(gè)手指手掌中軸。例如，在圖像中的一只手呈現(xiàn)出拳頭緊握的外形時(shí)，此時(shí)就無(wú)法檢測(cè)到手指手掌中軸；在手呈現(xiàn)出伸出一根手指的外形時(shí)，此時(shí)檢測(cè)到一個(gè)手指手掌中軸；而在手呈現(xiàn)出伸出多根手指的外形時(shí)，此時(shí)可能檢測(cè)到多個(gè)手指手掌中軸。在檢測(cè)到一只手中的一個(gè)或多個(gè)手指手掌中軸的情況下，需要將所檢測(cè)的手指手掌中軸與手對(duì)應(yīng)起來(lái)，即，通過(guò)將所有屬于同一手的手指手掌中軸關(guān)聯(lián)而確定出手。通過(guò)進(jìn)行手指手掌中軸關(guān)聯(lián)，可以從源自同一手指手掌中軸的多個(gè)正三元組中確定出最適當(dāng)?shù)恼M，并且可以將來(lái)自同一手的至少一個(gè)正三元組關(guān)聯(lián)起來(lái)。作為示例，對(duì)于每個(gè)手指手掌中軸線，利用具有最高分類值的三元組?？梢砸跃哂凶罡叻诸愔档囊粋€(gè)正三元組為基準(zhǔn)，確定該正三元組的掌心點(diǎn)與具有最高分類值的另一正三元組的掌心點(diǎn)之間的距離，當(dāng)該距離小于一給定閾值時(shí)，確定該正三元組與該另一正三兀組屬于同一手。替換地，可以以一個(gè)正三元組為基準(zhǔn)，以該正三元組的掌心點(diǎn)為中心以給定半徑繪制圓作為一掌心區(qū)域，并將其掌心點(diǎn)落入該掌心區(qū)域內(nèi)的三元組確定為與該基準(zhǔn)正三元
組屬于同一手。此外，還可以按照屬于同一手的各正三元組的形狀特征之間的關(guān)系，來(lái)辨別屬于同一手指手掌中軸的多個(gè)正三元組中的最適合的正三元組，該最合適的正三元組可以與具有最高分類值的正三元組不同。此外，在該步驟S450中，還可以結(jié)合利用手跟蹤算法來(lái)判別屬于同一手指手掌中軸的多個(gè)正三元組中的最合適的正三元組。替換地，也可以在手指判別步驟S430中結(jié)合利用手跟蹤算法來(lái)為屬于同一手指手掌中軸的多個(gè)正三元組分配不同的分類值。接下來(lái)，在步驟S460，生成手的姿態(tài)特征，從而獲得手的姿態(tài)信息，以用于后續(xù)的手勢(shì)識(shí)別。基于手形關(guān)鍵點(diǎn)，如指尖點(diǎn)、指根點(diǎn)、掌心點(diǎn)，可以獲得很多幾何特征的度量。不同的應(yīng)用可以選擇不同的度量。下面給出一些簡(jiǎn)單幾何特征的例子。
伸出手指指數(shù)對(duì)手勢(shì)識(shí)別來(lái)說(shuō)，伸出手指數(shù)是一個(gè)非常重要的姿態(tài)信息。經(jīng)過(guò)手指手掌中軸關(guān)聯(lián)步驟S450之后，可以知道圖像中手的數(shù)目、以及每只手的伸出手指的數(shù)目。手指方向?qū)κ謩?shì)識(shí)別來(lái)說(shuō)，手指方向也是一個(gè)非常重要的姿態(tài)信息，其完全可以通過(guò)從指根點(diǎn)到指尖點(diǎn)的中軸線的方向來(lái)估計(jì)。比如，對(duì)伸直的手指而言，可以用這段中軸線進(jìn)行直線擬合。圖5A給出了一個(gè)簡(jiǎn)單的示例。指尖位置在候選指尖點(diǎn)檢測(cè)(步驟S1110)中，可以得到指尖的大概位置，以用于中軸線和手形關(guān)鍵點(diǎn)的提取。然而，在某些應(yīng)用中可能會(huì)要求指尖的精確位置，比如通過(guò)指尖來(lái)定位鼠標(biāo)。事實(shí)上，在中軸線和手形關(guān)鍵點(diǎn)的幫助下，可以獲得指尖的精確位置。比如，可以把其定義為手指區(qū)域中，沿著手指方向的最遠(yuǎn)點(diǎn)。手臂方向手臂方向可以用于獲取手指的相對(duì)位置，從而對(duì)手勢(shì)識(shí)別非常重要。具體說(shuō)來(lái)，可以把手指的相對(duì)位置定義為“掌心-指根點(diǎn)方向”和手臂方向直接的夾角，我們稱之為“指根點(diǎn)-手臂夾角”。具體示例見圖5B。手臂方向可以定義為從掌心出發(fā)并穿越手臂區(qū)域的射線方向，因此其估計(jì)較為簡(jiǎn)單。如圖5A所示，從掌心開始，在
范圍內(nèi)作一系列射線。令方向Θ射線的連續(xù)游程為RunLen(0)，其定義為從掌心開始沿該方向到達(dá)第一個(gè)背景像素點(diǎn)(或圖形邊界)的距離。而最大連續(xù)游程方向，即為手臂方向0 氺0 氺=argmax θ RunLen ( θ )。實(shí)際中，由于射線角度是對(duì)
進(jìn)行一定步長(zhǎng)的采樣。因此，Θ*可以對(duì)最大游程角度鄰域用RunLen( Θ )加權(quán)平均得到。圖5A給出了連續(xù)游程和手臂方向估計(jì)的示例。此外，在執(zhí)行步驟S560之前，可選地進(jìn)行手跟蹤，其意在確定相鄰幀所檢測(cè)的手的對(duì)應(yīng)關(guān)系。這其實(shí)是個(gè)多目標(biāo)跟蹤問(wèn)題，可以有很多解法。由于根據(jù)本發(fā)明實(shí)施例的手指檢測(cè)非常穩(wěn)健，因此可以采用基于匈牙利算法的雙向匹配(bipartite matching)來(lái)解決。在該雙向匹配中，找到每個(gè)軌跡T(i)和手H(j)之間的匹配代價(jià)，并以具有最低總匹配代價(jià)的匹配結(jié)果作為最終的軌跡和手之間的對(duì)應(yīng)關(guān)系。一個(gè)簡(jiǎn)單的方案是利用掌心的空間距離來(lái)作為該匹配代價(jià)，即D(T(i)，H(j))=dist(T(i), H(j))。此外，當(dāng)然可以采用更加精細(xì)的算法，比如基于Kalman濾波的位置概率預(yù)測(cè)。接下來(lái)，在步驟S570，依據(jù)所獲得的手的姿態(tài)特征，進(jìn)行手勢(shì)識(shí)別。在通過(guò)手姿態(tài)特征度量獲得重要幾何特征后，可以將其用于手勢(shì)識(shí)別。具體的姿態(tài)特征完全取決于具體應(yīng)用要求。圖6中示出了其中僅對(duì)兩種手勢(shì)“指示”(一個(gè)食指伸出)和“點(diǎn)擊”(大拇指和食指伸出)感興趣的應(yīng)用示例。在該應(yīng)用示例中，通過(guò)這兩種手勢(shì)，完全可以模擬鼠標(biāo)操作，用“指示”來(lái)定位鼠標(biāo)位置，用“點(diǎn)擊”來(lái)觸發(fā)鼠標(biāo)左鍵。在此情況下，手指數(shù)足以區(qū)分這兩種手勢(shì)，而指根點(diǎn)-手臂夾角(圖5B)則可以用于區(qū)分食指和大拇指。在圖6中圖示了基于中軸線距離變換值分析得到的手指檢測(cè)結(jié)果。具體地，在圖6的(a)中，示出了穿過(guò)大拇指和掌心點(diǎn)的手指手掌中軸線、以及穿過(guò)食指和掌心點(diǎn)的手指手掌中軸線。在圖6的(b)中，僅示出了穿過(guò)食指和掌心點(diǎn)的手指手掌中軸線。在圖6中，還示出了手形關(guān)鍵點(diǎn)(諸如指尖點(diǎn)、指根點(diǎn)、以及掌心點(diǎn))、手掌區(qū)域(用紅圈示意，其中心為掌心，半徑為手掌寬度)、以及手臂方向。不管采用何種特征，手勢(shì)往往定義為一系列的姿態(tài)的變化，因此可以通過(guò)狀態(tài)轉(zhuǎn)移模型來(lái)識(shí)別。最常用的手勢(shì)識(shí)別方法是隱馬爾科夫模型(Hidden Markov Model)。然而， 本發(fā)明不受具體的手勢(shì)識(shí)別方法的限制，基于本發(fā)明中所獲得的手姿態(tài)特征，可以利用現(xiàn)有的或?qū)?lái)開發(fā)的所有手勢(shì)識(shí)別方法來(lái)進(jìn)行手勢(shì)識(shí)別。在上面已經(jīng)通過(guò)示例描述了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法，利用該方法，通過(guò)提取出穿過(guò)候選手指手掌的候選手指手掌中軸，基于該候選手指手掌中軸生成與其對(duì)應(yīng)的候選手指手掌的形狀特征，并根據(jù)所生成的候選手指手掌的形狀特征來(lái)判斷所述候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸。由此，通過(guò)提取具有明晰物理意義的候選手指手掌的幾何形狀特征，可以穩(wěn)健地進(jìn)行手指檢測(cè)，從而降低漏檢率和虛警率。此外，在上面也通過(guò)示例描述了根據(jù)本發(fā)明實(shí)施例的在圖像中進(jìn)行手勢(shì)識(shí)別的方法，利用該方法，通過(guò)提取出候選手指手掌中軸，基于該候選手指手掌中軸生成與其對(duì)應(yīng)的候選手指手掌的形狀特征，根據(jù)所述形狀特征判斷所述候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸，將屬于同一手的所有手指手掌中軸關(guān)聯(lián)，提取手的姿態(tài)特征并由此進(jìn)行手勢(shì)識(shí)別。由此，通過(guò)提取具有明晰物理意義的候選手指手掌的幾何形狀特征、以及手的幾何形狀特征，可以穩(wěn)健地進(jìn)行手勢(shì)識(shí)別。接下來(lái)，將參考圖7來(lái)描述根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備700。在圖像中檢測(cè)手指的設(shè)備700包括中軸提取裝置710，其在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；形狀特征生成裝置720，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；以及手指決策裝置730，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸。如前面參考圖I所描述的，中軸提取裝置710可以以多種方式從所述二值圖中提取候選手指手掌中軸。優(yōu)選地，中軸提取裝置710包括距離變換部件7110，其對(duì)所述二值圖進(jìn)行距離變換以生成距離變換圖，所述距離變換為對(duì)于所述二值圖中每一前景像素計(jì)算該前景像素到背景像素的最近距離以作為該前景像素的距離變換值；指尖點(diǎn)檢測(cè)部件7120，其在所述二值圖中檢測(cè)候選指尖點(diǎn)；以及中軸形成部件7130，其以所述候選指尖點(diǎn)為起點(diǎn)，從所述距離變換圖中提取候選手指手掌中軸。形狀特征生成裝置720所生成的候選手指手掌的形狀特征可以包括候選手指寬度、候選手指長(zhǎng)度、候選手掌寬度、候選手掌長(zhǎng)度(即，候選指根點(diǎn)到候選掌心點(diǎn)的長(zhǎng)度)、候選手指長(zhǎng)度與候選手指寬度之比、候選手掌寬度與候選手指寬度之比、候選手掌長(zhǎng)度與候選手掌寬度之比等。本發(fā)明不限于此，可能存在其它的形狀特征。優(yōu)選地，形狀特征生成裝置720包括關(guān)鍵點(diǎn)提取部件7210，其在所述候選手指手掌中軸中提取手形關(guān)鍵點(diǎn)，所述手形關(guān)鍵點(diǎn)至少包括候選指尖點(diǎn)、候選指根點(diǎn)、和候選掌心點(diǎn)；以及形狀特征確定部件7220，其基于所提取的關(guān)鍵點(diǎn)確定所述候選手指手掌中軸所對(duì)應(yīng)的候選手指手掌的形狀特征。優(yōu)選地，在關(guān)鍵點(diǎn)提取部件7210在一條候選手指手掌中軸中僅提取出候選指根點(diǎn)而沒有提取出候選掌心點(diǎn)，或者僅提取出候選掌心點(diǎn)而沒有提取出候選指根點(diǎn)的情況下，可以直接確定所述候選手指手掌中軸不是來(lái)自人手的手指手掌中軸。此外，關(guān)鍵點(diǎn)提取部件7210在一條候選手指手掌中軸可能提取出多于一個(gè)候選指根點(diǎn)、和多于一個(gè)候選掌心點(diǎn)，并且所提取的候選指根點(diǎn)的數(shù)目和所提取的候選掌心點(diǎn) 的數(shù)目不一定相同，在此情況下，關(guān)鍵點(diǎn)提取部件7210將一條候選手指手掌中軸上的所提取的候選指尖點(diǎn)、候選指根點(diǎn)之一、和候選掌心點(diǎn)之一組成產(chǎn)生一個(gè)三元組(候選指尖點(diǎn)、候選指根點(diǎn)、候選掌心點(diǎn))。形狀特征確定部件7220針對(duì)每個(gè)三元組產(chǎn)生一組形狀特征，以便用于進(jìn)行手指判別。優(yōu)選地，形狀特征確定部件7220所產(chǎn)生的形狀特征包括由候選手指寬度、歸一化候選手指長(zhǎng)度、和歸一化候選手掌寬度所組成的3維形狀特征(FW，F(xiàn)L/FW，PW/FW)。此外，所述形狀特征還可以包括許多其它特征，例如，指根點(diǎn)距離曲線的擬合斜率及誤差、掌心點(diǎn)距離曲線的擬合斜率及誤差、彩色圖像的顏色等。手指決策裝置730可以通過(guò)許多種類的分類器來(lái)實(shí)現(xiàn)，例如SVM、決策樹等。對(duì)于3維特征(FW，F(xiàn)L/FW，PW/FW)而言，考慮到其具有明晰的物理含義，優(yōu)選地采用決策樹來(lái)實(shí)現(xiàn)手指決策裝置730。此外，還可以采用基于決策樹的集合分類器，如adaboost，Randomforest0然而，根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備700不受手指決策裝置730的具體實(shí)現(xiàn)方式的限制，只要其可以基于所確定的候選手指手掌的形狀特征來(lái)進(jìn)行手指決策即可，因此，手指決策裝置730不僅可以使用現(xiàn)有的任何合適的技術(shù)來(lái)實(shí)現(xiàn)，而且還可以使用將來(lái)開發(fā)的具有基于所確定的候選手指手掌的形狀特征來(lái)進(jìn)行手指決策的功能的其它技術(shù)來(lái)實(shí)現(xiàn)。手指決策裝置730通過(guò)對(duì)每個(gè)三元組進(jìn)行決策來(lái)判別該三元組是否對(duì)應(yīng)于人手，并且在該三元組對(duì)應(yīng)于人手時(shí)，將該三元組分類為正三元組，而在該三元組不對(duì)應(yīng)于人手時(shí)，將該三元組分類為負(fù)三元組。此外，手指決策裝置730還可以為每個(gè)正三元組分配不同的分類值，分類值越高表明該正三元組對(duì)應(yīng)于人手的可能性越高。此外，在所述中軸提取裝置710還判斷是否還存在其它的候選手指手掌中軸未經(jīng)過(guò)決策。在判斷出不存在其它的候選手指手掌中軸未經(jīng)過(guò)判別/決策的情況下，中軸提取裝置710、形狀特征生成裝置720、和手指決策裝置730繼續(xù)進(jìn)行候選手指手掌中軸的提取與決策。為了進(jìn)行手勢(shì)識(shí)別，根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備700還可以包括以下裝置關(guān)聯(lián)裝置740，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)；手姿態(tài)生成裝置760，其生成手的姿態(tài)特征；以及手勢(shì)識(shí)別裝置770，其依據(jù)所生成的手的姿態(tài)特征進(jìn)行手勢(shì)識(shí)別。換句話說(shuō)，在手勢(shì)識(shí)別應(yīng)用的擴(kuò)展中，根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備700可被稱為在圖像中進(jìn)行手勢(shì)識(shí)別的設(shè)備。
關(guān)聯(lián)裝置740接收手指決策裝置730輸出的所有正三元組，并將其中屬于同一手的正三元組進(jìn)行歸組與關(guān)聯(lián)。例如，關(guān)聯(lián)裝置740對(duì)于每個(gè)手指手掌中軸線，利用具有最高分類值的那對(duì)三元組。在此情況下，關(guān)聯(lián)裝置740可以以具有最高分類值的一個(gè)正三元組為基準(zhǔn)，確定該正三元組的掌心點(diǎn)與具有最高分類值的另一正三元組的掌心點(diǎn)之間的距離，當(dāng)該距離小于一給定閾值時(shí)，確定該正三元組與該另一正三元組屬于同一手。優(yōu)選地，關(guān)聯(lián)裝置740可以以一個(gè)正三元組為基準(zhǔn)，以該正三元組的掌心點(diǎn)為中心以給定半徑為r繪制圓作為一掌心區(qū)域，并將其掌心點(diǎn)落入該掌心區(qū)域內(nèi)的三元組確定為與該基準(zhǔn)正三兀組屬于同一手。手姿態(tài)生成裝置760基于候選手指手掌中軸或手形關(guān)鍵點(diǎn)(如指尖點(diǎn)、指根點(diǎn)、掌心點(diǎn))可以獲得很多幾何特征的度量，例如，伸出手指指數(shù)、手指方向、指尖位置、手臂方向、掌心-指根點(diǎn)方向、指根點(diǎn)-手臂夾角等。針對(duì)不同的應(yīng)用，可以獲得不同的幾何特征。手勢(shì)識(shí)別裝置770依據(jù)所獲得的手的姿態(tài)特征，進(jìn)行手勢(shì)識(shí)別。手勢(shì)識(shí)別裝置770 可以利用隱馬爾科夫模型來(lái)進(jìn)行手勢(shì)識(shí)別。然而，本發(fā)明不受具體的手勢(shì)識(shí)別方法的限制，基于本發(fā)明中所獲得的手姿態(tài)特征，可以利用現(xiàn)有的或?qū)?lái)開發(fā)的任何合適手勢(shì)識(shí)別方法來(lái)進(jìn)行手勢(shì)識(shí)別。此外，根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備700還可以包括手跟蹤裝置750，用于確定相鄰幀所檢測(cè)的手的對(duì)應(yīng)關(guān)系。例如，手跟蹤裝置750可以采用基于匈牙利算法的雙向匹配、或基于Kalman濾波的位置概率預(yù)測(cè)來(lái)進(jìn)行手跟蹤。然而，手跟蹤裝置750不限于此，其可以利用其它的現(xiàn)有的或?qū)?lái)開發(fā)的合適跟蹤技術(shù)來(lái)實(shí)現(xiàn)。在上面已經(jīng)通過(guò)示例描述了根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備，利用該設(shè)備，通過(guò)提取出穿過(guò)候選手指手掌的候選手指手掌中軸，基于該候選手指手掌中軸生成與其對(duì)應(yīng)的候選手指手掌的形狀特征，并根據(jù)所生成的候選手指手掌的形狀特征來(lái)判斷所述候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸。由此，通過(guò)提取具有明晰物理意義的候選手指手掌的幾何形狀特征，可以穩(wěn)健地進(jìn)行手指檢測(cè)，從而降低漏檢率和虛警率。此外，在上面也通過(guò)示例描述了根據(jù)本發(fā)明實(shí)施例的在圖像中進(jìn)行手勢(shì)識(shí)別的設(shè)備，利用該設(shè)備，通過(guò)提取出候選手指手掌中軸，基于該候選手指手掌中軸生成與其對(duì)應(yīng)的候選手指手掌的形狀特征，根據(jù)所述形狀特征判斷所述候選手指手掌中軸是否是來(lái)自人手的手指手掌中軸，將屬于同一手的所有手指手掌中軸關(guān)聯(lián)，提取手的姿態(tài)特征并由此進(jìn)行手勢(shì)識(shí)別。由此，通過(guò)提取具有明晰物理意義的候選手指手掌的幾何形狀特征、以及手的幾何形狀特征，可以穩(wěn)健地進(jìn)行手勢(shì)識(shí)別。此外，在根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法及設(shè)備中，通過(guò)提取候選手指手掌中軸上的手形關(guān)鍵點(diǎn)，不僅可以得到具有明晰物理意義的幾何特征，還可以由此獲得手勢(shì)的重要姿態(tài)信息，由此可以有利地進(jìn)行手勢(shì)識(shí)別。最后，在圖8中給出了應(yīng)用根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備的系統(tǒng)800。該系統(tǒng)800包括紅外攝像頭810、紅外光源820、投影儀830，計(jì)算機(jī)840、以及手勢(shì)識(shí)別裝置850。手勢(shì)識(shí)別裝置850可以利用根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的設(shè)備(或在圖像中進(jìn)行手勢(shì)識(shí)別的設(shè)備)700來(lái)實(shí)現(xiàn)。例如，通過(guò)利用圖8所示的系統(tǒng)，演講者可以在投影屏幕上用手指和手勢(shì)實(shí)現(xiàn)對(duì)電腦的交互式控制。然而，根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法及設(shè)備不限于用于上述的系統(tǒng)800中。根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法及設(shè)備可以應(yīng)用于基于視覺的人機(jī)交互系統(tǒng)，比如交互式投影儀、交互式顯示器、交互式電子白板等。應(yīng)當(dāng)理解，可以以硬件、軟件、固件、專用處理器或它們的組合的各種形式來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的在圖像中檢測(cè)手指的方法及設(shè)備。還應(yīng)當(dāng)理解，優(yōu)選地用軟件來(lái)實(shí)現(xiàn)在附圖中示出的一些組成系統(tǒng)組件和方法，因此這些系統(tǒng)組件或處理功能塊之間的實(shí)際連接可以根據(jù)本發(fā)明被編程的方式而不同。給出這里的描述，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠想到本發(fā)明的這些和類似的實(shí)現(xiàn)或配置。盡管在這里參照附圖描述了本發(fā)明的一些實(shí)施例，但是應(yīng)當(dāng)理解，所述實(shí)施例僅是示例性的，而非限制性的。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不背離權(quán)利要求及其等價(jià)物中限定的本發(fā)明的范圍和精神的情況下，可以對(duì)這些示例性實(shí)施例做出各種形式和細(xì)節(jié) 上的變化。
權(quán)利要求
1.一種在圖像中檢測(cè)手指的方法，包括 在從所述圖像生成的ニ值圖中提取穿越候選手指手掌的候選手指手掌中軸； 依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征；以及 根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來(lái)自人手。
2.如權(quán)利要求I所述的方法，進(jìn)ー步包括 將所有屬于同一手的手指手掌中軸進(jìn)行關(guān)聯(lián)； 生成該手的姿態(tài)特征；以及 依據(jù)所述姿態(tài)特征，進(jìn)行手勢(shì)識(shí)別。
3.如權(quán)利要求I所述的方法，其中，提取候選手指手掌中軸包括 對(duì)所述ニ值圖進(jìn)行距離變換以生成距離變換圖，所述距離變換為對(duì)于所述ニ值圖中每一前景像素計(jì)算該前景像素到背景像素的最近距離以作為該前景像素的距離變換值，而背景像素的距離變換值為O ; 在所述ニ值圖中檢測(cè)候選指尖點(diǎn)； 以所述候選指尖點(diǎn)為起點(diǎn)，從所述距離變換圖中提取候選手指手掌中軸。
4.如權(quán)利要求I所述的方法，其中，生成所述候選手指手掌的形狀特征包括 在所述候選手指手掌中軸中提取手形關(guān)鍵點(diǎn)，所述手形關(guān)鍵點(diǎn)至少包括候選指尖點(diǎn)、候選指根點(diǎn)、和候選掌心點(diǎn)；以及 基于所提取的手形關(guān)鍵點(diǎn)，確定所述候選手指手掌的形狀特征。
5.如權(quán)利要求4所述的方法，其中， 所述形狀特征至少包括以下至少ー項(xiàng)候選手指寬度、歸ー化候選手指長(zhǎng)度、和歸ー化候選手掌寬度， 其中，所述候選手指寬度為所述候選指根點(diǎn)處的距離變換值，所述歸ー化候選手指寬度為將所述候選指尖點(diǎn)與所述候選指根點(diǎn)之間的中軸長(zhǎng)度除以所述候選手指寬度所得的商值，所述歸ー化候選手掌寬度為將所述候選掌心點(diǎn)處的距離變換值除以所述候選手指寬度所得的商值。
6.如權(quán)利要求2所述的方法，其中， 所述手的姿態(tài)特征包括以下至少ー項(xiàng)伸出手指指數(shù)、手指方向、指尖位置、以及手臂方向。
7.一種用于在圖像中檢測(cè)手指的設(shè)備，包括 中軸提取裝置，其在從所述圖像生成的ニ值圖中提取穿越候選手指手掌的候選手指手掌中軸； 形狀特征生成裝置，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；以及 手指決策裝置，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否來(lái)自人手。
8.如權(quán)利要求7所述的設(shè)備，進(jìn)一歩包括 關(guān)聯(lián)裝置，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)； 手姿態(tài)生成裝置，其生成手的姿態(tài)特征；以及 手勢(shì)識(shí)別裝置，其依據(jù)所生成的手的姿態(tài)特征進(jìn)行手勢(shì)識(shí)別。
9.如權(quán)利要求7所述的設(shè)備，其中，所述中軸提取裝置包括 距離變換部件，其對(duì)所述ニ值圖進(jìn)行距離變換以生成距離變換圖； 指尖點(diǎn)檢測(cè)部件，其在所述ニ值圖中檢測(cè)候選指尖點(diǎn)；以及 中軸形成部件，其以所述候選指尖點(diǎn)為起點(diǎn)，從所述距離變換圖中提取候選手指手掌中軸。
10.如權(quán)利要求7所述的設(shè)備，其中，所述形狀特征生成裝置包括 關(guān)鍵點(diǎn)提取部件，其在所述候選手指手掌中軸中提取手形關(guān)鍵點(diǎn)，所述手形關(guān)鍵點(diǎn)至少包括候選指尖點(diǎn)、候選指根點(diǎn)、和候選掌心點(diǎn)；以及 形狀特征確定部件，其基于所提取的手形關(guān)鍵點(diǎn)確定所述候選手指手掌的形狀特征。
全文摘要
提供了一種在圖像中檢測(cè)手指的方法及設(shè)備。所述方法包括在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；生成所述候選手指手掌中軸所對(duì)應(yīng)的候選手指手掌的形狀特征；以及根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來(lái)自人手。所述在圖像中檢測(cè)手指的方法及設(shè)備通過(guò)在圖像中提取出具有顯著物理意義的特征并利用所提取的特征進(jìn)行手指檢測(cè)，來(lái)準(zhǔn)確高效地檢測(cè)手指。
文檔編號(hào)G06T7/00GK102855461SQ20111018524
公開日2013年1月2日 申請(qǐng)日期2011年7月1日 優(yōu)先權(quán)日2011年7月1日
發(fā)明者章鵬, 李滔, 熊懷欣 申請(qǐng)人:株式會(huì)社理光