一種靜態(tài)手勢指尖檢測方法所屬技術(shù)領(lǐng)域本發(fā)明屬于計算機(jī)視覺領(lǐng)域中的特定對象檢測領(lǐng)域，尤其是涉及針對靜態(tài)手勢識別過程中的指尖檢測方面。

背景技術(shù)：
計算機(jī)和互聯(lián)網(wǎng)的普及使得人機(jī)交互成為日常生活的重要組成部分。隨著計算機(jī)的處理能力越來越強(qiáng)，人們開始探索符合人類交流習(xí)慣的自然人機(jī)交互技術(shù)?，F(xiàn)已廣泛使用的人機(jī)交互設(shè)備有：鍵盤、鼠標(biāo)、手寫、觸摸屏、掃描儀等。這些輸入設(shè)備都存在一定的缺點和不足。首先，使用這些設(shè)備進(jìn)行輸入的習(xí)慣與人類本身的自然交流方式不一致，為了進(jìn)行操作，人們被迫學(xué)習(xí)輸入規(guī)則。另外，這些交互方式大都需要直接接觸設(shè)備，不適合遠(yuǎn)距離操控以及一些特殊的工作環(huán)境。與之相比，基于視覺的手勢輸入方式有效地克服上述缺點。手勢是人們與外界進(jìn)行日常交流的方式之一，能夠幫用戶擺脫傳統(tǒng)輸入設(shè)備的束縛，提供一種更加自然和直觀的交互方式，以及更逼真和便捷的交互體驗。另外，隨著普通攝像頭成本的不斷下降和在消費類電子產(chǎn)品和家電產(chǎn)品中的日益普及，以攝像頭作為手勢識別的輸入設(shè)備非常合適。因此，基于計算機(jī)視覺的手勢識別方法成為了實現(xiàn)新一代人機(jī)交互模式的主要研究內(nèi)容[1]。手勢識別的應(yīng)用在虛擬現(xiàn)實、智能家居、機(jī)器人控制、健康醫(yī)療、手語識別等方面都有著廣泛的應(yīng)用前景。作為人手重要特征之一的指尖（fingertip），包含著豐富的信息。指尖的變化可以反映出手勢的變化，如中國手語中在表示1、2、3、4等四個數(shù)字時，它們之間只有一個手指的差別，借助指尖檢測就能比較容易地把它們區(qū)分開來。此外，當(dāng)用手勢來進(jìn)行精細(xì)的操作時，指尖也能發(fā)揮其重要作用，例如手指書寫系統(tǒng)[2]、虛擬鼠標(biāo)/鍵盤系統(tǒng)[3]都會利用指尖的運動作為后續(xù)識別的基礎(chǔ)，所以指尖檢測是手勢識別的關(guān)鍵。在基于手勢識別的人機(jī)交互方面，盡管研究者已經(jīng)做了大量的研究工作并取得了很多的研究成果，但基于視覺的指尖檢測面臨諸多困難。國內(nèi)外研究者提出了各種解決方案。Oka等人[4]開發(fā)出了EnhancedDesk人機(jī)交互系統(tǒng)，他們首先利用紅外攝像機(jī)來探測人體溫度范圍內(nèi)的區(qū)域，鎖定人手和手臂位置，在此基礎(chǔ)上利用手臂的方向確定手的位置，然后在包含手的窗口中檢測指尖。他們把手指看作是一個矩形和半圓形的組合，然后利用模板匹配來定位指尖。Argyros等人[5]設(shè)計了一個可以用于遠(yuǎn)程的、非接觸的鼠標(biāo)控制接口。他們首先利用貝葉斯分類器和在線自適應(yīng)的顏色概率分布來檢測和跟蹤人手，然后分割出人手并獲取輪廓數(shù)據(jù)，最后對輪廓數(shù)據(jù)進(jìn)行曲率計算并確定指尖位置。Nguyen等人[6]利用立體攝像機(jī)獲取的深度信息和膚色檢測器來確定人手的位置，然后利用形態(tài)學(xué)操作算子來定位指尖。Kim等人[7]使用主動形狀模型和橢圓方程來檢測和跟蹤指尖。Barrho等人[8]利用廣義霍夫變換來檢測指尖。指尖信息是絕大多數(shù)手勢識別系統(tǒng)要使用的主要特征之一。指尖檢測工作的難度主要體現(xiàn)在兩個方面：(1)如何準(zhǔn)確地將人手區(qū)域完整地提取出來；(2)選擇合適的特征和方法來表達(dá)并檢測指尖。為了到達(dá)理想的人手分割效果，大多數(shù)指尖檢測算法都限制了檢測的背景條件和光照條件，因此檢測算法的使用范圍是非常有限的。本

技術(shù)實現(xiàn)要素：
受到國家自然科學(xué)基金(No.61002030)項目資助。參考文獻(xiàn)：[1]姜曉恒.基于凸包分析的實時指尖檢測系統(tǒng).天津大學(xué)，2013.[2]楊端端，金連文，尹俊勛，”手指書寫漢字識別系統(tǒng)中的指尖檢測方法”，華南理工大學(xué)學(xué)報(自然科學(xué)版)，2007，35(1):58-63[3]DuH，CharbonE.“3Dhandmodelfittingforvirtualkeyboardsystem”，ProceedingsoftheEighthIEEEWorkshoponApplicationsofComputerVision，2007[4]OkaK，SatoY，KoikeH，“real-timetrackingofmultiplefingertipsandgesturerecognitionforaugmenteddeskinterfacesystems”，ProceedingsofInternationalConferenceonAutomaticFaceandGestureRecognition，2002，429-434[5]ArgyrosAA，LourakisMIA，“Vision-basedinterpretationofhandgesturesforremotecontrolofacomputermouse”，InternationalConferenceonHuman-ComputerInteraction，LNCS3979，2006，40-51[6]NguyenDD，PhamTC，JeonJW，“Fingertipdetectionwithmorphologyandgeometriccalculation”，InternationalConferenceonIntelligentRobotsandSystems，St.Louis，MO，USA，2009，1460-1465[7]KimS，ParkYJ，LimK.M.etal.，“Fingertipsdetectionandtrackingbasedonactiveshapemodelsandanellipse”，F(xiàn)ukuoka，Japan，IEEERegion10Conference，TENCON，2010，1-6[8]BarrhoJ，AdamM，KienckeU，“FingerlocalizationandclassificationinimagesbasedongeneralizedHoughtransformandprobabilisticmodels”，InternationalConferenceonControl，Automation，RoboticsandVision，2006.1–6[9]DeDiosJ，GarciaN.“FacedetectionbasedonanewcolorspaceYCgCr”，ProceedingsofInternationalConferenceonImageProcessing，2003，2:909-912.發(fā)明內(nèi)容本發(fā)明的目的是，克服現(xiàn)有技術(shù)的上述不足，提出一種適用于彩色靜態(tài)手勢圖像指尖檢測的方法，可以快速準(zhǔn)確地檢測并定位手勢圖像中的指尖區(qū)域。本發(fā)明的技術(shù)方案如下：一種靜態(tài)手勢指尖檢測方法，包括下列步驟：1)進(jìn)行手勢區(qū)域分割，從輸入的彩色圖像中分割出手勢區(qū)域GEST；2)考察手勢區(qū)域內(nèi)各點的坐標(biāo)，分別用ROWtop、ROWbottom、COLleft和COLright表示各點坐標(biāo)中最上方和最下方的行序號，以及最左方和最右方的列序號，并按照下面四式分別計算GEST的上投影值Ptop，下投影值Pbottom，左投影值Pleft和右投影值Pright：式中，m=1，2，...，M表示輸入圖像的行序號，n=1，2，...，N表示圖像的列序號，M和N分別表示圖像的高度和寬度；3)計算上述四個投影值的最大值Pmax＝max{Ptop，Pbottom，Pright，Pleft}；4)判斷確定手腕在手勢區(qū)域所在的方位，用LABEL進(jìn)行標(biāo)注，即有其中，LABEL={1，2，3，4}分別表示手腕位于手勢區(qū)域上、下、左、右四種情況。5)計算手勢區(qū)域的重心，記為(Cx，Cy)；6)以(Cx，Cy)為圓心，做半徑為r的同心圓CIR(r)，用AREA1(r)表示CIR(r)包含的像素數(shù)，計算CIR(r)與GEST的交集區(qū)域所含的像素數(shù)AREA2(r)，計算AREA1(r)和AREA2(r)的比值，與固定閾值TH1進(jìn)行比較，確定滿足所述比值大于固定閾值TH1的r的最大值，記為rmax：7)根據(jù)手腕所處的不同方位，分下面四種情況進(jìn)行處理，得到手區(qū)域二值圖，用HAND表示：a)LABEL=1，手腕在圖像下方情況：考察GEST中縱坐標(biāo)大于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除；b)LABEL=2，手腕在圖像上方情況：考察GEST中縱坐標(biāo)小于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除；c)LABEL=3，手腕在圖像左側(cè)情況：考察GEST中橫坐標(biāo)小于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除；d)LABEL=4，手腕在圖像右側(cè)情況：考察GEST中橫坐標(biāo)大于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除；8)提取手區(qū)域二值圖HAND的外輪廓，用BOUND(k)表示，k=1，2，...，K，K表示輪廓上點的總數(shù)，k為輪廓上各點按照某個方向排序的序號；9)計算距離：計算BOUND(k)與手勢重心(Cx，Cy)的距離，用DIST(k)表示；10)平滑處理：用長度為5的模板對DIST(k)進(jìn)行平滑處理，所用模板為MASK=[0.1，0.2，0.4，0.2，0.1]，中間位置的系數(shù)0.4與DIST(k)對齊，平滑結(jié)果用SDIST(k)表示；11)檢測極大值點，用PEAK(p)表示檢測到的極大值點集；12)考察PEAK(p)各點，并與rmax進(jìn)行比較，如果滿足PEAK(p)與rmax的比值大于特定閾值TH2，則將該點判定為指尖點。檢測到的指尖點集用FING(q)表示；其中的步驟（1），可采用下面的手勢區(qū)域分割方法：(1)對于輸入的彩色圖像，進(jìn)行空間轉(zhuǎn)換，得到Y(jié)CgCr空間彩色圖像；(2)選用Cg和Cr通道，結(jié)合下式得到膚色區(qū)域二值圖，用SKIN(x，y)表示：(3)用數(shù)學(xué)形態(tài)學(xué)膨脹算子對二值圖SKIN(x，y)進(jìn)行閉合處理，連接斷裂部分，選用半徑為2個像素的碟形結(jié)構(gòu)算子；(4)填充各連通區(qū)域內(nèi)部的空洞；(5)計算各連通區(qū)域內(nèi)像素點的面積，將面積最大的連通區(qū)域判為手勢區(qū)域，去除其它區(qū)域，得到手勢圖像二值圖GEST表示。其中的步驟（11）中，對于SDIST(k)，如果滿足：SDIST(k)＝max{SDIST(k-15)，...，SDIST(k)，...，SDIST(k+15)}，則可將SDIST(k)判為極大值點。本發(fā)明面向彩色靜態(tài)手勢圖像，根據(jù)手指的膚色和形狀特征，結(jié)合形態(tài)學(xué)操作和投影分析，實現(xiàn)指尖區(qū)域的快速檢測和定位。采用Windows7SP1系統(tǒng)下的matlab2013a作為實驗仿真平臺。實驗所用手勢圖像均來自自拍圖像，共6組，每組圖像包括10幅圖像，分別代表手語中的0～9十種數(shù)字的9種情況，如圖3所示。圖像分辨率為800×600，每一幅圖像的平均處理速度約在0.2秒左右。采用人工方式判斷各手勢圖像中指尖的數(shù)目和位置。所提算法中用到的兩個固定閾值的取值為：TH1=0.66，TH2=1.5。實驗結(jié)果表明，總的檢測率達(dá)到了96%以上，證明了所提算法的有效性。圖4給出了部分實驗結(jié)果，檢測到的指尖區(qū)域用“O”標(biāo)出。附圖說明圖1本發(fā)明的流程框圖。圖2半徑為2的碟形算子圖3為中國手語中1～9各數(shù)字的表示示意圖。圖4為部分實驗結(jié)果圖。左側(cè)的一組圖為視頻截圖，右側(cè)的一組圖為采用本發(fā)明的方法檢測得到的手指指尖檢測結(jié)果二值圖。具體實施方式下面結(jié)合附圖和實施例對本發(fā)明進(jìn)行說明。本發(fā)明包括三個主要步驟：手勢區(qū)域分割、手腕區(qū)域去除和指尖定位。首先，利用膚色模型從輸入的彩色圖像中分割出手勢區(qū)域；然后檢測手勢區(qū)域重心，判斷手腕方位，去除手腕區(qū)域；最后，提取手區(qū)域輪廓，結(jié)合手指形狀特征，檢測并定位各指尖區(qū)域。圖1給出了所提方法的框圖。1手勢區(qū)域分割文獻(xiàn)[9]證明膚色在YCgCr顏色空間比在YCbCr顏色空間具有更好的聚類性。所提方法采用YCgCr顏色空間用于膚色檢測，具體算法如下。膚色區(qū)域檢測算法：1)使用下式，將RGB空間到Y(jié)CgCr空間的轉(zhuǎn)換公式如下：Y＝16+0.2568×R+0.5041×G+0.0979×BCg＝128-0.3180×R+0.4392×G-0.1212×B(1)Cr＝128+0.4392×R-0.3678×G-0.0714×B其中R、G、B和Y、Cg、Cr的取值都在[0,255]之間。2)選用Cg和Cr通道，結(jié)合下式得到膚色區(qū)域二值圖，用SKIN表示：檢測到的膚色區(qū)域可能存在干擾。一種情況是類似膚色的區(qū)域所引起的誤檢。另一種情況是膚色區(qū)域內(nèi)部的干擾區(qū)域，如戒指、手表等物品，這會導(dǎo)致檢測到的膚色區(qū)域中出現(xiàn)空洞。結(jié)合形態(tài)學(xué)操作，對膚色區(qū)域進(jìn)行驗證，具體算法如下手勢區(qū)域驗證算法：3)用數(shù)學(xué)形態(tài)學(xué)膨脹算子對二值圖SKIN進(jìn)行閉合（close）處理，連接斷裂部分。選用半徑為2個像素的碟形結(jié)構(gòu)算子，具體形狀如圖2所示。4)填充各連通區(qū)域內(nèi)部的空洞。5)計算各連通區(qū)域內(nèi)像素點的面積（區(qū)域內(nèi)所含像素數(shù)）。將面積最大的連通區(qū)域判為手勢區(qū)域，去除其它區(qū)域。經(jīng)上述步驟處理后得到手勢圖像二值圖，用GEST表示。2手腕區(qū)域去除手勢區(qū)域可劃分為三部分，即手指（fingertip）區(qū)域、手掌（palm）區(qū)域和手腕（wrist）區(qū)域。手指區(qū)域和手掌區(qū)域是區(qū)分不同手勢的關(guān)鍵。相比而言，手腕區(qū)域?qū)κ謩荼磉_(dá)沒有明顯用處，相反，它的存在有可能對手勢識別構(gòu)成干擾。因此，有必要去除手腕區(qū)域。所提手腕區(qū)域去除方法包括手腕方位確認(rèn)和手腕區(qū)域去除兩個步驟，詳細(xì)過程如下：手腕方位判定算法：1)確定手勢區(qū)域的空間位置?？疾焓謩輩^(qū)域內(nèi)各點的坐標(biāo)，分別用ROWtop、ROWbottom、COLleft和COLright表示各點坐標(biāo)中最上方和最下方的行序號，以及最左方和最右方的列序號。2)使用式(3)～式(6)，計算GEST在行序號為Rtop和Rbottom的的上投影值Ptop，下投影值Pbottom，：，以及列序號為Cleft和Cright的左投影值Pleft和右投影值Pright式中，m=1，2，...，M表示輸入圖像的行序號，n=1，2，...，N表示圖像的列序號，M和N分別表示圖像的寬度和高度。計算上述四個投影值的最大值，用Pmax表示，即有Pmax＝max{Ptop，Pbottom，Pright，Pleft}(7)3)使用下式判斷確定手腕在手勢區(qū)域所在的方位，用LABEL進(jìn)行標(biāo)注，即有其中，LABEL={1，2，3，4}分別表示手腕位于手勢區(qū)域上、下、左、右四種情況。手腕區(qū)域去除算法：4)計算掌心定位：采用式(9)和式(10)，計算手勢區(qū)域的重心，記為(Cx，Cy)；5)最小半徑確定：以為(Cx，Cy)中心，做半徑為r的同心圓，用CIR(r)表示。用AREA1(r)表示CIR(r)包含的像素數(shù)。計算CIR(r)與GEST的交集區(qū)域所含的像素數(shù)，用AREA2(r)表示，計算AREA1(r)和AREA2(r)的比值，與固定閾值TH1進(jìn)行比較。將確定滿足下述條件的r的最大值，記為rmax。即有：6)手腕去除：根據(jù)手腕所處的不同方位，分情況進(jìn)行處理：i)LABEL=1，手腕在圖像下方情況：考察GEST中縱坐標(biāo)大于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除。ii)LABEL=2，手腕在圖像上方情況：考察GEST中縱坐標(biāo)小于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除。iii)LABEL=3，手腕在圖像左側(cè)情況：考察GEST中橫坐標(biāo)小于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除。iv)LABEL=4，手腕在圖像右側(cè)情況：考察GEST中橫坐標(biāo)大于的Cy的像素點，計算各點與手勢重心(Cx，Cy)的距離d，將滿足d>rmax的點看作是手腕區(qū)域，并去除。經(jīng)上述步驟處理后得到手區(qū)域二值圖，用HAND表示。3指尖定位指尖定位算法1)提取手區(qū)域外輪廓：采用“8-連通”定義，提取HAND的外輪廓，用BOUND(k)表示，k=1，2，...，K，K表示輪廓上點的總數(shù)。輪廓上各點按照逆時針方向排序。為計算方便，當(dāng)LABEL=1時，將縱坐標(biāo)最大的點（對應(yīng)最下方的點）作為輪廓點序列的起始點，即BOUND(1)；當(dāng)LABEL=2時，將縱坐標(biāo)最小的點（對應(yīng)最上方的點）作為輪廓點序列的起始點；當(dāng)LABEL=3時，將橫坐標(biāo)最小的點（對應(yīng)最左側(cè)的點）作為輪廓點序列的起始點；當(dāng)LABEL=4時，將橫坐標(biāo)最大的點（對應(yīng)最右側(cè)的點）作為輪廓點序列的起始點。2)計算距離：計算BOUND(k)與手勢重心(Cx，Cy)的距離，用DIST(k)表示。3)平滑處理：用長度為5的模板對DIST(k)進(jìn)行平滑處理，所用模板為MASK=[0.1，0.2，0.4，0.2，0.1]，中間位置的系數(shù)0.4與DIST(k)對齊，平滑結(jié)果用SDIST(k)表示，即有4)檢測極大值點：對于SDIST(k)，如果滿足：SDIST(k)＝max{SDIST(k-15)，...，SDIST(k)，...，SDIST(k+15)}(13)則將SDIST(k)判為極大值點，用PEAK(p)表示檢測到的極大值點集。5)定位指尖點：考察PEAK(p)各點，如果滿足：TH2---(14)]]>則將該點判定為指尖點。檢測到的指尖點集用FING(q)表示。