專利名稱：基于Kinect的視頻人手指尖定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)圖像處理及模式識(shí)別技術(shù)，特別涉及一種基于Kinect的視頻人手指尖定位方法，本方法以Kinect傳感器為取像工具。
背景技術(shù)：
近年來(lái)，基于人手的智能人機(jī)交互技術(shù)由于其靈活、自然等特性占據(jù)著越來(lái)越重要的地位。相比傳統(tǒng)需要接觸硬件設(shè)備的技術(shù)手段，它更加接近于人機(jī)交互的核心理念，擁有著更良好的用戶體驗(yàn)。而當(dāng)中指尖的高自由和靈活性使其蘊(yùn)含了相對(duì)其他部分更加豐富的內(nèi)涵。指尖數(shù)目的變化，位置的變動(dòng)可以映射為豐富的語(yǔ)義。在此基礎(chǔ)上得以發(fā)展出一系列應(yīng)用，如虛擬書(shū)寫繪畫(huà)、遠(yuǎn)程手勢(shì)控制、虛擬鍵盤，體感游戲等等。因此絕大部分的人機(jī)交互技術(shù)都會(huì)涉及到指尖的定位。當(dāng)前指尖定位的技術(shù)總體可以分為兩個(gè)領(lǐng)域:基于二維視覺(jué)的方法還有基于三維建模的方法。前者的主流算法是模板匹配法還有局部曲率最大法，這些方法依賴于人手分割的結(jié)果，對(duì)局部噪聲敏感。另外，它們無(wú)法處理指尖正對(duì)著攝像頭的情況。而三維建模的方法可以取得精確的定位結(jié)果，但是傳統(tǒng)的三維建模依賴于高精度的攝像頭如TOF相機(jī)，或者特殊的儀器如數(shù)據(jù)手套。這些設(shè)備由于其高昂的價(jià)格制約著它們成為一種真正實(shí)用性的應(yīng)用技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于Kinect的視頻人手指尖定位方法，這是一種更加魯棒性的指尖定位方法。借助微軟的Kinect傳感器來(lái)捕捉視角內(nèi)的用戶手部彩色圖信息和深度圖信息，分割人手和定位指尖位置。指尖定位部分分為“多指定位”和“單指定位”兩種情況。其中“多指定位”下，通過(guò)分析手部輪廓與其凸外形得到凸缺陷。計(jì)算凸缺陷頂點(diǎn)與相鄰兩谷底點(diǎn)形成的曲率得到候選指尖點(diǎn)。然后根據(jù)掌心點(diǎn)和手臂點(diǎn)的位置信息對(duì)指尖點(diǎn)進(jìn)行篩除獲得真實(shí)指尖數(shù)目與位置。在“單指定位”下，針對(duì)只需要定位單指的特殊情況。采用一種更精確的指尖定位方法。它針對(duì)手部不同的形態(tài)方向定義了兩種指尖定位模式，并構(gòu)建一個(gè)物理模型來(lái)確定在兩種模式的切換選擇。本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn):基于Kinect的視頻人手指尖定位方法，包括如下步驟:(I)通過(guò)Kinect采集視頻信息，包括彩色圖像，還有深度圖像；(2)分析處理并分割視頻信息，獲取用戶手部；(3)對(duì)用戶手部的手掌進(jìn)行橢圓擬合得到橢圓，將所述橢圓的圓心作為手掌心
占.
(4)對(duì)用戶手臂點(diǎn)進(jìn)行定位；(5)對(duì)用戶指尖進(jìn)行定位，所述定位包括多指定位和單指定位。所述步驟(5)中:
所述多指定位的步驟如下:(A)對(duì)分割得到的手部輪廓進(jìn)行多邊形擬合，得到擬合多邊形；(B)對(duì)輪廓的擬合多邊形求凸外形，并由擬合多邊形和凸外形這兩個(gè)閉合曲線得到輪廓凸形缺陷；(C)求取凸形缺陷各個(gè)頂點(diǎn)的曲率，曲率大于一定閾值的被當(dāng)做候選指尖點(diǎn)；(D)對(duì)手的部分進(jìn)行分區(qū)并且篩除掉上一步的誤判指尖點(diǎn)得到最后真實(shí)的指尖點(diǎn)數(shù)和位置；所述單指定位的步驟如下:(a)用最遠(yuǎn)模式求分割得到的手部區(qū)域距離手臂點(diǎn)的二維歐氏距離最大點(diǎn)作為該模式下候選單指尖點(diǎn)；(b)用最前模式求分割得到的手部區(qū)域的最前點(diǎn)作為該模式下候選單指尖點(diǎn)；(C)根據(jù)物理模型在兩模式得到結(jié)果中選一作為最后真實(shí)的指尖點(diǎn)位置。所述步驟(I)中，采用 微軟的Kinect傳感器采集視頻信息，所述視頻信息包括彩色圖像和深度圖像，所述Kinect傳感器自身還提供標(biāo)示當(dāng)前成像位置里面哪些像素屬于用戶這一功能(用戶圖)，將用戶從背景中分離出來(lái)。所述步驟(3)中，所述橢圓擬合采用迭代擬合，所述迭代擬合的步驟如下:①在對(duì)用戶的手的建模中，可以將用戶的手掌視為一個(gè)橢圓，手指視為圓柱，在求手掌的橢圓擬合里面需要去除手指的影響；②這里先是對(duì)整個(gè)手部的輪廓進(jìn)行第一次最小二乘橢圓線擬合；③將第一次擬合得到的橢圓與原手部的重疊區(qū)域作為第二次橢圓擬合的對(duì)象；④把第二次橢圓擬合的對(duì)象與原手部的重疊區(qū)域作為第三次橢圓擬合的對(duì)象；⑤第三次橢圓擬合得到準(zhǔn)確的手掌的一個(gè)橢圓擬合域，設(shè)定所述橢圓擬合域的中;L1、為單;L1、點(diǎn) Ppalm。所述步驟(4)中，對(duì)用戶手臂點(diǎn)進(jìn)行定位的方法采用了一種二次深度閾值分割求取手臂點(diǎn)方法，所述二次深度閾值分割求取手臂點(diǎn)方法的步驟如下:1、Kinect自身提供一個(gè)視場(chǎng)范圍內(nèi)的用戶深度圖，基于人體在深度上連續(xù)的這一特性和人手需要處于整個(gè)人體的最前方的假設(shè)。利用Kinect提供的用戶圖(標(biāo)示著當(dāng)前視像里面那些像素屬于用戶)和深度圖(標(biāo)示著當(dāng)前視像里面每一個(gè)像素位置的景物距離Kinect傳感器的距離)。先求整個(gè)人體距離Kinect的最近距離點(diǎn)(該點(diǎn)應(yīng)該為手的最前端)。先使用預(yù)設(shè)的深度閾值(這個(gè)深度閾值的物理意義是手的最前端到手腕的深度范圍)，將人手從圖像中分割出來(lái)；I1、增加上一步的深度閾值，對(duì)原深度圖再次進(jìn)行一次深度閾值分割，II1、步驟I和步驟II的分割得到兩個(gè)二值圖，計(jì)算兩個(gè)二值圖的差值圖，差值部分可視作手臂的一部分，統(tǒng)計(jì)差值部分的中心即為手臂點(diǎn)POT。所述步驟(A)中，所述多邊形擬合去除因分割不當(dāng)造成的局部噪聲，并且保留手部的基本形狀信息；所述步驟(B)中，根據(jù)所屬輪廓凸形缺陷，初步定位指尖的候選位置。考慮到手的形態(tài)特征，指尖總處在凸形缺陷的頂點(diǎn)處，而手指間的間隔總處在凸形缺陷的谷底點(diǎn)處；所述步驟(C)中，求一個(gè)頂點(diǎn)(候選指尖點(diǎn))pt()p的曲率時(shí)候使用的是頂點(diǎn)Pttjp和相鄰兩個(gè)谷底點(diǎn)(可能的指尖的間隔處)Pb0tt0ffll和P—，曲率cur計(jì)算如下:
權(quán)利要求
1.基于Kinect的視頻人手指尖定位方法，其特征在于，包括如下步驟: (1)米集視頻彳目息； (2)分析處理并分割視頻信息，獲取用戶手部； (3)對(duì)用戶手部的手掌進(jìn)行橢圓擬合得到橢圓，將所述橢圓的圓心作為手掌心點(diǎn)； (4)對(duì)用戶手臂點(diǎn)進(jìn)行定位； (5 )對(duì)用戶指尖進(jìn)行定位,所述定位包括多指定位和單指定位。
2.根據(jù)權(quán)利要求1所述的視頻人手指尖定位方法，其特征在于，所述步驟(5)中: 所述多指定位的步驟如下: (A)對(duì)分割得到的手部輪廓進(jìn)行多邊形擬合，得到擬合多邊形； (B)對(duì)輪廓的擬合多邊形求凸外形，并由擬合多邊形和凸外形這兩個(gè)閉合曲線得到輪廓凸形缺陷； (C)求取凸形缺陷各個(gè)頂點(diǎn)的曲率，曲率大于一定閾值的被當(dāng)做候選指尖點(diǎn)； (D)對(duì)手的部分進(jìn)行分區(qū)并且篩除掉上一步的誤判指尖點(diǎn)得到最后真實(shí)的指尖點(diǎn)數(shù)和位置； 所述單指定位的步驟如下: (a)用最遠(yuǎn)模式求分割 得到的手部區(qū)域距離手臂點(diǎn)的二維歐氏距離最大點(diǎn)作為該模式下候選單指尖點(diǎn)； (b)用最前模式求分割得到的手部區(qū)域的最前點(diǎn)作為該模式下候選單指尖點(diǎn)； (C)根據(jù)物理模型在兩模式得到結(jié)果中選一作為最后真實(shí)的指尖點(diǎn)位置。
3.根據(jù)權(quán)利要求1所述的視頻人手指尖定位方法，其特征在于，所述步驟(I)中，采用微軟的Kinect傳感器采集視頻信息，所述視頻信息包括彩色圖像和深度圖像，所述Kinect傳感器自身提供用戶圖，將用戶從背景中分離出來(lái)。
4.根據(jù)權(quán)利要求1所述的視頻人手指尖定位方法，其特征在于，所述步驟(3)中，所述橢圓擬合采用迭代擬合，所述迭代擬合的步驟如下: ①將用戶的手掌視為一個(gè)橢圓，手指視為圓柱； ②對(duì)整個(gè)手部的輪廓進(jìn)行第一次橢圓線擬合； ③將第一次擬合得到的橢圓與原手部的重疊區(qū)域作為第二次橢圓擬合的對(duì)象； ④把第二次橢圓擬合的對(duì)象與原手部的重疊區(qū)域作為第三次橢圓擬合的對(duì)象； ⑤第三次橢圓擬合得到最后手掌的橢圓擬合域，設(shè)定所述橢圓擬合域的中心為掌心點(diǎn)Ppalm°
5.根據(jù)權(quán)利要求1所述的視頻人手指尖定位方法，其特征在于，所述步驟(4)中，對(duì)用戶手臂點(diǎn)進(jìn)行定位的方法采用二次深度閾值分割求取手臂點(diǎn)方法，所述二次深度閾值分割求取手臂點(diǎn)方法的步驟如下: I > Kinect自身提供一個(gè)視場(chǎng)范圍內(nèi)的用戶深度圖，基于人體在深度上連續(xù)的這一特性和人手需要處于整個(gè)人體的最前方的假設(shè)，利用Kinect提供的用戶圖和深度圖，求用戶的整個(gè)人體距離Kinect的最近距離點(diǎn)，求用戶的整個(gè)人體距離Kinect的最近距離點(diǎn)的方法如下:先使用預(yù)設(shè)的深度閾值，將用戶的人手從圖像中分割出來(lái)；所述用戶圖標(biāo)示著當(dāng)前視像里面屬于用戶的像素，所述深度圖標(biāo)示當(dāng)前視像里面每一個(gè)像素位置的景物距離Kinect傳感器的距離，所述用戶的整個(gè)人體距離Kinect的最近距離點(diǎn)即是手的最前端，所述預(yù)設(shè)的深度閾值的物理意義是手的最前端到手腕的深度范圍；I1、增加上一步的深度閾值，對(duì)步驟I中Kinect提供的深度圖再進(jìn)行一次深度閾值分割，II1、步驟I和步驟II的對(duì)步驟I中Kinect提供的深度圖進(jìn)行兩次分割，得到兩個(gè)二值圖，計(jì)算所述兩個(gè)二值圖的差值圖，差值部分視作手臂的一部分，統(tǒng)計(jì)差值部分的中心即為手臂點(diǎn)Pajrm。
6.根據(jù)權(quán)利要求2所述的視頻人手指尖定位方法，其特征在于， 所述步驟(A)中，所述多邊形擬合去除因分割不當(dāng)造成的局部噪聲，并且保留手部的形狀信息； 所述步驟(B)中，根據(jù)所屬輪廓凸形缺陷，初步定位指尖的候選位置。所述步驟(C)中，求一個(gè)頂點(diǎn)Ptop的曲率時(shí)候使用的是頂點(diǎn)Pttjp和相鄰兩個(gè)谷底點(diǎn)Pb—和Pbtrttoni2,曲率計(jì)算如下:
7.根據(jù)權(quán)利要求2所述的視頻人手指尖定位方法，其特征在于，所述單指定位使用雙模式切換的指尖定位法，所述步驟(a)中，所述最遠(yuǎn)模式中考慮的是指尖不指向Kinect的情況，此時(shí)，考慮到手部姿態(tài)和物理約束，在二維視覺(jué)成像里面，指尖點(diǎn)應(yīng)該距離手臂點(diǎn)最遠(yuǎn)，通過(guò)尋找分割得到的手部區(qū)域Rhand里面，距離手臂點(diǎn)P-最大二維歐氏距離的點(diǎn)Pfarthest作為候選指尖點(diǎn)，計(jì)算公式如下:
8.根據(jù)權(quán)利要求2所述的視頻人手指尖定位方法，其特征在于，所述單指定位使用雙模式切換的指尖定位法，所述步驟(b)中，所述最前模式，所述考慮的是指尖指向Kinect的情況，在這種情況下，考慮到手部姿態(tài)和物理約束，指尖點(diǎn)屬于整個(gè)人手距離Kinect最近的點(diǎn)，通過(guò)尋找分割得到的手部區(qū)域Rhand中，在對(duì)應(yīng)的深度圖里面有著最小深度值的點(diǎn)Pfrontal作為候選指尖點(diǎn)，計(jì)算公式如下:
9.根據(jù)權(quán)利要求2所述的視頻人手指尖定位方法，其特征在于，所述單指定位使用雙模式切換的指尖定位法，所述步驟(C)中，建立一個(gè)手部模型來(lái)確定選用哪一種模式的結(jié)果；在實(shí)驗(yàn)和觀察中，當(dāng)指尖并非指向Kinect的時(shí)候，考慮到手的形態(tài)約束，指尖總不會(huì)處在手掌的橢圓擬合域之內(nèi)；和指尖與掌心Ppalm的連線和手的方向形成的交角Θ需要小于一個(gè)指定角度閾值30°，手的方向指手臂點(diǎn)Pann指向掌心點(diǎn)Ppalm這條連線，所述交角Θ的計(jì)算公式如下:
全文摘要
本發(fā)明提供了一種基于Kinect的視頻人手指尖定位方法，包括如下步驟(1)采集視頻信息；(2)分析處理并分割視頻信息，獲取用戶手部；(3)對(duì)用戶手部的手掌進(jìn)行橢圓擬合得到橢圓，將所述橢圓的圓心作為手掌心點(diǎn)；(4)對(duì)用戶手臂點(diǎn)進(jìn)行定位；(5)對(duì)用戶指尖進(jìn)行定位，所述定位包括多指定位和單指定位。具有魯棒性好等優(yōu)點(diǎn)。
文檔編號(hào)G06F3/01GK103226387SQ201310118060
公開(kāi)日2013年7月31日 申請(qǐng)日期2013年4月7日 優(yōu)先權(quán)日2013年4月7日
發(fā)明者金連文, 葉植超, 張?chǎng)?申請(qǐng)人:華南理工大學(xué)