基于3d點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法
【專(zhuān)利摘要】本發(fā)明提供了一種基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，包括S1采集手勢(shì)的3D點(diǎn)云數(shù)據(jù)；S2對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行閾值分割并進(jìn)行灰度轉(zhuǎn)換，得二值圖像；S3預(yù)處理二值圖像以去除二值圖像中空洞及噪聲點(diǎn)；S4基于二值圖像提取手勢(shì)的表觀特征；S5根據(jù)手勢(shì)庫(kù)中手勢(shì)樣本和待識(shí)別手勢(shì)的表觀特征進(jìn)行手勢(shì)識(shí)別。本發(fā)明可同時(shí)滿(mǎn)足手勢(shì)識(shí)別的精度和時(shí)效的要求，具備一定的魯棒性與普適性，實(shí)用性強(qiáng)。
【專(zhuān)利說(shuō)明】
基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì) 識(shí)別方法。
【背景技術(shù)】
[0002] 與自然語(yǔ)言一樣，手勢(shì)語(yǔ)言也能表達(dá)出豐富的信息，并且手勢(shì)語(yǔ)言更為直觀、簡(jiǎn) 潔。因此，手勢(shì)語(yǔ)言成為實(shí)現(xiàn)人機(jī)交互的一個(gè)重要途徑。手勢(shì)識(shí)別則是利用手勢(shì)語(yǔ)言進(jìn)行人 機(jī)交互的關(guān)鍵所在。
[0003] 手勢(shì)識(shí)別一般分為三個(gè)步驟過(guò)程:手勢(shì)獲取與分割、特征提取和手勢(shì)識(shí)別。手勢(shì)獲 取通?？梢岳酶鞣N相機(jī)設(shè)備實(shí)現(xiàn)。而相機(jī)獲取的場(chǎng)景往往很復(fù)雜，除了手勢(shì)之外還有其 他信息，因而需要進(jìn)行手勢(shì)分割，手勢(shì)分割的意義是為了讓有意義的區(qū)域與其他部分(例如 背景)產(chǎn)生明顯差異，從而得到具體手勢(shì)的區(qū)域范圍。為了高效進(jìn)行手勢(shì)識(shí)別，需要先進(jìn)行 特征提取，而手勢(shì)特征包括很多種，不同手勢(shì)具有各自不同的特征，將各種手勢(shì)的特征提取 出來(lái)，得到一個(gè)特征庫(kù)，特征庫(kù)是進(jìn)行手勢(shì)識(shí)別的基礎(chǔ)。提取完手勢(shì)特征之后即可進(jìn)行手勢(shì) 識(shí)別，根據(jù)不同手勢(shì)的不同特征，最終可識(shí)別出手勢(shì)，解譯出手勢(shì)語(yǔ)言。
[0004] 為了高效地進(jìn)行人機(jī)交互，手勢(shì)識(shí)別具有高精度、高速率等要求。傳統(tǒng)手勢(shì)識(shí)別方 法大多是基于RGB圖像實(shí)現(xiàn)。對(duì)于RGB圖像，手勢(shì)分割成為一項(xiàng)重要挑戰(zhàn)，要從復(fù)雜多變的背 景中分割出手勢(shì)是十分困難的，固定的手勢(shì)分割算法難以滿(mǎn)足場(chǎng)景的變化，這嚴(yán)重影響手 勢(shì)特征的提取，使特征的穩(wěn)定性較差，導(dǎo)致手勢(shì)識(shí)別精度不理想。
[0005] 近年來(lái)深度圖像(Depth Image)逐漸用來(lái)進(jìn)行手勢(shì)識(shí)別。由于深度圖像不僅包含 場(chǎng)景的亮度信息，同時(shí)也包含場(chǎng)景中不同位置的距離信息，這為手勢(shì)分割提供了極大的便 利?；谏疃葓D像，出現(xiàn)了很多手勢(shì)識(shí)別方法，這些方法流程大都如下：先根據(jù)深度圖像進(jìn) 行手勢(shì)分割;選取大量的正負(fù)樣本，利用相應(yīng)的分類(lèi)器(如支持向量機(jī)分類(lèi)器SVM、adaboost 分類(lèi)器)進(jìn)行特征訓(xùn)練，得到特征庫(kù);根據(jù)特征庫(kù)進(jìn)行待定手勢(shì)的識(shí)別。而以上識(shí)別過(guò)程往 往需要大量的訓(xùn)練樣本，導(dǎo)致工作量巨大，并且訓(xùn)練過(guò)程也比較耗時(shí)，難以同時(shí)滿(mǎn)足時(shí)效與 精度的要求。
[0006] 綜合分析，目前手勢(shì)識(shí)別存在以下問(wèn)題：
[0007] (1)基于RGB圖像的手勢(shì)識(shí)別方法時(shí)效性好，但是魯棒性和普適性較差，難以滿(mǎn)足 手勢(shì)場(chǎng)景的變化，識(shí)別精度得不到保障；
[0008] (2)基于深度圖像的手勢(shì)識(shí)別方法識(shí)別精度高，但計(jì)算復(fù)雜度高且存儲(chǔ)空間大，不 易于硬件實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0009] 針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì) 識(shí)別方法，該方法可同時(shí)滿(mǎn)足精度和時(shí)效要求，且易于實(shí)現(xiàn)。
[0010] 為解決上述技術(shù)問(wèn)題，本發(fā)明采用如下的技術(shù)方案：
[0011] 一種基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，包括：
[0012] S1采集手勢(shì)的3D點(diǎn)云數(shù)據(jù)，3D點(diǎn)云數(shù)據(jù)包括各點(diǎn)的三維坐標(biāo)(x，y，z);
[0013] S2對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行閾值分割并進(jìn)行灰度轉(zhuǎn)換，得二值圖像;閾值分割中，考慮3D 點(diǎn)云數(shù)據(jù)采集時(shí)手勢(shì)與相機(jī)的相對(duì)位置關(guān)系，并通過(guò)實(shí)驗(yàn)調(diào)整確定手勢(shì)區(qū)域的坐標(biāo)范圍， 根據(jù)確定的坐標(biāo)范圍進(jìn)行閾值分割，獲得手勢(shì)區(qū)域；
[0014] S3預(yù)處理二值圖像以去除二值圖像中空洞及噪聲點(diǎn)；
[0015] S4基于二值圖像提取手勢(shì)的表觀特征，表觀特征包括伸出手指數(shù)、分布特征和相 鄰伸出手指間角度，本步驟具體為：
[0016] S4-1基于二值圖像提取手勢(shì)區(qū)域的中心點(diǎn)C;
[0017] S4-2構(gòu)造輔助圖形，輔助圖形為以中心點(diǎn)C為圓心、化為半徑的K個(gè)共圓心的圓形， 或?yàn)橐灾行狞c(diǎn)C為中心、對(duì)角線長(zhǎng)2rn的K個(gè)共中心的正方形，正方形方向要保證中心點(diǎn)C( x〇， yo)到同一正方形上所有點(diǎn)（Xj，yj)的距離d相等，d定義為:d= |xj-x〇| + |yj-y〇| ;rn = :，D ix 為手勢(shì)區(qū)域邊緣到中心點(diǎn)c的最大距離，11 = 1，2,3...1(，8<1?12，所得輔助圖形從內(nèi)向外 依次編號(hào)為輔助圖形1、2......K；
[0018] S4-3輔助圖形kl與手勢(shì)區(qū)域的交點(diǎn)數(shù)即伸出手指數(shù)，輔助圖形kl根據(jù)試驗(yàn)確定；
[0019] S4-4以輔助圖形k2為手掌區(qū)域和伸出手指區(qū)域的邊界，即輔助圖形k2內(nèi)和外的手 勢(shì)區(qū)域分別為手掌區(qū)域和伸出手指區(qū)域，手掌區(qū)域和伸出手指區(qū)域的面積比即分布特征R; 輔助圖形k2根據(jù)試驗(yàn)確定；
[0020] S4-5獲得各伸出手指區(qū)域與輔助圖形kl的相交區(qū)域的中心點(diǎn)C'，中心點(diǎn)C'與中心 點(diǎn)C的連線記為邊，相鄰邊的夾角即相鄰伸出手指間角度;若無(wú)相鄰邊，則不提取相鄰伸出 手指間角度；
[0021] S5根據(jù)手勢(shì)庫(kù)中手勢(shì)樣本和待識(shí)別手勢(shì)的表觀特征進(jìn)行手勢(shì)識(shí)別，本步驟具體 為：
[0022] S5-1判斷待識(shí)別手勢(shì)的分布特征R大小，若0.7<R<1，則伸出手指數(shù)為0的手勢(shì)樣 本為待識(shí)別手勢(shì)的手勢(shì)，手勢(shì)識(shí)別完成;否則，執(zhí)行子步驟S5-2;
[0023] S5-2與待識(shí)別手勢(shì)伸出手指數(shù)N相同的手勢(shì)樣本即待識(shí)別手勢(shì)的可能手勢(shì)，若可 能手勢(shì)僅1個(gè)，該可能手勢(shì)即待識(shí)別手勢(shì)的手勢(shì)，手勢(shì)識(shí)別完成;否則，執(zhí)行子步驟S5-3;
[0024] S5-3根據(jù)可能手勢(shì)的相鄰伸出手指間角度大小或各相鄰伸出手指間角度間的大 小關(guān)系以及形狀，確定各可能手勢(shì)對(duì)應(yīng)的相鄰伸出手指間角度或各相鄰伸出手指間角度間 的大小關(guān)系的范圍，待識(shí)別手勢(shì)的相鄰伸出手指間角度或各相鄰伸出手指間角度間的大小 關(guān)系所落入范圍對(duì)應(yīng)的可能手勢(shì)，即待識(shí)別手勢(shì)的手勢(shì)。
[0025] 步驟S2中，采用下述公式進(jìn)行閾值分割：
[0026] G= {(x，y，z) |Minx<x<Maxx，Miny<y<Maxy，Minz<z<Max z}
[0027] 其中，G表示手勢(shì)區(qū)域;Minx、Miny、Min z分別為x、y、z坐標(biāo)范圍的下限;Maxx、Maxy、 Maxz分別為x、y、z坐標(biāo)范圍的上限。
[0028]步驟S3中，采用形態(tài)學(xué)中腐蝕和膨脹操作對(duì)二值圖像進(jìn)行預(yù)處理。
[0029]子步驟S4-1中，利用形態(tài)學(xué)中腐蝕操作提取手勢(shì)區(qū)域中心點(diǎn)C。
[0030] 子步驟S4-3和S4-5中，當(dāng)K取10時(shí)，kl = 6;同時(shí)，k2 = 5。
[0031] 子步驟S5-3具體為：
[0032]若待識(shí)別手勢(shì)的伸出手指數(shù)N為2,根據(jù)各可能手勢(shì)的形狀和相鄰伸出手指間角度 大小，確定各可能手勢(shì)對(duì)應(yīng)的相鄰伸出手指間角度的范圍，待識(shí)別手勢(shì)的相鄰伸出手指間 角度落入范圍所對(duì)應(yīng)的可能手勢(shì)，即待識(shí)別手勢(shì)的手勢(shì)。
[0033] 子步驟S5-3具體為：
[0034]若待識(shí)別手勢(shì)的伸出手指數(shù)N為3或4,根據(jù)各可能手勢(shì)的形狀和各相鄰伸出手指 間角度間的大小關(guān)系，確定各可能手勢(shì)對(duì)應(yīng)的各相鄰伸出手指間角度間的大小關(guān)系的范 圍，待識(shí)別手勢(shì)的各相鄰伸出手指間角度間的大小關(guān)系落入范圍所對(duì)應(yīng)的可能手勢(shì)，即待 識(shí)別手勢(shì)的手勢(shì)。
[0035]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)和有益效果：
[0036] (1)考慮到手勢(shì)識(shí)別的精度要求，基于3D點(diǎn)云數(shù)據(jù)進(jìn)行手勢(shì)分割與特征提取，從而 保證識(shí)別精度。
[0037] (2)考慮到手勢(shì)識(shí)別的時(shí)效性，綜合選取手勢(shì)的多個(gè)表觀特征進(jìn)行手勢(shì)識(shí)別，無(wú)需 大量訓(xùn)練樣本，計(jì)算復(fù)雜度小，簡(jiǎn)明高效，便于實(shí)現(xiàn)。
[0038] (3)對(duì)各種變化場(chǎng)景中手勢(shì)識(shí)別效果良好，具備一定的魯棒性與普適性，實(shí)用性 強(qiáng)。
【附圖說(shuō)明】
[0039] 圖1是本發(fā)明【具體實(shí)施方式】的流程圖；
[0040] 圖2是本發(fā)明【具體實(shí)施方式】中手勢(shì)庫(kù)示意圖；
[0041 ]圖3是本發(fā)明【具體實(shí)施方式】中基于決策樹(shù)的手勢(shì)識(shí)別示意圖。
【具體實(shí)施方式】
[0042]下面將結(jié)合【具體實(shí)施方式】進(jìn)一步說(shuō)明本發(fā)明技術(shù)方案，本發(fā)明技術(shù)方案可采用計(jì) 算機(jī)軟件技術(shù)自動(dòng)運(yùn)行實(shí)現(xiàn)。
[0043]傳統(tǒng)基于RGB圖像的手勢(shì)識(shí)別方法存在識(shí)別精度不高的問(wèn)題，基于深度圖像的手 勢(shì)識(shí)別方法中常用的特征訓(xùn)練算法具有計(jì)算復(fù)雜度高、樣本量需求大等問(wèn)題，導(dǎo)致時(shí)效性 差，不利于實(shí)際應(yīng)用。本發(fā)明基于3D點(diǎn)云數(shù)據(jù)進(jìn)行手勢(shì)識(shí)別，利用3D點(diǎn)云數(shù)據(jù)的距離信息， 以提高手勢(shì)識(shí)別精度；同時(shí)，選取可高效提取的表觀特征進(jìn)行手勢(shì)識(shí)別，所提取的表觀特征 能夠代表手勢(shì)的典型特征，從而大大降低計(jì)算復(fù)雜度，使得手勢(shì)識(shí)別的精度與速度都達(dá)到 理想效果。
[0044] 下面將以圖2所示9種手勢(shì)為例說(shuō)明本發(fā)明【具體實(shí)施方式】，本具體實(shí)施中，以 SwissRanger 4000相機(jī)采集手勢(shì)的3D點(diǎn)云數(shù)據(jù)。
[0045] 見(jiàn)圖1，本發(fā)明基于相機(jī)坐標(biāo)系進(jìn)行，具體步驟如下：
[0046] S1采集圖2所示手勢(shì)庫(kù)中各手勢(shì)的3D點(diǎn)云數(shù)據(jù)，3D點(diǎn)云數(shù)據(jù)包括場(chǎng)景中各點(diǎn)的三 維坐標(biāo)(x，y，z)，坐標(biāo)原點(diǎn)為相機(jī)攝影中心。
[0047]本具體實(shí)施中，利用SwissRanger 4000相機(jī)采集3D點(diǎn)云數(shù)據(jù)。
[0048] S2對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行閾值分割并進(jìn)行灰度轉(zhuǎn)換，得各手勢(shì)的二值圖像。
[0049] 本步驟進(jìn)一步包括：
[0050] S2-1采用式(1)對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行閾值分割，提取手勢(shì)區(qū)域G。
[0051] G = {(x,y,z) |Minx<x<Maxx,Miny<y<Maxy,Minz<z<Max z} (1)
[0052] 式（1)中，G表示分割后的手勢(shì)區(qū)域，Minx、MaXx分別為手勢(shì)區(qū)域三維坐標(biāo)x取值范圍 的下限和上限，Miny、Maxy分別為手勢(shì)區(qū)域三維坐標(biāo)y取值范圍的下限和上限，Min z、Maxz分 別為手勢(shì)區(qū)域三維坐標(biāo)z取值范圍的下限和上限。
[0053] Minx、Maxx、Miny、Maxy、Min z、Maxz等坐標(biāo)閾值用來(lái)提取3D點(diǎn)云數(shù)據(jù)中手勢(shì)區(qū)域，這 些坐標(biāo)閾值與3D點(diǎn)云數(shù)據(jù)采集時(shí)手勢(shì)與相機(jī)的相對(duì)位置關(guān)系有關(guān)，即，根據(jù)手勢(shì)與相機(jī)的 相對(duì)位置關(guān)系選擇不同的Minx、Maxx、Miny、Maxy、Min z、Maxz值，基于選擇的坐標(biāo)閾值，進(jìn)行步 驟S3~S5，手勢(shì)識(shí)別最佳效果對(duì)應(yīng)的坐標(biāo)閾值即確定的坐標(biāo)閾值。本具體實(shí)施中，各坐標(biāo)閾 值石角定為：Min x = -150mm，Maxx= 150mm，Miny =-150mm，Maxy= 150mm，Minz = 200mm，Maxz = 500mm〇
[0054] S2-2進(jìn)行灰度轉(zhuǎn)換得二值圖像，所得二值圖像中手勢(shì)區(qū)域灰度值為1，非手勢(shì)區(qū)域 灰度值為0。
[0055] S3預(yù)處理二值圖像以去除二值圖像中空洞及噪聲點(diǎn)。
[0056]本具體實(shí)施中，采用形態(tài)學(xué)中腐蝕和膨脹操作對(duì)二值圖像進(jìn)行預(yù)處理。
[0057] S4基于二值圖像提取手勢(shì)的表觀特征，所述表觀特別包括伸出手指數(shù)、相鄰的伸 出手指間角度及手勢(shì)區(qū)域的分布特征。
[0058] 本步驟進(jìn)一步包括：
[0059] S4-1基于二值圖像提取手勢(shì)區(qū)域中心點(diǎn)C。
[0060]提取手勢(shì)區(qū)域中心點(diǎn)C為數(shù)字圖像處理領(lǐng)域的常規(guī)技術(shù)，例如，可利用形態(tài)學(xué)中腐 蝕操作提取手勢(shì)區(qū)域中心點(diǎn)C。為便于理解，下面將手勢(shì)區(qū)域中心點(diǎn)C的提取過(guò)程進(jìn)行具體 說(shuō)明。
[0061 ]進(jìn)行一次腐蝕操作過(guò)程中，若二值圖像上目標(biāo)點(diǎn)為邊界點(diǎn)，則將該目標(biāo)點(diǎn)灰度值 設(shè)為〇。若干次腐蝕后，二值圖像邊界不斷向內(nèi)部收縮，直到只留下少量目標(biāo)點(diǎn)時(shí)停止腐蝕。 本具體實(shí)施中，當(dāng)留下目標(biāo)點(diǎn)數(shù)少于8時(shí)停止腐蝕。這些留下目標(biāo)點(diǎn)的中心點(diǎn)即手勢(shì)區(qū)域中 心點(diǎn)C。所述的目標(biāo)點(diǎn)指二值圖像中灰度值1的點(diǎn)。
[0062] S4-2根據(jù)手勢(shì)區(qū)域中心點(diǎn)C做輔助圖形。
[0063]根據(jù)手勢(shì)區(qū)域邊緣到中心點(diǎn)C的最大距離D定義由rn組成的序列r:
(2)
[0065]式(2)中，11 = 1，2,3...1(，1(優(yōu)選為8~12范圍內(nèi)自然數(shù)。
[0066] 本【具體實(shí)施方式】中，K = 10。
[0067] 根據(jù)
做輔助圖形，輔助圖形可以為圓形或正方形，具體為：
[0068] 以手勢(shì)區(qū)域中心點(diǎn)C為圓心，以rn為半徑做10個(gè)共圓心的圓形，由內(nèi)向外依次編號(hào) 為輔助圖形1、2.......10;或，以手勢(shì)區(qū)域中心點(diǎn)C為中心，做對(duì)角線長(zhǎng)2^的10個(gè)共中心的 正方形，由內(nèi)向外依次編號(hào)為輔助圖形1、2.......10。本發(fā)明中，正方形方向要保證中心點(diǎn) C(xo，yo)到同一正方形上所有點(diǎn)(Xj，yj)的距離d相等，d定義為:d = | xj-xo | + | yj-yo |。
[0069] S4-3根據(jù)輔助圖形與手勢(shì)區(qū)域的相交情況確定伸出手指數(shù)N。
[0070]大量實(shí)驗(yàn)表明，輔助圖形6與手勢(shì)區(qū)域的交點(diǎn)數(shù)即伸出手指數(shù)N。
[0071] S4-4計(jì)算手勢(shì)區(qū)域的分布特征。
[0072]分布特征用來(lái)描述伸出手指區(qū)域與手掌區(qū)域的面積關(guān)系。大量實(shí)驗(yàn)表明，輔助圖 形5可較好區(qū)分伸出手指區(qū)域與手掌區(qū)域，即，以輔助圖形5為邊界，位于輔助圖形5內(nèi)的手 勢(shì)區(qū)域可認(rèn)為是手掌區(qū)域，其面積記為P1;位于輔助圖形5外的手勢(shì)區(qū)域可認(rèn)為伸出手指區(qū) 域，其面積記為P2，手勢(shì)區(qū)域分布特征以R為：
(3)
[0074] S4-5根據(jù)輔助圖形與手勢(shì)區(qū)域的相交情況確定相鄰伸出手指間角度M。
[0075]本子步驟具體為：
[0076] 分別獲得各伸出手指區(qū)域與輔助圖形6的相交區(qū)域的中心點(diǎn)C'，中心點(diǎn)C'與中心 點(diǎn)C連線記為邊，相鄰邊的夾角即相鄰伸出手指間角度Ai。若無(wú)相鄰邊，則不提取相鄰伸出 手指間角度。
[0077] S5基于提取的表觀特征，利用決策樹(shù)進(jìn)行手勢(shì)識(shí)別。
[0078] 下面將以圖2所示手勢(shì)庫(kù)為例，進(jìn)一步說(shuō)明手勢(shì)識(shí)別的【具體實(shí)施方式】。
[0079] S5-1判斷手勢(shì)的分布特征R值大小，若0.7<R<1，則手勢(shì)為手勢(shì)庫(kù)中手勢(shì)9,手勢(shì) 識(shí)別完成;否則，執(zhí)行子步驟S5-2;
[0080] S5-2判斷手勢(shì)的伸出手指數(shù)N值，若N=1或4或5,采用規(guī)則(4)識(shí)別手勢(shì);若N=2或 3,則執(zhí)行子步驟S5-3。 、，手勢(shì)1
[0081 ] N = <4,手勢(shì) 4 (4) 5,手勢(shì)5
[0082] S5-3若N= 2，判斷手勢(shì)的相鄰伸出手指間角度大小，若0° ^《45°，則手勢(shì)為手勢(shì) 庫(kù)中手勢(shì)2;否則，為手勢(shì)庫(kù)中手勢(shì)6。若N= 3，判斷手勢(shì)的相鄰伸出手指間角度大小，若0.3* AXAKO ? 8*A2，貝丨J手勢(shì)為手勢(shì)庫(kù)中手勢(shì)7;若0 ? 3*A1〈A2〈0 ? 8*Ai，貝丨J手勢(shì)為手勢(shì)庫(kù)中手勢(shì)8;否 貝lj，手勢(shì)為手勢(shì)庫(kù)中手勢(shì)3。
[0083] 實(shí)驗(yàn)表明，采用本發(fā)明方法可準(zhǔn)確高效識(shí)別出圖2手勢(shì)庫(kù)中9種手勢(shì)。
[0084] 本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明，并不用于限定本發(fā) 明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施做各種各樣的修改或補(bǔ)充或 采用類(lèi)似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書(shū)所定義的范 圍。
【主權(quán)項(xiàng)】
1. 一種基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是，包括： Sl采集手勢(shì)的3D點(diǎn)云數(shù)據(jù)，3D點(diǎn)云數(shù)據(jù)包括各點(diǎn)的=維坐標(biāo)(x，y，z); S2對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行闊值分割并進(jìn)行灰度轉(zhuǎn)換，得二值圖像；闊值分割中，考慮3D點(diǎn)云 數(shù)據(jù)采集時(shí)手勢(shì)與相機(jī)的相對(duì)位置關(guān)系，并通過(guò)實(shí)驗(yàn)調(diào)整確定手勢(shì)區(qū)域的坐標(biāo)范圍，根據(jù) 確定的坐標(biāo)范圍進(jìn)行闊值分割，獲得手勢(shì)區(qū)域； S3預(yù)處理二值圖像W去除二值圖像中空桐及噪聲點(diǎn)； S4基于二值圖像提取手勢(shì)的表觀特征，表觀特征包括伸出手指數(shù)、分布特征和相鄰伸 出手指間角度，本步驟具體為： S4-1基于二值圖像提取手勢(shì)區(qū)域的中屯、點(diǎn)C; S4-2構(gòu)造輔助圖形，輔助圖形為W中屯、點(diǎn)C為圓屯、、rn為半徑的K個(gè)共圓屯、的圓形，或?yàn)?W中屯、點(diǎn)C為中屯、、對(duì)角線長(zhǎng)化n的K個(gè)共中屯、的正方形，正方形方向要保證中屯、點(diǎn)C(x〇，y〇) 至Ij同一正方形上所有點(diǎn)（Xj，yj)的距離d相等，d定義為:d = I Xj-XO | + |yj-y〇)為 手勢(shì)區(qū)域邊緣到中屯、點(diǎn)C的最大距離，n=l，2,3. . .K，8《K《12,所得輔助圖形從內(nèi)向外依 次編號(hào)為輔助圖形1、2……K; S4-3輔助圖形kl與手勢(shì)區(qū)域的交點(diǎn)數(shù)即伸出手指數(shù)，輔助圖形kl根據(jù)試驗(yàn)確定； S4-4W輔助圖形k2為手掌區(qū)域和伸出手指區(qū)域的邊界，即輔助圖形k2內(nèi)和外的手勢(shì)區(qū) 域分別為手掌區(qū)域和伸出手指區(qū)域，手掌區(qū)域和伸出手指區(qū)域的面積比即分布特征R;輔助 圖形k2根據(jù)試驗(yàn)確定； 54- 5獲得各伸出手指區(qū)域與輔助圖形kl的相交區(qū)域的中屯、點(diǎn)C'，中屯、點(diǎn)C'與中屯、點(diǎn)C 的連線記為邊，相鄰邊的夾角即相鄰伸出手指間角度;若無(wú)相鄰邊，貝懷提取相鄰伸出手指 間角度； S5根據(jù)手勢(shì)庫(kù)中手勢(shì)樣本和待識(shí)別手勢(shì)的表觀特征進(jìn)行手勢(shì)識(shí)別，本步驟具體為： 55- 1判斷待識(shí)別手勢(shì)的分布特征R大小，若0.7<R<1，則伸出手指數(shù)為0的手勢(shì)樣本為 待識(shí)別手勢(shì)的手勢(shì)，手勢(shì)識(shí)別完成;否則，執(zhí)行子步驟S5-2; S5-2與待識(shí)別手勢(shì)伸出手指數(shù)N相同的手勢(shì)樣本即待識(shí)別手勢(shì)的可能手勢(shì)，若可能手 勢(shì)僅1個(gè)，該可能手勢(shì)即待識(shí)別手勢(shì)的手勢(shì)，手勢(shì)識(shí)別完成;否則，執(zhí)行子步驟S5-3; S5-3根據(jù)可能手勢(shì)的相鄰伸出手指間角度大小或各相鄰伸出手指間角度間的大小關(guān) 系W及形狀，確定各可能手勢(shì)對(duì)應(yīng)的相鄰伸出手指間角度或各相鄰伸出手指間角度間的大 小關(guān)系的范圍，待識(shí)別手勢(shì)的相鄰伸出手指間角度或各相鄰伸出手指間角度間的大小關(guān)系 所落入范圍對(duì)應(yīng)的可能手勢(shì)，即待識(shí)別手勢(shì)的手勢(shì)。2. 如權(quán)利要求1所述的基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是： 步驟S2中，采用下述公式進(jìn)行闊值分割： G= {(x,y,z) |Minx<x<Maxx,Miny<y<Maxy,Minz<z<Maxz} 其中，G表示手勢(shì)區(qū)域;Minx、Miny、Minz分別為x、y、z坐標(biāo)范圍的下限;Maxx、Maxy、Maxz分 別為x、y、Z坐標(biāo)范圍的上限。3. 如權(quán)利要求1所述的基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是： 步驟S3中，采用形態(tài)學(xué)中腐蝕和膨脹操作對(duì)二值圖像進(jìn)行預(yù)處理。4. 如權(quán)利要求1所述的基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是： 子步驟S4-1中，利用形態(tài)學(xué)中腐蝕操作提取手勢(shì)區(qū)域中屯、點(diǎn)C。5. 如權(quán)利要求1所述的基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是： 子步驟S4-3和S4-5中，當(dāng)K取10時(shí)，kl = 6;同時(shí)，k2 = 5。6. 如權(quán)利要求1所述的基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是： 子步驟S5-3具體為： 若待識(shí)別手勢(shì)的伸出手指數(shù)N為2,根據(jù)各可能手勢(shì)的形狀和相鄰伸出手指間角度大 小，確定各可能手勢(shì)對(duì)應(yīng)的相鄰伸出手指間角度的范圍，待識(shí)別手勢(shì)的相鄰伸出手指間角 度落入范圍所對(duì)應(yīng)的可能手勢(shì)，即待識(shí)別手勢(shì)的手勢(shì)。7. 如權(quán)利要求1所述的基于3D點(diǎn)云數(shù)據(jù)和表觀特征的手勢(shì)識(shí)別方法，其特征是： 子步驟S5-3具體為： 若待識(shí)別手勢(shì)的伸出手指數(shù)N為3或4,根據(jù)各可能手勢(shì)的形狀和各相鄰伸出手指間角 度間的大小關(guān)系，確定各可能手勢(shì)對(duì)應(yīng)的各相鄰伸出手指間角度間的大小關(guān)系的范圍，待 識(shí)別手勢(shì)的各相鄰伸出手指間角度間的大小關(guān)系落入范圍所對(duì)應(yīng)的可能手勢(shì)，即待識(shí)別手 勢(shì)的手勢(shì)。
【文檔編號(hào)】G06K9/00GK105913007SQ201610213678
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2016年4月7日
【發(fā)明人】種衍文, 黃簡(jiǎn)峰, 潘少明
【申請(qǐng)人】武漢大學(xué)