一種基于Leap Motion的優(yōu)勢(shì)點(diǎn)檢測(cè)識(shí)別方法
【專(zhuān)利摘要】一種基于Leap Motion的優(yōu)勢(shì)點(diǎn)檢測(cè)識(shí)別方法屬于計(jì)算機(jī)系統(tǒng)的人機(jī)交互領(lǐng)域。首先，本方法獲取手勢(shì)頂點(diǎn)，建立手勢(shì)庫(kù)以驗(yàn)證改進(jìn)的非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法。然后，給出在首點(diǎn)和尾點(diǎn)之間的所有點(diǎn)，并連接首點(diǎn)和尾點(diǎn)，組成線(xiàn)段。找到在給出的點(diǎn)中找到離這條線(xiàn)段最遠(yuǎn)的點(diǎn)，判斷這個(gè)點(diǎn)是否大于ε，如果成立則保留該點(diǎn)，反之舍去。重復(fù)此法，并最終得到優(yōu)化后的折線(xiàn)。其中參數(shù)ε由改進(jìn)的非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法自適應(yīng)得出來(lái)。將該算法應(yīng)用在Leap Motion體感控制器上，可以擴(kuò)展更多手勢(shì)。該發(fā)明對(duì)手勢(shì)識(shí)別有很好的自適應(yīng)性、精確性，可以更加精確的對(duì)手勢(shì)進(jìn)行識(shí)別，在人機(jī)交互的應(yīng)用中有廣泛的用途。
【專(zhuān)利說(shuō)明】
一種基于Leap Mot i on的優(yōu)勢(shì)點(diǎn)檢測(cè)識(shí)別方法
技術(shù)領(lǐng)域
[0001 ] -種基于Leap Motion的優(yōu)勢(shì)點(diǎn)檢測(cè)識(shí)別方法屬于計(jì)算機(jī)系統(tǒng)的人機(jī)交互領(lǐng)域。
【背景技術(shù)】
[0002]隨著人機(jī)交互技術(shù)應(yīng)用不斷創(chuàng)新和發(fā)展，虛擬現(xiàn)實(shí)技術(shù)極大地增強(qiáng)博物館展示的 表現(xiàn)形式和交互能力，其中以Leap motion的應(yīng)用較為廣泛，但是使用的手勢(shì)僅限于Leap Motion開(kāi)發(fā)包中的手勢(shì)。因此要解決這個(gè)問(wèn)題，需要對(duì)手勢(shì)頂點(diǎn)進(jìn)行更好的優(yōu)化，使用優(yōu)勢(shì) 點(diǎn)檢測(cè)的方法得到更精確的頂點(diǎn)。
[0003]近年來(lái)許多學(xué)者對(duì)優(yōu)勢(shì)點(diǎn)檢測(cè)算法進(jìn)行了研究，優(yōu)勢(shì)點(diǎn)檢測(cè)算法有很多，按照使 用的方法可以分為動(dòng)態(tài)規(guī)劃法，分割法，組合法，數(shù)字化線(xiàn)段法，斷點(diǎn)壓縮法以及計(jì)算曲率 法。在這些算法中都使用一個(gè)固定參數(shù)e來(lái)控制點(diǎn)的取舍，被稱(chēng)為參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算 法，通過(guò)判斷當(dāng)前點(diǎn)與首尾兩點(diǎn)連成的線(xiàn)段的偏移量來(lái)決定該點(diǎn)的取舍。但是參數(shù)控制優(yōu) 勢(shì)點(diǎn)檢測(cè)算法需要提前設(shè)置好參數(shù)，并且對(duì)于不同長(zhǎng)度的線(xiàn)段固定的參數(shù)沒(méi)有很好的自適 應(yīng)性。

【發(fā)明內(nèi)容】

[0004] 因此根據(jù)以上問(wèn)題，本發(fā)明提出一種非參數(shù)控制的優(yōu)勢(shì)點(diǎn)檢測(cè)算法，目的在于將 本發(fā)明運(yùn)用在博物館的虛擬文物手勢(shì)導(dǎo)覽當(dāng)中，準(zhǔn)確識(shí)別操作者的手勢(shì)，提高人機(jī)交互性。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案：
[0006] 一、獲取手勢(shì)頂點(diǎn)。使用Leap Motion獲取手部圖像，將手部五指或任意一指看做 頂點(diǎn)并記錄數(shù)據(jù)。
[0007] 二、建立手勢(shì)庫(kù)以驗(yàn)證改進(jìn)的非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法。分別建立垂直折線(xiàn)，水 平折線(xiàn)以及方形手勢(shì)。
[0008] 三、使用一種改進(jìn)的非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法對(duì)手勢(shì)頂點(diǎn)進(jìn)行取舍優(yōu)化。首先， 給出在首點(diǎn)和尾點(diǎn)之間的所有點(diǎn)，并連接首點(diǎn)和尾點(diǎn)，組成線(xiàn)段。然后，找到在給出的點(diǎn)中 找到離這條線(xiàn)段最遠(yuǎn)的點(diǎn)，判斷這個(gè)點(diǎn)是否大于￡，如果成立則保留該點(diǎn)，反之舍去。重復(fù) 此法，并最終得到優(yōu)化后的折線(xiàn)。其中參數(shù)e由改進(jìn)的非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法自適應(yīng)得 出來(lái)。
[0009] 四、將優(yōu)化的頂點(diǎn)連接起來(lái)與手勢(shì)庫(kù)中的手勢(shì)進(jìn)行匹配，完成識(shí)別。
[0010] 與現(xiàn)有的檢測(cè)方法相比，本發(fā)明具有如下優(yōu)點(diǎn)：（1)非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法對(duì) 于較為復(fù)雜的手勢(shì)具有更好的識(shí)別度;如附圖所示(2)由于操作者之間存在差異性，非參數(shù) 控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法可以對(duì)更多的手勢(shì)尺度進(jìn)行識(shí)別，且識(shí)別效果準(zhǔn)確；（3)非參數(shù)控制優(yōu) 勢(shì)點(diǎn)檢測(cè)算法對(duì)于設(shè)備產(chǎn)生的噪聲在不同手勢(shì)尺度下都具有很好的魯棒性。如附圖所示。
【附圖說(shuō)明】
[0011] 圖1系統(tǒng)流程圖。
[0012]圖2垂直折線(xiàn)手勢(shì)識(shí)別示意圖。
[0013]圖3水平折線(xiàn)手勢(shì)識(shí)別示意圖。
[0014]圖4方形手勢(shì)識(shí)別示意圖。
[0015]圖5改進(jìn)的非參數(shù)控制優(yōu)勢(shì)點(diǎn)檢測(cè)算法的去噪示意圖。
[0016]
【具體實(shí)施方式】
[0017]下面結(jié)合附圖3對(duì)本發(fā)明作進(jìn)一步說(shuō)明：
[0018] 1.獲取頂點(diǎn)
[0019]通過(guò)Leap Motion體感控制器獲取每一幀的手部圖像，它可以很精確的識(shí)別出手 指的朝向以及手部的法向量，使得手部的每一個(gè)細(xì)節(jié)完美的呈現(xiàn)出來(lái)。我們選取每一幀中 的手指尖端的平均位置作為手勢(shì)頂點(diǎn)。
[0020] 2 ?頂點(diǎn)處理
[0021] 首先對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行頂點(diǎn)處理過(guò)程，由于Leap Motion所記錄的所有頂點(diǎn)不全部 為手勢(shì)頂點(diǎn)，比如操作者在做手勢(shì)之前需要將手放置在Leap Motion的識(shí)別區(qū)域當(dāng)中，在移 動(dòng)的過(guò)程中產(chǎn)生的頂點(diǎn)計(jì)算出的參數(shù)值e則需要被舍去。因此根據(jù)經(jīng)驗(yàn)我們需要對(duì)前2個(gè)頂 點(diǎn)進(jìn)行舍去。如此，去除前2個(gè)手勢(shì)頂點(diǎn)后，參數(shù)的計(jì)算會(huì)更加有效。此時(shí)頂點(diǎn)被記作{Pi， P 2,…Pk}(kGN+)
[0022] 3.參數(shù)計(jì)算
[0023] 連接PiPk得到線(xiàn)段1，計(jì)算距離s= |PiPk|，以及斜率m，并計(jì)算e。具體方法如下： [0024]基于Leap Motion的非參數(shù)RDP檢測(cè)算法所要解決的關(guān)鍵問(wèn)題是自動(dòng)選取合適的 參數(shù)值￡。我們根據(jù)每一條線(xiàn)段的長(zhǎng)度、斜率以及線(xiàn)段之間的夾角來(lái)自適應(yīng)的控制參數(shù)的變 化。并且根據(jù)圖像數(shù)字處理
[0025] x，=round(x) ;y，=round(y) (1)
[0026] x，y分別為頂點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，對(duì)其取整，使用P' (Y，y')近似真實(shí)頂點(diǎn)P(x， y)〇
[0027] x，，y，GZ (2)
[0028] Z為整形實(shí)數(shù)。
[0029] x，=x+A x;y，=y+A y (3)
[0030] -0.5彡 Ax彡0.5，_0.5彡 Ay彡0.5 (4)
[0031] AXk，Ayk分別為頂點(diǎn)Pk的橫坐標(biāo)和縱坐標(biāo)的偏移量。定義PiP 2的斜率為iP/P/ 的斜率為n/。：
[0034]使用由原始點(diǎn)計(jì)算出的正弦值與由近似點(diǎn)計(jì)算出來(lái)的正弦值兩者的角差來(lái)估計(jì) 誤差：
[0036]將(6)式代入(7)中可得：
[0038] 假設(shè)s和t如下：

[0043]由公式(4)可知，A X+A y的最大值為1;
[0044]由公式(9)可知，| (X2-Xl)/s |與| (y2-yi)/s |都小于等于1，s總大于所以M < 1, 由此得出
[0046] 當(dāng)| A X2_ A xi | = | A y2_ A yi | = 1時(shí)種有最大值，因此通過(guò)公式(5)可以求出t的最 大值：
[0048]由此求出最大值帥：
[0052] O(^)代表增長(zhǎng)率的上限為匕x。在RDP算法的每一次迭代的過(guò)程中，利用公式 (14)求得^^^。
[0053] 4 ?參數(shù)處理
[0054]為了能夠提升非參數(shù)RDP檢測(cè)算法對(duì)由Leap Motion產(chǎn)生的噪聲的魯棒性，在非參 數(shù)RDP算法的每一次迭代過(guò)程中我們加入?yún)?shù)值的取舍環(huán)節(jié)，根據(jù)經(jīng)驗(yàn)，如果后一個(gè)參數(shù)e 小于前一個(gè)參數(shù)e的三分之一則將其舍去。通過(guò)這樣的處理我們發(fā)現(xiàn)對(duì)由Leap Motion產(chǎn)生 的噪聲具有很好的魯棒性，如圖6中紅色圓圈所示，圈中的部分則是要在檢測(cè)過(guò)程中需要舍 去的部分，因?yàn)樗⒉粚儆谑謩?shì)的一部分。
[0055] 5.計(jì)算頂點(diǎn)的最大距離
[0056] SPiPk得出線(xiàn)段1并計(jì)算出e之后，我們分別計(jì)算PjljPk之間所有頂點(diǎn)到線(xiàn)段1的距 離，并找到距離線(xiàn)段1最遠(yuǎn)的頂點(diǎn)Pmax，其最大距離為dmax。如果Ke，則Pmax舍去，反之則保 留Pmax，并連接PlPmax得到線(xiàn)段1 U,max)，連接PmaxPk得到線(xiàn)段1 Uax, k).
[0057]再次按照3.參數(shù)計(jì)算、4.參數(shù)處理以及5.計(jì)算頂點(diǎn)的最大距離三個(gè)步驟進(jìn)行迭代 操作，直到將所有頂點(diǎn){Pi，P2，'"Pk}處理完成，最終完成所有頂點(diǎn)的檢測(cè)。
[0058] 6.匹配手勢(shì)庫(kù)
[0059]將優(yōu)化后的頂點(diǎn)按照先后順序進(jìn)行連接，生成手勢(shì)圖形，并與手勢(shì)庫(kù)中的手勢(shì)進(jìn) 行匹配。通過(guò)實(shí)驗(yàn)表明使用基于Leap Motion的非參數(shù)RDP檢測(cè)算法檢測(cè)出來(lái)的手勢(shì)比RDP 算法有更好的魯棒性。
[0060]優(yōu)勢(shì):RDP算法具有很好的手勢(shì)識(shí)別效果，但是在博物館這種人流大的場(chǎng)景下，每 一個(gè)操作者都有著不同的操作習(xí)慣，畫(huà)出的手勢(shì)尺寸不一。然而RDP算法是一種參數(shù)固定的 檢測(cè)方法，并不具備手勢(shì)識(shí)別的多尺度性，因此不適用于博物館這種人流較大的場(chǎng)景中。 RDP算法是一種參數(shù)固定的檢測(cè)方法，并不具備手勢(shì)識(shí)別的多尺度性，本文所提出的一種基 于Leap Motion的非參數(shù)RDP檢測(cè)算法對(duì)于較為復(fù)雜的手勢(shì)具有更好的識(shí)別度;相較于參數(shù) RDP檢測(cè)算法，它具有多尺度性，對(duì)于不同的操作者的手勢(shì)都有著更好的適應(yīng)性；同時(shí)，非 參數(shù)RDP檢測(cè)算法對(duì)于由操作者手部抖動(dòng)產(chǎn)生的噪聲在不同手勢(shì)尺度下都具有很好的魯棒 性，對(duì)操作者的手勢(shì)動(dòng)作規(guī)范要求不高，操作更加友好。
【主權(quán)項(xiàng)】
1.一種基于Leap Motion的優(yōu)勢(shì)點(diǎn)檢測(cè)識(shí)別方法，其特征在于包括以下步驟： 1) 獲取頂點(diǎn) 通過(guò)Leap Motion體感控制器獲取每一幀的手部圖像，選取每一幀中的手指尖端的平 均位置作為手勢(shì)頂點(diǎn)； 2) 頂點(diǎn)處理 首先對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行頂點(diǎn)處理過(guò)程，去除前2個(gè)手勢(shì)頂點(diǎn)后，剩余的頂點(diǎn)被記作{Pi， P2，."Pk}; 3) 參數(shù)計(jì)算 連接PiPk得到第一線(xiàn)段，計(jì)算距離s= |PiPk|，以及斜率m，并計(jì)算e;具體如下： x' =round(x) ；y' =round(y) (1) x，y分別為頂點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，（1)式中對(duì)其取整，使用取整后的頂點(diǎn)近 似真實(shí)頂點(diǎn)P(x，y); x'，y'GZ (2) Z為整形實(shí)數(shù)； x，=x+A x;y，=y+A y (3) -0.5彡 Ax彡0.5，_0.5彡 Ay彡0.5 (4) A xk，Ayk分別為頂點(diǎn)Pk的橫坐標(biāo)和縱坐標(biāo)的偏移量;定義的斜率為mj/p/的斜率 為m';使用由原始點(diǎn)計(jì)算出的正弦值與由近似點(diǎn)計(jì)算出來(lái)的正弦值兩者的角差來(lái)估計(jì)誤差：假設(shè)s和t如下：由公式(4)可知，A x+Ay的最大值為1; 由公式(9)可知，|X2-X1)/s|與|(y2-yi)/s|都小于等于l，s總大于，所以丨t]<l;由此得 出當(dāng)| Ax2_Axi| = I Ay2-Ayi| =1時(shí)郵有最大值，因此通過(guò)公式⑶求出t的最大值：()(C)代表增長(zhǎng)率的上限為在RDP算法的每一次迭代的過(guò)程中，求得€ = 4) .參數(shù)處理 每一次迭代過(guò)程中加入?yún)?shù)值的取舍環(huán)節(jié)，如果后一個(gè)參數(shù)e小于前一個(gè)參數(shù)e的三分 之一則將其舍去； 5) .計(jì)算頂點(diǎn)的最大距離 *PiPk得出第一線(xiàn)段并計(jì)算出e之后，分別計(jì)算PgljPk之間所有頂點(diǎn)到第一線(xiàn)段的距離， 并找到距離第一線(xiàn)段最遠(yuǎn)的頂點(diǎn)Pmax，其最大距離為dmax;如果K e，則Pmax舍去，反之則保 留Pmx，并連接PiPm得到第一線(xiàn)段，連接PmxPk得到第一線(xiàn)段k); 重復(fù)步驟3)_5)直到將所有頂點(diǎn){丹，內(nèi)，-仇}處理完成，完成所有頂點(diǎn)的檢測(cè)。
【文檔編號(hào)】G06K9/00GK106055106SQ201610391403
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月4日
【發(fā)明人】劉宏哲, 袁家政, 張雪鑒
【申請(qǐng)人】北京聯(lián)合大學(xué)