基于距離向量的空中手勢漫游控制方法
【專利摘要】本發(fā)明公開了一種基于距離向量的空中手勢漫游控制方法，包括以下步驟：步驟一：獲取和分析處理視頻圖像序列；步驟二：檢測五指張開手勢和握拳手勢，以初始化控制區(qū)域；步驟三：獲取感興趣區(qū)域內(nèi)的膚色信息；步驟四：得到感興趣區(qū)域內(nèi)人手的運動信息；步驟五：由步驟三和步驟四得到的人手膚色信息和運動信息計算得到每一幀圖像中人手的位置坐標(biāo)信息；步驟六：確定界面中的手勢運動方向和運動速率；步驟七：界面中的手勢按照步驟六中確定的方向和速率做出相應(yīng)的響應(yīng)，實現(xiàn)手勢漫游。具有實現(xiàn)了小范圍且全界面可達(dá)的操作并實現(xiàn)了當(dāng)前手勢和初始位置的距離遠(yuǎn)的快速手勢漫游和當(dāng)前手勢和初始位置的距離近的精確手勢漫游等優(yōu)點。
【專利說明】基于距離向量的空中手勢漫游控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人機交互技術(shù)，特別涉及一種基于距離向量的空中手勢漫游控制方法。
【背景技術(shù)】
[0002]在日常生活中，手勢是一種常用的表達(dá)意愿的行為方式，具有較強的表意功能，也是現(xiàn)有人機交互系統(tǒng)的主要交互方式，如鼠標(biāo)、鍵盤、遙控器、觸摸屏等都是常見的接觸式人機交互系統(tǒng)的組成部分。而一些新興的人機交互系統(tǒng)則通過普通攝像頭或者深度攝像頭等傳感器捕捉用戶在傳感器捕捉范圍中的行為，通過圖像處理、機器學(xué)習(xí)、模式識別等技術(shù)，識別、跟蹤用戶的手勢等動作，分析捕捉到的圖像序列中用戶的行為意圖，通過與界面的交互，實現(xiàn)基于手勢的非接觸式人機交互。
[0003]手勢漫游是將手勢運動映射到界面中，用現(xiàn)實中的手的運動控制界面中的手的運動，實現(xiàn)對界面信息的選擇、瀏覽等操作，是基于手勢的人機交互系統(tǒng)的一個重要功能。現(xiàn)有常見的映射方式是手勢坐標(biāo)的直接映射，即，將傳感器捕捉到的圖像序列中的手勢的坐標(biāo)，或者是通過一些先驗知識得到傳感器捕捉到的圖像序列中的“舒適運動區(qū)域”中的手勢的坐標(biāo)直接映射為界面中的手勢坐標(biāo)。例如傳感器捕捉到的圖像序列中每一幀的圖像大小為長*寬=640像素*480像素,手勢所在的位置為(200，100)像素，界面的大小為長*寬=1280像素*720像素，那么通過坐標(biāo)的直接映射，界面中的手勢坐標(biāo)為(1280/640*200=400，720/480*100=150)像素。
[0004]種手勢坐標(biāo)的直接映射方法只用到了坐標(biāo)信息，且在手勢漫游過程中當(dāng)用戶希望選擇一些距離當(dāng)前手勢所在坐標(biāo)較遠(yuǎn)的項目時，手勢就需要運動較遠(yuǎn)的距離，增加了用戶的勞累感，在選擇一些坐標(biāo)相近的項目時，往往又因為當(dāng)前的技術(shù)水平制約而達(dá)不到足夠的精度導(dǎo)致難以選中或誤選，因此，降低了基于手勢的人機交互系統(tǒng)的易用性，缺乏人性化。
[0005]除了坐標(biāo)映射，一些發(fā)明中提到了速度映射的方法。速度映射是一種相對的映射方式，其計算傳感器捕捉到的圖像序列中手勢的運動速度和方向，不關(guān)心其具體的位置坐標(biāo)，根據(jù)特定的比例關(guān)系，操作界面中的手勢按照相應(yīng)的方向運動一定的距離，距離長短和速度有關(guān)。
[0006]這種手勢速度映射方法僅用到了手勢運動的相對坐標(biāo)信息，即傳感器捕捉到圖像中前后兩幀手勢絕對坐標(biāo)的差值。這樣在實際操作過程中，尤其是一個剛接觸這種系統(tǒng)的新用戶無法直觀的把握手勢的速度和位置，會出現(xiàn)界面中想要漫游到的目的地超過了當(dāng)前用戶手勢能夠達(dá)到的范圍。例如，用戶使用右手操作，此時其右手已經(jīng)向右伸展到其能及的最遠(yuǎn)處，而因為是采用的速度映射，界面中的手勢可能在界面的最左邊，此時用戶必須將手收回來，重新進(jìn)行操作。這樣降低了人機交互系統(tǒng)的易用性，增加了用戶熟悉、學(xué)習(xí)及適應(yīng)的時間。
[0007]因此，應(yīng)該結(jié)合這兩種映射方式的優(yōu)點，制定一種新的空中手勢漫游的控制方法。
【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點與不足，提供一種基于距離向量的空中手勢漫游控制方法。該控制方法解決了手勢坐標(biāo)的直接映射中，選擇距離當(dāng)前手勢坐標(biāo)較遠(yuǎn)的項目時用戶需要運動手勢到較遠(yuǎn)的距離和選擇坐標(biāo)相近的項目時不夠精確的問題；該控制方法還解決了手勢的速度映射中，想要選擇的項目所在的位置已經(jīng)超出了當(dāng)前現(xiàn)實中用戶的手勢能夠到達(dá)的位置。
[0009]本發(fā)明的目的通過下述技術(shù)方案實現(xiàn):一種基于距離向量的空中手勢漫游控制方法，包括以下步驟:
[0010]步驟一、獲取和分析處理視頻圖像序列；
[0011]步驟二、檢測五指張開手勢和握拳手勢，框定檢測到的人手區(qū)域為感興趣區(qū)域，并記錄下用戶開始控制的初始位置，以初始化控制區(qū)域；
[0012]步驟三、在感興趣區(qū)域內(nèi)對圖像進(jìn)行膚色分割算法操作，獲取感興趣區(qū)域內(nèi)的膚色信息；
[0013]步驟四、在感興趣區(qū)域內(nèi)對相鄰兩幀的圖像進(jìn)行差分操作，得到感興趣區(qū)域內(nèi)人手的運動信息；
[0014]步驟五、由所述步驟三和步驟四得到的人手膚色信息和運動信息計算得到每一幀圖像中人手的位置坐標(biāo)信息；
[0015]步驟六、確定界面中的手勢運動方向和運動速率；
[0016]步驟七、界面中的手勢按照步驟六中確定的方向和速率做出相應(yīng)的響應(yīng)，使手勢漫游。
[0017]所述步驟二包括以下步驟:
[0018]步驟A、利用Adaboost算法訓(xùn)練得到的固定手勢檢測分類器檢測五指張開手勢和握拳手勢；五指張開手勢和握拳手勢的分類器分別由正樣本集和負(fù)樣本集訓(xùn)練得到，所述樣本集中包含了在不同背景、不同光照條件、不同人的手勢樣本圖片，所述負(fù)樣本集同樣包含了在不同背景、不同光照條件下的圖像，但其中不包含手勢；
[0019]步驟B、使用Haar-1ike特征和積分圖像對樣本圖像的特征進(jìn)行提取計算，每一輪訓(xùn)練得到的弱分類器具有不同的權(quán)值，識別率高的弱分類器具有更大的權(quán)重，識別率低的弱分類器權(quán)重則低，多輪訓(xùn)練后把得到的若干個弱分類器聯(lián)合起來得到一個識別成功率較高的強分類器，將訓(xùn)練得到的多個強分類器組成一個級聯(lián)結(jié)構(gòu)的分類器，具有很高的檢測成功率；
[0020]步驟C、使用訓(xùn)練得到的分類器對圖像中五指張開和握拳兩種手勢進(jìn)行檢測，在成功找到人手區(qū)域后，記錄下人手區(qū)域所在的矩形位置信息，其左上角為(? %)，寬為w，高為h;設(shè)定該矩形區(qū)域為感興趣區(qū)域，同時得到人手的中心位置點(Xc;，y。)，其中Xc=Xo+0.5*W, yc=y0+0.5*h,記錄人手的中心位置點，作為用戶開始控制的初始位置，以確定初始位置點，并初 始化圓環(huán)控制區(qū)域。
[0021]所述步驟三包括以下步驟:
[0022]步驟1、根據(jù)膚色樣本分析，人手膚色在YCrCb顏色空間具有很好的聚類性，除去亮度Y的影響，膚色的Cr和Cb通道都集中在一小塊橢圓區(qū)域內(nèi)，YCrCb顏色空間與RGB顏色空間的轉(zhuǎn)換關(guān)系如下:
[0023]Y=0.257R+0.504G+0.098B+16,
[0024]Cb=-0.148R-0.219G+0.439B+128,
[0025]Cr=0.439R-0.368G-0.071B+128,
[0026]根據(jù)人手膚色樣本集分析，人手膚色Cr、Cb通道的閾值:
[0027]Thres(Cb, Cr) = {Cb, Cr | 95〈Cb〈139, 122<Cr<167}，
[0028]其中，Thres(Cb, Cr)表示閾值；
[0029]步驟I1、把視頻序列中得到的RGB圖像先轉(zhuǎn)換為YCrCb顏色空間上的圖像，再利用閾值Thres (Cb，Cr)對圖像進(jìn)行膚色分割，得到膚色的二值圖像，即:
[0030]
【權(quán)利要求】
1.一種基于距離向量的空中手勢漫游控制方法，其特征在于，包括以下步驟: 步驟一、獲取和分析處理視頻圖像序列； 步驟二、檢測五指張開手勢和握拳手勢，框定檢測到的人手區(qū)域為感興趣區(qū)域，并記錄下用戶開始控制的初始位置，以初始化控制區(qū)域； 步驟三、在感興趣區(qū)域內(nèi)對圖像進(jìn)行膚色分割算法操作，獲取感興趣區(qū)域內(nèi)的膚色信息； 步驟四、在感興趣區(qū)域內(nèi)對相鄰兩幀的圖像進(jìn)行差分操作，得到感興趣區(qū)域內(nèi)人手的運動信息； 步驟五、由所述步驟三和步驟四得到的人手膚色信息和運動信息計算得到每一幀圖像中人手的位置坐標(biāo)信息； 步驟六、確定界面中的手勢運動方向和運動速率； 步驟七、界面中的手勢按照步驟六中確定的方向和速率做出相應(yīng)的響應(yīng)，使手勢漫游。
2.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢漫游控制方法，其特征在于，所述步驟二包括以下步驟: 步驟A、利用Adaboost算 法訓(xùn)練得到的固定手勢檢測分類器檢測五指張開手勢和握拳手勢；五指張開手勢和握拳手勢的分類器分別由正樣本集和負(fù)樣本集訓(xùn)練得到，所述樣本集中包含了在不同背景、不同光照條件、不同人的手勢樣本圖片，所述負(fù)樣本集同樣包含了在不同背景、不同光照條件下的圖像，但其中不包含手勢； 步驟B、使用Haar-1ike特征和積分圖像對樣本圖像的特征進(jìn)行提取計算，每一輪訓(xùn)練得到的弱分類器具有不同的權(quán)值，識別率高的弱分類器具有更大的權(quán)重，識別率低的弱分類器權(quán)重則低，多輪訓(xùn)練后把得到的若干個弱分類器聯(lián)合起來得到一個識別成功率較高的強分類器，將訓(xùn)練得到的多個強分類器組成一個級聯(lián)結(jié)構(gòu)的分類器，具有很高的檢測成功率； 步驟C、使用訓(xùn)練得到的分類器對圖像中五指張開和握拳兩種手勢進(jìn)行檢測，在成功找到人手區(qū)域后，記錄下人手區(qū)域所在的矩形位置信息，其左上角為(X(i, y0),寬為w,高為h ;設(shè)定該矩形區(qū)域為感興趣區(qū)域，同時得到人手的中心位置點U。，y。)，其中Xc=X(l+0.5*w,yd+0.5 *h,記錄人手的中心位置點，作為用戶開始控制的初始位置，以確定初始位置點，并初始化圓環(huán)控制區(qū)域。
3.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢漫游控制方法，其特征在于，所述步驟三包括以下步驟: 步驟1、根據(jù)膚色樣本分析，人手膚色在YCrCb顏色空間具有很好的聚類性，除去亮度Y的影響，膚色的Cr和Cb通道都集中在一小塊橢圓區(qū)域內(nèi)，YCrCb顏色空間與RGB顏色空間的轉(zhuǎn)換關(guān)系如下:
Y=0.257R+0.504G+0.098B+16,
Cb=-0.148R-0.219G+0.439B+128,
Cr=0.439R-0.368G-0.071B+128, 根據(jù)人手膚色樣本集分析，人手膚色Cr、Cb通道的閾值:
Thres (Cb, Cr) = {Cb, Cr | 95〈Cb〈139, 122〈Cr〈167}， 其中，Thres (Cb, Cr)表示閾值；步驟I1、把視頻序列中得到的RGB圖像先轉(zhuǎn)換為YCrCb顏色空間上的圖像，再利用閾值Thres(Cb1Cr)對圖像進(jìn)行膚色分割，得到膚色的二值圖像，即:

4.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢漫游控制方法，其特征在于，所述步驟四中，對在感興趣區(qū)域內(nèi)對相鄰兩幀的圖像進(jìn)行差分操作的操作方法為:設(shè)It為當(dāng)前幀圖像，It^1為前一幀圖像，計算得到兩幀圖像的差分結(jié)果，并對差分結(jié)果作二值化處理，即:
5.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢漫游控制方法，其特征在于，所述步驟五中，把由步驟三和步驟四中得到的人手膚色信息和運動信息相結(jié)合，即取兩者并集，在感興趣區(qū)域內(nèi)得到一個去除背景噪聲干擾，描述人手信息的二值圖像I，由零階矩和二一階矩計算圖像I中的目標(biāo)的質(zhì)心;零階矩即為圖像像素值的總和:
6.根據(jù)權(quán)利要求1所述的基于距離向量的空中手勢漫游控制方法，其特征在于，所述步驟六中，確定界面中的手勢運動方向和運動速率的方法為:對人手跟蹤所得位置結(jié)果進(jìn)行映射，并由所述步驟五得到的當(dāng)前幀手勢的坐標(biāo)信息(x，y)和所述步驟二得到的初始中心位置點m的距離大小，根據(jù)距離和速率的比例關(guān)系，確定界面中手勢的移動速率；同時，根據(jù)初始位置和當(dāng)前手勢所在位置的向量方向確定界面中手勢的移動方向。
【文檔編號】G06K9/46GK103793056SQ201410038474
【公開日】2014年5月14日 申請日期:2014年1月26日 優(yōu)先權(quán)日:2014年1月26日
【發(fā)明者】徐向民, 邱福浩 申請人:華南理工大學(xué)