一種結(jié)合人臉和手勢控制的人機(jī)交互方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種結(jié)合人臉和手勢控制的人機(jī)交互方法及裝置，該方法用于與人機(jī)交互裝置進(jìn)行交互，人機(jī)交互裝置獲取人手區(qū)域信息和人臉區(qū)域信息，根據(jù)人手區(qū)域和人臉區(qū)域分別計算并設(shè)置開啟人機(jī)交互的人手中心點和人臉中心點，通過人手中心點和人臉中心點的運(yùn)動軌跡，分別判斷是靜態(tài)變化手勢或動態(tài)變化手勢、靜態(tài)人臉動作或動態(tài)人臉動作。人機(jī)交互裝置識別并獲得與動作對應(yīng)的控制指令，控制指令用于控制終端設(shè)備完成相應(yīng)的操作。該人機(jī)交互方法在傳統(tǒng)的人機(jī)交互方法的基礎(chǔ)上進(jìn)行了改進(jìn)，解決了傳統(tǒng)人機(jī)交互方法中存在的問題；相比于傳統(tǒng)的人機(jī)交互方法，該方法步驟設(shè)計更為合理有效，作用明顯，效果顯著，具有很高的實用價值。
【專利說明】一種結(jié)合人臉和手勢控制的人機(jī)交互方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種結(jié)合人臉和手勢控制的人機(jī)交互方法及裝置，屬于人工智能與圖像處理【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]隨著科技的發(fā)展，各種智能設(shè)備的應(yīng)用越來越廣泛。人與智能設(shè)備之間的人機(jī)交互也越來越多，人機(jī)交互方式有接觸式和非接觸式兩種,接觸式的人機(jī)交互方式較為成熟和完善，而非接觸式的人機(jī)交互操作方式則處于研究起步階段。近年來，非接觸式的人機(jī)交互方式一直是人機(jī)交互方式中研究的熱點和難點問題，研究好非接觸式的人機(jī)交互方式具有很高使用價值，尤其是應(yīng)用到一些特殊要求的場合下則意義更為重大。
[0003]人臉與人體的其他生物特征一樣與生俱來，它具有唯一性和不易復(fù)制的良好特性。人臉作為一種三維物體，受光照變化、姿態(tài)、表情和其他因素的共同影響。人臉識別是近年來模式識別、圖像處理、機(jī)器視覺、神經(jīng)網(wǎng)絡(luò)以及認(rèn)知科學(xué)等領(lǐng)域研究的熱點課題之一。
[0004]手勢是一種直觀的、自然地交互方式，表達(dá)方式快捷，表達(dá)意義豐富，是人類相互交流信息的重要工具。手勢識別是按照某種規(guī)則識別出手勢表達(dá)的內(nèi)容，具有很強(qiáng)的一致性和擴(kuò)展性。在應(yīng)用方面，手勢識別系統(tǒng)可以實現(xiàn)聾啞人與正常人交流，也可以在應(yīng)用軟件中直接操作軟件或虛擬對象。從手的結(jié)構(gòu)來看，手勢包含手指和手掌；從手在三維空間的移動來分，可以在水平，垂直，深度三個方向移動。不同數(shù)量的手指結(jié)合不同方向的移動再加上手掌的變化可以組合成不同的手勢，可以實現(xiàn)控制，移動等不同的運(yùn)用。近年來，如何將人臉和手勢結(jié)合起來達(dá)到更好的人與人或人機(jī)交互，是研究的熱點和難點問題。


【發(fā)明內(nèi)容】

[0005]為解決上述問題，本發(fā)明提供一種結(jié)合人臉和手勢控制的人機(jī)交互方法，該方法能夠更為精準(zhǔn)得獲取手勢控制信息，且該方法豐富了人機(jī)交互的多樣性，實現(xiàn)更為有效的人機(jī)交互操作。
[0006]本發(fā)明還提供一種用于實現(xiàn)上述結(jié)合人臉和手勢控制的人機(jī)交互方法的裝置。
[0007]術(shù)語說明:
[0008]1、深度信息，是指深度圖像具有的物體三維特征信息，深度圖像不同與通常所處理的二維圖像，深度圖像中的像素代表了一個相對的深度信息，因此每個像素都包含了三維坐標(biāo)系下各個坐標(biāo)值的信息，深度圖像數(shù)據(jù)反映了景物表面的三維信息。
[0009]2、圖像形態(tài)學(xué)處理，是指將數(shù)字形態(tài)學(xué)作為工具從圖像中提取對于表達(dá)和描繪區(qū)域形狀有用處的圖像分量，比如邊界、骨架以及凸殼，還包括用于預(yù)處理或后處理的形態(tài)學(xué)過濾、細(xì)化和修剪等。
[0010]本發(fā)明的技術(shù)方案如下:
[0011]一種結(jié)合人臉和手勢控制的人機(jī)交互方法，該方法包括:通過人體的動作集實現(xiàn)與人機(jī)交互裝置的操作，所述動作集包括單純?nèi)耸謩幼鳌渭內(nèi)四槃幼骷叭耸峙c人臉結(jié)合的動作；
[0012]人機(jī)交互裝置分別獲取人臉區(qū)域信息和人手區(qū)域信息，其中，所述人手區(qū)域位于人體與所述人機(jī)交互裝置之間；所述人手動作為人手區(qū)域內(nèi)的人手動作，所述人臉動作為人臉區(qū)域內(nèi)的人臉動作；
[0013]所述人機(jī)交互裝置根據(jù)人手區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人手中心點，所述人手中心點作為人手區(qū)域在三維空間運(yùn)動的參考基點，通過判斷人手中心點在三維空間內(nèi)的運(yùn)動軌跡，來確定人手動作為靜態(tài)變化手勢或動態(tài)變化手勢；所述人機(jī)交互裝置根據(jù)人臉區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人臉中心點，所述人臉中心點作為人臉區(qū)域在三維空間運(yùn)動的參考基點，通過判斷人臉中心點在三維空間內(nèi)的運(yùn)動軌跡，來確定人臉動作為靜態(tài)臉部動作或動態(tài)臉部動作；
[0014]所述人機(jī)交互裝置識別并獲得與動作集里的動作相對應(yīng)的控制指令，所述控制指令用于控制終端設(shè)備完成相應(yīng)操作。
[0015]優(yōu)選的，所述人機(jī)交互裝置獲取人手區(qū)域信息的過程包括:
[0016]首先，所述人機(jī)交互裝置根據(jù)獲取的人臉區(qū)域信息計算并得到人體的膚色特征，再根據(jù)人手深度信息和膚色特征獲取人手區(qū)域信息，最后根據(jù)優(yōu)化算法并結(jié)合圖像形態(tài)學(xué)處理，對人手區(qū)域信息進(jìn)行優(yōu)化處理。
[0017]進(jìn)一步優(yōu)選的,所述優(yōu)化算法為Blob labeling算法。
[0018]優(yōu)選的，所述人手中心點設(shè)置為手掌的最大內(nèi)切圓圓心或整個手的最小外接圓圓心；所述人臉中心點設(shè)置為人臉最小外接圓圓心或最大內(nèi)切圓圓心。
[0019]優(yōu)選的，所述人手中心點在三維空間內(nèi)的運(yùn)動軌跡，是通過判斷人手中心點在三維坐標(biāo)系內(nèi)的位移與閾值的大小關(guān)系，確定人手動作是靜態(tài)變化手勢還是動態(tài)變化手勢:人手中心點在三維空間內(nèi)對應(yīng)一個三維坐標(biāo)，通過判斷該人手中心點運(yùn)動軌跡在三維坐標(biāo)系內(nèi)X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預(yù)先設(shè)定的閾值，則人手動作為靜態(tài)變化手勢，若該組合位移向量的值大于預(yù)先設(shè)定的閾值，則人手動作為動態(tài)變化手勢。
[0020]進(jìn)一步優(yōu)選的，所述靜態(tài)變化手勢包括識別手指伸縮個數(shù)的結(jié)合確定的手勢、以手的輪廓與外接圓面積比參數(shù)確定的手勢、以手的有效凸缺陷加有效凸缺陷特征角的個數(shù)確定的手勢、以本征圖像的一維特征向量確定的手勢；所述動態(tài)變化手勢包括單純?nèi)耸种行狞c的位移確定的動態(tài)變化手勢、人手中心點的位移結(jié)合手勢變化確定的動態(tài)變化手勢。此設(shè)計的好處在于，動態(tài)變化手勢除了包括單純?nèi)耸种行狞c上下、左右、前后的位移變化帶來的手勢控制，還包括結(jié)合人手中心點的位置變化和手指或手掌的姿態(tài)變化帶來的手勢控制，減少了手勢識別時間，增加了人機(jī)交互過程中人機(jī)交互裝置操作的多樣性。
[0021]優(yōu)選的，所述人臉中心點在三維空間內(nèi)的運(yùn)動軌跡，是通過判斷人臉中心點在三維坐標(biāo)系內(nèi)的位移與閾值的大小關(guān)系，確定人臉動作是靜態(tài)臉部動作還是動態(tài)臉部動作:人臉中心點在三維空間內(nèi)對應(yīng)一個三維坐標(biāo)，通過判斷該人臉中心點運(yùn)動軌跡在三維坐標(biāo)系內(nèi)X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預(yù)先設(shè)定的閾值，則人臉動作為靜態(tài)臉部動作，若該組合位移向量的值大于預(yù)先設(shè)定的閾值，則人臉動作為動態(tài)臉部動作。
[0022]進(jìn)一步優(yōu)選的,所述靜態(tài)臉部動作包括人臉五官變化的動作,所述動態(tài)臉部動作包括人腦袋位置變化引起的動作。
[0023]優(yōu)選的，所述人機(jī)交互方法還包括人機(jī)交互裝置定時獲取并更新膚色特征的過程。此設(shè)計的目的在于，在進(jìn)行人機(jī)交互的過程中，人機(jī)交互裝置的光照變化難免對膚色產(chǎn)生影響，通過設(shè)置定時提取圖像裝置，定時更新膚色特征，以便人機(jī)交互裝置能夠準(zhǔn)確檢測到人手區(qū)域的手勢動作。
[0024]一種用于實現(xiàn)結(jié)合人臉和手勢控制的人機(jī)交互方法的裝置，包括依次連接的圖像獲取模塊、動作處理模塊、功能實現(xiàn)模塊和終端設(shè)備；所述圖像獲取模塊分別獲取人臉區(qū)域信息和人手區(qū)域信息后，由動作處理模塊根據(jù)人臉區(qū)域信息和人手區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人臉中心點和人手中心點，動作處理模塊通過人臉中心點和人手中心點的運(yùn)動軌跡結(jié)合手勢和臉部動作判斷來識別人體的動作集后傳輸給功能實現(xiàn)模塊，功能實現(xiàn)模塊加載有與該動作信息相對應(yīng)的控制指令，該控制指令進(jìn)行終端設(shè)備的操作。
[0025]優(yōu)選的，該裝置還包括定時提取模塊，所述定時提取模塊用以對圖像獲取模塊獲取的人臉區(qū)域信息定時獲取并更新膚色特征。
[0026]本發(fā)明的有益效果在于:
[0027]1.本人機(jī)交互方法改變了傳統(tǒng)單純獲取手勢圖像進(jìn)行終端設(shè)備操作的方式，通過將人臉信息與人手信息結(jié)合起來，相應(yīng)地豐富了人機(jī)交互裝置的控制指令，實現(xiàn)了控制終端設(shè)備操作的多樣性。
[0028]2.本人機(jī)交互方法改變了傳統(tǒng)單純獲取手勢圖像進(jìn)行終端設(shè)備操作的方式，通過在人機(jī)交互過程中加入人臉信息這一因素，使人機(jī)交互裝置通過獲取膚色特征能夠進(jìn)行更為精確地定位人手區(qū)域，在精確的人手區(qū)域內(nèi)進(jìn)行的手勢動作能夠使人機(jī)交互裝置進(jìn)行更為有效的終端設(shè)備操作，解決了傳統(tǒng)人機(jī)交互過程中手勢識別度不高而帶來的誤操作、反復(fù)操作等問題。
[0029]3.本人機(jī)交互方法區(qū)別于傳統(tǒng)人機(jī)交互裝置對手勢動作不進(jìn)行區(qū)分識別的單一做法，在人機(jī)交互裝置進(jìn)行動作識別前，先對手勢動作和人臉動作進(jìn)行劃分識別為靜態(tài)變化手勢還是動態(tài)變化手勢，靜態(tài)臉部動作還是動態(tài)臉部動作，提高了手勢動作和人臉動作識別的有效性；同時，靜態(tài)變化手勢或動態(tài)變化手勢，靜態(tài)臉部動作或動態(tài)臉部動作能夠更容易分類定義不同手勢、人臉下的操作動作，提高了人機(jī)交互裝置的實用性和控制性。
[0030]4.本人機(jī)交互方法通過增加定時獲取并更新膚色特征的設(shè)計，其目的是為了減少圖像獲取設(shè)備光照對膚色的影響，進(jìn)而獲得更為準(zhǔn)確的人手區(qū)域，對手勢動作的識別會更為準(zhǔn)確無誤。
[0031]5.本人機(jī)交互方法在傳統(tǒng)人機(jī)交互方法的基礎(chǔ)上進(jìn)行了改進(jìn)，解決了傳統(tǒng)人機(jī)交互方法中存在的問題；相比于傳統(tǒng)的人機(jī)交互方法，該方法步驟設(shè)計更為合理有效，其作用更為明顯，效果更為顯著，具有更高的實用價值。

【專利附圖】

【附圖說明】
[0032]圖1為人機(jī)交互過程中人機(jī)交互裝置的結(jié)構(gòu)示意圖；
[0033]圖2為人機(jī)交互過程中人機(jī)交互裝置各部分的結(jié)構(gòu)框圖；
[0034]圖3為人機(jī)交互過程中交互方法的流程示意圖。

【具體實施方式】
[0035]下面通過實施例并結(jié)合附圖對本發(fā)明做進(jìn)一步說明，但不限于此。
[0036]實施例1:
[0037]一種結(jié)合人臉和手勢控制的人機(jī)交互方法，所述方法包括:
[0038]首先根據(jù)人機(jī)交互裝置獲取的圖像鎖定人臉區(qū)域，這一過程可根據(jù)生理學(xué)知識，比如人臉的長寬比范圍(0.9，2.0)結(jié)合Adaboost算法，來獲取較為可靠的人臉區(qū)域，然后根據(jù)獲取的人臉區(qū)域得到膚色特征，此過程由圖像獲取裝置后期處理來獲得膚色特征，
[0039]其次，在實際操作過程中，人手區(qū)域位于人體與人機(jī)交互裝置之間；根據(jù)人手深度信息結(jié)合膚色特征來獲取人手區(qū)域信息，接著根據(jù)Blob labeling優(yōu)化算法并結(jié)合圖像形態(tài)學(xué)處理的操作，進(jìn)行去噪處理，進(jìn)一步得到更為精確的人手區(qū)域信息。
[0040]人機(jī)交互裝置根據(jù)人手區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人手中心點，該人手中心點為手掌的最大內(nèi)切圓圓心，以此人手中心點作為人手區(qū)域在三維空間運(yùn)動的參考基點；人機(jī)交互裝置根據(jù)人臉區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人臉中心點，將人臉中心點選為人臉最小外接圓的圓心；
[0041 ] 判斷人手中心點在三維空間內(nèi)的運(yùn)動軌跡，通過判斷人手中心點在三維坐標(biāo)內(nèi)位移與人機(jī)交互裝置預(yù)先設(shè)定的閾值M的大小關(guān)系，具體過程是:該人手中心點在三維空間內(nèi)對應(yīng)一個三維坐標(biāo)，通過判斷該人手中心點運(yùn)動軌跡在三維坐標(biāo)系內(nèi)X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預(yù)先設(shè)定的閾值M，則人手動作為靜態(tài)變化手勢，若該組合位移向量的值大于預(yù)先設(shè)定的閾值M，則人手動作為動態(tài)變化手勢。
[0042]靜態(tài)變化手勢包括以手指伸縮個數(shù)的結(jié)合確定的手勢，如伸出三個手指；或以手的輪廓與外接圓面積比參數(shù)確定的手勢，如握拳；或以手的有效凸缺陷加有效凸缺陷特征角的個數(shù)確定的手勢；或以本征圖像的一維特征向量確定的手勢；動態(tài)變化手勢包括人手中心點的位移確定的動態(tài)變化手勢，如人手左右移動或前后移動或上下移動；人手中心點的位移結(jié)合手勢變化確定的動態(tài)變化手勢，如人手左右移動的同時又伸出三根手指或人手前后移動的同時握拳。
[0043]動態(tài)變化手勢除了包括單純?nèi)耸种行狞c上下、左右、前后的位移變化帶來的手勢控制，還包括結(jié)合人手中心點的位置變化和手指或手掌的姿態(tài)變化帶來的手勢控制，增加了人機(jī)交互過程中人機(jī)交互裝置操作的多樣性。
[0044]人臉中心點在三維空間內(nèi)的運(yùn)動軌跡，是通過判斷人臉中心點在三維坐標(biāo)系內(nèi)的位移與人機(jī)交互裝置預(yù)先設(shè)定的閾值N的大小關(guān)系，確定人臉動作是靜態(tài)臉部動作還是動態(tài)臉部動作。具體過程是:人臉中心點在三維空間內(nèi)對應(yīng)一個三維坐標(biāo)，通過判斷該人臉中心點運(yùn)動軌跡在三維坐標(biāo)系內(nèi)X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預(yù)先設(shè)定的閾值N，則人臉動作為靜態(tài)臉部動作，如單純?nèi)四樜骞俚淖兓?，例如眨眼或張嘴或皺眉；若該組合位移向量的值大于預(yù)先設(shè)定的閾值N，則人臉動作為動態(tài)臉部動作，人腦袋位置變化引起的動作，如抬頭、低頭、伸頭、轉(zhuǎn)臉等。
[0045]最終，人機(jī)交互裝置識別并獲得與動作集里的動作相對應(yīng)的控制指令，控制指令用于控制終端的終端設(shè)備完成相應(yīng)的操作，如抓取、拿放、開關(guān)、啟動、暫停等動作。人機(jī)交互裝置將相應(yīng)指令預(yù)先存儲于數(shù)據(jù)庫中，當(dāng)人展現(xiàn)某一動作時，人機(jī)交互裝置識別并從數(shù)據(jù)庫中調(diào)取與該動作相對應(yīng)的控制指令，該控制指令控制終端設(shè)備實現(xiàn)特定的操作動作。
[0046]實施例2:
[0047]一種結(jié)合人臉和手勢控制的人機(jī)交互方法，其方法步驟如實施例1所述，其不同之處在于，根據(jù)整個人手的最小外接圓圓心，以此圓心為人機(jī)交互手勢的人手中心點；將人臉中心點選為人臉最大內(nèi)切圓的圓心。
[0048]實施例3:
[0049]一種結(jié)合人臉和手勢控制的人機(jī)交互方法，其方法步驟如實施例1所述，其不同之處在于，該人機(jī)交互方法還包括人機(jī)交互裝置定時獲取并更新膚色特征的過程。在進(jìn)行人機(jī)交互的過程中，人機(jī)交互裝置的光照變化難免對膚色產(chǎn)生影響，通過設(shè)置定時提取圖像裝置，定時更新膚色特征，以便人機(jī)交互裝置能夠準(zhǔn)確檢測到人手區(qū)域的手勢動作。
[0050]實施例4:
[0051]一種用于結(jié)合人臉和手勢控制的人機(jī)交互方法的裝置，包括依次連接的圖像獲取模塊、動作處理模塊、功能實現(xiàn)模塊和終端設(shè)備；所述圖像獲取模塊分別獲取人臉區(qū)域信息和人手區(qū)域信息后，由動作處理模塊根據(jù)人臉區(qū)域信息和人手區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人臉中心點和人手中心點，動作處理模塊通過人臉中心點和人手中心點的運(yùn)動軌跡結(jié)合手勢和臉部動作判斷來識別人體的動作集后傳輸給功能實現(xiàn)模塊，功能實現(xiàn)模塊加載有與該動作信息相對應(yīng)的控制指令，該控制指令進(jìn)行終端設(shè)備的操作。
[0052]該裝置還包括定時提取模塊，所述定時提取模塊用以對圖像獲取模塊獲取的人臉區(qū)域信息定時獲取并更新膚色特征。通過定時更新膚色特征，以便人機(jī)交互裝置能夠準(zhǔn)確檢測到人手區(qū)域的手勢動作。
【權(quán)利要求】
1.一種結(jié)合人臉和手勢控制的人機(jī)交互方法，該方法包括:通過人體的動作集實現(xiàn)與人機(jī)交互裝置的操作，所述動作集包括單純?nèi)耸謩幼?、單純?nèi)四槃幼骷叭耸峙c人臉結(jié)合的動作； 人機(jī)交互裝置分別獲取人臉區(qū)域信息和人手區(qū)域信息，其中，所述人手區(qū)域位于人體與所述人機(jī)交互裝置之間；所述人手動作為人手區(qū)域內(nèi)的人手動作，所述人臉動作為人臉區(qū)域內(nèi)的人臉動作； 所述人機(jī)交互裝置根據(jù)人手區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人手中心點，所述人手中心點作為人手區(qū)域在三維空間運(yùn)動的參考基點，通過判斷人手中心點在三維空間內(nèi)的運(yùn)動軌跡，來確定人手動作為靜態(tài)變化手勢或動態(tài)變化手勢；所述人機(jī)交互裝置根據(jù)人臉區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人臉中心點，所述人臉中心點作為人臉區(qū)域在三維空間運(yùn)動的參考基點，通過判斷人臉中心點在三維空間內(nèi)的運(yùn)動軌跡，來確定人臉動作為靜態(tài)臉部動作或動態(tài)臉部動作； 所述人機(jī)交互裝置識別并獲得與動作集里的動作相對應(yīng)的控制指令，所述控制指令用于控制終端設(shè)備完成相應(yīng)操作。
2.如權(quán)利要求1所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述人機(jī)交互裝置獲取人手區(qū)域信息的過程包括: 首先，所述人機(jī)交互裝置根據(jù)獲取的人臉區(qū)域信息計算并得到人體的膚色特征，再根據(jù)人手深度信息和膚色特征獲取人手區(qū)域信息，最后根據(jù)優(yōu)化算法并結(jié)合圖像形態(tài)學(xué)處理，對人手區(qū)域信息進(jìn)行優(yōu)化處理。
3.如權(quán)利要求2所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述優(yōu)化算法為Blob labeling算法。
4.如權(quán)利要求1所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述人手中心點設(shè)置為手掌的最大內(nèi)切圓圓心或整個手的最小外接圓圓心；所述人臉中心點設(shè)置為人臉最小外接圓圓心或最大內(nèi)切圓圓心。
5.如權(quán)利要求1所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述人手中心點在三維空間內(nèi)的運(yùn)動軌跡，是通過判斷人手中心點在三維坐標(biāo)系內(nèi)的位移與閾值的大小關(guān)系，確定人手動作是靜態(tài)變化手勢還是動態(tài)變化手勢:人手中心點在三維空間內(nèi)對應(yīng)一個三維坐標(biāo)，通過判斷該人手中心點運(yùn)動軌跡在三維坐標(biāo)系內(nèi)X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預(yù)先設(shè)定的閾值，則人手動作為靜態(tài)變化手勢，若該組合位移向量的值大于預(yù)先設(shè)定的閾值，則人手動作為動態(tài)變化手勢。
6.如權(quán)利要求5所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述靜態(tài)變化手勢包括識別手指伸縮個數(shù)的結(jié)合確定的手勢、以手的輪廓與外接圓面積比參數(shù)確定的手勢、以手的有效凸缺陷加有效凸缺陷特征角的個數(shù)確定的手勢、以本征圖像的一維特征向量確定的手勢；所述動態(tài)變化手勢包括單純?nèi)耸种行狞c的位移確定的動態(tài)變化手勢、人手中心點的位移結(jié)合手勢變化確定的動態(tài)變化手勢。
7.如權(quán)利要求1所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述人臉中心點在三維空間內(nèi)的運(yùn)動軌跡，是通過判斷人臉中心點在三維坐標(biāo)系內(nèi)的位移與閾值的大小關(guān)系，確定人臉動作是靜態(tài)臉部動作還是動態(tài)臉部動作:人臉中心點在三維空間內(nèi)對應(yīng)一個三維坐標(biāo)，通過判斷該人臉中心點運(yùn)動軌跡在三維坐標(biāo)系內(nèi)X軸Y軸Z軸的組合位移向量，若該組合位移向量的值小于預(yù)先設(shè)定的閾值，則人臉動作為靜態(tài)臉部動作，若該組合位移向量的值大于預(yù)先設(shè)定的閾值，則人臉動作為動態(tài)臉部動作。
8.如權(quán)利要求7所述的結(jié)合人臉和手勢控制的人機(jī)交互方法，其特征在于，所述靜態(tài)臉部動作包括人臉五官變化的動作，所述動態(tài)臉部動作包括人腦袋位置變化引起的動作；所述人機(jī)交互方法還包括人機(jī)交互裝置定時獲取并更新膚色特征的過程。
9.一種用于實現(xiàn)權(quán)利要求1至8任一項所述的結(jié)合人臉和手勢控制的人機(jī)交互方法的裝置，其特征在于，包括依次連接的圖像獲取模塊、動作處理模塊、功能實現(xiàn)模塊和終端設(shè)備；所述圖像獲取模塊分別獲取人臉區(qū)域信息和人手區(qū)域信息后，由動作處理模塊根據(jù)人臉區(qū)域信息和人手區(qū)域信息計算并設(shè)置開啟人機(jī)交互動作的人臉中心點和人手中心點，動作處理模塊通過人臉中心點和人手中心點的運(yùn)動軌跡結(jié)合手勢和臉部動作判斷來識別人體的動作集后傳輸給功能實現(xiàn)模塊，功能實現(xiàn)模塊加載有與該動作信息相對應(yīng)的控制指令，該控制指令進(jìn)行終端設(shè)備的操作。
10.如權(quán)利要求9所述的用于實現(xiàn)權(quán)利要求1至8任一項所述的結(jié)合人臉和手勢控制的人機(jī)交互方法的裝置，其特征在于，該裝置還包括定時提取模塊，所述定時提取模塊用以對圖像獲取模塊獲取的人臉區(qū)域信息定時獲取并更新膚色特征。
【文檔編號】G06F3/01GK104407694SQ201410597018
【公開日】2015年3月11日 申請日期:2014年10月29日 優(yōu)先權(quán)日:2014年10月29日
【發(fā)明者】張海霞, 尚蕾, 劉治, 孫彬, 金蕾 申請人:山東大學(xué)