專利名稱：一種手勢動作識別方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及人機交互技術，具體地說，涉及一種手勢動作識別方法和系統(tǒng)。
背景技術：
人機交互技術是近年來非常熱門的研究領域，鼠標和鍵盤等是傳統(tǒng)的人機交互設 備，近年來出現(xiàn)了諸如觸控控制、聲音控制、手勢控制等各種新型的人機交互方式，在用戶 體驗的自然性和友好性方面進行改進。特別是以手勢控制為代表的非接觸式人機交互方 式，通過各類傳感器設備，實時的或在較短時間內完成對手部動作的識別過程，并轉化為計 算機等宿主設備能夠識別的命令，是目前非常流行的一種人機交互方式。
手勢動作識別方法可以分為基于數(shù)據(jù)手套的技術和基于機器視覺的技術兩類，使 用數(shù)據(jù)手套的方式可以較為準確的感應和識別手部的細微動作，但是需要佩戴專門的數(shù)據(jù) 手套，目前主要用于科學研究、精細控制、機器人等特殊應用領域。這種手勢動作識別方法 使用麻煩，用戶體驗非常不好，手勢運動不靈活。
而基于機器視覺進行手勢動作識別的方法，則因為要求對手部圖像進行識別，所 以要求手部距離圖像傳感器較近，以便獲取足夠識別處理的圖像畫面。對于手部的識別通 常采用以顏色分布統(tǒng)計的色彩直方圖為依據(jù)，因為皮膚顏色可以很容易的與其他部分分離 出來，但這種方法對于環(huán)境光照、衣服顏色等有比較高的要求。對于手部的識別還有一種方 法，就是使用特殊的顏色粘貼在手指的特定位置上，通過識別特殊色塊圖像來代替對手部 的識別，這樣可以在一定程度上減少圖像處理的工作量，但還是需要在用戶手上進行特別 標識，使用起來也不方便。
傳統(tǒng)的手勢動作識別過程需要手勢建模、手勢分割、手勢分析等多個復雜步驟和 過程。手勢識別又可細分為靜態(tài)手勢識別和動態(tài)手勢識別兩類，靜態(tài)手勢對應手勢模型參 數(shù)空間里的一個點，而動態(tài)手勢則對應手勢模型空間里的一條軌跡，因此要涉及時間和空 間上下文關系。特別是對于動態(tài)手勢而言，不同的用戶在進行手勢動作的時候會存在速率 差異、軌跡差異、熟練程度的差異等，從而導致手勢建模軌跡在時間軸上引起非線性波動， 而這種非線性波動的消除是非常困難和復雜的，所以傳統(tǒng)的基于二維圖像的動態(tài)識別率普 遍不夠高。發(fā)明內容
本發(fā)明的主要目的在于克服現(xiàn)有技術的不足之處，公開一種手勢動作識別方法和 系統(tǒng)，采用紅外深度圖像傳感器和深度圖像處理技術，大大提高動態(tài)手勢識別效率，提升用 戶體驗。
本發(fā)明公開了一種手勢動作識別方法，包括如下步驟A，向用戶及其所在環(huán)境發(fā)射結構光平面；再通過光傳感器接收用戶及其所在環(huán)境反 射回來的結構光信號獲取感應圖像；然后通過深度圖像處理單元獲取感應圖像中的深度信B,周期性地反復選擇并記錄所述深度信息中的最靠近結構光發(fā)射單元的信息，獲取 手部運動軌跡信息；C，通過手勢動作識別單元識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作 控制命令。
本發(fā)明公開的手勢動作識別方法，還可以包括D，將所述用戶手勢動作控制命令轉換為宿主設備能夠識別的控制命令。
在所述步驟B中，開可以進一步包括根據(jù)設定的時間間隔，周期性地把原始軌跡 坐標保存在坐標數(shù)據(jù)緩存數(shù)組中，再將該原始軌跡坐標按照所述XY平面分割方向進行分 組，并將同組的相鄰緩存數(shù)據(jù)去除，得到手部運動軌跡信息；然后在所述步驟C中，再順序的按照分組標識匹配手部運動軌跡信息與手勢動作模板。
本發(fā)明公開的手勢動作識別方法，還利用插值算法，根據(jù)需要對所述手部運動軌 跡信息中補充因為跳幀或采集設備誤差引起的分組數(shù)據(jù)不連續(xù)進行補充。
本發(fā)明還公開了一種手勢動作識別系統(tǒng)，包括中央處理器單元，用于通過軟件和 外圍電路控制本系統(tǒng)協(xié)調工作；還包括結構光發(fā)射單元，用于向用戶所在位置發(fā)射結構光平面；結構光傳感器，用于接收用戶反射回來的結構光信號構成的感應圖像；深度圖像處理單元，用于獲取感應圖像中的深度信息；手部目標跟蹤單元，用于選擇并記錄所述深度信息中的最靠近所述結構光發(fā)射單元的 信息，即為手部運動軌跡信息；手勢動作識別單元，用于識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控 制命令。
本發(fā)明公開的手勢動作識別系統(tǒng)，還可以包括控制命令轉換單元，用于將所述用戶手勢動作控制命令轉換為宿主設備能夠識別的控 制命令。
在本發(fā)明公開的手勢動作識別系統(tǒng)中，還包括用于存儲坐標數(shù)據(jù)緩存數(shù)組的存儲 器；所述手部目標跟蹤單元根據(jù)設定的時間間隔，周期性地把原始軌跡坐標保存在所述存 儲器中。
本發(fā)明公開的一種手勢動作識別方法和系統(tǒng)，因為采用紅外深度圖像傳感器和深 度圖像處理技術，所以可以將用戶的手部動作高效的從復雜背景中分離出來，并能夠進行 實時的手部運動跟蹤，進而通過手部運動軌跡和基于空間方向分割的手勢識別模板，完成 手勢動作識別過程，不需要進行事先的手勢建模和學習，從而大大提高動態(tài)手勢識別效率， 提升了用戶體驗。


圖1為本發(fā)明的手勢動作識別系統(tǒng)的一個實施例的電氣結構框圖。
圖2為本發(fā)明的手勢動作識別方法中使用的XY平面分割示意圖。
圖3為本發(fā)明的動態(tài)手勢動作識別方法的一個實施例的流程圖。
圖4為本發(fā)明的動態(tài)手勢動作識別方法的一個實施例的手勢模板匹配流程圖。
具體實施方式
下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。
本發(fā)明的手勢動作識別方法基于紅外深度圖像傳感器和深度圖像處理單元，可以 將用戶動態(tài)手部動作高效的從復雜背景中分離出來，并能夠進行實時的手部運動跟蹤，進 而通過手部運動軌跡和基于空間方向分割的手勢識別模板，完成手勢動作識別過程，不需 要進行事先的手勢建模和學習，從而可以較好的避免傳統(tǒng)手勢動作識別中存在的問題，大 大提聞動態(tài)手勢識別效率。
如圖1所示為本發(fā)明的手勢動作識別設備的一個實施例的電氣結構框圖，其主要 構成包括紅外結構光發(fā)射單元用于向用戶所在方向發(fā)射有編碼的結構光平面。
紅外結構光傳感器單元也稱為紅外結構光感應單元，用于接收并感應經由用戶 所在環(huán)境反射回來的紅外結構光。
深度圖像處理單元根據(jù)結構光編碼技術原理,通過對比三維環(huán)境對象的結構光 編碼和原始的平面結構光編碼，來獲取結構光傳感器可視范圍內的場景深度信息。
手部目標跟蹤單元用于從環(huán)境背景中跟蹤用戶手部目標運動軌跡。不失一般性 地，我們假設用戶在實際使用環(huán)境中相對于其他場景部分是運動的，在本發(fā)明中，我們將用 戶手部動作范圍都默認限定在用戶身體前方，因此距離深度圖像傳感器距離最近的運動對 象像素位置即為用戶的手部對象。所以，我們只需跟蹤連續(xù)深度圖像數(shù)據(jù)幀中，深度最小的 運動像素目標即可達到用戶手部目標跟蹤的效果。這里，深度圖像數(shù)據(jù)幀是深度傳感器識 別和保存的深度圖像信息，每一個像素都是對應目標與傳感器之間的距離值。
手勢動作識別單元用于根據(jù)手部目標跟蹤單元的用戶手部運動軌跡跟蹤結果， 與預定的基于空間方向分割的手勢動作模板進行比對，并將比對結果作為手勢動作識別結 果發(fā)送給控制命令轉換單元。
控制命令轉換單元用于將特定的手勢動作指令轉換為宿主系統(tǒng)能夠識別的控制 命令，用于控制本發(fā)明的手勢動作控制設備的工作狀態(tài)。
如圖2所示為本發(fā)明的手勢動作識別方法中使用的XY平面分割示意圖。不失一 般性，我們以垂直于地平面的與用戶站立方向平行距離用戶30公分的XY平面為例，我們把 這個XY平面，以用戶單手平伸所形成的交點為坐標系原點，垂直于地面的為Y軸，平行于地 面的為X軸；在該平面上按照經過原點的X軸、Y軸、正負斜45度分割線為準，將該平面分 成8個部分，從正上方開始按照順時針方向編號分別對應S1、S2、S3、S 4、S 5、S 6、S 7、S8,共計8個區(qū)域。
如圖3所示為本發(fā)明的動態(tài)手勢動作識別方法的流程圖，作為本發(fā)明的一個實施 例，主要步驟包括1、紅外結構光發(fā)射單元向用戶所在方向發(fā)射經過編碼的平面結構光。
2、紅外結構光傳感器單元接收并感應經由用戶及其環(huán)境反射的紅外結構光。
3、深度圖像處理單元根據(jù)結構光編碼技術原理，通過對比三維環(huán)境對象的結構光 編碼和原始平面結構光編碼獲取感應圖像的深度信息，并存儲成連續(xù)的深度圖像幀。
4、手部目標跟蹤單元通過連續(xù)深度圖像幀的處理結果，跟蹤深度最小的運動像素部分目標，即用戶手勢動作軌跡。
5、手勢動作識別單元根據(jù)用戶連續(xù)的手勢動作軌跡與預設的基于空間方向分割 的手勢動作模板進行比對，識別用戶手勢動作。
這里，基于空間方向分割的手勢動作模板是指，不失一般性地，定義不同的 手勢動作模板，比如，向左揮手對應的動作模板為{S2-S1-S8-S1}，命名為Ml模板；向 右揮手對應的動作模板為{S7-S8-S1-S2}，命名為M2模板；順時針旋轉動作模板為 {S7-S8-S1-S2-S3-S4-S5-S6}，命名為 M3 模板，等等。
6、手勢動作識別單元識別出的動作指令發(fā)送至控制命令轉換單元，從而將特定的 手勢動作指令轉換為宿主系統(tǒng)能夠識別的控制命令。
如圖4所示為本發(fā)明的動態(tài)手勢動作識別方法中的手勢模板匹配流程圖。作為本 發(fā)明的一個實施例，手勢動作軌跡與模板對比的過程如下在設定的時間間隔內，比如每30毫秒內將手部目標跟蹤單元的處理的軌跡坐標放置 在一個坐標數(shù)據(jù)緩存數(shù)組中，因為深度圖像的分辨率一般很低，整個手部在深度圖像中也 就幾個像素的粒度，手部的運動在深度圖像序列中就是對應少量相鄰像素的運動，坐標數(shù) 據(jù)緩存數(shù)組中的原始軌跡坐標即為這幾個像素對應位置的平均值。
然后將上述原始軌跡坐標按照所述XY平面分割方向進行分組，并將同組的相鄰 緩存數(shù)據(jù)去除，再根據(jù)需要補充因為跳幀或采集設備誤差等引起的分組數(shù)據(jù)不連續(xù)，一般 采用插值算法來補充平滑數(shù)據(jù)的不連續(xù)。
然后再順序的將實際獲得的手部目標軌跡分組標識與手勢動作模板進行匹配，最 后得出匹配結果。從而根據(jù)模板得知用戶的手勢動作控制命令。
本發(fā)明通過基于紅外深度圖像傳感器和深度圖像處理單元，可以將用戶動態(tài)手部 動作高效的從復雜背景中分離出來，并能夠進行實時的手部運動跟蹤，進而通過手部運動 軌跡和基于空間方向分割的手勢識別模板，完成手勢動作識別過程，不需要進行事先的手 勢建模和學習過程，從而可以較好的避免傳統(tǒng)手勢動作識別中的存在的問題，大大提高動 態(tài)手勢識別效率，提升用戶體驗。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種手勢動作識別方法，其特征在于，包括如下步驟 A、向用戶及其所在環(huán)境發(fā)射結構光平面；再通過光傳感器接收用戶及其所在環(huán)境反射回來的結構光信號獲取感應圖像；然后通過深度圖像處理單元獲取感應圖像中的深度信息； B、周期性地反復選擇并記錄所述深度信息中的最靠近結構光發(fā)射單元的信息，獲取手部運動軌跡信息； C、通過手勢動作識別單元識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控制命令。
2.如權利要求1所述的手勢動作識別方法，其特征在于，還包括 D、將所述用戶手勢動作控制命令轉換為宿主設備能夠識別的控制命令。
3.如權利要求2所述的手勢動作識別方法，其特征在于，在所述步驟B中進一步包括根據(jù)設定的時間間隔，周期性地把原始軌跡坐標保存在坐標數(shù)據(jù)緩存數(shù)組中，再將該原始軌跡坐標按照所述XY平面分割方向進行分組，并將同組的相鄰緩存數(shù)據(jù)去除，得到手部運動軌跡信息； 在所述步驟C中，再順序的按照分組標識匹配手部運動軌跡信息與手勢動作模板。
4.如權利要求3所述的手勢動作識別方法，其特征在于，還利用插值算法，根據(jù)需要對所述手部運動軌跡信息中補充因為跳幀或采集設備誤差引起的分組數(shù)據(jù)不連續(xù)進行補充。
5.一種手勢動作識別系統(tǒng)，包括中央處理器單元，用于通過軟件和外圍電路控制本系統(tǒng)協(xié)調工作；其特征在于，還包括 結構光發(fā)射單元，用于向用戶所在位置發(fā)射結構光平面； 結構光傳感器，用于接收用戶反射回來的結構光信號構成的感應圖像； 深度圖像處理單元，用于獲取感應圖像中的深度信息； 手部目標跟蹤單元，用于選擇并記錄所述深度信息中的最靠近所述結構光發(fā)射單元的信息，即為手部運動軌跡信息； 手勢動作識別單元，用于識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控制命令。
6.如權利要求5所述的系統(tǒng)，其特征在于，還包括 控制命令轉換單元，用于將所述用戶手勢動作控制命令轉換為宿主設備能夠識別的控制命令。
7.如權利要求6所述的系統(tǒng)，其特征在于，還包括用于存儲坐標數(shù)據(jù)緩存數(shù)組的存儲器；所述手部目標跟蹤單元根據(jù)設定的時間間隔，周期性地把原始軌跡坐標保存在所述存儲器中。
全文摘要
本發(fā)明涉及一種手勢動作識別方法和系統(tǒng)，通過紅外結構光發(fā)射單元發(fā)射結構光平面；再通過紅外結構光傳感器接收用戶反射回來的紅外光信號構成的感應圖像；然后通過深度圖像處理單元獲取感應圖像中的深度信息；再通過手部目標跟蹤單元選擇并記錄所述深度信息中的最靠近所述紅外結構光發(fā)射單元的信息，即為手部運動軌跡信息；通過手勢動作識別單元識別所述手部運動軌跡信息，判斷出相應的用戶手勢動作控制命令。本發(fā)明將用戶動態(tài)手部動作高效的從復雜背景中分離出來，和基于空間方向分割識別，完成手勢動作識別過程，不需要進行事先的手勢建模和學習過程，提升了用戶體驗。
文檔編號G06F3/01GK102999152SQ201110160290
公開日2013年3月27日 申請日期2011年9月9日 優(yōu)先權日2011年9月9日
發(fā)明者忻海輝 申請人:康佳集團股份有限公司