本發(fā)明涉及人機交互技術，特別是手勢交互技術，具體涉及一種基于顏色和深度信息的多模態(tài)融合手勢識別方法。
背景技術：
手勢識別的含義：從傳感器獲得的數(shù)據(jù)中，識別手勢含義的過程。
手勢識別問題的難點：1)復雜場景中的手勢識別，包括復雜背景、復雜前景；2)不同光照條件下的手勢識別，包括強光、弱光；3)遮擋和旋轉情況下的手勢識別，包括，障礙物遮擋，人體遮擋，同一手勢的不同姿態(tài)旋轉。
手勢識別的主要處理方法：1)單一模態(tài)信息的深入表示與識別；2)多種模態(tài)信息的有效融合與識別。
單一模態(tài)方法的不足：常用的單一模態(tài)通常只能從某一方面表示手勢，比如：加速度傳感器能夠反映手勢變化過程中不同方向的加速度變化情況，當手勢出現(xiàn)靜止，或相似的運動軌跡時，加速度數(shù)據(jù)相似，難以區(qū)別；彩色攝像機能夠反映手勢的圖像形態(tài)分布，當手勢受到不同環(huán)境光線影響，或出現(xiàn)與膚色相近的物體時，難以區(qū)別。
多模態(tài)信息融合方法的優(yōu)勢：多模態(tài)信息融合理論認為，單一種類的傳感器數(shù)據(jù)只能獲得關于被測物體的不完備信息，并且容易受到環(huán)境影響；而多模態(tài)信息融合將多種傳感器數(shù)據(jù)進行有效組合，能夠提高完備性和可靠性。
根據(jù)信息處理自底向上的層次，將手勢識別的多模態(tài)信息融合分為：像素層、特征層、決策層。其中，像素層融合具有較強的物理含義，能夠從信息源頭開展融合，將不可靠的單一模態(tài)信息從底層開始就做出有針對性的處理，建立多種模態(tài)信息之間的關聯(lián)，進而得到像素層的多模態(tài)信息融合表示。
技術實現(xiàn)要素：
本發(fā)明提供一種基于顏色和深度信息的多模態(tài)融合手勢識別方法，能夠將顏色信息和深度信息在像素層進行融合，得到更高的手勢識別的準確率。
本發(fā)明的基于顏色和深度信息的多模態(tài)信息融合手勢識別方法，包括以下步驟：
1)使用彩色攝像機和深度攝像機同時對手勢進行拍攝，得到手勢的顏色和深度的原始數(shù)據(jù)；
2)對顏色和深度的原始數(shù)據(jù)進行濾波，得到顏色和深度的平滑數(shù)據(jù)；
3)將膚色和深度作為先驗知識，對顏色和深度的平滑數(shù)據(jù)分別進行分割，得到膚色分割區(qū)域和深度分割區(qū)域；
4)采用動態(tài)權重進行膚色分割區(qū)域和深度分割區(qū)域的像素層融合，構成融合分割圖；
5)利用特征描述子對融合分割圖提取特征，構成特征圖；
6)對特征圖進行編碼，構成手勢編碼；
7)對手勢編碼進行識別，從而實現(xiàn)對手勢的識別。
關于第2)步，優(yōu)選使用高斯平滑方法對顏色和深度的原始數(shù)據(jù)進行濾波。
關于第3)步，膚色分割區(qū)域和深度分割區(qū)域的計算過程如下：
a)膚色范圍在統(tǒng)一白光照射下需滿足條件1：r>95,g>40,b>20,max(r,g,b)-min(r,g,b)>15,|r-g|>15,r>g,r>b；膚色范圍在閃光或日光照射下需滿足條件2：r>220,g>210,b>170,|r-g|<15,r>b,g>b；考慮到膚色光照的多樣性，取條件1并條件2構成膚色分割判定條件；
b)在顏色數(shù)據(jù)r、g、b三個通道的平滑數(shù)據(jù)使用膚色分割判定條件，得到膚色分割圖；
c)對膚色分割圖進行灰度化，并進行圖像形態(tài)學操作：腐蝕和膨脹，構成灰度分割圖；
d)根據(jù)灰度分割圖，在深度原始數(shù)據(jù)中，將相同像素位置上的深度像素分割出來，構成深度分割圖；
e)計算深度分割圖中每個連通分割區(qū)域的平均深度；
f)選定平均深度最小的分割區(qū)域作為深度分割區(qū)域；
g)在膚色分割圖中將深度分割區(qū)域相應的膚色區(qū)域選定，作為膚色分割區(qū)域。
關于第4)步，動態(tài)權重進行手勢膚色區(qū)域和手勢深度區(qū)域的像素層融合，具體過程如下：
a)手勢深度區(qū)域定義為區(qū)域d，每個元素為di，總共包含元素個數(shù)為nd，手勢膚色區(qū)域定義為g，每個元素為gi，總共包含元素個數(shù)為ng；
b)求d內的深度平均值
c)求d和g兩個區(qū)域的并，即兩個區(qū)域所有像素所在區(qū)域的并d∪g；
d)將d∪g歸整為矩形區(qū)域large(這里將矩形區(qū)域定義為large是為了接下來敘述方便，沒有特別含義)，該矩形區(qū)域為包含d∪g的最小矩形區(qū)域，large由兩個子區(qū)域構成：d∪g子區(qū)域和d∪g之外的子區(qū)域；
e)構建手勢深度區(qū)域的權重矩陣wd，該矩陣的規(guī)模與large一致，每個元素的計算方法如下：計算手勢深度區(qū)域的每個元素計算其深度值di與md的絕對值adi＝|di-md|，該絕對值的倒數(shù)
f)歸一化權重矩陣wd；
g)依次類推，構建手勢膚色區(qū)域的歸一化權重矩陣wg；
h)根據(jù)wd和wg，對手勢深度區(qū)域和手勢膚色區(qū)域進行加權求和，得到融合分割圖f，其中每個元素為fi＝di·wdi+gi·wgi。
本發(fā)明的有益效果如下：
本發(fā)明將顏色信息和深度信息在像素層進行融合，綜合利用顏色信息的多通道、信息量豐富、易于提取的特點，以及深度信息不易受到光照、復雜場景影響的特點，形成兩種模態(tài)數(shù)據(jù)的信息互補，在手勢分割和識別過程中，從信息處理的底層開始，提供一種信息量豐富、形式緊湊的多模態(tài)信息綜合表示形式，便于識別環(huán)節(jié)得到更高的識別準確率。
附圖說明
圖1是實施例中多模態(tài)信息融合的手勢識別過程的流程圖。
具體實施方式
下面通過具體實施例和附圖，對本發(fā)明做進一步說明。
圖1是本實施例的基于多模態(tài)信息融合的手勢識別過程的流程圖，具體包括以下步驟：
1)使用彩色攝像機和深度攝像機同時對手勢進行拍攝，得到手勢的顏色和深度的原始數(shù)據(jù)；
2)使用高斯平滑方法對顏色和深度的原始數(shù)據(jù)進行濾波，得到顏色和深度的平滑數(shù)據(jù)；
3)將膚色和深度作為先驗知識，對顏色和深度的平滑數(shù)據(jù)分別進行分割，得到膚色分割區(qū)域和深度分割區(qū)域；
4)采用動態(tài)權重進行膚色分割區(qū)域和深度分割區(qū)域的像素層融合，構成融合分割圖；
5)利用特征描述子對融合分割圖提取特征，構成特征圖；
6)對特征圖進行編碼，構成手勢編碼；
7)對手勢編碼進行識別，從而實現(xiàn)對手勢的識別。
關于第3)步和第4)步，其具體實施過程見“發(fā)明內容”中的描述。
關于第5)步，使用特征描述子對融合分割圖提取特征，并不是本專利的發(fā)明點，所使用的特征描述子也不局限于某一種特定描述子，常用的特征描述子如sift(scaleinvariantfeaturetransform，尺度不變特征轉換),surf(speeduprobustfeatures，加速魯棒特征),lbp(localbinarypatterns，局部二值模式)等。
顏色和深度信息像素層融合的效果：較顏色單一模態(tài)信息，手勢識別準確率平均提升2％-5％；較深度單一模態(tài)信息，手勢識別準確率平均提升5％-10％。
以上步驟用于描述多模態(tài)融合手勢識別方法，在具體實施實例中，為方便計算：
1、矩形區(qū)域large通常根據(jù)使用經(jīng)驗確定為固定大小，例如顏色或深度圖像尺寸的五分之一到十分之一。
2、對特征圖進行編碼，構成手勢編碼的過程，通常取編碼方法為稀疏編碼或局部線性編碼。
3、對手勢編碼進行識別所采用的分類器為：支持向量機(svm，supportvectormachine)分類器。
請注意：本發(fā)明僅使用svm這個方法，并不針對svm本身進行創(chuàng)新。
關于svm分類器的使用分為兩步：1、采集帶有手勢類別標簽的數(shù)據(jù)構成訓練集，送入svm，用于得到第一svm的模型參數(shù)；2、根據(jù)得到的模型參數(shù)，使用第二svm對新的不包含手勢類別標簽的數(shù)據(jù)進行標簽預測。第一svm與第二svm共用同一套參數(shù)。
關于svm分類器使用的第一步具體過程如下：
在實驗數(shù)據(jù)的采集過程中，用攝像機和深度傳感器記錄當前手勢的顏色和深度數(shù)據(jù)，并記錄當前被試的手勢類別結果(比如用手比劃阿拉伯數(shù)字1、2、3之類的數(shù)字)，手勢標簽即為1、2、3，這樣就建立了實驗數(shù)據(jù)與標簽之間的對應關系。進行多人多次重復實驗，那么這些實驗數(shù)據(jù)連同標簽一起構成訓練集，用于訓練第一svm，得到第一svm的參數(shù)，具體訓練第一svm的過程如下：
1)將實驗數(shù)據(jù)進行數(shù)據(jù)處理，主要步驟參見上文的步驟1)-7)；
2)連同標簽一起送入第一svm分類器進行參數(shù)訓練，用以訓練得到分類器參數(shù)。這里我們使用libsvm，所以得到的模型參數(shù)被自動存儲為train.scale.model文件，該文件包含利用libsvm進行未知數(shù)據(jù)標簽預測所需要的參數(shù)：nr_class代表訓練樣本集包含的類別個數(shù)，rho是判決函數(shù)的常數(shù)項b，nr_sv是各個類中落在邊界上的向量個數(shù)，obj是對svm問題的優(yōu)化目標函數(shù)的值，nsv是支持向量的個數(shù)，nbsv是邊界支持向量的個數(shù)。
關于svm分類器使用的第二步具體過程如下：
對于新采集的未知手勢顏色和深度數(shù)據(jù)，由于不清楚具體的手勢類別標簽，我們將第二svm取成第一svm相同的模型參數(shù)，將顏色和深度數(shù)據(jù)按照上文的步驟1)-7)處理之后，送入第二svm進行手勢類別標簽的預測。具體過程如下：
1)對未知手勢采集顏色和深度數(shù)據(jù)；
2)按照上文的步驟1)-7)進行處理；
3)將處理后的數(shù)據(jù)送入第二svm，該分類器根據(jù)之前訓練集訓練得到的模型參數(shù)，進行手勢類別標簽的預測。
上面實施例中對手勢編碼進行識別所采用的分類器為支持向量機分類器，本發(fā)明在該環(huán)節(jié)并不局限于使用支持向量機分類器，也可選擇其它分類器來替代，比如最近鄰分類器knn、隨機森林分類器等。
以上實施例僅用以說明本發(fā)明的技術方案而非對其進行限制，本領域的普通技術人員可以對本發(fā)明的技術方案進行修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護范圍應以權利要求書所述為準。