一種基于切換的卡爾曼濾波模型的手勢識別方法
【專利摘要】本發(fā)明公開的一種基于切換的卡爾曼濾波模型的手勢識別方法，包括：建立手勢視頻庫，對其預(yù)處理；去除視頻幀圖像背景，基于膚色模型分割出雙手與臉部區(qū)域；對三個區(qū)域進(jìn)行形態(tài)學(xué)操作，分別計(jì)算質(zhì)心，獲得臉部與雙手的位置矢量和雙手間的位置矢量；計(jì)算光流場，得到雙手質(zhì)心的光流矢量；定義編碼規(guī)則，對每幀圖像的兩個光流矢量和三個位置矢量進(jìn)行編碼，得到手勢特征鏈碼庫；構(gòu)建S-KFM圖模型，以特征鏈碼序列作為其觀測信號，以手勢姿態(tài)含義序列作為其輸出信號；以特征鏈碼庫作為S-KFM的訓(xùn)練樣本進(jìn)行學(xué)習(xí)得到最優(yōu)參數(shù)；對待識別的手勢視頻，重復(fù)相關(guān)步驟，獲得相應(yīng)特征鏈碼，將其作為S-KFM的輸入進(jìn)行推理，最終獲得手勢識別結(jié)果。
【專利說明】一種基于切換的卡爾曼濾波模型的手勢識別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人機(jī)交互【技術(shù)領(lǐng)域】，具體涉及一種基于切換的卡爾曼濾波模型的手勢 識別方法。

【背景技術(shù)】
[0002] 人機(jī)交互技術(shù)是實(shí)現(xiàn)人類與計(jì)算機(jī)溝通的技術(shù)總稱，隨著計(jì)算機(jī)的快速發(fā)展，該 領(lǐng)域具有深刻的研究意義和廣泛的應(yīng)用前景，成為國內(nèi)外研究的熱點(diǎn)。目前，主要通過語 音輸入，動作指示實(shí)現(xiàn)人機(jī)交互。因?yàn)檎Z音很容易受到外部環(huán)境的影響，以及語言種類不 一致的影響，這就增加了人機(jī)交互的復(fù)雜程度，并且降低了交互準(zhǔn)確度。人與人之間的溝 通70 %是通過肢體語言實(shí)現(xiàn)，手勢作為一種最簡單，直接的肢體語言，其傳遞的信息量非常 豐富，發(fā)揮著非常重要的作用，并且不受種族和地域的影響，所以基于手勢識別技術(shù)實(shí)現(xiàn)人 機(jī)交互無疑是更簡單和更快速的方法。目前在國外公開的文獻(xiàn)中，Bao P. T, Binh N. T, Khoa T. D. A New Approach to Hand Tracking and Gesture Recognition by a New Feature Type and HMM. Sixth International Conference onFuzzy Systems and Knowledge Discovery[C]. USA: IEEE, 2009:3-6,提出了一種基于新型特征與HMM的手勢追蹤和手勢識別方法。
[0003] 但上述手勢識別方法有以下不足：
[0004] (1)雖然提出了 Tower算法來實(shí)現(xiàn)手勢的跟蹤模塊，但是其計(jì)算過程非常復(fù)雜，增 加了程序復(fù)雜度和運(yùn)算量大，使得實(shí)時性降低。
[0005] (2)使用基于HMM實(shí)現(xiàn)手勢訓(xùn)練和手勢識別，其對于一個觀測數(shù)據(jù)在一個時間只 可以推測一個隱變量，使得手勢模型過于簡單，如果增加變量將占用大量的內(nèi)存。
[0006] (3)主要使用對手勢姿態(tài)的學(xué)習(xí)最終實(shí)現(xiàn)手勢識別，局限了它的應(yīng)用范圍。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是提供一種基于切換的卡爾曼濾波模型的手勢識別方法，克服了現(xiàn) 有方法計(jì)算復(fù)雜度高，實(shí)時性差和使用范圍窄的不足。
[0008] 本發(fā)明采用的技術(shù)方案是，一種基于切換的卡爾曼濾波模型的手勢識別方法，具 體按照以下步驟實(shí)施：
[0009] 步驟1 :使用相應(yīng)設(shè)備拍攝單目視頻，拍攝速度為30幀每秒，構(gòu)建有N個動態(tài)手勢 的視頻庫 V = (Vi, v2, . . .，vi，. . .，VN);
[0010] 步驟2 :提取視頻Vi的每幀圖像，得到幀圖像Fi = (fn，fi2, . . .，fij，. . .，fin)，其中 n表示視頻\的幀數(shù)，對fu進(jìn)行預(yù)處理，基于背景差分和膚色模型獲取出fu中的臉，左手 和右手區(qū)域，分別記做以」 1^」2^」3)，分別計(jì)算出三個區(qū)域的質(zhì)心^1，1^ 2，1^3);
[0011] 步驟3 :對相鄰兩幅圖像進(jìn)行光流法求解，得到光流矢量，即U = (u，V)i = (fi+l_fi)，繼而得到雙手質(zhì)心像素點(diǎn)對應(yīng)的光流矢量(UijpVijUz (uij2，vij2);左 手到右手的位置矢量Pu = (Mij2-Mij3)，左手到臉的位置矢量為Pij2 = (Μ^-Μα)，右手到臉 的位置矢量為Pij3 = (Μ^-Μ^);
[0012] 步驟4:定義編碼規(guī)則，對兩個光流矢量以及三個位置矢量經(jīng)過量化后分別進(jìn)行 編碼，得到UU1，U$，PU1，PU2, 對應(yīng)的碼字，對于一個視頻，將對應(yīng)的η個碼字相連得到 五條特征鏈碼，即左手運(yùn)動鏈碼Ln，右手運(yùn)動鏈碼Li2，左手到右手的位置鏈碼Li3，左手到臉 的位置鏈碼Li4，右手到臉的位置鏈碼Li5 ;
[0013] 步驟5:重復(fù)步驟2-4，得到手勢庫相對應(yīng)的特征鏈碼庫1^=0^山2山 3山4山5)，1 =1，2, · · ·，N ;
[0014] 步驟6 :對待識別手勢視頻進(jìn)行步驟2-4處理，獲得特征鏈碼1 = (1π 12, 13, 14， "）；
[0015] 步驟7 :構(gòu)建由擴(kuò)展卡爾曼濾波器和自適應(yīng)卡爾曼濾波器組合構(gòu)建的切換卡爾曼 濾波器圖模型，以特征鏈碼序列作為圖模型觀測信號，以手勢姿態(tài)含義序列作為輸出信號， 以L作為S-KFM的訓(xùn)練樣本進(jìn)行學(xué)習(xí)得到圖模型系統(tǒng)的最優(yōu)參數(shù)，將1作為S-KFM的輸入 進(jìn)行推理，最終獲得手勢識別結(jié)果。
[0016] 本發(fā)明的特點(diǎn)還在于，
[0017] 其中的步驟2具體按照以下步驟實(shí)施：
[0018] (21)對視頻進(jìn)行亮度增強(qiáng)，去抖動的預(yù)處理；
[0019] (22)將幀圖像與不包含人物圖像的背景圖像Β進(jìn)行差分，得到只有人物圖像 的差分圖像b ij;
[0020] (23)將圖像由RGB顏色空間轉(zhuǎn)化為HSV顏色空間和YCbCr顏色空間，得到各像 素的H，Cb和Cr分量，如果其滿足閾值條件：H> = 0. Oland H〈 = 0. land Cb> = 140and Cb〈 =195and Cr> = 140and Cr〈 = 165,則該像素為膚色像素，從而實(shí)現(xiàn)對中人的雙手和臉 的定位；
[0021] (24)將步驟（23)處理后的圖像二值化，腐蝕，膨脹，得到更加清晰的雙手和臉部 封閉區(qū)域，分別記做Siji，s ij2, sij3;
[0022] (25)根據(jù)求質(zhì)心的函數(shù)，編寫程序分別求得三個區(qū)域質(zhì)心坐標(biāo)Mu，Mij2, Mij3。
[0023] 其中的步驟3具體按照以下步驟實(shí)施：
[0024] (31)設(shè)t時亥lj，像素點(diǎn)（x，y)的灰度值為I(x，y，t) ;(t+At)時亥ij，該點(diǎn)運(yùn)動到位 置（χ+Δ X，y+Δ y)，灰度值為I (χ+Δ X，y+Δ y, t+Δ t) , u, v分別是該點(diǎn)光流矢量的X和y分 量，根據(jù)圖像沿著運(yùn)動軌跡的亮度保持不變的原則，獲得光流場約束方程：IXU+I yv+It = 0， 求解出該公式的解即獲得圖像的光流場（u，v);
[0025] (32)假設(shè)在一個小的空間領(lǐng)域Ω上運(yùn)動矢量保持恒定，即滿足光流誤差

【權(quán)利要求】
1. 一種基于切換的卡爾曼濾波模型的手勢識別方法，其特征在于，具體按照以下步驟 實(shí)施： 步驟1 :使用相應(yīng)設(shè)備拍攝單目視頻，拍攝速度為30巾貞每秒，構(gòu)建有N個動態(tài)手勢的視 頻庫 V = (V1; V2, · · ·，vi，· · ·，vn); 步驟2 :提取視頻Vi的每巾貞圖像，得到巾貞圖像Fi = (fn, fi2,. . .，?^，. . .，fin)，其中n表 示視頻\的幀數(shù)，對進(jìn)行預(yù)處理，基于背景差分和膚色模型獲取出中的臉，左手和右 手區(qū)域，分別記做&1，5^，5^)，分別計(jì)算出三個區(qū)域的質(zhì)心^ 1，1^2，1^3); 步驟3 :對相鄰兩幅圖像進(jìn)行光流法求解，得到光流矢量，即U = (u，v) i = (fi+1-fi)，繼 而得到雙手質(zhì)心像素點(diǎn)對應(yīng)的光流矢量11^= (uij2，v ij2);左手到右手的 位置矢量Pin = (Mij2-Mij3),左手到臉的位置矢量為Pij2 = (Mm-Mu),右手到臉的位置矢量 為 Pij3 - (Mijs^jjj)； 步驟4:定義編碼規(guī)則，對兩個光流矢量以及三個位置矢量經(jīng)過量化后分別進(jìn)行編碼， 得到UU1，UU2, PU1，PU2, PU3對應(yīng)的碼字，對于一個視頻，將對應(yīng)的η個碼字相連得到五條特 征鏈碼，即左手運(yùn)動鏈碼Ln，右手運(yùn)動鏈碼L i2，左手到右手的位置鏈碼Li3，左手到臉的位置 鏈碼Li4，右手到臉的位置鏈碼L i5 ; 步驟5 :重復(fù)步驟2-4,得到手勢庫相對應(yīng)的特征鏈碼庫L = (Ln, Li2, Li3, Li4, Li5)，i = 1, 2,. . . , N ； 步驟6 :對待識別手勢視頻進(jìn)行步驟2-4處理，獲得特征鏈碼1 = (lp 12, 13, 14, 15); 步驟7 :構(gòu)建由擴(kuò)展卡爾曼濾波器和自適應(yīng)卡爾曼濾波器組合構(gòu)建的切換卡爾曼濾波 器圖模型，以特征鏈碼序列作為圖模型觀測信號，以手勢姿態(tài)含義序列作為輸出信號，以L 作為S-KFM的訓(xùn)練樣本進(jìn)行學(xué)習(xí)得到圖模型系統(tǒng)的最優(yōu)參數(shù)，將1作為S-KFM的輸入進(jìn)行 推理，最終獲得手勢識別結(jié)果。
2. 根據(jù)權(quán)利要求1所述的基于切換的卡爾曼濾波模型的手勢識別方法，其特征在于， 所述的步驟2具體按照以下步驟實(shí)施： (21) 對視頻進(jìn)行亮度增強(qiáng)，去抖動的預(yù)處理； (22) 將幀圖像與不包含人物圖像的背景圖像B進(jìn)行差分，得到只有人物圖像的差 分圖像1? ; (23) 將圖像由RGB顏色空間轉(zhuǎn)化為HSV顏色空間和YCbCr顏色空間，得到各像素 的 H，Cb 和 Cr 分量，如果其滿足閾值條件：H> = 0· Oland H〈 = 0· land Cb> = 140and Cb〈= 195and Cr> = 140and Cr〈 = 165,則該像素為膚色像素，從而實(shí)現(xiàn)對中人的雙手和臉的 定位； (24) 將步驟（23)處理后的圖像二值化，腐蝕，膨脹，得到更加清晰的雙手和臉部封閉 區(qū)域，分別記做Siji，sij2, sij3; (25) 根據(jù)求質(zhì)心的函數(shù)，編寫程序分別求得三個區(qū)域質(zhì)心坐標(biāo)Mu，Mij2, Mij3。
3. 根據(jù)權(quán)利要求1所述的基于切換的卡爾曼濾波模型的手勢識別方法，其特征在于， 所述的步驟3具體按照以下步驟實(shí)施： (31)設(shè)t時刻，像素點(diǎn)（X，y)的灰度值為I (X，y，t) ; (t+Λ t)時刻，該點(diǎn)運(yùn)動到位置 (χ+Δ X，y+Δ y)，灰度值為I (χ+Δ X，y+Δ y, t+Δ t)，u，v分別是該點(diǎn)光流矢量的X和y分量， 根據(jù)圖像沿著運(yùn)動軌跡的亮度保持不變的原則，獲得光流場約束方程：IXU+I yv+It = 0,求 解出該公式的解即獲得圖像的光流場（u，v); (32) 假設(shè)在一個小的空間領(lǐng)域Ω上運(yùn)動矢量保持恒定，即滿足光流誤差
5其中，W2(x)表示窗口權(quán)重函數(shù)，使用加權(quán)最小二乘法求解該 方程； (33) 設(shè) U = (u，v), ▽ I(x) = (Ix，Iy)T，t 時亥lj 有 η 個點(diǎn) Xi e Ω，Α = [▽ I (xj，· · ·，▽ I (xm) ]T，W = diag [W (χ)，· · ·，W (xn) ]，B = - (It (x)，· · ·，It (xn))T，則 U 的角軍由ATW2AU = ATW2B角軍得，即U = ; (34) 使用4點(diǎn)中心差計(jì)算灰度的梯度，其系數(shù)模板為（-180-81)/12,空間鄰域Ω選 擇大小為5*5的像素區(qū)域，窗口權(quán)重函數(shù)W 2(x)為（0.0625 0.25 0.375 0.25 0.0625)，
，將其代入υ= [αΥαΓαΥβ，由此估計(jì) 出圖像的光流場U ; (35) 在圖像光流場中，將雙手質(zhì)心像素點(diǎn)的光流矢量Uu，Uij2輸出。
4. 根據(jù)權(quán)利要求1所述的基于切換的卡爾曼濾波模型的手勢識別方法，其特征在于， 所述的步驟4具體按照以下步驟實(shí)施： (41) 根據(jù)公式0 = arctan(^)計(jì)算出光流矢量以及位置矢量Uij2, Piji，Pij2， Pij3的方向角，如果
，則將方向角量化為Θ 1;2,3,4,5 = 〇 ;如果
，則將方向角量化為
；以此類推，如果
則將 方向角量化為
，最終將光流矢量進(jìn)行十六等級量化； (42) 對光流矢量定義的編碼準(zhǔn)則為：如果方向角為Θ 12A4 5 = 〇,則編碼為〇 ;如果方 向角為
，則編碼為1 ;如果方向角為
，則編碼為2 ;以此類推，如果方 向角為
，則編碼為15; (43) 對一個視頻中各幀圖像的雙手質(zhì)心的光流失量和位置矢量Uu，Uij2, Pu，Pij2, Pij3 按照定義的準(zhǔn)則進(jìn)行編碼，將對應(yīng)的n個碼字依次連接起來，得到一個視頻的左手運(yùn)動特 征鏈碼Ln，運(yùn)動特征鏈碼L i2，左手到右手的位置鏈碼Li3，左手到臉的位置鏈碼Li4，右手到 臉的位置鏈碼L i5。
5. 根據(jù)權(quán)利要求1所述的基于切換的卡爾曼濾波模型的手勢識別方法，其特征在于， 所述的步驟7具體按照以下步驟實(shí)施： (71) 將步驟5得到的五條特征鏈碼庫分別作為S-KFM的五個觀測序列，記做01'2'3' 4'5， 手勢含義作為輸出，記做X; (72) 根據(jù)其函數(shù)關(guān)系，構(gòu)建目標(biāo)運(yùn)動模型，位置測量模型，狀態(tài)方程，觀測方程等卡爾 曼濾波器模型，結(jié)合擴(kuò)展卡爾曼濾波器和自適應(yīng)卡爾曼濾波器構(gòu)成S-KFM ; (73) 設(shè)定S-KFM的初始輸入序列，分別計(jì)算濾波器的預(yù)測方程，觀測協(xié)方差方程，狀態(tài) 更新方程，濾波增益方程，濾波誤差協(xié)方差方程，輸出手勢含義序列庫； (74) 將步驟6得到的鏈碼1作為S-KFM的輸入，重復(fù)相關(guān)的步驟，得到待識別手勢的手 勢含義序列，得到手勢識別結(jié)果。
【文檔編號】G06K9/66GK104050488SQ201410267232
【公開日】2014年9月17日 申請日期:2014年6月16日 優(yōu)先權(quán)日:2014年6月16日
【發(fā)明者】肖秦琨, 侯亭亭, 高嵩 申請人:西安工業(yè)大學(xué)