專利名稱：三維手勢(shì)識(shí)別方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能識(shí)別領(lǐng)域，具體地講，涉及一種三維(3D)手勢(shì)識(shí)別方法和系統(tǒng)。
背景技術(shù)：
基于虛擬現(xiàn)實(shí)的沉浸式(immersive)大型顯示器需要人通過(guò)傳統(tǒng)方式進(jìn)行交互。但是，當(dāng)前的計(jì)算機(jī)/用戶交互采用的多是簡(jiǎn)單的交互方式，并存在交互障礙，因此消費(fèi)者更愿意通過(guò)多媒體或虛擬現(xiàn)實(shí)的方式進(jìn)行交互。例如，計(jì)算機(jī)鍵盤提供鍵盤交互性能，但該鍵盤交互不是直覺(jué)的，而電視遙控器會(huì)讓用戶感覺(jué)更直覺(jué)，但電視遙控器提供的交互性能有限。另外，一些柔性界面(例如，儀器防護(hù)服)既笨重又價(jià)格昂貴。當(dāng)前，大多數(shù)現(xiàn)有的手勢(shì)識(shí)別系統(tǒng)僅為ニ維(2D)手勢(shì)識(shí)別，且限于ー些特定視角，另外，也難以對(duì)不同朝向的手勢(shì)感知也非常困難。因此，需要ー種不限于特定視角和不受朝向影響的3D手勢(shì)識(shí)別方法和系統(tǒng)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明示例性實(shí)施例的一方面，提供了ー種3D手勢(shì)識(shí)別系統(tǒng)，所述3D手勢(shì)識(shí)別系統(tǒng)包括特征提取単元，從輸入的視頻序列的當(dāng)前幀中提取網(wǎng)格深度特征GDF特征，并提取水平設(shè)置瞬間LSM特征和/或曲率直方圖HOC特征；匹配単元，將特征提取單元提取的GDF特征與通過(guò)離線進(jìn)行視圖聚類而獲得的多個(gè)聚類模板中的GDF特征進(jìn)行匹配，以獲得當(dāng)前幀中的手勢(shì)的朝向信息；支持向量機(jī)SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來(lái)識(shí)別當(dāng)前幀中的手勢(shì)。所述3D手勢(shì)識(shí)別系統(tǒng)還可包括時(shí)域確認(rèn)單元，根據(jù)視頻序列的多個(gè)先前幀的識(shí)別結(jié)果來(lái)計(jì)算當(dāng)前幀屬于特定手勢(shì)的概率，并將概率最大的手勢(shì)確定為當(dāng)前幀的手勢(shì)。時(shí)域確認(rèn)單元可通過(guò)如下公式來(lái)確定當(dāng)前幀的手勢(shì)c = arg max (p (Ci))p(c) = ProMCri = Ci)/ Ctv1 = C1, . . . , Ti^n = cn)) = I, 2, . . . , N其中，Iv1. . . IVn表示多個(gè)先前幀的識(shí)別結(jié)果，Γ 表示當(dāng)前幀的當(dāng)前識(shí)別結(jié)果，Ci表示第i種手勢(shì)，N表示手勢(shì)的總數(shù)，η表示先前幀的數(shù)量，p(Ci)表示第i種手勢(shì)的概率，ProbO表示用于獲得概率的函數(shù)，c表示將與最大概率相應(yīng)的手勢(shì)作為當(dāng)前幀的手勢(shì)。匹配単元可通過(guò)下面的公式來(lái)計(jì)算表示提取的⑶F特征f和模板的⑶F特征Ti之間的相似度的距離
權(quán)利要求
1.一種3D手勢(shì)識(shí)別系統(tǒng)，所述3D手勢(shì)識(shí)別系統(tǒng)包括 特征提取單元，從輸入的視頻序列的當(dāng)前幀中提取網(wǎng)格深度特征GDF特征，并提取水平設(shè)置瞬間LSM特征和/或曲率直方圖HOC特征； 匹配單元，將特征提取單元提取的GDF特征與通過(guò)離線進(jìn)行視圖聚類而獲得的多個(gè)聚類模板中的GDF特征進(jìn)行匹配，以獲得當(dāng)前幀中的手勢(shì)的朝向信息； 支持向量機(jī)SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來(lái)識(shí)別當(dāng)前幀中的手勢(shì)。
2.如權(quán)利要求I所述的3D手勢(shì)識(shí)別系統(tǒng)，還包括時(shí)域確認(rèn)單元，根據(jù)視頻序列的多個(gè)先前幀的識(shí)別結(jié)果來(lái)計(jì)算當(dāng)前幀屬于特定手勢(shì)的概率，并將概率最大的手勢(shì)確定為當(dāng)前幀的手勢(shì)。
3.如權(quán)利要求2所述的3D手勢(shì)識(shí)別系統(tǒng)，其中，時(shí)域確認(rèn)單元通過(guò)如下公式來(lái)確定當(dāng)前幀的手勢(shì)c = arg max (p (Ci))P(Ci) = prob (= Ci)/ Ov1 = C1, . . . , Ti^n = cn)) = 1,2,——,N 其中，Iv1. . . ινη表示多個(gè)先前幀的識(shí)別結(jié)果，r,表示當(dāng)前幀的當(dāng)前識(shí)別結(jié)果，Ci表示第i種手勢(shì)，N表示手勢(shì)的總數(shù)，η表示先前幀的數(shù)量，p(Ci)表示第i種手勢(shì)的概率，probO表示用于獲得概率的函數(shù)，c表示將與最大概率相應(yīng)的手勢(shì)作為當(dāng)前幀的手勢(shì)。
4.如權(quán)利要求I所述的3D手勢(shì)識(shí)別系統(tǒng)，其中，匹配單元通過(guò)下面的公式來(lái)計(jì)算表示提取的GDF特征f和模板的GDF特征Ti之間的相似度的距離 (HsifJi) = YjWn ·|/;, -?！?| 其中，N是特征維數(shù)，Wn表示第η維特征的權(quán)重；fn表示第η維特征；Tin表示第i個(gè)模板的第η維特征。
匹配單元將距離最小的模板所標(biāo)記的朝向確定為當(dāng)前幀中手勢(shì)的朝向，從而獲得所述朝向信息。
5.如權(quán)利要求I所述的3D手勢(shì)識(shí)別系統(tǒng)，其中，特征提取單元將當(dāng)前幀均分成多個(gè)塊，通過(guò)計(jì)算每個(gè)塊中像素的深度的平均值來(lái)計(jì)算塊的深度值，并對(duì)每個(gè)塊的深度值進(jìn)行歸一化，以獲得當(dāng)前幀的GDF特征。
6.如權(quán)利要求I所述的3D手勢(shì)識(shí)別系統(tǒng)，其中，特征提取單元計(jì)算當(dāng)前幀的每一水平層的圖像區(qū)域的不變矩特征，然后組合所有水平層的特征，以構(gòu)成當(dāng)前幀的LSM特征。
7.如權(quán)利要求I所述的3D手勢(shì)識(shí)別系統(tǒng)，其中，特征提取單元計(jì)算邊界像素的曲率值，對(duì)邊界像素的曲率值進(jìn)行直方圖分析，從而獲得當(dāng)前幀的HOC特征。
8.如權(quán)利要求I所述的3D手勢(shì)識(shí)別系統(tǒng)，其中，通過(guò)以下操作來(lái)獲得SVM分類器 從視圖樣本數(shù)據(jù)庫(kù)中的每個(gè)樣本圖像提取GDF特征； 通過(guò)K-medoids方法基于⑶F特征對(duì)視圖樣本數(shù)據(jù)庫(kù)中的每個(gè)樣本圖像進(jìn)行聚類，以獲得朝向息； 通過(guò)朝向信息對(duì)視圖樣本做標(biāo)記； 對(duì)做了標(biāo)記的視圖樣本進(jìn)行SVM訓(xùn)練，從而獲得SVM分類器。
9.一種3D手勢(shì)識(shí)別方法，所述3D手勢(shì)識(shí)別方法包括以下步驟從待識(shí)別的當(dāng)前幀中提取網(wǎng)格深度特征GDF特征，并提取水平設(shè)置瞬間LSM特征和/或曲率直方圖HOC特征； 將提取的GDF特征與通過(guò)離線進(jìn)行視圖聚類而獲得的多個(gè)聚類模板中的GDF特征進(jìn)行匹配，以獲得當(dāng)前幀中的手勢(shì)的朝向信息； SVM分類器基于提取的LSM特征和/或HOC特征以及獲得的朝向信息來(lái)識(shí)別當(dāng)前幀中的手勢(shì)。
10.一種3D手勢(shì)識(shí)別系統(tǒng)，所述3D手勢(shì)識(shí)別系統(tǒng)包括 特征提取單元，從待識(shí)別的當(dāng)前幀中提取網(wǎng)格深度特征GDF特征； 實(shí)際增強(qiáng)樹RBT分類器，基于特征提取單元提取的GDF特征識(shí)別當(dāng)前幀中的手勢(shì)。
11.一種3D手勢(shì)識(shí)別方法，所述3D手勢(shì)識(shí)別方法包括以下步驟 從待識(shí)別的當(dāng)前幀中提取網(wǎng)格深度特征GDF特征； 實(shí)際增強(qiáng)樹RBT分類器基于提取的GDF特征識(shí)別當(dāng)前幀中的手勢(shì)。
12.如權(quán)利要求11所述的3D手勢(shì)識(shí)別方法，所述3D手勢(shì)識(shí)別方法還包括步驟根據(jù)視頻序列的多個(gè)先前幀的識(shí)別結(jié)果來(lái)計(jì)算當(dāng)前幀屬于特定手勢(shì)的概率，并將概率最大的手勢(shì)確定為當(dāng)前幀的手勢(shì)。
13.如權(quán)利要求11所述的3D手勢(shì)識(shí)別方法，其中，通過(guò)以下操作來(lái)獲得RBT分類器從視圖樣本數(shù)據(jù)庫(kù)中的每個(gè)樣本圖像中提取GDF特征，對(duì)提取的GDF特征加上類別標(biāo)簽來(lái)對(duì)視圖樣本數(shù)據(jù)庫(kù)中的樣本圖像進(jìn)行訓(xùn)練，以獲得RBT分類器。
全文摘要
提供了一種3D手勢(shì)識(shí)別方法和系統(tǒng)。所述3D手勢(shì)識(shí)別系統(tǒng)包括特征提取單元，從輸入的視頻序列的當(dāng)前幀中提取網(wǎng)格深度特征GDF特征，并提取水平設(shè)置瞬間LSM特征和/或曲率直方圖HOC特征；匹配單元，將特征提取單元提取的GDF特征與通過(guò)離線進(jìn)行視圖聚類而獲得的多個(gè)聚類模板中的GDF特征進(jìn)行匹配，以獲得當(dāng)前幀中的手勢(shì)的朝向信息；支持向量機(jī)SVM分類器，基于特征提取單元提取的LSM特征和/或HOC特征以及匹配單元獲得的朝向信息來(lái)識(shí)別當(dāng)前幀中的手勢(shì)。根據(jù)本發(fā)明的3D手勢(shì)識(shí)別方法和系統(tǒng)沒(méi)有手朝向的限制，并且能夠成功解決自身遮擋問(wèn)題。
文檔編號(hào)G06K9/46GK102855488SQ20111018653
公開日2013年1月2日 申請(qǐng)日期2011年6月30日 優(yōu)先權(quán)日2011年6月30日
發(fā)明者王西穎, 任海兵, 張帆 申請(qǐng)人:北京三星通信技術(shù)研究有限公司, 三星電子株式會(huì)社