一種基于單目視覺(jué)移動(dòng)拍攝下的手勢(shì)軌跡識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像識(shí)別技術(shù)，尤其是一種人體定位和手勢(shì)軌跡識(shí)別技術(shù)，具體 地說(shuō)是一種基于單目視覺(jué)移動(dòng)拍攝下的手勢(shì)軌跡識(shí)別方法，它能被用于艦艇指揮人員的定 位和識(shí)別。
【背景技術(shù)】
[0002] 據(jù)報(bào)道，美國(guó)研宄人員能使無(wú)人機(jī)識(shí)別76%的航空母艦上指揮人員的手勢(shì)。目前 常規(guī)艦載機(jī)通過(guò)地面指揮人員對(duì)機(jī)上人員進(jìn)行起飛、出庫(kù)、入庫(kù)等一系列指揮。隨著無(wú)人艦 載機(jī)的應(yīng)用，需要使其能對(duì)常規(guī)手勢(shì)能夠識(shí)別。
[0003] 在基于視覺(jué)的手勢(shì)交互方面，具有代表性的研宄成果包括：1991年富士 通實(shí)驗(yàn)室完成了對(duì)46種手語(yǔ)符號(hào)的識(shí)別（詳見(jiàn)文獻(xiàn)：TakahashiT, Shino FK. Hand gesture coding based on experiments using a hand gesture interface device. SIGCHI Bulletin，1991，23(2) :67-73) ;Davis 和 Shah 將戴上指尖具有高亮標(biāo)記 的輔助手套的手勢(shì)作為系統(tǒng)的輸入，可識(shí)別7種手勢(shì)（詳見(jiàn)文獻(xiàn)：Davis, ShahM. V isualgesture recognition.In:Proceedings of the IEEE Vision-Image SignalProcessing, 1994. 321-332) ;Grobel 和 Assam 從視頻錄像中提取特征，米用 HMM 技術(shù)識(shí)別262個(gè)孤立詞，正確率為91.3% (詳見(jiàn)文獻(xiàn)：G robelK, Assam M. Isolated sign language recognition using hiddenM arkov models. In:Proceedings of the IEEE International Symposium on Field-Progrrammable Custom Computing Machines, 2007, pp. 35-44) 〇
[0004] 無(wú)人機(jī)對(duì)地面指揮人員的手勢(shì)指揮的信號(hào)輸入是基于機(jī)上攝像機(jī)的拍攝。由于整 個(gè)背景隨著攝像機(jī)的運(yùn)動(dòng)而運(yùn)動(dòng)，傳統(tǒng)的基于背景建模的手勢(shì)軌跡識(shí)別方法將產(chǎn)生如下困 難：
[0005] (1)前景（指揮手勢(shì)）、背景（周圍環(huán)境）難以分割。
[0006] (2)背景在圖像上產(chǎn)生運(yùn)動(dòng)。難以確定目標(biāo)相對(duì)于背景的運(yùn)動(dòng)方向和大小。
[0007] 基于上述原因，本發(fā)明提出一種先根據(jù)形態(tài)特征定位指揮人員腿部，通過(guò)腿部區(qū) 域邊長(zhǎng)確定大小尺度，通過(guò)手勢(shì)相對(duì)與人臉的相對(duì)位置作為研宄對(duì)象，進(jìn)行手勢(shì)軌跡識(shí)別 的方法。該方法能在單目視覺(jué)移動(dòng)拍攝的情形下實(shí)現(xiàn)指揮人員的手勢(shì)軌跡識(shí)別。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的是目前無(wú)人機(jī)著艦時(shí)對(duì)指揮人員手勢(shì)判定難度較大，易出現(xiàn)差錯(cuò)的 問(wèn)題，發(fā)明一種基于單目視覺(jué)移動(dòng)拍攝下的手勢(shì)軌跡識(shí)別方法，以幫助無(wú)人機(jī)著艦過(guò)程中 快速準(zhǔn)確判定指揮人員的手勢(shì)，以實(shí)現(xiàn)準(zhǔn)確著艦。
[0009] 本發(fā)明的技術(shù)方案：
[0010] 一種基于單目視覺(jué)移動(dòng)拍攝下的手勢(shì)軌跡識(shí)別方法，其特征是它主要包括以下步 驟：
[0011] (1)在一幀圖像上進(jìn)行指揮人員的腿部檢測(cè)和定位，并利用HOG-SVM分類器對(duì)檢 測(cè)到的區(qū)域進(jìn)一步匹配確認(rèn)；
[0012] (2)在步驟（1)的基礎(chǔ)上，根據(jù)位置關(guān)系，確定相應(yīng)的人臉檢測(cè)區(qū)域；
[0013] (3)在臉部檢測(cè)區(qū)域內(nèi)進(jìn)行人臉檢測(cè)和定位，從而判別該人員是否為指揮人員。若 存在唯一腿部和對(duì)應(yīng)的正臉則該人員即為唯一指揮人員，并進(jìn)入下一步。如果不存在則結(jié) 束此幀處理；
[0014] (4)根據(jù)人臉區(qū)域進(jìn)一步確定手勢(shì)檢測(cè)區(qū)域。
[0015] (5)在連續(xù)幀上對(duì)人臉區(qū)域進(jìn)行CamShift跟蹤，若人臉在圖像上產(chǎn)生位移大于給 定的閾值，說(shuō)明攝像機(jī)產(chǎn)生移動(dòng)，重新檢測(cè)腿部和臉部。
[0016] (6)利用HSV膚色模型對(duì)手部進(jìn)行分割，計(jì)算手部位置；
[0017] (7)在連續(xù)幀上確定雙手位置，利用HMM基于手部位移方向，完成手勢(shì)軌跡識(shí)別。
[0018] 所述的步驟（1)中采用的haar-Adaboost分類器，選取擴(kuò)展的haar-like矩形特 征。分類器訓(xùn)練所采用的正樣本大小為20X20像素，正對(duì)攝像機(jī)，雙腿呈25°~45°跨步 站立的腿部圖片，如圖1。負(fù)樣本為任意大小不含跨步站立腿部的背景或者行人的圖片。針 對(duì)haar-Adaboost算法虛警率高的問(wèn)題，采用HOG-SVM分類器對(duì)檢測(cè)到的腿部進(jìn)行再次篩 選，腿部篩選的訓(xùn)練和檢測(cè)方法如下：
[0019] (1)采集正負(fù)樣本。其中正樣本為大小為64X64像素，同haar-Adaboost方法中 的正樣本。負(fù)樣本為haar-Adaboost檢測(cè)器檢測(cè)到的錯(cuò)誤正樣本。
[0020] (2)使用正負(fù)樣本對(duì)HOG-SVM分類器進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)為：窗口大?。?4X64， block 大?。?X8, cell 大小 4X4, bin 為 9。
[0021] (3)用訓(xùn)練好的HOG-SVM分類器對(duì)haar-adaboost方法檢測(cè)到的候選腿部進(jìn)行單 尺度檢測(cè)分類，判斷是否為指揮人員腿部。
[0022] 所述的步驟（2)臉部檢測(cè)區(qū)域位置為腿部區(qū)域正上方IH為底，邊長(zhǎng)為0. 5H。H為 腿部區(qū)域邊長(zhǎng)。
[0023] 所述的步驟（4)中手部檢測(cè)區(qū)域是以檢測(cè)到的人臉中心正下方0.25H為中心， 2. 2H為寬2H為高的矩形，H為腿部區(qū)域邊長(zhǎng)。
[0024] 所述的步驟（5)中，把步驟（2)中檢測(cè)到的人臉正方形作為搜索窗口進(jìn)行人臉實(shí) 時(shí)跟蹤，并計(jì)算當(dāng)前位置與初始位置的位移，若位移大于閾值0.2H，則需要根據(jù)步驟（1)~ (4)重新檢索腿部區(qū)域和人臉。
[0025] 所述的步驟（6)中手部坐標(biāo)提取方法如下：
[0026] (1)采用基于HSV膚色空間模型進(jìn)行手部分割，得到雙手的手部區(qū)域；對(duì)圖像進(jìn)行 膨脹和腐蝕形態(tài)學(xué)處理；
[0027] (2)確定聯(lián)通區(qū)域，計(jì)算聯(lián)通卻與在參考平面上的重心坐標(biāo)作為雙手的坐標(biāo)。
[0028] 所述的步驟（7)中基于手部位移方向的手勢(shì)軌跡識(shí)別的具體方法如下：
[0029] (1)以頭部中七、點(diǎn)為原點(diǎn)，計(jì)算得手部向星。
【主權(quán)項(xiàng)】
1. 一種基于單目視覺(jué)移動(dòng)拍攝下的手勢(shì)軌跡識(shí)別方法，其特征是它主要包括以下步 驟： (1) 在一幀圖像上進(jìn)行指揮人員的腿部檢測(cè)和定位，并利用HOG-SVM分類器對(duì)檢測(cè)到 的區(qū)域進(jìn)一步匹配確認(rèn)； (2) 在步驟（1)的基礎(chǔ)上，確定人臉檢測(cè)區(qū)域； (3) 在臉部檢測(cè)區(qū)域內(nèi)進(jìn)行人臉檢測(cè)和定位，從而判別該人員是否為指揮人員；若存 在腿部和對(duì)應(yīng)的正臉則該人員即為指揮人員；如果不存在指揮人員則結(jié)束此幀處理； (4) 根據(jù)人臉區(qū)域進(jìn)一步確定手勢(shì)檢測(cè)區(qū)域； (5) 在連續(xù)幀上對(duì)人臉區(qū)域進(jìn)行CamShift跟蹤，若人臉在圖像上產(chǎn)生的位移大于給定 的閾值，說(shuō)明攝像機(jī)產(chǎn)生移動(dòng)，重新檢測(cè)腿部和臉部； (6) 利用HSV膚色模型對(duì)手部進(jìn)行分割，計(jì)算手部位置； (7) 基于相對(duì)位移方向進(jìn)行HMM手部軌跡訓(xùn)練和識(shí)別，確定手勢(shì)軌跡，完成手勢(shì)軌跡識(shí) 別。
2. 如權(quán)利要求1所述的方法，其特征是：所述的指揮人員存在呈跨步站立（雙腳角度 為25°~45° )，臉部面向目標(biāo)的特征。
3. 如權(quán)利要求1所述的方法，其特征是：所述的步驟（1)中采用基于haar-like特征 的級(jí)聯(lián)分類器對(duì)腿部進(jìn)行檢測(cè)定位。
4. 權(quán)利要求1所述的方法，其特征是：所述的步驟（1)中采用的基于HOG-SVM單尺度 檢測(cè)方法對(duì)檢測(cè)到的腿部區(qū)域進(jìn)一步篩選。
5. 權(quán)利要求1所述的方法，其特征是：所述的步驟（2)臉部檢測(cè)區(qū)域位置為腿部區(qū)域 正上方1H~1. 5H，寬度為0. 5H。H為腿部區(qū)域邊長(zhǎng)。
6. 權(quán)利要求1所述的方法，其特征是：所述的步驟（4)中手部檢測(cè)區(qū)域是以檢測(cè)到的 人臉中心正下方0. 25H為中心，2. 2H為寬2H為高的矩形，H為腿部區(qū)域邊長(zhǎng)。
7. 權(quán)利要求1所述的方法，其特征是：所述的步驟（7)中手部位置提取方法如下： (1) 采用基于HSV膚色空間模型進(jìn)行手部分割，得到雙手的手部區(qū)域； (2) 對(duì)圖像進(jìn)行膨脹和腐蝕形態(tài)學(xué)處理； (3) 確定聯(lián)通區(qū)域，選取面積最大兩塊聯(lián)通區(qū)域重心作為雙手的位置。
8. 權(quán)利要求1所述的方法，其特征是：所述的步驟（7)基于相對(duì)位移方向的HMM手部 軌跡識(shí)別方法如下： (1) 按時(shí)間序列提取各幀中手勢(shì)重心位置； (2) 以頭部中心點(diǎn)為原點(diǎn)，計(jì)算得手部向量（x，y);
X，Y為手部位置，Xd，Yf!為頭部中心位置，H為腿部區(qū)域邊長(zhǎng)； (3) 計(jì)算下相鄰幀圖像的手部位移向量
(4) 計(jì)算相鄰幀圖像的手部位移大小
若處于上下閾值（0. 1H~0. 4H)之間，則作為特征點(diǎn)進(jìn)行下面計(jì)算；若小于下閾值，說(shuō) 明手部移動(dòng)不明顯，舍棄該幀。若大于上閾值，說(shuō)明出現(xiàn)噪點(diǎn)，舍棄該幀； (5) 定義方向角為位移向量與水平方向右方向的夾角，逆時(shí)針為正，計(jì)算特征點(diǎn)間的方 向角：
(6) 對(duì)手勢(shì)方向進(jìn)行編碼； (7) 進(jìn)行HMM手勢(shì)軌跡訓(xùn)練和識(shí)別。
【專利摘要】一種基于單目視覺(jué)移動(dòng)拍攝下的手勢(shì)軌跡識(shí)別方法，其特征是通過(guò)指揮人員特征，進(jìn)行指揮人員腿部和人臉檢測(cè)，實(shí)現(xiàn)對(duì)指揮人員定位、確定尺度和手部相對(duì)位移的計(jì)算，最后通過(guò)相對(duì)位移方向特征進(jìn)行手勢(shì)軌跡識(shí)別。本發(fā)明能夠?qū)崿F(xiàn)在攝像頭運(yùn)動(dòng)的情況下定位指揮人員和手勢(shì)的識(shí)別，排除非指揮人員的干擾，提高效率，保證識(shí)別準(zhǔn)確率，具有很好的魯棒性。
【IPC分類】G06K9-00
【公開號(hào)】CN104700088
【申請(qǐng)?zhí)枴緾N201510128959
【發(fā)明人】王斌, 黎向鋒, 左敦穩(wěn), 王彩勇, 朱長(zhǎng)發(fā), 李敏, 李佶
【申請(qǐng)人】南京航空航天大學(xué)
【公開日】2015年6月10日
【申請(qǐng)日】2015年3月23日