專利名稱：基于深度相機(jī)的空間手勢姿態(tài)指令處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于深度相機(jī)非接觸式三維虛擬空間領(lǐng)域，尤其涉及一種基于深度相機(jī)的空間手勢姿態(tài)指令處理方法。
背景技術(shù)：
近幾年，人機(jī)交互、機(jī)器人和虛擬現(xiàn)實等領(lǐng)域的快速發(fā)展和廣泛應(yīng)用，三維交互輸入新技術(shù)成為人機(jī)虛擬交互領(lǐng)域中眾多研究學(xué)者研究的熱點(diǎn)。隨著這項技術(shù)的發(fā)展和不斷深入，大眾對其使用需求越來越高，非接觸、高速、實時定位與三維操作成為該技術(shù)發(fā)展的方向。然而，通常利用動態(tài)手勢實現(xiàn)三維鼠標(biāo)模擬裝置，利用三維空間位置傳感器或搭建虛擬三維場景輔助實現(xiàn)，且其操作方式有限。由于受復(fù)雜環(huán)境、光照條件和干擾等因素的影響較為嚴(yán)重，與理想環(huán)境相比，普通相機(jī)在室內(nèi)環(huán)境中，采集的圖像信息無法準(zhǔn)確表達(dá)動態(tài)三維手勢鼠標(biāo)的操作信息，魯棒性有更大程度的降低，所以，其實用性和定位操作精度會大大下降，使其非接觸鼠標(biāo)操作裝置性能降低。在復(fù)雜環(huán)境下，能克服光照條件和膚色背景等條件的干擾是解決非接觸鼠標(biāo)操作裝置最先完成的工作部分，即對空間中手勢分割性能指標(biāo)提出更高的要求，并準(zhǔn)確定位出手勢鼠標(biāo)的位置。但是，目前在復(fù)雜背景下的分割方法有手勢模板、膚色檢測等方法能在一定條件下提高操作穩(wěn)定性，但無法滿足光照條件變化及抗干擾的要求。如果無法準(zhǔn)確定位手勢的空間位置，那么后續(xù)的動態(tài)識別操作將受到影響，如動態(tài)手勢鼠標(biāo)跟蹤、識別等。2010年12月在《光電工程》的第37卷第12期公開了名為《基于動態(tài)手勢控制的交互式體三維顯示》文獻(xiàn)，公開了通過對二維相機(jī)水平面圍繞顯示空間捕獲二維信息的手勢圖像處理，實現(xiàn)了人機(jī)交互。上述文獻(xiàn)在靜態(tài)手勢檢測部分，通過檢測二維圖像數(shù)據(jù)相鄰幀差中特定區(qū)域，確定初始動態(tài)跟蹤區(qū)域，結(jié)合手部膚色模型進(jìn)行靜態(tài)手型檢測，其方案抗外界干擾能力差，無法適應(yīng)較復(fù)雜環(huán)境；在動態(tài)手勢特征提取，是通過在二維平面上對手勢軌跡做Freeman八方向編碼處理,提取出動態(tài)手勢特征，其計算數(shù)據(jù)較大，無法精確、快速獲取數(shù)據(jù)。同時，上述文獻(xiàn)通過二維相機(jī)水平面圍繞顯示空間捕獲二維信息，其裝置結(jié)構(gòu)復(fù)雜，效率較低。

發(fā)明內(nèi)容
本發(fā)明針對上述問題，提供了一種在復(fù)雜多變的環(huán)境中，能夠快速、準(zhǔn)確識別空間手勢指令信息，極大程度提高工作效率及準(zhǔn)確度，且魯棒性高、實用性強(qiáng)、抗干擾能力好的基于深度相機(jī)的空間手勢姿態(tài)指令處理方法。本發(fā)明的技術(shù)方案包括以下步驟I)、通過深度相機(jī)獲取實時的圖像，所述圖像包括深度圖像和RGB彩色圖像；利用OpenNI應(yīng)用框架對兩所述圖像中人體進(jìn)行用戶定位和骨骼跟蹤，根據(jù)所述骨骼跟蹤獲取所述人體的手部關(guān)節(jié)點(diǎn)坐標(biāo)信息；根據(jù)所述手部關(guān)節(jié)點(diǎn)坐標(biāo)信息，獲得所述手勢的手掌中心點(diǎn)坐標(biāo)信息，同時設(shè)定所述手勢深度信息的閾值，將手勢從兩所述圖像中分割出來，實時得到所述人體的手勢深度信息和RGB彩色信息，同時有效地圈出動態(tài)手勢的位置；2)、對上述 步驟I)中所述手勢深度信息，利用三維點(diǎn)云計算得到手勢點(diǎn)云數(shù)據(jù)，計算后的所述手勢點(diǎn)云數(shù)據(jù)只包括所述點(diǎn)的三維坐標(biāo)位置信息，然后對所述手勢點(diǎn)云數(shù)據(jù)做數(shù)據(jù)濾波處理，濾除掉所述手勢點(diǎn)云數(shù)據(jù)中的噪聲干擾點(diǎn)；得手勢點(diǎn)云信息；3)、將步驟2)中所述手勢點(diǎn)云信息，通過旋轉(zhuǎn)、平移將手勢點(diǎn)云信息三維信息進(jìn)行平面配準(zhǔn)，保存配準(zhǔn)后手勢點(diǎn)云信息，然后提取出手勢點(diǎn)云信息的輪廓特征點(diǎn)信息，所述輪廓特征點(diǎn)包括指尖點(diǎn)、指尖凹點(diǎn)和手掌中心點(diǎn)；4)、根據(jù)步驟3)中所述輪廓特征點(diǎn)信息結(jié)合深度圖像的像素深度值映射出所述輪廓特征點(diǎn)的深度值，通過歐式距離法做距離閾值判斷、篩選出關(guān)鍵指尖點(diǎn)信息，根據(jù)所述指尖點(diǎn)信息和對應(yīng)指尖凹點(diǎn)信息結(jié)合所述平面配準(zhǔn)的平面獲取五個手指特征矢量，根據(jù)所述特征矢量恢復(fù)出手勢姿態(tài)；5)、根據(jù)步驟4)所述特征矢量的條件篩選進(jìn)行三種手勢姿態(tài)識別；所述三種手勢姿態(tài)的指令及相應(yīng)指令處理”Grab”手勢，定義為模擬抓取當(dāng)前三維空間位置物體；” Fist”手勢在空間連續(xù)運(yùn)動時，定義為拖動操作，表示運(yùn)動手勢模擬拽拖或移動當(dāng)前空間位置物體；”Kick”手勢定義為點(diǎn)擊操作，表示運(yùn)動手勢模擬點(diǎn)擊當(dāng)前空間位置信息，且連續(xù)輸出空間坐標(biāo)的信息；6)、根據(jù)步驟5)手勢姿態(tài)識別的結(jié)果，在特定手勢姿態(tài)下，跟蹤步驟I)中所述的動態(tài)手勢的運(yùn)動軌跡，自動標(biāo)定一垂直于深度體感相機(jī)的虛擬參考平面，當(dāng)動態(tài)手勢在標(biāo)定平面上有運(yùn)動變化時，測出手勢鼠標(biāo)在標(biāo)定平面上的相應(yīng)運(yùn)動，識別其運(yùn)動軌跡做并做相應(yīng)模擬手勢鼠標(biāo)處理操作；當(dāng)動態(tài)手勢出現(xiàn)垂直于相機(jī)的運(yùn)動軌跡時，識別相應(yīng)運(yùn)動軌跡定義其操作內(nèi)容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標(biāo)輸出點(diǎn)進(jìn)行數(shù)據(jù)平滑。所述手勢深度信息的閾值范圍為8(Tl00mm。步驟2)中所述三維點(diǎn)云計算為
權(quán)利要求
1.基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，包括以下步驟 1)、通過深度相機(jī)獲取實時的圖像，所述圖像包括深度圖像和RGB彩色圖像； 利用OpenNI應(yīng)用框架對兩所述圖像中人體進(jìn)行用戶定位和骨骼跟蹤，根據(jù)所述骨骼跟蹤獲取所述人體的手部關(guān)節(jié)點(diǎn)坐標(biāo)信息； 根據(jù)所述手部關(guān)節(jié)點(diǎn)坐標(biāo)信息，獲得所述手勢的手掌中心點(diǎn)坐標(biāo)信息，同時設(shè)定所述手勢深度信息的閾值，將手勢從兩所述圖像中分割出來，實時得到所述人體的手勢深度信息和RGB彩色信息，同時有效地圈出動態(tài)手勢的位置； 2)、對上述步驟I)中所述手勢深度信息，利用三維點(diǎn)云計算得到手勢點(diǎn)云數(shù)據(jù)，計算后的所述手勢點(diǎn)云數(shù)據(jù)只包括所述點(diǎn)的三維坐標(biāo)位置信息，然后對所述手勢點(diǎn)云數(shù)據(jù)做數(shù)據(jù)濾波處理，濾除掉所述手勢點(diǎn)云數(shù)據(jù)中的噪聲干擾點(diǎn)；得手勢點(diǎn)云信息； 3)、將步驟2)中所述手勢點(diǎn)云信息，通過旋轉(zhuǎn)、平移將手勢點(diǎn)云信息三維信息進(jìn)行平面配準(zhǔn)，保存配準(zhǔn)后手勢點(diǎn)云信息，然后提取出手勢點(diǎn)云信息的輪廓特征點(diǎn)信息，所述輪廓特征點(diǎn)包括指尖點(diǎn)、指尖凹點(diǎn)和手掌中心點(diǎn)； 4)、根據(jù)步驟3)中所述輪廓特征點(diǎn)信息結(jié)合深度圖像的像素深度值映射出所述輪廓特征點(diǎn)的深度值，通過歐式距離法做距離閾值判斷、篩選出關(guān)鍵指尖點(diǎn)信息，根據(jù)所述指尖點(diǎn)信息和對應(yīng)指尖凹點(diǎn)信息結(jié)合所述平面配準(zhǔn)的平面獲取五個手指特征矢量，根據(jù)所述特征矢量恢復(fù)出手勢姿態(tài)； 5)、根據(jù)步驟4)所述特征矢量的條件篩選進(jìn)行三種手勢姿態(tài)識別；所述三種手勢姿態(tài)的指令及相應(yīng)指令處理”Grab”手勢，定義為模擬抓取當(dāng)前三維空間位置物體；”Fist”手勢在空間連續(xù)運(yùn)動時，定義為拖動操作，表示運(yùn)動手勢模擬拽拖或移動當(dāng)前空間位置物體；”Kick”手勢定義為點(diǎn)擊操作，表示運(yùn)動手勢模擬點(diǎn)擊當(dāng)前空間位置信息，且連續(xù)輸出空間坐標(biāo)的信息； 6)、根據(jù)步驟5)手勢姿態(tài)識別的結(jié)果，在特定手勢姿態(tài)下，跟蹤步驟I)中所述的動態(tài)手勢的運(yùn)動軌跡，自動標(biāo)定ー垂直于深度體感相機(jī)的虛擬參考平面，當(dāng)動態(tài)手勢在標(biāo)定平面上有運(yùn)動變化時，測出手勢鼠標(biāo)在標(biāo)定平面上的相應(yīng)運(yùn)動，識別其運(yùn)動軌跡做并做相應(yīng)模擬手勢鼠標(biāo)處理操作；當(dāng)動態(tài)手勢出現(xiàn)垂直于相機(jī)的運(yùn)動軌跡時，識別相應(yīng)運(yùn)動軌跡定義其操作內(nèi)容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標(biāo)輸出點(diǎn)進(jìn)行數(shù)據(jù)平滑。
2.根據(jù)權(quán)利要求1所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，所述手勢深度信息的閾值范圍為8(Tl00mm。
3.根據(jù)權(quán)利要求1所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，步驟2)中所述三維點(diǎn)云計算為
4.根據(jù)權(quán)利要求1所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，所述步驟2)的所述濾波處理設(shè)置濾波的歐氏距離閾值范圍為O. 02mm，最近鄰搜索k-D樹搜索次數(shù)設(shè)為100。
5.根據(jù)權(quán)利要求I所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在 于，所述步驟3)中點(diǎn)云信息配準(zhǔn)公式為
6.根據(jù)權(quán)利要求I所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，步驟3)中所述歐式距離法做距離閾值判斷、篩選出關(guān)鍵指尖點(diǎn)信息首先通過R=min {d3 (Vj, c0)}，計算得出的手掌半徑R值，然后通過d3 (Pi, c0) >2*R，進(jìn)行篩選出關(guān)鍵指尖點(diǎn)信息；式中d3表示三維空間的歐氏距離計算，式中Pi表示指尖的三維坐標(biāo)，Vj表示指尖凹點(diǎn)的三維坐標(biāo)，C0表示手掌中心點(diǎn)的三維坐標(biāo)。
7.根據(jù)權(quán)利要求I所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，步驟5)中所述特征矢量的條件篩選
8.根據(jù)權(quán)利要求I所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，步驟6)所述動態(tài)手勢運(yùn)動過程中手掌坐標(biāo)運(yùn)動距離須大于50mm。
9.根據(jù)權(quán)利要求I所述基于深度相機(jī)的空間手勢姿態(tài)指令處理方法，其特征在于，所述識別其運(yùn)動軌跡做并做相應(yīng)模擬手勢鼠標(biāo)處理操作手勢運(yùn)動大小通過差值特征量來衡量，所述差值特征量表達(dá)式為
全文摘要
基于深度相機(jī)的空間手勢姿態(tài)指令處理方法。涉及基于深度相機(jī)的空間手勢姿態(tài)指令處理方法。在復(fù)雜多變的環(huán)境中，能夠快速、準(zhǔn)確識別空間手勢指令信息，極大程度提高工作效率及準(zhǔn)確度，且魯棒性高、實用性強(qiáng)、抗干擾能力好。包括以下步驟1)通過深度相機(jī)獲取實時的圖像；2)利用三維點(diǎn)云計算得到手勢點(diǎn)云數(shù)據(jù)，得手勢點(diǎn)云信息；3)將手勢點(diǎn)云信息進(jìn)行平面配準(zhǔn)，提取輪廓特征點(diǎn)信息；4)恢復(fù)出手勢姿態(tài)；5)進(jìn)行手勢姿態(tài)識別；6)識別相應(yīng)運(yùn)動軌跡定義其操作內(nèi)容，最終通過TUIO協(xié)議對動態(tài)手勢鼠標(biāo)輸出點(diǎn)進(jìn)行數(shù)據(jù)平滑。本發(fā)明能快速、準(zhǔn)確全方位獲取目標(biāo)信息；建立空間運(yùn)動檢測區(qū)域，提取不同深度信息，實現(xiàn)多點(diǎn)觸摸，從而改善整體操作性能。
文檔編號G06T7/20GK102982557SQ20121043864
公開日2013年3月20日 申請日期2012年11月6日 優(yōu)先權(quán)日2012年11月6日
發(fā)明者莫建文 申請人:桂林電子科技大學(xué)