專利名稱：基于指端標記的視頻手指定位系統(tǒng)及其定位方法
技術(shù)領(lǐng)域：
本發(fā)明所述的基于指端標記的視頻手指定位系統(tǒng)及定位方法，屬于一種基于視頻的數(shù)據(jù)處理設(shè)備及技術(shù)，適用于虛擬現(xiàn)實系統(tǒng)的人機交互環(huán)節(jié)。
背景技術(shù)：
交互技術(shù)是虛擬現(xiàn)實系統(tǒng)的關(guān)鍵性技術(shù)之一，實現(xiàn)了人與計算機、現(xiàn)實世界與虛擬世界的交互。要實現(xiàn)交互，需要在某些時間參考幀中(時刻)獲得用戶，特別是用戶肢體(手部)的實時位置和方向信息。
在人機交互領(lǐng)域，手部跟蹤主要分為數(shù)據(jù)手套跟蹤和視頻跟蹤兩種方式。
參見“石教英著，《虛擬現(xiàn)實基礎(chǔ)及實用算法》，科學(xué)出版社，2002”，綜合闡述了數(shù)據(jù)手套的相關(guān)內(nèi)容數(shù)據(jù)手套將手指和手掌伸屈時的各種姿勢轉(zhuǎn)換為數(shù)字信號送給計算機，供識別與執(zhí)行，實現(xiàn)交互。標準配置是每個手指上有兩個傳感器，控制裝在手指背面的兩條光纖環(huán)或其他測量元件，用來測量手指主要關(guān)節(jié)的彎曲角度。數(shù)據(jù)手套還提供測量大拇指并攏/張開以及上翹/下翹角度的傳感器作為選件。
雖然，跟蹤設(shè)備和數(shù)據(jù)手套的配合使用可以準確地獲得手指的位置和姿態(tài)信息，但是也有其不足之處①設(shè)備本身結(jié)構(gòu)復(fù)雜，佩戴后造成用戶手指運動的不靈活；②為了達到高精度，采用了精密的傳感器件，造成了整體的價格昂貴，且難于維護；③數(shù)據(jù)手套采用充氣、振動或者電刺激來壓迫刺激皮膚，以達到觸覺反饋目的，僅僅模擬最基本的觸碰感覺。
基于視覺的手部跟蹤定位有兩類基于單目視覺和基于多目(雙目)視覺。參見“常紅，王涌天，華宏等，基于計算機視覺技術(shù)的手形手位跟蹤方法，北京理工大學(xué)學(xué)報，1999，19(6)739-743”，提出了一種基于單目視覺的手部跟蹤方法。參見“JianchaoZeng，Yue Wang，Turner R.等，Vision-based finger tracking of breast palpationfor improving breast self-examination，18th Annual International Conference ofthe IEEE Engineering in Medicine and Biology Society，Amsterdam 1996.Vol 1.Page(s)148-149”，提出了一種基于色彩檢測的雙目視覺跟蹤技術(shù)。但是，無論雙目還是單目視覺，目前的視頻跟蹤技術(shù)主要用于確定手指相對于手掌的位置以及手指之間的相對位置，即手形識別問題。

發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于計算機視覺原理的，輕便實用、價格低廉并且不會影響手部觸感的手指定位系統(tǒng)，實現(xiàn)數(shù)據(jù)手套的識別定位功能；利用視頻處理技術(shù)，特別提供開關(guān)、按鈕、手柄等(以下簡稱開關(guān))類操作模擬時的手指定位技術(shù)。問題的關(guān)鍵是要高精度確定手指在絕對空間中的位置。
本發(fā)明的技術(shù)方案如下(1)系統(tǒng)特征基于指端標記的視頻手指定位系統(tǒng)，其特征在于，包括計算機，圖像采集裝置和數(shù)部攝像機，同時在五指指端及手背貼上圖形標記點。其中，對手部進行三維檢測的每部攝像機均通過圖像采集裝置連接于計算機。
如上所述的基于指端標記的視頻手指定位系統(tǒng)，其特征在于，上述的圖形標記點，貼于指甲，并且經(jīng)過特別設(shè)計不同指端的標記點圖形采用不同顏色，適應(yīng)遠距離定位；標記點圖形帶有方向特征(例如標記點圖形設(shè)計為面向指端的箭頭圖形)，適應(yīng)中距離定位時的指端方向識別；標記點圖形內(nèi)部繪制標定圖案，適應(yīng)近距離定位。標記遠近兼容，適應(yīng)拍攝距離的劇烈變化。
(2)方法特征基于指端標記的視頻手指定位系統(tǒng)的定位方法，其特征在于，包括如下工作步驟初始階段通過基于二維平面標靶的標定方法，由標定參照物確定每部攝像機的內(nèi)部參數(shù)；通過對每部攝像機進行全局標定，確定各個攝像機坐標系相對于一個統(tǒng)一世界坐標系的平移與轉(zhuǎn)角，完成系統(tǒng)初始化；定位階段自適應(yīng)拍攝距離，通過對圖形標記點的檢測實現(xiàn)手指定位。
如上所述的基于指端標記的視頻手指定位系統(tǒng)的定位方法，其特征在于，上述定位階段的自適應(yīng)拍攝距離遠距離時，采用多目視覺原理，基于標記點顏色實現(xiàn)定位；中距離時，采用多目視覺原理，基于標記點顏色實現(xiàn)定位，基于標記點圖形確定指端方向；近距離時，采用單目視覺原理，基于標定圖案實現(xiàn)單個指端的定位，并通過檢測不同指端的攝像機的多信息融合，確定整體手形及定位。
其中，中遠距離時，可能發(fā)生指端標記點的遮擋問題，當標記點坐標信息不足時，通過基于膚色分割的方法，確定整體手形，結(jié)合手形與可見標記點的坐標信息，實現(xiàn)整體定位。
其中，近距離時，根據(jù)標定圖案的不同，具體的定位方法是①標定圖案為直角三角形和一條直線的定位方法，利用標定圖案間的對應(yīng)性，由單應(yīng)矩陣確定指端的位置和角度，其中，單應(yīng)矩陣是表示三維空間點與對應(yīng)二維圖像點之間關(guān)系的矩陣；②標定圖案為正方形的定位方法，由矩形四個頂點的投影成像，利用旋轉(zhuǎn)矩陣的單位正交性定位手指，所述旋轉(zhuǎn)矩陣單位正交性是指
RRT＝RTR＝I，其中R=cosψcosφsinθsinψcosφ-cosθsinφcosθsinψcosφ+sinθsinφcosψsinφsinθsinψsinφ+cosθcosφcosθsinψsinφ-sinθcosφ-sinψsinθcosψcosθcosψ,]]>RT=cosψcosφcosψsinφ-sinψsinθsinψcosφ-cosθsinφsinθsinψsinφ+cosθcosφsinθcosψcosθsinψcosφ+sinθsinφcosθsinψsinφ-sinθcosφcosθcosψ,]]>θ為繞X軸的旋轉(zhuǎn)角，ψ為繞Y軸的旋轉(zhuǎn)角，φ為繞Z軸的旋轉(zhuǎn)角，I=100010001;]]>③標定圖案為正方形的一組對邊和對角線的定位方法，由兩個方向的消隱點確定手指的位置和方向，其中，消隱點是指空間平行直線在不與攝像頭成像面平行的情況下所成的像在成像平面的交點；④標定圖案為圓的定位方法，利用圓在透視投影過程中變成橢圓，運用三角幾何知識完成手指的定位。
如上所述的基于指端標記的視頻手指定位系統(tǒng)的定位方法，其特征在于，上述定位階段的圖形標記點檢測，引入開關(guān)類型、開關(guān)空間位置等與操作手形對應(yīng)的參數(shù)關(guān)系，預(yù)測指端運動軌跡，縮小標記點檢測查詢空間，提高定位速度。
本發(fā)明的有益效果在于同當前的數(shù)據(jù)手套相比，具有兩個明顯的優(yōu)勢①非接觸式，沒有佩戴數(shù)據(jù)手套時對人手觸覺和行動的干擾。即用戶不需要佩戴煩瑣的跟蹤裝置，通過架設(shè)數(shù)部攝像機完成數(shù)據(jù)手套的定位識別功能，簡化整個輸入設(shè)備；②成本低廉。目前，各類數(shù)據(jù)手套的購置價格、維護費用極其昂貴，而常規(guī)攝像機價格低廉、無需維護，大大降低了交互系統(tǒng)的整體成本，更適用于各個層次的用戶。
同當前的視頻跟蹤技術(shù)相比，具有三個獨到之處①可以特別針對開關(guān)類操作時的手部定位，攝像機埋設(shè)于開關(guān)附近，手指越接近開關(guān)時圖像分辨率越高，因此定位精度越高；②標記貼于指甲，消除標記本身相對于手指移動而造成的誤差；③標記經(jīng)過特別設(shè)計，遠近兼容，適用于較大范圍的運動。


圖1為基于指端標記的視頻手指定位系統(tǒng)的構(gòu)成框圖。
圖2為基于指端標記的視頻手指定位系統(tǒng)的工作原理框圖。
圖3為基于指端標記的視頻手指定位系統(tǒng)的定位流程圖1-遠距離拍攝時的定位流程2-中距離拍攝時的定位流程3-近距離拍攝時的定位流程圖4為指端標記點中標定圖案的實例示意圖4-直角三角形和一條直線組成的標記 5-正方形標記6-正方形的一組對邊和對角線組成的標記 7-圓標記具體實施方式
首先，如圖1所示的系統(tǒng)構(gòu)成框圖進行系統(tǒng)布局，采用數(shù)部攝像機進行手部的監(jiān)測。之后，如圖2所示的工作原理框圖，由圖像采集設(shè)備將視頻模擬輸入轉(zhuǎn)為圖像數(shù)字信號，通過計算機完成指端的識別定位。
定位具體過程如圖3的流程圖所示(1)初始階段通過基于二維平面標靶的標定方法，由普通矩形作為標定參照物，確定各部攝像機的fu、fv、u0、v0、s這5個參數(shù)(其中u0、v0為主點坐標，fu為圖像u軸的尺度因子，fv為圖像v軸的尺度因子，s為畸變因子)，得到內(nèi)參數(shù)矩陣KK=fusu00fvv0001]]>通過全局標定將數(shù)部攝像機的坐標系轉(zhuǎn)換到一個統(tǒng)一世界坐標系中，確定各個攝像機坐標系相對于一個統(tǒng)一世界坐標系的平移與轉(zhuǎn)角，合為外參數(shù)矩陣WW=RT01]]>其中旋轉(zhuǎn)矩陣R=cosψcosφsinθsinψcosφ-cosθsinφcosθsinψcosφ+sinθsinφcosψsinφsinθsinψsinφ+cosθcosφcosθsinψsinφ-sinθcosφ-sinψsinθcosψcosθcosψ]]>表示與世界坐標系中三坐標軸間的夾角函數(shù)，θ為繞X軸的旋轉(zhuǎn)角，ψ為繞Y軸的旋轉(zhuǎn)角，φ為繞Z軸的旋轉(zhuǎn)角。T=txtytz]]>表示在世界坐標系中三坐標軸方向的平移矢量，tx、ty、tz分別表示在世界坐標系中X軸，Y軸，Z軸的平移量。
(2)定位階段中遠距離拍攝時，采用多目視覺原理確定標記點的二維圖像坐標。第一步，由幀間差分算法檢測圖像中的運動區(qū)域，無運動時不做處理，節(jié)省系統(tǒng)資源。第二步，利用標記點色彩域值，對運動圖像進行濾波，去除背景干擾，確定標記點圖形在圖像中的位置；并且，求解圖形質(zhì)心，確定標記點的二維圖像坐標。第三步，參考開關(guān)參數(shù)(開關(guān)參數(shù)包括開關(guān)類型、開關(guān)空間位置等)與操作手形之間的對應(yīng)關(guān)系，根據(jù)實時的指端標記點坐標，預(yù)測其下一時刻的區(qū)域位置，在運動區(qū)域中進一步縮小標記點檢測窗口，實現(xiàn)窗口跟蹤。
特別在中距離拍攝時，由于指端標記點圖形比較清晰，利用圖形方向特征確定指端指向，提高標記點下一時刻區(qū)域位置的預(yù)測精度。
將指端標記點的二維圖像坐標恢復(fù)至三維世界坐標。將數(shù)部攝像機由不同方位所捕捉的同一標記點的圖像坐標進行還原計算，精確定位三維坐標。以一部攝像機的坐標還原為例設(shè)P為標記點，P(x，y)為標記點的圖像坐標，P(X，Y，Z)為標記點的空間坐標，采用齊次坐標，兩者之間存在著如下的關(guān)系(其中，K為初始階段中得到的內(nèi)參數(shù)矩陣，T為初始階段中得到的外參數(shù)矩陣)λxy1=(K×T)XYZ1]]>其中，λ為一個非零比例系數(shù)。由于N為3×4不可逆矩陣，所以，當已知(K×T)與(x，y)時，上式給出的三個方程只可得到關(guān)于X、Y、Z的兩個線性方程。由這兩個線性方程組成的方程組為一條投影射線l，并且，在圖像上投影點為標記點P(x，y)的所有點均在該射線上。
對于數(shù)部攝像機來說，可得到同一標記點所在的N條投影射線l1、l2、……、lN，由這N條射線兩兩相交，可得 個空間坐標點P1、P2、……、 由這 個坐標點求均值，即為標記點的最終空間坐標。
當指端標記點發(fā)生遮擋情況時，采用基于膚色分割的方法，提取手部區(qū)域，確定手形；由手形信息及手形生物學(xué)約束，結(jié)合可見標記點坐標，實現(xiàn)整體定位。
拍攝距離較近時，采用單目視覺原理由于拍攝距離很近，圖形標記點中的標定圖案將在圖像中占主體位置。
根據(jù)攝像機成像原理，攝像機的外參數(shù)包括R與T，其中R為前文所述的旋轉(zhuǎn)矩陣，表示與世界坐標系中三坐標軸間的夾角函數(shù)；T為前文所述的平移矢量，表示在世界坐標系中三坐標軸方向的平移矢量。所以，攝像機坐標系與世界坐標系的關(guān)系可以用旋轉(zhuǎn)矩陣R與平移矢量T來描述。而將指端標記點中標定圖案的一些特定點(如圖4標號4所示的三角形的直角點、圖4標號5和6所示的正方形左上頂點、圖4標號7所示的圓形中心)設(shè)定為世界坐標系原點，就可以用旋轉(zhuǎn)矩陣R與平移矢量T來描述指端標記點與攝像機的相對位置。攝像機固定，與開關(guān)位置關(guān)系已知，便可再次轉(zhuǎn)化求得指端標記點相對于開關(guān)的位置。從而，確定指端絕對空間坐標。
如上所述，單目視覺定位的關(guān)鍵在于旋轉(zhuǎn)矩陣R與平移矢量T的獲得，但是，標定圖案的不同，其求解方法也不同。如圖4標號4所示的標定圖案，R與T的求解方法是利用標定圖案間的對應(yīng)性，由單應(yīng)矩陣確定指端的位置和角度，其中，單應(yīng)矩陣是表示三維空間點與對應(yīng)二維圖像點之間關(guān)系的矩陣，為前文所述的(K×T)；如圖4標號5所示的標定圖案，R與T的求解方法是由矩形四個頂點的投影成像，利用旋轉(zhuǎn)矩陣R的單位正交性定位手指，其中，如前面所述單位正交性是指RRT＝RTR＝I；如圖4標號6所示的標定圖案，R與T的求解方法是由兩個方向的消隱點確定手指的位置和方向，其中，消隱點是指空間平行直線在不與攝像頭成像面平行的情況下所成的像在成像平面的交點；如圖4標號7所示的標定圖案，R與T的求解方法是利用圓在透視投影過程中變成橢圓，運用三角幾何知識完成手指的定位。
權(quán)利要求
1.一種基于指端標記的視頻手指定位系統(tǒng)，其特征在于，包括攝像機、圖像采集設(shè)備和計算機，其中每部攝像機的輸出均分別通過圖像采集設(shè)備連接于計算機。
2.一種如權(quán)利要求1所述的基于指端標記的視頻手指定位方法，其特征在于，包括如下工作步驟(1)初始階段通過基于二維平面標靶的標定方法，確定每部攝像機的內(nèi)部參數(shù)；通過對每部攝像機進行全局標定，確定每個攝像機坐標系相對于一個統(tǒng)一世界坐標系的平移與轉(zhuǎn)向，完成系統(tǒng)初始化；(2)定位階段采用自適應(yīng)拍攝距離，通過對五指指端及手背貼上的圖形標記點的檢測實現(xiàn)手指定位；所述自適應(yīng)拍攝距離包括遠距離、中距離和近距離，遠距離時，采用多目視覺原理，基于標記點顏色實現(xiàn)定位，中距離時，采用多目視覺原理，基于標記點顏色實現(xiàn)定位，基于標記點圖形確定指端方向，近距離時，采用單目視覺原理，基于標定圖案實現(xiàn)定位；所述圖形標記點的檢測，引入開關(guān)類型、開關(guān)空間位置等與操作手形對應(yīng)的參數(shù)關(guān)系，預(yù)測指端運動軌跡，縮小標記點檢測查詢空間，提高定位速度。
3.根據(jù)權(quán)利要求2所述的基于指端標記的視頻手指定位方法，其特征在于，標定圖案的具體定位方法包括①標定圖案為直角三角形和一條直線的定位方法，利用標定圖案間的對應(yīng)性，由單應(yīng)矩陣確定指端的位置和角度，其中，單應(yīng)矩陣是表示三維空間點與對應(yīng)二維圖像點之間關(guān)系的矩陣；②標定圖案為正方形的定位方法，由矩形四個頂點的投影成像，利用旋轉(zhuǎn)矩陣的單位正交性定位手指，所述旋轉(zhuǎn)矩陣的單位正交性；RRT＝RTR＝I，其中R=cosψcosφsinθsinψcosφ-cosθsinφcosθsinψcosφ+sinθsinφcosψsinφsinθsinψsinφ+cosθcosφcosθsinψsinφ-sinθcosφ-sinψsinθcosψcosθcosψ,]]>RT=cosψcosφcossinφ-sinψsinθsinψcosφ-cosθsinφsinθsinψsinφ+cosθcosφsinθcosψcosθsinψcosφ+sinθsinφcosθsinψsinφ-sinθcosφcosθcosψ,]]>θ為繞X軸的旋轉(zhuǎn)角，ψ為繞Y軸的旋轉(zhuǎn)角，φ為繞Z軸的旋轉(zhuǎn)角，I=100010001;]]>③標定圖案為正方形的一組對邊和對角線的定位方法，由兩個方向的消隱點確定手指的位置和方向，其中，消隱點是指空間平行直線在不與攝像頭成像面平行的情況下所成的像在成像平面的交點；④標定圖案為圓的定位方法，利用圓在透視投影過程中變成橢圓，運用三角幾何知識完成手指的定位。
全文摘要
一種基于指端標記的視頻手指定位系統(tǒng)及其定位方法，屬于虛擬現(xiàn)實系統(tǒng)的人機交互技術(shù)。本系統(tǒng)包括攝像機、圖像采集設(shè)備和計算機。定位方法包括初始化和定位，初始化是通過二維平面標靶的標定方法，確定每部攝像機的內(nèi)部參數(shù)，通過對攝像機的全局標定，確定每部攝像機坐標系相對于一個統(tǒng)一世界坐標系的平移和轉(zhuǎn)向；定位階段，采用自適應(yīng)拍攝距離，通過對圖形標記點的檢測實現(xiàn)手指定位。本發(fā)明結(jié)構(gòu)簡單、成本低、定位精度高，適用于虛擬現(xiàn)實系統(tǒng)的人機交互。
文檔編號G01C11/36GK101033963SQ20071002140
公開日2007年9月12日 申請日期2007年4月10日 優(yōu)先權(quán)日2007年4月10日
發(fā)明者顧宏斌, 朱為玨, 孫瑾 申請人:南京航空航天大學(xué)