專(zhuān)利名稱(chēng)：一種三維手勢(shì)模型的初始化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維手勢(shì)模型的初始化領(lǐng)域，具體地講，涉及一種三維手勢(shì)模型的初始化方法及系統(tǒng)。

背景技術(shù)：
基于計(jì)算機(jī)視覺(jué)的三維自然人手跟蹤將為現(xiàn)實(shí)或虛擬環(huán)境里的HCI提供新的模式，從而實(shí)現(xiàn)更直接、更自然、更和諧的人機(jī)交互，目前已經(jīng)引起了國(guó)際上的高度重視。
粒子濾波方法已經(jīng)成為處理非高斯、非線性問(wèn)題的有力工具而在關(guān)節(jié)式物體的跟蹤領(lǐng)域得到了廣泛的關(guān)注。但是，采用粒子濾波需要對(duì)人手模型狀態(tài)進(jìn)行初始化。研究表明，無(wú)論傳統(tǒng)的數(shù)值優(yōu)化方法還是一些現(xiàn)代優(yōu)化方法，跟蹤算法收斂的速度都非常依賴(lài)于初始值的選取。如果初始值與最終的最優(yōu)解或某個(gè)可行解比較接近，優(yōu)化算法搜索到最優(yōu)解或者可行解的速度就會(huì)大大增加。因此通過(guò)目標(biāo)函數(shù)優(yōu)化來(lái)求解姿態(tài)估計(jì)問(wèn)題的關(guān)鍵是需要得到一定精度的初始值。大部分系統(tǒng)采用手工方法進(jìn)行初始化。
手工初始化方法的流程為(1)將攝像機(jī)進(jìn)行定標(biāo)，求出攝像機(jī)的內(nèi)參數(shù)；(2)設(shè)計(jì)三維人手模型；(3)將當(dāng)前的人手圖像顯示在顯示器上；(4)調(diào)整三維人手模型參數(shù)，使得模型與人手圖像更接近；(5)將模型向像平面進(jìn)行投影；(6)判斷該投影與顯示器上的人手圖像是否吻合？若是，則手工初始化成功，保存模型參數(shù)；若不是，轉(zhuǎn)步驟(4)。這里的吻合是指用眼睛看起來(lái)令人滿意或計(jì)算機(jī)求得的誤差達(dá)到用戶指定精度范圍。該初始化方法存在精度低、工作量大、耗時(shí)長(zhǎng)、缺乏靈活性等問(wèn)題。
《計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)》2006年第18卷第08期的《一種基于UKF的3-D人手跟蹤算法》公開(kāi)了一種人手三維模型的方法，該模型根據(jù)人手的生理特點(diǎn)和運(yùn)動(dòng)特點(diǎn)，設(shè)計(jì)時(shí)主要考慮靜態(tài)約束(關(guān)節(jié)角度變化范圍)和運(yùn)動(dòng)約束(關(guān)節(jié)之間的運(yùn)動(dòng)依賴(lài)關(guān)系)，每個(gè)指節(jié)用圓柱進(jìn)行仿真，手指的長(zhǎng)度、手指的半徑以及手掌的尺寸設(shè)置均在初始化階段完成。此論文的人手三維模型比常規(guī)人手三維模型更簡(jiǎn)單，更粗糙 2008年IEEE計(jì)算機(jī)協(xié)會(huì)期刊公開(kāi)了一篇關(guān)于圖像中特征提取的方法研究的論文，名稱(chēng)為提取圖像特征的魯棒性方法研究(Research on FeaturesExtraction From Frame Image Sequences)，此論文提出一種人手幀圖像中特征提取的魯棒性方法，該方法分兩個(gè)階段進(jìn)行特征粗定位階段(簡(jiǎn)稱(chēng)CLP階段)和特征魯棒性提取階段(簡(jiǎn)稱(chēng)REP階段)。在CLP階段，通過(guò)近似地用凹凸多邊形模型刻畫(huà)幀圖像中的手勢(shì)多邊形，探討從定位點(diǎn)和定位線出發(fā)獲取手勢(shì)多邊形的基本方法，給出一種提取手勢(shì)多邊形和感興趣特征的特征初定位算法(簡(jiǎn)稱(chēng)CL算法)。在REP階段，利用多尺度理論和方法對(duì)采用CL算法得到的特征進(jìn)一步進(jìn)行處理，通過(guò)定義不同類(lèi)型特征點(diǎn)強(qiáng)度概念，構(gòu)造不同類(lèi)型特征點(diǎn)的描述形式，得到特征魯棒性提取算法(簡(jiǎn)稱(chēng)RE算法)。大量對(duì)比實(shí)驗(yàn)表明，RE算法具有魯棒性強(qiáng)、時(shí)間開(kāi)銷(xiāo)低等優(yōu)點(diǎn)。
2008年IEEE計(jì)算機(jī)協(xié)會(huì)期刊還公開(kāi)了一種建立三維模型方法及該模型在人手跟蹤中應(yīng)用的研究，論文名稱(chēng)為魯棒性觀測(cè)似然模型及其在人手跟蹤中的應(yīng)用研究(The Robust Likelihood Model of State Measurement and ItsApplications In Articulated Object Tracking)。此論文以魯棒性和實(shí)時(shí)性為目標(biāo)，對(duì)從人手幀圖像中獲取特征點(diǎn)的方法進(jìn)行研究。首先，根據(jù)人手生理模型和相機(jī)投影原理，提出用手勢(shì)多邊形描述的手勢(shì)圖像輪廓的基本思想和基本方法；其次，對(duì)手勢(shì)多邊形的頂點(diǎn)局部區(qū)域利用Lindeberg方法獲取基于多尺度的角點(diǎn)位置；然后，利用Hausdorff距離和Hausdorff矩陣表達(dá)不同尺度下的特征信息；在此基礎(chǔ)上，提出了狀態(tài)觀測(cè)似然模型；最后，把該模型用于三維運(yùn)動(dòng)人手跟蹤，并進(jìn)行大量對(duì)比實(shí)驗(yàn)。
2008年2月《中國(guó)圖象圖形學(xué)報(bào)》第13卷第2期公開(kāi)了密度分布特征及其在二值圖像檢索中的應(yīng)用。該方法在經(jīng)過(guò)形心定位和子圖像區(qū)域劃分后，可得到2個(gè)M維特征向量，其中第1個(gè)表示各個(gè)子圖像區(qū)域的目標(biāo)像素的相對(duì)密度，第2個(gè)表示各個(gè)子圖像區(qū)域的目標(biāo)像素在極坐標(biāo)方向上的相對(duì)密度的一階數(shù)值差分。在進(jìn)行相似性度量時(shí)，首先采用Gaussian模型對(duì)這2個(gè)特征向量計(jì)算得到的距離分別進(jìn)行歸一化處理；然后綜合兩個(gè)特征向量的距離計(jì)算總的相似度。
本發(fā)明在上述論文公開(kāi)的算法基礎(chǔ)上，提出了一種三維手勢(shì)模型初始化方法及系統(tǒng)。


發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種時(shí)間開(kāi)銷(xiāo)少、魯棒性和精度得到有效改善的初始化方法，該方法把可視化技術(shù)和人機(jī)交互技術(shù)天然地結(jié)合在一起，給操作者帶來(lái)愉悅和方便。
本發(fā)明采用如下技術(shù)方案來(lái)實(shí)現(xiàn)發(fā)明目的 一種三維手勢(shì)模型的初始化方法，其特征在于，包括如下步驟 (1)建立三維手勢(shì)數(shù)據(jù)庫(kù)； (2)利用攝像機(jī)采集手勢(shì)圖像，并從視頻流中獲取幀圖像，計(jì)算觀測(cè)特征值； (3)在三維手勢(shì)數(shù)據(jù)庫(kù)中搜尋與當(dāng)前手勢(shì)圖像最相近的三維手勢(shì)模型，將搜尋到的三維手勢(shì)模型顯示并按照攝像機(jī)投影矩陣進(jìn)行投影； (4)從視頻流獲取新的觀測(cè)特征值，并進(jìn)行可視化顯示，得到觀測(cè)特征值圖像； (5)操作者調(diào)整手勢(shì)狀態(tài)； (6)如果操作者不認(rèn)可當(dāng)前手勢(shì)狀態(tài)，轉(zhuǎn)向步驟(4)； (7)如果操作者認(rèn)可當(dāng)前手勢(shì)狀態(tài)，則停止調(diào)整，對(duì)當(dāng)前的手勢(shì)狀態(tài)及三維手勢(shì)模型進(jìn)行評(píng)價(jià)，得出評(píng)價(jià)結(jié)果，如果評(píng)價(jià)結(jié)果達(dá)到精度要求，則繪制、輸出三維手勢(shì)模型，初始化成功，如果評(píng)價(jià)結(jié)果沒(méi)有達(dá)到精度要求，則轉(zhuǎn)向步驟(4)。
作為對(duì)本發(fā)明的進(jìn)一步限定，步驟(1)包括如下步驟 B1用定標(biāo)后的攝像機(jī)獲取人手圖像； B2建立三維人手模型，不斷調(diào)整三維人手模型參數(shù)，直到三維人手模型在對(duì)應(yīng)人手圖像上的投影與該人手圖像吻合為止，其中，投影矩陣由已知攝像機(jī)的參數(shù)所組成； B3獲取人手圖像的密度分布特征 B4用索引方式組織人手圖像、三維人手模型以及密度分布特征。
作為對(duì)本發(fā)明的進(jìn)一步限定，步驟(7)包括如下操作過(guò)程 D1計(jì)算手勢(shì)觀測(cè)圖像I(t)與模型投影圖像P(t)之間的Hausdorff距離hk(i，j)＝Hausdorff(I(t)，P(t))，其中，i∈I(t)，j∈P(t)； D2如果hk(i，j)＜δ，則返回人手模型，人手模型達(dá)到規(guī)定精度，保存輸出初始化模型，初始化成功，其中，δ為一常數(shù)； D3如果hk(i，j)＞δ，則執(zhí)行如下步驟 D3.1求集合Xj，把三維手勢(shì)模型中影響特征向量j的所有變量放入集合Xj中，在此j為關(guān)鍵因素； D3.2對(duì)集合Xj中所有元素進(jìn)行采樣； D3.3根據(jù)采樣值重新計(jì)算Hausdorff距離hk+1(i，j)，如果hk+1(i，j)＞hk(i，j)，則舍棄此次采樣值，轉(zhuǎn)步驟D3.2； D3.4如果hk+1(i，j)＜hk(i，j)，則程序根據(jù)采樣值自動(dòng)刷新三維手勢(shì)模型，并進(jìn)行顯示，同時(shí)把三維手勢(shì)模型按照攝像機(jī)投影矩陣進(jìn)行投影； D3.5把人手圖像中的關(guān)鍵因素以一定的形式凸現(xiàn)出來(lái)，操作者根據(jù)可視化狀態(tài)調(diào)節(jié)手勢(shì)。
作為對(duì)本發(fā)明的進(jìn)一步限定，步驟D3.2對(duì)集合Xj中所有元素進(jìn)行采樣包括如下步驟狀態(tài)變量x∈Xj是服從高斯分布的隨機(jī)變量，用上一時(shí)刻t-1的狀態(tài)分布近似地代替時(shí)刻t的狀態(tài)分布，即為了避免狀態(tài)值在大范圍內(nèi)震蕩，盡快收斂到真實(shí)解，引進(jìn)閾值λ，使其滿足條件λ為一常數(shù)。λ可取值3或4或5。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果是本文給出了一種比較系統(tǒng)性的初始化方法，該方法把可視化技術(shù)和人機(jī)交互技術(shù)天然地結(jié)合在一起，不僅使得初始化結(jié)果的時(shí)間開(kāi)銷(xiāo)、魯棒性以及精度得到有效改善，而且給操作者帶來(lái)愉悅和方便。為了突破人手結(jié)構(gòu)的高維性這個(gè)難點(diǎn)，本文引入關(guān)鍵因素這個(gè)基本概念，指引采樣過(guò)程沿著“最需要調(diào)整”的狀態(tài)變量進(jìn)行，達(dá)到降低維數(shù)、逐步求精的效果。由于特征值提取的時(shí)間開(kāi)銷(xiāo)是本文算法時(shí)間開(kāi)銷(xiāo)的瓶頸，本文采用速度快、魯棒性強(qiáng)的特征提取方法，并減少特征點(diǎn)的數(shù)目，降低計(jì)算Hausdorff距離的時(shí)間開(kāi)銷(xiāo)。在整個(gè)初始化過(guò)程中，操作者不是被動(dòng)地等待計(jì)算機(jī)搜索手勢(shì)模型的真解，而是根據(jù)當(dāng)前的實(shí)際狀態(tài)主動(dòng)調(diào)節(jié)手勢(shì)。將三維模型、圖像以及關(guān)鍵因素等比較抽象的數(shù)據(jù)及其關(guān)系在顯示器上實(shí)時(shí)再現(xiàn)出來(lái)，使得操作者易于進(jìn)行人機(jī)交互。



圖1為本發(fā)明一優(yōu)選實(shí)施例的系統(tǒng)流程圖。
圖2為基于亮度的顏色分布模型框圖。
圖3為本發(fā)明另一優(yōu)選實(shí)施例的系統(tǒng)流程圖。

具體實(shí)施例方式 下面結(jié)合附圖和優(yōu)選實(shí)施例對(duì)本發(fā)明作更進(jìn)一步的詳細(xì)描述。
參見(jiàn)圖1，該方法包括如下步驟，步驟S1，建立三維手勢(shì)數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)中存儲(chǔ)一組各種形態(tài)的三維人手手勢(shì)，按照以下過(guò)程建立數(shù)據(jù)庫(kù)A1用定標(biāo)后的攝像機(jī)獲取人手圖像；A2建立三維人手模型，不斷調(diào)整三維人手模型參數(shù)，直到三維人手模型在對(duì)應(yīng)人手圖像上的投影與該人手圖像吻合為止，其中，投影矩陣由已知攝像機(jī)的參數(shù)所組成；A3按照以下步驟計(jì)算人手圖像的密度分布特征 a1計(jì)算人手圖像f(x，y)的形心，即重心(x，y)； a2計(jì)算人手圖像f(x，y)中，目標(biāo)像素點(diǎn)到形心的最大距離Dmax； a3先計(jì)算人手圖像f(x，y)中，以形心為圓心，以Dmax為半徑的目標(biāo)區(qū)域外接圓，然后在外接圓內(nèi)，使用等距離區(qū)域劃分法或等面積區(qū)域劃分法將圖像劃分為M個(gè)子圖像區(qū)域(M＞0)； a4對(duì)各子圖像區(qū)域分別進(jìn)行統(tǒng)計(jì)，即計(jì)算每個(gè)子圖像區(qū)域內(nèi)目標(biāo)像素的總數(shù)Si(i＝1，…，M)，并找出Si的最大值 Smax＝max(Si)，i＝1，…，M a5計(jì)算密度分布 ri＝Si/Smax(i＝1，…，M) a6計(jì)算密度分布特征的第2個(gè)特征向量dr的以下各個(gè)分量 a7按照以下順序組織密度分布特征 DDF1＝(r1，…，rM；dr1，…，drM) A4用索引方式(把人手圖像、三維人手模型及密度分布特征放在數(shù)組的同一個(gè)結(jié)構(gòu)體中，或用指針超鏈接方式把這三者關(guān)聯(lián)起來(lái))組織人手圖像、三維人手模型以及密度分布特征，并進(jìn)行保存。此步驟中的三維人手模型按照以下方式建立人手的每個(gè)指節(jié)用圓柱進(jìn)行仿真，其半徑和長(zhǎng)度的設(shè)置在初始化階段完成。手掌用矩形模擬，其主要參數(shù)有2個(gè)手掌面的法線向量和手指自然伸直時(shí)手指的方向(大拇指除外)。除大拇指外的每個(gè)手指上的所有關(guān)節(jié)點(diǎn)位于同一平面內(nèi)，該平面與手掌面垂直。除指根有2個(gè)自由度外，其余每個(gè)關(guān)節(jié)的自由度為1。大拇指與其它手指的區(qū)別在于，關(guān)節(jié)點(diǎn)所在平面與手掌面不一定垂直(圖3)。顯然，該模型共有20個(gè)自由度(DOF)。第f個(gè)手指的第s個(gè)關(guān)節(jié)標(biāo)記為Jfs(f＝0-4，s＝0-3)，其中，大拇指為第0個(gè)手指，指根關(guān)節(jié)為第0個(gè)關(guān)節(jié)，指尖作為關(guān)節(jié)處理。同一手指上相鄰指節(jié)之間方向變化角度為[-3°，90°]，4個(gè)關(guān)節(jié)所在平面與平面ζ之間的夾角(大拇指除外)變化范圍為[-20，20]，這里的平面ζ是指滿足下列2個(gè)條件的平面①與手掌面垂直；②與中指自然伸直時(shí)所在方向一致。另外，指頭之間不得出現(xiàn)交疊。在實(shí)驗(yàn)中，允許人手作旋轉(zhuǎn)和平移運(yùn)動(dòng)，即可以有26個(gè)自由度。手勢(shì)庫(kù)中的模型可以自動(dòng)調(diào)整有關(guān)幾何尺度，例如指節(jié)長(zhǎng)度、手掌大小等。當(dāng)然，也可以采用其它已知方法來(lái)建立人手三維模型，在此不再贅述。
步驟S2，利用定標(biāo)過(guò)的攝像機(jī)采集當(dāng)前手勢(shì)圖像，并從視頻流中獲取一個(gè)幀圖像，計(jì)算觀測(cè)特征值。獲取手勢(shì)圖像的觀測(cè)特征值，包括以下過(guò)程 B1、構(gòu)造當(dāng)前手勢(shì)圖像的矩形包圍盒P； 首先，沿圖像的水平方向進(jìn)行掃描，得到與人手圖像有交點(diǎn)的最高掃描線和最低掃描線；然后，沿圖像的垂直方向進(jìn)行掃描，得到與人手圖像有交點(diǎn)的最右掃描線和最左掃描線。最高掃描線、最低掃描線、最右掃描線和最左掃描線這4條掃描線所圍成的多變形就是包圍盒P。
B2、對(duì)包圍盒邊Gi(i＝1，2，3，4)，計(jì)算手勢(shì)圖像在Gi上投影的最大和最小端點(diǎn)所在線段，并將該線段放入棧

中；將手勢(shì)多邊形集ψ置為空集； B3、如果

不空，從中取出一條邊L，然后進(jìn)行以下處理 B3.1如果|L|＜γ1(γ1一般取值為5)，則將L放入到ψ中，轉(zhuǎn)B3； B3.2沿與L垂直方向投影，求出L兩端點(diǎn)在手勢(shì)圖像邊沿上的投影點(diǎn)A，B；如果圖像中線段AB在Gi上存在投影邊，則驗(yàn)證線段AB是否為手勢(shì)邊沿(首先，建立光照亮度的人手膚色模型，參見(jiàn)圖2，在該模型中，首先根據(jù)亮度對(duì)膚色進(jìn)行分類(lèi)，然后建立每類(lèi)亮度的膚色特征分布高斯模型，對(duì)線段AB上的某點(diǎn)s，利用過(guò)s點(diǎn)且與AB垂直方向兩個(gè)分別位于s兩側(cè)點(diǎn)的信息，就可以對(duì)s點(diǎn)是否為邊界點(diǎn)進(jìn)行有效判斷，對(duì)線段AB上的所有點(diǎn)采用同樣方法進(jìn)行判斷，就可確定線段AB是否為手勢(shì)邊沿)。若是，保存到ψ；若不是，將AB等分成兩部分并放入到

中，轉(zhuǎn)B3； B4、對(duì)ψ中的元素依逆時(shí)針順序進(jìn)行排序； B5、對(duì)于首尾不相連的斷點(diǎn)，按照下面方法進(jìn)行處理 B5.1以兩相鄰斷點(diǎn)所在線段為直徑建立放射狀半圓C，半圓方向始終在逆時(shí)針前進(jìn)方向的左側(cè)； B5.2將半圓C放入ξ中；將手勢(shì)邊沿集ζ置為空； B5.3如果ξ不空，從中取出一個(gè)元素(圓弧)U，然后進(jìn)行以下處理 B5.3.1將U平分為兩段圓弧U1和U2； B5.3.2求出Ui(i＝1，2)的兩條半徑與前景(膚色區(qū)域)的兩個(gè)交點(diǎn)E，F(xiàn)； D5.3.3若|EF|＜γ2(γ2一般取值為5)，則將其保存到手勢(shì)邊沿集ζ，轉(zhuǎn)D5.3；若線段EF是手勢(shì)輪廓邊界，則將其保存到手勢(shì)邊沿集ζ；若這兩種情況都不滿足，則將Ui放入ξ中，轉(zhuǎn)D5.3； B6、ψ＝ψ∪ζ； B7、ψ還存在斷點(diǎn)嗎？若是，轉(zhuǎn)D5； B8、根據(jù)ψ，計(jì)算手勢(shì)特征。
步驟S3，在三維手勢(shì)數(shù)據(jù)庫(kù)中搜尋與當(dāng)前手勢(shì)圖像最相近的三維手勢(shì)模型，該步驟包括以下過(guò)程C1、按照步驟S1的A3過(guò)程計(jì)算當(dāng)前人手圖像的密度分布特征DDF2＝(r’1，…，r’M；dr’1，…，dr’M)；C2、采用Gaussian模型對(duì)r’i歸一化，并與三維手勢(shì)數(shù)據(jù)庫(kù)中手勢(shì)相應(yīng)的不變量特征進(jìn)行比較，找到與手勢(shì)圖像最相近的三維手勢(shì)模型，把此三維手勢(shì)模型進(jìn)行可視化顯示，同時(shí)按照攝像機(jī)的內(nèi)參數(shù)矩陣進(jìn)行投影。
步驟S4，按照步驟S2的方法從視頻流獲得新的觀測(cè)特征值，并進(jìn)行可視化顯示，得到觀測(cè)特征值圖像。
步驟S5，操作者調(diào)整手勢(shì)狀態(tài)。
步驟S6，如果操作者不認(rèn)可當(dāng)前手勢(shì)狀態(tài)，轉(zhuǎn)向步驟S4。
步驟S7，如果操作者認(rèn)可當(dāng)前手勢(shì)狀態(tài)，則停止調(diào)整，對(duì)當(dāng)前的手勢(shì)狀態(tài)及三維手勢(shì)模型進(jìn)行評(píng)價(jià)，計(jì)算手勢(shì)觀測(cè)圖像與模型投影圖像的Hausdorff距離。設(shè)在時(shí)刻t，手勢(shì)觀測(cè)圖像為I(t)，三維手勢(shì)模型M(t)在I(t)上的投影圖像為P(t)，I(t)和P(t)之間的Hausdorff距離為hk(i，j)，其中，i∈I(t)是圖像觀測(cè)特征，j∈P(t)是模型在像平面上的投影特征。具體過(guò)程如下 D1計(jì)算模型投影與圖像之間的Hausdorff距離hk(i，j)＝Hausdorff(I(t)，P(t))； D2如果hk(i，j)＜δ(δ一般取值為30)，則返回人手模型，人手模型達(dá)到規(guī)定精度，保存輸出初始化模型，初始化成功； D3如果h(i，j)＞δ，則執(zhí)行如下步驟 D3.1求集合Xj，把三維手勢(shì)模型中影響特征向量j的所有變量放入集合Xj中，在此j為關(guān)鍵因素； D3.2對(duì)集合Xj中所有元素進(jìn)行采樣，采樣過(guò)程如下在任意時(shí)刻t，假設(shè)狀態(tài)變量x∈Xj是服從高斯分布的隨機(jī)變量，但精確獲取這種分布具有一定難度，因此，用上一時(shí)刻t-1的狀態(tài)分布近似地代替時(shí)刻t的狀態(tài)分布，即為了避免狀態(tài)值在大范圍內(nèi)震蕩，盡快收斂到真實(shí)解，引進(jìn)閾值λ，使其滿足條件λ可取值3或4或5； D3.3根據(jù)采樣值重新計(jì)算Hausdorff距離hk+1(i，j)，如果hk+1(i，j)＞hk(i，j)，則舍棄此次采樣值，轉(zhuǎn)步驟D3.2； D3.4如果hk+1(i，j)＜hk(i，j)，則程序根據(jù)采樣值自動(dòng)刷新三維手勢(shì)模型，并進(jìn)行顯示，同時(shí)把三維手勢(shì)模型按照攝像機(jī)投影矩陣進(jìn)行投影； D3.5把人手圖像中的關(guān)鍵因素以一定的形式(例如，閃爍、顏色、虛線等)凸現(xiàn)出來(lái)，操作者根據(jù)可視化狀態(tài)調(diào)節(jié)手勢(shì)。
參見(jiàn)圖3，在上述步驟中，也可以不刷新三維手勢(shì)模型，三維手勢(shì)模型保持不變，不斷調(diào)節(jié)人手狀態(tài)，如果操作者認(rèn)可當(dāng)前手勢(shì)狀態(tài)，則停止調(diào)整手勢(shì)，計(jì)算手勢(shì)觀測(cè)圖像與模型投影圖像的Hausdorff距離，如果Hausdorff距離達(dá)到要求，則停止調(diào)整人手手勢(shì)，初始化成功，否則，重新調(diào)整人手手勢(shì)，直到手勢(shì)觀測(cè)圖像與模型投影圖像的Hausdorff距離滿足要求為止。
當(dāng)然，上述說(shuō)明并非對(duì)本發(fā)明的限制，本發(fā)明也不僅限于上述舉例，本技術(shù)領(lǐng)域的普通技術(shù)人員在本發(fā)明的實(shí)質(zhì)范圍內(nèi)所做出的變化、改型、添加或替換，也屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1、一種三維手勢(shì)模型的初始化方法，其特征在于，包括如下步驟
(1)建立三維手勢(shì)數(shù)據(jù)庫(kù)；
(2)利用攝像機(jī)采集手勢(shì)圖像，并從視頻流中獲取幀圖像，計(jì)算觀測(cè)特征值；
(3)在三維手勢(shì)數(shù)據(jù)庫(kù)中搜尋與當(dāng)前手勢(shì)圖像最相近的三維手勢(shì)模型，將搜尋到的三維手勢(shì)模型顯示并按照攝像機(jī)投影矩陣進(jìn)行投影；
(4)從視頻流獲取新的觀測(cè)特征值，并進(jìn)行可視化顯示，得到觀測(cè)特征值圖像；
(5)操作者調(diào)整手勢(shì)狀態(tài)；
(6)如果操作者不認(rèn)可當(dāng)前手勢(shì)狀態(tài)，轉(zhuǎn)向步驟(4)；
(7)如果操作者認(rèn)可當(dāng)前手勢(shì)狀態(tài)，則停止調(diào)整，對(duì)當(dāng)前的手勢(shì)狀態(tài)及三維手勢(shì)模型進(jìn)行評(píng)價(jià)，得出評(píng)價(jià)結(jié)果，如果評(píng)價(jià)結(jié)果達(dá)到精度要求，則繪制、輸出三維手勢(shì)模型，初始化成功，如果評(píng)價(jià)結(jié)果沒(méi)有達(dá)到精度要求，則轉(zhuǎn)向步驟(4)。
2、根據(jù)權(quán)利要求1所述三維手勢(shì)模型的初始化方法，其特征是步驟(1)包括如下步驟
B1用定標(biāo)后的攝像機(jī)獲取人手圖像；
B2建立三維人手模型，不斷調(diào)整三維人手模型參數(shù)，直到三維人手模型在對(duì)應(yīng)人手圖像上的投影與該人手圖像吻合為止，其中，投影矩陣由已知攝像機(jī)的參數(shù)所組成；
B3獲取人手圖像的密度分布特征
B4用索引方式組織人手圖像、三維人手模型以及密度分布特征。
3、根據(jù)權(quán)利要求1所述三維手勢(shì)模型的初始化方法，其特征是步驟(7)包括如下操作過(guò)程
D1計(jì)算手勢(shì)觀測(cè)圖像I(t)與模型投影圖像P(t)之間的Hausdorff距離hk(i，j)＝Hausdorff(I(t)，P(t))，其中，i∈I(t)，j∈P(t)；
D2如果hk(i，j)＜δ，則返回人手模型，人手模型達(dá)到規(guī)定精度，保存輸出初始化模型，初始化成功，其中，δ為一常數(shù)；
D3如果hk(i，j)＞δ，則執(zhí)行如下步驟
D3.1求集合Xj，把三維手勢(shì)模型中影響特征向量j的所有變量放入集合Xj中，在此j為關(guān)鍵因素；
D3.2對(duì)集合Xj中所有元素進(jìn)行采樣；
D3.3根據(jù)采樣值重新計(jì)算Hausdorff距離hk+1(i，j)，如果hk+1(i，j)＞hk(i，j)，則舍棄此次采樣值，轉(zhuǎn)步驟D3.2；
D3.4如果hk-1(i，j)＜hk(i，j)，則程序根據(jù)采樣值自動(dòng)刷新三維手勢(shì)模型，并進(jìn)行顯示，同時(shí)把三維手勢(shì)模型按照攝像機(jī)投影矩陣進(jìn)行投影；
D3.5把人手圖像中的關(guān)鍵因素以一定的形式凸現(xiàn)出來(lái)，操作者根據(jù)可視化狀態(tài)調(diào)節(jié)手勢(shì)。
4、根據(jù)權(quán)利要求3所述三維手勢(shì)模型的初始化方法，其特征是步驟D3.2對(duì)集合Xj中所有元素進(jìn)行采樣包括如下步驟狀態(tài)變量x∈Xj是服從高斯分布的隨機(jī)變量，用上一時(shí)刻t-1的狀態(tài)分布近似地代替時(shí)刻t的狀態(tài)分布，即為了避免狀態(tài)值在大范圍內(nèi)震蕩，盡快收斂到真實(shí)解，引進(jìn)閾值λ，使其滿足條件λ為一常數(shù)。
5、根據(jù)權(quán)利要求4所述三維手勢(shì)模型的初始化方法，其特征是所述λ可取值3或4或5。
全文摘要
本發(fā)明公開(kāi)了一種三維手勢(shì)模型的初始化方法，包括如下步驟(1)建立三維手勢(shì)數(shù)據(jù)庫(kù)；(2)利用攝像機(jī)采集手勢(shì)圖像，并從視頻流中獲取一個(gè)幀圖像，計(jì)算觀測(cè)特征值；(3)在三維手勢(shì)數(shù)據(jù)庫(kù)中搜尋與當(dāng)前手勢(shì)圖像最相近的三維手勢(shì)模型；(4)從視頻流獲取新的觀測(cè)特征值，并進(jìn)行可視化顯示；(5)操作者調(diào)整手勢(shì)狀態(tài)；(6)如果操作者不認(rèn)可當(dāng)前手勢(shì)狀態(tài)，轉(zhuǎn)向步驟(4)；(7)如果操作者認(rèn)可當(dāng)前手勢(shì)狀態(tài)，則停止調(diào)整，對(duì)當(dāng)前的手勢(shì)狀態(tài)及三維手勢(shì)模型進(jìn)行評(píng)價(jià)，得出評(píng)價(jià)結(jié)果，如果評(píng)價(jià)結(jié)果達(dá)到精度要求，則繪制、輸出三維手勢(shì)模型，初始化成功，如果評(píng)價(jià)結(jié)果沒(méi)有達(dá)到精度要求，轉(zhuǎn)向步驟(4)。
文檔編號(hào)G06F3/01GK101567093SQ20091001547
公開(kāi)日2009年10月28日 申請(qǐng)日期2009年5月25日 優(yōu)先權(quán)日2009年5月25日
發(fā)明者馮志全, 波 楊 申請(qǐng)人:濟(jì)南大學(xué)