專利名稱：頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法和系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及一種頭盔式虛擬現(xiàn)實系統(tǒng)中的參與者實際手可視化方法和系統(tǒng)，該方
法通過在頭盔顯示器中加裝攝像機，綜合運用視頻圖像處理技術(shù)，虛擬現(xiàn)實圖形技術(shù)，實現(xiàn) 實時分割手圖像并融入到虛擬環(huán)境中，可為用戶提供具有逼真的、立體的虛擬手可視化圖 像，滿足人機交互要求。
背景技術(shù)：
基于頭盔顯示器的封閉式虛擬現(xiàn)實系統(tǒng)中，虛擬手的可視化是保證用戶沉浸感的 重要因素。國外實驗表明，在虛擬環(huán)境中新手用戶最關(guān)注的問題是"我的手在哪？"[1]?？?視化效果的好壞也將直接影響到用戶的視覺真實感。現(xiàn)有的虛擬手可視化方法均采用基于
三維幾何模型建模和繪制(Gr即hics-Based Modeling and Rendering-GBMR)的方式，
這種方式對硬件的計算能力和圖形加速性能以及建模人員都有很高的要求，其建模方式造 成所構(gòu)建的虛擬手可視化圖像還存在以下問題 1.真實手外形復雜，難以實現(xiàn)精確的幾何建模，隨著模型的逼真度的提高，多邊形
數(shù)量也將提高，系統(tǒng)負擔加重，實時性也將降低。 2.難以實現(xiàn)與真手一致的紋理特性，視覺效果不佳。 3.未考慮人手差異性，通用的三維手模型表示不同人的手，視覺效果不佳。
4.由于數(shù)據(jù)手套等虛擬外設的誤差以及硬件延時，真實手與虛擬手的運動不可能 完全匹配，而且硬件成本也非常高。 5.數(shù)據(jù)手套等虛擬現(xiàn)實外設存在異物感和束縛感等。 為克服基于三維幾何模型建模和繪制存在的問題，近年來基于圖象的建模和繪制
(Image-Based Modeling and Rendering-IBMR)的建模技術(shù)得到廣泛發(fā)展[2]，比如基
于全景圖的三維漫游系統(tǒng)。而增強虛境技術(shù)是在基于GBMR框架下利用基于圖像的建模與 繪制方法描述復雜對象，通過虛實融合圖像用以解決虛擬現(xiàn)實研究中逼真繪制與實時顯示 間的矛盾。比如國外的虛擬視頻會議系統(tǒng)，虛擬商場系統(tǒng)等采用了此項技術(shù)，將視頻或者圖 像對象融入虛擬環(huán)境提升了虛擬現(xiàn)實系統(tǒng)中的視覺真實感，但其融入的對象為未經(jīng)實時處 理的原始視頻或者圖像素材[3]。 基于多個固定攝像機的增強現(xiàn)實飛行模擬器(申請?zhí)?00710303603. 9)中頭盔
顯示器顯示的也是虛實融合后圖像，但其系統(tǒng)中是通過多個固定在頭部上方的攝像機用于 拍攝真實場景，而且拍攝的圖像直接融入虛擬環(huán)境，因此與本發(fā)明攝像機的布置方案和技 術(shù)方案均不相同。 本發(fā)明中采用一種特殊虛實融合方式，也就是將虛擬現(xiàn)實系統(tǒng)參與者的真實手作 為虛擬環(huán)境中虛擬手的代理實現(xiàn)可視化。首先在頭盔顯示器眼點附近位置布置兩個攝像 機，然后對攝像機視頻圖像進行手圖像的實時分割，最后分割后的手圖像融入虛擬環(huán)境后 在頭盔顯示器中顯示給用戶，實現(xiàn)參與者實際手在頭盔式虛擬現(xiàn)實系統(tǒng)中的可視化。
[l]Andrei Sherstyuk，Dale Vincent,Caroline Jay. Poster :Sliding Viewportfor Head MountedDisplays in Interactive Environments[C].Piscataway， IEEE Symposium on 3D User Interfaces2008，3DUI. NJ， USA [2]李自力.虛擬現(xiàn)實中基于圖形與圖象的混合建模技術(shù)[J].中國圖象圖形學 報，2004， 6(1) :96-101. [3]郝愛民，何兵，趙沁平.虛擬現(xiàn)實中的增強虛鏡技術(shù)[J].北京航空航天大學學 報，2003， 29 (10) :909-913.

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的是克服現(xiàn)有基于三維建模與繪制的虛擬手可視化存在的 缺點，為用戶提供一種視覺效果更加逼真的虛擬手系統(tǒng)。本發(fā)明中將攝像機采集的視頻進 行手圖像分割和提取并融入虛擬環(huán)境，給用戶提供手的可視化圖像。因此用戶所見虛擬手 就是用戶真實手，手的運動特性和視覺特性(比如柔體變形等)與真實手完全一致，并且雙 攝像機設置可為用戶提供虛擬手的立體圖像，與傳統(tǒng)基于數(shù)據(jù)手套等虛擬外設驅(qū)動的三維 手模型可視化圖像相比用戶沉浸感和視覺逼真度都明顯增強。
技術(shù)方案本發(fā)明為實現(xiàn)上述目的，采用如下技術(shù)方案
本發(fā)明所述參與者手可視化方法，包括如下步驟 第一步，初始化，實現(xiàn)虛擬配準標定真實攝像機，得到真實攝像機參數(shù)包括真實 攝像機空間位置、水平視場角、垂直視場角，將虛擬環(huán)境中視點處的虛擬攝像機的參數(shù)保持 與真實攝像機參數(shù)一致； 第二部，手圖像分割視頻采集設備采集真實攝像機拍攝的視頻圖像，計算機對采 集到每幀視頻圖像進行膚色檢測，實現(xiàn)手圖像與背景的分離； 第三部，虛實融合將分離出的手圖像通過動態(tài)紋理映射方法實時融入虛擬環(huán)境 實現(xiàn)虛擬對象的無縫融合。 頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化系統(tǒng)，包括計算機、頭盔顯示器、攝 像機和視頻采集設備，其中攝像機設置于頭盔顯示器上，攝像機的輸出端串接視頻采集設 備后接計算機的輸入端，計算機的輸出端接頭盔顯示器的輸入端。 有益效果本發(fā)明在虛擬現(xiàn)實系統(tǒng)中通過加裝攝像機并綜合采用圖像圖形處理技 術(shù)實現(xiàn)了虛擬手的可視化。從發(fā)明內(nèi)容可知，此方法既不需要對手進行復雜的三維建模，也 無需采用虛擬外設，比如數(shù)據(jù)手套等對虛擬手進行驅(qū)動，就可實現(xiàn)虛擬手的運動特性和視 覺特性與真實手完全一致，為用戶提供高逼真度視覺效果的虛擬手圖像。由于本發(fā)明只需 對手部圖像進行分割，因此可以基于膚色獲得高效而穩(wěn)定的圖像分割算法。由于本發(fā)明在 眼點前附近安裝雙攝像機，因此能獲得逼真的立體視覺圖像。


圖1頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化系統(tǒng)的組成。
圖2頭盔顯示器上攝像機布置方案
圖3半虛擬現(xiàn)實座艙系統(tǒng)原理圖。
具體實施例方式
下面結(jié)合附圖對發(fā)明的技術(shù)方案進行詳細說明 如圖1所示，頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化系統(tǒng)，包括計算機、頭盔 顯示器、攝像機和視頻采集設備，其中攝像機設置于頭盔顯示器上，如圖2所示，攝像機的輸 出端串接視頻采集設備后接計算機的輸入端，計算機的輸出端接頭盔顯示器的輸入端。
以半虛擬現(xiàn)實座艙系統(tǒng)為例，本發(fā)明構(gòu)建了一個虛擬手可視化實例。半虛擬現(xiàn)實 座艙系統(tǒng)由頭盔顯示器、半實物座艙、計算機和視頻采集設備組成，系統(tǒng)組成和原理如圖3 所示。半虛擬現(xiàn)實座艙系統(tǒng)按照"眼見為虛，手模為實"的原則構(gòu)建。所述半虛擬現(xiàn)實座艙 系統(tǒng)中的所有用戶可觸摸操作部分采用實物構(gòu)建，而原座艙的所有顯示設備空缺，實物構(gòu) 建的可觸摸操作部分稱為半實物座艙，即手摸為實。半實物座艙與虛擬座艙中相對應的部 分保持l : l的比例和相同幾何外形，用戶在頭盔顯示器中的可視部分，也就是整個虛擬座 艙(包括座艙、儀表板、各種開關(guān)按鈕等所有艙內(nèi)物體)采用三維建模方法由計算機生成， 即眼見為虛。兩臺攝像機分別安裝在頭盔顯示器眼點附近，拍攝的圖像由計算機實時處理 進行手圖像的分割。頭盔顯示器為用戶提供由計算機進行虛實融合后的圖像，也就是用戶 手圖像與虛擬座艙融合后的圖像，從而實現(xiàn)"實手虛化"。
按本發(fā)明所述方法，具體實施方案如下所示。
1.初始化，標定攝像機，實現(xiàn)虛實配準。 保證虛擬環(huán)境中虛擬攝像機的參數(shù)(焦距、成象視角，空間位置)與真實攝像機 參數(shù)一致就可保證虛擬配準。但由于圖形引擎是采用視錐而不是內(nèi)參描述攝像機參數(shù)的， 首先必須將攝像機參數(shù)轉(zhuǎn)換為虛擬環(huán)境中的視錐參數(shù)，其包括水平視場角a ，垂直視場角
o "0
P，遠裁剪面距離far，近裁剪面距離near。假設標定出攝像機參數(shù)為《=0 厶v。
00 1
其中fx、 fy為分別為攝像機x， y方向上焦距，u。， v。為分別為光心投影到攝像機成像平面上
的x， y坐標值； 視頻圖像的高度和寬度分別為height和width,從幾何關(guān)系可推導出視錐參數(shù)和 攝像機內(nèi)參轉(zhuǎn)換公式 a = arct￡in(u0/fx)+￡irct￡m((width_u0)/fx) (1)
P = arctan(v0/fy)+arctan((v0-height)/fy) (2)
遠裁剪面距離far，近裁剪面距離near可根據(jù)需要自行指定。
2.手圖像的分割。 手圖像分割中采用膚色檢測原理，首先將原始圖像從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，
并計算像素點的Cr、 Cb值與膚色平均值之差，如果小于一個預先設定的門限值，則判定該
點為膚色。初步處理后的圖像再通過Freeman鏈碼方法對這些離散像素點進行輪廓搜尋，
對搜尋到的輪廓只保留面積大于一定閾值的輪廓，其他輪廓視為干擾源，去除干擾點。鏈碼
方法提取的輪廓邊緣不可避免會存在鋸齒，因此可進一步對手圖像邊緣進行分段三次樣條
曲線擬合使之更加平滑，增強融合后的視覺真實感。 3.虛實融合 融合過程中通過設置像素透明度方 只保留手圖像像素點，對其他背景像素點進行去除。處理完畢的純手圖像通過動態(tài)紋理映射技術(shù)映射到虛擬攝像機的近裁剪面生成虛 實融合環(huán)境，為用戶提供虛實融合后的可視化圖像。 虛擬現(xiàn)實圖形引擎中的透明或者半透明效果是通過混色原理(Blending)實現(xiàn) 的?；焐亩x是將某個像素的顏色和已繪制在屏幕上與其對應的像素顏色相互結(jié)合。如 何結(jié)合這兩個顏色則依賴于顏色的alpha通道的分量值，每個像素點的RGB值按照如公式 3進行混色。
—(
= RGB為混色后像素點值，RSGSBS為原始像素點值，RbGbBb為與原始像素點進行混色的 像素點值，a為透明通道值。 因此只需將手圖像背景像素點的alpha值設為0，其余像素點也就是手圖像部分
像素點alpha值為l，就可實現(xiàn)手圖像背景透明的效果，使之融入虛擬環(huán)境 通過以上幾個步驟處理，可以將用戶手圖像無縫實時融合到虛擬環(huán)境，為用戶提
供視覺上完全與真實手一致的虛擬手圖像。在此封閉半虛擬現(xiàn)實座艙環(huán)境中，用戶能看到
完整的虛擬座艙和虛擬手(也就是用戶真實手)圖像，并能觸摸到實物座艙，完成各種操
作，比如點擊按鈕，推動油門，能實現(xiàn)"眼見為虛，手摸為實，虛實一致"效果，為用戶提供一
個完整的沉浸式交互虛擬環(huán)境。
權(quán)利要求
一種頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法，其特征在于包括如下步驟第一步，初始化，實現(xiàn)虛實配準標定真實攝像機，得到真實攝像機參數(shù)包括真實攝像機空間位置、水平視場角、垂直視場角，將虛擬環(huán)境中視點處的虛擬攝像機的參數(shù)保持與真實攝像機參數(shù)一致；第二部，手圖像分割視頻采集設備采集真實攝像機拍攝的視頻圖像，計算機對采集到每幀視頻圖像進行膚色檢測，實現(xiàn)手圖像與背景的分離；第三部，虛實融合將分離出的手圖像通過動態(tài)紋理映射方法實時融入虛擬環(huán)境實現(xiàn)虛擬對象的無縫融合。
2.根據(jù)權(quán)利要求1所述的頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法，其特征 在于第一步所述真實攝像機參數(shù)為義o <formula>formula see original document page 2</formula>其中fx、 fy為分別為攝像機成像平面上x， y軸方向上焦距，u。， v。為分別為光心投影到攝像機成像平面上的x， y軸方向上坐標值； 視錐參數(shù)和攝像機內(nèi)參轉(zhuǎn)換公式 a = arctan (u0/fx)+arctan ((width-u。)/fx) (1) P = arctan (v0/fy)+arctan ((v。-height)/fy) (2)a為水平視場角，P為垂直視場角，視頻圖像的高度和寬度分別為height和width。
3. 根據(jù)權(quán)利要求1所述的頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法，其特征 在于第二步所述的基于膚色檢測的手圖像分割方法如下首先將原始圖像即采集到每幀視頻圖像從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，并計算像素點 的Cr、 Cb值與膚色平均值之差，如果差值小于一個預先設定的門限值，則判定該點為膚色； 將處理后的圖像再通過Freeman鏈碼方法對這些離散像素點進行輪廓搜尋，對搜尋到的輪 廓只保留面積大于一定閾值的輪廓，其他輪廓視為干擾源，去除干擾點。
4. 根據(jù)權(quán)利要求3所述的頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法，其特征 在于對所述Freeman鏈碼方法提取的輪廓邊緣進行分段三次樣條曲線擬合使之平滑。
5. 根據(jù)權(quán)利要求1所述的頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法，其特征 在于第三步所述虛實融合過程中通過設置像素透明度方法只保留手圖像像素點，對其他背 景像素點進行去除。
6. —種頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化系統(tǒng)，其特征在于包括計算機、 頭盔顯示器、攝像機和視頻采集設備，其中攝像機設置于頭盔顯示器上，攝像機的輸出端串 接視頻采集設備后接計算機的輸入端，計算機的輸出端接頭盔顯示器的輸入端。
全文摘要
本發(fā)明公布了一種頭盔式虛擬現(xiàn)實環(huán)境中參與者實際手的可視化方法和系統(tǒng)，本發(fā)明方法包括初始化，實現(xiàn)虛實配準標定真實攝像機，得到真實攝像機參數(shù)包括真實攝像機空間位置、水平視場角、垂直視場角，將虛擬環(huán)境中視點處的虛擬攝像機的參數(shù)保持與真實攝像機參數(shù)一致；手圖像分割視頻采集設備采集真實攝像機拍攝的視頻圖像，計算機對采集到每幀視頻圖像進行膚色檢測，實現(xiàn)手圖像與背景的分離；虛實融合將分離出的手圖像通過動態(tài)紋理映射方法實時融入虛擬環(huán)境實現(xiàn)虛擬對象的無縫融合。本發(fā)明系統(tǒng)包括計算機、頭盔顯示器、攝像機和視頻采集設備。本發(fā)明高效而穩(wěn)定、能獲得逼真的立體視覺圖像。
文檔編號G06T7/00GK101727182SQ201010102510
公開日2010年6月9日 申請日期2010年1月28日 優(yōu)先權(quán)日2010年1月28日
發(fā)明者吳東蘇, 湯勇, 顧宏斌 申請人:南京航空航天大學