專利名稱：具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通過跟蹤用戶視線方向，獲得用戶在場景感興趣區(qū)域，對目標(biāo)區(qū)域的物體進行識別，利用增強現(xiàn)實技術(shù)，對當(dāng)前用戶區(qū)域進行信息增強。屬于視線跟蹤、虛擬重建和增強現(xiàn)實技術(shù)領(lǐng)域背景技術(shù)增強現(xiàn)實系統(tǒng)利用附加的圖形或文字信息對周圍真實世界的場景動態(tài)地進行增強，期望用戶能夠像在現(xiàn)實世界一樣在增強信息空間中自由活動[1]。目前國內(nèi)外研究人員采用的注冊方法無論是基于方位跟蹤設(shè)備，基于計算機視覺，還是基于視覺-方位跟蹤器混合跟蹤，都是僅僅跟蹤用戶頭部方位，利用頭部位置信息的變化來實現(xiàn)虛擬信息的疊加[2]。在復(fù)雜機電維修設(shè)備軍用飛機導(dǎo)航、武器瞄準(zhǔn)、醫(yī)療手術(shù)等特殊的應(yīng)用領(lǐng)域，視覺通道是人類與外部環(huán)境之間最重要的信息接口，人在增強信息空間中活動除了頭部運動外，眼睛也在轉(zhuǎn)動，以頭部位置去近似視線方向，不考慮人眼運動，虛擬信息的注冊誤差最大有20度。因此，增強現(xiàn)實系統(tǒng)必須能夠?qū)崟r地檢測出用戶的頭部位置和視線方向，跟蹤使用人員視線的變化，根據(jù)這些信息實時確定所要添加的虛擬信息在真實空間坐標(biāo)中的映射位置，將虛擬信息顯示在正確的位置。目前，美國的Nvis公司的視頻透視式增強現(xiàn)實頭盔已經(jīng)配備有視線跟蹤功能，日本的ISCAN公司也在進行類似的研究。光學(xué)透視式頭盔中集成視線跟蹤功能因其易受環(huán)境光照影響，硬件加工難度加大，研究較少。

發(fā)明內(nèi)容
本發(fā)明的目的是針對上述現(xiàn)有技術(shù)的現(xiàn)狀，提出一種具有視線跟蹤功能和雙通道自然交互能力的結(jié)構(gòu)簡單的頭盔。
具有視線跟蹤功能的增強現(xiàn)實系統(tǒng)既要能夠跟蹤用戶視線方向，獲得用戶在場景的感興趣區(qū)域，同時又要根據(jù)視線跟蹤系統(tǒng)反映的注視點的變化，體現(xiàn)增強現(xiàn)實系統(tǒng)三維注冊、實時交互和虛實融合的特點?；谝暰€跟蹤的增強現(xiàn)實系統(tǒng)，首先需要實時跟蹤用戶注視點在真實場景中的位置；然后根據(jù)預(yù)先保存在數(shù)據(jù)庫里的場景先驗知識，由注視點在場景中的真實坐標(biāo)結(jié)合場景攝像機獲得的場景圖像判斷用戶的感興趣區(qū)域和具體目標(biāo)，從而得到需要顯示增強信息的被增強對象；最后，依據(jù)當(dāng)前識別的目標(biāo)信息去查詢虛擬對象數(shù)據(jù)庫，獲得與真實場景匹配的虛擬增強信息，采用增強現(xiàn)實三維注冊和虛實融合技術(shù)，對當(dāng)前用戶感興趣區(qū)域目標(biāo)進行信息增強。具有視線跟蹤功能的增強現(xiàn)實系統(tǒng)既要能夠跟蹤用戶視線方向，獲得用戶在場景的感興趣區(qū)域，同時又要根據(jù)視線跟蹤系統(tǒng)反映的注視點的變化，體現(xiàn)增強現(xiàn)實系統(tǒng)三維注冊、實時交互和虛實融合的特點，不是兩者功能的簡單相加。集成系統(tǒng)需滿足以下原則①不能降低兩者性能；②不能干擾用戶注意力，給使用人員增加額外負(fù)擔(dān)。
本發(fā)明具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔的具體組成包括場景攝像機、耳機和話筒、電磁式位置跟蹤器發(fā)射器、瞳孔間距調(diào)節(jié)旋鈕、頭盔垂直調(diào)節(jié)旋鈕、頭盔水平調(diào)節(jié)旋鈕、頭盔內(nèi)襯、頭盔光路盒。其中，場景攝像機安裝在頭盔前端，耳機和話筒通過支架安裝在頭盔左內(nèi)壁或者右內(nèi)壁上，電磁式位置跟蹤器發(fā)射器安裝在頭盔后部的頭盔內(nèi)壁上，頭盔內(nèi)襯與頭盔內(nèi)壁相連接。頭盔光路盒置于頭盔前端接收場景攝像機傳來的真實場景和計算機生成的虛擬信息。瞳孔間距調(diào)節(jié)旋鈕安裝在頭盔前部左右側(cè)的頭盔上并與頭盔光路盒相連接。頭盔垂直調(diào)節(jié)旋鈕和頭盔水平調(diào)節(jié)旋鈕分別安裝在頭盔的垂直方向和水平方向，兩者均與頭盔內(nèi)襯相連。頭盔光路盒內(nèi)的光路，包括微型顯示器，紅外高反濾光片，半透半反組合光鏡、紅外高透濾光片、眼攝像機、紅外光源。其中，紅外光源安裝在頭盔光路盒上靠近半透半反組合光鏡，該半透半反組合光鏡由兩塊三角形透鏡組成一個方形透鏡。紅外高反濾光片與半透半反組合光鏡呈45°斜角安放在半透半反組合光鏡的上方。微型顯示器與紅外高反濾光片同樣呈45°斜角水平方向安放。紅外高透濾光片置于眼攝像機攝像頭的前端，眼攝像機水平方向放置在半透半反組合光鏡與紅外高反濾光片呈45°斜角的空間位置。
本發(fā)明與現(xiàn)有技術(shù)相比具有如下特點在光學(xué)透視式頭盔的基礎(chǔ)上，增加了視線跟蹤功能，利用視線方向完成感興趣區(qū)域的目標(biāo)選取，通過計算機進行三維數(shù)字重建，利用左右雙屏顯示器的雙目成像系統(tǒng)看到三維物體與真實場景虛實融合的三維立體視覺效果；通過增加視線跟蹤和語音功能，使增強現(xiàn)實頭盔具有雙通道自然交互功能，通過雙通道自然交互，可以使增強現(xiàn)實技術(shù)在設(shè)備維修、醫(yī)療診斷等“手忙”條件下具有更加廣闊的用途。


圖1是具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔結(jié)構(gòu)示意2是頭盔光路盒內(nèi)的光路示意1與圖2的標(biāo)號名稱1場景攝像機、2耳機和話筒、3電磁式位置跟蹤器發(fā)射器、4瞳孔間距調(diào)節(jié)旋鈕、5頭盔垂直調(diào)節(jié)旋鈕、6頭盔水平調(diào)節(jié)旋鈕、7頭盔內(nèi)襯、8頭盔光路盒、9微型彩色LCD、10紅外高反濾光片、11半透半反組合光鏡、12紅外高透濾光片、13眼攝像機、14紅外光源。
圖3是具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔的工作原理圖
具體實施例方式
圖1和圖2所示的具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔，包括場景攝像機1、耳機和話筒2、電磁式位置跟蹤器發(fā)射器3、瞳孔間距調(diào)節(jié)旋鈕4、頭盔垂直調(diào)節(jié)旋鈕5、頭盔水平調(diào)節(jié)旋鈕6、頭盔內(nèi)襯7等組成?；竟饴钒ㄎ⑿筒噬叻直鍸CD顯示器9、紅外高反濾光片10、半透半反組合光鏡11、紅外高透濾光片12、眼攝像機13、紅外光源14，主要完成使用人員視線跟蹤和虛擬物體顯示功能。
在圖中，場景攝像機1完成自然場景采集，耳機和話筒2完成語音交互，電磁式位置跟蹤器發(fā)射器3采用電磁式跟蹤，內(nèi)置于頭盔上，完成頭部位置跟蹤。當(dāng)不同的使用人員佩戴此頭盔時，由于每個人的頭部大小和瞳孔間距不同，可以通過頭盔垂直調(diào)節(jié)旋鈕5和頭盔水平調(diào)節(jié)旋鈕6調(diào)節(jié)頭盔內(nèi)襯7的大小，通過瞳孔間距調(diào)節(jié)旋鈕4調(diào)節(jié)光路之間的距離，使虛擬圖像顯示效果最佳。
頭盔內(nèi)部光路置于頭盔光路盒內(nèi)，由兩套獨立的光路設(shè)備組成，分別對應(yīng)人的左右眼。光路設(shè)備之間的距離可由瞳孔間距調(diào)節(jié)旋鈕4進行調(diào)節(jié)。圖2為集成系統(tǒng)光路圖，視線跟蹤系統(tǒng)的光路為放置在眼睛斜上方的紅外LED14發(fā)出的紅外光照射到人眼，人眼反射的紅外光穿過其前方的半透半反組合光鏡11之后被紅外高反片10反射改變方向平行傳播，經(jīng)紅外高透片12進入紅外眼攝像機13成像；光學(xué)透視式頭盔光路為顯示在微型LCD顯示器9上的虛擬信息發(fā)出的光線經(jīng)透鏡之后照射到半透半反組合光鏡11上，從該組合器反射的光線被人眼接收，使人眼能夠感知虛擬信息，加上場景光線，用戶能夠同時感知真實場景和虛擬信息，獲得真實場景的增強效果。
以下結(jié)合圖3敘述本發(fā)明的工作原理基于視線跟蹤的增強現(xiàn)實系統(tǒng)，首先需要實時跟蹤用戶注視點在真實場景中的位置；然后根據(jù)預(yù)先保存在數(shù)據(jù)庫里的場景先驗知識，由注視點在場景中的真實坐標(biāo)結(jié)合場景攝像機獲得的場景圖像判斷用戶的感興趣區(qū)域和具體目標(biāo)，從而得到需要顯示增強信息的被增強對象；最后，依據(jù)當(dāng)前識別的目標(biāo)信息去查詢虛擬對象數(shù)據(jù)庫，獲得與真實場景匹配的虛擬增強信息，采用增強現(xiàn)實三維注冊和虛實融合技術(shù)，對當(dāng)前用戶感興趣區(qū)域目標(biāo)進行信息增強。其中，視線跟蹤部分用于跟蹤用戶的注視點，對應(yīng)于 的求解過程；虛擬增強信息顯示部分完成對用戶的感興趣區(qū)域進行增強，對應(yīng)于 的求解過程，其原理如圖3所示。
視線跟蹤 的計算注視點在眼坐標(biāo)系E的坐標(biāo)為Fe＝(xe，ye，ze，1)T，在屏幕坐標(biāo)系O下的坐標(biāo)Fo＝(xo，yo，zo，1)T，由圖2描述的關(guān)系可知Fo=τO←B·τB←S·τS←R·τR←E·Fe---(1)]]>
其中 由位置跟蹤器實時得到； 可由頭部靜止的視線跟蹤系統(tǒng)得到； 和 由系統(tǒng)標(biāo)定技術(shù)得到。
和 的標(biāo)定采用歐拉角和平移向量描述 和 參數(shù)可減少到12個，其中前6個參數(shù)描述 后6個參數(shù)描述 標(biāo)定時，用戶始終注視眼睛前方透明玻片的中央圓點，那么眼坐標(biāo)系E在位置跟蹤器感應(yīng)坐標(biāo)系S是不變的，眼坐標(biāo)系E與眼主視坐標(biāo)系R重合，且注視點在E的x軸上。其中(xo，yo，0，1)T為注視點的屏幕坐標(biāo)，(xe，0，0，1)T為注視點的眼坐標(biāo)系坐標(biāo)，I為單位矩陣，反映了標(biāo)定時眼坐標(biāo)系E與眼主視坐標(biāo)系R重合的事實。
xoyo01=τO←B·τB←S·τS←R·I·xe001---(2)]]>將式(2)展開可以消去xe改寫為gxy＝F(P，MB←S) (3)其中g(shù)xy為由注視點計算算法計算得到的二維屏幕坐標(biāo)，P為12個模型參數(shù)集合，MB←S為位置跟蹤器讀數(shù)校準(zhǔn)后的值，F(xiàn)是注視點計算函數(shù)。定義平均注視點誤差Dmean為Dmean=Σi=1n||a-b||,(a∈gxy,b∈Gxy)---(4)]]>其中Gxy為標(biāo)定過程中采集的實際注視點屏幕坐標(biāo)，n為注視點的總個數(shù)，由(2)和(3) 和 的標(biāo)定是一個迭代優(yōu)化求解過程，不斷調(diào)整P的各個參數(shù)，使得Dmean最小。
的標(biāo)定由于眼當(dāng)前坐標(biāo)系E與眼主視坐標(biāo)系R的坐標(biāo)原點均為眼球旋轉(zhuǎn)中心，因此 只包含反映旋轉(zhuǎn)的分量。此步標(biāo)定要求用戶頭部保持靜止且要求眼主視坐標(biāo)系R的x軸與屏幕平面近似保持垂直。假設(shè)標(biāo)定時主視注視點的屏幕坐標(biāo)為C(xc，yc)，眼睛旋轉(zhuǎn)中心距離屏幕的距離為D，位置跟蹤器的讀數(shù)為M(x，y，z，θ，φ，)，眼睛注視屏幕任意點時由視線跟蹤系統(tǒng)計算得到的屏幕坐標(biāo)為P(xg，yg)。從眼主視坐標(biāo)系R變換到注視P(xg，yg)時的眼坐標(biāo)系E可分解為繞R的z軸旋轉(zhuǎn)β角度到臨時坐標(biāo)系；繞臨時坐標(biāo)系y軸旋轉(zhuǎn)α角度到E，由α和β可得 β＝argtan(|xc-xg|/D)α=argtan(|yg-yc|/D2+|xg-xc2|)---(5)]]>注視點計算系統(tǒng)標(biāo)定完成后，可通過公式(6)計算用戶注視點在屏幕坐標(biāo)系下的坐標(biāo)(X，Y，0，1)TX=-r1·tzr7+txY=-r4·tzr7+ty---(6)]]>式中r1、r4、r7、tx、ty、tz為 的元素。
虛擬信息注冊 的計算為了將虛擬增強信息準(zhǔn)確放置在場景中，需要獲得當(dāng)前場景與光學(xué)透視式頭盔顯示器之間的變換關(guān)系，即求解 世界坐標(biāo)系與光學(xué)透視式頭盔顯示器的相對變換關(guān)系。
τH←O=τH←S·τB←S-1·τO←B-1---(7)]]>其中 可由視線跟蹤系統(tǒng)的標(biāo)定得到， 可由位置跟蹤讀數(shù)計算得到。 的標(biāo)定步驟為佩戴光學(xué)透視式頭盔顯示器，來自周圍真實場景中的圖像直接成像于用戶視網(wǎng)膜上。光學(xué)透視式頭盔顯示器的標(biāo)定采用SPAAM單點對準(zhǔn)算法，把人眼和光學(xué)透視式頭盔顯示器看作一個虛擬攝像機，通過攝像機針孔模型來對它進行標(biāo)定，基本步驟如下①在顯示器任意位置顯示一真實標(biāo)志點，并記錄該點的世界坐標(biāo)坐標(biāo)(xw，yw，zw，1)T；②計算機生成n(n≥6)個虛擬標(biāo)志點，按等間距排列顯示在光學(xué)透視式頭盔顯示器上，記錄該n個點的在頭盔顯示器坐標(biāo)系下的坐標(biāo)(xi，yi，1)T。用戶移動頭部，使得虛擬標(biāo)志點與眼睛看到的屏幕上標(biāo)志點完全重合，每對準(zhǔn)一個標(biāo)志點，記錄一次位置跟蹤器讀數(shù)；③依據(jù) 由視線跟蹤系統(tǒng)標(biāo)定， 由位置跟蹤器實時讀出，計算真實標(biāo)志點在位置跟蹤器接收器坐標(biāo)系下的坐標(biāo)(XMi，XMi，ZMi，1)T；④將(xi，yi，1)T和(XMi，YMi，ZMi，1)T代入公式(8)用SVD分解法求解
權(quán)利要求
1.一種具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔，包括場景攝像機(1)、耳機和話筒(2)、電磁式位置跟蹤器發(fā)射器(3)、瞳孔間距調(diào)節(jié)旋鈕(4)、頭盔垂直調(diào)節(jié)旋鈕(5)、頭盔水平調(diào)節(jié)旋鈕(6)、頭盔內(nèi)襯(7)、頭盔光路盒(8)，其中，場景攝像機(1)安裝在頭盔前端，耳機和話筒(2)通過支架安裝在頭盔左內(nèi)壁或者右內(nèi)壁上，電磁式位置跟蹤器發(fā)射器(3)安裝在頭盔后部的頭盔內(nèi)壁上，頭盔內(nèi)襯(7)與頭盔內(nèi)壁相連接，頭盔光路盒(8)置于頭盔前端接收場景攝像機(1)傳來的真實場景和計算機生成的虛擬信息，瞳孔間距調(diào)節(jié)旋鈕(4)安裝在頭盔前部左右側(cè)的頭盔上并與頭盔光路盒(8)相連接，頭盔垂直調(diào)節(jié)旋鈕(5)和頭盔水平調(diào)節(jié)旋鈕(6)分別安裝在頭盔的垂直方向和水平方向，兩者均與頭盔內(nèi)襯(7)相連，所述的頭盔光路盒(8)內(nèi)的光路，包括微型顯示器(9)，紅外高反濾光片(10)，半透半反組合光鏡(11)、紅外高透濾光片(12)、眼攝像機(13)、紅外光源(14)，其中，紅外光源(14)安裝在頭盔光路盒(8)上靠近半透半反組合光鏡(11)，該半透半反組合光鏡(11)由兩塊三角形透鏡組成一個方形透鏡，紅外高反濾光片(10)與半透半反組合光鏡(11)呈45°斜角安放在半透半反組合光鏡(11)的上方，微型顯示器(9)與紅外高反濾光片(10)同樣呈45°斜角水平方向安放，紅外高透濾光片(12)置于眼攝像機(13)攝像頭的前端，眼攝像機(13)水平方向放置在半透半反組合光鏡(11)與紅外高反濾光片呈45°斜角的空間位置。
全文摘要
一種具有視線跟蹤功能的增強現(xiàn)實自然交互式頭盔，屬于人機自然交互式頭盔。該頭盔包括場景攝像機(1)、耳機和話筒(2)、電磁式位置跟蹤器發(fā)射器(3)、瞳孔間距調(diào)節(jié)旋鈕(4)、頭盔垂直調(diào)節(jié)旋鈕(5)、頭盔水平調(diào)節(jié)旋鈕(6)、頭盔內(nèi)襯(7)、頭盔光路盒(8)。本發(fā)明與現(xiàn)有技術(shù)相比，增加了視線跟蹤功能，三維立體視覺效果較好，具有雙通道自然交互功能，應(yīng)用于設(shè)備維修、醫(yī)療診斷等技術(shù)領(lǐng)域。
文檔編號G02B27/01GK101067716SQ200710022978
公開日2007年11月7日 申請日期2007年5月29日 優(yōu)先權(quán)日2007年5月29日
發(fā)明者左洪福, 趙新燦, 徐興民 申請人:南京航空航天大學(xué)