專利名稱：基于眼動軌跡跟蹤的景深融合增強顯示方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種增強現(xiàn)實顯示技術(shù)，特別是一種基于眼動軌跡跟蹤的景深融合增強顯示 方法及系統(tǒng)。
背景技術(shù)：
增強現(xiàn)實技術(shù)(AR---Augmented Reality)系統(tǒng)就是把VR放在真實的環(huán)境中去檢査。從 目前發(fā)展趨勢來看，這種與實際環(huán)境相結(jié)合的虛擬體驗方式是虛擬現(xiàn)實技術(shù)發(fā)展最有效的實 施技術(shù)之一。頭盔式顯示器(Head-Mounted Displays,簡稱HMD)是AR系統(tǒng)的重要設(shè)備。 被廣泛應(yīng)用于虛擬現(xiàn)實與增強現(xiàn)實系統(tǒng)中，其最基本的功能是給用戶提供一個沉浸式的感應(yīng) 環(huán)境，頭盔不僅僅起到顯示器的作用，還輔助進(jìn)行場景采集和跟蹤注冊。增強現(xiàn)實技術(shù)的研 究者們也采用了類似的顯示技術(shù)，這就是在AR系統(tǒng)中廣泛應(yīng)用的穿透式HMD。根據(jù)具體實現(xiàn) 原理，又劃分基于光學(xué)原理的穿透式HMD (Optical See-through HMD)和基于視頻合成技術(shù) 的穿透式HMD (Video See-through HMD)。其中，光學(xué)原理的穿透式HMD (Optical See-through HMD)因為可以真正實現(xiàn)虛擬物體與真實物體的融合顯示，應(yīng)用更加廣范。但如何融合虛擬與 真實一直是一項具有挑戰(zhàn)的任務(wù)。其中，虛擬場景的景深感是重要的方面。
關(guān)于眼動研究，早在19世紀(jì)就有人通過考察人的眼球運動來研究人的心理活動，通過分 析記錄到的眼動數(shù)據(jù)來探討眼動與人的心理活動的關(guān)系。眼動儀的問世為心理學(xué)家利用眼動 技術(shù)(eye movement technique)探索人在各種不同條件下的視覺信息加工機制，觀察其與 心理活動直接或間接奇妙而有趣的關(guān)系，提供了新的有效工具。眼動技術(shù)先后經(jīng)歷了觀察法、 后像法、機械記錄法、光學(xué)記錄法、影像記錄法等多種方法的演變。眼動技術(shù)就是通過對眼 動軌跡的記錄從中提取諸如注視點、注視時間和次數(shù)、眼跳距離、瞳孔大小等數(shù)據(jù)，從而研 究個體的內(nèi)在認(rèn)知過程。利用眼動儀進(jìn)行心理學(xué)研究常用的資料或參數(shù)主要包括注視點軌 跡圖、眼動時間、眼跳方向(DIRECTION)的平均速度(AVERAGE VELOCITY)時間和距離(或稱 幅度AMPLITUDES瞳孔(PUPIL)大小(面積或直徑，單位象素pixel)和眨眼(Blink)。頭 戴式Head Mounted Optics受試者戴上特制的頭箍，上有紅外攝像頭，可捕捉眼球運動。另 一攝像頭將外部場景攝錄下來，與眼球運動在電腦上進(jìn)行疊加處理，可分析眼睛對移動景物 的注視軌跡及凝視時間。
對于景深研究，專利CN02121681.9提出了一種配合景深的自動對焦方法，但是其方法是 依靠硬件實現(xiàn)的。具體是依靠電藕合器的大小操縱馬達(dá)來實現(xiàn)鏡頭對焦過程。專利 CN200710018305.5提出了一種實現(xiàn)虛擬演播室前景景深，使主持人的注冊位置有景深感。但是其主要考慮用戶的測^:位置，沒有考慮其它。專利CN200710040859.5提出了一套眼動軌跡 控制交互裝置，僅用眼動軌跡來控制相關(guān)交互設(shè)備。專利CN00123510.9提出利用特定測試圖 來測試景深。它的目的是調(diào)節(jié)攝像機的參數(shù)。專利CN02106639.6利用一種景深定位尺來調(diào)整 測試景深位置。專利CN95193447. 3利用激光來測定眼動位置。專利CN200510008494. 9提出 了一種利用各種棱鏡來調(diào)節(jié)的光學(xué)調(diào)焦頭盔。
目前，國內(nèi)外還沒有利用眼動軌跡來研究如何按自然場景來正確調(diào)整顯示光透式頭盔的 中的虛擬物體的研究與報道。上述專利及相關(guān)研究皆依靠硬件控制機構(gòu)來實現(xiàn)景深效果，系 統(tǒng)靈活性較差，對焦更是通過鏡頭等光學(xué)構(gòu)件等來實現(xiàn)(如專利CN02121681. 9、CN95193447. 3 和專利CN200510008494.9等)。而眼動軌跡控制裝置(如CN200710040859. 5等)僅用來實現(xiàn) 類似鼠標(biāo)的作用，尚無其它報道，更沒有深入的應(yīng)用研究，且沒有把眼動軌跡設(shè)備用來作為 景深控制依據(jù)的研究，亦沒有結(jié)合頭盔顯示器實現(xiàn)增強現(xiàn)實融合顯示的研究與報道。

發(fā)明內(nèi)容
鑒于以上所述現(xiàn)有技術(shù)存在的問題和不足，本發(fā)明的目的在于提供一種基于眼動軌跡跟 蹤的景深融合增強顯示方法及系統(tǒng)，它能同步拍攝背景圖像數(shù)據(jù)，進(jìn)行比較匹配跟蹤，調(diào)整 光透式頭盔顯示器顯示圖像的聚焦程度，實現(xiàn)自動對焦增強顯示。
為達(dá)到上述目的，本發(fā)明采用下述技術(shù)構(gòu)思
根據(jù)人機工程學(xué)、攝影原理、運用計算機視覺技術(shù)、光學(xué)技術(shù)和人工智能技術(shù)，將實時 獲取的眼動及背景的數(shù)據(jù)進(jìn)行分析，將虛實物體進(jìn)行對位，調(diào)整虛擬物體的圖像顯示聚焦程 度及虛擬場景景深。
本發(fā)明采用以下技術(shù)方案實現(xiàn)上述基于眼動軌跡跟蹤的景深融合增強顯示方法、其步 驟如下
① 、獲取眼動軌跡與背景圖像數(shù)據(jù):校正眼動無線攝像頭、背景無線攝像頭，獲取眼動軌 跡與背景圖像數(shù)據(jù)；
② 、自動景深融合顯示，其具體步驟如下 ②一①、生成初始訓(xùn)練數(shù)據(jù)庫； ②一②、景深融合增強顯示。
上述步驟①所述獲取眼動軌跡，其具體步驟如下-
(1) 、通過眼動無線攝像頭獲取眼動軌跡；
(2) 、輸入捕獲的圖像；
(3) 、眼動圖像的角點特征檢測；(4) 、目標(biāo)對象分割；
(5) 、運動特征點匹配；
(6) 、特征點跟蹤估計處理；
(7) 、軌跡記錄生成；
(8) 、軌跡存儲；
(9) 、獲取眼動過程結(jié)束。
上述步驟①所述的獲取背景數(shù)據(jù)，其具體步驟如下-
(10) 、通過背景無線攝像頭獲取背景數(shù)據(jù)；
(11) 、輸入捕獲的圖像；
(12) 、背景對象特征檢測；
(13) 、目標(biāo)對象分割；
(14) 、運動特征點匹配；
(15) 、特征點跟蹤估計處理；
(16) 、焦距信息概率生成軌跡記錄生成；
(17) 、背景數(shù)據(jù)存儲；
(18) 、獲取背景數(shù)據(jù)過程結(jié)束。
上述步驟②一①所述的生成初始訓(xùn)練數(shù)據(jù)庫，其步驟如下
(19) 、訓(xùn)練過程開始；
(20) 、進(jìn)行眼動無線攝像頭、背景無線攝像頭校正，調(diào)整其的內(nèi)參與外參，防止畸變產(chǎn)生；
(21) 、獲取眼動軌跡數(shù)據(jù)；
(22) 、獲取背景圖像數(shù)據(jù)；
(23) 、初始化訓(xùn)練數(shù)據(jù)庫；
(24) 、轉(zhuǎn)換概率分布信息；
(25) 、存儲記錄；
(26) 、訓(xùn)練數(shù)據(jù)庫中的樣本記錄是否足夠？如果樣本記錄 夠，則轉(zhuǎn)步驟(28)，否則轉(zhuǎn)步 驟(27);
(27) 、調(diào)整背景與眼動對應(yīng)的參數(shù)信息，再轉(zhuǎn)到步驟(21)繼續(xù)運行；
(28) 、訓(xùn)練過程結(jié)束。
上述步驟②—②所示的景深融合增強顯示，其步驟如下
(29) 、跟蹤過程開始；(30) 、進(jìn)行眼動無線攝像頭、背景無線攝像頭校正，調(diào)整其的內(nèi)參與外參，防止畸變產(chǎn)生；
(31) 、獲取眼動軌跡數(shù)據(jù)；
(32) 、獲取背景圖像數(shù)據(jù)；
(33) 、轉(zhuǎn)換概率分布信息；
(34) 、查詢數(shù)據(jù)庫是否匹配？如果匹配不成功，則進(jìn)行步驟(35)，如果匹配成功，則轉(zhuǎn)步 驟(36);
(35) 、存儲記錄到訓(xùn)練數(shù)據(jù)庫； (36)、轉(zhuǎn)換景深數(shù)據(jù)與焦距數(shù)據(jù)，
(37)、融合渲染。
(38)、再響應(yīng)用戶輸入以判斷跟蹤是否結(jié)束？如果跟蹤結(jié)束，則轉(zhuǎn)步驟(39)。否則重新轉(zhuǎn)入步 驟(31)，進(jìn)入下一次數(shù)據(jù)庫匹配。 (39)、根據(jù)參數(shù)調(diào)整渲染參數(shù)，完成根據(jù)眼動軌跡跟蹤的自動景深融合增強現(xiàn)實顯示。 一種用于基于眼動軌跡跟蹤的景深融合增強顯示方法的系統(tǒng)包括安裝在光透式頭盔的眼 動無線攝像頭、背景無線攝像頭、微處理機，眼動無線攝像頭正方向?qū)?zhǔn)一只眼睛，背景無 線攝像頭平視方向?qū)?zhǔn)背景，分別對眼動軌跡與背景數(shù)據(jù)進(jìn)行采集，微處理機裝有無線接收 裝置。
本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見的突出特點和顯著優(yōu)點本發(fā)明采用無線
攝像頭拍攝眼動圖像與背景圖像，并根據(jù)對景深及眼動軌跡的訓(xùn)練信息，利用實時拍攝的眼
部軌跡數(shù)據(jù)，并與它能同步拍攝的背景圖像數(shù)據(jù)，進(jìn)行比較匹配跟蹤，調(diào)整光透式頭盔顯示
器顯示圖像的聚焦程度，實現(xiàn)自動對焦增強現(xiàn)實顯示。該系統(tǒng)采用無線攝像頭拍攝，可以在
移動情況或在室外環(huán)境應(yīng)用，增加了系統(tǒng)的應(yīng)用范圍。


圖1為本發(fā)明的基于眼動軌跡跟蹤的景深融合增強顯示方法程序框圖2為本發(fā)明的基于眼動軌跡跟蹤的景深融合增強顯示系統(tǒng)硬件結(jié)構(gòu)示意圖
圖3為示例的獲取眼動軌跡與背景數(shù)據(jù)的流程圖4為示例的訓(xùn)練與跟蹤過程詳細(xì)流程框圖。
具體實施例方式
以下結(jié)合附圖對本發(fā)明的實施例作進(jìn)一步的詳細(xì)說明本發(fā)明提供的方法是一種基于眼 動軌跡跟蹤的景深融合增強顯示方法，包括首先對拍攝的眼動圖像進(jìn)行分割，獲取單獨的 眼部對象。為增加實時處理的能力，利用簡單的閾值方法分割加模板匹配即可，但對于具體的閾值可以根據(jù)光照條件進(jìn)行調(diào)整，光照參數(shù)的獲得由背景圖像分析得到。利用眼部語義模 板進(jìn)行眼部對象匹配，眼部語義可簡單定義如下 _￡ = (e，cA,c,., |XI),A: = l，2,3;c,. e cA e e
其中，e表示眼部對象；A表示眼球內(nèi)的瞳孔部位；^表示眼球部位；f[W是紋理信息矩
陣，包括各部分的平均紋理值范圍；e'e^ee表示眼部各部分的語義歸屬信息。
獲得眼部對象后，對眼球特征根據(jù)語義進(jìn)行特征提取，提取出至少2個成功的眼球特征 語義。并對其進(jìn)行連續(xù)的跟蹤60幀(大約2s)，并繪制出跟蹤軌跡圖。對于圖像抖動問題， 利用中值濾波平均，得到眼動軌跡圖備用。
同樣，對拍攝的背景圖像進(jìn)行分割，獲取主要對象信息。包括對象之間的遮擋情況、光 照條件，景深情況等參數(shù)。跟蹤凝視對象的特征點，得到注冊的估計位置。結(jié)合眼動軌跡與 景深參數(shù)進(jìn)行凝視對比分析，凝視對象的獲取方法為當(dāng)凝視停留時間較長(大于lOOms)的 對象認(rèn)為是預(yù)測的凝視對象。根據(jù)從背景圖像取得的凝視對象的遮擋與景深參數(shù)，方向是分 割出對象集后，進(jìn)行對象3D碰撞關(guān)系檢測，計算出背景的遮擋情況；光照條件根據(jù)對象集的 各個對象的平均紋理變化逆向跟蹤計算出虛擬光源的位置(為計算簡便，僅假設(shè)一個平行光 源與一個點光源的條件)；再根據(jù)凝視對象利用牛頓迭代估算出虛擬物體的精確注冊位置；從 而確定景深參數(shù)與對焦參數(shù)，利用對焦參數(shù)確定模糊系數(shù)，利用景深參數(shù)確定焦距。
然后，再利用上述相關(guān)的參數(shù)渲染出虛擬物體，這樣在每幀時根據(jù)參數(shù)調(diào)整渲染參數(shù)， 實現(xiàn)根據(jù)眼動軌跡跟蹤的自動景深融合增強現(xiàn)實顯示。
為加快處理速度，實現(xiàn)實時應(yīng)用。本發(fā)明利用分類訓(xùn)練方法提高處理速度。主要是 先利用訓(xùn)練過程訓(xùn)練常見光照及景深及遮擋情況。把相關(guān)的軌跡圖片與背景圖像的關(guān)系存儲 成概率分布的關(guān)系；具體描述如下 一個對象的分類特征的二進(jìn)制集定義為S，集合為-
分類數(shù)目為M，則整個分類塊的數(shù)目為S*il/，則找出類"(C。)的概率為 7>( ,..，《，|。4 2~， 簡化分類歸納為
尸(q/i ， 。/2,…,IC。 ) — n二 P(OFJ IC。 ) — M * 2s ， 即在某種眼動軌跡與背景的情況下，估計是這些分類對象的參數(shù)的可信性。把這些訓(xùn)練 結(jié)果存入數(shù)據(jù)庫，再以后陌生 景中可以自動學(xué)習(xí)，實現(xiàn)快速處理。當(dāng)然，對于完全陌生的場景，學(xué)習(xí)過程也很快，僅需要建立初始的訓(xùn)練庫后，實現(xiàn)匹配的速度可以達(dá)到實時處理的 要求。
本發(fā)明的一個具體優(yōu)選實施例，如圖1所示，上述基于眼動軌跡跟蹤的景深融合增強顯 示方法包括步驟如下
① 、獲取眼動軌跡與背景圖像數(shù)據(jù)眼動無線攝像頭經(jīng)校正，獲取眼動軌跡與背景圖像數(shù)據(jù)；
② 、自動景深融合顯示，其具體步驟如下②一①、生成初始訓(xùn)練數(shù)據(jù)庫；②一②、與景深 融合增強顯示過程。
如圖2所示，所述的用于基于眼動軌跡跟蹤的景深融合增強顯示方法的系統(tǒng)包括安裝在 光透式頭盔上眼動無線攝像頭、背景無線攝像頭、微處理機，眼動無線攝像頭正方向?qū)?zhǔn)一 只眼睛，背景無線攝像頭平視方向?qū)?zhǔn)背景，分別對眼動軌跡與背景數(shù)據(jù)進(jìn)行采集，微處理 機裝有無線接收裝置。
上述步驟①所述獲取眼動軌跡，如圖3， l)所示，圖像獲取，通過眼動無線攝像頭，獲 取眼動圖像，要求至少每秒拍攝30幀圖像，其具體步驟如下
(1)、通過眼動無線攝像頭獲取眼動軌跡;
(2)、輸入捕獲的圖像；
(3)、眼動圖像的角點特征檢測；
(4)、目標(biāo)對象分割；
(5)、運動特征點匹配；
(6)、特征點跟蹤估計處理；
(7)、軌跡記錄生成；
(8)、軌跡存儲；
(9)、獲取眼動過程結(jié)束。
上述步驟①所述的獲取背景數(shù)據(jù)，如圖3 2)所示，圖像獲取，通過背景無線攝像頭，獲 取背景圖像。要求至少每秒拍攝15幀圖像，其具體步驟包括-
(10) 、通過背景無線攝像頭獲取背景數(shù)據(jù)；
(11) 、輸入捕獲的圖像；
(12) 、背景對象特征檢測；
(13) 、目標(biāo)對象分割；
(14) 、運動特征點匹配；
(15) 、特征點跟蹤估計處理；
9(16) 、焦距信息概率生成軌跡記錄生成；
(17) 、背景數(shù)據(jù)存儲；
(18) 、獲取背景數(shù)據(jù)過程結(jié)束
上述步驟②所述的生成初始訓(xùn)練數(shù)據(jù)庫的訓(xùn)練過程，如圖4 l)所示，其具體步驟
(19) 、訓(xùn)練過程開始；
(20) 、進(jìn)行眼動無線攝像頭、背景無線攝像頭校正，調(diào)整其的內(nèi)參與外參，防止畸變產(chǎn)生；
(21) 、獲取眼動軌跡數(shù)據(jù)；
(22) 、獲取背景圖像數(shù)據(jù)；
(23) 、初始化訓(xùn)練數(shù)據(jù)庫；
(24) 、轉(zhuǎn)換概率分布信息；
(25) 、存儲記錄；
(26) 、訓(xùn)練數(shù)據(jù)庫中的樣本記錄是否足夠？如果樣本記錄足夠，則轉(zhuǎn)步驟(28)，否則轉(zhuǎn)步 驟(27);
(27) 、調(diào)整背景與眼動對應(yīng)的參數(shù)信息后，再轉(zhuǎn)到步驟(21)繼續(xù)運行；
(28) 、訓(xùn)練過程結(jié)束。 上述步驟②所述的景深融合增強顯過程，如圖4 2)所示，其具體步驟如下-
(29) 、跟蹤過程開始；
(30) 、進(jìn)行眼動無線攝像頭、背景無線攝像頭校正，調(diào)整其的內(nèi)參與外參，防止畸變產(chǎn)生；
(31) 、獲取眼動軌跡數(shù)據(jù)；
(32) 、獲取背景圖像數(shù)據(jù)；
(33) 、轉(zhuǎn)換概率分布信息；
(34) 、査詢數(shù)據(jù)庫是否匹配？如果匹配不成功，則繼續(xù)進(jìn)行(35)，如果匹配成功，則轉(zhuǎn)步 驟(36):
(35) 、存儲記錄到訓(xùn)練數(shù)據(jù)庫； (36)、轉(zhuǎn)換景深數(shù)據(jù)與焦距數(shù)據(jù)，
(37)、融合渲染。
(38)、再響應(yīng)用戶輸入以判斷跟蹤是否結(jié)束？如果跟蹤結(jié)束，則轉(zhuǎn)步驟(39)，否則重新轉(zhuǎn)入步 驟(31)，進(jìn)入下一次數(shù)據(jù)庫匹配。 (39)、根據(jù)參數(shù)調(diào)整渲染參數(shù)，完成根據(jù)眼動軌跡跟蹤的自動景深融合增強現(xiàn)實顯示。
權(quán)利要求
1.一種基于眼動軌跡跟蹤的景深融合增強顯示方法、其特征在于該方法包括步驟如下①、獲取眼動軌跡與背景圖像數(shù)據(jù)眼動無線攝像頭、背景無線攝像頭經(jīng)校正，獲取眼動軌跡與背景圖像數(shù)據(jù)；②、自動景深融合顯示，其具體步驟如下②-①生成初始訓(xùn)練數(shù)據(jù)庫；②-②景深融合增強顯示。
2. 根據(jù)權(quán)利要求1所述的基于眼動軌跡跟蹤的景深融合增強顯示方法，其特征在于，上述步 驟①所述獲取眼動軌跡，其具體步驟如下(1)、通過眼動無線攝像頭獲取眼動軌跡;(2)、輸入捕獲的圖像；(3)、眼動圖像的角點特征檢測；(4)、目標(biāo)對象分割；(5)、運動特征點匹配；(6)、特征點跟蹤估計處理；(7)、軌跡記錄生成,-(8)、軌跡存儲；(9)、獲取眼動過程結(jié)束。
3.根據(jù)權(quán)利要求2所述的基于眼動軌跡跟蹤的景深融合增強顯示方法，其特征在于，上述步 驟①所述的獲取背景數(shù)據(jù)，其具體步驟如下-(10)、通過背景無線攝像頭獲取背景數(shù)據(jù);(11)、輸入捕獲的圖像；(12)、背景對象特征檢測；(13)、目標(biāo)對象分割；(14)、運動特征點匹配；(15)、特征點跟蹤估計處理；(16)、焦距信息概率生成軌跡記錄生成；(17)、背景數(shù)據(jù)存儲；(18)、獲取背景數(shù)據(jù)過程結(jié)束。
4.根據(jù)權(quán)利要求3所述的基于眼動軌跡跟蹤的景深融合增強顯示方法，其特征在于，上述步 驟②一①所述的生成初始訓(xùn)練數(shù)據(jù)庫，其步驟如下(19) 、訓(xùn)練過程開始；(20) 、進(jìn)行相機校正，調(diào)整相機的內(nèi)參與外參，防止畸變產(chǎn)生；(21) 、獲取眼動軌跡數(shù)據(jù)；(22) 、獲取背景圖像數(shù)據(jù)；(23) 、初始化訓(xùn)練數(shù)據(jù)庫；(24) 、轉(zhuǎn)換概率分布信息；(25) 、存儲記錄；(26) 、訓(xùn)練數(shù)據(jù)庫中的樣本記錄是否足夠？如果樣本記錄足夠，則轉(zhuǎn)步驟(28)，否則 轉(zhuǎn)步驟(27);(27) 、調(diào)整背景與眼動對應(yīng)的參數(shù)信息后，再轉(zhuǎn)到步驟(21)繼續(xù)運行；(28) 、訓(xùn)練過程結(jié)束。
5. 根據(jù)權(quán)利要求4所述的基于眼動軌跡跟蹤的景深融合增強顯示方法，其特征在于，上述步 驟②一②所示的景深融合增強顯示，其步驟如下.-(29) 、跟蹤過程開始；(30) 、進(jìn)行眼動無線攝像頭、背景無線攝像頭校正，調(diào)整其的內(nèi)參與外參，防止畸變產(chǎn)生；(31) 、獲取眼動軌跡數(shù)據(jù)；(32) 、獲取背景圖像數(shù)據(jù)；(33) 、轉(zhuǎn)換概率分布信息；(34) 、査詢數(shù)據(jù)庫是否匹配？如果匹配不成功，則繼續(xù)進(jìn)行(35)，如果匹配成功，則轉(zhuǎn)步 驟(36);(35) 、存儲記錄到訓(xùn)練數(shù)據(jù)庫； (36)、轉(zhuǎn)換景深數(shù)據(jù)與焦距數(shù)據(jù)，(37)、融合渲染；(38)、再響應(yīng)用戶輸入以判斷跟蹤是否結(jié)束？如果跟蹤結(jié)束，則轉(zhuǎn)步驟(39);否則重新轉(zhuǎn)入步 驟(31)，進(jìn)入下一次數(shù)據(jù)庫匹配； (39)、根據(jù)參數(shù)調(diào)整渲染參數(shù)，完成根據(jù)眼動軌跡跟蹤的自動景深融合增強現(xiàn)實顯示。
6. —種用于權(quán)利要求1所述基于眼動軌跡跟蹤的景深融合增強顯示方法的系統(tǒng)，其特征在 于，它包括安裝在光透式頭盔的眼動無線攝像頭、背景無線攝像頭、微處理機，眼動無線 攝像頭正方向?qū)?zhǔn)一只眼睛，背景無線攝像頭平視方向?qū)?zhǔn)背景，分別對眼動軌跡與背景 數(shù)據(jù)進(jìn)行采集，上述微處理機裝有無線接收裝置。
全文摘要
本發(fā)明公開了一種根據(jù)眼動軌跡跟蹤的自動景深融合增強現(xiàn)實顯示方法及系統(tǒng)，該方法步驟如下①獲取眼動軌跡與背景圖像數(shù)據(jù)，眼動攝像機經(jīng)校正，獲取眼動軌跡與背景圖像數(shù)據(jù)；②自動景深融合顯示，其具體步驟生成初始訓(xùn)練數(shù)據(jù)庫；轉(zhuǎn)換概率分布信息；查詢數(shù)據(jù)庫；轉(zhuǎn)換景深與焦距數(shù)據(jù)；位姿估計；虛實融合；渲染圖像。該系統(tǒng)包括裝在頭盔上的眼動無線攝像頭、背景無線攝像頭、微處理機，微處理機裝有無線接收裝置。本發(fā)明采用攝像頭拍攝眼動圖像與背景圖像，根據(jù)對景深及眼動軌跡的訓(xùn)練信息，利用實時拍攝的眼部軌跡數(shù)據(jù)，它能同步拍攝的背景圖像數(shù)據(jù)，進(jìn)行比較匹配跟蹤，調(diào)整光透式頭盔顯示器顯示圖像的聚焦程度，實現(xiàn)自動對焦增強現(xiàn)實顯示。
文檔編號G06K9/00GK101587542SQ20091005386
公開日2009年11月25日 申請日期2009年6月26日 優(yōu)先權(quán)日2009年6月26日
發(fā)明者燕 劉, 姚爭為, 李啟明, 譚志鵬, 鄒一波, 陸意駿, 偉 陳, 明 陳, 陳一民, 黃詩華 申請人:上海大學(xué)