本發(fā)明涉及結(jié)合眼部追蹤的虛擬現(xiàn)實(shí)設(shè)備領(lǐng)域，具體涉及一種基于虛擬現(xiàn)實(shí)中眼動(dòng)捕捉的跨物體交互方法與裝置。

背景技術(shù)：

眼動(dòng)捕捉通過(guò)測(cè)量眼睛的視覺(jué)注意力焦點(diǎn)的位置或者眼球相對(duì)頭部的運(yùn)動(dòng)實(shí)現(xiàn)對(duì)眼球運(yùn)動(dòng)的實(shí)施追蹤。目前的眼動(dòng)捕捉主要使用紅外光輔助圖像捕捉設(shè)備采集眼部圖像，通過(guò)追蹤和計(jì)算眼部圖像中瞳孔的中心位置來(lái)測(cè)量眼球的位置和運(yùn)動(dòng)軌跡信息。眼動(dòng)捕捉技術(shù)目前被廣泛應(yīng)用于心理學(xué)、工效學(xué)、視知覺(jué)等領(lǐng)域。

虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真，能夠在虛擬三維空間中為用戶(hù)提供沉浸式的交互環(huán)境。類(lèi)似于在現(xiàn)實(shí)空間中用戶(hù)的視覺(jué)注意力會(huì)在不同距離物體上移動(dòng)、注視和掃描等，在虛擬現(xiàn)實(shí)空間中的用戶(hù)視覺(jué)注意力焦點(diǎn)的變化也有著類(lèi)似的行為。目前針對(duì)虛擬現(xiàn)實(shí)環(huán)境交互的交互手段主要有眼動(dòng)追蹤、身體姿態(tài)、肌電信號(hào)、觸覺(jué)反饋、語(yǔ)音交互和手勢(shì)識(shí)別等。

目前的虛擬現(xiàn)實(shí)環(huán)境交互已經(jīng)部分或者全部結(jié)合了上述多維度感知的交互方式，但是仍然存在以下不足：(1)虛擬環(huán)境交互的輸出反饋?zhàn)赃m應(yīng)問(wèn)題。虛擬現(xiàn)實(shí)生成的反饋需要被人快速、直接地接收和理解，在當(dāng)前的交互方式下仍然難以及時(shí)地反應(yīng)，信息的傳達(dá)存在一定時(shí)滯或缺失；(2)虛擬現(xiàn)實(shí)環(huán)境對(duì)人交互意圖的理解問(wèn)題。當(dāng)前交互主要受用戶(hù)的主觀表達(dá)信息的驅(qū)動(dòng)，對(duì)于用戶(hù)交互行為中的內(nèi)在意圖的理解不足，沒(méi)有形成較好的交互認(rèn)知解決方案。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述，本發(fā)明提供了一種基于虛擬現(xiàn)實(shí)中眼動(dòng)捕捉的跨物體交互裝置與方法，該方法根據(jù)虛擬現(xiàn)實(shí)三維空間中用戶(hù)注視的虛擬物體與用戶(hù)的視點(diǎn)之間的虛擬距離，實(shí)現(xiàn)不同的用戶(hù)界面和交互方式。

一種基于虛擬現(xiàn)實(shí)中眼動(dòng)捕捉的跨物體交互裝置，包括：

頭戴式虛擬現(xiàn)實(shí)眼鏡，獲取虛擬現(xiàn)實(shí)三維場(chǎng)景圖像，并將其根據(jù)左右眼在視角上的差異顯示于顯示屏上；

眼動(dòng)追蹤設(shè)備，可拆卸地固定于所述頭戴式虛擬現(xiàn)實(shí)眼鏡的目鏡上，用于拍攝和記錄眼睛運(yùn)動(dòng)的紅外圖像，并將該圖像輸送至主機(jī)；

主機(jī)，輸出虛擬顯示三維場(chǎng)景圖像至所述頭戴式虛擬現(xiàn)實(shí)眼鏡的顯示屏中；接收所述眼動(dòng)追蹤設(shè)備輸送來(lái)的紅外圖像；基于opencv計(jì)算機(jī)圖形庫(kù)計(jì)算紅外圖像中瞳孔的位置，分析和處理用戶(hù)眼動(dòng)軌跡，根據(jù)虛擬距離激活不同用戶(hù)界面的呈現(xiàn)方式和交互內(nèi)容。

所述的頭戴式虛擬現(xiàn)實(shí)眼鏡包括：

目鏡，調(diào)整用戶(hù)視線在顯示屏上的對(duì)焦位置，以便用戶(hù)視線能夠準(zhǔn)確地對(duì)焦于顯示屏上；

顯示屏，根據(jù)左右眼在視角上的差異分別顯示虛擬現(xiàn)實(shí)三維場(chǎng)景，這樣能使用戶(hù)的左右眼感知到不一樣的圖像，形成對(duì)虛擬現(xiàn)實(shí)三維環(huán)境的空間認(rèn)知；

揚(yáng)聲器，根據(jù)用戶(hù)界面顯示的交互內(nèi)容播放相應(yīng)的三維立體聲；

固定支撐結(jié)構(gòu)，是一個(gè)眼鏡形式的可穿戴結(jié)構(gòu)，用于支撐、固定所述的目鏡與顯示屏；以及

連接線；連接主機(jī)，用于虛擬現(xiàn)實(shí)三維場(chǎng)景圖像和交互內(nèi)容的通信。

所述的眼動(dòng)追蹤設(shè)備包括：

3d打印的框架，與所述頭戴式虛擬現(xiàn)實(shí)眼鏡的目鏡形狀大小一致，用于固定紅外發(fā)射器、微型紅外攝像頭；

多個(gè)紅外發(fā)射器，用于發(fā)射一定頻率的紅外光至眼睛上；

微型紅外攝像頭，用于捕捉眼球和瞳孔運(yùn)動(dòng)的紅外圖像，該紅外攝像頭可以有效地避免頭戴式虛擬現(xiàn)實(shí)眼鏡中顯示屏發(fā)出的可見(jiàn)光干擾，捕捉到清晰的眼球和瞳孔的紅外圖像；以及

接口，用于將捕捉到的紅外圖像傳送至主機(jī)。

作為優(yōu)選，所述的紅外發(fā)射器為貼片式紅外光led，該紅外光led燈成本較低，能夠發(fā)射均勻地紅外光，便于安裝。

作為優(yōu)選，所述的多個(gè)紅外發(fā)射器均勻地固定于所述的3d打印的框架的框架外圍一周；所述的微型紅外攝像頭固定于眼動(dòng)追蹤設(shè)備邊緣處。

作為優(yōu)選，所述的眼動(dòng)追蹤設(shè)備為兩個(gè)，分別置于頭戴式虛擬現(xiàn)實(shí)眼鏡的目鏡上，這樣能夠很準(zhǔn)確地記錄眼睛運(yùn)動(dòng)的紅外圖像。

所述的主機(jī)利用opencv計(jì)算機(jī)圖像庫(kù)，在紅外圖像中檢測(cè)瞳孔反光位置，計(jì)算其中心點(diǎn)，并記錄和分析連續(xù)多幀圖像上的眼動(dòng)位置判斷用戶(hù)視覺(jué)焦點(diǎn)的運(yùn)動(dòng)軌跡。

另一方面，本發(fā)明提供了一種利用上述裝置實(shí)現(xiàn)跨物體交互方法，包括：

(1)眼動(dòng)追蹤設(shè)備以30hz的采樣頻率連續(xù)獲取眼睛運(yùn)動(dòng)的紅外圖像，并將該些紅外圖像發(fā)送至主機(jī)；

(2)主機(jī)根據(jù)紅外圖像確定每幀紅外圖像中的瞳孔位置，并根據(jù)連續(xù)多幀紅外圖像中的瞳孔位置確定眼睛運(yùn)動(dòng)軌跡、眼睛運(yùn)動(dòng)速度以及眼睛停留時(shí)長(zhǎng)，得到眼睛運(yùn)動(dòng)模式；

(3)主機(jī)根據(jù)紅外圖像中瞳孔位置、眼動(dòng)坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系確定虛擬物體，得到虛擬距離d；

(4)主機(jī)根據(jù)虛擬距離d和眼睛運(yùn)動(dòng)模式激活與該虛擬距離對(duì)應(yīng)的用戶(hù)界面的交互方式與用戶(hù)界面的內(nèi)容顯示。

當(dāng)眼睛不停地運(yùn)動(dòng)時(shí)，眼動(dòng)追蹤設(shè)備連續(xù)采集不同時(shí)刻的眼睛運(yùn)動(dòng)的紅外圖像，主機(jī)根據(jù)不同的紅外圖像中瞳孔位置進(jìn)而得到的虛擬距離動(dòng)態(tài)地激活與該虛擬距離對(duì)應(yīng)的用戶(hù)界面的交互方式與用戶(hù)界面的內(nèi)容顯示。

步驟(1)中，紅外圖像中瞳孔為紅外光反射特征最明顯的部分，形成一個(gè)最亮的光點(diǎn)，該亮點(diǎn)即為瞳孔位置，該亮點(diǎn)所在的位置為瞳孔在紅外圖像中的平面坐標(biāo)，記為(x，y)。

步驟(2)中，所述的眼動(dòng)坐標(biāo)系為紅外圖像內(nèi)的坐標(biāo)系，是人為設(shè)定的，根據(jù)該坐標(biāo)系就可以清楚地獲得和標(biāo)記瞳孔位置。

步驟(3)中，所述眼動(dòng)坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系的獲得方法為：

用戶(hù)按照順序看頭戴式虛擬現(xiàn)實(shí)眼鏡中顯示屏四個(gè)角上的紅色標(biāo)記點(diǎn)，以左下角為坐標(biāo)原點(diǎn)，則四個(gè)紅色標(biāo)記點(diǎn)分別記為(0,0)，(0,顯示屏分辨路高度h)，(顯示屏分辨率寬度w,h)，(w,0)；用戶(hù)在看這四個(gè)紅色標(biāo)記點(diǎn)時(shí)，所記錄的紅外圖像上瞳孔的坐標(biāo)記為(0,0)，(0,h)，(w,h)，(w,0)；這樣，所有在紅外圖像中四個(gè)坐標(biāo)(0,0)，(0,h)，(w,h)，(w,0)形成的范圍內(nèi)的瞳孔位置(x,y)，均線性投射至頭戴式虛擬現(xiàn)實(shí)眼鏡的顯示屏中四個(gè)坐標(biāo){(0,0)，(0,h)，(w,h)，(w,0)}范圍內(nèi)的坐標(biāo)(x，y)。

步驟(3)中，所述的虛擬距離的獲得過(guò)程為：

根據(jù)虛擬現(xiàn)實(shí)眼鏡的顯示屏上的眼動(dòng)位置坐標(biāo)(x，y)，在顯示屏上顯示的虛擬現(xiàn)實(shí)三維場(chǎng)景中，找到對(duì)應(yīng)的用戶(hù)注視焦點(diǎn)所在的虛擬物體，并得到該虛擬物體的三維坐標(biāo)中心點(diǎn)到三維場(chǎng)景的攝像機(jī)的中心點(diǎn)之間的垂直距離，該垂直距離為虛擬距離，虛擬距離的單位與三維場(chǎng)景中的攝像機(jī)的焦距單位一致，為毫米。

三維場(chǎng)景中的攝像機(jī)的中心點(diǎn)不是固定在虛擬現(xiàn)實(shí)眼鏡的顯示屏平面上，但它的落點(diǎn)一直是用戶(hù)的眼睛。攝像頭的中心點(diǎn)已知，虛擬物體的中心點(diǎn)三維坐標(biāo)已知，就可以計(jì)算兩個(gè)坐標(biāo)之間的距離d，也就垂直于顯示屏并沿著用戶(hù)眼睛視線方向延伸的距離。

步驟(4)中，所述的主機(jī)根據(jù)虛擬距離激活與該虛擬距離對(duì)應(yīng)的用戶(hù)界面的呈現(xiàn)方式和交互內(nèi)容，具體為：

當(dāng)d≥3000mm時(shí)，采用用戶(hù)界面懸浮于虛擬物體中心點(diǎn)位置上方空中的呈現(xiàn)方式；此時(shí)，用戶(hù)界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶(hù)界面的寬為w/4，高為h/4，用戶(hù)界面的交互內(nèi)容為物體的標(biāo)記信息，字體大小為80px(目前虛擬現(xiàn)實(shí)設(shè)備中文字最小像素大小為14px，最佳為20px)；當(dāng)用戶(hù)頭部和眼睛運(yùn)動(dòng)均保持靜止達(dá)1秒時(shí)，(通過(guò)判斷用戶(hù)眼動(dòng)軌跡實(shí)現(xiàn))，保持用戶(hù)界面的中心位置不變，動(dòng)態(tài)持續(xù)放大用戶(hù)界面的尺寸至原來(lái)的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/8，同時(shí)交互內(nèi)容增多；當(dāng)用戶(hù)頭部或眼睛恢復(fù)移動(dòng)，則自動(dòng)縮小用戶(hù)界面至原來(lái)尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)1500mm≤d＜3000mm時(shí)，采用用戶(hù)界面半結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶(hù)界面的一側(cè)邊與虛擬物體相連；此時(shí)，用戶(hù)界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/32，用戶(hù)界面的寬為w/4，高為h/8，用戶(hù)界面的交互內(nèi)容為物體的標(biāo)記信息與簡(jiǎn)略的介紹文本、圖片以及視頻，字體大小為40px；當(dāng)用戶(hù)頭部和眼睛運(yùn)動(dòng)均保持靜止達(dá)1秒時(shí)，保持用戶(hù)界面的中心位置不變，動(dòng)態(tài)持續(xù)放大用戶(hù)界面的尺寸至原來(lái)的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶(hù)界面的寬為w/4，高為h/4，同時(shí)交互內(nèi)容增多；當(dāng)用戶(hù)的頭部或者眼睛恢復(fù)運(yùn)動(dòng)，則自動(dòng)縮小用戶(hù)界面至原來(lái)尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)d＜1500mm時(shí)，采用用戶(hù)界面完全結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶(hù)界面的平面完全投影在虛擬物體的表面上；此時(shí)，用戶(hù)界面尺寸為注視焦點(diǎn)所在的物體表面的大小(即最大內(nèi)切矩形)，用戶(hù)界面交互內(nèi)容為物體的標(biāo)記信息、詳細(xì)的文本、圖片以及視頻；字體大小為20px；當(dāng)用戶(hù)頭部和眼動(dòng)運(yùn)動(dòng)均保持靜止達(dá)1秒時(shí)，動(dòng)態(tài)更新一次用戶(hù)界面中的內(nèi)容(也包括加載顯示視頻)；當(dāng)用戶(hù)的頭部或者眼睛恢復(fù)運(yùn)動(dòng)，則交互內(nèi)容自動(dòng)恢復(fù)至初始狀態(tài)。

本發(fā)明方法結(jié)合了虛擬現(xiàn)實(shí)環(huán)境用戶(hù)界面中的眼動(dòng)軌跡和虛擬現(xiàn)實(shí)場(chǎng)景中的“視點(diǎn)-物體”之間的虛擬距離，動(dòng)態(tài)決定用戶(hù)界面的內(nèi)容顯示和交互方式，從而為虛擬現(xiàn)實(shí)環(huán)境中的信息獲取提供更加自然和高效的方式。

附圖說(shuō)明

圖1是實(shí)施例中基于虛擬現(xiàn)實(shí)中眼動(dòng)捕捉的跨物體交互方法的流程圖；

圖2是實(shí)施例中用戶(hù)界面懸浮于虛擬物體中心點(diǎn)位置上方空中的呈現(xiàn)方式的示意圖；

圖3是實(shí)施例中用戶(hù)界面半結(jié)合于虛擬物體的呈現(xiàn)方式的示意圖；

圖4是用戶(hù)界面完全結(jié)合于虛擬物體的呈現(xiàn)方式的示意圖。

具體實(shí)施方式

為了更為具體地描述本發(fā)明，下面結(jié)合附圖及具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。

本實(shí)施例基于虛擬現(xiàn)實(shí)中眼動(dòng)捕捉的跨物體交互裝置，包括：頭戴式虛擬現(xiàn)實(shí)眼鏡、眼動(dòng)追蹤設(shè)備以及主機(jī)；其中，頭戴式虛擬現(xiàn)實(shí)眼鏡包括目鏡、顯示屏、固定支撐結(jié)構(gòu)、揚(yáng)聲器以及連接線；眼動(dòng)追蹤設(shè)備包括3d打印的框架、多個(gè)紅外發(fā)射器、微型紅外攝像頭以及接口。

在本實(shí)施例中，采用置于目鏡上的兩個(gè)眼動(dòng)追蹤設(shè)備，分別獲得左右眼睛運(yùn)動(dòng)的紅外圖像。紅外發(fā)射器采用貼片式紅外光led，且均勻地貼于3d打印的框架的外圍一周，微型紅外攝像頭固定于眼動(dòng)追蹤設(shè)備邊緣處。

使用上述裝置實(shí)現(xiàn)跨物體交互方法的流程圖如圖1所示，具體包括以下步驟：

s01，眼動(dòng)追蹤設(shè)備以30hz的采樣頻率連續(xù)獲取眼睛運(yùn)動(dòng)的紅外圖像，并將該些紅外圖像發(fā)送至主機(jī)。

紅外圖像中瞳孔為紅外光反射特征最明顯的部分，形成一個(gè)最亮的光點(diǎn)，該亮點(diǎn)即為瞳孔位置，該亮點(diǎn)所在的位置為瞳孔在紅外圖像中的平面坐標(biāo)，記為(x，y)。

s02，主機(jī)根據(jù)紅外圖像確定每幀紅外圖像中的瞳孔位置，并根據(jù)連續(xù)多幀紅外圖像中的瞳孔位置確定眼睛運(yùn)動(dòng)軌跡、眼睛運(yùn)動(dòng)速度以及眼睛停留時(shí)長(zhǎng)，得到眼睛運(yùn)動(dòng)模式。

s03，主機(jī)根據(jù)紅外圖像中瞳孔位置、眼動(dòng)坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系確定虛擬物體，得到虛擬距離d。

本步驟的具體過(guò)程為：

首先，標(biāo)定眼動(dòng)坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系，具體為：

用戶(hù)按照順序看頭戴式虛擬現(xiàn)實(shí)眼鏡中顯示屏四個(gè)角上的紅色標(biāo)記點(diǎn)，以左下角為坐標(biāo)原點(diǎn)，則四個(gè)紅色標(biāo)記點(diǎn)分別記為(0,0)，(0,顯示屏分辨路高度h)，(顯示屏分辨率寬度w,h)，(w,0)；用戶(hù)在看這四個(gè)紅色標(biāo)記點(diǎn)時(shí)，所記錄的紅外圖像上瞳孔的坐標(biāo)記為(0,0)，(0,h)，(w,h)，(w,0)；這樣，所有在紅外圖像中四個(gè)坐標(biāo)(0,0)，(0,h)，(w,h)，(w,0)形成的范圍內(nèi)的瞳孔位置(x,y)，均線性投射至頭戴式虛擬現(xiàn)實(shí)眼鏡的顯示屏中四個(gè)坐標(biāo){(0,0)，(0,h)，(w,h)，(w,0)}范圍內(nèi)的坐標(biāo)(x，y)。

然后，根據(jù)紅外圖像中瞳孔位置、眼動(dòng)坐標(biāo)系與虛擬現(xiàn)實(shí)圖像坐標(biāo)系的關(guān)系確定虛擬現(xiàn)實(shí)眼睛的顯示屏上眼睛注視的焦點(diǎn)，這個(gè)焦點(diǎn)是根據(jù)單眼的瞳孔位置確定的焦點(diǎn)，雙眼的焦點(diǎn)在看一個(gè)物體的時(shí)候?qū)崿F(xiàn)會(huì)交叉，交叉點(diǎn)就落在焦點(diǎn)物體上，所以這里單眼就足夠了。

最后，根據(jù)該焦點(diǎn)沿著與虛擬現(xiàn)實(shí)顯示屏垂直的方向向虛擬環(huán)境中延伸，遇到的第一個(gè)物體為需要確定的虛擬物體，虛擬物體與虛擬現(xiàn)實(shí)中三維場(chǎng)景的攝像機(jī)中心點(diǎn)之間的z方向上的距離為虛擬距離。

s04，主機(jī)根據(jù)虛擬距離d和眼睛運(yùn)動(dòng)模式激活與該虛擬距離對(duì)應(yīng)的用戶(hù)界面的交互方式與用戶(hù)界面的內(nèi)容顯示。

本步驟具體為：

當(dāng)d≥3000mm時(shí)，采用如圖2所示的用戶(hù)界面懸浮于虛擬物體中心點(diǎn)位置上方空中的呈現(xiàn)方式；此時(shí)，用戶(hù)界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶(hù)界面的寬為w/4，高為h/4，用戶(hù)界面的交互內(nèi)容為物體的標(biāo)記信息，字體大小為80px(目前虛擬現(xiàn)實(shí)設(shè)備中文字最小像素大小為14px，最佳為20px)；當(dāng)用戶(hù)頭部和眼睛運(yùn)動(dòng)均保持靜止達(dá)1秒時(shí)，(通過(guò)判斷用戶(hù)眼動(dòng)軌跡實(shí)現(xiàn))，保持用戶(hù)界面的中心位置不變，動(dòng)態(tài)持續(xù)放大用戶(hù)界面的尺寸至原來(lái)的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/8，同時(shí)交互內(nèi)容增多；當(dāng)用戶(hù)頭部或眼睛恢復(fù)移動(dòng)，則自動(dòng)縮小用戶(hù)界面至原來(lái)尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)1500mm≤d＜3000mm時(shí)，采用如圖3所示的用戶(hù)界面半結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶(hù)界面的一側(cè)邊與虛擬物體相連；此時(shí)，用戶(hù)界面尺寸為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/32，用戶(hù)界面的寬為w/4，高為h/8，用戶(hù)界面的交互內(nèi)容為物體的標(biāo)記信息與簡(jiǎn)略的介紹文本、圖片以及視頻，字體大小為40px；當(dāng)用戶(hù)頭部和眼睛運(yùn)動(dòng)均保持靜止達(dá)1秒時(shí)，保持用戶(hù)界面的中心位置不變，動(dòng)態(tài)持續(xù)放大用戶(hù)界面的尺寸至原來(lái)的2倍，使之成為虛擬現(xiàn)實(shí)眼鏡中顯示屏的1/16，即用戶(hù)界面的寬為w/4，高為h/4，同時(shí)交互內(nèi)容增多；當(dāng)用戶(hù)的頭部或者眼睛恢復(fù)運(yùn)動(dòng)，則自動(dòng)縮小用戶(hù)界面至原來(lái)尺寸，交互內(nèi)容也恢復(fù)至初始狀態(tài)；

當(dāng)d＜1500mm時(shí)，采用如圖4所示的用戶(hù)界面完全結(jié)合于虛擬物體的呈現(xiàn)方式，即用戶(hù)界面的平面完全投影在虛擬物體的表面上；此時(shí)，用戶(hù)界面尺寸為注視焦點(diǎn)所在的物體表面的大小(即最大內(nèi)切矩形)，用戶(hù)界面交互內(nèi)容為物體的標(biāo)記信息、詳細(xì)的文本、圖片以及視頻；字體大小為20px；當(dāng)用戶(hù)頭部和眼動(dòng)運(yùn)動(dòng)均保持靜止達(dá)1秒時(shí)，動(dòng)態(tài)更新一次用戶(hù)界面中的內(nèi)容(也包括加載顯示視頻)；當(dāng)用戶(hù)的頭部或者眼睛恢復(fù)運(yùn)動(dòng)，則交互內(nèi)容自動(dòng)恢復(fù)至初始狀態(tài)。

以上所述的具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案和有益效果進(jìn)行了詳細(xì)說(shuō)明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補(bǔ)充和等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。