背景

立體顯示器可同時(shí)向查看者的左眼和右眼呈現(xiàn)圖像。通過將同一對(duì)象的不同視圖呈現(xiàn)在右眼和左眼視野中的不同位置處，對(duì)該對(duì)象的三維感知可被實(shí)現(xiàn)。而且，所感知到的對(duì)象的現(xiàn)實(shí)世界位置可以隨著立體顯示器的用戶在環(huán)境中到處移動(dòng)而被調(diào)整。

概述

提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。

呈現(xiàn)了以用戶的視野為函數(shù)定位增強(qiáng)現(xiàn)實(shí)對(duì)象的各示例。在一個(gè)示例中，一種可穿戴、頭戴式顯示系統(tǒng)包括近眼顯示器和控制器，近眼顯示器顯示由頭戴式顯示系統(tǒng)的佩戴者在外觀現(xiàn)實(shí)世界深度和外觀現(xiàn)實(shí)世界位置處可感知到的增強(qiáng)現(xiàn)實(shí)對(duì)象，而控制器以佩戴者的視野(fov)為函數(shù)調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置，所述函數(shù)基于增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域以及在增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域和佩戴者的fov之間的一個(gè)或多個(gè)重疊參數(shù)。

附圖簡(jiǎn)述

圖1示出包括佩戴近眼、透視顯示設(shè)備的用戶的示例環(huán)境。

圖2a-2c示出了可以被應(yīng)用到增強(qiáng)現(xiàn)實(shí)對(duì)象的經(jīng)修改的身體鎖定函數(shù)的示例方面。

圖3是示出用于顯示增強(qiáng)現(xiàn)實(shí)對(duì)象的方法的流程圖。

圖4是示出根據(jù)虛擬彈簧函數(shù)的增強(qiáng)現(xiàn)實(shí)對(duì)象的示例移動(dòng)的圖示。

圖5-8是示出以用戶的視野為函數(shù)對(duì)增強(qiáng)現(xiàn)實(shí)對(duì)象的各種示例調(diào)整的圖示。

圖9示出示例計(jì)算系統(tǒng)。

圖10a和10b示出示例頭戴式顯示設(shè)備。

詳細(xì)描述

近眼顯示設(shè)備可以被配置為顯示增強(qiáng)現(xiàn)實(shí)圖像以提供增強(qiáng)現(xiàn)實(shí)對(duì)象存在于圍繞近眼顯示設(shè)備的現(xiàn)實(shí)世界環(huán)境中的幻影(有時(shí)稱為全息圖)。在一些示例中，增強(qiáng)現(xiàn)實(shí)對(duì)象可以是“世界鎖定”的，在其中即使當(dāng)顯示設(shè)備的佩戴者在現(xiàn)實(shí)世界物理環(huán)境中到處移動(dòng)，增強(qiáng)現(xiàn)實(shí)對(duì)象仍然維持固定的感知到的現(xiàn)實(shí)世界位置。由于設(shè)備的佩戴者可能難以記住這樣的世界鎖定的對(duì)象位于現(xiàn)實(shí)世界空間中的哪里，因此所述對(duì)象對(duì)于佩戴者來說是難以交互的。這個(gè)問題在當(dāng)增強(qiáng)現(xiàn)實(shí)對(duì)象是用戶界面元素(例如菜單、控制按鍵等)時(shí)尤為具有挑戰(zhàn)性，因?yàn)榭赡馨l(fā)生與所述對(duì)象的頻繁交互。

根據(jù)在此所公開的實(shí)施例，感知到的所選增強(qiáng)現(xiàn)實(shí)對(duì)象的現(xiàn)實(shí)世界位置可以隨近眼顯示設(shè)備的佩戴者的視野(fov)的改變而被調(diào)整。所選擇的增強(qiáng)現(xiàn)實(shí)對(duì)象可以具有相關(guān)聯(lián)的函數(shù)以及重疊參數(shù)，所述函數(shù)定義了要顯示的增強(qiáng)現(xiàn)實(shí)對(duì)象的感興趣的目標(biāo)區(qū)域，所述重疊參數(shù)定義了當(dāng)佩戴者的fov正在移動(dòng)以及當(dāng)fov相對(duì)穩(wěn)定時(shí)感興趣的目標(biāo)區(qū)域中有多少要被顯示。當(dāng)fov改變時(shí)增強(qiáng)現(xiàn)實(shí)對(duì)象的移動(dòng)可以由虛擬彈簧來控制，所述虛擬彈簧允許當(dāng)fov少量改變時(shí)增強(qiáng)現(xiàn)實(shí)對(duì)象停留在相對(duì)穩(wěn)定的位置，并且隨后當(dāng)fov移動(dòng)達(dá)更大量時(shí)沿fov快速拉動(dòng)所述增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣，即使設(shè)備的佩戴者在現(xiàn)實(shí)世界空間中到處移動(dòng)，增強(qiáng)現(xiàn)實(shí)對(duì)象的至少一部分還是可以很容易地被佩戴者訪問。

圖1示出在其中用戶102佩戴近眼、透視顯示設(shè)備(在此實(shí)現(xiàn)為頭戴式顯示器(hmd)104)的示例環(huán)境100。hmd為用戶102提供了環(huán)境100的透視視圖。hmd還將增強(qiáng)現(xiàn)實(shí)圖像顯示給用戶。在一個(gè)示例中，hmd是立體顯示設(shè)備，在其中兩個(gè)分開的增強(qiáng)現(xiàn)實(shí)圖像中的每個(gè)被顯示在hmd的相應(yīng)的左眼和右眼顯示器上。當(dāng)由hmd的佩戴者(例如用戶102)觀看時(shí)，這兩個(gè)增強(qiáng)現(xiàn)實(shí)圖像共同形成可作為環(huán)境100的一部分由佩戴者感知的一個(gè)增強(qiáng)現(xiàn)實(shí)對(duì)象。圖1描述了示例增強(qiáng)現(xiàn)實(shí)對(duì)象106，在此描述為包括虛擬顯示器和控制按鍵的視頻會(huì)議界面?？梢岳斫馑枋龅脑鰪?qiáng)現(xiàn)實(shí)對(duì)象對(duì)于環(huán)境100中的其它人是不可見的，并且該增強(qiáng)現(xiàn)實(shí)對(duì)象可以僅由用戶102通過hmd104看見。

hmd104可以顯示增強(qiáng)現(xiàn)實(shí)圖像，以便所感知的增強(qiáng)現(xiàn)實(shí)對(duì)象是身體鎖定和/或世界鎖定的。身體鎖定的增強(qiáng)現(xiàn)實(shí)對(duì)象隨著hmd104的6自由度姿態(tài)(即6dof：x、y、z、俯仰、偏航、滾轉(zhuǎn))的改變而移動(dòng)。這樣，即使用戶移動(dòng)、轉(zhuǎn)向等，身體鎖定的增強(qiáng)現(xiàn)實(shí)對(duì)象看起來占據(jù)了用戶102的視野的相同部分，并且看起來在距離用戶102的相同距離處。

另一方面，世界鎖定的增強(qiáng)現(xiàn)實(shí)對(duì)象看起來相對(duì)于周圍環(huán)境保持在固定位置中。即使當(dāng)用戶移動(dòng)并且用戶的視角改變，世界鎖定的增強(qiáng)現(xiàn)實(shí)對(duì)象將看起來相對(duì)于周圍環(huán)境處于相同的位置/朝向。作為一個(gè)示例，無論用戶從哪個(gè)有利視點(diǎn)觀看國(guó)際象棋棋盤，增強(qiáng)現(xiàn)實(shí)的棋子可以看起來在現(xiàn)實(shí)世界棋盤上的相同的方格中。為了支持世界鎖定的增強(qiáng)現(xiàn)實(shí)對(duì)象，hmd可以跟蹤hmd的6dof姿態(tài)以及周圍環(huán)境的各表面方面的幾何映射/建模

如在圖1中所示，用戶102當(dāng)前正與增強(qiáng)現(xiàn)實(shí)對(duì)象106完全交互，并且這樣，增強(qiáng)現(xiàn)實(shí)對(duì)象以針對(duì)該增強(qiáng)現(xiàn)實(shí)對(duì)象的函數(shù)優(yōu)化了的大小和位置被顯示在所示的示例中，增強(qiáng)現(xiàn)實(shí)對(duì)象是視頻會(huì)議界面，并且這樣，增強(qiáng)現(xiàn)實(shí)對(duì)象被定位在用戶的fov的中心附近且以允許用戶很容易地可視化虛擬顯示和控制按鍵的大小被定位

然而，如果用戶想要在環(huán)境100中四處走動(dòng)，那么維持所述增強(qiáng)現(xiàn)實(shí)對(duì)象在視野的中心和/或這樣的相對(duì)大的大小可能遮蔽所述環(huán)境中存在的現(xiàn)實(shí)世界對(duì)象，分散了用戶對(duì)他或她可能期望執(zhí)行的其它任務(wù)的注意力，或引起其它問題。如果增強(qiáng)現(xiàn)實(shí)對(duì)象還是保持被鎖定到其當(dāng)前感知到的現(xiàn)實(shí)世界位置，那么如果用戶離開該環(huán)境則該用戶可能難以在稍后時(shí)間訪問該增強(qiáng)現(xiàn)實(shí)對(duì)象。

根據(jù)本公開，增強(qiáng)現(xiàn)實(shí)對(duì)象106可以根據(jù)經(jīng)修改的身體鎖定函數(shù)被移動(dòng)，這樣，增強(qiáng)現(xiàn)實(shí)對(duì)象的至少一部分保持被系鏈到用戶的fov內(nèi)的給定位置。如此處所用的，術(shù)語“用戶的fov”可以意指用戶的實(shí)際視野，或其可以意指用戶通過顯示器的視野，即顯示器的視野。在一些示例中，fov可以意指用戶的fov和顯示器的fov中的較小的一個(gè)。

可以根據(jù)虛擬彈簧函數(shù)來控制系鏈以允許當(dāng)用戶的fov正改變達(dá)相對(duì)小的量時(shí)將對(duì)象保持在相同的外觀現(xiàn)實(shí)世界位置中，并且隨后當(dāng)fov改變達(dá)更大的量時(shí)移動(dòng)該對(duì)象。當(dāng)用戶的fov改變達(dá)相對(duì)大的量時(shí)，該對(duì)象的移動(dòng)可被控制以便該對(duì)象的大部分或全部保留在fov中，僅一部分保留在fov中或沒有對(duì)象保留在fov中。當(dāng)fov停止改變(例如用戶的頭變得靜止時(shí))，對(duì)象可以被放置回fov中，但是是以更小的大小、更小的比例和/或在fov外圍中的位置處。當(dāng)對(duì)象在用戶的fov之外時(shí)，該對(duì)象可以仍然被系鏈到該fov，這樣，即使該對(duì)象目前不被顯示但該對(duì)象的外觀現(xiàn)實(shí)世界位置仍然被更新。

盡管上述示例是關(guān)于近眼、透視顯示系統(tǒng)來描述的，應(yīng)該理解在此所述的示例不局限于透視顯示系統(tǒng)，因?yàn)槠渌渲檬强赡艿摹＠?，將虛擬或增強(qiáng)現(xiàn)實(shí)對(duì)象系鏈到用戶的fov可以通過從附連的數(shù)碼相機(jī)到合成有虛擬數(shù)字內(nèi)容的封閉屏幕的二次投影在非透視顯示器上被執(zhí)行。在另一個(gè)示例中，所述系鏈可以在完全的虛擬現(xiàn)實(shí)系統(tǒng)上被執(zhí)行，在其中虛擬現(xiàn)實(shí)對(duì)象與現(xiàn)實(shí)世界或虛擬環(huán)境的視頻饋源一起被呈現(xiàn)。

如上所解釋地，增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界的位置可以以顯示設(shè)備的佩戴者的fov為函數(shù)而被調(diào)整。該函數(shù)可以基于各種參數(shù)，包括增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域以及在fov和增強(qiáng)現(xiàn)實(shí)對(duì)象之間的一個(gè)或多個(gè)重疊參數(shù)。圖2a-2c示出了示例邊界區(qū)域和兩個(gè)重疊參數(shù)，它們可以被應(yīng)用到圖1的增強(qiáng)現(xiàn)實(shí)對(duì)象106，以便在用戶的fov改變和fov保持相對(duì)穩(wěn)定這兩種情況下顯示增強(qiáng)現(xiàn)實(shí)對(duì)象的期望部分。

首先參考圖2a，增強(qiáng)現(xiàn)實(shí)對(duì)象106包括相關(guān)聯(lián)的邊界區(qū)域202。邊界區(qū)域202定義了增強(qiáng)現(xiàn)實(shí)對(duì)象的感興趣的目標(biāo)區(qū)域，fov包括計(jì)算可以基于該區(qū)域。例如，fov包括可以被設(shè)定成使得當(dāng)用戶沒有主動(dòng)與增強(qiáng)現(xiàn)實(shí)對(duì)象交互時(shí)邊界區(qū)域的全部將被顯示，但在邊界區(qū)域之外的區(qū)域則可以被允許移動(dòng)到fov之外。在所示的示例中，邊界區(qū)域202包括虛擬顯示器的一部分，在該部分中顯示了視頻會(huì)議的遠(yuǎn)程用戶。

在一些示例中，邊界區(qū)域可以是與增強(qiáng)現(xiàn)實(shí)對(duì)象相同的大小和形狀。就是說，邊界區(qū)域可以包括增強(qiáng)現(xiàn)實(shí)對(duì)象的全部，這樣在邊界區(qū)域中并沒有忽略增強(qiáng)現(xiàn)實(shí)對(duì)象的任何方面。在其它示例中，邊界區(qū)域可以包括在面積或體積方面小于增強(qiáng)現(xiàn)實(shí)對(duì)象的空間，如所示。在再一些示例中，邊界區(qū)域可以包括在面積或體積方面大于增強(qiáng)現(xiàn)實(shí)對(duì)象的空間。

可以為每個(gè)增強(qiáng)現(xiàn)實(shí)對(duì)象或?yàn)樵鰪?qiáng)現(xiàn)實(shí)對(duì)象的各個(gè)類個(gè)別定義邊界區(qū)域。邊界區(qū)域可以被顯式地定義為固定的面積/體積，或邊界區(qū)域可以被定義為相對(duì)于增強(qiáng)現(xiàn)實(shí)對(duì)象成比例的大小。

除了邊界區(qū)域，一個(gè)或多個(gè)重疊參數(shù)可以規(guī)定增強(qiáng)現(xiàn)實(shí)對(duì)象在fov內(nèi)的放置。圖2b示出移動(dòng)最小重疊參數(shù)204，其定義了當(dāng)fov改變達(dá)相對(duì)大的量時(shí)在邊界區(qū)域和fov之間的重疊。在一些示例中，可以在僅當(dāng)所顯示的增強(qiáng)現(xiàn)實(shí)對(duì)象開始退出fov時(shí)才應(yīng)用最小重疊參數(shù)。最小重疊參數(shù)可以被定義為邊界區(qū)域沿一個(gè)或多個(gè)軸的百分比。最小重疊參數(shù)可以是比邊界區(qū)域更小的(沿一個(gè)或多個(gè)軸小于100％)，更大的(沿一個(gè)或多個(gè)軸大于100％)或相同的大小(沿一個(gè)或多個(gè)軸為100％)。

最小重疊參數(shù)可以是正值或負(fù)值。當(dāng)最小重疊參數(shù)是正值時(shí)，增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域的至少一部分在fov改變時(shí)仍保留在fov中。然而，當(dāng)最小重疊參數(shù)是負(fù)值時(shí)，邊界區(qū)域不保留在fov中，并且因此，在一些示例中，這可以包括沒有增強(qiáng)現(xiàn)實(shí)對(duì)象被顯示給用戶。例如，x軸的最小重疊參數(shù)負(fù)100％將允許邊界區(qū)域移動(dòng)到視野之外達(dá)邊界區(qū)域的x軸維度的100％。

如在圖2b中所示，最小重疊參數(shù)204在x軸中設(shè)定為邊界區(qū)域的50％，且在y軸中設(shè)定為邊界區(qū)域的100％。因此，當(dāng)用戶的fov改變并且增強(qiáng)現(xiàn)實(shí)對(duì)象開始退出fov時(shí)，在x軸中邊界區(qū)域的至少50％被顯示，而在y軸中邊界區(qū)域的100％被顯示。在x軸中被顯示的邊界區(qū)域的50％依賴于fov改變的方式。例如，當(dāng)用戶向右看時(shí)，fov的左邊緣將看起來推動(dòng)增強(qiáng)現(xiàn)實(shí)對(duì)象并將邊界區(qū)域的寬度的右邊50％保持在fov中。該場(chǎng)景在圖2b中示出。然而，如果用戶向左看，fov的右邊緣將看起來推動(dòng)增強(qiáng)現(xiàn)實(shí)對(duì)象并將邊界區(qū)域的寬度的左邊50％保持在fov中。在圖2b中所示的最小重疊參數(shù)在本質(zhì)上是示例性的，并且其它最小重疊參數(shù)值是可能的。

圖2c示出靜止目標(biāo)重疊參數(shù)208，其定義了當(dāng)fov沒有改變或改變達(dá)相對(duì)小的量時(shí)(例如，當(dāng)用戶的頭變得靜止時(shí)或當(dāng)fov改變但不足以引起邊界區(qū)域移動(dòng)到fov之外時(shí))在邊界區(qū)域和fov之間的重疊。在所示的示例中，目標(biāo)重疊參數(shù)208大于最小重疊參數(shù)204，且在x軸中為邊界區(qū)域的120％，且在y軸中為邊界區(qū)域的120％。當(dāng)根據(jù)目標(biāo)重疊參數(shù)208被顯示在fov206中時(shí)，邊界區(qū)域202的全部都被顯示。而且，超出邊界區(qū)域的尺寸的附加重疊提供了圍繞邊界區(qū)域的增強(qiáng)現(xiàn)實(shí)對(duì)象的附加空間的顯示。類似于最小重疊參數(shù)，目標(biāo)重疊參數(shù)可以是正值(如所示)或負(fù)值，這樣，邊界區(qū)域被顯示在fov內(nèi)或不被顯示在fov內(nèi)。

在圖2b和2c所示出的示例中，當(dāng)用戶將他的頭部向右轉(zhuǎn)時(shí)，邊界區(qū)域的x軸的50％可以被顯示。當(dāng)用戶的頭部停止轉(zhuǎn)動(dòng)時(shí)，增強(qiáng)現(xiàn)實(shí)設(shè)備可以從使用移動(dòng)最小重疊參數(shù)204切換至使用目標(biāo)重疊參數(shù)208。這樣，即使在fov停止改變之后，增強(qiáng)現(xiàn)實(shí)對(duì)象還將繼續(xù)移動(dòng)。

增強(qiáng)現(xiàn)實(shí)對(duì)象可以根據(jù)虛擬彈簧函數(shù)的一個(gè)或多個(gè)彈簧參數(shù)來移動(dòng)。彈簧參數(shù)的非限制性示例包括彈簧常數(shù)和阻尼因子。例如，彈簧常數(shù)可以規(guī)定增強(qiáng)現(xiàn)實(shí)對(duì)象相對(duì)于fov移動(dòng)有多剛性。低彈簧常數(shù)將允許在fov快速改變時(shí)增強(qiáng)現(xiàn)實(shí)對(duì)象伸展到fov之外更遠(yuǎn)處。高彈簧常數(shù)將使得增強(qiáng)現(xiàn)實(shí)對(duì)象保持得更接近于由邊界區(qū)域和重疊參數(shù)所確定的位置。高阻尼因子將防止在快速改變的fov停止改變時(shí)的增強(qiáng)現(xiàn)實(shí)對(duì)象的振蕩。高阻尼因子還將減少增強(qiáng)現(xiàn)實(shí)在fov變得靜止時(shí)在非移動(dòng)的fov中進(jìn)行穩(wěn)定化所花費(fèi)的時(shí)間量。低阻尼因子將允許振蕩并且不會(huì)使得增強(qiáng)現(xiàn)實(shí)對(duì)象在fov中快速穩(wěn)定化。

現(xiàn)在轉(zhuǎn)向圖3，示出了用于顯示增強(qiáng)現(xiàn)實(shí)對(duì)象的方法300。方法300可以在可穿戴、頭戴式顯示系統(tǒng)中實(shí)現(xiàn)，例如如上所述的圖1的hmd104或如下所述的圖10a中的頭戴式顯示系統(tǒng)1000。

在302，方法300包括獲得要在顯示系統(tǒng)上顯示的增強(qiáng)現(xiàn)實(shí)對(duì)象。增強(qiáng)現(xiàn)實(shí)對(duì)象可以包括任何合適的增強(qiáng)現(xiàn)實(shí)內(nèi)容并且可以被顯示為圖形用戶界面、游戲、向?qū)Щ蜉o助系統(tǒng)或任何合適的增強(qiáng)或沉浸式環(huán)境的一部分。增強(qiáng)現(xiàn)實(shí)對(duì)象可以響應(yīng)于用戶輸入、執(zhí)行游戲或其它內(nèi)容的預(yù)定順序或其它合適的動(dòng)作從遠(yuǎn)程服務(wù)、從顯示系統(tǒng)的存儲(chǔ)器、或其它合適的源獲得。增強(qiáng)現(xiàn)實(shí)對(duì)象可以包括幾何參數(shù)(例如定義增強(qiáng)現(xiàn)實(shí)對(duì)象的形狀的三維頂點(diǎn))、紋理和/或其它方面。增強(qiáng)現(xiàn)實(shí)對(duì)象可以被保存為合適的數(shù)據(jù)結(jié)構(gòu)的任意組合。在一些示例中，增強(qiáng)現(xiàn)實(shí)對(duì)象可以被用于呈現(xiàn)右眼和左眼增強(qiáng)現(xiàn)實(shí)圖像，每個(gè)圖像被配置為被顯示在顯示系統(tǒng)的相應(yīng)的右眼和左眼顯示器上。

在304，該方法包括確定增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域、一個(gè)或多個(gè)重疊參數(shù)和/或虛擬彈簧函數(shù)。如上關(guān)于圖2a-2c所解釋地，邊界區(qū)域和重疊參數(shù)協(xié)作定義了增強(qiáng)現(xiàn)實(shí)對(duì)象的要被顯示的空間(2d面積或3d體積)。虛擬彈簧函數(shù)可以定義邊界區(qū)域相對(duì)于fov的移動(dòng)。邊界區(qū)域、重疊參數(shù)和/或虛擬彈簧函數(shù)可以以任何合適的方式與增強(qiáng)現(xiàn)實(shí)對(duì)象相關(guān)聯(lián)。作為一個(gè)示例，這些參數(shù)可以被保存為可以被訪問的變量，同時(shí)呈現(xiàn)增強(qiáng)現(xiàn)實(shí)場(chǎng)景。

在306處，增強(qiáng)現(xiàn)實(shí)對(duì)象被顯示在默認(rèn)外觀現(xiàn)實(shí)世界位置處。例如，增強(qiáng)現(xiàn)實(shí)對(duì)象可以包括相對(duì)于用戶或相對(duì)于現(xiàn)實(shí)世界的默認(rèn)位置，在該處可以顯示該增強(qiáng)現(xiàn)實(shí)對(duì)象以供用戶交互。這可以包括默認(rèn)外觀現(xiàn)實(shí)世界深度。而且，增強(qiáng)現(xiàn)實(shí)對(duì)象可以以默認(rèn)大小被顯示。另外，在一些示例中，增強(qiáng)現(xiàn)實(shí)對(duì)象將以外觀現(xiàn)實(shí)世界位置、外觀現(xiàn)實(shí)世界深度和根據(jù)用戶輸入的大小中的一個(gè)或多個(gè)被顯示。

在308，方法300包括以用戶的fov為函數(shù)來調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置。所述調(diào)整可以包括以fov為函數(shù)來調(diào)整外觀現(xiàn)實(shí)世界位置，其中所述函數(shù)基于邊界區(qū)域和一個(gè)或多個(gè)重疊參數(shù)，如在310處所示。而且，所述調(diào)整可以包括進(jìn)一步基于虛擬彈簧函數(shù)調(diào)整所述對(duì)象的外觀現(xiàn)實(shí)世界位置，如在312處所示。

為了以用戶的fov為函數(shù)來調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置，顯示系統(tǒng)可以首先基于來自顯示系統(tǒng)的一個(gè)或多個(gè)圖像傳感器和/或位置傳感器的反饋確定用戶的fov。顯示系統(tǒng)可以隨后確定fov是否已經(jīng)移動(dòng)達(dá)至少一個(gè)閾值量。在一個(gè)示例中，所述閾值可以為零，這樣顯示系統(tǒng)可以確定fov是否發(fā)生了絲毫改變。在其它示例中，閾值可以是大于零的預(yù)定量，例如5或10％。在又一些示例中，閾值可以基于增強(qiáng)現(xiàn)實(shí)對(duì)象相對(duì)于fov的一個(gè)或多個(gè)邊界的初始位置。例如，顯示系統(tǒng)可以只有當(dāng)增強(qiáng)現(xiàn)實(shí)對(duì)象開始退出fov時(shí)才指示fov已經(jīng)移動(dòng)了至少所述閾值量。其他閾值是可能的。如果fov已經(jīng)移動(dòng)了至少閾值量，顯示系統(tǒng)可以根據(jù)與增強(qiáng)現(xiàn)實(shí)對(duì)象相關(guān)聯(lián)的邊界區(qū)域以及所述一個(gè)或多個(gè)重疊參數(shù)來顯示所述增強(qiáng)現(xiàn)實(shí)對(duì)象，如上參考圖2b所解釋的。而且，根據(jù)一個(gè)或多個(gè)彈簧參數(shù)，增強(qiáng)現(xiàn)實(shí)對(duì)象可以變得就好像被系鏈到彈簧那樣移動(dòng)。在一些實(shí)現(xiàn)中，彈簧參數(shù)不被允許違背由邊界區(qū)域和重疊參數(shù)所建立的條件。換句話說，最小重疊是不能被違背的硬性最小值(hardminimum)。在其它實(shí)現(xiàn)中，彈簧參數(shù)被允許使得重疊被違背(例如當(dāng)fov快速改變時(shí)增強(qiáng)現(xiàn)實(shí)對(duì)象伸展到fov之外更遠(yuǎn)處)。一旦fov停止改變(例如用戶的頭部變得靜止)，可以根據(jù)虛擬彈簧函數(shù)和目標(biāo)重疊參數(shù)中的一個(gè)或多個(gè)將邊界區(qū)域顯示在外觀現(xiàn)實(shí)世界位置處。然而，取決于虛擬彈簧函數(shù)的阻尼因子，在穩(wěn)定在所指定的位置處之前邊界區(qū)域可以臨時(shí)地“超調(diào)”(over-shoot)由目標(biāo)重疊參數(shù)所指定的外觀現(xiàn)實(shí)世界位置。在目標(biāo)重疊參數(shù)定義了一旦增強(qiáng)現(xiàn)實(shí)對(duì)象被顯示在穩(wěn)定位置處則少于全部的增強(qiáng)現(xiàn)實(shí)對(duì)象被顯示的一些示例中，響應(yīng)于用戶輸入(例如用戶盯著增強(qiáng)現(xiàn)實(shí)對(duì)象)，增強(qiáng)現(xiàn)實(shí)對(duì)象的全部可以被顯示。

盡管在上述示例中邊界區(qū)域被定義為包括增強(qiáng)現(xiàn)實(shí)對(duì)象的空間，但在一些示例中邊界區(qū)域可能不包括增強(qiáng)現(xiàn)實(shí)對(duì)象的一些或全部的精確版本，而是代之以可包括突出了增強(qiáng)現(xiàn)實(shí)對(duì)象的內(nèi)容以便用戶能夠標(biāo)識(shí)增強(qiáng)現(xiàn)實(shí)對(duì)象的增強(qiáng)現(xiàn)實(shí)對(duì)象的表示，例如圖像、圖標(biāo)、菜單欄等。

圖4是示出根據(jù)虛擬彈簧函數(shù)的增強(qiáng)現(xiàn)實(shí)對(duì)象的示例移動(dòng)序列的圖示400。圖示400包括顯示一系列時(shí)間點(diǎn)(例如t0-t4)的時(shí)間線402和示出在環(huán)境中的用戶(例如圖1的環(huán)境100中的用戶102)的視野406(由虛線標(biāo)定)的相關(guān)聯(lián)的俯視圖404。根據(jù)虛擬彈簧函數(shù)，增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域408被顯示在fov406內(nèi)。盡管在圖4中的俯視圖示出了可見的彈簧，但應(yīng)該理解所述彈簧僅是出于說明性目的而可見，并且顯示系統(tǒng)不需要顯示彈簧。

在時(shí)間t0，彈簧在其停止位置中，在那沒有力作用在該彈簧上。彈簧被錨定到相對(duì)于fov的一位置處，在此被描述為沿著fov的左邊界。因此，邊界區(qū)域408被定位成與錨位置間隔開第一距離d1。在時(shí)間t1，fov開始向左移動(dòng)，并且因此錨開始移動(dòng)。然而，彈簧伸展，導(dǎo)致邊界區(qū)域保留在相同的外觀現(xiàn)實(shí)世界位置處。邊界區(qū)域現(xiàn)在被定位成與錨位置間隔開大于第一距離的第二距離d2。彈簧的伸展量可以由彈簧常數(shù)，fov改變的速率以及被分配給該增強(qiáng)現(xiàn)實(shí)對(duì)象的虛擬慣性來確定。

如在時(shí)間t2處所示，fov保持向左移動(dòng)，彈簧達(dá)到更大的伸展程度，并且邊界區(qū)域沿fov移動(dòng)。這樣，邊界區(qū)域與錨位置間隔開相同的距離d2，但邊界區(qū)域被定位在比在時(shí)間t0和t1時(shí)更加靠左的外觀現(xiàn)實(shí)世界位置處。例如，在時(shí)間t0和t1，邊界區(qū)域被定位成相對(duì)靠近環(huán)境中的墻壁；在時(shí)間t2，其平移離開墻壁。

在時(shí)間t3，fov停止移動(dòng)。然而，彈簧繼續(xù)壓縮，使得邊界區(qū)域保持向左移動(dòng)。錨位置和邊界區(qū)域間隔開第三距離d3，該距離小于第一和第二距離。到時(shí)間t4，彈簧恢復(fù)到其松弛狀態(tài)，并且邊界區(qū)域距離錨位置的距離與在時(shí)間t0時(shí)的距離相同(d1)。

圖5示出說明了在時(shí)間t0、t1,、t2和t3處從用戶的視角通過hmd(例如圖1的hmd104)的包括增強(qiáng)現(xiàn)實(shí)對(duì)象504的示例視圖502的時(shí)間線的另一圖示500。增強(qiáng)現(xiàn)實(shí)對(duì)象504可以在時(shí)間t0處是針對(duì)墻壁506世界鎖定的。圖5還示出了顯示在環(huán)境514中的用戶512的視野510的俯視圖508。在時(shí)間t1和t2，用戶512向右轉(zhuǎn)動(dòng)他的頭，并且可以不再看見在其原始世界鎖定位置中的增強(qiáng)現(xiàn)實(shí)對(duì)象504。然而，如在俯視圖508中所示，在時(shí)間t1和t2，由于增強(qiáng)現(xiàn)實(shí)對(duì)象具有負(fù)最小重疊參數(shù)值，增強(qiáng)現(xiàn)實(shí)對(duì)象的位置516被動(dòng)態(tài)更新為正好停留在視野510之外。在時(shí)間t3，用戶512將其頭部向左轉(zhuǎn)回，這樣視野510包括經(jīng)更新的位置516。而且，如在時(shí)間t3處的視圖502中所示，在經(jīng)更新的位置516處顯示增強(qiáng)現(xiàn)實(shí)圖像。

當(dāng)用戶向著經(jīng)動(dòng)態(tài)定位的增強(qiáng)現(xiàn)實(shí)對(duì)象回瞥時(shí)，該動(dòng)態(tài)定位的增強(qiáng)現(xiàn)實(shí)對(duì)象可以被動(dòng)態(tài)地放置在合適的深度以供方便使用。例如，基于當(dāng)前上下文(例如應(yīng)用場(chǎng)景)增強(qiáng)現(xiàn)實(shí)對(duì)象可以被推回到最近的現(xiàn)實(shí)世界物理表面或上拉到可配置的深度。圖5示出在其中增強(qiáng)現(xiàn)實(shí)對(duì)象504被推回到最近的物理表面(在此情形中為墻壁518)的示例。

圖6示出通過hmd的示例視圖602和對(duì)應(yīng)的俯視圖604的時(shí)間線的另一個(gè)圖示600。圖示600包括在圖5中所示的相同的增強(qiáng)現(xiàn)實(shí)對(duì)象504和相同的環(huán)境514以及相同的用戶512移動(dòng)的視圖。然而，在圖6中，增強(qiáng)現(xiàn)實(shí)對(duì)象504具有正最小重疊參數(shù)值。因此，如在時(shí)間t1和t2處所見，增強(qiáng)現(xiàn)實(shí)對(duì)象部分停留在用戶512的fov510內(nèi)。

如先前所述，增強(qiáng)現(xiàn)實(shí)對(duì)象可以被放置在期望的外觀現(xiàn)實(shí)世界深度處，例如在圖5和6中所示的時(shí)間線中，增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界深度被調(diào)整以便其看起來被抵靠墻壁放置。當(dāng)深度被自動(dòng)調(diào)整時(shí)，增強(qiáng)現(xiàn)實(shí)對(duì)象或增強(qiáng)現(xiàn)實(shí)對(duì)象的各方面可以根據(jù)固定的角度大小被動(dòng)態(tài)縮放，以便無論增強(qiáng)現(xiàn)實(shí)對(duì)象在其處被顯示的外觀現(xiàn)實(shí)世界距離如何，該增強(qiáng)現(xiàn)實(shí)對(duì)象或其各方面看起來都占據(jù)了用戶的視野的相同比例。作為示例，在垂直表面上距離用戶5英尺畫出的水平線可以占據(jù)0.95度垂直角展度并且水平線在世界空間坐標(biāo)中可以看上去為1英寸高；當(dāng)相同的線被畫在垂直表面距離用戶十英尺處時(shí)，線可以仍然占據(jù)0.95度垂直角展度但在世界空間坐標(biāo)中看上去為2英寸高。以此方式，增強(qiáng)現(xiàn)實(shí)對(duì)象可以貫穿增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界深度的范圍以用戶的fov的固定比例被維持。

當(dāng)用戶回瞥并觀看在新的經(jīng)動(dòng)態(tài)調(diào)整的位置中的增強(qiáng)現(xiàn)實(shí)對(duì)象時(shí)，該動(dòng)態(tài)定位的增強(qiáng)現(xiàn)實(shí)對(duì)象可以被動(dòng)態(tài)地縮放以看起來更小。作為示例，圖7示出當(dāng)用戶回瞥經(jīng)更新位置516時(shí)具有經(jīng)減小的大小的增強(qiáng)現(xiàn)實(shí)對(duì)象504′。

如果增強(qiáng)現(xiàn)實(shí)對(duì)象被縮放，可以響應(yīng)于用戶觸發(fā)(例如注視增強(qiáng)現(xiàn)實(shí)對(duì)象達(dá)閾值持續(xù)時(shí)間)將該增強(qiáng)現(xiàn)實(shí)對(duì)象縮放回原始大小。圖8示出在其中用戶512注視增強(qiáng)現(xiàn)實(shí)對(duì)象504′達(dá)閾值持續(xù)時(shí)間(例如t2–t1)的示例。注視觸發(fā)被減小的增強(qiáng)現(xiàn)實(shí)對(duì)象504′放大為全尺寸增強(qiáng)現(xiàn)實(shí)對(duì)象504。這樣的放大可以在達(dá)到閾值持續(xù)時(shí)間之后的一個(gè)離散步驟中發(fā)生或者放大可以在如所示的兩個(gè)或更多個(gè)步驟中發(fā)生。

無論動(dòng)態(tài)縮放是否被使用，如果用戶觸發(fā)沒有在閾值持續(xù)時(shí)間內(nèi)執(zhí)行則經(jīng)動(dòng)態(tài)移動(dòng)的增強(qiáng)現(xiàn)實(shí)對(duì)象可以自動(dòng)返回到先前的位置。例如，如果用戶沒有在閾值持續(xù)時(shí)間內(nèi)注視經(jīng)動(dòng)態(tài)移動(dòng)的增強(qiáng)現(xiàn)實(shí)對(duì)象，增強(qiáng)現(xiàn)實(shí)對(duì)象可以自動(dòng)離開用戶的視野并返回到原始位置。

除了上述縮放功能之外，增強(qiáng)現(xiàn)實(shí)對(duì)象可選地可用“告示牌”效果來顯示，在其中增強(qiáng)現(xiàn)實(shí)對(duì)象被動(dòng)態(tài)旋轉(zhuǎn)以面對(duì)用戶使得該增強(qiáng)現(xiàn)實(shí)對(duì)象可以被容易地交互和觀看。例如，邊界區(qū)域可以定義增強(qiáng)現(xiàn)實(shí)對(duì)象的平面，并且這樣增強(qiáng)現(xiàn)實(shí)對(duì)象可以被旋轉(zhuǎn)以將該增強(qiáng)現(xiàn)實(shí)對(duì)象的平面維持在fov內(nèi)。在一些示例中，響應(yīng)于用戶請(qǐng)求增強(qiáng)現(xiàn)實(shí)對(duì)象可以被釘在固定的外觀現(xiàn)實(shí)世界位置，否則所述增強(qiáng)現(xiàn)實(shí)對(duì)象將以用戶的fov為函數(shù)被調(diào)整。

在更多的示例中，增強(qiáng)現(xiàn)實(shí)對(duì)象可以動(dòng)畫化(例如響應(yīng)于如上所述的被虛擬彈簧函數(shù)拉動(dòng)而沿由其移動(dòng)方向所定義的軸旋轉(zhuǎn))以給予用戶對(duì)彈簧機(jī)制的物理性質(zhì)和其控制的增強(qiáng)現(xiàn)實(shí)對(duì)象的更強(qiáng)感觀。

在一些實(shí)施例中，本文中描述的方法和過程可以與一個(gè)或多個(gè)計(jì)算設(shè)備的計(jì)算系統(tǒng)綁定。具體而言，這樣的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用程序或服務(wù)、應(yīng)用編程接口(api)、庫和/或其他計(jì)算機(jī)程序產(chǎn)品。

圖9示意性地示出了可執(zhí)行上述方法和過程中的一個(gè)或多個(gè)的計(jì)算系統(tǒng)900的非限制性實(shí)施例。圖1的hmd104和/或如下所述的圖10a的顯示系統(tǒng)1000是計(jì)算系統(tǒng)900的非限制性示例。以簡(jiǎn)化形式示出了計(jì)算系統(tǒng)900。計(jì)算系統(tǒng)900可采取以下形式：一個(gè)或多個(gè)個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、游戲設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備(例如，智能電話)和/或其他計(jì)算設(shè)備。

計(jì)算系統(tǒng)900包括邏輯機(jī)902和存儲(chǔ)機(jī)904。計(jì)算系統(tǒng)900可任選地包括顯示子系統(tǒng)906、輸入子系統(tǒng)908、通信子系統(tǒng)910和/或在圖9中未示出的其他組件。

邏輯機(jī)902包括被配置成執(zhí)行指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯機(jī)可被配置成執(zhí)行作為以下各項(xiàng)的一部分的指令：一個(gè)或多個(gè)應(yīng)用、服務(wù)、程序、例程、庫、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、或其他邏輯構(gòu)造。這種指令可被實(shí)現(xiàn)以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個(gè)或多個(gè)組件的狀態(tài)、實(shí)現(xiàn)技術(shù)效果、或以其他方式得到期望結(jié)果。

邏輯機(jī)可包括被配置成執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。作為補(bǔ)充或替換，邏輯機(jī)可包括被配置成執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)。邏輯機(jī)的處理器可以是單核或多核，且在其上執(zhí)行的指令可被配置為串行、并行和/或分布式處理。邏輯機(jī)的各個(gè)組件可任選地分布在兩個(gè)或更多單獨(dú)設(shè)備上，這些設(shè)備可以位于遠(yuǎn)程和/或被配置成進(jìn)行協(xié)同處理。邏輯機(jī)的各方面可由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備來虛擬化和執(zhí)行。

存儲(chǔ)機(jī)904包括被配置成保持可由邏輯機(jī)執(zhí)行以實(shí)現(xiàn)此處所述的方法和過程的指令的一個(gè)或多個(gè)物理設(shè)備。在實(shí)現(xiàn)這些方法和過程時(shí)，可以變換存儲(chǔ)機(jī)904的狀態(tài)(例如，保存不同的數(shù)據(jù))。

存儲(chǔ)機(jī)904可以包括可移動(dòng)和/或內(nèi)置設(shè)備。存儲(chǔ)機(jī)904可包括光學(xué)存儲(chǔ)器(例如，cd、dvd、hd-dvd、藍(lán)光盤等)、半導(dǎo)體存儲(chǔ)器(例如，ram、eprom、eeprom等)和/或磁存儲(chǔ)器(例如，硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、mram等)等等。存儲(chǔ)機(jī)904可包括易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址和/或內(nèi)容可尋址設(shè)備。

可以理解，存儲(chǔ)機(jī)904包括一個(gè)或多個(gè)物理設(shè)備。然而，本文描述的指令的各方面可另選地通過不由物理設(shè)備在有限時(shí)長(zhǎng)內(nèi)持有的通信介質(zhì)(例如，電磁信號(hào)、光信號(hào)等)來傳播。

邏輯機(jī)902和存儲(chǔ)機(jī)904的各方面可被一起集成到一個(gè)或多個(gè)硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場(chǎng)可編程門陣列(fpga)、程序和應(yīng)用專用的集成電路(pasic/asic)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(pssp/assp)、片上系統(tǒng)(soc)以及復(fù)雜可編程邏輯器件(cpld)。

術(shù)語“模塊”、“程序”和“引擎”可用于描述被實(shí)現(xiàn)為執(zhí)行一個(gè)特定功能的計(jì)算系統(tǒng)900的一方面。在某些情況下，可以通過執(zhí)行由存儲(chǔ)機(jī)902所保持的指令的邏輯機(jī)904來實(shí)例化模塊、程序或引擎。將理解，不同的模塊、程序、和/或引擎可以從相同的應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫、例程、api、函數(shù)等實(shí)例化。類似地，相同的模塊、程序和/或引擎可由不同的應(yīng)用、服務(wù)、代碼塊、對(duì)象、例程、api、功能等來實(shí)例化。術(shù)語“模塊”、“程序”和“引擎”意在涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫記錄等。

應(yīng)當(dāng)理解，如此處所使用的“服務(wù)”可以是跨越多個(gè)用戶會(huì)話可執(zhí)行的應(yīng)用程序。服務(wù)可對(duì)一個(gè)或更多系統(tǒng)組件、程序、和/或其他服務(wù)可用。在某些實(shí)現(xiàn)中，服務(wù)可以在一個(gè)或多個(gè)服務(wù)器計(jì)算設(shè)備上運(yùn)行。

在被包括時(shí)，顯示子系統(tǒng)906可用于呈現(xiàn)由存儲(chǔ)機(jī)904保持的數(shù)據(jù)的視覺表示。此視覺表示可采取圖形用戶界面(gui)的形式。由于本文所描述的方法和過程改變了由存儲(chǔ)機(jī)保持的數(shù)據(jù)，并由此變換了存儲(chǔ)機(jī)的狀態(tài)，因此同樣可以轉(zhuǎn)變顯示子系統(tǒng)906的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)906可包括使用實(shí)質(zhì)上任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備?？蓪⒋祟愶@示設(shè)備與邏輯機(jī)902和/或存儲(chǔ)器機(jī)904組合在共享封裝中，或者此類顯示設(shè)備可以是外圍顯示設(shè)備。

當(dāng)被包括時(shí)，輸入子系統(tǒng)908可包括諸如鍵盤、鼠標(biāo)、觸摸屏或游戲控制器等一個(gè)或多個(gè)用戶輸入設(shè)備或者與這些用戶輸入設(shè)備對(duì)接。在一些實(shí)施例中，輸入子系統(tǒng)可以包括或相接于所選擇的自然用戶輸入(nui)部件。這樣的部件可以是集成式的或者是外設(shè)，并且輸入動(dòng)作的轉(zhuǎn)換和/或處理可以在板上或板下處理。示例nui部件可包括用于語言和/或語音識(shí)別的話筒；用于機(jī)器視覺和/或姿勢(shì)識(shí)別的紅外、色彩、立體顯示和/或深度相機(jī)；用于運(yùn)動(dòng)檢測(cè)和/或意圖識(shí)別的頭部跟蹤器、眼睛跟蹤器、加速計(jì)和/或陀螺儀；以及用于評(píng)估腦部活動(dòng)的電場(chǎng)感測(cè)部件。

當(dāng)包括通信子系統(tǒng)910時(shí)，通信子系統(tǒng)910可被配置成將計(jì)算系統(tǒng)900與一個(gè)或多個(gè)其他計(jì)算設(shè)備通信地耦合。通信子系統(tǒng)910可包括與一個(gè)或多個(gè)不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算系統(tǒng)900經(jīng)由諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其他設(shè)備接收消息。

圖10a示出了要由佩戴者佩戴并使用的示例頭戴式顯示系統(tǒng)1000的各方面。顯示系統(tǒng)1000是圖1的hmd104和/或圖9的計(jì)算系統(tǒng)900的非限制性示例。顯示系統(tǒng)可以采取任何其他合適的形式，其中透明、半透明和/或不透明顯示器被支撐在觀察者的一只或兩只眼睛前方。此外，本文所描述的各實(shí)施例可以與任何其它合適的計(jì)算系統(tǒng)聯(lián)用，包括但不限于移動(dòng)計(jì)算設(shè)備、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、平板計(jì)算機(jī)、其它可穿戴計(jì)算機(jī)等。例如，增強(qiáng)現(xiàn)實(shí)圖像可以與由移動(dòng)電話相機(jī)所捕捉的現(xiàn)實(shí)世界圖像一起被顯示在移動(dòng)電話顯示器上。

所示出的顯示系統(tǒng)包括框架1002?？蚣苤С直欢ㄎ怀山咏宕髡叩难劬Φ牧Ⅲw、透視顯示部件。顯示系統(tǒng)1000可被用于增強(qiáng)現(xiàn)實(shí)應(yīng)用，其中現(xiàn)實(shí)世界圖像與虛擬顯示圖像混合。

顯示系統(tǒng)1000包括分開的右和左顯示面板，1004r和1004l，從佩戴者的角度看其是全部或部分透明的，以便給予佩戴者他或她的周圍環(huán)境的清晰視圖?？刂破?006被操作地耦合到顯示面板和其它顯示系統(tǒng)部件。控制器包括邏輯和相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)器，其被配置為向顯示面板提供圖像信號(hào)、接收傳感器信號(hào)以及執(zhí)行在此所述的各種控制過程。

顯示系統(tǒng)1000可以使得圖像(諸如增強(qiáng)現(xiàn)實(shí)圖像(也稱為全息對(duì)象))被遞送到顯示系統(tǒng)的佩戴者的眼睛。顯示面板可被配置成為透過該透明顯示器查看物理環(huán)境的佩戴者在視覺上增強(qiáng)現(xiàn)實(shí)世界、物理環(huán)境的外觀。在一個(gè)示例中，該顯示器可被配置成顯示圖形用戶界面的一個(gè)或多個(gè)ui對(duì)象。在一些實(shí)施例中，在圖形用戶界面上呈現(xiàn)的ui對(duì)象可以是覆蓋在現(xiàn)實(shí)世界環(huán)境前方的虛擬對(duì)象。同樣地，在一些實(shí)施例中，在圖形用戶界面上呈現(xiàn)的ui對(duì)象可以納入通過顯示器被看到的現(xiàn)實(shí)世界環(huán)境的現(xiàn)實(shí)世界對(duì)象的元素。在其他示例中，顯示器可被配置成顯示一個(gè)或多個(gè)其他圖形對(duì)象，諸如與游戲、視頻、或其他視覺內(nèi)容相關(guān)聯(lián)的虛擬對(duì)象。

任何合適的機(jī)制可被用于經(jīng)由顯示面板(統(tǒng)稱為顯示器1004)顯示圖像。例如，顯示器1004可包括位于透鏡內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(oled)顯示器)。作為另一示例，顯示器1004可包括位于顯示系統(tǒng)1000的框架1002內(nèi)的顯示設(shè)備(諸如例如硅上液晶(lcos)設(shè)備或oled微顯示器)。在該示例中，透鏡可用作或以其它方式包括用于將光從顯示設(shè)備遞送到佩戴者的眼睛的光導(dǎo)。這樣的光導(dǎo)可使得佩戴者能夠感知佩戴者正在查看的位于物理環(huán)境內(nèi)的3d全息圖像，同時(shí)還允許佩戴者直接查看物理環(huán)境中的物理對(duì)象，由此創(chuàng)建了混合現(xiàn)實(shí)環(huán)境。另外地或替換地，顯示器1004可以通過相應(yīng)的左眼和右眼顯示器呈現(xiàn)左眼和右眼增強(qiáng)現(xiàn)實(shí)圖像。

顯示系統(tǒng)1000還可包括向控制器1006提供信息的各種傳感器和相關(guān)系統(tǒng)。此類傳感器可包括但不限于，一個(gè)或多個(gè)面向內(nèi)的圖像傳感器1012a和1012b、一個(gè)或多個(gè)面向外的圖像傳感器1005、慣性測(cè)量單元(imu)1007、以及一個(gè)或多個(gè)話筒1011。一個(gè)或多個(gè)面向內(nèi)的圖像傳感器1012a和1012b可被配置成從佩戴者的眼睛獲取注視跟蹤數(shù)據(jù)形式的圖像數(shù)據(jù)(例如，傳感器1012a可獲取佩戴者的一只眼睛的圖像數(shù)據(jù)，而傳感器1012b可獲取佩戴者的另一只眼睛的圖像數(shù)據(jù))。

顯示系統(tǒng)可被配置成基于接收自圖像傳感器1012a和1012b的信息用任何合適的方式來確定佩戴者眼睛中的每一只眼睛的注視方向。例如，一個(gè)或多個(gè)光源1014(諸如紅外光源)可被配置成使得從佩戴者的每一只眼睛的角膜反射閃光。一個(gè)或多個(gè)圖像傳感器1012a、1012b然后可被配置成捕捉佩戴者眼睛的圖像。如從收集自圖像傳感器1012a、1012b的圖像數(shù)據(jù)確定的閃爍和瞳孔的圖像可被控制器1006用于確定每一只眼睛的光軸。使用這一信息，控制器1006可被配置成確定佩戴者的注視方向?？刂破?006可被配置成通過將用戶注視向量投影在周圍環(huán)境的3d模型上來附加地確定佩戴者正注視的物理和/或虛擬對(duì)象的身份。

一個(gè)或多個(gè)面向外的圖像傳感器1005可被配置成測(cè)量顯示系統(tǒng)被定位在其中的物理環(huán)境的物理環(huán)境屬性(例如光強(qiáng)度)。來自面向外的圖像傳感器1005的數(shù)據(jù)可被用于檢測(cè)顯示器1004視野內(nèi)的移動(dòng)，諸如視野內(nèi)的佩戴者或人或物理對(duì)象所執(zhí)行的基于姿勢(shì)的輸入或其他移動(dòng)。在一個(gè)示例中，來自面向外的圖像傳感器1005的數(shù)據(jù)可被用于檢測(cè)由顯示系統(tǒng)的的佩戴者執(zhí)行的指示對(duì)在顯示設(shè)備上顯示的ui對(duì)象的選擇的選擇輸入，諸如姿勢(shì)(例如，捏合手指、握緊拳頭等)。來自面向外的傳感器的數(shù)據(jù)還可被用于確定能實(shí)現(xiàn)對(duì)顯示系統(tǒng)1000在現(xiàn)實(shí)世界環(huán)境中的位置/運(yùn)動(dòng)跟蹤的(例如，來自成像環(huán)境特征的)方向/位置和取向數(shù)據(jù)。來自面向外的相機(jī)的數(shù)據(jù)也可以被用于從顯示系統(tǒng)1000的視角構(gòu)造周圍環(huán)境的靜止圖像和/或視頻圖像。

imu1007可被配置成將顯示系統(tǒng)1000的定位和/或取向數(shù)據(jù)提供給控制器1006。在一個(gè)實(shí)施例中，imu1007可被配置為三軸或三自由度(3dof)定位傳感器系統(tǒng)。這一示例定位傳感器系統(tǒng)可以例如包括用于指示或測(cè)量顯示系統(tǒng)1000在3d空間內(nèi)繞三個(gè)正交軸(例如，滾轉(zhuǎn)、俯仰、偏航)的取向變化的三個(gè)陀螺儀。從imu的傳感器信號(hào)導(dǎo)出的取向可被用于經(jīng)由透視顯示器以實(shí)際且穩(wěn)定的定位和取向顯示一個(gè)或多個(gè)ar圖像。

在另一示例中，imu1007可被配置為六軸或六自由度(6dof)定位傳感器系統(tǒng)。這一配置可以包括三個(gè)加速度計(jì)和三個(gè)陀螺儀以指示或測(cè)量顯示系統(tǒng)1000沿三個(gè)正交空間軸(例如x、y和z)的位置變化和繞三個(gè)正交旋轉(zhuǎn)軸(例如滾轉(zhuǎn)、俯仰、偏航)的設(shè)備取向變化。在一些實(shí)施例中，來自面向外的圖像傳感器1005和imu1007的定位和取向數(shù)據(jù)可以被結(jié)合使用以確定顯示系統(tǒng)1000的定位和取向。

顯示系統(tǒng)1000還可以支持其他合適的定位技術(shù)，如gps或其他全球?qū)Ш较到y(tǒng)。此外，盡管描述了位置傳感器系統(tǒng)的具體示例，但將理解，任何其他合適的位置傳感器系統(tǒng)可被使用。例如，頭部姿勢(shì)和/或移動(dòng)數(shù)據(jù)可基于來自戴在佩戴者上和/或佩戴者外部的傳感器的任何組合的傳感器信息來被確定，包括但不限于任何數(shù)量的陀螺儀、加速度計(jì)、慣性測(cè)量單元、gps設(shè)備、氣壓計(jì)、磁力計(jì)、相機(jī)(例如，可見光相機(jī)、紅外光相機(jī)、飛行時(shí)間深度相機(jī)、結(jié)構(gòu)化光深度相機(jī)等)、通信設(shè)備(例如，wifi天線/接口)等。

繼續(xù)圖10a，控制器1006可被配置成基于由一個(gè)或多個(gè)面向內(nèi)的圖像傳感器1012a、1012b檢測(cè)到的信息記錄隨著時(shí)間的多個(gè)眼睛注視樣本。對(duì)于每一眼睛注視樣本，眼睛跟蹤信息以及在一些實(shí)施例中的頭部跟蹤信息(來自圖像傳感器1005和/或imu1007)可被用于估計(jì)該眼睛注視樣本的原點(diǎn)和方向向量以產(chǎn)生眼睛注視與透視顯示器相交的估計(jì)位置。用于確定眼睛注視樣本的眼睛跟蹤信息和頭部跟蹤信息的示例可包括眼睛注視方向、頭部取向、眼睛注視速度、眼睛注視加速度、眼睛注視方向角改變、和/或任何其它合適的跟蹤信息。在一些實(shí)施例中，眼睛注視跟蹤可以獨(dú)立于顯示系統(tǒng)1000佩戴者的兩只眼睛來記錄。

控制器1006可以被配置為使用來自面向外的圖像傳感器1005的信息生成或更新周圍環(huán)境的三維模型。另外地或替換地，來自面向外的圖像傳感器1005的信息可以被傳遞給負(fù)責(zé)生成和/或更新周圍環(huán)境的模型的遠(yuǎn)程計(jì)算機(jī)。在任一情況下，顯示系統(tǒng)相對(duì)于周圍環(huán)境的相對(duì)位置和/或取向可以被評(píng)估，這樣增強(qiáng)現(xiàn)實(shí)圖像可以以期望的取向在期望的現(xiàn)實(shí)世界位置中被準(zhǔn)確地顯示。而且，控制器1006可以確定周圍環(huán)境的哪些部分目前在fov中。

如上所述，顯示系統(tǒng)1000還可包括捕捉音頻數(shù)據(jù)的一個(gè)或多個(gè)話筒，諸如話筒1011。在一些示例中，該一個(gè)或多個(gè)話筒1011可包括包含兩個(gè)或更多個(gè)話筒的話筒陣列。例如，話筒陣列可包括四個(gè)話筒，兩個(gè)話筒被定位在hmd的右透鏡上方，而另兩個(gè)話筒被定位在hmd的左透鏡上方。此外，音頻輸出可以經(jīng)由一個(gè)或多個(gè)揚(yáng)聲器(諸如揚(yáng)聲器1009)被呈現(xiàn)給佩戴者。

控制器1006可包括可與顯示系統(tǒng)的顯示器和各個(gè)傳感器進(jìn)行通信的邏輯機(jī)和存儲(chǔ)機(jī)，如上文參考圖9更詳細(xì)地討論的。

圖10b示出在一個(gè)非限制性實(shí)施例中的右或左顯示面板1004(1004r、1004l)的各方面。顯示面板包括背光1008和液晶顯示器(lcd)類型的微顯示器1010。背光可包括發(fā)光二極管(led)的整體——例如，白led或紅、綠和藍(lán)led的某種分布。背光可被配置以便引導(dǎo)其發(fā)射穿過lcd微顯示器，該lcd微顯示器基于來自控制器1006的控制信號(hào)形成顯示圖像。lcd微顯示器可包括布置于矩形網(wǎng)格或其它幾何形狀上的眾多可單獨(dú)尋址的像素。在一些實(shí)施例中，發(fā)射紅光的像素可與發(fā)射綠和藍(lán)光的像素并置，使得lcd微顯示器形成彩色圖像。在其它實(shí)施例中，反射硅上液晶(lcos)微顯示器或數(shù)字微鏡陣列可被用于代替圖10b的lcd微顯示器。替換地，有源led、全息或掃描束的微顯示器可被用于形成右和左顯示圖像。盡管圖示出了分開的右和左顯示面板，跨雙眼延伸的單個(gè)顯示面板可被替代使用。

圖10b的顯示面板1004包括眼睛成像相機(jī)1012(例如面向外的成像傳感器1012a和1012b)、軸上照明源(也稱為光源1014)以及軸下照明源1014’。每個(gè)照明源發(fā)射眼睛成像相機(jī)的高靈敏度波長(zhǎng)段的紅外(ir)或近紅外(nir)照明。每個(gè)照明源可包括發(fā)光二極管(led)、二極管激光器、放電照明源等。通過任何合適的物鏡系統(tǒng)，眼睛成像相機(jī)1012跨一范圍的視場(chǎng)角度檢測(cè)光，將這樣的角度映射到傳感像素陣列的對(duì)應(yīng)的像素?？刂破?006可被配置來使用來自眼睛成像相機(jī)的輸出來跟蹤佩戴者的注視軸v，如下進(jìn)一步詳細(xì)描述的。

相對(duì)于注視跟蹤而言，軸上和軸下照明服務(wù)于不同的目的。如圖10b所示，軸下照明可創(chuàng)建從佩戴者的眼睛的角膜1018反射的鏡面閃光1016。軸下照明也可被用于照亮眼睛以用于“暗瞳”效果，其中瞳孔1020顯得比周圍的虹膜1022更暗。相反，來自ir或nir源的軸上照明可被用于創(chuàng)建“亮瞳”效果，其中瞳孔顯得比周圍的虹膜更亮。更具體地，來自軸上照明源1014的ir或nir照明照亮眼睛的視網(wǎng)膜1024的回射組織，該回射組織將光通過瞳孔反射回去，形成瞳孔的亮圖像1026。顯示面板1004的光束轉(zhuǎn)向光學(xué)器件1028允許眼睛成像相機(jī)和軸上照明源共享公共光軸a，而不管它們?cè)陲@示面板的外圍上的安排。

來自眼睛成像相機(jī)1012的數(shù)字圖像數(shù)據(jù)可被傳達(dá)到控制器1006中或控制器可通過網(wǎng)絡(luò)訪問的遠(yuǎn)程計(jì)算機(jī)系統(tǒng)中的相關(guān)聯(lián)的邏輯。在那里，可處理圖像數(shù)據(jù)以便解析如瞳孔中心、瞳孔輪廓、和/或來自角膜的一個(gè)或多個(gè)鏡面閃光1016之類的特征。圖像數(shù)據(jù)中這些特征的位置可被用作把特征位置與注視軸v聯(lián)系起來的模型(例如多項(xiàng)式模型)中的輸入?yún)?shù)。在其中針對(duì)右眼和左眼來確定注視軸的各實(shí)施例中，控制器還可被配置來計(jì)算佩戴者的焦點(diǎn)作為右和左注視軸的交叉點(diǎn)。

一個(gè)示例的可穿戴、頭戴式顯示系統(tǒng)包括近眼顯示器和控制器，近眼顯示器顯示由頭戴式顯示系統(tǒng)的佩戴者在外觀現(xiàn)實(shí)世界深度和外觀現(xiàn)實(shí)世界位置處可感知到的增強(qiáng)現(xiàn)實(shí)對(duì)象，而控制器以佩戴者的視野(fov)為函數(shù)調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置，所述函數(shù)基于增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域以及在增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域和佩戴者的fov之間的一個(gè)或多個(gè)重疊參數(shù)。這樣的示例附加地或替換地包括其中邊界區(qū)域定義增強(qiáng)現(xiàn)實(shí)對(duì)象的空間。這樣的示例附加地或替換地包括其中該空間包括全部的增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣的示例附加地或替換地包括其中該空間包括少于全部的增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣的示例附加地或替換地包括其中該空間包括其中所有的增強(qiáng)現(xiàn)實(shí)對(duì)象以及圍繞增強(qiáng)現(xiàn)實(shí)對(duì)象的附加空間。這樣的示例附加地或替換地包括其中一個(gè)或多個(gè)重疊參數(shù)定義了控制器要在fov中保持的邊界區(qū)域的量。這樣的示例附加地或替換地包括其中一個(gè)或多個(gè)重疊參數(shù)包括當(dāng)fov改變達(dá)少于閾值量時(shí)在邊界區(qū)域和佩戴者的fov之間的停止目標(biāo)重疊值。這樣的示例附加地或替換地包括其中一個(gè)或多個(gè)重疊參數(shù)包括當(dāng)fov改變達(dá)大于閾值量時(shí)在邊界區(qū)域和佩戴者的fov之間的移動(dòng)最小重疊值。這樣的示例附加地或替換地包括其中停止目標(biāo)重疊值大于移動(dòng)最小重疊值，并且其中與當(dāng)fov改變達(dá)大于閾值量時(shí)相比當(dāng)fov改變達(dá)少于閾值量時(shí)控制器顯示更大比例的邊界區(qū)域。這樣的示例附加地或替換地包括其中移動(dòng)最小重疊值小于閾值重疊值，并且其中當(dāng)fov改變達(dá)大于閾值量時(shí)控制器不顯示增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣的示例附加地或替換地包括其中控制器基于佩戴者的fov進(jìn)一步調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的旋轉(zhuǎn)。這樣的示例附加地或替換地包括其中控制器根據(jù)虛擬彈簧函數(shù)的一個(gè)或多個(gè)彈簧參數(shù)調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置。這樣的示例附加地或替換地包括其中當(dāng)增強(qiáng)現(xiàn)實(shí)對(duì)象在fov之外時(shí)控制器調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置。這樣的示例附加地或替換地包括其中響應(yīng)于來自佩戴者的請(qǐng)求控制器將增強(qiáng)現(xiàn)實(shí)對(duì)象維持在固定的外觀現(xiàn)實(shí)世界位置。這樣的示例附加地或替換地包括其中當(dāng)所述佩戴者的fov改變達(dá)大于閾值量時(shí)，控制器以較小的、第一外觀現(xiàn)實(shí)世界大小顯示增強(qiáng)現(xiàn)實(shí)對(duì)象，并且當(dāng)所述佩戴者的fov改變達(dá)小于閾值量時(shí)，控制器以較大的、第二外觀現(xiàn)實(shí)世界大小顯示增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣的示例附加地或替換地包括其中貫穿增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界深度的范圍，控制器以fov的固定比例維持增強(qiáng)現(xiàn)實(shí)對(duì)象。以上描述的示例中的任何一個(gè)或全部可按任何合適的方式被組合在各實(shí)現(xiàn)中。

一種用于近眼顯示器的示例方法，包括定義增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域，定義在所述邊界區(qū)域和所述近眼顯示器的佩戴者的視野(fov)之間的目標(biāo)重疊量，定義在所述邊界區(qū)域和所述fov之間的最小重疊量，并且當(dāng)fov改變時(shí)，根據(jù)所述邊界區(qū)域、目標(biāo)重疊量和最小重疊量在所述近眼顯示器上顯示所述增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣的示例附加地或替換地進(jìn)一步包括根據(jù)虛擬彈簧函數(shù)的一個(gè)或多個(gè)彈簧參數(shù)顯示增強(qiáng)現(xiàn)實(shí)對(duì)象。這樣的示例附加地或替換地進(jìn)一步包括基于佩戴者的fov調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的旋轉(zhuǎn)。以上描述的示例中的任何一個(gè)或全部可按任何合適的方式被組合在各實(shí)現(xiàn)中。

一個(gè)可穿戴、頭戴式顯示系統(tǒng)的進(jìn)一步的示例包括近眼顯示器和控制器，近眼顯示器顯示由頭戴式顯示系統(tǒng)的佩戴者在外觀現(xiàn)實(shí)世界深度和外觀現(xiàn)實(shí)世界位置處可感知到的增強(qiáng)現(xiàn)實(shí)對(duì)象，而控制器以佩戴者的視野(fov)為函數(shù)調(diào)整增強(qiáng)現(xiàn)實(shí)對(duì)象的外觀現(xiàn)實(shí)世界位置，所述函數(shù)基于增強(qiáng)現(xiàn)實(shí)對(duì)象的邊界區(qū)域、當(dāng)fov改變達(dá)少于閾值量時(shí)在邊界區(qū)域和佩戴者的fov之間的目標(biāo)重疊值以及當(dāng)fov改變達(dá)大于閾值量時(shí)在邊界區(qū)域和佩戴者的fov之間的最小重疊值。以上描述的示例中的任何一個(gè)或全部可按任何合適的方式被組合在各實(shí)現(xiàn)中。

將會(huì)理解，本文描述的配置和/或方式本質(zhì)是示例性的，這些具體實(shí)施例或本文示例不應(yīng)被視為限制性的，因?yàn)樵S多變體是可能的。本文描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。如此，所示和/或所述的各種動(dòng)作可以以所示和/或所述順序、以其他順序、并行地執(zhí)行，或者被省略。同樣，上述過程的次序可以改變。

本公開的主題包括本文公開的各種過程、系統(tǒng)和配置以及其他特征、功能、動(dòng)作和/或性質(zhì)的所有新穎和非顯而易見的組合和子組合，以及其任何和所有等同物。