增強現(xiàn)實（AR）涉及提供經(jīng)增強的現(xiàn)實世界環(huán)境，其中用計算機生成的虛擬數(shù)據(jù)來增強或修改對現(xiàn)實世界環(huán)境（或表示現(xiàn)實世界環(huán)境的數(shù)據(jù)）的感知。例如，可使用諸如相機或話筒等傳感輸入設(shè)備實時地捕捉表示現(xiàn)實世界環(huán)境的數(shù)據(jù)，并用包括虛擬圖像和虛擬聲音的計算機生成的虛擬數(shù)據(jù)來增強該數(shù)據(jù)。虛擬數(shù)據(jù)還可包括與現(xiàn)實世界環(huán)境有關(guān)的信息，諸如與現(xiàn)實世界環(huán)境中的現(xiàn)實世界對象相關(guān)聯(lián)的文本描述。一些AR環(huán)境內(nèi)的對象可包括現(xiàn)實對象（即，存在于特定現(xiàn)實世界環(huán)境中的對象）和虛擬對象（即，不存在于該特定現(xiàn)實世界環(huán)境中的對象）。

為了將虛擬對象逼真地集成到AR環(huán)境中，AR系統(tǒng)通常執(zhí)行包括映射和本地化的若干任務(wù)。映射涉及生成現(xiàn)實世界環(huán)境的映射的過程。本地化涉及相對于現(xiàn)實世界環(huán)境的映射來定位特定視點或姿態(tài)的過程。在一些情況下，AR系統(tǒng)可實時本地化在現(xiàn)實世界環(huán)境內(nèi)移動的移動設(shè)備的姿態(tài)，以便確定與該移動設(shè)備相關(guān)聯(lián)的、需要隨該移動設(shè)備在現(xiàn)實世界環(huán)境中移動而被增強的特定姿態(tài)。

AR環(huán)境可使用電子顯示器（例如，與頭戴式顯示設(shè)備集成的LED顯示器）來被提供到移動設(shè)備的最終用戶（更一般地也被稱為用戶）。電子顯示器可通過調(diào)制被提供到電子顯示器（諸如硅上液晶（LCOS）顯示器）上的光或通過在電子顯示器（例如，OLED顯示器）內(nèi)生成光來對最終用戶顯示虛擬對象的圖像。

為了生成逼真的AR環(huán)境，實現(xiàn)低等待時間是重要的，其部分地可通過增加幀速率來實現(xiàn)。例如，對于佩戴了頭戴式顯示（HMD）設(shè)備的最終用戶而言，如果在最終用戶的頭轉(zhuǎn)動離開特定姿態(tài)的時間與虛擬對象的圖像基于該特定姿態(tài)被顯示的時間之間流逝的時間太多，則虛擬對象將看上去偏離其在AR環(huán)境內(nèi)預(yù)期的位置。例如，該圖像可能看上去沒有與預(yù)期的現(xiàn)實世界位置或?qū)ο髮R，其是不理想的。

概述

一種將AR系統(tǒng)的幀速率增加為超過AR系統(tǒng)的核心渲染流水線的幀速率以及減少等待時間的方式是將后期圖形調(diào)整應(yīng)用到被渲染的圖像以生成經(jīng)更新的圖像以供顯示。本文中描述的這種后期圖形調(diào)整可使用具有相關(guān)聯(lián)的穩(wěn)定性平面的單應(yīng)變換來執(zhí)行。本技術(shù)的一些實施例涉及用于確定穩(wěn)定性平面來減少并較佳地最小化在單應(yīng)變換被應(yīng)用到包括3D幾何形狀和/或多個非共面平面（例如，近平面和遠平面）的場景時發(fā)生的誤差的技術(shù)。

更一般地，描述了用于在顯示設(shè)備的顯示器（諸如頭戴式顯示（HMD）設(shè)備或某個其他透視顯示設(shè)備的顯示器，但不被限制于此）上顯示圖像的技術(shù)。在一實施例中，生成被渲染的圖像。附加地，確定用戶的注視位置，并且基于所確定的注視位置來確定與單應(yīng)變換相關(guān)聯(lián)的穩(wěn)定性平面。單應(yīng)變換被應(yīng)用到被渲染的圖像以從而生成經(jīng)更新的圖像，并且接著該經(jīng)更新的圖像的至少一部分被顯示在顯示器上。在一實施例中，確定穩(wěn)定性平面可涉及，基于注視位置來確定單應(yīng)變換的定義該穩(wěn)定性平面的變量。例如，指定穩(wěn)定性平面的深度的變量可被使得等于注視位置的深度。對于另一示例，在注視位置處或在注視位置的某一范圍內(nèi)的虛擬對象可被標識，并且穩(wěn)定性平面可基于所標識的虛擬對象來確定。這可包括基于所標識的虛擬對象的深度和定向來確定穩(wěn)定性平面深度和穩(wěn)定性平面定向。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并非旨在標識出要求保護的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定要求保護的主題的范圍。

附圖簡述

圖1是可在其中實施所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境的一個實施例的框圖。

圖2A描繪了與第二移動設(shè)備通信的移動設(shè)備的一個實施例。

圖2B描繪了HMD的一部分的一個實施例。

圖3A描繪了用于按比用于核心渲染流水線的渲染幀速率大的幀速率來生成和顯示與虛擬對象相關(guān)聯(lián)的圖像的系統(tǒng)的一個實施例。

圖3B描繪了顯示器的一個實施例。

圖3C描繪了顯示器的一替換實施例。

圖4A描繪了被預(yù)先渲染的圖像的一部分以及基于該被預(yù)先渲染的圖像的經(jīng)更新的圖像的一個實施例。

圖4B描繪了被預(yù)先渲染的圖像以及被用于生成經(jīng)更新的圖像（或目標圖像）的采樣區(qū)域的一個實施例。

圖4C描繪了被預(yù)先渲染的圖像以及滾動緩沖器對被預(yù)先渲染的圖像的應(yīng)用的一個實施例。

圖5A描繪了將后期圖形調(diào)整應(yīng)用到被渲染的圖像以生成經(jīng)更新的圖像的一個實施例。

圖5B描繪了與顯示器相關(guān)聯(lián)的顯示序列的一個實施例。

圖5C描繪了與顯示器相關(guān)聯(lián)的顯示序列的替換實施例。

圖6A是描述了用于按比渲染幀速率大的幀速率來生成并顯示與虛擬對象相關(guān)聯(lián)的圖像的方法的一個實施例的流程圖。

圖6B是描述了用于使用與顯示器集成的電路來作出對被提供到該顯示器的被渲染的圖像的圖形調(diào)整的方法的一個實施例的流程圖。

圖7A是描述了用于按比渲染幀速率大的幀速率來生成并顯示與虛擬對象相關(guān)聯(lián)的圖像的方法的一替換實施例的流程圖。

圖7B是描述了用于生成被渲染的圖像的過程的一個實施例的流程圖。

圖8是描述用于基于注視位置來確定穩(wěn)定性平面并且在生成要被顯示的經(jīng)更新的圖像時使用該穩(wěn)定性平面的方法的一個實施例的流程圖。

圖9描繪了用于基于注視位置來確定穩(wěn)定性平面的一個實施例。

圖10描繪了用于基于注視位置來確定穩(wěn)定性平面的另一個實施例。

圖11是移動設(shè)備（諸如但不限于，HMD設(shè)備）的一個實施例的框圖。

詳細描述

描述了用于按比渲染幀速率大的幀速率來生成和顯示與增強現(xiàn)實（AR）環(huán)境內(nèi)的一個或多個虛擬對象相關(guān)聯(lián)的圖像并用于改進虛擬對象穩(wěn)定性的技術(shù)。所顯示的圖像可包括被預(yù)先渲染的場景（即，按渲染幀速率被渲染的被前向預(yù)測的場景）的后期圖形調(diào)整以合并更高頻率的姿態(tài)估計。渲染幀速率可對應(yīng)于用于渲染與頭戴式顯示設(shè)備（HMD）的姿態(tài)相關(guān)聯(lián)的圖像的最小時間。在一些實施例中，HMD可確定與HMD的將來位置和朝向相關(guān)聯(lián)的被預(yù)測的姿態(tài)（例如，HMD的將來10ms或20ms的被預(yù)測的姿態(tài)），基于被預(yù)測的姿態(tài)來生成被預(yù)先渲染的圖像，在生成被預(yù)先渲染的圖像后或與被渲染的圖像被生成的同時確定與HMD相關(guān)聯(lián)的經(jīng)更新的姿態(tài)，基于經(jīng)更新的姿態(tài)和被預(yù)先渲染的圖像來生成經(jīng)更新的圖像以及在HMD上顯示經(jīng)更新的圖像。經(jīng)更新的圖像可經(jīng)由被預(yù)先渲染的圖像的單應(yīng)變換和/或像素偏移調(diào)整來生成。在一些情況下，經(jīng)更新的圖像可通過顯示器內(nèi)的電路來生成。

在一些實施例中，被預(yù)測的姿態(tài)可基于HMD的當(dāng)前位置和朝向以及HMD的就在確定被預(yù)測的姿態(tài)之前的加速度和速度來確定（例如，通過基于HMD的在確定被預(yù)測的姿態(tài)之前5ms或10ms的移動來外插被預(yù)測的姿態(tài)）。經(jīng)預(yù)測的姿態(tài)可基于按比渲染幀速率更高的頻率被提供到姿態(tài)跟蹤器的經(jīng)更新的姿態(tài)信息來確定。在一個示例中，經(jīng)更新的姿態(tài)信息可使用低等待時間慣性測量單元（IMU）或IMU和基于相機的姿態(tài)跟蹤的組合來生成。經(jīng)更新的圖像可包括對被預(yù)先渲染的圖像的至少一部分的圖像旋轉(zhuǎn)、平移、重新調(diào)整大?。ɡ?，伸展或收縮）、移位或傾斜以校正被預(yù)測的姿態(tài)和經(jīng)更新的姿態(tài)之間的區(qū)別（例如，對在生成被預(yù)先渲染的圖像時的不正確的姿態(tài)預(yù)測進行補償）。經(jīng)更新的圖像可經(jīng)由被預(yù)先渲染的圖像的單應(yīng)變換來生成。在一些情況下，單應(yīng)變換可包括仿射變換。經(jīng)更新的圖像可使用像素偏移調(diào)整或單應(yīng)變換和像素偏移調(diào)整的組合來生成。在一些情況下，單應(yīng)變換和/或像素偏移調(diào)整可在核心渲染流水線的下游生成（例如，使用與顯示器集成的控制器或處理器）。在一個實施例中，像素偏移調(diào)整可使用顯示器來執(zhí)行，該顯示器合并用于允許在該顯示器的像素陣列內(nèi)的像素值的移位的移位寄存器或其他電路（例如，類似于電荷耦合設(shè)備的操作）。

在一些實施例中，包括被前向預(yù)測的被渲染的圖像的后期圖形調(diào)整的經(jīng)更新的圖像可使用具有變化的計算復(fù)雜度的各種圖像重投影技術(shù)來生成。圖像重投影技術(shù)可包括每像素重投影（例如，其中被渲染的圖像的每個像素基于經(jīng)更新的姿態(tài)被重投影），多平面單應(yīng)性（例如，其中與3D場景內(nèi)的多個平面相關(guān)聯(lián)的多個被渲染的圖像被用于生成合成的經(jīng)更新的圖像），單平面單應(yīng)性（例如，其中與3D場景內(nèi)的單平面相關(guān)聯(lián)的單個被渲染的圖像被用于生成經(jīng)更新的圖像），仿射單應(yīng)性以及基于像素偏移的調(diào)整。3D場景內(nèi)的2D平面（或一個或多個2D平面的集合）可基于HMD的最終用戶已經(jīng)在特定時間段內(nèi)聚焦在哪些虛擬對象來確定。在一個示例中，眼睛跟蹤可被用于確定特定時間段內(nèi)（例如，先前的50ms或500ms內(nèi)）被最頻繁查看的虛擬對象。在單平面的情況下，單平面可基于特定時間段內(nèi)被最頻繁查看的虛擬對象的深度來選擇（即，單平面可基于增強現(xiàn)實環(huán)境內(nèi)被最頻繁查看的虛擬對象的位置來設(shè)置）。在多個平面的情況下，增強現(xiàn)實環(huán)境內(nèi)的虛擬對象可基于到多個平面的鄰近度來被分割到多個組中；例如，如果近的平面是對于第一虛擬對象而言最靠近的平面，則第一虛擬對象可被映射到該近的平面，并且如果遠的平面是對于第二虛擬對象而言最靠近的平面，則該第二虛擬對象可被映射到該遠的平面。接著可基于該近的平面來生成包括第一虛擬對象的第一被渲染的圖像，并且基于該遠的平面來生成包括第二虛擬對象的第二被渲染的圖像。

在一些實施例中，可對被預(yù)先渲染的圖像的不同部分執(zhí)行不同的圖形調(diào)整以合并更高頻率的姿態(tài)估計。在一個示例中，與HMD的在第一時間點的第一姿態(tài)相關(guān)聯(lián)的第一單應(yīng)變換可被應(yīng)用到被預(yù)先渲染的圖像的第一部分（例如，被預(yù)先渲染的圖像的頂部）并且與HMD的在第一時間點后的第二時間點的第二姿態(tài)相關(guān)聯(lián)的第二單應(yīng)變換可被應(yīng)用到被預(yù)先渲染的圖像中不同于第一部分的第二部分（例如，被預(yù)先渲染的圖像的底部）。在掃描顯示或漸進掃描顯示的情況下，第一單應(yīng)變換可被應(yīng)用到與掃描線的第一集合相關(guān)聯(lián)的像素并且第二單應(yīng)變換可被應(yīng)用到與不同于掃描線的第一集合的掃描線的第二集合相關(guān)聯(lián)的像素。在一個實施例中，第一單應(yīng)變換可被應(yīng)用到單個第一掃描線并且第二單應(yīng)變換可被應(yīng)用到單個第二掃描線（即，單應(yīng)變換可在每掃描線的基礎(chǔ)上被應(yīng)用）。

以下描述的一些實施例涉及確定穩(wěn)定性平面來減少在單應(yīng)變換被應(yīng)用到包括3D幾何形狀和/或多個非共面平面的場景時出現(xiàn)的誤差。在一些這樣的實施例中，生成被渲染的圖像，確定用戶的注視位置，并且基于所確定的注視位置來確定與單應(yīng)變換相關(guān)聯(lián)的穩(wěn)定性平面。這可涉及，基于用戶的注視位置來確定單應(yīng)變換的定義穩(wěn)定性平面的變量。單應(yīng)變換被應(yīng)用到被渲染的圖像以從而生成經(jīng)更新的圖像，并且接著顯示該經(jīng)更新的圖像的至少一部分。

生成現(xiàn)實的增強現(xiàn)實環(huán)境所具有的一個問題涉及等待時間或其中對應(yīng)于HMD的特定姿態(tài)的世界鎖定的虛擬對象的圖像被顯示給HMD的最終用戶的時間的量。例如，如果在最終用戶的頭轉(zhuǎn)動離開特定姿態(tài)的時間與虛擬對象的圖像基于該特定姿態(tài)被顯示的時間之間流逝的時間太多，則虛擬對象將看上去偏離其在增強現(xiàn)實環(huán)境內(nèi)預(yù)期的位置或在該位置周圍抖動（即，圖像可能看上去不與預(yù)期的現(xiàn)實世界位置或?qū)ο髮R）。由此，存在向最終用戶顯示虛擬對象的被正確對齊的圖像以提升虛擬對象穩(wěn)定性并提升增強現(xiàn)實體驗的需要。

圖1是可在其中實施所公開的技術(shù)的聯(lián)網(wǎng)計算環(huán)境100的一個實施例的框圖。聯(lián)網(wǎng)計算環(huán)境100包括通過一個或多個網(wǎng)絡(luò)180互連的多個計算設(shè)備。所述一個或多個網(wǎng)絡(luò)180允許一特定計算設(shè)備連接到另一計算設(shè)備以及與其通信。所描繪的計算設(shè)備包括移動設(shè)備11、移動設(shè)備12、移動設(shè)備19和服務(wù)器15。在一些實施例中，所述多個計算設(shè)備可以包括未示出的其他計算設(shè)備。在一些實施例中，所述多個計算設(shè)備可以包括比圖1所示的計算設(shè)備的數(shù)目更多或更少的計算設(shè)備。所述一個或多個網(wǎng)絡(luò)180可以包括諸如企業(yè)專用網(wǎng)絡(luò)之類的安全網(wǎng)絡(luò)、諸如無線開放式網(wǎng)絡(luò)之類的不安全網(wǎng)絡(luò)、局域網(wǎng)（LAN）、廣域網(wǎng)（WAN）、以及因特網(wǎng)。所述一個或多個網(wǎng)絡(luò)180中的每個網(wǎng)絡(luò)可以包括集線器、網(wǎng)橋、路由器、交換機、以及有線傳輸介質(zhì)，比如有線網(wǎng)絡(luò)或直接線連接。

可包括補充信息服務(wù)器或應(yīng)用服務(wù)器的服務(wù)器15可允許客戶端從該服務(wù)器下載信息（例如，文本、音頻、圖像和視頻文件）或者執(zhí)行與存儲在該服務(wù)器上的特定信息相關(guān)的搜索查詢。一般而言，“服務(wù)器”可以包括在客戶端-服務(wù)器關(guān)系中充當(dāng)主機的硬件設(shè)備、或者與一個或多個客戶端共享資源或為所述一個或多個客戶端執(zhí)行工作的軟件過程?？蛻舳?服務(wù)器關(guān)系下的計算設(shè)備之間的通信可以通過由客戶端向服務(wù)器發(fā)送要求訪問特定資源或執(zhí)行特定工作的請求來發(fā)起。服務(wù)器隨后可以執(zhí)行所請求的動作并且將響應(yīng)發(fā)送回客戶端。

服務(wù)器15的一個實施例包括網(wǎng)絡(luò)接口155、處理器156、存儲器157和翻譯器158，所有這些都彼此通信。網(wǎng)絡(luò)接口155允許服務(wù)器15連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口155可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò)接口。處理器156允許服務(wù)器15執(zhí)行存儲在存儲器157中的計算機可讀指令以執(zhí)行在此討論的過程。翻譯器158可包括用于將第一文件格式的第一文件翻譯成第二文件格式的對應(yīng)第二文件的映射邏輯（即，第二文件可以是經(jīng)翻譯的版本的第一文件）?？墒褂梦募成渲噶顏砼渲梅g器158，該文件映射指令提供用于將第一文件格式的文件（或其部分）映射成第二文件格式的對應(yīng)文件的指令。

移動設(shè)備19的一個實施例包括網(wǎng)絡(luò)接口145、處理器146、存儲器147、相機148、傳感器149、以及顯示器150，所有這些都彼此通信。網(wǎng)絡(luò)接口145允許移動設(shè)備19連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口145可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò)接口。處理器146允許移動設(shè)備19執(zhí)行存儲在存儲器147中的計算機可讀指令以執(zhí)行在此討論的過程。相機148可以捕捉環(huán)境的色彩圖像和/或深度圖像。移動設(shè)備19可包括捕捉環(huán)境的圖像的面向外的相機以及捕捉移動設(shè)備的最終用戶的圖像的面向內(nèi)的相機。傳感器149可生成與移動設(shè)備19相關(guān)聯(lián)的運動和/或定向信息。在一些情況下，傳感器149可包括慣性測量單元（IMU）。顯示器150可顯示數(shù)字圖像和/或視頻。顯示器150可包括透視顯示器。顯示器150可包括LED或OLED顯示器。

在一些實施例中，包括網(wǎng)絡(luò)接口145、處理器146、存儲器147、相機148以及傳感器149的移動設(shè)備19的各組件可被集成在單芯片基片上。在一示例中，網(wǎng)絡(luò)接口145、處理器146、存儲器147、相機148、傳感器149可被集成成為片上系統(tǒng)（SOC）。在其他實施例中，網(wǎng)絡(luò)接口145、處理器146、存儲器147、相機148和傳感器149可被集成在單個封裝中。

在一些實施例中，通過采用相機148、傳感器149，和運行在處理器146上的姿勢識別軟件，移動設(shè)備19可提供自然用戶界面（NUI）。使用自然用戶界面，人的身體部位和移動可被檢測、解釋、以及用于控制計算應(yīng)用的各方面。在一個示例中，利用自然用戶界面的計算設(shè)備可推斷與計算設(shè)備交互的人的意圖（例如，最終用戶執(zhí)行了特定姿勢來控制該計算設(shè)備）。

聯(lián)網(wǎng)計算環(huán)境100可以為一個或多個計算設(shè)備提供云計算環(huán)境。云計算指的是基于因特網(wǎng)的計算，其中共享的資源、軟件和/或信息通過因特網(wǎng)（或其他全局網(wǎng)絡(luò)）被按需提供給一個或多個計算設(shè)備?；谠谟嬎銠C網(wǎng)絡(luò)圖中使用的云圖來將因特網(wǎng)描繪成對其所表示的底層基礎(chǔ)設(shè)施的抽象，術(shù)語“云”被用作對因特網(wǎng)的比喻。

在一個示例中，移動設(shè)備19包括向頭戴式顯示（HMD）設(shè)備的最終用戶提供增強現(xiàn)實環(huán)境或混合現(xiàn)實環(huán)境的頭戴式顯示設(shè)備。HMD設(shè)備（在本文中也被簡單地稱為HMD）可包括視頻透視和/或光學(xué)透視系統(tǒng)。最終用戶佩戴的光學(xué)透視HMD可允許（例如經(jīng)由透明透鏡）對現(xiàn)實世界環(huán)境的實際直接查看，并且同時可將虛擬對象的圖像投影到最終用戶的視野中，由此用虛擬對象來增強最終用戶所感知的現(xiàn)實世界環(huán)境。

通過利用HMD，佩戴HMD的最終用戶可在現(xiàn)實世界環(huán)境（例如，起居室）中四處移動，并感知覆蓋有虛擬對象的圖像的現(xiàn)實世界的視圖。虛擬對象可以看起來保持與現(xiàn)實世界環(huán)境的相干空間關(guān)系（即，當(dāng)最終用戶在現(xiàn)實世界環(huán)境中轉(zhuǎn)動他們的頭或移動時，顯示給該最終用戶的圖像將改變，使得虛擬對象看起來像被最終用戶感知的那樣存在于該現(xiàn)實世界環(huán)境內(nèi)）。虛擬對象還可看起來相對于最終用戶的視點是固定的（例如，無論最終用戶如何在現(xiàn)實世界環(huán)境中轉(zhuǎn)動他們的頭或移動，總是出現(xiàn)在最終用戶視角的右上角的虛擬菜單）。在一個實施例中，現(xiàn)實世界環(huán)境的環(huán)境映射可由服務(wù)器15（即，在服務(wù)器側(cè)）來執(zhí)行，而相機本地化可在移動設(shè)備19上（即，在客戶端側(cè)）執(zhí)行。虛擬對象可包括與現(xiàn)實世界對象相關(guān)聯(lián)的文本描述。

在一些實施例中，移動設(shè)備（諸如移動設(shè)備19）可與云中的服務(wù)器（諸如服務(wù)器15）通信，并可提供與移動設(shè)備相關(guān)聯(lián)的服務(wù)器位置信息（例如，經(jīng)由GPS坐標的移動設(shè)備的位置）和/或圖像信息（例如，與在移動設(shè)備的視野內(nèi)檢測到的對象有關(guān)的信息）。作為響應(yīng)，服務(wù)器可基于提供給該服務(wù)器的位置信息和/或圖像信息向移動設(shè)備傳送一個或多個虛擬對象。在一個實施例中，移動設(shè)備19可指定用于接收一個或多個虛擬對象的特定文件格式，并且服務(wù)器15可向移動設(shè)備19傳送特定文件格式的文件內(nèi)包含的一個或多個虛擬對象。

在一些實施例中，HMD（諸如移動設(shè)備19）可使用從面向外的相機捕捉到的環(huán)境的圖像，以便相對于該環(huán)境的3D圖確定對應(yīng)于這些圖像的六自由度（6DOF）姿態(tài)。6DOF姿態(tài)可包括與HMD在該環(huán)境內(nèi)的位置和定向相關(guān)聯(lián)的信息。6DOF姿態(tài)可用于定位HMD并生成虛擬對象的圖像，以使得這些虛擬對象看起來存在于該環(huán)境內(nèi)的合適位置處。關(guān)于確定6DOF姿態(tài)的更多信息可在題為例如“Distributed Asynchronous Localization and Mapping for Augmented Reality（增強現(xiàn)實的分布式異步定位和映射）”的美國專利申請13/152,220中找到。關(guān)于執(zhí)行對移動設(shè)備的姿態(tài)估計和/或定位的更多信息可在例如題為“Mobile Camera Localization Using Depth Maps（使用深度圖的移動相機定位）”的美國專利申請13/017,474中找到。

在一些實施例中，HMD（諸如移動設(shè)備19）可按比用于渲染核心流水線或渲染GPU的渲染幀速率大的幀速率來在增強現(xiàn)實（AR）環(huán)境內(nèi)顯示虛擬對象的圖像。HMD可基于按比渲染幀速率高的頻率提供的經(jīng)更新的姿態(tài)估計來修改按渲染幀速率被渲染的被預(yù)先渲染的圖像或被前向預(yù)測的圖像。在一些實施例中，HMD可基于被預(yù)測的姿態(tài)按渲染幀速率（例如，每16ms）生成被預(yù)先渲染的圖像，在生成被預(yù)先渲染的圖像后確定與HMD相關(guān)聯(lián)的一個或多個經(jīng)更新的姿態(tài)（例如，每2ms），基于一個或多個經(jīng)更新的姿態(tài)和被預(yù)先渲染的圖像來生成一個或多個經(jīng)更新的圖像，并且在HMD上顯示一個或多個經(jīng)更新的圖像。在一些情況下，一個或多個經(jīng)更新的圖像可使用顯示器（諸如顯示器150）內(nèi)的電路經(jīng)由單應(yīng)變換和/或像素偏移調(diào)整來生成。

圖2A描繪了與第二移動設(shè)備5通信的移動設(shè)備19的一個實施例。移動設(shè)備19可包括透視HMD。如所描繪的，移動設(shè)備19經(jīng)由有線連接6與移動設(shè)備5通信。然而，移動設(shè)備19還可經(jīng)由無線連接與移動設(shè)備5通信。移動設(shè)備5可由移動設(shè)備19用來卸載計算密集的處理任務(wù)（例如，渲染虛擬對象），并將可被用來提供增強現(xiàn)實環(huán)境的虛擬對象信息和其他數(shù)據(jù)存儲在移動設(shè)備19上。移動設(shè)備5還可向移動設(shè)備19提供與移動設(shè)備5相關(guān)聯(lián)的運動和/或定向信息。在一個示例中，運動信息可包括與移動設(shè)備5相關(guān)聯(lián)的速度或加速度，并且定向信息可包括歐拉角，其提供圍繞特定坐標系統(tǒng)或參照系的轉(zhuǎn)動信息。在一些情況中，移動設(shè)備5可包括運動和定向傳感器，諸如慣性測量單元（IMU），以便獲得與移動設(shè)備5相關(guān)聯(lián)的運動和／或定向信息。

圖2B描繪了HMD（諸如圖1的移動設(shè)備19）的一部分的一個實施例。僅描繪了HMD 200的右側(cè)。HMD 200包括右鏡腿202、鼻梁204、鏡片216、以及眼鏡框214。右鏡腿202包括與處理單元236通信的捕捉設(shè)備213（例如，前置相機和/或話筒）。捕捉設(shè)備213可包括用于記錄數(shù)字圖像和/或視頻的一個或多個相機，并可將視覺記錄傳送到處理單元236。一個或多個相機可捕捉色彩信息、IR信息、和/或深度信息。捕捉設(shè)備213還可包括用于記錄聲音的一個或多個話筒，并可將音頻記錄傳送到處理單元236。

右鏡腿202還包括生物測定傳感器220、眼睛跟蹤系統(tǒng)221、耳機230、運動和定向傳感器238、GPS接收器232、電源239、以及無線接口237，所有這些都與處理單元236通信。生物測定傳感器220可包括用于確定與HMD 200的最終用戶的脈搏或心率相關(guān)聯(lián)的一個或多個電極，以及用于確定與HMD 200的最終用戶相關(guān)聯(lián)的體溫的溫度傳感器。在一個實施例中，生物測定傳感器220包括壓著最終用戶太陽穴的脈搏速率測量傳感器。運動和定向傳感器238可以包括三軸磁力計、三軸陀螺儀、和/或三軸加速度計。在一個實施例中，運動和定向傳感器238可包括慣性測量單元（IMU）。GPS接收器可確定與HMD 200相關(guān)聯(lián)的GPS位置。處理單元236可以包括一個或多個處理器和用于存儲將要在所述一個或多個處理器上執(zhí)行的計算機可讀指令。存儲器還可存儲要在一個或多個處理器上執(zhí)行的其它類型的數(shù)據(jù)。

在一個實施例中，眼睛跟蹤系統(tǒng)221可包括一個或多個面向內(nèi)的相機。在另一實施例中，眼睛跟蹤系統(tǒng)221可包括眼睛跟蹤照明源和相關(guān)聯(lián)的眼睛跟蹤圖像傳感器。在一個實施例中，眼睛跟蹤照明源可包括以大約預(yù)定IR波長或一定范圍的波長發(fā)射的一個或多個紅外（IR）發(fā)射器（諸如紅外發(fā)光二極管（LED）或激光器（例如，VCSEL））。在一些實施例中，眼睛跟蹤傳感器可包括用于跟蹤閃光位置的IR相機或IR位置敏感檢測器（PSD）。關(guān)于眼睛跟蹤系統(tǒng)的更多信息可在2008年7月22提交的標題為“Head Mounted Eye Tracking and Display System（頭戴式眼睛跟蹤和顯示系統(tǒng)）”的美國專利7,401,920，以及2011年9月26日提交的標題為“Integrated Eye Tracking and Display System（集成眼睛跟蹤和顯示系統(tǒng)）”的美國專利申請13/245,700中找到。

在一個實施例中，鏡片216可包括透視顯示器，處理單元236生成的圖像由此可被投影和/或顯示在透視顯示器上。透視顯示器可通過調(diào)制被提供到該顯示器（諸如硅上液晶（LCOS）顯示器）的光或通過在該顯示器（諸如OLED顯示器）內(nèi)生成光來顯示虛擬對象的圖像。捕捉設(shè)備213可被校準，使得捕捉設(shè)備213所捕捉的視野對應(yīng)于HMD 200的最終用戶所看到的視野。耳機230可用于輸出與虛擬對象的投影圖像相關(guān)聯(lián)的聲音。在一些實施例中，HMD 200可包括兩個或更多個前置相機（例如，每個鏡腿上一個相機），以便從與前置相機所捕捉的視野相關(guān)聯(lián)的立體信息中獲得深度。兩個或更多個前置相機還可包括3D、IR、和/或RGB相機。也可從利用來自運動技術(shù)的深度的單個相機中獲取深度信息。例如，可從單個相機獲取兩個圖像，這兩個圖像與在不同的時間點的、兩個不同的空間點相關(guān)聯(lián)。然后，給定與兩個不同空間點有關(guān)的位置信息的情況下，可執(zhí)行視差計算。

在一些實施例中，HMD 200可使用注視檢測元件和與一個或多個人類眼睛元素（諸如角膜中心、眼球旋轉(zhuǎn)的中心、或瞳孔中心）有關(guān)的三維坐標系，來為最終用戶眼睛中的每只眼睛執(zhí)行注視檢測。注視檢測可被用于標識最終用戶聚焦在視野內(nèi)的何處，并且更具體地，被用于確定最終用戶的注視位置。注視檢測元件的示例可包括生成閃光的照明器和用于捕捉表示所生成的閃光的數(shù)據(jù)的傳感器。在一些情況中，角膜中心可以基于兩次閃光使用平面幾何來確定。角膜中心鏈接瞳孔中心和眼球的旋轉(zhuǎn)中心，這可被當(dāng)作用于確定處于某種注視或觀看角度的最終用戶的眼睛的光軸的固定位置。注視檢測可例如由以上參考圖2B描述的眼睛跟蹤系統(tǒng)221來執(zhí)行，但不被限制于此。例如，還可能基于如被IMU或其他定向傳感器確定的頭部位置來估計注視位置。

在一個實施例中，處理單元236可包括用于生成被預(yù)先渲染的圖像的核心渲染流水線（例如，包括一個或多個圖形處理單元）并且與鏡片216相關(guān)聯(lián)的顯示器可基于與HMD 200相關(guān)聯(lián)的后期姿態(tài)信息來對被預(yù)先渲染的圖像執(zhí)行后期圖形調(diào)整。由于經(jīng)更新的姿態(tài)信息可按比用于核心渲染流水線的最大渲染幀速率更高的頻率來提供，后期圖形調(diào)整可按大于該最大渲染幀速率的頻率來被應(yīng)用到被預(yù)先渲染的圖像。

圖3A描繪了用于按比用于核心渲染流水線的渲染幀速率大的幀速率來生成和顯示與虛擬對象（或一個以上的虛擬對象）相關(guān)聯(lián)的圖像的系統(tǒng)的一個實施例。如描繪的，渲染模塊302可生成對應(yīng)于HMD的特定姿態(tài)的被預(yù)先渲染的圖像。特定姿態(tài)可通過姿態(tài)估計模塊312被提供到渲染模塊302。姿態(tài)估計模塊312可基于HMD的移動歷史來預(yù)測HMD的將來姿態(tài)。在一些實施例中，姿態(tài)估計模塊312可預(yù)測HMD的多于一個的將來姿態(tài)（例如，對于HMD而言三個可能的將來姿態(tài)），并且渲染模塊302可生成對應(yīng)于該多于一個的將來姿態(tài)的多個被預(yù)先渲染的圖像。當(dāng)經(jīng)更新的姿態(tài)信息變得可用時，該多于一個的將來姿態(tài)中最接近的姿態(tài)（即，最佳預(yù)測姿態(tài)）以及該最接近的姿態(tài)的對應(yīng)的被預(yù)先渲染的圖像可被用于通過對該最接近的姿態(tài)的對應(yīng)的被預(yù)先渲染的圖像應(yīng)用后期圖形調(diào)整來生成經(jīng)更新的圖像。在一個實施例中，當(dāng)經(jīng)更新的姿態(tài)信息變得可用時，替代于與該多于一個的將來姿態(tài)中最接近的姿態(tài)相關(guān)聯(lián)的被預(yù)先渲染的圖像被選擇，經(jīng)更新的圖像可使用從對應(yīng)于該多于一個的將來姿態(tài)的多個被預(yù)先渲染的圖像中外插和/或內(nèi)插的圖像來生成。

在一些情況下，姿態(tài)估計模塊312可根據(jù)基于相機的姿態(tài)跟蹤信息和/或基于相機的姿態(tài)跟蹤信息與低等待時間IMU運動信息的組合來確定HMD的當(dāng)前姿態(tài)。姿態(tài)估計模塊312可通過外插HMD的先前移動（例如，在確定當(dāng)前姿態(tài)前5ms（毫秒）或10ms的HMD的移動）來預(yù)測HMD的將來姿態(tài)。

后期重投影（LSR）模塊308可基于由姿態(tài)估計模塊312提供的經(jīng)更新的姿態(tài)估計信息來對由渲染模塊302生成的被預(yù)先渲染的圖像執(zhí)行后期圖形調(diào)整。在一個實施例中，渲染模塊302可每16ms或每32ms生成被預(yù)先渲染的圖像并且LSR模塊308可每2ms或每4ms生成經(jīng)調(diào)整的圖像（即，LSR模塊308可按比渲染模塊302的最大渲染幀速率大的幀速率來向顯示器310提供圖像）。如描繪的，LSR模塊308包括圖像調(diào)整模塊304和像素調(diào)整模塊306。圖像調(diào)整模塊304可通過向被預(yù)先渲染的圖像應(yīng)用單應(yīng)（homographic）變換（例如，應(yīng)用單平面單應(yīng)性或多平面單應(yīng)性）來生成經(jīng)調(diào)整的圖像。在一個示例中，圖像調(diào)整模塊304可將仿射變換應(yīng)用到被預(yù)先渲染的圖像。像素調(diào)整模塊306可執(zhí)行圖像的二維像素移位。被像素調(diào)整模塊306像素移位的圖像可包括被預(yù)先渲染的圖像的一部分或由圖像調(diào)整模塊304生成的圖像的一部分。在一些情況下，LSR模塊308可通過將單應(yīng)變換應(yīng)用到被預(yù)先渲染的圖像并接著將像素偏移調(diào)整應(yīng)用到經(jīng)由單應(yīng)變換生成的圖像來生成經(jīng)調(diào)整的圖像。由LSR模塊308生成的經(jīng)調(diào)整的圖像可被顯示在顯示器310上。在一個實施例中，顯示器310可包括OLED顯示器。

在一些實施例中，LSR模塊308的各部分可與顯示器310集成。在一個示例中，像素調(diào)整模塊306可使用顯示器310內(nèi)用于允許顯示器310的像素陣列內(nèi)的像素值的移位的移位寄存器或其他電路來執(zhí)行。在另一示例中，圖像調(diào)整模塊304和像素調(diào)整模塊306兩者可由與顯示器310集成的控制器或處理器來執(zhí)行。

圖3B描繪了圖3A中的顯示器310的一個實施例。如描繪的，顯示器包括由行驅(qū)動器322和數(shù)據(jù)線驅(qū)動器224驅(qū)動的像素陣列320。像素陣列320包括多個像素321。在一個實施例中，每個像素321可包括OLED像素。每個OLED像素可包括一OLED以及用于控制該OLED的電路組。行驅(qū)動器322可驅(qū)動行線（或掃描線）以用于選擇像素陣列320內(nèi)的特定像素行以及用于將對應(yīng)于數(shù)據(jù)線驅(qū)動器324的數(shù)據(jù)線連接到特定像素行中的像素。與行驅(qū)動器322相關(guān)聯(lián)的每個行線可連接到特定像素行的每個像素內(nèi)的鎖存TFT。鎖存TFT可將存儲電容器與數(shù)據(jù)線中的特定數(shù)據(jù)線（例如，連接到像素陣列的某一列中的每個像素的特定列數(shù)據(jù)線）隔離。存儲電容器可被用于存儲用于偏置驅(qū)動OLED的第二TFT的柵極的電壓?？刂破?26可通過控制行驅(qū)動器322和數(shù)據(jù)線驅(qū)動器324來將像素值加載到像素陣列320內(nèi)。控制器326可訪問存儲在緩沖器328中的被緩沖的圖像并在將像素值加載到像素陣列320之前執(zhí)行圖像調(diào)整。

在一個實施例中，控制器326可對存儲在緩沖器328中的圖像（或圖像的一部分）執(zhí)行特定單應(yīng)變換并接著將經(jīng)調(diào)整的圖像加載到像素陣列320內(nèi)以供顯示。控制器326還可對存儲在緩沖器328中的圖像執(zhí)行像素偏移調(diào)整（例如，通過將圖像的像素值在X方向上移位第一像素偏移并在Y方向上移位第二像素偏移）。

圖3C描繪了圖3A中的顯示器310的一替換實施例。如描繪的，顯示器包括由行驅(qū)動器322和數(shù)據(jù)線驅(qū)動器224驅(qū)動的像素陣列330。像素陣列330包括多個像素331。在一個實施例中，每個像素331可包括OLED像素。每個OLED像素可包括一OLED、用于控制該OLED的第一組電路以及用于在像素陣列330內(nèi)執(zhí)行像素移位的第二組電路。像素陣列330可包括相鄰像素之間用于促進像素陣列內(nèi)像素值的移位的像素互連333。在一個實施例中，被鎖存的數(shù)據(jù)值可被垂直地（即，在列方向上）和/或水平地（即，在行方向上）在相鄰像素之間移位。在另一實施例中，存儲在特定像素的存儲電容器上的數(shù)據(jù)值可被用于驅(qū)動像素陣列330內(nèi)的多個OLED之一（即，而非物理地移位被鎖存的數(shù)據(jù)值，每個像素內(nèi)的復(fù)用器可被用于選擇正確的被鎖存的數(shù)據(jù)值來應(yīng)用到其對應(yīng)的OLED）。

行驅(qū)動器322可驅(qū)動行線（或掃描線）以用于選擇像素陣列330內(nèi)的特定像素行以及用于將對應(yīng)于數(shù)據(jù)線驅(qū)動器324的數(shù)據(jù)線連接到特定像素行中的像素。與行驅(qū)動器322相關(guān)聯(lián)的每個行線可連接到特定像素行的每個像素內(nèi)的鎖存TFT。鎖存TFT可將存儲電容器與數(shù)據(jù)線中的特定數(shù)據(jù)線（例如，連接到像素陣列的某一列中的像素的特定列數(shù)據(jù)線）隔離。存儲電容器可被用于存儲用于偏置驅(qū)動OLED的第二TFT的電壓（例如，用于控制第二TFT的柵極）。在一個實施例中，每個像素331可包括復(fù)用器，該復(fù)用器用于選擇多個被鎖存的數(shù)據(jù)值（每個被存儲在像素陣列內(nèi)的存儲電容器上）之一來用于驅(qū)動TFT，該TFT驅(qū)動該像素的OLED。在一些情況下，復(fù)用器可允許將像素陣列330內(nèi)所顯示的像素值在X方向上移位第一像素偏移并在Y方向上移位第二像素偏移?？刂破?32可通過控制行驅(qū)動器322和數(shù)據(jù)線驅(qū)動器324來將像素值加載到像素陣列330內(nèi)?？刂破?32可在將像素值加載到像素陣列330中之前執(zhí)行圖像調(diào)整?？刂破?32可包括用于對被提供到顯示器310的圖像信息進行緩沖的存儲器緩沖器。

在一個實施例中，控制器332可對圖像執(zhí)行特定單應(yīng)變換，接著將與該圖像相關(guān)聯(lián)的像素值加載到像素陣列330中。控制器可隨后通過移位像素陣列331內(nèi)的像素值來執(zhí)行像素偏移調(diào)整。在一個示例中，每個像素內(nèi)的被鎖存的數(shù)據(jù)值可經(jīng)由像素互連333在像素陣列內(nèi)被垂直地（即，在列方向上）和/或水平地（即，在行方向上）移位。在另一示例中，被鎖存的數(shù)據(jù)值可被用于通過在像素陣列330的每個像素331內(nèi)并入復(fù)用器來驅(qū)動像素陣列330內(nèi)的多個OLED之一。在一些情況下，像素陣列330可利用CMOS背板。在其他情況下，像素陣列330可利用CCD背板。

圖4A描繪了被預(yù)先渲染的圖像412的一部分以及基于該被預(yù)先渲染的圖像412的經(jīng)更新的圖像414。如所描繪的，被預(yù)先渲染的圖像412可基于HMD的初始姿態(tài)估計（例如，將來8ms或16ms的HMD的預(yù)測的姿態(tài)）被渲染?？苫贖MD的當(dāng)前位置和朝向以及HMD的就在確定初始姿態(tài)估計之前的加速度和速度來確定該初始姿態(tài)估計。被預(yù)先渲染的圖像412可包括基于初始姿態(tài)估計的被渲染的圖像并且可使用GPU或其他渲染系統(tǒng)來被渲染，該其他渲染系統(tǒng)具有在給定特定姿態(tài)的情況下將三維場景渲染成二維圖像的能力。經(jīng)更新的姿態(tài)估計可基于經(jīng)更新的姿態(tài)信息來確定，該經(jīng)更新的姿態(tài)信息是在確定初始姿態(tài)估計之后的時間點處被獲取的。在一個示例中，經(jīng)更新的姿態(tài)信息可根據(jù)基于相機的姿態(tài)跟蹤信息和/或基于相機的姿態(tài)跟蹤信息和對應(yīng)于HMD的低等待時間IMU運動信息的組合來生成。

在一些實施例中，經(jīng)更新的圖像414可通過基于經(jīng)更新的姿態(tài)估計和初始姿態(tài)估計之間的姿態(tài)區(qū)別來將圖像變換應(yīng)用到被預(yù)先渲染的圖像412來生成。在一些實施例中，圖像變換可包括對被預(yù)先渲染的圖像412的至少一部分的圖像旋轉(zhuǎn)、平移、重新調(diào)整大小（例如，伸展或收縮）、移位或傾斜。經(jīng)更新的圖像414可經(jīng)由被預(yù)先渲染的圖像412的單應(yīng)變換來生成。在一些情況下，單應(yīng)變換可包括多平面單應(yīng)性、單平面單應(yīng)性和/或仿射單應(yīng)性。

在一些實施例中，經(jīng)更新的圖像414可通過將像素偏移調(diào)整應(yīng)用到被預(yù)先渲染的圖像402來生成。像素偏移調(diào)整的程度可取決于經(jīng)更新的姿態(tài)估計和初始姿態(tài)估計之間的區(qū)別。如描繪的，虛擬對象（即，虛擬圓柱體）的圖像413已經(jīng)在X維度和Y維度兩者上被像素移位（例如，向左4像素并且向上3像素）。在一個實施例中，經(jīng)更新的圖像414使用像素偏移調(diào)整或單應(yīng)變換和像素偏移調(diào)整的組合來生成。單應(yīng)變換和/或像素偏移調(diào)整可使用與顯示器集成的控制器或處理器來生成。在一些情況下，像素偏移調(diào)整可使用顯示器來執(zhí)行，該顯示器合并用于允許在該顯示器的像素陣列內(nèi)的像素值的移位的移位寄存器或其他電路。

圖4B描繪了被預(yù)先渲染的圖像422以及被用于基于該被預(yù)先渲染的圖像422的各部分來生成經(jīng)更新的圖像（或目標圖像）的采樣區(qū)域424和426的一個實施例。如描繪的，被預(yù)先渲染的圖像422包括虛擬對象421（即，虛擬圓柱體）的圖像。在一個實施例中，采樣區(qū)域424可對應(yīng)于用于生成第一經(jīng)更新的圖像的第一單應(yīng)變換并且采樣區(qū)域426可對應(yīng)于用于生成第二經(jīng)更新的圖像的第二單應(yīng)變換。單應(yīng)信息可包括被預(yù)先渲染的圖像（即，源圖像或源幀）內(nèi)的像素（或點）與經(jīng)更新的圖像（即，目標圖像或目標幀）內(nèi)的點之間的加權(quán)映射。采樣區(qū)域的四個角可對應(yīng)于對應(yīng)的經(jīng)更新的圖像的四個角。在一個實施例中，與采樣區(qū)域424相關(guān)聯(lián)的四邊形區(qū)域（即，源圖像內(nèi)的第一點子集）可被映射到與經(jīng)更新的圖像相關(guān)聯(lián)的第二四邊形區(qū)域（即，目標圖像內(nèi)的第二點子集）。在一些情況下，采樣區(qū)域424可從核心渲染流水線或渲染GPU的幀緩沖器內(nèi)的圖像的一部分中得出。在仿射單應(yīng)性的情況下，源圖像內(nèi)的第一平行四邊形區(qū)域內(nèi)的點可被映射到目標圖像內(nèi)的第二平行四邊形區(qū)域內(nèi)的點（或到包括矩形區(qū)域的整個目標圖像）。

如描繪的，源圖像可以比對應(yīng)的目標圖像大。源圖像可被過渲染以考慮當(dāng)前視點或姿態(tài)之外的潛在頭部移動。在一個示例中，源圖像可包括為1920像素乘1080像素的圖像并且目標圖像可包括為1366像素乘768像素的圖像。假設(shè)一對一映射，采樣區(qū)域424和426可均包括為1366像素乘768像素的圖像。在一些實施例中，目標圖像內(nèi)的每個像素可對應(yīng)于源圖像內(nèi)的四個或更多個像素的加權(quán)映射。從源圖像的采樣區(qū)域的源像素到目標圖像的目標像素的映射可包括對源像素的雙線性過濾（或其他紋理過濾）。在一些情況下，失真校正映射可在應(yīng)用單應(yīng)變換之前被應(yīng)用到源圖像。

在一個實施例中，采樣區(qū)域424（以及第一單應(yīng)變換）可與HMD在第一時間點的第一姿態(tài)（或第一預(yù)測的姿態(tài)）相關(guān)聯(lián)并且采樣區(qū)域426（以及第二單應(yīng)變換）可與HMD的在第一時間點之后的第二時間點（例如，在第一時間點之后的2ms或4ms）的第二姿態(tài)（或第二預(yù)測的姿態(tài)）相關(guān)聯(lián)。在一個示例中，第一預(yù)測的姿態(tài)可對應(yīng)于將來4ms的預(yù)測的姿態(tài)，并且第二預(yù)測的姿態(tài)可對應(yīng)于將來8ms的預(yù)測的姿態(tài)。對應(yīng)于第一單應(yīng)變換的第一經(jīng)更新的圖像可在對應(yīng)于第二單應(yīng)變換的第二經(jīng)更新的圖像顯示之前被顯示。第一經(jīng)更新的圖像可在第二經(jīng)更新的圖像在被生成的同時被顯示。

在一個實施例中，圖4B中的采樣區(qū)域424可對應(yīng)于用于生成目標圖像的第一部分（例如，目標圖像的頂部）的第一單應(yīng)變換并且圖4B中的采樣區(qū)域426可對應(yīng)于用于生成目標圖像的第二部分（例如，目標圖像的底部）的第二單應(yīng)變換。

圖4C描繪了圖4B的被預(yù)先渲染的圖像422的一個實施例，其中滾動緩沖器432（例如，跨越特定數(shù)量的行或掃描線）被應(yīng)用到被預(yù)先渲染的圖像422。在一些情況下，被預(yù)先渲染的圖像422可包括多個片段（例如，每個跨越10行）并且滾動緩沖器432可對應(yīng)于該多個片段中在特定時間點的一個片段（例如，滾動緩沖器432可按從頂部到底部的順序在該多個片段中的每一個片段之間移動）。滾動緩沖器432可確定被預(yù)先渲染的圖像422內(nèi)可在特定時間點對其進行操作的源像素。在一些情況下，單應(yīng)變換可應(yīng)用到滾動緩沖器432內(nèi)的源像素子集（例如，對應(yīng)于圖4B的采樣區(qū)域424與被滾動緩沖器432指向的源圖像行的重疊）。

將滾動緩沖器應(yīng)用到源圖像的概念也可被應(yīng)用到目標圖像。在一些實施例中，單應(yīng)變換可對應(yīng)于目標圖像內(nèi)的目標像素子集。例如，滾動緩沖器可被應(yīng)用到目標圖像，使得單應(yīng)性（或其他圖像變換）被應(yīng)用到目標像素子集。目標像素子集可對應(yīng)于目標圖像內(nèi)的掃描線集合（例如，目標像素子集包括跨越目標圖像的20行的像素）。在這種掃描顯示的情況下，圖像重投影技術(shù)可被應(yīng)用到將在特定時間段內(nèi)被更新的像素（例如，單應(yīng)變換僅需要應(yīng)用到目標圖像內(nèi)將在下2ms內(nèi)被顯示或更新的那些像素）。

圖5A描繪了將后期圖形調(diào)整應(yīng)用到被渲染的圖像以生成經(jīng)更新的圖像的一個實施例。經(jīng)更新的圖像可使用HMD來顯示。如描繪的，被渲染的圖像（圖像X）在時間T2之前可用。取決于用于生成被渲染的圖像的核心渲染流水線，用于渲染被渲染的圖像的整體時間可以例如是16ms、30ms或60ms。在被渲染的圖像變得在時間T2可用之前，姿態(tài)估計（P1）可在時間T1被啟動并被用于基于被渲染的圖像來在時間T2之前生成經(jīng)更新的圖像（圖像A）。經(jīng)更新的圖像（圖像A）可使用HMD的顯示器在時間T2和T6之間被顯示。在一個實施例中，姿態(tài)估計（P1）可對應(yīng)于在時間T4（或在其間圖像使用HMD被投影的另一時間點）的HMD的被預(yù)測的姿態(tài)。在一些實施例中，被預(yù)測的姿態(tài)的時間可對應(yīng)于從被渲染的圖像（圖像X）中得到的經(jīng)更新的圖像（圖像A）的顯示的中間顯示時間。經(jīng)更新的圖像的顯示的中間顯示時間可對應(yīng)于投影的中心光子或投影時間的中間點。在時間T5，第二姿態(tài)估計（P2）可被啟動并被用于在時間T6之前生成第二經(jīng)更新的圖像（圖像B）。第二經(jīng)更新的圖像（圖像B）可在時間T6處開始被顯示。

在一個示例中，顯示器可每4ms（即，在T2和T6之間的時間可以是4ms）顯示經(jīng)更新的圖像。在被渲染的圖像（圖像X）變得可用之前，對應(yīng)于經(jīng)更新的圖像的中間顯示時間的被預(yù)測的姿態(tài)可被確定。由于被預(yù)測的姿態(tài)在時間T1處被啟動并且經(jīng)更新的圖像將被顯示達4ms，被預(yù)測的姿態(tài)可對應(yīng)于從時間T1起將來3ms的被預(yù)測的姿態(tài)。對中間顯示時間的前向預(yù)測的一個原因是由于顯示等待時間引起的錯誤可在大約中間顯示時間被最小化或居中。

在一個實施例中，顯示器可包括場序彩色顯示器并且經(jīng)更新的圖像（圖像A）可對應(yīng)于第一色彩場（例如，紅色圖像）并且第二經(jīng)更新的圖像（圖像B）可對應(yīng)于第二色彩場（例如，綠色圖像）。在這種情況下，姿態(tài)估計（P1）可被用于生成與第一色彩場相關(guān)聯(lián)的經(jīng)更新的圖像（圖像A）并且第二姿態(tài)估計（P2）可被用于生成與第二色彩場相關(guān)聯(lián)的第二經(jīng)更新的圖像（圖像B）。在一些情況下，經(jīng)更新的圖像（圖像A）可使用被渲染的圖像（圖像X）的像素偏移調(diào)整來生成并且第二經(jīng)更新的圖像（圖像B）可使用對被渲染的圖像（圖像X）的單應(yīng)變換和/或被渲染的圖像（圖像X）的第二像素偏移調(diào)整來生成。場序彩色顯示器可包括例如OLED顯示器或LCOS顯示器。

在一個實施例中，顯示器可包括以單極方式來驅(qū)動的LCOS顯示器，其中驅(qū)動電壓可在圖像投影期間被反轉(zhuǎn)以防止液晶降級。由于每個色彩場投影可對應(yīng)于正投影（例如，圖像投影的前2ms）和負投影（例如，圖像投影的最后2ms）兩者，第一經(jīng)更新的圖像可在正投影期間被投影并且第二經(jīng)更新的圖像可在負投影期間被投影，從而有效地使顯示幀速率翻倍。在一些情況下，第一經(jīng)更新的圖像可通過與LCOS顯示器集成的電路經(jīng)由第一像素偏移調(diào)整來生成，并且第二經(jīng)更新的圖像可通過與LCOS顯示器集成的電路經(jīng)由第二像素偏移調(diào)整來生成。

圖5B描繪了與顯示器相關(guān)聯(lián)的顯示序列的一個實施例。顯示序列可對應(yīng)于場序彩色顯示或非場序彩色顯示。在一個實施例中，與紅、綠和藍色彩場中的每個色彩場相關(guān)聯(lián)的圖像可在不同的時間點被加載到顯示器中。例如，與紅色彩場相關(guān)聯(lián)的第一圖像（加載（Load）R）可在時間T0和T1之間被加載到顯示器中，與綠色彩場相關(guān)聯(lián)的第二圖像（加載G）可在時間T1和T2之間被加載到顯示器中，并且與藍色彩場相關(guān)聯(lián)的第三圖像（加載B）可在時間T2和T3之間被加載到顯示器中。隨著第二圖像（加載G）被加載到顯示器中，與第一圖像的單應(yīng)變換相對應(yīng)的紅色單應(yīng)圖像（R-H）以及與先前加載的藍色圖像的第二像素偏移調(diào)整相對應(yīng)的經(jīng)藍色像素調(diào)整的圖像（B-P2）可被顯示在顯示器上。隨著第三圖像（加載B）被加載到顯示器中，與第二圖像的單應(yīng)變換相對應(yīng)的綠色單應(yīng)圖像（G-H）以及與紅色單應(yīng)圖像（R-H）的第一像素偏移調(diào)整相對應(yīng)的經(jīng)紅色像素調(diào)整的圖像（R-P1）可被顯示在顯示器上。在時間T3和T4之間，與第三圖像的單應(yīng)變換相對應(yīng)的藍色單應(yīng)圖像（B-H）可被顯示，同時與紅色單應(yīng)圖像（R-H）的第二像素偏移調(diào)整相對應(yīng)的經(jīng)紅色像素調(diào)整的圖像（R-P2）以及與綠色單應(yīng)圖像（G-H）的第一像素偏移調(diào)整相對應(yīng)的經(jīng)綠色像素調(diào)整的圖像（G-P1）被顯示。在時間T4和T5之間，隨著下一紅色彩場圖像被加載到顯示器中，與綠色單應(yīng)圖像（G-H）的第二像素偏移調(diào)整相對應(yīng)的經(jīng)綠色像素調(diào)整的圖像（G-P2）以及與藍色單應(yīng)圖像（B-H）的第一像素偏移調(diào)整相對應(yīng)的經(jīng)藍色像素調(diào)整的圖像（B-P1）被顯示。在一些情況下，顯示器可包括OLED顯示器并且時間T1和T5之間的時間可包括大約8ms。該實施例在場序彩色顯示被使用時有利地減少了色彩分離偽像。

在一個實施例中，對被加載的彩色圖像的單應(yīng)變換和對所顯示的圖像的任何像素偏移調(diào)整可由顯示器內(nèi)的線路來執(zhí)行。在另一實施例中，對彩色圖像的單應(yīng)變換和對所顯示的圖像的任何像素偏移調(diào)整可由主機設(shè)備來執(zhí)行并被傳送到顯示器。

圖5C描繪了與顯示器相關(guān)聯(lián)的顯示序列的替換實施例。顯示序列可對應(yīng)于場序彩色顯示或非場序彩色顯示。在一個實施例中，與紅、綠和藍色彩場中的每個色彩場相關(guān)聯(lián)的圖像可在不同的時間點被加載到顯示器中。例如，與紅色彩場相關(guān)聯(lián)的第一圖像（R-L）可在時間T0和T1之間被加載到顯示器中，與綠色彩場相關(guān)聯(lián)的第二圖像（G-L）可在時間T1和T2之間被加載到顯示器中，并且與藍色彩場相關(guān)聯(lián)的第三圖像（B-L）可在時間T2和T3之間被加載到顯示器中。隨著第二圖像（G-L）被加載到顯示器中，與第一圖像的單應(yīng)變換相對應(yīng)的紅色單應(yīng)圖像（R-H）、與先前被記載的藍色圖像的第二像素偏移調(diào)整相對應(yīng)的經(jīng)藍色像素調(diào)整的圖像（B-P2）以及與先前被加載的綠色圖像的第三像素偏移調(diào)整相對應(yīng)的經(jīng)綠色像素調(diào)整的圖像（G-P3）可被顯示在顯示器上（即，G-P3圖像可在G-L圖像被加載到顯示器中的同時被顯示）。隨著第三圖像（B-L）被加載到顯示器中，與第二圖像的單應(yīng)變換相對應(yīng)的綠色單應(yīng)圖像（G-H）、與紅色單應(yīng)圖像（R-H）的第一像素偏移調(diào)整相對應(yīng)的經(jīng)紅色像素調(diào)整的圖像（R-P1）以及與先前被加載的藍色圖像的第三像素偏移調(diào)整相對應(yīng)的經(jīng)藍色像素調(diào)整的圖像（B-P3）可被顯示在顯示器上（即，B-P3圖像可在B-L圖像被加載到顯示器中的同時被顯示）。在時間T3和T4之間，與第三圖像的單應(yīng)變換相對應(yīng)的藍色單應(yīng)圖像（B-H）可被顯示，同時與紅色單應(yīng)圖像（R-H）的第二像素偏移調(diào)整相對應(yīng)的經(jīng)紅色像素調(diào)整的圖像（R-P2）以及與綠色單應(yīng)圖像（G-H）的第一像素偏移調(diào)整相對應(yīng)的經(jīng)綠色像素調(diào)整的圖像（G-P1）被顯示。在時間T4和T5之間，隨著下一紅色彩場圖像被加載到顯示器中，與綠色單應(yīng)圖像（G-H）的第二像素偏移調(diào)整相對應(yīng)的經(jīng)綠色像素調(diào)整的圖像（G-P2）、與藍色單應(yīng)圖像（B-H）的第一像素偏移調(diào)整相對應(yīng)的經(jīng)藍色像素調(diào)整的圖像（B-P1）以及與先前被加載的紅色圖像的第三像素偏移調(diào)整相對應(yīng)的經(jīng)紅色像素調(diào)整的圖像（R-P3）可被顯示在顯示器上（即，R-P3圖像可在下一紅色圖像被加載到顯示器中的同時被顯示）。在一些情況下，顯示器可包括具有圖像緩沖器的OLED顯示器并且時間T1和T5之間的時間可包括大約8ms,該圖像緩沖器用于在顯示其他圖像的同時允許新的圖像被加載。

在一個實施例中，對被加載的彩色圖像的單應(yīng)變換和對所顯示的圖像的任何像素偏移調(diào)整可由顯示器內(nèi)的線路來執(zhí)行。在另一實施例中，對彩色圖像的單應(yīng)變換和對所顯示的圖像的任何像素偏移調(diào)整可由主機設(shè)備來執(zhí)行并被傳送到顯示器。

圖6A是描述了用于按比渲染幀速率大的幀速率來生成并顯示與虛擬對象相關(guān)聯(lián)的圖像的方法的一個實施例的流程圖。在一個實施例中，圖6A的過程由諸如圖1中的移動設(shè)備19的HMD來執(zhí)行。

在步驟602，與HMD相關(guān)聯(lián)的姿態(tài)歷史被獲取。姿態(tài)歷史可包括HMD的隨著時間推移的位置、朝向和移動。在步驟604，HMD的當(dāng)前姿態(tài)被確定。當(dāng)前姿態(tài)可使用基于相機的姿態(tài)跟蹤來確定。在步驟606，基于當(dāng)前姿態(tài)和姿態(tài)歷史來確定HMD的被預(yù)測的姿態(tài)。被預(yù)測的姿態(tài)可對應(yīng)于第一時間點（例如，從當(dāng)前姿態(tài)被確定時起將來8ms或16ms）。

在步驟608，基于被預(yù)測的姿態(tài)來生成被渲染的圖像。被渲染的圖像可使用GPU或其他渲染系統(tǒng)來被渲染，該其他渲染系統(tǒng)具有在給定被預(yù)測的姿態(tài)的情況下將三維場景渲染成二維圖像的能力。在步驟610，對應(yīng)于第一時間點的HMD的經(jīng)更新的姿態(tài)被確定。經(jīng)更新的姿態(tài)可使用基于相機的姿態(tài)跟蹤信息和/或基于相機的姿態(tài)跟蹤信息和低等待時間IMU運動信息的組合來確定。

在步驟612，被預(yù)測的姿態(tài)與經(jīng)更新的姿態(tài)之間的姿態(tài)區(qū)別被確定。姿態(tài)區(qū)別可確定要被應(yīng)用到被渲染的圖像的一部分以對在生成被渲染的圖像時的不正確的姿態(tài)預(yù)測進行補償?shù)膱D像調(diào)整的程度。

在步驟614，基于姿態(tài)區(qū)別來生成經(jīng)更新的圖像。經(jīng)更新的圖像可經(jīng)由被渲染的圖像的一部分的單應(yīng)變換來生成。在一些情況下，單應(yīng)變換可包括仿射變換。經(jīng)更新的圖像還可使用像素偏移調(diào)整或單應(yīng)變換和像素偏移調(diào)整的組合來生成。在一些情況下，單應(yīng)變換和/或像素偏移調(diào)整可使用與HMD的顯示器集成的控制器或處理器來生成。在一個實施例中，像素偏移調(diào)整可使用HMD的顯示器來執(zhí)行，該顯示器合并用于允許在該顯示器的像素陣列內(nèi)的像素值的移位的移位寄存器或其他電路。在步驟616，經(jīng)更新的圖像被顯示在HMD上。經(jīng)更新的圖像可使用與HMD集成的OLED顯示器來顯示。

圖6B是描述了用于使用與顯示器集成的電路來作出對被提供到該顯示器的被渲染的圖像的圖形調(diào)整的方法的一個實施例的流程圖。在一個實施例中，圖6B的過程由諸如圖1中的顯示器150的顯示器來執(zhí)行。

在步驟632，從主機獲取圖像。主機可包括用于生成虛擬對象的圖像的核心渲染流水線。在步驟634，通過將單應(yīng)變換應(yīng)用到該圖像來生成第一經(jīng)更新的圖像。單應(yīng)變換可包括仿射變換。在步驟636，第一經(jīng)更新的圖像被加載到顯示器的像素陣列中。顯示器可包括OLED顯示器。在步驟638，第一經(jīng)更新的圖像可使用該顯示器來被顯示。

在步驟640，第二經(jīng)更新的圖像可通過在像素陣列內(nèi)移位第一經(jīng)更新的圖像來生成。在一個實施例中，像素陣列內(nèi)被鎖存的數(shù)據(jù)值可被垂直地（即，在列方向上）和/或水平地（即，在行方向上）在相鄰像素之間移位。在另一實施例中，存儲在像素陣列內(nèi)的數(shù)據(jù)值可驅(qū)動該像素陣列內(nèi)的多個LED之一（即，而非物理地移位被鎖存的數(shù)據(jù)值，每個像素內(nèi)的復(fù)用器可被用于選擇正確的被鎖存的數(shù)據(jù)值來應(yīng)用到其對應(yīng)的LED）。在步驟642，第二經(jīng)更新的圖像被顯示在顯示器上。

圖7A是描述了用于按比渲染幀速率大的幀速率來生成并顯示與虛擬對象相關(guān)聯(lián)的圖像的方法的一替換實施例的流程圖。在一個實施例中，圖7A的過程由諸如圖1中的移動設(shè)備19的HMD來執(zhí)行。

在步驟702，與HMD相關(guān)聯(lián)的第一被預(yù)測的姿態(tài)被確定。HMD的第一被預(yù)測的姿態(tài)可基于HMD的姿態(tài)歷史來確定并且可對應(yīng)于將來時間點，在該將來時間點期間，基于第一被預(yù)測的姿態(tài)的圖像可使用HMD的顯示器被顯示或投影。在步驟704，基于第一被預(yù)測的姿態(tài)來生成被渲染的圖像。被渲染的圖像可使用GPU或其他渲染系統(tǒng)來被渲染，該其他渲染系統(tǒng)具有在給定第一被預(yù)測的姿態(tài)的情況下將三維場景渲染成二維圖像的能力在一些情況下，渲染系統(tǒng)可采取30ms或60ms來渲染被渲染的圖像。由渲染系統(tǒng)生成的每個被渲染的圖像可與元數(shù)據(jù)相關(guān)聯(lián)，該元數(shù)據(jù)標識被渲染的圖像從中生成的特定姿態(tài)。用于生成被渲染的圖像的過程的一個實施例稍后參考圖7B來描述。

在步驟706，HMD的第二被預(yù)測的姿態(tài)被確定。第二被預(yù)測的姿態(tài)可包括經(jīng)更新的姿態(tài)（例如，基于HMD的經(jīng)更新的位置和運動信息的經(jīng)更新的姿態(tài)估計在確定第一被預(yù)測的姿態(tài)之前不可用）。在一些情況下，第二被預(yù)測的姿態(tài)可通過外插基于相機的姿態(tài)跟蹤信息和/或基于相機的姿態(tài)跟蹤信息和低等待時間IMU運動信息的組合來確定。

在一些實施例中，第二被預(yù)測的姿態(tài)可與從被渲染的圖像中得到的經(jīng)更新的圖像的顯示的中間顯示時間相對應(yīng)。經(jīng)更新的圖像的中間顯示時間可對應(yīng)于經(jīng)更新的圖像的投影的中心光子或經(jīng)更新的圖像的投影時間的中間點。

在步驟708，第一被預(yù)測的姿態(tài)與第二被預(yù)測的姿態(tài)之間的姿態(tài)區(qū)別被確定。姿態(tài)區(qū)別可確定要被應(yīng)用到被渲染的圖像的一部分以對在生成被渲染的圖像時的不正確的姿態(tài)預(yù)測進行補償?shù)膱D像調(diào)整的程度。在一些實施例中，如果姿態(tài)區(qū)別低于區(qū)別閾值，則后續(xù)圖形調(diào)整可包括像素偏移調(diào)整。如果姿態(tài)區(qū)別大于或等于區(qū)別閾值，則后續(xù)圖形調(diào)整可包括單應(yīng)性。

在步驟710，基于姿態(tài)區(qū)別以及被渲染的圖像的至少一部分來生成經(jīng)更新的圖像。經(jīng)更新的圖像可經(jīng)由被渲染的圖像的一部分的單應(yīng)變換來生成。在一些情況下，單應(yīng)變換可包括多平面單應(yīng)性、單平面單應(yīng)性和/或仿射單應(yīng)性。經(jīng)更新的圖像還可使用像素偏移調(diào)整或單應(yīng)變換和像素偏移調(diào)整的組合來生成。在一些情況下，單應(yīng)變換和/或像素偏移調(diào)整可使用與HMD的顯示器集成的控制器或處理器或使用在顯示器內(nèi)集成的定制電路來生成。在一個實施例中，像素偏移調(diào)整可使用HMD的顯示器來執(zhí)行，該顯示器合并用于允許在該顯示器的像素陣列內(nèi)的像素值的移位的移位寄存器或其他電路。在步驟712，經(jīng)更新的圖像被顯示在HMD上。經(jīng)更新的圖像可使用與HMD集成的OLED顯示器或LCOS顯示器來顯示。

圖7B是描述了用于生成被渲染的圖像的過程的一個實施例的流程圖。圖7B中描述的過程是用于實現(xiàn)圖7A中步驟704的過程的一個示例。在一個實施例中，圖7B的過程由諸如圖1中的移動設(shè)備19的HMD來執(zhí)行。

在步驟722，HMD的被預(yù)測的姿態(tài)被獲取。被預(yù)測的姿態(tài)可通過查詢姿態(tài)估計模塊（諸如圖3A中的姿態(tài)估計模塊312）來獲取。在步驟724，被HMD的最終用戶聚焦的虛擬對象被標識。在一個實施例中，眼睛跟蹤可被用于確定在特定時間段內(nèi)被最終用戶聚焦的一組被查看的虛擬對象。虛擬對象可被標識為該組被查看的虛擬對象中被最頻繁查看的虛擬對象。虛擬對象可與距HMD的深度或距離相關(guān)聯(lián)。

在步驟726，基于虛擬對象在增強現(xiàn)實環(huán)境內(nèi)的位置來確定穩(wěn)定性平面。穩(wěn)定性平面可與虛擬對象在增強現(xiàn)實環(huán)境內(nèi)的位置一致。在這種情況下，穩(wěn)定性平面（以及對應(yīng)的被渲染的圖像）可隨著最終用戶隨著時間推移將他們的焦點在增強現(xiàn)實環(huán)境內(nèi)的虛擬對象之間轉(zhuǎn)移來在進行中被確定（即，穩(wěn)定性平面在增強現(xiàn)實環(huán)境內(nèi)的位置可基于在特定時間段期間被最頻繁查看的虛擬對象在增強現(xiàn)實環(huán)境內(nèi)的位置來移位）。在步驟728，基于被預(yù)測的姿態(tài)和穩(wěn)定性平面來生成被渲染的圖像。被渲染的圖像可包括穩(wěn)定性平面內(nèi)的二維圖像。在步驟730，被渲染的圖像被輸出。

關(guān)于如何確定穩(wěn)定性平面的附加細節(jié)以及用于確定穩(wěn)定性平面的替代技術(shù)在以下被描述。然而，在開始本描述之前，首先進一步解釋術(shù)語穩(wěn)定性平面以及進一步描述穩(wěn)定性平面在執(zhí)行單應(yīng)變換時可如何被使用是有用的。

單應(yīng)變換使用單應(yīng)變換來執(zhí)行，其也被知曉為單應(yīng)性。單應(yīng)變換是描述從一個視點創(chuàng)建的平面圖像中的點在從另一視點查看時如何呈現(xiàn)的投影變換，其中每個視點包括某一定向和某一位置。如果被渲染的場景是單平面（在單平面中僅包括一個或多個平坦2D對象），則單應(yīng)變換可在沒有誤差的情況下進行。然而，當(dāng)被應(yīng)用到包括3D幾何形狀的場景或被應(yīng)用到包括多個非共面平面（例如，近平面和遠平面）的場景時，將存在由該變換導(dǎo)致的至少一些誤差。例如，當(dāng)單應(yīng)變換被應(yīng)用到包括3D幾何形狀的場景的被渲染的位圖（而非被應(yīng)用到被用于渲染包括3D幾何形狀的場景的位圖的原始3D幾何形狀）時，在該場景的被渲染的位圖中將只有一個單平面將被正確地變換（即，沒有誤差）。該將被正確地變換的單平面在本文中被稱為穩(wěn)定性平面。換言之，穩(wěn)定性表面被定義為如下：包括3D幾何形狀的場景中在將投影變換應(yīng)用到包括3D幾何形狀的場景的被渲染的位圖而非應(yīng)用到原始場景幾何形狀時被正確地變換（不具有誤差）的單平面。

如以上提到的，可基于虛擬對象在增強現(xiàn)實環(huán)境內(nèi)的位置以及更具體地，基于最終用戶聚焦的虛擬對象的位置（其在場景包括最終用戶可選擇來聚焦的多個不同的虛擬對象的場景的情況下尤其有用）來確定穩(wěn)定性表面。關(guān)于如何實現(xiàn)這點的一些附加細節(jié)以及用于確定穩(wěn)定性平面的替代技術(shù)現(xiàn)在將被描述。

穩(wěn)定性平面可包括深度和定向兩者，其中定向不需要平行于查看平面（其中查看平面總是平行于顯示器的平面）。因此，穩(wěn)定性平面可通過從相機位置到穩(wěn)定性平面的距離（其指示深度）以及穩(wěn)定性平面的法向向量（其指示定向）來定義。例如，以下等式是使用穩(wěn)定性平面的單應(yīng)性（H）的一個示例：

H=K2*R2*(I*((c2–c1)*n')/d1)*R1'*inv(K1)

其中：

K是相機校準矩陣（從圖像轉(zhuǎn)換到相機坐標）；

R是與相機位置相關(guān)聯(lián)的旋轉(zhuǎn)；

c是在世界坐標中的相機位置；

n是穩(wěn)定性平面的法向向量；

d是從相機位置到穩(wěn)定性平面的距離；

I（即“i”的大寫字母）是單位矩陣；

單引號指示矩陣轉(zhuǎn)置；

inv()表示反演器矩陣；并且

數(shù)字后綴表示初始視點相較于最終視點，例如c1和c2。

在以上示例性的單應(yīng)性等式中，變量“n”和“d”取決于被選擇的或更一般地被確定的穩(wěn)定性平面。更具體地，對于以上示例性單應(yīng)性等式，變量“n”和“d”對應(yīng)于穩(wěn)定性平面，其中變量“d”指定穩(wěn)定性平面的深度，而變量“n”指定與穩(wěn)定性平面正交（即，垂直）的向量。其他單應(yīng)變換可類似地具有取決于穩(wěn)定性平面的變量。因此，以上單應(yīng)性等式僅僅是一個示例，其不旨在進行限制。

圖8的流程圖現(xiàn)在將被用于進一步描述用于確定穩(wěn)定性平面以及在生成基于被預(yù)先渲染的圖像的經(jīng)更新的圖像以供顯示時使用該穩(wěn)定性平面的方法。參考圖8，在步驟802，渲染一圖像。在步驟802處渲染的圖像可以例如是被前向預(yù)測的被渲染的圖像，但不被限制于此。在步驟804，確定用戶的注視位置。步驟804可通過使用眼睛跟蹤器（例如，眼睛跟蹤器221）執(zhí)行眼睛跟蹤以確定用戶的注視位置來實現(xiàn)。還可能在沒有眼睛跟蹤器221，以及更一般地，在不執(zhí)行眼睛跟蹤的情況下來執(zhí)行步驟804。在一實施例中，步驟804可通過例如使用慣性測量單元（IMU）或其他定向傳感器執(zhí)行頭部跟蹤來確定用戶的頭部位置來實現(xiàn)。接著可基于用戶的頭部位置來估計注視位置。對于更具體的示例，基于用戶的頭部位置，可以存在關(guān)于用戶聚焦于正被顯示的特定虛擬對象的確定，并且注視位置可被估計為在用戶聚焦的虛擬對象的中心（或該虛擬對象的某個其他部分）處。

依然參考圖8，在步驟806，基于所確定的注視位置，存在關(guān)于與單應(yīng)變換相關(guān)聯(lián)的穩(wěn)定性平面的確定。步驟806的根據(jù)各個實施例的附加細節(jié)在以下被描述。在步驟808，單應(yīng)變換被應(yīng)用到被渲染的圖像（該圖像在步驟802被渲染）以從而生成經(jīng)更新的圖像。單應(yīng)變換可包括多平面單應(yīng)性、單平面單應(yīng)性和/或仿射單應(yīng)性，但不被限制于此。在步驟810，經(jīng)更新的圖像的至少一部分被顯示在HMD設(shè)備或包括透視顯示器的某個其他顯示設(shè)備上。經(jīng)更新的圖像還可能被顯示為非透視類型的顯示。

根據(jù)一實施例，步驟806涉及基于所確定的注視位置來確定單應(yīng)變換的定義穩(wěn)定性平面的變量。作為一個示例，步驟806可涉及確定以上討論的示例性單應(yīng)性等式中的變量“n”和“d”。在某些實施例中，穩(wěn)定性平面的深度可被確定為等于注視位置的深度。這樣的確定不需要考慮用戶所聚焦的虛擬對象（如果有的話）。替代地，眼睛跟蹤器（例如221）和/或頭部跟蹤器可被用于標識處于用戶的注視位置處（或在某一范圍內(nèi)）的虛擬對象，并且穩(wěn)定性平面可基于所標識的虛擬對象來確定。這可如何被完成的示例在下文中被討論。

當(dāng)所標識的虛擬對象是平面二維虛擬對象（例如，掛在虛擬墻上的虛擬紙張）時，穩(wěn)定性平面深度和穩(wěn)定性平面定向可被確定為分別等于所標識的平面二維虛擬對象的深度和定向。圖9示出掛在虛擬墻上的虛擬紙張902的示例。圖9中還顯示了可響應(yīng)于檢測到用戶正注視或聚焦于虛擬紙張902而被確定的示例性穩(wěn)定性平面904。

用戶正注視或聚焦于的所標識的虛擬對象可替代地是細長的三維虛擬對象，諸如圖10中顯示的虛擬火車1002。根據(jù)一實施例，當(dāng)在這種情況下時，穩(wěn)定性平面深度和穩(wěn)定性平面定向可被確定為分別等于沿著所標識的細長的三維虛擬對象的細長的長度來將該虛擬對象平分的平面的深度和定向。圖10中還顯示了可響應(yīng)于檢測到用戶正注視或聚焦于虛擬火車1002而被確定的示例性穩(wěn)定性平面1004。

用戶正注視或聚焦于的所標識的虛擬對象可替代的是基本上非平面的對象，諸如虛擬球。根據(jù)一實施例，當(dāng)在這種情況下時，穩(wěn)定性平面深度可被確定為等于虛擬對象（例如，虛擬球）的中心的深度，并且穩(wěn)定性平面定向可被確定為平行于查看平面并由此平行于顯示器。用另一種方式來解釋，在用戶正注視或聚焦于的虛擬對象是基本上非平面的虛擬對象的情況下，穩(wěn)定性平面可被確定為是將基本上非平面的虛擬對象平分并平行于查看平面的平面。

這也在以下實施例的范圍中：該實施例選擇穩(wěn)定性平面作為將（用戶正注視或聚焦于的）虛擬對象平分并平行于查看平面的平面，其中虛擬對象具有一個或多個平面表面。然而，這很可能導(dǎo)致相比于參考圖9和10描述的實施例被執(zhí)行會出現(xiàn)的變換誤差而言更多的變換誤差。此外，注意的是，閱讀本說明書的本領(lǐng)域的技術(shù)人員能夠理解用于基于注視位置來確定穩(wěn)定性平面的其他技術(shù)在本技術(shù)的一實施例的范圍內(nèi)。

在另一實施例中，如果用戶正注視特定的三維虛擬對象，該三維虛擬對象具有相比于該虛擬對象的任一其他表面而言更顯著可見的面向相機的表面，則可基于最顯著可見的表面來確定穩(wěn)定性平面。例如，穩(wěn)定性平面可被確定為與該最顯著可見的表面共面或盡可能共面。替代地，穩(wěn)定性平面可基于用戶正注視的虛擬對象的多個（全部或一些）可見表面例如通過以下來確定：基于每個可見表面在被顯示時有多可見來對每個可見表面對穩(wěn)定性平面的影響進行加權(quán)。例如，該表面越可見，則其被加權(quán)越多，并且反之亦然。

如果同時存在多個被顯示的虛擬對象，并且用戶正注視該多個虛擬對象中的特定一個，則穩(wěn)定性平面可僅僅基于用戶正注視的虛擬對象例如使用以上描述的實施例之一來被確定。替代地，穩(wěn)定性平面可基于多個（全部或一些）被顯示的虛擬對象例如使用以上描述的實施例之一通過以下來確定：基于每個虛擬對象有多靠近注視位置來對每個虛擬對象對穩(wěn)定性平面的影響進行加權(quán)。例如，虛擬對象越靠近注視位置，則其被加權(quán)越多，并且反之亦然。

還有可能被顯示的虛擬對象非常大和/或非?？拷@示器，使得虛擬對象占據(jù)視野的全部或大部分。在這種情況下，穩(wěn)定性平面可基于虛擬對象的幾何形狀的局部子集來確定。例如，在一個實施例中，所確定的穩(wěn)定性平面可將用戶正注視的（虛擬對象的）子部分平分。在另一實施例中，所確定的穩(wěn)定性平面可以與用戶正注視的虛擬對象的子部分的最可見表面共面或盡可能的共面。更一般地，當(dāng)用戶正注視的虛擬對象占據(jù)至少一指定百分比（例如，至少50%，但不被限制于此）的視野并包括多個子部分時，穩(wěn)定性平面可基于子部分中最靠近注視位置的一個子部分來確定。還有可能穩(wěn)定性平面可基于被顯示的虛擬對象的多個（全部或一些）子部分例如通過基于每個子部分有多靠近注視位置來對每個子部分對穩(wěn)定性平面的影響進行加權(quán)來確定。例如，虛擬對象的一子部分越靠近注視位置，則其被加權(quán)越多，并且反之亦然。

以上描述的各實施例對增強現(xiàn)實HMD以及其他類型的透視顯示器時尤其有用。此外，以上描述的各實施例還可與虛擬現(xiàn)實HMD以及其他不是透視類型顯示器的顯示器一起使用。

圖11是移動設(shè)備1100（諸如圖1中的移動設(shè)備19）的一個實施例的框圖。移動設(shè)備可以包括已經(jīng)整合了無線接收機/發(fā)射機技術(shù)的膝上型計算機、袖珍計算機、移動電話、HMD、個人數(shù)字助理、以及手持式媒體設(shè)備。

移動設(shè)備1100包括一個或多個處理器1112以及存儲器1110。存儲器1110包括應(yīng)用1130和非易失性存儲1140。存儲器1110可以是任何種類的存儲器存儲介質(zhì)類型，包括非易失性和易失性存儲器。移動設(shè)備操作系統(tǒng)處理移動設(shè)備1100的不同操作，并可包含用于操作的用戶界面，如撥打和接聽電話呼叫、文本消息收發(fā)、檢查語音郵件等。應(yīng)用1130可以是任何種類的程序，如用于照片和/或視頻的相機應(yīng)用、地址簿、日歷應(yīng)用、媒體播放器、因特網(wǎng)瀏覽器、游戲、鬧鐘應(yīng)用、以及其它應(yīng)用。存儲器1110中的非易失性存儲組件1140可以包含諸如音樂、照片、聯(lián)系人數(shù)據(jù)、日程安排數(shù)據(jù)、以及其它文件之類的數(shù)據(jù)。

一個或多個處理器1112與透視顯示器1109進行通信。透視顯示器1109可顯示與現(xiàn)實世界環(huán)境相關(guān)聯(lián)的一個或多個虛擬對象。所述一個或多個處理器1112還與下列各項通信：RF發(fā)射機/接收機1106，其又耦合到天線1102；紅外發(fā)射機/接收機1108；全球定位服務(wù)（GPS）接收器1165；以及移動/定向傳感器1114，其可以包括加速度計和/或磁力計。RF發(fā)射機/接收機1108可以通過諸如藍牙或IEEE 802.11標準之類的各種無線技術(shù)標準來實現(xiàn)無線通信。加速度計可能已經(jīng)結(jié)合在移動設(shè)備中以實現(xiàn)諸如下列應(yīng)用：智能用戶界面應(yīng)用，其讓用戶通過姿勢輸入命令；以及定向應(yīng)用，其可以在移動設(shè)備被旋轉(zhuǎn)時將顯示自動地從豎向改變成橫向。可以，例如，通過微機電系統(tǒng)（MEMS）來提供加速度計，該微機電系統(tǒng)是構(gòu)建在半導(dǎo)體芯片上的微小機械器件（微米尺寸）?？梢愿袦y加速度方向、以及定向、振動和震動。所述一個或多個處理器1112還與響鈴器/振動器1116、用戶界面小鍵盤/屏幕1118、揚聲器1120、話筒1122、相機1124、光傳感器1126和溫度傳感器1128進行通信。用戶界面小鍵盤/屏幕可以包括觸敏屏幕顯示器。

所述一個或多個處理器1112控制無線信號的發(fā)射和接收。在發(fā)射模式期間，所述一個或多個處理器1112向RF發(fā)射機/接收機1106提供來自話筒1122的語音信號，或其它數(shù)據(jù)信號。發(fā)射機/接收機1106通過天線1102來發(fā)射信號。響鈴器/振動器1116被用于向用戶發(fā)傳入呼叫、文本消息、日歷提醒、鬧鐘提醒或其它通知等信號。在接收模式期間，RF發(fā)射機/接收機1106通過天線1102接收來自遠程站的語音信號或數(shù)據(jù)信號。所接收到的語音信號被提供給揚聲器1120，而接收到的其它數(shù)據(jù)信號被適當(dāng)?shù)靥幚怼?/p>

另外，可以使用物理連接器1188來將移動設(shè)備1100連接到諸如AC適配器或加電對接底座之類的外部電源，以便對電池1104進行再充電。物理連接器1188還可被用作到外部計算設(shè)備的數(shù)據(jù)連接。該數(shù)據(jù)連接允許諸如將移動設(shè)備數(shù)據(jù)與另一設(shè)備上的計算數(shù)據(jù)進行同步等操作。

所公開的技術(shù)可用各種其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置來操作。適合結(jié)合本技術(shù)中使用的公知的計算系統(tǒng)、環(huán)境和/或配置的示例包括，但不限于，個人計算機、服務(wù)器計算機、手持或膝上型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機頂盒、可編程消費電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計算機、大型計算機、包含上述系統(tǒng)或設(shè)備中的任一個的分布式計算環(huán)境等。

所公開的技術(shù)可在諸如程序模塊等由計算機執(zhí)行的計算機可執(zhí)行指令的通用上下文中描述。一般而言，如此處所述的軟件和程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)和其它類型的結(jié)構(gòu)。硬件或硬件和軟件的組合可以替代在此描述的軟件模塊。

所公開的技術(shù)也可以在任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠程處理設(shè)備執(zhí)行的分布式計算環(huán)境中實現(xiàn)。在分布式計算環(huán)境中，程序模塊可以位于包括存儲器存儲設(shè)備的本地和遠程計算機存儲介質(zhì)兩者中。

出于本文檔的目的，與所公開的技術(shù)相關(guān)聯(lián)的每個過程可以持續(xù)地并由一個或多個計算設(shè)備來執(zhí)行。該過程中的每個步驟都可由與在其他步驟中所使用的那些計算設(shè)備相同或不同的計算設(shè)備來執(zhí)行，且每個步驟不必由單個計算設(shè)備來執(zhí)行。

出于本文的目的，說明書中引述的“一實施例”、“一個實施例”、“某些實施例”或“另一實施例”可被用于描述不同的實施例并且不必然指的是同一實施例。

出于本文的目的，連接可以是直接連接或間接連接（例如，經(jīng)由另一方）。

出于本文的目的，術(shù)語對象的“集合”指的是一個或多個對象的“集合”。

盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。