件(例如元件104)的俯仰旋轉(zhuǎn)，該顯示元件具有與從正交光源132射出的行進(jìn)到反射元件150的經(jīng)準(zhǔn)直的光同軸的軸。在這一實(shí)例中，由于旋轉(zhuǎn)是圍繞來(lái)自正交光源132的經(jīng)準(zhǔn)直的光的軸，因此該旋轉(zhuǎn)在圖像平面上將不可被分辨。這一情景被示出在例如圖15中，其中來(lái)自正交光源132的圓形圖案光仍然大致地出現(xiàn)在圖像平面164的經(jīng)準(zhǔn)直的透鏡162的光軸處。
[0091]然而，該繞來(lái)自光源132的經(jīng)準(zhǔn)直的光的俯仰旋轉(zhuǎn)的孤立的實(shí)例可通過(guò)確保來(lái)自至少一個(gè)成角度的光源的光在相機(jī)160中被接收而可以分辨。在顯示元件之一(例如顯示元件104)已通過(guò)俯仰旋轉(zhuǎn)(具有與來(lái)自正交光源的經(jīng)準(zhǔn)直的光有關(guān)的旋轉(zhuǎn)軸)被角度偏移的情況下，來(lái)自至少一個(gè)成角度的光源的光將在圖像平面上出現(xiàn)為已沿弧線路徑移位，如圖15中所示。
[0092]因此，通過(guò)配置光源的位置使得來(lái)自正交光源132和至少一個(gè)其它的成角度的光源134、136、138的光在相機(jī)160內(nèi)被接收，對(duì)準(zhǔn)檢測(cè)組件102能夠分辨角度偏移的各種組合。
[0093]同樣的，取決于來(lái)自成角度的光源134、136、138的經(jīng)準(zhǔn)直的光在圖像平面上出現(xiàn)在何處，對(duì)準(zhǔn)檢測(cè)組件102能夠使用該信息來(lái)推導(dǎo)顯示元件104的角度偏移的大部分組合。然而，將存在俯仰和偏航旋轉(zhuǎn)的組合，其可能具有與從成角度的光源射出的經(jīng)準(zhǔn)直的光同軸的軸。在這一實(shí)例中，由于旋轉(zhuǎn)是圍繞來(lái)自正交光源132的經(jīng)準(zhǔn)直的光的軸，因此該旋轉(zhuǎn)在圖像平面上將不可被分辨，如例如圖16中的虛線的星星所示。
[0094]然而，該關(guān)于來(lái)自光源132的經(jīng)準(zhǔn)直的光的角度偏移的孤立的實(shí)例可通過(guò)確保來(lái)自至少正交光源和一個(gè)其它成角度的光源的光在相機(jī)160中被接收而可以分辨。在顯示元件之一(例如顯示元件104)已通過(guò)俯仰和偏航旋轉(zhuǎn)(具有與自正交光源的經(jīng)準(zhǔn)直的光有關(guān)的旋轉(zhuǎn)軸)被角度偏移的情況下，來(lái)自至少一個(gè)其它的光源的光將在圖像平面上出現(xiàn)為已水平地并沿弧線路徑移位，如圖16中的虛線圓所示。
[0095]再次，上文已描述了顯示元件104和第一組130中的相關(guān)聯(lián)光源的角度偏移的示例。上文的描述將同樣地適用于顯示元件106和第二組140中的相關(guān)聯(lián)光源的角度偏移。對(duì)準(zhǔn)檢測(cè)組件102能夠測(cè)量顯示元件之一或顯示元件中的彼此獨(dú)立的兩個(gè)的角度偏移。
[0096]因此，通過(guò)配置光源的位置使得來(lái)自成角度的光源之一和至少一個(gè)其它的光源(正交或成角度的)的光在相機(jī)160內(nèi)被接收，對(duì)準(zhǔn)檢測(cè)組件102能夠分辨角度偏移的各種組合。如以下所闡述的，對(duì)準(zhǔn)檢測(cè)組件102可使用成角度的光源(并且不使用正交光源)來(lái)配置，使得來(lái)自至少兩個(gè)成角度的光源的光在相機(jī)160中被接收。這對(duì)于分辨旋轉(zhuǎn)的各種可能組合是足夠的。如以下進(jìn)一步闡述的，系統(tǒng)可使用單個(gè)正交光源或每個(gè)組130、140中的單個(gè)成角度的光源來(lái)配置。這樣的實(shí)施例可能不能夠分辨其中旋轉(zhuǎn)軸與光源同軸的情況，但是它將提供在大部分情況下的角度偏移并且被設(shè)想作為此處的實(shí)施例。
[0097]一旦對(duì)準(zhǔn)檢測(cè)組件102確定了顯示元件104和/或106的角度偏移的量級(jí)和方向，顯示給相應(yīng)的顯示元件104和/或106的虛擬圖像可被調(diào)整以糾正所確定的角度偏移。這一糾正確保圖像以正確的雙眼差異顯示給相應(yīng)的顯示元件104和106并且維持適當(dāng)?shù)娜S混合現(xiàn)實(shí)或完全虛擬體驗(yàn)。圖17是示出由頭戴式顯示設(shè)備100在呈現(xiàn)混合現(xiàn)實(shí)或完全虛擬體驗(yàn)中執(zhí)行的步驟中的一些操作的高級(jí)流程圖。
[0098]在步驟200中，頭戴式顯示設(shè)備100可從場(chǎng)景收集數(shù)據(jù)。這可包括由面向場(chǎng)景的相機(jī)120所感測(cè)的圖像數(shù)據(jù)。在步驟202，系統(tǒng)確定頭戴式顯示設(shè)備100的x、y和z位置、朝向以及F0V。在知曉了場(chǎng)景和用戶(hù)位置的情況下，可在步驟204發(fā)展場(chǎng)景圖，該場(chǎng)景圖標(biāo)識(shí)出該場(chǎng)景的幾何形狀以及該場(chǎng)景內(nèi)的對(duì)象的幾何形狀和位置。在各實(shí)施例中，在給定幀中生成的場(chǎng)景圖可包括現(xiàn)實(shí)世界對(duì)象和虛擬對(duì)象在該場(chǎng)景中的χ，y和z位置。
[0099]在步驟206中，該系統(tǒng)可使用用戶(hù)位置和FOV的場(chǎng)景圖來(lái)確定當(dāng)前時(shí)間從用戶(hù)的視角看到的虛擬對(duì)象的位置和外觀。步驟206的一部分可包括基于來(lái)自對(duì)準(zhǔn)檢測(cè)組件102的反饋來(lái)調(diào)整虛擬對(duì)象向顯示元件104和/或106顯示的位置。現(xiàn)在將參考圖18的流程圖來(lái)更詳細(xì)地解釋步驟206中的進(jìn)一步細(xì)節(jié)，因?yàn)樗c來(lái)自對(duì)準(zhǔn)檢測(cè)組件102的反饋有關(guān)。
[0100]在步驟230，處理單元108可從對(duì)準(zhǔn)檢測(cè)組件102接收顯示元件104和/或106的角度偏移的量級(jí)和方向(俯仰、偏航、滾動(dòng)或其組合)。在步驟234，處理單元108可將步驟230中接收的數(shù)據(jù)與顯示元件104、106的中立的、對(duì)齊的位置作比較。
[0101 ]具體來(lái)說(shuō)，如上文所描述的，在一個(gè)理論示例中，當(dāng)顯示元件104、106在頭戴式顯示設(shè)備100內(nèi)對(duì)齊且平行時(shí)，相機(jī)160中接收到的來(lái)自第一和第二組130、140中的光源的近準(zhǔn)直的光匯聚到圖像平面164上的經(jīng)準(zhǔn)直的透鏡162的光軸。然而，在其它示例中，可能的是中立位置(即初始位置，在此處顯示元件以正確的雙眼差異顯示虛擬圖像)不導(dǎo)致從組130、140中的光源接收的經(jīng)準(zhǔn)直的光匯聚到圖像平面164上的經(jīng)準(zhǔn)直的透鏡162的光軸。由于公差和其它因素，來(lái)自第一和第二組130、140之一或多個(gè)光源的光的中立位置可能偏離圖像平面上的光軸。
[0102]實(shí)踐中，對(duì)準(zhǔn)檢測(cè)組件102可在使用前經(jīng)受校準(zhǔn)過(guò)程。在這一校準(zhǔn)過(guò)程中，在顯示元件104、106正確定位的情況下，可讀取與來(lái)自每一個(gè)光源的光在哪里撞擊圖像平面、以及在顯示元件104、106中的每一個(gè)中引起俯仰、偏航和滾動(dòng)的角度偏移之際該光如何移位有關(guān)的讀數(shù)。這一信息可被存儲(chǔ)在處理單元108的存儲(chǔ)器中并且被用作為步驟234中的比較的基礎(chǔ)。
[0103]在步驟238，基于步驟234中的比較的結(jié)果，處理單元108可調(diào)整要顯示給顯示元件104和/或顯示元件106的虛擬對(duì)象的位置。具體來(lái)說(shuō)，處理單元108可調(diào)整要顯示的虛擬對(duì)象在顯示元件104、106中的位置以補(bǔ)償并實(shí)際上消除該顯示元件104、106相對(duì)于其中立位置的任何角度偏移。
[0104]在各實(shí)施例中，涉及基于角度偏移對(duì)顯示的圖像進(jìn)行調(diào)整的步驟230— 238可實(shí)時(shí)地在每次完成步驟200 — 220的循環(huán)時(shí)進(jìn)行。在進(jìn)一步實(shí)施例中，步驟230 — 238可周期性地而非實(shí)時(shí)地進(jìn)行。例如，每次完成圖17的循環(huán)后接收來(lái)自對(duì)準(zhǔn)檢測(cè)組件102的反饋，系統(tǒng)可對(duì)顯示元件104、106的高頻振蕩或?qū)?zhǔn)檢測(cè)組件102的組件作出響應(yīng)。如果濾除這一程度的敏感性是期望的，則系統(tǒng)可較不頻繁地接收來(lái)自對(duì)準(zhǔn)檢測(cè)組件的反饋。作為一個(gè)示例，可提供每秒1 — 20幀的反饋，但在進(jìn)一步實(shí)施例中可以比該頻率更大或更小。
[0105]再次參照?qǐng)D17，一旦接收到虛擬對(duì)象數(shù)據(jù)，處理單元108就可以在步驟208中對(duì)要使用場(chǎng)景圖和用戶(hù)的FOV來(lái)渲染的虛擬對(duì)象執(zhí)行渲染設(shè)置操作。步驟208中的設(shè)置渲染操作可包括與要在最終FOV中顯示的虛擬對(duì)象相關(guān)聯(lián)的常見(jiàn)渲染任務(wù)。這些渲染任務(wù)可包括例如陰影圖生成、光照和動(dòng)畫(huà)。在一些實(shí)施例中，渲染設(shè)置步驟208可進(jìn)一步包括對(duì)可能的繪制信息的編譯，諸如要在預(yù)測(cè)的最終FOV中顯示的虛擬對(duì)象的頂點(diǎn)緩沖區(qū)、紋理和狀態(tài)。
[0106]在步驟212，處理單元108的圖形處理單元可接著渲染要顯示給相應(yīng)的顯示元件104、106的圖像。渲染操作的各部分可能已經(jīng)在渲染設(shè)置步驟208中被執(zhí)行并且被周期性地更新。在步驟216，處理單元108檢查是否到了該將所渲染的圖像發(fā)送給顯示元件104、106的時(shí)間、或者是否還有時(shí)間使用來(lái)自頭戴式顯示設(shè)備100和對(duì)準(zhǔn)檢測(cè)組件102的更加新的位置反饋數(shù)據(jù)來(lái)對(duì)圖像進(jìn)一步細(xì)化。
[0107]如果到了該顯示圖像的適合，則在步驟220，一個(gè)或多個(gè)虛擬對(duì)象的圖像被發(fā)送給顯示元件104、106中的微顯示器122以被顯示在相應(yīng)的顯示元件中的適當(dāng)?shù)南袼靥?。另一方面，在步驟216還沒(méi)到發(fā)送要被顯示的圖像數(shù)據(jù)幀的時(shí)間的情況下，處理單元可為了獲得更多經(jīng)更新數(shù)據(jù)而循環(huán)回到步驟200以進(jìn)一步細(xì)化最終FOV的預(yù)測(cè)以及FOV中的對(duì)象的最終位置的預(yù)測(cè)。上面僅以示例的方式描述了處理步驟200至220。理解到，這些步驟中的一個(gè)或多個(gè)步驟在另外的實(shí)施例中可被省略，這些步驟可以按不同次序來(lái)執(zhí)行，或者可以添加附加步驟。一個(gè)示例中的頭戴式顯示設(shè)備100的操作的更詳細(xì)的流在上文提到的題為“Head-Mounted Display Device Which Provides Surround Video”(提供環(huán)繞視頻的頭戴式顯示設(shè)備)的美國(guó)已公開(kāi)專(zhuān)利申請(qǐng)?zhí)?012/0127284中被提供。
[0108]在上文描述的各實(shí)施例中，頭戴式顯示設(shè)備100包括用于調(diào)整IB)的IPD調(diào)整機(jī)構(gòu)126，并且對(duì)準(zhǔn)檢測(cè)組件102包括提供關(guān)于IB)調(diào)整的信息的組件。在圖19中所示的進(jìn)一步實(shí)施例中，根據(jù)本技術(shù)的對(duì)準(zhǔn)檢測(cè)組件102可與頭戴式顯示設(shè)備100—起使用，其中iro調(diào)整機(jī)構(gòu)126被省略并且不存在任何iro調(diào)整。在圖19中，具有與圖1中相同的附圖標(biāo)記的組件可在結(jié)構(gòu)上和操作上與上文結(jié)合圖1描述的相同，其中可能的例外是以下提到的對(duì)準(zhǔn)檢測(cè)組件102。
[0109]圖20示出了圖19的對(duì)準(zhǔn)檢測(cè)組件102的放大的俯視圖。圖20的對(duì)準(zhǔn)檢測(cè)組件102可包括與上文描述的那些相同或相似的組件，包括例如多層琢刻的反射元件150以及包括經(jīng)準(zhǔn)直的透鏡162和光檢測(cè)器圖像平面164的相機(jī)160。圖20的對(duì)準(zhǔn)檢測(cè)組件102還可包括如上文所描述的第一和第二組光源130、140。然而，由于不存在iro調(diào)整，因此不需要第一和第二組130、140中的多個(gè)成角度的光源。
[0110]在圖20中示出的實(shí)施例中，在第一組130中可以有單個(gè)正交光源132以及單個(gè)成角度的光源134。第二組140可包括相同的兩個(gè)光源。如上文描述的，正交光源132、142可由反射元件150上的第一組琢刻的側(cè)面反射，而成角度的光源134、144可由反射元件150上的第二組琢刻的側(cè)面反射。如上文所描述的，來(lái)自這些光源中的每一個(gè)的光可被向下反射到相機(jī)160中并通過(guò)經(jīng)準(zhǔn)直的透鏡162在圖像平面164上成像，以檢測(cè)角度偏移。如之前指出的，本技術(shù)的采用Iro調(diào)整來(lái)操作的各實(shí)施例還可使用圖20中所示的對(duì)準(zhǔn)檢測(cè)組件102來(lái)操作。
[0111]上文描述的正交光源132、142在存在IPD調(diào)整時(shí)具有的優(yōu)點(diǎn)在于來(lái)自正交光源的光在圖像平面164上的位置不隨IPD的改變而改變。然而，在不存在任何IPD調(diào)整的實(shí)施例中，正交光源可如圖21中所示的被省略。在圖21的實(shí)施例中，第一和第二組光源130、140中的每一個(gè)包括如上文所描述的兩個(gè)成角度的光源。如上文所描述的，來(lái)自這些光源中的每一個(gè)的光可被向下反射到相機(jī)160中并通過(guò)經(jīng)準(zhǔn)直的透鏡162在圖像平面164上成像，以檢測(cè)角度偏移。如之前指出的，本技術(shù)的采用iro調(diào)整來(lái)操作的各實(shí)施例還可使用圖21中所示的對(duì)準(zhǔn)檢測(cè)組件102來(lái)操作。
[0112]圖22類(lèi)似于圖21中示出的實(shí)施例，但是第一和第二組光源130、140中的每一個(gè)包括單個(gè)成角度的光源。在所示出的實(shí)施例中，光源是如上文所描述的成角度的光源，但是該光源可替代地是如上文所描述的正交光源。圖22中示出的對(duì)準(zhǔn)檢測(cè)組件102能夠提供針對(duì)顯示元件104、106的大部分角度偏移的對(duì)準(zhǔn)信息。如之前指出的，本技術(shù)的采用iro調(diào)整來(lái)操作的各實(shí)施例還可使用圖22中所示的對(duì)準(zhǔn)檢測(cè)組件102來(lái)操作。
[0113]如上文所描述的對(duì)準(zhǔn)檢測(cè)組件102能夠基于第一和第二組130、140中的哪些光源在相機(jī)160內(nèi)顯現(xiàn)以及光成像在圖像平面164上的何處來(lái)檢測(cè)顯示元件104、106的角度偏移以及IPD。在進(jìn)一步實(shí)施例中，額外和/或替代的組件可被提供在對(duì)準(zhǔn)檢測(cè)組件102內(nèi)以提供iro和角度偏移的詳細(xì)信息。
[0114]例如，在一個(gè)實(shí)施例中，替代使用射出單個(gè)光束的成角度的光源，成角度的光源可被配置成射出圖案化的光束，例如包括周?chē)鷩@了一個(gè)環(huán)的中心光束。這個(gè)光環(huán)可通過(guò)使用第一組和第二組130、140中的每一個(gè)成角度的光源內(nèi)的環(huán)形鏡子或與之相關(guān)聯(lián)的環(huán)境鏡子來(lái)產(chǎn)生。到達(dá)與光源相關(guān)