專利名稱：用于擴展現(xiàn)實顯示的自動可變虛擬焦點的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于擴展現(xiàn)實顯示的自動可變虛擬焦點。背景擴展現(xiàn)實是一種允許將虛擬圖像與現(xiàn)實世界物理環(huán)境相混合的技術(shù)。通常，用戶佩戴透視近眼顯示器以查看虛擬物體和現(xiàn)實物體的混合圖像。該近眼顯示器通常使用光學器件與立體視覺的組合來將虛擬圖像聚焦到固定距離處。然而，在虛擬物體處于固定距離處并且用戶的位置改變的情況下，虛擬物體不會像在用戶用自然視力查看虛擬物體的情況下那樣移進和移出用戶的焦點。概述本技術(shù)提供了用于實現(xiàn)用于混合現(xiàn)實或擴展現(xiàn)實顯示的可變焦點的實施例。用戶通過透視顯示設(shè)備查看場景。該場景包括用戶通過顯示設(shè)備的透明或透視透鏡用他或她的眼睛直接查看的物理環(huán)境中的一個或多個現(xiàn)實物體。一個或多個虛擬物體由顯示設(shè)備投影到用戶眼睛位置的至少之一。因此，用虛擬物體來擴展現(xiàn)實場景的顯示。在一個實施例中，該技術(shù)提供改變由顯示設(shè)備所投影的虛擬物體的焦距。為用戶確定三維視野，并且還確定一個或多個虛擬物體在該用戶的視野內(nèi)的三維位置。在視野內(nèi)確定用戶的當前三維聚焦區(qū)。用戶的當前聚焦區(qū)中的一個或多個虛擬物體基于其位置被標識出。為了在顯示器中用戶的當前聚焦區(qū)中顯示虛擬物體，該虛擬物體被移動到該圖像的處于當前聚焦區(qū)中的區(qū)域。在一個實施例中，這是通過改變透視顯示設(shè)備的微顯示器部件的聚焦區(qū)而實現(xiàn)的。微顯示器部件可以包括諸如反射元件之類的元件、沿著光路對準的至少一個光學元件和微顯示器單元、以及可變虛擬焦點調(diào)整器。微顯示器單元生成圖像以供顯示，并且圖像的光沿著光路經(jīng)過至少一個光學元件(例如準直透鏡)傳播到反射元件。在一個實施例中，調(diào)整器改變微顯示器部件的至少兩個元件之間沿著光路的位移，以改變圖像中的虛擬物體的聚焦區(qū)。在另一實施例中，可以調(diào)整光學元件的焦距以獲得所期望的聚焦區(qū)。例如，可以改變至少一個雙折射透鏡的偏振性，或者可以調(diào)整流體或液體透鏡的曲率半徑。在一個實施例中，可以根據(jù)與用戶聚焦區(qū)聚焦區(qū)相距的距離來將人工深度場技術(shù)應用到處于用戶聚焦區(qū)之外、但位于用戶視野之內(nèi)的虛擬物體。該技術(shù)還提供用于提供虛擬物體的可變焦點的擴展現(xiàn)實系統(tǒng)，該系統(tǒng)包括透視顯示單元，該透視顯示器單元包括包含可變虛擬焦點調(diào)整器的微顯示器部件?？刂齐娐钒?qū)動器以控制可變虛擬焦點調(diào)整器。在一個實施例中，該系統(tǒng)還在控制電路中包括定時生成器以控制可變虛擬焦點調(diào)整器掃過微顯示器部件的不同聚焦區(qū)的定時。在大多數(shù)實施例中，掃描速率被設(shè)置為足夠快，使得人類瞬時圖像匯合將使在不同聚焦區(qū)中生成的圖像看上去同時存在。查看不同聚焦區(qū)中生成的圖像顯示的用戶將看到虛擬物體自然地進入和離開焦點，就好像該虛擬物體是物理環(huán)境中的現(xiàn)實物體。該技術(shù)還提供一種用于在擴展現(xiàn)實顯示中生成不同聚焦區(qū)中的虛擬物體的方法。為使用透視顯示設(shè)備查看包括現(xiàn)實和虛擬物體的場景的用戶生成三維視野。為該用戶的視野內(nèi)的一個或多個虛擬物體標識出三維聚焦區(qū)。調(diào)整微顯示器部件以掃過多個聚焦區(qū)?？梢赃x擇聚焦區(qū)以包括用戶當前查看的聚焦區(qū)以及包括虛擬物體的那些區(qū)域。為每個聚焦區(qū)生成圖像。在一個示例中，這些圖像中每個都可以足夠快的速率顯示給用戶，使得人類瞬時圖像匯合使該圖像在人眼看來為同時存在。在另一實施例中，顯示在不同聚焦區(qū)處生成的虛擬圖像的聚焦部分的復合圖像。提供本發(fā)明內(nèi)容以便以簡化形式介紹在以下具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。


圖1是描繪了用于提供虛擬物體的可變焦點的系統(tǒng)的一個實施例的示例性組件的框圖。圖2A是頭戴式顯示單元的一個實施例的一部分的頂視圖。圖2B是頭戴式顯示單元的另一實施例的一部分的頂視圖。圖3A是供用作近眼顯示器的微顯示器部件的一部分的可旋轉(zhuǎn)透鏡系統(tǒng)的示例。圖3B1和圖3B2是展示出不同曲率半徑的流體透鏡的示例，這些流體透鏡供用作微顯示器部件的一部分。圖3C是供用作近眼顯示器的微顯示器部件的一部分的雙折射透鏡系統(tǒng)的示例。圖3D是供用作微顯示器部件的一部分的可插入透鏡系統(tǒng)的示例。圖4是頭戴式顯示單元的組件的一個實施例的框圖。圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個實施例的框圖。圖6是結(jié)合頭戴式顯示單元使用的中樞計算系統(tǒng)的組件的一個實施例的框圖。圖7是描繪可用于實現(xiàn)在此所述的中樞計算系統(tǒng)的計算系統(tǒng)的一個實施例的框圖。圖8是描繪可改變將處于用戶的焦點處的虛擬內(nèi)容的焦點的多用戶系統(tǒng)的框圖。圖9是描述用于顯示將在被用戶查看時處于焦點處的虛擬物體的過程的一個實施例的流程圖。圖10是描述用于創(chuàng)建空間的模型的過程的一個實施例的流程圖。圖11是描述用于將模型分割成物體的過程的一個實施例的流程圖。圖12是描述用于標識出物體的過程的一個實施例的流程圖。圖13是描述用于顯示將在被查看透視顯示器的用戶查看時處于焦點處的虛擬物體的過程的一個實施例的流程圖。圖14是描述用于由中樞來跟蹤用戶和/或頭戴式顯示單元的位置和取向的過程的一個實施例的流程圖。圖15是描述用于跟蹤眼睛位置的過程的一個實施例的流程圖。圖16是描述用于確定用戶視野的過程的一個實施例的流程圖。圖17A是描述用于通過使微顯示器部件的至少一個透鏡移位來改變該部件的聚焦區(qū)的過程的一個實施例的流程圖。圖17B是描述用于通過改變微顯示器部件的至少一個透鏡的偏振性來改變該部件的聚焦區(qū)的過程的一個實施例的流程圖。圖17C是描述用于通過改變微顯示器部件的至少一個流體透鏡的曲率半徑來改變該部件的聚焦區(qū)的過程的一個實施例的流程圖。圖18A是描述用于在擴展現(xiàn)實顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的一個實施例的流程圖。圖18B是描述用于在擴展現(xiàn)實顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的另一實施例的流程圖。圖19A和19B示意性地示出了用于在擴展現(xiàn)實顯示中顯示多焦點虛擬物體的不同方式的示例。
具體實施例方式本技術(shù)提供了用于實現(xiàn)用于混合現(xiàn)實或擴展現(xiàn)實顯示的可變焦點的實施例。在一個實施例中，系統(tǒng)包括作為用于擴展現(xiàn)實的近眼顯示器的透視顯示設(shè)備、以及與該透視顯示設(shè)備通信的處理單元。在以下討論的各實施例中，透視顯示器處于一副眼鏡中，但是也可以使用其他HMD形式和近眼顯示器固定器。使用用戶的自然視力來實際和直接地查看用透視顯示器所查看的場景中的現(xiàn)實物體?；趫?zhí)行軟件(例如游戲應用)的上下文，該系統(tǒng)可以將虛擬圖像投影在可由佩戴該透視顯示設(shè)備的人查看的顯示器上，同時該人還通過該顯示器查看現(xiàn)實世界物體。使用一個或多個傳感器來掃描用戶所查看的物理環(huán)境，由此提供可用來構(gòu)建所掃描環(huán)境的三維模型的數(shù)據(jù)。該模型被分割成現(xiàn)實物體，并且如下面解釋的那樣被用虛擬物體圖像的位置進行擴展。附加地，使用各種傳感器來檢測用戶頭的位置和取向以及眼睛位置以便確定將虛擬圖像投影到何處。該系統(tǒng)自動地跟蹤用戶正注視何處，使得該系統(tǒng)可以弄清用戶通過透視顯示設(shè)備的顯示器的視野。可以使用深度相機和包括深度傳感器、圖像傳感器、慣性傳感器、眼睛位置傳感器等在內(nèi)的各種傳感器中的任何傳感器來跟蹤用戶。除了用戶的視野以外，該系統(tǒng)還確定用戶聚焦在或注視視野中的哪個位置，該位置常常稱為用戶聚焦區(qū)。在一些實施例中，用戶聚焦區(qū)是稱為Panum匯合區(qū)域的體積，其中人類眼睛用單視覺來查看物體。人類具有雙眼視覺或立體視覺。每個眼睛都產(chǎn)生不同視角的圖像。僅僅在Panum匯合區(qū)域的該小體積中，人類用單視覺查看物體。這通常是指物體據(jù)稱處于焦點處時的情況。在該區(qū)域之外，物體可能看上去是模糊的，或者甚至看上去為雙重圖像。處于 Panum匯合區(qū)域的中心內(nèi)的有包括用戶眼睛的焦點在內(nèi)的雙眼單視界(Horopter)。當用戶聚焦在空間中的某點(之后稱為焦點)上時，該焦點位于曲線上。空間中的處于該曲線上的物體落到眼睛視網(wǎng)膜上的小凹中。該曲線有時稱為水平雙眼單視界。還存在垂直雙眼單視界，其是經(jīng)過該曲線的一條線，該線從眼睛的焦點之上向眼睛在該曲線上的焦點之下傾斜。 后面所使用的術(shù)語“雙眼單視界”是指其垂直和水平分量二者。一旦該系統(tǒng)知道了用戶的視野和用戶聚焦區(qū)，則系統(tǒng)就可以弄清一個或多個虛擬物體圖像將由透視顯示設(shè)備的顯示器投影到何處。在所投影的顯示中生成虛擬物體在所選聚焦區(qū)位置處的顯示可以通過調(diào)整透視顯示設(shè)備的微顯示器部件中的光路長度來執(zhí)行。通過偏移放置在左側(cè)和右側(cè)微顯示器上的圖像來生成視差。通過為虛擬物體設(shè)置一定量的視差，左眼顯示器所生成的到虛擬物體的視線與右眼顯示器的相應視線相交處的距離隱含了該虛擬物體的虛擬距離。常規(guī)的顯示器可以設(shè)置該視差隱含的距離。與視差無關(guān)，存在由離開顯示器的波前的曲率所隱含的距離。曲率半徑就是到該物體上某點的距離， 附近物體具有強烈彎曲的波前，因為曲率半徑由此是小的。遠處物體具有平坦得多的波前， 因為曲率半徑相應地為大的。在非常遠的物體的極限情況下，波前變?yōu)槠教沟摹３Ｒ?guī)的頭戴式顯示器具有固定的波前曲率，因為它們不具有可基于場景內(nèi)容變化的光學元件。當用戶的位置變?yōu)榕c虛擬物體的當前位置相距更遠的位置時，可以通過將合適的圖像放置在左側(cè)和右側(cè)微顯示器上來改變虛擬物體的視差和比例?？梢詾橛脩舻男挛恢枚x雙眼單視界和Panum匯合區(qū)域。常規(guī)顯示器不能將波前曲率半徑調(diào)整為將虛擬物體引入到Panum匯合區(qū)域中。下面所述的技術(shù)可以將波前曲率設(shè)置成如下的距離該距離也與由比例和視差所設(shè)置的其他線索一致并且將虛擬物體引入到Panum匯合區(qū)域中。通過這種方式，這些圖像看上去是自然和逼真的。如果用戶保持位置固定，并且虛擬物體將相對于場景中的自然物體移動得更近或更遠，則有相同的論點成立。微顯示器部件包括光處理元件和可變焦距調(diào)整器。光處理元件的一些示例是微顯示器單元、例如透鏡系統(tǒng)的透鏡之類的一個或多個光學元件、以及例如反射面或部分反射面之類的反射元件。微顯示器單元包括光源，并且生成虛擬物體的圖像。微顯示器單元在光學上與所述一個或多個光學元件和反射元件對準。該光學對準可以沿著光軸、或者包括一個或多個光軸的光路。圖像光可以被準直化，并且由所述一個或多個光學元件引導到反射元件。在一個實施例中，來自部分反射元件的反射光可以被引導到用戶的眼睛位置。 由于該表面是部分反射性的，因此該表面還可以允許來自自然場景的光穿過該表面并被看見。在其他實施例中，來自微顯示器單元的被反射元件反射的光傳播到另一光學元件中，該另一光學元件投影圖像以供用戶查看，并且也允許自然光被看見?？勺兘咕嗾{(diào)整器改變微顯示器部件的光路中的一個或多個光處理元件之間的位移或微顯示器部件中的元件的光學能力(optical power)。透鏡的光學能力被定義成其焦距的倒數(shù)，例如1/焦距，使得一個改變影響另一個。該改變導致由處于微顯示器部件所生成的圖像的焦點處的視野區(qū)域隨著位移或光學能力的改變而改變。如下面將針對實施例所討論的那樣，為每個眼睛都可以存在微顯示器部件。每個微顯示器部件都針對其相應眼睛的視角執(zhí)行處理。在一個實施例中，將諸如人工模糊之類的人工深度場技術(shù)應用于處于視野中的任何虛擬物體并且將該技術(shù)以處于聚焦區(qū)之外的任何虛擬物體與聚焦區(qū)相距的距離成比例地應用于該虛擬物體。在另一實施例中，調(diào)整器在顯示相應聚焦區(qū)內(nèi)的虛擬物體的同時以某速率或頻率掃過與一定范圍的聚焦區(qū)相對應的一定范圍的焦距。該速率或頻率可以等于或快于顯示設(shè)備的幀速。在一個實施例中，在不同聚焦區(qū)處生成的虛擬物體圖像被作為分層圖像來顯示，并且顯示速率快或迅速得足以使得這些圖像看上去同時出現(xiàn)。在另一實施例中，顯示了在不同聚焦區(qū)處生成的圖像的聚焦部分的復合圖像。當用戶將他或她的當前焦點改變到另一聚焦區(qū)時，處于不同聚焦區(qū)中的虛擬物體就像以自然視力被查看那樣進入和離開焦點。然后，這些圖像通過如下方式被渲染對所述虛擬圖像進行大小確定和定向；以及將經(jīng)大小確定/定向的圖像渲染在透視顯示器上。圖1是描繪了用于提供虛擬物體的可變焦點的系統(tǒng)10的一個實施例的示例性組件的框圖。系統(tǒng)10包括作為經(jīng)由線6與處理單元4進行通信的頭戴式顯示設(shè)備2的透視顯示設(shè)備。在其他實施例中，頭戴式顯示設(shè)備2通過無線通信來與處理單元4進行通信。在一個實施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶可以通過顯示器進行查看，并且從而具有該用戶前方的空間的實際直接視圖，其中鏡架115提供用于固定該系統(tǒng)的元件的支承體、以及用于電連接的管道。使用術(shù)語“實際和直接視圖”來指直接用人眼查看現(xiàn)實世界物體的能力，而不是查看對物體的所創(chuàng)建的圖像表示。例如，在房間中通過眼鏡進行查看將允許用戶具有房間的實際直接視圖，而在電視上查看房間的視頻不是房間的實際直接視圖。下面提供頭戴式顯示設(shè)備2的更多細節(jié)。在一個實施例中，處理單元4被佩戴在用戶的手腕上，并且包括許多用于操作頭戴式顯示設(shè)備2的計算能力。處理單元4可以與一個或多個中樞計算系統(tǒng)12無線地(例如WiFi、藍牙、紅外、或其他無線通信手段)通信。中樞計算系統(tǒng)12可以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例性實施例， 中樞計算系統(tǒng)12可以包括硬件組件和/或軟件組件，使得中樞計算系統(tǒng)12可以用于執(zhí)行諸如游戲應用、非游戲應用等等之類的應用。在一個實施例中，中樞計算系統(tǒng)12可以包括諸如標準化處理器、專用處理器、微處理器等等之類的處理器，這些處理器可以執(zhí)行存儲在處理器可讀存儲設(shè)備上的指令以用于執(zhí)行在此所述的過程。中樞計算系統(tǒng)12還包括一個或多個捕捉設(shè)備，如捕捉設(shè)備20A和20B。在其他實施例中，可以使用多于或少于兩個的捕捉設(shè)備。在一個示例性實施方式中，捕捉設(shè)備20A和 20B指向不同方向，使得它們可以捕捉房間的不同部分?？赡苡欣氖?，兩個捕捉設(shè)備的視野稍微地重疊，使得中樞計算系統(tǒng)12可以理解捕捉設(shè)備的視野如何彼此相關(guān)。通過這種方式，可以使用多個捕捉設(shè)備來查看整個房間(或其他空間)?？商娲?，如果捕捉設(shè)備可以在操作期間平移，使得整個相關(guān)空間隨時間被捕捉設(shè)備查看，則可以使用一個捕捉設(shè)備。捕捉設(shè)備20A和20B例如可以是相機，該相機在視覺上監(jiān)視一個或多個用戶和周圍空間，使得可以捕捉、分析并跟蹤該一個或多個用戶所執(zhí)行的姿勢和/或運動以及周圍空間的結(jié)構(gòu)，以在應用中執(zhí)行一個或多個控制或動作和/或使化身或屏上人物動畫化。中樞計算環(huán)境12可以連接到諸如電視機、監(jiān)視器、高清電視機(HDTV)等可提供游戲或應用程序視覺的視聽設(shè)備16。例如，中樞計算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應用、非游戲應用等相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從中樞計算系統(tǒng)12接收視聽信號，并且然后可以輸出與視聽信號相關(guān)聯(lián)的游戲或應用視覺和/或音頻。根據(jù)一個實施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜、RCA電纜等連接至中樞計算系統(tǒng)12。在一個示例中，視聽設(shè)備16包括內(nèi)置揚聲器。在其他實施例中，視聽設(shè)備16、單獨的立體聲系統(tǒng)或中樞計算設(shè)備12連接到外部揚聲器22。中樞計算設(shè)備10可以與捕捉設(shè)備20A和20B —起用于識別、分析和/或跟蹤人類 (以及其他類型的)目標。例如，可使用捕捉設(shè)備20A和20B來跟蹤佩戴頭戴式顯示設(shè)備2 的用戶，使得可以捕捉用戶的姿勢和/或移動來使化身或屏幕上人物動畫化，和/或可將用戶的姿勢和/或移動解釋為可用于影響中樞計算系統(tǒng)12所執(zhí)行的應用的控制。
圖2A描繪了頭戴式顯示設(shè)備2的頂視圖，其包括鏡架的包含鏡腿102和鼻中104 的那部分。僅僅描繪了頭戴式顯示設(shè)備2的右側(cè)。在鼻中104中置入了話筒110以用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，這將在下面予以描述。在頭戴式顯示設(shè)備2的前方是朝向物理環(huán)境的視頻相機113，該視頻相機113可以捕捉視頻和靜止圖像。這些圖像被傳送給處理單元4，這將在下面予以描述。頭戴式顯示設(shè)備2的鏡架115的一部分將圍繞顯示器(其包括一個或多個光學元件)。為了示出頭戴式顯示設(shè)備2的組件，未描繪鏡架115的圍繞顯示器的部分。該顯示器包括光導光學元件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處于透視透鏡116之后并與其對準，光導光學元件112處于不透明度濾光器114之后并與其對準，并且透視透鏡118處于光導光學元件112之后并與其對準。在該示例中，透視透鏡116和118是眼鏡中使用的標準透鏡，并且可根據(jù)任何處方(包括不根據(jù)處方)來制作。在一個實施例中，透視透鏡116和118可以被可變處方透鏡替換。 在一些實施例中，頭戴式顯示設(shè)備2將僅僅包括一個透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進入光導光學元件112內(nèi)。不透明度濾光器114濾除自然光 (要么以每像素為基礎(chǔ)、要么均勻地)以增強虛擬圖像的對比度。光導光學元件112將人造光引導至眼睛。下面提供不透明度濾光器114和光導光學元件112的更多細節(jié)。安裝在鏡腿102處或之內(nèi)的是圖像源，該圖像源在一個或多個實施例中包括微顯示器120，該微顯示器120通過例如透鏡系統(tǒng)122之類的一個或多個光學元件將圖像投影到反射元件上，該反射元件在該實施例中是反射面124，該反射面IM將圖像引導到光導光學元件112中。存在著可用于實現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器 120可以使用透射投影技術(shù)來實現(xiàn)，其中光源由光學活性材料來調(diào)制，用白光從背后照亮。 這些技術(shù)通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實現(xiàn)的。微顯示器120還可使用反射技術(shù)來實現(xiàn)，其中外部光被光學活性材料反射并調(diào)制。根據(jù)該技術(shù)， 由白光源或RGB源點亮的照明是向前的。數(shù)字光處理(DLP)、硅上液晶(LCOS)、以及來自 Qualcomm有限公司的Mirasol .顯示技術(shù)都是高效的反射技術(shù)的示例，因為大多數(shù)能量從已調(diào)制結(jié)構(gòu)反射并且可用于本文描述的系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實現(xiàn)，其中光由該顯示器生成。例如，來自Microvision有限公司的PicoP 引擎使用微型鏡面舵來將激光信號發(fā)射到擔當透射元件的小型屏幕上或直接按束發(fā)射到眼睛(例如， 激光)。在所示的實施例中，微顯示器120是微顯示器部件173 —部分，該微顯示器部件 173包括用于將圖像傳輸給透視顯示器的光處理元件。該示例中的微顯示器部件包括微顯示器120、體現(xiàn)為透鏡系統(tǒng)122的一個或多個光學元件、以及反射面124。透鏡系統(tǒng)122可包括單個透鏡或多個透鏡。透鏡系統(tǒng)122、微顯示器單元120和反射面124(例如，鏡或其他表面)在光路上對準，在該示例中沿著光軸133對準。圖像光可以被準直化，并且由透鏡系統(tǒng)122引導到反射面124。微顯示器部件173還包括可變虛焦點調(diào)整器135，該可變虛焦點調(diào)整器135控制透鏡系統(tǒng)122與微顯示器單元120之間沿著光路133的位移、或者透鏡系統(tǒng)122與反射面 1 之間沿著光路133的位移、或者這二者。微顯示器部件的光處理元件之間的不同位移對應于用戶的三維視野中的可將虛擬物體投影到其中的不同聚焦區(qū)。在該示例中，該位移改變在電樞137內(nèi)引導，該電樞137支承諸如該例中的透鏡系統(tǒng)122和微顯示器120之類的至少一個光處理元件。電樞137有助于使沿光路133的對準在各元件的物理移動期間穩(wěn)定化，以達到所選的位移或所選的光學能力。位移范圍通常是幾毫米(mm)的量級。在一個示例中，這一范圍是l_2mm。在一個示例中，調(diào)整器135可以是諸如壓電馬達之類的執(zhí)行器。也可使用用于執(zhí)行器的其他技術(shù)，并且這樣的技術(shù)的一些示例是由線圈和永久磁鐵、磁致伸縮元件、以及電致伸縮元件形成的音圈。光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶的眼睛140。光導光學元件112還允許如箭頭142所示那樣將光從頭戴式顯示設(shè)備2的前方通過光導光學元件112透射到用戶的眼睛，從而除接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實際直接視圖。因此，光導光學元件 112的壁是透視的。光導光學元件12包括第一反射面124。來自微顯示器120的光穿過透鏡系統(tǒng)122并入射在反射面IM上。反射面IM反射來自微顯示器120的入射光，使得光通過內(nèi)反射而被捕獲在包括光導光學元件112的平面襯底內(nèi)。在離開襯底的表面的若干反射之后，所捕獲的光波到達選擇性反射面1 的陣列。注意，五個表面中只有一個表面被標記為126以防止附圖太過擁擠。反射面1 將從襯底出射并入射在這些反射面上的光波耦合到用戶的眼睛140。由于不同光線將以不同角度傳播并彈離襯底的內(nèi)部，因此這些不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關(guān)于哪些光線將被哪個表面126從襯底反射出的選擇是通過選擇表面126的合適角度來設(shè)計的。光導光學元件的更多細節(jié)可以在于2008年11月20日公開的美國專利申請公開號 2008/(^85140、序列號 12/214，366 的“Substrate-Guided Optical Devices(襯底導向的光學設(shè)備)”中找到，該申請的全部內(nèi)容通過引用結(jié)合于此。在一個實施例中，每只眼睛將具有其自己的光導光學元件112。當頭戴式顯示設(shè)備具有兩個光導光學元件時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實施例中，可以存在將光反射到兩只眼睛中的一個光導光學元件。與光導光學元件112對齊的不透明度濾光器114要么均勻地、要么以每像素為基礎(chǔ)來選擇性地阻擋自然光，以免其穿過光導光學元件112。在一實施例中，不透明度濾光器可以是透視IXD面板、電致變色膜(electrochromic film)或能夠充當不透明度濾光器的類似設(shè)備。通過從常規(guī)IXD中除去襯底、背光和漫射器的各層，可以獲得這樣的透視IXD面板。IXD面板可包括一個或更多個透光IXD芯片，所述透光IXD芯片允許光穿過液晶。例如，在LCD投影儀中使用了這樣的芯片。不透明度濾光器114可以包括致密的像素網(wǎng)格，其中每個像素的透光率能夠在最小和最大透光率之間被個別化地控制。盡管0-100%的透光率范圍是理想的，然而更有限的范圍也是可以接受的。作為示例，具有不超過兩個偏振濾光器的單色LCD面板足以提供每像素約50%到90%的不透明度范圍，最高為該IXD的分辨率。在50%的最小值處，透鏡將具有稍微帶色彩的外觀，這是可以容忍的。100%的透光率表示完美地無色透鏡?？梢詮?0-100%定義“阿爾法(alpha)”尺度，其中0%不允許光穿過，并且100%允許所有光穿過。 可以由下面描述的不透明度濾光器控制電路2M為每個像素設(shè)置阿爾法的值。
在下列文獻中提供了不透明度濾光器的更多細節(jié)于2010年9月21日提交的美國專利申請 No. 12/887,426 "Opacity Filter For See-Through Mounted Display (用于透視安裝的顯示器的不透明度濾光器)”；以及于2010年10月15日提交的美國專利申請 No. 12/905，952 "Fusing Virtual Content Into Real Content (虛擬內(nèi)容到現(xiàn)實內(nèi)容中的融合)，，，其發(fā)明人為 Jason Flaks、Avi Bar-Zev> Jeffrey Margolis、Chris Miles、Alex Kipman、Andrew Fuller、以及Bob Crocco，這兩個專利申請的全部內(nèi)容都通過引用結(jié)合于此。頭戴式顯示設(shè)備2還包括用于跟蹤用戶的眼睛位置的系統(tǒng)。如下面將會解釋的那樣，該系統(tǒng)將跟蹤用戶的位置和取向，使得該系統(tǒng)可以確定用戶的視野。然而，人類將不會察覺處于其之前的所有事物。相反，用戶的眼睛將對準環(huán)境的子集。因此，在一個實施例中， 該系統(tǒng)將包括用于跟蹤用戶的眼睛位置的技術(shù)以便細化對用戶視野的測量。例如，頭戴式顯示設(shè)備2包括眼睛跟蹤部件134(參見圖2A)，該眼睛跟蹤部件134將包括眼睛跟蹤照明設(shè)備134A和眼睛跟蹤相機134B(參見圖4)。在一個實施例中，眼睛跟蹤照明源134A包括一個或多個紅外(IR)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射頂光。眼睛跟蹤相機134B包括一個或多個感測所反射的頂光的相機。通過檢測角膜的反射的已知成像技術(shù)，可以標識出瞳孔的位置。例如，參見2008 年 7 月 22 日頒發(fā)給 Ophir 等人的、名稱為‘‘Head Mounted Eye Tracking and Display System(頭戴式眼睛跟蹤和顯示系統(tǒng))”的美國專利7，401，920，該專利通過引用結(jié)合于此。 這樣的技術(shù)可以定位眼睛的中心相對于跟蹤相機的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像以及使用計算機視覺技術(shù)來確定瞳孔在眼眶內(nèi)的位置。在一個實施例中，跟蹤一只眼睛的位置就足夠了，因為眼睛通常一致地移動。然而，單獨地跟蹤每只眼睛是可能的。在一個實施例中，該系統(tǒng)將使用以矩形布置的4個紅外(IR) LED和4個頂光電檢測器，使得在頭戴式顯示設(shè)備2的透鏡的每個角處存在一個IRLED和頂光電檢測器。來自 LED的光從眼睛反射離開。由在4個頂光電檢測器中的每個處所檢測到的紅外光的量來確定瞳孔方向。也就是說，眼睛中眼白相對于眼黑的量將確定對于該特定光電檢測器而言從眼睛反射離開的光量。因此，光電檢測器將具有對眼睛中的眼白或眼黑的量的度量。從 4個采樣中，該系統(tǒng)可以確定眼睛的方向。 另一替代方案是如下面所討論的那樣使用4個紅外LED，但是在頭戴式顯示設(shè)備2 的透鏡的側(cè)邊處僅僅使用一個紅外成像設(shè)備。該成像設(shè)備將使用小鏡和/或透鏡(魚眼)， 使得該成像設(shè)備可以從鏡框?qū)Ω哌_75%的可見眼睛進行成像。然后，該成像設(shè)備將感測圖像并且使用計算機視覺來找出該圖像，就像下面所討論的那樣。因此，盡管圖2A示出了具有一個頂發(fā)射器的一個部件，但是圖2A的結(jié)構(gòu)可以被調(diào)整為具有4個頂發(fā)射機和/或4 個頂傳感器。也可以使用多于或少于4個的頂發(fā)射機和/或多于或少于4個的頂傳感
ο用于跟蹤眼睛方向的另一實施例基于電荷跟蹤。該方案基于如下觀察視網(wǎng)膜攜帶可測量的正電荷并且角膜具有負電荷。傳感器通過用戶的耳朵來安裝(靠近耳機130) 以檢測眼睛在移動時的電勢并且有效地實時讀出眼睛正在進行的動作。也可以使用其他用于跟蹤眼睛的實施例?？刂齐娐?36提供支承頭戴式顯示設(shè)備2的其他組件的各種電子裝置?？刂齐娐?36的更多細節(jié)在下文參照圖4提供。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機 130、慣性傳感器132、以及溫度傳感器138。在一個實施例中，慣性傳感器132包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速計132C(參見圖4)。慣性傳感器用于感測頭戴式顯示設(shè)備2的位置、取向、突然加速。圖2A僅僅示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備將包括另一組透視透鏡、另一不透明度濾光器、另一光導光學元件、另一微顯示器120、另一透鏡系統(tǒng) 122、朝向房間的相機113、眼睛跟蹤部件134、耳機130以及溫度傳感器138。圖2B是頭戴式顯示單元的另一實施例的一部分的頂視圖。以虛線示出鏡框115以展示里面所支承的光學元件的布置。在該實施例中，來自反射元件12 的光被引導到部分反射元件1Mb，該部分反射元件124b將沿著光路133傳播的虛擬圖像與自然或?qū)嶋H和直接視圖142相組合。自然視圖142可以受不透明度濾光器114的影響。視圖的組合被引導到用戶的眼睛140中而不是諸如光導光學元件112之類的另一光學元件中。在該實施例中， 鏡框115提供便利的眼鏡鏡框以作為該系統(tǒng)的諸如下列元件的支承體微顯示器部件173、 包括其光處理元件122和120 ；可變焦調(diào)整器135 ；以及電樞137。在該示例中，每只眼睛的眼睛跟蹤相機134r、1341都定位在鼻中104上。在其他實施例中，除了鏡框以外還可以使用其他支承結(jié)構(gòu)。這樣的結(jié)構(gòu)的示例是帽檐(visor)。如上所述，微顯示器部件173的光處理元件的配置創(chuàng)建焦距或虛擬物體出現(xiàn)在圖像中的聚焦區(qū)。改變該配置會改變虛擬物體圖像的聚焦區(qū)。由光處理元件確定的聚焦區(qū)可以基于等式1/S1+1/S2 = Ι/f來確定和改變。符號f表示透鏡的焦距，如微顯示器部件 173中的透鏡系統(tǒng)122。透鏡系統(tǒng)122具有前面節(jié)點和背面節(jié)點。如果光線以相對于光軸的給定角度被引導到兩個節(jié)點中任一，則該光線將以相對于光軸的相當角度從另一節(jié)點出射。在一個實施例中，透鏡系統(tǒng)122的背面節(jié)點將處于其自身與圖2A中的反射元件IM或圖2B中的反射元件12 之間。從背面節(jié)點到反射元件124、12如的距離可以表示成S2。 前面節(jié)點將處于透鏡系統(tǒng)122與微顯示器120所生成的虛擬圖像在用戶物理空間的三維模型中的目標位置之間。(關(guān)于創(chuàng)建模型的更多細節(jié)，參見下面對圖10-12的討論)。從前面節(jié)點到虛擬圖像的目標位置的距離可被表示成Si。如果透鏡的焦距是固定的，則變化Sl和S2來將虛擬對象聚焦在不同的深度處。 例如，初始位置可使Sl設(shè)置成無窮遠處，并且使S2等于透鏡系統(tǒng)122的焦距。假定透鏡系統(tǒng)122具有IOmm的焦距，考慮虛擬對象要被置于用戶視野中大約1英尺或30cm處的示例。 Sl現(xiàn)在大約是30cm或300mm，f是IOmm并且S2當前被設(shè)置在焦距的初始位置IOmm處，從而意味著透鏡系統(tǒng)122的背面節(jié)點與反射元件124、12 相距10mm?；?/300+1/S2 = 1/10(所有項的單位均為毫米)來確定透鏡122與反射元件124、12如之間的新距離或新位移。其結(jié)果是S2大約為10.3mm。在一個示例中，處理單元4可以在讓焦距f固定的情況下計算Sl和S2的位移值， 并且致使控制電路136使可變調(diào)整器驅(qū)動器237發(fā)送驅(qū)動信號以讓可變虛焦點調(diào)整器135 例如沿著光路133移動透鏡系統(tǒng)122。在一些示例中，調(diào)整器135可以在電樞137內(nèi)移動一個或多個光學元件122。在其他示例中，電樞可在光處理元件周圍的區(qū)域中具有槽或空間，使得它在不移動光處理元件的情況下在該元件(例如微顯示器120)上滑動。電樞中的諸如一個或多個光學元件122之類的另外的元件被附連，使得它們與移動的電樞237 —起滑動或移動。在其他實施例中，替代于或附加于移動透鏡系統(tǒng)122，可以移動微顯示器單元 120或反射元件124、12 或二者。在其他實施例中，替代于或附加于沿光路133的位移改變，也可以改變透鏡系統(tǒng) 122中的至少一個透鏡的焦距。圖3A至3D中示出了微顯示器部件的一些實施例。所示透鏡的特定數(shù)目僅僅是示例?？梢允褂闷渌麛?shù)目和配置的根據(jù)相同原理操作的透鏡。圖3A是供用作近眼顯示器的微顯示器部件的一部分的可旋轉(zhuǎn)透鏡系統(tǒng)的示例。 透鏡12 至122d中的每個都具有不同的焦距，并且被支承在可由可變虛焦點調(diào)整器135 來旋轉(zhuǎn)的盤支承體160內(nèi)。處理單元4確定聚焦區(qū)并且選擇焦距透鏡之一以獲得該聚焦區(qū)。 如參照圖3所示，控制電路136的可變調(diào)整器驅(qū)動器237向可變虛焦點調(diào)整器135發(fā)送至少一個控制信號以旋轉(zhuǎn)該盤，使得所選透鏡與該部件的光路133對準。圖 3B 1 和圖;3B2 是 Hongwen 等人在 “Tunable-focus liquid lens controlled using a servo motor (使用伺服電機控制的可調(diào)諧焦距流體透鏡)”(OPTICS EXPRESS, 2006年9月4日，No. 18第14卷第8031-8036頁)中所示的展現(xiàn)出不同曲率半徑的流體透鏡的例子。這些流體透鏡可以用作微顯示器部件的一部分。透鏡的焦距可以通過改變曲率半徑來改變。曲率半徑R與焦距f之間的關(guān)系由f = RAiliquid-I來給定。透鏡的液體或流體的折射率是nliquid。該實施例包括諸如環(huán)形密封環(huán)之類的支承體137，其具有作為一部分或連接到其的撓性外部膜152、在一個實施例中為橡膠膜。外部膜153與流體156的儲存器接觸。透鏡膜150位于液體透鏡單元158的撓性側(cè)的頂部或形成該撓性側(cè)，該液體透鏡單元158可以從儲存器156接收或向儲存器156釋放液體。在所引用的示例中，撓性透鏡膜是諸如聚二甲基硅氧烷(PDMQ彈性膜之類的彈性膜。處于液體單元之后的玻璃襯底IM提供支承。 可變虛焦點調(diào)整器135被控制為如圖3B2中所示那樣擠壓撓性外部膜152并如圖3B1中所示那樣釋放膜152以致使儲存器156中的水量進入和離開液體透鏡158，從而由于液體量改變而使彈性膜150外凸以及釋放彈性膜150。液體量的改變致使透鏡膜150的曲率半徑改變并由此致使液體透鏡158的焦距改變。曲率半徑與容量改變ΔΥ之間的關(guān)系可以表達如下AV = (1/3) π (2R2-r02-2R V R2T02) (2R+ V R2T02)其中rQ是透鏡孔徑的半徑。圖3C是供用作近眼顯示器的微顯示器部件的一部分的雙折射透鏡系統(tǒng)的示例。 雙折射材料是各向異性的或者依賴于方向的。作為說明性的構(gòu)造，在將光描述為光線的情況下，雙折射透鏡將光分解成尋常光線和異常光線。對于各向異性的單個軸、或者光軸而言，可以因一個與該軸平行、一個與該軸垂直的不同偏振性而存在不同的折射率以及因此不同的焦距。在圖3C的示例中，透鏡12 和122b是由具有箭頭所指示的不同偏振性的雙折射材料制成的透鏡。在兩個透鏡的該示例中，可以預定4個不同的折射率或焦距以供選擇。每個不同的焦距都可以與不同的聚焦區(qū)相關(guān)聯(lián)以供處理單元4選擇。偏振性組合可以是圖3C中所示的透鏡12 和122b的垂直偏振性；與圖3C中所示的偏振性相反的垂直偏振性；兩個透鏡在一個方向上具有相同的偏振性；以及兩個透鏡在另一偏振性方向上具有相同的偏振性。在一個實施例中，可變虛焦點調(diào)整器可以向每個透鏡施加電壓以影響所選的偏振性。在另一實施例中，可以施加物理應力以改變透鏡的偏振性。
圖3D是供用作微顯示器部件的一部分的可插入透鏡系統(tǒng)的示例。在該實施例中， 多個透鏡122中的每個都附連到附連至電樞137的相應的臂123。每個臂123都在可變虛焦點調(diào)整器135的控制下將其例如透鏡或透鏡系統(tǒng)122之類的一個或多個光學元件122移動到微顯示器部件的光路133中的某個位移處的位置。例如，如果使用針對預先設(shè)置的聚焦區(qū)的預定位移，則每個透鏡122都可以被設(shè)置為與其鄰居分開某個距離、例如分開0. 1毫米(mm)。還可以使用不均勻的間隔和可調(diào)整的位移。在上面調(diào)整透鏡的焦距的每個示例中，還可以執(zhí)行沿著光路133的位移。又如上述那樣，每個微顯示器部件都針對其相應的眼睛的視角執(zhí)行處理，使得虛擬圖像出現(xiàn)在用戶聚焦區(qū)中，例如Parmm匯合區(qū)域、人類的單視覺區(qū)域中。圖4是描繪了頭戴式顯示設(shè)備2的各個組件的框圖。圖5是描述處理單元4的各個組件的框圖。圖4中描繪了頭戴式顯示設(shè)備12的組件，該頭戴式顯示設(shè)備2用于提供對于用戶對現(xiàn)實世界的視圖而言為聚焦的虛擬圖像。附加地，圖4的頭戴式顯示設(shè)備組件包括跟蹤各種狀況的多個傳感器。頭戴式顯示設(shè)備將從處理單元4接收關(guān)于虛擬圖像的指令，并且將傳感器信息提供回給處理單元4。圖5中描繪了處理單元4的組件，該處理單元 4將從頭戴式顯示設(shè)備3、并且還從中樞計算設(shè)備12 (參見圖1)接收傳感信息?；谠撔畔ⅲ幚韱卧?將確定在何處以及在何時向用戶提供聚焦的虛擬圖像并相應地將指令發(fā)送給圖4的頭戴式顯示設(shè)備。注意，圖4的組件中的一些(例如朝向物理環(huán)境的相機113、眼睛跟蹤相機134B、 可變虛焦點調(diào)整器135、微顯示器120、不透明度濾光器114、眼睛跟蹤照明134A、耳機130 和溫度傳感器138)是以陰影示出的，以指示這些的設(shè)備中的每個都存在兩個，其中一個用于頭戴式顯示設(shè)備2的左側(cè)，一個用于頭戴式顯示設(shè)備2的右側(cè)。圖4示出與電源管理電路 202通信的控制電路200?？刂齐娐?00包括處理器210、與存儲器214(例如D-RAM)進行通信的存儲器控制器212、相機接口 216、相機緩沖區(qū)218、顯示器驅(qū)動器220、顯示格式化器 222、定時生成器226、顯示輸出接口 228、以及顯示輸入接口 230。在一個實施例中，控制電路220的所有組件都通過專用線路或一個或多個總線彼此進行通信。在另一實施例中，控制電路200的每個組件都與處理器210通信。相機接口 216提供到兩個朝向物理環(huán)境的相機113的接口，并且將從朝向物理環(huán)境的相機所接收到的圖像存儲在相機緩沖區(qū)218中。顯示器驅(qū)動器220將驅(qū)動微顯示器120。顯式格式化器222向控制不透明度濾光器114的不透明度控制電路2M提供關(guān)于微顯示器120上所顯示的虛擬圖像的信息。定時生成器2 被用于向該系統(tǒng)提供定時數(shù)據(jù)。顯示輸出2 是用于將圖像從朝向物理環(huán)境的相機113提供給處理單元4的緩沖區(qū)。顯示輸入230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖區(qū)。顯示輸出2 和顯示輸入230與作為到處理單元4的接口的帶接口 232進行通信。電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動器236、可變調(diào)整器驅(qū)動器237、音頻DAC和放大器238、話筒前置放大器和音頻ADC240、溫度傳感器接口 M2、以及時鐘生成器對4。電壓調(diào)節(jié)器234通過帶接口 232從處理單元4接收電能，并將該電能提供給頭戴式顯示設(shè)備2的其他組件。眼睛跟蹤照明驅(qū)動器236如上面所述的那樣為眼睛跟蹤照明134A提供頂光源?？勺冋{(diào)整器驅(qū)動器237向調(diào)整器135提供例如驅(qū)動電流或驅(qū)動電壓之類的控制信號以移動微顯示器部件的一個或多個元件來達到針對由處理單元4或中樞計算系統(tǒng)12或二者中執(zhí)行的軟件所計算出的聚焦區(qū)的位移。在掃過一定范圍的位移并且因此掃過一定范圍的聚焦區(qū)的實施例中，可變調(diào)整器驅(qū)動器237從定時生成器226、或者可替代地從時鐘生成器244接收定時信號，以便以所編程的速率或頻率來操作。音頻DAC 和放大器238從耳機130接收音頻信息。話筒前置放大器和音頻ADC 240提供話筒110的接口。溫度傳感器接口 242是用于溫度傳感器138的接口。電源管理單元202還向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能并從其接收回數(shù)據(jù)。圖5是描述處理單元4的各個組件的框圖。圖5示出與電源管理電路306通信的控制電路304。控制電路304包括中央處理單元(CPU)320 ；圖形處理單元322 ；高速緩存 324 ；RAM 326、與存儲器330(例如D-RAM)進行通信的存儲器控制328、與閃存334(或其他類型的非易失性存儲)進行通信的閃存控制器332、通過帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進行通信的顯示輸出緩沖區(qū)336、通過帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進行通信的顯示輸入緩沖區(qū)338、與用于連接到話筒的外部話筒連接器342進行通信的話筒接口 ；340、用于連接到無線通信設(shè)備346的PCI express接口 ；以及USB端口 ；348。在一個實施例中，無線通信組件346可包括啟用Wi-Fi的通信設(shè)備、藍牙通信設(shè)備、紅外通信設(shè)備等.USB端口可以用于將處理單元4對接到中樞計算設(shè)備12，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU 320和GPU 322是用于確定在何處、何時以及如何向用戶的視野內(nèi)插入虛擬圖像的主負荷設(shè)備。下面提供更多的細節(jié)。電源管理電路306包括時鐘生成器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進行通信的溫度傳感器接口 372(其位于處理單元4的腕帶(wrist band)上)。交流電到直流電轉(zhuǎn)換器362被連接到充電插座370來接收AC電源并為該系統(tǒng)產(chǎn)生DC電源。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電能的電池368進行通信。電池充電器364被用來在從充電插孔370接收到電能時對電池 368進行充電(通過電壓調(diào)節(jié)器366)。HMD電源接口 376向頭戴式顯示設(shè)備2提供電能。上述系統(tǒng)將被配置為將虛擬圖像插入到用戶的視野中，使得該虛擬圖像在用戶看來為自然聚焦或失焦的。在各個實施例中，虛擬圖像將基于該圖像被插入到的環(huán)境而被調(diào)整為與合適的取向、大小和形狀相匹配。在一個實施例中，頭戴式顯示設(shè)備2、處理單元4以及中樞計算設(shè)備12 —起工作，因為每個設(shè)備都包括用于獲得用于確定在何處、何時以及如何插入虛擬圖像的數(shù)據(jù)的傳感器的子集。在一個實施例中，確定在何處、如何以及何時插入虛擬圖像的計算是由中樞計算設(shè)備12執(zhí)行的。在另一實施例中，這些計算由處理單元4來執(zhí)行。在另一實施例中，這些計算中的一些由中樞計算設(shè)備12來執(zhí)行，而其他計算由處理單元4來執(zhí)行。在其他實施例中，這些計算可以由頭戴式顯示設(shè)備2來執(zhí)行。在一個示例性實施例中，中樞計算設(shè)備12將創(chuàng)建用戶所處的環(huán)境的模型，并且跟蹤在該環(huán)境中的多個移動物體。另外，中樞計算設(shè)備12通過跟蹤頭戴式顯示設(shè)備2的位置和取向來跟蹤頭戴式顯示設(shè)備2的視野。該模型和跟蹤信息被從中樞計算設(shè)備12提供給處理單元4。由頭戴式顯示設(shè)備2所獲得的傳感器信息被傳送給處理單元4。然后，處理單元4使用其從頭戴式顯示設(shè)備2接收的其他傳感器信息來細化用戶的視野并且向頭戴式顯示設(shè)備2提供關(guān)于如何、在何處以及何時插入虛擬圖像的指令。圖6示出了具有捕捉設(shè)備的中樞計算系統(tǒng)12的示例性實施例。在一個實施例中，捕捉設(shè)備20A和20B為相同結(jié)構(gòu)，因此，圖6僅僅示出了捕捉設(shè)備20A。根據(jù)一示例性實施例，捕捉設(shè)備20A可被配置為通過可包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一個實施例，捕捉設(shè)備20A可將深度信息組織成“Z層”、或者可與從深度相機沿其視線延伸的Z軸垂直的層。如圖6所示，捕捉設(shè)備20A可以包括相機組件423。根據(jù)一示例性實施例，相機組件423可以是或者可以包括可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可以表示深度值，比如所捕捉的場景中的物體與相機相距的例如以厘米、毫米等為單位的距離。相機組件23可以包括可用于捕捉場景的深度圖像的紅外(IR)光組件425、三維 (3D)相機426、以及RGB (視覺圖像)相機428。例如，在飛行時間分析中，捕捉設(shè)備20A的頂光組件425可以將紅外光發(fā)射到場景上，并且然后可以使用傳感器(在一些實施例中包括未示出的傳感器)、例如使用3D相機3 和/或RGB相機4 來檢測從場景中的一個或多個目標和物體的表面后向散射的光。在一些實施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖和相應的入射光脈沖之間的時間并將其用于確定從捕捉設(shè)備20A到場景中的目標或物體上的特定位置的物理距離。附加地，在其他示例性實施例中，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。根據(jù)另一示例性實施例，可使用飛行時間分析，以通過經(jīng)由包括例如快門式光脈沖成像之類的各種技術(shù)分析反射光束隨時間的強度來間接地確定從捕捉設(shè)備20A到目標或物體上的特定位置的物理距離。在另一示例性實施例中，捕捉設(shè)備20A可使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案、或不同圖案之類的已知圖案的光)可經(jīng)由例如頂光組件似4被投影到場景上。在落到場景中的一個或多個目標或物體的表面上時，作為響應，圖案可變形。圖案的這種變形可由例如3D相機似6和/或RGB 相機4 (和/或其他傳感器)來捕捉，然后可被分析以確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。在一些實施方式中，頂光組件425與相機425和似6分開，使得可以使用三角測量來確定與相機425和似6相距的距離。在一些實施方式中，捕捉設(shè)備20A將包括感測頂光的專用頂傳感器或具有頂濾光器的傳感器。根據(jù)另一實施例，捕捉設(shè)備20A可以包括兩個或更多個在物理上分開的相機，這些相機可以從不同的角度觀察場景以獲得視覺立體數(shù)據(jù)，這些視覺立體數(shù)據(jù)可以被分辨以生成深度信息。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。捕捉設(shè)備20A還可以包括話筒430，所述話筒430包括可以接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。話筒430可用于接收也可提供給中樞計算系統(tǒng)12的音頻信號。在一示例實施例中，捕捉設(shè)備20A還可包括可與圖像相機組件423進行通信的處理器432。處理器432可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令例如包括用于接收深度圖像、生成合適的數(shù)據(jù)格式(例如，幀)以及將數(shù)據(jù)傳送給中樞計算系統(tǒng)12的指令。捕捉設(shè)備20A還可包括存儲器434，該存儲器434可存儲由處理器432執(zhí)行的指令、由3D相機和/或RGB相機所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。 根據(jù)一示例性實施例，存儲器434可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖6所示，在一個實施例中，存儲器434可以是與圖像捕捉組件423和處理器432進行通信的單獨組件。根據(jù)另一實施例，存儲器組件 434可被集成到處理器432和/或圖像捕捉組件422中。捕捉設(shè)備20A和20B通過通信鏈路436與中樞計算系統(tǒng)12通信。通信鏈路436可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. lib、 802. llg、802. Ila或802. Iln連接等的無線連接。根據(jù)一個實施例，中樞計算系統(tǒng)12可以通過通信鏈路436向捕捉設(shè)備20A提供可用于確定例如何時捕捉場景的時鐘。附加地，捕捉設(shè)備20A通過通信鏈路436將由例如3D相機4 和/或RGB相機4 捕捉的深度信息和視覺(例如RGB)圖像提供給中樞計算系統(tǒng)12。在一個實施例中，深度圖像和視覺圖像以每秒30幀的速率來傳送，但是可以使用其他幀速率。中樞計算系統(tǒng)12然后可以創(chuàng)建模型并使用模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處理程序等的應用和/ 或使化身或屏上人物動畫化。中樞計算系統(tǒng)12包括深度圖像處理和骨架跟蹤模塊450，該模塊使用深度圖像來跟蹤可被捕捉設(shè)備20A的深度相機功能檢測到的一個或多個人。深度圖像處理和骨架跟蹤模塊450向應用452提供跟蹤信息，該應用可以是視頻游戲、生產(chǎn)性應用、通信應用或其他軟件應用等。音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)也被提供給應用452和深度圖像處理和骨架跟蹤模塊450。應用452將跟蹤信息、音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)提供給識別器引擎454。在另一實施例中，識別器引擎4M直接從深度圖像處理和骨架跟蹤模塊450接收跟蹤信息，并直接從捕捉設(shè)備20A和20B接收音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)。識別器引擎妨4與過濾器460、462、464、……、466的集合相關(guān)聯(lián)，每個過濾器都包括關(guān)于可被捕捉設(shè)備20A或20B檢測到的任何人或物體執(zhí)行的姿勢、動作或狀況的信息。 例如，來自捕捉設(shè)備20A的數(shù)據(jù)可由過濾器460、462、464、……、466來處理，以便標識出一個用戶或一組用戶已經(jīng)何時執(zhí)行了一個或多個姿勢或其他動作。這些姿勢可與應用452的各種控制、物體或狀況相關(guān)聯(lián)。因此，中樞計算系統(tǒng)12可以將識別器引擎4M和過濾器一起用于解釋和跟蹤物體(包括人)的移動。捕捉設(shè)備20A和20B向中樞計算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的視覺圖像)和深度圖像。深度圖像可以是多個觀測到的像素，其中每個觀測到的像素具有觀測到的深度值。例如，深度圖像可包括所捕捉的場景的二維OD)像素區(qū)域，其中2D 像素區(qū)域中的每個像素都可具有深度值，比如所捕捉的場景中的物體與捕捉設(shè)備相距的距離。中樞計算系統(tǒng)12將使用RGB圖像和深度圖像來跟蹤用戶或物體的移動。例如，系統(tǒng)將使用深度圖像來跟蹤人的骨架?？梢允褂迷S多方法以通過使用深度圖像來跟蹤人的骨架。使用深度圖像來跟蹤骨架的一個合適的示例在2009年10月21日提交的美國專利申請 12/603, 437 "Pose Tracking Pipeline (姿態(tài)跟蹤流水線)”(以下稱為，437申請)中提供，該申請的全部內(nèi)容通過引用結(jié)合于此?！?37申請的過程包括獲得深度圖像；對數(shù)據(jù)進行降采樣；移除和/或平滑化高方差噪聲數(shù)據(jù)；標識并移除背景；以及將前景像素中的每個分配給身體的不同部位?；谶@些步驟，系統(tǒng)將使一模型擬合到該數(shù)據(jù)并創(chuàng)建骨架。該骨架將包括一組關(guān)節(jié)和這些關(guān)節(jié)之間的連接。也可使用用于跟蹤的其他方法。在下列四個美國專利申請中還公開了合適的跟蹤技術(shù)，所述專利的全部內(nèi)容都通過引用結(jié)合于此于2009 年5月四日提交的的美國專利申請 12/475，308“Device for Identifying and Tracking Multiple Humans Over Time (用于隨時間標識和跟蹤多個人類的設(shè)備)，，；于2010年1月 29日提交的美國專利申請12/696，282“Visual Based Identity Tracking(基于視覺的身份跟蹤)”；于2009年12月18日提交美國專利申請12/641，788“Motion Detection Using Depth Images (使用深度圖像的運動檢測)”；以及于2009年10月7日提交的美國專利申請 12/575，388 "Human Tracking System(人類跟蹤系統(tǒng))”。識別器引擎妨4包括多個過濾器460、462、464、……、466來確定姿勢或動作。過濾器包括定義姿勢、動作或狀況以及該姿勢、動作或狀況的參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后經(jīng)過身體前方的運動的投擲可被實現(xiàn)為包括表示用戶的一只手從身體背后經(jīng)過身體前方的運動的信息的姿勢，因為該運動將由深度相機來捕捉。然后可為該姿勢設(shè)定參數(shù)。當姿勢是投擲時，參數(shù)可以是該手必須達到的閾值速度、該手必須行進的距離(絕對的，或相對于用戶的整體大小)、以及識別器引擎對發(fā)生了該姿勢的置信度評級。 用于姿勢的這些參數(shù)可以隨時間在各應用之間、在單個應用的各上下文之間、或在一個應用的一個上下文內(nèi)變化。過濾器可以是模塊化的或是可互換的。在一個實施例中，過濾器具有多個輸入 (這些輸入中的每一個具有一類型)以及多個輸出(這些輸出中的每一個具有一類型)。第一過濾器可用具有與第一過濾器相同數(shù)量和類型的輸入和輸出的第二過濾器來替換而不更改識別器引擎架構(gòu)的任何其他方面。例如，可能具有要驅(qū)動的第一過濾器，該第一過濾器將骨架數(shù)據(jù)作為輸入，并輸出與該過濾器相關(guān)聯(lián)的姿勢正在發(fā)生的置信度和轉(zhuǎn)向角。在希望用第二驅(qū)動過濾器來替換該第一驅(qū)動過濾器的情況下(這可能是因為第二驅(qū)動過濾器更高效且需要更少的處理資源)，可以通過簡單地用第二過濾器替換第一過濾器來這樣做， 只要第二過濾器具有同樣的輸入和輸出一骨架數(shù)據(jù)類型的一個輸入、以及置信度類型和角度類型的兩個輸出。過濾器不需要具有參數(shù)。例如，返回用戶的高度的“用戶高度”過濾器可能不允許可被調(diào)節(jié)的任何參數(shù)。可替代的“用戶高度”過濾器可具有可調(diào)節(jié)參數(shù)，比如在確定用戶的高度時是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)、在關(guān)節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。來自過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及作出姿勢運動的時間等內(nèi)容。識別器引擎4M可以具有向過濾器提供功能的基本識別器引擎。在一實施例中，識別器引擎4M實現(xiàn)的功能包括跟蹤所識別的姿勢和其他輸入的隨時間輸入 (input-over-time)存檔；隱馬爾可夫模型實施方式(其中所建模的系統(tǒng)被假定為馬爾可夫過程-其中當前狀態(tài)封裝了確定將來狀態(tài)所需的任何過去狀態(tài)信息，因此不必為此目的而維護任何其他過去狀態(tài)信息的過程-該過程具有未知參數(shù)，并且隱藏參數(shù)是從可觀察數(shù)據(jù)來確定的)；以及求解姿勢識別的特定實例的其他功能。過濾器460、462、464、……、466在識別器引擎妨4之上加載并實現(xiàn)，并且可利用識別器引擎妨4提供給所有過濾器460、462、464、……、466的服務(wù)。在一個實施例中，識別器引擎妨4接收數(shù)據(jù)來確定該數(shù)據(jù)是否滿足任何過濾器460、462、464、……、466的要求。由于這些所提供的諸如解析輸入之類的服務(wù)是由識別器引擎4M—次性提供而非由每個過濾器460、462、464、……、466提供的，因此這樣的服務(wù)在一段時間內(nèi)只需被處理一次而不是在該時間段對每個過濾器處理一次，因此減少了確定姿勢所需的處理。應用452可使用識別器引擎妨4所提供的過濾器460、462、464、……、466，或者它可提供其自己的、插入到識別器引擎妨4中的過濾器。在一實施例中，所有過濾器具有啟用該插入特性的通用接口。此外，所有過濾器可利用參數(shù)，因此可使用以下單個姿勢工具來診斷并調(diào)節(jié)整個過濾器系統(tǒng)。關(guān)于識別器引擎454的更多信息可在2009年4月13日提交的美國專利申請 12/422，661 “Gesture Recognizer System Architecture (姿勢識別器系統(tǒng)架構(gòu))”中找到，該申請通過整體引用合并于此。關(guān)于識別姿勢的更多信息可在2009年2月23日提交的美國專利申請12/391，150 "Standard Gestures (標準姿勢)”；以及2009年5月四日提交的美國專利申請12/474，655 "Gesture Tool (姿勢工具)”中找到，這兩個申請的全部內(nèi)容都通過引用結(jié)合于此。圖7示出了可用于實現(xiàn)中樞計算系統(tǒng)12的計算系統(tǒng)的示例性實施例。如圖7所示，多媒體控制臺500具有含有一級高速緩存501、二級高速緩存504和閃存ROM(只讀存儲器)506的中央處理單元(CPU)502。一級高速緩存502和二級高速緩存504臨時存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進處理速度和吞吐量。CPU 501可以被配備為具有一個以上的核，并且由此具有附加的1級和2級高速緩存502和504。閃存ROM 506可存儲在多媒體控制臺500通電時在引導過程初始化階段加載的可執(zhí)行代碼。圖形處理單元(GPU) 508和視頻編碼器/視頻編解碼器(編碼器/解碼器)514形成用于高速、高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元508向視頻編碼器/視頻編解碼器514運送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 540輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器510連接到GPU 508以方便處理器訪問各種類型的存儲器512，諸如但不局限于RAM(隨機存取存儲器)。多媒體控制臺500包括優(yōu)選地在模塊518上實現(xiàn)的1/0控制器520、系統(tǒng)管理控制器522、音頻處理單元523、網(wǎng)絡(luò)接口控制器524、第一 USB主控制器526、第二 USB控制器 528和前面板1/0子部件530。USB控制器526和528用作外圍控制器542 (1) -542 (2)、無線適配器M8、和外置存儲器設(shè)備546 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機。網(wǎng)絡(luò)接口 5 和/或無線適配器548提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲器543來存儲在引導過程期間加載的應用數(shù)據(jù)。提供介質(zhì)驅(qū)動器 544,且其可包括DVD/⑶驅(qū)動器、藍光驅(qū)動器、硬盤驅(qū)動器、或其他可移動介質(zhì)驅(qū)動器等。介質(zhì)驅(qū)動器144可位于多媒體控制臺500的內(nèi)部或外部。應用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器544訪問，以由多媒體控制臺500執(zhí)行、回放等。介質(zhì)驅(qū)動器544經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到1/0控制器520。系統(tǒng)管理控制器522提供涉及確保多媒體控制臺500的可用性的各種服務(wù)功能。 音頻處理單元523和音頻編解碼器532形成具有高保真度和立體聲處理的對應的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元523與音頻編解碼器532之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 MO以供外部音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件530支持暴露在多媒體控制臺100的外表面上的電源按鈕550 和彈出按鈕552以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊536向多媒體控制臺100的組件供電。風扇538冷卻多媒體控制臺500內(nèi)的電路。CPU 501、GPU 508、存儲器控制器510、和多媒體控制臺500內(nèi)的各個其他組件經(jīng)由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。當多媒體控制臺500通電時，應用數(shù)據(jù)可從系統(tǒng)存儲器543加載到存儲器512和/ 或高速緩存502、504中并在CPU 501上執(zhí)行。應用可呈現(xiàn)在導航到多媒體控制臺500上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動器M4中包含的應用和/或其他媒體可從媒體驅(qū)動器544啟動或播放，以向多媒體控制臺500提供附加功能。多媒體控制臺500可通過將該系統(tǒng)簡單地連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺500允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 5M或無線適配器548可用的寬帶連接的集成， 多媒體控制臺500還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。附加地，多媒體控制臺500 可以通過無線適配器548與處理單元4通信。當多媒體控制臺500通電時，可以保留設(shè)定量的硬件資源以供由多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器、CPU和GPU周期、網(wǎng)絡(luò)帶寬等等的保留。因為這些資源是在系統(tǒng)引導時保留的，所以所保留的資源從應用的角度而言是不存在的。具體而言，存儲器保留優(yōu)選地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應用和驅(qū)動程序。CPU保留優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，顯示由系統(tǒng)應用程序生成的輕量消息(例如，彈出窗口)，所述顯示是通過使用GPU中斷來調(diào)度代碼以將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應用使用完整用戶界面的情況下，優(yōu)選使用獨立于應用分辨率的分辨率。定標器可用于設(shè)置該分辨率，從而消除了對改變頻率并引起TV重新同步的需求。在多媒體控制臺500引導且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源中執(zhí)行的一組系統(tǒng)應用中。操作系統(tǒng)內(nèi)核標識是系統(tǒng)應用線程而非游戲應用線程的線程。系統(tǒng)應用優(yōu)選地被調(diào)度為在預定時間并以預定時間間隔在CPU 501上運行，以便為應用提供一致的系統(tǒng)資源視圖。進行調(diào)度是為了把由在控制臺上運行的游戲應用所引起的高速緩存中斷最小化。當并發(fā)系統(tǒng)應用需要音頻時，則由于時間敏感性而將音頻處理異步地調(diào)度給游戲應用。多媒體控制臺應用管理器(如下所述)在系統(tǒng)應用活動時控制游戲應用的音頻水平 (例如，靜音、衰減)。任選的輸入設(shè)備(例如，控制器討2(1)和^2( )由游戲應用和系統(tǒng)應用共享。輸入設(shè)備不是所保留的資源，但卻在系統(tǒng)應用和游戲應用之間切換以使其各自都將具有設(shè)備的焦點。應用管理器優(yōu)選地控制輸入流的切換，而無需知曉游戲應用的知識，并且驅(qū)動程序維護有關(guān)焦點切換的狀態(tài)信息。捕捉設(shè)備20A和20B可以通過USB控制器5 或其他接口來為控制臺500定義附加的輸入設(shè)備。在其他實施例中，中樞計算系統(tǒng)12可以使用其他硬件架構(gòu)來實現(xiàn)。沒有一種硬件架構(gòu)是必需的。圖4、5、6和7中所示示例性計算機系統(tǒng)包括計算機可讀存儲介質(zhì)的示例。這樣的介質(zhì)可包括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù)等信息的任何方法或技術(shù)實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于，RAM、ROM、EEPR0M、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光盤存儲、記憶棒或存儲卡、磁帶盒、磁帶、磁盤存儲或其它磁性存儲設(shè)備、或能用于存儲所需信息且可以由計算機訪問的任何其它介質(zhì)。附圖中的計算機可讀存儲介質(zhì)的一些示例包括圖4的存儲器214、圖5的閃存334、存儲器330、RAM 326、以及高速緩存324、圖6的存儲器 434、以及ROM 506、高速緩存502、504、存儲器512、系統(tǒng)存儲器M3、存儲器單元546以及介質(zhì)驅(qū)動器討4。圖1描繪了與一個中樞處理設(shè)備12 (稱為中樞)通信的一個頭戴式顯示設(shè)備2和處理單元4(統(tǒng)稱為移動顯示設(shè)備)。在另一實施例中，多個移動顯示設(shè)備可以與單個中樞通信。每個移動顯示設(shè)備都將如上述那樣使用無線通信與中樞通信。在這樣的實施例中所構(gòu)思的是，有益于所有移動顯示設(shè)備的信息中的許多都將在中樞處被計算和存儲并且傳送給每個移動顯示設(shè)備。例如，中樞將生成環(huán)境的模型并且將該模型提供給與該中樞通信的所有移動顯示設(shè)備。附加地，中樞可以跟蹤移動顯示設(shè)備以及房間中的移動物體的位置和取向，并且然后將該信息傳輸給每個移動顯示設(shè)備。在另一實施例中，可以將虛擬內(nèi)容的焦點改變?yōu)樘幱谟脩舻慕裹c處的多用戶系統(tǒng)可以包括多個中樞，每個中樞都包括一個或多個移動顯示設(shè)備。這些中樞可以直接地或者通過因特網(wǎng)(或者其他網(wǎng)絡(luò))彼此通信。例如，圖8示出了中樞560、562和564。中樞560 直接與中樞562通信。中樞560通過因特網(wǎng)與中樞564通信。中樞560與移動顯示設(shè)備 570、572574通信。中樞562與移動顯示設(shè)備578、580582通信。中樞564與移動顯示設(shè)備 584、586588通信。每個移動顯示設(shè)備都如上面所討論的那樣通過無線通信與其相應的中樞通信。如果這些中樞處于共同的環(huán)境中，則每個中樞都可以提供該環(huán)境的模型的一部分，或者一個中樞可以為其他中樞創(chuàng)建該模型。每個中樞都將跟蹤移動物體的子集并且將該信息與其他中樞共享，所述其他中樞進而將與合適的移動顯示設(shè)備共享該信息。用于移動顯示設(shè)備的傳感器信息將被提供給其相應的中樞，并且然后與其他中樞共享以用于最終與其他移動顯示設(shè)備共享。因此，在中樞間共享的信息可以包括骨架跟蹤、關(guān)于模型的信息、各種應用狀態(tài)、以及其他跟蹤。在中樞及其相應的移動顯示設(shè)備之間傳遞的信息包括移動物體的跟蹤信息、世界模型的狀態(tài)和物理更新、幾何和紋理信息、視頻和音頻、以及用于執(zhí)行在此所述的操作的其他信息。圖9是描述由上述部件執(zhí)行的用于顯示將在被用戶查看時處于焦點處的虛擬物體的過程的一個實施例的流程圖。在步驟602，配置該系統(tǒng)。例如，應用(例如圖6的應用 452)可以將該系統(tǒng)配置為指示特定虛擬圖像(其表示虛擬物體)將被插入到場景的三維模型中的指定位置處?？紤]如下示例用虛擬物體來填充空房間以將該空房間轉(zhuǎn)變?yōu)樘摂M現(xiàn)實。在另一示例中，在中樞計算系統(tǒng)12上運行的應用將指示特定的虛擬圖像(其表示虛擬物體)將作為視頻游戲或其他進程的一部分被插入到該場景中。在步驟604，該系統(tǒng)將創(chuàng)建頭戴式顯示設(shè)備2所處的空間的體積模型。例如在一個實施例中，中樞計算設(shè)備12將使用來自一個或多個深度相機的深度圖像來創(chuàng)建頭戴式顯示設(shè)備2所處的環(huán)境或空間的三維模型。在步驟606，將該模型分割成一個或多個物體。例如，如果中樞計算設(shè)備12創(chuàng)建房間的三維模型，則該房間很可能在里面具有多個物體。可以處于房間中的物體的示例包括人、椅子、桌子、沙發(fā)椅等等。步驟606包括確定彼此不同的物體。在步驟608，該系統(tǒng)將標識出這些物體。例如，中樞計算設(shè)備12可以標識出特定物體是桌子并且另一物體是椅子。在步驟610，該系統(tǒng)將顯示將在被用戶查看時處于焦點處的虛擬物體。該虛擬物體看上去是聚焦的，就好像其是通過透視透鏡、例如116、118正在被實際和直接地查看的現(xiàn)實物體。也就是說，該系統(tǒng)在用戶通過頭戴式顯示設(shè)備2進行查看的同時在用戶的視野內(nèi)用戶正在查看的焦點深度處顯示虛擬圖像。因此，該虛擬圖像將在顯示設(shè)備上出現(xiàn)在其現(xiàn)實世界位置，該顯示設(shè)備允許通過該顯示器實際直接地查看該物理環(huán)境的至少一部分。虛擬物體可以是靜止物體或者移動物體。在步驟612，頭戴式顯示設(shè)備2的用戶將基于在頭戴式顯示設(shè)備2中所顯示的虛擬物體來與運行在中樞計算設(shè)備 12(或另一計算設(shè)備)上的應用交互。下面將更詳細地描述步驟604-610中的每個。圖10是描述了用于創(chuàng)建空間的三維模型的過程的一個實施例的流程圖。例如，圖 10的過程是圖9的步驟604的一個示例性實施方式。在步驟640，中樞計算系統(tǒng)12接收頭戴式顯示設(shè)備2所處的空間的多個視角的一個或多個深度圖像。例如，中樞計算設(shè)備12可以從多個深度相機獲得深度圖像，或者通過使相機指向不同方向或者使用具有如下透鏡的相機來從同一相機獲得多個深度圖像該透鏡允許將要構(gòu)建模型的空間的全視圖。在步驟 642，基于共同的坐標系來組合來自各個深度圖像的深度數(shù)據(jù)。例如，如果該系統(tǒng)從多個相機接收深度圖像，則該系統(tǒng)將兩個圖像相關(guān)以具有共同的坐標系(例如使圖像排齊)。在步驟644，使用深度數(shù)據(jù)來創(chuàng)建空間的體積描述。在步驟646，該系統(tǒng)將檢測和跟蹤諸如在房間中移動的人類之類的移動物體。關(guān)于跟蹤人的更多細節(jié)已在上面予以了描述。在步驟 648，基于對移動物體的跟蹤來更新對空間的體積描述。步驟646和648可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得該模型通過將移動物體考慮在內(nèi)而被連續(xù)地更新。在另一實施例中， 該模型將僅僅包括關(guān)于靜止物體的信息，并且移動物體被單獨地跟蹤。圖11是描述了用于將空間的模型分割成物體的過程的一個實施例的流程圖。例如，圖11的過程是圖9的步驟606的一個示例實現(xiàn)。在圖11的步驟680，該系統(tǒng)將如上面所討論的那樣從一個或多個深度相機接收一個或多個深度圖像。可替代地，該系統(tǒng)可以訪問其已經(jīng)接收到的一個或多個深度圖像。在步驟682，該系統(tǒng)將如上述那樣從相機接收一個或多個視覺圖像?？商娲兀撓到y(tǒng)可以訪問已經(jīng)接收到的一個或多個視覺圖像。在步驟684，中樞計算系統(tǒng)將基于深度圖像和/或視覺圖像檢測一個或多個人。例如，該系統(tǒng)將識別一個或多個骨架。在步驟686，中樞計算設(shè)備將基于深度圖像和/或視覺圖像檢測該模型內(nèi)的邊緣。在步驟688，中樞計算設(shè)備將使用所檢測到的邊緣來標識出彼此不同的物體。 例如，假定這些邊緣是物體之間的邊界。在步驟690，將更新使用圖10的過程所創(chuàng)建的模型以示出該模型的哪些部分與不同的物體相關(guān)聯(lián)。圖12是描述用于標識出物體的過程的一個實施例的流程圖。例如，圖12的過程是圖9的步驟608的一個示例實現(xiàn)。在步驟710，中樞計算設(shè)備12將所標識出的人與用戶身份進行匹配。例如，該系統(tǒng)可以具有用戶簡檔，所述用戶簡檔具有可以與所檢測到的物體的圖像相匹配的視覺圖像?？商娲?，用戶簡檔可以描述可基于深度圖像或視覺圖像來匹配的人的特征。在另一實施例中，用戶可以登陸到系統(tǒng)中并且中樞計算設(shè)備12可以使用登陸過程來標識出特定用戶并且在此處所述的交互的整個過程中跟蹤該用戶。在步驟712，中樞計算設(shè)備12將訪問形狀數(shù)據(jù)庫。在步驟714，中樞計算設(shè)備將模型中的多個物體與數(shù)據(jù)庫中的形狀進行匹配。在步驟716，將突出不匹配的那些形狀并且將其顯示給用戶(例如使用監(jiān)視器16)。在步驟718，中樞計算設(shè)備12將接收標識出所突出形狀中的每個(或其子集)的用戶輸入。例如，用戶可以使用鍵盤、鼠標、語音輸入、或者其他類型的輸入來指示 每個未標識出的形狀是什么。在步驟720，基于步驟718中的用戶輸入來更新形狀數(shù)據(jù)庫。 在步驟722，通過添加每個物體的元數(shù)據(jù)來進一步更新在步驟604被創(chuàng)建并且在步驟606被更新的環(huán)境模型。該元數(shù)據(jù)標識出該物體。例如，該元數(shù)據(jù)可以指示特定物體處于擦亮的桌、某人、綠色真皮沙發(fā)椅等等的周圍。圖13是描述用于顯示將在被查看透視顯示器的用戶查看時處于焦點處的虛擬物體的過程的一個實施例的流程圖。例如，圖13的過程是圖9的步驟610的一個示例實現(xiàn)。 在圖13的步驟950，系統(tǒng)確定用戶的視野。也就是說，該系統(tǒng)確定用戶正在查看該環(huán)境或空間的哪個部分。在一個實施例中，這是使用中樞計算設(shè)備12、處理單元4和頭戴式顯示設(shè)備2的協(xié)作工作。在一個示例性實施方式中，中樞計算機設(shè)備12將跟蹤用戶和頭戴式顯示設(shè)備2以便提供對頭戴式顯示設(shè)備2的位置和取向的初步確定。頭戴式顯示設(shè)備2上的傳感器將用于細化所確定的取向。例如，上述慣性傳感器34可以用于細化頭戴式顯示設(shè)備2 的取向。附加地，可以使用上述眼睛跟蹤過程來標識出最初所確定的視野的與用戶具體正在查看之處相對應的子集(另稱為視野中的用戶聚焦區(qū)或深度焦點)。下面將參照圖14、 15和16來描述更多細節(jié)。虛擬物體的類型及其在用戶視野中的位置由應用452基于缺省參數(shù)、用戶輸入或者二者的組合來確定。例如，用戶可以已經(jīng)選擇了房間中的咖啡桌的現(xiàn)實世界物體，其中他運行應用452以看上去是巨石。虛擬巨石的目標位置將與咖啡桌在三維模型中的位置相關(guān)。在另一示例中，可以由用戶選擇將在房間四周游動的虛擬海豚。海豚在房間四周的虛擬運動可以由海豚物體的軌跡路徑來實現(xiàn)，其中海豚的目標位置在每個顯示幀中都被更新。即使用戶注視巨石，海豚通常仍然很可能進入和離開用戶的聚焦區(qū)和視野。當用戶移動他或她的眼睛或頭時，用戶視野和當前聚焦區(qū)也被用這些移動更新。一個或多個虛擬物體可以在任何給定時間位于用戶聚焦區(qū)和用戶視野中。在上面的步驟950確定視野以后，該系統(tǒng)在步驟952確定在用戶的當前視野中是否存在虛擬物體的任何目標位置。在諸如中樞計算設(shè)備12之類的一個或多個計算機系統(tǒng)、或者處理單元4中執(zhí)行的軟件將標識出視野中的目標位置。在一個實施例中，中樞計算設(shè)備12將向處理單元4提供該模型。作為步驟952的一部分，處理單元4將使用環(huán)境的模型以及對用戶的位置和取向的知識來確定任何虛擬物體的目標位置是否處于用戶的視野中。如果在用戶的當前視野中不存在虛擬物體，則步驟966中的處理返回到步驟950 中確定和更新用戶的視野。
如果在用戶的視野中存在至少一個具有目標位置的虛擬物體，則在步驟954，諸如處理單元4中執(zhí)行的軟件之類的該系統(tǒng)確定用戶在用戶的視野內(nèi)的當前聚焦區(qū)。如后面在圖15和16中將進一步討論的那樣，基于由眼睛跟蹤相機134針對每只眼睛所捕捉的數(shù)據(jù)的眼睛跟蹤處理可以提供用戶的當前聚焦區(qū)。例如，在有數(shù)據(jù)指示用戶臉的情況下，瞳孔之間的集中可以用于三角測定焦點曲線、雙眼單視界上的焦點，從該焦點中可以計算出聚焦區(qū)、Panum匯合區(qū)域。Panum匯合區(qū)域是人眼所使用的雙眼立體視覺的單視覺區(qū)域。在步驟956，在中樞計算系統(tǒng)12、處理單元4或二者中執(zhí)行的軟件基于虛擬物體在模型中的目標位置來標識出用戶視野中的哪個虛擬物體處于當前用戶聚焦區(qū)中。在步驟958，處理單元4對圖像的要插入到用戶視圖中的虛擬物體進行縮放和定向。虛擬圖像的縮放和定向?qū)⒒谠谝曇爸械哪繕宋恢靡约疤摂M物體基于該模型的已知形狀。在步驟960，處理單元4、控制電路136或分擔處理的二者通過改變微顯示器部件的聚焦區(qū)來將每個所標識出的虛擬物體放置在當前用戶聚焦區(qū)中。在步驟962，根據(jù)與當前聚焦區(qū)相距的距離將人工深度場技術(shù)應用于其目標位置處于用戶視野內(nèi)、但處于用戶當前聚焦區(qū)之外的虛擬物體。人工深度場技術(shù)的示例是人工模糊技術(shù)。人工模糊可以通過如下方式來實現(xiàn)根據(jù)與聚焦區(qū)相距的距離應用深度場著色器或其他高斯模糊濾波器來模擬處于焦點之外的物體。該技術(shù)可以全部或部分地由在中樞計算機12、處理單元4或二者上執(zhí)行的軟件來執(zhí)行。為便于描述，將參考處理單元4。由處理單元4從作為虛擬物體的目標位置的一部分的深度值中確定圖像中的物體的焦距，該處理單元4還確定比如包圍光導光學元件112的顯示元件之類的顯示元件112上的哪些像素將映射到圖像中的虛擬物體?；谠摻咕啵ㄟ^將該圖像與高斯函數(shù)卷積來應用一個或多個加權(quán)高斯模糊濾波器以覆蓋至少二維，使得應用于與該圖像的焦點或注視點相距越遠的像素的變換將受到越多的模糊化效果。在一個示例中，高斯模糊濾波器充當移除高頻信息的低通濾波器。在步驟964，顯示包括用戶視野中的虛擬物體的虛擬圖像。在一個示例中，處理單元4向控制電路136的顯示驅(qū)動器220發(fā)送指令以用于在微顯示器120上顯示包括用戶視野中的虛擬物體的虛擬圖像。然后，透鏡系統(tǒng)122將從微顯示器120接收的虛擬圖像投影到反射面1 上或向用戶的眼睛投影，或者投影到光導光學元件112中以供用戶查看。在一個實施方式中，頭戴式顯示設(shè)備中的正被用戶用來進行查看的顯示器(例如光導光學元件11 被劃分成像素。步驟964可以包括確定哪些像素對應于目標位置，并且這些像素將在步驟964顯示該虛擬圖像。不透明度濾光器114可以用于防止不逼真的視覺效果。例如，不透明度濾光器114可以修改對光導光學元件112中的像素的光，使得背景虛擬物體不至于穿過前景虛擬物體被看見。處理返回到步驟950并且再次在該實時現(xiàn)實系統(tǒng)中確定用戶視野。圖13的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶視野和用戶聚焦區(qū)隨著用戶移動他或她的頭而被更新，并且虛擬物體可以相應地被顯示為自然地移進和移出用戶的焦點。圖16是描述了用于確定用戶視野的過程的一個實施例的流程圖，該過程是圖13 的步驟950的示例性實施方式。圖16的過程依靠來自中樞計算設(shè)備12的信息和上述眼睛跟蹤技術(shù)。圖14是描述了由中樞計算系統(tǒng)執(zhí)行以提供用在圖16的過程中的跟蹤信息的過程的一個實施例的流程圖。圖15是描述了用于跟蹤眼睛的過程的一個實施例的流程圖，其中該過程的結(jié)果供圖16的過程來使用。在圖14的步驟810，中樞計算設(shè)備12將跟蹤用戶的位置。例如，中樞計算設(shè)備12 將使用一個或多個深度圖像和一個或多個視覺圖像來跟蹤用戶(例如使用骨架跟蹤)。可以在步驟812使用一個或多個深度圖像和一個或多個視覺圖像來確定頭戴式顯示設(shè)備2的位置和頭戴式顯示設(shè)備2的取向。在步驟814，將用戶和頭戴式顯示設(shè)備2的位置和取向從中樞計算設(shè)備12傳送給處理單元4。在步驟816，在處理單元4處接收該位置和取向信息。 圖14的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶被連續(xù)地跟蹤。圖15是描述用于使用上述技術(shù)來跟蹤眼睛的一個實施例的流程圖。在步驟860， 照明眼睛。例如，可以使用紅外光從眼睛跟蹤照明144A來照明眼睛。在步驟862，使用一個或多個眼睛跟蹤相機134B來檢測來自眼睛的反射。在步驟864，將該反射數(shù)據(jù)從頭戴式顯示設(shè)備2發(fā)送給處理單元4。在步驟866，處理單元4將如上述那樣基于反射數(shù)據(jù)來確定眼睛的位置。在步驟868，處理單元4還將基于反射數(shù)據(jù)來確定用戶眼睛正在查看的的焦點深度位置或聚焦區(qū)。圖15的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶的眼睛被連續(xù)地跟蹤，從而提供用于跟蹤當前用戶聚焦區(qū)的數(shù)據(jù)。圖16是描述了用于確定視野的過程(例如圖13的步驟950)的一個實施例的流程圖。在步驟902，處理單元4將訪問從中樞接收到的最新的位置和取向信息。圖14的過程可以如從步驟814到步驟810的箭頭所描繪的那樣連續(xù)地執(zhí)行，因此，處理單元4將周期性地從中樞計算設(shè)備12接收經(jīng)更新的位置和取向信息。然而，處理單元4將需要與其從中樞計算設(shè)備12接收經(jīng)更新的信息相比更頻繁地繪制虛擬圖像。因此，處理單元4將需要依靠本地感測的信息(其例如來自頭戴式設(shè)備幻以在來自中樞計算設(shè)備12的采樣之間提供取向的更新。在步驟904，處理單元4將從三軸陀螺儀132B訪問數(shù)據(jù)。在步驟906，處理單元4將從三軸加速度計132C訪問數(shù)據(jù)。在步驟908，處理單元4將從三軸磁力計132A訪問數(shù)據(jù)。在步驟910，處理單元4將用來自該陀螺儀、加速度計和磁力計的數(shù)據(jù)來細化(或以其他方式更新)來自中樞計算設(shè)備12的位置和取向數(shù)據(jù)。在步驟912，處理單元4將基于頭戴式顯示設(shè)備的位置和取向來確定潛在的視野。在步驟914，處理單元4將訪問最新的眼睛位置信息。在步驟916，處理單元4將基于眼睛位置作為潛在視野的子集來確定模型的被用戶觀看的一部分。例如，用戶可以朝向墻壁，并且因此頭戴式顯示器的視野可以包括沿著墻壁的任何地方。然而，如果用戶的眼睛指向右邊，則步驟916將作出的結(jié)論是，用戶的視野僅僅是墻壁的右邊部分。在步驟916 結(jié)束時，處理單元4已經(jīng)確定了用戶通過頭戴式顯示器2的視野。處理單元4可以標識出虛擬物體在該視野內(nèi)的目標位置。在步驟918，處理單元4基于眼睛位置確定該模型部分內(nèi)的當前用戶聚焦區(qū)。處理單元4可以標識出處于當前用戶聚焦區(qū)中的虛擬物體在該模型中的目標位置。圖16的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶視野和用戶聚焦區(qū)隨著用戶移動他或她的頭而被連續(xù)更新，并且虛擬物體可以相應地被顯示為自然地移進和移出用戶的焦點。圖17A是描述用于通過使微顯示器部件的至少一個透鏡移位來改變該部件的聚焦區(qū)的過程的一個實施例的流程圖。該實施例可用于實現(xiàn)圖13中的步驟960。針對說明性上下文，參考之前參照圖2A和2B描述的微顯示器部件。微顯示器部件包括在光路133中與透鏡系統(tǒng)122對準的微顯示器單元120，該透鏡系統(tǒng)122使從微顯示器單元120到反射元件124或反射單元12^、lMb、以及要么進入用戶眼睛、要么進入另一光學元件112的圖像光準直化。微顯示器部件還包括可變虛焦點調(diào)整器135，該可變虛焦點調(diào)整器135用于物理地移動光處理元件之一以獲得所選或所確定的聚焦區(qū)。在討論圖3A-3D以前，微顯示器部件位移和焦距的關(guān)系為下列等式1/S1+1/S2 = 1/fo在步驟980，處理單元4確定透鏡系統(tǒng)122的前面節(jié)點與虛擬物體的目標位置之間的位移值Si。附加地，在步驟982，處理單元4確定反射元件124、12 與透鏡系統(tǒng)的背面節(jié)點之間的位移值S2以基于該等式獲得透鏡系統(tǒng)的焦距f。處理單元4在步驟984致使控制電路136的處理器使可變調(diào)整器驅(qū)動器237向可變虛焦點調(diào)整器135施加至少一個驅(qū)動信號以物理地移動透鏡系統(tǒng)的至少一個透鏡以生成所確定的位移值Sl和S2。除了圖2A和 2B中所示的微顯示器部件以外，另一實施方式是使用圖3D的可插入透鏡系統(tǒng)示例的微顯示器部件。該移動是如在原地則釋放透鏡的臂123并且移動該透鏡的臂123 —確定的位移以將透鏡鎖定在光路133中。圖17B是描述用于通過改變微顯示器部件的至少一個透鏡的偏振性來改變該部件的聚焦區(qū)的過程的一個實施例的流程圖。該實施例可以用于實現(xiàn)圖13中的步驟960，并且適于與諸如圖3C所示之類的微顯示器部件的實施例一起使用。在該實施例中，該透鏡系統(tǒng)在微顯示器120與反射元件124(圖2A)、12如(圖2B)之間的光路中包括至少一個雙折射透鏡。在步驟986，處理單元4基于虛擬物體的目標位置以及等式1/S1+1/S2 = Ι/f來選擇Sl的位移值。在步驟988，可變調(diào)整器驅(qū)動器237施加至少一個驅(qū)動信號以致使可變焦點調(diào)整器135改變所述至少一個雙折射透鏡的偏振性以改變雙折射透鏡的焦距f來生成所選Sl值。由于每個雙折射透鏡都具有與兩個偏振軸相對應的兩個離散焦距，因此兩個這樣的透鏡的組合將提供對4個離散焦距的選擇。因此，在軟件的控制下，控制電路136的處理單元4或處理器210選擇最接近的可用焦距以逼近f的值。對于所添加的每個雙折射透鏡，離散焦距的數(shù)目加倍。圖17C是描述用于通過改變微顯示器部件的至少一個流體透鏡的曲率半徑來改變該部件的聚焦區(qū)的過程的一個實施例的流程圖。該實施例可以用于實現(xiàn)圖13中的步驟 960，并且適于與在其透鏡系統(tǒng)122中使用諸如圖3B1和3B2所示之類的至少一個液體透鏡的微顯示器部件的實施例一起使用。在步驟990，處理單元4基于虛擬物體的目標位置以及等式1/S1+1/S2 = Ι/f來選擇Sl的位移值。在步驟992，可變調(diào)整器驅(qū)動器237施加至少一個驅(qū)動信號以致使可變焦點調(diào)整器135使流體透鏡中的流體量改變，從而導致其曲率半徑改變以改變其焦距來生成所選Sl值。如上面在圖13的實施例中所提到的那樣，對于處于用戶視野中、但處于用戶的聚焦區(qū)之外的虛擬物體，可以應用人工模糊技術(shù)。在其他實施例中，可以生成不同聚焦區(qū)處的一系列圖像。通過移動通過一定范圍的焦點或聚焦區(qū)以及顯示每個聚焦區(qū)處的圖像，可以使用戶看見由多層不同聚焦區(qū)圖像構(gòu)成的圖像。當用戶重新調(diào)整他或她的焦點時，用戶將選定這些區(qū)域之一，并且其余區(qū)域中的虛擬物體將被自然地模糊化。掃過一定范圍的聚焦區(qū)可以以預定速率或頻率進行。這足夠快地進行，使得人類瞬時圖像匯合將使其所有看上去都同時存在。對諸如人工模糊之類的人工深度場技術(shù)的需要將減少，但是渲染負荷可能顯著增加。
在一個實施例中，經(jīng)過一定范圍的聚焦區(qū)的移動可以通過如下方式來執(zhí)行以一定速率改變微處理器部件的光處理元件之間的位移、或者該部件中的光處理元件的光學能力。該速率可以為至少高達每秒30的幀速(fps)，但是可以在一些實施例中為更高速率，比如60、120或180Hz。以高速率被沿著光軸移位從而提供不同聚焦區(qū)處的圖像的透鏡有時被稱為振動透鏡或振蕩透鏡。在一些實例中，移動例如反射面124、12如之類的圖像區(qū)域、而不是透鏡系統(tǒng)122或圖像源120，但是原理是相同的。圖18A是描述用于在擴展顯示顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的一個實施例的流程圖，該過程可以用于實現(xiàn)圖9中的步驟610。在圖18A的步驟1002，中樞計算設(shè)備12或處理單元4或二者在軟件的控制下如在圖13的步驟950中那樣確定用戶的視野，并且如在步驟952中那樣在步驟1004確定在用戶的當前視野中是否存在虛擬物體的任何目標位置。類似于步驟966，如果在用戶的當前視野中不存在虛擬物體，則步驟 1006中的處理返回到步驟1002中確定和更新用戶的視野。如在步驟958中那樣，處理單元4在步驟1012將對圖像的要插入到用戶視圖中的虛擬物體進行縮放和定向。虛擬圖像的縮放和定向?qū)⒒谀繕嗽谝曇爸械奈恢靡约疤摂M物體基于該模型的已知形狀。在步驟1016，由控制電路的定時生成器2 或時鐘生成器244啟動掃描速率時間段。在步驟1018，初始化計數(shù)器，以在掃描時間段期間經(jīng)歷該范圍內(nèi)的一定數(shù)目的聚焦區(qū)。 在一些實例中，聚焦區(qū)是預定的。在掃描時間段的每個時間步，調(diào)整微顯示器部件的元件的聚焦區(qū)，并且在步驟1022針對每個聚焦區(qū)在其掃描時間或時間步向用戶顯示圖像。在步驟 1024，通過遞增計數(shù)器來選擇下一聚焦區(qū)，并且重復步驟1020至IOM的處理，直到計數(shù)器指示該范圍掃描完成。掃描時間段在步驟10 結(jié)束。在其他示例中，用于顯示的幀結(jié)尾可以中斷經(jīng)過該掃描范圍的掃描，并且另一掃描從下一幀開始。在一個實施例中，可以通過如下方式來降低渲染負荷渲染聚焦區(qū)的子集；以及使用對用戶聚焦區(qū)的跟蹤來優(yōu)化選擇哪些聚焦區(qū)進行渲染。在其他示例中，眼睛跟蹤數(shù)據(jù)不提供足夠的精確度來確定用戶正在查看的焦點位置的深度。推斷邏輯可以推斷用戶聚焦到的物體。一旦選擇物體作為焦點物體，就可以使用當前場景的三維模型或映射來確定與焦點物體相距的距離。圖18B示出了用于顯示將在被查看擴展現(xiàn)實顯示的用戶查看時處于焦點處的虛擬物體的過程的另一實施例，該過程可以用于實現(xiàn)圖9中的步驟610。圖18B是描述用于在擴展現(xiàn)實顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的一個實施例的流程圖。在圖 18B的步驟1002，中樞計算設(shè)備12或處理單元4或二者在軟件的控制下如在圖13的步驟 950中那樣確定用戶的視野，并且如在步驟952中那樣在步驟1004確定在用戶的當前視野中是否存在虛擬物體的任何目標位置。類似于步驟966，如果在用戶的當前視野中不存在虛擬物體，則步驟1006中的處理返回到步驟1002中確定和更新用戶的視野。如果存在至少一個在用戶的視野中具有目標位置的虛擬物體，則如在步驟954中那樣，在步驟1008，諸如處理單元4中執(zhí)行的軟件之類的該系統(tǒng)確定用戶在用戶的視野內(nèi)的當前聚焦區(qū)，并且如在步驟956中那樣，在中樞計算系統(tǒng)12、處理單元4或二者中執(zhí)行的軟件在步驟1010基于虛擬物體在模型中的目標位置來標識出用戶視野中的哪個虛擬物體處于當前用戶聚焦區(qū)中。如在步驟958中那樣，處理單元4在步驟1012將對圖像的要插入到用戶視圖中的虛擬物體進行縮放和定向。虛擬圖像的縮放和定向?qū)⒒谀繕嗽谝曇爸械奈恢靡约疤摂M物體基于該模型的已知形狀。在步驟1014，處理單元4選擇包括當前用戶聚焦區(qū)在內(nèi)的一定范圍的聚焦區(qū)。處理單元4可以基于諸如執(zhí)行應用(例如452)的上下文之類的標準來選擇聚焦區(qū)的范圍。 應用可以使用對具有預定運動軌跡的虛擬物體和觸發(fā)其出現(xiàn)的事件的選擇。當物體的模型隨著物體的移動被更新時，處理單元4按照圖10的討論來接收這些更新。在各更新之間， 處理單元4可以使用關(guān)于用戶頭的位置和取向的傳感器數(shù)據(jù)來確定他或她在當時很可能聚焦到哪些虛擬物體。處理單元4可以基于場景的三維模型來選擇虛擬物體的軌跡將經(jīng)過的多個聚焦區(qū)。因此，一個示例性標準是包括虛擬物體所處的每個聚焦區(qū)。另外，還可以選擇如下的聚焦區(qū)在所述區(qū)域中，移動虛擬物體的軌跡將處于預定的時間幀中。在一個示例中，預定的時間幀可以是直到指示虛擬物體的精確位置的模型數(shù)據(jù)的下次更新為止。掃過該范圍的聚焦區(qū)的起始聚焦區(qū)點可以是在用戶眼睛的用戶視野中接近無窮遠處的點。可以使用其他起始位置，然而，從無窮遠處開始可以簡化不透明度濾光器114的應用。在步驟1016，由控制電路的定時生成器2 或時鐘生成器244啟動掃描速率時間段。 在步驟1018，初始化計數(shù)器，以在掃描時間段期間經(jīng)歷該范圍內(nèi)的一定數(shù)目的聚焦區(qū)。在一些實例中，聚焦區(qū)是預定的。在掃描時間段的每個時間步，調(diào)整微顯示器部件的元件的聚焦區(qū)，并且在步驟1022針對每個聚焦區(qū)在其掃描時間或時間步向用戶顯示圖像。在步驟 1024，通過遞增計數(shù)器來選擇下一聚焦區(qū)，并且重復步驟1020至IOM的處理，直到計數(shù)器指示該范圍的掃描完成。掃描時間段在步驟10 結(jié)束。在其他示例中，用于顯示的幀結(jié)尾可以中斷經(jīng)過該掃描范圍的掃描，并且另一掃描從下一幀開始。圖19A和19B示意性地示出了用于在擴展現(xiàn)實顯示中顯示多焦點虛擬物體的不同方式的示例。在圖19A中，在微顯示器部件的光路133中的不同位移處生成的不同聚焦區(qū)處生成4個圖像1050a至1050d的示例，并且發(fā)送所有圖像以供在光導光學元件112上顯示。在圖19B中，處理單元4致使每個圖像的處于該聚焦區(qū)或圖像區(qū)域處的焦點中的片段或部分被包括在復合圖像1055中以供在顯示器112上顯示。在一個示例中，每個圖像的處于焦點處的片段和部分可以是虛擬物體在其生成時在該圖像中所位于的部分。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種用于生成提供虛擬物體的可變焦點的擴展現(xiàn)實顯示的方法，包括確定(950)使用近眼顯示設(shè)備查看場景的用戶的三維視野，該場景包括一個或多個現(xiàn)實物體以及擴展現(xiàn)實顯示圖像中的一個或多個虛擬物體；標識出(95 該用戶的視野內(nèi)的一個或多個虛擬物體的三維位置； 確定(954)該用戶在視野內(nèi)的三維當前聚焦區(qū)；標識出(956)所述一個或多個虛擬物體中的哪些處于該用戶的當前聚焦區(qū)中； 通過調(diào)整近眼顯示設(shè)備的微顯示器部件的聚焦區(qū)來將所述一個或多個虛擬物體放置 (960)在該用戶在擴展顯示圖像中的當前聚焦區(qū)中；以及顯示(964)包括至少一個虛擬物體的圖像。
2.如權(quán)利要求1所述的方法，其特征在于，還包括根據(jù)與當前聚焦區(qū)相距的距離將至少一個人工深度場技術(shù)應用(962)于處于該用戶的視野內(nèi)、但處于該用戶的當前聚焦區(qū)之外的虛擬物體。
3.如權(quán)利要求1所述的方法，其特征在于通過調(diào)整近眼顯示設(shè)備的微顯示器部件的聚焦區(qū)來將所述一個或多個虛擬物體放置在該用戶在擴展顯示圖像中的當前聚焦區(qū)中包括調(diào)整(圖17A)微顯示器部件在光路中的位移。
4.如權(quán)利要求3所述的方法，其特征在于該微顯示器部件包括在光路中與反射元件對準的至少一個光學元件和微顯示器單元；以及調(diào)整該微顯示器部件在光路中的位移還包括確定(980)所述至少一個光學元件的前面節(jié)點與至少一個虛擬物體的目標位置之間的位移值Si，所述至少一個光學元件在光路中位于微顯示器與反射元件之間；確定(982)該反射元件與所述至少一個光學元件的背面節(jié)點之間的位移值S2，以基于等式1/S1+1/S2 = Ι/f獲得所述至少一個透鏡的焦距f ；以及移動(984)所述至少一個光學元件以生成所確定的位移值Sl和S2。
5.一種提供虛擬物體的可變焦點的擴展現(xiàn)實系統(tǒng)，包括 透視顯示器單元0)，包括微顯示器部件(173)，該微顯示器部件(17 用于生成圖像以供透視顯示器單元顯示， 該微顯示器部件包括反射元件(IM)、至少一個光學元件(122)、微顯示器單元(120)、以及可變虛焦點調(diào)整器(135)，所述至少一個光學元件和微顯示器單元在光路(133)中與該反射元件對準，該可變虛擬調(diào)整器改變該微顯示器部件的聚焦區(qū)以將一個或多個虛擬物體放置在用戶的當前聚焦區(qū)中；控制電路(136)，該控制電路(136)包括可通信地耦合到該微顯示器部件的處理器 010)，該控制電路包括驅(qū)動器037)以控制該可變虛擬調(diào)整器，該處理器在軟件的控制下指示該微顯示器單元將至少一個虛擬物體包括在當前用戶聚焦區(qū)中；以及顯示器(112，124b)，該顯示器(112，1Mb)光學耦合到該微顯示器部件以用于投影指向至少一個眼睛位置的三維虛擬圖像。
6.如權(quán)利要求5所述的擴展現(xiàn)實系統(tǒng)，其特征在于，還包括電樞(137)，該電樞(137)用于支承該微顯示器部件的至少一個元件，并且該電樞處于該可變虛擬調(diào)整器的控制下。
7.如權(quán)利要求5所述的擴展現(xiàn)實系統(tǒng)，其特征在于該控制電路還包括定時生成器0 ),該定時生成器(226)用于向控制該可變虛擬調(diào)整器的驅(qū)動器提供速率；該可變虛擬調(diào)整器以該速率在該微顯示器部件的光路中掃過一定范圍的位移，該范圍的位移對應于一定范圍的聚焦區(qū)；該范圍的聚焦區(qū)包括當前用戶聚焦區(qū)；以及該處理器在軟件的控制下指示該微顯示器單元生成圖像(1050)，該圖像(1050)包括被標識為在該調(diào)整器處于針對該聚焦區(qū)的該位移處時將位于該范圍的聚焦區(qū)之一中的任何虛擬物體。
8.如權(quán)利要求5所述的擴展現(xiàn)實系統(tǒng)，其特征在于該控制電路還包括定時生成器0 ),該定時生成器(226)用于向控制該可變虛擬調(diào)整器的驅(qū)動器提供速率；該可變虛擬調(diào)整器以該速率在該微顯示器部件的光路中掃過至少一個光學元件的一定范圍的偏振值(圖3C)以改變該光路中的所述至少一個光學元件的焦距，該范圍的偏振值對應于一定范圍的聚焦區(qū)；該范圍的聚焦區(qū)包括當前用戶聚焦區(qū)；以及該處理器在軟件的控制下指示該微顯示器單元生成圖像(1050)，該圖像(1050)包括被標識為在該調(diào)整器處于針對該聚焦區(qū)的該偏振性(圖3C)時將位于該范圍的聚焦區(qū)之一中的任何虛擬物體。
9.如權(quán)利要求5所述的擴展現(xiàn)實系統(tǒng)，其特征在于該控制電路還包括定時生成器0 ),該定時生成器(226)用于向控制該可變虛擬調(diào)整器的驅(qū)動器提供速率；該光路中的所述至少一個光學元件包括流體透鏡(150，156，158)； 該可變虛擬調(diào)整器以該速率在該微顯示器部件的光路中掃過所述至少一個流體透鏡的一定范圍的曲率半徑以改變所述至少一個流體透鏡的焦距，該范圍的曲率半徑值對應于一定范圍的聚焦區(qū)；該范圍的聚焦區(qū)包括當前用戶聚焦區(qū)；以及該處理器在軟件的控制下指示該微顯示器單元生成圖像，該圖像包括被標識為在該調(diào)整器處于針對該聚焦區(qū)的該曲率半徑時將位于該范圍的聚焦區(qū)之一中的任何虛擬物體。
10.如權(quán)利要求7所述的擴展現(xiàn)實系統(tǒng)，其特征在于該微顯示器生成復合圖像(1055)，該復合圖像(105 包括由該范圍的位移所生成的不同圖像(1050)的處于焦點處的部分；以及該顯示器將該復合圖像投影到所述至少一個眼睛位置。
全文摘要
本發(fā)明涉及用于擴展現(xiàn)實顯示的自動可變虛擬焦點。該技術(shù)提供了一種用于顯示將在被用戶查看時處于焦點處的虛擬物體的擴展現(xiàn)實顯示系統(tǒng)。在一個實施例中，跟蹤用戶的聚焦區(qū)，并且顯示用戶的聚焦區(qū)內(nèi)的虛擬物體以出現(xiàn)在該聚焦區(qū)中。當用戶改變虛擬物體之間的焦點時，它們看上去就像將在物理環(huán)境的現(xiàn)實物體中那樣自然地移進和移出焦點。虛擬物體圖像的焦點改變是由于改變光處理元件在擴展現(xiàn)實顯示系統(tǒng)的微顯示器部件的光路中的聚焦區(qū)而導致的。在一些實施例中，通過調(diào)整微顯示器部件的光路中的元件以掃描速率來掃描一定范圍的聚焦區(qū)。
文檔編號G02B27/01GK102566049SQ20111036495
公開日2012年7月11日 申請日期2011年11月7日 優(yōu)先權(quán)日2010年11月8日
發(fā)明者A·巴-澤埃夫, J·劉易斯 申請人:微軟公司