專利名稱：用于擴展現(xiàn)實顯示的優(yōu)化聚焦區(qū)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于擴展現(xiàn)實顯示的優(yōu)化聚焦區(qū)。
背景技術(shù)：
擴展現(xiàn)實是一種允許將虛擬圖像與現(xiàn)實世界物理環(huán)境或空間相混合的技術(shù)。一般而言，近眼顯示器使用光學器件與立體視覺的組合來將虛擬圖像聚焦到空間內(nèi)。在這樣的顯示器中，顯示分辨率和處理是寶貴的。在某些情況下，通過近眼顯示設(shè)備向用戶所顯示的虛擬圖像可能包括包含高度精細圖形的虛擬圖像或物體。通常向佩戴近眼顯示設(shè)備的用戶呈現(xiàn)該用戶不一定有興趣查看的大量信息。

發(fā)明內(nèi)容
所簡述的技術(shù)包括一種用于向用戶呈現(xiàn)經(jīng)優(yōu)化的圖像的方法。創(chuàng)建經(jīng)優(yōu)化的圖像以用于相對于用戶在場景中的整個視野進行顯示。跟蹤用戶的頭和眼睛位置和移動以確定該用戶的聚焦區(qū)。將經(jīng)優(yōu)化的圖像的一部分耦合到該用戶在眼睛的當前位置處的聚焦區(qū)， 預(yù)測頭和眼睛的下一位置，并且將經(jīng)優(yōu)化的圖像的一部分耦合到該用戶在下一位置處的聚焦區(qū)。另外，提供了一種頭戴式顯示設(shè)備。該頭戴式顯示器包括將經(jīng)優(yōu)化的圖像的至少一部分耦合到用戶的聚焦區(qū)的顯示器。慣性傳感器、磁傳感器、機械傳感器和/或其他傳感器感測頭戴式顯示設(shè)備的定向信息，并且眼睛跟蹤傳感器檢測用戶眼睛位置。與顯示器、慣性傳感器和/或其他傳感器和眼睛跟蹤傳感器進行通信的處理單元自動地相對于顯示器在用戶的眼睛的當前位置處顯示經(jīng)優(yōu)化的圖像的經(jīng)優(yōu)化的部分，使得該圖像的該部分耦合到該用戶的聚焦區(qū)。然后，該處理設(shè)備確定用戶的眼睛的下一位置并且相對于該顯示器在用戶眼睛的該下一位置處顯示經(jīng)優(yōu)化的圖像的另一經(jīng)優(yōu)化的部分，使得該圖像的該部分耦合到用戶在下一位置處的聚焦區(qū)。提供本發(fā)明內(nèi)容以便以簡化的形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本發(fā)明的任一部分中提及的任何或所有缺點的實現(xiàn)。


圖I是描繪了用于基于用戶意圖生成經(jīng)優(yōu)化的內(nèi)容的系統(tǒng)的一個實施例的示例性組件的框圖。圖2A是示出描繪根據(jù)本技術(shù)的方法的流程圖。圖2B描繪了用戶對用戶環(huán)境中的一個或多個物體的視圖的一個實施例。圖2C是被示為覆蓋用戶對用戶環(huán)境的視圖的在完全分辨率下的經(jīng)優(yōu)化圖像的圖
優(yōu)化部分的圖示。
圖2D是用戶對完全分辨率圖像的經(jīng)優(yōu)化部分和被部分遮蔽的視野的視圖的圖
圖2E是與本技術(shù)一起使用的一種類型的聚焦區(qū)的圖示。
圖2F是用戶環(huán)境的圖示。
圖2G是全分辨率圖像和被部分遮蔽的用戶視野的同時渲染的當前和下一位置經(jīng)

圖。
流程圖。
圖3A是頭戴式顯示單元的一個實施例的一部分的頂視圖。
圖3B是頭戴式顯示單元的另一實施例的一部分的頂視圖。
圖3C和3D是頭戴式顯示單元的另一實施例的一部分的頂視圖和側(cè)視圖。
圖4A是頭戴式顯示單元的組件的一個實施例的框圖。
圖4B是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個實施例的框圖。
圖5是結(jié)合頭戴式顯示單元使用的中樞計算系統(tǒng)的組件的一個實施例的框圖。
圖6是可用于實現(xiàn)在此所述的中樞計算系統(tǒng)的計算系統(tǒng)的一個實施例的框圖。
圖7是描繪用于生成經(jīng)優(yōu)化內(nèi)容的多用戶系統(tǒng)的框圖。
圖8描述了用于基于用戶意圖生成經(jīng)優(yōu)化內(nèi)容的過程的一個實施例。
圖9描述了用戶創(chuàng)建用戶的空間的模型的過程的一個實施例。
圖10是描述了用于將空間的模型分割成各個物體的過程的一個實施例的流程
圖11是描述用于跟蹤用戶的視野以及確定用戶的聚焦區(qū)的過程的一個實施例的
圖
12是描述了由中樞計算系統(tǒng)執(zhí)行以提供用在圖2A的過程中的跟蹤信息的過程的一個實施例的流程圖。圖13是描述了用于跟蹤眼睛的過程的一個實施例的流程圖，其中該過程的結(jié)果供圖12的過程來使用。圖14是描述用于提供經(jīng)優(yōu)化圖像的所選部分以耦合到用戶小凹的過程的一個實施例的流程圖。圖15是描述用于從眼睛的當前位置估計眼睛的下一位置的過程的流程圖。圖16是根據(jù)圖15的步驟的用于預(yù)測一個或或多個接下來的眼睛位置的方法。
具體實施例方式公開了一種用于增強用戶在使用近眼顯示設(shè)備時的體驗的技術(shù)。用戶通過諸如頭戴式顯示設(shè)備之類的近眼顯示設(shè)備來查看場景。確定作為用戶正在查看的環(huán)境或空間的用戶視野。渲染如下圖像該圖像被優(yōu)化以供相對于視野來使用。通過跟蹤該用戶的眼睛在視野內(nèi)的位置來確定用戶的聚焦區(qū)。通過將該圖像的經(jīng)優(yōu)化的部分耦合到用戶的聚焦區(qū) (在一種情況下是用戶的小凹)來提供經(jīng)優(yōu)化圖像的顯示，以減少顯示所需的處理和能量。 跟蹤用戶眼睛位置，并且計算出下一眼睛位置，以根據(jù)用戶眼睛到下一位置的移動來將該圖像的該部分定位在該下一位置處。圖像的經(jīng)優(yōu)化的部分的定位是通過任何數(shù)目的不同顯示設(shè)備來執(zhí)行的，包括以機械方式控制的鏡以及投影顯示器。使用預(yù)測算法來確定用戶眼睛的潛在的接下來的位置。圖I是描繪了用于基于用戶意圖生成經(jīng)優(yōu)化的圖像的系統(tǒng)10的一個實施例的示例性組件的框圖。系統(tǒng)10包括作為通過線6與處理單元4進行通信的近眼頭戴式顯示設(shè)備2的透視顯示設(shè)備。在其他實施例中，頭戴式顯示設(shè)備2通過無線通信來與處理單元4 進行通信。盡管圖I的組件示出了透視顯示設(shè)備，但是圖3B-3D中示出了適于與本技術(shù)一起使用的其他顯示器實施例。在一個實施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶可以透過顯示器進行查看，并且從而具有該用戶前方的空間的實際直接視圖。使用術(shù)語“實際和直接視圖”來指直接用人眼查看現(xiàn)實世界物體的能力，而不是查看物體的所創(chuàng)建的圖像表示。例如，在房間中透過眼鏡進行查看將允許用戶具有該房間的實際直接視圖，而在電視上查看房間的視頻不是房間的實際直接視圖。下面提供頭戴式顯示設(shè)備2的更多細節(jié)。 盡管圖I和3A-3D中所示的設(shè)備為眼鏡形式，但是頭戴式顯示設(shè)備2可以采取其他形式，比如具有護目鏡的頭藍。在一個實施例中，處理單元4被佩戴在用戶的手腕上，并且包括用于操作頭戴式顯示設(shè)備2的計算能力的一部分。處理單元4可以與一個或多個中樞計算系統(tǒng)12無線地 (例如WiFi、藍牙、紅外、或其他無線通信手段)通信。中樞計算系統(tǒng)12可以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例性實施例， 中樞計算系統(tǒng)12可以包括硬件組件和/或軟件組件，使得中樞計算系統(tǒng)12可以用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等等之類的應(yīng)用。在一個實施例中，中樞計算系統(tǒng)12可以包括諸如標準化處理器、專用處理器、微處理器等等之類的處理器，這些處理器可以執(zhí)行存儲在處理器可讀存儲設(shè)備上的指令以用于執(zhí)行在此所述的過程。在各個實施例中，在此參照圖2A和8-15所描述的過程全部或部分地通過中樞計算系統(tǒng)12、處理單元4 二者任一和/或二者組合來執(zhí)行。中樞計算系統(tǒng)12還包括一個或多個捕捉設(shè)備，如捕捉設(shè)備20A和20B。在其他實施例中，可以使用多于或少于兩個的捕捉設(shè)備。在一個示例性實施方式中，捕捉設(shè)備20A和 20B指向不同方向，使得它們可以捕捉房間的不同部分。可能有利的是，兩個捕捉設(shè)備的視野稍微地重疊，使得中樞計算系統(tǒng)12可以理解捕捉設(shè)備的視野如何彼此相關(guān)。通過這種方式，可以使用多個捕捉設(shè)備來查看整個房間(或其他空間)?？商娲兀绻蹲皆O(shè)備可以在操作期間平移，使得整個相關(guān)空間隨時間被捕捉設(shè)備查看，則可以使用一個捕捉設(shè)備。捕捉設(shè)備20A和20B例如可以是相機，該相機在視覺上監(jiān)視一個或多個用戶和周圍空間，使得可以捕捉、分析并跟蹤該一個或多個用戶所執(zhí)行的姿勢和/或移動以及周圍空間的結(jié)構(gòu)，以在應(yīng)用中執(zhí)行一個或多個控制或動作和/或使化身或屏上人物動畫化。中樞計算環(huán)境12可以連接到諸如電視機、監(jiān)視器、高清電視機(HDTV)等可提供游戲或應(yīng)用程序視覺的視聽設(shè)備16。例如，中樞計算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從中樞計算系統(tǒng)12接收視聽信號，并且然后可以輸出與視聽信號相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個實施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜、RCA電纜等連接至中樞計算系統(tǒng)12。在一個例中，視聽設(shè)備16包括內(nèi)置揚聲器。在其他實施例中,視聽設(shè)備16、單獨的立體聲系統(tǒng)或中樞計算設(shè)備12連接到外部揚聲器22。中樞計算設(shè)備10可以與捕捉設(shè)備20A和20B —起用于識別、分析和/或跟蹤人類 (以及其他類型的)目標。例如，可使用捕捉設(shè)備20A和20B來跟蹤佩戴頭戴式顯示設(shè)備2 的用戶，使得可以捕捉用戶的姿勢和/或運動來使化身或屏幕上人物動畫化，和/或可將用戶的姿勢和/或移動解釋為可用于影響中樞計算系統(tǒng)12所執(zhí)行的應(yīng)用的控制。在所公開的技術(shù)的下面將詳細討論的一個實施例中，系統(tǒng)10基于確定用戶的視野和聚焦區(qū)來為該用戶生成經(jīng)優(yōu)化的圖像。經(jīng)優(yōu)化的圖像例如可以包括視野上的物體或人工覆蓋的物體的增強外觀，該增強外觀為用戶提供增強的體驗。經(jīng)優(yōu)化的圖像根據(jù)用戶的眼睛位置和移動模式通過頭戴式顯示設(shè)備2以經(jīng)優(yōu)化的部分(其在圖2B中示出)被顯示給用戶。圖2A示出了用于在顯示器中將經(jīng)優(yōu)化圖像的一部分耦合到眼睛的方法的一個實施例。圖2A的過程將參照圖2B-2G來描述。在步驟30，確定用戶的視野和聚焦區(qū)。如上所述，用戶的視野與如下項目有關(guān)用戶的環(huán)境或場景、用戶的頭位置和定向、以及用戶的眼睛位置。圖2F示出了處于環(huán)境1100 中的用戶1112。用戶1112被示為查看視力范圍(由線1121來定義)中的多個物體，包括燈1106、桌子1120、處理設(shè)備1116、捕捉設(shè)備20A、20B、顯示器1110和時鐘1118。該用戶還看見地板1108和墻壁1102，但是未看見椅子1107并且僅看見墻壁1104的一部分。可以相對于坐標系1150來定義環(huán)境1100并且相對于第二坐標系1152來定義用戶的頭位置。在一個實施例中，用戶視野內(nèi)的聚焦區(qū)是沿著聚焦曲線的注視點150處的那個區(qū)域。例如，瞳孔之間的會聚可以用于對聚焦曲線147上的焦點(即雙眼單視界(HOTopter)) 進行三角測定，從該焦點中可以計算出聚焦區(qū)和Panum匯合區(qū)域。Panum匯合區(qū)域147是視網(wǎng)膜上的如下區(qū)域該區(qū)域使得該區(qū)域中的任何點都將與另一視網(wǎng)膜上的單個點匯合并且通過人眼創(chuàng)建代表雙眼立體視覺的單視力。如圖2E所示，每個用戶的眼睛都包括中央凹 (通常亦稱小凹)，其位于視網(wǎng)膜的黃斑區(qū)的中心處。小凹負責獲得清晰的中心視力(亦稱小凹視力)，該中心視力是人類在閱讀、觀看電視或電影、駕駛、以及視覺細節(jié)最重要的任何活動時所必需的。圖2E的小凹在148和149處予以示出。相對于小凹148、149來定向和耦合經(jīng)優(yōu)化圖像將保證用戶可以相對于該圖像的經(jīng)優(yōu)化部分來聚焦視力。另外，需要耦合到小凹的圖像部分是相對小的圖像——在視網(wǎng)膜上量級為Imm直徑。由頭戴式顯示器2渲染相對小的區(qū)域部分將降低頭戴式顯示器2的功率要求。在步驟32，創(chuàng)建要針對所確定的視野向用戶顯示的經(jīng)優(yōu)化圖像。該經(jīng)優(yōu)化的圖像由渲染該圖像的應(yīng)用來確定，并且可以包括視野內(nèi)的一個或多個單獨的覆蓋圖像或者涵蓋整個視野。圖2B示出了環(huán)境1100中的用戶1112在沒有圖像被投影在顯示設(shè)備2上時透過該顯示器所看見的東西。圖2C示出了可以投影在圖2B中的場景上的經(jīng)優(yōu)化圖像。在圖2C 的示例中，經(jīng)優(yōu)化的圖像1200完全遮蔽了環(huán)境1100的場景。在該示例中，場景描繪了人 1128、小鳥圖像1126和獎杯1127。在一個實施例中，渲染該圖像的應(yīng)用已經(jīng)確定了該場景內(nèi)的這些元素的配置和位置、以及這樣的物體是否應(yīng)當遮蔽現(xiàn)實世界物體，比如燈1106、時鐘1118和顯示器1110。
在步驟34，確定用戶眼睛的當前位置，并且在36，將經(jīng)優(yōu)化的圖像的經(jīng)優(yōu)化部分耦合到用戶的聚焦區(qū)中的當前眼睛位置處。在一個示例中，這在圖2D中予以示出，其中小鳥圖像1126被示為突出顯示的并且被疊加在現(xiàn)實世界環(huán)境上，其中小鳥圖像1126相對于圖像的平衡被突出顯示。在一個實施例中，經(jīng)優(yōu)化圖像的其他元素(在該示例中為人和獎杯)不被渲染，或者以較低分辨率被渲染(未示出)。在另一方面，該房間的其他視覺元素可以從用戶的視圖中被模糊掉。通過將顯示設(shè)備的處理能力集中在僅僅渲染圖像的耦合到用戶小凹視力的經(jīng)優(yōu)化部分，經(jīng)優(yōu)化圖像中的其他元素不需要被渲染，或者可以用與經(jīng)優(yōu)化圖像相比更低的精度以及由此更少的資源來渲染。在一個實施例中，經(jīng)優(yōu)化的圖像是整個圖像的片段。正常眼睛瞳孔可以具有明亮的光下的Imm至黑暗中的7_之間的直徑。顯示通常是針對3_直徑光被優(yōu)化的。通過將圖像的該部分聚集到瞳孔上，可以直接將圖像光平移到用戶的聚焦區(qū)，從而顯著減小為了生成圖像所需的光。為了將圖像的一部分集中在主體的瞳孔上，給由圖像生成的光線賦予方向和瞳孔上的目標點。來自眼睛附近的一些光線將進入眼睛瞳孔，但是未進入瞳孔的光線被浪費，消耗功率并且可能具有其他不期望的效果。通?？梢钥紤]來自遠處點的光線在眼睛附近全部都是近乎平行的，并且共享大致共同的方向。理想地，眼睛的光學器件將使些光線聚焦在視網(wǎng)膜上的小凹區(qū)處。來自不同方向的平行光線將被看成是不同點。為了優(yōu)化眼睛瞳孔處的圖像，頭戴式顯示器改變來自圖像的光線被定向到的方向和在瞳孔上的進入點。在主體可以校正在自由空間中透過光學元件所查看的場景的光學失真的情況下，在本技術(shù)中由頭戴式顯示器的機構(gòu)來執(zhí)行圖像顯示的校正和引導。根據(jù)本技術(shù)，下面所述的實施例的定位系統(tǒng)160、160a提供對微顯示器或?qū)D像反射到用戶的鏡的方向性定位。該方向性定位與圖像相對于顯示器或鏡的定位一起提供相對于眼睛位置的經(jīng)優(yōu)化的位置和方向。這例如可以通過在三維中傾斜顯示器153或鏡166 來實現(xiàn)，其中圖像被渲染在該顯示器或鏡上并且處于該鏡或顯示器上的合適位置。將認識到，除了下面闡述的那些以外，還可以提供各種其他類型的機械或機電元件來優(yōu)化所顯示的圖像的方向。該方向性定位結(jié)合本技術(shù)的預(yù)測眼睛跟蹤來為系統(tǒng)提供優(yōu)化的處理。為了維持圖像的經(jīng)優(yōu)化部分的耦合，在步驟38跟蹤用戶下次可能的眼睛移動，并且在步驟40，在240將經(jīng)優(yōu)化的顯示圖像的另一經(jīng)優(yōu)化部分耦合到用戶在下一位置處的聚焦區(qū)。在44如果視野改變，則在32確定新視野。在44如果視野未改變，則在38確定用戶的眼睛是否實際移動到了所預(yù)測的位置，并且該方法在38計算出潛在的下一眼睛移動位置。在44跟蹤眼睛的當前位置、在38計算下一位置的循環(huán)可以由一個或多個微處理器或?qū)Ｓ酶欕娐芬越跫磿r的方式來執(zhí)行，以便根據(jù)用戶眼睛的移動將經(jīng)優(yōu)化圖像的部分移動到用戶眼睛移動的下一位置處，以便提供合適的視覺體驗。應(yīng)當認識到，在前述說明中所使用的術(shù)語“下一個”和“當前”不一定限于圖像的單個位置。例如，參考圖2G，在步驟36或40作為當前位置所渲染的每個部分都可以包括圖像在第一時間T的部分(圖像1126)以及圖像在第二時間T2的用戶的眼睛被預(yù)測為將在時間t2所處的部分(圖像1135)，使得在圖2A中所述的每個“當前”和“下一”部分都可以包括兩個圖像部分。而且，能夠認識到，可以以完全或部分完全分辨率來渲染圖像1200的備選部分， 以便將用戶的眼睛吸引到該位置。例如，應(yīng)用可以選擇渲染選手1128或獎杯1127以便在該應(yīng)用的給定上下文中將吸引用戶的眼睛移動和用戶的注意力。還應(yīng)當認識到，本技術(shù)不需要使用覆蓋圖像，并且可以有利地用于僅僅向用戶顯示圖像而不參考用戶的環(huán)境。圖3A描繪了頭戴式顯示設(shè)備2的頂視圖，其包括鏡架的包含鏡腿102和鼻梁104 的那部分。僅僅描繪了頭戴式顯示設(shè)備2的右側(cè)。在鼻梁104中置入了話筒110以用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，這將在下面予以描述。在頭戴式顯示設(shè)備2的前方是朝向可捕捉視頻和靜止圖像的視頻相機113的房間。這些圖像被傳送給處理單元4，這將在下面予以描述。頭戴式顯不設(shè)備2的鏡架的一部分將圍繞顯不器(其包括一個或多個透鏡)。為了示出頭戴式顯示設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導光學元件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處于透視透鏡116之后并與其對準，光導光學元件112處于不透明度濾光器 114之后并與其對準，并且透視透鏡118處于光導光學元件112之后并與其對準。透視透鏡116和118是眼鏡中使用的標準透鏡，并且可根據(jù)任何處方(包括無處方)來制作。在一個實施例中，透視透鏡116和118可由可變處方透鏡取代。在一些實施例中，頭戴式顯示設(shè)備2將僅僅包括一個透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進入光導光學元件112內(nèi)。不透明度濾光器114濾除自然光(要么以每像素為基礎(chǔ)，要么均勻地)以增強虛擬圖像的對比度。光導光學元件112將人造光引導至眼睛。下面提供不透明度濾光器114和光導光學元件112的更多細節(jié)。在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源(在一個實施例中)包括用于對虛擬圖像進行投影的微顯示器部件120、以及用于將圖像從微顯示器120定向到光導光學元件112中的透鏡122。在一個實施例中，透鏡122是準直透鏡?？刂齐娐?36提供支持頭戴式顯示設(shè)備2的其他組件的各種電子裝置。下面參考圖4A和4B提供控制電路136的更多細節(jié)。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機130、慣性傳感器132、和/或磁傳感器132以及溫度傳感器138。在一個實施例中， 慣性傳感器132磁傳感器132包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速度計 132C(參見圖5)。慣性傳感器和/或磁傳感器用于感測頭戴式顯示設(shè)備2的位置、定向、以及突然加速。微顯示器120通過透鏡122來投影圖像。存在著可用于實現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來實現(xiàn)，其中光源由光學有源材料來調(diào)制，用白光從背后照亮。這些技術(shù)通常是使用具有強大背光和高光能量密度的LCD 類型的顯示器來實現(xiàn)的。微顯示器120還可使用反射技術(shù)來實現(xiàn)，其中外部光被光學活性材料反射并調(diào)制。根據(jù)該技術(shù)，由白光源或RGB源向前點亮照明。數(shù)字光處理(DLP)、硅上液晶(LCOS)、以及來自Qualcomm有限公司的Mirasol 顯示技術(shù)都是高效的反射技術(shù)的示例，因為大多數(shù)能量從已調(diào)制結(jié)構(gòu)反射離開并且可用在本文描述的系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實現(xiàn)，其中光由該顯示器生成。例如，來自MiciOVision有限公司的PicoP 顯示引擎使用微型鏡面舵來將激光信號發(fā)射到充當透射元件的小型屏幕上或直接照射到眼睛(例如激光)。光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶的眼睛140。光導光學元件112還允許如箭頭142所示那樣將光從頭戴式顯示設(shè)備2的前方透過光導光學元件112透射到用戶的眼睛，從而除接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實際直接視圖。因此，光導光學元件112 的壁是透視的。光導光學元件112包括第一反射面124 (例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122并入射在反射面124上。反射面124反射來自微顯示器120的入射光，使得光通過內(nèi)反射而被捕獲在包括光導光學元件112的平面襯底內(nèi)。在離開襯底的表面的若干反射之后，所捕獲的光波到達選擇性反射面126的陣列。注意，五個表面中只有一個表面被標記為126以防止附圖太過擁擠。反射面126將從襯底出射并入射在這些反射面上的光波耦合到用戶的眼睛140。由于不同光線將以不同角度傳播并彈離襯底的內(nèi)部， 因此這些不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關(guān)于哪些光線將被哪個表面126從襯底反射出的選擇是通過選擇表面126的合適角度來設(shè)計的。光導光學元件的更多細節(jié)可以在于2008年11月 20日公開的美國專利申請公開號2008/0285140、序列號12/214，366的“Substrate-Guided Optical DeviCeS(襯底導向的光學設(shè)備)”中找到，該申請的全部內(nèi)容通過引用結(jié)合于此。 在一個實施例中，每只眼睛將具有其自己的光導光學元件112。當頭戴式顯示設(shè)備具有兩個光導光學元件時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實施例中，可以存在將光反射到兩只眼睛中的一個光導光學元件。與光導光學元件112對齊的不透明度濾光器114要么均勻地，要么以每像素為基礎(chǔ)來選擇性地阻擋自然光，以免其穿過光導光學元件112。在一個實施例中，不透明度濾光器可以是透視LCD面板、電致變色膜(electrochromic film)、PDLC(聚合物分散液晶)或能夠充當不透明度濾光器的類似設(shè)備。通過從常規(guī)LCD中除去襯底、背光和漫射體的各層， 可以獲得這樣的透視IXD面板。IXD面板可包括一個或多個透光IXD芯片，所述透光IXD芯片允許光穿過液晶。例如，在LCD投影儀中使用了這樣的芯片。不透明度濾光器114可以包括致密的像素網(wǎng)格，其中每個像素的透光率能夠在最小和最大透光率之間被個別化地控制。盡管0-100%的透光率范圍是理想的，然而更有限的范圍也是可以接受的。作為示例，具有不超過兩個偏振濾光器的單色LCD面板足以提供每像素約50%到99%的不透明度范圍，最高為該IXD的分辨率。在50%的最小值處，透鏡將具有稍微帶色彩的外觀，這是可以容忍的。100%的透光率表示完美清澈的透鏡?？梢詮?0-100%定義“阿爾法(alpha)”標度，其中0%不允許光穿過，并且100%允許所有光穿過。 可以由下面描述的不透明度濾光器控制電路224為每個像素設(shè)置阿爾法的值。在用代理為現(xiàn)實世界物體進行Z-緩沖(z-buffering)之后，可以使用來自渲染流水線的阿爾法值的掩碼(mask)。當系統(tǒng)為增強現(xiàn)實顯示而呈現(xiàn)場景時，該系統(tǒng)注意到哪些現(xiàn)實世界物體處于哪些虛擬物體之前。如果虛擬物體處于現(xiàn)實世界物體之前，則不透明度對于該虛擬物體的覆蓋區(qū)域而言應(yīng)當是開啟的。如果虛擬物體(實際上)處于現(xiàn)實世界物體之后，則不透明度以及該像素的任何色彩都應(yīng)當是關(guān)閉的，使得對于現(xiàn)實光的該相應(yīng)區(qū)域(其大小為一個像素或更多)而言，用戶將會僅僅看到現(xiàn)實世界物體。覆蓋將是以逐像素為基礎(chǔ)的，所以該系統(tǒng)可以處理虛擬物體的一部分處于現(xiàn)實世界物體之前、該虛擬物體的一部分處于現(xiàn)實世界物體之后、以及該虛擬物體的一部分與現(xiàn)實世界物體相重合的情況。 對這種用途而言，最期望的是能夠以低的成本、功率和重量從0%達到100%不透明度的顯示器。此外，不透明度濾光器可以比如用彩色IXD或用諸如有機LED等其他顯示器來以彩色進行呈現(xiàn)，以提供寬視野。于2010年9月21日提交的美國專利申請?zhí)?2/887，426“Opacity Filter For See-Through Mounted Display (用于透射安裝顯示器的不透明度濾光器)”中提供了不透明度濾光器的更多細節(jié)，該專利申請的全部內(nèi)容通過引用并入本文。諸如IXD之類的不透明度濾光器通常還未與在此所述的透視透鏡一起使用，因為在與眼睛的該近距離下，其可能失焦。然而，在一些情況下，這個結(jié)果可能是所期望的。通過使用相加色(additive color)的普通HMD顯示器(其被設(shè)計為是聚焦的)，用戶看到具有清晰彩色圖形的虛擬圖像。該LCD面板被放置在該顯示器“之后”，使得模糊的黑色邊界圍繞任何虛擬內(nèi)容，使其根據(jù)需要而不透明。該系統(tǒng)扭轉(zhuǎn)了自然模糊化的缺陷以方便地獲得了抗混疊特性和帶寬減少。這些是使用較低分辨率且失焦圖像的自然結(jié)果。存在對數(shù)字采樣圖像的有效平滑化。任何數(shù)字圖像都經(jīng)歷混疊，其中采樣的離散性導致與自然模擬和連續(xù)信號相比的誤差。平滑化意味著在視覺上更靠近理想的模擬信號。盡管在低分辨率丟失的信息沒有被恢復，但是得到的誤差的明顯程度更低。在一個實施例中，顯示器和不透明度濾光器被同時渲染，并且被校準到用戶在空間中的精確位置以補償角度偏移問題。眼睛跟蹤可用于計算視野的末端處的正確的圖像偏移。在一些實施例中，在不透明度濾光器中可以使用不透明度的量在時間和空間上的淡化。 類似地，在虛擬圖像中可以使用在時間和空間上的淡化。在一個方案中，不透明度濾光器的不透明度的量在時間上的淡化對應(yīng)于虛擬圖像在時間上的淡化。在另一方案中，不透明度濾光器的不透明度的量在空間上的淡化對應(yīng)于虛擬圖像中在空間上的淡化。在一個示例性方案中，從所標識出的用戶眼睛的位置的視角來看，為不透明度濾光器的處于虛擬圖像之后的像素提供了增加的不透明度。通過這種方式，處于虛擬圖像之后的像素被暗化，使得來自現(xiàn)實世界場景的相應(yīng)部分的光被阻擋而無法到達用戶的眼睛。 這允許虛擬圖像是逼真的并且表示全范圍的色彩和亮度。此外，由于可以以更低的亮度提供虛擬圖像，因此減少了增強現(xiàn)實發(fā)射器的功耗。在沒有不透明度濾光器的情況下，將需要以與現(xiàn)實世界場景的相應(yīng)部分相比更亮的足夠高的亮度來提供虛擬圖像，以使虛擬圖像不同并且不是透明的。在暗化不透明度濾光器的像素時，一般而言，沿著虛擬圖像的閉合周界的像素與周界內(nèi)的像素一起被暗化。所期望的可能是提供一些重疊，使得恰好處于周界之外并且圍繞周界的一些像素也被暗化(以相同的暗度級或者比周界內(nèi)的像素暗度低)。恰好處于周界之外的這些像素可以提供從周界內(nèi)的暗度到周界之外的完全量的非暗度的淡化(例如不透明度的逐漸過渡)。頭戴式顯示設(shè)備2還包括用于跟蹤用戶的眼睛位置的系統(tǒng)。如下面將會解釋的那樣，該系統(tǒng)將跟蹤用戶的位置和定向，使得該系統(tǒng)可以確定用戶的視野。然而，人類將不會察覺處于其之前的所有事物。相反，用戶的眼睛將對準環(huán)境的子集。因此，在一個實施例中， 該系統(tǒng)將包括用于跟蹤用戶的眼睛位置的技術(shù)以便細化對用戶視野的測量。例如，頭戴式顯示設(shè)備2包括眼睛跟蹤部件134 (圖3A)，該眼睛跟蹤部件134將包括眼睛跟蹤照明設(shè)
11備134A(參見圖4A)和眼睛跟蹤相機134B(參見圖4A)。在一個實施例中，眼睛跟蹤照明源 134A包括一個或多個紅外(IR)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射IR光。眼睛跟蹤相機 134B包括一個或多個感測所反射的IR光的相機。通過檢測角膜的反射的已知成像技術(shù)， 可以標識出瞳孔的位置。例如，參見2008年7月22日頒發(fā)給Kranz等人的、名稱為“Head mounted eye tracking and display system(頭戴式眼睛跟蹤和顯示系統(tǒng))”的美國專利 7，401，920，該專利通過引用結(jié)合于此。這樣的技術(shù)可以定位眼睛的中心相對于跟蹤相機的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像以及使用計算機視覺技術(shù)來確定瞳孔在眼眶內(nèi)的位置。在一個實施例中，跟蹤一只眼睛的位置就足夠了，因為眼睛通常一致地移動。 然而，單獨地跟蹤每只眼睛是可能的。在一個實施例中，眼睛跟蹤照明設(shè)備134A將使用4個IR LED并且眼睛跟蹤相機 134將使用4個IR光電檢測器(未示出)，所述IR LED和IR光電檢測器以矩形布置使得在頭戴式顯示設(shè)備2的透鏡的每個角處存在一個IR LED和IR光電檢測器。來自LED的光從眼睛反射離開。由在4個IR光電檢測器中的每個處所檢測到的紅外光的量來確定瞳孔方向。也就是說，眼睛中眼白相對于眼黑的量將確定對于該特定光電檢測器而言從眼睛反射離開的光量。因此，光電檢測器將具有對眼睛中的眼白或眼黑的量的度量。從這4個采樣中，該系統(tǒng)可以確定眼睛的方向。另一替代方案是如下面所討論的那樣使用4個紅外LED，但是在頭戴式顯示設(shè)備2 的透鏡的側(cè)邊處僅僅使用一個紅外CXD。該CXD將使用小鏡和/或透鏡(魚眼)，使得CXD 可以從鏡框?qū)Ω哌_75%的可見眼睛進行成像。然后，該C⑶將感測圖像并且使用計算機視覺來找出眼睛位置，就像下面所討論的那樣。因此，盡管圖3A-3C示出了具有一個IR發(fā)射器的一個部件，但是圖2的結(jié)構(gòu)可以被調(diào)整為具有4個IR發(fā)射機和/或4個IR傳感器。 (注意圖像參考需要更新。在任何附圖中都不能看出這一點)。也可以使用多于或少于4 個的IR發(fā)射機和/或多于或少于4個的IR傳感器。用于跟蹤眼睛方向的另一實施例基于電荷跟蹤。該方案基于如下觀察視網(wǎng)膜攜帶可測量的正電荷并且角膜具有負電荷。傳感器通過用戶的耳朵來安裝(靠近耳機130) 以檢測眼睛在轉(zhuǎn)動時的電勢并且有效地實時讀出眼睛正在進行的動作。也可以使用其他用于跟蹤眼睛的實施例。圖3B-3D示出了頭戴式顯示設(shè)備2的一部分的備選實施例2b和2c。在圖3B-3D 中，相同附圖標記指代與圖3A中所標識出的那些部分相同的部分。圖3B示出了非透視頭戴式顯示設(shè)備2b。圖3B的顯示設(shè)備2b使用朝向前方的透鏡133a，該透鏡133a耦合到波導124A以將場景(比如環(huán)境1100)的視圖耦合到用戶的眼睛140。微顯示器153可以包括任何前述顯示器類型，比如IXD、LED或OLED等等，其具有由單獨地啟動的像素元件的陣列所定義的分辨率，這些像素的組合用于生成適于耦合到用戶小凹的經(jīng)優(yōu)化圖像。微顯示器153可以耦合到多個微機電元件160a，這些微機電元件160a 耦合到該顯示器的每個角處以在三維中相對于用戶眼睛140對該顯示器進行定位。因此， 微顯示器153可以具有繞顯示器的中心點旋轉(zhuǎn)的多個軸“Z”和“X”、以及相對于用戶眼睛定位的垂直“V”和側(cè)向“L”。如圖3B所示，僅僅驅(qū)動顯示器的對經(jīng)優(yōu)化圖像的圖像部分1126(在該情況下為小鳥1126)進行渲染的那些元件以提供高分辨率圖像，使得用戶的眼睛140的聚焦區(qū)直接耦合到來自圖像1126的光。圖像1126被部分1126a環(huán)繞，以示出在圖3B中僅僅渲染圖像 1126、即用戶在該環(huán)境中的整個視野的經(jīng)優(yōu)化圖像1200的一部分。圖3c和3d示出了本技術(shù)的另一備選實施例2b。圖3D是頭戴式顯示設(shè)備2D的頂視圖，并且圖3C是頭戴式顯示設(shè)備2D的側(cè)視圖。在圖3C和3D中，頭戴式顯示設(shè)備2c包括支承結(jié)構(gòu)162、微機電元件160、161、163 (以及第四微機電元件——未示出)以及鏡166。 一個或多個微顯示器元件170被定位為與鏡166相鄰，其中元件170可以等價于參考圖3A 所述的顯不器120。鏡166可以被微機電兀件160、161、163相對于顯不器結(jié)構(gòu)162移動，以將來自微顯示器元件的發(fā)射對象到用戶眼睛的聚焦區(qū)中。微機電元件160、161、163可以包括壓電元件、或者以機械方式控制或以機電方式控制的其他元件，這些元件在協(xié)作使用時可以沿著運動的三個軸相對于支承結(jié)構(gòu)162對鏡166進行定位。以類似于微顯示器153的方式，這些微機電元件160-163耦合到鏡的每個角處以在三維中相對于用戶眼睛140對該鏡進行定位。因此，鏡166可以具有繞顯示器的中心點旋轉(zhuǎn)的多個軸“Z”和“X”、以及相對于用戶眼睛定位的垂直“V”和側(cè)向“L”。應(yīng)當認識到，鏡166的移動可以單獨使用或者與微顯示器元件的方向輸出相結(jié)合使用以將圖像的經(jīng)優(yōu)化部分(在該示例中為小鳥圖像1126) 定位在用戶的聚焦區(qū)中。圖3A-3D僅僅示出了頭戴式顯示設(shè)備2a_2c的一半。完整的頭戴式顯示設(shè)備(在適用時)將包括另一組透視透鏡、另一不透明度濾光器、另一光導光學元件、另一微顯示器、另一透鏡、朝向房間的相機、眼睛跟蹤部件、微顯示器、耳機以及溫度傳感器。圖4A是描繪了頭戴式顯示設(shè)備2a_2c的各個組件的框圖。參考圖3A-3D能夠理解，圖4A中所示的一些組件可以不存在于圖3A-3D所示的每個實施例中。圖4B是描述處理單元4的各個組件的框圖。圖4A中示出了每個頭戴式顯示設(shè)備2的組件，所述頭戴式顯示設(shè)備2用于向用戶顯示經(jīng)優(yōu)化的圖像。附加地，圖4A的頭戴式顯示設(shè)備組件包括跟蹤各種狀況的許多傳感器。頭戴式顯示設(shè)備2a-2c將從處理單元4接收關(guān)于虛擬圖像的指令， 并且將傳感器信息提供回給處理單元4。圖4B中描繪了處理單元4的組件，該處理單元4 將從頭戴式顯示設(shè)備2a-2c并且還從中樞計算設(shè)備12 (參見圖I)接收傳感信息。基于該信息，處理單元4將確定在何處以及在何時向用戶提供虛擬圖像并相應(yīng)地將指令發(fā)送給圖 4A的頭戴式顯示設(shè)備。注意，圖4A的組件中的一些(例如朝向背面的相機113、眼睛跟蹤相機134B、微顯示器120或153、不透明度濾光器114、眼睛跟蹤照明134A、和耳機130)是以陰影示出的，以指示這些的設(shè)備中的每個都存在兩個，其中一個用于頭戴式顯示設(shè)備2的左側(cè)，并且一個用于頭戴式顯示設(shè)備2的右側(cè)。圖4A示出與電源管理電路202通信的控制電路200?？刂齐娐?00包括處理器210、與存儲器214 (例如D-RAM)進行通信的存儲器控制器212、相機接口 216、相機緩沖區(qū)218、顯示器驅(qū)動器220、顯示格式化器222、定時生成器226、顯示輸出接口 228、以及顯示輸入接口 230。在一個實施例中，控制電路200的所有組件都通過專用線路或一個或多個總線彼此進行通信。在另一實施例中，控制電路200的每個組件都與處理器210通信。相機接口 216提供到兩個朝向房間的相機113的接口，并且將從朝向房間的相機所接收到的圖像存儲在相機緩沖器218中。顯示器驅(qū)動器220將驅(qū)動微顯示器120或153。顯示格式化器222向控制不透明度濾光器114的不透明度控制電路224提供關(guān)于微顯示器120或153上所顯示的虛擬圖像的信息。定時生成器226被用于向該系統(tǒng)提供定時數(shù)據(jù)。顯示輸出接口 228是用于將圖像從朝向房間的相機113提供給處理單元4 的緩沖器。顯示輸入230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖區(qū)。顯示輸出228和顯示輸入230與作為到處理單元4的接口的帶接口 232進行通信。顯示器驅(qū)動器220還可以驅(qū)動鏡控制器162對鏡166進行定位，以根據(jù)圖3C和3D的上述實施例顯示聚焦的圖像。電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動器236、音頻DAC和放大器238、話筒前置放大器音頻ADC 240、溫度傳感器接口 242、以及時鐘生成器244。電壓調(diào)節(jié)器234通過帶接口 232從處理單元4接收電能，并將該電能提供給頭戴式顯示設(shè)備2 的其他組件。每個眼睛跟蹤照明驅(qū)動器236都如上面所述的那樣為眼睛跟蹤照明134A提供IR光源。音頻DAC和放大器238從耳機130接收音頻信息。話筒前置放大器和音頻ADC 240提供用于話筒110的接口。溫度傳感器接口 242是用于溫度傳感器138的接口。電源管理單元202還向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能并從其接收回數(shù)據(jù)。圖4B是描述處理單元4的各個組件的框圖。圖4B示出控制電路304與電源管理電路306進行通信?？刂齐娐?04包括中央處理單元(CPU) 320 ;圖形處理單元(GPU) 322 ； 高速緩存324 ；RAM 326 ;與存儲器330 (例如D-RAM)進行通信的存儲器控制器328 ;與閃存 334(或其他類型的非易失性存儲)進行通信的閃存控制器332 ;通過帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進行通信的顯示輸出緩沖區(qū)336 ;經(jīng)由帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進行通信的顯示輸入緩沖區(qū)338 ;與用于連接到話筒的外部話筒連接器 342進行通信的話筒接口 340，用于連接到無線通信設(shè)備346的PCIexpress接口 ；以及USB 端口 348。在一個實施例中，無線通信設(shè)備346可以包括啟用Wi-Fi的通信設(shè)備、藍牙通信設(shè)備、紅外通信設(shè)備等。USB端口可以用于將處理單元4對接到中樞計算設(shè)備12，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU 320和 GPU 322是用于確定在何處、何時以及如何向用戶的視野內(nèi)插入虛擬圖像的主負荷設(shè)備。 下面提供更多的細節(jié)。電源管理電路306包括時鐘生成器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進行通信的溫度傳感器接口 372 (其位于處理單元4的腕帶(wrist band)上)。模數(shù)轉(zhuǎn)換器362連接到充電插座370 以用于接收AC供電并為該系統(tǒng)產(chǎn)生DC供電。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電能的電池368進行通信。電池充電器364被用來在從充電插孔370接收到電能時對電池368進行充電(通過電壓調(diào)節(jié)器366)。HMD電源376向頭戴式顯示設(shè)備2提供電能。上述系統(tǒng)將被配置為將虛擬圖像插入到用戶的視野中，使得該虛擬圖像替換現(xiàn)實世界物體的視圖。替代地，可插入虛擬圖像而不替換現(xiàn)實世界物體的圖像。在各個實施例中，虛擬圖像將基于被替換的物體或者該圖像將被插入的環(huán)境而被調(diào)整為與合適的定向、 大小和形狀相匹配。另外，虛擬圖像可以被調(diào)整為包括反射和陰影。在一個實施例中，頭戴式顯示設(shè)備12、處理單元4以及中樞計算設(shè)備12 —起工作，因為每個設(shè)備都包括用于獲得用于確定在何處、何時以及如何插入虛擬圖像的數(shù)據(jù)的傳感器的子集。在一個實施例中，確定在何處、如何以及何時插入虛擬圖像的計算是由中樞計算設(shè)備12執(zhí)行的。在另一實施例中，這些計算由處理單元4來執(zhí)行。在另一實施例中，這些計算中的一些由中樞計算設(shè)備12來執(zhí)行，而其他計算由處理單元4來執(zhí)行。在其他實施例中，這些計算可以由頭戴式顯示設(shè)備12來執(zhí)行。在一個示例性實施例中，中樞計算設(shè)備12將創(chuàng)建用戶所處的環(huán)境的模型，并且跟蹤在該環(huán)境中的多個移動物體。另外，中樞計算設(shè)備12通過跟蹤頭戴式顯示設(shè)備2的位置和定向來跟蹤頭戴式顯示設(shè)備2的視野。該模型和跟蹤信息被從中樞計算設(shè)備12提供給處理單元4。由頭戴式顯示設(shè)備2所獲得的傳感器信息被傳送給處理單元4。然后，處理單元4使用其從頭戴式顯示設(shè)備2接收的其他傳感器信息來細化用戶的視野并且向頭戴式顯示設(shè)備2提供關(guān)于如何、在何處以及何時插入虛擬圖像的指令。圖5示出了具有捕捉設(shè)備的中樞計算系統(tǒng)12的示例性實施例。在一個實施例中， 捕捉設(shè)備20A和20B是相同結(jié)構(gòu)，因此，圖5僅僅示出了捕捉設(shè)備20A。根據(jù)一示例性實施例，捕捉設(shè)備20A可被配置為通過可包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一個實施例，捕捉設(shè)備20A可將深度信息組織成“Z層”，即可與從深度相機沿其視線延伸的 Z軸垂直的層。如圖5所示，捕捉設(shè)備20A可以包括相機組件423。根據(jù)一示例性實施例，相機組件423可以是或者可以包括可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可以表示深度值，比如所捕捉的場景中的物體與相機相距的例如以厘米、毫米等為單位的距離。相機組件23可以包括可用于捕捉場景的深度圖像的紅外(IR)光組件425、三維 (3D)相機426、以及RGB (視覺圖像)相機428。例如，在飛行時間分析中，捕捉設(shè)備20A的 IR光組件425可以將紅外光發(fā)射到場景上，并且然后可以使用傳感器(在一些實施例中包括未不出的傳感器)、例如使用3D相機426和/或RGB相機428來檢測從場景中的一個或多個目標和物體的表面后向散射的光。在一些實施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間并將其用于確定從捕捉設(shè)備20A到場景中的目標或物體上的特定位置的物理距離。附加地，在其他示例實施例中，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。根據(jù)另一示例性實施例，可使用飛行時間分析，以通過經(jīng)由包括例如快門式光脈沖成像之類的各種技術(shù)分析反射光束隨時間的強度來間接地確定從捕捉設(shè)備20A到目標或物體上的特定位置的物理距離。在另一示例性實施例中，捕捉設(shè)備20A可使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案、或不同圖案之類的已知圖案的光)可經(jīng)由例如IR光組件424被投影到場景上。在落到場景中的一個或多個目標或物體的表面上時，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3D相機426和/或RGB相機428 (和/或其他傳感器)來捕捉，然后可被分析以確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。在一些實施方式中，IR光組件425與相機425和426分開，使得可以使用三角測量來確定與相機425和426相距的距離。在一些實施方式中，捕捉設(shè)備20A將包括感測IR光的專用IR傳感器或具有IR濾光器的傳感器。根據(jù)另一實施例，捕捉設(shè)備20A可以包括兩個或更多個在物理上分開的相機，這些相機可以從不同的角度觀察場景以獲得視覺立體數(shù)據(jù)，這些視覺立體數(shù)據(jù)可以被分辨以生成深度信息。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。捕捉設(shè)備20A還可以包括話筒430，所述話筒430包括可以接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。話筒430可用于接收也可由中樞計算系統(tǒng)12來提供的音頻信號。在一示例實施例中，捕捉設(shè)備20A還可包括可與圖像相機組件423進行通信的處理器432。處理器432可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令例如包括用于接收深度圖像、生成合適的數(shù)據(jù)格式(例如，幀)以及將數(shù)據(jù)傳送給中樞計算系統(tǒng)12的指令。捕捉設(shè)備20A還可包括存儲器434，該存儲器434可存儲由處理器432執(zhí)行的指令、由3D相機和/或RGB相機所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。 根據(jù)一示例性實施例，存儲器434可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖5所示，在一個實施例中，存儲器434可以是與圖像捕捉組件423和處理器432進行通信的單獨組件。根據(jù)另一實施例，存儲器組件 434可被集成到處理器432和/或圖像捕捉組件422中。捕捉設(shè)備20A和20B通過通信鏈路436與中樞計算系統(tǒng)12通信。通信鏈路436可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. lib、 802. llg、802. Ila或802. Iln連接等的無線連接。根據(jù)一個實施例，中樞計算系統(tǒng)12可以通過通信鏈路436向捕捉設(shè)備20A提供可用于確定例如何時捕捉場景的時鐘。附加地，捕捉設(shè)備20A通過通信鏈路436將由例如3D相機426和/或RGB相機428捕捉的深度信息和視覺(例如RGB)圖像提供給中樞計算系統(tǒng)12。在一個實施例中，深度圖像和視覺圖像以每秒30幀的速率來傳送，但是可以使用其他幀速率。中樞計算系統(tǒng)12然后可以創(chuàng)建模型并使用模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處理程序等的應(yīng)用和/ 或使化身或屏上人物動畫化。中樞計算系統(tǒng)12包括深度圖像處理和骨架跟蹤模塊450，該模塊使用深度圖像來跟蹤可被捕捉設(shè)備20A的深度相機功能檢測到的一個或多個人。深度圖像處理和骨架跟蹤模塊450向應(yīng)用453提供跟蹤信息，該應(yīng)用可以是視頻游戲、生產(chǎn)性應(yīng)用、通信應(yīng)用或其他軟件應(yīng)用等。音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)也被提供給應(yīng)用452和深度圖像處理和骨架跟蹤模塊450。應(yīng)用452將跟蹤信息、音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)提供給識別器引擎454。在另一實施例中，識別器引擎454直接從深度圖像處理和骨架跟蹤模塊450接收跟蹤信息，并直接從捕捉設(shè)備20A和20B接收音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)。識別器引擎454與過濾器460、462、464、……、466的集合相關(guān)聯(lián)，每個過濾器都包括關(guān)于可被捕捉設(shè)備20A或20B檢測到的任何人或物體執(zhí)行的姿勢、動作或狀況的信息。 例如，來自捕捉設(shè)備20A的數(shù)據(jù)可由過濾器460、462、464、……、466來處理，以便標識出一個用戶或一組用戶已經(jīng)何時執(zhí)行了一個或多個姿勢或其他動作。這些姿勢可與應(yīng)用452的各種控制、物體或狀況相關(guān)聯(lián)。因此，中樞計算系統(tǒng)12可以將識別器引擎454和過濾器一起用于解釋和跟蹤物體(包括人)的移動。捕捉設(shè)備20A和20B向中樞計算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的視覺圖像)和深度圖像。深度圖像可以是多個觀測到的像素，其中每個觀測到的像素具有觀測到的深度值。例如，深度圖像可包括所捕捉的場景的二維(2D)像素區(qū)域，其中2D 像素區(qū)域中的每個像素都可具有深度值，比如所捕捉的場景中的物體與捕捉設(shè)備相距的距離。中樞計算系統(tǒng)12將使用RGB圖像和深度圖像來跟蹤用戶或物體的移動。例如，系統(tǒng)將使用深度圖像來跟蹤人的骨架。可以使用許多方法以通過使用深度圖像來跟蹤人的骨架。 使用深度圖像來跟蹤骨架的一個合適的示例在Craig等人2009年10月21日提交的美國專利申請12/603，437 “Pose Tracking Pipeline (姿態(tài)跟蹤流水線)”(以下稱為’ 437申請)中提供，該申請的全部內(nèi)容通過引用結(jié)合于此。‘437申請的過程包括獲得深度圖像； 對數(shù)據(jù)進行降采樣；移除和/或平滑化高方差噪聲數(shù)據(jù)；標識并移除背景；以及將前景像素中的每個分配給身體的不同部位?；谶@些步驟，系統(tǒng)將使一模型擬合到該數(shù)據(jù)并創(chuàng)建骨架。該骨架將包括一組關(guān)節(jié)和這些關(guān)節(jié)之間的連接。也可使用用于跟蹤的其他方法。在下列四個美國專利申請中還公開了合適的跟蹤技術(shù)，所述專利的全部內(nèi)容都通過引用結(jié)合于此于2009年5月29日提交的的美國專利申請12/475，308 “Device for Identifying and Tracking Multiple Humans Over Time (用于隨時間標識和跟蹤多個人類的設(shè)備)”;于 2010 年 I 月 29 日提交的美國專利申請 12/696，282“Visual Based Identity Tracking(基于視覺的身份跟蹤)”；于2009年12月18日提交美國專利申請12/641,788 “Motion Detection Using Depth Images (使用深度圖像的運動檢測)”；以及于2009年10月7日提交的美國專利申請12/575，388 “Human Tracking System(人類跟蹤系統(tǒng))”。識別器引擎454包括多個過濾器460、462、464、……、466來確定姿勢或動作。過濾器包括定義姿勢、動作或狀況以及該姿勢、動作或狀況的參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后經(jīng)過身體前方的運動的投擲可被實現(xiàn)為包括表示用戶的一只手從身體背后經(jīng)過身體前方的運動的信息的姿勢，因為該運動將由深度相機來捕捉。然后可為該姿勢設(shè)定參數(shù)。當姿勢是投擲時，參數(shù)可以是該手必須達到的閾值速度、該手必須行進的距離(絕對的，或相對于用戶的整體大小)、以及識別器引擎對發(fā)生了該姿勢的置信度評級。 用于姿勢的這些參數(shù)可以隨時間在各應(yīng)用之間、在單個應(yīng)用的各上下文之間、或在一個應(yīng)用的一個上下文內(nèi)變化。過濾器可以是模塊化的或是可互換的。在一個實施例中，過濾器具有多個輸入 (這些輸入中的每一個具有一類型)以及多個輸出(這些輸出中的每一個具有一類型)。第一過濾器可用具有與第一過濾器相同數(shù)量和類型的輸入和輸出的第二過濾器來替換而不更改識別器引擎架構(gòu)的任何其他方面。例如，可能具有用于驅(qū)動的第一過濾器，該第一過濾器將骨架數(shù)據(jù)作為輸入并輸出與該過濾器相關(guān)聯(lián)的姿勢正在發(fā)生的置信度和轉(zhuǎn)向角。在希望用第二驅(qū)動過濾器來替換該第一驅(qū)動過濾器的情況下(這可能是因為第二驅(qū)動過濾器更高效且需要更少的處理資源)，可以通過簡單地用第二過濾器替換第一過濾器來這樣做， 只要第二過濾器具有同樣的輸入和輸出——骨架數(shù)據(jù)類型的一個輸入、以及置信度類型和角度類型的兩個輸出。過濾器不必具有參數(shù)。例如，返回用戶的高度的“用戶高度”過濾器可能不允許可被調(diào)節(jié)的任何參數(shù)。備選的“用戶高度”過濾器可具有可調(diào)節(jié)參數(shù)，比如在確定用戶的高度時是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)、在關(guān)節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。來自過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及作出姿勢運動的時間等內(nèi)容。識別器引擎454可以具有向過濾器提供功能的基本識別器引擎。在一個實施例中，識別器引擎454實現(xiàn)的功能包括跟蹤所識別的姿勢和其他輸入的隨時間輸入 (input-over-time)存檔；隱馬爾可夫模型實施方式(其中所建模的系統(tǒng)被假定為馬爾可夫過程一其中當前狀態(tài)封裝了用于確定將來狀態(tài)的任何過去狀態(tài)信息，因此不必為此目的而維護任何其他過去狀態(tài)信息的過程一該過程具有未知參數(shù)，并且隱藏參數(shù)是從可觀察數(shù)據(jù)來確定的)；以及求解姿勢識別的特定實例的其他功能。過濾器460、462、464、……、466在識別器引擎454之上加載并實現(xiàn)，并且可利用識別器引擎454提供給所有過濾器460、462、464、……、466的服務(wù)。在一個實施例中，識別器引擎454接收數(shù)據(jù)來確定該數(shù)據(jù)是否滿足任何過濾器460、462、464、……、466的要求。由于這些所提供的諸如解析輸入之類的服務(wù)是由識別器引擎454—次性提供而非由每
個過濾器460、462、464、......、466提供的，因此這樣的服務(wù)在一段時間內(nèi)只需被處理一次
而不是在該時間段對每個過濾器處理一次，因此減少了確定姿勢所需的處理。應(yīng)用452可使用識別器引擎454所提供的過濾器460、462、464、……、466，或者它可提供其自己的、插入到識別器引擎454中的過濾器。在一實施例中，所有過濾器具有啟用該插入特性的通用接口。此外，所有過濾器可利用參數(shù)，因此可使用以下單個姿勢工具來診斷并調(diào)節(jié)整個過濾器系統(tǒng)。關(guān)于識別器引擎454的更多信息可在2009年4月13日提交的美國專利申請 12/422, 661 “Gesture Recognizer System Architecture (姿勢識別器系統(tǒng)架構(gòu))”中找到，該申請通過引用整體并入本文。關(guān)于識別姿勢的更多信息可在2009年2月23日提交的美國專利申請12/391，150 “Standard Gestures (標準姿勢)”；以及2009年5月29日提交的美國專利申請12/474,655 “Gesture Tool (姿勢工具)”中找到，這兩個申請的全部內(nèi)容都通過引用結(jié)合于此。在一個實施例中，計算系統(tǒng)12包括用戶簡檔數(shù)據(jù)庫470，該用戶簡檔數(shù)據(jù)庫470 包括與同中樞計算系統(tǒng)12交互的一個或多個用戶相關(guān)的用戶專用信息。在一個示例中，用戶專用信息包括諸如下列與用戶相關(guān)的信息用戶所表達的偏好；用戶的朋友的列表；用戶所偏好的活動；用戶的提醒列表；用戶的社交群；用戶的當前位置；用戶過去與該用戶的環(huán)境中的物體交互的意圖；以及其他用戶創(chuàng)建的內(nèi)容，比如用戶的照片、圖像和所記錄的視頻。在一個實施例中，用戶專用信息可以從一個或多個諸如下列數(shù)據(jù)源獲得用戶的社交站點、地址簿、電子郵件數(shù)據(jù)、即時通訊數(shù)據(jù)、用戶簡檔或者因特網(wǎng)上的其他源。在一個方案中并且如將在下面詳細描述的那樣，用戶專用信息用于自動確定用戶與該用戶的環(huán)境中的一個或多個物體交互的意圖。圖6示出了可用于實現(xiàn)中樞計算系統(tǒng)12的計算系統(tǒng)的示例性實施例。如圖6所示，多媒體控制臺500具有含有一級高速緩存502、二級高速緩存504和閃存ROM(只讀存儲器)506的中央處理單元(CPU) 501。一級高速緩存502和二級高速緩存504臨時存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進處理速度和吞吐量。CPU 501可以被配備為具有一個以上的核，并且由此具有附加的I級和2級高速緩存502和504。閃存ROM 506可存儲在多媒體控制臺500通電時在引導過程初始化階段加載的可執(zhí)行代碼。
圖形處理單元(GPU) 508和視頻編碼器/視頻編解碼器(編碼器/解碼器)514形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元508向視頻編碼器/視頻編解碼器514運送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 540輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器510連接到GPU 508以方便處理器訪問各種類型的存儲器512，諸如但不局限于RAM(隨機存取存儲器)。多媒體控制臺500包括優(yōu)選地在模塊518上實現(xiàn)的I/O控制器520、系統(tǒng)管理控制器522、音頻處理單元523、網(wǎng)絡(luò)接口 524、第一 USB主控制器526、第二 USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外圍控制器542 (I) -542 (2)、無線適配器548、和外置存儲器設(shè)備546 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等)的主機。網(wǎng)絡(luò)接口 524和/或無線適配器548提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問， 并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲器543來存儲在引導過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器 544，且其可包括DVD/⑶驅(qū)動器、藍光驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器144可位于多媒體控制臺500的內(nèi)部或外部。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器544訪問，以由多媒體控制臺500執(zhí)行、回放等。媒體驅(qū)動器544經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器520。系統(tǒng)管理控制器522提供涉及確保多媒體控制臺500的可用性的各種服務(wù)功能。 音頻處理單元523和音頻編解碼器532形成具有高保真度和立體聲處理的對應(yīng)的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元523與音頻編解碼器532之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 540以供外部音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件530支持暴露在多媒體控制臺100的外表面上的電源按鈕550 和彈出按鈕552以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊536向多媒體控制臺100的組件供電。風扇538冷卻多媒體控制臺500內(nèi)的電路。CPU 501、GPU 508、存儲器控制器510、和多媒體控制臺500內(nèi)的各種其他組件經(jīng)由一條或多條總線互連，總線包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI) 總線、PCI-Express總線等。當多媒體控制臺500通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器543加載到存儲器512和/ 或高速緩存502、504中并在CPU 501上執(zhí)行。應(yīng)用可呈現(xiàn)在導航到多媒體控制臺500上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動器544中包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器544啟動或播放，以向多媒體控制臺500提供附加功能。多媒體控制臺500可通過將該系統(tǒng)簡單地連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺500允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 524或無線適配器548可用的寬帶連接的集成， 多媒體控制臺500還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。附加地，多媒體控制臺500 可以通過無線適配器548與處理單元4通信。當多媒體控制臺500通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作
19系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器、CPU和GPU周期、網(wǎng)絡(luò)帶寬等等的保留。因為這些資源是在系統(tǒng)引導時保留的，所以所保留的資源從應(yīng)用的角度而言是不存在的。具體而言，存儲器保留優(yōu)選地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動程序。CPU保留優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如，彈出窗口)，所述顯示是通過使用GPU中斷來調(diào)度代碼以將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨立于應(yīng)用分辨率的分辨率。定標器(scaler)可用于設(shè)置該分辨率，從而消除了對改變頻率并弓I起TV重新同步的需求。在多媒體控制臺500引導且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源中執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標識是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPU 501上運行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進行調(diào)度是為了把由在控制臺上運行的游戲應(yīng)用所引起的高速緩存中斷最小化。當并發(fā)系統(tǒng)應(yīng)用需要音頻時，則由于時間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。任選的輸入設(shè)備(例如，控制器542(1)和542(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。 輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點。應(yīng)用管理器優(yōu)選地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，并且驅(qū)動程序維護有關(guān)焦點切換的狀態(tài)信息。捕捉設(shè)備20A和20B可以通過USB控制器526或其他接口來為控制臺500定義附加的輸入設(shè)備。在其他實施例中，中樞計算系統(tǒng)12可以使用其他硬件架構(gòu)來實現(xiàn)。沒有一種硬件架構(gòu)是必需的。圖I示出了與一個中樞處理設(shè)備12 (稱為中樞)通信的一個頭戴式顯示設(shè)備2和處理單元4(統(tǒng)稱為移動顯示設(shè)備)。在另一實施例中，多個移動顯示設(shè)備可以與單個中樞通信。每個移動顯示設(shè)備都將如上述那樣使用無線通信與中樞通信。在這樣的實施例中所構(gòu)思的是，有益于所有移動顯示設(shè)備的信息中的許多都將在中樞處被計算和存儲并且傳送給每個移動顯示設(shè)備。例如，中樞將生成環(huán)境的模型并且將該模型提供給與該中樞通信的所有移動顯示設(shè)備。附加地，中樞可以跟蹤移動顯示設(shè)備以及房間中的移動物體的位置和定向，并且然后將該信息傳輸給每個移動顯示設(shè)備。在另一實施例中，系統(tǒng)可以包括多個中樞，其中每個中樞都包括一個或多個移動顯示設(shè)備。這些中樞可以直接地或者通過因特網(wǎng)(或者其他網(wǎng)絡(luò))彼此通信。例如，圖7 示出了中樞560、562和564。中樞560直接與中樞562通信。中樞560通過因特網(wǎng)與中樞 564通信。中樞560與移動顯示設(shè)備570、572. ..574通信。中樞562與移動顯示設(shè)備578、 580. . . 582通信。中樞564與移動顯示設(shè)備584、586. . . 588通信。每個移動顯示設(shè)備都如上面所討論的那樣通過無線通信與其相應(yīng)的中樞通信。如果這些中樞處于共同的環(huán)境中，則每個中樞都可以提供該環(huán)境的模型的一部分，或者一個中樞可以為其他中樞創(chuàng)建該模型。 每個中樞都將跟蹤移動物體的子集并且將該信息與其他中樞共享，所述其他中樞進而將與合適的移動顯示設(shè)備共享該信息。用于移動顯示設(shè)備的傳感器信息將被提供給其相應(yīng)的中樞，并且然后與其他中樞共享以用于最終與其他移動顯示設(shè)備共享。因此，在中樞間共享的信息可以包括骨架跟蹤、關(guān)于模型的信息、各種應(yīng)用狀態(tài)、以及其他跟蹤。在中樞及其相應(yīng)的移動顯示設(shè)備之間傳遞的信息包括移動物體的跟蹤信息、世界模型的狀態(tài)和物理更新、 幾何和紋理信息、視頻和音頻、以及用于執(zhí)行在此所述的操作的其他信息。圖8示出了用于優(yōu)化被呈現(xiàn)給頭戴式顯示設(shè)備的用戶的可視信息的顯示的過程的一個實施例。圖8示出了執(zhí)行上面圖2A中的步驟32的一個實施例。在步驟600，配置系統(tǒng)10。例如，應(yīng)用(例如圖5的應(yīng)用452)可以將該系統(tǒng)配置為指示經(jīng)優(yōu)化的圖像將被插入到場景的三維模型中的指定位置處。在另一示例中，在中樞計算系統(tǒng)12上運行的應(yīng)用將指示擴展內(nèi)容(比如特定的虛擬圖像或虛擬物體)將作為視頻游戲或其他進程的一部分被插入到該場景中。在步驟602，該系統(tǒng)將創(chuàng)建頭戴式顯示設(shè)備2所處的空間的體積模型。例如在一個實施例中，中樞計算設(shè)備12將使用來自一個或多個深度相機的深度圖像來創(chuàng)建頭戴式顯示設(shè)備2所處的環(huán)境或場景的三維模型。在步驟604，將該模型分割成一個或多個物體。例如，如果中樞計算設(shè)備12創(chuàng)建房間的三維模型，則該房間很可能在里面具有多個物體?？梢蕴幱诜块g中的物體的示例包括人、椅子、桌子、沙發(fā)椅等等。步驟604包括確定彼此不同的物體。在步驟606，該系統(tǒng)將標識出這些物體。例如，中樞計算設(shè)備12可以標識出特定物體是桌子并且另一物體是椅子。應(yīng)當認識到，盡管在一個實施例中創(chuàng)建體積模型和標識出物體可以與本技術(shù)一起使用，但是步驟602-608可以在備選的實施例中省略。在備選的實施例中，經(jīng)優(yōu)化圖像的生成可以在不參考環(huán)境1100的情況下進行并且可以包括提供覆蓋圖像以供在不參考周圍環(huán)境的情況下使用。也就是說，本技術(shù)不需要使用覆蓋圖像，并且可以有利地用于僅僅向用戶顯示圖像而不參考用戶的環(huán)境。在圖8的步驟608，該系統(tǒng)基于用戶空間的模型來確定用戶的視野。在一個實施例中，步驟608等價于圖2A的步驟32。也就是說，該系統(tǒng)確定用戶正在查看的環(huán)境或空間。 在一個實施例中，步驟608可以使用中樞計算設(shè)備12、處理單元4和/或頭戴式顯示設(shè)備2 來執(zhí)行。在一個示例性實施方式中，中樞計算機設(shè)備12將跟蹤用戶和頭戴式顯示設(shè)備2以便提供對頭戴式顯示設(shè)備2的位置和定向的初步確定。頭戴式顯示設(shè)備2上的傳感器將用于細化所確定的定向。例如，上述慣性傳感器34可以用于細化頭戴式顯示設(shè)備2的定向。 附加地，可以使用下面所述的眼睛跟蹤過程來標識出最初所確定的視野的與用戶具體正在查看之處相對應(yīng)的子集(另稱為視野中的用戶聚焦區(qū)或深度焦點)。下面將參照圖11-13 來描述更多細節(jié)。在步驟610，諸如在處理單元4中執(zhí)行的軟件之類的系統(tǒng)確定用戶在該用戶的視野內(nèi)的當前聚焦區(qū)。在一個實施例中，步驟610等價于圖2A的步驟34。如后面在圖12和 13中將進一步討論的那樣，基于由眼睛跟蹤相機134針對每只眼睛所捕捉的數(shù)據(jù)的眼睛跟蹤處理可以提供用戶的當前聚焦區(qū)。例如，在有數(shù)據(jù)指示用戶臉的位置的情況下，瞳孔之間的會聚可以用于對聚焦曲線上的焦點(即，雙眼單視界)進行三角測定，從該焦點中可以計算出聚焦區(qū)(即，Panum匯合區(qū)域)。Panum匯合區(qū)域是人眼所使用的代表雙眼立體視覺的單視力區(qū)域。
在步驟612，在軟件的控制下，處理單元4單獨地或者與中樞計算設(shè)備12協(xié)作地生成經(jīng)優(yōu)化的圖像。經(jīng)優(yōu)化的圖像基于三維模型、處于視野內(nèi)的已經(jīng)被檢測到的物體、以及用戶的視野。取決于控制經(jīng)優(yōu)化圖像的生成的應(yīng)用，經(jīng)優(yōu)化的圖像可以采取許多形式。另外，應(yīng)當理解，術(shù)語圖像可以包括運動圖像——對所顯示的一個或多個物體的運動進行顯示的圖像。然后，頭戴式顯示設(shè)備2的用戶基于在頭戴式顯示設(shè)備2中所顯示的經(jīng)優(yōu)化圖像來與在中樞計算設(shè)備12 (或另一計算設(shè)備)上運行的應(yīng)用交互。圖8的處理步驟(608-612) 根據(jù)圖2A在該系統(tǒng)的操作期間重復，使得用戶的視野和聚焦區(qū)隨著用戶移動他或她的頭而被更新，來自新視野的新的經(jīng)優(yōu)化圖像被確定并且經(jīng)優(yōu)化的圖像基于用戶的意圖被顯示給該用戶。下面更詳細地描述步驟604-612。圖9描述了用于創(chuàng)建用戶的空間的模型的過程的一個實施例。例如，圖9的過程是圖8的步驟602的一個示例性實施方式。在步驟620，中樞計算系統(tǒng)12接收頭戴式顯示設(shè)備所處的環(huán)境的多個視角(如圖I所示)的一個或多個深度圖像。例如，中樞計算設(shè)備 12可以從多個深度相機獲得深度圖像，或者通過使相機指向不同方向或者使用具有如下透鏡的相機來從同一相機獲得多個深度圖像該透鏡允許將要構(gòu)建模型的環(huán)境或空間的全視圖。在步驟622，基于共同的坐標系來組合來自各個深度圖像的深度數(shù)據(jù)。例如，如果該系統(tǒng)從多個相機接收深度圖像，則該系統(tǒng)使兩個圖像相關(guān)以具有共同的坐標系(例如使圖像排齊)。在步驟624，使用深度數(shù)據(jù)來創(chuàng)建空間的體積描述。圖10是描述了用于將空間的模型分割成各個物體的過程的一個實施例的流程圖。例如，圖10的過程是圖8的步驟604的一個示例性實施方式。在圖10的步驟626，該系統(tǒng)將如上面所討論的那樣從一個或多個深度相機接收一個或多個深度圖像?？商娲?， 該系統(tǒng)可以訪問其已經(jīng)接收到的一個或多個深度圖像。在步驟628，該系統(tǒng)將如上述那樣從相機接收一個或多個視覺圖像。可替代地，該系統(tǒng)可以訪問已經(jīng)接收到的一個或多個視覺圖像。在步驟630，中樞計算系統(tǒng)將基于深度圖像和/或視覺圖像檢測一個或多個人。例如，該系統(tǒng)將識別一個或多個骨架。在步驟632，中樞計算設(shè)備將基于深度圖像和/或視覺圖像檢測該模型內(nèi)的邊緣。在步驟634，中樞計算設(shè)備將使用所檢測到的邊緣來標識出彼此不同的物體。例如，假定這些邊緣是物體之間的邊界。在步驟636，將更新使用圖9的過程所創(chuàng)建的模型以示出該模型的哪些部分與不同的物體相關(guān)聯(lián)。圖11是描述了如下過程的一個實施例的流程圖用于確定用戶視野的過程，該過程是圖8的步驟608的示例性實施方式；以及用于確定用戶聚焦區(qū)的過程，該過程是圖8的步驟610的示例性實施方式。圖11的過程依靠來自中樞計算設(shè)備12的信息和上述眼睛跟蹤技術(shù)。圖12是描述了由中樞計算系統(tǒng)執(zhí)行以提供用在圖12的過程中的跟蹤信息的過程的一個實施例的流程圖。可替代地，圖12的過程可以由圖4A的處理器210來執(zhí)行。圖13 是描述了用于跟蹤眼睛的過程的一個實施例的流程圖，其中該過程的結(jié)果供圖12的過程來使用。在使用中樞計算系統(tǒng)的情況下，在圖12的步驟686，中樞計算設(shè)備12將跟蹤用戶的位置。例如，中樞計算設(shè)備12將使用一個或多個深度圖像和一個或多個視覺圖像來跟蹤用戶(例如使用骨架跟蹤)。可以在步驟688使用一個或多個深度圖像和一個或多個視覺圖像來確定頭戴式顯示設(shè)備2的位置和頭戴式顯示設(shè)備2的定向。在步驟690，將用戶和頭戴式顯示設(shè)備2的位置和定向從中樞計算設(shè)備12傳送給處理單元4。在步驟692，在處理單元4處接收該位置和定向信息。圖12的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶被連續(xù)地跟蹤。圖13是描述用于跟蹤用戶在環(huán)境中的眼睛位置的一個實施例的流程圖。在步驟 662，照亮眼睛。例如，可以使用來自眼睛跟蹤照明134A的紅外光來照亮眼睛。在步驟664， 使用一個或多個眼睛跟蹤相機134B來檢測來自眼睛的反射。在步驟665，將該反射數(shù)據(jù)從頭戴式顯示設(shè)備2發(fā)送給處理單元4。在步驟668，處理單元4將如上述那樣基于反射數(shù)據(jù)來確定眼睛的位置。圖11是描述了用于確定用戶的視野(例如圖8的步驟608)以及用戶的聚焦區(qū) (例如圖8的步驟610)的過程的一個實施例的流程圖。在步驟670，處理單元4將訪問從中樞接收到的最新的位置和定向信息。圖12的過程可以如從步驟686到步驟690的箭頭所描繪的那樣連續(xù)地執(zhí)行，因此，處理單元4將周期性地從中樞計算設(shè)備12接收經(jīng)更新的位置和定向信息。然而，處理單元4將需要與其從中樞計算設(shè)備12接收經(jīng)更新的信息相比更頻繁地繪制虛擬圖像。因此，處理單元4將需要依靠本地感測的信息(其例如來自頭戴式設(shè)備2)以在來自中樞計算設(shè)備12的各采樣之間提供定向的更新。另外，處理等待時間還需要對虛擬圖像進行快速渲染。可替代地，步驟670可以通過任何數(shù)目的手段來執(zhí)行?？梢允褂们度朐陬^戴式顯示器中的包括加速度計、磁力計和陀螺儀的傳感器技術(shù)或其他傳感器技術(shù)來標識出環(huán)境中的用戶位置和定向。在步驟672，處理單元4將從三軸陀螺儀132B訪問數(shù)據(jù)。在步驟674， 處理單元4將從三軸加速度計132C訪問數(shù)據(jù)。在步驟676，處理單元4將從三軸磁力計 132A訪問數(shù)據(jù)。在步驟678，處理單元4將用來自該陀螺儀、加速度計和磁力計的數(shù)據(jù)來細化(或以其他方式更新)來自中樞計算設(shè)備12的位置和定向數(shù)據(jù)。在步驟680，處理單元 4將基于頭戴式顯示設(shè)備的位置和定向來確定潛在的視角。使用任何數(shù)目的技術(shù)來確定頭戴式顯示器的位置并且將該位置與眼睛位置跟蹤結(jié)合使用以確定用戶的視野。注意在一些實施方式中，不需要用戶環(huán)境的三維模型?？梢允褂萌魏螖?shù)目的用于頭部跟蹤的技術(shù)。在傳感器從頭戴式顯示器可用的條件下，可以使用來自加速度計和陀螺儀的慣性感測用戶慣性測量結(jié)果。然而，可以使用其它技術(shù)。這樣的技術(shù)可以包括飛行時間、空間掃描、機械聯(lián)動、 相位差感測和/或直接場感測。在這些情況下，在頭戴式顯示器中可能需要附加的硬件。在步驟682，處理單元4將訪問最新的眼睛位置信息。在步驟684，處理單元4將基于眼睛位置作為潛在視角的子集來確定用戶所觀看的模型部分。例如，用戶可以朝向墻壁，并且因此頭戴式顯示器的視點可以包括沿著墻壁的任何地方。然而，如果用戶的眼睛指向右邊，則步驟684將作出的結(jié)論是，用戶的視野僅僅是墻壁的右邊部分。在步驟684結(jié)束時，處理單元4已經(jīng)確定了用戶通過頭戴式顯示器2的視角。然后，處理單元4可標識該視野內(nèi)的某位置以插入虛擬圖像并使用不透明度濾光器來阻擋光。圖12的處理步驟可以在系統(tǒng)的操作期間連續(xù)執(zhí)行，使得用戶的視野和聚焦區(qū)隨著用戶移動他或她的頭而被連續(xù)更新。圖14是描述用于將經(jīng)優(yōu)化圖像的一部分耦合到用戶的聚焦區(qū)的過程的流程圖。 在一個實施例中，圖14是圖2的步驟236和圖2A的步驟240的實施方式。
在步驟1402，檢索上面在步驟612所渲染的基于所檢測到的用戶視野的圖像。該渲染可以分別由中樞計算系統(tǒng)或者圖4A和4B的處理組件200或304中的任意組件來提供。在一個實施例中，使用中樞計算系統(tǒng)12來處理圖像將提供對與遠離頭戴式顯示器2的計算資源的有效使用，并且允許諸如圖4A和4B的組件之類的處理器組件更主動地驅(qū)動頭戴式顯示器的顯示元件和/或機電元件。在1404，可以接收所預(yù)測的眼睛位置(其根據(jù)圖 15和16被計算出)，并在1405，減小可用于耦合到用戶聚焦區(qū)的所選數(shù)目的潛在高分辨率部分。在處理在中樞計算系統(tǒng)中進行的一個實施例中，在1406，在1405選擇多個潛在部分， 并且將其移動到與頭戴式顯示器2的渲染區(qū)域最接近的處理單元中可用的一個或多個存儲器位置中的緩沖區(qū)中。在一個實施例中，可以將這樣的元素提供給處理單元4的存儲器 330。在其他實施例中，可以將這些部分提供給頭戴式顯示器2的存儲器224。在1408，進一步減小在當前視野內(nèi)的當前眼睛位置處以及一個或多個接下來的可能眼睛位置處渲染的潛在的經(jīng)優(yōu)化部分。再者，在步驟1410，經(jīng)優(yōu)化的部分可以在中樞計算系統(tǒng)處被計算出并且在下游在諸如例如從中樞計算系統(tǒng)到存儲器330的處理通道中被緩沖，或者在處理單元處被處理并且在存儲器224被緩沖。在1412，根據(jù)步驟236或240在顯示器上針對觀察者的聚焦區(qū)所優(yōu)化位置的一位置處渲染高分辨率部分。圖15是示出了用于基于跟蹤眼睛位置和已知眼睛數(shù)據(jù)和頭以及已知位置和定向數(shù)據(jù)來確定用戶眼睛的下一位置以及頭位置和定向的過程的流程圖。如上所述，可以由眼睛跟蹤相機134B來捕捉眼睛位置數(shù)據(jù)。在1502，捕捉用戶的眼睛移動，并且在1504，一并收集從頭戴式顯示器傳感器和捕捉設(shè)備20A、20B可用的用戶頭的位置、定向和移動信息和數(shù)據(jù)。眼睛位置數(shù)據(jù)將包括眼睛相對于頭的位置和定向的位置，其中頭是相對于房間或環(huán)境而言的。在1506，針對每個時間Tn，在1508對用戶眼睛在時間Τη+1的位置進行預(yù)測。 可以在1510和1512計算對時間Τη+1的備選預(yù)測。圖16示出了用于參照眼睛數(shù)據(jù)預(yù)測用戶眼睛位置的方法。而且，針對每個時間Τη，將在1507對用戶的下一頭定向和位置進行預(yù)測。可以在1510和1512進行頭定向和位置的附加預(yù)測。在1515，根據(jù)參照圖2Α的圖像使用選擇所預(yù)測的眼睛位置之一作為下一位置，并且在1513，將選擇所預(yù)測的頭位置之一。 在1516，將在步驟240使用這些位置來確定在該下一位置處渲染該圖像的哪些部分，并且該方法在1518隨著用戶的眼睛和頭的繼續(xù)移動而重復。圖16是示出用于預(yù)測可能的眼睛位置的過程的流程圖。在1630，緩沖用戶眼睛的多個數(shù)據(jù)位置，并且在1632 —旦獲得和緩沖了足夠數(shù)量的數(shù)據(jù)，就使用預(yù)測建模濾波器來計算用戶的眼睛將在時間Τη+1、Τη+2等處于給定位置的概率。在一個實施例中，將Kamlan 濾波器用于通過預(yù)測值、估計預(yù)測值的不確定性、以及計算預(yù)測值與測量值的加權(quán)平均來計算眼睛位置測量結(jié)果的真實值的估計。向具有最小不確定性的值賦予最大權(quán)重。可替代地，使用馬爾科夫模型。馬爾科夫模型使用隨時間改變的隨機變量來確定系統(tǒng)的狀態(tài)。在該上下文中，馬爾科夫?qū)傩蕴崾驹撟兞康姆植純H僅取決于上一狀態(tài)的分布。可以使用類似的方法來預(yù)測頭位置和定向。在1634可以進行和輸出任何數(shù)目的相繼的預(yù)測。應(yīng)當認識到，可以在相對于用戶頭的坐標系預(yù)測眼睛位置時使用任何數(shù)目的預(yù)測算法。上述參考方法僅僅是多個合適實施例中的兩個。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。本技術(shù)的范圍由所附的權(quán)利要求進行定義。
權(quán)利要求
1.一種用于向用戶呈現(xiàn)經(jīng)優(yōu)化的圖像的方法，所述方法包括基于用戶在物理環(huán)境中的視野來創(chuàng)建經(jīng)優(yōu)化的圖像；跟蹤相對于所述視野的眼睛位置和移動以確定所述用戶的聚焦區(qū)；在所述用戶的聚焦區(qū)中將經(jīng)優(yōu)化的圖像的一部分在光學上耦合到所述用戶；預(yù)測所述用戶的下一眼睛移動；以及在所述用戶的所述下一眼睛位置的聚焦區(qū)中將經(jīng)優(yōu)化的圖像的一部分在光學上耦合到所述用戶。
2.如權(quán)利要求I所述的方法，其特征在于，創(chuàng)建經(jīng)優(yōu)化的圖像的步驟包括確定所述用戶的視野以及基于場景中的用戶位置創(chuàng)建經(jīng)優(yōu)化的圖像。
3.如權(quán)利要求I所述的方法，其特征在于，呈現(xiàn)經(jīng)優(yōu)化的圖像的一部分的步驟包括相對于所述視野確定經(jīng)優(yōu)化的圖像的一部分以及將所述部分耦合到用戶的眼睛的小凹。
4.如權(quán)利要求I所述的方法，其特征在于，在光學上耦合的步驟包括將所述圖像的所述部分定位在頭戴式顯示器的眼睛位置處的聚焦區(qū)中。
5.如權(quán)利要求4所述的方法，其特征在于，在光學上耦合的步驟包括使用以機械方式控制的對所述圖像的投影進行反射的鏡來定位所述圖像的所述部分。
6.如權(quán)利要求4所述的方法，其特征在于，在光學上耦合的步驟包括使用定位在用戶的每只眼睛前方的發(fā)射性顯示器來定位所述圖像的所述部分。
7.如權(quán)利要求I所述的方法，其特征在于，在光學上耦合的步驟包括突出所述環(huán)境中的現(xiàn)實世界物體。
8.一種頭戴式顯示設(shè)備，包括顯示器，所述顯示器將經(jīng)優(yōu)化的圖像的至少一部分耦合到用戶的聚焦區(qū)；感測所述頭戴式顯示設(shè)備的定向信息的慣性傳感器，檢測用戶眼睛位置的眼睛跟蹤傳感器；以及至少一個處理單元，所述處理單元與所述顯示器、慣性傳感器和眼睛跟蹤傳感器進行通信，以自動地相對于所述顯示器在所述用戶的眼睛的當前位置處顯示經(jīng)優(yōu)化的圖像的經(jīng)優(yōu)化的部分，使得所述圖像的所述部分耦合到所述用戶的聚焦區(qū)，確定所述用戶的眼睛的下一位置；以及相對于所述顯示器在所述用戶的眼睛的所述下一位置處顯示經(jīng)優(yōu)化的圖像的另一經(jīng)優(yōu)化的部分，使得所述圖像的所述部分耦合到用戶在所述下一位置處的聚焦區(qū)。
9.如權(quán)利要求8所述的頭戴式顯示設(shè)備，其特征在于，所述顯示器包括圖像投影儀；光導光學元件，所述光導光學元件與所述顯示器對準以允許所述用戶查看所述用戶所處的場景中的物體；以及其中所述顯示器還包括稱合到機械控制元件的鏡元件，所述控制元件響應(yīng)于所述至少一個處理單元來對所述圖像的經(jīng)優(yōu)化的部分進行定位。
10.如權(quán)利要求8所述的頭戴式顯示設(shè)備，其特征在于所述至少一個處理單元與中樞計算設(shè)備通信以接收空間的標識出一個或多個物體的三維模型；以及所述至少一個處理單元確定用戶的視野，確定第一物體是否處于該視野中，確定所述第一物體在所述顯示器中的位置，基于所述用戶在所述場景中的大小和定向來調(diào)整經(jīng)優(yōu)化的圖像的大小和定向。
全文摘要
本發(fā)明涉及用于擴展現(xiàn)實顯示的優(yōu)化聚焦區(qū)。提供了一種在使用諸如透視顯示設(shè)備或頭戴式顯示設(shè)備之類的近眼顯示設(shè)備時增強用戶體驗的方法和系統(tǒng)。創(chuàng)建經(jīng)優(yōu)化的圖像以用于相對于用戶在場景中的視野進行顯示。跟蹤用戶的頭和眼睛位置和移動以確定該用戶的聚焦區(qū)。將經(jīng)優(yōu)化的圖像的一部分耦合到該用戶在眼睛的當前位置處的聚焦區(qū)，預(yù)測頭和眼睛的下一位置，并且將經(jīng)優(yōu)化的圖像的一部分耦合到該用戶在該下一位置處的聚焦區(qū)。
文檔編號G02B27/01GK102591016SQ201110444280
公開日2012年7月18日 申請日期2011年12月16日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者A·巴-澤埃夫, G·克萊因, J·R·劉易斯 申請人:微軟公司