微處理器等等之類的處理器，這些處理器可以執(zhí)行存儲(chǔ)在處理 器可讀存儲(chǔ)設(shè)備上的指令來(lái)執(zhí)行本文所述的過(guò)程。
[0040] 中樞計(jì)算系統(tǒng)12進(jìn)一步包括捕捉設(shè)備20,該捕捉設(shè)備20用于從其F0V內(nèi)的場(chǎng)景 的一些部分中捕捉圖像數(shù)據(jù)。如本文所使用的，場(chǎng)景是用戶在其中到處移動(dòng)的環(huán)境，這一環(huán) 境在捕捉設(shè)備20的F0V內(nèi)和/或每一頭戴式顯示設(shè)備2的F0V內(nèi)被捕捉。圖1示出了單 個(gè)捕捉設(shè)備20,但是在進(jìn)一步的實(shí)施例中可以存在多個(gè)捕捉設(shè)備，這些捕捉設(shè)備彼此協(xié)作 以從所述多個(gè)捕捉設(shè)備20的合成F0V內(nèi)的場(chǎng)景中集體地捕捉圖像數(shù)據(jù)。捕捉設(shè)備20可包 括一個(gè)或多個(gè)相機(jī)，相機(jī)在視覺(jué)上監(jiān)視用戶18和周圍空間，使得可以捕捉、分析并跟蹤該 用戶所執(zhí)行的姿勢(shì)和/或移動(dòng)以及周圍空間的結(jié)構(gòu)，以在應(yīng)用內(nèi)執(zhí)行一個(gè)或多個(gè)控制或動(dòng) 作和/或使化身或屏上人物動(dòng)畫化。
[0041] 中樞計(jì)算系統(tǒng)12可被連接到諸如電視機(jī)、監(jiān)視器、高清電視機(jī)（HDTV)等可提供游 戲或應(yīng)用視覺(jué)的視聽設(shè)備16。在一個(gè)示例中，視聽設(shè)備16包括內(nèi)置揚(yáng)聲器。在其他實(shí)施例 中，視聽設(shè)備16和中樞計(jì)算系統(tǒng)12可被連接到外部揚(yáng)聲器22。
[0042] 中樞計(jì)算系統(tǒng)12與頭戴式顯示設(shè)備2和處理單元4 一起可以提供混合現(xiàn)實(shí)體驗(yàn)， 其中一個(gè)或多個(gè)虛擬圖像（如圖1中的虛擬圖像21)可與場(chǎng)景中的現(xiàn)實(shí)世界物體混合在一 起。圖1例示出作為出現(xiàn)在用戶的F0V內(nèi)的現(xiàn)實(shí)世界物體的植物23或用戶的手23的示例。
[0043] 圖2和3示出了頭戴式顯示設(shè)備2的立體圖和側(cè)視圖。圖3示出了頭戴式顯示設(shè) 備2的右側(cè)，包括該設(shè)備的具有鏡腿102和鼻梁104的一部分。在鼻梁104中置入了話筒 110用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4,如下所述。在頭戴式顯示設(shè)備2的前 方是朝向房間的視頻相機(jī)112,該視頻相機(jī)112可以捕捉視頻和靜止圖像。那些圖像被傳送 至處理單元4,如下所述。
[0044] 頭戴式顯示設(shè)備2的鏡架的一部分將圍繞顯示器（顯示器包括一個(gè)或多個(gè)透鏡）。 為了示出頭戴式顯示設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導(dǎo)光 學(xué)元件115、不透明濾光器114、透視透鏡116和透視透鏡118。在一個(gè)實(shí)施例中，不透明濾 光器114處于透視透鏡116之后并與其對(duì)齊，光導(dǎo)光學(xué)元件115處于不透明濾光器114之 后并與其對(duì)齊，而透視透鏡118處于光導(dǎo)光學(xué)元件115之后并與其對(duì)齊。透視透鏡116和 118是眼鏡中使用的標(biāo)準(zhǔn)透鏡，并且可根據(jù)任何驗(yàn)光單（包括無(wú)驗(yàn)光單）來(lái)制作。光導(dǎo)光 學(xué)元件115將人造光引導(dǎo)到眼睛。不透明濾光器114以及光導(dǎo)光學(xué)元件115的更多細(xì)節(jié)在 2012 年 5 月 24 日公開的題為"Head-MountedDisplayDeviceWhichProvidesSurround Video"（提供環(huán)繞視頻的頭戴式顯示設(shè)備）的美國(guó)已公開專利申請(qǐng)?zhí)?012/0127284中被 提供。
[0045] 控制電路136提供支持頭戴式顯示設(shè)備2的其他組件的各種電子裝置?？刂齐?路136的更多細(xì)節(jié)在下文參照?qǐng)D4提供。處于鏡腿102內(nèi)部或安裝到鏡腿102的是耳機(jī) 130、慣性測(cè)量單元132、以及溫度傳感器138。在圖4中所示的一個(gè)實(shí)施例中，慣性測(cè)量單 元132 (或頂U(kuò)132)包括慣性傳感器，諸如三軸磁力計(jì)132A、三軸陀螺儀132B以及三軸加 速度計(jì)132C。慣性測(cè)量單元132感測(cè)頭戴式顯示設(shè)備2的位置、定向和突然加速度（俯仰、 滾轉(zhuǎn)和偏航）。除了磁力計(jì)132A、陀螺儀132B和加速度計(jì)132C之外或者取代磁力計(jì)132A、 陀螺儀132B和加速度計(jì)132C，頂U(kuò)132還可包括其他慣性傳感器。
[0046] 微顯示器120通過(guò)透鏡122來(lái)投影圖像。存在著可被用于實(shí)現(xiàn)微顯示器120的不 同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來(lái)實(shí)現(xiàn)，其中光源由光學(xué)活 性材料來(lái)調(diào)制，用白光從背后照亮。這些技術(shù)通常是使用具有強(qiáng)大背光和高光能量密度的 IXD類型的顯示器來(lái)實(shí)現(xiàn)的。微顯示器120還可使用反射技術(shù)來(lái)實(shí)現(xiàn)，其中外部光被光學(xué) 活性材料反射并調(diào)制。取決于該技術(shù)，照明是由白光源或RGB源來(lái)向前點(diǎn)亮的。數(shù)字光處 理（DLP)、硅上液晶（LC0S)、以及來(lái)自高通公司的Mirasol?顯示技術(shù)都是高效的反射技術(shù) 的示例（因?yàn)榇蠖鄶?shù)能量從已調(diào)制結(jié)構(gòu)反射離開）并且可被用在本系統(tǒng)中。附加地，微顯 示器120可以使用發(fā)射技術(shù)來(lái)實(shí)現(xiàn)，其中光由該顯示器生成。例如，來(lái)自Microvision有限 公司的PicoP?顯示引擎使用微型鏡面舵來(lái)將激光信號(hào)發(fā)射到擔(dān)當(dāng)透射元件的小型屏幕上 或直接將光束（例如，激光）發(fā)射到眼睛。
[0047] 光導(dǎo)光學(xué)元件115將來(lái)自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶 的眼睛140。光導(dǎo)光學(xué)元件115還允許如箭頭142所描繪的那樣將光從頭戴式顯示設(shè)備2 的前方通過(guò)光導(dǎo)光學(xué)元件115傳送到眼睛140,從而除了接收來(lái)自微顯示器120的虛擬圖像 之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實(shí)際直接視圖。從而，光導(dǎo)光學(xué)元 件115的壁是透視的。光導(dǎo)光學(xué)元件115包括第一反射表面124 (例如鏡面或其他表面）。 來(lái)自微顯示器120的光穿過(guò)透鏡122并入射在反射表面124上。反射表面124反射來(lái)自微 顯示器120的入射光，使得光通過(guò)內(nèi)反射被陷在包括光導(dǎo)光學(xué)元件115的平面基底內(nèi)。在 基底的表面上進(jìn)行若干次反射之后，被陷的光波到達(dá)選擇性反射表面126的陣列。注意，五 個(gè)表面中的一個(gè)表面被標(biāo)記為126以防止附圖太過(guò)擁擠。反射表面126將從基底出射并入 射在這些反射表面上的光波耦合進(jìn)用戶的眼睛140。光導(dǎo)光學(xué)元件的更多細(xì)節(jié)可在于2008 年11月20日公開的題為"Substrate-GuidedOpticalDevices"（基底導(dǎo)向的光學(xué)設(shè)備） 的美國(guó)專利公開號(hào)2008/0285140中找到。
[0048] 頭戴式顯示設(shè)備2還包括用于跟蹤用戶的眼睛的位置的系統(tǒng)。如下面將會(huì)解釋的 那樣，該系統(tǒng)將跟蹤用戶的位置和定向，使得該系統(tǒng)可以確定用戶的F0V。然而，人類將不會(huì) 感知到他們前方的一切。而是，用戶的眼睛將被導(dǎo)向該環(huán)境的一子集。因此，在一個(gè)實(shí)施例 中，該系統(tǒng)將包括用于跟蹤用戶的眼睛的位置以便細(xì)化對(duì)該用戶的F0V的測(cè)量的技術(shù)。例 如，頭戴式顯示設(shè)備2包括眼睛跟蹤組件134 (圖3)，該眼睛跟蹤組件134具有眼睛跟蹤照 明設(shè)備134A和眼睛跟蹤相機(jī)134B(圖4)。在一個(gè)實(shí)施例中，眼睛跟蹤照明設(shè)備134A包括 一個(gè)或多個(gè)紅外（IR)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射IR光。眼睛跟蹤相機(jī)134B包括 一個(gè)或多個(gè)感測(cè)反射的IR光的相機(jī)。通過(guò)檢測(cè)角膜的反射的已知成像技術(shù)，可以標(biāo)識(shí)出瞳 孔的位置。例如，參見(jiàn)于2008年7月22日頒發(fā)的題為"HeadMountedEyeTrackingand DisplaySystem"（頭戴式眼睛跟蹤和顯示系統(tǒng)）的美國(guó)專利號(hào)7, 401，920。此類技術(shù)可以 定位眼睛的中心相對(duì)于跟蹤相機(jī)的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像并使用 計(jì)算機(jī)視覺(jué)技術(shù)來(lái)確定瞳孔在眼眶內(nèi)的位置。在一個(gè)實(shí)施例中，跟蹤一只眼睛的位置就足 夠了，因?yàn)殡p眼通常一致地移動(dòng)。然而，單獨(dú)地跟蹤每只眼睛是可能的。
[0049] 在一個(gè)實(shí)施例中，該系統(tǒng)將使用以矩形布置的4個(gè)IRLED和4個(gè)IR光電檢測(cè)器， 使得在頭戴式顯示設(shè)備2的透鏡的每個(gè)角處存在一個(gè)IRLED和IR光電檢測(cè)器。來(lái)自LED 的光從眼睛反射離開。由在4個(gè)IR光電檢測(cè)器中的每個(gè)處所檢測(cè)到的紅外光的量來(lái)確定 瞳孔方向。也就是說(shuō)，眼睛中眼白相對(duì)于眼黑的量將確定對(duì)于該特定光電檢測(cè)器而言從眼 睛反射離開的光量。因此，光電檢測(cè)器將具有對(duì)眼睛中的眼白或眼黑的量的度量。從這4 個(gè)采樣中，該系統(tǒng)可確定眼睛的方向。
[0050] 另一替代方案是如上面所討論的那樣使用4個(gè)紅外LED，但是在頭戴式顯示設(shè)備2 的透鏡的一側(cè)上使用一個(gè)紅外(XD。C⑶將使用小鏡子和/或透鏡（魚眼），以使得C⑶可 對(duì)來(lái)自眼鏡框的可見(jiàn)眼睛的多達(dá)75%成像。然后，該CCD將感測(cè)圖像并且使用計(jì)算機(jī)視覺(jué) 來(lái)找出該圖像，就像上文所討論的那樣。因此，盡管圖3示出了具有一個(gè)IR發(fā)射器的一個(gè) 部件，但是圖3的結(jié)構(gòu)可以被調(diào)整為具有4個(gè)IR發(fā)射器和/或4個(gè)IR傳感器。也可以使 用多于或少于4個(gè)的IR發(fā)射器和/或多于或少于4個(gè)的IR傳感器。
[0051] 用于跟蹤眼睛的方向的另一實(shí)施例基于電荷跟蹤。此概念基于以下觀察：視網(wǎng)膜 攜帶可測(cè)量的正電荷而角膜具有負(fù)電荷。傳感器被安裝在用戶的耳朵旁（靠近耳機(jī)130) 以檢測(cè)眼睛在轉(zhuǎn)動(dòng)時(shí)的電勢(shì)并且高效地實(shí)時(shí)讀出眼睛正在干什么。也可以使用用于跟蹤眼 睛的其他實(shí)施例。
[0052] 圖3示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備將包括另一組透視 透鏡、另一不透明濾光器、另一光導(dǎo)光學(xué)元件、另一微顯示器120、另一透鏡122、面向房間 的相機(jī)、眼睛跟蹤組件、微顯示器、耳機(jī)、和溫度傳感器。
[0053] 圖4是描繪了頭戴式顯示設(shè)備2的各個(gè)組件的框圖。圖5是描述處理單元4的各 個(gè)組件的框圖。頭戴式顯示設(shè)備2(其組件在圖4中被描繪）被用于通過(guò)將一個(gè)或多個(gè)虛 擬圖像與用戶對(duì)現(xiàn)實(shí)世界的視圖的無(wú)縫融合來(lái)向用戶提供混合現(xiàn)實(shí)體驗(yàn)。另外，圖4的頭 戴式顯示設(shè)備組件包括跟蹤各種狀況的許多傳感器。頭戴式顯示設(shè)備2將從處理單元4接 收關(guān)于虛擬圖像的指令，并且將把傳感器信息提供回給處理單元4。處理單元4 (其組件在 圖4中被描繪）將從頭戴式顯示設(shè)備2接收傳感信息，并且將與中樞計(jì)算設(shè)備12 (圖1)交 換信息和數(shù)據(jù)?；谠撔畔⒑蛿?shù)據(jù)的交換，處理單元4將確定在何處以及在何時(shí)向用戶提 供虛擬圖像并相應(yīng)地將指令發(fā)送給圖4的頭戴式顯示設(shè)備。
[0054] 圖4的組件中的一些（例如朝向房間的相機(jī)112、眼睛跟蹤相機(jī)134B、微顯示器 120、不透明濾光器114、眼睛跟蹤照明134A、耳機(jī)130和溫度傳感器138)是以陰影示出的， 以指示這些設(shè)備中的每個(gè)都存在兩個(gè)，其中一個(gè)用于頭戴式顯示設(shè)備2的左側(cè)，而一個(gè)用 于頭戴式顯示設(shè)備2的右側(cè)。圖4示出與電源管理電路202通信的控制電路200?？刂齐?路200包括處理器210、與存儲(chǔ)器214(例如D-RAM)進(jìn)行通信的存儲(chǔ)器控制器212、相機(jī)接 口 216、相機(jī)緩沖器218、顯示驅(qū)動(dòng)器220、顯示格式化器222、定時(shí)發(fā)生器226、顯示輸出接口 228、以及顯示輸入接口 230。
[0055] 在一個(gè)實(shí)施例中，控制電路200的所有組件都通過(guò)專用線路或一個(gè)或多個(gè)總線彼 此進(jìn)行通信。在另一實(shí)施例中，控制電路200的每個(gè)組件都與處理器210通信。相機(jī)接口 216提供到兩個(gè)朝向房間的相機(jī)112的接口，并且將從朝向房間的相機(jī)所接收到的圖像存 儲(chǔ)在相機(jī)緩沖器218中。顯示驅(qū)動(dòng)器220將驅(qū)動(dòng)微顯示器120。顯示格式化器222向控制 不透明濾光器114的不透明度控制電路224提供關(guān)于微顯示器120上所正顯示的虛擬圖像 的信息。定時(shí)發(fā)生器226被用于向該系統(tǒng)提供定時(shí)數(shù)據(jù)。顯示輸出接口 228是用于將圖像 從朝向房間的相機(jī)112提供給處理單元4的緩沖器。顯示輸入接口 230是用于接收諸如要 在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖器。顯示輸出接口 228和顯示輸入接 口 230與作為到處理單元4的接口的帶接口 232通