已提議許多技術(shù)以允許用戶在使用電子設備時指點(point)或選擇。例如，用戶可控制顯示屏上的光標來選擇、滾動等。此類光標可通過計算機鼠標、跟蹤球、觸摸墊等控制。一些設備具有用于用戶輸入的觸摸屏。更近期以來，采用眼睛跟蹤或頭部跟蹤的技術(shù)已被提議，以允許用戶輸入、選擇等。

概述

本技術(shù)的實施例涉及用于基于頭部旋轉(zhuǎn)的角度的方差來穩(wěn)定交互射線的系統(tǒng)、設備和方法。

一個實施例包括具有傳感器和使用該傳感器監(jiān)視人的頭部的定向的邏輯的裝置。此監(jiān)視可包括監(jiān)視繞頭部的軸的旋轉(zhuǎn)，諸如記錄關(guān)于繞頭部的軸的旋轉(zhuǎn)的歐拉角。所述邏輯基于頭部的定向確定三維(3D)射線。3D射線具有隨時間精確跟蹤歐拉角的運動。所述邏輯生成交互射線，所述交互射線在一定程度上跟蹤所述3D射線。所述邏輯確定歐拉角隨時間的方差。所述邏輯基于歐拉角隨時間的方差來在盡管有繞頭部的軸的一定旋轉(zhuǎn)的情況下穩(wěn)定交互射線。穩(wěn)定的量與歐拉角的方差成反比。所述邏輯確定第二3D射線與3D坐標的碰撞。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并非旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定所要求保護的主題的范圍。

附圖簡述

圖1A是可在其中實施控制交互射線的運動的實施例的示例環(huán)境。

圖1B是人的頭部的圖，以幫助圖示監(jiān)視俯仰、滾轉(zhuǎn)和偏航的實施例。

圖1C是控制交互射線的運動的過程的一個實施例的流程圖。

圖2是頭戴式顯示單元的一個實施例的立體圖。

圖3是頭戴式顯示單元的一個實施例的一部分的側(cè)視圖。

圖4是頭戴式顯示單元的組件的一個實施例的框圖。

圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個實施例的框圖。

圖6A示出其中交互射線緊密跟蹤3D射線的若干時間點的3D射線和交互射線。

圖6B和6C示出其中繞軸的旋轉(zhuǎn)的方差為低且交互射線穩(wěn)定的示例的3D射線。

圖7是用于基于歐拉角的方差確定不穩(wěn)定因子的一個實施例的流程圖。

圖8是應用不穩(wěn)定因子來確定新交互射線的過程的一個實施例的流程圖。

圖9是其中基于該人的頭部的旋轉(zhuǎn)的角度的方差來穩(wěn)定頭部光標的一個實施例的流程圖。

圖10是其中針對該人的頭部的平移的方差提供穩(wěn)定的一個實施例的流程圖。

圖11是示出穩(wěn)定因子的許多組合可被應用于交互射線的流程圖。

詳細描述

本文公開的實施例提供可被用作選擇器或指點器的交互射線。例如，正穿戴頭戴式顯示器(HMD)的用戶可使用交互射線來對HMD中正呈現(xiàn)的元素做出選擇。用戶可通過其頭部的定向來控制交互射線。交互射線可以是源自用戶的頭部的3D向量。注意，交互射線不必是可見射線。在一個實施例中，交互射線擔當一種類型的光標。作為一特定示例，用戶可能正在閱讀HMD中呈現(xiàn)的報紙文章。交互射線可允許用戶選擇或指點該文章中的諸如超鏈接等元素。

用戶控制交互射線的位置可能是困難的。然而，本文公開的實施例按照允許精確控制交互射線的方式控制基于用戶的頭部的定向計算的3D射線的運動。在一個實施例中，在頭部運動的方差很低時提供交互射線的高穩(wěn)定度。這意味著，小的頭部移動實際上是穩(wěn)定的，這提供對交互射線的更精確的控制。然而，在頭部運動的方差很高時，提供很少或不提供交互射線的穩(wěn)定化。例如，如果用戶正從左向右移動其頭部，則提供很少的交互射線的穩(wěn)定化。這使得交互射線對頭部運動更具響應性，這意味著，交互射線更緊密地跟蹤用戶的頭部的實際定向。

圖1A示出用戶18正通過使用交互射線66與虛擬圖像60交互的示例。用戶18正穿戴著HMD 2，該HMD正顯示虛擬圖像60。從而，圖1A中的虛擬圖像60的位置旨在表示用戶所得到的虛擬圖像60位于用戶18前方某處的假象。這可被稱為HMD 2的視野。在此示例中，虛擬圖像60可在用戶18移動其頭部7和/或眼睛時保持相對固定。從而，用戶可容易地將其注意力轉(zhuǎn)移到虛擬圖像60中的不同位置，而不引起虛擬圖像60移位。虛擬圖像60可以包含諸如虛擬報紙(作為一例)等內(nèi)容。

交互射線66源自用戶的頭部7處或附近的一點，諸如在此示例中在雙眼的中間。交互射線66可以是3D向量。交互射線66不需要被示出在HMD 2中，但這也是一種可能。用戶18可移動其頭部7以引起交互射線66移動。例如，當用戶18將其頭部7從右向左移動時，交互射線66跟蹤頭部7的定向。

交互射線66的一個可能的使用是作為光標。例如，虛擬圖像60可具有一些可選擇元素62，所述可選擇元素可以是指向其它內(nèi)容的鏈接。用戶18可以通過定位其頭部以使得交互射線66指向期望的可選擇元素62來選擇可選擇元素62之一。如所指出的，交互射線66本身不需要被可見地呈現(xiàn)在顯示器中。HMD 2可突出顯示當前正被交互射線指向的元素62。用戶18可按數(shù)種方式選擇元素62，所述方式諸如語音命令、輕擊HMD 2上的按鈕或某個物理觸點等。

如以上所指出的，交互射線66的挑戰(zhàn)之一在于：用戶對精確控制交互射線的位置可能有困難。例如，輕微的頭部移動可能引起交互射線66的不期望的移動。實施例按照提供對交互射線66的更好的控制的方式來穩(wěn)定基于用戶的頭部7的移動來創(chuàng)建的交互射線66。在一個實施例中，交互射線66的穩(wěn)定與頭部旋轉(zhuǎn)的方差成反比。下面將討論這一點的更多細節(jié)。

圖1A示出一種可能的基于HMD的坐標系。在一個實施例中，基于HMD的坐標系的原點在用戶的頭部7的中間附近的某處。原點的另一個位置也是可能的。從而，圖1A中描繪的基于HMD的坐標系的原點的位置應被理解為是為了便于圖示。原點不限于所描繪的位置。在一個實施例中，基于HMD的坐標系的原點隨著用戶移動其頭部7而移動，以使得基于HMD的坐標系相對于HMD 2的位置保持固定。例如，當用戶的頭部橫向平移時，基于HMD的坐標系的原點可平移相等的量。然而，在一個實施例中，用戶的頭部繞所述軸之一的旋轉(zhuǎn)不移動基于HMD的坐標系。例如，當用戶將其頭部從右向左移動(以使得其頭部繞z軸旋轉(zhuǎn))時，可在關(guān)于z軸的旋轉(zhuǎn)角方面測量頭部相對于基于HMD的坐標系的移動。注意，用戶的頭部的平移也可被納入考慮。

在一個實施例中，跟蹤一個或多個歐拉角。歐拉角可表示繞坐標系的軸的旋轉(zhuǎn)。例如，這些角度可表示繞x軸旋轉(zhuǎn)角度α、繞y軸旋轉(zhuǎn)角度β，以及繞z軸旋轉(zhuǎn)角度γ。例如，可跟蹤俯仰(y軸)、偏航(z軸)和/或滾轉(zhuǎn)(x軸)中的一者或多者。

圖1B是人的頭部的圖，以幫助圖示監(jiān)視俯仰、滾轉(zhuǎn)和偏航的實施例。關(guān)于用戶的頭部7的示例z軸、y軸和x軸。此坐標系具有在該人的頭部7中某處的原點。注意，這可以是與來自圖1A的基于HMD的坐標系相同的坐標系。

圖1B中的y軸粗略對應于該人兩耳之間的連線。圖1B中的x軸粗略對應于從該人雙眼之間的點到穿頭部背面而出的連線。圖1B中的z軸粗略對應于從頭部的中心向上穿過頭頂?shù)倪B線。這些軸是出于一個示例的目的被示出的。

以下是一示例使用場景。用戶可能正在靜坐，與HMD 2中呈現(xiàn)的水平攤開的菜單交互。因為該人是靜止的，所以頭部位置的方差可能很低。因此，在一個實施例中，可以穩(wěn)定精細的平移效果。因為該人可能從左向右看而不是上下看，所以俯仰方面的方差可能非常低。因此，可應用高穩(wěn)定度，以使得交互射線不會在頁面上上下移動。因為該人在沿著列表看時正關(guān)于z軸旋轉(zhuǎn)其頭部，所以偏航方面的波動可能很高。因此，關(guān)于z軸旋轉(zhuǎn)的穩(wěn)定可能很低，以允許交互射線66緊密跟蹤該人頭部的此從左到右的移動。然而，如果用戶在他們靠近感興趣的菜單項時放慢其從左向右(偏航)的運動，則方差下降。作為響應，可增加交互射線66的穩(wěn)定量，從而允許更精確的選擇。

因為用戶可能不精確地知道其頭部方向和定向，所以用戶可能難以精確地控制交互射線66。然而，實施例穩(wěn)定交互射線66，并且因此在細化的運動中提供更高的保真度。

圖1C是穩(wěn)定交互射線66的運動的過程的一個實施例的流程圖。該過程可在諸如圖1A的環(huán)境的環(huán)境中實踐，但圖1A的環(huán)境僅是一個示例。在一個實施例中，該過程由HMD 2中的邏輯執(zhí)行。該邏輯可以是執(zhí)行處理器可讀指令的處理器，諸如專用集成電路(ASIC)、片上系統(tǒng)(SoC)等硬件。從而，該過程可由軟件(例如，存儲在存儲設備上并由處理器執(zhí)行的指令)、硬件、或軟件和硬件的某種組合來執(zhí)行。

在步驟42中，使用傳感器跟蹤人的頭部的定向。步驟42可包括跟蹤繞頭部的一個或多個軸的旋轉(zhuǎn)。在一個實施例中，這三個軸是x軸、y軸和z軸。在一個實施例中，跟蹤一個或多個歐拉角。歐拉角可表示繞坐標系的軸的旋轉(zhuǎn)。例如，這些角度可表示繞x軸旋轉(zhuǎn)角度α、繞y軸旋轉(zhuǎn)角度β，以及繞z軸旋轉(zhuǎn)角度γ。例如，可跟蹤俯仰(y軸)、偏航(z軸)和/或滾轉(zhuǎn)(x軸)中的一者或多者。

在步驟44中，基于頭部的實際定向確定第一3D射線。在一個實施例中，此第一3D射線的原點在用戶的頭部處或在用戶的頭部附近。例如，原點可在用戶的雙眼中間。原點可與基于HMD的坐標系的原點相同。此第一3D射線可在用戶看的方向上向外延伸。然而，不要求使用眼睛跟蹤。而是，在一個實施例中，第一3D射線的方向可完全基于用戶的頭部的定向確定。

此第一3D射線可以是繞一個或多個軸的旋轉(zhuǎn)的直接結(jié)果。例如，繞頭部的z軸的旋轉(zhuǎn)可直接導致第一3D向量的第一運動分量。同樣，繞頭部的y軸的旋轉(zhuǎn)可直接導致第一3D向量的第二運動分量。而且，繞頭部的x軸的旋轉(zhuǎn)可直接導致第一3D向量的第三運動分量。

第一3D射線可隨時間跟蹤歐拉角。注意，這可以是精確或準確跟蹤，因為第一3D射線的方向可正確地對應于正被監(jiān)視的歐拉角。一個、兩個或三個歐拉角可被監(jiān)視。在一個實施例中，第一3D射線正是x軸。在此情況下，第一3D射線的移動取決于俯仰和偏航，但未必取決于滾轉(zhuǎn)。然而，如果需要，滾轉(zhuǎn)分量可被添加到第一3D向量。

第一3D射線可使用HMD 2上的傳感器確定。該傳感器可包括相機、加速度計等。在一個實施例中，圖像數(shù)據(jù)被分析以確定用戶頭部位置和從用戶的面部直線向外看的面部單位向量兩者?？赏ㄟ^定義用戶的面部的平面并取垂直于該平面的向量來確定面部單位向量。這一平面可通過確定用戶的眼睛、鼻子、嘴、耳朵、或其他面部特征的位置來被標識。

在步驟46，確定繞該人的頭部的該一個或多個軸的旋轉(zhuǎn)的方差。在一個實施例中，方差是指在步驟42中指代的歐拉角隨時間的方差。注意，方差未必指的是數(shù)學術(shù)語“方差”的嚴格定義。然而，一種可能性為：對于方差，當該術(shù)語在本文中使用時，指代該數(shù)學術(shù)語“方差”。從而，在本文中所使用的關(guān)于歐拉角、俯仰、滾轉(zhuǎn)、偏航等的方差的術(shù)語“方差”包括但不限于數(shù)學術(shù)語“方差”。

在步驟48，基于第一3D射線生成第二3D射線。此第二3D射線也可被稱為交互射線66。生成第二3D射線可包括確定第二3D射線的原點和方向。換言之，可確定一3D向量。第二3D向量的原點可與第一3D向量的原點相同。然而，該方向可不與第一3D向量的方向完全重合。這可有助于穩(wěn)定交互射線66以允許對交互射線66的更好的用戶控制。

注意，交互射線66可跟蹤第一3D射線，但這不必是精確跟蹤。換言之，交互射線66可在一定程度上跟蹤第一3D射線。在一個實施例中，系統(tǒng)基于歐拉角隨時間的方差改變交互射線66跟蹤第一3D射線的緊密程度。跟蹤的緊密度可與歐拉角在近期時間段上的方差成正比。在一個實施例中，系統(tǒng)基于歐拉角隨時間的方差來穩(wěn)定交互射線66。穩(wěn)定的量可與歐拉角在近期時間段上的方差成反比。以下討論進一步的細節(jié)。

在步驟50中，基于第一3D射線的方差來穩(wěn)定交互射線66。在一個實施例中，該穩(wěn)定與歐拉角在近期時間段上的方差成反比。例如，如果用戶正緩慢地移動其頭部，則這應當導致其頭部繞一軸的旋轉(zhuǎn)角度的低方差，該軸可粗略與其脊柱成一直線。對于低方差，高穩(wěn)定可被應用于交互射線66的運動。這導致交互射線66穩(wěn)定，盡管第一3D射線有一定的運動。參考圖1A的示例，這幫助用戶保持交互射線66穩(wěn)定，盡管有歸因于例如呼吸等的小的頭部移動。

然而，對于一個實施例，對于歐拉角在近期時間段內(nèi)的高方差，低穩(wěn)定或沒有穩(wěn)定將被應用于交互射線的運動。這可導致交互射線66非常緊密地(可能等同地)跟蹤第一3D射線。參考圖1A的示例，如果用戶要將其頭部從左向右移動，則交互射線66可不帶延遲地移動。這可幫助交互射線66是高度響應性的。

注意，當針對多于一個軸確定方差時，可結(jié)合繞每個軸的旋轉(zhuǎn)使用獨立的穩(wěn)定因子。例如，獨立的穩(wěn)定因子可針對上面討論的第一3D向量的一個、兩個或全部三個運動分量確定。

在步驟52，確定第二3D射線(或交互射線)和3D坐標之間的碰撞。在一個實施例中，3D坐標是現(xiàn)實世界坐標。在圖1A的示例中，交互射線66被描繪為與可選擇元素62之一碰撞。從而，系統(tǒng)可檢測交互射線66與其碰撞的圖像60的元素62或某個部分。此處，“碰撞”是指以下事實：第二3D射線可被認為占據(jù)3D空間中的各個點。圖像60的3D坐標可以是圖像60看上去所處的3D坐標。注意，混合現(xiàn)實技術(shù)在本領(lǐng)域是公知的，并且可以是使圖像60看上去在某個現(xiàn)實世界3D坐標處的一種方式。也就是說，在現(xiàn)實中，圖像60可物理地存在于HMD 2上。然而，HMD顯示器的3D坐標不必是步驟52中所指代的3D坐標。

不要求該3D坐標(或多個3D坐標)與正在HMD 2中呈現(xiàn)的圖像60相關(guān)聯(lián)。例如，3D坐標可以是現(xiàn)實世界中的某點。從而，系統(tǒng)可確定交互射線66正指向現(xiàn)實世界中的某個對象。

在各實施例中，用戶佩戴包括顯示元件的頭戴式顯示設備。接下來，將討論示例HMD系統(tǒng)。該顯示元件在一定程度上透明，使得用戶可透過該顯示元件看到該用戶的視野(FOV)內(nèi)的現(xiàn)實世界物體。該顯示元件還提供將虛擬圖像投影到該用戶的FOV中以使得所述虛擬圖像也可出現(xiàn)在現(xiàn)實世界物體旁邊的能力。在一個實施例中，系統(tǒng)可自動地跟蹤用戶所看之處，從而該系統(tǒng)可確定將虛擬圖像插入到該用戶的FOV中的何處。一旦該系統(tǒng)知曉要將該虛擬圖像投影至何處，就使用該顯示元件投影該圖像。在一個實施例中，系統(tǒng)插入虛擬圖像，以使得該虛擬圖像看上去在現(xiàn)實世界中保持固定在相同位置。例如，當用戶移動其頭部和/或眼睛來閱讀虛擬報紙時，系統(tǒng)可使得看上去虛擬報紙保持在相同位置。

在實施例中，系統(tǒng)構(gòu)建包括房間或其它環(huán)境中的用戶、現(xiàn)實世界對象和虛擬三維對象的x、y、z笛卡爾位置的環(huán)境的模型。由該環(huán)境中的用戶佩戴的頭戴式顯示設備的位置可以被校準到該環(huán)境的所述模型。這允許系統(tǒng)確定每個用戶的視線以及該環(huán)境的FOV。注意，對于房間或其他環(huán)境中的用戶、現(xiàn)實世界對象和虛擬三維對象的位置，可使用與前面提到的基于HMD的坐標系不同的坐標系?？稍谧鴺讼抵g進行核實的變換。

用戶可以選擇與出現(xiàn)在用戶的FOV內(nèi)的虛擬對象中的一者或多者進行交互。交互射線66允許用戶指定虛擬對象。各種技術(shù)可被用來允許用戶選擇虛擬對象。用戶可使用語言姿勢來與虛擬物體交互，所述語言姿勢諸如舉例而言為被該混合現(xiàn)實系統(tǒng)識別為對該系統(tǒng)執(zhí)行預定義動作的用戶請求的說出的單詞或短語。語言姿勢可連同身體姿勢一起被使用以與混合現(xiàn)實環(huán)境中的一個或多個虛擬物體交互。

根據(jù)本技術(shù)，當多個虛擬對象被顯示時，本系統(tǒng)確定用戶正聚焦于哪個虛擬對象。這可基于交互射線66。該虛擬對象隨后可用于交互，且其它虛擬對象可任選地通過各種方法來削弱。本技術(shù)使用各種方案來確定用戶焦點。在一個示例中，系統(tǒng)可接收預定義的選擇姿勢，該預定義的選擇姿勢指示用戶正選擇給定虛擬對象。替換地，系統(tǒng)可接收預定義的交互姿勢，其中用戶通過與給定虛擬對象交互來指示焦點。選擇姿勢和交互姿勢兩者均可以是身體的或語言的。

下文描述了標識虛擬對象(諸如向用戶呈現(xiàn)內(nèi)容的虛擬顯示板)上的用戶焦點的實施例。該內(nèi)容可以是可被顯示在虛擬板上的任何內(nèi)容，包括例如靜態(tài)內(nèi)容(如文本和圖片)或動態(tài)內(nèi)容(如視頻)。然而，要理解，本技術(shù)不限于標識虛擬顯示板上的用戶焦點，并且可標識用戶可與其進行交互的任何虛擬對象上的用戶焦點。

如圖2中所見，頭戴式顯示設備2經(jīng)由線6與其自己的處理單元4通信。在其他實施例中，頭戴式顯示設備2經(jīng)由無線通信來與處理單元4進行通信。在一個實施例中為眼鏡形狀的頭戴式顯示設備2被佩戴在用戶的頭上，使得用戶可以透過顯示器進行觀看，并且從而具有該用戶前方的空間的實際直接視圖。使用術(shù)語“實際直接視圖”來指代直接用人眼看見現(xiàn)實世界物體的能力，而不是看見物體的被創(chuàng)建的圖像表示。例如，透過房間的玻璃看允許用戶得到該房間的實際直接視圖，而觀看電視機上的房間的視頻并不是該房間的實際直接視圖。下面提供頭戴式顯示設備2的更多細節(jié)。

在一個實施例中，處理單元4是例如佩戴在用戶的手腕上或儲放在用戶的口袋中的小型便攜式設備。該處理單元例如可以是蜂窩電話的大小和形狀因子，盡管在其他示例中它也可以是其他形狀和大小的。處理單元4可包括用于操作頭戴式顯示設備2的計算能力中的許多能力。在一些實施例中，處理單元4與一個或多個中樞計算系統(tǒng)12無線地(例如，WiFi、藍牙、紅外、或其他無線通信手段)通信。

圖2和3示出了頭戴式顯示設備2的立體圖和側(cè)視圖。圖3示出了頭戴式顯示設備2的右側(cè)，包括該設備的具有鏡腿102和鼻梁104的一部分。在鼻梁104中置入了話筒110用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，如下所述。在頭戴式顯示設備2的前方是朝向房間的視頻相機112，該視頻相機112可以捕捉視頻和靜止圖像。那些圖像被傳送至處理單元4，如下所述。

頭戴式顯示設備2的鏡架的一部分將圍繞顯示器(顯示器包括一個或多個透鏡)。為了示出頭戴式顯示設備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導光學元件115、不透明濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處于透視透鏡116之后并與其對齊，光導光學元件115處于不透明度濾光器114之后并與其對齊，而透視透鏡118處于光導光學元件115之后并與其對齊。透視透鏡116和118是眼鏡中使用的標準鏡片，并且可根據(jù)任何驗光單(包括無驗光單)來制作。在一個實施例中，透視透鏡116和118可由可變處方透鏡取代。在一些實施例中，頭戴式顯示設備2將包括一個透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進入光導光學元件115內(nèi)。不透明度濾光器114濾除自然光(要么以每像素為基礎(chǔ)，要么均勻地)以增強虛擬圖像的對比度。光導光學元件115將人造光引導到眼睛。下面提供不透光濾光器114和光導光學元件115的更多細節(jié)。

在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源(在一個實施例中)包括用于對虛擬圖像進行投影的微顯示器120、以及用于將圖像從微顯示器120引導到光導光學元件115中的透鏡122。在一個實施例中，透鏡122是準直透鏡。

控制電路136提供支持頭戴式顯示設備2的其他組件的各種電子裝置?？刂齐娐?36的更多細節(jié)在下文參照圖4提供。處于鏡腿102內(nèi)部或安裝到鏡腿102的是耳機130、慣性測量單元132、以及溫度傳感器138。在圖4中所示的一個實施例中，慣性測量單元132(或IMU 132)包括慣性傳感器，諸如三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C。慣性測量單元132感測頭戴式顯示設備2的位置、定向、以及突然加速。慣性測量單元132可感測(例如用戶的頭部的)俯仰、滾轉(zhuǎn)和偏航。除了磁力計132A、陀螺儀132B和加速度計132C之外或者取代磁力計132A、陀螺儀132B和加速度計132C，IMU 132還可包括其他慣性傳感器。

微顯示器120通過透鏡122來投影圖像。存在著可被用于實現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來實現(xiàn)，其中光源由光學活性材料來調(diào)制，用白光從背后照亮。這些技術(shù)通常使用具有強大背光和高光能量密度的LCD型顯示器來實現(xiàn)。微顯示器120還可使用反射技術(shù)來實現(xiàn)，其中外部光被光學活性材料反射并調(diào)制。取決于該技術(shù)，照明是由白光源或RGB源來向前點亮的。數(shù)字光處理(DLP)、硅上液晶(LCoS)、以及來自Qualcomm有限公司的顯示技術(shù)是高效的反射技術(shù)的示例(因為大多數(shù)能量從已調(diào)制結(jié)構(gòu)反射離開)并且可被用在本系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實現(xiàn)，其中光由該顯示器生成。例如，來自Microvision有限公司的PicoP^TM顯示引擎使用微型鏡面舵來將激光信號發(fā)射到擔當透射元件的小型屏幕上或直接將光束(例如，激光)發(fā)射到眼睛。

光導光學元件115將來自微顯示器120的光傳送到佩戴頭戴式顯示設備2的用戶的眼睛140。光導光學元件115還允許如箭頭142所描繪的那樣將光從頭戴式顯示設備2的前方通過光導光學元件115傳送到眼睛140，從而除了接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設備2的前方的空間的實際直接視圖。從而，光導光學元件115的壁是透視的。光導光學元件115包括第一反射表面124(例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122并入射在反射表面124上。反射表面124反射來自微顯示器120的入射光，使得光通過內(nèi)反射被陷在包括光導光學元件115的平面基底內(nèi)。在基底的表面上進行若干次反射之后，被陷的光波到達選擇性反射表面126的陣列。注意，五個表面中的一個表面被標記為126以防止附圖太過擁擠。反射表面126將從基底出射并入射在這些反射表面上的光波耦合進用戶的眼睛140。

由于不同光線將以不同角度傳播并彈離襯底的內(nèi)部，因此這些不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被所述反射面中的不同反射面從基底反射出。關(guān)于哪些光線將被哪個表面126從基底反射出的選擇是通過選擇表面126的合適角度來設計的。在一個實施例中，每只眼睛將具有其自己的光導光學元件115。當頭戴式顯示設備2具有兩個光導光學元件時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實施例中，可以存在將光反射到兩只眼睛中的一個光導光學元件。

與光導光學元件115對齊的不透明濾光器114要么均勻地、要么以每像素為基礎(chǔ)來選擇性地阻擋自然光，以免其穿過光導光學元件115。然而，一般而言，不透明濾光器114的一實施例可以是透視LCD面板、電致變色膜(electrochromic film)或能夠充當不透明濾光器的類似設備。不透明度濾光器114可以包括致密的像素網(wǎng)格，其中每個像素的透光率能夠在最小和最大透光率之間被單獨地控制。盡管0-100％的透光率范圍是理想的，然而更受限的范圍也是可接受的，諸如例如每像素約50％到90％，上至LCD的分辨率。

在用代理為現(xiàn)實世界對象進行z-緩沖(z-buffering)之后，可以使用來自渲染流水線的阿爾法值的掩碼(mask)。當系統(tǒng)為增強現(xiàn)實顯示而呈現(xiàn)場景時，該系統(tǒng)記錄哪些現(xiàn)實世界對象處于哪些虛擬對象之前，如同下面解釋的。如果虛擬對象處于現(xiàn)實世界對象之前，則不透明度對于該虛擬對象的覆蓋區(qū)域而言可以是開啟的。如果虛擬對象(虛擬地)處于現(xiàn)實世界對象之后，則不透明度以及該像素的任何顏色都可被關(guān)閉，使得對于現(xiàn)實光的該相應區(qū)域(其大小為一個像素或更多)而言，用戶將會看到現(xiàn)實世界對象。覆蓋將是以逐像素為基礎(chǔ)的，所以該系統(tǒng)可以處置虛擬對象的一部分處于現(xiàn)實世界對象之前、該虛擬對象的一部分處于現(xiàn)實世界對象之后、以及該虛擬對象的一部分與現(xiàn)實世界對象相重合的情況。對這種用途而言，最期望的是能夠以低的成本、功率和重量來從0％開始直至100％不透明度的顯示器。此外，不透明濾光器可以比如用彩色LCD或用諸如有機LED等其他顯示器來以彩色進行呈現(xiàn)，以提供寬FOV。

頭戴式顯示設備2還包括用于跟蹤用戶的眼睛的位置的系統(tǒng)。例如，頭戴式顯示設備2包括眼睛跟蹤組件134(圖3)，該眼睛跟蹤組件134具有眼睛跟蹤照明設備134A和眼睛跟蹤相機134B(圖4)。在一個實施例中，眼睛跟蹤照明設備134A包括一個或多個紅外(IR)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射IR光。眼睛跟蹤相機134B包括一個或多個感測反射的IR光的相機。通過檢測角膜的反射的已知成像技術(shù)，可以標識出瞳孔的位置。此類技術(shù)可以定位眼睛的中心相對于跟蹤相機的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像并使用計算機視覺技術(shù)來確定瞳孔在眼眶內(nèi)的位置。在一個實施例中，跟蹤一只眼睛的位置就足夠了，因為雙眼通常一致地移動。然而，單獨地跟蹤每只眼睛是可能的。

在一個實施例中，該系統(tǒng)將使用以矩形布置的4個IR LED和4個IR光電檢測器，使得在頭戴式顯示設備2的透鏡的每個角處存在一個IR LED和IR光電檢測器。來自LED的光從眼睛反射離開。由在4個IR光電檢測器中的每個處所檢測到的紅外光的量來確定瞳孔方向。也就是說，眼睛中眼白相對于眼黑的量將確定對于該特定光電檢測器而言從眼睛反射離開的光量。因此，光電檢測器將具有對眼睛中的眼白或眼黑的量的度量。從這4個采樣中，該系統(tǒng)可確定眼睛的方向。

另一替代方案是如上面所討論的那樣使用4個紅外LED，但是在頭戴式顯示設備2的透鏡的一側(cè)上使用一個紅外CCD。CCD將使用小鏡子和/或透鏡(魚眼)，以使得CCD可對來自眼鏡框的可見眼睛的多達75％成像。然后，該CCD將感測圖像并且使用計算機視覺來找出該圖像，就像上文所討論的那樣。因此，盡管圖3示出了具有一個IR發(fā)射器的一個部件，但是圖3的結(jié)構(gòu)可以被調(diào)整為具有4個IR發(fā)射器和/或4個IR傳感器。也可以使用多于或少于4個的IR發(fā)射器和/或多于或少于4個的IR傳感器。

用于跟蹤眼睛的方向的另一實施例基于電荷跟蹤。此概念基于以下觀察：視網(wǎng)膜攜帶可測量的正電荷而角膜具有負電荷。傳感器被安裝在用戶的耳朵旁(靠近耳機130)以檢測眼睛在轉(zhuǎn)動時的電勢并且高效地實時讀出眼睛正在干什么。也可以使用用于跟蹤眼睛的其他實施例。

圖3示出了頭戴式顯示設備2的一半。完整的頭戴式顯示設備將包括另一組透視透鏡、另一不透明濾光器、另一光導光學元件、另一微顯示器120、另一透鏡122、面向房間的相機、眼睛跟蹤組件、微顯示器、耳機、和溫度傳感器。

圖4是描繪了頭戴式顯示設備2的各個組件的框圖。圖5是描述處理單元4的各種組件的框圖。頭戴式顯示設備2(其組件在圖4中被描繪)被用于通過將一個或多個虛擬圖像與用戶對現(xiàn)實世界的視圖的無縫融合來向用戶提供混合現(xiàn)實體驗。另外，圖4的頭戴式顯示設備組件包括跟蹤各種狀況的許多傳感器。頭戴式顯示設備2將從處理單元4接收關(guān)于虛擬圖像的指令，并且將把傳感器信息提供回給處理單元4。處理單元4(其組件在圖4中描繪)將接收來自頭戴式顯示設備2的傳感器信息?；谠撔畔⒑蛿?shù)據(jù)的交換，處理單元4將確定在何處以及在何時向用戶提供虛擬圖像并相應地將指令發(fā)送給圖4的頭戴式顯示設備。

圖4的組件中的一些(例如朝向房間的相機112、眼睛跟蹤相機134B、微顯示器120、不透明濾光器114、眼睛跟蹤照明134A、耳機130和溫度傳感器138)是以陰影示出的，以指示這些設備中的每個都存在兩個，其中一個用于頭戴式顯示設備2的左側(cè)，而一個用于頭戴式顯示設備2的右側(cè)。圖4示出與電源管理電路202通信的控制電路200?？刂齐娐?00包括處理器210、與存儲器214(例如D-RAM)進行通信的存儲器控制器212、相機接口216、相機緩沖器218、顯示驅(qū)動器220、顯示格式化器222、定時生成器226、顯示輸出接口228、以及顯示輸入接口230。

在一個實施例中，控制電路200的組件都通過專用線路或一個或多個總線彼此進行通信。在另一實施例中，控制電路200的各組件與處理器210通信。相機接口216提供到兩個朝向房間的相機112的接口，并且將從朝向房間的相機所接收到的圖像存儲在相機緩沖器218中。顯示驅(qū)動器220將驅(qū)動微顯示器120。顯示格式化器222向控制不透明濾光器114的不透明度控制電路224提供關(guān)于微顯示器120上所正顯示的虛擬圖像的信息。定時生成器226被用來為該系統(tǒng)提供定時數(shù)據(jù)。顯示輸出接口228是用于將圖像從朝向房間的相機112提供給處理單元4的緩沖器。顯示輸入接口230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖器。顯示輸出接口228和顯示輸入接口230與作為到處理單元4的接口的帶接口232通信。

電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動器236、音頻DAC和放大器238、話筒前置放大器和音頻ADC 240、溫度傳感器接口242、以及時鐘發(fā)生器244。電壓調(diào)節(jié)器234通過帶接口232從處理單元4接收電力，并將該電力提供給頭戴式顯示設備2的其他組件。每個眼睛跟蹤照明驅(qū)動器236都如上面所述的那樣為眼睛跟蹤照明134A提供IR光源。音頻DAC和放大器238向耳機130輸出音頻信息。麥克風前置放大器和音頻ADC 240提供用于麥克風110的接口。溫度傳感器接口242是用于溫度傳感器138的接口。電源管理電路202還向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能并從其接收回數(shù)據(jù)。

圖5是描述處理單元4的各種組件的框圖。圖5示出與電源管理電路306通信的控制電路304?？刂齐娐?04包括：中央處理單元(CPU)320、圖形處理單元(GPU)322、高速緩存324、RAM 326、與存儲器330(例如D-RAM)進行通信的存儲器控制器328、與閃存334(或其他類型的非易失性存儲)進行通信的閃存控制器332、通過帶接口302和帶接口232與頭戴式顯示設備2進行通信的顯示輸出緩沖器336、通過帶接口302和帶接口232與頭戴式顯示設備2進行通信的顯示輸入緩沖器338、與用于連接到話筒的外部話筒連接器342進行通信的話筒接口340、用于連接到無線通信設備346的PCI express接口、以及(一個或多個)USB端口348。在一個實施例中，無線通信設備346可包括啟用Wi-Fi的通信設備、藍牙通信設備、紅外通信設備等。USB端口可被用于將處理單元4對接到中樞計算系統(tǒng)12，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU 320和GPU 322是用于確定在何處、何時以及如何向用戶的視野內(nèi)插入虛擬三維對象的主要力量。以下提供更多的細節(jié)。

電源管理電路306包括時鐘發(fā)生器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進行通信的溫度傳感器接口372(其可能位于處理單元4的腕帶上)。模數(shù)轉(zhuǎn)換器362被用于監(jiān)視電池電壓、溫度傳感器，以及控制電池充電功能。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電力的電池368進行通信。電池充電器364被用來在從充電插孔370接收到電力時(通過電壓調(diào)節(jié)器366)對電池368進行充電。HMD電源376向頭戴式顯示設備2提供電力。

如在圖1C的討論中所指出的，在一個實施例中，計算兩個3D射線。第一3D射線基于用戶的頭部的定向。第二3D射線可以是第一3D射線的經(jīng)穩(wěn)定版本。而且，穩(wěn)定的量可與第一3D射線的運動的方差成反比。

圖6A-6C是用于幫助圖示在一個實施例中可如何按照與第一3D射線的方差成反比的方式穩(wěn)定交互射線66的圖。圖6A示出四個近期時間點t1-t4的第一3D射線660的示例。還描繪了同樣的四個時間點t1-t4的交互射線(第二3D射線)66。通常，可針對多得多的近期時間點確定方差。

第一3D射線660由更長的射線表示。注意，長度的差異僅能夠在第一和第二射線之間進行區(qū)別。此示例對應于對象繞z軸的旋轉(zhuǎn)。這導致3D向量在x-y平面中的運動分量。

當關(guān)于繞一軸的旋轉(zhuǎn)的角度的方差很高時，在一個實施例中，應用交互射線66的非常低的穩(wěn)定或不應用穩(wěn)定。在此示例中，繞z軸的旋轉(zhuǎn)角度的方差足夠高，以使得不向第一3D射線在x-y平面中的運動應用穩(wěn)定。從而，對于所述四個時間點中的每個時間點，交互射線66基本上是第一3D射線660的鏡像。例如，交互射線66緊密跟蹤第一3D射線660。

對于某些實施例，第一3D射線660的運動可被認為是繞z軸的。從而，至少對于某些情況，這可被認為是繞z軸穩(wěn)定3D射線的旋轉(zhuǎn)。注意，在一個實施例中，對于繞不同軸的旋轉(zhuǎn)分開地執(zhí)行穩(wěn)定。

圖6B和6C示出了其中繞一軸的旋轉(zhuǎn)角度的方差較低的示例。因此，交互射線66的穩(wěn)定的量較高。圖6B示出9個近期時間點的第一3D射線。圖6C示出了相同的9個時間點的交互射線66。箭頭的長度被用來表示不同時間點。每個圖中的最短的箭頭是針對t1的，而最長的箭頭是針對t9的。此示例對應于對象繞z軸的旋轉(zhuǎn)。在此示例中，第一3D射線660和交互射線66兩者的原點均在xyz坐標系的原點處。注意，對于圖6A的示例也可如此。

圖6B示出第一3D射線660首先稍微向右漂移并隨后向左漂移回來。即，首先存在繞z軸的一定的順時針旋轉(zhuǎn)，而接著存在繞z軸的一定的逆時針旋轉(zhuǎn)。然而，針對該近期時間點的繞z軸的旋轉(zhuǎn)角度的方差與圖6A的示例相比相對較低。

圖6C示出可由圖6B的低方差導致的第二3D射線或交互射線66。在此示例中，交互射線66中的穩(wěn)定結(jié)果是恒定的(箭頭的長度僅表示較晚的時間點)。從而，如果用戶的頭部向右略微移動并接著向左略微移動，則這可指示關(guān)于繞由其脊柱定義的軸(例如z軸)的旋轉(zhuǎn)的角度的小方差。應用高穩(wěn)定因子帶來了交互射線66的穩(wěn)定，盡管用戶的頭部存在一定的運動。因此，用戶對交互射線66具有更佳的控制。注意，圖6A-6C中的全部射線已在x-y平面中示出以簡化附圖。

圖7是用于基于歐拉角的方差確定不穩(wěn)定因子的一個實施例的流程圖。不穩(wěn)定因子可被用于控制交互射線66的移動。從而，不穩(wěn)定因子可被用于控制交互射線66跟蹤第一3D射線的緊密程度。該過程可針對所述歐拉角(諸如俯仰、滾轉(zhuǎn)或偏航)之一執(zhí)行。以下討論可應用于任何歐拉角。步驟701是訪問HMD傳感器數(shù)據(jù)。對此數(shù)據(jù)的使用在下面討論。

在步驟702，確定當前歐拉角。來自HMD 2的傳感器數(shù)據(jù)可被用于幫助確定歐拉角。如同上面提及的，一種可能是：通過定義用戶的面部的平面并且取垂直于該平面的向量來確定面部單位向量。參考圖1A的HMD坐標系，面部向量可被稱為x向量。而且，確定z方向和y方向上的頭部向量(或軸)是可能的。例如，y方向頭部向量可大致連接用戶的雙耳。例如，z方向頭部向量可大致在該人的頭部的中間開始并垂直于另外兩個頭部向量。存在其它可能性。這些頭部向量可根據(jù)從頭戴式顯示設備2上的相機112返回的相機圖像數(shù)據(jù)標識。特別而言，基于頭戴式顯示設備2上的相機112所看到的，相關(guān)聯(lián)的處理單元4能夠確定表示用戶的頭部定向的頭部向量。

注意，用戶的頭部的位置和定向還可或替代地通過如下方式來被確定：分析來自較早時間(要么在幀中較早，要么來自前一幀)的用戶的頭部的位置和定向，以及然后使用來自IMU 132的慣性信息來更新用戶的頭部的位置和定向。來自IMU 132的信息可以提供用戶的頭部的精確動力學數(shù)據(jù)，但是IMU典型地不提供關(guān)于用戶的頭部的絕對位置信息。此絕對位置信息(亦稱“地面真值”)可從自頭戴式顯示設備2上的相機獲得的主體用戶和/或自其它用戶的(諸)頭戴式顯示設備2的圖像數(shù)據(jù)提供。

歐拉角可參考基于HMD的坐標空間確定(參考圖1A、1B)。注意，基于HMD的坐標空間的原點可在該人頭部中某處。從而，歐拉角可表示頭部繞基于HMD的坐標空間的軸的旋轉(zhuǎn)。例如，這些角度可表示頭部繞x軸旋轉(zhuǎn)角度α、頭部繞y軸旋轉(zhuǎn)角度β，以及頭部繞z軸旋轉(zhuǎn)角度γ。注意，不要求所有角度被確定。

在步驟704，記錄當前歐拉角。注意，假定前面的時間的歐拉角在前面已被記錄。作為一個示例，可存儲上一秒的歐拉角。注意，步驟704可丟棄較舊的值，以使得僅最近期的歐拉角被記錄。取決于應用以及諸如可用的計算時間以及期望的精度等考慮，采樣率的范圍可以很大。

在步驟706，將當前歐拉角與已存儲值進行比較以確定在該近期時間段上歐拉角已改變或變化了多少。

在步驟708，表征歐拉角在該近期時間段上的方差。在一個實施例中，確定最大增量(delta)、最小增量、以及平均增量。最大增量是指當前歐拉角和已記錄值之一之間的最大差值。最小增量是指當前歐拉角和已記錄值之一之間的最小差值。平均增量是指當前歐拉角和每個已記錄值之間的平均差值。從而，方差可與當前歐拉角有關(guān)，但存在其它可能性。

可使用其它手段來表征在近期時間段上的歐拉角的方差。如上所述，歐拉角隨時間的方差可作為數(shù)學方差被計算。然而，在步驟708中使用的術(shù)語方差不限于方差的嚴格的數(shù)學定義。

在步驟710，確定歐拉角的不穩(wěn)定因子。如同上面討論的，不穩(wěn)定因子可以是針對記錄歐拉角的近期時間段的。在一個實施例中，不穩(wěn)定因子基于當前時間的歐拉角和在近期時間段上關(guān)于繞頭部的軸的旋轉(zhuǎn)的歐拉角之間的差值的平均均值。

在一個實施例中，步驟710計算來自步驟608的最大增量和最小增量之間的差值。這被稱為增量方差。接著根據(jù)等式1確定不穩(wěn)定(instability)因子。

Instability＝(DeltaVar*VarWeight)+(DeltaMean*MeanWeight) (1)

在等式1中，DeltaVar是指最大增量和最小增量之間的差值，而VarWeight是指加權(quán)因子。DeltaMean是指在步驟608中確定的平均增量，而MeanWeight是指加權(quán)因子。VarWeight和MeanWeight的適當值可根據(jù)經(jīng)驗確定。等式1的示例僅是許多可能性的一個示例。

存在圖7的過程的許多變種。在一個實施例中，按照以下方式修改步驟706：將歐拉角的固定值與已記錄值進行比較，而不是將歐拉角的當前值與近期時間段的已記錄值進行比較。

在確定不穩(wěn)定因子之后，可將不穩(wěn)定因子應用于交互射線66以穩(wěn)定交互射線。圖8是應用不穩(wěn)定因子以確定新交互射線66的過程的一個實施例的流程圖。步驟802為訪問3D射線的當前位置。這可包括第一3D射線的原點和方向。3D射線可以是具有位于例如基于HMD的坐標系的原點處的原點的3D向量。

步驟804為訪問交互射線66的較近期(或最后)位置。這可包括交互射線的原點和方向。交互射線66可具有與第一3D射線相同的原點，但不要求如此。交互射線66可以是具有位于例如基于HMD的坐標系的原點處的原點的3D向量。

步驟906為基于3D射線的當前位置和不穩(wěn)定因子來修改交互射線66的位置。在一個實施例中，系統(tǒng)基于歐拉角隨時間的方差來更改交互射線66跟蹤3D射線的緊密程度，跟蹤的緊密度與歐拉角的方差成反比。

在一個實施例中，該系統(tǒng)在不穩(wěn)定因子指示歐拉角相對穩(wěn)定時穩(wěn)定交互射線66，但是在不穩(wěn)定因子指示歐拉角相對不穩(wěn)定時允許交互射線66自由跟蹤3D射線。

圖9是其中基于用戶的頭部的旋轉(zhuǎn)的角度的方差來穩(wěn)定頭部光標的一個實施例的流程圖。

在步驟902，在HMD 2中呈現(xiàn)全息圖像。作為用于幫助圖示的一個示例，顯示報紙文章。在一個實施例中，全息圖像在現(xiàn)實世界中被保持不動以幫助用戶與該全息圖像交互。例如，使得全息圖像看上去是好像它在桌上或墻上。當然，如果期望，用戶可移動全息圖像。

在步驟904，跟蹤用戶的頭部關(guān)于一個或多個軸的旋轉(zhuǎn)。在一個實施例中，這些軸相對于頭部本身定義。作為示例，步驟904可包括跟蹤俯仰和偏航。在一個實施例中，z軸大致對應于穿過顱骨的、作為用戶的脊柱的延伸的直線。從而，繞z軸的旋轉(zhuǎn)對應于用戶旋轉(zhuǎn)其頭部，以使得用戶向左或向右看。這可被稱為偏航。

在一個實施例中，y軸大致對應于連接用戶的雙耳的直線。從而，繞y軸的旋轉(zhuǎn)對應于用戶上下移動其頭部，諸如點頭移動。這可被稱為俯仰。

還可能跟蹤繞x軸的旋轉(zhuǎn)。在此示例中，x軸可大致對應于交互射線66。在諸如光標等應用中，可能不需要跟蹤繞x軸的此旋轉(zhuǎn)。

在步驟904，可至少部分基于從頭戴式顯示設備2上的相機112返回的相機圖像數(shù)據(jù)確定用戶的頭部的位置和定向。

在步驟906，基于用戶的頭部的定向確定第一3D向量660。在一個實施例中，原點位于用戶雙眼中間的點處。該向量從用戶的面部在用戶所面向的方向上“直線向外”延伸。一種可能是這是前面提及的x軸。一種可能是定義用戶的面部的平面并投影與該面部平面垂直的直線。此面部平面可通過確定用戶的眼睛、鼻子、嘴、耳朵、或其他面部特征的位置來被標識?？筛鶕?jù)從頭戴式顯示設備2上的相機112返回的相機圖像數(shù)據(jù)來標識面部平面。

在步驟908，系統(tǒng)確定用戶的頭部繞所述軸中的一個或多個的旋轉(zhuǎn)的方差。

在步驟910，使用不穩(wěn)定因子來生成交互射線66。在一個實施例中，使用圖8的過程。從而，可通過穩(wěn)定第一3D向量660的運動來生成交互射線66。在一個實施例中，阻尼的量與用戶的頭部的旋轉(zhuǎn)的方差成反比?？舍槍γ總€軸應用獨立的穩(wěn)定量。作為一個示例，針對俯仰應用第一穩(wěn)定量并針對偏航應用第二穩(wěn)定量。

在步驟912，確定交互射線66相對于全息圖像60的位置。系統(tǒng)(例如HMD2)可確定或以其它方式訪問當前時間虛擬圖像中的所有元素的表面上的x、y和z位置。“表面上”的x、y和z位置的意思是圖像看上去在現(xiàn)實世界中所處的位置。系統(tǒng)可確定交互射線(例如，第二3D向量)66是否與虛擬圖像中的任何點相交。

在步驟914，系統(tǒng)確定是否接收到對交互射線66與之碰撞的元素的選擇。該選擇可以是語音命令等。

在步驟916，系統(tǒng)響應于該選擇采取某個動作。動作可以是對超鏈接的選擇、菜單選擇等的響應。系統(tǒng)可突出顯示所選元素。選擇可以是用戶操縱虛擬圖像上的虛擬控件來暫停、回放、快進所顯示的視頻、改變所顯示的視頻的音量或改變所顯示的視頻的內(nèi)容。還存在許多其它可能性。

圖9的過程的其它變種是可能的。例如，不是使交互射線66成為光標，交互射線66可以是指針。此指針可被用來指向現(xiàn)實世界中的對象而不是全息圖像中的元素。

注意，在前述示例中，俯仰、滾轉(zhuǎn)和偏航被使用。繞頭部的軸的旋轉(zhuǎn)可以是除了俯仰、滾轉(zhuǎn)或偏航之外的繞軸的旋轉(zhuǎn)。

在一個實施例中，針對頭部的平移提供穩(wěn)定。此穩(wěn)定可以是基于頭部的旋轉(zhuǎn)的穩(wěn)定的補充。頭部的平移可潛在地引起交互射線66方面的運動。一個示例是呼吸可能引起上下運動，該上下運動未必反應在繞軸的旋轉(zhuǎn)中。

圖10是其中針對用戶的頭部的平移的方差提供穩(wěn)定的一個實施例的流程圖。在一個實施例中，平移涉及基于HMD的坐標系的原點的移動。注意，當用戶的頭部平移時，HMD 2中的虛擬圖像未必移動。這種情況的一個可能的原因是虛擬圖像可能在現(xiàn)實世界中在位置上是固定的，諸如通過使其看上去在桌上或墻上。

在步驟1002，使用傳感器跟蹤頭部的平移。這可以基于HMD 2中的任何傳感器。注意，頭部的平移可引起第一3D射線660中的移動。作為一個示例，第一3D射線的原點可移動。移動第一3D射線的原點可引起整條射線移動類似的量。例如，取決于3D射線如何形成，當原點向上移動3厘米時，整3D射線可向上移動3厘米。然而存在各種可能性。

步驟1002可包括記錄基于HMD的坐標系的原點的位置的近期值。原點的位置進而可基于用戶的頭部的位置確定。在一個實施例中，用戶的頭部的位置通過確定HMD 2的3D位置確定。這可以基于HMD 2中的任何傳感器、甚至是HMD外的傳感器(諸如相機)。注意，可使用多于一個傳感器，諸如使用IMU來確定HMD 2的位置中的改變。

在步驟1004，確定頭部的平移的方差。在步驟1106，穩(wěn)定歸因于該平移的第一3D射線660的運動。在一個實施例中，穩(wěn)定可與頭部的平移的方差成反比。

步驟1006可包括僅基于對象的平移的方差確定穩(wěn)定因子?？舍槍Ρ环治龅娜魏屋S確定獨立的穩(wěn)定因子，如前所述。可將所有各個穩(wěn)定因子應用于交互射線66。

一般而言，可將穩(wěn)定因子的任何組合應用于交互射線66。圖11是示出穩(wěn)定因子的許多組合可被應用于交互射線66的流程圖。如果針對俯仰的方差的穩(wěn)定將被應用，則在步驟1102中確定并應用針對俯仰的方差的不穩(wěn)定因子。在一個實施例中，第一3D射線是具有原點(例如，在基于HMD的坐標系的原點處)的向量。第一3D射線可由關(guān)于例如基于HMD的坐標系的俯仰和偏航以及滾轉(zhuǎn)表征。第二3D射線也可以是具有原點(例如，在基于HMD的坐標系的原點處)的向量。第二3D射線也可由關(guān)于例如基于HMD的坐標系的俯仰、偏航以及滾轉(zhuǎn)表征。步驟1102可基于頭部的俯仰的方差來控制第二3D向量的俯仰跟蹤第一3D向量的俯仰的緊密程度。換言之，步驟1102可基于第一3D向量的俯仰的方差來控制第二3D向量的俯仰跟蹤第一3D向量的俯仰的緊密程度。

如果針對偏航的方差的穩(wěn)定將被應用，則在步驟1104中確定并應用針對偏航的方差的不穩(wěn)定因子。步驟1104可基于頭部的偏航的方差來控制第二3D向量的偏航跟蹤第一3D向量的偏航的緊密程度。換言之，步驟1104可基于第一3D向量的偏航的方差來控制第二3D向量的偏航跟蹤第一3D向量的偏航的緊密程度。

如果針對滾轉(zhuǎn)的方差的穩(wěn)定將被應用，則在步驟1106中確定并應用針對滾轉(zhuǎn)的方差的不穩(wěn)定因子。在一個實施例中，第一3D向量具有與其相關(guān)聯(lián)的滾轉(zhuǎn)分量。此滾轉(zhuǎn)分量是3D向量的原點和方向的補充。步驟1106可基于頭部的滾轉(zhuǎn)的方差來控制第二3D向量的滾轉(zhuǎn)跟蹤第一3D向量的滾轉(zhuǎn)的緊密程度。換言之，步驟1106可基于第一3D向量的滾轉(zhuǎn)的方差來控制第二3D向量的滾轉(zhuǎn)跟蹤第一3D向量的滾轉(zhuǎn)的緊密程度。

如果針對頭部的平移的方差的穩(wěn)定將被應用，則在步驟1108中確定并應用針對平移的方差的不穩(wěn)定因子。步驟1108可基于頭部的平移的方差來控制第二3D向量的原點跟蹤第一3D向量的原點的緊密程度。

在一個實施例中，應用步驟1102、1104或1106中的至少一者。在一個實施例中，應用步驟1102或1104中的至少一者。然而，步驟1102、1104、1106和1108的任何組合是可能的。

本文參考根據(jù)本公開的實施例的方法、裝置(系統(tǒng))和計算機程序產(chǎn)品的流程圖示、序列圖和/或框圖描述了本公開的各方面。要理解，流程圖示和/或框圖的每個框以及流程圖示和/或框圖中的框的組合可由計算機程序指令實現(xiàn)。類似地，序列圖中的每個箭頭同樣可由計算機程序指令實現(xiàn)。這些計算機程序指令可被提供給通用計算機(或計算設備)、專用計算機或其它可編程數(shù)據(jù)處理裝置的處理器以用以制造機器，從而經(jīng)由計算機或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的這些指令創(chuàng)建用于實現(xiàn)所述流程圖、序列圖和/或框圖的(諸)框中所指定的功能/動作的機構(gòu)。

存儲設備和工作存儲器是有形、非瞬態(tài)計算機或處理器可讀的存儲設備的示例。存儲設備包括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任意方法或技術(shù)來實現(xiàn)的易失性和非易失性、可移動和不可移動的設備。計算機存儲設備包括RAM、ROM、EEPROM、高速緩存、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲、記憶棒或卡、磁帶盒、磁帶、介質(zhì)驅(qū)動器、硬盤、磁盤存儲或其他磁性存儲設備、或能用于存儲所需信息且可以由計算機訪問的任何其他設備。計算機存儲設備部包括傳播信號。

一些實施例在本文中被描述為作為由處理器執(zhí)行的指令植入。替換地或附加地，本文描述的實施例可以至少部分由一個或多個硬件邏輯組件來執(zhí)行。例如、但非限制，可使用的硬件邏輯組件的說明性類型包括現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標準產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復雜可編程邏輯器件(CPLD)、等等。

本文公開的一個實施例包括裝置，所述裝置包括傳感器和邏輯，所述邏輯使用所述傳感器監(jiān)視人的頭部的定向，所述監(jiān)視包括監(jiān)視繞所述頭部的軸的旋轉(zhuǎn)，包括記錄關(guān)于繞所述頭部的所述軸的旋轉(zhuǎn)的歐拉角。所述邏輯基于頭部的定向確定三維(3D)射線。3D射線具有可隨時間精確跟蹤歐拉角的運動。所述邏輯生成交互射線，所述交互射線在一定程度上跟蹤所述3D射線。所述邏輯確定所述歐拉角在近期時間段上的方差。所述邏輯基于歐拉角在近期時間段上的方差來在盡管有繞頭部的軸的一定旋轉(zhuǎn)的情況下穩(wěn)定交互射線。穩(wěn)定的量可與歐拉角的方差成反比。所述邏輯確定所述交互射線與3D坐標的碰撞。

上一段的裝置可進一步包括近眼、透視顯示器。所述邏輯可在所述近眼、透視顯示器上呈現(xiàn)全息圖像，所述邏輯確定所述交互射線關(guān)于所述全息圖像的碰撞。

在前兩段中的任一段所述的裝置的一個實施例中，所述3D射線是源自所述頭部的第一3D向量，所述交互射線是源自所述頭部的第二3D向量。

在前三段中的任一段所述的裝置的一個實施例中，計算所述歐拉角在所述近期時間段上的不穩(wěn)定因子。所述不穩(wěn)定因子可以是當前時間的歐拉角和在所述近期時間段上的不同時間點關(guān)于繞所述頭部的所述軸的旋轉(zhuǎn)的歐拉角之間的差值的函數(shù)。所述邏輯基于所述不穩(wěn)定因子和所述3D射線的當前位置來修改所述交互射線。所述交互射線可在盡管存在所述頭部繞所述軸的一定運動但所述歐拉角在所述近期時間段上的方差為低時被穩(wěn)定。所述交互射線在所述歐拉角在所述近期時間段上的方差為高時緊密跟蹤所述3D射線。在一個實施例中，不穩(wěn)定因子基于當前時間的歐拉角和在近期時間段上關(guān)于繞頭部的軸的旋轉(zhuǎn)的各歐拉角之間的差值的平均均值。

在前面各段所述的裝置的一個實施例中，所述第一歐拉角跟蹤所述頭部的俯仰，而所述第二歐拉角跟蹤所述頭部的偏航。

在前面各段所述的裝置的一個實施例中，所述邏輯進一步跟蹤該人的頭部的平移。所述邏輯確定所述頭部的平移在所述近期時間段上的方差。所述邏輯可基于所述歐拉角在所述近期時間段上的方差以及所述頭部的平移在所述近期時間段上的方差來更改所述交互射線跟蹤所述3D射線的緊密程度。所述邏輯可基于所述頭部的平移在所述近期時間段上的方差來在盡管在所述近期時間段期間存在所述頭部的一定平移的情況下穩(wěn)定所述交互射線。

一個實施例包括包含以下的方法。使用傳感器跟蹤頭部定向，包括跟蹤繞頭部的軸的旋轉(zhuǎn)。記錄在近期時間間隔上繞所述頭部的所述軸的旋轉(zhuǎn)的角度的值。確定基于頭部的實際定向的第一三維(3D)射線。第一3D射線具有隨時間跟蹤頭部的實際定向的移動。所述第一3D射線具有與繞所述頭部的所述軸的旋轉(zhuǎn)的直接對應性。確定已記錄的角度在所述近期時間間隔上的方差。基于所述第一3D射線的實際位置和已記錄的角度在所述近期時間間隔上的方差來確定第二3D射線。這可包括將所述第二3D射線的運動穩(wěn)定到與所述方差成反比的程度。確定所述第二3D射線與3D坐標的碰撞。

一個實施例包括一種裝置，所述裝置包括傳感器；透視、近眼顯示器；其上存儲有指令的處理器可讀存儲；以及耦合到所述傳感器、所述處理器可讀存儲和所述透視、近眼顯示器的處理器。所述指令當在所述處理器上執(zhí)行時使得所述處理器進行以下操作。所述處理器在所述近眼、透視顯示器上呈現(xiàn)全息圖像。所述全息圖像可與所述透視、近眼顯示器的視野中的3D空間中的點相關(guān)聯(lián)。所述處理器訪問來自所述傳感器的數(shù)據(jù)。所述處理器使用所述傳感器數(shù)據(jù)跟蹤頭部定向，以及跟蹤所述頭部定向的俯仰和偏航。所處處理器確定俯仰隨時間的第一方差和偏航隨時間的第二方差。所述處理器基于所述頭部定向確定第一3D向量。所述第一3D向量具有在所述頭部上的一點處的原點。所述第一3D向量具有隨時間跟蹤所述頭部的俯仰和偏航的俯仰和偏航。所述處理器生成第二3D向量，所述第二3D向量具有跟蹤所述第一3D向量的俯仰和偏航。所述處理器基于所述頭部的俯仰中的第一方差和所述頭部的偏航中的第二方差來控制所述第二3D向量的俯仰和偏航跟蹤所述第一3D向量的俯仰和偏航的緊密程度。所述處理器與所述第一方差成正比地跟蹤所述第二3D向量的俯仰并與所述第一方差成反比地穩(wěn)定所述第二3D向量的俯仰。所述處理器與所述第二方差成正比地跟蹤所述第二3D向量的偏航并與所述第二方差成反比地穩(wěn)定所述第二3D向量的偏航。所述處理器確定所述第二3D向量與和所述全息圖像相關(guān)聯(lián)的3D點的碰撞。

通過在此章節(jié)提供等同描述，例如，通過聲明前面段落中描述的實施例也可與具體公開的替代實施例中的一個或多個相組合，也應當提供了對多項從屬權(quán)利要求的支持。

盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。本發(fā)明的范圍由所附的權(quán)利要求進行定義。