用于透明頭戴式顯示器的用戶接口交互的制作方法
【專利摘要】本發(fā)明的實(shí)施例針對(duì)于使得用戶能夠與由HMD顯示的圖形用戶接口GUI快速地交互。利用本文中提供的技術(shù)，可使用手或其它物體來選擇由所述HMD顯示的視覺元素。所述視覺元素可位于較大的有效區(qū)內(nèi)，從而允許所述用戶通過選擇視覺元素安置在其中的所述有效區(qū)來更容易地選擇所述視覺元素。
【專利說明】用于透明頭戴式顯示器的用戶接口交互

【背景技術(shù)】
[0001]透視頭戴式顯示器(HMD)可在用戶的視野內(nèi)提供透明的顯示區(qū)域，其中用戶可觀看用戶的周圍環(huán)境中的物理物體及顯示器上的虛擬物體兩者。舉例來說，一些HMD可通過使用與所述物理物體相關(guān)聯(lián)或與用戶的位置和/或背景相關(guān)聯(lián)的數(shù)字內(nèi)容(例如，文本、圖片和/或視頻)覆蓋用戶觀看的物理物體而提供“擴(kuò)增實(shí)境”功能性。對(duì)此類HMD的輸入通常受限于按鈕、觸摸墊或其它簡單的輸入裝置。這些輸入裝置可較大且低效。


【發(fā)明內(nèi)容】

[0002]本發(fā)明的實(shí)施例針對(duì)于使得用戶能夠使用手和/或其它物體與由頭戴式顯示器(HMD)顯示的圖形用戶接口(GUI)交互。利用本文中提供的技術(shù)，可使用手或其它物體來選擇由HMD顯示的視覺元素。所述視覺元素可位于較大的有效區(qū)內(nèi)，從而允許用戶通過選擇視覺元素安置在其中的有效區(qū)而更容易地選擇視覺元素。
[0003]根據(jù)本發(fā)明的在HMD中提供用戶接口的實(shí)例方法包含致使在所述HMD的透明顯示區(qū)域中顯示第一視覺元素。所述第一視覺元素可由所述HMD的用戶選擇。所述方法還包含:界定所述透明顯示區(qū)域的大于所述第一視覺元素的第一有效區(qū)，以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)；及跟蹤從所述用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體。所述方法進(jìn)一步包含:確定所述物理物體的至少一部分從用戶的視角來看顯現(xiàn)在所述第一有效區(qū)內(nèi)，從而指示對(duì)所述第一視覺元素的選擇；及使用處理單元基于所述選擇來操控所述用戶接口。
[0004]根據(jù)本發(fā)明的實(shí)例HMD包含:顯示器，其具有透明顯示區(qū)域；傳感器，其經(jīng)配置以提供關(guān)于所述HMD的用戶可通過所述透明顯示區(qū)域觀看的物體的數(shù)據(jù)；處理單元，其與所述顯示器及所述傳感器通信地耦合。所述處理單元經(jīng)配置以執(zhí)行多個(gè)功能，所述功能包含:致使所述顯示器在所述透明顯示區(qū)域中展示第一視覺元素，其中所述第一視覺元素可由所述用戶選擇；及界定所述透明顯示區(qū)域的第一有效區(qū)，以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)。所述處理單元進(jìn)一步經(jīng)配置以使用來自所述傳感器的所述數(shù)據(jù)來跟蹤從用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體。此外，所述處理單元還經(jīng)配置以:確定所述物理物體的至少一部分從用戶的視角來看顯現(xiàn)在所述第一有效區(qū)內(nèi)，從而指示對(duì)所述第一視覺元素的選擇；及基于所述選擇來操控在所述顯示器上顯示的一或多個(gè)元素。
[0005]根據(jù)本發(fā)明的實(shí)例計(jì)算機(jī)可讀存儲(chǔ)媒體編碼有用于致使HMD執(zhí)行多個(gè)功能的指令，所述功能包含:致使在所述HMD的透明顯示區(qū)域中顯示第一視覺元素，其中所述第一視覺元素可由所述HMD的用戶選擇；及界定所述透明顯示區(qū)域的大于所述第一視覺元素的第一有效區(qū)，以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)。所述指令還致使HMD:跟蹤從用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體；及確定所述物理物體的至少一部分從用戶的視角來看顯現(xiàn)在所述第一有效區(qū)內(nèi)，從而指示對(duì)所述第一視覺元素的選擇。所述指令進(jìn)一步致使HMD基于所述選擇而操控在所述透明顯示區(qū)域中顯示的一或多個(gè)元素。
[0006]根據(jù)本發(fā)明的實(shí)例設(shè)備包含用于致使在HMD的透明顯示區(qū)域中顯示第一視覺元素的裝置，其中所述第一視覺元素可由所述HMD的用戶選擇。所述設(shè)備還包含:用于界定所述透明顯示區(qū)域的第一有效區(qū)以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)的裝置；及用于跟蹤從所述用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體的裝置。所述設(shè)備進(jìn)一步包含:用于確定所述物理物體的至少一部分從用戶的視角來看顯現(xiàn)在所述第一有效區(qū)內(nèi)從而指示對(duì)所述第一視覺元素的選擇的裝置；及用于使用處理單元基于所述選擇來操控一或多個(gè)元素的裝置。
[0007]本文所述的項(xiàng)目及/或技術(shù)可提供以下能力中的一或多者以及未提及的其它能力。技術(shù)可通過在較大的有效區(qū)內(nèi)提供視覺元素而使得能夠容易地導(dǎo)覽GUI。此外，可使用額外的視覺元素及對(duì)應(yīng)的有效區(qū)(提供(例如)子菜單)來取代所選擇的視覺元素及對(duì)應(yīng)的有效區(qū)以用于進(jìn)一步交互。這些及其它實(shí)施例連同其許多優(yōu)點(diǎn)及特征會(huì)結(jié)合下文的文字及附圖進(jìn)行更詳細(xì)地描述。

【專利附圖】

【附圖說明】
[0008]參照以下各圖，可以實(shí)現(xiàn)對(duì)各種實(shí)施例的性質(zhì)及優(yōu)點(diǎn)的進(jìn)一步的理解。在附圖中，類似的組件或特征可以具有相同的參考標(biāo)記。此外，可通過在參考標(biāo)記之后跟著短劃線及在類似組件當(dāng)中進(jìn)行區(qū)分的第二標(biāo)記來區(qū)分相同類型的各種組件。如果在說明書中僅使用第一參考標(biāo)記，那么描述適用于具有相同第一參考標(biāo)記的類似組件中的任一者，而不管第二參考標(biāo)記如何。
[0009]圖1是根據(jù)一個(gè)實(shí)施例的物體跟蹤頭戴式顯示器(HMD)的簡化說明。
[0010]圖2是可利用本文中提供的技術(shù)的HMD的各種實(shí)施例的說明。
[0011]圖3說明根據(jù)一個(gè)實(shí)施例的從用戶的視角來看的穿過HMD的視圖。
[0012]圖4A到4E是根據(jù)一個(gè)實(shí)施例的展示對(duì)物理物體的跟蹤可如何使得用戶快速地導(dǎo)覽穿過HMD的用戶接口的一連串說明。
[0013]圖5A到5C說明圖形用戶接口(⑶I)可如何響應(yīng)于用戶交互的另一實(shí)施例。
[0014]圖6A到6B是演不根據(jù)一個(gè)實(shí)施例的有效區(qū)的布局的說明。
[0015]圖7A到7B是演示根據(jù)一個(gè)實(shí)施例的有效區(qū)的布局的說明。
[0016]圖8A到8C是演示根據(jù)一個(gè)實(shí)施例GUI可如何響應(yīng)于物體的檢測到的移動(dòng)的說明。
[0017]圖9是說明實(shí)現(xiàn)與HMD的用戶交互的方法的實(shí)施例的流程圖。
[0018]圖10是可并入到HMD中且/或與HMD通信地耦合的計(jì)算機(jī)系統(tǒng)的實(shí)施例的簡化框圖。

【具體實(shí)施方式】
[0019]參考圖式提供以下描述，其中相同的參考標(biāo)號(hào)始終用于指代相同的元件。雖然本文中描述一或多種技術(shù)的各種細(xì)節(jié)，但其它技術(shù)也是可能的。在一些情況下，以框圖形式展示結(jié)構(gòu)及裝置以有助于描述各種技術(shù)。
[0020]本發(fā)明的實(shí)施例針對(duì)于實(shí)現(xiàn)與頭戴式顯示器(HMD)的用戶交互。HMD是可向佩戴其的用戶顯示信息的裝置。此外，因?yàn)檫@些裝置佩戴在用戶的頭上，所以HMD可具有其它顯示器無法實(shí)現(xiàn)的能力。舉例來說，HMD可在用戶的視野內(nèi)提供透明顯示區(qū)域，其中用戶可觀看物理物體及顯示器上的虛擬物體兩者。一些實(shí)施例可通過使用與所述物理物體相關(guān)聯(lián)或與用戶的位置和/或背景相關(guān)聯(lián)的數(shù)字內(nèi)容(例如，文本、圖片和/或視頻)覆蓋用戶觀看的物理物體而提供“擴(kuò)增實(shí)境”功能性。本發(fā)明的實(shí)施例進(jìn)一步使得用戶能夠看到且/或操控物理物體以快速地在由HMD顯示的用戶接口(例如，圖形用戶接口或“GUI”)中選擇項(xiàng)目且/或執(zhí)行與所述用戶接口的其它交互。
[0021]雖然本文中提供的實(shí)例論述用于與HMD交互的單一物理物體(例如，手、手指等)，但本文中提供的技術(shù)可容易地允許用戶使用兩個(gè)或兩個(gè)以上個(gè)物理物體與由HMD顯示的用戶接口交互。此外，雖然本文中關(guān)于HMD來描述實(shí)施例，但所屬領(lǐng)域的技術(shù)人員將了解，可利用其它顯示器或其它形式的抬頭顯示器。舉例來說，本文中所描述的實(shí)施例可關(guān)于用戶可佩戴的一或多個(gè)隱形眼鏡來實(shí)施且/或可實(shí)施于用戶可通過其感知視野的另一形式的顯示器中。
[0022]圖1是根據(jù)一個(gè)實(shí)施例的經(jīng)配置以跟蹤用于用戶接口交互的物體的HMD 120的簡化說明100。在此實(shí)施例中，用戶110佩戴的HMD 120具有提供數(shù)據(jù)的相機(jī)和/或其它傳感器(例如，能夠感測光、熱、超音波、射頻(RF)信號(hào)等的傳感器)，可使用所述數(shù)據(jù)來跟蹤例如用戶的手130等物體。在這樣做時(shí)，HMD 120能夠操控由HMD 120顯示的⑶I，從而不需要用以接收用戶輸入的單獨(dú)接口(例如，觸摸墊、按鈕等)。甚至這樣可將其它接口并入到HMD 120中且或與HMD 120通信地耦合，這取決于所要的功能性。此外，在一些實(shí)施例中可省略一或多個(gè)元素的顯示和/或GUI的呈現(xiàn)。舉例來說，下文描述其中在接受來自用戶的輸入時(shí)不顯示視覺元素的實(shí)施例。此外，由用戶輸入引起或選擇的功能性在本質(zhì)上可見或不可見。為了執(zhí)行本文中所描述的功能，HMD120可并入計(jì)算機(jī)系統(tǒng)和/或與所述計(jì)算機(jī)系統(tǒng)通信，所述計(jì)算機(jī)系統(tǒng)例如為下文關(guān)于圖10所描述的計(jì)算機(jī)系統(tǒng)。
[0023]圖2是可利用本文中提供的技術(shù)的HMD 120的各種實(shí)施例的說明。所展示的實(shí)施例包含顯示器220及一或多個(gè)相機(jī)210。這些實(shí)施例包含在用戶的眼睛前方定位顯示器220的類似于可擱置在用戶的鼻子及耳朵上的眼鏡的框架。
[0024]顯示器220的至少一部分是透明的，從而提供透明顯示區(qū)域，所述透明顯示區(qū)域使得用戶能夠不僅觀看在顯示器220上展示的視覺元素，并且能夠觀看用戶的周圍環(huán)境中的物理物體。在顯示器220上展示的視覺元素的透明度的水平可變化，這取決于顯示器220的所要的功能性、在顯示器220上展示的⑶I的設(shè)定和/或由HMD 120執(zhí)行的軟件應(yīng)用(例如，視頻、地圖、因特網(wǎng)瀏覽器等)。雖然圖2中展示的實(shí)施例說明定位在類似于眼鏡的框架中的顯示器220，但在其它實(shí)施例中可利用能夠提供透明顯示區(qū)域的其它技術(shù)(例如，視網(wǎng)膜投影儀、隱形眼鏡或其它光學(xué)系統(tǒng))。
[0025]面朝外的相機(jī)210可俘獲用戶的周圍環(huán)境的圖像，包含可由用戶110控制以將輸入提供給HMD 120的用戶的手130和/或其它物體。如圖2中所指示，所述相機(jī)可為RGB (紅色、綠色、藍(lán)色)和/或RGBD (紅色、綠色、藍(lán)色加深度)相機(jī)，但其它實(shí)施例可包含將圖像和/或其它信息提供給處理單元的其它類型的相機(jī)和/或傳感器，其使得HMD 120能夠跟蹤用戶的前方的物理物體。在一個(gè)實(shí)施例中，舉例來說，HMD 120可利用單一 RGB相機(jī)210來跟蹤物理物體的垂直及水平位置。其它實(shí)施例也可使用能夠確定深度(例如，飛行時(shí)間測距相機(jī))的多個(gè)相機(jī)210和/或相機(jī)210以跟蹤物理物體的深度。相機(jī)210可具有一視野，其使得HMD 120能夠跟蹤從用戶的視角來看顯現(xiàn)在透明顯示區(qū)域內(nèi)的物理物體。在從用戶110的視角來看所述物理物體不在透明顯示區(qū)域內(nèi)時(shí)，實(shí)施例可切換到低功率模式。在一些實(shí)施例中，相機(jī)210可具有比透明顯示區(qū)域?qū)挼囊曇耙栽试SHMD 120在HMD 120確定物理物體正接近透明顯示區(qū)域(從用戶110的視角來看)時(shí)開始執(zhí)行和/或按比例增加物體跟蹤算法。
[0026]圖3說明從用戶110的視角來看通過顯示器220所得的視圖300。如上文所指示，透明顯示區(qū)域310可使得用戶110能夠看到透明顯示區(qū)域310中展示的視覺元素以及用戶的周圍環(huán)境中的物理物體兩者。在圖3的實(shí)例視圖300中，舉例來說，用戶能夠觀看指示日期和時(shí)間以及用戶的手130的所顯示的視覺元素330。
[0027]HMD 120可執(zhí)行從相機(jī)210接收?qǐng)D像且跟蹤某些辨識(shí)出的物體的跟蹤算法。此外，相機(jī)210及跟蹤算法可經(jīng)校準(zhǔn)以在從用戶110的視角來看物理物體顯現(xiàn)在透明顯示區(qū)域310中時(shí)確定所述物理物體上的跟蹤點(diǎn)320的位置。在圖3中展示的視圖300中，此跟蹤點(diǎn)320對(duì)應(yīng)于用戶的手130的指尖。對(duì)物理物體(例如，用戶的手130)的操控及跟蹤點(diǎn)320的對(duì)應(yīng)移動(dòng)可使得用戶110能夠與透明顯示區(qū)域310中展示的GUI和/或其它視覺元素交互?？勺⒁獾?，跟蹤點(diǎn)320可在透明顯示區(qū)域310中突出顯示或可不突出顯示，這取決于所要的功能性。
[0028]多種物體中的任一者可用于允許用戶與GUI交互，所述物體例如為用戶的手、專門的設(shè)備和/或可由HMD辨識(shí)的任何其它物體。HMD的用戶設(shè)定可允許用戶指定用于GUI交互的物體。如下文更詳細(xì)地解釋，物體跟蹤可利用多種視覺跟蹤方法中的任一者，其可涉及確定物體的各種特性，例如形狀、色彩和/或移動(dòng)。在一些實(shí)施例中，可利用深度濾波來幫助確保針對(duì)GUI交互而跟蹤的物體是由用戶控制的。因此，在HMD確定物體在距HMD閾值距離內(nèi)之后，HMD將允許GUI交互。用于作出此確定的裝置可包含與能夠確定距離的傳感器(例如，相機(jī)(例如，立體相機(jī)、depth相機(jī)等)、接近度傳感器等)耦合的處理單元。
[0029]圖4A到4E是展示對(duì)物理物體的跟蹤可如何使得用戶能夠快速地導(dǎo)覽穿過HMD120的⑶I的一連串說明。圖4A說明具有默認(rèn)視覺元素330(例如，日期和時(shí)間)的透明顯示區(qū)域310，在⑶I和/或另一應(yīng)用不活動(dòng)時(shí)HMD 120可顯示所述默認(rèn)視覺元素。雖然在圖4A到4E中未展示，但可通過透明顯示區(qū)域310觀看用戶的周圍環(huán)境中的物體。
[0030]在圖4B中，HMD 120辨識(shí)用于⑶I交互的物理物體且建立跟蹤點(diǎn)320。如先前論述，跟蹤點(diǎn)320可或可不在透明顯示區(qū)域310中突出顯示(或以其它方式指示)。所述物理物體可為可由HMD 120辨識(shí)及跟蹤的任何物理物體(例如，身體部分、指向裝置)。一些實(shí)施例可允許用戶110指定哪一物理物體可用于與HMD的GUI交互。
[0031]在一些實(shí)施例中，HMD 120可不建立跟蹤點(diǎn)320且/或喚醒HMD 120的⑶I來用于用戶交互(例如，顯示第一組視覺元素和/或選項(xiàng))，直到出現(xiàn)觸發(fā)事件為止。此可幫助防止與GUI的非故意的用戶交互。在一些實(shí)施例中，所述觸發(fā)事件可為物體擺出某一姿勢，例如指針手指伸展的手(如圖4B中所示)。在其它實(shí)施例中，所述觸發(fā)事件可為所辨識(shí)的物理物體顯現(xiàn)在透明顯示區(qū)域310中達(dá)至少閾值時(shí)間量。一些實(shí)施例可需要兩者。舉例來說，HMD 120可在確定用戶的手具有在約定姿勢中伸展的指針手指且從用戶的視角來看已位于透明顯示區(qū)域310的視野內(nèi)達(dá)至少2秒之后而激活⑶I以用于用戶交互。其它實(shí)施例可在大于或小于2秒的時(shí)間周期之后激活GUI，這取決于所要的功能性。在一些實(shí)施例中，所述觸發(fā)事件包含用戶的手和/或手指位于顯示區(qū)域310的特定或預(yù)定部分中，例如在顯示區(qū)域310邊緣附近或具體來說在拐角附近?？衫酶鞣N其它觸發(fā)事件。
[0032]在圖4C中，HMD 120的⑶I顯示對(duì)應(yīng)于用戶110可從其進(jìn)行選擇的選項(xiàng)的一組視覺元素410。每一視覺元素可與相應(yīng)的有效區(qū)420相關(guān)聯(lián)和/或被所述有效區(qū)包圍。在一些實(shí)施例中，元素410和/或區(qū)420可在相對(duì)于用戶的虛擬平面中顯示。有效區(qū)420允許用戶通過將跟蹤點(diǎn)320移動(dòng)到相應(yīng)的有效區(qū)420來選擇對(duì)應(yīng)于視覺元素的選項(xiàng)。取決于視覺元素410的放置及有效區(qū)420的所要的大小及形狀，有效區(qū)的一或多個(gè)邊界可延伸到透明顯示區(qū)域310的邊緣。此外，用戶可以更容易地來回移動(dòng)他的手以便指定要選擇的元件，而不是必須將他的手或手指放置在更靠近顯示區(qū)域310的底部或頂部的特定位置中。此外，可常常甚至在用戶在行走或用戶的手不穩(wěn)定時(shí)使用所述選擇區(qū)域，這是因?yàn)樵谝恍?shí)施例中，選擇區(qū)420所需的精度可小于選擇元素410所需的精度。在一些實(shí)施例中，識(shí)別用戶的手在區(qū)420的任何部分中與觸摸特定元素410相比可使用較少的處理功率和/或等待時(shí)間和/或具有較低分辨率的圖像。在一些實(shí)施例中，視覺元素410不是在大致一致的垂直高度處顯示，如圖4C及4D中所說明。舉例來說，元素410中的一或多者可在垂直放置上變化，同時(shí)仍位于大體上柱狀的相應(yīng)區(qū)420內(nèi)。
[0033]雖然有效區(qū)420可呈現(xiàn)各種形狀及大小，但柱可特別有助于促進(jìn)容易的⑶I交互。這是因?yàn)椋趯⑼该黠@示區(qū)域310分割為柱時(shí)，視覺元素410可位于透明顯示區(qū)域310的垂直中央位置處，其允許用戶容易地看到視覺元素410。另外，因?yàn)橛脩舻氖謱⒑芸赡軓牡撞窟吘夁M(jìn)入透明顯示區(qū)域310，所以柱狀的有效區(qū)420可促進(jìn)選擇，這是因?yàn)樗鼈兛沙蛲该黠@示區(qū)域310的底部邊緣朝下延伸。在一些配置中，柱狀的有效區(qū)420可全部延伸到底部邊緣。
[0034]展示有效區(qū)域的方式可變化，這取決于實(shí)施例，所述方式可由一或多個(gè)用戶設(shè)定確定。舉例來說，一些實(shí)施例可允許一次展示所有有效區(qū)420。也就是說，展示(例如，突出顯示、具有可見邊界等)每一視覺元素410的有效區(qū)420。在其它實(shí)施例中，可不展示特定的有效區(qū)420，直到跟蹤點(diǎn)320進(jìn)入所述區(qū)為止(例如，如圖4C及4D中展示)。在一些實(shí)施例中，可完全不展示區(qū)420，而是用于確定用戶選擇。
[0035]圖4D展示如何作出此選擇。如所說明，用戶可移動(dòng)物體以使得從用戶的視角來看跟蹤點(diǎn)320位于標(biāo)記為“I”的視覺元素定位在其中的有效區(qū)420-1內(nèi)。用戶可以各種方式指示對(duì)對(duì)應(yīng)的視覺元素的選擇，例如簡單地將跟蹤點(diǎn)320保持在有效區(qū)420-1內(nèi)達(dá)閾值時(shí)間量、將物理物體擺出“選擇”姿勢(例如，合起拳頭、將指針手指向后拖等)，及類似者。在此類實(shí)施例中，HMD可顯示指示跟蹤點(diǎn)320位于有效區(qū)內(nèi)的時(shí)長的圖標(biāo)，例如進(jìn)度條、計(jì)數(shù)器、沙漏或其類似者。此外，在其中HMD 120能夠跟蹤物體的深度的實(shí)施例中，可通過在朝向或遠(yuǎn)離用戶的方向上移動(dòng)物理物體(例如，作出“推動(dòng)”和/或“拉動(dòng)”運(yùn)動(dòng))來作出選擇。取決于所要的功能性，用戶可通過(例如)用戶偏好菜單來確定選擇方法。
[0036]圖4E展示在作出選擇時(shí)⑶I可如何顯示第二組視覺元素430?？娠@示多種視覺元素中的任一者，這取決于HMD 120的功能性及所選擇的選項(xiàng)。舉例來說，HMD 120可包含GUI，所述GUI使得用戶能夠?qū)в[穿過多種文件夾、菜單屏幕和/或其它選擇屏幕以選擇廣泛多種特征和/或應(yīng)用中的任一者。所述應(yīng)用可包含(例如)音頻播放器、視頻播放器、導(dǎo)航程序、相機(jī)/攝錄影機(jī)程序、擴(kuò)增實(shí)境應(yīng)用、因特網(wǎng)瀏覽器及類似者。此外，HMD 120可包含其它輸入裝置，例如麥克風(fēng)、觸摸墊、鍵盤等，其可允許用戶進(jìn)一步與由HMD 120執(zhí)行及在透明顯示區(qū)域310中展示的⑶I和/或應(yīng)用交互。
[0037]圖5A到5C說明⑶I可如何響應(yīng)于用戶交互的替代實(shí)施例。在圖5A中，與圖4C到4D —樣，可向用戶提供若干可選擇的視覺元素410。然而，此處，在用戶選擇第一視覺元素“I”(例如，通過將他的或她的手定位到第一有效區(qū)420-1中達(dá)一定時(shí)間周期)之后，視覺元素“I”被額外的視覺元素“l(fā)a”及“l(fā)b”取代，如圖5B中所示。這些額外的視覺元素可表示將另一層深度提供給GUI的菜單的子菜單項(xiàng)目。額外的視覺元素“l(fā)a”及“l(fā)b”分別具有對(duì)應(yīng)的有效區(qū)420-a及420-b，用戶可通過所述有效區(qū)選擇視覺元素“l(fā)a”及“l(fā)b”。雖然在圖5B及5C中僅展示兩個(gè)視覺元素來取代圖5A的視覺元素“1”，但可使用任何數(shù)目的視覺元素410 (使用對(duì)應(yīng)數(shù)目的有效區(qū)420)。此數(shù)目可取決于所選擇的視覺元素410、所要的功能性和/或其它因素。一些視覺元素410可完全不引起額外的視覺元素，而是引起應(yīng)用和/或其它功能性。
[0038]圖5C展示圖5B的任選的變化，其說明較大的視覺元素“l(fā)a”及“l(fā)b”。實(shí)際上，不同的實(shí)施例可具有比所述圖的實(shí)施例所展示的視覺元素更大或更小的視覺元素410。此外，雖然一些視覺元素410可占據(jù)其相應(yīng)的有效區(qū)420的僅小部分，但其它視覺元素410可占據(jù)其相應(yīng)的有效區(qū)420的全部或幾乎全部。此外，雖然圖5B及5C在與視覺元素“I”的有效區(qū)420-1相同的寬度的有效區(qū)420-a及420_b內(nèi)展示視覺元素“l(fā)a”及“l(fā)b”，但實(shí)施例不限于此。舉例來說，為了允許菜單選擇中的較低精度，視覺元素“l(fā)a”及“l(fā)b”和/或?qū)?yīng)的有效區(qū)420-a及420-b可部分或完全跨越顯示器水平地延伸。
[0039]作為其中視覺元素410可被多個(gè)視覺元素取代的GUI的一實(shí)例，最高級(jí)菜單可包含若干視覺元素410，如圖5A中所示，其表示HMD的不同功能，例如多媒體、因特網(wǎng)搜索、導(dǎo)航、網(wǎng)絡(luò)瀏覽器及類似者，其中每一視覺元素410定位在柱狀有效區(qū)420內(nèi)。如果用戶選擇網(wǎng)絡(luò)瀏覽器視覺元素，那么可引起網(wǎng)絡(luò)瀏覽器應(yīng)用。然而，如果用戶選擇多媒體視覺元素，那么多媒體視覺元素定位在其中的柱狀有效區(qū)可分裂為多個(gè)有效區(qū)，每一有效區(qū)具有其自身的表示一類型的多媒體的視覺元素，例如視頻及音樂。此外，這些額外視覺元素中的每一者(及相應(yīng)的有效區(qū))可甚至以類似方式進(jìn)一步分裂為多種類型的視頻或音樂(例如，流派、播放列表、電影、電視節(jié)目等)，以使得存在多個(gè)層級(jí)的子菜單。因?yàn)槊恳蛔硬藛慰尚枰~外水平的準(zhǔn)確度，所以子菜單層級(jí)的量可取決于所選擇的選項(xiàng)和/或所要的功能性。舉例來說，因?yàn)轭A(yù)期電影比音樂需要更多的來自用戶的關(guān)注，所以電影可比音樂具有更多的子菜單層級(jí)(其可需要更多的準(zhǔn)確度進(jìn)行選擇)。此外，子菜單的層級(jí)可在垂直與水平對(duì)準(zhǔn)之間切換。舉例來說，如果用戶選擇視覺元素“l(fā)b”且存在與Ib相關(guān)聯(lián)的子菜單項(xiàng)目，那么這些子菜單項(xiàng)目可再次水平地分布(類似于圖5A)，以此類推。
[0040]當(dāng)然，提供圖5A到5C中所說明的功能性以作為用戶可如何快速地導(dǎo)覽穿過菜單及子菜單選項(xiàng)而不從顯示移除未選的視覺元素410的一實(shí)例?；蛘?，對(duì)視覺元素410的選擇可引起表示完全取代原始菜單的子菜單的一組新的視覺元素410。
[0041]雖然有效區(qū)420已經(jīng)在本文中被說明為透明顯示區(qū)域310的柱，但實(shí)施例不限于此。圖6A到7B說明有效區(qū)420可如何依據(jù)視覺元素410的布局而變化。圖6A及6B (例如)說明有效區(qū)420可如何定位在透明顯示區(qū)域310的上部、下部、左邊及右邊象限中。對(duì)視覺元素的選擇可類似于先前描述的實(shí)施例。其它實(shí)施例可具有更多的視覺元素410或更少的視覺元素410，其可不同地定位(例如，以柵格、圓圈或其它方式)。在此類實(shí)施例中，有效區(qū)經(jīng)定位以對(duì)應(yīng)地包圍視覺元素410。此外，實(shí)施例可包含有效區(qū)420之間的可不與任何視覺元素410對(duì)應(yīng)或致使作出選擇的空間，其可使視覺元素選擇更容易。
[0042]圖7A及7B說明透明顯示區(qū)域310的邊緣處或附近的有效區(qū)420可如何與某些功能相關(guān)聯(lián)以用于導(dǎo)覽用戶接口，例如“后退”、“前進(jìn)”、“上翻”和/或“下翻”。此處，有效區(qū)420可不對(duì)應(yīng)于所顯示的視覺元素410 (未圖示)。在一些實(shí)施例中，后退、前進(jìn)、上翻和/或下翻標(biāo)記中的一或多者可不在透明顯示區(qū)域310中展示。舉例來說，在其中不存在寫入或標(biāo)記的一些實(shí)施例中，圖6B中的上部區(qū)420可對(duì)應(yīng)于上翻命令?？衫脤⒏鞣N有效區(qū)420關(guān)聯(lián)到不同的導(dǎo)航功能和/或其它命令的眾多其它配置。
[0043]除了跟蹤跟蹤點(diǎn)320的位置之外，HMD 120可進(jìn)一步經(jīng)配置以跟蹤跟蹤點(diǎn)320的運(yùn)動(dòng)。此類功能性可使得用戶110能夠利用某些運(yùn)動(dòng)，例如“滑動(dòng)”、“翻轉(zhuǎn)”及類似者。此可使得用戶能夠以比僅通過位置跟蹤進(jìn)行導(dǎo)覽更高的效率導(dǎo)覽穿過菜單項(xiàng)目和/或其它內(nèi)容。圖8A到8C說明此實(shí)施例。
[0044]在圖8A中，用戶可通過(例如)使用整個(gè)手或僅使用一或多根手指選擇視覺元素410且在某一方向上“滑動(dòng)”來移動(dòng)一或多個(gè)視覺元素410，在此情況下，HMD 120致使視覺元素410在所滑動(dòng)的方向上對(duì)應(yīng)地移動(dòng)，如圖8B中所示。任選地，用戶可簡單地在對(duì)應(yīng)于視覺元素410的有效區(qū)420中的任何地方滑動(dòng)。如所說明，另一視覺元素410也可對(duì)應(yīng)地移動(dòng)，從而允許用戶容易地滾動(dòng)穿過多個(gè)視覺元素410。雖然圖8A到SC展示用戶將所有視覺元素410向左移動(dòng)一個(gè)位置(即，將視覺元素“I”到“5”移動(dòng)到左邊一個(gè)位置以展示視覺元素“2”到“6”)，但滑動(dòng)可導(dǎo)致視覺元素410的更大的移動(dòng)，這取決于滑動(dòng)的速度、運(yùn)動(dòng)和/或其它特性。此外，在一些實(shí)施例中，滑動(dòng)可在屏幕的任何區(qū)域中進(jìn)行，其可影響功能性。舉例來說，用戶可在所顯示的視覺元素410下方滑動(dòng)以向HMD 120指示用戶想要滾動(dòng)穿過視覺元素410而不是選擇其中的一者。在其中用戶將手指放置在視覺元素410 (或有效區(qū)420)上且隨后滑動(dòng)的實(shí)施例中，激活滑動(dòng)/滾動(dòng)的時(shí)間(保持手指靜止)可小于選擇視覺元素410的時(shí)間(保持手指靜止)。
[0045]這些⑶I交互技術(shù)可擴(kuò)展到擴(kuò)增實(shí)境情形，其使得用戶能夠與和物理物體相關(guān)的一段擴(kuò)增實(shí)境內(nèi)容交互。此擴(kuò)增實(shí)境情形可在HMD 120使用相機(jī)210和/或其它傳感器識(shí)別物理位置、物體、表面、紋理、圖像等時(shí)出現(xiàn)。HMD 120可隨后分析所述物理位置、物體、表面、紋理、圖像等且將其與擴(kuò)增實(shí)境和/或視覺搜索應(yīng)用中的本地或在線數(shù)據(jù)庫進(jìn)行比較。所述分析可返回HMD 120顯示的數(shù)字內(nèi)容以使得其從用戶的視角來看顯現(xiàn)在所識(shí)別的位置、物體、表面、紋理、圖像等的物理附近。在一些實(shí)施例中，所述數(shù)字內(nèi)容看似錨定到所識(shí)別的對(duì)象、表面等或在其上顯示。所述數(shù)字內(nèi)容可具有被屏幕的有效區(qū)包圍的交互式元素或包含所述有效區(qū)，從而使得用戶能夠與所顯示的數(shù)字內(nèi)容交互。舉例來說，數(shù)字內(nèi)容可包含表示“按我可獲得更多信息”的按鈕。在一些實(shí)施例中，可在所述按鈕周圍界定有效區(qū)以便在超出所述按鈕的區(qū)中延伸和/或從所述按鈕大體上延伸到HMD 120的顯示器的邊緣，其類似于上述實(shí)施例中的某些實(shí)施例。在一些實(shí)施例中，按鈕和/或有效區(qū)看似錨定到所述有效區(qū)和/或按鈕與其相關(guān)聯(lián)的物體、表面等或在其上顯示。
[0046]HMD 120可跟蹤用戶的手(或其它物體)，從而使得用戶能夠與數(shù)字內(nèi)容的任何交互式元素交互。舉例來說，用戶可以各種方式中的一或多者來選擇所述交互式元素，例如通過移動(dòng)用戶的手指位置以使得其與交互式元素重疊(從用戶的視角來看)、擺出“選擇”姿勢、執(zhí)行預(yù)定的移動(dòng)和/或?qū)⑹种?或其它物體)保持在所述元素的附近達(dá)閾值時(shí)間量。在辨識(shí)對(duì)交互式元素的選擇之后，HMD 120可更改數(shù)字內(nèi)容的再現(xiàn)和/或發(fā)起第二組數(shù)字內(nèi)容。取決于所要的功能性，第二組數(shù)字內(nèi)容也可錨定到所識(shí)別的物理位置、物體、表面、紋理、圖像等(從用戶的視角來看)。
[0047]此擴(kuò)增實(shí)境功能性可在無數(shù)情形中使用以使得用戶能夠了解關(guān)于用戶的周圍環(huán)境的更多內(nèi)容。舉例來說，如果HMD 120辨識(shí)出用戶的視野內(nèi)的電影海報(bào)，那么虛擬的“播放預(yù)告片”按鈕可顯現(xiàn)在HMD的顯示器中，其可使用手指按壓來激活。在另一實(shí)例中，用戶可使用手的撥動(dòng)來旋轉(zhuǎn)擴(kuò)增到雜志封面上的虛擬3D模型。在又另一實(shí)例中，用戶可查看廣告牌且被展示與物理廣告牌對(duì)準(zhǔn)的媒體回放。預(yù)期無數(shù)其它情形。因此，除了導(dǎo)覽錨定到透明顯示器的2D GUI之外，本文中提供的技術(shù)可擴(kuò)展到其它擴(kuò)增實(shí)境情形，從而實(shí)現(xiàn)與從用戶的視角來看可錨定到物理世界的數(shù)字內(nèi)容的元素的交互。因?yàn)檫@些交互式元素被限制到用戶的周圍環(huán)境中的物理物體，所以HMD的顯示器上的對(duì)應(yīng)的有效區(qū)可相對(duì)于物理物體相對(duì)于用戶的觀點(diǎn)的位置而移動(dòng)及縮放。
[0048]圖9是說明實(shí)現(xiàn)與HMD的用戶交互的方法900的實(shí)施例的流程圖。方法900的不同方面可由如本文所描述的HMD和/或由控制HMD的裝置執(zhí)行。因此，用于執(zhí)行方法900的每一步驟的裝置可包含硬件和/或軟件組件，例如處理單元、存儲(chǔ)器、透明顯示區(qū)域、相機(jī)、軟件應(yīng)用、操作系統(tǒng)和/或HMD中所包含的和/或與HMD通信地耦合的其它組件。在圖10中說明且在下文更詳細(xì)地描述HMD或經(jīng)配置以控制HMD的裝置的硬件及軟件方面的實(shí)施例。
[0049]在框905處，在HMD的透明顯示區(qū)域中顯示視覺元素。如上文所指示，所述透明顯示區(qū)域可為經(jīng)配置以允許用戶觀看顯示器上展示的視覺元素以及用戶的周圍環(huán)境中的物理物體的HMD的顯示器和/或顯示裝置的至少一部分。在一些實(shí)施例中，例如在利用視網(wǎng)膜投影儀的實(shí)施例中，所述透明顯示區(qū)域可為用戶的視野內(nèi)的可能不一定對(duì)應(yīng)于物理顯示器或屏幕上的區(qū)域的區(qū)域。所述視覺元素可(例如)為作為HMD的GUI的一部分而顯示的視覺元素。用于執(zhí)行框905的功能性的裝置可包含操作系統(tǒng)、軟件應(yīng)用、處理器、顯示器和/或如下文關(guān)于圖10所描述的其它裝置。
[0050]此處可注意到，在視覺元素顯示于HMD的透明顯示區(qū)域中之前，HMD (和/或與其通信地耦合的裝置)可從(例如)從應(yīng)用、數(shù)據(jù)庫、應(yīng)用編程接口(API)及類似者獲得的預(yù)定義用戶菜單確定要顯示的一組可選擇視覺元素。HMD還可確定視覺元素的布局(例如，利用柱、象限等)，其可基于多種因素(例如，應(yīng)用類型、視覺元素的數(shù)目、用戶設(shè)定及類似者)中的任一者。在一些實(shí)施例中，可基于一或多個(gè)用戶設(shè)定(例如，用戶對(duì)柱而不是象限的偏好或設(shè)定)來確定布局，且隨后所述組視覺項(xiàng)目布置在顯示器上以使得可利用所確定的布局。在其它實(shí)施例中，可自動(dòng)基于所述組中的視覺元素的類型、顯示性質(zhì)或數(shù)量來確定布局。在一些實(shí)施例中，可自動(dòng)基于用戶的視野來確定布局，(例如)以便使向用戶顯不的視覺元素的可見度最大化。
[0051]在框910處，界定透明顯示區(qū)域內(nèi)的有效區(qū)以使得視覺元素安置在所述有效區(qū)的一部分內(nèi)。所述有效區(qū)可為(例如)包圍在透明顯示區(qū)域上展示的用戶可選擇的視覺元素的區(qū)。所述有效區(qū)自身可或可不在透明顯示區(qū)域中突出顯示和/或以其它方式指示。界定所述有效區(qū)可(例如)由可為并入到HMD中和/或與HMD通信地耦合的計(jì)算系統(tǒng)的一部分的處理單元、存儲(chǔ)器和/或其它計(jì)算裝置執(zhí)行。可在多個(gè)配置中的任一者中界定所述有效區(qū)。舉例來說，在一些實(shí)施例中可將顯示器細(xì)分(例如，如圖4-7B中所示)為大體上占據(jù)整個(gè)顯示器或視野的多個(gè)區(qū)。在這些實(shí)施例中，所述有效區(qū)在形狀和/或大小上可為大體上一致的，或可變化。可將所述有效區(qū)界定為從圖標(biāo)或其它顯示元素(例如)大體上延伸到屏幕的邊緣(例如，如圖4-7B中所示)。用于執(zhí)行框910的功能性的裝置可包含操作系統(tǒng)、軟件應(yīng)用、處理器、顯示器和/或如下文關(guān)于圖10所描述的其它裝置。
[0052]如先前論述，所述有效區(qū)可為柱、行或其它形狀?？蓪⒂行^(qū)表征為包含其中不顯示所關(guān)注的物體的區(qū)域的區(qū)(例如，所述有效區(qū)可包圍其中不顯示視覺元素的區(qū)域)。在此類實(shí)施例中，可相對(duì)于圖標(biāo)或其它視覺元素界定有效區(qū)，或可單獨(dú)地界定。在其中相對(duì)于圖標(biāo)或其它視覺元素界定有效區(qū)的實(shí)施例中，可將所述有效區(qū)界定為包圍大體上大于所述圖標(biāo)或視覺元素的區(qū)域。舉例來說，可將所述有效區(qū)界定為所述圖標(biāo)或顯示元素的兩倍大(或3倍、5倍或10倍大，或任何其它大小)，或可顯示為大于在由用戶觀看時(shí)的閾值大小，而不管所述圖標(biāo)或視覺元素有多大。此外，在一些實(shí)施例中，有效區(qū)可與擴(kuò)增實(shí)境或其它軟件應(yīng)用中的交互式元素、數(shù)字內(nèi)容和/或物理物體相關(guān)聯(lián)。此些有效區(qū)在顯示區(qū)域內(nèi)的大小、形狀及位置可在(例如)用戶相對(duì)于物理物體移動(dòng)時(shí)發(fā)生改變。還可實(shí)施和/或界定有效區(qū)的其它配置。此外，在其中在所確定或所界定的有效區(qū)內(nèi)顯示視覺元素的區(qū)域可變化。舉例來說，如果正使用柱狀的有效區(qū)，那么HMD可確定每一柱內(nèi)的垂直位置以顯示相應(yīng)的視覺元素或可確定改變有效區(qū)內(nèi)的視覺元素的大小或形狀。
[0053]在框915處，跟蹤顯現(xiàn)在顯示區(qū)域內(nèi)的物理物體(從用戶的視角來看)。用于跟蹤的裝置可由相機(jī)、傳感器和/或經(jīng)配置以俘獲圖像和/或位置測量值的其它組件(其與處理單元、存儲(chǔ)器和/或經(jīng)配置以基于圖像和/或位置測量值來確定位置的其它計(jì)算裝置通信地連接)執(zhí)行。下文關(guān)于圖10額外詳細(xì)地描述此些裝置。
[0054]如上文所指示，可使用用于在透明顯示區(qū)域中顯示視覺元素的組件來校準(zhǔn)用于跟蹤物理物體的組件，從而使得HMD能夠確定用戶看到什么。對(duì)應(yīng)地，在框920處，方法900包含確定從用戶的視角來看物理物體的至少一部分顯現(xiàn)在顯示區(qū)域的有效區(qū)內(nèi)。此處再次地，用于作出所述確定的裝置可包含處理單元、存儲(chǔ)器和/或如關(guān)于圖10所描述的其它計(jì)算裝置，且可使用下文描述的跟蹤裝置。在一個(gè)實(shí)施例中，可將范圍的極值或其它末端檢測為跟蹤點(diǎn)320。在一個(gè)實(shí)施例中，如果所跟蹤的物體占據(jù)有效區(qū)的大部分或較大部分，那么選擇所述區(qū)。(在圖4D中，舉例來說，用戶的手指和/或手占據(jù)有效區(qū)420-1的實(shí)質(zhì)性部分，例如至少有效區(qū)420-1的下半部。在一些實(shí)施例中，所述有效區(qū)可經(jīng)配置以大體上與用于選擇項(xiàng)目或以其它方式控制GUI的物體的形狀成鏡像；舉例來說，在使用例如手指等細(xì)長的控制物體或選擇物體時(shí)，所述有效區(qū)可包括柱)。
[0055]跟蹤裝置可參與多種跟蹤算法中的任一者。某些跟蹤算法可簡單地跟蹤單個(gè)點(diǎn)(例如，透明顯示區(qū)域上的坐標(biāo))和/或與物體(例如，指尖)上的物體和/或位置相關(guān)聯(lián)的區(qū)。更復(fù)雜的跟蹤算法可跟蹤其它特征，例如物體的形狀(例如，用以辨識(shí)約定姿勢)、距離(例如，用以確定用戶是否“按壓”按鈕)，及其它。實(shí)施例可能夠跟蹤多個(gè)和/或不同的物理物體以用于⑶I交互。此外，實(shí)施例不限于任何一種方法。在一些實(shí)施例中，HMD可經(jīng)配置以接受僅來自某些物體的輸入。舉例來說，HMD可經(jīng)配置以檢測物體是否為手指或手，隨后接受來自所述手指或手的輸入，且拒絕來自其它物體的輸入。另外或替代地，HMD可包含可結(jié)合手指和/或手跟蹤而使用的眼睛跟蹤(或“凝視”跟蹤)。此可增加用戶嘗試選擇物體或區(qū)的置信度，因?yàn)橛脩舻哪晫⒖赡芸聪蛩鰠^(qū)，從而確認(rèn)所述選擇。任選地，在其中有可能用戶看向他的或她的手指的情形中，也可跟蹤用戶的凝視以增加手指的經(jīng)跟蹤位置的置信度。
[0056]在框925處，基于在框920處作出的確定來操控用戶接口。此處再次地，用于操控所述用戶接口的裝置可包含處理單元、存儲(chǔ)器和/或耦合到展示所述用戶接口的顯示器的其它計(jì)算裝置(例如，⑶I)。
[0057]應(yīng)了解，圖9中所說明的特定步驟提供用于實(shí)現(xiàn)與HMD的用戶交互的方法900的實(shí)例。替代實(shí)施例可包含對(duì)所展示實(shí)施例的更改。舉例來說，替代實(shí)施例可包含在方法900期間的不同點(diǎn)處界定透明顯示區(qū)域內(nèi)的有效區(qū)。又其它實(shí)施例可包含執(zhí)行動(dòng)作以使用HMD的顯示組件來校準(zhǔn)物理物體跟蹤組件。此外，可取決于特定應(yīng)用而添加、移除或組合額外的特征。所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到許多變化、修改和替代方案。
[0058]圖10說明可并入到HMD中和/或與HMD通信地耦合的計(jì)算機(jī)系統(tǒng)1000的實(shí)施例。計(jì)算系統(tǒng)1000的一或多個(gè)組件可在不同裝置之間共享，所述不同裝置例如為HMD、智能電話、平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)或其它計(jì)算裝置。在一些實(shí)施例中，軟件及其它應(yīng)用可在通信地鏈接到顯示器的單獨(dú)裝置上運(yùn)行。在其它實(shí)施例中，HMD可具有與其集成的計(jì)算機(jī)系統(tǒng)1000的一些或全部。
[0059]圖10提供可執(zhí)行由各種其它實(shí)施例所提供的方法的計(jì)算機(jī)系統(tǒng)1000的一個(gè)實(shí)施例的示意性說明。應(yīng)注意，圖10僅打算提供各種組件的一般化說明，可在適當(dāng)時(shí)利用所述組件中的任一者或全部。因此，圖10大致說明可如何以相對(duì)分離或相對(duì)更整合的方式實(shí)施個(gè)別系統(tǒng)兀件。
[0060]將計(jì)算機(jī)系統(tǒng)1000展示為包括可經(jīng)由總線1005電耦合(或在適當(dāng)時(shí)可以其它方式通信)的硬件元件。硬件元件可包含處理單元，例如處理器1010，其可包含(但不限于)一或多個(gè)通用處理器、一或多個(gè)專用處理器(例如數(shù)字信號(hào)處理器、圖形加速處理器和/或其類似者)，和/或如上文陳述的可用于執(zhí)行例如關(guān)于圖9所描述的步驟等各種步驟的其它處理裝置。硬件元件還可包含一或多個(gè)輸入裝置1015，其可包含(但不限于)一或多個(gè)相機(jī)、傳感器(例如，光、熱、超音波、RF和/或能夠提供用于跟蹤物體的數(shù)據(jù)的其它傳感器)，和/或可與處理器1010 —起作為用以跟蹤如本文所描述的物理物體的跟蹤裝置而被包含和/或以其它方式利用的其它跟蹤裝置。還可包含例如觸摸墊、鍵盤、麥克風(fēng)和/或其類似者的其它裝置。還包含一或多個(gè)輸出裝置1020。這些輸出裝置可包含一或多個(gè)透明顯示裝置和/或其它顯示裝置，以及揚(yáng)聲器和/或可用于執(zhí)行如關(guān)于圖9所描述的一或多個(gè)步驟的其它裝置。舉例來說，在系統(tǒng)1000實(shí)施于HMD中時(shí)，輸出裝置1020可包含透明或半透明顯示器。在其中裝置1000實(shí)施于電話或控制HMD的其它裝置中的實(shí)施例中，輸出裝置1020可包括觸摸屏或可被省略。
[0061]計(jì)算機(jī)系統(tǒng)1000可進(jìn)一步包含(且/或與之通信)一或多個(gè)非暫時(shí)性存儲(chǔ)裝置1025，其可包括(不限制)本地和/或網(wǎng)絡(luò)可存取存儲(chǔ)裝置，且/或可包含(不限制)磁盤驅(qū)動(dòng)器、驅(qū)動(dòng)陣列、光學(xué)存儲(chǔ)裝置、固態(tài)存儲(chǔ)裝置，例如隨機(jī)存取存儲(chǔ)器(“RAM”)和/或只讀存儲(chǔ)器(“ROM”)，其可為可編程的、快閃可更新的，和/或類似物。此些存儲(chǔ)裝置可經(jīng)配置以實(shí)施任何適當(dāng)?shù)臄?shù)據(jù)存儲(chǔ)裝置，包含(不限制)各種文件系統(tǒng)、數(shù)據(jù)庫結(jié)構(gòu)和/或類似物。
[0062]計(jì)算機(jī)系統(tǒng)1000還可能包含通信子系統(tǒng)1030，所述通信子系統(tǒng)可包含(不限制)調(diào)制解調(diào)器、網(wǎng)卡(無線或有線)、紅外線通信裝置、無線通信裝置和/或芯片組(例如，Bluetooth?裝置、1002.11裝置、WiFi裝置、WiMax裝置、蜂窩式通信設(shè)施等)，和/或類似物。通信子系統(tǒng)1030可包含一或多個(gè)輸入和/或輸出通信接口以準(zhǔn)許與網(wǎng)絡(luò)、其它計(jì)算機(jī)系統(tǒng)和/或任何其它電氣裝置/外圍設(shè)備交換數(shù)據(jù)。在許多實(shí)施例中，計(jì)算機(jī)系統(tǒng)1000將進(jìn)一步包括工作存儲(chǔ)器1035，其可包含如上文所描述的RAM或ROM裝置。
[0063]計(jì)算機(jī)系統(tǒng)1000還可包括展示為當(dāng)前位于工作存儲(chǔ)器1035內(nèi)的軟件元件，包含操作系統(tǒng)1040、裝置驅(qū)動(dòng)器、可執(zhí)行庫和/或其它代碼，例如一或多個(gè)應(yīng)用程序1045，所述應(yīng)用程序可包括由各種實(shí)施例提供的計(jì)算機(jī)程序，且/或可經(jīng)設(shè)計(jì)以實(shí)施由其它實(shí)施例提供的方法且/或配置由其它實(shí)施例提供的系統(tǒng)，如本文中所描述。僅舉例來說，關(guān)于上文所論述的方法(例如，關(guān)于圖9所描述的方法900)而描述的一或多個(gè)過程的一部分可能被實(shí)施為可由計(jì)算機(jī)(和/或計(jì)算機(jī)內(nèi)的處理單元)執(zhí)行的代碼和/或指令；在一方面中，此類代碼和/或指令可隨后用于配置和/或調(diào)適通用計(jì)算機(jī)(或其它裝置)來執(zhí)行根據(jù)所描述的方法的一或多個(gè)操作。
[0064]一組這些指令和/或代碼可能存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上，例如上文所描述的存儲(chǔ)裝置1025。在一些情況下，存儲(chǔ)媒體可能并入計(jì)算機(jī)系統(tǒng)內(nèi)，例如計(jì)算機(jī)系統(tǒng)1000。在其它實(shí)施例中，存儲(chǔ)媒體可能與計(jì)算機(jī)系統(tǒng)分開(例如，可移除媒體，例如光盤)，且/或提供在安裝包中，使得存儲(chǔ)媒體可用其上存儲(chǔ)的指令/代碼來編程、配置和/或調(diào)適通用計(jì)算機(jī)。這些指令可能采取可由計(jì)算機(jī)系統(tǒng)1000執(zhí)行的可執(zhí)行代碼的形式，且/或可能采取源和/或可安裝代碼的形式，其在計(jì)算機(jī)系統(tǒng)1000上編譯和/或安裝后(例如，使用多種一般可用的編譯器、安裝程序、壓縮/解壓縮公用程序等中的任一者)即刻采取可執(zhí)行代碼的形式。
[0065]所屬領(lǐng)域的技術(shù)人員將明白，可根據(jù)特定要求作出實(shí)質(zhì)性變化。舉例來說，還可能使用定制的硬件，且/或特定元件可能實(shí)施于硬件、軟件(包含便攜式軟件，例如applet等)或兩者中。此外，可使用到例如網(wǎng)絡(luò)輸入/輸出裝置等其它計(jì)算裝置的連接。
[0066]如上文所提及，在一個(gè)方面中，一些實(shí)施例可使用計(jì)算機(jī)系統(tǒng)(例如，計(jì)算機(jī)系統(tǒng)1000)來執(zhí)行根據(jù)本發(fā)明的各種實(shí)施例的方法。根據(jù)一組實(shí)施例，此些方法的過程中的一些或全部由計(jì)算機(jī)系統(tǒng)1000響應(yīng)于處理器1010執(zhí)行工作存儲(chǔ)器1035中所含有的一或多個(gè)指令的一或多個(gè)序列(其可能并入到操作系統(tǒng)1040和/或其它代碼(例如，應(yīng)用程序1045)中)來執(zhí)行?？蓮牧硪挥?jì)算機(jī)可讀媒體(例如，存儲(chǔ)裝置1025中的一或多者)將此些指令讀取到工作存儲(chǔ)器1035中。僅舉例來說，執(zhí)行工作存儲(chǔ)器1035中所含有的指令的序列可能致使處理器1010執(zhí)行本文中所描述的方法的一或多個(gè)程序。另外或替代地，可通過專用硬件執(zhí)行本文中所描述的方法的多個(gè)部分。
[0067]如本文中所使用的術(shù)語“機(jī)器可讀媒體”和“計(jì)算機(jī)可讀媒體”指代參與提供致使機(jī)器以特定方式操作的數(shù)據(jù)的任何媒體。在使用計(jì)算機(jī)系統(tǒng)1000實(shí)施的實(shí)施例中，各種計(jì)算機(jī)可讀媒體可能涉及向處理器1010提供指令/代碼以供執(zhí)行且/或可能用于存儲(chǔ)和/或攜載此類指令/代碼。在許多實(shí)施方案中，計(jì)算機(jī)可讀媒體是物理的和/或有形的存儲(chǔ)媒體。此類媒體可采取非易失性媒體或易失性媒體的形式。非易失性媒體包含(例如)光盤和/或磁盤，例如存儲(chǔ)裝置1025。易失性媒體包含(不限制)動(dòng)態(tài)存儲(chǔ)器，例如工作存儲(chǔ)器 1035。
[0068]物理的和/或有形的計(jì)算機(jī)可讀媒體的常見形式包含(例如)軟盤、柔性磁盤、硬盤、磁帶或任何其它磁性媒體、CD-ROM、任何其它光學(xué)媒體，具有孔圖案的任何其它物理媒體、RAM、PROM、EPROM、FLASH-EPR0M、任何其它存儲(chǔ)器芯片或盒式磁帶、或計(jì)算機(jī)可從其讀取指令和/或代碼的任何其它媒體。
[0069]在將一或多個(gè)指令的一或多個(gè)序列載運(yùn)到處理器1010以供執(zhí)行的過程中可涉及各種形式的計(jì)算機(jī)可讀媒體。僅舉例來說，所述指令可起初被攜載在遠(yuǎn)程計(jì)算機(jī)的磁盤和/或光盤上。遠(yuǎn)程計(jì)算機(jī)可能將所述指令加載到其動(dòng)態(tài)存儲(chǔ)器中，且經(jīng)由傳輸媒體將所述指令作為信號(hào)進(jìn)行發(fā)送以讓計(jì)算機(jī)系統(tǒng)1000接收和/或執(zhí)行。
[0070]通信子系統(tǒng)1030 (和/或其組件)一般將接收所述信號(hào)，且總線1005隨后可能將所述信號(hào)(和/或由所述信號(hào)載運(yùn)的數(shù)據(jù)、指令等)載運(yùn)到工作存儲(chǔ)器1035，處理器1010從所述工作存儲(chǔ)器檢索和執(zhí)行所述指令。由工作存儲(chǔ)器1035接收的指令可在由處理器1025執(zhí)行之前或之后任選地存儲(chǔ)于非暫時(shí)性存儲(chǔ)裝置1010上。
[0071]上文所論述的方法、系統(tǒng)和裝置是實(shí)例。各種配置可在適當(dāng)時(shí)省略、替代或添加各種過程或組件。舉例來說，在替代性配置中，所述方法可以不同于所描述的次序的次序執(zhí)行，且/或可添加、省略和/或組合各種階段。而且，關(guān)于某些配置所描述的特征可組合在各種其它配置中。配置的不同方面和元件可以類似方式組合。而且，技術(shù)會(huì)演進(jìn)且因此許多元件是實(shí)例，且不限制本發(fā)明或權(quán)利要求書的范圍。
[0072]在描述中給出特定細(xì)節(jié)以提供對(duì)實(shí)例配置(包含實(shí)施方案)的透徹理解。然而，可以在沒有這些特定細(xì)節(jié)的情況下實(shí)踐配置。舉例來說，已在沒有不必要的細(xì)節(jié)的情況下展示眾所周知的電路、過程、算法、結(jié)構(gòu)和技術(shù)，以便避免使所述配置模糊不清。此描述僅提供實(shí)例性配置，且不限制權(quán)利要求書的范圍、適用性或配置。而是，對(duì)配置的前述描述將向所屬領(lǐng)域的技術(shù)人員提供用于實(shí)施所描述的技術(shù)的啟用性描述。在不脫離本發(fā)明的精神或范圍的情況下，可在元件的功能和布置方面作出各種改變。
[0073]而且，可將配置描述為被描繪為流程圖或框圖的過程。雖然可將操作描述為連續(xù)過程，但許多操作可并行地或同時(shí)地執(zhí)行。另外，操作的次序可重新布置。過程可具有圖中未包含的額外步驟。此外，所述方法的實(shí)例可由硬件、軟件、固件、中間件、微碼、硬件描述語言或其任何組合來實(shí)施。當(dāng)實(shí)施于軟件、固件、中間件或微碼中時(shí)，用以執(zhí)行必需的任務(wù)的程序代碼或代碼段可存儲(chǔ)在例如存儲(chǔ)媒體等非暫時(shí)性計(jì)算機(jī)可讀媒體中。處理器可執(zhí)行所描述的任務(wù)。
[0074]描述了若干實(shí)例配置，在不脫離本發(fā)明的精神的情況下，可使用各種修改、替代性構(gòu)造和等效物。舉例來說，以上元件可為較大系統(tǒng)的組件，其中其它規(guī)則可優(yōu)先于或以其它方式修改本發(fā)明的應(yīng)用。而且，可在考慮以上元件之前、期間或之后來著手一定數(shù)目的步驟。因此，以上描述不限制權(quán)利要求書的范圍。
【權(quán)利要求】
1.一種在頭戴式顯示器HMD中提供用戶接口的方法，所述方法包括: 致使在所述HMD的透明顯示區(qū)域中顯示第一視覺元素，所述第一視覺元素可由所述HMD的用戶選擇； 界定所述透明顯示區(qū)域的大于所述第一視覺元素的第一有效區(qū)，以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)； 跟蹤從所述用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體； 確定從所述用戶的視角來看所述物理物體的至少一部分顯現(xiàn)在所述第一有效區(qū)內(nèi)，從而指示對(duì)所述第一視覺元素的選擇；及 使用處理單元基于所述選擇來操控所述用戶接口。
2.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其中所述第一有效區(qū)的邊界延伸到所述透明顯示區(qū)域的邊緣。
3.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其進(jìn)一步包括致使基于所述跟蹤在所述透明顯示區(qū)域中顯示所述第一有效區(qū)。
4.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其中: 所述第一有效區(qū)是多個(gè)有效區(qū)中的一者； 所述第一視覺元素是多個(gè)視覺元素中的一者；且 顯示所述多個(gè)視覺元素以使得對(duì)于所述多個(gè)有效區(qū)中的每一有效區(qū)，所述多個(gè)視覺元素中的一視覺元素被相應(yīng)的有效區(qū)包圍。
5.根據(jù)權(quán)利要求4所述的在所述HMD中提供所述用戶接口的方法，其進(jìn)一步包括致使在所述透明顯示區(qū)域中顯示所述多個(gè)有效區(qū)中的每一有效區(qū)。
6.根據(jù)權(quán)利要求4所述的在所述HMD中提供所述用戶接口的方法，其中所述多個(gè)有效區(qū)包括從所述用戶的視角來看安置在所述透明顯示區(qū)域內(nèi)的一連串柱。
7.根據(jù)權(quán)利要求6所述的在所述HMD中提供所述用戶接口的方法，其中所述確定包括確定從所述用戶的視角來看所述物理物體占據(jù)所述一連串柱中的第一柱的至少下半部，所述第一有效區(qū)包括所述第一柱。
8.根據(jù)權(quán)利要求4所述的在所述HMD中提供所述用戶接口的方法，其中所述多個(gè)有效區(qū)包括所述透明顯示區(qū)域的象限。
9.根據(jù)權(quán)利要求4所述的在所述HMD中提供所述用戶接口的方法，其進(jìn)一步包括延遲所述顯示所述多個(gè)視覺元素直到在確定從所述用戶的視角來看所述物理物體顯現(xiàn)在所述透明顯示區(qū)域內(nèi)達(dá)閾值時(shí)間量之后為止。
10.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其中操控所述用戶接口包括: 致使從所述透明顯示區(qū)域移除所述第一視覺元素且致使在所述透明顯示區(qū)域中顯示兩個(gè)或兩個(gè)以上其它視覺元素，及 使用兩個(gè)或兩個(gè)以上有效區(qū)取代所述第一有效區(qū)，每一有效區(qū)包圍所述兩個(gè)或兩個(gè)以上其它視覺元素中的一者。
11.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其中操控所述用戶接口發(fā)生在確定從所述用戶的視角來看所述物理物體的所述至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)達(dá)至少閾值時(shí)間量之后。
12.根據(jù)權(quán)利要求11所述的在所述HMD中提供所述用戶接口的方法，其進(jìn)一步包括在操控所述用戶接口之前顯示指示從所述用戶的視角來看所述物理物體的所述至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)的時(shí)長的指示符。
13.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其中所述物理物體包括所述用戶的手。
14.根據(jù)權(quán)利要求1所述的在所述HMD中提供所述用戶接口的方法，其進(jìn)一步包括確定所述物理物體在距所述HMD的閾值距離內(nèi)。
15.—種頭戴式顯不器HMD,其包括: 顯示器，其具有透明顯示區(qū)域； 傳感器，其經(jīng)配置以提供關(guān)于所述HMD的用戶可通過所述透明顯示區(qū)域觀看的物體的數(shù)據(jù) '及 處理單元，其與所述顯示器及所述傳感器通信地耦合，所述處理單元經(jīng)配置以執(zhí)行包含以下各者的功能: 致使所述顯示器在所述透明顯示區(qū)域中展示第一視覺元素，所述第一視覺元素可由所述用戶選擇； 界定所述透明顯示區(qū)域的第一有效區(qū)，以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)； 使用來自所述傳感器的所述數(shù)據(jù)來跟蹤從用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體； 確定從所述用戶的視角來看所述物理物體的至少一部分顯現(xiàn)在所述第一有效區(qū)內(nèi)，從而指示對(duì)所述第一視覺元素的選擇；及 基于所述選擇來操控在所述顯示器上顯示的一或多個(gè)元素。
16.根據(jù)權(quán)利要求15所述的HMD，其中所述處理單元經(jīng)配置以界定所述第一有效區(qū)的邊界，使得所述第一有效區(qū)的所述邊界延伸到所述透明顯示區(qū)域的邊緣。
17.根據(jù)權(quán)利要求15所述的HMD，其中所述處理單元經(jīng)配置以致使所述顯示器基于所述所跟蹤的物理物體而展示所述第一有效區(qū)。
18.根據(jù)權(quán)利要求15所述的HMD，其中: 所述第一有效區(qū)是多個(gè)有效區(qū)中的一者； 所述第一視覺元素是多個(gè)視覺元素中的一者；且 所述處理單元經(jīng)配置以致使所述顯示器展示所述多個(gè)視覺元素以使得對(duì)于所述多個(gè)有效區(qū)中的每一有效區(qū)，所述多個(gè)視覺元素中的一視覺元素被相應(yīng)的有效區(qū)包圍。
19.根據(jù)權(quán)利要求18所述的HMD，其中所述處理單元經(jīng)配置以致使所述顯示器展示所述多個(gè)有效區(qū)中的每一有效區(qū)。
20.根據(jù)權(quán)利要求18所述的HMD，其中所述處理單元經(jīng)配置以致使所述顯示器展示所述多個(gè)有效區(qū)，使得所述多個(gè)有效區(qū)包括從所述用戶的視角來看安置在所述透明顯示區(qū)域內(nèi)的一連串柱。
21.根據(jù)權(quán)利要求20所述的HMD，其中所述處理單元經(jīng)配置以通過確定從所述用戶的視角來看所述物理物體占據(jù)所述一連串柱中的第一柱的至少下半部來確定所述物理物體的至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)，所述第一有效區(qū)包括所述第一柱。
22.根據(jù)權(quán)利要求18所述的HMD，其中所述處理單元經(jīng)配置以致使所述顯示器展示所述多個(gè)有效區(qū)，使得所述多個(gè)有效區(qū)包括所述透明顯示區(qū)域的象限。
23.根據(jù)權(quán)利要求18所述的HMD，其中所述處理單元經(jīng)配置以通過以下操作來操控所述一或多個(gè)元素: 致使從所述透明顯示區(qū)域移除所述第一視覺元素且致使在所述透明顯示區(qū)域中顯示兩個(gè)或兩個(gè)以上其它視覺元素；及 使用兩個(gè)或兩個(gè)以上有效區(qū)取代所述第一有效區(qū)，每一有效區(qū)包圍所述兩個(gè)或兩個(gè)以上其它視覺元素中的一者。
24.根據(jù)權(quán)利要求18所述的HMD，其中所述處理單元經(jīng)配置以延遲致使所述顯示器展示所述多個(gè)視覺元素直到在所述處理單元確定從所述用戶的視角來看所述物理物體顯現(xiàn)在所述透明顯示區(qū)域內(nèi)達(dá)閾值時(shí)間量之后為止。
25.根據(jù)權(quán)利要求15所述的HMD，其中所述處理單元經(jīng)配置以在所述處理單元確定從所述用戶的視角來看所述物理物體的至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)達(dá)至少閾值時(shí)間量之后操控所述一或多個(gè)元素。
26.根據(jù)權(quán)利要求25所述的HMD，其中所述處理單元進(jìn)一步經(jīng)配置以在操控所述一或多個(gè)元素之前致使所述顯示器展示指示所述處理單元確定從所述用戶的視角來看所述物理物體的所述至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)的時(shí)長的指示符。
27.根據(jù)權(quán)利要求15所述的HMD，其中所述處理單元進(jìn)一步經(jīng)配置以確定所述物理物體在距所述HMD的閾值距離內(nèi)。
28.一種計(jì)算機(jī)可讀存儲(chǔ)媒體，其編碼有用于致使頭戴式顯示器HMD執(zhí)行多個(gè)功能的指令，所述功能包含: 致使在所述HMD的透明顯示區(qū)域中顯示第一視覺元素，所述第一視覺元素可由所述HMD的用戶選擇； 界定所述透明顯示區(qū)域的大于所述第一視覺元素的第一有效區(qū)，以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)； 跟蹤從用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體； 確定從所述用戶的視角來看所述物理物體的至少一部分顯現(xiàn)在所述第一有效區(qū)內(nèi)，從而指示對(duì)所述第一視覺元素的選擇；及 基于所述選擇來操控在所述透明顯示區(qū)域中顯示的一或多個(gè)元素。
29.—種設(shè)備,其包括: 用于致使在HMD的透明顯示區(qū)域中顯示第一視覺元素的裝置，所述第一視覺元素可由所述HMD的用戶選擇； 用于界定所述透明顯示區(qū)域的第一有效區(qū)以使得所述第一視覺元素安置在所述第一有效區(qū)的一部分內(nèi)的裝置； 用于跟蹤從用戶的視角來看顯現(xiàn)在所述透明顯示區(qū)域內(nèi)的物理物體的裝置； 用于確定從所述用戶的視角來看所述物理物體的至少一部分顯現(xiàn)在所述第一有效區(qū)內(nèi)從而指示對(duì)所述第一視覺元素的選擇的裝置；及 用于使用處理單元基于所述選擇來操控一或多個(gè)元素的裝置。
30.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述用于界定所述第一有效區(qū)的裝置包含用于界定所述第一有效區(qū)的邊界以使得所述第一有效區(qū)的所述邊界延伸到所述透明顯示區(qū)域的邊緣的裝置。
31.根據(jù)權(quán)利要求29所述的設(shè)備，其進(jìn)一步包括用于致使基于所述用于跟蹤的裝置在所述透明顯示區(qū)域中顯示所述第一有效區(qū)的裝置。
32.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述第一有效區(qū)是多個(gè)有效區(qū)中的一者，且所述第一視覺元素是多個(gè)視覺元素中的一者，所述設(shè)備進(jìn)一步包括用于以下操作的裝置:顯示所述多個(gè)視覺元素以使得對(duì)于所述多個(gè)有效區(qū)中的每一有效區(qū)，所述多個(gè)視覺元素中的一視覺元素被相應(yīng)的有效區(qū)包圍。
33.根據(jù)權(quán)利要求32所述的設(shè)備，其進(jìn)一步包含用于致使在所述透明顯示區(qū)域中顯示所述多個(gè)有效區(qū)中的每一有效區(qū)的裝置。
34.根據(jù)權(quán)利要求32所述的設(shè)備，其進(jìn)一步包含用于界定所述多個(gè)有效區(qū)以使得所述多個(gè)有效區(qū)包括從所述用戶的視角來看安置在所述透明顯示區(qū)域內(nèi)的一連串柱的裝置。
35.根據(jù)權(quán)利要求34所述的設(shè)備，其中所述用于確定從所述用戶的視角來看所述物理物體的所述至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)的裝置包含用于確定從所述用戶的視角來看所述物理物體占據(jù)所述一連串柱中的第一柱的至少下半部的裝置，所述第一有效區(qū)包括所述第一柱。
36.根據(jù)權(quán)利要求32所述的設(shè)備，其進(jìn)一步包含用于將所述多個(gè)有效區(qū)界定為所述透明顯示區(qū)域的象限的裝置。
37.根據(jù)權(quán)利要求32所述的設(shè)備，其中所述用于操控所述一或多個(gè)元素的裝置包含用于以下操作的裝置: 致使從所述透明顯示區(qū)域移除所述第一視覺元素且致使在所述透明顯示區(qū)域中顯示兩個(gè)或兩個(gè)以上其它視覺元素，及 使用兩個(gè)或兩個(gè)以上有效區(qū)取代所述第一有效區(qū)，每一有效區(qū)包圍所述兩個(gè)或兩個(gè)以上其它視覺元素中的一者。
38.根據(jù)權(quán)利要求32所述的設(shè)備，其中所述用于顯示所述多個(gè)視覺元素的裝置經(jīng)配置以在確定從所述用戶的視角來看所述物理物體顯現(xiàn)在所述透明顯示區(qū)域內(nèi)達(dá)閾值時(shí)間量之后顯示所述多個(gè)視覺元素。
39.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述用于操控所述一或多個(gè)元素的裝置經(jīng)配置以在確定從所述用戶的視角來看所述物理物體的所述至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)達(dá)至少閾值時(shí)間量之后操控所述一或多個(gè)元素。
40.根據(jù)權(quán)利要求39所述的設(shè)備，其進(jìn)一步包括用于在操控所述一或多個(gè)元素之前顯示指示從所述用戶的視角來看所述物理物體的所述至少所述部分顯現(xiàn)在所述第一有效區(qū)內(nèi)的時(shí)長的指示符的裝置。
41.根據(jù)權(quán)利要求29所述的設(shè)備，其進(jìn)一步包括用于確定所述物理物體在距所述HMD的閾值距離內(nèi)的裝置。
【文檔編號(hào)】G06F3/0484GK104335142SQ201380029494
【公開日】2015年2月4日 申請(qǐng)日期:2013年5月17日 優(yōu)先權(quán)日:2012年6月14日
【發(fā)明者】朱利亞諾·馬喬奇, 詹姆斯·約瑟夫·馬爾霍蘭 申請(qǐng)人:高通股份有限公司