本公開一般涉及頭戴顯示器(HMD)。更具體地，本公開涉及用于HMD的三維(3D)用戶界面(UI)。

背景技術：

雖然HMD技術一直在開發(fā)中，而且諸如Google Glass和產品的可穿戴技術越來越多，但是缺少用于虛擬現實(VR)和增強現實(AR)應用二者的HMD的專門UI框架。當前的HMD技術關注于主內容顯示的實現和處理，而對UI的關注則被忽視。

技術實現要素：

本公開的實施例提供用于HMD的3D UI。

在一個實施例中，提供一種顯示用于HMD的UI的方法。該方法包括產生用于由該HMD顯示的三維內容。該方法還包括識別與該三維內容相關聯(lián)的該UI的UI元素的三維坐標。在包括用戶佩戴該HMD時能夠查看的區(qū)域的該UI的角范圍內識別所述三維坐標。另外，該方法包括，響應于用戶輸入，在該三維內容上在識別的三維坐標處顯示所述UI元素。

在另一示例實施例中，提供一種顯示UI的裝置。該裝置包括HMD和至少一個處理器。該至少一個處理器被配置為產生用于由該HMD顯示的三維內容，并識別與該三維內容相關聯(lián)的該UI的UI元素的三維坐標。在包括用戶佩戴該HMD時能夠查看的區(qū)域的該UI的角范圍內識別所述三維坐標。另外，該至少一個處理器被配置為，響應于用戶輸入，致使該HMD在該三維內容上在識別的三維坐標處顯示所述UI元素。

在另一示例實施例中，提供一種非暫時性計算機可讀介質。該計算機可讀介質包括用于產生用于頭戴顯示器(HMD)的用戶界面(UI)的顯示的程序代碼。當由至少一個處理器執(zhí)行時，該程序代碼致使電子設備：產生用于由該HMD顯示的三維內容；識別與該三維內容相關聯(lián)的該UI的UI元素的 三維坐標，其中在包括用戶佩戴該HMD時能夠查看的區(qū)域的該UI的角范圍內識別所述三維坐標；以及響應于用戶輸入，致使該HMD在該三維內容上在識別的三維坐標處顯示所述UI元素。

在另一示例實施例中，提供一種顯示用于HMD的UI的方法。該方法包括產生三維內容。該方法還包括識別與該三維內容相關聯(lián)的該UI的UI元素的三維坐標。在該UI的角范圍內識別所述三維坐標。另外，該方法包括在識別的三維坐標處顯示所述UI元素。

在另一示例實施例中，提供一種顯示UI的裝置。該裝置包括HMD和至少一個處理器。該至少一個處理器被配置為產生三維內容，并識別與該三維內容相關聯(lián)的該UI的UI元素的三維坐標。在該UI的角范圍內識別所述三維坐標。另外，該至少一個處理器被配置為控制該HMD在識別的三維坐標處顯示所述UI元素。

通過附圖、說明書和權利要求，其他技術特征對本領域技術人員是顯然的。

在進行以下具體實施方式的詳細描述之前，闡述本專利文件中通篇使用的特定詞語和短語的定義將是有利的。術語“耦接”及其派生詞是指兩個或更多個元件之間的任何直接或間接通信，不管這些元件是否彼此物理接觸。術語“發(fā)送”、“接收”、和“通信”及其派生詞涵蓋直接和間接通信二者。術語“包含”和“包括”及其派生詞意味著不加限制的包含。術語“或”是包含性的，意味著和/或。術語“與…相關聯(lián)”及其派生詞意味著包括、包括在…內、與…互連、容納、容納在…內、連接到或與…連接、耦接到或與…耦接、與…能夠通信、與…合作、交織、并置、與…接近、綁定到或與…綁定、具有、具有…的性質、具有與…的關系等。術語“控制器”意味著控制至少一個操作的任何設備、系統(tǒng)或其部分。這樣的控制器可以以硬件或者硬件和軟件和/或固件的組合實現。與任何特定控制器相關聯(lián)的功能可以被集中或分布，在本地或遠程地。短語“…中的至少一個”當與條目的列表一起使用時意味著可以使用所列條目中的一個或多個的不同組合，而且可以只需要列表中的一個條目。例如，“A、B、和C中的至少一個”包括任何以下組合：A；B；C；A和B；A和C；B和C；以及A和B和C。

另外，下面描述的各種功能可以通過一個或多個計算機程序實現或支持，每個計算機程序由計算機可讀程序代碼形成而且收錄在計算機可讀介質中。 術語“應用”和“程序”是指被適配用于在合適的計算機可讀程序代碼中實現的一個或多個計算機程序、軟件組件、指令集、過程、函數、對象、類、實例、相關數據或其部分。術語“計算機可讀程序代碼”包括任何類型的計算機代碼，包括源代碼、目標代碼和可執(zhí)行代碼。術語“計算機可讀介質”包括能夠由計算機存取的任何類型的介質，諸如只讀存儲器(ROM)、隨機存取存儲器(RAM)、硬盤驅動器、小型盤(CD)、數字視頻盤(DVD)或任何其他類型的存儲器。“非暫時性”計算機可讀介質排除傳輸暫時性電或其他信號的有線、無線或其他通信鏈路。非暫時性計算機可讀介質包括其中可以永久存儲數據的介質、以及其中可以存儲數據并在稍后覆寫的介質，諸如可重寫光盤或可擦除存儲設備。

本專利文件隨處提供其他特定詞語和短語的定義。本領域普通技術人員應當理解，在許多(如果不是大多數)情形下，這樣的定義適用于如此定義的詞語和短語的過往以及將來的使用。

附圖說明

為了更全面地理解本公開及其優(yōu)點，現在結合附圖參照以下描述，其中類似的引用數字表示類似的部分：

圖1示出根據本公開的實施例而且其中可以實現本公開的實施例的示例HMD；

圖2是根據本公開的實施例的3D空間中的UI菜單布置的圖示；

圖3A-3B示出根據本公開的實施例的將用于移動設備的二維(2D)顯示轉換為用于HMD的3D顯示的示例；

圖4A-4D示出根據本公開的實施例的與HMD顯示的UI元素的用戶交互的示例；

圖5A-5C示出根據本公開的實施例的在UI的角范圍內HMD上的UI元素的顯示的示例；

圖6A-6D示出根據本公開的實施例的HMD上的UI元素的嵌套陣列的多個級別的顯示和用戶交互的示例；

圖7示出根據本公開的實施例的顯示用于HMD的UI的過程；以及

圖8示出根據本公開的實施例的顯示用于HMD的3D UI的過程。

具體實施方式

下面討論的圖1至8以及本專利文件中用于描述本公開的原理的各種實施例僅僅作為例示，而不應當以任何方式解讀為限制本公開的范圍。本領域技術人員不難理解，可以以任何適當地配置的系統(tǒng)或設備實現本公開的原理。

圖1示出根據本公開的實施例而且其中可以實現本公開的實施例的示例HMD 100。圖1所示的HMD 100的實施例僅僅用于例示，HMD 100有各式各樣的配置，圖1不將本公開的范圍限于HMD的任何特定實施方式。

在各種實施例中，HMD 100可以采取不同的形式，本公開不限于任何特定形式。例如，HMD 100可以是能夠安裝在耳機(headset)內用于VR和/或AR應用的移動通信設備，諸如例如用戶設備、移動站、用戶站、無線終端、智能電話機、平板電腦等。在其他示例中，HMD 100可以包括耳機并且采取用于VR和/或AR應用的可穿戴電子設備的形式，諸如例如眼鏡、護目鏡、頭盔等。

如圖1所示，HMD 100包括天線105、射頻(RF)收發(fā)器110、發(fā)送(TX)處理電路115、麥克風120和接收(RX)處理電路125。HMD 100還包括揚聲器130、處理器140、輸入/輸出(I/O)接口(IF)145、觸摸屏150、顯示器155、存儲器160以及一個或多個傳感器165。存儲器160包括操作系統(tǒng)(OS)161和一個或多個應用162。

RF收發(fā)器110從天線105接收網絡(例如，WiFi、藍牙、蜂窩、5G、LTE、LTE-A、WiMAX或任何其他類型的無線網絡)的接入點(例如，基站、WiFi路由器、藍牙設備)發(fā)送的傳入RF信號。RF收發(fā)器110下變換傳入RF信號以產生中頻(IF)或基帶信號。IF或基帶信號被發(fā)送到RX處理電路125，其通過濾波、解碼和/或數字化基帶或IF信號來產生已處理的基帶信號。RX處理電路125向揚聲器130(諸如對語音數據)或向處理器140(諸如對網頁瀏覽數據)發(fā)送已處理的基帶信號用于進一步處理。

TX處理電路115接收來自麥克風120的模擬或數字語音數據、或來自處理器140的其他傳出基帶數據(諸如網頁數據、電子郵件或交互視頻游戲數據)。TX處理電路115編碼、復用和/或數字化傳出基帶數據以產生已處理的基帶或IF信號。RF收發(fā)器110從TX處理電路115接收傳出的已處理的基帶或IF信號，并將基帶或IF信號上變換為經由天線105發(fā)送的RF信號。

處理器140可以包括一個或多個處理器或其他處理設備，而且執(zhí)行存儲 器160中存儲的OS 161以便控制HMD 100的整體操作。例如，處理器140可以根據公知原理控制通過RF收發(fā)器110、RX處理電路125和TX處理電路115接收正向信道信號和發(fā)送反向信道信號。在一些實施例中，處理器140包括至少一個微處理器或微控制器。

處理器140還能夠執(zhí)行存儲器160中駐留的其他進程和程序。處理器140可以根據正在執(zhí)行的進程的需要將數據移入或移出處理器160。在一些實施例中，處理器140被配置為基于OS 161或者響應于從eNB或操作者(operator)接收的信號而執(zhí)行應用162。處理器140還耦接到I/O接口145，后者向HMD 100提供連接到諸如膝上計算機和手持計算機的其他設備的能力。I/O接口145是這些附件與處理器140之間的通信路徑。

處理器140還耦接到觸摸屏150和顯示器155。HMD 100的操作者可以使用觸摸屏150向HMD 100輸入數據和/或輸入。顯示器155可以是液晶顯示器、發(fā)光二極管(LED)顯示器、光學LED(OLED)、有源矩陣OLED(AMOLED)或能夠呈現諸如來自網站、視頻、游戲等的文本和/或圖形的其他顯示器。

存儲器160耦接到處理器140。存儲器160的一部分可以包括隨機存儲器(RAM)，存儲器160的另一部分可以包括閃速存儲器或其他只讀存儲器(ROM)。

HMD 100進一步包括一個或多個傳感器165，其可以測量物理量或檢測HMD 100的活動狀態(tài)，并將測量或檢測的信息轉換為電信號。例如，傳感器165可以包括用于觸摸輸入的一個或多個按鈕(例如，在耳機或HMD 100上)、相機、姿態(tài)傳感器、陀螺儀或陀螺儀傳感器、氣壓傳感器、磁傳感器或磁力計、加速傳感器或加速計、抓握傳感器、接近傳感器、顏色傳感器165H(例如，紅綠藍(RGB)傳感器)、生物物理傳感器、溫度/濕度傳感器、照明傳感器165K、紫外(UV)傳感器、肌電圖(EMG)傳感器、腦電圖(EEG)傳感器、心電圖(ECG)傳感器、IR傳感器、超聲傳感器、虹膜傳感器、指紋傳感器等。傳感器165可以進一步包括控制電路，用于控制其中包括的至少一個傳感器。如下面將要詳細討論的，一個或多個這些傳感器165可以用于控制UI、檢測UI輸入、確定用戶的方位和朝向用于3D內容顯示識別等。任何這些傳感器165可以位于HMD 100內，位于被配置為容納HMD 100的耳機內，或位于耳機和HMD 100二者內(例如，在HMD 100包括耳機的實 施例中)。

觸摸屏150可以包括觸摸面板、(數字)筆傳感器、按鍵或超聲輸入設備。觸摸屏150可以例如以以下當中至少一種方案識別觸摸輸入：電容方案、壓敏方案、紅外方案或超聲方案。觸摸屏150還可以包括控制電路。在電容方案中，觸摸屏150可以識別觸摸或接近。

如下面詳細描述的，HMD 100可以包括用于提供用于HMD的3D UI的電路和應用。雖然圖1示出HMD 100的一個示例，但是可以對圖1進行多種改變。例如，圖1中的各種組件可以組合、進一步細分或省略，而且可以根據特定需要添加額外的組件。作為特定示例，處理器140可以被分為多個處理器，諸如一個或多個中央處理單元(CPU)以及一個或多個圖形處理單元(GPU)。此外，雖然圖1示出HMD 100被配置為移動電話機、平板電腦、或智能電話機。但是HMD 100也可以被配置為作為其他類型的移動或固定設備操作。

本公開的實施例提供用于HMD 100上的立體3D VR或AR應用的導航UI框架。用于使用HMD 100的VR體驗，利用HMD 100中的傳感器165跟蹤用戶的頭部運動(即，HMD 100的運動)，并使用其控制顯示器155。本公開的UI元素包括與內容顯示相同的方式來響應用戶的頭部運動的3D對象。例如，UI元素可以包括用于控制或操縱HMD 100顯示的內容的菜單中的圖標或其他類型的UI元素。本公開特別適用于將原本設計用于2D移動設備顯示的應用轉換為HMD模式。

圖2是根據本公開的實施例的3D空間200中的UI菜單布置的圖示。本公開的各種實施例提供UI元素205的3D顯示。如圖所示，HMD 100分配HMD 100的用戶能夠查看的3D空間200內的UI元素205 3D坐標。HMD 100將UI元素205置于用戶的當前3D視錐210(即，作為HMD 100的當前檢測的方位和朝向的結果用戶當前能夠查看的全部可查看3D空間200的部分)內。UI元素205自身可以是3D對象或2D對象。確定UI元素205的精確3D坐標時還考慮諸如視錐210中顯示的當前主內容的坐標的因素。

本公開的各種實施例提供在比用戶的當前3D視錐210寬的角范圍215內提供UI元素顯示。配置將要在其中放置UI元素205的角范圍215(例如，在假想笛卡爾坐標系的x-z平面上，x方向一般表示左/右或偏航，y方向一般表示前/后，而z方向一般表示上/下或起伏)。在一些示例中，(例如，當存在 超過可放下的UI元素205時)，HMD 100實際地或虛擬地(即，不是在顯示器155上實際地顯示，而是當HMD 100移動到虛擬顯示該元素的位置時才實際顯示)在當前3D視錐210外顯示一些UI元素205。然而，HMD 100在UI的角范圍215內放置這些UI元素205，以使得用戶不需要向左或向右(即，偏航或x移動)過度轉頭即可看到全部顯示的UI元素205。注意，雖然在笛卡爾坐標系中給出特定示例，但是可以使用任何合適的坐標系，以任何元組(tuple)擔當缺省坐標方向。

如上所述，HMD 100使用HMD 100和/或耳機上的傳感器165(諸如，例如陀螺儀、加速計等)檢測用戶的頭部運動，即，HMD 100的運動。HMD 100響應頭部運動顯示UI元素205以及顯示(例如，內容)的其他元素，以模擬觀看真實世界視野和對象并與其交互。

本公開描述用于將導航UI集成到HMD 100中的框架。在各種實施例中，HMD 100的顯示器可以為立體3D以使得為顯示的內容分配3D坐標。在雙目HMD中，顯示的圖像被處理為兩個圖像，例如，左和右顯示圖像，每個圖像占據顯示屏幕的一半，而且被扭曲以補償置于顯示器與用戶的眼睛之間用于近眼觀看的鏡頭(例如，耳機中的)的效果。HMD 100將其中公開的UI處理為顯示圖像的一部分。

本公開還提供對UI的用戶輸入。例如，HMD 100可以處理不同的用戶輸入模式，例如包括，可以基于檢測按鈕的按壓、HMD的預定動作模式(例如，搖頭或點頭動作)、使用相機捕獲的面部圖像檢測在屏幕的特定區(qū)域上一段時間的眼睛的注視等確定用于選擇UI元素205、移動焦點、觸發(fā)動作等的用戶輸入。

在這些實施例中，HMD 100設置沿“水平”方向(例如，在x-z平面上)的UI的角范圍215。在一些實施例中，該角范圍215可以由用戶配置。角范圍215可以比HMD 100的用戶視野寬，但是取決于用途也可以更窄或更寬。在角范圍215內部呈現UI的顯示以使得用戶無需過多轉頭(例如，向左或右)用于UI交互。

當檢測到用于觸發(fā)UI顯示的初始用戶輸入時，HMD 100取得與所觸發(fā)的當前顯示的內容相關聯(lián)的動作，例如，對于導航菜單，可以將動作組織為列表或嵌套列表。HMD 100將當前級別列表中的每個動作呈現到圖形UI元素205中，其可以是3D對象。UI元素205被分配有包括用戶的當前3D視 錐210的角范圍215內的3D坐標，并且在分配的坐標處顯示。UI元素205的精確3D坐標還考慮諸如當前主內容的元素的坐標的因素。例如，取決于主內容是什么，UI元素可以顯示在主內容上方的查看區(qū)域的中央，即，在深度上更近；或處于與主內容元素相似的深度但在y坐標上在它們上方或下方以保持主內容元素可見。

在一些實施例中，HMD 100可以調整主內容的顯示以使得更容易察覺UI元素205；例如，在顯示UI元素205時主內容可以被模糊(就像在內容和UI之間放置模糊層)或變暗。在實施例中，UI元素205可以向上或向下擠開主內容元素以取代主內容。

可以基于實施方式改變UI元素205的排列。例如，UI元素205可以被顯示為左對齊、居中或右對齊的水平列表或按照適合當前任務的特殊排列。

如果要顯示比角范圍允許的更多的UI元素205，則取決于期望的實施方式，HMD 100可以合并附加的選擇以允許顯示附加的UI元素205或允許將UI元素205的陣列折疊為多行，或兩者都是。

HMD 100上的傳感器165隨著用戶移動他或她的頭、轉身或走動而檢測HMD 100的位置和方向的改變。HMD 100處理感測和檢測的改變以調整HMD 100的顯示，以便模擬觀看真實世界。由于UI元素205是置于與主內容相同的3D框架中的3D對象，HMD 100以類似的方式調整UI元素205的顯示。

UI元素205可以與動作相關聯(lián)。當選擇與用于加載另一組UI元素205的動作相關聯(lián)的條目時，新條目陣列的顯示取代相同的3D位置中的當前陣列，其根據陣列中的條目的數量等調整。在實施例中，當子陣列在母陣列的原始位置顯示時，母陣列可以上移而不是消失。該情況下，用戶可以查看他瀏覽的UI元素205的等級，如同面包屑(breadcrumb)或多級下拉菜單。親陣列指示UI元素的上陣列，而子陣列指示UI元素的下陣列。

如下面參照圖6A-6D詳細討論的，本公開的實施例還提供嵌套陣列顯示轉變。例如，如果一UI元素205與用于加載另一組UI元素205的動作相關聯(lián)而且該UI元素205被選擇，則HMD 100顯示新的一組UI元素205以代替UI元素205的當前顯示。當存在一個或多個母組時，當前組的顯示可以包括“向上”或“后退”按鈕，或者UI可以包括用于返回母陣列的面包屑。在實施例中，當顯示子陣列時，母陣列可以上移而不是消失。該示例中，用戶將 查看瀏覽的UI元素205的等級，如同面包屑或多級下拉菜單。

本公開的實施例提供用于HMD應用的移動設備應用的轉換。例如，本公開的實施例可以被合并到移動通信設備中作為用于到HMD UI模式的UI模式切換的框架。該示例中，本公開的實施例提供能夠存儲在移動通信設備中的程序，其用于轉換設計用于手持移動設備的應用的UI并重新組成用于在HMD 100上顯示和交互的UI。利于HMD 100提供的框架，應用顯示的HMD版本可以簡單地為HMD 100創(chuàng)建的為手持移動設備實現的視圖的重組版本，或者可以是應用開發(fā)者專門為HMD 100實現的單獨視圖。

圖3A-3B示出根據本公開的實施例的將用于移動設備的二維(2D)顯示轉換為用于HMD的3D顯示的示例。該示例中，圖3A示出用于照片相冊的2D應用的屏幕300。該示例中，當設備未配備等價的物理按鈕時，在屏幕300上顯示底部的導航條。

圖3B示出在將2D應用內容和UI轉換為用于HMD模式的3D啟動應用內容之后相應的內容和UI元素305的顯示。該示例中，HMD 100轉換應用內容、動作條UI元素以及導航條UI元素用于在HMD顯示屏幕310上顯示。當用戶輸入(例如，在觸摸墊或控制器按鈕等上)觸發(fā)菜單顯示時，HMD產生代表應用動作條中的條目、設備物理或顯示的導航按鈕等的UI元素305的陣列，并跨越HMD 100的可查看區(qū)域315顯示UI元素。該示例中，由于可查看區(qū)域315不夠寬以顯示全部條目(例如，如圖所示，UI的角范圍215比可查看區(qū)域315寬)，陣列的第一個和最后一個條目被部分顯示。

圖4A-4D示出根據本公開的實施例的與HMD 100顯示的UI元素305的用戶交互的示例。在這些示例中，HMD 100顯示并允許與UI元素305的用戶交互。圖4A示出在顯示的UI元素305之間滾動。例如，當用戶向左轉頭時，HMD 100響應于傳感器165對設備方向和位置改變的讀數而向右移動顯示，包括內容和菜單。圖4B示出選擇“SPatient”文件夾之后的視圖并消除UI元素305的顯示。例如，針對用于消除UI的用戶選擇，或針對不包括子UI元素的UI元素305的用戶選擇(例如，如圖4B所示的打開文件夾的選擇)，HMD 100可以在一段時間之后清除UI元素305的顯示。圖4C示出包括用于改變顯示UI元素的方式的UI選項的UI菜單顯示的返回。圖4D示出包括用于導航到前一菜單或文件夾的分級導航元素的UI元素305的顯示。

圖5A-5C示出根據本公開的實施例的在UI的角范圍510內HMD上的 UI元素505的顯示的示例。在這些示例中，通過HMD 100顯示區(qū)域的360°視野的一部分，佩戴HMD 100的用戶可查看的區(qū)域515小于整個視野區(qū)域。

如圖5A所示，在激活UI菜單之前，HMD顯示主內容，該示例中，沒有導航UI條目的區(qū)域的360°視野的一部分用于完全浸入式的體驗?？刹榭磪^(qū)域515代表用戶的當前視野區(qū)域。由于圖像為球形的，用戶可以使用HMD 100轉動他的頭和/或身體以觀看該位置處的區(qū)域的不同部分，而不是像在網站查看模式下一樣進行鼠標點擊/敲擊。

如圖5B所示，當觸發(fā)菜單顯示時，HMD 100包括UI元素505，例如，來與顯示的內容相關聯(lián)的網頁的UI條目。而且在該實例中，背景內容變暗以將注意力集中在UI上。該示例中，用戶可以在顯示UI元素505的菜單之后將他或她的頭向左轉來觀看陣列的左側。

如圖5C所示，當選擇圖5B中的選項UI元素505時，HMD 100在用于UI的角范圍510內顯示選項520的列表作為與所選的UI元素505相關聯(lián)的UI元素。該示例中，因為用于菜單UI顯示的角范圍510不能容納所有選項520，選項520的列表被折疊為兩行。

圖6A-6D示出根據本公開的實施例的HMD 100上的UI元素的嵌套陣列的多個級別的顯示和用戶交互的示例。圖6A示出HMD 100的可查看區(qū)域610中顯示的工具陣列相關聯(lián)的UI元素605的顯示。如該示例中所示，HMD 100在前景中顯示UI元素605，背景中的內容變暗。

圖6B示出在選擇不同級別中的UI元素605之一之后子陣列UI元素615的顯示。該示例中，HMD 100向上移動母陣列UI元素605的顯示，并在可查看區(qū)域610的中央部分中顯示子陣列UI元素615。圖6C示出在選擇前一級別中的UI元素615之一之后子陣列UI元素620的顯示。該示例中，HMD 100向上移動母陣列UI元素615的顯示，并在可查看區(qū)域610的中央部分中顯示子陣列UI元素620。

圖6D示出在用于導航返回前一級別中的UI元素615之一的輸入之后母陣列UI元素615的顯示。該示例中，HMD 100向下移動子級陣列UI元素620的顯示，并在可查看區(qū)域610的中央部分中顯示母陣列UI元素615。例如，用戶可以使用基于姿態(tài)的控制(例如，向上或向下看)在多級別的陣列集合的級別之間導航。以該方式，本公開的UI框架允許顯示UI分級的軌跡以及UI陣列級別之間的輕松導航，以便改善HMD 100中的UI交互。

在一些示例中，可以第二種控制模式，其使得能夠獨立于內容視圖控制UI元素。第二種控制可以用于移動UI元素同時保持頭部移動控制的內容視圖靜態(tài)，以使得用戶可以將被移走的UI帶回他的視野。

圖7示出根據本公開的實施例的顯示用于HMD的UI的過程。例如，圖7中繪示的過程可以由圖1的HMD 100執(zhí)行。

該過程始于HMD 100產生用于HMD顯示的3D內容(步驟705)。例如，在步驟705，HMD 100可以是能夠安裝在耳機(諸如例如Gear耳機)中的諸如智能電話機或平板電腦的移動通信設備的顯示器，用于提供頭戴顯示體驗。在其他示例中，HMD 100自身可以是用于VR和AR應用兩者的耳機和顯示器二者。在一個或多個實施例中，佩戴HMD的用戶的可查看區(qū)域小于HMD 100的顯示器，例如，當HMD 100在移動通信設備上時。在步驟705，產生用于顯示的3D內容可以包括將移動通信設備的顯示器能夠顯示的2D內容轉換為三維內容用于在可查看區(qū)域中的HMD上顯示。該轉換可以響應于用于從內容顯示的常規(guī)2D模式切換到內容顯示的3D HMD模式的用戶輸入而發(fā)生或自動發(fā)生，例如當HMD 100檢測到HMD 100被放置在耳機內部時。該向3D的轉換可以涉及例如通過耳機中包括的光學元件將HMD的顯示分為左和右圖像用于圖像的立體組合。

HMD 100識別用于UI的角范圍內的UI元素的3D坐標(步驟710)。例如，在步驟710，HMD 100可以正常地僅顯示3D內容以提供浸入式3D體驗。然而，為了控制和操縱HMD 100，HMD 100在HMD 100的3D可顯示區(qū)域的角范圍內提供UI。例如，角范圍可以是包括用戶在佩戴HMD 100時能夠查看的區(qū)域的HMD 100能夠顯示的3D可查看區(qū)域內的平面(例如，3D空間中的x/z平面)。在一些實施例中，例如，UI的角范圍比用戶佩戴HMD 100時能夠查看的區(qū)域寬，以允許附加的UI元素被HMD 100實際地或虛擬地顯示而不立即對佩戴HMD 100的用戶可見，例如，允許在UI元素之間滾動。

HMD 100接著監(jiān)視UI用戶輸入(步驟715)。例如，在步驟715，HMD100可以監(jiān)視按鈕的按壓或，通過使用與啟動顯示相關聯(lián)的用戶的面部圖像檢測在與啟動UI的顯示相關聯(lián)的屏幕的特定區(qū)域上一段時間的眼睛注視來監(jiān)視與啟動UI的顯示相關聯(lián)的HMD的運動模式(例如，搖頭或點頭動作)。

如果HMD 100在步驟715檢測到UI用戶輸入，則HMD 100接著在識別的三維坐標處顯示UI元素(步驟720)。例如，在步驟720，HMD 100在 三維內容上顯示UI元素(例如，菜單條目)，其可以包括模糊背景3D內容。在一些實施例中，UI元素自身可以是三維的，因而分配的三維坐標可以包括HMD 100能夠顯示的3D空間內的“y”坐標值的范圍。在其他示例中，UI元素可以鑲嵌在3D內容中，例如，顯示的3D內容中的一些或全部可以在相對于UI元素的顯示位置的前景中和/或背景中。在步驟720，HMD 100在UI的角范圍內顯示UI元素。

如這里討論的，UI的角范圍可以稍微寬于佩戴HMD 100的用戶的可查看區(qū)域，因而允許在用戶的當前視野外部顯示附加的UI元素或已顯示的UI元素的部分，其可以基于例如用戶頭部運動來滾動。UI的角范圍的稍微寬的寬度允許用戶快速訪問全部已顯示的UI元素。另外，在各種實施例中，UI的角范圍是基于初始觸發(fā)UI時在HMD 100的顯示上用戶的查看位置。例如，HMD 100的輕微運動可以允許在角范圍內的UI元素的顯示/滾動，而較大的運動可以允許顯示在UI的角范圍外部的內容。因而，用戶將能夠“向外滾動”或“向外操控”已顯示的UI元素以查看上方/下方或左方/右方的內容，并在稍后返回UI的角范圍以再次查看并與顯示的UI元素交互。另外，每次觸發(fā)UI時，在360°3D空間內UI的角范圍的位置可以基于觸發(fā)UI時HMD 100的查看位置。如此，步驟710可以在每次啟動UI時執(zhí)行，或者可以利用基于啟動UI時的相對顯示位置適配的絕對3D坐標執(zhí)行一次。

之后，HMD 100監(jiān)視與頭部運動對應的HMD的運動(步驟725)。例如，在步驟725，HMD 100可以使用一個或多個傳感器(例如，陀螺儀、加速計、磁力計等)檢測HMD運動(例如，向左或向右、對角線、向上或向下、向前或向后、以上的任何組合等)，其對應于用戶在佩戴HMD 100時移動他或她的頭。

如果HMD 100在步驟725中檢測到與頭部運動對應的HMD的運動，則HMD 100接著基于該運動來移動HMD上UI元素的顯示(步驟730)。例如，在步驟730，HMD 100可以沿與HMD的運動方向對應的方向(例如，其相反方向)移動UI元素以提供UI元素在3D空間中的位置保持恒定而且用戶僅僅是沿不同的方向看的效果，而事實上HMD 100移動顯示器上顯示的條目的位置以提供VR/AR效果。

在一個示例中，HMD 100可以移動UI元素以在UI的角范圍中的UI元素之間滾動，例如用于顯示之前原本不可見的UI元素(例如，在用戶佩戴 HMD 100時的原有視野之外，諸如，例如左方或右方，上方或下方等)。

在另一示例中，HMD 100可以移動UI元素以顯示UI元素的嵌套陣列的附加級別。例如，當前顯示的UI元素可以是UI元素的嵌套陣列的多級別集合的一個級別。通過感測用戶移動他或她的頭(例如，向上或向下)，HMD 100可以基于感測的運動的方向而移動到UI元素的嵌套陣列的多級別集合中的母或子陣列的顯示。在一個實施例中，HMD 100可以在之前顯示的UI元素的陣列的位置顯示UI元素的母或子陣列，而且將UI元素的之前顯示的陣列的顯示移動到另一位置(例如，上方或下方)以示出在嵌套陣列的多級別集合中的嵌套陣列的各級別之間滾動。在一些實施例中，HMD 100可以響應于對顯示的陣列中的一個UI元素的用戶選擇而示出在嵌套陣列的多級別集合中的嵌套陣列的各級別之間滾動，例如，可以顯示與選擇的UI元素相關聯(lián)的子陣列。HMD 100可以以任何方式檢測用戶選擇，例如，不加限制地，基于預定義運動模式(pattern)、按鈕選擇、通過使用用戶的面部圖像檢測一段時間在特定UI元素上的眼睛注視等。

HMD 100繼續(xù)如上所述在顯示UI時處理運動，直到例如檢測到用于結束UI的顯示的輸入為止，之后結束UI顯示。例如，該輸入可以與上面參照步驟715討論的UI用戶輸入相同或類似，或者可以基于例如時間自動進行。

雖然圖7示出顯示用于HMD的UI的示例過程，但是可以對圖7進行各種修改。例如，雖然被示出為一系列步驟，但是每個圖中的各種步驟可以重疊、并行發(fā)生、以不同的次序發(fā)生或者多次發(fā)生。

圖8示出根據本公開的實施例的顯示用于HMD的3D UI的過程。在步驟810，HMD 100顯示3D內容。在步驟820，HMD 100基于3D內容識別3D坐標。

在步驟830，HMD 100檢測預定輸入?；谝韵轮辽僖粋€確定該預定輸入：選擇UI元素、移動焦點、按壓按鈕、HMD的預定運動模式、使用相機捕獲的面部圖像檢測在屏幕的特定區(qū)域上的一段時間的眼睛注視。

在步驟840，響應于檢測的輸入，HMD 100在位于識別的3D坐標處的3D內容上顯示UI元素。UI元素包括與3D內容相關的信息。

本公開的實施例提供用于HMD UI設計和用于轉換移動設備應用的UI以在具有立體3D顯示的HMD中使用的框架。本公開的實施例允許將用于2D移動設備屏幕的應用設計分解為元素，諸如動作條條目、主內容、導航條 條目等，并且重新組合用于3D HMD環(huán)境。

本公開的實施例提供立體3D顯示以模擬深度，但是可以類似地應用于2D顯示。本公開的實施例不僅使能顯示的內容的深度而且使能與UI元素的交換。例如，用戶可以“瀏覽”UI元素，或者可以在不同的深度顯示嵌套的陣列的不同級別。

本公開的實施例還將UI元素的移動反映到用戶的移動以使得UI運動感覺自然，而不是加速或者另外夸大或竄改(interpolated)。由于HMD的視野是沉浸式的，顯示元件的不自然運動的不自然效果在HMD中被放大，而且提供自然的相互作用。菜單顯示可以不與用戶位置或設備相關地固定，而是可以完全集成到3D場景中并隨之移動。

雖然已經參照示范性實施例描述本公開，但是本領域技術人員可以設想各種變更和修改。本公開旨在涵蓋落入所附權利要求的范圍內的這樣的變更和修改。

本申請中的描述不應當被理解為暗示任何特定元件、步驟、或功能是必須被包括在權利要求范圍內的必要元素。要求專利保護的主題的范圍僅由權利要求限定。