Hmd上的混合世界/身體鎖定的hud的制作方法
【專利說明】HMD上的混合世界/身體鎖定的HUD
[0001] Μ?
[0002] 混合現(xiàn)實是一種允許將虛擬圖像與現(xiàn)實世界物理環(huán)境相混合的技術(shù)。用戶可佩戴 透視、頭戴式顯示（HMD)設(shè)備來觀看用戶的視野中所顯示的現(xiàn)實物體和虛擬物體的混合圖 像。用戶可例如通過執(zhí)行手、頭、或語音姿勢來進一步與虛擬物體進行交互，以移動物體、更 改它們的外觀或簡單地查看它們。
[0003] 可能希望在HMD上的虛擬平視顯示器中顯示常用信息，諸如舉例來說時間、日期、 無線信號強度、用戶選擇的圖標等。如果平視顯示（HUD)是頭部鎖定的，即它以與頭部相同 的速率移動，則用戶看到所顯示的虛擬物體的同一側(cè)，且它們可能看上去是二維的。此外， 使用視野中的空間來渲染HUM元素浪費了用于渲染其他虛擬內(nèi)容的寶貴區(qū)域。相反，如果 HUD是世界鎖定的元件，則用戶不得不記住他們將HUD留在了哪里。
[0004]
[0005] 本技術(shù)的實施例涉及用于在頭戴式顯示設(shè)備上呈現(xiàn)混合世界/身體鎖定的虛擬 HUD的系統(tǒng)和方法。除了顯示諸如HUD之類的虛擬物體之外，頭戴式顯示設(shè)備包括使得頭戴 式顯示設(shè)備能夠確定其在三維空間中的位置和視野以及虛擬物體的位置的處理單元和傳 感器。在一些實施例中，當(dāng)用戶在三維空間內(nèi)到處移動時，HUD可保持對用戶身體鎖定。例 如，HUD可保持在用戶的頭部前方的預(yù)定位置處且抬高超出水平線，使得當(dāng)用戶向前看或向 下看時該HUD落在用戶的視野之外且不可見。如此，用戶可對頭戴式顯示設(shè)備所呈現(xiàn)的混 合現(xiàn)實環(huán)境進行探索和交互，而沒有來自HUD的干擾。如下文所闡述的，在另外的示例中， HUD可被放置在其他預(yù)定義位置。
[0006] 當(dāng)用戶希望查看HUD和/或與HUD交互時，用戶可向上看，使得HUD出現(xiàn)在用戶的 視野內(nèi)達預(yù)定時間段。在那時，HUD可從身體鎖定的虛擬物體改變成世界鎖定的虛擬物體。 用戶然后能夠從HUD的不同的位置和視角來查看HUD并與之交互。當(dāng)用戶向下看或轉(zhuǎn)移目 光使得HUD不再位于用戶的視野內(nèi)達預(yù)定時間段時，HUD可切換回身體鎖定。
[0007] 在一示例中，本技術(shù)涉及一種用于向一個或多個用戶呈現(xiàn)混合現(xiàn)實體驗的系統(tǒng)， 所述系統(tǒng)包括：包括用于顯示虛擬物體的顯示單元的顯示設(shè)備；以及操作上耦合于所述顯 示設(shè)備的計算系統(tǒng)，所述計算系統(tǒng)生成所述虛擬物體以供在所述顯示設(shè)備上顯示，當(dāng)確定 所述虛擬物體不在所述顯示設(shè)備的視野內(nèi)時，所述計算系統(tǒng)將所述虛擬物體安置成相對于 所述顯示設(shè)備是身體鎖定的，而當(dāng)確定所述虛擬物體在所述顯示設(shè)備的視野內(nèi)時，所述計 算系統(tǒng)將所述虛擬物體安置成世界鎖定的。
[0008] 在另一示例中，本技術(shù)涉及一種用于呈現(xiàn)混合現(xiàn)實體驗的系統(tǒng)，所述系統(tǒng)包括：顯 示設(shè)備，所述顯示設(shè)備包括用于感測與所述顯示設(shè)備的位置相關(guān)的數(shù)據(jù)的第一組傳感器， 以及用于將虛擬物體顯示給所述顯示設(shè)備的用戶的顯示單元；以及操作上耦合于所述顯 示設(shè)備的計算系統(tǒng)，所述計算系統(tǒng)包括用于感測與所述用戶的位置相關(guān)的數(shù)據(jù)的第二組傳 感器，所述計算系統(tǒng)生成所述虛擬物體以供在所述顯示設(shè)備上顯示，當(dāng)用戶沒有關(guān)注所述 虛擬物體時，所述計算系統(tǒng)在所述顯示設(shè)備的視野之外將所述虛擬物體保持在身體鎖定位 置，而當(dāng)所述用戶關(guān)注所述虛擬物體時，所述計算系統(tǒng)在所述顯示設(shè)備的視野內(nèi)將所述虛 擬物體保持在世界鎖定位置。
[0009] 在又一示例中，本技術(shù)涉及一種用于向一個或多個用戶呈現(xiàn)混合現(xiàn)實體驗的方 法，所述方法包括：(a)當(dāng)用戶沒有關(guān)注虛擬物體時將所述虛擬物體的位置鎖定在相對于 所述用戶的身體的一部分的固定位置；以及（b)當(dāng)所述用戶沒有關(guān)注所述虛擬物體時，將 所述虛擬物體的位置鎖定在三維空間中的一固定位置。
[0010] 提供本概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。該 概述不旨在標識所要求保護的主題的關(guān)鍵特征或基本特征，也不旨在被用來幫助確定所要 求保護的主題的范圍。
[0011] 附圖簡沐
[0012] 圖1是用于向一個或多個用戶呈現(xiàn)混和現(xiàn)實環(huán)境的系統(tǒng)的一個實施例的示例組 件的圖示。
[0013] 圖2是頭戴式顯示單元的一個實施例的立體圖。
[0014] 圖3是頭戴式顯示單元的一個實施例的一部分的側(cè)視圖。
[0015] 圖4是頭戴式顯示單元的組件的一個實施例的框圖。
[0016] 圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個實施例的框圖。
[0017]圖6是結(jié)合頭戴式顯示單元使用的中樞計算系統(tǒng)的組件的一個實施例的框圖。
[0018] 圖7是可被用于實現(xiàn)本文所述的中樞計算系統(tǒng)的計算系統(tǒng)的一個實施例的框圖。
[0019] 圖8是在用戶沒有關(guān)注對用戶身體鎖定的虛擬物體時該虛擬物體的透視圖圖示。
[0020] 圖9是在用戶沒有關(guān)注對用戶身體鎖定的且隨用戶移動的虛擬物體時該虛擬物 體的俯視圖圖示。
[0021] 圖10是在用戶關(guān)注在三維空間中世界鎖定的虛擬物體時該虛擬物體的透視圖圖 不。
[0022] 圖11是在用戶關(guān)注在三維空間中世界鎖定的虛擬物體時用戶在該虛擬物體周圍 移動的透視圖圖示。
[0023] 圖12是示出了本系統(tǒng)的中樞計算系統(tǒng)、一個或多個處理單元和一個或多個頭戴 式顯示單元的操作和協(xié)作的流程圖。
[0024] 圖13和14是圖12的流程圖中所示的各步驟的示例的更詳細的流程圖。
[0025] 詳細描沐
[0026] 現(xiàn)在將參考附圖1-14描述本技術(shù)的實施例，各實施例一般涉及混合現(xiàn)實環(huán)境，其 中HUD在不被查看時是身體鎖定的且處于視野之外，而在被查看和/或交互時是世界鎖定 的。用于實現(xiàn)混合現(xiàn)實環(huán)境的系統(tǒng)可包括與中樞計算系統(tǒng)通信的移動顯示設(shè)備。移動顯示 設(shè)備可包括耦合到頭戴式顯示設(shè)備（或其他合適的裝置）的移動處理單元。
[0027] 頭戴式顯示設(shè)備可包括顯示元件。該顯示元件在一定程度上透明，使得用戶可透 過該顯示元件看到該用戶的視野（F0V)內(nèi)的現(xiàn)實世界物體。該顯示元件還提供將虛擬圖像 投影到該用戶的F0V中以使得所述虛擬圖像也可出現(xiàn)在現(xiàn)實世界物體旁邊的能力。該系統(tǒng) 自動地跟蹤用戶所看之處，從而該系統(tǒng)可確定將虛擬圖像插入到該用戶的F0V中的何處。 一旦該系統(tǒng)知曉要將該虛擬圖像投影至何處，就使用該顯示元件投影該圖像。
[0028] 在實施例中，中樞計算系統(tǒng)和一個或多個處理單元可以協(xié)作以構(gòu)建包括房間或其 他環(huán)境中的所有用戶、現(xiàn)實世界物體和虛擬三維物體的X、y、z笛卡爾位置的環(huán)境的模型。 由該環(huán)境中的用戶佩戴的每個頭戴式顯示設(shè)備的位置可以被校準到該環(huán)境的所述模型并 且被彼此校準。這允許該系統(tǒng)確定每個用戶的視線以及該環(huán)境的FOV。從而，可向每個用戶 顯示虛擬圖像，但是該系統(tǒng)從每個用戶的視角確定該虛擬圖像的顯示，從而針對來自或由 于該環(huán)境中的其他物體的任何視差以及遮擋來調(diào)整該虛擬圖像。該環(huán)境的所述模型（在本 文中被稱為場景圖）以及對用戶的FOV以及該環(huán)境中的物體的跟蹤可由協(xié)力或獨立工作的 中樞和移動處理單元來生成。
[0029] 用戶可以選擇與出現(xiàn)在用戶的F0V內(nèi)的HUD或其他虛擬物體進行交互。如本文所 使用的，術(shù)語"交互"涵蓋用戶與虛擬物體的身體交互和語言交互兩者。身體交互包括用戶 使用他的或她的手指、手、頭和/或（一個或多個）其他身體部位執(zhí)行由混合現(xiàn)實系統(tǒng)識別 為對該系統(tǒng)執(zhí)行預(yù)定義動作的用戶請求的預(yù)定義姿勢。這樣的預(yù)定義姿勢可包括但不限于 指向、抓握、以及推動虛擬物體。
[0030] 用戶還可以用他的或她的眼睛來與虛擬物體進行身體上的交互。在一些實例中， 眼睛注視數(shù)據(jù)標識用戶正關(guān)注于F0V中的何處，并且因而可以標識用戶正在看某一特定虛 擬物體。持續(xù)的眼睛注視，或者一次眨眼或眨眼序列，因而可以是用戶借助來選擇一個或多 個虛擬物體的身體交互。
[0031] 如本文所使用的，用戶簡單地看虛擬物體（諸如查看HUD中的內(nèi)容）是用戶與虛 擬物體的身體交互的進一步的示例。
[0032] 用戶可替代地或附加地使用語言姿勢來與虛擬物體交互，所述語言姿勢諸如舉例 來說被該混合現(xiàn)實系統(tǒng)識別為對該系統(tǒng)執(zhí)行預(yù)定義動作的用戶請求的說出的單詞或短語。 語言姿勢可連同身體姿勢一起被使用以與混合現(xiàn)實環(huán)境中的一個或多個虛擬物體交互。
[0033] 當(dāng)用戶在混合現(xiàn)實環(huán)境內(nèi)四處移動時，虛擬物體可保持為世界鎖定的。一個示例 是用戶的視野中的HUD。世界鎖定的虛擬物體可在混合現(xiàn)實環(huán)境中保持錨定并靜止，使得用 戶可以在世界鎖定的虛擬物體周圍移動并從不同的視角和距離來看到它們。
[0034] 根據(jù)本技術(shù)，當(dāng)用戶看向包括所述HUD的某一位置時，該HUD可變?yōu)槭鞘澜珂i定 的。另一方面，當(dāng)用戶不在看向所述HUD時，所述HUD可切換為對用戶來說是身體鎖定的。 也就是說，所述HUD(或其他身體鎖定的虛擬物體）的位置可被更改以便保持在相對于用戶 的身體的預(yù)定義位置中。
[0035] 在一些實施例中，混合世界/身體鎖定的HUD(在本文中也稱為"混合HUD"）可包 括各種各樣的有用信息，包括例如時間、日期、和/或頭戴式顯示設(shè)備的信號強度。然而，混 合HUD可包括各種各樣的其他內(nèi)容中的任何內(nèi)容，包括例如諸如文本、圖片以及照片之類 的靜態(tài)內(nèi)容，或者諸如視頻之類的動態(tài)內(nèi)容。
[0036] 圖1例示出用于通過將虛擬圖像21與用戶的F0V內(nèi)的現(xiàn)實內(nèi)容相融合來提供混 合現(xiàn)實體驗的系統(tǒng)10。圖1示出了佩戴頭戴式顯示設(shè)備2的單個用戶18,但理解到，一個 以上的用戶可以存在于混合現(xiàn)實環(huán)境中并從他們自己的角度查看相同的虛擬物體。如在圖 2和3中看到的，頭戴式顯示設(shè)備2可包括集成處理單元4。在其他實施例中，處理單元4 可以與頭戴式顯示設(shè)備2分開，且可經(jīng)由有線或無線通信來與頭戴式顯示設(shè)備2通信。
[0037] 在一個實施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶 可以透過顯示器進行查看，并且從而具有該用戶前方的空間的實際直接視圖。使用術(shù)語"實 際直接視圖"來指代直接用人眼看見現(xiàn)實世界物體的能力，而不是看見物體的被創(chuàng)建的圖 像表示。例如，通過眼鏡看房間允許用戶得到該房間的實際直接視圖，而在電視機上觀看房 間的視頻不是該房間的實際直接視圖。下面提供頭戴式顯示設(shè)備2的更多細節(jié)。
[0038] 處理單元4可包括用于操作頭戴式顯示設(shè)備2的計算能力中的許多能力。在一些 實施例中，處理單元4與一個或多個中樞計算系統(tǒng)12無線地（例如，WiFi、藍牙、紅外、或其 他無線通信手段）通信。如此后解釋的，中樞計算系統(tǒng)12可以在處理單元4的遠程提供， 使得中樞計算系統(tǒng)12和處理單元4經(jīng)由諸如LAN或WAN等無線網(wǎng)絡(luò)來通信。在進一步的 實施例中，中樞計算系統(tǒng)12可被省略以使用頭戴式顯示設(shè)備2和處理單元4來提供移動混 合現(xiàn)實體驗。
[0039] 中樞計算系統(tǒng)12可以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例實施例，中 樞計算系統(tǒng)12可以包括硬件組件和/或軟件組件，使得中樞計算系統(tǒng)12可被用于執(zhí)行諸 如游戲應(yīng)用、非游戲應(yīng)用等等之類的應(yīng)用。在一個實施例中，中樞計算系統(tǒng)12可包括諸如 標準化處理器、專用處理器、