增強(qiáng)現(xiàn)實(shí)對(duì)象的身體鎖定放置的制作方法
【專利說(shuō)明】増強(qiáng)現(xiàn)實(shí)對(duì)象的身體鎖定放置
[0001]背景
[0002]增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備可以顯示被覆蓋在現(xiàn)實(shí)世界環(huán)境的視圖上的虛擬對(duì)象。增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備可采用各種形式，包括但不限于可穿戴設(shè)備，諸如頭戴式顯示器。頭戴式顯示器可包括透視顯示系統(tǒng)，該系統(tǒng)允許按照虛擬對(duì)象看上去存在于現(xiàn)實(shí)世界環(huán)境中的方式來(lái)顯示虛擬對(duì)象。
[0003]概述
[0004]公開(kāi)了涉及在增強(qiáng)現(xiàn)實(shí)環(huán)境中定位虛擬對(duì)象的實(shí)施例。例如，所公開(kāi)的一個(gè)實(shí)施例提供一種方法，該方法包括接收來(lái)自位于頭戴式顯示設(shè)備上的一個(gè)或多個(gè)傳感器的傳感器數(shù)據(jù)，該傳感器數(shù)據(jù)包括運(yùn)動(dòng)數(shù)據(jù)、位置數(shù)據(jù)和定向數(shù)據(jù)中的一個(gè)或多個(gè)，以及基于該傳感器數(shù)據(jù)，確定身體鎖定方向向量，該身體鎖定方向向量基于所估計(jì)的用戶身體面向的方向。該方法進(jìn)一步包括基于身體鎖定方向向量來(lái)定位所顯示的虛擬對(duì)象。
[0005]提供本概述以便以簡(jiǎn)化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。而且，所要求保護(hù)的主題不限于解決該公開(kāi)的任一部分中所注的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。
[0006]附圖簡(jiǎn)述
[0007]圖1A和1B示意性地示出根據(jù)本公開(kāi)的一實(shí)施例的增強(qiáng)現(xiàn)實(shí)環(huán)境中的身體鎖定虛擬對(duì)象的示例定位。
[0008]圖2A和2B示出根據(jù)本公開(kāi)的一實(shí)施例的基于更新后的身體鎖定方向向量的身體鎖定虛擬對(duì)象的示例重定位。
[0009]圖3示出描繪在增強(qiáng)現(xiàn)實(shí)環(huán)境中定位身體鎖定虛擬對(duì)象的方法的一實(shí)施例的流程圖。
[0010]圖4示出描繪使用最后有效運(yùn)動(dòng)向量(last significant mot1n vector)在增強(qiáng)現(xiàn)實(shí)環(huán)境中定位身體鎖定虛擬對(duì)象的方法的一實(shí)施例的流程圖。
[0011]圖5示意性地示出根據(jù)圖4的方法的示例向量確定。
[0012]圖6示出描繪基于周期性運(yùn)動(dòng)的檢測(cè)和評(píng)估來(lái)在增強(qiáng)現(xiàn)實(shí)環(huán)境中定位身體鎖定虛擬對(duì)象的方法的實(shí)施例的流程圖。
[0013]圖7A-D解說(shuō)可通過(guò)圖6的方法來(lái)檢測(cè)和評(píng)估的周期性運(yùn)動(dòng)的示例。
[0014]圖8示出了根據(jù)本公開(kāi)的計(jì)算設(shè)備的實(shí)施例的框圖。
[0015]詳細(xì)描述
[0016]可使用各種方法來(lái)將虛擬對(duì)象放置在增強(qiáng)現(xiàn)實(shí)圖像中的現(xiàn)實(shí)世界環(huán)境中。例如，在世界鎖定方法中，虛擬對(duì)象可被鎖定到現(xiàn)實(shí)世界環(huán)境中的參考位置，以使得虛擬對(duì)象的位置相對(duì)于現(xiàn)實(shí)世界環(huán)境保持恒定，不管從哪個(gè)位置或角度來(lái)觀看它。世界鎖定可被用來(lái)使虛擬對(duì)象的放置模仿現(xiàn)實(shí)物理對(duì)象的放置。
[0017]在頭部鎖定方法中，虛擬對(duì)象可被鎖定到用戶的頭部的位置和方向，以使得用戶的視野中的虛擬對(duì)象的位置看上去固定，而不管用戶所面向的方向。頭部鎖定可被用來(lái)例如在用戶的視野中顯示持久用戶界面圖標(biāo)，諸如顯示當(dāng)前時(shí)間的全息時(shí)鐘。
[0018]然而，這些方法可能無(wú)法遞送某些用戶體驗(yàn)。例如，對(duì)于諸如虛擬電視機(jī)等對(duì)象，頭戴式顯示設(shè)備的用戶可能希望保持該對(duì)象持久在視圖中，但是不必使其跟隨所有頭部移動(dòng)。而且，如果用戶界面中的光標(biāo)的位置是使用這種頭部移動(dòng)控制的，則光標(biāo)可能無(wú)法到達(dá)期望進(jìn)行選擇的對(duì)象，因?yàn)閷?duì)象可能與光標(biāo)在相同方向上移動(dòng)且移動(dòng)相同的量，如頭部移動(dòng)被解釋的。
[0019]相應(yīng)地，本文公開(kāi)了涉及增強(qiáng)現(xiàn)實(shí)環(huán)境中虛擬對(duì)象相對(duì)于用戶的身體的放置的實(shí)施例。簡(jiǎn)言之，所公開(kāi)的實(shí)施例可利用傳感器數(shù)據(jù)來(lái)基于例如所估計(jì)的用戶身體面向的方向來(lái)確定身體鎖定方向向量。虛擬對(duì)象隨后可基于身體鎖定方向向量而被定位。
[0020]圖1A和1B示意性地示出增強(qiáng)現(xiàn)實(shí)環(huán)境100的一實(shí)施例，其中虛擬對(duì)象可經(jīng)由頭戴式顯示設(shè)備(HMD) 102而被定位和觀看，該HMD被示出為被穿戴在用戶104的頭上。更具體地，圖1A和1B示出了“身體鎖定”方法，其中虛擬對(duì)象相對(duì)于所確定的身體鎖定向量是固定的。在這些示例中，虛擬對(duì)象基于所估計(jì)的用戶104身體方向而被空間定位。盡管提供了其中虛擬對(duì)象基于所估計(jì)的用戶104軀干方向被空間定位的示例，然而用戶104的身體的任何肢體或部位(例如頭部、手臂等)均可被用來(lái)定位虛擬對(duì)象。要領(lǐng)會(huì)，如本文所使用的“定位”可以指代虛擬對(duì)象的二維和三維定位。例如，虛擬對(duì)象(例如，用戶界面圖標(biāo))可以被二維定位以出現(xiàn)在用戶104視野中的平坦表面上，而三維定位的虛擬對(duì)象可看上去在視野中具有深度。
[0021]位于HMD 102上的傳感器系統(tǒng)105可輸出數(shù)據(jù)，該數(shù)據(jù)可被用來(lái)跟蹤用戶104頭部的位置和定向。傳感器系統(tǒng)105可包括例如慣性測(cè)量單元(MU)，并可包括一個(gè)或多個(gè)加速度計(jì)、陀螺儀、磁力計(jì)等。傳感器系統(tǒng)105可被配置成輸出傳感器數(shù)據(jù)，該傳感器數(shù)據(jù)包括與平移和/或旋轉(zhuǎn)用戶運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)、表示用戶的空間位置的位置數(shù)據(jù)、以及表示用戶的空間定向的定向數(shù)據(jù)。如下面參考圖8進(jìn)一步描述的，HMD 102可進(jìn)一步包括被配置成處理和解釋從傳感器系統(tǒng)105接收的數(shù)據(jù)以及其它數(shù)據(jù)的邏輯子系統(tǒng)。
[0022]如在圖1A和1B中看到的，HMD 102已基于從傳感器系統(tǒng)105接收的傳感器數(shù)據(jù)確定了頭部方向向量(HDV)106。在此示例中，HDV 106表示所估計(jì)的用戶104頭部所面向的方向。HDV 106被解說(shuō)為從用戶104頭部中心延伸，但是也可從用戶頭部上的任何其它適當(dāng)位置延伸。
[0023]HMD 102還已基于如經(jīng)由傳感器數(shù)據(jù)確定的所估計(jì)的用戶104身體面向的方向來(lái)確定身體鎖定方向向量(BLDV)108。確定HDV 106和BLDV 108之后，HDM相應(yīng)地在用戶104視野中定位了虛擬電視機(jī)(TV) 110。在圖1A中，向量HDV 106和BLDV 108具有相同方向，但是為了清楚被顯示為彼此略微偏移。
[0024]圖1B示出TV 110的顯示器對(duì)示例頭部運(yùn)動(dòng)的響應(yīng)。具體而言，用戶104頭部以在順時(shí)針?lè)较蛏闲D(zhuǎn)。相應(yīng)地，HDV 106被更新以反映已改變的用戶104頭部方向。然而，基于確定關(guān)于此頭部旋轉(zhuǎn)的傳感器數(shù)據(jù)更可能對(duì)應(yīng)于頭部運(yùn)動(dòng)而不是身體運(yùn)動(dòng)，BLDV 108不被更新。如此，全息TV 110的位置與圖1A的狀態(tài)相比保持不變。
[0025]另一方面，如果確定傳感器數(shù)據(jù)對(duì)應(yīng)于身體運(yùn)動(dòng)而不僅是頭部運(yùn)動(dòng)，則BLDV 108可被更新且身體鎖定虛擬對(duì)象被重新定位。圖2A和2B解說(shuō)被身體鎖定到用戶104的虛擬對(duì)象的示例重定位。首先，圖2A示出用戶104頭部在順時(shí)針?lè)较蛏闲D(zhuǎn)且HDV 106根據(jù)所確定的頭部方向被定向。全息TV 110保持根據(jù)BLDV 108來(lái)被定位，BLDV 108響應(yīng)于此頭部旋轉(zhuǎn)沒(méi)有被更新。
[0026]接著，在圖2B中，用戶104頭部已進(jìn)一步旋轉(zhuǎn)并且從而滿足旋轉(zhuǎn)閾值，從而提示BLDV 108的更新。相應(yīng)地，全息TV 110基于經(jīng)更新的BLDV 108在用戶104視野中被重定位。
[0027]旋轉(zhuǎn)閾值是基于人類解剖學(xué)可被應(yīng)用于頭部運(yùn)動(dòng)數(shù)據(jù)的試探法的示例。例如，旋轉(zhuǎn)閾值可被選擇以對(duì)應(yīng)于用戶104頭部的旋轉(zhuǎn)定向，其不太可能僅通過(guò)頸部移動(dòng)而發(fā)生。旋轉(zhuǎn)閾值可在開(kāi)發(fā)/制造期間被預(yù)先選擇和設(shè)置，或可經(jīng)由用戶校準(zhǔn)或其它用戶動(dòng)作來(lái)設(shè)置。其它試探法可類似被采用，如下面更詳細(xì)地描述的。
[0028]以此方式，增強(qiáng)現(xiàn)實(shí)顯示設(shè)備上的虛擬對(duì)象的身體鎖定定位可允許持久虛擬對(duì)象保留在用戶視野中或以其它方式相對(duì)于用戶身體在一致位置，同時(shí)還允許用戶經(jīng)由頭部姿勢(shì)與該持久對(duì)象交互。而且，身體鎖定方法可僅用運(yùn)動(dòng)傳感器實(shí)現(xiàn)。這可允許對(duì)象的身體鎖定定位無(wú)需其它傳感器而被實(shí)現(xiàn)，這些傳感器諸如面向內(nèi)或面向外的圖像傳感器，這可有助于減少HDM 102的成本、復(fù)雜度和功耗。
[0029]圖3示出描繪增強(qiáng)現(xiàn)實(shí)環(huán)境中定位身體鎖定虛擬對(duì)象的方法300的實(shí)施例的流程圖。方法300可在圖1的HMD 102上執(zhí)行，和/或在任何其它適當(dāng)增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備上執(zhí)行。
[0030]在302，方法300包括接收來(lái)自位于頭戴式顯示器上的一個(gè)或多個(gè)傳感器的傳感器數(shù)據(jù)，以及在304，基于該傳感器數(shù)據(jù)來(lái)估計(jì)用戶身體正面向的方向。在初始化HMD時(shí)，所估計(jì)的用戶身體方向可初始地與所估計(jì)的用戶頭部面向的方向一致。這種狀態(tài)在例如圖1A中表示。
[0031]在306，方法300包括基于所估計(jì)的身體方向來(lái)確定BLDV。BLDV可具有與所確定身體方向相同的方向，或可與所確定身體方向具有任何其它適當(dāng)關(guān)系。
[0032]