虛擬對象與表面的交互的制作方法
【專利說明】虛擬對象與表面的交互
[0001]背景
[0002]增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備可顯示疊放在包括真實(shí)對象和現(xiàn)實(shí)世界表面(例如墻壁、桌子等)的環(huán)境上的虛擬或全息對象。例如，頭戴式顯示設(shè)備可包括透視顯示系統(tǒng)，該透視顯示系統(tǒng)被配置成顯示圖像但不遮蔽透過透視顯示系統(tǒng)可看到的現(xiàn)實(shí)世界背景。
[0003]概述
[0004]公開了用于在包括顯示系統(tǒng)的增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備上操作用戶界面的實(shí)施例。例如，一個公開的實(shí)施例提供了一種方法，包括經(jīng)由所述顯示系統(tǒng)將虛擬對象顯示為自由漂浮，檢測將所述對象顯示為附連到表面的觸發(fā)，以及響應(yīng)于所述觸發(fā)，經(jīng)由所述顯示系統(tǒng)將所述虛擬對象顯示為附連到所述表面。方法可進(jìn)一步包括檢測使所述虛擬對象與所述表面分離的觸發(fā)，以及響應(yīng)于使所述虛擬對象與所述表面分離的觸發(fā)，使所述虛擬對象與所述表面分離并且將所述虛擬對象顯示為自由漂浮。
[0005]提供本概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。而且，所要求保護(hù)的主題不限于解決該公開的任一部分中所注的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。
[0006]附圖簡述
[0007]圖1A和1B示出對增強(qiáng)現(xiàn)實(shí)計(jì)算系統(tǒng)的示例使用環(huán)境的示意描繪。
[0008]圖2示意性示出了增強(qiáng)現(xiàn)實(shí)顯示設(shè)備的一個示例實(shí)施例。
[0009]圖3是圖2的顯示設(shè)備的框圖。
[0010]圖4-10示出根據(jù)本公開的增強(qiáng)現(xiàn)實(shí)顯示設(shè)備用戶與增強(qiáng)現(xiàn)實(shí)環(huán)境中的虛擬對象的示例交互。
[0011]圖11示出根據(jù)本公開的用于操作增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備上的用戶界面的示例方法。
[0012]圖12示意性地示出了示例計(jì)算系統(tǒng)。
[0013]詳細(xì)描述
[0014]透視顯示系統(tǒng)，例如頭戴式顯示(HMD)設(shè)備或其他近眼顯示設(shè)備可以用于向用戶呈現(xiàn)背景場景的增強(qiáng)現(xiàn)實(shí)視圖。此類增強(qiáng)的現(xiàn)實(shí)環(huán)境可以包括用戶可經(jīng)由用戶輸入(諸如，語音輸入、姿勢輸入、眼睛跟蹤輸入、運(yùn)動輸入和/或任何其他合適的輸入類型)與其交互的各種虛擬對象和真實(shí)對象。
[0015]透視顯示系統(tǒng)的用戶可能想要某種類型的虛擬對象以在不變得在用戶的視野中過于侵?jǐn)_的情況下保留在用戶的視野中。例如，增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備的用戶可能想要讓漂浮的全息電視在用戶在環(huán)境中執(zhí)行各種任務(wù)時(shí)跟隨在用戶周圍?？稍谟脩舻囊曇爸邢蛴脩舫志蔑@示的其它示例虛擬對象可包括漂浮的全息機(jī)器人助手或控制面板界面，它們允許用戶改變環(huán)境的屬性，以例如改變房間的顏色。
[0016]為了將這樣的虛擬對象保持在用戶的持久視野中而同時(shí)減少該虛擬對象在用戶的視野中的侵?jǐn)_性，在一些示例中，持久虛擬對象可被附連到環(huán)境中的現(xiàn)實(shí)世界表面，例如附連到墻壁上，使得虛擬對象可漂浮在墻壁的表面上。例如，雖然被顯示在表面上，但是虛擬對象的旋轉(zhuǎn)可與該表面對準(zhǔn)，并且可在表面上滑動到對于用戶舒服的觀看位置。類似的，虛擬對象還可被附連到虛擬表面，諸如虛擬墻壁或其它虛擬環(huán)境結(jié)構(gòu)。
[0017]然而，在管理這類持久虛擬對象與增強(qiáng)現(xiàn)實(shí)環(huán)境中的現(xiàn)實(shí)世界表面的交互中可能出現(xiàn)各種問題。例如，可能期望準(zhǔn)許用戶控制何時(shí)以及如何將虛擬對象附連到現(xiàn)實(shí)世界表面。此外，虛擬對象到現(xiàn)實(shí)世界表面的附連可取決于虛擬對象的類型和狀態(tài)以及現(xiàn)實(shí)世界表面的特性。另外，當(dāng)持久虛擬對象在現(xiàn)實(shí)世界環(huán)境中移來移去時(shí)，在將虛擬對象從自由漂浮狀態(tài)轉(zhuǎn)變到表面附連狀態(tài)方面以及在將虛擬對象從環(huán)境中的一個位置轉(zhuǎn)變到另一位置方面可能存在各種環(huán)境方面的挑戰(zhàn)。
[0018]因此，公開了與促成持久虛擬對象在增強(qiáng)現(xiàn)實(shí)環(huán)境中移動以及管理虛擬對象與增強(qiáng)現(xiàn)實(shí)環(huán)境中的現(xiàn)實(shí)世界表面的附連有關(guān)的各實(shí)施例。簡而言之，公開的實(shí)施例涉及將虛擬對象作為自由漂浮顯示在增強(qiáng)現(xiàn)實(shí)顯示設(shè)備上，并且響應(yīng)于將該對象顯示為附連到(真實(shí)或虛擬的)表面的觸發(fā)，將虛擬對象顯示為附連到該表面。觸發(fā)可包括任何合適的條件或事件，包括但不限于用戶輸入以及虛擬對象和現(xiàn)實(shí)世界表面之間的閾值距離。雖然以下呈現(xiàn)的實(shí)施例是在現(xiàn)實(shí)世界表面的上下文中描述的，但是將會理解，所解說的概念可被用于任何合適的表面，無論是真實(shí)的還是虛擬的。類似的，雖然各實(shí)施例是在透視頭戴式顯示系統(tǒng)中描述的，但是將會理解任何其它合適類型的增強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)可被使用。示例包括但不限于具有相機(jī)和被配置成顯示相機(jī)所獲取的圖像數(shù)據(jù)的顯示器的便攜式設(shè)備(例如，平板計(jì)算機(jī)、智能手機(jī)、膝上型計(jì)算機(jī)等)，其中增強(qiáng)現(xiàn)實(shí)圖像可以虛擬對象與圖像傳感器所獲取的現(xiàn)實(shí)世界圖像數(shù)據(jù)合成在一起的形式顯示在顯示器上。
[0019]圖1A和1B示出了頭戴式顯示設(shè)備104的實(shí)施例的使用環(huán)境的示例實(shí)施例，其中環(huán)境100采用了客廳的形式。應(yīng)當(dāng)理解，環(huán)境100是出于示例的目的被呈現(xiàn)的，并且使用環(huán)境可采取任何其它合適的形式。
[0020]用戶106正在透過透視頭戴式顯示設(shè)備104形式的增強(qiáng)現(xiàn)實(shí)計(jì)算設(shè)備查看客廳房間并且可以經(jīng)由顯示設(shè)備104的用戶界面與增強(qiáng)的環(huán)境進(jìn)行交互。圖1A和1B還描繪了用戶視野102，其包括通過顯示設(shè)備104可查看到的部分環(huán)境，并且因此所述部分環(huán)境可用經(jīng)由顯示設(shè)備104所顯示的虛擬圖像來增強(qiáng)。在某些實(shí)施例中，用戶視野102實(shí)質(zhì)上可以與用戶的實(shí)際視界同延，而在其它實(shí)施例中，用戶視野102可以占據(jù)比用戶的實(shí)際視界更小的部分。
[0021]增強(qiáng)環(huán)境可包括多個現(xiàn)實(shí)世界表面和現(xiàn)實(shí)世界對象。例如，如圖1A和1B中所示，環(huán)境包括沙發(fā)114、桌子116、第一墻壁或表面118、第二墻壁120、以及第三墻壁122。此外，環(huán)境100中的現(xiàn)實(shí)世界表面可包括各種表面間斷，諸如拐角、門、窗、耦合到或鄰近表面的現(xiàn)實(shí)世界對象等。圖1A和1B中示出的示例表面間斷包括墻壁120與表面118的對接處的拐角或間斷124、表面118和墻壁122的對接處的拐角126、以及墻壁122中的門128。應(yīng)當(dāng)理解，圖1A和1B中示出的示例現(xiàn)實(shí)世界表面是非限制性示例。其它示例現(xiàn)實(shí)世界表面可包括外表面，例如建筑物的側(cè)面、購物中心內(nèi)的玻璃店面、以及任何其他適當(dāng)?shù)谋砻妗?br>[0022]如下面將要更詳細(xì)描述的，顯示設(shè)備104可以包括一個或多個朝外的圖像傳感器(例如，二維相機(jī)和/或深度相機(jī))，其配置為在用戶導(dǎo)航環(huán)境時(shí)獲取表示用戶環(huán)境100的圖像數(shù)據(jù)(例如，彩色/灰度圖像、深度圖像/點(diǎn)云圖像等)。這種圖像數(shù)據(jù)可被用于獲取與環(huán)境布局(例如，三維表面圖等)和其中包含的對象(諸如，沙發(fā)114、桌子116、墻壁120、表面118、墻壁122、門128、以及拐角或間斷126和124)有關(guān)的信息。此外，圖像數(shù)據(jù)可被用于獲取與環(huán)境中的現(xiàn)實(shí)世界表面的特性或?qū)傩杂嘘P(guān)的信息?，F(xiàn)實(shí)世界表面的示例特性或?qū)傩钥砂伾?、紋理、形狀、大小等。如以下更詳細(xì)描述的，這樣的表面特性或?qū)傩钥杀挥糜谝?guī)定虛擬對象如何與環(huán)境中的現(xiàn)實(shí)世界表面對接的策略中。
[0023]如以上提到的，在一些示例中，一個或多個虛擬對象可經(jīng)由透視顯示設(shè)備104顯示給用戶106，使得當(dāng)用戶在環(huán)境中移來移去或環(huán)顧四周時(shí)，該一個或多個虛擬對象保留在用戶106的視野102中。例如，圖1A示出經(jīng)由透視顯示設(shè)備104向用戶106顯示為自由漂浮在環(huán)境100中的示例虛擬對象130。例如，自由漂浮的虛擬對象130可以是自由漂浮的全息電視，其基于用戶106在環(huán)境100內(nèi)的位置和/或基于用戶106的凝視或聚焦132在環(huán)境中的位置而在環(huán)境中移來移去。自由漂浮的虛擬對象130可以是任何適合的虛擬對象，例如諸如漂浮的虛擬電視或家居自動化控制面板之類的平面對象，或者諸如花、植物、雕塑、藝術(shù)品等之類的非平面3-D虛擬對象。
[0024]圖1A示出顯示用戶聚焦132在環(huán)境100中的位置處的自由漂浮虛擬對象130。在一些示例中，自由漂浮的虛擬對象130可持久地顯示在用戶聚焦132的位置處，即使當(dāng)用戶聚焦位置發(fā)生變化時(shí)。例如，如果用戶106將聚焦