將增強現(xiàn)實體驗映射到各種環(huán)境的制作方法
【專利說明】將増強現(xiàn)實體驗映射到各種環(huán)境
[0001] 背景
[0002] 增強現(xiàn)實（AR)可被定義為其對象由一種或多種類型的數(shù)字（例如，計算機生成 的）內(nèi)容來補充的給定環(huán)境的場景。該數(shù)字內(nèi)容與場景中存在的各對象復合，從而使得在 感知該AR的用戶看來該數(shù)字內(nèi)容和這些對象共存在該同一空間中。換言之，該數(shù)字內(nèi)容疊 加在場景上，從而使得該場景的現(xiàn)實被該數(shù)字內(nèi)容人工地增強。由此，AR豐富并補充給定 現(xiàn)實，而不是完全替換該給定現(xiàn)實。AR通常被用于各種各樣的應用中。示例性AR應用包括 軍事AR應用、醫(yī)療AR應用、工業(yè)設計AR應用、制造AR應用、體育賽事AR應用、游戲和其他 類型的娛樂AR應用、教育AR應用、旅行AR應用和導航AR應用。
[0003] 概述
[0004] 提供本概述以便以簡化形式介紹將在以下的詳細描述中進一步描述的一些概念 選擇。本概述不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助 確定所要求保護的主題的范圍。
[0005] 本文中描述的增強現(xiàn)實（AR)體驗映射技術(shù)實施例一般涉及將AR體驗映射到各種 環(huán)境。在一個示例性實施例中，描述環(huán)境的場景的三維（3D)數(shù)據(jù)模型被輸入。對AR體驗 的描述也被輸入，其中該AR體驗描述包括要被映射到場景中的數(shù)字內(nèi)容集合以及定義數(shù) 字內(nèi)容在其被映射到場景中時的屬性的約束集合。3D數(shù)據(jù)模型隨后被分析以檢測該場景中 的可供屬性（affordance)，其中該分析生成檢測到的可供屬性的列表。檢測到的可供屬性 的列表和約束集合隨后被用來求解數(shù)字內(nèi)容集合到場景的基本上滿足約束集合的映射。
[0006] 在本文中描述的AR體驗映射技術(shù)的另一示例性實施例中，AR體驗被映射到變化 的環(huán)境。接收根據(jù)時間來描述環(huán)境的場景的3D數(shù)據(jù)模型。還接收對AR體驗的描述，其中 該描述包括要被映射到場景中的數(shù)字內(nèi)容集合以及定義數(shù)字內(nèi)容在其被映射到場景中時 的屬性的約束集合。3D數(shù)據(jù)模型隨后被分析以檢測在該場景中的可供屬性，其中該分析生 成檢測到的可供屬性的原始列表。檢測到的可供屬性的原始列表和約束集合隨后被用來求 解數(shù)字內(nèi)容集合到場景的基本上滿足約束集合的映射。無論何時場景中發(fā)生改變時，3D數(shù) 據(jù)模型都被重新分析以檢測在經(jīng)改變的場景中的可供屬性，其中該重新分析生成檢測到可 供屬性的經(jīng)修正的列表。該檢測到的可供屬性的經(jīng)修正的列表和約束集合隨后被用來求解 數(shù)字內(nèi)容集合到經(jīng)改變的場景的基本上滿足約束集合的映射。
[0007] 附圖簡述
[0008] 參考以下描述、所附權(quán)利要求書以及附圖，將更好地理解此處所描述的增強現(xiàn)實 (AR)體驗映射技術(shù)實施例的具體特征、方面和優(yōu)點，附圖中：
[0009] 圖IA是以簡化形式示出對象的最小3D邊界框以及該對象的相應非最小3D邊界 框的示例性實施例的透明透視圖的示圖。圖IB是示出在圖IA中例示的最小和非最小3D 邊界框?qū)嵤├耐该髡晥D的示圖。
[0010] 圖2是以簡化形式示出虛擬籃球框的最小三維（3D)邊界框及其上的垂直綁定面 的示例性實施例的示圖。
[0011] 圖3是以簡化形式示出虛擬燈的最小3D邊界框及其上的水平綁定面的示例性實 施例的示圖。
[0012] 圖4是以簡化形式示出用于將AR體驗映射到各種環(huán)境的過程的示例性實施例的 流程圖。
[0013] 圖5是以簡化形式示出用于將AR體驗映射到變化的環(huán)境的過程的示例性實施例 的流程圖。
[0014] 圖6是以簡化形式示出允許用戶將對給定AR體驗中的虛擬對象而言有可能的自 由度進行可視化的AR體驗測試技術(shù)的一個實施例的示圖。
[0015] 圖7是示出其上可實現(xiàn)如本文所述的AR體驗映射技術(shù)的各實施例和元素的通用 計算機系統(tǒng)的簡化示例的示圖。
[0016] 詳細描述
[0017] 在以下對增強現(xiàn)實（AR)體驗映射技術(shù)實施例（此后簡稱為映射技術(shù)實施例）的 描述中，對附圖進行了參考，附圖形成了實施例的一部分且在其中作為說明示出了可在其 中實踐該映射技術(shù)的具體實施例?？梢岳斫?，可以使用其它實施例并且可以做出結(jié)構(gòu)上的 改變而不背離映射技術(shù)實施例的范圍。
[0018] 還應注意，出于清楚的目的，在描述此處所描述的映射技術(shù)實施例中將依靠具體 的術(shù)語，但并不意味著這些實施例被限制于所選擇的具體術(shù)語。此外，應當理解的是，每個 具體術(shù)語包括以寬泛地類似方式工作以實現(xiàn)類似目的的所有其技術(shù)等同物。此處提及"一 個實施例"、或"另一實施"、或"示例性實施例"、或"替代實施例"、或"一個實施方式"、或"另 一實施方式"、或"示例性實施方式"、或"替代實施方式"意味著結(jié)合實施例或?qū)嵤┓绞矫枋?的特定特征、特定結(jié)構(gòu)或特定特性可被包括在映射技術(shù)的至少一個實施例中。在本說明書 中各個地方出現(xiàn)短語"在一個實施例中"、"在另一實施例中"、"在示例性實施例中"、"在替 代實施例中"、"在一個實施方式中"、在"另一實施方式中"、在"示例性實施方式中"、在"替 代實施方式中"不一定全都指同一實施例或?qū)嵤┓绞?，也不是與其他實施例/實施方式互斥 的單獨或替換實施例/實施方式。此外，表示映射技術(shù)的一個或多個實施例或?qū)嵤┓绞降?過程流的順序并不固有地指示任何特定順序，也不暗示對映射技術(shù)的任何限制。
[0019] 術(shù)語"AR體驗"在本文中用于指代在用戶感知AR時該用戶的體驗。術(shù)語"AR設計 者"在本文中用于指代為一個或多個AR應用設計給定AR體驗的一個或多個人。術(shù)語"虛擬 對象"在本文中用于指代現(xiàn)實世界環(huán)境或合成世界環(huán)境中不存在的計算機生成的對象。術(shù) 語"虛擬音頻源"在本文中用于指代現(xiàn)實世界環(huán)境或合成世界環(huán)境中不存在的計算機生成 的音頻。
[0020] 術(shù)語"傳感器"在本文中用于指代可用于生成表示給定現(xiàn)實世界環(huán)境的實況場景 (此后被簡稱為場景）的數(shù)據(jù)流的各種場景感測設備中的任何一者。一般來說并如此后 更詳細描述的，本文中描述的各映射技術(shù)實施例可使用一個或多個傳感器來捕捉場景，其 中這些傳感器是按規(guī)定的布置配置的。在本文中描述的映射技術(shù)的示例性實施例中，每一 傳感器都可以是任何類型的視頻捕捉設備，其示例在此后更詳細地描述。每一傳感器還可 以是靜止的（例如，該傳感器具有不隨時間改變的固定位置以及固定旋轉(zhuǎn)方向）或移動的 (例如，該傳感器的隨時間改變的位置和/或旋轉(zhuǎn)方向）。每一視頻捕捉設備都生成視頻數(shù) 據(jù)流，該視頻數(shù)據(jù)流包括場景的從視頻捕捉設備的特定幾何角度來看的圖像流。各映射技 術(shù)實施例還可使用用于捕捉場景的不同類型的視頻捕捉設備的組合。
[0021] 1.0 增強現(xiàn)實（AR)
[0022] 如此后所描述的，AR可被定義為其對象由一種或多種類型的數(shù)字內(nèi)容來補充的給 定環(huán)境的場景。在本文中描述的映射技術(shù)的示例性實施例中，該數(shù)字內(nèi)容包括一個或多個 虛擬對象，該虛擬對象可以是基于視頻的虛擬對象、或基于圖形的虛擬對象、或基于視頻的 虛擬對象和基于圖形的虛擬對象的組合。將領會，映射技術(shù)的替換實施例也是可能的，其中 該數(shù)字內(nèi)容還可包括文本、或一個或多個虛擬音頻源、或其組合等等。由于配備有攝像機和 運動傳感器的移動計算設備的增長以及前述AR豐富并補充給定現(xiàn)實而非完全替換該給定 現(xiàn)實的事實，AR應用變得越來越受歡迎。這樣的移動計算設備的示例包括但不限于智能電 話和平板計算機。
[0023] 將領會，現(xiàn)實世界提供各種各樣的環(huán)境，包括但不限于各種類型的室內(nèi)設置（諸 如小房間、走廊、和大廳等等）和各種類型的室外風景。將進一步領會，這樣的現(xiàn)實世界環(huán) 境可隨時間改變，其中給定環(huán)境中的改變可包括但不限于，環(huán)境中存在的對象數(shù)目的改變、 或環(huán)境中存在的對象類型的改變、或環(huán)境中存在的對象中的一者或多者的位置的改變、或 環(huán)境中存在的對象中的一者或多者的空間方向的改變或其任何組合。由于常規(guī)傳感器和計 算技術(shù)在近幾年內(nèi)的顯著進步，現(xiàn)在可在線構(gòu)建并存儲此各種類型的現(xiàn)實世界環(huán)境的動態(tài) 結(jié)構(gòu)。這樣的常規(guī)技術(shù)進步的示例包括但不限于以下。常規(guī)的圖像捕捉和圖像處理技術(shù)的 進步允許使用各種類型的移動傳感器（諸如移動攝像機和/或深度相機等等）來隨給定現(xiàn) 實環(huán)境改變以實況方式捕捉和映射該環(huán)境。常規(guī)的對象識別和捕捉到幾何結(jié)構(gòu)分析技術(shù)的 進步允許理解捕捉到的現(xiàn)實世界環(huán)境的一些語義。還將領會，可生成各種各樣的合成世界 (例如，人工）環(huán)境，該環(huán)境也可隨時間改變。
[0024] 2. 0將AR體驗映射到各種環(huán)境
[0025] -般來說并如此后更詳細描述的，本文中描述的各映射技術(shù)實施例涉及通過使用 混合離散-連續(xù)方法來求解非凸約束優(yōu)化函數(shù)來將給定AR體驗映射到各種環(huán)境。換言之， 各映射技術(shù)實施例可將給定AR體驗映射到各種現(xiàn)實世界環(huán)境或各種合成世界環(huán)境的場 景。
[0026] 出于包括但不限于以下的各種原因，本文中描述的各映射技術(shù)實施例是有利的。 如將從后面的更詳細描述中領會的，這些映射技術(shù)實施例可以按增強用戶對給定現(xiàn)實的當 前感知的方式來更改該給定現(xiàn)實。這些映射技術(shù)實施例還允許AR設計者設計出可被映射 到各種各樣的不同環(huán)境的AR體驗，其中在AR設計者正在設計該AR體驗時，這些環(huán)境對于 AR設計者而言可能是未知的。這些映射技術(shù)實施例還允許AR設計者設計出以下AR體驗： 該AR體驗可包括虛擬對象和該AR體驗將被映射到的各種環(huán)境中存在的對象之間的各種各 樣的復雜交互。這些映射技術(shù)實施例還可使AR體驗適配前述存在于現(xiàn)實世界和合成世界 兩者中的各種各樣的環(huán)境，并感測這些環(huán)境的改變，同時使該AR體驗的性質(zhì)保持完整。作 為示例而非限制，這些映射技術(shù)實施例可允許被投影在給定房間的墻上的AR游戲自適應 地在其他房間中重新布置其虛擬機對象，同時仍保持相同的游戲功能，該其他房間可具有 不同的尺寸、不同的幾何結(jié)構(gòu)或不同的外表。
[0027] 本文中描述的映射技術(shù)實施例還可與任何類型的AR體驗（諸如將被投影到不同 的房間幾何結(jié)構(gòu)上的視頻游戲、或?qū)σ苿訖C器人將在各種各樣的場景和這些場景內(nèi)的房間 中執(zhí)行的一個或多個活動的描述、或許多其他類型的AR體驗）一起操作。這些映射技術(shù)實 施例還是穩(wěn)健的、可在任何類型的環(huán)境中操作，并且可對給定環(huán)境中可能存在的任何類型 的對象操作。換言之，這些映射技術(shù)實施例在各種各樣的AR情景和相關(guān)環(huán)境中都是有效 的。這些映射技術(shù)實施例還可為任何類型的環(huán)境提供復雜的AR體驗。
[0028] 本文中描述的各映射技術(shù)實施例還可確保被映射到環(huán)境的場景中的數(shù)字內(nèi)容與 該環(huán)境一致。作為示例而非限制，這些映射技術(shù)實施例可確保被映射到場景中的每一個 虛擬對象均停留在該場景中的自由空間體內(nèi)，而不與該場景中存在的對象（諸如，地板、或 墻、或家具等等）相交。這些映射技術(shù)實施例還可確保從用戶的視野來看這些虛擬對象不 被場景中存在的任何對象遮擋。這些映射技術(shù)實施例還可確保被映射在場景中的虛擬對象 彼此一致。作為示例而非限制，這些映射技術(shù)實施例可確保虛擬對象的布置在物理上是看 似真實的（例如，這些映射技術(shù)實施例可確保這些虛擬對象在3D空間中不會彼此相交）。 可任選地，這些映射技術(shù)實施例還確保虛擬對象的布置對于感知該增強場景的用戶而言是 美觀的（例如，在其中虛擬椅子和虛擬桌子被添加到該場景的情形中，這些映射技術(shù)實施 例可確保虛擬椅子與虛擬桌子是等距的）。
[0029] 本文中描述的各映射技術(shù)實施例還可確保給定AR體驗自動地適配該AR體驗將被 映射到的環(huán)境的場景的任何改變。這樣的改變的示例可包括但不限于場景中的房間的結(jié)構(gòu) 在該AR體驗期間的改變（例如，房間中的現(xiàn)實人可在房間內(nèi)到處移動，或者房間中的現(xiàn)實 對象（諸如椅子）可被移動）、或AR應用的功能的改變（例如，場景中的一個或多個新現(xiàn)實 對象的外觀、或與AR應用并行運行的