全息圖快照網(wǎng)格的制作方法
【專利說明】全息圖快照網(wǎng)格
[0001]Μ?
[0002] 增強現(xiàn)實（AR)涉及提供經(jīng)增強的現(xiàn)實世界環(huán)境，其中用計算機生成的虛擬數(shù)據(jù) 來增強或修改對現(xiàn)實世界環(huán)境（或表示現(xiàn)實世界環(huán)境的數(shù)據(jù)）的感知。例如，可使用諸如 相機或話筒等傳感輸入設備實時地捕捉表示現(xiàn)實世界環(huán)境的數(shù)據(jù)，并用包括虛擬圖像和虛 擬聲音的計算機生成的虛擬數(shù)據(jù)來增強該數(shù)據(jù)。虛擬數(shù)據(jù)還可包括與現(xiàn)實世界環(huán)境有關的 信息，諸如與現(xiàn)實世界環(huán)境中的現(xiàn)實世界對象相關聯(lián)的文本描述。一些AR環(huán)境內(nèi)的對象可 包括現(xiàn)實對象（即，存在于特定的現(xiàn)實世界環(huán)境中的對象）和虛擬對象（即，不存在于特定 的現(xiàn)實世界環(huán)境中的對象）。
[0003] 為了將虛擬對象逼真地集成到AR環(huán)境中，AR系統(tǒng)通常執(zhí)行包括映射和本地化的 若干任務。映射涉及生成現(xiàn)實世界環(huán)境的映射的過程。本地化涉及相對于現(xiàn)實世界環(huán)境的 映射來定位特定的視角或姿態(tài)的過程。在一些情況下，AR系統(tǒng)可實時本地化在現(xiàn)實世界環(huán) 境內(nèi)移動的移動設備的姿態(tài)，以便確定與該移動設備相關聯(lián)的、需要隨該移動設備在現(xiàn)實 世界環(huán)境中移動而被增強的特定視圖。
[0004]
[0005] 描述了用于使用與現(xiàn)實世界環(huán)境、現(xiàn)實世界對象、和/或增強現(xiàn)實環(huán)境內(nèi)的虛擬 對象相關聯(lián)的快照網(wǎng)格空間來在增強現(xiàn)實環(huán)境中安置虛擬對象的技術?？煺站W(wǎng)格空間可包 括增強現(xiàn)實環(huán)境內(nèi)的一個或多個虛擬對象可安置于其中的二維或三維虛擬空間。在某些實 施例中，頭戴式顯示設備（HMD)可在增強現(xiàn)實環(huán)境內(nèi)標識一個或多個網(wǎng)格空間、檢測增強 現(xiàn)實環(huán)境內(nèi)的虛擬對象的安置、確定一個或多個網(wǎng)格空間的在其中安置虛擬對象的目標網(wǎng) 格空間、確定虛擬對象在目標網(wǎng)格空間內(nèi)的位置、以及基于虛擬對象在所述目標網(wǎng)格空間 內(nèi)的位置來在增強現(xiàn)實環(huán)境內(nèi)顯示所述虛擬對象。
[0006] 提供該概述以便以簡化形式介紹概念的選集，所述概念在以下詳細描述中被進一 步描述。該概述不意圖標識所要求保護的主題的關鍵特征或基本特征，也不意圖被用來幫 助確定所要求保護的主題的范圍。
[0007] 附圖簡沐
[0008] 圖1是可在其中實施所公開的技術的聯(lián)網(wǎng)計算環(huán)境的一個實施例的框圖。
[0009] 圖2A描繪了與第二移動設備通信的移動設備的一個實施例。
[0010] 圖2B描繪了HMD的一部分的一個實施例。
[0011] 圖3描繪了包括捕捉設備和計算環(huán)境的計算系統(tǒng)的一個實施例。
[0012] 圖4A描繪了在其中一個或多個虛擬對象可被安置的環(huán)境的一個實施例。
[0013] 圖4B描繪了包括快照網(wǎng)格空間的圖4A中的環(huán)境的一個實施例。
[0014] 圖4C描繪了包括放到圖4B的快照網(wǎng)格空間中的虛擬對象的圖4A中的環(huán)境的一 個實施例。
[0015] 圖4D描繪了包括第一個人和相對于第一個人安置的放射狀快照網(wǎng)格空間的增強 現(xiàn)實環(huán)境的一個實施例。
[0016] 圖5A是描述了用于使用快照網(wǎng)格空間在增強現(xiàn)實環(huán)境內(nèi)安置虛擬對象的方法的 一個實施例的流程圖。
[0017] 圖5B是描述了用于在增強現(xiàn)實環(huán)境內(nèi)標識快照網(wǎng)格空間的過程的一個實施例的 流程圖。
[0018] 圖5C是描述了用于確定虛擬對象被安置在快照網(wǎng)格空間內(nèi)的過程的一個實施例 的流程圖。
[0019] 圖6是移動設備的一個實施例的框圖。
[0020] 詳細描沐
[0021] 描述了用于使用與現(xiàn)實世界環(huán)境、現(xiàn)實世界對象、和/或增強現(xiàn)實環(huán)境內(nèi)的虛擬 對象相關聯(lián)的快照網(wǎng)格空間來在增強現(xiàn)實環(huán)境中定位虛擬對象的技術?？煺站W(wǎng)格空間可包 括增強現(xiàn)實環(huán)境內(nèi)的一個或多個虛擬對象可位于其中的二維或三維虛擬空間?？煺站W(wǎng)格 空間可以與特定房間或環(huán)境（例如，起居室或辦公室）相關聯(lián)?？煺站W(wǎng)格空間可以與現(xiàn)實 世界對象（例如，房間內(nèi)的墻或桌面表面的一部分）或虛擬對象（例如可移動虛擬公告板 或虛擬桌面）相關聯(lián)。在某些實施例中，移動設備，諸如頭戴式顯示設備（HMD)，可在增強 現(xiàn)實環(huán)境內(nèi)標識一個或多個網(wǎng)格空間、檢測虛擬對象在該增強現(xiàn)實環(huán)境內(nèi)的安置（或重新 安置）、確定一個或多個網(wǎng)格空間中的要在其中安置虛擬對象的目標網(wǎng)格空間、確定與目標 網(wǎng)格空間相關聯(lián)的網(wǎng)格間距、基于該網(wǎng)格間距確定虛擬對象在目標網(wǎng)格空間內(nèi)的位置和朝 向、并基于虛擬對象在該目標網(wǎng)格空間內(nèi)的位置和朝向來在該增強現(xiàn)實環(huán)境內(nèi)顯示該虛擬 對象。
[0022] 在某些實施例中，虛擬對象（例如，全息電視、全息網(wǎng)絡瀏覽器、或全息繪畫）可被 置于增強現(xiàn)實環(huán)境內(nèi)，并接著被自動快照到對應于該增強現(xiàn)實環(huán)境內(nèi)的快照網(wǎng)格空間的網(wǎng) 格位置。在某些情況中，快照網(wǎng)格空間可以與現(xiàn)實世界環(huán)境（例如，辦公室或臥室）相關聯(lián)， 并且虛擬對象可被安置在與該現(xiàn)實世界環(huán)境相關聯(lián)的頂層世界空間內(nèi)。在某些情況中，快 照網(wǎng)格空間可以與增強現(xiàn)實環(huán)境內(nèi)的現(xiàn)實世界對象（例如，桌子或墻壁）相關聯(lián)，并且虛擬 對象可相對于該現(xiàn)實世界對象或該現(xiàn)實世界對象的3D模型來安置。在此情況中，隨著現(xiàn)實 世界對象在增強現(xiàn)實環(huán)境內(nèi)移動，虛擬對象將跟隨現(xiàn)實世界對象移動。在一個示例中，現(xiàn)實 世界對象可包括人，并且虛擬對象可相對于人來安置（例如，虛擬對象可以安置在相對于 人移動的放射狀快照網(wǎng)格空間內(nèi)）。人可包括HMD的最終用戶或在增強現(xiàn)實環(huán)境內(nèi)的特定 人。在某些情況中，快照網(wǎng)格空間可以與增強現(xiàn)實環(huán)境內(nèi)的第二虛擬對象（例如，虛擬桌子 或虛擬墻壁）相關聯(lián)，并且虛擬對象可相對于該第二虛擬對象來安置。在此情況中，隨著第 二虛擬對象在增強現(xiàn)實環(huán)境內(nèi)移動，虛擬對象將跟隨（或相對于）第二虛擬對象移動。
[0023] 在某些環(huán)境中，快照網(wǎng)格空間內(nèi)的虛擬對象在檢測到安置事件時（例如在被HMD 的最終用戶安置并釋放后）可被自動快照到快照網(wǎng)格空間內(nèi)的最靠近的（最接近）網(wǎng)格 點。例如，如果HMD的最終用戶執(zhí)行虛擬對象復制和粘貼功能、虛擬對象剪切和粘貼功能、 或虛擬對象移動功能，那么安置事件可被觸發(fā)。在某些情況中，虛擬對象可快照其位置和相 對于快照網(wǎng)格空間內(nèi)的一組網(wǎng)格點（或錨點）的朝向。與快照網(wǎng)格空間相關聯(lián)的網(wǎng)格間距 (或網(wǎng)格點的密度）可基于HMD上運行的應用（例如，虛擬TV查看應用或虛擬網(wǎng)絡瀏覽器 應用）和/或虛擬對象相對于快照網(wǎng)格空間的大小的大小來確定（例如，相比于較大虛擬 對象，較小虛擬對象可能需要更高的網(wǎng)格間距密度）。網(wǎng)格間距還可基于已經(jīng)被安置在快照 網(wǎng)格空間內(nèi)（或相對于快照網(wǎng)格空間安置）的其它虛擬對象的大小來設置。在某些情況中， 網(wǎng)格間距在快照網(wǎng)格空間的各個區(qū)域內(nèi)可以是不統(tǒng)一的（例如，在網(wǎng)格空間的角或邊附近 或在其中更可能發(fā)生虛擬對象安置的網(wǎng)格空間的區(qū)域中可提供較密的網(wǎng)格點）。
[0024] 在某些實施例中，快照網(wǎng)格空間可包括可調(diào)節(jié)和/或可移動虛擬空間。例如，附屬 于工作環(huán)境中的辦公桌的快照網(wǎng)格空間可被重新定位或移動（例如，被最終用戶抓取并拖 拽）到該工作環(huán)境內(nèi)的不同的桌子或該工作環(huán)境內(nèi)的墻壁。在另一個示例中，（例如，在從 第一公寓移動到第二公寓后）快照網(wǎng)格空間可從第一公寓內(nèi)的墻壁的一部分剪切并粘貼 到第二公寓內(nèi)的墻壁的一部分。在某些情況中，快照網(wǎng)格空間及其網(wǎng)格間距可被改變大小 或調(diào)整（例如，被查看該增強現(xiàn)實環(huán)境的HMD的最終用戶放大或縮?。┮匀葸m在現(xiàn)實世界 對象和/或虛擬對象的錨定的維度內(nèi)。
[0025] 關于使用HMD在三維增強現(xiàn)實環(huán)境內(nèi)放置和/或安排虛擬對象的一個問題是因 HMD提供的視圖的單參照點，準確安置可能是困難的。此外，在增強現(xiàn)實環(huán)境內(nèi)虛擬對象位 置隨時間的漂移可能通過打破增強現(xiàn)實環(huán)境內(nèi)的虛擬對象的假象而損害增強現(xiàn)實體驗。因 此，需要改善在增強現(xiàn)實環(huán)境內(nèi)的虛擬對象的安置。
[0026] 圖1是可在其中實施所公開的技術的聯(lián)網(wǎng)計算環(huán)境100的一個實施例的框圖。聯(lián) 網(wǎng)計算環(huán)境1〇〇包括通過一個或多個網(wǎng)絡180互連的多個計算設備。所述一個或多個網(wǎng)絡 180允許一特定計算設備連接到另一計算設備以及與其通信。所描繪的計算設備包括移動 設備11、移動設備12、移動設備19和服務器15。在一些實施例中，所述多個計算設備可以包 括未示出的其他計算設備。在一些實施例中，所述多個計算設備可以包括比圖1所示的計 算設備的數(shù)目更多或更少的計算設備。所述一個或多個網(wǎng)絡180可以包括諸如企業(yè)專用網(wǎng) 絡之類的安全網(wǎng)絡、諸如無線開放式網(wǎng)絡之類的不安全網(wǎng)絡、局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)、 以及因特網(wǎng)。所述一個或多個網(wǎng)絡180中的每個網(wǎng)絡可以包括集線器、網(wǎng)橋、路由器、交換 機、以及有線傳輸介質，比如有線網(wǎng)絡或直接線連接。
[0027] 可包括補充信息服務器或應用服務器的服務器15可允許客戶機從該服務器下載 信息（例如，文本、音頻、圖像和視頻文件）或者執(zhí)行與存儲在該服務器上的特定信息相關 的搜索查詢。一般而言，"服務器"可以包括在客戶端-服務器關系中充當主機的硬件設備、 或者與一個或多個客戶機共享資源或為所述一個或多個客戶機執(zhí)行工作的軟件過程。客戶 端-服務器關系下的計算設備之間的通信可以通過由客戶端向服務器發(fā)送要求訪問特定 資源或執(zhí)行特定工作的請求來發(fā)起。服務器隨后可以執(zhí)行所請求的動作并且將響應發(fā)送回 客戶端。
[0028] 服務器15的一個實施例包括網(wǎng)絡接口 155、處理器156、存儲器157和翻譯器158， 所有這些都彼此通信。網(wǎng)絡接口 155允許服務器15連接到一個或多個網(wǎng)絡180。網(wǎng)絡接口 155可以包括無線網(wǎng)絡接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡接口。處理器156允許服務器15 執(zhí)行存儲在存儲器157中的計算機可讀指令以執(zhí)行在此討論的過程。翻譯器158可包括用 于將第一文件格式的第一文件翻譯成第二文件格式的對應第二文件的映射邏輯（即，第二 文件可以是經(jīng)翻譯的版本的第一文件）?？墒褂梦募成渲噶顏砼渲梅g器158,該文件映 射指令提供用于將第一文件格式的文件（或其部分）映射成第二文件格式的對應文件的指 令。
[0029] 移動設備19的一個實施例包括網(wǎng)絡接口 145、處理器146、存儲器147、相機148、 傳感器149、以及顯示器150,所有這些都彼此通信。網(wǎng)絡接口 145允許移動設備19連接到 一個或多個網(wǎng)絡180。網(wǎng)絡接口 145可以包括無線網(wǎng)絡接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡 接口。處理器146允許移動設備19執(zhí)行存儲在存儲器147中的計算機可讀指令以執(zhí)行在此 討論的過程。相機148可以捕捉色彩圖像和/或深度圖像。傳感器149可生成與移動設備 19相關聯(lián)的運動和/或朝向信息。在一些情況下，傳感器149可包括慣性測量單元（頂1])。 顯示器150可顯示數(shù)字圖像和/或視頻。顯示器150可包括透視顯示器。
[0030] 在一些實施例中，包括網(wǎng)絡接口 145、處理器146、存儲器147、相機148以及傳感器 149的移動設備19的各組件可被集成在單芯片基片上。在一示例中，網(wǎng)絡接口 145、處理器 146、存儲器147、相機148、傳感器149可被集成成為片上系統(tǒng)（S0C)。在其他實施例中，網(wǎng) 絡接口 145、處理器146、存儲器147、相機148、傳感器149可被集成在單個封裝中