在增強現(xiàn)實系統(tǒng)中動態(tài)保留情景要素的制作方法
【專利說明】在増強現(xiàn)實系統(tǒng)中動態(tài)保留情景要素
優(yōu)先權申請的所有主題通過引用的方式以這些主題沒有與本文不一致的程度并入本文中。
技術領域
[0001]本說明書涉及數據采集、數據處理和數據顯示技術。

【發(fā)明內容】

[0002]—實施例提供了一種系統(tǒng)。在一個實施方案中，系統(tǒng)包括但不限于:用于接收與增強現(xiàn)實設備的視野的項目、方面或要素中的至少一個相關聯(lián)的用戶請求的電路；用于確定至少一個項目、方面或要素的第一呈現(xiàn)(presentat1n)相對于所述增強現(xiàn)實設備的所述視野具有能用于用戶交互的有限時間段的電路；以及用于響應于用于確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于交互的有限時間段的電路的至少一個輸出來維持所述第一呈現(xiàn)或提供基本相似的第二呈現(xiàn)中的至少一種的電路。除了前述，在構成本公開的部分的權利要求書、附圖以及文本中還描述了其它系統(tǒng)方面。
[0003]在一個或多個不同的方面，關聯(lián)的系統(tǒng)包括但不限于，用于實現(xiàn)本文談及的方法方面的電路和/或編程；該電路/或編程實際上可以是被配置成根據系統(tǒng)設計者的設計選擇實現(xiàn)本文談及的方法方面的硬件、軟件和/或固件的任意組合。
[0004]在一個或多個不同的方面，關聯(lián)的系統(tǒng)包括但不限于，用于實現(xiàn)本文談及的方法方面的計算裝置和/或編程；該計算裝置/或編程實際上可以是被配置成根據系統(tǒng)設計者的設計選擇實現(xiàn)本文談及的方法方面的硬件、軟件和/或固件的任意組合。
[0005]—實施例提供了一種計算機實施的方法。在一個實施方案中，該方法包括但不限于:接收與增強現(xiàn)實設備的視野的項目、方面或要素中的至少一個相關聯(lián)的用戶請求；確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于用戶交互的有限時間段；以及響應于確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于交互的有限時間段來維持所述第一呈現(xiàn)或提供基本相似的第二呈現(xiàn)中的至少一種。除了前述，在構成本公開的部分的權利要求書、附圖以及文本中還描述了其它方法方面。
[0006]—實施例提供了包括計算機程序產品的制品。在一個實施方案中，該制品包括但不限于由一個或多個指令配置的信號承載介質，該一個或多個指令涉及:接收與增強現(xiàn)實設備的視野的項目、方面或要素中的至少一個相關聯(lián)的用戶請求；確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于用戶交互的有限時間段；以及響應于確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于交互的有限時間段來維持所述第一呈現(xiàn)或提供基本相似的第二呈現(xiàn)中的至少一種。除了前述，在構成本公開的部分的權利要求書、附圖以及文本中還描述了其它計算機程序產品方面。
[0007]—實施例提供了一種系統(tǒng)。在一個實施方案中，該系統(tǒng)包括但不限于計算設備和指令。該指令在計算設備上執(zhí)行時使該計算設備來:接收與增強現(xiàn)實設備的視野的項目、方面或要素中的至少一個相關聯(lián)的用戶請求；確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于用戶交互的有限時間段；以及響應于確定至少一個項目、方面或要素的第一呈現(xiàn)相對于所述增強現(xiàn)實設備的所述視野具有能用于交互的有限時間段來維持所述第一呈現(xiàn)或提供基本相似的第二呈現(xiàn)中的至少一種。除了前述，在構成本公開的部分的權利要求書、附圖以及文本中還描述了其它系統(tǒng)方面。
[0008]除上述之外，在教導，例如，本公開的文本(例如，權利要求書和/或【具體實施方式】)和/或附圖中闡述并描述了各種其他方法和/或系統(tǒng)和/或程序產品方面。
[0009]上述內容是概要并且因此可以包含細節(jié)的簡化、概括、包含和/或省略；因此，本領域技術人員應當理解該概要僅僅是說明性的，并且不是旨在以任何方式限制。通過本文闡述的教導將明白本文描述的設備和/或方法和/或其他主題的其他方面、特征和優(yōu)點。
【附圖說明】
[0010]現(xiàn)在參照圖1，圖示了增強現(xiàn)實設備的多個實例。
[0011]圖2圖示了增強現(xiàn)實設備及其照相機的視角的真實世界視野。
[0012]圖3圖示了一個實施例，其中用戶與系統(tǒng)交互以選擇、拖動或放置書的增強現(xiàn)實呈現(xiàn)。
[0013]圖4圖示了在增強現(xiàn)實系統(tǒng)中用于選擇、拖拽和放置的系統(tǒng)的實例，其中實施例或許可以在設備中實施并且/或者通過網絡實施，這可以作為用于介紹本文所述的一種或多種方法和/或設備的背景。
[0014]現(xiàn)在參照圖5，示出了表示與在增強現(xiàn)實系統(tǒng)中選擇、拖拽和放置相關的示例的操作的操作流程的實例，這可以用作介紹本文所述的一種或多種方法和/或設備的背景。
[0015]圖6圖示了圖5的示例的操作流程的可供選擇的實施例。
[0016]圖7圖示了圖5的示例的操作流程的可供選擇的實施例。
[0017]圖8圖示了圖5的示例的操作流程的可供選擇的實施例。
[0018]圖9圖示了圖5的示例的操作流程的可供選擇的實施例。
[0019]圖10圖示了圖5的示例的操作流程的可供選擇的實施例。
[0020]圖11圖示了圖5的示例的操作流程的可供選擇的實施例。
[0021]圖12圖示了圖5的示例的操作流程的可供選擇的實施例。
[0022]現(xiàn)在參照圖13，示出了表示與在增強現(xiàn)實系統(tǒng)中選擇、拖拽和放置相關的示例的操作的操作流程的實例，這可以用作介紹本文所述的一種或多種方法和/或設備的背景。
[0023]現(xiàn)在參照圖14，示出了表示與在增強現(xiàn)實系統(tǒng)中選擇、拖拽和放置相關的示例的操作的操作流程的實例，這可以用作介紹本文所述的一種或多種方法和/或設備的背景。
[0024]圖15圖示了在增強現(xiàn)實系統(tǒng)中用于動態(tài)保留情景要素的系統(tǒng)的實例，其中實施例或許可以在設備中實施并且/或者通過網絡實施，這可以作為用于介紹本文所述的一種或多種方法和/或設備的背景。
[0025]圖16-18圖示了不能動態(tài)保留增強現(xiàn)實系統(tǒng)中的情景要素的情形。示出了用戶嘗試并未能選擇顯示的移動的人的實例。
[0026]圖19-23圖示了能動態(tài)保留增強現(xiàn)實系統(tǒng)中的情景要素的情形。示出了用戶嘗試并成功選擇并與之交互的顯示的(初始)移動的人的實例。
[0027]現(xiàn)在參照圖24，示出了表示與在增強現(xiàn)實系統(tǒng)中動態(tài)保留情景要素相關的示例的操作的操作流程的實例，這可以用作介紹本文所述的一種或多種方法和/或設備的背景。
[0028]圖25圖示了圖24的示例的操作流程的可供選擇的實施例。
[0029]圖26圖示了圖24的示例的操作流程的可供選擇的實施例。
[0030]圖27圖示了圖24的示例的操作流程的可供選擇的實施例。
[0031]圖28圖示了圖24的示例的操作流程的可供選擇的實施例。
[0032]現(xiàn)在參照圖29，示出了表示與在增強現(xiàn)實系統(tǒng)中動態(tài)保留情景要素相關的示例的操作的操作流程的實例，這可以用作介紹本文所述的一種或多種方法和/或設備的背景。
[0033]圖30圖示了圖29的示例的操作流程的可供選擇的實施例。
[0034]在不同附圖中使用相同的符號通常表示相似或相同的項目，除非上下文另有指不O
【具體實施方式】
[0035]在人們通過增強現(xiàn)實設備(例如，專用增強現(xiàn)實設備(如Google Glass眼鏡)、智能手機、數字照相機、便攜式攝像機和平板電腦)交互的世界中，增強現(xiàn)實顯示屏或界面在真實世界提供了上面覆蓋一個或多個計算機生成的對象、數字圖像或功能的窗口。在結構上和語義上，增強現(xiàn)實用戶界面從根本上響應于物理接近用戶設備的物理狀態(tài)。物理現(xiàn)實的方面通常呈現(xiàn)在屏幕上；然而，即使它們未呈現(xiàn)在屏幕上，它們通常也在一定程度上影響屏幕上發(fā)生的情況。這可能與虛擬現(xiàn)實形成對照，在虛擬現(xiàn)實中，用戶的感覺通常被提供完全計算機生成的主題或環(huán)境，如同人造感覺機制。
交叉現(xiàn)實拖放
[0036]出于對讀者的禮貌并且參照本文的附圖，一般“100系列”的附圖標記通常指的是圖1首先引入/描述的項目，“200系列”的附圖標記通常指的是圖2首先引入/描述的項目，“300系列”的附圖標記通常指的是圖3首先引入/描述的項目，等等。
[0037]在以下詳細描述中，參照構成本發(fā)明的一部分的附圖。在附圖中，相似的符號通常標識相似的組件，除非上下文中另有說明?！揪唧w實施方式】、附圖和權利要求書中描述的示例性實施例并不意味著限制。在不脫離本文公開的主題的精神或范圍的情況下，可以利用其他實現(xiàn)方案，并且可以進行其他修改。
[0038]作為背景，傳統(tǒng)的計算機屏幕“桌面”區(qū)域包括允許強大的圖形對象操作的拖放功能和環(huán)境。這通常涉及(I)源，(2)對象，和(3)目的地。這三要素可以確定拖拽過程的操作語義。
[0039]在增強現(xiàn)實情形中，如本文所述，用戶可以從真實世界執(zhí)行拖拽操作到增強現(xiàn)實(“AR”)視野或顯示屏中，并且反之亦然。例如，如果用戶在書店戴著AR眼鏡，則用戶就可以看到在眼鏡上顯示的AR購物車。用戶然后可以在書店找到書架上真實的書，指著真實的書，取下或者以其他方式將書的增強現(xiàn)實呈現(xiàn)放入AR購物車中。當用戶到達收銀臺或登記以購買書時，用戶可以從購物車抓取AR書，將其放在真實的收銀機上，書店可以在真實的收銀機啟動點支付，并且完成交易。用戶也可以選擇將物理的書快遞給自己或者作為別人的禮物的選項，和/或遞送電子書到裝置。
[0040]又如，用戶坐在家里的起居室可以查看他的AR設備，該設備上顯示例如與Netflix視頻在功能上鏈接的DVD堆層的增強現(xiàn)實呈現(xiàn)。用戶可以觸碰并抓取視頻的增強現(xiàn)實呈現(xiàn)，例如，星球大戰(zhàn)，并將其拖拽到起居室的電視機上，從而通知Netflix開始在(已聯(lián)網的)電視上播放星球大戰(zhàn)的視頻流，同時用戶的Netflix賬號中注釋用戶何時在什么設備上只看什么內容。在某些情況下，這可能涉及信用卡賬號或銀行帳號的關聯(lián)的記賬。
[0041]又如，用戶在電影院大廳可以看到明年上映的星球大戰(zhàn)冒險故事的最新介紹的電影海報。用戶可以抓取電影海報的增強現(xiàn)實呈現(xiàn)到他的增強現(xiàn)實顯示屏上的增強現(xiàn)實愿望清單上，從而更新例如他的Netflix隊列以計劃通知該電影何時上映，并且/或者Netflix上何時可供觀察。
[0042]在每個這些實例中，照相機或其他檢測器將識別并標記動作的來源，換句話講，“拖拽”的起始。這是待拖拽的對象。接著照相機或其他檢測器將監(jiān)視“拖拽”或遠離源對象的動作，并且最終照相機或其他檢測器將識別或標記目的地或“放置”。這是增強現(xiàn)實呈現(xiàn)將前往的重要位置。用戶可以明確地標記動作的每個端點，例如，通過聲音、觸摸(AR設備的或對象的)、姿勢或其他信號。
[0043]與計算機桌面環(huán)境上的傳統(tǒng)拖放不同，不僅有識別步驟，而且用戶指向僅有有限數量的可用目標(用于約束識別問題)的屏幕上的事物。在一個實施例中，約束可以是電影播放器應用(例如，hulu或Netflix)在AR設備或另一個設備(如接近用戶的電視)上運行。又如，如果例如kindle設備之類的電子閱讀器在購書體驗期間正在運行，那么這可以用作約束以告知系統(tǒng)在識別步驟期間查找環(huán)境中的書。
[0044]識別預期的對象通常來自通過AR設備觀察情景的照相機的圖像數據進行。可以考慮用戶所處的語境。例如，AR設備可以識別書店的類型或者項目的系列，例如，書或DVD ;或者甚至對象的不同系列，例如，雜貨店的項目。
[0045]語音可以用于在拖拽對象之前通知用于將其“抓取”的正確識別。也可以使用標記拖拽開始的其他方式，例如，觸摸對象、點擊對象、觸摸AR設備本身的敏感部分，例如按鈕或觸摸屏，和/或做出已經預編程在AR設備中以告訴系統(tǒng)已經做出用于拖拽的選擇的姿勢。
[0046]在一個實施例中，語音可以單獨用于拖放增強現(xiàn)實呈現(xiàn)。
[0047]在另一個實施例中，眼睛跟蹤可以用于辨別、識別并選擇用戶正在看什么，跟蹤運動的弧線，拖拽或傳送以及辨別、識別并選擇放置的目的地。
[0048]如本文所用，“增強”、“虛擬”或“增強現(xiàn)實呈現(xiàn)”可以指的是添加到真實屏幕的顯示屏上的事物，例如，計算機生成的圖像。
[0049]在一個實施例中，系統(tǒng)可以包括手持式增強現(xiàn)實設備，其具有至少一個傳感器(例如，照相機)、至少一個用于用戶輸出的圖像顯示屏以及至少一個用于用戶輸入的觸摸屏(或其他類似裝置)。按照用戶的指示，增強現(xiàn)實設備可以激活并顯示增強現(xiàn)實情景，其包括真實界面對象(例如，由增強現(xiàn)實設備的照相機成像的對象)以及至少一個對象的增強現(xiàn)實呈現(xiàn)。
[0050]在一個實施例中，檢測并選擇(例如，通過第一姿勢、語音命令或一些其他預定的方法)增強現(xiàn)實顯示屏中的真實界面對象，然后使其在增強現(xiàn)實界面中移動(例如，增強現(xiàn)實設備使用第二姿勢、語音命令或一些其他的預定方法來跟蹤運動)作為對象的增強現(xiàn)實(或虛擬)呈現(xiàn)，保持第一真實界面對象未改動，或者從情景中去除第一真實界面對象。響應于選擇和移動增強現(xiàn)實界面中的真實界面對象，在增強現(xiàn)實界面中呈現(xiàn)用于放置對象的增強現(xiàn)實呈現(xiàn)的至少一個目的地，可能接近真實界面對象。顯示屏上用于放置的目的地可以包括在一些情況下當放置對象時會傳達對象的增強現(xiàn)實呈現(xiàn)的功能的縮略圖、圖標或者一些其他符號。目的地圖標或符號表示可以放置(例如，通過第三姿勢、語音識別或一些其他預定方法)真實界面對象的呈現(xiàn)的對象。
[0051]例如，假設用戶正在看零售店中的增強現(xiàn)實情景。她將看到商店中的真實對象(例如，書、微波爐和家用器皿)以及增強現(xiàn)實顯示屏中的虛擬對象(例如，產品注釋以及無論她走到哪里都跟著她的購物車)。如果她想購買一本書，她就看著書架，在增強現(xiàn)實界面內，她可以用手勢“拾取”真實的牛津英語字典的全部十二卷的呈現(xiàn)，拖拽，并將它們的增強現(xiàn)實呈現(xiàn)放置到她的虛擬購物車中用于結算，此時她可以決定例如購買真實的書或書的電子副本或兩者。
[0052]在另一個實施例中，選擇(例如，通過第一姿勢、語音命令、觸摸或一些其他預定的方法)增強現(xiàn)實顯示屏中的虛擬界面對象，然后使其在增強現(xiàn)實界面中移動(通過第二姿勢、語音命令或一些其他的預定方法)。響應于選擇和移動增強現(xiàn)實界面中的虛擬界面對象，在增強現(xiàn)實界面中接近真實界面對象可以呈現(xiàn)至少一個真實界面對象。增強現(xiàn)實界面中的每個真實界面對象表示可以放置(例如，通過第三姿勢、語音識別或一些其他預定方法)虛擬界面對象的對象。
[0053]例如，假設你正在觀察你的家庭娛樂室的增強現(xiàn)實情景。你看到該室內所有的真實對象(例如，電視機、桌子、沙發(fā)、書架等等)疊加著增強(例如，你擁有的數字電影的列表，或許由電視機的桌子上的一堆虛擬DVD表不)。你想看你擁有的一部數字James Bond電影，所以在增強現(xiàn)實界面內，你拾取虛擬的Goldfinger DVD，拖拽，并且將其放置在真實的電視機屏幕上。接著真實的電視機上將開始播放電影(或者它可以覆蓋著真實的電視機的增強，所以僅用戶能看到，或者兩種情況都可以)。
[0054]又如，朋友給用戶一張照片，用戶想把它發(fā)布到她的社交網絡主頁上，例如，她的Facebook主頁。她可以用手勢或語音選擇照片，拖拽所得的照片的增強現(xiàn)實呈現(xiàn)到她的增強現(xiàn)實設備的角落的FBb圖標上，并將其放置在那以登錄她的Facebook主頁作為照片的數字副本去向的目的地。這對于待添加到Pinterest的圖像、將要添加到個人電子日記的筆記以及其他個人數據存儲庫具有類似的工作過程。
[0055]出于對讀者的禮貌并且參照本文的附圖，一般“100系列”的附圖標記通常指的是圖1首先引入/描述的項目，“200系列”的附圖標記通常指的是圖2首先引入/描述的項目，“300系列”的附圖標記通常指的是圖3首先引入/描述的項目，等等。
[0056]在以下詳細描述中，參照構成本發(fā)明的一部分的附圖。在附圖中，相似的符號通常標識相似的組件，除非上下文中另有說明?！揪唧w實施方式】、附圖和權利要求書中描述的示例性實施例并不意味著限制。在不脫離本文公開的主題的精神或范圍的情況下，可以利用其他實現(xiàn)方案，并且可以進行其他修改。
[0057]圖1示出了可用于與用戶進行增強現(xiàn)實交互的幾個設備。這些設備包括具有平板照相機屏幕102的平板設備100、具有智能照相機屏幕1