對表面背后的場景的增強現(xiàn)實顯示的制作方法
【專利摘要】本發(fā)明公開了對表面背后的場景的增強現(xiàn)實顯示。公開了涉及經由透視顯示設備來增強表面的外觀的實施例。例如，一個所公開的實施例提供了一種在包括透視顯示設備的計算設備上增強表面的外觀的方法。該方法包括：經由面向外的圖像傳感器獲取通過顯示器可觀看的第一場景的圖像數據。該方法進一步包括基于該圖像數據識別通過該顯示器可觀看的表面，并且響應于識別該表面，獲取對第二場景的表示，該第二場景包括物理上位于通過該顯示器可觀看的表面后方的場景以及位于與通過該顯示器可觀看的表面上下文相關的表面后方的場景的一個或多個。該方法進一步包括經由該透視顯示器顯示該表示。
【專利說明】對表面背后的場景的增強現(xiàn)實顯示
【技術領域】
[0001]本發(fā)明涉及經由透視顯示設備來增強表面的外觀，尤其涉及對表面背后的情景場景的增強現(xiàn)實顯示。
【背景技術】
[0002]表面，諸如墻壁和門，可能會遮擋對場景的觀看。為了觀看場景，人們可能需要在物理上非常接近該表面時打開，或者以其它方式操作該表面。然而，這種操作在某些情形下是不可能或者不期望的，諸如，當該表面不可及時。

【發(fā)明內容】

[0003]公開了涉及經由透視顯示設備來增強表面的外觀的實施例。例如，一個公開的實施例提供了一種在包括透視顯示設備的計算設備上增強表面的外觀的方法。該方法包括:經由面向外的圖像傳感器獲取通過顯示器可觀看的第一場景的圖像數據。該方法進一步包括:基于該圖像數據識別通過該顯示器可觀看的表面，并且響應于識別該表面，獲取對第二場景的表示，該第二場景包括物理地位于通過該顯示器可觀看的表面后方的場景以及位于與通過該顯示器可觀看的表面上下文(contextually)相關的表面后方的場景中的一個或多個。該方法進一步包括經由該透視顯示器顯示該表示。
[0004]提供本
【發(fā)明內容】
是為了以簡化形式介紹將在以下【具體實施方式】中進一步描述的概念的選擇。本
【發(fā)明內容】
不旨在標識出所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。此外，所要求保護的主題不限制于解決本公開的任何部分所提到的任何或全部缺點的實現(xiàn)。
【專利附圖】

【附圖說明】
[0005]圖1示出了用于透視顯示設備的實施例的示例使用環(huán)境，并且也示出了通過該透視顯示設備對場景觀看的增強的實施例。
[0006]圖2和3示出了通過圖1的透視顯示設備對場景觀看的增強的其他實施例。
[0007]圖4示意性地顯示了示出用于透視顯示設備的使用環(huán)境實施例的框圖。
[0008]圖5顯示了描繪增強場景視圖的方法的實施例的處理流程。
[0009]圖6示意性地顯示了計算系統(tǒng)的示例實施例。
【具體實施方式】
[0010]如上所述，各種表面可能遮擋人們對位于該表面后方場景的觀看。在一些實例中，對人們來說具備觀看什么位于該表面后方，而不需要獲得在該表面后方的真實、物理的視圖的能力是有利的。諸如，在用戶可操作的表面，例如，在諸如冰箱門的用戶可操作表面的情況下，操作該表面以獲得在該表面后方的視圖可能讓冷氣泄出。類似地，當物理上不接近該表面時，諸如，當人們坐在距該表面要穿過房間的沙發(fā)上，或與該表面處于不同位置時，為了觀看該表面后方的方便，這種能力也是令人期望的。
[0011]因此，公開了涉及例如經由在遮擋表面或者上下文相關表面的空間配準中顯示對被遮擋場景的表示來提供對被遮擋場景的可視表示的實施例。以此方式，用戶能夠可視地解讀被遮擋的場景，即使該用戶之前并未觀看過該被遮擋的場景和/或并未在空間上接近該被遮擋的場景。
[0012]在詳細討論這些實施例之前，參考圖1描述非限制的使用場景，圖1以廚房的形式示出了示例環(huán)境100。廚房包括通過由用戶106佩戴的透視顯示設備104可觀看的場景102。應當意識到，在一些實施例中，通過透視顯示器可觀看的場景102與用戶的視野可以是實質上同延的，而在其它實施例中，通過透視顯示器可觀看的場景可以占據用戶的視野的一部分。
[0013]正如隨后將更加詳細描述的，透視顯示設備104可以包括一個或多個面向外的圖像傳感器(諸如，二維相機和/或深度相機)，圖像傳感器被配置為在用戶導航環(huán)境時獲取表示環(huán)境100的圖像數據(諸如，彩色/灰度圖像、深度圖像/點云數據等)。該圖像數據可以被用于獲得關于該環(huán)境(諸如，三維表面地圖等)的布局以及包含在其中的對象和表面的布局的信息。
[0014]經由該面向外的圖像傳感器獲取的圖像數據可以被用于識別用戶在房間內的位置和方向。諸如，通過與一幅或多幅之前獲取的圖像的比較可以識別房間中的一個或多個特征點，以確定透視顯示設備104在房間內的方向和/或位置。
[0015]該圖像數據可被進一步用于識別遮擋另一場景的表面，諸如表面108(例如，冰箱門)。對表面的識別可以包括，例如，經由圖像數據檢測表面的開啟和/或關閉，檢測門的形狀或者圖像數據中的這種特征等。作為另一個示例，透視顯示設備104可以為位于所檢測表面后方的場景確定圖像數據的存在，并且可以因此在遮擋該表面后方的場景時識別該表面，而不需要直接檢測門的開啟/關閉的動作，不需要將包括該表面的對象的外觀進行分類等。進一步地，在一些實施例中，透視顯示設備104可以被配置為確定場景102的上下文(例如，冰箱、起居室、辦公室、盥洗室等)和/或通過顯示設備可觀看的表面(例如，冰箱門、櫥柜門、墻壁等)。這種上下文對于例如以編程方式確定是否顯示在該表面后方的場景的圖像數據(諸如，基于一個或多個用戶偏好)是有用的。作為非限制的示例，用戶可能希望觀看被門遮擋場景的圖像數據，位于他們家中的場景的圖像數據，冰箱內部場景的圖像數據，和/或包括如何其他合適上下文的場景的圖像數據。因此，一識別一個或多個包括這種上下文的場景，就可以以編程方式顯示對所述場景的表示。這種上下文進一步對于例如基于隱私偏好確定是否顯示在該表面后方場景的圖像數據，并且如果這種顯示是可允許的，確定顯不哪些數據(例如，在一個被識別的表面位于另一個被識別的表面后方的情況下表面“深度”怎樣；是否顯示場景的最近圖像或者更早的圖像，等等)是有用的。因此，這種上下文可以允許關于各種場景的共享、選擇和顯示的基于場景和/或基于表面的粒度。
[0016]透視顯示設備104進一步被配置為通過將物理地位于表面108后方的場景112(例如，冰箱內部)的表示110 (例如，圖像數據)顯示為表面108(即，冰箱門)頂部的“覆蓋”來增強表面108的外觀。正如隨后將更加詳細描述的，可以經由任何適合的機制來觸發(fā)這種增強，所述機制包括但不限于:用戶命令和/或顯示設備的表面識別。作為另一個示例，在一些實施例中，透視顯示設備104可以被配置為確定用戶106的注視的方向(例如，經由對用戶的一只眼睛或者雙眼的位置進行成像的一個或多個成像傳感器)，并且可以基于該用戶在表面108上的注視來觸發(fā)表不110。
[0017]場景112的表示110可以包括之前收集的圖像數據。例如，該表示可以包括之前由透視顯示設備104在用戶106與結合表面108的對象的先前交互期間收集的圖像數據。作為另一個示例，所顯示的表示可以包括之前由不同設備(例如，另一個用戶的透視顯示設備、智能手機、IP相機等)收集的圖像數據。因此，在一些實施例中，透視顯示設備104可以被配置為與多個設備共享數據，并且從該多個設備檢索數據，以提供最近獲取的圖像。進一步地，在又一實施例中，用戶可以選擇觀看更早的表示，而不是最近獲取的圖像，正如隨后將更加詳細地進行解釋的。
[0018]應當意識到，對遮擋場景的顯示表示可以包括由該圖像數據生成的信息而非圖像數據本身，或者除了圖像數據本身還有由該圖像數據生成的信息。例如，在一些實施例中，該表示可以包括生成的模型(例如，由經由深度相機獲取的點云數據所生成的)和/或生成的對場景112的文本描述。在一些實施例中，對這種生成的模型的觀看角度/方向可以由用戶改變。
[0019]盡管場景112的表示110被示出為與通過透視顯示器可觀看的表面108的部分空間配準且同延，應當意識到，可以以任何其他適合的方式顯示表示110，并且可以經由任何其他適合的設備，而不是透視顯示設備來顯示表示110。例如，在一些實施例中，可以經由不包括透視顯示器的移動計算設備來提供對場景112的增強，如上所述。在這種實施例中，可以經由移動電話、平板計算機或者其他移動設備的圖像傳感器成像場景，并且例如可以將對場景102的表示(例如，來自圖像傳感器的“實時饋入”)連同表示110—起作為表面108之上的覆蓋進行顯示。
[0020]作為又一示例，圖2示出了在通過透視顯示設備(例如，圖1的透視顯示設備104)觀看時環(huán)境202中的場景200的示例實施例。如示出的，以雜貨店的形式表示環(huán)境202，并且其包括冷藏陳列柜的形式的對象206的表面204 (諸如，透視門)。
[0021]該透視顯示設備可以被配置為標識對象206是冷藏陳列柜，并進一步確定對象206與另一對象(諸如包括圖1的表面108的冰箱)上下文相關?？梢曰卺槍λR別形狀的對象的形狀和/或外觀的分析(例如，經由分類功能)，基于該對象內容的形狀和/或外觀(例如，牛奶紙盒)，或者任何其他適合的方式來做出這種確定。進一步地，當識別對象時，可以考慮附加的上下文信息。例如，位置信息(例如，用戶正在雜貨店)可以被用于幫助識別對象206。
[0022]響應于識別對象206，透視顯示設備可以顯示增強表面204的外觀的圖像，其中該圖像包括對上下文相關的場景210(在這個示例中的圖1的冰箱內部場景112)的表示208。以此方式，雜貨店中的冷藏陳列柜的上下文線索和/或該冷藏陳列柜的內容(諸如，牛奶紙盒)可以觸發(fā)對用戶家庭冰箱的內容的最近觀看的顯示。這允許該用戶觀看該家庭冰箱的最近內容并且確定是否需要從商店選購任何廣品。
[0023]可以以任何適合的方式顯示該上下文相關的場景。例如，盡管被示出成顯示為基本不透明，應當意識到，對場景210的表示208可以包括更少的不透明度，使得該冷藏陳列柜的內容通過該表示可觀看。
[0024]應當意識到，對于所檢測的表面，可以存在任何數量的對物理上位于該表面后方和/或與該表面上下文相關的場景的表示以及它們的組合。因此，可以利用各種機制來確定將哪個場景，以及其特定表示顯示給用戶。例如，在存儲了物理上位于該表面后方(或者在與該表面上下文相關的表面后方)的場景的多幅圖像的情況下，在一些實施例中可以將最近的表示表現(xiàn)為默認，并且用戶可以請求另一個表示(例如，更早的表示)。在其他實施例中，可以表現(xiàn)任何其他的默認值表示。
[0025]在期望對不同場景進行顯示處，在一個或多個表面沒被識別(例如，由于缺少網絡連接、光線暗的場景等)處，和/或根據任何其他適合的機制，可以顯示信息可供其使用的場景列表。該列表可被配置為通過用戶手動瀏覽，或者可以以幻燈片或者其他自動進展的方式進行表現(xiàn)。進一步地，可以經由文本、經由圖像(例如，縮略圖)和/或經由任何其他適合的機制或者機制的結合來表現(xiàn)這種列表。應當意識到，在一些實施例中，可以選擇對一個或多個場景的兩個或更多個表示，以供同時或順序觀看(例如，比較在兩個不同的時刻攝取的場景視圖)。
[0026]進一步地，在一些實施例中，透視顯示設備可以被配置為允許用戶觀看多個表面后方。例如，圖3示出了表示環(huán)境中的各種“深度”的多個場景。更具體地，圖3示出了環(huán)境302中通過透視顯示設備(例如，圖1的透視顯示設備104)可觀看的場景300，其中場景300包括遮擋場景308 (例如，櫥柜內部)的對象306 (例如，櫥柜)的表面304 (例如，門)。進一步地，將表面310 (例如，墻壁)和表面312 (例如，門)示出為至少部分地遮擋場景314(例如，另一個房間)。
[0027]可以根據任何適合的機制或機制的組合將場景308和/或場景314的表示顯示給用戶。例如，透視顯示設備可以包括一個或多個用戶能調整的偏好，使得該設備可以被配置為顯示被門遮擋的場景(例如，場景308)，但不顯示被墻遮擋的場景(例如，場景314)。該透視顯示設備也可以包括一個或多個將被顯示的關于“定位深度級別”的偏好。例如，在深度級別“ I ”，可以顯示場景308 (位于一個表面后方)，而場景314 (位于兩個表面后方)則不被顯示。作為另一個示例，在深度級別“2”，可以顯示場景308和場景314。因此，在該透視顯示設備允許用戶觀看不同深度場景的情況下，可以分別地或者一起顯示該場景。
[0028]例如，可以通過識別厚度(例如，經由以一個或多個深度相機獲取的該墻壁邊緣的圖像數據)，通過確定用于該墻壁兩個面上的場景(例如，場景300和場景314)的信息的可用性，和/或任何其他適合的方式來識別使用環(huán)境中的場景之間的墻壁(例如，表面310)。類似地，通過運動識別，通過外觀，和/或上下文信息(例如矩形和從地面向上延伸)，特征(例如，門把手)，位置(例如，在更大的，平坦寬闊區(qū)域上)，和/或任何其他適合的方式，可以將門(例如，表面312)識別為僅在某些時間存在(例如，在該圖像數據的時間上分開的實例中)。
[0029]如上所述，被顯示給用戶的被遮擋場景(例如，場景314)的表示可以包括之前收集的圖像數據。這種之前收集的圖像數據可以包括由該用戶收集和/或由另一個用戶收集的數據。進一步地，該之前收集的圖像數據可以表示為該被遮擋場景存儲的最新圖像，或者圖像數據的一個或多個較早實例。另外，在一些實施例中，該圖像數據可以包括當前正被不同的計算設備獲取的實時圖像數據。作為更加具體的示例，場景314的表示可以包括來自當前正在觀看場景314的另一個用戶(未示出)的圖像數據。以這種方式，該用戶能夠觀看基于來自其他用戶的圖像數據實時更新的場景314的表示。[0030]這種配置可以提供允許用戶通過觀看其他用戶的場景的表示來找到另一個用戶的潛在益處。例如，基于GPS坐標找到通過商場或者辦公樓建筑的路線可能是混亂的，由于所述坐標本身不是有意義的并且該用戶可能并未做好訪問地圖的準備。進一步地，墻壁或者其他遮擋可能阻止從該用戶的位置到目的地的直接路徑。因此，用戶能夠觀看該目的地的當前場景(例如，經由朋友的透視顯示設備)以通過識別該目的地附近的路標來向該朋友導航(例如，直接地或者經由計算機視覺技術)。
[0031]在圖像數據在用戶間共享的實施例中，將被了解的是任何適合的隱私和/或許可機制，和/或它們的組合，可以用于控制對這種圖像數據的跨用戶訪問。例如，在一些實施例中，可由定義對該用戶的圖像數據的訪問的用戶維護可信的其他用戶的列表。在其他實施例中，也可以基于表面的位置限制訪問。例如，用戶可以希望限制對在隱私空間(例如，家或工作場所)獲取的圖像數據的訪問，但是可以希望共享在公共空間(例如，購物廣場)獲取的圖像數據。在另一實施例中，通過定義針對不同用戶的各種可信等級來提供附加的粒度。例如，可以為家庭成員提供對在用戶家里獲取的圖像數據的訪問，而可以限制其他非家庭成員用戶訪問這種圖像數據。將被了解的是這些隱私/許可方案是出于示例的目的而提出的，并且不旨在以任何方式進行限制。
[0032]圖4示意性地表示了示出用于透視顯示設備的使用環(huán)境400的實施例的框圖，所述透視顯示設備被配置為通過被表面遮擋的場景的視圖來增強表面的視圖。使用環(huán)境400包括示出為透視顯示設備1402和透視顯示設備N的多個透視顯示設備。每個透視顯示設備都包括透視顯示子系統(tǒng)404，透視顯示子系統(tǒng)404被配置為在一個或多個透視顯示屏幕上顯示圖像。該透視顯示設備可以采用任何適合的形式，包括但不限于眼鏡、護目鏡等形式的頭戴式近眼顯示器。
[0033]每個透視顯示設備402都可以進一步包括傳感器子系統(tǒng)406，傳感器子系統(tǒng)406包括任何適合的傳感器。例如，傳感器子系統(tǒng)406可以包括一個或多個圖像傳感器408，諸如，舉例來說，一個或多個彩色或者灰度的二維相機401和/或一個或多個深度相機412。深度相機412可以被配置為使用任何適合的技術來測量深度，所述技術包括但不限于飛行時間、結構光和/或立體成像。圖像傳感器408可以包括一個或多個面向外的相機，一個或多個面向外的相機被配置為獲取通過透視顯示設備可觀看的背景場景(例如，圖1的場景102)的圖像數據。進一步地，在一些實施例中，該用戶設備可以包括一個或多個照明設備(例如，IR LED、閃光燈、結構光發(fā)射器等)以幫助圖像獲取。響應于一個或多個有關環(huán)境的輸入(例如，暗光檢測)和/或一個或多個用戶輸入(例如，語音命令)可以激活這種照明設備。在一些實施例中，該圖像傳感器可以進一步包括一個或多個面向內的圖像傳感器，該圖像傳感器被配置為檢測眼睛的位置和運動以啟用注視追蹤(例如，允許對菜單系統(tǒng)的視覺操作，識別朝向表面的眼睛焦點等)。
[0034]從圖像傳感器408接收到的圖像數據可以被存儲在圖像數據存儲414中(例如，閃存、EEPROM等)，并且可以被透視顯示設備402用于識別存在于給定環(huán)境中的一個或多個表面。進一步地，每個透視顯示設備402可以被配置為經由網絡418 (諸如，計算機網絡和/或無線電話網絡)與遠程服務416和/或一個或多個其他的透視顯示設備交互。更進一步地，在一些實施例中，可以經由直接鏈接420 (例如，近場通信)而不是經由網絡418來提供透視顯示設備之間的交互，或者除了經由網絡418以外還經由直接鏈接420 (例如，近場通信)來提供透視顯示設備之間的交互。
[0035]遠程服務416可以被配置為與多個透視顯示設備通信，以從所述透視顯示設備接收數據以及將數據發(fā)送給所述透視顯示設備。進一步地，在一些實施例中，可以由遠程服務416提供至少部分上述功能。作為非限制性示例，透視顯示設備402可以被配置為獲取圖像數據并且顯示增強的圖像，然而剩下的功能(例如，表面標識、相關場景獲取、圖像增強等)可以由遠程服務執(zhí)行。
[0036]遠程服務416可以通信地耦合至數據存儲422，數據存儲422被示出為了由用戶1424和用戶N426所表示的多個用戶存儲信息。應當意識到，可以存儲任何適合的數據，包括但不限于圖像數據428(例如，從圖像傳感器408接收到的圖像數據和/或從其計算出的信息)和上下文信息430。上下文信息430可以包括但不限于一個或多個表面的環(huán)境和/或由圖像數據428表示的一個或多個場景。可以由例如透視顯示設備402使用這種信息來識別和獲取場景的表示，該場景與通過透視顯示設備可觀看的表面上下文相關(例如，有關于圖1的表面108的場景112)。
[0037]盡管數據存儲422中的信息被示出為在用戶接用戶的基礎上進行組織，將被了解的是可以以任何適合的方式組織和存儲信息。例如，可以按照位置(例如，經由GPS坐標、經由諸如“家”或“工作”的所識別的位置分類)，按照類別(例如，“食物”)等安排圖像數據和/或表面信息。
[0038]上下文信息430可以以任何適合的方式被確定并且被指定給圖像數據和/或該圖像數據中的對象。在一些實施例中，上下文信息430可以至少部分地由用戶定義。在一個具體的示例中，參考圖1，透視顯示設備104可以檢測用戶朝向表面108的注視，并且用戶106可以提供語音命令(例如，“標記表面‘冰箱門”’)以進入表面108的上下文信息430。類似地，透視顯示設備104可以檢測環(huán)境100中的位置，并且用戶106可以提供語音命令(例如，“標記場景‘廚房”’)以進入環(huán)境100的上下文信息430。
[0039]同樣，在一些實施例中，可以經由透視顯示設備402、經由遠程服務416或者經由其他設備或服務自動地確定上下文信息430。例如，一個或多個分類功能可用于分類由面向外的圖像傳感器所成像的對象，并且可以基于分類過程的結果，以及對象的位置(家、辦公室等)，和/或任何其他適合的上下文信息來應用標簽。將理解，這些場景是出于示例的目的而呈現(xiàn)的，而不旨在以任何方式進行限制。
[0040]數據存儲422可以進一步包括其他數據432，包括但不限于關于可信的其他用戶的信息，可以將圖像數據428和/或上下文信息430與這些用戶共享。如上所述，可以根據任何適合的粒度來控制對圖像數據428和/或上下文信息430的訪問。例如，可以基于表面的位置(例如，家相對于公共空間)拒絕所有其他用戶的訪問，基于一個或多個用戶的關系(例如，家中的圖像數據受限于家庭成員)拒絕某些用戶的訪問，和/或根據一個或多個靜態(tài)的和/或用戶可調整的偏好以其它方式來進行控制。
[0041]在這種方式中，設備402的用戶能夠訪問之前由一個或多個不同的設備(諸如家庭成員的透視顯示設備或其他圖像傳感設備)收集的數據。如此，圖像數據和/或由圖像數據計算出的涉及各種使用環(huán)境的信息可以在用戶設備之間共享和更新。因此，取決于隱私偏好，用戶可以具有對涉及給定環(huán)境信息的訪問，即使用戶之前并未導航到該環(huán)境。進一步地，即使該用戶之前已經導航該環(huán)境，但是更近一些的更新信息是可用的。[0042]透視顯示設備402可以進一步包括一個或多個音頻傳感器434，諸如可用作輸入機制的一個或多個話筒。透視顯示設備402可以進一步包括一個或多個位置傳感器436(例如，GPS、RFID、接近度等)。在一些實施例中，該位置傳感器可以被配置為提供用于確定該用戶設備位置的數據。進一步地，在一些實施例中，來自一個或多個無線通信設備的信息可以用于確定位置，例如，經由對已知無線網絡的接近度的檢測。
[0043]現(xiàn)在轉向圖5，顯示了描繪用于增強場景視圖的方法500的實施例的處理流程。在502，方法500包括經由面向外的圖像傳感器獲取通過顯示器可觀看的第一場景的圖像數據。該圖像數據可以從例如，一個或多個二維相機504和/或一個或多個深度相機506獲取。
[0044]在508，方法500進一步包括基于該圖像數據識別通過該顯示器可觀看的表面(例如，表面108)。在一些實施例中，識別該表面可以包括基于來自位置傳感器(例如，位置傳感器436)的位置數據和來自面向外的圖像傳感器的圖像數據中的一個或多個，標識510該計算設備的位置，并且基于這種信息識別該表面。
[0045]識別該表面可以進一步包括識別512該表面是可運動表面還是不可運動表面。例如，通過經由該圖像數據檢測該表面的運動，門(例如，表面108)是可被識別為門的。作為另一個示例，基于圖像數據的兩個或更多個的實例(門開啟為一個實例，以及門關閉是另一個實例)間的比較，通過被該表面遮擋的一個或多個場景(基于之前收集的圖像數據和/或位置數據)的存在，和/或以任何其他適合的方式，表面可被識別為可運動。
[0046]識別該表面可以進一步包括例如通過標識包含通過該顯示器可觀看的表面(例如，雜貨店中的冰箱展示)的對象和物理上位于通過該顯示器可觀看的表面后方的對象(例如，牛奶紙盒)中一個或多個，確定514通過該顯示器可觀看的表面(例如，表面204)的上下文。如上所述，應當意識到，可以以任何適合的方式確定該表面的上下文。
[0047]在516,方法500進一步包括響應于識別該表面,獲取第二場景的表不,該第二場景包括物理上位于通過該顯示器可觀看的表面后方的場景和位于與通過該顯示器可觀看的表面上下文相關的表面后方的場景中一個或多個。在一些實施例中，該表不可以從本地存儲(例如，圖像數據存儲414)中獲取。在其他實施例中，獲取對第二場景的表示可以包括從計算機網絡上的遠程設備(例如，遠程服務416)和/或經由直接鏈接(例如，直接鏈接420)檢索該表示。不管該存儲位置，獲取該表示可以包括獲取520由不是該計算設備的設備收集的實時圖像數據。在其他實施例中，獲取該表示可以包括獲取522由不是該計算設備的設備之前收集的圖像數據。
[0048]應當意識到，可以存在任何數量和/或配置的第二場景的表示。例如，參考圖2的示例使用環(huán)境202，可以存在除了與對象206 (例如超市的冷藏展示柜)上下文相關的場景210(例如，用戶家里的冰箱)之外的場景，例如，朋友的冰箱、另一商店的冷藏展示柜、食品儲存室等等。因此，獲取第二場景的表示可以包括從包括與通過該顯示器可觀看的表面上下文相關的表面的多個場景表示中選擇524該表示。這種選擇可以由用戶手動地執(zhí)行(例如，通過瀏覽列表)和/或可以以編程方式確定。
[0049]同樣應當進一步意識到，對于任何給定場景來說，可以存在與該場景對應的多個版本的圖像數據(例如，昨天的圖像數據、一個月以前的圖像數據、一年前的圖像數據等)。因此，獲取第二場景的表示可以進一步包括確定526第二場景的最近表示并且獲取第二場景的最僅表示作為默認表示。在其他情況中，觀看該圖像數據的之前版本可能是期望的。例如，期望觀看一個或多個該圖像數據的之前版本以標識之前在該場景中存在的一個或多個對象。作為更具體的示例，用戶可以參考之前版本的用戶冰箱的圖像數據，以記住用戶喜歡的并且想再次購買的飲料類型。應當意識到，為了示例的目的而呈現(xiàn)上述場景，并不旨在以任何方式進行限制。
[0050]在528，方法500包括檢測對顯示該表示的觸發(fā)?？梢岳萌魏芜m合的觸發(fā)。示例包括但不限于直接語音命令、上下文觸發(fā)、以可編程方式生成的觸發(fā)和姿勢(經由眼睛、胳膊、頭部和/或其他)中的一個或多個。如上所述，上下文觸發(fā)可以包括視覺確定的該場景上下文或者對話的基于音頻的上下文(例如，對涉及食物的對話的確定)，以及其它。
[0051]例如，根據時間、日期和/或該計算設備之前的狀態(tài)，可以實現(xiàn)以可編程方式生成的觸發(fā)。例如，在一些實施例中，用戶可以啟用上述增強機制，并且可以執(zhí)行增強直到所述機制被禁用。換言之，可以識別，并且接著增強每個通過透視顯示設備可觀看的表面，直到接收到請求禁用這種機制的觸發(fā)。作為另一個實施例，用戶可以指定一個或多個明顯的表面(例如，家庭冰箱)，一個或多個上下文(例如，基于食物的表面)，以及或者任何其他操作粒度，為它們提供增強直到接收到請求其它情形的觸發(fā)。
[0052]在一些實施例中，可以從遠程計算設備(例如，另一用戶的透視顯示設備)接收觸發(fā)，和/或至少部分地基于從該遠程計算設備接收的信息來接收觸發(fā)。在這種實施例中，和上述討論的“本地”觸發(fā)一樣，可以根據任何適合的機制或者機制的組合來生成所述觸發(fā)。例如，正如上面所提到的，場景增強可以允許用戶通過觀看對其他用戶的場景的表示而找到另一個用戶。因此，在這種場景中，可以從該其他用戶的計算設備接收觸發(fā)，以提供這種功能。應當意識到，其他觸發(fā)是可能的，而不會脫離本公開的范圍。
[0053]在530,方法500進一步包括經由透視顯示器顯示該表示。例如,在一些實施例中，顯示該表示包括顯示532圖像以增強該表面的外觀，該圖像包括在該表面的空間配準中的第二場景的表示。在其他實施例中(例如圖2的表示208)，可以以任何其他適合的方式顯示該表示。應當意識到，該表示可以包括任何適合的外觀并且可以包括不同于從一個或多個圖像傳感器接收到的圖像數據的信息(例如，三維模型、基于文本的信息等)，或者除了從一個或多個圖像傳感器接收到的圖像數據之外的信息(例如，三維模型、基于文本的信息等)。
[0054]如上所述，可能期望為顯示設備的用戶提供不同“深度”的表面增強。因此，在534，方法500可以進一步包括接收輸入以獲取對第三場景(例如，場景314)的表示，該第三場景物理上位于第二場景(例如，場景308)中的表面后方。在536，方法500可以包括，響應于該輸入，獲取對該第三場景的表示。方法500可以進一步包括，在536，經由該透視顯示器顯示該第三場景的表示。如同該第二場景的表示，應當意識到，該第三場景可以具有任何適合的配置。例如，在一些實施例中，可以在該第二場景中的表面的空間配準中顯示該第三場景的表示，而在另外的實施例中，可以經由該透視顯示器將該表示顯示在其他位置。
[0055]在一些實施例中，可以將上述方法和過程綁定到包括一個或多個計算機的計算系統(tǒng)。具體而言，本文描述的方法和過程可以被實現(xiàn)為計算機應用，計算機服務，計算機API，計算機庫，和/或其他計算機程序產品。
[0056]圖6示意性地示出了可以執(zhí)行上述方法和過程之中的一個或更多個的非限制性計算系統(tǒng)600。透視顯示設備104，透視顯示設備402以及執(zhí)行遠程服務416的計算設備是計算系統(tǒng)600的非限制性示例。以簡化的形式表示計算系統(tǒng)600。將被了解的是，可以使用幾乎任何計算機結構，而不脫離本公開的范圍。在不同的實施例中，計算系統(tǒng)600可以采用大型機計算機、服務器計算機、臺式計算機、膝上型計算機、平板計算機、家庭娛樂計算機、網絡計算設備、移動計算設備、移動通信設備、可穿戴計算機、游戲設備等的形式。
[0057]計算系統(tǒng)600包括:邏輯子系統(tǒng)602和數據保持子系統(tǒng)604。計算系統(tǒng)600可以選擇性地包括顯示子系統(tǒng)606，通信子系統(tǒng)608，和/或圖6未示出的其他部件。計算系統(tǒng)600也可以選擇性地包括諸如下列用戶輸入設備，諸如鍵盤、鼠標、游戲控制器、相機、話筒和/或觸摸屏等等。
[0058]邏輯子系統(tǒng)602可以包括被配置為執(zhí)行一個或多個指令的一個或多個物理設備。例如，該邏輯子系統(tǒng)可以被配置為執(zhí)行一個或多個指令，該一個或多個指令是一個或多個應用、服務、程序、例程、庫、對象、組件、數據結構或者其他邏輯鉤子的一部分?？蓪崿F(xiàn)這樣的指令以執(zhí)行任務、實現(xiàn)數據類型、轉換一個或多個設備的狀態(tài)或者以其它方式得到所期
望的結果。
[0059]該邏輯子系統(tǒng)可以包括被配置為執(zhí)行軟件指令的一個或多個處理器。附加地或可替代地，該邏輯子系統(tǒng)可以包括被配置為執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機器。該邏輯子系統(tǒng)的處理器可以是單核或者多核，并且在其上執(zhí)行的程序可以被配置為并行或分布式的處理。該邏輯子系統(tǒng)可以選擇性地包括遍布兩個或更多設備的獨立組件，所述設備可遠程放置和/或被配置為進行協(xié)同處理。該邏輯子系統(tǒng)的一個或多個方面可以被虛擬化并且由以云計算配置進行配置的可遠程訪問的聯(lián)網計算設備執(zhí)行。
[0060]數據保持子系統(tǒng)604可以包括一個或多個物理的、非瞬態(tài)的設備，這些設備被配置為保持可由該邏輯子系統(tǒng)執(zhí)行的數據和/或指令以執(zhí)行本文所述的方法和過程。在實現(xiàn)這樣的方法和過程時，可以轉換數據保持子系統(tǒng)604的狀態(tài)(例如，以保持不同的數據)。
[0061]數據保持子系統(tǒng)604可以包括可移除介質和/或內置設備。數據保持子系統(tǒng)604可以包括光存儲器設備(例如，⑶、DVD、HD-DVD、藍光盤等)，半導體存儲設備(例如，RAM、EPROM、EEPROM等)和/或磁存儲器設備(例如，硬盤驅動器、軟盤驅動器、磁帶驅動器、MRAM等)以及其他。數據保持子系統(tǒng)604可以包括具有以下下特性中的一個或多個特性的設備:易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機存取、順序存取、位置可尋址、文件可尋址和內容可尋址。在一些實施例中，邏輯子系統(tǒng)602和數據保持子系統(tǒng)604可以被集成到一個或多個共用設備中，例如，專用集成電路或片上系統(tǒng)。
[0062]圖6也示出了可移除計算機可讀存儲介質610形式的數據保持子系統(tǒng)的一方面，可移動計算機可讀存儲介質可用于存儲和/或傳輸可執(zhí)行以實現(xiàn)本文所述的方法和過程的數據和/或指令?？梢瞥嬎銠C可讀存儲介質610可以采用⑶、DVD、HD-DVD、藍光盤、EEPROM和/或軟盤的形式等。
[0063]應當意識到，數據保持子系統(tǒng)604包括一個或多個物理的，非瞬態(tài)的設備。相反地，在一些實施例中，本文所述的指令的各方面可以按瞬態(tài)方式通過不由物理設備在至少有限持續(xù)時間期間保持的純信號(例如電磁信號、光信號等)傳播。此外，與本公開有關的數據和/或其它形式的信息可以通過純信號來傳播。
[0064]應當意識到，文本使用的“服務”可以是跨越多個用戶會話可執(zhí)行的、且對一個或更多系統(tǒng)組件、程序、和/或其他服務可用的應用程序。在一些實現(xiàn)中，服務可以響應于來自客戶端的請求而在服務器上運行。
[0065]當被包括包含時，顯示子系統(tǒng)606可以被用于呈現(xiàn)由數據保持子系統(tǒng)604所保持的數據的可視表示。當本文所述的方法和過程改變由該數據保持子系統(tǒng)保持的數據，并且因此將該數據保持子系統(tǒng)的狀態(tài)轉換時，可以同樣地被轉換顯示子系統(tǒng)606的狀態(tài)以在視覺上表示底層數據的改變。顯示子系統(tǒng)606可以包括利用幾乎任何類型的技術的一個或多個顯示設備。這種顯示設備可以與邏輯子系統(tǒng)602和/或數據保持子系統(tǒng)604組合在一個共享封裝內，或者這種顯示設備可以是外圍顯示設備。
[0066]當被包括時，通信子系統(tǒng)608可以被配置為將計算系統(tǒng)600與一個或多個其他計算設備可通信地耦合。通信子系統(tǒng)608可以包括與一個或多個不同的通信協(xié)議兼容的有線和/或無線通信設備。作為非限制示例，該通信子系統(tǒng)可以被配置為經由無線電話網絡、無線局域網、有線局域網、無線廣域網、有線廣域網等進行通信。在一些實施例中，該通信子系統(tǒng)可以允許計算系統(tǒng)600經由諸如因特網之類的網絡將消息發(fā)送到其他設備和/或從其他設備接收消息。
[0067]將被了解的是，文本所述的配置和/或方法本質上是示例性的，并且這些具體的實施例或者示例并不被認為是局限性的，因為多個變體是可能的。本文所述的具體的例程或方法可以表示任何數量處理策略中的一個或多個。由此，所示出的各個動作可以按所示次序執(zhí)行、按其它次序執(zhí)行、并行地執(zhí)行、或者在某些情況下被省略。同樣地，可以改變上述過程的次序。
[0068]本公開的主題包括所有新穎的和非顯而易見的本文公開的各種過程、系統(tǒng)和配置，和其它特征、功能、動作和/或特性，以及其任何和所有等效物的組合和子組合。
【權利要求】
1.一種在包括面向外的圖像傳感器(408)的計算設備(402)上的方法，包括: 經由所述面向外的圖像傳感器獲取(502)第一場景的圖像數據； 基于所述圖像數據識別(508)表面； 響應于識別所述表面，獲取(516)第二場景的表示，所述第二場景包括物理上位于所述表面后方的場景和位于與所述表面上下文相關的表面后方的場景中的一個或多個；以及經由顯示設備顯示(530)所述表示。
2.如權利要求1所述的方法，其特征在于，識別所述表面包括基于來自位置傳感器的位置數據和來自所述面向外的圖像傳感器的圖像數據中一個或多個，標識所述計算設備的位置，并且基于所述計算設備的位置識別所述表面。
3.如權利要求1所述的方法，其特征在于，識別所述表面包括識別所述表面是可運動表面還是不可運動表面，并且僅當所述表面是可運動表面時顯示所述表示。
4.如權利要求1所述的方法，其特征在于，所述第二場景位于與所述表面上下文相關的表面后方，并且其中識別所述表面包括通過標識包含所述表面的對象和物理上位于所述表面后方的對象中的一個或多個來確定所述表面的上下文。
5.如權利要求4所述的方法，其特征在于，獲取所述第二場景的表示包括從包括與所述表面上下文相關的表面的場景的多個表示中選擇所述表示。
6.如權利要求1所述的方法，其特征在于，所述第二場景物理上位于所述表面后方，并且其中所述方法進一步包括: 接收輸入以獲取第三場景的表示，所述第三場景物理上位于第二場景中表面的后方； 響應于所述輸入獲取所述第三場景的表示；以及 經由所述顯示設備顯示對所述第三場景的表示。
7.如權利要求1所述的方法，其特征在于，所述顯示設備是透視顯示設備，并且其中顯示所述表示包括顯示圖像以增強所述表面的外觀，所述圖像包括在所述表面的空間配準中的第二場景的表不。
8.如權利要求1所述的方法，進一步包括檢測觸發(fā)以顯示所述表示，所述觸發(fā)包括直接語音命令、上下文觸發(fā)、以編程方式生成的觸發(fā)以及姿勢中的一個或多個。
9.一種計算設備(402，600)，包括: 透視顯示設備(404，606)； 面向外的圖像傳感器(408)，被配置為獲取通過所述透視顯示設備可觀看的場景的圖像數據，所述圖像傳感器包括一個或多個二維相機(410)和/或一個或多個深度相機(412) 被配置為執(zhí)行指令的邏輯子系統(tǒng)(602);以及 數據保持子系統(tǒng)(604)，包括存儲于其上的可由邏輯子系統(tǒng)執(zhí)行以進行以下操作的指令: 基于所述圖像數 據，識別(508)通過所述顯示器可觀看的表面； 響應于識別所述表面，獲取(516)物理上位于通過所述顯示器可觀看的表面后方的場景和位于與通過所述顯示器可觀看的表面上下文相關的表面后方的場景中的一個或多個的表示；以及 經由所述透視顯示器顯示(530)所述表示。
10.如權利 要求9所述的計算設備，其特征在于，所述指令可執(zhí)行以在計算機網絡上從遠程設備檢索所述表示，其中可執(zhí)行以獲取所述表示的指令包括可執(zhí)行以獲取由不是所述計算設備的設備之前收集的圖像數據的指令以及可執(zhí)行以獲取由不是所述計算設備的設備收集的實時圖像數據的指令中的一個或多個。
【文檔編號】G06F3/16GK103823553SQ201310757255
【公開日】2014年5月28日 申請日期:2013年12月18日 優(yōu)先權日:2013年12月18日
【發(fā)明者】M·斯卡維澤, J·斯科特, J·斯蒂德, I·麥克恩特瑞, A·克勞斯, D·麥克洛克, S·拉塔 申請人:微軟公司