相關(guān)申請(qǐng)
本申請(qǐng)要求于2015年3月24日提交的題為“augmentationmodificationbasedonuserinteractionwithaugmentedrealityscene(基于與增強(qiáng)現(xiàn)實(shí)場(chǎng)景的用戶交互的增強(qiáng)修改)”的美國(guó)申請(qǐng)?zhí)?4/667,302的優(yōu)先權(quán)。
本公開(kāi)涉及增強(qiáng)現(xiàn)實(shí)領(lǐng)域,并且具體地涉及響應(yīng)于用戶交互而修改增強(qiáng)現(xiàn)實(shí)。
背景技術(shù):
本文所提供的背景描述是出于一般地呈現(xiàn)本公開(kāi)的上下文的目的。除非本文另外指出,否則本節(jié)中所描述的材料對(duì)于本申請(qǐng)的權(quán)利要求書(shū)而言并非現(xiàn)有技術(shù),并且不通過(guò)包括在本節(jié)中而被承認(rèn)是現(xiàn)有技術(shù)。
貫穿人的一生,可能涉及居住的物理世界以及可以玩耍、學(xué)習(xí)、工作等的虛擬世界兩者。增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)應(yīng)用創(chuàng)建了可以模糊虛擬世界與真實(shí)世界之間的界限的環(huán)境。然而,在當(dāng)前現(xiàn)有技術(shù)下,增強(qiáng)現(xiàn)實(shí)可以包括利用虛擬產(chǎn)物對(duì)物理場(chǎng)景的增強(qiáng),所述增強(qiáng)基于用戶的自然交互模態(tài)(比如面部表情、手勢(shì)、語(yǔ)音命令等)可能并不響應(yīng)于與用戶的交互。
附圖說(shuō)明
結(jié)合附圖通過(guò)以下詳細(xì)描述將很容易理解實(shí)施例。為了方便本描述,相同的參考標(biāo)號(hào)指代相同的結(jié)構(gòu)元件。在附圖的各圖中通過(guò)示例的方式而非通過(guò)限制的方式展示了實(shí)施例。
圖1是根據(jù)本公開(kāi)的各實(shí)施例的展示了一種用于響應(yīng)于用戶交互來(lái)修改增強(qiáng)現(xiàn)實(shí)的示例設(shè)備的框圖。
圖2展示了根據(jù)本公開(kāi)的各實(shí)施例的示例計(jì)算環(huán)境。
圖3展示了根據(jù)一些實(shí)施例的用于響應(yīng)于用戶交互來(lái)修改增強(qiáng)現(xiàn)實(shí)的示例過(guò)程。
圖4展示了根據(jù)各實(shí)施例的適用于實(shí)踐本公開(kāi)的各個(gè)方面的示例計(jì)算環(huán)境。
圖5展示了具有被配置用于實(shí)踐與參照?qǐng)D1至圖3所描述的過(guò)程相關(guān)聯(lián)的操作中的全部操作或所選操作的指令的示例非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
具體實(shí)施方式
在以下詳細(xì)描述中,參照形成其一部分的附圖,其中相同的標(biāo)號(hào)自始至終指代相同的部件,并且其中通過(guò)說(shuō)明的方式示出了可實(shí)踐的實(shí)施例。應(yīng)當(dāng)理解,在不脫離本公開(kāi)的范圍的情況下,可以利用其他實(shí)施例并且可以做出結(jié)構(gòu)改變或邏輯改變。因此,以下詳細(xì)描述不應(yīng)被認(rèn)為具有限制意義,并且實(shí)施例的范圍由所附權(quán)利要求書(shū)及其等效物來(lái)限定。
本文中描述了用于基于與經(jīng)渲染的增強(qiáng)現(xiàn)實(shí)的用戶交互來(lái)修改增強(qiáng)現(xiàn)實(shí)的計(jì)算設(shè)備、方法和存儲(chǔ)介質(zhì)。在一個(gè)實(shí)例中,用于修改增強(qiáng)現(xiàn)實(shí)的所述設(shè)備可以包括處理器、與所述處理器耦合以用于捕捉物理場(chǎng)景的場(chǎng)景捕捉相機(jī)、以及由所述處理器操作的增強(qiáng)管理模塊。所述增強(qiáng)管理模塊可以獲取并分析所述物理場(chǎng)景、基于所述分析的結(jié)果生成一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)所述物理場(chǎng)景的渲染、追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互、并且響應(yīng)于所述追蹤的用戶交互來(lái)修改或補(bǔ)充所述虛擬物品。
可以采用對(duì)理解所要求保護(hù)的主題最有幫助的方式將各個(gè)操作依次描述為多個(gè)分立的動(dòng)作或操作。然而,描述的順序不應(yīng)被解釋為暗示這些操作一定是順序相關(guān)的。具體地,可以不按所呈現(xiàn)的順序來(lái)執(zhí)行這些操作??梢园磁c所描述的實(shí)施例不同的順序來(lái)執(zhí)行所描述的操作??梢詧?zhí)行各個(gè)附加操作和/或可以在附加實(shí)施例中省略所描述的操作。
出于本公開(kāi)的目的,短語(yǔ)“a和/或b”意指(a)、(b)、(a)或(b)、或者(a和b)。出于本公開(kāi)的目的,短語(yǔ)“a、b和/或c”意指(a)、(b)、(c)、(a和b)、(a和c)、(b和c),或者(a、b和c)。
本說(shuō)明可以使用短語(yǔ)“在一個(gè)實(shí)施例中(inanembodiment)”或“在實(shí)施例中(inembodiments)”,所述短語(yǔ)可以各自指代相同或不同的實(shí)施例中的一個(gè)或多個(gè)實(shí)施例。此外,如關(guān)于本公開(kāi)的實(shí)施例而使用的術(shù)語(yǔ)“包括(comprising)”、“包括(including)”、“具有(having)”等是同義的。
如在本文中所使用的,術(shù)語(yǔ)“邏輯”和“模塊”可以指代以下各項(xiàng)、是以下各項(xiàng)的一部分或者包括以下各項(xiàng):執(zhí)行一個(gè)或多個(gè)軟件或固件程序的應(yīng)用專用集成電路(asic)、電子電路、處理器(共享處理器、專用處理器或組處理器)和/或存儲(chǔ)器(共享存儲(chǔ)器、專用存儲(chǔ)器或組存儲(chǔ)器)、組合邏輯電路、和/或提供所描述的功能的其他合適部件。
圖1是根據(jù)各實(shí)施例的展示了用于響應(yīng)于用戶交互來(lái)修改增強(qiáng)現(xiàn)實(shí)的示例設(shè)備100的框圖。如所展示的,設(shè)備100可以包括與彼此通信地耦合的處理器112、存儲(chǔ)器114、增強(qiáng)管理模塊140、顯示器134、模型庫(kù)138、場(chǎng)景捕捉相機(jī)102以及交互捕捉相機(jī)104。設(shè)備100可以是例如膝上型計(jì)算裝置、平板計(jì)算裝置、移動(dòng)計(jì)算裝置、或一體式(aio)計(jì)算裝置。
場(chǎng)景捕捉相機(jī)102可以布置在設(shè)備100中或與所述設(shè)備耦合,以用于捕捉物理場(chǎng)景的圖像/視頻。物理場(chǎng)景可以包括一個(gè)或多個(gè)物理對(duì)象的圖像。在實(shí)施例中,相機(jī)102捕捉的圖像可以包括顏色信息和深度信息兩者。交互捕捉相機(jī)104可以布置在設(shè)備100中或與所述設(shè)備耦合,以用于捕捉與為用戶渲染的增強(qiáng)的物理場(chǎng)景的用戶交互的圖像/視頻,如將在圖2中更詳細(xì)地描述的那樣。
相機(jī)102和104可以外圍地附接或集成到設(shè)備100中。相機(jī)102和104可以經(jīng)由適用于傳輸相機(jī)102和104所捕捉的數(shù)據(jù)的有線或物理連接與設(shè)備100通信地耦合。如以上所指示的,相機(jī)102和104可以被配置用于捕捉深度信息和顏色信息兩者。例如,在一些實(shí)施例中,相機(jī)102和104可以結(jié)合深度傳感器(比如結(jié)合紅外相機(jī)使用的紅外發(fā)射器)以及二維(2d)圖像捕捉傳感器(比如紅、綠和藍(lán)(rgb)相機(jī)傳感器)。通常,相機(jī)102和104可以具有2d或三維(3d)圖像捕捉能力并且可以實(shí)施為3d相機(jī)、深度相機(jī)或雙焦相機(jī)和/或以其他方式能夠生成深度圖像、通道或流。相機(jī)102、104可以包括靜態(tài)相機(jī)、視頻相機(jī)、網(wǎng)絡(luò)攝像頭、紅外(ir)相機(jī)、或能夠捕捉視頻和/或圖像的其他裝置。至少交互捕捉相機(jī)104可以包括用戶接口(例如,麥克風(fēng))以用于應(yīng)用到為用戶渲染的增強(qiáng)現(xiàn)實(shí)的語(yǔ)音命令。
設(shè)備100可以被配置用于從相機(jī)102和104接收物理場(chǎng)景的以及與所述場(chǎng)景的用戶交互的捕捉圖像并且將所述捕捉圖像提供給增強(qiáng)管理模塊140。
增強(qiáng)管理模塊140可以從場(chǎng)景捕捉相機(jī)102獲取并分析物理場(chǎng)景并且基于分析的結(jié)果生成一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)物理場(chǎng)景的渲染。增強(qiáng)管理模塊140還可以基于交互捕捉相機(jī)104所提供的圖像來(lái)追蹤與經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互,并且響應(yīng)于追蹤的用戶交互來(lái)修改或補(bǔ)充生成的虛擬物品。下文中更詳細(xì)地描述了增強(qiáng)管理模塊140的操作。
增強(qiáng)管理模塊140可以包括一個(gè)或多個(gè)部件(未示出),所述一個(gè)或多個(gè)部件被配置用于合并包括在圖像中的顏色信息和深度信息以創(chuàng)建對(duì)相機(jī)102和104所提供的圖像的3d渲染。增強(qiáng)管理模塊140可以進(jìn)一步包括場(chǎng)景增強(qiáng)部件110,所述場(chǎng)景增強(qiáng)部件被配置用于分析場(chǎng)景捕捉相機(jī)102所提供的物理場(chǎng)景圖像并且基于分析的結(jié)果生成一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)物理場(chǎng)景的渲染。在顯示器134上對(duì)物理場(chǎng)景的渲染可以例如由增強(qiáng)管理模塊140或者由設(shè)備100的操作系統(tǒng)的對(duì)應(yīng)管理部件來(lái)提供。
場(chǎng)景增強(qiáng)部件110可以包括用于識(shí)別包含在圖像中的預(yù)定義物理對(duì)象的對(duì)象識(shí)別和分析模塊122。這可以例如通過(guò)特征提取以及所提取的特征與預(yù)定義物理對(duì)象的特征的對(duì)比來(lái)完成。在實(shí)施例中,預(yù)定義物理對(duì)象可以包含在預(yù)定義物理對(duì)象數(shù)據(jù)庫(kù)中。
在一些實(shí)施例中,場(chǎng)景增強(qiáng)部件110可以被配置用于使設(shè)備100的用戶能夠限定新的物理對(duì)象。這可以通過(guò)經(jīng)由相機(jī)102捕捉物理對(duì)象的一個(gè)或多個(gè)圖像來(lái)完成。對(duì)象識(shí)別和分析部件122可以被配置用于從所述一個(gè)或多個(gè)圖像中提取與物理對(duì)象相關(guān)聯(lián)的特征并且生成足以標(biāo)識(shí)物理場(chǎng)景的圖像中的物理對(duì)象的特征數(shù)據(jù)。這些特征可以存儲(chǔ)在物理對(duì)象儲(chǔ)存庫(kù)(例如,存儲(chǔ)器114)中以用于標(biāo)識(shí)未來(lái)的物理場(chǎng)景中的物理對(duì)象。
所識(shí)別的對(duì)象中的一些對(duì)象可以包括可與物理場(chǎng)景中所識(shí)別對(duì)象的增強(qiáng)相關(guān)的虛擬物品的標(biāo)記、標(biāo)簽、或其他指示。對(duì)象識(shí)別和分析部件122可以被配置用于生成一個(gè)或多個(gè)虛擬物品并且利用一個(gè)或多個(gè)虛擬物品增強(qiáng)對(duì)所識(shí)別的物理對(duì)象的3d渲染以用于輸出到顯示器134上。例如,對(duì)象識(shí)別和分析模塊122可以被配置用于識(shí)別與對(duì)象相關(guān)聯(lián)的標(biāo)記中的關(guān)鍵顏色或其他標(biāo)識(shí)符,以響應(yīng)于顏色或其他標(biāo)識(shí)符的識(shí)別而觸發(fā)生成與對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)虛擬物品。例如,如果物理對(duì)象包括樹(shù),則其可以例如根據(jù)與樹(shù)相關(guān)聯(lián)的并且由對(duì)象識(shí)別和分析模塊122標(biāo)識(shí)的標(biāo)識(shí)符通過(guò)添加一個(gè)或多個(gè)虛擬的鳥(niǎo)、松鼠、堅(jiān)果、水果等來(lái)增強(qiáng)。
在一些實(shí)施例中,場(chǎng)景增強(qiáng)部件110可以被配置用于動(dòng)態(tài)地追蹤經(jīng)渲染的場(chǎng)景中的物理對(duì)象的位置以確定物理對(duì)象的移動(dòng)并且使生成的虛擬物品根據(jù)所述移動(dòng)來(lái)運(yùn)轉(zhuǎn)。這可以被認(rèn)為是一種基于上下文的增強(qiáng),其中,所述上下文可以基于物理對(duì)象的移動(dòng)。
所描述的物理場(chǎng)景增強(qiáng)技術(shù)出于說(shuō)明的目的被提供并且不應(yīng)被視為對(duì)本公開(kāi)進(jìn)行限制。將理解的是,可以將不同的現(xiàn)實(shí)增強(qiáng)方法應(yīng)用到場(chǎng)景捕捉相機(jī)102所捕捉的物理場(chǎng)景中。
在實(shí)施例中,增強(qiáng)管理模塊140可以被配置用于基于交互捕捉相機(jī)104所捕捉并提供的用戶交互的圖像(在一些實(shí)施例中,結(jié)合如在下文中所描述的出于用戶交互追蹤的目的可以分布在設(shè)備100周圍的傳感器所提供的用戶交互信息)實(shí)時(shí)地或近實(shí)時(shí)地追蹤與顯示器134上所渲染的增強(qiáng)物理場(chǎng)景的用戶交互。
與增強(qiáng)的經(jīng)渲染的場(chǎng)景的用戶交互可以采取不同形式。例如,用戶交互指示可以包括但可以不限于手勢(shì)、用戶面部表情的變化、用戶下發(fā)的口頭命令、用戶眼睛注視的變化、用戶姿態(tài)的變化、用戶頭部姿勢(shì)的變化、或其組合。用戶交互可以包括與場(chǎng)景增強(qiáng)部件110為顯示器134上渲染的增強(qiáng)場(chǎng)景提供的一個(gè)或多個(gè)虛擬物品的各種類型的交互。
交互捕捉相機(jī)104可以被配置用于捕捉與經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互并且將捕捉的信息提供給用戶交互追蹤部件120。在實(shí)施例中,交互捕捉相機(jī)104可以被放置在設(shè)備100中或者在所述設(shè)備周圍以面對(duì)設(shè)備100的用戶,以便捕捉用戶面部表情、手勢(shì)和/或姿態(tài)、姿勢(shì)、眼睛注視等方面的變化。
在一些實(shí)施例中,除了交互捕捉相機(jī)104之外或作為所述交互捕捉相機(jī)的替代方案,設(shè)備100可以包括多個(gè)傳感器136以用于追蹤與經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互指示。傳感器136可以包括接近度傳感器、慣性傳感器、光學(xué)傳感器、光傳感器、音頻傳感器、溫度傳感器、熱敏電阻、運(yùn)動(dòng)傳感器、振動(dòng)傳感器、麥克風(fēng)、相機(jī)和/或其他類型的傳感器。
傳感器136可以按照多種不同的方式跨設(shè)備100分布。例如,一些傳感器(例如,用于捕捉與用戶語(yǔ)音命令相關(guān)聯(lián)的音頻的麥克風(fēng))可以駐留在交互捕捉相機(jī)104中,而其他傳感器可以嵌在設(shè)備100的本體周圍。一些傳感器(比如運(yùn)動(dòng)傳感器(例如,加速計(jì)、陀螺儀等))可以被放置在場(chǎng)景捕捉相機(jī)102所捕捉的物理場(chǎng)景的對(duì)象中或在其周圍以檢測(cè)與對(duì)象相關(guān)聯(lián)的位置和速度變化等。
傳感器136可以包括用于記錄例如與用戶交互相關(guān)聯(lián)的內(nèi)容(比如用戶交互的圖像或語(yǔ)音命令)的記錄裝置。記錄裝置可以被實(shí)施為任何外部的外圍裝置或集成裝置。
增強(qiáng)管理模塊140可以進(jìn)一步包括用戶交互追蹤部件120,所述用戶交互追蹤部件被配置用于基于交互捕捉相機(jī)104和/或傳感器136所提供的用戶交互信息實(shí)時(shí)地或近實(shí)時(shí)地追蹤與增強(qiáng)的物理場(chǎng)景的用戶交互。
用戶交互追蹤部件120可以包括處理部件150,所述處理部件被配置用于接收、預(yù)處理(例如,數(shù)字化和時(shí)間戳記)交互捕捉相機(jī)104和/或傳感器136所提供的數(shù)據(jù)并且提供經(jīng)過(guò)預(yù)處理的數(shù)據(jù)以進(jìn)行下文中所描述的進(jìn)一步處理。
用戶交互追蹤部件120可以包括語(yǔ)音識(shí)別部件124,所述用戶識(shí)別部件被配置用于識(shí)別由用戶提供的與經(jīng)渲染的增強(qiáng)場(chǎng)景中的特定虛擬物品相關(guān)聯(lián)的語(yǔ)音命令。在實(shí)施例中,語(yǔ)音識(shí)別部件124可以包括轉(zhuǎn)換器,所述轉(zhuǎn)換器用于匹配設(shè)備100的多個(gè)用戶的語(yǔ)音,所述多個(gè)用戶可以有資格提供與虛擬物品相關(guān)聯(lián)的語(yǔ)音命令。
用戶交互追蹤部件120可以包括面部表情追蹤部件115,所述面部表情追蹤部件被配置用于追蹤用戶的面部表情(例如,嘴或眼睛移動(dòng))、檢測(cè)面部表情變化、記錄面部表情變化并且解釋與經(jīng)渲染的增強(qiáng)場(chǎng)景中的特定虛擬物品有關(guān)的用戶面部表情的變化。例如,面部表情追蹤部件115可以分析用戶面部表情并且響應(yīng)于面部表情的變化和/或由用戶經(jīng)由語(yǔ)音命令提供的音頻敘述使得能夠操縱增強(qiáng)場(chǎng)景中的虛擬物品。面部表情追蹤部件115還可以被配置用于追蹤用戶的注視并且提供關(guān)于用戶對(duì)虛擬物品的注視的變化的眼睛追蹤信息。
用戶交互追蹤部件120可以進(jìn)一步包括手勢(shì)追蹤部件116,所述手勢(shì)追蹤部件用于追蹤由用戶提供的與經(jīng)渲染的增強(qiáng)場(chǎng)景中的特定虛擬物品有關(guān)的手勢(shì)。手勢(shì)可以單獨(dú)地或結(jié)合其他用戶交互指示(比如語(yǔ)音命令)充當(dāng)用于響應(yīng)于所述指示操縱增強(qiáng)場(chǎng)景中的虛擬物品的指示。
增強(qiáng)管理模塊140可以包括增強(qiáng)修改部件130(出于說(shuō)明的目的被示出為場(chǎng)景增強(qiáng)部件110的一部分),所述增強(qiáng)修改部件被配置用于響應(yīng)于追蹤的用戶交互來(lái)修改或補(bǔ)充一個(gè)或多個(gè)虛擬物品。例如,增強(qiáng)修改部件130可以被配置用于將經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品與用戶交互追蹤部件120所檢測(cè)到的與經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品的所指示的用戶交互進(jìn)行對(duì)準(zhǔn)。
在另一個(gè)示例中,增強(qiáng)修改部件130可以被配置用于響應(yīng)于用戶交互追蹤部件120所提供的與虛擬物品的用戶交互指示,更改在經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品的位置。
在另一個(gè)示例中,增強(qiáng)修改部件130可以被配置用于響應(yīng)于與經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品的用戶交互指示,更改(例如,改變尺寸、顏色等)經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品。
為了方便增強(qiáng)修改,設(shè)備100可以包括模型庫(kù)138,所述模型庫(kù)被配置成儲(chǔ)存庫(kù)以用于基于檢測(cè)到的交互指示對(duì)虛擬物品進(jìn)行增強(qiáng)修改。例如,模型庫(kù)138可以包括規(guī)則,所述規(guī)則被配置用于基于例如啟發(fā)式法來(lái)確定基于相關(guān)聯(lián)指示或與虛擬物品的用戶交互對(duì)虛擬物品的修改或補(bǔ)充。例如,模型庫(kù)138可以按照特定性質(zhì)和對(duì)相關(guān)聯(lián)虛擬物品的相應(yīng)類型的修改或補(bǔ)充來(lái)存儲(chǔ)手勢(shì)、語(yǔ)音命令或面部表情的索引。
應(yīng)當(dāng)理解的是,在一些實(shí)施例中,所展示的部件中的任何或所有部件(比如相機(jī)102、104和/或傳感器136)可以與設(shè)備100分離開(kāi)并且遠(yuǎn)離所述設(shè)備,但卻與所述設(shè)備通信地耦合。通常,設(shè)備100的部分或全部功能(比如處理能力和/或存儲(chǔ)器容量)可以與增強(qiáng)管理模塊140一起使用或共享。此外,增強(qiáng)管理模塊140的至少一部分部件(例如,庫(kù)138)可被設(shè)備100訪問(wèn)(例如,與所述設(shè)備通信地耦合),但是可以不必駐留在設(shè)備100上。上述部件中的一個(gè)或多個(gè)部件可以跨設(shè)備100分布和/或駐留在云計(jì)算設(shè)備上以托管這些部件。另外,在一些實(shí)施例中,說(shuō)明性部件中的一個(gè)或多個(gè)說(shuō)明性部件可以結(jié)合在另一個(gè)部件中、或以其他方式形成其一部分。例如,在一些實(shí)施例中,存儲(chǔ)器114或其一部分可以結(jié)合到處理器112中。將理解的是,增強(qiáng)管理模塊140可以包括硬件、軟件(例如,存儲(chǔ)在存儲(chǔ)器114中)或其組合。
圖2展示了根據(jù)本公開(kāi)的各實(shí)施例的示例計(jì)算環(huán)境200。計(jì)算環(huán)境200的部件中的至少一些部件可以與圖1的設(shè)備100的部件相對(duì)應(yīng)。計(jì)算環(huán)境200可以包括設(shè)備100(比如可以包括顯示器134和增強(qiáng)管理模塊140的膝上型計(jì)算裝置)。計(jì)算環(huán)境200可以進(jìn)一步包括與計(jì)算裝置100耦合的場(chǎng)景捕捉相機(jī)102和交互捕捉相機(jī)104。雖然在本文中被描繪成集成到計(jì)算裝置100中,但是在一些實(shí)施例中,相機(jī)102和104可以外圍地附接至計(jì)算裝置100。
如所示出的,場(chǎng)景捕捉相機(jī)102基本上面對(duì)計(jì)算裝置100前面的物理場(chǎng)景,以使得能夠捕捉204(用虛線指示)物理場(chǎng)景206。如所示出的,物理場(chǎng)景包括對(duì)象(杯子)208。交互捕捉相機(jī)104面對(duì)用戶210,以使得能夠捕捉212(用虛線指示)與顯示器134上渲染的增強(qiáng)場(chǎng)景214的用戶交互。計(jì)算裝置100可以被放置在固定位置(例如,在表面202上),以使能夠捕捉具有對(duì)象208的物理場(chǎng)景206、與增強(qiáng)場(chǎng)景214進(jìn)行用戶交互、并且進(jìn)行本文中所描述的場(chǎng)景214增強(qiáng)修改。
在操作中,場(chǎng)景捕捉相機(jī)102可以捕捉204具有對(duì)象208的物理場(chǎng)景206并且將捕捉的場(chǎng)景提供給增強(qiáng)管理模塊140以用于如參照?qǐng)D1所描述的處理和增強(qiáng)。增強(qiáng)管理模塊140可以分析捕捉的場(chǎng)景206、標(biāo)識(shí)對(duì)象208并且提供所捕捉場(chǎng)景214的增強(qiáng)。例如,增強(qiáng)管理模塊140可以生成一個(gè)或多個(gè)相關(guān)的虛擬物品以增強(qiáng)識(shí)別的對(duì)象208。在圖2所展示的示例中,對(duì)象208可以用虛擬物品(比如花216和蝴蝶218)來(lái)增強(qiáng),如在圖2中所展示的那樣。
與場(chǎng)景捕捉相機(jī)102的操作基本上同時(shí)地,交互捕捉相機(jī)104可以捕捉212與顯示器134上渲染的增強(qiáng)場(chǎng)景214的用戶交互,并且將捕捉的圖像提供給增強(qiáng)管理模塊140以用于如參照?qǐng)D1所描述的處理和分析。如參照?qǐng)D1所描述的,除了交互捕捉相機(jī)104之外,用戶交互可以被多個(gè)傳感器136(未在圖2中示出)捕捉。然而,將假設(shè)相機(jī)104與傳感器合作操作以用于捕捉用戶交互,并且出于描述的簡(jiǎn)單性,用戶捕捉將關(guān)于交互捕捉相機(jī)104而被描述。
例如,交互捕捉相機(jī)104可以捕捉用戶210的圖像并且將捕捉的圖像提供給增強(qiáng)管理模塊140以用于分析。所述分析可以包括標(biāo)識(shí)以及收集關(guān)于用戶210的個(gè)人模態(tài)(比如姿態(tài)、相對(duì)于相機(jī)104的位置、頭部姿勢(shì)、面部表情、眼睛注視、手勢(shì)等)的信息。然后,相機(jī)104可以連續(xù)地或周期性地實(shí)時(shí)或近實(shí)時(shí)地捕捉用戶的個(gè)人模態(tài)并且將捕捉的信息提供給增強(qiáng)管理模塊140,以用于追蹤并檢測(cè)與增強(qiáng)的經(jīng)渲染的場(chǎng)景214的用戶交互指示。
如上所述,用戶210可以以各種方式與增強(qiáng)的經(jīng)渲染的場(chǎng)景214進(jìn)行交互。例如,用戶210可以使用手勢(shì)、語(yǔ)音命令、面部表情、眼睛移動(dòng)、或者語(yǔ)音命令、手勢(shì)和面部表情的組合。
例如,用戶手勢(shì)可以與語(yǔ)音命令相關(guān)聯(lián)(例如,經(jīng)由參照?qǐng)D1所描述的記錄裝置)。用戶210可以指向場(chǎng)景214中的對(duì)象并且提供音頻命令:對(duì)于特定虛擬物品采取特定類型的動(dòng)作。
在圖2所描繪的示例中,用戶210可以操縱虛擬物品218(蝴蝶),比如試圖用她的手220抓住蝴蝶或者試圖用她的眼睛222的移動(dòng)來(lái)移動(dòng)蝴蝶。
響應(yīng)于檢測(cè)到的用戶交互(例如,試圖抓住蝴蝶),增強(qiáng)管理模塊140可以修改或補(bǔ)充經(jīng)渲染的增強(qiáng)的場(chǎng)景214中的虛擬物品216、218。例如,增強(qiáng)管理模塊140可以將經(jīng)渲染的增強(qiáng)場(chǎng)景214中的虛擬物品(例如,蝴蝶218)與指示的用戶交互(比如試圖抓住蝴蝶218)進(jìn)行對(duì)準(zhǔn)。換言之,在經(jīng)渲染的增強(qiáng)場(chǎng)景214中,增強(qiáng)管理模塊140可以使蝴蝶218虛擬地移向(例如“進(jìn)入”)用戶的手220中。
在另一個(gè)示例中,增強(qiáng)管理模塊140可以響應(yīng)于用戶的手220試圖抓住蝴蝶218而更改所述蝴蝶的位置(比如在場(chǎng)景214中虛擬地移動(dòng)蝴蝶218“遠(yuǎn)離”用戶的手220)。
在另一個(gè)示例中,增強(qiáng)管理模塊140可以響應(yīng)于檢測(cè)到的與虛擬物品的用戶交互指示來(lái)更改虛擬物品。例如,增強(qiáng)管理模塊140可以使花216響應(yīng)于用戶的手220的揮動(dòng)或其他用戶交互指示而虛擬地開(kāi)放。
在另一個(gè)示例中,增強(qiáng)管理模塊140可以響應(yīng)于用戶210視點(diǎn)的變化(例如,經(jīng)由改變的頭部姿勢(shì))而對(duì)準(zhǔn)虛擬物品。
對(duì)虛擬物品進(jìn)行了所描述的操縱的增強(qiáng)場(chǎng)景214可以在顯示器134上向用戶210重新渲染。
圖3展示了根據(jù)一些實(shí)施例的用于響應(yīng)于用戶交互來(lái)修改增強(qiáng)現(xiàn)實(shí)的示例過(guò)程。過(guò)程300可以例如由配置有參照?qǐng)D1和圖2所描述的增強(qiáng)管理模塊140的設(shè)備100(例如,計(jì)算裝置)來(lái)執(zhí)行。
過(guò)程300可以始于框302,并且包括獲取并分析有關(guān)與增強(qiáng)現(xiàn)實(shí)的用戶交互的物理場(chǎng)景和用戶特性的信息。如參照?qǐng)D2所描述的,場(chǎng)景捕捉相機(jī)可以捕捉物理場(chǎng)景并且將捕捉的場(chǎng)景提供給增強(qiáng)管理模塊以用于處理和增強(qiáng)。增強(qiáng)管理模塊可以分析捕捉的場(chǎng)景并且標(biāo)識(shí)場(chǎng)景中的對(duì)象,以提供對(duì)所捕捉場(chǎng)景的增強(qiáng)。
基本上同時(shí)地,交互捕捉相機(jī)可以捕捉計(jì)算裝置的用戶的圖像并且將捕捉的圖像提供給增強(qiáng)管理模塊以用于分析。所述分析可以包括標(biāo)識(shí)以及關(guān)于用戶的個(gè)人模態(tài)(比如姿態(tài)、相對(duì)于相機(jī)104的位置、頭部姿勢(shì)、面部表情、眼睛注視、手勢(shì)等)的收集信息。
在框304,過(guò)程300可以包括基于對(duì)物理場(chǎng)景的分析生成一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)可以顯示給用戶的物理場(chǎng)景的渲染。更確切地,可以生成一個(gè)或多個(gè)相關(guān)的虛擬物品以增強(qiáng)經(jīng)渲染的增強(qiáng)場(chǎng)景中的被識(shí)別的對(duì)象。
在框306處,過(guò)程300可以包括增強(qiáng)對(duì)具有在框304處生成的虛擬物品的物理場(chǎng)景的渲染。
在框308處,過(guò)程300可以包括追蹤與經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互。例如,交互捕捉相機(jī)可以連續(xù)地或周期性地實(shí)時(shí)或近實(shí)時(shí)地捕捉用戶的個(gè)人模態(tài)并且將捕捉的信息提供給增強(qiáng)管理模塊,以用于追蹤并檢測(cè)與增強(qiáng)的經(jīng)渲染的場(chǎng)景的用戶交互指示。
在框310處,過(guò)程300可以包括響應(yīng)于對(duì)用戶交互的追蹤,修改或補(bǔ)充經(jīng)渲染的增強(qiáng)場(chǎng)景中的一個(gè)或多個(gè)物品。例如,如果檢測(cè)到與經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品的用戶交互指示,則可以通過(guò)將經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品與經(jīng)渲染的增強(qiáng)場(chǎng)景中的指示的用戶交互進(jìn)行對(duì)準(zhǔn)來(lái)修改增強(qiáng)場(chǎng)景。在另一個(gè)示例中,可以通過(guò)響應(yīng)于檢測(cè)到的用戶交互指示更改在經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品的位置來(lái)修改增強(qiáng)場(chǎng)景。在另一個(gè)示例中,可以通過(guò)響應(yīng)于用戶交互指示更改經(jīng)渲染的增強(qiáng)場(chǎng)景中的虛擬物品來(lái)修改增強(qiáng)場(chǎng)景。
在決策框312,過(guò)程300可以包括判定與計(jì)算裝置的用戶會(huì)話是否已結(jié)束。如果會(huì)話尚未結(jié)束,則過(guò)程300可以返回至框308。否則,過(guò)程300可以結(jié)束。
應(yīng)當(dāng)理解的是,參照?qǐng)D3所描述的動(dòng)作可以不必按所描述的順序發(fā)生。例如,與框308相對(duì)應(yīng)的動(dòng)作可以同與框310相對(duì)應(yīng)的動(dòng)作基本上同時(shí)發(fā)生。
圖4展示了根據(jù)各實(shí)施例的適合用于實(shí)踐本公開(kāi)的方面的示例計(jì)算裝置400。如所示出的,計(jì)算裝置400可以包括一個(gè)或多個(gè)處理器或處理器核402、以及系統(tǒng)存儲(chǔ)器404。出于本申請(qǐng)(包括權(quán)利要求書(shū))的目的,術(shù)語(yǔ)“處理器”和“處理器核”可以被認(rèn)為是同義的,除非上下文另外明確要求。處理器402可以包括任何類型的處理器,比如中央處理單元(cpu)、微處理器等。處理器402可以被實(shí)現(xiàn)為具有多核的集成電路,例如,多核微處理器。計(jì)算裝置400可以包括大容量存儲(chǔ)裝置406(比如磁盤、硬盤驅(qū)動(dòng)器、易失性存儲(chǔ)器(例如,dram)、致密盤只讀存儲(chǔ)器(cd-rom)、數(shù)字多功能盤(dvd)等等)。通常,系統(tǒng)存儲(chǔ)器404和/或大容量存儲(chǔ)裝置406可以是任何類型的臨時(shí)和/或永久存儲(chǔ)裝置,包括但不限于易失性和非易失性存儲(chǔ)器、光學(xué)存儲(chǔ)裝置、磁存儲(chǔ)裝置、和/或固態(tài)大容量存儲(chǔ)裝置等等。易失性存儲(chǔ)器可以包括但不限于靜態(tài)隨機(jī)存取存儲(chǔ)器和/或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器。非易失性存儲(chǔ)器可以包括但不限于電可擦除可編程只讀存儲(chǔ)器、相變存儲(chǔ)器、電阻存儲(chǔ)器等等。
計(jì)算裝置400可以進(jìn)一步包括輸入/輸出(i/o)裝置408(比如顯示器134、鍵盤、光標(biāo)控件、遠(yuǎn)程控件、游戲控制器、圖像捕捉裝置等等)和通信接口(comm.intf)410(比如網(wǎng)絡(luò)接口卡、調(diào)制解調(diào)器、紅外接收器、無(wú)線電接收器(例如,藍(lán)牙)等等)。如所示出的,i/o裝置408可以進(jìn)一步包括相機(jī)102和104以及傳感器136。
通信接口410可以包括可被配置用于根據(jù)以下各項(xiàng)來(lái)操作裝置400(或100)的通信芯片(未示出):全球移動(dòng)通信系統(tǒng)(gsm)、通用分組無(wú)線電業(yè)務(wù)(gprs)、通用移動(dòng)電信系統(tǒng)(umts)、高速分組接入(hspa)、演進(jìn)型hspa(e-hspa)、或lte網(wǎng)絡(luò)。通信芯片還可以被配置用于根據(jù)以下各項(xiàng)進(jìn)行操作:gsm演進(jìn)的增強(qiáng)型數(shù)據(jù)(edge)、gsmedge無(wú)線電接入網(wǎng)絡(luò)(geran)、通用陸地?zé)o線電接入網(wǎng)絡(luò)(utran)、或演進(jìn)型utran(e-utran)。通信芯片可以被配置用于根據(jù)以下各項(xiàng)進(jìn)行操作:碼分多址(cdma)、時(shí)分多址(tdma)、數(shù)字增強(qiáng)型無(wú)繩電信(dect)、演進(jìn)數(shù)據(jù)優(yōu)化(ev-do)、其衍生物、以及被指定為3g、4g、5g及其以后的任何其他無(wú)線協(xié)議。在其他實(shí)施例中,通信接口410可以根據(jù)其他無(wú)線協(xié)議進(jìn)行操作。
上述計(jì)算裝置400元件可以經(jīng)由系統(tǒng)總線412耦合至彼此,所述系統(tǒng)總線可以表示一條或多條總線。在多條總線的情況下,它們可以由一個(gè)或多個(gè)總線橋(未示出)橋接。這些元件中的每個(gè)元件可以執(zhí)行其在本領(lǐng)域中已知的常規(guī)功能。具體地,系統(tǒng)存儲(chǔ)器404和大容量存儲(chǔ)裝置406可以用來(lái)存儲(chǔ)實(shí)現(xiàn)與設(shè)備100相關(guān)聯(lián)的操作(例如,與提供如參照?qǐng)D1至圖3所描述的、通常被示出為計(jì)算邏輯422的增強(qiáng)管理模塊140相關(guān)聯(lián)的操作)的編程指令的工作副本和永久副本。計(jì)算邏輯422可以通過(guò)(多個(gè))處理器402所支持的匯編指令或者可編譯成這種指令的高級(jí)語(yǔ)言來(lái)實(shí)現(xiàn)。
編程指令的永久副本可以在工廠中或在現(xiàn)場(chǎng)通過(guò)例如分布式介質(zhì)(未示出)(比如壓縮盤(cd))或者通過(guò)通信接口410(從分布式服務(wù)器(未示出))被放置到大容量存儲(chǔ)裝置406中。
圖5展示了具有被配置用于實(shí)踐與上述過(guò)程相關(guān)聯(lián)的操作中的全部操作或所選操作的指令的示例非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)502。如所展示的,非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)502可以包括多個(gè)編程指令504(例如,包括增強(qiáng)管理模塊140)。編程指令504可以被配置用于響應(yīng)于編程指令的執(zhí)行使得裝置(例如,計(jì)算裝置400)能夠執(zhí)行參照?qǐng)D1至圖3所描述的過(guò)程的一個(gè)或多個(gè)操作。在替代實(shí)施例中,編程指令504反而可以布置在多個(gè)非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)502上。在另外的其他實(shí)施例中,編程指令504可被編碼在瞬態(tài)計(jì)算機(jī)可讀信號(hào)中。
再次參照?qǐng)D4,元件408、410、412的數(shù)量、能力和/或容量可以取決于計(jì)算裝置400是用作固定的計(jì)算裝置(比如機(jī)頂盒或臺(tái)式計(jì)算機(jī))還是移動(dòng)的計(jì)算裝置(比如平板計(jì)算裝置、膝上型計(jì)算機(jī)、游戲控制臺(tái)或智能電話)而發(fā)生改變。它們的構(gòu)成是以其他方式已知的,并且因此將不進(jìn)行進(jìn)一步的描述。
處理器402中的至少一個(gè)處理器可以與具有被配置用于實(shí)踐參照?qǐng)D1至圖4所描述的實(shí)施例的方面的計(jì)算邏輯422的存儲(chǔ)器封裝在一起。例如,計(jì)算邏輯422可以被配置成包括或接入內(nèi)容增強(qiáng)模塊140(比如參照?qǐng)D1所描述的部件120)。對(duì)于一個(gè)實(shí)施例,處理器402中的至少一個(gè)處理器可以與具有被配置用于實(shí)踐圖3的過(guò)程300的方面的計(jì)算邏輯422的存儲(chǔ)器封裝在一起以便形成系統(tǒng)級(jí)封裝(sip)或片上系統(tǒng)(soc)。
在各種實(shí)施方式中,計(jì)算裝置500可以包括膝上型計(jì)算機(jī)、上網(wǎng)本、筆記本、超級(jí)筆記本、智能電話、平板計(jì)算機(jī)、個(gè)人數(shù)字助理(pda)、超級(jí)移動(dòng)pc、移動(dòng)電話、臺(tái)式計(jì)算機(jī)、服務(wù)器、打印機(jī)、掃描儀、監(jiān)視器、機(jī)頂盒、娛樂(lè)控制單元、數(shù)碼相機(jī)、便攜式音樂(lè)播放器、或數(shù)字視頻錄像機(jī)。在進(jìn)一步實(shí)施方式中,計(jì)算裝置400可以是對(duì)數(shù)據(jù)進(jìn)行處理的任何其他電子裝置。
以下段落描述了各實(shí)施例的示例。
示例1是一種用于提供增強(qiáng)現(xiàn)實(shí)計(jì)算的設(shè)備,包括:處理器;場(chǎng)景捕捉相機(jī),所述場(chǎng)景捕捉相機(jī)與所述處理器耦合以用于捕捉物理場(chǎng)景;以及增強(qiáng)管理模塊,所述增強(qiáng)管理模塊由所述處理器操作以用于:獲取并分析所述物理場(chǎng)景,基于所述分析的結(jié)果生成一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)所述物理場(chǎng)景的渲染,追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互,以及響應(yīng)于所述追蹤的用戶交互來(lái)修改或補(bǔ)充所述一個(gè)或多個(gè)虛擬物品。
示例2可以包括如示例1所述的主題,進(jìn)一步包括:交互捕捉相機(jī),所述交互捕捉相機(jī)與所述處理器耦合以用于捕捉與所述增強(qiáng)場(chǎng)景的所述用戶交互并且用于將關(guān)于所述捕捉的交互的信息提供給所述增強(qiáng)管理模塊以用于追蹤。
示例3可以包括如示例2所述的主題,其中,所述設(shè)備選自以下各項(xiàng)中的一項(xiàng):膝上型計(jì)算裝置、平板計(jì)算裝置、移動(dòng)計(jì)算裝置、或一體式(aio)計(jì)算裝置。
示例4可以包括如示例1所述的主題,其中,所述增強(qiáng)管理模塊用于追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互包括用于獲取與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的至少一個(gè)虛擬物品的用戶交互指示。
示例5可以包括如示例4所述的主題,其中,所述增強(qiáng)管理模塊用于修改或補(bǔ)充所述經(jīng)渲染的增強(qiáng)場(chǎng)景包括用于:將所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品同與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品的所述指示的用戶交互進(jìn)行對(duì)準(zhǔn);響應(yīng)于與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品進(jìn)行所述所述用戶交互指示,更改所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品的位置;或者響應(yīng)于與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品進(jìn)行所述所述用戶交互指示,更改所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品。
示例6可以包括如示例4所述的主題,其中,所述用戶交互指示包括以下各項(xiàng)中的至少所選擇的一項(xiàng):手勢(shì)、面部表情的變化、口頭命令、眼睛注視的變化、姿態(tài)的變化、或頭部姿勢(shì)的變化。
示例7可以包括如示例1所述的主題,進(jìn)一步包括:顯示裝置,所述顯示裝置與所述處理器耦合以用于向所述用戶顯示所述經(jīng)渲染的增強(qiáng)場(chǎng)景。
示例8可以包括如示例1所述的主題,其中,所述增強(qiáng)管理模塊用于利用一個(gè)或多個(gè)虛擬物品增強(qiáng)對(duì)所述物理場(chǎng)景的渲染包括用于至少部分地基于與所述物理場(chǎng)景相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)記來(lái)增強(qiáng)所述渲染。
示例9可以包括如示例1至8中任一項(xiàng)的主題,其中,所述增強(qiáng)管理模塊用于與所述用戶交互的所述追蹤基本上同時(shí)地修改或補(bǔ)充所述增強(qiáng)場(chǎng)景。
示例10可以包括如示例2所述的主題,其中,所述相機(jī)中的每個(gè)相機(jī)包括二維(2d)或三維(3d)相機(jī),以用于捕捉分別與所述物理場(chǎng)景或所述用戶交互相關(guān)聯(lián)的實(shí)時(shí)深度數(shù)據(jù)和顏色數(shù)據(jù),其中所述顏色數(shù)據(jù)包括紅、綠和藍(lán)(rgb)數(shù)據(jù)。
示例11可以包括如示例10所述的主題,其中,所述設(shè)備被放置在基本上水平的表面上,以使得能夠進(jìn)行對(duì)所述物理場(chǎng)景和所述用戶交互的所述捕捉。
示例12是一種用于提供增強(qiáng)現(xiàn)實(shí)計(jì)算的計(jì)算機(jī)實(shí)施的方法,包括:由計(jì)算裝置利用一個(gè)或多個(gè)虛擬物品來(lái)增強(qiáng)對(duì)物理場(chǎng)景的渲染;由所述計(jì)算裝置追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互;以及由所述計(jì)算裝置響應(yīng)于對(duì)所述用戶交互的所述追蹤,修改或補(bǔ)充所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品。
示例13可以包括如示例12所述的主題,進(jìn)一步包括:由所述計(jì)算裝置獲取并分析所述物理場(chǎng)景;以及由所述計(jì)算裝置基于所述分析所述物理場(chǎng)景生成所述一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)所述物理場(chǎng)景的所述渲染。
示例14可以包括如示例12至13中任一項(xiàng)所述的主題,進(jìn)一步包括:由所述計(jì)算裝置對(duì)所述增強(qiáng)場(chǎng)景進(jìn)行渲染以用于顯示。
示例15可以包括如示例14所述的主題,其中,追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互包括:由所述計(jì)算裝置獲取與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的至少一個(gè)虛擬物品的用戶交互指示,并且其中,修改或補(bǔ)充所述一個(gè)或多個(gè)物品進(jìn)一步包括:同獲取與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品的所述用戶交互指示基本上同時(shí)地且響應(yīng)于所述獲取,由所述計(jì)算裝置將所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品與所述指示的用戶交互進(jìn)行對(duì)準(zhǔn)。
示例16可以包括如示例15所述的主題,其中,獲取用戶交互指示包括由所述計(jì)算裝置檢測(cè)以下各項(xiàng)中的至少所選擇的一項(xiàng):手勢(shì)、面部表情的變化、口頭命令、眼睛注視的變化、姿態(tài)的變化、或頭部姿勢(shì)的變化。
示例17是一種或多種計(jì)算機(jī)可讀介質(zhì),具有存儲(chǔ)于所述計(jì)算機(jī)可讀介質(zhì)上的用于提供增強(qiáng)現(xiàn)實(shí)計(jì)算的指令,所述指令響應(yīng)于被計(jì)算裝置執(zhí)行而為所述計(jì)算裝置提供增強(qiáng)管理環(huán)境,所述增強(qiáng)管理環(huán)境用于:利用一個(gè)或多個(gè)虛擬物品來(lái)增強(qiáng)對(duì)物理場(chǎng)景的渲染;追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互;以及響應(yīng)于對(duì)所述用戶交互的所述追蹤,修改或補(bǔ)充所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)物品。
示例18可以包括如示例17所述的主題,其中,所述計(jì)算裝置進(jìn)一步配備有所述增強(qiáng)管理環(huán)境,所述增強(qiáng)管理環(huán)境用于:獲取關(guān)于所述物理場(chǎng)景的信息;分析關(guān)于所述物理場(chǎng)景的信息;以及基于對(duì)所述物理場(chǎng)景的所述分析的結(jié)果生成所述一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)所述物理場(chǎng)景的所述渲染。
示例19可以包括如示例17至18中任一項(xiàng)所述的主題,其中,所述計(jì)算裝置配備有所述增強(qiáng)管理環(huán)境,所述增強(qiáng)管理環(huán)境用于追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互包括所述增強(qiáng)管理環(huán)境用于:獲取與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的至少一個(gè)虛擬物品的用戶交互指示。
示例20可以包括如示例19所述的主題,其中,所述計(jì)算裝置配備有所述增強(qiáng)管理環(huán)境,所述增強(qiáng)管理環(huán)境用于修改或補(bǔ)充所述一個(gè)或多個(gè)物品包括所述增強(qiáng)管理環(huán)境用于同與所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品的所述用戶交互指示的所述獲取基本上同時(shí)地且響應(yīng)于所述獲取,將所述場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品與所述指示的用戶交互進(jìn)行對(duì)準(zhǔn)。
示例21是一種用于提供增強(qiáng)現(xiàn)實(shí)計(jì)算的設(shè)備,包括:用于利用一個(gè)或多個(gè)虛擬物品增強(qiáng)對(duì)物理場(chǎng)景的渲染的裝置;用于追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互的裝置;以及用于響應(yīng)于對(duì)所述用戶交互的所述追蹤來(lái)修改或補(bǔ)充所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)物品的裝置。
示例22可以包括如示例21所述的主題,進(jìn)一步包括:用于獲取關(guān)于所述物理場(chǎng)景的信息的裝置;用于分析關(guān)于所述物理場(chǎng)景的信息的裝置;以及用于基于對(duì)所述物理場(chǎng)景的所述分析的結(jié)果生成所述一個(gè)或多個(gè)虛擬物品以增強(qiáng)對(duì)所述物理場(chǎng)景的所述渲染的裝置。
示例23可以包括如示例21至22中任一項(xiàng)所述的主題,其中,用于追蹤與所述經(jīng)渲染的增強(qiáng)場(chǎng)景的用戶交互的裝置包括用于獲取與所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的至少一個(gè)虛擬物品的用戶交互指示的裝置。
示例24可以包括如示例23所述的主題,其中,用于響應(yīng)于對(duì)所述用戶交互的所述追蹤來(lái)修改或補(bǔ)充所述經(jīng)渲染的增強(qiáng)場(chǎng)景中的所述一個(gè)或多個(gè)物品的裝置包括:用于同與所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品的所述用戶交互指示的所述獲取基本上同時(shí)地且響應(yīng)于所述獲取,將所述場(chǎng)景中的所述一個(gè)或多個(gè)虛擬物品中的所述至少一個(gè)虛擬物品與所述指示的用戶交互進(jìn)行對(duì)準(zhǔn)的裝置。
用于執(zhí)行上述技術(shù)的計(jì)算機(jī)可讀介質(zhì)(包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì))、方法、設(shè)備、系統(tǒng)和裝置是本文中所公開(kāi)的實(shí)施例的說(shuō)明性示例。另外,上述交互中的其他裝置可以被配置用于執(zhí)行各種被公開(kāi)的技術(shù)。
雖然已經(jīng)出于描述的目的在本文中展示和描述了某些實(shí)施例,但是在不脫離本公開(kāi)的范圍的情況下,適合于實(shí)現(xiàn)相同目的的各種各樣的替代和/或等效實(shí)施例或?qū)嵤┓绞娇梢源嫠境龊退枋龅膶?shí)施例。本申請(qǐng)旨在覆蓋本文中所討論的實(shí)施例的任何修改或變化。因此,顯然意圖是,本文中所描述的實(shí)施例僅由權(quán)利要求書(shū)來(lái)限制。