用于沉浸式環(huán)境的交互對象的制作方法
【專利說明】
[0001] 相關(guān)申請的奪叉引用
[0002] 本申請要求序列號為61/709, 969,于2012年10月4日提交的美國臨時專利申請 的優(yōu)先權(quán)，其全部內(nèi)容以引用方式結(jié)合于此。
技術(shù)領(lǐng)域
[0003] 本公開一般涉及家庭娛樂，具體地，涉及使用交互式對象提供沉浸式環(huán)境的技術(shù)。
【背景技術(shù)】
[0004] 自從視頻游戲被開發(fā)以來，計算機圖形技術(shù)已經(jīng)有了很大的發(fā)展。相對便宜的3D 圖像引擎現(xiàn)在提供了在手持視頻游戲、家庭視頻游戲和個人計算機硬件平臺上使用的幾乎 逼真的交互式游戲，僅花費幾百美元。這些視頻游戲系統(tǒng)通常包括手持控制器、游戲控制 器，或者在手持視頻游戲平臺的情況下，視頻游戲系統(tǒng)包括一個集成控制器。用戶或玩家使 用控制器發(fā)送命令或者其他指令到視頻游戲系統(tǒng)，以控制在玩的視頻游戲或其他仿真。例 如，控制器可被提供由用戶操作的操縱器（例如，操縱桿）和按鈕。
[0005] 當視頻游戲允許用戶與視頻游戲系統(tǒng)直接交互時，這種交互主要影響在視頻游戲 設(shè)備（或者連接的顯示器）上顯示的圖形描繪，很少會影響虛擬世界之外的任何其他對象。 也就是說，用戶可向視頻游戲系統(tǒng)指定輸入，以指示用戶化身應(yīng)執(zhí)行跳躍動作，作為響應(yīng)， 視頻游戲系統(tǒng)使用戶化身跳躍。然而，這種交互通常受限于虛擬世界，并且虛擬世界之外的 任意交互都是受限的（例如，手持游戲設(shè)備在某些動作發(fā)生時會振動）。
[0006] 另外，很多手持游戲設(shè)備包括某一形式的攝像頭，其可被用于拍攝實體的、真實場 景的一張或一系列圖像。這些拍攝的圖像之后能夠被顯示在如手持游戲設(shè)備的顯示器上。 在顯示圖像之前，某些設(shè)備可被配置為將虛擬對象插入到拍攝的圖像中。此外，其他設(shè)備或 應(yīng)用可使用戶在實體場景的拍攝圖像中描繪個別項目。然而，這種修改僅應(yīng)用于實體場景 的一個圖像，隨后從不同視角拍攝的實體場景圖像不會加入用戶的修改。

【發(fā)明內(nèi)容】

[0007] -個實施例提供了一種系統(tǒng)，包括第一交互設(shè)備和被配置為執(zhí)行操作的控制邏 輯。操作包括接收描述用戶與一個或多個交互設(shè)備之間的歷史交互的歷史數(shù)據(jù)。此外，操 作包括為第一交互設(shè)備配置一個或多個交互事件。每個交互事件包括各自的（i)激勵事件 和（ii)執(zhí)行響應(yīng)于該激勵事件的發(fā)生的動作，其中，一個或多個交互事件中的至少一個是 基于接收的歷史數(shù)據(jù)。響應(yīng)于檢測到一個或多個激勵事件中的第一激勵事件的發(fā)生，操作 包括使第一交互設(shè)備執(zhí)行相應(yīng)的動作。操作還包括利用第二個或多個交互事件更新第一交 互設(shè)備。
[0008] 另一個實施例提供了一種方法，包括監(jiān)視實體對象的位置以檢測實體對象何時到 達實體環(huán)境中的預(yù)定義位置，其中，實體對象在實體環(huán)境中的第一方向上以第一速度移動。 該方法還包括一旦檢測到實體對象已經(jīng)到達預(yù)定義位置，就使實體對象的虛擬表示顯示在 虛擬世界中，如此實體對象的虛擬表示在虛擬世界中的第一方向上以第一速度移動。
[0009] 還有一個實施例提供了一種方法，包括監(jiān)視虛擬對象的位置以檢測虛擬對象何時 到達虛擬世界中的預(yù)定義位置，其中，虛擬對象在虛擬世界中的第一方向上以第一速度移 動。該方法還包括一旦檢測到虛擬對象已經(jīng)到達預(yù)定義位置，就使實體對象開始在實體環(huán) 境的第一方向上以第一速度移動。
[0010] 還有一個實施例提供了一種裝置，包括具有單向鏡部分的外殼，單向鏡部分包括 裝有鏡子的外側(cè)和透明的內(nèi)側(cè)。該裝置還包括設(shè)置在外殼中的顯示設(shè)備，該顯示設(shè)備具有 被配置為顯示通過單向鏡部分可視的圖像的可視部分。此外，該裝置還包括設(shè)置在外殼中 的揚聲器設(shè)備和被配置為捕獲圖像并將捕獲的圖像轉(zhuǎn)換為電子信號的攝像頭傳感器。該裝 置還包括麥克風設(shè)備，被配置為捕獲音頻并將捕獲的音頻轉(zhuǎn)換為音頻數(shù)據(jù)，以及網(wǎng)絡(luò)適配 器，被配置為接收并發(fā)送網(wǎng)絡(luò)數(shù)據(jù)。此外，該裝置還包括編碼邏輯，被配置為將從攝像頭傳 感器捕獲的圖像編碼為視頻數(shù)據(jù)，對從麥克風設(shè)備捕獲的音頻數(shù)據(jù)編碼，并使用網(wǎng)絡(luò)適配 器發(fā)送視頻數(shù)據(jù)和編碼的音頻數(shù)據(jù)以在遠程設(shè)備上顯示；以及解碼邏輯，被配置為對在網(wǎng) 絡(luò)適配器上接收的來自遠程設(shè)備的音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼，其中，輸出解碼的視頻數(shù)據(jù) 以使用顯示設(shè)備來顯示，使用揚聲器設(shè)備可聽見地輸出解碼的音頻數(shù)據(jù)。
【附圖說明】
[0011] 通過參考附圖，可以獲得本發(fā)明實施例的更詳細的描述，以上的簡要概述，以及上 述記載的方面的方式可被獲得并能被詳細的理解。
[0012] 然而，需要注意的是，附圖僅說明本發(fā)明的一般實施例，因而不被認為是限制本發(fā) 明的范圍，本發(fā)明允許其他的等效實施例。
[0013] 圖1示出了根據(jù)本文描述的一個實施例的包括多個敘事設(shè)備的敘事環(huán)境的框圖。
[0014] 圖2示出了根據(jù)本文描述的一個實施例的與正在睡覺的用戶交互的玩具車交互 設(shè)備的屏幕截圖。
[0015] 圖3示出了根據(jù)本文描述的一個實施例的與用戶交互的玩具車交互設(shè)備的屏幕 截圖。
[0016] 圖4示出了根據(jù)本文描述的一個實施例的與用戶交互的仙女交互設(shè)備的屏幕截 圖。
[0017] 圖5示出了根據(jù)本文描述的一個實施例的與用戶和增強現(xiàn)實設(shè)備交互的仙女交 互設(shè)備的屏幕截圖。
[0018] 圖6示出了根據(jù)本文描述的一個實施例的與虛擬鑰匙交互的音樂盒交互設(shè)備的 屏幕截圖。
[0019] 圖7示出了根據(jù)本文描述的一個實施例的與用戶交互的玩具車交互設(shè)備的屏幕 截圖。
[0020] 圖8示出了根據(jù)本文描述的一個實施例的來自交互設(shè)備的投影的屏幕截圖。
[0021] 圖9示出了根據(jù)本文描述的一個實施例的控制器設(shè)備的框圖。
[0022] 圖10示出了根據(jù)本文描述的一個實施例的交互對象的框圖。
[0023] 圖11示出了根據(jù)本文描述的一個實施例的與魔鏡設(shè)備交互的用戶。
[0024] 圖12示出了根據(jù)本文描述的一個實施例的魔鏡設(shè)備的側(cè)視圖。
[0025] 圖13示出了根據(jù)本文描述的一個實施例的魔鏡設(shè)備的正視圖。
[0026] 圖14A-C示出了根據(jù)本文描述的一個實施例的魔鏡設(shè)備。
[0027] 圖15示出了根據(jù)本文描述的一個實施例的魔鏡設(shè)備的框圖。
[0028] 圖16示出了根據(jù)本文描述的一個實施例的實體賽車道系統(tǒng)。
[0029] 圖17示出了根據(jù)本文描述的一個實施例的與描繪有遠程用戶的虛擬賽車道交互 的實體賽車道系統(tǒng)。
[0030] 圖18示出了根據(jù)本文描述的一個實施例的與虛擬賽車道交互的實體賽車道系 統(tǒng)。
[0031] 圖19示出了根據(jù)本文描述的一個實施例的虛擬賽車道的第三方視角的屏幕截 圖。
[0032] 圖20示出了根據(jù)本文描述的一個實施例的隧道設(shè)備。
[0033] 圖21示出了根據(jù)本文描述的一個實施例的仿真實體-虛擬交互的方法流程圖。
[0034] 圖22示出了根據(jù)本文描述的一個實施例的仿真虛擬-實體交互的方法流程圖。
【具體實施方式】
[0035] 一般來說，實施例為使用交互對象（interactive obiect)的用戶提供沉浸式 (i_ersive)體驗。交互對象可以是有狀態(tài)的對象，能夠以情景合適的方式對用戶動作和真 實世界場景作出反應(yīng)。如本文使用的，當交互對象正在參與敘事體驗時，交互對象可被稱為 "敘事對象（storytelling obiect)"或者"敘事設(shè)備"。這種交互對象可在其當前環(huán)境上維 持數(shù)據(jù)，包括它們在哪個房間（或者哪種類型的房間）（例如，臥室，起居室等），哪些用戶 在臨近區(qū)域中，哪些其他對象（交互式的或其他）在臨近區(qū)域中，它們當前環(huán)境的特性（例 如，燈是開的還是關(guān)的，音樂在播放等）等等。交互對象還可維持之前與用戶和其他對象交 互的歷史數(shù)據(jù)。該歷史數(shù)據(jù)涉及用戶喜好、與特定用戶的交互、與其他交互對象的交互、用 戶行為等。
[0036] 之后，交互對象可使用該數(shù)據(jù)來執(zhí)行語境合適的動作。例如，假定一個孩子正在與 交互式玩具車對象游戲。一旦交互式玩具車確定音樂在當前環(huán)境中的音量很大以及當前 時間是9:00pm，就（例如，使用一個或多個揚聲器和文字至語音合成器（Text-To-Speech synthesizer))發(fā)音并建議孩子調(diào)低音樂的音量，因為到時間準備睡覺了。再舉個例子，交 互式玩具車基于之前與用戶的交互，可維持用戶喜好數(shù)據(jù)。例如，假定玩具車正在與孩子對 話，問孩子最愛吃的食物，男孩回答"我喜歡千層餅！"在隨后幾星期的與孩子的對話中，玩 具車能察覺到孩子媽媽叫男孩吃晚飯?；跉v史喜好數(shù)據(jù)，玩具車會對孩子說"我希望我們 今晚會吃千層餅！"
[0037] 另外，交互對象可與其他交互對象進行交互，來為用戶提供沉浸式體驗。例如，假 定孩子購買了兩輛交互式玩具車，根據(jù)皮克斯（Pixar? )電影《汽車總動員》（Cars? )是 Mater和McQueen。每個玩具車可被配置為維持歷史數(shù)據(jù)和環(huán)境數(shù)據(jù)，可基于數(shù)據(jù)執(zhí)行情景 合適的動作。在一個實施例中，汽車可收集數(shù)據(jù)并將數(shù)據(jù)報告回控制器組件。之后，控制器 組件能以情景合適的方式指揮玩具車的動作。
[0038] 在玩具車與用戶的整個交互中，玩具車能使用各種技術(shù)來熟悉住所的各個房間， 能使用該歷史數(shù)據(jù)來維持住所的大概所有房間位置。例如，玩具車能使用GPS坐標來跟蹤 他們在住所內(nèi)的位置。此外，玩具車能使用環(huán)境特性來確定他們在哪個房間。例如，玩具 車能被配置麥克風，一旦檢測到在特定房間內(nèi)的流動水聲音（例如，某個人放水洗澡的聲 音），玩具車就確定該特定房間是浴室。再舉個例子，玩具車能被配置一個或多個攝像頭，一 旦確定拍的某個房間圖片中包括床，玩具車就確定該房間是臥室。再舉個例子，交互對象能 夠基于與用戶的交互確定特定房間的類型。例如，玩具車能夠跟著孩子走進小房間，并問孩 子"哇，這個房間是干什么的？ "如果孩子回答"這是我爸爸的書房"，那么玩具車會存儲該 數(shù)據(jù)，以用于與用戶的后續(xù)交互中。
[0039] 之后汽車能在執(zhí)行情景合適的行動中使用該環(huán)境地圖數(shù)據(jù)。例如，假定孩子媽媽 在孩子與兩輛玩具車玩時進入他的房間，說"Billy，該吃完飯了。Mater，McQueen，請確保 他在晚飯前洗手！"玩具車（和/或控制器）一旦檢測到媽媽的指令，就（例如，使用GPS 數(shù)據(jù)和從之前的交互中確定的歷史地圖數(shù)據(jù)）確定他們當前在住所中的位置。例如，玩具 車能確定他們當前位于Billy的臥室，并能訪問維護的描述他們之前在住所中的位置的歷 史位置數(shù)據(jù)，以識別最近的浴室。之后，McQueen車（例如，使用在玩具車上的一個或多個 揚聲器和文本到語音合成器）以與在電影Cars w中一致的聲音說，"來吧，Billy，我們走！" 并沖向浴室。隨后，Mater玩具車說"慢點McQueen，走廊上不要賽跑！"，并在他們駛向浴室 時行駛在Billy的身邊。在浴室，當Billy洗手時，Mater可以講上次他洗車的故事。
[0040] 當汽車（例如，使用麥克風檢測流水的聲音何時停止來）確定Billy洗完手時，汽 車再次使用他們的地圖數(shù)據(jù)來確定到餐廳的路徑。McQueen車又沖向餐廳，盡管Mater玩 具車抗議在走廊上賽跑。例如，在McQueen車匆忙到餐廳時，他會"撞"到走廊的墻上。隨 后McQueen車會說"哎卩幼，受傷了！"并受到Mater車的教訓(xùn)，關(guān)于在走廊上跑是如何的不安 全。這些交互會持續(xù)到玩具車和Billy到達餐廳為止。
[0041] 在一個實施例中，交互對象可被配置為與非交互式對象進行交互。這種非交互式 對象可以是完全被動的對象（例如，床）或者可以是收集對象的數(shù)據(jù)。舉個例子，Mater玩 具車可以（例如，使用一個或多個玩具車上的和/或部署在房間內(nèi)的攝像頭）檢測Billy 何時躺在他的床上。隨后Mater車會對Billy說，"hey，Billy，你能幫我上去那兒嗎？那對 我來說太高了，不能跳上去！"再舉個例子，Billy購買Cars?牙刷，其被配置為收集數(shù)據(jù)， 以被交互對象使用。例如，牙刷會使用藍牙（Bluetoolh k )通信與控制器進行通信以報告 使用數(shù)據(jù)。之后控制器會利用該使用數(shù)據(jù)來確定孩子一般在何時（例如，一天中的哪些時 間）刷牙以及刷多久。之后控制器會利用該數(shù)據(jù)來控制交互對象的動作。
[0042] 例如，假定控制器基于收集的使用數(shù)據(jù)確定Billy大約在每晚9:00pm刷牙。在 第二天晚上8:59,控制器確定Billy正在玩Cars?視頻游戲，隨后指示McQueen玩具車對 Billy說，"Hey，Billy，我們暫停游戲吧，到時間刷牙了！ "隨后McQueen車開始向浴室移動， 以鼓勵Billy跟著他。
[0043] 除了語音和移動，交互對象可根據(jù)他們的語境來改變其外觀。例如，繼續(xù)上述的例 子，當控制器確定Billy該刷牙時，控制器會指示Mater車將其大牙的外觀改變?yōu)辄S色。例 如，玩具車的大牙包括黃燈和白燈，黃燈亮會使牙齒有黃色外觀。再舉個例子，每個牙齒包 括IXD顯示器，響應(yīng)于控制器的指示IXD顯示器會從潔白的牙齒變成黃色的、臟的牙齒。
[0044] 在本例子中，Mater車會說，"嗨，Billy，在你刷完牙后，能來幫幫我嗎？ "專用汽車 牙刷對象會被提供（例如，單獨購買或者包括在玩具車內(nèi)），當孩子將汽車牙刷從Mater的 大牙中拿出來時，牙的外觀會從黃色變回為潔白（例如，黃燈在牙齒內(nèi)被關(guān)掉，白燈在牙齒 內(nèi)取代黃燈被激活，LCD顯示器關(guān)閉或者顯示白色牙齒等）。在一個實施例中，Mater車指示 Billy先刷完牙，再清潔Mater的牙齒。例如，Mater車（和/或控制器）從Billy的刷牙 報告數(shù)據(jù)中接收數(shù)據(jù)，并確定BiIly何時刷完牙。在一個實施例中，Mater車在允許BiIly 清潔其牙齒之前，確保Billy的刷牙已經(jīng)持續(xù)了某個最短的時間量。
[0045] 在下文中，第一章節(jié)描述了交互對象如何與敘事體驗相關(guān)。另外，接下來章節(jié)之后 描述敘事體驗中和敘事體驗之外的具體交互對象的例子。本公開還討論交互對象（例如， 魔鏡（magic mirror)交互對象）的具體實施例以及管理虛擬和實體世界交互的技術(shù)。
[0046] 敘事設(shè)各
[0047] 此外，實施例提供了使用一個或多個敘事設(shè)備來創(chuàng)建沉浸式環(huán)境的技術(shù)。更具體 地，實施例可使用多種敘事設(shè)備，每個敘事設(shè)備能夠產(chǎn)生某種聽覺和/或視覺效果，以為用 戶創(chuàng)建沉浸式和交互式體驗。最后，魔鏡設(shè)備能夠作為多個敘事設(shè)備中的一個來參與敘事 體驗。
[0048] 圖1示出了包括多個敘事設(shè)備的敘事環(huán)境的框圖，一般來說，敘事環(huán)境的例子可 參見圖1。系統(tǒng)100包括經(jīng)由網(wǎng)絡(luò)130互相連接的多個敘事設(shè)備IKV n和控制器120。本文 中，每個敘事設(shè)備IKVn通常代表能夠響應(yīng)于某種形式的激勵和當前故事語境、對敘事體驗 作出貢獻的任意設(shè)備。例如，基于當前故事語境，控制器設(shè)備120為每個敘事設(shè)備IKV n配 置激勵和響應(yīng)信息。舉個例子，控制器120可配置特定敘事設(shè)備響應(yīng)于某個激勵事件（例 如，用戶執(zhí)行特定動作），進行某個視聽動作，以及響應(yīng)于另一個激勵事件（例如，用戶在預(yù) 定義的時間窗內(nèi)不執(zhí)行特定動作）執(zhí)行另一個視聽動作。
[0049] 當用戶表明他想開始特定故事的沉浸式敘事體驗時，控制器設(shè)備120檢測在用戶 的實體環(huán)境中（例如，在用戶當前站著的用戶住所的房間內(nèi)）所有可用的敘事設(shè)備IlO1I 另外，控制器設(shè)備120確定可用敘事設(shè)備IKVn中的哪個與特定故事相匹配。一旦匹配的 敘事設(shè)備11〇^被識別，控制器設(shè)備120就使用被識別的敘事設(shè)備IlOg為用戶開始沉浸式 敘事體驗。
[0050] 如上所提及的，控制器設(shè)備120可配置每個敘事設(shè)備IKVn響應(yīng)于檢測到的激勵 事件和當前講述的故事語境來執(zhí)行某些動作。本文中，故事可包括按照時序的多個不同的 語境，故事可從一個語境發(fā)展到下一個語境直到最后一個語境，敘事體驗完成。然而，當故 事是線性發(fā)展的時，事實未必如此。例如，一個實施例提供了包括一個或多個分支的故事， 其中，故事可發(fā)展為多個不同軸線（arc)中的一個。例如，基于選擇的算法（例如，隨機選 擇多個軸線中的一個），用戶要求（例如，用戶指定采用哪個軸線），用戶動作（例如，用戶 管理"營救"故事中的一個虛構(gòu)角色），用戶的歷史動作（例如，在星球大戰(zhàn)（Star \VarsK )故事情節(jié)中是否傾向于"陰暗面"）等來選擇一個軸線。此外，基于多種動作故事在播放 期間可被動態(tài)地改變，其中，多種動作例如是多個敘事設(shè)備中的一個變得不可用（例如，沒 電了，離開了實體環(huán)境等），或者新的敘事設(shè)備被加入到該環(huán)境中（例如，用戶朋友隨身帶 著一個或多個新的敘事設(shè)備過來玩）。
[0051] 例如，敘事設(shè)備可以是神燈（magic lamp)形式，激勵事件可以是實體環(huán)境中的用 戶動作（例如，用戶擦神燈設(shè)備的表面），其中，敘事設(shè)備位于實體環(huán)境中。再舉個例子， 激勵事件可以是由多個敘事設(shè)備中的另一個執(zhí)行的一個動作。為執(zhí)行響應(yīng)于檢測到的激 勵事件的一個或多個動作，神燈設(shè)備可被配置為在燈上方（例如，使用在燈內(nèi)的或者在實 體環(huán)境中的一個或多個投影儀）投影一個精靈形象。例如，形象可以是虛擬的或者真實的 圖像投影，用于創(chuàng)建存在于實體世界并與實體世界交互的真實或全息圖像的外觀（或幻 想）。此外，神燈設(shè)備可包括一個或多個能夠播放聲音的聽覺設(shè)備（例如，揚聲器，諧振腔 (resonant cavity))。例如，神燈設(shè)備可使用一個或多個聽覺設(shè)備來與精靈投影同步的播 放聲音，以描繪精靈的聲音。
[0052] 作為敘事體驗的一部分，敘事設(shè)備IKVn可表現(xiàn)為使用各種輸入/輸出組件來互 相交互和與用戶交互。繼續(xù)上述神燈設(shè)備的例子，設(shè)備可配置振動機制（例如，耦合到離心 砝碼的齒輪），這樣在精靈被"鎖"到神燈中時，神燈會表現(xiàn)為振動。燈還可包括觸敏表面， 可用于檢測用戶何時擦燈。舉個例子，燈可表現(xiàn)為在桌上振動，并播放聲音效果來描繪精靈 請求用戶"讓我離開這里！"，之后燈可檢測用戶何時用他的手擦燈的表面（即，激勵事件的 發(fā)生），作為響應(yīng)，可在燈的上方投影精靈的全息形象。之后全息精靈投影感謝用戶將它從 燈里面放出來（即，響應(yīng)激勵事件的發(fā)生而執(zhí)行的動作），隨后故事繼續(xù)下去。
[0053] 在整個敘事體驗中，部分故事在其繼續(xù)之前可要求用戶執(zhí)行某個動作。舉個例子， 在故事能夠繼續(xù)之前，敘事設(shè)備會要求用戶尋找特定對象（例如，護身符）。該對象可以是 如之前（例如，由用戶的父母或監(jiān)護人）藏在實體環(huán)境中的實體對象，或者可以是用增強現(xiàn) 實設(shè)備看到的虛擬對象。例如，敘事設(shè)備（或控制器設(shè)備）通過接收與隱藏對象相應(yīng)的（例 如，由隱藏對象本身確定并直接接收的，從控制器設(shè)備接收等的）全球定位系統(tǒng)（Global Position System，GPS)和通過確定與敘事設(shè)備相關(guān)的GPS坐標，能確定隱藏對象在實體環(huán) 境中的真實世界位置。隨后，敘事設(shè)備（或者控制器設(shè)備）使用兩組GPS坐標來確定相對 于敘事設(shè)備的隱藏對象位置。敘事設(shè)備（或者控制器設(shè)備）還能（例如，使用與用戶相關(guān) 的GPS坐標，基于使用一個或多個敘事設(shè)備的攝像頭捕獲的圖像等）確定相對于敘事設(shè)備 的用戶的位置，并根據(jù)這兩個相對位置，確定相對于用戶的隱藏對象的位置。當用戶接近對 象時，敘事設(shè)備（或者控制器設(shè)備）能監(jiān)視用戶位置并提供指導(dǎo)以幫助用戶找到對象。例 如，當用戶接近對象時，敘事設(shè)備通知用戶，用戶在變"熱"，而當用戶遠離對象時