事體驗一部分的敘事設(shè)備的邏輯。例如，魔 鏡組件1525被配置為識別多種激勵事件并分別將一個或多個動作與多種激勵事件中的每 一個相關(guān)聯(lián)。一旦檢測到一個激勵事件已經(jīng)發(fā)生，魔鏡組件1525就執(zhí)行相應(yīng)的一個或多個 動作。例如，魔鏡組件1525顯示描述虛擬角色的AV數(shù)據(jù)，一旦檢測到全息精靈投影已經(jīng)由 另一個敘事設(shè)備投影，就使顯示的虛擬角色因害怕精靈而恐懼畏縮并發(fā)出嗚咽聲。此外，魔 鏡組件1525基于使用多個敘事設(shè)備110講述的故事的當(dāng)前語境確定執(zhí)行哪些動作。也就 是說，描繪的虛擬角色可根據(jù)當(dāng)精靈第一次出現(xiàn)在故事中時的不同行為來顯示（例如，顯 得害怕精靈），以及根據(jù)當(dāng)精靈在之后的故事中幫助用戶時的不同行為來顯示（例如，一看 見精靈就顯示出感激）。因此，魔鏡組件1525被配置為根據(jù)故事的當(dāng)前語境對給定的激勵 事件做出不同反應(yīng)。
[0141] 一般來說，魔鏡組件1525以多種不同方式來檢測激勵事件的發(fā)生。例如，魔鏡組 件1525使用魔鏡設(shè)備1500中的攝像頭設(shè)備1545來檢測投影的圖像何時出現(xiàn)或者追蹤用 戶的移動。再舉個例子，基于與特定簽名匹配的加速器1555的讀取信息，魔鏡組件1525使 用加速器1555來檢測用戶何時拿起魔鏡設(shè)備1500 (例如，當(dāng)設(shè)備1500是手持設(shè)備時）。作 為響應(yīng)，魔鏡組件1525開始與用戶的對話，例如，問用戶想要干什么（例如，開始與遠(yuǎn)程終 端設(shè)備的視頻會議，進(jìn)行故事等）。此外，敘事組件1525使用其他I/O設(shè)備1535來做這樣 的確定，例如，能夠檢測用戶何時以及如何觸摸設(shè)備110的觸敏設(shè)備（例如，電容感應(yīng)或傳 導(dǎo)感應(yīng)觸覺表面）。另外，控制器120 (例如，使用Wi-Fi或者藍(lán)牙通信）將消息發(fā)送給設(shè)備 110,表示特定激勵事件已經(jīng)發(fā)生。更一般地，根據(jù)本文描述的功能可使用能夠檢測某個預(yù) 定事件的發(fā)生的任意技術(shù)。
[0142] 此外，魔鏡設(shè)備1500可被配置有邏輯和/或硬件以確定其在實體世界中的地理、 物理位置。該邏輯和/或硬件的例子包括GPS邏輯和GPS傳送器，以及使用（來自多個例 如基站，電視廣播塔或無線網(wǎng)絡(luò)設(shè)備之類的無線源的）飛行時間或飛行角度或這兩者的地 理位置軟件。更一般地，符合本文描述的功能的、用于確定設(shè)備在真實世界中的物理位置的 任意（已知或未知）技術(shù)都可被使用。
[0143] 此外，實施例在提供的沉浸式敘事體驗中可同步現(xiàn)有的媒體設(shè)備，例如，電視 (TV)，上網(wǎng)設(shè)備，智能手機和電子書之類。例如，魔鏡設(shè)備1500 (例如，通過與電視和/或視 頻游戲系統(tǒng)的通信，使用一個或多個攝像頭，使用麥克風(fēng)等）能感應(yīng)用戶當(dāng)前在觀看的電 視節(jié)目中的、或用戶當(dāng)前在玩的視頻游戲中的事件。響應(yīng)于檢測到該激勵事件，魔鏡設(shè)備 1500在合適時間以語境合適的方式做出反應(yīng)。例如，根據(jù)檢測到用戶當(dāng)前在觀看的電視上 的娛樂體育節(jié)目電視網(wǎng)（ESPN?)新聞主播提到即將舉行的Giants?對Panthers?的足 球比賽，以及根據(jù)確定Giants?之前贏了他們之前的比賽，魔鏡設(shè)備1500輸出顯示虛擬角 色頭部，（例如，使用文本到語音合成器和一個或多個揚聲器設(shè)備）說，"伙計，我當(dāng)然希望 Giants?在本周能再次贏得比賽！"
[0144] 再舉個例子，魔鏡設(shè)備1500與由用戶控制的電子書閱讀器通信，以確定用戶當(dāng)前 在看哪本書，電子書閱讀器當(dāng)前顯示具體書的哪一頁。之后魔鏡設(shè)備1500在合適的時間 (例如，在用戶翻頁之后的瞬間）通過顯示虛擬角色的頭部并輸出具有解說的音頻流以增 強在傳統(tǒng)媒體平臺（即，用戶在看的書）上講的故事。
[0145] 慮擬卅界與實體卅界奪互
[0146] 某些設(shè)備除了與其他附近的敘事設(shè)備交互之外，還能與遠(yuǎn)程設(shè)備交互。圖16和17 討論了這種例子。圖16示出了根據(jù)本文描述的一個實施例的與孩子交互的交互對象屏幕 截圖。如圖所示，屏幕截圖1600包括與交互Mater玩具車1620玩的用戶1610,以及賽車 道1630。此外，賽車道1630耦合到隧道交互對象1640,隧道交互對象1640配置有組合攝 像頭/投影機單元1650。這里，交互對象（例如，Mater玩具車1620和隧道1640)能與由 遠(yuǎn)離用戶1610的第二個孩子使用的遠(yuǎn)程交互對象（和/或與遠(yuǎn)程交互對象關(guān)聯(lián)的控制器 對象）通信。
[0147] 例如，Mater玩具車1620 -旦確定用戶1610正與其玩，以及用戶的朋友Jill在 遠(yuǎn)離用戶1610的地方（例如，Jill家）也正與她的交互玩具車玩，并還知道用戶的朋友也 有具有組合攝像頭/投影機的隧道交互對象，Mater玩具車1620就會說，"Hey Billy，你朋 友Jill能參加比賽！你玩嗎？ "如果用戶1610表示贊成，則攝像頭/投影機單元1650在 其上方的墻上呈現(xiàn)描繪Jill (即，本例中的遠(yuǎn)程用戶）和一個或多個她的交互對象的場景。 即，兩方視頻會議在攝像頭/投影機單元1650與（與用戶1610朋友Jill關(guān)聯(lián)的）第二攝 像頭/投影機單元之間建立，其中，用戶1610能夠看見Jill及其鄰近實體環(huán)境，Jill能看 見用戶1610及其交互對象（例如，車1620,賽車道1630等）。如此，攝像頭/投影機單元 1650能（例如，使用一個或多個攝像頭）捕獲用戶1610及其環(huán)境的圖像，并（例如，使用通 信網(wǎng)絡(luò)）將這些圖像發(fā)送至與遠(yuǎn)程用戶關(guān)聯(lián)的攝像頭/投影機單元的投影組件。之后遠(yuǎn)程 投影單元能呈現(xiàn)這些捕獲的圖像，允許Jill看見用戶1610及其環(huán)境。更一般地，攝像頭和 投影機不需要在一個組合單元中，可以以通過軟件和通信技術(shù)協(xié)調(diào)的單獨單元存在。
[0148] 圖17顯示了該例子，圖17示出了根據(jù)本文描述的一個實施例的與用戶和遠(yuǎn)程交 互對象交互的交互對象的屏幕截圖。這里，屏幕截圖1700描繪了用戶1610, Mater玩具車 1620,賽車道1630,隧道單元1640和攝像頭/投影機單元1650。如圖所示，攝像頭/投影機 單元1650在用戶1610房間的墻上投影畫面。畫面描繪了 Jilll710,她的交互玩具車1720， 賽車道1730,隧道單元1740和攝像頭/投影機單元1750。例如，遠(yuǎn)程攝像頭/投影機單元 1750捕獲Jill及其環(huán)境的圖像，并將這些圖像或與這些圖像關(guān)聯(lián)的數(shù)據(jù)（例如，經(jīng)由通信 網(wǎng)絡(luò)）發(fā)送至投影單元1650。之后攝像頭/投影機單元1650將描述這些圖像的畫面投影 到用戶1610房間的墻上，從而允許用戶1610實時看見并聽見他的朋友Jilll710及其比賽 的玩具設(shè)備。
[0149] 需要注意的是，雖然攝像頭/投影機單元1650顯示在隧道單元1640頂上，但是該 描繪僅用于示例性目的，而非限制。更一般地，一個攝像頭/投影機單元1650能在實體環(huán) 境中的任意地方被放置，多個攝像頭/投影機單元1650能遍布于實體環(huán)境被放置。此外， 當(dāng)攝像頭/投影機單元1650包括攝像和投影功能時，多個獨立單元（例如，攝像頭設(shè)備和 投影機單元）可用于提供該功能。
[0150] 此外，雖然屏幕截圖1700描繪了被配置為將場景投影到表面（例如，墻）上的投 影單元1650,但是，可以廣泛預(yù)見的是，實施例可使用任意顯示或可視化技術(shù)替代投影技 術(shù)，或作為一種補充。因此，雖然本文描述的實施例使用一個或多個投影單元，但是該描述 僅是用于示例性目的，而非限制。例如，顯示設(shè)備（例如，LED電視機）顯示遠(yuǎn)程環(huán)境，還能 用于顯示描繪實體玩具車1620駛?cè)胩摂M世界的渲染畫面。例如，當(dāng)玩具車1620進(jìn)入隧道 單元1640并隱藏于用戶1610的視野之外時，虛擬玩具車出現(xiàn)在顯示設(shè)備顯示的一系列渲 染畫面中。
[0151] 實施例還結(jié)合實體交互對象與增強現(xiàn)實對象，以產(chǎn)生完整地沉浸式用戶體驗。例 如，當(dāng)用戶1610將他的Mater玩具車1620駛?cè)胨淼绬卧?640時，玩具車1620的增強現(xiàn)實 版本出現(xiàn)在Jill環(huán)境的投影中。例如，隧道單元1640被配置為當(dāng)實體玩具車1620進(jìn)入隧 道單元1640時，捕獲該實體玩具車1620。另外，隧道單元1640被配置為反轉(zhuǎn)玩具車1620 的方向和位置，這樣當(dāng)玩具車1620被釋放時，玩具車1620在另一車道退出隧道單元1640 并駛向另一個方向。
[0152] -旦實體車1620被捕獲，攝像頭/投影機單元1650就將增強現(xiàn)實車插入到渲染 畫面中，描述Mater玩具車1620在遠(yuǎn)程的Jill房間的賽車道上行駛。虛擬車以與實體玩具 車1620響應(yīng)于輸入命令完全相同的方式響應(yīng)于Billl610的輸入命令。因此，從用戶1610 的角度，看起來是實體玩具車1620跨越到遠(yuǎn)程賽車道1630上，實際上縮小了用戶及其朋友 1710之間的距離，并允許他們像在同一個實體環(huán)境中交互。
[0153] 此外，在該例子中，從Jilll710的角度，也出現(xiàn)了玩具車1620的增強現(xiàn)實版本。例 如，假定jilll710戴著增強現(xiàn)實眼鏡。再舉個例子，Jill使用另一個增強現(xiàn)實設(shè)備能看見 在她房間的增強現(xiàn)實車，另一個增強現(xiàn)實設(shè)備例如是具有攝像頭的電話（例如，iPhone或 者類似的Android電話），或者具有攝像頭的平板（例如，iPad)之類。一旦Jill的增強現(xiàn) 實眼鏡（或者，例如，Jill的iPhone或iPad)檢測到用戶1610的車1620已進(jìn)入隧道單元 1640,就呈現(xiàn)Billy的車1620的增強現(xiàn)實版本行駛在Jill的賽車道1730上。在本例中， Jill看見的車的增強現(xiàn)實版本看起來是響應(yīng)于Billy的命令的。例如，當(dāng)增強現(xiàn)實車行駛 在Jill的賽車道1730時，Billyl610說"看這個，Jill，我要駕駛Mater通過環(huán)道啦！"并 控制增強現(xiàn)實車。
[0154] 當(dāng)增強現(xiàn)實車駛?cè)胨淼绬卧?740時，隧道單元1640被配置為釋放實體Mater車 1620。因此，基于增強現(xiàn)實車當(dāng)前的速度和Billy的控制，Mater車1620駛出隧道1640的 時候是增強現(xiàn)實車離開隧道單元的時候。同樣地，在本例中，交互車1620和1720表現(xiàn)給用 戶1610和1710的是，就像他們從一個賽車道1630駛向另一個賽車道1730。
[0155] 在一個實施例中，實體交互對象可與虛擬世界中的虛擬對象結(jié)合。圖18顯示了該 例子。這里，屏幕截圖1800描繪了用戶Billyl610再次在賽車道1630周圍控制他的交互 Mater車1620。此外，屏幕截圖1800包括隧道1640和攝像頭/投影機單元1650。在該例 子中，攝像頭/投影機單元1650顯示了包括虛擬賽車道1870的虛擬世界1860的畫面。
[0156] 當(dāng)Billyl610將交互Mater車1620駛?cè)胨淼绬卧?640時，隧道單元1640再次捕 獲（和反轉(zhuǎn)）實體車1620。此外，在本例中，投影單元1650隨后呈現(xiàn)虛擬車駛出虛擬隧道 單元進(jìn)入虛擬賽車道1870。虛擬車看起來直接響應(yīng)于用戶1610的控制，就像實體Mater車 1620那樣。當(dāng)虛擬車通過虛擬隧道行駛回來時，實體隧道1640釋放實體Mater車1620,之 后實體Mater車駛出隧道單元1640進(jìn)入實體賽車道1630。
[0157] 在一個實施例中，一旦實體車1620進(jìn)入虛擬世界（即，當(dāng)實體車1620進(jìn)入并由隧 道單元1640捕獲時），虛擬世界1860的投影就改變角度。例如，一旦實體車1620進(jìn)入隧道 單元1640,投影單元1650就改變角度，其中，虛擬世界1860從該角度被觀看。圖19顯示了 這樣的例子。這里，屏幕截圖1900顯示了虛擬Mater車1920在虛擬世界1900行駛的第三 方視使得角。作為一個例子，投影單元1640被配置為使得描述虛擬攝像頭的邊框（即，通 過虛擬攝像頭觀看虛擬世界）在虛擬世界中放大并改變角度，直到描繪屏幕截圖1900顯示 的角度為止。
[0158] 隨后用戶1610在虛擬世界駕駛虛擬車1920,直到虛擬車1920到達(dá)虛擬世界的出 口。那時，實體Mater車1920從隧道單元1640被釋放，再次被用戶1610控制。因此，從用 戶的角度，實體Mater車1620似乎能夠進(jìn)出虛擬世界，因而對用戶產(chǎn)生了沉浸感和交互感。
[0159] 圖20示出了根據(jù)本文描述的一個實施例的隧道設(shè)備。如圖所示，隧道設(shè)備2000包 括實體外殼2010,投影設(shè)備2015,隧道口 2020和可旋轉(zhuǎn)結(jié)構(gòu)2025。如以上討論的，玩具車 (例如，車1620)能進(jìn)出隧道口 2020。例如，玩具車被配置為沿實體賽車道移動，賽車道部 分可連接到每個隧道口 2020,以允許玩具車進(jìn)入外殼2010。當(dāng)玩具車進(jìn)入一個隧道口 2020 時，外殼2010中的邏輯檢測到玩具車的出現(xiàn)并激活可旋轉(zhuǎn)結(jié)構(gòu)，以旋轉(zhuǎn)車（例如，180度）， 并使車滑到對齊第二個隧道口。例如，玩具車進(jìn)入隧道口 202(^，可旋轉(zhuǎn)結(jié)構(gòu)2025被激活以 旋轉(zhuǎn)玩具車并將玩具車移到與隧道口 20202對齊。如此，允許玩具車離開隧道口 2020 2，例 如，進(jìn)入實體賽車道。
[0160] 如以上討論的，隧道設(shè)備2000可用于仿真實體世界與虛擬世界之間的交互。例 如，玩具車經(jīng)由隧道口 20201進(jìn)入外殼2010,作為響應(yīng)，投影單元2015投影描繪虛擬車離開 外殼2010背面的一系列渲染圖像。之前用于控制實體玩具車的來自控制設(shè)備的輸入，之后 可用于控制虛擬世界中的虛擬車（例如，當(dāng)虛擬車沿著虛擬賽車道行駛時）。此外，可旋轉(zhuǎn) 設(shè)備2025移動實體玩具車，使得實體車與隧道口 20202對齊。一旦檢測到虛擬車已到達(dá)虛 擬世界中的預(yù)定位置（例如，投影在接近外殼2010后部位置的虛擬賽車道的區(qū)域），渲染畫 面描述虛擬車消失在虛擬隧道中，實體玩具車離開隧道口 20202。如此，產(chǎn)生實體玩具車進(jìn) 出虛擬世界的景象。
[0161] 圖21示出了根據(jù)本文描述的一個實施例的管理實體世界到虛擬世界交互的方法 的流程圖。如圖所示，方法2100開始于框2110,其中，控制組件監(jiān)視實體環(huán)境中的實體對象 的位置。這里，使用控制器設(shè)備控制實體對象的移動。例如，在一個實施例中，控制器設(shè)備 包括射頻（Radio Frequency，RF)手持設(shè)備。在具體實施例中，控制器設(shè)備包括在移動設(shè)備 上執(zhí)行的應(yīng)用。然而，更一般地，可以使用與本公開一致的、能夠提供用于控制對象一個方 面（例如，實體和/或虛擬對象的移動）的輸入的任意設(shè)備。
[0162] 這里，控制組件能夠使用多種不同的技術(shù)監(jiān)視實體對象位置。例如，一個或多個 傳感器（例如，紅外或基于激光的手勢檢測傳感器）被設(shè)置在實體賽車道周圍，其中，傳感 器被配置為檢測實體對象何時經(jīng)過賽車道的具體部分。在一個實施例中，傳感器被設(shè)置在 隧道裝置2000的外殼2010內(nèi)，并被配置為檢測玩具車何時通過一個隧道口 2020進(jìn)入外殼 2010〇
[0163] 在某一時刻，當(dāng)實體對象以第一方向和第一速度移動時，控制組件隨后檢測到實 體對象到達(dá)預(yù)定位置（框2115)。在一個實施例中，控制組件被配置為（例如，基于控制器 設(shè)備的輸入，基于由實體對象報告的數(shù)據(jù)等）監(jiān)視實體對象的方向和速度。在具體實施例 中，控制組件被配置為推斷對象的方向和速度。例如，在一個實施例中，實體對象是被配置 為僅以特定方向（例如，順時針）和預(yù)定速度繞著賽車道行駛的玩具車。同樣地，在這樣的 實施例中，當(dāng)車輛到達(dá)預(yù)定位置時，控制組件推斷車輛是在特定方向上以預(yù)定速度行駛的。
[0164] 一旦檢測到實體對象到達(dá)預(yù)定位置，控制組件就使得虛擬對象出現(xiàn)在虛擬世界 中，以第一方向和第一速度行駛（框2120)。例如，響應(yīng)于來自控制器設(shè)備的控制輸入，控制 組件（例如，使用投影設(shè)備2015)呈現(xiàn)一系列描繪沿著虛擬道路行駛的虛擬車的畫面，并輸 出該系列畫面以顯示。相對于實體對象，控制組件還使得接收自控制器設(shè)備的輸入影響虛 擬對象（框2125)，方法2100結(jié)束。例如，當(dāng)來自控制器設(shè)備的輸入用于影響在渲染的一系 列畫面中的虛擬車的動作時，實體玩具車在隧道外殼2010中被控制靜止。如此，有利于提 供實體車從實體環(huán)境駛?cè)胩摂M世界的幻覺。
[0165] 控制組件除了仿真實體到虛擬的交互，還可被配置為仿真虛擬到實體的交互。圖 22顯示了這種例子，圖22示出了根據(jù)本文描述的一個實施例的仿真虛擬世界到實體世界 的交互的流程圖。如圖所示，方法2200開始于框2210,其中，控制組件監(jiān)視虛擬世界中的虛 擬對象的位置。這里，使用控制器設(shè)備（例如，耦合到控制系統(tǒng)的控制設(shè)備，RF控制設(shè)備， 在移動設(shè)備上執(zhí)行的應(yīng)用等）控制虛擬對象。因此，例如，虛擬對象可以是虛擬賽車，由用 戶使用耦合到在控制組件上執(zhí)行的游戲機的控制器設(shè)備來主動控制該賽車。
[0166] 在某一時刻，控制組件檢測到虛擬對象到達(dá)虛擬世界中的預(yù)定位置（框2215)。例 如，在屏幕截圖1800中，控制組件檢測虛擬車何時到達(dá)耦合到實體隧道裝置1640的虛擬隧 道。作為響應(yīng)，控制組件基于虛擬車在虛擬環(huán)境中行駛的方向和速度使得實體對象開始在 實體環(huán)境中移動（框2220)。例如，在虛擬車進(jìn)入虛擬隧道外殼之后，實體玩具車緊接著駛 出隧道外殼1640。優(yōu)選地，在該實施例中，實體玩具車基于在一個時刻的虛擬車的速度駛出 實體隧道外殼1640,這樣駛出隧道外殼1640的實體車看起來與虛擬車是同一輛車。因此， 例如，如果虛擬車高速行駛，則實體玩具車應(yīng)緊接著虛擬車進(jìn)入虛擬隧道后駛出隧道，而對 于虛擬車以相對低的速度行駛，在實體車駛出隧道外殼1640之前可有較長的延遲。
[0167] 此外，控制組件使得控制虛擬車的控制器設(shè)備控制實體對象的動作（框2225)，方 法2200結(jié)束。如以上討論的，控制器設(shè)備的例子包括由用戶操作的、在與實體玩具車同一 實體環(huán)境中的本地控制設(shè)備，以及例如，在視頻會議期間，位于遠(yuǎn)程實體位置上的（例如， 由遠(yuǎn)程用戶控制的）遠(yuǎn)程控制器設(shè)備。如此，（例如，當(dāng)實體玩具車駛出隧道時）有利于提 供虛擬對象（例如，虛擬車）出現(xiàn)在實體世界中的幻覺，以及在遠(yuǎn)程游戲會話期間提供虛擬 世界與實體世界之間、以及實體位置之間的無縫連接。
[0168] 需要注意的是，當(dāng)本文中提供的一些例子包括玩具車和賽車道時，更一般地，用于 管理虛擬到實體和實體到虛擬的交互的技術(shù)能被用于多種不同的語境中。例如，一個實施 例提供了實體環(huán)境中的用戶與動畫圖形的，電腦操控的角色進(jìn)行比賽的游戲（例如，推圓 盤游戲）。例如，游戲的比賽表面部分可以是實體對象，而比賽表面的其他部分可以是存在 于虛擬世界中的虛擬對象。因此，在推圓盤游戲類型的游戲中，用戶與虛擬角色比賽，其中， 用戶沿著由實體部分和虛擬部分組成的平臺游戲表面滑動實體對象（例如，冰球）。例如， 實體冰球滑進(jìn)其被獲取的實體位置。作為響應(yīng)，實體冰球的虛擬表示，例如，以與實體冰球 相同的速度，出現(xiàn)在虛擬世界中。隨后根據(jù)虛擬世界中的虛擬冰球到達(dá)的地方來確定分?jǐn)?shù)。
[0169] 再舉個例子，空氣曲棍球游戲能在一部分桌面在實體世界，以及其他部分在虛擬 世界中玩。在該例子中，用戶發(fā)射冰球，最終射入實體桌面上的球門。作為響應(yīng)，該冰球的虛 擬表示以與實體冰球相同的速度出現(xiàn)在虛擬世界中。之后虛擬角色嘗試撞擊虛擬冰球（例 如，根據(jù)游戲邏輯可確定該撞擊的成功），如果成功，則將虛擬冰球發(fā)射回給用戶。當(dāng)虛擬冰 球接近實體桌面中的球門時，基于虛擬冰球的位置，實體冰球被以虛擬冰球的速度射向在 適合位置上的用戶。
[0170]
[0171] 在前述中，引用被用于本發(fā)明的實施例中。然而，本發(fā)明不限于指定描述的實施 例。而以下特征和元素的任意組合，不管是否與不同的實施例相關(guān)，都是可預(yù)期的用于實現(xiàn) 和實踐本發(fā)明。此外，相對于其他可能的方案和/或現(xiàn)有技術(shù)，雖然本發(fā)明的實施例可實現(xiàn)