專(zhuān)利名稱(chēng)：用于驅(qū)動(dòng)交互式故事的自然用戶(hù)輸入的制作方法
用于驅(qū)動(dòng)交互式故事的自然用戶(hù)輸入背景在過(guò)去，諸如計(jì)算機(jī)游戲和多媒體應(yīng)用之類(lèi)的計(jì)算應(yīng)用使用控制器、遙控器、鍵盤(pán)、鼠標(biāo)等來(lái)允許用戶(hù)操縱應(yīng)用的游戲角色或其他方面。近來(lái)，計(jì)算機(jī)游戲和多媒體應(yīng)用已開(kāi)始使用相機(jī)和軟件姿勢(shì)識(shí)別引擎來(lái)提供自然用戶(hù)界面(“NUI”)。使用NUI，檢測(cè)、解釋用戶(hù)姿勢(shì)和語(yǔ)音并將其用于控制游戲人物或應(yīng)用的其他方面。目前，NUI系統(tǒng)被廣泛用于游戲應(yīng)用。然而，目前的NUI系統(tǒng)尚未被用作線(xiàn)性故事訴說(shuō)的介質(zhì)。線(xiàn)性故事是傳統(tǒng)的、被動(dòng)的、非交互式的體驗(yàn)，諸如由傳統(tǒng)的電視節(jié)目、電影和書(shū)籍提供的。線(xiàn)性故事幾十年來(lái)廣泛地被一般公眾接受。游戲，尤其是具有ΝΠ系統(tǒng)的游戲，是相對(duì)新的，并且目前在可接受度方面具有多得多的限制。概述
此處公開(kāi)的是用于提供將交互式游戲方面組合到線(xiàn)性故事中的交互式故事體驗(yàn)的系統(tǒng)和方法。線(xiàn)性故事可被用戶(hù)觀(guān)看，并且在期望時(shí)從頭到尾沒(méi)有用戶(hù)交互?；蛘?，用戶(hù)可與線(xiàn)性故事交互以提供交互式體驗(yàn)。用戶(hù)可經(jīng)由NUI系統(tǒng)來(lái)與線(xiàn)性故事交互，該NUI系統(tǒng)包括計(jì)算環(huán)境、用于捕捉用戶(hù)移動(dòng)數(shù)據(jù)并將其提供給計(jì)算設(shè)備的捕捉設(shè)備、以及用于呈現(xiàn)故事的視聽(tīng)設(shè)備。在一個(gè)實(shí)施例中，用戶(hù)可通過(guò)執(zhí)行預(yù)定義的探索姿勢(shì)來(lái)更改線(xiàn)性故事。在被捕捉設(shè)備檢測(cè)到并且被計(jì)算環(huán)境識(shí)別出時(shí)，這一姿勢(shì)將用戶(hù)代入所顯示的圖像的3-D世界。具體地，在屏幕上顯示的圖像改變?yōu)閯?chuàng)建用戶(hù)正踏入3-D虛擬世界的印象，以允許用戶(hù)在場(chǎng)景內(nèi)四處移動(dòng)，并且從場(chǎng)景中的不同視角來(lái)探索和檢查虛擬對(duì)象，或者環(huán)顧凝視場(chǎng)景中的虛擬對(duì)象。在一個(gè)實(shí)施例中，本發(fā)明的系統(tǒng)涉及將交互式游戲方面組合到線(xiàn)性故事中的方法。該方法包括以下步驟a)經(jīng)由視聽(tīng)設(shè)備使用至少一個(gè)圖像和音頻敘述來(lái)呈現(xiàn)線(xiàn)性故事，線(xiàn)性故事具有在用戶(hù)不與故事交互的情況下呈現(xiàn)給用戶(hù)的圖像和/或敘述的默認(rèn)集合；b)經(jīng)由捕捉設(shè)備檢測(cè)用戶(hù)的移動(dòng)和語(yǔ)音命令中的至少一個(gè)；c)標(biāo)識(shí)在所述步驟b)中檢測(cè)到的移動(dòng)和/或語(yǔ)音命令是否是與線(xiàn)性故事的交互，該交互更改線(xiàn)性故事以包括具有未被包括在圖像和/或敘述的默認(rèn)集合中的附加圖像和附加敘述中的至少一個(gè)的故事分支；以及
d)通過(guò)經(jīng)由視聽(tīng)設(shè)備來(lái)向用戶(hù)呈現(xiàn)附加圖像和附加敘述中的至少一個(gè)來(lái)更改線(xiàn)性故事。在另一實(shí)施例中，本發(fā)明的系統(tǒng)涉及用于對(duì)處理器編程以執(zhí)行將交互式游戲方面組合到線(xiàn)性故事中的方法的計(jì)算機(jī)可讀介質(zhì)，所述方法包括以下步驟a)經(jīng)由視聽(tīng)設(shè)備使用圖像和音頻敘述中的至少一個(gè)來(lái)呈現(xiàn)線(xiàn)性故事，在監(jiān)視用戶(hù)移動(dòng)的捕捉設(shè)備沒(méi)有感知到用戶(hù)的交互的情況下，線(xiàn)性故事從頭到尾被呈現(xiàn)為完整的故事，并且包括圖像的默認(rèn)集合；
b)經(jīng)由與視聽(tīng)設(shè)備相關(guān)聯(lián)的捕捉設(shè)備檢測(cè)用戶(hù)的移動(dòng)；c)標(biāo)識(shí)在所述步驟b)中檢測(cè)到的移動(dòng)是否是與線(xiàn)性故事的交互，該交互要求將線(xiàn)性故事修改為包括具有未被包括在圖像的默認(rèn)集合中的附加圖像的故事分支；d)基于經(jīng)存儲(chǔ)的或經(jīng)處理的數(shù)據(jù)來(lái)確定附加圖像是否可被呈現(xiàn)；e)如果在所述步驟d)中確定附加圖像可被呈現(xiàn)，則通過(guò)經(jīng)由視聽(tīng)設(shè)備來(lái)向用戶(hù)呈現(xiàn)附加圖像來(lái)更改線(xiàn)性故事；以及f)對(duì)用戶(hù)交互打分，其中交互與基于交互獲得預(yù)定點(diǎn)數(shù)的獎(jiǎng)勵(lì)或帶走預(yù)定點(diǎn)數(shù)相對(duì)應(yīng)。在另一實(shí)施例中，本發(fā)明的系統(tǒng)涉及用于將交互式游戲方面組合到線(xiàn)性故事中的系統(tǒng)。該系統(tǒng)包括用于呈現(xiàn)圖像和音頻敘述中的至少一個(gè)的視聽(tīng)設(shè)備；用于捕捉來(lái)自用戶(hù)的圖像和音頻數(shù)據(jù)中的至少一個(gè)的圖像捕捉設(shè)備；以及耦合到視聽(tīng)設(shè)備和圖像捕捉設(shè)備的計(jì)算環(huán)境。該計(jì)算環(huán)境用于a)經(jīng)由視聽(tīng)設(shè)備使用圖像和音頻敘述中的至少一個(gè)來(lái)呈現(xiàn)線(xiàn)性故事，在捕捉設(shè)備沒(méi)有感知到用戶(hù)交互的情況下，線(xiàn)性故事從頭到尾被呈現(xiàn)為完成的故事，并且包括圖像的默認(rèn)集合；b)經(jīng)由捕捉設(shè)備檢測(cè)用戶(hù)的移動(dòng)；c)標(biāo)識(shí)檢測(cè)到的移動(dòng)是否是探索姿勢(shì)；d)在將移動(dòng)標(biāo)識(shí)為探索姿勢(shì)之后從線(xiàn)性故事分支到故事分支。該分支包括以下操作dl)感測(cè)視聽(tīng)設(shè)備上用戶(hù)指示的點(diǎn)，d2)計(jì)算從用戶(hù)部分到視聽(tīng)設(shè)備上用戶(hù)指示的點(diǎn)的3-D真實(shí)世界向量，d3)將3-D真實(shí)世界向量轉(zhuǎn)換成3-D機(jī)器空間向量，該3-D機(jī)器空間向量具有位于當(dāng)前視角的起點(diǎn)以及位于3-D機(jī)器空間中的虛擬對(duì)象的終點(diǎn)，以及d4)從3-D機(jī)器空間向量的終點(diǎn)處的視角來(lái)顯示虛擬對(duì)象。提供本概述以便以簡(jiǎn)化形式介紹在以下詳細(xì)描述中進(jìn)一步描述的對(duì)概念的選擇。 本概述既不旨在標(biāo)識(shí)要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用作幫助確定要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開(kāi)的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。附圖簡(jiǎn)述圖IA示出用于提供交互式故事體驗(yàn)的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的示例實(shí)施例。圖IB示出用于提供交互式故事體驗(yàn)的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的又一示例實(shí)施例。圖2示出了可以在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施例。圖3A示出了可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)的計(jì)算環(huán)境的示例實(shí)施例。圖3B示出了可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)的計(jì)算環(huán)境的另一不例實(shí)施例。圖4示出了從

圖1A-2的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中生成的用戶(hù)的骨架映射。圖5是用于提供交互式故事體驗(yàn)的本發(fā)明的技術(shù)的實(shí)施例的操作的高級(jí)流程圖。圖6是用于將捕捉設(shè)備檢測(cè)到的語(yǔ)音與交互式故事體驗(yàn)進(jìn)行關(guān)聯(lián)的本發(fā)明的技術(shù)的實(shí)施例的操作的流程圖。圖7是用于虛擬場(chǎng)景的3-D探索的本發(fā)明的技術(shù)的實(shí)施例的操作的流程圖。圖8是用于使用戶(hù)控制屏幕上角色的動(dòng)作的本發(fā)明的技術(shù)的實(shí)施例的操作的流程圖。圖9是用于使用戶(hù)與場(chǎng)景交互以更改交互式故事體驗(yàn)的情節(jié)的本發(fā)明的技術(shù)的實(shí)施例的操作的流程圖。圖9A是用于在場(chǎng)景被呈現(xiàn)在預(yù)先錄制的視頻中的情況下使用戶(hù)與場(chǎng)景交互以更改交互式故事體驗(yàn)的情節(jié)的本發(fā)明的技術(shù)的替換實(shí)施例的操作的流程圖。圖10是執(zhí)行探索姿勢(shì)以探索和調(diào)查所顯示的場(chǎng)景內(nèi)的虛擬對(duì)象的用戶(hù)的示例。圖11示出重新會(huì)聚于單個(gè)故事結(jié)尾的分支子情節(jié)。圖12示出導(dǎo)致多個(gè)故事結(jié)尾中的一個(gè)的分支情節(jié)。
圖13是示出了用于識(shí)別姿勢(shì)的姿勢(shì)識(shí)別引擎的框圖。圖14是圖13的姿勢(shì)識(shí)別引擎的操作的流程圖。詳細(xì)描述現(xiàn)在參考附圖1A-14來(lái)描述本發(fā)明的技術(shù)的各實(shí)施例，這些實(shí)施例一般涉及用于提供將交互式游戲方面組合到線(xiàn)性故事中的交互式故事體驗(yàn)的系統(tǒng)和方法。提供用于運(yùn)行交互式故事應(yīng)用的NUI系統(tǒng)。如果在沒(méi)有用戶(hù)交互的情況下運(yùn)行，故事應(yīng)用從頭到尾向用戶(hù)提供線(xiàn)性故事。或者，用戶(hù)可經(jīng)由NUI系統(tǒng)與故事應(yīng)用交互以執(zhí)行各種動(dòng)作。在一個(gè)實(shí)施例中，用戶(hù)可通過(guò)執(zhí)行預(yù)定義的探索姿勢(shì)來(lái)更改線(xiàn)性故事。這一姿勢(shì)向系統(tǒng)發(fā)出信號(hào)用戶(hù)期望踏入并探索向用戶(hù)顯示的三維(3-D)虛擬世界。取決于所執(zhí)行的探索姿勢(shì)，所顯示的圖像改變?yōu)閯?chuàng)建用戶(hù)正進(jìn)入3-D虛擬世界的印象，以允許用戶(hù)在場(chǎng)景內(nèi)四處移動(dòng)，并且從場(chǎng)景中的不同視角來(lái)探索和檢查虛擬對(duì)象。用戶(hù)還可在場(chǎng)景中環(huán)顧凝視虛擬對(duì)象后方以查看這些虛擬對(duì)象的背面，或者更仔細(xì)地檢查被前景對(duì)象遮擋的其他對(duì)象?！けM管在3-D虛擬世界中進(jìn)行探索，或者通過(guò)執(zhí)行其他姿勢(shì)或移動(dòng)來(lái)進(jìn)行探索，但用戶(hù)還可更改線(xiàn)性故事的情節(jié)。在這些實(shí)施例中，故事應(yīng)用可分支到其他子情節(jié)以及可能的其他故事結(jié)尾。最初參考圖1A-2，用于實(shí)現(xiàn)本發(fā)明的技術(shù)的硬件包括目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10，該系統(tǒng)可用于識(shí)別、分析和/或跟蹤諸如用戶(hù)18等的人類(lèi)目標(biāo)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的各個(gè)實(shí)施例包括用于執(zhí)行游戲或諸如交互式故事應(yīng)用之類(lèi)的其他應(yīng)用的計(jì)算環(huán)境12。計(jì)算環(huán)境12可包括硬件組件和/或軟件組件，使得計(jì)算環(huán)境12可用于執(zhí)行游戲應(yīng)用和非游戲應(yīng)用。在一個(gè)實(shí)施例中，計(jì)算環(huán)境12可包括諸如標(biāo)準(zhǔn)化處理器、專(zhuān)用處理器、微處理器之類(lèi)的處理器，該處理器可執(zhí)行存儲(chǔ)在處理器可讀的存儲(chǔ)設(shè)備上的用于執(zhí)行此處所描述的過(guò)程的指令。系統(tǒng)10還包括捕捉設(shè)備20，捕捉設(shè)備20用于捕捉與捕捉設(shè)備所感測(cè)的一個(gè)或多個(gè)用戶(hù)和/或?qū)ο笥嘘P(guān)的圖像和音頻數(shù)據(jù)。在實(shí)施例中，捕捉設(shè)備20可以用于捕獲與一個(gè)或多個(gè)用戶(hù)的移動(dòng)、姿勢(shì)和話(huà)音相關(guān)的信息，所述信息被計(jì)算環(huán)境接收并且被用于呈現(xiàn)游戲應(yīng)用或其他應(yīng)用的各方面、與所述方面交互和/或控制所述方面。以下更詳細(xì)地解釋計(jì)算環(huán)境12和捕捉設(shè)備20的示例。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的實(shí)施例可以連接到具有顯示器14的音頻/視覺(jué)設(shè)備16。設(shè)備16可以例如是可向用戶(hù)提供游戲或應(yīng)用視覺(jué)和/或音頻的電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如，計(jì)算環(huán)境12可包括諸如圖形卡之類(lèi)的視頻適配器和/或諸如聲卡之類(lèi)的音頻適配器，這些適配器可提供與游戲或其他應(yīng)用相關(guān)聯(lián)的音頻/視覺(jué)信號(hào)。音頻/視覺(jué)設(shè)備16可以從計(jì)算環(huán)境12接收音頻/視覺(jué)信號(hào)，并且然后可以向用戶(hù)18輸出與該音頻/視覺(jué)信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺(jué)和/或音頻。根據(jù)一個(gè)實(shí)施例，音頻/視覺(jué)設(shè)備16可經(jīng)由例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜等連接到計(jì)算環(huán)境12。如圖IA和IB所示，在一示例實(shí)施例中，在計(jì)算環(huán)境12上執(zhí)行的故事應(yīng)用可以呈現(xiàn)多種故事設(shè)置中的任一種。圖IA示出包括房子21、怪物23和云25的場(chǎng)景19。如下文說(shuō)明的，用戶(hù)可用各種方式與場(chǎng)景19交互。在一個(gè)示例中，用戶(hù)可如圖所示的將云25移動(dòng)到一起，這可能更改故事應(yīng)用所呈現(xiàn)的線(xiàn)性故事。例如，將云移動(dòng)到一起可能導(dǎo)致下雨。在各實(shí)施例中，計(jì)算環(huán)境12、A/V設(shè)備16和捕捉設(shè)備20可協(xié)作以在顯示器14上呈現(xiàn)至少部分地由用戶(hù)18控制的屏幕上的角色23。如圖IB所示，屏幕上的角色23以有樣學(xué)樣(monkey-see-monkey-do)的方式來(lái)模仿用戶(hù)18在真實(shí)世界空間中的移動(dòng)。因此,用戶(hù)18可執(zhí)行控制角色23在顯示器14上的移動(dòng)和動(dòng)作的移動(dòng)。而且，用戶(hù)可執(zhí)行被計(jì)算環(huán)境識(shí)別為預(yù)定義姿勢(shì)的某些移動(dòng)。這些預(yù)定義姿勢(shì)可導(dǎo)致受控的角色23執(zhí)行在存儲(chǔ)器中與預(yù)定義姿勢(shì)相關(guān)聯(lián)的某些動(dòng)作。預(yù)定義姿勢(shì)可被用來(lái)發(fā)起各種其他動(dòng)作，如下文說(shuō)明的。圖IA和IB的場(chǎng)景19是可由在計(jì)算環(huán)境12上運(yùn)行的故事應(yīng)用生成的許多不同的場(chǎng)景中的一個(gè)。而且，系統(tǒng)10還可以用于將用戶(hù)18移動(dòng)解釋成處于運(yùn)行在計(jì)算環(huán)境12上的故事應(yīng)用的領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制。系統(tǒng)10及其組件的合適的示例在以下共同待審的專(zhuān)利申請(qǐng)中找到，這些專(zhuān)利申請(qǐng)全部特此通過(guò)引用結(jié)合于此于2009年5月29日提交的名稱(chēng)為“EnvironmentAnd/OrTarget Segmentation(環(huán)境和/或目標(biāo)分割)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/475，094 ;于2009 年7月29日提交的名稱(chēng)為“Auto Generating a VisualRepresentation^ (自動(dòng)生成視覺(jué)表示)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/511,850 ;于2009年5月29日提交的名稱(chēng)為“GestureTool (姿勢(shì)工具)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/474，655;于2009年10月21日提交的名稱(chēng)為“Pose Tracking Pipeline (姿態(tài)跟蹤流水線(xiàn))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/603，437 ;于2009年 5 月 29 日提交的名稱(chēng)為“Device for Identifying and Tracking Multiple HumansOver Time (用于隨時(shí)間標(biāo)識(shí)和跟蹤多個(gè)人類(lèi)的設(shè)備)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/475,308 ；于2009年10月7日提交的名稱(chēng)為“Human Tracking System (人類(lèi)跟蹤系統(tǒng))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/575,388 ;于2009年4月13日提交的名稱(chēng)為“Gesture RecognizerSystemArchitecture (姿勢(shì)識(shí)別器系統(tǒng)體系結(jié)構(gòu))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/422,661 ;于2009年2月23日提交的名稱(chēng)為“Standard Gestures (標(biāo)準(zhǔn)姿勢(shì))”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/391，150 ;以及于2009年5月29日提交的名稱(chēng)為“Gesture Tool (姿勢(shì)工具)”的美國(guó)專(zhuān)利申請(qǐng)序列號(hào)12/474,655。圖2示出可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的一個(gè)示例實(shí)施例。在一個(gè)示例實(shí)施例中，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)來(lái)捕捉具有可包括深度值的深度圖像的視頻，這些技術(shù)包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20可以將所計(jì)算的深度信息組織成“Z層”，即與從深度相機(jī)沿其視線(xiàn)延伸的Z軸相垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件22。根據(jù)一個(gè)示例實(shí)施例，圖像相機(jī)組件22可以是可捕捉場(chǎng)景的深度圖像的深度相機(jī)。深度圖像可以包括所捕捉場(chǎng)景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個(gè)像素都可表示深度值，比如例如所捕捉場(chǎng)景中的對(duì)象距相機(jī)的以厘米、毫米等為單位的長(zhǎng)度或距離。如圖2所示，根據(jù)一個(gè)示例實(shí)施例，圖像相機(jī)組件22可包括可用于捕捉場(chǎng)景的深度圖像的IR光組件24、三維(3-D)相機(jī)26，以及RGB相機(jī)28。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的IR光組件24可將紅外光發(fā)射到場(chǎng)景上，并且隨后可使用傳感器(未示出)、用例如3-D相機(jī)26和/或RGB相機(jī)28來(lái)檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面反向散射的光。
在一些實(shí)施例中，可以使用脈沖紅外光,使得可以測(cè)量出射光脈沖與相應(yīng)入射光脈沖之間的時(shí)間，并且將其用于確定從捕捉設(shè)備20到場(chǎng)景中的目標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實(shí)施例中，可以將出射光波的相位與入射光波的相位相比較來(lái)確定相移。該相移然后可以用于確定從捕獲設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實(shí)施例，可以使用飛行時(shí)間分析來(lái)通過(guò)經(jīng)由包括例如快門(mén)式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來(lái)間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例實(shí)施例中，捕捉設(shè)備20可以使用結(jié)構(gòu)化光來(lái)捕捉深度信息。在這樣的分析中，圖案化光(即被顯示成諸如網(wǎng)格圖案或條紋圖案的已知圖案的光)可以經(jīng)由例如IR光組件24被投射到場(chǎng)景上。在落到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上以后，作為響應(yīng)，圖案可以變?yōu)樽冃蔚摹D案的這樣的變形可以被例如3-D相機(jī)26和/或RGB相機(jī)28捕捉，并且隨后可被分析以確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。 根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括可以從不同的角度觀(guān)察場(chǎng)景的兩個(gè)或更多個(gè)在物理上分開(kāi)的相機(jī)，以獲取可以被解析以生成深度信息的視覺(jué)立體數(shù)據(jù)。在另一示例實(shí)施例中，捕捉設(shè)備20可使用點(diǎn)云數(shù)據(jù)(point cloud data)和目標(biāo)數(shù)字化技術(shù)來(lái)檢測(cè)用戶(hù)的特征。捕捉設(shè)備20還可包括話(huà)筒30。話(huà)筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號(hào)的變換器或傳感器。根據(jù)一個(gè)實(shí)施例，話(huà)筒30可用于減少目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計(jì)算環(huán)境12之間的反饋。另外，話(huà)筒30可用于接收也可由用戶(hù)提供的音頻信號(hào)，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等之類(lèi)的應(yīng)用。在一示例實(shí)施例中，捕捉設(shè)備20還可包括能與圖像相機(jī)組件22通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專(zhuān)用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。捕捉設(shè)備20還可包括存儲(chǔ)器組件34，存儲(chǔ)器組件34可存儲(chǔ)可由處理器32執(zhí)行的指令、3-D相機(jī)或RGB相機(jī)捕捉到的圖像或圖像的幀、或任何其他合適的信息、圖像等。根據(jù)一示例實(shí)施例，存儲(chǔ)器組件34可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、高速緩存、閃存、硬盤(pán)、或任何其他合適的存儲(chǔ)組件。如圖2所示，在一個(gè)實(shí)施例中，存儲(chǔ)器組件34可以是與圖像相機(jī)組件22和處理器32通信的分開(kāi)組件。根據(jù)另一個(gè)實(shí)施例，可將存儲(chǔ)器組件34集成到處理器32和/或圖像相機(jī)組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算環(huán)境12通信。通信鏈路36可以是包括例如USB連接、火線(xiàn)連接、以太網(wǎng)電纜連接等有線(xiàn)連接和/或諸如無(wú)線(xiàn)802. lib、802. llg、802. Ila或802. Iln連接等無(wú)線(xiàn)連接。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時(shí)鐘，該時(shí)鐘可用于確定何時(shí)捕捉例如場(chǎng)景。另外，捕捉設(shè)備20可以通過(guò)通信鏈路36向計(jì)算環(huán)境12提供深度信息和由例如3-D相機(jī)26和/或RGB相機(jī)28捕捉到的圖像、以及可以由捕捉設(shè)備20生成的骨架模型。存在用于判斷由捕捉設(shè)備20檢測(cè)到的目標(biāo)或?qū)ο笫欠衽c人類(lèi)目標(biāo)相對(duì)應(yīng)的各種已知技術(shù)。骨架映射技術(shù)因而可用于確定該用戶(hù)的骨架上的各個(gè)點(diǎn)，手、腕、肘、膝、鼻、踝、肩的關(guān)節(jié)，以及骨盆與脊椎相交之處。其他技術(shù)包括將圖像變換成人的人體模型表示以及將圖像變換成人的網(wǎng)格模型表示。然后，可以將骨架模型提供給計(jì)算環(huán)境12，使得計(jì)算環(huán)境可以執(zhí)行各種動(dòng)作。計(jì)算環(huán)境還可基于例如從骨架模型中識(shí)別出的用戶(hù)的姿勢(shì)來(lái)確定在計(jì)算機(jī)環(huán)境上執(zhí)行的應(yīng)用中要執(zhí)行哪些控制。例如，如圖2所示，計(jì)算環(huán)境12可包括用于確定用戶(hù)何時(shí)執(zhí)行了預(yù)定義姿勢(shì)的姿勢(shì)識(shí)別引擎190。圖3A示出了可以用于在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中解釋用戶(hù)的一個(gè)或多個(gè)位置和運(yùn)動(dòng)的計(jì)算環(huán)境的示例實(shí)施例。上文參考圖1A-2所描述的諸如計(jì)算環(huán)境12等計(jì)算環(huán)境可以是諸如游戲控制臺(tái)等多媒體控制臺(tái)100。如圖3A所示，多媒體控制臺(tái)100具有中央處理單元(CPU) 101，所述CPU具有一級(jí)高速緩存102、二級(jí)高速緩存104，以及閃存ROM 106。一級(jí)高速緩存102和二級(jí)高速緩存104臨時(shí)存儲(chǔ)數(shù)據(jù)，并且因此減少存儲(chǔ)器訪(fǎng)問(wèn)周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPUlOl可被提供為具有一個(gè)以上的核，并且由此具有附加的一級(jí)高速緩存102和二級(jí)高速緩存104。閃存ROM 106可存儲(chǔ)在多媒體控制臺(tái)100通電時(shí)引導(dǎo)過(guò)程的初始階段期間加載的可執(zhí)行代碼?！D形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線(xiàn)。將數(shù)據(jù)經(jīng)由總線(xiàn)從GPU 108傳送到視頻編碼器/視頻編解碼器114。視頻處理流水線(xiàn)向A/V (音頻/視頻)端口 140輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C(jī)或其他顯示器。存儲(chǔ)器控制器110連接到GPU108，以便于處理器對(duì)各種類(lèi)型的存儲(chǔ)器112 (諸如，但不限于RAM)的訪(fǎng)問(wèn)。多媒體控制臺(tái)100包括優(yōu)選地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB主控制器128以及前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (I)-142 (2)、無(wú)線(xiàn)適配器148、以及外置存儲(chǔ)器設(shè)備146 (例如，閃存、外置⑶/DVD ROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接口 124和/或無(wú)線(xiàn)適配器148提供對(duì)網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪(fǎng)問(wèn)，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線(xiàn)或無(wú)線(xiàn)適配器組件中的任何一種。提供系統(tǒng)存儲(chǔ)器143來(lái)存儲(chǔ)在引導(dǎo)過(guò)程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動(dòng)器144，且其可包括DVD/⑶驅(qū)動(dòng)器、硬盤(pán)驅(qū)動(dòng)器、或其他可移動(dòng)媒體驅(qū)動(dòng)器等。媒體驅(qū)動(dòng)器144可以是對(duì)多媒體控制臺(tái)100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動(dòng)器144訪(fǎng)問(wèn)，以供多媒體控制臺(tái)100執(zhí)行、回放等。媒體驅(qū)動(dòng)器144經(jīng)由諸如串行ATA總線(xiàn)或其他高速連接(例如IEEE 1394)等總線(xiàn)連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺(tái)100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線(xiàn)。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線(xiàn)將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺(tái)100的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺(tái)100的組件供電。風(fēng)扇138冷卻多媒體控制臺(tái)100內(nèi)的電路。
多媒體控制臺(tái)100內(nèi)的CPU 100、GPU 108、存儲(chǔ)器控制器110、以及各種其他組件
經(jīng)由一條或多條總線(xiàn)互連，該總線(xiàn)包括串行和并行總線(xiàn)、存儲(chǔ)器總線(xiàn)、外圍總線(xiàn)、以及使用各種總線(xiàn)體系結(jié)構(gòu)中的任一種的處理器或局部總線(xiàn)。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線(xiàn)、PCI-Express總線(xiàn)等。當(dāng)多媒體控制臺(tái)100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器143加載到存儲(chǔ)器112和/或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺(tái)100上可用的不同媒體類(lèi)型時(shí)呈現(xiàn)提供一致的用戶(hù)體驗(yàn)的圖形用戶(hù)界面。在操作中，媒體驅(qū)動(dòng)器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動(dòng)器144啟動(dòng)或播放，以將附加功能提供給多媒體控制臺(tái)100。多媒體控制臺(tái)100可通過(guò)簡(jiǎn)單地將該系統(tǒng)連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來(lái)操作。在該獨(dú)立模式中，多媒體控制臺(tái)100允許一個(gè)或多個(gè)用戶(hù)與該系統(tǒng)交互、看電影、或聽(tīng)音樂(lè)。然而，在通過(guò)網(wǎng)絡(luò)接口 124或無(wú)線(xiàn)適配器148可用的寬帶連接集成的情況下，多媒體控制臺(tái)100還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來(lái)操作。 當(dāng)多媒體控制臺(tái)100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲(chǔ)器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5%)、網(wǎng)絡(luò)帶寬的保留量(諸如，8kbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)間保留的，所保留的資源從應(yīng)用的視角而言是不存在的。具體而言，存儲(chǔ)器保留量?jī)?yōu)選地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動(dòng)程序。CPU保留量?jī)?yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線(xiàn)程將消耗任何未使用的周期。對(duì)于GPU保留量，通過(guò)使用GPU中斷來(lái)調(diào)度代碼以將彈出窗口渲染為覆蓋圖，從而顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在完整的用戶(hù)界面被并發(fā)系統(tǒng)應(yīng)用使用的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無(wú)需改變頻率和引起TV重新同步。在多媒體控制臺(tái)100引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來(lái)提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識(shí)出作為系統(tǒng)應(yīng)用線(xiàn)程而非游戲應(yīng)用線(xiàn)程的線(xiàn)程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便提供對(duì)應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺(tái)上運(yùn)行的游戲應(yīng)用的高速緩存中斷最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺(tái)應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻級(jí)別(例如，靜音、衰減)。輸入設(shè)備(例如,控制器142(1)和142(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器優(yōu)選控制輸入流的切換，而無(wú)需知道游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)器維護(hù)關(guān)于焦點(diǎn)切換的狀態(tài)信息。相機(jī)26、28和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。圖3B示出了計(jì)算環(huán)境220的另一示例實(shí)施例，它可以是用來(lái)解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)位置和運(yùn)動(dòng)的圖1A-2中示出的計(jì)算環(huán)境12。計(jì)算系統(tǒng)環(huán)境220只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對(duì)當(dāng)前公開(kāi)的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算環(huán)境220解釋為對(duì)示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴(lài)性或要求。在一些實(shí)施例中，各個(gè)所示的計(jì)算元素可包括被配置成實(shí)例化本公開(kāi)的特定方面的電路。例如，本公開(kāi)中使用的術(shù)語(yǔ)電路可包括被配置成通過(guò)固件或開(kāi)關(guān)來(lái)執(zhí)行功能的專(zhuān)用硬件組件。在其他示例實(shí)施例中，術(shù)語(yǔ)電路可包括通過(guò)體現(xiàn)可操作以執(zhí)行功能的邏輯的軟件指令來(lái)配置的通用處理單元、存儲(chǔ)器等。在電路包括硬件和軟件的組合的示例實(shí)施例中，實(shí)施者可以編寫(xiě)體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機(jī)器可讀代碼。因?yàn)楸绢I(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒(méi)有差別的地步，因而選擇硬件或是軟件來(lái)實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價(jià)的軟件進(jìn)程。由此，對(duì)于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇之一并留給實(shí)現(xiàn)者。在圖3B中，計(jì)算環(huán)境220包括通常包括各種計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)241。計(jì)算機(jī)可讀介質(zhì)可以是能由計(jì)算機(jī)241訪(fǎng)問(wèn)的任何可用介質(zhì)，而且包含易失性和非易失性介 質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器222包括諸如ROM 223和RAM260之類(lèi)的易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)。包含諸如在啟動(dòng)期間幫助在計(jì)算機(jī)241內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224 (BIOS)通常被存儲(chǔ)在ROM 223中。RAM 260通常包含處理單元259可立即訪(fǎng)問(wèn)和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖3B示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227，以及程序數(shù)據(jù)228。應(yīng)用程序226的一個(gè)示例是用于向用戶(hù)呈現(xiàn)如在此所解釋的交互性故事體驗(yàn)的故事應(yīng)用226。圖3B還包括具有用于聞速和聞分辨率的圖形處理和存儲(chǔ)的相關(guān)聯(lián)的視頻存儲(chǔ)器230的圖形處理器單元(GPU)229。GPU 229可通過(guò)圖形接口 231連接到系統(tǒng)總線(xiàn)221。計(jì)算機(jī)241也可以包括其他可移除/不可移除、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。只作為示例，圖3B示出了讀寫(xiě)不可移動(dòng)非易失性磁性介質(zhì)的硬盤(pán)驅(qū)動(dòng)器238、讀寫(xiě)可移動(dòng)非易失性磁盤(pán)254的磁盤(pán)驅(qū)動(dòng)器239、以及讀寫(xiě)諸如CD ROM或其他光學(xué)介質(zhì)之類(lèi)的可移動(dòng)的非易失性光盤(pán)253的光盤(pán)驅(qū)動(dòng)器240?？稍谑纠圆僮鳝h(huán)境中使用的其他可移除/不可移除、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于磁帶盒、閃存卡、數(shù)字多功能盤(pán)、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤(pán)驅(qū)動(dòng)器238通常通過(guò)諸如接口 234之類(lèi)的不可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線(xiàn)221，并且磁盤(pán)驅(qū)動(dòng)器239和光盤(pán)驅(qū)動(dòng)器240通常通過(guò)諸如接口 235之類(lèi)的可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線(xiàn)221。上面所討論的并且在圖3B中所示出的驅(qū)動(dòng)器以及它們的相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)，為計(jì)算機(jī)241提供了計(jì)算機(jī)可讀的指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊及其他數(shù)據(jù)的存儲(chǔ)。例如，在圖3B中，硬盤(pán)驅(qū)動(dòng)器238被示為存儲(chǔ)了操作系統(tǒng)258、應(yīng)用程序257，其他程序模塊256，以及程序數(shù)據(jù)255。注意，這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228相同，也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號(hào)，以說(shuō)明至少它們是不同的副本。用戶(hù)可通過(guò)諸如鍵盤(pán)251和定點(diǎn)設(shè)備252 (通常稱(chēng)為鼠標(biāo)、跟蹤球或觸摸墊)之類(lèi)的輸入設(shè)備將命令和信息輸入計(jì)算機(jī)241。其他輸入設(shè)備(未示出)可包括話(huà)筒、操縱桿、游戲手柄、圓盤(pán)式衛(wèi)星天線(xiàn)、掃描儀等。這些以及其他輸入設(shè)備通常通過(guò)耦合到系統(tǒng)總線(xiàn)的用戶(hù)輸入接口 236連接到處理單元259，但也可通過(guò)諸如并行端口、游戲端口或通用串行總線(xiàn)(USB)之類(lèi)的其他接口和總線(xiàn)結(jié)構(gòu)來(lái)連接。相機(jī)26、28和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。監(jiān)視器242或其他類(lèi)型的顯示設(shè)備也通過(guò)諸如視頻接口 232之類(lèi)的接口連接至系統(tǒng)總線(xiàn)221。除了監(jiān)視器以外，計(jì)算機(jī)還可包括諸如揚(yáng)聲器244和打印機(jī)243之類(lèi)的其他外圍輸出設(shè)備，它們可通過(guò)輸出外圍接口 233來(lái)連接。計(jì)算機(jī)241可使用到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(諸如，遠(yuǎn)程計(jì)算機(jī)246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備或其他公共網(wǎng)絡(luò)節(jié)點(diǎn)，通常包括上文參考計(jì)算機(jī)241所描述的許多或全部元件，但是圖3B中只示出了存儲(chǔ)器存儲(chǔ)設(shè)備247。圖3B中所描繪的邏輯連接包括局域網(wǎng)(LAN)245和廣域網(wǎng)(WAN) 249，但是也可以包括其他網(wǎng)絡(luò)。此類(lèi)聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見(jiàn)的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過(guò)網(wǎng)絡(luò)接口或適配器237連接到LAN 245。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于在諸如因特網(wǎng)之類(lèi)的WAN 249上建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶(hù)輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線(xiàn)221。在聯(lián)網(wǎng)環(huán)境中，相對(duì)于計(jì)算機(jī)241所示的程序模塊或其部分可被存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而非限制，圖3B示出了駐留在存儲(chǔ)器設(shè)備247上的遠(yuǎn)程應(yīng)用程序248。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。圖4描繪了可以從捕獲設(shè)備20生成的用戶(hù)的示例性骨架映射。在該實(shí)施例中，標(biāo)識(shí)出各個(gè)關(guān)節(jié)和骨骼每只手302、每個(gè)前臂304、每個(gè)肘306、每個(gè)大臂308、每個(gè)肩310、每個(gè)髖312、每條大腿314、每個(gè)膝316、每條小腿318、每個(gè)足320、頭322、軀干324、脊椎的頂部326和底部328以及腰330。在跟蹤更多點(diǎn)的情況下，可標(biāo)識(shí)出附加的特征，比如手指或腳趾的骨骼和關(guān)節(jié)，或面部的各個(gè)特征，如鼻和眼。圖5是用于經(jīng)由自然用戶(hù)界面呈現(xiàn)交互式故事體驗(yàn)的本發(fā)明的技術(shù)的實(shí)施例的操作的高級(jí)流程圖。在步驟400，用戶(hù)可啟動(dòng)系統(tǒng)10并激活計(jì)算環(huán)境12和捕捉設(shè)備20。在步驟404，系統(tǒng)10運(yùn)行故事應(yīng)用226。在步驟406中，故事應(yīng)用通過(guò)顯示器14向用戶(hù)呈現(xiàn)故事的下一幀。故事可在顯示器14上被圖形地呈現(xiàn)，并且可具有相關(guān)聯(lián)的音頻敘述。故事可用離散的、靜止圖像面板來(lái)顯示，即，一系列靜止圖像被連續(xù)地呈現(xiàn)為顯示器14上的靜止幀。故事可另選地用動(dòng)態(tài)計(jì)算機(jī)圖形(CG)動(dòng)畫(huà)來(lái)呈現(xiàn)，或者用視頻相機(jī)以實(shí)際的演員來(lái)被呈現(xiàn)為場(chǎng)景拍攝。音頻敘述可以是由故事應(yīng)用、由用戶(hù)和/或由在呈現(xiàn)故事的同時(shí)不出現(xiàn)的第三方來(lái)呈現(xiàn)的音頻，如下文說(shuō)明的。音頻敘述還可包括所呈現(xiàn)的故事的角色之間的對(duì)話(huà)。同樣地，角色之間的這一對(duì)話(huà)可由故事應(yīng)用、由一個(gè)或多個(gè)用戶(hù)和/或由在故事被呈現(xiàn)的同時(shí)不出現(xiàn)的一個(gè)或多個(gè)第三方來(lái)呈現(xiàn)。在使用CG動(dòng)畫(huà)的各實(shí)施例中，故事應(yīng)用226可呈現(xiàn)計(jì)算環(huán)境12的GPU生成的第一動(dòng)畫(huà)幀，該幀可以捕捉設(shè)備的刷新率(例如30Hz)來(lái)被刷新。在其他實(shí)施例中，幀速率可以快于或慢于該幀速率。在使用靜態(tài)圖像面板的各實(shí)施例中，靜態(tài)圖像類(lèi)似于書(shū)籍或動(dòng)畫(huà)的頁(yè)面。靜態(tài)圖像可在顯示器上呈現(xiàn)例如若干秒。在使用視頻的各實(shí)施例中，幀可用視頻的幀速率來(lái)刷新，幀速率同樣地可以是例如30Hz。在各實(shí)施例中，在運(yùn)行故事應(yīng)用之后，用戶(hù)18不必與所呈現(xiàn)的故事交互。換言之，用戶(hù)可以在從頭到尾播放故事的時(shí)候僅僅查看和/或收聽(tīng)故事。在下文描述的其他實(shí)施例中，用戶(hù)可另選地與由故事應(yīng)用226呈現(xiàn)的故事交互。當(dāng)用戶(hù)觀(guān)看故事應(yīng)用和/或與故事應(yīng)用交互時(shí)，捕捉設(shè)備20監(jiān)視用戶(hù)。在步驟408中，如果捕捉設(shè)備20感測(cè)到用戶(hù)正離開(kāi)視野，則在步驟412故事應(yīng)用可暫停直到用戶(hù)重新進(jìn)入視野。在其他實(shí)施例中可以省略步驟408和412。如上文所指示的，用戶(hù)可僅僅坐著并查看和/或收聽(tīng)由故事應(yīng)用呈現(xiàn)的故事。在步驟416中，如果沒(méi)有感測(cè)到用戶(hù)交互，則故事就將簡(jiǎn)單地繼續(xù)直到它結(jié)束。然而，如果在步驟416中感測(cè)到用戶(hù)交互，則系統(tǒng)一般地確定該交互并且取決于該交互來(lái)執(zhí)行不同的操作，如下文所說(shuō)明的。在步驟418中，故事應(yīng)用可檢查捕捉設(shè)備20的話(huà)筒陣列30是否檢測(cè)到語(yǔ)音。用于區(qū)分話(huà)筒陣列30所拾取的聲音以確定這些聲音中是否有一種或多種聲音是人類(lèi)語(yǔ)音的技術(shù)是已知的。話(huà)筒陣列30可以包括各種已知的濾波器，諸如用于衰減可以由話(huà)筒陣列30 檢測(cè)出的低頻噪聲的高通濾波器。如果在步驟418中檢測(cè)到語(yǔ)音，則系統(tǒng)執(zhí)行圖6中闡述的各步驟，如現(xiàn)在將描述的。在各實(shí)施例中，標(biāo)識(shí)特定用戶(hù)是否是說(shuō)話(huà)者或者語(yǔ)音是否來(lái)自某一其他源可能是合乎需要的。存在用于將語(yǔ)音與視野中的用戶(hù)相關(guān)聯(lián)的各種技術(shù)，諸如語(yǔ)音特征與特定用戶(hù)的先驗(yàn)相關(guān)以及聲學(xué)源定位技術(shù)。這些和其他技術(shù)可用于在步驟450中標(biāo)識(shí)說(shuō)話(huà)者。在其他實(shí)施例中可以省略步驟450。故事應(yīng)用可具有用于敘述故事的相關(guān)聯(lián)的敘述，該敘述可以通過(guò)與音頻/視頻設(shè)備16相關(guān)聯(lián)的揚(yáng)聲器進(jìn)行廣播。然而，敘述可另選地用文字顯示在屏幕上，以使得它們可被收聽(tīng)故事的用戶(hù)閱讀。在一個(gè)示例中，孩子可能正在學(xué)習(xí)閱讀，或者父母可能正在孩子觀(guān)看顯示器14上打開(kāi)的故事的同時(shí)向孩子講故事。作為出現(xiàn)在屏幕上的文字的替換，用戶(hù)可具有與計(jì)算環(huán)境12配對(duì)的并且參與故事應(yīng)用226的同一實(shí)例的計(jì)算設(shè)備。在這些實(shí)施例中，敘述的文字可被顯示在用戶(hù)配對(duì)的計(jì)算設(shè)備上而非顯示器14上。在其他實(shí)施例中，構(gòu)想了敘述可以由當(dāng)故事應(yīng)用226正在系統(tǒng)10上顯示故事時(shí)不出現(xiàn)的第三方來(lái)閱讀。盡管在各實(shí)施例中第三方可以是任何人，第三方可以是例如當(dāng)故事應(yīng)用運(yùn)行時(shí)不出現(xiàn)的、但渴望成為呈現(xiàn)給收聽(tīng)和觀(guān)看系統(tǒng)10上的故事的孩子的敘述的語(yǔ)音的父母或祖父母。在這些實(shí)施例中，第三方可預(yù)先錄制了故事應(yīng)用的敘述，并且該記錄可在故事應(yīng)用正在運(yùn)行以提供故事的敘述時(shí)被回放。在這一實(shí)施例中，記錄可在或與系統(tǒng)10相關(guān)聯(lián)或者不與系統(tǒng)10相關(guān)聯(lián)的音頻回放設(shè)備上被回放。在另一實(shí)施例中，第三方可以在故事應(yīng)用226在系統(tǒng)10上運(yùn)行時(shí)實(shí)時(shí)地閱讀故事應(yīng)用的敘述，但第三方經(jīng)由電話(huà)或VOIP連接連接到計(jì)算環(huán)境12。在步驟454中，故事應(yīng)用確定在步驟418中感知到的語(yǔ)音是否與故事的敘述相關(guān)。已知的語(yǔ)音分析技術(shù)可用于這一目的，包括將敘述的已知詞解析成音素，對(duì)由話(huà)筒陣列30感知到的語(yǔ)音完成相同的動(dòng)作，并且比較兩個(gè)音素流以尋找匹配。在步驟454中，如果說(shuō)出的語(yǔ)音與故事應(yīng)用的敘述相關(guān)，則說(shuō)出的語(yǔ)音可設(shè)置故事應(yīng)用推進(jìn)故事的節(jié)奏。例如，在故事被呈現(xiàn)在靜止圖像面板的情況下，故事應(yīng)用可在步驟464中確定與特定面板相關(guān)聯(lián)的敘述的最后的詞是否已被說(shuō)出。如果否，則還沒(méi)到時(shí)間前進(jìn)至下一面板，并且流程可返回以尋找下一交互，如下文參考圖5所說(shuō)明的。另一方面，如果故事應(yīng)用確定與特定面板相關(guān)聯(lián)的敘述的最后的詞已經(jīng)被說(shuō)出，則故事應(yīng)用可在步驟466中前進(jìn)至下一面板。該流程可返回以尋找下一交互，如下文參考圖5所說(shuō)明的。在圖像是視頻或動(dòng)態(tài)動(dòng)畫(huà)的情況下，故事應(yīng)用可將敘述與說(shuō)出的語(yǔ)音進(jìn)行相關(guān)，并且加快或減緩所顯示的圖像以與由用戶(hù)或第三方說(shuō)出的敘述的節(jié)奏同步。故事應(yīng)用可在圖5的流程圖中貫穿循環(huán)，并且可周期性地檢查語(yǔ)音，檢查該語(yǔ)音是否與所呈現(xiàn)的故事的敘述相關(guān)，并且將所呈現(xiàn)的圖像與說(shuō)出的敘述的節(jié)奏同步。如果在步驟454中故事應(yīng)用無(wú)法將語(yǔ)音與敘述進(jìn)行相關(guān)，則應(yīng)用可接著在步驟456中檢查聲音是否被識(shí)別為針對(duì)故事應(yīng)用或針對(duì)系統(tǒng)10的操作的可聽(tīng)指令。如果否，則計(jì)算環(huán)境12可返回至圖5以在步驟422中尋找用戶(hù)與故事應(yīng)用的另一可能的交互，如下文所說(shuō)明的。另一方面，如果在步驟456中語(yǔ)音被識(shí)別為指令，則在步驟460中與該指令相關(guān) 聯(lián)的動(dòng)作可被執(zhí)行，并且系統(tǒng)隨后可返回至圖5的流程圖以查看下一交互。現(xiàn)在返回圖5，在步驟422中，本發(fā)明的系統(tǒng)可尋找特定類(lèi)型的姿勢(shì)，該姿勢(shì)在此處被稱(chēng)為“探索姿勢(shì)”。具體地，本發(fā)明的技術(shù)的一個(gè)特征是在用戶(hù)在效果上踏入在顯示器14上呈現(xiàn)的虛擬世界并且探索和/或調(diào)查顯示器上的虛擬對(duì)象的情況下允許一種類(lèi)型的交互。作為各種各樣的示例中的一個(gè)，故事可向用戶(hù)顯示房間。在沒(méi)有用戶(hù)交互的情況下，可向用戶(hù)顯示房間持續(xù)一段時(shí)間，并且隨后故事可繼續(xù)以顯示其他位置。然而，代替簡(jiǎn)單地繼續(xù)，用戶(hù)可執(zhí)行探索姿勢(shì)，該姿勢(shì)指示他們期望探索和調(diào)查房間內(nèi)的虛擬對(duì)象以獲得更近的視圖和/或從不同角度來(lái)查看對(duì)象。在各實(shí)施例中，還構(gòu)想了用戶(hù)可執(zhí)行由計(jì)算環(huán)境
12解釋的各種姿勢(shì)和運(yùn)動(dòng)，這些姿勢(shì)和運(yùn)動(dòng)使得用戶(hù)能夠拾取和操縱場(chǎng)景內(nèi)的虛擬對(duì)象。在圖5的步驟422中，計(jì)算環(huán)境12尋找預(yù)定義的探索姿勢(shì)。在本發(fā)明的技術(shù)的各實(shí)施例中，用戶(hù)作出的各種各樣的移動(dòng)和姿勢(shì)可被設(shè)為預(yù)定義探索姿勢(shì)。在現(xiàn)在參考圖10來(lái)描述的一個(gè)這樣的實(shí)施例中，捕捉設(shè)備20捕捉用戶(hù)的頭部和/或身體移動(dòng)。例如，在圖10中，用戶(hù)向一側(cè)彎曲并且伸長(zhǎng)他們的脖子，如用戶(hù)在試圖環(huán)顧凝視真實(shí)世界中的對(duì)象或?qū)ο蠛蠓綍r(shí)可能表現(xiàn)的那樣。姿勢(shì)識(shí)別引擎190的操作在下文中說(shuō)明，但識(shí)別引擎190可具有預(yù)定義的規(guī)則來(lái)尋找這樣的身體移動(dòng)，并且在找到這樣的身體移動(dòng)時(shí)將它們解釋為探索姿勢(shì)。除了伸長(zhǎng)脖子和/或彎腰之外，探索姿勢(shì)可另外地或另選地包括另一姿勢(shì)，諸如如圖10所示的指向姿勢(shì)。可以理解，在其他實(shí)施例中，各種各樣的其他身體移動(dòng)可被定義為探索姿勢(shì)。在某些這樣的實(shí)施例中，用戶(hù)移動(dòng)可在真實(shí)世界中具有與用戶(hù)希望在虛擬世界中完成的動(dòng)作的關(guān)聯(lián)。上文闡述了一個(gè)示例，其中用戶(hù)向一側(cè)彎曲并且伸長(zhǎng)他們的脖子以表明他們期望環(huán)顧對(duì)象或查看對(duì)象后方。在其他實(shí)施例中，用戶(hù)還可以或者另選地走向顯示器方向，從而指示他們期望踏入虛擬場(chǎng)景。在其他實(shí)施例中，不具有真實(shí)世界意義的姿勢(shì)的任意集合可被定義。然而，任意身體和/或語(yǔ)音姿勢(shì)可由姿勢(shì)識(shí)別引擎190開(kāi)發(fā)和記錄，以使得在這些姿勢(shì)被執(zhí)行時(shí)，姿勢(shì)識(shí)別引擎識(shí)別出它們，并且執(zhí)行諸如踏入虛擬場(chǎng)景以查看對(duì)象后方之類(lèi)的相關(guān)聯(lián)的動(dòng)作。一旦在步驟422中識(shí)別出探索姿勢(shì)，計(jì)算環(huán)境12執(zhí)行步驟490到538，如現(xiàn)在將參考圖7的流程圖來(lái)描述的。在步驟490中，計(jì)算環(huán)境12確定用戶(hù)是否希望踏入示出了顯示的三維虛擬世界以從另一位置查看所顯示的場(chǎng)景。同樣地，這種期望以及用戶(hù)想要帶入虛擬場(chǎng)景的方向由用戶(hù)通過(guò)預(yù)定義的頭部、手部或其他姿勢(shì)來(lái)控制。這一實(shí)施例可在場(chǎng)景被呈現(xiàn)在CG動(dòng)畫(huà)中的情況下操作。在場(chǎng)景被呈現(xiàn)在靜態(tài)面板或記錄的視頻中的情況下，構(gòu)想了 CG動(dòng)畫(huà)可剪切入這些顯示模型以提供對(duì)虛擬場(chǎng)景的探索，如下文所說(shuō)明的。在另一實(shí)施例中，視頻可以是360°拍攝的，這允許用戶(hù)對(duì)視頻場(chǎng)景的某種程度的進(jìn)入和探索。作為一個(gè)示例，一旦執(zhí)行了探索姿勢(shì)，捕捉設(shè)備20和計(jì)算設(shè)備12就可確定顯示器上用戶(hù)聚焦于的點(diǎn)，諸如圖10中的點(diǎn)610。該點(diǎn)可通過(guò)捕捉用戶(hù)的眼睛看向哪里來(lái)確定，和/或該點(diǎn)可通過(guò)捕捉用戶(hù)的手指向指向哪里來(lái)確定。在其他實(shí)施例中，用戶(hù)還可以或者另選地走向該方向。如果在步驟490中確定用戶(hù)希望從不同的位置查看場(chǎng)景，則計(jì)算環(huán)境可在步驟494中定義用戶(hù)希望在虛擬世界中沿著其來(lái)移動(dòng)的向量。步驟494中的向量可基于從用戶(hù)上的基準(zhǔn)點(diǎn)到顯示器上的興趣點(diǎn)610的一個(gè)或多個(gè)真實(shí)世界三維向量612來(lái)確定。在圖10中，向量612是從用戶(hù)的眼睛到興趣點(diǎn)610以及從用戶(hù)指向的手到興趣點(diǎn)610?；鶞?zhǔn)點(diǎn)(眼睛、手等)具有已知的X、y和z坐標(biāo)位置。顯示器14上顯示的虛擬場(chǎng)景在3-D數(shù)據(jù)中被表示。換言之，虛擬場(chǎng)景中的點(diǎn)和場(chǎng)景內(nèi)的虛擬對(duì)象被分配X、y和z值，以創(chuàng)建在此處被稱(chēng)為3-D機(jī)器空間的3-D虛擬空間。給定捕捉設(shè)備20對(duì)于用戶(hù)在其中移動(dòng)的真實(shí)世界的已知位置，在3-D真實(shí)世界空間和3-D機(jī)器空間之間存在已知關(guān)系。由此，向量612可使用已知變換矩陣從3-D真實(shí)世界空間被轉(zhuǎn)換成3-D機(jī)器空間。真實(shí)世界向量612到3-D機(jī)器空間的轉(zhuǎn)換在步驟494中提供了用戶(hù)要沿著移動(dòng)到3-D虛擬場(chǎng)景中的向量。如下文所說(shuō)明的，為了創(chuàng)建用戶(hù)移動(dòng)到虛擬場(chǎng)景中并檢查虛擬對(duì)象的效果，顯示器的角度改變?yōu)樘峁﹫?chǎng)景的不同區(qū)域和對(duì)象的視圖，并且從不同的放大或縮小的位置。同樣地，這是可能的，因?yàn)樘摂M對(duì)象不僅被定義為顯示器上的二維點(diǎn)，而具有機(jī)器空間中的3-D定義。在步驟498中，代替立即將用戶(hù)重新定位到所需位置，用戶(hù)到虛擬機(jī)器世界中的視圖將增量式地被改變。用戶(hù)視圖改變的增量可被任意設(shè)定，但在各實(shí)施例中，視圖這樣改變以造成用戶(hù)正以普通步行節(jié)奏步入場(chǎng)景中的印象。在步驟502中，在顯示器14上顯示的場(chǎng)景的視圖可被更新以增量式地改變步驟498的視圖。同樣地，用于將所顯示的場(chǎng)景轉(zhuǎn)換成3-D機(jī)器空間的任何角度的變換矩陣是已知的。在步驟506中，場(chǎng)景可從步驟502中確定的新的位置的視角來(lái)呈現(xiàn)。該例程隨后可返回至步驟490，以確定用戶(hù)是否已經(jīng)到達(dá)虛擬場(chǎng)景內(nèi)他們想要調(diào)查對(duì)象的位置或者他們是否想要繼續(xù)在虛擬場(chǎng)景內(nèi)移動(dòng)。這可以由用戶(hù)的身體位置以及用戶(hù)聚焦于顯示器的何處或者由某種其他的任意身體移動(dòng)或語(yǔ)音姿勢(shì)來(lái)指示。如果用戶(hù)想要繼續(xù)在虛擬場(chǎng)景內(nèi)移動(dòng)，則步驟490到506被重復(fù)直到用戶(hù)到達(dá)了虛擬場(chǎng)景內(nèi)他們的所需位置。如果步驟490確定用戶(hù)位于虛擬場(chǎng)景中的所需位置(B卩，該場(chǎng)景從所需角度被呈現(xiàn)在顯示器上)，流程圖可分支到步驟510以確定用戶(hù)是否希望更近地聚焦于該位置處的場(chǎng)景內(nèi)的對(duì)象。同樣地，這種期望可由或模仿用戶(hù)想要作出的以移動(dòng)到和/或聚焦于真實(shí)世界中的對(duì)象的真實(shí)世界移動(dòng)的一個(gè)或多個(gè)預(yù)定義姿勢(shì)來(lái)指示，或者由出于導(dǎo)航并聚焦于虛擬世界中的對(duì)象的目的而定義的任意姿勢(shì)來(lái)指示。如果在步驟510中確定用戶(hù)希望更近地聚焦于場(chǎng)景中的對(duì)象，則在步驟514中計(jì)算環(huán)境12將當(dāng)前位置(S卩，場(chǎng)景的當(dāng)前視圖)存儲(chǔ)為基準(zhǔn)位置。如下文所說(shuō)明的，這一基準(zhǔn)位置將被用作當(dāng)用戶(hù)完成對(duì)特定虛擬對(duì)象的聚焦時(shí)系統(tǒng)返回到的視圖。在步驟518中，計(jì)算環(huán)境12確定從基準(zhǔn)位置到虛擬對(duì)象的向量方向。這可以如上所述地通過(guò)檢測(cè)真實(shí)世界中用戶(hù)頭部在x、y、z空間中的位置以及用戶(hù)正看向顯示器的哪里，并且之后將該向量轉(zhuǎn)換成虛擬機(jī)器空間中的向量來(lái)完成。在步驟522中，沿著這一向量的中間增量位置可如上所述地被確定。在步驟524，場(chǎng)景的角度可被轉(zhuǎn)換成在步驟522中確定的位置，并且在步驟528中，場(chǎng)景可從在步驟524中確定的視角來(lái)呈現(xiàn)。在步驟532中，系統(tǒng)可確定用戶(hù)是否完成了對(duì)虛擬場(chǎng)景內(nèi)的虛擬對(duì)象的聚焦。這可以由各種預(yù)定義姿勢(shì)中的任一個(gè)來(lái)指示。如果系統(tǒng)未確定用戶(hù)完成了聚焦視圖，則流程圖返回至步驟510，并且可重復(fù)步驟510到528以提供對(duì)場(chǎng)景內(nèi)的虛擬對(duì)象的進(jìn)一步且附加的聚焦。另一方面，如果用戶(hù)在步驟532執(zhí)行了指示用戶(hù)已完成他們的聚焦視圖的預(yù)定義姿勢(shì)，則在步驟536中視圖可被轉(zhuǎn)換回來(lái)自基準(zhǔn)位置的視圖(在步驟514中存儲(chǔ)的)。
如果計(jì)算環(huán)境12無(wú)法鑒別步驟490和510中的附加探索姿勢(shì)，則流程可分支到步驟538以查看用戶(hù)是否執(zhí)行指示他們已完成探索場(chǎng)景的預(yù)定義姿勢(shì)。如果否，則流程可循環(huán)回步驟490，以查看用戶(hù)是否希望從不同的位置查看場(chǎng)景，并且如果否，則流程移動(dòng)到步驟510以確定用戶(hù)是否希望聚焦于在該當(dāng)前位置處的場(chǎng)景內(nèi)的對(duì)象。另一方面，如果在步驟538中執(zhí)行了指示用戶(hù)完成了在3-D場(chǎng)景內(nèi)的探索的某種預(yù)定義姿勢(shì)，則流程可返回到圖5以檢查下一類(lèi)型的用戶(hù)交互?？梢岳斫猓襟E490到538僅僅是用戶(hù)可如何移動(dòng)到由故事應(yīng)用在顯示器14上提供的三維虛擬世界中并在其中四處移動(dòng)的一個(gè)示例。在本發(fā)明的系統(tǒng)的各實(shí)施例中，除了觀(guān)看故事以及在3-D虛擬世界內(nèi)探索，用戶(hù)還可具有控制故事內(nèi)的一個(gè)或多個(gè)角色的選項(xiàng)。這一實(shí)施例可在場(chǎng)景被呈現(xiàn)在CG動(dòng)畫(huà)中的情況下操作。在場(chǎng)景被呈現(xiàn)在或靜態(tài)面板或記錄的視頻中的情況下，構(gòu)想了 CG動(dòng)畫(huà)可被剪切入那些顯示模型以提供角色控制，如下文所說(shuō)明的。在各實(shí)施例中，用戶(hù)18可執(zhí)行指示用戶(hù)期望控制屏幕上的角色23的移動(dòng)和/或動(dòng)作的某種預(yù)定義的姿勢(shì)。該預(yù)定義姿勢(shì)可以是例如與例如指向屏幕上給定的角色的用戶(hù)運(yùn)動(dòng)耦合的任意姿勢(shì)。當(dāng)這樣的角色控制被故事應(yīng)用226準(zhǔn)許時(shí)，在步驟426中用戶(hù)可被注冊(cè)為該角色，并且之后用戶(hù)可如下文參考圖8的步驟540到558來(lái)描述地來(lái)控制該角色。在用戶(hù)被注冊(cè)為控制角色之后，用戶(hù)可執(zhí)行用于動(dòng)畫(huà)化和影響受控的屏幕上的角色的行為的某些運(yùn)動(dòng)和姿勢(shì)。在步驟540中，計(jì)算環(huán)境確定用戶(hù)是否執(zhí)行了預(yù)定義的、被識(shí)別的姿勢(shì)。如果是，則計(jì)算環(huán)境在步驟544檢查屏幕上的角色是否被準(zhǔn)許執(zhí)行與識(shí)別處的姿勢(shì)相對(duì)應(yīng)的動(dòng)作。具體地，在各實(shí)施例中，用戶(hù)不必對(duì)屏幕上的角色的動(dòng)作或行為具有完全控制，而是與故事應(yīng)用226共享對(duì)屏幕上的角色的控制。在各實(shí)施例中，用戶(hù)可控制角色移動(dòng)至某一程度，但應(yīng)用可定義這種移動(dòng)的邊界，并且可限制對(duì)屏幕上的角色的其他方面的控制，諸如涉及角色的行為和個(gè)性。用戶(hù)對(duì)屏幕上的角色的不受束縛的控制可阻止故事應(yīng)用向前移動(dòng)，例如，在用戶(hù)致使屏幕上的角色執(zhí)行未被預(yù)期為可能的故事分支的某些動(dòng)作的情況下(下文說(shuō)明的)。然而，應(yīng)該理解，在其他實(shí)施例中，用戶(hù)可以被給予對(duì)屏幕上的角色的不受束縛的控制。
如果角色23被故事應(yīng)用準(zhǔn)許在步驟542中執(zhí)行姿勢(shì)動(dòng)作，則在步驟544中角色執(zhí)行與該姿勢(shì)相關(guān)聯(lián)的動(dòng)作。圖IB示出在用戶(hù)被給予控制屏幕上的角色23的上半身的能力的情況下的示例。這一特定的故事應(yīng)用可識(shí)別出用戶(hù)抬起他們的手臂、并且使其與諸如怪物之類(lèi)的屏幕上的角色相對(duì)應(yīng)以威脅的方式抬起他們的手臂的姿勢(shì)。在圖8的步驟540中的這樣的用戶(hù)姿勢(shì)之后，角色在步驟544中執(zhí)行對(duì)應(yīng)的動(dòng)作。如果在步驟540中沒(méi)有執(zhí)行識(shí)別出的姿勢(shì)，則計(jì)算環(huán)境接著在步驟546中檢查用戶(hù)移動(dòng)是否被捕捉設(shè)備20檢測(cè)到。如果是，則系統(tǒng)在550檢查屏幕上的角色是否被準(zhǔn)許按照用戶(hù)所做的來(lái)移動(dòng)，如上所闡述的。如果是，則在步驟552中以有樣學(xué)樣的方式用用戶(hù)的移動(dòng)來(lái)動(dòng)畫(huà)化屏幕上的角色。如果計(jì)算環(huán)境在步驟540中未檢測(cè)到預(yù)定義的姿勢(shì)或者在步驟546中未檢測(cè)到用戶(hù)移動(dòng)，則計(jì)算環(huán)境可返回到圖5的步驟428以檢測(cè)與場(chǎng)景的其他用戶(hù)交互，如下文說(shuō)明的。在步驟554中，系統(tǒng)接著檢查用戶(hù)是否給出了指示他們期望結(jié)束對(duì)角色的控制的某種類(lèi)型的預(yù)定義的姿勢(shì)。如果在步驟554中檢測(cè)到這樣的姿勢(shì)，則在步驟556中用戶(hù)對(duì) 角色的控制結(jié)束并且角色完全由故事應(yīng)用226控制。如果系統(tǒng)在步驟546檢測(cè)到用戶(hù)移動(dòng)但在步驟550中角色不被準(zhǔn)許以該種方式移動(dòng)，或者如果用戶(hù)在步驟554結(jié)束對(duì)角色的控制，則系統(tǒng)可返回到圖5的步驟425以尋找用戶(hù)與所顯示的場(chǎng)景的其他交互。現(xiàn)在返回到圖5，在步驟428，計(jì)算環(huán)境12尋找用戶(hù)與所顯示的場(chǎng)景的某種交互，并且具體的是可影響故事的子情節(jié)的結(jié)尾或者影響故事的整個(gè)結(jié)尾的用戶(hù)交互。如果檢測(cè)到這種交互，則系統(tǒng)執(zhí)行圖9的步驟560到步驟588。這可以作為上文參考418來(lái)描述的語(yǔ)音命令、上文參考步驟422來(lái)描述的探索姿勢(shì)、上文參考步驟426來(lái)描述的用戶(hù)控制屏幕上的角色、或與故事的某種其他交互的結(jié)果來(lái)發(fā)生。交互程度可部分地由故事中顯示的圖像的類(lèi)型來(lái)確定。CG動(dòng)畫(huà)可提供較高的交互程度，而靜止面板和記錄的視頻可提供較低的交互程度。應(yīng)該理解，CG動(dòng)畫(huà)可被剪切入靜止面板和/或記錄的視頻以提供更強(qiáng)的交互性。在各實(shí)施例中，用戶(hù)可被給予在故事中離散的點(diǎn)處與屏幕上的故事交互的機(jī)會(huì)。這些點(diǎn)可通過(guò)故事中的暫?；蚰撤N提示來(lái)向用戶(hù)指示。在其他實(shí)施例中，用戶(hù)可具有在應(yīng)用226呈現(xiàn)故事期間的任何點(diǎn)處與故事交互的選項(xiàng)。在步驟428與所顯示的場(chǎng)景交互之后，系統(tǒng)最初地執(zhí)行確定用戶(hù)是否執(zhí)行了運(yùn)動(dòng)或被識(shí)別的姿勢(shì)的步驟560。如果是，則計(jì)算環(huán)境12接著在步驟564中檢查與該運(yùn)動(dòng)或姿勢(shì)相關(guān)聯(lián)的動(dòng)作是否需要分支到不同的故事線(xiàn)。存在用于確定用戶(hù)動(dòng)作是否要求分支到不同的故事分支，并且隨后確定如何從該故事分支來(lái)繼續(xù)的各種已知的方法。在一個(gè)示例中，故事應(yīng)用可為故事內(nèi)的所有對(duì)象和角色維護(hù)狀態(tài)數(shù)據(jù)值。當(dāng)關(guān)于場(chǎng)景或角色的某些東西改變時(shí)，該場(chǎng)景或角色的狀態(tài)數(shù)據(jù)可相應(yīng)地改變。這些狀態(tài)數(shù)據(jù)值可用于呈現(xiàn)故事對(duì)象或角色，并且用于控制對(duì)于這些對(duì)象或角色發(fā)生了什么。在各實(shí)施例中，取決于對(duì)象和角色的狀態(tài)數(shù)據(jù)值，故事應(yīng)用可能能夠分支到各種各樣不同的故事線(xiàn)，狀態(tài)數(shù)據(jù)可作為與那些對(duì)象和/或角色的用戶(hù)交互的結(jié)果來(lái)更改。該其他實(shí)施例中，用戶(hù)可執(zhí)行不與屏幕上的對(duì)象或角色交互或不影響屏幕上的對(duì)象或角色的、但可導(dǎo)致改變故事線(xiàn)的某些姿勢(shì)。作為一個(gè)示例，用戶(hù)可選擇在要參考屏幕上顯示的房間示出和說(shuō)明的故事的重要方面被揭示之前離開(kāi)該房間。在步驟564中，計(jì)算環(huán)境12確定與用戶(hù)執(zhí)行的姿勢(shì)相關(guān)聯(lián)的動(dòng)作是否要求分支到不同的故事線(xiàn)。如所述的，這可在故事的對(duì)象和角色的狀態(tài)數(shù)據(jù)值已經(jīng)被用戶(hù)更改的情況下發(fā)生。具體地，狀態(tài)數(shù)據(jù)值已經(jīng)改變以使得按照步驟560中的用戶(hù)姿勢(shì)之前所存在的來(lái)繼續(xù)故事將與同對(duì)象、角色或整個(gè)故事相關(guān)聯(lián)的當(dāng)前狀態(tài)數(shù)據(jù)值不一致。如果用戶(hù)姿勢(shì)要求到不同故事線(xiàn)的分支，則計(jì)算環(huán)境12可在步驟568中檢查是否存在與用戶(hù)交互一致的故事的已知分支。如果在步驟560中用戶(hù)未執(zhí)行運(yùn)動(dòng)或被識(shí)別的姿勢(shì)，或者在步驟564中用戶(hù)的運(yùn)動(dòng)/被識(shí)別的姿勢(shì)不要求到不同故事線(xiàn)的分支，則系統(tǒng)可返回到圖5以在步驟432中尋找任何其他類(lèi)型的移動(dòng)或姿勢(shì)，如下文所說(shuō)明的。而且，如果用戶(hù)執(zhí)行了要求到不同故事線(xiàn)的分支的動(dòng)作，但沒(méi)有與用戶(hù)交互一致的、且故事應(yīng)用226已知或可標(biāo)識(shí)的分支，則在步驟568中用戶(hù)姿勢(shì)在故事線(xiàn)上的效果可被忽略，并且流程可返回到圖5中的步驟432，如下文所說(shuō)明的。假定用戶(hù)姿勢(shì)要求到新的分支故事線(xiàn)的分支，并且該故事線(xiàn)能夠由故事應(yīng)用執(zhí)行，則故事應(yīng)用可取決于用戶(hù)執(zhí)行了什么運(yùn)動(dòng)或姿勢(shì)來(lái)修改與對(duì)象、角色和作為一個(gè)整體的應(yīng)用相關(guān)聯(lián)的狀態(tài)數(shù)據(jù)。參照?qǐng)D11和12，某些用戶(hù)交互影響只有故事的子情節(jié)有區(qū)別·而不影響整體結(jié)尾的故事分支。如圖11所示，用戶(hù)可執(zhí)行致使故事應(yīng)用分支到分支I、分支2、……分支N的某些交互620，并且之后所有分支重新會(huì)聚以繼續(xù)原始故事線(xiàn)。構(gòu)想了各種各樣的這樣的子情節(jié)故事分支。例如，在圖IA中，用戶(hù)可執(zhí)行將云25 —起移動(dòng)到在房子21上下雨的點(diǎn)處的姿勢(shì)。雨可能對(duì)整體情節(jié)沒(méi)有影響?？赡芟乱粫?huì)雨，雨可能停，并且故事線(xiàn)可如原本沒(méi)有下雨時(shí)那樣來(lái)繼續(xù)。在其他實(shí)施例中，應(yīng)用故事可提示用戶(hù)回答問(wèn)題或解決謎題，并且故事線(xiàn)可取決于用戶(hù)對(duì)提示的回答來(lái)分支到不同的子情節(jié)。一旦用戶(hù)成功地回答了問(wèn)題或解決了謎題，故事可重新會(huì)聚并繼續(xù)原始故事線(xiàn)。另一方面，其他類(lèi)型的用戶(hù)交互可影響改變故事的整體結(jié)尾的故事分支。換言之，故事將取決于與故事的用戶(hù)交互來(lái)不同地結(jié)束。例如，在圖11中，用戶(hù)執(zhí)行致使故事分支到不重新會(huì)聚的N個(gè)分支中的一個(gè)的交互624。而且，這些分支中的任何一個(gè)本身隨后可基于其他用戶(hù)交互來(lái)分支。例如，如果用戶(hù)交互624致使故事分支到I號(hào)分支，則用戶(hù)可執(zhí)行致使故事分支到進(jìn)一步可能的結(jié)尾的另一交互628。取決于故事應(yīng)用是否被編寫(xiě)為處理許多子情節(jié)和整體情節(jié)分支，故事可具有任意數(shù)量的子情節(jié)分支或整體情節(jié)分支。在各實(shí)施例中，單個(gè)用戶(hù)可執(zhí)行致使故事應(yīng)用執(zhí)行子情節(jié)分支或整體情節(jié)分支的交互。在其他實(shí)施例中，多個(gè)用戶(hù)可能正在查看故事。這些多個(gè)用戶(hù)可位于同一位置或使用被聯(lián)網(wǎng)在一起的不同系統(tǒng)10位于不同位置，從而各個(gè)用戶(hù)可共享應(yīng)用226的同一實(shí)例和同一故事體驗(yàn)。在這些實(shí)施例中，故事應(yīng)用226可在故事線(xiàn)分支到新的子情節(jié)或新的整體情節(jié)之前要求若干用戶(hù)協(xié)同動(dòng)作的動(dòng)作?，F(xiàn)在返回圖9，如果在步驟564中計(jì)算環(huán)境12標(biāo)識(shí)了要求故事線(xiàn)分支的用戶(hù)移動(dòng)或姿勢(shì)，并且故事應(yīng)用被配備為處理該新的故事線(xiàn)，則在步驟570中故事應(yīng)用226分支到該新的故事線(xiàn)。在步驟572中，故事應(yīng)用修改任何對(duì)象、角色或作為一個(gè)整體的應(yīng)用的狀態(tài)數(shù)據(jù)。在步驟574中，故事應(yīng)用226可根據(jù)新的故事線(xiàn)和狀態(tài)數(shù)據(jù)來(lái)呈現(xiàn)場(chǎng)景的圖形，并且在步驟578中故事應(yīng)用可用所標(biāo)識(shí)的分支來(lái)繼續(xù)。本發(fā)明的系統(tǒng)的一個(gè)方面是向正向用戶(hù)顯示的故事添加游戲機(jī)制。相應(yīng)地，除了顯示故事之外，故事應(yīng)用226還可保存用戶(hù)的得分，該得分可取決于用戶(hù)如何與故事交互來(lái)遞增或遞減。具體地，用戶(hù)的某些姿勢(shì)或動(dòng)作可具有預(yù)定的故事值和根據(jù)相關(guān)聯(lián)的姿勢(shì)的表現(xiàn)要向用戶(hù)的總體得分添加或扣除的相關(guān)聯(lián)的點(diǎn)數(shù)。相應(yīng)地，在步驟582中，故事應(yīng)用檢查是否存在與步驟560中執(zhí)行的用戶(hù)交互相關(guān)聯(lián)的得分。如果否，則流程返回到圖5的步驟432。如果存在與用戶(hù)交互相關(guān)聯(lián)的得分，則在步驟588中相應(yīng)地調(diào)整用戶(hù)得分，并且隨后流程可返回到圖5中的步驟432，如下文描述的。圖9的實(shí)施例可用于使用靜態(tài)圖像面板或動(dòng)態(tài)CG圖像動(dòng)畫(huà)的故事。圖9A示出用于記錄的視頻的其他實(shí)施例。步驟560到572可以如上文對(duì)圖9描述。在各實(shí)施例中，與記錄的視頻的交互將在與視頻的交互的預(yù)定義點(diǎn)處發(fā)生。對(duì)于記錄的視頻的故事，故事應(yīng)用可對(duì)于故事的每一個(gè)可能的分支具有不同的視頻剪輯。在步驟590中，故事應(yīng)用可檢索適于故事的所確定的分支的媒體剪輯。在步驟594中，計(jì)算環(huán)境12可呈現(xiàn)該剪輯。作為不同分支的預(yù)先錄制的視頻剪輯的替換或附加，CG動(dòng)畫(huà)可由計(jì)算環(huán)境構(gòu)造并被插入。在向用戶(hù)示出了來(lái)自故事分支的圖像之后，如果故事不分支到新的線(xiàn)，在步驟596中故事應(yīng)用226隨后可回頭并示出故事的媒體剪輯。例如，故事可涉及其中偵探正要訊問(wèn)疑犯的犯罪戲劇。用戶(hù)可執(zhí)行指示他們希望與故事應(yīng)用交互來(lái)訊問(wèn)疑犯的預(yù)定義姿勢(shì)。用·戶(hù)可問(wèn)問(wèn)題，并且可用不同的方式且用不同的態(tài)度來(lái)執(zhí)行訊問(wèn)。這些動(dòng)作在范圍上可以是受限的，例如受限于用戶(hù)可從中選擇問(wèn)題的腳本?；蛘?，它可以是用戶(hù)希望問(wèn)的任何問(wèn)題。用戶(hù)還可用不同的態(tài)度來(lái)問(wèn)問(wèn)題，可能或多或少得可能對(duì)正被訊問(wèn)的疑犯角色起作用。用戶(hù)可能試圖欺壓疑犯，或者用戶(hù)可能試圖通過(guò)以舒適的言行來(lái)繼續(xù)來(lái)引出信息。捕捉設(shè)備20能夠檢測(cè)這些不同的作風(fēng)，并且如果某些動(dòng)作匹配定義的且存儲(chǔ)的作風(fēng)數(shù)據(jù)，則這些不同的作風(fēng)可由計(jì)算環(huán)境12標(biāo)識(shí)。一旦用戶(hù)完成了訊問(wèn)，則偵探進(jìn)行訊問(wèn)的視頻剪輯可被播放。就用戶(hù)他或她能夠從疑犯獲得的信息量與被重放的場(chǎng)景中偵探角色獲得的相比較而言，用戶(hù)可以看到他們比偵探做得更好或更差。在步驟600，故事線(xiàn)用被標(biāo)識(shí)的分支來(lái)繼續(xù)。它可重新召集原始故事線(xiàn)，或者它可導(dǎo)致整體情節(jié)的新的結(jié)尾。在步驟604中，用戶(hù)交互可被打分。例如，如果在以上示例中用戶(hù)能夠引出比偵探角色更多的信息，則用戶(hù)可被獎(jiǎng)勵(lì)某些預(yù)定義的點(diǎn)數(shù)?；蛘?，如果用戶(hù)引出更少的信息，則他們可丟失預(yù)定的點(diǎn)數(shù)。用戶(hù)的得分可相應(yīng)地被調(diào)整，并且流程可返回到圖5的步驟432，如下文所描述的。返回到圖5，用戶(hù)姿勢(shì)并非是步驟422中的探索姿勢(shì)，并非步驟426中的出于控制角色的目的，并且并非步驟428中的與所顯示的場(chǎng)景交互以便改變故事線(xiàn)也是可能發(fā)生的。相應(yīng)地，在步驟432中計(jì)算環(huán)境12檢查其他這樣的姿勢(shì)。如果在步驟432中沒(méi)有識(shí)別出其他這樣的姿勢(shì)，則故事應(yīng)用循環(huán)回到步驟406以呈現(xiàn)故事的下一幀并且上述步驟重復(fù)。另一方面，如果在步驟432中識(shí)別出某種其他姿勢(shì)，則系統(tǒng)在步驟434中檢查該姿勢(shì)是否要結(jié)束故事。如果是，則故事在步驟436結(jié)束。否則，在步驟438中，系統(tǒng)執(zhí)行在步驟432中識(shí)別出的姿勢(shì)相關(guān)聯(lián)的任何動(dòng)作，并且隨后流程返回到步驟406以呈現(xiàn)故事的下一幀。如上所述，如果在接收到故事時(shí)用戶(hù)沒(méi)有采取動(dòng)作，則故事可按照?qǐng)D像和/或敘述或?qū)υ?huà)的默認(rèn)集合來(lái)線(xiàn)性地繼續(xù)。在其他實(shí)施例中，即使在用戶(hù)沒(méi)有采取行動(dòng)的情況下，線(xiàn)性故事中的元素也可基于各種預(yù)先設(shè)定的因素相對(duì)于故事的實(shí)例而動(dòng)態(tài)地改變。這些因素可包括故事已經(jīng)被查看的次數(shù)(例如，新的事物總共發(fā)生了第四次)；觀(guān)眾人數(shù)；以及天氣或幾點(diǎn)鐘(例如，故事中的天氣隨著季節(jié)改變，或者與真實(shí)世界天氣綁定)。天氣或幾點(diǎn)鐘對(duì)于系統(tǒng)10可以是已知的，或者被存儲(chǔ)在系統(tǒng)10聯(lián)網(wǎng)到的服務(wù)內(nèi)。同樣，其他故事中的事件可具有影響——被引入到故事B中的角色使得他們出現(xiàn)在故事A中。上文描述的本發(fā)明的系統(tǒng)的這些特征以及其他特征使得故事更動(dòng)態(tài)并且鼓勵(lì)重復(fù)查看和實(shí)驗(yàn)。上文描述的許多交互由預(yù)定義的姿勢(shì)觸發(fā)。圖13示出姿勢(shì)識(shí)別引擎190的框圖，而圖14示出圖13的姿勢(shì)識(shí)別引擎190的操作的框圖。在步驟660中，姿勢(shì)識(shí)別引擎190接收姿態(tài)信息650。姿態(tài)信息可包括與在圖像數(shù)據(jù)中檢測(cè)到的用戶(hù)的各身體部分及關(guān)節(jié)的位置和/或運(yùn)動(dòng)有關(guān)的各種參數(shù)。在步驟664中，姿勢(shì)識(shí)別引擎190分析接收到的姿態(tài)信息650，以查看該姿態(tài)信息是否匹配存儲(chǔ)在姿勢(shì)庫(kù)654內(nèi)的任何預(yù)定義的規(guī)則658。存儲(chǔ)的規(guī)則658描述由姿態(tài)信息650所表示的特定位置和/或動(dòng)力運(yùn)動(dòng)何時(shí)將被解釋為預(yù)定義的姿勢(shì)。在各實(shí)施例中，每一個(gè)姿勢(shì)都可以具有不同的、唯一規(guī)則或規(guī)則集658。每一規(guī)則可具有與圖4所示的一個(gè)或多個(gè)身體部位有關(guān)的多個(gè)參數(shù)(關(guān)節(jié)位置向量、最大/最小位置、位置變化等)。所存儲(chǔ)的規(guī)則可對(duì)每一參數(shù)并對(duì)圖4所示的每一身體部位302到330定義單個(gè)值、值范圍、最大值、最小 值、或關(guān)于該身體部位的參數(shù)與該規(guī)則所覆蓋的姿勢(shì)的判定無(wú)關(guān)的指示。規(guī)則可以由游戲作者、由游戲平臺(tái)的主機(jī)或由用戶(hù)本身創(chuàng)建。姿勢(shì)識(shí)別引擎190可輸出所標(biāo)識(shí)的姿勢(shì)和對(duì)應(yīng)于用戶(hù)的位置/移動(dòng)與該姿勢(shì)相對(duì)應(yīng)的可能性的置信度水平。具體而言，除定義姿勢(shì)所需的參數(shù)之外，規(guī)則還可以包括在姿態(tài)信息650將被解釋為姿勢(shì)之前所要求的閾值置信水平。某些姿勢(shì)可能作為系統(tǒng)命令或游戲指令具有更大的影響，如此，在姿態(tài)被解釋為該姿勢(shì)之前要求較高的置信水平。姿態(tài)信息與存儲(chǔ)的規(guī)則的參數(shù)的比較導(dǎo)致關(guān)于姿態(tài)信息是否表示姿勢(shì)的累積置信度水平。一旦確定了關(guān)于給定姿態(tài)或運(yùn)動(dòng)是否滿(mǎn)足給定姿勢(shì)規(guī)則的置信度水平，姿勢(shì)識(shí)別引擎190然后就在步驟668確定該置信度水平是否超過(guò)關(guān)于所考慮的規(guī)則的預(yù)定閾值。閾值置信度水平可以與考慮中的規(guī)則相關(guān)聯(lián)地存儲(chǔ)。如果置信度水平低于閾值，則檢測(cè)不到姿勢(shì)(步驟670)，并且不采取動(dòng)作。另一方面，如果置信度水平高于閾值，則確定用戶(hù)的運(yùn)動(dòng)滿(mǎn)足所考慮的姿勢(shì)規(guī)則，并且在步驟674，姿勢(shì)識(shí)別引擎190返回所標(biāo)識(shí)的姿勢(shì)。在其他實(shí)施例中，姿勢(shì)識(shí)別引擎190可由其他方法來(lái)操作。本發(fā)明系統(tǒng)的前述詳細(xì)描述是出于說(shuō)明和描述的目的而提供的。這并不旨在窮舉本發(fā)明系統(tǒng)或?qū)⒈景l(fā)明系統(tǒng)限于所公開(kāi)的精確形式。鑒于上述教導(dǎo)，許多修改和變型都是可能的。選擇所述實(shí)施例以最好地解釋本發(fā)明系統(tǒng)的原理及其實(shí)踐應(yīng)用，從而允許本領(lǐng)域技術(shù)人員能夠在各種實(shí)施例中并采用各種適于所構(gòu)想的特定用途的修改來(lái)最好地利用本發(fā)明系統(tǒng)。本發(fā)明系統(tǒng)的范圍旨在由所附權(quán)利要求書(shū)來(lái)定義。
權(quán)利要求
1.一種在包括計(jì)算環(huán)境的系統(tǒng)中的將交互式游戲方面組合到線(xiàn)性故事中的方法，所述計(jì)算環(huán)境耦合到用于捕捉用戶(hù)運(yùn)動(dòng)的捕捉設(shè)備以及用于顯示圖像和/或提供音頻的視聽(tīng)設(shè)備，所述方法包括 a)經(jīng)由所述視聽(tīng)設(shè)備使用圖像和音頻敘述中的至少一個(gè)來(lái)呈現(xiàn)所述線(xiàn)性故事，所述線(xiàn)性故事具有在用戶(hù)不與所述故事交互的情況下向用戶(hù)呈現(xiàn)的圖像和/或敘述的默認(rèn)集合； b)經(jīng)由所述捕捉設(shè)備來(lái)檢測(cè)用戶(hù)的移動(dòng)和語(yǔ)音命令中的至少一個(gè)； c)標(biāo)識(shí)在所述步驟b)中檢測(cè)到的所述移動(dòng)和/或所述語(yǔ)音命令是否是與所述線(xiàn)性故事的交互，所述交互更改所述線(xiàn)性故事以包括具有未被包括在圖像和/或敘述的默認(rèn)集合中的附加圖像和附加敘述中的至少一個(gè)的故事分支；以及 d)通過(guò)經(jīng)由所述視聽(tīng)設(shè)備來(lái)向用戶(hù)呈現(xiàn)所述附加圖像和附加敘述中的至少一個(gè)來(lái)更改所述線(xiàn)性故事。
2.如權(quán)利要求I所述的方法，其特征在于，所述線(xiàn)性故事包括具有由虛擬機(jī)器空間中的場(chǎng)景的三維描述定義的故事場(chǎng)景的圖像，更改所述線(xiàn)性故事的所述步驟d)包括呈現(xiàn)從所述虛擬機(jī)器空間內(nèi)的不同的三維視角來(lái)示出圖像的默認(rèn)集合的場(chǎng)景的附加圖像的步驟e)。
3.如權(quán)利要求2所述的方法，其特征在于，所述步驟e)中呈現(xiàn)的附加圖像創(chuàng)建用戶(hù)移動(dòng)入所述場(chǎng)景的印象。
4.如權(quán)利要求2所述的方法，其特征在于，所述步驟e)中呈現(xiàn)的附加圖像創(chuàng)建用戶(hù)從不同視角檢查來(lái)自所述場(chǎng)景的對(duì)象的印象。
5.如權(quán)利要求2所述的方法，其特征在于，所述步驟e)中呈現(xiàn)的附加圖像創(chuàng)建用戶(hù)查看所述場(chǎng)景內(nèi)的對(duì)象后方的印象。
6.如權(quán)利要求I所述的方法，其特征在于，所述線(xiàn)性故事包括音頻敘述和圖像，呈現(xiàn)所述線(xiàn)性故事的所述步驟a)包括以下步驟 al)用戶(hù)用語(yǔ)音發(fā)出所述敘述， a2)將用戶(hù)用語(yǔ)音發(fā)出的敘述與所述線(xiàn)性故事的對(duì)應(yīng)圖像匹配，以及 a3)以所述用戶(hù)用語(yǔ)音發(fā)出的敘述的節(jié)奏所確定的節(jié)奏來(lái)呈現(xiàn)所述圖像。
7.如權(quán)利要求I所述的方法，其特征在于，所述線(xiàn)性故事包括呈現(xiàn)給用戶(hù)的音頻敘述和圖像，呈現(xiàn)所述線(xiàn)性故事的所述步驟a)包括以下步驟 al)第三方用語(yǔ)音發(fā)出所述敘述，所述第三方不與用戶(hù)一起出現(xiàn)并且所述第三方的語(yǔ)音經(jīng)由揚(yáng)聲器在所述用戶(hù)的附近作為所述敘述來(lái)提供， a2)將所述第三方用語(yǔ)音發(fā)出的敘述與所述線(xiàn)性故事的對(duì)應(yīng)圖像匹配，以及 a3)以所述第三方用語(yǔ)音發(fā)出的敘述的節(jié)奏所確定的節(jié)奏來(lái)呈現(xiàn)所述圖像。
8.一種用于對(duì)處理器編程以執(zhí)行將交互式游戲方面組合到線(xiàn)性故事中的方法的處理器可讀存儲(chǔ)介質(zhì)，包括 a)經(jīng)由視聽(tīng)設(shè)備使用圖像和音頻敘述中的至少一個(gè)來(lái)呈現(xiàn)所述線(xiàn)性故事，在監(jiān)視用戶(hù)移動(dòng)的捕捉設(shè)備沒(méi)有感知到用戶(hù)交互的情況下，所述線(xiàn)性故事從頭到尾被呈現(xiàn)為完整的故事，并且包括圖像的默認(rèn)集合； b)經(jīng)由與所述視聽(tīng)設(shè)備相關(guān)聯(lián)的捕捉設(shè)備來(lái)檢測(cè)用戶(hù)的移動(dòng)； c)標(biāo)識(shí)所述步驟b)中檢測(cè)到的所述移動(dòng)是否是與所述線(xiàn)性故事的交互，所述交互要求將所述線(xiàn)性故事修改為包括具有未被包括在圖像的默認(rèn)集合中的附加圖像的故事分支； d)基于存儲(chǔ)的或處理的數(shù)據(jù)來(lái)確定所述附加圖像是否可被呈現(xiàn)； e)如果在所述步驟d)中確定所述附加圖像可被呈現(xiàn)，則通過(guò)經(jīng)由所述視聽(tīng)設(shè)備來(lái)向用戶(hù)呈現(xiàn)所述附加圖像來(lái)更改所述線(xiàn)性故事；以及 f)在所述交互與基于所述交互來(lái)獎(jiǎng)勵(lì)或拿走預(yù)定點(diǎn)數(shù)的情況下對(duì)用戶(hù)交互打分。
9.如權(quán)利要求8所述的處理器可讀存儲(chǔ)介質(zhì)，其特征在于，所述線(xiàn)性故事包括具有由虛擬機(jī)器空間中的場(chǎng)景的三維描述定義的故事場(chǎng)景的圖像，更改所述線(xiàn)性故事的所述步驟e)包括呈現(xiàn)從所述虛擬機(jī)器空間內(nèi)的不同的三維視角來(lái)示出圖像的默認(rèn)集合的場(chǎng)景的附加圖像的步驟g)。
10.如權(quán)利要求8所述的處理器可讀存儲(chǔ)介質(zhì)，其特征在于，所述步驟b)包括作為所述線(xiàn)性故事的一部分用戶(hù)取得對(duì)所顯示的角色的至少部分控制的步驟h)。
11.如權(quán)利要求8所述的處理器可讀存儲(chǔ)介質(zhì)，其特征在于，所述步驟a)和e)包括在靜止圖像面板、動(dòng)態(tài)計(jì)算機(jī)圖形動(dòng)畫(huà)和線(xiàn)性視頻中的至少一個(gè)中顯示所述線(xiàn)性故事和/或故事分支的步驟。
12.一種用于將交互式游戲方面組合到線(xiàn)性故事中的系統(tǒng)，包括 用于呈現(xiàn)圖像和音頻敘述中的至少一個(gè)的視聽(tīng)設(shè)備； 用于捕捉來(lái)自用戶(hù)的圖像和音頻數(shù)據(jù)中的至少一個(gè)的圖像捕捉設(shè)備；以及 耦合到所述視聽(tīng)設(shè)備和圖像捕捉設(shè)備的計(jì)算環(huán)境，所述計(jì)算環(huán)境 a)經(jīng)由所述視聽(tīng)設(shè)備使用圖像和音頻敘述中的至少一個(gè)來(lái)呈現(xiàn)所述線(xiàn)性故事，在所述捕捉設(shè)備沒(méi)有感知到用戶(hù)交互的情況下，所述線(xiàn)性故事被從頭到尾被呈現(xiàn)為完整的故事，并且包括圖像的默認(rèn)集合； b)經(jīng)由所述捕捉設(shè)備來(lái)檢測(cè)用戶(hù)的移動(dòng)； c)標(biāo)識(shí)檢測(cè)到的移動(dòng)是否是探索姿勢(shì)；d)在將所述移動(dòng)標(biāo)識(shí)為探索姿勢(shì)之后，從所述線(xiàn)性故事分支到故事分支，所述分支包括 dl)感測(cè)所述視聽(tīng)設(shè)備上所述用戶(hù)指示的點(diǎn)， d2)計(jì)算從所述用戶(hù)的部分到所述視聽(tīng)設(shè)備上所述用戶(hù)指示的點(diǎn)的3-D真實(shí)世界向量， d3)將所述3-D真實(shí)世界向量轉(zhuǎn)換成3-D機(jī)器空間向量，所述3-D機(jī)器空間向量具有位于當(dāng)前視角的起點(diǎn)以及位于3-D機(jī)器空間中的虛擬對(duì)象的終點(diǎn)，以及d4)從所述3-D機(jī)器空間向量的終點(diǎn)處的視角來(lái)顯示所述虛擬對(duì)象。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述計(jì)算環(huán)境通過(guò)捕捉設(shè)備感測(cè)用戶(hù)頭部位置來(lái)感測(cè)所述視聽(tīng)設(shè)備上用戶(hù)指示的點(diǎn)。
14.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述計(jì)算環(huán)境通過(guò)捕捉設(shè)備感測(cè)用戶(hù)手部指示的點(diǎn)來(lái)感測(cè)所述視聽(tīng)設(shè)備上用戶(hù)指示的點(diǎn)。
15.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述用戶(hù)能夠增加同與所述線(xiàn)性和被分支的故事交互中的用戶(hù)體驗(yàn)相關(guān)聯(lián)的得分。
全文摘要
公開(kāi)了用于將交互式游戲方面組合到線(xiàn)性故事中的系統(tǒng)和方法。用戶(hù)可經(jīng)由NUI系統(tǒng)與線(xiàn)性故事交互以更改向用戶(hù)呈現(xiàn)的故事和圖像。在一示例中，用戶(hù)可通過(guò)執(zhí)行預(yù)定的探索姿勢(shì)來(lái)更改故事。這一姿勢(shì)將用戶(hù)帶入所顯示的圖像的3-D世界。具體地，屏幕上顯示的圖像改變?yōu)閯?chuàng)建用戶(hù)正踏入3-D虛擬世界的印象，以允許用戶(hù)從不同的視角檢查虛擬對(duì)象或者環(huán)顧凝視虛擬對(duì)象。
文檔編號(hào)G06F3/01GK102947774SQ201180030439
公開(kāi)日2013年2月27日 申請(qǐng)日期2011年6月9日 優(yōu)先權(quán)日2010年6月21日
發(fā)明者A·福勒, R·波特, A·A-A·基普曼, K·S·佩雷斯 申請(qǐng)人:微軟公司