專利名稱：基于玩家表情的視覺表示表情的制作方法
基于玩家表情的視覺表示表情
背景技術(shù)：
各種應(yīng)用會顯示用戶通過特定動作來控制的與該用戶相對應(yīng)的視覺表示，特定動作諸如選擇遙控器上的按鈕或以特定方式來移動控制器。視覺表示可以是化身、幻想角色、 卡通形象或動物、光標(biāo)、手等形式。視覺表示是在諸如計算機游戲、視頻游戲、聊天、論壇、社區(qū)、即時消息收發(fā)服務(wù)等各種應(yīng)用中通常采取二維OD)或三維(3D)模型的形式的與用戶相對應(yīng)的計算機表示。諸如計算機游戲、多媒體應(yīng)用、辦公室(office)應(yīng)用等之類的許多計算應(yīng)用提供對預(yù)定義動畫角色的選擇，所述預(yù)定義動畫角色可被選擇以供在應(yīng)用中用作用戶的化身。一些系統(tǒng)可能結(jié)合具有拍攝用戶的照片并且從該數(shù)據(jù)幀標(biāo)識特征的能力的相機。然而，這些系統(tǒng)需要捕捉用戶特征、處理圖像、然后應(yīng)用到非真實時間環(huán)境中的角色，并且所應(yīng)用的特征是低保真度的，通常是基于用戶的單個快照的。

發(fā)明內(nèi)容
可能期望基于所檢測的用戶的特性來定制用戶的視覺表示，并且可能期望實時地將這些特性應(yīng)用到該視覺表示。還可能期望系統(tǒng)處理物理空間中的用戶特性的變化并且能夠?qū)崟r地更新該視覺表示。對于這些特征，可能期望該系統(tǒng)標(biāo)識用戶的性情(temperament) 并將指示該性情的屬性應(yīng)用到用戶的視覺表示。此處公開了用于提供用戶的能夠?qū)崟r地反映該用戶的性情的視覺表示(諸如化身或幻想角色)的技術(shù)。使用面部識別和姿勢/身體姿態(tài)識別技術(shù)，該系統(tǒng)能夠推斷用戶的性情。該系統(tǒng)能夠通過將用戶性情的屬性應(yīng)用到用戶的視覺表示來自然地傳達(dá)用戶的情緒和態(tài)度。還公開了用于隨著時間跟蹤物理空間中的用戶并實時地將修改或更新應(yīng)用到該視覺表示的技術(shù)。例如，該系統(tǒng)可跟蹤用戶的面部表情和身體移動來標(biāo)識性情，然后將指示該性情的屬性應(yīng)用到該視覺表示。該系統(tǒng)可使用任何可檢測特性來評估用戶的性情以應(yīng)用到該視覺表示。提供本發(fā)明內(nèi)容以便以簡化形式介紹在以下具體實施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。


參考附圖來進(jìn)一步描述根據(jù)本說明書的用于修改視覺表示的系統(tǒng)、方法和計算機可讀介質(zhì)，在附圖中圖1示出目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實施例，其中用戶正在玩游戲。圖2示出了可在目標(biāo)識別、分析和跟蹤系統(tǒng)中使用且結(jié)合了鏈接和動畫混合技術(shù)的捕捉設(shè)備的示例實施例。圖3示出了其中可實現(xiàn)本文描述的動畫技術(shù)的計算環(huán)境的示例實施例。圖4示出了其中可實現(xiàn)本文描述的動畫技術(shù)的計算環(huán)境的另一示例實施例。
圖5A示出了從深度圖像生成的用戶的骨架映射。圖5B示出了圖2所示的姿勢識別器架構(gòu)的進(jìn)一步細(xì)節(jié)。圖6描繪了示例目標(biāo)識別、分析和跟蹤系統(tǒng)以及物理空間中的用戶以及該用戶的視覺表示的顯示的示例實施例。圖7描繪了將指示用戶的性情的屬性應(yīng)用到視覺表示的方法的示例流程圖。圖8描繪了用于推斷用戶的性情的示例查找表。圖9描繪了另一示例目標(biāo)識別、分析和跟蹤系統(tǒng)以及物理空間中的用戶的示例實施例以及用戶的視覺表示的顯示的示例實施例。說明性實施例的詳細(xì)描述此處公開了用于提供用戶的、能夠反映該用戶的性情的視覺表示(諸如化身)的技術(shù)。用戶的視覺表示例如可以為角色、動畫、化身、屏幕上的光標(biāo)、手、或與物理空間中的用戶相對應(yīng)的任何其他虛擬表示的形式。使用面部識別和姿勢/身體姿態(tài)識別技術(shù)，系統(tǒng)能夠自然地經(jīng)由用戶的視覺表示來傳達(dá)用戶的情緒和態(tài)度。例如，捕捉設(shè)備可標(biāo)識用戶的特征并基于那些所標(biāo)識的特征(諸如情緒、表情和心情)來定制用戶的視覺表示。在示例實施例中，該系統(tǒng)基于由捕捉設(shè)備捕捉的圖像數(shù)據(jù)來生成人的骨架或網(wǎng)格模型的各個方面并使用這些方面，并使用身體識別技術(shù)來確定用戶的性情。還公開了用于實時地顯示視覺表示并且實時地將指示用戶的性情的屬性應(yīng)用到該視覺表示的技術(shù)。系統(tǒng)可以隨著時間跟蹤物理空間中的用戶，并實時地將修改或更新應(yīng)用到該視覺表示。該系統(tǒng)可跟蹤可檢測特性，諸如用戶的特性、姿勢、應(yīng)用狀態(tài)等，以推斷用戶的性情。用戶的特性(例如，如面部表情和身體移動)可被用于推斷性情，然后該性情的屬性可被應(yīng)用到該視覺表示以使得該視覺表示反映該用戶的性情。例如，捕捉設(shè)備可以標(biāo)識用戶的行為和特殊習(xí)慣、情緒、語言模式、歷史數(shù)據(jù)等等以確定用戶的性情，并且將這些應(yīng)用到用戶的視覺表示。該系統(tǒng)可使用任何可檢測特征來評估用戶的性情以應(yīng)用到該視覺表不。為了生成表示物理空間中的目標(biāo)或物體的模型，捕捉設(shè)備可以捕捉該場景的深度圖像并且掃描該場景中的目標(biāo)或物體。目標(biāo)可以是該物理空間中的人類目標(biāo)，諸如用戶。因此，如本文所用的，應(yīng)當(dāng)理解目標(biāo)和用戶可以被可互換地使用。在一個實施例中，捕捉設(shè)備可以確定場景中的一個或多個目標(biāo)或物體是否對應(yīng)于諸如用戶等人類目標(biāo)。為了確定場景中的目標(biāo)或物體是否對應(yīng)于人類目標(biāo)，可對每個目標(biāo)進(jìn)行泛色填充并將其與人體模型的圖案作比較。然后可掃描匹配人體模型的每個目標(biāo)或物體來生成與其相關(guān)聯(lián)的骨架模型。例如，可掃描被標(biāo)識為人類的目標(biāo)來生成與其相關(guān)聯(lián)的骨架模型。然后可將該骨架模型提供給計算環(huán)境來跟蹤該骨架模型并呈現(xiàn)與該骨架模型相關(guān)聯(lián)的視覺表示。該計算環(huán)境可基于例如已被識別出并被映射到骨架模型的用戶的姿勢來確定在計算機環(huán)境上執(zhí)行的應(yīng)用中要執(zhí)行哪些控制。因此，可顯示用戶反饋，諸如經(jīng)由屏幕上的化身，并且該用戶能夠通過在物理空間中作出姿勢來控制化身的運動。可以通過將視覺表示的移動映射到用戶在物理空間中的運動來控制視覺表示的運動。例如，該目標(biāo)可以是正在物理空間中運動或作出姿勢的人類用戶。該目標(biāo)的視覺表示可以是顯示在屏幕上的化身，而該化身的運動可以與該用戶的運動相對應(yīng)。物理空間中的運動可以被轉(zhuǎn)換成系統(tǒng)或應(yīng)用空間(諸如虛擬空間和/或游戲空間)中的控制。例如，用戶的運動可被跟蹤、建模并顯示，并且該用戶的姿勢可以控制操作系統(tǒng)或正在執(zhí)行的應(yīng)用的某些方面。用戶的姿勢可以被轉(zhuǎn)換成系統(tǒng)或應(yīng)用空間中的控制以將指示性情的屬性應(yīng)用到視覺表示。所捕捉的運動可以是物理空間中由諸如相機之類的捕捉設(shè)備所捕捉的任何運動。 所捕捉的運動可包括物理空間中諸如用戶或物體之類的目標(biāo)的運動。所捕捉的運動可包括轉(zhuǎn)換成操作系統(tǒng)或應(yīng)用中的控制的姿勢。運動可以是動態(tài)的，如奔跑運動，或者運動可以是靜態(tài)的，例如以很少的移動擺姿態(tài)的用戶。本文描述的用于傳達(dá)用戶的態(tài)度和情緒的面部和身體識別的系統(tǒng)、方法和組件可以體現(xiàn)在諸如游戲控制臺之類的多媒體控制臺中、或者期望顯示目標(biāo)的視覺表示的任何其他計算設(shè)備中，作為示例但非限制，這些其他計算設(shè)備包括衛(wèi)星接收機、機頂盒、電子游戲機、個人計算機(PC)、便攜式電話、個人數(shù)字助理(PDA)、以及其他手持式設(shè)備。圖1示出了目標(biāo)識別、分析和跟蹤系統(tǒng)10的配置的示例實施例，該目標(biāo)識別、分析和跟蹤系統(tǒng)10可以采用將用戶的特性應(yīng)用到視覺表示的技術(shù)。在該示例實施例中，用戶18 正在玩拳擊游戲。在一示例實施例中，系統(tǒng)10可以識別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)。系統(tǒng)10可以收集與物理空間中用戶的運動、面部表情、身體語言、情緒等相關(guān)的信息。例如，系統(tǒng)可以標(biāo)識并掃描人類目標(biāo)18。系統(tǒng)10可以使用身體姿態(tài)識別技術(shù)來標(biāo)識人類目標(biāo)18的性情。例如，如果用戶18很懶散，將其雙手折疊在其胸上，并且通過沒精打采地運動來使他的頭向一側(cè)運動，系統(tǒng)10可標(biāo)識用戶18的身體部位以及它們?nèi)绾我苿印?系統(tǒng)10可將該運動與情緒、心情、態(tài)度、表情等的庫相比較以解釋該用戶的性情。如圖1所示，目標(biāo)識別、分析和跟蹤系統(tǒng)10可包括計算環(huán)境12。計算環(huán)境12可以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例實施例，計算環(huán)境12可包括硬件組件和 /或軟件組件，使得計算環(huán)境12可用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等之類的應(yīng)用。如圖1所示，目標(biāo)識別、分析和跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20例如可以是相機，該相機可用于在視覺上監(jiān)視諸如用戶18之類的一個或多個用戶，使得可以捕捉、分析和跟蹤所述一個或多個用戶所執(zhí)行的姿勢以執(zhí)行應(yīng)用中的一個或多個控制或動作，這將在下面更詳細(xì)地描述。根據(jù)一個實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18之類的用戶提供游戲或應(yīng)用視覺和/或音頻的視聽設(shè)備16，如電視機、監(jiān)視器、高清電視機(HDTV) 等。例如，計算環(huán)境12可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從計算環(huán)境12接收視聽信號，并且然后可向用戶18輸出與該視聽信號相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個實施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI 電纜、DVI電纜、VGA電纜等連接到計算環(huán)境12。如圖1所示，目標(biāo)識別、分析和跟蹤系統(tǒng)10可用于識別、分析和/或跟蹤諸如用戶 18之類的人類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，使得可將用戶18的移動解釋為可用于影響由計算機環(huán)境12執(zhí)行的應(yīng)用的控制。因而，根據(jù)一個實施例，用戶18可移動他或她的身體來控制應(yīng)用。系統(tǒng)10可以跟蹤用戶的身體以及用戶的身體所作的運動，包括控制諸如應(yīng)用、操作系統(tǒng)等系統(tǒng)的各方面的姿勢。該系統(tǒng)可以比較用戶的身體姿態(tài)、面部表情、聲音表達(dá)及語調(diào)、針對性的注視等以確定用戶的性情或態(tài)度并將該性情或態(tài)度的特性應(yīng)用到該化身。系統(tǒng)10可以將到捕捉設(shè)備20的輸入翻譯成動畫，該輸入表示用戶的運動，使得該動畫由該輸入來驅(qū)動。因此，用戶的運動可以映射到視覺表示40，使得用戶在物理空間中的運動由該化身40來執(zhí)行。用戶的運動可以是適用于應(yīng)用中的控制的姿勢。如圖1所示，在示例實施例中，在計算環(huán)境12上執(zhí)行的應(yīng)用可以是用戶18可能正在玩的拳擊游戲。計算環(huán)境12可以使用視聽設(shè)備16來提供用戶18可通過他的或她的移動來控制的玩家化身40的視覺表示。例如，用戶18可在物理空間中揮拳猛擊，這使得玩家化身40 在游戲空間中揮拳猛擊。玩家化身40可以具有由捕捉設(shè)備20所標(biāo)識出的用戶的特性，或者系統(tǒng)10可以針對映射到用戶運動的視覺表示使用知名拳擊運動員的特征或描繪專業(yè)拳擊運動員的體格。系統(tǒng)10可以跟蹤用戶，并且可基于物理空間中用戶可檢測的特征來修改用戶化身的特性。計算環(huán)境12還可以使用視聽設(shè)備16來向用戶18提供拳擊對手38的視覺表示。根據(jù)一示例實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)10的計算機環(huán)境12和捕捉設(shè)備20 可用于識別和分析用戶18在物理空間中的出拳，使得該出拳可被解釋為對游戲空間中的玩家化身40的游戲控制。多個用戶可以從遠(yuǎn)程位置彼此交互。例如，拳擊對手38的視覺表示可以表示另一個用戶，諸如用戶18的物理空間中的第二用戶或第二物理空間中的聯(lián)網(wǎng)用戶。用戶18的其他移動也可被解釋為其他控制或動作，諸如上下快速擺動、閃避、滑步、格擋、直拳或揮出各種不同力度的拳等控制。此外，一些移動可被解釋成可以與除控制玩家化身40之外的動作相對應(yīng)的控制。例如，玩家可以使用移動來結(jié)束、暫?；虮４嬗螒颉?選擇級別、查看高分、與朋友交流等。另外，用戶18的全范圍運動可以以任何合適的方式來獲得、使用和分析以與應(yīng)用進(jìn)行交互。在各示例實施例中，諸如用戶18之類的人類目標(biāo)可以具有物體。在這樣的實施例中，電子游戲的用戶可以手持物體，使得可以使用玩家和物體的運動來調(diào)整和/或控制游戲的參數(shù)。例如，可以跟蹤并利用手持球拍的玩家的運動來控制電子運動游戲中的屏幕上球拍。在另一示例實施例中，可以跟蹤并利用手持物體的玩家的運動來控制電子格斗游戲中的屏幕上武器。用戶的姿勢或運動可以被解釋成可以與除控制玩家化身40之外的動作相對應(yīng)的控制。例如，玩家可以使用移動來結(jié)束、暫?；虮４嬗螒?、選擇級別、查看高分、與朋友交流等。玩家可使用移動來將指示性情的屬性應(yīng)用到用戶的視覺表示。操作系統(tǒng)和/或應(yīng)用的基本上任何可控方面都可以通過諸如用戶18之類的目標(biāo)的移動來控制。根據(jù)其他示例性實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)10可以解釋目標(biāo)移動以用于控制游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用的各方面。將用戶的特征應(yīng)用到視覺表示或?qū)τ脩舻哪承┣榫w或態(tài)度的檢測可以是能夠由用戶的姿勢控制或從用戶的姿勢識別的操作系統(tǒng)和/或應(yīng)用的一方面。例如，用戶的手交叉折疊在他或她的胸前的姿勢可以是被識別為沮喪的心情的姿勢。系統(tǒng)對指示用戶很沮喪的姿勢以及用戶的表情(諸如皺眉)的識別可以導(dǎo)致反映沮喪性情的視覺表示。用戶的姿勢可以是適用于操作系統(tǒng)、游戲的非游戲方面、或非游戲應(yīng)用的控制。用戶的姿勢可被解釋成物體操縱，比如控制用戶界面。例如，考慮具有從左向右垂直排列的葉片(blades)或選項卡式界面的用戶界面，其中對每個葉片或選項卡的選中將打開應(yīng)用或系統(tǒng)內(nèi)的各種控制的選項。該系統(tǒng)可以標(biāo)識出用戶的移動選項卡的手姿勢，其中物理空間中的用戶的手虛擬地與應(yīng)用空間中的選項卡對齊。包括暫停、抓取運動以及然后的手向左掃動在內(nèi)的姿勢可被解釋成對選項卡的選中、以及然后將其移開以打開下一選項卡。圖2示出了可用于目標(biāo)識別、分析和跟蹤的捕捉設(shè)備20的示例性實施例，其中該目標(biāo)可以是用戶或物體。根據(jù)一示例實施例，捕捉設(shè)備20可以被配置成經(jīng)由例如包括飛行時間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來捕捉可包括深度圖像的具有深度信息的視頻，該深度信息可包括深度值。根據(jù)一個實施例，捕捉設(shè)備20可以將所計算的深度信息組織成“Z層”，或與從深度相機沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像相機組件22。根據(jù)一個示例性實施例，圖像相機組件22可以是可捕捉場景的深度圖像的深度相機。深度圖像可以包括所捕捉場景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可表示深度值，比如例如以厘米、 毫米等為單位的、所捕捉場景中的物體距相機的長度或距離。如圖2所示，根據(jù)一示例性實施例，圖像相機組件22可以包括可用于捕捉場景的深度圖像的頂光組件24、三維(3-D)相機沈、和RGB相機觀。例如，在飛行時間分析中，捕捉設(shè)備20的頂光組件M可將紅外光發(fā)射到場景上，并且隨后可使用傳感器(未示出)、用例如3-D相機沈和/或RGB相機28來檢測從場景中的一個或多個目標(biāo)和物體的表面反向散射的光。在一些實施例中，可使用脈沖紅外光，從而可測量出射光脈沖和相應(yīng)入射光脈沖之間的時間差，并且將其用于確定從捕捉設(shè)備20到場景中的目標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實施例中，可將出射光波的相位與入射光波的相位作比較來確定相移。該相移隨后可用于確定從捕獲設(shè)備20到目標(biāo)或物體上特定位置的物理距離。根據(jù)另一示例實施例，飛行時間分析可用于通過經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)來隨時間分析反射光束的強度來間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例實施例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在這一分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如頂光組件M被投影到場景上。在落到場景中的一個或多個目標(biāo)或物體的表面時，作為響應(yīng)，圖案可變形。圖案的此類變形可被例如3-D相機沈和/或RGB相機觀捕捉，并且隨后可被分析以確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一實施例，捕捉設(shè)備20可包括兩個或更多個物理上分開的相機，這些相機可從不同角度查看場景來獲得可被解析以生成深度信息的視覺立體數(shù)據(jù)。捕捉設(shè)備20還可包括話筒30或話筒陣列。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號的變換器或傳感器。根據(jù)一個實施例，話筒30可用于減少目標(biāo)識別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20和計算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。在一示例實施例中，捕捉設(shè)備20還可包括可與圖像相機組件22有效通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。捕捉設(shè)備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行
8的指令、3-D相機沈或RGB相機28所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等等。根據(jù)一個示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器 (ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖2所示，在一個實施例中， 存儲器組件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨的組件。根據(jù)另一實施例，存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計算環(huán)境12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等的無線連接。根據(jù)一個實施例，計算環(huán)境12 可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時鐘，可以使用該時鐘來確定何時捕捉例如場景。另外，捕捉設(shè)備20可以通過通信鏈路36向計算環(huán)境12提供深度信息和由例如 3-D相機沈和/或RGB相機觀捕捉到的圖像，以及可以由捕捉設(shè)備20生成的骨架模型。 計算環(huán)境12然后可使用該骨架模型、深度信息和捕捉的圖像來例如控制例如游戲或文字處理程序之類的應(yīng)用。例如，如圖2所示，計算環(huán)境12可包括姿勢庫190。如圖所示，在圖2中，計算環(huán)境12可包括姿勢庫190和姿勢識別引擎192。姿勢識別引擎192可包括姿勢過濾器191的集合。過濾器可包括可識別姿勢或以其他方式處理深度、RGB或骨架數(shù)據(jù)的代碼和相關(guān)聯(lián)的數(shù)據(jù)。每一過濾器191可包括定義姿勢以及該姿勢的參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后到身體前方的運動的投擲可被實現(xiàn)為包括表示用戶的一只手從身體背后到身體前方的移動的信息的姿勢過濾器191，該移動將由深度相機來捕捉。隨后可為該姿勢設(shè)定參數(shù)。在姿勢是投擲的情況下，參數(shù)可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(絕對的，或相對于用戶的整體大小)、以及識別器引擎對發(fā)生了該姿勢的置信評級。用于姿勢的這些參數(shù)可隨時間在各應(yīng)用之間、在單個應(yīng)用的各個上下文之間、或在一個應(yīng)用的一個上下文內(nèi)變化。盡管構(gòu)想了姿勢識別弓I擎可包括姿勢過濾器的集合，其中過濾器可包括表示用于處理深度、RGB或骨架數(shù)據(jù)的代碼或以其他方式表示用于進(jìn)行這樣的處理的組件，但對過濾器的使用不旨在將分析限于過濾器。過濾器是分析系統(tǒng)所接收的場景的數(shù)據(jù)，并將該數(shù)據(jù)與表示姿勢的基本信息進(jìn)行比較的示例組件或代碼部分的表示。作為分析的結(jié)果，系統(tǒng)可產(chǎn)生對應(yīng)于輸入數(shù)據(jù)是否對應(yīng)于姿勢的輸出。表示姿勢的基本信息可被調(diào)整為對應(yīng)于代表用戶的捕捉運動的數(shù)據(jù)歷史中重復(fù)出現(xiàn)的特征。例如，基本信息可以是如上所述的姿勢過濾器的一部分。但是，構(gòu)想了任何合適的用于分析輸入數(shù)據(jù)和姿勢數(shù)據(jù)的方式。姿勢可被識別為性情身份(identity)姿勢。在一示例實施例中，物理空間中的運動可以表示被識別為將特定性情的屬性應(yīng)用到目標(biāo)的視覺表示的的請求的姿勢。多個姿勢各自可表示特定的性情身份姿勢。因此，用戶能夠通過在物理空間中作出被識別為性情身份姿勢的姿勢來控制該視覺表示的形式。例如，如上所述，可以將用戶的運動與姿勢過濾器 (諸如來自圖2的姿勢過濾器191)進(jìn)行比較。該姿勢過濾器191可以包括來自姿勢庫190 中的各性情身份姿勢196的性情身份姿勢的信息。多個性情身份姿勢中各自可表示具有要被應(yīng)用到屏幕上的視覺表示的屬性的性情。例如，“激動的”身份姿勢可以從用戶的運動的身份識別，該用戶運動包括用戶雙手舉在空中的同時跳上跳下的運動。結(jié)果可以是將屬性(被直接映射到用戶的運動和/或除了用戶的運動之外還有動畫)應(yīng)用到用戶的視覺表示。
可以將由相機沈、觀和設(shè)備20以骨架模型及與之相關(guān)聯(lián)的移動的形式捕捉的數(shù)據(jù)與姿勢庫190中的姿勢過濾器191進(jìn)行比較，以標(biāo)識(如由骨架模型所表示的)用戶何時執(zhí)行了一個或多個姿勢。由此，對諸如過濾器191等過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)，像在關(guān)節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。如所提到的，可為姿勢設(shè)置參數(shù)。來自過濾器191 的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及姿勢發(fā)生的時間等內(nèi)容。計算環(huán)境12可包括處理器195，處理器195可處理深度圖像來確定場景中有什么目標(biāo)，如房間中的用戶18或物體。這可例如通過將深度圖像中共享相似距離值的像素分組在一起來實現(xiàn)。該圖像也可被解析以產(chǎn)生用戶的骨架表示，其中標(biāo)識例如關(guān)節(jié)和各關(guān)節(jié)之間的組織等特征。存在骨架映射技術(shù)，其使用深度相機來捕捉個人，并從中確定該用戶骨架上的多個點，手、腕、肘、膝、鼻、踝、肩的關(guān)節(jié)，以及骨盆與脊椎相交之處。其他技術(shù)包括將圖像轉(zhuǎn)換為人的人體模型表示以及將圖像轉(zhuǎn)換為人的網(wǎng)格模型表示。在一實施例中，處理是在捕捉設(shè)備20本身上執(zhí)行的，且深度和色彩(其中捕捉設(shè)備20包括3D相機26)值的原始圖像數(shù)據(jù)經(jīng)由鏈路36被發(fā)送到計算環(huán)境12。在另一實施例中，處理由耦合到相機402的處理器32來執(zhí)行，然后經(jīng)解析的圖像數(shù)據(jù)被發(fā)送到計算環(huán)境12。在又一實施例中，原始圖像數(shù)據(jù)和經(jīng)解析的圖像數(shù)據(jù)兩者均被發(fā)送到計算環(huán)境12。 計算環(huán)境12可接收經(jīng)解析的圖像，但是它仍可接收原始數(shù)據(jù)來執(zhí)行當(dāng)前過程或應(yīng)用。例如，如果場景的圖像通過計算機網(wǎng)絡(luò)發(fā)送到另一用戶，則計算環(huán)境12可發(fā)送供另一計算環(huán)境處理的原始數(shù)據(jù)。計算環(huán)境12可使用姿勢庫190來解釋骨架模型的移動并基于該移動來控制應(yīng)用。 計算環(huán)境12可對用戶的表示進(jìn)行建模和顯示，例如采用諸如顯示設(shè)備193之類的顯示器上的化身或指針的形式。顯示設(shè)備193可包括計算機監(jiān)視器、電視機屏幕、或任何合適的顯示設(shè)備。例如，相機控制的計算機系統(tǒng)可捕捉用戶圖像數(shù)據(jù)，并在電視機屏幕上顯示映射到用戶的姿勢的用戶反饋。用戶反饋可被顯示為屏幕上的化身，如圖IA和IB中所示?；淼倪\動可直接通過將化身的移動映射到用戶的移動來控制。用戶的姿勢可以被解釋來控制應(yīng)用的某些方面。如上所述，可能期望將性情的屬性應(yīng)用到目標(biāo)的視覺表示。例如，用戶可能希望使用戶的視覺表示在屏幕上跳舞來指示用戶的快樂。用戶可以通過執(zhí)行特定的性情身份姿勢來發(fā)起這樣的屬性的應(yīng)用。根據(jù)一示例實施例，目標(biāo)可以是諸如站著或坐著等處于任何姿態(tài)的人類目標(biāo)、具有物體的人類目標(biāo)、兩個或更多人類目標(biāo)、一個或多個人類目標(biāo)的一個或多個附件等，目標(biāo)可被掃描、跟蹤、建模和/或評估來生成虛擬屏幕，將用戶與一個或多個所存儲的簡檔進(jìn)行比較和/或在諸如計算環(huán)境12等計算環(huán)境中存儲關(guān)于目標(biāo)的簡檔信息198。簡檔信息198 可以采用用戶簡檔、個人簡檔、應(yīng)用簡檔、系統(tǒng)簡檔的形式，或用于存儲數(shù)據(jù)以供稍后訪問的任何其他合適的方法。簡檔信息198可以經(jīng)由應(yīng)用來訪問，或者可以是例如系統(tǒng)范圍可用的。簡檔信息198可包括用于加載特定用戶簡檔信息的查找表。虛擬屏幕可與可由以上關(guān)于圖1A-1B描述的計算環(huán)境12執(zhí)行的應(yīng)用進(jìn)行交互。根據(jù)各示例實施例，查找表可包括用戶專用簡檔信息。在一個實施例中，諸如計算環(huán)境12等計算環(huán)境可在查找表中包括關(guān)于一個或多個用戶的所存儲的簡檔數(shù)據(jù)198。所存儲的簡檔數(shù)據(jù)198可包括目標(biāo)的所掃描的或所估計的身體大小、骨架模型、身體模型、語音樣本或口令、目標(biāo)年齡、先前的姿勢、目標(biāo)限制、以及目標(biāo)對系統(tǒng)的標(biāo)準(zhǔn)使用，諸如，例如坐、慣用左手或慣用右手的趨勢，或站在非?？拷蹲皆O(shè)備之處的趨勢等。該信息可用于確定在捕捉場景中的目標(biāo)與一個或多個用戶簡檔198之間是否有匹配，在一個實施例中，該匹配可允許系統(tǒng)使虛擬屏幕適應(yīng)于用戶，或根據(jù)簡檔198來調(diào)整計算或游戲體驗的其他元
ο—個或多個個人簡檔198可被存儲在計算機環(huán)境12中，并在多個用戶會話中使用，或者一個或多個個人簡檔可僅為單個會話而創(chuàng)建。用戶可以有建立簡檔的選項，其中他們可向系統(tǒng)提供信息，諸如語音或身體掃描、年齡、個人偏好、慣用右手或左手、化身、姓名等。還可以為除步入捕捉空間以外不向系統(tǒng)提供任何信息的“訪客”提供個人簡檔?？梢詾橐粋€或多個訪客建立臨時的個人簡檔。在訪客會話結(jié)束時，可以存儲或刪除訪客個人簡檔。姿勢庫190、姿勢識別引擎192、以及簡檔198可以用硬件、軟件或兩者的組合來實現(xiàn)。例如，姿勢庫190和姿勢識別引擎192可被實現(xiàn)為在計算環(huán)境12的諸如處理器195等處理器上(或在圖3的處理單元101或圖4的處理單元259上)執(zhí)行的軟件。要強調(diào)的是，以下描述的圖2和圖3-4中描繪的框圖是示例性的，且不旨在暗示一具體實現(xiàn)。由此，圖1的處理器195或32、圖3的處理單元101、和圖4的處理單元259可被實現(xiàn)為單個處理器或多個處理器。多個處理器可以分布式或集中式地定位。例如，姿勢庫190可被實現(xiàn)為在捕捉設(shè)備的處理器32上執(zhí)行的軟件，或者它可被實現(xiàn)為在計算環(huán)境12 中的處理器195上執(zhí)行的軟件。構(gòu)想了適用于執(zhí)行此處公開的技術(shù)的處理器的任意組合。 多個處理器可無線地、經(jīng)由硬連線、或以其組合來通信。此外，如此處所使用的，計算環(huán)境12可以指的是單個計算設(shè)備或計算系統(tǒng)。計算環(huán)境可包括非計算組件。計算環(huán)境可包括顯示設(shè)備，如圖2所示的顯示設(shè)備193。顯示設(shè)備可以是與計算環(huán)境分開但與其耦合的實體，或者顯示設(shè)備可以是例如進(jìn)行處理和顯示的計算設(shè)備。由此，計算系統(tǒng)、計算設(shè)備、計算環(huán)境、計算機、處理器或其他計算組件可被互換地使用。姿勢庫和過濾器參數(shù)可由姿勢工具為應(yīng)用或應(yīng)用的上下文來調(diào)節(jié)。上下文可以是文化上下文，并且可以是環(huán)境上下文。文化上下文指的是使用系統(tǒng)的用戶的文化。不同的文化可使用相似的姿勢來賦予顯著不同的含義。例如，希望叫另一個用戶“看”或“使用他的眼睛”的美國用戶可將他的食指放在他頭上靠近他的眼睛的遠(yuǎn)端處。然而，對意大利用戶而言，該姿勢可被解釋為對黑手黨的引用。類似地，在單個應(yīng)用的不同環(huán)境之中可能有不同的上下文。以涉及操作摩托車的第一用戶射擊游戲為例。當(dāng)用戶在走路時，將手指朝向地面握拳并向前且從身體向外伸出拳頭可表示出拳姿勢。當(dāng)用戶在駕駛上下文中時，相同的運動可表示“換擋”姿勢。關(guān)于對視覺表示的修改，不同的姿勢可依賴于環(huán)境而觸發(fā)不同的修改。不同的修改觸發(fā)姿勢可用于進(jìn)入相對于系統(tǒng)范圍修改模式的應(yīng)用專用修改模式。每個修改模式可以與對應(yīng)于該修改模式的獨立的姿勢集包裝在一起，作為修改觸發(fā)姿勢的結(jié)果而進(jìn)入。例如，在保齡球游戲中，揮動手臂運動可以是被標(biāo)識為揮動保齡球以便向下釋放到虛擬保齡球道的姿勢。然而，在另一個應(yīng)用中，揮動手臂運動可以是被標(biāo)識為請求延長屏幕上所顯示的用戶化身的手臂的姿勢。可能還有一個或多個菜單環(huán)境，其中用戶可保存他的游戲、在他的角色的裝備之間選擇或執(zhí)行類似的不包括直接玩游戲的動作。在該環(huán)境中，該游戲姿勢可具有第三個含義， 如選擇某樣?xùn)|西或前進(jìn)到另一屏幕。姿勢可被一起分組到的互補姿勢風(fēng)格包中，風(fēng)格包可能由該風(fēng)格的應(yīng)用使用。互補姿勢-或者如通常一起使用的那些姿勢中那樣是互補的，或者如一個姿勢的參數(shù)改變將改變另一姿勢的參數(shù)中那樣是互補的-被一起分組到風(fēng)格包中。這些包可被提供給應(yīng)用， 應(yīng)用可選擇至少其中一個。應(yīng)用可調(diào)節(jié)或修改姿勢或姿勢過濾器191的參數(shù)來最佳地適合應(yīng)用的獨特方面。當(dāng)調(diào)節(jié)該參數(shù)時，也調(diào)節(jié)該姿勢或第二姿勢的第二互補參數(shù)(在相互依賴的意義上)使得這些參數(shù)保持互補。用于視頻游戲的風(fēng)格包可包括諸如第一用戶射擊、 動作、駕駛和體育等風(fēng)格。圖3示出了可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢的計算環(huán)境的示例實施例。上面參考圖1A-2所描述的諸如計算環(huán)境12等計算環(huán)境可以是諸如游戲控制臺等多媒體控制臺100。如圖3所示，多媒體控制臺100具有含有一級高速緩存102、 二級高速緩存104和閃存ROM(只讀存儲器)106的中央處理單元(CPU) 101。一級高速緩存 102和二級高速緩存104臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPU 101可被設(shè)置成具有一個以上的內(nèi)核，并且由此具有附加的一級和二級高速緩存102和104。閃存ROM 106可存儲在多媒體控制臺100通電時引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸送到視頻編碼器/視頻編解碼器114。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲器112，諸如但不局限于RAM(隨機存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142(1)-142(2), 無線適配器148、以及外置存儲器設(shè)備146(例如，閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等)的主機。網(wǎng)絡(luò)接口 1 和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器 144，并且其可包括DVD/CD驅(qū)動器、硬盤驅(qū)動器，或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器 144可內(nèi)置或外置于多媒體控制臺100。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器144訪問，以供多媒體控制臺100執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接(例如 IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。CPU 101、GPU 108、存儲器控制器110、以及多媒體控制臺100內(nèi)的各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺100通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和 /或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到在多媒體控制臺100上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器144啟動或播放，以將附加功能提供給多媒體控制臺100。多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺100還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可以包括存儲器保留(例如，16MB)、CPU和GPU周期保留(例如，5% )、網(wǎng)絡(luò)帶寬保留(例如，SlAs)等。因為這些資源是在系統(tǒng)引導(dǎo)時保留的，所以所保留的資源從應(yīng)用的角度而言是不存在的。具體而言，存儲器保留優(yōu)選地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動程序。CPU保留優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率和引起TV重新同步。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識作為系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPU 101上運行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺上運行的游戲應(yīng)用所引起的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時，由于時間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用的音頻水平(例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)
13備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點。應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，并且驅(qū)動程序維護(hù)有關(guān)焦點切換的狀態(tài)信息。相機26J8和捕捉設(shè)備20可為控制臺100定義附加輸入設(shè)備。圖4示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋一個或多個姿勢的計算環(huán)境220的另一示例實施例，該計算環(huán)境可以是圖1A-2所示的計算環(huán)境12。計算系統(tǒng)環(huán)境 220只是合適的計算環(huán)境的一個示例，并且不旨在對當(dāng)前公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在某些實施例中，所描繪的各種計算元素可包括被配置成實例化本發(fā)明的各具體方面的電路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。其他示例中，術(shù)語電路可包括由實施可用于執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實施例中，實施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機器可讀代碼。因為本領(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設(shè)計選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價的軟件進(jìn)程。因此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設(shè)計選擇并留給實現(xiàn)者。在圖4中，計算環(huán)境220包括計算機Ml，計算機241通常包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)可以是能由計算機241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計算機存儲介質(zhì)，如只讀存儲器(ROM) 223和隨機存取存儲器(RAM06O。包含諸如在啟動期間幫助在計算機Ml內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng) 224(BIOS)通常儲存儲在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。計算機241也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)。僅作為示例，圖4示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器 238，從可移動、非易失性磁盤2M中讀取或向其寫入的磁盤驅(qū)動器239，以及從諸如⑶ROM 或其他光學(xué)介質(zhì)等可移動、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動器M0?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器 238通常通過諸如接口 234之類的不可移動存儲器接口連接到系統(tǒng)總線221，并且磁盤驅(qū)動器239和光盤驅(qū)動器240通常通過諸如接口 235之類的可移動存儲器接口連接到系統(tǒng)總線 221。以上討論并在圖4中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機存儲介質(zhì)為計算機241提供了對計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖4中，例如，硬盤驅(qū)動器238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意， 這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，諸如鍵盤251和定點設(shè)備252——通常是指鼠標(biāo)、跟蹤球或觸摸墊——向計算機241輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。相機沈、觀和捕捉設(shè)備20可為控制臺100定義附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除了監(jiān)視器以外，計算機還可包括諸如揚聲器244和打印機243之類的其他外圍輸出設(shè)備，它們可通過輸出外圍接口 233來連接。計算機241可使用到一個或多個遠(yuǎn)程計算機(諸如，遠(yuǎn)程計算機M6)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計算機246可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點，并且通常包括許多或所有以上關(guān)于計算機241所描述的元件，但在圖4中僅示出了存儲器存儲設(shè)備M7。圖2中所描繪的邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN) M9，但還可包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、 內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)用于LAN網(wǎng)絡(luò)環(huán)境中時，計算機241通過網(wǎng)絡(luò)接口或適配器245連接到LAN 237。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對于計算機Ml 所示的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制，圖4示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲器設(shè)備247上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的， 并且可使用在計算機之間建立通信鏈路的其他手段。計算機可讀存儲介質(zhì)可以包括用于修改視覺表示的計算機可讀指令。該指令可包括用于呈現(xiàn)視覺表示、接收場景的數(shù)據(jù)、以及基于用戶的性情身份姿勢來修改視覺表示的指令，其中該數(shù)據(jù)包括表示物理空間中用戶的性情身份姿勢的數(shù)據(jù)，該性情身份姿勢是映射到用于將指示性情的屬性應(yīng)用到用戶的視覺表示的控制的姿勢。圖5A描繪了可從捕捉設(shè)備20所捕捉的圖像數(shù)據(jù)生成的用戶的示例骨架映射。在該實施例中，標(biāo)識出各個關(guān)節(jié)和骨骼每一手502、每一前臂504、每一肘506、每一二頭肌 508、每一肩510、每一髖512、每一大腿514、每一膝516、每一小腿518、每一足520、頭522、 軀干524、脊椎的頂部5 和底部528，以及腰530。在跟蹤更多點的情況下，可標(biāo)識出附加的特征，比如手指或腳趾的骨骼和關(guān)節(jié)，或面部的各個特征，如鼻和眼。用戶可通過移動他的身體創(chuàng)建姿勢。姿勢包括用戶的運動或姿態(tài)，其可被捕捉為圖像數(shù)據(jù)并解析其意義。姿勢可以是動態(tài)的，包括運動，如模仿投球。姿勢可以是靜態(tài)姿態(tài)，如在一個人的軀干5M前面交叉握住他的前臂504。姿勢也可結(jié)合道具，如通過揮動仿制的劍。姿勢可包括多于一個身體部位，如拍雙手502，或是較微小的運動，如撅起一個人的嘴唇。用戶的姿勢可用作一般計算上下文中的輸入。例如，手502或其他身體部位的各種運動可對應(yīng)于常見的系統(tǒng)級任務(wù)，如在分層列表中向上或向下導(dǎo)航、打開文件、關(guān)閉文件和保存文件。例如，用戶能以手指向上指且掌心面向捕捉設(shè)備20來使他的手保持不動。他然后可以將手指朝向手掌收攏來形成拳頭，并且這可以是指示基于窗口的用戶界面計算環(huán)境中的焦點窗口應(yīng)被關(guān)閉的姿勢。姿勢也可在視頻游戲?qū)Ｓ蒙舷挛闹腥Q于游戲來使用。 例如，對于駕駛游戲，手502和腳520的各種運動可對應(yīng)于在一方向上操控車輛、換擋、加速和剎車。由此，姿勢可指示映射到所顯示的用戶表示的、在諸如視頻游戲、文本編輯器、文字處理、數(shù)據(jù)管理等各種各樣應(yīng)用中的各種各樣的運動。用戶可通過在物理空間中原地行走或奔跑來生成對應(yīng)于行走或奔跑的姿勢。例如，用戶可另選地提起并放下每一腿512-520來在不移動的情況下模擬行走。系統(tǒng)可通過分析每一髖512和每一大腿514來解析該姿勢。當(dāng)一個髖部-大腿角(如相對于垂直線測量的，其中站立的腿具有0°的髖部-大腿角，而向前水平伸展的腿具有90°的髖部-大腿角)超過相對于另一大腿的特定閾值時，可識別一步。行走或奔跑可在交替腿的某一數(shù)量的連續(xù)步之后被識別。兩個最近的步之間的時間可被認(rèn)為是一周期。在不滿足閾值角度達(dá)某一數(shù)量的周期之后，系統(tǒng)可確定行走或奔跑姿勢已停止。給定“行走或奔跑”姿勢，應(yīng)用可為與該姿勢相關(guān)聯(lián)的參數(shù)設(shè)定值。這些參數(shù)可包括上述閾值角度、發(fā)起行走或奔跑姿勢所需的步數(shù)、結(jié)束姿勢的沒有發(fā)生步的周期數(shù)、以及確定姿勢是行走還是奔跑的閾值周期?？熘芷诳蓪?yīng)于奔跑，因為用戶將快速地移動他的腿，而較慢的周期可對應(yīng)于行走。姿勢最初可以與一組默認(rèn)參數(shù)相關(guān)聯(lián)，應(yīng)用可用其自己的參數(shù)來覆蓋該組默認(rèn)參數(shù)。在這一場景中，不迫使應(yīng)用提供參數(shù)，而是應(yīng)用可改為使用一組允許在沒有應(yīng)用定義的參數(shù)的情況下識別姿勢的默認(rèn)參數(shù)。與姿勢有關(guān)的信息可被存儲用于預(yù)錄制的動畫的目的。存在可以與姿勢相關(guān)聯(lián)的各種輸出?？梢杂嘘P(guān)于姿勢是否正在發(fā)生的基線“是或否”。還可以有置信度水平，其對應(yīng)于用戶跟蹤的移動對應(yīng)于姿勢的可能性。這可以是范圍為0和1之間(包括端點)的浮點數(shù)的線性標(biāo)度。在接收該姿勢信息的應(yīng)用不能接受假肯定作為輸入時，它可僅使用那些具有高置信度水平，如至少0. 95的已識別的姿勢。在應(yīng)用必須識別姿勢的每一實例的情況下，即使以假肯定為代價，它可使用至少具有低得多的置信度水平的姿勢，如僅僅大于0.2的。姿勢可具有在兩個最近步之間的時間的輸出，并且在僅注冊了第一步的情況下，這可被設(shè)為保留值，如-1(因為任何兩步之間的時間必須為正)。姿勢也可具有關(guān)于在最近一步期間達(dá)到的最高大腿角的輸出。另一示例性姿勢是“腳跟提起跳”。在該姿勢中，用戶可通過將他的腳跟提離地面， 但保持他的腳趾著地來創(chuàng)建該姿勢。另選地，用戶可跳向空中，其中他的腳520完全離開地面。該系統(tǒng)可通過分析肩510、髖512和膝516的角度關(guān)系來解析該姿勢的骨架，以查看它們是否是等于直立的對齊位置。然后，可監(jiān)視這些點和較高5 和較低5 脊椎點來發(fā)現(xiàn)任何向上加速。足夠的加速組合可觸發(fā)跳躍姿勢。加速度與某一姿勢的足夠的組合可滿足轉(zhuǎn)變點的參數(shù)。給定該“腳跟提起跳”姿勢，應(yīng)用可為與該姿勢相關(guān)聯(lián)的參數(shù)設(shè)定值。參數(shù)可包括上述加速閾值，其確定用戶的肩510、髖512和膝516的某種組合必須向上移動多快來觸發(fā)該姿勢；以及肩510、髖512和膝516之間仍可觸發(fā)跳躍的最大對齊角。輸出可包括置信度水平，以及用戶在跳躍時的身體角度?；趯⒔邮兆藙莸膽?yīng)用的細(xì)節(jié)來為姿勢設(shè)定參數(shù)對于準(zhǔn)確地標(biāo)識姿勢而言是重要的。正確地標(biāo)識姿勢以及用戶的意圖極大地有助于創(chuàng)建積極的用戶體驗。應(yīng)用可以為與各種轉(zhuǎn)變點相關(guān)聯(lián)的參數(shù)設(shè)置值來標(biāo)識使用預(yù)錄制的動畫的點。轉(zhuǎn)變點可由各種參數(shù)來定義，如某一姿勢的標(biāo)識、速度、目標(biāo)或物體的角度、或其任何組合。如果轉(zhuǎn)變點至少部分地由某一姿勢的標(biāo)識來定義，則正確地標(biāo)識姿勢有助于提高轉(zhuǎn)變點的參數(shù)已被滿足的置信水平。對于姿勢的另一參數(shù)可以是移動的距離。在用戶的姿勢控制虛擬環(huán)境中的視覺表示的動作的情況下，化身可以是手臂離球的長度。如果用戶希望與該球交互并抓住它，則這可要求用戶伸展他的手臂502-510到全長同時作出抓握姿勢。在這一情形中，用戶僅部分地伸展他的手臂502-510的類似的抓握姿勢可能無法實現(xiàn)與球交互的結(jié)果。類似地，轉(zhuǎn)變點的參數(shù)可以是對抓握姿勢的標(biāo)識，其中如果用戶僅部分地伸展他的手臂502-510，從而沒有實現(xiàn)與球交互的結(jié)果，則用戶的姿勢將不滿足轉(zhuǎn)變點的參數(shù)。姿勢或其一部分可將它必須在其中發(fā)生的空間體作為參數(shù)。在姿勢包括身體移動的情況下，該空間體通?？上鄬τ谏眢w來表達(dá)。例如，對于慣用右手的用戶的美式足球投擲姿勢可僅在不低于右肩510a、且與投擲手臂5(^a-310a在頭522的相同側(cè)的空間體中識另O?？赡懿槐匾x空間體的所有邊界，如對于該投擲姿勢，其中從身體向外的邊界留著不被定義，并且該空間體無限地向外延伸，或者延伸到正被監(jiān)視的場景的邊緣。圖5B提供了圖2的姿勢識別器引擎192的一個示例性實施例的進(jìn)一步細(xì)節(jié)。如圖所示，姿勢識別器引擎190可包括用于確定一個或多個姿勢的至少一個過濾器519。過濾器519包括定義姿勢526(以下稱為“姿勢”)的信息，并可包括用于該姿勢526的至少一個參數(shù)5 或元數(shù)據(jù)。例如，包括一只手從身體背后越過身體前方的運動的投擲可被實現(xiàn)為包括表示用戶的一只手從身體背后越過身體前方的移動的信息的姿勢526，該移動將由深度相機來捕捉。然后可為該姿勢5 設(shè)定參數(shù)528。在姿勢5 是投擲的情況下，參數(shù)528 可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(絕對的，或相對于用戶的整體大小)、以及識別器引擎192對發(fā)生姿勢526的置信度評級。姿勢5 的這些參數(shù)5 可以在各應(yīng)用之間、在單個應(yīng)用的各上下文之間、或在一個應(yīng)用的一個上下文內(nèi)隨著時間而變化。過濾器可以是模塊化的或是可互換的。在一實施例中，過濾器具有多個輸入和多個輸出，這些輸入中的每一個具有一類型，這些輸出中的每一個具有一類型。在這一情形中，第一過濾器可用具有與第一過濾器相同數(shù)量和類型的輸入和輸出的第二過濾器來替換而不更改識別器引擎190體系結(jié)構(gòu)的任何其他方面。例如，可能具有用于駕駛的第一過濾器，該第一過濾器將骨架數(shù)據(jù)作為輸入并輸出與該過濾器相關(guān)聯(lián)的姿勢526正在發(fā)生的置信度和轉(zhuǎn)向角。在希望用第二駕駛過濾器來替換該第一駕駛過濾器的情況下(這可能是因為第二駕駛過濾器更高效且需要更少的處理資源)，可以通過簡單地用第二過濾器替換第一過濾器來這樣做，只要第二過濾器具有同樣的輸入和輸出一一骨架數(shù)據(jù)類型的一個輸入、以及置信度類型和角度類型的兩個輸出。過濾器不必具有參數(shù)528。例如，返回用戶的高度的“用戶高度”過濾器可能不允許可被調(diào)節(jié)的任何參數(shù)。備選的“用戶高度”過濾器可具有可調(diào)節(jié)參數(shù)，比如在確定用戶的高度時是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)，像在關(guān)節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。來自過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運動的速度、以及作出姿勢運動的時間等內(nèi)容。上下文可以是文化上下文，并且可以是環(huán)境上下文。文化上下文指的是使用系統(tǒng)的用戶的文化。不同的文化可使用相似的姿勢來賦予顯著不同的含義。例如，希望叫另一個用戶“看”或“使用他的眼睛”的美國用戶可將他的食指放在他頭上靠近他的眼睛的遠(yuǎn)端處。然而，對意大利用戶而言，該姿勢可被解釋為對黑手黨的引用。類似地，在單個應(yīng)用的不同環(huán)境之中可能有不同的上下文。以涉及操作摩托車的第一人稱射擊游戲為例。當(dāng)用戶在走路時，將手指朝向地面握拳并向前且從身體向外伸出拳頭可表示出拳姿勢。當(dāng)用戶在駕駛上下文中時，相同的運動可表示“換擋”姿勢?？赡苓€有一個或多個菜單環(huán)境，其中用戶可保存他的游戲、在他的角色的裝備之間選擇或執(zhí)行類似的不包括直接玩游戲的動作。在該環(huán)境中，該游戲姿勢可具有第三個含義，如選擇某樣?xùn)|西或前進(jìn)到另一屏幕。姿勢識別器引擎190可具有向姿勢過濾器519提供功能的基本識別器引擎517。在一實施例中，識別器引擎517實現(xiàn)的功能包括跟蹤已識別的姿勢和其他輸入的隨時間輸入 (input-over-time)存檔、隱馬爾可夫模型實現(xiàn)(其中模型化系統(tǒng)被假定為具有未知參數(shù)的馬爾可夫過程-其中當(dāng)前狀態(tài)封裝了確定將來狀態(tài)所需的任何過去狀態(tài)信息，因此不必為此目的而維護(hù)任何其它過去狀態(tài)信息的過程，并且隱藏參數(shù)從可觀察到的數(shù)據(jù)來確定)、 以及求解姿勢識別的特定實例所需的其他功能。過濾器519在基本識別器引擎517之上加載并實現(xiàn)，并且可將引擎517提供的服務(wù)利用于所有過濾器519。在一實施例中，基本識別器引擎517處理所接收到的數(shù)據(jù)來確定它是否滿足任何過濾器519的要求。由于這些諸如解析輸入等所提供的服務(wù)是由基本識別器引擎517 —次性提供而非由每一過濾器519提供的，因此這一服務(wù)在一段時間內(nèi)只需被處理一次而不是在該時間段內(nèi)對每一過濾器519處理一次，由此減少了確定姿勢所需的處理。應(yīng)用可使用識別器引擎190所提供的過濾器519，或者它可提供其自己的過濾器 519，該過濾器被插入到基本識別器引擎517中。在一實施例中，所有過濾器519具有啟用該插入特性的通用接口。此外，所有過濾器519可利用參數(shù)528，因此可使用如下所述的單個姿勢工具來調(diào)試并調(diào)節(jié)整個過濾器系統(tǒng)519。這些參數(shù)5 可由姿勢工具521為應(yīng)用或應(yīng)用的上下文來調(diào)節(jié)。在一實施例中， 姿勢工具521包括多個滑塊523以及身體524的圖表示，每一滑塊523對應(yīng)于一參數(shù)528。 當(dāng)用相應(yīng)的滑塊523來調(diào)整參數(shù)528時，身體5M可展示將用這些參數(shù)5 被識別為姿勢的動作以及使用這些參數(shù)5 將不被識別為姿勢的動作，如所標(biāo)識的。姿勢的參數(shù)528的這一可視化提供了調(diào)試并細(xì)化調(diào)節(jié)姿勢的有效手段。圖6描繪了可包括捕捉設(shè)備608、計算設(shè)備610和顯示設(shè)備612的系統(tǒng)600。例如， 捕捉設(shè)備608、計算設(shè)備610和顯示設(shè)備612各自可包括執(zhí)行所需功能的任何合適的設(shè)備， 諸如參考圖1-5B所描述的設(shè)備。構(gòu)想了單個設(shè)備可以執(zhí)行系統(tǒng)600中的全部功能，或者合適的設(shè)備的任何組合可以執(zhí)行所需的功能。例如，計算設(shè)備610可以提供參考圖2所示的計算環(huán)境12或圖3中的計算機所描述的功能。如圖2所示，計算環(huán)境12可包括顯示設(shè)備和處理器。計算設(shè)備610還可包括其自身的相機組件，或者可以耦合到具有相機組件的設(shè)
18備，諸如捕捉設(shè)備608。在此示例中，深度相機608捕捉用戶602存在于其中的物理空間601中的場景。深度相機608處理深度信息，和/或向諸如計算機610等計算機提供深度信息。深度信息可被解釋以便顯示用戶602的視覺表示。例如，深度相機608或如所示的其耦合到的計算設(shè)備610可向顯示器612輸出。物理空間601中的用戶602的視覺表示可以采取任何形式，諸如動畫、角色、化身等。例如，目標(biāo)(諸如用戶602)的視覺表示最初可以是用戶601可將其雕刻為期望的形狀和大小的數(shù)字泥塑塊，或角色表示，如在顯示設(shè)備612上示出的猴子604。視覺表示可以是用戶602的特征與動畫或庫存模型的組合。視覺表示可以是與系統(tǒng)600或應(yīng)用一起提供的庫存模型。例如，用戶602可以從游戲應(yīng)用所提供的各種庫存模型中選擇。例如，在棒球游戲應(yīng)用中，用于可視地表示用戶602的選項可采取任何形式，從知名棒球運動員的表示、到一塊太妃糖或者大象、到幻想角色或符號，諸如光標(biāo)或手符號。庫存模型可以用該系統(tǒng)檢測到的用戶的特征進(jìn)行修改。視覺表示可以是對應(yīng)用特定的，諸如與程序包裝在一起，或者視覺表示可以是跨應(yīng)用可用的或在系統(tǒng)范圍內(nèi)可用的。圖6中示出的示例視覺表示，如在現(xiàn)實設(shè)備612上所示，是猴子角色603。雖然可以捕捉并顯示附加圖像數(shù)據(jù)幀，但圖6中描繪的幀是出于示例性的目的來選擇的。所捕捉并顯示的圖像數(shù)據(jù)幀的速率可確定所顯示的視覺表示的運動的連續(xù)性水平。還應(yīng)注意，替代的或附加的視覺表示可以與物理空間601中的另一目標(biāo)(諸如另一用戶或非人類物體) 相對應(yīng)，或者視覺表示可以是部分虛擬或完全虛擬的物體。系統(tǒng)600可捕捉有關(guān)物理空間601的信息，諸如深度信息、圖像信息、RGB數(shù)據(jù)等。 根據(jù)一個實施例，圖像數(shù)據(jù)可包括深度圖像或來自深度相機608和/或RGB相機的圖像，或者任何其他檢測器上的圖像。例如，相機608可處理圖像數(shù)據(jù)，并使用它來確定目標(biāo)的形狀、顏色和大小?？蓲呙枧c人類圖案(pattern)相匹配的每個目標(biāo)或物體以生成模型，諸如骨架模型、泛色模型、網(wǎng)格人類模型、或與其相關(guān)聯(lián)的模型。例如，如上所述，可使用深度信息來生成用戶的骨架模型(如圖5A中所示的)，其中該系統(tǒng)標(biāo)識用戶的身體部位(如頭和肢)。使用例如與人類目標(biāo)相關(guān)聯(lián)的多個觀察到的像素中的深度值和人類目標(biāo)的一個或多個方面的延伸范圍，如身高、頭寬、或肩寬等，可確定人類目標(biāo)的大小。系統(tǒng)600可以通過分析所捕捉的數(shù)據(jù)并將其轉(zhuǎn)換為骨架模型來跟蹤用戶的肢的移動。然后系統(tǒng)600可跟蹤該骨架模型并將每個身體部位的移動映射到該視覺表示的相應(yīng)部分。例如，如果用戶602揮舞他或她的手臂，則該系統(tǒng)可捕捉此運動并將其應(yīng)用到虛擬猴子603的手臂以使所述虛擬猴子也揮舞它的手臂。此外，系統(tǒng)600還通過評估用戶在單個捕捉數(shù)據(jù)幀中或在一系列幀中的位置來從用戶的運動標(biāo)識姿勢，并將該姿勢應(yīng)用到該視覺表不。系統(tǒng)可以使用諸如掃描數(shù)據(jù)、圖像數(shù)據(jù)或深度信息等所捕捉的數(shù)據(jù)來檢測特性。 可檢測的特性可包括系統(tǒng)600能夠檢測到的、與該用戶或物理空間相關(guān)的任何特性。例如， 可檢測特性可包括目標(biāo)特性(例如，用戶的面部特征、發(fā)色、語音分析等)、姿勢(即，由該用戶執(zhí)行并由系統(tǒng)600識別的姿勢)、歷史數(shù)據(jù)(諸如由該系統(tǒng)檢測并可被存儲的用戶趨勢數(shù)據(jù)之類的數(shù)據(jù))、應(yīng)用狀態(tài)(例如，游戲應(yīng)用中的失敗/成功)、或該系統(tǒng)能夠檢測的可指示用戶的性情或可用于推斷用戶的性情的任何其他特性。
該系統(tǒng)可分析一個或多個可檢測特性以推斷用戶的性情。推斷可以基于推論或假設(shè)，或者可以基于科學(xué)方法，諸如對性情和相關(guān)特性的研究的結(jié)果。因此，推斷可以基于對指示特定性情的典型特性的簡單分析、指示具體性情的姿勢的身份、可檢測特征與對心理學(xué)的深度分析的比較以及與各種性情相關(guān)的特性等等。目標(biāo)特性可包括可與特定用戶602相關(guān)聯(lián)的信息，諸如行為、語言模式、面部表情、骨架移動、說出的話語、歷史數(shù)據(jù)、語音識別信息等等。目標(biāo)特性可包括目標(biāo)的任何特征，諸如眼睛大小、類型和顏色；頭發(fā)長度、類型和顏色；膚色；服裝和服裝顏色。例如，可以基于對應(yīng)的RGB圖像來標(biāo)識顏色。關(guān)于人類目標(biāo)的其他目標(biāo)特性可包括，例如身高和/ 或臂長，并且可以基于例如身體掃描、骨架模型、用戶602在像素區(qū)域上的延伸范圍或任何其他合適的過程或數(shù)據(jù)來獲得。計算系統(tǒng)610可使用身體識別技術(shù)來解釋該圖像數(shù)據(jù)并且可以根據(jù)用戶602的附肢的大小、形狀和深度來確定用戶602的視覺表示的大小和形狀。如所述，系統(tǒng)600可從物理空間標(biāo)識包括對用戶的性情的指示的數(shù)據(jù)。例如，系統(tǒng) 600可以收集與物理空間中用戶的運動、面部表情、身體語言、情緒等相關(guān)的信息。系統(tǒng)10 可以使用身體姿態(tài)識別技術(shù)來幫助識別人類目標(biāo)18的情緒或性情。例如，系統(tǒng)600可以分析和跟蹤用戶的骨架模型以確定用戶如何移動。系統(tǒng)600可以跟蹤用戶的身體以及用戶的身體所作的運動，包括控制諸如應(yīng)用、操作系統(tǒng)等系統(tǒng)的各方面的姿勢。該系統(tǒng)可標(biāo)識用戶的身體姿態(tài)、面部表情、聲音表達(dá)和語調(diào)、針對性的注視等等。用戶的聲音表達(dá)可提供對用戶的性情的指示。例如，所使用的語言、語音的語調(diào)、音調(diào)、音量等等可傳達(dá)用戶的性情的感覺。例如，刺耳的語調(diào)可被解釋為憤怒或挑釁。其他語調(diào)可以是緊張的、常態(tài)的、呼吸急促的、輕聲的、嘰嘰喳喳的、冷靜的、激動的、快樂的或任何其他語調(diào)。因此，用戶的特性是用戶的性情的良好指示。該系統(tǒng)可將檢測到的用戶的目標(biāo)特性(如由系統(tǒng)600所捕捉的)中的至少一個應(yīng)用到該用戶的視覺表示。例如，系統(tǒng)可以檢測到用戶佩戴眼鏡以及穿一件紅色襯衫，系統(tǒng)可以將眼鏡和紅色襯衫應(yīng)用到在該示例中是用戶的視覺表示的虛擬猴子603。該系統(tǒng)可標(biāo)識用戶的面部移動，諸如用戶的眉毛的移動和/或皺眉或微笑表情。該系統(tǒng)可檢測用戶所說的話和用戶的語音的語調(diào)，或用戶的身體姿態(tài)等。例如，該系統(tǒng)可檢測人的右臂并具有區(qū)分上臂、下臂、四指、拇指、手指中的關(guān)節(jié)等的保真度。該系統(tǒng)可以能夠標(biāo)識與用戶的上臂和下臂相對應(yīng)的用戶的襯衫的顏色并將該顏色適當(dāng)?shù)貞?yīng)用到該視覺表示。該系統(tǒng)可以能夠標(biāo)識手指上的戒指或用戶的手上的紋身，并且基于該系統(tǒng)所生成的用戶的模型，將檢測到的目標(biāo)特性應(yīng)用到該視覺表示來模擬物理空間中的用戶的特征。該視覺表示可以看上去像用戶、像用戶一樣移動、穿著類似用戶的衣服的衣服等?？梢圆粚⒂稍撓到y(tǒng)檢測到并用來推斷用戶的性情的某些目標(biāo)特性直接應(yīng)用到該用戶，而是為了顯示的目的而進(jìn)行修改。用戶的特性可被修改為對應(yīng)于視覺表示的形式、應(yīng)用、應(yīng)用的狀態(tài)等。在該視覺表示是幻想角色的情況下，某些特性可以不直接映射到用戶的視覺表示。例如，可以向用戶的角色表示(如在顯示設(shè)備612上示出的猴子60 賦予身體比例，例如，該身體比例類似于用戶602，但是針對特定角色進(jìn)行了修改。猴子表示603可被賦予類似于用戶602的身高，但猴子的臂可能在比例上比用戶的臂更長。猴子604的手臂的移動可以對應(yīng)于用戶手臂的移動，如系統(tǒng)所標(biāo)識的，但是系統(tǒng)可以修改猴子手臂的動畫以反映猴子手臂移動的方式。
在圖6中示出的示例中，用戶正坐著，同時頭向側(cè)面傾斜，右肘放在膝上，而頭由用戶的右手支撐。用戶的面部表情、身體姿態(tài)、所說的話語、或任何其他可檢測的特性可被應(yīng)用到虛擬猴子603，并且如果合適的話可被修改。例如，用戶正在物理空間中皺眉。該系統(tǒng)檢測此面部表情并且將“皺眉”應(yīng)用到猴子以使得虛擬的猴子也在皺眉。此外，猴子坐在與用戶類似的位置，除非被修改以對應(yīng)于該位置中的猴子的身體類型和大小。類似地，該系統(tǒng)可以使用用戶的目標(biāo)特性來推斷用戶的性情，但是隨后將指示該性情但是可能或可能不直接映射到用戶的特性的屬性應(yīng)用到用戶的視覺表示系統(tǒng)600可以將檢測到的目標(biāo)特性與可能性情的庫進(jìn)行比較并且確定應(yīng)當(dāng)將什么屬性應(yīng)用到用戶的視覺表示。例如，如下面參考圖7和8進(jìn)一步描述地，計算機610可存儲具有性情信息的編譯的查找表。該查找表可包括特定的或一般的性情信息?？蓪⑺鶛z測到的特性與查找表進(jìn)行比較以推斷該用戶的性情。該分析可包括對檢測到的身體姿態(tài)、面部表情、聲音語調(diào)和話語、姿勢、歷史數(shù)據(jù)等等的比較。圖7示出推斷用戶的性情并選擇指示該性情的屬性以顯示與該性情相對應(yīng)的視覺表示的示例方法。例如，在702，該系統(tǒng)從包括用戶的物理空間接收數(shù)據(jù)。如上所述，捕捉設(shè)備可捕捉場景的數(shù)據(jù)，諸如場景的深度圖像，并掃描場景中的目標(biāo)。捕捉設(shè)備可以確定場景中的一個或多個目標(biāo)是否對應(yīng)于諸如用戶等人類目標(biāo)。然后可掃描匹配人體模型的每個目標(biāo)或物體來生成與其相關(guān)聯(lián)的骨架模型。然后可將該骨架模型提供給計算環(huán)境來跟蹤該骨架模型并呈現(xiàn)與該骨架模型相關(guān)聯(lián)的視覺表示。在704，該系統(tǒng)可呈現(xiàn)該用戶的視覺表示。例如，該視覺表示可以基于該模型。物理空間601中的目標(biāo)的視覺表示可以采取任何形式，諸如動畫、角色、化身等。該視覺表示可以最初是用戶602可將其雕刻為期望的形狀和大小的數(shù)字泥塑塊，或角色表示，如猴子 604。該視覺表示可以基于捕捉設(shè)備檢測到的用戶的特征來直接建模，或者它可以是具有用戶的選擇特征的幻想角色。視覺表示可以是用戶602的特征與動畫或庫存模型的組合。在706，該系統(tǒng)可以跟蹤該用戶并檢測該用戶的、指示該用戶的性情的特征。例如， 該系統(tǒng)可跟蹤用戶的面部表情和身體移動來標(biāo)識性情，然后應(yīng)用該性情以使得該化身反映該用戶的情緒。該系統(tǒng)可使用任何可檢測特征來評估用戶的性情以應(yīng)用到該視覺表示。該系統(tǒng)可在708分析檢測到的特征，并推斷用戶的性情。例如，該系統(tǒng)中的處理器可以存儲具有性情信息的查找表或數(shù)據(jù)庫。可以將檢測到的用戶的特征與數(shù)據(jù)庫或查找表中、指示各種性情的特征進(jìn)行比較。例如，該查找表可以定義指示“悲傷”性情的特征。這些特征可以是皺眉、哭泣、低沉的聲音語調(diào)、以及雙臂在胸前交叉。如果物理空間中的用戶的這些特征中的任何一個特征或所有特征被檢測到，則該處理器可推斷用戶正在呈現(xiàn)“悲傷”性情。查找表或數(shù)據(jù)庫例如可適用于應(yīng)用或者可以是系統(tǒng)范圍的。例如，游戲應(yīng)用可以定義指示了適用于該游戲的各種性情的特征。所定義的性情可以包括特定的和一般的性情并可以通過將一個或多個輸入(即，檢測到的特征)與定義每個性情的特征進(jìn)行比較來標(biāo)識性情。還應(yīng)注意，對查找表或數(shù)據(jù)庫的引用是示例性的，并且構(gòu)想了對與此處公開的技術(shù)相關(guān)的性情信息可以通過任何適合的方式來訪問、存儲、封裝、提供、生成等。作為替代或進(jìn)行組合，在710，該系統(tǒng)可以從針對該用戶所捕捉的數(shù)據(jù)中標(biāo)識性情請求姿勢。例如，用戶可以執(zhí)行請求將特定姿勢應(yīng)用到用戶的視覺表示的姿勢。在712，該系統(tǒng)可選擇要應(yīng)用到用戶的視覺表示的、反映從用戶的姿勢推斷或標(biāo)識的性情的屬性。適用于特定性情的屬性也可以位于查找表中或數(shù)據(jù)庫中。所選擇的屬性可以是捕捉設(shè)備檢測到的用戶的特征和/或所選擇的屬性可以是反映該性情的動畫。例如， 如果該系統(tǒng)推斷該用戶呈現(xiàn)指示“悲傷”性情的特征，則該查找表可指示會反映這種性情的各種動畫。該系統(tǒng)可選擇這些屬性中的任何屬性并將它們應(yīng)用到該用戶的視覺表示。在714將屬性應(yīng)用到視覺表示可以實時地進(jìn)行。因此，針對用戶的情緒或心情捕捉的數(shù)據(jù)，以及身體識別分析等，可以被實時地執(zhí)行并實時地應(yīng)用到用戶的視覺表示。因此用戶能夠看到用戶的情緒或性情的實時顯示。該系統(tǒng)可在716繼續(xù)隨著時間跟蹤物理空間中的用戶和任何運動，并在718將修改或更新應(yīng)用到該視覺表示以反映性情的變化。例如，更新可以是基于所檢測到的用戶的特征的變化以及歷史數(shù)據(jù)的。在任何時刻，捕捉設(shè)備可以標(biāo)識用戶的行為和特殊習(xí)慣、情緒、語言模式等等以確定用戶的性情，并且將這些應(yīng)用到用戶的視覺表示。更新可被實時地應(yīng)用到視覺表示。例如，可能期望系統(tǒng)捕捉用戶的表情并經(jīng)由視覺表示隨著時間模仿來反映用戶的性情。圖8描繪了可用于推斷用戶的性情的查找表800的示例。圖8中示出的示例性情查找表800包括可檢測特性的分類，諸如面部表情802、聲音語調(diào)804、聲音音量806、話語 808、身體姿態(tài)810、姿勢812、應(yīng)用結(jié)果814、以及歷史數(shù)據(jù)816。檢測到的特征或特性可以包括該系統(tǒng)可經(jīng)由捕捉設(shè)備捕捉其信息的物理空間中的任何特征，包括可檢測目標(biāo)特性、 應(yīng)用狀態(tài)等。查找表800中的分類是示例性的，因為任何數(shù)量和類型的分類可以是用戶的性情分析的一部分。例如，該分類還可包括檢測到的與其他用戶或物體的交互、對用戶正在穿著的衣服的類型的分析、用戶身體上的其他物品等?？梢詷?gòu)想，可以在對用戶的態(tài)度或性情的分析的一部分中使用的、可以由系統(tǒng)600以某種方式捕捉的用戶的任何可檢測的特征或特性都是可應(yīng)用的。圖表800中針對三個用戶示出了檢測到的特性的三個示例，其中行A、B、C各表示檢測到的特性。表的第一部分850表示在場景中捕捉的目標(biāo)的可檢測特性。表的第二部分 860表示其他可檢測特性，如用戶正在執(zhí)行的姿勢的標(biāo)識、應(yīng)用的狀態(tài)和應(yīng)用的結(jié)果、和/ 或?qū)υ撚脩艋蛟搼?yīng)用特定的歷史數(shù)據(jù)。表的最后一部分870表示作為對可用的可檢測特征的分析的結(jié)果，系統(tǒng)對用戶的性情的推斷。如所述，表800中的分類僅出于示例性的目的， 而可以或多或少地包括更多的可檢測特性。行A表示由該系統(tǒng)檢測到的特性的示例實施例。在行A中，該系統(tǒng)檢測到第一用戶具有包括皺眉的外部表情，該應(yīng)用的結(jié)果是失敗，該第一用戶的歷史數(shù)據(jù)顯示該用戶在失敗的結(jié)果之后皺眉的趨勢。系統(tǒng)對這些檢測到的特征的分析可以指示該第一用戶的性情是“大體消極的”。有可能的附加的可檢測特征會提供更具體的性情，但是通過可用的數(shù)據(jù)， 該系統(tǒng)推斷出更加一般的、大體消極的性情。關(guān)于第二用戶，通過行B中列舉的可檢測特性，該系統(tǒng)檢測到正在皺眉的面部表情、簡潔的聲音語調(diào)、音量很低、沒有話語，但是用戶的身體姿態(tài)包括向后傾斜的姿態(tài)、頭部垂向一側(cè)并且一只手支撐頭部。該系統(tǒng)可以從這些特征中確定用戶的性情是大體消極的或可能是無聊的、疲憊的、憤怒的、悲傷的等等。關(guān)于第二用戶，該系統(tǒng)還可檢測到輪到一不同用戶來在游戲應(yīng)用中玩了、該不同用戶的輪次已經(jīng)持續(xù)了很長時間，并且從對用戶的歷史數(shù)據(jù)的分析檢測到此用戶在這些情況下的性情趨勢。通過該數(shù)據(jù)，該系統(tǒng)可以確定第二用戶的性情不僅是大體消極的，而且具體是無聊的或不感興趣的。例如，當(dāng)?shù)诙脩舨皇怯螒驊?yīng)用中的活動用戶時，該系統(tǒng)可標(biāo)識第二用戶具有與“無聊的”性情相對應(yīng)的面部表情、語調(diào)、身體姿態(tài)等的趨勢。可以構(gòu)想，例如，皺眉的面部表情可以與許多性情相對應(yīng)。這些示例性情和指示在表800中示出的各特定性情中的每一個的特征僅僅是示例性的。每個可檢測特性可以用于將性情縮小到更具體的態(tài)度或心情，或者該系統(tǒng)可簡單地標(biāo)識一般的態(tài)度，諸如大體消極或積極的。在行C中示出的第三用戶的可檢測特性包括微笑的面部表情、大而歡樂的語調(diào)、 “耶”和“太棒了”的話語、以及包括手臂舉起來并跳上跳下的身體姿態(tài)。跳上跳下運動還可以指示可以適用于帶來第三用戶的成功游戲結(jié)果的應(yīng)用的姿勢。這些可檢測特性與用戶的歷史數(shù)據(jù)的比較還可以基于此信息來提供第三用戶的可能性情的指示。在本示例中，該系統(tǒng)基于可檢測特性來推斷用戶的性情是“激動”的性情。該系統(tǒng)可以簡單地將用戶的實際特性映射到該視覺表示。在其中視覺表示直接映射到用戶的檢測到的特征的示例實施例中，用戶的性情被該視覺表示固有地展示，因為該視覺表示反映用戶的檢測到的特征。然而，該視覺表示可以不總是用戶的直接表示，因此該系統(tǒng)可以將該性情修改為與該視覺表示的形式相對應(yīng)。在推斷了用戶的性情之后，系統(tǒng)可以確定要應(yīng)用到該用戶的視覺表示以反映該性情的適當(dāng)?shù)膭赢?。例如，圖6描繪了將用戶的面部表情、身體姿態(tài)等應(yīng)用到該用戶的視覺表示603， 該視覺表示603被修改以表示猴子角色的相應(yīng)特征。猴子在皺眉，但是猴子的嘴巴可以不是用戶的嘴巴的直接映射，相反該系統(tǒng)可將檢測到的皺眉以看上去像是猴子要皺眉的方式來應(yīng)用到虛擬猴子的嘴巴。將用戶的性情轉(zhuǎn)換到用戶的視覺表示可以采用許多形式并且可以包括任何數(shù)量的動畫。例如，如果用戶的視覺表示是“房屋”，則可能不能用面部特征使該房屋動畫化。因此，該系統(tǒng)可以通過將用戶的性情轉(zhuǎn)換成新形式來將該性情映射到該房屋。 例如，如果該系統(tǒng)檢測到該用戶具有“悲傷”的性情(基于用戶的面部表情或身體姿態(tài)來檢測的)，則該系統(tǒng)可以通過如下方式將該性情轉(zhuǎn)換到該房屋顯示虛擬房屋的虛擬窗口下垂，并使該房屋動畫化以使得它看上去腫起然后讓氣體從前門出去，從而賦予該房屋嘆氣了的外觀。。系統(tǒng)能夠基于檢測到的特性來推斷性情，該性情可以是用戶的心情或態(tài)度。性情可以包括表達(dá)用戶的感情或思想的用戶的情緒響應(yīng)的任何表示。所標(biāo)識的性情可以是大體積極或消極的，或者可以是雙重的。所標(biāo)識的態(tài)度可以更加具體，諸如快樂、憤怒、沮喪、無聊、悲傷等等。態(tài)度的具體程度可以依賴于態(tài)度/情緒/心情的庫，而系統(tǒng)600可以標(biāo)識用戶的態(tài)度的范圍，從一般到具體。例如，該系統(tǒng)可以從用戶的直立的身體姿態(tài)和歡樂的聲音語調(diào)的可檢測特征來確定該用戶大體具有積極的態(tài)度。替代地，更具體而言，該系統(tǒng)可以更具體地確定該用戶是激動的，因為直立的身體姿態(tài)包括跳上跳下、舉起的手臂，而該用戶的歷史數(shù)據(jù)指示這些可檢測特性指示激動的性情。不同的應(yīng)用可具有既有一般又有具體的心情和性情的更大的數(shù)據(jù)庫，而其他應(yīng)用可以推斷一般的性情，諸如大體積極的或大體消極的。更大數(shù)量的可檢測特征可以增加系統(tǒng)對用戶的態(tài)度的分析的保真性。用戶的身體姿態(tài)的變化可以是用戶性情的強烈指示。用戶的姿態(tài)可以包括用戶的身體的姿態(tài)、用戶站、坐、保持胸部的方式，以及用戶把他的臂、腿和腳放在何處。例如，如果用戶正向后傾斜， 同時他或她的頭垂向一側(cè)，其中頭部由用戶的手來支撐，則該系統(tǒng)可以將該用戶的性情標(biāo)識為無聊的或不感興趣的?；蛘?，例如，如果用戶直立地坐著，同時頭昂起并且雙臂折疊交叉在胸前，同時伴隨著噘嘴的表情，則該系統(tǒng)可以將用戶的性情標(biāo)識為不滿、敵視或沮喪之一。一般而言，消極內(nèi)涵可以反映在用戶的化身中。該系統(tǒng)可以檢測到用戶身體姿態(tài)中因為用戶使頸部或肩部的肌肉變緊而帶來的變化。有時候用戶的懶散僅僅是用戶正在放松或具有不良姿態(tài)的指示。用戶的頭的位置可以是用戶的性情的指示。該系統(tǒng)可以檢測用戶下巴的收緊或眉毛的皺起。圖9描繪了圖6中示出的系統(tǒng)600，其中該系統(tǒng)跟蹤用戶的可檢測特征并推斷性情。通過將該用戶的可檢測特征映射到該視覺表示，該性情可以反映在用戶的視覺表示中。 該性情還可以通過將與特定性情相對應(yīng)的動畫應(yīng)用到用戶的視覺表示來反映。圖9描繪了在物理空間601中的三個時間點處的用戶602，其中901a、901b和901c表示在三個離散的時間點處的物理空間。在每個時間點處，用戶602可具有移位了、改變了的面部表情，執(zhí)行了不同的運動和/或移動了身體姿態(tài)。系統(tǒng)600可在每個點捕捉物理空間601中的目標(biāo) (用戶60 并在每個點捕捉該用戶的可檢測特征(在90h、902b和902c中示出)。在示例顯示器91 和示例顯示器912b上顯示了所得到的用戶602的視覺表示的顯示的兩個示例。如上面討論的，用戶的視覺表示可以是任何動畫、角色、化身等等。圖9中示出的示例視覺表示是化身905 (在顯示設(shè)備91 上示出)或角色907 (在顯示設(shè)備912b上示出)。例如，化身905可以是物理空間中的用戶的近似表示，其映射到用戶的身體姿態(tài)、發(fā)色、衣服等。例如，角色907可以是角色表示，諸如所示出的猴子。角色907還可以具有如由系統(tǒng)600所捕捉的用戶的特性。例如，面部表情、衣服等可以被映射到該角色表示。系統(tǒng)600可從物理空間標(biāo)識包括對用戶的性情的指示的數(shù)據(jù)。系統(tǒng)600可通過將指示性情的屬性應(yīng)用到用戶的視覺表示來將用戶的性情應(yīng)用到該視覺表示。此外，系統(tǒng) 600還可通過評估用戶在單個捕捉數(shù)據(jù)幀中或在一系列幀中的位置來從用戶的運動中標(biāo)識姿勢。系統(tǒng)600可以使用來自每個數(shù)據(jù)幀的信息、來自在各數(shù)據(jù)幀間的且隨著時間的捕捉的數(shù)據(jù)中的變化的信息、從所捕捉的數(shù)據(jù)標(biāo)識的姿態(tài)、以及任何其他可用信息(諸如語音數(shù)據(jù))的組合來標(biāo)識用戶的性情或情緒。在一示例實施例中，可以向化身905賦予從對圖像數(shù)據(jù)的分析確定的特性。用戶 602可以選擇要被映射到用戶602的特征的視覺表示，其中用戶602的自己的特性(物理的或其他的)由該視覺表示來表示。用戶602的視覺表示(也稱為化身，諸如化身90 可以基于用戶602的特征(諸如身體比例、面部特征等)來初始化。例如，該骨架模型可以是用于生成用戶602的視覺表示的基本模型，是按照用戶602的比例、長度、肢的重量等來建模的。然后，用戶602的發(fā)色、皮膚、衣服和其他檢測到的特性可以被映射到該視覺表示。用戶的運動的映射可以不是用戶的移動的直接轉(zhuǎn)換，因為可使視覺表示適應(yīng)于該修改。例如，用戶的視覺表示可以是沒有面部特征的幻想角色。該系統(tǒng)可以用適用于該視覺表示的形式的其他方式來反映用戶的性情。因此，用戶的運動可以被轉(zhuǎn)換以映射到該視覺表示，同時增加一些動畫來反映該視覺表示的形式。例如，在圖9中，顯示設(shè)備912b上顯示的用戶的視覺表示是猴子角色907的視覺表示。因為用戶602的視覺表示907不是用戶自己的物理結(jié)構(gòu)的表示，所以用戶602的運動和/或性情可以被轉(zhuǎn)換為與視覺表示907所采用的形式一致。例如，在本示例中，檢測到的特征和/或性情可以被轉(zhuǎn)換為與猴子907的
特征一致。也可以指示用戶的性情的用戶特性可以基于該系統(tǒng)對可檢測特性的分析而被映射到該視覺表示，由此模擬物理空間中的用戶的外觀和/或移動。在本示例中，該系統(tǒng)在三個時間點901a、901b和901c處跟蹤物理空間中的用戶的可檢測特性。該用戶可以檢測到， 處于位置90 的用戶坐著，其中頭向一側(cè)傾斜并由手支撐。用戶90 可以正在皺眉并且可以發(fā)出聲音或說出指示無聊或沮喪的性情的話語。因此，該系統(tǒng)可在全部時間分析該可檢測的特性，并推斷用戶的性情。在本示例中，該系統(tǒng)推斷用戶的“無聊”的性情。該系統(tǒng)可以在點901a處從該物理空間捕捉的數(shù)據(jù)中推斷用戶的性情。該系統(tǒng)可以在901b和901c處繼續(xù)跟蹤用戶的可檢測特征和物理空間，以實時地在不同點處表示用戶的示例。該系統(tǒng)可應(yīng)用指示基于所捕捉數(shù)據(jù)(諸如從物理空間901a中的場景所捕捉的數(shù)據(jù))的單個幀或者隨著時間作為所捕捉的數(shù)據(jù)(諸如從所有三個場景901a、901b、901c所捕捉的數(shù)據(jù))的多個幀的結(jié)果的所推斷的性情的屬性。該系統(tǒng)可以應(yīng)用指示基于單個幀和/或隨時間的所推斷的性情的屬性。所推斷的性情的置信度可以基于對用戶的可檢測特性的連續(xù)分析而增加。替代地，該系統(tǒng)可以基于該可檢測特性中的變化來檢測或推斷不同的性情。該系統(tǒng)可以實時地通過將所檢測到的特性應(yīng)用到用戶的視覺表示來顯示所檢測到的特性。因此，如圖6所示，視覺表示603描繪了多個用戶的所檢測的特性(例如，面部表情、身體姿態(tài)等)。類似地，該系統(tǒng)可以使用用戶的目標(biāo)特性來推斷用戶的性情，但是隨后將指示該性情但是可能或可能不直接映射到用戶的特性的屬性應(yīng)用到用戶的視覺表示例如， 該系統(tǒng)可以從所推斷的特性推斷該用戶可能具有“激動而快樂”的性情。所檢測到的指示此性情的特性可以是諸如跳上跳下運動、激動地叫喊、在游戲應(yīng)用中的成功的活動、以及微笑等特性。該系統(tǒng)可以將這些特性與數(shù)據(jù)庫進(jìn)行比較來例如推斷用戶的性情，其中該數(shù)據(jù)庫具有指示各種性情的特性。當(dāng)目標(biāo)的特性是指示該性情的屬性的良好示例時，該系統(tǒng)可以將這些特性直接應(yīng)用到該視覺表示。然而，該系統(tǒng)可以替代地或附加地應(yīng)用指示該性情的屬性，不管所應(yīng)用的屬性是否是該用戶的特性的直接映射。例如，如果該系統(tǒng)從用戶的可檢測特征推斷出“快樂而激動”的性情，則該系統(tǒng)可以使用戶的視覺表示動畫化以在屏幕上跳舞或使用戶動畫化以跳到空中并抓到星星。該系統(tǒng)可以應(yīng)用指示該性情的其他屬性，諸如顯示設(shè)備上的閃爍的話語(例如，“我真高興”或者一些幽默或可笑的東西)。在圖9中，化身905的示例動畫(其具有該用戶的多個可檢測特性)是化身905站立，同時頭靠著墻說“我好無聊啊”。用戶602沒有在執(zhí)行這個動作，并且可能在系統(tǒng)所捕捉的任何點處沒有說這些話，但是該系統(tǒng)可以將這些屬性應(yīng)用到該用戶，因為它們指示了 “無聊”的性情。類似地，顯示設(shè)備912b示出了視覺表示的示例顯示，其中猴子角色907被示出為耷拉著它的雙臂并且非常慢地發(fā)出猴子的聲音“歐！歐！?。“?！”。被應(yīng)用到該猴子的屬性指示了無聊的性情。這些屬性可以由該系統(tǒng)基于例如查找表來標(biāo)識，并且可以專用于該角色(諸如猴子)，或者這些屬性可以一般地適用于許多類型的視覺表示?；?05和猴子表示907是可以被顯示的兩個不同的示例視覺表示，并且被示出在示例顯示設(shè)備91 和912b上。每個視覺表示905、907和對指示用戶602的性情的屬性的應(yīng)用可以基于單個所捕捉的數(shù)據(jù)集，諸如在時間901a處針對該物理空間所捕捉的。替代地，每個視覺表示905、907的兩個示例顯示可以是該系統(tǒng)隨著時間監(jiān)視用戶602的結(jié)果。該用戶可以隨著時間使用該捕捉數(shù)據(jù)來更新用戶的性情、向該視覺表示添加更多的特征、應(yīng)用指示更具體的性情的屬性等等。用戶602可以執(zhí)行導(dǎo)致將指示特定性情的屬性應(yīng)用到該用戶的視覺表示的姿勢。 性情身份姿勢可以是被解釋為對將指示特定性情的屬性應(yīng)用到該用戶的視覺表示的請求的姿勢。例如，系統(tǒng)檢測出用戶在圖9中的“無聊”的性情可以是系統(tǒng)識別出該物理空間中指示“無聊”的性情的用戶的姿勢的結(jié)果。該姿勢可以包括例如用戶在902c中的身體姿態(tài)， 其中雙臂在胸前交叉折疊。為了將這種運動與用戶簡單地就這么站著的運動相區(qū)分，姿勢可包括將雙臂大幅移動到位、或者慢慢地移動雙臂以在胸前交叉折疊。姿勢識別引擎(諸如參考圖5B描述的姿勢識別引擎19 可將用戶的運動與和姿勢庫190中的各姿勢相對應(yīng)的姿勢過濾器進(jìn)行比較。用戶602的所捕捉的運動可以與例如姿勢庫190中的性情身份姿勢196相對應(yīng)。因此，將這樣的屬性應(yīng)用到視覺表示可以是可被用戶的姿勢控制或可從用戶的姿勢識別的操作系統(tǒng)和/或應(yīng)用的一方面。性情身份姿勢可以包括或者可以不包括通常與特定性情相關(guān)聯(lián)的特性。例如，針對“悲傷”的性情的姿勢可以是手的移動，其中手的移動不是人在具有“悲傷”的性情的時候通常會作出的特性。然而，手的移動可以是用戶為了指導(dǎo)系統(tǒng)將指示“悲傷”性情的屬性應(yīng)用到該視覺表示而可以執(zhí)行的姿勢。因此用戶能夠通過在物理空間中執(zhí)行姿勢來控制該用戶的視覺表示的性情。用戶可以有意或無意地執(zhí)行與性情相對應(yīng)的姿勢。例如，用戶的手在他或她的胸前交叉折疊的姿勢可以是被識別為沮喪的性情的姿勢，并且該用戶可以僅僅是因為該用戶正感到沮喪而進(jìn)行與該姿勢相對應(yīng)的動作。系統(tǒng)對指示用戶很沮喪的姿勢以及用戶的表情(諸如皺眉)的識別可以導(dǎo)致反應(yīng)沮喪性情的視覺表示。替代地，該用戶可以有意地在物理空間中執(zhí)行姿勢以致使特定性情被應(yīng)用到該用戶的視覺表示。例如，該用戶可能剛剛贏了一場比賽或者在應(yīng)用中成功地做成了某件事。針對“快樂的”性情的姿勢可以包括用戶跳上跳下，同時有雙臂舉起的動作。 該用戶可以執(zhí)行該“快樂”性情的姿勢，以致使該系統(tǒng)將該目標(biāo)特性和/或任何數(shù)量的“快樂”屬性應(yīng)用到該用戶的視覺表示。例如，如上所述，該用戶的視覺表示可以做側(cè)手翻、或跳舞、或進(jìn)行該系統(tǒng)可以將其與快樂的性情的表達(dá)相關(guān)聯(lián)的任何其他活動。因此，盡管虛擬空間中的姿勢可以充當(dāng)對諸如電子游戲等應(yīng)用的控制，然而它們也可以與用戶對系統(tǒng)要在用戶的視覺表示上反映特定性情的請求相對應(yīng)。系統(tǒng)600可以通過監(jiān)視可檢測特性來在用戶的視覺表示中更新用戶的性情。系統(tǒng) 600可以使用來自每個數(shù)據(jù)幀的信息的組合，諸如從在點901a、901b、901c處的用戶捕捉的數(shù)據(jù)、從在各數(shù)據(jù)幀之間并隨著時間捕捉的數(shù)據(jù)中的變化、從所捕捉的數(shù)據(jù)所標(biāo)識的姿勢、 目標(biāo)特性和目標(biāo)特性在時間上的變化、以及任何其他可用信息(諸如面部表情、身體姿態(tài)、 聲音數(shù)據(jù)等)，以標(biāo)識并更新如由該用戶的視覺表示所反映的性情。與物理空間中的用戶相關(guān)聯(lián)的目標(biāo)特性可以變成簡檔的一部分。簡檔可以例如專用于某一物理空間或用戶。包括用戶的特征在內(nèi)的化身數(shù)據(jù)可以成為用戶的簡檔的一部分。可以在用戶進(jìn)入捕捉場景時訪問簡檔。如果基于口令、用戶的選擇、身體大小、語音識別等，簡檔匹配用戶，則該簡檔可用于確定用戶的視覺表示。
可監(jiān)視用戶的歷史數(shù)據(jù)，從而將信息存儲到用戶的簡檔。例如，系統(tǒng)可以檢測用戶特有的特征，比如用戶的行為、語言模式、情緒、聲音等等。該系統(tǒng)可以在將性情應(yīng)用到視覺表示時將這些特征應(yīng)用到用戶的視覺表示。例如，如果該系統(tǒng)標(biāo)識出該用戶的性情并且選擇包括反映該性情的語言的屬性，則可以從該用戶的語言模式確定視覺表示的語音的模式，或者視覺表示的語音甚至可以是該用戶自己的語音的錄音。用戶專用信息還可以包括一個或多個用戶在游戲模式下的傾向性。例如，如果用戶傾向于以某一方式作出行為或反應(yīng)，則該系統(tǒng)可以跟蹤該用戶的傾向性以更精確地推斷該用戶的性情。例如，如果該系統(tǒng)檢測指示“憤怒”性情的用戶的身體姿態(tài)，并且該用戶傾向于該用戶每次在該應(yīng)用(諸如游戲)中失敗時以類似方式行動，則該系統(tǒng)可以跟蹤此信息。因此，該系統(tǒng)可以開始跟蹤該用戶的傾向性，并且使用該信息來更精確地評估該用戶的性情。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，且這些具體實施例或示例不被認(rèn)為是限制性的。本文中所述的具體例程或方法可表示任意數(shù)量的處理策略中的一個或多個。由此，所示出的各個動作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行等等。同樣，可改變上述過程的次序。此外，盡管已經(jīng)結(jié)合某些方面按各附圖所示描述了本發(fā)明，但要理解，可使用其它相似方面或者可對所述方面進(jìn)行修改或添加來執(zhí)行本發(fā)明的相同功能而不脫離本發(fā)明。本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其它特征、功能、動作、和/或特性、以及其任何和全部等效物。因此，所公開的各實施例的方法和裝置或其某些方面或部分可采用包含在諸如軟盤、CD-ROM、硬盤驅(qū)動器或任何其他機器可讀存儲介質(zhì)等有形介質(zhì)中的程序代碼(即，指令)的形式。當(dāng)程序代碼被加載到諸如計算機等機器并由其執(zhí)行時，該機器變?yōu)楸慌渲贸蓪嵤┧_的各實施例的裝置。除了此處明確闡述的具體實現(xiàn)之外，考慮此處所公開的說明書，其它方面和實現(xiàn)將對本領(lǐng)域的技術(shù)人員是顯而易見的。因此，本發(fā)明不應(yīng)該僅限于任何單個方面，而是應(yīng)該在根據(jù)所附權(quán)利要求書的廣度和范圍內(nèi)解釋。例如，本文描述的各種過程可用硬件或軟件、 或兩者的組合來實現(xiàn)。
2權(quán)利要求
1.一種用于將指示用戶的性情的屬性應(yīng)用到視覺表示的方法，所述方法包括 呈現(xiàn)用戶的所述視覺表示；接收物理空間的數(shù)據(jù)，其中所述數(shù)據(jù)表示所述物理空間中的所述用戶； 分析至少一個可檢測特性以推斷所述用戶的性情；以及將指示所述用戶的性情的屬性應(yīng)用到所述視覺表示。
2.如權(quán)利要求1所述的方法，其特征在于，將指示所述用戶的性情的屬性應(yīng)用到所述視覺表示是相對于接收所述物理空間的所述數(shù)據(jù)實時地執(zhí)行的。
3.如權(quán)利要求1所述的方法，其特征在于，所述至少一個可檢測特性包括用戶的特性、 用戶的物理特征、用戶的行為、用戶的語言模式、用戶的語音、姿勢、歷史數(shù)據(jù)或應(yīng)用狀態(tài)中的至少一個。
4.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)表示所述物理空間中的用戶特性中的至少一個。
5.如權(quán)利要求1所述的方法，其特征在于，還包括將用戶的特性中的至少一個應(yīng)用到所述視覺表示。
6.如權(quán)利要求1所述的方法，其特征在于，分析可檢測特性來推斷所述用戶的性情包括將所述可檢測特性中的至少一個與將特性與特定性情相關(guān)的表進(jìn)行比較。
7.如權(quán)利要求1所述的方法，其特征在于，所述用戶的性情包括大體消極的、大體積極的、雙重的、無聊的、快樂的、悲傷的、沮喪的、激動的、或憤怒的中的至少一種。
8.如權(quán)利要求1所述的方法，其特征在于，還包括跟蹤所述至少一個可檢測特性的變化以推斷所述用戶的性情的變化；以及向指示所述用戶的性情的所述屬性應(yīng)用更新以與所推斷的所述用戶的性情的變化相對應(yīng)。
9.如權(quán)利要求1所述的方法，其特征在于，還包括從與所述用戶的性情相對應(yīng)的多個屬性中選擇指示所述用戶的性情的屬性。
10.一種用于將指示用戶的性情的屬性應(yīng)用到視覺表示的系統(tǒng)，所述系統(tǒng)包括相機組件，其中所述相機組件接收場景的數(shù)據(jù)，其中所述數(shù)據(jù)表示物理空間中的用戶；以及處理器，其中所述處理器執(zhí)行計算機可執(zhí)行指令，且其中所述計算機可執(zhí)行指令包括用于以下操作的指令呈現(xiàn)所述用戶的所述視覺表示；分析至少一個可檢測特性以推斷所述用戶的性情；以及將指示所述用戶的性情的屬性應(yīng)用到所述視覺表示。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，將指示所述用戶的性情的屬性應(yīng)用到所述視覺表示是相對于接收所述物理空間的所述數(shù)據(jù)實時地執(zhí)行的。
12.如權(quán)利要求10所述的系統(tǒng)，其特征在于，還包括存儲提供與特定性情相關(guān)的特性的表的存儲器。
13.一種用于將指示性情的屬性應(yīng)用到視覺表示的方法，所述方法包括 呈現(xiàn)用戶的所述視覺表示；接收物理空間的數(shù)據(jù)，其中所述數(shù)據(jù)表示性情身份姿勢；以及將指示與所述性情身份姿勢相關(guān)聯(lián)的性情的屬性應(yīng)用到所述視覺表示；
14.如權(quán)利要求13所述的方法，其特征在于，還包括提供表示所述性情身份姿勢的過濾器，所述過濾器包括有關(guān)所述性情身份姿勢的基本信息；以及將所述過濾器應(yīng)用到所述數(shù)據(jù)并從有關(guān)所述性情身份姿勢的所述基本信息確定輸出。
15.如權(quán)利要求13所述的方法，其特征在于，還包括從與所述用戶的性情相對應(yīng)的多個屬性中選擇指示所述性情的屬性。
全文摘要
使用面部識別和姿勢/身體姿態(tài)識別技術(shù)，系統(tǒng)能夠自然地經(jīng)由用戶的視覺表示來傳達(dá)用戶的情緒和態(tài)度。這些技術(shù)包括基于可檢測特性來定制用戶的視覺表示；從該可檢測特性來推斷用戶的性情；以及將指示該性情的屬性實時地應(yīng)用到該視覺表示。這些技術(shù)還可包括處理該物理空間中的該用戶的特性的變化以及實時地更新該視覺表示。例如，該系統(tǒng)可跟蹤用戶的面部表情和身體移動來標(biāo)識性情，然后將指示該性情的屬性應(yīng)用到該視覺表示。因此，用戶的諸如化身或幻想角色之類的視覺表示能夠?qū)崟r地反映該用戶的表情和心情。
文檔編號A63F13/06GK102470273SQ201080031206
公開日2012年5月23日 申請日期2010年7月6日 優(yōu)先權(quán)日2009年7月9日
發(fā)明者A·基普曼, A·威爾遜, K·S·佩雷茲, N·D·伯頓 申請人:微軟公司