專利名稱：基于視覺的身份跟蹤的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及身份跟蹤。
背景技術(shù)：
諸如計(jì)算機(jī)游戲、多媒體應(yīng)用程序等的許多計(jì)算應(yīng)用程序使用控制命令來允許用 戶操縱游戲角色或應(yīng)用程序的其他方面。通常，此類控制命令使用例如控制器、遙控器、鍵 盤、鼠標(biāo)等來輸入。不幸的是，這些控制命令可能是難以學(xué)習(xí)的，由此造成了用戶和這些游 戲或應(yīng)用程序之間的障礙。此外，這些控制命令可能與這些控制命令所用于的實(shí)際游戲動(dòng) 作或其他應(yīng)用程序動(dòng)作不同，從而減少了用戶的體驗(yàn)。例如，使得游戲角色旋轉(zhuǎn)棒球拍的游 戲控制器可能不與旋轉(zhuǎn)棒球拍的實(shí)際動(dòng)作相對應(yīng)。一個(gè)解決方案是使用利用視覺和/或深度圖像來跟蹤用戶或其他物體在場景中 的運(yùn)動(dòng)的視頻游戲系統(tǒng)。所跟蹤的運(yùn)動(dòng)隨后被用來更新應(yīng)用程序。因此，用戶可以通過使 用該用戶身體的移動(dòng)和/或物體繞該用戶的移動(dòng)而非(或作為補(bǔ)充)使用控制器、遙控器、 鍵盤、鼠標(biāo)等來操縱游戲角色或該應(yīng)用程序的其他方面。這樣的系統(tǒng)的一個(gè)挑戰(zhàn)是在用戶 移入、移出和移回到該系統(tǒng)的視野中時(shí)對誰在玩游戲進(jìn)行跟蹤。

發(fā)明內(nèi)容
公開了一種系統(tǒng)(例如，視頻游戲系統(tǒng)或其他類型的數(shù)據(jù)處理系統(tǒng))，該系統(tǒng)可以 在玩家進(jìn)入該系統(tǒng)的視野時(shí)標(biāo)識(shí)并跟蹤這些玩家。例如，在一個(gè)人進(jìn)入視頻游戲系統(tǒng)的視 野時(shí)(例如，進(jìn)入房間或以其他方式不再被遮擋)，該系統(tǒng)確定該人是否是已與該游戲進(jìn)行 交互的玩家之一。如果是，則該系統(tǒng)將該人映射到所標(biāo)識(shí)的已與該游戲進(jìn)行交互的玩家，以 使該人可以繼續(xù)與該游戲進(jìn)行交互(例如，控制化身或?qū)ο?。一個(gè)實(shí)施方式包括執(zhí)行基于計(jì)算機(jī)的應(yīng)用程序，包括與一組登記玩家的子集進(jìn)行 交互，確定一個(gè)人(他不是當(dāng)前與該基于計(jì)算機(jī)的應(yīng)用程序進(jìn)行交互的該組登記玩家的該 子集中的一個(gè)人)是否變得可在游戲空間中檢測，將該人自動(dòng)地標(biāo)識(shí)為該組登記玩家中的 特定登記玩家，將該人映射到該特定登記玩家，以及基于該映射來與該人進(jìn)行交互。一個(gè)實(shí)施方式包括到監(jiān)視器的接口、傳感器系統(tǒng)以及與該接口和傳感器系統(tǒng)進(jìn)行 通信的一個(gè)或多個(gè)處理器。該一個(gè)或多個(gè)處理器確立閾值，將玩家登記到視頻游戲中，執(zhí)行 該視頻游戲，包括基于登記來與玩家的子集進(jìn)行交互，確定一個(gè)人已變得可在該視頻游戲 的游戲空間中檢測，自動(dòng)地確定該人是否是登記玩家之一，如果確定該人是登記玩家之一 則將該人映射到登記玩家并基于該映射來在該視頻游戲中與該人進(jìn)行交互，以及如果確定 該人不是登記玩家之一則向該人分配新標(biāo)識(shí)并基于該新標(biāo)識(shí)來在該視頻游戲中與該人進(jìn) 行交互?！獋€(gè)實(shí)施方式包括接收來自一個(gè)或多個(gè)傳感器的與當(dāng)前未同應(yīng)用程序進(jìn)行交互 的第一實(shí)體有關(guān)的視覺數(shù)據(jù)和深度數(shù)據(jù)，基于該視覺數(shù)據(jù)和深度數(shù)據(jù)創(chuàng)建指示該第一實(shí)體 的外觀的一組視覺簽名(signature)，將該組視覺簽名與應(yīng)用程序中登記的實(shí)體的所存儲(chǔ)的簽名進(jìn)行比較，確定所述視覺簽名是否與應(yīng)用程序中登記的任何實(shí)體的所存儲(chǔ)的簽名相 對應(yīng)，并且如果確定所述視覺簽名與應(yīng)用程序中登記的特定實(shí)體的所存儲(chǔ)的簽名相對應(yīng)則 將該第一實(shí)體映射到所述特定實(shí)體。該映射允許第一實(shí)體與該應(yīng)用程序進(jìn)行交互。提供本“發(fā)明內(nèi)容”是為了以簡化的形式介紹將在以下“具體實(shí)施方式
”中進(jìn)一步 描述的一些概念。本“發(fā)明內(nèi)容”并非旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征， 也不旨在用于幫助確定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在 本發(fā)明的任一部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖IA和IB示出了其中用戶在玩游戲的跟蹤系統(tǒng)的示例實(shí)施方式。圖2示出可用作跟蹤系統(tǒng)的一部分的捕捉設(shè)備的示例實(shí)施方式。圖3示出可被用來跟蹤運(yùn)動(dòng)并基于所跟蹤的運(yùn)動(dòng)來更新應(yīng)用程序的計(jì)算系統(tǒng)的 示例實(shí)施方式。圖4示出可被用來跟蹤運(yùn)動(dòng)并基于所跟蹤的運(yùn)動(dòng)來更新應(yīng)用程序的計(jì)算系統(tǒng)的 另一示例實(shí)施方式。圖5是描述用于操作可執(zhí)行本文描述的基于視覺的身份跟蹤的數(shù)據(jù)處理系統(tǒng)(例 如，視頻游戲系統(tǒng))的過程的一個(gè)實(shí)施方式的流程圖。圖6是描述用于確定進(jìn)入視野的玩家是否是登記的玩家的過程的一個(gè)實(shí)施方式 的流程圖。圖7是描述用于創(chuàng)建新的基于視覺的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖8是描述用于比較基于視覺的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖9是描述用于創(chuàng)建臉部的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖10描繪骨架的示例。圖11示出具有兩個(gè)邊界框的臉部。圖12是描述用于創(chuàng)建衣服的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖13是描述用于創(chuàng)建身高的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖14是描述用于比較臉部的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖15描繪用于對比較結(jié)果進(jìn)行分類的閾值。圖16是描述用于比較衣服的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖17是描述用于比較身高的簽名的過程的一個(gè)實(shí)施方式的流程圖。圖18是描繪將一組簽名與身份進(jìn)行匹配的示例的表。圖19是描述用于將一組簽名與一身份進(jìn)行匹配的過程的一個(gè)實(shí)施方式的流程 圖。圖20是描述用于創(chuàng)建和/或細(xì)化在比較簽名時(shí)所使用的閾值的過程的一個(gè)實(shí)施 方式的流程圖。圖21是描述用于改進(jìn)被用來創(chuàng)建簽名的數(shù)據(jù)的過程的一個(gè)實(shí)施方式的流程圖。
具體實(shí)施例方式公開了一種視頻游戲系統(tǒng)(或其他數(shù)據(jù)處理系統(tǒng))，該系統(tǒng)可在視覺上標(biāo)識(shí)進(jìn)入該系統(tǒng)的視野(例如，進(jìn)入房間或以其他方式不再被遮擋)的人是否是先前已經(jīng)與該系統(tǒng) 進(jìn)行交互的玩家。在一個(gè)實(shí)施方式中，該系統(tǒng)創(chuàng)建指示進(jìn)入視野的人的外觀的一組視覺簽 名并確定這些視覺簽名是否與已登記到該系統(tǒng)的實(shí)體中的任何一個(gè)的所存儲(chǔ)的簽名相對 應(yīng)。如果該人的視覺簽名與某一已登記實(shí)體相匹配，則該人將被映射到該實(shí)體并將基于所 映射的實(shí)體與該系統(tǒng)進(jìn)行交互。例如，如果控制視頻游戲中的化身A的人離開房間并隨后 返回該房間，則在返回時(shí)，該系統(tǒng)將識(shí)別出該人是操作化身A的先前玩家并將繼續(xù)允許該 人控制化身A。在一個(gè)實(shí)施方式中，視頻游戲系統(tǒng)(或其他數(shù)據(jù)處理系統(tǒng))使用深度圖像和/或 視覺圖像來跟蹤玩家和物體。該跟蹤隨后被用來更新應(yīng)用程序(例如，視頻游戲)。因此， 用戶可以通過使用用戶身體的移動(dòng)和/或物體繞用戶的移動(dòng)而非(或作為補(bǔ)充)使用控制 器、遙控器、鍵盤、鼠標(biāo)等來操縱游戲角色或應(yīng)用程序的其他方面。例如，視頻游戲系統(tǒng)將基 于物體的新位置來更新圖像在視頻中顯示的位置或基于用戶的運(yùn)動(dòng)來更新化身。如果用戶 走出房間(或在游戲/應(yīng)用程序期間被以其他方式遮擋)并隨后走回房間(或不再被遮 擋)，則系統(tǒng)會(huì)將用戶自動(dòng)地標(biāo)識(shí)為先前玩游戲(或與應(yīng)用程序進(jìn)行交互)的實(shí)體并按照先 前映射繼續(xù)交互。雖然以下示例包括視頻游戲系統(tǒng)，但本文描述的技術(shù)也適用于其他類型的數(shù)據(jù)處 理系統(tǒng)和/或其他類型的應(yīng)用程序。圖IA和IB示出了其中用戶18在玩拳擊游戲的系統(tǒng)10的示例實(shí)施方式。在一示 例實(shí)施方式中，系統(tǒng)10可被用來識(shí)別、分析和/或跟蹤人類目標(biāo)，如跟蹤系統(tǒng)10范圍內(nèi)的 用戶18或其他物體。如圖IA所示，跟蹤系統(tǒng)10可包括計(jì)算系統(tǒng)12。計(jì)算系統(tǒng)12可以是計(jì)算機(jī)、游戲 系統(tǒng)或控制臺(tái)等等。根據(jù)一示例實(shí)施方式，計(jì)算系統(tǒng)12可包括硬件組件和/或軟件組件， 從而使得計(jì)算系統(tǒng)12可用于執(zhí)行諸如游戲應(yīng)用程序、非游戲應(yīng)用程序等的應(yīng)用程序。在一 個(gè)實(shí)施方式中，計(jì)算系統(tǒng)12可包括可執(zhí)行存儲(chǔ)在用于執(zhí)行本文描述的過程的處理器可讀 存儲(chǔ)設(shè)備上的指令的諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等處理器。如圖IA所示，跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20可以是，例如可用 于在視覺上監(jiān)視諸如用戶18的一個(gè)或多個(gè)用戶從而可以捕捉、分析并跟蹤一個(gè)或多個(gè)用 戶所執(zhí)行的姿勢和/或移動(dòng)，來執(zhí)行應(yīng)用程序中的一個(gè)或多個(gè)控制命令或動(dòng)作和/或動(dòng)畫 化化身或屏上角色的照相機(jī)，下面將更詳細(xì)地描述。根據(jù)一個(gè)實(shí)施方式，跟蹤系統(tǒng)10可連接到可向諸如用戶18等的用戶提供游戲或 應(yīng)用程序視覺形象和/或音頻的視聽設(shè)備16，如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例 如，計(jì)算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配 器可提供與游戲應(yīng)用程序、非游戲應(yīng)用程序等相關(guān)聯(lián)的視聽信號(hào)。視聽設(shè)備16可從計(jì)算系 統(tǒng)12接收視聽信號(hào)，然后可向用戶18輸出與視聽信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用程序視覺形象 和/或音頻。根據(jù)一個(gè)實(shí)施方式，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電 纜、DVI電纜、VGA電纜、構(gòu)件式視頻電纜等連接到計(jì)算系統(tǒng)12。如圖IA和IB所示，跟蹤系統(tǒng)10可用于識(shí)別、分析和/或跟蹤諸如用戶18等的人 類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，從而可以捕捉用戶18的姿勢和/或移動(dòng) 來動(dòng)畫化化身或屏上角色，和/或可將用戶18的姿勢和/或移動(dòng)解釋為可用于影響計(jì)算環(huán)境12所執(zhí)行的應(yīng)用程序的控制命令。因此，根據(jù)一個(gè)實(shí)施方式，用戶18可移動(dòng)他的或她的 身體來控制應(yīng)用程序和/或動(dòng)畫化化身或屏上角色。在圖IA和IB中描繪的示例中，在計(jì)算系統(tǒng)12上執(zhí)行的應(yīng)用程序可以是用戶18 正在玩的拳擊游戲。例如，計(jì)算系統(tǒng)12可使用視聽設(shè)備16來向用戶18提供拳擊對手38 的視覺表示。計(jì)算系統(tǒng)12還可使用視聽設(shè)備16來提供用戶18可通過他的或她的移動(dòng)來 控制的玩家化身40的視覺表示。例如，如圖IB所示，用戶18可在物理空間中揮重拳來使 得玩家化身40在游戲空間中揮重拳。因此，根據(jù)一示例實(shí)施方式，計(jì)算系統(tǒng)12和捕捉設(shè)備 20識(shí)別并分析物理空間中用戶18的重拳從而使得該重拳可被解釋為對游戲空間中的玩家 化身40的游戲控制和/或該重拳的運(yùn)動(dòng)可用于動(dòng)畫化游戲空間中的玩家化身40。用戶18的其他移動(dòng)也可被解釋為其他控制命令或動(dòng)作，和/或用于動(dòng)畫化玩家化 身，如上下快速擺動(dòng)、閃避、滑步、封堵、用拳猛擊或揮動(dòng)各種不同的有力重拳的控制命令。 此外，某些移動(dòng)可被解釋為可對應(yīng)于除控制玩家化身40之外的動(dòng)作的控制命令。例如，在 一個(gè)實(shí)施方式中，玩家可使用移動(dòng)來結(jié)束、暫停或保存游戲、選擇級(jí)別、查看高分、與朋友交 流等。根據(jù)另一實(shí)施方式，玩家可使用移動(dòng)來從主用戶界面選擇游戲或其他應(yīng)用程序。因 此，在示例實(shí)施方式中，用戶18的全范圍運(yùn)動(dòng)可以用任何合適的方式來獲得、使用并分析 以與應(yīng)用程序進(jìn)行交互。在各示例實(shí)施方式中，諸如用戶18等的人類目標(biāo)可持有一物體。在這些實(shí)施方式 中，電子游戲的用戶可手持該物體，以使得玩家和物體的運(yùn)動(dòng)可被用來調(diào)整和/或控制游 戲的參數(shù)。例如，可以跟蹤并利用手持球拍的玩家的運(yùn)動(dòng)來控制電子運(yùn)動(dòng)游戲中的屏上球 拍。在另一示例實(shí)施方式中，可以跟蹤并利用手持物體的玩家的運(yùn)動(dòng)來控制電子格斗游戲 中的屏上武器。用戶沒有手持的物體也可被跟蹤，如該用戶(或一不同用戶)扔出、推出或 滾出的物體或自推進(jìn)的物體。除拳擊之外，也可實(shí)現(xiàn)其他游戲。根據(jù)其他示例實(shí)施方式，跟蹤系統(tǒng)10還可用于將目標(biāo)移動(dòng)解釋為游戲領(lǐng)域之外 的操作系統(tǒng)和/或應(yīng)用程序控制命令。例如，事實(shí)上操作系統(tǒng)和/或應(yīng)用程序的任何可控 方面可由諸如用戶18等目標(biāo)的移動(dòng)來控制。圖2示出可在跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實(shí)施方式。根據(jù)一示例實(shí) 施方式，捕捉設(shè)備20可被配置成捕捉帶有包括深度圖像的深度信息的視頻，深度信息可包 括經(jīng)由任何合適的技術(shù)——包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等——的深度值。根據(jù) 一實(shí)施方式，捕捉設(shè)備20可將深度信息組織為“Z層”，即可與從深度相機(jī)沿其視線延伸的 Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像照相機(jī)組件22。根據(jù)一示例實(shí)施方式，圖像 照相機(jī)組件22可以是可捕捉場景的深度圖像的深度照相機(jī)。深度圖像可包括所捕捉的場 景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘 米、毫米等計(jì)的、所捕捉的場景中的物體距相機(jī)的距離。如圖2所示，根據(jù)一示例實(shí)施方式，圖像照相機(jī)組件22可包括可用于捕捉場景的 深度圖像的紅外(IR)光組件M、三維(3-D)照相機(jī)沈、和RGB照相機(jī)觀。例如，在飛行時(shí) 間分析中，捕捉設(shè)備20的頂光組件M可將紅外光發(fā)射到場景上，然后可使用傳感器(未 示出)，使用例如3-D照相機(jī)沈和/或RGB照相機(jī)觀，來檢測來自場景中的一個(gè)或多個(gè)目 標(biāo)和物體的表面的反向散射光。在某些實(shí)施方式中，可以使用脈沖式紅外光，從而可以測量出射光脈沖與相應(yīng)的入射光脈沖之間的時(shí)間并將其用于確定從捕捉設(shè)備20到場景中的目 標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實(shí)施方式中，可將入射光波的相位與 出射光波的相位進(jìn)行比較來確定相移。然后可以使用相移來確定從捕捉設(shè)備到物體或目標(biāo) 上的特定位置的距離。根據(jù)另一示例實(shí)施方式，可使用飛行時(shí)間分析，通過經(jīng)由包括例如快門式光脈沖 成像等各種技術(shù)來分析反射光束隨時(shí)間的強(qiáng)度，來間接地確定從捕捉設(shè)備20到目標(biāo)或物 體上的特定位置的物理距離。在另一示例實(shí)施方式中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的 分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案等已知圖案或不同圖案的光)可 經(jīng)由例如頂光組件M被投影到場景上。在撞擊到場景中的一個(gè)或多個(gè)目標(biāo)或物體的表面 時(shí)，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3-D相機(jī)沈和/或RGB相機(jī)28 (和/ 或其他傳感器)來捕捉，然后可被分析以確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物 理距離。在一些實(shí)現(xiàn)中，IR光組件M與照相機(jī)M和沈分開，使得可以使用三角測量來確 定自照相機(jī)對和26的距離。在一些實(shí)現(xiàn)中，捕捉設(shè)備20將包括傳感頂光的專用頂傳感 器或具有頂濾波器的傳感器。根據(jù)另一實(shí)施方式，捕捉設(shè)備20可包括兩個(gè)或更多物理上分開的照相機(jī)，這些照 相機(jī)可從不同角度查看場景以獲得視覺立體數(shù)據(jù)，視覺立體數(shù)據(jù)可被解析以生成深度信 息。其他類型的深度圖像傳感器也可被用來創(chuàng)建深度圖像。捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號(hào)的 變換器或傳感器。根據(jù)一個(gè)實(shí)施方式，話筒30可用于減少目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中 的捕捉設(shè)備20與計(jì)算系統(tǒng)12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音 頻信號(hào)，以控制可由計(jì)算系統(tǒng)12執(zhí)行的諸如游戲應(yīng)用程序、非游戲應(yīng)用程序等應(yīng)用程序。在一示例實(shí)施方式中，捕捉設(shè)備20還可包括可與圖像照相機(jī)組件22進(jìn)行通信的 處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令 包括用于接收深度圖像、生成適當(dāng)?shù)臄?shù)據(jù)格式(例如，幀)并將該數(shù)據(jù)傳送到計(jì)算系統(tǒng)12 的指令。捕捉設(shè)備20還可包括存儲(chǔ)器組件34，存儲(chǔ)器組件34可存儲(chǔ)由處理器32執(zhí)行的指 令、3-D照相機(jī)和/或RGB照相機(jī)所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等 等。根據(jù)一示例實(shí)施方式，存儲(chǔ)器組件34可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、 高速緩存、閃存、硬盤、或任何其他合適的存儲(chǔ)組件。如圖2所示，在一個(gè)實(shí)施方式中，存儲(chǔ) 器組件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一實(shí)施 方式，存儲(chǔ)器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算系統(tǒng)12進(jìn)行通信。通信鏈 路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等無線連接。根據(jù)一個(gè)實(shí)施方式，計(jì)算系統(tǒng)12 可經(jīng)由通信鏈路36向捕捉設(shè)備20提供可用于確定例如何時(shí)捕捉場景的時(shí)鐘。另外，捕捉 設(shè)備20將由例如3-D照相機(jī)沈和/或RGB照相機(jī)觀捕捉的深度信息和視覺(例如，RGB) 圖像經(jīng)由通信鏈路36提供給計(jì)算系統(tǒng)12。在一個(gè)實(shí)施方式中，深度圖像和視覺圖像以每秒 30幀的速率傳送。計(jì)算系統(tǒng)12然后可使用該模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處理程序等的應(yīng)用程序和/或動(dòng)畫化化身或屏上人物。計(jì)算系統(tǒng)12包括深度圖像處理和骨架跟蹤192、視覺標(biāo)識(shí)和跟蹤194以及應(yīng)用程 序196。深度圖像處理和骨架跟蹤192使用深度圖像來跟蹤諸如用戶和其他物體等物體的 運(yùn)動(dòng)。為幫助對物體進(jìn)行跟蹤，深度圖像處理和骨架跟蹤192使用姿勢庫和結(jié)構(gòu)數(shù)據(jù)來跟 蹤骨架。結(jié)構(gòu)數(shù)據(jù)包括關(guān)于可被跟蹤的物體的結(jié)構(gòu)信息。例如，可以存儲(chǔ)人類的骨架模型 以幫助理解用戶的移動(dòng)并識(shí)別身體部分。還可以存儲(chǔ)關(guān)于動(dòng)畫物體的結(jié)構(gòu)信息以幫助識(shí)別 這些物體并幫助理解移動(dòng)。姿勢庫可包括姿勢過濾器集合，每一姿勢過濾器包括和骨架模 型可執(zhí)行(在用戶移動(dòng)時(shí))的姿勢有關(guān)的信息。可將由照相機(jī)沈、觀和捕捉設(shè)備20捕捉 的骨架模型形式的數(shù)據(jù)以及與其相關(guān)聯(lián)的移動(dòng)與姿勢庫中的姿勢過濾器進(jìn)行比較來標(biāo)識(shí) 用戶(如骨架模型所表示的)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢。那些姿勢可與應(yīng)用程序的各種 控制命令相關(guān)聯(lián)。來自捕捉設(shè)備20的視覺圖像也可被用來幫助進(jìn)行跟蹤。視覺標(biāo)識(shí)和跟蹤模塊194與深度圖像處理和骨架跟蹤192以及應(yīng)用程序196進(jìn)行 通信。如下所述，視覺標(biāo)識(shí)和跟蹤模塊194在視覺上標(biāo)識(shí)進(jìn)入系統(tǒng)的視野的人是否是先前 已經(jīng)與系統(tǒng)進(jìn)行交互的玩家。視覺標(biāo)識(shí)和跟蹤模塊194會(huì)將該信息報(bào)告給應(yīng)用程序196。應(yīng)用程序196可以是視頻游戲、生產(chǎn)力應(yīng)用程序等。在一個(gè)實(shí)施方式中，深度圖像 處理和骨架跟蹤192會(huì)將檢測到的每一物體的標(biāo)識(shí)以及物體對于每一幀的位置報(bào)告給應(yīng) 用程序196。應(yīng)用程序196將使用該信息來更新化身或其他圖像在顯示器中的位置或移動(dòng)。圖3示出一計(jì)算系統(tǒng)的示例實(shí)施方式，該計(jì)算系統(tǒng)可以是圖1A-2中示出的被用來 跟蹤運(yùn)動(dòng)和/或動(dòng)畫化(或以其他方式更新)應(yīng)用程序所顯示的化身或其他屏上對象的計(jì) 算系統(tǒng)12。上面參考圖1A-2所描述的諸如計(jì)算系統(tǒng)12這樣的計(jì)算系統(tǒng)可以是諸如游戲 控制臺(tái)這樣的多媒體控制臺(tái)100。如圖3所示，多媒體控制臺(tái)100具有含有1級(jí)高速緩存 102,2級(jí)高速緩存104和閃存R0M(只讀存儲(chǔ)器)106的中央處理單元(CPU) 101。1級(jí)高速 緩存102和2級(jí)高速緩存104臨時(shí)存儲(chǔ)數(shù)據(jù)并因此減少存儲(chǔ)器訪問周期數(shù)，由此改進(jìn)處理 速度和吞吐量。CPU 101可以設(shè)置成具有一個(gè)以上的核，以及由此的附加的1級(jí)和2級(jí)高速 緩存102和104。閃存ROM 106可存儲(chǔ)在多媒體控制臺(tái)100通電時(shí)在引導(dǎo)進(jìn)程初始階段加 載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形 成用于高速、高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸 送到視頻編碼器/視頻編解碼器114。視頻處理流水線將數(shù)據(jù)輸出到A/V (音頻/視頻)端 口 140以傳輸?shù)诫娨暀C(jī)或其他顯示器。存儲(chǔ)器控制器110連接到GPU 108以方便處理器訪 問各種類型的存儲(chǔ)器112，諸如但不局限于RAM(隨機(jī)存取存儲(chǔ)器)。多媒體控制臺(tái)100包括較佳地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控 制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器 1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142⑴-142 O)、無 線適配器148、和外部存儲(chǔ)器設(shè)備146 (例如閃存、外部⑶/DVD ROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等) 的主機(jī)。網(wǎng)絡(luò)接口 1 和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的 接入并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有 線和無線適配器組件中任何一種。提供系統(tǒng)存儲(chǔ)器143來存儲(chǔ)在引導(dǎo)進(jìn)程期間加載的應(yīng)用程序數(shù)據(jù)。提供了媒體驅(qū)動(dòng)器144且其可包括DVD/⑶驅(qū)動(dòng)器、藍(lán)光驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、或其他可移動(dòng)媒體驅(qū)動(dòng)器 等。媒體驅(qū)動(dòng)器144對于多媒體控制臺(tái)100可以內(nèi)置或外置的。應(yīng)用程序數(shù)據(jù)可經(jīng)由媒體 驅(qū)動(dòng)器144訪問，以由多媒體控制臺(tái)100執(zhí)行、回放等。媒體驅(qū)動(dòng)器144經(jīng)由諸如串行ATA 總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供涉及確保多媒體控制臺(tái)100的可用性的各種服務(wù)功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應(yīng)的音頻處理 流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻 處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺(tái)100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向 多媒體控制臺(tái)100的組件供電。風(fēng)扇138冷卻多媒體控制臺(tái)100內(nèi)的電路。CPU 101、GPU 108、存儲(chǔ)器控制器110、和多媒體控制臺(tái)100內(nèi)的各個(gè)其它組件經(jīng) 由一條或多條總線互連，包括串行和并行總線、存儲(chǔ)器總線、外圍總線、和使用各種總線架 構(gòu)中任一種的處理器或局部總線。作為示例，這種架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。當(dāng)多媒體控制臺(tái)100通電時(shí)，應(yīng)用程序數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器143加載到存儲(chǔ)器112 和/或高速緩存102、104中并在CPU 101上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到多媒體控制臺(tái)100 上可用的不同媒體類型時(shí)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，媒體驅(qū)動(dòng)器144 中包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動(dòng)器144啟動(dòng)或播放，以向多媒體控制臺(tái)100提 供附加功能。多媒體控制臺(tái)100可通過將該系統(tǒng)簡單地連接到電視機(jī)或其他顯示器而作為獨(dú) 立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺(tái)100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看 電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺(tái)100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺(tái)100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作 系統(tǒng)作系統(tǒng)使用。這些資源可以包括存儲(chǔ)器保留(例如，16MB)、CPU和GPU周期(例如， 5%)、網(wǎng)絡(luò)帶寬(例如，SlAs)等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)保留的，所以所保留的資 源對應(yīng)用而言是不存在的。具體地，存儲(chǔ)器保留較佳地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動(dòng)程序。 CPU保留較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任 何未使用的周期。對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出 窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大 小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情 況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻 率，也就不會(huì)引起TV重新同步。在多媒體控制臺(tái)100引導(dǎo)且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系 統(tǒng)功能。系統(tǒng)功能被封裝在一組在上述所保留的系統(tǒng)資源中執(zhí)行的系統(tǒng)應(yīng)用中。操作系統(tǒng) 內(nèi)核標(biāo)識(shí)是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進(jìn)行調(diào)度是 為了把由在控制臺(tái)上運(yùn)行的游戲應(yīng)用所引起的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，則由于時(shí)間敏感性而異步調(diào)度音頻處理給游戲應(yīng) 用。多媒體控制臺(tái)應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè) 備不是所保留的資源，但卻在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。 應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)程序維持有 關(guān)焦點(diǎn)切換的狀態(tài)信息。照相機(jī)26J8和捕捉設(shè)備20可經(jīng)由USB控制器1 或其他接口 來定義控制臺(tái)100的附加輸入設(shè)備。圖4示出可被用來實(shí)現(xiàn)圖1A-2中示出的計(jì)算系統(tǒng)12的計(jì)算系統(tǒng)的另一示例實(shí)施 方式220，計(jì)算系統(tǒng)12被用來跟蹤運(yùn)動(dòng)和/或動(dòng)畫化(或以其他方式更新)應(yīng)用程序所顯 示的化身或其他屏上對象。計(jì)算系統(tǒng)環(huán)境220只是合適的計(jì)算系統(tǒng)的一個(gè)示例，并且不旨 在對所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算系統(tǒng)220解釋為對示 例性操作系統(tǒng)220中示出的任一組件或其組合有任何依賴性或要求。在某些實(shí)施方式中， 所描繪的各種計(jì)算元素可包括被配置成實(shí)例化本公開的具體方面的電路。例如，本公開中 使用的術(shù)語電路可包括被配置成執(zhí)行固件或開關(guān)的功能的專用硬件組件。在其他示例實(shí)施 方式中，術(shù)語電路可包括由軟件指令配置的實(shí)施可用于執(zhí)行功能的邏輯的通用處理單元、 存儲(chǔ)器等。在電路包括硬件與軟件組合的示例實(shí)施方式中，實(shí)現(xiàn)者可編寫實(shí)施邏輯的源代 碼且該源代碼可被編譯成可由通用處理單元處理的機(jī)器可讀代碼。因?yàn)楸绢I(lǐng)域技術(shù)人員可 以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而 選擇硬件或是軟件來實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具體地，本領(lǐng)域技術(shù)人員 可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價(jià)的軟件進(jìn) 程。因此，對于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇之一并留給實(shí)現(xiàn)者。計(jì)算系統(tǒng)220包括計(jì)算機(jī)Ml，計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī) 可讀介質(zhì)可以是能由計(jì)算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、 可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器222包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算 機(jī)存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(ROM) 223和隨機(jī)存取存儲(chǔ)器(RAM) 2600基本輸入/輸出系統(tǒng) 224 (BIOS)包括如在啟動(dòng)時(shí)幫助在計(jì)算機(jī)Ml內(nèi)的元件之間傳輸信息的基本例程，它通常 儲(chǔ)存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的 數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應(yīng)用程序226、其他程 序模塊227和程序數(shù)據(jù)228。計(jì)算機(jī)241還可以包括其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介 質(zhì)。僅作為示例，圖4示出了對不可移動(dòng)、非易失性磁介質(zhì)進(jìn)行讀寫的硬盤驅(qū)動(dòng)器238，對可 移動(dòng)、非易失性磁盤2M進(jìn)行讀寫的磁盤驅(qū)動(dòng)器239，以及對諸如CD ROM或其他光學(xué)介質(zhì) 等可移動(dòng)、非易失性光盤253進(jìn)行讀寫的光盤驅(qū)動(dòng)器M0。可以在示例性操作環(huán)境中使用 的其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于，磁帶盒、閃存 卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動(dòng)器238通常由諸如接口 234等不可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線221，磁盤驅(qū)動(dòng)器239和光盤驅(qū)動(dòng)器240通常由諸如接口 235等可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線221。以上描述和在圖4中示出的驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)為計(jì)算機(jī)241提 供對計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。例如，在圖4中，硬盤驅(qū)動(dòng)器 238被示為存儲(chǔ)操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意，這 些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可以 與它們不同。操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255在這里被標(biāo) 注了不同的標(biāo)號(hào)是為了說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，諸如鍵盤251 和定點(diǎn)設(shè)備252——通常被稱為鼠標(biāo)、跟蹤球或觸摸墊——向計(jì)算機(jī)241輸入命令和信息。 其他輸入設(shè)備(未示出)可以包括麥克風(fēng)、游戲桿、游戲手柄、碟形衛(wèi)星天線、掃描儀等等。 這些和其他輸入設(shè)備通常由耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元259，但 也可以由其他接口和總線結(jié)構(gòu)，諸如并行端口、游戲端口或通用串行總線(USB)連接。照相 機(jī)沈、觀和捕捉設(shè)備20可經(jīng)由用戶輸入接口 236來定義控制臺(tái)100的附加輸入設(shè)備。監(jiān) 視器242或其他類型的顯示設(shè)備也經(jīng)由接口，諸如視頻接口 232連接至系統(tǒng)總線221。除監(jiān) 視器以外，計(jì)算機(jī)也可以包括其他外圍輸出設(shè)備，諸如揚(yáng)聲器244和打印機(jī)對3，它們可以 通過輸出外圍接口 233連接。捕捉設(shè)備20可經(jīng)由輸出外圍接口 233、網(wǎng)絡(luò)接口 237或其他 接口連接到計(jì)算系統(tǒng)220。計(jì)算機(jī)241可使用至一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)，如遠(yuǎn)程計(jì)算機(jī)M6的邏輯連接在 網(wǎng)絡(luò)化環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè) 備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，且通常包括上文相對于計(jì)算機(jī)241描述的許多或所有元件，但在 圖4中只示出了存儲(chǔ)器存儲(chǔ)設(shè)備M7。圖中所示邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng) (WAN) M9，但也可以包括其他網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián) 網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過網(wǎng)絡(luò)接口或適配器237連接至LAN 2450當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因 特網(wǎng)等WAN 249建立通信的其他裝置。調(diào)制解調(diào)器250可以是內(nèi)置或外置的，它可以經(jīng)由 用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接至系統(tǒng)總線221。在網(wǎng)絡(luò)化環(huán)境中，關(guān)于計(jì)算機(jī) 241所描述的程序模塊或其部分可被儲(chǔ)存在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而非局限，圖 4示出應(yīng)用程序248駐留在存儲(chǔ)器設(shè)備247上?？梢岳斫猓镜木W(wǎng)絡(luò)連接是示例性的，且 可以使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。如上所述，捕捉設(shè)備20向計(jì)算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的 視覺圖像)和深度圖像。深度圖像可以是多個(gè)觀測到的像素，其中每個(gè)觀測到的像素具有 觀測到的深度值。例如，深度圖像可包括所捕捉的場景的二維O-D)像素區(qū)域，其中2-D像 素區(qū)域中的每一像素可具有深度值，如所捕捉的場景中的對象距捕捉設(shè)備的距離。系統(tǒng)將使用RGB圖像和深度圖像來跟蹤玩家的移動(dòng)。跟蹤的示例可以在2009年10 月21日提交的美國專利申請12/603,437 "Pose Tracking Pipeline (姿勢跟蹤流水線)” 中找到，其整體通過引用結(jié)合于此。也可使用用于跟蹤的其他方法。一旦系統(tǒng)確定玩家正 在進(jìn)行的運(yùn)動(dòng)，系統(tǒng)將使用這些檢測到的運(yùn)動(dòng)來控制視頻游戲或其他應(yīng)用程序。例如，玩家 的運(yùn)動(dòng)可被用來控制視頻游戲中的化身和/或?qū)ο蟆Ｔ谕嬉曨l游戲或與應(yīng)用程序進(jìn)行交互時(shí)，一個(gè)人(即用戶)可以離開系統(tǒng)的視野。例如，該人可以走出房間或被遮擋。隨后，該人可以重新進(jìn)入系統(tǒng)的視野。例如，該人可以 走回進(jìn)入房間或不再被遮擋。在該人進(jìn)入系統(tǒng)的視野時(shí)，系統(tǒng)將自動(dòng)地標(biāo)識(shí)出該人先前正 在玩游戲(或以其他方式與應(yīng)用程序進(jìn)行交互)并將該人映射到當(dāng)時(shí)正與該游戲進(jìn)行交互 的玩家。以此方式，該人可以重掌對該人的化身的控制或以其他方式繼續(xù)與該游戲/應(yīng)用 程序進(jìn)行交互。圖5是描述操作圖1-4的系統(tǒng)以便標(biāo)識(shí)進(jìn)入系統(tǒng)的視野(游戲的游戲空間)的人 并將其映射到已有玩家/用戶的一個(gè)實(shí)施方式的流程圖。圖5的過程包括在視覺上標(biāo)識(shí)并跟蹤玩家以確定變得對該系統(tǒng)可見的玩家是否 與已有的登記玩家相匹配。為了作出這些確定，使用一組閾值來執(zhí)行視覺標(biāo)識(shí)。這些閾值 的更多細(xì)節(jié)在以下討論。在圖5的步驟300中，確立用于進(jìn)行比較的閾值。這些閾值可以 通過實(shí)驗(yàn)和仿真來確立。初始閾值可以在制造之前創(chuàng)建并與系統(tǒng)的初始版本一起裝載。在 另一實(shí)施方式中，這些閾值是由系統(tǒng)在操作期間動(dòng)態(tài)地創(chuàng)建的。用于確立閾值的更多細(xì)節(jié) 將在以下討論。在步驟302，系統(tǒng)將對玩家進(jìn)行登記。例如，在玩視頻游戲時(shí)，系統(tǒng)可以詢問用戶 有多少玩家將玩該游戲。在用戶用玩家數(shù)量作出響應(yīng)后，系統(tǒng)將請求每一玩家標(biāo)識(shí)他們自 己。在一個(gè)實(shí)施方式中，將請求每一玩家通過站在系統(tǒng)前面來標(biāo)識(shí)自己，以便可以從該玩家 的多個(gè)角度獲得深度圖像和視覺圖像。例如?？梢哉埱笸婕艺驹谡障鄼C(jī)前面，轉(zhuǎn)身，并擺出 各種姿勢。在系統(tǒng)獲得了標(biāo)識(shí)該人所必需的數(shù)據(jù)之后，將向該人提供唯一標(biāo)識(shí)并且該唯一 標(biāo)識(shí)可被分配給游戲/應(yīng)用程序中的化身或?qū)ο?。在圖5的步驟304中，系統(tǒng)將與玩家進(jìn)行交互。例如，可以玩一個(gè)或多個(gè)視頻游戲 或其他應(yīng)用程序(例如，應(yīng)用程序196)。在一個(gè)實(shí)施方式中，本文討論的視覺標(biāo)識(shí)是通過創(chuàng)建并比較視覺簽名來執(zhí)行的。 關(guān)于視覺簽名的更多細(xì)節(jié)將在以下提供。在步驟304的一個(gè)實(shí)施方式中，系統(tǒng)動(dòng)態(tài)地創(chuàng)建 和/或更新簽名并存儲(chǔ)這些經(jīng)更新的或所創(chuàng)建的簽名。在圖5的步驟306，系統(tǒng)確定現(xiàn)在可在游戲空間中檢測到新人。例如，在傳感器系 統(tǒng)20的視野內(nèi)，一個(gè)或多個(gè)玩家(他們當(dāng)前不可見或不可檢測到)變得可檢測到。例如， 一個(gè)人可走進(jìn)傳感器20所處的房間?；蛘?，一個(gè)人可走進(jìn)其中傳感器負(fù)載20可檢測到該 人的房間的一部分。另一示例是先前向傳感器20遮擋的人不再向傳感器20遮擋。在步驟308，系統(tǒng)自動(dòng)地確定該新人是否是已登記在當(dāng)前活動(dòng)的視頻游戲/應(yīng)用 程序中的已有玩家。如果確定該新人是已經(jīng)登記在當(dāng)前應(yīng)用程序/游戲中的已有玩家(步 驟310)，則在步驟312，該新玩家被映射到該已有玩家。如果確定該新人不是已登記在游 戲/應(yīng)用程序中的已有玩家(步驟310)，則系統(tǒng)為該玩家創(chuàng)建新標(biāo)識(shí)，向該玩家分配該新 標(biāo)識(shí)，并將對于應(yīng)用程序的該新玩家(具有該新標(biāo)識(shí))報(bào)告給應(yīng)用程序/游戲(應(yīng)用程序 196)。在步驟312之后和在步驟314之后，過程在步驟304繼續(xù)。在一個(gè)實(shí)施方式中，步驟 308-312由視覺標(biāo)識(shí)和跟蹤模塊194執(zhí)行。注意，圖5還示出了細(xì)化閾值的步驟136。步驟316沒有連接到任何特定其他步驟 的原因是因?yàn)椴襟E316可在任何時(shí)間發(fā)生?；谙到y(tǒng)所擁有的數(shù)據(jù)，系統(tǒng)可以決定動(dòng)態(tài)地 更新這些閾值中的任一個(gè)。閾值和更新的更多細(xì)節(jié)將在以下提供。圖6是描述用于自動(dòng)地確定新玩家是否是已登記在視頻游戲/應(yīng)用程序中的已有玩家的過程的一個(gè)實(shí)施方式的流程圖。例如，圖6的過程是圖5的步驟308的一個(gè)示例實(shí) 現(xiàn)。在圖6的步驟350中，系統(tǒng)為被檢測到進(jìn)入游戲空間的人創(chuàng)建新簽名。如何創(chuàng)建簽名 以及結(jié)構(gòu)簽名的更多細(xì)節(jié)在以下提供。在步驟352，系統(tǒng)將進(jìn)入游戲空間的新人的新簽名與 已登記在視頻游戲/應(yīng)用程序中的已有玩家的已有簽名進(jìn)行比較?；诒容^，系統(tǒng)將創(chuàng)建 分?jǐn)?shù)。在步驟354，系統(tǒng)會(huì)嘗試基于來自步驟352的分?jǐn)?shù)來將該新人與已有登記玩家之一進(jìn) 行匹配。如果存在匹配(步驟356)，則該過程將在步驟358返回匹配的玩家的標(biāo)識(shí)。如果 不存在匹配(步驟356)，則圖6的過程將返回“沒有匹配”。步驟350-356的更多細(xì)節(jié)在以 下提供。圖7是描述用于自動(dòng)地為進(jìn)入游戲空間的新人創(chuàng)建新簽名的過程的一個(gè)實(shí)施方 式的流程圖。例如，圖7的過程是圖6的步驟350的一個(gè)示例實(shí)現(xiàn)。在該實(shí)施方式中，系統(tǒng) 將使用三組簽名來標(biāo)識(shí)一個(gè)人。第一組一個(gè)或多個(gè)簽名涉及人臉，第二組一個(gè)或多個(gè)簽名 涉及該人穿著的衣服，并且第三組一個(gè)或多個(gè)簽名涉及該人的身高。在一個(gè)實(shí)施方式中，這 三組簽名中的每一組都是基于深度圖像和視覺圖像的。在其他實(shí)施方式中，簽名可以只基 于視覺圖像。在其他實(shí)施方式中，這些簽名中的一些將基于深度圖像和視覺圖像的組合，而 其他簽名將僅僅基于視覺圖像。在又一實(shí)施方式中，所有這些簽名(或簽名的子集)可以 全部基于深度圖像。在又一實(shí)施方式中，可以使用紅外圖像來創(chuàng)建一個(gè)或多個(gè)簽名。在圖7的步驟380中，系統(tǒng)為剛被檢測到進(jìn)入游戲空間的人(參見圖5的步驟306) 創(chuàng)建新臉部簽名。在步驟382，系統(tǒng)為該人穿著的衣服創(chuàng)建一個(gè)或多個(gè)色彩簽名。在步驟 384，系統(tǒng)為該人的身高創(chuàng)建簽名。步驟380-384中的每一步驟的更多細(xì)節(jié)在以下提供。圖8是描述比較這三組簽名的過程的一個(gè)實(shí)施方式的流程圖。例如，圖8的過程是 圖6的步驟352的實(shí)現(xiàn)的一個(gè)示例。在圖8的步驟390，將在步驟380中創(chuàng)建的臉部簽名與 登記在當(dāng)前應(yīng)用程序/視頻游戲中的已有玩家中的每一個(gè)的臉部簽名進(jìn)行比較。每一比較 將產(chǎn)生反映這些簽名彼此匹配得有多近的分?jǐn)?shù)。在步驟392，將被檢測到進(jìn)入游戲空間的人 的衣服的一個(gè)或多個(gè)簽名與登記在當(dāng)前應(yīng)用程序/視頻游戲中的已有玩家的各衣服簽名 進(jìn)行比較。在一個(gè)實(shí)施方式中，創(chuàng)建反映所創(chuàng)建的進(jìn)入游戲空間的新人的所有衣服簽名與 每一登記玩家的簽名中的每一個(gè)的比較的單個(gè)分?jǐn)?shù)。在步驟394，將被檢測到進(jìn)入游戲空間 的人的身高簽名與登記在當(dāng)前應(yīng)用程序/視頻游戲中的每一個(gè)玩家的身高簽名進(jìn)行比較。 每一登記玩家的分?jǐn)?shù)是基于該比較來創(chuàng)建的。在一個(gè)實(shí)施方式中，在圖8中描繪的過程的 結(jié)尾，登記在當(dāng)前應(yīng)用程序/視頻游戲中的每一玩家將具有三個(gè)分?jǐn)?shù)臉部簽名的比較分 數(shù)、衣服簽名的比較分?jǐn)?shù)以及身高簽名的比較分?jǐn)?shù)。在一個(gè)實(shí)施方式中，圖6、7和8的過程 由計(jì)算系統(tǒng)12自動(dòng)地執(zhí)行。圖9是描述用于創(chuàng)建臉部簽名的過程的一個(gè)實(shí)施方式的流程圖。即，圖9是執(zhí)行 圖7的步驟380的一個(gè)示例實(shí)現(xiàn)。在步驟400，系統(tǒng)確定用于獲取臉部簽名的條件是否是合 適的。例如，系統(tǒng)確定該人是否面向照相機(jī)以使得可以看到臉部。另外，系統(tǒng)可以檢查適當(dāng) 的光照條件或臉部的遮擋。如果條件是不合適的(步驟40 ，則在重現(xiàn)的不合適的條件下拍攝了足夠幀之 后，系統(tǒng)將向應(yīng)用程序(例如，視頻游戲)通知條件是不合適的(例如，“臉被擋住”、“沒有面 向照相機(jī)”等)。如以下更詳細(xì)地解釋的，在步驟403，系統(tǒng)將嘗試補(bǔ)救該問題。例如，游戲 可以通過某一類型的通知(例如，文本通知或指示玩家如何校正條件的游戲角色，例如“請看著屏幕”)或通過請求玩家做出將有效地改善條件的動(dòng)作(向屏幕的邊緣“扔球”以使得 玩家會(huì)嘗試擊中該球并且因而不再遮住他的臉)來顯式地使玩家校正這些條件。如果該問 題可被修復(fù)，則過程在步驟406繼續(xù)(以下討論)。如果該問題不能修復(fù)，則此時(shí)不創(chuàng)建簽名。如果條件是合適的(步驟40 ，則系統(tǒng)將使用深度圖像跟蹤該人的骨架來估計(jì)臉 部的位置?？梢允褂迷S多方法來使用深度圖像跟蹤人的骨架。使用深度圖像跟蹤骨架的一 個(gè)實(shí)施方式在2009年10月21日提交的Craig等人發(fā)明的美國專利申請12/603，437“POSe Tracking Pipeline (姿勢跟蹤流水線)”(此后稱為‘437申請，)中提供，該專利申請整體 通過引用結(jié)合于此?！?37申請’的過程包括獲取深度圖像，對數(shù)據(jù)進(jìn)行降采樣，移除和/或 平滑高方差噪聲數(shù)據(jù)，標(biāo)識(shí)并移除背景，以及將前景像素中的每一個(gè)分配給身體的不同部 分?；谶@些步驟，系統(tǒng)將使一模型適合該數(shù)據(jù)并創(chuàng)建骨架。該骨架將包括一組接合點(diǎn)和這 些接合點(diǎn)之間的連接。圖10示出具有15個(gè)接合點(diǎn)(j0、jl、j2、j3、j4、j5、j6、j7、j8、j9、 jlO、jll、jl2、jl3、jl4以及jl5)的示例骨架。接合點(diǎn)中的每一個(gè)表示骨架中的該骨架可 以在x、y、z方向上樞轉(zhuǎn)的位置或身體上關(guān)注的位置。步驟406包括使用骨架來估計(jì)臉部的 位置。例如，接合點(diǎn)j0可以與頭部的中心相對應(yīng)。基于知道j0在哪里，系統(tǒng)可以估計(jì)臉部 應(yīng)當(dāng)在哪里。這一估計(jì)將是保守的，使得可以確定足夠大以保證臉部被包括在框中的邊界 框。例如，圖11示出人類軀干的頂部具有包圍臉部的邊界框450。這一邊界框450是來自 步驟406的臉部位置的估計(jì)的示例。在步驟407，RGB像素(或其他色彩空間像素)被轉(zhuǎn)換成與臉部相對應(yīng)的視覺圖像 部分的視覺圖像中的亮度值。在一個(gè)實(shí)施方式中，亮度值是0到255(或另一數(shù)值范圍)之 間的灰度值。在步驟408，系統(tǒng)將通過標(biāo)識(shí)眼睛和鼻子并創(chuàng)建更緊地框住臉上的眼睛和鼻子 的框來細(xì)化臉部估計(jì)。圖11示出作為步驟408的結(jié)果的框452，這是更緊地框住眼睛和鼻 子的框?？梢詧?zhí)行許多臉部檢測方法來實(shí)現(xiàn)步驟408的過程?？梢允褂玫囊粋€(gè)示例過程是 本領(lǐng)域公知的Viola-Jones方法。如上所述，傳感器20將檢測視覺圖像和深度圖像。視覺圖像可以與深度圖像進(jìn)行 相關(guān)，使得深度圖像中的每一像素將與視覺圖像中的像素相對應(yīng)。因此，當(dāng)在深度圖像中 確定了臉部時(shí)，系統(tǒng)將知道臉部在視覺圖像中的位置。在步驟410，系統(tǒng)可以使用視覺圖像 (或深度圖像)來標(biāo)識(shí)眼睛和鼻子的確切位置。在步驟412，系統(tǒng)將基于在步驟410中標(biāo)識(shí) 的眼睛來對齊用戶的臉部。為了匹配簽名，臉部正確地對齊以使簽名相似是重要的。因此， 系統(tǒng)將提前確定參考對齊。在檢測到不處于該參考對齊中的臉部時(shí)，步驟412將重新對齊 該圖像中的臉部以與參考對齊的對齊進(jìn)行匹配。在一些實(shí)施方式中，系統(tǒng)將具有多個(gè)參考 對齊并在不同的參考對齊中創(chuàng)建多個(gè)臉部簽名。在一個(gè)實(shí)施方式中，只使用一個(gè)對齊來創(chuàng) 建簽名并執(zhí)行比較。在步驟416，系統(tǒng)將創(chuàng)建臉部的多維向量。該向量中的每一維度對應(yīng)于臉部中的一 像素。所以如果框452包括400個(gè)像素，則該向量具有400個(gè)元素。在一個(gè)實(shí)施方式中，在 步驟412，該框?qū)R，使得該框具有48x42個(gè)像素(總共2016個(gè)像素)，使得步驟416中的 多維向量包括2016個(gè)值。在一些實(shí)施方式中，臉部的數(shù)據(jù)可被降采樣。在步驟418，將多 維向量轉(zhuǎn)換到PCA空間成為具有30個(gè)系數(shù)的向量(例如，30維向量)。PCA(主向量分析) 是本領(lǐng)域的公知過程。然而，也可以使用用于轉(zhuǎn)換向量的其他過程。另外，在一些實(shí)施方式中，步驟418可被跳過。作為步驟418的結(jié)果的30維向量是臉部的簽名。然而，也可以使 用用于簽名的其他格式。圖12是描述用于創(chuàng)建一個(gè)或多個(gè)衣服簽名的過程的一個(gè)實(shí)施方式的流程圖。圖 12的過程是步驟382的一個(gè)示例實(shí)現(xiàn)。在步驟500，系統(tǒng)檢查以確保條件適合于創(chuàng)建衣服 簽名。例如，系統(tǒng)可以確定光照是否充足，人的衣服是否未被遮擋，以及人是否處在基于衣 服來確定簽名的正確姿勢。如果條件不適于創(chuàng)建一個(gè)或多個(gè)簽名(步驟502)，則在步驟 503，系統(tǒng)嘗試修復(fù)問題(如上所述并在以下更詳細(xì)地描述)。如果該問題可被修復(fù)(步驟 504)，則在步驟506繼續(xù)簽名生成過程。如果該問題不能修復(fù)(步驟504)，則此時(shí)不創(chuàng)建簽 名(步驟507)。如果條件適于創(chuàng)建簽名(步驟502)，則在步驟506，系統(tǒng)將存儲(chǔ)傳感器20感測到 的骨架的當(dāng)前位置。例如，系統(tǒng)可以存儲(chǔ)骨架處于何處的三維坐標(biāo)?；蛘?，系統(tǒng)可以將骨架 分類成處于傳感器20的視野內(nèi)的一組區(qū)域之一中。在一個(gè)實(shí)施方式中，衣服簽名基于色彩并且系統(tǒng)將創(chuàng)建被跟蹤的人的身體的不同 部分的多個(gè)衣服簽名。被跟蹤的人的身體的不同部分中的與一簽名相對應(yīng)的每一個(gè)部分在 下文中被稱為目標(biāo)。在一個(gè)實(shí)施方式中，系統(tǒng)將創(chuàng)建兩個(gè)目標(biāo)的簽名。目標(biāo)的一個(gè)示例是 玩家的褲子，以j9、jlO、jl2、jl3和/或jl5為中心。目標(biāo)的另一示例是玩家的襯衫，以j8 為中心。這兩個(gè)目標(biāo)由骨架的接合點(diǎn)j8和j9表示(參見圖10)。在其他實(shí)施方式中，可以 有超過兩個(gè)目標(biāo)或少于兩個(gè)目標(biāo)。在圖12的步驟508中，系統(tǒng)將訪問第一目標(biāo)的深度值和位置。步驟508包括系統(tǒng) 確定第一目標(biāo)(例如褲子或接合點(diǎn)j9、jl0、jl2、jl3和/或jl5)的深度值和x、y位置。在 步驟510，系統(tǒng)將標(biāo)識(shí)第一目標(biāo)附近的像素。在使用上述骨架的實(shí)施方式中，系統(tǒng)會(huì)將接合 點(diǎn)中的一個(gè)或多個(gè)標(biāo)識(shí)為第一目標(biāo)，并且步驟510將相對于位置和深度來選擇第一目標(biāo)附 近的像素。在一個(gè)示例中，系統(tǒng)將使用一個(gè)范圍，使得系統(tǒng)會(huì)挑選視覺圖像中的處于x、y位 置范圍內(nèi)的像素，并隨后選擇這些像素的處于距在步驟508中選擇的接合點(diǎn)的深度值范圍 內(nèi)的子集。在步驟512，將該組像素量化。在一些系統(tǒng)中，可以有數(shù)百萬種色彩組合。步驟 512包括降低分辨率，以使得所有色彩被分類到一小組256種色彩，使得每一像素具有從0 到255的一個(gè)色彩值而非具有三個(gè)色彩值。在一個(gè)實(shí)施方式中，RGB值還可在量化之前或 期間被轉(zhuǎn)換成HSV值。步驟512還包括構(gòu)建該組像素的柱狀圖。在一個(gè)示例中，柱狀圖將 包括沿χ軸的256個(gè)值，每一個(gè)值屬于256種色彩之一，并且y軸標(biāo)識(shí)每一色彩值的像素的 數(shù)量。步驟512實(shí)際上不需要構(gòu)建可見圖表，而是需要構(gòu)建表示柱狀圖的數(shù)據(jù)結(jié)構(gòu)。在步驟514，系統(tǒng)將訪問第二目標(biāo)(例如，襯衫)的深度值和位置(屏幕上的X、 y)。在步驟516，系統(tǒng)將在視覺圖像中標(biāo)識(shí)第二目標(biāo)附近的并且處于距在步驟514中選擇的 位置的深度閾值量之內(nèi)的像素。在步驟518，將該組像素量化并構(gòu)建柱狀圖。在使用超過兩 個(gè)目標(biāo)的實(shí)施方式中，可以對附加目標(biāo)重復(fù)步驟514、516和518。在步驟520，系統(tǒng)將沿骨架查找具有唯一色彩的一個(gè)或多個(gè)子區(qū)域。例如，系統(tǒng)將 使用骨架來標(biāo)識(shí)視覺圖像中的屬于該人的像素。該系統(tǒng)隨后將查找相對于該圖像的其余部 分具有唯一色彩的一個(gè)或多個(gè)像素子區(qū)域。子區(qū)域的一個(gè)示例是T恤衫上的徽標(biāo)。如果系 統(tǒng)找出具有唯一色彩的像素子區(qū)域，則在步驟522，標(biāo)識(shí)靠近子區(qū)域的中心并且和子區(qū)域的 中心有相類似的深度值的像素。在步驟524，記錄并存儲(chǔ)該子區(qū)域在三維空間和骨架上的位置。在步驟526，將該組像素量化并構(gòu)建柱狀圖。在一些實(shí)施方式中，如果系統(tǒng)不能找出衣 服的這樣的特殊區(qū)域，則跳過步驟520-526。此時(shí)，該系統(tǒng)具有多達(dá)三個(gè)柱狀圖第一柱狀圖屬于第一目標(biāo)，第二柱狀圖屬于第 二目標(biāo)，且第三柱狀圖屬于在步驟520中標(biāo)識(shí)的子區(qū)域。在步驟528，系統(tǒng)使用K-均值聚類 來從柱狀圖計(jì)算一個(gè)或多個(gè)簽名。K均值聚類返回聚類中心，該聚類中有多少像素以及該聚 類的邊緣距該聚類的中心有多遠(yuǎn)。在一個(gè)實(shí)施方式中，系統(tǒng)為第一目標(biāo)、第二目標(biāo)以及具有唯一色彩的子區(qū)域生成 單獨(dú)的簽名。在這樣的實(shí)施方式中，對于每一柱狀圖分開執(zhí)行K-均值聚類。對于每一柱狀 圖的K-均值聚類的結(jié)果包括每一柱狀圖的15個(gè)值，表示一簽名。在另一實(shí)施方式中，系統(tǒng)為第一目標(biāo)、第二目標(biāo)以及具有唯一色彩的子區(qū)域生成 一個(gè)組合簽名。在這樣的實(shí)施方式中，對于每一柱狀圖的K-均值聚類的結(jié)果包括這三個(gè)柱 狀圖的15個(gè)值，表示一個(gè)簽名。在另一實(shí)施方式中，系統(tǒng)為第一目標(biāo)、第二目標(biāo)生成一個(gè)組 合簽名，并為具有唯一色彩的子區(qū)域創(chuàng)建第二簽名。圖13是描述用于創(chuàng)建身高簽名的過程的一個(gè)實(shí)施方式的流程圖。圖13的過程是 圖7的步驟384的一個(gè)示例實(shí)現(xiàn)。在圖13的步驟550，系統(tǒng)確定條件是否適于創(chuàng)建身高簽 名。例如，如果用戶的頭不可見，則條件不適于確定身高簽名。如果條件不適于創(chuàng)建身高簽 名(步驟552)，則在步驟558，系統(tǒng)嘗試修復(fù)該問題(如上所述并在以下更詳細(xì)地描述)。 如果該問題可被修復(fù)，則在步驟5M繼續(xù)簽名生成過程。如果該問題不能修復(fù)，則此時(shí)不創(chuàng) 建簽名(步驟562)。如果條件合適(步驟552)，則在步驟554，存儲(chǔ)骨架的位置。在一個(gè)實(shí)施方式中， 步驟M4包括存儲(chǔ)在創(chuàng)建身高簽名時(shí)玩家的三維位置。在比較簽名時(shí)這將被用來內(nèi)插，如 下所述。在圖13的步驟556中，系統(tǒng)將訪問第一目標(biāo)的深度和位置。在一個(gè)實(shí)施方式中， 系統(tǒng)將確定該用戶的頭的三維位置。用于確定用戶的頭的三維位置的一個(gè)手段是使用圖10 的骨架的接合點(diǎn)jo。該骨架將包括該接合點(diǎn)的三維位置。該系統(tǒng)將具有用于將jo的三維 位置轉(zhuǎn)換到人頭的頂部的數(shù)學(xué)公式。只要這一估計(jì)是穩(wěn)定的，則它對這些目的而言是有效 的。在另一實(shí)施方式中，系統(tǒng)可以在視覺上標(biāo)識(shí)頭頂，在視覺上標(biāo)識(shí)腳底(或地面)，并使用 深度來計(jì)算身高。用于確定身高的其他實(shí)施方式也是合適的。圖13的以上實(shí)施方式的結(jié) 果包括兩個(gè)值身高值和骨架在傳感器20的視野中的位置。圖14是描述用于將新臉部簽名與已登記到當(dāng)前視頻游戲或應(yīng)用程序的已有玩家 中的每一個(gè)的適當(dāng)?shù)哪槻亢灻M(jìn)行比較的過程的一個(gè)實(shí)施方式的流程圖。圖14的過程是 圖8的步驟390的一個(gè)示例實(shí)現(xiàn)。在步驟600，系統(tǒng)訪問下一玩家ID的簽名。如上所述， 登記在應(yīng)用程序/游戲中的每一玩家都分配了玩家ID。在步驟600，訪問要考慮的下一玩 家ID。例如，如果在圖14的過程的當(dāng)前實(shí)例中首次執(zhí)行步驟600，則系統(tǒng)將訪問第一登記 玩家的簽名。在步驟602，系統(tǒng)將使用Ll度量來計(jì)算進(jìn)入游戲空間的人的新創(chuàng)建的臉部簽 名與正在考慮的當(dāng)前ID的所訪問的簽名之間的匹配分?jǐn)?shù)。Ll度量的結(jié)果是多維向量的對 應(yīng)系數(shù)中的每一個(gè)之間的絕對差的總和。如果給定ID具有超過一個(gè)存儲(chǔ)的臉部簽名，則在 步驟604，系統(tǒng)選擇當(dāng)前ID的最佳簽名。例如，系統(tǒng)可以選擇具有最低Ll度量的簽名或與 同新玩家的定向最接近的臉部定向相關(guān)聯(lián)的簽名。
將得自在步驟604中選擇的簽名的Ll度量的總和與兩個(gè)閾值進(jìn)行比較。例如，圖 15示出具有兩個(gè)閾值的總和的范圍肯定與未知之間的閾值650 ；以及未知與否定之間的 閾值652。如果絕對差的總和小于閾值650，則剛進(jìn)入游戲空間的人與當(dāng)前考慮的登記玩家 之間存在肯定匹配。即，系統(tǒng)設(shè)想新臉部簽名與該登記玩家的所存儲(chǔ)的臉部簽名相匹配。如 果總和等于0，則這兩個(gè)簽名完全匹配。如果差的總和大于閾值652，則存在否定匹配，意味 著被檢測到剛進(jìn)入游戲空間的人的新創(chuàng)建的臉部簽名與當(dāng)前考慮的登記玩家的這一特定 所存儲(chǔ)的臉部簽名不相匹配。如果來自Ll度量的差的總和大于閾值650但小于閾值652， 則本技術(shù)不知道是否存在匹配?；仡^查看圖14的步驟606，系統(tǒng)確定正在考慮的特定簽名相對于被檢測到剛進(jìn)入 游戲空間的人的新創(chuàng)建的臉部簽名是具有肯定匹配(步驟608)、未知匹配(步驟610)還是 否定匹配(步驟612)。在將當(dāng)前訪問的玩家ID的當(dāng)前訪問的臉部簽名進(jìn)行了分類之后， 在步驟626，系統(tǒng)確定是否存在更多的要考慮的登記玩家(并且因此存在更多的登記玩家 ID)。如果否，則圖14的過程完成。如果存在更多的登記玩家要考慮(例如，要考慮更多的 登記玩家)，則該過程循環(huán)回步驟600并考慮下一登記玩家ID，并且該過程如上所述地繼 續(xù)。圖16是描述用于比較衣服簽名的過程的一個(gè)實(shí)施方式的流程圖。圖16的過程是 圖8的步驟392的一個(gè)示例實(shí)現(xiàn)。在圖16的步驟660，訪問一組登記玩家的下一登記玩家 ID (參見上文針對步驟600的討論)。在步驟662，系統(tǒng)將訪問該玩家ID的所有衣服簽名并 隨后通過位置來過濾它們?；仡^查看圖12，在創(chuàng)建簽名時(shí)，系統(tǒng)確定并存儲(chǔ)在創(chuàng)建該衣服 簽名時(shí)進(jìn)入游戲空間的新玩家的位置。在一個(gè)實(shí)施方式中，對于每一登記玩家，將存在多組 簽名。每一組簽名將與游戲空間中的不同位置相對應(yīng)。構(gòu)想了游戲空間可具有不同的光照 或其他環(huán)境因素。環(huán)境中的這些變化可影響簽名。因此，系統(tǒng)可為不同的位置保持單獨(dú)的 一組衣服簽名。步驟662包括過濾特定玩家ID的簽名以標(biāo)識(shí)在距離上最接近剛進(jìn)入游戲 空間的玩家的位置的一組一個(gè)或多個(gè)簽名。在步驟664，系統(tǒng)將計(jì)算剛進(jìn)入游戲空間的人 的特定簽名與在步驟662中訪問的對應(yīng)簽名之間的earth mover (堆土機(jī))距離。如果在 步驟662只訪問了一個(gè)衣服簽名，則只計(jì)算一個(gè)earth mover距離。如果步驟662訪問了 襯衫的簽名和褲子的簽名，則步驟664將計(jì)算正在考慮的ID的襯衫簽名與剛進(jìn)入游戲空間 的人之間的earth mover距離，以及正在考慮的ID的褲子簽名與剛進(jìn)入游戲空間的人之間 的earth mover距離。如果步驟662還訪問了正在考慮的ID的衣服的子區(qū)域的簽名并且 剛進(jìn)入游戲空間的人的衣服的子區(qū)域的簽名存在，則計(jì)算第三earth mover距離。在一些 實(shí)施方式中，在比較褲子和襯衫簽名的過程中，不將正在考慮的ID的衣服的子區(qū)域的簽名 與剛進(jìn)入游戲空間的人的衣服的子區(qū)域的簽名進(jìn)行比較。在步驟666，將earth mover距離與兩個(gè)閾值進(jìn)行比較(參見圖15)?；谠摫?較，系統(tǒng)將比較分類成肯定、未知、或否定。在步驟668，確定步驟666的比較中的任一個(gè)是 否具有否定結(jié)果。如果是，則正在考慮的ID的總分?jǐn)?shù)是否定的(步驟670)。如果步驟666 的比較中沒有一個(gè)具有否定結(jié)果，則在步驟672，確定步驟666中的任一個(gè)是否具有肯定結(jié) 果。如果是，則正在考慮的ID的總分?jǐn)?shù)是肯定的(步驟674)。如果步驟666的比較中沒有 一個(gè)具有肯定結(jié)果，則正在考慮的ID的總分?jǐn)?shù)是未知的(步驟676)。在步驟670、674和676之后，該過程在步驟678處繼續(xù)。在步驟678，系統(tǒng)確定是否存在尚未被評估的任何另外的登記玩家(登記玩家的玩家ID)。如果沒有更多登記玩家 要考慮，則圖16的過程完成。如果有更多登記玩家要考慮，則該過程循環(huán)回步驟660并且 系統(tǒng)考慮下一登記玩家。在一個(gè)實(shí)施方式中，針對襯衫和褲子簽名來執(zhí)行圖16的過程，并且是與針對同唯 一色彩的子區(qū)域相關(guān)聯(lián)的簽名分開執(zhí)行的。圖17是描述用于比較身高簽名的過程的一個(gè)實(shí)施方式的流程圖。圖17的過程是 圖8的步驟394的一個(gè)示例實(shí)現(xiàn)。對于每一登記玩家，步驟700的過程執(zhí)行一次。在圖17 的步驟700，系統(tǒng)將訪問剛進(jìn)入游戲空間的新人的深度值。該深度值是基于骨架的(圖10)。 如參考圖13所述，在確定身高值時(shí)，在確定身高值時(shí)骨架的位置也被存儲(chǔ)。在步驟702，基于正在考慮的登記玩家的所存儲(chǔ)的身高簽名，使用在步驟700訪問 的深度值來內(nèi)插該人的身高。構(gòu)想了該系統(tǒng)將為登記玩家中的每一個(gè)創(chuàng)建多個(gè)身高值數(shù)據(jù) 點(diǎn)。身高值可以變化，例如由于照相機(jī)傾斜、從加速計(jì)類設(shè)備評估地面-法線或重力時(shí)的誤 差，或其他原因。例如，當(dāng)玩家在傳感器前在房間的不同部分四處走動(dòng)時(shí)，將記錄多個(gè)身高 值。對于每一身高值，系統(tǒng)將記錄該玩家的所確定的身高和該玩家的深度?；谶@兩段信 息，系統(tǒng)可使一曲線或函數(shù)符合該數(shù)據(jù)，以創(chuàng)建最佳地最小化誤差而同時(shí)表征身高數(shù)據(jù)的 數(shù)學(xué)函數(shù)。在步驟702，使用進(jìn)入游戲空間的人的骨架的深度值來內(nèi)插來自最佳地最小化誤 差而同時(shí)表征特定登記玩家的身高數(shù)據(jù)的曲線或函數(shù)的身高值。在步驟704，將來自702的內(nèi)插的身高值與使用圖13的過程計(jì)算得到的身高值進(jìn) 行比較。將該差與兩個(gè)閾值(參見圖15)進(jìn)行比較以確定比較結(jié)果是肯定標(biāo)識(shí)(步驟708)、 未知標(biāo)識(shí)(步驟710)還是否定標(biāo)識(shí)(步驟712)。圖17的過程對于登記玩家中的每一個(gè)來 重復(fù)，因此，使用圖13的方法新創(chuàng)建的簽名被使用圖17的過程來與登記玩家中的每一個(gè)進(jìn) 行比較。在執(zhí)行了圖8的過程之后(例如，使用圖14、16和17的過程)，系統(tǒng)現(xiàn)在具有相對 于進(jìn)入游戲空間的新人與每一登記玩家的臉部、衣服和身高的肯定、否定、或未知分?jǐn)?shù)。因 此，如果有四個(gè)登記玩家，則存在12個(gè)分?jǐn)?shù)。圖18是示出對于四個(gè)登記玩家執(zhí)行圖8的過 程而得到的一組示例分?jǐn)?shù)的表。該系統(tǒng)將應(yīng)用一組規(guī)則以將登記玩家之一與進(jìn)入游戲空間的新人進(jìn)行匹配。在一 個(gè)實(shí)施方式中，系統(tǒng)將應(yīng)用以下三個(gè)規(guī)則1.對匹配的登記玩家的響應(yīng)只可以是肯定或未知，不會(huì)是否定；2.對于匹配的登記玩家一定存在至少一個(gè)肯定響應(yīng)；以及3.首先通過臉，其次通過衣服，并且第三通過身高來進(jìn)行過濾。在每一級(jí)，只有一 個(gè)候選可以是肯定的，否則所有肯定都被當(dāng)作未知。在一個(gè)實(shí)施方式中，臉部比較將優(yōu)先于其他比較，因?yàn)橄胍试S在玩家決定在游 戲期間通過脫下或穿上一層衣服或以其他方式改變衣服來改變他/她的衣服色彩的情況 下進(jìn)行重新標(biāo)識(shí)。在一個(gè)實(shí)現(xiàn)中，對臉部比較的更大強(qiáng)調(diào)只在僅有單個(gè)臉部肯定并且該臉 部分?jǐn)?shù)足夠好(可能需要比肯定閾值更好)的情況下才適用。在一個(gè)實(shí)施方式中，衣服的 子區(qū)域的分?jǐn)?shù)(參見圖12的步驟520)可以在衣服的簽名之后并在上述第三規(guī)則中的身高 簽名之前單獨(dú)比較(如果可用)。在將這些規(guī)則應(yīng)用于圖18的數(shù)據(jù)時(shí)，系統(tǒng)通過比較臉部分?jǐn)?shù)來開始。因?yàn)槟槻糠謹(jǐn)?shù)中的兩個(gè)是肯定的，所有它們兩者被當(dāng)作“未知”。登記玩家#2的臉部分?jǐn)?shù)是否定，所以 不考慮登記玩家2。其次，比較衣服分?jǐn)?shù)，這排除了登記玩家3和4。登記玩家1的身高分 數(shù)是肯定的并且登記玩家是唯一沒有被排除的候選；因此系統(tǒng)確定進(jìn)入游戲空間的新人與 登記玩家#1相匹配。系統(tǒng)會(huì)將進(jìn)入游戲空間的這一新人分配到登記玩家1。進(jìn)一步，進(jìn)入 游戲空間的這一新人將控制可由登記玩家1來控制的化身或?qū)ο?。在具有衣服的子區(qū)域的 單獨(dú)分?jǐn)?shù)的一個(gè)實(shí)施方式中(參見圖12的步驟520)，圖18的表將包括用于子區(qū)域分?jǐn)?shù)的 另一行。圖19是描述用于基于使用圖7的過程來創(chuàng)建并使用圖8的過程來與登記玩家進(jìn) 行比較以創(chuàng)建分?jǐn)?shù)的簽名，來確定進(jìn)入游戲空間的新人與登記玩家中的哪一個(gè)(如果有的 話)相對應(yīng)的過程的一個(gè)實(shí)施方式的流程圖。圖19的過程是圖6的步驟354的一個(gè)實(shí)施 方式并且是上述三個(gè)規(guī)則的示例實(shí)現(xiàn)。在圖19的步驟800中，系統(tǒng)將訪問臉部分?jǐn)?shù)。例如，回頭查看圖18，系統(tǒng)訪問玩家 1的肯定分?jǐn)?shù)、玩家2的否定分?jǐn)?shù)、玩家3的肯定分?jǐn)?shù)以及玩家4的未知分?jǐn)?shù)。在步驟802， 系統(tǒng)將排除具有否定臉部分?jǐn)?shù)的所有登記玩家。如果對具有否定臉部分?jǐn)?shù)的所有登記玩家 的排除造成空候選集合，則系統(tǒng)將在早期因沒有匹配而終止。在步驟804，系統(tǒng)確定有多少 臉部分?jǐn)?shù)是肯定的。如果只有一個(gè)肯定分?jǐn)?shù)，則在步驟806，系統(tǒng)將斷定具有肯定分?jǐn)?shù)的ID 是剛進(jìn)入游戲空間的玩家的匹配。系統(tǒng)隨后不檢查衣服分?jǐn)?shù)和身高。這樣的方法允許在玩 家脫掉或穿上一件衣服的情況下進(jìn)行匹配。例如，如果玩家脫下毛衣，則在臉部分?jǐn)?shù)是肯定 的情況下該玩家仍然能夠匹配。在另一實(shí)施方式中，如果臉部分?jǐn)?shù)是強(qiáng)肯定的，則系統(tǒng)隨后 不檢查衣服分?jǐn)?shù)和身高分?jǐn)?shù)；然而，如果臉部分?jǐn)?shù)是較弱肯定，則系統(tǒng)隨后檢查衣服分?jǐn)?shù)和 身高分?jǐn)?shù)。回頭查看步驟804，如果確定肯定分?jǐn)?shù)的數(shù)量大于1，則在步驟814，現(xiàn)在將所有肯 定都看作未知，并且該過程繼續(xù)至步驟812。如果肯定匹配的數(shù)量(步驟804)是0，則在步 驟812中，系統(tǒng)將訪問衣服分?jǐn)?shù)。在訪問了衣服分?jǐn)?shù)之后，在步驟816，系統(tǒng)將排除具有否定衣服分?jǐn)?shù)的所有登記玩 家。如果對具有否定衣服分?jǐn)?shù)的所有登記玩家的排除造成空候選集合，則系統(tǒng)將因沒有匹 配而早期終止。在步驟818，系統(tǒng)將確定衣服的肯定分?jǐn)?shù)的數(shù)量。如果肯定分?jǐn)?shù)的數(shù)量正好 是1，則在步驟820，系統(tǒng)確定具有肯定分?jǐn)?shù)的特定登記玩家是否具有身高否定分?jǐn)?shù)。如果 該特定登記玩家不具有任何否定分?jǐn)?shù)，則在步驟822，將該特定登記玩家與剛進(jìn)入游戲空間 的人相匹配。如果特定登記玩家確實(shí)具有否定分?jǐn)?shù)，則在步驟824，排除該特定登記玩家并 且該過程在步驟擬6繼續(xù)。如果在步驟818確定的肯定分?jǐn)?shù)的數(shù)量大于1，則在步驟828， 系統(tǒng)將衣服的所有肯定分?jǐn)?shù)都看作未知并且該過程在步驟擬6繼續(xù)。如果確定在步驟818 中的肯定匹配的數(shù)量是0，則在步驟826中，系統(tǒng)將訪問身高分?jǐn)?shù)。在步驟830，排除具有身高的否定身高分?jǐn)?shù)的任何登記ID。如果對具有否定身高 分?jǐn)?shù)的所有登記玩家的排除造成空候選集合，則系統(tǒng)將因沒有匹配而終止。在步驟832，系 統(tǒng)確定身高的肯定分?jǐn)?shù)的數(shù)量。如果正好有一個(gè)肯定分?jǐn)?shù)，則該登記玩家是剛進(jìn)入游戲空 間的人的匹配登記玩家(步驟834)；否則，沒有匹配(步驟836)。因此，在圖19的過程的 結(jié)尾，或者系統(tǒng)將返回與剛進(jìn)入游戲空間的人相匹配的登記玩家的ID，或者系統(tǒng)將返回“沒 有匹配”。
在具有衣服的子區(qū)域的單獨(dú)分?jǐn)?shù)的一個(gè)實(shí)施方式中(圖12的步驟520)，可以修改 圖19的過程，以使得在步驟擬6之前系統(tǒng)將比較衣服的子區(qū)域的分?jǐn)?shù)(如果可用)。如果 有任何否定分?jǐn)?shù)，則這些ID將被排除。如果有超過一個(gè)肯定，則它們將被當(dāng)作未知。如果 只有一個(gè)肯定，則在該ID的身高分?jǐn)?shù)不是否定的情況下該ID將是匹配。如果沒有作出匹 配，則系統(tǒng)將在步驟擬6繼續(xù)。如以上參考圖5所討論的，如果沒有確定匹配，則該系統(tǒng)會(huì)向該玩家分配新ID并 且應(yīng)用程序?qū)Q定對該新玩家做些什么。如果執(zhí)行圖19的過程的系統(tǒng)返回已有登記玩家 的ID，則進(jìn)入游戲空間的新人將被映射到該匹配登記玩家的ID (圖5的步驟312)并隨后該 人將作為已有的登記玩家來與視頻游戲/應(yīng)用程序進(jìn)行交互。例如，進(jìn)入游戲空間的新人 將能夠控制游戲中的已有玩家的化身以與游戲/應(yīng)用程序中的對象或其他實(shí)體進(jìn)行交互?；仡^查看圖5，步驟316包括細(xì)化(例如，動(dòng)態(tài)地更新)上述閾值(參見例如圖 15)。圖20是描述用于細(xì)化這些閾值的一個(gè)實(shí)施方式的流程圖。即，圖20的過程是步驟316 的實(shí)現(xiàn)的一個(gè)示例。在圖20的步驟880，系統(tǒng)將獲得來自多個(gè)登記玩家的數(shù)據(jù)。例如，在一 段時(shí)間內(nèi)，系統(tǒng)將使用上述過程來創(chuàng)建許多玩家的臉部、衣服、以及身高簽名。在步驟882， 系統(tǒng)將比較同一登記玩家的各簽名。即，對于每一登記玩家，系統(tǒng)將比較該登記玩家的所有 臉部簽名，比較該登記玩家的所有衣服簽名并隨后比較該登記玩家的所有身高簽名。然而， 比較被限于只比較重疊簽名。該系統(tǒng)嘗試確定每一特定登記玩家的數(shù)據(jù)的偏差。例如，可 以計(jì)算標(biāo)準(zhǔn)差(或其他度量)。在步驟884，系統(tǒng)比較不同登記玩家的簽名并確定登記玩家 之間的偏差數(shù)據(jù)。例如，可以計(jì)算標(biāo)準(zhǔn)差(或其他度量)?；谠撈顢?shù)據(jù)，在步驟888，系 統(tǒng)確定未知和否定匹配之間的閾值652。在一個(gè)實(shí)施方式中，系統(tǒng)可以在執(zhí)行視頻游戲/應(yīng) 用程序時(shí)使用登記玩家來獲得該數(shù)據(jù)。在另一實(shí)施方式中，系統(tǒng)可以在不播放視頻游戲時(shí) 通過請求玩家在特定位置擺姿勢來獲得該數(shù)據(jù)。在步驟888，將比較所有登記玩家的所有偏 差(參見步驟88 以確定肯定和未知之間的閾值650，以使得登記玩家的簽名中的全部或 大多數(shù)都被看作肯定匹配。圖20的過程也可以在制造該系統(tǒng)之前在實(shí)驗(yàn)室中或在仿真中執(zhí)行，以執(zhí)行圖5的 步驟300，這包括確立閾值的初始集合。雖然這一數(shù)據(jù)將不基于特定家庭用戶的輸入，但這 是可在圖5的步驟316中動(dòng)態(tài)地更新的很好起點(diǎn)。在創(chuàng)建圖20的過程的簽名或其他時(shí)或響應(yīng)于不適于創(chuàng)建簽名的條件，視覺標(biāo)識(shí) 和跟蹤模塊194可以向應(yīng)用程序196提供指導(dǎo)(參見圖12)以改進(jìn)所收集的并用于簽名的 數(shù)據(jù)。圖21是描述用于改進(jìn)被收集來創(chuàng)建簽名的數(shù)據(jù)的過程的一個(gè)實(shí)施方式的流程圖。圖 21的過程響應(yīng)于應(yīng)用程序196請求幫助獲得簽名(步驟900)來開始，該系統(tǒng)因?yàn)闂l件不合 適(步驟90 (如上所述)或其他原因而不能夠獲得簽名。在圖21的步驟904，在進(jìn)行簽 名創(chuàng)建的考慮下，系統(tǒng)將使用一個(gè)或多個(gè)深度圖像和/或視覺圖像來嘗試標(biāo)識(shí)骨架的所有 身體部分。如果身體部分中的任一部分被遮擋(步驟906)，則在步驟908報(bào)告該遮擋。在 步驟910，系統(tǒng)嘗試標(biāo)識(shí)臉部特征(例如，眼睛、鼻子、嘴巴)。基于標(biāo)識(shí)，在步驟912，系統(tǒng)確 定該人是否正面向照相機(jī)。如果該人沒有面向照相機(jī)，則在步驟914，系統(tǒng)將報(bào)告該人沒有 看著照相機(jī)。在步驟916，系統(tǒng)將基于從深度圖像返回的骨架來觀察該人的姿勢。如果該人沒有 站直，則在920中報(bào)告該姿勢問題。在步驟922，感測光照條件。例如，系統(tǒng)確定光照是否太亮或太暗。如果光照不合適，則在步驟擬6報(bào)告光照問題。在步驟928，系統(tǒng)確定骨架的橫 向位置是否有問題。例如，如果人太靠近房間的邊緣或已知有問題的任何位置，則可以在步 驟932報(bào)告該信息。在步驟934，系統(tǒng)確定該人的深度。如果該人太深或太近(步驟936)， 則在步驟940報(bào)告該人的深度的問題。在步驟942，系統(tǒng)將基于在步驟908、914、920、926、 932以及940中報(bào)告的所有問題來生成報(bào)告。作為步驟942的一部分，這一報(bào)告被發(fā)送到應(yīng) 用程序196。在步驟944，應(yīng)用程序196接收報(bào)告并指導(dǎo)玩家以便在游戲/應(yīng)用程序的上下 文內(nèi)以非侵入性的方式來校正問題。例如，系統(tǒng)可以使一對象在視頻游戲中移動(dòng)以使玩家 改變位置、姿勢等，以便校正所報(bào)告的問題。注意，如果系統(tǒng)嘗試在沒有來自應(yīng)用程序的顯 式請求的情況下標(biāo)識(shí)或收集玩家的更多簽名，則在條件不適于創(chuàng)建簽名的情況下系統(tǒng)將安 靜地失敗以便不干擾游戲。回頭查看圖5，步驟302包括將玩家登記在應(yīng)用程序/游戲中。在一個(gè)實(shí)施方式 中，系統(tǒng)將請求用戶輸入玩家的數(shù)量并隨后順序地請求每一玩家標(biāo)識(shí)他們自己。對于每一 玩家，系統(tǒng)將請求該玩家在各個(gè)位置作出各種姿勢以生成上述必要的簽名。因?yàn)楣庹湛赡?取決于玩家在房間中的位置而變化，所以一個(gè)實(shí)施方式包括在多個(gè)位置捕捉玩家的衣服的 多個(gè)圖像以創(chuàng)建不同位置的多個(gè)簽名并基于玩家的世界空間位置來索引它們?？梢允褂糜?于桶裝(bucket)并替換已有簽名的類似方法。該簽名可包括世界空間位置。該組簽名被 基于與每一樣本相關(guān)聯(lián)的世界空間位置的鄰近度來劃分并被編組成各個(gè)桶。新簽名被存儲(chǔ) 在與同它的位置最接近的簽名相關(guān)聯(lián)的桶中?；蛘?，新簽名替換與同它的位置最接近的簽 名相關(guān)聯(lián)的桶中的已有簽名。在一個(gè)實(shí)施方式中，新簽名替換具有到所有已有樣本的最短 距離總和的舊簽名。在對實(shí)體進(jìn)行登記時(shí)，一種示例技術(shù)包括在各個(gè)定向上獲得臉部的多個(gè)快照。一 種方法包括細(xì)化所支持的臉部定向(臉部法線)的圓錐。在該圓錐內(nèi)，系統(tǒng)定義優(yōu)選定向 的離散集合，這些定向在中心周圍密集并且沿圓錐的邊緣變得稀疏。一旦系統(tǒng)獲得了新臉 部簽名，則系統(tǒng)將使用各種試探法來決定臉部是否足夠好并且完全可見(例如，骨架位置 和示例標(biāo)記是兩個(gè)這樣的實(shí)施方式)。如果是，則系統(tǒng)計(jì)算臉部法線并找出臉部定向的離散 集合中的最接近的項(xiàng)。在一個(gè)實(shí)施方式中，如果系統(tǒng)沒有該定向的快照則只添加新的標(biāo)準(zhǔn) 化快照。然而，如果給定一些打分度量，新臉部簽名更好，則另一可能的實(shí)施方式可以支持 替換已有快照。用于對身份進(jìn)行登記并獲得多個(gè)臉部簽名的另一實(shí)施方式包括保持固定數(shù)量的 臉部簽名來對身份進(jìn)行登記并在骨架跟蹤期間收集這些臉部樣本。在新臉部樣本可用時(shí)， 它替換具有到所有已有樣本的最短距離總和(在PCA空間中測量)的舊樣本。以此方式， 系統(tǒng)獲得盡可能遠(yuǎn)離的一組樣本；因此，橫跨該身份的大型和完整的臉部空間。在另一實(shí)施方式中，如果游戲/應(yīng)用程序在該游戲或應(yīng)用程序開始之前一次性對 玩家進(jìn)行登記，系統(tǒng)可以保持獲取在傳感器的前面的各玩家的樣本。在該游戲/應(yīng)用程序 標(biāo)識(shí)出它想要對特定玩家進(jìn)行登記時(shí)，該玩家的數(shù)據(jù)已經(jīng)被存儲(chǔ)了。該系統(tǒng)可以采取彼此 最遠(yuǎn)的K個(gè)數(shù)據(jù)值的集合以提供數(shù)據(jù)樣本的良好集合。盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語言描述了本主題，但可以理解，所附權(quán) 利要求書中定義的主題不必限于上述具體特征或動(dòng)作。相反，上述具體特征和動(dòng)作是作為 實(shí)現(xiàn)權(quán)利要求的示例形式公開的。本發(fā)明的范圍由所附的權(quán)利要求進(jìn)行限定。
權(quán)利要求
1.一種配置一組登記玩家與基于計(jì)算機(jī)的應(yīng)用程序之間的交互的方法，包括 執(zhí)行所述基于計(jì)算機(jī)的應(yīng)用程序(304)，包括與所述一組登記玩家的子集進(jìn)行交互； 確定一個(gè)人已經(jīng)變得可在所述游戲空間中檢測(306)，該人不是所述一組登記玩家的當(dāng)前與所述基于計(jì)算機(jī)的應(yīng)用程序進(jìn)行交互的子集中的一個(gè)；將所述人自動(dòng)地標(biāo)識(shí)為所述一組登記玩家中的特定登記玩家(308)；以及 將所述人映射到所述特定登記玩家(312)并基于所述映射來與所述人進(jìn)行交互 (304)。
2.如權(quán)利要求1所述的方法，其特征在于，還包括 感測所述人的視覺數(shù)據(jù)；以及感測所述人的深度數(shù)據(jù)，自動(dòng)地將所述人標(biāo)識(shí)為特定登記玩家是基于所述視覺數(shù)據(jù)和 深度數(shù)據(jù)的。
3.如權(quán)利要求1所述的方法，其特征在于，還包括確立閾值，所述閾值是在自動(dòng)地將所述人標(biāo)識(shí)為所述特定登記玩家時(shí)使用的；以及 在執(zhí)行所述基于計(jì)算機(jī)的應(yīng)用程序時(shí)并基于該執(zhí)行來動(dòng)態(tài)地更新所述閾值。
4.如權(quán)利要求1所述的方法，其特征在于，所述自動(dòng)地標(biāo)識(shí)包括 接收來自一個(gè)或多個(gè)傳感器的視覺數(shù)據(jù)和深度數(shù)據(jù)；基于所述視覺數(shù)據(jù)和深度數(shù)據(jù)來創(chuàng)建指示所述人的外觀的一組視覺簽名；以及 確定所述視覺簽名是否與所述一組登記玩家中的任一個(gè)的所存儲(chǔ)的簽名相對應(yīng)。
5.如權(quán)利要求4所述的方法，其特征在于所述創(chuàng)建視覺簽名包括創(chuàng)建所述人的臉部的外觀的簽名，創(chuàng)建所述人的衣服的外觀的 簽名以及創(chuàng)建所述人的身高的簽名。
6.如權(quán)利要求5所述的方法，其特征在于，所述確定所述視覺簽名是否與所述一組登 記玩家中的任一個(gè)的所存儲(chǔ)的簽名相對應(yīng)包括(a)確定所述人的臉部的外觀的簽名是否與所述一組登記玩家中的任一個(gè)的臉部的所 存儲(chǔ)的簽名相對應(yīng)；(b)確定所述人的衣服的外觀的簽名是否與所述一組登記玩家中的任一個(gè)的衣服的所 存儲(chǔ)的簽名相對應(yīng)；(c)確定所述人的身高的簽名是否與所述一組登記玩家中的任一個(gè)的身高的所存儲(chǔ)的 簽名相對應(yīng)；以及基于步驟(a)、(b)和(c)來作出關(guān)于所述人是否是所述特定登記玩家的合計(jì)決定。
7.如權(quán)利要求1所述的方法，其特征在于，所述自動(dòng)地標(biāo)識(shí)包括 接收來自一個(gè)或多個(gè)傳感器的視覺圖像和深度圖像；基于所述視覺圖像和深度圖像來創(chuàng)建指示所述人的一個(gè)或多個(gè)視覺簽名；以及 確定所述一個(gè)或多個(gè)視覺簽名是否與所述一組登記玩家中的任一個(gè)的所存儲(chǔ)的簽名 相對應(yīng)。
8.如權(quán)利要求1所述的方法，其特征在于 所述基于計(jì)算機(jī)的應(yīng)用程序是視頻游戲； 確定不存在足以標(biāo)識(shí)所述人的數(shù)據(jù)；響應(yīng)于確定不存在足以標(biāo)識(shí)所述人的數(shù)據(jù)，作為所述視頻游戲的一部分來請求所述人執(zhí)行特定動(dòng)作；以及響應(yīng)于所述特定動(dòng)作來獲取足夠的數(shù)據(jù)。
9.一種視頻游戲裝置，包括到監(jiān)視器(140,232)的接口 ；傳感器系統(tǒng)00)；以及與所述接口和所述傳感器系統(tǒng)進(jìn)行通信的一個(gè)或多個(gè)處理器(101，108，110，231， 259)；所述一個(gè)或多個(gè)處理器確立閾值，將玩家登記到視頻游戲中，執(zhí)行所述視頻游戲，包括 基于所述登記來與所述玩家的子集進(jìn)行交互，確定一個(gè)人已變得可在所述視頻游戲的游戲 空間中檢測，自動(dòng)地確定該人是否是所述登記玩家之一，如果確定該人是所述登記玩家之 一則將該人映射到登記玩家并基于所述映射來在所述視頻游戲中與該人進(jìn)行交互，以及如 果確定該人不是所述登記玩家之一則向該人分配新標(biāo)識(shí)并基于該新標(biāo)識(shí)來在所述視頻游 戲中與該人進(jìn)行交互。
10.如權(quán)利要求9所述的視頻游戲裝置，其特征在于所述一個(gè)或多個(gè)處理器通過在視覺上標(biāo)識(shí)所述人來自動(dòng)地確定所述人是否是所述登記玩家之一。
11.如權(quán)利要求9所述的視頻游戲裝置，其特征在于所述一個(gè)或多個(gè)處理器創(chuàng)建所述人的視覺簽名并使用閾值來將所述人的視覺閾值與 所述登記玩家的所存儲(chǔ)的視覺簽名進(jìn)行比較；以及在執(zhí)行所述視頻游戲時(shí)并基于對所述視頻游戲的執(zhí)行，所述一個(gè)或多個(gè)處理器動(dòng)態(tài)地 更新所述閾值。
12.如權(quán)利要求9所述的視頻游戲裝置，其特征在于所述一個(gè)或多個(gè)處理器創(chuàng)建所述人的視覺簽名并使用閾值來將所述人的視覺閾值與 所述登記玩家的所存儲(chǔ)的視覺簽名進(jìn)行比較；以及所述視覺簽名中的至少一個(gè)時(shí)使用來自所述傳感器系統(tǒng)的深度數(shù)據(jù)來創(chuàng)建的。
13.如權(quán)利要求9所述的視頻游戲裝置，其特征在于所述一個(gè)或多個(gè)處理器創(chuàng)建所述人的視覺簽名并使用閾值來將所述人的視覺閾值與 所述登記玩家的所存儲(chǔ)的視覺簽名進(jìn)行比較；以及所述視覺簽名包括所述人的臉部的外觀的視覺簽名，所述人的衣服的外觀的視覺簽名 以及所述人的身高的視覺簽名。
14.如權(quán)利要求9所述的視頻游戲裝置，其特征在于所述一個(gè)或多個(gè)處理器通過基于所述人的移動(dòng)控制所述視頻游戲中的化身來基于所 述新標(biāo)識(shí)與所述人在所述視頻游戲中進(jìn)行交互。
15.如權(quán)利要求10-14中的任一項(xiàng)所述的視頻游戲裝置，其特征在于所述傳感器系統(tǒng)感測所述人的視覺數(shù)據(jù)和所述人的深度數(shù)據(jù)，所述一個(gè)或多個(gè)處理器 基于所述視覺數(shù)據(jù)和所述深度數(shù)據(jù)來確定所述人是否是所述登記玩家之一。
全文摘要
一種視頻游戲系統(tǒng)(或其他數(shù)據(jù)處理系統(tǒng))可以在視覺上標(biāo)識(shí)進(jìn)入該系統(tǒng)的視野的人并確定該人先前是否正與該系統(tǒng)進(jìn)行交互。在一個(gè)實(shí)施方式中，該系統(tǒng)確立閾值，對玩家進(jìn)行登記，執(zhí)行該視頻游戲(或其他應(yīng)用程序)，包括基于登記來與玩家的子集進(jìn)行交互，確定一個(gè)人已變得可在該系統(tǒng)的視野中檢測，自動(dòng)地確定該人是否是登記玩家之一，如果確定該人是登記玩家之一則將該人映射到登記玩家并基于該映射來與該人進(jìn)行交互，以及如果確定該人不是登記玩家之一則向該人分配新標(biāo)識(shí)并基于該新標(biāo)識(shí)來與該人進(jìn)行交互。
文檔編號(hào)G06F9/44GK102141838SQ20111003722
公開日2011年8月3日 申請日期2011年1月28日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者C·L·米克霍夫, M·S·德尼斯, T·M·基奧薩巴卞, T·萊瓦德, 危夷晨, 孫劍, 李勁宇 申請人:微軟公司