專利名稱：在運動捕捉系統(tǒng)中跟蹤用戶組的制作方法
技術領域：
本發(fā)明涉及運動捕捉系統(tǒng)，尤其涉及運動捕捉系統(tǒng)的用戶跟蹤。
背景技術：
運動捕捉系統(tǒng)獲得關于人或其他主體在物理空間中的位置和移動的數(shù)據(jù)，并可使 用該數(shù)據(jù)作為計算系統(tǒng)中的某一應用的輸入?？赡苡性S多應用，如出于軍事、娛樂、體育和 醫(yī)療目的。例如，人的運動可被映射到三維人類骨架模型并用于創(chuàng)建動畫人物或化身。包 括使用可見和不可見(例如，紅外)光的系統(tǒng)在內的光學系統(tǒng)使用相機來檢測視野中的人 的存在?？蓪θ朔胖脴擞泚韼椭鷻z測，但也已經(jīng)開發(fā)了無標記系統(tǒng)。某些系統(tǒng)使用由人攜 帶或附帶的慣性傳感器來檢測移動。例如，在某些視頻游戲應用中，用戶握住可在玩游戲時 檢測移動的無線控制器。然而，需要允許個人和組與應用更自然地交互的進一步改進。

發(fā)明內容
提供了一種用于跟蹤用戶組來向應用提供單一輸入的處理器實現(xiàn)的方法、運動捕 捉系統(tǒng)和有形計算機可讀存儲。在運動捕捉系統(tǒng)中，跟蹤一個或多個人在視野中的移動，并將這些移動用作對應 用的輸入。在一種方法中，基于一組人的移動和/或位置來向應用提供單一輸入。也可使用 來自該組的音頻信息來作為輸入。應用可經(jīng)由顯示器和音頻輸出來向該人或組提供實時反 饋。例如，組可以基于組中的每一個人的移動來控制化身在虛擬空間中的移動。在一示例 實現(xiàn)中，使用組輸入來操控或平衡游戲應用中的化身。在另一方面，為被遮擋或部分地在視 野外的人生成遺漏數(shù)據(jù)。在又一方面，使用各種技術來最小化應用的不連續(xù)輸出的風險。在一個實施例中，一種用于在運動捕捉系統(tǒng)中跟蹤多個人的處理器實現(xiàn)的方法包 括跟蹤運動捕捉系統(tǒng)的視野中的包括各個人的身體的組。該跟蹤包括檢測視野中的各個人 的身體。人可被個別地檢測?；谠摳?，基于該組中的各人的移動按照單一實體來確定 該組的移動。例如，可以隨著標識組中的各個成員來標識圍繞該組的團或塊的移動?；蛘撸?可以個別地標識每一個人?？梢詾槊恳粋€人確定代表性點位置，并且可以基于每一個人的 代表性點位置的集體移動來確定組的移動。該方法還包括向應用提供基于組作為單一實體 的移動的輸入。應用在顯示器上顯示虛擬空間，并基于各輸入來實時更新顯示器，使得組基 于該組作為單一實體的移動來控制應用程序。提供本發(fā)明內容以便用簡化形式介紹在下面的說明書中進一步描述的一些概念。 本發(fā)明內容并不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所 要求保護的主題的范圍。


圖Ia和Ib描繪了其中用戶與模擬拳擊比賽的應用交互的運動捕捉系統(tǒng)的一個示 例實施例。
圖2描繪了圖Ia的運動捕捉系統(tǒng)10的示例框圖。圖3描繪了可以在圖Ia的運動捕捉系統(tǒng)中使用的計算環(huán)境的示例框圖。圖4描繪了可以在圖Ia的運動捕捉系統(tǒng)中使用的計算環(huán)境的另一示例框圖。圖5描繪了用于使一個或多個人能夠與運動捕捉系統(tǒng)交互的方法。圖6a描繪了用于如圖5的步驟500所述地跟蹤一個或多個人的移動的示例方法。圖6b描繪了用于如圖5的步驟500所述地跟蹤視野中的一個或多個人的示例方 法，其中確定每一個人的代表性點位置。圖6c描繪了用于如圖5的步驟500所述地跟蹤視野中的一個或多個人的示例方 法，其中確定單個形狀的代表性點位置。圖6d描繪了用于如圖5的步驟500所述地跟蹤視野中的一個或多個人的示例方 法，其中確定共同移動。圖6e描繪了如圖6a的步驟608所述的個人的示例骨架模型。圖6f描繪了如圖6a的步驟608所述的個人的另一示例骨架模型。圖6g描繪了如圖6a的步驟608所述的一組人的示例模型。圖描繪了如圖6b的步驟614所述地基于骨架模型來確定代表性點位置的示 例。圖6i描繪了如圖6b的步驟618所述地基于定界圓柱體或矩形來確定代表性點位 置的示例。圖6j描繪了如圖6b的步驟621和圖6c的步驟625所述地基于多個單組代表性 點位置來確定多組代表性點位置的示例。圖7a描繪了示例顯示和物理空間，其中確定每一個人的大小和代表性點位置，并 且確定組的代表性點位置且將其用于操控化身。圖7b描繪了在組的代表性點位置移動之后基于圖7a的示例顯示和物理空間。圖7c描繪了當為每一玩家提供單獨的化身時基于圖7b的示例顯示和物理空間。圖7d描繪了在平衡游戲中組提供輸入的示例顯示。圖7e描繪了在組的代表性點位置移動之后基于圖7d的示例顯示。圖描繪了用于為被遮擋或部分地在視野外的人生成遺漏數(shù)據(jù)的方法。圖8b描繪了基于圖8a的示例顯示和物理空間，其中個人在視野中未被遮擋。圖8c描繪了基于圖8b的示例顯示和物理空間，其中個人在視野中被部分遮擋，且 所得的化身是不完整的。圖8d描繪了基于圖8b的示例顯示和物理空間，其中盡管個人在視野中被部分遮 擋，但所得的化身是完整的。 圖9a描繪了如圖5的步驟506所述地應用對輸入做出響應的示例，其中當個人的 移動不真實時對化身的移動施加限制。圖9b描繪了如圖5的步驟506所述地應用對輸入做出響應的示例，其中在得出新 的人或組打算與應用交互的結論之前施加等待時間。圖9c描繪了如圖5的步驟506所述地應用對輸入做出響應的示例，其中在得出 新的人或組不再與應用交互的結論之前施加等待時間。圖9d描繪了基于圖9b和9c的示例顯示和物理空間，其中評估物理空間中的個人的移動和位置。
具體實施例方式提供了用于允許一個人或一組人在運動捕捉系統(tǒng)中與應用交互的各種技術。深度 相機系統(tǒng)可以跟蹤物理空間中的一個組的位置和移動，以向應用提供單一輸入。也可使用 來自該組的音頻信息來作為輸入?？梢詫崿F(xiàn)愉快的組體驗，因為每一個人具有對應用的控 制，而組作為一個團隊來運作。在某些情況下，一個人基于其諸如物理大小等特性，可比其 他人具有相對更多或更少的控制。圖Ia和Ib描繪了其中個人18與模擬拳擊比賽的應用交互的運動捕捉系統(tǒng)10的 一個示例實施例。運動捕捉系統(tǒng)10用于識別、分析和/或跟蹤諸如個人18 (也稱為用戶或 玩家)等人類目標。如圖Ia所示，運動捕捉系統(tǒng)10可包括諸如計算機、游戲系統(tǒng)或控制臺等計算環(huán)境 12。計算環(huán)境12可包括執(zhí)行諸如教育和/或娛樂目的等應用的硬件組件和/或軟件組件。運動捕捉系統(tǒng)10還可以包括深度相機系統(tǒng)20。深度相機系統(tǒng)20可以是，例如可 用于在視覺上監(jiān)視諸如個人18等的一個或多個人，從而可以捕捉、分析并跟蹤該人所執(zhí)行 的姿勢和/或移動，來執(zhí)行應用中的一個或多個控制命令或動作(如動畫化化身或屏幕上 人物)的相機，如將在下面更詳細地描述的。運動捕捉系統(tǒng)10可以連接到諸如電視機、監(jiān)視器、高清電視機(HDTV)等可向用戶 提供視覺和音頻輸出的視聽設備16。音頻輸出也可經(jīng)由單獨的設備來提供。為驅動視聽 設備16，計算環(huán)境12可包括提供與應用相關聯(lián)的視聽信號的諸如圖形卡等視頻適配器，和 /或諸如聲卡等音頻適配器。視聽設備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、 DVI電纜、VGA電纜等連接到計算環(huán)境12。個人18可使用深度相機系統(tǒng)20來跟蹤，使得該個人的姿勢和/或移動被捕捉并 用于動畫化化身或屏幕上人物，和/或被解釋為對計算機環(huán)境12所執(zhí)行的應用的輸入控制 命令。因此，根據(jù)一實施例，用戶18可移動他的或她的身體來控制應用和/或動畫化化身 或屏幕上人物。作為一個示例，應用可以是其中個人18參與且其中視聽設備16向個人18提供拳 擊對手38的視覺表示的拳擊游戲。計算環(huán)境12還可使用視聽設備16來提供玩家化身40 的視覺表示，該視覺表示代表了該個人，并且該個人可用他的或她的身體移動來控制該視
覺表不。例如，如圖Ib所示，個人18可以在例如該個人站在其中的房間等物理空間中揮出 重拳，以便使得玩家化身40在包括拳擊臺的虛擬空間中揮出重拳。由此，根據(jù)一示例實施 例，運動捕捉系統(tǒng)10的計算機環(huán)境12和深度相機系統(tǒng)20可用于識別并分析物理空間中的 個人18的重拳，使得該重拳可被解釋為對模擬拳擊比賽的應用的輸入，以控制虛擬空間中 的玩家化身40。個人18的其他移動也可被解釋為其他控制命令或動作，和/或用于動畫化玩家化 身，如上下快速擺動、閃避、滑步、封堵、用拳猛擊或揮動各種不同的重拳的控制命令。此外， 某些移動可被解釋為可對應于除控制玩家化身40之外的動作的控制命令。例如，在一實施 例中，玩家可使用移動來結束、暫?；虮４嬗螒?、選擇級別、查看高分、與朋友交流等。玩家可使用移動來從主用戶界面選擇游戲或其他應用。由此，用戶18的全范圍運動可以用任何 合適的方式來獲得、使用并分析以與應用進行交互。個人可在與應用交互時抓握諸如支柱等物體。在此類實施例中，個人和物體的移 動可用于控制應用。例如，可以跟蹤并利用玩家手持球拍的運動來控制模擬網(wǎng)球游戲的應 用中的屏幕上球拍。在另一示例實施例中，可以跟蹤并利用玩家手持諸如塑料劍等玩具武 器的運動來控制提供海盜船的應用的虛擬空間中對應的武器。運動捕捉系統(tǒng)10還可用于將目標移動解釋為游戲和出于娛樂和休閑目的的其他 應用范圍之外的操作系統(tǒng)和/或應用控制命令。例如，事實上操作系統(tǒng)和/或應用的任何 可控方面可由個人18的移動來控制。圖2描繪了圖Ia的運動捕捉系統(tǒng)10的示例框圖。深度相機系統(tǒng)20可被配置成 經(jīng)由任何合適的技術，包括例如飛行時間、結構化光、立體圖像等，捕捉帶有包括深度圖像 的深度信息的視頻，該深度圖像可包括深度值。深度相機系統(tǒng)20可將深度信息組織為“Z 層”，即可與從深度相機沿其視線延伸的Z軸垂直的層。深度相機系統(tǒng)20可包括圖像相機組件22，如捕捉物理空間中的場景的深度圖像 的深度相機。深度圖像可包括所捕捉的場景的二維O-D)像素區(qū)域，其中該2-D像素區(qū)域 中的每一像素具有代表距離圖像相機組件22的線性距離的相關聯(lián)的深度值。圖像相機組件22可包括可用于捕捉場景的深度圖像的紅外(IR)光組件對、三維 (3-D)相機洸、以及紅-綠-藍(RGB)相機觀。例如，在飛行時間分析中，深度相機系統(tǒng)20 的頂光組件對可將紅外光發(fā)射到物理空間上，然后可使用傳感器(未示出)，使用例如3-D 相機沈和/或RGB相機觀，來檢測來自該物理空間中的一個或多個目標和對象的表面的反 向散射光。在某些實施例中，可以使用脈沖式紅外光，從而可以測量出射光脈沖與相應的入 射光脈沖之間的時間并將其用于確定從深度相機系統(tǒng)20到物理空間中的目標或對象上的 特定位置的物理距離?？蓪鞒龉獠ǖ南辔慌c傳入光波的相位進行比較來確定相移。然后 可以使用相移來確定從深度相機系統(tǒng)到對象或目標上的特定位置的物理距離。飛行時間分析也可用于通過經(jīng)由包括例如快門式光脈沖成像等各種技術來分析 反射光束隨時間的強度，來間接地確定從深度相機系統(tǒng)20到目標或對象上的特定位置的 物理距離。在另一示例實施例中，深度相機系統(tǒng)20可使用結構化光來捕捉深度信息。在該分 析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如頂 光組件M被投影到場景上。在撞擊到場景中的一個或多個目標或對象的表面時，作為響 應，圖案可變形。圖案的這種變形可由例如3-D相機沈和/或RGB相機觀來捕捉，然后可 被分析以確定從深度相機系統(tǒng)到目標或對象上的特定位置的物理距離。根據(jù)另一實施例，深度相機系統(tǒng)20可包括兩個或更多物理上分開的相機，這些相 機可從不同角度查看場景以獲得視覺立體數(shù)據(jù)，該視覺立體數(shù)據(jù)可被解析以生成深度信 肩、ο深度相機系統(tǒng)20還可包括話筒30，話筒30包括例如接收聲波并將其轉換成電信 號的換能器或傳感器。另外，話筒30可用于接收由個人提供的諸如聲音等音頻信號，來控 制由計算環(huán)境12運行的應用。音頻信號可包括諸如說出的單詞、口哨、叫聲和其他話語等 個人的口聲，以及諸如拍手或跺腳等非口聲。
深度相機系統(tǒng)20可包括與圖像相機組件22進行通信的處理器32。處理器32可 包括可執(zhí)行指令的標準化處理器、專用處理器、微處理器等，這些指令包括例如用于接收深 度圖像的指令；用于基于深度圖像來生成三維像素網(wǎng)格的指令；用于移除包括在三維像素 網(wǎng)格中的背景以便隔離與人類目標相關聯(lián)的一個或多個三維像素的指令；用于確定隔離的 人類目標的一個或多個骨端的位置或定位的指令；用于基于一個或多個骨端的位置或定位 來調整模型的指令；或任何其他合適的指令，這些將在下文中更詳細描述。深度相機系統(tǒng)20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí) 行的指令、以及存儲3-D相機或RGB相機所捕捉的圖像或圖像幀、或任何其他合適的信息、 圖像等等。根據(jù)一示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器 (ROM)、高速緩存、閃存、硬盤、或任何其他合適的有形計算機可讀存儲組件。存儲器組件34 可以是經(jīng)由總線21與圖像捕捉組件22和處理器32進行通信的單獨組件。根據(jù)另一實施 例，存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。深度相機系統(tǒng)20可以經(jīng)由通信鏈路36與計算環(huán)境12進行通信。通信鏈路36可 以是有線和/或無線連接。根據(jù)一個實施例，計算環(huán)境12可經(jīng)由通信鏈路36向深度相機 系統(tǒng)20提供時鐘信號，該信號指示何時從位于深度相機系統(tǒng)20的視野中的物理空間捕捉 圖像數(shù)據(jù)。另外，深度相機系統(tǒng)20可經(jīng)由通信鏈路36向計算環(huán)境12提供深度信息和由例如 3-D相機沈和/或RGB相機觀捕捉的圖像，和/或可由深度相機系統(tǒng)20生成的骨架模型。 計算環(huán)境12然后可使用該模型、深度信息和捕捉的圖像來控制應用。例如，如圖2所示，計 算環(huán)境12可包括諸如姿勢過濾器集合等姿勢庫190，每一姿勢過濾器具有關于可由骨架模 型(在用戶移動時)執(zhí)行的姿勢的信息。例如，可為以下的每一個提供一姿勢過濾器上舉 或側舉一條或兩條手臂，以圓圈旋轉手臂，像鳥一樣拍打手臂，向前、向后或向一側傾斜， 跳起來，腳跟抬起踮腳，原地走動，走到視野/物理空間中的不同位置，等等。通過將檢測到 的運動與每一過濾器進行比較，可標識個人執(zhí)行的指定姿勢或移動。也可確定執(zhí)行移動的 范圍。可將由深度相機系統(tǒng)20捕捉的骨架模型形式的數(shù)據(jù)以及與其相關聯(lián)的移動與姿 勢庫190中的姿勢過濾器進行比較來標識用戶(如骨架模型所表示的)何時執(zhí)行了一個或 多個特定移動。那些移動可與應用的各種控制命令相關聯(lián)。計算環(huán)境還可包括用于執(zhí)行存儲在存儲器194中的指令以向顯示設備196提供音 頻-視頻輸出信號并實現(xiàn)如此處所描述的其他功能的處理器192。圖3描繪了可以在圖Ia的運動捕捉系統(tǒng)中使用的計算環(huán)境的示例框圖。計算環(huán) 境可用于解釋一個或多個姿勢或其他移動并作為響應來更新顯示器上的視覺空間。上面 參考圖la、lb和2所描述的諸如計算環(huán)境12等的計算環(huán)境可以是諸如游戲控制臺等的多 媒體控制臺100。多媒體控制臺100包括具有1級高速緩存102、2級高速緩存104和閃存 R0M(只讀存儲器)106的中央處理單元(CPU) 101。1級高速緩存102和2級高速緩存104 臨時存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進處理速度和吞吐量。CPU 101可以設 置成具有一個以上的核，以及由此的附加的1級和2級高速緩存102和104。閃存ROM 106 可存儲在多媒體控制臺100通電時在引導進程初始化階段加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速、高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸 送到視頻編碼器/視頻編解碼器114。視頻處理流水線將數(shù)據(jù)輸出到A/V (音頻/視頻)端 口 140以傳輸?shù)诫娨暀C或其它顯示器。存儲器控制器110連接到GPU 108以方便處理器訪 問各種類型的存儲器112，諸如RAM(隨機存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控 制器122、音頻處理單元123、網(wǎng)絡接口控制器124、第一 USB主控制器126、第二 USB控制器 128和前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (1)-142 (2)、無線 適配器148、和外置存儲器設備146(例如閃存、外置⑶/DVD ROM驅動器、可移動介質等) 的主機。網(wǎng)絡接口 1 和/或無線適配器148提供對網(wǎng)絡(例如，因特網(wǎng)、家庭網(wǎng)絡等)的 訪問并且可以是包括以太網(wǎng)卡、調制解調器、藍牙模塊、電纜調制解調器等的各種不同的有 線和無線適配器組件中任何一種。提供系統(tǒng)存儲器143來存儲在引導進程期間加載的應用程序數(shù)據(jù)。提供媒體驅動 器144且其可包括DVD/CD驅動器、硬盤驅動器、或其它可移動媒體驅動器。媒體驅動器144 對于多媒體控制臺100可以內置或外置。應用程序數(shù)據(jù)可經(jīng)由媒體驅動器144訪問，以由 多媒體控制臺100執(zhí)行、回放等。媒體驅動器144經(jīng)由諸如串行ATA總線或其它高速連接 等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應的音頻處理 流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻 處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外置音頻播放器或具有音頻能力的設備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發(fā)光二極管)或其它指示器的功能。系統(tǒng)供電模塊136向 多媒體控制臺100的組件供電。風扇138冷卻多媒體控制臺100內的電路。CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內的各個其它組件經(jīng) 由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架 構中任一種的處理器或局部總線。當多媒體控制臺100通電時，應用程序數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112 和/或高速緩存102、104中并在CPU 101上執(zhí)行。應用可呈現(xiàn)在導航到多媒體控制臺100 上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅動器144 中包含的應用和/或其它媒體可從媒體驅動器144啟動或播放，以向多媒體控制臺100提 供附加功能。多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機或其它顯示器而作為獨 立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看 電影、或聽音樂。然而，隨著通過網(wǎng)絡接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網(wǎng)絡社區(qū)中的參與者來操作。當多媒體控制臺100通電時，保留指定量的硬件資源以供多媒體控制臺操作系統(tǒng) 作系統(tǒng)使用。這些資源可以包括存儲器保留(例如，16MB)、CPU和GPU周期(例如，5%)、 網(wǎng)絡帶寬(例如，SlAs)等。因為這些資源是在系統(tǒng)引導時保留的，所以所保留的資源對應 用而言是不存在的。
9
具體地，存儲器保留較佳地足夠大，以包含啟動內核、并發(fā)系統(tǒng)應用和驅動程序。 CPU保留較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應用使用，則空閑線程將消耗任 何未使用的周期。對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應用生成的輕量消息(例如，彈出 窗口)，以調度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大 小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應用使用完整用戶界面的情 況下，優(yōu)選使用獨立于應用分辨率的分辨率。定標器可用于設置該分辨率，從而無需改變頻 率，也就不會引起TV重新同步。在多媒體控制臺100引導且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應用來提供系 統(tǒng)功能。系統(tǒng)功能被封裝在一組在上述所保留的系統(tǒng)資源中執(zhí)行的系統(tǒng)應用中。操作系統(tǒng) 內核標識是系統(tǒng)應用線程而非游戲應用線程的線程。系統(tǒng)應用優(yōu)選地被調度為在預定時間 并以預定時間間隔在CPU 101上運行，以便為應用提供一致的系統(tǒng)資源視圖。進行調度是 為了把由在控制臺上運行的游戲應用所引起的高速緩存分裂最小化。當并發(fā)系統(tǒng)應用需要音頻時，則由于時間敏感性而異步調度音頻處理給游戲應 用。多媒體控制臺應用管理器(如下所述)在系統(tǒng)應用活動時控制游戲應用的音頻水平 (例如，靜音、衰減)。輸入設備(例如，控制器142(1)和142( )由游戲應用和系統(tǒng)應用共享。輸入設 備不是所保留的資源，但卻在系統(tǒng)應用和游戲應用之間切換以使其各自具有設備的焦點。 應用管理器較佳地控制輸入流的切換，而無需知曉游戲應用的知識，并且驅動程序維持有 關焦點切換的狀態(tài)信息?？刂婆_100可從包括相機沈和觀的圖2的深度相機系統(tǒng)20接 收附加輸入。圖4描繪了可以在圖Ia的運動捕捉系統(tǒng)中使用的計算環(huán)境的另一示例框圖。計 算環(huán)境可用于解釋一個或多個姿勢或其他移動并作為響應來更新顯示器上的視覺空間。計 算環(huán)境220包括計算機Ml，計算機241通常包括各種游戲計算機可讀存儲介質。這可以是 能由計算機241訪問的任何可用介質，而且包含易失性和非易失性介質、可移動和不可移 動介質。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計算機存儲介質，如只 讀存儲器(ROM) 223和隨機存取存儲器(RAM06O?；据斎?輸出系統(tǒng)224 ￠10 包括如 在啟動時幫助在計算機Ml內的元件之間傳輸信息的基本例程，它通常儲存在R0M223中。 RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。 作為示例而非局限，圖4描繪了操作系統(tǒng)225、應用程序226、其它程序模塊227和程序數(shù)據(jù) 228。計算機241還可包括其他可移動/不可移動、易失性/非易失性計算機存儲介質， 如從不可移動、非易失性磁介質讀取或對其寫入的硬盤驅動器238，從可移動、非易失性磁 盤2M讀取或對其寫入的磁盤驅動器239，以及從諸如CDROM或其他光介質等可移動、非易 失性光盤253讀取或對其寫入的光盤驅動器M0?？梢栽谑纠圆僮鳝h(huán)境中使用的其他可 移動/不可移動、易失性/非易失性有形計算機可讀存儲介質包括但不限于，磁帶盒、閃存 卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅動器238通常由諸如接口 234等不可移動存儲器接口連接至系統(tǒng)總線221，磁盤驅動器239和光盤驅動器240通常由 諸如接口 235等可移動存儲器接口連接至系統(tǒng)總線221。
以上討論并在圖4中描繪的驅動器及其相關聯(lián)的計算機存儲介質為計算機241提 供了對計算機可讀指令、數(shù)據(jù)結構、程序模塊和其他數(shù)據(jù)的存儲。例如，硬盤驅動器238被 描繪為存儲操作系統(tǒng)258、應用程序257、其它程序模塊256和程序數(shù)據(jù)255。注意，這些組 件可以與操作系統(tǒng)225、應用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可以與它 們不同。操作系統(tǒng)258、應用程序257、其他程序模塊256和程序數(shù)據(jù)255在這里被標注了 不同的標號是為了說明至少它們是不同的副本。用戶可以通過輸入設備，諸如鍵盤251和 定點設備252——通常被稱為鼠標、跟蹤球或觸摸墊——向計算機241輸入命令和信息。其 他輸入設備(未示出)可以包括麥克風、游戲桿、游戲手柄、碟形衛(wèi)星天線、掃描儀等等。這 些和其他輸入設備通常由耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元259，但也 可以由其他接口和總線結構，諸如并行端口、游戲端口或通用串行總線(USB)連接。包括相 機沈和觀的圖2的深度相機系統(tǒng)20可為控制臺100定義附加輸入設備。監(jiān)視器242或 其他類型的顯示器也經(jīng)由接口，諸如視頻接口 232連接至系統(tǒng)總線221。除監(jiān)視器以外，計 算機也可以包括其它外圍輸出設備，諸如揚聲器244和打印機M3，它們可以通過輸出外圍 接口 233連接。計算機241可使用至一個或多個遠程計算機，如遠程計算機M6的邏輯連接在網(wǎng) 絡化環(huán)境中操作。遠程計算機246可以是個人計算機、服務器、路由器、網(wǎng)絡PC、對等設備或 其他常見的網(wǎng)絡節(jié)點，且通常包括許多或所有以上相對于計算機241描述的元件，但在圖4 中僅示出了存儲器存儲設備M7。邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN049，但也 可以包括其它網(wǎng)絡。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計算機網(wǎng)絡、內聯(lián)網(wǎng)和因特網(wǎng)中是 常見的。當在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通過網(wǎng)絡接口或適配器237連接至LAN 2450當在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通常包括調制解調器250或用于通過諸如因 特網(wǎng)等WAN 249建立通信的其他裝置。調制解調器250可以是內置或外置的，它可以經(jīng)由 用戶輸入接口 236或其他適當?shù)臋C制連接至系統(tǒng)總線221。在網(wǎng)絡化環(huán)境中，關于計算機 241所描述的程序模塊或其部分可被儲存在遠程存儲器存儲設備中。作為示例而非限制， 圖4示出了遠程應用程序248駐留在存儲器設備247上?？梢岳斫?，所示的網(wǎng)絡連接是示 例性的，且可以使用在計算機之間建立通信鏈路的其他手段。圖5描繪了用于使一個或多個人能夠與運動捕捉系統(tǒng)交互的方法。步驟500跟蹤 運動捕捉系統(tǒng)的視野中的一個或多個人。步驟500的進一步細節(jié)結合圖6a_6j和7a_7e來 提供。跟蹤可分析來自頭部跟蹤的深度圖像和位置數(shù)據(jù)，以標識深度圖像中標識各個人的 塊。出于不完整數(shù)據(jù)的穩(wěn)健性起見，跟蹤可聚集可從諸如骨架跟蹤和姿勢識別等技術獲得 的所有信息來外插個體和四肢的塊數(shù)據(jù)(mass data)?？炜梢允褂冒ǚ謱泳垲愒趦鹊母?種算法來檢測。跟蹤可以確定聚集和個體塊的大小、位置、速度、加速度和加加速度，以驅 動應用控制狀態(tài)以及表示所跟蹤的個體或組的化身上的動畫。步驟502跟蹤一個或多個人的音頻。如所提到的，音頻信號可包括諸如說出的單 詞、口哨、叫聲和其他話語等個人的口聲，以及諸如拍手或跺腳等非口聲?？蓹z測音調和音 量。步驟504基于步驟500和502的跟蹤來向應用提供輸入。例如，這可包括關于視野中的 人的移動和位置的信息、關于物理空間和物理空間中的人的音頻和視覺特性的信息(如人 衣服的顏色、以及人的大小和形狀)、以及物理空間中的無生命物體(如家具)的特性(例如大小、形狀、位置和顏色)。在步驟506，應用對輸入做出響應，如以下結合圖7a-7e、8a-8d 和9a_9d進一步討論的。圖6a描繪了用于如圖5的步驟500所述地跟蹤一個或多個人的移動的示例方法。 該示例方法可以使用例如結合圖2-4討論的深度相機系統(tǒng)20和/或計算環(huán)境12、100或 220來實現(xiàn)?？梢話呙枰粋€或多個人來生成模型，如骨架模型、網(wǎng)格人類模型、或一個人或一 組人的任何其他合適的表示。該模型然后可用于與由計算環(huán)境執(zhí)行的應用交互。進行掃描 來生成模型可以在啟動或運行應用程序時發(fā)生，或如所掃描的個人的應用程序所控制的在 其他時間發(fā)生?？蓲呙鑲€人或組來生成骨架模型，可跟蹤該骨架模型使得用戶58的物理移動或 運動可用作調整和/或控制應用程序的參數(shù)的實時用戶接口。例如，所跟蹤的個人或組的 移動可用于在電子角色扮演游戲中移動化身或其他屏幕上人物；在電子賽車游戲中控制 屏幕上車輛；在虛擬環(huán)境中控制物體的建筑或組織；或執(zhí)行應用程序的任何其他合適的控 制。根據(jù)一個實施例，在步驟600，例如從深度相機系統(tǒng)接收深度信息。深度相機系統(tǒng) 可以捕捉或觀察可包括一個或多個目標的視野。在一示例實施例中，如所討論的，深度相機 系統(tǒng)可使用諸如飛行時間分析、結構化光分析、立體視覺分析等任何合適的技術來獲得與 捕捉區(qū)域中的一個或多個目標相關聯(lián)的深度信息。如所討論的，深度信息可包括具有多個 所觀察的像素的深度圖像，其中每一所觀察的像素具有所觀察的深度值。深度圖像可以被降采樣到較低處理分辨率，以使其可被更容易地使用且以更少的 計算開銷來處理。另外，可從深度圖像中移除和/或平滑掉一個或多個高變度和/或含噪 聲的深度值；可填入和/或重構缺少的和/或移除的深度信息的部分；和/或可對所接收的 深度信息執(zhí)行任何其他合適的處理，使得該深度信息可用于生成結合圖6e和6f討論的諸 如骨架模型等模型。在判定步驟604，判定深度圖像是否包括一個或多個人類目標。這可包括對深度圖 像中的每一目標或對象進行泛色填充，將每一目標或對象與模式進行比較來確定該深度圖 像是否包括人類目標。例如，可以比較深度圖像的所選區(qū)域或點中的像素的各種深度值來 確定可定義如上所述的目標或對象的邊?？苫谒_定的邊來對Z個層的可能的Z個值進 行泛色填充。例如，與所確定的邊相關聯(lián)的像素以及邊內的區(qū)域的像素可互相關聯(lián)來定義 可與圖案進行比較的捕捉區(qū)域中的目標或對象，這將在下文中更詳細描述。如果判定步驟604為真，則執(zhí)行步驟606。如果判定步驟604為假，則在步驟600 接收附加深度信息。對照其來比較每一目標或對象的模式可包括具有共同定義典型的人類身體的一 組變量的一個或多個數(shù)據(jù)結構。與例如視野中的人類目標和非人類目標的像素相關聯(lián)的信 息可以與各變量進行比較來標識人類目標。在一個實施例中，該組中的每一變量可基于身 體部位來加權。例如，模式中諸如頭和/或肩等各個身體部位可具有與其相關聯(lián)的、可大于 諸如腿等其他身體部位的權重值。根據(jù)一個實施例，可在將目標與變量進行比較來確定目 標是否以及哪一目標可以是人類時使用權重值。例如，變量與目標之間的具有較大權重值 的匹配可產(chǎn)生比具有較小權重值的匹配更大的該目標是人類的可能性。步驟606包括掃描一個或多個人類目標來尋找身體部位?？梢話呙枰粋€或多個人類目標來提供與個人的一個或多個身體部位相關聯(lián)的諸如長度、寬度等度量，以提供該個 人的準確模型。在一示例實施例中，可隔離該人類目標，并且可創(chuàng)建該人類目標的位掩模來 掃描一個或多個身體部位。該位掩?？赏ㄟ^例如對人類目標進行泛色填充，使得該人類目 標可以與捕捉區(qū)域元素中的其他目標或對象分離來創(chuàng)建。隨后可分析該位掩模來尋找一個 或多個身體部位，以生成人類目標的模型，如骨架模型、網(wǎng)格人類模型等。例如，根據(jù)一實施 例，可使用由所掃描的位掩碼確定的度量值來定義結合圖6e和6f討論的骨架模型中的一 個或多個關節(jié)。該一個或多個關節(jié)可用于定義可對應于人類的身體部位的一根或多根骨。例如，人類目標的位掩模的頂部可以與頭的頂部的位置相關聯(lián)。在確定了頭的頂 部之后，可以向下掃描該位掩模來隨后確定頸的位置、肩的位置等等。例如，在所掃描的位 置處的位掩模的寬度可以與和例如頸、肩等相關聯(lián)的典型寬度的閾值進行比較。在替換實 施例中，可以使用離位掩模中先前掃描的并與身體部位相關聯(lián)的位置的距離來確定頸、肩 等的位置。諸如腿、腳等的某些身體部位可基于例如其他身體部位的位置來計算。在確定 了身體部位的值之后，可創(chuàng)建包括身體部位的度量值的數(shù)據(jù)結構。該數(shù)據(jù)結構可包括從深 度相機系統(tǒng)在不同時間點提供的多個深度圖像中平均的掃描結果。步驟608包括生成一個或多個人類目標的模型。在一實施例中，可使用由所掃描 的位掩模確定的度量值來定義骨架模型中的一個或多個關節(jié)。該一個或多個關節(jié)用于定義 可對應于人類的身體部位的一根或多根骨。例如，圖6e描繪了如圖6a的步驟608中所述 的個人的示例骨架模型630，而圖6f描繪了如圖6a的步驟608中所述的個人的另一示例骨 架模型640。一般而言，每個身體部位可被表征為定義骨架模型的關節(jié)和骨骼的數(shù)學向量。身 體部位可以在關節(jié)處相對于彼此移動。例如，前臂段638連接到關節(jié)636和639，而上臂段 634連接到關節(jié)632和636。前臂段638可相對于上臂段634移動?？烧{整一個或多個關節(jié)，直到這些關節(jié)在人類的關節(jié)和身體部位之間的典型距離 范圍之內，以生成更準確的骨架模型。該模型可基于例如與人類目標相關聯(lián)的高度來進一 步調節(jié)。在步驟610，通過每秒若干次更新個人或組的位置來跟蹤該模型。當用戶或組在物 理空間中移動時，使用來自深度相機系統(tǒng)的信息來調整骨架模型，使得該骨架模型表示一 個人。具體地，可向該骨架模型的一個或多個受力方面施加一個或多個力，來將該骨架模型 調整成更接近地對應于物理空間中的人類目標的姿態(tài)的姿態(tài)。一般而言，可使用用于跟蹤一個或多個人的移動的任何已知技術。圖6b描繪了用于如圖5的步驟500所述地跟蹤視野中的一個或多個人的示例方 法，其中確定每一個人的代表性點位置。在一種方法中，在步驟612，對于一個或多個組中 的每一組，在視野中個別地跟蹤一組中的人。注意，組也可以只有一個人。步驟616為一個 或多個組中的每一組確定每一個人的代表性點位置。該代表性點位置可以表示可用于表示 個人的位置且可被跟蹤來表示個人的移動的中心點，如質心或重心。對于具有均勻密度的 物體，重心與質心相同，這對于人類是合理的假設。代表性點位置可以用不同方式來計算。 在一種方法中，在步驟614，為從視野中的每一個人獲得的骨架模型確定代表性點位置(見 圖他)。在另一方法中，在步驟618，為圍繞視野中的每一個人的定界圓柱體或矩形或其他 定界形狀確定代表性點位置(見圖6i)。步驟620對于一個或多個組中的每一組，基于該組
13中的每一個人的代表性點位置來確定一組人的代表性點位置。對于多個組，步驟621基于 單組代表性點位置來確定多組代表性點位置。例如，多組代表性點位置可以是不同的單組 代表性點位置的質心(見圖6j)。關于圖6b中的步驟618，在圖6i中，對于同一組645，個人631 (或骨架模型630) 具有定界形狀656，該形狀是被縮放到正好圍繞骨架模型的定義的體形狀。類似地，個人 643(或骨架模型64 具有定界形狀658。對于定界形狀656和658，代表性點位置和重心 分別是點660和662。作為一個更詳細的示例，考慮定界圓柱體，其是圍繞個人的例如在寬度和高度方 面最小的圓柱體(見圖7a)。圖6c描繪了用于如圖5的步驟500所述地跟蹤視野中的一個或多個人的示例方 法，其中確定單個形狀的代表性點位置。步驟622包括對一個或多個組中的每一組，在視野 中跟蹤作為單個形狀，例如團(見圖6g)的一組人，并且步驟擬4包括對一個或多個組中的 每一組，確定該形狀的代表性點位置。當檢測到有多個組時，步驟625包括基于每一單組代 表性點位置來確定多組代表性點位置。例如，假定檢測到有兩個不同的組(第一組和第二 組，見圖6j)。在每一時間點，確定兩個單組代表性點位置，對每一組有一個，且基于這兩個 單組代表性點位置來確定一個多組代表性點位置。例如，該多組代表性點位置可以是兩個 單組代表性點位置的質心。作為另一示例，考慮如圖Mi所描繪的具有骨架模型630和642的兩個人的組645。 點650是骨架模型630的代表性點位置，而點652是骨架模型642的代表性點位置。在這 一情況下，代表性點位置是骨架模型的重心。這可通過注意到因為手臂向左側舉起，所以點 650略微移向沿著骨架模型639的軀干的中間向下的中心線的左側來理解。對于骨架模型 642，重心652在沿著軀干的中間向下中心線上，因為包括手臂位置在內的身體關于該中心 線是對稱的。圖6d描繪了用于如圖5的步驟500所述地跟蹤視野中的一個或多個人的示例方 法，其中確定共同移動。步驟擬6包括在視野中個別地跟蹤各人的移動。例如，可為多個不 同的移動中的每一個提供一姿勢過濾器，這些移動諸如上舉或側舉一條或兩條手臂，以圓 圈旋轉手臂，像鳥一樣拍打手臂，向前、向后或向一側傾斜，跳起來，坐下，腳跟抬起踮腳，原 地走動，走到視野/物理空間中的不同位置，等等。通過將檢測到的運動與每一過濾器進行 比較，可標識一個或多個人執(zhí)行的指定姿勢或移動。步驟627包括確定執(zhí)行共同移動的多個人。作為對步驟627的補充或替換，步驟擬8包括確定這些人執(zhí)行共同移動的程度。例 如，可將諸如向一個人的側面傾斜等身體移動執(zhí)行到不同的程度。例如偏離垂直10-20度 的輕微傾斜可表示較小的程度，而例如20-30度的傾斜表示較大的程度。類似地，舉起一個 人的手臂的身體移動可以通過將手臂從低于水平20度舉起到水平(0度)來完成，這表示 較小的程度，而例如水平(0度)或水平上方的任何地方的手臂舉起表示較大的程度?？深?似地為跳躍、揮手和其他身體移動定義不同的程度。執(zhí)行共同移動的程度也可基于執(zhí)行移動的次數(shù)。例如，舉起一個人的手臂的身體 移動可以通過重復地識別手臂舉起來完成，其中在手臂的多次舉起之間手臂返回到個人側 面的放松位置?？梢詫υ谥付康臅r間內手臂舉起的次數(shù)進行計數(shù)。也可確定手臂舉起的頻率。應用可以基于執(zhí)行共同移動的人的數(shù)量和/或人們執(zhí)行共同移動的程度來不同 地響應。例如，在其中一個組控制河上的船(見圖7)的游戲中，該組可一起跳起來來使得船 跳過障礙物。當更多人執(zhí)行挑起來的移動的時候，和/或當人們跳得更高的時候，船可以跳 得更高。為檢測一個或多個人的垂直移動，可跟蹤一個或多個代表性點位置的垂直移動。圖6g描繪了作為團644或具有組定界形狀646的組645。團644可被定義為用 于組645的大致自由形式的定界形狀，而定界形狀646可以是例如圓柱體或矩形。用于定 界形狀646的代表性點位置是點641處的重心。團644的代表性點位置在本例中類似于點 641。該方法不要求知道團中有多少人，也不要求知道有多個人?？梢詫⒄麄€塊作為單個行 動者來對待。此外，不必將圖像數(shù)據(jù)映射到骨架模型。每一個人的身體的輪廓或周界631 和643足以標識團的形狀。在圖中，組的代表性點位置和重心是點654，其在點650和652之間。在圖6i中，組的代表性點位置和重心是點664，其在點660和662之間。圖6j描繪了如圖6b的步驟621和圖6c的步驟625所述地基于多個單組代表性 點位置來確定多組代表性點位置的示例。此處，點647是第一組663的單組代表性點位置， 點648是第二組661的單組代表性點位置，點649是基于每一單組代表性點位置647和648 的多組代表性點位置。圖7a描繪了當從高處查看物理空間726時組中三個不同的人的定界圓柱體728、 732和736。圖7a還包括顯示器700、包括代表性傳感器718的深度相機系統(tǒng)720、以及深 度相機系統(tǒng)的視野中的物理空間726，其中線722和7M是視野的邊界。定義包括深度相機 的光軸或ζ軸的坐標系，該光軸例如是在深度相機查看物理空間的方向的中心延伸的線， 其中視野通常圍繞該光軸對稱。如果深度相機與顯示器面朝同一方向，則光軸一般垂直于 顯示器的平面。還定義與ζ軸垂直的橫軸(y軸)。未示出的χ軸可以在物理空間中垂直地 延伸。在圖7a的示例中，例如，一組人的代表性點位置可以通過獲得沿著笛卡爾坐標系 中的兩條或三條軸的代表性點位置的坐標來確定。例如，代表性點位置是分別由定界圓柱 體728,732和736表示的人的中心點730,734和738。沿著y軸，中心點730,734和738分 別在坐標yl、y2和y3處。假定每一個人相等地加權，則組的y軸代表性點位置是ycg = (yl+y2+y;3)/3。在另一方法中，每一個人根據(jù)諸如寬度等物理特性來單獨加權。例如，wl、 w2和w3分別是定界圓柱體728、732和736的寬度。在這一情況下，該組的y軸代表性點位 置是 ycg = ((wl χ yl) + (w2 χ y2) + (w3 χ y3)) / (wl+w2+w3) 0 一般而言，組的 y 軸代表性 點位置是(w χ y)的和/V的和。圖7a也在以下結合組提供給應用的控制輸入來進一步討 論。類似地，沿著ζ軸，中心點730、734和738分別在坐標zl、z2和z3處。假定每一個 人相等地加權，則組的Z軸代表性點位置是ZCg= (zl+z2+Z;3)/3。如果每一個人是根據(jù)寬 度來單獨加權的，則該組的ζ軸代表性點位置是zcg= ((wlx zl) + (w2 χ z2) + (w3 χ ζ3))/ (wl+w2+w3) 0 一般而言，組的ζ軸代表性點位置是(w χ ζ)的和/V的和。組的代表性點位 置因而由點740處的(ycg，Zcg)來定義。也可使用該組的沿著垂直的χ軸的代表性點位置 的第三坐標。
關于大小，注意深度相機系統(tǒng)針對遠離相機的人相比更靠近相機的人由更少的像 素來表示的事實進行調節(jié)。注意，如所述的，有可能檢測視野中的多組人。例如，視野可被劃分成沿著ζ軸和/ 或y軸的區(qū)域，并且在每一區(qū)域中進行單獨的組檢測。區(qū)域的大小和數(shù)量可以基于視野中 的人的排列來自適應地決定?？梢远x區(qū)域，使得人的聚類被保持在共同的區(qū)域中。就這 一點而言可以使用直方圖和其他聚類標識技術。此外，每一組可以向應用提供單獨的輸入。 或者，可以基于單組輸入的組合來提供單一的多組輸入。此外，可以隨時間跟蹤所檢測的位 置來確定單組移動，以及基于單組移動的多組移動。注意，對應用的多組移動或位置輸入基 于每一構成組的移動或位置。圖7a描繪了示例顯示器和物理空間，其中確定每一個人的大小和代表性點位置， 并且確定組的代表性點位置且將其用于操控化身。如上所述，圖7a描繪了當從高處查看物 理空間726時組中三個不同的人的定界圓柱體7觀、732和736。圖7a還包括顯示器700、 包括代表性傳感器718的深度相機系統(tǒng)720、以及深度相機系統(tǒng)的視野中的物理空間726， 其中線722和7 是視野的邊界。注意，包括代表性傳感器718的深度相機系統(tǒng)720和顯 示器700是從站在視野中并觀看顯示器的人的視點來示出的。一個示例應用提供了其中組根據(jù)視野中該組的代表性點位置來操控河中的船的 游戲。河可以具有彎道和障礙物，組試圖克服這些彎道和障礙物。描繪了船710和化身乘 客712。在一種方法中，當組成員被定位成其代表性點位置740在ζ軸的左側時，將船轉向 左。當組成員被定位成其代表性點位置740在ζ軸的右側時，將船轉向右。或者，可以相對 于組的初始位置來確定操控輸入。也可提供其他控制動作，如通過使組向前移動或者可能 將他們的手舉過頭來將船頭翹起，以便例如克服水中的障礙物?；蛘撸斀M在視野7 中向 前移動時可控制船的速度更快，并且當該組移回時速度變慢。組的音頻水平也可以提供輸 入，例如當音量更大時使得船開得更快。由此，提供了多對一輸入機制，其中每一個人的移 動、位置和/或音頻被聚集成對應用的單一輸入。因此可以提供增強的娛樂體驗和團隊工 作感覺。注意，船710可被認為是非人類化身，因為它表示組并且由來自該組的移動和其 他輸入來控制。如所述的，有可能檢測視野中的多組人，并且從每一組向應用提供單獨的控制輸 入。例如，除了圖7a所描繪的三個人的組之外，假定在他們后面還有第二組(未示出)作為 旁觀者。該第二組最初可以是相對不活動的。然而，當顯示器中發(fā)生精彩瞬間時，第二組中 的人可能站起來并歡呼，且開始大叫。來自第二組的移動和增加的音頻水平可被檢測到，并 作為輸入來提供，應用諸如通過將船710加速和/或通過提供歡樂的背景音樂來對該輸入 做出響應。在另一示例中，第二組中的人可能開始左右搖擺，來引起應用的某種其他響應。任選地，在聯(lián)網(wǎng)方法中，多個人從不同位置并發(fā)地與應用交互。例如，由定界圓柱 體7 和732表示的人可以在第一運動捕捉系統(tǒng)的第一視野中的一個物理位置，而由定界 圓柱體736表示的個人可以在第二運動步驟系統(tǒng)的第二視野中的另一物理位置。各人可安 排在同一時間開始在虛擬空間中交互。第一運動捕捉系統(tǒng)在兩個人在第一視野中移動時跟 蹤他們，而第二運動捕捉系統(tǒng)在另一個人在第二視野中移動時跟蹤他或她。第一運動捕捉系統(tǒng)經(jīng)由網(wǎng)絡從第二運動捕捉系統(tǒng)接收關于第二視野中的相關聯(lián)
16的個人的位置和移動的數(shù)據(jù)，并將該信息與來自第一視野的位置和移動信息相組合來向應 用提供單一輸入。應用然后用音頻-視覺輸出來對該單一輸入做出響應。第二運動捕捉系 統(tǒng)可以類似地經(jīng)由網(wǎng)絡從第一運動捕捉系統(tǒng)接收數(shù)據(jù)，使得相關聯(lián)的個人可以接收來自應 用的相同的音頻-視覺輸出。圖7b描繪了在組的代表性點位置740向右移動到靠近ζ軸中心之后基于圖7a的 示例顯示和物理空間。響應于此，在顯示器750中，船710變水平，并且船和乘客712被操 控筆直向前。圖7c描繪了當為每一玩家提供單獨的化身時基于圖7b的示例顯示和物理空間。 例如，乘客化身756、758和乃4表示分別由定界圓柱體728、732和736表示的人。此外，在 顯示器752中，化身在船710中與視野中的人的位置相對應地定位。例如，化身756和7M 大致彼此并肩，并且化身758略微在其他人的后面且在中心的左側。同樣，由定界圓柱體 756和7M表示的人大致彼此并肩，且由定界圓柱體758表示的個人略微在其他人后面且在 中心的左側。該示例示出一個人在物理空間中的位置如何控制虛擬空間中的位置。圖7d描繪了在平衡游戲中組提供輸入的示例顯示。類似于操控游戲，組的位置可 用作輸入來確定化身的平衡。具體地，在顯示器760中，化身762在緊繩760上行走，并握 住桿764來保持平衡。組基于其在視野中的位置來試圖保持化身平衡。此處，化身略微向 左傾斜。或者，組中的每一個人可以向一側傾斜來控制化身。圖7e描繪了在組的代表性點位置移動之后基于圖7d的示例顯示。在顯示器770 中，化身762基于來自組的輸入而變直。圖描繪了用于為被遮擋或部分地在視野外的人生成遺漏數(shù)據(jù)的方法。在某些 情形中，例如由于個人部分地被視野中的物體或其他人遮擋，或當身體的一部分在視野外 時，深度相機系統(tǒng)可能臨時無法用于完全捕捉正被跟蹤且正在積極地與應用交互的個人的 身體。在這些情形中，可能存在基于該個人的骨架模型生成的化身不完整的風險，導致該個 人的不連續(xù)且混亂的體驗。為避免這一結果，可采取測量來生成表示未被深度相機系統(tǒng)捕 捉到的身體的遺漏部分的數(shù)據(jù)。步驟800包括從個人或組接收深度相機數(shù)據(jù)。該數(shù)據(jù)可表示對深度相機系統(tǒng)可見 的人的一部分。該人的另一部分對深度相機不可見，且因此不由該數(shù)據(jù)來表示。步驟801 包括將數(shù)據(jù)映射到每一個人的骨架模型。表示身體的僅一部分，例如表示頭、軀干、手臂和 一條腿的數(shù)據(jù)，被映射到骨架模型的對應部分。這一映射可涉及將像素數(shù)據(jù)與人類的骨架 模型相關聯(lián)來創(chuàng)建人類目標的模型，如結合圖6a所討論的。在判定步驟802，如果骨架模型的沒有一個實質部分未被映射，則執(zhí)行步驟804， 其中基于本質上完全映射的骨架模型來生成化身。如果未映射的部分包含了骨架模型的 指定部分，如該模型的10-20%的表面積，而該部分在個人完全被深度相機系統(tǒng)捕捉時將是 被映射的，則該部分被認為是實質性的。這表示如果未被映射將導致向個人提供不連續(xù)或 混亂的體驗的不完整化身的部分。在步驟805處，顯示所生成的所得化身。如果在判定步 驟802處，骨架模型的一部分未被映射，則執(zhí)行步驟803，其中生成數(shù)據(jù)以映射到骨架模型 的未映射部分。所生成的表示個人的對深度相機系統(tǒng)不可見的部分的數(shù)據(jù)被映射到骨架模 型的其余部分，以提供本質上完全映射的骨架模型。所生成的數(shù)據(jù)可提供個人的遺漏部分 的動畫。例如，如以下結合圖8b-8d所討論的，個人的諸如腿等四肢可能被遮擋，在這一情況下步驟803生成表示腿的數(shù)據(jù)。這可以基于用于在先前的幀中表示個人的骨架模型來完 成。個人的諸如大小和形狀等物理特性從骨架模型中獲知。此外，基于骨架模型的對應于 個人的可見部分的部分，可確定骨架模型的對應于個人的不可見部分的特性。例如，如果一 條腿被遮擋但是身體的可見部分指示該人正站著，則可以生成與站立姿態(tài)相一致的被遮擋 的腿?？梢岳缁谏眢w的可見部分的色彩和紋理信息和/或顯示出現(xiàn)在遺漏的身體部分 的先前的數(shù)據(jù)幀來確定所生成的數(shù)據(jù)的色彩和紋理信息。也可使用姿勢識別來確定遺漏身 體部分的特性，使得如果身體的可見部分與特定姿勢相一致，則身體的該遺漏部分也應該 與該姿勢相一致。在步驟804，基于以深度相機系統(tǒng)獲得的圖像數(shù)據(jù)和所生成的數(shù)據(jù)為基礎來部分 地映射的骨架模型來生成化身。該化身基于本質上完全映射的骨架模型來表示個人，使得 該化身表示了個人可見和不可見部分兩者。注意，圖的過程可在每秒重復多次，使得當個人的可見和不可見部分在深度相 機系統(tǒng)提供的不同圖像數(shù)據(jù)幀中變化時更新該化身。圖8b描繪了其中個人在視野中未被遮擋的基于圖8a的示例顯示和物理空間。顯 示器806描繪了其中化身812站在路807上的虛擬空間。深度相機系統(tǒng)820包括代表性傳 感器818，且在深度相機系統(tǒng)的視野中提供了物理空間826，其中線822和擬4是視野的邊 界。個人擬8和諸如一件家具等物體830在物理空間中。在該示例中，傳感器818具有個 人擬8的清晰視圖，并且可以捕捉提供完全映射的骨架模型832所必需的所有圖像數(shù)據(jù)，其 中化身812從該完全映射的骨架模型中生成。骨架模型是不能被實際看見的概念構造。圖8c描繪了基于圖8b的示例顯示和物理空間，其中個人8 在視野中被物體830 部分遮擋，且所得的化身813是不完整的。當與應用交互時，個人擬8可以在物理空間中移 動，使得該個人的一部分變得對深度相機系統(tǒng)不可見。在這一情況下，映射到骨架模型834 的圖像數(shù)據(jù)不夠。例如，個人882的左腿可能被物體830遮擋，在這一情況下將沒有圖像數(shù) 據(jù)來映射到骨架模型834的左腿。當在顯示器808上從骨架模型834創(chuàng)建化身813時，將會 是遺漏了左腿。這可導致對于個人828的混亂，尤其是當與應用交互時化身的外觀經(jīng)常隨 著在不同時間個人被反復地遮擋然后不被遮擋而變化的時候，這導致化身中對應的變化。圖8d描繪了基于圖8b的示例顯示和物理空間，其中盡管個人828在視野中被部 分遮擋，但所得的化身814是完整的。此處，來自個人828的可見部分的圖像數(shù)據(jù)被映射到 骨架模型834，如也在圖8c中描繪的。然而，生成如由腿836所描繪的數(shù)據(jù)來表示遺漏的身 體部分。該所生成的數(shù)據(jù)與由可見身體部分映射的骨架模型的部分834相組合來提供本質 上完全表示個人828的總體骨架模型838。結果，從骨架模型838創(chuàng)建的化身814表示個 人828的可見和不可見身體部分兩者。例如，基于骨架模型838的左腿836，化身814的左 腿817表示個人的左腿，且基于骨架模型838的其余身體部分834，化身814的其余身體部 分815表示個人的其余身體部分。圖9a描繪了如圖5的步驟506所述地應用對輸入做出響應的示例，其中當個人的 移動不真實時對化身的移動施加限制。提供了用于避免來自應用的不連續(xù)或混亂輸出的其 他技術。在一種方法中，可評估涉及例如物理空間中的位置變化的移動來確定它們是否是 真實的。跟蹤過程可以出于各種原因而不時地中止，如遮擋、人們臨時離開并返回到視野、 由于相似外觀而無法在玩家之間區(qū)分、使用道具、玩家交換位置等等。這會導致應用造成錯誤的輸出，如不連續(xù)的或混亂的輸出，諸如化身在顯示器上突然移動。一般而言，基于深度相機系統(tǒng)的視野的圖像數(shù)據(jù)幀，在視野中跟蹤至少一個個人 的身體，且該跟蹤提供了供應用用于在顯示器上的虛擬空間中提供化身的結果，使得化身 表示該至少一個個人的身體且通過該至少一個個人的身體的移動來控制。確定來自跟蹤的 結果是否與至少一個引起導致應用在顯示器上提供錯誤輸出的風險的預定情形相一致。例 如，判定步驟900確定是否出現(xiàn)了至少一個個人的身體在特定時間間隔內在視野中移動了 超過真實距離的預定情形。響應于此，基于來自跟蹤的結果與至少一個預定情形相一致，采 取步驟來降低導致應用在顯示器上提供錯誤輸出的風險。例如，步驟901包括對顯示器上 的化身的移動施加限制。例如，化身可被限于在顯示器中移動固定量或以固定速率移動?？蛇x擇該量或速 率來避免顯示器上的不連續(xù)外觀?；砜闪磉x地被限制為不準許任何移動?；砜闪磉x地 被限制為準許與至少一個個人的身體留在被認為表示了不真實移動的位置的持續(xù)時間成 比例的增加的移動量，直到準許正常的移動量?？衫珀P于顯示器上的化身的移動和/或 虛擬空間中的化身的移動來定義移動量。注意，圖9a_9c的技術可以在深度相機系統(tǒng)和/或計算環(huán)境中實現(xiàn)。同樣，對于個 人，移動可基于該個人的代表性點位置的移動來確定，而對于組，移動可基于該組的代表性 點位置的移動來確定，如先前所討論的。此外，該判定可以特定于應用的上下文。例如，在涉 及玩家在物理空間中的大量移動的應用中，與不涉及玩家的大量移動的應用相比，較大的 移動可以是真實的。該判定可基于諸如年齡、性別、體能水平或傷殘等因素來調整。例如， 較快的人的移動可以是真實的，但對較慢的人而言可以是不真實的。一個具體示例結合圖 9d來提供。圖9b描繪了如圖5的步驟506所述地應用對輸入做出響應的示例，其中在得出新 的人或組打算與應用交互的結論之前施加等待時間。在判定步驟902，例如當一個或多個其 他人或組當前正與應用交互的時候，確定在視野中是否檢測到新的人或組。在這些情況下， 可能得出該新的人或組期望與應用交互的錯誤的結論。例如，該新的人或組可能只是走過 視野，且沒有與應用交互的期望。由此，如果應用要在顯示器上顯示一個或多個新的化身且 開始基于該新的人或組的移動來移動該化身，則當前正在與應用交互的一個或多個其他人 或組的體驗將被打斷。即使沒有人當前正在與應用交互，且應用處于不活動模式，當新的 人或組走過視野并且不打算與應用交互時激活應用并提供音頻和視頻輸出也是不合需要 的。這是一類錯誤輸出。另一情形涉及跟蹤錯誤地檢測到視野中的至少一個新個人的身 體。由此，引起導致應用在顯示器上提供錯誤輸出的風險的預定情形可涉及跟蹤錯誤 地在視野中標識了至少一個新個人的身體，和/或應用錯誤地得出視野中的至少一個新個 人正在與應用交互的結論。步驟903基于新個人或組的首次檢出位置距離視野邊緣的距離來自適應地確定 等待時間。由此，基于來自跟蹤與預定情形相一致的結果，通過在應用得出至少一個新個人 打算與應用交互的結論之前施加最小等待時間，降低了應用提供錯誤輸出的風險。此外，該 最小等待時間可以是視野中的至少一個新個人的身體的首次檢出位置距離視野邊緣的距 離的函數(shù)。當該距離較大時，該最小等待時間可以較長，而當該距離較小時，該最小等待時間較短。例如，新的個人或組不太可能首先在視野中位于相對遠離視野邊緣的中央?yún)^(qū)域的 位置處被檢測到，因為通常一個人會從邊緣區(qū)域進入視野，如當從視野之外的另一房間或 房間中的位置進入視野的時候。有可能，但不太可能，例如個人被物體遮擋然后突然首次出 現(xiàn)在視野的中心。也可使用固定等待時間。在判定步驟904，如果經(jīng)過了等待時間，則步驟905得出新的個人或組打算與應用 交互的結論。此時，允許交互，且在步驟906可以顯示并激活新的化身，例如以便允許這種 交互。由此，當最小等待時間完成后，應用在顯示器上的虛擬空間中顯示新化身來表示至少 一個新的個人。圖9c描繪了如圖5的步驟506所述地應用對輸入做出響應的示例，其中在得出新 的人或組不再與應用交互的結論之前施加等待時間。判定步驟907確定個人或組在視野中 是否不再被檢測到。在某些情況下，當前正在與應用交互的個人或組可能在視野中不再被 檢測到。例如，他們可能仍在視野中，但例如由于深度相機系統(tǒng)的故障或由于視野中的遮擋 而不再被深度相機系統(tǒng)檢測到?；蛘?，他們可能暫時離開視野，打算返回并繼續(xù)與應用交 互。在這些情況下，應用可能錯誤地得出個人或組打算不再與應用交互的結論，且可能例如 停用化身并轉換到不提供任何音頻或視覺輸出的不活動模式，或轉換到諸如提供屏幕保護 程序的待機輸出。引起導致應用提供錯誤輸出的風險的預定情形因此包括跟蹤無法檢測視野中的 至少一個個人的身體，以及應用錯誤地得出至少一個個人不再與應用交互的結論。如果判定步驟907為真，則執(zhí)行步驟908來基于個人或組的最后檢測位置距離視 野邊緣的距離自適應地確定等待時間。由此，基于來自跟蹤與預定情形相一致的結果，通過 在應用得出個人或組不再與應用交互的結論之前施加最小等待時間，降低了應用提供錯誤 輸出的風險。此外，該最小等待時間是個人或組在視野中的最后檢測位置距離視野邊緣的 距離的函數(shù)，且當該距離較大時該最小等待時間較長，而該距離較小時該時間較短。例如， 個人或組不太可能在視野中位于相對遠離視野邊緣的中央?yún)^(qū)域的位置處被最后檢測到，因 為通常一個人會從邊緣區(qū)域離開視野，如當離開視野走到視野之外的另一房間或房間中的 位置的時候。有可能，但不太可能，例如個人被物體遮擋然后突然消失在視野的中心。也可 使用固定等待時間。在判定步驟909，如果經(jīng)過了等待時間，則步驟910得出個人或組打算停止與應用 交互的結論。此時，例如，在步驟911，停止交互，且可停用化身。由此，當最小等待時間完成 后，應用停用虛擬空間中的化身來表示至少一個個人不再與應用交互。圖9d描繪了基于圖9b和9c的示例顯示和物理空間，其中評估物理空間中的個人 的移動和位置。顯示器912描繪了其中化身914站在路913上的虛擬空間。深度相機系統(tǒng) 920包括代表性傳感器918，且在深度相機系統(tǒng)的視野中提供了物理空間926，其中線922和 擬4是視野的邊界。具有中心點930的定界圓柱體擬8表示個人(或組)。該中心點930 離邊界922的距離為d2，例如到邊界922的最短距離。也可確定從定界圓柱體928到邊界 922的最短距離。具有中心點940的定界圓柱體938表示個人或組的錯誤檢測。中心點940 離中心點930的距離為dl。也可確定定界圓柱體擬8和938之間的最短距離。在圖9a中，如上所討論的，確定個人或組是否在特定量的時間內移動真實的量。 此處，距離dl可表示在較短的量的時間(如少于一秒)內要移動的非真實量，其中物理空
20間擬6通常是可能在個人家中的起居室或娛樂室的大小。在顯示器912上，在顯示器912 的顯著不同部分，基于中心點930的位置來定位化身914，且基于中心點940的位置來定位 化身915。可以看到，如果個人的位置被錯誤地確定為從中心點930移至中心點940，則將 顯示化身915而不是化身914，導致不連續(xù)的體驗。在圖9b中，如上所討論的，確定對新的個人或組的檢測是否是錯誤的。假定中心 點930表示個人或組的首次檢出位置。在這一情況下，在判定步驟904可以實現(xiàn)作為距離 d2的函數(shù)的等待時間，該距離d2是該首次檢出位置距離視野邊緣922的距離。在圖9c中，如上所討論的，確定對個人或組離開視野的檢測是否是錯誤的。假定 中心點930表示個人或組的最后檢測位置。在這一情況下，在判定步驟909可以實現(xiàn)作為 距離d2的函數(shù)的等待時間，該距離d2是該最后檢測位置距離視野邊緣922的距離。在此所述技術的上述詳細描述是為了說明和描述而提供的。并非旨在窮舉本技術 或將其限于所公開的精確形式。鑒于上述教導，許多修改和變型都是可能的。選擇上述實 施例來最好地解釋本技術的原理及其實踐應用，從而使本領域其他人能夠在各種實施例中 并用各種適于所構想的特定用途的修改一起最好地利用本技術。本技術的范圍旨在由所附 權利要求書來定義。
權利要求
1.一種用于在運動捕捉系統(tǒng)中跟蹤多個人的處理器實現(xiàn)的方法，包括以下處理器實現(xiàn) 的步驟跟蹤包括第一組的至少一個組，所述第一組包括所述運動捕捉系統(tǒng)的視野中的各人的 身體，所述跟蹤包括檢測所述視野中的所述各人的身體；基于所述跟蹤，基于所述第一組中的各人的移動來確定所述第一組作為第一單一實體 的移動；以及向應用提供基于所述第一組作為第一單一實體的移動的輸入，其中所述應用在顯示器 上顯示虛擬空間，并基于所述輸入來更新所述顯示器。
2.如權利要求1所述的處理器實現(xiàn)的方法，其特征在于所述確定所述第一組作為第一單一實體的移動包括確定所述第一組的代表性點位置 的移動，所述第一組的代表性點位置基于所述視野中的各人的身體的位置。
3.如權利要求1或2所述的處理器實現(xiàn)的方法，其特征在于所述確定所述第一組作為第一單一實體的移動包括確定所述第一組的代表性點位置 的移動，所述第一組的代表性點位置基于所述視野中的各人的身體的大小。
4.如權利要求1到3中任一項所述的處理器實現(xiàn)的方法，其特征在于所述應用在所述顯示器上提供至少一個化身，且所述第一組通過使所述化身在所述虛 擬空間中的方向上移動來基于所述第一組的移動控制所述至少一個化身，所述方向基于所 述第一組在所述視野中的移動。
5.如權利要求4所述的處理器實現(xiàn)的方法，其特征在于所述應用包括以下的至少一個(a)平衡游戲，且所述第一組基于所述第一組在所述 視野中移動的方向來控制所述至少一個化身的平衡，以及(b)操控游戲，其中所述化身包括交通工具，且所述第一組基于所述第一組在所述視野中 移動的方向來控制所述交通工具的操控方向。
6.如權利要求1到5中任一項所述的處理器實現(xiàn)的方法，其特征在于基于所述跟蹤，確定所述第一組中執(zhí)行共同移動的人的數(shù)量，對所述應用的輸入基于 所述第一組中執(zhí)行共同移動的人的數(shù)量，使得所述第一組基于所述第一組中執(zhí)行共同移動 的人的數(shù)量來控制所述應用。
7.如權利要求1到6中任一項所述的處理器實現(xiàn)的方法，其特征在于，還包括基于所述跟蹤，對于所述第一組中執(zhí)行共同移動的人，確定他們執(zhí)行所述共同移動的 程度，對所述應用的輸入基于執(zhí)行所述共同移動的程度，使得所述第一組基于執(zhí)行所述共 同移動的程度來控制所述應用。
8.如權利要求1到7中任一項所述的處理器實現(xiàn)的方法，其特征在于，還包括跟蹤所述第一組的語音音量，其中對所述應用的輸入基于所述語音音量，使得所述第 一組基于所述語音音量來控制所述應用。
9.如權利要求1到8中任一項所述的處理器實現(xiàn)的方法，其特征在于，還包括經(jīng)由網(wǎng)絡從另一運動捕捉系統(tǒng)接收數(shù)據(jù)，所述另一運動捕捉系統(tǒng)跟蹤所述另一運動捕 捉系統(tǒng)的視野中的至少一個其他人的身體，所述數(shù)據(jù)指示所述另一運動捕捉系統(tǒng)的視野中 的所述至少一個其他人的身體的移動，且所述第一組作為第一單一實體的移動基于所述第 一組中的各人的移動，包括所述至少一個其他人的移動來確定。
10.如權利要求1至9中的任一項所述的處理器實現(xiàn)的方法，其特征在于，所述至少一 個組包括第二組，所述方法還包括跟蹤所述第二組，所述第二組包括所述運動捕捉系統(tǒng)的視野中的各人的身體；基于對所述第二組的跟蹤，基于所述第二組中的各人的移動來確定所述第二組作為第 二單一實體的移動；以及確定多組移動，所述多組移動基于所述第一組的移動和所述第二組的移動；其中提供給所述應用的輸入基于所述多組移動。
11.一種其上包含有用于對至少一個處理器編程來執(zhí)行如權利要求1至10中的任一項 所述的方法的計算機可讀軟件的有形計算機可讀存儲。
12.—種運動捕捉系統(tǒng)，包括具有視野的深度相機系統(tǒng)；顯不器；與所述深度相機系統(tǒng)和所述顯示器相關聯(lián)的至少一個處理器，所述至少一個處理器執(zhí) 行指令以便(a)跟蹤包括第一組的至少一個組，所述第一組包括所述運動捕捉系統(tǒng)的視 野中的各人的身體，所述跟蹤包括檢測所述視野中的各人的身體，(b)基于所述跟蹤，基于 所述第一組中的各人的移動來確定所述第一組作為第一單一實體的移動，以及(c)向應用 提供基于所述第一組作為第一單一實體的移動的輸入，其中所述應用在顯示器上顯示虛擬 空間，并基于所述輸入來更新所述顯示器。
13.如權利要求12所述的運動捕捉系統(tǒng)，其特征在于為確定所述第一組作為第一單一實體的移動，所述至少一個處理器確定所述第一組的 代表性點位置的移動，所述第一組的代表性點位置基于所述視野中的各人的身體的位置。
14.如權利要求12或13所述的運動捕捉系統(tǒng)，其特征在于為確定所述第一組作為第一單一實體的移動，所述至少一個處理器確定所述第一組的 代表性點位置的移動，所述第一組的代表性點位置基于所述視野中的各人的身體的大小。
15.如權利要求12到14中的任一項所述的運動捕捉系統(tǒng)，其特征在于所述應用在所述顯示器上提供至少一個化身，且所述第一組通過使所述化身在所述虛 擬空間中的方向上移動來基于所述第一組的移動控制所述至少一個化身，所述方向基于所 述第一組在所述視野中的移動。
全文摘要
本發(fā)明提供了在運動捕捉系統(tǒng)中跟蹤用戶組的系統(tǒng)和方法。在運動捕捉系統(tǒng)中，基于一組人的檢測到的移動和/或位置來向應用提供單一輸入。也可使用來自該組的音頻信息來作為輸入。應用可經(jīng)由顯示器和音頻輸出來向該人或組提供實時反饋。例如，組可以基于組中的每一個人的移動來控制化身在虛擬空間中的移動，如在操控或平衡游戲中。為避免應用的不連續(xù)或混亂輸出，可為被遮擋或部分地在視野外的個人生成遺漏數(shù)據(jù)?？梢栽O置用于激活新的個人以及停用當前活動的個人的等待時間。該等待時間可以基于個人的首次檢出位置或最后檢測位置而自適應。
文檔編號G06T7/20GK102129293SQ20111002496
公開日2011年7月20日 申請日期2011年1月14日 優(yōu)先權日2010年1月15日
發(fā)明者B·S·墨菲, D·A·貝內特, D·C·小黑利, D·希爾, K·A·蓋斯那, R·馬爾科維奇, S·C·賴特, S·G·拉塔 申請人:微軟公司