背景

諸如計(jì)算機(jī)游戲、多媒體應(yīng)用等的許多計(jì)算應(yīng)用使用控制來(lái)允許用戶操縱游戲角色或應(yīng)用的其他方面。常規(guī)上，這樣的控制是使用例如控制器、遙控器、鍵盤、鼠標(biāo)等來(lái)輸入的。不幸的是，這樣的控制可能難以學(xué)習(xí)，由此造成了用戶和這些游戲及應(yīng)用之間的障礙。此外，這些控制可能與這些控制所用于的實(shí)際游戲動(dòng)作或其他應(yīng)用動(dòng)作不同。例如，使得游戲角色揮動(dòng)棒球球棒的游戲控制可能不與揮動(dòng)棒球球棒的實(shí)際運(yùn)動(dòng)相對(duì)應(yīng)。

最近，相機(jī)已被用來(lái)允許用戶操縱游戲角色或應(yīng)用的其他方面，而不需要傳統(tǒng)的手持式游戲控制器。更具體地，計(jì)算系統(tǒng)已被適配成標(biāo)識(shí)相機(jī)所捕捉的用戶，并檢測(cè)用戶的運(yùn)動(dòng)或其他行為，即向系統(tǒng)提供虛擬端口。

概述

圖像序列可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中被處理以解釋移動(dòng)。該系統(tǒng)可從圖像或圖像序列中確定目標(biāo)用戶的輪廓，并確定用戶和環(huán)境之間的接觸點(diǎn)，例如用戶正在觸摸地板或其他器具或?qū)ο蟮狞c(diǎn)。通過(guò)該輪廓，用戶的質(zhì)心可被估計(jì)，并且質(zhì)心的諸如加速度、運(yùn)動(dòng)和/或平衡之類的各方面可被跟蹤。該方法可在各種計(jì)算環(huán)境中被實(shí)現(xiàn)為使用圖像或圖像序列的一系列計(jì)算，籍此目標(biāo)用戶的輪廓、接觸點(diǎn)、質(zhì)心以及質(zhì)心的平衡、加速度和/或移動(dòng)被計(jì)算出。此外，這些方法可作為指令集合被封裝在機(jī)器可讀介質(zhì)上，該指令集合可被存儲(chǔ)在計(jì)算機(jī)/計(jì)算環(huán)境的存儲(chǔ)器中，并且在被執(zhí)行時(shí)，使得計(jì)算機(jī)/計(jì)算環(huán)境能夠?qū)嵤┰摲椒ā?/p>

根據(jù)質(zhì)心的運(yùn)動(dòng)并根據(jù)接觸點(diǎn)的知識(shí)，作用于質(zhì)心的力可被推斷出，而無(wú)需考慮例如用戶的骨架結(jié)構(gòu)或肢體的相對(duì)位置的任何知識(shí)。這可有助于用戶的準(zhǔn)確化身表示及用戶的動(dòng)作在顯示器上的構(gòu)建以及準(zhǔn)確的運(yùn)動(dòng)學(xué)分析。準(zhǔn)確性可通過(guò)對(duì)用戶預(yù)期移動(dòng)的預(yù)知和/或用戶的附加骨架跟蹤來(lái)進(jìn)一步增強(qiáng)。

提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的限制。

附圖簡(jiǎn)述

可結(jié)合附圖從作為示例給出的以下示例中得到更詳細(xì)的理解，附圖中：

圖1是用戶正使用游戲控制臺(tái)、電視機(jī)和圖像捕捉設(shè)備玩基于姿勢(shì)的游戲的示例透視圖。

圖2是用戶在具有多個(gè)器具以及計(jì)算系統(tǒng)、顯示器和圖像捕捉設(shè)備的環(huán)境中正握持著對(duì)象的示例系統(tǒng)示圖。

圖3解說(shuō)了游戲控制臺(tái)計(jì)算環(huán)境的示例系統(tǒng)框圖。

圖4是個(gè)人計(jì)算機(jī)的示例系統(tǒng)框圖。

圖5是諸如蜂窩電話手機(jī)之類的手持式無(wú)線設(shè)備的示例系統(tǒng)框圖。

圖6是從用戶的圖像序列中導(dǎo)出的信息的示例二維表示。

詳細(xì)描述

圖1在用戶使用游戲控制臺(tái)、電視機(jī)和圖像捕捉設(shè)備玩基于姿勢(shì)的游戲的情況下示出運(yùn)動(dòng)感測(cè)和分析系統(tǒng)的示例。系統(tǒng)10可用于綁定、識(shí)別、分析、跟蹤、關(guān)聯(lián)至人類目標(biāo)，提供反饋，以及/或者適合于諸如用戶18這樣的人類目標(biāo)的各方面。

如圖1所示，系統(tǒng)10可包括計(jì)算環(huán)境12。計(jì)算環(huán)境12可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)、智能電話等。系統(tǒng)10可進(jìn)一步包括捕捉設(shè)備20。捕捉設(shè)備20可以是例如檢測(cè)器，該檢測(cè)器可用于監(jiān)視諸如用戶18等一個(gè)或多個(gè)用戶，以使得可以捕捉、分析并跟蹤一個(gè)或多個(gè)用戶所執(zhí)行的姿勢(shì)以執(zhí)行應(yīng)用中的一個(gè)或多個(gè)控制或動(dòng)作，如將在下面更詳細(xì)地描述的。捕捉設(shè)備20可具有任何常規(guī)形式。捕捉設(shè)備20可以是以可見、紅外(ir)、紫外或其他光譜捕捉二維光學(xué)圖像的單鏡頭數(shù)字相機(jī)。捕捉設(shè)備20可以是例如雙鏡頭立體設(shè)備。捕捉設(shè)備20可以是能夠生成所觀察的場(chǎng)景的深度圖的雷達(dá)、聲納、紅外或其他掃描設(shè)備。捕捉設(shè)備20也可以是在一個(gè)或多個(gè)圖像輸出中提供色彩、亮度、熱度、深度和其他信息的混合并可包括多個(gè)掃描和/相機(jī)元件的組合設(shè)備。

系統(tǒng)10可包括諸如電視機(jī)、監(jiān)視器、高清電視(hdtv)等可向用戶18提供與虛擬端口和綁定、游戲或應(yīng)用視覺和/或音頻有關(guān)的反饋的視聽設(shè)備16。例如，計(jì)算環(huán)境12可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供關(guān)聯(lián)于與虛擬端口和綁定、游戲應(yīng)用、非游戲應(yīng)用等有關(guān)的反饋的視聽信號(hào)。視聽設(shè)備16可以接收來(lái)自計(jì)算環(huán)境12的視聽信號(hào)，然后可向用戶18輸出與該視聽信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。視聽設(shè)備16可以通過(guò)例如s-視頻電纜、同軸電纜、hdmi電纜、dvi電纜、vga電纜、無(wú)線連接等等連接到計(jì)算環(huán)境12。

系統(tǒng)10可用來(lái)識(shí)別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)。例如，可使用捕捉設(shè)備20來(lái)跟蹤用戶18，以使得可將用戶18的位置、移動(dòng)和大小解釋為可用于影響由計(jì)算機(jī)環(huán)境12執(zhí)行的應(yīng)用的控制。由此，用戶18可移動(dòng)他或她的身體來(lái)控制應(yīng)用。

當(dāng)沒(méi)有用戶處在捕捉設(shè)備20的捕捉區(qū)域中時(shí)，系統(tǒng)10可提供與系統(tǒng)10的該未綁定/無(wú)檢測(cè)狀態(tài)有關(guān)的反饋。當(dāng)用戶18進(jìn)入捕捉設(shè)備20的捕捉區(qū)域時(shí)，反饋狀態(tài)可以從未綁定/無(wú)檢測(cè)狀態(tài)改變?yōu)槲唇壎?檢測(cè)中的反饋狀態(tài)。系統(tǒng)10可隨后綁定到用戶18，這可將反饋狀態(tài)從未綁定/檢測(cè)中改變?yōu)橐呀壎?。在用?8綁定到計(jì)算環(huán)境12后，他可作出將打開系統(tǒng)10的其余部分的姿勢(shì)。用戶18還可作出將使其進(jìn)入與虛擬端口的關(guān)聯(lián)的第二姿勢(shì)。反饋狀態(tài)可改變，使得用戶18知道它與虛擬端口相關(guān)聯(lián)。用戶18可隨后提供一系列姿勢(shì)來(lái)控制系統(tǒng)10。例如，如果用戶18尋求打開系統(tǒng)10的一個(gè)或多個(gè)菜單或者尋求暫停一個(gè)或多個(gè)過(guò)程，他可以作出暫?；虿藛巫藙?shì)。在完成計(jì)算會(huì)話后，用戶可作出退出姿勢(shì)，這可使得系統(tǒng)10將用戶18與虛擬端口解除關(guān)聯(lián)。這可使得反饋狀態(tài)從與虛擬狀態(tài)相關(guān)聯(lián)的狀態(tài)改變?yōu)橐呀壎?已檢測(cè)的狀態(tài)。用戶18然后可以移出傳感器的范圍，這可以使反饋狀態(tài)從已綁定/已檢測(cè)改變?yōu)闊o(wú)檢測(cè)。如果系統(tǒng)10與用戶18解除綁定，則反饋狀態(tài)可改變?yōu)槲唇壎顟B(tài)。

如圖1所描繪的，在計(jì)算環(huán)境12上執(zhí)行的應(yīng)用可以是用戶18可能正在玩的拳擊游戲。例如，計(jì)算環(huán)境12可使用視聽設(shè)備16來(lái)向用戶18提供拳擊對(duì)手22的視覺表示。計(jì)算環(huán)境12還可使用視聽設(shè)備16來(lái)在屏幕14上提供用戶18可用他或她的移動(dòng)來(lái)控制的用戶化身24的視覺表示。例如，用戶18可在物理空間中揮拳猛擊以使得用戶化身24在游戲空間中揮拳猛擊。因此，系統(tǒng)10的計(jì)算機(jī)環(huán)境12和捕捉設(shè)備20可用于識(shí)別和分析用戶18在物理空間中的揮拳，從而使得該揮拳可被解釋為對(duì)游戲空間中的用戶化身24的游戲控制。

正常地，計(jì)算環(huán)境12將包括執(zhí)行軟件或固件指令的馮·諾依曼架構(gòu)的常規(guī)通用數(shù)字處理器，或通過(guò)數(shù)字現(xiàn)場(chǎng)可編程門陣列(fpga)邏輯設(shè)備、專用集成電路(asic)設(shè)備或任何等效設(shè)備或其組合來(lái)實(shí)現(xiàn)的等效設(shè)備。處理可在本地完成，或者替換地圖像處理和化身生成工作中的一些或全部可在遠(yuǎn)程位置(未描繪出)完成。因此，所示的系統(tǒng)可使用以下來(lái)實(shí)現(xiàn)(僅列舉幾個(gè)配置)：?jiǎn)蝹€(gè)智能蜂窩電話的相機(jī)、處理器、存儲(chǔ)器和顯示器；連接到電視機(jī)的游戲系統(tǒng)的專用傳感器和控制臺(tái)；或者使用圖像傳感器、計(jì)算設(shè)施和顯示器，其各自位于分開的設(shè)施處。計(jì)算環(huán)境12可包括硬件組件和/或軟件組件，使得計(jì)算設(shè)備12可用來(lái)執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用之類的應(yīng)用。

存儲(chǔ)器可包括具有具體的、有形的、物理的結(jié)構(gòu)的存儲(chǔ)介質(zhì)。如所公知的，信號(hào)不具有具體的、有形的、物理的結(jié)構(gòu)。存儲(chǔ)器以及本文所述的任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)都不被解釋為信號(hào)。存儲(chǔ)器以及本文所述的任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)都不被解釋為瞬態(tài)信號(hào)。存儲(chǔ)器以及本文所述的任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)都不被解釋為傳播信號(hào)。存儲(chǔ)器以及本文所述的任何計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)都不被解釋為制品。

用戶18可與計(jì)算環(huán)境12中的虛擬端口相關(guān)聯(lián)。虛擬端口的狀態(tài)反饋可以按以下形式被給予用戶18：視聽設(shè)備16上的聲音或顯示、諸如led或電燈泡這樣的顯示、或計(jì)算環(huán)境12上的揚(yáng)聲器、或者向用戶提供反饋的任何其他手段。反饋可被用來(lái)向用戶18通知他何時(shí)在捕捉設(shè)備20的捕捉區(qū)域中、他是否被綁定到系統(tǒng)18、他與哪個(gè)虛擬端口相關(guān)聯(lián)以及他何時(shí)控制了諸如化身24之類的化身。用戶18的姿勢(shì)可改變系統(tǒng)10的狀態(tài)，并由此改變用戶18從系統(tǒng)10接收的反饋。

用戶18的其他移動(dòng)也可被解釋為其他控制或動(dòng)作，諸如上下快速擺動(dòng)、閃避、滑步、格擋、直拳或揮動(dòng)各種不同力度的拳等控制。此外，某些移動(dòng)可被解釋為可對(duì)應(yīng)于除控制用戶化身24之外的動(dòng)作的控制。例如，用戶18可使用各移動(dòng)來(lái)進(jìn)入、退出、打開或關(guān)閉系統(tǒng)，暫停、自愿嘗試、切換虛擬端口，保存游戲，選擇級(jí)別、簡(jiǎn)檔或菜單，查看高分，與朋友通信等等。另外，用戶18的全范圍運(yùn)動(dòng)可以用任何合適的方式來(lái)獲得、使用并分析以與應(yīng)用進(jìn)行交互。

圖2是與圖1的系統(tǒng)10類似的系統(tǒng)50的系統(tǒng)圖。此處在圖2中，用戶18在具有多個(gè)器具的環(huán)境中正握持著對(duì)象21(例如，網(wǎng)球拍)。系統(tǒng)50包括具有屏幕14的視聽設(shè)備16，屏幕14上描繪了用戶18的化身24。化身24由計(jì)算環(huán)境12通過(guò)分析由捕捉設(shè)備20提供的圖像序列來(lái)創(chuàng)建。

用戶18可通過(guò)將力施加在任何器具上(例如通過(guò)將重量從地板30上的一個(gè)腳轉(zhuǎn)移到另一個(gè)腳)來(lái)移動(dòng)其質(zhì)心。器具可以是能夠承受用戶重量的顯著部分的任何相對(duì)穩(wěn)定的對(duì)象。如本文中所描繪的，器具可包括諸如地板30、芭蕾?gòu)椥詶U32、引體向上桿柄34、以及墻或門框36之類的固定器具。器具也可以是諸如椅子或桌子或甚至箱子之類的可移動(dòng)器具。器具也可以是一件鍛煉工具，諸如舉例而言踏板、健身椅或甚至健身球。此外，器具可以是在該用戶的運(yùn)動(dòng)過(guò)程中由用戶移動(dòng)或操作的對(duì)象，諸如舉例而言手杖、拐杖、助行器、或輪椅。

在圖2中，屏幕14示出了在用戶18的物理環(huán)境中不存在的球23。通過(guò)捕捉設(shè)備20，計(jì)算環(huán)境12可跟蹤用戶18和他所運(yùn)用的對(duì)象12兩者的運(yùn)動(dòng)，以允許用戶18控制在屏幕14上描繪的虛擬世界中發(fā)生什么。用戶18可通過(guò)作出改變其化身24和球23的相對(duì)位置的運(yùn)動(dòng)來(lái)與屏幕上的圖像交互。

圖3解說(shuō)了可與以上結(jié)合圖1和2所描述的計(jì)算環(huán)境12一樣被用來(lái)例如解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的移動(dòng)的多媒體控制臺(tái)100。如圖3所示，多媒體控制臺(tái)100具有中央處理單元(cpu)101，該中央處理單元101包括含有一級(jí)高速緩存101、二級(jí)高速緩存104和閃存rom(只讀存儲(chǔ)器)106的處理器核。一級(jí)高速緩存102和二級(jí)高速緩存104臨時(shí)存儲(chǔ)數(shù)據(jù)，并且因此減少存儲(chǔ)器訪問(wèn)周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。cpu101可被提供為具有一個(gè)以上的核，并且由此具有附加的一級(jí)高速緩存102和二級(jí)高速緩存104。閃存rom106可存儲(chǔ)在多媒體控制臺(tái)100通電時(shí)引導(dǎo)過(guò)程的初始階段期間加載的可執(zhí)行代碼。

圖形處理單元(gpu)108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運(yùn)送數(shù)據(jù)。視頻處理流水線向a/v(音頻/視頻)端口140輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲(chǔ)器控制器110連接到gpu108以方便處理器訪問(wèn)各種類型的存儲(chǔ)器112，諸如但不局限于ram(隨機(jī)存取存儲(chǔ)器)。

多媒體控制臺(tái)100包括較佳地在模塊118上實(shí)現(xiàn)的i/o控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一usb主控制器126、第二usb控制器128和前面板i/o子部件130。

usb控制器126和128用作外圍控制器142(1)-142(2)、無(wú)線適配器148、以及外置存儲(chǔ)器設(shè)備146(例如，閃存、外置cd/dvdrom驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接口124和/或無(wú)線適配器148提供對(duì)網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問(wèn)，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無(wú)線適配器組件中的任何一種。

系統(tǒng)存儲(chǔ)器143被提供來(lái)存儲(chǔ)在引導(dǎo)過(guò)程期間被加載的應(yīng)用數(shù)據(jù)。媒體驅(qū)動(dòng)器144被提供并且可包括dvd/cd驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、或其他可移動(dòng)媒體驅(qū)動(dòng)器等。媒體驅(qū)動(dòng)器144對(duì)多媒體控制臺(tái)100而言可以是內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動(dòng)器144來(lái)訪問(wèn)，以供多媒體控制臺(tái)100執(zhí)行、回放等。媒體驅(qū)動(dòng)器144經(jīng)由諸如串行ata總線或其他高速連接(例如ieee1394)之類的總線被連接到i/o控制器120。

系統(tǒng)管理控制器122提供與確保多媒體控制臺(tái)100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到a/v端口140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。

前面板i/o子部件130支持被展示在多媒體控制臺(tái)100的外表面上的電源按鈕150和彈出按鈕152、以及任何led(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺(tái)100的組件供電。風(fēng)扇138冷卻多媒體控制臺(tái)100內(nèi)的電路。

前面板i/o子部件130可以包括可向用戶18提供多媒體控制100的控制狀態(tài)的音頻或視覺反饋的led、視覺顯示屏、燈泡、揚(yáng)聲器或任何其他裝置。例如，如果系統(tǒng)處于其中捕捉設(shè)備20沒(méi)有檢測(cè)到用戶的狀態(tài)，則這樣的狀態(tài)可被反映在前面板i/o子部件130中。如果系統(tǒng)的狀態(tài)改變，例如用戶變?yōu)榻壎ǖ较到y(tǒng)，則反饋狀態(tài)可在前面板i/o子部件中被更新以反映該狀態(tài)的改變。

多媒體控制臺(tái)100內(nèi)的cpu101、gpu108、存儲(chǔ)器控制器110，以及各種其他組件經(jīng)由一條或多條總線互連，總線包括串行和并行總線、存儲(chǔ)器總線、外圍總線、以及使用各種總線架構(gòu)中的任一種的處理器或局部總線。作為示例，這樣的架構(gòu)可包括外圍部件互連(pci)總線、pci-express總線等。

當(dāng)多媒體控制臺(tái)100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器143加載到存儲(chǔ)器112和/或高速緩存102、104中，并且可在cpu101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺(tái)100上可用的不同媒體類型時(shí)呈現(xiàn)提供一致用戶體驗(yàn)的圖形用戶界面。在操作中，媒體驅(qū)動(dòng)器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動(dòng)器144啟動(dòng)或播放，以將附加功能提供給多媒體控制臺(tái)100。

多媒體控制臺(tái)100可通過(guò)簡(jiǎn)單地將該系統(tǒng)連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來(lái)操作。在該獨(dú)立模式中，多媒體控制臺(tái)100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看電影，或聽音樂(lè)。然而，在通過(guò)網(wǎng)絡(luò)接口124或無(wú)線適配器148可用的寬帶連接集成的情況下，多媒體控制臺(tái)100可進(jìn)一步作為更大網(wǎng)絡(luò)社區(qū)中的參與者來(lái)操作。

當(dāng)多媒體控制臺(tái)100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲(chǔ)器的保留量(諸如，16mb)、cpu和gpu周期的保留量(諸如，5％)、網(wǎng)絡(luò)帶寬的保留量(諸如，8kbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)間保留的，所保留的資源對(duì)于應(yīng)用視角而言是不存在的。

具體而言，存儲(chǔ)器保留量?jī)?yōu)選地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動(dòng)程序。cpu保留量?jī)?yōu)選地為恒定，以使得若所保留的cpu用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。

對(duì)于gpu保留，通過(guò)使用gpu中斷來(lái)調(diào)度代碼以將彈出窗口呈現(xiàn)為覆蓋圖，顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無(wú)需改變頻率和引起tv重新同步。

在多媒體控制臺(tái)100引導(dǎo)并且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來(lái)提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識(shí)出作為系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在cpu101上運(yùn)行，以便提供對(duì)應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使針對(duì)在控制臺(tái)上運(yùn)行的游戲應(yīng)用的高速緩存中斷最小化。

當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺(tái)應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻水平(例如，靜音、衰減)。

輸入設(shè)備(例如，控制器142(1)和142(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留的資源，而是要在系統(tǒng)應(yīng)用和游戲應(yīng)用之間被切換以使其各自將具有設(shè)備的焦點(diǎn)。應(yīng)用管理器較佳地控制輸入流的切換，而無(wú)需知曉游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。捕捉設(shè)備20可定義控制臺(tái)100的附加輸入設(shè)備。

圖4解說(shuō)了可與圖1和2所示的計(jì)算環(huán)境12一樣被用來(lái)例如解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的移動(dòng)的計(jì)算環(huán)境220的示例。計(jì)算環(huán)境220只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對(duì)當(dāng)前公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該把計(jì)算環(huán)境220解釋為對(duì)示例性計(jì)算系統(tǒng)220中示出的任一組件或其組合有任何依賴性或要求。所描繪的各種計(jì)算元素可包括被配置成實(shí)例化本公開的各具體方面的電路。例如，本公開中使用的術(shù)語(yǔ)電路可包括被配置成通過(guò)固件或開關(guān)來(lái)執(zhí)行(諸)功能的專用硬件組件。在其他示例中，術(shù)語(yǔ)電路可包括由實(shí)施可用于執(zhí)行(諸)功能的邏輯的軟件指令配置的通用處理單元、存儲(chǔ)器等。在電路包括硬件和軟件的組合的示例中，實(shí)現(xiàn)者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可由通用處理單元處理的機(jī)器可讀代碼。由于本領(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒(méi)有差別的地步，因此選擇硬件或是軟件來(lái)實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價(jià)的軟件進(jìn)程。由此，對(duì)于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇之一并留給實(shí)現(xiàn)者。

在圖4中，計(jì)算環(huán)境220包括計(jì)算機(jī)241，計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能由計(jì)算機(jī)241訪問(wèn)的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)兩者。系統(tǒng)存儲(chǔ)器222包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(rom)223和隨機(jī)存取存儲(chǔ)器(ram)260。包含諸如在啟動(dòng)期間幫助在計(jì)算機(jī)241內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224(bios)通常存儲(chǔ)在rom223中。ram260通常包含處理單元259可立即訪問(wèn)和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。

計(jì)算機(jī)241也可以包括其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅作為示例，圖4示出了從不可移動(dòng)、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動(dòng)器238，從可移動(dòng)、非易失性磁盤254中讀取或向其寫入的磁盤驅(qū)動(dòng)器239，以及從諸如cdrom或其他光學(xué)介質(zhì)等可移動(dòng)、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動(dòng)器240?？梢栽谑纠圆僮鳝h(huán)境中使用的其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括，但不限于，盒式磁帶、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)ram、固態(tài)rom等等。硬盤驅(qū)動(dòng)器238通常通過(guò)諸如接口234之類的不可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線221，并且磁盤驅(qū)動(dòng)器239和光盤驅(qū)動(dòng)器240通常通過(guò)諸如接口235之類的可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線221。

以上討論并在圖4中示出的驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)為計(jì)算機(jī)241提供了對(duì)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。在圖4中，例如，硬盤驅(qū)動(dòng)器238被示為存儲(chǔ)操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意，這些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其它程序模塊227和程序數(shù)據(jù)228相同或不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號(hào)，以至少說(shuō)明它們是不同的副本。用戶可以通過(guò)輸入設(shè)備，如鍵盤251和定點(diǎn)設(shè)備252(其可采用例如鼠標(biāo)、跟蹤球或觸摸墊的形式)向計(jì)算機(jī)241輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些及其他輸入設(shè)備常常通過(guò)耦合到系統(tǒng)總線221的用戶輸入接口236連接到處理單元259，但是，也可以通過(guò)其他接口和總線結(jié)構(gòu)，如并行端口、游戲端口、通用串行總線(usb)端口來(lái)進(jìn)行連接。相機(jī)27、28和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。監(jiān)視器242或其它類型的顯示設(shè)備也通過(guò)接口(如視頻接口232)連接至系統(tǒng)總線221，所述接口可結(jié)合圖形接口231、圖形處理單元(gpu)229和/或視頻存儲(chǔ)器229來(lái)操作。除監(jiān)視器之外，計(jì)算機(jī)還可包括可以通過(guò)輸出外圍接口233連接的諸如揚(yáng)聲器244和打印機(jī)243之類的其他外圍輸出設(shè)備。

計(jì)算機(jī)241可使用到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(諸如，遠(yuǎn)程計(jì)算機(jī)246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)pc、對(duì)等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括許多或所有以上相對(duì)計(jì)算機(jī)241所描述的元件，但在圖4中僅示出了存儲(chǔ)器存儲(chǔ)設(shè)備247。圖4中所描繪的邏輯連接包括局域網(wǎng)(lan)245和廣域網(wǎng)(wan)249，但還可包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。

當(dāng)在lan聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過(guò)網(wǎng)絡(luò)接口或適配器237連接到lan245。當(dāng)在wan聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過(guò)諸如因特網(wǎng)等wan249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相關(guān)于計(jì)算機(jī)241所示的程序模塊或其部分可被存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而非限制，圖4示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲(chǔ)器設(shè)備247上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。

圖5解說(shuō)了可與圖1和2所示的計(jì)算環(huán)境12一樣用來(lái)例如解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的移動(dòng)的計(jì)算設(shè)備500的示例。計(jì)算環(huán)境500可以是例如移動(dòng)站、固定或移動(dòng)訂戶單元、尋呼機(jī)、蜂窩電話、個(gè)人數(shù)字助理(pda)、智能電話、膝上型計(jì)算機(jī)、上網(wǎng)本、平板、個(gè)人計(jì)算機(jī)、無(wú)線傳感器、或消費(fèi)者電子設(shè)備等等如圖5所示，設(shè)備500可包括處理器502、收發(fā)機(jī)504、發(fā)射/接收元件506、揚(yáng)聲器/話筒510、小鍵盤512、顯示器/觸摸墊514、不可移動(dòng)存儲(chǔ)器516、可移動(dòng)存儲(chǔ)器518、功率收發(fā)機(jī)508、全球定位系統(tǒng)(gps)芯片集522、圖像捕捉設(shè)備530和其他外圍設(shè)備520。將領(lǐng)會(huì)，設(shè)備500可包括前述元件的任何子組合。

處理器502可以是通用處理器、專用處理器、常規(guī)處理器、數(shù)字信號(hào)處理器(dsp)、多個(gè)微處理器、與dsp核相關(guān)聯(lián)的一個(gè)或多個(gè)微處理器、控制器、微控制器、應(yīng)用專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列(fpga)電路、任何其他類型的集成電路(ic)、狀態(tài)機(jī)等。處理器502可執(zhí)行信號(hào)編碼、數(shù)據(jù)處理、功率控制、輸入/輸出處理和/或使得設(shè)備500能夠在無(wú)線環(huán)境中操作的任何其他功能。處理器502可被耦合到收發(fā)機(jī)504，收發(fā)機(jī)504可被耦合到發(fā)射/接收元件506。盡管圖5將處理器502和收發(fā)機(jī)504描繪為分開的組件，但將領(lǐng)會(huì)，處理器502和收發(fā)機(jī)504可被一起集成在一電子封裝或芯片中。處理器502可執(zhí)行圖像和移動(dòng)分析，或者它可例如經(jīng)由無(wú)線通信與遠(yuǎn)程設(shè)備協(xié)作來(lái)完成這樣的分析。

發(fā)射/接收元件506可被配置成將信號(hào)發(fā)射到例如wlanan或從例如wlanan處接收信號(hào)。例如，發(fā)射/接收元件506可以是被配置成發(fā)射和/或接收rf信號(hào)的天線。發(fā)射/接收元件506可支持各種網(wǎng)絡(luò)和空中接口，諸如wlan(無(wú)線局域網(wǎng))、wpan(無(wú)線個(gè)域網(wǎng))、蜂窩等等。發(fā)射/接收元件506可以是被配置成發(fā)射和/或接收例如ir、uv或可見光信號(hào)的發(fā)射機(jī)/檢測(cè)器。發(fā)射/接收元件506可被配置成發(fā)射和接收rf和光信號(hào)兩者。將領(lǐng)會(huì)，發(fā)射/接收元件506可被配置成發(fā)射和/或接收無(wú)線或有線信號(hào)的任何組合。

處理器502可從任何類型的合適存儲(chǔ)器(諸如不可移動(dòng)存儲(chǔ)器516和/或可移動(dòng)存儲(chǔ)器518)中訪問(wèn)信息，以及將數(shù)據(jù)存儲(chǔ)在這種存儲(chǔ)器中。不可移動(dòng)存儲(chǔ)器516可包括隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、硬盤、或任何其它類型的存儲(chǔ)器存儲(chǔ)設(shè)備。可移動(dòng)存儲(chǔ)器518可包括訂戶身份模塊(sim)卡、存儲(chǔ)器棒、安全數(shù)字(sd)存儲(chǔ)器卡等。處理器502可從不物理地位于設(shè)備500(諸如服務(wù)器或家用計(jì)算機(jī))上的存儲(chǔ)器中訪問(wèn)信息，以及將數(shù)據(jù)存儲(chǔ)在這種存儲(chǔ)器中。處理器502可被配置成響應(yīng)于各用戶請(qǐng)求、網(wǎng)絡(luò)條件、服務(wù)策略質(zhì)量等來(lái)控制顯示器或指示器42上的照明模式、圖像、或色彩。

處理器502可從功率收發(fā)機(jī)508接收功率，并可被配置成向設(shè)備500中的其他組件分發(fā)功率和/或控制功率。功率收發(fā)機(jī)508可以是用于向設(shè)備500供電的任何合適的設(shè)備。例如，功率收發(fā)機(jī)508可包括一個(gè)或多個(gè)干電池組(例如，鎳鎘(nicd)、鎳鋅(nizn)、鎳金屬氫(nimh)、鋰離子(li-離子)等)、太陽(yáng)能電池、燃料電池等等。

處理器502還可被耦合到gps芯片集522，gps芯片集522被配置成提供關(guān)于設(shè)備500的當(dāng)前位置的位置信息(例如，經(jīng)度和維度)。

處理器502還可被耦合到圖像捕捉設(shè)備530。捕捉設(shè)備可以是可見光譜相機(jī)和ir傳感器、深度圖像傳感器等。

處理器502可進(jìn)一步被耦合到其他外圍設(shè)備520，這些其他外圍設(shè)備520可包括提供附加特征、功能和/或有線或無(wú)線連接性的一個(gè)或多個(gè)軟件和/或硬件模塊。例如，外圍設(shè)備520可包括加速度計(jì)、電子指南針、衛(wèi)星收發(fā)機(jī)、傳感器、數(shù)字相機(jī)(用于獲得照片或視頻)、通用串行總線(usb)端口、振動(dòng)設(shè)備、電視收發(fā)機(jī)、免提耳機(jī)、模塊、調(diào)頻(fm)無(wú)線電單元、數(shù)字音樂(lè)播放器、媒體播放器、視頻游戲播放器模塊、因特網(wǎng)瀏覽器等等。

圖6是根據(jù)在用戶的物理環(huán)境中捕捉到的用戶的一個(gè)或多個(gè)圖像計(jì)算的信息的兩個(gè)維度600的描繪。此處在圖6中，根據(jù)該圖像，處理器已確定了用戶的輪廓602，此處被示為輪廓線。此處，用戶正站著。處理器已估計(jì)出用戶604的質(zhì)心的位置，此處用十字標(biāo)記出。處理器已確定了用戶和器具之間的兩個(gè)接觸點(diǎn)。在該情況下，器具是地板。假設(shè)用戶正面向圖像捕捉設(shè)備，接觸點(diǎn)606是用戶的右腳，并且接觸點(diǎn)610是他的左腳。系統(tǒng)還計(jì)算了由每一接觸點(diǎn)施加在器具上的地面重量，如長(zhǎng)度與所施加的重量成正比的虛線(線608和612)所示。注意，右腳608上的重量大于左腳612上的重量。

輪廓602可用作圖1和2的化身24，或者它可用作用于生成這樣的化身的基礎(chǔ)。由此，用戶可看見該用戶自己的包括輪廓線、由輪廓線組成或包含輪廓線的圖像或表示。替換地，化身可以是例如粗略地對(duì)應(yīng)于用戶18呈現(xiàn)給系統(tǒng)的輪廓線的照片或通過(guò)數(shù)字方式生成的圖形圖像。在用戶的該表示上可覆蓋有關(guān)于其平衡和移動(dòng)的信息。在圖6中，每一腳所施加的靜力被示為垂直虛線208和212。替換地，重量可被示為例如從接觸點(diǎn)沿著地板的平面輻射出的圓盤，并且這些圓盤可在尺寸、色彩或兩者方面與所施加的重量成比例地動(dòng)態(tài)變化。重心604可通過(guò)十字來(lái)描繪，該十字在位置方面隨著用戶的平衡轉(zhuǎn)變而變化，并且在色彩方面與其加速度成比例地變化。

每一接觸點(diǎn)所承擔(dān)的瞬時(shí)重量可根據(jù)以下直接計(jì)算出：用戶和器具之間的接觸點(diǎn)的位置；用戶的質(zhì)量；以及用戶的質(zhì)心的位置和加速度。用戶的輪廓(包括用戶高度和寬度)由于用戶的運(yùn)動(dòng)、色彩、溫度和來(lái)自圖像傳感器的范圍而可由計(jì)算系統(tǒng)從圖像數(shù)據(jù)中估計(jì)出。類似地，環(huán)境(包括器具)的模型由于其缺乏運(yùn)動(dòng)、色彩、溫度和/或來(lái)自傳感器的范圍而可從圖像數(shù)據(jù)中推斷出，和/或環(huán)境的模型替換地被認(rèn)為包括被確定為不是用戶的任何對(duì)象。

用戶的總質(zhì)量可例如通過(guò)采取用戶的平均密度和/或通過(guò)參考平均質(zhì)量查找表根據(jù)觀察到的用戶的高度和寬度等估計(jì)出。注意這可僅通過(guò)2d(二維)成像來(lái)實(shí)現(xiàn)，但3d(三維)/深度成像可提供對(duì)用戶的總體積并因此質(zhì)量的更準(zhǔn)確的評(píng)估。例如，根據(jù)從用戶的前方拍攝的深度圖，用戶的前方的“深度外殼”模型可被確定，并且根據(jù)此模型，整個(gè)用戶的3d深度外殼可被推斷出。顯著地，用戶的真正質(zhì)量可能不是計(jì)算例如在各接觸點(diǎn)之間的相對(duì)重量分布所必需的。一旦用戶的總質(zhì)量被估計(jì)出，用戶的質(zhì)量中心的位置就可被計(jì)算出作為質(zhì)量成分組件的幾何中心。

與器具的接觸點(diǎn)可從環(huán)境中的對(duì)象相對(duì)于用戶上最遠(yuǎn)離用戶的重心的那些點(diǎn)的位置中推斷出?？赡懿恍枰獦?biāo)識(shí)結(jié)構(gòu)上的肢體末端本身。例如，在僅有的器具是地板的情況下，可推斷僅有的接觸點(diǎn)將是用戶圖像與地板相交或在地板上相切的位置。在用戶正站著的情況下，這些接觸點(diǎn)將是用戶的腳，在用戶正跪著的情況下，這些接觸點(diǎn)將是用戶的膝蓋，或者當(dāng)用戶正在做手倒立的情況下，這些接觸點(diǎn)將是用戶的手等等。用戶身體的哪個(gè)具體部位正觸摸器具本身不予重量和重量分布計(jì)算有關(guān)。知道存在多少接觸點(diǎn)以及它們相對(duì)于質(zhì)心在哪里就足夠了。

用戶的質(zhì)心的加速度可根據(jù)質(zhì)心的位置隨時(shí)間的改變來(lái)計(jì)算。此處，計(jì)算系統(tǒng)僅需要根據(jù)圖像的時(shí)間序列比較質(zhì)心位置，并測(cè)量質(zhì)心移動(dòng)得有多快(在哪個(gè)方向中以及處于什么速度)以隨后推斷出加速度。

一旦接觸點(diǎn)、質(zhì)心和質(zhì)心加速度被知道，影響質(zhì)心以及在接觸點(diǎn)影響器具的凈力可依據(jù)牛頓動(dòng)力學(xué)算法來(lái)計(jì)算。存在可用于執(zhí)行這樣的計(jì)算的多個(gè)方法。例如剛性體物理學(xué)已被應(yīng)用于視頻游戲、醫(yī)學(xué)運(yùn)動(dòng)分析和模擬以及正和反機(jī)器人運(yùn)動(dòng)學(xué)。出于本發(fā)明目的，計(jì)算系統(tǒng)可按約束滿足問(wèn)題自動(dòng)求解出作為剛形體影響接觸點(diǎn)的力，其中力和力矩的方向的值是通過(guò)迭代計(jì)算找出的，如在迭代動(dòng)力學(xué)中用時(shí)間相干性實(shí)現(xiàn)的一樣。

質(zhì)心的位置和運(yùn)動(dòng)以及質(zhì)心相對(duì)于接觸點(diǎn)的幾何結(jié)構(gòu)確定每一接觸點(diǎn)處的狀態(tài)向量。例如，這些點(diǎn)的位置和運(yùn)動(dòng)確定這些點(diǎn)的速度的幅度方向以及作用于這些點(diǎn)的力矩的幅度方向。將重力考慮在內(nèi)，用戶在每一接觸點(diǎn)的慣性張力可被推斷出。導(dǎo)致移動(dòng)或張力方面的改變的力可通過(guò)比較從一個(gè)時(shí)間幀到下一時(shí)間幀發(fā)生的事情來(lái)計(jì)算。

在這樣的分析中可使用以下示例性公式1。在公式1中，m是質(zhì)量矩陣。v¹和v²是包含在時(shí)間1和時(shí)間2的線速度和角速度的向量。δt是從時(shí)間1到時(shí)間2的時(shí)間方面的改變。j是描述作用于各質(zhì)量的約束力的偏微分的雅可比矩陣。j^t是雅可比矩陣j的轉(zhuǎn)置矩陣。如此處所使用的，λ(lambda)是約束力的幅值的未定乘數(shù)的向量。j^tλ是該雅可比矩陣乘以λ的轉(zhuǎn)置矩陣，這導(dǎo)致作用于各質(zhì)量的力和力矩。fext是質(zhì)量的系統(tǒng)(諸如重力)外部的力和力矩的向量。在公式1，質(zhì)量向量乘以微分速度向量等于時(shí)間方面的改變乘以作用于這些質(zhì)量的內(nèi)部和外部的力和力矩的向量的和。

m(v²-v¹)＝δt(j^tλ+fext)

(公式1)

其中質(zhì)量的幾何結(jié)構(gòu)和實(shí)際運(yùn)動(dòng)已被觀察到，計(jì)算系統(tǒng)可通過(guò)填入其他變量并求解λ來(lái)完成求解公式1。每一該約束的方向控制j^t最初如何被計(jì)算出，使得特定力的方向和值可隨后通過(guò)將相應(yīng)的j^t和λ矩陣元素相乘來(lái)計(jì)算出。

在實(shí)踐中，計(jì)算系統(tǒng)可由此基于質(zhì)心的狀態(tài)向量和到接觸點(diǎn)的向量完成對(duì)接觸點(diǎn)在一系列時(shí)間幀的狀態(tài)向量的計(jì)算。隨后，這些狀態(tài)向量可被逐幀地比較，并且操作力的幅值和向量根據(jù)什么將對(duì)于所有接觸點(diǎn)一致來(lái)計(jì)算。該計(jì)算可通過(guò)在每一迭代中調(diào)整狀態(tài)向量來(lái)完成，因?yàn)槔缫愿咚?賽德爾方式該系統(tǒng)反復(fù)地迭代通過(guò)各接觸點(diǎn)。通過(guò)假定在各幀之間的介入時(shí)間中，用戶將自然開始下降來(lái)將重力考慮在內(nèi)。因此，在所計(jì)算的力之中有“阻止”該下降所必需的力。一旦解收斂，在各接觸點(diǎn)處的最終力可被報(bào)告給用戶(例如作為力幅值和方向的符號(hào)顯示)，或者被用于確定用戶符合指定運(yùn)動(dòng)體制，諸如特定鍛煉。

注意，該方法產(chǎn)生對(duì)靜態(tài)和動(dòng)態(tài)地面重量分布的可靠估計(jì)，而不管用戶的姿態(tài)、姿勢(shì)或移動(dòng)如何。因此，該方法在依賴于用戶骨架或肌肉組織的建模的系統(tǒng)可產(chǎn)生較不穩(wěn)健的結(jié)果的情況下是有用的。后者可在例如在特定鍛煉或跳舞常規(guī)動(dòng)作中的部分或全部期間身體的姿態(tài)或姿勢(shì)變得對(duì)成像傳感器模糊而發(fā)生。

用戶的化身和重量分布反饋的準(zhǔn)確生成可部分地通過(guò)預(yù)知用戶的預(yù)期運(yùn)動(dòng)序列和骨架建模(在可用時(shí))來(lái)實(shí)現(xiàn)。例如，為了在深蹲鍛煉期間跟蹤用戶，在該鍛煉以用戶完全筆直站立開始時(shí)，可采用骨架建模。當(dāng)用戶下蹲到足夠低，以至成像傳感器對(duì)用戶的骨盆和腹部的視線被用戶的膝蓋遮擋時(shí)，身體段的精確定位可能難以確定。然而，通過(guò)觀察關(guān)于用戶的整個(gè)質(zhì)心相對(duì)于與地板的接觸點(diǎn)的加速度，用戶從一個(gè)腳到另一個(gè)腳的平衡仍可被評(píng)估，而不參考骨架模型。隨著用戶返回到站立位置，該系統(tǒng)可返回到完全骨架建模。骨架建模和總質(zhì)心加速度建模的類似混合可被定制以適應(yīng)任何數(shù)目的例如舞蹈、瑜伽姿勢(shì)、伸展和強(qiáng)度鍛煉或康復(fù)協(xié)議。

類似地，為了創(chuàng)建準(zhǔn)確的模型可考慮預(yù)知器具。如果例如引體向上被要求，則該系統(tǒng)可尋求標(biāo)識(shí)在用戶的頭部上方的器具。如果對(duì)在右手中的手杖的使用被規(guī)定，則三條腿的用戶輪廓可被映射到合適適應(yīng)的化身，并且在用戶大步走時(shí)施加在手杖上的各個(gè)點(diǎn)處的力的量可被評(píng)估。

這些技術(shù)可被應(yīng)用于單個(gè)圖像的分析。計(jì)算平臺(tái)可以是處理器、耦合到處理器的包含處理器可執(zhí)行的指令的存儲(chǔ)器、以及耦合到處理器的包含來(lái)自圖像捕捉設(shè)備的圖像序列的存儲(chǔ)器，其中處理器通過(guò)執(zhí)行這些指令完成對(duì)第一力(包括相對(duì)幅值和方向)的確定，其中該力被目標(biāo)用戶施加在器具的接觸點(diǎn)上。換言之，在圖像捕捉設(shè)備的范圍內(nèi)的人的(或動(dòng)物的或甚至行走中的機(jī)器人的)姿態(tài)可從單個(gè)圖像中被分析出。在圖像捕捉設(shè)備的視野中可存在許多人。該系統(tǒng)將首先必須確定這些用戶中的哪些用戶將是分析的目標(biāo)。

該分析可始于從第一圖像中計(jì)算目標(biāo)用戶的輪廓。隨后，根據(jù)該輪廓，可計(jì)算質(zhì)心。質(zhì)心可取決于輪廓的預(yù)期深度和密度、基于2d圖像或者部分地基于觀察到的該輪廓的深度(在3d/深度圖的情況中)。接著，該系統(tǒng)可確定用戶觸摸器具的接觸點(diǎn)。僅根據(jù)這些變量，力的相對(duì)或?qū)嶋H幅值和方向可被計(jì)算出。這可通過(guò)牛頓算法或通過(guò)數(shù)字?jǐn)M合方法(諸如約束分析)來(lái)實(shí)現(xiàn)。在任一情況下，力可根據(jù)觀察到的質(zhì)心與第一接觸點(diǎn)的幾何關(guān)系來(lái)確定。類似地，多個(gè)接觸點(diǎn)中的每一者上的靜態(tài)力可由這些方法從單個(gè)圖像中找到。

根據(jù)兩個(gè)或更多個(gè)圖像，關(guān)于動(dòng)態(tài)力和加速度的信息可被獲得。在分析了第一圖像后，第二輪廓是根據(jù)第二圖像計(jì)算出的。用戶的質(zhì)心的移動(dòng)可通過(guò)比較第一和第二輪廓或根據(jù)那些輪廓計(jì)算的第一和第二質(zhì)心來(lái)計(jì)算。用戶的質(zhì)心的加速度的比率可隨后基于兩個(gè)圖像被捕捉到的時(shí)間有多遠(yuǎn)離來(lái)計(jì)算。這可通過(guò)比較這些圖像的時(shí)戳(其要么在圖像的元數(shù)據(jù)中明確表示要么在捕捉設(shè)備的幀率的知識(shí)中暗示)來(lái)找到。再一次，導(dǎo)致該移動(dòng)和加速度的力或?qū)崿F(xiàn)這樣的移動(dòng)和加速度所必須的凈力或等效力可通過(guò)約束分析來(lái)找到，這時(shí)不僅使用質(zhì)心與第一接觸點(diǎn)的幾何關(guān)系，還使用移動(dòng)和/或加速度數(shù)據(jù)。

目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)通常依賴于骨架跟蹤技術(shù)來(lái)檢測(cè)運(yùn)動(dòng)或其他用戶行為，并由此控制在視覺顯示器上表示用戶的化身。計(jì)算用戶的質(zhì)心上的力的方法可與骨架跟蹤技術(shù)組合來(lái)提供對(duì)用戶的無(wú)縫跟蹤，即使在骨架跟蹤技術(shù)自身可能沒(méi)有成功跟隨用戶的行為的情況下。在計(jì)算系統(tǒng)完成對(duì)目標(biāo)用戶的化身的建模以供視覺顯示的情況下，它可在第一時(shí)段期間通過(guò)將用戶的輪廓的多個(gè)可標(biāo)識(shí)部分映射到化身的骨架段來(lái)完成對(duì)化身的建模。換言之，當(dāng)系統(tǒng)可明確標(biāo)識(shí)出手臂、腿、頭部和軀干時(shí)，準(zhǔn)確的化身可通過(guò)將觀察到的身體部位映射到化身的相應(yīng)部分來(lái)創(chuàng)建。

隨后，在稍候的時(shí)間，在第二時(shí)段期間，化身的建?？赏ㄟ^(guò)根據(jù)質(zhì)心的移動(dòng)來(lái)推斷化身的骨架段的移動(dòng)來(lái)完成。換言之，當(dāng)出于無(wú)論何種理由該系統(tǒng)無(wú)法告知肢體在何處時(shí)，它仍可告知用戶的質(zhì)心在何處，并使得化身的運(yùn)動(dòng)根據(jù)用戶的質(zhì)心方面的改變來(lái)移動(dòng)。隨后，在第三時(shí)間，系統(tǒng)可切換回在生成化身時(shí)使用骨架建模。

任何數(shù)目的方法可被用于確定在哪個(gè)時(shí)間使用哪種建模方法來(lái)創(chuàng)建化身。該判定可基于例如骨架模型的關(guān)節(jié)跟蹤數(shù)據(jù)的置信度水平、基于觀察到用戶的上下文或這兩者的組合。例如，如果骨架模型提示身體的各部位位于難以置信的或解剖上不可能的姿勢(shì)，則計(jì)算系統(tǒng)可通過(guò)質(zhì)心模型來(lái)完成對(duì)化身的處理。例如，如果骨架系統(tǒng)具有明顯不在用戶的質(zhì)心下面的腳，并且質(zhì)心不在移動(dòng)，則我們具有無(wú)效的情形，并且質(zhì)心模型將優(yōu)于骨架模型。

用于觸發(fā)所使用的建模方法的改變的置信度水平可取決于什么運(yùn)動(dòng)被用戶預(yù)期。例如，某些瑜伽姿態(tài)可能比更普通的健美操更有可能反轉(zhuǎn)肢體位置。因此，在不同的情況下可應(yīng)用不同的置信度閾值。

類似地，上下文可獨(dú)立于置信度被使用以確定何時(shí)切換建模方法。例如，如果用戶已選擇進(jìn)行深蹲鍛煉，則我們可預(yù)料到當(dāng)頭部相對(duì)于原始高度變得太低時(shí)，骨架跟蹤可發(fā)生故障。那時(shí)，系統(tǒng)可被配置成單獨(dú)地基于質(zhì)心的位置或替換地僅基于頭部高度來(lái)觸發(fā)到化身生成模型的轉(zhuǎn)變，從而忽略當(dāng)前由骨架建模方法得出的任何結(jié)果。類似地，當(dāng)用戶頭部再次變得足夠高時(shí)，骨架建模方法可再次被采用。

此外，總質(zhì)心方法本身可用于檢查骨架模型的有效性。為了實(shí)現(xiàn)此，計(jì)算系統(tǒng)可完成對(duì)如使用基于骨架的方法和基于總質(zhì)心的方法確定的各接觸點(diǎn)力的直接比較。當(dāng)這些確定偏離太多時(shí)，計(jì)算系統(tǒng)可選擇使用基于總質(zhì)心的結(jié)果。

應(yīng)理解，本文中描述的系統(tǒng)、方法和過(guò)程中的任一者或全部可用存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)可執(zhí)行指令(即，程序代碼)的形式來(lái)實(shí)現(xiàn)，這些指令當(dāng)被機(jī)器(諸如，計(jì)算機(jī)、服務(wù)器、用戶設(shè)備(ue)等)執(zhí)行時(shí)執(zhí)行和/或?qū)崿F(xiàn)本文中描述的系統(tǒng)、方法和過(guò)程。具體地，以上描述的步驟、操作或功能中的任一者可用這樣的計(jì)算機(jī)可執(zhí)行指令的形式來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)信息的任何方法或技術(shù)來(lái)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)，但這樣的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)不包括信號(hào)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括但不限于，ram、rom、eeprom、閃存或其他存儲(chǔ)器技術(shù)、cd-rom、數(shù)字多功能盤(dvd)或其他光盤存儲(chǔ)、盒式磁帶、磁帶、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備，或者可用于存儲(chǔ)所需信息并可由計(jì)算機(jī)訪問(wèn)的任何其他物理介質(zhì)。

在以上描述的示例中，并如附圖中所解說(shuō)的，出于清楚的目的采用了具體術(shù)語(yǔ)。然而，所要求保護(hù)的主題不旨在限于這么選擇的特定術(shù)語(yǔ)，并且將理解每一具體元素包括用類似的方式操作以完成類似的目的的所有技術(shù)等同物。