專利名稱：實(shí)時(shí)運(yùn)動(dòng)捕捉的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻處理，更具體地說(shuō)，涉及追蹤圖像深度和/或與圖像相關(guān)的標(biāo)記以提供視頻游戲應(yīng)用的實(shí)時(shí)運(yùn)動(dòng)捕捉。
背景技術(shù)：
電影、視頻游戲和其它有關(guān)的視頻產(chǎn)品捕捉距離與維度信息。關(guān)于電影，可以分開(kāi)捕捉演員或運(yùn)動(dòng)人物的動(dòng)作。例如，當(dāng)執(zhí)行活動(dòng)時(shí)，可由多臺(tái)攝像機(jī)拍攝運(yùn)動(dòng)人物。附在運(yùn)動(dòng)人物上的對(duì)象(即，球狀物)能夠追蹤動(dòng)作。追蹤的動(dòng)作然后存儲(chǔ)在數(shù)據(jù)庫(kù)中，以便隨后在電影或視頻游戲中使用。這些動(dòng)作可通過(guò)運(yùn)行數(shù)據(jù)庫(kù)中存儲(chǔ)的動(dòng)作的幀來(lái)回放。
圖1是身體上布滿多個(gè)球狀物以存儲(chǔ)其動(dòng)作的一個(gè)人的示意圖。人100具有分布于其身上的多個(gè)球狀物102。然后人100將執(zhí)行由多個(gè)攝像機(jī)104捕捉的某些活動(dòng)。然后捕捉的視頻數(shù)據(jù)可根據(jù)需要編輯，以定義視頻數(shù)據(jù)106。然后視頻數(shù)據(jù)106被存儲(chǔ)在數(shù)據(jù)庫(kù)108中，以隨后檢索用于插入電影中。
相對(duì)圖1描述的方案在不需要實(shí)時(shí)運(yùn)動(dòng)捕捉的受控環(huán)境下工作良好，例如電影編輯。此外，由于捕捉并存儲(chǔ)了人的動(dòng)作，因此該人只須佩戴一次球狀物。然而，關(guān)于圖1所描述的運(yùn)動(dòng)捕捉僅用于被動(dòng)方式中，即，編輯者在編輯電影時(shí)將存儲(chǔ)的動(dòng)作插入電影中。因此，所捕捉的動(dòng)作不控制電影的任何方面，并隨后被插入電影中。對(duì)于視頻游戲同樣成立，即，所捕捉的運(yùn)動(dòng)不用于控制視頻游戲的任何方面。部分地，復(fù)雜的計(jì)算能力以及逐點(diǎn)掃描的需要造成無(wú)法將所捕捉的運(yùn)動(dòng)用于實(shí)時(shí)控制。
因此，有解決現(xiàn)有技術(shù)問(wèn)題的需要，要提供一種用于提供能夠控制視頻游戲各個(gè)方面(諸如對(duì)象和角色動(dòng)作)的實(shí)時(shí)運(yùn)動(dòng)捕捉的方法和設(shè)備。

發(fā)明內(nèi)容
概況地說(shuō)，本發(fā)明通過(guò)提供一種通過(guò)玩視頻游戲人的實(shí)時(shí)運(yùn)動(dòng)捕捉能夠控制視頻游戲角色和對(duì)象的方法與設(shè)備來(lái)滿足上述需要。應(yīng)理解的是，可以多種方式實(shí)現(xiàn)本發(fā)明，包括作為方法、系統(tǒng)、計(jì)算機(jī)可讀媒體或裝置。下面描述本發(fā)明的幾個(gè)發(fā)明的實(shí)施例。
在一個(gè)實(shí)施例中，提供用于實(shí)時(shí)運(yùn)動(dòng)捕捉以便控制視頻游戲角色的方法。該方法始于定義控制對(duì)象的模型。然后，標(biāo)識(shí)模型上的標(biāo)記位置。接著，捕捉與控制對(duì)象相關(guān)的動(dòng)作。然后，解釋與控制對(duì)象相關(guān)的動(dòng)作，以改變模型的姿勢(shì)。接著，根據(jù)模型姿勢(shì)的改變控制顯示屏上呈現(xiàn)的角色動(dòng)作。
在另一實(shí)施例中，提供一種通過(guò)實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制與計(jì)算裝置通信的顯示屏上呈現(xiàn)的對(duì)象的方法。該方法始于標(biāo)識(shí)與正追蹤對(duì)象相關(guān)的深度圖像。然后，標(biāo)識(shí)與顯示屏上所呈現(xiàn)對(duì)象及正追蹤對(duì)象二者相關(guān)的模型。接著，將模型擬合到(fit to)深度圖像以捕捉與正追蹤對(duì)象相關(guān)的運(yùn)動(dòng)。然后，根據(jù)模型到深度圖像的擬合來(lái)實(shí)時(shí)控制顯示屏上呈現(xiàn)的對(duì)象。
在又一實(shí)施例中，提供一種通過(guò)實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制顯示屏上所呈現(xiàn)圖像的動(dòng)作的方法。該方法始于定義人的模型。然后，標(biāo)識(shí)此人模型上的標(biāo)記位置。接著，提供對(duì)應(yīng)于此人模型某部分的深度圖像。該模型部分包括標(biāo)記。然后，將標(biāo)記的位置與深度圖像上的點(diǎn)相關(guān)聯(lián)。接著，基于深度圖像的配置定位模型部分。然后，根據(jù)該模型部分的定位來(lái)控制顯示屏上所顯示的視頻角色。
在再一實(shí)施例中，提供具有程序指令的計(jì)算機(jī)可讀媒體，該指令用于通過(guò)實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制與計(jì)算裝置通信的顯示屏上呈現(xiàn)的對(duì)象。所述計(jì)算機(jī)可讀媒體包括用于標(biāo)識(shí)正追蹤對(duì)象深度圖像的程序指令；以及用于標(biāo)識(shí)與顯示屏上所呈現(xiàn)對(duì)象及正追蹤對(duì)象二者相關(guān)的模型的程序指令。還包括將模型擬合到深度圖像以捕捉與正追蹤對(duì)象相關(guān)的運(yùn)動(dòng)的程序指令。還提供了用于根據(jù)模型到深度圖像的擬合來(lái)實(shí)時(shí)控制顯示屏上所呈現(xiàn)對(duì)象的程序指令。
在另一實(shí)施例中，提供一種能夠通過(guò)與控制圖像相關(guān)的實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制對(duì)象的系統(tǒng)。該系統(tǒng)包括計(jì)算裝置。提供了與該計(jì)算裝置通信的顯示屏。該顯示屏配置為顯示對(duì)象的圖像，其中通過(guò)計(jì)算裝置將對(duì)應(yīng)于對(duì)象圖像的數(shù)據(jù)提供給顯示屏。包括與該計(jì)算裝置通信的視頻捕捉裝置。該視頻捕捉裝置能夠追蹤控制對(duì)象。視頻捕捉裝置配置為當(dāng)控制對(duì)象移動(dòng)時(shí)，轉(zhuǎn)換與該控制對(duì)象相關(guān)的運(yùn)動(dòng)以控制顯示屏上所顯示對(duì)象的運(yùn)動(dòng)。
在又一實(shí)施例中，提供一種能夠通過(guò)與控制圖像相關(guān)的實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制視頻角色的系統(tǒng)。該系統(tǒng)包括計(jì)算裝置。提供用于顯示來(lái)自該計(jì)算裝置所接收數(shù)據(jù)的視頻角色圖像的部件，以及用于捕捉與控制對(duì)象相關(guān)深度圖像的部件。包括用于將模型擬合到深度圖像以定義控制對(duì)象動(dòng)作的部件。還包括用于當(dāng)控制對(duì)象移動(dòng)時(shí)轉(zhuǎn)換該控制對(duì)象的動(dòng)作以控制顯示屏上與視頻角色相關(guān)運(yùn)動(dòng)的部件。
通過(guò)參照附圖及舉例說(shuō)明本發(fā)明原理，根據(jù)下面的詳細(xì)描述，本發(fā)明的其它方面與優(yōu)點(diǎn)變得更為明顯。


通過(guò)下面參照附圖的詳細(xì)描述易于理解本發(fā)明，并且相同的標(biāo)號(hào)指示相同的構(gòu)件。
圖1是身上布有多個(gè)球狀物以存儲(chǔ)其動(dòng)作的人的示意圖。
圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的簡(jiǎn)化示意圖，說(shuō)明用于控制視頻游戲角色的實(shí)時(shí)運(yùn)動(dòng)捕捉。
圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的人模型的示意圖，其中該模型包括描繪關(guān)節(jié)角的標(biāo)記。
圖4A至4C說(shuō)明根據(jù)本發(fā)明一個(gè)實(shí)施例可由控制對(duì)象作為標(biāo)記佩戴的示范性圖案。
圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例用于控制與顯示屏上所呈現(xiàn)的角色相關(guān)的動(dòng)作的控制對(duì)象實(shí)時(shí)運(yùn)動(dòng)捕捉的示意圖。
圖6A是根據(jù)本發(fā)明一個(gè)實(shí)施例具有包含在其上的標(biāo)記的連體服的示意圖。
圖6B是圖6A連體服的備選實(shí)施例。
圖7是根據(jù)本發(fā)明一個(gè)實(shí)施例說(shuō)明監(jiān)視標(biāo)記圖像幀的最佳技術(shù)的示意圖。
圖8是根據(jù)本發(fā)明一個(gè)實(shí)施例的模型的示意圖，描繪由深度圖像填充的區(qū)域。
圖9是可用于實(shí)現(xiàn)本發(fā)明實(shí)施例的與圖形顯示器上的對(duì)象交互的示范性用戶輸入系統(tǒng)的框圖。
圖10說(shuō)明根據(jù)本發(fā)明實(shí)施例用于用戶與圖形顯示器上的對(duì)象交互的輸入系統(tǒng)。
圖11是配置為實(shí)現(xiàn)在此描述的本發(fā)明實(shí)施例的計(jì)算機(jī)處理系統(tǒng)的簡(jiǎn)化框圖。
圖12是根據(jù)本發(fā)明實(shí)施例用于控制顯示屏上所呈現(xiàn)角色的實(shí)時(shí)運(yùn)動(dòng)捕捉的操作方法流程圖。
具體實(shí)施例方式
本發(fā)明描述一種允許可用于控制視頻游戲角色或?qū)ο蟮膶?shí)時(shí)運(yùn)動(dòng)捕捉的系統(tǒng)、設(shè)備與方法。然而，對(duì)本領(lǐng)域技術(shù)人員顯然的是，可在沒(méi)有某些或全部這些具體細(xì)節(jié)的情況下實(shí)現(xiàn)本發(fā)明。在其他實(shí)例中，沒(méi)有詳細(xì)描述公知的過(guò)程操作，以避免不必要地混淆本發(fā)明。在“背景技術(shù)”部分描述了圖1。
本發(fā)明的實(shí)施例提供了一種允許實(shí)時(shí)運(yùn)動(dòng)捕捉以控制視頻游戲角色或?qū)ο蟮南到y(tǒng)與方法。玩視頻游戲人的動(dòng)作用于控制與該視頻游戲相關(guān)的顯示屏上的角色。因此，玩視頻游戲人的實(shí)時(shí)運(yùn)動(dòng)捕捉用來(lái)控制顯示屏上的角色。在此，與離線編輯并隨后在后面的時(shí)間點(diǎn)插入到電影中的動(dòng)作捕捉相反，捕捉玩視頻游戲人的原始動(dòng)作數(shù)據(jù)，并將其用于實(shí)時(shí)控制目的。
在一個(gè)實(shí)施例中，顯示屏上所呈現(xiàn)人物角色的動(dòng)作受控于作為控制對(duì)象的用戶或人的動(dòng)作。用戶的動(dòng)作可通過(guò)視頻捕捉裝置(也稱為圖像捕捉裝置，諸如網(wǎng)絡(luò)攝像機(jī)或某些其他合適類(lèi)型的攝像機(jī))捕捉。在一個(gè)實(shí)施例中，視頻捕捉裝置配置為捕捉控制對(duì)象的深度圖像?？刂茖?duì)象的深度圖像提供與距離或深度相關(guān)的數(shù)據(jù)，該距離或深度與相對(duì)于視頻捕捉裝置的各像素相關(guān)。因此，與控制對(duì)象相關(guān)并定義關(guān)節(jié)角位置的骨架可映射到人物角色乃至非人物角色。在另一實(shí)施例中，由控制對(duì)象佩戴的標(biāo)記可用來(lái)指示關(guān)節(jié)角的位置。使用標(biāo)記定義的位置將深度圖像與骨架結(jié)合起來(lái)，以創(chuàng)建控制對(duì)象?？刂茖?duì)象的運(yùn)動(dòng)然后又用于控制顯示屏上的角色圖像。例如，該角色圖像可能是來(lái)自視頻游戲的圖像。因此，玩視頻游戲者能夠控制顯示于顯示屏上的角色圖像。以下將更詳細(xì)描述，在此描述的本發(fā)明的實(shí)施例，包括用于通過(guò)標(biāo)記控制視頻角色的實(shí)時(shí)運(yùn)動(dòng)捕捉。在另一實(shí)施例中，配置為提供深度信息的視頻捕捉裝置可與用于控制視頻角色的實(shí)時(shí)運(yùn)動(dòng)捕捉的標(biāo)記一起使用或不與之一起使用。如下所述，該標(biāo)記可包括顏色、圖案、反向反射材料、光等。
圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的簡(jiǎn)化示意圖，說(shuō)明用于控制視頻游戲角色的實(shí)時(shí)運(yùn)動(dòng)捕捉。運(yùn)動(dòng)捕捉輸入120存儲(chǔ)在運(yùn)動(dòng)捕捉數(shù)據(jù)庫(kù)124中?？刂茖?duì)象運(yùn)動(dòng)122通過(guò)捕捉裝置(例如網(wǎng)絡(luò)攝像機(jī))捕捉，并與存儲(chǔ)在數(shù)據(jù)庫(kù)124中的相應(yīng)運(yùn)動(dòng)捕捉輸入120相關(guān)聯(lián)。然后，相關(guān)的運(yùn)動(dòng)捕捉輸入與來(lái)自數(shù)據(jù)庫(kù)的輸出運(yùn)動(dòng)126所表示的一樣呈現(xiàn)在顯示屏上。例如，控制對(duì)象運(yùn)動(dòng)122可以捕捉玩視頻游戲者的某些運(yùn)動(dòng)或動(dòng)作。在一個(gè)實(shí)施例中，運(yùn)動(dòng)捕捉數(shù)據(jù)庫(kù)124存儲(chǔ)多個(gè)捕捉專業(yè)運(yùn)動(dòng)員運(yùn)動(dòng)的運(yùn)動(dòng)捕捉輸入文件120。因此，控制對(duì)象運(yùn)動(dòng)122與對(duì)應(yīng)于控制對(duì)象運(yùn)動(dòng)的類(lèi)似運(yùn)動(dòng)捕捉輸入120相關(guān)聯(lián)，并且該類(lèi)似運(yùn)動(dòng)捕捉輸入實(shí)時(shí)呈現(xiàn)于顯示屏上。因此，提供了控制對(duì)象(例如玩視頻游戲者)實(shí)時(shí)控制專業(yè)運(yùn)動(dòng)員運(yùn)動(dòng)或動(dòng)作的效果。應(yīng)該理解到，該運(yùn)動(dòng)捕捉輸入也可以是藝術(shù)家動(dòng)畫(huà)數(shù)據(jù)，例如非人類(lèi)游戲角色、動(dòng)畫(huà)角色圖像等。在另一實(shí)施例中，控制對(duì)象運(yùn)動(dòng)122用作限制信息。在此，限制信息驅(qū)動(dòng)角色圖像的動(dòng)畫(huà)，因此，控制對(duì)象運(yùn)動(dòng)122直接控制游戲角色的運(yùn)動(dòng)。應(yīng)該理解的是，實(shí)際的模擬系統(tǒng)可以完成這個(gè)特征。在一個(gè)實(shí)施例中，游戲角色反映出該控制對(duì)象的運(yùn)動(dòng)。在另一實(shí)施例中，映射控制對(duì)象的特定動(dòng)作，以引起游戲角色的不同動(dòng)作。例如，當(dāng)控制對(duì)象移動(dòng)肢體即臂或腿時(shí)，可以映射該肢體動(dòng)作，從而使視頻游戲角色的眉毛可以動(dòng)。應(yīng)該理解到，任何類(lèi)型的控制對(duì)象動(dòng)作都可映射到角色圖像(例如視頻游戲角色)任何不同類(lèi)型的動(dòng)作。
仍參照?qǐng)D2，在一個(gè)更具體的例子中，控制對(duì)象運(yùn)動(dòng)122可描繪玩籃球視頻游戲的人，其中此人執(zhí)行如塊122a中所描繪的投籃運(yùn)動(dòng)。塊122a的投籃運(yùn)動(dòng)與存儲(chǔ)在數(shù)據(jù)庫(kù)124中專業(yè)籃球運(yùn)動(dòng)員的投籃運(yùn)動(dòng)相關(guān)聯(lián)。在可視屏幕上顯示專業(yè)籃球運(yùn)動(dòng)員的投籃運(yùn)動(dòng)，如塊126a描繪的。因此，玩此視頻游戲者的運(yùn)動(dòng)捕捉用于實(shí)時(shí)控制執(zhí)行類(lèi)似運(yùn)動(dòng)的專業(yè)角色。應(yīng)該理解到，給出的籃球例子用于說(shuō)明性目的而非限制的。也就是說(shuō)，玩此視頻游戲者的運(yùn)動(dòng)可對(duì)應(yīng)于任何體育運(yùn)動(dòng)。此外，玩此視頻游戲者的運(yùn)動(dòng)可與非體育運(yùn)動(dòng)相關(guān)聯(lián)。例如，捕捉的玩此視頻游戲者的運(yùn)動(dòng)可用來(lái)控制動(dòng)物或視頻游戲顯示的其它非人類(lèi)生物對(duì)象乃至無(wú)生命對(duì)象的動(dòng)作。
圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的人的模型示意圖，其中該模型包括描繪關(guān)節(jié)角的標(biāo)記。在一個(gè)實(shí)施例中，該模型是骨架圖像。如在此所用的，骨架圖像指的是所追蹤的任何結(jié)構(gòu)模型，并不局限于模型是硬的但具有關(guān)節(jié)的關(guān)節(jié)式模型。而且，可用變化的精度(例如各種關(guān)節(jié)限制)來(lái)定義骨架圖像。當(dāng)然，與骨架圖像或模型相關(guān)的關(guān)節(jié)與肢體越多，需要追蹤的數(shù)據(jù)越多。在此，標(biāo)記140a-140i分布于骨架圖像142。標(biāo)記140a與140d對(duì)應(yīng)于手腕位置，標(biāo)記140b與140c對(duì)應(yīng)于眉毛位置，而標(biāo)記140e對(duì)應(yīng)于軀干。標(biāo)記140g與140f對(duì)應(yīng)于膝蓋，而標(biāo)記140h和140i對(duì)應(yīng)于腳裸。當(dāng)然，在此描述的實(shí)施例并不局限于圖3中所示的標(biāo)記位置或標(biāo)記數(shù)，可使用或多或少的標(biāo)記。例如，耳機(jī)141可用作指示控制對(duì)象頭部位置的標(biāo)記。本領(lǐng)域技術(shù)人員會(huì)理解可用頭帶作為標(biāo)記。在此，可以提供耳朵可插入式裝置，其中該耳朵可插入式裝置作為標(biāo)記并為控制對(duì)象提供聲音。因此，例如攝像機(jī)的視頻捕捉裝置提供玩視頻游戲者的圖像，其中玩視頻游戲者佩戴了標(biāo)記。例如，標(biāo)記可配置為人能佩戴的條帶，或可插入此人(即，控制對(duì)象)衣服中的標(biāo)記。然后軟件可以分析所捕捉的具有標(biāo)記的人的圖像，以產(chǎn)生具有如標(biāo)記140a-140i所提供的已知關(guān)節(jié)角位置的骨架圖像142。
在一個(gè)實(shí)施例中，視頻捕捉裝置配置為提供深度圖像，該深度圖像可用于填充骨架圖像部分，并在三維空間定位該骨架圖像。因此，標(biāo)記140a-140i提供關(guān)于附件或肢體起始位置的數(shù)據(jù)，并且來(lái)自視頻捕捉裝置的深度圖像能在三維空間填充該附件或肢體。在此所用的術(shù)語(yǔ)附件和肢體并不意味著限制為人(即，控制對(duì)象)，可控制同樣由深度圖像捕捉的對(duì)象。因此，該附件或肢體可包括作為控制對(duì)象的人所控制的對(duì)象。在另一實(shí)施例中，視頻捕捉裝置不具備深度捕捉能力，并且標(biāo)記將指示附件或肢體起始點(diǎn)在空間中的已知位置。在此，臂、手、腿、腳或某些其它附件可從存儲(chǔ)相關(guān)附件典型配置的數(shù)據(jù)庫(kù)填入。例如，可在開(kāi)始游戲之前獲得控制對(duì)象的深度圖像，并且該深度圖像可作為模型存儲(chǔ)在數(shù)據(jù)庫(kù)中，以在需要時(shí)用于實(shí)時(shí)控制視頻游戲角色。在又一實(shí)施例中，使用視頻捕捉裝置來(lái)捕捉?jīng)]有標(biāo)記的玩視頻游戲者的運(yùn)動(dòng)。在此，作出關(guān)于對(duì)象位置的某種假設(shè)，例如哪只手、腳等是來(lái)自左側(cè)或右側(cè)，以便轉(zhuǎn)換用于控制視頻游戲角色所捕捉的運(yùn)動(dòng)。由此，在上述每個(gè)實(shí)施例中，所捕捉的運(yùn)動(dòng)用于實(shí)時(shí)控制與視頻游戲角色相關(guān)的運(yùn)動(dòng)。
應(yīng)當(dāng)理解標(biāo)記可采用各種形式。例如，可使用具有特定形狀、顏色、圖案、反射能力或某些其它有區(qū)別質(zhì)量的材料，以使視頻捕捉裝置能通過(guò)標(biāo)記在空間中識(shí)別一個(gè)點(diǎn)。本領(lǐng)域技術(shù)人員會(huì)理解到，可使用反向反射材料提供有區(qū)別的反射能力。此外，與視頻捕捉裝置相關(guān)的光可與反向反射帶結(jié)合使用，以提供控制對(duì)象特定附件的起始點(diǎn)在空間中的位置。在一個(gè)實(shí)施例中，標(biāo)記可采用閃光的形式。在此，該光可以是不可見(jiàn)光，如紅外光。該光可在設(shè)定頻率閃爍，其中該設(shè)定頻率對(duì)應(yīng)于特定的人或團(tuán)隊(duì)。
圖4A至4C說(shuō)明根據(jù)本發(fā)明一個(gè)實(shí)施例可由控制對(duì)象作為標(biāo)記佩戴的示范性圖案。該示范性圖案包括圖4A的斜紋圖案、圖4B的方塊圖案與圖4C的網(wǎng)狀線圖案。對(duì)本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，圖4A-4C所示圖案并不意味著限制于此，可使用能夠由視頻捕捉裝置識(shí)別的任何類(lèi)型圖案。應(yīng)該理解到，在一個(gè)實(shí)施例中，可使用不同圖案來(lái)區(qū)分左右肢。例如，圖3的標(biāo)記140d可包括圖4A的圖案，而圖3的標(biāo)記140a可包括圖4B的圖案。因此，可以區(qū)分左右腕。此外，可與圖案結(jié)合使用形狀、顏色等來(lái)定義標(biāo)記。因此，即使圖案因動(dòng)作而變形，標(biāo)記仍可使用備用指示器。
圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例用于控制與顯示屏上呈現(xiàn)的角色相關(guān)的動(dòng)作的控制對(duì)象實(shí)時(shí)運(yùn)動(dòng)捕捉的示意圖。對(duì)應(yīng)于玩視頻游戲者的骨架圖像142由視頻捕捉裝置148追蹤。在一個(gè)實(shí)施例中，視頻捕捉裝置148配置為捕捉每個(gè)像素的深度數(shù)據(jù)。例如，可使用3DVSTSTEMS或CANESTA所提供的深度攝像機(jī)作為在此描述實(shí)施例的捕捉深度數(shù)據(jù)的視頻捕捉裝置148。在玩視頻游戲者作為標(biāo)記佩戴反向反射帶的情況下，攝像機(jī)148包括光150。在一個(gè)實(shí)施例中，光150可以是紅外光。在另一個(gè)實(shí)施例中，光150是閃光，以便可以區(qū)分場(chǎng)景中永久光與要追蹤的標(biāo)記，即，來(lái)自反向反射帶的閃光反射。反向反射帶反射來(lái)自光150的所有光，因此，反向反射帶在由視頻捕捉裝置148提供的圖像數(shù)據(jù)中將是亮點(diǎn)。該亮點(diǎn)或空白將指示與標(biāo)記相關(guān)的附件的起點(diǎn)。例如，標(biāo)記140d與右腕相關(guān)，并將指示包括右腕(也可包括手或前臂)的深度圖像的起點(diǎn)。當(dāng)然，手可控制如上所述的對(duì)象。應(yīng)該理解到，攝像機(jī)148可包括幾個(gè)不同顏色的閃光。在此，反向反射帶或任何合適的反射標(biāo)記可設(shè)計(jì)成反射不同的顏色，由此使得可以區(qū)分多個(gè)反射標(biāo)記。
圖5的標(biāo)記140c指示軀干的位置。如上所述，控制對(duì)象可在所定義的位置佩戴任何數(shù)量的標(biāo)記。對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，捕捉裝置可將特定標(biāo)記標(biāo)識(shí)為與特定附件(即，相對(duì)于圖5的手腕或軀干)相關(guān)聯(lián)。在視頻捕捉裝置148配置為提供深度圖像的情況下，該視頻捕捉裝置提供數(shù)據(jù)，以用參照?qǐng)D8所述的深度信息填充骨架圖像140的身體其余部分。攝像機(jī)148包括配置為將深度信息與標(biāo)記位置結(jié)合的微處理器152，以產(chǎn)生并追蹤控制對(duì)象(即，玩視頻游戲的人)的圖像。微處理器152可以執(zhí)行參照?qǐng)D9所述的處理功能。攝像機(jī)148與計(jì)算裝置154通信，計(jì)算裝置154又與顯示裝置156通信。在一個(gè)實(shí)施例中，計(jì)算裝置154是視頻游戲控制臺(tái)，諸如索尼計(jì)算機(jī)娛樂(lè)公司制造的“PLAYSTATION 2”。在另一實(shí)施例中，光150可配置為發(fā)射紅外光譜內(nèi)的光，以使指向控制對(duì)象的可見(jiàn)光最少。
圖6A是根據(jù)本發(fā)明一個(gè)實(shí)施例的連體服的示意圖，在該連體服中包含有標(biāo)記。標(biāo)記162a至162i可結(jié)合在連體服160中對(duì)應(yīng)于參照?qǐng)D3討論的位置的關(guān)節(jié)位置。在一個(gè)實(shí)施例中，可用標(biāo)識(shí)穿著具有某體育人物、名人、團(tuán)隊(duì)標(biāo)識(shí)等衣服的人的數(shù)據(jù)對(duì)軀干標(biāo)記162e編碼。此外，可對(duì)標(biāo)記編碼，以在視頻游戲期間為穿此衣服的人提供增強(qiáng)特征。例如，該連體服可通過(guò)更多的身體盔甲或其它強(qiáng)化為用戶提供額外的保護(hù)，這會(huì)誘使消費(fèi)者購(gòu)買(mǎi)視頻游戲所用的連體服。
圖6B是圖6A連體服的備選實(shí)施例。在此，反向反射材料的微纖維織入了連體服中，即，結(jié)合到整個(gè)連體服160的織物中。因此，反向反射材料遍布整個(gè)連體服。在此，連體服對(duì)深度攝像機(jī)會(huì)表現(xiàn)為最大，但優(yōu)選用于攝像機(jī)不能捕捉深度數(shù)據(jù)的實(shí)施例。也就是說(shuō)，在視頻捕捉裝置配置為提供二維圖像數(shù)據(jù)的情況下，最好具有盡可能多的作為反射的控制對(duì)象，以便更容易追蹤用于實(shí)時(shí)控制視頻游戲角色的控制對(duì)象。當(dāng)然，如在關(guān)鍵部位放置的帶的反射材料所要覆蓋的控制對(duì)象不必滿足如上討論的。
圖7是根據(jù)本發(fā)明一個(gè)實(shí)施例說(shuō)明監(jiān)視標(biāo)記的圖像幀的最佳技術(shù)示意圖。這里，區(qū)域170定義骨架圖像142周?chē)膮^(qū)域。因此，不是搜索標(biāo)記的全部數(shù)據(jù)幀，只在圍繞骨架圖像142所定義的部分幀搜索連續(xù)幀。在此，將搜索部分幀174-2至174-n，以提高性能。骨架圖像142顯示為控制對(duì)象172，其中對(duì)象172是一把劍。應(yīng)該理解到，當(dāng)控制對(duì)象主要指人時(shí)，此人可以控制如劍、球、球拍等的對(duì)象。因此，也可捕捉與所控制對(duì)象相關(guān)的運(yùn)動(dòng)，以實(shí)時(shí)控制顯示屏上的類(lèi)似對(duì)象，例如，在視頻角色控制一把劍的情況下。
圖8是根據(jù)本發(fā)明一個(gè)實(shí)施例描繪由深度圖像填充區(qū)域的模型的示意圖。如參考圖3討論的，例如攝像機(jī)的視頻捕捉裝置提供玩視頻游戲者的圖像，其中玩視頻游戲者佩戴有標(biāo)記。用標(biāo)記分析捕捉的此人圖像，以創(chuàng)建具有如標(biāo)記140a-140i所提供的已知關(guān)節(jié)角位置的骨架圖像142，也稱為模型。在一個(gè)實(shí)施例中，佩戴標(biāo)記者站在視頻捕捉裝置前面，以定義如上所述方式存儲(chǔ)的控制對(duì)象的模型或身體網(wǎng)。也就是說(shuō)，最初執(zhí)行校準(zhǔn)步驟，以定義控制對(duì)象的模型深度圖像。然后，使用該深度圖像或部分深度圖像填入骨架142中以創(chuàng)建三維圖像。各個(gè)標(biāo)記定義要定位的相應(yīng)深度圖像部分的位置。例如，左右前臂分別定義于區(qū)域180c與180e中。上半身與下半身分別定義于區(qū)域180d與180b中，而左脛部與右脛部分別定義于區(qū)域180a與180f中。此外，分別以標(biāo)記140a、140d、140i與140h定義手與腳。因此，標(biāo)記定義起始位置，并使用深度圖像填入其余部分以提供三維控制對(duì)象，以便實(shí)時(shí)控制視頻游戲角色的運(yùn)動(dòng)。
圖9是可用于實(shí)現(xiàn)本發(fā)明實(shí)施例的與圖形顯示器上對(duì)象交互的示范性用戶輸入系統(tǒng)框圖。如圖9所示，用戶輸入系統(tǒng)由視頻捕捉裝置200、輸入圖像處理器202、輸出圖像處理器204和視頻顯示裝置206組成。視頻捕捉裝置200可以是能夠捕捉連續(xù)視頻圖像的任何裝置，并且在一個(gè)實(shí)施例中，是視頻攝像機(jī)(諸如“網(wǎng)絡(luò)攝像機(jī)”)或類(lèi)似的圖像捕捉裝置。如上所述，視頻捕捉裝置可配置為提供深度圖像。輸入圖像處理器202將捕捉的控制對(duì)象視頻圖像轉(zhuǎn)換成傳送至輸出圖像處理器的信號(hào)。在一個(gè)實(shí)施例中，輸入圖像處理器202被編程為通過(guò)深度信息在捕捉的視頻圖像中從背景分離出控制對(duì)象，并響應(yīng)控制對(duì)象的姿勢(shì)和/或動(dòng)作生成輸出信號(hào)。輸出圖像處理器106被編程為響應(yīng)從輸入圖像處理器104接收的信號(hào)在視頻顯示裝置108上引起對(duì)象的平移和/或旋轉(zhuǎn)運(yùn)動(dòng)。
本發(fā)明的這些及附加方面可通過(guò)執(zhí)行軟件指令的一個(gè)或多個(gè)處理器實(shí)現(xiàn)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，單處理器執(zhí)行如圖5所示的輸入圖像處理與輸出圖像處理。然而，如圖中所示并為了便于描述，在輸入圖像處理器202與輸出圖像處理器204之間分開(kāi)示出了處理操作。應(yīng)當(dāng)注意，本發(fā)明決不解釋為限制于任何特定的處理器配置，例如多于一個(gè)處理器。給出圖9所示的多處理塊只是為了便于描述。
圖10是根據(jù)本發(fā)明實(shí)施例說(shuō)明用于用戶與圖形顯示器上的對(duì)象交互的輸入系統(tǒng)。該輸入系統(tǒng)環(huán)境包括控制對(duì)象212、視頻捕捉裝置214、視頻顯示裝置216和包含處理器功能的控制臺(tái)208，例如視頻游戲機(jī)。輸入系統(tǒng)環(huán)境中的控制對(duì)象212應(yīng)位于視頻捕捉裝置214的視野210內(nèi)。處理系統(tǒng)208可由娛樂(lè)系統(tǒng)或游戲控制臺(tái)實(shí)現(xiàn)，例如處理與計(jì)算機(jī)娛樂(lè)系統(tǒng)Sony PlaystationTMII或SonyPlaystationTMI型。然而應(yīng)當(dāng)注意，處理系統(tǒng)208可以在其它計(jì)算機(jī)系統(tǒng)類(lèi)型中實(shí)現(xiàn)，如個(gè)人計(jì)算機(jī)、工作站、膝上型計(jì)算機(jī)、無(wú)線計(jì)算裝置或能夠接收并處理圖形圖像數(shù)據(jù)的任何其它類(lèi)型計(jì)算裝置。當(dāng)然，控制對(duì)象212可以結(jié)合如上所述的標(biāo)記，和/或視頻捕捉裝置214可包括深度捕捉能力。
圖11是配置為實(shí)現(xiàn)在此描述的本發(fā)明實(shí)施例的計(jì)算機(jī)處理系統(tǒng)的簡(jiǎn)化框圖。該處理系統(tǒng)可以表示基于計(jì)算機(jī)的娛樂(lè)系統(tǒng)實(shí)施例，其包括耦合到主存儲(chǔ)器220與圖形處理單元(GPU)226的中央處理單元(CPU)224。CPU 224還耦合到輸入/輸出處理器(IOP)總線228。在一個(gè)實(shí)施例中，GPU 226包括快速處理基于像素的圖形數(shù)據(jù)的內(nèi)部緩沖器。此外，GPU 226可以包括輸出處理部分或功能，以將處理的圖像數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)電視頻號(hào)，例如NTSC或PAL，以便傳輸?shù)竭B接于娛樂(lè)系統(tǒng)或其元件外部的顯示裝置227。備選地，可將數(shù)據(jù)輸出信號(hào)提供給除電視監(jiān)視器之外的顯示裝置，如計(jì)算機(jī)監(jiān)視器、LCD(液晶顯示)裝置或其它類(lèi)型顯示裝置。
I0P總線228將CPU 224耦合到各種輸入/輸出裝置及其它總線或裝置。IOP總線228連接到輸入/輸出處理器存儲(chǔ)器230、控制器232、存儲(chǔ)卡234、通用串行總線(USB)端口236、IEEE1394(也被稱為火線接口)端口238和總線250?？偩€250將幾個(gè)其它系統(tǒng)構(gòu)件耦合到CPU 224，包括操作系統(tǒng)(OS)ROM 240、閃速存儲(chǔ)器242、聲音處理單元(SPU)244、光盤(pán)控制單元246和硬盤(pán)驅(qū)動(dòng)器(HDD)248。在本實(shí)施例的一個(gè)方面，視頻捕捉裝置可直接連接到IOP總線228，以便通過(guò)其傳輸?shù)紺PU 224；其中可使用來(lái)自視頻捕捉裝置的數(shù)據(jù)改變或更新在GPU 226中用于生成圖形圖像的值。而且，本發(fā)明的實(shí)施例可使用本領(lǐng)域已知的任何適當(dāng)?shù)膱D像處理配置與技術(shù)。
實(shí)施本發(fā)明各方面的程序或計(jì)算機(jī)指令可由幾種不同方法提供。例如，可以存儲(chǔ)在HDD 248、閃速存儲(chǔ)器242、OS ROM 240或存儲(chǔ)卡232中的程序的形式提供與圖形圖像交互的用戶輸入方法。備選地，可通過(guò)一個(gè)或多個(gè)耦合到CPU 224的輸入端口將該程序下載到處理單元。定義輸入方法的程序模塊可提供有由CPU 224執(zhí)行并在顯示裝置227上顯示的游戲或應(yīng)用程序，或者它們可與應(yīng)用程序分開(kāi)提供，諸如用于從局部主存儲(chǔ)器220執(zhí)行。
本發(fā)明的實(shí)施例還考慮了分布式圖像處理配置。例如，本發(fā)明不限于捕捉的圖像和在一個(gè)乃至兩個(gè)位置進(jìn)行顯示圖像處理，如在CPU中或在CPU與另一元件中。例如，可同樣容易地在可執(zhí)行處理的相關(guān)CPU、處理器或裝置中進(jìn)行輸入圖像處理；本質(zhì)上所有圖像處理都可遍布互連系統(tǒng)。因此，本發(fā)明不限于任何特定圖像處理硬件電路和/或軟件。在此描述的實(shí)施例也不限于任何通用硬件電路和/或軟件的特定組合，也不限于由處理構(gòu)件執(zhí)行的指令的任何特定源。
圖12是根據(jù)本發(fā)明一個(gè)實(shí)施例用于控制顯示屏上所呈現(xiàn)角色的實(shí)時(shí)運(yùn)動(dòng)捕捉的方法操作流程圖。該方法始于操作260，在此定義控制對(duì)象的骨架圖像或模型。控制對(duì)象可以是與呈現(xiàn)于顯示屏上的角色相關(guān)的玩視頻游戲者。應(yīng)當(dāng)理解，此人可站在視頻捕捉裝置前面的視頻捕捉裝置視野內(nèi)，以便定義如上所述人的模型。因此，骨架圖像或模型可通過(guò)自校準(zhǔn)過(guò)程來(lái)定義，其中人站在視頻捕捉裝置前。然后此方法進(jìn)一步到操作262，在此標(biāo)識(shí)骨架圖像或模型上的標(biāo)記位置。例如，如參照?qǐng)D3、5和8所描述的，標(biāo)記可指示骨架圖像或模型上關(guān)節(jié)角的位置。應(yīng)理解，標(biāo)記可采用如本文所述的各種形式。
然后圖12的方法繼續(xù)到操作264，在此捕捉與控制對(duì)象相關(guān)的動(dòng)作。在一個(gè)實(shí)施例中，該動(dòng)作通過(guò)配置為提供深度圖像(即，與z軸及x軸和y軸相關(guān)的圖像數(shù)據(jù))的攝像機(jī)捕捉。在另一實(shí)施例中，通過(guò)如網(wǎng)絡(luò)攝像機(jī)的數(shù)字視頻攝像機(jī)在二維空間中捕捉動(dòng)作。然后本方法到操作266，在此響應(yīng)控制對(duì)象的動(dòng)作，改變骨架圖像或模型的姿勢(shì)。也就是說(shuō)，移動(dòng)骨架圖像以與控制對(duì)象的動(dòng)作一致。應(yīng)當(dāng)理解，當(dāng)使用深度攝像機(jī)作為視頻捕捉裝置時(shí)，在此可提供與骨架圖像相對(duì)應(yīng)的深度圖像。定位骨架圖像以與深度圖像的姿勢(shì)一致。
為了示范與說(shuō)明的目的，骨架圖像可被視為定位為與深度圖像姿勢(shì)一致的布娃娃。當(dāng)控制對(duì)象移動(dòng)時(shí)，深度圖像追蹤控制對(duì)象的移動(dòng)，反過(guò)來(lái)，也同樣移動(dòng)骨架圖像以追隨深度圖像。因此，控制對(duì)象的動(dòng)作由骨架圖像重復(fù)。如上所述，可在沒(méi)有深度攝像機(jī)的情況下使用標(biāo)記。類(lèi)似地，可在沒(méi)有標(biāo)記的情況下使用深度攝像機(jī)。應(yīng)當(dāng)理解，深度攝像機(jī)捕捉三維數(shù)據(jù)，然而，深度攝像機(jī)不具備將三維數(shù)據(jù)映射到骨架的能力。標(biāo)記提供了空間中已知的數(shù)據(jù)點(diǎn)，因而標(biāo)記使深度數(shù)據(jù)能夠映射到骨架。當(dāng)然，在不使用標(biāo)記的情況下可進(jìn)行某種假設(shè)，使得深度數(shù)據(jù)可映射到骨架。也就是說(shuō)，標(biāo)記消除了這種假設(shè)的需要諸如關(guān)節(jié)角的實(shí)際點(diǎn)由標(biāo)記標(biāo)注，并且相應(yīng)的深度數(shù)據(jù)可從標(biāo)記所標(biāo)識(shí)的點(diǎn)填入。然后該方法進(jìn)到操作268，在此根據(jù)骨架姿勢(shì)的改變控制顯示屏上所呈現(xiàn)角色的動(dòng)作。在此，實(shí)時(shí)控制角色的動(dòng)作。也就是說(shuō)，當(dāng)控制對(duì)象移動(dòng)時(shí)，由此通過(guò)使用具深度信息和/或標(biāo)記的圖像數(shù)據(jù)定位骨架。
在一個(gè)實(shí)施例中，使能通過(guò)與控制圖像相關(guān)的實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制對(duì)象的系統(tǒng)包含根據(jù)各構(gòu)件功能定義的各種構(gòu)件。該系統(tǒng)包括計(jì)算裝置，例如游戲控制臺(tái)。該系統(tǒng)可包括用于顯示來(lái)自計(jì)算裝置所接收數(shù)據(jù)的顯示對(duì)象圖像的部件。在此，用于顯示圖像的部件可以是包括電視監(jiān)視器的任何適合的顯示屏。包括用于捕捉與控制對(duì)象相關(guān)的深度圖像的部件。在一個(gè)實(shí)施例中，用于捕捉深度圖像的部件可以由能夠提供深度數(shù)據(jù)的攝像機(jī)提供，例如可從上述3DVSYSTEMS或CANESTA得到的攝像機(jī)。提供將骨架圖像或模型擬合到深度圖像以定義控制對(duì)象動(dòng)作的部件。例如，微處理器可提供將骨架圖像擬合到深度圖像以定義控制對(duì)象動(dòng)作的部件。如上所述，這種處理可通過(guò)一個(gè)或多個(gè)微處理器提供。提供了當(dāng)控制對(duì)象移動(dòng)時(shí)用于轉(zhuǎn)換控制對(duì)象的動(dòng)作以控制顯示屏上與顯示對(duì)象相關(guān)運(yùn)動(dòng)的部件。在此又是微處理器(如圖形處理單元)可實(shí)現(xiàn)用于轉(zhuǎn)換控制對(duì)象的動(dòng)作以控制與顯示對(duì)象相關(guān)運(yùn)動(dòng)的部件。當(dāng)然，用于執(zhí)行上述功能的微處理器可包含在芯片組內(nèi)。
總之，上述發(fā)明描述了提供用于控制視頻游戲角色的實(shí)時(shí)運(yùn)動(dòng)捕捉的方法與系統(tǒng)。上述實(shí)施例允許可用于控制視頻游戲角色或?qū)ο蟮膶?shí)時(shí)運(yùn)動(dòng)捕捉。結(jié)合標(biāo)記追蹤深度的能力可提供用于標(biāo)識(shí)正追蹤人(控制對(duì)象)肢體/身體的起始點(diǎn)。然后填入此人，以類(lèi)似真實(shí)的角色或人。因此，一旦標(biāo)識(shí)出深度圖像，就可從具有深度圖像的數(shù)據(jù)庫(kù)或通過(guò)視頻捕捉裝置捕捉的深度圖像填入與深度圖像相關(guān)的骨架圖像?？山Y(jié)合可以或不可以捕捉深度圖像的視頻捕捉裝置使用各種形式的標(biāo)記。實(shí)例可包括固定放置的可佩戴反向反射帶，例如放置在手腕、膝蓋、頭上等。備選地，可提供結(jié)合不同類(lèi)型標(biāo)記(補(bǔ)片、可標(biāo)識(shí)的線等)的連體服或衣服。在一個(gè)實(shí)施例中，一旦標(biāo)識(shí)(或檢測(cè))出動(dòng)作，對(duì)動(dòng)作數(shù)據(jù)庫(kù)的參考就可在數(shù)據(jù)庫(kù)中定位相應(yīng)的動(dòng)作。例如，如果游戲用戶選擇特定角色，例如著名球員，則該動(dòng)作可以像由該真實(shí)的著名球員所執(zhí)行的。這些動(dòng)作將存儲(chǔ)在數(shù)據(jù)庫(kù)中。所獲得的數(shù)據(jù)庫(kù)動(dòng)作由此將用于控制是游戲部分的角色(人/骨架)。在一個(gè)實(shí)施例中，配置為追蹤深度的攝像機(jī)或硬件可包括配置為進(jìn)行填入的處理器、專用電路或DSP，數(shù)據(jù)庫(kù)查找用戶的動(dòng)作，并將其轉(zhuǎn)換成“屏幕上”的動(dòng)作。如上所述，術(shù)語(yǔ)骨架圖像可廣泛定義為包括任何被追蹤對(duì)象的任何模型，不論此對(duì)象是人、有生命還是無(wú)生命的對(duì)象。
回想上述實(shí)施例，應(yīng)理解到，本發(fā)明可采用各種計(jì)算機(jī)實(shí)現(xiàn)的涉及存儲(chǔ)在計(jì)算機(jī)系統(tǒng)中數(shù)據(jù)的操作。這些操作包括需要物理處理物理量的操作。通常，雖然不是必要的，這些量采用能夠被存儲(chǔ)、傳送、組合、比較及其它處理的電或磁信號(hào)的形式。而且，所執(zhí)行的處理通常指的是諸如生產(chǎn)、標(biāo)識(shí)、確定或比較等術(shù)語(yǔ)。
上述發(fā)明可用其它計(jì)算機(jī)系統(tǒng)配置實(shí)踐，包括手持式裝置、微處理器系統(tǒng)、基于微處理器或可編程消費(fèi)電子設(shè)備、迷你計(jì)算機(jī)、大型計(jì)算機(jī)等。本發(fā)明也可在分布式計(jì)算機(jī)環(huán)境中實(shí)踐，其中由通過(guò)通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理裝置執(zhí)行任務(wù)。
本發(fā)明也可實(shí)施為計(jì)算機(jī)可讀媒體上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀媒體是可存儲(chǔ)計(jì)算機(jī)系統(tǒng)隨后可讀取數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀媒體的實(shí)例包括硬盤(pán)驅(qū)動(dòng)器、網(wǎng)絡(luò)附加存儲(chǔ)(NAS)、只讀存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器、CD-ROM、CD-R、CD-RW、磁帶及其它光學(xué)與非光學(xué)數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀媒體也可分布于耦合計(jì)算機(jī)系統(tǒng)的網(wǎng)絡(luò)上，以使計(jì)算機(jī)可讀代碼以分布方式存儲(chǔ)和執(zhí)行。
雖然出于清楚理解的目的，已詳細(xì)描述了本發(fā)明，但顯而易見(jiàn)的是，在所附權(quán)利要求書(shū)的范圍內(nèi)可實(shí)踐某些變化與修改。因此，所提出的實(shí)施例被認(rèn)為是說(shuō)明性的而非限制性的，并且本發(fā)明并不局限于在此給出的細(xì)節(jié)，而是可在所附權(quán)利要求書(shū)的范圍與等效物內(nèi)進(jìn)行修改。在權(quán)利要求書(shū)中，元件和/或步驟并不意味任何特定的操作順序，除非在權(quán)利要求書(shū)中明確說(shuō)明。
權(quán)利要求
1.一種通過(guò)實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制與計(jì)算裝置通信的顯示屏上所呈現(xiàn)對(duì)象的方法，包括標(biāo)識(shí)與正追蹤對(duì)象相關(guān)的深度圖像；標(biāo)識(shí)與顯示屏上所呈現(xiàn)對(duì)象和正追蹤對(duì)象二者相關(guān)的模型；將所述模型擬合到所述深度圖像以捕捉與正追蹤對(duì)象相關(guān)的運(yùn)動(dòng)；以及根據(jù)所述模型到所述深度圖像的擬合來(lái)實(shí)時(shí)控制顯示屏上所呈現(xiàn)的對(duì)象。
2.如權(quán)利要求1所述的方法，其中所述正追蹤對(duì)象是與所述計(jì)算裝置交互的人，并且所述模型是所述人的骨架圖像。
3.如權(quán)利要求1所述的方法，其中所述計(jì)算裝置是視頻游戲控制臺(tái)。
4.如權(quán)利要求1所述的方法，其中在顯示屏上呈現(xiàn)的所述對(duì)象是視頻游戲角色。
5.如權(quán)利要求1所述的方法，其中標(biāo)識(shí)與正追蹤對(duì)象相關(guān)的深度圖像的方法操作包括通過(guò)使能夠提供深度數(shù)據(jù)的視頻捕捉裝置來(lái)捕捉所述深度圖像。
6.如權(quán)利要求1所述的方法，其中標(biāo)識(shí)與正追蹤對(duì)象相關(guān)的深度圖像的所述方法操作包括從與所述計(jì)算裝置相關(guān)聯(lián)的數(shù)據(jù)庫(kù)中檢索所述深度圖像。
7.如權(quán)利要求1所述的方法，其中標(biāo)識(shí)與正追蹤對(duì)象相關(guān)的深度圖像的所述方法操作包括通過(guò)與所述對(duì)象相關(guān)聯(lián)的標(biāo)記來(lái)追蹤所述對(duì)象的動(dòng)作。
8.如權(quán)利要求7所述的方法，其中通過(guò)與所述對(duì)象相關(guān)聯(lián)的標(biāo)記來(lái)追蹤所述對(duì)象動(dòng)作的方法操作包括標(biāo)識(shí)由所述標(biāo)記引起的無(wú)效區(qū)域。
9.一種具有用于通過(guò)實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制與計(jì)算裝置通信的顯示屏上所呈現(xiàn)對(duì)象的程序指令的計(jì)算機(jī)可讀媒體，包括用于標(biāo)識(shí)正追蹤對(duì)象的深度圖像的程序指令；用于標(biāo)識(shí)與顯示屏上所呈現(xiàn)對(duì)象和正追蹤對(duì)象二者相關(guān)的模型的程序指令；用于將所述模型擬合到所述深度圖像以捕捉與所述正追蹤對(duì)象相關(guān)運(yùn)動(dòng)的程序指令；以及用于根據(jù)所述模型到所述深度圖像的擬合來(lái)實(shí)時(shí)控制所述顯示屏上所呈現(xiàn)對(duì)象的程序指令。
10.如權(quán)利要求9所述的計(jì)算機(jī)可讀媒體，其中所述正追蹤對(duì)象是人。
11.如權(quán)利要求9所述的計(jì)算機(jī)可讀媒體，其中所述顯示屏上所呈現(xiàn)的對(duì)象是視頻游戲角色。
12.如權(quán)利要求9所述的計(jì)算機(jī)可讀媒體，其中所述深度圖像由能夠提供深度數(shù)據(jù)的視頻捕捉裝置捕捉。
13.如權(quán)利要求9所述的計(jì)算機(jī)可讀媒體，其中用于標(biāo)識(shí)與正追蹤對(duì)象相關(guān)的深度圖像的所述程序指令包括用于通過(guò)與所述對(duì)象相關(guān)聯(lián)的標(biāo)記來(lái)追蹤所述對(duì)象動(dòng)作的程序指令。
14.如權(quán)利要求13所述的計(jì)算機(jī)可讀媒體，其中用于通過(guò)與所述對(duì)象相關(guān)聯(lián)的標(biāo)記來(lái)追蹤所述對(duì)象動(dòng)作的所述程序指令包括用于標(biāo)識(shí)由所述標(biāo)記引起的無(wú)效區(qū)域的程序指令。
15.一種使能夠通過(guò)與控制圖像相關(guān)的實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制對(duì)象的系統(tǒng)，包括計(jì)算裝置；與所述計(jì)算裝置通信的顯示屏，所述顯示屏配置為顯示對(duì)象的圖像，對(duì)應(yīng)于所述對(duì)象圖像的數(shù)據(jù)由所述計(jì)算裝置提供；與所述計(jì)算裝置通信的視頻捕捉裝置，所述視頻捕捉裝置使能夠追蹤控制對(duì)象，所述視頻捕捉裝置配置為當(dāng)所述控制對(duì)象移動(dòng)時(shí)，轉(zhuǎn)換與所述控制對(duì)象相關(guān)的運(yùn)動(dòng)以控制所述顯示屏上所顯示對(duì)象的運(yùn)動(dòng)。
16.如權(quán)利要求15所述的系統(tǒng)，其中所述計(jì)算裝置是視頻游戲控制臺(tái)。
17.如權(quán)利要求15所述的系統(tǒng)，還包括配置為由所述控制對(duì)象佩戴的標(biāo)記，所述標(biāo)記指示與所述顯示屏上所顯示對(duì)象相關(guān)的模型上的深度圖像的位置，所述深度圖像由所述視頻捕捉裝置提供。
18.如權(quán)利要求15所述的系統(tǒng)，其中所述控制對(duì)象是人。
19.如權(quán)利要求15所述的系統(tǒng)，其中所述視頻捕捉裝置能夠提供與所述控制對(duì)象圖像相關(guān)的深度數(shù)據(jù)。
20.如權(quán)利要求17所述的系統(tǒng)，其中所述標(biāo)記是從由顏色、圖案、反向反射材料和發(fā)光器件組成的組中選擇的。
全文摘要
提供了用于控制視頻游戲角色的實(shí)時(shí)運(yùn)動(dòng)捕捉方法。在一個(gè)實(shí)施例中，方法始于定義控制對(duì)象的模型。然后，在模型上標(biāo)識(shí)標(biāo)記的位置。接著，捕捉與控制對(duì)象相關(guān)的動(dòng)作。然后，解釋與該控制對(duì)象相關(guān)的動(dòng)作，以改變模型的姿勢(shì)。接著，根據(jù)模型姿勢(shì)的改變來(lái)控制顯示屏上所呈現(xiàn)的角色動(dòng)作。還提供了計(jì)算機(jī)可讀媒體與使能夠通過(guò)實(shí)時(shí)運(yùn)動(dòng)捕捉來(lái)控制視頻角色的處理系統(tǒng)。
文檔編號(hào)G06T7/20GK1764931SQ200380110242
公開(kāi)日2006年4月26日 申請(qǐng)日期2003年10月6日 優(yōu)先權(quán)日2003年2月11日
發(fā)明者R·L·馬克斯 申請(qǐng)人:索尼電腦娛樂(lè)公司