專利名稱：通過虛擬骨架的駕駛模擬器控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過虛擬骨架的駕駛模擬器控制。
技術(shù)背景
雖然相機(jī)技術(shù)允許記錄人類的圖像，但計算機(jī)傳統(tǒng)上可能無法使用這樣的圖像來準(zhǔn)確地評估人類在圖像中如何移動。最近，技術(shù)已經(jīng)進(jìn)展成使得可在特殊相機(jī)以及一個或多個跟蹤標(biāo)簽的幫助下解釋人類移動的某些方面。例如，可用若干跟蹤標(biāo)簽(例如，向后反射器)來仔細(xì)地裝飾演員，這些跟蹤標(biāo)簽可由若干相機(jī)從若干不同位置來跟蹤。隨后可使用三角測量來計算每一反射器的三維位置。因為標(biāo)簽被仔細(xì)地放置于演員上，且每一標(biāo)簽與演員身體的對應(yīng)部位的相對位置是已知的，所以可使用對標(biāo)簽位置的三角測量來推斷演員身體的位置。然而，這一技術(shù)需要使用特殊反射的標(biāo)簽或其他標(biāo)記物。
在科幻電影方面，計算機(jī)已經(jīng)被描繪成足夠的智能以在沒有反射性標(biāo)簽或其他標(biāo)記物的幫助下實(shí)際查看人類并解釋人類的運(yùn)動和姿勢。然而，使用特殊效果創(chuàng)建這樣的場景其中演員遵循使得看起來就像該演員正在控制計算機(jī)的腳本動作一樣的預(yù)定移動腳本仔細(xì)地表演。演員實(shí)際上并未控制計算機(jī)，而是試圖創(chuàng)建控制的幻象。發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容以便以簡化形式介紹在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本發(fā)明的任一部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
用通過從所觀察的場景中捕捉包括深度信息的深度圖像來分析所觀察的場景內(nèi)的人類目標(biāo)的設(shè)備來執(zhí)行深度圖像分析。用包括多個關(guān)節(jié)的虛擬骨架來對人類目標(biāo)建模。 虛擬骨架被用作用于控制駕駛模擬的輸入。


圖1根據(jù)本發(fā)明的一實(shí)施例示出查看所觀察的場景的深度圖像分析系統(tǒng)。
圖2在某種程度上示意性地示出用虛擬骨架來對人類目標(biāo)建模。
圖3A-3F在某種程度上示意性示出了從虛擬骨架轉(zhuǎn)換的姿勢轉(zhuǎn)向角(steering angle control)控制。
圖4示出根據(jù)本發(fā)明的實(shí)施例的虛擬車輛駕駛。
圖5-9在某種程度上示意性示出了從虛擬骨架轉(zhuǎn)換的姿勢駕駛控制。
圖10示意性地示出被配置成將虛擬骨架轉(zhuǎn)換成姿勢駕駛控制的計算系統(tǒng)。
具體實(shí)施方式
諸如3D視覺游戲系統(tǒng)等深度圖像分析系統(tǒng)可包括能夠觀察一個或多個玩家的深度相機(jī)。在深度相機(jī)捕捉所觀察的場景內(nèi)的玩家的圖像時，那些圖像可被解釋并用一個或多個虛擬骨架來建模。如以下更詳細(xì)描述的，虛擬骨架可被用作控制駕駛模擬器的輸入。換言之，深度相機(jī)可觀察正在執(zhí)行被設(shè)計成控制駕駛模擬器的人類并對其建模，且可用駕駛模擬器可將其解釋為不同控制的虛擬骨架來對人類目標(biāo)建模。由此，人類可單單用姿勢來控制駕駛模擬器，從而避免常規(guī)方向盤、踏板、操縱桿和/或其他控制器。
圖1示出了深度圖像分析系統(tǒng)10的非限制性示例。具體而言，圖1示出了游戲系統(tǒng)12，該游戲系統(tǒng)12可以用于玩各種不同的游戲、播放一個或多個不同的媒體類型、和/或控制或操縱非游戲應(yīng)用。圖1還示出了諸如電視機(jī)或計算機(jī)監(jiān)視器之類的可用于向游戲玩家呈現(xiàn)游戲畫面的顯示設(shè)備16。作為一個示例，顯示設(shè)備16可用于在視覺上呈現(xiàn)人類目標(biāo) 32用其移動來控制的虛擬化身50。深度圖像分析系統(tǒng)10可包括捕捉設(shè)備，諸如在視覺上監(jiān)視或跟蹤所觀察的場景14內(nèi)的人類目標(biāo)32的深度相機(jī)22。參考圖2和10更詳細(xì)地討論深度相機(jī)22。
人類目標(biāo)32這里被示為所觀察的場景14內(nèi)的游戲玩家。人類目標(biāo)32由深度相機(jī)22來跟蹤，使得人類目標(biāo)32的移動可由游戲系統(tǒng)12解釋成可被用于影響游戲系統(tǒng)12 正在執(zhí)行的游戲的控制。換言之，人類目標(biāo)32可使用他或她的移動來控制游戲。人類目標(biāo) 32的移動可以被解釋成幾乎任何類型的游戲控制。人類目標(biāo)32的某些移動可被解釋成服務(wù)于除控制虛擬化身50以外的目的的控制。作為非限制性示例，人類目標(biāo)32的移動可被解釋為操縱虛擬賽車、開火虛擬武器、以第一人視角導(dǎo)航虛擬世界、或者操縱模擬世界的各個方面的控制。移動還可被解釋為輔助游戲管理控制。例如，人類目標(biāo)32可以使用移動來結(jié)束、暫停、保存、選擇級別、查看高分、與其他玩家交流等。
深度相機(jī)22還可以用于將目標(biāo)移動解釋成游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制。事實(shí)上，操作系統(tǒng)和/或應(yīng)用的任何可控方面都可以由人類目標(biāo)32的移動來控制。 圖1中所示出的場景是作為示例來提供的，但并不意味著以任何方式進(jìn)行限制。相反，所示出的場景旨在展示可以在不背離本公開的范圍的情況下應(yīng)用于各種各樣不同的應(yīng)用的一般概念。
在此所述的方法和過程可以綁定到各種不同類型的計算系統(tǒng)。圖1示出了游戲系統(tǒng)12、顯示設(shè)備16和深度相機(jī)22的形式的非限制性示例。一般而言，深度圖像分析系統(tǒng)可包括圖10中以簡化形式示出的計算系統(tǒng)60，計算系統(tǒng)60將在下文更詳細(xì)地討論。
圖2示出了簡化的處理流水線，其中所觀察的場景14中的人類目標(biāo)32被建模為虛擬骨架46，該虛擬骨架46可被用于牽引顯示設(shè)備16上的虛擬化身50和/或用作控制游戲、應(yīng)用、和/或操作系統(tǒng)的其他方面的控制輸入?？梢岳斫?，處理流水線可包括比圖2中所描述的更多的步驟和/或圖2中所描述的替換步驟，而不背離本發(fā)明的范圍。
如圖2所示，人類目標(biāo)32和所觀察的場景14中的其余部分可由諸如深度相機(jī)22 之類的捕捉設(shè)備來成像。深度相機(jī)可為每一像素確定在所觀察的場景中的表面相對于深度相機(jī)的深度。在不偏離本公開的范圍的情況下，可以使用實(shí)際上任何深度尋找技術(shù)。示例深度尋找技術(shù)參考圖10的捕捉設(shè)備68來更詳細(xì)地討論。
為每一像素所確定的深度信息可用于生成深度圖42。這樣的深度圖可采用實(shí)際上任何合適的數(shù)據(jù)結(jié)構(gòu)的形式，包括但不限于包括所觀察的場景的每個像素的深度值的矩陣。在圖2中，深度圖42被示意性地示為人類目標(biāo)32的輪廓的像素化網(wǎng)格。這一例示是出于理解簡明的目的，而不是技術(shù)準(zhǔn)確性。可以理解，深度圖一般包括所有像素(不僅是對人類目標(biāo)32進(jìn)行成像的像素)的深度信息，并且深度相機(jī)22的透視不會得到圖2中所描繪的輪廓。
虛擬骨架46可從深度圖42導(dǎo)出，以提供對人類目標(biāo)32的機(jī)器可讀表示。換言之， 從深度圖42導(dǎo)出虛擬骨架46以便對人類目標(biāo)32建模。虛擬骨架46可以按任何合適的方式從深度圖中導(dǎo)出。在某些實(shí)施例中，可將一個或多個骨架擬合算法應(yīng)用于深度圖。本發(fā)明與實(shí)際上任何骨架建模技術(shù)兼容。
虛擬骨架46可包括多個關(guān)節(jié)，每一關(guān)節(jié)對應(yīng)于人類目標(biāo)的一部分。在圖2中，虛擬骨架46被示為十五個關(guān)節(jié)的線條畫。這一例示是出于理解簡明的目的，而不是技術(shù)準(zhǔn)確性。根據(jù)本發(fā)明的虛擬骨架可包括實(shí)際上任何數(shù)量的關(guān)節(jié)，每一關(guān)節(jié)都可與實(shí)際上任何數(shù)量的參數(shù)(例如，三維關(guān)節(jié)位置、關(guān)節(jié)旋轉(zhuǎn)、對應(yīng)身體部位的身體姿勢(例如，手打開、手合上等)等)相關(guān)聯(lián)。可以理解，虛擬骨節(jié)可采用數(shù)據(jù)結(jié)構(gòu)的形式，該數(shù)據(jù)結(jié)構(gòu)包括多個骨架關(guān)節(jié)中的每一個的一個或多個參數(shù)(例如，包括每一關(guān)節(jié)的χ位置、y位置、ζ位置和旋轉(zhuǎn)的骨架矩陣)。在某些實(shí)施例中，可使用其他類型的虛擬骨架(例如，線框、一組形狀圖元寸J ο
如圖2所示，可將虛擬化身50呈現(xiàn)在顯示設(shè)備16上作為虛擬骨架46的視覺表示。 由于虛擬骨架46對人類目標(biāo)32進(jìn)行建模，并且對虛擬化身50的呈現(xiàn)基于虛擬骨架46，因此虛擬化身50用作人類目標(biāo)32的可視的數(shù)字表示。由此，虛擬化身50在顯示設(shè)備16上的移動反映人類目標(biāo)32的移動。
在某些實(shí)施例中，只有虛擬化身的部分將呈現(xiàn)在顯示設(shè)備16上。作為一個非限制性示例，顯示設(shè)備16可呈現(xiàn)人類目標(biāo)32的第一人視角，并因此可呈現(xiàn)可通過虛擬化身的虛擬眼睛來查看的虛擬化身的各部分(例如，握有方向盤的伸出的手、握有步槍的伸出的手、 抓住三維虛擬世界中的物體的伸出的手等)。
盡管將虛擬化身50用作可經(jīng)由深度圖的骨架建模由人類目標(biāo)的移動來控制的游戲的一示例方面，但這并不旨在限制。人類目標(biāo)可以用虛擬骨架來建模，而虛擬骨架可用于控制除虛擬化身以外的游戲或其他應(yīng)用的各方面。例如，即使虛擬化身沒有被呈現(xiàn)到顯示設(shè)備，人類目標(biāo)的移動也可控制游戲或其他應(yīng)用。
如上介紹的，駕駛模擬或游戲可經(jīng)由深度圖的骨架建模由人類目標(biāo)的移動來控制。例如，圖3-9示意性地示出在不同時刻(例如，時間、、時間、和時間t2)對人類目標(biāo)的不同姿勢建模的虛擬骨架46。如上討論的，虛擬骨架46可從深度信息中導(dǎo)出，深度信息從觀察人類目標(biāo)的深度相機(jī)獲取。雖然虛擬骨架46被示為具有關(guān)節(jié)的線條畫，但應(yīng)該理解，虛擬骨架可由任何何時的機(jī)器可讀數(shù)據(jù)結(jié)構(gòu)來表示。例如，圖3A中示為點(diǎn)的關(guān)節(jié)可由位置坐標(biāo)和/或其他機(jī)器可讀信息來表示。由此，計算系統(tǒng)的邏輯子系統(tǒng)可接收虛擬骨架 (即，以機(jī)器可讀形式表示虛擬骨架的數(shù)據(jù)結(jié)構(gòu))并處理一個或多個關(guān)節(jié)的位置和/或其他屬性。以此方式，骨架位置/移動并因此被建模的人類目標(biāo)的姿勢可被解釋為用于控制計算系統(tǒng)的不同姿勢控制。
作為第一示例，圖3A示出了在時間t0處于就座位置且放下手臂的虛擬骨架46。 在所示實(shí)施例中，虛擬骨架尤其包括左手關(guān)節(jié)82、右手關(guān)節(jié)84、第一軀干關(guān)節(jié)88、左腳關(guān)節(jié) 92、以及右腳關(guān)節(jié)94。在時間、，虛擬骨架的手臂被抬高，就像要持握方向盤。在時間t2，轉(zhuǎn)動手臂，就像轉(zhuǎn)動方向盤。圖3B示意性示出了時間、的左手關(guān)節(jié)82和右手關(guān)節(jié)84的正面圖。圖3C示意性示出了時間t2的左手關(guān)節(jié)82和右手關(guān)節(jié)84的正面圖。
計算系統(tǒng)可被配置成將參考線(例如，水平線)與連接左手關(guān)節(jié)和右手關(guān)節(jié)的線之間的角度轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制。在一些實(shí)施例中，此類轉(zhuǎn)換可僅在右手關(guān)節(jié)和左手關(guān)節(jié)在一個或多個軀干關(guān)節(jié)的前面伸出(即，雙手處于要持握方向盤的位置)時執(zhí)行。
例如，如圖;3B中最佳地示出的，在時間t1;參考線302與連接左手關(guān)節(jié)82與右手關(guān)節(jié)84的線304之間的角度300是大致-2.0°。由此，所觀測和建模的-2. 0°相對關(guān)節(jié)位置可被建模為-2.0°轉(zhuǎn)向角控制(例如，方向盤轉(zhuǎn)到-2.0° )。
作為另一示例，且如圖3C中最佳地例示地，在時間t2，參考線302與連接左手關(guān)節(jié) 82和右手關(guān)節(jié)84的線304之間的角度300為大致觀.0°。由此，所觀測和建模的觀.0° 相對關(guān)節(jié)位置可被建模為觀.0°轉(zhuǎn)向角控制(例如，方向盤轉(zhuǎn)到觀.0° )。
轉(zhuǎn)換不必是1 1。在一些實(shí)施例中，所觀測的關(guān)節(jié)角度可使用線性或非線性轉(zhuǎn)換函數(shù)來解釋成轉(zhuǎn)向角控制。
在一些實(shí)施例中，如圖3D中所例示的，可從手臂相對于軀干位置的位置解釋姿勢轉(zhuǎn)向角控制。例如，在時間、，虛擬骨架46處于駕駛位置。在時間t1;在左手臂越來越靠近軀干90地移動時，右手臂76遠(yuǎn)離軀干90地移動。計算機(jī)系統(tǒng)可被配置成將右手臂和/左手臂相對于至少一個軀干關(guān)節(jié)的位置轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制。在此情形中，姿勢可被轉(zhuǎn)換成向右轉(zhuǎn)。類似地，在左手臂78遠(yuǎn)離軀干90地移動時右手臂76越來越靠近軀干90地移動可對用于向左轉(zhuǎn)的姿勢轉(zhuǎn)向角控制作出貢獻(xiàn)。
圖3E提供了從軀干和/或肩膀的位置解釋姿勢轉(zhuǎn)向角控制的示例。例如，在時間 tQ，虛擬骨架46處于駕駛位置。在時間^，軀干90旋轉(zhuǎn)到右邊。計算系統(tǒng)可被配置成將至少一個軀干關(guān)節(jié)或軀干旋轉(zhuǎn)的另一指示轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制。在圖3E所示的姿勢可被轉(zhuǎn)換成向右轉(zhuǎn)。類似地，軀干旋轉(zhuǎn)到左側(cè)可被解釋為向左轉(zhuǎn)。在一些實(shí)施例中，手相對于軀干的定位可被解釋為姿勢轉(zhuǎn)向角控制。例如，當(dāng)在操縱姿態(tài)中手在軀干的前面伸出并在隨后移至右邊時，這可被解釋為向右轉(zhuǎn)，即使軀干隨著手移動而扭轉(zhuǎn)。類似地手移至左邊可被解釋為向左轉(zhuǎn)。
圖3F提供了從軀干的側(cè)向傾斜解釋姿勢轉(zhuǎn)向角控制的示例。例如，在時間、，虛擬骨架46處于駕駛位置。在時間^，軀干90傾向右邊。計算系統(tǒng)可被配置成將軀干的傾斜位置轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制。在圖3F中所示的姿勢可被轉(zhuǎn)換成向右轉(zhuǎn)。類似地，軀干傾向左邊可被解釋為向左轉(zhuǎn)。
在一些情形中，駕駛游戲和/或其他駕駛模擬可被配置成將以上所描述的姿勢的兩個或多個轉(zhuǎn)換成轉(zhuǎn)向角控制。由此，游戲玩家可使用不同類型的姿勢來使虛擬車輛轉(zhuǎn)向。
姿勢轉(zhuǎn)向角控制可被用于操縱駕駛游戲或其他駕駛模擬的虛擬車輛。此類操縱可與姿勢轉(zhuǎn)向角控制的量值成比例——即，更大角度的操縱姿勢會導(dǎo)致虛擬車輛的更急劇的轉(zhuǎn)向。
在一些實(shí)施例中，姿勢轉(zhuǎn)向角控制不是用來操縱虛擬車輛的唯一操縱控制。計算系統(tǒng)可被編程為具有可確定虛擬車輛的操縱控制、加速度控制和其他控制的人工智能。例如，此類人工智能可被用來在虛擬賽車游戲中自動駕駛對方賽車。人工智能可被調(diào)成遵從特定駕駛簡檔(即，謹(jǐn)慎、魯莽、熟練等)。此類人工智能還可被用于幫助游戲玩家在駕駛模8擬或游戲中駕駛虛擬車輛。
換言之，還可與人工智能推薦的控制成比例地操縱虛擬車輛。當(dāng)以此方式控制時， 虛擬車輛與姿勢轉(zhuǎn)向角控制和人工智能推薦的控制兩者的混合成比例地轉(zhuǎn)向。由此，游戲玩家可控制車輛，但是人工智能可輔助游戲玩家，以使得游戲玩家具有更愉快的體驗。
圖4示出了可在顯示設(shè)備上顯示的駕駛游戲，該顯示設(shè)備示出了虛擬道路402上的示例虛擬車輛400A。虛擬車輛400A可由所建模的人類目標(biāo)的姿勢來控制，如以上所描述的。此外，可與人工智能推薦的控制和姿勢轉(zhuǎn)向角控制成比例地操縱虛擬車輛400A。
姿勢轉(zhuǎn)向角控制和人工智能推薦的控制的相對百分比可根據(jù)一個或多個可改變游戲參數(shù)來動態(tài)地設(shè)置。換言之，駕駛模擬器可實(shí)時地修改多少百分比的操縱控制來自游戲玩家以及多少百分比來自人工智能。
在一些實(shí)施例中，駕駛員級別(例如，初學(xué)者、中級、高級、專業(yè)等)可用作可改變游戲參數(shù)，該參數(shù)可被用來動態(tài)地設(shè)置玩家控制與人工智能控制之間的平衡。在此類實(shí)施例中，姿勢轉(zhuǎn)向角控制的相對百分比可被減小以向初學(xué)者駕駛員提供更大的輔助。
在一些實(shí)施例中，虛擬車輛的速度可用作可改變游戲參數(shù)，該參數(shù)可被用來動態(tài)地設(shè)置玩家控制與人工智能控制之間的平衡。在此類實(shí)施例中，姿勢轉(zhuǎn)向角控制的相對百分比可隨著虛擬車輛的速度的增加而減小。
在一些實(shí)施例中，虛擬車道的轉(zhuǎn)彎半徑可用作可改變游戲參數(shù)，該參數(shù)可被用來動態(tài)地設(shè)置玩家控制與人工智能控制之間的平衡。在此類實(shí)施例中，姿勢轉(zhuǎn)向角控制的相對百分比可隨著虛擬車道的轉(zhuǎn)彎半徑的增加而減小。換言之，像車道。
在一些實(shí)施例中，與推薦的路徑的偏差可用作可改變游戲參數(shù)，該參數(shù)可被用來動態(tài)地設(shè)置玩家控制與人工智能控制之間的平衡。在此類實(shí)施例中，姿勢轉(zhuǎn)向角控制的相對百分比可隨著與推薦的路徑的偏差的增大而減小。換言之，隨著虛擬車輛更遠(yuǎn)離推薦的駕駛路徑(例如，賽車道上的最優(yōu)線路)地移動，人工智能可施加更多控制以將虛擬車輛推回到車道上。通過使用圖4的示例，由于虛擬車輛400A處于推薦的路徑410上，，可主要依照玩家控制的結(jié)果來操縱虛擬車輛400A。另一方面，由于虛擬車輛400B嚴(yán)重偏離推薦的路徑410，可針對虛擬車輛400B增大人工智能控制的百分比。
雖然操縱是作為可以是從虛擬骨架解釋的姿勢控制和人工智能控制的混合的示例控制形式來提供的，但是這并不進(jìn)行任何限制。駕駛模擬器或游戲的其他方面可經(jīng)由混合控制來實(shí)現(xiàn)。例如，油門控制和/或剎車控制可經(jīng)由混合控制來實(shí)現(xiàn)。一般而言，虛擬骨架的一個或多個關(guān)節(jié)的位置可被轉(zhuǎn)換成姿勢游戲控制，并且作為姿勢游戲控制和人工智能推薦的控制的組合的混合游戲控制可被執(zhí)行。
作為下一示例，圖5、5A和6B示出了可如何實(shí)現(xiàn)油門和剎車控制。具體地，圖5示意性地示出在不同時刻(例如，時間、、時間、和時間t2)對人類目標(biāo)的不同加速姿勢建模的虛擬骨架46。計算系統(tǒng)可被配置成將虛擬骨架的左腳關(guān)節(jié)相對于虛擬骨架的右腳關(guān)節(jié)位置的位置轉(zhuǎn)換成姿勢加速度控制。此外，可與姿勢加速度控制成比例地加速虛擬車輛。
在時間、，虛擬骨架46被示為具有處于空檔位置的左腳和右腳關(guān)節(jié)。例如，這可對應(yīng)于空檔加速度控制——即，滑行，而沒有任何油門或任何剎車。
在時間^，右腳關(guān)節(jié)94在左腳關(guān)節(jié)92的前面。右腳關(guān)節(jié)在左腳關(guān)節(jié)的前面可被解釋為正加速度一即，踩油門。右腳在左腳前面移開的距離可對應(yīng)于油門控制的量值。
在時間t2，右腳關(guān)節(jié)94在左腳關(guān)節(jié)92后面。右腳關(guān)節(jié)在左腳關(guān)節(jié)的后面可被解釋為負(fù)加速度——即，踩剎車。右腳在左腳后面移開的距離可對應(yīng)于剎車控制的量值。
可以理解，對“左”、“右”、“前”、“后”等的引用可可基于虛擬骨架的解剖。此外，雖然在此示例中使用活動的右腳，但是應(yīng)當(dāng)理解，加速度控制可另外或替換地通過左腳來實(shí)現(xiàn)。此外，雖然討論了絕對控制(即，油門開/關(guān)、剎車開/關(guān))，應(yīng)當(dāng)理解，姿勢加速度控制可以是相對于默認(rèn)速度，諸如由人工智能選擇的默認(rèn)速度。
圖6A示意性地示出在不同時刻(例如，時間tQ、時間、和時間t2)對人類目標(biāo)的不同加速度姿勢建模的虛擬骨架46。計算系統(tǒng)可被配置成將左腳關(guān)節(jié)和右手關(guān)節(jié)遠(yuǎn)離一個或多個軀干關(guān)節(jié)的距離轉(zhuǎn)換成姿勢加速度控制。此外，可與姿勢加速度控制成比例地加速虛擬車輛。
在時間、，虛擬骨架46被示為具有處于空檔位置的左腳和右腳關(guān)節(jié)。例如，這可對應(yīng)于空檔加速度控制——即，滑行，而沒有任何油門或任何剎車。在時間、，手(S卩，左手關(guān)節(jié)82和右手關(guān)節(jié)84)移動成更靠近軀干。在時間t2，手遠(yuǎn)離軀干90移動。
可與左手關(guān)節(jié)和右手關(guān)節(jié)遠(yuǎn)離一個或多個軀干關(guān)節(jié)的距離成比例地增大正加速度。例如，正加速度可以在時間t2處比在時間、和、處更高。類似地，正加速度可以是在時間、處比在時間、和t2處更低。在一些實(shí)施例中，手從軀干伸出越過閾值距離可被解釋為正加速度，且手相對于閾值距離朝軀干收回可被解釋為負(fù)加速度(例如，剎車)。
圖6B提供了從軀干的位置解釋姿勢加速度控制的示例。例如，在時間、，虛擬骨架46處于駕駛位置。在時間^，軀干90向前傾斜。換言之，軀干90超捕捉設(shè)備傾斜，如箭頭72所標(biāo)示的，由此定位軀干90更靠近捕捉設(shè)備(例如，圖1的深度相機(jī)2 。計算系統(tǒng)可被配置成將軀干距捕捉設(shè)備的距離轉(zhuǎn)換成姿勢加速度控制。如圖6B所示的姿勢可被轉(zhuǎn)換為正加速度。類似地，軀干向后傾斜可被解釋為負(fù)加速度。
在一些情形中，駕駛游戲和/或其他駕駛模擬可被配置成將以上所描述的姿勢的兩個或多個轉(zhuǎn)換成加速度控制。由此，游戲玩家可導(dǎo)致虛擬車輛使用不同類型的姿勢來加速或減速。
如之前一樣，應(yīng)當(dāng)理解，姿勢加速度控制可相對于默認(rèn)速度，諸如由人工智能選擇的默認(rèn)速度。此外，雖然手位置在以上是參照一個或多個軀干關(guān)節(jié)來描述的，但是應(yīng)當(dāng)理解，可使用任何其他相當(dāng)和/或相似的參考，包括手關(guān)節(jié)的絕對位置。
雖然姿勢操縱和加速度控制是可從虛擬骨架轉(zhuǎn)換的控制的兩個示例類型，但是其他姿勢控制也落在本公開的范圍內(nèi)。以下非線性示例被提供來建議可用的姿勢控制的寬度，但是這決不意味著進(jìn)行限制。
圖7示意性地示出在不同時刻(例如，時間、、時間、和時間t2)對人類目標(biāo)的示例渦輪增壓(turbo boost)姿勢建模的虛擬骨架46。計算系統(tǒng)可被配置成將手關(guān)節(jié)(例如，右手關(guān)節(jié)84)從一個或多個軀干關(guān)節(jié)附近(即，在時間、)突然移至遠(yuǎn)離一個或多個軀干關(guān)節(jié)的位置(即，在時間t2)轉(zhuǎn)換成姿勢渦輪增壓控制。此外，可響應(yīng)于姿勢渦輪增壓控制來迅速地加速虛擬車輛。
圖8示意性地示出在不同時刻(例如，時間、、時間、和時間t2)對人類目標(biāo)的示例換檔姿勢建模的虛擬骨架46。計算系統(tǒng)可被配置成將手關(guān)節(jié)(例如，右手關(guān)節(jié)84)靠近髖關(guān)節(jié)(例如，髖關(guān)節(jié)98)的移動轉(zhuǎn)換成姿勢換檔控制。由此，可響應(yīng)于姿勢換檔控制來改變虛擬車輛的排檔。
在時間、，虛擬骨架46被示為具有處于空檔換檔位置的右手關(guān)節(jié)84。在時間t1; 右手關(guān)節(jié)84可相對于髖關(guān)節(jié)98向前移動，其可轉(zhuǎn)換為排檔增加。在時間t2，右手關(guān)節(jié)84 可相對于髖關(guān)節(jié)98向后移動，其可轉(zhuǎn)換為排檔減小。圖9示意性地示出在不同時刻(例如，時間、、時間、和時間t2)對人類目標(biāo)的其他示例換檔姿態(tài)建模的虛擬骨架46。在時間、，虛擬骨架46被示為具有處于空檔換檔位置的手。計算系統(tǒng)可被配置成將由相對應(yīng)的手關(guān)節(jié)(例如，左手關(guān)節(jié)8 建模的一只或多只手的姿態(tài)轉(zhuǎn)換成姿勢換檔控制。由此，可響應(yīng)于姿勢換檔控制來改變虛擬車輛的排檔。例如，可響應(yīng)于打開和合攏左手902來減小排檔。作為另一示例，可響應(yīng)于打開和合攏右手來增大排檔。
手的姿態(tài)可用任何合適的方式來確定。在某些實(shí)施例中，可用足夠的骨架關(guān)節(jié)來建模手以僅從骨架數(shù)據(jù)中識別出手的姿態(tài)。在某些實(shí)施例中，手關(guān)節(jié)的位置可被用來在對應(yīng)深度圖和/或?qū)?yīng)色彩圖像中定位手的位置。在這樣的情況下，隨后可評估深度圖和/ 或色彩圖像中包括手的部分以確定手是張開的姿態(tài)還是合攏的姿態(tài)。例如，可參照已知手姿態(tài)的在先訓(xùn)練的集合來分析深度圖和/或色彩圖像中包括手的部分以尋找最佳匹配的手姿態(tài)。
上述姿勢/控制是非限制性示例。其他姿勢和控制也在本發(fā)明的范圍之內(nèi)。此外， 可同時執(zhí)行和轉(zhuǎn)換上述姿勢中的兩個或更多個。例如，游戲玩家可導(dǎo)致虛擬車輛通過在打開和合攏伸出的右手時，同時向前移動右腳、相對于伸出的右手抬高伸出的左手，來繞著角落加速。
雖然參考了駕駛游戲進(jìn)行了描述，但上述姿勢還可應(yīng)用于其他游戲或應(yīng)用。此外， 上述姿勢可用于控制物理對象，諸如遠(yuǎn)程操作的車輛或無人駕駛飛機(jī)。
雖然參考虛擬骨架的虛擬表示來描述了上述姿勢，應(yīng)該理解，可參考構(gòu)成虛擬骨架的骨架數(shù)據(jù)來分析姿勢?？墒褂靡粋€或多個測試來分析每一姿勢。每一個這樣的測試可考慮一個或多個關(guān)節(jié)的位置、速度、加速度、方向或其他屬性?？稍诮^對意義上考慮這樣的屬性，或者參考一個或多個其他關(guān)節(jié)。作為非限制性示例，姿勢可由關(guān)節(jié)的絕對位置來標(biāo)識、由兩個或更多個關(guān)節(jié)相對于彼此的相對位置來標(biāo)識、由連接兩個關(guān)節(jié)的骨骼段相對于連接兩個關(guān)節(jié)的另一骨骼段的角度的角度來標(biāo)識、和/或由以上或其他屬性的組合來標(biāo)識。
在某些實(shí)施例中，以上所描述的方法和過程可捆綁到包括一個或多個計算機(jī)的計算系統(tǒng)。具體而言，此處所述的方法和過程可被實(shí)現(xiàn)為計算機(jī)應(yīng)用、計算機(jī)服務(wù)、計算機(jī) API、計算機(jī)庫、和/或其他計算機(jī)程序產(chǎn)品。
圖10示意性示出了可以執(zhí)行上述方法和過程之中的一個或多個的非限制性計算系統(tǒng)60。以簡化形式示出了計算系統(tǒng)60。應(yīng)當(dāng)理解，可使用基本上任何計算機(jī)架構(gòu)而不背離本公開的范圍。在不同的實(shí)施例中，計算系統(tǒng)60可以采取大型計算機(jī)、服務(wù)器計算機(jī)、臺式計算機(jī)、膝上型計算機(jī)、平板計算機(jī)、家庭娛樂計算機(jī)、網(wǎng)絡(luò)計算設(shè)備、移動計算設(shè)備、移動通信設(shè)備、游戲設(shè)備等等的形式。
計算系統(tǒng)60包括邏輯子系統(tǒng)62和數(shù)據(jù)保持子系統(tǒng)64。計算系統(tǒng)60可以任選地包括顯示子系統(tǒng)66、捕捉子系統(tǒng)68和/或在圖10中未示出的其他組件。計算系統(tǒng)60還可以任選地包括諸如下列用戶輸入設(shè)備例如鍵盤、鼠標(biāo)、游戲控制器、相機(jī)、話筒和/或觸摸屏等等。
邏輯子系統(tǒng)62可包括被配置為執(zhí)行一個或多個指令的一個或多個物理設(shè)備。例如，邏輯子系統(tǒng)可被配置為執(zhí)行一個或多個指令，該一個或多個指令是一個或多個應(yīng)用、服務(wù)、程序、例程、庫、對象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造的部分?？蓪?shí)現(xiàn)此類指令以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、變換一個或多個設(shè)備的狀態(tài)、或以其他方式得到所需結(jié)果。
邏輯子系統(tǒng)可包括被配置成執(zhí)行軟件指令的一個或多個處理器。另外地或替換地，邏輯子系統(tǒng)可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機(jī)器。 邏輯子系統(tǒng)的處理器可以是單核或多核，且在其上執(zhí)行的程序可被配置為并行或分布式處理。邏輯子系統(tǒng)可以任選地包括遍布兩個或多個設(shè)備的獨(dú)立組件，所述設(shè)備可遠(yuǎn)程放置和 /或被配置為進(jìn)行協(xié)同處理。該邏輯子系統(tǒng)的一個或多個方面可被虛擬化并由以云計算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計算設(shè)備執(zhí)行。
數(shù)據(jù)保持子系統(tǒng)64可包括一個或更多個物理、非瞬時設(shè)備，這些設(shè)備被配置成保持?jǐn)?shù)據(jù)和/或可由該邏輯子系統(tǒng)執(zhí)行的指令，以實(shí)現(xiàn)此處描述的方法和過程。當(dāng)實(shí)現(xiàn)了此類方法和過程時，可變換數(shù)據(jù)保存子系統(tǒng)64的狀態(tài)(例如，以保存不同數(shù)據(jù))。
數(shù)據(jù)保持子系統(tǒng)64可包括可移動介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)64尤其是可以包括光學(xué)存儲器設(shè)備(例如，⑶、DVD, HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲器設(shè)備(例如，RAM、EPROM、EEPROM等)和/或磁存儲器設(shè)備(例如，硬盤驅(qū)動器、軟盤驅(qū)動器、磁帶驅(qū)動器、MRAM等)。數(shù)據(jù)保持子系統(tǒng)64可包括具有以下特性中的一個或多個特性的設(shè)備易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址、 以及內(nèi)容可尋址。在某些實(shí)施例中，可以將邏輯子系統(tǒng)62和數(shù)據(jù)保持子系統(tǒng)64集成到一個或更多個常見設(shè)備中，如專用集成電路或片上系統(tǒng)。
圖10還示出以可移動計算機(jī)可讀存儲介質(zhì)70形式的數(shù)據(jù)保持子系統(tǒng)的一方面， 該可移動計算機(jī)可讀存儲介質(zhì)可用于存儲和/或傳輸可執(zhí)行以實(shí)現(xiàn)此處所述的方法和過程的數(shù)據(jù)和/或指令。可移動計算機(jī)可讀存儲介質(zhì)70尤其是可以采取CD、DVD、HD-DVD、藍(lán)光盤、EEPROM和/或軟盤形式。
可以明白，數(shù)據(jù)保持子系統(tǒng)64包括一個或多個方面物理非瞬態(tài)設(shè)備。相反，在一些實(shí)施例中，本文描述的指令的各方面可以按暫態(tài)方式通過不由物理設(shè)備在至少有限持續(xù)時間期間保持的純信號(例如電磁信號、光信號等)傳播。此外，與本公開有關(guān)的數(shù)據(jù)和/ 或其他形式的信息可以通過純信號傳播。
在包括顯示子系統(tǒng)66時，顯示子系統(tǒng)66可用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)64保持的數(shù)據(jù)的視覺表示(例如，虛擬化身和/或三維虛擬世界)。由于此處所描述的方法和過程改變由數(shù)據(jù)保持子系統(tǒng)保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)的狀態(tài)，因此同樣可以變換顯示子系統(tǒng)66的狀態(tài)以在視覺上表示底層數(shù)據(jù)的改變。例如，計算系統(tǒng)60可被配置為呈現(xiàn)駕駛游戲以供在顯示子系統(tǒng)66的顯示設(shè)備上顯示。由此，計算系統(tǒng)60可包括顯示輸出以將駕駛游戲界面輸出到顯示設(shè)備。顯示子系統(tǒng)66可以包括使用實(shí)際上任何類型的技術(shù)的一個或多個顯示設(shè)備。可將這樣的顯示設(shè)備與邏輯子系統(tǒng)62和/或數(shù)據(jù)保存子系統(tǒng)64 組合在共享封裝中，或這樣的顯示設(shè)備可以是經(jīng)由顯示輸出連接到邏輯子系統(tǒng)的外圍顯示設(shè)備。
在包括通信子系統(tǒng)時，通信子系統(tǒng)可以被配置成將計算系統(tǒng)60與一個或多個其他計算設(shè)備可通信地耦合。通信子系統(tǒng)可包括與一個或多個不同的通信協(xié)議相兼容的有線和/或無線通信設(shè)備。作為非限制性示例，該通信子系統(tǒng)可以被配置成經(jīng)由無線電話網(wǎng)、無線局域網(wǎng)、有線局域網(wǎng)、無線廣域網(wǎng)、有線廣域網(wǎng)等進(jìn)行通信。在一些實(shí)施例中，該通信子系統(tǒng)可允許計算系統(tǒng)60經(jīng)由網(wǎng)絡(luò)(比如因特網(wǎng))向其他設(shè)備發(fā)送消息和/或從其他設(shè)備接收消息。
計算系統(tǒng)60還可包括被配置成獲得一個或多個目標(biāo)的深度圖像的集成和/或外圍捕捉設(shè)備68。在任一種情況下，計算系統(tǒng)60可包括外圍輸入以從深度相機(jī)接收深度圖像并將接收到的深度圖像傳遞到邏輯子系統(tǒng)以供處理。捕捉設(shè)備68可以被配置成通過任何合適的技術(shù)(例如，飛行時間、結(jié)構(gòu)化光、立體圖像等等)捕捉具有深度信息的視頻。如此， 捕捉設(shè)備68可包括深度相機(jī)、攝像機(jī)、立體相機(jī)、和/或其他合適的捕捉設(shè)備。
例如，在飛行時間分析中，捕捉設(shè)備68可以向目標(biāo)發(fā)射紅外光，然后使用傳感器來檢測從目標(biāo)的表面反向散射的光。在一些情況下，可以使用脈沖式紅外光，其中可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間并將該時間用于確定從該捕捉設(shè)備到目標(biāo)上的特定位置的物理距離。在一些情況下，出射光波的相位可以與入射光波的相位相比較以確定相移，并且該相移可以用于確定從該捕捉設(shè)備到目標(biāo)上的特定位置的物理距離。
在另一示例中，飛行時間分析可用于通過經(jīng)由諸如快門式光脈沖成像之類的技術(shù)分析反射光束隨時間的強(qiáng)度，來間接地確定從該捕捉設(shè)備到目標(biāo)上的特定位置的物理距1 O
在另一示例中，結(jié)構(gòu)化光分析可以被捕捉設(shè)備68利用來捕捉深度信息。在這樣的分析中，圖案化光(即被顯示為諸如網(wǎng)格圖案、條紋圖案或星座點(diǎn)之類的已知圖案的光)可以被投影到目標(biāo)上。在落到目標(biāo)的表面上以后，該圖案可能變?yōu)樽冃蔚?，并且可以研究該圖案的這種變形以確定從該捕捉設(shè)備到目標(biāo)上的某一位置的物理距離。
在另一示例中，捕捉設(shè)備可以包括兩個或更多個物理上分開的相機(jī)，這些相機(jī)從不同角度查看目標(biāo)以獲得視覺立體數(shù)據(jù)。在這種情況下，該視覺立體數(shù)據(jù)可以被解析以生成深度圖像。
在其他實(shí)施例中，捕捉設(shè)備68可以使用其他技術(shù)來測量和/或計算深度值。此外， 捕捉設(shè)備68可以將所計算的深度信息組織為“Z層”，即與從深度相機(jī)沿其視線延伸到目標(biāo)的Z軸垂直的層。
在一些實(shí)施例中，兩個或更多個不同的相機(jī)可以被合并到一集成的捕捉設(shè)備中。 例如，深度相機(jī)和視頻相機(jī)(例如RGB視頻相機(jī))可以被合并到共同的捕捉設(shè)備中。在一些實(shí)施例中，可以協(xié)作式地使用兩個或更多個分開的捕捉設(shè)備。例如，可以使用深度相機(jī)和分開的視頻相機(jī)。當(dāng)使用視頻相機(jī)時，該視頻相機(jī)可用于提供目標(biāo)跟蹤數(shù)據(jù)、對目標(biāo)跟蹤進(jìn)行糾錯的確認(rèn)數(shù)據(jù)、圖像捕捉、面部識別、對手指(或其他小特征)的高精度跟蹤、光感測和/或其他功能。
要理解，至少一些目標(biāo)分析和跟蹤操作可以由一個或多個捕捉設(shè)備的邏輯機(jī)來執(zhí)行。捕捉設(shè)備可以包括被配置成執(zhí)行一個或多個目標(biāo)分析和/或跟蹤功能的一個或多個板載處理單元。捕捉設(shè)備可以包括便于更新這樣的板載處理邏輯的固件。計算系統(tǒng)60可任選地包括諸如控制器52和控制器M之類的一個或多個輸入設(shè)備。輸入設(shè)備可被用于控制計算系統(tǒng)的操作。在游戲的上下文中，諸如控制器52和/或控制器M之類的輸入設(shè)備可被用于控制游戲的那些不是通過這里所述的目標(biāo)識別、跟蹤和分析方法和過程來控制的方面。在某些實(shí)施例中，諸如控制器52和/或控制器M之類的輸入設(shè)備可包括可用于測量控制器在物理空間中的移動的加速計、陀螺儀、紅外目標(biāo)/傳感器系統(tǒng)等中的一個或多個。在某些實(shí)施例中，計算系統(tǒng)可任選地包括和/或利用輸入手套、鍵盤、鼠標(biāo)、跟蹤墊、軌跡球、 觸屏、按鈕、開關(guān)、撥盤、和/或其他輸入設(shè)備。如將理解的，目標(biāo)識別、跟蹤和分析可被用于控制或擴(kuò)充游戲或其他應(yīng)用的常規(guī)上由諸如游戲控制器之類的輸入設(shè)備控制的方面。在某些實(shí)施例中，這里所述的目標(biāo)跟蹤可被用作對其他形式的用戶輸入的完全替代，而在其他實(shí)施例中，這種目標(biāo)跟蹤可被用于補(bǔ)充一個或多個其他形式的用戶輸入。
應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，并且這些特定實(shí)施例或示例不是限制意義，因為多個變體是可能的。此處所述的特定例程或方法可表示任意數(shù)量的處理策略中的一個或多個。由此，所示出的各個動作可按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行、或者在一些情況下省略。同樣，可改變上述過程的次序。
本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合，和此處所公開的其他特征、功能、動作、和/或特性、以及其任何和全部等效物。
權(quán)利要求
1.一種保持可由邏輯子系統(tǒng)執(zhí)行的指令的數(shù)據(jù)保持設(shè)備，所述指令用于呈現(xiàn)駕駛游戲以在顯示設(shè)備上顯示；接收包括多個關(guān)節(jié)的虛擬骨架，所述多個關(guān)節(jié)包括左手關(guān)節(jié)和右手關(guān)節(jié)，所述虛擬骨架提供用三維深度相機(jī)觀察的人類目標(biāo)的機(jī)器可讀表示；將參考線與連接所述左手關(guān)節(jié)和所述右手關(guān)節(jié)的線之間的角度轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制；以及與所述姿勢轉(zhuǎn)向角控制成比例地操縱所述駕駛游戲的虛擬車輛。
2.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，還保持這樣的指令所述指令可由所述邏輯子系統(tǒng)執(zhí)行以便還與人工智能推薦的控制成比例地操縱所述虛擬車輛，以使得所述虛擬車輛與所述姿勢轉(zhuǎn)向角控制和所述人工智能推薦的控制兩者的混合成比例地轉(zhuǎn)向。
3.如權(quán)利要求2所述的數(shù)據(jù)保持設(shè)備，其特征在于，姿勢轉(zhuǎn)向角控制和人工智能推薦的控制的相對百分比是根據(jù)一個或多個可改變游戲參數(shù)來動態(tài)地設(shè)置的。
4.如權(quán)利要求3所述的數(shù)據(jù)保持設(shè)備，其特征在于，所述一個或多個可改變游戲參數(shù)包括所述虛擬車輛的速度，并且其中所述姿勢轉(zhuǎn)向角控制的相對百分比隨著所述虛擬車輛的速度的增大而減小。
5.如權(quán)利要求3所述的數(shù)據(jù)保持設(shè)備，其特征在于，所述一個或多個可改變游戲參數(shù)包括所述虛擬車道的轉(zhuǎn)彎半徑，并且其中所述姿勢轉(zhuǎn)向角控制的相對百分比隨著所述虛擬車道的轉(zhuǎn)彎半徑的增大而減小。
6.如權(quán)利要求3所述的數(shù)據(jù)保持設(shè)備，其特征在于，所述一個或多個可改變游戲參數(shù)包括與所推薦的路徑的偏差，并且其中所述姿勢轉(zhuǎn)向角控制的相對百分比隨著與所推薦的路徑的偏差的增大而減小。
7.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，還保持可由所述邏輯子系統(tǒng)執(zhí)行以執(zhí)行以下操作的指令將所述虛擬骨架的左腳關(guān)節(jié)相對于所述虛擬骨架的右腳關(guān)節(jié)的位置的位置轉(zhuǎn)換成姿勢加速度控制；以及與所述姿勢加速控制成比例地加速所述虛擬車輛。
8.如權(quán)利要求7所述的數(shù)據(jù)保持設(shè)備，其特征在于，右腳關(guān)節(jié)在所述左腳關(guān)節(jié)的前面被解釋為正加速度，而右腳關(guān)節(jié)在所述左腳關(guān)節(jié)的后面被解釋為負(fù)加速度。
9.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，還保持可由所述邏輯子系統(tǒng)執(zhí)行以執(zhí)行以下操作的指令將所述左手關(guān)節(jié)與所述右手關(guān)節(jié)距一個或多個軀干關(guān)節(jié)的距離轉(zhuǎn)換成姿勢加速度控制；以及與所述姿勢加速控制成比例地加速所述虛擬車輛。
10.如權(quán)利要求9所述的數(shù)據(jù)保持設(shè)備，其特征在于，正加速度與所述左手關(guān)節(jié)和所述右手關(guān)節(jié)距所述一個或多個軀干關(guān)節(jié)的距離成比例地增大。
11.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，還保持可由所述邏輯子系統(tǒng)執(zhí)行以執(zhí)行以下操作的指令將手關(guān)節(jié)從一個或多個軀干關(guān)節(jié)的附近突然移至遠(yuǎn)離所述一個或多個軀干關(guān)節(jié)的位置轉(zhuǎn)換成姿勢渦輪增壓控制；以及響應(yīng)于所述姿勢渦輪增壓控制迅速加速所述虛擬車輛。
12.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，還保持可由所述邏輯子系統(tǒng)執(zhí)行以執(zhí)行以下操作的指令將手關(guān)節(jié)靠近髖關(guān)節(jié)的移動轉(zhuǎn)換成姿勢換檔控制；以及響應(yīng)于所述姿勢換檔控制改變所述虛擬車輛的排檔。
13.如權(quán)利要求12所述的數(shù)據(jù)保持設(shè)備，其特征在于，所述排檔響應(yīng)于所述手關(guān)節(jié)的向前移動而增大，且所述排檔響應(yīng)于所述手關(guān)節(jié)的向后移動而減小。
14.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，還保持可由所述邏輯子系統(tǒng)執(zhí)行以執(zhí)行以下操作的指令將由所述虛擬骨架的相對應(yīng)的手關(guān)節(jié)建模的一只或多只手的姿態(tài)轉(zhuǎn)換成姿勢換檔控制；以及響應(yīng)于所述姿勢換檔控制改變所述虛擬車輛的排檔。
15.如權(quán)利要求14所述的數(shù)據(jù)保持設(shè)備，其特征在于，所述排檔響應(yīng)于右手的打開和合攏而增大，并且所述排檔響應(yīng)于左手的打開和合攏而減小。
16.如權(quán)利要求1所述的數(shù)據(jù)保持設(shè)備，其特征在于，僅當(dāng)所述右手關(guān)節(jié)和所述左手關(guān)節(jié)在一個或多個軀干關(guān)節(jié)的前面伸出時，參考線與連接所述左手關(guān)節(jié)和所述右手關(guān)節(jié)的線之間的所述角度被轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制。
17.一種娛樂系統(tǒng)，包括用于從深度相機(jī)接收深度圖像的外圍輸入； 用于向顯示設(shè)備輸出駕駛游戲界面的顯示輸出；邏輯子系統(tǒng)，其經(jīng)由所述外圍輸入可操作性地連接至所述深度相機(jī)以及經(jīng)由所述顯示輸出可操作性地連接至所述顯示設(shè)備；保持指令的數(shù)據(jù)保持子系統(tǒng)，所述指令可由邏輯子系統(tǒng)執(zhí)行以 從所述深度相機(jī)接收包括人類目標(biāo)的世界空間場景的一個或多個深度圖像； 使用包括多個關(guān)節(jié)的虛擬骨架對所述人類目標(biāo)進(jìn)行建模，所述多個關(guān)節(jié)包括左手關(guān)節(jié)、右手關(guān)節(jié)、一個或多個軀干關(guān)節(jié)、左腳關(guān)節(jié)、和右腳關(guān)節(jié)；如果所述右手關(guān)節(jié)和所述左手關(guān)節(jié)在所述一個或多個軀干關(guān)節(jié)的前面伸出 則將水平線與連接所述左手關(guān)節(jié)和所述右手關(guān)節(jié)的線之間的角度轉(zhuǎn)換成姿勢轉(zhuǎn)向角控制，以及響應(yīng)于所述姿勢轉(zhuǎn)向角控制來操縱虛擬車輛；將所述左腳關(guān)節(jié)相對于所述右腳關(guān)節(jié)的位置的位置轉(zhuǎn)換成姿勢加速度控制；以及與所述姿勢加速控制成比例地加速所述虛擬車輛。
18.如權(quán)利要求17所述的娛樂系統(tǒng)，其特征在于，所述數(shù)據(jù)保持子系統(tǒng)還保持這樣的指令所述指令可由所述邏輯子系統(tǒng)執(zhí)行以便還與人工智能推薦的控制成比例地操縱所述虛擬車輛，以使得所述虛擬車輛與所述姿勢轉(zhuǎn)向角控制和所述人工智能推薦的控制兩者的混合成比例地轉(zhuǎn)向。
19.如權(quán)利要求18所述的娛樂系統(tǒng)，其特征在于，所述姿勢轉(zhuǎn)向角控制和所述人工智能推薦的控制的相對百分比是根據(jù)一個或多個可改變游戲參數(shù)來動態(tài)地設(shè)置的。
20.—種娛樂系統(tǒng)，包括用于從深度相機(jī)接收深度圖像的外圍輸入； 用于向顯示設(shè)備輸出駕駛游戲界面的顯示輸出；邏輯子系統(tǒng)，其經(jīng)由所述外圍輸入可操作性地連接至所述深度相機(jī)以及經(jīng)由所述顯示輸出可操作性地連接至所述顯示設(shè)備；保持指令的數(shù)據(jù)保持子系統(tǒng)，所述指令可由邏輯子系統(tǒng)執(zhí)行以從所述深度相機(jī)接收包括人類目標(biāo)的世界空間場景的一個或多個深度圖像；用包括多個關(guān)節(jié)的虛擬骨架來對所述人類目標(biāo)建模；將所述虛擬骨架的一個或多個關(guān)節(jié)的位置轉(zhuǎn)換成姿勢游戲控制；以及執(zhí)行作為所述姿勢游戲控制和人工智能推薦的控制的組合的混合游戲控制。
全文摘要
本文描述了通過虛擬骨架的駕駛模擬器控制。用通過從所觀察的場景中捕捉包括深度信息的深度圖像來分析所觀察的場景內(nèi)的人類目標(biāo)的設(shè)備來執(zhí)行深度圖像分析。用包括多個關(guān)節(jié)的虛擬骨架來對人類目標(biāo)建模。虛擬骨架被用作用于控制驅(qū)動模擬的輸入。
文檔編號G09B9/04GK102542867SQ201110430860
公開日2012年7月4日 申請日期2011年12月20日 優(yōu)先權(quán)日2010年12月21日
發(fā)明者C·麥克雷, D·吉羅克, D·布朗, D·本內(nèi)特, D·西摩, K·茲努達(dá), K·蓋斯納, M·瑟西, M·蒙森, R·馬爾科維奇, R·馬西斯, S·拉塔, W·A·奧爾森, W·P·蓋斯 申請人:微軟公司