三維對(duì)象建模擬合與跟蹤的制作方法
【專利摘要】本發(fā)明描述一種在三維點(diǎn)云中的對(duì)象的骨架表示的無標(biāo)志的三維建模、擬合和跟蹤的方法和系統(tǒng)。具體地說，它涉及相對(duì)于時(shí)間跟蹤人類用戶骨架表示。該方法包括：輸入從景深圖中得到的三維點(diǎn)云(210)；預(yù)定一組表征用戶骨架的對(duì)照點(diǎn)；確定起始骨架姿態(tài)；通過采樣具有預(yù)定靜態(tài)尺寸(220)的3D點(diǎn)云獲得被投影到柵格上的用戶3D點(diǎn)云的正交表示；確定靠近用戶主體的中心軸的一組曲率中心點(diǎn)；確定軀干平面；以及精細(xì)化和/或定義身體的主要方向。該方法包括步驟：對(duì)用戶3D點(diǎn)云上的一組對(duì)照點(diǎn)和例如曲率中心點(diǎn)的關(guān)聯(lián)數(shù)據(jù)執(zhí)行迭代的局部和全局?jǐn)M合；使用拓樸和幾何約束(230)以隨時(shí)間跟蹤骨架姿態(tài)。使骨架姿態(tài)(240)穩(wěn)定；對(duì)不明確量求解(250)；并提供適當(dāng)?shù)妮敵?260)，這些是本發(fā)明優(yōu)選實(shí)施例的一些最后步驟。
【專利說明】三維對(duì)象建模擬合與跟蹤
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及三維對(duì)象建模，更具體地關(guān)系到對(duì)象的建模、擬合和跟蹤的方法，并尤其(盡管不是排它地)涉及確定、擬合和跟蹤由三維成像系統(tǒng)捕捉的一時(shí)間序列的景深圖中的用戶的骨架表示。
【背景技術(shù)】
[0002]三維(3D)成像系統(tǒng)，例如立體視覺相機(jī)、飛行時(shí)間(TOF)相機(jī)以及結(jié)構(gòu)光相機(jī)，提供了一時(shí)間序列的景深圖，這些景深圖是為場(chǎng)景的每個(gè)成像點(diǎn)提供至少Χ、y、z坐標(biāo)的2D圖像。X和Y坐標(biāo)可指示像素在相機(jī)傳感器矩陣陣列中的水平和垂直位置，而Z坐標(biāo)可指示場(chǎng)景中的成像點(diǎn)與成像設(shè)備的距離。替代地，每個(gè)被成像的場(chǎng)景點(diǎn)可包括與其在3D空間中的位置對(duì)應(yīng)的X、Y、Z坐標(biāo),該坐標(biāo)可相對(duì)于具有原點(diǎn)(例如基準(zhǔn)點(diǎn))的3D坐標(biāo)系予以表達(dá)?？蓪⑾鄼C(jī)位置選為基準(zhǔn)點(diǎn)以規(guī)定相機(jī)坐標(biāo)系。然而，場(chǎng)景的成像點(diǎn)也可在其它3D坐標(biāo)系中表達(dá)，在這些坐標(biāo)系中基準(zhǔn)點(diǎn)不被設(shè)置在相機(jī)位置，而是被確定為在所成像的真實(shí)世界場(chǎng)景中的一個(gè)點(diǎn)位置以使場(chǎng)景的每個(gè)成像點(diǎn)的X、Y、Z坐標(biāo)表征所謂世界坐標(biāo)系中的真實(shí)位置。包括某些約束條件的真實(shí)世界坐標(biāo)系和相機(jī)坐標(biāo)系之間的轉(zhuǎn)換能簡單地通過施加例如使用校正矩陣的數(shù)學(xué)轉(zhuǎn)換而實(shí)現(xiàn)，從而執(zhí)行特定3D坐標(biāo)的幾何投影。
[0003]在使用諸如W0-A-2011/080282中描述的特定2D或3D分析方法的場(chǎng)景下，不管使用什么坐標(biāo)系，可處理所產(chǎn)生的景深圖以檢測(cè)、定位、跟蹤、分割和分析對(duì)象，所述對(duì)象包括帶關(guān)節(jié)的人體或動(dòng)物體(即用戶)。 該方法的一個(gè)結(jié)果可尤其有助于將一組3D點(diǎn)定義為在虛擬世界中表示的一個(gè)點(diǎn)、在真實(shí)場(chǎng)景下的每個(gè)本體或?qū)ο蟆?br> [0004]對(duì)隨時(shí)間表征用戶的對(duì)象或至少身體的這種3D點(diǎn)云進(jìn)行處理允許模型或?qū)ο蠡蛏眢w的其它類型表征被繪制、擬合和跟蹤。例如，人體或?qū)ο蟮墓羌鼙硎究杀焕L制、擬合和跟蹤以針對(duì)對(duì)象或用戶在真實(shí)世界中的移動(dòng)監(jiān)視或控制虛擬環(huán)境中的對(duì)象或身體的相應(yīng)虛擬表示。這被命名為運(yùn)動(dòng)捕捉。
[0005]在現(xiàn)有技術(shù)圖像處理技術(shù)中，跟蹤場(chǎng)景中的骨架的常見方法需要使用與骨架被跟蹤的用戶關(guān)聯(lián)的標(biāo)志，跟蹤這些標(biāo)志而不是跟蹤用戶他/她本身。在一些情況下，這些標(biāo)志附著于套裝或用戶穿戴的另一物品。
[0006]更近來地，范圍成像設(shè)備輸出數(shù)據(jù)——即景深圖——開始被用于標(biāo)志較少的骨架跟蹤。使用這些成像設(shè)備，跟蹤依賴于二維或三維運(yùn)動(dòng)檢測(cè)和某些估計(jì)技術(shù)，混以使用圖案匹配技術(shù)的身體部分識(shí)別。另外，姿態(tài)識(shí)別和估計(jì)也主要使用與模型的匹配技術(shù)。
[0007]在US2010/0034457中，披露了用于從景深圖對(duì)人形建模的計(jì)算機(jī)實(shí)現(xiàn)的方法。更具體地，該方法包括接收含人形目標(biāo)的身體的場(chǎng)景的景深圖。該景深圖包括像素矩陣，每個(gè)像素對(duì)應(yīng)于場(chǎng)景中的相應(yīng)位置并具有指示從基準(zhǔn)位置至相應(yīng)位置的距離的相應(yīng)像素值。該景深圖被分割以尋找身體輪廓，接下來對(duì)該身體輪廓進(jìn)行處理以標(biāo)識(shí)所考慮目標(biāo)的軀干以及一個(gè)或多個(gè)四肢。通過分析景深圖中至少一個(gè)標(biāo)識(shí)的四肢的配置，產(chǎn)生輸入信號(hào)以控制在計(jì)算機(jī)上運(yùn)行的應(yīng)用程序。[0008]在US-A-2011/0052006中，描述了用于從景深圖中提取骨架的方法。該方法包括接收?qǐng)鼍暗囊粫r(shí)間序列的景深圖，該場(chǎng)景包括具有頭部的人形。該景深圖包括具有相應(yīng)像素景深值的像素矩陣。數(shù)字處理器處理景深圖的至少一個(gè)以尋找頭部的位置并基于其位置估計(jì)人形的維度，該人形以校正的姿態(tài)或造型站立。處理器使用估計(jì)的維度、人體部分標(biāo)識(shí)和運(yùn)動(dòng)估計(jì)方法跟蹤序列上人形的運(yùn)動(dòng)。
[0009]在US-A-2010/0194872中，捕捉場(chǎng)景的景深信息的系統(tǒng)和方法被用來處理人類輸入。場(chǎng)景的景深圖像通過成像設(shè)備被捕捉。圖像捕捉依賴于相機(jī)相對(duì)于場(chǎng)景的取向。然后分析景深圖像以確定景深圖像是否包括人類對(duì)象和非人類對(duì)象兩者。例如，景深圖像可包括一個(gè)或多個(gè)對(duì)象，該一個(gè)或多個(gè)對(duì)象包括人類對(duì)象和一些非人類對(duì)象。根據(jù)一個(gè)實(shí)施例，每個(gè)對(duì)象是泛色(FLOOD-FILLED)的并與圖案比較以確定該對(duì)象是否為人類對(duì)象。如果景深圖像中的一個(gè)或多個(gè)對(duì)象包括人類對(duì)象，則掃描人類對(duì)象，并基于從中識(shí)別人體部分的人類對(duì)象的二元掩模的掃描來產(chǎn)生人類對(duì)象的骨架模型。
[0010]在US-A-2011/0249865中，披露了一種跟蹤三維(3D)環(huán)境中的目標(biāo)的無標(biāo)志運(yùn)動(dòng)的基于圖像處理的方法，其中包括含景深信息的輸入圖像。該方法利用二維(2D)較低和較高身體部分檢測(cè)單元，這些檢測(cè)單元使用運(yùn)動(dòng)檢測(cè)原理。這些檢測(cè)單元關(guān)聯(lián)于若干3D身體部分檢測(cè)單元，這些3D身體部分檢測(cè)單元使用較低和較高的身體部分模型在空間中定位3D身體部分中的每一個(gè)的各個(gè)候選項(xiàng)。模型渲染單元被用來根據(jù)一些預(yù)測(cè)的身體姿態(tài)來渲染完整的模型。
[0011]在US2011/0292036中，披露了一種使用具有應(yīng)用接口的景深傳感器的方法。該方法包括對(duì)含人形目標(biāo)的身體的場(chǎng)景的景深圖執(zhí)行數(shù)據(jù)處理。在與前述US2010/0034457中使用的相同的一個(gè)方法中，景深圖包括像素矩陣，每個(gè)像素對(duì)應(yīng)于場(chǎng)景中的一個(gè)相應(yīng)位置并具有指示從基準(zhǔn)平面至相應(yīng)位置的距離的相應(yīng)像素景深值。景深圖然后在數(shù)字處理器中被處理以提取人形目標(biāo)的身體的至少一部分的骨架，該骨架包括具有相應(yīng)坐標(biāo)的多個(gè)關(guān)節(jié)并包括至少兩個(gè)肩關(guān)節(jié)，這些關(guān)節(jié)用于定義身體的冠狀平面，該冠狀平面相對(duì)于基準(zhǔn)平面轉(zhuǎn)過至少10°。應(yīng)用程序接口(API)指示至少關(guān)節(jié)的坐標(biāo)。
[0012]在US2011/0211754中，披露了通過組合的色彩圖像和景深處理跟蹤身體部分的方法。該方法依賴于圖像處理技術(shù)并包括接收含人類目標(biāo)的場(chǎng)景的景深圖像以及接收含人類目標(biāo)的場(chǎng)景的色彩圖像。在這些圖像的至少一個(gè)中識(shí)別目標(biāo)的身體的一部分。評(píng)價(jià)景深圖像和色彩圖像兩者的質(zhì)量，并響應(yīng)于該質(zhì)量選擇其中一個(gè)圖像以使其成為圖像中在身體部分的處理中占主導(dǎo)的圖像。所識(shí)別的部分位于主導(dǎo)圖像內(nèi)，同時(shí)使用來自另一圖像的支持?jǐn)?shù)據(jù)。
[0013]盡管一些已有方法披露了根據(jù)一些特定實(shí)施例的骨架繪制，然而未被正確應(yīng)對(duì)的一種重要考量是何時(shí)使用表征場(chǎng)景的每個(gè)成像點(diǎn)的景深圖或相應(yīng)3D點(diǎn)云以提供一健全和有效的方法時(shí)，該方法具有獨(dú)立于本地景深圖分辨率的處理時(shí)間，以及何時(shí)原景深圖對(duì)健全和有效配合的骨架的完全處理是在低端硬件平臺(tái)上實(shí)時(shí)執(zhí)行的。
[0014]另外，沒有披露能夠同時(shí)應(yīng)付區(qū)段堵塞和適應(yīng)關(guān)節(jié)極限、速度約束和沖突約束的任何目標(biāo)擬合和跟蹤方法。此外，在對(duì)用戶或?qū)Ρ桓櫟哪繕?biāo)形態(tài)不可知的同時(shí)，沒有任何已有方法能夠從姿態(tài)錯(cuò)誤中恢復(fù)。此外，沒有任何已有的方法使用對(duì)對(duì)象部分的中心軸的估計(jì)來改善其骨架表示的擬合和跟蹤，或?qū)M合過程的多標(biāo)準(zhǔn)迭代能量最小化。
【發(fā)明內(nèi)容】

[0015]因此本發(fā)明的一個(gè)目的是提供一種不需要讓標(biāo)志附連至該對(duì)象的情況下創(chuàng)建、擬合和跟蹤一對(duì)象的骨架表示的方法。
[0016]本發(fā)明的另一目的是使用與要被擬合和跟蹤的對(duì)象對(duì)應(yīng)的3D點(diǎn)云在正投影空間內(nèi)的投影來優(yōu)化其骨架表示的擬合和跟蹤。
[0017]本發(fā)明的另一目的是提供一種使用景深圖確定、擬合和跟蹤對(duì)象的骨架表示的方法，該方法使用對(duì)象部分的中心軸的估計(jì)作為種子信息來執(zhí)行擬合。
[0018]本發(fā)明的又一目的是提供一種使用景深圖確定、擬合和跟蹤對(duì)象的骨架表示的健全和有效的方法，該方法能夠在形態(tài)不可知的同時(shí)處理區(qū)段的堵塞、關(guān)節(jié)限制、速度約束、沖突約束以及錯(cuò)誤恢復(fù)。
[0019]本發(fā)明的又一目的是迭代地在局部和全局層面使用多個(gè)標(biāo)準(zhǔn)能量最小化方法提供對(duì)象的骨架表示的有效擬合和跟蹤。
[0020]根據(jù)本發(fā)明的第一方面，這里提供一種擬合和跟蹤在由三維點(diǎn)云表征的三維場(chǎng)景中的對(duì)象的骨架表示的方法，該骨架表示包括多個(gè)對(duì)照點(diǎn)的排列，該方法包括下列步驟:
[0021]A)使用場(chǎng)景的三維點(diǎn)云以確定與場(chǎng)景中要被擬合和跟蹤的對(duì)象關(guān)聯(lián)的輸入信息；
[0022]B)將場(chǎng)景中要被擬合和跟蹤的對(duì)象確定的三維點(diǎn)云轉(zhuǎn)換成正交表示；
[0023]C)確定曲率中心點(diǎn)以估計(jì)要被擬合和跟蹤的對(duì)象的至少一部分的中心軸位置；
[0024]D)確定表征三維場(chǎng)景中要被擬合和跟蹤的對(duì)象的多個(gè)對(duì)照點(diǎn)的位置；以及
[0025]E)擬合和跟蹤三維場(chǎng)景中的多個(gè)對(duì)照點(diǎn)，以使對(duì)象的骨架表示相對(duì)于時(shí)間的位置精細(xì)化。
[0026]本文中使用的術(shù)語“對(duì)象”指無生命對(duì)象或有生命對(duì)象，它可以人類、動(dòng)物或機(jī)器人。
[0027]本文中使用的術(shù)語“骨架表示”指表征一對(duì)象的一組對(duì)照點(diǎn)，并且該對(duì)象的空間排列定義要被擬合和跟蹤的對(duì)象的姿態(tài)。
[0028]本發(fā)明的方法具有的優(yōu)勢(shì)是，它利用三維場(chǎng)景中要被擬合和跟蹤的對(duì)象(例如人類使用者)的特定骨架表示而不具有附于對(duì)象的標(biāo)志，并且它能隨時(shí)間跟蹤場(chǎng)景中的骨架表不。
[0029]容易理解，術(shù)語“跟蹤”指對(duì)象相對(duì)于捕捉三維場(chǎng)景的三維成像設(shè)備(例如相機(jī))的相對(duì)運(yùn)動(dòng)。這意味著，如果在一段時(shí)間至少一次地檢測(cè)到對(duì)象，如果成像設(shè)備是相對(duì)這些對(duì)象移動(dòng)的或甚至沒有運(yùn)動(dòng)，也可跟蹤場(chǎng)景中的靜止對(duì)象。
[0030]本發(fā)明中考慮的骨架表示使用一組對(duì)照點(diǎn)。在由成像設(shè)備捕捉的每個(gè)幀中要被處理的對(duì)照點(diǎn)的數(shù)目可以根據(jù)要被擬合和跟蹤的對(duì)象以及根據(jù)執(zhí)行方法的系統(tǒng)的處理能力或根據(jù)要被表征的身體區(qū)段的準(zhǔn)確性被具體地預(yù)定義。例如，對(duì)于人類用戶，考慮將13個(gè)對(duì)照點(diǎn)作為人類骨架表示的適宜范例。如果認(rèn)為要被擬合和跟蹤的對(duì)象隨時(shí)間變化將一直是相同類型的，例如如果一直使用該系統(tǒng)來擬合和跟蹤人類的骨架表示，可由此預(yù)先確定對(duì)照點(diǎn)的數(shù)目。然而，識(shí)別方法也可用來自動(dòng)地標(biāo)識(shí)場(chǎng)景中檢測(cè)到的對(duì)象，并隨后將包括對(duì)照點(diǎn)及其排列的數(shù)目的設(shè)置的最佳骨架表示相應(yīng)地設(shè)置成要被認(rèn)為對(duì)擬合和跟蹤感興趣的所標(biāo)識(shí)的一個(gè)表示。例如，可能需要系統(tǒng)隨時(shí)間地?cái)M合和跟蹤單個(gè)場(chǎng)景內(nèi)人類和機(jī)器人的骨架表示。系統(tǒng)檢測(cè)、識(shí)別對(duì)應(yīng)于人類的對(duì)象并將對(duì)應(yīng)于人類的對(duì)象與對(duì)應(yīng)于機(jī)器人的對(duì)象區(qū)別開，并針對(duì)每個(gè)單個(gè)對(duì)象、校正骨架表示相應(yīng)地進(jìn)行設(shè)置。
[0031]優(yōu)選地，還要理解，步驟C)、D)和E)中的每一個(gè)包括使用正交表示。
[0032]在一個(gè)實(shí)施例中，三維點(diǎn)云可從三維場(chǎng)景的景深圖中衍生出。在另一實(shí)施例中，輸入信息可另外包括針對(duì)三維點(diǎn)云中的每個(gè)點(diǎn)而確定的標(biāo)準(zhǔn)圖。在又一實(shí)施例中，輸入信息可包括景深圖和標(biāo)準(zhǔn)圖的組合。在又一實(shí)施例中，輸入信息可包括與要被擬合和跟蹤的已知對(duì)象對(duì)應(yīng)的確定的骨架表示。
[0033]此外，步驟A)也可包括從三維點(diǎn)云確定至少一個(gè)感興趣對(duì)象。這可進(jìn)一步包括確定要被擬合和跟蹤的對(duì)象的主要方向。在另一實(shí)施例中，這可另外包括自動(dòng)地識(shí)別要被擬合和跟蹤的對(duì)象并且如果在該場(chǎng)景中必須對(duì)若干種對(duì)象進(jìn)行擬合和跟蹤則由此確定對(duì)象的骨架表示。
[0034]在一優(yōu)選實(shí)施例中，步驟A)可包括:當(dāng)之前沒有任何對(duì)象已被擬合和跟蹤時(shí)，確定對(duì)照點(diǎn)的位置在空間上的最初排列，這些對(duì)照點(diǎn)定義了要被擬合和跟蹤的對(duì)象的骨架姿態(tài)表不O
[0035]優(yōu)選地，步驟B)包括將要被擬合和跟蹤的對(duì)象的三維點(diǎn)云投影到柵格中，該柵格包括多個(gè)柵格面元，每個(gè)柵格面元具有預(yù)定的尺寸，該投影在空間以預(yù)定的靜態(tài)尺寸來采樣對(duì)象的三維點(diǎn)云。
[0036]附加地，步驟B)包括對(duì)于與之關(guān)聯(lián)的柵格中的三維點(diǎn)云中的每個(gè)點(diǎn)關(guān)聯(lián)的信息累加和加權(quán)。在一個(gè)實(shí)施例中，方法還包括:在柵格面元空置的情形下，用來自相鄰的布居的柵格面元的內(nèi)插信息來填充它。
[0037]優(yōu)選地，步驟C)包括確定對(duì)象部分曲率中心點(diǎn)，其位置是通過使用由正交表示的柵格面元優(yōu)選提供的法向數(shù)據(jù)。
[0038]步驟C)還包括將每個(gè)曲率中心點(diǎn)關(guān)聯(lián)于密切球面以對(duì)要被擬合和跟蹤的對(duì)象的每個(gè)部分的中心軸的體積求近似。
[0039]優(yōu)選地，步驟C)包括將每個(gè)曲率中心點(diǎn)及其相關(guān)的密切球面與一標(biāo)簽關(guān)聯(lián)，該標(biāo)簽指示與它們關(guān)聯(lián)的要被擬合和跟蹤的對(duì)象的每個(gè)部分的表面的凸度。表面的凸度可被歸類為下面中的一個(gè):平表面、凹表面和凸表面。具體地說，平表面可對(duì)應(yīng)于人類用戶的軀干，而凸表面可對(duì)應(yīng)于人類用戶的一部分四肢。凹表面可以不被認(rèn)為一直有關(guān)的，尤其是當(dāng)考慮有效的人類骨架擬合和跟蹤時(shí)。
[0040]優(yōu)選地，步驟D)包括:如果對(duì)象之前被擬合和跟蹤過，則使用前一幀中設(shè)定的骨架表示來確定對(duì)照點(diǎn)的位置，或者如果沒有任何對(duì)象之前被擬合和跟蹤過，則使用步驟A)中確定的最初骨架表示。
[0041]較為有利地，步驟D)進(jìn)一步包括下列步驟:
[0042]Dl)在每對(duì)毗鄰的對(duì)照點(diǎn)之間擬合至少一個(gè)區(qū)段。
[0043]另外，步驟D)可進(jìn)一步包括下列步驟:
[0044]D2)識(shí)別對(duì)象中的平面。
[0045]此外，步驟D2)可進(jìn)一步包括下列步驟:
[0046]D3)使用凸度標(biāo)簽標(biāo)識(shí)要被擬合和跟蹤的對(duì)象的三維點(diǎn)云中的一個(gè)平面。[0047]此外，步驟D)可進(jìn)一步包括下列步驟:
[0048]D4)標(biāo)識(shí)對(duì)象的主要方向；
[0049]D5)標(biāo)識(shí)對(duì)象的至少一部分的位置；以及
[0050]D6)使對(duì)象的每個(gè)部分的位置以及相對(duì)于彼此的主要方向精細(xì)化。
[0051]在對(duì)象是有生命對(duì)象(例如人類)的一個(gè)優(yōu)選實(shí)施例中，步驟D2)可包括將平面標(biāo)識(shí)為軀干并且步驟D5)可包括標(biāo)識(shí)與頭部對(duì)應(yīng)的身體部分。
[0052]在一個(gè)實(shí)施例中，步驟E)包括利用所標(biāo)識(shí)的對(duì)照點(diǎn)的屬性來擬合要被跟蹤的骨架表示的位置。所利用的屬性可包括下面至少一個(gè):相對(duì)于時(shí)間的位置、速度、加速度和概
率因素。
[0053]另外，步驟E)可包括利用局部和全局能量最小化策略的組合以相對(duì)于時(shí)間迭代地?cái)M合對(duì)象的骨架表示的姿態(tài)。這些能量最小化策略可包括下面中的至少一個(gè)標(biāo)準(zhǔn):至物體的距離、至前一骨架的距離以及至輪廓的距離。優(yōu)選地，能量最小化策略使用至物體的距離、至前一骨架的距離以及至輪廓的距離中的全部。
[0054]步驟E)可進(jìn)一步包括根據(jù)相對(duì)于時(shí)間確定的概率因素評(píng)估多個(gè)可能的對(duì)照點(diǎn)位置，以優(yōu)化擬合和跟蹤的結(jié)果。根據(jù)一優(yōu)選實(shí)施例，步驟E)包括根據(jù)至少一個(gè)預(yù)定的標(biāo)準(zhǔn)迭代地執(zhí)行局部能量最小化和全局能量最小化兩者。
[0055]另外，能量最小化策略可使用梯度下降式算法來實(shí)現(xiàn)。
[0056]此外，一旦骨架被跟蹤，可優(yōu)選地在又一步驟中穩(wěn)定每個(gè)對(duì)照點(diǎn)位置，以避免骨架移動(dòng)的不穩(wěn)定、不自然的表示。
[0057]在又一步驟中，可使用補(bǔ)全技術(shù)以產(chǎn)生對(duì)尚未被成功跟蹤的骨架對(duì)照點(diǎn)的適當(dāng)位置。例如，可使用這些技術(shù)來補(bǔ)償因不明確知道的對(duì)象姿態(tài)造成的跟蹤誤差，和/或在能量最小化之后用骨架的丟失部分來填充三維點(diǎn)云以補(bǔ)償對(duì)捕捉三維場(chǎng)景的成像設(shè)備不可見的骨架部分。
【專利附圖】

【附圖說明】
[0058]為了更好地理解本發(fā)明，現(xiàn)在將僅以示例的方式參考附圖，在附圖中:
[0059]圖1示出根據(jù)本發(fā)明用于跟蹤的人體的骨架表示；
[0060]圖2示出根據(jù)本發(fā)明的全局人體骨架跟蹤過程的流程圖；
[0061]圖3示出被施加至景深圖以運(yùn)行諸如從水平和垂直梯度得到標(biāo)準(zhǔn)圖的圖像處理的3X3核；
[0062]圖4示出相對(duì)于圖3的柵格陣列的兩個(gè)相鄰柵格要素的分別沿Z軸和X軸的景深Λ ZX和Λ ZY梯度的景深圖的俯視圖；
[0063]圖5示出作為正交表示中的用戶點(diǎn)云投影的一部分的面元填充原理；
[0064]圖6示出用來表征用戶的身體部分的中心軸的體積的密切球面的二維圖，密切球面的中心對(duì)應(yīng)于從標(biāo)準(zhǔn)圖近似求得的曲率中心點(diǎn)；
[0065]圖7Α不出根據(jù)本發(fā)明的正交用戶柵格(ORUS)；
[0066]圖7Β示出根據(jù)本發(fā)明的曲率中心點(diǎn)及其相關(guān)的密切球面的位置；
[0067]圖7C示出圖7Α的正交用戶柵格和圖7Β的曲率中心點(diǎn)及其相關(guān)的密切球面的組合；[0068]圖7D示出圖7A的正交用戶柵格，其中作為根據(jù)本發(fā)明的擬合過程的結(jié)果，密切球面輪廓被骨架取代；
[0069]圖7E示出與用戶對(duì)應(yīng)的3D點(diǎn)云，其中曲率中心點(diǎn)通過一組密切球面連同根據(jù)本發(fā)明的擬合骨架模型來表征；
[0070]圖8A示出使用質(zhì)量位置的用戶3D點(diǎn)云中心作為原點(diǎn)的以用戶為中心的徑向距離計(jì)算原理；
[0071]圖8B示出從如圖8A所示測(cè)得的徑向距離確定的曲線圖；以及
[0072]圖9示出根據(jù)本發(fā)明在骨架表示擬合和跟蹤過程中使用的迭代局部和全局能量最小化的原理。
【具體實(shí)施方式】
[0073]將針對(duì)特定實(shí)施例并參考特定附圖來描述本發(fā)明，但是本發(fā)明不限于此。所描述的附圖只是示意性的和非限制性的。在附圖中，出于說明的目的，一些元件的尺寸可放大且不按比例地繪制。
[0074]要理解，術(shù)語“垂直的”和“水平的”在本文中指附圖的具體取向，并且這些術(shù)語不對(duì)本文描述的具體實(shí)施例構(gòu)成限制。
[0075]還要理解，盡管參照人體的骨架對(duì)骨架擬合和跟蹤方法進(jìn)行了描述，但本發(fā)明不僅限于此并可用于任何其它類型的對(duì)象，不管是有生命的還是沒有生命的和/或有關(guān)節(jié)的還是沒有關(guān)節(jié)的。
[0076]圖1示出用于對(duì)虛擬環(huán)境中的人進(jìn)行擬合和跟蹤的骨架表示100。骨架表示100包括在一組對(duì)照點(diǎn)或關(guān)節(jié)之間的一組帶關(guān)節(jié)的剛體，這一組對(duì)照點(diǎn)或關(guān)節(jié)具有某些約束以及預(yù)定數(shù)量的自由度。更具體地，骨架表示100可包括十三個(gè)對(duì)照點(diǎn)110、112、114、116、118、120、122、124、126、128、130、132、134，這些對(duì)照點(diǎn)界定了如圖所示的小塊140以及九個(gè)區(qū)段 150、152、154、156、158、160、162、164、166。小塊 140 和區(qū)段 150、152、154、156、158、160、162、164、166可被視為骨架表示100中的十個(gè)固體部分或剛體。
[0077]這些固體部分和剛體可包括例如沖突約束，該沖突約束確保它們的表示不被允許根據(jù)不自然的姿態(tài)或造型而彼此相交。對(duì)照點(diǎn)110、112、114、116、118、120、124、126、128、130、132、134可僅包括三個(gè)自由度，這些自由度例如關(guān)聯(lián)于它們?cè)谔摂M環(huán)境中的3D定位的
自由度。
[0078]要注意，在要擬合和跟蹤人類骨架的一個(gè)特定實(shí)施例中，將人類骨架表示限制在僅13個(gè)對(duì)照點(diǎn)，其中每個(gè)對(duì)照點(diǎn)具有三個(gè)自由度(即它們各自的三維位置)，使執(zhí)行比當(dāng)使用更多數(shù)目的具有三個(gè)或更多個(gè)自由度的對(duì)照點(diǎn)時(shí)更有效率的擬合和跟蹤處理變得可能，同時(shí)維持人類骨架的動(dòng)作的逼真表示。對(duì)照點(diǎn)的數(shù)目越高和/或自由度的數(shù)目越高，則將這些對(duì)照點(diǎn)的最逼真姿態(tài)擬合到表征用戶的3D點(diǎn)云所需的復(fù)雜度越高，伴隨的是最佳擬合的姿態(tài)解的數(shù)學(xué)收斂的較慢速率。然而，盡管13個(gè)對(duì)照點(diǎn)的使用對(duì)應(yīng)于人類骨架表示的優(yōu)選實(shí)施例，但可根據(jù)要被跟蹤的帶關(guān)節(jié)對(duì)象來選擇其它適當(dāng)數(shù)量的對(duì)照點(diǎn)和/或自由度，例如根據(jù)關(guān)節(jié)數(shù)量和要被渲染的區(qū)段數(shù)目或根據(jù)平臺(tái)性能。例如，在另一實(shí)施例中，人類骨架表示可包括17個(gè)對(duì)照點(diǎn)，由此提供四肢末端的更好渲染，即與手或腳對(duì)應(yīng)的每個(gè)之前的對(duì)照點(diǎn)由兩個(gè)對(duì)照點(diǎn)替換，這兩個(gè)對(duì)照點(diǎn)分別地對(duì)應(yīng)于腳的腳踝和腳末端以及手的手月:?和手的末。
[0079]在使用13個(gè)對(duì)照點(diǎn)的人體骨架擬合和跟蹤的特定實(shí)施例中，每個(gè)對(duì)照點(diǎn)110、112、114、116、118、120、122、124、126、128、130、132、134、每個(gè)區(qū)段 150、152、154、156、158、160、162、164、166和小塊140被映射到在通過如前所述的適當(dāng)3D成像設(shè)備確定的3D點(diǎn)云
中與用戶對(duì)應(yīng)的點(diǎn)。
[0080]對(duì)照點(diǎn)110、112、114、116、118、120、122、124、126、128、130、132、134 有效地對(duì)應(yīng)于骨架部分或關(guān)節(jié):點(diǎn)Iio對(duì)應(yīng)于頭部；點(diǎn)112、114對(duì)應(yīng)于手或手腕；點(diǎn)116、118對(duì)應(yīng)于手肘；點(diǎn)120、122對(duì)應(yīng)于肩部;點(diǎn)124、126對(duì)應(yīng)于腳或腳踝；點(diǎn)128、130對(duì)應(yīng)于膝蓋，而點(diǎn)132、134對(duì)應(yīng)于臀部。
[0081]小塊140包括連接在一起以界定軀干的四個(gè)對(duì)照點(diǎn)120、122、132、134，也就是肩部 120,122 和盆骨 132U340
[0082]區(qū)段150、152、154、156、158、160、162、164、166對(duì)應(yīng)于多對(duì)對(duì)照點(diǎn)之間的組合，這些對(duì)照點(diǎn)彼此相連，除了區(qū)段150，該區(qū)段150由于將頭與軀干(小塊140)鏈接而接近頸部。區(qū)段152、154近似地 對(duì)應(yīng)于手或手腕和手肘之間的下段臂(點(diǎn)112和116以及點(diǎn)114、118);區(qū)段156、158近似地對(duì)應(yīng)于手肘和肩部之間的上段臂(點(diǎn)116和120以及點(diǎn)118和122);區(qū)段160、162近似對(duì)應(yīng)于腳或腳踝和膝蓋之間的下段腳(點(diǎn)124和128以及點(diǎn)126和130);并且區(qū)段164、166近似地對(duì)應(yīng)于膝蓋和臀部之間的上段腳(點(diǎn)128和132以及點(diǎn)130、134)。
[0083]現(xiàn)在參見圖2，其示出一流程圖，該流程圖示出提供在3D場(chǎng)景中隨時(shí)間自由移動(dòng)的用戶的骨架表示的過程中的步驟。骨架擬合和跟蹤是使用由3D成像系統(tǒng)提供的3D點(diǎn)云來執(zhí)行的，并且計(jì)算骨架表示以使其匹配用戶隨時(shí)間的真實(shí)運(yùn)動(dòng)。第一步驟，即步驟210，是初始化步驟，其中提供輸入數(shù)據(jù)并使輸入數(shù)據(jù)精細(xì)化，例如將用戶成像在場(chǎng)景中的景深圖、用戶掩模以及對(duì)應(yīng)的用戶3D點(diǎn)云、可能的用戶頭部位置以及可能的用戶主要方向位置。具體地，步驟210包括根據(jù)要被擬合和跟蹤的對(duì)象確定骨架表示的對(duì)照點(diǎn)數(shù)目和這些對(duì)照點(diǎn)在空間內(nèi)的排列。如果要被擬合和跟蹤的對(duì)象是已知的并且從不隨時(shí)間改變類型，則該確定可以是人工預(yù)定的，例如當(dāng)跟蹤落在場(chǎng)景中的人并在表示他們的三維點(diǎn)云上擬合他們的骨架表示時(shí)。當(dāng)將感興趣對(duì)象檢測(cè)、識(shí)別和標(biāo)識(shí)為多個(gè)已知對(duì)象之中感興趣的一個(gè)時(shí)，該確定也可在運(yùn)行時(shí)間自動(dòng)地定義。例如，現(xiàn)有技術(shù)的識(shí)別方法，包括但不限于2D和3D匹配技術(shù)，可被用來標(biāo)識(shí)場(chǎng)景中不同的有生命或無生命對(duì)象。從該標(biāo)識(shí)中，根據(jù)被認(rèn)為是感興趣的那些對(duì)象來確定用于擬合和跟蹤的各種骨架表示。
[0084]步驟210也包括所確定的骨架表示的基礎(chǔ)最初姿態(tài)的非系統(tǒng)確定，從而開始擬合和跟蹤過程。術(shù)語“非系統(tǒng)”意指骨架表示的這種原始或基礎(chǔ)的最初姿態(tài)確定僅當(dāng)檢測(cè)到對(duì)象時(shí)和沒有之前的骨架表示可用時(shí)才被執(zhí)行。例如，如果人類用戶被跟蹤，則對(duì)頭部的檢測(cè)和定位可有助于提供人類用戶的最初主要方向。主要方向可被認(rèn)為是經(jīng)過用戶的3D表示的頭部和質(zhì)心的方向。
[0085]人類用戶的主要方向的確定可使用將感興趣的對(duì)象分割成例如W0-A-2008/128568中描述的一組簇來達(dá)成，在W0-A-2008/128568中，使用3D成像系統(tǒng)捕捉表征多個(gè)點(diǎn)的3D圖像數(shù)據(jù)，其每個(gè)點(diǎn)具有在三維空間內(nèi)的至少一組坐標(biāo)。這些點(diǎn)被分組以形成一組簇，并根據(jù)預(yù)定參數(shù)，例如根據(jù)位置、尺寸和形狀從這組簇中選擇感興趣的對(duì)象。與感興趣對(duì)象有關(guān)的簇根據(jù)又一組參數(shù)(例如3D空間中的位置和/或輪廓)被分組成一組子簇。每個(gè)子簇具有在3D空間內(nèi)的質(zhì)心，并通過將一體積關(guān)聯(lián)于這些子簇的每個(gè)質(zhì)心，可獲得感興趣的對(duì)象的表示?？梢詮倪@種表示和子簇的位置估計(jì)主要方向，并可估計(jì)要被跟蹤的對(duì)象(在這種情形下是人類用戶)的骨架表示的最初姿態(tài)。例如，該最初姿態(tài)可考慮身體的末端的位置，即連接于另外一個(gè)簇并對(duì)應(yīng)于頭、手和腳的簇，由于確定的主要方向，這些簇的位置是明確的。
[0086]初始化步驟210以及另一預(yù)設(shè)置步驟220是在實(shí)際擬合和跟蹤步驟230之前執(zhí)行的。具體地說，預(yù)設(shè)置步驟220旨在產(chǎn)生優(yōu)化過程中下面的擬合和跟蹤步驟所需的具體特征，即其旨在執(zhí)行對(duì)嵌入到景深圖中的3D點(diǎn)數(shù)據(jù)的正投影以提供具體和強(qiáng)制的輸入，從而實(shí)現(xiàn)在步驟230中對(duì)用戶的骨架表示隨時(shí)間的更好的擬合和跟蹤。
[0087]返回到流程圖，下一步驟230對(duì)應(yīng)于骨架表示的擬合和跟蹤步驟。隨后執(zhí)行下一步驟，即穩(wěn)定步驟240，以禁止骨架表示中的不穩(wěn)定和不連續(xù)的移動(dòng)。然后執(zhí)行進(jìn)一步的補(bǔ)全步驟250以使對(duì)照點(diǎn)重新指向一組某些可能的不明確姿態(tài)的具體位置，這些可能的不明確姿態(tài)可能對(duì)跟蹤形成干擾，最后執(zhí)行使輸出精細(xì)化的步驟260以產(chǎn)生順應(yīng)一預(yù)定組的規(guī)范的經(jīng)處理的數(shù)據(jù)輸出，例如將與骨架表示有關(guān)的數(shù)據(jù)轉(zhuǎn)換成適于具體應(yīng)用的量度系統(tǒng)。如前面提到的，每個(gè)成像的場(chǎng)景點(diǎn)可包括與其在3D空間中的位置對(duì)應(yīng)的X、Y、Z坐標(biāo)，該坐標(biāo)可相對(duì)于具有原點(diǎn)(即基準(zhǔn)點(diǎn))的3D坐標(biāo)系予以表達(dá)?？蓪⑾鄼C(jī)位置選為基準(zhǔn)點(diǎn)以規(guī)定相機(jī)坐標(biāo)系。轉(zhuǎn)換數(shù)據(jù)的一個(gè)例子可以在相機(jī)坐標(biāo)系和真實(shí)世界或笛卡爾坐標(biāo)系之間。
[0088]回到初始化步驟210，輸入數(shù)據(jù)可包括景深圖、用戶掩模和/或用戶3D點(diǎn)云、從景深圖提取的標(biāo)準(zhǔn)圖、用戶3D點(diǎn)云的主要方向、從另一獨(dú)立方法提取的頭部位置、一組感興趣點(diǎn)，例如由諸如W0-A-2008/128568中描述的成簇方法定義的質(zhì)心(在本文中也被稱為“關(guān)鍵點(diǎn)”)以及3D點(diǎn)云的質(zhì)心。
[0089]如前所述，景深圖除其它信息外尤其提供距離數(shù)據(jù)。該距離數(shù)據(jù)一般被嵌入到3D點(diǎn)云中的諸3D點(diǎn)的每個(gè)點(diǎn)的Z坐標(biāo),該3D點(diǎn)云表征由景深感測(cè)(或3D成像)相機(jī)設(shè)備捕捉的場(chǎng)景。距離數(shù)據(jù)對(duì)應(yīng)于場(chǎng)景中的每個(gè)成像點(diǎn)和場(chǎng)景中的另一基準(zhǔn)位置之間的距離測(cè)量，該另一基準(zhǔn)位置例如可以是相機(jī)設(shè)備位置或場(chǎng)景中預(yù)定義的另一基準(zhǔn)位置。然后確定用戶掩?；蛳鄳?yīng)的用戶3D點(diǎn)云以準(zhǔn)確地定義哪些像素屬于用戶或?qū)儆谄涔羌芤粩M合和跟蹤的帶關(guān)節(jié)對(duì)象。這種確定可使用諸如W0-A-2011/080282中詳細(xì)描述的一個(gè)專門方法來實(shí)現(xiàn)。在W0-A-2011/080282中，描述了一種跟蹤對(duì)象的方法，其中3D點(diǎn)云中的像素被分組到多個(gè)具有質(zhì)心的區(qū)域，并且這些區(qū)域被分組成互連區(qū)域的多個(gè)簇。從它們的互連的空間-時(shí)間屬性，對(duì)簇進(jìn)行評(píng)估以確定它們是否屬于同一對(duì)象以及該對(duì)象是否部分地在2D投影中被另一簇遮蔽。
[0090]初始化步驟210進(jìn)一步包括確定一標(biāo)準(zhǔn)圖或使該標(biāo)準(zhǔn)圖精細(xì)化，該標(biāo)準(zhǔn)圖能夠直接從輸入傳感器獲得(如果支持它的話)或若非如此可從景深圖計(jì)算出。在后一情形下，可通過相對(duì)于下面參照?qǐng)D3和圖4描述的固定尺寸核利用景深圖中的水平梯度和垂直梯度從景深圖提取確定的標(biāo)準(zhǔn)圖。用于確定標(biāo)準(zhǔn)圖的其它方法是已知的，這些方法例如包括定義屬于局部擬合的平面或?qū)儆谝唤M像素或?qū)儆诰矸e掩模的每個(gè)中心像素的法線。
[0091]具體地說，對(duì)于圖3所示的一個(gè)實(shí)施例，包括九個(gè)柵格要素或像素310、320、330、340、350、360、370、380、390(即核)的3X3柵格陣列300可作為卷積掩模作用于景深圖以執(zhí)行沿X軸和Y軸中的相應(yīng)一個(gè)對(duì)Λ ZX和Λ ZY景深梯度的每個(gè)像素的確定。隨后從這些梯度對(duì)一些其它操作中的每個(gè)像素的局部表面取向和相應(yīng)法線求近似。
[0092]圖4示出3D場(chǎng)景的自頂向下視圖400，該3D場(chǎng)景具有帶表面430的對(duì)象、被成像到景深圖中的對(duì)象。將圖3的卷積掩模300作用至該景深圖允許確定每個(gè)像素的景深梯度。例如，如果僅考慮單個(gè)維度上的X軸，則對(duì)象點(diǎn)410通過像素350被成像在核中，并且景深圖中的成像點(diǎn)420通過像素360被成像在核中。然后可確定表征點(diǎn)410處的ΛΧ的點(diǎn)410、420之間的景深梯度ΛΖΧ?？蓪?duì)Y軸和核點(diǎn)320來執(zhí)行相同操作以確定點(diǎn)410處的ΛΖΥ。然后將點(diǎn)410處的ΛΖΧ、ΛΖΥ用作輸入以近似求得每個(gè)像素的局部平面取向，并從中提取法線。
[0093]初始化步驟210還包括確定或使3D點(diǎn)云的質(zhì)心的位置精細(xì)化?？赏ㄟ^本領(lǐng)域內(nèi)技術(shù)人員顯而易見的許多種方式來確定質(zhì)心。
[0094]初始化步驟210還包括確定或使用戶的主要方向精細(xì)化，該主要方向可例如使用3D點(diǎn)云的主要組成分析(PCA)來獲得。
[0095]初始化步驟210還包括通過使用本領(lǐng)域內(nèi)技術(shù)人員已知的適當(dāng)方法來確定或使頭部的位置精細(xì)化。
[0096]除使輸入數(shù)據(jù)精細(xì)化和確定輸入數(shù)據(jù)外，初始化步驟210也旨在根據(jù)用戶的3D點(diǎn)云設(shè)定骨架表示的逼真最初位置，從而當(dāng)之前尚未執(zhí)行的骨架表示時(shí)在擬合和跟蹤步驟之后提供一正確的起點(diǎn)。初始化不需要使被跟蹤的用戶/對(duì)象以具體姿態(tài)站立，但需要用戶/對(duì)象部分之間不明確的相對(duì)位置，例如但非限定地，沒有雙臂交叉、沒有雙腳交叉、所有的四肢體可見(具有盡可能少的遮蔽)。用戶/對(duì)象的姿態(tài)越簡單，姿態(tài)初始化將更快地收斂至正確的骨架表示姿態(tài)。姿態(tài)初始化步驟包括下列子步驟:
[0097]I)預(yù)備輸入
[0098]2)確定最佳的頭部候選
[0099]3)對(duì)軀干進(jìn)行外推；以及
[0100]4)確定最初骨架姿態(tài)
[0101]關(guān)聯(lián)于預(yù)備輸入，可例如使用通過成簇算法產(chǎn)生的質(zhì)心采集與均勻地散布在用戶3D點(diǎn)云周圍的一組感興趣點(diǎn)(即關(guān)鍵點(diǎn))關(guān)聯(lián)的統(tǒng)計(jì)以確定信息，例如位置、像素?cái)?shù)、一階和二階運(yùn)動(dòng)數(shù)據(jù)、質(zhì)心的連通性、區(qū)域的鄰接性、相鄰質(zhì)心、相鄰質(zhì)心之間的距離等。也可確定每個(gè)關(guān)鍵點(diǎn)和其鄰居對(duì)的每種組合之間的角度；這些關(guān)鍵點(diǎn)和/或質(zhì)心被歸類到如下文描述的三個(gè)目錄中的一個(gè)，以用于姿態(tài)識(shí)別過程；以及例如通過與質(zhì)心定位組合地使用頭部定位技術(shù)、使用線擬合技術(shù)或使用PCA或類似的平面/形狀擬合算法或使用被歸類為屬于軀干的關(guān)鍵點(diǎn)來確定用戶身體的主要方向。
[0102]這三個(gè)目錄被定義為下面的其中一個(gè):“末端”，即可能的頭部、手或腳；“四肢”，即可能的手肘或膝蓋、足或臂以及“軀干”?！澳┒恕蹦夸洶ň哂蟹浅＜怃J的角的關(guān)鍵點(diǎn)和/或質(zhì)心和/或僅一個(gè)鄰居和/或沒有鄰居?！八闹蹦夸洶ǚ悄┒说年P(guān)鍵點(diǎn)以及位于兩個(gè)相鄰物之間的質(zhì)心。“軀干”目錄包括不被歸類為末端或四肢的關(guān)鍵點(diǎn)和/或質(zhì)心。
[0103]頭部候選是使用適當(dāng)?shù)念^部檢測(cè)算法來確定的。頭部候選的確定需要滿足下列條件:候選必須是“末端”;候選必須是對(duì)于真實(shí)世界坐標(biāo)的最高點(diǎn)之一(假設(shè)存在標(biāo)度)；候選必須連接至被歸類到“軀干”目錄中的某些點(diǎn)；以及候選必須松弛地對(duì)準(zhǔn)于用戶的主要身體方向。
[0104]對(duì)于每個(gè)可能的頭部候選，確定經(jīng)外推的用戶軀干，其包括骨盆位置、左右肩和左右臀。軀干外推是通過假設(shè)用戶處于站立狀態(tài)、從最高頭部候選點(diǎn)得到用戶高度并根據(jù)用戶高度定義軀干比例和標(biāo)度來獲得的。這些最初比例僅由初始化步驟使用并稍后通過骨架擬合優(yōu)化環(huán)來修正，在骨架擬合優(yōu)化環(huán)中可逐步地使用戶的真實(shí)尺寸精細(xì)化。
[0105]使用之前歸類的每個(gè)關(guān)鍵點(diǎn)或質(zhì)心，骨架表示最初姿態(tài)被認(rèn)為是最好地?cái)M合所歸類的關(guān)鍵點(diǎn)和/或質(zhì)心的對(duì)照點(diǎn)的具體排列。由此必須根據(jù)所識(shí)別的關(guān)鍵點(diǎn)和/或質(zhì)心的相應(yīng)位置來擬合和/或匹配骨架表示，即對(duì)照點(diǎn)。
[0106]確定最初姿態(tài)檢測(cè)的方法旨在使姿態(tài)評(píng)價(jià)的次數(shù)減至最小并同時(shí)完全利用之前計(jì)算的信息。在一個(gè)實(shí)施例中，姿態(tài)檢測(cè)可以是外推-外推策略或完全回溯外推。
[0107]為了確定一姿態(tài)，每個(gè)關(guān)鍵點(diǎn)和/或質(zhì)心關(guān)聯(lián)于一身體部分:頭部、軀干、左臂和右臂以及左腳和右腳。這些關(guān)聯(lián)是使用在前述姿態(tài)估計(jì)步驟210中作出的最初關(guān)鍵點(diǎn)歸類而產(chǎn)生的(預(yù)備輸入)，但不限于此。當(dāng)執(zhí)行關(guān)聯(lián)時(shí)，如果它滿足一些規(guī)范的人類關(guān)節(jié)和形態(tài)約束且僅在這種情況下，保留具體臂或腳的配置的評(píng)估。通過在處理過程中盡可能快地執(zhí)行這些評(píng)估步驟，這急劇地減少了探索的搜索空間。將被保持的完全姿態(tài)是提供關(guān)鍵點(diǎn)和/或質(zhì)心與各身體部分的最大滿足關(guān)聯(lián)的那一個(gè)。
[0108]例如，在一個(gè)實(shí)施例中，自頂向下的回溯外推可開始于任何所識(shí)別的頭部候選以及相應(yīng)的軀干關(guān)鍵點(diǎn)候選。然后通過使用各種策略或各種策略的組合探索其它的關(guān)鍵點(diǎn)來確定可能兼容的完整身體姿態(tài)，主要是四肢。
[0109](I)在第一策略中，被歸類為“末端”的每個(gè)關(guān)鍵點(diǎn)可作為可能的腳和/或手被探索。包括關(guān)于關(guān)鍵點(diǎn)鏈接的區(qū)域鄰接圖(RAG)則可被用來搜索與手和腳對(duì)應(yīng)的潛在候選以及它們聯(lián)系至的最近軀干關(guān)鍵點(diǎn)候選之間的手肘和膝蓋。
[0110](ii)在另一策略中，屬于“四肢”目錄的關(guān)鍵點(diǎn)也可被探索作為可能的手肘或膝蓋，可附加地使用RAG以搜索或幫助從可能的手肘和膝蓋候選中確認(rèn)可能的手和腳候選。
[0111]在又一實(shí)施例中，可有條件地執(zhí)行不同的具體探索策略，以單獨(dú)方式或與其它策略結(jié)合。例如，當(dāng)用戶最可能直臂貼身地站立時(shí)，可使用一個(gè)具體策略搜索最佳關(guān)鍵點(diǎn)候選排列。
[0112]在又一實(shí)施例中，可通過使用相對(duì)于關(guān)鍵點(diǎn)位置施加至對(duì)照點(diǎn)排列的具體約束使用額外的約束來排除錯(cuò)誤姿態(tài)的候選。例如，可考慮關(guān)節(jié)限制和其它松弛四肢長度約束以接受或拒絕姿態(tài)候選。
[0113]回到圖2，預(yù)設(shè)步驟(步驟220)包括在擬合和跟蹤步驟230之前在具有預(yù)定量的像素或面元的柵格中產(chǎn)生景深圖的正投影。這些面元中的每一個(gè)采集與3D點(diǎn)關(guān)聯(lián)的信息，這些3D點(diǎn)對(duì)應(yīng)于要被擬合和跟蹤的對(duì)象。該信息可以是深度測(cè)量、IR照明值、法線矢量和/或這些測(cè)量、值和/或矢量等的統(tǒng)計(jì)模式。
[0114]將信息采集到面元中是通過將與對(duì)象的3D點(diǎn)對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)在面元中而執(zhí)行的。每個(gè)面元可從對(duì)象的若干3D點(diǎn)采集信息，這是根據(jù)這些點(diǎn)在空間中與諸如成像傳感器或相機(jī)的成像設(shè)備的距離而進(jìn)行的。這是由于3D點(diǎn)云由分辨率為靜態(tài)的2D成像傳感器采樣，這導(dǎo)致在3D空間中在相比接近成像傳感器或相機(jī)的距離更遠(yuǎn)離成像傳感器或相機(jī)的距離下以不同精確度進(jìn)行采樣。例如，在離成像傳感器或相機(jī)5米處，獲得的點(diǎn)可對(duì)應(yīng)于真實(shí)世界中的7CM表面，而在離成像傳感器或相機(jī)I米處，獲得的點(diǎn)可對(duì)應(yīng)于真實(shí)世界中的
1.5CM表面。順便說下，確定將數(shù)據(jù)投影到例如5CM的面元的固定維度的采樣步驟也將根據(jù)與這些面元關(guān)聯(lián)的經(jīng)投影3D點(diǎn)與成像傳感器或相機(jī)的距離導(dǎo)致不同量的數(shù)據(jù)被采集在這些面元中。
[0115]這意味著，例如在與成像傳感器5米距離處的一個(gè)點(diǎn)在正投影中可被投影到柵格的一個(gè)面元內(nèi)，并且在I米距離的至少三個(gè)點(diǎn)在正投影中可被投影到柵格的一個(gè)面元內(nèi)。這也意味著，這些點(diǎn)離成像傳感器越近，正交柵格更準(zhǔn)確，因?yàn)楦嗟狞c(diǎn)將進(jìn)入柵格的每個(gè)面元。
[0116]由于柵格內(nèi)的正投影，被處理的圖像是固定尺寸的，不管對(duì)象與相機(jī)的距離如何。這意味著可通過確定與對(duì)象離相機(jī)的距離無關(guān)的方便確定的柵格尺寸來獲得恒定的處理時(shí)間。在大多數(shù)情形下，對(duì)優(yōu)化處理性能存在權(quán)衡，也就是處理時(shí)間和處理質(zhì)量。
[0117]在本發(fā)明的優(yōu)選實(shí)施例中，正投影不是在整個(gè)景深圖上執(zhí)行的，而是優(yōu)選地在景深圖通過使用用戶掩模圖像、居中在用戶質(zhì)心上的再正投影柵格界定的有限區(qū)域上執(zhí)行的。這個(gè)過程的結(jié)果可被稱為正交用戶或0RUS。當(dāng)執(zhí)行再投影時(shí)，最初3D點(diǎn)云的若干像素可指向正交柵格中的相同的一個(gè)單元元素(即面元)，而ORUS中的一些其它單元元素或面元可以是空的。
[0118]由ORUS提供的數(shù)據(jù)包括一圖像，對(duì)于該圖像，每個(gè)像素或單元或面元包含:與關(guān)聯(lián)于ORUS單元的最初3D點(diǎn)云點(diǎn)對(duì)應(yīng)的法線估計(jì)；最小Z坐標(biāo)值，即可投影入ORUS柵格的單個(gè)面元中的景深圖像素的最小景深值的統(tǒng)計(jì)模式；以及被投影在柵格像素中的3D點(diǎn)云點(diǎn)的X、Y和Z坐標(biāo)的平均值。
[0119]在圖5中，示出了 ORUS再投影方法原理的一個(gè)例子。相機(jī)500捕捉包括要被跟蹤的對(duì)象510的場(chǎng)景。在這種情形下，對(duì)象510是由如圖所示的曲線表示的。對(duì)象510由景深感測(cè)捕捉過程采樣，并且每個(gè)經(jīng)采樣的點(diǎn)511對(duì)應(yīng)于從對(duì)象510至相機(jī)500的傳感器矩陣陣列的投影512。要理解，存在若干經(jīng)采樣的點(diǎn)，其數(shù)目由景深感測(cè)系統(tǒng)的分辨率定義，但在圖5中為簡便起見僅標(biāo)示出一個(gè)。投影512是由所使用的成像設(shè)備或相機(jī)的類型確定的，不僅包括景深感測(cè)系統(tǒng)的分辨率還包括其視野。ORUS過程如投影513所示將對(duì)象510的曲線的每個(gè)采樣點(diǎn)投影到固定步長的投影柵格520中，該投影柵格520包括多個(gè)面元530、532、534、536、538、540、542、544、546、548、550。圖 5 中僅示出一行柵格 520，因?yàn)樗鼘?duì)應(yīng)于垂直平面內(nèi)的剖面表示。柵格520的每個(gè)面元530、532、534、536、538、540、542、544、546、548,550從觀察的對(duì)象510累積采樣點(diǎn)，并包含指示曲線的景深值的至少一個(gè)值。每個(gè)面元530、532、534、536、538、540、542、544、546、548、550也可包參照?qǐng)D3和圖4如前所述相應(yīng)法線的值。作為示例，面元530、532、534、536、538、540、544、546、548、550包含景深值，但面元542是空的并因此對(duì)應(yīng)于一孔或由對(duì)象510的再投影所產(chǎn)生的遮蔽。同樣地，面元548、544包括通過相機(jī)系統(tǒng)從來自場(chǎng)景的兩個(gè)經(jīng)采樣點(diǎn)提取的數(shù)據(jù)。
[0120]在一個(gè)優(yōu)選實(shí)施例中，可使用內(nèi)插技術(shù)使ORUS柵格的空面元重新布居，這些內(nèi)插技術(shù)使用一個(gè)統(tǒng)計(jì)模式，例如相鄰面元中的每個(gè)采樣點(diǎn)的數(shù)據(jù)的平均值。在這種情形下，可使用與面元540、544中的值對(duì)應(yīng)的內(nèi)插值來重新布居面元542。內(nèi)插的數(shù)據(jù)值包括至少深度值和標(biāo)準(zhǔn)值。在另一實(shí)施例中，可執(zhí)行景深圖的三角測(cè)量，并且這些三角可被投影到ORUS柵格中并通過任何三角光柵化方法來填充，例如使用掃描線渲染、可見表面確定的算法，它在3D計(jì)算機(jī)圖形中以逐行基礎(chǔ)工作而不是逐多邊形或逐像素基礎(chǔ)。
[0121]使用ORUS投影，與用戶對(duì)應(yīng)的3D點(diǎn)云可被處理以確定或使如圖8A和圖8B所示的用戶身體的主要方向精細(xì)化。在圖8A中，示出具有輪廓810的用戶體形800。用戶體形800具有質(zhì)心820。來自質(zhì)心820的射線830被延長至如輪廓810表示的用戶體形800的邊界。為簡明起見，在圖8A中僅標(biāo)示出一條射線830。每條射線與相鄰的射線相距一適宜角A，角A可以是任何適宜的角，例如2°、5°或10°，這依賴于從質(zhì)心820至輪廓810擬被確定的距離測(cè)量數(shù)。然后在如圖8B所示的圖中繪出距離測(cè)量。
[0122]在圖8B中，示出曲線840，該曲線與從基準(zhǔn)點(diǎn)(例如用戶820的質(zhì)心)至輪廓810相對(duì)于角度的射線長度的距離測(cè)量的曲線圖對(duì)應(yīng)。曲線840具有數(shù)個(gè)峰850、860、870、880，在這種情形下，這些峰850、860、870、880對(duì)應(yīng)于用戶伸展的臂、他/她的兩腳和他/她的頭部中的相應(yīng)一個(gè)。
[0123]參照?qǐng)D8B，頭部被確定為峰880，即與例如由用戶身體的主要方向確定的0°位置的最近峰。雙腳被確定為峰860、870，這些峰860、870位于180°位置的任一側(cè)，即基本相反地在頭部位置兩側(cè)。伸展的臂被確定為0°和90°之間的峰850。與頭部位置對(duì)應(yīng)的峰也可被確定為在與肩部對(duì)應(yīng)的兩個(gè)峰(未示出)之間。
[0124]在這種情形下，另一臂無法從射線830的長度中確定，因?yàn)樗鼘?shí)際上由用戶體形800的軀干部分遮蔽。然而，要理解如果用戶站立在不同位置，例如雙臂伸展，則另一臂的位置可被確定為270° 3和0°之間的峰(未示出)。
[0125]在一優(yōu)選實(shí)施例中，執(zhí)行基于圖表模式的統(tǒng)計(jì)分析以對(duì)檢測(cè)到的全部模式確定或使用戶的3D點(diǎn)云中的頭部位置精細(xì)化。另外，標(biāo)識(shí)模式分布的一些明確配置有益于從關(guān)聯(lián)于頭部位置或整體姿態(tài)的跟蹤誤差中恢復(fù)。例如，要考慮可能的頭部模式相對(duì)于可能的肩部模式的對(duì)稱性。類似地，考慮四肢模式規(guī)范。在另一例子中，具有類似高度幅度并沿自頂向下方向小于30°相鄰的兩個(gè)獨(dú)立模式對(duì)應(yīng)于用戶的雙腳，而其它模式可能更好地對(duì)應(yīng)于頭部和雙臂，頭部模式優(yōu)選地是位于表征臂的兩個(gè)模式之間的那一個(gè)。在一特定實(shí)施例中，由另一過程提供的頭部位置可在與附連至通過模式統(tǒng)計(jì)分析定義的用戶3D點(diǎn)云的一個(gè)感興趣點(diǎn)或質(zhì)心對(duì)應(yīng)的更適當(dāng)位置被重置或精細(xì)化。
[0126]來自用戶頭部位置的這種確定或精細(xì)化，可將主要方向確定或精細(xì)化為以直線形式從頭部中心經(jīng)過質(zhì)心820并向下到達(dá)根據(jù)圖8A的雙腳之間的位置的那個(gè)方向。
[0127]回到圖2，在步驟220，在下一步驟中使用ORUS數(shù)據(jù)來確定曲率中心點(diǎn)。具體地說，通過使用法線矢量——即ORUS的法向數(shù)據(jù)——質(zhì)心曲率中心點(diǎn)位置估計(jì)，以確定法線在局部層面的交點(diǎn)，從而估計(jì)作為與對(duì)象諸部分的截面的中心點(diǎn)對(duì)應(yīng)的點(diǎn)的曲率中心點(diǎn)。在ORUS柵格中累積與曲率中心點(diǎn)的位置關(guān)聯(lián)的數(shù)據(jù)，并隨后將具有這些曲率中心點(diǎn)的累積密度最大值的位置設(shè)定為定義對(duì)象部分的中心軸的最佳近似值的那些位置(即在擬合和跟蹤人類的情形下的四肢的骨頭)。具體地說，每個(gè)最大密度位置具有中心和半徑，它們一起定義密切球面的參數(shù)。另外，每個(gè)密切球面被歸類，例如被歸類為相對(duì)于從中提取的曲線C的點(diǎn)收斂的正、負(fù)或零曲率點(diǎn)。在一優(yōu)選實(shí)施例中，使用如此定義的密切球面及其參數(shù)來對(duì)用戶身體骨頭的中心軸、用戶身體骨頭體積、軀干平面求近似，并豐富和/或使身體的主要方向精細(xì)化。
[0128]在圖6中，以二維形式示出密切球面的一個(gè)例子。在點(diǎn)P與曲線C具有觸點(diǎn)的球610被定義為密切球面，其中心位于與點(diǎn)P處的曲線正交的平面內(nèi)。在這種情形下，對(duì)于由曲線C定義的表面，可畫出密切球面610以使其中心620位于由箭頭630指示的在點(diǎn)P正交于表面C的法線上，密切球面610的中心620對(duì)應(yīng)于投影在ORUS柵格中的曲線C的法線的交點(diǎn)處的密度的最大值。密切球面的中心620提供可能的身體骨頭的中心軸或中線的位置的指示。通過將附于身體的全部密切球面的中心連在一起，人們能獲得或使骨架標(biāo)示的配置的估計(jì)精細(xì)化。
[0129]如前所述，要注意密切球面及其關(guān)聯(lián)的曲率中心點(diǎn)根據(jù)與之關(guān)聯(lián)的表面的收斂可以是三種類型，即具有與在當(dāng)前實(shí)施例中丟棄的凹表面對(duì)應(yīng)的正半徑的類型、具有指示可能至少部分地是軀干的平坦表面的接近零的小半徑值的類型以及具有例如用戶四肢的與管狀結(jié)構(gòu)對(duì)應(yīng)的負(fù)半徑的類型(這是在當(dāng)前實(shí)施例中特別考慮的)。如果密切球面的半徑一開始是通過曲率中心點(diǎn)和P點(diǎn)之間的距離確定的，則應(yīng)理解它也可以是預(yù)定義的。
[0130]從步驟220確定的數(shù)據(jù)來看，可使用拓樸和幾何約束來執(zhí)行根據(jù)具體跟蹤技術(shù)的迭代的局部和全局?jǐn)M合(步驟230)。局部擬合旨在當(dāng)重定位骨架表示的每個(gè)對(duì)照點(diǎn)時(shí)從其當(dāng)前位置相對(duì)于在3D點(diǎn)云中確定的預(yù)期位置，例如將頭部對(duì)照點(diǎn)擬合到從3D點(diǎn)云或優(yōu)選地從ORUS柵格分析確定的頭部的位置上。“在前位置”表示骨架表示的多個(gè)對(duì)照點(diǎn)的位置及其在其中一個(gè)之前幀的空間排列，如果對(duì)象的骨架表示是之前擬合和跟蹤的，則優(yōu)選地使用前一幀。如果對(duì)象的骨架表示不是之前擬合和跟蹤的，則在前位置是使用要被擬合和跟蹤的對(duì)象的骨架表示的最初姿態(tài)確定的。要理解，在被用作當(dāng)前骨架姿態(tài)表示的輸入的在前幀的骨架表示也可通過使用運(yùn)動(dòng)估計(jì)技術(shù)來豐富，例如使用一階、二階或三階動(dòng)力矩參數(shù)(即在前幀下對(duì)照點(diǎn)的位置、速度和加速度)中的至少一個(gè)的那些運(yùn)動(dòng)估計(jì)技術(shù)。全局?jǐn)M合旨在全局地相對(duì)彼此和相對(duì)于確定的全局姿態(tài)重定位骨架表示的所有對(duì)照點(diǎn)。
[0131]拓樸約束的考慮包括將具有確定的相互關(guān)系的多組連接點(diǎn)考慮在內(nèi)，例如表征一組4個(gè)連接點(diǎn)的用戶軀干的圖1所示小塊140。另外，上臂和下臂、上腳和下腳被認(rèn)為是多組兩個(gè)連接點(diǎn)。具體地說，當(dāng)相對(duì)于軀干地考慮用戶頭部位置時(shí)，與頸部對(duì)應(yīng)的一組連接點(diǎn)被認(rèn)為是將頭部聯(lián)系于兩肩之間的區(qū)段中心的三對(duì)照點(diǎn)的三角體系。
[0132]幾何約束的考慮包括:兩連接的對(duì)照點(diǎn)之間的最小和/或最大距離，例如上肢和下肢的長度以及頸部的長度是受約束的。也可考慮兩個(gè)非連接的對(duì)照點(diǎn)之間的約束，例如頭部和臀部之間的距離。具體地說，使用幾何約束以有效地限制可供拓樸約束使用的姿態(tài)估計(jì)解空間，并如下面更詳細(xì)描述地那樣簡化擬合，例如當(dāng)考慮頭部和肩部時(shí)可強(qiáng)加正交約束。
[0133]在一優(yōu)選實(shí)施例中，當(dāng)該過程采集可靠的測(cè)量值時(shí)，骨架表示的諸對(duì)照點(diǎn)的幾何約束之間的距離隨時(shí)間被加強(qiáng)。加強(qiáng)可例如通過高斯混合或通過時(shí)間平均法來執(zhí)行。當(dāng)骨架表示的姿態(tài)不包含含糊性時(shí)，例如當(dāng)場(chǎng)景中用戶以允許其全部末端的完美檢測(cè)和標(biāo)識(shí)的方式站立(其中沒有任何肢交叉或身體沒有任何部分遮蔽的情形)時(shí)，可檢測(cè)到可靠的測(cè)量。
[0134]除了拓樸和幾何約束，速度和沖突約束也被考慮以獲得必須實(shí)際永不重疊或融合在一起的骨架表示對(duì)照點(diǎn)、相關(guān)區(qū)段和/或小塊的正確位置的更好估計(jì)。具體地說，速度約束關(guān)聯(lián)于對(duì)照點(diǎn)的運(yùn)動(dòng)速度。它們必須被包括在允許速度的預(yù)定范圍內(nèi)?？蓪?duì)于骨架表示的每個(gè)對(duì)照點(diǎn)定義允許速度。對(duì)于預(yù)定范圍的較低速度被認(rèn)為是沒有運(yùn)動(dòng)的指示。比那些允許速度更高的速度也被認(rèn)為是沒有運(yùn)動(dòng)的指示。超出預(yù)定義范圍的任何速度因此被認(rèn)為是沒有運(yùn)動(dòng)，其結(jié)果是被考慮的對(duì)照點(diǎn)將保持與其在先前幀的同一位置。
[0135]沖突約束涉及重疊、融合并在某種程度上涉及一個(gè)對(duì)照點(diǎn)、區(qū)段和/或小塊彼此之間的距離，由此它們之間的任何重疊是不允許的。通過術(shù)語“不允許的”，要理解擬合過程例如將區(qū)段位置凍結(jié)在最近認(rèn)可的位置，或在另一位置調(diào)節(jié)它，以使姿態(tài)相對(duì)于全部關(guān)聯(lián)的約束滿足能量最小化原則。由于全局跟蹤步驟實(shí)際上依賴于擬合精確度，它也依賴于隨時(shí)間的拓樸和幾何約束。在開始時(shí)或當(dāng)沒有執(zhí)行之前的跟蹤時(shí)提出至少一次的骨架表示的最初姿態(tài)估計(jì)，即步驟210，提供一步驟，該步驟有助于提高跟蹤過程的效率，因?yàn)樗鼈鬟_(dá)了骨架表示的對(duì)照點(diǎn)的明確排列。
[0136]回到跟蹤步驟本身，它基于一種使能量最小化的方法，所述能量最小化可以是不同標(biāo)準(zhǔn)的組合，例如:
[0137].至物體的距離，即從骨架至密切球面中心的距離；
[0138].從當(dāng)前骨架姿態(tài)至前一骨架姿態(tài)的距離；
[0139].至如由成像設(shè)備觀察到的用戶表面的距離，即根據(jù)深
[0140]度骨架表示必須在用戶掩模后面并包括在用戶的輪廓之內(nèi)
[0141]的這一事實(shí)(這被命名成“至輪廓的距離”)。
[0142]能量最小化的優(yōu)化是在兩個(gè)層面執(zhí)行的，即局部層面和全局層面。該過程基本上旨在對(duì)骨架表示的每個(gè)對(duì)照點(diǎn)尋找局部層面位置，在那里骨架表示作為其一部分的全局能量相對(duì)于前面描述的約束和標(biāo)準(zhǔn)得以最小化，也就是說，擬合在涉及其它對(duì)照點(diǎn)中的一些的位置的某些可能改變的新位置處的對(duì)照點(diǎn)的位置，這些對(duì)照點(diǎn)關(guān)聯(lián)于約束。例如，如果與手肘對(duì)應(yīng)的對(duì)照點(diǎn)的位置由于這兩個(gè)對(duì)照點(diǎn)之間的距離受前臂區(qū)段尺寸約束，則與手對(duì)應(yīng)的對(duì)照點(diǎn)的位置變化可改變很少。例如使用被稱為梯度下降的算法或使用類似于Levenbeeg-Maequaedt的算法迭代地執(zhí)行優(yōu)化。一旦滿足迭代優(yōu)化中的收斂標(biāo)準(zhǔn)，這意味著例如局部優(yōu)化接近于局部最小化，則附加的引導(dǎo)的配置修正則被使用以脫離確定的局部最小化，由此可嘗試尋找另一配置，在這種配置中能量低于之前在局部優(yōu)化步驟中確定的能量。引導(dǎo)的配置修正則旨在在局部優(yōu)化過程之上執(zhí)行全局優(yōu)化?？蓤?zhí)行局部和全局優(yōu)化的若干環(huán)，不管它們是否連續(xù)，由此對(duì)適當(dāng)骨架姿態(tài)解的收斂滿足下列組合中的至少一個(gè):達(dá)到最小全局能量；達(dá)到最小局部能量；達(dá)到能量最小化過程中的預(yù)定次數(shù)的迭代；和/或達(dá)到針對(duì)收斂分配的預(yù)定時(shí)間。
[0143]引導(dǎo)的配置修正的一個(gè)優(yōu)選實(shí)施例使用一專門的工藝技術(shù)，該技術(shù)檢測(cè)例如系統(tǒng)狀態(tài)的一些已知模式，即有限數(shù)目的已知用戶姿態(tài)，并施加預(yù)定義的關(guān)聯(lián)響應(yīng)，即預(yù)定義的骨架姿態(tài)或預(yù)定義的骨架對(duì)照點(diǎn)排列，其旨在獲得整體系統(tǒng)的能量更好最小化。
[0144]在一個(gè)更優(yōu)選實(shí)施例中，為了改善全局?jǐn)M合和跟蹤性能，每個(gè)專門的過程通過概率因數(shù)被加權(quán)，例如下面的至少一個(gè):它們的出現(xiàn)比率、它們的成功比率以及它們的最小化能量比率。最小化效率比對(duì)應(yīng)于之前執(zhí)行的最小化過程中它們相應(yīng)的速度表現(xiàn)。具有較高權(quán)重的專門過程將被優(yōu)先選擇，并在具有較低權(quán)重因數(shù)的任何其它專門過程之前。
[0145]在圖9中，骨架表示的全局能量即與骨架表示和相關(guān)本體(即區(qū)段和小塊)的對(duì)照點(diǎn)相對(duì)于確定的曲率中心、相對(duì)于其先前位置和相對(duì)于用戶掩模的距離對(duì)應(yīng)的全局能量是通過虛線910表示的。要理解，直線910的形狀僅為示例目的繪出，并且它可從一個(gè)姿態(tài)至另一姿態(tài)和從一個(gè)骨架表示至另一骨架表示顯著地變化。對(duì)于每個(gè)幀，當(dāng)進(jìn)入能量最小化過程(圖2的步驟230)時(shí)，骨架的全局能量如點(diǎn)921指示地那樣被確定。如箭頭920指示的那樣，局部迭代能量最小化過程是通過連續(xù)地解析骨架表示的相關(guān)可能的對(duì)照點(diǎn)配置(如點(diǎn)922、923所示)直到對(duì)由點(diǎn)923指示的骨架表示所發(fā)現(xiàn)的最小能量為止而實(shí)現(xiàn)的。要理解，迭代的次數(shù)可從一個(gè)用戶姿態(tài)至另一用戶姿態(tài)地變化，并可設(shè)置允許的迭代次數(shù)的閾值以避免無限循環(huán)或限制收斂時(shí)間過程。
[0146]一旦發(fā)現(xiàn)由點(diǎn)923指示的局部最小值，引導(dǎo)的配置修正過程如箭頭950指示的那樣離開點(diǎn)923確定的局部最小值，由此它可尋找骨架表示的另一對(duì)照點(diǎn)，其相對(duì)配置的能量低于曾經(jīng)局部地發(fā)現(xiàn)的能量(點(diǎn)923)。在圖9中，引導(dǎo)的配置修正過程(箭頭950)幫助執(zhí)行全局優(yōu)化，其結(jié)果是由點(diǎn)951表征的骨架表示的配置，這種配置具有比在點(diǎn)923更低的能量。盡管圖9中僅示出一個(gè)全局最小值搜索，然而要理解，該全局能量最小化可以與包括使用參數(shù)相對(duì)于允許的處理時(shí)間優(yōu)化收斂準(zhǔn)確性的局部優(yōu)化相同的方式迭代。
[0147]一旦找到最佳全局最小值，在點(diǎn)951，可如箭頭980所示地執(zhí)行另一局部最小值優(yōu)化過程，由此使用如點(diǎn)982、983表示的迭代尋找骨架表示的相關(guān)局部配置，直到找到最小局部能量為止。
[0148]在迭代地執(zhí)行局部和全局能量最小化優(yōu)化之后，可找到骨架表示的優(yōu)化配置，如點(diǎn)983所示那樣。這種骨架表示的配置然后被認(rèn)為是與優(yōu)化擬合對(duì)應(yīng)的配置，即最好地表征實(shí)際用戶姿態(tài)的骨架表示的最佳對(duì)照點(diǎn)排列。
[0149]下一步驟包括將強(qiáng)健的穩(wěn)定過濾施加至骨架表示的對(duì)照點(diǎn)位置，即步驟240。優(yōu)選地，考慮全部這些對(duì)照點(diǎn)，但要理解如果尚無運(yùn)動(dòng)存在則可能無需考慮這些點(diǎn)中的一些。W0-A-2011/080281中描述了執(zhí)行逐幀的穩(wěn)定化的方法，在該方法中，由相機(jī)或其它傳感器捕捉的物理變量的一系列測(cè)量值被處理以提供穩(wěn)定的圖像。該處理包括將第一和第二測(cè)量值之間的差與預(yù)定閾值比較，并如果該差低于該預(yù)定閾值，則用校正的第二測(cè)量值來取代第二測(cè)量值，在該校正的第二測(cè)量值中使用第一過濾值來減少該差。與第二和第三測(cè)量值類似，如果該差也低于預(yù)定閾值，則用經(jīng)校正的第三測(cè)量值來取代第三測(cè)量值，該經(jīng)校正的第三測(cè)量值使用比第一過濾值更低的第二過濾值而被減小。對(duì)于所考慮的全部骨架對(duì)照點(diǎn)重復(fù)這個(gè)步驟，由此使骨架移動(dòng)表示變得平滑。
[0150]在下一步驟，即步驟250，當(dāng)沒有信息可供至少一些特定對(duì)照點(diǎn)使用時(shí)，即當(dāng)三維點(diǎn)云上存在遮蔽骨架表示的相應(yīng)對(duì)照點(diǎn)的遮蔽時(shí)，執(zhí)行補(bǔ)全過程以提供對(duì)骨架表示的這些對(duì)照點(diǎn)的位置的估計(jì)。一個(gè)具體的例子是當(dāng)用戶的手相對(duì)于景深感測(cè)系統(tǒng)(即相機(jī)的成像傳感器)的光軸與肩部對(duì)準(zhǔn)時(shí)，使得至少手肘被遮蔽并使得與用戶對(duì)應(yīng)的3D點(diǎn)云不具有與手肘對(duì)應(yīng)的點(diǎn)。在該具體例子中，補(bǔ)全可包括基于先前步驟230、240估計(jì)手肘位置，其中跟蹤和穩(wěn)定化結(jié)果通過例如正被考慮的骨架表示的對(duì)照點(diǎn)的最近已知位置被豐富。在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，丟失信息的補(bǔ)全使用下面至少一個(gè):基于卡爾曼的位置外推、基于逆運(yùn)動(dòng)學(xué)的位置精細(xì)化、關(guān)節(jié)限制和重力模擬。
[0151]具體得說，當(dāng)使用基于卡爾曼的位置外推時(shí)，對(duì)其沒有信息可供優(yōu)化能量最小化過程使用的骨架表示的對(duì)照點(diǎn)具有根據(jù)其先前位置、速度和加速度設(shè)定的位置。當(dāng)單獨(dú)或結(jié)合基于卡爾曼的補(bǔ)全使用基于運(yùn)動(dòng)學(xué)的位置精細(xì)化時(shí)，骨架表示的對(duì)照點(diǎn)位置被重置，例如相對(duì)于它們至其相鄰對(duì)照點(diǎn)的距離。當(dāng)單獨(dú)或結(jié)合其它補(bǔ)全過程之一地使用關(guān)節(jié)限制位置精細(xì)化時(shí)，骨架表示的對(duì)照點(diǎn)位置例如針對(duì)它們中的每一個(gè)和它們每個(gè)相鄰物之間允許的角極限被精細(xì)化，這種精細(xì)化是根據(jù)所考慮的用戶(或?qū)ο?的生理屬性進(jìn)行的。當(dāng)單獨(dú)或結(jié)合其它之前的補(bǔ)全過程之一地使用基于重力模擬的位置精細(xì)化時(shí)，骨架表示中所考慮的對(duì)照點(diǎn)位置例如針對(duì)重力被精細(xì)化，即根據(jù)流逝的時(shí)間和被分配給所考慮的對(duì)照點(diǎn)的預(yù)定權(quán)重的估計(jì)將每個(gè)位置調(diào)整至比之前估計(jì)的位置更低。具體地說，每個(gè)對(duì)照點(diǎn)的權(quán)重預(yù)定可關(guān)系于用戶的尺寸和維度執(zhí)行，該尺寸和維度已隨時(shí)間地被精細(xì)化。
[0152]最終步驟，即步驟260，旨在提供包括下面其中之一的輸出:如前面結(jié)合圖1描述的與在相機(jī)視野內(nèi)的用戶骨架表示對(duì)應(yīng)的一組對(duì)照點(diǎn)；以及提供用戶的骨架表示的一組3D原始要素，例如區(qū)段、三角形、小塊。這組對(duì)照點(diǎn)或3D原始要素可包括3D坐標(biāo)數(shù)據(jù)、3D取向數(shù)據(jù)、運(yùn)動(dòng)關(guān)聯(lián)的數(shù)據(jù)(在不同高度上)、關(guān)節(jié)(如前面結(jié)合圖1描述的對(duì)照點(diǎn))或3D原始要素的標(biāo)識(shí)以及關(guān)節(jié)(如前面描述的對(duì)照點(diǎn))或3D原始要素的狀態(tài)。
[0153]盡管參照?qǐng)D2描述的方法涉及人類用戶以及該用戶的骨架表示的形成，然而要理解該方法也可用來確定表征成像傳感器或相機(jī)的視野內(nèi)的任何其它對(duì)象的骨架表示并用來擬合和跟蹤該對(duì)象的骨架表示。
[0154]另外，如果相機(jī)或其它成像設(shè)備相對(duì)于被捕捉的場(chǎng)景移動(dòng)，則可跟蹤固定對(duì)象。具體地說，可根據(jù)一坐標(biāo)系而提供任何3D信息，該坐標(biāo)系的基準(zhǔn)點(diǎn)或原點(diǎn)可以是:相機(jī)位置以及場(chǎng)景中的另一個(gè)點(diǎn)；靜止的基準(zhǔn)點(diǎn)，例如地板上的一個(gè)點(diǎn)；或移動(dòng)的基準(zhǔn)點(diǎn)，例如跟蹤的對(duì)象上的一個(gè)點(diǎn)。
[0155]本發(fā)明的方法具有下列優(yōu)勢(shì):
[0156](I)固定步長柵格被用于正投影。該柵格有效地使處理時(shí)間與圖像分辨率解耦，即處理時(shí)間基本與圖像分辨率無關(guān)。
[0157](2)當(dāng)對(duì)該方法進(jìn)行優(yōu)化時(shí)，可在質(zhì)量和性能之間作出衡量。這例如是通過選擇ORUS柵格的尺寸和在每個(gè)時(shí)間間隔運(yùn)行的專門過程的數(shù)目來完成的。
[0158](3)區(qū)段中每塊骨頭的中心軸的近似值是使用一組曲率中心點(diǎn)確定的，這組曲率中心點(diǎn)是通過空間中來自點(diǎn)云的各個(gè)局部法線矢量相交的位置的估計(jì)來定義的。
[0159](4)骨架表示的擬合和跟蹤能量度量被定義并包括要被滿足的條件。
[0160](5)使用原點(diǎn)跟蹤策略，該策略包括與專門過程相關(guān)的局部和全局能量最小化，用于確定與骨架表示的姿態(tài)能量的局部最小值對(duì)應(yīng)的姿態(tài)估計(jì)，并因此允許最小全局姿態(tài)能量的確定。
[0161](6)在骨架表示的每個(gè)確定的對(duì)照點(diǎn)位置的頂上施加穩(wěn)定化，從而使其相對(duì)于時(shí)間的移動(dòng)動(dòng)作變得平滑。
[0162](7)在結(jié)束時(shí)使用補(bǔ)全以求解不明確知道的姿態(tài)。
[0163]圖7A示出一正交用戶柵格(ORUS)。盡管用戶看上去具有奇怪的外形，但這是由于用來捕捉與用戶對(duì)應(yīng)的3D點(diǎn)云的相機(jī)或成像設(shè)備的分辨率所致。
[0164]圖7B示出曲率中心點(diǎn)及其關(guān)聯(lián)的密切球面的位置。如圖所示,密切球面實(shí)際給出了看上去像骨架的東西，同時(shí)不是如同骨架的這種高級(jí)信息的代替。
[0165]圖7C示出圖7A的正交用戶柵格和圖7B的曲率中心點(diǎn)及其相關(guān)的密切球面的組合。如圖所示，密切球面輪廓以與骨架模型相同的方式擬合在ORUS柵格內(nèi)。
[0166]圖7D示出圖7A的正交用戶柵格，其中由于作為擬合過程的結(jié)果密切球面輪廓由骨架取代。如圖所示，對(duì)照點(diǎn)是可見的，但與如圖1所示的軀干對(duì)應(yīng)的小塊140未被示出。
[0167]圖7E示出與用戶對(duì)應(yīng)的3D點(diǎn)云，其中確定密切球面中心位置的曲率中心點(diǎn)被輪廓化以表征用戶的骨頭連同骨架模型的管狀結(jié)構(gòu)近似。這里，用戶姿態(tài)類似于圖7B所示的姿態(tài)。要注意，由于骨架根據(jù)本發(fā)明如前所述地在密切球面上擬合，因此密切球面輪廓和骨架模型非常相似。
【權(quán)利要求】
1.一種在由三維點(diǎn)云表示的三維場(chǎng)景中擬合和跟蹤一對(duì)象的骨架表示(100)的方法，所述骨架表示(100)包括多個(gè)對(duì)照點(diǎn)(110、112、114、116、118、120、122、124、126、128、130、132,134)的排列，所述方法包括下列步驟: A)使用場(chǎng)景的三維點(diǎn)云以確定與場(chǎng)景中要被擬合和跟蹤的對(duì)象關(guān)聯(lián)的輸入信息； B)將要被擬合和跟蹤的對(duì)象的確定的三維點(diǎn)云轉(zhuǎn)換成正交表示(220)； C)確定曲率中心點(diǎn)(620)以估計(jì)要被擬合和跟蹤的對(duì)象的至少一部分的中心軸位置； D)確定多個(gè)對(duì)照點(diǎn)(110、112、114、116、118、120、122、124、126、128、130、132、134)的位置，這些對(duì)照點(diǎn)表征在三維場(chǎng)景中要被擬合和跟蹤的對(duì)象；以及 E)擬合和跟蹤在三維場(chǎng)景中的多個(gè)對(duì)照點(diǎn)(110、112、114、116、118、120、122、124、126、128、130、132、134)以相對(duì)于時(shí)間使所述對(duì)象的骨架表示(100)的位置精細(xì)化。
2.如權(quán)利要求1所述的方法，其特征在于，所述輸入信息包括針對(duì)三維輸入點(diǎn)云中的每個(gè)點(diǎn)所確定的法線。
3.如權(quán)利要求1或2所述的方法，其特征在于，步驟A)包括確定與至少一個(gè)感興趣的對(duì)象相對(duì)應(yīng)的三維點(diǎn)云。
4.如權(quán)利要求3所述的方法，其特征在于，步驟A)包括確定要被擬合和跟蹤的對(duì)象的主要方向。
5.如權(quán)利要求 3或4所述的方法，其特征在于，步驟A)包括:當(dāng)之前沒有任何對(duì)象已被擬合和跟蹤時(shí)，確定對(duì)照點(diǎn)的位置在空間內(nèi)的最初排列，這些對(duì)照點(diǎn)定義了要被擬合和跟蹤的對(duì)象的骨架姿態(tài)的表示。
6.如前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，步驟B)包括將要被擬合和跟蹤的對(duì)象的三維點(diǎn)云投影到柵格(520)中，所述柵格包括多個(gè)柵格面元(530、532、534、536、538、540、542、544、546、548、550)，每個(gè)柵格面元具有預(yù)定的尺寸，所述投影在空間中以預(yù)定的靜態(tài)尺寸來采樣所述對(duì)象的三維點(diǎn)云。
7.如權(quán)利要求6所述的方法，其特征在于，步驟B)包括對(duì)與其關(guān)聯(lián)的柵格面元(530、532、534、536、538、540、542、544、546、548、550)中的三維點(diǎn)云中的每個(gè)點(diǎn)相關(guān)的信息進(jìn)行累積和加權(quán)。
8.如權(quán)利要求7所述的方法，其特征在于，還包括步驟:在柵格面元(542)為空的情況下，用來自相鄰的布居的柵格面元(540、544)的內(nèi)插信息來填充所述柵格面元(542)。
9.如權(quán)利要求6-8中任何一項(xiàng)所述的方法，其特征在于，步驟C)包括從由柵格面元(530、532、534、536、538、540、542、544、546、548、550)提供的法向數(shù)據(jù)中確定曲率中心點(diǎn)(620)。
10.如權(quán)利要求9所述的方法，其特征在于，步驟C)還包括將每個(gè)曲率中心點(diǎn)(620)關(guān)聯(lián)于密切球面(610)以對(duì)要被擬合和跟蹤的對(duì)象的每個(gè)部分的中心軸的體積求近似。
11.如權(quán)利要求10所述的方法，其特征在于，步驟C)還包括將每個(gè)曲率中心點(diǎn)(620)及其相關(guān)的密切球面(610)與一標(biāo)簽關(guān)聯(lián)，所述標(biāo)簽指示與它們關(guān)聯(lián)的要被擬合和跟蹤的對(duì)象的每個(gè)部分的表面的凸度。
12.如前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，步驟D)包括下列步驟: Dl)擬合在對(duì)照點(diǎn)(110、112、114、116、118、120、122、124、126、128、130、132、134)的每一對(duì)之間的至少一個(gè)區(qū)段(152、154、156、158、160、162、164、166)。
13.如前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，步驟D)包括下列步驟: D2)標(biāo)識(shí)所述對(duì)象的三維點(diǎn)云中的平面(140)。
14.如權(quán)利要求13所述的方法，其特征在于，步驟D2)還包括以下步驟: D3)使用凸度標(biāo)簽來標(biāo)識(shí)要被擬合和跟蹤的對(duì)象的三維點(diǎn)云中的平面(140)。
15.如權(quán)利要求13或14所述的方法，其特征在于，步驟D)還包括以下步驟: D4)標(biāo)識(shí)所述對(duì)象的主要方向； D5)標(biāo)識(shí)所述對(duì)象的至少一部分的位置；以及 D6)使所述對(duì)象的每個(gè)部分的位置以及相對(duì)于彼此的主要方向精細(xì)化。
16.如前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，步驟(E)包括利用所標(biāo)識(shí)的對(duì)照點(diǎn)(110、112、114、116、118、120、122、124、126、128、130、132、134)的性質(zhì)來擬合要被跟蹤的對(duì)象的骨架表示的位置。
17.如權(quán)利要求16所述的方法，其特征在于，所利用的性質(zhì)包括下列至少一個(gè):相對(duì)于時(shí)間的位置、速度、加速度和概率因數(shù)。
18.如前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，步驟E)包括利用局部和全局能量最小化策略的組合來擬合所述對(duì)象的骨架表示相對(duì)于時(shí)間的姿態(tài)。
19.如權(quán)利要求18所述的方法，其特征在于，所述能量最小化策略包括下列至少一個(gè):至物體的距離、至前一骨架的距離以及至輪廓的距離。
20.如權(quán)利要求19所述的方法，其特征在于，能量最小化策略使用至物體的距離、至前一骨架的距離以及至輪廓的距離中的全部。
21.如權(quán)利要求18-20中任何一項(xiàng)所述的方法，其特征在于，步驟E)進(jìn)一步包括根據(jù)相對(duì)于時(shí)間而確定的概率因數(shù)來評(píng)估對(duì)照點(diǎn)(110、112、114、116、118、120、122、124、126、128、130、132、134)的多個(gè)可能的位置以優(yōu)化擬合和跟蹤的結(jié)果。
22.如權(quán)利要求21所述的方法，其特征在于，步驟E)包括根據(jù)至少一個(gè)預(yù)定的標(biāo)準(zhǔn)迭代地執(zhí)行局部能量最小化和全局能量最小化這兩者。
23.如權(quán)利要求18-22中任何一項(xiàng)所述的方法，其特征在于，所述能量最小化策略是使用梯度下降式算法執(zhí)行的。
【文檔編號(hào)】G06T7/20GK103733227SQ201380001412
【公開日】2014年4月16日 申請(qǐng)日期:2013年5月16日 優(yōu)先權(quán)日:2012年6月14日
【發(fā)明者】L·蓋格思, A·瑞努依特, J·羅伊 申請(qǐng)人:索弗特凱耐提克軟件公司