專利名稱：一種無標(biāo)記運(yùn)動捕捉及場景重建方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)視覺領(lǐng)域，特別涉及一種基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法及裝置。
背景技術(shù)：
人體運(yùn)動捕捉是計算機(jī)視覺中的重要以及難點問題。近幾年來，運(yùn)動捕捉已經(jīng)成為商業(yè)電影虛擬人物制作的重要手段，但這種方法對采集環(huán)境要求十分苛刻。首先，表演者必須穿著帶有特殊標(biāo)志物的表演服，算法需要通過對這些標(biāo)志物的跟蹤才能重建出人體運(yùn)動。其次，整個系統(tǒng)需要將相機(jī)固定在背景是綠幕布的攝影棚內(nèi)，這些嚴(yán)格的局限性阻礙了其更廣泛更自由的應(yīng)用。
未解決上述缺陷，學(xué)者們將注意力轉(zhuǎn)移到無標(biāo)記運(yùn)動捕捉技術(shù)的研究上。通過對算法的改進(jìn)，表演者可以穿著日常著裝進(jìn)行表演。但是對綠幕布的需求依舊存在，因為普通彩色相機(jī)很難分割前景背景，需要綠幕布作為先驗信息提供分割依據(jù)。深度相機(jī)是近年來逐漸開始普及的感知三維世界的新方式，對于環(huán)境中的每個點，深度相機(jī)不但可以返回其顏色信息，還可以返回該點距離深度相機(jī)光心平面的垂直距離。這一開創(chuàng)性的技術(shù)發(fā)明為一般場景的無標(biāo)記運(yùn)動捕捉技術(shù)提供了可能性。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的目的在于提供一種利用多臺手持深度相機(jī)拍攝到的點云跟蹤人體運(yùn)動參數(shù)以及相機(jī)位姿參數(shù)，同時實現(xiàn)人體運(yùn)動捕捉以及背景環(huán)境三維重建的方法及對應(yīng)的裝置。根據(jù)本發(fā)明的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法包括以下步驟:A.提供人體模型和地板模型；B.提供多個深度相機(jī)，以非固定的手持方式進(jìn)行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻；C.根據(jù)所述深度圖和所述深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合，并將三維點云點記為P ;D.對同一所述深度相機(jī)的相鄰幀的所述彩色圖進(jìn)行匹配，提取二維空間的場景特征點，并在所述三維點云集合中找到對應(yīng)的三維空間的場景特征點S ；E.根據(jù)所述人體模型中的表面網(wǎng)格點V、所述地板模型中的地板點G和所述三維空間的場景特征點S的信息，定義聯(lián)合優(yōu)化模型；F.根據(jù)所述深度圖和所述彩色圖的信息，將三維點云點P與表面網(wǎng)格點V進(jìn)行匹配，得到P-V匹配結(jié)果；和6.將所述P-V匹配結(jié)果對引入所述聯(lián)合優(yōu)化模型，進(jìn)行求解和變換，得到運(yùn)動捕捉結(jié)果和場景重建結(jié)果。根據(jù)本發(fā)明實施例的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，不但實現(xiàn)了準(zhǔn)確魯棒的運(yùn)動參數(shù)估計，還同時實現(xiàn)了相機(jī)參數(shù)的恢復(fù)以及三維場景的實時重建。將所述的優(yōu)化模型進(jìn)行線性化變形，即可快速求解所有參數(shù)，算法準(zhǔn)確、魯棒，真實感強(qiáng)，運(yùn)行速度快，系統(tǒng)成本低，可以在普通PC機(jī)或工作站等硬件系統(tǒng)上實現(xiàn)，擁有廣闊的應(yīng)用前景。
根據(jù)本發(fā)明的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置包括以下部分人體模型輸入模塊，用于輸入人體模型；地板模型輸入模塊，用于輸入地板模型；多視角的深度相機(jī)，用于非固定的手持方式進(jìn)行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻；點云轉(zhuǎn)換模塊，用于根據(jù)所述深度圖和所述深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合，并將三維點云點記為P ;特征點提取模塊，用于對同一所述深度相機(jī)的相鄰幀的所述彩色圖進(jìn)行匹配，提取二維空間的場景特征點，并在所述三維點云集合中找到對應(yīng)的三維空間的場景特征點S ;匹配模塊，用于根據(jù)所述深度圖和所述彩色圖的信息，將三維點云點P與表面網(wǎng)格點V進(jìn)行匹配，得到P-V匹配結(jié)果；聯(lián)合優(yōu)化模型計算模塊，用于定義聯(lián)合優(yōu)化模型，并將所述P-V匹配結(jié)果對引入所述聯(lián)合優(yōu)化模型，通過線性化為一最小二乘問題進(jìn)行求解，得到骨架參數(shù)X和所述手持相機(jī)的外參矩陣Y ;運(yùn)動捕捉模塊，用于根據(jù)所述骨架參數(shù)X，描述運(yùn)動追蹤結(jié)果，以實現(xiàn)運(yùn)動捕捉；和場景重建模塊，用于根據(jù)所述外參矩陣Y，結(jié)合所述內(nèi)參矩陣，將所述手持相機(jī)獲得的點云點進(jìn)行坐標(biāo)變換，即得到Ty (P)，將變換后的點云增加到原場景點云中，以實現(xiàn)場景重建。根據(jù)本發(fā)明實施例的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，不但實現(xiàn)了準(zhǔn)確魯棒的運(yùn)動參數(shù)估計，還同時實現(xiàn)了相機(jī)參數(shù)的恢復(fù)以及三維場景的實時重 建。將所述的優(yōu)化模型進(jìn)行線性化變形，即可快速求解所有參數(shù)，算法準(zhǔn)確、魯棒，真實感強(qiáng)，運(yùn)行速度快，系統(tǒng)成本低，可以在普通PC機(jī)或工作站等硬件系統(tǒng)上實現(xiàn)，擁有廣闊的應(yīng)用前景。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中，圖I是根據(jù)本發(fā)明一個實施例的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法的流程圖；以及圖2是根據(jù)本發(fā)明一個實施例的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置的結(jié)構(gòu)框圖。
具體實施例方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。相反，本發(fā)明的實施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。下面參考附圖描述根據(jù)本發(fā)明實施例的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法及裝置。圖I是根據(jù)本發(fā)明一個實施例的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法的流程圖。如圖I所示，該方法包括下述步驟
步驟S101，提供人體模型和地板模型。其中，人體模型由骨架模型和表面網(wǎng)格構(gòu)成，骨架有31個關(guān)節(jié)點組成的運(yùn)動學(xué)鏈條組成，每個關(guān)節(jié)的位置、自由度以及轉(zhuǎn)軸方向均為手工指定。表面網(wǎng)格被骨架模型拖動變形，模擬真實人體運(yùn)動情況。在本發(fā)明的一個實施例中，人體模型符合骨架驅(qū)動表面規(guī)律，即滿足骨架驅(qū)動表面規(guī)律的定義公式=TxV=V5其中V為表面網(wǎng)格點，TxV為表面網(wǎng)格點在關(guān)節(jié)轉(zhuǎn)角X下變形Tx得到的目標(biāo)位置，a為關(guān)節(jié)序號，N為關(guān)節(jié)數(shù)目，θ α ξ a為關(guān)節(jié)旋轉(zhuǎn)參數(shù)。此外，為了限制相機(jī)運(yùn)動自由度，在聯(lián)合優(yōu)化中，需要加入地板平面約束。在本發(fā)明的一個實施例中，地板模型為圓形平面模型，地板模型用于提供地板平面約束。步驟S102，提供多個深度相機(jī)，以非固定的手持方式進(jìn)行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻。需要說明的是，非固定的手持方式進(jìn)行拍攝，意味著相機(jī)的外參矩陣為未知。由于 人體骨架參數(shù)以及相機(jī)外參矩陣均為未知，本發(fā)明實際上提出一種聯(lián)合優(yōu)化模型同時求解骨架參數(shù)及相機(jī)外參矩陣，從而實現(xiàn)運(yùn)動捕捉和場景重建。步驟S103，根據(jù)深度圖和深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合，并將三維點云點記為P。在本發(fā)明的一個實施例中，根據(jù)深度圖和深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合的空間變換公式為P= Kj^m,n,d(m,其中P為三維點云集合中的三維點云點，(m, η)為深度圖中的像素點，m、η表示像素點(m，η)的坐標(biāo)，d(m, η)表示像素點(m, η)的深度值。步驟S104，對同一深度相機(jī)的相鄰幀的彩色圖進(jìn)行匹配，提取二維空間的場景特征點，并在三維點云集合中找到對應(yīng)的三維空間的場景特征點S。在本發(fā)明的一個實施例中，對同一深度相機(jī)的相鄰幀的彩色圖進(jìn)行匹配的方法為尺度不變特征轉(zhuǎn)換(SIFT)特征匹配。步驟S105，根據(jù)人體模型中的表面網(wǎng)格點V、地板模型中的地板點G和三維空間的場景特征點S的信息，定義聯(lián)合優(yōu)化模型。在本發(fā)明的一個實施例中，聯(lián)合優(yōu)化模型為
權(quán)利要求
1.一種基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，包括以下步驟 A.提供人體模型和地板模型； B.提供多個深度相機(jī)，以非固定的手持方式進(jìn)行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻； C.根據(jù)所述深度圖和所述深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合，并將三維點云點記為P ； D.對同一所述深度相機(jī)的相鄰幀的所述彩色圖進(jìn)行匹配，提取ニ維空間的場景特征點，并在所述三維點云集合中找到對應(yīng)的三維空間的場景特征點S ； E.根據(jù)所述人體模型中的表面網(wǎng)格點V、所述地板模型中的地板點G和所述三維空間的場景特征點S的信息，定義聯(lián)合優(yōu)化模型；F.根據(jù)所述深度圖和所述彩色圖的信息，將三維點云點P與表面網(wǎng)格點V進(jìn)行匹配，得到P-V匹配結(jié)果；和 G.將所述P-V匹配結(jié)果對引入所述聯(lián)合優(yōu)化模型，進(jìn)行求解和變換，得到運(yùn)動捕捉結(jié)果和場景重建結(jié)果。
2.如權(quán)利要求I所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，其中，所述人體模型符合骨架驅(qū)動表面規(guī)律，即滿足所述骨架驅(qū)動表面規(guī)律的定義公式Τχν=Π； =(^>φ(θ‘)ν;其中V為表面網(wǎng)格點，TxV為表面網(wǎng)格點在關(guān)節(jié)轉(zhuǎn)角X下變形Tx得到的目標(biāo)位置，α為關(guān)節(jié)序號，N為關(guān)節(jié)數(shù)目，θ α ξ α為關(guān)節(jié)旋轉(zhuǎn)參數(shù)。
3.如權(quán)利要求2所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，所述地板模型為圓形平面模型，所述地板模型用于提供地板平面約束。
4.如權(quán)利要求3所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，所述根據(jù)所述深度圖和所述深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合的空間變換公式為P =η,d(m,η))Τ，其中P為所述三維點云集合中的三維點云點，(m, η)為所述深度圖中的像素點，m、η表示所述像素點(m, η)的坐標(biāo)，d(m，n)表示所述像素點(m，n)的深度值。
5.如權(quán)利要求4所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，所述對同一所述深度相機(jī)的相鄰幀的所述彩色圖進(jìn)行匹配的方法為尺度不變特征轉(zhuǎn)換(SIFT)特征匹配。
6.如權(quán)利要求5所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，所述聯(lián)合優(yōu)化模型為 argmm^ll^W) - 7;仍)|| + ^\\Gj - Ty(Pj)W + _ W)|| i j k 其中，X表示骨架參數(shù)，表示姆個關(guān)節(jié)的轉(zhuǎn)動角度，Y = (RcItc}表示所述手持相機(jī)的外參矩陣，R。表示旋轉(zhuǎn)矩陣，t。表示平移向量,V表示所述人體模型的表面網(wǎng)格點,Tx (V)表示在骨架參數(shù)X的牽引下對表面點V進(jìn)行拖動后的位置，P為空間變換得到的所述三維點云點，Ty (P)表示在所述手持相機(jī)在所述外參矩陣Y下進(jìn)行觀測到的三維點云點P在真實世界坐標(biāo)系下的位置，G為真實世界的地板點，S為三維空間的場景特征點，下標(biāo)i表示所述三維點云點P和表面網(wǎng)格點V的序號，j表示所述地板點G的序號，k表示所述場景特征點S的序號。
7.如權(quán)利要求6所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，所述步驟F進(jìn)ー步包括遍歷地計算所述三維點云點P與各個表面網(wǎng)格點V的匹配度量函數(shù)F (V, P),并選取能使所述度量函數(shù)具有最大值的所述V點作為所述P點匹配成功的點，即 Vi = arg maxvevF(v, Pi),其中，所述匹配度量函數(shù) F(v, ρ) = Δ (| | Iv-Ip , Q1)Δ (I I χν-χρ I I, Θ X)max(nvnp,0),其中運(yùn)算符 Δ 表示 Δ(人 B) = max (I -^,0 ), xv,nv, Iv 分別表示所述表面網(wǎng)格點V的位置信息值、法向信息值及顏色信息值，xp, np, Ip分別表示所述身體點云點P的位置信息值、法向信息值及顏色信息值，θ χ表示顔色信息的最大允許差值，θ χ表示位置信息的最大允許差值。
8.如權(quán)利要求7所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特 征在于，所述步驟G進(jìn)ー步包括 將所述P-V匹配結(jié)果對引入所述聯(lián)合優(yōu)化模型，通過線性化為ー最小ニ乘問題進(jìn)行求解，得到骨架參數(shù)X和所述手持相機(jī)的外參矩陣Y ； 根據(jù)所述骨架參數(shù)X，描述運(yùn)動追蹤結(jié)果，以實現(xiàn)運(yùn)動捕捉； 根據(jù)所述外參矩陣Y，結(jié)合所述內(nèi)參矩陣，將所述手持相機(jī)獲得的點云點進(jìn)行坐標(biāo)變換，即得到Ty (P)，將變換后的點云増加到原場景點云中，以實現(xiàn)場景重建。
9.如權(quán)利要求8所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法，其特征在于，所述步驟F還包括對所述人體模型進(jìn)行拉普拉斯表面變形，以使所述追蹤結(jié)果更接近實際情況，其中，所述拉普拉斯表面變形的計算公式為:ai\min{||LV-響+A||CV-q|p},其中I lLV-δ I I2為拉普拉斯坐標(biāo)系表面幾何約束，I |CV-q| 12為運(yùn)動約束，入為表面R份變形權(quán)重。
10.一種基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，包括以下部分 人體模型輸入模塊，用于輸入人體模型； 地板模型輸入模塊，用于輸入地板模型； 多視角的深度相機(jī)，用于非固定的手持方式進(jìn)行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻； 點云轉(zhuǎn)換模塊，用于根據(jù)所述深度圖和所述深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合，并將三維點云點記為P ； 特征點提取模塊，用于對同一所述深度相機(jī)的相鄰幀的所述彩色圖進(jìn)行匹配，提取ニ維空間的場景特征點，并在所述三維點云集合中找到對應(yīng)的三維空間的場景特征點S ； 匹配模塊，用于根據(jù)所述深度圖和所述彩色圖的信息，將三維點云點P與表面網(wǎng)格點V進(jìn)行匹配，得到P-V匹配結(jié)果； 聯(lián)合優(yōu)化模型計算模塊，用于定義聯(lián)合優(yōu)化模型，并將所述P-V匹配結(jié)果對引入所述聯(lián)合優(yōu)化模型，通過線性化為ー最小ニ乘問題進(jìn)行求解，得到骨架參數(shù)X和所述手持相機(jī)的外參矩陣Y ; 運(yùn)動捕捉模塊，用于根據(jù)所述骨架參數(shù)X，描述運(yùn)動追蹤結(jié)果，以實現(xiàn)運(yùn)動捕捉；和場景重建模塊，用于根據(jù)所述外參矩陣Y，結(jié)合所述內(nèi)參矩陣，將所述手持相機(jī)獲得的點云點進(jìn)行坐標(biāo)變換，即得到Ty (P)，將變換后的點云増加到原場景點云中，以實現(xiàn)場景重建。
11.如權(quán)利要求10所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，其中，所述人體模型符合骨架驅(qū)動表面規(guī)律，即滿足所述骨架驅(qū)動表面規(guī)律的定義公式
12.如權(quán)利要求11所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，所述地板模型為圓形平面模型，所述地板模型用于提供地板平面約束。
13.如權(quán)利要求12所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，所述根據(jù)所述深度圖和所述深度相機(jī)的內(nèi)參矩陣，進(jìn)行空間變換得到三維點云集合的空間變換公式為
14.如權(quán)利要求13所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，所述對同一所述深度相機(jī)的相鄰幀的所述彩色圖進(jìn)行匹配的方法為尺度不變特征轉(zhuǎn)換(SIFT)特征匹配。
15.如權(quán)利要求14所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，所述聯(lián)合優(yōu)化模型為
16.如權(quán)利要求15所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，所述匹配模塊的匹配方法為遍歷地計算所述三維點云點P與各個表面網(wǎng)格點V的匹配度量函數(shù)F(V，P)，并選取能使所述度量函數(shù)具有最大值的所述V點作為所述P點匹配成功的點，即Vi = arg maxv e VF(v, Pi),其中所述匹配度量函數(shù) F (V, ρ) = Δ (I I Iv-Ip II，Θ J Δ (I I Xv-Xp II, θ x) max (nvnp, O),其中運(yùn)算符 Δ 表示
17.如權(quán)利要求16所述的基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建裝置，其特征在于，還包括優(yōu)化模塊，所述優(yōu)化模塊用于對所述人體模型進(jìn)行拉普拉斯表面變形，以使所述追蹤結(jié)果更接近實際情況，其中，所述拉普拉斯表面變形的計算公式為=argJninCIILV-δ|12+AIICV-q| j,其中I lLV-δ I I2為拉普拉斯坐標(biāo)系表面幾何約束，I |CV-q| |2為運(yùn)動約束，入為表面網(wǎng)格 變形權(quán)重。
全文摘要
本發(fā)明提出一種基于多手持深度相機(jī)的無標(biāo)記運(yùn)動捕捉及場景重建方法及裝置，其中該方法包括步驟提供人體模型和地板模型；通過多個深度相機(jī)手持地拍攝；將相機(jī)返回的深度圖進(jìn)行空間變換得到三維點云集合；從對同一深度相機(jī)的相鄰幀的彩色圖中提取場景特征點；根據(jù)人體模型中的表面網(wǎng)格點、地板模型中的地板點和三維空間的場景特征點的信息，定義聯(lián)合優(yōu)化模型；將三維點云點與表面網(wǎng)格點進(jìn)行匹配；和將匹配結(jié)果對引入聯(lián)合優(yōu)化模型進(jìn)行求解和變換，得到運(yùn)動捕捉結(jié)果和場景重建結(jié)果。本發(fā)明的方法，無需借助笨重的標(biāo)志物，能夠更加靈活便捷地進(jìn)行運(yùn)動捕捉和場景重建，具有運(yùn)動參數(shù)準(zhǔn)確魯棒、場景復(fù)原程度高、算法運(yùn)行速度快、系統(tǒng)成本低的優(yōu)點。
文檔編號G06T17/00GK102842148SQ20121023781
公開日2012年12月26日 申請日期2012年7月10日 優(yōu)先權(quán)日2012年7月10日
發(fā)明者戴瓊海, 葉亙之, 劉燁斌 申請人:清華大學(xué)