專利名稱：基于骨架和面片插值的運(yùn)動捕捉方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體技術(shù)領(lǐng)域，特別涉及一種基于骨架和面片插值的運(yùn)動捕捉方法及裝置。
背景技術(shù)：
傳統(tǒng)的運(yùn)動捕捉技術(shù)主要包括戴標(biāo)志的運(yùn)動捕捉和不戴標(biāo)志的運(yùn)動捕捉。戴標(biāo)志的運(yùn)動捕捉會受到極大的局限性，近年來發(fā)展快速的不戴標(biāo)志的運(yùn)動捕捉方興未艾。在計算機(jī)動畫和三維建模領(lǐng)域面片的變形技術(shù)運(yùn)用的越來越廣泛。過去幾十年提出的許多面片變形技術(shù)能幫助藝術(shù)家完成人物動畫的效果。其中這些技術(shù)之一是3D人體運(yùn)動捕捉，這個技術(shù)能在游戲、電影、自由視點視頻、醫(yī)學(xué)診斷中的運(yùn)動分析和體育科學(xué)中應(yīng)用。理想情況下，人們期望捕捉人體動作具有高清晰度和沉浸式感受，具有模型表面的非剛體變形。然而，當(dāng)前的運(yùn)動捕捉系統(tǒng)不能夠滿足連續(xù)運(yùn)動捕捉的要求，對于高速運(yùn)動的物體，大部分已存在的系統(tǒng)不能夠捕捉完整的動作。在無標(biāo)志的運(yùn)動捕捉領(lǐng)域中，計算機(jī)動畫領(lǐng)域中最重要的連續(xù)人體捕捉技術(shù)之一是基于骨架的運(yùn)動捕捉，其中骨架經(jīng)常用來跟蹤運(yùn)動軌跡，控制形狀的變形。然而，在這個領(lǐng)域中大部分以前的算法只關(guān)注于骨架提取，其中運(yùn)動捕捉過程需要大量人工操作。一方面來講，許多當(dāng)前算法跟蹤骨架模型是非自動的，需要強(qiáng)加在物體上的約束，例如紋理和二維輪廓，在數(shù)據(jù)的處理過程中，需要用戶交互，如像緊身衣和標(biāo)志。在自由視點視頻領(lǐng)域當(dāng)?shù)退傧鄼C(jī)捕捉高速的動作時一些關(guān)鍵幀不可避免的丟失，這些算法經(jīng)常是失敗的。另一方面來說，一些基于面片變形的算法不提供內(nèi)部骨架，導(dǎo)致較高的時間復(fù)雜度和空間復(fù)雜度， 并且要求嚴(yán)格的點對點的對應(yīng)關(guān)系。運(yùn)動捕捉技術(shù)在運(yùn)動測量分析、人機(jī)交互、娛樂等許多領(lǐng)域有著廣泛的應(yīng)用，它是通過記錄現(xiàn)實中人體的運(yùn)動數(shù)據(jù)來驅(qū)動計算機(jī)虛擬人或機(jī)械的運(yùn)動。傳統(tǒng)的運(yùn)動捕捉方法使用標(biāo)志或者傳感器來記錄骨架的運(yùn)動，效果比較好，但是需要穿戴緊身衣或者人工矯正記錄的數(shù)據(jù)。對于大部分系統(tǒng)，相機(jī)的捕捉速度一般為30fps，在捕捉高速運(yùn)動或者跨度較大的運(yùn)動時，不可避免的會丟失一些關(guān)鍵幀，以致無法進(jìn)行運(yùn)動分析。為了解決中間幀丟失的問題，提出了連續(xù)動作插值技術(shù)，其關(guān)鍵在于如何在兩個靜態(tài)的三維模型之間產(chǎn)生過渡動作，而且在沒有視覺信息的情況下，使得運(yùn)動的過渡是自然和準(zhǔn)確的。為此很多學(xué)者采用了基于同構(gòu)面片的插值技術(shù)。而面臨的問題是對非同構(gòu)的面片模型如何過渡中間的動作。已有的連續(xù)運(yùn)動捕捉方法缺點為1、基于每幀單獨進(jìn)行靜態(tài)三維重建的連續(xù)運(yùn)動捕捉方法，其缺點在于三維重建的復(fù)雜度高，每幀單獨進(jìn)行重建的復(fù)雜度相當(dāng)大；2、基于運(yùn)動跟蹤的連續(xù)運(yùn)動捕捉方法，優(yōu)點是通過時間信息進(jìn)行三維表面與三維運(yùn)動生成，速度快，但缺點是表面重建精度低
發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的一個目的在于提出一種基于骨架和面片插值的運(yùn)動捕捉方法。該方法對于高速運(yùn)動和大跨度運(yùn)動的物體，能夠快速捕捉，且精度高，并防止幀丟失的問題， 從而提高捕捉動作的精確度和高速性。為了實現(xiàn)上述目的，本發(fā)明第一方面實施例的基于骨架和面片插值的運(yùn)動捕捉方法包括以下步驟:A 根據(jù)多視角視頻分別重建第一時刻的第一三維面片模型和第二時刻的第二三維面片模型，并提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架；B 在預(yù)設(shè)的測地線優(yōu)化目標(biāo)函數(shù)的約束下，對所述第一骨架和所述第二骨架進(jìn)行插值以得到所述第一骨架和所述第二骨架之間的中間骨架；C 求取第一三維面片模型與第二三維面片模型之間的變形距離場，并在所述變形距離場上插值點云以形成所述第一三維面片模型向所述第二三維面片模型過度的三維模型序列；和D 對所述三維模型序列的點云進(jìn)行濾波和重建以得到最終封閉的面片三維模型序列。根據(jù)本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉方法，首先將兩個非同構(gòu)的三維面片模型的骨架聯(lián)合并自動提取，接著在測地線路徑約束下插值出中間動作骨架序列，然后采用LBS變形其中一個三維面片模型的面片，從而求取與另外一個三維面片模型之間的變形距離場并調(diào)整距離場上的中間過渡三維模型的表面，最后對中間過渡的三維模型序列進(jìn)行濾波和重建，從而能夠得到連續(xù)且清晰的高速運(yùn)動物體的連續(xù)畫面。該方法能夠防止幀丟失的問題，進(jìn)而提高捕捉動作的精確度和高速性。另外，該方法的復(fù)雜度較低， 易于實現(xiàn)。另外，根據(jù)本發(fā)明的基于骨架和面片插值的運(yùn)動捕捉方法還可以具有如下附加的技術(shù)特征在本發(fā)明的一個實施例中，所述步驟A中提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架，進(jìn)一步包括A1 獲取所述第一三維面片模型的第一骨架模型并計算所述第一骨架模型中每個骨骼的長度；A2 獲取所述第二三維面片模型的中軸面；A3 將第二骨架模型嵌入所述第二三維面片模型中并使所述第二骨架模型中每個骨骼的長度與所述第一骨架模型中對應(yīng)的每個骨骼長度相等；A4 在所述第二骨架模型的每個骨架上分別提取6個采樣點，并在所述中軸面上分別建立每個采樣點的空間鄰域；和A5 移動所述第二骨架模型中每個骨骼的骨節(jié)點以使所述每個骨骼的的采樣點位于所述相應(yīng)的空間鄰域的中心。在本發(fā)明的一個實施例中，所述步驟B中，根據(jù)黎曼度量準(zhǔn)則對所述第一骨架和所述第二骨架進(jìn)行插值。根據(jù)本發(fā)明的一個實施例，所述步驟B，進(jìn)一步包括B1 確定所述第一骨架模型和第二骨架模型之間的對應(yīng)的骨骼；B2 計算所述對應(yīng)的骨骼之間的對應(yīng)節(jié)點間的空間法線方向η ；Β3 根據(jù)所述法線方向確定所述對應(yīng)的骨骼之間的旋轉(zhuǎn)角度R( θ )；和Β4 改變所述R( θ )的大小以使所述對應(yīng)的骨骼之間的對應(yīng)骨節(jié)點的位移和最小。根據(jù)本發(fā)明的一個實施例，所述法線方向η=( ， ，!^，所述旋轉(zhuǎn)角度??？⑶)= T^Mk. Τ，其中，T為預(yù)設(shè)的平移矩陣，Μκ(θ)=[禮，&，民]1，其中，R1 = [nl(l -cosO) + cosO,nxny(l -cosO)-nz sm0,nxnz(l-cos0) + ny sin0],R2 = \nynx(1 - cos Θ) + nz sin0,n2y (1 - cos Θ) +cosΘ, nynz (1 - cos Θ) -nx sin0],
R3 = VnxnZ (1 - cos θ) - ny sin θ, nynz (1 - cos θ) +nx sin Θ, n] (1 - cos Θ) + cos 0]。在本發(fā)明的一個實施例中，所述步驟C，進(jìn)一步包括Cl 根據(jù)Linear Blend Skinning方法變形所述第一三維面片模型的每個面片至所述第二三維面片模型的第二骨架上；C2 求取所述第一三維面片模型中每個面片頂點的法線方向；C3 根據(jù)所述每個面片頂點的法線方向計算相應(yīng)面片的法線平均方向；C4 沿著所述法線平均方向求取相應(yīng)的面片與所述第二三維面片模型的距離；C5 判斷所述變形的第一三維面片模型的每個面片與對應(yīng)的所述第二三維面片模型的每個面片的法線方向的乘積是否大于預(yù)定閾值；C6 如果判斷所述乘積大于預(yù)定閾值，則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片匹配，否則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片不匹配；C7 根據(jù)所述采樣點的自由度將所述第二骨架劃分類型并根據(jù)所述第二骨架的類型對所述第二三維面片模型的面片進(jìn)行類型劃分；C8 在每一劃分類型內(nèi)判斷所述不匹配的頂點是否位于所述第二三維面片模型的第二骨架范圍之內(nèi)；和C9 如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之內(nèi)，則沿著垂直于所述第二三維面片模型的骨骼方向求取所述不匹配的LBS變形后的第一三維面片模型的當(dāng)前面片頂點與所述第二三維面片模型的距離，如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之外，則沿著距離所述第二骨架最近的節(jié)點與所述不匹配的第一三維面片模型LBS變形后的當(dāng)前面片頂點連線方向求取與所述第二三維面片模型的距離。根據(jù)本發(fā)明的一個實施例，所述步驟C7中對所述第二三維面片模型的面片劃分為3類。需理解，上述實施例也可以省去步驟C7，劃分的目的是為了節(jié)省計算時間，劃分后，可以直接在每一類上進(jìn)行相應(yīng)的操作，省去在全部面片上進(jìn)行操作的目的。在本發(fā)明的一個實施例中，所述步驟D，進(jìn)一步包括Dl 根據(jù)函數(shù) ν； ^ ν； + 0.25(<—1 - 2v； + V;+1 )Φ對所述三維模型序列的點云進(jìn)行濾波，其中，核函數(shù)
0 = exp{(-||v;+1-v;||2 -fv^ -ν;||2)(Τ-2}；和D2 對所述三維模型序列的點云進(jìn)行泊松重建以
得到最終封閉的面片三維模型序列。根據(jù)本發(fā)明的一個實施例，所述σ =0.07。在本發(fā)明的一個實施例中，所述第一三維面片模型的每個面片與第二三維面片模型的每個面片屬于非同構(gòu)面片。本發(fā)明第二方面實施例提出的基于骨架和面片插值的運(yùn)動捕捉裝置包括骨架提取模塊，所述骨架提取模塊用于根據(jù)多視角視頻分別重建第一時刻的第一三維面片模型和第二時刻的第二三維面片模型，并提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架；插值模塊，所述插值模塊用于在預(yù)設(shè)的測地線優(yōu)化目標(biāo)函數(shù)的約束下，對所述第一骨架和所述第二骨架進(jìn)行插值以得到所述第一骨架和所述第二骨架之間的中間骨架；重建模塊，所述重建模塊用于求取第一三維面片模型與第二三維面片模型之間的變形距離場，并在所述變形距離場上插值點云以形成所述第一三維面片模型向所述第二三維面片模型過度的三維模型序列；和優(yōu)化模塊，所述優(yōu)化模塊用于對所述三維模型序列的點云進(jìn)行濾波和重建以得到最終封閉的面片三維模型序列。根據(jù)本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉裝置，首先骨架提取模塊將兩個非同構(gòu)的三維面片模型的骨架聯(lián)合并自動提取，接著插值模塊在測地線路徑約束下插值出中間動作骨架序列，然后重建模塊采用LBS變形其中一個三維面片模型的面片，從而求取與另外一個三維面片模型之間的變形距離場并調(diào)整距離場上的中間過渡三維模型的表面，最后通過優(yōu)化模塊對中間過渡的三維模型序列進(jìn)行濾波和重建，從而能夠得到連續(xù)且清晰的高速運(yùn)動物體的連續(xù)畫面。該裝置解決了幀丟失的問題，進(jìn)而提高捕捉動作的精確度和高速性。另外，該裝置結(jié)構(gòu)簡單，操作簡單。另外，根據(jù)本發(fā)明的基于骨架和面片插值的運(yùn)動捕捉裝置還可以具有如下附加的技術(shù)特征在本發(fā)明的一個實施例中，所述骨架提取模塊用于首先獲取所述第一三維面片模型的第一骨架模型并計算所述第一骨架模型中每個骨骼的長度；接著獲取所述第二三維面片模型的中軸面；并將第二骨架模型嵌入所述第二三維面片模型中并使所述第二骨架模型中每個骨骼的長度與所述第一骨架模型中對應(yīng)的每個骨骼長度相等；然后在所述第二骨架模型的每個骨架上分別提取6個采樣點，并在所述中軸面上分別建立每個采樣點的空間鄰域；最后移動所述第二骨架模型中每個骨骼的骨節(jié)點以使所述每個骨骼的的采樣點位于所述相應(yīng)的空間鄰域的中心。在本發(fā)明的一個實施例中，所述插值模塊用于首先確定所述第一骨架模型和第二骨架模型之間的對應(yīng)的骨骼；接著計算所述對應(yīng)的骨骼之間的對應(yīng)節(jié)點間的空間法線方向 η ；并根據(jù)所述法線方向確定所述對應(yīng)的骨骼之間的旋轉(zhuǎn)角度R( θ )；以及改變所述R( θ ) 的大小以使所述對應(yīng)的骨骼之間的對應(yīng)骨節(jié)點的位移和最小。在本發(fā)明的一個實施例中，所述重建模塊用于根據(jù)LBS方法變形所述第一三維面片模型的每個面片至所述第二三維面片模型的第二骨架上；并求取所述第一三維面片模型中每個面片頂點的法線方向；根據(jù)所述每個面片頂點的法線方向計算相應(yīng)面片的法線平均方向；沿著所述法線平均方向求取相應(yīng)的面片與所述第二三維面片模型的距離；判斷所述變形的第一三維面片模型的每個面片與對應(yīng)的所述第二三維面片模型的每個面片的法線方向的乘積是否大于預(yù)定閾值；如果判斷所述乘積大于預(yù)定閾值，則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片匹配，否則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片不匹配；根據(jù)所述采樣點的自由度將所述第二骨架劃分類型并根據(jù)所述第二骨架的類型對所述第二三維面片模型的面片進(jìn)行類型劃分；接著在每一劃分類型內(nèi)判斷所述不匹配的頂點是否位于所述第二三維面片模型的第二骨架范圍之內(nèi)；和如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之內(nèi)，則沿著垂直于所述第二三維面片模型的骨骼方向求取所述不匹配的LBS變形后的第一三維面片模型的當(dāng)前面片頂點與所述第二三維面片模型的距離，如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之外，則沿著距離所述第二骨架最近的節(jié)點與所述不匹配的第一三維面片模型LBS變形后的當(dāng)前面片頂點連線方向求取與所述第二三維面片模型的距離。在本發(fā)明的一個實施例中，所述優(yōu)化模塊用于根據(jù)函數(shù) ν;^ν； + 0.25 。- 2v； + V;+1 )Φ對所述三維模型序列的點云進(jìn)行濾波，其中，核函數(shù)
0 = exp{(-||v;+1-v;||2 -fv^ -ν;||2)(Τ-2}；以及對所述三維模型序列的點云進(jìn)行泊松重建以得
到最終封閉的面片三維模型序列。
本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖1為本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉方法的流程圖；圖2為本發(fā)明一個實施例的多視角采集的環(huán)形攝像陣列排布的示意圖；圖3為本發(fā)明實施例的骨架模型示意圖；圖4為本發(fā)明一個實施例的三維模型的中軸面示意圖；圖5為本發(fā)明實施例的計算距離場的示意圖；圖6為本發(fā)明實施例的采用LBS方法的變形結(jié)果示意圖；圖7為應(yīng)用本發(fā)明實施例的方法的一個面片插值序列圖；以及圖8為本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉裝置的結(jié)構(gòu)圖。
具體實施例方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、 “后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。以下結(jié)合圖1-7首先描述根據(jù)本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉方法。如圖1所示，為本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉方法，根據(jù)本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉方法，包括以下步驟步驟S101，根據(jù)多視角視頻分別重建第一時刻的第一三維面片模型和第二時刻的第二三維面片模型，并提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架。具體地，在本發(fā)明的一個實施例中，提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架，進(jìn)一步包括
SlOll 獲取所述第一三維面片模型的第一骨架模型并計算所述第一骨架模型中每個骨骼的長度。如圖2和圖3所示，在本發(fā)明的一個具體示例中，例如采用如圖2所示的具有環(huán)形陣列排布的20個攝像機(jī)對物體進(jìn)行多視角采集。相應(yīng)地，對第一時刻采集的多視角圖像進(jìn)行重建從而得到第一三維面片模型，接著提取相應(yīng)的第一骨架，如圖3所示的第一骨架SM。 并計算得到第一骨架Sm的每個骨骼的長度，在本發(fā)明的一個實施例中，可將每個骨骼的長度記為CliOS1012 獲取所述第二三維面片模型的中軸面。在本發(fā)明的一個實施例中，例如中軸面可以為位于第二三維面片模型中心的點集合組成的圖像，如圖4所示的中軸面。S1013:將第二骨架模型嵌入所述第二三維面片模型中并使所述第二骨架模型中每個骨骼的長度與所述第一骨架模型中對應(yīng)的每個骨骼長度相等；作為一個具體的例子，例如在第二三維面片模型的骨架嵌入過程中，保證骨骼的長度等于第一骨架中相應(yīng)骨骼的長度Cli,且有s' , e S'，其中，s' 1是位于骨架末端鄰域的點集，Pi是父節(jié)點位置。也就是說，如圖3所示，節(jié)點0為節(jié)點1的父節(jié)點，節(jié)點1為節(jié)點2的父節(jié)點，以此類推。S1014:在所述第二骨架模型的每個骨架上分別提取6個采樣點，并在所述中軸面上分別建立每個采樣點的空間鄰域。在本發(fā)明的一個實施例中，例如分別沿著第二骨架中各個骨骼采樣6個采樣點， 記為Sij e S，然后在中軸面中建立6個空間鄰域，如記為Cj e C。S1015:移動所述第二骨架模型中每個骨骼的骨節(jié)點以使所述每個骨骼的的采樣點位于所述相應(yīng)的空間鄰域的中心。具體地，結(jié)合具體示例，例如通過改動骨節(jié)點的位置，使得改動后的骨骼位置上的采樣點e S到相應(yīng)的6個鄰域中心點…e C的距離最小，即最小化
權(quán)利要求
1.一種基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，包括以下步驟A 根據(jù)多視角視頻分別重建第一時刻的第一三維面片模型和第二時刻的第二三維面片模型，并提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架；B:在預(yù)設(shè)的測地線優(yōu)化目標(biāo)函數(shù)的約束下，對所述第一骨架和所述第二骨架進(jìn)行插值以得到所述第一骨架和所述第二骨架之間的中間骨架；C 求取第一三維面片模型與第二三維面片模型之間的變形距離場，并在所述變形距離場上插值點云以形成所述第一三維面片模型向所述第二三維面片模型過度的三維模型序列；和D 對所述三維模型序列的點云進(jìn)行濾波和重建以得到最終封閉的面片三維模型序列。
2.根據(jù)權(quán)利要求1所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述步驟A中提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架，進(jìn)一步包括Al 獲取所述第一三維面片模型的第一骨架模型并計算所述第一骨架模型中每個骨骼的長度；A2 獲取所述第二三維面片模型的中軸面；A3 將第二骨架模型嵌入所述第二三維面片模型中并使所述第二骨架模型中每個骨骼的長度與所述第一骨架模型中對應(yīng)的每個骨骼長度相等；A4 在所述第二骨架模型的每個骨架上分別提取6個采樣點，并在所述中軸面上分別建立每個采樣點的空間鄰域；和A5:移動所述第二骨架模型中每個骨骼的骨節(jié)點以使所述每個骨骼的的采樣點位于所述相應(yīng)的空間鄰域的中心。
3.根據(jù)權(quán)利要求1所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述步驟B中，根據(jù)黎曼度準(zhǔn)則對所述第一骨架和所述第二骨架進(jìn)行插值。
4.根據(jù)權(quán)利要求3所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述步驟B，進(jìn)一步包括Bl 確定所述第一骨架模型和第二骨架模型之間的對應(yīng)的骨骼；B2 計算所述對應(yīng)的骨骼之間的對應(yīng)節(jié)點間的空間法線方向η ；Β3 根據(jù)所述法線方向確定所述對應(yīng)的骨骼之間的旋轉(zhuǎn)角度R( θ )；和Β4 改變所述R( θ )的大小以使所述對應(yīng)的骨骼之間的對應(yīng)骨節(jié)點的位移和最小。
5.根據(jù)權(quán)利要求4所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述法線方向η=( ， ，!^，所述旋轉(zhuǎn)角度??？⑶)=T1 ·ΜΚ·Τ，其中，T為預(yù)設(shè)的平移矩陣，Μκ(θ) =[禮，1 2，R3]T，其中，
6.根據(jù)權(quán)利要求1所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述步驟C，進(jìn)一步包括Cl 根據(jù)Linear Blend Skinning方法變形所述第一三維面片模型的每個面片至所述第二三維面片模型的第二骨架上；C2 求取所述第一三維面片模型中每個面片頂點的法線方向； C3 根據(jù)所述每個面片頂點的法線方向計算相應(yīng)面片的法線平均方向； C4 沿著所述法線平均方向求取相應(yīng)的面片與所述第二三維面片模型的距離； C5 判斷所述變形的第一三維面片模型的每個面片與對應(yīng)的所述第二三維面片模型的每個面片的法線方向的乘積是否大于預(yù)定閾值；C6 如果判斷所述乘積大于預(yù)定閾值，則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片匹配，否則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片不匹配；C7 根據(jù)所述采樣點的自由度將所述第二骨架劃分類型并根據(jù)所述第二骨架的類型對所述第二三維面片模型的面片進(jìn)行類型劃分；C8 在每一劃分類型內(nèi)判斷所述不匹配的頂點是否位于所述第二三維面片模型的第二骨架范圍之內(nèi)；和C9 如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之內(nèi)，則沿著垂直于所述第二三維面片模型的骨骼方向求取所述不匹配的LBS變形后的第一三維面片模型的當(dāng)前面片頂點與所述第二三維面片模型的距離，如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之外，則沿著距離所述第二骨架最近的節(jié)點與所述不匹配的第一三維面片模型LBS變形后的當(dāng)前面片頂點連線方向求取與所述第二三維面片模型的距離。
7.根據(jù)權(quán)利要求6所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述步驟C7中對所述第二三維面片模型的面片劃分為3類。
8.根據(jù)權(quán)利要求1所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述步驟D，進(jìn)一步包括Dl 根據(jù)函數(shù)ν丨一 < + 0.25 —1 + <+1)Φ對所述三維模型序列的點云進(jìn)行濾波，其中，核函數(shù)0 = 6鄧{(-|<1-<|2-|<1-<|2)(7-2};禾口D2 對所述三維模型序列的點云進(jìn)行泊松重建以得到最終封閉的面片三維模型序列。
9.根據(jù)權(quán)利要求8所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述σ =0. 07。
10.根據(jù)權(quán)利要求1-9任一項所述的基于骨架和面片插值的運(yùn)動捕捉方法，其特征在于，所述第一三維面片模型的每個面片與第二三維面片模型的每個面片屬于非同構(gòu)面片。
11.一種基于骨架和面片插值的運(yùn)動捕捉裝置，其特征在于，包括骨架提取模塊，所述骨架提取模塊用于根據(jù)多視角視頻分別重建第一時刻的第一三維面片模型和第二時刻的第二三維面片模型，并提取所述第一三維面片模型的第一骨架以及提取所述第二三維面片模型的第二骨架；插值模塊，所述插值模塊用于在預(yù)設(shè)的測地線優(yōu)化目標(biāo)函數(shù)的約束下，對所述第一骨架和所述第二骨架進(jìn)行插值以得到所述第一骨架和所述第二骨架之間的中間骨架；重建模塊，所述重建模塊用于求取第一三維面片模型與第二三維面片模型之間的變形距離場，并在所述變形距離場上插值點云以形成所述第一三維面片模型向所述第二三維面片模型過度的三維模型序列；和優(yōu)化模塊，所述優(yōu)化模塊用于對所述三維模型序列的點云進(jìn)行濾波和重建以得到最終封閉的面片三維模型序列。
12.根據(jù)權(quán)利要求11所述的基于骨架和面片插值的運(yùn)動捕捉裝置，其特征在于，所述骨架提取模塊用于首先獲取所述第一三維面片模型的第一骨架模型并計算所述第一骨架模型中每個骨骼的長度；接著獲取所述第二三維面片模型的中軸面；并將第二骨架模型嵌入所述第二三維面片模型中并使所述第二骨架模型中每個骨骼的長度與所述第一骨架模型中對應(yīng)的每個骨骼長度相等；然后在所述第二骨架模型的每個骨架上分別提取6個采樣點，并在所述中軸面上分別建立每個采樣點的空間鄰域；最后移動所述第二骨架模型中每個骨骼的骨節(jié)點以使所述每個骨骼的的采樣點位于所述相應(yīng)的空間鄰域的中心。
13.根據(jù)權(quán)利要求11所述的基于骨架和面片插值的運(yùn)動捕捉裝置，其特征在于，所述插值模塊用于首先確定所述第一骨架模型和第二骨架模型之間的對應(yīng)的骨骼；接著計算所述對應(yīng)的骨骼之間的對應(yīng)節(jié)點間的空間法線方向η ；并根據(jù)所述法線方向確定所述對應(yīng)的骨骼之間的旋轉(zhuǎn)角度R( θ )；以及改變所述R( θ)的大小以使所述對應(yīng)的骨骼之間的對應(yīng)骨節(jié)點的位移和最小。
14.根據(jù)權(quán)利要求11所述的基于骨架和面片插值的運(yùn)動捕捉裝置，其特征在于，所述重建模塊用于根據(jù)LBS方法變形所述第一三維面片模型的每個面片至所述第二三維面片模型的第二骨架上；并求取所述第一三維面片模型中每個面片頂點的法線方向；根據(jù)所述每個面片頂點的法線方向計算相應(yīng)面片的法線平均方向；沿著所述法線平均方向求取相應(yīng)的面片與所述第二三維面片模型的距離；判斷所述變形的第一三維面片模型的每個面片與對應(yīng)的所述第二三維面片模型的每個面片的法線方向的乘積是否大于預(yù)定閾值；如果判斷所述乘積大于預(yù)定閾值，則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片匹配，否則所述第一三維面片模型的當(dāng)前面片與對應(yīng)的所述第二三維面片模型的當(dāng)前面片不匹配；根據(jù)所述采樣點的自由度將所述第二骨架劃分類型并根據(jù)所述第二骨架的類型對所述第二三維面片模型的面片進(jìn)行類型劃分；接著在每一劃分類型內(nèi)判斷所述不匹配的頂點是否位于所述第二三維面片模型的第二骨架范圍之內(nèi)；和如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之內(nèi)，則沿著垂直于所述第二三維面片模型的骨骼方向求取所述不匹配的LBS變形后的第一三維面片模型的當(dāng)前面片頂點與所述第二三維面片模型的距離，如果判斷所述不匹配的頂點位于第二三維面片模型的第二骨架范圍之外，則沿著距離所述第二骨架最近的節(jié)點與所述不匹配的第一三維面片模型 LBS變形后的當(dāng)前面片頂點連線方向求取與所述第二三維面片模型的距離。
15.根據(jù)權(quán)利要求11所述的基于骨架和面片插值的運(yùn)動捕捉裝置，其特征在于，所述優(yōu)化模塊用于根據(jù)函數(shù)ν丨—< + 0.25(V;_1 - 2ν； + <+1)Φ對所述三維模型序列的點云進(jìn)行濾波，其中，核函數(shù)0 = exp{(-|V丨+1-vf^^2)(7-2};以及對所述三維模型序列的點云進(jìn)行泊松重建以得到最終封閉的面片三維模型序列。
全文摘要
本發(fā)明提出一種基于骨架和面片插值的運(yùn)動捕捉方法及裝置，該方法包括以下步驟重建第一三維面片模型和第二三維面片模型，并提取第一三維面片模型的第一骨架和第二三維面片模型的第二骨架；對第一骨架和第二骨架進(jìn)行插值以得到第一骨架和所述第二骨架之間的中間骨架；求取第一三維面片模型與第二三維面片模型之間的變形距離場，并在變形距離場上插值點云以形成第一三維面片模型向第二三維面片模型過度的三維模型序列；和對三維模型序列的點云進(jìn)行濾波和重建以得到最終封閉的面片三維模型序列。根據(jù)本發(fā)明實施例的基于骨架和面片插值的運(yùn)動捕捉方法，具有快速捕捉且精度高的優(yōu)點。該裝置具有精度高且結(jié)構(gòu)簡單的優(yōu)點。
文檔編號G06T13/40GK102306390SQ20111012965
公開日2012年1月4日 申請日期2011年5月18日 優(yōu)先權(quán)日2011年5月18日
發(fā)明者劉燁斌, 張乃堯, 徐悅, 戴瓊海 申請人:清華大學(xué)