一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法
【專利摘要】一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其步驟為：(1)特征表示；用人體四肢與軀干的旋轉(zhuǎn)角度以及肢體各關(guān)節(jié)間的相對(duì)距離等運(yùn)動(dòng)分量表示人體運(yùn)動(dòng)姿勢(shì)的主要特征；(2)臨界點(diǎn)篩選；提取運(yùn)動(dòng)分量曲線的極值點(diǎn)和動(dòng)靜轉(zhuǎn)換點(diǎn)作為臨界點(diǎn)，并采用臨界點(diǎn)消減算法篩選出關(guān)鍵臨界點(diǎn)；(3)關(guān)鍵度曲線構(gòu)造；根據(jù)篩選出來(lái)的關(guān)鍵臨界點(diǎn)劃分運(yùn)動(dòng)分量曲線，形成運(yùn)動(dòng)分量關(guān)鍵度曲線；(4)權(quán)值學(xué)；(5)關(guān)鍵幀提?。患訖?quán)擬合目標(biāo)運(yùn)動(dòng)的運(yùn)動(dòng)分量關(guān)鍵度曲線，基于擬合曲線提取關(guān)鍵幀。本發(fā)明無(wú)需手工設(shè)定難以確定的閾值，能夠從樣例運(yùn)動(dòng)中學(xué)習(xí)不同的關(guān)鍵幀提取風(fēng)格，并可根據(jù)部分肢體的運(yùn)動(dòng)提取關(guān)鍵幀，能夠滿足運(yùn)動(dòng)捕捉數(shù)據(jù)實(shí)時(shí)處理的需要。
【專利說(shuō)明】一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)動(dòng)畫與機(jī)器學(xué)習(xí)的綜合領(lǐng)域，尤其涉及一種基于人體運(yùn)動(dòng)姿勢(shì)關(guān)鍵度的運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法。
【背景技術(shù)】
[0002]運(yùn)動(dòng)捕捉數(shù)據(jù)是采用運(yùn)動(dòng)捕捉設(shè)備獲取的真實(shí)人體運(yùn)動(dòng)數(shù)據(jù)，主要用于驅(qū)動(dòng)虛擬角色產(chǎn)生人體動(dòng)畫，在動(dòng)畫制作、視頻游戲和影視特效等領(lǐng)域有著廣泛應(yīng)用。關(guān)鍵幀是指運(yùn)動(dòng)捕捉數(shù)據(jù)中能夠代表人體運(yùn)動(dòng)的三維姿勢(shì)序列，它為大規(guī)模運(yùn)動(dòng)捕捉數(shù)據(jù)的壓縮、檢索、預(yù)覽和重用提供了重要基礎(chǔ)。因此，如何實(shí)現(xiàn)運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀的高效提取，便成了運(yùn)動(dòng)捕捉技術(shù)的研究熱點(diǎn)之一。
[0003]對(duì)運(yùn)動(dòng)捕捉數(shù)據(jù)的均勻采樣可看作一種簡(jiǎn)單的關(guān)鍵幀提取方法，但該方法實(shí)際上相當(dāng)于降低運(yùn)動(dòng)捕捉的采樣頻率，因而難以消除運(yùn)動(dòng)緩慢時(shí)的數(shù)據(jù)冗余和運(yùn)動(dòng)劇烈時(shí)的細(xì)節(jié)丟失問(wèn)題。為此，研究人員提出了一些自適應(yīng)采樣關(guān)鍵幀提取方法。例如，Lim等2001年的論文〈〈Key-posture extraction out of humanmotion data by curve simplification))將每幀運(yùn)動(dòng)數(shù)據(jù)看作是高維空間曲線上的一個(gè)點(diǎn)，然后根據(jù)設(shè)定的閾值采用曲線簡(jiǎn)化方法提取出曲線上的一些凹凸點(diǎn)作為關(guān)鍵幀，該方法的缺點(diǎn)是閾值難以簡(jiǎn)單確定。沈軍行等2004年的論文《從運(yùn)動(dòng)捕獲數(shù)據(jù)中提取關(guān)鍵幀》首先指定運(yùn)動(dòng)數(shù)據(jù)的首幀為關(guān)鍵幀，然后依次消減與關(guān)鍵幀的距離小于設(shè)定閾值的后續(xù)各幀，而將距離大于閾值的幀作為新的關(guān)鍵幀并繼續(xù)消減，該方法的缺點(diǎn)是未考慮到消減幀與后續(xù)關(guān)鍵幀之間的相關(guān)性。Assa等2005年的論文《Action synopsis: poseselection and illustration》則利用多維縮放將高維運(yùn)動(dòng)數(shù)據(jù)映射到低維空間，再在低維空間運(yùn)用曲線簡(jiǎn)化方法提取關(guān)鍵幀，但該方法需分別計(jì)算4個(gè)運(yùn)動(dòng)分量的相似矩陣并進(jìn)行數(shù)據(jù)降維，這一過(guò)程非常耗時(shí)。Liu等2012年的論文〈〈Optimizationbased key frame extraction for motion capture animation〉〉定義適應(yīng)度函數(shù)度量重建運(yùn)動(dòng)與原始運(yùn)動(dòng)之間的重建誤差，以重建誤差最小化和壓縮率最優(yōu)為目標(biāo)，采用遺傳算法進(jìn)行運(yùn)動(dòng)數(shù)據(jù)的關(guān)鍵幀提取，該法方法的不足是計(jì)算時(shí)間過(guò)長(zhǎng)，無(wú)法滿足運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)處理的需要。
[0004]現(xiàn)有的自適應(yīng)運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法雖然有效地克服了均勻采樣中存在的問(wèn)題，但總體來(lái)說(shuō)還存在以下不足之處:(1)現(xiàn)有方法大多需要用戶手工設(shè)置各種難以確定的閾值，這給用戶的使用造成了不便。因?yàn)橛行╅撝岛完P(guān)鍵幀之間的對(duì)應(yīng)關(guān)系不但很不直觀，而且還會(huì)隨著運(yùn)動(dòng)類型的不同而變化，用戶需要經(jīng)過(guò)反復(fù)嘗試才能得到一個(gè)合理的閾值。(2)現(xiàn)有方法大多根據(jù)運(yùn)動(dòng)數(shù)據(jù)的壓縮率和重建誤差等指標(biāo)來(lái)提取關(guān)鍵幀，而無(wú)法根據(jù)用戶提供的關(guān)鍵幀樣例來(lái)學(xué)習(xí)不同的關(guān)鍵幀提取風(fēng)格。(3)當(dāng)需要根據(jù)部分肢體的運(yùn)動(dòng)情況來(lái)提取關(guān)鍵幀時(shí)，現(xiàn)有方法大多難以滿足需要。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，它克服了已有運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法的局限性，無(wú)需用戶手工設(shè)定難以確定的閾值，能夠從樣例運(yùn)動(dòng)中學(xué)習(xí)不同的關(guān)鍵幀提取風(fēng)格，并可根據(jù)部分肢體的運(yùn)動(dòng)提取關(guān)鍵幀，能夠滿足運(yùn)動(dòng)捕捉數(shù)據(jù)實(shí)時(shí)處理的需要。
[0006]本發(fā)明是這樣實(shí)現(xiàn)的，運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法步驟如下:
(1)特征表示；用人體四肢與軀干的旋轉(zhuǎn)角度以及肢體各關(guān)節(jié)間的相對(duì)距離等運(yùn)動(dòng)分量表示人體運(yùn)動(dòng)姿勢(shì)的主要特征；
(2)臨界點(diǎn)篩選；提取運(yùn)動(dòng)分量曲線的極值點(diǎn)和動(dòng)靜轉(zhuǎn)換點(diǎn)作為臨界點(diǎn)，并采用臨界點(diǎn)消減算法篩選出關(guān)鍵臨界點(diǎn)；
(3)關(guān)鍵度曲線構(gòu)造；根據(jù)篩選出來(lái)的關(guān)鍵臨界點(diǎn)劃分運(yùn)動(dòng)分量曲線，分段計(jì)算曲線上各數(shù)據(jù)幀的關(guān)鍵度，形成運(yùn)動(dòng)分量關(guān)鍵度曲線；
(4)權(quán)值學(xué)習(xí)；選取與目標(biāo)運(yùn)動(dòng)同類型的典型運(yùn)動(dòng)片段，首先根據(jù)運(yùn)動(dòng)姿勢(shì)手工標(biāo)注片段中每幀數(shù)據(jù)的關(guān)鍵度，形成運(yùn)動(dòng)姿勢(shì)關(guān)鍵度曲線；然后采用上述步驟構(gòu)造運(yùn)動(dòng)片段的運(yùn)動(dòng)分量關(guān)鍵度曲線；最后利用梯度下降算法學(xué)習(xí)出一組能夠?qū)⑦\(yùn)動(dòng)分量關(guān)鍵度曲線擬合成運(yùn)動(dòng)姿勢(shì)關(guān)鍵度曲線的最優(yōu)權(quán)值；
(5)關(guān)鍵幀提?。焕脤W(xué)習(xí)得到的最優(yōu)權(quán)值擬合目標(biāo)數(shù)據(jù)的運(yùn)動(dòng)分量關(guān)鍵度曲線，形成相應(yīng)運(yùn)動(dòng)的運(yùn)動(dòng)姿勢(shì)關(guān)鍵度曲線，采用臨界點(diǎn)篩選算法提取關(guān)鍵度曲線上的極大值點(diǎn)，將這些點(diǎn)對(duì)應(yīng)的幀作為最終關(guān)鍵幀。
[0007]所述步驟(2)中的動(dòng)靜轉(zhuǎn)換點(diǎn)是指運(yùn)動(dòng)分量的取值從逐漸變化到固定不變的轉(zhuǎn)折點(diǎn)，因?yàn)檫@類點(diǎn)代表了相應(yīng)肢體從運(yùn)動(dòng)到靜止或者從靜止到運(yùn)動(dòng)的轉(zhuǎn)換位置。所述臨界點(diǎn)篩選步驟如下:
Stepl:確定臨界點(diǎn)位置；設(shè)
【權(quán)利要求】
1.一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其特征在于，所述提取方法包括以下步驟: (1)特征表示:選用人體四肢與軀干的旋轉(zhuǎn)角度以及肢體各關(guān)節(jié)間的相對(duì)距離等運(yùn)動(dòng)分量表示人體運(yùn)動(dòng)姿勢(shì)的主要特征； (2)臨界點(diǎn)篩選；提取運(yùn)動(dòng)分量曲線的極值點(diǎn)和動(dòng)靜轉(zhuǎn)換點(diǎn)作為臨界點(diǎn)，并采用臨界點(diǎn)消減算法篩選出關(guān)鍵臨界點(diǎn)； (3)關(guān)鍵度曲線構(gòu)造；根據(jù)篩選出來(lái)的關(guān)鍵臨界點(diǎn)劃分運(yùn)動(dòng)分量曲線，分段計(jì)算曲線上各數(shù)據(jù)幀的關(guān)鍵度，形成運(yùn)動(dòng)分量關(guān)鍵度曲線； (4)權(quán)值學(xué)習(xí):選取與目標(biāo)運(yùn)動(dòng)同類型的典型運(yùn)動(dòng)片段，首先根據(jù)運(yùn)動(dòng)姿勢(shì)手工標(biāo)注片段中每幀數(shù)據(jù)的關(guān)鍵度，形成運(yùn)動(dòng)姿勢(shì)關(guān)鍵度曲線；然后采用上述步驟構(gòu)造運(yùn)動(dòng)片段的運(yùn)動(dòng)分量關(guān)鍵度曲線；最后利用梯度下降算法學(xué)習(xí)出一組能夠?qū)⑦\(yùn)動(dòng)分量關(guān)鍵度曲線擬合成運(yùn)動(dòng)姿勢(shì)關(guān)鍵度曲線的最優(yōu)權(quán)值； (5)關(guān)鍵幀提取:利用學(xué)習(xí)得到的最優(yōu)權(quán)值擬合目標(biāo)數(shù)據(jù)的運(yùn)動(dòng)分量關(guān)鍵度曲線，形成相應(yīng)運(yùn)動(dòng)的運(yùn)動(dòng)姿勢(shì)關(guān)鍵度曲線，采用臨界點(diǎn)篩選算法提取關(guān)鍵度曲線上的極大值點(diǎn)，將這些點(diǎn)對(duì)應(yīng)的幀作為最終關(guān)鍵幀。
2.如權(quán)利要求1所述的一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其特征在于，步驟(2)所述的動(dòng)靜轉(zhuǎn)換點(diǎn)是指運(yùn)動(dòng)分量的取值從逐漸變化到固定不變的轉(zhuǎn)折點(diǎn)。
3.如權(quán)利要求1所述的一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其特征在于，步驟(2)所述采用臨界點(diǎn)消減算法篩選出關(guān)鍵臨界點(diǎn)的步驟為: Stepl:確定臨界點(diǎn)位置；設(shè)
4.如權(quán)利要求1所述的一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其特征在于，步驟(3)所述根據(jù)篩選出來(lái)的關(guān)鍵臨界點(diǎn)劃分運(yùn)動(dòng)分量曲線的方法是:設(shè)P為運(yùn)動(dòng)曲線的關(guān)鍵臨界點(diǎn)，S = (s2,s3,*-%sr_1)為除首尾端點(diǎn)外各關(guān)鍵臨界點(diǎn)的顯著度；令，則分割點(diǎn)的索引
5.如權(quán)利要求1所述的一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其特征在于，步驟(3)計(jì)算運(yùn)動(dòng)分量曲線上各數(shù)據(jù)幀的關(guān)鍵度的方法是:定義運(yùn)動(dòng)序列中各數(shù)據(jù)幀被選擇成為關(guān)鍵幀的概率為該幀的關(guān)鍵度，由于每個(gè)片段中只能選取出一幀關(guān)鍵幀，則數(shù)據(jù)幀/s G [Ι?:^?41)的關(guān)鍵度為
6.如權(quán)利要求1所述的一種運(yùn)動(dòng)捕捉數(shù)據(jù)關(guān)鍵幀提取方法，其特征在于，所述步驟(4)中的權(quán)值學(xué)習(xí)方法如下:設(shè)選取的運(yùn)動(dòng)片段長(zhǎng)度η為幀，運(yùn)動(dòng)分量為爾個(gè)，手工設(shè)定的運(yùn)動(dòng)姿勢(shì)關(guān)鍵度序列為:Τ,各運(yùn)動(dòng)分量的關(guān)鍵度序列為Jf HJf2,JftJ,權(quán)值向量為.0 = φ g…gj’則滿足公式argminfl/(0) =(^:) — ^1)2的錢為最優(yōu)權(quán)值向量，其中，Ae(JT) = ΘΧΤ = B1X1 θ?ηΧ?，T表示第幀各運(yùn)動(dòng)分量的關(guān)鍵度，F(xiàn)i表示第i幀的運(yùn)動(dòng)姿勢(shì)關(guān)鍵度，其中向量i的梯度下降學(xué)習(xí)步驟如下: Stepl:設(shè)各運(yùn)動(dòng)分量的初始權(quán)值為艮= ^iJ = i…m ,計(jì)算的初值；
St印2:更新權(quán)值向量β ,令e, = Qi — α-Σ =ι(Α§(Λ?ε) — yι')^\,? = i...m，其中為學(xué).JOL習(xí)速率，根據(jù)新的權(quán)值向量計(jì)算/,); St印3:若/(Θ)的變化小于設(shè)定的閾值，則輸出0，結(jié)束，否則轉(zhuǎn)St印2。
【文檔編號(hào)】G06T7/20GK103679747SQ201310569162
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2013年11月15日 優(yōu)先權(quán)日:2013年11月15日
【發(fā)明者】劉云根 申請(qǐng)人:南昌大學(xué)