專利名稱：基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值計(jì)算方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值計(jì)算方法，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
近年來(lái)，隨著計(jì)算機(jī)軟硬件技術(shù)的進(jìn)步，計(jì)算機(jī)動(dòng)畫技術(shù)得到了飛速的發(fā)展，計(jì)算機(jī)動(dòng)畫是指采用圖形與圖像的處理技術(shù)，以實(shí)體造型和真實(shí)感顯示技術(shù)為基礎(chǔ)，借助于編程或動(dòng)畫制作軟件生成一系列的景物畫面。其涉及到圖像處理技術(shù)、運(yùn)動(dòng)控制原理、視頻技術(shù)和藝術(shù)等眾多領(lǐng)域，以獨(dú)特的特點(diǎn)逐步成為一個(gè)多種學(xué)科和技術(shù)綜合的領(lǐng)域。其中，運(yùn)動(dòng)捕捉技術(shù)的不斷發(fā)展，人們可以利用捕捉設(shè)備抓取到的數(shù)據(jù)生成更多樣化且復(fù)雜的虛擬人運(yùn)動(dòng)。但是，由于運(yùn)動(dòng)捕捉設(shè)備昂貴且受限于捕捉的外部條件，不可能對(duì)所需的人體運(yùn)動(dòng)數(shù)據(jù)每次都進(jìn)行捕捉，運(yùn)動(dòng)數(shù)據(jù)重用技術(shù)和基于運(yùn)動(dòng)圖的人體動(dòng)畫合成技術(shù)由此產(chǎn)生。將捕獲的人體運(yùn)動(dòng)數(shù)據(jù)根據(jù)運(yùn)動(dòng)類型分類保存構(gòu)建運(yùn)動(dòng)圖，合成新的人體運(yùn)動(dòng)數(shù)據(jù)時(shí)，只需遍歷運(yùn)動(dòng)圖并結(jié)合插值技術(shù)即可由現(xiàn)有的人體運(yùn)動(dòng)數(shù)據(jù)片段合成新的所需人體運(yùn)動(dòng)數(shù)據(jù)。因此，基于運(yùn)動(dòng)捕捉數(shù)據(jù)的運(yùn)動(dòng)合成技術(shù)研究是計(jì)算機(jī)動(dòng)畫技術(shù)重要的研究領(lǐng)域之一。自2002年基于運(yùn)動(dòng)圖的人體運(yùn)動(dòng)合成方法產(chǎn)生后，在人體運(yùn)動(dòng)數(shù)據(jù)合成領(lǐng)域，基于運(yùn)動(dòng)圖的人體運(yùn)動(dòng)合成方法已成為目前的主要方法。如附圖2所示，運(yùn)動(dòng)圖的基本方法是將運(yùn)動(dòng)捕捉數(shù)據(jù)按運(yùn)動(dòng)類型分段，每幀為一個(gè)節(jié)點(diǎn)，然后計(jì)算每一個(gè)節(jié)點(diǎn)間的相似性，滿足所設(shè)閾值的節(jié)點(diǎn)間構(gòu)建為邊，最后形成運(yùn)動(dòng)圖，進(jìn)行人體運(yùn)動(dòng)合成的過(guò)程就是在運(yùn)動(dòng)圖上搜索所需路徑的過(guò)程。盡管經(jīng)過(guò)多年的發(fā)展，但其仍存在很多問(wèn)題，例如運(yùn)動(dòng)圖中點(diǎn)、邊的定義，過(guò)渡點(diǎn)的選取，運(yùn)過(guò)渡動(dòng)畫插值計(jì)算等。

發(fā)明內(nèi)容
為了克服上述的不足，本發(fā)明提出了基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值計(jì)算方法。本方法通過(guò)使用流形學(xué)習(xí)的方法對(duì)高維運(yùn)動(dòng)數(shù)據(jù)降維，并根據(jù)降維后的低維特征曲線完成人體運(yùn)動(dòng)特征的提取，最后基于提取的運(yùn)動(dòng)特征計(jì)算過(guò)渡窗口長(zhǎng)度，確定過(guò)渡區(qū)間，使用線性插值算法完成過(guò)渡動(dòng)畫的構(gòu)建。通過(guò)基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值窗口長(zhǎng)度計(jì)算，著重解決在人體運(yùn)動(dòng)插值中，過(guò)渡窗口選擇復(fù)雜，通用性差，生成過(guò)渡動(dòng)畫跳幀、漏幀的問(wèn)題。本發(fā)明的技術(shù)方案是:通過(guò)PCA降維算法對(duì)高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理，使用降維后的低維數(shù)據(jù)，繪制低維特征曲線。根據(jù)低維特征曲線提取人體運(yùn)動(dòng)特征。在運(yùn)動(dòng)特征的基礎(chǔ)上選取過(guò)渡窗口長(zhǎng)度，確定過(guò)渡區(qū)間，最后使用線性插值算法完成過(guò)渡動(dòng)畫的構(gòu)建。本發(fā)明的技術(shù)方案具體包括以下步驟:1.對(duì)高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理使用PCA、流形學(xué)習(xí)算法，對(duì)高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理，得到原始運(yùn)動(dòng)序列的低維流形結(jié)構(gòu)，根據(jù)運(yùn)動(dòng)類型的不同，繪制與之匹配的低維特征曲線。2.提取運(yùn)動(dòng)特征
根據(jù)生成的人體運(yùn)動(dòng)數(shù)據(jù)低維特征曲線，在低維特征曲線轉(zhuǎn)折處就是高維空間中人體運(yùn)動(dòng)姿態(tài)的改變處，我們可以將低維特征曲線上的這些點(diǎn)提取出來(lái)。3.計(jì)算過(guò)渡窗口長(zhǎng)度根據(jù)所繪制的低維特征曲線，在需要進(jìn)行插值構(gòu)建過(guò)渡動(dòng)畫的2段運(yùn)動(dòng)的跳轉(zhuǎn)點(diǎn)位置，分別向前或向后取離跳轉(zhuǎn)點(diǎn)最近的一個(gè)特征曲線轉(zhuǎn)折點(diǎn)，跳轉(zhuǎn)點(diǎn)和求得的特征曲線轉(zhuǎn)折點(diǎn)之間即為過(guò)渡窗口，此窗口內(nèi)包含的幀數(shù)即為過(guò)渡區(qū)間長(zhǎng)度。4.生成過(guò)渡動(dòng)畫將經(jīng)過(guò)基于運(yùn)動(dòng)特征提取的過(guò)渡窗口內(nèi)數(shù)據(jù)作為插值的原始數(shù)據(jù)集，假設(shè)其分別為數(shù)據(jù)集A[Fi，F(xiàn)2，..., FJ和數(shù)據(jù)集B [Fi，F(xiàn)2， .，F(xiàn)n]，其中，F(xiàn)i表示數(shù)據(jù)集中的一幀數(shù)據(jù)，其可表不為:F(i) = {T, R1, R2, * *.., Rk}在上面的公式中，T為當(dāng)前人體的根關(guān)節(jié)點(diǎn)，R為其余關(guān)節(jié)點(diǎn)，k為當(dāng)前人體骨架結(jié)構(gòu)包含的除根關(guān)節(jié)點(diǎn)外的關(guān)節(jié)點(diǎn)總數(shù)。對(duì)數(shù)據(jù)集AtF1, F2,…，F(xiàn)n]和數(shù)據(jù)集BtF1, F2,…，F(xiàn)n]中每一組相對(duì)應(yīng)的幀F(xiàn)i,對(duì)當(dāng)前幀F(xiàn)i上相對(duì)應(yīng)的關(guān)節(jié)點(diǎn)Rk使用線性插值算法得到插值點(diǎn)，使用這些插值點(diǎn)合成一幀新的數(shù)據(jù)，以此類推，最終完成過(guò)渡動(dòng)畫的構(gòu)建。本發(fā)明原理:在遍歷運(yùn)動(dòng)圖的過(guò)程中，不滿足所設(shè)閾值的跳轉(zhuǎn)點(diǎn)間，需要使用插值技術(shù)進(jìn)行插補(bǔ)動(dòng)畫的構(gòu)建，插值結(jié)果的好壞直接影響到最終合成動(dòng)畫的質(zhì)量。進(jìn)行兩段運(yùn)動(dòng)間插值計(jì)算過(guò)渡動(dòng)畫時(shí)，過(guò)渡長(zhǎng)度的選擇非常重要，選取合適的過(guò)渡窗口長(zhǎng)度，是進(jìn)行插值計(jì)算的基礎(chǔ)和難點(diǎn)。雖然理論上過(guò)渡窗口越長(zhǎng)，則生成的過(guò)渡動(dòng)畫越平滑，但是在實(shí)際應(yīng)用中，過(guò)長(zhǎng)的過(guò)渡窗口在計(jì)算插值動(dòng)畫時(shí)，會(huì)消耗大量的時(shí)間，同時(shí)，根據(jù)運(yùn)動(dòng)特征的不同，過(guò)長(zhǎng)的過(guò)渡窗口會(huì)使生成的過(guò)渡動(dòng)畫與人們的需求相違。同樣,過(guò)短的過(guò)渡窗口，會(huì)使生成的插值動(dòng)畫生硬，無(wú)法達(dá)到平滑過(guò)渡的要求。合適的過(guò)渡長(zhǎng)度可以使合成的結(jié)果平滑、自然。本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn):與基于固定過(guò)渡窗口長(zhǎng)度的方法相比，在走到跑過(guò)渡中，右側(cè)小臂和腳腕等關(guān)節(jié)處，由于過(guò)渡窗口小，無(wú)法充分進(jìn)行插值計(jì)算，產(chǎn)生了跳幀、漏幀的現(xiàn)象，以致生成的插值動(dòng)畫不夠平滑。同樣在由跑到跳的過(guò)渡中，人體的上半身下行過(guò)快，插值生成的插補(bǔ)動(dòng)畫不足，產(chǎn)生的過(guò)渡動(dòng)畫不自然。通過(guò)本發(fā)明所提的基于運(yùn)動(dòng)特征提取的插值窗口計(jì)算，過(guò)渡窗口大小分別為22幀，經(jīng)過(guò)線性插值計(jì)算，平滑自然的由走過(guò)渡到跑再由跑過(guò)渡到跳。由此對(duì)比可見本發(fā)明所提算法在規(guī)律及不規(guī)律兩類運(yùn)動(dòng)類型上，均優(yōu)于固定窗口長(zhǎng)度的插值計(jì)笪
o與基于測(cè)地距離的過(guò)渡窗口計(jì)算方法相比，在走到跑過(guò)渡中，上半身過(guò)渡平滑，但腳步出現(xiàn)了滑步現(xiàn)象，以致生成的插值動(dòng)畫不夠平滑，需要再進(jìn)行去除滑步的處理。而在在由跑到跳的過(guò)渡中，與采用的固定窗口長(zhǎng)度存在的問(wèn)題類似，人體的上半身下行過(guò)快，插值生成的插補(bǔ)動(dòng)畫不足，產(chǎn)生跳幀現(xiàn)像?？梢姳景l(fā)明提出的基于運(yùn)動(dòng)特征的插值窗口長(zhǎng)度計(jì)算算法優(yōu)于基于測(cè)地距離的過(guò)渡窗口長(zhǎng)度計(jì)算算法。


圖1本發(fā)明算法流程圖。
圖2標(biāo)準(zhǔn)運(yùn)動(dòng)圖計(jì)算原理。圖3人體運(yùn)動(dòng)數(shù)據(jù)低維特征曲線示意圖。圖4過(guò)渡動(dòng)畫計(jì)算方法示意圖。圖5本發(fā)明生成過(guò)渡動(dòng)畫結(jié)果示意圖。圖6基于固定過(guò)渡長(zhǎng)度生成的過(guò)渡動(dòng)畫示意圖1。圖7基于固定過(guò)渡長(zhǎng)度生成的過(guò)渡動(dòng)畫示意圖2。圖8基于測(cè)地距離過(guò) 渡長(zhǎng)度生成的過(guò)渡動(dòng)畫示意圖1。圖9基于測(cè)地距離過(guò)渡長(zhǎng)度生成的過(guò)渡動(dòng)畫示意圖2。
具體實(shí)施例方式本發(fā)明的實(shí)施示例是在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施的，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述實(shí)施例。實(shí)例選取一組走到跑再到跳的運(yùn)動(dòng)進(jìn)行驗(yàn)證，運(yùn)動(dòng)數(shù)據(jù)低維特征曲線如附圖3所示:表示的是原始m維空間中的運(yùn)動(dòng)數(shù)據(jù)映射到k維空間中后得到的低維特征曲線；過(guò)渡動(dòng)畫計(jì)算方法如圖4所示:在motion A的第i巾貞處和motion B的第j巾貞處為跳轉(zhuǎn)點(diǎn)，分別向前、向后取一定長(zhǎng)度的過(guò)渡窗口 ；本實(shí)施例生成過(guò)渡動(dòng)畫結(jié)果如圖5所示。具體實(shí)施步驟為:步驟1:提取運(yùn)動(dòng)特征。使用PCA流形學(xué)習(xí)算法，對(duì)高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理，并繪制3維運(yùn)動(dòng)數(shù)據(jù)特征曲線，此特征曲線即為低維空間對(duì)高維人體運(yùn)動(dòng)姿態(tài)的映射。(1)對(duì)于一個(gè)長(zhǎng)度為n幀的運(yùn)動(dòng)序列，計(jì)算平均值Mavg
權(quán)利要求
1.一種基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值計(jì)算方法，其特征在于:包括如下步驟:高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理 (1)對(duì)于一個(gè)長(zhǎng)度為n幀的運(yùn)動(dòng)序列，計(jì)算平均值Mavg (2)定義一個(gè)差值di=M1- Mavg(i=l, 2，…，n)，可得到一個(gè)矩陣D:
2.提取運(yùn)動(dòng)特征 使用上部中降維得到的原始數(shù)據(jù)在k維空間的低維映射繪制人體運(yùn)動(dòng)數(shù)據(jù)在k維空間下的特征曲線，根據(jù)生成的人體運(yùn)動(dòng)數(shù)據(jù)低維特征曲線與原始運(yùn)動(dòng)狀態(tài)對(duì)比可以得到在低維特征曲線轉(zhuǎn)折處就是高維空間中人體運(yùn)動(dòng)姿態(tài)的改變處，低維特征曲線上這些轉(zhuǎn)折點(diǎn)提取出來(lái)；
3.計(jì)算過(guò)渡窗口長(zhǎng)度 根據(jù)所繪制的低維特征曲線和提取的轉(zhuǎn)折點(diǎn)，在需要進(jìn)行插值構(gòu)建過(guò)渡動(dòng)畫的2段運(yùn)動(dòng)的Mi和Mi+1的跳轉(zhuǎn)點(diǎn)位置，分別向前或向后取離跳轉(zhuǎn)點(diǎn)最近的一個(gè)特征曲線轉(zhuǎn)折點(diǎn)，跳轉(zhuǎn)點(diǎn)和求得的特征曲線轉(zhuǎn)折點(diǎn)之間即為過(guò)渡窗口，此窗口內(nèi)包含的幀數(shù)即為過(guò)渡區(qū)間長(zhǎng)度。
4.生成過(guò)渡動(dòng)畫 將經(jīng)過(guò)基于運(yùn)動(dòng)特征提取的過(guò)渡窗口內(nèi)數(shù)據(jù)作為插值的原始數(shù)據(jù)集，假設(shè)其分別為數(shù)據(jù)集A[F1, F2, - ,Fn]和數(shù)據(jù)集B[F1, F2,…，F(xiàn)n]，其中，F(xiàn)i表示數(shù)據(jù)集中的一幀數(shù)據(jù)，其可表示為:F(i) = {T，R1, R2，…，RJ， 在上面的公式中，T為當(dāng)前人體的根關(guān)節(jié)點(diǎn)，R為其余關(guān)節(jié)點(diǎn)，k為當(dāng)前人體骨架結(jié)構(gòu)包含的除根關(guān)節(jié)點(diǎn)外的關(guān)節(jié)點(diǎn)總數(shù)。對(duì)數(shù)據(jù)集A[F1, F2，…，F(xiàn)n]和數(shù)據(jù)集B [F1, F2，…，F(xiàn)n]中每一組相對(duì)應(yīng)的幀F(xiàn)i,對(duì)當(dāng)前幀F(xiàn)i上相對(duì)應(yīng)的關(guān)節(jié)點(diǎn)Rk使用線性插值算法得到插值點(diǎn)，使用這些插值點(diǎn)合成一幀新的數(shù)據(jù)，以此類推，最終完成過(guò)渡動(dòng)畫的構(gòu)建。
全文摘要
本發(fā)明公開了基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值計(jì)算方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明的技術(shù)方案具體包括1.對(duì)高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理。2.提取運(yùn)動(dòng)特征。3.計(jì)算過(guò)渡窗口長(zhǎng)度。4.生成過(guò)渡動(dòng)畫。通過(guò)基于運(yùn)動(dòng)特征的人體運(yùn)動(dòng)插值窗口長(zhǎng)度計(jì)算，著重解決在人體運(yùn)動(dòng)插值中，過(guò)渡窗口選擇復(fù)雜，通用性差，生成過(guò)渡動(dòng)畫跳幀、漏幀的問(wèn)題。
文檔編號(hào)G06T7/20GK103116901SQ201310031870
公開日2013年5月22日 申請(qǐng)日期2013年1月28日 優(yōu)先權(quán)日2013年1月28日
發(fā)明者魏小鵬, 張強(qiáng), 姚一, 周東生, 李晴 申請(qǐng)人:大連大學(xué)