基于運動圖的人體運動合成方法
【專利摘要】本發(fā)明公開了一種基于運動圖的人體運動合成方法，首先加載解析人體運動數(shù)據(jù)庫，將運動數(shù)據(jù)轉換到世界坐標系下，根據(jù)人體運動周期性規(guī)律進行運動分割，提取短運動段特征，進行基于短運動段特征和基于DTW幀的相似度評估，基于相似度值確定運動圖的邊權值，構建運動圖；其次由用戶選取兩個需要合成的運動段，基于構建好的運動圖搜索一條路徑，確定路徑跳轉點，插值連接合成一段新的運動。本發(fā)明基于運動圖的人體運動合成方法，首先構建的運動圖結合了高層特征，避免了某些幀的局部相似合成在一起的錯誤；其次基于運動圖搜索的路徑，確定跳轉點限定于運動首尾周期，減少了無效子圖的生成，提高了運動合成效率。
【專利說明】基于運動圖的人體運動合成方法

【技術領域】
[0001] 本發(fā)明屬于計算機視覺【技術領域】，具體涉及一種基于運動圖的人體運動合成方 法。

【背景技術】
[0002] 隨著計算機圖像技術及其相關衍生品的高速發(fā)展，使得運動捕捉技術逐漸成為虛 擬現(xiàn)實、計算機視覺、影視制作、游戲娛樂和計算機動畫等領域的數(shù)據(jù)獲取手段。該技術借 助幾十個或上百個傳感器來標記物體的運動軌跡，通過記錄傳感器的物理信息來獲取該物 體的速度、位置等參數(shù)，進而模擬物體運動軌跡。因為捕獲的數(shù)據(jù)具有高度逼真性和實時處 理能力使之成為應用范圍最廣的方法。然而捕獲數(shù)據(jù)造價高、對場地環(huán)境要求嚴格，而且 人眼對人體運動敏感，一旦發(fā)現(xiàn)運動不合適，只能重新捕捉，這是對已有捕捉數(shù)據(jù)資源的浪 費。因此對捕捉數(shù)據(jù)的重用性研究成為了一項非常有意義的方向：即利用已有的數(shù)據(jù)資源， 通過編輯、融合、合成等操作搭建運動網(wǎng)絡，產(chǎn)生豐富多變的新的運動序列，提高工作效率、 節(jié)省制作成本。
[0003] 基于運動圖的運動合成方法充分利用運動數(shù)據(jù)庫，近些年成為了研究熱點。運動 圖的概念最初是由Arikan和kovar等人提出的：將已有的捕捉數(shù)據(jù)構建成一種有向圖結 構，確定并基于運動圖跳轉點建立有向連接，合成新的運動序列。運動圖的邊是原有的運 動片段或新生成的過渡運動片段，頂點是不同運動片段之間的跳轉點。運動圖合成方法的 提出將運動序列合成的問題轉化為根據(jù)運動圖尋找路徑的問題。因此運動圖結構，運動圖 邊、頂點的確定以及基于圖的搜索是研究重點也是挑戰(zhàn)。首先，構建運動圖的最大瓶頸在于 需要計算數(shù)據(jù)庫中運動序列每幀的相似距離值，所以運動圖可以達到的規(guī)模是有限的；其 次，構建運動圖的邊權值時僅通過幀間評估只是局部的相似性，沒有考慮到全局的邏輯相 似性，有可能造成不同類型的運動片段僅由于某些幀的相似而連接在一起的錯誤。
[0004] 后來的研究在這個思路的基礎上做了改進，其中有代表性的工作有：Mahmudi等 人提出了一種基于特征的運動圖構建方法，該方法運用特征限制候選跳轉點的選取，相比 于傳統(tǒng)的方式避免了數(shù)據(jù)庫中每對幀的比較，提高了運動圖構建效率。然而該方法過于依 賴所選擇的特征，有可能造成多樣化的運動對所選的特征失效而引起合成錯誤。Liming Zhao等人將運動序列分為多個接觸狀態(tài)，比如：單腳站立、雙腳站立、手觸摸地面等。相對 于傳統(tǒng)運動圖，該運動圖結構具有良好的連通性，但是同時該算法構建的時間過于漫長，因 為算法將具有同樣接觸狀態(tài)的動作連接在一起生成了過多的無效的子圖。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種基于運動圖的人體運動合成方法，解決了現(xiàn)有運動圖合 成方法構建時間過于漫長的問題。
[0006] 本發(fā)明所采用的技術方案是，基于運動圖的人體運動合成方法，首先加載解析人 體運動數(shù)據(jù)庫（BVH文件），將運動數(shù)據(jù)轉換到世界坐標系下，根據(jù)人體運動周期性規(guī)律進 行運動分割，提取短運動段特征，進行基于短運動段特征和基于DTW幀的相似度評估，基于 相似度值確定運動圖的邊權值，構建運動圖；其次由用戶選取兩個需要合成的運動段，基于 構建好的運動圖搜索一條路徑，確定路徑跳轉點，插值連接合成一段新的運動。
[0007] 本發(fā)明的特點在于，
[0008] 具體包括以下步驟：
[0009] 步驟1，加載解析人體運動數(shù)據(jù)庫，將人體運動數(shù)據(jù)庫的運動數(shù)據(jù)轉換在世界坐標 系下；
[0010] 步驟2,根據(jù)人體運動周期性規(guī)律，提取雙腳向前位置關系和步距時序關系特征將 長運動序列分割為多個短運動序列段；
[0011] 步驟3,基于步驟2分割的短運動序列段，針對移動類的運動，提取短段人體運動 特征；
[0012] 步驟4,基于步驟3提取的短段人體運動特征，首先基于短段內(nèi)進行幀時序對齊操 作，然后進行基于短段人體運動特征和基于DTW幀的相似度評估；
[0013] 步驟5,基于步驟4得到的相似度值，確定運動圖的邊權值，構建運動圖；由用戶選 取兩段需要合成的運動序列，基于構建好的運動圖，搜索一條代價最小的合成路徑；
[0014] 步驟6,基于步驟5的合成路徑，確定路徑跳轉點，基于跳轉點運用四元數(shù)球面插 值算法和線性插值算法插值連接生成一段新的運動。
[0015] 步驟1中，人體運動數(shù)據(jù)庫的運動數(shù)據(jù)是在相對父節(jié)點局部坐標系下存儲的，基 于樹形的骨架結構，運用公式（1)采用遞歸方法將運動數(shù)據(jù)解析在世界坐標系下：
[0016] Pi(J)=T^rootiRi ^...Ri(k)...p〇(J) (I)
[0017] 其中，p，為運動序列的第i時刻關節(jié)點\在世界坐標系的坐標；T產(chǎn)乂 根節(jié)點的平移和旋轉變換矩陣，Ri(k)為骨架結構中關節(jié)Nk相對其直接父節(jié)點的旋轉變換矩 陣；Nk為樹形人體骨架中，從根節(jié)點到節(jié)點\_之間的任意節(jié)點；p 為初始時刻\在其父 節(jié)點的局部坐標系下的偏移量。
[0018] 步驟2中，根據(jù)人體運動周期性規(guī)律，采用雙腳向前位置關系以及步距時序關系 為依據(jù)進行運動分割，依據(jù)公式如下（2)和（3)所示：

【權利要求】
1. 基于運動圖的人體運動合成方法，其特征在于，首先加載解析人體運動數(shù)據(jù)庫，將運 動數(shù)據(jù)轉換到世界坐標系下，根據(jù)人體運動周期性規(guī)律進行運動分割，提取短運動段特征， 進行基于短運動段特征和基于DTW幀的相似度評估，基于相似度值確定運動圖的邊權值， 構建運動圖；其次由用戶選取兩個需要合成的運動段，基于構建好的運動圖搜索一條路徑， 確定路徑跳轉點，插值連接合成一段新的運動。
2. 根據(jù)權利要求1所述的基于運動圖的人體運動合成方法，其特征在于，具體包括以 下步驟： 步驟1，加載解析人體運動數(shù)據(jù)庫，將人體運動數(shù)據(jù)庫的運動數(shù)據(jù)轉換在世界坐標系 下； 步驟2,根據(jù)人體運動周期性規(guī)律，提取雙腳向前位置關系和步距時序關系特征將長運 動序列分割為多個短運動序列段； 步驟3,基于步驟2分割的短運動序列段，針對移動類的運動，提取短段人體運動特征； 步驟4,基于步驟3提取的短段人體運動特征，首先基于短段內(nèi)進行幀時序對齊操作， 然后進行基于短段人體運動特征和基于DTW幀的相似度評估； 步驟5,基于步驟4得到的相似度值，確定運動圖的邊權值，構建運動圖；由用戶選取兩 段需要合成的運動序列，基于構建好的運動圖，搜索一條代價最小的合成路徑； 步驟6,基于步驟5的合成路徑，確定路徑跳轉點，基于跳轉點運用四元數(shù)球面插值算 法和線性插值算法插值連接生成一段新的運動。
3. 根據(jù)權利要求2所述的基于運動圖的人體運動合成方法，其特征在于，步驟1中，人 體運動數(shù)據(jù)庫的運動數(shù)據(jù)是在相對父節(jié)點局部坐標系下存儲的，基于樹形的骨架結構，運 用公式（1)采用遞歸方法將運動數(shù)據(jù)解析在世界坐標系下：
其中，PiU)為運動序列的第i時刻關節(jié)點\在世界坐標系的坐標；TR產(chǎn)為根節(jié) 點的平移和旋轉變換矩陣，Ri(k)為骨架結構中關節(jié)Nk相對其直接父節(jié)點的旋轉變換矩陣； Nk為樹形人體骨架中，從根節(jié)點到節(jié)點\之間的任意節(jié)點；p為初始時刻N其父節(jié)點 的局部坐標系下的偏移量。
4. 根據(jù)權利要求2所述的基于運動圖的人體運動合成方法，其特征在于，步驟2中，根 據(jù)人體運動周期性規(guī)律，采用雙腳向前位置關系以及步距時序關系為依據(jù)進行運動分割， 依據(jù)公式如下（2)和（3)所示：
其中，PaCe_Changed函數(shù)表示將雙腳向前步距時序曲線的凹凸點作為運動分割點，分 割點時刻函數(shù)賦值為1，否則賦值為〇 ;Fr〇unt_f〇〇t函數(shù)表示某一時刻的右腳是否在左腳 前方，當右腳在前方時，賦值為1，否則賦值為0。
5. 根據(jù)權利要求2所述的基于運動圖的人體運動合成方法，其特征在于，步驟3中，由 于移動類的人體運動，雙腳關節(jié)點的運動特征最能反映運動特征，因此基于世界坐標系下 的關節(jié)點位置點集進行以下的特征提?。翰椒⒉剿?、行步加速度、雙腳空間位置關系特征； 假設世界坐標系下的第i幀的位置點集為C(i，world) {C(i，hip)，C(i，ihip)，C(i，rhip)，? ? ?，C(i，rf〇〇t)， C(uf(rati}，針對雙腳關節(jié)點的特征提取進行說明： (1) 步幅：人體行步時雙腳中心距離的最大值： Dstep=max(D(i,foot)) (4) 其中，D(i，foot) = |C(i，rf(rat)-C(i，lf(Krt)|為第i幀雙腳中心的距離，步幅即是從中提取的 最大距離值； (2) 步速：行步速度，即相鄰兩幀雙腳中心距離差；表示如下（5)所示： V(i,foot) =D(i+1,foot)-D(i,foot) (5) (3) 行步加速度：幀間的步速變化率，采用前后3幀的時序變化率，表達如下（6)所示：A(i,f〇〇t)=V(i+3,foot)-V(i-3,foot)/6 (6) (4) 雙腳前后位置關系：左右雙腳前后位置關系，表達如下（7)所示，當右腳在前時，函 數(shù)值賦1，否則函數(shù)值賦〇，
6.根據(jù)權利要求2所述的基于運動圖的人體運動合成方法，其特征在于，步驟4中，相 似度包括數(shù)值相似和邏輯相似；數(shù)值相似是運動序列底層幀間的相似，邏輯相似是運動序 列高層特征的相似；將兩者進行加權平均確定運動序列的相似度值，表示為如下公式（8) 所示： D(i,j) =w*D(i,j) frame+ (1-w)*D(i,j)fea (8) 其中D(i，j)表示運動序列對（i，j)的相似距離值，D(i，j)fMe是基于DTW的幀間相似 距離值，權值為w;Dist(i，j)fea是基于特征的相似距離值，權值為1-w; 假設運動序列文件共包含m個運動短段，下式（9)為基于DTW的幀間相似度評估公式：
其中，分別求m個短段基于DTW幀間的相似距離值，Ddtw (i，j，k)表示第k個短段的相似 距離值，對其求和后平均即為該運動序列對的幀間相似距離值； DTW算法的原理是從兩個序列的起始元素對開始，運用公式（10)確定下一對元素的移 動順序求得局部最短距離，依次迭代至最終元素對，得到整個序列的累積最短距離； R(i,j) =d(i,j)+min{R(i-l,j-1),R(i~l,j),R(i,j-1)} (10) 其中，min{R(i-l，j-l)，R(i-l，j)，R(i，j-1)}表示相鄰網(wǎng)格局部最短距離值，R(i-1,j-1)表示選用了沿斜線移動，R(i-1,j)表示平行移動，R(i,j-1)表示堅直移動； d(i，j)表示Q(i)，C(j)間的距離值； 運用全局約束窗口的DTW算法限定移動范圍，公式如下（11)所示：
其中，m和n為兩運動序列的幀數(shù)，（i，j)為動態(tài)匹配的幀序列對，S表示動態(tài)匹配時 幀序列對移動范圍； 基于特征的相似度評估公式如下（12)所示：
分別求m個短運動段的基于特征的相似距離值，其中DfM(i，j，k)為第k個短段的相似 距離值，求和后平均即為該運動序列對基于特征相似距離值。
7. 根據(jù)權利要求2所述的基于運動圖的人體運動合成方法，其特征在于，步驟5中，運 動圖邊的權值與相似度值呈正相關，數(shù)據(jù)庫中的運動序列經(jīng)過相似度評估構建一個相似度 鄰接矩陣，運用公式（13)求出對應運動圖邊的權值： Weight(i,j) =exp(Dist(i,j)) (13) 其中，Weight(i，j)為運動圖邊的權值，Dist(i，j)為鄰接矩陣某一元素的相似度值， 運動圖邊的權值與該值呈指數(shù)關系。
8. 根據(jù)權利要求2所述的基于運動圖的人體運動合成方法，其特征在于，步驟6中，首 先將路徑中相鄰運動序列最相似的幀對確定為過渡幀對，然后采用四元數(shù)球面插值方法基 于旋轉數(shù)據(jù)插值，采用線性插值方法基于平移數(shù)據(jù)插值； 四元數(shù)球面插值公式如下（14)所示：
其中，PpP1為兩個關鍵幀的某關節(jié)點的旋轉四元數(shù)，Q為其角度差，t為插值參數(shù)，用 來控制插值過程中平滑過渡的速度；隨著t值的改變，插值角度改變，當t接近1時，插值p 的角度旋轉越接近P1;當t接近O時，插值P的角度旋轉接近PW 線性插值算法公式如下（15)所示： PiUi,yi;Zi) =UP1U1,y1;Z1H(I-U)P2U2,y2,z2)uG[〇, 1] (15) 其中，ue[0, 1]是插值參數(shù)，用來控制起始幀與結束幀之間的過渡速度，通過線性插 值得到的插值節(jié)點Pi (Xi, Yi, Zi)。
【文檔編號】G06T7/20GK104504731SQ201410804589
【公開日】2015年4月8日 申請日期:2014年12月19日 優(yōu)先權日:2014年12月19日
【發(fā)明者】趙明華, 原永芹, 丁曉楓, 莫瑞陽, 曹慧, 石爭浩, 王映輝 申請人:西安理工大學