專利名稱：音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音樂驅(qū)動的舞蹈編排方法，尤其是一種音樂數(shù)據(jù)驅(qū)動的基于機(jī) 器學(xué)習(xí)的舞蹈動作生成方法。
技術(shù)背景根據(jù)給定音樂生成與之匹配的舞蹈動作在計算機(jī)動畫創(chuàng)作領(lǐng)域有著廣泛的 應(yīng)用。在編舞創(chuàng)作中，需要根據(jù)用戶選定的音樂片段編排合適的舞蹈動作，然 而動作與音樂是兩種不同感知通道的時序信號，要想恰當(dāng)?shù)卦u價兩者的匹配程度，就需要建立一個合理的動作-音樂特征匹配模型，該模型應(yīng)當(dāng)能夠?qū)幼骱?音樂信號轉(zhuǎn)化到符合人類認(rèn)知的某種高層語義上進(jìn)行匹配程度的比較，并依據(jù) 所建立的匹配關(guān)系有效地存儲，搜索以及編輯音樂或動作數(shù)據(jù)。在傳統(tǒng)的動畫創(chuàng)作過程中， 一般由動畫師手工建立動作和音樂的匹配模型。 動畫師根據(jù)給定的音樂手工繪制關(guān)鍵幀并由計算機(jī)進(jìn)行插值以創(chuàng)作舞蹈動畫， 這是一項枯燥而耗時的工作。目前在計算機(jī)自動編舞方面已經(jīng)積累了許多有價 值的工作，主要的技術(shù)思路是基于經(jīng)驗建立動作和音樂特征的特征匹配模型， 例如節(jié)奏特征匹配，音符密度和動作強(qiáng)度匹配等。然而其缺陷在于由于主觀因 素導(dǎo)致所建立模型不具有普適性。機(jī)器學(xué)習(xí)通過對已有數(shù)據(jù)進(jìn)行挖掘從而發(fā)現(xiàn) 動作和音樂之間客觀的內(nèi)在聯(lián)系，從而成為一種更為科學(xué)的技術(shù)思路。 發(fā)明內(nèi)容本發(fā)明的目的是提供一種音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生成方法。音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生成方法的步驟如下1) 構(gòu)建動作和音樂數(shù)據(jù)庫，將動作和音樂特征按照節(jié)奏點位置切分為動作和 音樂片段對；2) 對每一對動作和音樂片段對進(jìn)行相關(guān)性分析得到相關(guān)性系數(shù)矩陣，選擇最 優(yōu)的相關(guān)性系數(shù)集合；3) 使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音樂片段對作為訓(xùn)練樣本， 獲得對動作和音樂片段對匹配程度進(jìn)行評分的學(xué)習(xí)器；4) 將用戶輸入系統(tǒng)的音樂按照節(jié)奏特征切分為音樂片段；5) 用戶輸入系統(tǒng)使用動態(tài)規(guī)劃算法綜合考慮學(xué)習(xí)器給出的匹配分值以及前 后動作片段的連貫性，選擇最佳動作序列；6)對動作序列進(jìn)行動作對齊，動作變形以及動作平滑以優(yōu)化結(jié)果。 所述的對每一對動作和音樂片段對進(jìn)行相關(guān)性分析得到相關(guān)性系數(shù)矩陣， 選擇最優(yōu)的相關(guān)性系數(shù)集合步驟為給定動作和音樂片段對(4,M》，4為/號 音樂片段，My為/號動作片段，則4的特征《和i^.的特征p之間的相關(guān)性系數(shù)為c(m)=g(")，-/^2，其中，a， a，《，《分別為義和y的期望和方差，五為期望值運算符，得到相關(guān)性系數(shù)矩陣后，選擇最佳的相關(guān)性系數(shù)特征 子集。所述的使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音樂片段對作為訓(xùn)練 樣本，獲得對動作和音樂片段對匹配程度進(jìn)行評分的學(xué)習(xí)器步驟為該機(jī)器學(xué) 習(xí)方法由7種基本學(xué)習(xí)器構(gòu)成，針對不同的舞種選定最佳的基本學(xué)習(xí)器。數(shù)據(jù)庫中的每個動作-音樂片段對構(gòu)成一個訓(xùn)練樣例，訓(xùn)練樣例以相關(guān)性系數(shù)的形式表示，不同舞種的訓(xùn)練樣例用于訓(xùn)練不同舞種的學(xué)習(xí)器；設(shè)動作和音樂片段對 04,，M》，4為f號音樂片段，M,為y號動作片段，M,.為原始數(shù)據(jù)庫中與4對應(yīng)的動作片段，則(4,吒)的匹配程度誤差分值為 S(4，A) = l_exp(-Z)/Wm(M,,M》)。其中Z)z《(M,，M,)是動作片段M,與M7間的距離。本發(fā)明是在機(jī)器學(xué)習(xí)獲得動作與音樂特征之間關(guān)聯(lián)的基礎(chǔ)上，通過動態(tài)規(guī) 劃算法檢索最佳的動作序列。本發(fā)明允許輸入任意的音樂片段，系統(tǒng)根據(jù)機(jī)器 學(xué)習(xí)得到的最佳學(xué)習(xí)器對數(shù)據(jù)庫中的候選動作片段進(jìn)行評分，同時考慮動作平 滑程度以合成最佳舞蹈動作序列。本發(fā)明解決了動作與音樂特征之間的關(guān)系挖 掘問題，同時提供了一種全自動的舞蹈動作編排創(chuàng)作方法。


圖1是步驟l)的切分動作和音樂片段； 圖2是步驟2)的相關(guān)性系數(shù)矩陣；圖3是基于機(jī)器學(xué)習(xí)的舞蹈動作編排軟件系統(tǒng)的框架和流程； 圖4是基于機(jī)器學(xué)習(xí)的舞蹈動作編排軟件系統(tǒng)的輸出結(jié)果。
具體實施方式
音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生成方法的步驟如下1) 構(gòu)建動作和音樂數(shù)據(jù)庫，將動作和音樂特征按照節(jié)奏點位置切分為動作和 音樂片段對；2) 對每一對動作和音樂片段對進(jìn)行相關(guān)性分析得到相關(guān)性系數(shù)矩陣，選擇最 優(yōu)的相關(guān)性系數(shù)集合；3) 使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音樂片段對作為訓(xùn)練樣本， 獲得對動作和音樂片段對匹配程度進(jìn)行評分的學(xué)習(xí)器；4) 將用戶輸入系統(tǒng)的音樂按照節(jié)奏特征切分為音樂片段；5) 用戶輸入系統(tǒng)使用動態(tài)規(guī)劃算法綜合考慮學(xué)習(xí)器給出的匹配分值以及前 后動作片段的連貫性，選擇最佳動作序列；6) 對動作序列進(jìn)行動作對齊，動作變形以及動作平滑以優(yōu)化結(jié)果。 所述的對每一對動作和音樂片段對進(jìn)行相關(guān)性分析得到相關(guān)性系數(shù)矩陣，選擇最優(yōu)的相關(guān)性系數(shù)集合步驟為給定動作和音樂片段對(^,M》，4為/號 音樂片段，為;'號動作片段，貝U4的特征《和^的特征;p之間的相關(guān)性系數(shù)為C(m)， —,)f("》，其中，A， A，《，《分別為X和r的期望和方差，五為期望值運算符，得到相關(guān)性系數(shù)矩陣后，選擇最佳的相關(guān)性系數(shù)特征 子集。所述的使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音樂片段對作為訓(xùn)練 樣本，獲得對動作和音樂片段對匹配程度進(jìn)行評分的學(xué)習(xí)器步驟為該機(jī)器學(xué) 習(xí)方法由7種基本學(xué)習(xí)器構(gòu)成，針對不同的舞種選定最佳的基本學(xué)習(xí)器。數(shù)據(jù) 庫中的每個動作-音樂片段對構(gòu)成一個訓(xùn)練樣例，訓(xùn)練樣例以相關(guān)性系數(shù)的形式 表示，不同舞種的訓(xùn)練樣例用于訓(xùn)練不同舞種的學(xué)習(xí)器；設(shè)動作和音樂片段對 (4,M》，4為f號音樂片段，M,為/號動作片段，A/,為原始數(shù)據(jù)庫中與4對 應(yīng)的動作片段，則(4,A)的匹配程度誤差分值為-S(4,M》=1-exp(-Z)/Wm(M(,M》)。其中D&m(MpM》是動作片段Mj與間的距離。 實施例準(zhǔn)備工作建立動作和音樂片段的數(shù)據(jù)庫。首先，預(yù)先構(gòu)建動作和音樂數(shù)據(jù)庫，將動作和音樂數(shù)據(jù)按照節(jié)奏點位置切 分為片段(如圖l所示)。爾后提取多種動作特征和多種音樂特征，對每種動作特 征和音樂特征片段對進(jìn)行相關(guān)性分析得到相關(guān)性系數(shù)矩陣。給定設(shè)訓(xùn)練樣例組 合(4，M》，4為/號音樂片段，為_/號動作片段，則4的特征《和M,的特征p之間的相關(guān)性系數(shù)為C(m) = ￡("，)，—")。此處A， A，《，《分別為x和y的期望和方差。so為期望值運算符。得到相關(guān)性系數(shù)矩陣后(如圖2所示)，根據(jù)最優(yōu)特征選擇算法選擇最佳的相關(guān)性系數(shù)特征子集。然后使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音樂片段組合作為訓(xùn)練樣本，通過學(xué)習(xí)獲得可以對動作和音樂匹配程度進(jìn)行評分的學(xué)習(xí)器。該機(jī)器學(xué)習(xí)模型由7種基本學(xué)習(xí)器構(gòu)成。針對不同的舞種選定最佳的基本學(xué)習(xí)器。數(shù)據(jù)庫 中的每個動作-音樂片段對構(gòu)成一個訓(xùn)練樣例，訓(xùn)練樣例以相關(guān)性系數(shù)的形式表 示。不同舞種的訓(xùn)練樣例用于訓(xùn)練不同舞種的學(xué)習(xí)器。訓(xùn)練樣例的生成采用計 算動作距離的方法來衡量。設(shè)動作和音樂片段組合((M》，4為!'號音樂片段， M;為/號動作片段，M,為原始數(shù)據(jù)庫中與4對應(yīng)的動作片段。則(4,M,.)的匹 配程度誤差分值為S(4,M》-l-exp(-"/^(A/,.,M,》。其中Dz'《(M,，M》是動作片 段Mi與M,間的距離。接下來，將用戶輸入系統(tǒng)的音樂按照節(jié)奏特征切分為音樂片段，針對每個 音樂片段，系統(tǒng)使用動態(tài)規(guī)劃算法綜合考慮候選動作片段與音樂片段的匹配程 度以及動作片段的平滑程度，選擇最佳動作序列。動作片段與音樂片段的匹配 程度分值由訓(xùn)練所得的學(xué)習(xí)器給出，動作片段的平滑程度由對動作圖的査詢得 到。最后，對得到的動作序列進(jìn)行動作片段對齊，動作變形以及動作平滑以優(yōu) 化結(jié)果動畫。整個系統(tǒng)的框架與流程如圖3所示，系統(tǒng)合成的舞蹈動作如圖4 所示。
權(quán)利要求
1.一種音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生成方法，方法的步驟如下1)構(gòu)建動作和音樂數(shù)據(jù)庫，將動作和音樂特征按照節(jié)奏點位置切分為動作和音樂片段對；2)對每一對動作和音樂片段對進(jìn)行相關(guān)性分析得到相關(guān)性系數(shù)矩陣，選擇最優(yōu)的相關(guān)性系數(shù)集合；3)使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音樂片段對作為訓(xùn)練樣本，獲得對動作和音樂片段對匹配程度進(jìn)行評分的學(xué)習(xí)器；4)將用戶輸入系統(tǒng)的音樂按照節(jié)奏特征切分為音樂片段；5)用戶輸入系統(tǒng)使用動態(tài)規(guī)劃算法綜合考慮學(xué)習(xí)器給出的匹配分值以及前后動作片段的連貫性，選擇最佳動作序列；6)對動作序列進(jìn)行動作對齊，動作變形以及動作平滑以優(yōu)化結(jié)果。
2. 根據(jù)權(quán)利要求1所訴的一種由音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生 成方法，其特征在于所述的對每一對動作和音樂片段對進(jìn)行相關(guān)性分析得到相 關(guān)性系數(shù)矩陣，選擇最優(yōu)的相關(guān)性系數(shù)集合步驟為給定動作和音樂片段對 (4,M,)， ^為；號音樂片段，M,為y號動作片段，則4的特征《和Mj的特征^之間的相關(guān)性系數(shù)為C(M—五(")f("》，其中，a， a，《，5分別為x和y的期望和方差，E為期望值運算符，得到相關(guān)性系數(shù)矩陣后，選擇最 佳的相關(guān)性系數(shù)特征子集。
3. 根據(jù)權(quán)利要求1所訴的一種由音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作 生成方法，其特征在于，所述的使用基于boost的機(jī)器學(xué)習(xí)方法將每個動作和音 樂片段對作為訓(xùn)練樣本，獲得對動作和音樂片段對匹配程度進(jìn)行評分的學(xué)習(xí)器 步驟為該機(jī)器學(xué)習(xí)方法由7種基本學(xué)習(xí)器構(gòu)成，針對不同的舞種選定最佳的基本學(xué)習(xí)器。數(shù)據(jù)庫中的每個動作-音樂片段對構(gòu)成一個訓(xùn)練樣例，訓(xùn)練樣例以相關(guān)性系數(shù)的形式表示，不同舞種的訓(xùn)練樣例用于訓(xùn)練不同舞種的學(xué)習(xí)器；設(shè) 動作和音樂片段對04,，M》，4為/號音樂片段，為/號動作片段，M,.為原 始數(shù)據(jù)庫中與4對應(yīng)的動作片段，貝U",M》的匹配程度誤差分值為 S(4，= l-exp(-Z)/《(M,，My.》。其中￡>is,m(M,，M》是動作片段M,與My.間的距離。
全文摘要
本發(fā)明公開了一種音樂數(shù)據(jù)驅(qū)動的基于機(jī)器學(xué)習(xí)的舞蹈動作生成方法。方法的步驟如下預(yù)先構(gòu)建的動作和音樂數(shù)據(jù)庫，分析動作和音樂特征的相關(guān)性系數(shù)，選擇最優(yōu)的相關(guān)性系數(shù)集合；使用基于boost的機(jī)器學(xué)習(xí)方法獲得可以對動作和音樂匹配程度進(jìn)行評分的學(xué)習(xí)器；對每個音樂片段，系統(tǒng)綜合考慮候選動作片段與輸入音樂片段的匹配程度以及動作片段的平滑程度，選擇最佳動作片段。本發(fā)明實現(xiàn)了給定任意音樂，系統(tǒng)可以根據(jù)習(xí)得的機(jī)器學(xué)習(xí)模型自動從舞蹈動作數(shù)據(jù)庫中選擇最佳動作序列的功能。解決了動畫制作過程中音樂和動畫難以良好匹配的難題，提供了一個在動畫制作中進(jìn)行全自動編舞的算法框架。
文檔編號G06T15/70GK101615302SQ20091010104
公開日2009年12月30日 申請日期2009年7月30日 優(yōu)先權(quán)日2009年7月30日
發(fā)明者徐頌華, 樊儒昆, 耿衛(wèi)東 申請人:浙江大學(xué)