專(zhuān)利名稱(chēng)：一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維人臉網(wǎng)格的區(qū)域劃分的方法，涉及人臉表情運(yùn)動(dòng)和三維人臉網(wǎng)格變形的方法，屬于計(jì)算機(jī)三維動(dòng)畫(huà)技術(shù)領(lǐng)域。

背景技術(shù)：
三維人臉動(dòng)畫(huà)技術(shù)最早的工作開(kāi)始于1972年。其后的學(xué)者做了很多工作，以期能夠生成逼真生動(dòng)的三維人臉動(dòng)畫(huà)。但由于人臉的解剖學(xué)結(jié)構(gòu)非常復(fù)雜，細(xì)微的非剛性運(yùn)動(dòng)難以用數(shù)學(xué)建模，同時(shí)，人們對(duì)人臉外觀的敏感性，使得這一課題非常困難。目前真實(shí)感三維人臉動(dòng)畫(huà)的工作取得了一些進(jìn)展，基本上可以分為如下幾類(lèi) 基于插值的方法最早的人臉動(dòng)畫(huà)是基于插值的方法。首先由動(dòng)畫(huà)師制作一些特定的人臉表情關(guān)鍵幀，然后用線(xiàn)性插值在這些關(guān)鍵幀之間建立光滑的過(guò)渡。這種方法主要依靠動(dòng)畫(huà)師的個(gè)人能力，而且比較耗時(shí)。
基于自由變形的方法自由變形的方法把三維人臉動(dòng)畫(huà)轉(zhuǎn)化為一個(gè)曲面變形的問(wèn)題。由若干控制點(diǎn)組成了一個(gè)包圍體，包圍體的運(yùn)動(dòng)直接驅(qū)動(dòng)人臉網(wǎng)格的變形。這種方法輸入限制少，但往往需要對(duì)人臉進(jìn)行區(qū)域劃分，這個(gè)過(guò)程對(duì)一般用戶(hù)來(lái)說(shuō)比較困難和繁瑣；而且由于變形體沒(méi)有考慮人臉網(wǎng)格本身的拓?fù)浣Y(jié)構(gòu)，所以變形往往會(huì)產(chǎn)生一些瑕疵。
基于物理建模的方法首先對(duì)人臉的解剖學(xué)結(jié)構(gòu)，如肌肉、頭骨和皮膚進(jìn)行建模，然后運(yùn)動(dòng)捕獲數(shù)據(jù)則可以轉(zhuǎn)化為肌肉收縮的參數(shù)，驅(qū)動(dòng)模型的人臉動(dòng)畫(huà)。這種方法產(chǎn)生的符合人臉的運(yùn)動(dòng)特性，比較真實(shí)，但計(jì)算代價(jià)比較高，且難以快速對(duì)新角色建立物理模型。
基于例子的方法三維人臉動(dòng)畫(huà)被看作是一些特定實(shí)例的線(xiàn)性組合。運(yùn)動(dòng)捕獲數(shù)據(jù)中的運(yùn)動(dòng)向量，直接被用來(lái)估計(jì)線(xiàn)性組合的參數(shù)和插值系數(shù)。預(yù)先定義的實(shí)例則通過(guò)這些參數(shù)和系數(shù)被混合在一起。這類(lèi)方法比較穩(wěn)定和準(zhǔn)確，但建立實(shí)例的過(guò)程比較昂貴和繁瑣。
表情克隆的方法為了將已有的三維網(wǎng)格運(yùn)動(dòng)數(shù)據(jù)應(yīng)用到新的三維人臉模上，運(yùn)動(dòng)位移需要針對(duì)網(wǎng)格的局部幾何特征進(jìn)行旋轉(zhuǎn)和縮放。表情克隆可以解決不同三維人臉曲面網(wǎng)格之間的運(yùn)動(dòng)重定向問(wèn)題。
實(shí)時(shí)人臉動(dòng)畫(huà)捕獲通過(guò)計(jì)算機(jī)視覺(jué)算法，視頻中的角色的三維形狀和彩色紋理被實(shí)時(shí)重建。這種方法可以對(duì)特定角色進(jìn)行逼真生動(dòng)的動(dòng)畫(huà)創(chuàng)作，但產(chǎn)生的動(dòng)畫(huà)難以轉(zhuǎn)移到其他角色上。


發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法。此方法可以對(duì)單個(gè)人臉模型進(jìn)行自動(dòng)區(qū)域分割，并通過(guò)分段徑向基函數(shù)對(duì)人臉?lè)莿傂赃\(yùn)動(dòng)進(jìn)行建模，從而生成具有真實(shí)感的人臉動(dòng)畫(huà)；同時(shí)避免了對(duì)人臉功能區(qū)域進(jìn)行手工劃分的繁瑣，具有較好的實(shí)時(shí)性和可擴(kuò)展性。
為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述的技術(shù)方案 基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于該方法包括如下步驟首先獲取稀疏的三維運(yùn)動(dòng)捕獲數(shù)據(jù)和三維人臉曲面網(wǎng)格；然后在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)；采用聚類(lèi)算法對(duì)三維人臉模型進(jìn)行區(qū)域分割；分割得到的曲面片來(lái)訓(xùn)練分段徑向基函數(shù)，控制三維人臉曲面網(wǎng)格的變形；對(duì)邊緣運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合。
所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的獲取稀疏三維運(yùn)動(dòng)捕獲數(shù)據(jù)在人面部的關(guān)鍵運(yùn)動(dòng)部位粘貼反光標(biāo)記點(diǎn)，采用三維運(yùn)動(dòng)捕獲設(shè)備，對(duì)反光標(biāo)記點(diǎn)進(jìn)行視覺(jué)跟蹤，對(duì)面部標(biāo)記點(diǎn)的三維空間位置進(jìn)行三維重建，然后用文件的方式記錄。
所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的獲取三維人臉曲面網(wǎng)格數(shù)據(jù)采用光學(xué)三維掃描儀，獲取人臉的三維幾何信息和彩色紋理信息，并用三維繪圖軟件包繪制在顯示器上。
所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)對(duì)于已經(jīng)獲取的人臉的三維模型，采用三維繪圖軟件包繪制在顯示器上，用計(jì)算機(jī)鼠標(biāo)交互方法，對(duì)人臉模型上的關(guān)鍵運(yùn)動(dòng)部位進(jìn)行選取，所選取的特征點(diǎn)與所獲取的運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的特征點(diǎn)一致，建立運(yùn)動(dòng)捕獲數(shù)據(jù)和三維曲面網(wǎng)格特征點(diǎn)的對(duì)應(yīng)關(guān)系。
所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的采用聚類(lèi)算法對(duì)三維人臉模型進(jìn)行區(qū)域分割基于運(yùn)動(dòng)捕獲數(shù)據(jù)的位移向量的余弦距離和三維人臉網(wǎng)格頂點(diǎn)的短程距離對(duì)運(yùn)動(dòng)捕獲數(shù)據(jù)標(biāo)記點(diǎn)進(jìn)行聚類(lèi)；采用短程距離，即三維曲面上的最短路徑，采用圖論中的最短路徑算法，將兩點(diǎn)之間的最短路徑作為距離度量，用來(lái)表達(dá)三維曲面上的拓?fù)浣Y(jié)構(gòu)；把輸入的人臉網(wǎng)格看作一個(gè)無(wú)向圖，其中無(wú)向圖的結(jié)點(diǎn)和弧由人臉網(wǎng)格的頂點(diǎn)和邊表示，由人臉網(wǎng)格構(gòu)造的無(wú)向圖構(gòu)造一個(gè)鄰接矩陣，無(wú)向圖上結(jié)點(diǎn)

和

之間的短程距離δij由鄰接矩陣的最短路徑算法，即Dijkstra算法得到在三維人臉網(wǎng)格上的控制點(diǎn)到其他所有點(diǎn)的短程距離，并以矩陣的形式存儲(chǔ)起來(lái)； 將余弦距離和短程距離的復(fù)合相似度函數(shù)嵌入到單連接階層聚類(lèi)算法包括如下 1)在一個(gè)特征幀Ei，0≤i≤NF′，其中E0是帶有中立表情的初始幀，對(duì)兩個(gè)標(biāo)記點(diǎn)mki，mji，1≤k，j≤NM，其相似度量函數(shù)為1≤i≤NF′1≤k，j≤NM。其中pki，pji是mki，mji在人臉網(wǎng)格上的對(duì)應(yīng)特征點(diǎn)。對(duì)所有特征幀計(jì)算S(mki，mji)取最大值作為mk，mj的相似度1≤i≤NF′。
2)將每一個(gè)標(biāo)記點(diǎn)分為一個(gè)類(lèi)別，類(lèi)之間的相似度定義為其包含的標(biāo)記點(diǎn)之間的相似度； 3)找到最大相似度的兩個(gè)類(lèi)并將其合并為一類(lèi)； 4)計(jì)算新產(chǎn)生的類(lèi)與其他類(lèi)的相似度，類(lèi)之間的相似度定義為一個(gè)類(lèi)中的任意標(biāo)記點(diǎn)與另一類(lèi)中的任意標(biāo)記點(diǎn)之間的最大相似度； 5)重復(fù)步驟2和3直到類(lèi)之間的最大相似度小于某個(gè)閾值θ。所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的分割得到的曲面片來(lái)訓(xùn)練分段徑向基函數(shù)，控制三維人臉曲面網(wǎng)格的變形在分割后的人臉曲面片中中，學(xué)習(xí)分段徑向基函數(shù)作為能量?jī)?yōu)化的映射函數(shù)，徑向基函數(shù)有多種形式，采用多二次徑向基函數(shù)，其形式如下其中

是輸入數(shù)據(jù)的向量表示，即三維人臉網(wǎng)格頂點(diǎn)的初始位置，W＝[w1，w2，...wn]T是權(quán)值參數(shù)，其中n是控制點(diǎn)的個(gè)數(shù)，γji是輸入頂點(diǎn)j和第i個(gè)控制點(diǎn)之間的距離，σi是松弛系數(shù)。
所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的對(duì)邊緣運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合對(duì)于曲面片沒(méi)有覆蓋到的邊緣頂點(diǎn)運(yùn)動(dòng)，把聚類(lèi)后的標(biāo)記點(diǎn)作為虛擬質(zhì)心，對(duì)人臉網(wǎng)格上的頂點(diǎn)進(jìn)行分類(lèi)，為了判斷某一個(gè)頂點(diǎn)是否屬于某一個(gè)虛擬質(zhì)心，首先計(jì)算這個(gè)頂點(diǎn)到每一個(gè)質(zhì)心的距離，對(duì)每組標(biāo)記點(diǎn)的對(duì)應(yīng)特征點(diǎn)計(jì)算最小包圍盒，然后采用啟發(fā)式規(guī)則判定一個(gè)頂點(diǎn)是否屬于一個(gè)或多個(gè)標(biāo)記點(diǎn)組； 條件1頂點(diǎn)位于此標(biāo)記點(diǎn)類(lèi)的最小包圍盒內(nèi)； 條件2頂點(diǎn)到此標(biāo)記點(diǎn)類(lèi)的距離相比其他類(lèi)的距離為最短； 啟發(fā)式規(guī)則1如果頂點(diǎn)和一個(gè)標(biāo)記點(diǎn)類(lèi)同時(shí)滿(mǎn)足以上兩個(gè)條件，頂點(diǎn)屬于此標(biāo)記點(diǎn)類(lèi)； 啟發(fā)式規(guī)則2如果頂點(diǎn)和一個(gè)標(biāo)記點(diǎn)類(lèi)不能同時(shí)滿(mǎn)足以上兩個(gè)條件，頂點(diǎn)被認(rèn)為是邊緣頂點(diǎn)并被歸類(lèi)到滿(mǎn)足Dist(Ci，vj)≤α·si的一個(gè)或多個(gè)組，其中，Dist是距離函數(shù)，Ci是質(zhì)心，vj是頂點(diǎn)坐標(biāo)，α＞0是放大因數(shù)，si是松弛系數(shù)； 假設(shè)A＝{Ci|Dist(Ci，vj)≤α·si}是頂點(diǎn)vj的相鄰質(zhì)心的集合，為vj分別分配一組權(quán)重wi，j表示vj屬于Ci的程度，作為加權(quán)計(jì)算的權(quán)重。
本發(fā)明的有益效果 1、三維運(yùn)動(dòng)捕獲數(shù)據(jù)給三維人臉動(dòng)畫(huà)提供準(zhǔn)確的時(shí)序保證，三維人臉網(wǎng)格數(shù)據(jù)則提供了準(zhǔn)確的空間保證。三維運(yùn)動(dòng)捕獲數(shù)據(jù)和三維人臉網(wǎng)格數(shù)據(jù)的結(jié)合，可以得到時(shí)空上高精度的三維人臉動(dòng)畫(huà)； 2、引入兩層聚類(lèi)算法對(duì)人臉網(wǎng)格數(shù)據(jù)進(jìn)行區(qū)域劃分，避免了自由變形方法中的人臉功能區(qū)域劃分的復(fù)雜和繁瑣，提高了人臉動(dòng)畫(huà)的制作效率； 3、以區(qū)域分割后的曲面片學(xué)習(xí)分段函數(shù)，運(yùn)動(dòng)捕獲數(shù)據(jù)中的控制點(diǎn)位移作為參數(shù)，對(duì)人臉曲面進(jìn)行變形，并對(duì)曲面片沒(méi)有覆蓋的邊緣區(qū)域進(jìn)行融合處理，可以實(shí)時(shí)生成具有真實(shí)感的三維人臉動(dòng)畫(huà)，同時(shí)保證了人臉肌肉運(yùn)動(dòng)屬性的正確性和變形處理的實(shí)時(shí)性要求。



下面結(jié)合附圖和具體實(shí)施對(duì)本發(fā)明作進(jìn)一步的說(shuō)明； 圖1(a)為本發(fā)明的三維運(yùn)動(dòng)捕獲數(shù)據(jù)； 圖1(b)為本發(fā)明的三維人臉模型； 圖2為本發(fā)明的Voronoi-Cell融合算法的示意圖邊緣頂點(diǎn)的運(yùn)動(dòng)由相鄰單元的運(yùn)動(dòng)加權(quán)計(jì)算。

具體實(shí)施例方式 基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，可以對(duì)單個(gè)人臉模型進(jìn)行自動(dòng)區(qū)域分割，并通過(guò)分段徑向基函數(shù)對(duì)人臉?lè)莿傂赃\(yùn)動(dòng)進(jìn)行建模，從而生成具有真實(shí)感的人臉動(dòng)畫(huà)。首先獲取稀疏的三維運(yùn)動(dòng)捕獲數(shù)據(jù)和三維人臉曲面網(wǎng)格；然后在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)；采用雙層聚類(lèi)算法對(duì)三維人臉模型進(jìn)行區(qū)域分割；分割得到的曲面片來(lái)訓(xùn)練分段徑向基函數(shù)；邊緣運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合。該方法包括如下步驟 (1)獲取稀疏三維運(yùn)動(dòng)捕獲數(shù)據(jù)通過(guò)快速光學(xué)攝像機(jī)，將綁有反光標(biāo)記的人臉運(yùn)動(dòng)采集，然后用文件的方式記錄。
(2)獲取三維人臉曲面網(wǎng)格數(shù)據(jù)采用光學(xué)三維掃描儀，將特定人臉的三維信息和彩色紋理信息記錄，并用三維繪圖軟件包繪制在顯示器上。
(3)在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)將運(yùn)動(dòng)捕獲數(shù)據(jù)中的全部或者部分標(biāo)記點(diǎn)對(duì)應(yīng)的在三維人臉曲面網(wǎng)格上指名，建立運(yùn)動(dòng)捕獲數(shù)據(jù)和三維曲面網(wǎng)格的對(duì)應(yīng)關(guān)系。
(4)采用雙層聚類(lèi)算法對(duì)三維人臉模型進(jìn)行區(qū)域劃分基于運(yùn)動(dòng)捕獲數(shù)據(jù)的位移向量的余弦距離和三維人臉網(wǎng)格頂點(diǎn)的流形距離對(duì)運(yùn)動(dòng)捕獲數(shù)據(jù)標(biāo)記點(diǎn)進(jìn)行聚類(lèi)，通過(guò)聚類(lèi)后的標(biāo)記點(diǎn)組對(duì)人臉模型的頂點(diǎn)進(jìn)行分割；所述的采用短程距離，即三維曲面上的最短路徑對(duì)三維曲面上的拓?fù)浣Y(jié)構(gòu)和縫隙進(jìn)行建模采用圖論中的最短路徑算法，將兩點(diǎn)之間的最短路徑作為它們之間的距離度量。
(5)分割得到的曲面片所覆蓋的運(yùn)動(dòng)捕獲標(biāo)記點(diǎn)作為控制頂點(diǎn)，用來(lái)訓(xùn)練分段徑向基函數(shù)，指導(dǎo)曲面片上其他三維人臉網(wǎng)格頂點(diǎn)運(yùn)動(dòng)；曲面片沒(méi)有覆蓋到的邊緣頂點(diǎn)運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合。
實(shí)施例 首先可通過(guò)美國(guó)MotionAnalysis公式的Hawk三維運(yùn)動(dòng)數(shù)據(jù)捕獲設(shè)備采集人臉的運(yùn)動(dòng)數(shù)據(jù)，表演者的面部主要特征點(diǎn)用反光材料做標(biāo)記，如圖1(左)所示，或者從計(jì)算機(jī)存儲(chǔ)設(shè)備中讀取已經(jīng)捕獲的三維運(yùn)動(dòng)數(shù)據(jù)；另外，通過(guò)3DCamega三維掃描儀建立三維人臉網(wǎng)格模型，或者從計(jì)算機(jī)存儲(chǔ)設(shè)備中讀取已有的三維人臉網(wǎng)格模型，采用三維軟件包將三維人臉網(wǎng)格模型繪制在顯示器上。通過(guò)計(jì)算機(jī)輸入設(shè)備在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)，即將運(yùn)動(dòng)捕獲數(shù)據(jù)中的全部或者部分標(biāo)記點(diǎn)對(duì)應(yīng)的在三維人臉曲面網(wǎng)格上標(biāo)明，建立運(yùn)動(dòng)捕獲數(shù)據(jù)和三維曲面網(wǎng)格的對(duì)應(yīng)關(guān)系，如圖1(右)所示。
在建立了三維人臉網(wǎng)格以后，我們用短程距離來(lái)對(duì)人臉的拓?fù)浣Y(jié)構(gòu)進(jìn)行建模。我們把輸入的人臉網(wǎng)格看作一個(gè)無(wú)向圖，其中無(wú)向圖的結(jié)點(diǎn)和弧由人臉網(wǎng)格的頂點(diǎn)和邊表示。根據(jù)圖論，由人臉網(wǎng)格構(gòu)造的無(wú)向圖可以構(gòu)造一個(gè)鄰接矩陣。由圖1(b)所示的三維人臉網(wǎng)格構(gòu)造的鄰接矩陣由5832行和5832列構(gòu)成，只有22984個(gè)非零元素，即，非零元素只有0.068％。無(wú)向圖上結(jié)點(diǎn)

和

之間的短程距離δij可以由鄰接矩陣的最短路徑算法，即Dijkstra算法得到我們計(jì)算了在三維人臉網(wǎng)格上的控制點(diǎn)到其他所有點(diǎn)的短程距離，并以矩陣的形式存儲(chǔ)起來(lái)。
本文將余弦距離和短程距離的復(fù)合相似度函數(shù)嵌入到單連接階層聚類(lèi)算法，其流程如下 6)將每一個(gè)標(biāo)記點(diǎn)分為一個(gè)類(lèi)別，類(lèi)之間的相似度定義為其包含的標(biāo)記點(diǎn)之間的相似度； 7)找到最接近(最大相似度)的兩個(gè)類(lèi)并將其合并為一類(lèi)； 8)計(jì)算新產(chǎn)生的類(lèi)與其他類(lèi)的相似度，類(lèi)之間的相似度定義為一個(gè)類(lèi)中的任意標(biāo)記點(diǎn)與另一類(lèi)中的任意標(biāo)記點(diǎn)之間的最大相似度； 9)重復(fù)步驟2和3直到類(lèi)之間的最大相似度小于某個(gè)閾值θ。閾值θ經(jīng)過(guò)實(shí)驗(yàn)確定為0.75。
把聚類(lèi)后的標(biāo)記點(diǎn)作為虛擬質(zhì)心，對(duì)人臉網(wǎng)格上的頂點(diǎn)進(jìn)行分類(lèi)。為了判斷某一個(gè)頂點(diǎn)是否屬于某一個(gè)虛擬質(zhì)心，首先計(jì)算這個(gè)頂點(diǎn)到每一個(gè)質(zhì)心的距離。同時(shí)，我們對(duì)每組標(biāo)記點(diǎn)的對(duì)應(yīng)特征點(diǎn)計(jì)算最小包圍盒。然后采用啟發(fā)式規(guī)則判定一個(gè)頂點(diǎn)是否屬于一個(gè)或多個(gè)標(biāo)記點(diǎn)組。
條件1頂點(diǎn)位于此標(biāo)記點(diǎn)類(lèi)的最小包圍盒內(nèi)； 條件2頂點(diǎn)到此標(biāo)記點(diǎn)類(lèi)的距離相比其他類(lèi)的距離為最短； 啟發(fā)式規(guī)則1如果頂點(diǎn)和一個(gè)標(biāo)記點(diǎn)類(lèi)同時(shí)滿(mǎn)足以上兩個(gè)條件，頂點(diǎn)屬于此標(biāo)記點(diǎn)類(lèi)； 啟發(fā)式規(guī)則2如果頂點(diǎn)和一個(gè)標(biāo)記點(diǎn)類(lèi)不能同時(shí)滿(mǎn)足以上兩個(gè)條件，頂點(diǎn)被認(rèn)為是邊緣頂點(diǎn)并被歸類(lèi)到滿(mǎn)足Dist(Ci，vj)≤α·si的一個(gè)或多個(gè)組，其中α＞0是放大因數(shù)，可以用來(lái)控制單元邊緣的寬度。本實(shí)施例中α＝1。
假設(shè)A＝{Ci|Dist(Ci，vj)≤α·si}是頂點(diǎn)vj的相鄰質(zhì)心的集合，為vj分別分配一組權(quán)重 表示vj屬于Ci的程度。
在分割后的人臉曲面片中中，學(xué)習(xí)分段徑向基函數(shù)作為能量?jī)?yōu)化的映射函數(shù)。徑向基函數(shù)有多種形式，我們采用了多二次徑向基函數(shù)(Multi-quadricsRBF)，其形式如下 其中

是輸入數(shù)據(jù)的向量表示，即三維人臉網(wǎng)格頂點(diǎn)的初始位置，W＝[w1，w2，...wn]T是權(quán)值參數(shù)，其中n是控制點(diǎn)的個(gè)數(shù)，γji是輸入頂點(diǎn)j和第i個(gè)控制點(diǎn)之間的距離，σi是松弛系數(shù)。對(duì)于邊緣頂點(diǎn)，采用公式1中計(jì)算的權(quán)重，通過(guò)Voronoi-Cell算法進(jìn)行加權(quán)計(jì)算。
本實(shí)施例通過(guò)三維運(yùn)動(dòng)捕獲數(shù)據(jù)給三維人臉動(dòng)畫(huà)提供準(zhǔn)確的時(shí)序保證，通過(guò)三維人臉網(wǎng)格數(shù)據(jù)則提供了準(zhǔn)確的空間保證。三維運(yùn)動(dòng)捕獲數(shù)據(jù)和三維人臉網(wǎng)格數(shù)據(jù)的結(jié)合，可以得到時(shí)空上高精度的三維人臉動(dòng)畫(huà)；引入兩層聚類(lèi)算法對(duì)人臉網(wǎng)格數(shù)據(jù)進(jìn)行區(qū)域劃分，避免了自由變形方法中的人臉功能區(qū)域劃分的復(fù)雜和繁瑣，提高了人臉動(dòng)畫(huà)的制作效率；以區(qū)域分割后的曲面片學(xué)習(xí)分段函數(shù)，運(yùn)動(dòng)捕獲數(shù)據(jù)中的控制點(diǎn)位移作為參數(shù)，對(duì)人臉曲面進(jìn)行變形，并對(duì)曲面片沒(méi)有覆蓋的邊緣區(qū)域進(jìn)行融合處理，可以實(shí)時(shí)生成具有真實(shí)感的三維人臉動(dòng)畫(huà)，同時(shí)保證了人臉肌肉運(yùn)動(dòng)屬性的正確性和變形處理的實(shí)時(shí)性要求。
權(quán)利要求
1.一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于該方法包括如下步驟
1)首先獲取稀疏的三維運(yùn)動(dòng)捕獲數(shù)據(jù)和三維人臉曲面網(wǎng)格；
2)然后在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)；
3)采用聚類(lèi)算法對(duì)三維人臉模型進(jìn)行區(qū)域分割；
4)分割得到的曲面片來(lái)訓(xùn)練分段徑向基函數(shù)，控制三維人臉曲面網(wǎng)格的變形；
5)對(duì)邊緣運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合。
2.根據(jù)權(quán)利要求1所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的獲取稀疏三維運(yùn)動(dòng)捕獲數(shù)據(jù)在人面部的關(guān)鍵運(yùn)動(dòng)部位粘貼反光標(biāo)記點(diǎn)，采用三維運(yùn)動(dòng)捕獲設(shè)備，對(duì)反光標(biāo)記點(diǎn)進(jìn)行視覺(jué)跟蹤，對(duì)面部標(biāo)記點(diǎn)的三維空間位置進(jìn)行三維重建，然后用文件的方式記錄。
3.根據(jù)權(quán)利要求1所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的獲取三維人臉曲面網(wǎng)格數(shù)據(jù)采用光學(xué)三維掃描儀，獲取人臉的三維幾何信息和彩色紋理信息，并用三維繪圖軟件包繪制在顯示器上。
4.根據(jù)權(quán)利要求1所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)對(duì)于已經(jīng)獲取的人臉的三維模型，采用三維繪圖軟件包繪制在顯示器上，用計(jì)算機(jī)鼠標(biāo)交互方法，對(duì)人臉模型上的關(guān)鍵運(yùn)動(dòng)部位進(jìn)行選取，所選取的特征點(diǎn)與所獲取的運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的特征點(diǎn)一致，建立運(yùn)動(dòng)捕獲數(shù)據(jù)和三維曲面網(wǎng)格特征點(diǎn)的對(duì)應(yīng)關(guān)系。
5.根據(jù)權(quán)利要求1所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的采用聚類(lèi)算法對(duì)三維人臉模型進(jìn)行區(qū)域分割基于運(yùn)動(dòng)捕獲數(shù)據(jù)的位移向量的余弦距離和三維人臉網(wǎng)格頂點(diǎn)的短程距離對(duì)運(yùn)動(dòng)捕獲數(shù)據(jù)標(biāo)記點(diǎn)進(jìn)行聚類(lèi)；采用短程距離，即三維曲面上的最短路徑，采用圖論中的最短路徑算法，將兩點(diǎn)之間的最短路徑作為距離度量，用來(lái)表達(dá)三維曲面上的拓?fù)浣Y(jié)構(gòu)；把輸入的人臉網(wǎng)格看作一個(gè)無(wú)向圖，其中無(wú)向圖的結(jié)點(diǎn)和弧由人臉網(wǎng)格的頂點(diǎn)和邊表示，由人臉網(wǎng)格構(gòu)造的無(wú)向圖構(gòu)造一個(gè)鄰接矩陣，無(wú)向圖上結(jié)點(diǎn)
和
之間的短程距離δij由鄰接矩陣的最短路徑算法，即Dijkstra算法得到在三維人臉網(wǎng)格上的控制點(diǎn)到其他所有點(diǎn)的短程距離，并以矩陣的形式存儲(chǔ)起來(lái)；
將余弦距離和短程距離的復(fù)合相似度函數(shù)嵌入到單連接階層聚類(lèi)算法包括如下
1)在一個(gè)特征幀Ei，0≤i≤NF′，其中E0是帶有中立表情的初始幀，對(duì)兩個(gè)標(biāo)記點(diǎn)mki，mji，1≤k，j≤NM，其相似度量函數(shù)為1≤i≤NF′，1≤k，j≤NM。其中
pki，pji是mki，mji在人臉網(wǎng)格上的對(duì)應(yīng)特征點(diǎn)。對(duì)所有特征幀計(jì)算S(mki，mji)取最大值作為mk，mj的相似度
2)將每一個(gè)標(biāo)記點(diǎn)分為一個(gè)類(lèi)別，類(lèi)之間的相似度定義為其包含的標(biāo)記點(diǎn)之間的相似度；
3)找到最大相似度的兩個(gè)類(lèi)并將其合并為一類(lèi)；
4)計(jì)算新產(chǎn)生的類(lèi)與其他類(lèi)的相似度，類(lèi)之間的相似度定義為一個(gè)類(lèi)中的任意標(biāo)記點(diǎn)與另一類(lèi)中的任意標(biāo)記點(diǎn)之間的最大相似度；
5)重復(fù)步驟2和3直到類(lèi)之間的最大相似度小于某個(gè)閾值θ。
6.根據(jù)權(quán)利要求1所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的分割得到的曲面片來(lái)訓(xùn)練分段徑向基函數(shù)，控制三維人臉曲面網(wǎng)格的變形在分割后的人臉曲面片中中，學(xué)習(xí)分段徑向基函數(shù)作為能量?jī)?yōu)化的映射函數(shù)，徑向基函數(shù)有多種形式，采用多二次徑向基函數(shù)，其形式如下其中
是輸入數(shù)據(jù)的向量表示，即三維人臉網(wǎng)格頂點(diǎn)的初始位置，W＝[w1，w2，...wn]T是權(quán)值參數(shù)，其中n是控制點(diǎn)的個(gè)數(shù)，γji是輸入頂點(diǎn)j和第i個(gè)控制點(diǎn)之間的距離，σi是松弛系數(shù)。
7.根據(jù)權(quán)利要求1所述的一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法，其特征在于，所述的對(duì)邊緣運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合對(duì)于曲面片沒(méi)有覆蓋到的邊緣頂點(diǎn)運(yùn)動(dòng)，把聚類(lèi)后的標(biāo)記點(diǎn)作為虛擬質(zhì)心，對(duì)人臉網(wǎng)格上的頂點(diǎn)進(jìn)行分類(lèi)，為了判斷某一個(gè)頂點(diǎn)是否屬于某一個(gè)虛擬質(zhì)心，首先計(jì)算這個(gè)頂點(diǎn)到每一個(gè)質(zhì)心的距離，對(duì)每組標(biāo)記點(diǎn)的對(duì)應(yīng)特征點(diǎn)計(jì)算最小包圍盒，然后采用啟發(fā)式規(guī)則判定一個(gè)頂點(diǎn)是否屬于一個(gè)或多個(gè)標(biāo)記點(diǎn)組；
條件1頂點(diǎn)位于此標(biāo)記點(diǎn)類(lèi)的最小包圍盒內(nèi)；
條件2頂點(diǎn)到此標(biāo)記點(diǎn)類(lèi)的距離相比其他類(lèi)的距離為最短；
啟發(fā)式規(guī)則1如果頂點(diǎn)和一個(gè)標(biāo)記點(diǎn)類(lèi)同時(shí)滿(mǎn)足以上兩個(gè)條件，頂點(diǎn)屬于此標(biāo)記點(diǎn)類(lèi)；
啟發(fā)式規(guī)則2如果頂點(diǎn)和一個(gè)標(biāo)記點(diǎn)類(lèi)不能同時(shí)滿(mǎn)足以上兩個(gè)條件，頂點(diǎn)被認(rèn)為是邊緣頂點(diǎn)并被歸類(lèi)到滿(mǎn)足Dist(Ci，vj)≤α·si的一個(gè)或多個(gè)組，其中，Dist是距離函數(shù)，Ci是質(zhì)心，vj是頂點(diǎn)坐標(biāo)，α＞0是放大因數(shù)，si是松弛系數(shù)；
假設(shè)A＝{Ci|Dist(Ci，vj)≤α·si}是頂點(diǎn)vj的相鄰質(zhì)心的集合，為vj分別分配一組權(quán)重表示vj屬于Ci的程度，作為加權(quán)計(jì)算的權(quán)重。
全文摘要
本發(fā)明公開(kāi)了一種基于區(qū)域分割和分段學(xué)習(xí)的三維人臉動(dòng)畫(huà)制作的方法。它首先獲取稀疏的三維運(yùn)動(dòng)捕獲數(shù)據(jù)和三維人臉曲面網(wǎng)格；然后在三維人臉網(wǎng)格上標(biāo)定運(yùn)動(dòng)捕獲數(shù)據(jù)的對(duì)應(yīng)控制點(diǎn)；分離運(yùn)動(dòng)捕獲數(shù)據(jù)中的剛性和非剛性運(yùn)動(dòng)，并對(duì)齊運(yùn)動(dòng)捕獲數(shù)據(jù)和靜態(tài)人臉模型；基于運(yùn)動(dòng)捕獲數(shù)據(jù)的位移向量的余弦距離和三維人臉網(wǎng)格頂點(diǎn)的流形距離對(duì)人臉模型的頂點(diǎn)進(jìn)行聚類(lèi)；對(duì)分割得到的曲面片訓(xùn)練分段徑向基函數(shù)；邊緣運(yùn)動(dòng)采用改進(jìn)的Voronoi-Cell算法進(jìn)行融合。本發(fā)明可以對(duì)單個(gè)人臉模型進(jìn)行自動(dòng)區(qū)域分割，并通過(guò)分段徑向基函數(shù)對(duì)人臉?lè)莿傂赃\(yùn)動(dòng)進(jìn)行建模，從而生成具有真實(shí)感的人臉動(dòng)畫(huà)。
文檔編號(hào)G06T15/00GK101216949SQ20081005912
公開(kāi)日2008年7月9日 申請(qǐng)日期2008年1月14日 優(yōu)先權(quán)日2008年1月14日
發(fā)明者莊越挺, 王玉順, 俊 肖, 飛 吳 申請(qǐng)人:浙江大學(xué)