人臉動(dòng)畫合成方法
【專利摘要】一種人臉動(dòng)畫合成方法，包括如下步驟：獲取欲進(jìn)行動(dòng)畫合成的人臉正面圖像；基于所述人臉正面圖像進(jìn)行三維人臉模型估計(jì)；基于人臉特征分析進(jìn)行正面人臉卡通效果合成，獲得正面人臉卡通漫畫效果合成圖；基于所述人臉三維模型估計(jì)以及所述正面人臉卡通漫畫效果合成圖進(jìn)行多姿態(tài)人臉卡通效果合成；將所述合成的多姿態(tài)人臉卡通效果合成嵌入預(yù)設(shè)的動(dòng)畫視頻素材中，得到人臉卡通效果的動(dòng)畫視頻。所述人臉動(dòng)畫合成方法，避免了傳統(tǒng)人工創(chuàng)作人臉卡通效果的動(dòng)畫，實(shí)現(xiàn)簡(jiǎn)單且快速，且可滿足多種用戶不同的個(gè)性化需求。
【專利說明】人臉動(dòng)畫合成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種具有卡通效果的人臉動(dòng)畫合成方法。
【背景技術(shù)】
[0002]隨著手機(jī)、網(wǎng)絡(luò)等多媒體載體的蓬勃發(fā)展，數(shù)字卡通動(dòng)漫產(chǎn)業(yè)迅猛增長(zhǎng)，逐漸成為信息時(shí)代的主流文化產(chǎn)品。
[0003]雖然個(gè)性化卡通動(dòng)畫有著良好的應(yīng)用前景，然而截至目前幾乎所有的個(gè)性化卡通動(dòng)畫都由動(dòng)畫師手工創(chuàng)作而成，產(chǎn)量低、成本高，不能滿足消費(fèi)者日益增長(zhǎng)的個(gè)性化消費(fèi)需求。

【發(fā)明內(nèi)容】
[0004]有鑒于此，有必要提供一種快速且能夠滿足個(gè)性化需求的人臉動(dòng)畫合成方法。
[0005]一種人臉動(dòng)畫合成方法，包括如下步驟:
[0006]獲取欲進(jìn)行動(dòng)畫合成的人臉正面圖像；
[0007]基于所述人臉正面圖像進(jìn)行三維人臉模型估計(jì)；
[0008]基于人臉特征分析進(jìn)行正面人臉卡通效果合成，獲得正面人臉卡通漫畫效果合成圖；
[0009]基于所述人臉三維模型估計(jì)以及所述正面人臉卡通漫畫效果合成圖進(jìn)行多姿態(tài)人臉卡通效果合成；
[0010]將所述合成的多姿態(tài)人臉卡通效果合成嵌入預(yù)設(shè)的動(dòng)畫視頻素材中，得到人臉卡通效果的動(dòng)畫視頻。
[0011]優(yōu)選地，所述基于所述人臉正面圖像進(jìn)行三維人臉模型估計(jì)的步驟進(jìn)一步包括:
[0012]構(gòu)建一個(gè)包含m個(gè)三維人臉形狀模型的訓(xùn)練集Is1, S2，…，S1J，令三維模型Sj (I ^ j ^ m)上與人臉圖像上的特征點(diǎn)pt = (ut, vt) 7相對(duì)應(yīng)的頂點(diǎn)為vtj,其中1≤t≤k,k為所述人臉圖像上特征點(diǎn)的數(shù)目。
[0013]優(yōu)選地，采用優(yōu)化能量函數(shù):
[0014]f (v) = argmin(| I Pt-(vtJ) 1:21 |),
[0015]尋找最優(yōu)的三維點(diǎn)使得其頂點(diǎn)的二維坐標(biāo)與Pt最接近。
[0016]優(yōu)選地，以上述能量函數(shù)為基礎(chǔ)，利用基于稀疏線性模型的優(yōu)化算法，把所有特征點(diǎn)看成一個(gè)整體，并將其組合成一個(gè)稀疏的形狀向量，然后利用訓(xùn)練庫(kù)中的先驗(yàn)知識(shí)對(duì)稀疏向量有缺失的數(shù)據(jù)進(jìn)行整體估計(jì)，從而獲得特征點(diǎn)的類三維坐標(biāo)。
[0017]優(yōu)選地，在獲得類三維坐標(biāo)特征點(diǎn)后，利用基于特征點(diǎn)形變技術(shù)的三維人臉模型重建方法進(jìn)行三維人臉模型重建。
[0018]優(yōu)選地，所述三維人臉模型重建的方法包括:
[0019]設(shè)模型的I個(gè)頂點(diǎn)組成一個(gè)三維點(diǎn)集為:Q= Ix1, X2，…，Xl}，其中下標(biāo)在k以內(nèi)的為估計(jì)有類三維信息的特征點(diǎn)，類三維信息的特征點(diǎn)的優(yōu)化估計(jì)值為:Y = Iy1, y2,…，yj，利用如下的形變技術(shù)估計(jì)三維人臉模型:
【權(quán)利要求】
1.一種人臉動(dòng)畫合成方法，包括如下步驟: 獲取欲進(jìn)行動(dòng)畫合成的人臉正面圖像； 基于所述人臉正面圖像進(jìn)行三維人臉模型估計(jì)； 基于人臉特征分 析進(jìn)行正面人臉卡通效果合成，獲得正面人臉卡通漫畫效果合成圖； 基于所述人臉三維模型估計(jì)以及所述正面人臉卡通漫畫效果合成圖進(jìn)行多姿態(tài)人臉卡通效果合成； 將所述合成的多姿態(tài)人臉卡通效果合成嵌入預(yù)設(shè)的動(dòng)畫視頻素材中，得到人臉卡通效果的動(dòng)畫視頻。
2.如權(quán)利要求1所述的人臉動(dòng)畫合成方法，其特征在于:所述基于所述人臉正面圖像進(jìn)行三維人臉模型估計(jì)的步驟進(jìn)一步包括: 構(gòu)建一個(gè)包含m個(gè)三維人臉形狀模型的訓(xùn)練集Is1, S2，…，S1J，令三維模型Sj (I ^ j ^ m)上與人臉圖像上的特征點(diǎn)pt = (ut, vt) 7相對(duì)應(yīng)的頂點(diǎn)為vtj,其中1≤t≤k,k為所述人臉圖像上特征點(diǎn)的數(shù)目。
3.如權(quán)利要求2所述的人臉動(dòng)畫合成方法，其特征在于:采用優(yōu)化能量函數(shù):
f (V) = argmin(| I Pt-(vtJ) 1:21 |), 尋找最優(yōu)的三維點(diǎn)使得其頂點(diǎn)的二維坐標(biāo)與Pt最接近。
4.如權(quán)利要求3所述的人臉動(dòng)畫合成方法，其特征在于:以上述能量函數(shù)為基礎(chǔ)，利用基于稀疏線性模型的優(yōu)化算法，把所有特征點(diǎn)看成一個(gè)整體，并將其組合成一個(gè)稀疏的形狀向量，然后利用訓(xùn)練庫(kù)中的先驗(yàn)知識(shí)對(duì)稀疏向量有缺失的數(shù)據(jù)進(jìn)行整體估計(jì)，從而獲得特征點(diǎn)的類三維坐標(biāo)。
5.如權(quán)利要求4所述的人臉動(dòng)畫合成方法，其特征在于:在獲得類三維坐標(biāo)特征點(diǎn)后，利用基于特征點(diǎn)形變技術(shù)的三維人臉模型重建方法進(jìn)行三維人臉模型重建。
6.如權(quán)利要求5所述的人臉動(dòng)畫合成方法，其特征在于:所述三維人臉模型重建的方法包括: 設(shè)模型的I個(gè)頂點(diǎn)組成一個(gè)三維點(diǎn)集為:Q = Ix1, χ2,…，Xl}，其中下標(biāo)在k以內(nèi)的為估計(jì)有類三維信息的特征點(diǎn)，類三維信息的特征點(diǎn)的優(yōu)化估計(jì)值為:Y = {y1, y2,…，yk}，利用如下的形變技術(shù)估計(jì)三維人臉模型:
7.如權(quán)利要求1所述的人臉動(dòng)畫合成方法，其特征在于:所述基于人臉特征分析進(jìn)行正面人臉卡通效果合成的步驟包括: 采用基于主動(dòng)形狀模型技術(shù)的人臉特征點(diǎn)定位方法，并且根據(jù)人眼特征定位點(diǎn)進(jìn)行尺度、旋轉(zhuǎn)變換實(shí)現(xiàn)歸一化，通過貝塞爾曲線連接的方式獲得線條畫效果的正面人臉卡通化圖像。
8.如權(quán)利要求1所述的人臉動(dòng)畫合成方法，其特征在于:所述基于所述人臉三維模型估計(jì)以及所述正面人臉卡通漫畫效果合成圖進(jìn)行多姿態(tài)人臉卡通效果合成的步驟包括: 對(duì)所述正面人臉卡通漫畫效果合成圖像和三維人臉模型分別進(jìn)行Delaunay三角剖分方案，獲得Delaunay三角剖分結(jié)果后，結(jié)合正面人臉卡通漫畫效果合成圖中人臉特征點(diǎn)以及三維人臉模型中的人臉特征點(diǎn)將正面人臉卡通化圖像作為紋理映射到估計(jì)得到的三維人臉模型上； 利用幾何剛體變換矩陣結(jié)合預(yù)設(shè)參數(shù)投影矩陣將三維人臉模型進(jìn)行姿態(tài)變換并投影成二維圖像從而得到多姿態(tài)人臉卡通漫畫效果合成結(jié)果。
9.如權(quán)利要求8所述的人臉動(dòng)畫合成方法，其特征在于:在進(jìn)行Delaunay三角剖分方案時(shí)，首先將三維人臉模型的點(diǎn)投影到二維圖像平面，再在所述二維圖像平面上進(jìn)行Delaunay三角剖分，最后根據(jù)其連接關(guān)系確定三維空間中點(diǎn)的連接關(guān)系。
10.如權(quán)利要求1所述的人臉動(dòng)畫合成方法，其特征在于:在獲得多姿態(tài)人臉卡通效果合成結(jié)果后，根據(jù)所述預(yù)設(shè)的動(dòng)畫視頻素材中主角臉部姿態(tài)選擇對(duì)應(yīng)的人臉卡通漫畫效果合成結(jié)果替換原有主角，得到人臉卡通效果的動(dòng)畫視頻。
11.如權(quán)利要求10所述的人臉動(dòng)畫合成方法，其特征在于:利用最小化目標(biāo)函數(shù):
argrnin1 |||V/ — v||2 使替換的頭像和背景平滑融合，其中I為平滑后的圖像，V為原卡通動(dòng)畫圖像的梯度場(chǎng)。
【文檔編號(hào)】G06T13/40GK103971394SQ201410214160
【公開日】2014年8月6日 申請(qǐng)日期:2014年5月21日 優(yōu)先權(quán)日:2014年5月21日
【發(fā)明者】沈曄湖 申請(qǐng)人:中國(guó)科學(xué)院蘇州納米技術(shù)與納米仿生研究所