一種人臉表情克隆方法
【專利摘要】本發(fā)明一種人臉表情克隆方法，涉及三維(3D)圖像的加工，是一種基于運(yùn)動捕捉數(shù)據(jù)的人臉表情克隆方法，一、預(yù)先捕捉一系列人臉面部運(yùn)動序列；二、人臉面部生氣、厭惡、恐懼、高興、悲傷和吃驚六個基本表情信息的運(yùn)動捕捉；三、對運(yùn)動捕捉到的人臉面部六個基本表情信息進(jìn)行處理；四、構(gòu)建源面部和目標(biāo)面部關(guān)鍵模型；五、選取四十一個人臉面部特征點；六、人臉表情的轉(zhuǎn)移；七、生成人臉克隆表情。本發(fā)明克服了現(xiàn)有技術(shù)中均一權(quán)值保真度低和余切權(quán)值計算不穩(wěn)定的問題以及運(yùn)動捕捉設(shè)備有較高的要求和處理速度較慢的缺陷。
【專利說明】一種人臉表情克隆方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的技術(shù)方案涉及三維(3D)圖像的加工，具體地說是一種人臉表情克隆方法。
【背景技術(shù)】
[0002]人臉表情克隆技術(shù)是將人臉的表情克隆到與源模型具有不同拓?fù)浣Y(jié)構(gòu)的目標(biāo)模型上，目標(biāo)模型可以是不同性別不同種族的人，也可以是與人臉拓?fù)浣Y(jié)構(gòu)有很大差異的動物?；跀?shù)據(jù)驅(qū)動的人臉表情克隆技術(shù)充分利用已有的頂點運(yùn)動數(shù)據(jù)可以快速合成真實和自然的克隆表情。近年來，該技術(shù)廣泛的應(yīng)用于計算機(jī)動畫、計算機(jī)游戲和計算機(jī)視覺領(lǐng)域。
[0003]從人的視覺要求出發(fā)，總是希望克隆的人臉表情能夠盡可能地達(dá)到逼真，但由于受模型和計算機(jī)能力的限制，合成的圖像總是與人們的要求有一定的差距。在克隆表情工作后期經(jīng)常需要對眼睛和牙齒這些臉部凹陷的區(qū)域作后期處理，而且變形過程中往往需要融合多種方法，制作要求較高?，F(xiàn)有技術(shù)中的一些研究人員曾利用已有頂點的動畫數(shù)據(jù)，提出了一種基于徑向基函數(shù)(RBF)的表情克隆方法(參見Junyong Noh and UlrichNeumann.Expression cloning.1n Proceedings of ACM SIGGRAPHjpages277 - 288，NewYork, USA, 2001)。這種方法僅僅轉(zhuǎn)移了運(yùn)動矢量，而對于稀疏的源數(shù)據(jù)，將會丟失源模型的部分表情細(xì)節(jié)。還有一些研究人員通過預(yù)先記錄的人臉運(yùn)動捕捉數(shù)據(jù)庫，提出一種基于人臉面部特征點的人臉表情動畫方法來合成真實的表情動畫，然而動畫的質(zhì)量嚴(yán)重依賴于龐大的數(shù)據(jù)庫(參見 Zhigang Deng and Ulrich.Expressive speech animation synthesiswith phoneme-level control.Computer Graph Forum, 27:2096 - 2113,2008)。另有一些研究人員通過增加邊界約束條件，將重定義問題用泊松方程來表示，利用貝葉斯公式產(chǎn)生與源運(yùn)動一致的目標(biāo)動畫，這種方法僅集中于大規(guī)模的臉部變形，沒有考慮現(xiàn)實的皺紋這些小尺度細(xì)節(jié)(參見 Yeongho Seol, J.P.Lewis, Jaewoo Seo, Byungkuk Choi, Ken Aniyoand Junyong Noh.Spacetime expression cloning for blendshapes.ACM Transactions onGraphics, 31:1-12, 2012)。最近，Bhat和Goldenthal等人又提出了一種基于人臉重要輪廓特征的表演捕捉方法，該方法主要是對眼睛和嘴部這些人臉表情的關(guān)鍵區(qū)域進(jìn)行表情匹配處理來得到高質(zhì)量的克隆表情，這種方法對運(yùn)動捕捉設(shè)備有較高的要求(參見Kiran
S.Bhat, Rony Goldenthal, Yuting Ye, Ronald Mallet and Michael Koperwas.High fidelityfacial animation capture and retargeting with contours.1n Proceedings of the ACMSIGGRAPH, pages7-14, New York, USA, 2013)。CN101944238A 公開了一種基于拉普拉斯變換的數(shù)據(jù)驅(qū)動人臉表情合成方法，首先將采集表演者的臉部運(yùn)動數(shù)據(jù)分解為臉部表情運(yùn)動和頭部剛體運(yùn)動，計算載入的中性目標(biāo)人臉模型中各頂點的拉普拉斯坐標(biāo)，然后將臉部表情運(yùn)動遷移到中性目標(biāo)人臉模型上，使得中性目標(biāo)人臉模型具有與表演者一致的表情，最后將頭部剛體運(yùn)動遷移到具有與表演者一致表情的目標(biāo)人臉模型上，使得最終的目標(biāo)人臉模型具有與表演者一致的面部表情和姿態(tài)。此方法的缺點是:對于頂點數(shù)目較多的模型，該方法的處理速度較慢，同時沒有考慮復(fù)雜的眼睛和牙齒運(yùn)動。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是:提供一種人臉表情克隆方法，是一種基于運(yùn)動捕捉數(shù)據(jù)的人臉表情克隆方法，首先使用攝像機(jī)捕捉人臉六種基本表情數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行處理，然后分別構(gòu)建與源面部和目標(biāo)面部模型對應(yīng)的關(guān)鍵模型，并在表現(xiàn)人臉表情的關(guān)鍵區(qū)域選取四十一個人臉面部特征點，通過采用凸權(quán)值的拉普拉斯變形算法將人臉表情轉(zhuǎn)移到目標(biāo)模型上，很好保留了人臉表情的細(xì)節(jié)，克服了現(xiàn)有技術(shù)中均一權(quán)值保真度低和余切權(quán)值計算不穩(wěn)定的問題以及運(yùn)動捕捉設(shè)備有較高的要求和處理速度較慢的缺陷。
[0005]本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是:一種人臉表情克隆方法，是一種基于運(yùn)動捕捉數(shù)據(jù)的人臉表情克隆方法，步驟如下:
[0006]第一步，預(yù)先捕捉一系列人臉面部運(yùn)動序列:
[0007]先利用運(yùn)動捕捉設(shè)備捕捉表演者的面部肌肉活動，收集人臉面部特征點的原始數(shù)據(jù)，即特征點的位置關(guān)系；
[0008]第二步，人臉面部六個基本表情信息的運(yùn)動捕捉:
[0009]利用運(yùn)動捕捉設(shè)備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、聞興、悲傷和吃驚的?目息；
[0010]第三步，對運(yùn)動捕捉到的人臉面部六個基本表情信息進(jìn)行處理:
[0011](I)原始數(shù)據(jù)標(biāo)記標(biāo)號:對人臉面部特征點的原始數(shù)據(jù)進(jìn)行標(biāo)記標(biāo)號，生成統(tǒng)一的人臉面部特征點模板，進(jìn)而在每個人臉面部特征點附近生成局部坐標(biāo)的相關(guān)信息；
[0012](2)數(shù)據(jù)清理:上述(I)中的統(tǒng)一的人臉面部特征點模板提供了相鄰人臉面部特征點的位置、坐標(biāo)以及單個人臉面部特征點的活動范圍信息，利用上述(I)中的局部坐標(biāo)關(guān)系對丟失的人臉面部特征點進(jìn)行數(shù)據(jù)清理；
[0013](3)間隙填充:上述(I)中生成的局部坐標(biāo)相對人臉的前額、鼻尖或者下巴的位置關(guān)系不變，將局部坐標(biāo)看作靜止參考點，根據(jù)三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特征點，四個標(biāo)記作為一組坐標(biāo)來估計和確定丟失人臉面部特征點的間隙位置信息；
[0014](4)數(shù)據(jù)歸一化:在捕捉過程中，對于丟失的人臉面部特征點，通過上面的數(shù)據(jù)清理和間隙填充達(dá)到數(shù)據(jù)歸一化；
[0015]第四步，構(gòu)建源面部和目標(biāo)面部關(guān)鍵模型:
[0016]首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強(qiáng)烈表情為關(guān)鍵表情，然后通過變形源人臉模型和目標(biāo)模型各自帶有的中性表情的基本模型來產(chǎn)生它們的各自帶有的關(guān)鍵表情的關(guān)鍵模型；
[0017]第五步，選取四十一個人臉面部特征點:
[0018]按照MPEG-4標(biāo)準(zhǔn)，在人臉關(guān)鍵表情區(qū)域標(biāo)記四十一個人臉面部特征點，其中四十一個人臉面部特征點需要在人臉表情突出部位周圍選取，就是在前額、左眉、左上眼瞼、右眉、右上眼瞼、左下眼瞼、左臉、鼻子、右下眼瞼、右臉、上嘴唇、下巴和下嘴唇這些表現(xiàn)人臉表情的關(guān)鍵特征區(qū)域進(jìn)行選點；
[0019]第六步，人臉表情的轉(zhuǎn)移[0020](I)對第四步中確定的每一種關(guān)鍵表情通過計算源模型人臉面部特征點的位移來參數(shù)化目標(biāo)模型人臉面部特征點的位移向量:
[0021]在源基本模型上交互地選擇四十一個人臉面部特征點，然后提取它們到生氣、厭惡、恐懼、高興、悲傷和吃驚這六個源關(guān)鍵模型的位移，連接這些位移，形成每個源關(guān)鍵模型的位移向量來參數(shù)化對應(yīng)的目標(biāo)關(guān)鍵模型，標(biāo)記人臉面部特征點時，只在源基本模型上標(biāo)記，其它關(guān)鍵模型的這些人臉面部特征點可以根據(jù)它們與源基本模型的頂點對應(yīng)關(guān)系來自動確定，當(dāng)參數(shù)空間的維數(shù)遠(yuǎn)遠(yuǎn)高于目標(biāo)關(guān)鍵模型的維數(shù)時，要采用主成分分析方法，即PCA方法，進(jìn)行降維；
[0022](2)將全局坐標(biāo)變成拉普拉斯坐標(biāo):
[0023]全局坐標(biāo)是位于全局坐標(biāo)系中的坐標(biāo)，拉普拉斯坐標(biāo)為頂點與其鄰接頂點坐標(biāo)加權(quán)和的差，對每個i = 1，2，...，11，定義叭1)為頂點Vi所有鄰接點的集合，Cli為集合N(i)中元素的個數(shù)，拉普拉斯坐標(biāo)可以表示為:
[0024]
【權(quán)利要求】
1.一種人臉表情克隆方法，其特征在于:是一種基于運(yùn)動捕捉數(shù)據(jù)的人臉表情克隆方法，步驟如下: 第一步，預(yù)先捕捉一系列人臉面部運(yùn)動序列: 先利用運(yùn)動捕捉設(shè)備捕捉表演者的面部肌肉活動，收集人臉面部特征點的原始數(shù)據(jù)，即特征點的位置關(guān)系； 第二步，人臉面部六個基本表情信息的運(yùn)動捕捉: 利用運(yùn)動捕捉設(shè)備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、高興、悲傷和吃驚的信息； 第三步，對運(yùn)動捕捉到的人臉面部六個基本表情信息進(jìn)行處理: (1)原始數(shù)據(jù)標(biāo)記標(biāo)號:對人臉面部特征點的原始數(shù)據(jù)進(jìn)行標(biāo)記標(biāo)號，生成統(tǒng)一的人臉面部特征點模板，進(jìn)而在每個人臉面部特征點附近生成局部坐標(biāo)的相關(guān)信息； (2)數(shù)據(jù)清理:上述(I)中的統(tǒng)一的人臉面部特征點模板提供了相鄰人臉面部特征點的位置、坐標(biāo)以及單個人臉面部特征點的活動范圍信息，利用上述(I)中的局部坐標(biāo)關(guān)系對丟失的人臉面部特征點進(jìn)行數(shù)據(jù)清理； (3)間隙填充:上述(I)中生成的局部坐標(biāo)相對人臉的前額、鼻尖或者下巴的位置關(guān)系不變，將局部坐標(biāo)看作靜止參考點，根據(jù)三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特征點，四個標(biāo)記作為一組坐標(biāo)來估計和確定丟失人臉面部特征點的間隙位置信息； (4)數(shù)據(jù)歸一化:在捕捉過程中，對于丟失的人臉面部特征點，通過上面的數(shù)據(jù)清理和間隙填充達(dá)到數(shù)據(jù)歸一化； 第四步，構(gòu)建源面部和目標(biāo)面部關(guān)鍵模型: 首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強(qiáng)烈表情為關(guān)鍵表情，然后通過變形源人臉模型和目標(biāo)模型各自帶有的中性表情的基本模型來產(chǎn)生它們的各自帶有的關(guān)鍵表情的關(guān)鍵模型； 第五步，選取四十一個人臉面部特征點: 按照MPEG-4標(biāo)準(zhǔn)，在人臉關(guān)鍵表情區(qū)域標(biāo)記四十一個人臉面部特征點，其中四十一個人臉面部特征點需要在人臉表情突出部位周圍選取，就是在前額、左眉、左上眼瞼、右眉、右上眼瞼、左下眼瞼、左臉、鼻子、右下眼瞼、右臉、上嘴唇、下巴和下嘴唇這些表現(xiàn)人臉表情的關(guān)鍵特征區(qū)域進(jìn)行選點； 第六步，人臉表情的轉(zhuǎn)移 (1)對第四步中確定的每一種關(guān)鍵表情通過計算源模型人臉面部特征點的位移來參數(shù)化目標(biāo)模型人臉面部特征點的位移向量: 在源基本模型上交互地選擇四十一個人臉面部特征點，然后提取它們到生氣、厭惡、恐懼、高興、悲傷和吃驚這六個源關(guān)鍵模型的位移，連接這些位移，形成每個源關(guān)鍵模型的位移向量來參數(shù)化對應(yīng)的目標(biāo)關(guān)鍵模型，標(biāo)記人臉面部特征點時，只在源基本模型上標(biāo)記，其它關(guān)鍵模型的這些人臉面部特征點可以根據(jù)它們與源基本模型的頂點對應(yīng)關(guān)系來自動確定，當(dāng)參數(shù)空間的維數(shù)遠(yuǎn)遠(yuǎn)高于目標(biāo)關(guān)鍵模型的維數(shù)時，要采用主成分分析方法，即PCA方法，進(jìn)行降維； (2)將全局坐標(biāo)變成拉普拉斯坐標(biāo):全局坐標(biāo)是位于全局坐標(biāo)系中的坐標(biāo)，拉普拉斯坐標(biāo)為頂點與其鄰接頂點坐標(biāo)加權(quán)和的差，對每個i = 1，2，...，η,定義N(i)為頂點Vi所有鄰接點的集合，(Ii為集合N(i)中元素的個數(shù)，拉普拉斯坐標(biāo)可以表示為:
2.根據(jù)權(quán)利要求所述一種人臉表情克隆方法，其特征在于:所述運(yùn)動捕捉設(shè)備是Motion Analysis公司的運(yùn)動捕捉設(shè)備。
3.根據(jù)權(quán)利要求所述一種人臉表情克隆方法，其特征在于:所述拉普拉斯坐標(biāo)的基于凸權(quán)值拉普拉斯變形算法流程是如下:開始一導(dǎo)入人臉面部特征點數(shù)據(jù)一目標(biāo)模型參數(shù)化—計算拉普拉斯坐標(biāo)一計算每個頂點的權(quán)重一計算目標(biāo)模型變形坐標(biāo)一人臉克隆表情。
【文檔編號】G06T13/40GK104008564SQ201410269983
【公開日】2014年8月27日 申請日期:2014年6月17日 優(yōu)先權(quán)日:2014年6月17日
【發(fā)明者】張滿囤, 葛新杰, 霍江雷, 肖智東, 游理華, 張建軍 申請人:河北工業(yè)大學(xué)