專利名稱：基于稠密特征對應與形態(tài)學的人臉表情合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺及圖形學技術(shù)領(lǐng)域，特別是提出一種基于稠密特征對應與形態(tài)學濾波的真實感人臉圖像的表情合成方法。
背景技術(shù)：
人臉表情是人類對自身臉部行為姿態(tài)的一種主觀定義。心理學家研究表明，人臉能夠產(chǎn)生大約55,000種不同的表情，其中有30多種是能夠用人類自然語言區(qū)分的。人臉圖像表情變換與合成是計算機視覺以及計算機圖形學領(lǐng)域的一個重要研究分支，它在人臉圖像的編碼和傳輸、虛擬現(xiàn)實、人機交互、遠程視頻會議以及電影特技等方面都有著十分廣泛的應用。由于表情合成技術(shù)涉及到對表情的理解、分類以及表情的生理特征等很多內(nèi)容，同時還與人臉圖像的表達以及建模緊密相關(guān)，所以一直是研究的熱點。
目前人臉表情計算機合成技術(shù)主要有以下四類一類是最早由Parke等人提出的基于關(guān)鍵幀(或稱之為morphing)的方法，這種方法通過對兩種不同的表情下人臉圖像進行morphing等插值技術(shù)，來生成一系列的兩種表情狀態(tài)下的中間過渡圖像。這種方法最大的不足在于需要給出同一個人的兩幅不同表情的圖像。如果我們只有某個人的一幅圖像，要合成此人其他表情下的人臉圖像則無能為力。
第二類是基于參數(shù)的表情合成方法，這類方法包括經(jīng)典的基于肌肉模型/偽肌肉模型的人臉表情合成。雖然這類方法可以合成出效果較好的人臉表情，但是這類方法有一個共同的困難特定人臉與模型匹配的時候需要大量繁瑣的手工參與，同時參數(shù)選擇非常困難，計算開銷量大。
第三類方法是稱之為基于表情映射的方法。這種方法的思想簡單，給定某個人的一幅中性臉的圖像和此人的另一幅帶有某種表情的圖像，通過手動或自動的方式分別對兩幅圖像的特征點(如眼角、嘴角等)進行定位，然后將這種表情變換過程中的特征點的位置偏移量疊加到一個新的人臉圖像的相應特征點上，最后利用圖像變形技術(shù)合成出該新人臉的新的表情圖像。這種方法簡單有效，計算量小，但是最主要的問題是它只考慮了表情變換過程中人臉特征點的位置改變情況，而忽略了紋理細節(jié)的變換，比如表情變換中所產(chǎn)生的皺紋等。
第四類是EKman根據(jù)人臉解剖學的結(jié)構(gòu)特征，提出的FACS(Facial ActionCoding System)，它包括44個表情單元(Action Unit)。表情單元是表情的最小單位，每種表情都可以由其中的部分單元組合而成，表情合成的過程就是控制這些表情單元運動的過程?；贔ACS的表情合成技術(shù)也常常和基于偽肌肉的參數(shù)模型或是基于控制點的面部模型相結(jié)合，來合成人臉表情。這種方法計算開銷比較大，而且主觀性較多，必須事先定義好各種表情單元，然后再定義常見表情的組合公式。由于忽略了很多表情變化的細節(jié)，只能近似反映每種表情的特點，合成的表情不夠生動。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有人臉表情合成方法的缺點，提供一種基于稠密特征對應與形態(tài)學的人臉表情合成方法，該方法基于對人臉圖像進行稠密特征對應表達，利用形態(tài)學方法提取并濾除來源于對準誤差的噪聲，能夠快速合成更具真實感的人臉新表情。
本發(fā)明的技術(shù)方案是這樣實現(xiàn)的方法步驟如下1)根據(jù)參考圖像IAverage的特征線對特定人臉的中性表情A、特定表情A′和待變換人臉的中性表情B進行基于特征線的Warp變換，變形后的人臉圖像稱紋理矢量，變形前后兩圖像對應點的位移即構(gòu)成形狀矢量，這樣得到三幅圖像的矢量化表達分別為(shpA，texA)、(shpA′，texA′)和(shpB，texB)，其中shp表示形狀矢量，tex表示紋理矢量；
2)計算表情變換后的新的形狀矢量shpB′＝shpB+ΔShp，其中ΔShp＝shpA′-shpA；3)計算表情變換比例圖R＝texA′/texA；4)為了消除比例圖R中的黑白斑噪聲，首先基于噪聲和非噪聲區(qū)域選取閾值將比例圖二值化，閾值1.3-1.6用于提取白斑區(qū)域，閾值0.2-0.3用于提取黑斑區(qū)域；然后再對這些噪聲區(qū)域進行形態(tài)學膨脹操作，以完整提取噪聲區(qū)域過渡帶；最后對噪聲區(qū)域進行基于線性插值的填充，完成比例圖去噪。
5)計算表情變換后的新的紋理矢量texB′＝texB*R，這里的R已經(jīng)完成了4)中的去噪處理；6)在(shpB′，texB′)中，形狀矢量shpB′記錄了圖中每個像素點位移方向和距離；將紋理矢量texB′中的每像素依據(jù)shpB′進行位移，就恢復出了重構(gòu)的圖像B′，這也就是前向Warp的過程。
所述的對噪聲區(qū)域進行基于線性插值的填充，采用如下的插值公式Ry′(x,y)=R(x,y1)(1-y-y1y2-y1)+R(x,y2)·y-y1y2-y1Rx′(x,y)=R(x1,y)(1-x-x1x2-x1)+R(x2,y)·x-x1x2-x1R′(x,y)=Ry′(x,y)+Rx′(x,y)2]]>R代表濾波前的比例圖，在定位了待插值點(x，y)與填充區(qū)域邊緣的水平垂直交點坐標后，即可以利用R中這些點的灰度值分別進行線性插值，并平均兩個方向的結(jié)果作為最終插值結(jié)果。
本發(fā)明通過對人臉圖像的分解表達，可以實現(xiàn)圖像中人臉特征的位置信息及灰度信息的有效分離，并能互不干擾的捕獲在表情變化中的形狀和紋理各自的差異。將這種差異映射到一個新的人臉圖像上，并利用形態(tài)學方法提取并濾除來源于對準誤差的噪聲，從而完成表情的合成。實驗證明，本發(fā)明可以很好的表現(xiàn)表情變化中的紋理差異，同時這種思想也符合人們對表情變化的認識，合成出的人臉表情真實感大大增強，此外具有計算量小的優(yōu)點。
本發(fā)明有以下幾個特點1)對人臉圖像特征進行稠密特征表達，并將這種建模方法與人臉圖像的表情變換相結(jié)合。采用這種表達方式不僅避免了對人臉圖像進行的復雜建模，而且不存在參數(shù)選擇主觀因素較多的問題，使得合成的表情具有很強的真實感和表現(xiàn)力。
2)根據(jù)表情映射的思想，將稠密特征對應與表情比例圖相結(jié)合，將人臉圖像分解為形狀和紋理兩部分矢量，在分解的同時完成特征對應，從而避免了為實現(xiàn)象素級稠密對應而在處理中反復使用插值操作，從而大大提高處理速度。
3)采用基于形態(tài)學的方法提取并濾除來源于對準誤差的噪聲。在表情映射方法中，比例圖是通過手工標線完成特征對準，因此對準誤差無可避免，產(chǎn)生白斑和黑斑噪聲。本發(fā)明基于形態(tài)學方法提取該噪聲區(qū)域，并采用線性插值對噪聲區(qū)域進行填充，從而提高了合成表情方法的魯棒性。


圖1是基于稠密特征對應的表情合成算法流程示意圖；圖2是在人臉圖像上手動標記的特征線圖；圖3是對樣本圖像特征線平均所得到的標準臉型圖；圖4是從200個樣本圖像中獲得的平均臉圖；圖5是將一幅新的人臉圖像進行矢量化表達的示意圖。圖中，(a)表示新的人臉圖像；(b)表示形狀矢量；(c)表示紋理矢量。
具體實施例方式
參照圖1所示，基于稠密特征對應的表情合成算法分為離線和在線兩部分，包括的各個步驟假定參考圖像是IAverage，已知某特定人臉的中性(自然)表情圖像為A，特定表情圖像為A′，待變換人臉的中性(自然)表情圖像為B，合成具有類似于A′表情的人臉圖像B′。具體步驟如下1)根據(jù)參考圖像IAverage的臉形對A、A′和B進行圖像的分解，得到各自對應的圖像表達(shpA，texA)、(shpA′，texA′)和(shpB，texB)，其中shp表示形狀矢量，tex表示紋理矢量；2)計算表情變換后的新的形狀矢量shpB′＝shpB+ΔShp，其中ΔShp＝shpA′-shpA；3)計算表情變換后的新的紋理矢量texB′＝texB*R。其中，R＝texA′/texA；4)根據(jù)(shpB′，texB′)，利用前向warp，重構(gòu)得到圖像B′。
圖2是在人臉圖像上手動標記的特征線，通過28根線段標出不同人臉的輪廓，五官位置，這些線段承載了人臉的形狀信息。類似的標記需要在所有庫中人臉圖像上進行，這是后續(xù)圖像矢量化操作的基礎(chǔ)。
圖3是對樣本圖像特征線平均所得到的標準臉型。庫中每一個樣本的特征線通過28根線段的坐標位置來記錄，這就組成了一個28×2×2維的矢量，所有樣本(200個)的特征矢量求算術(shù)平均就得到該標準臉形。
圖4是從200個樣本圖像中獲得的平均臉。上圖是對200個樣本的特征線求平均后得到的平均臉形，它反映了所有樣本臉形的共性。本圖則是直接對這些樣本的對應像素灰度值求平均，它反映了樣本在紋理上的共性。
圖5是將一幅新的人臉圖像進行矢量化表達的示意圖?；诔砻芴卣鞯娜四槇D像表達是一種矢量化表達方法。矢量化的表達可以認為是將特征點集排列成一個有序的矢量，通過一個確定的參考圖像來完成特征對準。在給出參考圖像所定義一個標準臉型之后，對于新的人臉圖像上的所有特征都將相對于這個參考圖像來度量。在本發(fā)明中，這種標準臉型是通過對一組人臉圖像樣本庫的特征線求平均得到的，即圖3所示。
(a)新的人臉圖像可以是任意一幅正面灰度人臉圖像，其針對標準臉形進行矢量化表達后就分解為形狀和紋理矢量兩部分，下面分別予以介紹。
(b)形狀矢量形狀矢量描述了一幅新的人臉圖像ia相對于參考圖像iref的特征位置變化。如果對特征進行像素級的稠密采樣，則形狀矢量就包括2n個值(n為臉部圖像的像素個數(shù))，即每個像素點(或稱之為特征點)都有一個(Δx，Δy)與之相對應。將形狀矢量記為Shpa。
(c)紋理矢量紋理矢量是通過把人臉圖像warp到標準臉型上得到的新圖像。由于完全消除了人臉圖像之間形狀上的差別，紋理矢量是與形狀無關(guān)的。
在已知一個人臉圖像的形狀和紋理矢量之后，要重構(gòu)出對應的人臉圖像，實際上就是一個前向warp的過程。
在這樣一種人臉圖像的表達下，合成某人在新表情下的人臉圖像問題就轉(zhuǎn)化為求解在此表情下的對應人臉圖像的形狀和紋理矢量問題。
考慮A、B兩個人的人臉圖像，令SA、SA′分別代表A的中性臉和某種表情下的形狀矢量，SB、SB′為對應B的中性臉和同樣表情下的形狀矢量。根據(jù)表情映射的基本思想，得出表情合成后的形狀矢量應滿足SB′＝SB+(SA′-SA)。不同于傳統(tǒng)表情映射中的稀疏特征表達，本發(fā)明采用稠密特征表達，因此不需要進行額外的特征點插值處理，大大加快了處理速度。
在表情變化前后，人臉圖像的紋理細節(jié)也會發(fā)生相應的改變，為了捕捉這種紋理細節(jié)的變化，本發(fā)明采用了基于表情比例圖(Expression Ratio Image)的概念。
假定P是表面∏上的任一點，n是該點的法向量，li(1≤i≤m)表示從P到第i個光源的方向，Ii表示對應的光源的強度，ρ是P點處的反射系數(shù)，那么根據(jù)Lambertain模型，在P點的亮度為I=ρΣi=1mIin·li=ρE(n)]]>當表面紋理發(fā)生變化后，P點的亮度變?yōu)镮′=ρΣi=1mIin′·l′i=ρE(n′)]]>那么可以在∏上定義一個實函數(shù)，R≡Σi=1mIin·liΣi=1mIin′·l′i=E(n′)E(n),]]>并把R稱之為表面∏的一個表情比例圖。從上式可以看出R與表面各點的反射系數(shù)無關(guān)。
考慮A、B兩個人的人臉圖像，令TA、TA′分別代表A的中性臉和某種表情下的紋理矢量，TB、TB′為對應B的中性臉和同樣表情下的紋理矢量。那么由上面的表達式可以得到TA′TA=Σi=1mIina′·lia′Σi=1mIina·lia]]>和TB′TB=Σi=1mIinb′·lib′Σi=1mIinb·lib,]]>由于在我們的圖像表達中，紋理矢量對應相同的特征點，所以可以認為在對應點處具有相同的法向量和相同的光源方向。即na＝nb、n′a＝n′b以及l(fā)ia＝lib、l′ia＝l′ib，因此就有TA′TA=TB′TB,]]>即TB′=TBTA′TA.]]>這樣可以得到在新的表情下B的紋理矢量TB′。由于在發(fā)生表情變化的過程中，往往會產(chǎn)生一些局部的皺紋，TA、TA′在對應點處并不完全一致的，所以上面的表達式可以捕捉這種由表情變化所引起的局部的紋理細節(jié)的變化。而傳統(tǒng)的基于表情映射的方法則不考慮這種紋理細節(jié)的變化，而直接令TB′＝TB。
在ERI方法中，比例圖是通過手工標線完成特征對準而得到的，所以對準誤差無可避免，只是程度的不同，這樣就會造成黑斑及白斑噪聲。白斑意味著畸變的高比例因子，而黑斑則是零因子，當該比例圖與目標人臉形狀映射后的灰度圖相乘時，它們都扭曲了ERI的初衷，并影響到表情合成的最終觀感。
通過選取閾值的方式提取出該白斑和黑斑的區(qū)域，然后再對其進行填充以濾除該噪聲。本發(fā)明采用了基于數(shù)學形態(tài)學的方法對表情比例圖中的噪聲區(qū)域進行定位。閾值的選取以不觸及紋理區(qū)域為原則，然而這樣將不能提取噪聲區(qū)域的過渡帶，所以再對其所定位的黑白斑區(qū)域進行膨脹(dilation)運算，目的是完整的提取噪聲區(qū)域及其過渡帶且保護紋理區(qū)域。最后在比例圖中對該噪聲區(qū)域進行填充以濾除噪聲，填充基于線性插值的方法。
權(quán)利要求
1.基于稠密特征對應與形態(tài)學的人臉表情合成方法，其特征在于，包括以下步驟1)根據(jù)參考圖像IAverage的特征線對特定人臉的中性表情A、特定表情A′和待變換人臉的中性表情B進行基于特征線的Warp變換，變形后的人臉圖像稱紋理矢量，變形前后兩圖像對應點的位移即構(gòu)成形狀矢量，這樣得到三幅圖像的矢量化表達分別為(shpA，texA)、(shpA′，texA′)和(shpB，texB)，其中shp表示形狀矢量，tex表示紋理矢量；2)計算表情變換后的新的形狀矢量shpB′＝shpB+ΔShp，其中ΔShp＝shpA′-shpA；3)計算表情變換比例圖R＝texA′/texA；4)為了消除比例圖R中的黑白斑噪聲，首先基于噪聲和非噪聲區(qū)域選取閾值將比例圖二值化，閾值1.3-1.6用于提取白斑區(qū)域，閾值0.2-0.3用于提取黑斑區(qū)域；然后再對這些噪聲區(qū)域進行形態(tài)學膨脹操作，以完整提取噪聲區(qū)域過渡帶；最后對噪聲區(qū)域進行基于線性插值的填充，完成比例圖去噪；5)計算表情變換后的新的紋理矢量texB′＝texB*R，這里的R已經(jīng)完成了4)中的去噪處理；6)在(shpB′，texB′)中，形狀矢量shpB′記錄了圖中每個像素點位移方向和距離；將紋理矢量texB′中的每像素依據(jù)shpB′進行位移，就恢復出了重構(gòu)的圖像B′，這也就是前向Warp的過程。
2.根據(jù)權(quán)利要求1所述的基于稠密特征對應與形態(tài)學的人臉表情合成方法，其特征在于，所述的對噪聲區(qū)域進行基于線性插值的填充，采用如下的插值公式Ry′(x,y)=R(x,y1)(1-y-y1y2-y1)+R(x,y2)·y-y1y2-y1Rx′(x,y)=R(x1,y)(1-x-x1x2-x1)+R(x2,y)·x-x1x2-x1R′(x,y)=Ry′(x,y)+Rx′(x,y)2]]>R代表濾波前的比例圖，在定位了待插值點(x，y)與填充區(qū)域邊緣的水平垂直交點坐標后，即可以利用R中這些點的灰度值分別進行線性插值，并平均兩個方向的結(jié)果作為最終插值結(jié)果。
全文摘要
本發(fā)明提出一種基于稠密特征對應與形態(tài)學的真實感人臉圖像表情合成方法。本發(fā)明通過對人臉圖像的分解表達，可以實現(xiàn)圖像中人臉特征的位置信息及灰度信息的有效分離，并能互不干擾的捕獲在表情變化中的形狀和紋理各自的差異。將這種差異映射到一個新的人臉圖像上，并利用形態(tài)學方法提取來源于對準誤差的黑白斑噪聲區(qū)域，并使用線性插值的方式填充該區(qū)域?qū)崿F(xiàn)濾除噪聲，從而完成整個表情合成過程。實驗證明，本發(fā)明可以很好的表現(xiàn)表情變化中的紋理差異，同時這種處理思想也更符合人們對表情變化的認識，合成出的人臉表情真實感強，此外具有計算量小和魯棒性強的優(yōu)點。
文檔編號G06T5/00GK1870049SQ20061004298
公開日2006年11月29日 申請日期2006年6月15日 優(yōu)先權(quán)日2006年6月15日
發(fā)明者游屈波, 劉躍虎, 袁澤劍, 劉劍毅, 鄭南寧, 杜少毅 申請人:西安交通大學