專利名稱：基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于分層建模及多體驅(qū)動的三維人臉動畫的實(shí)現(xiàn)方法，是以分層人臉建模為切入點(diǎn)，從人臉各部位剛?cè)嵝泽w的不同運(yùn)動及表情特征等方面出發(fā)，實(shí)現(xiàn)了三維虛擬人臉建模及表情驅(qū)動。
背景技術(shù)：
三維的虛擬現(xiàn)實(shí)能帶給人們強(qiáng)烈的視覺沖擊力，其中，虛擬人物是虛擬世界的活動主體，隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬人物的設(shè)計(jì)成為令人關(guān)注的研究課題。研究人臉建模與表情驅(qū)動是合成虛擬人的一個非常關(guān)鍵的環(huán)節(jié)，己成為計(jì)算機(jī)圖形圖像領(lǐng)域的一個研
究熱點(diǎn)?，F(xiàn)有的人臉合成方法大致可以分為基于幾何、基于表演驅(qū)動、基于圖像三大類。各種不同的方法之間并沒有嚴(yán)格的界限，為了產(chǎn)生更好的合成效果，往往需要融合多種方法?；趲缀蔚姆椒ǘ鄳?yīng)用于三維點(diǎn)集構(gòu)成的曲面片所表示的人臉模型，通過直接修改人臉模型上的網(wǎng)格點(diǎn)位置或間接移動頂點(diǎn)位置等來得到人臉面部表情動畫；基于表演驅(qū)動的方法多是利用傳感器來捕捉人臉模型的運(yùn)動情況，并把這些運(yùn)動信息數(shù)字化，作為控制人臉模型運(yùn)動的動畫參數(shù)；基于圖像的方法則是利用輸入的二維圖像或視頻來變形人臉模型，從而得到目標(biāo)人臉的狀態(tài)?；趲缀蔚姆椒ㄓ挚梢苑譃殛P(guān)鍵幀插值法，參數(shù)模型，基于物理的肌肉模型，偽肌肉模型?；趫D像的方法大致可以分為以下幾類圖像形變，動態(tài)紋理映射，面色表情變化等。人臉建模及驅(qū)動的終極目標(biāo)是建立實(shí)時的、高度自動化的、真實(shí)感的、個性化的虛擬人臉系統(tǒng)。現(xiàn)有的人臉驅(qū)動方法，多將人臉的眼、嘴、面頰等可視部分常被視為一個整體，由三角形網(wǎng)格或樣條曲面來表示，這將影響人臉各部位相對運(yùn)動引起的可視部分變化，難以描述人臉各部位剛體及柔性體的不同運(yùn)動特征。如前所述的基于圖像的方法真實(shí)感較好，但資源占用率較大；基于肌肉模型的方法數(shù)據(jù)量及計(jì)算量較小，但多采用線性方法描述皮膚形變與所受施力之間的關(guān)系，忽略了人臉各器官的粘彈性特性，影響人臉動畫的真實(shí)感。因此，針對當(dāng)前單一人臉模型的缺陷，根據(jù)人臉各部位不同的解剖學(xué)及物理特性， 建立分層人臉模型；從力學(xué)原理出發(fā)，考慮人臉各部位的粘彈性特征，建立肌肉施力收縮與皮膚受力形變之間的非線性關(guān)系，以模擬更加真實(shí)細(xì)膩的表情合成與嘴部驅(qū)動效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對已有技術(shù)存在的缺陷，提供一種基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法，在普通設(shè)備以及盡可能少的交互條件下，在降低數(shù)據(jù)量及計(jì)算量，提高運(yùn)動及表情表示的普適度的條件下，有效地表示和驅(qū)動具有真實(shí)感的人臉模型的運(yùn)動及表情。本發(fā)明主要研究了以下幾個部分
1. 建立了皮膚一肌肉一骨骼一眼球分層人臉模型，該模型將人臉分為柔性體和剛性體兩類，對柔性體建立三角網(wǎng)格形變模型，對剛性體建立幾何參數(shù)非形變模型，以解決單一網(wǎng)格或曲面模型所帶來的無法表示人臉各部位相對運(yùn)動引起的可視部分變化的缺陷。2.提出了多體驅(qū)動產(chǎn)生人臉表情的方法，對眼球建立大小兩個球體組成的繞大球球心旋轉(zhuǎn)的剛體模型，對皮膚采用肌肉收縮驅(qū)動，對嘴部采用骨骼與肌肉共同驅(qū)動，以解決單一肌肉驅(qū)動方法或形變模型難以描述人臉各部位剛體及柔性體的不同運(yùn)動特征的缺陷，提高了人臉模型的真實(shí)感與靈活性。3.在肌肉建模方面，對寬線性肌(額肌)加入皺紋控制因子，以實(shí)現(xiàn)更加細(xì)膩真實(shí)的人臉額部皺紋效果；根據(jù)口輪匝肌是隨口型變化的三維環(huán)狀肌肉以及體積不變原理，改進(jìn)Waters 二維橢圓口輪匝肌為三維體結(jié)構(gòu)，增加了厚度因素，以表現(xiàn)出更復(fù)雜細(xì)膩的唇部表情變化。4.針對包含了下頌骨、牙齒等剛性體及嘴唇等柔性體的嘴部驅(qū)動，本文綜合考慮三方面因素下頌骨驅(qū)動、三維口輪匝肌收縮及唇部曲線參數(shù)化，模擬嘴部真實(shí)感表情驅(qū)動。在下頌骨驅(qū)動中，加入咀嚼肌的建模以帶動下頌骨的運(yùn)動，下頌骨可以做簡單的平移以及旋轉(zhuǎn)運(yùn)動，帶動牙齒做相同運(yùn)動，帶動唇部及嘴部周遭皮膚做相似運(yùn)動，建立了非線性驅(qū)動關(guān)系；在唇部曲線參數(shù)化方面，用唇部曲線三維變化的旋轉(zhuǎn)角度以及平移大小來模擬唇部網(wǎng)格點(diǎn)的位移，用少量的參數(shù)控制唇部曲線變化，數(shù)據(jù)量小，易于控制。根據(jù)上述的研究，本發(fā)明提出一種基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法。首先拍攝人臉自然放松狀態(tài)、雙眼正視前方、頭部垂直地面時的正、側(cè)面照片各一張， 并對其進(jìn)行預(yù)處理；所拍攝的照片背景需色調(diào)單一，以較好地分離人臉圖像；所拍攝人臉部需無遮擋，以較好的定位面部特征點(diǎn)坐標(biāo)；標(biāo)準(zhǔn)人臉柔性體皮膚網(wǎng)絡(luò)模型一包含額頭、 面頰、鼻子、嘴唇，共由1439個頂點(diǎn)、1476個多邊形組成的較稠密三維人臉模型。具體操作步驟包括
1)三維人臉建模；
2)進(jìn)行多體驅(qū)動。所述步驟1)三維人臉建模采用分層人臉建模采用分層人臉建模方法，具體工作步驟為
①對所述人臉照片進(jìn)行特征點(diǎn)提取，變形標(biāo)準(zhǔn)人臉皮膚模型，獲得個性化的人臉皮膚三角網(wǎng)格形變模型，同樣地建立柔性體舌頭、剛性體下頌骨及牙齒三角形網(wǎng)格形變模型與幾何參數(shù)非形變模型；
②根據(jù)步驟①得到的人臉特征點(diǎn)坐標(biāo)，確定柔性體舌頭、剛性體下頌骨及牙齒的幾何大小和大致放置位置；
③利用大小兩個球體建模剛性體眼球，根據(jù)虹膜直徑及大小兩個球體的幾何關(guān)系， 確定眼球抽象模型；
④將步驟①所得到的各部位特征點(diǎn)坐標(biāo)，組合步驟①、②、③所得到的剛?cè)嵝泽w模型，得到真實(shí)感的個性化人臉三維分層模型；
⑤根據(jù)步驟①得到的人臉特征點(diǎn)坐標(biāo)，確定表情肌、咀嚼肌、眼外肌的起止點(diǎn)坐標(biāo)，建立肌肉模型。所述步驟2)進(jìn)行多體驅(qū)動是在所建立的分層人臉模型基礎(chǔ)上，利用不同的驅(qū)動方法對各剛?cè)嵝泽w部位進(jìn)行多體驅(qū)動，其驅(qū)動程序步驟如下①確定窄線性肌、寬線性肌以及括約肌這三類肌肉的參數(shù)大小，利用肌肉收縮組合控制柔性體面部的表情運(yùn)動；
②根據(jù)所建三維人臉模型的剛體眼球模型數(shù)據(jù)，確定眼外肌位置分布，眼球在六條眼外肌的旋轉(zhuǎn)作用力控制下進(jìn)行三維旋轉(zhuǎn)運(yùn)動；
③通過咀嚼肌控制所建立的下頌骨模型，進(jìn)而直接控制嘴部的旋轉(zhuǎn)、平移運(yùn)動，確定嘴部皮膚點(diǎn)在其帶動下的非線性關(guān)系；
④利用體積不變原理，改進(jìn)Waters二維橢圓口輪匝肌為三維體結(jié)構(gòu)，得到嘴部網(wǎng)格點(diǎn)變化量與口輪匝肌的厚度關(guān)系表達(dá)式；
⑤模擬唇部運(yùn)動曲線，聯(lián)合步驟③、④，通過參數(shù)函數(shù)控制唇區(qū)特征點(diǎn)的變化。所述進(jìn)行多體驅(qū)動的方法中，利用漸變網(wǎng)絡(luò)插值技術(shù)，實(shí)現(xiàn)人臉表情動畫。本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯而易見的突出實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn)
1.進(jìn)行剛、柔性體分別建模的優(yōu)點(diǎn)在于對于面部柔性體部位(人臉的皮膚、嘴唇、舌頭等軟組織)，受力時會發(fā)生形變，受力響應(yīng)(形變)與外力不呈線性關(guān)系，是粘彈性體，其應(yīng)力-應(yīng)變是非線性關(guān)系；對于面部的剛體(下頌骨、牙齒等)或近似剛體的部位(眼球等)，可將其運(yùn)動近似為一個整體的旋轉(zhuǎn)或平移，例如牙齒在下頌骨的帶動下做左右平移運(yùn)動或繞下頌骨踝突點(diǎn)相連構(gòu)成的線為軸的旋轉(zhuǎn)，眼球在眼眶內(nèi)做上下、左右旋轉(zhuǎn)。2.在滿足肌肉收縮應(yīng)力特性的前提下，本發(fā)明對Waters的肌肉模型進(jìn)行了改進(jìn)， 相比Waters的肌肉模型，對寬線性肌加入皺紋控制因子，可以模擬更加精細(xì)的額頭皺紋效果；利用六條眼外肌控制驅(qū)動本文所建立的剛體眼球模型，以得到人臉動畫時眼球轉(zhuǎn)動的逼真效果。3.針對所建立的由大小兩個球體組成的剛體眼球模型，以及控制眼球運(yùn)動的眼外肌的起止點(diǎn)位置和運(yùn)動特點(diǎn)，本發(fā)明提出6條眼外肌組合控制剛體眼球模型的方法，可以達(dá)到靈活驅(qū)動眼球的三維旋轉(zhuǎn)運(yùn)動。4.針對所建立的分層人臉模型，本發(fā)明給出了下頌骨帶動牙齒做相同運(yùn)動，帶動唇部及嘴巴下部皮膚做相似運(yùn)動的驅(qū)動方法，建立嘴部所受施力與其應(yīng)變間的非線性關(guān)系；針對實(shí)際口輪匝肌是隨口型變化的三維環(huán)狀結(jié)構(gòu)，根據(jù)體積不變原理，對Waters 二維橢圓口輪匝肌進(jìn)行了改進(jìn)，以實(shí)現(xiàn)更豐富細(xì)膩的嘴部變形效果；分析嘴部動作時唇部的運(yùn)動曲線的變化，建立參數(shù)化的唇部運(yùn)動函數(shù)，彌補(bǔ)了肌肉模型在唇部驅(qū)動上的不足。


圖1是人臉正側(cè)面照片示意圖。圖2是正側(cè)面皮膚模型示意圖。圖3是舌頭、下頌骨及牙齒模型示意圖。圖4是眼球抽象模型示意圖。圖5是眼球模型建模示意圖。圖6是個性化人臉分層模型的示意圖。圖7是本發(fā)明所涉及的表情肌示意圖。圖8是本發(fā)明所涉及的咀嚼肌示意圖。圖9是眼外肌示意圖。
圖10是窄線性肌抽象模型示意圖。圖11是寬線性肌抽象模型示意圖。圖12是額肌皺紋曲線模擬示意圖。圖13是皺紋效果對比圖。其中，(a)為驚奇(無添加皺紋)，(b)為驚奇(添加皺紋正面)，(C)為驚奇(添加皺紋側(cè)面)，(cOw為蹙眉(無添加皺紋)，(e)為蹙眉(添加皺紋正面)， (f)為蹙眉(添加皺紋側(cè)面)。圖14是虛擬眼外肌分布及收縮方向示意圖。圖15是眼部直肌控制效果圖。其中，(a)俯視，(b)仰視，(C)左側(cè)視，(d)右側(cè)視， (e)對眼。圖16是下頌骨運(yùn)動示意圖。其中，(a)下頌骨旋轉(zhuǎn)驅(qū)動，(b)下頌骨平移驅(qū)動。圖17是下頌骨繞軸旋轉(zhuǎn)與沿軸平移效果圖。其中(a)由左至右為下頌骨繞軸旋轉(zhuǎn) Itf、25。、40° , (b)由左至右為下頌骨沿軸向右平移5、10和18個單位距離(嘴部微張B)。圖18是改進(jìn)的口輪匝肌三維抽象模型示意圖。圖19是撅嘴情況正側(cè)面嘴部效果對比圖。其中，(a)自然狀態(tài)，(b) Waters 口輪匝肌收縮，(c)改進(jìn)三維口輪匝肌收縮。圖20是下唇縱向變化示意圖。圖21是唇部運(yùn)動模擬效果圖。其中，(a)開唇口型，(b)降下唇口，(C)凸唇口型， (d)癟唇口型，(e)圓唇口型。圖22是面部表情動畫系統(tǒng)界面示意圖。圖23是個性化三維人臉模型的面部六類基本表情效果圖。其中(a)喜悅，(b)悲傷，(c)憤怒，(d)驚訝，(e)厭惡，(f)恐懼。圖M是吃驚表情動畫序列圖。圖25是眼球轉(zhuǎn)動動畫序列圖。其中，(a)眼球上下轉(zhuǎn)動動畫序列，(b)眼球左右轉(zhuǎn)動動畫序列
具體實(shí)施方式
本發(fā)明的一個優(yōu)選實(shí)施案例結(jié)合附圖詳述如下
本基于分層建模及多體驅(qū)動的三維人懶動畫實(shí)現(xiàn)方法，具體操作步驟如下 1分層人臉建模 1.1剛?cè)嵝泽w分類建模
(1)拍攝人臉自然放松狀態(tài)、雙眼正視前方、頭部垂直地面時的正、側(cè)面照片各一張，并對其進(jìn)行預(yù)處理，如附圖1所示。(2 )根據(jù)標(biāo)準(zhǔn)模型個性化的方法，對標(biāo)準(zhǔn)人臉皮膚網(wǎng)格模型進(jìn)行變形，利用整體變換和局部變換的原則，局部變換采用DFFT算法，得到如附圖2所示人臉皮膚網(wǎng)格模型以及進(jìn)行紋理映射之后的模型效果圖。(3)分別對柔性體舌頭，剛性體下頌骨、牙齒建立三角形網(wǎng)格形變模型與幾何參數(shù)非形變模型。如附圖3所示。(4)由附圖4所示，根據(jù)所得左眼球(右眼球建模方法和左眼相同)角膜中心的三以d為統(tǒng)一單位，由上式可得i , r 0.65^ , I0AIk 0A5d , k ^ 0.23d?？梢越?br> 模出眼球剛體模型，并根據(jù)個性化皮膚模型中的眼眶大小，調(diào)節(jié)眼球比例以滿足放入眼眶的合適尺寸。剛體模型見附圖5。(5)在對人臉各部位進(jìn)行剛?cè)嵝泽w分別建模之后，我們將所建立的各部位模型組合，得到個性化的三維人臉分層模型，如附圖6示。
1.2肌肉建模
根據(jù)解剖學(xué)原理，按照肌肉的位置和實(shí)際功能，在分層人臉模型上建立肌肉模型，基于人面部肌肉的作用方式各不相同的特點(diǎn)，確立窄線性肌、寬線性肌及括約肌的起止點(diǎn)坐標(biāo)。 由附圖7，控制人臉表情和嘴部運(yùn)動的表情肌群包含對稱分布在人臉左右兩側(cè)的8對窄線性肌皺眉肌、降眉肌、上眼瞼提肌、鼻肌、顴肌、笑肌、降口角肌、頦??；一對寬線性肌額??；兩種括約肌眼輪匝肌、口輪匝??；由附圖8，控制下頌骨運(yùn)動的咀嚼肌包含4條窄線性肌咬肌、顳肌、翼內(nèi)肌和翼外肌，主要是配合下頌骨以產(chǎn)生嘴部咀嚼運(yùn)動；由附圖9，眼球受上直肌、下直肌、內(nèi)直肌、外直肌、上斜肌、下斜肌這6條眼外肌控制。2. 體人臉驅(qū)動 2. 1肌肉驅(qū)動
在面部肌肉中，按照運(yùn)動方式的不同分為三類窄線性肌、寬線性肌及括約肌。(1)窄線性肌如附圖10所示，沿著固定于骨骼的肌肉向量方向收縮，一端固定在骨骼上或是皮下脂肪中，另一端則與較為柔軟的皮膚組織相連，是可動點(diǎn)，類似于一個彈簧，作用區(qū)域是扇形。(2)寬線性肌如附圖11所示，由一系列平整的纖維束構(gòu)成，一端固定，另一端與可移動的皮膚組織相連，它的起點(diǎn)和止點(diǎn)可近似為兩條平行線，作用區(qū)域?yàn)榫匦?。對于人面部唯一的寬線性肌額肌，本發(fā)明引入褶皺方程，以更好地模擬額肌收縮時引起的皺紋效果。本發(fā)明用一系列拋物線來模擬皺紋的效果。如附圖12所示。其中點(diǎn)
的皺紋高度為
(2.1)
^力高度控制因子，A是皺紋的最大高度上限，也就是附圖12中拋物線的最高點(diǎn)。設(shè)
為該肌肉可以產(chǎn)生的皺紋條數(shù)，由實(shí)驗(yàn)經(jīng)驗(yàn)決定u力產(chǎn)生的皺紋半周期長度為
7
維坐標(biāo)即大球球心q以及虹膜直徑rf以及Α建立人眼球剛體模型，通過解下列方程可以得到小球半徑r以及小球球心G相對于大球球L· ,的距離。
(r-kf +(d / 2/ = r2(1. 1)
2)
(1
3)
(1
/._V
I
2
I、
■-l.i
、——/
τ - 2 .....__....
i
IL
其中i Siv ,為產(chǎn)生皺紋的區(qū)域，￡越大，產(chǎn)生皺紋的區(qū)域?qū)⒃酱蟆?br> f Iw = L - mi — · Iu(2. 3)
K2uJ
是將變量，以周期如(頻率力映射到[0，2一的區(qū)間，由此產(chǎn)生更多的皺紋。這樣，在該平面肌的作用下，點(diǎn)巧所受到的肌肉收縮力的方程為 - ,、 μ (O- -/；)
而=νφ ⑷(2.4)
其中φ(4)為距離控制函數(shù)Φ(4)與距離因子,4相關(guān)，通過對寬線性肌(額肌)的修正，
加入了皺紋控制因子，當(dāng)額肌收縮時眉毛以上部分會產(chǎn)生表情皺紋，如附圖13所示。2. 2眼球驅(qū)動
根據(jù)附圖14中的眼球的眼外肌起止點(diǎn)位置分布，已知大球球心O1(X17J^Z1)及虹膜直徑d 11_，能得到左眼6條虛擬肌肉起、止點(diǎn)坐標(biāo)分別為 上直肌起點(diǎn)( ! + )而)’止點(diǎn)(X1Jpp1+1.0 ))； 下直肌起點(diǎn)“(Λ + ΜΡΟ ,止點(diǎn)^jvfz1-1.0 ； 外直肌起點(diǎn)( +,止點(diǎn)(( +1.053), , )；
內(nèi)直肌起點(diǎn)+ 而)，止點(diǎn)_廠1.0^0必,巧)； 上斜肌起點(diǎn)(^( -3.5^),^,( +,止點(diǎn)(■XpJvfsj+l.OSrf))；
下斜肌起點(diǎn)(( -—,Ihapyp(Z1-I-C)Sc^)。根據(jù)眼外肌的起止點(diǎn)位置建立肌肉模型，眼球的運(yùn)動是在這6條肌肉的共同作用下進(jìn)行三維運(yùn)動的，肌肉組合方式如下式所示
C = XKiXfi(2.5)
2-1
其中Zi為肌肉收縮因子為肌肉力大小。眼部直肌控制效果見附圖15。2. 3嘴部驅(qū)動
為了實(shí)現(xiàn)豐富多樣的嘴部表情，模擬真實(shí)細(xì)膩的嘴部動作，本發(fā)明從三個方面下頌骨驅(qū)動、口輪匝肌改進(jìn)和唇部曲線參數(shù)化，對嘴部表情動畫的模擬進(jìn)行了較為細(xì)致的研究。(1)牙齒在下頌骨的帶動下做相同運(yùn)動，嘴部及下巴皮膚在下頌骨的驅(qū)動下做相似運(yùn)動，本發(fā)明設(shè)計(jì)了下頌骨應(yīng)力與皮膚形變之間的非線性關(guān)系。
下頌骨的旋轉(zhuǎn)產(chǎn)生嘴部的張閉行為。如附圖16 (a)所示，A為從皮膚盧出發(fā)與旋轉(zhuǎn)軸；同面垂直的向量；作用于點(diǎn)的下頌骨的驅(qū)動力名與旋轉(zhuǎn)軸, 及—灼正交，旋轉(zhuǎn)運(yùn)動時，名與旋轉(zhuǎn)軸 1及€所在的平面垂直。當(dāng)下頌骨繞軸旋轉(zhuǎn)時，作用于下唇及嘴下部皮膚點(diǎn)的驅(qū)動力名可以定義為
權(quán)利要求
1.基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法，其特征在于需要拍攝人臉自然放松狀態(tài)、雙眼正視前方、頭部垂直地面時的正、側(cè)面照片各一張，并對其進(jìn)行預(yù)處理；所拍攝的照片背景需色調(diào)單一，以較好地分離人臉圖像；所拍攝人臉部需無遮擋，以較好的定位面部特征點(diǎn)坐標(biāo)；標(biāo)準(zhǔn)人臉柔性體皮膚網(wǎng)絡(luò)模型一包含額頭、面頰、鼻子、嘴唇，是利用人臉造型軟件i^ceGen產(chǎn)生的，共由1439個頂點(diǎn)、1476個多邊形組成的較稠密三維人臉模型； 具體操作步驟為a.三維人臉建模，b.進(jìn)行多體驅(qū)動。
2.根據(jù)權(quán)利要求1所述的基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法，其特征在于所述步驟a的三維人臉建模采用分層人臉建模方法的具體步驟為a-Ι.對所述人臉照片進(jìn)行特征點(diǎn)提取，變形標(biāo)準(zhǔn)人臉皮膚模型，獲得個性化的人臉皮膚三角網(wǎng)格形變模型，同樣地建立柔性體舌頭、剛性體下頌骨及牙齒三角形網(wǎng)格形變模型與幾何參數(shù)非形變模型，得到人臉特征點(diǎn)坐標(biāo)；a-2.根據(jù)步驟a-1得到的人臉特征點(diǎn)坐標(biāo)，確定柔性體舌頭、剛性體下頌骨及牙齒的幾何大小和大致放置位置；a-3.利用大小兩個球體建模剛性體眼球，根據(jù)虹膜直徑及大小兩個球體的幾何關(guān)系， 確定眼球抽象模型；a-4.將步驟a-Ι所得到的人臉特征點(diǎn)坐標(biāo)，組合步驟a-l、a-2、a-3所得到的剛?cè)嵝泽w模型，得到真實(shí)感的個性化人臉三維分層模型；a-5.根據(jù)步驟a-1得到的人臉特征點(diǎn)坐標(biāo)，確定表情肌、咀嚼肌、眼外肌的起止點(diǎn)坐標(biāo)，建立肌肉模型。
3.根據(jù)權(quán)利要求2所述的基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法，其特征在于所述步驟b進(jìn)行多體驅(qū)動是所建立的分層人臉模型基礎(chǔ)上，利用不同的驅(qū)動方法對各剛?cè)嵝泽w部位進(jìn)行多體驅(qū)動，其驅(qū)動程序步驟如下b_l確定窄線性肌、寬線性肌以及括約肌這三類肌肉的參數(shù)大小，利用肌肉收縮組合控制柔性體面部的表情運(yùn)動；b_2根據(jù)所建三維人臉模型的剛體眼球模型數(shù)據(jù)，確定眼外肌位置分布，眼球在六條眼外肌的旋轉(zhuǎn)作用力控制下進(jìn)行三維旋轉(zhuǎn)運(yùn)動；b-3通過咀嚼肌控制所建立的下頌骨模型，進(jìn)而直接控制嘴部的旋轉(zhuǎn)、平移運(yùn)動，確定嘴部皮膚點(diǎn)在其帶動下的非線性關(guān)系；b-4利用體積不變原理，改進(jìn)Waters 二維橢圓口輪匝肌為三維體結(jié)構(gòu)，得到嘴部網(wǎng)格點(diǎn)變化量與口輪匝肌的厚度關(guān)系表達(dá)式；b_5模擬唇部運(yùn)動曲線，聯(lián)合步驟b-3、b-4，通過參數(shù)函數(shù)控制唇區(qū)特征點(diǎn)的變化。
4.根據(jù)權(quán)利要求3所述的基于分層建模和多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法，其特征在于所述進(jìn)行多體驅(qū)動的方法中，利用漸變網(wǎng)格插值技術(shù)，實(shí)現(xiàn)人臉表情動畫。
全文摘要
本發(fā)明涉及一種基于分層建模及多體驅(qū)動的三維人臉動畫實(shí)現(xiàn)方法。本方法是在建立分層人臉模型的基礎(chǔ)上，根據(jù)各剛?cè)嵝泽w的特性獨(dú)立驅(qū)動，以模擬更加真實(shí)細(xì)膩的表情合成與眼、嘴部驅(qū)動效果。本發(fā)明的實(shí)施僅需拍攝面部無遮擋的模特正、側(cè)面照片各一張，人臉呈自然放松狀態(tài)，雙眼正視前方，頭部垂直地面，通過仿真實(shí)驗(yàn)便可獲得。本發(fā)明作為虛擬人合成的關(guān)鍵環(huán)節(jié)，對人機(jī)交互以及虛擬人語音動畫系統(tǒng)具有重要的實(shí)際應(yīng)用價值。
文檔編號G06T13/40GK102157010SQ20111013652
公開日2011年8月17日 申請日期2011年5月25日 優(yōu)先權(quán)日2011年5月25日
發(fā)明者康晨, 張之江, 曾丹, 裴麗, 鄭大岳, 陳劍 申請人:上海大學(xué)