專利名稱：基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于視頻的三維人臉動(dòng)畫驅(qū) 動(dòng)方法和系統(tǒng)。
背景技術(shù)：
三維人臉動(dòng)畫技術(shù)起步于70年代，其后的研究者做了很多工作以期能夠 生成逼真生動(dòng)的三維人臉動(dòng)畫。當(dāng)前更進(jìn)一步的研究方向是，人們希望能夠?qū)?時(shí)的模擬真實(shí)人臉的各種表情和動(dòng)作，但是由于人臉生理結(jié)構(gòu)本身的復(fù)雜性， 以及人們對(duì)人臉外觀的敏感性，使得達(dá)到這一目標(biāo)非常困難。
一種簡單的實(shí)現(xiàn)方式是，可以通過檢測視頻數(shù)據(jù)中人臉器官特征點(diǎn)的變化 來驅(qū)動(dòng)三維人臉模型中的臉部器官，從而達(dá)到實(shí)時(shí)模擬的動(dòng)畫效果。例如，已 經(jīng)上市的羅技的產(chǎn)品可以通過攝像頭釆集的視頻數(shù)據(jù)來驅(qū)動(dòng)相應(yīng)的三維臉部 器官，進(jìn)而實(shí)現(xiàn)三維人臉動(dòng)畫。
在具體實(shí)現(xiàn)中，首先對(duì)視頻圖像中某一人臉上的嘴巴器官的特征點(diǎn)進(jìn)行實(shí) 時(shí)檢測和跟蹤，如果檢測到其發(fā)生了運(yùn)動(dòng)變化，則進(jìn)一步依據(jù)預(yù)置條件，判定 視頻中嘴巴器官的運(yùn)動(dòng)是張開運(yùn)動(dòng)還是閉合運(yùn)動(dòng)，進(jìn)而驅(qū)動(dòng)相應(yīng)三維模型中的 嘴巴器官同時(shí)作張開運(yùn)動(dòng)或閉合運(yùn)動(dòng)。同理，也可以實(shí)現(xiàn)通過追蹤視頻圖像中 某一人臉上的眉毛、眼睛等器官的特征點(diǎn)變化，實(shí)現(xiàn)對(duì)三維模型中相應(yīng)器官的 驅(qū)動(dòng)。進(jìn)而，通過對(duì)各個(gè)器官的實(shí)時(shí)跟蹤驅(qū)動(dòng)，獲得所需的實(shí)時(shí)模擬動(dòng)畫效果。
但是，由于上述現(xiàn)有技術(shù)的核心構(gòu)思是通過追蹤每個(gè)器官特征點(diǎn)的變化來 對(duì)三維人臉^t型的臉部器官進(jìn)行驅(qū)動(dòng)，進(jìn)而達(dá)到動(dòng)畫效果的；而在實(shí)際應(yīng)用中
由于處理速度和計(jì)算難度的限制，使得通過上述現(xiàn)有技術(shù)所能達(dá)到的實(shí)際的動(dòng) 畫效果比較簡單，不夠逼真，例如對(duì)于嘴巴的驅(qū)動(dòng)，只能實(shí)現(xiàn)筒單的嘴巴張開 和閉合，對(duì)眉毛的驅(qū)動(dòng)則只能簡單的實(shí)現(xiàn)眉毛的上下運(yùn)動(dòng)。
基于上述對(duì)具體處理過程的描述，易于看出，現(xiàn)有的解決方案只能簡單的 完成單個(gè)器官的相應(yīng)驅(qū)動(dòng)，非常機(jī)械，難以實(shí)現(xiàn)更加逼真、更加真實(shí)的三維人
臉動(dòng)畫。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)方 法和系統(tǒng)，能夠?qū)崿F(xiàn)更加逼真、更加真實(shí)的三維人臉動(dòng)畫。
為了解決上述問題，本發(fā)明公開了 一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)方
法，包括以下步驟識(shí)別視頻圖像中的人臉表情；根據(jù)表情識(shí)別結(jié)果和該表情 相應(yīng)的預(yù)置驅(qū)動(dòng)規(guī)則對(duì)通用三維人臉模型上需要變形的器官進(jìn)行變形，得到三 維人臉動(dòng)畫。
優(yōu)選的，所述方法還可以包括依據(jù)當(dāng)前人臉表情的具體程度對(duì)通用三維 人臉模型上相應(yīng)的局部人臉器官進(jìn)行微調(diào)。
進(jìn)一步的，識(shí)別當(dāng)前表情的具體程度可以通過如下步驟實(shí)現(xiàn)檢測跟蹤視 頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)；依據(jù)所述檢測跟蹤數(shù)據(jù)，識(shí)別當(dāng)前 表情的具體程度。
優(yōu)選的，所述方法還可以包括依據(jù)器官變形程度對(duì)通用三維人臉模型上 相應(yīng)的器官進(jìn)行局部微調(diào)。
進(jìn)一步的，確定器官的變形程度可以通過以下步驟實(shí)現(xiàn)檢測跟蹤視頻圖 像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，定位得到視頻圖像中器官的位置和大 ?。粚⒌玫降钠鞴俚奈恢煤痛笮∨c標(biāo)準(zhǔn)模型中相應(yīng)器官的位置和大小進(jìn)行比 較，獲得該器官的變形程度。
優(yōu)選的，所述方法中對(duì)通用三維人臉模型上的變形操作可以通過驅(qū)動(dòng)預(yù)置 控制點(diǎn)來實(shí)現(xiàn)。
進(jìn)一步的，當(dāng)變形操作針對(duì)的器官是嘴巴時(shí)，所述預(yù)置控制點(diǎn)分布于上嘴 唇、下嘴唇、和嘴角。
進(jìn)一步的，當(dāng)變形操作針對(duì)的器官是眼睛時(shí)，所述預(yù)置控制點(diǎn)分布于上、 下眼瞼和眼角。
進(jìn)一步的，當(dāng)變形操作針對(duì)的器官是眉毛時(shí)，所述預(yù)置控制點(diǎn)分布于左眉 毛和右眉毛。
優(yōu)選的，所述方法中，當(dāng)表情識(shí)別結(jié)果是"笑"時(shí)，預(yù)置的驅(qū)動(dòng)規(guī)則為下
眼瞼上的控制點(diǎn)整體向上運(yùn)動(dòng)；上嘴唇上的控制點(diǎn)平行上升，并向兩邊拉升； 下嘴唇上的控制點(diǎn)依序連接形成拋物線的形狀。
優(yōu)選的，所述方法中，當(dāng)表情識(shí)別結(jié)果是"驚訝"時(shí)，預(yù)置的驅(qū)動(dòng)規(guī)則為 上、下嘴唇的控制點(diǎn)相對(duì)于嘴巴中心點(diǎn)分別向上、下運(yùn)動(dòng)；嘴角的控制點(diǎn)向嘴 巴中心點(diǎn)運(yùn)動(dòng)；上、下嘴唇上的控制點(diǎn)同嘴角控制點(diǎn)依序連接形成兩個(gè)拋物線 形狀；眉毛控制點(diǎn)向上運(yùn)動(dòng)。
優(yōu)選的，所述方法中，當(dāng)表情識(shí)別結(jié)果是"憤怒"時(shí)，預(yù)置的驅(qū)動(dòng)規(guī)則為 上嘴唇的控制點(diǎn)整體向上平移；下嘴唇的控制點(diǎn)向下運(yùn)動(dòng)；下嘴唇的控制點(diǎn)同 嘴角控制點(diǎn)依序連接形成拋物線形狀；眉毛控制點(diǎn)向上運(yùn)動(dòng)。
根據(jù)本發(fā)明的實(shí)施例，還公開了一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)的系 統(tǒng)，包括表情識(shí)別裝置，用于識(shí)別視頻圖像中的人臉表情；存儲(chǔ)裝置，用于 存儲(chǔ)預(yù)置的多個(gè)驅(qū)動(dòng)規(guī)則；驅(qū)動(dòng)裝置，用于根據(jù)表情識(shí)別結(jié)果和該表情相應(yīng)的 預(yù)置驅(qū)動(dòng)規(guī)則對(duì)通用三維人臉模型上需要變形的器官進(jìn)行變形，得到三維人臉 動(dòng)畫。
優(yōu)選的，所述系統(tǒng)中還可以包括第一微調(diào)裝置，用于依據(jù)當(dāng)前人臉表情 的具體程度對(duì)通用三維人臉模型上相應(yīng)的局部人臉器官進(jìn)行微調(diào)。
進(jìn)一步.的，所述第一微調(diào)裝置包括檢測跟蹤單元，用于檢測跟蹤視頻圖 像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)；對(duì)比單元，用于依據(jù)所述檢測跟蹤數(shù)據(jù)， 識(shí)別當(dāng)前表情的具體程度；調(diào)整單元，用于根據(jù)被識(shí)別表情的具體程度，對(duì)通 用三維人臉模型上需要局部變形的器官進(jìn)行微調(diào)。
優(yōu)選的，所述系統(tǒng)中還可以包括第二微調(diào)裝置，用于依據(jù)器官變形程度 對(duì)該器官進(jìn)行局部微調(diào)。
進(jìn)一步的，所述第二微調(diào)裝置包括檢測定位單元，用于檢測跟蹤視頻圖 像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，定位得到視頻圖像中 一器官的位置和大 ??；匹配單元，用于將所述器官的位置和大小與標(biāo)準(zhǔn)模型中的器官位置和大小 進(jìn)行比較，獲得該器官的變形程度；協(xié)調(diào)單元，用于根據(jù)器官的變形程度，對(duì) 通用三維人臉模型上需要局部變形的器官進(jìn)行微調(diào)。
與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)
首先，本發(fā)明不是針對(duì)單個(gè)器官的驅(qū)動(dòng)過程，而是先識(shí)別視頻圖像數(shù)據(jù)中 人臉圖像的表情(例如，哭、笑等)，然后依據(jù)預(yù)設(shè)的器官驅(qū)動(dòng)規(guī)則，再來驅(qū)
動(dòng)相應(yīng)的三維人臉;f莫型中的器官，進(jìn)而實(shí)現(xiàn)所需的三維動(dòng)畫效果。由于人臉的
表情比較復(fù)雜，各個(gè)器官之間有較強(qiáng)的聯(lián)動(dòng)關(guān)系，因此，通過依據(jù)所識(shí)別的人
臉表情對(duì)各個(gè)相應(yīng)的器官進(jìn)行統(tǒng)一的驅(qū)動(dòng)，可以達(dá)到更加逼真的動(dòng)畫效果；可 以避免現(xiàn)有技術(shù)采用單個(gè)器官驅(qū)動(dòng)時(shí)，由于單個(gè)器官特征點(diǎn)的運(yùn)動(dòng)^f企測誤差而 導(dǎo)致的動(dòng)畫效果偏差。
其次，本發(fā)明還可以進(jìn)一步實(shí)時(shí)檢測視頻圖像中的器官特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)， 以確定某個(gè)表情的程度(例如，表情為笑，程度包括大笑、微笑等)或者某個(gè) 器官的變形程度，進(jìn)而依據(jù)所確定的表情程度或變形程度對(duì)器官的局部進(jìn)行微 調(diào)，以實(shí)現(xiàn)對(duì)三維模型器官的精細(xì)化驅(qū)動(dòng)，從而得到非常逼真，與真實(shí)人臉非 常相似的三維動(dòng)畫效果。


圖l為本發(fā)明的一種三維人臉動(dòng)畫制作方法實(shí)施例的步驟流程圖； 圖2為本發(fā)明通過識(shí)別人臉表情的具體程度的方法進(jìn)行微調(diào)的 一個(gè)實(shí)施 例的步驟流程圖3為本發(fā)明通過識(shí)別人臉器官變形程度的方法進(jìn)行微調(diào)的一個(gè)實(shí)施例 的步驟流程圖4為 一個(gè)中性表情的人臉示意圖4-1為本發(fā)明具體實(shí)施例中，人臉表情為笑時(shí)的示意圖； 圖4-2為本發(fā)明具體實(shí)施例中，人臉表情為笑時(shí)，下嘴唇上控制點(diǎn)示意圖； 圖5-l為本發(fā)明具體實(shí)施例中，人臉表情為驚訝時(shí)的示意圖； 圖5-2為本發(fā)明具體實(shí)施例中，人臉表情為驚訝時(shí)，上、下嘴唇上控制點(diǎn) 示意圖5_3為本發(fā)明具體實(shí)施例中，人臉表情為驚訝時(shí)，眉毛上控制點(diǎn)示意圖； 圖6-l為本發(fā)明具體實(shí)施例中，人臉表情為憤怒時(shí)的示意圖； ' 圖6-2為本發(fā)明具體實(shí)施例中，人臉表情為憤怒時(shí)，上、下嘴唇上控制點(diǎn) 示意圖7-l至7-3為本發(fā)明具體實(shí)施例中，人臉不同程度的笑臉示意圖； 圖8為本發(fā)明基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)的系統(tǒng)實(shí)施例的結(jié)構(gòu)框圖； 圖9為本發(fā)明第 一微調(diào)裝置實(shí)施例的結(jié)構(gòu)框圖； 圖10為本發(fā)明第二微調(diào)裝置實(shí)施例的結(jié)構(gòu)框圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述。以 下實(shí)例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。
本發(fā)明的核心思想在于依據(jù)人臉圖像的表情將三維人臉模型的器官進(jìn)行 整體變形，實(shí)現(xiàn)所需的三維動(dòng)畫效果，在整體變形后還可以依據(jù)所判斷的表情 程度或器官變形程度對(duì)器官的局部進(jìn)行微調(diào)，以實(shí)現(xiàn)對(duì)三維模型器官的精細(xì)化 驅(qū)動(dòng)，從而得到非常逼真，與真實(shí)人臉非常相似的三維動(dòng)畫效果。
參考圖1,示出了一種三維人臉動(dòng)畫制作方法實(shí)施例，具體可以包括
步驟IOI、輸入通用三維人臉模型；通用三維人臉模型一般可以采用三維 造型軟件(比如3DMax、 Maya等)來制作；
步驟102、獲取視頻人臉圖像；
步驟103、識(shí)別視頻圖像中的人臉表情；人臉表情識(shí)別具體的實(shí)現(xiàn)方法有 很多，例如，中國專利申請(qǐng)?zhí)枮?00710019296.1，名稱為"人臉表情圖像的 分類及語義評(píng)判量化方法"中公開了一種，其具體方案為利用訓(xùn)練人臉表情 圖像樣本集，提取表情特征形成標(biāo)記圖LG向量，將其投影到主成分PCA子空 間中，利用這些降維后的LG向量學(xué)習(xí)混合多維t-分布，作為該圖像六種基本 情感的語義評(píng)判，按照哪個(gè)表情所占的概率最大，從而把該圖像判到該表情類 中。再例如，中國專利申請(qǐng)?zhí)枮?00710032511.1，名稱為"一種會(huì)話機(jī)器人 系統(tǒng)"中也公開了 一種基于人臉檢測(定位)和人臉表情的特征提取進(jìn)行人臉 表情識(shí)別(分類)的方法，不再贅述；
步驟104、調(diào)用與所識(shí)別的表情結(jié)果相匹配的預(yù)置驅(qū)動(dòng)規(guī)則；例如，在數(shù) 據(jù)庫中存儲(chǔ)了多個(gè)針對(duì)不同表情的驅(qū)動(dòng)規(guī)則。
步驟105、使用預(yù)置驅(qū)動(dòng)規(guī)則驅(qū)動(dòng)通用三維人臉模型上器官的運(yùn)動(dòng)，得到 三維人臉動(dòng)畫。步驟104、 105中預(yù)置驅(qū)動(dòng)規(guī)則可以通過規(guī)定如何驅(qū)動(dòng)通用三維人臉模型 上的點(diǎn)來實(shí)現(xiàn)；因?yàn)?，通用三維人臉模型是由點(diǎn)構(gòu)成，驅(qū)動(dòng)這些點(diǎn)運(yùn)動(dòng)就可以
改變通用三維人臉模型器官的變形。
為了節(jié)省時(shí)間和節(jié)約運(yùn)算資源，我們可以選擇驅(qū)動(dòng)控制點(diǎn)(即一部分主要 的點(diǎn))的運(yùn)動(dòng)，來改變器官的變形。由于當(dāng)器官發(fā)生變形時(shí)這些控制點(diǎn)的變化 最為明顯，所以，通常通過驅(qū)動(dòng)控制點(diǎn)的運(yùn)動(dòng)可以完成的人臉器官變化的效果， 往往需要驅(qū)動(dòng)多出控制點(diǎn)數(shù)十倍以上的非控制點(diǎn)的運(yùn)動(dòng)才能達(dá)到相同的效果。
優(yōu)選的，在眼睛、眉毛、嘴巴等人臉器官上選擇控制點(diǎn)，因?yàn)樵谌四槺砬?發(fā)生變換時(shí)，這些器官的變化明顯，對(duì)這些器官的準(zhǔn)確定位能更加逼真的反映 真實(shí)人臉的情況。當(dāng)然，對(duì)于數(shù)量而言，控制點(diǎn)數(shù)量越多，越能逼真的反映真 實(shí)人臉。
需要說明的是， 一般需要依變形的器官不同而選擇不同的控制點(diǎn)，例如 當(dāng)變形操作針對(duì)的器官是嘴巴時(shí)，控制點(diǎn)可以分布于上嘴唇、下嘴唇、和嘴角 (參見圖4-2、 6-2中圓圈所示)；當(dāng)變形操作針對(duì)的器官是眼睛時(shí)，控制點(diǎn)可 以分布于上、下眼瞼和眼角；當(dāng)變形操作針對(duì)的器官是眉毛時(shí)，控制點(diǎn)可以分 布于左眉毛和右眉毛上(參見圖5-3中圓圏所示)。具體的，在選擇控制點(diǎn)時(shí)， 我們可以選擇利用三維模型編輯系統(tǒng)完成對(duì)通用三維人臉模型控制點(diǎn)的選擇。
人臉可以有各種各樣的表情，但典型的表情有以下幾類中性，笑，憤怒， 驚訝，我們以上述幾種表情為基礎(chǔ)來研究人臉器官的變形方式，我們認(rèn)為中性 表情時(shí)人臉器官?zèng)]有任何運(yùn)動(dòng)，參考圖4，為中性表情的人臉示意圖。
下面仔細(xì)描述當(dāng)表情為"笑"、"驚訝，，和"憤怒，，時(shí)，預(yù)置驅(qū)動(dòng)規(guī)則的具 體實(shí)施方式。
參考圖4-1,給出了當(dāng)人臉表情是"笑，，的時(shí)候，相對(duì)于中性表情人臉的 變化情況。
當(dāng)人臉表情是"笑"的時(shí)候， 一種優(yōu)選的預(yù)置驅(qū)動(dòng)規(guī)則為下眼瞼上的控 制點(diǎn)整體向上運(yùn)動(dòng)；上嘴唇上的控制點(diǎn)平行上升，并向兩邊拉升；下嘴唇上的 控制點(diǎn)依序連接形成拋物線的形狀。
當(dāng)人臉表情是"笑"的時(shí)候，下眼瞼會(huì)向上微微的運(yùn)動(dòng)，所以可以簡單的
抽象為整體向上運(yùn)動(dòng)，而眉毛可以認(rèn)為沒有運(yùn)動(dòng)；最明顯的變化是上、下嘴唇， 所以可以設(shè)置上嘴唇上的控制點(diǎn)在y方向是平行上升的，在x方向上則向兩邊 拉升；下嘴唇上的控制點(diǎn)則可以認(rèn)為從直線變形到一個(gè)拋物線的形狀。
下嘴唇的變形可以用拋物線來表達(dá)y = ^2-",該拋物線具體示圖見圖 4-2，圖中包含了兩根線條，上面的直線代表了中性表情時(shí)下嘴唇的位置，下 面的曲線是利用公式少=^2-"來生成，圓圈點(diǎn)代表了嘴唇上的控制點(diǎn)。嘴唇 的中心點(diǎn)的^坐標(biāo)為0，左右的控制點(diǎn)對(duì)稱分布(例如，間隔為0.25mm),將 控制點(diǎn)的^坐標(biāo)代入拋物線公式可以計(jì)算出^值，根據(jù)y值就可以驅(qū)動(dòng)嘴唇點(diǎn) 的變形來產(chǎn)生笑的表情。調(diào)整^ =孤2-"中的"值可以產(chǎn)生不同彎曲程度的拋物 線，用來模擬不同程度的笑對(duì)應(yīng)的下嘴唇變形。
參考圖5-1,給出了當(dāng)人臉表情是"驚訝"時(shí)，相對(duì)于中性表情人臉的變 化情況。
當(dāng)人臉表情是"驚訝，，的時(shí)候， 一種優(yōu)選的預(yù)置驅(qū)動(dòng)規(guī)則為上、下嘴唇 的控制點(diǎn)相對(duì)于嘴巴中心點(diǎn)分別向上、下運(yùn)動(dòng)；嘴角的控制點(diǎn)向嘴巴中心點(diǎn)運(yùn) 動(dòng)；上、下嘴唇上的控制點(diǎn)同嘴角控制點(diǎn)依序連接形成兩個(gè)拋物線形狀；眉毛 控制點(diǎn)向上運(yùn)動(dòng)。
當(dāng)人臉表情是"驚訝，，的時(shí)候，嘴巴的變化可以認(rèn)為是上下嘴唇都變化為 拋物線，同時(shí)嘴角往嘴巴的中間收縮；所以在設(shè)置上下嘴唇的變形時(shí)可以用拋 物線函數(shù)y-o^+6表示，我們可以假設(shè)不同程度的"驚訝"時(shí)，代表嘴唇的 拋物線都和x軸交于相同的位置。那么拋物線的函數(shù)可以簡化為y = "x2-"或 者少=-ax2+a;拋物線的極值點(diǎn)為乂= 0時(shí)的點(diǎn)，那么該點(diǎn)的變形幅度就為a， x =0. 5對(duì)應(yīng)的點(diǎn)的變形幅度就為0. 75a;我們可以取不同的x值來計(jì)算出變形的 幅度，從而得到不同點(diǎn)的運(yùn)動(dòng)幅度值。參考圖5-2,當(dāng)為"驚訝，，表情時(shí)，圖 中圓圈點(diǎn)代表了嘴唇上的控制點(diǎn)，上面的線條代表了上嘴唇變形，利用公式 少=—^+"來生成，下面的線條代表了下嘴唇變形，利用公式^^^-"來生成， 不同的"可以生成不同變形程度的拋物線。
參考圖5-1,當(dāng)為"驚訝"表情時(shí)，眉毛的變化是明顯的上揚(yáng)，我們可以 用 一個(gè)簡單的變形算法來描述眉毛的上揚(yáng)，該算法首先在眉毛的中心位置選擇
一個(gè)控制點(diǎn)，并在控制點(diǎn)的附近確定一個(gè)鄰域。根據(jù)控制點(diǎn)和鄰域點(diǎn)的位置來 計(jì)算控制點(diǎn)到所有鄰域點(diǎn)的最大距離max丄，那么當(dāng)控制點(diǎn)運(yùn)動(dòng)時(shí)，鄰域點(diǎn)的 運(yùn)動(dòng)可以用7>式
F.(cos("^"/) + l)/2 max丄
來計(jì)算，公式中V代表了控制點(diǎn)的運(yùn)動(dòng)矢量，L表示控制點(diǎn)到鄰域點(diǎn)的距離，這 個(gè)公式可以保證離控制點(diǎn)越近的點(diǎn)的運(yùn)動(dòng)距離越大，最遠(yuǎn)的點(diǎn)保持不變；參考 圖5-3，最中間的點(diǎn)是控制點(diǎn)，它的移動(dòng)最大，左右點(diǎn)是鄰域點(diǎn)，其變形程度 跟該點(diǎn)到控制點(diǎn)的距離成反比，兩端的兩個(gè)點(diǎn)沒有移動(dòng)。
參考圖6-1,給出了當(dāng)人臉表情是"憤怒"時(shí)候，相對(duì)于中性表情人臉的 變化情況。
當(dāng)人臉表情是"憤怒，，的時(shí)候， 一種優(yōu)選的預(yù)置驅(qū)動(dòng)規(guī)則為上嘴唇的控 制點(diǎn)整體向上平移；下嘴唇的控制點(diǎn)向下運(yùn)動(dòng)；下嘴唇的控制點(diǎn)同嘴角控制點(diǎn) 依序連接形成拋物線形狀；眉毛控制點(diǎn)向上運(yùn)動(dòng)。
當(dāng)人臉表情是"憤怒，，的時(shí)候，眉毛的變化可以采用上述驚訝時(shí)的驅(qū)動(dòng)方 式，只是眉毛的眉角上的控制點(diǎn)在方向上整體向上運(yùn)動(dòng)；嘴巴變化和"驚訝，， 表情時(shí)比較類似，只是上嘴唇的變形不再使用標(biāo)準(zhǔn)的拋物線，而是讓上嘴唇中 間的幾個(gè)點(diǎn)向上整體平移；參考圖6-2,圓圈點(diǎn)是嘴唇上的控制點(diǎn)，上面的線 條代表了上嘴唇的變形，圓圈控制點(diǎn)整體上移，下面的曲線代表了下嘴唇的變 形，類似"笑，，的下嘴唇變形，可以利用公式^^^來生成。
當(dāng)根據(jù)表情識(shí)別結(jié)果選擇預(yù)置驅(qū)動(dòng)規(guī)則對(duì)人臉器官進(jìn)行變形操作后，能夠 大致和視頻中的人臉相似，但是不能反映出不同程度的臉部表情，所以在細(xì)節(jié) 上還是不像，為此我們需要在基于表情識(shí)別的人臉變形基礎(chǔ)上，對(duì)人臉器官的 局部進(jìn)行微調(diào)，使最終的變形結(jié)果和真實(shí)的人臉表情相似，這種微調(diào)可以依據(jù) 所識(shí)別的視頻圖像中的人臉表情程度或人臉器官變形程度來相應(yīng)的驅(qū)動(dòng)局部 器官的調(diào)整。
參考圖2,示出了通過識(shí)別人臉表情的具體程度的方法進(jìn)行微調(diào)的一種實(shí) 施例，該方法包4舌
步驟201、檢測跟蹤視頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)； 步驟202、依據(jù)所述檢測跟蹤數(shù)據(jù)，識(shí)別當(dāng)前表情的具體程度； 步驟203、對(duì)人臉模型中需要變形的器官整體進(jìn)行調(diào)整。 使用上述方法進(jìn)行微調(diào)動(dòng)作時(shí)，先是整體判斷人臉表情的具體程度(例如， 參考圖7-1至圖7-3，給出不同程度的笑的表情)，然后根據(jù)判斷的結(jié)果對(duì)相 應(yīng)需要變形的器官整體進(jìn)行調(diào)整；而下述通過識(shí)別人臉器官變形程度的方法進(jìn) 行微調(diào)的實(shí)施例中則是先獲取視頻中人臉器官的變形程度，再逐個(gè)對(duì)需要變形 的人臉模型上器官進(jìn)行調(diào)整，使其和真實(shí)的人臉表情更加相似。
參考圖3，示出了通過識(shí)別人臉器官變形程度的方法進(jìn)行微調(diào)的一種實(shí)施 例，該方法包4舌
步驟301、檢測跟蹤視頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，定位得 到視頻圖像中器官的位置和大小；
步驟302、將得到的器官的位置和大小與標(biāo)準(zhǔn)模型中相應(yīng)器官的位置和大 小進(jìn)行比較，獲得該器官的變形程度；
步驟303、對(duì)人臉模型中需要變形的器官逐個(gè)進(jìn)行調(diào)整。 本發(fā)明還公開了一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)的系統(tǒng)，參考圖8。 圖8中所示的系統(tǒng)包括表情識(shí)別裝置401,用于識(shí)別視頻圖像中的人臉 表情；存儲(chǔ)裝置402，用于存儲(chǔ)預(yù)置的多個(gè)驅(qū)動(dòng)規(guī)則；驅(qū)動(dòng)裝置403,用于根 據(jù)表情識(shí)別結(jié)果和該表情相應(yīng)的預(yù)置驅(qū)動(dòng)規(guī)則對(duì)通用三維人臉模型上需要變 形的器官進(jìn)行變形，得到三維人臉動(dòng)畫。
從視頻獲取人臉圖像之后，將人臉圖像輸入表情識(shí)別裝置，表情識(shí)別裝置 對(duì)輸入的人臉圖像表情進(jìn)行識(shí)別(判斷這人臉圖像是笑還是哭還是其它的什么 表情)，將識(shí)別結(jié)果輸入驅(qū)動(dòng)裝置，驅(qū)動(dòng)裝置判斷輸入的表情識(shí)別結(jié)果同存儲(chǔ) 裝置中的哪個(gè)驅(qū)動(dòng)規(guī)則對(duì)應(yīng)，從存儲(chǔ)裝置中調(diào)用對(duì)應(yīng)的驅(qū)動(dòng)規(guī)則對(duì)通用三維人 臉模型進(jìn)行驅(qū)動(dòng)。
圖8中所示的系統(tǒng)還可以包括第一微調(diào)裝置；第一微調(diào)裝置，用于依據(jù)當(dāng) 前人臉表情的具體程度對(duì)通用三維人臉模型上相應(yīng)的人臉器官整體進(jìn)行調(diào)整。 參考圖9，第一微調(diào)裝置進(jìn)一步包括 一企測跟蹤單元501,用于檢測跟蹤視頻
圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)；對(duì)比單元502,用于依據(jù)所述檢測跟 蹤數(shù)據(jù)，識(shí)別當(dāng)前表情的具體程度；調(diào)整單元503,用于根據(jù)被識(shí)別表情的具 體程度，對(duì)通用三維人臉模型上需要變形的器官整體進(jìn)行調(diào)整。
上述的第一微調(diào)裝置可以用下述的第二微調(diào)裝置替代，實(shí)施例9，基于視 頻的三維人臉動(dòng)畫驅(qū)動(dòng)的系統(tǒng)還可以包括第二微調(diào)裝置；第二微調(diào)裝置用于依 據(jù)器官變形程度對(duì)相應(yīng)器官逐個(gè)進(jìn)行調(diào)整。參考圖10,所述第二微調(diào)裝置進(jìn) 一步包括檢測定位單元601,用于檢測跟蹤視頻圖像中所需人臉器官的特征 點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，定位得到視頻圖像中一器官的位置和大小；匹配單元602,用于 將所述器官的位置和大小與標(biāo)準(zhǔn)模型中的器官位置和大小進(jìn)行比較，獲得該器 官的變形程度；協(xié)調(diào)單元603，用于根據(jù)器官的變形程度，對(duì)通用三維人臉模 型上需要局部變形的器官逐個(gè)進(jìn)行調(diào)整。
為了微調(diào)的效果更好，在不考慮成本的情況下，我們可以將第一微調(diào)裝置 和第二微調(diào)裝置并存，既依據(jù)當(dāng)前人臉表情的具體程度對(duì)通用三維人臉模型上 相應(yīng)的人臉器官整體進(jìn)行調(diào)整，同時(shí)又依據(jù)器官變形程度對(duì)相應(yīng)器官逐個(gè)進(jìn)行 調(diào)整。
本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的 都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即 可。對(duì)于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡 單，相關(guān)之處參見方法實(shí)施例的部分說明即可。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通 技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和潤 飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1、一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)方法，其特征在于，包括以下步驟識(shí)別視頻圖像中的人臉表情；根據(jù)表情識(shí)別結(jié)果和該表情相應(yīng)的預(yù)置驅(qū)動(dòng)規(guī)則對(duì)通用三維人臉模型上需要變形的器官進(jìn)行變形，得到三維人臉動(dòng)畫。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括依據(jù)當(dāng)前人臉表 情的具體程度對(duì)通用三維人臉模型上相應(yīng)的局部人臉器官進(jìn)行微調(diào)。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，通過如下步驟識(shí)別當(dāng)前表 情的具體程度檢測跟蹤視頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)； 依據(jù)所述檢測跟蹤數(shù)據(jù)，識(shí)別當(dāng)前表情的具體程度。
4、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括依據(jù)器官變形程 度對(duì)通用三維人臉模型上相應(yīng)的器官進(jìn)行局部微調(diào)。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于，通過以下步驟確定器官的 變形程度檢測跟蹤視頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)，定位得到視頻圖像 中器官的位置和大??；將得到的器官的位置和大小與標(biāo)準(zhǔn)模型中相應(yīng)器官的位置和大小進(jìn)行比 較，獲得該器官的變形程度。
6、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)通用三維人臉模型 上的變形纟乘作是通過驅(qū)動(dòng)預(yù)置控制點(diǎn)而實(shí)現(xiàn)的。
7、 根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)變形操作針對(duì)的器官是 嘴巴時(shí)，所述預(yù)置控制點(diǎn)分布于上嘴唇、下嘴唇、和嘴角。
8、 根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)變形操作針對(duì)的器官是 眼睛時(shí)，所述預(yù)置控制點(diǎn)分布于上、下眼瞼和眼角。
9、 根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)變形操作針對(duì)的器官是 眉毛時(shí)，所述預(yù)置控制點(diǎn)分布于左眉毛和右眉毛。
10、 根據(jù)權(quán)利要求1-5所述的任一項(xiàng)方法，其特征在于，當(dāng)人臉表情是"笑，，時(shí)，預(yù)置的驅(qū)動(dòng)規(guī)則為下眼險(xiǎn)上的控制點(diǎn)整體向上運(yùn)動(dòng)；上嘴唇上的控制點(diǎn) 平行上升，并向兩邊拉升；下嘴唇上的控制點(diǎn)依序連接形成拋物線的形狀。
11、 根據(jù)權(quán)利要求1-5所述的任一項(xiàng)方法，其特征在于，當(dāng)人臉表情是"驚 訝"時(shí)，預(yù)置的驅(qū)動(dòng)規(guī)則為上、下嘴唇的控制點(diǎn)相對(duì)于嘴巴中心點(diǎn)分別向上、 下運(yùn)動(dòng)；嘴角的控制點(diǎn)向嘴巴中心點(diǎn)運(yùn)動(dòng)；上、下嘴唇上的控制點(diǎn)同嘴角控制 點(diǎn)依序連接形成兩個(gè)拋物線形狀；眉毛控制點(diǎn)向上運(yùn)動(dòng)。
12、 根據(jù)權(quán)利要求1-5所述的任一項(xiàng)方法，其特征在于，當(dāng)人臉表情是"憤 怒"時(shí)，預(yù)置的驅(qū)動(dòng)規(guī)則為上嘴唇的控制點(diǎn)整體向上平移；下嘴唇的控制點(diǎn) 向下運(yùn)動(dòng)；下嘴唇的控制點(diǎn)同嘴角控制點(diǎn)依序連接形成拋物線形狀；眉毛控制 點(diǎn)向上運(yùn)動(dòng)。
13、 一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)的系統(tǒng)，其特征在于，包括 表情識(shí)別裝置，用于識(shí)別視頻圖像中的人臉表情；存儲(chǔ)裝置，用于存儲(chǔ)預(yù)置的多個(gè)驅(qū)動(dòng)規(guī)則；驅(qū)動(dòng)裝置，用于根據(jù)表情識(shí)別結(jié)果和該表情相應(yīng)的預(yù)置驅(qū)動(dòng)規(guī)則對(duì)通用三 維人臉模型上需要變形的器官進(jìn)行變形，得到三維人臉動(dòng)畫。
14、 根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，還包括第一微調(diào)裝置， 用于依據(jù)當(dāng)前人臉表情的具體程度對(duì)通用三維人臉模型上相應(yīng)的局部人臉器 官進(jìn)行孩t調(diào)。
15、 根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，所述第一微調(diào)裝置進(jìn)一 步包括檢測跟蹤單元，用于檢測跟蹤視頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)；對(duì)比單元，用于依據(jù)所述檢測跟蹤數(shù)據(jù)，識(shí)別當(dāng)前表情的具體程度； 調(diào)整單元，用于根據(jù)被識(shí)別表情的具體程度，對(duì)通用三維人臉模型上需要 局部變形的器官進(jìn)行微調(diào)。
16、 根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，還包括第二微調(diào)裝置， 用于依據(jù)器官變形程度對(duì)該器官進(jìn)行局部微調(diào)。
17、根據(jù)權(quán)利要求16所述的系統(tǒng)，其特征在于，所述第二微調(diào)裝置進(jìn)一步包括檢測定位單元，用于檢測跟蹤視頻圖像中所需人臉器官的特征點(diǎn)運(yùn)動(dòng)數(shù) 據(jù)，定位得到視頻圖像中一器官的位置和大小；匹配單元，用于將所述器官的位置和大小與標(biāo)準(zhǔn)模型中的器官位置和大小 進(jìn)行比較，獲得該器官的變形程度；協(xié)調(diào)單元，用于根據(jù)器官的變形程度，對(duì)通用三維人臉模型上需要局部變 形的器官進(jìn)行微調(diào)。
全文摘要
本發(fā)明公開了一種基于視頻的三維人臉動(dòng)畫驅(qū)動(dòng)方法和系統(tǒng)，該方法可以包括以下步驟識(shí)別視頻圖像中的人臉表情；根據(jù)表情識(shí)別結(jié)果和該表情相應(yīng)的預(yù)置驅(qū)動(dòng)規(guī)則對(duì)通用三維人臉模型上需要變形的器官進(jìn)行變形，得到三維人臉動(dòng)畫。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于本發(fā)明先識(shí)別視頻圖像數(shù)據(jù)中人臉圖像的表情，然后依據(jù)預(yù)設(shè)的器官驅(qū)動(dòng)規(guī)則，再來驅(qū)動(dòng)相應(yīng)的三維人臉模型中的器官，可以達(dá)到更加逼真的動(dòng)畫效果；避免現(xiàn)有技術(shù)采用單個(gè)器官驅(qū)動(dòng)時(shí)，由于單個(gè)器官特征點(diǎn)的運(yùn)動(dòng)檢測誤差而導(dǎo)致的動(dòng)畫效果偏差。
文檔編號(hào)G06T15/70GK101354795SQ20081011904
公開日2009年1月28日 申請(qǐng)日期2008年8月28日 優(yōu)先權(quán)日2008年8月28日
發(fā)明者浩 王, 謝東海, 英 黃 申請(qǐng)人:北京中星微電子有限公司