基于單張人臉圖像自動合成三維表情的方法及裝置制造方法
【專利摘要】一種基于單張人臉圖像自動合成三維表情的方法，包括：步驟1，對于輸入的單張圖像，使用ASM進行人臉形狀定位；步驟2，根據(jù)定位的人臉形狀，利用三維人臉參考模型采用散點插值完成人臉的形狀建模并進行紋理映射，得到圖像中目標人臉的三維人臉模型；步驟3，計算該表情集相對于三維人臉參考模型和目標人臉的三維人臉模型的人臉表情運動矩陣；步驟4，根據(jù)步驟3中得到的目標人臉的三維人臉模型的人臉表情運動矩陣，計算表情集中每個表情的線形運動模型；步驟5，使用聚類方法獲得人臉面部區(qū)域劃分結果；步驟6，進行人臉表情合成。本發(fā)明有助于系統(tǒng)合成更加靈活豐富的人臉表情。
【專利說明】基于單張人臉圖像自動合成三維表情的方法及裝置

【技術領域】
[0001] 本發(fā)明屬于計算機視覺與計算機圖形學相關領域，特別涉及一種基于單張人臉圖 像自動合成三維表情的方法及裝置。

【背景技術】
[0002] 三維人臉表情合成是應用于諸多領域的計算機圖形學技術，包括電影游戲、人機 交互和人臉識別等。而從單幅圖像中合成三維人臉表情則是計算機視覺與計算機圖形學技 術的結合。其目的是從一副包含人臉的圖像中提取人臉信息，然后合成出圖像中人臉的各 種三維表情。
[0003] 已有的人臉表情合成方法大多數(shù)是基于人臉參數(shù)標準的方法，使用的是 MPEG-4 人臉動畫標準（參見 Raouzaiou, Amaryllis and Tsapatsoulis, Nicolas and Karpouzis,Kostas and Kollias,Stefanos. Parameterized facial expression synthesis based on MPEG-4. EURASIP Journal on Applied Signal Processing, vol. 2002 ，1,1021-1038, 2002.)或者面部動作編碼系統(tǒng)（Facial Action Coding System. FACS)(參見 Roesch,Etienne B and Tamarit, Lucas and Reveret, Lionel and Grandjean, Didier and Sander, David and Scherer, Klaus R. FACSGen:A tool to synthesize emotional facial expressions through systematic manipulation of facial action units. Journal of Nonverbal Behavior，vol. 35, l，pp. 1-16, 2011.)。在這些標準的基礎之上為人臉模型設計 特征與運動單元，根據(jù)參數(shù)來調整人臉模型以合成三維表情。
[0004] 已有的基于單幅圖像的表情合成技術大多是二維的表情合成，合成的人臉表情 缺乏真實感，也不能進行三維多姿態(tài)觀察；而三維的表情合成技術往往需要一個人臉的 多幅輸入圖像（參見 Fr ' ed' eric Pighin，Jamie Hecker，Dani Lischinski，Richard Szeliski, and David HSalesin. Synthesizing realistic facial expressions from photographs. In ACMSIGGRAPH2006Courses，pagel9.ACM，2006.)，或者輸入圖像中的人臉 特征選取需要人工操作（Fr' ed/ eric Pighin，Jamie Hecker，Dani Lischinski，Richard Szeliski,and David HSalesin. Synthesizing realistic facial expressions from photographs. In ACMSIGGRAPH2006Courses，pagel9. ACM，2006.)等；已有的人臉面部 區(qū)域劃分的方法也大多數(shù)是手工完成的（參見Qingshan Zhang，Zicheng Liu，Gaining Quo, Demetri Terzopoulos, and Heung-Yeung Shum. Geometry-driven photorealistic facial expression synthesis. Visualizationand Computer Graphics, IEEE Transactions on，12 (1):48 - 60, 2006.)。


【發(fā)明內容】

[0005] 為了克服現(xiàn)有技術中存在的上述缺陷，本發(fā)明提出了一種自動的由單幅圖像合成 三維人臉表情的方法和裝置，其中無需人工標注圖像中的人臉特征點，并且實現(xiàn)自動的人 臉區(qū)域劃分，有助于系統(tǒng)合成更加靈活豐富的人臉表情。
[0006] 根據(jù)本發(fā)明的一個方面，提出了一種基于單張人臉圖像自動合成三維表情的方 法，該方法包括步驟：步驟1，對于輸入的單張圖像，使用ASM進行人臉形狀定位；步驟2,根 據(jù)定位的人臉形狀，利用三維人臉參考模型采用散點插值完成人臉的形狀建模，在形狀建 模的基礎上進行紋理映射，得到圖像中目標人臉的三維人臉模型；步驟3,利用包含有限表 情模型的表情集，計算三維人臉參考模型和目標人臉的三維人臉模型的運動矩陣，所述表 情集中各表情模型所包含的頂點與三維人臉參考模型以及目標人臉的三維人臉模型中的 頂點一一對應；步驟4,根據(jù)步驟3中得到的目標人臉的三維人臉模型的運動矩陣，計算表 情集中每個表情的線形運動模型；步驟5,在三維人臉參考模型和表情集的基礎上，使用聚 類方法獲得人臉面部區(qū)域劃分結果；步驟6,利用目標人臉的三維人臉模型、、運動模型以 及人臉面部區(qū)域劃分結果，進行人臉表情合成。
[0007] 根據(jù)本發(fā)明的另一方面，提出了一種基于單張人臉圖像自動合成三維表情的裝 置，該裝置包括：人臉形狀定位單元，對于輸入的單張圖像，使用ASM進行人臉形狀定位；人 臉形狀建模單元，根據(jù)定位的人臉形狀，利用三維人臉參考模型采用散點插值完成人臉的 形狀建模，在形狀建模的基礎上進行紋理映射，得到圖像中目標人臉的三維人臉模型；運動 矩陣計算單元，利用包含有限表情模型的表情集，計算三維人臉參考模型和目標人臉的三 維人臉模型的運動矩陣；線性運動模型計算單元，根據(jù)得到的目標人臉的三維人臉模型的 運動矩陣，計算表情集中每個表情的線形運動模型；面部區(qū)域劃分單元，在三維人臉參考模 型和表情集的基礎上，使用聚類方法獲得自動的人臉面部區(qū)域劃分結果；人臉表情合成單 元，利用上述目標人臉的三維人臉模型、運動模型以及人臉面部區(qū)域劃分結果，進行人臉表 情合成。
[0008] 使用本發(fā)明的基于單張人臉圖像自動合成三維表情的方法和裝置，具有以下優(yōu) 點：1)本發(fā)明利用了主動形狀模型定位人臉特征，以及基于聚類的面部區(qū)域劃分，實現(xiàn)了自 動的人臉表情合成；2)本發(fā)明采用了局部空間變換對表情運動矩陣依照輸入人臉的三維建 模結果進行變換，使得表情合成結果更加符合輸入人臉的形狀；3)本發(fā)明利用了面部區(qū)域 劃分的結果，通過區(qū)域組合的方式豐富了表情合成結果，使得合成的表情種類不局限于輸 入的表情集中的有限表情；4)本發(fā)明利用了線性的表情運動模型，能夠合成出多種強度的 表情，豐富了表情合成結果，而且線性模型計算速度快，使得表情能夠實時地合成。

【專利附圖】

【附圖說明】
[0009] 圖1示出了本發(fā)明的基于單張人臉圖像自動合成三維表情的方法原理圖；
[0010] 圖2是對一張含有正面人臉的圖像使用主動形狀模型（ASM)進行人臉定位的結果 圖；
[0011] 圖3是三維人臉參考模型上三維ASM關鍵點示意圖，其中的淺色斑點代表三維ASM 占.
[0012] 圖4a、4b和4c是紋理映射示意圖，其中圖4a是輸入圖像，圖4b是形狀重建的結 果，圖4c是紋理映射后的結果；
[0013] 圖5是頂點的局部坐標定義示意圖；
[0014] 圖6是局部空間變換不意圖；
[0015] 圖7是人臉模型的區(qū)域運動活躍程度示意圖；
[0016] 圖8是聚類得到的面部區(qū)域劃分結果；
[0017] 圖9是一部分人臉重建的結果，其中最左側的一列是輸入圖像和ASM定位的結果， 右側是合成的三維人臉表情；
[0018] 圖10示出了本發(fā)明的由單張正面人臉圖像自動合成三維人臉表情的裝置結構框 圖。

【具體實施方式】
[0019] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發(fā)明進一步詳細說明。
[0020] 本發(fā)明針對現(xiàn)有的基于單幅圖像的表情合成技術中的特征標注于面部劃分需要 人工參與等問題，提出了一種全自動化的合成方法。
[0021] 根據(jù)本發(fā)明的由單張人臉圖像自動合成三維表情的方法，針對單張正面人臉圖 像進行三維表情的自動合成，首先將圖像中描述人臉特征的特征點的選擇由以往的多 幅圖像上的人工選擇簡化為單幅圖像上的自動定位，使用主動形狀模型（Active Shape Model，ASM)來實現(xiàn)單幅圖像中的人臉形狀獲取。在一個包含有限表情模型的表情集的基礎 上，生成線性表情模型以及使用聚類方法自動進行人臉面部區(qū)域的劃分。
[0022] 本發(fā)明對于輸入的圖像，使用ASM進行人臉形狀定位，在自動形狀獲取的基礎上 利用一個三維人臉參考模型采用散點插值技術(散點插值技術是在一組已知空間點的變換 的前提下求得一個符合該變換的插值函數(shù)，利用該函數(shù)對于一組變換未知的空間點進行變 換的技術。）完成人臉的形狀建模，在形狀建模的基礎上進行紋理映射即完成了人臉的三維 建模。然后利用一個包含有限表情模型的表情集，計算人臉表情運動矩陣，對矩陣使用局部 坐標變換，然后計算能夠實時合成不同程度人臉表情的線性表情運動模型。同時，利用表情 集中的數(shù)據(jù)，使用聚類方法獲得自動的人臉面部區(qū)域劃分結果。最后，使用三維人臉模型、 表情運動模型與劃分結果共同作用，能夠實時合成出具有真實感的多種三維人臉表情。
[0023] 圖1示出了本發(fā)明的由單張正面人臉圖像自動合成三維人臉表情的方法原理圖。 下面參照圖1詳細描述本發(fā)明的方法，如圖1所示，該方法包括以下各步驟：
[0024] 步驟1，根據(jù)輸入的圖像獲取人臉形狀。
[0025] 在該步驟，對于輸入的圖像，使用主動形狀模型ASM (參見P. Xiong, L. Huang,and C.Liu. Initialization and pose alignment in active shape model. In 2010International Conference on Pattern Recognition, pages3971 - 3974. IEEE，2010.)獲取人臉形狀，該形狀使用一組特征點連接而成，使用S進行表示：
[0026] S = (p1; p2, ...pk，...pN) (1)
[0027] 其中，pk = (xk, yk), k = (1，2,--?，N)是構成S的N個特征點。如圖2所示。
[0028] 步驟2,根據(jù)所確定的人臉形狀，獲得圖像中目標人臉的三維人臉模型。
[0029] 在該步驟，使用一個三維人臉參考模型，該三維人臉參考模型上具有與步驟1中 所使用的人臉形狀相對應的三維關鍵點，對該三維人臉參考模型進行散點插值，得到三維 人臉參考模型的形狀變換，然后對形狀變換后的模型使用直接紋理映射，得到圖像中目標 人臉的三維人臉模型如圖3所示，該三維關鍵點是線下根據(jù)步驟1中獲得的二維人臉形狀 人工確定的，使用S Mf表示：
[0030]Sref = (q"q2,…，qk，…，qN) (2)
[0031] 其中qk，k= (1，2,…，N)是三維人臉參考模型中的三維點坐標。
[0032] 對于SMf，本發(fā)明使用正交圖像投影，得到它在圖像平面上的二維投影結果為 S、f:
[0033] S'ref = (q' "q' 2,…，q'k，…，q' N) (3)
[0034] 其中q'k是qk在平面圖像上的二維投影，并經(jīng)過了尺度和平移變換。在確定了 點對應關系后，使用徑向基插值函數(shù)RBF對三維人臉參考模型進行散點插值，插值函數(shù)是：
[0035] f(p) = EiAjv(|p-pj|) +Ap+t(4)
[0036] 其中p和Pi分別是已知的空間點在變換后目標位置坐標和變換前原位置坐標，i 的取值范圍取決于已知變換的點的數(shù)目，例如本發(fā)明中已知的ASM點為81個，故i取值為0 到80 (或1到81)，^為基函數(shù)系數(shù)，A和t為仿射成分。本發(fā)明使用的"散點插值"方法 是根據(jù)一系列"位置變換已知的點"的位置變換來求解同空間中其他"位置變換未知的點" 的位置變換，"已知的空間點"指的就是"位置變換已知的點"，而P是這些點在位置變換后 的坐標，Pi是這些點在位置變換前的坐標。
[0037] 函數(shù)V(r)為徑向對稱基函數(shù)，徑向對稱基函數(shù)有多種，高斯核函數(shù)是其中一種， 也是廣泛應用的一種，本發(fā)明使用高斯核函數(shù)：

【權利要求】
1. 一種基于單張人臉圖像自動合成H維表情的方法，該方法包括步驟： 步驟1，對于輸入的單張圖像，使用ASM進行人臉形狀定位； 步驟2,根據(jù)定位的人臉形狀，利用H維人臉參考模型采用散點插值完成人臉的形狀建 模，在形狀建模的基礎上進行紋理映射，得到圖像中目標人臉的H維人臉模型； 步驟3,利用包含有限表情模型的表情集，計算該表情集相對于H維人臉參考模型的運 動矩陣和目標人臉的H維人臉模型的人臉表情運動矩陣，所述表情集中各表情模型所包含 的頂點與H維人臉參考模型W及目標人臉的H維人臉模型中的頂點一一對應； 步驟4,根據(jù)步驟3中得到的目標人臉的H維人臉模型的人臉表情運動矩陣，計算表情 集中每個表情的線性運動模型； 步驟5,在H維人臉參考模型和表情集的基礎上，使用聚類方法獲得人臉面部區(qū)域劃分 結果； 步驟6,利用目標人臉的H維人臉模型、表情集中每個表情的線性運動模型W及人臉面 部區(qū)域劃分結果，進行人臉H維表情合成。
2. 根據(jù)權利要求1所述的方法，其特征在于，步驟2進一步包括，使用一個H維人臉參 考模型，該H維人臉參考模型上具有與步驟1中所使用的人臉形狀相對應的H維關鍵點， 對該H維人臉參考模型進行散點插值，得到H維人臉參考模型的形狀變換，然后對形狀變 換后的模型使用直接紋理映射，得到圖像中目標人臉的H維人臉模型。
3. 根據(jù)權利要求2所述的方法，其特征在于，步驟3進一步包括，通過W下方式來獲取 目標人臉的H維人臉模型的人臉表情運動矩陣；對于表情集中中性表情模型的任意一個頂 點，構造其位于H維人臉參考模型中的源局部空間W及位于目標人臉的H維人臉模型中的 目標局部空間，利用所述頂點的局部空間、源局部空間W及目標局部空間之間的對應關系， 求得該頂點相對于H維人臉參考模型頂點坐標的運動向量，使用局部空間變換，獲得該運 動向量適用于目標人臉的H維人臉模型的變換形式，利用該變換形式W及H維人臉參考模 型的運動矩陣，來獲得目標人臉的H維人臉模型的運動矩陣。
4. 根據(jù)權利要求3所述的方法，其特征在于，步驟5進一步包括；利用表情集中每個H 維模型所包含的頂點，構造一個矩陣來代表頂點在表情集中的運動方式相關特征，利用頂 點的運動方式相關特征W及頂點的空間位置特征，構造頂點的特征向量，對該特征向量進 行K均值聚類，聚類的結果為面部劃分的結果。
5. 根據(jù)權利要求4所述的方法，其特征在于，在聚類過程中，對于目標人臉的H維人臉 模型中的m個頂點，使用K均值聚類的方法將其分成r類，每一類中的頂點個數(shù)不是一定 的，認為同一類的頂點代表臉部的同一區(qū)域，不同類頂點代表不同區(qū)域，聚類結果就是Ru， Ry是第i個表情的第j個區(qū)域，通過聚類獲得每一類中所有頂點的標號，使用該些標號和 Ai構建r個Ru，其中Ai是第i個表情的運動模型，m、r、i和j都是大于等于1的整數(shù)。
6. -種基于單張人臉圖像自動合成H維表情的裝置，該裝置包括： 人臉形狀定位單元，對于輸入的單張圖像，使用ASM進行人臉形狀定位； 人臉形狀建模單元，根據(jù)定位的人臉形狀，利用H維人臉參考模型采用散點插值完成 人臉的形狀建模，在形狀建模的基礎上進行紋理映射，得到圖像中目標人臉的H維人臉模 型； 運動矩陣計算單元，利用包含有限表情模型的表情集，計算H維人臉參考模型和目標 人臉的H維人臉模型的運動矩陣； 線性運動模型計算單元，根據(jù)得到的目標人臉的H維人臉模型的運動矩陣，計算表情 集中每個表情的線形運動板型； 面部區(qū)域劃分單元，在H維人臉參考模型和表情集的基礎上，使用聚類方法獲得自動 的人臉面部區(qū)域劃分結果； 人臉表情合成單元，利用上述目標人臉的H維人臉模型、運動模型W及人臉面部區(qū)域 劃分結果，進行人臉表情合成。
7. 根據(jù)權利要求6所述的裝置，其特征在于，人臉形狀建模單元使用一個H維人臉參 考模型，該H維人臉參考模型上具有與人臉形狀定位單元所確定的人臉形狀相對應的H維 關鍵點，對該H維人臉參考模型進行散點插值，得到H維人臉參考模型的形狀變換，然后對 形狀變換后的模型使用直接紋理映射，得到圖像中目標人臉的H維人臉模型。
8. 根據(jù)權利要求7所述的裝置，其特征在于，運動矩陣計算單元通過W下方式來獲取 目標人臉的H維人臉模型；對于表情集中一個中型表情模型的任意一個頂點，構造其位于 H維人臉參考模型中的源局部空間W及位于目標人臉的H維人臉模型中的目標局部空間， 利用所述頂點的局部空間、源局部空間W及目標局部空間之間的對應關系，求得該頂點相 對于H維人臉參考模型頂點坐標的運動向量，使用局部空間變換，獲得該運動向量適用于 目標人臉的H維人臉模型的變換形式，利用該變換形式W及H維人臉參考模型的運動矩 陣，來獲得目標人臉的H維人臉模型的運動矩陣。
9. 根據(jù)權利要求8所述的裝置，其特征在于，面部區(qū)域劃分單元利用表情集中每個H 維模型所包含的頂點，構造一個矩陣來代表頂點在表情集中的運動方式相關特征，利用頂 點的運動方式相關特征W及頂點的空間位置特征，構造頂點的特征向量，對該特征向量進 行K均值聚類，聚類的結果為面部劃分的結果。
10. 根據(jù)權利要求9所述的裝置，其特征在于，在聚類過程中，對于目標人臉的H維人 臉模型中的m個頂點，使用K均值聚類的方法將其分成r類，每一類中的頂點個數(shù)不是一定 的，認為同一類的頂點代表臉部的同一區(qū)域，不同類頂點代表不同區(qū)域，聚類結果就是Ru， Ry是第i個表情的第j個區(qū)域，通過聚類獲得每一類中所有頂點的標號，使用該些標號和Ai 即可構建r個Ru，其中Ai是第i個表情的運動模型，m、r、i和j都是大于等于1的整數(shù)。
【文檔編號】G06T15/00GK104346824SQ201310347091
【公開日】2015年2月11日 申請日期:2013年8月9日 優(yōu)先權日:2013年8月9日
【發(fā)明者】黃磊, 舒之昕 申請人:漢王科技股份有限公司