專利名稱：一種三維人臉重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖形圖像處理與計(jì)算機(jī)視覺領(lǐng)域，特別是基于圖像的三維人臉重建方法。
背景技術(shù)：
基于圖像的三維人臉重建是指從二維人臉圖像出發(fā)，在計(jì)算機(jī)中建立個(gè)性化的三 維人臉模型，它是計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺等領(lǐng)域的研究熱點(diǎn)和難點(diǎn)，吸引了大量的科研 人員對其進(jìn)行了深入的研究，另外，它還具有廣闊的應(yīng)用前景，主要包括三維游戲、影視制 作、人機(jī)交互界面、遠(yuǎn)程呈現(xiàn)、生物特征識別、醫(yī)療、教育等。根據(jù)輸入數(shù)據(jù)的形式不同，基于 圖像的三維人臉重建方法可分為基于單張圖像、基于兩張圖像、基于多張圖像、基于視頻的 人臉重建，在使用時(shí)選用哪種方式主要由應(yīng)用場合的要求和可獲得的圖像數(shù)量決定。其中， 基于單張圖像的三維人臉重建由于所需數(shù)據(jù)少、人機(jī)接口簡單等特點(diǎn)，更宜于應(yīng)用在商業(yè) 產(chǎn)品中，如三維游戲中的個(gè)性化置入，通過采集玩家的單張人臉圖像，重建其三維人臉模型 并置入到游戲角色上，可以增強(qiáng)玩家的沉浸感。 目前從單張人臉圖像重建三維人臉的方法，使用最多的有兩大類。 一類是基于標(biāo) 準(zhǔn)模型變形的方法，即從圖像中提取人臉的個(gè)性化信息(多為關(guān)鍵點(diǎn)信息)，根據(jù)這些個(gè)性 化信息將一個(gè)標(biāo)準(zhǔn)人臉模型變形為個(gè)性化的人臉模型。在模型變形時(shí)沒有人臉的先驗(yàn)知 識，因而這種方法的真實(shí)感不強(qiáng)，容易導(dǎo)致非人臉的產(chǎn)生。第二類方法是基于人臉形變模型 的方法，即從真實(shí)掃描的人臉模型建立人臉形變模型，通過擬合輸入圖像，得到人臉的形狀 與紋理。這種方法可以得到具有真實(shí)感的重建結(jié)果，缺點(diǎn)是計(jì)算量很大，而且無法完全自動 化。

發(fā)明內(nèi)容
為了解決目前基于單張圖像的三維人臉重建中存在的問題，本發(fā)明給出了一種基 于關(guān)鍵點(diǎn)和人臉形變模型的三維人臉重建方法，從單張正面人臉圖像，可以基本自動、魯 棒、快速地重建具有真實(shí)感的三維人臉模型。 為達(dá)成所述目的，本發(fā)明第一方面，提出一種三維人臉重建方法，該方法包括如下 步驟 步驟1 :利用三維掃描儀采集真實(shí)的三維人臉模型并進(jìn)行規(guī)整化處理，得到規(guī)整 化人臉模型，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主成分分析，得到包括形狀分量和 紋理分量兩部分的人臉形變模型； 步驟2 :利用Adaboost自動檢測輸入圖像中的人臉，得到人臉在圖像中的位置； 步驟3 :利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點(diǎn)； 步驟4:根據(jù)人臉上的關(guān)鍵點(diǎn)和人臉形變模型的形狀分量，恢復(fù)人臉的形狀參數(shù)
和姿態(tài)參數(shù)，從而得到三維人臉模型的幾何形狀，即重建的三維人臉模型； 步驟5 :由重建的三維人 模型、輸入圖像和人臉姿態(tài)生成形狀無關(guān)紋理；
步驟6 :以形狀無關(guān)紋理為目標(biāo)圖像，利用人臉形變模型的紋理分量進(jìn)行人臉紋 理擬合，得到完整的人臉紋理； 步驟7 :將完整的人臉紋理映射到重建的三維人臉模型上，得到最終的三維人臉
重建結(jié)果。 為達(dá)成所述目的，本發(fā)明第二方面，提出一種三維人臉重建方法，該方法包括如下 步驟 步驟la :利用三維掃描儀采集真實(shí)的三維人臉模型并進(jìn)行規(guī)整化處理，得到規(guī)整 化人臉模型，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主成分分析，得到人臉形變模型，包 括形狀分量和紋理分量兩部分； 步驟2b :利用Adaboost自動檢測輸入圖像中的人臉，得到人臉在圖像中的位置； 步驟3c :利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點(diǎn)； 步驟4d:根據(jù)人臉上的關(guān)鍵點(diǎn)和人臉形變模型的形狀分量，恢復(fù)人臉的形狀參數(shù)
和姿態(tài)參數(shù)，從而得到三維人臉模型的幾何形狀，即重建的三維人臉模型； 步驟5e :將重建的三維人臉模型上的頂點(diǎn)進(jìn)行弱透視投影，以弱透視投影坐標(biāo)作
為其紋理坐標(biāo)，以輸入圖像為紋理，對重建的三維人臉模型進(jìn)行紋理映射，得到最終的重建結(jié)果。 本發(fā)明技術(shù)方案二與技術(shù)方案一相比，不同之處在于在得到三維人臉的幾何形 狀之后，不進(jìn)行人臉紋理擬合，而是以輸入圖像作為紋理圖像。 本發(fā)明與傳統(tǒng)的基于形變模型的方法的不同之處在于，傳統(tǒng)的基于人臉形變模 型的方法以輸入圖像為擬合的目標(biāo)圖像，同時(shí)恢復(fù)人臉的姿態(tài)參數(shù)、形狀參數(shù)、光照參數(shù) 等，這使得重建過程需要很長的時(shí)間才能收斂；本發(fā)明利用人臉上的關(guān)鍵點(diǎn)恢復(fù)人臉姿態(tài) 參數(shù)和形狀參數(shù)，技術(shù)方案一通過擬合形狀無關(guān)紋理得到完整的人臉紋理，技術(shù)方案二使 用輸入圖像作為紋理。本發(fā)明使得人臉的幾何重建速度大大縮短，在實(shí)驗(yàn)所用的計(jì)算機(jī) (Pentium42. 8G CPU，512M內(nèi)存)上，獲得三維人臉的幾何形狀的時(shí)間在2秒鐘之內(nèi)。
本發(fā)明的技術(shù)方案一與技術(shù)方案二具有不同的特點(diǎn)，適合于不同的應(yīng)用場合。技 術(shù)方案一通過擬合形狀無關(guān)紋理，得到完整的人臉紋理，更適合于影視制作、三維人臉識別 等應(yīng)用。技術(shù)方案二不包括人臉紋理擬合的步驟，直接使用輸入圖像作為紋理，由于輸入圖 像中缺少人臉側(cè)面的紋理，該方案的重建結(jié)果在耳朵附近有輕微的紋理拉伸，但該方案的 重建速度很快，再加上其自動、魯棒的特點(diǎn)，使得技術(shù)方案二非常適合應(yīng)用在三維游戲中。
本發(fā)明的優(yōu)點(diǎn)是 1.基本可以實(shí)現(xiàn)自動重建。大部分情況下，主動外觀模型可以得到足夠準(zhǔn)確的關(guān) 鍵點(diǎn)，對于少數(shù)特殊臉型，主動外觀模型定位的關(guān)鍵點(diǎn)不夠準(zhǔn)確，只需對關(guān)鍵點(diǎn)做少量的手 工調(diào)整。 2.重建過程魯棒，真實(shí)感強(qiáng)。 3.重建速度快，對于Pentium4 2. 8G的計(jì)算機(jī)，利用技術(shù)方案二，重建可在2秒 鐘內(nèi)完成；利用技術(shù)方案一，重建可在3分鐘內(nèi)完成，相當(dāng)于現(xiàn)有的基于形變模型的方法的 1/3 1/2。 4.本發(fā)明中的模型規(guī)整化方法與現(xiàn)有的方法相比有以下優(yōu)點(diǎn) (1)可以方便地控制規(guī)整化人臉模型的不同區(qū)域的頂點(diǎn)密度，只需調(diào)整平面規(guī)則網(wǎng)格上的關(guān)鍵點(diǎn)的位置即可； (2)可以方便地調(diào)整規(guī)整化人臉模型的分辨率，只需調(diào)整平面規(guī)則網(wǎng)格的大小即 可； (3)從平面規(guī)則網(wǎng)格變形到待規(guī)整化人臉模型的過程，可以看作是該人臉模型平 面參數(shù)化的逆過程，利用這一點(diǎn)可以方便地把重建的三維人臉模型展成平面。


圖1為本發(fā)明的技術(shù)方案一的流程圖。 圖2為本發(fā)明的技術(shù)方案二的流程圖。 圖3(a)-圖(e)為本發(fā)明的人臉模型規(guī)整化過程示意圖，其中 圖3 (a)平面規(guī)則網(wǎng)格及關(guān)鍵點(diǎn)； 圖3 (b)待規(guī)整化的模型及關(guān)鍵點(diǎn)； 圖3 (c) RBF變形后的模型； 圖3 (d)法向量投影后的模型； 圖3(e)提取的人臉紋理。 圖4(a)-圖4(d)為本發(fā)明的人臉擬合過程示意圖，其中 圖4(a)形狀無關(guān)紋理； 圖4 (b)收斂后的合成紋理圖像； 圖4(c)紋理融合的模板圖像； 圖4(d)融合后的紋理圖像。 圖5為本發(fā)明實(shí)施例一的人臉重建結(jié)果。 圖6為本發(fā)明實(shí)施例二的人臉重建結(jié)果。
具體實(shí)施例方式
下面將結(jié)合附圖對本發(fā)明加以詳細(xì)說明，應(yīng)指出的是，所描述的實(shí)施例僅旨在便 于對本發(fā)明的理解，而對其不起任何限定作用。本發(fā)明通過如下兩個(gè)實(shí)施例進(jìn)行說明
實(shí)施例一，參照圖1，離線建立人臉形變模型，輸入單張正面人臉圖像，經(jīng)過人臉檢 測、人臉關(guān)鍵點(diǎn)定位、人臉幾何重建、人臉紋理擬合等步驟得到重建結(jié)果，具體實(shí)施過程如 下 1.人臉形變模型的建立 利用三維掃描儀采集真實(shí)的三維人臉模型并進(jìn)行規(guī)整化處理，對規(guī)整化人臉模型 的形狀和紋理分別進(jìn)行主成分分析，得到人臉形變模型，包括形狀分量和紋理分量；則重建 的三維人臉模型的形狀和紋理可以分別表達(dá)為 <formula>formula see original document page 7</formula>
其中，S和T分別為新的三維人臉模型的形狀和紋理，S。為人臉形變模型的平均 形狀，T。為人臉形變模型的平均紋理，Sk(l《k《M)為人臉形變模型的第k個(gè)形狀分量， Tk(l《k《M)為人臉形變模型的第k個(gè)紋理分量，cik為重建人臉模型的第k個(gè)形狀參數(shù)， P k為重建人臉模型的第k個(gè)紋理參數(shù)，M為人臉形變模型的個(gè)數(shù)，k為1到M之間的整數(shù)。
本步驟是離線完成的，即人臉形變模型的建立并非每次人臉重建都要進(jìn)行，而是
只需進(jìn)行一次，即可供以后使用。 參照圖3，人臉模型規(guī)整化的過程為 步驟11 :定義一個(gè)平面規(guī)則網(wǎng)格，如圖3(a)所示，并在該平面規(guī)則網(wǎng)格和待規(guī)整 化的人臉模型上分別標(biāo)注若干對應(yīng)的關(guān)鍵點(diǎn)，如圖3(b)所示； 步驟12 :基于對應(yīng)的關(guān)鍵點(diǎn)，利用徑向基函數(shù)(radius basisfunction，RBF)將平
面規(guī)則網(wǎng)格變形為待規(guī)整化的模型，得到一個(gè)粗略的人臉模型，如圖3(c)所示； 步驟13 :從圖3(c)所示的粗略的人臉模型上的每一頂點(diǎn)出發(fā)作法向量投影，得到
該頂點(diǎn)的新坐標(biāo)，從而得到規(guī)整化的人臉模型；計(jì)算法向量與待規(guī)整化的模型的交點(diǎn)，以交
點(diǎn)作為該頂點(diǎn)的新位置，從而得到與待規(guī)整化的人臉模型形狀相同的規(guī)整化人臉模型，如
圖3(d)所示； 步驟14 :由待規(guī)整化人臉模型上的頂點(diǎn)顏色插值得到規(guī)整化人臉模型上的頂點(diǎn)
顏色，并將該顏色值賦給平面規(guī)則網(wǎng)格上對應(yīng)的頂點(diǎn)，得到規(guī)整化人臉模型的紋理圖像，如 圖3(e)所示；
2.人臉檢測 人臉檢測的目的是自動檢測輸入圖像中的人臉位置，本發(fā)明利用Adaboost進(jìn)行
人臉自動檢測。Adaboost是一種常用的統(tǒng)計(jì)學(xué)習(xí)算法，已經(jīng)成功地應(yīng)用于人臉檢測和人臉
分類。Adaboost為每個(gè)訓(xùn)練樣本設(shè)置一個(gè)權(quán)值，并迭代地修改樣本的權(quán)值，將被正確分類的
樣本的權(quán)值適當(dāng)降低，而將被錯(cuò)誤分類的樣本的權(quán)值適當(dāng)提高，這樣就可以將重點(diǎn)放在較
難分類的樣本上。 3.人臉關(guān)鍵點(diǎn)定位。 本發(fā)明利用主動外觀模型自動定位出人臉上的關(guān)鍵點(diǎn)，主動外觀模型是近幾年出 現(xiàn)的一種人臉關(guān)鍵點(diǎn)定位算法，具有準(zhǔn)確、快速的特點(diǎn)，對640X480的人臉圖像，主動外觀 模型方法可在20ms內(nèi)完成關(guān)鍵點(diǎn)定位。
4.人臉幾何重建，即獲得三維人臉的幾何形狀。 步驟41 :在人臉形變模型上標(biāo)注與圖像上的人臉關(guān)鍵點(diǎn)相對應(yīng)的三維關(guān)鍵點(diǎn)，本 步驟離線完成； 步驟42 :利用弱透視投影對三維關(guān)鍵點(diǎn)進(jìn)行變換，得到三維關(guān)鍵點(diǎn)的投影；投影
公式為Pn= f(R^Ry'RzXn+t)，其中Xn為三維關(guān)鍵點(diǎn)的坐標(biāo)，Pn是Xn的投影坐標(biāo)，iyy^
分別為人臉形變模型繞XYZ軸的旋轉(zhuǎn)矩陣，t為平移向量，f為縮放系數(shù)。
步驟43 :利用弱透視投影建立三維關(guān)鍵點(diǎn)與圖像上的人臉關(guān)鍵點(diǎn)之間的關(guān)系，根
據(jù)三維關(guān)鍵點(diǎn)的投影與二維關(guān)鍵點(diǎn)之間的比例關(guān)系對人臉的形狀參數(shù)和姿態(tài)參數(shù)進(jìn)行初始化。 步驟44 :將代價(jià)函數(shù)E設(shè)置為所有三維關(guān)鍵點(diǎn)的投影與圖像上的人臉關(guān)鍵點(diǎn)之間 的偏差，將代價(jià)函數(shù)E最小化，得到人臉的形狀參數(shù)和姿態(tài)參數(shù)；E的定義為五=《+ ￡w = ^ J] C -尸"||2 + ;; . Z ^ 。 其中，為關(guān)鍵點(diǎn)偏差項(xiàng)，EN為正態(tài)約束項(xiàng)，n為正態(tài)約束項(xiàng)的權(quán)重，n和m為正 整數(shù)，l《n《N，1《m《M，其中N為人臉關(guān)鍵點(diǎn)的個(gè)數(shù)，M為人臉形變模型的個(gè)數(shù)，c^為
8第m個(gè)人臉形變模型的形狀參數(shù)，o m2為建立人臉形變模型時(shí)第m個(gè)特征向量對應(yīng)的特征值，Qn為圖像上第n個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，Pn為模型上第n個(gè)關(guān)鍵點(diǎn)的投影坐標(biāo)，Cn為第n個(gè)關(guān)鍵點(diǎn)的偏差的權(quán)值，4為圖像中人的雙眼之間的距離，En的作用是防止模型分量的系數(shù)偏離其均值過大，以避免產(chǎn)生非人臉。 步驟45 :利用形狀參數(shù)將人臉形變模型的形狀分量加權(quán)，得到重建的人臉模型的幾何形狀，即重建的人臉模型。 5.由重建的人臉模型和輸入圖像生成形狀無關(guān)紋理SFT。其步驟如下
步驟51 :將重建的人臉模型展成平面，得到一個(gè)平面人臉網(wǎng)格； 步驟52 :根據(jù)人臉姿態(tài)參數(shù)，求重建的人臉模型的頂點(diǎn)的投影坐標(biāo)，以投影坐標(biāo)作為該頂點(diǎn)的紋理坐標(biāo)； 步驟53 :以輸入圖像為紋理圖像，利用紋理坐標(biāo)將紋理圖像映射到平面人臉網(wǎng)格上，渲染步驟51得到的平面人臉網(wǎng)格，得到形狀無關(guān)紋理SFT，如圖4(a)所示。
6.人臉紋理擬合。 輸入圖像中缺少人臉側(cè)面的紋理，所以給出人臉紋理擬合的方法，以得到完整的人臉紋理，思想是以形狀無關(guān)紋理為目標(biāo)圖像，以人臉形變模型的紋理分量合成人臉紋理S。步驟如下 步驟61 :計(jì)算人臉紋理的有效區(qū)域，在紋理圖像上，如果一個(gè)像素所對應(yīng)的頂點(diǎn)在圖像上的投影坐標(biāo)位于人臉輪廓之內(nèi)，并且該頂點(diǎn)在投影角度下是可見的，則相應(yīng)的像素就位于人臉紋理的有效區(qū)域內(nèi)； 步驟62:計(jì)算每個(gè)像素處的位置確定度p，將位置確定度作為代價(jià)函數(shù)中該像素處的權(quán)重，位置確定度定義為投影方向與頂點(diǎn)的法向量之間夾角的余弦；
步驟63 :為重建的三維人臉模型加入兩個(gè)光照，分別位于三維人臉模型的左前方和右前方各45度，光照的位置固定，強(qiáng)度可變； 步驟64 :以形狀無關(guān)紋理為擬合的目標(biāo)圖像，以人臉形變模型的紋理分量合成人臉紋理；將代價(jià)函數(shù)設(shè)置為合成的紋理圖像與目標(biāo)圖像之間的偏差，代價(jià)函數(shù)在紋理的有效區(qū)域內(nèi)進(jìn)行計(jì)算；在計(jì)算代價(jià)函數(shù)之前，對合成的紋理圖像的灰度級進(jìn)行線性變換H(x)=ax+b，其中x是合成的人臉紋理的灰度級，a和b是對其進(jìn)行線性變換的系數(shù)，H(x)是對x進(jìn)行變換之后的灰度級； 步驟65 :將代價(jià)函數(shù)E;設(shè)置為合成的人臉紋理圖像與目標(biāo)圖像之間的偏差，艮卩 & =ZI>("')'(//(&("))-wr(/,y))2 式中SFT為形狀無關(guān)紋理、S;為以人臉形變模型的紋理分量合成人臉紋理圖像、P為每個(gè)像素處的位置確定度、H為對合成的紋理圖像的灰度級進(jìn)行線性變換、l為需要迭代的多個(gè)參數(shù)組成的向量，包括光照參數(shù)和紋理參數(shù)，i和j分別為形狀無關(guān)紋理圖像的行和列的索引。 利用梯度下降法將代價(jià)函數(shù)E;最小化得到合成的紋理圖像，如圖4(b)所示；
步驟66 :設(shè)計(jì)一個(gè)紋理融合的模板圖像I，如圖4(c)所示，將合成的人臉紋理圖像S與形狀無關(guān)紋理SFT進(jìn)行融合，取出形狀無關(guān)紋理的中心區(qū)域補(bǔ)充到合成的紋理圖像上，以補(bǔ)充人臉的細(xì)節(jié)，得到融合后的紋理R，R二 I SFT+(1-I) S，如圖4(d)所示。
7.以融合后的紋理R作為紋理圖像，紋理映射后得到最終的重建結(jié)果。 圖5給出了實(shí)施例一得到的人臉重建結(jié)果，左圖為輸入圖像，右面兩圖為人臉重
建的結(jié)果。 實(shí)施例二，參照圖2，形變模型的建立、人臉檢測、關(guān)鍵點(diǎn)定位和人臉幾何重建等步驟與實(shí)施例一相同，在得到三維人臉的幾何形狀之后，不進(jìn)行人臉紋理擬合，而是使用輸入圖像作為紋理。本實(shí)施例的實(shí)施步驟如下 步驟1.利用三維掃描儀采集真實(shí)的三維人臉模型并進(jìn)行規(guī)整化處理，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主成分分析，得到人臉形變模型，包括形狀分量和紋理分量兩部分； 步驟2.利用Adaboost自動檢測輸入圖像中的人臉位置； 步驟3.利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點(diǎn)； 步驟4.根據(jù)人臉關(guān)鍵點(diǎn)和形變模型的形狀分量，恢復(fù)人臉的形狀參數(shù)和姿態(tài)參
數(shù)，從而得到三維人臉的幾何形狀，即重建的人臉模型； 步驟5.利用重建的人臉模型的頂點(diǎn)的弱透視投影坐標(biāo)作為其紋理坐標(biāo)，以輸入
圖像為紋理，進(jìn)行紋理映射得到最終的重建結(jié)果。投影公式為Pn = f (Rz Ry Rx Xn+t)，
其中Xn為三維關(guān)鍵點(diǎn)的坐標(biāo)，Pn是Xn的投影坐標(biāo)，RxRyRz分別為人臉形變模型繞XYZ軸的
旋轉(zhuǎn)矩陣，t為平移向量，f為縮放系數(shù)。紋理映射后得到最終的重建結(jié)果。 圖6給出了實(shí)施例二得到的人臉重建結(jié)果，左圖為輸入圖像，右面兩圖為人臉重
建的結(jié)果。 上面的描述是用于實(shí)現(xiàn)本發(fā)明及其實(shí)施例，因此，本發(fā)明的范圍不應(yīng)由該描述來限定。本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均屬于本發(fā)明權(quán)利要求來限定的范圍。
權(quán)利要求
一種三維人臉重建方法，其特征在于，包括如下步驟步驟1利用三維掃描儀采集真實(shí)的三維人臉模型并進(jìn)行規(guī)整化處理，得到規(guī)整化人臉模型，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主成分分析，得到包括形狀分量和紋理分量兩部分的人臉形變模型；步驟2利用Adaboost自動檢測輸入圖像中的人臉，得到人臉在圖像中的位置；步驟3利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點(diǎn)；步驟4根據(jù)人臉上的關(guān)鍵點(diǎn)和人臉形變模型的形狀分量，恢復(fù)人臉的形狀參數(shù)和姿態(tài)參數(shù)，從而得到三維人臉模型的幾何形狀，即重建的三維人臉模型；步驟5由重建的三維人臉模型、輸入圖像和人臉姿態(tài)生成形狀無關(guān)紋理；步驟6以形狀無關(guān)紋理為目標(biāo)圖像，利用人臉形變模型的紋理分量進(jìn)行人臉紋理擬合，得到完整的人臉紋理；步驟7將完整的人臉紋理映射到重建的三維人臉模型上，得到最終的三維人臉重建結(jié)果。
2. 根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，還包括，人臉模型規(guī)整化的 步驟如下步驟11 :定義一個(gè)平面規(guī)則網(wǎng)格，并在該平面規(guī)則網(wǎng)格和待規(guī)整化的人臉模型上標(biāo)注 若干對應(yīng)的關(guān)鍵點(diǎn)；步驟12 :基于對應(yīng)的關(guān)鍵點(diǎn)，利用徑向基函數(shù)將平面規(guī)則網(wǎng)格變形到待規(guī)整化的人臉 模型，得到一個(gè)粗略的人臉模型；步驟13 :從粗略的人臉模型上的每一個(gè)頂點(diǎn)作法向量投影，得到該頂點(diǎn)的新坐標(biāo)，從 而得到規(guī)整化的人臉模型；步驟14 :由待規(guī)整化的人臉模型上的頂點(diǎn)顏色插值得到規(guī)整化人臉模型上的頂點(diǎn)顏 色，并將該顏色值賦給平面規(guī)則網(wǎng)格上對應(yīng)的頂點(diǎn)，得到規(guī)整化人臉模型的紋理圖像。
3. 根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，還包括，得到三維人臉的幾 何形狀的步驟如下步驟41 :在人臉形變模型上標(biāo)注與圖像上的人臉關(guān)鍵點(diǎn)相對應(yīng)的三維關(guān)鍵點(diǎn)； 步驟42 :利用弱透視投影對三維關(guān)鍵點(diǎn)進(jìn)行變換，得到三維關(guān)鍵點(diǎn)的投影； 步驟43 :對人臉的形狀參數(shù)和姿態(tài)參數(shù)進(jìn)行初始化；步驟44:將代價(jià)函數(shù)設(shè)置為所有三維關(guān)鍵點(diǎn)的投影與圖像上的人臉關(guān)鍵點(diǎn)之間的偏 差，將該代價(jià)函數(shù)最小化，得到人臉的形狀參數(shù)和姿態(tài)參數(shù)；步驟45 :利用形狀參數(shù)將人臉形變模型的形狀分量加權(quán)，得到重建人臉的幾何形狀。
4. 根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，還包括，形狀無關(guān)紋理的生 成步驟如下步驟51 :將重建的人臉模型展成平面，得到一個(gè)平面人臉網(wǎng)格；步驟52 :根據(jù)人臉姿態(tài)參數(shù)，求重建的人臉模型的頂點(diǎn)的投影坐標(biāo)，以投影坐標(biāo)作為 該頂點(diǎn)的紋理坐標(biāo)；步驟53 :以輸入圖像為紋理圖像，利用紋理坐標(biāo)將紋理圖像映射到平面人臉網(wǎng)格上， 渲染該平面人臉網(wǎng)格得到形狀無關(guān)紋理。
5. 根據(jù)權(quán)利要求1所述的三維人臉重建方法，其特征在于，還包括，人臉紋理擬合的步驟如下步驟61 :計(jì)算人臉紋理圖像的有效區(qū)域；步驟62 :計(jì)算每個(gè)像素處的位置確定度，將位置確定度作為代價(jià)函數(shù)在該像素處的權(quán)重；步驟63 :為重建的三維人臉模型加上兩個(gè)光照，分別位于三維人臉模型的左前方和右前方各45度，光照的位置固定，強(qiáng)度可變；步驟64 :以形狀無關(guān)紋理為擬合的目標(biāo)圖像，以人臉形變模型的紋理分量合成人臉紋 理；將代價(jià)函數(shù)設(shè)置為合成的紋理圖像與目標(biāo)圖像之間的偏差，代價(jià)函數(shù)在紋理的有效區(qū) 域內(nèi)進(jìn)行計(jì)算；步驟65 :在計(jì)算代價(jià)函數(shù)之前，對合成的人臉紋理的灰度級進(jìn)行線性變換；利用梯度 下降法將代價(jià)函數(shù)最小化得到合成的紋理圖像；步驟66 :設(shè)計(jì)一個(gè)模板圖像將合成的紋理圖像與形狀無關(guān)紋理進(jìn)行融合，取出形狀無關(guān)紋理的中心區(qū)域補(bǔ)充到合成的紋理圖像上，以補(bǔ)充人臉的細(xì)節(jié)。
6. —種三維人臉重建方法，其特征在于，包括如下步驟步驟la :利用三維掃描儀采集真實(shí)的三維人臉模型并進(jìn)行規(guī)整化處理，得到規(guī)整化人臉模型，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主成分分析，得到人臉形變模型，包括形狀分量和紋理分量兩部分；步驟2b :利用Adaboost自動檢測輸入圖像中的人臉，得到人臉在圖像中的位置； 步驟3c :利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點(diǎn)；步驟4d :根據(jù)人臉上的關(guān)鍵點(diǎn)和人臉形變模型的形狀分量，恢復(fù)人臉的形狀參數(shù)和姿 態(tài)參數(shù)，從而得到三維人臉模型的幾何形狀，即重建的三維人臉模型；步驟5e :將重建的三維人臉模型上的頂點(diǎn)進(jìn)行弱透視投影，以弱透視投影坐標(biāo)作為其 紋理坐標(biāo)，以輸入圖像為紋理，對重建的三維人臉模型進(jìn)行紋理映射，得到最終的重建結(jié) 果。
7. 根據(jù)權(quán)利要求6所述的三維人臉重建方法，其特征在于，還包括，人臉模型規(guī)整化的 步驟如下步驟11a :定義一個(gè)平面規(guī)則網(wǎng)格，并在該平面規(guī)則網(wǎng)格和待規(guī)整化的人臉模型上標(biāo) 注若干對應(yīng)的關(guān)鍵點(diǎn)；步驟12a :基于對應(yīng)的關(guān)鍵點(diǎn)，利用徑向基函數(shù)將平面規(guī)則網(wǎng)格變形到待規(guī)整化的人 臉模型，得到一個(gè)粗略的人臉模型；步驟13a :從粗略的人臉模型上的每一個(gè)頂點(diǎn)作法向量投影，得到該頂點(diǎn)的新坐標(biāo)，從 而得到規(guī)整化的人臉模型；步驟14a :由待規(guī)整化的人臉模型上的頂點(diǎn)顏色插值得到規(guī)整化人臉模型上的頂點(diǎn)顏 色，并將該顏色值賦給平面規(guī)則網(wǎng)格上對應(yīng)的頂點(diǎn)，得到規(guī)整化人臉模型的紋理圖像。
8. 根據(jù)權(quán)利要求6所述的三維人臉重建方法，其特征在于，還包括，得到三維人臉的幾 何形狀的步驟如下步驟41d :在人臉形變模型上標(biāo)注與圖像上的人臉關(guān)鍵點(diǎn)相對應(yīng)的三維關(guān)鍵點(diǎn)； 步驟42d :利用弱透視投影對三維關(guān)鍵點(diǎn)進(jìn)行變換，得到三維關(guān)鍵點(diǎn)的投影； 步驟43d :對人臉的形狀參數(shù)和姿態(tài)參數(shù)進(jìn)行初始化；步驟44d :將代價(jià)函數(shù)設(shè)置為所有三維關(guān)鍵點(diǎn)的投影與圖像上的人臉關(guān)鍵點(diǎn)之間的偏 差，將該代價(jià)函數(shù)最小化，得到人臉的形狀參數(shù)和姿態(tài)參數(shù)；步驟45d :利用形狀參數(shù)將人臉形變模型的形狀分量加權(quán)，得到重建人臉的幾何形狀。
全文摘要
本發(fā)明為一種三維人臉重建方法，從單張正面人臉圖像自動重建三維人臉模型，提出兩種方案，第一種離線生成人臉形變模型；利用Adaboost自動檢測輸入圖像中的人臉位置；利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點(diǎn)；基于人臉形變模型的形狀分量和圖像上的人臉關(guān)鍵點(diǎn)重建三維人臉的幾何形狀；以形狀無關(guān)紋理作為目標(biāo)圖像，利用人臉形變模型的紋理分量進(jìn)行人臉紋理擬合，得到完整的人臉紋理；紋理映射后得到重建結(jié)果。第二種與第一種不同之處在于在重建三維人臉的幾何形狀之后，不進(jìn)行人臉紋理擬合，而是直接以輸入圖像作為紋理圖像，得到重建結(jié)果。本發(fā)明的方案一適合應(yīng)用在影視制作、三維人臉識別等領(lǐng)域，方案二重建速度快。
文檔編號G06T17/00GK101751689SQ20091009376
公開日2010年6月23日 申請日期2009年9月28日 優(yōu)先權(quán)日2009年9月28日
發(fā)明者丁賓, 姚健, 杜志軍, 楊明浩, 王陽生 申請人:中國科學(xué)院自動化研究所;北京盛開互動科技有限公司