本發(fā)明涉及一種基于單張照片的快速人臉建模方法，屬于人臉重建技術(shù)領(lǐng)域。

背景技術(shù)：

自從上世紀(jì)70年代parke建立第一個(gè)三維人臉模型以來，三維人臉重建就成為了計(jì)算機(jī)圖形學(xué)領(lǐng)域中的研究重點(diǎn)，并取得了一定的突破和進(jìn)展。三維人臉重建的應(yīng)用領(lǐng)域非常廣泛，可以用于影視動(dòng)漫、醫(yī)學(xué)圖形、人臉識(shí)別、虛擬試發(fā)、虛擬試衣等。

傳統(tǒng)的人臉建模往往是由美工手工進(jìn)行建模，會(huì)耗費(fèi)大量的時(shí)間和人力，也使得三維人頭重建的技術(shù)難以普及?，F(xiàn)有的快速人臉建模方法穩(wěn)定性低、建模速度慢、用戶體驗(yàn)差。而如果有一種手段，使得通過單張正面人臉照片就可以實(shí)現(xiàn)對(duì)三維人頭模型的重建，這樣就會(huì)使得三維人頭模型的重建效率大大提高，無論是游戲玩家，還是動(dòng)漫開發(fā)人員。因此，基于單張照片的三維人頭建模的研究意義十分重要。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)在技術(shù)存在的不足之處，本方法的目的是提供一種基于單張照片的快速人臉建模方法，本發(fā)明的方法穩(wěn)定性高，用戶體驗(yàn)好，可以通過單張照片，快速的生成與照片貼近的三維人臉模型。

為了實(shí)現(xiàn)上述目的，本發(fā)明通過如下技術(shù)方案來實(shí)現(xiàn)：

本發(fā)明的一種基于單張照片的快速人臉建模方法，具體包括以下幾個(gè)步驟：

(1)建立各種標(biāo)準(zhǔn)臉型的三維模型庫(kù)；

(2)通過人臉識(shí)別技術(shù)對(duì)輸入的正面人臉照片進(jìn)行人臉特征點(diǎn)識(shí)別；

(3)基于人臉特征點(diǎn)對(duì)照片人臉進(jìn)行縮放、平移、旋轉(zhuǎn)，使照片人臉和uv平面下的人臉網(wǎng)格初步重合；

(4)使用滑動(dòng)最小二乘變換，使得特征人臉和uv人臉完全重合；

(5)提取人臉特征區(qū)域，該區(qū)域?qū)挾葹榇笥谌四槍挾?，高度為眉毛以上及下巴以下的正方形區(qū)域；與原始的紋理貼圖進(jìn)行泊松融合，生成新的貼圖；

(6)對(duì)新的貼圖進(jìn)行美白磨皮操作；

(7)根據(jù)臉型庫(kù)中映射到xoy平面的臉型輪廓參數(shù)和人臉輪廓特征點(diǎn)求解權(quán)值，重建新的三維人臉模型；

(8)將新的人臉貼圖和新的三維人臉模型進(jìn)行紋理映射(因?yàn)槿四樫N圖和三維人臉模型是配套的，所以直接進(jìn)行紋理映射)，可以獲得完整的三維人臉模型。

步驟(1)中，標(biāo)準(zhǔn)臉型包括長(zhǎng)臉、鵝蛋臉、方臉、梨臉、菱形臉、心臉和圓臉；各種標(biāo)準(zhǔn)臉型的三維模型庫(kù)的建立方法如下：

對(duì)于臉型庫(kù)中的每一個(gè)標(biāo)準(zhǔn)臉型模型，都要在三維網(wǎng)格上標(biāo)定好的特征點(diǎn)，所有模型共用一張?jiān)技y理貼圖，原始紋理貼圖根據(jù)輸入照片重建。

步驟(2)中，使用stasm4.1+opencv實(shí)現(xiàn)對(duì)人臉77個(gè)關(guān)鍵點(diǎn)的提取，特征點(diǎn)包括五官以及輪廓。

步驟(4)中，特征人臉和uv人臉完全重合的方法如下：

以人臉五官特征點(diǎn)集合p和uv人臉五官特征點(diǎn)集合q作為控制點(diǎn)，實(shí)現(xiàn)圖像變形；公式如下：

lv(x)＝(x-p*)m+q*

其中x為原點(diǎn)，lv(x)為變換后區(qū)域，p*和q*分別為特征點(diǎn)集合參數(shù)和控制點(diǎn)集合參數(shù)；

其中m為線性變換矩陣，求解方法為：

其中wi為權(quán)重系數(shù)，求解方法如下：

其中v表示圖像中待變換的坐標(biāo)點(diǎn)，α為指數(shù)系數(shù)，(可進(jìn)行調(diào)整，一般取0.7)；

p*,q*的求解方法如下：

步驟(5)中，新的貼圖生產(chǎn)方法如下：

將原始照片和原始的紋理貼圖轉(zhuǎn)換成hsv顏色空間表示，分別對(duì)三個(gè)通道進(jìn)行比較，并進(jìn)行平均處理，h通道處理過程如下：

hori表示原有圖片或貼圖的h通道值，havg表示原有貼圖和圖片的h通道平均值，w為權(quán)重系數(shù)(取值一般為0.3)；

對(duì)s通道、v通道的處理方法與h通道一致；

之后對(duì)人臉特征區(qū)域進(jìn)行提取，使用泊松融合，將提取出的特征部分與美工制作好的原始的紋理貼圖進(jìn)行像素融合。

步驟(6)中，對(duì)新的貼圖進(jìn)行美白磨皮操作的公式如下：

其中，vi(x,y)為第i個(gè)人臉輪廓特征點(diǎn)的像素值，w(x,y)為像素點(diǎn)的原像素值；β為參數(shù)，取值為[2,3,4,5]，且系數(shù)越高，美白的程度越高。

步驟(7)中，根據(jù)臉型庫(kù)中映射到xoy平面的臉型輪廓參數(shù)，具體為三維人臉在二維平面映射后的臉部輪廓參數(shù)，和人臉輪廓特征點(diǎn)求解權(quán)值，重建新的三維人臉模型的方法如下：

對(duì)于給定的正面人臉照片，提取出照片人臉輪廓的特征點(diǎn)，并對(duì)特征點(diǎn)坐標(biāo)值進(jìn)行歸一化處理，得到向量tinput；將標(biāo)準(zhǔn)臉型庫(kù)中已有的模型投影到xoy平面，假定目前有七個(gè)模型，同樣作歸一化的處理，得到t1,t2…t7.得到公式：

其中，a1……a7為權(quán)值,

最后可求解權(quán)值α，公式如下：

其中δt為δti的向量集，通過權(quán)值α，對(duì)原有的7個(gè)標(biāo)準(zhǔn)臉型模型進(jìn)行加權(quán)計(jì)算，可生成新的臉型模型。

本發(fā)明只需通過一張正面的高清人臉照片，即可獲取與真實(shí)人臉較為逼近的人臉模型；本發(fā)明使用stasm進(jìn)行人臉特征點(diǎn)識(shí)別，在此基礎(chǔ)上，通過對(duì)面部照片變形，截取特征部分，與原有貼圖進(jìn)行泊松融合；并通過對(duì)模型庫(kù)中的模型和照片輪廓進(jìn)行權(quán)值求解，通過權(quán)值建立新的模型。與現(xiàn)有的技術(shù)相比，本發(fā)明的人臉建模方案速度更快，可生成與照片人臉較為逼近的三維人臉模型，可用于娛樂、游戲等領(lǐng)域。

附圖說明

圖1為本發(fā)明的基于單張照片的快速人臉建模方法工作流程圖；

圖2為標(biāo)準(zhǔn)臉型庫(kù)中的臉型；

圖3為紋理貼圖生成方式；

圖4為映射到xoy平面的標(biāo)準(zhǔn)臉型庫(kù)人臉輪廓和照片人臉輪廓。

具體實(shí)施方式

為使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體實(shí)施方式，進(jìn)一步闡述本發(fā)明。

參見圖1，本發(fā)明具體包括以下幾個(gè)步驟：

(1)建立標(biāo)準(zhǔn)的臉型庫(kù)和通用人臉背景貼圖

本方案首先需要建立標(biāo)準(zhǔn)的臉型庫(kù)，理論上，臉型庫(kù)中各種不同標(biāo)準(zhǔn)臉型的數(shù)量越多，最后生成的人臉模型與實(shí)際人臉更為接近。本方案暫時(shí)使用了七種標(biāo)準(zhǔn)的人臉模型，分別有長(zhǎng)臉，鵝蛋臉，方臉，梨臉，菱形臉，心臉，圓臉，基本覆蓋了東方美女的幾種常見的臉型。對(duì)于臉型庫(kù)中的每個(gè)模型，都要對(duì)人臉的特征點(diǎn)進(jìn)行標(biāo)定，因?yàn)闃?biāo)準(zhǔn)臉型庫(kù)中的模型頂點(diǎn)的標(biāo)號(hào)一致，所以標(biāo)定一個(gè)模型的特征點(diǎn)，其余模型的特征點(diǎn)標(biāo)號(hào)也一致。為所有模型制作一張共用的原始紋理貼圖，該貼圖需要根據(jù)輸入的照片進(jìn)行調(diào)整。

(2)生成三維人臉模型的貼圖

理論上我們可以直接通過對(duì)照片中的人臉區(qū)域進(jìn)行變形，使其與uv平面的人臉關(guān)鍵點(diǎn)一一對(duì)應(yīng)，但是用此方案生成的貼圖效果不夠理想，會(huì)出現(xiàn)貼圖無法覆蓋整個(gè)模型，紋理不匹配的問題。

先由美工繪制好人臉背景貼圖。然后通過以下步驟生成貼圖。

a)通過對(duì)照片人臉進(jìn)行調(diào)整，使其與uv人臉特征點(diǎn)完全重合。

先根據(jù)人臉特征點(diǎn)的得出一個(gè)臉部區(qū)域的包圍盒，在對(duì)比背景貼圖的臉部的包圍盒，由這兩個(gè)矩形區(qū)域得到縮放的系數(shù)，對(duì)照片臉部區(qū)域進(jìn)行縮放，并通過適當(dāng)平移和旋轉(zhuǎn)，使的貼圖包圍盒和臉部區(qū)域的包圍盒重合。然后使用mls變形，對(duì)人臉特征區(qū)域進(jìn)行變形，使得人臉特征點(diǎn)與uv人臉特征點(diǎn)部分完全重合。主要公式如下：

lv(x)＝(x-p*)m+q*

其中m為線性變換矩陣：

其中以及p*,q*的求解方法

b)對(duì)變形后的臉部區(qū)域進(jìn)行截取，并和原有貼圖進(jìn)行泊松梯度融合。

將照片和原有貼圖轉(zhuǎn)換成hsv顏色空間表示，分別對(duì)三個(gè)通道進(jìn)行比較，并進(jìn)行平均處理，處理過程以h通道為例，過程如下：

其中hori為圖片和貼圖原有的h通道值，havg為照片和貼圖的h通道平均值，w為權(quán)重系數(shù)，可根據(jù)實(shí)驗(yàn)數(shù)據(jù)設(shè)定，暫時(shí)設(shè)定w＝0.5.

對(duì)s，v通道的處理方案與h一致。通過該方法，可使照片人臉區(qū)域和貼圖與顏色過度較為平滑。接著進(jìn)行泊松梯度融合，主要過程為確定泊松融合區(qū)域，構(gòu)建泊松矩陣，求解泊松矩陣，部分區(qū)域內(nèi)外判斷，及像素填充。

(3)對(duì)貼進(jìn)行美白，磨皮等優(yōu)化處理

對(duì)已經(jīng)生成的貼圖進(jìn)行美白、磨皮的操作，使得生成的貼圖效果更為逼真，其主要公式如下：

其中β取值為[2,3,4,5]，且系數(shù)越高，美白的程度越高，磨皮效果越大。但是β的取值并非越高越好，美白過高，磨皮太過都會(huì)使得圖像細(xì)節(jié)丟失。一般使得β＝3較為合理。然后確定膚色取值的區(qū)域，投票確定平均像素值，比較每一個(gè)像素點(diǎn)的像素值，只需要整體做一個(gè)亮度閾值的約束。

(4)根據(jù)照片人臉，與臉型庫(kù)模型的模型進(jìn)行權(quán)值計(jì)算，生成新的模型。

首先需要提取出正面人臉照片的輪廓特征點(diǎn)，根據(jù)stasm提取的特征點(diǎn)，臉部輪廓特征點(diǎn)約有19個(gè)，并對(duì)其進(jìn)行歸一化處理，得到輪廓特征點(diǎn)的向量集tinput。該向量具體為

其中vi(x,y)第i個(gè)人臉輪廓特征點(diǎn)的坐標(biāo)值為x，y。表示然后我們將模型庫(kù)中的標(biāo)準(zhǔn)臉型模型(當(dāng)前為7個(gè))投影到xoy平面，同樣進(jìn)行歸一化處理，并得到向量集t1,t2…t7。其中ti的形式與tinput一致。

根據(jù)上面的向量，我們可以得到如下的方程：

其中，

求解上述方程，我們可以得到

所以我們可以求出權(quán)值向量

根據(jù)這個(gè)權(quán)值，我們可以將其代入到三維模型中對(duì)標(biāo)準(zhǔn)臉型庫(kù)中的七個(gè)模型進(jìn)行加權(quán)求值，從而可以獲得一個(gè)新的三維臉型模型。將新的人臉貼圖和新的人臉模型進(jìn)行紋理映射，可得到一個(gè)與真實(shí)人臉較為接近的三維人臉模型。

參見圖2所示，建立起標(biāo)準(zhǔn)的臉型庫(kù)，其中包括長(zhǎng)臉，鵝蛋臉，方臉，梨臉，菱形臉，心臉，圓臉等。

參見圖3所示，我們先由美工繪制好一張人臉貼圖背景，該貼圖特征點(diǎn)與uv人臉特征點(diǎn)時(shí)一一對(duì)應(yīng)的。然后我們通過對(duì)輸入照片進(jìn)行相應(yīng)的變形處理，使用泊松融合將其與原有的貼圖融合，生成一個(gè)新的貼圖。

參見圖4所示，將照片人臉特征點(diǎn)提取出來，并將標(biāo)準(zhǔn)庫(kù)中的人臉輪廓映射到xoy平面得到7中不同的特征點(diǎn)，通過這兩個(gè)特征值，我們進(jìn)行權(quán)值求解，求解除人臉輪廓和三維人臉輪廓的權(quán)值關(guān)系，并通過該權(quán)重得出新的三維人臉模型。以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。