本發(fā)明實施例涉及計算機技術(shù)領(lǐng)域，具體涉及一種三維人臉建模方法及裝置。

背景技術(shù)：

三維人臉實時重建在三維動畫、虛擬現(xiàn)實、人機交互、身份驗證與識別等諸多領(lǐng)域有著廣泛的應用價值。如圖1所示，三維人臉重建可用于人機交互、視頻游戲、沉浸式通信、身份驗證等領(lǐng)域。

近年來，隨著基于結(jié)構(gòu)光與可測深度攝像頭深度掃描技術(shù)的發(fā)展，深度相機如Intel RealSense、Microsoft Kinect、PrimeSense具有價格低廉、結(jié)構(gòu)小巧、使用方便、能實時捕獲物體表面的深度與顏色信息等優(yōu)點，如圖2所示；另外同立體視覺方法相比，深度相機基于主動發(fā)射近紅外光或者結(jié)構(gòu)光，計算復雜度低、不易受物體表面紋理及光照變化的影響等優(yōu)點。因此深度相機已在人機交互、游戲、機器視覺、增強現(xiàn)實、視頻監(jiān)控、機器人、生物醫(yī)學等領(lǐng)域受到廣泛關(guān)注。

現(xiàn)有的算法通常采用的是模型數(shù)據(jù)庫擬合的方式進行重建，采集人需預先采集基本的表情與姿態(tài)模型，然后用標定好的模型基實時驅(qū)動采集人進行跟蹤與重建?，F(xiàn)有的實時三維人臉建模技術(shù)存在著需要采集人預先錄制各種繁瑣的表情，或者重建精度不高以及對采集的第一幀表情為中性臉的要求等問題，大大限制了三維人臉建模技術(shù)的廣泛應用。

在實現(xiàn)本發(fā)明實施例的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有的方法需要采集人預先錄制各種繁瑣的表情，重建精度不高以及要求采集的第一幀表情為中性臉，限制了三維人臉建模技術(shù)的廣泛應用。

技術(shù)實現(xiàn)要素：

由于現(xiàn)有的方法需要采集人預先錄制各種繁瑣的表情，重建精度不高以及要求采集的第一幀表情為中性臉，限制了三維人臉建模技術(shù)的廣泛應用的問題，本發(fā)明實施例提出一種三維人臉建模方法及裝置。

第一方面，本發(fā)明實施例提出一種三維人臉建模方法，包括：

獲取第一人臉圖像，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，得到第一三維人臉模型；

根據(jù)第二人臉圖像的目標三維人臉模型對所述第一三維人臉模型進行調(diào)整，得到第二三維人臉模型；

根據(jù)預設(shè)的人臉局部光滑基函數(shù)對所述第二三維人臉模型進行擬合，得到第三三維人臉模型；

建立所述第三三維人臉模型的幾何細節(jié)，得到目標三維人臉模型。

優(yōu)選地，所述方法還包括：

若判斷獲知所述第一人臉圖像與所述預設(shè)三維人臉數(shù)據(jù)庫的注冊誤差大于閾值，則采用所述第一人臉圖像的深度圖像對所述第一三維人臉模型的調(diào)整進行輔助。

優(yōu)選地，所述將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，進一步包括：

采用身份系數(shù)和表情系數(shù)，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合。

優(yōu)選地，所述方法還包括：

對圖像進行人臉檢測，若檢測獲知所述圖像中包含人臉，則獲取人臉所在區(qū)域，根據(jù)所述人臉所在區(qū)域，得到所述第一人臉圖像。

優(yōu)選地，所述建立所述第三三維人臉模型的幾何細節(jié)，進一步包括：

計算所述第三三維人臉模型中的皮膚反射率，根據(jù)所述皮膚反射率，得到所述第三三維人臉模型的幾何細節(jié)。

第二方面，本發(fā)明實施例還提出一種三維人臉建模裝置，包括：

模型擬合模塊，用于獲取第一人臉圖像，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，得到第一三維人臉模型；

模型調(diào)整模塊，用于根據(jù)第二人臉圖像的目標三維人臉模型對所述第一三維人臉模型進行調(diào)整，得到第二三維人臉模型；

函數(shù)擬合模塊，用于根據(jù)預設(shè)的人臉局部光滑基函數(shù)對所述第二三維人臉模型進行擬合，得到第三三維人臉模型；

細節(jié)建立模塊，用于建立所述第三三維人臉模型的幾何細節(jié)，得到目標三維人臉模型。

優(yōu)選地，所述裝置還包括：

輔助調(diào)整模塊，用于若判斷獲知所述第一人臉圖像與所述預設(shè)三維人臉數(shù)據(jù)庫的注冊誤差大于閾值，則采用所述第一人臉圖像的深度圖像對所述第一三維人臉模型的調(diào)整進行輔助。

優(yōu)選地，所述模型擬合模塊進一步用于采用身份系數(shù)和表情系數(shù)，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合。

優(yōu)選地，所述裝置還包括：

人臉圖像獲取模塊，用于對圖像進行人臉檢測，若檢測獲知所述圖像中包含人臉，則獲取人臉所在區(qū)域，根據(jù)所述人臉所在區(qū)域，得到所述第一人臉圖像。

優(yōu)選地，所述細節(jié)建立模塊進一步用于計算所述第三三維人臉模型中的皮膚反射率，根據(jù)所述皮膚反射率，得到所述第三三維人臉模型的幾何細節(jié)。

由上述技術(shù)方案可知，本發(fā)明實施例通過將第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，能夠獲取符合第一人臉圖像的初步的三維人臉模型；根據(jù)第二人臉圖像的目標三維人臉模型對第一三維人臉模型進行調(diào)整，能夠結(jié)合其它角度的人臉圖像的三維人臉模型，對初步三維人臉模型進行調(diào)整，并通過預設(shè)的人臉局部光滑基函數(shù)和幾何細節(jié)進行進一步的擬合，能夠得到高精度的三維人臉模型，無需采集人預先錄制各種繁瑣的表情，且對第一幀表情無要求，有利于三維人臉建模技術(shù)的廣泛應用。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些圖獲得其他的附圖。

圖1為現(xiàn)有技術(shù)提供的三維人臉重建技術(shù)的應用示意圖；

圖2為現(xiàn)有技術(shù)提供的深度相機的體積和價格的關(guān)系示意圖；

圖3為本發(fā)明一實施例提供的一種三維人臉建模方法的流程示意圖；

圖4為本發(fā)明另一實施例提供的一種三維人臉建模方法的流程示意圖；

圖5為本發(fā)明一實施例提供的一種三維人臉建模裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖，對發(fā)明的具體實施方式作進一步描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，而不能以此來限制本發(fā)明的保護范圍。

圖3示出了本實施例提供的一種三維人臉建模方法的流程示意圖，包括：

S301、獲取第一人臉圖像，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，得到第一三維人臉模型；

其中，所述第一人臉圖像為待處理的用于進行三維人臉建模的人臉圖像。所述第一人臉圖像可以為采用RGB-D相機采集到的包含顏色與深度信息的圖像。

所述預設(shè)三維人臉數(shù)據(jù)庫為預先采集的多人多表情的三維人臉模型，包括各種類型的人臉，例如老人、孩子、男人、女人等等，每種類型的人臉包括多個表情。

舉例來說，參照圖4所示流程，將第i幀采集到的人臉點云信息P_i與數(shù)據(jù)庫中預先采集的預設(shè)三維人臉數(shù)據(jù)庫進行擬合，擬合的變量為采集人的身份系數(shù)與表情系數(shù)，在優(yōu)化過程中，為了利用采集到的顏色信息，將擬合出來的人臉上的三維關(guān)鍵點投影到二維成像平面使得投影點的位置盡可能的和二維人臉圖像I_i上的關(guān)鍵點信息重合。

具體地，采用將采集到的點云與數(shù)據(jù)庫中的多人多表情三維人臉模型進行快速擬合的方式，求解變量為采集人的身份系數(shù)與表情系數(shù)。在確定采集人的身份系數(shù)與表情系數(shù)的過程中，還將采集到的二維人臉圖片的關(guān)鍵點信息作為約束，使得由身份系數(shù)與表情系數(shù)組合出來的三維人臉模型的三維關(guān)鍵點投影到二維成像平面之后的位置與人臉圖片上的關(guān)鍵點信息盡可能重合。

S302、根據(jù)第二人臉圖像的目標三維人臉模型對所述第一三維人臉模型進行調(diào)整，得到第二三維人臉模型；

其中，所述第二人臉圖像與所述第一人臉圖像角度不同但人臉相同的人臉圖像。

舉例來說，由于采集人在采集過程中不斷移動與旋轉(zhuǎn)人臉，為了跟蹤并進一步優(yōu)化重建的三維人臉，需將新采集到的人臉點云信息與上一步重建出來的三維人臉模型進行剛性與非剛性注冊。在剛性注冊部分，采用迭代的最近點算法優(yōu)化旋轉(zhuǎn)矩陣與平移向量；在非剛性注冊部分，進一步優(yōu)化采集人的身份稀疏、表情稀疏與局部光滑基的組合系數(shù)。

S303、根據(jù)預設(shè)的人臉局部光滑基函數(shù)對所述第二三維人臉模型進行擬合，得到第三三維人臉模型；

具體地，在非剛性注冊步驟中，我們除了將采集到的點云信息與預先采集的預設(shè)三維人臉數(shù)據(jù)庫做擬合之外，還對三維人臉模型預先提取了人臉局部光滑基函數(shù)，因此，除了采集人的身份系數(shù)與表情系數(shù)之外，還增加了局部光滑基的組合系數(shù)作為變量，進一步擬合人臉三維模型。

S304、建立所述第三三維人臉模型的幾何細節(jié)，得到目標三維人臉模型。

雖然S301-S303能很好地重建并跟蹤三維人臉，但重建出來的模型并未包含采集人的幾何細節(jié)。采用來源于陰影的形狀方法重建人臉模型上的細節(jié)。

具體地，采用來自于陰影的形狀分析方法重建人臉模型的幾何細節(jié)；同時為了更好的表達人臉模型的幾何細節(jié)，需對人臉的某些特定區(qū)域(研究、鼻子、嘴等部分)進行有選擇的細分操作。

本實施例利用預先采集好的三維人臉模型和設(shè)計好的人臉三角網(wǎng)格上的預設(shè)的人臉局部光滑基函數(shù)協(xié)同下的實時人臉模型恢復算法，并采用shape from shading方法進一步恢復人臉的細節(jié)。基于多人多表情三維人臉數(shù)據(jù)庫的張量擬合算法，同時引入了局部光滑的基函數(shù)增加擬合的自由度，并將采集到的顏色圖片信息作為輸入采用來自于陰影的細節(jié)恢復算法恢復人臉的幾何細節(jié)。

本實施例通過將第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，能夠獲取符合第一人臉圖像的初步的三維人臉模型；根據(jù)第二人臉圖像的目標三維人臉模型對第一三維人臉模型進行調(diào)整，能夠結(jié)合其它角度的人臉圖像的三維人臉模型，對初步三維人臉模型進行調(diào)整，并通過預設(shè)的人臉局部光滑基函數(shù)和幾何細節(jié)進行進一步的擬合，能夠得到高精度的三維人臉模型，無需采集人預先錄制各種繁瑣的表情，且對第一幀表情無要求，有利于三維人臉建模技術(shù)的廣泛應用。

進一步地，在上述方法實施例的基礎(chǔ)上，S302和S303之間還包括：

S3023、若判斷獲知所述第一人臉圖像與所述預設(shè)三維人臉數(shù)據(jù)庫的注冊誤差大于閾值，則采用所述第一人臉圖像的深度圖像對所述第一三維人臉模型的調(diào)整進行輔助。

具體地，如果剛性跟蹤步驟失敗，即點云與三維模型之間的注冊誤差大于某個閾值時，采用由深度圖像估計出來的人臉位置與朝向信息輔助點云與三維模型之間的注冊。

通過采集設(shè)備采集的人臉顏色與深度信息進行實時高精度的三維人臉重建與跟蹤。

進一步地，在上述方法實施例的基礎(chǔ)上，S301中所述將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，進一步包括：

采用身份系數(shù)和表情系數(shù)，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合。

其中，所述身份系數(shù)為表示人臉身份的參數(shù)，所述人臉身份如老人、孩子、男人、女人等。

所述表情系數(shù)為表示人臉表情的參數(shù)，所述人臉表情如哭、笑、怒等等。

通過用身份系數(shù)和表情系數(shù)，能夠快速確定第一人臉圖像對應的人臉的身份和表情，便于后續(xù)進一步的處理。

進一步地，在上述方法實施例的基礎(chǔ)上，所述方法還包括：

S300、對圖像進行人臉檢測，若檢測獲知所述圖像中包含人臉，則獲取人臉所在區(qū)域，根據(jù)所述人臉所在區(qū)域，得到所述第一人臉圖像。

具體地，基于深度單通道與顏色深度四通道信號的faster-rcnn方法的人臉檢測；根據(jù)人臉朝向的不同角度進行多分類，對每一類朝向的人臉顏色深度數(shù)據(jù)單獨訓練一個關(guān)鍵點檢測的回歸模型進行人臉關(guān)鍵點檢測。

通過對圖像進行人臉識別，能夠快速確定圖像中是否包含人臉，若圖像中無人臉，能夠大大節(jié)省不必要的處理時間。

更進一步地，在上述方法實施例的基礎(chǔ)上，S304中所述建立所述第三三維人臉模型的幾何細節(jié)，進一步包括：

計算所述第三三維人臉模型中的皮膚反射率，根據(jù)所述皮膚反射率，得到所述第三三維人臉模型的幾何細節(jié)。

具體地，人臉圖像上的顏色信息是由照射在人臉上的光經(jīng)過人臉反射顯示出來的，可以表示成c_ij＝r_ij·s_ij，其中r_ij是人臉反射率，s_ij是光照，c_ij是圖像的像素值。假設(shè)光照是光滑的，我們可以用低維的球面調(diào)和基函數(shù)對光照建模，同時引入光照校正場光照模型可以表示成：其中φ(n)是2階的球面調(diào)和基函數(shù)，y是基函數(shù)對應的權(quán)重系數(shù)。通過讓建模的光照乘上皮膚反射率得到的值與人臉圖像的顏色值盡可能一樣，并要求光照光滑，可計算出權(quán)重系數(shù)y和校正場d，就可以獲取光照s_ij，并可得到皮膚反射率r_ij＝c_ij/s_ij。

通過計算得到的皮膚反射率，并允許點云包含的所有點沿著它們相應的視線方向移動，從而得到帶有細節(jié)的點云。把原始的光滑模型注冊到帶細節(jié)的點云，最終獲得帶有幾何細節(jié)的三維人臉模型。

圖5示出了本實施例提供的一種三維人臉建模裝置的結(jié)構(gòu)示意圖，所述裝置包括：模型擬合模塊501、模型調(diào)整模塊502、函數(shù)擬合模塊503和細節(jié)建立模塊504，其中：

所述模型擬合模塊501用于獲取第一人臉圖像，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，得到第一三維人臉模型；

所述模型調(diào)整模塊502用于根據(jù)第二人臉圖像的目標三維人臉模型對所述第一三維人臉模型進行調(diào)整，得到第二三維人臉模型；

所述函數(shù)擬合模塊503用于根據(jù)預設(shè)的人臉局部光滑基函數(shù)對所述第二三維人臉模型進行擬合，得到第三三維人臉模型；

所述細節(jié)建立模塊504用于建立所述第三三維人臉模型的幾何細節(jié)，得到目標三維人臉模型。

具體地，所述模型擬合模塊501獲取第一人臉圖像，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，得到第一三維人臉模型；所述模型調(diào)整模塊502根據(jù)第二人臉圖像的目標三維人臉模型對所述第一三維人臉模型進行調(diào)整，得到第二三維人臉模型；所述函數(shù)擬合模塊503根據(jù)預設(shè)的人臉局部光滑基函數(shù)對所述第二三維人臉模型進行擬合，得到第三三維人臉模型；所述細節(jié)建立模塊504建立所述第三三維人臉模型的幾何細節(jié)，得到目標三維人臉模型。

本實施例通過將第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合，能夠獲取符合第一人臉圖像的初步的三維人臉模型；根據(jù)第二人臉圖像的目標三維人臉模型對第一三維人臉模型進行調(diào)整，能夠結(jié)合其它角度的人臉圖像的三維人臉模型，對初步三維人臉模型進行調(diào)整，并通過預設(shè)的人臉局部光滑基函數(shù)和幾何細節(jié)進行進一步的擬合，能夠得到高精度的三維人臉模型，無需采集人預先錄制各種繁瑣的表情，且對第一幀表情無要求，有利于三維人臉建模技術(shù)的廣泛應用。

進一步地，在上述方法實施例的基礎(chǔ)上，所述裝置還包括：

輔助調(diào)整模塊，用于若判斷獲知所述第一人臉圖像與所述預設(shè)三維人臉數(shù)據(jù)庫的注冊誤差大于閾值，則采用所述第一人臉圖像的深度圖像對所述第一三維人臉模型的調(diào)整進行輔助。

進一步地，在上述方法實施例的基礎(chǔ)上，所述模型擬合模塊501進一步用于采用身份系數(shù)和表情系數(shù)，將所述第一人臉圖像與預設(shè)三維人臉數(shù)據(jù)庫進行擬合。

進一步地，在上述方法實施例的基礎(chǔ)上，所述裝置還包括：

人臉圖像獲取模塊，用于對圖像進行人臉檢測，若檢測獲知所述圖像中包含人臉，則獲取人臉所在區(qū)域，根據(jù)所述人臉所在區(qū)域，得到所述第一人臉圖像。

更進一步地，在上述方法實施例的基礎(chǔ)上，所述細節(jié)建立模塊504進一步用于計算所述第三三維人臉模型中的皮膚反射率，根據(jù)所述皮膚反射率，得到所述第三三維人臉模型的幾何細節(jié)。

本實施例所述的三維人臉建模裝置可以用于執(zhí)行上述方法實施例，其原理和技術(shù)效果類似，此處不再贅述。

以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。

應說明的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應當理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。