專利名稱：一種用于拍照手機的高分辨率三維人臉掃描方法
技術領域：
本發(fā)明涉及計算機視覺和計算機圖形學領域，尤其涉及一種使用普通拍照手機完成高分辨率三維人臉掃描的方法。
背景技術：
三維人臉掃描在諸如人機交互、影視制作、游戲娛樂、視頻通信等領域具有廣泛的應用。但目前，該任務的完成需要借助于大型、昂貴的設備或高復雜度、高交互操作要求的重建算法。普通消費者在日常生活中還不能便捷地實現三維人臉掃描。
當前的三維人臉掃描方法主要有兩大類，第一類是借助激光掃描儀或深度相機等設備，直接采集掃描對象的三維信息，第二類是從一幅或多幅二維人臉圖像中重建出三維信息。通過激光掃描儀采集的三維人臉具有圖像精確的特征，但實際使用上也存在不少問題，問題之一是設備龐大且昂貴，很難進入日常生活。此外，掃描需要用戶全程做長時間配合，并且頭部必須保持不動。
在公開號為CN101996416A，名稱為“3D人臉捕獲方法和設備”的中國專利中公開了一種使用CCD相機和深度相機完成三維人臉掃描的方法，同激光掃描儀相比，深度相機的體積和費用都減少很多。但其功能單一，且價格仍比較高，普通消費者也難以接受的。另外，TOF(Time-0f-Flight，光照時間)相機在室外環(huán)境或玻璃背景等情況下很難采集到非常準確的數據。同時，TOF相機的分辨率也比較低。
在專利公開號為US2009052748的美國專利中公開了一種從2D表示構建人臉的3D 表示的方法和系統(tǒng)，其揭示了從單幅中性表情正面人臉圖像中重建三維人臉。但由單幅圖重建三維信息是不適定問題，其結果導致重建的三維人臉往往不穩(wěn)健。同時，單幅正面圖像也不能較好的解決被遮擋區(qū)域的紋理映射問題。
在公開號為CN102222363A的中國專利中，公開了一種從人臉圖像快速構建高精度個性化人臉模型的方法，其揭示了使用從固定角度拍攝的5張圖像實現三維人臉的重建。固定角度拍攝對用戶提出了較高的交互要求。同時，重建過程中還需要用戶手工標定 41個特征點位置和特征點對應關系。此外，該方法僅僅依賴于41個特征點實現重建，而忽略了光照信息和反射率信息。這導致前期手工標定的誤差會對重建結果產生非常大的影響，進而導致高精度的三維掃描在實際使用中很難被實現。發(fā)明內容
本發(fā)明的目的是為克服現有技術的不足，提供一種新的用于手機的高分辨率三維人臉掃描方法，其通過日常拍照手機實現三維人臉的高分辨率的掃描，且具有成本低、分辨率高、速度快的優(yōu)點。
為實現上述目的，本發(fā)明提出如下技術方案一種用于拍照手機的高分辨率三維人臉掃描方法，包括以下步驟
第一步，依據三維人臉數據庫構建三維人臉參考模板；L0010J 弟ニ步，通過拍照中機芫放掃描對家的數據米集；第三歩，對輸入的圖像進行預處理，包括特征點定位和伽馬校正；第四歩，粗重建三維人臉，以完成姿態(tài)歸ー化和光照、形狀、反射率的初始值估 計；第五步，以粗重建結果為初始值，細重建三維人臉，對光照、形狀、反射率進行更為 精細的優(yōu)化；第六步，細重建完成后，以頂點法向量的形式存儲形狀信息。其中，所述第一歩中三維人臉參考模板的構建包括1)從三維人臉數據庫中篩選出用于計算參考模板的數據集；2)將將笛卡爾坐標系下的三維人臉數據集展開到柱面坐標系下，得到每個三維人 臉三通道的紋理圖像和單通道的形狀圖像；3)將三維描述的人臉數據集轉換成ニ維描述，在ニ維數據集上使用光流技術，完 成各人臉的像素級稠密對齊；4)在對齊后的ニ維人臉數據集上，計算平均人臉圖像并標定出特征點。所述三維描述的人臉數據集轉換成ニ維描述是通過三通道紋理圖像和單通道形 狀圖像合并得到一幅四通道圖像而完成的。所述平均人臉圖像的計算是在對齊后的ニ維人臉數據集上，計算平均圖像，然后， 將四通道平均圖像重新分解為三通道紋理圖像和單通道形狀圖像，最后，將柱面坐標系下 的紋理圖像和形狀圖像投影回笛卡爾坐標系，從而得到平均人臉的三維描述。所述第四步中的姿態(tài)歸ー化是姿態(tài)參數通過仿射攝像機模型描述為
權利要求
1.一種用于拍照手機的高分辨率三維人臉掃描方法，其特征在于包括以下步驟第一步，依據三維人臉數據庫構建三維人臉參考模板；第二步，通過拍照手機完成掃描對象的數據采集；第三步，對輸入的圖像進行預處理，包括特征點定位和伽馬校正；第四步，粗重建三維人臉，以完成姿態(tài)歸一化和光照、形狀、反射率的初始值估計；第五步，以粗重建結果為初始值，細重建三維人臉，對光照、形狀、反射率進行更為精細的優(yōu)化；第六步，細重建完成后，以頂點法向量的形式存儲形狀信息。
2.根據權利要求1所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 所述第一步中三維人臉參考模板的構建包括1)從三維人臉數據庫中篩選出用于計算參考模板的數據集；2)將將笛卡爾坐標系下的三維人臉數據集展開到柱面坐標系下，得到每個三維人臉三通道的紋理圖像和單通道的形狀圖像；3)將三維描述的人臉數據集轉換成二維描述，在二維數據集上使用光流技術，完成各人臉的像素級稠密對齊；4)在對齊后的二維人臉數據集上，計算平均人臉圖像并標定出特征點。
3.根據權利要求2所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 三維描述的人臉數據集轉換成二維描述是通過三通道紋理圖像和單通道形狀圖像合并得到一幅四通道圖像而完成的。
4.根據權利要求2所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 所述平均人臉圖像的計算是在對齊后的二維人臉數據集上，計算平均圖像，然后，將四通道平均圖像重新分解為三通道紋理圖像和單通道形狀圖像，最后，將柱面坐標系下的紋理圖像和形狀圖像投影回笛卡爾坐標系，從而得到平均人臉的三維描述。
5.根據權利要求1所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于所述第四步中的姿態(tài)歸一化是姿態(tài)參數通過仿射攝像機模型描述為 χ*·ιι·· · *t · · M · ν* · * * · 1ν12·3 , · · V ·· ^2 ·.Ζ.其中· X，y，Ζ ·為參考模板上的特征點，· U，V ·為輸入圖像上的特征點，· t1; t2 ·為平移向量，M2.3是包含旋轉、縮放和投影的2X3線性映射矩陣。
6.根據權利要求1所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 所述第四步中的光照、形狀、反射率的初始值估計是由姿態(tài)歸一化的5幅正面圖像構建 5Xp的矩陣I，其中ρ為每幅圖像的像素數目，并通過主成分分析得到I· 1'aCj其中7行對應于平均圖像，a為5X4的光照系數初始值，C1為4Xp的形狀和反射率初始值。
7.根據權利要求6所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 所述第五步中更為精細的優(yōu)化包括最小化重建誤差，保持粗重建的a不變，對C1的每一列求解如下優(yōu)化問題，
8.根據權利要求ι所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 所述第五步中更為精細的優(yōu)化包括最小化重建人臉同人臉參考模板間的距離。
9.根據權利要求1所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于在保持重建誤差t· CmcMI不變的基礎上，引入調節(jié)矩陣以進一步減小重建人臉同人臉參考模板間的距離。
10.根據權利要求9所述的用于拍照手機的高分辨率三維人臉掃描方法，其特征在于 減小重建人臉同人臉參考模板間的距離是通過Levenberg-Marquardt方法完成。
全文摘要
本發(fā)明揭示了一種用于拍照手機的高分辨率三維人臉掃描方法，其通過構建三維人臉參考模板、通過拍照手機進行掃描對象的數據采集，對輸入的圖像進行特征點定位和伽馬校正的預處理后，進行三維人臉的粗重建與細重建，最后以頂點法向量的形式存儲形狀信息，從而完成用拍照手機獲得高分辨率的三維人臉掃描，且本發(fā)明具有成本低、分辨率高、速度快的優(yōu)點。
文檔編號G06T17/00GK102521586SQ20111040481
公開日2012年6月27日 申請日期2011年12月8日 優(yōu)先權日2011年12月8日
發(fā)明者彭振云, 朱怡, 沈曄湖, 貊睿, 高巍, 魏磊 申請人:中國科學院蘇州納米技術與納米仿生研究所