三維人臉模型生成系統(tǒng)及方法
【專利摘要】一種三維人臉模型生成系統(tǒng)，包括三維數(shù)據(jù)獲取單元以及與所述三維數(shù)據(jù)獲取單元相連的三維模型生成單元。該三維數(shù)據(jù)獲取單元包括一個第一數(shù)碼圖像獲取裝置、一個第二數(shù)碼圖像獲取裝置以及一個紅外結構光投影裝置。該第一數(shù)碼圖像獲取裝置以及該第二數(shù)碼圖像獲取裝置用于獲取兩個不同角度人臉的數(shù)碼圖像。該紅外結構光投影裝置用于向人臉投射紅外結構光并獲得包含人臉深度數(shù)據(jù)的圖像。該三維模型生成單元用于依據(jù)該數(shù)碼圖像以及該包含人臉深度數(shù)據(jù)的圖像進行人臉三維模型的重建，以獲得人臉的三維模型。本發(fā)明還涉及一種采用該三維人臉模型進行三維人臉模型生成的方法。該三維人臉模型生成系統(tǒng)及方法具有較佳的用戶體驗且精度高。
【專利說明】三維人臉模型生成系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及圖像處理和三維數(shù)據(jù)采集領域，具體地涉及一種三維人臉模型生成系統(tǒng)及方法。
【背景技術】
[0002]近年來，隨著硬件技術的發(fā)展和計算機處理能力的提高，人們對三維數(shù)據(jù)獲取的需求在不斷增長，其中運用低成本的設備方便快速地獲取高精度人臉三維模型數(shù)據(jù)成為一個熱門的研究和應用方向。
[0003]現(xiàn)有的人臉三維模型數(shù)據(jù)采集方法主要利用主動距離傳感器，通過向環(huán)境發(fā)射電磁波等能量并對其反射信號進行分析來獲得場景的距離信息。激光掃描儀是其中主流的設備，但是這類設備笨重并且價格非常昂貴(百萬元人民幣級別)，因此限制了其廣泛應用。此外，結構光方法也能夠獲得三維模型重建結果。但是由于其需要額外的投影設備，因此整個設備不緊湊。而且，在掃描過程中這類設備會發(fā)射出高亮度的可見光，當人眼直視時會感覺不適，因此一般在采用這類設備時要求用戶閉眼，從而降低了用戶的體驗感。進入21世紀后逐漸出現(xiàn)了一種通過測量光線飛行時間(Time of Flight，T0F)來獲取場景三維結構的攝像機，但是這類設備的缺陷是獲取的數(shù)據(jù)空間分辨率很低，一般一幀3D圖像僅有2萬像素左右，完全無法滿足聞精度人臉二維模型獲取的需求。

【發(fā)明內(nèi)容】

[0004]有鑒于此，有必要提供一種低成本、高精度以及具有良好用戶體驗的三維人臉模型生成系統(tǒng)及方法。
[0005]一種三維人臉模型生成系統(tǒng)，包括一個三維數(shù)據(jù)獲取單元以及一個與所述三維數(shù)據(jù)獲取單元相連的三維模型生成單元。所述三維數(shù)據(jù)獲取單元包括一個第一數(shù)碼圖像獲取裝置、一個第二數(shù)碼圖像獲取裝置以及一個紅外結構光投影裝置。所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置用于獲取兩個不同角度人臉的數(shù)碼圖像。所述紅外結構光投影裝置用于向人臉投射紅外結構光并獲得包含人臉的深度數(shù)據(jù)的圖像。所述三維模型生成單元用于依據(jù)所述數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的圖像進行人臉三維模型的重建，以獲得人臉的三維模型。
[0006]優(yōu)選地，第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置沿一水平直線方向設置，所述紅外結構光投影裝置設置于第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間。
[0007]優(yōu)選地，第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置為數(shù)碼相機，且所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置具有相同的焦距。
[0008]優(yōu)選地，三維模型生成單兀包括一個系統(tǒng)標定模塊、一個立體圖對校正模塊、一個幾何及超分辨率變換模塊、一個紋理分割模塊、一個種子像素提取模塊、一個視差圖生成模塊以及一個模型建立模塊；[0009]其中，所述系統(tǒng)標定模塊用于建立確定系統(tǒng)坐標，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置于所述系統(tǒng)坐標的位置；
[0010]其中，所述立體圖對校正模塊用于對所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置所獲取的圖像進行校正，以消除垂直視差；
[0011]其中，所述幾何及超分辨率變換模塊用于對所述紅外結構光投影裝置所獲得的包含人臉深度數(shù)據(jù)的圖像進行幾何以及超分辨率變換；
[0012]其中，所述紋理分割模塊用于對所述第一數(shù)碼圖像獲取裝置所獲取的圖像進行紋理分割，得到紋理分割后的二值掩模圖像；
[0013]其中，所述種子像素提取模塊用于提取種子像素；
[0014]其中，所述視差圖生成模塊用于依據(jù)所述幾何及超分辨率變換模塊所得到的視差圖、所述紋理分割模塊得到的二值掩模圖像以及所述種子像素提取模塊所提取的所述種子像素點獲得分辨率與所述第一數(shù)碼圖像獲取裝置相同的、基于種子像素擴張的視差圖；
[0015]其中，所述模型建立模塊用于依據(jù)所述視差圖生成模塊獲得的視差圖建立人臉的
三維模型。
[0016]優(yōu)選地，系統(tǒng)標定模塊用于得到所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置的內(nèi)部參數(shù)矩陣。
[0017]優(yōu)選地，系統(tǒng)標定模塊選取所述第一數(shù)碼圖像獲取裝置的相機坐標系作為參考坐標系，由所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置的相對位置關系確定所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置相對于所述參考坐標系的位置。
[0018]本發(fā)明的另一個目的是提供一種三維人臉模型生成方法，包括如下步驟:
[0019]提供一個三維數(shù)據(jù)采集獲取單元，所述三維數(shù)據(jù)獲取單元包括一個第一數(shù)碼圖像獲取裝置、一個第二數(shù)碼圖像獲取裝置以及一個紅外結構光投影裝置；
[0020]建立系統(tǒng)坐標，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置于所述系統(tǒng)坐標的位置；
[0021]獲取兩個不同角度的人臉的數(shù)碼圖像以及一個包含人臉深度數(shù)據(jù)的紅外結構光圖像；
[0022]依據(jù)所述人臉的數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的紅外結構光圖像進行人臉三維模型的重建，以獲得人臉的三維模型。
[0023]優(yōu)選地，所述進行人臉三維模型重建的步驟包括:
[0024]對所述兩個不同角度的人臉的數(shù)碼圖像進行立體圖對校正，以消除垂直視差；
[0025]對所述紅外結構光圖像進行幾何及超分辨率變換；
[0026]對所述數(shù)碼圖像進行紋理分割，得到紋理分割后的二值掩模圖像；
[0027]進行種子像素提??；
[0028]依據(jù)所述幾何及超分辨率變換、所述二值掩模圖像以及所述種子像素點獲得視差圖；
[0029]依據(jù)所述視差圖建立人臉的三維模型。
[0030]優(yōu)選地，以旋轉矩陣Rs和平移矢量Ts表示所述第二數(shù)碼圖像獲取裝置相對于所述系統(tǒng)坐標的位置，以旋轉矩陣Ra和平移矢量Ta表示所述紅外結構光投影裝置相對于所述系統(tǒng)坐標的位置。
[0031]優(yōu)選地，以紅外結構光圖像的每一個像素點i計算其對應的三維空間坐標Pi =[xi yi zi]T，然后利用以下公式計算該像素點i在所述第一數(shù)碼圖像獲取裝置的投影坐標:
[0032]pi = Proj (Rr.(Ra.Pi+Ta) +Tr),
[0033]令:P，i= [X，i y，i z’ i]T = Rr.(Ra.Pi+Ta) +Tr
[0034]pi處的視差值采用如下公式計算:
[0035]d (pi) = b.f/z，i
[0036]其中b和f分別為所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間的基線距離和所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置的焦距，依據(jù)各像素的視差值得到與第一數(shù)碼圖像獲取裝置所獲得的彩色圖像分辨率相同的稀疏視差圖。
[0037]優(yōu)選地，基于所述稀疏視差圖，用線性插值的方法得到致密的視差圖。
[0038]優(yōu)選地，將由所述第一數(shù)碼圖像獲取裝置獲取的彩色圖像轉化為灰度圖象，然后對每一像素點i處計算其灰度值的方差Vari，采用公式:
【權利要求】
1.一種三維人臉模型生成系統(tǒng)，包括一個三維數(shù)據(jù)獲取單元以及一個與所述三維數(shù)據(jù)獲取單元相連的三維模型生成單元，其特征在于:所述三維數(shù)據(jù)獲取單元包括一個第一數(shù)碼圖像獲取裝置、一個第二數(shù)碼圖像獲取裝置以及一個紅外結構光投影裝置，所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置用于獲取兩個不同角度人臉的數(shù)碼圖像，所述紅外結構光投影裝置用于向人臉投射紅外結構光并獲得包含人臉的深度數(shù)據(jù)的圖像，所述三維模型生成單元用于依據(jù)所述數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的圖像進行人臉三維模型的重建，以獲得人臉的三維模型。
2.如權利要求1所述的三維人臉模型生成系統(tǒng)，其特征在于:所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置沿一水平直線方向設置，所述紅外結構光投影裝置設置于第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間。
3.如權利要求1所述的三維人臉模型生成系統(tǒng)，其特征在于:所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置為數(shù)碼相機，且所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置具有相同的焦距。
4.如權利要求1所述的三維人臉模型生成系統(tǒng)，其特征在于:所述三維模型生成單元包括一個系統(tǒng)標定模塊、一個立體圖對校正模塊、一個幾何及超分辨率變換模塊、一個紋理分割模塊、一個種子像素提取模塊、一個視差圖生成模塊以及一個模型建立模塊； 所述系統(tǒng)標定模塊用于建立確定系統(tǒng)坐標，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置于所述系統(tǒng)坐標的位置； 所述立體圖對校正模塊用于對所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置所獲取的圖像進行校正，以消除垂直視差； 所述幾何及超分辨率變換模塊用于對所述紅外結構光投影裝置所獲得的圖像進行幾何以及超分辨率變換； 所述紋理分割模塊用于對所述第一數(shù)碼圖像獲取裝置所獲取的圖像進行紋理分割，得到紋理分割后的二值掩模圖像； 所述種子像素提取模塊用于提取種子像素； 所述視差圖生成模塊用于依據(jù)所述幾何及超分辨率變換模塊所得到的視差圖、所述紋理分割模塊得到的二值掩模圖像以及所述種子像素提取模塊所提取的所述種子像素點獲得分辨率與所述第一數(shù)碼圖像獲取裝置相同的、基于種子像素擴張的視差圖； 所述模型建立模塊用于依據(jù)所述視差圖生成模塊獲得的視差圖建立人臉的三維模型。
5.如權利要求4所述的三維人臉模型生成系統(tǒng)，其特征在于:所述系統(tǒng)標定模塊用于得到所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置的內(nèi)部參數(shù)矩陣。
6.如權利要求4所述的三維人臉模型生成系統(tǒng)，其特征在于:所述系統(tǒng)標定模塊選取所述第一數(shù)碼圖像獲取裝置的相機坐標系作為參考坐標系，由所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖 像獲取裝置以及所述紅外結構光投影裝置的相對位置關系確定所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置相對于所述參考坐標系的位置。
7.—種三維人臉模型生成方法，包括如下步驟: 提供一個三維數(shù)據(jù)采集獲取單元，所述三維數(shù)據(jù)獲取單元包括一個第一數(shù)碼圖像獲取裝置、一個第二數(shù)碼圖像獲取裝置以及一個紅外結構光投影裝置； 建立系統(tǒng)坐標，以確定所述第一數(shù)碼圖像獲取裝置、所述第二數(shù)碼圖像獲取裝置以及所述紅外結構光投影裝置于所述系統(tǒng)坐標的位置； 獲取兩個不同角度的人臉的數(shù)碼圖像以及一個包含人臉深度數(shù)據(jù)的紅外結構光圖像； 依據(jù)所述人臉的數(shù)碼圖像以及所述包含人臉深度數(shù)據(jù)的紅外結構光圖像進行人臉三維模型的重建，以獲得人臉的三維模型。
8.如權利要求7所述的三維人臉模型生成方法，其特征在于:所述進行人臉三維模型重建的步驟包括: 對所述兩個不同角度的人臉的數(shù)碼圖像進行立體圖對校正，以消除垂直視差； 對所述紅外結構光圖像進行幾何及超分辨率變換； 對所述數(shù)碼圖像進行紋 理分割，得到紋理分割后的二值掩模圖像； 進行種子像素提??； 依據(jù)所述幾何及超分辨率變換、所述二值掩模圖像以及所述種子像素點獲得視差圖； 依據(jù)所述視差圖建立人臉的三維模型。
9.如權利要求8所述的三維人臉模型生成方法，其特征在于:以旋轉矩陣Rs和平移矢量Ts表示所述第二數(shù)碼圖像獲取裝置相對于所述系統(tǒng)坐標的位置，以旋轉矩陣Ra和平移矢量Ta表示所述紅外結構光投影裝置相對于所述系統(tǒng)坐標的位置。
10.如權利要求9所述的三維人臉模型生成方法，其特征在于:以紅外結構光圖像的每一個像素點i計算其對應的三維空間坐標Pi = [xi yi zi]T，然后利用以下公式計算該像素點i在所述第一數(shù)碼圖像獲取裝置的投影坐標:
pi處的視差值采用如下公式計算:
d(pi) = b.f/z， i 其中b和f分別為所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置之間的基線距離和所述第一數(shù)碼圖像獲取裝置以及所述第二數(shù)碼圖像獲取裝置的焦距，依據(jù)各像素的視差值得到與第一數(shù)碼圖像獲取裝置所獲得的彩色圖像分辨率相同的稀疏視差圖。
11.如權利要求10所述的三維人臉模型生成方法，其特征在于:基于所述稀疏視差圖，用線性插值的方法得到致密的視差圖。
12.如權利要求11所述的三維人臉模型生成方法，其特征在于:將由所述第一數(shù)碼圖像獲取裝置獲取的彩色圖像轉化為灰度圖象，然后對每一像素點i處計算其灰度值的方差Vari,采用公式:

13.如權利要求12所述的三維人臉模型生成方法，其特征在于:所述mask值中為I的像素點為是紋理豐富的區(qū)域，其余為弱紋理區(qū)域。
14.如權利要求13所述的三維人臉模型生成方法，其特征在于:提取所述紅外結構光圖像的所有像素點作為種子像素點。
15.如權利要求14所述的三維人臉模型生成方法，其特征在于:依據(jù)所述的視差圖、所述二值掩模圖像以及所述種子像素點獲得分辨率與所述第一數(shù)碼圖像獲取裝置相同的、基于種子像素擴張的視差圖。
16.如權利要求15所述的三維人臉模型生成方法，其特征在于:依據(jù)所述基于種子像素擴張的視差圖得到三維點云，計算方法如下式:
【文檔編號】G06T17/00GK103971408SQ201410214265
【公開日】2014年8月6日 申請日期:2014年5月21日 優(yōu)先權日:2014年5月21日
【發(fā)明者】沈曄湖 申請人:中國科學院蘇州納米技術與納米仿生研究所