1.一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,包括:三維人臉點云數(shù)據(jù)輸入計算單元;人臉特定區(qū)域檢測計算單元;數(shù)據(jù)配準(zhǔn)計算單元;深度人臉數(shù)據(jù)映射計算單元;深度人臉紋理修復(fù)計算單元。
2.基于權(quán)利要求1所述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,包括如下步驟:
A.三維人臉點云數(shù)據(jù)的輸入;
B.對于三維人臉點云數(shù)據(jù)中人臉特定區(qū)域檢測;
C.對于檢測到的人臉特定區(qū)域進(jìn)行數(shù)據(jù)配準(zhǔn);
D.對于配準(zhǔn)后的三維人臉點云數(shù)據(jù)進(jìn)行深度人臉數(shù)據(jù)映射;
E.對于深度人臉數(shù)據(jù)進(jìn)行深度人臉紋理修復(fù)。
3.基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,所述的步驟A支持各類三維點云采集設(shè)備的數(shù)據(jù)輸入。
4.基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,所述的步驟B,由于三維點云人臉數(shù)據(jù)中鼻尖區(qū)域的數(shù)據(jù)信息明顯區(qū)別于人臉的其他位置,因此人臉特征區(qū)域采用的是鼻尖區(qū)域,鼻尖區(qū)域定位包括如下步驟:
步驟一:確定域平均負(fù)有效能量密度的閾值,定義為thr;
步驟二:利用數(shù)據(jù)的深度信息,提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù);
步驟三:計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息;
步驟四:按照區(qū)域平均負(fù)有效能量密度的定義,求出待處理數(shù)據(jù)中各連通域的平均負(fù)有效能量密度,選擇其中密度值最大的連通域;
步驟五:當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時,該區(qū)域即為鼻尖區(qū)域,否則回到步驟一繼續(xù)。
5.基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,所述的步驟C包括如下步驟:
步驟一:在模板庫中準(zhǔn)備一幅與標(biāo)準(zhǔn)姿態(tài)相對應(yīng)的鼻尖區(qū)域的數(shù)據(jù);
步驟二:得到配準(zhǔn)的參考區(qū)域后,計算3*3的矩陣,公式如下:
步驟三:計算旋轉(zhuǎn)矩陣R和平移矩陣t,當(dāng)X行列值為1時,R=X,t=P-R*Q;
步驟四:獲取兩個三維數(shù)據(jù)點集之間的三維空間變換矩陣,從而實現(xiàn)兩個點集的配準(zhǔn)。
6.基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,所述的步驟D,該步驟檢測獲得的人臉鼻尖區(qū)域作為深度圖像數(shù)據(jù)的中心位置的參考基準(zhǔn),其空間坐標(biāo)系的x軸和y軸信息映射為人臉深度圖像的圖像坐標(biāo)系信息;具體計算過程如下:
鼻尖點為N(x,y,z),則空間點P(x1,y1,z1)的圖像坐標(biāo)為:
Ix=(x1-x)+width/2
Iy=(y1-y)+height/2
其中width為深度圖像的寬度,height為深度圖像的高度;
同時,根據(jù)三維點云數(shù)據(jù)的深度精度預(yù)先設(shè)定深度分辨率Zref,作為將空間坐標(biāo)系的z軸信息作為映射為人臉深度圖像的深度值的參考基準(zhǔn),公式如下:
完成將三維點云數(shù)據(jù)映射為深度人臉圖像的數(shù)據(jù)映射。
7.基于權(quán)利要求2所述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法,其特征在于,所述的步驟E,首先對于深度圖像中的噪點進(jìn)行檢測,噪點類型主要包括數(shù)據(jù)空洞以及數(shù)據(jù)的凸起,在深度圖像中則表現(xiàn)為人臉深度數(shù)據(jù)中的零值以及局部紋理的深度凸起值;
然后進(jìn)行深度數(shù)據(jù)去噪,在本發(fā)明中采用鄰域深度有效值濾波,對上述深度人臉圖像中的噪音進(jìn)行過濾,該濾波表達(dá)式可以描述為:
其中當(dāng)I(x-m,y-n)為深度圖像有效點時,值為當(dāng)I(x-m,y-n)為深度圖像無效點時,值為0;
在對奇異點進(jìn)行初步的低通濾波之后,繼續(xù)利用邊緣保持濾波對于深度圖像進(jìn)行進(jìn)一步的紋理修復(fù),本發(fā)明中邊緣保持濾波器采用雙邊濾波(不限于);雙邊濾波器是由兩個函數(shù)構(gòu)成,一個函數(shù)是通過幾何空間距離決定濾波器系數(shù),另一個函數(shù)則是由像素差值決定濾波器系數(shù);在雙邊濾波器中,輸出像素的值依賴于鄰域像素的值的加權(quán)組合:
其中,由幾何空間距離決定的濾波器系數(shù),其公式為:
由像素差值決定的濾波器系數(shù),其公式為:
則權(quán)重系數(shù)則為空間域系數(shù)以及值域系數(shù)的乘積: