本發(fā)明涉及一種圖像處理方法，尤其涉及一種三維深度人臉數(shù)據(jù)的深度紋理修復(fù)方法。

背景技術(shù)：

如何處理三維人臉識別的人臉數(shù)據(jù)，直接關(guān)系到三維人臉識別的精準度。人臉數(shù)據(jù)主要有亮度、灰度、色差、紋理等特征，其中紋理特征易受強光、噪點影響，會造成人臉數(shù)據(jù)中局部區(qū)域的識別受影響，所以，處理紋理特征在處理人臉數(shù)據(jù)中占有較大比重?，F(xiàn)有技術(shù)對人臉數(shù)據(jù)的紋理修復(fù)不能有效地提高三維人臉識別效率，并且選擇的修復(fù)區(qū)域代表性不足。

為了解決三維人臉識別的人臉數(shù)據(jù)的修復(fù)區(qū)域及修復(fù)方法不足的問題，本發(fā)明基于三維深度人臉數(shù)據(jù)的深度紋理修復(fù)方法，可以用于深度人臉圖像中的局部紋理噪音過濾，比如去除來自于三維采集設(shè)備中的數(shù)據(jù)空洞以及數(shù)據(jù)凸起；也可以用于增加三維人臉的特性信息強度，進一步提升三維人臉識別的性能。

本發(fā)明通過對海量人臉數(shù)據(jù)分析，訓(xùn)練獲取三維人臉特征區(qū)域定位模型；同時，通過對應(yīng)用領(lǐng)域的分析，進一步設(shè)定保留邊緣濾波器的濾波器參數(shù)，提升了深度人臉數(shù)據(jù)的質(zhì)量，以此來增加三維人臉識別系統(tǒng)中數(shù)據(jù)處理過程的性能。本發(fā)明目的在于對深度人臉數(shù)據(jù)進行優(yōu)化修復(fù)，增強其信息表達能力，可以用于進一步提升三維人臉識別系統(tǒng)的性能。

一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法包括：三維人臉點云數(shù)據(jù)輸入計算單元；人臉特定區(qū)域檢測計算單元；數(shù)據(jù)配準計算單元；深度人臉數(shù)據(jù)映射計算單元；深度人臉紋理修復(fù)計算單元。

優(yōu)選的，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，其特征在于，包括如下步驟：

A.三維人臉點云數(shù)據(jù)的輸入；

B.對于三維人臉點云數(shù)據(jù)中人臉特定區(qū)域檢測；

C.對于檢測到的人臉特定區(qū)域進行數(shù)據(jù)配準；

D.對于配準后的三維人臉點云數(shù)據(jù)進行深度人臉數(shù)據(jù)映射；

E.對于深度人臉數(shù)據(jù)進行深度人臉紋理修復(fù)。

優(yōu)選的，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，所述步驟A三維人臉點云數(shù)據(jù)的輸入支持各類三維點云采集設(shè)備的數(shù)據(jù)輸入。

優(yōu)選的，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，所述步驟B對于三維人臉點云數(shù)據(jù)中人臉特定區(qū)域檢測，由于三維點云人臉數(shù)據(jù)中鼻尖區(qū)域的數(shù)據(jù)信息明顯區(qū)別于人臉的其他位置，因此人臉特征區(qū)域采用的是鼻尖區(qū)域，鼻尖區(qū)域檢測計算單元包括如下步驟：

步驟一：確定域平均負有效能量密度的閾值，定義為thr；

步驟二：利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)；

步驟三：計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；

步驟四：按照區(qū)域平均負有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負有效能量密度，選擇其中密度值最大的連通域；

步驟五：當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時，該區(qū)域即為鼻尖區(qū)域，否則回到步驟一繼續(xù)。

優(yōu)選的，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，所述的步驟C對于檢測到的人臉特定區(qū)域進行數(shù)據(jù)配準，包括如下步驟：

步驟一：在模板庫中準備一幅與標(biāo)準姿態(tài)相對應(yīng)的鼻尖區(qū)域的數(shù)據(jù)；

步驟二：得到配準的參考區(qū)域后，計算3*3的矩陣，公式如下：

步驟三：計算旋轉(zhuǎn)矩陣R和平移矩陣t，當(dāng)X行列值為1時，R＝X，t＝P-R*Q；

步驟四：獲取兩個三維數(shù)據(jù)點集之間的三維空間變換矩陣，從而實現(xiàn)兩個點集的配準。

優(yōu)選的，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，所述的D對于配準后的三維人臉點云數(shù)據(jù)進行深度人臉數(shù)據(jù)映射，該步驟檢測獲得的人臉鼻尖區(qū)域作為深度圖像數(shù)據(jù)的中心位置的參考基準，其空間坐標(biāo)系的x軸和y軸信息映射為人臉深度圖像的圖像坐標(biāo)系信息；具體計算過程如下：

鼻尖點為N(x,y,z)，則空間點P(x1,y1,z1)的圖像坐標(biāo)為：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

其中width為深度圖像的寬度，height為深度圖像的高度；

同時，根據(jù)三維點云數(shù)據(jù)的深度精度預(yù)先設(shè)定深度分辨率Z_ref，作為將空間坐標(biāo)系的z軸信息作為映射為人臉深度圖像的深度值的參考基準，公式如下：

完成將三維點云數(shù)據(jù)映射為深度人臉圖像的數(shù)據(jù)映射。

優(yōu)選的，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，所述的步驟E對于深度人臉數(shù)據(jù)進行深度人臉紋理修復(fù)，首先對于深度圖像中的噪點進行檢測，噪點類型主要包括數(shù)據(jù)空洞以及數(shù)據(jù)的凸起，在深度圖像中則表現(xiàn)為人臉深度數(shù)據(jù)中的零值以及局部紋理的深度凸起值。

然后進行深度數(shù)據(jù)去噪，在本發(fā)明中采用鄰域深度有效值濾波，對上述深度人臉圖像中的噪音進行過濾，該濾波表達式可以描述為：

其中當(dāng)I(x-m,y-n)為深度圖像有效點時，值為當(dāng)I(x-m,y-n)為深度圖像無效點時，值為0。

在對奇異點進行初步的低通濾波之后，繼續(xù)利用邊緣保持濾波對于深度圖像進行進一步的紋理修復(fù)，本發(fā)明中邊緣保持濾波器采用雙邊濾波(不限于)。雙邊濾波器是由兩個函數(shù)構(gòu)成，一個函數(shù)是通過幾何空間距離決定濾波器系數(shù)，另一個函數(shù)則是由像素差值決定濾波器系數(shù)。在雙邊濾波器中，輸出像素的值依賴于鄰域像素的值的加權(quán)組合：

其中，由幾何空間距離決定的濾波器系數(shù)，其公式為：

由像素差值決定的濾波器系數(shù)，其公式為：

則權(quán)重系數(shù)則為空間域系數(shù)以及值域系數(shù)的乘積：

通過這種結(jié)合方式，在圖像濾波中同時考慮了空間域與值域的差別，在濾除數(shù)據(jù)噪音的過程中也可以保留數(shù)據(jù)中的特定邊緣信息，有效的進行了深度人臉圖像數(shù)據(jù)噪音的修復(fù)以及人臉深度特性信息的增強。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下技術(shù)效果：

本發(fā)明通過對海量人臉數(shù)據(jù)分析，訓(xùn)練獲取三維人臉特征區(qū)域定位模型；同時，通過對應(yīng)用領(lǐng)域的分析，進一步設(shè)定保留邊緣濾波器的濾波器參數(shù)，提升了深度人臉數(shù)據(jù)的質(zhì)量，以此來增加三維人臉識別系統(tǒng)中數(shù)據(jù)處理過程的性能。該系統(tǒng)目的在于對深度人臉數(shù)據(jù)進行優(yōu)化修復(fù)，增強其信息表達能力，可以用于進一步提升三維人臉識別系統(tǒng)的性能。

附圖說明

圖1是本發(fā)明系統(tǒng)流程圖；

圖2是本發(fā)明人臉鼻尖檢測模塊示意圖；

圖3是本發(fā)明人臉數(shù)據(jù)配準模塊示意圖；

圖4是本發(fā)明人臉數(shù)據(jù)空間映射示意圖；

圖5是本發(fā)明深度人臉紋理修復(fù)模塊示意圖；

圖6是本發(fā)明系統(tǒng)框圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明公開一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法，包括：三維人臉點云數(shù)據(jù)輸入計算單元；人臉特定區(qū)域檢測計算單元；數(shù)據(jù)配準計算單元；深度人臉數(shù)據(jù)映射計算單元；深度人臉紋理修復(fù)計算單元。

如圖1所示，本發(fā)明系統(tǒng)流程如下：

A.三維人臉點云數(shù)據(jù)的輸入；

B.對于三維人臉點云數(shù)據(jù)中人臉特定區(qū)域檢測；

C.對于檢測到的人臉特定區(qū)域進行數(shù)據(jù)配準；

D.對于配準后的三維人臉點云數(shù)據(jù)進行深度人臉數(shù)據(jù)映射；

E.對于深度人臉數(shù)據(jù)進行深度人臉紋理修復(fù)

如圖2所示，在上述的一種基于三維數(shù)據(jù)的人臉深度紋理修復(fù)方法中人臉特定區(qū)域檢測計算單元，圖2(a)中，由于三維點云人臉數(shù)據(jù)中鼻尖區(qū)域的數(shù)據(jù)信息明顯區(qū)別于人臉的其他位置，因此本發(fā)明中人臉特征區(qū)域采用的是鼻尖區(qū)域；圖2(b)是鼻尖區(qū)域定位的流程圖，包括如下步驟：

步驟一：確定域平均負有效能量密度的閾值，定義為thr；

步驟二：利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)；

步驟三：計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息；

步驟四：按照區(qū)域平均負有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負有效能量密度，選擇其中密度值最大的連通域；

步驟五：當(dāng)該區(qū)域的閾值大于預(yù)定義的thr時，該區(qū)域即為鼻尖區(qū)域，否則回到步驟一繼續(xù)。

如圖3所示，在上述的數(shù)據(jù)配準計算單元，包括如下步驟：

步驟一：在模板庫中準備一幅與標(biāo)準姿態(tài)相對應(yīng)的鼻尖區(qū)域的數(shù)據(jù)；

步驟二：得到配準的參考區(qū)域后，計算3*3的矩陣，公式如下：

步驟三：計算旋轉(zhuǎn)矩陣R和平移矩陣t，當(dāng)X行列值為1時，R＝X，t＝P-R*Q；

步驟四：獲取兩個三維數(shù)據(jù)點集之間的三維空間變換矩陣，從而實現(xiàn)兩個點集的配準。

如圖4所示，在上述的深度人臉數(shù)據(jù)映射計算單元，該計算單元檢測獲得的人臉鼻尖區(qū)域作為深度圖像數(shù)據(jù)的中心位置的參考基準，其空間坐標(biāo)系的x軸和y軸信息映射為人臉深度圖像的圖像坐標(biāo)系信息；具體計算過程如下：

鼻尖點為N(x,y,z)，則空間點P(x1,y1,z1)的圖像坐標(biāo)為：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

其中width為深度圖像的寬度，height為深度圖像的高度；

同時，根據(jù)三維點云數(shù)據(jù)的深度精度預(yù)先設(shè)定深度分辨率Z_ref，作為將空間坐標(biāo)系的z軸信息作為映射為人臉深度圖像的深度值的參考基準，公式如下：

完成將三維點云數(shù)據(jù)映射為深度人臉圖像的數(shù)據(jù)映射。

如圖5所示，在上述的深度人臉紋理修復(fù)計算單元，首先對于深度圖像中的噪點進行檢測計算單元，噪點類型主要包括數(shù)據(jù)空洞以及數(shù)據(jù)的凸起，在深度圖像中則表現(xiàn)為人臉深度數(shù)據(jù)中的零值以及局部紋理的深度凸起值。

然后進行深度數(shù)據(jù)去噪，在本發(fā)明中采用鄰域深度有效值濾波，對上述深度人臉圖像中的噪音進行過濾，該濾波表達式可以描述為：

其中當(dāng)I(x-m,y-n)為深度圖像有效點時，值為當(dāng)I(x-m,y-n)為深度圖像無效點時，值為0。

在對奇異點進行初步的低通濾波之后，繼續(xù)利用邊緣保持濾波對于深度圖像進行進一步的紋理修復(fù)，本發(fā)明中邊緣保持濾波器采用雙邊濾波(不限于)。雙邊濾波器是由兩個函數(shù)構(gòu)成，一個函數(shù)是通過幾何空間距離決定濾波器系數(shù)，另一個函數(shù)則是由像素差值決定濾波器系數(shù)。在雙邊濾波器中，輸出像素的值依賴于鄰域像素的值的加權(quán)組合：

其中，由幾何空間距離決定的濾波器系數(shù)，其公式為：

由像素差值決定的濾波器系數(shù)，其公式為：

則權(quán)重系數(shù)則為空間域系數(shù)以及值域系數(shù)的乘積：

通過這種結(jié)合方式，在圖像濾波中同時考慮了空間域與值域的差別，在濾除數(shù)據(jù)噪音的過程中也可以保留數(shù)據(jù)中的特定邊緣信息，有效的進行了深度人臉圖像數(shù)據(jù)噪音的修復(fù)以及人臉深度特性信息的增強。

如圖6所示，是本發(fā)明的系統(tǒng)框圖。