基于特征點(diǎn)的三維人臉識(shí)別方法
【專利摘要】一種基于特征點(diǎn)的三維人臉識(shí)別方法，步驟如下：首先，對(duì)三維人臉模型進(jìn)行預(yù)處理，通過(guò)線性插值將點(diǎn)云數(shù)據(jù)映射為深度圖像；然后，在深度圖上應(yīng)用Gabor濾波粗略定位出人臉特征點(diǎn)，再根據(jù)ShapeIndex特征在人臉點(diǎn)云上精確定位出特征點(diǎn)；其次，提取以鼻中為中心的一系列等測(cè)地輪廓線來(lái)表征人臉形狀，提取具有姿態(tài)不變性的Procrustean向量特征（距離和角度）作為識(shí)別特征；最后，對(duì)各條等測(cè)地輪廓線特征進(jìn)行加權(quán)融合用于最后的識(shí)別。本發(fā)明提出的三維人臉識(shí)別方法具有很好的定位和識(shí)別性能，并且對(duì)表情、姿態(tài)具有較好的魯棒性。
【專利說(shuō)明】基于特征點(diǎn)的三維人臉識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于特征點(diǎn)的三維人臉識(shí)別方法，涉及數(shù)字圖像處理和模式識(shí)別 領(lǐng)域。

【背景技術(shù)】
[0002] 生物特征識(shí)別如人臉識(shí)別、指紋識(shí)別、虹膜識(shí)別在安全領(lǐng)域有著廣泛的應(yīng)用前景， 特別人臉識(shí)別技術(shù)，由于人臉識(shí)別的對(duì)用戶干擾小、隱蔽性好等特性，而成為目前模式識(shí)別 領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的基于二維圖像的人臉識(shí)別已經(jīng)取得了較大的發(fā)展，但是識(shí)別的效 果依然受光照、姿態(tài)和表情等因素的限制，而三維人臉模型受光照、姿態(tài)影響較小，且三維 人臉模型中包含更多的幾何信息，因而三維人臉識(shí)別受到越來(lái)越多的關(guān)注。
[0003] 三維人臉模型與二維圖像相比具有更豐富的信息，它包含了人臉的幾何和空間信 息。但是，三維人臉模型多以點(diǎn)云形式保存，數(shù)據(jù)量大，加長(zhǎng)了計(jì)算時(shí)間，且人臉表情變化引 起的非剛性形變?cè)斐闪巳S人臉識(shí)別性能的下降。因此，如何減小計(jì)算量、減弱表情變化對(duì) 人臉識(shí)別的影響成為三維人臉識(shí)別技術(shù)的關(guān)鍵問(wèn)題，也是研究的難點(diǎn)。


【發(fā)明內(nèi)容】

[0004] 技術(shù)問(wèn)題：本發(fā)明提出了一種基于特征點(diǎn)提取人臉局部區(qū)域特征的三維人臉識(shí)別 方法。
[0005] 技術(shù)方案：一種基于特征點(diǎn)的三維人臉識(shí)別方法，該方法包括以下步驟：
[0006] 步驟1)、分別對(duì)測(cè)試人臉模型、N個(gè)庫(kù)集人臉模型和Μ個(gè)訓(xùn)練集人臉模型進(jìn)行平滑 去噪：將三維人臉點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為三維網(wǎng)格，采用基于網(wǎng)格的平滑算法對(duì)三維人臉模型進(jìn) 行平滑去噪處理，然后將經(jīng)過(guò)10次迭代處理得到的平滑的三維人臉網(wǎng)格恢復(fù)成人臉點(diǎn)云；
[0007] 步驟2)、分別將經(jīng)過(guò)步驟1)處理過(guò)的測(cè)試人臉模型、庫(kù)集人臉模型和訓(xùn)練集人臉 模型人臉的點(diǎn)云坐標(biāo)信息映射到平面上，分別形成測(cè)試人臉模型、庫(kù)集人臉模型和訓(xùn)練集 人臉模型的深度圖像，獲取深度圖像的方法如下：
[0008] 步驟2. 1)、計(jì)算平滑去噪后的三維人臉點(diǎn)云在空間坐標(biāo)系下三個(gè)坐標(biāo)軸X，y，ζ方 向上的最大、最小值，根據(jù)X，y方向上的最大、最小值將X，y坐標(biāo)值歸一化后將點(diǎn)云投影到 大小為640*480的圖像上，根據(jù)ζ方向上的最大、最小值將ζ坐標(biāo)值歸一化到0-255之間作 為相應(yīng)位置的灰度值，這樣得到的圖像稱為深度圖像；歸一化的公式如下：
[0009]

【權(quán)利要求】
1. 一種基于特征點(diǎn)的三維人臉識(shí)別方法，其特征在于，該方法包括以下步驟： 步驟1)、分別對(duì)測(cè)試人臉模型、N個(gè)庫(kù)集人臉模型和Μ個(gè)訓(xùn)練集人臉模型進(jìn)行平滑去 噪：將三維人臉點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為三維網(wǎng)格，采用基于網(wǎng)格的平滑算法對(duì)三維人臉模型進(jìn)行 平滑去噪處理，然后將經(jīng)過(guò)10次迭代處理得到的平滑的三維人臉網(wǎng)格恢復(fù)成人臉點(diǎn)云； 步驟2)、分別將經(jīng)過(guò)步驟1)處理過(guò)的測(cè)試人臉模型、庫(kù)集人臉模型和訓(xùn)練集人臉模型 人臉的點(diǎn)云坐標(biāo)信息映射到平面上，分別形成測(cè)試人臉模型、庫(kù)集人臉模型和訓(xùn)練集人臉 模型的深度圖像； 步驟3)、分別對(duì)測(cè)試集人臉模型和庫(kù)集人臉模型的深度圖像進(jìn)行Gabor濾波特征點(diǎn)粗 定位以及形狀指數(shù)Shape Index特征點(diǎn)精定位； 步驟4)、按步驟3)所述對(duì)所有庫(kù)集和測(cè)試集人臉模型的深度圖像進(jìn)行鼻尖點(diǎn)、左右外 眼角點(diǎn)、左右內(nèi)眼角點(diǎn)和左右嘴角點(diǎn)的精定位，根據(jù)左右內(nèi)眼角和鼻尖點(diǎn)確定鼻中點(diǎn)：先確 定位于左右內(nèi)眼角中心的點(diǎn)，再取位于該點(diǎn)與鼻尖中心的點(diǎn)作為鼻中點(diǎn)；根據(jù)深度圖像與 點(diǎn)云數(shù)據(jù)的對(duì)應(yīng)關(guān)系，找到點(diǎn)云數(shù)據(jù)上的鼻中點(diǎn)，對(duì)應(yīng)關(guān)系如下：
步驟5)、分別對(duì)測(cè)試集和庫(kù)集人臉模型提取以鼻中點(diǎn)為中心的8條等測(cè)地輪廓線并對(duì) 等測(cè)地輪廓線進(jìn)行重采樣； 步驟6)、建立庫(kù)集人臉模型與測(cè)試集人臉模型特征向量； 步驟7)、計(jì)算測(cè)試集人臉模型與庫(kù)集人臉模型的相似度； 步驟8)、三維人臉模型的身份驗(yàn)證。
2. 如權(quán)利要求1所述基于特征點(diǎn)的三維人臉識(shí)別方法，其中步驟2)所述獲取深度圖像 的方法如下： 計(jì)算平滑去噪后的三維人臉點(diǎn)云在空間坐標(biāo)系下三個(gè)坐標(biāo)軸X，y，z方向上的最大、最 小值，根據(jù)x，y方向上的最大、最小值將x，y坐標(biāo)值歸一化后將點(diǎn)云投影到大小為640*480 的圖像上，根據(jù)z方向上的最大、最小值將z坐標(biāo)值歸一化到0-255之間作為相應(yīng)位置的灰 度值，這樣得到的圖像稱為深度圖像；其中，歸一化的公式如下：
其中f ,z<為歸一化后的坐標(biāo)值。
3. 如權(quán)利要求1所述基于特征點(diǎn)的三維人臉識(shí)別方法，其中步驟3)包括以下步驟： 步驟3. 1)、Gabor濾波粗定位，具體步驟如下： 步驟3. 1. 1)、Gabor濾波器定義為：
其中p為給定點(diǎn)坐標(biāo)（g，h)，ku，v= [kv cos<i)u，kv sin<i)u]T，u，v分別為Gabor濾波器的 方向與尺度。其中參數(shù) σ = 2 π，kv = 2_(v+1)，v = {0, 1，2, 3, 4},
步驟3. 1. 2)、對(duì)Μ張訓(xùn)練集中的每張深度圖像進(jìn)行7個(gè)特征點(diǎn)（鼻尖點(diǎn)、左右內(nèi)眼角 點(diǎn)、左右外眼角點(diǎn)和左右嘴角點(diǎn)）的手動(dòng)標(biāo)定，對(duì)于訓(xùn)練集中所有深度圖像中第j個(gè)（j = 1，2, · · ·，7)特征點(diǎn)的Gabor系數(shù)，構(gòu)建Gabor系數(shù)向量G」=(G1;」，G2,」，· · ·，GM，」），Gi;」為訓(xùn) 練集中第i幅圖像中第j個(gè)特征點(diǎn)的Gabor系數(shù)，計(jì)算如下：
其中L是第 i幅圖像像素點(diǎn)坐標(biāo)矩陣，q為第j個(gè)特征點(diǎn)的坐標(biāo)（s，t)，*是卷積運(yùn)算符，將計(jì)算所得的 Gabor系數(shù)表示成這種形式，其中ai;j為其幅值，（ti;j為其相位； 步驟3. 1. 3)、待測(cè)深度圖像（包括測(cè)試集和庫(kù)集）上第j個(gè)候選特征點(diǎn)由Gabor系數(shù) 的相似度SCLGP由下式確定：
其中
為第m幅待測(cè)圖像第η點(diǎn)的Gabor系 數(shù)；根據(jù)相似度S(Jm，Gp確定粗定位的第m幅第j個(gè)特征點(diǎn)：即相似度最大所對(duì)應(yīng)的坐標(biāo) 為第m幅待測(cè)圖像上粗定位的第j個(gè)特征點(diǎn)所在位置，粗定位的第j個(gè)特征點(diǎn)稱為第j個(gè) 候選特征點(diǎn)； 步驟3. 2)、人臉特征點(diǎn)精定位： 步驟3. 2. 1)、對(duì)第j個(gè)候選特征點(diǎn)選取鄰域，以其為圓心，r = 90_為半徑做圓，圓內(nèi) 包含的區(qū)域即為第j個(gè)候選特征點(diǎn)的鄰域，求取第j個(gè)特征點(diǎn)鄰域內(nèi)每個(gè)像素點(diǎn)的一階和 二階梯度，計(jì)算方式如下：
利用公式
求得鄰域內(nèi)每個(gè)像素點(diǎn)的高斯曲 率K和平均曲率H，由高斯曲率K和平均曲率Η得到每個(gè)像素點(diǎn)的最大主曲率和最小主 曲率k2 :
計(jì)算第j個(gè)候選特征點(diǎn)鄰域內(nèi)每個(gè)像素點(diǎn)的形狀索引值（Shape Index):
其中e為第j個(gè)候選特征點(diǎn)鄰域內(nèi)一點(diǎn)； 步驟3. 2. 2)、根據(jù)步驟3. 2. 1)得到的形狀索引值精確定位出特征點(diǎn)位置：其中候選鼻 尖點(diǎn)鄰域內(nèi)形狀索引值最大的則為精確定位鼻尖點(diǎn)所在位置，左右內(nèi)眼角點(diǎn)、左右外眼角 點(diǎn)、左右嘴角點(diǎn)鄰域內(nèi)形狀索引值最小的則為精確定位左右內(nèi)眼角點(diǎn)、左右外眼角點(diǎn)、左右 嘴角點(diǎn)所在位置。
4. 如權(quán)利要求1所述基于特征點(diǎn)的三維人臉識(shí)別方法，其中步驟5)包括以下步驟： 步驟5. 1)、計(jì)算點(diǎn)云數(shù)據(jù)上每點(diǎn)到鼻中點(diǎn)的測(cè)地距離，測(cè)地距離定義為：曲面上兩點(diǎn) 之間最短的距離稱為測(cè)地距離；將距離值歸一化到[0, 1]之間，分別取到鼻中點(diǎn)距離為 [δ f λ，δ彳λ ]的點(diǎn)組成等測(cè)地輪廓線Pu 1 = 1，2, · · ·，8,其中δ 1 = 〇· 06，δ 2 = 〇· 12， δ 3 = 〇· 18，δ 4 = 〇· 24，δ 5 = 0· 30，δ 6 = 〇· 36，δ 7 = 〇· 42，δ 8 = 〇· 50, λ = 〇· 〇〇5 ; 步驟5. 2)、以鼻中點(diǎn)為中心在平面坐標(biāo)系ΧΟΥ中構(gòu)造一個(gè)橢圓，方程如下：
其中Α為Pi在橫軸X方向的投影差值，Β為Pi在縱軸Υ方向的投影差 值，
選擇離散采樣T，在橢圓上采樣60個(gè)點(diǎn)，對(duì)于橢圓上這60個(gè)采 樣點(diǎn)，在等測(cè)地輪廓線h上選取歐式距離最短的點(diǎn)作為等測(cè)地輪廓線h的采樣點(diǎn)P。，〇 = 1，2, · · ·，60。
5. 如權(quán)利要求1所述基于特征點(diǎn)的三維人臉識(shí)別方法，其中步驟6)包括以下步驟： 步驟6. 1)、構(gòu)造一個(gè)單位圓C，在單位圓上等距采樣60個(gè)點(diǎn)，然后用Procrustes分析 將單位圓經(jīng)過(guò)旋轉(zhuǎn)、平移、伸縮等保形變換，使得單位圓上各點(diǎn)與等測(cè)地輪廓線Pi對(duì)應(yīng)點(diǎn) 之間的距離總和最小，這樣得到Procrustean擬合圓G。提取等測(cè)地輪廓線匕上的采樣點(diǎn) pjo = 1，2. ..，60)與Procrustean擬合圓上C;對(duì)應(yīng)點(diǎn)4之間的距離特征d。和角度特征 Θ。：
構(gòu)造 Procrustean 距離特征向量 d = {d。}，〇 = 1，2· ··，6〇，Procrustean 角度特征向 量 θ = { Θ 〇}，〇 = 1，2. · ·，60 ; 步驟6. 2)、將Procrustean距離特征d和Procrustean角度特征Θ進(jìn)行特征融合： 利用最大最小原則將Procrustean距離特征d，Procrustean角度特征Θ歸一化為 d， ， Θ ，，即：
得到最后的識(shí)別特征 Q = {d'，θ ' }，其中(Γ = {(Γ (Γ 2, · · ·，(Γ 60}，θ '= { θ ， " θ ， 2, · · · ， θ ， 60}。
6. 如權(quán)利要求1所述基于特征點(diǎn)的三維人臉識(shí)別方法，其中步驟7)包括以下步驟： 步驟7. 1)、選取測(cè)試人臉模型上的一條等測(cè)地輪廓線匕，記等測(cè)地輪廓線匕的識(shí)別特 征為{d' 2，...，d' Μ，θ' 2，...，θ' 6(1}，計(jì)算等測(cè)地輪廓線匕與庫(kù)集人臉 模型對(duì)應(yīng)的等測(cè)地輪廓線的識(shí)別特征之間的歐式距離h; 步驟7. 2)、按照所述步驟7. 1)，求取測(cè)試人臉模型所有的等測(cè)地輪廓線的識(shí)別特征與 庫(kù)集人臉模型對(duì)應(yīng)的等測(cè)地輪廓線的識(shí)別特征的歐式距離Dp 1 = 1，2, ...，8,對(duì)所有h進(jìn) 行加權(quán)融合作為最后測(cè)試人臉模型與庫(kù)集人臉模型的距離D :
其中權(quán)重因子 ％ = 〇· 08，ω2 = 〇· 126，ω3 = 〇· 134，ω4 = 〇· 132，ω5 = 0· 128，ω6 =0· 132，ω7 = 0· 135，ω8 = 〇· 133。
7. 如權(quán)利要求1所述基于特征點(diǎn)的三維人臉識(shí)別方法，其中步驟8): 重復(fù)步驟1)-步驟7)，得到測(cè)試人臉模型與各個(gè)庫(kù)集人臉模型的距離度量D，比較測(cè)試 人臉模型與各個(gè)庫(kù)集人臉模型的距離度量D，將距離度量最小的庫(kù)集人臉模型與測(cè)試集人 臉模型判定為同一個(gè)人。
【文檔編號(hào)】G06K9/54GK104091162SQ201410343015
【公開(kāi)日】2014年10月8日 申請(qǐng)日期:2014年7月17日 優(yōu)先權(quán)日:2014年7月17日
【發(fā)明者】達(dá)飛鵬, 李燕春, 劉俊權(quán), 呂士文, 鄧星, 常朋朋 申請(qǐng)人:東南大學(xué)