專利名稱：一種人臉圖像重建方法、裝置及人臉識(shí)別系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別技術(shù)，尤其涉及一種人臉圖像重建方法、裝置及人臉識(shí)別系 統(tǒng)。
背景技術(shù)：
人臉識(shí)別作為一種重要的身份鑒別技術(shù)，在安全、金融、人機(jī)交互、信息、教育等諸 多領(lǐng)域有著廣泛的應(yīng)用前景。由于采集的光照環(huán)境無法控制，模板圖像與測(cè)試圖像的光照 條件總是不盡相同，這使得目前基于圖像的人臉識(shí)別系統(tǒng)難以應(yīng)對(duì)光照變化帶來的影響。光照變化下人臉識(shí)別系統(tǒng)的改進(jìn)主要基于兩類(1)光照模板差分將光照下人 臉圖像分解為人臉光照不變量和光照模板；(2)光照子空間從人臉光照?qǐng)D像擬合光照子 空間，任意光照的圖像均可由該光照子空間線性表出。在第一類方法下，由于光照模板為光源在人臉圖像上沿著人臉法向方向的投影， 與光照不變量之間并不相互獨(dú)立，直接的模板差分所獲得的光照不變圖像使得人臉結(jié)構(gòu)和 紋理信息被大大削弱，往往只剩下輪廓信息，難以描述整體圖像特征；在第二類方法下，由 于從參考圖像中訓(xùn)練目標(biāo)圖像的光照子空間，因此目標(biāo)圖像的重建圖像也依賴于參考圖 像，從而導(dǎo)致圖像失真，而且該類方法直接以眼睛位置來對(duì)齊圖像，由于不同個(gè)體圖像之間 本身存在差異，導(dǎo)致未精確對(duì)齊的圖像重建失真更加嚴(yán)重。在實(shí)現(xiàn)本發(fā)明的過程中發(fā)明人發(fā)現(xiàn)，由于不同光照下圖像之間的表象差異很大， 而光照模板差分和光照子空間的方法都采用相同的方法應(yīng)對(duì)所有的光照條件，這樣必然導(dǎo) 致不同光照下的人臉識(shí)別結(jié)果差異很大。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種人臉圖像重建方法、裝置及人臉識(shí)別系統(tǒng)，能夠改善光照 變化下的人臉識(shí)別結(jié)果。本發(fā)明實(shí)施例采用如下技術(shù)方案一種人臉圖像重建方法，包括對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊；判斷對(duì)齊后的目標(biāo)圖像所屬光照類別；獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型；根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo)圖像的標(biāo) 準(zhǔn)光照?qǐng)D像。一種人臉圖像重建裝置，包括對(duì)齊單元，用于對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊；光照類別判斷單元，用于判斷對(duì)齊后的目標(biāo)圖像所屬光照類別；重建模型獲取單元，用于獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型；重建單元，用于根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。一種人臉識(shí)別系統(tǒng)，包括人臉識(shí)別裝置和人臉圖像重建裝置，其中，所述人臉圖像重建裝置，用于對(duì)目標(biāo)圖像進(jìn)行重建獲得目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D 像；所述人臉識(shí)別裝置，用于對(duì)所述人臉圖像重建裝置重建所得的目標(biāo)圖像的標(biāo)準(zhǔn)光 照?qǐng)D像進(jìn)行人臉識(shí)別。本發(fā)明實(shí)施例的人臉圖像重建方法、裝置及人臉識(shí)別系統(tǒng)，通過對(duì)目標(biāo)圖像進(jìn)行 像素級(jí)對(duì)齊，可以獲得比僅以眼睛位置進(jìn)行對(duì)齊的圖像更好的對(duì)齊效果，使得對(duì)齊后的圖 像不會(huì)出現(xiàn)大的失真；通過判斷對(duì)齊后的目標(biāo)圖像所屬光照類別，并獲取所述對(duì)齊后的目 標(biāo)圖像所屬光照類別的重建模型，然后根據(jù)該重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得 所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像，可以將相同光照投影的圖像分為一類，將目標(biāo)圖 像作為一個(gè)整體進(jìn)行圖像重建，與現(xiàn)有技術(shù)相比，避免了光照模板差分導(dǎo)致的圖像特征的 丟失，同時(shí)也避免了光照子空間帶來的重建誤差，因此能夠改善光照變化下的人臉識(shí)別結(jié)^ ο


為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用 的附圖作一簡(jiǎn)單地介紹。圖1為本發(fā)明實(shí)施例提供的人臉圖像重建方法的流程示意圖；圖2為本發(fā)明實(shí)施例的人臉對(duì)齊示意圖；圖3為本發(fā)明實(shí)施例的光照分類示意圖；圖4為本發(fā)明實(shí)施例的人臉圖像重建方法的流程圖；圖5為一個(gè)具體人臉圖像采用本發(fā)明實(shí)施例的人臉圖像重建方法獲得標(biāo)準(zhǔn)光照 圖像的流程圖；圖6 (a)為對(duì)Yale B數(shù)據(jù)庫在不同光照類別下采用本發(fā)明實(shí)施例方法得到的人臉 識(shí)別率與其他算法的對(duì)比示意圖；圖6(b)為對(duì)Yale B數(shù)據(jù)庫在不同光照類別下采用本發(fā)明實(shí)施例方法得到的圖像 表象與其他算法的對(duì)比示意圖；圖7 (a)為人臉對(duì)齊與未對(duì)齊情況下人臉識(shí)別率的對(duì)比示意圖；圖7(b)為人臉對(duì)齊與未對(duì)齊情況下人臉重建效果的對(duì)比示意圖，其中第一行為 未對(duì)齊重建，第二行為對(duì)齊重建；圖8為本發(fā)明實(shí)施例提供的人臉圖像重建裝置的功能單元結(jié)構(gòu)圖；圖9為本發(fā)明實(shí)施例提供的人臉識(shí)別系統(tǒng)的組成示意圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述。如圖1所示，本發(fā)明實(shí)施例提供的人臉圖像重建方法，包括步驟11，對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊。
5
該步驟具體可以為根據(jù)每張訓(xùn)練圖像的關(guān)鍵點(diǎn)變形通用人臉模型，依次獲得每 張訓(xùn)練圖像對(duì)應(yīng)的真實(shí)感人臉模型；根據(jù)所有訓(xùn)練圖像的真實(shí)感人臉模型的均值，利用迭 代方法得到標(biāo)準(zhǔn)人臉模型；根據(jù)所述標(biāo)準(zhǔn)人臉模型變形目標(biāo)圖像，使得所述目標(biāo)圖像與所 述標(biāo)準(zhǔn)人臉模型像素級(jí)對(duì)齊。其中，所述關(guān)鍵點(diǎn)為預(yù)先定義的人臉像素點(diǎn)，在本發(fā)明中，關(guān)鍵點(diǎn)定義為人臉上81 個(gè)點(diǎn)，包括人臉輪廓，眼睛，鼻子，嘴巴等器官，用來描述人臉形狀。關(guān)鍵點(diǎn)可以通過主動(dòng)形 狀模型(Active Shape Model, ASM)自動(dòng)定位獲得。所述的通用人臉模型，是從三維數(shù)據(jù)庫中導(dǎo)出，為人頭網(wǎng)格模型，共含有13936個(gè) 頂點(diǎn)和27538個(gè)面片。該通用人臉模型上的部分稀疏點(diǎn)與預(yù)先定義的人臉像素點(diǎn)一一對(duì) 應(yīng)，在本發(fā)明中將這些對(duì)應(yīng)點(diǎn)稱為模型對(duì)應(yīng)點(diǎn)。首先，根據(jù)每張訓(xùn)練圖像的關(guān)鍵點(diǎn)變形通用人臉模型獲得一組真實(shí)感人臉模型。假設(shè)訓(xùn)練圖像的關(guān)鍵點(diǎn)序列為p1，通用人臉模型的對(duì)應(yīng)點(diǎn)序列為pM，通過RBF變形 可以使得在變形函數(shù)F(X)的作用下，pM與P1相同。
ηF(Pm) =P1,其中F(JC) = 1^/7(11 JC-、.||), Z2(X) = e_(》2 為所選 RBF 核函數(shù)，
2=1
X-Xi I表示點(diǎn)叉與Xi之間距離。根據(jù)給定的對(duì)應(yīng)點(diǎn)pM和P1，可以計(jì)算得到變形系數(shù)權(quán)重ω P1j=^MW PM,-Pm1W) ^
i=l在獲得變形函數(shù)后，對(duì)于通用人臉模型上除模型對(duì)應(yīng)點(diǎn)之外的稀疏點(diǎn)pM，帶入該 變形函數(shù)可以計(jì)算得到模型變形后的對(duì)應(yīng)圖像像素點(diǎn)p1，從而實(shí)現(xiàn)通用人臉模型與訓(xùn)練圖 像上的像素點(diǎn)之間的完全對(duì)齊。Pf =ΣωΜ\\Pm'~Pf W)
i=l由于特征點(diǎn)選取在人臉器官和輪廓等部位，因此可以精確對(duì)齊人臉關(guān)鍵部位，并 約束其他相對(duì)平滑的人臉區(qū)域。變形后的通用人臉模型即為每張訓(xùn)練圖像對(duì)應(yīng)的三維真實(shí) 感人臉模型。需要說明的是，由于每張訓(xùn)練圖像姿態(tài)可能不同，為保證所有真實(shí)感人臉模型具 有相同姿態(tài)，在根據(jù)每張訓(xùn)練圖像變形通用人臉模型前，有必要先對(duì)訓(xùn)練圖像姿態(tài)進(jìn)行調(diào)
iF. ο人臉圖像的姿態(tài)存在三個(gè)方向的旋轉(zhuǎn)變化，對(duì)于一組關(guān)鍵點(diǎn)p1，令其旋轉(zhuǎn)為正面 的特征點(diǎn)P1n，則有P1n = s · R(a，β，γ) · pJ+t其中s, R，t分別對(duì)應(yīng)旋轉(zhuǎn)變換中的尺度、旋轉(zhuǎn)和位移因子，a，β，Y為三個(gè)方向 的旋轉(zhuǎn)角度。由于通用人臉模型為完全正面，因此特征點(diǎn)對(duì)齊后的P1n與模型對(duì)應(yīng)點(diǎn)ΡΜ之 間的距離最小，姿態(tài)旋轉(zhuǎn)的角度可以通過最小化相應(yīng)能量函數(shù)獲得(α,β,r) = ^gmmillP1n-Pm \\)其中能量函數(shù)為模型對(duì)應(yīng)點(diǎn)的前兩位坐標(biāo)與圖像關(guān)鍵點(diǎn)之間的距離。根據(jù)
6LM(Levenberg-Marquardt)算法可以很容易獲得人臉姿態(tài)旋轉(zhuǎn)角度，從而將人臉校正為正 面姿態(tài)。接著，在獲得所有真實(shí)感人臉模型后，利用迭代的方法獲得標(biāo)準(zhǔn)人臉模型。獲得標(biāo) 準(zhǔn)人臉模型的過程如下(1)根據(jù)姿態(tài)矯正后的每張訓(xùn)練圖像的人臉形狀，變形通用人臉模型到每個(gè)人臉 形狀，得到每張訓(xùn)練圖像對(duì)應(yīng)的真實(shí)人臉模型；(2)計(jì)算所有真實(shí)人臉模型的平均值得到平均人臉模型，變形姿態(tài)校正后的每張 訓(xùn)練圖像人臉形狀到平均人臉模型；(3)重復(fù)第⑵步，直到前后兩次平均人臉模型差異小于某閾值，則此時(shí)平均人臉 模型即為標(biāo)準(zhǔn)人臉模型。然后，根據(jù)所述標(biāo)準(zhǔn)人臉模型變形目標(biāo)圖像，使得所述目標(biāo)圖像與所述標(biāo)準(zhǔn)人臉 模型像素級(jí)對(duì)齊。由于標(biāo)準(zhǔn)人臉模型減小了人臉模型與人臉形狀之間的差異，因此根據(jù)標(biāo)準(zhǔn)人臉模 型變形目標(biāo)圖像，使得目標(biāo)圖像與標(biāo)準(zhǔn)人臉模型像素級(jí)對(duì)齊后，不會(huì)使得對(duì)齊后的人臉形 狀出現(xiàn)大的失真。參見圖2，圖2為本發(fā)明實(shí)施例的人臉對(duì)齊示意圖，圖2第一列給出了通用人臉模 型，真實(shí)感人臉模型和標(biāo)準(zhǔn)人臉模型示意圖，圖2后四列對(duì)應(yīng)四張不同人臉，每行依次為原 始人臉圖像、真實(shí)感人臉模型、眼睛對(duì)齊圖像和像素級(jí)對(duì)齊圖像。從圖2中可以看出標(biāo)準(zhǔn)人 臉模型與人臉形狀更為接近，人臉圖像經(jīng)像素級(jí)對(duì)齊后實(shí)現(xiàn)了像素點(diǎn)的一一對(duì)應(yīng)，比僅僅 以眼睛位置進(jìn)行對(duì)齊的圖像獲得更好的對(duì)齊效果。步驟12，判斷對(duì)齊后的目標(biāo)圖像所屬光照類別。根據(jù)光照在圖像上的投影，將相同光照投影分布的圖像分為一類，便于每類光照 下的圖像重建關(guān)系擬合。由于光照體現(xiàn)為光源沿人臉法向的投影，在人臉法向與光源方向 相同的區(qū)域，其光照投影強(qiáng)度最大，會(huì)形成光照中心。光照中心近似為圖像較亮區(qū)域的中 心，相同的光照中心表現(xiàn)為近似的光照方向和相同的圖像明暗變化，因此本發(fā)明以光照中 心的位置來進(jìn)行光照類別分類。首先，根據(jù)對(duì)齊后的目標(biāo)圖像的像素均值，對(duì)對(duì)齊后的目標(biāo)圖像進(jìn)行明暗二值化 分割。假設(shè)人臉圖像I為h*w大小，I的像素均值為
則二值化圖像Ib為
其中明值取1，暗值取0。然后，計(jì)算所述對(duì)齊后的目標(biāo)圖像上所有取明值像素點(diǎn)的重心，作為所述對(duì)齊后 的目標(biāo)圖像的光照中心。圖像二值化后，所有像素值為1的點(diǎn)為原始圖像較亮點(diǎn)，計(jì)算圖像上所有1像素點(diǎn) 的重心，即為圖像的光照中心。最后，根據(jù)光照中心的所在位置判斷所述對(duì)齊后的目標(biāo)圖像所屬光照類別。由于人臉結(jié)構(gòu)差異，相同光照下的人臉圖像其光照中心的所在位置不可能完全相同，本發(fā)明采用按固定規(guī)則對(duì)圖像進(jìn)行分塊來實(shí)現(xiàn)光照分類，將光照中心屬于相同分塊的 圖像分為同一光照類別。假設(shè)將人臉圖像均勻劃分為nh*nw塊，則人臉圖像對(duì)應(yīng)的光照類別為= {c|PLe I。}，其中I。為第c塊子圖像，&為圖像光照中心，為其對(duì)應(yīng)光照類別。子圖像塊 大小根據(jù)實(shí)驗(yàn)獲得，理論上而言，子圖像塊越小，圖像光照類別越細(xì)，分類效果越好，但由于 圖像之間存在差異，相同光照下的圖像光照中心位置會(huì)有偏差，因此過小的子圖像塊反而 會(huì)帶來分類誤差。在本發(fā)明中將所有圖像歸一化為64*64大小，子圖像塊為8*8。對(duì)于標(biāo)準(zhǔn)光照?qǐng)D像，其二值化圖像的0、1值均勻分布，因此光照中心通常為圖像 中心點(diǎn)，這與標(biāo)準(zhǔn)光照方向基本一致。對(duì)于單光源圖像，由于光源的投影并不是圖像某點(diǎn) 的亮度變化，而是某一區(qū)域的亮度增強(qiáng)，因此光照中心即可反映光源的方向；對(duì)于多光源圖 像，在其二值化圖像上，圖像光照中心為多種光源的中心。由于本發(fā)明的光照分類目的不是 精確地對(duì)光照方向估計(jì)，而是將相同光照投影的圖像分為一類，因此對(duì)任意光照條件均可 正確分類。參見圖3，圖3為本發(fā)明實(shí)施例的光照分類示意圖。圖3給出了人臉分塊以及不同 光照類別圖像的樣本，其中每個(gè)樣本對(duì)應(yīng)一張?jiān)瓐D和一張二值化圖像。從圖3中可以看出， 本發(fā)明實(shí)施例的光照分類結(jié)果與圖像原始光照方向基本一致。步驟13，獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型。為獲取每種光照類別的重建模型，本發(fā)明實(shí)施例將所有訓(xùn)練圖像按光照類別進(jìn)行 分類，對(duì)每類光照類別下的每張訓(xùn)練圖像，配對(duì)一張對(duì)應(yīng)的標(biāo)準(zhǔn)光照?qǐng)D像，從而獲得該種光 照類別下的一組訓(xùn)練圖像對(duì)，然后根據(jù)該種光照類別下的一組訓(xùn)練圖像對(duì)，擬合得到原始 光照?qǐng)D像與標(biāo)準(zhǔn)光照?qǐng)D像之間的重建關(guān)系。具體地，首先利用該種光照類別下的一組訓(xùn)練圖像和對(duì)應(yīng)的一組標(biāo)準(zhǔn)光照?qǐng)D像分 別建立原始光照子空間和標(biāo)準(zhǔn)光照子空間，然后投影所述一組訓(xùn)練圖像到原始光照子空間 進(jìn)行最大主元分析(Principal component analysis，PCA)降維并獲得一組投影系數(shù)，投影 所述對(duì)應(yīng)的一組標(biāo)準(zhǔn)光照?qǐng)D像到標(biāo)準(zhǔn)光照子空間進(jìn)行PCA降維并獲得另一組投影系數(shù)；最 后線性擬合所述兩組投影系數(shù)，獲得兩組投影系數(shù)之間的重建矩陣和重建誤差，從而獲得 該種光照類別下的重建模型。對(duì)于任意圖像，其原始光照?qǐng)D像巧(t表示1 η圖像序列 中的任意一張)和標(biāo)準(zhǔn)光照?qǐng)D像7/之間近似存在線性關(guān)系 其中，
為對(duì)應(yīng)關(guān)系，R為重建矩陣，E為重建誤差。假設(shè)
為光照類別L。下的所有原始光照?qǐng)D像，In= {/嚴(yán)}為對(duì)應(yīng) 標(biāo)準(zhǔn)光照?qǐng)D像，其中η為該光照類別下的圖像數(shù)目，R。和Ε。分別為對(duì)應(yīng)重建關(guān)系，則 設(shè)圖像像素?cái)?shù)目為m，則重建矩陣R。為m*m維，重建誤差E。為m*l維。R。和E?？?以根據(jù)最小二乘法從子集I"和In中計(jì)算得出。由于多數(shù)情況下圖像像素?cái)?shù)目m要遠(yuǎn)遠(yuǎn)大 于圖像個(gè)數(shù)n，即In列滿秩，計(jì)算所得的R。和E。會(huì)存在很大的誤差，因此需要對(duì)圖像進(jìn)行降 維。根據(jù)PCA理論，任意圖像投影為對(duì)應(yīng)子空間內(nèi)一點(diǎn)。分別以原始光照?qǐng)D像和標(biāo)準(zhǔn)
其中α，β，Bn，Bl分別對(duì)應(yīng)兩組圖像的投影系數(shù)和投影基。投影后投影系數(shù)α， β可分別描述原始光照?qǐng)D像和標(biāo)準(zhǔn)光照?qǐng)D像，從而原始圖像得以降維。設(shè)投影系數(shù)為k維， 由于原始光照?qǐng)D像子空間和標(biāo)準(zhǔn)光照?qǐng)D像子空間相互對(duì)應(yīng)，因此兩組投影系數(shù)維度可以保
持一致。設(shè)投影系數(shù)重建矩陣和重建誤差分別為Rp和Ep，則原始光照?qǐng)D像和標(biāo)準(zhǔn)光照?qǐng)D像 之間的對(duì)應(yīng)關(guān)系可以轉(zhuǎn)化為相應(yīng)投影系數(shù)之間的關(guān)系 ，其中R' 5為(k+l)*(k+l)維。由于PCA降維后，圖像數(shù)目η與k+1相當(dāng)，因此可 以直接得到如下重建矩陣 步驟14，根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo) 圖像的標(biāo)準(zhǔn)光照?qǐng)D像。該步驟具體可以為投影對(duì)齊后的目標(biāo)圖像到所屬光照類別的原始光照子空間 中，得到其原始光照的投影系數(shù)；然后利用該原始光照的投影系數(shù)，從對(duì)應(yīng)光照類別的重建 模型中得到其標(biāo)準(zhǔn)光照的投影系數(shù)；最后再利用該標(biāo)準(zhǔn)光照的投影系數(shù)，從對(duì)應(yīng)光照類別 的標(biāo)準(zhǔn)光照?qǐng)D像子空間中重建出該對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。對(duì)于輸入圖像Ι〒η ,投影到對(duì)應(yīng)原始光照子空間中得到對(duì)應(yīng)原始光照的投影系數(shù) β in，然后根據(jù)其對(duì)應(yīng)的重建模型計(jì)算出其對(duì)應(yīng)標(biāo)準(zhǔn)光照的投影系數(shù)α in = R?！?β in+E。，從
而重構(gòu)出標(biāo)準(zhǔn)光照?qǐng)D像為1In
τΝ Tn
=1、+
Σα Β;
N為此，本發(fā)明實(shí)施例的人臉圖像重建方法，通過對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊，可以 獲得比僅以眼睛位置進(jìn)行對(duì)齊的圖像更好的對(duì)齊效果，使得對(duì)齊后的圖像不會(huì)出現(xiàn)大的失 真；通過判斷對(duì)齊后的目標(biāo)圖像所屬光照類別，并獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類 別的重建模型，然后根據(jù)該重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo) 圖像的標(biāo)準(zhǔn)光照?qǐng)D像，可以將相同光照投影的圖像分為一類，將目標(biāo)圖像作為一個(gè)整體進(jìn) 行圖像重建，與現(xiàn)有技術(shù)相比，避免了光照模板差分導(dǎo)致的圖像特征的丟失，同時(shí)也避免了 光照子空間帶來的重建誤差，因此能夠改善光照變化下的人臉識(shí)別結(jié)果。進(jìn)一步地，本發(fā)明實(shí)施例的人臉圖像重建方法還可以包括步驟15，將所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像校正回原始形狀，獲得與所述 目標(biāo)圖像形狀相同的標(biāo)準(zhǔn)光照?qǐng)D像。由于在重建之前，將目標(biāo)圖像與標(biāo)準(zhǔn)人臉模型進(jìn)行了像素級(jí)對(duì)齊，所以重建所得 的標(biāo)準(zhǔn)光照?qǐng)D像的像素點(diǎn)與標(biāo)準(zhǔn)人臉模型的稀疏點(diǎn)一一對(duì)應(yīng)，因此有必要根據(jù)徑向基函數(shù) (Radial Basis Function，RBF)變形該重建圖像，使得圖像關(guān)鍵點(diǎn)與目標(biāo)圖像的關(guān)鍵點(diǎn)保
9持一致，從而得到與對(duì)齊前目標(biāo)圖像形狀相同的標(biāo)準(zhǔn)光照?qǐng)D像。為此可以進(jìn)一步地改善光 照變化下的人臉識(shí)別結(jié)果。綜上所述，本發(fā)明實(shí)施例的人臉圖像重建方法的流程圖可以如圖4所示，包括如 下步驟步驟101，通過所有訓(xùn)練圖像訓(xùn)練通用人臉模型得到標(biāo)準(zhǔn)人臉模型，將任意光照的 目標(biāo)圖像與該標(biāo)準(zhǔn)人臉模型進(jìn)行像素級(jí)對(duì)齊。步驟102，對(duì)對(duì)齊后的所有訓(xùn)練圖像和目標(biāo)圖像進(jìn)行光照類別判斷。步驟103，為每種光照類別的訓(xùn)練圖像建立訓(xùn)練圖像對(duì)，獲得重建模型。具體地，可以利用每種光照類別的一組訓(xùn)練圖像和對(duì)應(yīng)的一組標(biāo)準(zhǔn)光照?qǐng)D像分別 建立對(duì)應(yīng)光照類別的原始光照子空間和標(biāo)準(zhǔn)光照子空間，分別投影訓(xùn)練圖像和標(biāo)準(zhǔn)光照?qǐng)D 像到對(duì)應(yīng)的子空間進(jìn)行PCA降維并獲得兩組投影系數(shù)，依據(jù)該兩組投影系數(shù)訓(xùn)練重建關(guān)系 獲得對(duì)應(yīng)光照類別的重建模型。步驟104，選擇對(duì)應(yīng)光照類別的重建模型對(duì)對(duì)齊后的目標(biāo)圖像進(jìn)行圖像重建，獲得 對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。步驟105，對(duì)重建所得的圖像進(jìn)行形狀校正，獲得與所述目標(biāo)圖像形狀相同的標(biāo)準(zhǔn) 光照?qǐng)D像。參見圖5，圖5為一個(gè)具體人臉圖像采用本發(fā)明實(shí)施例的人臉圖像重建方法獲得 標(biāo)準(zhǔn)光照?qǐng)D像的流程圖。包括圖像對(duì)齊、標(biāo)準(zhǔn)光照?qǐng)D像重建以及形狀校正的處理步驟，在處 理之前，還需要根據(jù)訓(xùn)練圖像將通用人臉模型訓(xùn)練成標(biāo)準(zhǔn)人臉模型，以及根據(jù)訓(xùn)練圖像訓(xùn) 練不同光照重建關(guān)系獲得不同光照類型的重建模型。在Yale B數(shù)據(jù)庫上，對(duì)本發(fā)明實(shí)施例的人臉圖像重建方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。參見 圖6(a)和6(b)，圖6(a)為對(duì)Yale B數(shù)據(jù)庫在不同光照類別下采用本發(fā)明實(shí)施例方法得到 的人臉識(shí)別率與其他算法的對(duì)比示意圖；圖6(b)為對(duì)Yale B數(shù)據(jù)庫在不同光照類別下采 用本發(fā)明實(shí)施例方法得到的圖像表象與其他算法的對(duì)比示意圖，這些其他對(duì)比算法包括: 圖像亮度調(diào)節(jié)、離散余弦變換(DiscreteCosine Transform, DCT)、陰影光照處理(Shadow Illuminator Process，SIP)、商圖像(Quoient Image，QI)。Yale B 數(shù)據(jù)庫根據(jù)光照方向被 分為5個(gè)子集，實(shí)驗(yàn)中以第一個(gè)子集為模板，其他子集為測(cè)試，圖6 (a)和6 (b)依次給出了 原始圖像、亮度調(diào)節(jié)圖像、DCT圖像、SIP圖像、QI圖像和采用本發(fā)明實(shí)施例獲得的標(biāo)準(zhǔn)光照 圖像，在不同光照方向下的識(shí)別結(jié)果。由圖6(a)和6(b)可以看出，不論在人臉識(shí)別率還是 圖像表象上，本發(fā)明實(shí)施例的人臉圖像重建方法都體現(xiàn)了最優(yōu)秀的重建效果。參見圖7 (a)和7 (b)，圖7 (a)為人臉對(duì)齊與未對(duì)齊情況下人臉識(shí)別率的對(duì)比示意 圖；7(b)為人臉對(duì)齊與未對(duì)齊情況下人臉重建效果的對(duì)比示意圖，其中第一行為未對(duì)齊重 建，第二行為對(duì)齊重建。由圖7(a)和7(b)可以看出，本發(fā)明提供的人臉對(duì)齊方法更有效的 實(shí)現(xiàn)了圖像重建，減小了圖像失真。需要說明的是，本發(fā)明實(shí)施例中提供的人臉對(duì)齊方法和光照分類方法也可以用于 其它圖像處理，并不限于本發(fā)明實(shí)施例的人臉圖像重建方法。基于本發(fā)明實(shí)施例的人臉圖像重建方法，本發(fā)明實(shí)施例還提供了一種人臉圖像重 建裝置和一種人臉識(shí)別系統(tǒng)。參見圖8，本發(fā)明實(shí)施例提供的人臉圖像重建裝置，包括
10
對(duì)齊單元81，用于對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊；光照類別判斷單元82，用于判斷對(duì)齊后的目標(biāo)圖像所屬光照類別；重建模型獲取單元83，用于獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模 型；重建單元84，用于根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊 后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。進(jìn)一步地，仍參見圖8，本發(fā)明實(shí)施例提供的人臉圖像重建裝置還可以包括校正單元85，用于將所述重建單元84獲得的對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像 校正回原始形狀，獲得與所述目標(biāo)圖像形狀相同的標(biāo)準(zhǔn)光照?qǐng)D像。參見圖9，本發(fā)明實(shí)施例提供的人臉識(shí)別系統(tǒng)，包括本發(fā)明實(shí)施例的人臉圖像重建 裝置80和人臉識(shí)別裝置90，其中，所述人臉圖像重建裝置80，用于對(duì)目標(biāo)圖像進(jìn)行重建獲得目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D 像；具體地，可以包括圖8所示的對(duì)齊單元81、光照類別判斷單元82、重建模型獲取單元83 和重建單元84，并且可選地，還可以包括校正單元85。所述人臉識(shí)別裝置90，用于對(duì)所述人臉圖像重建裝置80重建所得的目標(biāo)圖像的 標(biāo)準(zhǔn)光照?qǐng)D像進(jìn)行人臉識(shí)別。本發(fā)明實(shí)施例的人臉圖像重建裝置及人臉識(shí)別系統(tǒng)中各功能單元的原理說明可 以參照?qǐng)D1所述方法實(shí)施例的原理，在此不再贅述。本發(fā)明實(shí)施例的人臉圖像重建裝置和人臉識(shí)別系統(tǒng)，通過對(duì)齊單元對(duì)目標(biāo)圖像進(jìn) 行像素級(jí)對(duì)齊，可以獲得比僅以眼睛位置進(jìn)行對(duì)齊的圖像更好的對(duì)齊效果，使得對(duì)齊后的 圖像不會(huì)出現(xiàn)大的失真；通過光照類別判斷單元判斷對(duì)齊后的目標(biāo)圖像所屬光照類別，并 由重建模型獲取單元獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型，然后由重建單 元根據(jù)該重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D 像，可以將相同光照投影的圖像分為一類，將目標(biāo)圖像作為一個(gè)整體進(jìn)行圖像重建，與現(xiàn) 有技術(shù)相比，避免了光照模板差分導(dǎo)致的圖像特征的丟失，同時(shí)也避免了光照子空間帶來 的重建誤差，因此能夠改善光照變化下的人臉識(shí)別結(jié)果。上述具體實(shí)施例并不用以限制本發(fā)明，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，凡 在不脫離本發(fā)明原理的前提下，利用本發(fā)明提出的通過人臉對(duì)齊和光照分類實(shí)現(xiàn)對(duì)人臉圖 像的重建，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種人臉圖像重建方法，其特征在于，包括對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊；判斷對(duì)齊后的目標(biāo)圖像所屬光照類別；獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型；根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊包括 根據(jù)每張訓(xùn)練圖像的關(guān)鍵點(diǎn)變形通用人臉模型，依次獲得每張訓(xùn)練圖像對(duì)應(yīng)的真實(shí)感人臉模型；根據(jù)所有訓(xùn)練圖像的真實(shí)感人臉模型的均值，利用迭代方法得到標(biāo)準(zhǔn)人臉模型； 根據(jù)所述標(biāo)準(zhǔn)人臉模型變形目標(biāo)圖像，使得所述目標(biāo)圖像與所述標(biāo)準(zhǔn)人臉模型像素級(jí) 對(duì)齊。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在根據(jù)每張訓(xùn)練圖像的關(guān)鍵點(diǎn)變形通用 人臉模型之前，所述對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊還包括調(diào)整每張訓(xùn)練圖像為正面姿態(tài)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷對(duì)齊后的目標(biāo)圖像所屬光照類 別包括根據(jù)對(duì)齊后的目標(biāo)圖像的像素均值，對(duì)對(duì)齊后的目標(biāo)圖像進(jìn)行明暗二值化分割； 計(jì)算所述對(duì)齊后的目標(biāo)圖像上所有取明值像素點(diǎn)的重心，作為所述對(duì)齊后的目標(biāo)圖像 的光照中心；根據(jù)所述光照中心的所在位置判斷所述對(duì)齊后的目標(biāo)圖像所屬光照類別。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述判斷對(duì)齊后的目標(biāo)圖像所屬光照類 別還包括按固定規(guī)則對(duì)目標(biāo)圖像進(jìn)行分塊；則所述根據(jù)所述光照中心的所在位置判斷所述對(duì)齊后的目標(biāo)圖像所屬光照類別具體為根據(jù)所述光照中心所在分塊判斷所述對(duì)齊后的目標(biāo)圖像所屬光照類別。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述對(duì)齊后的目標(biāo)圖像所屬光 照類別的重建模型包括將所有訓(xùn)練圖像按光照類別進(jìn)行分類；為所述對(duì)齊后的目標(biāo)圖像所屬光照類別的每張訓(xùn)練圖像配對(duì)一張對(duì)應(yīng)的標(biāo)準(zhǔn)光照?qǐng)D像；根據(jù)所述對(duì)齊后的目標(biāo)圖像所屬光照類別的一組訓(xùn)練圖像和對(duì)應(yīng)的一組標(biāo)準(zhǔn)光照?qǐng)D 像分別建立原始光照子空間和標(biāo)準(zhǔn)光照子空間；分別投影所述一組訓(xùn)練圖像和對(duì)應(yīng)的一組標(biāo)準(zhǔn)光照?qǐng)D像到對(duì)應(yīng)的子空間進(jìn)行最大主 元分析降維，并獲得兩組投影系數(shù)；線性擬合所述兩組投影系數(shù)獲得所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述重建模型重建所述對(duì)齊后 的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像包括投影所述對(duì)齊后的目標(biāo)圖像到所屬光照類別的原始光照子空間中，得到所述對(duì)齊后的 目標(biāo)圖像的原始光照的投影系數(shù)；利用所述原始光照的投影系數(shù)，從所述重建模型中得到所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn) 光照的投影系數(shù)；利用所述標(biāo)準(zhǔn)光照的投影系數(shù)，從所述對(duì)齊后的目標(biāo)圖像所屬光照類別的標(biāo)準(zhǔn)光照?qǐng)D 像子空間中重建出所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括將所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像校正回原始形狀，獲得與所述目標(biāo)圖像形狀 相同的標(biāo)準(zhǔn)光照?qǐng)D像。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述將所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光 照?qǐng)D像校正回原始形狀包括根據(jù)徑向基函數(shù)變形所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像，將所述對(duì)齊后的目標(biāo)圖 像的標(biāo)準(zhǔn)光照?qǐng)D像的關(guān)鍵點(diǎn)與對(duì)齊前的目標(biāo)圖像的關(guān)鍵點(diǎn)保持一致。
10.一種人臉圖像重建裝置，其特征在于，包括對(duì)齊單元，用于對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊；光照類別判斷單元，用于判斷對(duì)齊后的目標(biāo)圖像所屬光照類別；重建模型獲取單元，用于獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型；重建單元，用于根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目 標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括校正單元，用于將所述重建單元獲得的對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像校正回原始 形狀，獲得與所述目標(biāo)圖像形狀相同的標(biāo)準(zhǔn)光照?qǐng)D像。
12.一種人臉識(shí)別系統(tǒng)，其特征在于，包括人臉識(shí)別裝置和人臉圖像重建裝置，其中，所述人臉圖像重建裝置，用于對(duì)目標(biāo)圖像進(jìn)行重建獲得目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像；所述人臉識(shí)別裝置，用于對(duì)所述人臉圖像重建裝置重建所得的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D 像進(jìn)行人臉識(shí)別。
全文摘要
本發(fā)明實(shí)施例公開了一種人臉圖像重建方法、裝置及人臉識(shí)別系統(tǒng)，涉及模式識(shí)別技術(shù)。所述人臉圖像重建方法包括對(duì)目標(biāo)圖像進(jìn)行像素級(jí)對(duì)齊；判斷對(duì)齊后的目標(biāo)圖像所屬光照類別；獲取所述對(duì)齊后的目標(biāo)圖像所屬光照類別的重建模型；根據(jù)所述重建模型重建所述對(duì)齊后的目標(biāo)圖像，獲得所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像；以及將所述對(duì)齊后的目標(biāo)圖像的標(biāo)準(zhǔn)光照?qǐng)D像校正回原始形狀，獲得與所述目標(biāo)圖像形狀相同的標(biāo)準(zhǔn)光照?qǐng)D像。本發(fā)明主要用于人像識(shí)別。
文檔編號(hào)G06K9/66GK101916384SQ20101026854
公開日2010年12月15日 申請(qǐng)日期2010年9月1日 優(yōu)先權(quán)日2010年9月1日
發(fā)明者劉昌平, 熊鵬飛, 黃磊 申請(qǐng)人:漢王科技股份有限公司