專利名稱：一種基于可見光與近紅外Gabor信息融合的人臉識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于可見光與近紅外Gabor信息融合的人臉識別方法，屬于計算機(jī)視覺中的智能監(jiān)控技術(shù)，特別是人臉識別技術(shù)。

背景技術(shù)：
人臉是人類視覺中最為普遍的模式，人的面部所表現(xiàn)的視覺信息在社會交流和交往中有著重要的作用和意義。人臉識別(Face Recognition)主要是研究自動地對圖像中尋找到的人臉和面部特征點進(jìn)行辨別的算法和理論。人臉識別的研究試圖使計算機(jī)具有人類的臉像識別能力。目前，人臉識別所處理的對象主要包括單幅靜止人臉圖像和視頻中的動態(tài)人臉圖像。通常，人們對“人臉識別”存在廣義和狹義兩種理解。廣義上，人臉識別研究包括人臉跟蹤、人臉檢測、面部特征點檢測、人臉辨識、面部表情分析和面部合成等多項內(nèi)容。狹義上，人臉識別僅僅指人臉辨識。本發(fā)明屬于狹義人臉識別的范疇。
人臉識別研究依托模式識別、圖像理解、計算機(jī)視覺和人工智能等多種學(xué)科，同時和認(rèn)知學(xué)、神經(jīng)科學(xué)、生理心理學(xué)等學(xué)科有著千絲萬縷的聯(lián)系。盡管人類可以毫不費力地進(jìn)行快速、準(zhǔn)確的人臉識別，然而實現(xiàn)計算機(jī)自動人臉識別仍然是對研究者的巨大挑戰(zhàn)。這是由于人類對自己所擁有的強(qiáng)大認(rèn)知能力的機(jī)能了解不足，從而難以完全模擬人腦的人臉識別機(jī)制。目前，人臉識別研究在限定范圍內(nèi)獲得了成功，并且在一定的領(lǐng)域內(nèi)得到了應(yīng)用。
人臉識別的應(yīng)用范圍涵蓋了公安刑偵、司法鑒定、訪問控制、金融支付、醫(yī)學(xué)應(yīng)用、視覺監(jiān)控和視頻會議等多個領(lǐng)域。
首先，臉像是一種高普遍性的、可非接觸式采集的重要生物特征，人臉識別在身份鑒別中有著廣泛的應(yīng)用前景。人臉識別是生物識別(Biometrics)技術(shù)的一種。生物識別主要是指根據(jù)觀察、分析和測量人的身體特征或者人的行為特征，提取每一個人獨有的可測量特征，從而實現(xiàn)身份辨識和認(rèn)證的方法，其中身體特征包括面部特征、指紋細(xì)節(jié)和虹膜紋理等；而行為特征包括步態(tài)、筆跡和簽名等。理想的生物識別特征應(yīng)該具有穩(wěn)定性、唯一性和方便性等特點。目前，生物識別的主要研究對象包括指紋(Fingerprint)、虹膜(Iris)、視網(wǎng)膜(Retinal)、筆跡(Handwriting)、說話人(Speaker)、步態(tài)(Gait)、手形(Hand Geometry)、掌紋(Hand Vein)、簽名(Signature)和DNA序列等身體特征或者行為特征。與傳統(tǒng)的基于身份證、信用卡、鑰匙等特定物品和基于密碼、口令、暗語等特定知識的身份鑒別方法相比較，人的生物特征具有不會遺忘、不會丟失和不會冒充等優(yōu)點。因此，生物識別技術(shù)在近年里獲得了迅猛的發(fā)展，并且逐步成為一種應(yīng)用于安全領(lǐng)域的、新興的高技術(shù)產(chǎn)業(yè)。
而人類在人臉識別中表現(xiàn)出的高可靠性和高穩(wěn)健性說明人臉圖像中包含有進(jìn)行成功個人身份識別所需要的足夠信息。相對于其他種類的生物特征，人臉圖像可以通過直接、自然的方式獲取。因此，人臉識別直接、友好、方便，屬于非侵犯的主動識別，易于被用戶所接受。人臉識別可以被應(yīng)用在多種不同的安全領(lǐng)域駕駛執(zhí)照和護(hù)照等證件中的身份認(rèn)證；樓宇進(jìn)出的安全控制；機(jī)場等重要場所中的安全檢測和監(jiān)控；智能卡中的身份認(rèn)證。人臉識別技術(shù)在信息安全領(lǐng)域也有著巨大的潛在應(yīng)用價值。隨著網(wǎng)絡(luò)技術(shù)日益走進(jìn)人們的日常生活，越來越多的用戶可以訪問互聯(lián)網(wǎng)，越來越多的信息被置入互聯(lián)網(wǎng)。由于網(wǎng)絡(luò)信息訪問的便捷性，網(wǎng)絡(luò)的安全控制成為一個日益迫切的重要問題。利用人臉識別技術(shù)，可以進(jìn)行計算機(jī)的安全登陸控制、應(yīng)用程序安全使用、數(shù)據(jù)庫按全訪問、文件加密、局域網(wǎng)和廣域網(wǎng)的安全控制，還可以保護(hù)電子商務(wù)的安全性。
其次，人臉識別技術(shù)可以用于創(chuàng)建友好自然的人機(jī)交互方式，是智能計算機(jī)領(lǐng)域研究的重要內(nèi)容之一。人臉?biāo)呢S富信息在社會交往和信息交互中起著十分重要的作用。人臉識別無需特殊的采集設(shè)備，系統(tǒng)成本相對低，不干擾使用者，不侵犯使用者的隱私。一個可以從使用者的臉像獲得身份、表情等知識的智能計算機(jī)，可以為使用者提供便捷的服務(wù)，甚至使人與計算機(jī)之間的交互如同人與人之間的交互一樣輕松自如。
另外，人臉識別技術(shù)還可用于圖像庫檢索，在大型人臉圖像庫中檢索與索引圖像相同或相近的臉像。給定未知人的臉像，可以利用人臉識別從數(shù)據(jù)庫中檢索出一個或多個最接近的臉像。例如公安部門可以利用人臉識別技術(shù)進(jìn)行罪犯臉像庫的管理和查詢，自動取款機(jī)(Automatic Teller Machine，簡稱為ATM)可以從數(shù)據(jù)庫中快速檢索用戶。
由于人臉識別技術(shù)應(yīng)用前景廣泛，人臉識別作為一個獨立的研究課題吸引了國際國內(nèi)學(xué)術(shù)界的眾多研究者。
人類對人臉識別方法的探索最早可以追溯到幾個世紀(jì)以前。在繪畫藝術(shù)、人類學(xué)、心理學(xué)和法醫(yī)學(xué)等諸多領(lǐng)域，人臉研究都占有一席之地。近三十年里，人臉識別技術(shù)在計算機(jī)應(yīng)用領(lǐng)域內(nèi)得到了廣泛的關(guān)注和研究。早在二十世紀(jì)六、七十年代，利用計算機(jī)進(jìn)行自動人臉識別即引起了研究者的強(qiáng)烈興趣，掀起了對人臉識別研究的第一次高潮。進(jìn)入二十世紀(jì)九十年代，人臉識別研究隨著電子計算機(jī)技術(shù)的飛速發(fā)展進(jìn)入了第二次研究高潮，并且持續(xù)至今仍然是領(lǐng)域內(nèi)的研究熱點。
世界范圍內(nèi)許多科研機(jī)構(gòu)都設(shè)立了專門的研究組從事人臉識別的研究。國際上，著名的人臉識別研究機(jī)構(gòu)包括美國卡奈基梅隆大學(xué)(Carnegie Mellon University，簡稱為CMU)的機(jī)器人研究所、美國麻省理工大學(xué)(Massachusetts Institute ofTechnology，簡稱為MIT)的媒體實驗室和人工智能實驗室、英國薩里大學(xué)(University of Surrey)視覺、語音和信號處理研究中心(Center for Vision，Speech and Signal Processing)、美國伊利諾斯大學(xué)大學(xué)(University of Illinois)Beckman研究所、法國INRIA(French National Institute for Research inComputer Science and Control)研究院、瑞士IDIAP(Dalle Molle Institute forPerceptual Artificial Intelligence)研究院、日本ART(AdvancedTelecommunications Research Institute International)研究院等。我國在人臉識別方面的研究起步于第二次高潮初期，國內(nèi)主要有清華大學(xué)、北京大學(xué)、南京理工大學(xué)、北方交通大學(xué)、中國科技大學(xué)、哈爾濱工業(yè)大學(xué)、上海交通大學(xué)和中山大學(xué)等著名高校，中國科學(xué)院計算所、中國科學(xué)院自動化所和中國科學(xué)院聲學(xué)所等科研院所開展了相關(guān)研究。交流和探討人臉識別技術(shù)的專門國際會議有自動臉像和手勢識別國際會議(International Conference on Automatic Face and GestureRecognition，簡稱為AFGR)和基于音頻、視頻的身份鑒別國際會議(InternationalConference on Audio and Video Based Person Authentication，簡稱為AVBPA)。一些模式識別、計算機(jī)視覺領(lǐng)域的著名的國際會議，如國際計算機(jī)視覺會議(International Conference on Computer Vision，簡稱為ICCV)，國際計算機(jī)視覺與模式識別會議(International Conference on Computer Vision andPattern Recognition，簡稱為CVPR)，國際模式識別會議(InternationalConference on Pattern Recognition，簡稱為ICPR)，歐洲計算機(jī)視覺會議(European Conference on Computer Vision，簡稱為ECCV)等和知名的國際期刊，如IEEE Transactions on Pattern Analysis and Machine Intelligence(簡稱為PAMI)，Pattern Recognition(簡稱為PR)，Image and Vision Computing(簡稱為IVC)等，紛紛設(shè)立了人臉識別專題。
在應(yīng)用領(lǐng)域，依托于科研界現(xiàn)有的人臉識別研究成果，許多科技公司把人臉識別技術(shù)推向了應(yīng)用。比較成熟的商業(yè)人臉識別軟件有美國Visionics公司的FaceIt和Viisage公司的人臉識別系列軟件等。我國的四川成都銀晨網(wǎng)訊公司和中科模識公司等也在開展相關(guān)工作。
目前，人臉識別算法主要適用于限定環(huán)境下、限定類別數(shù)量條件下的應(yīng)用，還遠(yuǎn)遠(yuǎn)不能發(fā)揮出人臉圖像可在自然條件下獲取和識別的優(yōu)點。光照、姿態(tài)和表情等外部因素的變化對人臉識別產(chǎn)生著劇烈的影響。尤其是光照問題一直是干擾研究者取得理想成果的絆腳石。
為了解決光照對人臉識別產(chǎn)生的劇烈影響，研究者進(jìn)行了很多的嘗試 在參考文獻(xiàn)[1]Georghiades A.S.，Belhumeur P.N.，and Kriegman D.J.From Few to ManyIllumination Cone Models for Face Recognition underVariable Lighting and Pose[J].IEEE Trans.Pattern Analysis and MachineIntelligence，2001，23(9)643-660，2001，Georghiades等人證明了在不同的光照環(huán)境下，所有相同姿態(tài)的人臉圖像形成一個凸椎(Convex Cone)模型，這個模型被稱為光照椎模型；Ramamoorthi在參考文獻(xiàn)[2]Ramamoorthi R.Analytic PCA Construction for Theoretical Analysis of Lighting Variability inImages of a Lambertian Object[J].IEEE Trans.Pattern Analysis andMachine Intelligence，2002，25(10)1322-1333、Basri和Jacobs在參考文獻(xiàn)[3]Basri R.and Jacobs D.W.Lambertian Reflectance and LinearSubspaces[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25(2)218-233中分別提出采用球諧函數(shù)(Spherical Harmonic)表示法對不同光照下的低維度人臉圖像進(jìn)行解釋；Nayar、Bolle和Jacobs等人提出采用不帶有陰影的Lambertian模型提取人臉圖像的內(nèi)在特性，詳見參考文獻(xiàn)[4]Nayar S.K.and Bolle R.M.Reflectance Based Object Recognition[J].Int’1 J.Computer Vision，1996，17(3)219-240，和參考文獻(xiàn)[5]Jacobs D.，Belhumeur P.and Basri R.Comparing Images under Variable Illumination[A].Proc.IEEE CS Conf.Computer Vision and Pattern Recognition[C].1998610-617；Shashua和Raviv在參考文獻(xiàn)[6]Shashua A.and Raviv T.R.TheQuotient ImageClass Based Re-Rendering and Recognition with VaryingIlluminations[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2001，23(2)129-139中提出了一個簡單且實用的商圖像(Quotient Image)算法提取圖像的光照不變表示，這些方法雖然都在一定程度上提高了識別的準(zhǔn)確率，但是并沒有得到任何對于光照不變的人臉識別方法。
其他克服光照影響的方法還包括采用三維數(shù)據(jù)和使用遠(yuǎn)紅外圖像的方法；其中，在很多情況下，實際上是采用2.5維的數(shù)據(jù)。參考文獻(xiàn)[7]Bowyer K.W.，Chang K.I.and Flynn P.J.A Survey of 3D and MultiModal 3D+2D Face Recognition[A].Proc.Int’1 Conf.Pattern Recognition[C].2004358-361中通過激光掃描儀或者三維視覺方法獲得的數(shù)據(jù)捕捉了人臉的幾何形狀，并且這種系統(tǒng)很少受到環(huán)境光照變化的影響；而基于遠(yuǎn)紅外圖像的方法的優(yōu)勢是對光照變化魯棒，并且可以識別出偽裝人臉。
采用近紅外圖像進(jìn)行人臉識別同樣是一種有效的手段，與以上的方法相比較，能夠突出基于近紅外方法的優(yōu)勢首先，近紅外圖像對于環(huán)境光線的變化在一定限度內(nèi)保持魯棒，可以達(dá)到光照不變性的要求；其次，這種方法比采用三維數(shù)據(jù)的方法更為經(jīng)濟(jì)、成本少、計算量??；最后，這種方法不容易受到環(huán)境溫度、人的情緒以及健康狀況的影響，比采用遠(yuǎn)紅外的方法有更強(qiáng)的穩(wěn)定性。
考慮到近紅外人臉圖像的上述特點，基于近紅外圖像的人臉識別已經(jīng)逐漸地引起了相關(guān)工作者的重視，此外更為廣闊的應(yīng)用范圍使之成為了近年來人臉識別技術(shù)研究的熱點，在白天和黑夜均能夠正常工作，是一具有廣泛應(yīng)用價值和挑戰(zhàn)性的課題。
對比近紅外圖像和可見光圖像的特點，并且總結(jié)在可見光和近紅外人臉圖像上進(jìn)行的對照試驗，可以發(fā)現(xiàn)可見光圖像的細(xì)節(jié)紋理信息非常豐富，例如，可以看到人臉部的雀斑、粉刺等細(xì)節(jié)，而這些信息在近紅外人臉圖像的采集過程中損失了，或者說近紅外人臉圖像表現(xiàn)不出足夠的細(xì)節(jié)信息，但是基于近紅外圖像的人臉識別的最大優(yōu)勢就是對于光照條件的變化保持魯棒，并不像基于可見光圖像的人臉識別那樣，在光照變化劇烈的條件下幾乎失效。
人臉識別中所用到的方法，大體上可以分成兩類，一類是以主成分分析(Principal Component Analysis，簡稱為PCA)為代表的基于全局特征的方法，另一類則是以彈性束圖匹配(Elastic Bunch Graph Matching，簡稱為EBGM)和局部二值模式(Local Binary Pattern，簡稱為LBP)為代表的基于局部特征的方法。
參考文獻(xiàn)[8]Turk M，Pentland A.Eigenfaces for recognition[A].Journalof Cognitive Neuroscience[J].1991，3(1)71-86對PCA進(jìn)行了詳細(xì)的介紹，基于PCA的人臉識別方法也稱為特征臉方法(Eigenface)。該方法將人臉圖像按行(列)展開所形成的一個高維向量看作是一種隨機(jī)向量，因此可以采用K-L變換獲得其正交K-L基底.對應(yīng)于其中較大特征值的基底具有與人臉相似的形狀，故稱其為特征臉.利用相對較小的Eigenface集描述人臉，這樣每幅人臉圖像就對應(yīng)于一個維數(shù)較低的權(quán)向量，因此，人臉識別可以在降維后的空間上進(jìn)行. EBGM則是利用了Gabor Wavelet濾波器進(jìn)行特征提取，也就是所說的Gabor特征進(jìn)行人臉識別，相關(guān)方法細(xì)節(jié)參見參考文獻(xiàn)[9]L.Wiskott，J.M.Fellous，N.Kruger，and C.Von der Malsburg.Face Recognition by Elastic Bunch GraphMatching[A].IEEE Trans.Pattern Analysis and Machine Intelligence[J]，1997，19(7)775-779。Gabor Wavelet可以很好的模擬大腦皮層中單細(xì)胞感受視野的輪廓，捕捉突出的視覺屬性，例如空間定位，方向選擇等。特別是GaborWavelet可以提取圖像特定區(qū)域內(nèi)的多尺度，多方向空間頻率特征，像顯微鏡一樣放大灰度變化。這樣，人臉圖像中的眼睛，鼻子和嘴以及其他一些局部特征被放大。因此，采用Gabor Wavelet來提取人臉的信息，可以增強(qiáng)一些關(guān)鍵特征，以區(qū)分不同的人臉圖像。
自從2004年LBP在參考文獻(xiàn)[10]A.Timo，H.Abdenour，and P.Matti.Face Recognition with Local Binary Patterns[A].In Proceedings of EuropeanConference on Computer Vision[C]，2004469-481中被于人臉識別以來，基于LBP的人臉識別方法逐漸受到了人們的關(guān)注。其原因主要是對于很多人臉識別實用系統(tǒng)而言，往往不可能獲得待識別人的多個樣本，這就意味著不可能對它們進(jìn)行有效的訓(xùn)練，而作為非統(tǒng)計學(xué)習(xí)方法，LBP顯示出了其特有的優(yōu)勢。該方法來源于紋理分析領(lǐng)域.它首先計算圖像中每個像素與其局部鄰域點在亮度上的序關(guān)系，然后對二值序關(guān)系進(jìn)行編碼形成局部二值模式，最后采用多區(qū)域直方圖作為圖像的特征描述。LBP方法本質(zhì)上提取的是圖像邊緣、角點等局部變化特征，它們對于區(qū)分不同的人臉是非常重要的。
近些年的研究表明，基于局部特征的人臉識別方法的表現(xiàn)大大優(yōu)于基于全局特征的人臉識別方法，然而基于局部特征的人臉識別方法需要提取更高維數(shù)的特征，增加了計算復(fù)雜度和應(yīng)用實時性的難度，所以要在提取的多維特征中選擇出最有代表性的一些特征用于人臉識別，在保證人別準(zhǔn)確率的基礎(chǔ)上，降低計算復(fù)雜度。
Boosting是一種提高任意給定學(xué)習(xí)算法準(zhǔn)確度的方法。它的思想起源于Valiant提出的Probably Approximately Correct(簡稱為PAC)學(xué)習(xí)模型，詳見參考文獻(xiàn)[11]Valiant L.G.A Theory of the Learnable[A].Communications ofthe ACM[J]，1984，27(11)1134-1142。Valiant和Kearns提出了弱學(xué)習(xí)和強(qiáng)學(xué)習(xí)的概念，識別錯誤率小于1/2，也即準(zhǔn)確率僅比隨機(jī)猜測略高的學(xué)習(xí)算法稱為弱學(xué)習(xí)算法；識別準(zhǔn)確率很高并能在多項式時間內(nèi)完成的學(xué)習(xí)算法稱為強(qiáng)學(xué)習(xí)算法。同時，Valiant和Kearns首次在參考文獻(xiàn)[12]Kearns M.，Valiant L.G.Learning Boolean Formulae or Factoring[T].Technical Report TR-1488，Cambridge，MAHavard University Aiken Computation Laboratory，1988中提出了PAC學(xué)習(xí)模型中弱學(xué)習(xí)算法和強(qiáng)學(xué)習(xí)算法的等價性問題，即任意給定僅比隨機(jī)猜測略好的弱學(xué)習(xí)算法，是否可以將其提升為強(qiáng)學(xué)習(xí)算法？如果二者等價，那么只需找到一個比隨機(jī)猜測略好的弱學(xué)習(xí)算法就可以將其提升為強(qiáng)學(xué)習(xí)算法，而不必尋找很難獲得的強(qiáng)學(xué)習(xí)算法。1990年，Schapire在參考文獻(xiàn)[13]Schapire R.E.TheStrength of Weak Learnability[A].Machine Learning[J]，1990，5(2)197-227中最先構(gòu)造出一種多項式級的算法，對該問題做了肯定的證明，這就是最初的Boosting算法。一年后，F(xiàn)reund在參考文獻(xiàn)[14]Freund Y.Boosting aWeak Learning Algorithm By majority[A].Information and Computation[J]，1995，121(2)256-285中提出了一種效率更高的Boosting算法。但是，這兩種算法存在共同的實踐上的缺陷，那就是都要求事先知道弱學(xué)習(xí)算法學(xué)習(xí)正確率的下限。1995年，F(xiàn)reund和Schapire改進(jìn)了Boosting算法，提出了AdaBoost(Adaptive Boosting)算法，詳見參考文獻(xiàn)[15]Freund Y.，Schapire R.E.A.A.，Decision-Theoretic Generalization ofline Learning and an Application toBoosting[A].Journal of Computer and System Sciences[J]，1997，55(1)119-139，該算法效率和Freund于1991年提出的Boosting算法幾乎相同，但不需要任何關(guān)于弱學(xué)習(xí)器的先驗知識，因而更容易應(yīng)用到實際問題當(dāng)中。之后，F(xiàn)reund和Schapire進(jìn)一步提出了改變Boosting投票權(quán)重的AdaBoost.M1，AdaBoost.M2等算法，在機(jī)器學(xué)習(xí)領(lǐng)域受到了極大的關(guān)注。


發(fā)明內(nèi)容
考慮到上述的原因，本發(fā)明將可見光和近紅外圖像的人臉識別在一定策略下進(jìn)行融合，以提高人臉識別的效果?，F(xiàn)今主要的融合策略有數(shù)據(jù)層融合、特征層融合和決策層融合等等，通過比較發(fā)現(xiàn)特征層的融合效果是最優(yōu)的。
本發(fā)明的目的是在室內(nèi)、用戶主動配合的應(yīng)用條件下，有效地融合可見光人臉圖像與近紅外人臉圖像的Gabor特征，提供一種計算復(fù)雜度較低，并且有較高識別正確率的人臉識別方法。
為實現(xiàn)上述目的，本發(fā)明提供了一種基于近紅外與可見光人臉圖像Gabor特征融合的人臉識別方法，該方法包括 步驟一采集可見光人臉圖像和近紅外人臉圖像； 搭建采集可見光圖像與近紅外圖像的軟件和硬件設(shè)備； 步驟二可見光人臉圖像和近紅外人臉圖像背景去除、歸一化； 對可見光人臉圖像和近紅外人臉圖像進(jìn)行背景去除和歸一化處理； 步驟三提取可見光人臉圖像和近紅外人臉圖像的Gabor特征； 構(gòu)建可見光與近紅外人臉圖像對(Image Couple)，并分別提取可見光人臉圖像和近紅外人臉圖像的Gabor特征； 步驟四可見光人臉Gabor特征與近紅外人臉Gabor特征在特征層進(jìn)行融合； 將可見光人臉圖像與近紅外人臉圖像的Gabor特征在特征層上進(jìn)行融合； 步驟五采用AdaBoost算法對融合后的Gabor特征進(jìn)行特征選擇； 使用AdaBoost算法對融合后的Gabor特征進(jìn)行特征選擇； 步驟六采用最近鄰分類器計算人臉相似度并進(jìn)行分類； 采用最近鄰方法進(jìn)行人臉相似度的計算以及分類。
上述技術(shù)方案中，要保證可見光和近紅外人臉圖像的同步采集，以便組建人臉圖像對。人臉圖像對作為人臉識別算法中的基本操作單元進(jìn)行人臉的表示，取代了傳統(tǒng)的以單一圖像表示人臉的方法。每個人臉圖像對由2張圖像組成，一張是可見光圖像，另一張是近紅外圖像，這兩張圖像是在BUAA-IRIP人臉圖像數(shù)據(jù)庫構(gòu)建過程中，在同一時間分別被彩色攝像機(jī)和近紅外攝像機(jī)采集的，所以這兩張圖像除了圖像的物理特性不同之外，在人臉的姿態(tài)，表情等方面并沒有明顯的差異。如果不仔細(xì)辨認(rèn)，有人很可能將近紅外圖像看成是可見光圖像進(jìn)行灰度處理后的結(jié)果。用這樣的人臉圖像對表示人臉，可以提供更為豐富，更為全面的信息。其中，BHU-IRIP人臉圖像數(shù)據(jù)庫是北京航空航天大學(xué)智能識別與圖像處理實驗室采集的人臉圖像數(shù)據(jù)庫。
上述技術(shù)方案中，Gabor特征的提取是采用5個尺度，8個方向的Gabor函數(shù)與圖像進(jìn)行卷積操作。
上述技術(shù)方案中，AdaBoost算法在特征選擇過程中，只選出前500個最有效的特征用于分類的過程。
本發(fā)明的優(yōu)點在于 (1)對人臉識別中光照產(chǎn)生的影響提供了很好的抑制作用； (2)具有非常高的識別率； (3)所用特征數(shù)較少，計算速度快。



圖1為本發(fā)明一種基于可見光與近紅外Gabor信息融合的人臉識別方法的流程圖； 圖2為采集到的可見光和近紅外人臉圖像組成圖像對的部分樣本； 圖3為圖像采集裝置的硬件示意圖； 圖4為圖像采集裝置和被采集人的空間位置示意圖； 圖5為Gabor函數(shù)的示意圖； 圖6為采用圖5所示函數(shù)提取的可見光人臉圖像的Gabor特征； 圖7為采用圖5所示函數(shù)提取的近紅外人臉圖像的Gabor特征。

具體實施例方式 下面結(jié)合附圖和具體實施方式
對本發(fā)明做進(jìn)一步詳細(xì)說明。
圖1示出了本發(fā)明一種基于可見光與近紅外Gabor信息融合的人臉識別方法的流程圖。如圖1所示 步驟一采集可見光人臉圖像和近紅外人臉圖像。
為了控制采集圖像過程中的光照情況，并且考慮到現(xiàn)在的人臉識別系統(tǒng)的應(yīng)用環(huán)境還是以室內(nèi)(Indoor)環(huán)境為主，而且需要人的主動配合(Cooperative)，為了得到質(zhì)量較高的近紅外人臉圖像，本發(fā)明采用了如下方法 首先，在近紅外攝像機(jī)上安置主動近紅外光源，目的是增強(qiáng)正面的近紅外強(qiáng)度，盡量屏蔽環(huán)境光照條件變化的影響； 然后，盡量減小環(huán)境光照條件的變化對主動近紅外光源的負(fù)面作用。此外，對于主動近紅外光源來說，要求其產(chǎn)生的紅外強(qiáng)度能被精確的控制，不但能夠支持近紅外攝像機(jī)拍攝質(zhì)量較好的正面人臉圖像，而且不能對人的眼睛產(chǎn)生干擾。
對于選擇主動近紅外光源，本發(fā)明選擇整個光譜中波長介于780nm和1100nm之間的近紅外光譜段作為主動近紅外光源。在工程應(yīng)用中，主動近紅外光源的照射強(qiáng)度與光源的功率有關(guān)——照射強(qiáng)度越大，所需的主動近紅外光源的功率也越大。所需的主動近紅外光源的照射強(qiáng)度和光源的功率成正比。試驗條件下，人臉距離攝像頭和光源在3米以內(nèi)，主動近紅外光源可由60～100個波長為850nm的發(fā)光二極管(Light Emitting Diode，簡稱為LED)組成，這種波長對于人眼幾乎是不可見的，但是大多數(shù)的電荷耦合器件(Charge Coupled Device，簡稱為CCD)或者互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal Oxide Semiconductor，簡稱為CMOS)傳感器在這個波長點上卻是十分敏感的，而且這些二極管產(chǎn)生的近紅外強(qiáng)度足以支持室內(nèi)的用途。
在組合主動近紅外光源和近紅外攝像機(jī)的時候，本發(fā)明近似保證發(fā)光二極管和近紅外攝像機(jī)是同軸的，這樣可以得到最為合適的正面直射光照。經(jīng)實驗證明，這種安置方式比其他任何一種安置方式都好。而且，當(dāng)發(fā)光二極管和攝像頭安置在一起后，借助于一個電路盒，可以很方便的對其進(jìn)行控制。之后經(jīng)過對發(fā)光二極管在近紅外攝像機(jī)平面內(nèi)擺放位置的精細(xì)的調(diào)整，使得光源作用于人臉時是十分均勻的，如圖3所示。
在實驗中發(fā)現(xiàn)近紅外攝像機(jī)和人臉的距離為500cm～800cm時，使用者是很方便的，本發(fā)明中此距離為750cm，如圖4所示，而主動近紅外光源的整體強(qiáng)度應(yīng)該能夠使得近紅外攝像機(jī)和人臉的距離在這一范圍內(nèi)變化時，產(chǎn)生的近紅外人臉圖像有一個很好的信噪比(S/N)。一條宗旨就是使近紅外的強(qiáng)度盡可能的強(qiáng)，至少應(yīng)該比預(yù)計的環(huán)境光照強(qiáng)度要強(qiáng)，并且不能夠使得傳感器飽和。另一被關(guān)注的要點即是這樣的紅外強(qiáng)度對于人的眼睛是否安全，一般來說，當(dāng)近紅外攝像機(jī)的傳感器工作在正常的非飽和模式下，人眼的安全是能夠被保證的。
對于近紅外人臉圖像的采集，本發(fā)明將一個光學(xué)濾波器安放在近紅外攝像機(jī)的鏡頭上，目的是允許近紅外光線的入射并且禁止可見光的入射。本發(fā)明采用的光學(xué)濾波器在波長點是720nm，800nm，850nm，880nm時的光線透射率分別為0％，50％，88％，99％。這樣，可以保證在允許絕大部分波長為850nm的近紅外光線入射的同時阻止了波長小于700nm的可見光線的入射。
對于可見光人臉圖像的采集，本發(fā)明使用一臺可見光攝像機(jī)對準(zhǔn)人臉部位進(jìn)行采集，并通過圖像采集軟件對連接在同一塊圖像采集卡上的一臺可見光攝像機(jī)和一臺近紅外攝像機(jī)進(jìn)行同步控制，以便于保證圖像采集的同時性，更好更方便地進(jìn)行特征融合和對照實驗。采集得到的樣本如圖2所示。
步驟二可見光人臉圖像和近紅外人臉圖像背景去除、歸一化。
背景去除主要采用人眼定位的方法，對瞳孔進(jìn)行定位，結(jié)合尺度歸一化、方向歸一化和光照歸一化等操作進(jìn)行背景去除。
步驟三提取可見光人臉圖像和近紅外人臉圖像的Gabor特征。
將人臉圖像對中的可見光和近紅外人臉圖像分別與Gabor函數(shù)進(jìn)行卷積操作，提取出相應(yīng)的Gabor特征。
Gabor變化由于具有良好的空間局部性和方向選擇性，能夠描述圖像局部區(qū)域內(nèi)多個方向的空間頻率和結(jié)構(gòu)特征，是一種良好的特征描述方法。
Gabor濾波器的定義如下 其中z＝(x，y)是空域變量，‖·‖表示取模操作，σ為方差，kμ，v是決定Gabor濾波器的尺度和方向的頻域變量，kμ，v定義如下 并且有kv＝kmax/fv，φμ＝πμ/8。kmax是最大頻率，f是頻域Gabor濾波器之間的因子系數(shù)。μ，v是Gabor濾波器的尺度和方向。
一幅圖像的Gabor圖像是該圖像與一系列不同尺度和方向的Gabor濾波器進(jìn)行卷積得到的。假設(shè)函數(shù)I＝(x，y)為一幅圖像的灰度分布，圖像I和Gabor濾波器ψμ，v進(jìn)行卷積的公式如下 Oμ，v(z)＝I(z)*ψμ，v(z) *是卷積運算符，oμ，v(z)是圖像I與相應(yīng)的Gabor濾波器ψμ，v在方向μ和尺度v上的卷積結(jié)果。
本文使用Gabor濾波器的5個尺度v∈(0，…，4)，8個方向μ∈(0，…，7)，其他參數(shù)σ＝2π，kmax＝π/2，圖5給出了在以上參數(shù)條件下40個Gabor函數(shù)的實部形式。
步驟四可見光人臉Gabor特征與近紅外人臉Gabor特征在特征層進(jìn)行融合。
將提取出的可見光和近紅外人臉圖像的Gabor特征在特征層進(jìn)行融合。圖6和圖7分別給出了一幅可見光圖像和一幅近紅外人臉圖像的Gabor濾波表示。
本發(fā)明選擇了將可見光圖像和近紅外圖像進(jìn)行特征層的融合。提出兩種在特征層的融合特征并且進(jìn)行了比較，其中涉及到的基于AdaBoost的特征選擇方法的說明詳見步驟五。
第一種是兩種圖像的Gabor特征，分別提取兩種圖像的Gabor特征向量χv和χn，并將其首尾相連成一個新的Gabor特征向量ρv&n表示對應(yīng)的人臉圖像對，即 χv＝(χv1，χv2…χvs)； χn＝(χn1，χn2…χnt)； χv&n＝(χv，χn)＝(χv1，χv2…χvs，χn1，χn2…χnt)； 之后采用AdaBoost算法對ρv&n進(jìn)行特征選擇，得到經(jīng)過選擇的特征向量ρ用于分類判別，這種方法被稱為AdaBoost選擇融合(AdaBoost Fusion，簡稱為AF)。
另一種是采用加法原則(Sum Rule)融合Gabor特征計算圖像相似度時所得到的歐式距離，歐氏距離的計算方法如下 向量ρ1＝(x1，x2...xn)和向量ρ2＝(y1，y2...yn)之間的歐氏距離為 與之前一種方法相似，首先獲得人臉圖像對中可見光與近紅外圖像的Gabor特征向量χv和χn，經(jīng)過特征選擇，得到兩種圖像用于分類的特征向量ρv和ρn，采用最大最小歸一化(Min-Max normalization)方法，將采用最近鄰法NN得到的匹配值按照如下公式， 將dv和dn轉(zhuǎn)化到
區(qū)間內(nèi)，其中N(d)表示對距離d最大最小歸一化后的值，dmax和dmin為計算得到的歐氏距離值集合中的最大值和最小值，并將得到的結(jié)果相加求和作為新的分類標(biāo)準(zhǔn)，這種方法被稱為加法規(guī)則融合(Sum Rule Fusion，簡稱為SR)。
步驟五采用AdaBoost算法對融合后的Gabor特征進(jìn)行特征選擇。
隨著在人臉檢測領(lǐng)域的廣泛并且成功應(yīng)用，Boosting算法已經(jīng)在解決兩分類問題上顯示出了其強(qiáng)大的能力。為了采用這種方法進(jìn)行特征選擇，我們必須將人臉識別這個多分類問題轉(zhuǎn)化成為一個兩分類問題。簡單地說，人臉識別問題是一個多類問題，但是通過統(tǒng)計的方法學(xué)習(xí)同一個體的不同樣本間的變化形成類內(nèi)空間(Intra-personal Space)，學(xué)習(xí)不同個體的不同樣本間的變化形成類間空間(Extra-personal Space)。因此，一個多分類問題也就被轉(zhuǎn)化成了一個兩分類問題。這種對于類內(nèi)和類間分布的估計必須基于一個假設(shè)類內(nèi)分布滿足高斯分布模型。
本發(fā)明中，類內(nèi)和類間是這樣定義的χi是一幅近紅外人臉圖像的Gabor特征向量，下標(biāo)i表示這幅圖像屬于編號為i的個體；χj是另外一幅近紅外人臉圖像的Gabor特征向量。D(χ)＝‖χi-χj‖表示兩個向量間的差別，即兩幅近紅外人臉圖像的Gabor特征向量間的差別。如果i＝j(luò)，D(χ)屬于類內(nèi)空間，并在訓(xùn)練過程中被作為正樣本；相反，如果i≠j，D(χ)屬于類間空間，在訓(xùn)練過程中被作為負(fù)樣本。
AdaBoost是Boosting算法的一個版本，并常被用于鑒別類內(nèi)空間與類間空間這樣的兩分類問題。AdaBoost算法的基本思想是將一組弱非類器進(jìn)行線形組合最終形成一個強(qiáng)分類器。
一個弱分類器可以是一個只由一個簡單特征fj(χ)組成的簡單閾值函數(shù)hj(χ) 其中λj是一個閾值(threshold)，pj是表示不等式方向的符號(parity)，閾值可以通過正樣本均值和負(fù)樣本均值確定 每一個弱分類器被訓(xùn)練用來選擇全部分類集合中的一個特征。當(dāng)這些弱分類器組合在一起形成一個強(qiáng)分類器時，這個分類器遠(yuǎn)遠(yuǎn)優(yōu)于一個單一的弱分類器。AdaBoost算法使那些困難的分類模式的表現(xiàn)力在后續(xù)的訓(xùn)練集中提升。
步驟六采用最近鄰分類器計算人臉相似度并進(jìn)行分類。
在基于Gabor濾波器的特征提取和基于AdaBoost算法的特征選擇兩個步驟之后，本發(fā)明得到了大量特征中的最有表現(xiàn)力的T個特征進(jìn)行分類操作。分類器選擇的是最近鄰算法(Nearest Neighbor，簡稱為NN)，而不是由若干個弱分類器構(gòu)成的AdaBoost最終強(qiáng)分類器。因為AdaBoost的弱分類器常被用于進(jìn)行人臉驗證等兩分類問題，而對于人臉識別這樣的多分類問題，最近鄰算法NN則顯得更加方便。最近鄰算法NN，對于測試集(Probe)中的某一人臉圖相對，用于分類的特征

分別計算

與注冊集(Gallery)中n個類別所有人臉圖像對特征

之間的歐氏距離，其中與

歐氏距離最小的注冊樣本

所屬類別即為

的所屬類別。
其中C(χ)表示向量χ的所屬類別。
為了證明本發(fā)明所述的基于融合可見光與近紅外人臉圖像Gabor的算法的有效性，本發(fā)明在BUAA-IRIP人臉圖像數(shù)據(jù)庫上進(jìn)行了試驗，其中可見光圖像的人臉識別和近紅外圖像的人臉識別作為對照實驗，突出融合兩種圖像的人臉識別的優(yōu)勢，而通過提取PCA，LBP等特征進(jìn)行比較，意在突出Gabor特征的穩(wěn)定性，同時，為了證明AdaBoost的特征選擇的作用，本發(fā)明同樣采用了均勻下采樣進(jìn)行特征向量的降維，這種方式被稱為直接融合(Direct Fusion，簡稱為DF)。
按照試驗的目的，對于實驗的BUAA-IRIP人臉圖像數(shù)據(jù)，本發(fā)明進(jìn)行了重組并分成了兩個部分第一部分(實驗I)包含135個個體，每個個體含有10個人臉圖像對，其中5對用于訓(xùn)練，另外5對用來測試，基于這一部分?jǐn)?shù)據(jù)的試驗主要目的是證明融合策略及Gabor特征的有效性；第二部分(實驗II)包含20個個體，每個個體含有5個人臉圖像對，這些圖像對都是在BUAA-IRIP人臉圖像數(shù)據(jù)庫構(gòu)建一個月后采集的，這一部分的所有圖像均用于測試，基于這一部分?jǐn)?shù)據(jù)的實驗主要目的是證明這種融合算法對于光照變化影響的魯棒性。
所有的圖像數(shù)據(jù)樣本都被歸一化到80×80的像素。每張圖像與40個Gabor濾波器卷積后得到的圖像均為64×64像素，因此每個人臉圖像對的Gabor特征向量包含2×64×64×5×8＝327680維特征，通過AdaBoost算法選擇出最優(yōu)代表性的500個特征，這些特征之占特征總數(shù)的0.2％；而在與之對照的試驗中，本發(fā)明所采用的均勻下采樣技術(shù)，將Gabor圖像由64×64降維到8×8，這樣每個人臉圖像對的Gabor特征向量就包含了2×8×8×5×8＝5120維特征。
表1
表1給出了實驗I中基于不同特征的融合算法的識別率。從表1中可以看出 (1)采用融合策略可以在很大程度上提高人臉識別的結(jié)果，遠(yuǎn)遠(yuǎn)優(yōu)于只采用單一種類圖像的人臉識別； (2)基于Gabor和LBP等局部特征的融合算法的表現(xiàn)好于基于全局特征(PCA特征)的融合算法； (3)基于Gabor特征的融合算法在選出500維的特征時就可以將識別率達(dá)到一個較高的水平，約為97％，而基于LBP特征的算法在選出500維特征時的識別率僅有76％，兩者相差甚遠(yuǎn)。
這說明融合策略能有效地將可見光圖像和近紅外圖像的優(yōu)點結(jié)合在一起，而且用Gabor濾波器提取的特征更穩(wěn)定，更適合于這種融合策略。
實驗II的結(jié)果在表2中給出，由于第二部分?jǐn)?shù)據(jù)是在不同時段進(jìn)行采集的，所以光照條件發(fā)生了明顯的變化。實驗中所采用的融合策略與實驗I相同，從表2可以看出，基于Gabor特征的融合算法對于光照的變化是不敏感的，遠(yuǎn)遠(yuǎn)優(yōu)于LBP和PCA特征。
表2

權(quán)利要求
1、一種基于可見光與近紅外Gabor信息融合的人臉識別方法，其特征在于，該方法包括以下步驟
步驟一采集可見光人臉圖像和近紅外人臉圖像；
近紅外人臉圖像采集方法如下
首先，在近紅外攝像機(jī)上安置主動近紅外光源；
其中，選擇整個光譜中波長介于780nm和1100nm之間的近紅外光譜段作為主動近紅外光源，主動近紅外光源由N個波長為850nm的發(fā)光二極管LED組成，其中N為自然數(shù)，N∈[60，100]；
在組合主動光源和近紅外攝像機(jī)時，將發(fā)光二極管LED和近紅外攝像機(jī)同軸安置；
精細(xì)調(diào)整發(fā)光二極管在近紅外攝像機(jī)平面內(nèi)的擺放位置，將光源均勻作用于人臉；
然后，將一個光學(xué)濾波器安放在上述近紅外攝像機(jī)的鏡頭上；
采用的光學(xué)濾波器在波長點是720nm，800nm，850nm，880nm時的光線透射率分別為0％，50％，88％，99％；
對于可見光人臉圖像的采集，本方法使用一臺可見光攝像機(jī)對準(zhǔn)人臉部位進(jìn)行采集，并通過圖像采集軟件對連接在同一塊圖像采集卡上的上述可見光攝像機(jī)和上述近紅外攝像機(jī)進(jìn)行同步控制，圖像采集具有同時性；
步驟二可見光人臉圖像和近紅外人臉圖像背景去除、歸一化；
背景去除主要采用人眼定位的方法，對瞳孔進(jìn)行定位，結(jié)合尺度歸一化、方向歸一化和光照歸一化等操作進(jìn)行背景去除；
步驟三提取可見光人臉圖像和近紅外人臉圖像的Gabor特征；
將人臉圖像對中的可見光和近紅外人臉圖像分別與Gabor函數(shù)進(jìn)行卷積操作，提取出相應(yīng)的Gabor特征；
步驟四可見光人臉Gabor特征與近紅外人臉Gabor特征在特征層進(jìn)行融合；
將提取出的可見光和近紅外人臉圖像的Gabor特征在特征層進(jìn)行融合；提出兩種在特征層的融合特征
第一種是兩種圖像的Gabor特征，
首先，分別提取兩種圖像的Gabor特征向量χv和χn，并將其首尾相連成一個新的Gabor特征向量ρv&n表示對應(yīng)的人臉圖像對，即
χv＝(χv1，χv2…χvs)；
χn＝(χn1，χn2…χnt)；
χv&n＝(χv，χn)＝(χv1，χv2…χvs，χn1，χn2…χnt)；
然后，采用AdaBoost算法對ρv&n進(jìn)行特征選擇，得到經(jīng)過選擇的特征向量ρ用于分類判別；
第二種是采用加法原則融合Gabor特征計算圖像相似度時所得到的歐式距離，歐氏距離的計算方法如下
向量ρ1＝(x1，x2...xn)和向量ρ2＝(y1，y2...yn)之間的歐氏距離為
與之前一種方法相似，
首先，獲得人臉圖像對中可見光與近紅外圖像的Gabor特征向量χv和χn，經(jīng)過特征選擇，得到兩種圖像用于分類的特征向量ρv和ρn；
然后，采用最大最小歸一化方法，將采用最近鄰法得到的匹配值按照公式將dv和dn轉(zhuǎn)化到
區(qū)間內(nèi)；
其中，N(d)表示對距離d最大最小歸一化后的值，dmax和dmin為計算得到的歐氏距離值集合中的最大值和最小值；
最后，將得到的結(jié)果相加求和作為新的分類標(biāo)準(zhǔn)；
步驟五采用AdaBoost算法對融合后的Gabor特征進(jìn)行特征選擇；
χi是一幅近紅外人臉圖像的Gabor特征向量，下標(biāo)i表示這幅圖像屬于編號為i的個體；χj是另外一幅近紅外人臉圖像的Gabor特征向量；
D(χ)＝||χi-χj||表示兩個向量間的差別，即兩幅近紅外人臉圖像的Gabor特征向量間的差別；
如果i＝j(luò)，D(χ)屬于類內(nèi)空間，并在訓(xùn)練過程中被作為正樣本；相反，如果i≠j，D(χ)屬于類間空間，在訓(xùn)練過程中被作為負(fù)樣本；
步驟六采用最近鄰分類器計算人臉相似度并進(jìn)行分類。
2、根據(jù)權(quán)利要求1所述的一種基于可見光與近紅外Gabor信息融合的人臉識別方法，其特征在于，步驟一所述的近紅外攝像機(jī)和人臉的距離為500cm～800cm。
3、根據(jù)權(quán)利要求1所述的一種基于可見光與近紅外Gabor信息融合的人臉識別方法，其特征在于，步驟一所述的主動近紅外光源的強(qiáng)度比預(yù)計的環(huán)境光照強(qiáng)度強(qiáng)。
4、根據(jù)權(quán)利要求1所述的一種基于可見光與近紅外Gabor信息融合的人臉識別方法，其特征在于，步驟一所述的近紅外攝像機(jī)的傳感器工作在正常的非飽和模式下。
全文摘要
本發(fā)明公開了一種基于可見光與近紅外Gabor信息融合的人臉識別方法，該方法包括分別采集可見光源下和近紅外光源下的人臉圖像，分別提取兩種圖像的Gabor特征在特征層進(jìn)行融合；采用AdaBoost算法對融合后的特征進(jìn)行特征選擇，并采用最近鄰分類對其進(jìn)行相似度的計算和分類。本發(fā)明具有非常高的正確率，對光照對人臉識別的影響具有很好的魯棒性，此外，相比與其他方法，本發(fā)明還具有所用特征數(shù)少，分類速度快等優(yōu)點。
文檔編號G06K9/62GK101404060SQ200810226409
公開日2009年4月8日 申請日期2008年11月10日 優(yōu)先權(quán)日2008年11月10日
發(fā)明者王蘊(yùn)紅, 迪 黃 申請人:北京航空航天大學(xué)