本發(fā)明涉及圖像處理及模式識(shí)別領(lǐng)域，尤其涉及一種基于近紅外成像與深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法

背景技術(shù)：

基于生物特征的身份識(shí)別對(duì)于安防領(lǐng)域及各種身份認(rèn)證系統(tǒng)具有重要作用。人臉識(shí)別由于其非接觸性和非強(qiáng)制性、準(zhǔn)確、方便、直觀的特點(diǎn)，具有良好的發(fā)展和應(yīng)用前景。早期的人臉識(shí)別技術(shù)都在可見光狀態(tài)下進(jìn)行，但在實(shí)際應(yīng)用中，環(huán)境光照通常更復(fù)雜，光照的強(qiáng)弱、方向與光源的數(shù)量等都會(huì)對(duì)可見光人臉識(shí)別產(chǎn)生影響。為了解決可見光各種因素對(duì)人臉識(shí)別的影響，人們提出了在紅外光照下進(jìn)行人臉識(shí)別的方法。Wilder等提出了利用熱紅外光照的人臉識(shí)別方法，該方法通過熱紅外攝像頭獲得人臉的熱輻射圖像，無(wú)論光照如何變化，人臉部的血液或溫度都以一定的方式展現(xiàn)，因此熱紅外人臉識(shí)別方法不會(huì)受環(huán)境光照變化的影響，且一些遮擋物可被熱紅外輕易地穿透(如口罩等)，所以熱紅外人臉識(shí)別算法引起了人們的廣泛關(guān)注。但熱紅外人臉識(shí)別方法也存在一些缺點(diǎn)，如很容易受環(huán)境溫度的影響，且熱紅外很難穿透玻璃材料，當(dāng)有玻璃材料作為遮擋物(如眼鏡等)時(shí)，無(wú)法獲得完整的熱紅外人臉圖像，甚至人的情緒與健康狀態(tài)也會(huì)對(duì)成像產(chǎn)生影響，因此無(wú)法獲得效果較好的識(shí)別效果，限制了其在人臉識(shí)別領(lǐng)域的發(fā)展。

傳統(tǒng)人臉識(shí)別算法如：表達(dá)圖像幾何特征的SIFT特征，表達(dá)圖像紋理特征的局部二元模式(Local Binary Pattern，以下簡(jiǎn)稱LBP)，表達(dá)人臉圖像統(tǒng)計(jì)特征的特征臉(Eigenface)等，都是基于人工定義的特征進(jìn)行分類，使用的模型通常只包含一個(gè)提取特征的隱含層，特征往往不足以刻畫和區(qū)分人臉，導(dǎo)致識(shí)別的準(zhǔn)確率較低。

因而能夠在環(huán)境光照更復(fù)雜情況下穩(wěn)定獲取并識(shí)別人臉已經(jīng)成為目前亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決上述問題，提供一種基于近紅外成像與深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法。該方法可以在環(huán)境光照不好甚至是黑暗環(huán)境下進(jìn)行人臉識(shí)別，對(duì)背景、姿態(tài)等變化具有較好的魯棒性，增加人臉識(shí)別的精確率。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

一種基于近紅外成像與深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法，其特征在于包括以下步驟：采集近紅外人臉圖像，然后對(duì)所采集的近紅外人臉圖像進(jìn)行預(yù)處理以及歸一化，得到大小和分辨率統(tǒng)一的近紅外人臉圖像；之后，利用LBP算子提取近紅外人臉圖像中的局部微結(jié)構(gòu)特征，將該局部微結(jié)構(gòu)特征作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入，通過逐層訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在最后一層形成分類面；最后，用訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉進(jìn)行識(shí)別。

上述技術(shù)方案中，用訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉進(jìn)行識(shí)別時(shí)，先采集用于測(cè)試識(shí)別的近紅外人臉圖像并進(jìn)行預(yù)處理，之后利用LBP算子提取近紅外人臉圖像中的局部微結(jié)構(gòu)特征，將近紅外人臉圖像的LBP特征圖放入已經(jīng)訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行識(shí)別，得出識(shí)別結(jié)果。

上述技術(shù)方案中，利用LBP算子提取近紅外人臉圖像中的局部微結(jié)構(gòu)特征時(shí)，通過多層卷積神經(jīng)網(wǎng)絡(luò)，由低層次向高層次的不斷進(jìn)行特征提取與抽象。

上述技術(shù)方案中，采集近紅外人臉圖像時(shí)，使用近紅外攝像頭采集人臉圖像，人臉保持與攝像頭50—100cm距離，被采集人臉的眼睛盯著屏幕的中央處，緩緩的前后左右移動(dòng)臉部，并保持表情自然。

本發(fā)明提出的基于近紅外成像和深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法，利用LBP算子提取到近紅外人臉圖像的局部微結(jié)構(gòu)特征，有助于深度網(wǎng)絡(luò)對(duì)圖像特征分布的理解，進(jìn)一步減少網(wǎng)絡(luò)學(xué)習(xí)到不利的特征描述，而且深度網(wǎng)絡(luò)具有一定平移、縮放和扭曲不變形，從而在整體上提高特征的可識(shí)別性，能夠很大程度上提升在光照條件不好的情況下人臉識(shí)別的準(zhǔn)確度和正確率。相對(duì)于現(xiàn)有技術(shù)，其有益效果體現(xiàn)在以下幾個(gè)方面：

1、本發(fā)明基于近紅外成像進(jìn)行人臉識(shí)別，近紅外人臉識(shí)別對(duì)于光照魯棒性好，不僅適用于白天，也適用于夜晚，甚至其他復(fù)雜光線條件，在無(wú)可見光照明和環(huán)境光照更復(fù)雜條件下的人臉識(shí)別率非常準(zhǔn)確。

2、本發(fā)明基于深度卷積神經(jīng)網(wǎng)絡(luò)，通過所構(gòu)建的多層卷積神經(jīng)網(wǎng)絡(luò)，由低層次向高層次的不斷進(jìn)行特征提取與抽象，使得通過卷積神經(jīng)網(wǎng)絡(luò)所提取的特征能更加準(zhǔn)確的描述人臉特征，因而其抗干擾能力和識(shí)別率與傳統(tǒng)分類算法相比，具有很大的提高。

附圖說(shuō)明

圖1為本發(fā)明基于近紅外成像與深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法的流程示意圖；

圖2為本發(fā)明基于近紅外成像與深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法采用的LBP編碼原理圖；

圖3為本發(fā)明深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

具體實(shí)施方式

本發(fā)明為基于近紅外成像與深度學(xué)習(xí)的黑暗環(huán)境人臉識(shí)別方法如圖1-3所示，分為人臉的訓(xùn)練過程和測(cè)試過程。

訓(xùn)練過程包括人臉信息采集、LBP特征的提取、深度網(wǎng)絡(luò)模型的構(gòu)建，測(cè)試過程包括人臉識(shí)別。其具體的實(shí)施方法如下所示：

訓(xùn)練過程：

S1：人臉信息采集

S11：使用近紅外攝像頭采集人臉圖像，人臉保持與攝像頭約50—100cm距離，眼睛盯著屏幕的中央處，緩緩的前后左右移動(dòng)臉部，并保持表情自然，取樣期間可以佩戴眼鏡、耳釘、留胡須等。

S12：對(duì)采集的圖像進(jìn)行尺度歸一化，得到大小和分辨率統(tǒng)一的近紅外人臉圖像，將圖片大小設(shè)置為224×224像素，并對(duì)圖像進(jìn)行直方圖均衡和高斯濾波預(yù)處理。

S2：LBP特征提取

S21：當(dāng)人與光源距離不變時(shí)，近紅外人臉圖像非常穩(wěn)定，但是圖像的整體亮度仍然會(huì)隨著距離的變化而單調(diào)變化，因此需要采用特定的特征提取方法來(lái)解決單調(diào)變化問題。局部二元模式(Local Binary Pattern，LBP)是一種較好的方案，LBP只關(guān)注像素間的大小關(guān)系，當(dāng)圖像整體發(fā)生單調(diào)變化時(shí)，像素間的大小關(guān)系是不變的。

S22：LBP算子LBP_P-R的具體計(jì)算公式為：

其中R表示圓形鄰域的半徑，P表示P鄰域，n_c為中心像素灰度值，n_i(i＝0,1,2,3,...,p-1)表示半徑為R的圓形鄰域上的像素灰度值。如圖2所示。

S3：深度網(wǎng)絡(luò)模型的構(gòu)建

近紅外圖像經(jīng)過LBP特征提取后，將LBP特征作為深度網(wǎng)絡(luò)的輸入，對(duì)預(yù)設(shè)深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到人臉的高層次特征表達(dá)，得到訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)人臉識(shí)別模型。本發(fā)明所用識(shí)別方法為深度卷積神經(jīng)網(wǎng)絡(luò)(VGG)，該神經(jīng)網(wǎng)絡(luò)的具體參數(shù)設(shè)置為：

S31：深度卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建，圖3為深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖，整個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)分為8層，對(duì)應(yīng)于224×224圖像窗口按行展開的各個(gè)像素。其余各層參數(shù)設(shè)置為：

S311：第1、2層分別包含了兩個(gè)卷積層，卷積核是卷積神經(jīng)網(wǎng)絡(luò)模型中最具有特性的部分。第1個(gè)大卷積層有64個(gè)大小為3×3的卷積核，步長(zhǎng)為1。第2個(gè)大卷積層有128個(gè)大小為3×3的卷積核，步長(zhǎng)為1。通過卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低噪音，卷積核的大小決定了感受野的范圍，感受野過大，則提取的特征超出卷積核的表達(dá)范圍；如果感受野過小，則無(wú)法提取有效的局部特征。

S312：在卷積層中，上一層的特征maps被不同的卷積核進(jìn)行濾波，加上一個(gè)偏置量basis，最后通過一個(gè)激活函數(shù)，就可以得到輸出特征圖，激活函數(shù)如下：

上式中：M_j表示選擇的輸入maps的集合；l代表層數(shù)；b是一個(gè)偏置量；K代表卷積核

S313：第3、4、5層分別包含了三個(gè)卷積層，第3個(gè)大卷積層有256個(gè)大小為3×3的卷積核，步長(zhǎng)為1。第4個(gè)大卷積層有512個(gè)大小為3×3的卷積核，步長(zhǎng)為1。第5個(gè)大卷積層有512個(gè)大小為3×3的卷積核，步長(zhǎng)為1。

S314：每個(gè)大卷積層后面都有一個(gè)下采樣層，為最大下采樣，步長(zhǎng)為2。

S315：在子采樣中，每鄰域四個(gè)像素求和為一個(gè)像素，通過標(biāo)量加權(quán)，再增加偏置最后通過一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)縮小四倍的特征映射圖下采樣的表達(dá)式為：

上式中，down(.)表示一個(gè)下采樣函數(shù)。這里是對(duì)輸入圖像的不同2×2的塊的所有像素進(jìn)行求和，輸出圖像在兩個(gè)維度上都縮小了2倍。

S316：經(jīng)過前五層濾波后的特征大小分別為112×112、56×56、28×28、14×14、7×7。

S317：最后三層為三個(gè)全連接層。對(duì)數(shù)據(jù)分別進(jìn)行dropout處理，dropout的作用就是在訓(xùn)練過程中隨機(jī)扔掉某些節(jié)點(diǎn)，使得網(wǎng)絡(luò)可以自行引入稀疏性，并防止過擬合現(xiàn)象發(fā)生。dropout其實(shí)是一個(gè)一一映射，y＝dropout(x)。令y＝α*x，其中α只能取1或0，這樣y要么等于x，要么等于0。只要一個(gè)節(jié)點(diǎn)的輸出被dropout變?yōu)?，這個(gè)輸出無(wú)論走到之后的哪一層，都起不了任何作用，相當(dāng)于被扔掉。為了滿足隨機(jī)性，我們給定被扔掉的概率為p，使得α服從參數(shù)為1-p的伯努利分布，假設(shè)α＝0的概率p，α＝1的概率1-p，這樣就構(gòu)建了一個(gè)dropout了，經(jīng)過dropout處理，增強(qiáng)了本網(wǎng)絡(luò)的泛化能力。

S32：深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法，其具體的訓(xùn)練方法主要包含以下兩個(gè)階段：

第1階段：前向傳播。將采集的人臉圖片與相關(guān)聯(lián)的ID號(hào)輸入到已經(jīng)設(shè)置好VGG網(wǎng)絡(luò)里面，通過逐級(jí)向前傳播得到輸出O_p。

O_p＝f_n(...(f₂(f₁(X_pW⁽¹⁾)W⁽²⁾)...)Wⁿ)

第2階段：反向傳播。計(jì)算輸出的O_p與相應(yīng)的理想輸出Y_P的差，按極小化誤差的方法調(diào)整權(quán)值矩陣。N個(gè)樣本、C個(gè)類的的誤差值為：

表示第n個(gè)樣本對(duì)應(yīng)的標(biāo)簽的第p維，表示第n個(gè)樣本對(duì)應(yīng)的網(wǎng)絡(luò)輸出的第K個(gè)輸出。

S33：深度學(xué)習(xí)訓(xùn)練的本質(zhì)是一種輸入到輸出的映射，無(wú)需任何輸入與輸出之間的精確的數(shù)學(xué)表達(dá)式，只要通過已知人臉特征和標(biāo)簽對(duì)深度卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具備有輸入與輸出之間的映射能力。

測(cè)試過程

S4：人臉識(shí)別

S41：近紅外攝像頭采集等待識(shí)別用戶的人臉信息然后對(duì)所采集的紅外人臉圖像進(jìn)行預(yù)處理及歸一化，得到大小和分辨率統(tǒng)一的近紅外人臉圖像。

S42：利用LBP算子提取近紅外人臉圖像中的局部微結(jié)構(gòu)特征。

S43：將近紅外人臉圖像的LBP特征圖放入已經(jīng)訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行識(shí)別，得出識(shí)別結(jié)果。