本發(fā)明涉及的是模式識(shí)別中的生物特征識(shí)別領(lǐng)域，尤其涉及的是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別方法及系統(tǒng)。

背景技術(shù)：

人臉識(shí)別主要用于身份識(shí)別，特別是近年來(lái)隨著計(jì)算機(jī)技術(shù)、圖像處理技術(shù)、模式識(shí)別技術(shù)等快速進(jìn)步，而出現(xiàn)的一種嶄新的生物特征識(shí)別技術(shù)。由于可廣泛應(yīng)用于安全驗(yàn)證、視頻監(jiān)控、出入口控制等諸多領(lǐng)域，識(shí)別速度快、識(shí)別率高，因此已經(jīng)成為身份識(shí)別技術(shù)研究領(lǐng)域主要的發(fā)展方向

如今二代身份證件中內(nèi)置了非接觸式IC智能芯片，其中存儲(chǔ)了持有人的人臉圖像信息，以及身份信息；人證合一系統(tǒng)，是利用身份證件芯片內(nèi)存儲(chǔ)的人臉圖像與證件持有人現(xiàn)場(chǎng)采集的人臉圖像比對(duì)來(lái)進(jìn)行身份驗(yàn)證；

目前主流的人臉識(shí)別在需要配合的基礎(chǔ)上獲取人臉圖像，應(yīng)用分類算法進(jìn)行人臉識(shí)別。主要有以下幾類方法：(1)基于幾何特征的方法：檢測(cè)臉部器官如眼睛、眉毛、鼻子、嘴巴和下巴等，利用各個(gè)器官的位置、大小及相互之間的空間分布關(guān)系來(lái)識(shí)別人臉；(2)基于子空間的方法：將人臉圖像經(jīng)過投影變換投射至子空間中，由于投影變換具有非正交、非線性的特性，因此子空間中的人臉表示更具分辨力；(3)、基于局部特征的方法：利用各類局部算子計(jì)算出相應(yīng)的人臉圖像，通過統(tǒng)計(jì)其直方圖，利用直方圖信息進(jìn)行識(shí)別。

這些方式在實(shí)際監(jiān)控時(shí)，容易受到光線變化、背景、姿態(tài)等諸多因素的干擾，使得提取的特征在以上外界因素發(fā)生變化時(shí)，導(dǎo)致原始圖像出現(xiàn)結(jié)構(gòu)丟失、特征描述不全面和不確定等問題，這些缺陷導(dǎo)致人臉識(shí)別率低，可靠性差，無(wú)法進(jìn)行大面積推廣等。因此在實(shí)際監(jiān)控惡劣的環(huán)境下實(shí)現(xiàn)準(zhǔn)確快速的人臉識(shí)別技術(shù)成為當(dāng)前具有挑戰(zhàn)性的問題。

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)是深度學(xué)習(xí)的另一分支，具有層級(jí)化的結(jié)構(gòu)，在各種環(huán)境下的人臉識(shí)別都獲得了優(yōu)異的性能。加之GPU等硬件的大幅加速，使得大規(guī)模的圖像處理變得簡(jiǎn)單可行，獲取的模型也更好，基于此模型而設(shè)計(jì)的人證合一系統(tǒng)提高了身份驗(yàn)證的準(zhǔn)確度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別方法及系統(tǒng)，以解決在光線、背景、姿態(tài)等諸多因素的干擾下，人證合一的識(shí)別率低、可靠性差等技術(shù)問題。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別方法，包括以下步驟：

步驟S1：利用人臉圖像采集模塊采集人臉樣本圖像，或者直接使用標(biāo)準(zhǔn)人臉圖像數(shù)據(jù)庫(kù)中的圖像作為人臉樣本圖像，將樣本圖像隨機(jī)劃分預(yù)測(cè)集和訓(xùn)練集；將樣本圖像輸入圖像預(yù)處理模塊，采用基于Haar特征的Adaboost算法得到樣本圖像中的人臉區(qū)域，將樣本圖像中的人臉區(qū)域進(jìn)行定比例擴(kuò)展，然后截取部分人臉區(qū)域的圖像進(jìn)行縮放后，再通過灰度處理，獲得預(yù)測(cè)集和訓(xùn)練集樣本的灰度圖像；

步驟S2：利用模型訓(xùn)練模塊構(gòu)建初步的人臉卷積神經(jīng)網(wǎng)絡(luò)模型，將預(yù)測(cè)集樣本的灰度圖像輸入人臉卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到全連接層的人臉高層次特征值，根據(jù)該特征值與其理想值的差距，調(diào)整模型的權(quán)值矩陣，獲得訓(xùn)練后的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟S3：對(duì)特征值進(jìn)行L2范數(shù)歸一化，獲得人臉圖像的特征表示；

步驟S4：從預(yù)測(cè)集樣本中隨機(jī)選擇某個(gè)人的灰度圖像作為錨點(diǎn)，選擇該人其它圖像生成的特征值與錨點(diǎn)之間的距離最大的一張灰度圖像作為正樣本，選擇其他人圖像生成的特征值與錨點(diǎn)之間的距離最小的一張灰度圖像作為負(fù)樣本，構(gòu)建獲得由錨點(diǎn)、正樣本和負(fù)樣本組成的三元組；利用目標(biāo)函數(shù)進(jìn)行篩選，選擇不滿足目標(biāo)函數(shù)的三元組為最難區(qū)分三元組；

步驟S5：精調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型：將選取的最難區(qū)分三元組輸入人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練、精調(diào)，再次獲得相應(yīng)的特征值，重復(fù)步驟S3-S4，利用上一輪訓(xùn)練好的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行下一輪最難三元組選擇和訓(xùn)練，通過最后生成的特征值，利用圖像對(duì)比模塊計(jì)算與校正集樣本之間的歐式距離，將歐式距離與設(shè)定閾值比較，判斷是否為同一人，從而獲取人臉識(shí)別的正確率和誤識(shí)率，所述判斷的標(biāo)準(zhǔn)為，若歐式距離小于設(shè)定值，則為同一人；

步驟S6：多次迭代優(yōu)化直到人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型收斂，直至迭代收斂，即人臉識(shí)別的正確率的評(píng)價(jià)標(biāo)準(zhǔn)達(dá)到最高值，獲得最終用于識(shí)別的人臉識(shí)別深度卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練結(jié)束；

步驟S7：利用證件圖像采集模塊采集證件圖像，利用人臉圖像采集模塊采集待識(shí)別人臉圖像，利用圖像預(yù)處理模塊，采用基于Haar特征的Adaboost算法得到證件圖像和人臉圖像中的人臉區(qū)域，然后截取部分人臉區(qū)域的圖像，縮放后通過灰度處理獲得證件圖像和人臉圖像的灰度圖像；將證件圖像和人臉圖像的灰度圖像輸入步驟S6的深度卷積神經(jīng)網(wǎng)絡(luò)模型中，利用圖像對(duì)比模塊計(jì)算證件圖像和人臉圖像的全連接層的人臉高層次特征值；利用特征值計(jì)算證件圖像與人臉圖像之間的歐式距離，若歐式距離小于識(shí)別閾值，則人證統(tǒng)一，反之，則人證不統(tǒng)一。

進(jìn)一步地，所述步驟S2的步驟包括：

步驟S201：構(gòu)建共有22層的深度卷積神經(jīng)網(wǎng)絡(luò)，每層的各個(gè)神經(jīng)元的初始權(quán)值、參數(shù)全部通過隨機(jī)函數(shù)生成，大小為正負(fù)1之間，每層采用的卷積核分別為1、3、5，卷積步長(zhǎng)為1，卷積間隔為0、1、2，同時(shí)網(wǎng)絡(luò)中每層數(shù)據(jù)使用3×3的矩陣池化，完成初步構(gòu)建；

步驟S202：前向傳播：將預(yù)測(cè)集樣本的灰度圖像輸入到深度卷積神經(jīng)網(wǎng)絡(luò)里面，通過整個(gè)網(wǎng)絡(luò)一步步收斂，使維度一層層降低，最后輸出128維的人臉高層次特征值O_p；

步驟S203：反向傳播：計(jì)算O_p與相應(yīng)的理想輸出值Yp的差，按極小化誤差的方法調(diào)整權(quán)值矩陣，獲得訓(xùn)練后的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型。

進(jìn)一步地，所述步驟S4中，目標(biāo)函數(shù)的公式為：

式中，表示錨點(diǎn)的特征表示，表示正樣本的特征表示，表示負(fù)樣本的特征表示，α代表兩者距離之間的最小間隔，L代表三元組損失，三元組選擇即選擇損失大于零的情況。

本發(fā)明還提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別系統(tǒng)，包括：

人臉圖像采集模塊：用于采集人臉圖像；

證件圖像采集模塊：用于采集證件圖像；

圖像預(yù)處理模塊：用于獲得圖像的人臉區(qū)域，并將人臉區(qū)域進(jìn)行定比例擴(kuò)展，然后截取部分人臉區(qū)域的圖像進(jìn)行縮放后，再通過灰度處理，獲得灰度圖像；

模型訓(xùn)練模塊：用于構(gòu)建人臉卷積神經(jīng)網(wǎng)絡(luò)模型，并對(duì)模型進(jìn)行訓(xùn)練，獲得圖像特征值；

圖像對(duì)比模塊：用于計(jì)算人臉圖像之間的歐式距離，并與設(shè)定閾值進(jìn)行比較，輸出結(jié)果；

用戶登錄模塊：用于輸入登錄名和密碼，并啟動(dòng)識(shí)別系統(tǒng)。

本發(fā)明相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)：本發(fā)明提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別方法及系統(tǒng)，該方法對(duì)背景、光照以及姿態(tài)等變化具有較好的魯棒性，其可利用深度學(xué)習(xí)不斷迭代訓(xùn)練，提升人臉識(shí)別的性能與及提取特征的準(zhǔn)確度，有效地增強(qiáng)系統(tǒng)的性能。

附圖說(shuō)明

圖1為基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別方法的步驟流程圖；

圖2為深度卷積神經(jīng)網(wǎng)絡(luò)的基本框架圖。

具體實(shí)施方式

下面對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。

實(shí)施例1

本實(shí)施例提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的二維人臉識(shí)別模型的訓(xùn)練方法，如圖1所示，包括以下步驟：

步驟S1：利用人臉圖像采集模塊采集人臉樣本圖像：在采集人臉樣本時(shí)，人臉和攝像頭的距離為30-60厘米，目光直視攝像頭，保持表情自然，并慢慢的前后左右移動(dòng)，過程中可以流露出多種表情，姿態(tài)。每隔2秒獲取一張人臉圖像，每人截取10張。所述樣本圖像也可直接用標(biāo)準(zhǔn)人臉圖像數(shù)據(jù)庫(kù)中的圖像代替。

將樣本圖像輸入圖像預(yù)處理模塊，應(yīng)用人臉檢測(cè)算法Haar特征與Adaboost對(duì)圖像進(jìn)行檢測(cè)，檢測(cè)結(jié)果顯示包含人臉圖像的作為可用樣本。將樣本圖像中的人臉區(qū)域進(jìn)行定比例擴(kuò)展，然后截取部分人臉區(qū)域的圖像，再通過縮放將截取部分的圖像變換到224×224像素大小，最后通過灰度處理，獲得預(yù)測(cè)集和訓(xùn)練集樣本的灰度圖像。

步驟S2：利用模型訓(xùn)練模塊構(gòu)建初步的人臉卷積神經(jīng)網(wǎng)絡(luò)模型，將預(yù)測(cè)集樣本的灰度圖像輸入人臉卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到全連接層的人臉高層次特征值，根據(jù)該特征值與其理想值的差距，調(diào)整模型的權(quán)值矩陣，獲得訓(xùn)練后的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，具體為：

步驟S201：構(gòu)建共有22層的深度卷積神經(jīng)網(wǎng)絡(luò)，每層的各個(gè)神經(jīng)元的初始權(quán)值、參數(shù)全部通過隨機(jī)函數(shù)生成，大小為正負(fù)1之間，每層采用的卷積核分別為1、3、5，卷積步長(zhǎng)為1，卷積間隔為0、1、2，同時(shí)網(wǎng)絡(luò)中每層數(shù)據(jù)使用3×3的矩陣池化，完成初步構(gòu)建，本實(shí)施例中使用的網(wǎng)絡(luò)的最基本框架如圖2所示；采用不同大小的卷積核是為了最后拼接時(shí)不同尺度特征的融合，之所以卷積核大小采用1、3和5，主要是為了方便對(duì)齊。設(shè)定卷積步長(zhǎng)為1之后，只要分別設(shè)定間隔為0、1、2，那么卷積之后便可以得到相同維度的特征，然后這些特征就可以直接拼接在一起了；同時(shí)結(jié)構(gòu)里面也嵌入了最大池，可以將計(jì)算并行化，加快訓(xùn)練速度。

步驟S202：前向傳播：將灰度圖像輸入到深度卷積神經(jīng)網(wǎng)絡(luò)里面，通過整個(gè)網(wǎng)絡(luò)一步步收斂，使維度一層層降低，最后輸出128維的人臉高層次特征值O_p，具體步驟包括：

a)由采集到的人臉樣本，根據(jù)不同的表情、姿態(tài)將樣本共分為6類訓(xùn)練樣本，從各類樣本集中取一個(gè)樣本X，將X輸入網(wǎng)絡(luò)；

b)輸入的樣本經(jīng)過逐級(jí)的變換，傳送到輸出層，在此過程中，通過如下方式計(jì)算出實(shí)際輸出Op：即每一層的卷積核覆蓋在輸入樣本X上，對(duì)應(yīng)位置求卷積再求和，得到一個(gè)值并賦值給輸出對(duì)應(yīng)的位置，每次卷積核在X上移動(dòng)一個(gè)位置，從上到下、從左到右交疊覆蓋一遍后得到輸出矩陣，此輸出矩陣進(jìn)行降采樣操作，然后將結(jié)果再作為下一層的輸入，通過這種逐級(jí)變換，最終求得實(shí)際輸出。

步驟S203：反向傳播：計(jì)算O_p與相應(yīng)的理想輸出值Yp的差，按極小化誤差的方法調(diào)整權(quán)值矩陣，獲得訓(xùn)練后的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，具體步驟包括：

I)通過公式E＝1/2∑_k(o_k-t_k)²，計(jì)算訓(xùn)練樣本X在輸出層的誤差，k表示該層第k個(gè)神經(jīng)元。

Ⅱ)根據(jù)I)中列舉的公式，計(jì)算E關(guān)于n、n+1層第i個(gè)神經(jīng)元的偏導(dǎo)數(shù)。

Ⅲ)計(jì)算誤差E關(guān)于n+1層第i個(gè)神經(jīng)元的增益系數(shù)的偏導(dǎo)數(shù)、偏置的偏導(dǎo)數(shù)，并根據(jù)計(jì)算結(jié)果，調(diào)整增益系數(shù)與偏置。

Ⅳ)計(jì)算誤差E關(guān)于卷積核權(quán)值的偏導(dǎo)數(shù)和偏置的偏導(dǎo)數(shù)，并根據(jù)結(jié)果調(diào)整模型的權(quán)值和偏置，獲得訓(xùn)練后模型。

步驟S3：對(duì)這些特征值進(jìn)行L2歸一化，這樣，所有預(yù)測(cè)集樣本圖像的特征都會(huì)被映射到一個(gè)超球面上，要使特征值歸一化到單位L²范數(shù)，即建立一個(gè)從x到x’的映射，使得x’的L²范數(shù)為1，滿足公式所以x’＝xf(i)。

步驟S4：從預(yù)測(cè)集樣本中隨機(jī)選擇某個(gè)人的灰度圖像作為錨點(diǎn)，選擇該人其它圖像生成的特征值與錨點(diǎn)之間的距離最大的一張灰度圖像作為正樣本，選擇其他人圖像生成的特征值與錨點(diǎn)之間的距離最小的一張灰度圖像作為負(fù)樣本，構(gòu)建獲得由錨點(diǎn)、正樣本和負(fù)樣本組成的三元組；利用目標(biāo)函數(shù)進(jìn)行篩選，選擇不滿足目標(biāo)函數(shù)的三元組為最難區(qū)分三元組，所述目標(biāo)函數(shù)為；

式中，表示錨點(diǎn)的特征表示，表示正樣本的特征表示，表示負(fù)樣本的特征表示，α代表兩者距離之間的最小間隔，L代表三元組損失，三元組選擇即選擇損失大于零的情況。

步驟S5：精調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型：將選取的最難區(qū)分三元組輸入人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練、精調(diào)，再次獲得相應(yīng)的特征值，重復(fù)步驟S3-S4，利用上一輪訓(xùn)練好的人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行下一輪最難三元組選擇和訓(xùn)練，利用圖像對(duì)比模塊計(jì)算與校正集樣本之間的歐式距離，將歐式距離與設(shè)定閾值比較，判斷是否為同一人，從而獲取人臉識(shí)別的正確率和誤識(shí)率，本實(shí)施例中，設(shè)定閾值為1。

步驟S6：多次迭代優(yōu)化直到人臉識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型收斂，直至迭代收斂，即人臉識(shí)別的正確率的評(píng)價(jià)標(biāo)準(zhǔn)達(dá)到最高值，獲得最終用于識(shí)別的人臉識(shí)別深度卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練結(jié)束。

步驟S7：用戶在系統(tǒng)登錄界面輸入用戶名與密碼進(jìn)行登錄，登陸后識(shí)別系統(tǒng)自動(dòng)開啟。

登陸后，用戶首先利用證件圖像采集模塊刷一下身份證，系統(tǒng)獲取身份證的圖像，然后，用戶面對(duì)人臉圖像采集模塊的攝像頭進(jìn)行人臉圖像采集，采集時(shí)應(yīng)盡量保持表情姿態(tài)與身份證表面的圖像一致，聽到系統(tǒng)提示完畢后，則表示已經(jīng)采集完成圖像。

系統(tǒng)采集到的圖像有16張，包括身份證的一張證件圖像和15張人臉圖像，利用圖像預(yù)處理模塊，采用基于Haar特征的Adaboost算法得到證件圖像和人臉圖像中的人臉區(qū)域，然后截取部分人臉區(qū)域的圖像，縮放后通過灰度處理獲得證件圖像和人臉圖像的灰度圖像。

將這些灰度圖像輸入到步驟S6的深度卷積神經(jīng)網(wǎng)絡(luò)模型中，利用圖像對(duì)比模塊計(jì)算證件圖像和人臉圖像的全連接層的人臉高層次特征值，計(jì)算結(jié)果同步驟S2；利用特征值計(jì)算證件圖像與人臉圖像之間的歐式距離，若歐式距離小于步驟S5的設(shè)定閾值，則人證統(tǒng)一，反之，則人證不統(tǒng)一。

本實(shí)施例還提供了上述基于深度卷積神經(jīng)網(wǎng)絡(luò)的人證合一識(shí)別方法的系統(tǒng)，包括：

人臉圖像采集模塊：用于采集人臉圖像；

證件圖像采集模塊：用于采集證件圖像；

圖像預(yù)處理模塊：用于獲得圖像的人臉區(qū)域，并將人臉區(qū)域進(jìn)行定比例擴(kuò)展，然后截取部分人臉區(qū)域的圖像進(jìn)行縮放后，再通過灰度處理，獲得灰度圖像；

模型訓(xùn)練模塊：用于構(gòu)建人臉卷積神經(jīng)網(wǎng)絡(luò)模型，并對(duì)模型進(jìn)行訓(xùn)練，獲得圖像特征值；

圖像對(duì)比模塊：用于計(jì)算人臉圖像之間的歐式距離，并與設(shè)定閾值進(jìn)行比較，輸出結(jié)果；

用戶登錄模塊：用于輸入登錄名和密碼，并啟動(dòng)識(shí)別系統(tǒng)。

以上為本發(fā)明一種詳細(xì)的實(shí)施方式和具體的操作過程，是以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，但本發(fā)明的保護(hù)范圍不限于上述的實(shí)施例。