本發(fā)明涉及計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)
技術(shù)領(lǐng)域：
：，具體地，涉及雙目視覺深度特征與表觀特征相結(jié)合的人臉活體檢測(cè)方法。
背景技術(shù)：
：：人臉識(shí)別在近十年取得了重要進(jìn)展，作為有效的基于生物特征的身份認(rèn)證方案，其應(yīng)用范圍逐漸擴(kuò)大，已應(yīng)用到各行各業(yè)中。與此同時(shí)，對(duì)人臉識(shí)別系統(tǒng)的攻擊也不斷出現(xiàn)，花樣翻新的攻擊手段使人臉識(shí)別系統(tǒng)的安全遭遇了較大挑戰(zhàn)，處理不好，將造成巨大損失。這些攻擊手段中，利用照片或視頻進(jìn)行欺騙最常見，入侵者可能將人臉圖片在圖像采集設(shè)備前旋轉(zhuǎn)、翻轉(zhuǎn)、彎曲、搖擺等方法造成一種類似于合法用戶的真人效果去欺騙認(rèn)證系統(tǒng)。為防守此類攻擊，驗(yàn)證人像是現(xiàn)實(shí)活體人臉還是進(jìn)行欺騙的照片或其它假冒人臉是必不可少的一個(gè)環(huán)節(jié)。因此，人臉活體識(shí)別技術(shù)應(yīng)運(yùn)而生。目前人臉活體識(shí)別工作集中在基于單張照片的光線反射分量分析、多張照片序列統(tǒng)計(jì)分析，以及結(jié)合生理活動(dòng)、聯(lián)合語(yǔ)音識(shí)別的多膜生物特征融合等。浙江大學(xué)計(jì)算機(jī)科學(xué)學(xué)院孫霖和潘綱所在的團(tuán)隊(duì)發(fā)明了另一種預(yù)防視頻回放攻擊的方法，分別用Gabor、SIFT和LBP等特征描述算子對(duì)人臉圖像和背景圖像進(jìn)行特征點(diǎn)的定位和特征值提取，然后用歐氏距離度量?jī)蓚€(gè)特征點(diǎn)的相似度。李江偉等人提出通過2D傅里葉頻譜變換來(lái)抵抗照片欺騙，照片中人臉的表情和姿勢(shì)是不變的，那么序列中頻率分量的標(biāo)準(zhǔn)差必然非常小，這些差異都可以通過分析2D傅里葉頻譜來(lái)體現(xiàn)。潘綱等人還提出一種基于Adaboost算法的眼睛開合度計(jì)算方法，并將其嵌入到條件隨機(jī)場(chǎng)人眼模型當(dāng)中，通過檢測(cè)眨眼識(shí)別活體。K.Kollreider等人發(fā)表的將人臉檢測(cè)和光流估計(jì)結(jié)合到一起來(lái)進(jìn)行活體檢測(cè)，基本思想是人臉的中間區(qū)域(如鼻子)產(chǎn)生的二維運(yùn)動(dòng)比外圍區(qū)域(如耳朵)要明顯，將光流模板匹配和基于Gabor模型的特征分類結(jié)合到一起，給出了一個(gè)包含人臉中心位置的標(biāo)準(zhǔn)光流模板；中科院模式識(shí)別實(shí)驗(yàn)室所在團(tuán)隊(duì)提出用多種人臉線索來(lái)檢測(cè)人臉用低秩稀疏矩陣來(lái)描述人臉的非剛性，以此來(lái)判斷是否活體。上述方案的局限性是均沒有利用到人臉的三維結(jié)構(gòu)特征，僅利用二維特征，很難達(dá)到滿意的活體識(shí)別效果，此外，目前大部分活體技術(shù)需要用戶的配合，制約了在實(shí)際場(chǎng)景中的應(yīng)用。技術(shù)實(shí)現(xiàn)要素：針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種雙目視覺深度特征與表觀特征相結(jié)合的人臉活體檢測(cè)方法。根據(jù)本發(fā)明提供的雙目視覺深度特征與表觀特征相結(jié)合的人臉活體檢測(cè)方法，包括如下步驟：步驟1：建立雙目視覺系統(tǒng)，所述雙目視覺系統(tǒng)包括：雙目立體攝像機(jī)，分別記為左攝像機(jī)和右攝像機(jī)；將左攝像機(jī)拍攝的圖像簡(jiǎn)稱為左圖像，右攝像機(jī)拍攝的圖像簡(jiǎn)稱為右圖像；步驟2：通過雙目視覺系統(tǒng)對(duì)人臉進(jìn)行檢測(cè)，得到多個(gè)關(guān)鍵點(diǎn)，分別記錄多個(gè)關(guān)鍵點(diǎn)在左圖像、右圖像中的坐標(biāo)，并進(jìn)行基于關(guān)鍵點(diǎn)的畸變校正；步驟3：采用非平行無(wú)校正的雙目深度算法對(duì)每一個(gè)關(guān)鍵點(diǎn)進(jìn)行初始深度的計(jì)算，將所有關(guān)鍵點(diǎn)轉(zhuǎn)換為抽象三維關(guān)鍵點(diǎn)，采用人臉結(jié)構(gòu)配準(zhǔn)以及配準(zhǔn)優(yōu)化迭代算法，對(duì)所有抽象三維關(guān)鍵點(diǎn)進(jìn)行模板臉結(jié)構(gòu)配準(zhǔn)，得到配準(zhǔn)后的深度向量，作為活體檢測(cè)特征之一，即雙目深度特征；并通過已訓(xùn)練好的雙目深度特征分類器進(jìn)行分類，獲得雙目深度特征對(duì)應(yīng)的分類得分；步驟4：根據(jù)所有三維關(guān)鍵點(diǎn)的坐標(biāo)結(jié)合級(jí)聯(lián)檢測(cè)模型，從左圖像中截取完整人臉區(qū)域，歸一化至固定尺寸；并對(duì)人臉圖像提取局部二值模式特征LBP作為底層表觀特征描述子；步驟5：用K-means均值聚類算法得到LBP特征碼書，對(duì)LBP特征臉中每一個(gè)像素對(duì)應(yīng)的LBP特征向量進(jìn)行視覺詞袋BOF編碼，得到圖像中層特征描述，即BOF碼字特征臉；采用空間金字塔模型進(jìn)一步編碼，得到活體檢測(cè)的另一個(gè)高層特征描述子，也即微紋理特征；經(jīng)已訓(xùn)練好的微紋理特征分類器，獲得微紋理特征對(duì)應(yīng)的人臉活體檢測(cè)得分；步驟6：將步驟3中得到的雙目深度特征對(duì)應(yīng)的分類得分，以及步驟5中得到的微紋理特征對(duì)應(yīng)的分類得分，進(jìn)行決策層的融合，得到最終的活體檢測(cè)置信度分值，并與測(cè)試集中最大檢測(cè)精度對(duì)應(yīng)的檢測(cè)閾值比較，最終完成待檢圖像是否為活體的判斷。優(yōu)選地，所述步驟3中采用非平行無(wú)校正雙目深度算法是指：計(jì)算每個(gè)關(guān)鍵點(diǎn)的初始深度，根據(jù)雙目攝像機(jī)的內(nèi)參數(shù)矩陣，旋轉(zhuǎn)矩陣及平移矩陣，結(jié)合人臉關(guān)鍵點(diǎn)在左、右圖像中對(duì)應(yīng)的像素齊次坐標(biāo)，根據(jù)投影法求解得到右相機(jī)坐標(biāo)系下人臉關(guān)鍵點(diǎn)的Z坐標(biāo)值，所述Z坐標(biāo)值即為關(guān)鍵點(diǎn)的深度。優(yōu)選地，所述步驟3中采用人臉結(jié)構(gòu)配準(zhǔn)及配準(zhǔn)優(yōu)化迭代算法是指：對(duì)所有關(guān)鍵點(diǎn)進(jìn)行模板臉配準(zhǔn)的模板臉是在訓(xùn)練過程中確定，其中結(jié)構(gòu)配準(zhǔn)算法的思想是經(jīng)過若干次配準(zhǔn)變換后，使得待檢人臉中每個(gè)三維抽象關(guān)鍵點(diǎn)與模板臉中對(duì)應(yīng)點(diǎn)的誤差和最??；具體地，使用基于單位四元組的定向點(diǎn)集配準(zhǔn)算法求使得配準(zhǔn)誤差和最小的平移向量、旋轉(zhuǎn)矩陣及尺度因子，得到待檢人臉的配準(zhǔn)變換參數(shù)后，對(duì)待檢人臉的每個(gè)抽象三維關(guān)鍵點(diǎn)進(jìn)行第一次配準(zhǔn)變換；最終得到結(jié)構(gòu)配準(zhǔn)后的歸一化深度特征向量，送入雙目深度特征分類器進(jìn)行分類，得到分類得分，記為scoredepth。優(yōu)選地，所述步驟3包括：步驟3.1：訓(xùn)練過程中選取20對(duì)正對(duì)攝像頭拍攝的真人臉圖像；在配準(zhǔn)前，每個(gè)關(guān)鍵點(diǎn)的深度值需歸一化，此時(shí)，將每個(gè)關(guān)鍵點(diǎn)擴(kuò)展為抽象三維關(guān)鍵點(diǎn)，前兩維是關(guān)鍵點(diǎn)在左圖像中的空間坐標(biāo)，第三維是該關(guān)鍵點(diǎn)的歸一化深度：p:[xl,yl,d]T，p為添加深度維度后的三維抽象關(guān)鍵點(diǎn)，d為關(guān)鍵點(diǎn)歸一化深度值，xl表示三維抽象關(guān)鍵點(diǎn)在左圖像中x方向的像素坐標(biāo)，yl表示三維抽象關(guān)鍵點(diǎn)在左圖像中y方向的像素坐標(biāo)；每個(gè)待檢人臉均為68個(gè)深度歸一化后的三維抽象關(guān)鍵點(diǎn)的集合，模板臉同樣是68個(gè)三維抽象關(guān)鍵點(diǎn)的集合，其中模板臉中每一個(gè)抽象三維關(guān)鍵點(diǎn)的x、y坐標(biāo)是20個(gè)對(duì)應(yīng)抽象三維關(guān)鍵點(diǎn)的x、y坐標(biāo)的平均值，深度坐標(biāo)是20個(gè)對(duì)應(yīng)抽象三維關(guān)鍵點(diǎn)的歸一化深度值的平均值；步驟3.2：將每個(gè)待檢人臉均與模板臉結(jié)構(gòu)配準(zhǔn)后再進(jìn)行分類器的分類。優(yōu)選地，所述步驟4包括：步驟4.1：在任意半徑的圓形鄰域中應(yīng)用多種LBP算子，計(jì)算中心像素點(diǎn)對(duì)應(yīng)的多個(gè)LBP特征值；遍歷人臉區(qū)域的每一個(gè)像素，得到LBP特征向量；得到未進(jìn)行等價(jià)模式轉(zhuǎn)化的特征臉，該特征臉的尺寸和歸一化后的人臉區(qū)域的尺寸相同，但類型為三通道，即該特征臉的每一個(gè)像素處的值都是對(duì)應(yīng)人臉區(qū)域位置的未進(jìn)行等價(jià)模式轉(zhuǎn)化的LBP特征向量；步驟4.2：對(duì)所述LBP特征向量進(jìn)行等價(jià)模式轉(zhuǎn)換，等價(jià)模式轉(zhuǎn)化后的LBP特征臉，同時(shí)保留了空間位置信息以及紋理特征信息，作為底層特征描述子。優(yōu)選地，所述步驟5包括：步驟5.1：使用K均值聚類算法得到長(zhǎng)度為256的特征碼書，BOF編碼模型將LBP特征臉中每一個(gè)像素對(duì)應(yīng)的LBP特征向量進(jìn)行編碼，得到尺寸相同的BOF碼字特征臉；具體地，使用K-means聚類算法，訓(xùn)練得到容量為256的特征碼書，BOF編碼模型將MSLBP特征臉中每一個(gè)像素對(duì)應(yīng)的MSLBP特征向量進(jìn)行標(biāo)量編碼，即MSLBP特征向量的歸類，得到BOF碼字特征臉；步驟5.2：采用空間金字塔模型進(jìn)行尺度劃分，進(jìn)一步編碼得到最終的高層特征描述子：微紋理特征；將圖像空間化為不同的尺度，在每個(gè)尺度下的每個(gè)子區(qū)間內(nèi)，統(tǒng)計(jì)各自歸一化BOF碼字直方圖，乘以不同尺度所對(duì)應(yīng)的不同的特征權(quán)重，最后將所有子區(qū)間的特征直方圖進(jìn)行拼接，得到微紋理特征向量；將微紋理特征向量送入微紋理特征分類器進(jìn)行分類，獲得微紋理特征對(duì)應(yīng)的分類得分，記為scoretexture。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：本發(fā)明提供的雙目視覺深度特征與表觀特征相結(jié)合的人臉活體檢測(cè)方法是一種結(jié)合人臉三維深度信息和人臉圖像表觀紋理信息的快速人臉活體檢測(cè)方法，該方法能在不同的光照、位置、形變情況及不同的欺騙手段下準(zhǔn)確地對(duì)包含真人臉或假人臉的圖像進(jìn)行雙目深度及微紋理特征分析，從而判斷是否為活體人臉。附圖說明通過閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：圖1為本發(fā)明中方法的流程示意圖；圖2為提取雙目深度特征流程圖圖3(a)、圖3(b)分別為提取“MSLBP特征臉”及“BOF”碼字特征臉結(jié)果示意圖。具體實(shí)施方式下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變化和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。根據(jù)本發(fā)明提供的雙目視覺深度特征與表觀特征相結(jié)合的人臉活體檢測(cè)方法，首先根據(jù)檢測(cè)到的68個(gè)稀疏人臉關(guān)鍵點(diǎn)在左、右圖像中的對(duì)應(yīng)圖像坐標(biāo)，采用非平行無(wú)校正的算法，計(jì)算每個(gè)關(guān)鍵點(diǎn)的深度，將所有關(guān)鍵點(diǎn)轉(zhuǎn)換為抽象三維關(guān)鍵點(diǎn)，采用“人臉結(jié)構(gòu)配準(zhǔn)”以及“配準(zhǔn)優(yōu)化迭代”算法，對(duì)所有抽象三維關(guān)鍵點(diǎn)進(jìn)行“模板臉”結(jié)構(gòu)配準(zhǔn)，得到68維的雙目深度特征，得到雙目深度特征對(duì)應(yīng)的分類得分；之后裁剪并歸一化完整的人臉區(qū)域，逐像素應(yīng)用LBP特征算子，并經(jīng)LBP等價(jià)模式轉(zhuǎn)化，得到底層特征描述子“LBP特征臉”，利用經(jīng)K-means方法訓(xùn)練得到的特征碼書，采用BOF編碼模型，對(duì)“LBP特征臉”進(jìn)行逐像素的矢量量化及BOF編碼，得到中層特征描述子“BOF碼字特征臉”，采用SPM空間金字塔模型進(jìn)行圖像空間的尺度劃分，并加權(quán)拼接所有子區(qū)域的BOF特征碼字直方圖，得到最終的高層特征描述子——5376維的微紋理特征向量，得到微紋理特征對(duì)應(yīng)的分類得分；最后在決策層采用線性融合模型，融合兩個(gè)特征對(duì)應(yīng)的分類得分，得出最終活體檢測(cè)的檢測(cè)置信度，完成待檢人臉圖像是否為活體人臉的判斷。具體地，本發(fā)明提供的雙目視覺深度特征與表觀特征相結(jié)合的人臉活體檢測(cè)方法包括如下步驟：步驟1：建立雙目視覺系統(tǒng)，所述雙目視覺系統(tǒng)包括：雙目立體攝像機(jī)，分別記為左攝像機(jī)和右攝像機(jī)；將左攝像機(jī)拍攝的圖像簡(jiǎn)稱為左圖像，右攝像機(jī)拍攝的圖像簡(jiǎn)稱為右圖像；步驟2：通過雙目視覺系統(tǒng)對(duì)人臉進(jìn)行檢測(cè)，得到多個(gè)關(guān)鍵點(diǎn)(本發(fā)明中檢測(cè)得到68個(gè)關(guān)鍵點(diǎn))，分別記錄多個(gè)關(guān)鍵點(diǎn)在左圖像、右圖像中的坐標(biāo)，并進(jìn)行基于關(guān)鍵點(diǎn)的畸變校正；步驟3：采用“非平行無(wú)校正”的雙目深度算法，對(duì)每一個(gè)關(guān)鍵點(diǎn)進(jìn)行初始深度的計(jì)算，將所有關(guān)鍵點(diǎn)轉(zhuǎn)換為抽象三維關(guān)鍵點(diǎn)，采用“人臉結(jié)構(gòu)配準(zhǔn)”以及“配準(zhǔn)優(yōu)化迭代”算法，對(duì)所有抽象三維關(guān)鍵點(diǎn)進(jìn)行“模板臉”結(jié)構(gòu)配準(zhǔn)，得到配準(zhǔn)后的深度向量，作為活體檢測(cè)特征之一，即雙目深度特征；并通過已訓(xùn)練好的雙目深度特征分類器進(jìn)行分類，獲得雙目深度特征對(duì)應(yīng)的分類得分；步驟4：根據(jù)所有三維關(guān)鍵點(diǎn)的坐標(biāo)結(jié)合級(jí)聯(lián)檢測(cè)模型，從左圖像中截取完整人臉區(qū)域，歸一化至固定尺寸；并對(duì)人臉圖像提取局部二值模式特征(LocalBinaryPattern,LBP)作為底層表觀特征描述子；具體地對(duì)人臉圖像應(yīng)用MSLBP特征算子，并進(jìn)行LBP等價(jià)模式轉(zhuǎn)化，得到“MSLBP特征臉”，作為底層特征描述子；步驟5：用K-means均值聚類算法得到LBP特征碼書，對(duì)LBP特征臉中每一個(gè)像素對(duì)應(yīng)的LBP特征向量進(jìn)行視覺詞袋(BagofFeatures,BOF)編碼，得到圖像中層特征描述：BOF碼字特征臉；采用空間金字塔模型進(jìn)一步編碼，得到活體檢測(cè)的另一個(gè)高層特征描述子：微紋理特征；經(jīng)已訓(xùn)練好的微紋理特征分類器，獲得微紋理特征對(duì)應(yīng)的人臉活體檢測(cè)得分；具體地，采用空間金字塔尺度模型進(jìn)行進(jìn)一步編碼：確定圖像空間金字塔的劃分尺度數(shù)，在每一個(gè)尺度下將圖像空間劃分為相應(yīng)數(shù)量的子區(qū)域，在每一個(gè)子區(qū)域中統(tǒng)計(jì)歸一化BOF碼字特征直方圖，將所有子區(qū)域的BOF直方圖向量進(jìn)行加權(quán)拼接，得到活體檢測(cè)的另一個(gè)高層特征描述子：微紋理特征；經(jīng)已訓(xùn)練好的微紋理特征分類器，獲得微紋理特征對(duì)應(yīng)的分類得分。步驟6：將步驟3中得到的雙目深度特征對(duì)應(yīng)的分類得分，以及步驟5中得到的微紋理特征對(duì)應(yīng)的分類得分，進(jìn)行決策層的融合，得到最終的活體檢測(cè)置信度分值，并與測(cè)試集中最大檢測(cè)精度對(duì)應(yīng)的檢測(cè)閾值比較，最終完成待檢圖像是否為活體的判斷。所述步驟3中采用“非平行無(wú)校正”雙目深度算法是指：計(jì)算每個(gè)關(guān)鍵點(diǎn)的初始深度，根據(jù)雙目攝像機(jī)的內(nèi)參數(shù)矩陣，旋轉(zhuǎn)矩陣及平移矩陣，結(jié)合人臉關(guān)鍵點(diǎn)在左、右圖像中對(duì)應(yīng)的像素齊次坐標(biāo)，根據(jù)投影法求解得到右相機(jī)坐標(biāo)系下人臉關(guān)鍵點(diǎn)的Z坐標(biāo)值，作為關(guān)鍵點(diǎn)的深度。所述步驟3中采用“人臉結(jié)構(gòu)配準(zhǔn)”及“配準(zhǔn)優(yōu)化迭代”算法，對(duì)所有關(guān)鍵點(diǎn)進(jìn)行“模板臉”配準(zhǔn)的“模板臉”在訓(xùn)練過程中確定，其中結(jié)構(gòu)配準(zhǔn)算法的思想是經(jīng)過若干次配準(zhǔn)變換后，待檢人臉中每個(gè)三維抽象關(guān)鍵點(diǎn)與“模板臉”中對(duì)應(yīng)點(diǎn)的誤差和最??；具體地，使用基于單位四元組的“定向點(diǎn)集配準(zhǔn)算法”，求使得配準(zhǔn)誤差和最小的平移向量，旋轉(zhuǎn)矩陣及尺度因子，得到待檢人臉的配準(zhǔn)變換參數(shù)后，對(duì)待檢人臉的每個(gè)抽象三維關(guān)鍵點(diǎn)進(jìn)行第一次配準(zhǔn)變換。最終得到結(jié)構(gòu)配準(zhǔn)后的歸一化深度特征向量，送入雙目深度特征分類器進(jìn)行分類，得到分類得分scoredepth。使用“配準(zhǔn)優(yōu)化迭代”算法進(jìn)行對(duì)變換結(jié)果進(jìn)行優(yōu)化：首先在上一次配準(zhǔn)變換后的關(guān)鍵點(diǎn)集中獲取和相應(yīng)的“模板臉”關(guān)鍵點(diǎn)配準(zhǔn)誤差最小的20個(gè)點(diǎn)對(duì)；隨后使用這20個(gè)點(diǎn)對(duì)求新一輪的配準(zhǔn)變換參數(shù)，對(duì)所有抽象點(diǎn)進(jìn)行新一輪的配準(zhǔn)變換，迭代20次后終止配準(zhǔn)變換，此時(shí)得到人臉結(jié)構(gòu)配準(zhǔn)后的待檢人臉，提取所有抽象點(diǎn)結(jié)構(gòu)配準(zhǔn)后的歸一化深度值，形成雙目深度向量。具體地，包括如下步驟：步驟3.1：訓(xùn)練過程中選取20對(duì)正對(duì)攝像頭拍攝的真人臉圖像(一對(duì)圖像同時(shí)包含左圖像及右圖像，由不同真人在不同的深度位置拍攝得到，但要求每張圖像必須正對(duì)攝像頭拍攝)；在配準(zhǔn)前，每個(gè)關(guān)鍵點(diǎn)的深度值需歸一化，此時(shí)，將每個(gè)關(guān)鍵點(diǎn)擴(kuò)展為抽象三維關(guān)鍵點(diǎn)，前兩維是關(guān)鍵點(diǎn)在左圖像中的空間坐標(biāo)，第三維是該關(guān)鍵點(diǎn)的歸一化深度：p:[xl,yl,d]T，p為添加深度維度后的三維抽象關(guān)鍵點(diǎn)，d為關(guān)鍵點(diǎn)歸一化深度值；每個(gè)待檢人臉Pi均為68個(gè)深度歸一化后的三維抽象關(guān)鍵點(diǎn)的集合，模板臉T同樣是68個(gè)三維抽象關(guān)鍵點(diǎn)Tj的集合，其中模板臉中每一個(gè)抽象三維關(guān)鍵點(diǎn)的x、y坐標(biāo)是20個(gè)對(duì)應(yīng)抽象三維關(guān)鍵點(diǎn)(對(duì)應(yīng)選取的20對(duì)正對(duì)攝像頭拍攝的真人臉圖像)的x、y坐標(biāo)的平均值，深度坐標(biāo)是20個(gè)對(duì)應(yīng)抽象三維關(guān)鍵點(diǎn)(對(duì)應(yīng)選取的20對(duì)正對(duì)攝像頭拍攝的真人臉圖像)的歸一化深度值的平均值。步驟3.2：每個(gè)待檢人臉都需要與“模板臉”結(jié)構(gòu)配準(zhǔn)后再進(jìn)行分類器的分類。所述步驟4包括：步驟4.1：在任意半徑的圓形鄰域中應(yīng)用多種LBP算子，計(jì)算中心像素點(diǎn)對(duì)應(yīng)的多個(gè)LBP特征值；遍歷人臉區(qū)域的每一個(gè)像素，得到LBP特征向量；此時(shí)可得到未進(jìn)行等價(jià)模式轉(zhuǎn)化的“特征臉”，該“特征臉”的尺寸和歸一化后的人臉區(qū)域的尺寸相同，但類型為三通道，即該“特征臉”的每一個(gè)像素處的值都是對(duì)應(yīng)人臉區(qū)域位置的未進(jìn)行等價(jià)模式轉(zhuǎn)化的LBP特征向量；具體地，從左圖像中截取完整的人臉區(qū)域，并歸一化至固定的尺寸(56×64)。對(duì)人臉圖像應(yīng)用MSLBP特征算子，并進(jìn)行LBP等價(jià)模式轉(zhuǎn)化，得到“MSLBP特征臉”，作為底層特征描述子。包含以下子步驟：步驟4.1.1：MSLBP特征算子在任意半徑的圓形鄰域中應(yīng)用多種LBP算子，計(jì)算；鄰域中心像素的多個(gè)LBP特征值。本方法的MSLBP特征算子包含三種LBP算子：為保證邊緣紋理信息不丟失，首先對(duì)人臉區(qū)域進(jìn)行“對(duì)稱式”填充，上下左右各擴(kuò)充兩像素，對(duì)人臉區(qū)域的每一個(gè)像素，應(yīng)用MSLBP特征算子計(jì)算得到一個(gè)長(zhǎng)度為3的未經(jīng)等價(jià)模式轉(zhuǎn)化的MSLBP特征向量。此時(shí)可得到未進(jìn)行等價(jià)模式轉(zhuǎn)化的“特征臉”，該特征臉的尺寸和歸一化后的人臉區(qū)域的尺寸相同，但類型是三通道矩陣，即“特征臉”的每一個(gè)像素處的值都是對(duì)應(yīng)人臉區(qū)域位置的未經(jīng)等價(jià)模式轉(zhuǎn)化的MSLBP特征向量。步驟4.1.2：采用“等價(jià)模式”來(lái)對(duì)LBP模式種類進(jìn)行降維，若某個(gè)LBP模式最多有兩次從1到0或從0到1的跳變時(shí)，該模式對(duì)應(yīng)的二進(jìn)制數(shù)稱為一個(gè)等價(jià)模式類。LBP模式數(shù)量減少到P×(P-1)+2種。因此，本方法中采用LBP等價(jià)模式對(duì)未經(jīng)等價(jià)模式轉(zhuǎn)化的MSLBP特征向量進(jìn)行轉(zhuǎn)化，得到實(shí)用的MSLBP特征向量，首先建立兩個(gè)等價(jià)模式轉(zhuǎn)化表：table8及table16。table8長(zhǎng)度為256，對(duì)應(yīng)及特征算子，table16長(zhǎng)度為65536，對(duì)應(yīng)特征算子。所有非等價(jià)模式被歸為一類，經(jīng)等價(jià)模式轉(zhuǎn)化后的非等價(jià)LBP紋理特征值轉(zhuǎn)化為59或243。對(duì)子步驟一中得到的未進(jìn)行等價(jià)模式轉(zhuǎn)化的“MSLBP特征臉”逐像素逐通道進(jìn)行等價(jià)模式轉(zhuǎn)化，得到的“MSLBP特征臉”同時(shí)保留了空間位置信息以及紋理特征信息，作為底層特征描述子。步驟4.2：對(duì)所述LBP特征向量進(jìn)行等價(jià)模式轉(zhuǎn)換，等價(jià)模式轉(zhuǎn)化后的“LBP特征臉”，同時(shí)保留了空間位置信息以及紋理特征信息，作為底層特征描述子。所述步驟5包括：步驟5.1：使用K均值聚類算法得到長(zhǎng)度為256的特征碼書，BOF編碼模型將“LBP特征臉”中每一個(gè)像素對(duì)應(yīng)的LBP特征向量進(jìn)行編碼，得到尺寸相同的“BOF碼字特征臉”；具體地，使用K-means聚類算法，訓(xùn)練得到容量為256的特征碼書，BOF編碼模型將“MSLBP特征臉”中每一個(gè)像素對(duì)應(yīng)的MSLBP特征向量進(jìn)行標(biāo)量編碼，即MSLBP特征向量的歸類，得到“BOF碼字特征臉”。步驟5.2：采用空間金字塔模型進(jìn)行尺度劃分，進(jìn)一步編碼得到最終的高層特征描述子：微紋理特征；將圖像空間化為不同的尺度，在每個(gè)尺度下的每個(gè)子區(qū)間內(nèi)，統(tǒng)計(jì)各自歸一化BOF碼字直方圖，乘以不同尺度所對(duì)應(yīng)的不同的特征權(quán)重，最后將所有子區(qū)間的特征直方圖進(jìn)行拼接，得到微紋理特征向量。將微紋理特征向量送入微紋理特征分類器進(jìn)行分類，獲得微紋理特征對(duì)應(yīng)的分類得分scoretexture。具體地，采用SPM空間金字塔模型進(jìn)行尺度劃分及進(jìn)一步編碼得到最終的高層特征描述子：微紋理特征。如果僅用BOF碼字特征值統(tǒng)計(jì)特征直方圖，將完全喪失特征點(diǎn)的位置信息。將圖像空間化為不同的尺度0,1,2,...,L，二維的圖像空間可以劃分出22l＝4l個(gè)子區(qū)間，在每個(gè)尺度下的每個(gè)子區(qū)間內(nèi)，都各自統(tǒng)計(jì)歸一化BOF碼字直方圖，，乘以不同尺度所對(duì)應(yīng)的不同的特征權(quán)重系數(shù)，最后將所有子區(qū)間的特征直方圖進(jìn)行拼接，得到微紋理特征向量。劃分尺度越大粒度越細(xì)，越小的子區(qū)間的特征匹配準(zhǔn)確度對(duì)分類結(jié)果的貢獻(xiàn)越大，因此越大的劃分尺度所對(duì)應(yīng)的特征權(quán)重越大，考慮到運(yùn)行效率及數(shù)據(jù)存儲(chǔ)能力，本方法中空間金字塔的最大劃分尺度L＝2，即共有l(wèi)＝0,1,2三種尺度劃分。將微紋理特征向量送入已訓(xùn)練好的微紋理特征分類器進(jìn)行分類，獲得微紋理特征對(duì)應(yīng)的分類得分scoretexture。所述步驟6包括：將步驟3中得到的雙目深度特征對(duì)應(yīng)的分類得分scoredepth，以及步驟5中得到的微紋理特征對(duì)應(yīng)的分類得分scoretexture，進(jìn)行決策層的融合，得到最終的活體檢測(cè)置信度分值，并與測(cè)試集中最大檢測(cè)精度對(duì)應(yīng)的檢測(cè)閾值比較，最終完成待檢圖像是否為活體的判斷。試驗(yàn)證明采用線性融合模型效果最佳。下面結(jié)合具體實(shí)施例對(duì)本發(fā)明中的技術(shù)方案作更加詳細(xì)的說明。在本發(fā)明的一個(gè)實(shí)施例中，所述方法的流程如圖1所示，本實(shí)施例具體實(shí)施步驟如下(優(yōu)選地使用C++語(yǔ)言編程)：步驟S1：采用非平行無(wú)校正的雙目深度算法，對(duì)每一個(gè)關(guān)鍵點(diǎn)進(jìn)行深度的計(jì)算，如圖2，包含如下子步驟：步驟S1.1：根據(jù)投影法求解，得到右相機(jī)坐標(biāo)系下人臉關(guān)鍵點(diǎn)的Z坐標(biāo)值，作為關(guān)鍵點(diǎn)深度。R表示兩個(gè)攝像機(jī)坐標(biāo)系間的旋轉(zhuǎn)矩陣，T表示兩個(gè)攝像機(jī)坐標(biāo)系間的平移矩陣，Mr表示右攝像機(jī)的內(nèi)參數(shù)矩陣，Ml表示左攝像機(jī)的內(nèi)參數(shù)矩陣，pl為人臉關(guān)鍵點(diǎn)在左圖像中的像素齊次坐標(biāo)，pr為人臉關(guān)鍵點(diǎn)在右圖像中的像素齊次坐標(biāo)，Prc為人臉關(guān)鍵點(diǎn)在右攝像機(jī)坐標(biāo)系下的三維坐標(biāo)：pl＝[ul,vl,1]T,pr＝[ur,vr,1]T,Prc＝[Xrc,Yrc,Zrc,1]T解得：其中：B11＝m11-m31ul,B12＝m12-m32ul,B13＝m13-m33ulB21＝m21-m31vl,B22＝m22-m32vl,B23＝m23-m33vlb1＝m34ul-m14,b2＝m34vl-m24式中：ul表示關(guān)鍵點(diǎn)在左圖像中x方向的像素坐標(biāo)，vl表示關(guān)鍵點(diǎn)在左圖像中y方向的像素坐標(biāo)，Xrc表示關(guān)鍵點(diǎn)在右攝像機(jī)坐標(biāo)系中x坐標(biāo)值，Yrc表示關(guān)鍵點(diǎn)在右攝像機(jī)坐標(biāo)系中y坐標(biāo)值，Zrc表示關(guān)鍵點(diǎn)在右攝像機(jī)坐標(biāo)系中z坐標(biāo)值，fxr表示右攝像機(jī)x方向的物理焦距長(zhǎng)度與成像儀每個(gè)單元x方向的尺寸的乘積，fyr表示右攝像機(jī)y方向的物理焦距長(zhǎng)度與成像儀每個(gè)單元y方向的尺寸的乘積，cxr表示右攝像機(jī)成像儀中心與圖像平面主點(diǎn)在x方向的像素偏移量，cyr表示右攝像機(jī)成像儀中心與圖像平面主點(diǎn)在y方向的像素偏移量，M為中間變量，mij表示矩陣M第i行第j列的值，其中i＝1,2,3；j＝1,2,3,4；ur表示關(guān)鍵點(diǎn)在右圖像中x方向的像素坐標(biāo)，vr表示關(guān)鍵點(diǎn)在右圖像中y方向的像素坐標(biāo)，B11、B12、B13、B21、B22、B23、b1、b2分別表示中間變量；步驟S1.2：采用人臉結(jié)構(gòu)配準(zhǔn)算法，對(duì)所有三維抽象關(guān)鍵點(diǎn)進(jìn)行“模板臉”配準(zhǔn)。第i個(gè)待檢人臉Pi均為68個(gè)深度歸一化后的三維抽象關(guān)鍵點(diǎn)的集合，記作：其中為歸一化后的關(guān)鍵點(diǎn)深度：式中：表示第i個(gè)待檢人臉的第j個(gè)關(guān)鍵點(diǎn)的初始深度值；模板臉T同樣是68個(gè)三維抽象關(guān)鍵點(diǎn)Tj的集合，其中：式中：Tj表示模板臉的第j個(gè)三維抽象關(guān)鍵點(diǎn)；分別是第j個(gè)三維抽象關(guān)鍵點(diǎn)的空間x坐標(biāo)，空間y坐標(biāo)以及歸一化深度值：待檢人臉和“模板臉”分別記作pi、Ti：{pi|pi＝[xi,yi,di]T,i＝1,2,...,68}使用基于單位四元組的“定向點(diǎn)集配準(zhǔn)算法”，求使得單次配準(zhǔn)誤差最小的t向量，解得：式中：表示模板臉中所有三維抽象坐標(biāo)點(diǎn)的平均，s表示最優(yōu)的變換尺度因子，表示矩陣R左乘Ti表示模板臉中第i個(gè)三維抽象關(guān)鍵點(diǎn)，表示待檢人臉中所有三維抽象坐標(biāo)點(diǎn)的平均，求使得單次配準(zhǔn)誤差最小的s值，解得：式中：Ti'表示模板臉中第i個(gè)三維抽象關(guān)鍵點(diǎn)減去模板臉中所有三維抽象坐標(biāo)點(diǎn)的平均，R(p′i)表示矩陣R左乘p′i，p′i表示待檢臉中第i個(gè)三維抽象關(guān)鍵點(diǎn)減去待檢人臉中所有三維抽象坐標(biāo)點(diǎn)的平均，求使得單次配準(zhǔn)誤差最小的配準(zhǔn)旋轉(zhuǎn)矩陣R：用旋轉(zhuǎn)單位四元組等效代替旋轉(zhuǎn)矩陣R，即推出：式中：q0表示旋轉(zhuǎn)單位四元組實(shí)部的值，qx表示旋轉(zhuǎn)單位四元組第一個(gè)虛部的值，qy表示旋轉(zhuǎn)單位四元組第二個(gè)虛部的值，qz表示旋轉(zhuǎn)單位四元組第三個(gè)虛部的值，可證明，使得單次配準(zhǔn)誤差函數(shù)最小的旋轉(zhuǎn)單位四元組為矩陣N最大特征值對(duì)應(yīng)的特征向量，其中：式中：Sxx表示i從1到n，p′i第一維的值與Ti'第一維的值的乘積之和，Sxy表示i從1到n，p′i第一維的值與Ti'第二維的值的乘積之和，Sxz表示i從1到n，p′i第一維的值與Ti'第三維的值的乘積之和，Syx表示i從1到n，p′i第二維的值與Ti'第一維的值的乘積之和，Syy表示i從1到n，p′i第二維的值與Ti'第二維的值的乘積之和，Syz表示i從1到n，p′i第二維的值與Ti'第三維的值的乘積之和，Szx表示i從1到n，p′i第三維的值與Ti'第一維的值的乘積之和，Szy表示i從1到n，p′i第三維的值與Ti'第二維的值的乘積之和，Szz表示i從1到n，p′i第三維的值與Ti'第三維的值的乘積之和，由上述步驟求得待檢人臉的單次配準(zhǔn)變換(R,t,s)后，對(duì)待檢人臉的每個(gè)關(guān)鍵點(diǎn)進(jìn)行第一次配準(zhǔn)變換：式中：表示待檢人臉第一次配準(zhǔn)變換后的第i個(gè)三維抽象關(guān)鍵點(diǎn)，R(pi)表示矩陣R左乘pi，在上一步配準(zhǔn)后的關(guān)鍵點(diǎn)集中計(jì)算和相應(yīng)“模板臉”關(guān)鍵點(diǎn)配準(zhǔn)誤差最小的20個(gè)點(diǎn)對(duì)；隨后使用這20個(gè)點(diǎn)對(duì)再估計(jì)新的剛體變換；迭代20次后終止配準(zhǔn)，此時(shí)得到配準(zhǔn)后的待檢人臉：雙目深度特征向量為：將雙目深度特征向量送入已訓(xùn)練好的雙目深度特征SVM分類器進(jìn)行分類，獲得雙目深度特征對(duì)應(yīng)的分類得分：scoredepth。步驟S2：為保證邊緣紋理信息不丟失，首先對(duì)人臉區(qū)域進(jìn)行“對(duì)稱式”填充，上下左右各擴(kuò)充兩像素，對(duì)人臉區(qū)域的每一個(gè)像素，應(yīng)用MSLBP特征算子計(jì)算得到一個(gè)長(zhǎng)度為3的MSLBP特征向量：式中：表示位于像素坐標(biāo)(x,y)處像素的鄰域半徑為1，鄰域點(diǎn)數(shù)為8的LBP模式特征值，表示位于像素坐標(biāo)(x,y)處像素的鄰域半徑為2，鄰域點(diǎn)數(shù)為8的LBP模式特征值，表示位于像素坐標(biāo)(x,y)處像素的鄰域半徑為2，鄰域點(diǎn)數(shù)為16的LBP模式特征值；其中鄰域半徑為R，鄰域點(diǎn)數(shù)為P的LBP模式特征計(jì)算方法如下：式中：LBP(x,y)表示位于像素坐標(biāo)(x,y)處像素的某種LBP模式特征值，s(gp-gc)表示gp值與gc值的大小關(guān)系，若gp大于gc則該式值為1，否則該式值為0，gp表示以(x,y)為圓心，R為半徑的圓上的第p個(gè)被采樣像素的灰度值，gc表示像素坐標(biāo)(x,y)處像素的灰度值；之后采用LBP等價(jià)模式對(duì)MSLBP特征進(jìn)行轉(zhuǎn)化，首先建立兩個(gè)等價(jià)模式轉(zhuǎn)化表：table8及table16。table8長(zhǎng)度為256，對(duì)應(yīng)及特征算子，table16長(zhǎng)度為65536，對(duì)應(yīng)特征算子，所有非等價(jià)模式被歸為一類，經(jīng)等價(jià)模式轉(zhuǎn)化后的非等價(jià)LBP紋理特征值轉(zhuǎn)化為59或243，對(duì)子步驟S1中得到的未進(jìn)行等價(jià)模式轉(zhuǎn)化的“MSLBP特征臉”逐像素逐通道進(jìn)行等價(jià)模式轉(zhuǎn)化，得到實(shí)用的“MSLBP特征臉”(如圖3)。步驟S3：基于步驟S2所得底層“MSLBP特征臉”，提取經(jīng)空間金字塔尺度模型編碼的微紋理特征。訓(xùn)練過程中使用K-means聚類算法，訓(xùn)練得到一個(gè)包含256個(gè)特征碼字的碼書，表示為：BOF編碼模型將“MSLBP特征臉”中每一個(gè)像素對(duì)應(yīng)的MSLBP特征向量進(jìn)行標(biāo)量編碼，設(shè)“BOF碼字特征臉”(如圖3)于坐標(biāo)(xi,yi)處的BOF碼字特征值為BOF(xi,yi)，則：式中：表示MSLBP特征碼書中第k個(gè)碼字第n個(gè)維度的值，F(xiàn)aceMSLBP(x,y)[n]表示“MSLBP特征臉”的(x,y)坐標(biāo)處像素的第n個(gè)通道的值；將圖像空間化為不同的尺度0,1,2,...,L，在每個(gè)尺度下的每個(gè)子區(qū)間內(nèi)，都各自統(tǒng)計(jì)BOF碼字直方圖，并基于每個(gè)子區(qū)間進(jìn)行直方圖歸一化，乘以不同尺度所對(duì)應(yīng)的不同的特征權(quán)重，最后將所有子區(qū)間的特征直方圖進(jìn)行拼接，得到微紋理特征向量。本方法中空間金字塔的最大劃分尺度L＝2，即共有l(wèi)＝0,1,2三種尺度劃分。所有子區(qū)間的特征碼字直方圖的進(jìn)行加權(quán)拼接，H為拼接后的微紋理特征，H的維數(shù)為5376維。將微紋理特征向量送入已訓(xùn)練好的微紋理特征SVM分類器進(jìn)行分類，獲得微紋理特征對(duì)應(yīng)的分類得分scoretexture步驟S4：經(jīng)過在測(cè)試集上的多次試驗(yàn)，采用線性融合模型效果最佳，檢測(cè)置信度表示為score，最終的決策過程為：score＝0.5×scoredepth+0.5×scoretextureifscore＞threhold→活體else→非活體實(shí)驗(yàn)結(jié)果：本發(fā)明提出的基于雙目深度特征以及經(jīng)空間金字塔尺度模型編碼的微紋理特征的單幀活體檢測(cè)方法，在總量為2200張圖像的測(cè)試集(測(cè)試正樣本1000張，測(cè)試負(fù)樣本1100張，且測(cè)試集中出現(xiàn)的真人臉圖像和假人臉圖像均未在訓(xùn)練集中出現(xiàn)，泛化性較高)的準(zhǔn)確率到達(dá)99％，運(yùn)行速度為3fps，程序運(yùn)行環(huán)境為OpenCV2.4.11與Microsoft公司的VisualStudio2012。以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變化或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。在不沖突的情況下，本申請(qǐng)的實(shí)施例和實(shí)施例中的特征可以任意相互組合。當(dāng)前第1頁(yè)1 2 3 當(dāng)前第1頁(yè)1 2 3