模型如圖4所示。在本發(fā)明的具體實施中，我們首先使用2000張 采集的人臉遮擋圖像（既有眼部遮擋也有嘴部遮擋）作為正樣本，2000張人臉非遮擋圖像 作為負(fù)樣本，提取圖像的Harr特征，訓(xùn)練遮擋強(qiáng)分類器級聯(lián)模型（見圖4中左圖）。接著， 我們使用1000張眼部遮擋圖像作為正樣本，1000張嘴部遮擋圖像為負(fù)樣本，訓(xùn)練不同遮擋 部位識別的強(qiáng)分類級聯(lián)模型（見圖4中右圖）。測試圖像通過兩級級聯(lián)分類器，可以準(zhǔn)確判 斷人臉的遮擋位置。
[0063] 上述技術(shù)方案中，步驟七中基于隨機(jī)森林的關(guān)鍵點檢測樹模型，檢測的關(guān)鍵點包 括：眼部關(guān)鍵點有8個（左眼4個，右眼4個），嘴部關(guān)鍵點有7個，共計15個檢測點，表示
[0064] 上述技術(shù)方案中，步驟七中隨機(jī)森林關(guān)鍵點檢測樹的構(gòu)建方法（如圖5所示）如 下：
[0065] 1.在ATM環(huán)境下采集3000張包括各種姿態(tài)表情和光照變化的人臉圖像，按照右 偏、正臉、左偏把3000張圖片分為3個數(shù)據(jù)集并手動標(biāo)注人臉的關(guān)鍵點，將輸入圖片轉(zhuǎn)化成 灰度信息，并歸一化成480*360大小；
[0066] 2.在人臉框內(nèi)掃描取樣一組圖像塊X= [I」iGZ]，每個圖像塊大小為31X31， 形成訓(xùn)練集；
[0067]3.對訓(xùn)練集中的每個圖像塊構(gòu)建信息]^= {x,t}，其中x={x\X2,…，x]表示 不同的特征通道，x1，x2表示灰度圖像以及歸一化灰度圖像，x3,…，f表示32個Gabor濾波 圖像，t= {V，t2,…，tN}表示的是圖像塊中心位置到N個（本發(fā)明中N取10)關(guān)鍵點的偏 移量；
[0068] 4?隨機(jī)產(chǎn)生分裂池〇 = {FpF^c，〇}，為后面的二值函數(shù)分析做準(zhǔn)備。其中，F(xiàn)i 和&分別表示從圖像塊中隨機(jī)取樣的兩個小圖像塊，c表示的是特征通道數(shù)，u表示的為 隨機(jī)閾值； 「00691 5.從枏書點開始構(gòu)律晡機(jī)樹，生胳圖像xi關(guān)入枏書古，枏抿書點的二值函數(shù)規(guī) I _
_ )將圖像塊圖 像輸入下一層節(jié)點。如果y?(l)〈u，則輸入下一層的左節(jié)點（進(jìn)入的圖像塊記為込(〇))，y?(l)>u，則輸入下一層的右節(jié)點（進(jìn)入的圖像塊記為lK(o));
[0070] 6.選擇分裂池中的〇,找到最大信息熵的參數(shù)〇作為該節(jié)點的分類信息；其 中：①*=argmaxIG，
[0071]
[0072]
[0073] 其中Ise{UK}(〇)表示到達(dá)節(jié)點i的圖像塊集，I表示其父節(jié)點的圖像塊集， P(zn|I)表示圖像塊I屬于第n個關(guān)鍵點2"的概率；
[0074] 7.當(dāng)?shù)竭_(dá)最大的深度（本發(fā)明中取值為20)或者達(dá)到節(jié)點的圖像塊數(shù)到達(dá)某一閾 值（本發(fā)明中取值為20)，則創(chuàng)建葉節(jié)點，否則繼續(xù)步驟5-6 ;
[0075] 上述技術(shù)方案中，步驟七基于隨機(jī)森林的人臉關(guān)鍵點檢測樹的檢測方法如下：
[0076] 1.對于輸入圖像，在檢測到人臉的位置后，在人臉框內(nèi)掃描取樣一組圖像塊X= [IjiGZ]，每個圖像塊大小為31X31 ;
[0077] 2.依次將圖像塊Xi送入訓(xùn)練后隨機(jī)森林關(guān)鍵點檢測樹模型，從根節(jié)點開始，直達(dá) 葉點結(jié)束。在每個內(nèi)節(jié)點提取該節(jié)點的最優(yōu)分裂信息〇%并基于二值函數(shù)規(guī)則確定下行路 徑；
[0078] 3.根據(jù)訓(xùn)練后的樹模型葉節(jié)點存儲的投票信息，為關(guān)鍵點投票，投票規(guī)則如下：
[0079]
[0080] 其中，p(zn| 1)表示到達(dá)葉節(jié)點1的圖像塊L投票關(guān)鍵點Z，概率，I#Iu |I」 表示所有到達(dá)葉節(jié)點1的圖像塊數(shù)量。
[0081] 4.枏據(jù)投票信息，獲得人臉的關(guān)鍵點位詈f(Vn):
[0082]
[0083]
[0084] 其中，表示每個葉節(jié)點的權(quán)重，K表示帶寬為h的高斯核函數(shù)，yi為到達(dá)葉節(jié)點 圖像塊的中心位置，^表示到第n個特征點的偏移量的均值。
[0085] 上述技術(shù)方案中，面向ATM終端的部分遮擋人臉關(guān)鍵點檢測方法最終檢測結(jié)果如 圖6所示。在圖中灰色的方框表示人臉的位置，第一行樣本為眼部遮擋樣本，第二行樣本為 嘴部遮擋樣本，遮擋部位均精確識別。眼部或嘴部標(biāo)注的點即為檢測到的關(guān)鍵點。如圖所 示，本方法能夠精確的檢測出各種姿態(tài)下遮擋位置以及非遮擋部分的關(guān)鍵點位置。
[0086] [1]Rahman,Z.u,D.J.JobsonandG.A.ffoodell. ^Multi-ScaleRetinexfor ColorImageEnhancement.〃InImageProcessing, 1996.Proceedings. ,International Conferenceon, 3, 1003_1006vol. 3, 1996.
[0087] [2]RainerLienhartandJochenMaydt.AnExtendedSetofHaar-like FeaturesforRapidObjectDetection,InternationalConferenceonImage Processing, 2002.
[0088] [3]Viola，PaulandMichaelJJones."RobustReal-TimeFace Detection.''InternationalJournalofComputerVision57,no. 2 (2004) : 137-154.
【主權(quán)項】
1. 基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其特征在于，包括下列步 驟： 步驟一、當(dāng)有用戶插入銀行卡的時候，采集人臉圖像； 步驟二、將采集圖像序列轉(zhuǎn)化為灰度圖，并歸一化為480*360像素的圖像； 步驟三、計算圖像的方差值S，并判斷其是否小于閾值e，若S〈e，則對圖像進(jìn)行多尺 度Retinex圖像增強(qiáng)，提高圖像的對比度； 步驟四、采用Haarcascade人臉檢測算法，從圖像中定位人臉具體位置； 步驟五、基于隨機(jī)森林姿態(tài)估計樹模型推測人臉姿態(tài)（左偏、正臉、右偏）； 步驟六、基于ViolaJones框架強(qiáng)分類器級聯(lián)模型判斷圖像中人臉是否存在遮擋，并判 斷遮擋類型屬于眼部或嘴部遮擋； 步驟七、根據(jù)步驟五估計的人臉姿態(tài)，選擇相應(yīng)姿態(tài)的隨機(jī)森林關(guān)鍵點檢測模型，標(biāo)定 未遮擋位置的人臉關(guān)鍵點。2. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其 特征在于，用戶在插入銀行卡的時候，系統(tǒng)實時采集人臉的圖像。3. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其 特征在于，所述多尺度Retinex圖像增強(qiáng)，所采用的圖像方差S的閾值e=15,共采用N= 3個高斯環(huán)繞尺度，其值分別為％= 50,m2= 80,m3= 95。4. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法， 其特征在于，所述的通過隨機(jī)森林方法估計ATM人臉姿態(tài)（正臉、左偏或右偏），訓(xùn)練集 由隨機(jī)取樣的人臉圖像塊構(gòu)成。訓(xùn)練模型時對每個圖像塊Iie 采用特征信息Pi= 況，DD，其中{f/，f/，. . .，fj表示圖像的多種特征通道，其中f/，f/表示的圖像的 灰度值和歸一化灰度值，f?，f/，. . .，f?表示經(jīng)過32個Gabor濾波器組后的特征圖像；Di ={DM，eie{UF，K}}，其中DM表不的是圖像塊的中心位置到鼻子的偏移量，e {L,F,E}表示的 是姿態(tài)標(biāo)簽。5. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其 特征在于，所述的通過隨機(jī)森林方法估計判斷ATM采集的人臉的姿態(tài)（正臉、左偏或右偏）， 各節(jié)點通過在圖像塊Ii中隨機(jī)取樣兩個小塊RJPR2及某通道特征fike{f/，f/，...，f，}， 隨機(jī)產(chǎn)生分裂池= (9,t)，其中0 = {Hfj，t表示的是隨機(jī)閾值。6. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法， 其特征在于，所述的通過隨機(jī)森林方法估計判斷ATM采集的人臉的姿態(tài)（正臉、左偏或右 偏），采用的節(jié)點的二值函數(shù)規(guī)則為1，如 果tJpXT(T表示的是隨機(jī)閾值）則輸入下一層的左節(jié)點，否則輸入下一層的右節(jié)點。7. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其 特征在于，所述的通過隨機(jī)森林方法估計判斷ATM采集的人臉的姿態(tài)（正臉、左偏或右偏）， 采用的最優(yōu)分裂規(guī)則為： argmaxIG，其中，rie{uK}表示的是到達(dá)左/右節(jié)點i的圖像塊集，r表示其父節(jié)點的圖像塊 集，P(e|r)表示圖像塊屬于左（4)、正（eF)、右臉（eK)的概率。8. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其 特征在于，所述基于ViolaJones框架強(qiáng)分類器級聯(lián)模型，包括兩級級聯(lián)模型，分別用于遮 擋檢測與遮擋類型檢測，兩級級聯(lián)模型均采用Haar特征。9. 根據(jù)權(quán)利要求1所述的基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，其 特征在于，所述隨機(jī)森林關(guān)鍵點檢測模型僅僅檢測未遮擋部位關(guān)鍵點，針對人臉姿態(tài)的不 同分別建立了正臉關(guān)鍵點檢測模型，左偏關(guān)鍵點檢測模型以及右偏關(guān)鍵點檢測模型。
【專利摘要】本發(fā)明公開了一種基于隨機(jī)森林的ATM終端部分遮擋人臉關(guān)鍵點檢測方法，包括以下步驟：當(dāng)銀行卡插入ATM機(jī)時采集圖像；通過多尺度Retinex增強(qiáng)方法提高灰暗圖像對比度；采用Haarcascade人臉檢測算法定位人臉；基于隨機(jī)森林姿態(tài)估計樹模型推測人臉姿態(tài)；通過Viola Jones框架判斷人臉遮擋類型；根據(jù)估計的人臉姿態(tài)，選擇隨機(jī)森林關(guān)鍵點檢測模型，標(biāo)定未遮擋位置的人臉關(guān)鍵點。本發(fā)明通過基于隨機(jī)森林的姿態(tài)預(yù)估計降低了姿態(tài)對人臉關(guān)鍵點檢測的影響，通過遮擋部位自動識別及非遮擋部位關(guān)鍵點標(biāo)記減弱了遮擋對人臉特征的影響，能夠為基于ATM的遮擋人臉的身份識別提供高精度的人臉局部特征，提高人臉身份識別精度。
【IPC分類】G06K9/00
【公開號】CN104992148
【申請?zhí)枴緾N201510341519
【發(fā)明人】孔軍, 孫凱傳, 蔣敏, 楊韜, 高坤
【申請人】江南大學(xué)
【公開日】2015年10月21日
【申請日】2015年6月18日