專利名稱：基于人臉—指紋協(xié)同的身份識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用機(jī)器視覺和模式識(shí)別技術(shù)，更具體的說，涉及一種基于人臉-指紋協(xié)同的身份識(shí)別方法。
背景技術(shù)：
生物特征識(shí)別技術(shù)能提供一個(gè)方便、安全、可靠的身份認(rèn)證解決方案，是當(dāng)前信息安全、圖像處理、模式識(shí)別等學(xué)術(shù)領(lǐng)域極為關(guān)注的熱點(diǎn)問題。但是，由于生物特征識(shí)別技術(shù)的研究還處于初始發(fā)展階段，如何提高識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性也是信息安全、圖像處理、模式識(shí)別等學(xué)術(shù)領(lǐng)域極為關(guān)注的難點(diǎn)問題。近幾年來人臉識(shí)別、指紋識(shí)別等單模態(tài)生物特征識(shí)別技術(shù)的研究取得了飛躍性進(jìn)展，目前一些先進(jìn)的識(shí)別算法在理想的實(shí)驗(yàn)室環(huán)境下已經(jīng)達(dá)到了滿意的效果。但是，面對(duì)越來越復(fù)雜的實(shí)際應(yīng)用場(chǎng)景，識(shí)別準(zhǔn)確率遠(yuǎn)遠(yuǎn)達(dá)不到鑒別專家用肉眼進(jìn)行識(shí)別的正確率，還有許多關(guān)鍵問題亟待解決。并且，每一種單一的生物特征都不是完美的，都具有局限性和不足之處，充分利用其它生物特征的優(yōu)勢(shì)，將多種生物特征結(jié)合使用，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，是生物特征識(shí)別技術(shù)的未來發(fā)展方向。因此，利用兩個(gè)或者兩個(gè)以上的生物特征構(gòu)建的多模態(tài)生物特征識(shí)別系統(tǒng)相繼出現(xiàn)。多模態(tài)生物特征識(shí)別系統(tǒng)在一定程度上解決了單模態(tài)生物特征識(shí)別系統(tǒng)的魯棒性差、冒充問題和小樣本問題等。但是，在以往的研究中，多模態(tài)生物特征識(shí)別技術(shù)中使用的多種生物特征都不是來自同一個(gè)人的，而是在如下假設(shè)下隨便組合的，即假設(shè)同一個(gè)人的各種生物特征在統(tǒng)計(jì)上是相互獨(dú)立的。這種假設(shè)忽略了同一個(gè)人各種生物特征之間的內(nèi)在聯(lián)系，因而不能從根本上提高生物特征識(shí)別技術(shù)的性能，從而使多模態(tài)生物特征識(shí)別技術(shù)的發(fā)展處于瓶頸狀態(tài)。面對(duì)社會(huì)各領(lǐng)域越來越復(fù)雜的實(shí)際應(yīng)用場(chǎng)景，為了滿足識(shí)別系統(tǒng)準(zhǔn)確性、魯棒性、快速性等多方面的要求，國內(nèi)外對(duì)多模態(tài)生物特征識(shí)別技術(shù)的需求日益高漲，多模態(tài)生物特征識(shí)別技術(shù)的發(fā)展已經(jīng)成為一個(gè)亟待解決的現(xiàn)實(shí)性問題，并且具有極其重要的理論價(jià)值和應(yīng)用價(jià)值。

發(fā)明內(nèi)容
針對(duì)上述現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提出一種基于人臉-指紋協(xié)同的身份識(shí)別方法，該方法可以提高生物特征識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性，解決制約多模態(tài)生物特征識(shí)別技術(shù)發(fā)展的疑難問題，為多模態(tài)生物特征識(shí)別技術(shù)躋身世界前列發(fā)揮重要作用，也為圖像處理、模式識(shí)別、認(rèn)知科學(xué)等領(lǐng)域的難點(diǎn)問題提供新方法和新理論。為達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案如下一種基于人臉-指紋協(xié)同的身份識(shí)別方法，用于機(jī)器視覺和模式識(shí)別領(lǐng)域中的身份識(shí)別，具體步驟如下I)圖像低層視覺特征選擇與融合，是以識(shí)別為目標(biāo)，使用全局特征向量與局部特征向量相融合的方法來提取人臉圖像和指紋圖像的高效低層視覺特征；
2)建立圖像高層語義特征表述模型，是對(duì)圖像的低層視覺特征與高層語義之間的內(nèi)在聯(lián)系進(jìn)行分析，通過函數(shù)關(guān)系實(shí)現(xiàn)低層視覺特征到高層語義之間的映射；
3)分析人臉與指紋特征之間的關(guān)聯(lián)性，是基于非參數(shù)模型的方法，采用聯(lián)合分布來表示不同模態(tài)信息之間的關(guān)聯(lián)性，把不同模態(tài)信息的聯(lián)合特征向量映射到一個(gè)低維的特征子空間，然后在低維子空間里估計(jì)不同模態(tài)信息的聯(lián)合分布；
4)解決多分類器在訓(xùn)練階段以及決策階段的協(xié)同，實(shí)現(xiàn)高層語義特征的多模態(tài)信息交互，是依據(jù)協(xié)同訓(xùn)練算法，在人臉?biāo)男畔?gòu)成的視圖以及指紋所包含的信息構(gòu)成的視圖上，首先利用有標(biāo)記數(shù)據(jù)分別訓(xùn)練出多個(gè)分類器，然后，利用每個(gè)分類器對(duì)未標(biāo)識(shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行融合，最后，依據(jù)融合結(jié)果將其中具有較高置信度的數(shù)據(jù)添加到對(duì)方的標(biāo)識(shí)數(shù)據(jù)集中，以便對(duì)方用擴(kuò)大的數(shù)據(jù)集來進(jìn)行下一輪訓(xùn)練，此過程不斷疊代進(jìn)行，直到滿足終止條件；5)建立人臉-指紋協(xié)同數(shù)據(jù)庫，包含同一個(gè)人的人臉和指紋圖像的數(shù)據(jù)庫。所述步驟I)中，以識(shí)別為目標(biāo)，通過進(jìn)一步合理選擇Gabor、尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform, SIFT)以及局部二值模式(Local BinaryPattern, LBP)等的有效成分，研究更有效的局部特征提取方式，從而得到對(duì)局部形變、尺度、光照、視角等構(gòu)成一定程度不變量的高效低層視覺特征，最后，通過融合全局特征和局部特征來實(shí)現(xiàn)圖像表征。所述步驟2)中，采用構(gòu)造監(jiān)督視覺詞，消除圖像特征表達(dá)中冗余的特征維度，而加強(qiáng)對(duì)分類有幫助的維度，從而極大地增強(qiáng)最終得到的高層語義特征表述的分類能力。所述步驟3)中，對(duì)于不同模態(tài)信息之間的關(guān)聯(lián)性，可以用聯(lián)合分布來表示。基于參數(shù)模型的方法表達(dá)能力比較弱，無法準(zhǔn)確描述出不同模態(tài)信息之間的聯(lián)合分布?；诜菂?shù)模型的新方法，有效克服了基于參數(shù)模型方法的缺陷。該方法首先把不同模態(tài)信息的聯(lián)合特征向量映射到一個(gè)低維的特征子空間，然后在低維子空間里估計(jì)不同模態(tài)信息的聯(lián)合分布。所述步驟4)中，對(duì)融合工具的研究是實(shí)現(xiàn)決策系統(tǒng)中各分類器交互作用的關(guān)鍵。由于模糊集理論可以更好地描述由不確定性導(dǎo)致的不確定現(xiàn)象，使數(shù)學(xué)模型更貼近實(shí)際情況，因此基于模糊集理論的決策融合方法得到了廣泛應(yīng)用。其中的模糊積分方法不僅考慮了各分類器識(shí)別對(duì)象時(shí)輸出的客觀結(jié)果，而且考慮了各分類器在決策系統(tǒng)中的重要性，因而更能體現(xiàn)決策系統(tǒng)中各分類器的交互作用，在許多領(lǐng)域用它作為融合工具取得了較好的效果。5)建立人臉-指紋協(xié)同數(shù)據(jù)庫，該數(shù)據(jù)庫包含同一個(gè)人的人臉和指紋圖像的數(shù)據(jù)庫。本發(fā)明相對(duì)于現(xiàn)有的身份識(shí)別方法的顯著效果在于，同時(shí)應(yīng)用同一對(duì)象的人臉和指紋，并將兩者融合起來進(jìn)行身份識(shí)別。提出圖像低層視覺特征選擇與融合算法、建立圖像高層語義表述模型、分析人臉與指紋特征之間的關(guān)聯(lián)性、解決多分類器在訓(xùn)練階段以及決策階段的協(xié)同，從而提高多模態(tài)生物特征識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性。


圖I本發(fā)明提供的身份識(shí)別方法流程圖；圖2是采用本發(fā)明方法所建立的數(shù)據(jù)庫中某女性的部分樣本圖像(a)是人臉圖像；
(b) (f)是右手從小指依次到拇指的指紋圖像；(g) (k)是左手從拇指依次到小指的指紋圖像；圖3是采用本發(fā)明方法所建立的數(shù)據(jù)庫中某男性的部分樣本圖像(a)是人臉圖像；
(b) (f)是右手從小指依次到拇指的指紋圖像；(g) (k)是左手從拇指依次到小指的指紋圖像。
具體實(shí)施例方式以下結(jié)合附圖以及實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步詳細(xì)說明。以下實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。本發(fā)明提出的身份識(shí)別方法流程圖如圖I所示，本實(shí)施例具體實(shí)施步驟如下I)圖像低層視覺特征選擇與融合。全局特征向量雖然提供了圖像的整體描述，但是缺乏對(duì)圖像中不同組份的描述并且忽略了各組份之間的關(guān)系，因此很難保證在環(huán)境變化下的相對(duì)不變性。指紋圖像結(jié)構(gòu)是具有一定流勢(shì)的峰谷交替的紋理結(jié)構(gòu)，在一定區(qū)域內(nèi)具有特定的頻率并呈現(xiàn)方向一致性，可以使用Gabor濾波器的方法提取指紋圖像的紋理特征，并且，Gabor小波變換能夠有效地屏蔽光照變化對(duì)特征提取的影響；SIFT特征具有尺度不變性，也是目前公認(rèn)比較有效的局部特征，其對(duì)光照和遮擋具有良好的魯棒性；LBP在人臉識(shí)別中凸顯了其優(yōu)越的性能。由于某些局部特征中包含許多冗余的特征維度，從而導(dǎo)致這些局部特征的判別能力下降。因此，本方法以識(shí)別為目標(biāo)，進(jìn)一步合理選擇Gabor、SIFT以及LBP等的有效成分，研究更有效的局部特征提取方式，從而得到對(duì)局部形變、尺度、光照、視角等構(gòu)成一定程度不變量的高效低層視覺特征。最后，通過融合全局特征和局部特征來實(shí)現(xiàn)圖像表征。2)圖像高層語義特征表述。圖像的語義信息非常豐富，直接使用原始詞匯庫構(gòu)建高層語義特征表述，學(xué)習(xí)工作量將非常之大。受文本分類中“詞袋”(Bag of Words)思想的啟發(fā)，大多數(shù)研究者們使用“視覺詞袋”(Bag of Visual-words)語義模型，來實(shí)現(xiàn)對(duì)圖像內(nèi)容的理解。在本方法中，我們也使用“詞袋模型”(Bag-of-Words Model)來分別對(duì)人臉和指紋圖像進(jìn)行高層語義特征表述。這種“詞袋模型”的基本成分是視覺詞。通常的視覺詞(Normal Words)把每個(gè)局部塊看作為整個(gè)圖像中的獨(dú)立部分，而忽略了各局部塊之間的內(nèi)在聯(lián)系；并且，從每個(gè)局部塊提取的視覺詞通常包含許多冗余的維度，這給識(shí)別過程帶來了降低識(shí)別性能的噪聲。對(duì)一個(gè)具體的分類問題而言，如果在一個(gè)更高的層次上考慮局部塊之間的內(nèi)在聯(lián)系，那么就可以獲得更好的圖像高層語義特征表述。因此，本方法采用一種新的有監(jiān)督的方法來構(gòu)造視覺詞，使用該方法得到的視覺詞消除了圖像特征表達(dá)中冗余的特征維度，而加強(qiáng)了對(duì)分類有幫助的維度，從而極大地增強(qiáng)了最終得到的高層語義特征表述的分類能力。進(jìn)一步地，我們把在該方法下得到的視覺詞稱作監(jiān)督視覺詞(SupervisedWords)。假設(shè)圖像為I，圖像塊集為，對(duì)每個(gè)圖像塊提取其低層視覺特征，則可以得到局部特征 κ :，其中Vj e ReX1。圖像I的全局特征可表示為{ =( ,· ,Fff，其中，H，H表示訓(xùn)練樣本的總數(shù)。通過線性支持向量機(jī)，可以得到區(qū)分訓(xùn)練樣本集中正、負(fù)樣本的決策超平面的法向量《 =(n· ,SF)fi，其中，支持向量Sf (I ( f彡F,F表示支持向量的個(gè)數(shù))和通過優(yōu)化下面的目標(biāo)函數(shù)得到，即
權(quán)利要求
1.一種基于人臉-指紋協(xié)同的身份識(shí)別方法，用于機(jī)器視覺和模式識(shí)別領(lǐng)域中的身份識(shí)別，具體步驟如下 1)圖像低層視覺特征選擇與融合，是以識(shí)別為目標(biāo)，使用全局特征向量與局部特征向量相融合的方法來提取人臉圖像和指紋圖像的高效低層視覺特征； 2)建立圖像高層語義特征表述模型，是對(duì)圖像的低層視覺特征與高層語義之間的內(nèi)在聯(lián)系進(jìn)行分析，通過函數(shù)關(guān)系實(shí)現(xiàn)低層視覺特征到高層語義之間的映射； 3)分析人臉與指紋特征之間的關(guān)聯(lián)性，是基于非參數(shù)模型的方法，采用聯(lián)合分布來表示不同模態(tài)信息之間的關(guān)聯(lián)性，把不同模態(tài)信息的聯(lián)合特征向量映射到一個(gè)低維的特征子空間，然后在低維子空間里估計(jì)不同模態(tài)信息的聯(lián)合分布； 4)解決多分類器在訓(xùn)練階段以及決策階段的協(xié)同，實(shí)現(xiàn)高層語義特征的多模態(tài)信息交互，是依據(jù)協(xié)同訓(xùn)練算法，在人臉?biāo)男畔?gòu)成的視圖以及指紋所包含的信息構(gòu)成視圖上，首先利用有標(biāo)記數(shù)據(jù)分別訓(xùn)練出多個(gè)分類器，然后，利用每個(gè)分類器對(duì)未標(biāo)識(shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行融合，最后，依據(jù)融合結(jié)果將其中具有較高置信度的數(shù)據(jù)添加到對(duì)方的標(biāo)識(shí)數(shù)據(jù)集中，以便對(duì)方用擴(kuò)大的數(shù)據(jù)集來進(jìn)行下一輪訓(xùn)練，此過程不斷疊代進(jìn)行，直到滿足終止條件。
5)建立人臉-指紋協(xié)同數(shù)據(jù)庫，包含同一個(gè)人的人臉和指紋圖像的數(shù)據(jù)庫。
2.根據(jù)權(quán)利要求I所述的基于人臉-指紋協(xié)同的身份識(shí)別方法，其特征在于，所述步驟1)中，是以識(shí)別為目標(biāo)，合理選擇Gabor濾波器、SIFT以及LBP有效成分，研究更有效的局部特征提取方式，從而得到對(duì)局部形變、尺度、光照、視角構(gòu)成一定程度不變量的高效低層視覺特征，最后，通過融合全局特征和局部特征來實(shí)現(xiàn)圖像表征。
3.根據(jù)權(quán)利要求I所述的基于人臉-指紋協(xié)同的身份識(shí)別方法，其特征在于，所述步驟2)中，通過構(gòu)造監(jiān)督視覺詞，消除圖像特征表達(dá)中冗余的特征維度，加強(qiáng)對(duì)分類有幫助的維度，從而極大地增強(qiáng)最終得到的高層語義特征表述的分類能力。
4.根據(jù)權(quán)利要求I所述的基于人臉-指紋協(xié)同的身份識(shí)別方法，其特征在于，所述步驟3)中，分析人臉與指紋特征之間的關(guān)聯(lián)性，基于非參數(shù)模型的方法，采用聯(lián)合分布來表示不同模態(tài)信息之間的關(guān)聯(lián)性，把不同模態(tài)信息的聯(lián)合特征向量映射到一個(gè)低維的特征子空間，然后在低維子空間里估計(jì)不同模態(tài)信息的聯(lián)合分布。
5.根據(jù)權(quán)利要求I所述的基于人臉-指紋協(xié)同的身份識(shí)別方法，其特征在于，所述步驟4)中，基于協(xié)同訓(xùn)練算法的分類器使用未標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，在訓(xùn)練的過程中加入噪聲過濾機(jī)制和人機(jī)交互過程，進(jìn)一步提高分類器的性能，獲得具有良好性能和泛化能力的學(xué)習(xí)器。
6.根據(jù)權(quán)利要求5所述的基于人臉-指紋協(xié)同的身份識(shí)別方法，其特征在于，所述各分類器交互作用是基于模糊集理論的決策融合方法來實(shí)現(xiàn)，采用模糊積分方法作為融合的工具。
全文摘要
一種基于人臉-指紋協(xié)同的身份識(shí)別方法，屬于利用機(jī)器視覺和模式識(shí)別領(lǐng)域，通過模擬人類能夠綜合利用多種信息以及異類信息之間的內(nèi)在聯(lián)系來認(rèn)知世界的能力，試圖尋找人臉與指紋特征之間的關(guān)聯(lián)性，在自行構(gòu)建的人臉-指紋協(xié)同數(shù)據(jù)庫上，利用人臉、指紋及其兩者之間的關(guān)聯(lián)性，來進(jìn)行多模態(tài)生物特征識(shí)別的方法。具體包含以下步驟1)圖像低層視覺特征選擇與融合；2)圖像高層語義特征表述；3)人臉與指紋特征之間的關(guān)聯(lián)分析；4)高層語義特征的多模態(tài)信息交互；5)建立人臉-指紋協(xié)同數(shù)據(jù)庫。本方法在包含同一個(gè)人的人臉和指紋的大型的數(shù)據(jù)庫進(jìn)行驗(yàn)證，具有較高的準(zhǔn)確性和較強(qiáng)的魯棒性。
文檔編號(hào)G06K9/62GK102622590SQ20121006545
公開日2012年8月1日 申請(qǐng)日期2012年3月13日 優(yōu)先權(quán)日2012年3月13日
發(fā)明者劉歡喜 申請(qǐng)人:上海交通大學(xué)