專利名稱：基于多生物特征的身份鑒定融合方法
技術(shù)領(lǐng)域：
本發(fā)明是一種對身份進行鑒別的方法，該系統(tǒng)屬于模式識別技術(shù)領(lǐng)域。
原有的身份鑒定方法有使用鑰匙、密碼、證件等。這些方法具有很大的局限性。比如鑰匙容易丟失，證件可能會被偽造，密碼容易被遺忘，等等。事實上，人本身是最可靠的密碼。基于人體的生物、行為特征進行身份識別是近年來一個熱門的研究方向，用來進行身份鑒別的生物和行為特征有指紋、聲音、虹膜、臉像和筆跡等。眾所周知，每一種識別方式或每一種特征各具其優(yōu)缺點，都在不同方面獲得成功。經(jīng)過這些年來的發(fā)展，臉像識別、指紋識別等都取得了一定的成果。在對身份鑒別系統(tǒng)的準確性及安全性要求日益增高的今天，單一特征的身份判斷已不能滿足人們的需要。不同特征、不同鑒別方式的結(jié)合可改善身份鑒定系統(tǒng)的安全性能，不同鑒別結(jié)果互為補充，又可提高準確性。
本發(fā)明的目的在于利用多個生物特征進行身份鑒定，并把基于各種生物特征的身份鑒定結(jié)果利用神經(jīng)網(wǎng)絡(luò)和模糊技術(shù)進行融合，得到更為可靠的身份鑒定結(jié)果。
本發(fā)明的技術(shù)要點如圖1所示，有以下六部分構(gòu)成(1)臉像識別本發(fā)明采用臉像圖像的奇異值特征或其他代數(shù)特征，并采用融合方法將各個特征的識別結(jié)果加以綜合，得出更為準確的身份鑒定結(jié)果。
(2)虹膜識別本發(fā)明采用攝像頭獲取虹膜圖像，利用全局紋理分析及局部特征分析相結(jié)合的方法進行測試圖像與數(shù)據(jù)庫中圖像匹配，獲得身份鑒定結(jié)果。
(3)指紋識別本發(fā)明采用指紋錄入儀，將獲得的指紋圖像經(jīng)方向圖估計、紋路提取、細化、細節(jié)提取過程，提取細節(jié)作為指紋的基本特征，并利用模糊匹配的方法計算出身份鑒定結(jié)果。
(4)筆跡識別把包含某種字體或者筆跡的文檔作為一種具有一定特征的紋理圖像來處理，也就是對原始輸入圖像進行預(yù)處理，得到標準的圖像即紋理圖像；然后進行特征提取，即用多通道的Gabor濾波器提取這些紋理圖像的特征；再對這些圖像的特征用加權(quán)歐氏距離分類器進行模式匹配，得到身份鑒定結(jié)果。
(5)聲音識別本發(fā)明采用麥克風(fēng)，并利用帶通濾波器族處理以提取特征，再采用隱馬爾可夫模型與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法進行識別，得出身份鑒定結(jié)果。
(6)融合系統(tǒng)將前面幾部分的身份鑒定結(jié)果利用標準歸一化方法將其輸出歸一化到同一范圍，分別采用自組織特征映神經(jīng)網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)融合方法進行融合。
其中，可通過設(shè)計軟件界面控制選擇采用那幾種生物特征的身份鑒定結(jié)果進行融合；亦可根據(jù)每種數(shù)據(jù)的質(zhì)量，自動選擇是否選取該特征進行識別，如在指紋圖像質(zhì)量不好或聲音質(zhì)量不好的情況下可舍棄該特征；且各生物特征身份鑒定系統(tǒng)可自成系統(tǒng)，獨立工作。
本發(fā)明提出了一種身份鑒定的新方法。與現(xiàn)有的方法不同的是，首先，該方法采用多種生物特征，其次，采用融合方法將多個生物特征鑒定結(jié)果相結(jié)合。本方法的優(yōu)點在于以下幾個方面(1)本方法采用生物特征作為人的基本特征，具有易攜帶，不易遺忘或被竊取等優(yōu)點。
(2)本方法采用靈活的融合系統(tǒng)，可通過軟件控制選擇或根據(jù)每種數(shù)據(jù)質(zhì)量自動篩選可用特征決定采用那幾種生物特征的身份鑒定結(jié)果進行融合，且各生物特征身份鑒定系統(tǒng)可自成系統(tǒng)，獨立操作，以適合不同場合應(yīng)用。
(3)融合方法提高了可靠性和準確性，整個系統(tǒng)具有更強的魯棒性。
綜上所述，“基于多生物特征的身份鑒定融合技術(shù)”應(yīng)用靈活，身份鑒定結(jié)果可靠、準確，具有良好的應(yīng)用前景。


圖1為基于多生物特征的身份鑒定融合系統(tǒng)的框2為基于臉像的身份鑒定方法框3為基于虹膜的身份鑒定方法框4為基于指紋的身份鑒定方法框5為基于筆跡的身份鑒定方法框6為基于聲音的身份鑒定方法框圖實施例僅以利用臉像、虹膜、指紋、筆跡為例說明本發(fā)明的使用方法。
首先，在軟件界面上選定欲采取的身份鑒定方式或自動選擇良好特征及是否需要融合，然后根據(jù)軟件提示，依次輸入各種生物特征。
第一步，臉像識別如圖2所示，被測人直立平視前方，由彩色攝像機攝取臉像圖像，利用皮膚顏色與背景的差異，首先通過模糊聚類找出可能含有人臉的區(qū)域，再利用橢圓環(huán)匹配的方法進行人臉定位、分割，提取臉部圖像，采用提取臉像矩陣的奇異值等代數(shù)特征，與樣本庫中相應(yīng)的已注冊的人臉利用提取不同的特征匹配的方法進行比對，在將不同特征的匹配結(jié)果進行決策融合得出更為準確的結(jié)果。具體的特征提取、匹配及決策融合過程為(一)特征提取矩陣可被分解為A=USVT(1)上面的等式可表示為A=Σi=1σiuiviT--(2)]]>U,V和S分別用來作為樣本的特征，通過匹配的方法進行身份鑒別。(二)匹配A．基于奇異值的匹配每幅圖像矩陣的奇異值作為特征向量。每個人的臉像訓(xùn)練樣本構(gòu)成的特征數(shù)據(jù)庫可按照其分布情況聚類為若干個中心，這樣在亮度和視角變化的較大條件下，可用不同的聚類中心表示這些變化，提高鑒別準確率。此處利用模糊C均值方法聚類。
匹配輸出依照測試樣本與已知訓(xùn)練樣本空間的匹配程度以隸屬度函數(shù)值給出，匹配程度以距離衡量，具體采用π隸屬度函數(shù)，表示如下 此處d=‖x-c‖2(4)dmax=max(‖xd-c‖2) (5)dmin=min(‖xd-c‖2) (6)r=dmax-dminl=dmax+1/3*r (7)x是測試樣本的奇異值，xd是訓(xùn)練樣本庫中每個訓(xùn)練樣本的奇異值，c是模糊聚類得的聚類中心。匹配輸出以隸屬度函數(shù)值表示。B．基于重建誤差的匹配通過奇異值分解，矩陣A可由S、U、V表示，換言之，S、U、V決定了矩陣A。SVD是經(jīng)典的圖像壓縮和重建方法。此處我們利用臉像的重建誤差來鑒別人的身份。
特征提取和匹配的具體步驟如下所示對某個特定的人，假設(shè)有M個臉像樣本矩陣，平均矩陣為A-=1MΣi=1MA--(8)]]>A的SVD為A-=US-V-T=Σi=1kσi-ui-v-iT--(9)]]>假如前σl個奇異值的和在所有奇異值σi的和中占很大部分，我們可將圖像按下列方式壓縮A*-=Σi=1lσi-u-ivi-T--(10)]]>A的重建誤差為E-=||A--A*-||2=Σi=1kσi-ui-viT---(11)]]>設(shè)B為測試樣本矩陣，B可分解為B=WSbQT=Σi=1kθiωiqiT--(12)]]>B在A特征空間中的重建形式為B*=Σi=1lθiui-viT---(13)]]>B的重建誤差為E=‖B-B*‖2(14)假設(shè)Am為訓(xùn)練樣本庫中的一幅臉像圖像，其重建誤差形式為Am*=Σi=1lαiu-iv-iT--(15)]]>Em=||Am-Am*||=Σi=1kαiui-v-iT--(16)]]>此處m是屬于某個特定人的臉像數(shù)據(jù)庫的樣本個數(shù)。A的SVD如等式(2)所示。
匹配過程與A類似，隸屬度函數(shù)為 此處E由等式(14)定義。
Emax=max(Em)(18)
Emin=min(Em) (19)R=Emax-Eminl=Emax+1/3*R(20)Rommdhani提出了一種基于臉像重建誤差的性別鑒別方法，該方法將測試樣本分別映射到男性特征子空間和女性特征子空間中重建，利用得到的重建誤差判定待測人的性別。在他提出的方法中利用了主分量提取(PCA)方法。眾所周知，PCA方法計算復(fù)雜性一直是妨礙該方法獲得更廣泛應(yīng)用的主要原因。與PCA相比，SVD計算簡單，更適合實時處理?；赟VD的重建誤差同樣可作為圖像的穩(wěn)定特征用來識別。(三)決策融合研究人員已發(fā)現(xiàn)模式的不同特征或不同分類方式可互為補充，以提高識別性能?？赏ㄟ^同時利用模式的不同特征或利用不同分類器來提高分類準確率。這種融合的方法對于諸如存在大量噪聲、有限的訓(xùn)練樣本或高維模式等復(fù)雜問題尤為有效。人臉圖象的數(shù)據(jù)庫經(jīng)常不能大到足以反映整個樣本空間。充分利用樣本便成為建立更為完整的樣本空間的關(guān)鍵。將前面兩種匹配方法的結(jié)果進行融合使得利用樣本不同方面的信息成為可能。此處可利用LOGISTIC回歸的方法進行融合。LOGISTIC回歸用于融合的基本思想是利用φ(x)來估計條件概率P(Y=1｜x)，此處P(Y=1｜x)為樣本x被正確分類的概率。這樣判決融合問題轉(zhuǎn)化為回歸分析問題。
φ(x)定義為φ(x)=exp(α+β1x1+β2x2)1+exp(α+β1x1+β2x2)--(21)]]>x1和x2分別是基于奇異值和重建誤差的匹配結(jié)果。
從上面等式可得出L(x)=logφ(x)1+φ(x)=α+β1x1+β2x2--(22)]]>從而融合問題映射為線性回歸問題。參數(shù)α,β1,β2可通過有監(jiān)督學(xué)習(xí)得到。最終給出相應(yīng)的帶有置信度函數(shù)值的判別結(jié)果，即確定該人的身份以及該判別的可信度，以利于下一步的融合過程。
第二步，虹膜識別，虹膜識別系統(tǒng)的工作流程如圖3所示，包括四個步驟圖像獲取、虹膜定位、特征提出和模式匹配。將虹膜獲取裝置的上端扣在被試者的眼睛上，通過計算機來控制可調(diào)電源以調(diào)節(jié)發(fā)光二極管的亮度。CCD攝像頭拍攝紅外管照射下的虹膜圖像，并輸入計算機。計算機調(diào)用虹膜識別的算法對獲取的虹膜圖像進行模式識別，完成身份鑒定的功能?？梢岳帽竞缒D像采集系統(tǒng)建立虹膜數(shù)據(jù)庫，應(yīng)用于鑒別身份的各種場合。
使用圖像二值化先提取出內(nèi)圓(即瞳孔和虹膜的交界)，再使用高斯低通濾波的方法結(jié)合邊緣檢測提取出外圈的邊界。然后使用Hough變換的方法求出外圓的參數(shù)。采用紋理分析的方法提取虹膜的紋理特征，結(jié)合局部特征分析，可以達到很好的識別效果。采用各種聚類的方法，如神經(jīng)網(wǎng)絡(luò)等，將提取的虹膜特征與已經(jīng)注冊的存在數(shù)據(jù)庫中的虹膜特征進行比較，確定虹膜所有人的身份。給出相應(yīng)的帶有置信度函數(shù)值的判別結(jié)果，以利于下一步的融合過程。
第三步，指紋識別如圖4所示，按照計算機的提示，在指紋錄入儀上放手指以提取指紋圖像，提取后的圖象經(jīng)過圖象增強和銳化，將獲得的增強后的指紋圖象經(jīng)方向圖估計、紋路提取、細化、細節(jié)提取過程，提取細節(jié)作為指紋的基本特征，并利用指紋模板匹配的方法得出身份鑒定結(jié)果。具體過程為(一)指紋特征的提取過程1．方向圖估計1〕把指紋圖像分為大小為W×W的塊。
2〕用如下的Sobel算子Gx和Gy分別計算每塊中的每個點在x方向和y方向的梯度Gx(i,j)和Gy(i,j)。
3〕用如下公式計算每個塊的局部方向Vx(i,j)=Σu=i-W2i+W2Σv=j-W2j+W22×Gx(u,v)×Gy(u,v)]]>Vy(i,j)=Σu=i-W2i+W2Σv=j-W2j+W2(Gx(u,v)2-Gy(u,v)2)]]>θ(i,j)=12tan-1Vx(i,j)Vy(i,j)]]>4〕(i,j)點方向與其鄰域中點的方向之間的恒定程度為CL(i,j)Ve(i,j)=Σu=i-W2i+W2Σv=j-W2j+W2(Gx2(u,v)+Gy2(u,v))]]>如果CL(i,j)=1W×WVx2(i,j)+Vx2(i,j)Ve(i,j)>Ts]]>，認為(i,j)點是背景。
5〕使用一個低通濾波器對紋路方向進行“低通濾波”。φx(i,j)=cos(2θ(i,j))φy(i,j)=sin(2θ(i,j))φx′(i,j)=Σu=-wφ/2wφ/2Σv=-wφ/2wφ/2φx(i-uw,j-vw)]]>φy′(i,j)=Σu=wφ/2wφ/2Σv=-wφ/2wφ/2φy(i-uw,j-vw)]]>6〕最后，用如下公式可以計算出紋路方向O(i,j)=12tan-1(φx′(i,j)φy′(i,j))]]>2．紋路提取紋路的提取是指對指紋灰度圖像進行一定的處理，形成一幅二值化的圖像。這里使用如下的銳化算子 把這個算子作用在圖像中的每個點，對得到的值按照一定的門限進行二值化，形成紋路。3．細節(jié)特征提取根據(jù)二值化紋路生成理想的寬度為一個象素的紋路。細節(jié)提取將非常簡單，表述如下不妨假設(shè)一個點在細化的紋路上(8個鄰接點)，那么它的值為1，否則的話就是0。令(x,y)表示細化紋路上的一個點，N0,N1,…,N2表示其8個鄰接點，則(Σi=07Ni)=0]]>表示紋路的端點，而(Σi=07Ni)>2]]>表示紋路產(chǎn)生了分叉。
每一個提取出來的端點都用如下幾個參數(shù)表示1〕x坐標，2〕y坐標，3〕方向，方向定義為相關(guān)細節(jié)所在塊的局部方向，4〕相關(guān)的紋路，紋路被表示為一維的離散數(shù)組--也就是一組采樣值。采樣值為采樣點到直線l的距離，而l表示通過細節(jié)點而且方向為細節(jié)方向的直線。一般情況下，每個紋路的采樣數(shù)目為10個。(二)指紋模板匹配過程1．排列根據(jù)估計的參數(shù)對兩個指紋模板(庫中的參考模板以及輸入的模板)進行旋轉(zhuǎn)、平移、以及放縮操作。
1〕假設(shè)參考紋路和輸入紋路分別為d和D，紋路上的每個點為di和Di，其中di和Di分別是紋路上的第i點到其x軸的距離。用如下公式計算兩個紋路的相似程度S=Σi=0L(di-Di)2]]>其中，L是兩個紋路中長度比較短的那一個的長度。如果S小于一定的門限T，就認為這兩個紋路匹配了，否則匹配下一對點。不妨假設(shè)參考細節(jié)(xd,ydθd)和輸入細節(jié)(XD,YD,ΘD)已經(jīng)達到了匹配。
2〕對兩個模板分別用如下公式進行極坐標變化，最終使兩者表示在同一個坐標系下。
對參考模板ri=(xi-xd)2+(yi-yd)2]]>ei=tan-1(yi-ydxi-xd)--θi=θi-θd]]>對輸入模板Ri=(Xi-XD)2+(Yi-YD)2]]>Ei=tan-1(Yi-YDXi-XD)---Θi=Θi-ΘD]]>2．匹配輸入細節(jié)特征和模板細節(jié)特征都被變換到極坐標下面，下面對這些細節(jié)作彈性串匹配。
1〕把用極坐標表示的參考模板和輸入模板按照極角的升序排列。于是得到兩個矩陣參考模板為P=((rl,el,θl)T,…,(rM,eM,θM))輸入模板為Q=((Rl,El,Θl),…(RN,EN,ΘN))2〕對每一個對細節(jié)計算Δe={a-180,otherwisea,if(a=(em-En)+360)mod360)<180]]>Δθ={a-180otherwisea,if(a=(θm-Θn+360)mod360)<180]]>Δr=｜rm-Rn｜如果Δe＜ε、Δθ＜ρ而且Δr＜δ，就認為兩個細節(jié)特征匹配，使匹配的點數(shù)加1。
3〕如果需要補償，上述的第二步變?yōu)棣=rm-Rn如果δl(m,n)＜Δr＜δh(m,n)、εl(m,n)＜Δe＜εh(m,n)而且Δθ＜ρ，就認為兩個細節(jié)特征匹配，使匹配的點數(shù)加1。其中δl(m+1,n+1)=δl(m,n)+ηΔraδh(m+1,n+1)=δh(m,n)+ηΔraεl(n+1,n+1)=εl(m,n)+ηΔeaεh(m+1,n+1)=εh(m,n)+ηΔeaεl,δh,δl和δh定義了可能的細節(jié)區(qū)域的邊界，而η是學(xué)習(xí)因子。
4〕最后的匹配結(jié)果為S=100×MP,Q×MP,QMN]]>其中，MP,Q是匹配的點數(shù)，M和N分別是參考模板和輸入模板的細節(jié)特征點數(shù)目。匹配結(jié)果為100時，說明兩個指紋完全匹配，如果匹配結(jié)果為0，則表示兩個指紋完全不匹配。
指紋識別過程給出了一個帶有置信度函數(shù)值的判別結(jié)果，這對下一步的融合提供了便利。
第四步，筆跡鑒別如圖5所示，按照軟件提示將手寫漢字的筆跡在按黑白模式被掃描成一幅二值圖像輸入計算機。每一個圖像又經(jīng)過預(yù)處理形成一幅大小為640×640的具有統(tǒng)一紋理的圖像。它被劃分成25個互不重疊的大小為128×128的圖像塊。用Gabor濾波器提取其紋理特征，f是Gabor通道的中心頻率。缺省是f=2,4,8,16,32,64。再對這些圖像的特征用加權(quán)歐氏距離分類器進行模式匹配，最終給出相應(yīng)的帶有置信度函數(shù)值的判別結(jié)果，以利于下一步的融合過程。
第五步，融合過程，將前面幾部分的身份鑒定結(jié)果利用標準歸一化方法將其輸出歸一化到同一范圍，再利用如D--S理論、概率估計或神經(jīng)網(wǎng)絡(luò)等方法進行融合。例如利用自組織特征映神經(jīng)網(wǎng)絡(luò)，將歸一化后的結(jié)果作為自組織特征映神經(jīng)網(wǎng)絡(luò)的輸入，該網(wǎng)絡(luò)的輸出即為融合結(jié)果，采用(0,1)輸出，輸出結(jié)果為1表示認可被鑒定人，并將身份鑒定結(jié)果在軟件界面上顯示。至此，整個身份鑒定過程完成。
權(quán)利要求
1．一種基于多生物特征的身份鑒定融合方法，其特征在于利用人的多種生物特征臉像、虹膜、指紋、筆跡、聲音來鑒定人的身份，并將鑒定結(jié)果用標準歸一化方法將全部特征輸出歸一化到同一范圍，再分別采用(1)利用部分監(jiān)督的神經(jīng)網(wǎng)絡(luò)實現(xiàn)融合，采用與人腦映射方式類似的自組織特征映射神經(jīng)網(wǎng)絡(luò)，并限制部分監(jiān)督學(xué)習(xí)。(2)利用模糊神經(jīng)網(wǎng)絡(luò)進行融合。
2．根據(jù)權(quán)利要求1所述的基于多生物特征的身份鑒定融合方法，其特征在于利用臉像矩陣的代數(shù)特征或臉部器官輪廓以及頭部三維形狀等幾何特征進行臉像的匹配識別，并采用融合方法論將各個特征的結(jié)果加以綜合。
3．根據(jù)權(quán)利要求1所述的基于多生物特征的身份鑒定融合方法，其特征在于利用虹膜的紋理進行身份鑒定，利用全局紋理分析及局部特征相結(jié)合的方法進行測試圖象與數(shù)據(jù)庫中圖象匹配。
4．根據(jù)權(quán)利要求1所述的基于多生物特征的身份鑒定融合方法，其特征在于將獲得的指紋圖象經(jīng)方向圖估計、紋路提取、細化、細節(jié)提取過程，提取細節(jié)作為指紋的基本特征，并利用模糊匹配的方法得出身份鑒定結(jié)果。
5．根據(jù)權(quán)利要求1所述的基于多生物特征的身份鑒定融合方法，其特征在于利用紋理分析方法，把包含筆跡的文檔看作一種具有特定紋理的圖像，提取和分析全局紋理特征，也就是對原始輸入圖象進行預(yù)處理，得到標準的圖象即紋理圖象，用多通道的GABOR濾波器或付里葉變換、小波變換、共生灰度矩陣的紋理分析方法提取這些紋理圖象的特征，再對這些圖象的特征用加權(quán)歐氏距離分類器進行模式匹配。
6．根據(jù)權(quán)利要求1所述的基于多生物特征的身份鑒定融合方法，其特征在于將獲得的聲音經(jīng)帶通濾波器族處理以提取特征，并采用隱馬爾可夫模型與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法進行識別，得出身份鑒定結(jié)果。
全文摘要
基于多生物特征的身份鑒定融合方法是一種對身份鑒定的新方法。該技術(shù)屬于模式識別領(lǐng)域。本發(fā)明利用人的生物特征如臉像、虹膜、指紋、筆跡等對人進行身份鑒定,并將鑒定結(jié)果用標準歸一化方法將全部特征輸出歸一化到同一范圍,再分別采用自組織特征映射神經(jīng)網(wǎng)絡(luò)及模糊神經(jīng)網(wǎng)絡(luò)技術(shù)等方法進行融合。本方法應(yīng)用靈活,身份鑒定結(jié)果可靠、準確,具有良好的應(yīng)用前景。
文檔編號G10L17/00GK1304114SQ9912603
公開日2001年7月18日 申請日期1999年12月13日 優(yōu)先權(quán)日1999年12月13日
發(fā)明者譚鐵牛, 王蘊紅, 朱勇 申請人:中國科學(xué)院自動化研究所