專利名稱：一種基于信息融合的機讀旅行證件識別方法
技術領域：
本發(fā)明涉及到一種機讀旅行證件識別方法，特別是一種基于信息融合的機讀旅行證件識別方法，用于快速通關工作。
背景技術：
隨著國際交流合作的不斷增加，快速通關已成為流動人口管理工作中的一個重要環(huán)節(jié)。其主要工作包括人員信息采集和重點人物審查。傳統(tǒng)通關方法多采用人工方式進行信息采集和比對，效率低下浪費了大量人力資源。機讀旅行證件的使用，使得自動采集和比對人員信息成為可能。機讀旅行證件指符合國際民航組織推薦的ICAO-930關于機讀旅行證件標準的適用于機器閱讀的供國際旅行使用的各種證件，包括護照、簽證、通行證和身份證等。
目前部分流動人員管理單位已采用證件自動識別方法來代替手工操作。但現(xiàn)有的方法只能提取證件中的文本信息，在很大程度上影響了人員審查的準確率。其主要缺陷表現(xiàn)為(1)只提取文本信息，人員身份審查的準確率直接依賴于對文本信息識別的準確率。然而由于各種因素的影響，識別錯誤在所難免，因此身份審查正確率不高；(2)存在一些不法分子企圖使用偽造證件通關，證件中的文本信息與真實情況不符，因此僅通過文本信息進行身份審查將導致錯誤結果。

發(fā)明內(nèi)容
本發(fā)明解決的技術問題克服現(xiàn)有技術的不足，提供一種基于信息融合的機讀旅行證件識別方法，該方法不僅能夠自動識別證件圖像中的文本信息，同時自動提取證件中包含的持證人面部特征信息，并通過特征比對及結果融合準確地判斷持證人是否為重點人物，滿足了快速通關工作的需求，提高了持證人身份對比的準確度。
本發(fā)明的技術解決方案一種基于信息融合的機讀旅行證件識別方法，其特點在于綜合利用旅行證件的文本信息及人臉信息，通過決策級融合提高識別的準確率，整個流程分為三部分機讀碼信息提取，面部特征提取和身份比對。
(1)機讀碼信息提取機讀碼區(qū)域位于證件圖像下部，包含持證人的基本信息，機讀碼信息提取的主要包括自動定位機讀碼區(qū)域和自動字符識別，通過自動定位機讀碼區(qū)域確定機讀碼字符的區(qū)別，再通過自動字符識別得到持證人的文本信息，然后將此文本信息保存至數(shù)據(jù)庫中；(2)面部特征提取檢測證件圖像中人臉圖像位置，提取持證人面部特征，將此特征信息存入數(shù)據(jù)庫中；(3)身份比對將文本特征和面部特征分別與重點人物數(shù)據(jù)庫中的特征數(shù)據(jù)進行比對，并對兩類比對結果在決策級進行融合，判斷持證人是否為重點人物數(shù)據(jù)庫中的成員。
所述步驟(1)中的自動定位機讀碼區(qū)域的方法如下(1)在HSI空間采用Thue＝Black對圖像進行彩色濾波，濾除背景圖像；(2)采用膨脹操作完成濾波后字符圖像的筆畫粘連，保證每個字符構成一個完整的連通區(qū)域；(3)利用連通區(qū)域分析算法得到每一個連通區(qū)域的外接矩形，剔除尺寸超過限定范圍的矩形，得到矩形集合；(4)根據(jù)外接矩形劃定機讀碼區(qū)域。將外接矩形集合劃分為若干不相交的子集，各子集同時滿足(a)同一子集內(nèi)的相鄰矩形垂直位置相差較小；(b)同一子集內(nèi)相鄰矩形水平距離較??；(5)求出每個子集中所有矩形的最小外接矩形，外接矩形寬度超過圖像寬度3/4的矩形區(qū)域即為機讀碼字符區(qū)域。
所述步驟(1)中的自動字符識別方法如下(1)采用最小二乘法對每一行機讀碼字符外接矩形左上角像素坐標進行線性擬合，根據(jù)擬合得到的直線傾斜角對圖像進行旋轉(zhuǎn)；(2)對旋轉(zhuǎn)后的圖像進行二值化操作，得到機讀碼圖像二值圖像；(3)對上述二值圖像利用字符外接矩形信息完成對字符的分割，得到每一個機讀碼字符的圖像；(4)利用OCR算法識別上述字符圖像，得到文本信息。同時得出機讀碼區(qū)域各字符圖像與字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}，其中N為機讀碼區(qū)域字符的個數(shù)，SimVectorn為第n個字符模版的相似度向量，表示為SimVector＝{Simm|1≤m≤M}，其中M為字符模版的個數(shù)，Simm是這個字符與第m個字符模版的相似度。
所述步驟(2)中的自動檢測證件圖像中人臉圖像位置，提取持證人面部特征的方法步驟如下(1)離線訓練。利用Adaboost算法從一個大特征樣本中選取若干最有效的特征，并為每個特征生成一個弱分類器，通過將這些分類器進行級聯(lián)組合得到一個強學習算法；(2)在線檢測。使用大小不同的窗口掃描圖像，使用學習階段得到的分類器檢測窗口圖像，若該窗口圖像通過了所有的弱分類器，即認為該子窗口圖像為人臉圖像；(3)對定位得到的人臉圖像進行大小歸一化、消除噪聲、灰度歸一化；(4)采用基于EHMM的特征算法為每一個人臉建立一個EHMM模型。
所述的步驟(3)中的在決策級進行融合的融合方法為基于模糊綜合的融合算法，其步驟如下(1)根據(jù)自動字符識別中得到的文本信息中‘＜’的位置將機讀碼字符分割成具有ICAO-9303標準所定義的語義字符串；(2)根據(jù)自動字符識別中所得到的相似度向量序列計算每個語義字符串與重點人物數(shù)據(jù)庫中對應文本特征的相似度。得到待比對樣本經(jīng)過文本特征對比后的一組識別結果，表示為Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，...，(o1，ω1，i)，...，(o1，ω1，p)}。
其中，ω1，i為文本特征與第i個樣本oi的相似度；(3)采用EHMM模型的前向后向算法計算觀察向量序列V與模型參數(shù)λ＝(π，A，Λ)的吻合概率p(V|λ)。從而得到待比對樣本與重點人物數(shù)據(jù)庫中所有面部特征EHMM模型的吻合概率序列，即待比對樣本經(jīng)面部特征比對的一組識別結果，表示為Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，1)，...，(o1，ω2，p)}。其中ω2，i＝p(V|λi)為待鑒別樣本面部特征與第i個樣本oi的相似度；(4)利用模糊集方法將文本特征比對和面部特征比對所得結果進行融合，模糊綜合函數(shù)取S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或S(ω1,i,ω2,i)=ω1,i+ω2,i2;]]>(5)若maxS(ω1，i，ω2，i)＞T則該人員為第g個樣本，否則該人員為非重點人物，其中T為相似度域值，g＝argimaxS(ω1，i，ω2，i)。
本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于(1)可以自動識別證件圖像中的文本信息，提高了人員信息采集的效率；(2)同時自動提取證件中包含的持證人面部特征信息，提高了機讀旅行證件持證人的身份比對準確率；(3)提取人臉特征為涉外案件的偵察提供相應的依據(jù)。


圖1為本發(fā)明的機讀旅行證件自動識別方法工作流程圖；圖2為本發(fā)明的機讀碼區(qū)域圖像；圖3為本發(fā)明采用的人臉圖像的EHMM；圖4為本發(fā)明的基于融合算法的身份比對框圖。
具體實施例方式
如圖1所示，本發(fā)明包括整個流程分為三部分機讀碼信息提取，面部特征提取和身份比對。
1.機讀碼信息提取方法機讀碼信息提取分為兩部分機讀碼區(qū)域定位和機讀碼識別，前者完成對機讀碼圖像定位，后者完成對機讀碼圖像的預處理和識別。
通過分析，發(fā)現(xiàn)機讀碼區(qū)域字符具有以下特點(1)機讀碼區(qū)域字符尺寸一定；(2)所有字符均為黑色印刷體字符，采用OCR-B字體；(3)各字符筆畫均相連。針對以上特點本方法采用基于連通區(qū)域分析的方法來定位機讀碼區(qū)域。
由于機讀碼區(qū)域位置相對固定，為提高處理速度，僅在圖像的下1/3區(qū)域內(nèi)進行機讀碼區(qū)域提取，其方法步驟如下(1)首先在HSI(Hue Saturation Intensity)空間對圖像進行彩色濾波，保留所有滿足Thue＝Black的像素點，濾除背景圖像。
(2)彩色濾波后，會出現(xiàn)筆畫斷裂影響連通區(qū)域分析，因此采用膨脹操作完成濾波后字符圖像的筆畫粘連，保證每個字符構成一個完整的連通區(qū)域。
(3)利用文獻(Yu and A.Jain.A generic system for form ropout.IEEETrans.Pattern Analysis and Machine Intelligent，1996，181127-1134.)中提出的連通區(qū)域分析算法得到上述圖像中每一個連通區(qū)域的外接矩形。剔除尺寸超過限定范圍的矩形，得到矩形集合。
(4)最后，根據(jù)外接矩形集合劃定機讀碼區(qū)域。分析機讀碼區(qū)域特點，并結合機讀碼字符國際標準，本方法提出以下假設(a)同一行相鄰字符的外接矩形在垂直位置上相差較??；(b)同一行相鄰字符的水平距離較小；(c)一行機讀碼字符的長度大于圖像長度的3/4，將外接矩形集合劃分為若干不相交的子集，各子集同時滿足假設(a)和(b)。
(5)求出每個子集中所有矩形的最小外接矩形，外接矩形寬度超過圖像寬度3/4的矩形區(qū)域即為機讀碼字符區(qū)域。
機讀碼識別方法具體步驟如下由于證件圖像采集時，可能存在圖像傾斜的情況，且字符識別算法只能處理單個文字的二值圖像，因此在字符識別之前需進行傾斜校正、二值化以及字符分割等操作。
針對圖像采集過程中產(chǎn)生的圖像傾斜，本方法采用最小二乘法對每一行機讀碼字符外接矩形的左上角像素坐標進行線性擬合。擬合得到的直線傾斜角度作為機讀碼區(qū)域的傾斜角度。
對圖像進行二值化得到機讀碼的二值圖像，利用已得到的所有字符外接矩形，可直接完成對字符的分割。得到每機讀碼區(qū)域中每個字符的圖像。
利用OCR算法識別上述字符圖像，得到文本信息。同時得出機讀碼區(qū)域各字符圖像與字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}。其中，N為機讀碼區(qū)域字符的個數(shù)，SimVectorn為第n個字符模版的相似度向量，表示為SimVector＝{Simm|1≤m≤M}，其中M為字符種類的個數(shù)，即37。Simm是這個字符與所有字符種類中第m個字符的相似度。
2.面部特征提取方法如下面部特征提取由兩部分構成人臉檢測和人臉比對。人臉檢測負責定位圖像中的人臉位置。人臉比對負責提取人臉面部特征，與樣本特征進行比對，得到相似度。
本方法實現(xiàn)了一個正面人臉檢測框架，該框架分為離線訓練和在線檢測兩部分。離線訓練從一個大特征樣本中選取若干最有效的特征，并為每個特征生成一個弱分類器，通過將這些分類器進行級聯(lián)組合得到一個強學習算法。分類器訓練結束以后，即可應用于在線檢測中。在線檢測通過使用大小不同的窗口掃描圖像，使用學習階段得到的分類器檢測窗口圖像，若該窗口圖像通過了所有的弱分類器，即認為該子窗口圖像為人臉圖像。對所有窗口圖像進行檢測之后，結合所有檢測結果，得到最后的輸出。
人臉特征提取采用文獻(AV Nefian and MH Hayes IIIAn embeddedHMM-based approach for face detection and recognition.InIEEE Inter.Conf.on Acoustics，Speech and Signal Processing，IEEE Press，NewYork(1999)3553-3556)中提出的基于EHMM的特征提取算法，根據(jù)人臉五官特征，人臉圖像的EHMM取5個超狀態(tài)對應人臉的額頭、眼睛、鼻子、嘴和下巴，分別描述和代表人臉的宏觀特征，每個超狀態(tài)內(nèi)嵌入的狀態(tài)分別描述人臉局部區(qū)域特征。人臉特征提取采用以下流程，由于特征提取和比對會受到諸如圖像大小、亮度以及背景噪聲等因素的影響，所以首先對對人臉圖像進行大小歸一化、消除噪聲、灰度歸一化等，以便在同一條件下完成訓練和識別。然后建立人臉圖像的EHMM。為了能夠準確的表示人臉特征同時保證算法效率，每個超狀態(tài)中的嵌入狀態(tài)數(shù)取值為(3，6，6，6，3)。
3.身份比對方法僅將某一種特征作決策依據(jù)不能充分的利用證件所提供的信息，難以保證身份比對的準確性，本方法采用基于決策級融合的身份比對綜合考慮不同類型的特征，從而得到更可靠、全面、準確的比對結果。該方法通過文本特征比對和面部特征比對得到兩組比對結果，并在決策級對兩類結果進行融合，最終給出一個二類決策該人員是否為樣本集中的樣本。
在文本信息提取階段，識別得到所有機讀碼區(qū)域字符，同時得到了一個相似度向量序列VectorSeries。本階段采用以下步驟進行特征比對根據(jù)ICAO-9303機讀碼標準，機讀碼字符中具有不同語義的字符被連續(xù)的‘＜’分割開。因此首先通過確定識別結果中‘＜’的位置將機讀碼字符分割成具有ICAO-9303所定義語義的字符串。
利用相似度向量序列VectorSeries計算每個語義字符串與重點人物數(shù)據(jù)庫中對應文本特征的相似度。例如，對于文本特征“ABC”，在VectorSeries中查找字符串首字符與A的相似度，第二個字符與B的相似度以及第三個字符與C的相似度，按照下式計算與這個文本特征的相似度即可SimOfCluster=Σi=1NSimi]]>其中Simi為語義字符串中第i個字符與對應特征字符的相似度，N為字符串中的字符個數(shù)。將語義字符串的相似度進行加權平均，得到整個文本信息與重點人物數(shù)據(jù)庫中文本信息的相似度。對于具有重要性較高語義的字符，賦給其較高的權值，而語義相對不重要的字符賦予其較低的權值，下式表示了本方法采用的相似度計算方法μ=Σi=1MαiSimOfClusteriΣi=1Mαi.]]>其中，αi為語義字符串的權值，以護照為例各字符的權值如表1所示。SimOfClusteri表示文本信息中第i個語義字符與比對樣本中對應信息的相似度，M為文本語義字符串的個數(shù)。

至此，能夠得到待比對樣本經(jīng)過文本特征比對后的一組識別結果，表示為Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，...，(o1，ω1，i)，...，(o1，ω1，p)}，其中ω1，i＝μi為文本特征與第i個樣本oi的相似度。
與文本特征比對相似，將前面得到的面部特征與樣本空間中所有人臉特征進行比對得到相似度。本發(fā)明首先通過2D-DCT變換得到證件中人臉圖像的觀察向量序列V，采用EHMM模型的前向后向算法計算觀察向量序列V與模型參數(shù)λ＝(π，A，Λ)的吻合概率p(V|λ)，從而得到待比對樣本與重點人物數(shù)據(jù)庫中所有面部特征EHMM模型的吻合概率序列，即待比對樣本經(jīng)“面部特征通道”的識別結果，表示為Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，i)，...，(o1，ω2，p)}，其中ω2，i＝p(V|λi)為待鑒別樣本面部特征與第i個樣本oi的相似度。
通過文本特征比對，獲得了待比對樣本文本特征與樣本空間中各元素的相似度，可將其理解為樣本經(jīng)過“文本特征通道”得到的“模糊”判別結果。通過面部特征比對，得到了樣本面部特征信息與樣本空間各元素的相似度，可將其理解為樣本經(jīng)過“面部特征通道”的另一組“模糊”判別結果。利用模糊集方法將兩個通道的結果進行融合，模糊綜合函數(shù)取S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或S(ω1,i,ω2,i)=ω1,i+ω2,i2.]]>最終的分類判據(jù)為，若maxS(ω1，i，ω2，i)＞T則該人員為第g個樣本，否則該人員為非重點人物，其中T為相似度閾值，g＝argimaxS(ω1，i，ω2，i)。
權利要求
1.一種基于信息融合的機讀旅行證件識別方法，其特征在于步驟如下(1)機讀碼信息提取包括自動定位機讀碼區(qū)域和自動字符識別，通過自動定位機讀碼區(qū)域確定機讀碼字符的區(qū)別，再通過自動字符識別得到持證人的文本信息，然后將此文本信息保存至數(shù)據(jù)庫中；(2)面部特征提取檢測證件圖像中人臉圖像位置，提取持證人面部特征，將此特征信息存入數(shù)據(jù)庫中；(3)身份比對將文本特征和面部特征分別與重點人物數(shù)據(jù)庫中的特征數(shù)據(jù)進行比對，并對兩類比對結果在決策級進行融合，判斷持證人是否為重點人物數(shù)據(jù)庫中的成員。
2.根據(jù)權利要求1所述的基于信息融合的機讀旅行證件識別方法，其特征在于所述步驟(1)中的自動定位機讀碼區(qū)域的方法采用基于連通區(qū)域分析的方法，具體如下(1)在HSI空間采用Thue＝Black對圖像進行彩色濾波，濾除背景圖像；(2)采用膨脹操作完成濾波后字符圖像的筆畫粘連，保證每個字符構成一個完整的連通區(qū)域；(3)分析圖像連通區(qū)域得到每一個連通區(qū)域的外接矩形，剔除尺寸超過限定范圍的矩形，得到矩形集合；(4)根據(jù)外接矩形集合劃定機讀碼區(qū)域即將外接矩形集合劃分為若干不相交的子集，各子集同時滿足(a)和(b)(a)同一子集內(nèi)的相鄰矩形垂直位置相差較??；(b)同一子集內(nèi)相鄰矩形水平距離較??；(5)求出每個子集中所有矩形的最小外接矩形，長度超過圖像長度3/4的矩形區(qū)域即為機讀碼字符區(qū)域。
3.根據(jù)權利要求1所述的基于信息融合的機讀旅行證件識別方法，其特征在于所述步驟(1)中的自動字符識別方法如下(1)采用最小二乘法對每一行機讀碼字符外接矩形左上角像素坐標進行線性擬合，根據(jù)擬合得到的直線傾斜角對圖像進行旋轉(zhuǎn)；(2)對旋轉(zhuǎn)后的圖像進行二值化操作，得到機讀碼圖像二值圖像；(3)對上述二值圖像利用字符外接矩形信息完成對字符的分割，得到每一個機讀碼字符的圖像；(4)利用OCR算法識別上述字符圖像，得到文本信息，同時得出機讀碼區(qū)域各字符圖像與字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}，其中N為機讀碼區(qū)域字符的個數(shù)，SimVectorn為第n個字符模版的相似度向量，表示為SimVector＝{Simm|1≤m≤M}，其中M為字符模版的個數(shù)，Simm是這個字符與第m個字符模版的相似度。
4.根據(jù)權利要求1所述的基于信息融合的機讀旅行證件識別方法，其特征在于所述步驟(2)中的自動檢測證件圖像中人臉圖像位置，提取持證人面部特征的方法步驟如下(1)離線訓練，利用Adaboost算法從一個大特征樣本中選取若干最有效的特征，并為每個特征生成一個弱分類器，通過將這些分類器進行級聯(lián)組合得到一個強學習算法；(2)在線檢測，使用大小不同的窗口掃描圖像，使用學習階段得到的分類器檢測窗口圖像，若該窗口圖像通過了所有的弱分類器，即認為該子窗口圖像為人臉圖像；(3)結合檢測結果得到最終人臉位置；(4)對定位得到的人臉圖像進行大小歸一化、消除噪聲、灰度歸一化；(5)采用基于EHMM的特征算法為每一個人臉建立一個EHMM模型。
5.根據(jù)權利要求1所述的一種基于信息融合的機讀旅行證件識別方法，其特征在于所述的步驟(3)中的在決策級進行融合的融合方法為基于模糊綜合的融合算法，其步驟如下(1)根據(jù)自動字符識別中得到的文本信息中‘＜’的位置將機讀碼字符分割成具有ICAO-9303標準所定義的語義字符串；(2)根據(jù)自動字符識別中所得到的相似度向量序列計算每個語義字符串與重點人物數(shù)據(jù)庫中對應文本特征的相似度。得到待比對樣本經(jīng)過文本特征對比后的一組識別結果，表示為Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，...，(o1，ω1，i)，...，(o1，ω1，p)}。其中，ω1，i為文本特征與第i個樣本oi的相似度；(3)采用EHMM模型的前向后向算法計算觀察向量序列V與模型參數(shù)λ＝(π，A，Λ)的吻合概率p(V|λ)，得到待比對樣本與重點人物數(shù)據(jù)庫中所有面部特征EHMM模型的吻合概率序列，即待比對樣本經(jīng)面部特征比對的一組識別結果，表示為Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，i)，...，(o1，ω2，p)}，其中ω2，i＝p(V|λ1)為待鑒別樣本面部特征與第i個樣本oi的相似度；(4)利用模糊集方法將文本特征比對和面部特征比對所得結果進行融合，模糊綜合函數(shù)取S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或S(ω1,i,ω2,i)=ω1,i+ω2,i2;]]>(5)若maxS(ω1，i，ω2，i)＞T，則該人員為第g個樣本，否則該人員為非重點人物，其中T為相似度域值，g＝argimaxS(ω1，i，ω2，i)。
全文摘要
一種基于信息融合的機讀旅行證件識別方法機讀碼信息提取機讀碼信息提取主要包括自動定位機讀碼區(qū)域和自動字符識別，通過自動定位機讀碼區(qū)域確定機讀碼字符的區(qū)別，再通過自動字符識別得到持證人的文本信息，然后將此文本信息保存至數(shù)據(jù)庫中；面部特征提取檢測證件圖像中人臉圖像位置，提取持證人面部特征，將此特征信息存入數(shù)據(jù)庫中；身份比對將文本特征和面部特征分別與重點人物數(shù)據(jù)庫中的特征數(shù)據(jù)進行比對，判斷持證人是否為重點人物數(shù)據(jù)庫中的成員。本發(fā)明能夠自動識別證件圖像中的文本信息，同時自動提取證件中包含的持證人面部特征信息，并通過特征比對及結果融合準確地判斷持證人是否為重點人物，提高了持證人身份對比的準確度。
文檔編號G06K9/00GK101038686SQ200710063360
公開日2007年9月19日 申請日期2007年1月10日 優(yōu)先權日2007年1月10日
發(fā)明者吳遹, 歐陽元新, 薛玲, 李超, 盛浩, 熊璋 申請人:北京航空航天大學