專利名稱：紅外步態(tài)雙信道特征融合識別方法
技術領域：
本發(fā)明涉及一種紅外步態(tài)雙信道特征融合識別方法。特別是涉及一種將紅外熱釋電和紅外成像相結合對人體身份進行識別的紅外步態(tài)雙信道特征融合識別方法。
背景技術：
生物特征識別技術是利用人體先天的生理特征或固有的行為特征來進行身份認證的新技術。指紋、虹膜、臉像等生理特征，通常要求近距離或者接觸性的感知，而步態(tài)是遠距離情況下可感知的行為特征。步態(tài)識別因其非侵犯、遠距離、難偽裝等優(yōu)勢引起了計算機視覺領域的濃厚興趣，成為近年來生物特征識別技術中備受關注的前沿方向。人的步態(tài)是一種日益受到重視的生物測量特征，它是通過人步行的方式，達到識別人身份的目的。步態(tài)識別近兩年來備受關注，如2000年美國國防高級項目DARPA制定的 H ID (Human Identification at a Distance)計劃；美國五角大樓也正擬定采用步態(tài)識別技術進行反恐工作。國際上許多知名大學和研究機構如英國南安普頓大學、美國麻省理工學院、卡耐基梅隆大學等在H ID項目的驅動下廣泛展開了步態(tài)識別研究工作。日本、瑞士、 加拿大和中國的一些研究機構和大學也逐步展開了相關研究。目前的步態(tài)識別分析大多數(shù)采用基于視頻圖像序列的方法，通常包含運動檢測、 周期檢測、特征提取、識別算法4個過程。運動檢測的目的是從視頻序列的場景中檢測、提取出運動目標。常用的運動檢測方法有基于特征的方法、幀間差分法、背景減除法、光流法。3. 1運動檢測基于特征的方法包含兩個主要的步驟，一是從視頻圖像序列中提取特征并建立它們之間的對應關系；二是依據(jù)特征的對應關系計算物體的結構和運動參數(shù)?；谔卣鞯姆椒軌蚝芎玫乜坍嬆繕说倪\動，但是特征點的尋找和匹配比較困難，同時由于缺乏快速算法，也限制了其在實時智能監(jiān)控系統(tǒng)中的應用。幀間差分法利用視頻序列中連續(xù)兩幀或3幀圖像亮度變化來提取運動目標。 Lipton等人使用連續(xù)兩幀圖像的差分檢測運動目標；Collins等人提出了一種3幀時間差分方法，改善了對噪聲的敏感性；Chang等人改進了傳統(tǒng)的幀問差分方法，結合連通分量標記、形態(tài)學閉運算和人體結構分析來濾除噪聲和陰影的影響提取運動目標；幀間差分法方法簡單，運算速度快，易于實現(xiàn)，能較快適應動態(tài)場景的變化；其不足之處在于對噪聲敏感， 運動物體內(nèi)部亮度較均勻時只能檢測到目標的邊緣，無法檢出整個物體。背景減除法是利用當前幀圖像與背景圖像的差分運算進行運動檢測的一種方法。 背景減除法的關鍵是背景模型的構造，其中自適應背景建模是其研究的重點。Wren等人利用高斯分布來表示每個像素的顏色強度，研究了室內(nèi)人體的運動檢測與跟蹤；Friedman和 Russell將像素的灰度值看作是背景、前景和陰影3個高斯分布的加權，同時采用EM(期望最大化)算法獲得模型參數(shù)；這類方法一般能夠提供完全的特征數(shù)據(jù)，但對由于光照及其他外界擾動引起的場景變化特別敏感。主要應用于靜止背景的情況。光流法是一種以灰度梯度基本不變或亮度恒定的約束假設為基礎的運動目標探測的有效方法。Sidenbladh刮利用濃度光流特征來訓練SVM(支持向量基)，從而檢測人的運動；Ishiyama等使用線形光流算法實現(xiàn)了高速、高精度的光流檢測，隨后最小生成樹被用來進行運動分割。光流反映了序列圖像中的速度場，光流法善于在運動場景中捕捉運動對象的運動特性，但是大多數(shù)光流法的計算比較復雜并且抗噪性比較差，這就阻止了它在實時智能監(jiān)控系統(tǒng)中的應用。3. 2周期檢測依據(jù)背景環(huán)境的差異，通過對檢測出的運動目標進行最大連通域分析或采用其他一些目標分類的方法，可以從圖像序列中提取出人體區(qū)域。隨后，就要處理步態(tài)識別中一個重要的環(huán)節(jié)周期檢測。Culter等人通過計算人體輪廓隨時問變化的自相似性，利用自相關分析提出了一個周期檢測的通用方法，但是這種方法計算量非常大；BenAbdelkader等人根據(jù)人體區(qū)域綁定框的寬度信號分析了步態(tài)序列的周期性，并給出了側面視角和偏離側面視角較大情況下的周期計算方法；Collins等人分析了 CMU Mobo步態(tài)庫中6個視角下人體寬度和高度信號周期變化，并據(jù)此提取步態(tài)序列的關鍵幀以降低計算復雜度；考慮到計算復雜度和實時性，當前步態(tài)周期檢測主要是通過分析人體寬度信號或人體區(qū)域像素點數(shù)來實現(xiàn)的。3. 3特征提取特征提取直接影響最終的識別性能，根據(jù)特征提取的差異可將步態(tài)識別的方法廣義地分為兩類基于統(tǒng)計特性和基于模型兩類方法。3. 3. 1基于統(tǒng)計特性的方法基于統(tǒng)計的方法不需要構建模型，而是先對待研究的對象提出假設，然后用圖像序列中目標移動所產(chǎn)生的時空模式的各類統(tǒng)計值，從步態(tài)中提取特征參數(shù)。其中，最常用的就是步態(tài)輪廓特征。這類算法和身體的結構、步行的動態(tài)特性沒有直接關系。Murase提出了一種時空相關匹配的方法用于區(qū)別不同的步態(tài)。Shutler等提出了一種基于時間矩的統(tǒng)計步態(tài)識別算法；Hayfron Acquah使用廣義對稱性算子進行步態(tài)識別。Wang提出了一種基于輪廓的步態(tài)識別方法，從輪廓組成點和重心之間連線構成特征向量集；Huang從步態(tài)時空信息中抽取特征，再運用主元分析法(PCA)對特征數(shù)據(jù)進行降維處理；Kale采取的是一種以步行人的輪廓的寬度為提取特征的識別方法，使用動態(tài)時間規(guī)劃 (DTff)進行待測特征向量序列和樣本序列的匹配。Kale從每一個對象的圖像序列中選擇、 建立一組樣本，使用這些樣本生成一個維數(shù)較低的樣本距離框架矢量，然后對連續(xù)隱馬爾可夫模型進行訓練，對各模型輸入待測樣本，根據(jù)輸出結果即可達到識別目的。上述基于統(tǒng)計特性的方法，其特點是計算量較小，有助于在實用環(huán)節(jié)中達到實時運算的目的，但對背景和光照信號的變化敏感，一旦場景中出現(xiàn)遮擋現(xiàn)象識別能力將受到較大影響。3. 3. 2基于模型的特征抽取方法遮擋現(xiàn)象在實際應用中隨時都可能出現(xiàn)，人的步行存在著攜帶諸如提包、雨傘、背包等足以改變外形、掩蓋部分人體的現(xiàn)象；在很多運動場合，還存在著人的身體自我遮擋的現(xiàn)象。另外，同一個人身著不同種類的鞋和衣服，也會導致身體在二維平面的投影出現(xiàn)變化，對于基于統(tǒng)計特征方法而言，顯然會造成影響。對步態(tài)識別研究而言，成功解決遮擋問題是至關重要的，而基于模型的步態(tài)分析就有這方面的優(yōu)勢，原因在于模型是依賴于序列圖像中人的移動模式而建立，能夠反映當前的變化，還能對過去和將來的變化進行估算?；谀Ｐ偷牟綉B(tài)識別方法預先建立模型，通過模型和二維圖像序列的匹配獲得模型參數(shù)，則參數(shù)的比較結果等價于識別結果。目前的模型有Lee構建的橢圓模型、Nash建立的人字型模型、Cunado建立的鐘擺模型、Urtasun建立的3D模型3. 4識別算法在提取了步態(tài)特征之后，就要將待測序列的特征與樣本特征進行比對完成最終的識別任務。當前步態(tài)識別研究中采用的兩個主要方法是模板匹配和統(tǒng)計方法。3. 4. 1模板匹配模板匹配方法廣泛應用于模式識別領域，是一種基本的特征匹配方法。faster等人舊刮的區(qū)域度量獲取的特征進行比對時采用的也是類似的方法；Sarkar等人對序列圖像的相似性描述采用的是圖像模板匹配；模板匹配中另一類有效的方法是動態(tài)時間規(guī)整 (DTff)。動態(tài)時間規(guī)整能夠對存在全局或局部擴展、壓縮或變形的模式進行匹配，解決動態(tài)模式的相似度量和匹配問題。在步態(tài)識別中，測試序列與樣本序列的時間尺度一般不同，而動態(tài)時間規(guī)整可較好地完成這種情況下的匹配，且具有簡單易懂、算法魯棒的優(yōu)點。3. 4. 2統(tǒng)計方法模板匹配實際是一種基于距離度量的方法，在步態(tài)識別中使用這種方法就忽略了隱含在步態(tài)序列中的姿態(tài)之間的聯(lián)接關系，而隱馬爾可夫模型(HMM)可以很好地融合這些信息。步態(tài)周期可以看作一個雙重隨機過程，其中隱過程用姿態(tài)之間的轉移來描述，而顯過程則用特定姿態(tài)下的圖像特征刻畫。在基于隱馬爾可夫模型的步態(tài)識別中，步態(tài)序列被看作是人體行走姿態(tài)在給定約束下的一種遍歷關系。通過對樣本庫中每個目標調(diào)整模型參數(shù) A= (^1丄8)，使得同一目標的測試序列的？(0|入)達到最大。除隱馬爾可夫模型外，步態(tài)識別中還有其他基于統(tǒng)計的方法。Bazin和Nixon對訓練集建立了特征分布的類內(nèi)和類間先驗概率分布模型，然后通過貝葉斯分類器實現(xiàn)個體的驗證，收到較好的效果。綜上所述，步態(tài)識別是模式識別的范疇，是生物特征識別的一種新方法，能夠應用于安全要求較高的場所，降低公共、個人財物被侵犯的風險，對其的研究有著廣泛的現(xiàn)實意義。目前常用的基于視頻步態(tài)識別是普通攝像頭拍攝的視頻序列。正由前述，人步行時的攜帶物如提包、雨傘、背包等會改變外形，另外鞋和衣服也會對識別產(chǎn)生影響。而紅外攝像頭是對人體的熱成像，對這些因素不敏感，可以降低其對識別的影響。基于模型的方法雖然能夠有效改善遮擋的問題，但是由于算法的復雜，和實時性的要求產(chǎn)生矛盾。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是，提供一種保證實時性與效能的統(tǒng)一，又能有效保證識別率的紅外步態(tài)雙信道特征融合識別方法。本發(fā)明所采用的技術方案是一種紅外步態(tài)雙信道特征融合識別方法，包括如下步驟1)紅外圖像預處理，首先采用混合高斯模型的背景減除法實現(xiàn)運動人體的檢測； 然后進行形態(tài)學處理，即采用形態(tài)學濾波來消除二值圖像中的噪聲并填補運動目標的缺失；
2)紅外圖像特征提取，首先需要對步態(tài)序列的周期進行劃分，基于輪廓寬度的周
期性來確定步態(tài)周期；確定步態(tài)能量圖，步態(tài)能量圖的定義如下 1 N
權利要求
1.一種紅外步態(tài)雙信道特征融合識別方法，其特征在于，包括如下步驟1)紅外圖像預處理，首先采用混合高斯模型的背景減除法實現(xiàn)運動人體的檢測；然后進行形態(tài)學處理，即采用形態(tài)學濾波來消除二值圖像中的噪聲并填補運動目標的缺失；2)紅外圖像特征提取，首先需要對步態(tài)序列的周期進行劃分，基于輪廓寬度的周期性來確定步態(tài)周期；確定步態(tài)能量圖，步態(tài)能量圖的定義如下
2.根據(jù)權利要求1所述的紅外步態(tài)雙信道特征融合識別方法，其特征在于，步驟1實現(xiàn)運動人體的檢測中，混合高斯模型使用K個高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配， 如果成功則判定該點為背景點，否則為前景點，從而得到二值圖像，其中K為3 5。
3.根據(jù)權利要求1所述的紅外步態(tài)雙信道特征融合識別方法，其特征在于，步驟1中所述的形態(tài)學處理，是采用形態(tài)學濾波來消除二值圖像中的噪聲并填補運動目標的缺失。
4.根據(jù)權利要求3所述的紅外步態(tài)雙信道特征融合識別方法，其特征在于，形態(tài)學濾波處理后，還要對圖像進行連通域分析。
5.根據(jù)權利要求1所述的紅外步態(tài)雙信道特征融合識別方法，其特征在于，步驟2中所述的輪廓寬度是一個周期信號，該周期信號中的極大極小值點，是用一階微分的方法來確定，具體的方法為(1)求步態(tài)序列的矩形窗，計算寬度信號，可以由分割區(qū)域最小最大縱坐標確定；(2)為了去除小的毛刺避免機器將其誤判為偽極值點，使用低通濾波器對寬度信號進行平滑濾波；(3)計算濾波后寬度信號的一階微分，尋找過零點；(4)假設第i個過零點記為Pi，以Pi作為一個步態(tài)周期的起點，則該步態(tài)周期的終點為 Pi+4，將其記為(P”Pi+4)來表示序列中的步態(tài)周期。
6.根據(jù)權利要求1所述的紅外步態(tài)雙信道特征融合識別方法，其特征在于，步驟4所述的分類識別，是提取紅外圖像的步態(tài)能量圖特征及紅外熱釋電頻譜特征后，首先對該特征項在特征層上進行融合，步態(tài)能量圖特征經(jīng)主成分分析后的特征矩陣為禮Xm2，熱釋電紅外傳感器頻譜信號經(jīng)主成分分析后的特征矩陣為Pnxm3，將這兩種特征以前后組合方式合并成一個新的特征矩陣，即T= [R，P]。
全文摘要
一種紅外步態(tài)雙信道特征融合識別方法，步驟是紅外圖像預處理，首先采用混合高斯模型的背景減除法實現(xiàn)運動人體的檢測；然后進行形態(tài)學處理，即采用形態(tài)學濾波來消除二值圖像中的噪聲并填補運動目標的缺失；紅外圖像特征提取，首先需要對步態(tài)序列的周期進行劃分，基于輪廓寬度的周期性來確定步態(tài)周期；確定步態(tài)能量圖；紅外熱釋電特征提取，首先進行數(shù)據(jù)采集，然后，對采集的電壓信號進行去噪處理，而后對時域信號進行傅里葉變換得到其頻譜，然后再利用PCA進行降維，得到特征向量；分類識別。本發(fā)明由于紅外熱釋電采集的人體運動時的一維電壓信號，易實時實現(xiàn)，紅外圖像對人步行時的攜帶物如提包、雨傘、背包等會改變外形不太敏感，此外在夜間也可以進行工作。
文檔編號G06K9/00GK102289672SQ201110149549
公開日2011年12月21日 申請日期2011年6月3日 優(yōu)先權日2011年6月3日
發(fā)明者萬柏坤, 馮麗, 張力新, 徐瑞, 明東, 王璐, 綦宏志, 邱爽 申請人:天津大學