本發(fā)明涉及模式識別技術(shù)領域，尤其是一種基于傅里葉描述子和步態(tài)能量圖融合特征的步態(tài)識別方法。

背景技術(shù)：

伴隨科技的進步，生物特征識別技術(shù)以其便利性、安全可靠受到越來越多人的青睞，如人臉識別、指紋識別、步態(tài)識別等，其中步態(tài)識別是唯一能遠距離識別的生物技術(shù)，憑借其非侵犯性、難以修飾隱藏等特點，已成為智能監(jiān)控領域的一個研究熱點，如美國的遠距離身份識別(HID，Human Identification at a Distance)計劃。

傳統(tǒng)步態(tài)表征技術(shù)有三類：結(jié)構(gòu)表征、非結(jié)構(gòu)表征及融合表征；結(jié)構(gòu)表征通過對人體部分(如膝蓋、腿部、手臂等)建模跟蹤，獲得系列人體參數(shù)作為特征，這些特征具有獨立的方向性和模型獨立性，但對步態(tài)序列很敏感、參數(shù)運算量較大；非結(jié)構(gòu)表征則只對圖像序列中運動人體生成的時空模式做統(tǒng)計分析，隱含定義應該觀察的特征，進而實現(xiàn)步態(tài)特征提取和識別，優(yōu)點是對步態(tài)序列敏感度較低，運算量小、實時性好，但對背景和光照信號較敏感。

融合表征將幾種不同特征根據(jù)互補原則進行融合，得到比單一特征更好的識別性能，分為不同步態(tài)特征之間融合、步態(tài)特征與其他生物特征之間融合兩類。關于前者，Wang等人提出將基于Procrustes形狀分析的靜態(tài)特征與跟蹤人體下肢關節(jié)運動軌跡的動態(tài)特征相融合，Nandini等人也提出將最大信息壓縮索引和步態(tài)的周期特征進行融合來進行步態(tài)識別；而后者多涉及多模態(tài)的生物特征，一般為決策級融合，如Kale等人使用人臉和步態(tài)特征的決策級融合方法，并分別嘗試了分層和整體兩種策略。大量的實驗表明，基于融合特征的識別算法性能明顯優(yōu)于基于任何單一特征的算法。

考慮到步態(tài)識別對實時性、準確性的高標準，選擇何種特征、使用何種方式進行融合，都將直接影響到最終的識別，因此未來的工作之一將集中在融合特征的選擇上。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提供一種基于融合特征的步態(tài)識別方法，旨在解決現(xiàn)有步態(tài)識別方法中實時性與準確性之間“魚和熊掌不可兼得”的問題。

本發(fā)明解決其技術(shù)問題采用以下的技術(shù)方案：

本發(fā)明提供的基于傅里葉描述子和步態(tài)能量圖融合特征的步態(tài)識別方法，具體是：對單幀圖像實時采集側(cè)面步態(tài)視頻并進行灰度化預處理，使用融合混合高斯模型實時更新背景，并通過背景減除法獲取前景；對每幀進行二值化、形態(tài)學處理，獲取運動人體的最小外接矩，將運動人體所在區(qū)域從圖像中分割出來，并歸一化至同一高度，根據(jù)最小外接矩高寬比的周期性變化獲取步態(tài)周期及關鍵5幀；提取關鍵5幀傅里葉描述子的低頻部分作為步態(tài)特征一；中心化周期內(nèi)所有幀以獲取步態(tài)能量圖，通過主成分分析降維作為步態(tài)特征二；融合步態(tài)特征一和步態(tài)特征二，得到最終描述子后，采用支持向量機進行識別。

所述的灰度化預處理，參照重要程度，即人眼對綠色敏感度最高，采用下式對RGB三分量進行加權(quán)平均得到灰度圖像，

f(x,y)＝0.30R(x,y)+0.59G(x,y)+0.11B(x,y)

式中：f(x,y)為灰度化后點(x,y)的灰度值，R(x,y)、G(x,y)、B(x,y)分別為坐標(x,y)處紅色、綠色和藍色分量的值。

本發(fā)明采用以下方法使用融合混合高斯模型與背景減除法獲取前景，該方法包括以下步驟：

(1)使用視頻前t時刻的歷史灰度圖完成混合高斯模型初始化，即t時刻坐標(x,y)處像素取值為X_t的概率P(X_t)為：

式中：K為高斯分布的個數(shù)，一般取3-5；ω_i,t是第i個分布t時刻的權(quán)重估計值，n為X_t的維數(shù)，μ_i,t、∑_i,t分別為第i個分布t時刻的均差、協(xié)方差；

(2)將X_t與混合高斯模型一一進行匹配，如下式：

|X_t-μ_t|＜Dσ_t

式中：一般取D為2.5；σ_t為高斯分布的方差，若滿足上式，則認為匹配成功，執(zhí)行步驟(3)，否則執(zhí)行步驟(4)；

(3)若匹配成功，則檢查此高斯分布的權(quán)值是否滿足下式：

ω_i,t＞1-T

式中：T為描述背景的最小權(quán)值比例，若滿足該關系式，則此高斯分布被劃分為描述背景的前B個高斯分布之一(B通常取3-5個)，在后續(xù)的操作中將不再執(zhí)行更新；

(4)若匹配不成功，則按下式更新各高斯分布的參數(shù)：

式中：α為學習率，ρ為更新速度，分別為t時刻ω_i,t、μ_i,t、σ_i,t的估計值，作為t+1時刻的值；

(5)高斯分布更新完成后，根據(jù)歸一化，按ω_i,t/σ_i,t的大小降序排列，取前B個分布作為背景模型，通過背景減除法獲取當前前景。

本發(fā)明采用包括以下步驟的方法獲取步態(tài)周期及關鍵5幀，具體為：

(1)使用形態(tài)學處理中的閉操作，消除前景中的空洞；

(2)獲取運動人體所在的最小外接矩，具體為：

按行遍歷整圖，搜尋人體的最上和最下非零像素點，分別記錄兩點的縱坐標y_top、y_bottom；按列遍歷整圖，搜尋人體的最左和最右兩像素，分別記錄兩點的橫坐標x_left、x_right；將坐標(x_left,y_top)、(x_right,y_bottom)分別作為矩形框的左上角和右下角坐標，則這個矩形框即為包含人體的最小外接矩；

(3)截取前景中最小外接矩所對應的區(qū)域，保持矩形長寬比不變，縮放到同一高度H＝128像素，得到長寬一致且只含人體的前景區(qū)域，簡稱原圖；

(4)根據(jù)人體寬高比的變化獲取人的步態(tài)周期及關鍵5幀，具體為：

1)計算每一幀的高寬比k＝h/w，按時間先后存入數(shù)組{k₁，k₂，...，k_n}中；

2)從第一幀開始尋找k滿足以下要求的五幀以獲取步態(tài)周期：“極大值→極小值→極大值→極小值→極大值”，從第一個和第三個極大值處對視頻序列分割，并將以上5幀作為關鍵5幀存儲。

所述步態(tài)特征一，由以下方法獲得，具體為：

(1)對所述關鍵5幀逐幀使用canny算子獲取人體的外輪廓，將輪廓上的每一點表示為如下形式：z_i＝x_i+jy_i，其中x_n、y_n為輪廓上第n個的橫縱坐標，j為虛數(shù)單位；

(2)設輪廓上共m個點，將這m點的z_i組成一個數(shù)列{z₁，z₂，...，z_m}，對該數(shù)列進行離散傅里葉變換，獲得傅里葉描述子；

(3)提取前N個傅里葉描述子，作為步態(tài)特征一。

所述步態(tài)特征二，由以下方法獲得，具體為：

(1)對所述的原圖進行中心化處理；

1)計算未中心化的矩形區(qū)域水平方向的中心x_center，公式如下：

式中：N_d為矩形區(qū)域內(nèi)表示人體的像素點總數(shù)，x_n表示未中心化人體區(qū)域的第n個像素點的x坐標；

2)將所述的原圖擴展到同一寬度W，擴展部分用值為0的像素進行填充；

3)對原圖中所有點按下式進行中心化移動：

式中：I_old(x，y)為原圖坐標(x,y)處的像素值，I_new(x，y)為中心化后坐標(x,y)處的像素值；

(2)以步態(tài)周期為單位，獲取每個周期的步態(tài)能量圖：

式中：Q為當前周期內(nèi)圖像的幀數(shù)，I_i，t(x，y)為第t幀步態(tài)圖像坐標(x,y)處的像素值，G(x,y)為步態(tài)能量圖坐標(x,y)處的像素值，對整張圖進行上述操作即可獲得步態(tài)能量圖G；

(3)對所有步態(tài)能量圖使用2DPCA法進行降維處理，具體為：

1)獲取投影矩陣A；

設測試樣本(即步態(tài)能量圖)G_k有M個，G_k∈R^128×w，k＝1，2，...，M,則平均圖像矩陣圖像的協(xié)方差矩陣為：定義J(A)＝tr(A^TC₀A)，現(xiàn)求取投影矩陣A(A為W×N的矩陣)，滿足A＝argmax[J(A)]；

2)對步態(tài)能量圖進行主成分提取，即對待降維步態(tài)能量圖G_k進行投影，公式如下：

G′_k＝G_kA，

式中：G′_k為128×N的矩陣，即G_k投影后的特征矩陣。

本發(fā)明可以采用以下方法獲得最終描述子：

將獲取的關鍵幀的N個傅里葉描述子作一個1×N的行向量，共5幀即5行，與G′_k組成一個133×N的矩陣，作為最終描述子，記為F。

所述采用支持向量機進行識別，具體為：

(1)訓練，使用“一對一”的決策函數(shù)構(gòu)造策略，在任意兩類樣本之間設計一個二值分類器：

1)將視頻庫中待分兩類行為的最終描述子F均分為n組(記做F₁，F(xiàn)₂，...，F(xiàn)_n)，其中n-1組作為訓練集，并為之選定標簽y_i，y_i∈{-1,1}，余下1組作為測試集；

2)通過訓練集樣本獲取決策函數(shù)；

①采用徑向基函數(shù)exp(||F_i-F_j||²/γ²)作為核函數(shù)，記為K(F_i，F(xiàn)_j)，其中0.001＜γ＜0.006；

②采用C-支持向量機模型作為二分類模型(C＝1000)，并構(gòu)造拉格朗日函數(shù)L(w,b；α)；

式中：α＝(α₁,α₂,...,α_m)為拉格朗日乘子，1≤α_i≤C，1≤i≤m(m為待分類行為步態(tài)能量圖的總數(shù))；

③求解拉格朗日函數(shù)的鞍點(此處取得最大超平面距離)，通過對偶法，將L(w,b；α)關于w和b的最小值轉(zhuǎn)化為求L(w,b；α)關于α的最大值，即求取滿足下式的α^*：

④求取參數(shù)公式為：

⑤構(gòu)造決策函數(shù)f(x)，其中

⑥將測試組步態(tài)能量圖作為輸入，使用步驟⑤中的決策函數(shù)進行分類，獲取正確分類樣本所占的比例；

3)使用交叉驗證的方式獲取最佳模型：對步驟1)中分好的n組，依次取其中1組作為測試集，剩余組作為訓練集，重復步驟2)，獲取正確分類比例最高對應的模型，將之作為該兩類之間的二值分類器；

4)使用步驟1)～步驟3)所述方法為任意兩類行為設計一個二值分類器；

(2)識別；

設類別i,j之間的決策函數(shù)為f_ij(x)(i≠j,j＝1,...,n)，若f_ij(x)＞0，則認為x屬于類別i，即類別標記g_ij＝1；反之，屬于類別j，即g_ij＝-1。根據(jù)上述原理，將待識別樣本x進行分類時，計算取g_i(x)最大值對應的類別i，作為x的類別。

本發(fā)明提供上述的步態(tài)識別方法，其用途是：在智能監(jiān)控領域中的應用。

所述的智能監(jiān)控領域包括：智能小區(qū)、樓宇的出入身份識別，或者公共場合嫌疑人的快速識別與判斷。

本發(fā)明與現(xiàn)有技術(shù)相比有如下主要的優(yōu)點：

1.在前景分割中，使用混合高斯模型對背景進行更新，確保對背景的準確建模，進而實現(xiàn)準確的前景分割，同時為了確保算法的實時性，對混合高斯模型的更新機制進行了改進；

2.在步態(tài)特征的提取中，將一個完整的步態(tài)周期作為一個整體，提取出能代表整體的特征(步態(tài)能量圖)及局部的特征(關鍵5幀的傅里葉描述子)并進行融合，具有很好的表征性和強魯棒性；

3.在支持向量機的訓練階段，使用“一對一”的決策函數(shù)構(gòu)造策略，為任意兩類行為構(gòu)造一個分類器，并使用交叉驗證的方法進行檢驗，以確保所獲得的分類器具有很好的分類效果。

4.將視頻或攝像頭獲取的人的側(cè)面步態(tài)圖作為輸入，借助于預先建立的步態(tài)特征庫，就能夠?qū)崿F(xiàn)對當前人行為是否異常的精確判定。

總之，本發(fā)明通過從視頻庫或攝像頭實時獲取視頻幀，并基于這些視頻幀進行步態(tài)特征提取及降維，最終實現(xiàn)對當前人行為是否異常的判定；使用改進的混合高斯模型以確保對背景準確建模，同時具有較好的實時性；使用的融合特征具有強表征性和魯棒性，能有效提高異常步態(tài)的識別率。

附圖說明

圖1為本發(fā)明步態(tài)識別方法流程圖；

圖2為本發(fā)明基于融合混合高斯模型與背景減除法獲取前景的流程圖；

圖3為本發(fā)明實施例中不同角度中最小外接矩高寬比的波形圖；

圖4為本發(fā)明實施例中關鍵5幀獲取的原理圖；

圖5為本發(fā)明實施例的支持向量機的訓練與識別流程圖。

具體實施方式

本發(fā)明涉及基于傅里葉描述子和步態(tài)能量圖融合特征的步態(tài)識別方法，具體是：對單幀圖像進行灰度化預處理，使用混合高斯模型實時更新背景，并通過背景減除法獲取前景；對每幀進行二值化、形態(tài)學處理，獲取運動人體的最小外接矩，并歸一化至同一高度，根據(jù)最小外接矩高寬比的周期性變化獲取步態(tài)周期及關鍵5幀；提取關鍵5幀傅里葉描述子的低頻部分作為特征一；中心化周期內(nèi)所有幀以獲取步態(tài)能量圖，通過主成分分析降維作為特征二；使用加法原則融合兩個特征后采用支持向量機進行識別。

下面結(jié)合實施例及附圖對本發(fā)明作進一步說明，應當理解，下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能成為對本發(fā)明的限制。

本發(fā)明提供的基于傅里葉描述子和步態(tài)能量圖融合特征的步態(tài)識別方法的流程圖，如圖1所示，具體如下：

a.建立人體步態(tài)數(shù)據(jù)庫；

CASIA步態(tài)數(shù)據(jù)庫由中國科學院自動化研究所創(chuàng)建，是國內(nèi)最完備的步態(tài)數(shù)據(jù)庫，到目前為止該數(shù)據(jù)庫包括三個子數(shù)據(jù)庫:Dataset A(小規(guī)模庫，即NLPR)、Dataset B(多視角數(shù)據(jù)庫)和Dataset C(紅外庫)。其中，子數(shù)據(jù)庫Dataset B為中科院自動化所在實驗室環(huán)境下拍攝，距離較遠且背景簡單，創(chuàng)建于2005年1月，包含124個人，每人在三種行走條件下(普通、穿大衣及攜帶包裹條件)從11個視角(分別為0、18、...,180度)進行了步態(tài)數(shù)據(jù)采集，共13640個視頻序列。本方法將Dataset B作為訓練數(shù)據(jù)庫，其使用見后期具體操作。

b.對訓練數(shù)據(jù)庫中所有側(cè)面步態(tài)視頻逐一灰度化處理，融合混合高斯模型與背景減除法獲取前景，流程如圖2所示，具體步驟如下：

b1.參照重要程度(人眼對綠色最敏感)，采用下式對RGB三分量進行加權(quán)平均得到灰度圖像：

f(x,y)＝0.30R(x,y)+0.59G(x,y)+0.11B(x,y)

式中f(x,y)為灰度化后的像素值，R(x,y)、G(x,y)、B(x,y)分別為坐標(x,y)處紅色、綠色和藍色分量的值；

b2.使用視頻前t時刻的歷史灰度圖像完成混合高斯模型的初始化，即t時刻坐標(x,y)處像素取值為X_t的概率為：

式中，K為高斯分布的個數(shù)，一般取3-5；ω_i,t是第i個分布t時刻的權(quán)重估計值，n為X_t的維數(shù)，μ_i,t、∑_i,t分別為第i個分布t時刻的均差、協(xié)方差；

b3.將X_t與混合高斯模型一一進行匹配，如下式：

|X_t-μ_t|＜Dσ_t

式中，D一般取2.5，σ_t為高斯分布的方差，若滿足上式，則認為匹配成功，執(zhí)行b31，否則執(zhí)行b32；

b31.若匹配成功，則檢查此高斯分布的權(quán)值是否滿足下式：

ω_i,t＞1-T

式中，T為描述背景的最小權(quán)值比例，若滿足該關系式，則此高斯分布被劃分為描述背景的前B個(通常為3-5個)高斯分布之一，在后續(xù)的操作中將不再執(zhí)行更新；

b32.若匹配不成功，則按下式更新各高斯分布的參數(shù)：

式中，α為學習率，ρ為更新速度，分別為t時刻ω_i,t、μ_i,t、σ_i,t的估計值，作為t+1時刻的值；

b4.高斯分布更新完成后，根據(jù)歸一化，按ω_i,t/σ_i,t的大小降序排列，取前B個分布作為背景模型，通過背景減除法獲取當前前景；

c.對每一幀進行二值化與形態(tài)學處理，獲取運動人體所在的最小外接矩并分割、歸一化到同一高度，根據(jù)最小外接矩高寬比的周期性變化(其波形如圖3所示)，獲取步態(tài)周期及關鍵5幀，流程圖如圖4所示，具體步驟為：

c1.使用形態(tài)學閉操作消除前景中的空洞；

c2.獲取運動人體所在的最小外接矩；

c3.截取前景中最小外接矩所對應的區(qū)域，保持高寬比不變，縮放到同一高度H＝128像素；

c4.根據(jù)人體高寬比的變化獲取人的步態(tài)周期及關鍵5幀：

c41.計算每一幀的高寬比k＝h/w，按時間先后存入數(shù)組{k₁，k₂，...，k_n}中；

c42.從第一幀開始尋找k滿足以下要求的五幀以獲取步態(tài)周期：“極大值→極小值→極大值→極小值→極大值”，從第一個和第三個極大值處對視頻序列分割，并將以上5幀作為關鍵5幀存儲；

d.對步驟c中獲取的關鍵5幀逐幀提取傅里葉描述子，截取其低頻部分作為描述特征一，具體步驟為：

d1.對c42中獲得的關鍵5幀逐幀使用canny算子獲取人體外輪廓，并將輪廓上的每一點表示為z_i＝x_i+jy_i形式，其中x_n、y_n為輪廓上第n個的橫縱坐標，j為虛數(shù)單位；

d2.設輪廓上共m個點，將這m點的z_i組成一個數(shù)列{z₁，z₂，...，z_m}，對該數(shù)列進行離散傅里葉變換，即可獲得傅里葉描述子；

d3.傅里葉描述子具有低頻集中性，因此提取前N個傅里葉描述子(低頻部分)即可對輪廓進行較好的表征，且在N小于輪廓點總數(shù)前，N越大表征越準確，因此本發(fā)明中N的值將根據(jù)具體情況來確定；

e.對周期內(nèi)的每一幀進行中心化處理后獲取步態(tài)能量圖，并基于主成分分析法(2DPCA)進行降維，作為特征二，具體步驟為：

e1.對c42獲取的步態(tài)周期內(nèi)的每一幀進行中心化處理，具體為：

e11.計算未中心化的矩形區(qū)域水平方向的中心x_center；

e12.將原圖(未中心化)擴展到同一寬度W，擴展部分用值為0的像素進行填充；

e13.對原圖中所有點按下式進行中心化移動：

式中，I_old(x，y)為原圖坐標(x,y)處的像素值，I_new(x，y)為中心化后坐標(x,y)處的像素值；

e2.以步態(tài)周期為單位，獲取每個周期的步態(tài)能量圖，公式如下：

式中，Q為當前周期內(nèi)圖像的幀數(shù)，I_i，t(x，y)為第t幀步態(tài)圖像坐標(x,y)處的像素值，G(x,y)為步態(tài)能量圖坐標(x,y)處的像素值，對整張圖進行上述操作即可獲得步態(tài)能量圖G；

e3.對所有步態(tài)能量圖使用2DPCA法進行降維處理，具體為：

e31.獲取投影矩陣A；設測試樣本(即步態(tài)能量圖)G_k有M個，G_k∈R^128×w，k＝1，2，...，M，則平均圖像矩陣圖像的協(xié)方差矩陣為：定義J(A)＝tr(A^TC₀A)，現(xiàn)求取投影矩陣A(A為W×N的矩陣)，滿足A＝argmax[J(A)]；

e32.對步態(tài)能量圖進行主成分提取，即對待降維步態(tài)能量圖G_k進行投影，公式如下：

G′_k＝G_kA，

式中G′_k為128×N的矩陣，即G_k投影后的特征矩陣；

f.將特征一與特征二進行融合，得到最終描述子：

將獲取的關鍵幀的N個傅里葉描述子作一個1×N的行向量，共5幀即5行，與G′_k組成一個133×N的矩陣，作為最終描述子，記為F；

g.使用支持向量機進行識別，其實現(xiàn)包含2個部分：使用視頻庫中視頻訓練支持向量機和輸入待檢測樣本進行識別，流程如圖5所示，具體步驟如下：

g1.訓練，使用“一對一”的決策函數(shù)構(gòu)造策略在任意兩類樣本之間設計一個二值分類器：

g11.將待分類的兩行為視頻序列使用步驟b-f中方法獲取每段視頻序列的最終描述子F；

g12.按5:1將最終描述子分為訓練集和測試集，并為訓練集選定標簽y_i,y_i∈{-1,1}，通過訓練集樣本獲取決策函數(shù)f_ij(x)；

g13.使用交叉驗證的方法獲取最佳模型，即按g12中比例分組，每1組輪流作為測試集、其余5組作為訓練集，通過訓練集獲取決策函數(shù)f_ij(x)后，將測試集作為輸入并獲取正確分類比例，選擇正確率最高對應的模型作為該兩類行為之間的二值分類器；

g14.重復步驟g11-g13，為任意兩類行為設計一個二值分類器，并將所有分類器進行組合得到最終分類器；

g2.輸入待檢測樣本進行識別，具體為：

g21.將待檢測視頻按步驟b-f獲取最終描述子；

g22.設類別i,j之間的決策函數(shù)為f_ij(x)(i≠j,j＝1,...,n)，若f_ij＞0，則認為x屬于類別i，即類別標記g_ij＝1；反之，屬于類別j，g_ij＝-1。根據(jù)上述原理，將待識別樣本x進行分類時，計算取g_i(x)最大值對應的類別i，作為x的類別。

應當理解的是，對本領域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進或變換，而所有這些改進和變換都應屬于本發(fā)明所附權(quán)利要求的保護范圍。