視頻序列圖像中的異常行為智能檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及視頻序列圖像中運動目標檢測。
【背景技術(shù)】
[0002] 現(xiàn)代社會人們的活動場所越來越多，內(nèi)容也愈加豐富，所以面臨的異常行為和突 發(fā)事件也會相應(yīng)增多。因此人們對視頻監(jiān)控系統(tǒng)的要求提高到"如何防止?jié)撛谖ｋU"，這樣 就要求有關(guān)部門在重點區(qū)域增加電子探頭數(shù)量以及擴大視頻監(jiān)控區(qū)域，提高視頻監(jiān)控系統(tǒng) 的智能化水平，進行全天候、實時的自動的監(jiān)控。智能視頻監(jiān)控技術(shù)的出現(xiàn)徹底改變了以往 分析監(jiān)控視頻完全靠人的工作模式，將智能視頻監(jiān)控算法嵌入到前端攝像頭或者在后臺對 視頻進行智能分析，這樣就可以更加精確對異常行為進行定義，同時能夠提高檢測的精度 和響應(yīng)速度，有效降低誤報和漏報現(xiàn)象的出現(xiàn)，通過系統(tǒng)的提示可以讓工作人員對潛在的 異常行為做好提前應(yīng)對準備，使得工作人員從簡單的枯燥無味的勞動中解放出來，提高了 工作人員應(yīng)急反應(yīng)處理各種突發(fā)事件的能力。在安防領(lǐng)域，智能視頻監(jiān)控系統(tǒng)適用于公共 場所用來掌握行人的信息，判斷人員聚集、穿越警戒線、進入虛擬墻、是否逆向運動；在交通 監(jiān)管方面，用來分析和處理車輛擁堵、統(tǒng)計車流量、車速以及對路況的監(jiān)控；在軍事應(yīng)用方 面，可以對導(dǎo)彈、飛機、防空等方面進行預(yù)警和監(jiān)控；另外，智能視頻監(jiān)控系統(tǒng)同樣也可以對 非安防領(lǐng)域進行視頻資源分析，例如家中有不慎跌倒的老人，這樣就可以及時通知家人或 者幫助呼叫救護車；幫助商場或者超市統(tǒng)計當天的客流量，用來分析當天的銷售狀況等等。
[0003] 運動目標的行為分析可以當作是對視頻序列中行為樣本的分類，可以理解為將待 檢測的行為與預(yù)先規(guī)定的行為模板進行匹配，主要的分析方法有基于模板的方法、基于狀 態(tài)空間的方法和基于模型的方法三類。
[0004] 1)基于模板的方法
[0005] 基于模板的方法是將原始的視頻圖像序列轉(zhuǎn)換為一組靜態(tài)行為模式，然后在進 行識別的階段和預(yù)先存儲的行為模板進行對比。最具代表性的方法有：模板匹配、動態(tài)規(guī) 劃、動態(tài)時間規(guī)整等。文獻（Bobick AF, Davis J.W. The recognition of human movement using temporal templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001，23(3) :257-267)公開一種運用運動能量圖像和運動歷史圖像對圖 像序列中行人的運動進行描述，人的每種行為可以認為是由不同視角下圖像序列的運 動能量圖像和歷史運動圖像組成的，從中提取出基于矩的行為特征應(yīng)用于識別階段的 模板匹配。文獻（Polana R, Nelson R. Low level recognition of human motion[C]. Proceedings of the 1994IEEE Workshop on Motion of Non-Rigid and Articulated Object, 1994:77-82.)公開利用二維網(wǎng)格的特征對行人的運動進行識別，為了對運動的持 續(xù)時間進行歸一化，假設(shè)了人的運動具有周期性，并將整個序列分解為該行為的一系列的 循環(huán)過程，用最近鄰算法進行人的行為識別。
[0006] 2)基于狀態(tài)空間的方法
[0007] 基于狀態(tài)空間的方法對每個靜態(tài)的姿勢定義為一個狀態(tài)，并且認為這些狀態(tài)之間 通過某種概率聯(lián)系起來。目前，狀態(tài)空間模型已被廣泛應(yīng)用于時間序列中的預(yù)測、估計和檢 測，研究人員利用人的運動區(qū)域塊的網(wǎng)絡(luò)特征作為學習和識別的低級特征，隱馬爾科夫模 型（Hyper Media Management Schema, HMMS)用來為每個類別產(chǎn)生符號模式來進行行為識 另IJ。狀態(tài)空間方法能夠克服模板匹配的缺點，可以更好地刻畫動作本質(zhì)特征，應(yīng)用的范圍也 更加的廣泛。
[0008] 3)基于模型的方法
[0009] 基于模型的方法是通過對大量的行為樣本進行訓練、學習，形成一個統(tǒng)計的行為 模型描述，然后對所需識別行為進行基于模型的匹配，該方法中的代表性模型有：隱馬爾可 夫模型、最大熵馬爾可夫模型、條件隨機場等。另外在應(yīng)用中也可以利用2D或者3D對人體 建立相應(yīng)的模型，可以將人看作是由關(guān)節(jié)點連接的剛體集合，這樣可以利用三維的人體骨 架描述人體的運動情況，但是這通常需要重建3D模型對人的行為進行識別，該方法準確性 好，能夠很好地處理人被遮擋的情況但對計算機的硬件要求較高。
[0010] 模型的選擇對運動目標的跟蹤的準確性以及后續(xù)的異常行為檢測的可靠性有著 直接的關(guān)系，本發(fā)明將顏色特征引入可對目標進行準確的跟蹤。粒子濾波算法已經(jīng)發(fā)展為 非線性、非高斯系統(tǒng)中運動目標跟蹤的主流算法，但是計算量大始終是其最大的缺點，本發(fā) 明通過結(jié)合前景目標檢測實現(xiàn)了對粒子濾波算法的改進，實現(xiàn)了運動目標的自動檢測與跟 蹤，提高了粒子濾波算法對目標跟蹤的準確性，也使得算法的實時性得到了改善。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明針對現(xiàn)有行為檢測技術(shù)運算量大、實時性差的缺陷，首先，通過碼本背景建 模和改進的粒子濾波對視頻序列圖像中的運動目標進行目標檢測與目標跟蹤；然后設(shè)置警 戒線、警戒區(qū)域，根據(jù)目標檢測與跟蹤所得結(jié)果對運動目標的行為進行分析，對運動目標越 過警戒線、運動目標進入虛擬墻、運動目標加速及其人體動作異常行為進行檢測。
[0012] 本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：采用改進的粒子濾波算法結(jié)合顏色特征 信息和碼本背景模型，對實時的監(jiān)控視頻或者是視頻錄像，將其轉(zhuǎn)換為圖像序列便于后續(xù) 的檢測和跟蹤。具體為，首先使用碼本Codebook對視頻序列進行背景建模，完成對前景目 標的檢測，使用形態(tài)學方法以及陰影去除對前景進行優(yōu)化，用前景檢測得到的模板對粒子 濾波的初始化設(shè)定R0I，在ROI中使用前景區(qū)域的HSV顏色直方圖作為模板初始化粒子，然 后進行粒子的狀態(tài)轉(zhuǎn)移并對粒子的權(quán)值進行更新，接下來對粒子的狀態(tài)進行預(yù)測，最后判 斷重采樣，在更新模板時考慮目標之間的交叉遮擋問題。設(shè)置警戒線和虛擬墻對運動目標 越線、越界、超速、行為異常進行判定。
[0013] 對視頻序列圖像中的運動目標進行目標檢測與目標跟蹤，在視頻區(qū)域中任意設(shè)定 一條虛擬直線、或設(shè)定一個"虛擬墻";判斷運動目標位置信息，實現(xiàn)運動目標越線、越界、超 速、行為異常的判定；當運動目標接觸到虛擬直線、或"虛擬墻"邊界，改變跟蹤窗口顏色，當 運動目標越過虛擬直線、或"虛擬墻"邊界恢復(fù)跟蹤窗口顏色，對觸線的運動目標進行計數(shù)。
[0014] 以視頻區(qū)域的左下角0為原點，水平方向OC為X軸，垂直方向OA為y軸，建 立直角坐標系，根據(jù)公式：(y 2_yi) (χ_χι)_(χ2_χι) (y_yi) = 〇確定虛擬直線L，根據(jù)公式
【主權(quán)項】
1. 一種視頻序列圖像中的異常行為智能檢測方法，其特征在于，采用改進的粒子濾波 算法結(jié)合顏色特征信息和碼本背景模型，實時將視頻圖像轉(zhuǎn)換為圖像序列，對視頻序列圖 像中的運動目標進行目標檢測與目標跟蹤，在視頻區(qū)域中設(shè)定一條虛擬直線、或設(shè)定一個 "虛擬墻"，判斷運動目標位置信息，實現(xiàn)運動目標越線、越界、超速、行為異常的判定；當運 動目標接觸到虛擬直線、或"虛擬墻"邊界，改變跟蹤窗口顏色，當運動目標越過虛擬直線、 或"虛擬墻"邊界恢復(fù)跟蹤窗口顏色，對觸線的運動目標進行計數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將視頻圖像轉(zhuǎn)換為圖像序列進一步 具體包括：使用碼本對視頻序列進行背景建模，完成對前景目標的檢測，用前景檢測得到的 模板對粒子濾波的初始化設(shè)定ROI，在ROI中使用前景區(qū)域的HSV顏色直方圖作為模板初始 化粒子，進行粒子狀態(tài)轉(zhuǎn)移并對粒子的權(quán)值進行更新，對粒子的狀態(tài)進行預(yù)測。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷運動目標位置信息具體為，以視頻區(qū) 域的左下角0為原點，水平方向OC為X軸，垂直方向OA為y軸，建立直角坐標系，根據(jù)公 式： (y2_yi) (χ_χι)_(χ2_χι) (yii) = 〇 確定虛擬線 L，根據(jù)公式
判斷運動目標與虛擬線L的位置 關(guān)系，LinePos = -1表示目標在虛擬線左側(cè)，LinePos = 0表示目標在虛擬線上，LinePos =1表示運動目標在虛擬線的右側(cè)，其中，（Xpy1)、（Xi^y2)分別為虛擬線端點坐標，（ xci，y。） 為運動目標位置坐標。
4. 根據(jù)權(quán)利要求1-3其中之一所述的方法，其特征在于，視頻區(qū)域中目標與警戒線L的 位置關(guān)系判斷具體為：根據(jù)公式：
判斷運動目標是否穿越警戒線，若目標未越 線則目標的兩次位置信息相同，LineStatus = 1 ;若目標觸線，LineStatus = 0 ;若目標越 線則目標的兩次位置信息不同，LineStatus = -1，其中，目標進入監(jiān)測區(qū)域的初始位置信 息為LinePosl,后續(xù)目標位置信息為LinePos2。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷運動目標位置信息進一步包括，根據(jù) 公式：
判斷運動目標與虛擬墻的位 置，當目標位于Ll下面、L2左面、L3上面、L4右面，則判定目標位于虛擬墻內(nèi)，表示 為AreaStatus = 1 ;當目標點位于任一條邊上時，判定目標位于虛擬墻邊界上，表示為 AreaStatus = 0 ;其他情況表示目標位于虛擬墻外，表示為AreaStatus = -1，其中，L1、L2、 L3、L4分別表示虛擬墻的四條邊界，目標與四條邊的位置關(guān)系分別表示為LP1、LP2、LP3、 LP4。
6. 根據(jù)權(quán)利要求1、2或5所述的方法，其特征在于，當虛擬墻為不規(guī)則多邊形，當運 動目標矩形標記框的至少有1個頂點位于不規(guī)則多邊形內(nèi)，判斷運動目標進入不規(guī)則多邊 形的虛擬墻，以任一個頂點為端點，向左方做水平射線，當射線和多邊形的交點個數(shù)為奇數(shù) 時，頂點在多邊形內(nèi)，交點個數(shù)為偶數(shù)時，頂點在多邊形外。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，將人體正常行走狀態(tài)下跟蹤窗口長寬比 設(shè)定為閾值，當視頻監(jiān)控中運動人體給定連續(xù)幀長寬比大于或小于該閾值，跟蹤窗口顏色 變化，則判定人體為非正常行走狀態(tài)。
【專利摘要】本發(fā)明公開一種視頻序列圖像中的異常行為智能檢測方法，涉及圖像處理技術(shù)領(lǐng)域。本發(fā)明針對現(xiàn)有行為檢測技術(shù)運算量大、實時性差的缺陷，通過碼本背景建模和改進的粒子濾波對視頻序列圖像中的運動目標進行目標檢測與目標跟蹤，然后設(shè)置警戒線、警戒區(qū)域，根據(jù)目標檢測與跟蹤所得結(jié)果對運動目標的行為進行分析，對運動目標越過警戒線、運動目標進入虛擬墻、運動目標加速及其人體動作異常行為進行檢測。
【IPC分類】G06K9-00, G06T7-20
【公開號】CN104680557
【申請?zhí)枴緾N201510104855
【發(fā)明人】瞿中, 鞠芳蓉, 陳昌志, 安世全, 劉達明
【申請人】重慶郵電大學
【公開日】2015年6月3日
【申請日】2015年3月10日