基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法
【專利摘要】本發(fā)明涉及一種基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法，其中包括場景描述器，用以采用主題模型方法對視頻圖像所處的場景進行分類；動作識別器，用以在所述的視頻圖像的基礎上，采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別；語義行為理解描述器，用以在場景分類和原子動作識別的基礎上，采用馬爾科夫邏輯網(wǎng)方法進行高層語義行為理解和興趣度事件描述。采用該種基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法，通過將場景描述引入到視頻的高層語義行為進行分析，更加充分地對視頻進行描述，將領域規(guī)則知識庫引入到馬爾科夫邏輯網(wǎng)進行改進，更加靈活地實現(xiàn)對高層語義行為及相關事件進行描述，具有更廣泛的應用范圍。
【專利說明】基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及人體行為視覺分析與智能理解領域，尤其涉及基于場景描述和馬爾科夫邏輯網(wǎng)進行人體行為視覺分析和智能理解領域，具體是指一種基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法。
【背景技術】
[0002]隨著技術的發(fā)展以及硬件設備價格的逐漸降低，大量的監(jiān)控攝像頭被安裝到各種場合，特別是那些對安全要求敏感的場合，如機場、社區(qū)、銀行、停車場、軍事基地等。動態(tài)場景的視覺監(jiān)控是近年來備受關注的前沿研究方向，它從攝像機捕捉的圖像序列中檢測、識另O、跟蹤目標并對其行為進行理解。人的行為分析作為計算機視覺領域的一個重要研究方向，其目的就是讓計算機像人一樣通過視覺觀察來分析和理解人類活動和場景信息，在高級人機交互、安全監(jiān)控、視頻會議、醫(yī)療診斷及基于內(nèi)容的圖像存儲及檢索等方面具有廣泛的應用前景和潛在的經(jīng)濟價值，目前已經(jīng)被應用于智能家居、老年人看護、智能會議室等領域中。
[0003]李英杰等在其申請的發(fā)明專利“一種基于行為識別的智能視頻監(jiān)控系統(tǒng)”[201110148631.4]中公開了一種基于行為識別的智能視頻監(jiān)控系統(tǒng)。該系統(tǒng)是一種可以自動偵測威脅的智能視頻監(jiān)控系統(tǒng)，可對場景目標進行探測、跟蹤、分類和對象分析，由五部分組成:視頻采集模塊、視頻處理模塊、基于貝葉斯分類算法的行為識別模塊、上位機管理平臺和報警模塊。該系統(tǒng)能夠很好的判斷視頻數(shù)據(jù)是否為異常分布，通過運用一種貝葉斯分類算法，來判斷正常行為和異常行為，并能夠很好的保證實時性。
[0004]湯志偉等在其申請的發(fā)明專利“基于圖像分割和語義提取實現(xiàn)人員行為識別的系統(tǒng)及方法”[201210317234.X]中公開了一種基于圖像分割和語義提取實現(xiàn)人員行為識別的系統(tǒng)及方法。將圖像的高層語義和底層視覺特征相結合，采用支持向量機方法將圖像底層特征映射為高層語義，在圖像和圖像描述之間建立映射關系，使得計算機能夠通過數(shù)字圖像處理和分析來理解畫面中的內(nèi)容，在不需要人為干預的情況下，實現(xiàn)對場景中人員行為的智能檢測，減小“語義鴻溝”，大幅提高圖像中人員行為識別的準確性，且實現(xiàn)方式簡便，應用成本低廉，應用范圍也較為廣泛。
[0005]王傳旭等在其申請的發(fā)明專利“同類行為多視圖間相似度挖掘方法及行為識別方法” [201310268884.4]中公開了一種同類行為多視角間相似度挖掘方法及行為識別方法，通過時空特征點方法實現(xiàn)姿態(tài)建模，并通過遞歸圖挖掘多視圖間的遞歸相似度，避免了依賴于背景分割而容易導致人體姿態(tài)失真的問題，提高了相似度挖掘的精度及行為識別的魯棒性。
[0006]黃凱奇等在其申請的發(fā)明專利“一種基于隱結構推理的行為識別方法”[201310087343.1]中公開了一種基于隱結構推理的行為識別方法。該方法通過研究人體結構特征來學習局部特征之間的結構信息，將運動主體的局部特征與來自背景的干擾特征分開，可以更好的對主體的行為進行描述，有效的提高了行為的表達能力和識別率。該方法亦可以對復雜場景中的行為進行識別分類，具有很好的魯棒性。
[0007]譚鐵牛等在其申請的發(fā)明專利“一種基于軌跡序列分析和規(guī)則歸納的視頻行為識別方法”[200710117997.9]中公開了一種基于軌跡序列分析和規(guī)則歸納的視頻行為識別方法，采用將場景中的完整軌跡分割為若干有羈絆語義的軌跡段，通過軌跡段聚類得到若干基本運動模式為原子事件，并使用隱馬爾科夫模型方法進行建模，通過基于最小描述長度準則的規(guī)則歸納算法，獲取蘊含在軌跡序列中的事件規(guī)則，然后，基于事件規(guī)則，采用擴展的文法分析器來對感興趣的事件加以識別。本發(fā)明提供完整的視頻行為識別框架，在規(guī)則歸納過程中考慮視頻事件的時空屬性，提出了一種多層規(guī)則歸納策略，大大提高了規(guī)則學習的有效性，應用于智能視頻監(jiān)控中，來實現(xiàn)自動分析當前監(jiān)控場景下汽車或行人的運動行為。
[0008]韓磊等學者在《計算機學報》[2010，第33卷，第4期，776-784]發(fā)表的論文“基于時空單詞的兩人交互行為識別方法”中，基于人體剪影的連通性分析和時空興趣點的歷史信息，把時空興趣點劃分給不同的個體，并在興趣點樣本空間采用聚類方法得到時空碼本。對于給定的時空興趣點集，通過投票得到表示單人原子行為的時空單詞。采用條件隨機場模型建模單人原子行為，在兩人交互行為的語義建模過程中，人工建立表示領域知識的一階邏輯知識庫，并訓練馬爾科夫邏輯網(wǎng)用以兩人交互行為的推理，在初步建立的兩人交互行為庫上的實驗表明了方法可以有效地建模兩人交互行為并具有一定的魯棒性。
[0009]綜上可知，現(xiàn)有文獻從行為識別角度對人體行為進行了描述，其中的馬爾科夫邏輯網(wǎng)方法基于領域知識庫，可對感興趣的交互行為進行分析。但是，對人體行為的高層語義理解中很重要的一部分是場景信息，上述成果均未將行為識別和場景分析相結合，忽略了人和環(huán)境交互產(chǎn)生的興趣度事件對現(xiàn)實生活的影響。本發(fā)明將場景分析和行為分析相結合，給出在高層語義層對視頻的語義分析，輸出更加豐富的知識和信息。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的是克服了上述現(xiàn)有技術的缺點，提供了一種能夠?qū)崿F(xiàn)通過將場景描述引入到視頻的高層語義行為進行分析、更加充分地對視頻進行描述、將領域規(guī)則知識庫引入到馬爾科夫邏輯網(wǎng)進行改進、更加靈活地實現(xiàn)對高層語義行為及相關事件進行描述、具有更廣泛應用范圍的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法。
[0011]為了實現(xiàn)上述目的，本發(fā)明的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)及方法具有如下構成:
[0012]該基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)，其主要特點是，所述的系統(tǒng)包括:
[0013]場景描述器，用以采用主題模型方法對視頻圖像所處的場景進行分類；
[0014]動作識別器，用以在所述的視頻圖像的基礎上，采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別；
[0015]語義行為理解描述器，用以在場景分類和原子動作識別的基礎上，采用馬爾科夫邏輯網(wǎng)方法進行高層語義行為理解和興趣度事件描述。
[0016]本發(fā)明還涉及一種通過所述的系統(tǒng)基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其主要特點是，所述的方法包括以下步驟:[0017](I)所述的場景描述器采用主題模型方法對視頻圖像所處的場景進行分類；
[0018](2)在所述的視頻圖像的基礎上，所述的動作識別器采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別；
[0019](3)在場景分類和原子動作識別的基礎上，所述的語義行為理解描述器采用馬爾科夫邏輯網(wǎng)方法進行高層語義行為理解和興趣度事件描述。
[0020]較佳地，所述的采用主題模型方法對視頻圖像所處的場景進行分類，包括以下步驟:
[0021](11)采用尺度不變特征轉(zhuǎn)換特征方法對訓練視頻圖像中的尺度不變特征集合得到特征矩陣的描述；
[0022]( 12)在所述的特征矩陣的集合基礎上，分別采用支持向量機方法和紋理分類方法對視頻圖像中的滴狀對象和紋理對象進行識別；
[0023](13)基于主題模型方法對視頻圖像所處的場景進行建模得到視頻圖像的場景分類結果。
[0024]較佳地，采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別，包括以下步驟:
[0025](21)采用線性濾波器檢測視頻圖像中的時空興趣點，所述的時空興趣點為在時間上和空間上強度變化大于系統(tǒng)預設值的點；
[0026](22)采用直方圖量化技術將所述的時空興趣點量化為維數(shù)固定的直方圖并在直方圖的基礎上采用K均值聚類方法得到時空碼本；
[0027](23)基于所述的時空碼本采用隱馬爾可夫模型方法進行建模得到動作分類模型；
[0028](24)將得到的直方圖和動作分類模型進行匹配識別得到動作分類結果。
[0029]更佳地，所述的采用線性濾波器檢測視頻圖像中的時空興趣點，具體為:
[0030]采用線性濾波器按照如下響應函數(shù)檢測視頻圖像中的時空興趣點:
[0031]
【權利要求】
1.一種基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析系統(tǒng)，其特征在于，所述的系統(tǒng)包括: 場景描述器，用以采用主題模型方法對視頻圖像所處的場景進行分類； 動作識別器，用以在所述的視頻圖像的基礎上，采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別； 語義行為理解描述器，用以在場景分類和原子動作識別的基礎上，采用馬爾科夫邏輯網(wǎng)方法進行高層語義行為理解和興趣度事件描述。
2.一種通過權利要求1所述的系統(tǒng)基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其特征在于，所述的方法包括以下步驟: (1)所述的場景描述器采用主題模型方法對視頻圖像所處的場景進行分類； (2)在所述的視頻圖像的基礎上，所述的動作識別器采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別； (3)在場景分類和原子動作識別的基礎上，所述的語義行為理解描述器采用馬爾科夫邏輯網(wǎng)方法進行高層語義行為理解和興趣度事件描述。
3.根據(jù)權利要求2所述的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其特征在于，所述的采用主題模型方法對視頻圖像所處的場景進行分類，包括以下步驟: (11)采用尺度不變特征轉(zhuǎn)換特征方法對訓練視頻圖像中的尺度不變特征集合得到特征矩陣的描述； (12)在所述的特征矩陣的集合基礎上，分別采用支持向量機方法和紋理分類方法對視頻圖像中的滴狀對象和紋理對象進行識別； (13)基于主題模型方法對視頻圖像所處的場景進行建模得到視頻圖像的場景分類結果O
4.根據(jù)權利要求2所述的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其特征在于，采用隱馬爾科夫模型方法對視頻圖像中人的原子動作進行識別，包括以下步驟: (21)采用線性濾波器檢測視頻圖像中的時空興趣點，所述的時空興趣點為在時間上和空間上強度變化大于系統(tǒng)預設值的點； (22)采用直方圖量化技術將所述的時空興趣點量化為維數(shù)固定的直方圖并在直方圖的基礎上采用K均值聚類方法得到時空碼本； (23)基于所述的時空碼本采用隱馬爾可夫模型方法進行建模得到動作分類模型； (24)將得到的直方圖和動作分類模型進行匹配識別得到動作分類結果。
5.根據(jù)權利要求4所述的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其特征在于，所述的采用線性濾波器檢測視頻圖像中的時空興趣點，具體為: 采用線性濾波器按照如下響應函數(shù)檢測視頻圖像中的時空興趣點:
R=(I*g(x，y, σ )*hev)2+(I*g(x, y, σ ) *hod)2 其中，g(x, Y, σ )是僅用于二維圖像平滑高斯核，hev和Iitjd是一對正交的一維Garbor濾波器，僅用于 時間維，^ - _ COsi(2^to) e r' , hoi/ = -8?η(2^.^) ^ e r (匕定心-r ’ σ-1，τ =2.5)。
6.根據(jù)權利要求2所述的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其特征在于，所述的進行高層語義行為理解和興趣度事件描述，包括以下步驟: (31)在馬爾科夫邏輯網(wǎng)的知識庫中對感興趣的交互行為和事件進行描述； (32)將所述的動作分類器得到的原子動作和場景分類結果作為馬爾科夫邏輯網(wǎng)的輸入進行訓練并基于建立的知識庫進行推理輸出對視頻圖像的高層語義描述和視頻圖像中出現(xiàn)的感興趣的事件的描述。
7.根據(jù)權利要求6所述的基于場景和馬爾科夫邏輯網(wǎng)的智能行為分析方法，其特征在于，所述的在馬爾科夫邏輯網(wǎng)的知識庫中對感興趣的交互行為和事件進行描述，包括以下步驟: (311)采用一階謂詞的形式對感興趣的交互行為和事件進行描述； (312)根據(jù)馬爾科夫邏輯網(wǎng)的知識庫中對現(xiàn)實世界知識的常識理解采用硬約束描述感興趣的交互行為和事件。
【文檔編號】G06F17/27GK103942575SQ201410134737
【公開日】2014年7月23日 申請日期:2014年4月2日 優(yōu)先權日:2014年4月2日
【發(fā)明者】何瑩, 王建, 胡傳平, 梅林 , 吳軼軒, 譚懿仙, 杜歡, 尚巖峰, 王文斐 申請人:公安部第三研究所