專利名稱：基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理、語義提取等，具體講涉及一種基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法。
背景技術(shù)：
視頻監(jiān)控系統(tǒng)作為現(xiàn)代安防的有效手段，越來越受到社會(huì)的重視。然而傳統(tǒng)的數(shù)字視頻監(jiān)控系統(tǒng)僅僅提供了視頻的捕獲、存儲(chǔ)、分發(fā)等簡(jiǎn)單的功能，而對(duì)異常事件判斷只能靠人來實(shí)現(xiàn)，這樣的監(jiān)控系統(tǒng)不僅需要極其大量的人力來維系，極大地提高了系統(tǒng)的運(yùn)行成本，而且使用人來長(zhǎng)時(shí)間監(jiān)控也降低了系統(tǒng)的安防性能。因此，現(xiàn)有監(jiān)控系統(tǒng)已經(jīng)不能滿足當(dāng)前安防的需求。新一代的監(jiān)控系統(tǒng)以智能的異常事件檢測(cè)為核心，能夠發(fā)現(xiàn)監(jiān)控畫面中的異常情況，以最快和最佳的方式發(fā)出警報(bào)和提供有用信息，更加有效地協(xié)助安全人員處理危機(jī)，最大限度地降低誤報(bào)和漏報(bào)現(xiàn)象?，F(xiàn)有監(jiān)控視頻異常事件檢測(cè)具有兩個(gè)顯著的缺點(diǎn)1)現(xiàn)有異常事件檢測(cè)模塊多是通過依賴特定規(guī)則的制定對(duì)單目攝像頭下簡(jiǎn)單的異常事件(如逆向行駛、超速行駛等)進(jìn)行檢測(cè)，這使得智能監(jiān)控具有明顯的局限性；2)現(xiàn)有檢測(cè)模塊多獨(dú)立對(duì)待各個(gè)視角攝像頭采集的視頻并對(duì)其進(jìn)行分別檢測(cè)，忽略了各攝像頭間在時(shí)間和空間上的關(guān)聯(lián)，因此往往造成大量的異常事件錯(cuò)檢和漏檢。本發(fā)明中，針對(duì)多視角視頻監(jiān)控中無法通過顯著規(guī)則定義的異常事件，提出一種通用的多視角視頻監(jiān)控中異常事件建模方法，采用對(duì)尺度、旋轉(zhuǎn)、關(guān)照等外界因素具有魯棒性的時(shí)空特征點(diǎn)對(duì)視頻片段的顯著特征進(jìn)行表示，并通過基于特征點(diǎn)的碼本構(gòu)建和分類器學(xué)習(xí)自動(dòng)挖掘各類事件的潛在視覺模式，并融合多視角分類器檢測(cè)結(jié)果進(jìn)行最終判決。

發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)的不足，提供一種適用于無法顯性定義判決規(guī)則的異常事件檢測(cè)的視頻監(jiān)控中異常事件建模方法，為達(dá)上述目的，本發(fā)明采取的技術(shù)方案是，基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法，包括以下步驟(1)時(shí)空局部特征提取，采用對(duì)尺度、旋轉(zhuǎn)、關(guān)照等外界因素具有魯棒性的時(shí)空特征點(diǎn)對(duì)視頻片段的顯著特征進(jìn)行表示，采用綜合目標(biāo)視覺模式特征和運(yùn)動(dòng)特征的運(yùn)動(dòng)約束的尺度不變特征MoSIFT對(duì)時(shí)空局部特征進(jìn)行表征，具體包括特征點(diǎn)檢測(cè)和描述兩個(gè)關(guān)鍵部分(a)時(shí)空特征興趣點(diǎn)檢測(cè)首先，對(duì)當(dāng)前幀采用尺度不變特征SIFT檢測(cè)子找到具有區(qū)分性的極值點(diǎn)作為候選的興趣點(diǎn)，計(jì)算這些點(diǎn)在相鄰幀的光流信息，如果之前提取的 SIFT點(diǎn)的光流具有足夠的強(qiáng)度，則該點(diǎn)就是MoSIFT興趣點(diǎn)；(b)時(shí)空特征興趣點(diǎn)描述為了充分表示MoSIFT點(diǎn)的可區(qū)分性，對(duì)其描述被分為視覺模式和運(yùn)動(dòng)模式兩個(gè)部分，視覺模式采用SIFT描述子方法用1 維方向直方圖進(jìn)行表征，運(yùn)動(dòng)模式則通過光流特征的提取和SIFT描述子的格形表示法通過1 維方向直方圖進(jìn)行表征，然后通過連接這兩個(gè)直方圖構(gòu)成MoSIFT特征的256維方向直方圖描述；
(2) “詞袋”的構(gòu)建“詞袋”是利用所提取特征點(diǎn)對(duì)視頻單元進(jìn)行統(tǒng)計(jì)直方圖表征的方法，包括碼本構(gòu)建和關(guān)鍵點(diǎn)投影兩個(gè)步驟(a)碼本構(gòu)建將從訓(xùn)練樣本中提取出的MoSIFT點(diǎn)特征作為訓(xùn)練數(shù)據(jù)，在高維特征空間通過K-Means算法進(jìn)行聚類，聚類結(jié)果的每一個(gè)類被稱為一個(gè)碼字，碼字由聚類中心的特征來表示，并且反映了該類中所有特征點(diǎn)的共同屬性，用作訓(xùn)練的關(guān)鍵點(diǎn)特征集合被聚類成若干個(gè)碼字的集合，從而構(gòu)成碼本，碼本中所含碼字的個(gè)數(shù)反映了碼本的大?。?b)基于碼本的關(guān)鍵點(diǎn)投影首先，提取視頻單元中所有MoSIFT點(diǎn)特征，計(jì)算 MoSIFT點(diǎn)與碼本中每個(gè)碼字的距離，選取最近距離的碼字代表該關(guān)鍵點(diǎn)；其次，建立一個(gè)統(tǒng)計(jì)直方圖，用于統(tǒng)計(jì)屬于每個(gè)碼字的關(guān)鍵點(diǎn)個(gè)數(shù)，將該直方圖用作反映MoSIFT點(diǎn)信息的視覺特征，其中直方圖的維數(shù)等同于碼本中碼字的個(gè)數(shù)；(3)異常事件建模異常事件建模即利用視頻單元的“詞袋”特征表示，通過分類器的學(xué)習(xí)和多視角檢測(cè)模型的融合，綜合利用多視角信息實(shí)現(xiàn)監(jiān)控視頻異常事件的檢測(cè)，具體分為如下兩步(a)對(duì)于單目攝像機(jī)采集的視頻利用“詞袋”特征表示和已標(biāo)注的異常事件的正例和負(fù)例樣本，通過分類器進(jìn)行單視角異常事件建模，以采用支持向量機(jī)(Support Vector Machine，縮寫SVM)為例進(jìn)行模型學(xué)習(xí)，對(duì)于支持向量機(jī)核函數(shù)的選擇這里采用χ2核函數(shù)，其定義K(Xi，。如下
權(quán)利要求
1. 一種基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法，其特征是，包括以下步驟基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法，包括以下步驟(1)時(shí)空局部特征提取，采用對(duì)尺度、旋轉(zhuǎn)、光照等外界因素具有魯棒性的時(shí)空特征點(diǎn)對(duì)視頻片段的顯著特征進(jìn)行表示，采用綜合目標(biāo)視覺模式特征和運(yùn)動(dòng)特征的運(yùn)動(dòng)約束的尺度不變特征MoSIFT對(duì)時(shí)空局部特征進(jìn)行表征，具體包括特征點(diǎn)檢測(cè)和描述兩個(gè)關(guān)鍵部分(a)時(shí)空特征興趣點(diǎn)檢測(cè)首先，對(duì)當(dāng)前幀采用尺度不變特征SIFT檢測(cè)子找到具有區(qū)分性的極值點(diǎn)作為候選的興趣點(diǎn)，計(jì)算這些點(diǎn)在相鄰幀的光流信息，如果之前提取的SIFT 點(diǎn)的光流具有足夠的強(qiáng)度，則該點(diǎn)就是運(yùn)動(dòng)約束的尺度不變特征MoSIFT興趣點(diǎn)；(b)時(shí)空特征興趣點(diǎn)描述為了充分表示MoSIFT點(diǎn)的可區(qū)分性，對(duì)其描述被分為視覺模式和運(yùn)動(dòng)模式兩個(gè)部分，視覺模式采用SIFT描述子方法用1 維方向直方圖進(jìn)行表征， 運(yùn)動(dòng)模式則通過光流特征的提取和SIFT描述子的格形表示法通過1 維方向直方圖進(jìn)行表征，然后通過連接這兩個(gè)直方圖構(gòu)成MoSIFT特征的256維方向直方圖描述；(2)“詞袋”的構(gòu)建“詞袋”是利用所提取特征點(diǎn)對(duì)視頻單元進(jìn)行統(tǒng)計(jì)直方圖表征的方法，包括碼本構(gòu)建和關(guān)鍵點(diǎn)投影兩個(gè)步驟(a)碼本構(gòu)建將從訓(xùn)練樣本中提取出的MoSIFT點(diǎn)特征作為訓(xùn)練數(shù)據(jù)，在高維特征空間通過K-Means算法進(jìn)行聚類，聚類結(jié)果的每一個(gè)類被稱為一個(gè)碼字，碼字由聚類中心的特征來表示，并且反映了該類中所有特征點(diǎn)的共同屬性，用作訓(xùn)練的關(guān)鍵點(diǎn)特征集合被聚類成若干個(gè)碼字的集合，從而構(gòu)成碼本，碼本中所含碼字的個(gè)數(shù)反映了碼本的大??；(b)基于碼本的關(guān)鍵點(diǎn)投影首先，提取視頻單元中所有MoSIFT點(diǎn)特征，計(jì)算MoSIFT 點(diǎn)與碼本中每個(gè)碼字的距離，選取最近距離的碼字代表該關(guān)鍵點(diǎn)；其次，建立一個(gè)統(tǒng)計(jì)直方圖，用于統(tǒng)計(jì)屬于每個(gè)碼字的關(guān)鍵點(diǎn)個(gè)數(shù)，將該直方圖用作反映MoSIFT點(diǎn)信息的視覺特征，其中直方圖的維數(shù)等同于碼本中碼字的個(gè)數(shù)；(3)異常事件建模異常事件建模即利用視頻單元的“詞袋”特征表示，通過分類器的學(xué)習(xí)和多視角檢測(cè)模型的融合，綜合利用多視角信息實(shí)現(xiàn)監(jiān)控視頻異常事件的檢測(cè)，具體分為如下兩步(a)對(duì)于單目攝像機(jī)采集的視頻利用“詞袋”特征表示和已標(biāo)注的異常事件的正例和負(fù)例樣本，通過分類器進(jìn)行單視角異常事件建模，以采用支持向量機(jī)(Support Vector Machine，縮寫SVM)為例進(jìn)行模型學(xué)習(xí)，對(duì)于支持向量機(jī)核函數(shù)的選擇這里采用χ2核函數(shù)，其定義K(Xi，。如下
全文摘要
本發(fā)明涉及視頻處理、語義提取等。為提供基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法，本發(fā)明采取的技術(shù)方案是，基于時(shí)空關(guān)聯(lián)信息的多視角視頻監(jiān)控中異常事件建模方法，包括以下步驟(1)時(shí)空局部特征提取(a)時(shí)空特征興趣點(diǎn)檢測(cè)；(b)時(shí)空特征興趣點(diǎn)描述；(2)“詞袋”的構(gòu)建“詞袋”是利用所提取特征點(diǎn)對(duì)視頻單元進(jìn)行統(tǒng)計(jì)直方圖表征的方法，包括碼本構(gòu)建和關(guān)鍵點(diǎn)投影兩個(gè)步驟(a)碼本構(gòu)建；(b)基于碼本的關(guān)鍵點(diǎn)投影；(3)異常事件建模具體分為如下兩步(a)對(duì)于單目攝像機(jī)采集的視頻；(b)對(duì)于多視角監(jiān)控視頻下異常事件檢測(cè)模塊輸出的異常事件出現(xiàn)的概率。本發(fā)明主要應(yīng)用于視頻處理。
文檔編號(hào)H04N7/18GK102163290SQ20111012647
公開日2011年8月24日 申請(qǐng)日期2011年5月16日 優(yōu)先權(quán)日2011年5月16日
發(fā)明者劉安安, 蘇育挺 申請(qǐng)人:天津大學(xué)