本發(fā)明涉及一種基于稠密軌跡小片段的異常行為檢測(cè)方法,屬于圖像處理技術(shù)的領(lǐng)域。
背景技術(shù):
近年來(lái)?yè)頂D環(huán)境下的公共安全正在被高度關(guān)注。視頻監(jiān)控系統(tǒng)正在被廣泛應(yīng)用在例如街道安全,交通分析,地鐵運(yùn)輸安全等領(lǐng)域。由于在擁擠和動(dòng)態(tài)環(huán)境下的行人遮擋和光照條件等的變化,傳統(tǒng)的機(jī)器視覺方法已經(jīng)不能滿足檢測(cè)需求。這其中,一個(gè)主要的挑戰(zhàn)就是在擁擠的環(huán)境下,根據(jù)時(shí)空域來(lái)進(jìn)行異常行為分析。以上的情況說明了異常行為檢測(cè)的挑戰(zhàn)性和難度。
異常行為檢測(cè)的首要問題是它沒有明確的定義。因此,所有異常行為檢測(cè)方法都是基于檢測(cè)出罕見的發(fā)生事件,并視為異常。視頻序列被分為時(shí)空組成部分來(lái)提取上下文信息,并根據(jù)這些上下文信息來(lái)進(jìn)行異常行為分析。由此可見異常行為的定義取決于上下文信息。換句話說,在一個(gè)特定上下文中的異常行為放在其他上下文環(huán)境下可能就成了正常行為。
現(xiàn)有的檢測(cè)方法在檢測(cè)過程中,通常對(duì)整幅圖片進(jìn)行異常行為的檢測(cè),并沒有判定圖像中可能發(fā)生異常的區(qū)域。由于搜索區(qū)域的維度較大,傳統(tǒng)方法無(wú)法有效地保證檢測(cè)的準(zhǔn)確性和快速性。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的不足,提供一種基于稠密軌跡小片段的異常行為檢測(cè)方法,解決現(xiàn)有的檢測(cè)方法在檢測(cè)過程中,搜索區(qū)域的維度較大,無(wú)法有效地保證檢測(cè)的準(zhǔn)確性和快速性的問題。
本發(fā)明具體采用以下技術(shù)方案解決上述技術(shù)問題:
一種基于稠密軌跡小片段的異常行為檢測(cè)方法,包括以下步驟:
步驟a、將視頻劃分為時(shí)空小方塊;
步驟b、在時(shí)空小方塊內(nèi)構(gòu)建稠密光流域以獲取稠密軌跡小片段;及利用軌跡小片段方向直方圖從角度和幅值量化軌跡小片段,得到軌跡小片段所對(duì)應(yīng)的hot描述子;
步驟c、將所得軌跡小片段的hot描述子作為碼本單詞構(gòu)建碼本,根據(jù)碼本單詞及構(gòu)建的碼本建立軌跡小片段的相似性拓?fù)浣Y(jié)構(gòu),并利用先驗(yàn)概率檢測(cè)方法計(jì)算每個(gè)時(shí)空小方塊中的軌跡小片段是否異常,及根據(jù)碼本中碼本單詞的相似性判定所對(duì)應(yīng)的軌跡小片段是否為異常。
進(jìn)一步地,作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟b獲取稠密軌跡小片段包括:
從構(gòu)建稠密光流域獲取興趣點(diǎn),跟蹤光流域的興趣點(diǎn)獲取跟蹤軌跡;
由跟蹤軌跡在時(shí)空小方塊的若干個(gè)幀內(nèi)形成稠密軌跡小片段。
進(jìn)一步地,作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟b計(jì)算軌跡小片段的方向和幅值采用公式:
其中,
進(jìn)一步地,作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟c包括將相似的hot描述子歸為同一個(gè)碼本單詞來(lái)構(gòu)建碼本。
進(jìn)一步地,作為本發(fā)明的一種優(yōu)選技術(shù)方:所述步驟c還包括利用歐式距離權(quán)重升級(jí)碼本單詞。
進(jìn)一步地,作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟c建立軌跡小片段的相似性拓?fù)浣Y(jié)構(gòu)包括:
定義軌跡小片段的集合,確定每個(gè)軌跡小片段至集合中心軌跡小片段的相對(duì)位置;
根據(jù)每個(gè)軌跡小片段以及其與中心軌跡小片段的相對(duì)位置,確定軌跡小片段的集合以及軌跡小片段的拓?fù)浣Y(jié)構(gòu)。
本發(fā)明采用上述技術(shù)方案,能產(chǎn)生如下技術(shù)效果:
本發(fā)明公開了一種基于分析稠密軌跡小片段的視頻異常行為檢測(cè)方法。首先,為了獲取上下文信息,本方法將視頻劃分為時(shí)空小方塊。其次,構(gòu)建稠密光流域以獲取稠密軌跡小片段。然后利用軌跡小片段方向直方圖從方向和幅值來(lái)量化軌跡小片段。最后,本發(fā)明建立軌跡片段的拓?fù)浣Y(jié)構(gòu),采用拓?fù)錁?gòu)建方法來(lái)分組相似的時(shí)空軌跡小片段來(lái)構(gòu)建碼本來(lái)減少搜索區(qū)域的維度,并利用概率機(jī)制檢測(cè)異常行為。不同于傳統(tǒng)的光流方法,稠密跟蹤軌跡方法更加有效地表示視頻序列。公共數(shù)據(jù)集ucsd,subway和mall等的測(cè)試體現(xiàn)出了本算法的檢測(cè)效率。實(shí)驗(yàn)表明本算法在實(shí)時(shí)性和準(zhǔn)確性等的性能優(yōu)于傳統(tǒng)的基于光流法等的方法。
附圖說明
圖1為本發(fā)明方法的流程示意圖。
圖2為本發(fā)明中時(shí)空小方塊的構(gòu)建示意圖。
圖3為本發(fā)明中在w的像素尺寸內(nèi)得到稠密軌跡小片段示意圖。
圖4(a)至圖4(c)為本發(fā)明中hot的形成過程示意圖。其中圖4(a)中圓圈大小表示軌跡小片段的幅值。圖4(b)為只考慮出入點(diǎn)的情況來(lái)計(jì)算角度信息。圖4(c)為hot直方圖的表示示意圖。
圖5為本發(fā)明中上半部分表示數(shù)據(jù)集中的幾幀圖像。下半部分表示hot描述子的方向和幅值投影。
圖6為本發(fā)明中碼本單詞的構(gòu)建的示意圖。
圖7(a)為本發(fā)明中集合中一個(gè)軌跡小片段的時(shí)空關(guān)系。圖7(b)碼本單詞對(duì)應(yīng)于集合ei中的軌跡小片段的示意圖。
圖8為本發(fā)明視頻中時(shí)空小方塊的相似性地圖構(gòu)建的示意圖。
圖9(a)至圖9(p)為ucsd數(shù)據(jù)集異常行為檢測(cè)過程示意圖,其中檢測(cè)出的異常行為用黑色方框表示。
圖10(a)至圖10(p)為本發(fā)明中地鐵入口和出口的異常行為檢測(cè)過程示意圖。其中圖10(a)至10(h)顯示了入口檢測(cè)幀,圖10(h)至10(p)顯示了出口檢測(cè)幀。異常行為被黑色方框標(biāo)記出。
圖11(a)至圖11(l)為本發(fā)明中mall數(shù)據(jù)集的異常行為檢測(cè)過程示意圖。其中,異常行為在圖中由黑色方框顯示。
具體實(shí)施方式
下面結(jié)合說明書附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行描述。
如圖1所示,本發(fā)明提供一種基于稠密軌跡小片段的異常行為檢測(cè)方法,方法具體包括以下步驟:
步驟a、為了獲取上下文信息,將視頻劃分為時(shí)空小方塊。
本發(fā)明提出了一個(gè)快速在線無(wú)監(jiān)督學(xué)習(xí)檢測(cè)方法。首先要進(jìn)行時(shí)空小方塊的構(gòu)建,這充分利用了物體的運(yùn)動(dòng)信息。構(gòu)建的3d時(shí)空小方塊的尺寸是vx*vy*vt。其中vx*vy是空間窗口的大小,vt是時(shí)間域的深度。以上的步驟產(chǎn)生了一系列視頻金字塔結(jié)構(gòu)。圖2顯示了時(shí)空小方塊的構(gòu)建過程示意圖。在空間上,時(shí)空小方塊分割為許多不重疊的窗口,每幀圖片被分為幾個(gè)部分:f=fx*fy,并且每個(gè)小方塊由vt幀組成。本發(fā)明的描述子即是在這些時(shí)空小方塊中對(duì)軌跡小片段進(jìn)行量化。
步驟b、在時(shí)空小方塊內(nèi)構(gòu)建稠密光流域以獲取稠密軌跡小片段;及利用軌跡小片段方向直方圖從角度和幅值量化軌跡小片段,確定獲得軌跡小片段所對(duì)應(yīng)的hot描述子。
本發(fā)展中稠密軌跡的提取通過跟蹤光流域的興趣點(diǎn)來(lái)得出。一旦稠密光流域被建立起來(lái),興趣點(diǎn)的數(shù)量就可以輕松得到。除此之外,本發(fā)明引入了平滑約束來(lái)讓軌跡免得更加魯棒。稠密軌跡可以從多種空間尺寸獲得。興趣點(diǎn)在一個(gè)包含w個(gè)像素的窗口中被取樣并跟蹤,通過實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)w=5時(shí),可以獲得較好的效果。根據(jù)興趣點(diǎn)跟蹤的到的軌跡由下式表示:
其中ptn表示在t幀中第n個(gè)軌跡的2d坐標(biāo)
為了提取稠密光流域,本發(fā)明利用了opencv庫(kù)中實(shí)現(xiàn)的算法。該算法被證明在速度和準(zhǔn)確性上達(dá)到了較好的平衡。
在跟蹤的過程中,軌跡傾向于從它們的初始位置產(chǎn)生漂移。為了避免此現(xiàn)象,本發(fā)明將軌跡的長(zhǎng)度限制在vt幀里。這就是要建立時(shí)空小方塊的原因。一旦軌跡的長(zhǎng)度達(dá)到了vt,就將它從跟蹤的過程中移除,并形成軌跡小片段,其過程如圖3所示??梢园l(fā)現(xiàn)稠密軌跡法比通過klt方法得出的軌跡小片段更加魯棒。為了更好地提取運(yùn)動(dòng)信息,本發(fā)明在軌跡周圍的時(shí)空小方塊內(nèi)對(duì)描述子進(jìn)行計(jì)算。
以及,所述軌跡小片段的hot描述子的獲取過程為:在3d視頻時(shí)空小方塊內(nèi)的興趣點(diǎn)周圍利用局部描述子進(jìn)行計(jì)算。軌跡小片段在時(shí)空上代表可剛性物體的運(yùn)動(dòng)信息。為了達(dá)到行人運(yùn)動(dòng)的行為理解目的,本發(fā)明引入了方向軌跡小片段直方圖hot來(lái)描述運(yùn)動(dòng)信息。
由于不用的區(qū)域通常展現(xiàn)出不同的運(yùn)動(dòng)模式,本發(fā)明引入的描述子就是在時(shí)空小方塊中描述運(yùn)動(dòng)軌跡的統(tǒng)計(jì)信息,所示圖4(a)至圖4(c)為本發(fā)明中hot的形成過程示意圖。其中圖4(a)中圓圈大小表示軌跡小片段的幅值。圖4(b)為只考慮出入點(diǎn)的情況來(lái)計(jì)算角度信息。圖4(c)為hot直方圖的表示示意圖。
由圖4(a)所示,在第一步中,利用光流域提取所有稠密軌跡小片段。對(duì)于每一幀,在興趣點(diǎn)處生成新的軌跡小片段。對(duì)于一個(gè)給定的視頻序列,含有n個(gè)軌跡小片段{t1,...,tk,...,tn}。軌跡小片段的長(zhǎng)度取決于視頻序列的幀率,攝像機(jī)的相關(guān)位置和場(chǎng)景中運(yùn)動(dòng)模式的緊密度。這個(gè)過程產(chǎn)生了一大堆用來(lái)描述運(yùn)動(dòng)模式的軌跡小片段。
圖4(b)所示的第二個(gè)步驟中,視頻序列被分為vx*vy*vt大小的時(shí)空小方塊。對(duì)于每個(gè)小方塊,軌跡小片段的幅值和角度的計(jì)算公式如下:
其中,
最后,幅值和方向由符號(hào)mag和分別表示。直方圖槽bα,mag的形成由簡(jiǎn)單統(tǒng)計(jì)幅值角度對(duì)的出現(xiàn)次數(shù)得出。對(duì)直方圖進(jìn)行標(biāo)準(zhǔn)化過程以便量化運(yùn)動(dòng)信息。
本發(fā)明引入的描述子是基于幀來(lái)計(jì)算的。為了獲取運(yùn)動(dòng)上下文信息,考慮時(shí)空小方塊中幀的范圍為k-vt/2到k+vt/2。hot描述子的符號(hào)由
步驟c、由軌跡小片段的hot描述子作為碼本單詞構(gòu)建碼本,根據(jù)碼本單詞及構(gòu)建的碼本建立軌跡小片段的相似性拓?fù)浣Y(jié)構(gòu),并利用先驗(yàn)概率檢測(cè)方法計(jì)算每個(gè)時(shí)空小方塊中的軌跡小片段是否異常,根據(jù)碼本中碼本單詞的相似性判定所對(duì)應(yīng)的軌跡小片段是否為異常,即為將與碼本中的碼本單詞的相似性較低的軌跡小片段確定為異常。具體如下:
步驟c1、首先,構(gòu)建碼本過程。具體為:在本發(fā)明上述步驟中,一系列軌跡小片段已經(jīng)形成。但是,所形成的描述子數(shù)量非常龐大。例如,在一個(gè)一分鐘的視頻片段內(nèi)可包含106個(gè)軌跡小片段。因此,采用以下方法的原因是提高算法的效率。而且,雖然這些hot描述子具有很豐富的信息,它們?nèi)匀皇仟?dú)立的。因此,將相似的槽分成一組來(lái)減少搜索區(qū)域的維度。
在本算法中,行人的行為由hot描述子描述,與此同時(shí)用碼本單詞和碼本來(lái)描述可視特征。本發(fā)明中,可以將相似的hot描述子歸為同一個(gè)碼本單詞來(lái)構(gòu)建碼本,將無(wú)序的碼本單詞放在一起構(gòu)建成為碼本。相似的hot描述子
第一個(gè)碼本單詞等于第一個(gè)b1。此后,通過比較軌跡小片段和碼本單詞的相似性來(lái)構(gòu)建或升級(jí)碼本單詞。每個(gè)碼本單詞由權(quán)重di,j來(lái)升級(jí)。本發(fā)明使用了歐式距離權(quán)重。碼本單詞ci與bi的距離由下式所示:
本方法中,碼本單詞的更新頻率fj非常重要。最后得出一系列符合要求的碼本單詞c={ci}ni=1來(lái)表示軌跡小片段。由于算法的目的是衡量新發(fā)現(xiàn)的集合與已經(jīng)發(fā)現(xiàn)的正常行為的相似性,碼本單詞的構(gòu)建需要包含正常行為的視頻段。
初始碼本構(gòu)建完成后,根據(jù)相似性di,j,bi就對(duì)應(yīng)于其中一個(gè)碼本單詞cj。碼本單詞n的數(shù)量遠(yuǎn)遠(yuǎn)小于軌跡小片段n。另外,其他聚類方法例如k均值法也可用于碼本構(gòu)建。對(duì)于不同的數(shù)據(jù)集,碼本構(gòu)建的數(shù)目也不同,碼本構(gòu)建的數(shù)目大約為20個(gè)左右。
步驟c2、建立軌跡小片段的相似性拓?fù)浣Y(jié)構(gòu),本發(fā)明采用拓?fù)錁?gòu)建方法來(lái)分組相似的時(shí)空軌跡小片段來(lái)構(gòu)建碼本來(lái)減少搜索區(qū)域的維度。其具體過程為:對(duì)于異常行為檢測(cè),上下文時(shí)空信息是非常重要的。傳統(tǒng)的異常行為檢測(cè)方法得出的是一系列無(wú)關(guān)時(shí)空信息的軌跡小片段。本發(fā)明引用了概率機(jī)制來(lái)量化軌跡小片段??紤]hot描述子產(chǎn)生的碼本單詞,b代表hot描述子,c代表所構(gòu)建的碼本。
本發(fā)明引用了一個(gè)新的可視發(fā)現(xiàn):疑問。引入它的目的就是估計(jì)疑問中的每個(gè)軌跡小片段為正常的可能性。為了完成此工作,考慮每個(gè)軌跡小片段的周圍區(qū)域r,通過衡量疑問中軌跡小片段的排列的相似性來(lái)計(jì)算異??赡苄?。r中包含了許多軌跡小片段,將其稱之為視頻中軌跡小片段的集合??紤]到軌跡小片段集合的表示,異常行為檢測(cè)即建立新發(fā)現(xiàn)的集合和舊集合之間的相似性地圖。為此,本發(fā)明考慮了軌跡小片段集合的拓?fù)湎嗨菩詠?lái)獲取它們的上下文信息。引入疑問的目的即是為了在r范圍內(nèi)使用不同時(shí)空尺度來(lái)獲取軌跡小片段信息。即疑問屬于發(fā)現(xiàn)的一種,為了在不同的時(shí)空尺度上獲取軌跡小片段而引入。
軌跡小片段的集合用ei表示。它的空間中點(diǎn)為(xi,yi,ti),包含了k個(gè)軌跡小片段。具體來(lái)說,ei以bi代表的軌跡小片段為中心,這個(gè)軌跡小片段的中點(diǎn)坐標(biāo)即(xi,yi,ti),也是軌跡小片段所在視頻小方塊的中心坐標(biāo)。圖7(a)顯示了軌跡小片段集合的相對(duì)時(shí)空坐標(biāo)。定義
其中k是集合中軌跡小片段的總數(shù)。
然后每個(gè)位置為(xi,yi,ti)的軌跡小片段集合由一系列軌跡小片段以及它們與中心軌跡小片段的相對(duì)位置來(lái)表示:
碼本單詞c∈c對(duì)應(yīng)于每一個(gè)軌跡小片段。每個(gè)軌跡小片段集合bk的相似性有公式(4)得出。考慮軌跡小片段對(duì)應(yīng)的碼本單詞,每個(gè)軌跡小片段的集合可由一系列碼本單詞和他們的時(shí)空關(guān)系決定。假設(shè)
假設(shè)現(xiàn)在考慮對(duì)每幀視頻進(jìn)行取樣。假設(shè)
給定發(fā)現(xiàn)了的軌跡小片段
由于一個(gè)軌跡小片段bk被發(fā)現(xiàn),并替換為一個(gè)假設(shè)的解釋c,那么公式(9)中右半部分的第一個(gè)因子可以被視為與bk無(wú)關(guān)。并且,假設(shè)軌跡小片段bk和bi是獨(dú)立的。因此,(9)中右半邊的第二個(gè)因子bi可以被移除。因此(9)可以重寫為:
另一方面,對(duì)應(yīng)于一個(gè)軌跡小片段的碼本單詞與它的位置
將(11)重寫得到:
類似地,假設(shè)碼本單詞和它們的位置無(wú)關(guān),那么(12)可以重寫為:
給定對(duì)應(yīng)于軌跡小片段的碼本單詞c,以及對(duì)應(yīng)于中心軌跡小片段的碼本單詞c’,公式(13)中等式右邊的第一個(gè)因子
利用本發(fā)明方法,上述集合組成的可能性可簡(jiǎn)單計(jì)算得出,而不是比較數(shù)據(jù)集中的所有其他軌跡小片段。本發(fā)明接下來(lái)介紹了異常行為的檢測(cè)方法,即選擇出發(fā)生可能性低的事件。本發(fā)明方法更能保持軌跡小片段的時(shí)空排列信息同時(shí)減少系統(tǒng)配置要求。
步驟c3、利用先驗(yàn)概率檢測(cè)方法計(jì)算每個(gè)時(shí)空小方塊中的軌跡小片段是否異常,將碼本中的碼本單詞的相似性較低的軌跡小片段確定為異常行為,即通過比較碼本中的碼本單詞的相似性來(lái)區(qū)分行人行為是否異常。
本發(fā)明考慮了一系列連續(xù)的監(jiān)控系統(tǒng)場(chǎng)景。對(duì)于每個(gè)空間樣本t,一個(gè)簡(jiǎn)單圖片被添加到已發(fā)現(xiàn)視頻幀中,從而形成了疑問q。每個(gè)疑問中的時(shí)空小方塊的先驗(yàn)概率用它周圍的軌跡小片段集合來(lái)計(jì)算,并決定該時(shí)空小方塊是否為異常。
公式(5)詳細(xì)描述了集合h的拓?fù)浼僭O(shè)。疑問中的軌跡小片段的集合的先驗(yàn)概率表示為
由于本發(fā)明用中心軌跡小片段和它與周圍軌跡小片段的相對(duì)位置來(lái)表示每個(gè)集合,并假設(shè)每個(gè)發(fā)現(xiàn)的軌跡小片段是獨(dú)立的,那么上述公式等式的右側(cè)可重寫為集合中每個(gè)軌跡小片段的先驗(yàn)概率的產(chǎn)物:
其中,tk是
因此(14)中的最大先驗(yàn)概率可以寫為:
疑問中每個(gè)軌跡小片段的先驗(yàn)概率在碼本單詞分配過程中被直接地計(jì)算出了。先驗(yàn)概率的計(jì)算使用了概率分布估計(jì)函數(shù)。
總結(jié)來(lái)說,一開始疑問q在不同的時(shí)空尺度上被稠密取樣來(lái)建立時(shí)空小方塊來(lái)獲取不同尺度的軌跡信息。q與發(fā)現(xiàn)o的關(guān)系即q是o的其中一種。o即表示一種拓?fù)潢P(guān)系,但是q是在不同時(shí)空尺度上構(gòu)建拓?fù)潢P(guān)系。利用公式(4),每個(gè)軌跡小片段tk被對(duì)應(yīng)于一個(gè)碼本單詞c。然后每個(gè)時(shí)空小方塊是否異常的概率由集合中軌跡小片段的時(shí)空排列來(lái)計(jì)算。計(jì)算過程包含了新發(fā)現(xiàn)和舊發(fā)現(xiàn)的數(shù)據(jù)。異常行為的位置信息由閾值化的相似性地圖得出,如圖8所示。
眾所周知,包含異常行為的視頻段與已發(fā)現(xiàn)視頻之間的相似性較低。因此本發(fā)明利用相似性地圖來(lái)判定異常行為。相似性地圖的構(gòu)建基于一個(gè)閾值。在本發(fā)明的實(shí)驗(yàn)部分,本發(fā)明統(tǒng)一采用了一個(gè)閾值來(lái)應(yīng)用在所有測(cè)試集上,并畫出相似性地圖。并且在相似性地圖構(gòu)建前,本發(fā)明引入了時(shí)空中值濾波來(lái)減小了噪聲的影響。
為了驗(yàn)證本發(fā)明的方法能夠通過建立軌跡片段的拓?fù)浣Y(jié)構(gòu),并利用概率機(jī)制檢測(cè)異常行為,特列舉驗(yàn)證例進(jìn)行說明。
本發(fā)明引入了許多數(shù)據(jù)集來(lái)衡量本異常行為算法的效率和準(zhǔn)確性。本發(fā)明用了三個(gè)異常行為數(shù)據(jù)集:ucsd行人數(shù)據(jù)集,此數(shù)據(jù)集最近公布并包含兩個(gè)集合;subway數(shù)據(jù)集;mall監(jiān)控?cái)?shù)據(jù)集。除了第一個(gè)數(shù)據(jù)集,另外兩個(gè)都是在真事場(chǎng)景下采集的。為了評(píng)判算法性能,本發(fā)明將所提出算法與其他算法進(jìn)行比較。例如組成推理法(ibc),混合動(dòng)態(tài)紋理法(mdt),時(shí)空馬可夫隨機(jī)域法(st-mrf),局部光流法,以及時(shí)空方向能量濾波法。其中ibc法近年來(lái)被視為基于像素法的較精確方法之一,與本算法具有相似性能。ibc法通過驗(yàn)證時(shí)空小方塊和它周圍區(qū)域的排列來(lái)計(jì)算圖像中每個(gè)點(diǎn)的異??赡苄?。st-mrf法用局部光流的多重概率pca模型來(lái)建模正常行為,而mdt法可視為基于紋理的動(dòng)態(tài)模型延伸,并且能夠同時(shí)檢測(cè)時(shí)空異常。雖然后者需要較龐大的訓(xùn)練數(shù)據(jù)集,但由于其在ucsd數(shù)據(jù)集上有較好的表現(xiàn),所以仍用于本發(fā)明的算法比較。
本發(fā)明使用的第一個(gè)數(shù)據(jù)集為ucsd數(shù)據(jù)集。此數(shù)據(jù)集包含了兩個(gè)行人行走的子數(shù)據(jù)集,期中含有隨機(jī)的異常行為發(fā)生。此數(shù)據(jù)集含有不同的擁擠場(chǎng)景,它其中的異常行為是非正常的行人行走方式,例如騎行、輪滑、推車前行以及輪椅前行。ucsd數(shù)據(jù)集的第一個(gè)子數(shù)據(jù)集ped1包含了34個(gè)正常的子視頻和36個(gè)包含異常的子視頻;第二個(gè)子數(shù)據(jù)集ped2包含了16個(gè)正常的子視頻和14個(gè)測(cè)試視頻。圖9(a)至圖9(p)顯示了本算法在這兩個(gè)子數(shù)據(jù)集上的異常行為檢測(cè)結(jié)果,檢測(cè)出的異常行為用黑色方框表示。圖中騎行,輪滑以及駕駛被標(biāo)記為異常行為。
第二個(gè)數(shù)據(jù)集包含了地鐵站的兩個(gè)真實(shí)場(chǎng)景視頻。分別是入口和出口的監(jiān)控視頻。入口監(jiān)控視頻時(shí)長(zhǎng)為96分鐘,它包含的正常行為包括下行穿過門禁進(jìn)入站臺(tái)。入口視頻還包含了共66個(gè)異常行為,主要是行走方向錯(cuò)誤,不規(guī)律的行人運(yùn)動(dòng)(突然行下、快速跑動(dòng))等。出口視頻的時(shí)長(zhǎng)為43分鐘,包含了19個(gè)異常行為。主要是行走方向錯(cuò)誤以及在出口處閑逛逗留。此數(shù)據(jù)集沒有標(biāo)記訓(xùn)練以及測(cè)試數(shù)據(jù)。圖10(a)至圖10(p)顯示了此數(shù)據(jù)集中的一些幀的異常行為檢測(cè)結(jié)果,其中圖10(a)至(h)顯示了入口檢測(cè)幀,圖10(h)至(p)顯示了出口檢測(cè)幀。異常行為被黑色方框標(biāo)記出。異常行為檢測(cè)結(jié)果為:圖10(a)至(d)為一個(gè)行人不合法規(guī)地翻越入口;圖10(e)至10(h)一個(gè)人從入口走出;圖10(i)至(p)行人從出口進(jìn)入。
第三個(gè)數(shù)據(jù)集mall數(shù)據(jù)集也是在真事實(shí)景下采集的,它的場(chǎng)景較前兩個(gè)場(chǎng)景更加擁擠,包含了2000個(gè)視頻幀中超過60000數(shù)量的行人。盡管此數(shù)據(jù)集的行人變化很復(fù)雜,但是異常行為的模式比較簡(jiǎn)單,例如摔倒或者突然改變運(yùn)動(dòng)方向等。本實(shí)驗(yàn)選用了其中的一個(gè)數(shù)據(jù)集,與subway數(shù)據(jù)集相似的是,此數(shù)據(jù)集也沒有訓(xùn)練和測(cè)試序列。圖11(a)至圖11(l)顯示了此數(shù)據(jù)集的異常行為檢測(cè)結(jié)果,圖11(a)至(b)表示向遠(yuǎn)離攝像機(jī)方向奔跑。圖11(c)至(e)表示向攝像機(jī)方向快速奔跑。圖11(f)至(k)表示一個(gè)人不停地來(lái)回踱步。圖11(l)表示一個(gè)女人彎腰撿物品。異常行為在圖中由黑色方框顯示。
最后,性能估計(jì):衡量異常行為檢測(cè)算法的性能可以基于兩個(gè)層面:幀級(jí)和像素級(jí)。在幀級(jí)上檢測(cè)意味著只要此幀任意像素包含異常行為,則將此幀視為異常幀而不管它的位置。而像素級(jí)則將異常行為發(fā)生的位置精確到像素。本發(fā)明使用了基于像素級(jí)的檢測(cè)方法,將異常的時(shí)空小方塊作為異常檢測(cè)單位。很明顯,這在難度上要大于幀級(jí)檢測(cè)。
本發(fā)明在uscd數(shù)據(jù)集上進(jìn)行了異常行為檢測(cè),并將異常在正確結(jié)果圖上標(biāo)記出來(lái)。因此檢測(cè)的異常時(shí)空小方塊會(huì)與正確結(jié)果圖進(jìn)行比較。對(duì)于ucsd行人數(shù)據(jù)集,當(dāng)實(shí)際異常行為的40%像素被檢測(cè)出時(shí),就視為本方法檢測(cè)結(jié)果正確。否則視為誤檢。表格1顯示了本算法正確檢測(cè)的視頻幀檢測(cè)百分比,并與其它方法進(jìn)行比較。本算法分別與其它7種方法做了比較,分別是mdt法,zaharescuandwildes,bertinietal,reddyetal,st-mrf,localopticalflow,ibc。
表格1
表格1的結(jié)果顯示出本方法和ibc方法在性能上優(yōu)于其它方法。而且,當(dāng)空間發(fā)生變形時(shí)(ped1)本方法可檢測(cè)異常行為的魯棒性較高.實(shí)驗(yàn)結(jié)果表明光流法在此數(shù)據(jù)集上的檢測(cè)結(jié)果不佳。相對(duì)于其它實(shí)時(shí)性算法,本算法在計(jì)算效率上也具有一定的優(yōu)勢(shì)。此外,本算法需要的初始化訓(xùn)練幀也明顯少于其它算法。可以看出,利用了時(shí)空上下文信息的方法例如時(shí)空方向能量濾波法以及本算法在速度上要優(yōu)于其它算法。
本發(fā)明也在其他真實(shí)場(chǎng)景數(shù)據(jù)集上做了實(shí)驗(yàn),即subway數(shù)據(jù)集。由于沒有提供只包含正常行為的訓(xùn)練集,此數(shù)據(jù)集的訓(xùn)練策略不同于ucsd數(shù)據(jù)集。因此本發(fā)明選擇了入口視頻的前5分鐘和出口視頻的前15分鐘作為初始化訓(xùn)練集。實(shí)驗(yàn)結(jié)果展示在表格2中。本發(fā)明將本算法與其它3中異常行為方法進(jìn)行了比較。分別是稀疏重建法,st-mrf和局部光流法。實(shí)驗(yàn)結(jié)果表明本方法在性能上達(dá)到了較好的效果。
表格2
在數(shù)據(jù)集subway上的對(duì)比實(shí)驗(yàn)。表格中第四列的第一個(gè)數(shù)字表示檢測(cè)到的異常行為個(gè)數(shù),第二個(gè)數(shù)字表示實(shí)際的異常行為個(gè)數(shù)。
雖然上述實(shí)驗(yàn)結(jié)果表明本算法能在不同場(chǎng)景下檢測(cè)出復(fù)雜的異常行為,本發(fā)明仍然引入了mall數(shù)據(jù)集。此數(shù)據(jù)集采用了類似于subway數(shù)據(jù)集的初始化方法。本發(fā)明將本算法與其它兩個(gè)基于像素級(jí)的檢測(cè)方法進(jìn)行了比較:時(shí)空方向能量法以及局部光流法。由于方法在此數(shù)據(jù)集中的檢測(cè)結(jié)果不理想,本發(fā)明沒有與它進(jìn)行比較。表格3顯示了此數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果表明本算法在性能上優(yōu)于另外兩個(gè)對(duì)比算法。
表3
在數(shù)據(jù)集mall上的對(duì)比實(shí)驗(yàn)。表格中第三列的第一個(gè)數(shù)字表示檢測(cè)到的異常行為個(gè)數(shù),第二個(gè)數(shù)字表示實(shí)際的異常行為個(gè)數(shù)。
綜上,本發(fā)明的方法,利用稠密跟蹤軌跡更加有效地表示視頻序列。公共數(shù)據(jù)集ucsd,subway和mall等的測(cè)試體現(xiàn)出了本算法的檢測(cè)效率。實(shí)驗(yàn)表明本算法的性能優(yōu)于傳統(tǒng)的基于光流法等的方法。
上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作了詳細(xì)說明,但是本發(fā)明并不限于上述實(shí)施方式,在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi),還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。