專利名稱：異常行為檢測設(shè)備和方法及生成該檢測設(shè)備的設(shè)備和方法
技術(shù)領(lǐng)域：
本公開涉及視頻目標檢測，具體地，涉及檢測視頻中目標的異常行為的設(shè)備和方法以及生成這樣的檢測設(shè)備的設(shè)備和方法。
背景技術(shù)：
動態(tài)場景的視覺監(jiān)控是近年來備受關(guān)注的ー個研究方向。這種技術(shù)對攝像機捕捉的圖像序列進行分析，以理解運動目標的行為，并對目標的異常行為進行報警。異常行為檢測是智能視覺監(jiān)控的重要功能，對異常行為檢測的研究具有重要的意義。

發(fā)明內(nèi)容
在下文中給出關(guān)于本公開的ー些方面的簡要概述，以便提供對于本公開的基本理解。應(yīng)當(dāng)理解，這個概述并不是對本公開的窮舉性概述。該概述也并非意圖確定本公開的關(guān)鍵或重要部分，也不是意圖限定本公開的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。根據(jù)本公開的ー個方面，提供了ー種生成檢測器的設(shè)備，所述檢測器用于檢測視頻中目標的異常行為，該生成檢測器的設(shè)備包括提取裝置，用于在多個視頻樣本中的每個視頻樣本中提取圖像塊序列，該圖像塊序列包含該視頻樣本的每幀圖像中的與目標的運動范圍對應(yīng)的圖像塊；特征計算裝置，用于計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征；及訓(xùn)練裝置，用于利用從所述多個視頻樣本中提取的多個圖像塊序列以及所計算的運動矢量特征來訓(xùn)練第一級分類器，利用訓(xùn)練得到的第一級分類器對所述多個圖像塊序列進行分類并利用所述多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器，直到得到兩級或更多級分類器，所述兩級或更多級分類器串聯(lián)以形成檢測目標的異常行為的檢測器。根據(jù)本公開的另一方面，提供了ー種生成檢測器的方法，所述檢測器用于檢測視頻中目標的異常行為，該生成檢測器的方法包括在多個視頻樣本中的每個視頻樣本中提取圖像塊序列，該圖像塊序列包含該視頻樣本的甸巾貞圖像中的與目標的運動范圍對應(yīng)的圖像塊；計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征；及利用從所述多個視頻樣本中提取的多個圖像塊序列以及所計算的運動矢量特征來訓(xùn)練第一級分類器；利用訓(xùn)練得到的第一級分類器對所述多個圖像塊序列進行分類并利用所述多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器，直到得到兩級或更多級分類器。其中，所述兩級或更多級分類器串聯(lián)以形成檢測目標的異常行為的檢測器。根據(jù)本公開的另一方面，提供了一種檢測視頻中目標的異常行為的設(shè)備，該設(shè)備包括提取裝置，用于在待檢測的視頻段中提取圖像塊序列，所述圖像塊序列包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊；特征計算裝置，用于計算所述圖像塊序列中的運動矢量特征；及異常行為檢測裝置，該異常行為檢測裝置包括串聯(lián)的兩級或更多級分類器，每級分類器用于檢測目標的異常行為，其中，所述圖像塊序列及所述運動矢量特征被逐級輸入所述兩級或更多級分類器，如果前ー級分類器判斷所述圖像塊序列中出現(xiàn)異常行為，則所述圖像塊序列被輸入到下一級分類器，直到最后ー級分類器。根據(jù)本公開的另一方面，提供了一種檢測視頻中目標的異常行為的方法，該方法包括在待檢測的視頻段中提取圖像塊序列，所述圖像塊序列包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊；計算所述圖像塊序列中的運動矢量特征；及將所述圖像塊序列及所述運動矢量特征逐級輸入串聯(lián)的兩級或更多級分類器，其中，每級分類器能夠檢測目標的異常行為，并且其中，如果前ー級分類器判斷所述圖像塊序列中出現(xiàn)異常行為，則所述圖像塊序列被輸入到下一級分類器，直到最后ー級分類器。另外，本公開的實施例還提供了用于實現(xiàn)上述方法的計算機程序。此外，本公開的實施例還提供了至少計算機可讀介質(zhì)形式的計算機程序產(chǎn)品，其上記錄有用于實現(xiàn)上述方法的計算機程序代碼。


參照下面結(jié)合附圖對本公開實施例的說明，會更加容易地理解本公開的以上和其它目的、特點和優(yōu)點。附圖中的部件只是為了示出本公開的原理。在附圖中，相同的或類似的技術(shù)特征或部件將采用相同或類似的附圖標記來表示。圖I是示出根據(jù)本公開ー個實施例的生成用于檢測視頻中目標的異常行為的檢測器的方法的示意性流程圖；圖2是示出生成串聯(lián)的兩級或更多級分類器的方法的一個示例的示意性流程圖；圖3是示出從視頻圖像中提取圖像塊序列的一個示例的示意性流程圖；圖4是示出根據(jù)本公開另ー實施例的生成用于檢測視頻中目標的異常行為的檢測器的方法的示意性流程圖；圖5是不出從視頻圖像中提取圖像塊序列的另一不例的不意性圖；圖6是示出根據(jù)本公開ー個實施例的生成用于檢測視頻中目標的異常行為的檢測器的設(shè)備的示意性框圖；圖7是示出根據(jù)本公開另ー實施例的生成用于檢測視頻中目標的異常行為的檢測器的設(shè)備的示意性框圖；圖8是示出根據(jù)本公開ー個實施例的檢測視頻中目標的異常行為的方法的示意性流程圖；圖9是示出根據(jù)本公開另ー實施例的檢測視頻中目標的異常行為的方法的示意性流程圖；圖10是示出利用串聯(lián)的兩級或更多級分類器來檢測視頻中目標的異常行為的方法的一個示例的示意性流程圖；圖11是示出用于確定圖像塊序列是否不含目標的異常行為的方法的一個示例的示意性流程圖；圖12是示出利用串聯(lián)的兩級或更多級分類器來檢測視頻中目標的異常行為的方法的另ー示例的示意性流程圖；圖13是示出根據(jù)本公開ー個實施例的檢測視頻中目標的異常行為的設(shè)備的示意性框圖；圖14是示出圖13所示的異常行為檢測裝置的結(jié)構(gòu)的一個示例的示意性框圖；圖15是示出根據(jù)本公開另ー實施例的檢測視頻中目標的異常行為的設(shè)備的示意性框圖；圖16是示出圖15所示的異常行為檢測裝置的結(jié)構(gòu)的一個示例的示意性框圖；圖17是示出圖13所示的異常行為檢測裝置的結(jié)構(gòu)的另ー示例的示意性框圖；圖18是示出用于生成運動矢量特征的過程的示例的示意圖；以及圖19是示出用于實現(xiàn)本公開的實施例或示例的計算機的結(jié)構(gòu)的示例性框圖。
具體實施方式
·
下面參照附圖來說明本公開的實施例。在本公開的ー個附圖或一種實施方式中描述的元素和特征可以與ー個或更多個其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本公開無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。本公開的實施例提供了生成用于檢測視頻中目標的異常行為的檢測器的方法和設(shè)備以及檢測視頻中目標的異常行為的方法和設(shè)備。圖I是示出根據(jù)本公開ー個實施例的生成檢測器的方法的示意性流程圖，所述檢測器用于檢測視頻中目標的異常行為。如圖I所示，該方法包括步驟102、104和106。圖I所示的方法利用多個視頻訓(xùn)練樣本來生成包括串聯(lián)的兩級或更多級分類器的、用于檢測視頻中目標的異常行為的檢測器。為了生成用于檢測視頻中目標的異常行為的檢測器，需要準備用于訓(xùn)練的視頻樣本。每個視頻樣本包括多幀圖像，且包含待檢測目標(如人、動物、車輛等)的行為。根據(jù)具體應(yīng)用，可以將目標的行為劃分為正常行為(如行走、交談等)和異常行為(如摔倒、打架、奔跑等)，相應(yīng)地，包含正常行為的視頻樣本為正常樣本；包含異常行為的視頻樣本為異常樣本。首先，在步驟102中，從多個視頻樣本中的每個視頻樣本中提取包含運動目標的區(qū)域，即從背景中把包含運動目標的區(qū)域分離出來，用于后續(xù)判斷目標的行為是否異常的步驟。這里所述的視頻樣本可以是已標注好目標的正常行為的視頻圖像序列，也可以是未經(jīng)標注的視頻圖像序列。在一般的視頻監(jiān)控應(yīng)用中，通常正常樣本的數(shù)量會遠遠多于異常樣本的數(shù)量。在本公開的實施例或示例中，可以采用包括正常樣本和異常樣本這兩種樣本的訓(xùn)練樣本集合，也可以采用只包括正常樣本的訓(xùn)練樣本集合。具體地，可以根據(jù)視頻樣本來確定待檢測目標的運動范圍，然后從包含多幀圖像的每個視頻樣本的每幀圖像中提取與該運動范圍對應(yīng)的圖像塊。從每個視頻樣本所包含的多幀圖像中提取的多個圖像塊即構(gòu)成該視頻樣本的圖像塊序列。也就是說，從每個視頻樣本中提取的圖像塊序列包括該視頻樣本的每幀圖像中與待檢測目標的運動范圍對應(yīng)的圖像塊。可以采用任何適當(dāng)?shù)姆椒◤囊曨l樣本中提取與目標的運動范圍對應(yīng)的圖像塊序列。作為ー個示例，可以采用下文中將要結(jié)合圖3和圖5描述的方法來提取每個視頻樣本中的圖像塊序列。然后，在步驟104中，提取每個圖像塊序列中的運動矢量特征，即，計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征。作為ー個示例，可以通過計算每個圖像塊序列的運動矢量方向直方圖來提取運動矢量。可選地，運動矢量方向直方圖可以是歸ー化的運動矢量方向直方圖。運動矢量可以是像素運動矢量，也可以是塊運動矢量。運動矢量方向直方圖的計算通?；谇熬皥D像?？刹捎萌魏芜m當(dāng)?shù)姆椒▉韽囊曨l圖像中提取出前景圖像。例如，可以采用基于像素的前景檢測算法和基于輪廓鄰域信息的前景檢測算法等，這里不一一列挙?；谙袼氐那熬皺z測算法主要包括幀差法(Temporal differencing)和背景法(Background subtraction)。例如在 Chris Stauffer矛ロ W. E. L. Grimson 的又 早‘‘Adaptive background mixture models for real-timetracking，，，1999 IEEE Computer Society Conference on Computer Vision and PatternRecognition(CVPRi 99)-Volume 2，pp. 2246，1999中描述了如何采用高斯混合模型對背 景進行建模以及如何在圖像中區(qū)分前景和背景的技木?？刹捎萌魏芜m當(dāng)?shù)姆椒▉碛嬎氵\動矢量方向直方圖。例如，可以采用Hu等人的文章“Anomaly Detection Based on Motion Direction，，(ACTA AUTOMATICA SINICA, Vol. 34,No. 11, November, 2008)中描述的計算運動矢量方向直方圖的技術(shù),這里不作詳述。運動矢量方向直方圖的方向區(qū)間的配置(即方向區(qū)間的寬度和數(shù)目)可以是任意的。作為ー個具體示例，可以采用[-π /8, 31/8]、[O, π /4] > [ JI /8,3 31 /8] > [ η /4, π /2] >[3π/8,5π/8]、[π/2,3π/4]、[5π/8,7π/8]、[3π/4, π]、[7π/8,9π/8]、[π,5π/4]、[9 π/8，11 π/8]、[5 π/4，3 π/2]、[11 π/8，13 π/8]、[3 π/2，7 π/4]、[13 π/8，15 π/8]、[7 3ι/4,2 3ι]這樣的16個方向區(qū)間。對于每個圖像塊序列，將該序列的所有圖像塊的運動矢量方向直方圖形成特征矢量。假設(shè)運動矢量方向直方圖的方向區(qū)間的數(shù)目為K，序列中圖像塊數(shù)為N，則每個運動矢量方向直方圖包含數(shù)據(jù)χΜ，其中I < i <K，1 < j < N，Xm表示針對序列中第j個圖像塊統(tǒng)計出的方向落在方向區(qū)間i的運動矢量的數(shù)目(或歸ー化數(shù)目)。所形成的特征矢量由所有的數(shù)據(jù)Xy構(gòu)成。數(shù)據(jù)Xy在特征矢量中的排列順序可以是任意的。作為ー個例子，特征矢量可以是(X1,P Χ1,2 · · · Xl, Nj Χ2，1 Χ2，2 · · · X2, Nj · · · XK，1，ΧΚ，2，· · · ？ ΧΚ，Nノ °圖18是示出生成特征矢量的過程的示例的示意圖。如圖18所示,設(shè)圖像塊序列中包含圖像塊 1801-1、1801-2、· · ·、1801-Ν。計算每個圖像塊 1801-1、1801-2、· · ·、1801_Ν的運動矢量方向直方圖1802-1、1802-2、. . .、1802_Ν。運動矢量方向直方圖包含前述示例中描述的16個方向區(qū)間。該圖像塊序列的所有圖像塊的運動矢量方向直方圖1802-1、1802-2、· . .、1802-Ν 形成特征矢量 1803,即(X1,” xlj2,. . . , xljN, x2jl, x2,2,, x2,N,, x16,
I，X16,2，· · ·，X16, n) o然后，在步驟106中，利用從多個視頻樣本中提取的多個圖像塊序列以及每個圖像塊序列的運動矢量特征來訓(xùn)練分類器。圖2示出了訓(xùn)練分類器的方法的ー個示例。如圖2所示，在步驟106-1中，利用從所有視頻樣本中提取的多個圖像塊序列以及每個圖像塊序列的運動矢量特征來訓(xùn)練第一級分類器。然后，在步驟106-2中，利用訓(xùn)練得到的第一級分類器對多個圖像塊序列進行分類，以得到所述多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列(即不能被第一級分類器描述的樣本)。然后，在步驟106-3中，利用這些被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練第二級分類器。在步驟106-4中，利用訓(xùn)練得到的第二級分類器對這些被所述第一級分類器確定為含有目標的異常行為的圖像塊序列再次進行分類，得到這些被所述第一級分類器確定為含有目標的異常行為的圖像塊序列中的被所述第二級分類器確定為含有目標的異常行為的圖像塊序列。這些被所述第二級分類器確定為含有目標的異常行為的圖像塊序列可以用于訓(xùn)練下一級分類器，依此類推，直到被上一級分類器確定為含有目標的異常行為的圖像塊序列的數(shù)量小于ー預(yù)定閾值(應(yīng)理解，該閾值可以根據(jù)實際的應(yīng)用場景來預(yù)先確定，這里不限定其具體的數(shù)值)，才停止訓(xùn)練。這樣即可得到N級分類器(N彡2)。將訓(xùn)練得到的N級分類器逐級串聯(lián)，即形成用于檢測視頻中的目標的異常行為的檢測器。利用圖I所示的方法，可以得到串聯(lián)的兩級或更多級分類器，其中每級分類器是采用經(jīng)過上ー級分類器分類為包含異常行為的樣本進行訓(xùn)練的。采用這種訓(xùn)練方法，可以對訓(xùn)練樣本中數(shù)量較少的類型的樣本建模，從而減少后續(xù)目標異常行為檢測中的誤檢。
可采用任何適當(dāng)?shù)挠?xùn)練方法來訓(xùn)練每一級分類器。作為ー個示例，串聯(lián)的兩級或更多級分類器中的每級分類器可以是ー類支持矢量機，即串聯(lián)的兩級或更多級分類器可以是串行ー類支持矢量機。一般的視頻監(jiān)控應(yīng)用中正常樣本的數(shù)量通常遠遠多于異常樣本的數(shù)量。訓(xùn)練樣本集合中異常樣本的數(shù)量通常很少，甚至有訓(xùn)練樣本集合只包含正常樣本的情況。采用ー類支持矢量機可以對ー種類型的樣本(如數(shù)量較多的正常樣本)的特征進行建模，從而提高異常行為檢測的精度。在其他示例中，還可以采用其他訓(xùn)練方法，如基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隱馬爾科夫模型和條件隨機場等)的訓(xùn)練方法，這里不作詳述。再次參考圖2，作為ー個示例，在利用被上一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器之前，還可以包括去除噪聲的步驟。如步驟106-5所示，該步驟可以在步驟106-3之前，用于去除被第一級分類器確定為含有目標的異常行為的圖像塊序列中的噪聲。作為ー個示例，可以將目標行為的持續(xù)時間短的圖像塊序列作為噪聲剔除。具體地，可以判斷每個圖像塊序列中目標行為的持續(xù)時間是否超過ー預(yù)定閾值(稱為第一閾值，應(yīng)理解，該閾值也可以根據(jù)實際的應(yīng)用場景來預(yù)先確定，這里不限定其具體的數(shù)值)，如果是，則保留該圖像塊序列；否則，則將該圖像塊序列中目標的行為確定為不含異常行為的噪聲。作為另ー示例，可以對上ー級分類器對圖像塊序列進行分類時在預(yù)定長度的時間段內(nèi)(即在預(yù)定數(shù)量的圖像幀內(nèi))出現(xiàn)報警的次數(shù)(即上一級分類器檢測到不能被其描述的特征的次數(shù))進行計數(shù)，當(dāng)出現(xiàn)報警的次數(shù)小于ー預(yù)定閾值(稱為第二閾值，應(yīng)理解，該閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)吋，則確定該圖像塊序列為噪聲，否則，則保留該圖像塊序列。作為另ー示例，在步驟106-1之前也可以包括如106-5所示的去除噪聲的步驟。在訓(xùn)練每級分類器之前先去除訓(xùn)練樣本中的噪聲，可以提高訓(xùn)練效率，改善訓(xùn)練得到的分類器的檢測精度，從而進一步減少后續(xù)的目標異常行為檢測中的誤檢。下面參考圖3和圖5來描述提取視頻圖像序列中與待檢測目標的運動范圍對應(yīng)的圖像塊序列的方法的示例。
在圖3所不的不例中，提取視頻圖像中與待檢測目標的運動范圍對應(yīng)的圖像塊序列的方法可以包括步驟102-1、102-2和102-3。在步驟102-1中，構(gòu)建視頻圖像的運動歷史圖像(Motion History Image, MHI)。首先，檢測視頻圖像中的前景區(qū)域。在視頻監(jiān)控場景中，圖像獲取設(shè)備(如攝像機)通常是固定的，因此背景是靜止的，而目標(例如人)是運動的。可以采用任何適當(dāng)?shù)姆椒▉頇z測視頻圖像的運動區(qū)域(前景)，作為ー個示例，可以采用高斯混合模型(Gaussian mixture model, GMM)方法來進行背景建模并檢測姆巾貞圖像的前景(運動區(qū)域)。在其他示例中，還可以采用核密度估計法(Kernel Density Estimation)等其他適當(dāng)?shù)姆椒▉頇z測前景，這里不作詳述。圖5(A)示出了視頻圖像的ー個示例，其中包含目標(人)的行走、摔倒的行為。圖5(B)示出了利用GMM方法對圖5(A)的視頻圖像進行前景檢測后得到的前景圖像序列?？梢岳枚鄮瑘D像的前景圖像(如最近η幀的前景圖像，n> I)、采用下列公式來 構(gòu)建MHI
w)=Uw:w，如す1⑴其中，X、y和t分別表示像素在寬、高和時間三個方向上的位置，τ為常數(shù)，該常數(shù)的值可以根據(jù)具體應(yīng)用來確定，這里不作限定，D(x, y, t)表示前景檢測結(jié)果，其中D (X，y，t)為I表示像素(X, y, t)屬于前景，Ητ (x, y, t)表示運動歷史圖像MHI。圖5(C)示出了利用上述方法對圖5(B)的前景圖像進行處理而得到的運動歷史圖像MHI，圖5(C1)是圖5(C)中方框所示部分的局部放大圖。然后，在步驟102-2中，根據(jù)運動歷史圖像MHI進行對視頻圖像進行連通域分析，以獲得目標的運動范圍?？梢圆捎萌魏芜m當(dāng)?shù)姆椒ㄟM行連通域分析，這里不作詳述。圖5(D)中的方框示出了利用圖5(C)所示的運動歷史圖像進行連通域分析后得到的目標行為的運動區(qū)間(即目標的運動范圍)。最后，在步驟102-3中，提取視頻圖像中的甸巾貞圖像中與該運動范圍對應(yīng)的圖像塊，形成與目標的運動范圍對應(yīng)的圖像塊序列。圖5(E)示出了從圖5(A)的視頻圖像中提取的圖像塊序列，圖5(E1)、(E2)、(E3)示意性示出了其中的各個圖像塊。該圖像塊序列包含目標(在本示例中目標為人)在行走過程中摔倒的行為。在圖3所示的示例中，通過對MHI進行連通域分析來得到目標的運動范圍，這樣得到的目標的運動范圍對應(yīng)于多幀圖像中目標的運動范圍。如果不進行連通域分析而僅采用MHI,則得到的目標的運動范圍僅對應(yīng)于當(dāng)前圖像巾貞中目標的范圍。因此,與不進行連通域分析的方法相比，采用圖3所示的示例得到的目標的運動范圍能夠盡可能多地包括有效信息，利用這樣得到的圖像塊序列訓(xùn)練檢測器，可以大大提高目標異常行為檢測器的檢測精度，減少誤檢。應(yīng)理解，以上參考圖3和圖5描述的獲取目標的運動范圍的方法僅僅是示例性的。在其他示例中，還可以采用其他適當(dāng)?shù)姆椒ǎ?，可以采用高斯混合模?Gaussianmixture model, GMM)方法來進行背景建模并檢測姆巾貞圖像的前景(運動區(qū)域)，而不必進行后續(xù)的構(gòu)建MHI并進行連通域分析的步驟；又如，還可以采用核密度估計法來檢測每幀圖像的前景，從而得到目標的運動范圍；這里不一一列挙。與圖3和圖5所示的方法相比，采用這些方法這樣得到的目標的運動范圍所包含的有效信息會比較少。圖4示出了根據(jù)另ー實施例的生成檢測器的方法的示意性流程圖，所述檢測器用于檢測視頻中目標的異常行為。在圖4所示的方法中，將所監(jiān)控的場景劃分成多個子區(qū)域，并且針對每個子區(qū)域均訓(xùn)練ー個包括串聯(lián)的兩級或更多級分類器的檢測器。如圖4所示，該方法可以包括步驟410、402、404、414和406。在步驟410中，將視頻樣本所針對的場景劃分成多個子區(qū)域?？梢愿鶕?jù)具體應(yīng)用來確定子區(qū)域的位置和數(shù)量，這里不作限定。在步驟402中，從每個視頻樣本中提取包含該視頻樣本的每幀圖像中的與目標的運動區(qū)域的圖像塊序列。該步驟402與上文結(jié)合圖I描述的步驟102相似，可以采用結(jié)合圖3和圖5描述的方法或其他適當(dāng)?shù)姆椒▉硖崛D像塊序列，這里不再重復(fù)。然后，在步驟404中，提取每個圖像塊序列中的運動矢量特征，S卩，計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征。該步驟404與步驟104相似，這里不再重·復(fù)。在步驟414中，對每個圖像塊序列進行定位，即確定每個圖像塊序列位于監(jiān)控場景的哪個子區(qū)域中。然后，在步驟406中，利用每個子區(qū)域的圖像塊序列及其運動矢量特征來生成用于檢測該子區(qū)域中的目標的異常行為的檢測器。步驟406與上文參考圖I和圖2描述的步驟106相似，這里不再重復(fù)。另外，與上文實施例或示例相似，可以采用任何適當(dāng)?shù)挠?xùn)練方法來訓(xùn)練每一級分類器。例如，每個子區(qū)域的串聯(lián)的兩級或更多級分類器中的每級分類器可以是ー類支持矢量機。又如，可以采用基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隱馬爾科夫模型和條件隨機場等)等其他訓(xùn)練方法來訓(xùn)練每一級分類器，這里也不作詳述。應(yīng)理解，雖然圖I中將步驟414示為在步驟404之后執(zhí)行，但這僅僅是示例性的。在其他示例中，步驟414也可以在步驟404之前執(zhí)行。利用圖4所示的方法，可以得到針對監(jiān)控場景的多個子區(qū)域的多個異常行為檢測器。每個子區(qū)域?qū)?yīng)ー個異常行為檢測器。每個子區(qū)域的檢測器包括串聯(lián)的兩級或更多級分類器。采用這種方法，能夠有效地處理視頻圖像中由于透視變化而造成的類內(nèi)差問題，從而進ー步提高后續(xù)目標異常行為檢測的準確率，減少誤檢。再次參考圖4，作為ー個示例，生成檢測器的方法還可以包括對目標分類的步驟(如圖中的虛線框412所示)。以待檢測目標是人為例，可以在步驟412中確定圖像塊序列中的行為是否人的行為，如果是，則對該圖像塊序列進行下一歩處理，如果不是，則丟棄該圖像塊序列?？梢圆捎萌魏芜m當(dāng)?shù)姆椒▉磉M行步驟412的目標分類處理。例如，可以根據(jù)圖像塊所在區(qū)域的大小來判斷該行為是否為人的行為，對于大小明顯不同的目標(如人、車輛、動物等)，可以采用這種方法。又如，還可以采用Paul Viola等人的文章“Rapid ObiectDetection Using a Boosted Cascade of Simple Features，，(CVPR, 2001 年)中描述的人檢測方法，這里不作詳述。采用這種方法，可以將剔除樣不包含待檢測目標的樣本，從而進一歩提高訓(xùn)練的效率，改善訓(xùn)練得到的分類器的檢測精度，從而進一步減少后續(xù)的目標異常行為檢測中的誤檢。作為另ー示例，生成檢測器的方法還可以包括提取統(tǒng)計信息的步驟(如圖4中的虛線框416所示)。具體地，在步驟416中，可以根據(jù)從多個視頻樣本中提取的運動矢量特征來計算所對應(yīng)的場景的運動統(tǒng)計信息。例如，可以計算視頻樣本的運動矢量特征的幅度的均值和方差等，作為所述運動統(tǒng)計信息。在監(jiān)控場景被劃分成多個子區(qū)域的情況下，可以提取每個子區(qū)域的運動統(tǒng)計信息。這些運動統(tǒng)計信息可以存儲于存儲裝置(未示出)中，用于后續(xù)的目標異常行為檢測，從而進ー步提高檢測的準確度，減少誤檢。下面參考圖6和圖7描述根據(jù)本公開的生成檢測器的設(shè)備的實施例，所述檢測器用于檢測視頻中目標的異常行為。圖6示出了根據(jù)ー個實施例的生成檢測器的設(shè)備的結(jié)構(gòu)的示意性框圖。如圖6所示，該設(shè)備600可以包括提取裝置601、 特征計算裝置603和訓(xùn)練裝置605。圖6所示的設(shè)備600利用經(jīng)過標注的多個視頻訓(xùn)練樣本來生成用于檢測視頻中目標的異常行為的檢測器。提取裝置601用于在每個視頻樣本中提取包含該視頻樣本的每幀圖像中的與目標的運動范圍對應(yīng)的圖像塊的圖像塊序列。提取裝置601可以采用上文中參考圖I、圖3或圖5或圖4描述的方法實施例或示例來提取視頻樣本中的圖像塊序列，這里不再重復(fù)。提取裝置601將所提取的圖像塊序列輸出到特征計算裝置603。特征計算裝置603計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征。特征計算裝置603可以采用上文中參考圖I或圖4描述的方法實施例或示例來計算每個圖像塊序列的運動矢量特征，這里不再重復(fù)。訓(xùn)練裝置605利用提取裝置601從多個視頻樣本中提取的多個圖像塊序列以及特征計算裝置603所計算的運動矢量特征來生成用于檢測視頻中目標的異常行為的檢測器。訓(xùn)練裝置605可以采用所有圖像塊序列來訓(xùn)練第一級分類器，然后利用訓(xùn)練得到的第一級分類器對所述多個圖像塊序列進行分類并利用所述多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器，直到得到兩級或更多級分類器，所述兩級或更多級分類器串聯(lián)以形成檢測目標的異常行為的檢測器。訓(xùn)練裝置605可以采用上文中參考圖I、圖2或圖4描述的方法實施例或示例來訓(xùn)練所述檢測器，這里不再重復(fù)。與上文的方法實施例或示例相似，訓(xùn)練裝置605可以采用任何適當(dāng)?shù)挠?xùn)練方法來訓(xùn)練每一級分類器。例如，串聯(lián)的兩級或更多級分類器中的每級分類器可以是ー類支持矢量機。又如，訓(xùn)練裝置605可以采用基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隱馬爾科夫模型和條件隨機場等)等其他訓(xùn)練方法來訓(xùn)練每一級分類器，這里也不再重復(fù)。利用圖6所示的訓(xùn)練設(shè)備，可以生成串聯(lián)的兩級或更多級分類器，其中每級分類器是采用經(jīng)過上一級分類器分類的樣本進訓(xùn)行練的。采用這種訓(xùn)練設(shè)備，可以對訓(xùn)練樣本中數(shù)量較少的類型的樣本建模，從而減少后續(xù)目標異常行為檢測中的誤檢。圖7示出了根據(jù)另ー實施例的生成檢測器的設(shè)備的結(jié)構(gòu)的示意性框圖。在圖7所示的設(shè)備700中，除了提取裝置701、特征計算裝置703和訓(xùn)練裝置705之外，還包括將所監(jiān)控的場景劃分成多個子區(qū)域的分割裝置707。分割裝置707將視頻樣本所針對的場景劃分成多個子區(qū)域。可以根據(jù)具體應(yīng)用來確定子區(qū)域的位置和數(shù)量，這里不作限定。提取裝置701與提取裝置601相似，用于從每個視頻樣本中提取包含該視頻樣本的每幀圖像中的與目標的運動區(qū)域的圖像塊序列。提取裝置701可以采用上文參考圖I、圖3、圖4或圖5描述的方法或其他適當(dāng)?shù)姆椒▉硖崛D像塊序列，這里不再重復(fù)。
特征計算裝置703與特征計算裝置603相似，用于提取每個圖像塊序列中的運動矢量特征，即，計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征。特征計算裝置703可以采用上文中參考圖I或圖4描述的方法實施例或示例來計算每個圖像塊序列的運動矢量特征，這里不再重復(fù)。訓(xùn)練裝置705首先對每個圖像塊序列進行定位，即確定每個圖像塊序列位于哪個子區(qū)域中。然后，訓(xùn)練裝置705利用每個子區(qū)域的圖像塊序列及其運動矢量特征來生成用于檢測該子區(qū)域中的目標的異常行為的檢測器。訓(xùn)練裝置705可以采用上文中參考圖I、圖2或圖4描述的方法實施例或示例來訓(xùn)練針對每一子區(qū)域的檢測器，這里不再重復(fù)。另外，與上文實施例或示例相似，可以采用任何適當(dāng)?shù)挠?xùn)練方法來訓(xùn)練每一級分類器。例如，每個子區(qū)域的串聯(lián)的兩級或更多級分類器中的每級分類器可以是ー類支持矢量機。又如，可以采用基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隱馬爾科夫模型和條件隨機場等)等其他訓(xùn)練方法來訓(xùn)練每一級分類器，這里也不作詳述。利用圖7所示的訓(xùn)練設(shè)備，可以得到針對監(jiān)控場景的多個子區(qū)域的多個異常行為 檢測器。每個子區(qū)域?qū)?yīng)ー個異常行為檢測器。每個子區(qū)域的檢測器包括串聯(lián)的兩級或更多級分類器。采用這種方法，能夠有效地處理視頻圖像中由于透視變化而造成的類內(nèi)差問題，從而進ー步提高后續(xù)目標異常行為檢測的準確率，減少誤檢。作為ー個示例，訓(xùn)練裝置705在訓(xùn)練分類器時，可以利用被上一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器之前，采用上文參考步驟106-5描述的方法進行去除噪聲的處理。例如，在訓(xùn)練得到第一級分類器之后，訓(xùn)練裝置705可以去除被第一級分類器確定為含有目標的異常行為的圖像塊序列中的噪聲。作為ー個示例，訓(xùn)練裝置705可以將目標行為的持續(xù)時間短的圖像塊序列作為噪聲剔除。具體地，訓(xùn)練裝置705可以判斷每個圖像塊序列中目標行為的持續(xù)時間是否超過ー預(yù)定閾值(應(yīng)理解，該閾值也可以根據(jù)實際的應(yīng)用場景來預(yù)先確定，這里不限定其具體的數(shù)值)，如果是，則保留該圖像塊序列；否則，則將該圖像塊序列中目標的行為確定為不含異常行為的噪聲。作為另ー示例，訓(xùn)練裝置705可以對上ー級分類器對圖像塊序列進行分類時在預(yù)定長度的時間段內(nèi)(即在預(yù)定數(shù)量的圖像幀內(nèi))出現(xiàn)報警的次數(shù)(即上ー級分類器檢測到不能被其描述的特征的次數(shù))進行計數(shù)，當(dāng)出現(xiàn)報警的次數(shù)小于ー預(yù)定閾值時，則確定該圖像塊序列為噪聲，否則，則保留該圖像塊序列。作為另ー示例，生成檢測器的設(shè)備700還可以包括統(tǒng)計信息提取裝置709。統(tǒng)計信息提取裝置709可以根據(jù)從多個視頻樣本中提取的運動矢量特征來計算所對應(yīng)的場景的運動統(tǒng)計信息。例如，統(tǒng)計信息提取裝置709可以計算視頻樣本的運動矢量特征的幅度的均值和方差等，作為所述運動統(tǒng)計信息。在監(jiān)控場景被劃分成多個子區(qū)域的情況下，統(tǒng)計信息提取裝置709可以提取每個子區(qū)域的運動統(tǒng)計信息。這些運動統(tǒng)計信息可以存儲于存儲裝置(未示出)中，用于后續(xù)的目標異常行為檢測，從而進ー步提高檢測的效率。作為另ー示例，訓(xùn)練裝置705還可以采用上文參考步驟412描述的方法進行目標分類。以待檢測目標是人為例，訓(xùn)練裝置705可以確定圖像塊序列中的行為是否人的行為，如果是，則對該圖像塊序列進行下一歩處理，如果不是，則丟棄該圖像塊序列。訓(xùn)練裝置705可以采用任何適當(dāng)?shù)姆椒▉磉M行目標分類處理。例如，可以根據(jù)圖像塊所在區(qū)域的大小來判斷該行為是否為人的行為，對于大小明顯不同的目標(如人、車輛、動物等)，可以采用這種方法。又如，還可以采用Paul Viola等人的文章“Rapid Object Detection Using aBoosted Cascade of Simple Features”(CVPR, 2001 年)中描述的人檢測方法，這里不作詳述。下文參考圖8-12來描述利用串聯(lián)的兩級或更多級分類器來檢測視頻中目標的異常行為的方法的實施例。圖8示出了根據(jù)ー個實施例的檢測視頻中目標的異常行為的方法的示意性流程圖。如圖8所示，該方法包括步驟822、824和826。在步驟822中，從待檢測的視頻段中提取包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊的圖像塊序列?？梢圆捎蒙衔膮⒖紙DI、圖3或圖5所描述的方法來提取視頻段中與目標的運動范圍對應(yīng)的圖像塊序列，這里不再重復(fù)。 在步驟824中，計算圖像塊序列中的運動矢量特征?？梢圆捎蒙衔膮⒖紙DI、圖18或圖4描述的方法來提取圖像塊序列中的運動矢量特征，這里也不再重復(fù)。在步驟826中，采用利用上文參考圖1-7描述的方法或設(shè)備所生成的異常行為檢測器來檢測圖像塊序列中是否包含目標的異常行為。圖14示出了這種異常行為檢測器的結(jié)構(gòu)的ー個示例。如圖14所示，異常行為檢測裝置1305可以包括第一級分類器1305-1、第
ニ級分類器1305-2........第N級分類器1305-N。其中，N彡2。每級分類器用于檢測目
標的異常行為。圖像塊序列及運動矢量特征被逐級輸入所述N級分類器，如果前ー級分類器判斷所述圖像塊序列中出現(xiàn)異常行為，則所述圖像塊序列被輸入到下一級分類器，直到最后ー級分類器。圖10示出了利用串聯(lián)的N級(NS2)分類器來檢測圖像塊序列中的目標異常行為的方法的ー個示例。如圖10所示，在步驟1026-1中，利用第一級分類器對圖像塊序列進行分類，以確定該圖像塊序列中是否含有目標的異常行為。如果第一級分類器的輸出結(jié)果為否，則確定該圖像塊序列中不含有目標的異常行為；否則將圖像塊序列輸出到下ー級分類器(步驟1026-2)。在步驟1026-2中，利用第二分類器對圖像塊序列進行分類，以確定該圖像塊序列中是否含有目標的異常行為。如果第二級分類器的輸出結(jié)果為否，則確定該圖像塊序列中不含有目標的異常行為；否則將圖像塊序列輸出到下一級分類器，依此類推，直到第N級分類器，如果第N級分類器的輸出結(jié)果為否，則確定該圖像塊序列中不含有目標的異常行為；否則，確定圖像塊序列含有目標的異常行為(步驟1026-3)。在圖8所示的方法中利用串聯(lián)的兩級或更多級分類器來檢測視頻中的目標的異常行為。這種多級判斷方法有利于減少目標異常行為檢測中的誤檢，提高檢測的準確度。作為ー個示例，串聯(lián)的兩級或更多級分類器中的每級分類器可以是ー類支持矢量機，即串聯(lián)的兩級或更多級分類器可以是串行ー類支持矢量機。在其他示例中，串聯(lián)的兩級或更多級分類器中的每級分類器還可以是采用其他訓(xùn)練方法訓(xùn)練得到的分類器，例如，可以是基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隱馬爾科夫模型和條件隨機場等)等訓(xùn)練方法得到的分類器，這里不作詳述。仍參考圖10，作為ー個示例，在利用每級分類器對圖像塊進行分類之后、在利用下一級分類器進行進一歩判斷之前，可以包括判斷圖像塊序列是否為噪聲的步驟1026-4。在步驟1026-4中，判斷所提取的圖像塊序列中目標的行為的持續(xù)時間是否超過ー預(yù)定閾值(應(yīng)理解，該閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)，如果否，則將該圖像塊序列中目標的行為確定為不含異常行為的噪聲，如果是，則將該圖像塊序列輸出到下一級分類器進行進一歩處理。作為另ー示例，還可以對上ー級分類器對圖像塊序列進行分類時在預(yù)定長度的時間段內(nèi)(即在預(yù)定數(shù)量的圖像幀內(nèi))出現(xiàn)報警的次數(shù)(即上ー級分類器檢測到不能被其描述的特征的次數(shù))進行計數(shù)，當(dāng)出現(xiàn)報警的次數(shù)小于ー預(yù)定閾值(應(yīng)理解，該閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)吋，則確定該圖像塊序列為噪聲，否則，則將該圖像塊序列輸出到下一級分類器進行進一歩處理。圖9示出了根據(jù)另ー實施例的檢測視頻中目標的異常行為的方法的示意性流程圖。在該實施例中，將所監(jiān)控的場景劃分成多個子區(qū)域，并利用針對每個子區(qū)域的、包括串聯(lián)的兩級或更多級的分類器的檢測器進行異常行為檢測器。如圖9所示，該方法可以包括步驟930、922、932、924和926。在步驟930中，獲取有關(guān)視頻段所針對的場景被劃分成的多個子區(qū)域的位置的信息。例如，可以預(yù)先將訓(xùn)練用于每個子區(qū)域的串聯(lián)的兩級或更多級分類器時劃分的子區(qū)域的位置和/或數(shù)量等信息存儲在例如存儲單元中，并在進行異常行為檢測時從該存儲單元 中獲取這些信息。在步驟922中，從待檢測的視頻段中提取包含該視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊的圖像塊序列?？梢圆捎蒙衔膮⒖紙DI、圖3或圖5所描述的方法來提取視頻段中與目標的運動范圍對應(yīng)的圖像塊序列，這里不再重復(fù)。在步驟932中，確定所提取的圖像塊序列所在的子區(qū)域。在步驟924中，計算圖像塊序列中的運動矢量特征?？梢圆捎蒙衔膮⒖紙DI、圖18或圖4描述的方法來提取圖像塊序列中的運動矢量特征，這里也不再重復(fù)。可選地，步驟932與步驟924的順序可以顛倒，即步驟924可以在步驟932之前進行。在步驟926中，采用利用上文參考圖4或7描述的方法或設(shè)備所生成的異常行為檢測器來檢測圖像塊序列中是否包含目標的異常行為。該異常行為檢測器包括針對每個子區(qū)域的、串聯(lián)的兩級或更多級分類器。圖16示出了這種異常行為檢測器的結(jié)構(gòu)的ー個示例。如圖16所示，假設(shè)監(jiān)控場景被分割成M個子區(qū)域(M > I)，則異常行為檢測裝置1505包括針對第一子區(qū)域的串聯(lián)的兩級或更多級分類器1505-1、針對第二子區(qū)域的串聯(lián)的兩級
或更多級分類器1505-2........針對第M子區(qū)域的串聯(lián)的兩級或更多級分類器1505-M。
根據(jù)在步驟932中確定的子區(qū)域來選擇針對相應(yīng)子區(qū)域的串聯(lián)的兩級或更多級分類器來檢測圖像塊序列中是否包含目標的異常行為。可以采用上文參考圖10所描述的方法進行檢測，這里不再重復(fù)。在圖9所示的方法中，將監(jiān)控場景劃分成多個子區(qū)域，并利用針對每個子區(qū)域的兩級或更多級分類器進行異常行為檢測。每個子區(qū)域?qū)?yīng)相應(yīng)的串聯(lián)的兩級或更多級分類器。采用這種方法，能夠有效地處理視頻圖像中由于透視變化而造成的類內(nèi)差問題，從而進一步提聞目標異常行為檢測的準確率，減少誤檢。作為ー個示例，還可以根據(jù)分類器訓(xùn)練過程中在訓(xùn)練樣本中提取的監(jiān)控場景的運動統(tǒng)計信息對所提取的圖像塊序列進行預(yù)處理(如圖9中所示的步驟936)。在步驟936中，根據(jù)場景的運動統(tǒng)計信息判斷所提取的圖像塊序列是否為不含異常行為的噪聲。如上文中所述，所述運動統(tǒng)計信息可以是從多個視頻訓(xùn)練樣本中提取的運動矢量特征的幅度的均值和方差等。在監(jiān)控場景被劃分成多個子區(qū)域的情況下，可以利用針對每個子區(qū)域的運動統(tǒng)計信息。這些運動統(tǒng)計信息可以存儲于存儲裝置(未示出)中。圖11示出了利用運動統(tǒng)計信息對圖像塊序列進行預(yù)處理的ー個具體示例。如圖11所示，在步驟1136-1中，計算圖像塊序列的運動矢量特征的幅度的直方圖。可以采用任何適當(dāng)?shù)姆椒▉碛嬎闼鲋狈綀D，這里不作詳述。然后，在步驟1136-2中根據(jù)所述直方圖來計算幅度小于ー預(yù)定的閾值th3(稱為第三閾值)的運動矢量特征占所有運動矢量特征的比例T。作為ー個示例，th3 =均值+nlX方差。這里所述的均值和方差即在檢測器生成階段從多個視頻訓(xùn)練樣本中提取的運動矢量特征的幅度的均值和方差。nl為常數(shù)，其數(shù)值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作限定。在步驟1136-3中，判斷比例T是否大于ー預(yù)定閾值th4(稱為第四閾值，應(yīng)理解，該第四閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)，若否，則確定該圖像塊序列不含異常行為；否則，則進行下一步處理，即利用相應(yīng)的串聯(lián)的兩級或更多級分類器對圖像塊序列進行處理。利用這樣的運動統(tǒng)計信息對圖像塊序列進行預(yù)處理，可以濾除噪聲，從而進一步提聞檢測的效率。

圖12示出了利用運動統(tǒng)計信息的另ー示例。如圖12所示，在步驟1226中利用串聯(lián)的兩級或更多級分類器對圖像塊序列進行檢測，該步驟1226與上文描述的步驟826或926或圖10所示的方法相似，這里不再重復(fù)。在步驟1238中，計算圖像塊序列中運動矢量特征的幅度大于ー預(yù)定的閾值th5(稱為第五閾值)的區(qū)域。作為ー個示例，th5=均值+nlX方差。這里所述的均值和方差即在檢測器生成階段從多個視頻訓(xùn)練樣本中提取的運動矢量特征的幅度的均值和方差。nl為常數(shù)，其數(shù)值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作限定。然后，在步驟1240中對圖像塊序列進行連通域分析并計算運動矢量特征的幅度大于th5的最大區(qū)域的面積S。之后，在步驟1242中，判斷S是否大于ー預(yù)定閾值th6(稱為第六閾值。應(yīng)理解，該第四閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)，如果S大于th6或者步驟1226中確定圖像塊序列中包含目標的異常行為，則確定圖像塊序列包含目標的異常行為；否則，則確定圖像塊序列中不含目標的異常行為。利用這樣的運動統(tǒng)計信息對圖像塊序列進彳丁進一步處通，可以進一步提聞檢測的準確率，減少誤檢。再次參考圖9,作為ー個示例,檢測視頻中目標的異常行為的方法還可以包括對目標分類的步驟(如圖中的虛線框934所示)。以待檢測目標是人為例，可以在步驟934中確定圖像塊序列中的行為是否人的行為，如果是，則對該圖像塊序列進行下一步處理，如果不是，則丟棄該圖像塊序列?？梢圆捎萌魏芜m當(dāng)?shù)姆椒▉磉M行步驟934的目標分類處理。例如，可以根據(jù)圖像塊所在區(qū)域的大小來判斷該行為是否為人的行為，對于大小明顯不同的目標(如人、車輛、動物等)，可以采用這種方法。又如，還可以采用Paul Viola等人的文章“Rapid Object Detection Using a Boosted Cascade of Simple Features” (CVPR, 2001年)中描述的人檢測方法，這里不作詳述。下面參考圖13-17來描述本公開的用于檢測視頻中目標的異常行為的設(shè)備的實施例。圖13是根據(jù)本公開的ー個實施例的用于檢測視頻中目標的異常行為的設(shè)備。如圖13所示，該設(shè)備1300可以包括提取裝置1301、特征計算裝置1303和異常行為檢測裝置1305。提取裝置1301在待檢測的視頻段中提取包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊的圖像塊序列。提取裝置1301可以采用上文參考圖I、圖3或圖5所描述的方法來提取視頻段中與目標的運動范圍對應(yīng)的圖像塊序列，這里不再重復(fù)。特征計算裝置1303計算所述圖像塊序列中的運動矢量特征。特征計算裝置1303可以采用上文參考圖I、圖18或圖4描述的方法來提取圖像塊序列中的運動矢量特征，這里也不再重復(fù)。異常行為檢測裝置1305用于利用所述運動示例特征來檢測圖像塊序列中是否包括異常行為。圖14示出了該異常行為檢測裝置1305的結(jié)構(gòu)的ー個示例。如圖14所示，異常行為檢測裝置1305包括串聯(lián)的N級分類器第一級分類器1305-1、第二級分類器
1305-2........第N級分類器1305-N。N彡2。所提取的圖像塊序列及運動矢量特征被
逐級輸入所述兩級或更多級分類器，如果前ー級分類器判斷所述圖像塊序列中出現(xiàn)異常行為，則所述圖像塊序列被輸入到下一級分類器，直到最后ー級分類器。異常行為檢測裝置1305可以采用參考圖10所描述的方法進行檢測，這里不再重復(fù)。 圖13所示的設(shè)備包括串聯(lián)的兩級或更多級分類器，用于檢測視頻中的目標的異常行為。這種多級檢測設(shè)備有利于減少目標異常行為檢測中的誤檢，提高檢測的準確度。作為ー個示例,姆級分類器1305-i (i = 1,2,. . . ,N)可以是ー類支持矢量機,即異常行為檢測裝置1305可以包括串行ー類支持矢量機。在其他示例中，每級分類器還可以是采用其他訓(xùn)練方法訓(xùn)練得到的分類器，例如，可以是基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隱馬爾科夫模型和條件隨機場等)等訓(xùn)練方法得到的分類器，這里不作詳述。圖15示出了根據(jù)另ー實施例的用于檢測視頻中目標的異常行為的設(shè)備。如圖15所示，除了提取裝置1501、特征計算裝置1503和異常行為檢測裝置1505之外，該設(shè)備1500還包括分割信息獲取裝置1507和定位裝置1506。分割信息獲取裝置1507用于獲取有關(guān)視頻段所針對的場景被劃分成的多個子區(qū)域的位置信息。例如，可以預(yù)先將訓(xùn)練用于每個子區(qū)域的串聯(lián)的兩級或更多級分類器時劃分的子區(qū)域的位置和數(shù)量等信息存儲在例如存儲單元中，分割信息獲取裝置1507可以從該存儲単元中獲取這些信息。異常行為檢測裝置1505可以包括針對每個子區(qū)域的、串聯(lián)的兩級或更多級分類器。圖16示出了這種異常行為檢測裝置的結(jié)構(gòu)的ー個示例。如圖16所示，假設(shè)監(jiān)控場景被分割成M個子區(qū)域(M> I)，則異常行為檢測裝置1505可以包括針對第一子區(qū)域的串聯(lián)的兩級或更多級分類器1505-1、針對第二子區(qū)域的串聯(lián)的兩級或更多級分
類器1505-2........針對第M子區(qū)域的串聯(lián)的兩級或更多級分類器1505-M。在劃分場景
的子區(qū)域時，子區(qū)域的位置和數(shù)量應(yīng)與所采用的異常行為檢測裝置1505的結(jié)構(gòu)對應(yīng)，使得M個子區(qū)域與M個串聯(lián)的兩級或更多級分類器1505-i(i = 1，...，M，M> I)——對應(yīng)。提取裝置1501在待檢測的視頻段中提取包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊的圖像塊序列。提取裝置1501可以采用上文參考圖I、圖3或圖5所描述的方法來提取視頻段中與目標的運動范圍對應(yīng)的圖像塊序列，這里不再重復(fù)。特征計算裝置1503計算所提取的圖像塊序列中的運動矢量特征。特征計算裝置1503可以采用上文參考圖I、圖18或圖4描述的方法來提取圖像塊序列中的運動矢量特征，這里也不再重復(fù)。定位裝置1506用于確定所提取的圖像塊序列位于那ー個子區(qū)域。從而將圖像塊序列和特征矢量特征輸入到異常行為檢測裝置1505中的相應(yīng)的串聯(lián)的兩級或更多級分類器1505-i(i = 1，...，M，M> I)。每個串聯(lián)的兩級或更多級分類器1505-i具有如圖14所示的結(jié)構(gòu)，包括N級分類器(N彡2)。圖15所示的設(shè)備將監(jiān)控場景劃分成多個子區(qū)域，并利用針對每個子區(qū)域的兩級或更多級分類器進行異常行為檢測。每個子區(qū)域?qū)?yīng)相應(yīng)的串聯(lián)的兩級或更多級分類器。采用這種設(shè)備，能夠有效地處理視頻圖像中由于透視變化而造成的類內(nèi)差問題，從而進ー步提聞目標異常行為檢測的準確率，減少誤檢。圖17示出了根據(jù)本公開另ー實施例的檢測視頻中目標的異常行為的設(shè)備的結(jié)構(gòu)。設(shè)備1700與圖13所示的設(shè)備1300的結(jié)構(gòu)相似，不同之處在于，設(shè)備1700還包括噪聲去除裝置1709。提取裝置1701、特征計算裝置1703、異常行為檢測裝置1705的結(jié)構(gòu)和功能可以分別與提取裝置1301、特征計算裝置1303、異常行為檢測裝置1305相似，這里不再重復(fù)。
噪聲去除裝置1709可以根據(jù)視頻段所對應(yīng)的場景的運動統(tǒng)計信息對提取裝置1701所提取的圖像塊序列進行預(yù)處理。作為ー個示例，噪聲去除裝置1709根據(jù)場景的運動統(tǒng)計信息判斷所提取的圖像塊序列是否為不含異常行為的噪聲。如上文中所述，所述運動統(tǒng)計信息可以是從多個視頻訓(xùn)練樣本中提取的運動矢量特征的幅度的均值和方差等。在監(jiān)控場景被劃分成多個子區(qū)域的情況下，可以利用針對每個子區(qū)域的運動統(tǒng)計信息。這些運動統(tǒng)計信息可以存儲于存儲裝置(未示出)中。噪聲去除裝置1709可以采用圖11所示的利用運動統(tǒng)計信息對圖像塊序列進行預(yù)處理的方法進行預(yù)處理，這里不再重復(fù)。利用這樣的運動統(tǒng)計信息對圖像塊序列進行預(yù)處理，可以濾除噪聲，從而進一歩提高檢測的效率。作為另一矢量，噪聲去除裝置1709還可以采用圖12所示的方法進行處理。具體地，在異常行為檢測裝置1705利用串聯(lián)的兩級或更多級分類器對圖像塊序列進行檢測之后，噪聲去除裝置1709利用圖12所示的步驟1238、1240和1242所示的方法對圖像塊序列進行進一歩的處理，這里不再重復(fù)。利用這樣的運動統(tǒng)計信息對圖像塊序列進行進ー步處通，可以進一步提聞檢測的準確率，減少誤檢。作為另ー示例，噪聲去除裝置1709還可以判斷圖像塊序列是否為噪聲。具體地，噪聲去除裝置1709判斷所提取的圖像塊序列中目標的行為的持續(xù)時間是否超過ー預(yù)定閾值(應(yīng)理解，該閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)，如果否，則將該圖像塊序列中目標的行為確定為不含異常行為的噪聲。作為另ー示例，噪聲去除裝置1709還可以對上ー級分類器對圖像塊序列進行分類時在預(yù)定長度的時間段內(nèi)(即在預(yù)定數(shù)量的圖像幀內(nèi))出現(xiàn)報警的次數(shù)(即上一級分類器檢測到不能被其描述的特征的次數(shù))進行計數(shù)，當(dāng)出現(xiàn)報警的次數(shù)小于ー預(yù)定閾值(應(yīng)理解，該閾值可以根據(jù)具體應(yīng)用來預(yù)先確定，這里不作具體限定)吋，則確定該圖像塊序列為噪聲。例如，噪聲去除裝置1709可以在異常行為檢測裝置1705利用每級分類器對圖像塊進行分類之后、在利用下一級分類器進行進一歩判斷之前進行上述處理。作為另ー示例，上述檢測視頻中目標的異常行為的設(shè)備中的噪聲去除裝置1709還可以進行目標分類處理。以待檢測目標是人為例，噪聲去除裝置1709可以確定圖像塊序列中的行為是否人的行為，如果是，則對該圖像塊序列進行下一步處理，如果不是，則丟棄該圖像塊序列?？梢圆捎萌魏芜m當(dāng)?shù)姆椒▉磉M行目標分類處理。例如，可以根據(jù)圖像塊所在區(qū)域的大小來判斷該行為是否為人的行為，對于大小明顯不同的目標(如人、車輛、動物等)，可以采用這種方法。又如，還可以采用Paul Viola等人的文章“Rapid ObjectDetection Using a Boosted Cascade of Simple Features，，(CVPR, 2001 年)中描述的人檢測方法，這里不作詳述。根據(jù)本公開的實施例的用于檢測視頻中的目標異常行為的方法和設(shè)備可以應(yīng)用于在安裝有監(jiān)控設(shè)備(如攝像頭)的任何場合，特別是那些對安全要求敏感的場合，如機場、社區(qū)、銀行、停車場、軍事基地等。應(yīng)理解，上述實施例和示例是示例性的，而不是窮舉性的，本公開不應(yīng)被視為局限于任何具體的實施例或示例。在上述實施例和示例中，采用了“第一”、“第二”、“第三”等表述(例如第一閾值、第二閾值等)。本領(lǐng)域的普通技術(shù)人員應(yīng)理解，上述表述只是為了對術(shù)語作文字上的區(qū)分，而并非表示其順序或任何其他限定。另外，在上述實施例和示例中，采用數(shù)字標記來表示方法的步驟或設(shè)備的模塊。本領(lǐng)域的普通技術(shù)人員應(yīng)理解，這些數(shù)字標記只是為了對這些步驟或模塊作文字上的區(qū)分，而并非表示其順序或任何其他限定。作為ー個示例，上述方法的各個步驟以及上述設(shè)備的各個組成模塊和/或単元可·從存儲介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計算機(例如圖19所示的通用計算機1900)安裝構(gòu)成用于實施上述方法的軟件的程序，該計算機在安裝有各種程序時，能夠執(zhí)行各種功倉泛·。在圖19中，中央處理單元(CPU) 1901根據(jù)只讀存儲器(ROM) 1902中存儲的程序或從存儲部分1908加載到隨機存取存儲器(RAM) 1903的程序執(zhí)行各種處理。在RAM 1903中，也根據(jù)需要存儲當(dāng)CPU 1901執(zhí)行各種處理等等時所需的數(shù)據(jù)。CPU 190KROM 1902和RAM1903經(jīng)由總線1904彼此連接。輸入/輸出接ロ 1905也連接到總線1904。下述部件連接到輸入/輸出接ロ 1905 :輸入部分1906(包括鍵盤、鼠標等等)、輸出部分1907(包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚聲器等)、存儲部分1908 (包括硬盤等)、通信部分1909 (包括網(wǎng)絡(luò)接ロ卡比如LAN卡、調(diào)制解調(diào)器等)。通信部分1909經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器1910也可連接到輸入/輸出接ロ 1905?？刹鹦督橘|(zhì)1911比如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等根據(jù)需要被安裝在驅(qū)動器1910上，使得從中讀出的計算機程序根據(jù)需要被安裝到存儲部分1908中。在通過軟件實現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)1911安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖19所示的其中存儲有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1911?？刹鹦督橘|(zhì)1911的例子包含磁盤(包含軟盤(注冊商標))、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊商標))和半導(dǎo)體存儲器。或者，存儲介質(zhì)可以是ROM 1902、存儲部分1908中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。本公開還提出一種存儲有機器可讀取的指令代碼的程序產(chǎn)品。所述指令代碼由機器讀取并執(zhí)行時，可執(zhí)行上述根據(jù)本公開實施例的方法。相應(yīng)地，用于承載上述存儲有機器可讀取的指令代碼的程序產(chǎn)品的存儲介質(zhì)也包括在本公開的公開中。所述存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲卡、存儲棒等
坐寸O在上面對本公開具體實施例的描述中，針對ー種實施方式描述和/或示出的特征可以用相同或類似的方式在一個或更多個其它實施方式中使用，與其它實施方式中的特征相組合，或替代其它實施方式中的特征。應(yīng)該強調(diào)，術(shù)語“包括/包含”在本文使用時指特征、要素、步驟或組件的存在，但并不排除一個或更多個其它特征、要素、步驟或組件的存在或附加。此外，本公開的方法不限于按照說明書中描述的時間順序來執(zhí)行，也可以按照其他的時間順序地、并行地或獨立地執(zhí)行。因此，本說明書中描述的方法的執(zhí)行順序不對本公開的技術(shù)范圍構(gòu)成限制。盡管上面已經(jīng)通過對本公開的具體實施例的描述對本公開進行了披露，但是，應(yīng) 該理解，上述的所有實施例和示例均是示例性的，而非限制性的。本領(lǐng)域的技術(shù)人員可在所附權(quán)利要求的精神和范圍內(nèi)設(shè)計對本公開的各種修改、改進或者等同物。這些修改、改進或者等同物也應(yīng)當(dāng)被認為包括在本公開的保護范圍內(nèi)。
權(quán)利要求
1.一種生成檢測器的設(shè)備，所述檢測器用于檢測視頻中目標的異常行為，所述生成檢測器的設(shè)備包括 提取裝置，用于在多個視頻樣本中的每個視頻樣本中提取圖像塊序列，該圖像塊序列包含該視頻樣本的每巾貞圖像中的與目標的運動范圍對應(yīng)的圖像塊； 特征計算裝置，用于計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征；及 訓(xùn)練裝置，用于利用從所述多個視頻樣本中提取的多個圖像塊序列以及所計算的運動矢量特征來訓(xùn)練第一級分類器，利用訓(xùn)練得到的第一級分類器對所述多個圖像塊序列進行分類，并利用所述多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器，直到得到兩級或更多級分類器，所述兩級或更多級分類器串聯(lián)以形成檢測目標的異常行為的檢測器。
2.根據(jù)權(quán)利要求I所述的生成檢測器的設(shè)備，其中，所述提取裝置被配置用于通過以下從每個視頻樣本中提取圖像塊序列 構(gòu)建該視頻樣本的運動歷史圖像； 根據(jù)所述運動歷史圖像進行連通域分析，以獲得目標的運動范圍 '及 提取所述視頻樣本的每幀圖像中與該運動范圍對應(yīng)的圖像塊，形成所述圖像塊序列。
3.根據(jù)權(quán)利要求I所述的生成檢測器的設(shè)備，其中，所述兩級或更多級分類器中的每一級分類器為一類支持矢量機。
4.根據(jù)權(quán)利要求I所述的生成檢測器的設(shè)備，還包括分割裝置，該分割裝置用于將所述視頻樣本所針對的場景劃分成多個子區(qū)域， 其中，所述訓(xùn)練裝置被配置用于確定所提取的每個圖像塊序列所對應(yīng)的子區(qū)域，并針對每個子區(qū)域來生成用于檢測該子區(qū)域中的目標的異常行為的檢測器。
5.一種檢測視頻中目標的異常行為的設(shè)備，包括 提取裝置，用于在待檢測的視頻段中提取圖像塊序列，所述圖像塊序列包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊； 特征計算裝置，用于計算所述圖像塊序列中的運動矢量特征；及 異常行為檢測裝置，該異常行為檢測裝置包括串聯(lián)的兩級或更多級分類器，每級分類器用于檢測目標的異常行為，其中，所述圖像塊序列及所述運動矢量特征被逐級輸入所述兩級或更多級分類器，如果前一級分類器判斷所述圖像塊序列中出現(xiàn)異常行為，則所述圖像塊序列被輸入到下一級分類器，直到最后一級分類器。
6.根據(jù)權(quán)利要求5所述的檢測視頻中目標的異常行為的設(shè)備，其中，所述提取裝置被配置用于通過以下來提取所述圖像塊序列 構(gòu)建所述視頻段的運動歷史圖像； 根據(jù)所述運動歷史圖像進行連通域分析，以獲得目標的運動范圍 '及 提取所述視頻段的每幀圖像中與該運動范圍對應(yīng)的圖像塊，形成所述圖像塊序列。
7.根據(jù)權(quán)利要求5所述的檢測視頻中目標的異常行為的設(shè)備，其中，所述兩級或更多級分類器中的每一級分類器為一類支持矢量機。
8.根據(jù)權(quán)利要求5所述的檢測視頻中目標的異常行為的設(shè)備，還包括分割信息獲取裝置和定位裝置，該分割信息獲取裝置用于獲取所述視頻段所針對的場景被劃分成的多個子區(qū)域的位置信息，該定位裝置用于確定所提取的圖像塊序列所對應(yīng)的子區(qū)域，其中，所述異常行為檢測裝置包括針對每個子區(qū)域的、串聯(lián)的兩級或更多級分類器。
9.根據(jù)權(quán)利要求5所述的檢測視頻中目標的異常行為的設(shè)備，還包括噪聲去除裝置，該噪聲去除裝置用于判斷所提取的圖像塊序列中目標的行為的持續(xù)時間是否超過第二閾值，如果否，則將該圖像塊序列中目標的行為確定為不含異常行為的噪聲。
10.根據(jù)權(quán)利要求5所述的檢測視頻中目標的異常行為的設(shè)備，還包括噪聲去除裝置，該噪聲去除裝置被配置為根據(jù)所述圖像塊序列的運動矢量特征的幅度的直方圖來計算幅度小于第三閾值的運動矢量特征與所有運動矢量特征的比例，如果所述比例大于或等于第四閾值，則判斷所提取的圖像塊序列為不含異常行為的噪聲。
11.據(jù)權(quán)利要求10所述的檢測視頻中目標的異常行為的設(shè)備，其中，所述第三閾值滿足下列等式 th3 =均值+nlX方差 其中，th3表示所述第三閾值，所述均值和方差分別為從多個視頻樣本中提取的運動矢量特征的均值和方差，nl為常數(shù)。
12.根據(jù)權(quán)利要求5所述的檢測視頻中目標的異常行為的設(shè)備，還包括噪聲去除裝置，該噪聲去除裝置被配置為從所述圖像塊序列中提取運動矢量特征的幅度大于第五閾值的區(qū)域，進行連通域分析并計算運動矢量特征的幅度大于所述第五閾值的最大區(qū)域的面積，如果所述面積小于或等于第六閾值，則判斷所提取的圖像塊序列為不含異常行為的噪聲。
13.據(jù)權(quán)利要求12所述的檢測視頻中目標的異常行為的設(shè)備，其中，所述第五閾值滿足下列等式 th5 =均值+ηI X方差 其中，th5表示所述第五閾值，所述均值和方差分別為從多個視頻樣本中提取的運動矢量特征的均值和方差，nl為常數(shù)。
14.一種生成檢測器的方法，所述檢測器用于檢測視頻中目標的異常行為，所述生成檢測器的方法包括 在多個視頻樣本中的每個視頻樣本中提取圖像塊序列，該圖像塊序列包含該視頻樣本的每幀圖像中的與目標的運動范圍對應(yīng)的圖像塊； 計算從每個視頻樣本中提取的圖像塊序列中的運動矢量特征；及 利用從所述多個視頻樣本中提取的多個圖像塊序列以及所計算的運動矢量特征來訓(xùn)練第一級分類器；利用訓(xùn)練得到的第一級分類器對所述多個圖像塊序列進行分類并利用所述多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器，直到得到兩級或更多級分類器， 其中，所述兩級或更多級分類器串聯(lián)以形成檢測目標的異常行為的檢測器。
15.根據(jù)權(quán)利要求14所述的生成檢測器的方法，其中，從每個視頻樣本中提取圖像塊序列包括 構(gòu)建該視頻樣本的運動歷史圖像； 根據(jù)所述運動歷史圖像進行連通域分析，以獲得目標的運動范圍 '及 提取所述視頻樣本的每幀圖像中與該運動范圍對應(yīng)的圖像塊，形成所述圖像塊序列。
16.根據(jù)權(quán)利要求14所述的生成檢測器的方法，其中，所述兩級或更多級分類器中的每一級分類器為一類支持矢量機。
17.根據(jù)權(quán)利要求14所述的生成檢測器的方法，還包括將所述視頻樣本所針對的場景劃分成多個子區(qū)域，并且 其中，在提取每個圖像塊序列之后，所述方法還包括確定每個圖像塊序列所對應(yīng)的子區(qū)域，并且 其中，針對每個子區(qū)域來生成用于檢測該子區(qū)域中的目標的異常行為的檢測器。
18.根據(jù)權(quán)利要求14所述的生成檢測器的方法，還包括根據(jù)從所述多個視頻樣本中提取的運動矢量特征來計算所對應(yīng)的場景的運動統(tǒng)計信息。
19.根據(jù)權(quán)利要求14所述的生成檢測器的方法，其中，對于訓(xùn)練得到的前一級分類器確定為含有目標的異常行為的一個或更多個圖像塊序列中的每一個，判斷該圖像塊序列中目標的行為的持續(xù)時間是否超過第一閾值，如果否，則將該圖像塊序列中目標的行為確定為不含異常行為的噪聲。
20.一種檢測視頻中目標的異常行為的方法，包括 在待檢測的視頻段中提取圖像塊序列，所述圖像塊序列包含所述視頻段的每幀圖像中與目標的運動范圍對應(yīng)的圖像塊； 計算所述圖像塊序列中的運動矢量特征；及 將所述圖像塊序列及所述運動矢量特征逐級輸入串聯(lián)的兩級或更多級分類器，其中，每級分類器能夠檢測目標的異常行為，并且其中，如果前一級分類器判斷所述圖像塊序列中出現(xiàn)異常行為，則所述圖像塊序列被輸入到下一級分類器，直到最后一級分類器。
全文摘要
本公開提供了異常行為檢測方法和設(shè)備及生成該檢測設(shè)備的設(shè)備和方法。一種生成檢測器的設(shè)備，該檢測器用于檢測視頻中目標的異常行為，生成檢測器的設(shè)備包括提取裝置，用于在多個視頻樣本中的每個視頻樣本中提取包含該視頻樣本的每幀圖像中的與目標的運動范圍對應(yīng)的圖像塊的圖像塊序列；特征計算裝置，用于計算所提取的圖像塊序列中的運動矢量特征；及訓(xùn)練裝置，用于利用從所述多個視頻樣本中提取的多個圖像塊序列以及所計算的運動矢量特征來訓(xùn)練第一級分類器，利用第一級分類器對多個圖像塊序列進行分類并利用多個圖像塊序列中被所述第一級分類器確定為含有目標的異常行為的圖像塊序列來訓(xùn)練下一級分類器，直到得到串聯(lián)的兩級或更多級分類器。
文檔編號G06K9/66GK102831442SQ20111016689
公開日2012年12月19日 申請日期2011年6月13日 優(yōu)先權(quán)日2011年6月13日
發(fā)明者劉舟, 吳偉國 申請人:索尼公司