基于cd運(yùn)動(dòng)特征的群體行為識(shí)別方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是智能視頻監(jiān)控領(lǐng)域，具體地，涉及的是一種監(jiān)控場(chǎng)景下的群體行 為識(shí)別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 在智能視頻監(jiān)控領(lǐng)域，如何及時(shí)有效地分析群體行為并給出公共安全管理的決策 依據(jù)是非常重要的一個(gè)問(wèn)題。隨著人民生活水平不斷提高，社會(huì)公共活動(dòng)日趨頻繁，且群體 規(guī)模越來(lái)越大，導(dǎo)致維護(hù)公共安全秩序難度增大。近年來(lái)，為了有效防范群體性事件發(fā)生， 加強(qiáng)公共安全管理，維護(hù)社會(huì)和諧穩(wěn)定，我國(guó)公共安全管理等相關(guān)部門(mén)相繼推出"金盾工 程"、"平安城市"、"智慧城市"等一系列安防和應(yīng)急管理信息化建設(shè)，建立了大規(guī)模城市高 清圖像監(jiān)控網(wǎng)絡(luò)和應(yīng)急管理系統(tǒng)。但是，目前的視頻監(jiān)控技術(shù)還不能主動(dòng)感知理解群體行 為，亦不能達(dá)到及時(shí)防范群體性事件的目的。
[0003] 經(jīng)對(duì)現(xiàn)有的技術(shù)文獻(xiàn)檢索發(fā)現(xiàn)，目前群體行為分析多數(shù)都集中在群體異常事件檢 測(cè)，也就是正常\異常二分類(lèi)問(wèn)題。比如從社會(huì)力學(xué)角度出發(fā)，提取群體中的社會(huì)力特征， 然后據(jù)此判斷群體是否出現(xiàn)異常；從流體力學(xué)的角度出發(fā)，提出勢(shì)能場(chǎng)來(lái)表示群體的運(yùn)動(dòng) 狀態(tài)，進(jìn)而判斷是否發(fā)生異常；從粘性流體場(chǎng)的角度出發(fā)，通過(guò)構(gòu)建時(shí)空粘性力場(chǎng)來(lái)表示群 體的運(yùn)動(dòng)特性，然后檢測(cè)群體中是否發(fā)生異常事件；還有提出利用多尺度光流直方圖檢測(cè) 群體場(chǎng)景中的異常事件。這些方法的局限性在于只能判斷群體行為是否異常，卻無(wú)法給出 明確的群體行為類(lèi)別，比如旋轉(zhuǎn)、聚集或是發(fā)散。在識(shí)別群體行為類(lèi)別方面，有研究者提出 從動(dòng)態(tài)系統(tǒng)的穩(wěn)定性出發(fā)，利用雅可比矩陣的特征值來(lái)描述不同的群體運(yùn)動(dòng)類(lèi)型。
[0004] 但是這種方法依然存在一些問(wèn)題，主要包括以下幾點(diǎn)：1)由于其使用的特征是局 部特征，易受透視畸變和尺度變化影響；2)在多種運(yùn)動(dòng)模式存在相互交疊的情況下，不能 有效地分解出每個(gè)運(yùn)動(dòng)模式；3)僅僅給出群體行為的類(lèi)別，卻無(wú)法定量宏觀地描述群體運(yùn) 動(dòng)。

【發(fā)明內(nèi)容】

[0005] 鑒于現(xiàn)有群體行為識(shí)別方法存在上述不足，本發(fā)明提出了一種基于⑶(C，即 Curl，代表旋度；D即Divergence，代表散度）運(yùn)動(dòng)特征的群體行為識(shí)別方法及系統(tǒng)，可以有 效地分解出一個(gè)監(jiān)控場(chǎng)景的多個(gè)運(yùn)動(dòng)模式，并用CD運(yùn)動(dòng)特征從宏觀上進(jìn)行定量地描述，然 后通過(guò)SVM分類(lèi)器判斷其行為類(lèi)別；本發(fā)明具有很強(qiáng)的魯棒性，可以有效應(yīng)對(duì)透視畸變和 尺度變化的影響，具有很好的實(shí)際應(yīng)用價(jià)值。
[0006] 為實(shí)現(xiàn)以上目的，本發(fā)明采用以下技術(shù)方案：
[0007] 根據(jù)本發(fā)明的第一方面，提供一種基于CD運(yùn)動(dòng)特征的群體行為識(shí)別方法，包括以 下步驟：
[0008] Sl :對(duì)任意給定的群體監(jiān)控視頻，計(jì)算其光流場(chǎng)；
[0009] S2 :對(duì)光流場(chǎng)進(jìn)行時(shí)域上聚類(lèi)，得到運(yùn)動(dòng)矢量場(chǎng)；
[0010] S3 :對(duì)運(yùn)動(dòng)矢量場(chǎng)進(jìn)行分解，得到基本的子運(yùn)動(dòng)矢量場(chǎng)；
[0011] S4 :對(duì)每個(gè)子運(yùn)動(dòng)矢量場(chǎng)提?、沁\(yùn)動(dòng)特征；
[0012] S5 :對(duì)每個(gè)⑶運(yùn)動(dòng)特征進(jìn)行特征抽取，得到長(zhǎng)度一致的特征向量；
[0013] S6 :將特征向量輸入到SVM分類(lèi)器，從而判斷群體行為類(lèi)別。
[0014] 優(yōu)選地，步驟Sl中，所述光流場(chǎng)的計(jì)算方法為：采用LK光流法，在相鄰兩幀計(jì)算光 流；
[0015] 假設(shè)有N+1幀圖像序列，采用LK光流計(jì)算之后，得到N個(gè)連續(xù)的光流場(chǎng)，表示為：
[0016] IOi (X，y)}，i = 1，2, · · ·，N，
[0017] 其中（X，y)為相應(yīng)圖像中的坐標(biāo)點(diǎn)。
[0018] 優(yōu)選地，步驟S2中，所述光流場(chǎng)在時(shí)域上聚類(lèi)的方法為：利用mean-shift算法對(duì) 每個(gè)點(diǎn)的N個(gè)運(yùn)動(dòng)矢量進(jìn)行聚類(lèi)，結(jié)果表示為：
[0019] V(x，y) = Ivi (X，y)}，i = 1，2, · · ·，c (X，y)，
[0020] 其中：C (X，y)表示聚類(lèi)個(gè)數(shù)；Iv1 (X，y)}表示聚類(lèi)之后的矢量；
[0021] 相應(yīng)的權(quán)重為：
[0022]
[0023]
[0024]
[0025] 優(yōu)選地，步驟S3中，所述矢量場(chǎng)分解的方法為：在矢量場(chǎng)M(x，y)中的點(diǎn)（x，y)上 放置c (X，y)個(gè)粒子，所述粒子由該位置相應(yīng)的運(yùn)動(dòng)矢量驅(qū)動(dòng)進(jìn)行漂流；
[0026] 假設(shè)p (t) = (X (t)，y (t))表示粒子在t幀的位置，則在t+Ι幀的位置為：
[0027] p(t+l) = p(t+l)+V*(p(t)),
[0028] 其中：VYpa))表示粒子在p(t)位置時(shí)的運(yùn)動(dòng)速度，VYpa)) = VMH(VYpa-I), ￥^^1(?(〇)汨為速度相關(guān)函數(shù)，定義為：!1以1，￥ 2)=￥1·%;
[0029] 如果滿足H(VYpa)), VYpa-I))) >Hth，！^是指閾值，粒子以速度V*(p(t))繼 續(xù)漂流；當(dāng)所有粒子停止漂流之后，形成一張粒子密度圖；利用mean-shift算法進(jìn)行聚類(lèi)， 得到一些聚集點(diǎn)；每個(gè)聚集點(diǎn)即表示一個(gè)子運(yùn)動(dòng)矢量場(chǎng)，通過(guò)該聚集點(diǎn)的成員粒子的初始 速度進(jìn)行恢復(fù)；
[0030] 假設(shè)有m個(gè)成員粒子MP(t) = {pjt)，p2(t)，· · ·，pm(t)屬于一個(gè)聚集點(diǎn)，則相應(yīng) 的子運(yùn)動(dòng)矢量場(chǎng)為：
[0031]
[0032] 其中t。為初始時(shí)刻。
[0033] 優(yōu)選地，步驟S4中，所述提取CD運(yùn)動(dòng)特征的方法為：對(duì)每個(gè)子運(yùn)動(dòng)矢量場(chǎng)Msub (X， y)進(jìn)行幅值歸一化，然后計(jì)算其旋度圖和散度圖；在Msub(x，y)及其對(duì)偶矢量場(chǎng)上分別進(jìn)行 運(yùn)動(dòng)軌跡采樣，得到切向軌跡和徑向軌跡；最后對(duì)旋度圖在切向軌跡上進(jìn)行路徑積分，得到 旋度特征向量；對(duì)散度圖在徑向軌跡上進(jìn)行路徑積分，得到散度特征向量。
[0034] 更優(yōu)選地，所述旋度特征向量和所述散度特征向量共同構(gòu)成CD運(yùn)動(dòng)特征。
[0035] 優(yōu)選地，步驟S5中，所述特征抽取的方法為：假設(shè)Λ S liR，h € 1?分別表示旋度 特征向量和散度特征向量，將f。均勾地分成K個(gè)互不重疊的部分，表不為：
[0036] {fcl}，i = 1，2, · · ·，K ;
[0037] 對(duì)每個(gè)部分分別進(jìn)行最大、最小特征抽?。?br>[0038]
[0039] 其中：Num+(f J表示中非負(fù)元素個(gè)數(shù)，Num (f J表示f"中負(fù)元素的個(gè)數(shù)；
[0040] 在特征抽取之后，新的旋度特征向量為：
[0041]
[0042] 類(lèi)似地，對(duì)^進(jìn)行特征抽取得到新的散度特征向量if;
[0043] ⑶特征經(jīng)過(guò)最大、最小特征抽取之后，得到低維的運(yùn)動(dòng)特征：
[0044]
[0045] 優(yōu)選地，步驟S6中，所訴群體行為判別的方法為：將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集， 分別提取每個(gè)樣本的運(yùn)動(dòng)特征CD p并作為SVM分類(lèi)器的輸入；利用訓(xùn)練集的運(yùn)動(dòng)特征來(lái)訓(xùn) 練SVM分類(lèi)器，然后利用測(cè)試集的運(yùn)動(dòng)特征來(lái)測(cè)試群體行為識(shí)別方法的性能。
[0046] 根據(jù)本發(fā)明的第二方面，提供一種基于⑶運(yùn)動(dòng)特征的群體行為識(shí)別系統(tǒng)，包括：
[0047] 計(jì)算光流場(chǎng)模塊，對(duì)任意給定的群體監(jiān)控視頻，計(jì)算其光流場(chǎng)；
[0048] 運(yùn)動(dòng)矢量場(chǎng)聚類(lèi)模塊：對(duì)光流場(chǎng)進(jìn)行時(shí)域上聚類(lèi)，得到運(yùn)動(dòng)矢量場(chǎng)；
[0049] 運(yùn)動(dòng)矢量場(chǎng)分解模塊：對(duì)運(yùn)動(dòng)矢量場(chǎng)進(jìn)行分解，得到基本的子運(yùn)動(dòng)矢量場(chǎng)；
[0050] 提取⑶運(yùn)動(dòng)特征模塊：對(duì)每個(gè)子運(yùn)動(dòng)矢量場(chǎng)提?、沁\(yùn)動(dòng)特征；
[0051] 特征抽取模塊：對(duì)每個(gè)CD運(yùn)動(dòng)特征進(jìn)行特征抽取，得到長(zhǎng)度一致的特征向量；
[0052] SVM分類(lèi)器：將特征向量輸入到SVM分類(lèi)器，從而判斷群體行為類(lèi)別。
[0053] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：
[0054] 本發(fā)明提出的群體行為識(shí)別方法，由于使用CD運(yùn)動(dòng)特征，可以有效地應(yīng)對(duì)透視畸 變和尺度變化。另外，該方法亦可以分解出監(jiān)控場(chǎng)景中存在交疊的多種運(yùn)動(dòng)模式，并分別從 整體上進(jìn)行定量描述。在實(shí)際應(yīng)用場(chǎng)景中具有很好的魯棒性和適應(yīng)性。
【附圖說(shuō)明】
[0055] 通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、 目的和優(yōu)點(diǎn)將會(huì)變得更明顯：
[0056] 圖1為本發(fā)明一實(shí)施例的總體流程圖；
[0057] 圖2為本發(fā)明一實(shí)施例的一個(gè)群體監(jiān)控視頻處理流程可視化效果圖；其中：(a)為 群體監(jiān)控視頻，（b)為光流場(chǎng)，（c)為運(yùn)動(dòng)矢量場(chǎng)，（d)為子運(yùn)動(dòng)矢量場(chǎng)，（e)為CD運(yùn)動(dòng)特征， (g)為群體行為；
[0058] 圖3為本發(fā)明一實(shí)施例的在公開(kāi)的群體行為數(shù)據(jù)集上的識(shí)別結(jié)果，其中：(a)、 (b)、（c)、（d)、（e)分別表不 Lane、cArch、ccArch、Fountainhead、Bottleneck 在 UCF 和 CUHK 數(shù)據(jù)集上的ROC曲線。圖中縱軸True Positive Rate表示檢測(cè)率，橫軸False Positive Rate表示誤檢率。
【具體實(shí)施方式】
[0059] 下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù) 人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù) 人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明 的保護(hù)范圍。
[0060] 實(shí)施例1
[0061] 如圖1所示，一種基于⑶運(yùn)動(dòng)特征的群體行為識(shí)別方法，該方法國(guó)際上公開(kāi)的群 體監(jiān)控視頻數(shù)據(jù)集，即UCF群體數(shù)據(jù)集和CUHK群體數(shù)據(jù)集。UCF數(shù)據(jù)集包括61個(gè)來(lái)自互聯(lián) 網(wǎng)的群體視頻片段以及PETS2009的群體圖像序列，其中總共包含的群體行為模式有66個(gè) lane (直行）、8個(gè)cArch (順時(shí)針旋轉(zhuǎn)）、20個(gè)ccArch (逆時(shí)針旋轉(zhuǎn)）、29個(gè)fountainhead (散 開(kāi)）和20個(gè)bottleneck (聚集）。CUHK數(shù)據(jù)集由95個(gè)視頻片段組成，其中總共包含的群體 行為模式有91 個(gè) lane、20 個(gè) cArch，18 個(gè) ccArch、9 個(gè) fountainhead 以及 20 個(gè)bottleneck。
[0062] 參見(jiàn)圖1所示流程圖，本實(shí)施例所述方法具體實(shí)施步驟為：
[0063] (1):對(duì)任意給定的群體監(jiān)控視頻，如圖2中（a)所示，計(jì)算其光流場(chǎng)；具體步驟如 下：
[0064] 米用LK光流法，在相鄰兩幀計(jì)算光流。假設(shè)有N+1幀圖像序列，米用LK光流計(jì)算 之后，得到N個(gè)連續(xù)的光流場(chǎng)，表示為：{Ojx，y)}，i = 1，2,. . .，N，其中（X，y)是相應(yīng)圖像 中的坐標(biāo)點(diǎn)。如圖2中（b)所示即為光流場(chǎng)示意圖。
[0065] (2):對(duì)光流場(chǎng)進(jìn)行時(shí)域上聚類(lèi)，得到運(yùn)動(dòng)矢量場(chǎng)；具體步驟如下：
[0066] 利用mean-shift算法對(duì)每個(gè)點(diǎn)的N個(gè)運(yùn)動(dòng)矢量進(jìn)行聚類(lèi)，結(jié)果表示為：V(x， y) = {ν^χ，y)}