本發(fā)明涉及一種復雜環(huán)境下基于深度學習的異常檢測方法。

背景技術：

一般來說，異常檢測是指檢測環(huán)境中的異常行為或者不符合預期行為的數據。隨著深度學習在人工智能領域的推廣，使得在諸如地鐵、體育場、機場等復雜環(huán)境中的異常檢測得到了計算機視覺技術的廣泛應用，然而這類高密度環(huán)境給異常檢測帶來了巨大的挑戰(zhàn)。面對大量物體不斷的無規(guī)則運動，如何解決物體相互間的干擾問題，如何在多物體運動軌跡相互影響的情況下檢測異常，已成為目前異常檢測研究中所面臨的一個重要問題。

異?？梢允呛币姷耐庑位蛘邉幼?，在已有的研究成果中，通過機器學習獲得一個正常視頻幀區(qū)域，并把這個區(qū)域作為參考模型，參考模型包含正常事件或者正常訓練數據集。在測試階段，研究人員把不同于參考模型的區(qū)域視作異常。然而這種非標準的參考模型往往很難準確的定義，因為存在具有特殊屬性的正常事件，此外，很難準備涵蓋不同領域的大量數據集進行訓練。

目前在復雜環(huán)境中進行異常檢測的方法主要有以下兩種：1)基于軌跡法：如果一個物體沒有按照正常軌跡運動或者它出現的頻率更低，則被稱作異常；2)基于動作法：跟正常運動物體相比較，異常物體有明顯不同的動作模式。

復雜環(huán)境中的異常檢測問題可以歸結為構建深度學習模型進行異常檢測問題，其研究難點在于如何設計帶有靜態(tài)數據、序列數據和空間數據的學習模型，如何將數據有效的應用到學習模型中。尤其是現有技術主要負責檢測單個物體的時空特征，并未考慮復雜環(huán)境下相鄰個體運動軌跡存在互相干擾的情況，使得異常檢測效果不理想。因此，設計一種深度學習模型在復雜環(huán)境中進行異常檢測的方法具有重要的理論意義和應用價值。但是，現有技術中尚無相關描述。

技術實現要素：

本發(fā)明的目的是提供一種復雜環(huán)境下基于深度學習的異常檢測方法，能夠在相鄰個體運動存在相互影響的情況下，降低對圖像的誤檢率，尤其在擁擠環(huán)境中進行異常檢測具有更良好的表現，為解決復雜環(huán)境中的異常檢測問題提供了一種新的思路，解決現有技術中存在的未考慮復雜環(huán)境下相鄰個體運動軌跡存在互相干擾的情況，使得異常檢測效果不理想的問題。

本發(fā)明的技術解決方案是：

一種復雜環(huán)境下基于深度學習的異常檢測方法，通過長短期記憶模型進行多物體軌跡追蹤，之后捕捉相鄰個體間的非線性時空動作并預測它們未來的運動軌跡，根據個體未來運動軌跡的異常概率來完成異常檢測，具體包括以下步驟：

步驟1、將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型，追蹤復雜環(huán)境中多物體的運動軌跡；

步驟2、在多物體無規(guī)則運動的情況下捕捉相鄰個體的非線性時空動作，評估相鄰個體間運動軌跡的依賴性，預測它們未來的運動軌跡；

步驟3、根據個體未來運動軌跡的異常概率來完成異常檢測。

進一步地，步驟1具體為：

步驟11、將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型；引入yolo將物體檢測作為回歸問題求解，完成從原始圖像的輸入到圖像中所有物體的位置和其所屬類別及相應的置信概率的輸出，將通過yolo得到的特征向量作為lstm模型的輸入幀；輸入幀函數為其中，ф(xt)表示lstm模型的輸入幀函數，xt為在時間t時的原始圖像輸入幀，convθc(.)為參數是θc的卷積神經網絡，表示在前一幀xt-1預測的物體位置；

步驟12、追蹤復雜環(huán)境中多物體的運動軌跡；lstm模型是深度遞歸網絡，用于回歸物體邊界框的像素亮度和位置，將它們作為原始輸入幀進行逐幀檢測和追蹤，全程軌跡追蹤概率的數學表達式為其中，bt和xt分別是在最大時間t時物體位置和輸入幀，bt則是表示在時間t物體的位置，且1≤t≤t，b<t是在時間t之前所有的位置，x≤t是到時間t為止所有的輸入幀。

進一步地，步驟2具體為：

步驟21、在多物體無規(guī)則運動的情況下捕捉相鄰個體的非線性時空動作，具體為：

步驟211、判斷兩個相鄰物體在時空域的兩條運動軌跡是否相干，具體是如果兩個動態(tài)物體的運動軌跡在時空域相干，即當相鄰物體相對速度保持不變時，則它們具有相似的隱態(tài)；

步驟212、對于每一個物體的運動軌跡，lstm模型將創(chuàng)建并追蹤物體的一系列非線性時空動作，通過相干正則化整合自身物體和相鄰物體狀態(tài)，從而更新lstm模型存儲單元狀態(tài)，相干正則化表達式為：其中，ct代表存儲單元狀態(tài)信息累加器，ft為遺忘門，用來重置存儲單元狀態(tài)，如果遺忘門被激活，那么上一時間的存儲單元狀態(tài)ct-1將被忘記，⊙代表數組操作；it為輸入門，在當前時間輸入xt和上一時間的隱藏層ht-1被激活；w為權矩陣，wxc為遞歸存儲單元態(tài)輸入矩陣，whc遞歸隱態(tài)輸入矩陣，bc為偏差向量；η代表相鄰物體的軌跡和時空特征，λj(t)是物體間的依賴權值，f^jt和c^jt-1分別是lstm模型相干物體的當前遺忘門狀態(tài)和上一時間存儲單元狀態(tài)；

步驟22、評估相鄰個體間運動軌跡的依賴性，具體包括以下步驟：

步驟221、通過lstm模型的隱態(tài)信息獲得相鄰個體運動的時變特性；

步驟222、使用成對速度相關性評估相鄰個體間運動軌跡的依賴性，相鄰個體間運動軌跡依賴性的權值λj(t)的表達式為：

其中，i和j表示相鄰個體的運動軌跡，vi(t)和vj(t)表示相鄰物體各自的速度，σ為歸一化常數，兩個速度值相乘并且通過歸一化常數進行歸一化運算，γi用于求得依賴性權值，當相鄰個體的運動軌跡i和j偏差越大時，λj(t)的值越趨近于0，當相鄰個體運動軌跡i和j相似度越高時，λj(t)的值越趨近于1；

步驟23、采用編碼-解碼框架訓練lstm模型預測物體未來的運動軌跡。

進一步地，步驟23具體為：

步驟231、通過學習訓練，基于lstm模型的編碼器將運動軌跡的輸入映射到一個定長向量，在編碼階段的隱式向量用表達式描述為：ht＝lstme(zt,ht-1)，ht為當前時間隱式向量，lstme表示基于lstm模型的編碼器將物體運動軌跡的輸入zt映射到上一時間隱式向量ht-1；

步驟232、在學習訓練中，基于lstm模型的解碼器利用定長隱式向量預測物體未來的運動軌跡，隱式向量表達式為：lstmd表示基于lstm模型的解碼器利用上一時間隱式向量ht-1獲得當前時間隱式向量ht之后，通過當前時間物體運動軌跡輸入zt預測作為輸出的下一時間物體運動軌跡

本發(fā)明的有益效果是：該種復雜環(huán)境下基于深度學習的異常檢測方法，與現有技術相比，其顯著優(yōu)點為：

一、現有技術誤檢率較高，本發(fā)明所述的將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型，通過引入yolo將物體檢測作為回歸問題求解，從而降低對于圖像的誤檢率。

二、現有技術主要是檢測單個物體的時空特征，并未考慮復雜環(huán)境下相鄰個體運動軌跡存在相互干擾的情況，本發(fā)明所述的lstm模型，通過評估相干個體間的依賴性，使用編碼解碼框架預測物體未來運動軌跡，從而優(yōu)化了異常檢測系統的時空魯棒性，能夠在對多物體運動進行異常檢測時獲得更精確的結果。

附圖說明

圖1是物體運動軌跡追蹤過程概述圖。

圖2是lstm模型中相鄰個體間的關系圖。

圖3是lstm模型的編碼-解碼框架圖。

圖4是卷積神經網絡在擁擠街道上追蹤不可見序列軌跡圖。

圖5是實施例復雜環(huán)境下基于深度學習的異常檢測方法的時間魯棒性tre(temporalrobustnessevaluation)評估圖。

圖6是實施例復雜環(huán)境下基于深度學習的異常檢測方法的空間魯棒性sre(spatialrobustnessevaluations)評估圖。

圖7是實施例復雜環(huán)境下基于深度學習的異常檢測方法的異常檢測準確率圖。

具體實施方式

下面結合附圖詳細說明本發(fā)明的優(yōu)選實施例。

實施例的一種復雜環(huán)境下基于深度學習的異常檢測方法，通過長短期記憶模型進行多物體軌跡追蹤和捕捉相鄰個體的非線性時空動作并預測它們未來的運動軌跡兩個部分。在通過長短期記憶模型(lstm)進行多物體軌跡追蹤中，通過引入yolo(只需看一眼youonlylookonce-一種實時快速目標檢測技術)檢測，將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型，追蹤復雜環(huán)境中多物體的運動軌跡；在捕捉相鄰個體間的非線性時空動作并預測它們未來的運動軌跡中，在多物體無規(guī)則運動的情況下，評估相鄰個體間運動軌跡的依賴性，預測物體未來的運動軌跡，根據個體未來運動軌跡的異常概率來完成異常檢測。本發(fā)明提出的異常檢測方法可以在相鄰個體運動存在相互影響的情況下，降低對圖像的誤檢率，尤其在擁擠環(huán)境中進行異常檢測具有更良好的表現，為解決復雜環(huán)境中的異常檢測問題提供了一種新的思路。

實施例

一種復雜環(huán)境下基于深度學習的異常檢測方法，首先通過長短期記憶模型(lstm)進行多物體軌跡追蹤，通過引入yolo訓練和檢測，收集物體的時空特征以及對物體運行軌跡初步推斷，將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型，追蹤復雜環(huán)境中多物體的運動軌跡；之后捕捉相鄰個體間的非線性時空動作，在多物體無規(guī)則運動的情況下，評估相鄰個體間運動軌跡的依賴性，預測物體未來的運動軌跡，從而根據個體未來運動軌跡的異常概率完成異常檢測。具體包括以下步驟：

步驟1、將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型，追蹤復雜環(huán)境中多物體的運動軌跡，圖1為物體運動軌跡追蹤過程的概述圖。

步驟11、將卷積神經網絡回歸法提取的物體時空特征輸入lstm模型；引入yolo將物體檢測作為回歸問題求解，完成從原始圖像的輸入到圖像中所有物體的位置和其所屬類別及相應的置信概率的輸出，將通過yolo得到的特征向量作為lstm模型的輸入幀；輸入幀函數為其中，ф(xt)表示lstm模型的輸入幀函數，xt為在時間t時的原始圖像輸入幀，convθc(.)為參數是θc的卷積神經網絡，表示在前一幀xt-1預測的物體位置；

步驟12、追蹤復雜環(huán)境中多物體的運動軌跡；lstm模型是深度遞歸網絡，用于回歸物體邊界框的像素亮度和位置，將它們作為原始輸入幀進行逐幀檢測和追蹤，全程軌跡追蹤概率的數學表達式為其中，bt和xt分別是在最大時間t時物體位置和輸入幀，bt則是表示在時間t物體的位置，且1≤t≤t，b<t是在時間t之前所有的位置，x≤t是到時間t為止所有的輸入幀。

步驟2、在多物體無規(guī)則運動的情況下捕捉相鄰個體的非線性時空動作，評估相鄰個體間運動軌跡的依賴性，預測它們未來的運動軌跡。

步驟21、在多物體無規(guī)則運動的情況下捕捉相鄰個體的非線性時空動作。

步驟211、判斷兩個相鄰物體在時空域的兩條運動軌跡是否相干，具體是如果兩個動態(tài)物體的運動軌跡在時空域相干，即當相鄰物體相對速度保持不變時，則它們具有相似的隱態(tài)。

步驟212、對于每一個物體的運動軌跡，lstm模型將創(chuàng)建并追蹤物體的一系列非線性時空動作，通過相干正則化整合自身物體和相鄰物體狀態(tài)，從而更新lstm模型存儲單元狀態(tài)，相干正則化表達式為：其中，ct代表存儲單元狀態(tài)信息累加器，ft為遺忘門，用來重置存儲單元狀態(tài)，如果遺忘門被激活，那么上一時間的存儲單元狀態(tài)ct-1將被忘記，⊙代表數組操作；it為輸入門，在當前時間輸入xt和上一時間的隱藏層ht-1被激活；w為權矩陣，wxc為遞歸存儲單元態(tài)輸入矩陣，whc遞歸隱態(tài)輸入矩陣，bc為偏差向量；η代表相鄰物體的軌跡和時空特征，λj(t)是物體間的依賴權值，f^jt和c^jt-1分別是lstm模型相干物體的當前遺忘門狀態(tài)和上一時間存儲單元狀態(tài)；

步驟22、評估相鄰個體間運動軌跡的依賴性，圖2描述的是lstm模型中相鄰個體間的關系。

步驟221、通過lstm模型的隱態(tài)信息獲得相鄰個體運動的時變特性；

步驟222、使用成對速度相關性評估相鄰個體間運動軌跡的依賴性，相鄰個體間運動軌跡依賴性的權值λj(t)的表達式為：

其中，i和j表示相鄰個體的運動軌跡，vi(t)和vj(t)表示相鄰物體各自的速度，σ為歸一化常數，兩個速度值相乘并且通過歸一化常數進行歸一化運算，γi用于求得依賴性權值，當相鄰個體的運動軌跡i和j偏差越大時，λj(t)的值越趨近于0，當相鄰個體運動軌跡i和j相似度越高時，λj(t)的值越趨近于1；

步驟23、如圖3所示，采用編碼-解碼框架訓練lstm模型預測物體未來的運動軌跡。

步驟231、通過學習訓練，基于lstm模型的編碼器將運動軌跡的輸入映射到一個定長向量，在編碼階段的隱式向量用表達式描述為：ht＝lstme(zt,ht-1)，ht為當前時間隱式向量，lstme表示基于lstm模型的編碼器將物體運動軌跡的輸入zt映射到上一時間隱式向量ht-1。

步驟232、在學習訓練中，基于lstm模型的解碼器利用定長隱式向量預測物體未來的運動軌跡，隱式向量表達式為：lstmd表示基于lstm模型的解碼器利用上一時間隱式向量ht-1獲得當前時間隱式向量ht之后，通過當前時間物體運動軌跡輸入zt預測作為輸出的下一時間物體運動軌跡

步驟3、由步驟2得到的個體未來運動軌跡得出個體未來運動軌跡的異常概率,根據個體未來運動軌跡的異常概率來完成異常檢測。

實驗驗證分析如下：

使用人工智能學習系統tensorflow運行不同的數據集檢測、追蹤和識別異常物體，在yolo檢測和lstm模型進行訓練的畫面分別是20fps(framespersecond)和60fps。根據步驟1追蹤復雜環(huán)境中多物體的運動軌跡，為了避免過擬合問題，深度學習結構要求對大量的數據集進行訓練，所以提前把卷積神經網絡放在目前世界上圖像識別最大的數據庫imagenet中進行數據訓練，然后使用lstm模型在一個更小的數據集pascalvoc2012上進行微調(fine-tuning)，數據集pascalvoc2012可以檢測20個不同類別的物體。圖4為通過卷積神經網絡在擁擠街道上追蹤不可見序列軌跡圖。

步驟2在多物體無規(guī)則運動的情況下捕捉相鄰個體的非線性時空動作，評估相鄰個體間運動軌跡的依賴性，預測它們未來的運動軌跡的具體步驟如下：

步驟21、在多物體無規(guī)則運動的情況下捕捉相鄰個體的非線性時空動作。

lstm模型在otb-30數據集中進行訓練和測試。80％的數據用在訓練階段，剩余的20％用在實驗測試階段，為了得到更好的實驗結果，對模型進行了逐項訓練。實驗結果如圖5和圖6所示。由圖5和圖6可知，在時間和空間魯棒性評估上，提出的方法都優(yōu)于其他軌跡追蹤方法。

步驟22、評估相鄰個體間運動軌跡的依賴性，步驟23、采用編碼-解碼框架訓練lstm模型預測物體未來的運動軌跡，實驗用到步長(stepsize)的概念，步長表示基于lstm模型的編碼-解碼框架對未來軌跡進行預測時考慮的之前所有幀的數量，實驗結果如圖7所示。圖7表示在步長變化的情況下，提出的方法依據檢測評價函數intersection-over-union(iou)畫出的異常檢測準確率圖。

由上可知，實施例方法無論是在時空魯棒性還是誤檢率上，相較其他算法都具有優(yōu)勢，尤其在多物體運動軌跡相互影響的復雜環(huán)境下，優(yōu)勢更為明顯，從而驗證了實施例方法的有效性。