專利名稱：用于數(shù)據(jù)檢測的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及來自數(shù)據(jù)的異?；蚝币娛录臋z測。在一些實(shí)施例中，這種檢測可以以自動或近似自動的方式實(shí)現(xiàn)，如果需要的話也可以應(yīng)用于大規(guī)模數(shù)據(jù)。應(yīng)用于分析視頻監(jiān)視錄像以便在人群中識別出少數(shù)個(gè)人的反常行為。應(yīng)用于從大規(guī)模傳感器網(wǎng)絡(luò)和/或大量在線數(shù)據(jù)庫中分析數(shù)據(jù)流。在一些實(shí)施例中，本發(fā)明公開了來自數(shù)據(jù)，包括大規(guī)模數(shù)據(jù)的異常檢測方法和/或系統(tǒng)。可以實(shí)時(shí)或近似實(shí)時(shí)地實(shí)現(xiàn)某些應(yīng)用。
背景技術(shù)：
來自視頻數(shù)據(jù)的異常事件檢測是一個(gè)復(fù)雜的問題，其已經(jīng)成為過去十幾年來的研究主題。位于公共區(qū)域的監(jiān)視攝像機(jī)的數(shù)量很大，且導(dǎo)致實(shí)際中經(jīng)常無法人工監(jiān)視來自于攝像機(jī)的視頻流。因此，強(qiáng)烈需要對于來自視頻流的異常事件的自動、或近似自動和/或可擴(kuò)展的檢測。并且還強(qiáng)烈需要能夠近似實(shí)時(shí)、實(shí)時(shí)或在可接受的時(shí)間段內(nèi)做這些事情。關(guān)于異常事件檢測的文章可以大致分為兩類基于模型的方法和基于統(tǒng)計(jì)的方法。在基于模型的方法中，從視頻數(shù)據(jù)中提取出與行為相關(guān)的圖像特征，這些行為例如為移動對象的軌跡或形狀。然后，典型地，執(zhí)行受監(jiān)督的學(xué)習(xí)步驟，以便根據(jù)給定的觀察特征學(xué)習(xí)行為模型。然后可以將該模型應(yīng)用在推理階段，以判斷當(dāng)前的場景是否異常。 提出了參數(shù)和非參數(shù)的空時(shí)模板方法，并且該方法描述了用于推理步驟的基于啟動的分類器。基于模型的方法的主體還考慮將移動對象的軌跡作為用于行為分析的圖像特征。第二種方法基于對整個(gè)場景進(jìn)行統(tǒng)計(jì)分析而不是關(guān)注于單個(gè)目標(biāo)。該方法與用于事件檢測的統(tǒng)計(jì)方法相結(jié)合，利用圖像的底層信息。這種方法的主要優(yōu)點(diǎn)是簡單，這是因?yàn)榈讓犹卣骺梢院唵蔚赜?jì)算得到，另外的優(yōu)點(diǎn)是具有可靠性，這是因?yàn)檫@些計(jì)算不受環(huán)境限制而發(fā)生變化。因此，統(tǒng)計(jì)方法更強(qiáng)健、可靠，能夠應(yīng)用于真實(shí)世界的應(yīng)用中。底層圖像特征例如為SIFT，興趣點(diǎn)、突出部分和區(qū)域檢測器。底層圖像特征的學(xué)習(xí)方法包括使用支持向量機(jī)(Support Vector Machines, SVM)，概率潛在語義分析(Probabilistic Latent Semantic Analysis, PLSA)以及內(nèi)核學(xué)習(xí)。例如，使用圖像塊群來學(xué)習(xí)視頻中的不規(guī)則性；使用主分量分析模擬視頻中的樣本行為；并使用基于光流表示法的體積特征用于視頻中的行為識別。已有的基于統(tǒng)計(jì)方法的文章已經(jīng)在真實(shí)世界場景中獲得成功。然而，這些方法受限于與場景的主要特征，也可以稱為主要行為相關(guān)的異常事件。例如，當(dāng)從預(yù)定義的多個(gè)位置查找有意義的集合變化時(shí)，構(gòu)建原型-片段共生矩陣。用于實(shí)際的公共監(jiān)視興趣的一個(gè)挑戰(zhàn)性的問題是，從大量行為正常的人群中檢測出一個(gè)或幾個(gè)人的異常行為?，F(xiàn)有基于統(tǒng)計(jì)的方法無法檢測這類異常。例如，現(xiàn)有方法不能在人群中檢測出一個(gè)游蕩的人。另外，在由大規(guī)模傳感器網(wǎng)絡(luò)采集的數(shù)據(jù)流中檢測異常的問題在過去十幾年中已經(jīng)引起了很大興趣。由于大規(guī)模網(wǎng)絡(luò)變得越來越普遍，因此需要開發(fā)一些方法來應(yīng)對由收集大量數(shù)據(jù)而帶來的挑戰(zhàn)。該問題影響了廣泛的應(yīng)用，這是因?yàn)橛蓚鞲衅骶W(wǎng)絡(luò)采集到的數(shù)據(jù)可以從網(wǎng)絡(luò)構(gòu)建多媒體內(nèi)容，從監(jiān)視攝像網(wǎng)絡(luò)、衛(wèi)星影像或典型網(wǎng)絡(luò)業(yè)務(wù)采集到的數(shù)據(jù)可以構(gòu)建視頻。在過去幾年中，已經(jīng)開發(fā)了許多用于檢測數(shù)據(jù)庫或數(shù)據(jù)流的不同類型的異常的方法，但這些技術(shù)通常都要有重要的假設(shè)前提那就是能夠得到完整的數(shù)據(jù)。隨著網(wǎng)絡(luò)規(guī)模的增大，獲取用于處理的全部數(shù)據(jù)流變得越來越困難。因此，在大規(guī)模網(wǎng)絡(luò)中，由于傳感器之間的低帶寬或長幾何距離，并非總能得到用于檢測異常的整合點(diǎn)的完整數(shù)據(jù)。引入了很多建議以應(yīng)對獲取網(wǎng)絡(luò)信息的挑戰(zhàn)，以便克服物理帶寬限制。一個(gè)著名的方法是分散法。例如，一個(gè)推薦的方法是用于流動數(shù)據(jù)的分散法，其中，如果觀察到的值落在正常范圍之外，典型地為預(yù)定義窗以外，則傳感器僅將信息發(fā)送到融合點(diǎn)。如果傳感器不發(fā)送任何數(shù)據(jù)，則融合點(diǎn)則默認(rèn)使用備選值。另一個(gè)技術(shù)為列采樣，通常典型地僅適用于靜態(tài)數(shù)據(jù)庫應(yīng)用。在該選擇采樣方法中，在列上構(gòu)建經(jīng)驗(yàn)分布，基于從經(jīng)驗(yàn)分布的采樣選擇少量的列。對于傳感器網(wǎng)絡(luò)應(yīng)用的另一個(gè)關(guān)注點(diǎn)是計(jì)算框架的可擴(kuò)展性，其涉及到花費(fèi)較少等待時(shí)間來應(yīng)答查詢。用于處理數(shù)據(jù)流的運(yùn)算復(fù)雜度為輸入數(shù)據(jù)的長度L和維度N的函數(shù)。在一些情形中，運(yùn)算復(fù)雜度為L或N的二次方程。在一些情形中，其能夠相對于L為線性的，但這要求進(jìn)行迭代估計(jì)，例如，期望最大值(Expectation Maximization, EM)達(dá)到收斂。EM方法相對于采樣尺寸呈線性，但平均來說，它具有非常慢的收斂速率，并且通常不適合在高速數(shù)據(jù)流中的異常檢測。除了頻譜方法以外，上述提到的異常檢測方法沒能應(yīng)用輸入數(shù)據(jù)高維度的問題。 在頻譜方法背后的假設(shè)已經(jīng)由輸入數(shù)據(jù)的低維度的內(nèi)在結(jié)構(gòu)激發(fā)。應(yīng)當(dāng)指出的是，當(dāng)可以得到全部數(shù)據(jù)集合時(shí)的小規(guī)模問題，頻譜方法能夠很好地發(fā)揮作用，但不適用于當(dāng)無法得到全部數(shù)據(jù)矩陣時(shí)的大規(guī)模問題。

發(fā)明內(nèi)容
本發(fā)明的某些應(yīng)用使得可以對具有多種量化特性的多個(gè)復(fù)雜數(shù)據(jù)流進(jìn)行分析，從而能夠自動或近似自動地識別出異常行為。在一些應(yīng)用中，可以實(shí)時(shí)或近似實(shí)時(shí)地實(shí)現(xiàn)。在其他應(yīng)用中，可以離線或非實(shí)時(shí)的實(shí)現(xiàn)。所公開的方法和系統(tǒng)可以應(yīng)用于視頻分析領(lǐng)域以及一些其他領(lǐng)域和應(yīng)用中。所公開的方法和系統(tǒng)相對于現(xiàn)有技術(shù)具有許多優(yōu)點(diǎn)。例如，在現(xiàn)有視頻分析應(yīng)用方面
一些實(shí)施例不需要區(qū)分?jǐn)z像機(jī)視野中的對象； 一些實(shí)施例僅需要非常有限的人工安裝或設(shè)置；
一些實(shí)施例通過定義什么是正常的以進(jìn)行訓(xùn)練，而不用在一開始定義什么是不正常
的；
一些實(shí)施例一旦被提供了采樣數(shù)據(jù)以建立正常參數(shù)，將自動識別(到達(dá)系統(tǒng)或用戶定義的水平)視頻流上任何怪異的或例外的運(yùn)動；
一些實(shí)施例不需要判斷或定義預(yù)編程事件進(jìn)行檢測； 一些實(shí)施例會檢測出應(yīng)用軟件的用戶根本無法預(yù)見或預(yù)定義的異常； 一些實(shí)施例與現(xiàn)有系統(tǒng)相比能夠進(jìn)行更高效的處理，以實(shí)時(shí)報(bào)告事件(主要是因?yàn)椴恍枰M(jìn)行追蹤、分割和對象識別)；
一些實(shí)施例節(jié)省了處理費(fèi)用和/或提供了更高的處理效率；和/或一些實(shí)施例具有高可擴(kuò)展性并能夠使用壓縮感測方法處理大量的攝像機(jī)/數(shù)據(jù)。這些以及其他優(yōu)點(diǎn)和改進(jìn)是經(jīng)過仔細(xì)考慮后得到的。另外，對于用戶和/或終端使用者來說，還可能具有一個(gè)或多個(gè)益處，包括但不限于
在視頻分析空間中，它代替了多個(gè)現(xiàn)有的視頻分析產(chǎn)品； 為用戶節(jié)省了費(fèi)用； 提高了現(xiàn)有系統(tǒng)的性能； 提高了效率；
通過提供實(shí)時(shí)或近似實(shí)時(shí)的性能，提高了系統(tǒng)的效力；
由于系統(tǒng)能夠從歷史數(shù)據(jù)中自我學(xué)習(xí)而不需要很難的規(guī)則定義，因此沒有復(fù)雜的設(shè)置成本；和/或
代替了昂貴、不及時(shí)和/或錯(cuò)誤百出的雇員的監(jiān)督和監(jiān)視工作。 一些實(shí)施例可以作為機(jī)器可讀代碼運(yùn)行，該代碼可以駐留在服務(wù)器、個(gè)人計(jì)算機(jī)、大型計(jì)算機(jī)、小型計(jì)算機(jī)、移動設(shè)備(如PDA或iWione)或傳感器(包括攝像機(jī)/數(shù)字設(shè)備/可穿戴或可植入的傳感設(shè)備)中?？梢曰跁r(shí)間段將數(shù)據(jù)流分割為數(shù)據(jù)集合，例如，一天、一夜、部分天等。當(dāng)然也存在其他例子用于訓(xùn)練階段。公開的方法和/或系統(tǒng)能夠應(yīng)用于數(shù)據(jù)子集。在一些方面中，一個(gè)或多個(gè)特征可以為與子集相關(guān)聯(lián)的一個(gè)或多個(gè)變量。對于視頻數(shù)據(jù)，特征例如為灰階或色度；所述異?？梢詾楸徊シ诺氖录?。對于傳感器數(shù)據(jù)，特征為數(shù)據(jù)容量；所述異?？梢员挥涗浽跀?shù)據(jù)中的事件。在一些方面中，特征也可以為兩個(gè)數(shù)據(jù)子集之間的參數(shù)的差別。在此情形中，可以對多對子集之間的差別執(zhí)行分析步驟；被公認(rèn)為流。在視頻的情形中，這被認(rèn)為是光流。當(dāng)然，對于所述特征，也可以存在其他舉例。使用此處所公開的實(shí)施例，可以處理真實(shí)世界的數(shù)據(jù)集合以檢測異?；蚝币娛录?。例如但不限于視頻監(jiān)視數(shù)據(jù)；聲納數(shù)據(jù)；道路業(yè)務(wù)數(shù)據(jù)；本地或廣域網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)；農(nóng)業(yè)傳感器網(wǎng)絡(luò)；醫(yī)療影像數(shù)據(jù)；電信業(yè)務(wù)數(shù)據(jù)；或天文數(shù)據(jù)。在一些方面中，當(dāng)所述數(shù)據(jù)為視頻監(jiān)視數(shù)據(jù)流時(shí)，各個(gè)子集可以為幀，特征可以為各個(gè)用于被分析以檢測異常行為的連續(xù)幀對之間的運(yùn)動信息，既有個(gè)人也有團(tuán)體，在大量人群中存在正常行為。當(dāng)然，對于特征，也可以存在其他舉例。在一些實(shí)施例中，光流分析可以為通過柵格將視頻的各個(gè)幀(圖像)或足夠多的幀分割為單元，然后統(tǒng)計(jì)各個(gè)單元中的光流向量的數(shù)量。該技術(shù)提供了關(guān)于運(yùn)動的有用信息，緩解了對對象追蹤的需求，并易于計(jì)算。當(dāng)然，對于分析，也可以有其他的舉例。在一些實(shí)施例中，可以采用可見詞袋模型來表示該光流。通過對序列中全部幀或足夠幀的特征向量進(jìn)行合并，從該可見詞袋模型中構(gòu)建特征-幀矩陣。這類似于文獻(xiàn)分析中的術(shù)語-文獻(xiàn)矩陣，可以使用SVD以類似方式進(jìn)行分解。當(dāng)然，對于統(tǒng)計(jì)也可以有其他舉例。以此方式表示的統(tǒng)計(jì)行為可以在結(jié)構(gòu)上被分解為可見的主分量和殘余分量。然后可以在殘余子空間(正常事件的零空間)中檢測異常事件。殘余空間中的門限可以使用Q-統(tǒng)計(jì)量得到。當(dāng)然，關(guān)于門限的確定，也可以存在其他舉例。可以具體識別出所述異常在所述數(shù)據(jù)集合的位置，以便在同樣的數(shù)據(jù)集合中將其從正常行為中分離出來。根據(jù)本實(shí)施例的舉例，從大規(guī)模公共交通監(jiān)視視頻數(shù)據(jù)中識別出一個(gè)在機(jī)場大廳中游蕩的人。在該例中，對異常事件的檢測是在正常事件的零空間上進(jìn)行的。隨后的讀出讀數(shù)可以為從傾斜角度顯示圖像和柵格，并在各個(gè)單元上疊加表示光流向量的條塊；如圖 2(b)所示。該方法和/或系統(tǒng)可以被用作告警機(jī)制，根據(jù)該機(jī)制可以制定出必要的安全響應(yīng)。通過該方法實(shí)現(xiàn)的異常行為的檢測具有高敏感性，且不論異常行為是否在圖像幀中圍繞或混合在其他正常行為中。例如，在擁擠的視頻場景觀察到的異?？赡芪挥谌巳褐虚g，或者位于周邊。該技術(shù)適用于從大規(guī)模公共交通監(jiān)視視頻數(shù)據(jù)中的其他行為中檢測出異常行為。 在一些應(yīng)用中，該方法可以請求分析數(shù)天的監(jiān)視視頻錄像，以提出正常行為的類型。異常行為的持續(xù)時(shí)間通常為幾秒或更多，這依賴于檢測出什么樣的異常行為。在一些應(yīng)用中，當(dāng)處理普通的大規(guī)模數(shù)據(jù)時(shí)，不可能或者不需要接收或處理數(shù)據(jù)的整個(gè)或主要部分以檢測異常。在一些應(yīng)用中，應(yīng)用前導(dǎo)步驟將所述數(shù)據(jù)變換到壓縮域是很有用處的，使用壓縮感測(Compression Sensing, CS)涉及許多帶有測量矩陣的數(shù)據(jù)子集。壓縮感測被指定用于將數(shù)據(jù)減少到可管理的尺寸。然后對壓縮數(shù)據(jù)進(jìn)行分析及其他步驟。這可以大大減少處理采樣的數(shù)量，并保持好的異常檢測性能。在一些實(shí)施例中，如果數(shù)據(jù)頻譜是稀疏的，則異常檢測性能有很高的概率大致等于全部數(shù)據(jù)得到的性能。這是在許多實(shí)際狀況中會出現(xiàn)的情況。在其他應(yīng)用中，使用壓縮域的檢測性能可以提供足夠的等效性，使得低于高概率的事件也在實(shí)際上是有用的。所述壓縮感測可以被應(yīng)用于減少特征維度或時(shí)間實(shí)例或二者均減少，在壓縮域減少要處理的數(shù)據(jù)容量。當(dāng)然，對于應(yīng)用壓縮感測的方式，也可以存在其他舉例例如，為了減少特征維度，有用的測量矩陣具有輸入值為0或+/-1的測量矩陣，其中，輸入值為O的概率為2/3，輸入值為+/-1的概率為1/6。如果所有的傳感器均具有同步的時(shí)鐘及相同的隨機(jī)數(shù)發(fā)生器，便可以設(shè)定規(guī)則使得傳感器依賴于隨機(jī)數(shù)發(fā)生器的值發(fā)出他們預(yù)先調(diào)整的讀數(shù)+/-1?？蛇x地，在一些應(yīng)用中，當(dāng)傳感器例如不能在大的空間域的無線通信鏈路中直接到達(dá)中央節(jié)點(diǎn)時(shí)，則可以應(yīng)用隨機(jī)費(fèi)氏算法將映射值傳播到中央節(jié)點(diǎn)。為了減少時(shí)間流，例如通過幀子采樣，操作員能夠請求服務(wù)產(chǎn)生隨機(jī)數(shù)并選擇對應(yīng)于隨機(jī)值+/-1的實(shí)例，對這兩組實(shí)例進(jìn)行求和，減去他們，并將(非常少量的)的結(jié)果迭代發(fā)送給所述操作員。在各個(gè)情況中，對所述數(shù)據(jù)進(jìn)行處理以將數(shù)據(jù)變換為不同狀態(tài)，從而揭露出異常。 這些異常本身表明發(fā)生在所述數(shù)據(jù)的真實(shí)世界源中；例如真實(shí)世界業(yè)務(wù)的不規(guī)則性。可選地，所述特征在被變換到壓縮域之前表示為向量的集合。然后在對所述壓縮數(shù)據(jù)進(jìn)行門限判決之前，對壓縮向量的集合執(zhí)行分解的步驟，以提取殘余子空間。當(dāng)然，對于特征變換，可以存在其他舉例。一些實(shí)施例應(yīng)用于用于處理、檢測和/或通知在至少一個(gè)大規(guī)模數(shù)據(jù)集合中存在至少一個(gè)罕見事件的方法或系統(tǒng)，包括接收時(shí)間序列數(shù)據(jù)；將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/或張量的集合；對至少一個(gè)所述向量、 矩陣和/或張量的集合進(jìn)行壓縮感測；對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間；通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。在一些方面中，時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征為與時(shí)間序列數(shù)據(jù)的子集相關(guān)聯(lián)的一個(gè)或多個(gè)變量。在一些方面中，時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征為時(shí)間序列數(shù)據(jù)的任意兩個(gè)子集數(shù)據(jù)之間任意變量的差別。在一定的應(yīng)用中，時(shí)間序列數(shù)據(jù)為至少一個(gè)視頻和音頻監(jiān)視數(shù)據(jù)的流，各個(gè)子集為幀，各個(gè)子集為幀，所述特征為各個(gè)連續(xù)幀對之間的運(yùn)動或
頻率信息。在一些方面中，所述(光流)分析為通過柵格將各個(gè)幀分割為單元，然后統(tǒng)計(jì)各個(gè)單元中光流向量的數(shù)量。在一些應(yīng)用中，所述光流采用視覺詞袋模型表示。在一些方面中，通過合并用于所述序列中全部幀的特征向量，從所述視覺詞袋模型構(gòu)建特征-幀矩陣。在一定的應(yīng)用中，所述特征-幀矩陣在結(jié)構(gòu)上然后被分解為可見的主分量和殘余分量。在一些方面中，該方法或這些方法進(jìn)一步包括使用Q-統(tǒng)計(jì)量檢測殘余子空間中的異常事件。在一些應(yīng)用中，使用前導(dǎo)步驟將所述數(shù)據(jù)變換到壓縮域，以將所述數(shù)據(jù)減少到可管理的尺寸。在一些方面中，執(zhí)行所述變換，以減少壓縮域中的特征維度，使用具有輸入值為0 或+/-1的測量矩陣，其中，輸入值為0的概率為2/3，輸入值為+/-1的概率為1/6。在一些應(yīng)用中，應(yīng)用隨機(jī)費(fèi)氏算法。在一些方面中，執(zhí)行所述變換，以減少壓縮域中的時(shí)間實(shí)例，并應(yīng)用幀子采樣。在一些方面中，在被變換到所述壓縮域之前，所述特征被表示為向量的集合。在一些方面中，識別潛在的罕見事件為將映射到所述殘余子空間中的所述數(shù)據(jù)進(jìn)行門限判決。
8
一些實(shí)施例為從包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)中檢測出潛在異常的方法；該方法包括如下包括接收包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)；分析在數(shù)據(jù)子集的時(shí)間序列中的一個(gè)或多個(gè)特征；將所述一個(gè)或多個(gè)特征表示為向量的集合；對所述向量的集合進(jìn)行分解以提取至少一個(gè)子空間；將映射到所述至少一個(gè)子空間中的數(shù)據(jù)進(jìn)行門限判決，以識別潛
在異常。一些實(shí)施例是用于處理、檢測和/或通知在至少一個(gè)大規(guī)模數(shù)據(jù)集合中存在至少一個(gè)罕見事件的方法，包括接收時(shí)間序列數(shù)據(jù)；所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/或張量的集合；對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測；對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間；通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。一些實(shí)施例針對從包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)中檢測出潛在異常的系統(tǒng)；該系統(tǒng)包括用于接收包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)的裝置；用于分析數(shù)據(jù)子集中的時(shí)間序列中的一個(gè)或多個(gè)特征的裝置；用于將所述一個(gè)或多個(gè)特征表示為向量的集合的裝置； 用于分解所述向量的集合的裝置，以提取殘余子空間；以及用于將映射到所述殘余子空間中的所述數(shù)據(jù)進(jìn)行門限判決以識別潛在異常的裝置。在一些實(shí)施例中，壓縮感測能夠被應(yīng)用于中央處理器，或橫跨網(wǎng)絡(luò)以及在中央處理器進(jìn)行異常檢測。可選地，所述壓縮感測和異常檢測能夠被應(yīng)用傳感器以及傳輸?shù)街醒胩幚砥鞯膬H有的異常幀。本發(fā)明考慮了所公開系統(tǒng)和方法運(yùn)行的各種步驟的各種組合。本領(lǐng)域技術(shù)人員可以理解這些可選的結(jié)構(gòu)。一些實(shí)施例所涉及的系統(tǒng)包括至少一個(gè)傳感器， 用于接收包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)用于分析；計(jì)算機(jī)存儲器，用于存儲所述數(shù)據(jù)； 計(jì)算機(jī)處理器，用于將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的特一個(gè)或多個(gè)征表示為向量、矩陣和/或張量的集合；對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測； 對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間；以及通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。一些實(shí)施例的系統(tǒng)包括至少一個(gè)傳感器，用于接收包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)用于分析；計(jì)算機(jī)存儲器，用于存儲所述數(shù)據(jù)；計(jì)算機(jī)處理器，包括用于將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/或張量的集合的裝置；用于對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測的裝置；用于對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解以提取殘余子空間的裝置；以及用于通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。在一些系統(tǒng)實(shí)施例中，所述計(jì)算機(jī)處理器與所述至少一個(gè)傳感器協(xié)同定位。在一些系統(tǒng)實(shí)施例中，所述計(jì)算機(jī)處理器遠(yuǎn)離所述至少一個(gè)傳感器。在一些系統(tǒng)實(shí)施例中，其中，所述計(jì)算機(jī)處理器的一部分遠(yuǎn)離所述至少一個(gè)傳感器，并執(zhí)行通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件的步驟。在一些系統(tǒng)實(shí)施例中，其中，所述計(jì)算機(jī)處理器的功能能夠在與所述至少一個(gè)傳感器協(xié)同定位的子處理器及遠(yuǎn)離所述至少一個(gè)傳感器的子處理器之間進(jìn)行分割。一些應(yīng)用是針對用于處理、檢測和/或通知在至少一個(gè)大規(guī)模數(shù)據(jù)集合中存在至少一個(gè)罕見事件的系統(tǒng)，包括用于處理、檢測和/或通知在至少一個(gè)大規(guī)模數(shù)據(jù)集合中存在至少一個(gè)罕見事件的；至少一個(gè)處理器，用于接收時(shí)間序列數(shù)據(jù)；至少一個(gè)處理器，用于將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量的集合；至少一個(gè)處理器，用于對至少一個(gè)所述向量的集合進(jìn)行壓縮感測；至少一個(gè)處理器，用于對選擇的向量進(jìn)行分解，以提取殘余子空間；以及至少一個(gè)處理器，用于對映射到所述殘余子空間中的所述壓縮感測數(shù)據(jù)進(jìn)行門限判決。一些實(shí)施例是針對能夠近似實(shí)時(shí)地檢測罕見事件的系統(tǒng)，包括至少一個(gè)大規(guī)模傳感器網(wǎng)絡(luò)，用于從網(wǎng)絡(luò)中的至少一個(gè)傳感器提供時(shí)間序列數(shù)據(jù)；以及至少一個(gè)處理器，用于提供用于從所述網(wǎng)絡(luò)中的至少一個(gè)傳感器近似實(shí)時(shí)地接收時(shí)間序列數(shù)據(jù)的裝置；用于將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/或張量的集合的裝置；用于對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測的裝置；然后用于對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間的裝置；以及用于通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件的裝置。一些實(shí)施例為能夠近似實(shí)時(shí)地檢測罕見事件的系統(tǒng)，包括至少一個(gè)大規(guī)模傳感器網(wǎng)絡(luò)，用于從網(wǎng)絡(luò)中的至少一個(gè)傳感器提供時(shí)間序列數(shù)據(jù)；至少一個(gè)處理器，用于從所述網(wǎng)絡(luò)中的至少一個(gè)傳感器近似實(shí)時(shí)地接收時(shí)間序列數(shù)據(jù)；將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/或張量的集合；對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測的裝置對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間；以及通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。
在一些應(yīng)用中，所述至少一個(gè)大規(guī)模傳感器網(wǎng)絡(luò)至少包括60、100、200、300、400、500、 600、700、800、900、1000、2000、5000、10，000 或 20，000 個(gè)傳感器。在一些方面中，所述系統(tǒng)
以節(jié)省成本的方式處理所述時(shí)間序列數(shù)據(jù)。在一些方面中，所述子空間為主子空間。在一些方面中，所述子空間為殘余子空間。在一些方面中，所述子空間選自所述主子空間、所述殘余子空間或其組合。一些實(shí)施例為從包含有數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)中近似自動地檢測出異常的方法和/或系統(tǒng)，包括如下步驟接收包含數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)；分析所述數(shù)據(jù)子集中的時(shí)間序列的一個(gè)或多個(gè)特征；將所述一個(gè)或多個(gè)特征表示為向量的集合；對所述向量的集合進(jìn)行分解以提取殘余子空間；對映射到殘余子空間中的數(shù)據(jù)進(jìn)行門限判決以識別潛在異常；以及產(chǎn)生至少一個(gè)識別異常行為的讀數(shù)。一些實(shí)施例可以被用于已有設(shè)備、傳感器和/或系統(tǒng)中?？蓱?yīng)用的現(xiàn)有系統(tǒng)和方法需要知道有關(guān)什么是異常事件檢測的指標(biāo)。相反，所公開的系統(tǒng)和方法需要知道有關(guān)什么是正常的指示。一些實(shí)施例通過關(guān)注殘余子空間而忽略主子空間而發(fā)揮作用。一些實(shí)施例針對用于檢測罕見事件的方法，不需要在檢測之前明確罕見事件的特征，該方法包括如下步驟接收時(shí)間序列原始數(shù)據(jù)；將數(shù)據(jù)或數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量的集合；對少一個(gè)向量的集合進(jìn)行壓縮感測；對壓縮感測向量的集合進(jìn)行分解，以提取主子空間；以及識別映射到主子空間中的感測數(shù)據(jù)中的罕見事件。一些實(shí)施例為一種或多種來自視頻數(shù)據(jù)的罕見事件的檢測方法，該方法包括從視頻流中提取出第一時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第一時(shí)間序列數(shù)據(jù)進(jìn)行合并； 構(gòu)建至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；處理所述至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量，以確定殘余子空間和主子空間；為所述殘余子空間確定門限值；從視頻流的視頻幀中提取出第二時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第二時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；比較所述至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量與所述門限值；以及如果至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量大于所述門限值，則識別出罕見事件。一些實(shí)施例為一種來自視頻數(shù)據(jù)的罕見事件的檢測方法，該方法包括從視頻流中提取出第一時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第一時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；對所述至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量進(jìn)行壓縮感測；處理所述至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)壓縮運(yùn)動向量，以確定殘余子空間和主子空間；為所述殘余子空間確定門限值；從視頻流的視頻幀中提取出第二時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第二時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；對至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量進(jìn)行壓縮感測；比較至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)壓縮運(yùn)動向量與門限值；以及如果至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)壓縮運(yùn)動向量大于所述門限值，則識別出罕見事件。一些實(shí)施例針對一種或多種來自非網(wǎng)絡(luò)數(shù)據(jù)的數(shù)據(jù)流的罕見事件的檢測方法，方法包括從數(shù)據(jù)流中提取出所述數(shù)據(jù)的第一特征；對使用基于柵格表示的第一特征進(jìn)行合并；構(gòu)建至少部分基于合并的所述第一特征的至少一個(gè)特征向量；處理所述至少部分基于合并的第一特征的至少一個(gè)特征向量，以確定殘余子空間和主子空間；為所述殘余子空間確定門限值；從數(shù)據(jù)流的數(shù)據(jù)幀中提取出第二特征數(shù)據(jù)；對使用基于柵格表示的第二特征數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量；比較至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量與所述門限值；以及，如果至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量大于所述門限值，則識別所述罕見事件。一些實(shí)施例針對一種或多種來自數(shù)據(jù)流的罕見事件檢測方法，方法包括從數(shù)據(jù)流中提取出數(shù)據(jù)的第一特征；對使用基于柵格表示的第一特征數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第一特征數(shù)據(jù)的至少一個(gè)特征向量；對至少部分基于合并的第一特征數(shù)據(jù)的至少一個(gè)特征向量進(jìn)行壓縮感測；處理至少部分基于合并的第一特征數(shù)據(jù)的至少一個(gè)壓縮特征向量，以確定殘余子空間和主子空間；為所述殘余子空間確定門限值；從數(shù)據(jù)流的數(shù)據(jù)幀中提取出第二特征數(shù)據(jù)；對使用基于柵格表示的第二特征數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量；對至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量進(jìn)行壓縮感測；比較至少部分基于合并的第二特征數(shù)據(jù)的所述至少一個(gè)壓縮特征向量與所述門限值；以及，如果至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)壓縮特征向量大于所述門限值，則識別出所述罕見事件。在一些應(yīng)用中，可以使用此處公開的實(shí)施例將壓縮感測與其他檢測方法相結(jié)合以獲得可接受的結(jié)果。例如，一種用于處理、檢測和/或通知在至少一個(gè)大規(guī)模數(shù)據(jù)集合中存在至少一個(gè)罕見事件的方法，包括接收時(shí)間序列數(shù)據(jù)；將所述時(shí)間序列數(shù)據(jù)或者時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/或張量的集合；對至少一個(gè)向量，矩陣和/
1或張量的集合進(jìn)行壓縮感測；通過其他統(tǒng)計(jì)方法或機(jī)器學(xué)習(xí)方法使用壓縮感測數(shù)據(jù)計(jì)算檢測統(tǒng)計(jì)值；以及通過分析檢測統(tǒng)計(jì)值來識別潛在的罕見事件。所公開的方法和系統(tǒng)使用相當(dāng)標(biāo)準(zhǔn)的設(shè)備提供了更加強(qiáng)健的實(shí)時(shí)或近似實(shí)時(shí)的罕見事件檢測方法。這些方法和系統(tǒng)節(jié)約了處理的成和/或提供了比已知基于特定具體參數(shù)的情形更高的處理效率。這些方法和系統(tǒng)還減少了設(shè)置的復(fù)雜度。在一些不使用壓縮傳感的應(yīng)用中，能夠基于預(yù)設(shè)的參數(shù)在每秒鐘處理相當(dāng)大量的數(shù)據(jù)。一些實(shí)施例針對用于檢測罕見事件存在的一個(gè)方法或多個(gè)方法，該方法包括使用多個(gè)傳感器監(jiān)視數(shù)據(jù)集合；以及對由所述傳感器接收到的數(shù)據(jù)進(jìn)行處理，以近似實(shí)時(shí)地檢測罕見事件的存在；其中，所述數(shù)據(jù)處理的方式支持使用htel Core 雙核3(ihZ處理器以大約164Mb/秒進(jìn)行近似實(shí)時(shí)地分析。在一些方面中，所述方法能夠以140，150，160，170，180， 或190Mb/秒進(jìn)行處理。在一些使用壓縮傳感的應(yīng)用中，也能夠?qū)崟r(shí)或近似實(shí)時(shí)地處理相當(dāng)大量的傳感器。一些實(shí)施例為用于檢測罕見事件存在的一個(gè)方法或多個(gè)方法，該方法包括使用多個(gè)傳感器監(jiān)視數(shù)據(jù)集合；以及對由所述傳感器接收到的數(shù)據(jù)進(jìn)行處理，以近似實(shí)時(shí)地檢測罕見事件的存在；其中，所述數(shù)據(jù)處理的方式支持使用htel Core 雙核3(ihZ 處理器對從20個(gè)傳感器獲得的數(shù)據(jù)進(jìn)行近似實(shí)時(shí)地分析。在一些方面中，所述方法能夠處理15、20、25、30或35傳感器。一些方法為用于在視頻內(nèi)容中檢測罕見事件存在的一個(gè)方法或多個(gè)方法，本發(fā)明包括使用多個(gè)攝像機(jī)監(jiān)視視頻內(nèi)容；以及處理由攝像機(jī)接收到的數(shù)據(jù)，以近似實(shí)時(shí)地檢測罕見事件的存在；其中，對該數(shù)據(jù)進(jìn)行處理的方式支持使用Intel Core 雙核3(ihZ處理器對來自于20個(gè)攝像機(jī)的數(shù)據(jù)近似實(shí)時(shí)地進(jìn)行分析，幀率為10幀/ 秒，分辨率為(356拉88) (8比特)。假設(shè)進(jìn)行特征提取是在計(jì)算異常檢測的相同處理器上進(jìn)行的。如果特征提取在另一處理器中進(jìn)行，那么對該數(shù)據(jù)進(jìn)行處理的方式支持使用Intel Core 雙核3(ihZ處理器以16，400Mb/秒進(jìn)行近似實(shí)時(shí)的分析。在一些方面中，該方法能夠以14，000、15，000、16，000、17，000、18，000或19，OOOMb/秒進(jìn)行處理。如果特征提取在另一處理器中進(jìn)行，那么對該數(shù)據(jù)進(jìn)行處理的方式支持使用htel Core 雙核3(ihZ處理器對從2000個(gè)傳感器獲得的數(shù)據(jù)進(jìn)行近似實(shí)時(shí)的分析。在一些方面中，該方法能夠處理1500、 2000、2500、3000 或 3500 傳感器。在一些使用壓縮傳感的應(yīng)用中，能夠基于預(yù)設(shè)的參數(shù)在每秒鐘處理相當(dāng)大量的數(shù)據(jù)。一些實(shí)施例針對用于檢測罕見事件存在的一個(gè)方法或多個(gè)方法，該方法包括使用多個(gè)傳感器監(jiān)視數(shù)據(jù)集合；以及對由所述傳感器接收到的數(shù)據(jù)進(jìn)行處理，以近似實(shí)時(shí)地檢測罕見事件的存在；其中，所述數(shù)據(jù)處理的方式支持使用htel Core 雙核3(ihZ處理器以 500Mb/秒進(jìn)行近似實(shí)時(shí)地分析。在一些方面中，該方法能夠以400、450、500、550或600Mb/ 秒進(jìn)行處理。在一些使用壓縮傳感的應(yīng)用中，也能夠?qū)崟r(shí)或近似實(shí)時(shí)地處理相當(dāng)大量的傳感器。一些實(shí)施例為用于檢測罕見事件存在的一個(gè)方法或多個(gè)方法，該方法包括使用多個(gè)傳感器監(jiān)視數(shù)據(jù)集合；以及對由所述傳感器接收到的數(shù)據(jù)進(jìn)行處理，以近似實(shí)時(shí)地檢測罕見事件的存在；其中，所述數(shù)據(jù)處理的方式支持使用htel Core 雙核3(ihZ處理器對從60個(gè)傳感器獲得的數(shù)據(jù)進(jìn)行近似實(shí)時(shí)地分析。在一些方面中，所述方法能夠處理50、 60、70、80或90個(gè)傳感器。一些實(shí)施例針對針對用于在視頻內(nèi)容中檢測罕見事件存在的一個(gè)方法或多個(gè)方法，該方法包括使用多個(gè)攝像機(jī)監(jiān)視視頻內(nèi)容；對由所述攝像機(jī)接收到的數(shù)據(jù)進(jìn)行處理以近似實(shí)時(shí)地檢測罕見事件的存在；其中，所述數(shù)據(jù)處理的方式支持使用htel Core 雙核3(ihZ處理器對以10幀/秒的幀速率從60攝像機(jī)獲取的分辨率為 356*288 (Sbits)的數(shù)據(jù)進(jìn)行近似實(shí)時(shí)地分析。這假設(shè)特征提取與計(jì)算異常檢測在同一個(gè)處理器中進(jìn)行。如果所述特征提取在另一處理器中進(jìn)行，那么數(shù)據(jù)處理的方式支持使用Intel Core 雙核3(ihZ處理器對50，OOOMb/秒進(jìn)行近似實(shí)時(shí)的分析。在一些方面中，所述方法能夠以40，000,45, 000,50, 000,55, 000或60，OOOMb/秒進(jìn)行處理。如果所述特征提取在另一處理器中進(jìn)行，那么數(shù)據(jù)處理的方式支持使用htel Core 雙核3Ghz處理器對從6000 個(gè)傳感器獲得的數(shù)據(jù)進(jìn)行近似實(shí)時(shí)地分析。在一些方面中，所述方法能夠處理5000、6000、 7000,8000或9000個(gè)傳感器?！?shí)施例針對用于近似自動地從數(shù)據(jù)中檢測出異常的計(jì)算機(jī)系統(tǒng)，包括輸入端及裝置，用于接收含有一系列數(shù)據(jù)子集的數(shù)據(jù)用于分析；計(jì)算機(jī)存儲器及裝置，用于存儲所述數(shù)據(jù)；計(jì)算機(jī)處理器包括i.用于對數(shù)據(jù)子集的時(shí)間序列中的一個(gè)或多個(gè)特征進(jìn)行分析的裝置；ii用于將所述特征表示為向量的集合的裝置；iii.用于對所述向量的集合進(jìn)行分解以提取殘余子空間的裝置；以及iv.用于對映射到所述殘余子空間的數(shù)據(jù)進(jìn)行門限判決以識別潛在異常的裝置。一些實(shí)施例針對用于近似自動地從數(shù)據(jù)中檢測出異常的計(jì)算機(jī)系統(tǒng)，包括輸入端，用于接收含有一系列數(shù)據(jù)子集的數(shù)據(jù)用于分析；計(jì)算機(jī)存儲器，用于存儲所述數(shù)據(jù)；計(jì)算機(jī)處理器，用于執(zhí)行如下步驟v.對數(shù)據(jù)子集的時(shí)間序列中的一個(gè)或多個(gè)特征進(jìn)行分析；vi.將所述特征表示為向量的集合；vii對所述向量的集合進(jìn)行分解以提取殘余子空間；以及Viii.對映射到所述殘余子空間的數(shù)據(jù)進(jìn)行門限判決以識別潛在異常。


結(jié)合附圖和實(shí)施例的詳細(xì)說明將使本發(fā)明的附加特征和優(yōu)勢變得更加明顯。圖1為一些實(shí)施例的來自包含時(shí)間序列數(shù)據(jù)子集的數(shù)據(jù)的異常檢測過程的流程圖。圖2(a)為一些實(shí)施例的用于異常行為序列的合并光流圖，此處，此處的各個(gè)觀察值對應(yīng)于一分鐘間隔內(nèi)計(jì)算的運(yùn)動統(tǒng)計(jì)量。圖2(b)為用于異常行為序列的合并光流圖，其中，各個(gè)觀察值對應(yīng)于一分鐘間隔內(nèi)計(jì)算的運(yùn)動統(tǒng)計(jì)量。圖3 (a)為一些實(shí)施例有正常人群行為的柵格視頻幀。圖3(b)為顯示人群為密集的100幀正常人群行為的運(yùn)動分布圖。圖3(c)為有正常人群行為以及一個(gè)人倚在墻上的柵格視頻幀。圖3(d)為100幀正常人群行為的運(yùn)動分布圖，其中有一個(gè)人倚在墻上。圖3(e)為有正常人群行為的柵格視頻幀。圖3 (f)為100幀正常人群行為的運(yùn)動分布圖。圖4為一些實(shí)施例的從)(TMin(序列S0，攝像機(jī)1)計(jì)算得到的特征值的幅度圖。圖5(a)為一些實(shí)施例的在映射到殘余子空間后Xftain(序列S0，攝像機(jī)1)的各個(gè)列向量的幅度圖。圖5(b)為在映射到殘余子空間后Xftst (序列S3，攝像機(jī)1)的各個(gè)列向量的幅度圖。圖6 (a)和(b)為一些實(shí)施例的從攝像機(jī)1 (PETS2007數(shù)據(jù)集合)得到的序列3中檢測出的“異?！毙袨榈膬蓭D7(a)為一些實(shí)施例的在映射到殘余子空間后Xftain(序列S0，攝像機(jī)3)的各個(gè)列向量的幅度圖。圖7(b)為在映射到殘余子空間后Xftst (序列S3，攝像機(jī)幻的各個(gè)列向量的幅度圖。圖8(a)、(b)和(C)分別為顯示重度、中度和輕度人群密度的三張拍攝照片。圖9(a)為一些實(shí)施例的在映射到殘余子空間后Xftain數(shù)據(jù)的各個(gè)列向量的幅度圖。圖9(b)為在映射到殘余子空間后XTestl數(shù)據(jù)的各個(gè)列向量的幅度圖。圖10(a)、(b)和(C)為一些實(shí)施例的顯示異常檢測的一連串三張屏幕截圖。圖11 (a)為一些實(shí)施例的用于使用PCA的Xftst2數(shù)據(jù)的特征值的圖。圖11 (b)為用于使用R-PCA的XTest2數(shù)據(jù)的特征值的圖。圖12(a)為一些實(shí)施例的歸一化誤診率(False Positive Rate, FPR)圖。圖12(b)為異常檢測率的歸一化圖。圖13(a)為一些實(shí)施例的使用完整數(shù)據(jù)的Xftain數(shù)據(jù)的特征值圖。圖13(b)為使用壓縮數(shù)據(jù)的)(TMin數(shù)據(jù)的特征值圖。圖14(a)為一些實(shí)施例的使用完整數(shù)據(jù)的Xlestl數(shù)據(jù)的殘余圖。圖14(b)為使用壓縮數(shù)據(jù)(底部)的Xlestl數(shù)據(jù)的殘余圖。圖15顯示了一些實(shí)施例的使用視頻數(shù)據(jù)進(jìn)行異常檢測的流程形式。圖16顯示了一些實(shí)施例的使用感測視頻數(shù)據(jù)進(jìn)行異常檢測的流程形式。圖17顯示了一些實(shí)施例的使用數(shù)據(jù)進(jìn)行異常檢測的流程形式。圖18顯示了根據(jù)一些實(shí)施例在壓縮感測數(shù)據(jù)中進(jìn)行異常檢測的流程形式。
具體實(shí)施例方式圖1為來自包含時(shí)間序列數(shù)據(jù)子集的數(shù)據(jù)的異常檢測過程的流程圖。首先如圖1 所示，在該舉例中，該數(shù)據(jù)可以為來自于視頻攝像機(jī)的視頻監(jiān)視數(shù)據(jù)流。該數(shù)據(jù)具有時(shí)間序列子集的形式，每個(gè)子集包含視頻數(shù)據(jù)幀。該數(shù)據(jù)被典型地存儲以便將來使用或者經(jīng)網(wǎng)絡(luò)傳輸給計(jì)算機(jī)系統(tǒng)用于分析。在計(jì)算機(jī)系統(tǒng)中，數(shù)據(jù)被接收并應(yīng)用于處理器。通過考慮時(shí)空域12內(nèi)的運(yùn)動統(tǒng)計(jì)量開發(fā)出一個(gè)異常檢測框架。每個(gè)圖像被柵格分隔成單元，在預(yù)定義的時(shí)間塊內(nèi)計(jì)算每個(gè)圖像中各個(gè)單元的運(yùn)動統(tǒng)計(jì)量。各個(gè)單元的運(yùn)動分布被簡單地計(jì)算為在那個(gè)單元中的光流向量的數(shù)量。具體地，如圖1所示，當(dāng)所述數(shù)據(jù)到達(dá)處理器時(shí)，該處理器判斷接收到的數(shù)據(jù)是否是大規(guī)模的。如果該數(shù)據(jù)是大規(guī)模的，則在執(zhí)行流分析12之前將該數(shù)據(jù)轉(zhuǎn)換為壓縮域。該流分析生成至少一組向量，該向量使用，例如，視覺詞袋模型14被處理。產(chǎn)生的該 “詞”然后被用于生成特征-幀矩陣16。PCA分析20識別18主分量22和殘余分量24，該殘余分量被與門限值進(jìn)行比較以判斷是否存在異常26。的監(jiān)視攝像機(jī)收集到的300幀第一序列數(shù)據(jù)的合并運(yùn)動流。具體地，該圖標(biāo)示了運(yùn)動流的量，是來自所有單元的運(yùn)動統(tǒng)計(jì)量向量的模的平方，用于在火車站地鐵一天五個(gè)小時(shí)內(nèi)采集到的數(shù)據(jù)。圖中的各個(gè)點(diǎn)顯示了一分鐘內(nèi)合并的運(yùn)動統(tǒng)計(jì)量。通常，如果在車站有火車，則正常運(yùn)動量的特征是很高的，否則它保持很低并引起幾乎周期性的升高和降低。目的為在存在正常行為及不存在正常行為時(shí)檢測異常事件?？紤]了在不同流量場景中各個(gè)單元的運(yùn)動分布。正常行為包括在高峰時(shí)段內(nèi)有大量的人流進(jìn)入入口點(diǎn)并走出出口點(diǎn)。他們也包括在非高峰時(shí)段有少量對象或幾乎沒有對象。時(shí)空域中運(yùn)動量統(tǒng)計(jì)的任何顯著變化均可以被認(rèn)為是非正常的，并且是異常的潛在候選。圖2(b)是第二序列，其中可以看到運(yùn)動量統(tǒng)計(jì)的這種非正常變化，參見100、102、 104 和 106。參見圖3，一些典型的例子將被描述例1，圖3(a)顯示了在人群中的一幀正常行為。該幀被分割為多個(gè)單元。圖3(b) 描繪了用于100幀正常序列的各個(gè)單元的運(yùn)動分布。從圖3(b)所示某些單元中的一組條塊120的幅度可以看出人群非常稠密。例2，圖3(c)也顯示了一幀序列，其中，在正常人群中有一個(gè)人倚在墻上一段時(shí)間。該單元也被分割成多個(gè)單元，且圖3(d)顯示了在100幀序列中各個(gè)單元的運(yùn)動分布。 直觀地，在圖3(b)和圖3(d)所示分布的結(jié)構(gòu)特征之間存在差異，這是由于圖3(c)中的“異常”(例如倚著)行為呈現(xiàn)為圖3(d)中的第二組條塊122。例3，圖3 (e)也顯示了人群中的一幀正常行為。在此情形中，有一群人在到處游蕩且運(yùn)動量較低。圖3(f)顯示了對應(yīng)的運(yùn)動分布圖，從中可以看到其幅度低于圖3(b)。在地鐵中，乘客通常會沿著“行進(jìn)”通道進(jìn)和出。這些正常行為引發(fā)了地鐵中各單元的運(yùn)動向量的分布。重要的是，該分布也表明了各單元之間的關(guān)系。例如，由于穿過單元的流量的平均值而使某些單元趨向于高度相關(guān)。這種依賴性為正常事件的結(jié)構(gòu)模式提供了重要的信息。因此，如果，例如一個(gè)人或一群人橫向穿越地鐵，所觀察到的運(yùn)動分布將承載全新的結(jié)構(gòu)信息，這就是異常檢測的基礎(chǔ)。類似地，一個(gè)游蕩的人很可能會導(dǎo)致觀察到覆蓋游蕩軌跡的單元比正常單元更加相關(guān)。如果得知了該結(jié)構(gòu)信息，便可以通過將觀察到的運(yùn)動模式映射到由結(jié)構(gòu)引起的空間中，來將正常行為分離出來，使得異常行為能夠在殘余子空間中更容易地被檢測到。視覺詞袋模型用于表示單元中的光流計(jì)數(shù)值。使用一種方法來從時(shí)空域中的人類行為中獲得視覺詞。使用基于柵格的方法來為各個(gè)單元提取光流計(jì)數(shù)值。各個(gè)單元被認(rèn)為類似于一個(gè)術(shù)語，各個(gè)單元的運(yùn)動統(tǒng)計(jì)量，例如運(yùn)動流的數(shù)量被認(rèn)為等同于詞頻。因此，術(shù)語的數(shù)量等于圖像中單元的數(shù)量。特征-幀矩陣16以模擬方式被構(gòu)建為術(shù)語-文件矩陣。將單元的數(shù)量表示為N，將運(yùn)動統(tǒng)計(jì)量表示為EQ x\s\do5(l) = [x\s\do5(l) (1) \，· · · \,x\s\do5 (N) (1) ]\s\up5 (T)。對于一個(gè) L幀的序列，EQ X = [x\s\do5 (1) \，· · · \， X\s\do5(L]。在文件分析中，語義變量(標(biāo)題)決定了術(shù)語的出現(xiàn)概率。類似地，在一些已公開的應(yīng)用中，正常行為的結(jié)構(gòu)變量決定了單元的運(yùn)動向量的分布。為了找出正常行為的結(jié)構(gòu)信息，使用了殘余子空間分析方法。在X被中心化后， 從特征-幀矩陣X中估算出樣本協(xié)方差矩陣為Σ x= (1/L)XXT。假設(shè)特征值分解EQE \s\
15do5 (χ) =UAU\s\up5(T)，主子空間與 K相關(guān)，主要的 EQ λ \s\do5 (1). . · \，λ \s\do5(K)。 到殘余子空間M的映射被定義為P=I-UfUl。對于任意觀察到的運(yùn)動模式X，正常的分量為
IJ^uJt,而殘余分量為ζ = Px0與前述基于統(tǒng)計(jì)方法的關(guān)鍵區(qū)別在于，我們提出通過考慮
平方預(yù)測誤差(Squared Prediction Error, SPE)統(tǒng)計(jì)值沈，在殘余子空間中檢測異常行為。
'SPE=丨丨z 丨丨 ^ld-⑴如果ζ服從多變量正態(tài)分布，則在數(shù)據(jù)正常的零假設(shè)情況下，所述SPE統(tǒng)計(jì)值服從非中心卡方分布。因此，對于零假設(shè)的拒絕可以基于tSPE是否超過對應(yīng)于期望錯(cuò)誤告警率 β的特定門限。在參考文獻(xiàn)[9]中，Q-統(tǒng)計(jì)量用于計(jì)算該門限，并涉及到最大的K特征值如下
(2)
V 1 Φ1 J
2^3 N t
其中，Zi0=I - ~γ,Qr χ λ. for/=1,2,3, C0 = (l-β)為標(biāo)準(zhǔn)正態(tài)分布中的百分位數(shù) 3Θ2 j=K+l
(percentile in standard normal distribution)。當(dāng) tSPE > Q0 時(shí)，貝Ij檢測至Ij異常 亍為。在特定的應(yīng)用中，為進(jìn)行異常檢測而在殘余子空間上進(jìn)行的分析只有當(dāng)主分量K 的數(shù)量足夠小時(shí)才是有效的。否則，異常行為的能量將會大量地傳播到主子空間中，導(dǎo)致較低的可檢測性。幸運(yùn)的是，在實(shí)踐中，小K的假設(shè)似乎能夠很好的滿足。為了刻畫主子空間，值得注意的是在一些實(shí)施例中具有足夠的訓(xùn)練數(shù)據(jù)以反映變化的寬度范圍，在該變化中定義了正常行為。在一些大規(guī)模應(yīng)用中，數(shù)據(jù)量通常非常巨大， 因此潛在地阻礙了頻譜方法的應(yīng)用。在該具體舉例中，監(jiān)視視頻數(shù)據(jù)存儲在公共交通主管部門的知識庫中。通過一個(gè)星期的數(shù)據(jù)采集，從安全攝像機(jī)中獲得到千百萬的幀。由于如存儲器或帶寬等物理限制，很難直接應(yīng)用頻譜方法。為了應(yīng)對這一問題，所公開的實(shí)施例使用壓縮數(shù)據(jù)。通過使用該實(shí)施例，將頻譜方法直接應(yīng)用于壓縮數(shù)據(jù)成為可能。在能夠顯示出具有足夠高概率的情況下，如果數(shù)據(jù)頻譜稀疏，則異常檢測性能大致等價(jià)于基于完整數(shù)據(jù)得到的性能，這是在許多實(shí)際情況中經(jīng)常出現(xiàn)的情況。壓縮理論(Compressed Sensing, CS)表明，當(dāng)由數(shù)據(jù)向量表示的數(shù)據(jù)子集較稀疏或可壓縮時(shí)，能夠通過簡單的、非自適應(yīng)、和線性映射y= Φχ來感測數(shù)據(jù)向量。測量矩陣 Φ的行數(shù)遠(yuǎn)遠(yuǎn)小于列數(shù)，即M << N，表明y的維度遠(yuǎn)小于χ。在適當(dāng)條件下，當(dāng)測量矩陣 Φ的各列之間大致正交時(shí)，則能夠通過凸優(yōu)化問題完美地從y恢復(fù)χ，這可以通過專門算法高效地解決。這表明在y中關(guān)于χ的所有顯著信息均被采集到，使得CS成為有用的工具用于信息保存映射技術(shù)。當(dāng)需要進(jìn)行分類而非恢復(fù)時(shí)，使用CS的優(yōu)勢在于處理采樣的數(shù)量減少到 M(實(shí)踐中，M = 0(K IogN) << N)。在CS域作業(yè)的優(yōu)勢在于其壓倒性地減少了通信開銷并提高了框架的可伸縮性。例如，當(dāng)網(wǎng)絡(luò)數(shù)據(jù)稀疏時(shí)，僅需要少量非自適應(yīng)測量值M來記錄主流量的信息。當(dāng)CS界主要關(guān)注于恢復(fù)問題時(shí)，即從y推導(dǎo)出χ時(shí)，我們部分關(guān)注于異常檢測。因此，由于χ的相關(guān)信息保存在y中，本公開文件隨后將說明可以直接從壓縮的數(shù)據(jù)y檢測異
堂
巾O在一些實(shí)施例中，用于系統(tǒng)設(shè)置框架的第一步是使用CS獲得壓縮數(shù)據(jù)；該壓縮可以采用傳感器子采樣或時(shí)間流子采樣二者均采用。圖15顯示了公開的特定方法和系統(tǒng)的流程。圖15顯示了來自視頻數(shù)據(jù)的罕見事件的檢測方法。該方法包括從視頻流中提取出第一時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第一時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；處理至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量，以確定殘余子空間和主子空間；為該殘余子空間確定門限值；從視頻流的視頻幀中提取第二時(shí)間序列數(shù)據(jù)；對基于柵格表示的第二時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；比較至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量與所述門限值；如果至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量大于所述門限值，則識別出罕見事件。圖16顯示了所公開的特定方法和系統(tǒng)的流程。所示方法顯示了采用壓縮感測的視頻數(shù)據(jù)的異常檢測。該來自視頻數(shù)據(jù)的罕見事件的檢測方法包括從視頻流中提取出第一時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第一時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；對至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量進(jìn)行壓縮感測；處理至少部分基于合并的第一時(shí)間序列數(shù)據(jù)的至少一個(gè)被壓縮的運(yùn)動向量，以確定殘余子空間和主子空間；為殘余子空間確定門限值；從視頻流的視頻幀中提取出第二時(shí)間序列數(shù)據(jù)；對使用基于柵格表示的第二時(shí)間序列數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量；對至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)運(yùn)動向量進(jìn)行壓縮感測；比較至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)被壓縮的運(yùn)動向量與所述門限值；如果至少部分基于合并的第二時(shí)間序列數(shù)據(jù)的至少一個(gè)被壓縮的運(yùn)動向量大于所述門限值，則識別出罕見事件。圖17顯示了可以應(yīng)用于特定的公開的方法和系統(tǒng)的流程。該圖針對從數(shù)據(jù)流中檢測出異常。圖17顯示了來自數(shù)據(jù)流的罕見事件的檢測方法，該方法包括從數(shù)據(jù)流中提取出數(shù)據(jù)的第一特征；對使用基于柵格表示的第一特征進(jìn)行合并；構(gòu)建至少部分基于所述合并的第一特征的至少一個(gè)特征向量；處理至少部分基于所述合并的第一特征的至少一個(gè)特征向量，以確定殘余子空間和主子空間；為所述殘余子空間確定門限值；從數(shù)據(jù)流的數(shù)據(jù)幀中提取出第二特征數(shù)據(jù)；對使用基于柵格表示的第二特征數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量；比較至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量與所述門限值；如果至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量大于所述門限值，則識別出罕見事件。圖17中顯示的該流程可以應(yīng)用于非網(wǎng)絡(luò)數(shù)據(jù)。圖18顯示了特定的公開方法和系統(tǒng)的流程。圖18針對在壓縮感測數(shù)據(jù)中檢測異常的方法。圖18顯示了來自數(shù)據(jù)流的罕見事件的檢測方法，該方法包括從數(shù)據(jù)流提取數(shù)據(jù)的第一特征；對使用基于柵格表示的第一特征數(shù)據(jù)進(jìn)行合并；構(gòu)建至少部分基于合并的第一特征數(shù)據(jù)的至少一個(gè)特征向量；對所述至少部分基于合并的第一特征數(shù)據(jù)的至少一個(gè)特征向量進(jìn)行壓縮感測；對所述至少部分基于合并的第一特征數(shù)據(jù)的至少一個(gè)被壓縮的特征向量進(jìn)行處理，以確定殘余子空間和主子空間；為所述殘余子空間確定門限值；從所述數(shù)據(jù)流的數(shù)據(jù)幀中提取出第二特征數(shù)據(jù)；對使用基于柵格表示的第二特征數(shù)據(jù)進(jìn)行合并； 構(gòu)建至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量；對所述至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)特征向量進(jìn)行壓縮感測；比較所述至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)被壓縮的特征向量與所述門限值進(jìn)行；如果至少部分基于合并的第二特征數(shù)據(jù)的至少一個(gè)被壓縮的特征向量大于所述門限值，則識別出罕見事件。情況1 對于傳感器子采樣的情況在實(shí)施例中，已知獲得對數(shù)據(jù)的線性變換y = φχ被獲取作為CS測量矩陣，其中，φ e ΦΙΤ已知，該CS測量矩陣的輸入值為隨機(jī)變量。 CS方法提供多階CS矩陣，以便在實(shí)踐中得到有效應(yīng)用。例如，在界面友好的數(shù)據(jù)庫的CS矩陣中，該輸入值有2/3的概率取值為0，有1/6的概率取值為+/-1。如果全部的傳感器均具有同步的時(shí)鐘以及相同的隨機(jī)數(shù)發(fā)生器，便可以設(shè)定規(guī)則使得傳感器依賴于隨機(jī)數(shù)發(fā)生器的值發(fā)出他們預(yù)先調(diào)整的讀數(shù)+/-1?？蛇x地，當(dāng)傳感器例如不能在大的空間域的無線通信鏈路中直接到達(dá)中央節(jié)點(diǎn)時(shí)，則可以應(yīng)用隨機(jī)費(fèi)氏算法(random gossip algorithm)將映射值y傳播到中央節(jié)點(diǎn)。與例如分散方法相比的額外優(yōu)勢在于，中央節(jié)點(diǎn)現(xiàn)在能夠使用殘余方法對壓縮數(shù)據(jù)進(jìn)行分析，并具有幾乎最優(yōu)的性能。情況2 對于時(shí)間流幀子采樣的情況通過使用壓縮感測方法以及CS矩陣，操作員能夠請求服務(wù)產(chǎn)生隨機(jī)數(shù)，并選擇對應(yīng)于隨機(jī)值+/-ι的實(shí)例，對這兩組實(shí)例進(jìn)行求和，減去他們，并將該L'結(jié)果迭代發(fā)送給操作員，其中L' <<L。通過這樣做，不僅可以有效利用有限的帶寬和存儲器，操作也能夠好像得到全部數(shù)據(jù)那樣成功檢測出異常。
實(shí)驗(yàn)例以下實(shí)驗(yàn)例顯示了所公開實(shí)施例的一些方面。這些例子在本質(zhì)上并沒有進(jìn)行限制，只是示例性說明了這些公開方法和系統(tǒng)是如何工作的。所提供的以下實(shí)驗(yàn)例為非限定的示例。在這些實(shí)驗(yàn)例中，認(rèn)為異常事件的持續(xù)時(shí)間大約為10秒。在其他實(shí)施例中，可以改變異常事件的持續(xù)時(shí)間以適應(yīng)具體應(yīng)用的需。使用Lucas-Kanade光流特征的算法的 openCV應(yīng)用提取運(yùn)動信息。
PETS2007基準(zhǔn)數(shù)據(jù)第一組舉例實(shí)驗(yàn)使用PETS2007數(shù)據(jù)集合，由從多個(gè)攝像機(jī)監(jiān)視系統(tǒng)獲取的視頻錄像構(gòu)成。對于PETS數(shù)據(jù)集合的處理，將用于合計(jì)運(yùn)動總數(shù)的時(shí)間粒度設(shè)定為100幀。對于訓(xùn)練過程，實(shí)驗(yàn)使用SO序列，由以分辨率720*576采集到的4500幀構(gòu)成。該訓(xùn)練序列不包含異常事件，沒有特別指定的行為人，且人群密度(依賴于攝像機(jī))通常為中寸。所使用的第一個(gè)PETS2007測試序列為由攝像機(jī)1采集到的S3。該序列由四70幀構(gòu)成且異常為小偷事件。它涉及到兩個(gè)行為人在短暫的停頓后朝場景中心正常行走，他們繼續(xù)撿起一個(gè)書包，并離開該區(qū)域。當(dāng)該事件發(fā)生時(shí)，在場景的頂部有大量的人流。因此，為了讓舉例方法產(chǎn)生正確的結(jié)果，需要檢測到所述異常且正確標(biāo)記出異常事件發(fā)生的時(shí)段。 從訓(xùn)練序列和測試序列中創(chuàng)建Xftain和)(Test。由于該序列較短，因此將PCA直接應(yīng)用于從所數(shù)據(jù)柒合
l—PETS(攝像機(jī)1序列；3) 1 PETS(攝像
描述的訓(xùn)練序列中提取的特征上，并將特征值描繪在圖4中。為主子空間130選擇最大的三個(gè)特征值(即K = 3)，而剩余的特征向量組成所述殘余子空間。根據(jù)隊(duì)β置信水平計(jì)算門限Q0，且選擇β值等于0.005。圖5(a)顯示了 )(Train各列的映射情況，圖5(b)顯示了進(jìn)入殘余子空間的)(Test各列的映射情況。水平線140表示門限Q0。小偷事件被標(biāo)記在殘余子空間中，超過門限Q0。應(yīng)當(dāng)注意的是，殘余域的圖中顯示了兩個(gè)峰值142和144，對應(yīng)于相距50幀的事件，因此被認(rèn)為是相同異常事件的部分。在圖6(a)和圖6(b)中顯示了包含異常的兩幀場景。其結(jié)果表明舉例的方法成功地檢測到異常事件的發(fā)生。為了測試該方法在不同環(huán)境條件中的強(qiáng)健性，使用由攝像機(jī)3采集到的序列S3作為測試集合(帶有從攝像機(jī)3得到的序列SO用于訓(xùn)練)。圖7顯示了進(jìn)入主子空間和殘余子空間中的Xftain和)(Test各列的映射情況。盡管光線及攝像機(jī)角度不同，舉例的方法仍然成功檢測到了異常事件160和162。從四個(gè)序列得到結(jié)果總結(jié)在表1的前四個(gè)條目中。 表1
PETS(攝像機(jī)2序列3) I 4，5 PETS(攝像機(jī)3序列力！ 4^y
PTA數(shù)據(jù)集合 (通道-攝像機(jī)1)
90.000
PTA數(shù)據(jù)集合 (通道-攝像機(jī)幻吼.
PTA數(shù)據(jù)集合(樓梯)■細(xì)
PTA-軌道
(車站1攝像機(jī)1) :
PTA-軌道
(車站1攝像機(jī)2)
ι 6.363
PTA-軌道
(車站2攝像機(jī)1)
PTA-軟飲料
(自動售貨機(jī))
Ul,
PTA數(shù)據(jù)集合 第二組舉例實(shí)驗(yàn)使用由公共交通主管部門(Public Transport Authority, PTA)
頓S
頓€
00
4;500
19CN 102449660 A
說明書
17/19 頁
提供的數(shù)據(jù)，涉及到從中央火車站采集到的視頻序列。該視頻數(shù)據(jù)是從兩臺攝像機(jī)——攝像機(jī)1 (采集到的視頻為每秒10幀)和攝像機(jī)2 (采集到的視頻為每秒6幀)。該例子使用來自于這兩臺攝像機(jī)的視頻數(shù)據(jù)用于異常事件檢測及可擴(kuò)展性分析。該視頻數(shù)據(jù)采集了一周七天內(nèi)每天上午7點(diǎn)到上午11點(diǎn)的時(shí)間段內(nèi)在車站通道內(nèi)的人的活動。各幀的分辨率為576X720。該例子將各個(gè)幀分割成柵格，對各個(gè)單元內(nèi)的運(yùn)動流進(jìn)行量化以產(chǎn)生單元觀察矩陣。在早晨不同時(shí)間段人群密度變化的舉例顯示在圖8(a)、圖8(b)及圖(c)中。該序列由提供真實(shí)數(shù)據(jù)信息的專家觀看。 異常事件檢測在舉例中，為了進(jìn)行異常事件檢測，從兩個(gè)連續(xù)白天的8小時(shí)視頻中建立訓(xùn)練集合XTMin。從另外兩周的觀察結(jié)果中建立測試數(shù)據(jù)集合孤⑷和U。由于在Xftain中有 90，000幀，在Xlestl和Xlest2中有115，000幀，對300幀(L = 300)內(nèi)的運(yùn)動進(jìn)行合計(jì)，仍然使用PCA。為主子空間選擇對應(yīng)于六個(gè)最大特征值(K = 6)的六個(gè)特征向量，并使用剩余的特征向量組成殘余子空間。如圖9(a)和圖9(b)所示，該舉例然后將映射到殘余子空間中。采用與上述舉例實(shí)驗(yàn)相似的方式計(jì)算門限Qe，其中β = 0.005。從帶有檢測到的異常的測試數(shù)據(jù)中，從三個(gè)異常中檢測出兩個(gè)真實(shí)的異常180和 182，對應(yīng)于見圖10(a)，將小孩移動并倚靠在墻上，見圖10(b)，游蕩。檢測到的事件為1分鐘長。這些異常由于單元運(yùn)動分布的變化而發(fā)生，盡管其實(shí)質(zhì)上是附近的，可以在殘余子空間中清楚地檢測到。被錯(cuò)過的異常是由于它發(fā)生在距離攝像機(jī)很遠(yuǎn)的地方，結(jié)果，由于運(yùn)動數(shù)據(jù)不連續(xù)，因此難以檢測到。對第二組測試集合(xTest2)進(jìn)行同樣的實(shí)驗(yàn)，再次檢測到異常事件“團(tuán)體游蕩”，見圖10 (C)，發(fā)生在“非高峰”時(shí)段。對由兩臺攝像機(jī)采集到的數(shù)據(jù)進(jìn)行可擴(kuò)展性測試。所述數(shù)據(jù)集合具有大致一百萬幀，分辨率為576X720，在七天內(nèi)以每秒6幀采集到。使用來自于六天的數(shù)據(jù)用于訓(xùn)練并使用來自于一天的數(shù)據(jù)用于測試，對30秒(L = 3000)的運(yùn)動流進(jìn)行了合計(jì)。然而，在此情況中，計(jì)算上述隨機(jī)化的PCA。20%的總訓(xùn)練向量被進(jìn)行采樣，對小規(guī)模的采樣數(shù)據(jù)進(jìn)行 R-PCA。圖11(a)顯示了通過PCA計(jì)算得到的特征值，圖11(b)顯示了由R-PCA計(jì)算得到的特征值。通過100次迭代進(jìn)行R-PCA計(jì)算，對平均結(jié)果進(jìn)行了顯示。在另一組舉例實(shí)驗(yàn)中，還使用其他PTA視頻序列，包括從覆蓋樓梯的攝像機(jī)采集到的一個(gè)序列，從覆蓋自動售貨機(jī)的攝像機(jī)采集到的一個(gè)序列，以及從覆蓋來自兩個(gè)不同站的軌道的攝像機(jī)采集到的三個(gè)序列。樓梯和售貨機(jī)的序列均非常長(分別為8個(gè)小時(shí)和 16個(gè)小時(shí))。在軌道數(shù)據(jù)的情形中，兩個(gè)訓(xùn)練序列和測試序列非常短，而第三個(gè)序列又很長 (18個(gè)小時(shí))。在這些實(shí)驗(yàn)中，總共27個(gè)小時(shí)的連續(xù)視頻(無異常)用于訓(xùn)練，總共55個(gè)小時(shí)的視頻用于測試(一些涉及區(qū)域行為的視頻被去除并使用靜態(tài)視角對系統(tǒng)進(jìn)行評估)。 結(jié)果總結(jié)在表1中?？傊?，共有20個(gè)真實(shí)異常存在于PTA視頻流中，本舉例方法能夠正確識別出18個(gè)異常，并產(chǎn)生兩個(gè)錯(cuò)誤判錯(cuò)及10個(gè)錯(cuò)誤判對。其中的錯(cuò)誤判對主要是由于難以區(qū)分是闖入售貨機(jī)的人還是維護(hù)人員等。錯(cuò)誤判錯(cuò)是由于移動發(fā)生在距離攝像機(jī)很遠(yuǎn)的地方。
可擴(kuò)展件能如上所述，使用壓縮數(shù)據(jù)的公開方法和系統(tǒng)對于網(wǎng)絡(luò)異常檢測及前述從視頻錄像2進(jìn)行異常行為檢測均是可擴(kuò)展的。對于網(wǎng)絡(luò)數(shù)據(jù)，使用真實(shí)世界基準(zhǔn)數(shù)據(jù)集合(Abilene) 和模擬數(shù)據(jù)集合，具體指定我們框架的測試異常檢測能力。對于視頻數(shù)據(jù)，使用PTA數(shù)據(jù)的子集。
網(wǎng)絡(luò)異常檢測該舉例實(shí)驗(yàn)的目的是使用真實(shí)世界數(shù)據(jù)集合在壓縮域中確定容量異常檢測。網(wǎng)絡(luò)中的業(yè)務(wù)流量是指在網(wǎng)絡(luò)中各對入口節(jié)點(diǎn)和出口節(jié)點(diǎn)之間流動的業(yè)務(wù)的量。也被認(rèn)為是源目標(biāo)(Origin Destination, 0D)流，也就是業(yè)務(wù)在源入網(wǎng)點(diǎn)(Point of Presence, PoP)進(jìn)入主干網(wǎng)且在目標(biāo)PoP離開。該流有兩個(gè)主要特征，也就是(i)由正常業(yè)務(wù)模式(例如，每天的需求波動)引起的正常行為，正如Abilene數(shù)據(jù)集合所示。所述Abilene數(shù)據(jù)集合包括在數(shù)個(gè)月的時(shí)間段內(nèi)從41條網(wǎng)絡(luò)鏈路收集到的讀數(shù)。 參見http://WWW. abilene. iu. edu。使用涵蓋兩星期時(shí)間段的數(shù)據(jù)的子集(每周1008個(gè)測量值)。數(shù)據(jù)的大部分反映正常網(wǎng)絡(luò)狀況，在原始數(shù)據(jù)集合中僅有六個(gè)真實(shí)異常(手動檢測至丨J) ° 另夕卜，在 A. Lakhina et al. Diagonising network-wide traffic anomalies. In ft~0C。ACM SIGC0MM，2004描述的過程之后注入45個(gè)不同幅度的綜合異常。從第一周得到的軌跡用于進(jìn)行訓(xùn)練，而從第二周得到的軌跡用作測試數(shù)據(jù)。在進(jìn)行異常檢測之前，通過使用隨機(jī)矩陣來應(yīng)用CS理論；例如，隨機(jī)高斯矩陣、隨機(jī)伯努利矩陣、隨機(jī)部分傅立葉矩陣或他們的組合。為了獲得好的測量矩陣，舉例實(shí)驗(yàn)以隨機(jī)高斯矩陣開始，然后應(yīng)用最近由Elad推薦白勺算法° 參見 M. Elad. Optimized projections for compressed sensing。IEEE Trans. Sig. Process. ,55 :5695-5702, 2007。該算法利用了這樣的事實(shí)，各列被歸一化為單位規(guī)范的Φ的互相關(guān)系數(shù)是格拉姆矩陣G= Φτ非對角元素的最大幅度值，其中，格拉姆矩陣具有秩Μ。因此，通過迭代收縮格拉姆矩陣的輸入值，迫使其秩成為Μ，并取平方根，從而使Φ 達(dá)到指定的秩M的更小的互相關(guān)系數(shù)。
樽擬網(wǎng)絡(luò)業(yè)各數(shù)據(jù)集合在該組舉例實(shí)驗(yàn)中，在大量網(wǎng)絡(luò)業(yè)務(wù)模擬中使用異常檢測，參見A. LaWiina et al. Diagonising network-wide traffic anomalies. In Proc. ACM SIGC0MM, 2004,, ^ 地監(jiān)視器N的數(shù)量從500到2000，時(shí)間實(shí)例為L = 2000。產(chǎn)生的綜合數(shù)據(jù)集合如下網(wǎng)絡(luò)信號被表示為χ，χ = s+n，其中，χ e Rn0它由兩部分組成s表征數(shù)據(jù)的長期結(jié)構(gòu)，η表示本地時(shí)間變量。參 JAL A. Lakhina et al。Diagonising network-wide traffic anomalies. In Proc. ACM SIGC0MM, 2004，已經(jīng)表明信號在一些基礎(chǔ)中是稀疏的，η仍然具有類似噪聲的行為。此處認(rèn)為噪聲η為iid高斯，均值為0，方差為ο2。在考慮網(wǎng)絡(luò)業(yè)務(wù)的全天特性之后， 選擇DCT作為基礎(chǔ)。主分量的數(shù)量為K = 4，在這些環(huán)境中可以為合理地在稀疏性和在主子空間中采集到的能量值之間進(jìn)行權(quán)衡。此處，加入均值為0，σ =0:01的高斯噪聲(η)。 為了模擬異常網(wǎng)絡(luò)狀況，在執(zhí)行完 A. Lakhina et al. Diagonising network-wide traffic anomalies. In Proc. ACM SIGC0MM，2004中規(guī)定的流程之后，在數(shù)據(jù)中注入70個(gè)不同幅度的異常。當(dāng)選擇CS測量值(M)的數(shù)量時(shí)，要考慮在性能和誤差率之間進(jìn)行權(quán)衡。為CS的維度M選擇較小值能夠減少計(jì)算的復(fù)雜性，但代價(jià)是由于測量矩陣互相關(guān)系數(shù)的增加會造成潛在的性能低下。在CS的文獻(xiàn)中，頻繁推薦0(K IogN)的值。如果M過低，誤差率會變得更大。如果M過大，誤差率的減少并不非常明顯而計(jì)算時(shí)間會呈二次方增加。因此，對于這些舉例實(shí)驗(yàn)，當(dāng)節(jié)點(diǎn)數(shù)量為500、1000和2000時(shí)，確定M的適當(dāng)值分別為118、280和450。 測量矩陣為分別具有互相關(guān)系數(shù)為0. 37,0. 35及0. 20的隨機(jī)高斯矩陣。使用正常的快照用于訓(xùn)練數(shù)據(jù)和異常數(shù)據(jù)。隨機(jī)生成高斯測量矩陣，其中，M = 280, N = 1000。使用 Elad 的算法，M. Elad. Optimized projections for compressed sensing。IEEE Trans。Sig。Process.，55 :5695-5702, 2007，從初始相關(guān)系數(shù) 0:55 得到互相關(guān)系數(shù)0:35。根據(jù)置信水平計(jì)算門限Q。當(dāng)對全部及壓縮數(shù)據(jù)集合應(yīng)用異常檢測時(shí)，保存主導(dǎo)特征值的數(shù)量。通過考慮網(wǎng)絡(luò)及監(jiān)視容量的異常來驗(yàn)證前導(dǎo)步驟。根據(jù)實(shí)施例，對于網(wǎng)絡(luò)數(shù)據(jù)， 對從Abilene網(wǎng)絡(luò)收集到的四周的真實(shí)業(yè)務(wù)軌跡執(zhí)行的算法進(jìn)行評估，參見http://WWW. abilene. iu. edu，并依照典型網(wǎng)絡(luò)發(fā)發(fā)模擬綜合數(shù)據(jù)。該實(shí)驗(yàn)驗(yàn)證了對于真實(shí)的數(shù)據(jù)集合， 使用壓縮數(shù)據(jù)的本實(shí)施例所述方法實(shí)現(xiàn)了檢測率超過94%的等效性能。對于綜合數(shù)據(jù)，實(shí)驗(yàn)表明殘余子空間分析方法對于高維度的數(shù)據(jù)在壓縮域比非壓縮域表現(xiàn)得甚至更好。而且，推薦的方法需要更少的存儲器和存儲空間，并且比使用原始數(shù)據(jù)的原始頻譜方法快100倍。
PTA視頻數(shù)據(jù)集合對于該舉例實(shí)驗(yàn)，進(jìn)行時(shí)間子采樣以便有效減少來自于PTA知識庫的數(shù)據(jù)流的量。此處，使用在一周中每天的高峰時(shí)段(7AM到11AM)從火車站的走廊采集到的視頻數(shù)據(jù)。在火車站的入口點(diǎn)和出口點(diǎn)從兩個(gè)不同的攝像機(jī)收集到分辨率為570X720的25fps 視頻數(shù)據(jù)。使用從五個(gè)連續(xù)天得到的視頻用于訓(xùn)練集體Xftain,其中，每天有4個(gè)小時(shí)的連續(xù)視頻，將第六天0(Testl)和第七天0(Test2)的視頻僅用于測試。為了進(jìn)行訓(xùn)練，初始合計(jì)的時(shí)間窗為L = 7200，柵格單元數(shù)為N= 100，窗長為10秒。時(shí)間流數(shù)據(jù)被子采樣，使得當(dāng)快照長度(L)很大時(shí)，快照減少到M，M << L0 一個(gè)問題是選擇M的值以達(dá)到最優(yōu)性能。圖12顯示了當(dāng)M為了上述數(shù)據(jù)集合從100變到300 時(shí)的錯(cuò)誤判對率(False Positive Rate,FPR)和異常檢測率(均被標(biāo)準(zhǔn)化為1)。當(dāng)M位于 190 230中時(shí)，F(xiàn)I^R最小且檢測率最大。有效地，來自于服務(wù)器的數(shù)據(jù)流的量從L = 7200 減少到M = 220，以應(yīng)用帶寬限制。圖13和圖14進(jìn)一步表明使用壓縮數(shù)據(jù)大致保存頻譜屬性并且殘余行為幾乎是相似的。本發(fā)明可以應(yīng)用于各種領(lǐng)域，例如但不限于應(yīng)用于提高對公共區(qū)域和道路的安全監(jiān)視效率。它可以與告警及響應(yīng)系統(tǒng)相結(jié)合。它也可以應(yīng)用于其他領(lǐng)域，如城市規(guī)劃及擁
堵管理。
權(quán)利要求
1.一種用于處理、檢測和/或通知在至少一個(gè)大規(guī)模數(shù)據(jù)集合中存在至少一個(gè)罕見事件的方法，包括接收時(shí)間序列數(shù)據(jù)；將所述時(shí)間序列數(shù)據(jù)或者所述時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/ 或張量的集合；對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測；對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間；通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。
2.根據(jù)權(quán)利要求1所示的方法，其中，所述時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征為與所述時(shí)間序列數(shù)據(jù)的子集相關(guān)聯(lián)的一個(gè)或多個(gè)變量。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征為在所述時(shí)間序列數(shù)據(jù)的任意兩個(gè)子集數(shù)據(jù)之間任意變量的差別。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述時(shí)間序列數(shù)據(jù)為至少一個(gè)視頻和音頻監(jiān)視數(shù)據(jù)的流，各個(gè)子集為幀，所述特征為各個(gè)連續(xù)幀對之間的運(yùn)動或頻率信息。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述(光流)分析為通過柵格將各個(gè)幀分割為單元，然后統(tǒng)計(jì)各個(gè)單元中光流向量的數(shù)量。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述光流采用視覺詞袋模型表示。
7.根據(jù)權(quán)利要求6所述的方法，其中，通過合并用于所述序列中全部幀的特征向量，從所述視覺詞袋模型構(gòu)建特征-幀矩陣。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述特征-幀矩陣在結(jié)構(gòu)上然后被分解為可見的主分量和殘余分量。
9.根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括使用Q-統(tǒng)計(jì)量檢測殘余子空間中的異常事件。
10.根據(jù)權(quán)利要求1所述的方法，其中，使用前導(dǎo)步驟將所述數(shù)據(jù)變換到壓縮域，以將所述數(shù)據(jù)減少到可管理的尺寸。
11.根據(jù)權(quán)利要求10所述的方法，其中，執(zhí)行所述變換，以減少壓縮域中的特征維度， 使用具有輸入值為ο或+/-1的測量矩陣，其中，輸入值為0的概率為2/3，輸入值為+/-1的概率為1/6。
12.根據(jù)權(quán)利要求11所述的方法，其中，應(yīng)用隨機(jī)費(fèi)氏算法。
13.根據(jù)權(quán)利要求10所述的方法，其中，執(zhí)行所述變換，以減少壓縮域中的時(shí)間實(shí)例， 并應(yīng)用幀子采樣。
14.根據(jù)權(quán)利要求10所述的方法，其中，在被變換到所述壓縮域之前，所述特征被表示為向量的集合。
15.根據(jù)權(quán)利要求1 13或14所述的方法，其中，識別潛在的罕見事件為將映射到所述殘余子空間中的所述數(shù)據(jù)進(jìn)行門限判決。
16.一種系統(tǒng)，包括至少一個(gè)傳感器，用于接收包括數(shù)據(jù)子集的時(shí)間序列的數(shù)據(jù)，用于分析；計(jì)算機(jī)存儲器，用于存儲所述數(shù)據(jù)；計(jì)算機(jī)處理器，用于將所述時(shí)間序列數(shù)據(jù)或者所述時(shí)間序列數(shù)據(jù)的一個(gè)或多個(gè)特征表示為向量、矩陣和/ 或張量的集合；對至少一個(gè)所述向量、矩陣和/或張量的集合進(jìn)行壓縮感測；對選擇的被壓縮感測的向量、矩陣和/或張量的集合進(jìn)行分解，以提取殘余子空間；以及通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件。
17.根據(jù)權(quán)利要16所述的系統(tǒng)，其中，所述計(jì)算機(jī)處理器與所述至少一個(gè)傳感器協(xié)同定位。
18.根據(jù)權(quán)利要16所述的系統(tǒng)，其中，所述計(jì)算機(jī)處理器遠(yuǎn)離所述至少一個(gè)傳感器。
19.根據(jù)權(quán)利要16所述的系統(tǒng)，其中，所述計(jì)算機(jī)處理器的一部分遠(yuǎn)離所述至少一個(gè)傳感器，并執(zhí)行通過分析映射到殘余子空間中的壓縮感測數(shù)據(jù)識別潛在的罕見事件的步馬聚ο
20.根據(jù)權(quán)利要16所述的系統(tǒng)，其中，所述計(jì)算機(jī)處理器的功能能夠在與所述至少一個(gè)傳感器協(xié)同定位的子處理器及遠(yuǎn)離所述至少一個(gè)傳感器的子處理器之間進(jìn)行分割。
全文摘要
本發(fā)明涉及用于從數(shù)據(jù)中處理、檢測和/或通知異常或罕見事件的存在的方法和/或系統(tǒng)。一些公開的方法和/或系統(tǒng)可以被用于大規(guī)模數(shù)據(jù)集合。應(yīng)用于分析傳感器監(jiān)視錄像以識別反常行為。所述傳感器數(shù)據(jù)可以來自于許多傳感器類型，包括視頻和/或音頻。應(yīng)用于使用壓縮傳感的方法和/或系統(tǒng)?？梢越茖?shí)時(shí)地實(shí)現(xiàn)應(yīng)用。
文檔編號G06T7/20GK102449660SQ201080028373
公開日2012年5月9日 申請日期2010年4月1日 優(yōu)先權(quán)日2009年4月1日
發(fā)明者斯韋塔·文克特沙, 比德哈迪蒂亞·薩哈, 米哈伊·穆古爾勒·拉扎羅斯庫, 迪卡-松·彭 申請人:I-切塔納私人有限公司