視頻監(jiān)控系統(tǒng)中的警報(bào)量歸一化的制作方法
【專利摘要】本發(fā)明公開(kāi)了使用配置有警報(bào)歸一化模塊的基于行為識(shí)別的視頻監(jiān)控系統(tǒng)來(lái)歸一化并發(fā)布警報(bào)的技術(shù)。某些實(shí)施方案允許行為識(shí)別系統(tǒng)的用戶為歸一化模塊提供針對(duì)警報(bào)類型的一組相對(duì)權(quán)重和最大發(fā)布值。通過(guò)使用這些值，歸一化模塊評(píng)估警報(bào)，并且確定所述警報(bào)的罕見(jiàn)度值是否超過(guò)閾值。在確定所述警報(bào)超過(guò)閾值后，模塊歸一化并發(fā)布警報(bào)。
【專利說(shuō)明】視頻監(jiān)控系統(tǒng)中的警報(bào)量歸一化

【技術(shù)領(lǐng)域】
[0001] 本文公開(kāi)的本發(fā)明的實(shí)施方案總體上涉及用于向基于行為識(shí)別的視頻監(jiān)控系統(tǒng) 的用戶報(bào)告異常行為的技術(shù)。更確切來(lái)說(shuō)，本發(fā)明的實(shí)施方案提供了用于將針對(duì)多個(gè)不相 交警報(bào)類型產(chǎn)生的警報(bào)的數(shù)量進(jìn)行歸一化的框架。

【背景技術(shù)】
[0002] -些當(dāng)前可用的視頻監(jiān)控系統(tǒng)提供了簡(jiǎn)單的對(duì)象識(shí)別能力。例如，視頻監(jiān)控系統(tǒng) 可以被配置來(lái)將給定幀中的一組像素（稱為"色斑（blob)"）分類為具體的對(duì)象（例如人或 車輛）。一旦確認(rèn)，就可以逐幀地跟蹤"色斑"，以便追蹤隨時(shí)間的推移在場(chǎng)景中移動(dòng)的"色 斑"，例如，在視頻監(jiān)控?cái)z像機(jī)的視野中穿行的人。另外，這類系統(tǒng)可以被配置來(lái)確定對(duì)象何 時(shí)參與某些預(yù)定義的行為。例如，系統(tǒng)可以包括用于識(shí)別許多預(yù)定義事件的發(fā)生的定義，例 如，系統(tǒng)可以評(píng)估分類為描繪汽車的對(duì)象的出現(xiàn)（車輛出現(xiàn)事件），所述對(duì)象在數(shù)幀內(nèi)停止 (車輛停車事件）。此后，新的前景對(duì)象可能出現(xiàn)并且被分類為人（人出現(xiàn)事件），人隨后從 幀中離開(kāi)（人消失事件）。另外，系統(tǒng)可以將前兩個(gè)事件的組合識(shí)別為"停車事件"。
[0003] 然而，這類監(jiān)視系統(tǒng)通常要求可由系統(tǒng)識(shí)別的對(duì)象和/或行為應(yīng)預(yù)先定義。因此， 在實(shí)踐中，這些系統(tǒng)依賴于對(duì)象和/或行為的預(yù)定義的定義來(lái)評(píng)估視頻序列。除非基本的 系統(tǒng)包括對(duì)具體對(duì)象或行為的描述，否則系統(tǒng)一般無(wú)法識(shí)別所述行為（或至少描述具體對(duì) 象或行為的模式的示例）。更一般來(lái)說(shuō)，這類系統(tǒng)依賴于預(yù)定義的規(guī)則和靜態(tài)模式，并因此 往往不能動(dòng)態(tài)地確認(rèn)對(duì)象、事件、行為或模式，甚至更不能將它們分類為正?；虍惓５?。
[0004] 此外，這些基于規(guī)則的監(jiān)控系統(tǒng)的最終用戶通常指定了應(yīng)引起警報(bào)的事件。然而， 這在實(shí)踐中造成了問(wèn)題，因?yàn)榈湫偷幕谝?guī)則的監(jiān)控系統(tǒng)每天并且每個(gè)攝像機(jī)平均產(chǎn)生數(shù) 以千計(jì)的警報(bào)，并且面對(duì)眾多警報(bào)的用戶變得無(wú)法辨別哪些警報(bào)應(yīng)受高度重視。因此，這些 基于規(guī)則的系統(tǒng)在向用戶通知重要的安全性警報(bào)方面用處不大。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的一個(gè)實(shí)施方案提供了一種使用配置有歸一化模塊的行為識(shí)別系統(tǒng)來(lái)歸 一化并發(fā)布警報(bào)的方法。這種方法總體上可以包括接收具有類型和原始罕見(jiàn)度值的警報(bào)并 且將原始罕見(jiàn)度值轉(zhuǎn)換成警報(bào)百分位值。這種方法還可以包括在確定警報(bào)百分位值大于警 報(bào)百分位閾值后歸一化并發(fā)布警報(bào)。
[0006] 其它實(shí)施方案包括但不限于：計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)包括使處理 單元能夠?qū)崿F(xiàn)所公開(kāi)方法的一個(gè)或多個(gè)方面的指令；以及系統(tǒng)，所述系統(tǒng)具有被配置來(lái)實(shí) 現(xiàn)所公開(kāi)方法的一個(gè)或多個(gè)方面的處理器、存儲(chǔ)器和應(yīng)用程序。

【專利附圖】

【附圖說(shuō)明】
[0007] 因此，獲得或可詳細(xì)地理解本公開(kāi)的上述特征、優(yōu)點(diǎn)和目標(biāo)的方式，即上文簡(jiǎn)要概 述的較為具體的描述可參照附圖中例示的實(shí)施方案進(jìn)行。
[0008] 然而，應(yīng)注意，附圖僅例示本發(fā)明的典型實(shí)施方案，且因此不應(yīng)被視為對(duì)本發(fā)明范 圍的限制，因?yàn)楸竟_(kāi)可允許其他同等有效的實(shí)施方案。
[0009] 圖1例示根據(jù)一個(gè)實(shí)施方案的視頻分析系統(tǒng)的部件。
[0010] 圖2進(jìn)一步例示根據(jù)一個(gè)實(shí)施方案的在圖1中所示的視頻分析系統(tǒng)的部件。
[0011] 圖3例示根據(jù)一個(gè)實(shí)施方案的行為識(shí)別系統(tǒng)可產(chǎn)生的警報(bào)。
[0012] 圖4例示根據(jù)一個(gè)實(shí)施方案的用于在配置有歸一化模塊的行為識(shí)別系統(tǒng)內(nèi)處理 警報(bào)的方法。
[0013] 圖5例示根據(jù)一個(gè)實(shí)施方案的用于發(fā)布?xì)w一化警報(bào)的方法。
[0014] 圖6例示根據(jù)一個(gè)實(shí)施方案的行為識(shí)別系統(tǒng)中的警報(bào)歸一化模塊的示例性特定 使用情況的圖形表示。

【具體實(shí)施方式】
[0015] 本文公開(kāi)的本發(fā)明的實(shí)施方案提供了用于在行為識(shí)別系統(tǒng)中將根據(jù)多個(gè)不相交 警報(bào)類型產(chǎn)生的警報(bào)的數(shù)量進(jìn)行歸一化的框架。所公開(kāi)的框架為不同警報(bào)類型提供了統(tǒng)計(jì) 一致性，并且確保行為識(shí)別系統(tǒng)將相對(duì)確定數(shù)量的警報(bào)提供給用戶，而與系統(tǒng)中可用警報(bào) 類型的數(shù)量無(wú)關(guān)。
[0016] 行為識(shí)別系統(tǒng)可以被配置來(lái)通過(guò)觀察單個(gè)幀的序列（其它情況下稱為視頻流）來(lái) 學(xué)習(xí)、確認(rèn)和識(shí)別行為的模式。不同于包含要確認(rèn)事物的預(yù)定義模式的基于規(guī)則的視頻監(jiān) 控系統(tǒng)，本文公開(kāi)的行為識(shí)別系統(tǒng)通過(guò)歸納輸入并建立對(duì)所觀察事物的存儲(chǔ)內(nèi)容來(lái)學(xué)習(xí)各 個(gè)模式。隨著時(shí)間的推移，行為識(shí)別系統(tǒng)使用這些存儲(chǔ)內(nèi)容來(lái)在視頻流內(nèi)捕獲的視場(chǎng)中的 正常行為與異常行為之間進(jìn)行區(qū)分。一般來(lái)說(shuō)，視場(chǎng)被稱為"場(chǎng)景"。
[0017] 在一個(gè)實(shí)施方案中，行為識(shí)別系統(tǒng)包括計(jì)算機(jī)視覺(jué)引擎和機(jī)器學(xué)習(xí)引擎。計(jì)算機(jī) 視覺(jué)引擎可以被配置來(lái)處理場(chǎng)景，產(chǎn)生所觀察活動(dòng)的信息流，并且然后將所述流傳送到機(jī) 器學(xué)習(xí)引擎。繼而，機(jī)器學(xué)習(xí)引擎可以被配置來(lái)學(xué)習(xí)所述場(chǎng)景中的對(duì)象行為、建立場(chǎng)景內(nèi)的 某些行為的模型，并且確定觀察結(jié)果是否表明對(duì)象的行為相對(duì)于模型來(lái)說(shuō)是異常的。
[0018] 在一個(gè)實(shí)施方案中，機(jī)器學(xué)習(xí)引擎可以支持由如活動(dòng)、運(yùn)動(dòng)、速度、速率和軌跡的 多種不同行為模式類別觸發(fā)的多個(gè)警報(bào)類型。類似地，其它警報(bào)類型可以取決于對(duì)象之間 的相互作用，包括碰撞和位置。警報(bào)類型學(xué)習(xí)場(chǎng)景中的正常行為，并且產(chǎn)生關(guān)于異?；顒?dòng)的 警報(bào)?；谝?guī)則的視頻監(jiān)控系統(tǒng)向用戶通知用戶指定的異常，而行為識(shí)別系統(tǒng)向用戶通知 系統(tǒng)確認(rèn)為異常的任何事物。
[0019] 然而，行為識(shí)別系統(tǒng)可以產(chǎn)生大量的警報(bào)。此外，行為系統(tǒng)可以包括多種警報(bào)類 型，并且一種警報(bào)類型的出現(xiàn)可以與另一警報(bào)類型的出現(xiàn)不同的頻率來(lái)發(fā)生。雖然警報(bào)在 抽象的層面上有一些相似之處，但是警報(bào)類型在它們的行為識(shí)別特性上大多是不相交的。 例如，高速度警報(bào)類型的異常模型可以與高加速度警報(bào)類型的模型有很大的不同。另外，在 給定每一警報(bào)類型的相對(duì)出現(xiàn)率的情況下，罕見(jiàn)警報(bào)的分布在各個(gè)警報(bào)類型中有所不同。
[0020] 因此，為了避免警報(bào)的總數(shù)使用戶不知所措，并且為了選擇發(fā)布哪些警報(bào)，行為識(shí) 別系統(tǒng)可以配置有警報(bào)歸一化模塊。在一個(gè)實(shí)施方案中，用戶可以針對(duì)由系統(tǒng)支持的警報(bào) 類型提供所需的警報(bào)發(fā)布率和一組相對(duì)權(quán)重。在另一實(shí)施方案中，用戶還可以提供所需的 調(diào)度率（dispatch rate)。警報(bào)發(fā)布一般是指行為識(shí)別系統(tǒng)將警報(bào)發(fā)布至界面，操作者可 以在這個(gè)界面處查看并操作警報(bào)，并且警報(bào)調(diào)度一般是指行為警報(bào)系統(tǒng)例如通過(guò)發(fā)送電子 郵件或通過(guò)在圖形用戶界面上產(chǎn)生顯示來(lái)向用戶通知警報(bào)。例如，用戶可以向行為識(shí)別系 統(tǒng)指定每天要發(fā)布一百個(gè)警報(bào)，這些警報(bào)在各個(gè)警報(bào)類型中以相等的相對(duì)權(quán)重來(lái)分布。在 這種情況下，警報(bào)歸一化模塊可以評(píng)估例如過(guò)去七天內(nèi)每一警報(bào)類型的先前發(fā)布警報(bào)的分 布，以便確認(rèn)每一警報(bào)類型的分布。一旦確定出分布，就可以計(jì)算預(yù)期產(chǎn)生所述類型警報(bào)的 正確數(shù)量的歸一化罕見(jiàn)度閾值。警報(bào)歸一化模塊可以將這些閾值用于確定將哪些警報(bào)呈現(xiàn) 給用戶。
[0021] 在一個(gè)實(shí)施方案中，機(jī)器學(xué)習(xí)引擎處理來(lái)自由計(jì)算機(jī)視覺(jué)引擎獲得的觀察結(jié)果的 信息。例如，聚焦在停車場(chǎng)的攝像機(jī)可以記錄通過(guò)場(chǎng)景的汽車，并且機(jī)器學(xué)習(xí)引擎可以針對(duì) 如高速、低速和異常軌跡的警報(bào)類型來(lái)處理對(duì)應(yīng)于通過(guò)場(chǎng)景的汽車的事件。對(duì)于每一事件， 機(jī)器學(xué)習(xí)引擎對(duì)每一警報(bào)類型分配罕見(jiàn)度值。機(jī)器學(xué)習(xí)引擎可以舍棄罕見(jiàn)度值低于閾值的 警報(bào)。繼而，機(jī)器學(xué)習(xí)引擎可以針對(duì)具有高罕見(jiàn)度值（即大于閾值的那些值）的警報(bào)類型 產(chǎn)生警報(bào)以作為通過(guò)警報(bào)歸一化模塊產(chǎn)生的警報(bào)。
[0022] 歸一化模塊接收來(lái)自機(jī)器學(xué)習(xí)引擎的警報(bào)并且將警報(bào)的罕見(jiàn)度值轉(zhuǎn)換成警報(bào)百 分位數(shù)。警報(bào)百分位數(shù)是基于與所述警報(bào)類型的歷史警報(bào)的罕見(jiàn)度值相比的警報(bào)罕見(jiàn)度值 的值。一旦歸一化模塊將罕見(jiàn)度值轉(zhuǎn)換成警報(bào)百分位數(shù)，歸一化模塊就將警報(bào)百分位數(shù)與 百分位閾值相比較，并且如果百分位值低于閾值，那么就舍棄警報(bào)。如果百分位值高于閾 值，那么歸一化模塊將百分位值轉(zhuǎn)換成歸一化的警報(bào)罕見(jiàn)度值。這個(gè)值被納入復(fù)合歸一化 罕見(jiàn)度直方圖中，所述直方圖為模塊提供數(shù)據(jù)以對(duì)所述警報(bào)分配數(shù)值發(fā)布秩。在對(duì)警報(bào)分 配秩后，歸一化模塊發(fā)布具有所述秩值的警報(bào)。例如，被配置來(lái)每天發(fā)布一百個(gè)警報(bào)的行為 識(shí)別系統(tǒng)發(fā)布出秩為十二的反常軌跡警報(bào)。
[0023] 在下文中，參考了本發(fā)明的實(shí)施方案。然而，應(yīng)理解的是，本發(fā)明不限于任何特定 描述的實(shí)施方案。相反，無(wú)論是否涉及不同的實(shí)施方案，以下特征和要素的任意組合被涵蓋 來(lái)實(shí)施和實(shí)踐所公開(kāi)的內(nèi)容。此外，在各種實(shí)施方案中，本發(fā)明提供優(yōu)于現(xiàn)有技術(shù)的許多優(yōu) 點(diǎn)。然而，盡管實(shí)施方案可以實(shí)現(xiàn)優(yōu)于其它可能的解決方案和/或優(yōu)于現(xiàn)有技術(shù)的優(yōu)點(diǎn)，但 是給定的實(shí)施方案是否實(shí)現(xiàn)具體的優(yōu)點(diǎn)不具有限制性。因此，以下各方面、特征、實(shí)施方案 和優(yōu)點(diǎn)僅僅是說(shuō)明性的，并且不視為附加權(quán)利要求書(shū)的要素或限制，除非在權(quán)利要求書(shū)中 有明確記載。同樣，對(duì)"本發(fā)明"或"本公開(kāi)"的任何提及不應(yīng)解釋為對(duì)本文公開(kāi)的任何發(fā) 明主題的概括，并且不應(yīng)視為附加權(quán)利要求書(shū)的要素或限制，除非在權(quán)利要求書(shū)中有明確 記載。
[0024] 本發(fā)明的一個(gè)實(shí)施方案被實(shí)現(xiàn)為供計(jì)算機(jī)系統(tǒng)使用的程序產(chǎn)品。程序產(chǎn)品的程序 定義了實(shí)施方案的功能（包括本文描述的方法）并且可以包含在各種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì) 上。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的實(shí)例包括：（i)不可寫(xiě)存儲(chǔ)介質(zhì)（例如，計(jì)算機(jī)內(nèi)的只讀存儲(chǔ)器 設(shè)備，如可通過(guò)光學(xué)介質(zhì)驅(qū)動(dòng)器讀取的CD-ROM或DVD-ROM盤），信息被永久存儲(chǔ)在這些存儲(chǔ) 介質(zhì)上；（ii)可寫(xiě)存儲(chǔ)介質(zhì)（例如，軟盤驅(qū)動(dòng)器內(nèi)的軟盤或硬盤驅(qū)動(dòng)器），可變的信息存儲(chǔ) 在這些存儲(chǔ)介質(zhì)上。在帶有引導(dǎo)本公開(kāi)的功能的計(jì)算機(jī)可讀指令時(shí)，這類計(jì)算機(jī)可讀存儲(chǔ) 介質(zhì)是本公開(kāi)的實(shí)施方案。其它示例性介質(zhì)包括借以將信息（如通過(guò)計(jì)算機(jī)或電話網(wǎng)絡(luò)） 傳輸?shù)接?jì)算機(jī)的通信介質(zhì)，包括無(wú)線通信網(wǎng)絡(luò)。
[0025] -般來(lái)說(shuō)，被執(zhí)行來(lái)實(shí)施本公開(kāi)的實(shí)施方案的例行程序可以是操作系統(tǒng)或特定應(yīng) 用程序、部件、程序、模塊、對(duì)象或指令序列的一部分。本公開(kāi)的計(jì)算機(jī)程序通常包括大量的 指令，這些指令將通過(guò)本機(jī)計(jì)算機(jī)翻譯成機(jī)器可讀格式并且由此得到可執(zhí)行指令。此外，程 序包括駐留在本地程序中或存在于存儲(chǔ)器中或存儲(chǔ)設(shè)備上的變量和數(shù)據(jù)結(jié)構(gòu)。此外，本文 中描述的各種程序可基于這些程序在本公開(kāi)的特定實(shí)施方案中針對(duì)性實(shí)施的應(yīng)用來(lái)確認(rèn)。 然而，應(yīng)了解的是，下文任何具體的程序命名僅僅是為了方便而使用，且因此本發(fā)明不應(yīng)限 定于僅在由這樣的術(shù)語(yǔ)所確認(rèn)和/或暗示的任何特定應(yīng)用中使用。
[0026] 圖1例示根據(jù)本發(fā)明的一個(gè)實(shí)施方案的視頻分析與行為識(shí)別系統(tǒng)100的部件。如 圖所示，行為識(shí)別系統(tǒng)1〇〇包括視頻輸入源105、網(wǎng)絡(luò)110、計(jì)算機(jī)系統(tǒng)115以及輸入與輸 出設(shè)備118(例如，監(jiān)視器、鍵盤、鼠標(biāo)、打印機(jī)等等）。網(wǎng)絡(luò)110可將由視頻輸入105所記 錄的視頻數(shù)據(jù)發(fā)送至計(jì)算機(jī)系統(tǒng)115。說(shuō)明性地，計(jì)算機(jī)系統(tǒng)115包括CPU 120、存儲(chǔ)裝置 125 (例如，磁盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器等等），以及包含計(jì)算機(jī)視覺(jué)引擎135和機(jī) 器學(xué)習(xí)引擎140的存儲(chǔ)器130。如下文更詳細(xì)地描述，計(jì)算機(jī)視覺(jué)引擎135和機(jī)器學(xué)習(xí)引 擎140可以提供軟件應(yīng)用程序，所述軟件應(yīng)用程序被配置來(lái)分析由視頻輸入105提供的視 頻幀的序列。
[0027] 網(wǎng)絡(luò)110接收來(lái)自視頻輸入源105的視頻數(shù)據(jù)（例如，視頻流、視頻圖像等）。視 頻輸入源105可以是視頻攝像機(jī)、￥0?、0￥1?、0￥0、計(jì)算機(jī)、網(wǎng)絡(luò)攝像設(shè)備等。例如，視頻輸入 源105可以是瞄準(zhǔn)某個(gè)區(qū)域（例如，地鐵站、停車場(chǎng)、建筑物入口 /出口等等）的固定視頻 攝像機(jī)，所述固定視頻攝像機(jī)記錄這個(gè)區(qū)域中正在發(fā)生的事件。一般來(lái)說(shuō)，攝像機(jī)視場(chǎng)中的 區(qū)域被稱為場(chǎng)景。視頻輸入源105可以被配置來(lái)在指定幀率（例如，每秒24幀）下將場(chǎng)景 記錄為單個(gè)視頻幀的序列，其中每一幀包括固定數(shù)量的像素（例如，320X240個(gè)）。每一幀 的每一像素可以指定顏色值（例如，RGB值）或灰度值（例如，0至255之間的亮度值）。另 夕卜，視頻流可以使用已知的例如MPEG2、MJPEG、MPEG4、H. 263、H. 264等的這類格式來(lái)進(jìn)行格 式化。
[0028] 如上所述，計(jì)算機(jī)視覺(jué)引擎135可以被配置來(lái)分析這個(gè)原始信息以確認(rèn)視頻流中 的活動(dòng)對(duì)象、確認(rèn)由機(jī)器學(xué)習(xí)引擎140用來(lái)得出對(duì)象分類的各種外觀和運(yùn)動(dòng)特征、得出關(guān) 于這些對(duì)象的動(dòng)作和相互作用的各種元數(shù)據(jù)，并將這個(gè)信息提供給機(jī)器學(xué)習(xí)引擎140。并且 繼而，機(jī)器學(xué)習(xí)引擎140可以被配置來(lái)評(píng)估、觀察、學(xué)習(xí)和存儲(chǔ)關(guān)于在場(chǎng)景內(nèi)隨著時(shí)間的推 移而發(fā)生的事件（和事件類型）的細(xì)節(jié)。
[0029] 在一個(gè)實(shí)施方案中，機(jī)器學(xué)習(xí)引擎140接收由計(jì)算機(jī)視覺(jué)引擎135產(chǎn)生的視頻幀 和數(shù)據(jù)。機(jī)器學(xué)習(xí)引擎140可以被配置來(lái)分析所接收的數(shù)據(jù)、使具有相似視覺(jué)和/或運(yùn)動(dòng)特 征的對(duì)象聚集、建立視頻幀中描繪的事件的語(yǔ)義表示。隨著時(shí)間的推移，機(jī)器學(xué)習(xí)引擎140 學(xué)習(xí)映射到群集的對(duì)象的預(yù)期行為模式。因此，隨著時(shí)間的推移，機(jī)器學(xué)習(xí)引擎學(xué)習(xí)這些觀 察到的模式，以便確認(rèn)正常和/或異常事件。也就是說(shuō)，機(jī)器學(xué)習(xí)引擎140會(huì)建立自身的已 觀察到的不同對(duì)象類型的模型（例如，基于運(yùn)動(dòng)和或外觀特征的群集），以及建立給定對(duì)象 類型的預(yù)期行為的模型，而不是利用預(yù)先定義的模式、對(duì)象、對(duì)象類型或活動(dòng)。隨后，機(jī)器學(xué) 習(xí)引擎可以基于先前的學(xué)習(xí)來(lái)決定所觀察事件的行為是否異常。
[0030] 描述是否已確定正常/異常行為/事件和/或這個(gè)行為/事件的具體內(nèi)容的數(shù)據(jù) 可以被提供給輸出設(shè)備118以發(fā)出警報(bào)，例如，在界面屏幕上呈現(xiàn)的警報(bào)消息。另外， 輸出設(shè)備118可以被配置來(lái)允許用戶指定要在給定時(shí)間周期內(nèi)發(fā)布的警報(bào)的量。例如，用 戶可以使用⑶I界面來(lái)配置行為識(shí)別系統(tǒng)100以便每天發(fā)布100個(gè)警報(bào)。
[0031] 一般來(lái)說(shuō)，計(jì)算機(jī)視覺(jué)引擎135和機(jī)器學(xué)習(xí)引擎140兩者都實(shí)時(shí)處理視頻數(shù)據(jù)。然 而，計(jì)算機(jī)視覺(jué)引擎135和機(jī)器學(xué)習(xí)引擎140處理信息的時(shí)間尺度可以是不同的。例如，在 一個(gè)實(shí)施方案中，計(jì)算機(jī)視覺(jué)引擎135逐幀地處理所接收的視頻數(shù)據(jù)，而機(jī)器學(xué)習(xí)引擎140 每N個(gè)幀處理一次數(shù)據(jù)。換句話說(shuō)，雖然計(jì)算機(jī)視覺(jué)引擎135可以實(shí)時(shí)分析每一幀來(lái)得出 與幀中觀察到的對(duì)象相關(guān)的一組運(yùn)動(dòng)和外觀數(shù)據(jù)，但是機(jī)器學(xué)習(xí)引擎140不受視頻輸入的 實(shí)時(shí)幀率限制。
[0032] 然而，應(yīng)注意，圖1僅例示行為識(shí)別系統(tǒng)100的一個(gè)可能的布置。例如，雖然視頻 輸入源105展示為經(jīng)由網(wǎng)絡(luò)110連接到計(jì)算機(jī)系統(tǒng)115,但是網(wǎng)絡(luò)110并不總是存在或是需 要的（例如，視頻輸入源105可以直接連接到計(jì)算機(jī)系統(tǒng)115)。另外，行為識(shí)別系統(tǒng)100的 各種部件和模塊可以在其它系統(tǒng)中實(shí)現(xiàn)。例如，在一個(gè)實(shí)施方案中，計(jì)算機(jī)視覺(jué)引擎135可 以實(shí)現(xiàn)為視頻輸入設(shè)備的一部分（例如，實(shí)現(xiàn)為直接有線連接到視頻攝像機(jī)的固件部件）。 在這樣的情況下，視頻攝像機(jī)的輸出可以被提供給機(jī)器學(xué)習(xí)引擎140來(lái)進(jìn)行分析。類似地， 來(lái)自計(jì)算機(jī)視覺(jué)引擎135和機(jī)器學(xué)習(xí)引擎140的輸出可以通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)110上提供到其 它計(jì)算機(jī)系統(tǒng)。例如，計(jì)算機(jī)視覺(jué)引擎135和機(jī)器學(xué)習(xí)引擎140可以安裝在服務(wù)器系統(tǒng)上， 并且被配置來(lái)處理來(lái)自多個(gè)輸入源（即，來(lái)自多個(gè)攝像機(jī)）的視頻。在這樣的情況下，在另 一計(jì)算機(jī)系統(tǒng)上運(yùn)行的客戶端應(yīng)用程序250可以通過(guò)網(wǎng)絡(luò)110來(lái)請(qǐng)求（或接收）結(jié)果。
[0033] 圖2進(jìn)一步例示根據(jù)本發(fā)明的一個(gè)實(shí)施方案的首先在圖1中例示的計(jì)算機(jī)視覺(jué)引 擎135和機(jī)器學(xué)習(xí)引擎140的部件。如圖所示，計(jì)算機(jī)視覺(jué)引擎135包括數(shù)據(jù)攝入器205、 檢測(cè)器215、跟蹤器215、情境事件發(fā)生器220、警報(bào)發(fā)生器225和事件總線230。共同來(lái)說(shuō)， 部件205、210、215和220提供用于處理由視頻輸入源105提供的傳入視頻幀序列的流水線 (由連接部件的實(shí)線箭頭指示）。在一個(gè)實(shí)施方案中，部件210、215和220可以各自提供被 配置來(lái)提供本文描述的功能的軟件模塊。當(dāng)然，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，部件205、210、 215和220可加以組合（或進(jìn)一步細(xì)分）以適應(yīng)具體情況的需要，并且應(yīng)進(jìn)一步認(rèn)識(shí)到其它 部件可以添加至視頻監(jiān)控系統(tǒng)（或可以從所述系統(tǒng)除去一些部件）。
[0034] 在一個(gè)實(shí)施方案中，數(shù)據(jù)攝入器205接收來(lái)自視頻輸入源105的視頻輸入。數(shù)據(jù) 攝入器205可以被配置來(lái)預(yù)處理輸入數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到檢測(cè)器210。檢測(cè)器210可 以被配置來(lái)將所提供的視頻的每一幀分成固定或靜態(tài)部分（場(chǎng)景背景）和易變部分的集合 (場(chǎng)景前景）。幀本身可以包括多個(gè)通道（例如，彩色視頻的RGB通道或黑白視頻的灰度通 道或亮度通道）的兩維像素值陣列。在一個(gè)實(shí)施方案中，檢測(cè)器210可以使用自適應(yīng)共振 理論（ART)網(wǎng)絡(luò)來(lái)將每一像素的背景狀態(tài)建模。也就是說(shuō)，可以使用將給定像素建模的ART 網(wǎng)絡(luò)將每一像素分類為描繪場(chǎng)景前景或場(chǎng)景背景。當(dāng)然，可以使用在場(chǎng)景前景與場(chǎng)景背景 之間進(jìn)行區(qū)分的其它方法。
[0035] 此外，檢測(cè)器210可以被配置來(lái)產(chǎn)生遮罩（mask)，所述遮罩用于確認(rèn)場(chǎng)景的哪些 像素被分類為描繪前景，以及相反地，哪些像素被分類為描繪場(chǎng)景背景。然后，檢測(cè)器210 確認(rèn)場(chǎng)景中包含場(chǎng)景前景的一部分（稱為前景"色斑"或"斑塊（patch)"）的區(qū)域，并且將 這個(gè)信息提供給流水線的后續(xù)階段。此外，分類為描繪場(chǎng)景背景的像素可用于產(chǎn)生將場(chǎng)景 建模的背景圖像。
[0036] 在一個(gè)實(shí)施方案中，檢測(cè)器210可以被配置來(lái)檢測(cè)場(chǎng)景的流（flow)。一旦前景斑 塊已經(jīng)分離，檢測(cè)器210就逐幀地檢查所有前景斑塊的任何邊緣和拐角。檢測(cè)器210將在 相似運(yùn)動(dòng)流中移動(dòng)的前景斑塊確認(rèn)為最有可能屬于單一對(duì)象或單一運(yùn)動(dòng)關(guān)聯(lián)，并且將這個(gè) 信息發(fā)送到跟蹤器215。
[0037] 跟蹤器215可以接收由檢測(cè)器210產(chǎn)生的前景斑塊并且針對(duì)所述斑塊產(chǎn)生計(jì)算模 型。跟蹤器215可以被配置來(lái)使用這個(gè)信息和原始視頻的每一連續(xù)幀，以試圖在由給定前 景斑塊描繪的對(duì)象在場(chǎng)景中移動(dòng)時(shí)跟蹤所述對(duì)象的運(yùn)動(dòng)。也就是說(shuō)，跟蹤器215通過(guò)逐幀 地跟蹤給定對(duì)象來(lái)為系統(tǒng)的其它元件提供連續(xù)性。所述跟蹤器進(jìn)一步計(jì)算前景對(duì)象的各種 運(yùn)動(dòng)和/或外觀特征，例如，大小、高度、寬度和面積（以像素為單位）、反射率、光澤度剛性、 速度（speed velocity)等等。
[0038] 情境事件發(fā)生器220可以接收來(lái)自流水線的其它階段的輸出。使用這個(gè)信息，情 境處理器220可以被配置來(lái)產(chǎn)生關(guān)于（由跟蹤器部件210)所跟蹤對(duì)象的情境事件流。例 如，情境事件發(fā)生器220可將對(duì)象的微特征矢量和動(dòng)態(tài)觀察結(jié)果的流封包并且例如以5Hz 的速率將這個(gè)封包輸出給機(jī)器學(xué)習(xí)引擎140。在一個(gè)實(shí)施方案中，情境事件以軌跡形式來(lái) 封包。如本文中所使用，軌跡總體上是指將連續(xù)幀或樣本中的具體前景對(duì)象的運(yùn)動(dòng)數(shù)據(jù)封 包的矢量。軌跡中的每一要素表示在具體時(shí)間點(diǎn)捕獲到的所述對(duì)象的運(yùn)動(dòng)數(shù)據(jù)。通常，完 整的軌跡包括對(duì)象在視頻幀中首次被觀察到時(shí)所獲得的運(yùn)動(dòng)數(shù)據(jù)，連同所述對(duì)象在離開(kāi)場(chǎng) 景（或變?yōu)楣潭ㄓ谌谌霂尘爸械狞c(diǎn)）前的每一連續(xù)觀察結(jié)果。因此，假定計(jì)算機(jī)視覺(jué)引 擎135以5Hz的速率工作，對(duì)象的軌跡每200毫秒更新一次，直到完成。情境事件發(fā)生器 220也可以計(jì)算和封包每一跟蹤對(duì)象的外觀數(shù)據(jù)，方式是評(píng)估對(duì)象的如形狀、寬度和其它物 理特征的各種外觀屬性，并且對(duì)每一屬性分配數(shù)值評(píng)分。
[0039] 計(jì)算機(jī)視覺(jué)引擎135可以從部件205、210、215和220獲取描述場(chǎng)景中跟蹤對(duì)象的 運(yùn)動(dòng)和動(dòng)作的輸出，并且通過(guò)事件總線230將這個(gè)信息提供給機(jī)器學(xué)習(xí)引擎140。說(shuō)明性 地，機(jī)器學(xué)習(xí)引擎140包括分類器235、語(yǔ)義模塊240、映射器245、認(rèn)知模塊250、皮質(zhì)模塊 270和歸一化模塊265。
[0040] 分類器235從計(jì)算機(jī)視覺(jué)引擎135接收如外觀數(shù)據(jù)的情境事件并且將數(shù)據(jù)映射在 神經(jīng)網(wǎng)絡(luò)上。在一個(gè)實(shí)施方案中，神經(jīng)網(wǎng)絡(luò)是自組織映射（S0M)和ART網(wǎng)絡(luò)的組合，在圖2 中展示為S0M-ART網(wǎng)絡(luò)236。數(shù)據(jù)根據(jù)重復(fù)出現(xiàn)的彼此相關(guān)聯(lián)的特征來(lái)聚集并組合。然后， 基于這些再現(xiàn)類型，分類器235定義出對(duì)象的類型。例如，分類器235可以將具有例如高光 澤度剛性和反射率的前景斑塊定義為1型對(duì)象。然后，這些被定義的類型沿用到系統(tǒng)的全 部其余部分。
[0041] 皮層模塊270接收來(lái)自計(jì)算機(jī)視覺(jué)引擎135的運(yùn)動(dòng)數(shù)據(jù)并且將數(shù)據(jù)映射在神經(jīng)網(wǎng) 絡(luò)上，在圖2中展示為S0M-ART網(wǎng)絡(luò)271。在一個(gè)實(shí)施方案中，S0M-ART網(wǎng)絡(luò)271將運(yùn)動(dòng)數(shù) 據(jù)聚集來(lái)建立場(chǎng)景中的事件的常見(jiàn)序列。在另一實(shí)施方案中，S0M-ART網(wǎng)絡(luò)271將來(lái)自相 互作用軌跡的運(yùn)動(dòng)數(shù)據(jù)聚集來(lái)建立場(chǎng)景中的常見(jiàn)相互作用。通過(guò)學(xué)習(xí)場(chǎng)景中的事件和相互 作用的常見(jiàn)序列，皮質(zhì)模塊270幫助機(jī)器學(xué)習(xí)引擎檢測(cè)異常的序列和相互作用。
[0042] 映射器240通過(guò)在系統(tǒng)中針對(duì)前景斑塊搜索空間和時(shí)間相關(guān)性和行為來(lái)使用這 些類型，從而建立事件可能或不可能發(fā)生的地點(diǎn)和時(shí)間的映射。在一個(gè)實(shí)施方案中，映射器 240包括時(shí)間存儲(chǔ)器ART網(wǎng)絡(luò)241、空間存儲(chǔ)器ART網(wǎng)絡(luò)242和統(tǒng)計(jì)引擎243。例如，映射器 240可以尋找1型對(duì)象的斑塊?？臻g存儲(chǔ)器ART網(wǎng)絡(luò)242使用統(tǒng)計(jì)引擎243來(lái)建立這些對(duì) 象的統(tǒng)計(jì)數(shù)據(jù)，如場(chǎng)景中何處會(huì)出現(xiàn)這些斑塊、這些斑塊傾向于在什么方向上行進(jìn)、這些斑 塊行進(jìn)的快速程度如何、這些斑塊是否改變方向等。然后，映射器240建立這個(gè)信息的神經(jīng) 網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)成為用以比較對(duì)象行為的存儲(chǔ)模板。時(shí)間存儲(chǔ)器ART網(wǎng)絡(luò)241使用統(tǒng) 計(jì)引擎243來(lái)創(chuàng)建基于時(shí)間片采樣的統(tǒng)計(jì)數(shù)據(jù)。在一個(gè)實(shí)施方案中，初始采樣以每三十分 鐘的間隔發(fā)生。如果在時(shí)間片內(nèi)發(fā)生許多事件，那么時(shí)間分辨率可以被動(dòng)態(tài)地改變成更精 細(xì)的分辨率。反之，如果在時(shí)間片內(nèi)發(fā)生較少事件，那么時(shí)間分辨率可以被動(dòng)態(tài)地改變成較 粗略的分辨率。
[0043] 在一個(gè)實(shí)施方案中，語(yǔ)義模塊245包括相空間分隔部件246和異常檢測(cè)部件247。 語(yǔ)義模塊245確認(rèn)場(chǎng)景中的運(yùn)動(dòng)或軌跡的模式，并且通過(guò)概括法來(lái)分析場(chǎng)景的異常行為。 通過(guò)劃分場(chǎng)景并且將前景斑塊分成許多不同的嵌塊（tessera)，語(yǔ)義模塊245跟蹤對(duì)象的 軌跡并且從軌跡中學(xué)習(xí)模式。語(yǔ)義模塊245分析這些模式，并且將它們與其它模式進(jìn)行比 較。當(dāng)對(duì)象進(jìn)入場(chǎng)景時(shí)，相空間分隔部件246建立自適應(yīng)柵格并且將對(duì)象和它們的軌跡映 射到柵格上。在更多特征和軌跡被填充到柵格上時(shí)，機(jī)器學(xué)習(xí)引擎就學(xué)習(xí)對(duì)于場(chǎng)景來(lái)說(shuō)常 見(jiàn)的軌跡，并且進(jìn)一步將正常行為與異常行為區(qū)分開(kāi)。
[0044] 在一個(gè)實(shí)施方案中，認(rèn)知模塊250包括感知存儲(chǔ)器251、情節(jié)存儲(chǔ)器252、長(zhǎng)期存儲(chǔ) 器253、工作區(qū)254和代碼段（codelet) 255。一般來(lái)說(shuō)，工作區(qū)254為機(jī)器學(xué)習(xí)引擎140提 供計(jì)算引擎。例如，工作區(qū)240可以被配置來(lái)復(fù)制來(lái)自感知存儲(chǔ)器251的信息、從情節(jié)存儲(chǔ) 器252和長(zhǎng)期存儲(chǔ)器253中檢索相關(guān)的存儲(chǔ)內(nèi)容、選擇要執(zhí)行哪些代碼段255。在一個(gè)實(shí) 施方案中，每一代碼段255是被配置來(lái)評(píng)估不同事件序列并且確定一個(gè)序列可以如何續(xù)接 (或以其它方式關(guān)聯(lián)于）另一序列的軟件程序（例如，有限狀態(tài)機(jī)）。更一般來(lái)說(shuō)，代碼段 可以提供被配置來(lái)從饋入機(jī)器學(xué)習(xí)引擎的數(shù)據(jù)流中檢測(cè)感興趣的模式的軟件模塊。繼而， 代碼段255可以在情節(jié)存儲(chǔ)器252和長(zhǎng)期存儲(chǔ)器253中創(chuàng)建、檢索、加強(qiáng)或修改存儲(chǔ)內(nèi)容。 通過(guò)重復(fù)地調(diào)用供執(zhí)行用的代碼段255、復(fù)制去往/來(lái)自工作區(qū)240的存儲(chǔ)內(nèi)容與感知，機(jī) 器學(xué)習(xí)引擎140執(zhí)行用于觀察和學(xué)習(xí)在場(chǎng)景中出現(xiàn)的行為模式的認(rèn)知循環(huán)。
[0045] 在一個(gè)實(shí)施方案中，感知存儲(chǔ)器251、情節(jié)存儲(chǔ)器252和長(zhǎng)期存儲(chǔ)器253用于確認(rèn) 行為模式、評(píng)估在場(chǎng)景中發(fā)生的事件，并且編碼并存儲(chǔ)觀察結(jié)果。一般來(lái)說(shuō)，感知存儲(chǔ)器251 接收計(jì)算機(jī)視覺(jué)引擎135的輸出（例如，情境事件流）。情節(jié)存儲(chǔ)器252存儲(chǔ)表示所觀察 事件以及與具體情節(jié)相關(guān)的細(xì)節(jié)的數(shù)據(jù)，例如，描述與事件相關(guān)的時(shí)間和空間細(xì)節(jié)的信息。 也就是說(shuō)，情節(jié)存儲(chǔ)器252可以編碼具體事件的特定細(xì)節(jié)，即場(chǎng)景中"何事和何地"發(fā)生某 個(gè)事情，如具體車輛（汽車A)在上午9時(shí)43分移動(dòng)至確信為停車空間的位置（停車空間 5)。
[0046] 對(duì)比來(lái)說(shuō)，長(zhǎng)期存儲(chǔ)器253可以存儲(chǔ)概括場(chǎng)景中所觀察到的事件的數(shù)據(jù)。繼續(xù)以 車輛停車為例，長(zhǎng)期存儲(chǔ)器253可以編碼采集通過(guò)分析場(chǎng)景中的對(duì)象行為來(lái)獲知的觀察結(jié) 果和概括的信息，如"車輛傾向于停在場(chǎng)景的具體位置"、"停車時(shí)，車輛傾向于以某一速度 移動(dòng)"以及"車輛停車后，人會(huì)傾向于出現(xiàn)在場(chǎng)景中鄰近車輛處"等。因此，長(zhǎng)期存儲(chǔ)器253 存儲(chǔ)關(guān)于在場(chǎng)景內(nèi)發(fā)生何事的觀察結(jié)果，其中許多具體的情節(jié)細(xì)節(jié)被去掉。在這種方式下， 當(dāng)新的事件發(fā)生時(shí)，來(lái)自情節(jié)存儲(chǔ)器252和長(zhǎng)期存儲(chǔ)器253的存儲(chǔ)內(nèi)容可以用于關(guān)聯(lián)和理 解當(dāng)前事件，即，新的事件可以與過(guò)去的經(jīng)歷進(jìn)行比較，從而隨著時(shí)間的推移引起對(duì)存儲(chǔ)在 長(zhǎng)期存儲(chǔ)器253中的信息的加強(qiáng)、衰減和調(diào)整。在具體的實(shí)施方案中，長(zhǎng)期存儲(chǔ)器253可以 被實(shí)現(xiàn)為art網(wǎng)絡(luò)和稀疏分布式存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)。然而，重要的是，這種方法不需要預(yù)先定義 不同的對(duì)象類型分類。
[0047] 在一個(gè)實(shí)施方案中，模塊235、240、245、250和270包括異常檢測(cè)部件，如部件237、 244、247、256和272所描繪。每一模塊可以被配置來(lái)確認(rèn)相對(duì)于場(chǎng)景的過(guò)去觀察結(jié)果的異 常行為。如果任何模塊確認(rèn)出異常行為，那么其對(duì)應(yīng)的異常檢測(cè)部件產(chǎn)生警報(bào)并且使警報(bào) 通過(guò)歸一化模塊265。例如，語(yǔ)義模塊245中的異常檢測(cè)器247使用所學(xué)習(xí)的模式和模型來(lái) 檢測(cè)反常的軌跡。如果前景對(duì)象表現(xiàn)出游蕩行為，那么例如，異常檢測(cè)器247使用游蕩模型 來(lái)評(píng)估對(duì)象軌跡，隨后產(chǎn)生警報(bào)，并將警報(bào)發(fā)送到歸一化模塊265。在接收警報(bào)后，歸一化模 塊265評(píng)估警報(bào)是否應(yīng)予以發(fā)布。
[0048] 圖3例示根據(jù)一個(gè)實(shí)施方案的由行為識(shí)別系統(tǒng)產(chǎn)生的示例性警報(bào)300。如圖所示， 警報(bào)300包括描述305、類別310、類型315以及罕見(jiàn)度值320。當(dāng)然，警報(bào)可以包括其它數(shù) 據(jù)。描述305可以包括關(guān)于警報(bào)的信息，如事件何時(shí)發(fā)生（即相對(duì)于場(chǎng)景的時(shí)間索引）和 事件發(fā)生在何處（即，相對(duì)于場(chǎng)景中前景對(duì)象的坐標(biāo)）或事件發(fā)生多久。類別310是對(duì)應(yīng) 于行為模式的識(shí)別符。速度、軌跡和運(yùn)動(dòng)都是警報(bào)類別的實(shí)例。類型315對(duì)應(yīng)于警報(bào)類型。 高速度、序列軌跡和反常運(yùn)動(dòng)都是警報(bào)類型的實(shí)例。
[0049] 在一個(gè)實(shí)施方案中，罕見(jiàn)度值320在0與1之間的范圍內(nèi)，并且反映出所述發(fā)生情 況相對(duì)于對(duì)應(yīng)于某一警報(bào)類型的過(guò)去發(fā)生情況的常見(jiàn)程度如何。值為〇表示最常見(jiàn)（或最 不罕見(jiàn)）的事件，而值為1表示最不常見(jiàn)（或最罕見(jiàn)）的事件。對(duì)于由行為識(shí)別系統(tǒng)觀察 到的所有發(fā)生情況來(lái)說(shuō)，機(jī)器學(xué)習(xí)引擎對(duì)每一警報(bào)類型分配罕見(jiàn)度值。在新部署的行為識(shí) 別系統(tǒng)中，機(jī)器學(xué)習(xí)引擎可以在最初將高罕見(jiàn)度值分配給場(chǎng)景中的事件（因?yàn)闄C(jī)器學(xué)習(xí)引 擎處理關(guān)于新觀察到的行為模式的信息），但隨著時(shí)間的推移，機(jī)器學(xué)習(xí)引擎在學(xué)習(xí)更多的 行為模式后會(huì)更準(zhǔn)確地分配罕見(jiàn)度值。
[0050] 圖4例示根據(jù)一個(gè)實(shí)施方案的用于在配置有警報(bào)歸一化模塊的行為識(shí)別系統(tǒng)內(nèi) 處理警報(bào)的方法400。方法開(kāi)始于步驟405,其中計(jì)算機(jī)視覺(jué)引擎處理場(chǎng)景中的事件，并且 將信息（例如，前景對(duì)象的外觀和運(yùn)動(dòng)數(shù)據(jù)）發(fā)送到機(jī)器學(xué)習(xí)引擎。例如，聚焦于停車庫(kù)的 攝像機(jī)可以記錄到以每小時(shí)三十五英里的速度行駛的汽車。計(jì)算機(jī)視覺(jué)引擎產(chǎn)生信息，如 汽車的軌跡和速度的數(shù)據(jù)，并且將所述數(shù)據(jù)傳送到機(jī)器學(xué)習(xí)引擎。在步驟410處，機(jī)器學(xué)習(xí) 針對(duì)所述行為將罕見(jiàn)度值分配給每一警報(bào)類型。在這個(gè)實(shí)例中，因?yàn)闄C(jī)器學(xué)習(xí)引擎通常評(píng) 估在場(chǎng)景中以每小時(shí)十英里的速度移動(dòng)的汽車（即表示汽車的分類模型），所以系統(tǒng)可以 將0. 85的罕見(jiàn)度值分配給高速警報(bào)類型。在步驟415處，機(jī)器學(xué)習(xí)引擎確定事件是否對(duì)應(yīng) 于異常行為（例如，通過(guò)機(jī)器學(xué)習(xí)引擎的異常檢測(cè)部件之一來(lái)確定）。如果不對(duì)應(yīng)，那么系 統(tǒng)將舍棄事件。否則，如果事件是異常的，那么在步驟420處，系統(tǒng)針對(duì)所述事件產(chǎn)生警報(bào)。 機(jī)器學(xué)習(xí)引擎將警報(bào)與其罕見(jiàn)度值發(fā)送到歸一化模塊。在正在進(jìn)行的實(shí)例中，如果系統(tǒng)發(fā) 現(xiàn)這類行為異常，那么機(jī)器學(xué)習(xí)引擎將對(duì)以每小時(shí)35英里行駛的汽車的觀察結(jié)果作為警 報(bào)傳送到歸一化模塊。
[0051] 圖5示出在行為識(shí)別系統(tǒng)中歸一化并發(fā)布警報(bào)的方法500。對(duì)于這種方法來(lái)說(shuō)，假 設(shè)用戶已向歸一化模塊指定最大發(fā)布率（即，每天要發(fā)布的警報(bào)數(shù)量）和每個(gè)警報(bào)類型的 一組相對(duì)權(quán)重。如圖所示，方法開(kāi)始于步驟505,其中歸一化模塊接收來(lái)自機(jī)器學(xué)習(xí)引擎中 的異常檢測(cè)部件的警報(bào)。例如，語(yǔ)義模塊中的異常檢測(cè)部件可以產(chǎn)生反常軌跡警報(bào)，并將所 述警報(bào)發(fā)送到歸一化模塊。在步驟510處，歸一化模塊將警報(bào)的罕見(jiàn)度值轉(zhuǎn)換成警報(bào)百分 位值。
[0052] 在計(jì)算警報(bào)百分位數(shù)后，在步驟515處，歸一化模塊評(píng)估警報(bào)百分位數(shù)是否大于 百分位閾值。百分位閾值使用歸一化模塊對(duì)警報(bào)類型的最大允許警報(bào)計(jì)數(shù)的值和次日警報(bào) 計(jì)數(shù)的估算值來(lái)計(jì)算。在一個(gè)實(shí)施方案中，警報(bào)類型i的最大允許警報(bào)計(jì)數(shù)在以下方程中 表示為Vi，所述最大允許警報(bào)計(jì)數(shù)可以如下確定： ω;Ρ
[0053] V- = ^17 ⑴，
[0054] 其中ω i表示對(duì)于所述警報(bào)類型給定的相對(duì)發(fā)布權(quán)重，Ρ表示所需的發(fā)布率，并且 Μ表示行為識(shí)別系統(tǒng)中的警報(bào)類型的總數(shù)。另外，在一個(gè)實(shí)施方案中，次日警報(bào)計(jì)數(shù)的值在 以下方程中表示為隊(duì)，所述值可以如下估算 ： X, ,aknk
[0055] = ^..........................".................*..... ?2)^ 1 it ? a 1
[0056] 其中B表示歷史緩沖值（天數(shù)），nk表示在過(guò)去第k天觀察到的警報(bào)計(jì)數(shù)，并且a 表示歷史緩沖值中每天警報(bào)計(jì)數(shù)的一組相對(duì)權(quán)重。使用警報(bào)類型的最大允許量和次日警報(bào) 計(jì)數(shù)值，在以下方程中表示為ξ i的百分位閾值可以如下計(jì)算： V，
[0057] hi (3)〇
[0058] 在一個(gè)實(shí)施方案中，歸一化模塊使用歷史警報(bào)百分位值來(lái)每天更新百分位閾值。
[0059] 在確定警報(bào)百分位數(shù)是否大于百分位閾值（步驟515)之后，歸一化模塊將警報(bào)百 分位值轉(zhuǎn)換成復(fù)合歸一化罕見(jiàn)度值。歸一化模塊通過(guò)估算警報(bào)相對(duì)于它自身在警報(bào)類型中 分布的罕見(jiàn)度來(lái)進(jìn)行上述轉(zhuǎn)換。在一個(gè)實(shí)施方案中，這里表示為L(zhǎng)的歸一化罕見(jiàn)度值可 以通過(guò)這個(gè)公式來(lái)獲得：
[。_] tfff W，
[0061] 其中^表示警報(bào)百分位值。這種方法確保多個(gè)不相交警報(bào)類型的值的統(tǒng)計(jì)一致 性。例如，兩個(gè)不同警報(bào)類型的警報(bào)的為0. 9的歸一化罕見(jiàn)度值具有相同的統(tǒng)計(jì)罕見(jiàn)性，并 且盡管它們的基本異常模型是不同的，但是仍可以被視為具有相同的重要性。
[0062] 歸一化模塊將警報(bào)的歸一化罕見(jiàn)度值填充至復(fù)合歸一化罕見(jiàn)度直方圖中。復(fù)合歸 一化罕見(jiàn)度直方圖為歸一化模塊提供數(shù)據(jù)來(lái)創(chuàng)建警報(bào)的發(fā)布秩。使用這個(gè)數(shù)據(jù)和給定的發(fā) 布率和調(diào)度率，歸一化模塊計(jì)算出警報(bào)的發(fā)布秩（步驟525)。在一個(gè)實(shí)施方案中，計(jì)算給定 警報(bào)i的某一發(fā)布秩β的方程如下：
[0063] β = min(P, Np)*(l- n j) (5)，
[0064] 其中Νρ是通過(guò)計(jì)算最近Β天數(shù)的歷史每日發(fā)布警報(bào)的最大值來(lái)估算的秩重新歸 一化常數(shù)。與具有低值的警報(bào)相比，具有高歸一化罕見(jiàn)度值的警報(bào)具有較低發(fā)布秩。歸一 化模塊以發(fā)布秩的順序來(lái)發(fā)布警報(bào)（步驟530)。在另一實(shí)施方案中，用戶可以配置警報(bào)歸 一化模塊以（例如，通過(guò)發(fā)送電子郵件或通過(guò)在圖形用戶界面上產(chǎn)生顯示）調(diào)度某一數(shù)量 的警報(bào)。在這樣的情況下，歸一化模塊僅在發(fā)布秩小于最大調(diào)度數(shù)量時(shí)才調(diào)度警報(bào)。
[0065] 在警報(bào)的原始罕見(jiàn)度值等于1的情況下，歸一化模塊無(wú)法使用方程（4)來(lái)歸一化 警報(bào)。相反，在一個(gè)實(shí)施方案中，L可以通過(guò)這個(gè)公式來(lái)獲得： m + y.,
[0066] η；=\-rami--|-1 如果r = ι (6)， + Σα-ι Λ
[0067] 其中rand(x)表示[0, x]中的均勻隨機(jī)數(shù)，m是當(dāng)天觀察到的罕見(jiàn)度值為1的警 報(bào)的當(dāng)前數(shù)量，P是當(dāng)天所發(fā)布警報(bào)的當(dāng)前數(shù)量，并且r是警報(bào)的原始罕見(jiàn)度值。
[0068] 在另一個(gè)實(shí)施方案中，歸一化模塊可以計(jì)算隊(duì)以說(shuō)明當(dāng)周特定幾天的不同警報(bào)類 型量。例如，機(jī)器學(xué)習(xí)引擎可以每周一致地在周五而不是周一產(chǎn)生更多的警報(bào)，并且用戶可 能需要?dú)w一化模塊以便針對(duì)給定的一天使用一周前這一天的計(jì)數(shù)來(lái)估算的計(jì)數(shù)總數(shù)。為了 處理特定日的歸一化，隊(duì)可以計(jì)算為： II II Σ· 詹《7} at 1*1
[0070] 其中θ是表示給予每日復(fù)合值的權(quán)重的乘數(shù)，γ表示當(dāng)天觀察到的特定對(duì)象復(fù) 合值的數(shù)量，并且d表示需要估算計(jì)數(shù)的一天。
[0071] 另外，在另一實(shí)施方案中，在警報(bào)過(guò)沖的情況下，歸一化模塊調(diào)整百分位閾值。在 行為識(shí)別系統(tǒng)一天內(nèi)觀察到比預(yù)期更多的異常事件的情形下，發(fā)生警報(bào)過(guò)沖，這會(huì)導(dǎo)致 較低的百分位閾值，并因此更多的警報(bào)越過(guò)閾值。歸一化模塊通過(guò)使用超額值（overage value) λ將百分位閾值向1增加來(lái)適應(yīng)這種警報(bào)過(guò)沖。在一個(gè)實(shí)施方案中，調(diào)整表不于以 下公式中： " N + - (1 + Α)ν,
[0072] = ----^如果 (8)， ' Λ、
[0073] 其中Pi表示當(dāng)天所發(fā)布警報(bào)的數(shù)量。然而，應(yīng)注意，如果所發(fā)布警報(bào)的數(shù)量低于 系統(tǒng)對(duì)所述警報(bào)類型所允許的警報(bào)量的最大數(shù)量，那么歸一化模塊不會(huì)修改百分位閾值， 并且應(yīng)進(jìn)一步注意，歸一化模塊對(duì)于任何警報(bào)類型可以發(fā)布的警報(bào)數(shù)量設(shè)有上界。
[0074] 圖6示出警報(bào)歸一化模塊的示例性特定使用情況的圖形表示。出于這個(gè)示例性情 況的目的，用戶設(shè)定每天1〇〇個(gè)警報(bào)的所需發(fā)布率、每天五個(gè)警報(bào)的所需調(diào)度率，以及用于 總共存在四個(gè)警報(bào)類型的系統(tǒng)中的所有警報(bào)類型的相等相對(duì)權(quán)重。圖式表示了在給定的一 天中四個(gè)警報(bào)類型的警報(bào)的發(fā)布和調(diào)度，其中預(yù)期每一警報(bào)類型發(fā)布最多25個(gè)警報(bào)。圖式 左側(cè)的圖形出〇5、610、615和620)展示所有警報(bào)類型的警報(bào)的代表性分布。為簡(jiǎn)單起見(jiàn)， 這里展示了連續(xù)分布，并且當(dāng)天內(nèi)觀察到的警報(bào)的數(shù)量被視為與基于歷史每日警報(bào)數(shù)據(jù)的 估算次日警報(bào)精確匹配。每一圖形的畫(huà)線部分表示將要發(fā)布的警報(bào)。注意，發(fā)布的是具有 最高原始罕見(jiàn)度值的前三個(gè)警報(bào)類型的前25個(gè)警報(bào)，以及最后一個(gè)警報(bào)類型的所有10個(gè) 警報(bào)。未被發(fā)布的警報(bào)不符合百分位閾值。
[0075] 注意，將要發(fā)布的來(lái)自單獨(dú)警報(bào)類型的所有警報(bào)根據(jù)它們的歸一化罕見(jiàn)度值而自 動(dòng)均勻地分布在圖式右側(cè)顯示的復(fù)合歸一化罕見(jiàn)度直方圖625中。歸一化模塊使用直方圖 中的數(shù)據(jù)來(lái)計(jì)算將要發(fā)布的警報(bào)的發(fā)布秩。在一個(gè)實(shí)施方案中，計(jì)算秩進(jìn)一步用于決定任 何具體的警報(bào)是否應(yīng)被調(diào)度。更確切來(lái)說(shuō)，來(lái)自單獨(dú)警報(bào)類型的所有85個(gè)警報(bào)以介于0與 85之間的發(fā)布秩來(lái)發(fā)布。應(yīng)進(jìn)一步注意，秩越小，所發(fā)布警報(bào)越重要，并且因此歸一化模塊 將調(diào)度低于所需調(diào)度率的所有警報(bào)，在這種情況下是秩低于5的警報(bào)。
[0076] 如上所述，本發(fā)明的實(shí)施方案提供了用于在基于行為識(shí)別的視頻監(jiān)控系統(tǒng)中將針 對(duì)多個(gè)不相交警報(bào)類型產(chǎn)生的警報(bào)的數(shù)量進(jìn)行歸一化的框架。通過(guò)使用所需的警報(bào)發(fā)布率 和不同警報(bào)類型的相對(duì)權(quán)重，歸一化模塊接收具有某一罕見(jiàn)度值的警報(bào)，并且將這個(gè)值轉(zhuǎn) 換成百分位數(shù)。如果百分位數(shù)大于閾值，那么模塊將警報(bào)歸一化并且將警報(bào)發(fā)布給用戶。有 利的是，這種方法在不同警報(bào)類型的罕見(jiàn)度值中產(chǎn)生統(tǒng)計(jì)一致性，并且確保發(fā)布相對(duì)確定 數(shù)量的警報(bào)，而與系統(tǒng)中警報(bào)類型的數(shù)量無(wú)關(guān)。
[0077] 盡管前述內(nèi)容針對(duì)本公開(kāi)的實(shí)施方案，但是可以設(shè)計(jì)本公開(kāi)的其它和進(jìn)一步的實(shí) 施方案而不脫離本公開(kāi)的基本范圍，并且本發(fā)明的范圍由所附權(quán)利要求書(shū)來(lái)決定。
【權(quán)利要求】
1. 一種用于歸一化并發(fā)布由行為識(shí)別系統(tǒng)產(chǎn)生的警報(bào)的方法，所述方法包括： 接收具有類型和原始罕見(jiàn)度值的警報(bào)， 將所述原始罕見(jiàn)度值轉(zhuǎn)換成警報(bào)百分位值， 在確定所述警報(bào)百分位值大于百分位閾值后，將所述警報(bào)歸一化，并且 發(fā)布所述警報(bào)。
2. 如權(quán)利要求1所述的方法，其中所述百分位閾值是
其中Vi是所述警 報(bào)類型值的最大允許警報(bào)計(jì)數(shù)，并且隊(duì)是估算的次日警報(bào)計(jì)數(shù)倌。
3. 如權(quán)利要求2所述的方法，其中所述百分位閾值是
果Pi>Vi，其中？1是當(dāng)天所發(fā)布警報(bào)的數(shù)量并且λ是超額值。
4. 如權(quán)利要求1所述的方法，其中歸一化所述警報(bào)進(jìn)一步包括計(jì)算歸一化罕見(jiàn)度值
，其中ε i是所述警報(bào)百分位值并且ξ i是所述百分位閾值。
5. 如權(quán)利要求4所述的方法，其中所述歸一化罕見(jiàn)度值是
如果r= 1，其中m是當(dāng)天原始罕見(jiàn)度值為1的警報(bào) 的當(dāng)前數(shù)量，P是當(dāng)天所發(fā)布警報(bào)的當(dāng)前數(shù)量，并且r是所述原始罕見(jiàn)度值。
6. 如權(quán)利要求1所述的方法，其中發(fā)布所述警報(bào)進(jìn)一步包括計(jì)算發(fā)布秩值β = min (Ρ，Νρ) * (1- η J，其中Ρ是最大發(fā)布值，Νρ是秩重新歸一化常數(shù)，并且η i是歸一化罕見(jiàn) 度值。
7. 如權(quán)利要求6所述的方法，其進(jìn)一步包括：在確定所述發(fā)布秩值小于最大調(diào)度值后， 調(diào)度所述警報(bào)。
8. 一種系統(tǒng)，其包括： 處理器，以及 托管應(yīng)用程序的存儲(chǔ)器，其中當(dāng)所述應(yīng)用程序在所述處理器上執(zhí)行時(shí)，所述應(yīng)用程序 進(jìn)行用于歸一化并發(fā)布由行為識(shí)別系統(tǒng)產(chǎn)生的警報(bào)的操作，所述操作包括： 接收具有類型和原始罕見(jiàn)度值的警報(bào)， 將所述原始罕見(jiàn)度值轉(zhuǎn)換成警報(bào)百分位值，
在確定所述警報(bào)百分位值大于百分位閾值后，將所述警報(bào)歸一化，并且 發(fā)布所述警報(bào)。
9. 如權(quán)利要求8所述的系統(tǒng)，其中所述百分位閾值是 ，其中\(zhòng)是所述警 報(bào)類型值的最大允許警報(bào)計(jì)數(shù)，并且隊(duì)是估算的次日警報(bào)計(jì)數(shù)值。
10. 如權(quán)利要求9所述的系統(tǒng)，其中所述百分位閾值是
如果Pi>Vi，其中Pi是當(dāng)天所發(fā)布警報(bào)的數(shù)量并且λ是超額值。
11. 如權(quán)利要求8所述的系統(tǒng)，其中歸一化所述警報(bào)進(jìn)一步包括計(jì)算歸一化罕見(jiàn)度值
，:其中ε i是所述警報(bào)百分位值并且ξ i是所述百分位閾值。
12. 如權(quán)利要求11所述的系統(tǒng)，其中所述歸一化罕見(jiàn)度值是
to果r= 1，其中m是當(dāng)天原始罕見(jiàn)度值為1的警報(bào)的當(dāng) 前數(shù)量，P是當(dāng)天所發(fā)布警報(bào)的當(dāng)前數(shù)量，并且r是所述原始罕見(jiàn)度值。
13. 如權(quán)利要求8所述的系統(tǒng)，其中發(fā)布所述警報(bào)進(jìn)一步包括計(jì)算發(fā)布秩值β = min (Ρ，Νρ) * (1- η J，，其中Ρ是最大發(fā)布值，Νρ是秩重新歸一化常數(shù)，并且η i是歸一化罕見(jiàn) 度值。
14. 如權(quán)利要求13所述的系統(tǒng)，其進(jìn)一步包括：在確定所述發(fā)布秩值小于最大調(diào)度值 后，調(diào)度所述警報(bào)。
【文檔編號(hào)】H04N7/18GK104254873SQ201380019214
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2013年3月15日 優(yōu)先權(quán)日:2012年3月15日
【發(fā)明者】基肖爾·阿迪納斯·塞特沃, 肯內(nèi)特·韋斯利·科布 申請(qǐng)人:行為識(shí)別系統(tǒng)公司