本發(fā)明實(shí)施例涉及數(shù)據(jù)處理領(lǐng)域，更具體地，涉及一種事件檢測(cè)系統(tǒng)及方法。
背景技術(shù)：
為了掌握移動(dòng)目標(biāo)對(duì)象(包括物品、智能終端、汽車以及人等等)的實(shí)時(shí)狀況，往往需要構(gòu)建相應(yīng)的監(jiān)控系統(tǒng)，以協(xié)同環(huán)境傳感器以及運(yùn)行日志等多種信息來源，實(shí)現(xiàn)針對(duì)目標(biāo)對(duì)象的目標(biāo)事件檢測(cè)。
在現(xiàn)有技術(shù)中，對(duì)監(jiān)測(cè)數(shù)據(jù)的處理主要通過復(fù)雜事件處理(complexeventprocessing，簡(jiǎn)稱cep)技術(shù)來完成，cep技術(shù)通過將持續(xù)到達(dá)的一條條數(shù)據(jù)當(dāng)成一個(gè)個(gè)事件輸入到檢測(cè)引擎中，檢測(cè)引擎通過預(yù)先定義的事件模式對(duì)特定的事件組合進(jìn)行匹配，匹配的內(nèi)容包括事件本身的語義、事件序列以及事件的次序等等。事件模式的聲明一般是通過類sql語言來實(shí)現(xiàn)的，其支持的操作包括轉(zhuǎn)換操作、邏輯操作、序列操作、聚合操作以及窗口操作等等。用戶可以借助復(fù)雜事件處理系統(tǒng)，預(yù)先將目標(biāo)事件映射成對(duì)應(yīng)的操作組合，提交到檢測(cè)引擎，然后讓持續(xù)到達(dá)的監(jiān)測(cè)數(shù)據(jù)流流經(jīng)處理引擎，以進(jìn)行事件模式匹配，從而實(shí)現(xiàn)目標(biāo)事件的實(shí)時(shí)檢測(cè)。
在現(xiàn)有技術(shù)中，復(fù)雜事件處理技術(shù)方案中的事件模式定義需要很強(qiáng)的領(lǐng)域知識(shí)，而且無法通過自主學(xué)習(xí)構(gòu)建，因而使其難以廣泛應(yīng)用，另一方面，由于受單機(jī)處理能力的限制，復(fù)雜事件處理引擎難以應(yīng)對(duì)大規(guī)模的監(jiān)測(cè)數(shù)據(jù)流。
技術(shù)實(shí)現(xiàn)要素：
為解決現(xiàn)有技術(shù)中在事件檢測(cè)中事件模式定義需要很強(qiáng)的領(lǐng)域知識(shí)且受單機(jī)處理能力的限制，處理引擎難以應(yīng)對(duì)大規(guī)模的檢測(cè)數(shù)據(jù)流的問題，提供一種事件檢測(cè)系統(tǒng)及方法。
根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供一種事件檢測(cè)系統(tǒng)，包括：
標(biāo)識(shí)屬性測(cè)試模塊，用于從獲取的多個(gè)事件數(shù)據(jù)中讀取對(duì)應(yīng)的屬性消息，對(duì)輸入的事件數(shù)據(jù)進(jìn)行標(biāo)識(shí)屬性測(cè)試以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的標(biāo)識(shí)集合中，并將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的位置分組中；所述屬性信息至少包括標(biāo)識(shí)屬性信息、位置屬性信息和行為屬性信息；
位置屬性測(cè)試模塊，包括多個(gè)位置分組，每個(gè)位置分組中包含多個(gè)位置區(qū)域分組，用于接收所述標(biāo)識(shí)屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行位置屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的位置區(qū)域分組中，并將所述事件數(shù)據(jù)發(fā)送至與所述位置區(qū)域集合對(duì)應(yīng)的行為分組中；其中，所述位置分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同；
行為屬性測(cè)試模塊，包括多個(gè)行為分組，用于接收所述位置屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行行為屬性測(cè)試，并根據(jù)測(cè)試結(jié)果獲取目標(biāo)事件數(shù)據(jù)，其中，所述行為分組的個(gè)數(shù)與所述位置區(qū)域分組的個(gè)數(shù)相同。
其中，所述事件檢測(cè)系統(tǒng)還包括時(shí)間屬性測(cè)試模塊；相應(yīng)地，所述標(biāo)識(shí)屬性測(cè)試模塊用于將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的時(shí)間分組中；其中，所述時(shí)間分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同；
所述時(shí)間屬性測(cè)試模塊，包括多個(gè)時(shí)間分組，每個(gè)時(shí)間分組中包含多個(gè)時(shí)間區(qū)間分組，用于接收所述標(biāo)識(shí)屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行時(shí)間屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的時(shí)間區(qū)間分組，并將所述事件數(shù)據(jù)發(fā)送至與所述時(shí)間區(qū)間分組對(duì)應(yīng)的位置分組中；相應(yīng)地，所述位置屬性測(cè)試模塊用于接收所述時(shí)間屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)。
其中，所述位置屬性測(cè)試模塊、所述時(shí)間屬性測(cè)試模塊和所述行為屬性測(cè)試模塊，根據(jù)事件數(shù)據(jù)的標(biāo)識(shí)屬性信息的一致性哈希結(jié)果作為分組內(nèi)處理節(jié)點(diǎn)的選擇依據(jù)。
其中，所述行為屬性信息是所有行為監(jiān)測(cè)結(jié)果的一個(gè)行為合集
對(duì)所述事件數(shù)據(jù)中各行為的加權(quán)和進(jìn)行閾值判決的方式進(jìn)行行為屬性測(cè)試，
其中，所述系統(tǒng)構(gòu)建于分布式流式計(jì)算引擎上。
另一方面，本發(fā)明實(shí)施例提供一種事件檢測(cè)方法，包括：標(biāo)識(shí)屬性測(cè)試，從獲取的多個(gè)事件數(shù)據(jù)中讀取對(duì)應(yīng)的屬性消息，對(duì)輸入的事件數(shù)據(jù)進(jìn)行標(biāo)識(shí)屬性測(cè)試以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的標(biāo)識(shí)集合中，并將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的位置分組中；所述屬性信息至少包括標(biāo)識(shí)屬性信息、位置屬性信息和行為屬性信息；
位置屬性測(cè)試，包含多個(gè)位置分組，每個(gè)位置分組中包含多個(gè)位置區(qū)域分組，接收所述標(biāo)識(shí)屬性測(cè)試后的事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行位置屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的位置區(qū)域分組中，并將所述事件數(shù)據(jù)發(fā)送至與所述位置區(qū)域集合對(duì)應(yīng)的行為分組中；其中，所述位置分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同；
行為屬性測(cè)試，包含多個(gè)行為分組，并對(duì)所述事件數(shù)據(jù)進(jìn)行行為屬性測(cè)試，并根據(jù)測(cè)試結(jié)果獲取目標(biāo)事件數(shù)據(jù)。
其中，所述方法還包括時(shí)間屬性測(cè)試；相應(yīng)地，所述標(biāo)識(shí)屬性測(cè)試后將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的時(shí)間分組中；其中，所述時(shí)間分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同；
所述時(shí)間測(cè)試中，包括多個(gè)時(shí)間分組，每個(gè)時(shí)間分組中包含多個(gè)時(shí)間區(qū)間分組，通過接收經(jīng)過標(biāo)識(shí)屬性測(cè)試后的事件數(shù)據(jù)進(jìn)行時(shí)間屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的時(shí)間區(qū)間分組，并將所述事件數(shù)據(jù)發(fā)送至與所述時(shí)間區(qū)間分組對(duì)應(yīng)的位置分組中；相應(yīng)地所述位置屬性測(cè)試中將接收所述時(shí)間檢測(cè)后的所述事件數(shù)據(jù)。
其中，所述位置屬性測(cè)試、所述時(shí)間屬性測(cè)試和所述行為屬性測(cè)試，根據(jù)事件數(shù)據(jù)的標(biāo)識(shí)屬性信息的一致性哈希結(jié)果作為分組內(nèi)處理節(jié)點(diǎn)的選擇依據(jù)。
其中，所述行為屬性信息是所有行為監(jiān)測(cè)結(jié)果的一個(gè)行為合集
對(duì)所述事件數(shù)據(jù)中各行為的加權(quán)和進(jìn)行閾值判決的方式進(jìn)行行為屬性測(cè)試，
其中，所述事件檢測(cè)方法構(gòu)建于分布式流式計(jì)算引擎上。
本發(fā)明實(shí)施例提出的一種事件檢測(cè)系統(tǒng)和方法，通過對(duì)監(jiān)測(cè)數(shù)據(jù)流中的數(shù)據(jù)進(jìn)行分離抽象，將其歸納為標(biāo)識(shí)、位置以及行為等多種屬性信息，并引入易于描述的基于規(guī)則的分類模型，從而使得模型中的檢測(cè)規(guī)則既可以由人工依據(jù)領(lǐng)域知識(shí)定義，也能夠通過自主學(xué)習(xí)算法從訓(xùn)練數(shù)據(jù)集中提取，克服了事件檢測(cè)中需要很強(qiáng)的領(lǐng)域知識(shí)的問題；并且能夠從大規(guī)模實(shí)時(shí)增量產(chǎn)生的多維監(jiān)測(cè)數(shù)據(jù)流中快速提取目標(biāo)事件。
附圖說明
圖1為本發(fā)明實(shí)施例提供的一種事件檢測(cè)系統(tǒng)的結(jié)構(gòu)框圖；
圖2為本發(fā)明又一實(shí)施例提供的一種事件檢測(cè)系統(tǒng)的機(jī)構(gòu)框圖；
圖3為本發(fā)明又一實(shí)施例提供的一種事件檢測(cè)系統(tǒng)的檢測(cè)模型實(shí)現(xiàn)拓?fù)鋱D；
圖4為本發(fā)明另一實(shí)施例提供的一種事件檢測(cè)方法的流程圖；
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。
圖1為本發(fā)明實(shí)施例提供的一種事件檢測(cè)系統(tǒng)的結(jié)構(gòu)框圖，如圖1所示，包括屬性標(biāo)識(shí)測(cè)試模塊11，位置屬性測(cè)試模塊12和行為屬性測(cè)試模塊13，其中：
屬性標(biāo)識(shí)測(cè)試模塊11用于從獲取的多個(gè)事件數(shù)據(jù)中讀取對(duì)應(yīng)的屬性消息，對(duì)輸入的事件數(shù)據(jù)進(jìn)行標(biāo)識(shí)屬性測(cè)試以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的標(biāo)識(shí)集合中，并將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的位置分組中；所述屬性信息至少包括標(biāo)識(shí)屬性信息、位置屬性信息和行為屬性信息。
具體實(shí)施中，針對(duì)特定目標(biāo)對(duì)象的監(jiān)測(cè)數(shù)據(jù)流中包含：監(jiān)控目標(biāo)標(biāo)識(shí)、所在位置以及目標(biāo)行為三類屬性信息，因而，本發(fā)明實(shí)施例將事件檢測(cè)模型的輸入數(shù)據(jù)實(shí)例x歸納為：
其中，i表示監(jiān)控對(duì)象唯一標(biāo)識(shí)(identification，簡(jiǎn)稱id)；p表示所在位置(position)；
檢測(cè)模型的屬性檢測(cè)依據(jù)檢測(cè)規(guī)則以層級(jí)的方式由上往下進(jìn)行。首先進(jìn)行監(jiān)測(cè)數(shù)據(jù)流中所有數(shù)據(jù)的屬性標(biāo)識(shí)進(jìn)行測(cè)試，具體的，監(jiān)控對(duì)象標(biāo)識(shí)為標(biāo)稱屬性，因而對(duì)該維度的劃分為離散集合劃分，屬性測(cè)試可表示為：
i∈{i1，i2，…，in}
測(cè)試完成以后，該模塊會(huì)將事件數(shù)據(jù)依據(jù)測(cè)試結(jié)果分發(fā)到對(duì)應(yīng)的位置分組，進(jìn)行下一步測(cè)試，不過，如果消息不屬于規(guī)則集合中的任何id集合，則會(huì)觸發(fā)默認(rèn)規(guī)則，默認(rèn)規(guī)則一般是將消息直接拋棄。
通過此模塊，可以有效地區(qū)分出適用于不同監(jiān)測(cè)規(guī)則的對(duì)象集合，并將檢測(cè)對(duì)象按照預(yù)設(shè)的規(guī)則進(jìn)行分類處理，另一方面，通過對(duì)檢測(cè)數(shù)據(jù)屬性進(jìn)行規(guī)約，簡(jiǎn)化了事件檢測(cè)模型的構(gòu)建。
位置屬性測(cè)試模塊12包括多個(gè)位置分組，每個(gè)位置分組中包含多個(gè)位置區(qū)域分組，用于接收所述標(biāo)識(shí)屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行位置屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的位置區(qū)域集合中，并將所述事件數(shù)據(jù)發(fā)送至與所述位置區(qū)域分組對(duì)應(yīng)的行為分組中；其中，所述位置分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同。
具體實(shí)施中，位置為區(qū)域?qū)傩?，位置區(qū)域的定義與其拓?fù)浔硎鞠嚓P(guān)，例如，二維矩形區(qū)域可定義為p＝(p11，p12，p21，p22)，其中p11、p12、p21和p22分別為矩形區(qū)域的四個(gè)頂點(diǎn)，三維球體空間區(qū)域可定義為p＝(pc，r)，其中pc為球體圓心位置，r為球體半徑。為了方便，本發(fā)明實(shí)施例將位置區(qū)域定義統(tǒng)一表示為p，則該屬性測(cè)試可表示為：
p∈p
位置屬性測(cè)試允許對(duì)關(guān)鍵區(qū)域進(jìn)行重點(diǎn)監(jiān)控。
通過此模塊，可以有效的檢測(cè)到事件發(fā)生的時(shí)候所屬的位置區(qū)域信息，同時(shí)可以通過設(shè)置重點(diǎn)監(jiān)控位置區(qū)域的方式，實(shí)施不同監(jiān)控強(qiáng)度的檢測(cè)規(guī)則，提升了事件檢測(cè)結(jié)果的精準(zhǔn)性。
行為屬性測(cè)試模塊13用于接收所述位置屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行行為屬性測(cè)試，并根據(jù)測(cè)試結(jié)果獲取目標(biāo)事件數(shù)據(jù)，其中，所述行為分組的個(gè)數(shù)與所述位置區(qū)域分組的個(gè)數(shù)相同。。
在具體實(shí)施中，行為信息為元素值為0或者1的向量，0表示未監(jiān)測(cè)到對(duì)應(yīng)行為，1則表示監(jiān)測(cè)到了對(duì)應(yīng)行為，通過對(duì)監(jiān)控對(duì)象的行為進(jìn)行屬性測(cè)試，當(dāng)測(cè)試通過后，則行為屬性測(cè)試模塊會(huì)輸出對(duì)應(yīng)的一條事件記錄。
通過此模塊，可以在事件檢測(cè)中快速獲取目標(biāo)事件，并且通過基于分類思想的分布式的事件檢測(cè)模型系統(tǒng)，能夠應(yīng)對(duì)大規(guī)模的多維監(jiān)測(cè)數(shù)據(jù)流，適用于更大的事件檢測(cè)范圍及擁有更高的事件檢測(cè)性能。
在上述實(shí)施例基礎(chǔ)上，所述事件檢測(cè)系統(tǒng)還包括時(shí)間屬性測(cè)試模塊，如圖2所示，圖2為本發(fā)明又一實(shí)施例提供的一種事件檢測(cè)系統(tǒng)的機(jī)構(gòu)框圖，包括：標(biāo)識(shí)屬性測(cè)試模塊21，時(shí)間屬性測(cè)試模塊22，位置屬性測(cè)試模塊23和行為屬性測(cè)試模塊24。
其中，標(biāo)識(shí)屬性測(cè)試模塊21用于從獲取的多個(gè)事件數(shù)據(jù)中讀取對(duì)應(yīng)的屬性消息，對(duì)輸入的事件數(shù)據(jù)進(jìn)行標(biāo)識(shí)屬性測(cè)試以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的標(biāo)識(shí)集合中，并將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的時(shí)間分組中；所述屬性信息至少包括標(biāo)識(shí)屬性信息、時(shí)間屬性信息、位置屬性信息和行為屬性信息。
時(shí)間屬性測(cè)試模塊22包括多個(gè)時(shí)間分組，每個(gè)時(shí)間分組中包含多個(gè)時(shí)間區(qū)間分組，用于接收所述標(biāo)識(shí)屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行時(shí)間屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的時(shí)間區(qū)間分組，并將所述事件數(shù)據(jù)發(fā)送至與所述時(shí)間區(qū)間分組對(duì)應(yīng)的位置分組中；相應(yīng)地，所述位置屬性測(cè)試模塊用于接收所述時(shí)間屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)；其中，所述時(shí)間分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同。
位置屬性測(cè)試模塊23包括多個(gè)位置分組，每個(gè)位置分組中包含多個(gè)位置區(qū)域分組，用于接收所述標(biāo)識(shí)屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行位置屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的位置區(qū)域分組中，并將所述事件數(shù)據(jù)發(fā)送至與所述位置區(qū)域分組對(duì)應(yīng)的行為分組中；其中，所述位置分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同。
行為屬性測(cè)試模塊24用于接收所述位置屬性測(cè)試模塊發(fā)送的所述事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行行為屬性測(cè)試，并根據(jù)測(cè)試結(jié)果獲取目標(biāo)事件數(shù)據(jù)。
在具體實(shí)施中，標(biāo)識(shí)屬性測(cè)試模塊21的作用于上述實(shí)施例大致相同，此處不再贅述，其不同之處在于事件檢測(cè)模型的輸入數(shù)據(jù)實(shí)例x歸納為：
其中，i表示監(jiān)控對(duì)象唯一標(biāo)識(shí)(id)；t表示當(dāng)前時(shí)間(time)；p表示所在位置(position)；
當(dāng)事件信息分配到相應(yīng)的標(biāo)識(shí)集合中以后，會(huì)將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的時(shí)間分組中。
在時(shí)間屬性測(cè)試模塊22中，時(shí)間為區(qū)間屬性，對(duì)該維度的劃分為區(qū)間劃分，屬性測(cè)試可表示為：
t∈[ts，te]
該測(cè)試的目的是允許以時(shí)間區(qū)間為粒度對(duì)監(jiān)控策略進(jìn)行設(shè)置，例如對(duì)白天和晚上進(jìn)行不同策略的監(jiān)控，對(duì)于通過了時(shí)間屬性的事件數(shù)據(jù)，時(shí)間屬性測(cè)試模塊會(huì)將所述事件數(shù)據(jù)發(fā)送至所述時(shí)間區(qū)間分組對(duì)應(yīng)的位置分組中。
其后位置屬性測(cè)試模塊23和行為屬性測(cè)試模塊24的實(shí)時(shí)動(dòng)作與上述實(shí)施例一致，此處不再贅述。
通過此系統(tǒng)，在事件檢測(cè)中增加對(duì)時(shí)間屬性的檢測(cè)，提高了在事件檢測(cè)中對(duì)事件發(fā)生時(shí)間的針對(duì)性，提高了事件檢測(cè)精度，同時(shí)還可以幫助提高事件檢測(cè)的實(shí)時(shí)性。
在上述實(shí)施例的基礎(chǔ)上，所述位置屬性測(cè)試模塊、所述時(shí)間屬性測(cè)試模塊和所述行為屬性測(cè)試模塊，根據(jù)事件數(shù)據(jù)的標(biāo)識(shí)屬性信息的一致性哈希結(jié)果作為分組內(nèi)處理節(jié)點(diǎn)的選擇依據(jù)。
在具體實(shí)施中，模型實(shí)現(xiàn)將監(jiān)控對(duì)象id的一致性哈希結(jié)果作為了分組內(nèi)處理節(jié)點(diǎn)選擇的依據(jù)，在時(shí)間屬性測(cè)試模塊，位置屬性測(cè)試模塊以及行為屬性測(cè)試模塊中，系統(tǒng)都會(huì)根據(jù)id的一致性哈希結(jié)果，分別進(jìn)行時(shí)間屬性分組，位置屬性分組以及行為屬性分組中具體處理節(jié)點(diǎn)選擇。
通過此系統(tǒng)，實(shí)現(xiàn)了分組內(nèi)各節(jié)點(diǎn)的負(fù)載均衡并適應(yīng)節(jié)點(diǎn)并行速度的動(dòng)態(tài)改變，同時(shí)可以盡可能的保證相同的監(jiān)控對(duì)象的監(jiān)測(cè)消息可以路由到同一分組節(jié)點(diǎn)。
在上述實(shí)施例的基礎(chǔ)上，所述行為屬性信息是所有行為監(jiān)測(cè)結(jié)果的一個(gè)行為合集
對(duì)所述事件數(shù)據(jù)中各行為的加權(quán)和進(jìn)行閾值判決的方式進(jìn)行行為屬性測(cè)試，
在具體實(shí)施中，對(duì)行為屬性檢測(cè)為監(jiān)控目標(biāo)在給定時(shí)間段內(nèi)的總體行為情況，對(duì)于一個(gè)監(jiān)控目標(biāo)的行為是一個(gè)多個(gè)行為的集合，例如，對(duì)于受監(jiān)測(cè)行為集合為(action1，action2，action3，action4，action5，action6)的監(jiān)控場(chǎng)景，如果目標(biāo)對(duì)象在一定時(shí)間段內(nèi)發(fā)生了action1，action3以及action6行為，則其行為屬性值可表示為一個(gè)6維向量：
對(duì)于目標(biāo)對(duì)象，其在特定時(shí)間、特定位置的事件判決取決于其各類行為的綜合信息，同時(shí)，考慮到不同行為對(duì)事件決定程度的不一致，本發(fā)明實(shí)施例采取了如下公式：
所示的對(duì)各行為的加權(quán)和進(jìn)行閾值判決的方式進(jìn)行屬性測(cè)試，其中，
通過此系統(tǒng)，使用權(quán)重加和的形式足以完成對(duì)任意行為組合模式的表征，使得對(duì)事件的判定更加精準(zhǔn)，同時(shí)，公式
在上述實(shí)施例的基礎(chǔ)上，所述系統(tǒng)構(gòu)建于分布式流式計(jì)算引擎上。
在具體實(shí)施中，本發(fā)明實(shí)施例設(shè)計(jì)的檢測(cè)模型構(gòu)建于分布式流式計(jì)算引擎之上，模型中各檢測(cè)規(guī)則實(shí)現(xiàn)為一條條并聯(lián)的處理流圖，而規(guī)則中各合取子句則實(shí)現(xiàn)為處理流圖中的一個(gè)個(gè)串聯(lián)的處理節(jié)點(diǎn)。處理節(jié)點(diǎn)會(huì)對(duì)輸入的每一個(gè)屬性消息進(jìn)行屬性測(cè)試，并依據(jù)測(cè)試結(jié)果選擇下一節(jié)點(diǎn)路由或者輸出最終檢測(cè)結(jié)果。
通過此方法，能夠從大規(guī)模實(shí)時(shí)增量產(chǎn)生的多維監(jiān)測(cè)數(shù)據(jù)流中快速提取目標(biāo)事件，解決了復(fù)雜事件處理引擎難以應(yīng)對(duì)大規(guī)模的檢測(cè)數(shù)據(jù)流的問題。
在本發(fā)明又一實(shí)施例中，如圖3所示，圖3為本發(fā)明又一實(shí)施例提供的一種事件檢測(cè)系統(tǒng)的檢測(cè)模型實(shí)現(xiàn)拓?fù)鋱D。
模型中各檢測(cè)規(guī)則實(shí)現(xiàn)為一條條并聯(lián)的處理流圖，而規(guī)則中各合取子句則實(shí)現(xiàn)為處理流圖中的一個(gè)個(gè)串聯(lián)的處理節(jié)點(diǎn)。處理節(jié)點(diǎn)會(huì)對(duì)輸入的每一個(gè)屬性消息進(jìn)行屬性測(cè)試，并依據(jù)測(cè)試結(jié)果選擇下一節(jié)點(diǎn)路由或者輸出最終檢測(cè)結(jié)果。模型的實(shí)現(xiàn)拓?fù)渲兄饕╧afkaspout、timebolt、positionbolt以及actionsbolt四類模塊：
其中，kafkaspout是模型的輸入模塊，負(fù)責(zé)并行地從apachekafka中讀取屬性消息，并對(duì)讀入的消息進(jìn)行監(jiān)控對(duì)象id屬性測(cè)試。測(cè)試完成后，將其分發(fā)到對(duì)應(yīng)id集合的timebolts分組，進(jìn)行下一步處理。不過，如果消息不屬于規(guī)則集合中的任何id集合，將會(huì)觸發(fā)默認(rèn)規(guī)則，默認(rèn)規(guī)則一般是將消息直接拋棄。kafkaspout模塊的并行度設(shè)置一般與kafka中對(duì)應(yīng)主題的分區(qū)數(shù)一致。
其中，timebolt是模型的時(shí)間屬性測(cè)試模塊。拓?fù)涠x時(shí)會(huì)依據(jù)模型規(guī)則集合中id集合的個(gè)數(shù)，創(chuàng)建對(duì)應(yīng)數(shù)量的timebolts分組。為應(yīng)對(duì)大規(guī)模屬性信息流，每個(gè)timebolts分組都會(huì)包含多個(gè)具有相同測(cè)試邏輯的timebolt節(jié)點(diǎn)，每個(gè)負(fù)責(zé)一部分?jǐn)?shù)據(jù)的處理，用戶可以根據(jù)需要自行設(shè)置其并行度。為了實(shí)現(xiàn)分組內(nèi)各節(jié)點(diǎn)的負(fù)載均衡并適應(yīng)節(jié)點(diǎn)并行度的動(dòng)態(tài)改變，同時(shí)盡可能保證相同監(jiān)控對(duì)象的監(jiān)測(cè)消息可以路由到同一timebolt節(jié)點(diǎn)，kafkaspout將監(jiān)控對(duì)象id的一致性哈希(consistenthashing)結(jié)果作為了分組內(nèi)節(jié)點(diǎn)選擇的依據(jù)。同樣的，timebolt也會(huì)根據(jù)時(shí)間屬性測(cè)試結(jié)果，將屬性消息路由到對(duì)應(yīng)的positionbolts分組，分組內(nèi)節(jié)點(diǎn)的選擇也是利用監(jiān)控對(duì)象id的一致性哈希結(jié)果。
其中，positionbolt是模型的位置屬性測(cè)試模塊，其通過位置元組維持著監(jiān)控對(duì)象的最新位置信息。從而，positionbolt模塊得以對(duì)行為元組進(jìn)行位置屬性測(cè)試，并根據(jù)測(cè)試結(jié)果和監(jiān)控對(duì)象id的一致性哈希結(jié)果，將其分發(fā)到對(duì)應(yīng)actionsbolts分組中的一個(gè)處理節(jié)點(diǎn)。不過，在實(shí)際實(shí)現(xiàn)過程中，positionbolt并不顯式地維持監(jiān)控對(duì)象的位置信息，而是直接在路由表中保存實(shí)例數(shù)據(jù)的路由信息。具體的，當(dāng)positionbolt接收到位置元組時(shí)，會(huì)對(duì)其進(jìn)行位置屬性測(cè)試，如果測(cè)試結(jié)果與路由表中結(jié)果不一致，則更新路由表中對(duì)應(yīng)監(jiān)控對(duì)象id的路由信息，否則，不進(jìn)行任何操作。這樣，當(dāng)接收到的是行為元組時(shí)，可以直接根據(jù)監(jiān)控對(duì)象id，獲取到其下一處理節(jié)點(diǎn)的路由信息。
其中，actionsbolt是模型的行為屬性測(cè)試模塊。由于同一實(shí)例的多個(gè)行為分量是分散到達(dá)的，因而，其為每一個(gè)監(jiān)控對(duì)象維持著一個(gè)行為集合。當(dāng)接收到新的行為元組時(shí)，actionsbolt模塊會(huì)將其加入到對(duì)應(yīng)監(jiān)控對(duì)象的行為集合之中，并觸發(fā)行為屬性測(cè)試。如果通過屬性測(cè)試，則說明實(shí)例命中了規(guī)則集合中的一條規(guī)則，從而，actionsbolt會(huì)輸出對(duì)應(yīng)的一條事件記錄。actionsbolt是通過滑動(dòng)窗口(slidingwindow)機(jī)制來確定實(shí)例邊界的。具體的，出于對(duì)特定時(shí)間特定區(qū)域的行為監(jiān)控概念，窗口滑動(dòng)的觸發(fā)條件包括時(shí)間區(qū)間變更和位置區(qū)域變更兩種。時(shí)間區(qū)間變更信息是由actionsbolt依據(jù)最新接收到的行為元組時(shí)間和規(guī)則集合給定的時(shí)間區(qū)間綜合確定的。而位置區(qū)域變更信息由positionbolt提供，通常是在路由信息變更時(shí)觸發(fā)。
模型實(shí)現(xiàn)中的數(shù)據(jù)源apachekafka可以替換為其他的分布式消息組件，例如rocketmq等等。相應(yīng)的，從這些分布式消息組件讀取屬性消息并進(jìn)行監(jiān)控對(duì)象id測(cè)試的kafkaspout也可替換為對(duì)應(yīng)的spout組件。
如圖4所示，圖4為本發(fā)明另一實(shí)施例提供的一種事件檢測(cè)方法的流程圖，所述方法包括：
步驟401：標(biāo)識(shí)屬性測(cè)試，從獲取的多個(gè)事件數(shù)據(jù)中讀取對(duì)應(yīng)的屬性消息，對(duì)輸入的事件數(shù)據(jù)進(jìn)行標(biāo)識(shí)屬性測(cè)試以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的標(biāo)識(shí)集合中，并將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的位置分組中；
步驟402：位置屬性測(cè)試，包含多個(gè)位置分組，每個(gè)位置分組中包含多個(gè)位置區(qū)域分組，接收所述標(biāo)識(shí)屬性測(cè)試后的事件數(shù)據(jù)，并對(duì)所述事件數(shù)據(jù)進(jìn)行位置屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的位置區(qū)域分組中，并將所述事件數(shù)據(jù)發(fā)送至與所述位置區(qū)域分組對(duì)應(yīng)的行為分組中；
步驟403：行為屬性測(cè)試，包含多個(gè)行為分組，并對(duì)所述事件數(shù)據(jù)進(jìn)行行為屬性測(cè)試，并根據(jù)測(cè)試結(jié)果獲取目標(biāo)事件數(shù)據(jù)。
在具體實(shí)施中，針對(duì)特定目標(biāo)對(duì)象的監(jiān)測(cè)數(shù)據(jù)流中包含：監(jiān)控目標(biāo)標(biāo)識(shí)、所在位置以及目標(biāo)行為三類屬性信息，因而，本發(fā)明實(shí)施例將事件檢測(cè)模型的輸入數(shù)據(jù)實(shí)例x歸納為：
其中，i表示監(jiān)控對(duì)象唯一標(biāo)識(shí)(id)；p表示所在位置(position)；
檢測(cè)模型的屬性檢測(cè)依據(jù)檢測(cè)規(guī)則以層級(jí)的方式由上往下進(jìn)行。首先進(jìn)行監(jiān)測(cè)數(shù)據(jù)流中所有數(shù)據(jù)的屬性標(biāo)識(shí)進(jìn)行測(cè)試，具體的，監(jiān)控對(duì)象標(biāo)識(shí)為標(biāo)稱屬性，，因而對(duì)該維度的劃分為離散集合劃分，屬性測(cè)試可表示為：
i∈{i1，i2，…，in}
測(cè)試完成以后，該模塊會(huì)將事件數(shù)據(jù)依據(jù)測(cè)試結(jié)果分發(fā)到對(duì)應(yīng)的位置分組，進(jìn)行下一步測(cè)試，不過，如果消息不屬于規(guī)則集合中的任何id集合，則會(huì)觸發(fā)默認(rèn)規(guī)則，默認(rèn)規(guī)則一般是將消息直接拋棄。
位置分組接收到事件數(shù)據(jù)之后，對(duì)數(shù)據(jù)進(jìn)行位置屬性測(cè)試，其中位置為區(qū)域?qū)傩?，位置區(qū)域的定義與其拓?fù)浔硎鞠嚓P(guān)，例如，二維矩形區(qū)域可定義為p＝(p11，p12，p21，p22)，其中p11、p12、p21和p22分別為矩形空間的四個(gè)頂點(diǎn)，三維球體區(qū)域可定義為p＝(pc，r)，其中pc為球體圓心位置，r為球體半徑。為了方便，本發(fā)明實(shí)施例將位置區(qū)域定義統(tǒng)一表示為p，則該屬性測(cè)試可表示為：
p∈p
位置屬性測(cè)試允許對(duì)關(guān)鍵區(qū)域進(jìn)行重點(diǎn)監(jiān)控。位置屬性測(cè)試完成以后，會(huì)將所述事件數(shù)據(jù)發(fā)送至與所述位置區(qū)域分組對(duì)應(yīng)的行為分組中。
在行為屬性測(cè)試中，行為信息為元素值為0或者1的向量，0表示未監(jiān)測(cè)到對(duì)應(yīng)行為，1則表示監(jiān)測(cè)到了對(duì)應(yīng)行為，通過對(duì)監(jiān)控對(duì)象的行為進(jìn)行屬性測(cè)試，當(dāng)測(cè)試通過后，則行為屬性測(cè)試模塊會(huì)輸出對(duì)應(yīng)的一條事件記錄。
通過此方法，從數(shù)據(jù)挖掘中分類的角度出發(fā)，通過對(duì)監(jiān)測(cè)數(shù)據(jù)流中的數(shù)據(jù)進(jìn)行分離抽象，將其歸納為對(duì)象標(biāo)識(shí)、位置以及行為等多種屬性值，并引入易于描述的基于規(guī)則的分類模型，從而使得模型中的檢測(cè)規(guī)則既可以由人工依據(jù)領(lǐng)域知識(shí)定義，也能夠通過自主學(xué)習(xí)算法從訓(xùn)練數(shù)據(jù)集中提??；另一方面，本發(fā)明實(shí)施例提供的一種事件檢測(cè)方法可以在事件檢測(cè)中快速獲取目標(biāo)事件，并且通過基于分類思想的分布式的事件檢測(cè)模型系統(tǒng)，能夠應(yīng)對(duì)大規(guī)模的多維監(jiān)測(cè)數(shù)據(jù)流，適用于更大的事件檢測(cè)范圍及擁有更高的事件檢測(cè)性能。
在以上實(shí)施例基礎(chǔ)上，本發(fā)明實(shí)施例提供的方法還包括時(shí)間屬性測(cè)，相應(yīng)地，所述標(biāo)識(shí)屬性測(cè)試后將所述事件數(shù)據(jù)發(fā)送至與所述標(biāo)識(shí)集合對(duì)應(yīng)的時(shí)間分組中；其中，所述時(shí)間分組的個(gè)數(shù)與所述標(biāo)識(shí)集合的個(gè)數(shù)相同；
所述時(shí)間測(cè)試中，包括多個(gè)時(shí)間分組，每個(gè)時(shí)間分組中包含多個(gè)時(shí)間區(qū)間分組，通過接收經(jīng)過標(biāo)識(shí)屬性測(cè)試后的事件數(shù)據(jù)進(jìn)行時(shí)間屬性測(cè)試，以將所述事件數(shù)據(jù)分配到對(duì)應(yīng)的時(shí)間區(qū)間分組，并將所述事件數(shù)據(jù)發(fā)送至與所述時(shí)間區(qū)間分組對(duì)應(yīng)的位置分組中；相應(yīng)地所述位置屬性測(cè)試中將接收所述時(shí)間檢測(cè)后的所述事件數(shù)據(jù)。
在具體實(shí)施中，事件檢測(cè)模型的輸入數(shù)據(jù)實(shí)例x歸納為：
其中，i表示監(jiān)控對(duì)象唯一標(biāo)識(shí)(id)；t表示當(dāng)前時(shí)間(time)；p表示所在位置(position)；
所述標(biāo)識(shí)屬性測(cè)試后事件數(shù)據(jù)將發(fā)送至與標(biāo)識(shí)集合對(duì)應(yīng)的時(shí)間分組中。在時(shí)間屬性測(cè)試中，時(shí)間為區(qū)間屬性，對(duì)該維度的劃分為區(qū)間劃分，屬性測(cè)試可表示為：
t∈[ts，te]
該測(cè)試的目的是允許以時(shí)間區(qū)間為粒度對(duì)監(jiān)控策略進(jìn)行設(shè)置，例如對(duì)白天和晚上進(jìn)行不同策略的監(jiān)控，對(duì)于通過了時(shí)間屬性的事件數(shù)據(jù)，時(shí)間屬性測(cè)試模塊會(huì)將所述事件數(shù)據(jù)發(fā)送至與所述時(shí)間區(qū)間分組對(duì)應(yīng)的位置分組中。
通過此方法，在事件檢測(cè)中增加對(duì)時(shí)間屬性的檢測(cè)，提高了在事件檢測(cè)中對(duì)事件發(fā)生時(shí)間的針對(duì)性，提高了事件檢測(cè)精度，同時(shí)還可以幫助提高事件檢測(cè)的實(shí)時(shí)性。
在上述實(shí)施例基礎(chǔ)上，本發(fā)明實(shí)施例提供的方法還包括所述位置屬性測(cè)試、所述時(shí)間屬性測(cè)試和所述行為屬性測(cè)試，根據(jù)事件數(shù)據(jù)的標(biāo)識(shí)屬性信息的一致性哈希結(jié)果作為處理節(jié)點(diǎn)的選擇依據(jù)。
具體實(shí)施中，模型實(shí)現(xiàn)中的數(shù)據(jù)源將監(jiān)控對(duì)象id的一致性哈希結(jié)果作為了分組內(nèi)節(jié)點(diǎn)選擇的依據(jù)，時(shí)間屬性測(cè)試模塊，位置屬性測(cè)試模塊以及行為屬性測(cè)試模塊中，系統(tǒng)都會(huì)根據(jù)id的一致性哈希結(jié)果，分別進(jìn)行時(shí)間屬性分組，位置屬性分組以及行為屬性分組中具體處理節(jié)點(diǎn)的選擇。
通過此方法，實(shí)現(xiàn)了分組內(nèi)各節(jié)點(diǎn)的負(fù)載均衡并適應(yīng)節(jié)點(diǎn)并行速度的動(dòng)態(tài)改變，同時(shí)可以盡可能的保證相同的監(jiān)控對(duì)象的監(jiān)測(cè)消息可以路由到同一分組節(jié)點(diǎn)。
在上述實(shí)施例的基礎(chǔ)上，本發(fā)明實(shí)施例提供的方法中，所述行為屬性信息是所有行為監(jiān)測(cè)結(jié)果的一個(gè)行為合集
對(duì)所述事件數(shù)據(jù)中各行為的加權(quán)和進(jìn)行閾值判決的方式進(jìn)行行為屬性測(cè)試，
在具體實(shí)施中，對(duì)行為屬性檢測(cè)為監(jiān)控目標(biāo)在給定時(shí)間段內(nèi)的總體行為情況，對(duì)于一個(gè)監(jiān)控目標(biāo)的行為是一個(gè)多個(gè)行為的集合，例如，對(duì)于受監(jiān)測(cè)行為集合為(action1，action2，action3，action4，action5，action6)的監(jiān)控場(chǎng)景，如果目標(biāo)對(duì)象在一定時(shí)間段內(nèi)發(fā)生了action1，action3以及action6行為，則其行為屬性值可表示為一個(gè)6維向量：
對(duì)于目標(biāo)對(duì)象，其在特定時(shí)間、特定位置的事件判決取決于其各類行為的綜合信息，同時(shí)，考慮到不同行為對(duì)事件決定程度的不一致，本發(fā)明實(shí)施例采取了如下公式：
所示的對(duì)各行為的加權(quán)和進(jìn)行閾值判決的方式進(jìn)行屬性測(cè)試，其中，
通過此方法，使用權(quán)重加和的形式足以完成對(duì)任意行為組合模式的表征，使得對(duì)事件的判定更加精準(zhǔn)，同時(shí)，公式
在上述實(shí)施例的基礎(chǔ)上，本發(fā)明實(shí)施例提供的事件檢測(cè)方法構(gòu)建于分布式流式計(jì)算引擎上。
在具體實(shí)施中，本發(fā)明實(shí)施例設(shè)計(jì)的檢測(cè)模型構(gòu)建于分布式流式計(jì)算引擎之上，模型中各檢測(cè)規(guī)則實(shí)現(xiàn)為一條條并聯(lián)的處理流圖，而規(guī)則中各合取子句則實(shí)現(xiàn)為處理流圖中的一個(gè)個(gè)串聯(lián)的處理節(jié)點(diǎn)。處理節(jié)點(diǎn)會(huì)對(duì)輸入的每一個(gè)屬性消息進(jìn)行屬性測(cè)試，并依據(jù)測(cè)試結(jié)果選擇下一節(jié)點(diǎn)路由或者輸出最終檢測(cè)結(jié)果。
通過此方法，能夠從大規(guī)模實(shí)時(shí)增量產(chǎn)生的多維監(jiān)測(cè)數(shù)據(jù)流中快速提取目標(biāo)事件，解決了復(fù)雜事件處理引擎難以應(yīng)對(duì)大規(guī)模的檢測(cè)數(shù)據(jù)流的問題。
本發(fā)明實(shí)施例的技術(shù)方案提供了一種事件檢測(cè)系統(tǒng)及方法，能夠應(yīng)對(duì)大規(guī)模的多維監(jiān)測(cè)數(shù)據(jù)流，并具有很低的檢測(cè)時(shí)延。模型的檢測(cè)規(guī)則既可以由人工依據(jù)領(lǐng)域知識(shí)定義，也能夠通過自主學(xué)習(xí)算法從訓(xùn)練數(shù)據(jù)集中提取，因而在適用范圍、易用程度以及事件檢測(cè)性能包括準(zhǔn)確率及召回率等上都有很好的表現(xiàn)。
其次，本發(fā)明將多種多樣的監(jiān)測(cè)數(shù)據(jù)抽象分離為監(jiān)控對(duì)象id、時(shí)間、位置以及行為等四維屬性，并通過預(yù)先構(gòu)建行為集合的方式，用行為向量來對(duì)監(jiān)控對(duì)象行為發(fā)生情況進(jìn)行表征。通過這種屬性規(guī)約，簡(jiǎn)化了事件檢測(cè)模型的構(gòu)建。
同時(shí)，本發(fā)明依據(jù)屬性測(cè)試以及監(jiān)控對(duì)象id的一致性哈希結(jié)果，對(duì)到達(dá)數(shù)據(jù)進(jìn)行處理節(jié)點(diǎn)選擇，完成了數(shù)據(jù)處理的分布式實(shí)現(xiàn)，從而能夠應(yīng)對(duì)大規(guī)模的監(jiān)測(cè)數(shù)據(jù)流，并具有很強(qiáng)的擴(kuò)展性。
以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
最后應(yīng)說明的是：以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。