專利名稱：一種網(wǎng)絡(luò)異常的檢測(cè)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體涉及一種網(wǎng)絡(luò)異常的檢測(cè)方法和裝置。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)異常的檢測(cè)方法也變得多種多樣，有基于概率分布的異常檢測(cè)、基于深度的異常檢測(cè)、基于密度的異常檢測(cè)和基于聚類的異常檢測(cè)等?，F(xiàn)有技術(shù)中，LOCI (local correlation integral，局部相關(guān)積分)異常檢測(cè)方法是一種基于密度的異常檢測(cè)方法，屬于比較新的異常檢測(cè)方法，該方法判斷準(zhǔn)確率較高。以二維的網(wǎng)絡(luò)數(shù)據(jù)為例來(lái)說(shuō)明該方法的原理可參見(jiàn)圖1，是現(xiàn)有技術(shù)局部相關(guān)積分異常檢測(cè)方法的原理示意圖，圖中有Pi、Pl、P2和P3四個(gè)點(diǎn)，r是采樣鄰域(采樣半徑)，α r是統(tǒng)計(jì)鄰域(統(tǒng)計(jì)半徑)，如果以某個(gè)點(diǎn)為圓心(如Pi)在統(tǒng)計(jì)鄰域(小的虛線圓)中的點(diǎn)的局部密度相對(duì)于在采樣鄰域(大的實(shí)線圓)中所有點(diǎn)的平均密度的1/3倍還要小，也就是計(jì)算 MDEF (Multi-granularity Deviation Factor，多粒度偏斜因子)值和 δ MDEF，并計(jì)算兩者的比值即多粒度偏斜因子比值，若大于3，則該點(diǎn)為異常，其中，統(tǒng)計(jì)鄰域的半徑(統(tǒng)計(jì)半徑)一般情況下取采樣鄰域的半徑(采樣半徑)的0. 1倍，即此時(shí)α為0. 1。LOCI方法雖然能夠比較準(zhǔn)確的識(shí)別出數(shù)據(jù)中的異常，但是它無(wú)法處理動(dòng)態(tài)變化的網(wǎng)絡(luò)數(shù)據(jù)，因此基于LOCI方法建立的異常檢測(cè)方法只能采用離線的方式對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行檢測(cè)，在網(wǎng)絡(luò)攻擊逐漸增多且攻擊速度更快的情況下，這種離線式檢測(cè)系統(tǒng)的弊端顯而易見(jiàn)。為了對(duì)動(dòng)態(tài)變化的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行實(shí)時(shí)的檢測(cè)，技術(shù)人員提出了一種基于快速增量LOCI 方法的異常檢測(cè)方法，這種檢測(cè)方法首先采用LOCI方法對(duì)正常的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，產(chǎn)生初始的檢測(cè)模型；當(dāng)新的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)入到系統(tǒng)中或者數(shù)據(jù)的老化周期到達(dá)時(shí)，采用增量 LOCI方法對(duì)檢測(cè)模型進(jìn)行更新；用更新后的檢測(cè)模型檢測(cè)網(wǎng)絡(luò)數(shù)據(jù)中的異常。例如，假設(shè)一個(gè)點(diǎn)集由Ρ0、Ρ1、Ρ2、Ρ3、Ρ4等點(diǎn)組成，采樣半徑為r，統(tǒng)計(jì)半徑為α r。PO的采樣半徑內(nèi)包含點(diǎn)P1、P2、P3、P4?？梢园凑赵隽縇OCI方法計(jì)算PO點(diǎn)是否異常。在現(xiàn)在有一個(gè)新的點(diǎn) Pn插入到點(diǎn)PO的附近，并位于PO點(diǎn)的統(tǒng)計(jì)半徑之內(nèi)，則可以按照LOCI方法計(jì)算MDEF值， 從而判斷Pn點(diǎn)是否異常，并需要對(duì)檢測(cè)模型進(jìn)行更新，即更新Pn的采樣半徑和統(tǒng)計(jì)半徑內(nèi)的所有點(diǎn)的鄰居數(shù)目，舉例來(lái)說(shuō)，Pn在PO點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑之內(nèi)，則PO點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑之內(nèi)的鄰居數(shù)目分別加一，而Pn在P2點(diǎn)的采樣半徑之內(nèi)、統(tǒng)計(jì)半徑之外，則 P2點(diǎn)的采樣半徑之內(nèi)的鄰居數(shù)目加一，統(tǒng)計(jì)半徑之內(nèi)的鄰居數(shù)目不變。同理，當(dāng)一個(gè)點(diǎn)Pd 從點(diǎn)集中刪除時(shí)，也要對(duì)Pd采樣半徑內(nèi)和統(tǒng)計(jì)半徑內(nèi)的所有點(diǎn)的鄰居數(shù)目進(jìn)行更新。在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，現(xiàn)有靜態(tài)LOCI的異常檢測(cè)方法不能檢測(cè)動(dòng)態(tài)變化的網(wǎng)絡(luò)數(shù)據(jù)的異常，而增量LOCI方法雖然能夠檢測(cè)動(dòng)態(tài)變化的實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的異常，但是動(dòng)態(tài)的樣本點(diǎn)被插入和刪除時(shí)，檢測(cè)模型對(duì)于設(shè)置的采樣半徑的大小變化較敏感，容易產(chǎn)生誤檢。

發(fā)明內(nèi)容
4
本發(fā)明實(shí)施例提供一種網(wǎng)絡(luò)異常的檢測(cè)方法和裝置。一種網(wǎng)絡(luò)異常的檢測(cè)方法，包括將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)；依次選擇預(yù)置的采樣半徑組中的各個(gè)采樣半徑；根據(jù)所述樣本點(diǎn)和選擇的采樣半徑，按照局部相關(guān)積分方法，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型；根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況。相應(yīng)地，一種網(wǎng)絡(luò)異常的檢測(cè)裝置，包括數(shù)據(jù)轉(zhuǎn)換模塊，用于將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)；模型更新模塊，用于依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，按照局部相關(guān)積分方法，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型；異常檢測(cè)模塊，用于根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況。本發(fā)明實(shí)施例通過(guò)將依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型，避免僅根據(jù)一個(gè)采樣半徑更新的檢測(cè)模型，從而導(dǎo)致檢測(cè)模型對(duì)于設(shè)置的采樣半徑的大小變化過(guò)于敏感，通過(guò)多個(gè)采樣半徑來(lái)更新檢測(cè)模型，在任意采樣半徑對(duì)應(yīng)的更新的檢測(cè)模型下的檢測(cè)結(jié)果為異常就輸出異常，在一定程度上減小了漏報(bào)和誤報(bào)的概率，提高異常檢測(cè)的異常識(shí)別能力和檢測(cè)精度。


為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是現(xiàn)有技術(shù)局部相關(guān)積分異常檢測(cè)方法的原理示意圖；圖2是本發(fā)明網(wǎng)絡(luò)異常的檢測(cè)方法的第一實(shí)施例流程示意圖；圖3是本發(fā)明網(wǎng)絡(luò)異常的檢測(cè)方法的第二實(shí)施例流程示意圖；圖4是本發(fā)明網(wǎng)絡(luò)異常的檢測(cè)裝置的第三實(shí)施例結(jié)構(gòu)示意圖；圖5是本發(fā)明實(shí)施例應(yīng)用場(chǎng)景一和應(yīng)用場(chǎng)景二的流程示意圖；圖6是本發(fā)明實(shí)施例應(yīng)用場(chǎng)景三的流程示意圖；圖7是本發(fā)明實(shí)施例應(yīng)用場(chǎng)景四的流程示意圖。
具體實(shí)施例方式本發(fā)明實(shí)施例提供一種提高檢測(cè)精度的網(wǎng)絡(luò)異常的檢測(cè)方法和裝置以下分別進(jìn)行詳細(xì)說(shuō)明。參見(jiàn)圖2，是本發(fā)明提供的網(wǎng)絡(luò)異常的檢測(cè)方法的第一實(shí)施例流程圖步驟101，將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)。樣本點(diǎn)是對(duì)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的抽象，網(wǎng)絡(luò)異常的檢測(cè)裝置將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的某個(gè)屬性值變換后映射為對(duì)應(yīng)該屬性的坐標(biāo)軸上的值，那么這個(gè)值就是實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的抽象，一般情況下，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)可看作一個(gè)具體的網(wǎng)絡(luò)行為，它具有多個(gè)屬性，則實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的多個(gè)屬性的屬性值可以映射為高維空間中的點(diǎn)，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換后成為樣本點(diǎn)，該樣本點(diǎn)的多個(gè)坐標(biāo)值也對(duì)應(yīng)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的各個(gè)屬性值。步驟102，依次選擇預(yù)置的采樣半徑組中的各個(gè)采樣半徑。網(wǎng)絡(luò)異常的檢測(cè)裝置預(yù)置了多個(gè)采樣半徑，多個(gè)采樣半徑形成一個(gè)采樣半徑組。 依次選擇采樣半徑組中的采樣半徑。步驟103，根據(jù)選擇的采樣半徑，按照增量局部相關(guān)積分方法，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型。在步驟102選擇了采樣半徑后，網(wǎng)絡(luò)異常的檢測(cè)裝置根據(jù)選擇的采樣半徑，按照增量局部相關(guān)積分方法，更新檢測(cè)模型。檢測(cè)模型中包括高維空間中的所有點(diǎn)以及各個(gè)點(diǎn)的鄰居信息。鄰居信息可以為各個(gè)點(diǎn)有哪些鄰居點(diǎn)，這里的鄰居點(diǎn)可以用鄰居點(diǎn)的標(biāo)識(shí) (ID)表示，也可以直接記錄鄰居點(diǎn)的坐標(biāo)。鄰居信息也可以為各個(gè)點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑內(nèi)分別存在的鄰居點(diǎn)的數(shù)量。當(dāng)鄰居信息為各個(gè)點(diǎn)有哪些鄰居點(diǎn)時(shí)，更新檢測(cè)模型具體可以為，搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，即將各個(gè)鄰居點(diǎn)添加到該樣本點(diǎn)的鄰居信息中，并更新各個(gè)鄰居點(diǎn)的鄰居信息，即將該樣本點(diǎn)添加到各個(gè)鄰居點(diǎn)的鄰居信息中， 從而更新檢測(cè)模型。檢測(cè)模型中包括高維空間中的所有點(diǎn)以及各個(gè)點(diǎn)的鄰居信息，即各個(gè)點(diǎn)有哪些鄰居點(diǎn)，這里的鄰居點(diǎn)可以用鄰居點(diǎn)的標(biāo)識(shí)(ID)表示，也可以直接記錄鄰居點(diǎn)的坐標(biāo)。當(dāng)鄰居信息為各個(gè)點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑內(nèi)分別存在的鄰居點(diǎn)的數(shù)量時(shí)，更新檢測(cè)模型具體可以為，搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，即分別記錄距離該樣本點(diǎn)采樣半徑和統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)數(shù)量，分別為第一鄰居數(shù)目和第二鄰居數(shù)目，并更新各個(gè)鄰居點(diǎn)的鄰居信息，即將距離該樣本點(diǎn)采樣半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第一鄰居數(shù)目加一，將距離該樣本點(diǎn)統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第二鄰居數(shù)目加一，從而更新檢測(cè)模型。選擇不同的采樣半徑會(huì)產(chǎn)生不同的檢測(cè)模型。依次選擇采樣半徑組中不同的采樣半徑，根據(jù)不同的采樣半徑，依次更新與采樣半徑對(duì)應(yīng)的檢測(cè)模型。統(tǒng)計(jì)半徑可以隨著采樣半徑變化，例如統(tǒng)計(jì)半徑為采樣半徑與一固定比值α之積。步驟104，根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況。在依次獲得更新后的檢測(cè)模型后，根據(jù)每次更新的檢測(cè)模型，對(duì)樣本點(diǎn)進(jìn)行異常情況的檢測(cè)，在任意一個(gè)采樣半徑對(duì)應(yīng)的檢測(cè)模型下，檢測(cè)樣本點(diǎn)結(jié)果為異常，那么就視為該樣本點(diǎn)為異常。也可以采用其他的判斷樣本點(diǎn)的異常情況的條件，例如在任意η個(gè)采樣半徑對(duì)應(yīng)的檢測(cè)模型下，檢測(cè)樣本點(diǎn)結(jié)果為異常，那么就視為該樣本點(diǎn)為異常，這里的η是一個(gè)大于1小于采樣半徑組中采樣半徑總數(shù)的整數(shù)。本發(fā)明實(shí)施例通過(guò)將依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型，避免僅根據(jù)一個(gè)采樣半徑更新的檢測(cè)模型，從而導(dǎo)致檢測(cè)模型對(duì)于設(shè)置的采樣半徑的大小變化過(guò)于敏感，通過(guò)多個(gè)采樣半徑來(lái)更新檢測(cè)模型，在任意采樣半徑對(duì)應(yīng)的更新的檢測(cè)模型下的檢測(cè)結(jié)果為異常就輸出異常，在一定程度上減小了漏報(bào)和誤報(bào)的概率，提高異常檢測(cè)的異常識(shí)別能力和檢測(cè)精度。
6
為便于理解，下面對(duì)本發(fā)明實(shí)施例中的網(wǎng)絡(luò)異常的檢測(cè)方法進(jìn)行詳細(xì)描述，請(qǐng)參閱圖3，本發(fā)明實(shí)施例中網(wǎng)絡(luò)異常的檢測(cè)方法第二實(shí)施例與第一實(shí)施例的不同之處是，第二實(shí)施例不僅通過(guò)多個(gè)采樣半徑來(lái)更新檢測(cè)模型，還提高了搜索鄰居點(diǎn)的速度，通過(guò)KD搜索等快速搜索方式加快了異常檢測(cè)過(guò)程中搜索鄰居點(diǎn)的速度。步驟201，通過(guò)靜態(tài)局部相關(guān)積分方法對(duì)正常的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，生成初始的檢測(cè)模型。正常的網(wǎng)絡(luò)數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)轉(zhuǎn)換后形成正常的樣本點(diǎn)，正常樣本點(diǎn)經(jīng)過(guò)靜態(tài)LOCI 方法的訓(xùn)練，生成初始的檢測(cè)模型。步驟202，將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)。一般情況下，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)是一個(gè)具體的網(wǎng)絡(luò)行為的抽象，它具有多個(gè)屬性，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的多個(gè)屬性的屬性值可以映射為高維空間中的點(diǎn)，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換后成為樣本點(diǎn)，該樣本點(diǎn)的多個(gè)坐標(biāo)值也對(duì)應(yīng)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的各個(gè)屬性值。樣本點(diǎn)是對(duì)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的抽象，網(wǎng)絡(luò)異常的檢測(cè)裝置將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的某個(gè)屬性值變換后映射為對(duì)應(yīng)該屬性的坐標(biāo)軸上的值，那么這個(gè)值就是實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的屬性值或網(wǎng)絡(luò)行為的屬性的抽象。步驟203，依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑。網(wǎng)絡(luò)異常的檢測(cè)裝置預(yù)置了多個(gè)采樣半徑，多個(gè)采樣半徑形成一個(gè)采樣半徑組。 依次選擇采樣半徑組中的采樣半徑。步驟204，根據(jù)選擇的采樣半徑，通過(guò)快速搜索方式搜索與樣本點(diǎn)的距離在采樣半徑內(nèi)的所有鄰居點(diǎn)。這里的距離為高維空間的歐幾里得度量?？梢圆捎肒D樹(K-DimensionalTree)搜索方式實(shí)現(xiàn)鄰居點(diǎn)的快速搜索，KD樹是一種K維平衡樹，用于進(jìn)行數(shù)據(jù)的快速查找，KD樹的頂層結(jié)點(diǎn)按一維進(jìn)行劃分，下一層結(jié)點(diǎn)按另一維進(jìn)行劃分，以此類推，各個(gè)維循環(huán)往復(fù)。劃分要使得在每個(gè)結(jié)點(diǎn)，大約一半存儲(chǔ)在子樹中的點(diǎn)落入一側(cè)，而另一半落入另一側(cè)。當(dāng)一個(gè)結(jié)點(diǎn)中的點(diǎn)數(shù)少于給定的最大點(diǎn)數(shù)時(shí)，KD樹劃分結(jié)束。以二維KD樹中進(jìn)行KD樹搜索為例， 介紹KD搜索的步驟為首先，深度優(yōu)先，找到點(diǎn)的最小矩形域；其次，搜索父節(jié)點(diǎn)，找到相鄰的最小矩形域；再次，在前面找到的所有矩形域中，找出樣本點(diǎn)對(duì)應(yīng)的鄰居點(diǎn)。采用KD樹搜索方式，只需要在KD樹搜索到的矩形域中進(jìn)行鄰居點(diǎn)的判斷，避免了遍歷所有點(diǎn)，加快了異常檢測(cè)過(guò)程中搜索鄰居點(diǎn)的速度。步驟204在每次步驟203選擇的采樣半徑后，都通過(guò)KD搜索方式找到與樣本點(diǎn)的距離在步驟203選擇的采樣半徑內(nèi)的所有鄰居點(diǎn)。步驟205，根據(jù)搜索到的鄰居點(diǎn)，更新檢測(cè)模型。在添加樣本點(diǎn)的情況下，依次選擇通過(guò)步驟204搜索到的采樣半徑下的鄰居點(diǎn)， 建立該樣本點(diǎn)的鄰居信息，并將樣本點(diǎn)增加為各個(gè)鄰居點(diǎn)的鄰居信息中，從而更新了檢測(cè)模型。具體的，若鄰居信息記錄鄰居點(diǎn)的標(biāo)識(shí)(ID)，或直接記錄鄰居點(diǎn)的坐標(biāo)，更新檢測(cè)模型具體可以為，根據(jù)搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，即將各個(gè)鄰居點(diǎn)添加到該樣本點(diǎn)的鄰居信息中，并更新各個(gè)鄰居點(diǎn)的鄰居信息，即將該樣本點(diǎn)添加到各個(gè)鄰居點(diǎn)的鄰居信息中，從而更新檢測(cè)模型。檢測(cè)模型中包括高維空間中的所有點(diǎn)以及各個(gè)點(diǎn)的鄰居信息，即各個(gè)點(diǎn)有哪些鄰居點(diǎn)，這里的鄰居點(diǎn)可以用鄰居點(diǎn)的標(biāo)識(shí)(ID)表示，也可以直接記錄鄰居點(diǎn)的坐標(biāo)。此外，還可以將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表等待被刪除，即網(wǎng)絡(luò)異常檢測(cè)裝置根據(jù)各個(gè)鄰居點(diǎn)的時(shí)間戳，判斷各個(gè)鄰居點(diǎn)是否超過(guò)老化時(shí)間，將超過(guò)老化時(shí)間的鄰居點(diǎn)添加到刪除列表。在樣本點(diǎn)被刪除的情況下，將樣本點(diǎn)加入到刪除列表等待被刪除，將樣本點(diǎn)從各個(gè)鄰居點(diǎn)的鄰居信息中刪除，從而更新了檢測(cè)模型，此外，還要將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表，網(wǎng)絡(luò)異常檢測(cè)裝置根據(jù)各個(gè)鄰居點(diǎn)的時(shí)間戳，判斷各個(gè)鄰居點(diǎn)是否超過(guò)老化時(shí)間，將超過(guò)老化時(shí)間的鄰居點(diǎn)添加到刪除列表。網(wǎng)絡(luò)異常檢測(cè)裝置可以定時(shí)從KD樹中刪除該刪除列表中的樣本點(diǎn)和超過(guò)老化周期的鄰居點(diǎn)。若鄰居信息不記錄鄰居點(diǎn)的標(biāo)識(shí)或坐標(biāo)，只記錄各個(gè)鄰居點(diǎn)的鄰居數(shù)目，可以節(jié)約存儲(chǔ)空間。在添加樣本點(diǎn)的情況下，依次選擇通過(guò)步驟204搜索到的采樣半徑下的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，并將樣本點(diǎn)增加為各個(gè)鄰居點(diǎn)的鄰居信息中，從而更新了檢測(cè)模型。具體的，當(dāng)鄰居信息可以為各個(gè)點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑內(nèi)分別存在的鄰居點(diǎn)的數(shù)量時(shí)，更新檢測(cè)模型為，根據(jù)搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，即分別記錄距離該樣本點(diǎn)采樣半徑和統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)數(shù)量，分別為第一鄰居數(shù)目和第二鄰居數(shù)目，并更新各個(gè)鄰居點(diǎn)的鄰居信息，即將距離該樣本點(diǎn)采樣半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第一鄰居數(shù)目加一，將距離該樣本點(diǎn)統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第二鄰居數(shù)目加一，從而更新檢測(cè)模型。此外，還要將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表，網(wǎng)絡(luò)異常檢測(cè)裝置根據(jù)各個(gè)鄰居點(diǎn)的時(shí)間戳，判斷各個(gè)鄰居點(diǎn)是否超過(guò)老化時(shí)間，將超過(guò)老化時(shí)間的鄰居點(diǎn)添加到刪除列表。網(wǎng)絡(luò)異常檢測(cè)裝置可以定時(shí)從KD樹中刪除該刪除列表中的樣本點(diǎn)和超過(guò)老化周期的鄰居點(diǎn)。在樣本點(diǎn)被刪除的情況下，將樣本點(diǎn)加入到刪除列表等待被刪除，將樣本點(diǎn)從各個(gè)鄰居點(diǎn)的鄰居信息中刪除，從而更新了檢測(cè)模型，具體的，當(dāng)鄰居信息為各個(gè)點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑內(nèi)分別存在的鄰居點(diǎn)的數(shù)量時(shí)，更新檢測(cè)模型具體可以為，搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，更新各個(gè)鄰居點(diǎn)的鄰居信息，即將距離該樣本點(diǎn)采樣半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第一鄰居數(shù)目減一，將距離該樣本點(diǎn)統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第二鄰居數(shù)目減一，從而更新檢測(cè)模型。此外，還可以將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表，既網(wǎng)絡(luò)異常檢測(cè)裝置根據(jù)各個(gè)鄰居點(diǎn)的時(shí)間戳，判斷各個(gè)鄰居點(diǎn)是否超過(guò)老化時(shí)間， 將超過(guò)老化時(shí)間的鄰居點(diǎn)添加到刪除列表。網(wǎng)絡(luò)異常檢測(cè)裝置可以定時(shí)從KD樹中刪除該刪除列表中的樣本點(diǎn)和超過(guò)老化周期的鄰居點(diǎn)。步驟206，根據(jù)更新的檢測(cè)模型，計(jì)算局部密度，即樣本點(diǎn)的采樣半徑內(nèi)各個(gè)點(diǎn)各自的統(tǒng)計(jì)半徑內(nèi)的點(diǎn)的密度，并計(jì)算平均密度，即樣本點(diǎn)的采樣半徑內(nèi)各個(gè)點(diǎn)的局部密度的平均，根據(jù)所述平均密度和所述局部密度，計(jì)算多粒度偏斜因子比值。計(jì)算樣本點(diǎn)的局部密度時(shí)，若鄰居信息記錄的是樣本點(diǎn)的標(biāo)識(shí)或坐標(biāo)，那么先根據(jù)樣本點(diǎn)與各個(gè)鄰居點(diǎn)的距離判斷哪些鄰居點(diǎn)在樣本點(diǎn)的統(tǒng)計(jì)半徑內(nèi)，再根據(jù)這些鄰居點(diǎn)與樣本點(diǎn)的距離計(jì)算密度。 其它各個(gè)點(diǎn)的局部密度計(jì)算方法類似，若鄰居信息記錄的是采樣半徑的鄰居點(diǎn)數(shù)目和統(tǒng)計(jì)半徑鄰居點(diǎn)的數(shù)目，那么可以直接計(jì)算上述平均密度和局部密度。步驟207，判斷多粒度偏斜因子比值是否在正常范圍，二維空間中的多粒度偏斜因子的比值的正常范圍一般是(0，3)，若大于3時(shí)記錄樣本點(diǎn)異常。高維空間中也可以采用其他預(yù)置的正常范圍。在任意采樣半徑對(duì)應(yīng)的檢測(cè)模型下，計(jì)算的多粒度偏斜因子比值大于
83時(shí)，則判斷樣本點(diǎn)異常。其中，步驟204在每次步驟203選擇采樣半徑后都執(zhí)行一次，從而在步驟204獲得與采樣半徑對(duì)應(yīng)的所有的鄰居點(diǎn)，而步驟205根據(jù)每次步驟204搜索到的鄰居點(diǎn)都更新該采樣半徑對(duì)應(yīng)的檢測(cè)模型，步驟206根據(jù)每個(gè)更新的檢查模型都執(zhí)行一次異常檢測(cè)的計(jì)算。因此，步驟203選擇了多少個(gè)采樣半徑，步驟203到步驟206就重復(fù)執(zhí)行多少次，在任意一個(gè)采樣半徑下，步驟206計(jì)算的多粒度偏斜因子值大于3，就判斷樣本點(diǎn)異常。本發(fā)明實(shí)施例通過(guò)局部相關(guān)積分方法獲得初始檢測(cè)模型，依次選擇樣本點(diǎn)的預(yù)置的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型，減小了采樣半徑的設(shè)置對(duì)于檢測(cè)模型的影響的敏感度，在一定程度上減小了產(chǎn)生誤檢的幾率，從而提高異常檢測(cè)的異常識(shí)別能力，并且，在異常檢測(cè)過(guò)程中，利用KD搜索的方式搜索鄰居點(diǎn)，先搜索鄰域，對(duì)鄰域中的點(diǎn)進(jìn)行鄰居點(diǎn)的判斷，避免了遍歷所有點(diǎn)， 加快了搜索鄰居點(diǎn)的速度，提高了異常檢測(cè)速度，從而實(shí)現(xiàn)了在高速網(wǎng)絡(luò)環(huán)境下實(shí)時(shí)變化的網(wǎng)絡(luò)數(shù)據(jù)的異常檢測(cè)。下面對(duì)用于執(zhí)行上述網(wǎng)絡(luò)異常的檢測(cè)方法的網(wǎng)絡(luò)數(shù)據(jù)異常檢測(cè)裝置進(jìn)行說(shuō)明，其結(jié)構(gòu)示意圖參考圖4。該裝置包括數(shù)據(jù)轉(zhuǎn)換模塊31，用于將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)。一般情況下，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)可看作一個(gè)具體的網(wǎng)絡(luò)行為，它具有多個(gè)屬性，則實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的多個(gè)屬性的屬性值可以映射為高維空間中的點(diǎn)，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換后成為樣本點(diǎn)，該樣本點(diǎn)的多個(gè)坐標(biāo)值也對(duì)應(yīng)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的各個(gè)屬性值。樣本點(diǎn)是對(duì)實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的抽象，網(wǎng)絡(luò)異常的檢測(cè)裝置將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)的某個(gè)屬性值變換后映射為對(duì)應(yīng)該屬性的坐標(biāo)軸上的值，那么這個(gè)值就是實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)或網(wǎng)絡(luò)行為的抽象。模型更新模塊32，用于依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型。檢測(cè)模型中包括高維空間中的所有點(diǎn)以及各個(gè)點(diǎn)的鄰居信息。鄰居信息可以為各個(gè)點(diǎn)有哪些鄰居點(diǎn)，這里的鄰居點(diǎn)可以用鄰居點(diǎn)的標(biāo)識(shí)(ID)表示，也可以直接記錄鄰居點(diǎn)的坐標(biāo)。鄰居信息也可以為各個(gè)點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑內(nèi)分別存在的鄰居點(diǎn)的數(shù)量。當(dāng)鄰居信息為各個(gè)點(diǎn)有哪些鄰居點(diǎn)時(shí)，更新檢測(cè)模型具體可以為，搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，即將各個(gè)鄰居點(diǎn)添加到該樣本點(diǎn)的鄰居信息中，并更新各個(gè)鄰居點(diǎn)的鄰居信息，即將該樣本點(diǎn)添加到各個(gè)鄰居點(diǎn)的鄰居信息中， 從而更新檢測(cè)模型。檢測(cè)模型中包括高維空間中的所有點(diǎn)以及各個(gè)點(diǎn)的鄰居信息，即各個(gè)點(diǎn)有哪些鄰居點(diǎn)，這里的鄰居點(diǎn)可以用鄰居點(diǎn)的標(biāo)識(shí)(ID)表示，也可以直接記錄鄰居點(diǎn)的坐標(biāo)。當(dāng)鄰居信息為各個(gè)點(diǎn)的采樣半徑和統(tǒng)計(jì)半徑內(nèi)分別存在的鄰居點(diǎn)的數(shù)量時(shí)，更新檢測(cè)模型具體可以為，搜索該采樣半徑下該樣本點(diǎn)的鄰居點(diǎn)，建立該樣本點(diǎn)的鄰居信息，即分別記錄距離該樣本點(diǎn)采樣半徑和統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)數(shù)量，分別為第一鄰居數(shù)目和第二鄰居數(shù)目，并更新各個(gè)鄰居點(diǎn)的鄰居信息，即將距離該樣本點(diǎn)采樣半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第一鄰居數(shù)目加一，將距離該樣本點(diǎn)統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)的鄰居信息中的第二鄰居數(shù)目加一，從而更新檢測(cè)模型。樣本點(diǎn)被設(shè)置了多個(gè)采樣半徑，多個(gè)采樣半徑形成一個(gè)采樣半徑組。依次選擇采樣半徑組中的采樣半徑。在選擇的采樣半徑后，根據(jù)選擇的采樣半徑，搜索該采樣半徑下的鄰居點(diǎn)，根據(jù)鄰居點(diǎn)的時(shí)間戳和老化周期，更新檢測(cè)模型。其中，采樣半徑的選擇會(huì)影響檢測(cè)模型的更新。選擇不同的采樣半徑會(huì)產(chǎn)生不同的檢測(cè)模型。依次選擇采樣半徑組中不同的采樣半徑，根據(jù)不同的采樣半徑，依次更新與采樣半徑對(duì)應(yīng)的檢測(cè)模型。統(tǒng)計(jì)半徑可以隨著采樣半徑變化，例如統(tǒng)計(jì)半徑為采樣半徑與一固定比值α之積。異常檢測(cè)模塊33，用于根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況。根據(jù)更新的檢測(cè)模型，計(jì)算局部密度，即樣本點(diǎn)的采樣半徑內(nèi)各個(gè)點(diǎn)各自的統(tǒng)計(jì)半徑內(nèi)的點(diǎn)的密度，并計(jì)算平均密度，即樣本點(diǎn)的采樣半徑內(nèi)各個(gè)點(diǎn)的局部密度的平均，根據(jù)所述平均密度和所述局部密度，計(jì)算多粒度偏斜因子比值。計(jì)算樣本點(diǎn)的局部密度時(shí)，若鄰居信息記錄的是樣本點(diǎn)的標(biāo)識(shí)或坐標(biāo)，那么先根據(jù)樣本點(diǎn)與各個(gè)鄰居點(diǎn)的距離判斷哪些鄰居點(diǎn)在樣本點(diǎn)的統(tǒng)計(jì)半徑內(nèi)，再根據(jù)這些鄰居點(diǎn)與樣本點(diǎn)的距離計(jì)算密度。其它各個(gè)點(diǎn)的局部密度計(jì)算方法類似，若鄰居信息記錄的是采樣半徑的鄰居點(diǎn)數(shù)目和統(tǒng)計(jì)半徑鄰居點(diǎn)的數(shù)目，那么可以直接計(jì)算上述平均密度和局部密度。在依次獲得更新后的檢測(cè)模型后，對(duì)樣本點(diǎn)進(jìn)行異常情況的檢測(cè)，在任意一個(gè)采樣半徑對(duì)應(yīng)的檢測(cè)模型下，檢測(cè)樣本點(diǎn)結(jié)果為異常，那么就視為該樣本點(diǎn)為異常。也可以采用其他的判斷樣本點(diǎn)的異常情況的條件，例如在任意η個(gè)采樣半徑對(duì)應(yīng)的檢測(cè)模型下，檢測(cè)樣本點(diǎn)結(jié)果為異常，那么就視為該樣本點(diǎn)為異常，這里的η是一個(gè)大于1小于采樣半徑組中采樣半徑總數(shù)的整數(shù)。優(yōu)選的，該網(wǎng)絡(luò)異常的檢測(cè)裝置還包括初始模塊34，用于通過(guò)靜態(tài)局部相關(guān)積分方法對(duì)正常的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，生成初始的檢測(cè)模型。優(yōu)選的，模型更新模塊32包括搜索單元321，用于在KD樹中搜索樣本點(diǎn)在采樣半徑下的所有鄰居點(diǎn)。更新單元322，用于根據(jù)搜索單元321搜索到的鄰居點(diǎn)，更新檢測(cè)模型。更新單元322執(zhí)行的操作具體為上述第二實(shí)施例步驟203執(zhí)行的步驟所述，在此不再贅述。優(yōu)選地，該網(wǎng)絡(luò)異常檢測(cè)裝置還包括刪除模塊35，用于根據(jù)鄰居點(diǎn)的時(shí)間戳，將超過(guò)老化周期的鄰居點(diǎn)添加到刪除列表。添加到刪除列表中的點(diǎn)并不會(huì)立刻被刪除，刪除列表中的點(diǎn)會(huì)被定時(shí)刪除。優(yōu)選的，所述異常檢測(cè)模塊33包括第一計(jì)算單元331，根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，計(jì)算樣本點(diǎn)的采樣半徑所有點(diǎn)的局部密度和平均密度；第二計(jì)算單元332，用于根據(jù)所述平均密度和所述局部密度，計(jì)算多粒度偏斜因子比值；異常判斷單元333，用于根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型下的所述樣本點(diǎn)的多粒度偏斜因子比值和預(yù)置的正常范圍，判斷樣本點(diǎn)的異常情況。為了更加清楚說(shuō)明本實(shí)施例，下面對(duì)上述實(shí)施例的應(yīng)用場(chǎng)景進(jìn)行說(shuō)明。應(yīng)用場(chǎng)景一假設(shè)，通過(guò)靜態(tài)LOCI方法訓(xùn)練獲得了初始的檢測(cè)模型，網(wǎng)絡(luò)異常的檢測(cè)裝置設(shè)置的最小采樣半徑是rmin，最大采樣半徑是rmax，老化周期是T，統(tǒng)計(jì)半徑是 α r，鄰居信息為鄰居點(diǎn)的數(shù)目，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)插入的情況下的網(wǎng)絡(luò)異常檢測(cè)過(guò)程，參見(jiàn)圖 5，是本應(yīng)用場(chǎng)景的流程示意圖。步驟401，數(shù)據(jù)轉(zhuǎn)換模塊31將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)S。步驟402，模型更新模塊32將新的樣本點(diǎn)S添加到KD樹的指定位置。步驟403，模型更新模塊32在采樣半徑組中選擇一個(gè)采樣半徑r，采樣半徑組為若干采樣半徑的集合，舉例來(lái)說(shuō)，采樣半徑組可以設(shè)置為[rmin，rmax]區(qū)間內(nèi)每隔指定距離d的取值，即采樣半徑組里面可選的采樣半徑有rmin、rmin+d, rmin+2d, rmin+3d......rmin+nd和rmax，也可以設(shè)置其它形式的離散的采樣半徑組。步驟404，模型更新模塊32在KD樹中搜索S在采樣半徑r下所有的鄰居點(diǎn)集合 N0步驟405，刪除模塊35獲取集合N中所有鄰居點(diǎn)的時(shí)間戳。步驟406，刪除模塊35根據(jù)集合N中所有鄰居點(diǎn)時(shí)間戳，將集合N中超過(guò)老化周期的鄰居點(diǎn)加入刪除列表。步驟407，模型更新模塊32記錄樣本點(diǎn)S的第一鄰居數(shù)目(集合N點(diǎn)的個(gè)數(shù))，根據(jù)搜索到的集合N，找到S在統(tǒng)計(jì)半徑內(nèi)的鄰居點(diǎn)(集合M)的數(shù)目，即第二鄰居數(shù)目(集合M點(diǎn)的個(gè)數(shù))，將集合N中的所有鄰居點(diǎn)的第一鄰居數(shù)目增加1，將M集合的所有點(diǎn)的第二鄰居數(shù)目增加1 ；需要說(shuō)明的是，步驟407可以直接放在步驟404后執(zhí)行。步驟405到步驟406可以在步驟404選擇到鄰居點(diǎn)后的任意時(shí)刻執(zhí)行，目的在于將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表等待被刪除。步驟408，異常檢測(cè)模塊33根據(jù)LOCI方法，計(jì)算S的采樣半徑內(nèi)所有的鄰居點(diǎn)的平均密度和S的統(tǒng)計(jì)半徑內(nèi)點(diǎn)的局部密度，從而計(jì)算MDEF比值，判斷樣本點(diǎn)S的異常情況， 若是，則進(jìn)入步驟409，若否，則進(jìn)入步驟410。步驟409，異常檢測(cè)模塊33記錄樣本點(diǎn)異常。步驟410，模型更新模塊32判斷是否是最后一個(gè)采樣半徑，若是，則進(jìn)入步驟411， 若否則進(jìn)入步驟403。步驟411，異常檢測(cè)模塊33輸出檢測(cè)結(jié)果，即任意一次步驟408判斷樣本點(diǎn)S異常即輸出樣本點(diǎn)S異常的檢測(cè)結(jié)果，否則輸出樣本點(diǎn)S非異常的檢測(cè)結(jié)果。應(yīng)用場(chǎng)景二 同樣可參見(jiàn)圖5，假設(shè)，通過(guò)靜態(tài)LOCI方法訓(xùn)練獲得了初始的檢測(cè)模型，網(wǎng)絡(luò)異常的檢測(cè)裝置設(shè)置的最小采樣半徑是rmin，最大采樣半徑是rmax，老化周期是 T，統(tǒng)計(jì)半徑是α r，鄰居信息記錄為鄰居點(diǎn)的ID，即為鄰居點(diǎn)的坐標(biāo)，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)插入的情況下的網(wǎng)絡(luò)異常檢測(cè)過(guò)程。步驟401，數(shù)據(jù)轉(zhuǎn)換模塊31將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)S。步驟402，模型更新模塊32將新的樣本點(diǎn)S添加到KD樹的指定位置。步驟403，模型更新模塊32在采樣半徑組中選擇一個(gè)采樣半徑r，采樣半徑組為若干采樣半徑的集合，舉例來(lái)說(shuō)，采樣半徑組可以設(shè)置為[rmin，rmax]區(qū)間內(nèi)每隔指定距離d的取值，即采樣半徑組里面可選的采樣半徑有rmin、rmin+d, rmin+2d, rmin+3d......rmin+nd和rmax，也可以設(shè)置其它形式的離散的采樣半徑組。步驟404，模型更新模塊32在KD樹中搜索S在采樣半徑r下有哪些鄰居點(diǎn)。
11
步驟405，刪除模塊35獲取所有鄰居點(diǎn)的時(shí)間戳。步驟406，刪除模塊35根據(jù)鄰居點(diǎn)的時(shí)間戳，將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表。步驟407，模型更新模塊32建立該樣本點(diǎn)S的鄰居信息，即S所有鄰居點(diǎn)的坐標(biāo)， 將樣本點(diǎn)S的坐標(biāo)加入到所有鄰居點(diǎn)的鄰居信息中；需要說(shuō)明的是，步驟407可以直接放在步驟404后執(zhí)行。步驟405到步驟406可以在步驟404選擇到鄰居點(diǎn)后的任意時(shí)刻執(zhí)行， 目的在于將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表等待被刪除。步驟408，異常檢測(cè)模塊33根據(jù)LOCI方法，計(jì)算S的采樣半徑內(nèi)所有的鄰居點(diǎn)的平均密度和S的統(tǒng)計(jì)半徑內(nèi)點(diǎn)的局部密度，從而計(jì)算MDEF值，判斷樣本點(diǎn)S的異常情況，若是，則進(jìn)入步驟409，若否，則進(jìn)入步驟410。步驟409，異常檢測(cè)模塊33記錄樣本點(diǎn)異常。步驟410，模型更新模塊32判斷是否是最后一個(gè)采樣半徑，若是，則進(jìn)入步驟411， 若否則進(jìn)入步驟403。步驟411，異常檢測(cè)模塊33輸出檢測(cè)結(jié)果，即任意一次步驟408判斷樣本點(diǎn)S異常即輸出樣本點(diǎn)S異常的檢測(cè)結(jié)果，否則輸出樣本點(diǎn)S非異常的檢測(cè)結(jié)果。應(yīng)用場(chǎng)景三假設(shè)，通過(guò)靜態(tài)LOCI方法訓(xùn)練獲得了初始的檢測(cè)模型，網(wǎng)絡(luò)異常的檢測(cè)裝置設(shè)置的最小采樣半徑是rmin，最大采樣半徑是rmax，老化周期是T，鄰居信息記錄為鄰居點(diǎn)的數(shù)目，包括第一鄰居點(diǎn)數(shù)目和第二鄰居點(diǎn)數(shù)目，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)刪除的情況下模型更新模塊的操作過(guò)程，參見(jiàn)圖6，是本應(yīng)用場(chǎng)景的流程示意圖。步驟501，模型更新模塊32獲取刪除列表D。步驟502，選擇刪除列表中的樣本點(diǎn)S。步驟503，模型更新模塊32在采樣半徑組中選擇一個(gè)采樣半徑r，r可以設(shè)置為 [rmin,rmax]區(qū)間內(nèi)每隔指定距離d的取值，那么采樣半徑組里面可選的采樣半徑有rmin、 rmin+d、rmin+2d、rmin+3d......rmin+nd 禾口 rmax。步驟504，模型更新模塊32在KD樹中搜索S在采樣半徑r下所有的鄰居點(diǎn)集合
N0步驟505，刪除模塊35獲取所有鄰居點(diǎn)的時(shí)間戳。步驟506，刪除模塊35根據(jù)所有鄰居點(diǎn)的時(shí)間戳，將超過(guò)了老化周期的鄰居點(diǎn)加入刪除列表。步驟507，模型更新模塊32將集合N中所有點(diǎn)的第一鄰居數(shù)目減少1，集合N中， 搜索在樣本點(diǎn)的統(tǒng)計(jì)半徑內(nèi)的點(diǎn)的集合M，將集合M中的點(diǎn)的第二鄰居數(shù)目減少1。需要說(shuō)明的是，步驟507可以直接放在步驟504后執(zhí)行。步驟505到步驟506可以在步驟504選擇到鄰居點(diǎn)后的任意時(shí)刻執(zhí)行，目的在于將超過(guò)老化周期的鄰居點(diǎn)加入刪除列表等待被刪除。步驟508，模型更新模塊32判斷采樣半徑是否是最后一個(gè)采樣半徑，若是則進(jìn)入步驟509，若否，則進(jìn)入步驟503。步驟509，刪除模塊35從樣本空間以及KD樹中刪除樣本點(diǎn)S。在步驟509之后可以繼續(xù)選擇其他樣本點(diǎn)并回到步驟502執(zhí)行刪除。應(yīng)用場(chǎng)景四假設(shè)，通過(guò)靜態(tài)LOCI方法訓(xùn)練獲得了初始的檢測(cè)模型，網(wǎng)絡(luò)異常的檢測(cè)裝置設(shè)置的最小采樣半徑是rmin，最大采樣半徑是rmax，老化周期是T，鄰居信息是記錄各鄰居點(diǎn)的標(biāo)識(shí)或坐標(biāo)，實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)刪除的情況下模型更新模塊的操作過(guò)程。同樣的， 參見(jiàn)圖7，是本應(yīng)用場(chǎng)景的流程示意圖步驟601，模型更新模塊32獲取刪除列表D。步驟602，選擇刪除列表中的樣本點(diǎn)S。步驟603，模型更新模塊32根據(jù)樣本點(diǎn)S的標(biāo)識(shí)或坐標(biāo)將樣本點(diǎn)S從所有鄰居點(diǎn)的各個(gè)采樣半徑對(duì)應(yīng)的檢測(cè)模型的鄰居信息中刪除。若鄰居信息不記錄各個(gè)鄰居點(diǎn)的鄰居數(shù)目，而記錄鄰居點(diǎn)的標(biāo)識(shí)或坐標(biāo)，在刪除樣本點(diǎn)時(shí)可以不進(jìn)行鄰居點(diǎn)的搜索，只需要根據(jù)樣本點(diǎn)的標(biāo)識(shí)或坐標(biāo)在檢測(cè)模型中匹配即可。步驟604，刪除模塊35從樣本空間以及KD樹中刪除樣本點(diǎn)S。在步驟604之后可以在刪除列表D中繼續(xù)選擇其他樣本點(diǎn)并回到步驟602執(zhí)行刪除。本發(fā)明實(shí)施例通過(guò)靜態(tài)LOCI方法獲得初始檢測(cè)模型，將依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型，避免一個(gè)采樣半徑對(duì)檢測(cè)模型進(jìn)行更新而導(dǎo)致檢測(cè)精度下降，通過(guò)多個(gè)采樣半徑來(lái)更新檢測(cè)模型，從而提高異常檢測(cè)的異常識(shí)別能力。并且，在異常檢測(cè)過(guò)程中，利用KD搜索的方式搜索鄰居點(diǎn)，提高了搜索鄰居點(diǎn)的速度，提高了異常檢測(cè)速度，從而實(shí)現(xiàn)了在高速網(wǎng)絡(luò)環(huán)境下實(shí)時(shí)變化的網(wǎng)絡(luò)數(shù)據(jù)的異常檢測(cè)。本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括ROM、RAM、磁盤或光盤等。以上對(duì)本發(fā)明實(shí)施例所提供的網(wǎng)絡(luò)異常的檢測(cè)方法和裝置進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
1權(quán)利要求
1.一種網(wǎng)絡(luò)異常的檢測(cè)方法，其特征在于，包括 將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)；依次選擇預(yù)置的采樣半徑組中的各個(gè)采樣半徑；根據(jù)所述樣本點(diǎn)和選擇的采樣半徑，按照局部相關(guān)積分方法，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型；根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況。
2.如權(quán)利要求1所述的網(wǎng)絡(luò)異常的檢測(cè)方法，其特征在于，所述更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型包括搜索與樣本點(diǎn)的距離在采樣半徑內(nèi)的所有鄰居點(diǎn)； 根據(jù)所述采樣半徑內(nèi)的所有鄰居點(diǎn)，更新檢測(cè)模型。
3.如權(quán)利要求2所述的網(wǎng)絡(luò)異常檢測(cè)方法，其特征在于，在所述搜索與樣本點(diǎn)的距離在采樣半徑內(nèi)的所有鄰居點(diǎn)之后還包括根據(jù)鄰居點(diǎn)的時(shí)間戳，將超過(guò)老化周期的鄰居點(diǎn)添加到刪除列表。
4.如權(quán)利要求2所述的網(wǎng)絡(luò)異常的檢測(cè)方法，其特征在于，所述搜索樣本點(diǎn)在采樣半徑下的所有鄰居點(diǎn)具體為通過(guò)KD搜索方式在K維樹中搜索鄰域，在所述鄰域中搜索樣本點(diǎn)在采樣半徑下的所有鄰居點(diǎn)。
5.如權(quán)利要求1所述的網(wǎng)絡(luò)異常的檢測(cè)方法，其特征在于，在將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)化為樣本點(diǎn)之前還包括通過(guò)局部相關(guān)積分方法對(duì)正常的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，生成初始的檢測(cè)模型。
6.如權(quán)利要求1所述的網(wǎng)絡(luò)異常的檢測(cè)方法，其特征在于，所述根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況包括根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，計(jì)算樣本點(diǎn)的采樣半徑所有點(diǎn)的局部密度和平均密度；根據(jù)所述平均密度和所述局部密度，計(jì)算多粒度偏斜因子比值； 根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型下的所述樣本點(diǎn)的多粒度偏斜因子比值和預(yù)置的正常范圍，判斷樣本點(diǎn)的異常情況。
7.—種網(wǎng)絡(luò)異常的檢測(cè)裝置，其特征在于，包括 數(shù)據(jù)轉(zhuǎn)換模塊，用于將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)；模型更新模塊，用于依次選擇樣本點(diǎn)的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，按照局部相關(guān)積分方法，依次更新與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型；異常檢測(cè)模塊，用于根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，檢測(cè)樣本點(diǎn)的異常情況。
8.如權(quán)利要求7所述的網(wǎng)絡(luò)異常的檢測(cè)裝置，其特征在于，所述模型更新模塊包括 搜索單元，用于通過(guò)快速搜索方式搜索樣本點(diǎn)在采樣半徑內(nèi)的所有鄰居點(diǎn)； 更新單元，用于根據(jù)所述采樣半徑內(nèi)的所有鄰居點(diǎn)，更新檢測(cè)模型。
9.如權(quán)利要求7所述的網(wǎng)絡(luò)異常的檢測(cè)裝置，其特征在于，所述裝置還包括 刪除模塊，用于根據(jù)鄰居點(diǎn)的時(shí)間戳，將超過(guò)老化周期的鄰居點(diǎn)添加到刪除列表。
10.如權(quán)利要求9所述的網(wǎng)絡(luò)異常的檢測(cè)裝置，其特征在于，所述裝置還包括初始模塊，用于通過(guò)局部相關(guān)積分方法對(duì)正常的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練，生成初始的檢測(cè)模型。
11.如權(quán)利要求7所述的網(wǎng)絡(luò)異常的檢測(cè)裝置，其特征在于，所述異常檢測(cè)模塊包括 第一計(jì)算單元，根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型，計(jì)算樣本點(diǎn)的采樣半徑所有點(diǎn)的局部密度和平均密度；第二計(jì)算單元，用于根據(jù)所述平均密度和所述局部密度，計(jì)算多粒度偏斜因子比值； 異常判斷單元，用于根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型下的所述樣本點(diǎn)的多粒度偏斜因子比值和預(yù)置的正常范圍，判斷樣本點(diǎn)的異常情況。
全文摘要
本發(fā)明公開(kāi)了一種網(wǎng)絡(luò)異常的檢測(cè)方法和裝置，本發(fā)明實(shí)施例將實(shí)時(shí)網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為樣本點(diǎn)，依次選擇預(yù)置的采樣半徑組中的各個(gè)采樣半徑，根據(jù)選擇的采樣半徑，依次更新初始的檢測(cè)模型為與選擇的采樣半徑對(duì)應(yīng)的檢測(cè)模型，根據(jù)依次更新的采樣半徑對(duì)應(yīng)的檢測(cè)模型和樣本點(diǎn)的屬性值，檢測(cè)樣本點(diǎn)的異常情況，實(shí)施本發(fā)明實(shí)施例，在一定程度上避免了漏報(bào)和誤報(bào)，提高異常檢測(cè)的異常識(shí)別能力和檢測(cè)精度。
文檔編號(hào)H04L12/26GK102215138SQ20101014208
公開(kāi)日2011年10月12日 申請(qǐng)日期2010年4月6日 優(yōu)先權(quán)日2010年4月6日
發(fā)明者張波, 拉凱什·拉瑪克里斯南, 許國(guó)威, 賈伊迪普·斯里瓦斯塔瓦 申請(qǐng)人:華為技術(shù)有限公司