專(zhuān)利名稱(chēng)：基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明是一種入侵檢測(cè)技術(shù)方案，主要將數(shù)據(jù)挖掘技術(shù)應(yīng)用到實(shí)時(shí)入侵檢測(cè)應(yīng)用中，屬于計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)領(lǐng)域。
背景技術(shù)：
隨著信息技術(shù)的高速發(fā)展，網(wǎng)絡(luò)入侵的風(fēng)險(xiǎn)性和機(jī)會(huì)也相應(yīng)地急劇增多，設(shè)計(jì)安全措施來(lái)防范未經(jīng)授權(quán)訪(fǎng)問(wèn)系統(tǒng)的資源和數(shù)據(jù)或惡意的攻擊和入侵，成為當(dāng)前網(wǎng)絡(luò)安全領(lǐng)域的一個(gè)十分重要而迫切的問(wèn)題。作為信息安全的重要支撐技術(shù)之一的入侵檢測(cè)技術(shù)獲得了顯著發(fā)展，成為安全保護(hù)體系結(jié)構(gòu)中的一個(gè)重要的組成部分。入侵檢測(cè)是指在特定的網(wǎng)絡(luò)環(huán)境中發(fā)現(xiàn)和識(shí)別未經(jīng)授權(quán)的訪(fǎng)問(wèn)或惡意的攻擊和入侵，并對(duì)此做出反應(yīng)的過(guò)程。入侵檢測(cè)作為一種動(dòng)態(tài)的安全防護(hù)手段，它能主動(dòng)尋找入侵信號(hào)，提供系統(tǒng)對(duì)外部攻擊、內(nèi)部攻擊以及誤操作的抵御能力，對(duì)系統(tǒng)進(jìn)行保護(hù)。在入侵檢測(cè)的方法中，統(tǒng)計(jì)方法的應(yīng)用最為廣泛。統(tǒng)計(jì)方法通過(guò)收集長(zhǎng)時(shí)間的合法用戶(hù)的相關(guān)數(shù)據(jù)來(lái)定義正常的行為，當(dāng)前行為如果與正常行為發(fā)生偏離，并大于某一閾值則被視為攻擊。目前，對(duì)入侵檢測(cè)的研究主要有以下幾個(gè)方面基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)的研究；基于序列分析的網(wǎng)絡(luò)入侵檢測(cè)方法的研究；基于機(jī)器學(xué)習(xí)的入侵檢測(cè)；異類(lèi)檢測(cè)；基于生物免疫系統(tǒng)原理基礎(chǔ)設(shè)計(jì)的入侵檢測(cè)。但是現(xiàn)在的大多數(shù)入侵檢測(cè)系統(tǒng)存在各種各樣的問(wèn)題，主要包括
(1)缺乏有效性現(xiàn)存的規(guī)則庫(kù)和知識(shí)庫(kù)以及統(tǒng)計(jì)的方法都是基于專(zhuān)家知識(shí)的手工編碼，面對(duì)復(fù)雜的網(wǎng)絡(luò)環(huán)境，專(zhuān)家知識(shí)往往不全面不精確；
(2)缺乏適應(yīng)性編寫(xiě)檢測(cè)代碼時(shí)，專(zhuān)家一般著眼于分析目前己知的系統(tǒng)漏洞或攻擊模式，對(duì)未知的攻擊手段缺乏檢測(cè)能力。(3)有限的擴(kuò)展性由于專(zhuān)家根據(jù)經(jīng)驗(yàn)設(shè)計(jì)檢測(cè)模型，往往導(dǎo)致這樣的模型只針對(duì)某一特定的檢測(cè)環(huán)境，原有的檢測(cè)規(guī)則和檢測(cè)模型一般很難修改或與新的合并。我們需要找到一種提高入侵檢測(cè)系統(tǒng)有效性、適用性和擴(kuò)展性的方法。由此，產(chǎn)生了在傳統(tǒng)入侵檢測(cè)技術(shù)基礎(chǔ)上利用數(shù)據(jù)挖掘技術(shù)，分析多個(gè)檢測(cè)引擎提交的審計(jì)數(shù)據(jù)以發(fā)現(xiàn)更為復(fù)雜的入侵行為的檢測(cè)方法。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中識(shí)別出有效的、新穎的、潛在有用的，以及最終可以理解的知識(shí)和模式的高級(jí)操作過(guò)程，其目的就是從海量的數(shù)據(jù)集合中提取隱含的、先前未知的、對(duì)決策有潛在價(jià)值的規(guī)則。把數(shù)據(jù)挖掘應(yīng)用于入侵檢測(cè)系統(tǒng)的優(yōu)點(diǎn)在于系統(tǒng)能夠從大量的審計(jì)數(shù)據(jù)中自動(dòng)產(chǎn)生精確適用的檢測(cè)模型，使入侵檢測(cè)系統(tǒng)適用于任何計(jì)算環(huán)境。

發(fā)明內(nèi)容
技術(shù)問(wèn)題本發(fā)明的目的是提出一種基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法，在實(shí)施檢測(cè)方法的分布式實(shí)時(shí)系統(tǒng)架構(gòu)中，增加兩個(gè)自適應(yīng)管理模塊自適應(yīng)策略管理模塊，簡(jiǎn)稱(chēng) ASM ；自適應(yīng)模式管理模塊，簡(jiǎn)稱(chēng)AMM。本發(fā)明采用關(guān)聯(lián)規(guī)則及頻繁模式算法構(gòu)造檢測(cè)模型，以減少人工編碼，提高入侵檢測(cè)系統(tǒng)的自動(dòng)化能力和高效性。技術(shù)方案本發(fā)明的實(shí)現(xiàn)是將數(shù)據(jù)挖掘技術(shù)應(yīng)用到入侵檢測(cè)中以提供一種有效實(shí)時(shí)的檢測(cè)方法。該方法在分布式實(shí)時(shí)系統(tǒng)架構(gòu)中，增加了兩個(gè)自適應(yīng)管理模塊自適應(yīng)策略管理模塊(ASM)和自適應(yīng)模式管理模塊(AMM)。這兩個(gè)模塊用于實(shí)現(xiàn)基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)檢測(cè)策略及檢測(cè)模型的自動(dòng)生成與分發(fā)。這個(gè)結(jié)構(gòu)可以解決有關(guān)數(shù)據(jù)收集的自動(dòng)化，檢測(cè)模型和策略的自動(dòng)生成與配置以及數(shù)據(jù)的實(shí)時(shí)評(píng)估方面的問(wèn)題。它是一個(gè)由一些組件類(lèi)構(gòu)成的分布式系統(tǒng)，而且這些組件類(lèi)可以在系統(tǒng)框架內(nèi)進(jìn)行靈活的改變，以適應(yīng)不同的環(huán)境變化和用戶(hù)需求。基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法的步驟如下
1).感應(yīng)器從系統(tǒng)環(huán)境或者網(wǎng)絡(luò)環(huán)境里面收集信息并格式化，然后發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)起來(lái)，所有的感應(yīng)器實(shí)現(xiàn)一個(gè)基本審計(jì)模塊框架，它在可擴(kuò)展標(biāo)記語(yǔ)言XML中編碼，由原始數(shù)據(jù)計(jì)算特征；
2).數(shù)據(jù)分析引擎實(shí)時(shí)的從數(shù)據(jù)倉(cāng)庫(kù)提取信息，將數(shù)據(jù)分成異常數(shù)據(jù)集與正常數(shù)據(jù)集，并利用標(biāo)記工具做相應(yīng)的標(biāo)記，對(duì)己標(biāo)記的信息進(jìn)行特征提取，并將標(biāo)記的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，以便模式生成器進(jìn)行模式挖掘；
3).檢測(cè)器接收由感應(yīng)器處理過(guò)的數(shù)據(jù)，用一個(gè)檢測(cè)模型來(lái)檢查數(shù)據(jù)，判斷是否有攻擊，檢測(cè)器也把結(jié)果發(fā)送給數(shù)據(jù)倉(cāng)庫(kù)去做進(jìn)一步的分析；
4).自適應(yīng)模式管理器訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)里面標(biāo)記的及未被標(biāo)記過(guò)的異常的數(shù)據(jù)，經(jīng)模式生成器生成新的檢測(cè)模式后，存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中備用，當(dāng)生成一種新的模式后，模式分發(fā)器負(fù)責(zé)將檢測(cè)器的模式更新；
5).自適應(yīng)策略管理器提取數(shù)據(jù)倉(cāng)庫(kù)中的入侵特征，經(jīng)過(guò)分類(lèi)器分類(lèi)后，策略生成器生成一種新的檢測(cè)策略，將這些數(shù)據(jù)分類(lèi)為可疑的或者是正常的，一旦一個(gè)策略產(chǎn)生出來(lái)， 它就會(huì)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的策略庫(kù)中，策略分發(fā)器將產(chǎn)生的新的策略配置到檢測(cè)器上。自適應(yīng)模式管理器的實(shí)現(xiàn)步驟包括
1).模式生成器查詢(xún)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，開(kāi)始運(yùn)行并且產(chǎn)生出一個(gè)模式；
2).將該模式編碼為XML格式并且發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中去；
3).模式生成器給模式分發(fā)器發(fā)出信號(hào)表明一個(gè)新的模式己經(jīng)生效；
4).模式分發(fā)器收到信號(hào)后自動(dòng)的發(fā)送該模式來(lái)更新檢測(cè)器模塊的模式庫(kù)。自適應(yīng)策略管理器的實(shí)現(xiàn)步驟包括
1).對(duì)數(shù)據(jù)倉(cāng)庫(kù)中被標(biāo)記成正常和異常的數(shù)據(jù)進(jìn)行比較，提取出與正常數(shù)據(jù)集相差較大的入侵?jǐn)?shù)據(jù)集，形成入侵模式；
2).提取入侵模式的特征屬性，使用分類(lèi)器生成新的分類(lèi)規(guī)則；
3).根據(jù)新的分類(lèi)規(guī)則，策略生成器生成一種新的檢測(cè)策略并存儲(chǔ)到策略庫(kù)；
4).策略分發(fā)器將生成的檢測(cè)策略配置到檢測(cè)器上。有益效果和傳統(tǒng)的入侵檢測(cè)方法相比，本發(fā)明有許多的優(yōu)點(diǎn) 一是由感應(yīng)器和檢測(cè)器提供實(shí)時(shí)檢測(cè)能力；
二是該系統(tǒng)的分布式架構(gòu)允許數(shù)據(jù)收集和數(shù)據(jù)存儲(chǔ)自動(dòng)化。通過(guò)對(duì)感應(yīng)器進(jìn)行一定的配置就可以自動(dòng)的實(shí)現(xiàn)數(shù)據(jù)的收集和存儲(chǔ)；
三是該系統(tǒng)的分布式架構(gòu)允許入侵檢測(cè)系統(tǒng)從異構(gòu)系統(tǒng)中收集數(shù)據(jù)，因?yàn)楦袘?yīng)器將數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)的格式。將所有收集上來(lái)的數(shù)據(jù)通過(guò)使用XML標(biāo)記語(yǔ)言來(lái)存放到數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)可以靈活的存儲(chǔ)各種類(lèi)型的信息。四是采用數(shù)據(jù)標(biāo)簽工具免除了系統(tǒng)管理員費(fèi)時(shí)和費(fèi)力的手工標(biāo)記勞動(dòng)；
五是典型的網(wǎng)絡(luò)環(huán)境里，有著大量的模式需要通過(guò)網(wǎng)絡(luò)來(lái)配置，因此模式的管理是一個(gè)艱巨的任務(wù)。本發(fā)明通過(guò)AMM模塊解決了檢測(cè)模式的配置和管理問(wèn)題。通過(guò)使用檢測(cè)模式生成器來(lái)生成模式。并且將這些模式存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)倉(cāng)庫(kù)具有足夠的能力來(lái)處理各種類(lèi)型的模式，因此該系統(tǒng)對(duì)于各種各樣的模式都是適用的。通過(guò)模式分發(fā)器，系統(tǒng)可以很靈活的更新檢測(cè)器中的模式；
六是該系統(tǒng)提供給用戶(hù)一些功能來(lái)實(shí)現(xiàn)對(duì)于不同數(shù)據(jù)的分析能力。數(shù)據(jù)分析工具可以從數(shù)據(jù)倉(cāng)庫(kù)中檢索數(shù)據(jù)，對(duì)這些數(shù)據(jù)執(zhí)行某一類(lèi)計(jì)算，然后將計(jì)算所得到的新的數(shù)據(jù)發(fā)送給數(shù)據(jù)倉(cāng)庫(kù)，或者通過(guò)其他方式來(lái)使用這些新的信息。數(shù)據(jù)分析工具包括三種類(lèi)型，分別是數(shù)據(jù)辨別，特征提取和可視化。數(shù)據(jù)辨別是一個(gè)非常重要的領(lǐng)域。以前數(shù)據(jù)的辨別分析主要還是手工來(lái)完成。計(jì)算機(jī)安全專(zhuān)家們不得不在大量的數(shù)據(jù)中進(jìn)行搜尋，甚至是上百萬(wàn)條記錄中來(lái)查找可疑的行為。效率很低，而且昂貴。該系統(tǒng)提供了相應(yīng)的組件來(lái)實(shí)現(xiàn)數(shù)據(jù)分析判斷過(guò)程的自動(dòng)化；
七是現(xiàn)在很多入侵檢測(cè)系統(tǒng)只有一種檢測(cè)策略，對(duì)任何環(huán)境都用這個(gè)策略來(lái)檢測(cè)，而本發(fā)明采用自動(dòng)生成與分發(fā)策略，擴(kuò)展了檢測(cè)強(qiáng)度與范圍，系統(tǒng)的誤報(bào)與漏報(bào)率降低，可信度得到了提高。


圖1是基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)體系結(jié)構(gòu)圖。圖2是體系結(jié)構(gòu)各組件間工作關(guān)系圖。圖3是數(shù)據(jù)分析引擎體系結(jié)構(gòu)圖。
具體實(shí)施例方式圖1是本發(fā)明的一個(gè)體系結(jié)構(gòu)，其中包括多個(gè)感應(yīng)器、多個(gè)檢測(cè)器、一個(gè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析引擎、自適應(yīng)策略管理器和自適應(yīng)模式管理器。該系統(tǒng)采用一種分布式架構(gòu)， 由一系列的自動(dòng)化組件來(lái)組成，這里的組件在設(shè)計(jì)上是獨(dú)立的，不過(guò)都可以通過(guò)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行集中管理。組件之間通過(guò)公共協(xié)議來(lái)互相訪(fǎng)問(wèn)，此處的公共協(xié)議采用可擴(kuò)展標(biāo)記語(yǔ)言 (XML)。各種組件之間的基本工作關(guān)系如圖2所示。下面是本發(fā)明的主要工作流程
感應(yīng)器從系統(tǒng)環(huán)境或者網(wǎng)絡(luò)環(huán)境里面收集信息并格式化，然后發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)起來(lái)，數(shù)據(jù)分析引擎實(shí)時(shí)的從數(shù)據(jù)倉(cāng)庫(kù)提取信息，利用標(biāo)記工具對(duì)數(shù)據(jù)進(jìn)行標(biāo)記，對(duì)己標(biāo)記的信息進(jìn)行特征提取。感應(yīng)器是與其他部分隔離開(kāi)來(lái)的。所有的感應(yīng)器來(lái)實(shí)現(xiàn)一個(gè)基本審計(jì)模塊框架，它在XML中編碼，由原始數(shù)據(jù)計(jì)算特征。分析引擎將數(shù)據(jù)分成異常數(shù)據(jù)集與正常數(shù)據(jù)集，并做相應(yīng)的標(biāo)記，然后存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，以便模式生成器進(jìn)行模式挖掘。用戶(hù)可以通過(guò)客戶(hù)端實(shí)時(shí)的檢測(cè)分析結(jié)果。檢測(cè)器接收由感應(yīng)器處理過(guò)的數(shù)據(jù)，用一個(gè)檢測(cè)模型來(lái)檢查數(shù)據(jù)，判斷是否有攻擊。檢測(cè)器也把結(jié)果發(fā)送給數(shù)據(jù)倉(cāng)庫(kù)去做進(jìn)一步的分析。自適應(yīng)模式管理器訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)里面標(biāo)記的及未被標(biāo)記過(guò)的異常的數(shù)據(jù)，經(jīng)模式生成器生成新的檢測(cè)模式后，存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中備用。當(dāng)生成一種新的模式后，模式分發(fā)器負(fù)責(zé)將檢測(cè)器的模式更新。自適應(yīng)策略管理器，提取數(shù)據(jù)倉(cāng)庫(kù)中的入侵特征，經(jīng)過(guò)分類(lèi)器分類(lèi)后，策略生成器生成一種新的檢測(cè)策略。將這些數(shù)據(jù)分類(lèi)為可疑的或者是正常的。一旦一個(gè)策略產(chǎn)生出來(lái)，它就會(huì)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的策略庫(kù)中。策略分發(fā)器將產(chǎn)生的新的策略配置到實(shí)時(shí)檢測(cè)器上。檢測(cè)器從ASM及AMM上接收到新的檢測(cè)策略及模式的同時(shí)也要從感應(yīng)器上接受審計(jì)數(shù)據(jù)。檢測(cè)器可以采用這些新的策略及模式來(lái)評(píng)估從感應(yīng)器上得來(lái)的數(shù)據(jù)。從而判斷是否發(fā)生了入侵。因?yàn)樵撓到y(tǒng)由數(shù)據(jù)倉(cāng)庫(kù)集中式管理，因此將來(lái)開(kāi)發(fā)的新的模塊可以很容易的集成到入侵檢測(cè)系統(tǒng)中來(lái)。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)和模型存儲(chǔ)的中心，這樣集中存儲(chǔ)數(shù)據(jù)的好處是不同組件可以異步控制同一部分?jǐn)?shù)據(jù)，也使得綜合多個(gè)感應(yīng)器的數(shù)據(jù)變得容易。通過(guò)聯(lián)系從不同入侵檢測(cè)系統(tǒng)處理的數(shù)據(jù)結(jié)果或一段時(shí)間內(nèi)收集的數(shù)據(jù)，就有可能檢測(cè)出復(fù)雜的、大規(guī)模的入侵攻
擊ο1.實(shí)時(shí)組件
本發(fā)明使用兩種基本的組件來(lái)提供實(shí)時(shí)檢測(cè)的能力感應(yīng)器和檢測(cè)器。感應(yīng)器從審計(jì)流中收集數(shù)據(jù)并且使用XML標(biāo)記語(yǔ)言將數(shù)據(jù)格式化。然后這些數(shù)據(jù)被發(fā)送到檢測(cè)器中進(jìn)行檢測(cè)。檢測(cè)器使用檢測(cè)策略和模式來(lái)判斷這些數(shù)據(jù)是否包含入侵。如果包含，檢測(cè)器就會(huì)產(chǎn)生告警。傳統(tǒng)的入侵檢測(cè)系統(tǒng)大多是把感應(yīng)器和檢測(cè)器集成到一起的。在本發(fā)明架構(gòu)中將它們分離開(kāi)，這樣就使得在不同的環(huán)境中配置起來(lái)更為靈活。該系統(tǒng)將感應(yīng)器，檢測(cè)器和其他的分析器和分布式子系統(tǒng)通過(guò)數(shù)據(jù)倉(cāng)庫(kù)集成起來(lái)。感應(yīng)器除了將數(shù)據(jù)發(fā)送到檢測(cè)器之外，還將數(shù)據(jù)發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中去。檢測(cè)器從ASM和AMM獲得它的檢測(cè)策略和模式。(1).感應(yīng)器
感應(yīng)器處理的進(jìn)程包括從實(shí)時(shí)審計(jì)數(shù)據(jù)流中收集信息，將信息格式化成為XML格式， 將數(shù)據(jù)發(fā)送到檢測(cè)器，同時(shí)也將數(shù)據(jù)發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)。它可以從各種各樣的數(shù)據(jù)源收集信息。感應(yīng)器本身由兩個(gè)主要的組件來(lái)構(gòu)成，基本審計(jì)模塊(BAM)和連接引擎。BAM從審計(jì)資源中提取信息。連接引擎將數(shù)據(jù)編碼成一定的格式然后發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)并發(fā)送到檢測(cè)器。BAM可以看作是被監(jiān)控系統(tǒng)的一個(gè)接口，需要處理系統(tǒng)監(jiān)控到的所有數(shù)據(jù)流。它能夠抓取到網(wǎng)絡(luò)上的數(shù)據(jù)信息，并且將數(shù)據(jù)流傳送給連接引擎。連接引擎從BAM那里獲得數(shù)據(jù)，然后將數(shù)據(jù)編碼成XML格式，接著發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中。連同數(shù)據(jù)本身，BAM還要向連接引擎發(fā)送一些元數(shù)據(jù)。這些數(shù)據(jù)是連接引擎在編碼過(guò)程中要用到的。同時(shí)，連接引擎也需要知道感應(yīng)器的類(lèi)型，這樣就可以將數(shù)據(jù)發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中相應(yīng)的位置。(2).檢測(cè)器
檢測(cè)器運(yùn)用檢測(cè)模式和策略，分析從感應(yīng)器收集到的審計(jì)數(shù)據(jù)，并對(duì)它們進(jìn)行入侵檢測(cè)。檢測(cè)器對(duì)于來(lái)自感應(yīng)器的每一條記錄執(zhí)行模式和策略評(píng)估。它的工作方式取決于被評(píng)估的模式和策略類(lèi)型。每種不同的模式和策略類(lèi)型有相應(yīng)的檢測(cè)器來(lái)實(shí)現(xiàn)模式和策略評(píng)估?？梢园褭z測(cè)器看作這樣一個(gè)函數(shù)，以數(shù)據(jù)記錄作為輸入，當(dāng)這些數(shù)據(jù)被檢測(cè)出包含入侵企圖的時(shí)候，就以告警作為輸出。該檢測(cè)模式包含一系列與已知的入侵類(lèi)型相匹配的特征集及若干策略，它將數(shù)據(jù)記錄和模式特征相匹配組成了模式評(píng)估，并動(dòng)態(tài)的更換檢測(cè)策略。 如果任意一個(gè)特征匹配成功，檢測(cè)器將產(chǎn)生告警。如果沒(méi)有匹配成功，就更換檢測(cè)策略繼續(xù)檢測(cè)。檢測(cè)器從數(shù)據(jù)倉(cāng)庫(kù)中的模式庫(kù)和策略庫(kù)中得到檢測(cè)模式和檢測(cè)策略，這些檢測(cè)模式和策略可以通過(guò)ASM和AMM進(jìn)行實(shí)時(shí)的更新。只有新的模式和策略得到應(yīng)用，檢測(cè)模式和策略才會(huì)得到更新。2.數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)可以看作數(shù)據(jù)與模型的中央存儲(chǔ)倉(cāng)庫(kù)。數(shù)據(jù)中央存儲(chǔ)倉(cāng)庫(kù)的一個(gè)優(yōu)點(diǎn)是不同的組件可以異步的處理數(shù)據(jù)庫(kù)里的同一組數(shù)據(jù)。同一類(lèi)型的組件，如多級(jí)感應(yīng)器等可以并行的處理數(shù)據(jù)。關(guān)系型特征數(shù)據(jù)庫(kù)支持存貯的程序調(diào)用，這就使得復(fù)雜的計(jì)算執(zhí)行變得比較容易，如高效的數(shù)據(jù)取樣可以在服務(wù)器上自動(dòng)的執(zhí)行。任意數(shù)量的傳感器數(shù)據(jù)可以通過(guò)一條結(jié)構(gòu)化查詢(xún)語(yǔ)句(SQL)就可以重新找回。分布式檢測(cè)模型也用來(lái)推動(dòng)這一技術(shù)。數(shù)據(jù)倉(cāng)庫(kù)也使得來(lái)自多級(jí)傳感器的數(shù)據(jù)完整性變得容易。通過(guò)來(lái)自來(lái)不同的入侵檢測(cè)系統(tǒng)的相關(guān)的數(shù)據(jù)與結(jié)果或者在一段時(shí)間內(nèi)收集的數(shù)據(jù)，使得復(fù)雜的和大范圍的攻擊檢測(cè)變得有可能了。本發(fā)明中，ASM和AMM訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)里面的數(shù)據(jù)并且利用這些數(shù)據(jù)來(lái)產(chǎn)生檢測(cè)策略和模式，同時(shí)存貯在數(shù)據(jù)倉(cāng)庫(kù)中。分析引擎也要訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)采用 SQL數(shù)據(jù)庫(kù)，這樣使得數(shù)據(jù)操作較為容易，同時(shí)通過(guò)生成訓(xùn)練數(shù)據(jù)集來(lái)建立基于數(shù)據(jù)挖掘的檢測(cè)策略。由于我們能夠通過(guò)SQL語(yǔ)句來(lái)檢索任意的數(shù)據(jù)集合，所以數(shù)據(jù)倉(cāng)庫(kù)可以將手動(dòng)生成數(shù)據(jù)集的過(guò)程自動(dòng)化。3.數(shù)據(jù)分析引擎
數(shù)據(jù)分析引擎組件以數(shù)據(jù)庫(kù)中的數(shù)據(jù)集作為它的輸入，并且對(duì)這些數(shù)據(jù)執(zhí)行某種操作。分析引擎能夠向數(shù)據(jù)庫(kù)中插入分析結(jié)果。在我們的框架結(jié)構(gòu)中，分析引擎訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)，得到一個(gè)數(shù)據(jù)集，然后使用SQL接口向數(shù)據(jù)倉(cāng)庫(kù)中插入一些新的信息。數(shù)據(jù)分析引擎同樣使用XML格式。數(shù)據(jù)分析引擎集成了四類(lèi)引擎，分為特征提取引擎，分析引擎，自動(dòng)標(biāo)簽工具及可視化分析引擎(客戶(hù)端)。其體系結(jié)構(gòu)如圖3所示?？蛻?hù)端是整個(gè)入侵檢測(cè)系統(tǒng)和用戶(hù)交互的界面，是系統(tǒng)中不可缺少的重要組成部分。它提供了系統(tǒng)和用戶(hù)之間進(jìn)行交流的平臺(tái)。它給系統(tǒng)管理員提供了兩種機(jī)制一是可以實(shí)時(shí)顯示檢測(cè)器的報(bào)警信息，二是可以查詢(xún)數(shù)據(jù)倉(cāng)庫(kù)中的所有數(shù)據(jù)，它與數(shù)據(jù)庫(kù)集成到一起，允許用戶(hù)過(guò)濾和有選擇的觀(guān)察數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)集。分析引擎是數(shù)據(jù)分析中最為重要的類(lèi)型之一。分析引擎從數(shù)據(jù)倉(cāng)庫(kù)中檢索一個(gè)歷史數(shù)據(jù)集，并運(yùn)用某種檢測(cè)算法在數(shù)據(jù)集中發(fā)現(xiàn)可疑的活動(dòng)，然后將可疑的活動(dòng)打上標(biāo)簽。 使用SQL語(yǔ)句將它標(biāo)識(shí)成為適當(dāng)?shù)臄?shù)據(jù)，要么是異常的，要么是正常的。這里要求在數(shù)據(jù)庫(kù)表中加入一列來(lái)存儲(chǔ)標(biāo)簽。自動(dòng)標(biāo)簽工具是數(shù)據(jù)分析引擎的一種。自動(dòng)標(biāo)簽工具遍歷已知的攻擊特征列表， 并且利用這些信息去為數(shù)據(jù)庫(kù)中的所有記錄打標(biāo)簽。標(biāo)簽工具用來(lái)生成打了標(biāo)記的訓(xùn)練數(shù)據(jù)。己知的攻擊特征列表可以是進(jìn)程名稱(chēng)，時(shí)間戳，或者是其他的。這些都包含在數(shù)據(jù)記錄里面，并且與己知的攻擊相匹配。標(biāo)記工具與手工標(biāo)記相比是一個(gè)巨大的提高。手工標(biāo)記數(shù)據(jù)在配置一個(gè)基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)中代價(jià)比較昂貴，花費(fèi)巨大。通過(guò)使用標(biāo)記工具可以將費(fèi)用大大的削減下來(lái)。特征提取引擎是以原始審計(jì)數(shù)據(jù)作為輸入，輸出一些附加的信息，這些附加信息是由這些原始數(shù)據(jù)計(jì)算出來(lái)的。這些新的特征加入到原始的記錄當(dāng)中。數(shù)據(jù)記錄中的許多特征，在計(jì)算過(guò)程中所使用的信息橫跨了數(shù)據(jù)庫(kù)中的好多個(gè)獨(dú)立的記錄。這主要是因?yàn)橛行┆?dú)立的記錄本身沒(méi)有意思，但是當(dāng)和其他的記錄合并起來(lái)之后，才能夠反映出入侵行為。 數(shù)據(jù)倉(cāng)庫(kù)能夠?yàn)樘卣魈崛∫嫣峁┧仨毜娜我庾蛹?。入侵檢測(cè)系統(tǒng)的靈活性允許使用任意數(shù)據(jù)子集來(lái)生成特征。4.自適應(yīng)策略生成器
本發(fā)明中的ASM管理模塊，通過(guò)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)生成檢測(cè)策略，并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，供檢測(cè)器使用。ASM采用數(shù)據(jù)挖掘中的分類(lèi)技術(shù)生成入侵規(guī)則，分類(lèi)效果取決于學(xué)習(xí)集與屬性集的質(zhì)量。從龐大的審計(jì)數(shù)據(jù)庫(kù)中用人工建立學(xué)習(xí)集是一件非常耗時(shí)耗力的事情， 這里我們采用的方法是用數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則挖掘算法與序列規(guī)則挖掘算法從大量的審計(jì)數(shù)據(jù)中得到大量模式，根據(jù)模式指導(dǎo)學(xué)習(xí)集與屬性集的構(gòu)造。然后再使用分類(lèi)器生成分類(lèi)規(guī)則。5.檢測(cè)模式管理器
AMM模塊，管理檢測(cè)模式的生成和分發(fā)。檢測(cè)模式是使用數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的數(shù)據(jù)來(lái)生成的。它們通過(guò)模式分發(fā)器分發(fā)到各個(gè)檢測(cè)器上去的。(1).檢測(cè)模式生成器
模型生成器的主要目的是，使新的入侵檢測(cè)模型的分布與快速發(fā)展變得容易。該體系結(jié)構(gòu)，攻擊第一次被作為異常檢測(cè)到時(shí)，可能被模型生成器當(dāng)作典型數(shù)據(jù)來(lái)處理。依次的， 用來(lái)自數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)存檔的正常的和異常的數(shù)據(jù)集合，自動(dòng)生成能夠檢測(cè)新的入侵模型， 并把它分配給探測(cè)器。模型生成器被設(shè)計(jì)成能夠工作在任何一種模式產(chǎn)生算法之上。這樣，模式生成組件就可以被看作是黑箱子，可以容易的插入到我們的架構(gòu)中去。這些組件以一系列的訓(xùn)練數(shù)據(jù)集作為自己的輸入，以可疑的行為模式作為輸出。不同類(lèi)型的模式生成算法要求不同類(lèi)型的數(shù)據(jù)集。在我們所設(shè)計(jì)的架構(gòu)中，允許模式生成器通過(guò)使用總體的或者特定的查詢(xún)來(lái)選擇它所需要的任意數(shù)據(jù)。這使得我們的架構(gòu)能夠處理任意類(lèi)型的模式生成算法。當(dāng)模式生成器需要產(chǎn)生一個(gè)模式的時(shí)候，它就會(huì)查詢(xún)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。他們所要進(jìn)行的查詢(xún)是建立在模式訓(xùn)練所需的信息之上的。然后生成器開(kāi)始運(yùn)行并且產(chǎn)生出一個(gè)模式來(lái)。接著模式被編碼為XML格式并且發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中去。同時(shí)，模式生成器也給模式分發(fā)器發(fā)出信號(hào)，讓它知道一個(gè)新的模式己經(jīng)生效了。(2).檢測(cè)模式分發(fā)器
許多的模式生成算法能夠被用在實(shí)時(shí)環(huán)境當(dāng)中。這就需要一個(gè)模式分發(fā)器以保證所有的檢測(cè)器能夠擁有最近最新的模式。檢測(cè)器如果不能不斷的通過(guò)檢測(cè)數(shù)據(jù)倉(cāng)庫(kù)來(lái)更新自己的模式庫(kù)，那么檢測(cè)模式比較單一，漏報(bào)率與誤報(bào)率偏高。作為一個(gè)整體，系統(tǒng)有實(shí)時(shí)性的要求。檢測(cè)器模塊是一個(gè)輕量級(jí)的組件。只要模式產(chǎn)生器產(chǎn)生了新的模式，模式分發(fā)器便會(huì)自動(dòng)的發(fā)送模式來(lái)更新檢測(cè)器模塊的模式庫(kù)。
實(shí)現(xiàn)本方法的步驟如下
1).感應(yīng)器從系統(tǒng)環(huán)境或者網(wǎng)絡(luò)環(huán)境里面收集信息并格式化，然后發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)起來(lái)，所有的感應(yīng)器實(shí)現(xiàn)一個(gè)基本審計(jì)模塊框架，它在可擴(kuò)展標(biāo)記語(yǔ)言XML中編碼，由原始數(shù)據(jù)計(jì)算特征；
2).數(shù)據(jù)分析引擎實(shí)時(shí)的從數(shù)據(jù)倉(cāng)庫(kù)提取信息，將數(shù)據(jù)分成異常數(shù)據(jù)集與正常數(shù)據(jù)集，并利用標(biāo)記工具做相應(yīng)的標(biāo)記，對(duì)己標(biāo)記的信息進(jìn)行特征提取，并將標(biāo)記的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，以便模式生成器進(jìn)行模式挖掘；
3).檢測(cè)器接收由感應(yīng)器處理過(guò)的數(shù)據(jù)，用一個(gè)檢測(cè)模型來(lái)檢查數(shù)據(jù)，判斷是否有攻擊，檢測(cè)器也把結(jié)果發(fā)送給數(shù)據(jù)倉(cāng)庫(kù)去做進(jìn)一步的分析；
4).自適應(yīng)模式管理器訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)里面標(biāo)記的及未被標(biāo)記過(guò)的異常的數(shù)據(jù)，經(jīng)模式生成器生成新的檢測(cè)模式后，存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中備用，當(dāng)生成一種新的模式后，模式分發(fā)器負(fù)責(zé)將檢測(cè)器的模式更新；
5).自適應(yīng)策略管理器提取數(shù)據(jù)倉(cāng)庫(kù)中的入侵特征，經(jīng)過(guò)分類(lèi)器分類(lèi)后，策略生成器生成一種新的檢測(cè)策略，將這些數(shù)據(jù)分類(lèi)為可疑的或者是正常的，一旦一個(gè)策略產(chǎn)生出來(lái)， 它就會(huì)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的策略庫(kù)中，策略分發(fā)器將產(chǎn)生的新的策略配置到檢測(cè)器上。自適應(yīng)模式管理器的實(shí)現(xiàn)步驟包括
1).模式生成器查詢(xún)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，開(kāi)始運(yùn)行并且產(chǎn)生出一個(gè)模式；
2).將該模式編碼為XML格式并且發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中去；
3).模式生成器給模式分發(fā)器發(fā)出信號(hào)表明一個(gè)新的模式己經(jīng)生效；
4).模式分發(fā)器收到信號(hào)后自動(dòng)的發(fā)送該模式來(lái)更新檢測(cè)器模塊的模式庫(kù)。自適應(yīng)策略管理器的實(shí)現(xiàn)步驟包括
1).對(duì)數(shù)據(jù)倉(cāng)庫(kù)中被標(biāo)記成正常和異常的數(shù)據(jù)進(jìn)行比較，提取出與正常數(shù)據(jù)集相差較大的入侵?jǐn)?shù)據(jù)集，形成入侵模式；
2).提取入侵模式的特征屬性，使用分類(lèi)器生成新的分類(lèi)規(guī)則；
3).根據(jù)新的分類(lèi)規(guī)則，策略生成器生成一種新的檢測(cè)策略并存儲(chǔ)到策略庫(kù)；
4).策略分發(fā)器將生成的檢測(cè)策略配置到檢測(cè)器上。
權(quán)利要求
1.一種基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法，其特征在于實(shí)現(xiàn)本方法的步驟如下1).感應(yīng)器從系統(tǒng)環(huán)境或者網(wǎng)絡(luò)環(huán)境里面收集信息并格式化，然后發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)起來(lái)，所有的感應(yīng)器實(shí)現(xiàn)一個(gè)基本審計(jì)模塊框架，它在可擴(kuò)展標(biāo)記語(yǔ)言XML中編碼，由原始數(shù)據(jù)計(jì)算特征；2).數(shù)據(jù)分析引擎實(shí)時(shí)的從數(shù)據(jù)倉(cāng)庫(kù)提取信息，將數(shù)據(jù)分成異常數(shù)據(jù)集與正常數(shù)據(jù)集，并利用標(biāo)記工具做相應(yīng)的標(biāo)記，對(duì)己標(biāo)記的信息進(jìn)行特征提取，并將標(biāo)記的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，以便模式生成器進(jìn)行模式挖掘；3).檢測(cè)器接收由感應(yīng)器處理過(guò)的數(shù)據(jù)，用一個(gè)檢測(cè)模型來(lái)檢查數(shù)據(jù)，判斷是否有攻擊，檢測(cè)器也把結(jié)果發(fā)送給數(shù)據(jù)倉(cāng)庫(kù)去做進(jìn)一步的分析；4).自適應(yīng)模式管理器訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)里面標(biāo)記的及未被標(biāo)記過(guò)的異常的數(shù)據(jù)，經(jīng)模式生成器生成新的檢測(cè)模式后，存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中備用，當(dāng)生成一種新的模式后，模式分發(fā)器負(fù)責(zé)將檢測(cè)器的模式更新；5).自適應(yīng)策略管理器提取數(shù)據(jù)倉(cāng)庫(kù)中的入侵特征，經(jīng)過(guò)分類(lèi)器分類(lèi)后，策略生成器生成一種新的檢測(cè)策略，將這些數(shù)據(jù)分類(lèi)為可疑的或者是正常的，一旦一個(gè)策略產(chǎn)生出來(lái)， 它就會(huì)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的策略庫(kù)中，策略分發(fā)器將產(chǎn)生的新的策略配置到檢測(cè)器上。
2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法，其特征在于自適應(yīng)模式管理器的實(shí)現(xiàn)步驟包括1).模式生成器查詢(xún)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，開(kāi)始運(yùn)行并且產(chǎn)生出一個(gè)模式；2).將該模式編碼為XML格式并且發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)中去；3).模式生成器給模式分發(fā)器發(fā)出信號(hào)表明一個(gè)新的模式己經(jīng)生效；4).模式分發(fā)器收到信號(hào)后自動(dòng)的發(fā)送該模式來(lái)更新檢測(cè)器模塊的模式庫(kù)。
3.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法，其特征在于自適應(yīng)策略管理器的實(shí)現(xiàn)步驟包括1).對(duì)數(shù)據(jù)倉(cāng)庫(kù)中被標(biāo)記成正常和異常的數(shù)據(jù)進(jìn)行比較，提取出與正常數(shù)據(jù)集相差較大的入侵?jǐn)?shù)據(jù)集，形成入侵模式；2).提取入侵模式的特征屬性，使用分類(lèi)器生成新的分類(lèi)規(guī)則；3).根據(jù)新的分類(lèi)規(guī)則，策略生成器生成一種新的檢測(cè)策略并存儲(chǔ)到策略庫(kù)；4).策略分發(fā)器將生成的檢測(cè)策略配置到檢測(cè)器上。
全文摘要
本發(fā)明的實(shí)現(xiàn)是基于數(shù)據(jù)挖掘的實(shí)時(shí)入侵檢測(cè)方法。該方法在分布式實(shí)時(shí)系統(tǒng)架構(gòu)中，增加了兩個(gè)自適應(yīng)管理模塊:自適應(yīng)策略管理模塊(ASM)和自適應(yīng)模式管理模塊(AMM)。這兩個(gè)模塊用于實(shí)現(xiàn)基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)檢測(cè)策略及檢測(cè)模型的自動(dòng)生成與分發(fā)。這個(gè)結(jié)構(gòu)可以解決有關(guān)數(shù)據(jù)收集的自動(dòng)化，檢測(cè)模型和策略的自動(dòng)生成與配置以及數(shù)據(jù)的實(shí)時(shí)評(píng)估方面的問(wèn)題。它是一個(gè)由一些組件類(lèi)構(gòu)成的分布式系統(tǒng)，而且這些組件類(lèi)可以在系統(tǒng)框架內(nèi)進(jìn)行靈活的改變，以適應(yīng)不同的環(huán)境變化和用戶(hù)需求。
文檔編號(hào)H04L29/08GK102521378SQ201110428600
公開(kāi)日2012年6月27日 申請(qǐng)日期2011年12月20日 優(yōu)先權(quán)日2011年12月20日
發(fā)明者任勛益, 余洋, 張俊鋒, 祁正華, 陳丹偉 申請(qǐng)人:南京郵電大學(xué)