專利名稱：突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種網(wǎng)絡(luò)技術(shù)領(lǐng)域的方法，具體是一種突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法。
背景技術(shù)：
基于網(wǎng)絡(luò)的攻擊已經(jīng)成為當(dāng)前網(wǎng)絡(luò)信息系統(tǒng)的嚴(yán)重阻礙，特別是蠕蟲病毒攻擊和分布式拒絕服務(wù)攻擊，利用網(wǎng)絡(luò)服務(wù)、系統(tǒng)服務(wù)的漏洞或利用網(wǎng)絡(luò)資源、系統(tǒng)資源的有限性，再有就是利用網(wǎng)絡(luò)協(xié)議和認(rèn)證機(jī)制自身的不完善性，通過在短時(shí)間內(nèi)發(fā)動(dòng)大規(guī)模網(wǎng)絡(luò)攻擊，消耗特定資源，實(shí)現(xiàn)拒絕服務(wù)攻擊的攻擊目標(biāo)。現(xiàn)存的網(wǎng)絡(luò)安全機(jī)制如入侵檢測(cè)系統(tǒng)(IDS)、防火墻和虛擬專用網(wǎng)絡(luò)(VPN)以及容忍攻擊技術(shù)都還沒有考慮到網(wǎng)絡(luò)攻擊源的檢測(cè)和追蹤問題，即使檢測(cè)到攻擊也缺乏網(wǎng)絡(luò)范圍的自動(dòng)響應(yīng)。針對(duì)這些流量型攻擊，對(duì)策大多為設(shè)置諸如Random Drop、SYN Cookie、帶寬限制之類的防護(hù)算法，實(shí)現(xiàn)IDS與防火墻聯(lián)動(dòng)以及技術(shù)專家分析攻擊等辦法，但大多收效甚微，只能緩解DDoS攻擊并不能真正解決DDoS攻擊。其中最關(guān)鍵的問題就在于如何高效地區(qū)分正常流量和異常攻擊流量。當(dāng)前比較有效的方法是中國本土的中聯(lián)綠盟公司的“黑洞”技術(shù)以及國際上由TopLayer公司開發(fā)的AM IPS技術(shù)?？梢?，網(wǎng)絡(luò)流量異常監(jiān)測(cè)技術(shù)是解決異常流量問題的首要技術(shù)手段。當(dāng)前網(wǎng)絡(luò)異常流量的采集方式分為三種基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測(cè)技術(shù)、基于SNMP的監(jiān)測(cè)技術(shù)和基于NetFlow的監(jiān)測(cè)技術(shù)三種常用技術(shù)。此外還有基于偵聽網(wǎng)絡(luò)數(shù)據(jù)包的包分析(BPF)模型。通常局域網(wǎng)的網(wǎng)絡(luò)管理者喜歡用MRTG，但是其功能較單一，分析功能不強(qiáng)，其收集到的流量信息是端口的統(tǒng)計(jì)信息，不能用于復(fù)雜的分析。所以NetFlow無論從資源消耗還是網(wǎng)絡(luò)采集信息詳細(xì)程度上都能夠滿足網(wǎng)絡(luò)流量異常分析的需要。
經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，中國專利申請(qǐng)?zhí)?00310101710.5，專利名稱“一種實(shí)現(xiàn)異常流量控制的裝置及方法”，該專利中采用實(shí)時(shí)采樣分析方式，對(duì)某段時(shí)間內(nèi)的短包進(jìn)行分析而不是持續(xù)動(dòng)態(tài)的分析，雖然降低了處理工作量，但分析統(tǒng)計(jì)的效果就顯得不夠完備，而且對(duì)于短時(shí)隙的突發(fā)異常流檢測(cè)沒法有效解決。

發(fā)明內(nèi)容
本發(fā)明目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法，使其通過對(duì)流量的模型分析，提高突發(fā)性異常檢測(cè)的效率，為入侵檢測(cè)對(duì)攻擊源的實(shí)時(shí)反向追蹤及防護(hù)提供可靠的依據(jù)。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明通過NS-2網(wǎng)絡(luò)仿真器平臺(tái)下的蠕蟲攻擊及DDoS分布式拒絕服務(wù)攻擊的仿真實(shí)現(xiàn)，采用網(wǎng)絡(luò)流量分析協(xié)議NetFlow對(duì)網(wǎng)絡(luò)流量信息進(jìn)行采集分析，判斷異常源的行為特征，最后采取相應(yīng)的控制措施中斷此類攻擊。
以下對(duì)本發(fā)明作進(jìn)一步的說明，包括如下步驟(1)流量映射采集，NS-2仿真模擬環(huán)境下通過NetFlow采集整個(gè)網(wǎng)絡(luò)環(huán)境下的流量信息；(2)統(tǒng)計(jì)、分類合計(jì)，按照用戶所訪問的站點(diǎn)對(duì)流量進(jìn)行分類，并對(duì)分類后的流量進(jìn)行統(tǒng)計(jì)，然后存入所對(duì)應(yīng)的RRD循環(huán)數(shù)據(jù)庫，建立網(wǎng)絡(luò)不同區(qū)域、不同時(shí)段的流量記錄信息；(3)模擬蠕蟲攻擊及DDoS攻擊，通過基于統(tǒng)計(jì)的監(jiān)測(cè)方法采集分析攻擊引起的異常流量特征，如在信息庫中查找不到就加入這一特征信息，同時(shí)處理異常；(4)通過對(duì)網(wǎng)絡(luò)流量的統(tǒng)計(jì)分析，進(jìn)行流量預(yù)測(cè)；(5)根據(jù)RRD數(shù)據(jù)庫中保存的流量信息，繪制可視化圖表；(6)對(duì)攻擊流量的源頭進(jìn)行反向信息跟蹤，并將相關(guān)的流量信息進(jìn)行關(guān)聯(lián)分析，以判斷攻擊源的位置。
本發(fā)明針對(duì)傳統(tǒng)的基于MRTG的流量采集方法，采用結(jié)合NetFlow和異常檢測(cè)判別技術(shù)，很好解決了DDoS和蠕蟲攻擊造成的突發(fā)流量堵塞問題，進(jìn)一步提高了網(wǎng)絡(luò)服務(wù)的穩(wěn)定性。對(duì)于判別出的異常流量通過IDS聯(lián)動(dòng)做出相應(yīng)處理，實(shí)現(xiàn)智能化流量控制管理。在異常分析時(shí)，不需要用戶事先取定，通過特征檢測(cè)和異常檢測(cè)相結(jié)合的手段，動(dòng)態(tài)地將未知DDoS攻擊特征添加到信息庫中，因此使本技術(shù)的智能化水平進(jìn)一步提高。
本發(fā)明具有低資源消耗和信息收集詳細(xì)等特點(diǎn)，采用流行的自相似性網(wǎng)絡(luò)預(yù)測(cè)模型，能夠較好的減輕信息采集的強(qiáng)度，比較可靠地提取出突發(fā)特征，可以大大加快網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)處理速度。尤其在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，設(shè)備資源繁多，網(wǎng)絡(luò)信息流量巨大的環(huán)境下，本發(fā)明能很好解決基于SNMP流量采集方法的過載問題，從而使網(wǎng)絡(luò)的容忍性大大提高。另外還成本低、部署容易、效率好、對(duì)網(wǎng)絡(luò)影響小等特點(diǎn)。


圖1為本發(fā)明流程2為本發(fā)明2-狀態(tài)隱藏馬爾科夫模型具體實(shí)施方式
以下結(jié)合附圖對(duì)本發(fā)明的實(shí)現(xiàn)進(jìn)一步說明?；诒景l(fā)明方法的系統(tǒng)由采集模塊、類分析模塊、檢測(cè)處理模塊、流量預(yù)測(cè)模塊、繪圖模塊及反向追蹤模塊六塊組成，各模塊的具體實(shí)施應(yīng)用如下(1)采集模塊——流量映射采集，NS-2仿真模擬環(huán)境下通過NetFlow采集整個(gè)網(wǎng)絡(luò)環(huán)境下的流量信息；(2)類分析模塊——統(tǒng)計(jì)、分類合計(jì)，按照用戶所訪問站點(diǎn)的不同對(duì)流量進(jìn)行分類，并對(duì)分類后的流量進(jìn)行統(tǒng)計(jì)，然后存入所對(duì)應(yīng)的RRD循環(huán)數(shù)據(jù)庫，建立網(wǎng)絡(luò)不同區(qū)域、不同時(shí)段的流量記錄信息；(3)檢測(cè)處理模塊——模擬蠕蟲攻擊及DDoS攻擊，通過基于統(tǒng)計(jì)的監(jiān)測(cè)方法采集分析攻擊引起的異常流量特征，如在信息庫中查找不到就加入這一特征信息，同時(shí)使用切斷連接、過濾、流量限定等方式處理異常；(4)流量預(yù)測(cè)模塊——通過對(duì)網(wǎng)絡(luò)流量的統(tǒng)計(jì)分析，進(jìn)行流量預(yù)測(cè)，降低資源消耗，同時(shí)提高網(wǎng)絡(luò)流量處理的實(shí)時(shí)性。
(5)繪圖模塊——根據(jù)RRD數(shù)據(jù)庫中保存的流量信息，繪制可視化圖表；(6)反向追蹤模塊——對(duì)攻擊流量的源頭進(jìn)行反向信息跟蹤，并將相關(guān)的流量信息進(jìn)行關(guān)聯(lián)分析，以判斷攻擊源的位置。提供法律解決的依據(jù)。
NetFlow從網(wǎng)絡(luò)流量搜集來的統(tǒng)計(jì)數(shù)據(jù)信息包括基于每個(gè)用戶的統(tǒng)計(jì)、基于每種協(xié)議的統(tǒng)計(jì)、基于每個(gè)端口的統(tǒng)計(jì)和基于每種設(shè)備的統(tǒng)計(jì)，可以提供比工作在鏈路層的SNMP協(xié)議更詳細(xì)的數(shù)據(jù)流信息，在流量發(fā)生突然變化時(shí)，能迅速分析出哪些協(xié)議、服務(wù)端口出現(xiàn)問題，并進(jìn)一步確定引起網(wǎng)絡(luò)流量突變的主機(jī)。協(xié)議分析采用高性能RRD循環(huán)數(shù)據(jù)庫，非常適合基于時(shí)間序列的數(shù)據(jù)存儲(chǔ)，同時(shí)還提供強(qiáng)大的數(shù)據(jù)壓縮、繪圖功能，可以極大地提高訪問數(shù)據(jù)的效率。
在該實(shí)施案例中，對(duì)NS-2環(huán)境下模擬DDoS攻擊和蠕蟲攻擊引發(fā)的突發(fā)異常流量采用2-狀態(tài)隱藏馬爾科夫模型(2 state Hidden Markov Model)進(jìn)行異常特征統(tǒng)計(jì)。這較常規(guī)的閾值檢測(cè)方法，誤報(bào)率更低，實(shí)時(shí)性更強(qiáng)。具體實(shí)現(xiàn)如下在本模型中假設(shè)網(wǎng)絡(luò)流速滿足高斯分布N(μh，σh)，μh為均值σh為方差。狀態(tài)之間的轉(zhuǎn)換遵循馬爾科夫鏈的過渡矩陣T，如圖2所示T=1-ppq1-q]]>根據(jù)這六個(gè)參數(shù)(μ1，σ1，μ2，σ2，p，q)對(duì)NetFlow收集的流量進(jìn)行分類統(tǒng)計(jì)，參數(shù)的選取依據(jù)最大相似準(zhǔn)則(maximum likelihood criteria)，即保證滿足這些參數(shù)的數(shù)據(jù)流出現(xiàn)概率最大。研究表明這-模型對(duì)于描述整個(gè)網(wǎng)絡(luò)流的特征是不充分的，但對(duì)于用來進(jìn)行流的劃分已經(jīng)足夠了。
基于HMM的流劃分，對(duì)于檢測(cè)DDOS等異常攻擊被證明是很有效的。使用了檢測(cè)窗口控制同一時(shí)刻處理流的大小，窗口大小一般使用12，18 or 24，這樣實(shí)時(shí)性效率高，可以滿足在線監(jiān)控的要求。提取出的未知特征通過異常檢測(cè)存入動(dòng)態(tài)特征庫，當(dāng)下次再出現(xiàn)這類攻擊時(shí)就能從特征庫中直接判別出是哪種攻擊方式。
本發(fā)明方法在異常判決時(shí)綜合了特征比較和流量自學(xué)習(xí)，在基于流的網(wǎng)絡(luò)性能監(jiān)控領(lǐng)域尚數(shù)首創(chuàng)，可以解決SNMP協(xié)議分析功能不足，流量異常閾值難以判斷等問題，從而使流量監(jiān)控的效率和實(shí)用性大大提高。本發(fā)明被用于對(duì)NS-2模擬仿真環(huán)境中的指定監(jiān)控設(shè)備進(jìn)行流量采集管理，實(shí)驗(yàn)表明，該方法的實(shí)時(shí)性強(qiáng)，經(jīng)過RRD存儲(chǔ)處理后的流信息在表征網(wǎng)絡(luò)狀態(tài)時(shí)是充分詳細(xì)的，為進(jìn)一步進(jìn)行反向追蹤奠定了很好的基礎(chǔ)。
權(quán)利要求
1.一種突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法，其特征在于，通過NS-2網(wǎng)絡(luò)仿真器平臺(tái)下的蠕蟲攻擊及DDoS分布式拒絕服務(wù)攻擊的仿真實(shí)現(xiàn)，采用網(wǎng)絡(luò)流量分析協(xié)議NetFlow對(duì)網(wǎng)絡(luò)流量信息進(jìn)行采集分析，判斷異常源的行為特征，最后采取相應(yīng)的控制措施中斷此類攻擊。
2.根據(jù)權(quán)利要求1所述的突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法，其特征是，包括如下步驟(1)流量映射采集，NS-2仿真模擬環(huán)境下通過NetFlow采集整個(gè)網(wǎng)絡(luò)環(huán)境下的流量信息；(2)統(tǒng)計(jì)、分類合計(jì)，按照用戶所訪問的站點(diǎn)對(duì)流量進(jìn)行分類，并對(duì)分類后的流量進(jìn)行統(tǒng)計(jì)，然后存入所對(duì)應(yīng)的RRD循環(huán)數(shù)據(jù)庫，建立網(wǎng)絡(luò)不同區(qū)域、不同時(shí)段的流量記錄信息；(3)模擬蠕蟲攻擊及DDoS攻擊，通過基于統(tǒng)計(jì)的監(jiān)測(cè)方法采集分析攻擊引起的異常流量特征，如在信息庫中查找不到就加入這一特征信息，同時(shí)處理異常；(4)通過對(duì)網(wǎng)絡(luò)流量的統(tǒng)計(jì)分析，進(jìn)行流量預(yù)測(cè)；(5)根據(jù)RRD數(shù)據(jù)庫中保存的流量信息，繪制可視化圖表；(6)對(duì)攻擊流量的源頭進(jìn)行反向信息跟蹤，并將相關(guān)的流量信息進(jìn)行關(guān)聯(lián)分析，以判斷攻擊源的位置。
3.根據(jù)權(quán)利要求2所述的突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法，其特征是，NetFlow從網(wǎng)絡(luò)流量搜集來的統(tǒng)計(jì)數(shù)據(jù)信息包括基于每個(gè)用戶的統(tǒng)計(jì)、基于每種協(xié)議的統(tǒng)計(jì)、基于每個(gè)端口的統(tǒng)計(jì)和基于每種設(shè)備的統(tǒng)計(jì)，提供比工作在鏈路層的SNMP協(xié)議更詳細(xì)的數(shù)據(jù)流信息，在流量發(fā)生突然變化時(shí)，能迅速分析出哪些協(xié)議、服務(wù)端口出現(xiàn)問題，并進(jìn)一步確定引起網(wǎng)絡(luò)流量突變的主機(jī)。
4.根據(jù)權(quán)利要求2所述的突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法，其特征是，處理異常的方式為切斷連接、過濾或者流量限定。
5.根據(jù)權(quán)利要求2所述的突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法，其特征是，對(duì)NS-2環(huán)境下模擬DDoS攻擊和蠕蟲攻擊引發(fā)的突發(fā)異常流量采用2-狀態(tài)隱藏馬爾科夫模型進(jìn)行異常特征統(tǒng)計(jì)，具體實(shí)現(xiàn)如下假設(shè)網(wǎng)絡(luò)流速滿足高斯分布N(μh，σh)，μh為均值σh為方差，狀態(tài)之間的轉(zhuǎn)換遵循馬爾科夫鏈的過渡矩陣T，T=1-ppq1-q]]>根據(jù)這六個(gè)參數(shù)μ1，σ1，μ2，σ2，p，q對(duì)NetFlow收集的流量進(jìn)行分類統(tǒng)計(jì)，參數(shù)的選取依據(jù)最大相似準(zhǔn)則，即保證滿足這些參數(shù)的數(shù)據(jù)流出現(xiàn)概率最大。
全文摘要
一種網(wǎng)絡(luò)技術(shù)領(lǐng)域的突發(fā)性異常網(wǎng)絡(luò)流量的檢測(cè)與監(jiān)控方法。本發(fā)明通過NS－2網(wǎng)絡(luò)仿真器平臺(tái)下的蠕蟲攻擊及DDoS分布式拒絕服務(wù)攻擊的仿真實(shí)現(xiàn)，采用網(wǎng)絡(luò)流量分析協(xié)議Net Flow對(duì)網(wǎng)絡(luò)流量信息進(jìn)行采集分析，判斷異常源的行為特征，最后采取相應(yīng)的控制措施中斷此類攻擊。本發(fā)明方法在異常判決時(shí)綜合了特征比較和流量自學(xué)習(xí)，在基于流的網(wǎng)絡(luò)性能監(jiān)控領(lǐng)域尚屬首創(chuàng)，可以解決SNMP協(xié)議分析功能不足，流量異常閾值難以判斷等問題，從而使流量監(jiān)控的效率和實(shí)用性大大提高。本發(fā)明被用于對(duì)NS－2模擬仿真環(huán)境中的指定監(jiān)控設(shè)備進(jìn)行流量采集管理，實(shí)驗(yàn)表明，該方法的實(shí)時(shí)性強(qiáng)，經(jīng)過RRD存儲(chǔ)處理后的流信息在表征網(wǎng)絡(luò)狀態(tài)時(shí)是充分詳細(xì)的，為進(jìn)一步進(jìn)行反向追蹤奠定了很好的基礎(chǔ)。
文檔編號(hào)H04L29/06GK1764126SQ20051011026
公開日2006年4月26日 申請(qǐng)日期2005年11月11日 優(yōu)先權(quán)日2005年11月11日
發(fā)明者楊樹堂, 陸松年, 李建華, 馬進(jìn), 周明春 申請(qǐng)人:上海交通大學(xué)