一種大流量環(huán)境下主機(jī)網(wǎng)絡(luò)異常行為檢測(cè)及分類(lèi)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域，更具體地，設(shè)及一種大流量環(huán)境下主機(jī)網(wǎng)絡(luò)異常行 為檢測(cè)及分類(lèi)方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)飛速向前發(fā)展，網(wǎng)絡(luò)新技術(shù)不斷出現(xiàn)，網(wǎng)絡(luò)帶寬不斷提高，網(wǎng)絡(luò)安全問(wèn) 題也日益多樣化。網(wǎng)絡(luò)攻擊新技術(shù)的攻擊行為更加隱蔽，并且對(duì)安全的危害性也越來(lái)越大。 同時(shí)，網(wǎng)絡(luò)帶寬的提高導(dǎo)致網(wǎng)絡(luò)上承載的業(yè)務(wù)種類(lèi)日趨多樣化，從而增加了網(wǎng)絡(luò)出現(xiàn)故障 和性能問(wèn)題的概率。網(wǎng)絡(luò)用戶(hù)也更加注重網(wǎng)絡(luò)服務(wù)質(zhì)量。該就要求出現(xiàn)網(wǎng)絡(luò)異常的時(shí)候， 能夠盡快的檢測(cè)到異常并對(duì)其分析處理后完成對(duì)異常的排除，從而保證網(wǎng)絡(luò)可W正常的提 供服務(wù)。
[0003] 由于互聯(lián)網(wǎng)開(kāi)放的特點(diǎn)，各種網(wǎng)絡(luò)協(xié)議和應(yīng)用軟件設(shè)計(jì)上層出不窮的漏洞W及用 戶(hù)水平的參差不齊，造成目前網(wǎng)絡(luò)的安全性無(wú)法得到保證。各種漏洞給黑客入侵和網(wǎng)絡(luò)病 毒傳播造成了許多可乘之機(jī)，使得互聯(lián)網(wǎng)中充斥著各種掃描和攻擊流量，會(huì)使網(wǎng)絡(luò)性能出 現(xiàn)異常，影響網(wǎng)絡(luò)的正常服務(wù)和用戶(hù)使用，嚴(yán)重時(shí)可能造成網(wǎng)絡(luò)擁痕。
[0004] 常見(jiàn)的會(huì)引起網(wǎng)絡(luò)通訊異常的用戶(hù)行為主要有W下幾種：
[0005] 1、網(wǎng)絡(luò)掃描；
[0006] 網(wǎng)絡(luò)掃描作為一種常見(jiàn)的網(wǎng)絡(luò)異常數(shù)據(jù)流，是黑客在為下一步的網(wǎng)絡(luò)入侵進(jìn)行踩 點(diǎn)準(zhǔn)備，收集各種攻擊目標(biāo)的信息，包括在線主機(jī)ip地址和其開(kāi)放的監(jiān)聽(tīng)端口等。網(wǎng)絡(luò)掃 描在一般情況下對(duì)目標(biāo)網(wǎng)絡(luò)中所有的地址進(jìn)行掃描，來(lái)確定目標(biāo)網(wǎng)絡(luò)中的活躍主機(jī)，W及 活躍主機(jī)所開(kāi)啟的端口。該種行為具有明顯的特征：短時(shí)間內(nèi)同一個(gè)源IP訪問(wèn)同一個(gè)目標(biāo) IP的不同端口或者大量不同的目標(biāo)IP，并且一般情況下目標(biāo)IP地址還具有連續(xù)的特征。由 于在找到合適的入侵目標(biāo)前，掃描時(shí)一項(xiàng)必須且漫長(zhǎng)的過(guò)程，所W互聯(lián)網(wǎng)內(nèi)往往充斥了該 些流量，不僅影響網(wǎng)絡(luò)通訊質(zhì)量，更是一種嚴(yán)重的安全威脅。
[0007] 2、DoSA)DoS攻擊；
[000引DoS值enialofService)攻擊是指通過(guò)盡可能的消耗攻擊目標(biāo)資源的方法，使目 標(biāo)計(jì)算機(jī)或網(wǎng)絡(luò)無(wú)法提供正常服務(wù)，甚至徹底崩潰的一種攻擊方法。該種攻擊并不會(huì)對(duì)網(wǎng) 絡(luò)設(shè)備和主機(jī)造成入侵，僅僅是消耗該些設(shè)備或主機(jī)的服務(wù)資源，包括CPU處理性能、網(wǎng)絡(luò) 帶寬、內(nèi)存等。理論上無(wú)論目標(biāo)計(jì)算機(jī)的內(nèi)存容量多大、處理速度多快、網(wǎng)絡(luò)帶寬速度多高 都無(wú)法避免該種攻擊。
[0009]DDoS(DistributedDenialOfService)攻擊又把DoS攻擊向前發(fā)展了一大步。 黑客首先在己經(jīng)成功被其入侵和控制的高帶寬主機(jī)上安裝DoS攻擊程序。該些被控制的主 機(jī)被稱(chēng)為愧備機(jī)，數(shù)目可能是成百上千，也有可能上萬(wàn)臺(tái)。愧備機(jī)上的DoS攻擊程序受到中 央控制中屯、的命令的控制，當(dāng)中央攻擊控制中屯、向愧備機(jī)發(fā)送啟動(dòng)DoS程序進(jìn)行攻擊時(shí)， 所有愧備機(jī)向特定的目標(biāo)主機(jī)發(fā)送盡可能多的網(wǎng)絡(luò)訪問(wèn)請(qǐng)求，從而形成一股DoS洪流對(duì)目 標(biāo)系統(tǒng)造成沖擊。而被攻擊的目標(biāo)系統(tǒng)由于資源的耗盡，無(wú)法及時(shí)處理正常的訪問(wèn)，甚至?xí)?出現(xiàn)系統(tǒng)崩潰擁痕的情況。
[0010] 3、蠕蟲(chóng)傳播；
[0011] 網(wǎng)絡(luò)蠕蟲(chóng)是一種智能化、自動(dòng)化，綜合網(wǎng)絡(luò)攻擊、密碼學(xué)和計(jì)算機(jī)病毒技術(shù)，無(wú)須 計(jì)算機(jī)使用者干預(yù)即可運(yùn)行的攻擊程序或代碼，其會(huì)掃描和攻擊網(wǎng)絡(luò)上存在系統(tǒng)漏洞的主 機(jī)，通過(guò)網(wǎng)絡(luò)從一臺(tái)主機(jī)傳播到另外一臺(tái)主機(jī)。蠕蟲(chóng)病毒主要的破壞方式是大量的復(fù)制自 身，然后在網(wǎng)絡(luò)中傳播，嚴(yán)重的占用有限的網(wǎng)絡(luò)資源，最終引起整個(gè)網(wǎng)絡(luò)的擁痕，使用戶(hù)不 能通過(guò)網(wǎng)絡(luò)進(jìn)行正常的工作。每一次蠕蟲(chóng)病毒的爆發(fā)都會(huì)給全球經(jīng)濟(jì)造成巨大損失，因此 其危害性是十分巨大的。
[0012] 網(wǎng)絡(luò)用戶(hù)異常行為是網(wǎng)絡(luò)面臨的一大威脅。所謂異常行為，顧名思義，是指與正常 行為相對(duì)應(yīng)，由網(wǎng)絡(luò)用戶(hù)實(shí)施的對(duì)網(wǎng)絡(luò)正常運(yùn)行造成影響的行為，例如傳播蠕蟲(chóng)、孤oS攻擊 等。該些行為會(huì)造成網(wǎng)絡(luò)服務(wù)質(zhì)量急劇下降，網(wǎng)絡(luò)負(fù)載加重甚至擁痕等后果。隨著網(wǎng)絡(luò)快 速發(fā)展，網(wǎng)絡(luò)用戶(hù)異常行為的新變種W及新行為層出不窮，其威脅也日益嚴(yán)重。因此無(wú)論是 加強(qiáng)對(duì)用戶(hù)行為的管控，還是保障網(wǎng)絡(luò)的正常運(yùn)行，都要求能夠?qū)W(wǎng)絡(luò)用戶(hù)的異常行為實(shí) 施快速、準(zhǔn)確的檢測(cè)。用戶(hù)網(wǎng)絡(luò)異常行為檢測(cè)技術(shù)可W作為合適的手段解決該個(gè)問(wèn)題。尤 其是針對(duì)蠕蟲(chóng)傳播早期階段的檢測(cè)，可W及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中感染了蠕蟲(chóng)的機(jī)器，并采取相應(yīng) 處理，避免造成無(wú)法控制的危害。
[0013] 目前的網(wǎng)絡(luò)異常檢測(cè)技術(shù)和研究基本可分為W下幾類(lèi)：
[0014] 1、針對(duì)整體網(wǎng)絡(luò)流量發(fā)現(xiàn)異常的研究和技術(shù)
[0015] 目前的網(wǎng)絡(luò)異常檢測(cè)研究幾乎都屬于此類(lèi)，特點(diǎn)是W目標(biāo)網(wǎng)絡(luò)中某時(shí)刻的所有流 量整體做為檢測(cè)目標(biāo)，而檢測(cè)結(jié)果一般為判定該時(shí)刻該網(wǎng)絡(luò)是否發(fā)生了異常值oS攻擊或 網(wǎng)絡(luò)掃描）等。而該樣的檢測(cè)方法的局限性在于：
[0016] (1)由于檢測(cè)目標(biāo)過(guò)大，只有在發(fā)生足夠大規(guī)模的攻擊時(shí)才可能做出異常的判 定；
[0017] (2)由于檢測(cè)目標(biāo)過(guò)于復(fù)雜，常常使用復(fù)雜的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等算法來(lái)進(jìn)行 分析，運(yùn)算量大，在實(shí)時(shí)的網(wǎng)絡(luò)環(huán)境和網(wǎng)絡(luò)設(shè)備中難W實(shí)現(xiàn)；
[0018] (3)檢測(cè)結(jié)果不夠精細(xì)，無(wú)法給出異常的詳細(xì)細(xì)節(jié)，例如：具體是哪些流量異常？ 源目的IP地址、端口和協(xié)議是什么等？如果不能給出具體細(xì)節(jié)，就無(wú)法做出有效的攔截。
[0019] 2、基于闊值的簡(jiǎn)單檢測(cè)技術(shù)
[0020] 該是目前各類(lèi)網(wǎng)絡(luò)和安全設(shè)備中使用最多的一類(lèi)檢測(cè)技術(shù)，特點(diǎn)是W單個(gè)IP(網(wǎng) 絡(luò)用戶(hù)）為分析對(duì)象，統(tǒng)計(jì)其在一段較短時(shí)間（通常為1秒）內(nèi)發(fā)送的數(shù)據(jù)包數(shù)或者新建 的連接數(shù)是否超過(guò)預(yù)先設(shè)定的檢測(cè)闊值來(lái)判斷該IP是否出現(xiàn)了異常網(wǎng)絡(luò)行為。該種檢測(cè) 方法簡(jiǎn)單易于實(shí)現(xiàn)，可W識(shí)別一些典型的DoS攻擊和網(wǎng)絡(luò)掃描行為，但會(huì)對(duì)一些設(shè)及高速 下載或上傳的網(wǎng)絡(luò)應(yīng)用（例如P2P和網(wǎng)絡(luò)視頻）造成誤判，而對(duì)經(jīng)過(guò)偽裝的DDoS攻擊和掃 描行為又會(huì)形成漏判。

【發(fā)明內(nèi)容】

[0021] 針對(duì)現(xiàn)有技術(shù)的W上缺陷或改進(jìn)需求，本發(fā)明提供一種大流量環(huán)境下主機(jī)網(wǎng)絡(luò)異 常行為檢測(cè)及分類(lèi)方法，兼具準(zhǔn)確性和實(shí)用性，使得可在各類(lèi)網(wǎng)絡(luò)設(shè)備中真正實(shí)現(xiàn)有效的 異常網(wǎng)絡(luò)流量抑制功能，從而保證互聯(lián)網(wǎng)的安全和有序。
[0022] 本發(fā)明提供一種大流量環(huán)境下主機(jī)網(wǎng)絡(luò)異常行為檢測(cè)及分類(lèi)方法，包括W下步 驟：
[0023] 步驟1生成與維護(hù)網(wǎng)絡(luò)連接表，所述網(wǎng)絡(luò)連接表中的每個(gè)網(wǎng)絡(luò)連接由源IP地址、 目的IP地址、源端口、目的端口、協(xié)議及時(shí)間信息唯一標(biāo)識(shí)；
[0024] 步驟2實(shí)時(shí)Wnetflow數(shù)據(jù)格式將所述網(wǎng)絡(luò)連接表發(fā)送到系統(tǒng)，所述系統(tǒng)獲取一 定時(shí)間間隔的netflow數(shù)據(jù)后，解析所述netflow數(shù)據(jù)并建立當(dāng)前的網(wǎng)絡(luò)連接表副本，然后 開(kāi)啟新的線程遍歷所述網(wǎng)絡(luò)連接表，進(jìn)行統(tǒng)計(jì)分析；
[0025] 步驟3在獲得所述一定時(shí)間間隔的網(wǎng)絡(luò)連接表副本后，采用哈希算法對(duì)所述網(wǎng)絡(luò) 連接表副本進(jìn)行處理，構(gòu)建主機(jī)記錄表存儲(chǔ)主機(jī)信息；
[0026] 步驟4遍歷所述主機(jī)記錄表，讀取其中網(wǎng)絡(luò)連接總數(shù)的值，判斷是否超過(guò)檢測(cè)闊 值，如果未超過(guò)所述檢測(cè)闊值則讀取下一個(gè)主機(jī)記錄，否則對(duì)該主機(jī)記錄所有內(nèi)容進(jìn)行遍 歷，統(tǒng)計(jì)目的IP總數(shù)和所有源端口及目的端口的分布，遍歷完畢后，計(jì)算出該主機(jī)的源端 口滴、目的端口滴、源最大占比和目的最大占比；
[0027] 步驟5根據(jù)所述步驟4的計(jì)算結(jié)果判斷該主機(jī)的異常行為類(lèi)型。
[0028] 總體而言，通過(guò)本發(fā)明所構(gòu)思的W上技術(shù)方案與現(xiàn)有技術(shù)相比，具有W下有益效 果：
[0029] 1、本發(fā)明利用計(jì)算機(jī)節(jié)點(diǎn)在進(jìn)行網(wǎng)絡(luò)掃描和DoS攻擊行為時(shí)，并發(fā)連接數(shù)高，且 源