一種大流量環(huán)境下主機網(wǎng)絡異常行為檢測及分類方法
【技術領域】
[0001] 本發(fā)明屬于互聯(lián)網(wǎng)技術領域，更具體地，設及一種大流量環(huán)境下主機網(wǎng)絡異常行 為檢測及分類方法。
【背景技術】
[0002] 隨著互聯(lián)網(wǎng)飛速向前發(fā)展，網(wǎng)絡新技術不斷出現(xiàn)，網(wǎng)絡帶寬不斷提高，網(wǎng)絡安全問 題也日益多樣化。網(wǎng)絡攻擊新技術的攻擊行為更加隱蔽，并且對安全的危害性也越來越大。 同時，網(wǎng)絡帶寬的提高導致網(wǎng)絡上承載的業(yè)務種類日趨多樣化，從而增加了網(wǎng)絡出現(xiàn)故障 和性能問題的概率。網(wǎng)絡用戶也更加注重網(wǎng)絡服務質(zhì)量。該就要求出現(xiàn)網(wǎng)絡異常的時候， 能夠盡快的檢測到異常并對其分析處理后完成對異常的排除，從而保證網(wǎng)絡可W正常的提 供服務。
[0003] 由于互聯(lián)網(wǎng)開放的特點，各種網(wǎng)絡協(xié)議和應用軟件設計上層出不窮的漏洞W及用 戶水平的參差不齊，造成目前網(wǎng)絡的安全性無法得到保證。各種漏洞給黑客入侵和網(wǎng)絡病 毒傳播造成了許多可乘之機，使得互聯(lián)網(wǎng)中充斥著各種掃描和攻擊流量，會使網(wǎng)絡性能出 現(xiàn)異常，影響網(wǎng)絡的正常服務和用戶使用，嚴重時可能造成網(wǎng)絡擁痕。
[0004] 常見的會引起網(wǎng)絡通訊異常的用戶行為主要有W下幾種：
[0005] 1、網(wǎng)絡掃描；
[0006] 網(wǎng)絡掃描作為一種常見的網(wǎng)絡異常數(shù)據(jù)流，是黑客在為下一步的網(wǎng)絡入侵進行踩 點準備，收集各種攻擊目標的信息，包括在線主機ip地址和其開放的監(jiān)聽端口等。網(wǎng)絡掃 描在一般情況下對目標網(wǎng)絡中所有的地址進行掃描，來確定目標網(wǎng)絡中的活躍主機，W及 活躍主機所開啟的端口。該種行為具有明顯的特征：短時間內(nèi)同一個源IP訪問同一個目標 IP的不同端口或者大量不同的目標IP，并且一般情況下目標IP地址還具有連續(xù)的特征。由 于在找到合適的入侵目標前，掃描時一項必須且漫長的過程，所W互聯(lián)網(wǎng)內(nèi)往往充斥了該 些流量，不僅影響網(wǎng)絡通訊質(zhì)量，更是一種嚴重的安全威脅。
[0007] 2、DoSA)DoS攻擊；
[000引DoS值enialofService)攻擊是指通過盡可能的消耗攻擊目標資源的方法，使目 標計算機或網(wǎng)絡無法提供正常服務，甚至徹底崩潰的一種攻擊方法。該種攻擊并不會對網(wǎng) 絡設備和主機造成入侵，僅僅是消耗該些設備或主機的服務資源，包括CPU處理性能、網(wǎng)絡 帶寬、內(nèi)存等。理論上無論目標計算機的內(nèi)存容量多大、處理速度多快、網(wǎng)絡帶寬速度多高 都無法避免該種攻擊。
[0009]DDoS(DistributedDenialOfService)攻擊又把DoS攻擊向前發(fā)展了一大步。 黑客首先在己經(jīng)成功被其入侵和控制的高帶寬主機上安裝DoS攻擊程序。該些被控制的主 機被稱為愧備機，數(shù)目可能是成百上千，也有可能上萬臺。愧備機上的DoS攻擊程序受到中 央控制中屯、的命令的控制，當中央攻擊控制中屯、向愧備機發(fā)送啟動DoS程序進行攻擊時， 所有愧備機向特定的目標主機發(fā)送盡可能多的網(wǎng)絡訪問請求，從而形成一股DoS洪流對目 標系統(tǒng)造成沖擊。而被攻擊的目標系統(tǒng)由于資源的耗盡，無法及時處理正常的訪問，甚至會 出現(xiàn)系統(tǒng)崩潰擁痕的情況。
[0010] 3、蠕蟲傳播；
[0011] 網(wǎng)絡蠕蟲是一種智能化、自動化，綜合網(wǎng)絡攻擊、密碼學和計算機病毒技術，無須 計算機使用者干預即可運行的攻擊程序或代碼，其會掃描和攻擊網(wǎng)絡上存在系統(tǒng)漏洞的主 機，通過網(wǎng)絡從一臺主機傳播到另外一臺主機。蠕蟲病毒主要的破壞方式是大量的復制自 身，然后在網(wǎng)絡中傳播，嚴重的占用有限的網(wǎng)絡資源，最終引起整個網(wǎng)絡的擁痕，使用戶不 能通過網(wǎng)絡進行正常的工作。每一次蠕蟲病毒的爆發(fā)都會給全球經(jīng)濟造成巨大損失，因此 其危害性是十分巨大的。
[0012] 網(wǎng)絡用戶異常行為是網(wǎng)絡面臨的一大威脅。所謂異常行為，顧名思義，是指與正常 行為相對應，由網(wǎng)絡用戶實施的對網(wǎng)絡正常運行造成影響的行為，例如傳播蠕蟲、孤oS攻擊 等。該些行為會造成網(wǎng)絡服務質(zhì)量急劇下降，網(wǎng)絡負載加重甚至擁痕等后果。隨著網(wǎng)絡快 速發(fā)展，網(wǎng)絡用戶異常行為的新變種W及新行為層出不窮，其威脅也日益嚴重。因此無論是 加強對用戶行為的管控，還是保障網(wǎng)絡的正常運行，都要求能夠?qū)W(wǎng)絡用戶的異常行為實 施快速、準確的檢測。用戶網(wǎng)絡異常行為檢測技術可W作為合適的手段解決該個問題。尤 其是針對蠕蟲傳播早期階段的檢測，可W及時發(fā)現(xiàn)網(wǎng)絡中感染了蠕蟲的機器，并采取相應 處理，避免造成無法控制的危害。
[0013] 目前的網(wǎng)絡異常檢測技術和研究基本可分為W下幾類：
[0014] 1、針對整體網(wǎng)絡流量發(fā)現(xiàn)異常的研究和技術
[0015] 目前的網(wǎng)絡異常檢測研究幾乎都屬于此類，特點是W目標網(wǎng)絡中某時刻的所有流 量整體做為檢測目標，而檢測結(jié)果一般為判定該時刻該網(wǎng)絡是否發(fā)生了異常值oS攻擊或 網(wǎng)絡掃描）等。而該樣的檢測方法的局限性在于：
[0016] (1)由于檢測目標過大，只有在發(fā)生足夠大規(guī)模的攻擊時才可能做出異常的判 定；
[0017] (2)由于檢測目標過于復雜，常常使用復雜的數(shù)據(jù)挖掘和機器學習等算法來進行 分析，運算量大，在實時的網(wǎng)絡環(huán)境和網(wǎng)絡設備中難W實現(xiàn)；
[0018] (3)檢測結(jié)果不夠精細，無法給出異常的詳細細節(jié)，例如：具體是哪些流量異常？ 源目的IP地址、端口和協(xié)議是什么等？如果不能給出具體細節(jié)，就無法做出有效的攔截。
[0019] 2、基于闊值的簡單檢測技術
[0020] 該是目前各類網(wǎng)絡和安全設備中使用最多的一類檢測技術，特點是W單個IP(網(wǎng) 絡用戶）為分析對象，統(tǒng)計其在一段較短時間（通常為1秒）內(nèi)發(fā)送的數(shù)據(jù)包數(shù)或者新建 的連接數(shù)是否超過預先設定的檢測闊值來判斷該IP是否出現(xiàn)了異常網(wǎng)絡行為。該種檢測 方法簡單易于實現(xiàn)，可W識別一些典型的DoS攻擊和網(wǎng)絡掃描行為，但會對一些設及高速 下載或上傳的網(wǎng)絡應用（例如P2P和網(wǎng)絡視頻）造成誤判，而對經(jīng)過偽裝的DDoS攻擊和掃 描行為又會形成漏判。

【發(fā)明內(nèi)容】

[0021] 針對現(xiàn)有技術的W上缺陷或改進需求，本發(fā)明提供一種大流量環(huán)境下主機網(wǎng)絡異 常行為檢測及分類方法，兼具準確性和實用性，使得可在各類網(wǎng)絡設備中真正實現(xiàn)有效的 異常網(wǎng)絡流量抑制功能，從而保證互聯(lián)網(wǎng)的安全和有序。
[0022] 本發(fā)明提供一種大流量環(huán)境下主機網(wǎng)絡異常行為檢測及分類方法，包括W下步 驟：
[0023] 步驟1生成與維護網(wǎng)絡連接表，所述網(wǎng)絡連接表中的每個網(wǎng)絡連接由源IP地址、 目的IP地址、源端口、目的端口、協(xié)議及時間信息唯一標識；
[0024] 步驟2實時Wnetflow數(shù)據(jù)格式將所述網(wǎng)絡連接表發(fā)送到系統(tǒng)，所述系統(tǒng)獲取一 定時間間隔的netflow數(shù)據(jù)后，解析所述netflow數(shù)據(jù)并建立當前的網(wǎng)絡連接表副本，然后 開啟新的線程遍歷所述網(wǎng)絡連接表，進行統(tǒng)計分析；
[0025] 步驟3在獲得所述一定時間間隔的網(wǎng)絡連接表副本后，采用哈希算法對所述網(wǎng)絡 連接表副本進行處理，構(gòu)建主機記錄表存儲主機信息；
[0026] 步驟4遍歷所述主機記錄表，讀取其中網(wǎng)絡連接總數(shù)的值，判斷是否超過檢測闊 值，如果未超過所述檢測闊值則讀取下一個主機記錄，否則對該主機記錄所有內(nèi)容進行遍 歷，統(tǒng)計目的IP總數(shù)和所有源端口及目的端口的分布，遍歷完畢后，計算出該主機的源端 口滴、目的端口滴、源最大占比和目的最大占比；
[0027] 步驟5根據(jù)所述步驟4的計算結(jié)果判斷該主機的異常行為類型。
[0028] 總體而言，通過本發(fā)明所構(gòu)思的W上技術方案與現(xiàn)有技術相比，具有W下有益效 果：
[0029] 1、本發(fā)明利用計算機節(jié)點在進行網(wǎng)絡掃描和DoS攻擊行為時，并發(fā)連接數(shù)高，且 源