專利名稱：網(wǎng)絡(luò)流量均衡分割系統(tǒng)及分割方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)技術(shù)領(lǐng)域，涉及網(wǎng)絡(luò)流量的分割，可用于網(wǎng)絡(luò)流量識別及入侵檢測。
背景技術(shù)：
隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和業(yè)務(wù)量的不斷提高，骨干鏈路帶寬不斷增加，入侵檢測系統(tǒng)、內(nèi)容審計系統(tǒng)等分析設(shè)備的性能越來越不能滿足鏈路帶寬的要求。在鏈路速度達到IGbps級別時，現(xiàn)有的分析設(shè)備難以獨自處理如此大流量的報文信息。開發(fā)性能更高的分析設(shè)備需要較長的研發(fā)周期，而且其性能的增長仍無法滿足網(wǎng)絡(luò)帶寬日益增長的需求，導(dǎo)致新設(shè)備的生命周期短，社會效益不高。在現(xiàn)有設(shè)備的基礎(chǔ)上，可采用多臺設(shè)備并行處理的方式來解 決網(wǎng)絡(luò)帶寬的快速增長與分析設(shè)備性能有限之間的矛盾。為實現(xiàn)網(wǎng)絡(luò)流量的并行處理，一般采用負載均衡技術(shù)，將流量均衡分配到多臺設(shè)備上，從而降低單個接收節(jié)點的負載?，F(xiàn)在常用的負載均衡方法包括輪詢、隨機、源地址散列、源地址端口散列、目的地址散列、最小連接等。這些負載均衡方法雖然在各自的領(lǐng)域都有很好的應(yīng)用，但是都不能保證分析節(jié)點處理信息的完整性。為了便于接收節(jié)點分析處理捕獲的流量，滿足單個接收節(jié)點處理信息的完整性，需對網(wǎng)絡(luò)流量進行基于會話的分割，現(xiàn)有的基于會話的流量分割一般直接基于五元組對流量進行一次分割。這種方法雖然能降低單個接收節(jié)點的負載，但流量初始分割節(jié)點的負載依然很大，當鏈路速度過大時，流量初始分割節(jié)點將難以快速處理如此大流量的報文信息，從而導(dǎo)致整個系統(tǒng)的性能低下。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足，提出一種網(wǎng)絡(luò)流量均衡分割系統(tǒng)及分割方法，以降低流量初始分割節(jié)點的負載，提高系統(tǒng)的整體性能，滿足快速增長的網(wǎng)絡(luò)帶寬的要求。實現(xiàn)本發(fā)明目的的技術(shù)思路是根據(jù)待處理的網(wǎng)絡(luò)流量規(guī)模，結(jié)合數(shù)據(jù)報文的源、目的地址字段對網(wǎng)絡(luò)數(shù)據(jù)流進行粗分割；并按照負載均衡策略對經(jīng)過了粗分割的網(wǎng)絡(luò)數(shù)據(jù)流進行基于會話的均衡分割。其技術(shù)方案如下一、本發(fā)明的網(wǎng)絡(luò)流量均衡分割的系統(tǒng)，包括分割單元、均衡分割單元及接收單元所述的分割單元，包括粗分割策略制定模塊和粗分割執(zhí)行模塊，該粗分割策略制定模塊，用于根據(jù)待處理的網(wǎng)絡(luò)流量規(guī)模，確定均衡分割單元的數(shù)量，結(jié)合數(shù)據(jù)報文的源、目的地址字段制定數(shù)據(jù)報文的粗分割策略；該分割執(zhí)行模塊，用于根據(jù)所述的粗分割策略將數(shù)據(jù)報文分配給相應(yīng)的均衡分割單元；所述的均衡分割單元，包括負載均衡模塊和分割執(zhí)行模塊，該負載均衡模塊，用于計算出不同會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系，并根據(jù)映射關(guān)系向相應(yīng)的接收單元詢問負載情況，根據(jù)負載情況的反饋信息進行映射關(guān)系調(diào)整與記錄；該分割執(zhí)行模塊，用于根據(jù)映射關(guān)系將網(wǎng)絡(luò)流量分配給相應(yīng)的接收單元；所述的接收單元，用于接收均衡分割單元的負載詢問請求，計算其負載情況，判定該負載是否達到最大負載，并將判定結(jié)果反饋給相應(yīng)的均衡分割單元。二、本發(fā)明的網(wǎng)絡(luò)流量均衡分割的方法，包括如下步驟(I)對網(wǎng)絡(luò)流量進行粗分割(Ia)確定均衡分割節(jié)點的數(shù)量為2n，N為偶數(shù)，其大小由待處理的網(wǎng)絡(luò)流量規(guī)模決定;(Ib)對網(wǎng)絡(luò)流量中的每一個數(shù)據(jù)報文，獲得其源地址字段的最后f位，表示為a，
獲得其目的地址字段的最后f位，表示為b，連接a和b獲得一個N位的二進制數(shù)ab，將二進
制數(shù)ab對應(yīng)的十進制數(shù)k作為該數(shù)據(jù)報文對應(yīng)的均衡分割節(jié)點編號，并將該數(shù)據(jù)報文分配給該對應(yīng)均衡分割節(jié)點；(2)對經(jīng)過了粗分割的網(wǎng)絡(luò)流量進行基于會話的均衡分割

(2a)每個均衡分割節(jié)點創(chuàng)建一張映射關(guān)系記錄表；(2b)對接收到的每一個數(shù)據(jù)報文，根據(jù)其源地址、目的地址、源端口、目的端口字段，獲得其會話的標識ID;(2c)根據(jù)會話的標識ID，查找映射關(guān)系記錄表，若該會話存在映射關(guān)系記錄，則更新該映射關(guān)系記錄中的最新到達時間，并將該數(shù)據(jù)報文分配至對應(yīng)的接收節(jié)點，若該會話不存在映射關(guān)系記錄，則執(zhí)行步驟(2d)；(2d)根據(jù)會話的標識ID，計算該會話所映射的接收節(jié)點編號η=(源地址+目的地址+源端口 +目的端口)mod M，其中mod為模運算，M彡2N，為接收節(jié)點的數(shù)量；詢問所映射的接收節(jié)點是否達到其最大負載，接收節(jié)點判定自身負載并向發(fā)起詢問的均衡分割節(jié)點反饋判定結(jié)果，若其未達到最大負載則在映射關(guān)系記錄表中記錄該映射關(guān)系，否則調(diào)整所述會話所映射的接收節(jié)點的編號為n=(n+l)mod Μ,并重新詢問該接收節(jié)點是否達到其最大負載，重復(fù)所述調(diào)整，直至所映射的接收節(jié)點未達到最大負載，記錄該映射關(guān)系；根據(jù)所記錄的映射關(guān)系將該數(shù)據(jù)報文分配至各對應(yīng)的接收節(jié)點；(2e)每隔時間間隔Τ，每個均衡分割節(jié)點，讀取其映射關(guān)系記錄表中映射關(guān)系記錄的最新到達時間，對每一條映射關(guān)系記錄，用當前時間減去其最新到達時間，獲得差值τ，若τ > 120s則認為該映射關(guān)系記錄中的會話已結(jié)束，刪除該條記錄，否則不進行操作，其中T=300s，可根據(jù)實際情況進行調(diào)整。本發(fā)明具有如下優(yōu)點1.本發(fā)明的網(wǎng)絡(luò)流量均衡分割系統(tǒng)，其均衡分割單元和接收單元的數(shù)量是由待處理的網(wǎng)絡(luò)流量規(guī)模決定的，可隨網(wǎng)絡(luò)流量的增大進行擴展，可滿足快速增長的網(wǎng)絡(luò)帶寬的要求；2.本發(fā)明的網(wǎng)絡(luò)流量均衡分割方法，通過首先對網(wǎng)絡(luò)流量進行一次粗分割，能夠降低流量初始分割節(jié)點的負載，提高系統(tǒng)的整體性能，保障了方法對海量網(wǎng)絡(luò)流量的適用性；
3.本發(fā)明的網(wǎng)絡(luò)流量均衡分割系統(tǒng)，通過實時判定其接收單元的負載情況，確保了負載情況的有效性，保障了網(wǎng)絡(luò)流量分割的均衡性；4.本發(fā)明的網(wǎng)絡(luò)流量均衡分割方法，將同一會話的全部報文分配給同一個接收單元，有利于對分割的流量進行進一步的分析，并保障了分析信息的完整性和分析結(jié)果的可靠性；5.本發(fā)明的網(wǎng)絡(luò)流量均衡分割系統(tǒng)，實現(xiàn)了各個功能組件的模塊化，各模塊的功能職責明確，便于進行優(yōu)化；6.本發(fā)明的網(wǎng)絡(luò)流量均衡分割系統(tǒng)，結(jié)構(gòu)簡單，便于搭建、維護及擴展。


圖1是本發(fā)明的系統(tǒng)網(wǎng)絡(luò)拓撲圖；圖2是本發(fā)明系統(tǒng)中粗分割單元的內(nèi)部結(jié)構(gòu)圖；圖3是本發(fā)明系統(tǒng)中均衡分割單元內(nèi)部結(jié)構(gòu)圖；圖4是本發(fā)明方法的流程圖。
具體實施例方式參照圖1，本發(fā)明的網(wǎng)絡(luò)流量均衡分割系統(tǒng)包括一個分割單元、2N個均衡分割單元和M個接收單元，其中N為偶數(shù)，其`大小由待處理的網(wǎng)絡(luò)流量規(guī)模決定，M > 2N，根據(jù)網(wǎng)絡(luò)流量的規(guī)?？蓪夥指顔卧敖邮諉卧臄?shù)量進行擴展。其中分割單元，是系統(tǒng)的起始端，與各均衡分割單元相連，用于接收原始的網(wǎng)絡(luò)流量，確定網(wǎng)絡(luò)流量的粗分割策略，根據(jù)所述策略對網(wǎng)絡(luò)流量進行基于源、目的地址字段的粗分害I]，并將經(jīng)過粗分割的網(wǎng)絡(luò)流量分配給對應(yīng)的均衡單元；均衡分割單元，是系統(tǒng)的中間單元，其與各接收單元相連，用于接收粗分割的網(wǎng)絡(luò)流量，對粗分割的網(wǎng)絡(luò)流量進行基于會話的均衡分割，并將經(jīng)過均衡分割的流量分配給對應(yīng)的接收單元；接收單元，是系統(tǒng)的終端，其與各均衡分割單元相連，用于接收均衡分割單元的負載詢問請求，計算自身負載情況，判定該負載是否達到最大負載，將判定結(jié)果反饋給相應(yīng)的均衡分割單元，并接收最終分割的流量，可根據(jù)實際需求對最終流量進行進一步的分析處理。參照圖2，本發(fā)明系統(tǒng)中的分割單元，包括粗分割策略制定模塊和粗分割執(zhí)行模塊，其中所述的粗分割策略制定模塊，用于根據(jù)待處理的網(wǎng)絡(luò)流量規(guī)模，確定均衡分割單元的數(shù)量，結(jié)合數(shù)據(jù)報文的源、目的地址字段制定數(shù)據(jù)報文的粗分割策略；所述的粗分割執(zhí)行單元，用于根據(jù)所述的粗分割策略將數(shù)據(jù)報文分配給相應(yīng)的均衡分割單兀。參照圖3，本發(fā)明系統(tǒng)中的均衡分割單元，包括負載均衡模塊和分割執(zhí)行模塊，其中所述的負載均衡模塊，包括映射子模塊、負載詢問子模塊和分割狀態(tài)記錄子模塊映射子模塊，用于獲得數(shù)據(jù)報文的會話標識ID，并計算出不同會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系；負載詢問子模塊，用于根據(jù)所述的的映射關(guān)系向相應(yīng)接收單元發(fā)起負載情況的詢問請求，并根據(jù)該詢問請求的反饋信息進行映射關(guān)系調(diào)整；分割狀態(tài)記錄子模塊，用于查詢和記錄各個會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系；所述的分割執(zhí)行模塊，用于根據(jù)映射關(guān)系將網(wǎng)絡(luò)流量分配給相應(yīng)的接收單元。當一個會話的數(shù)據(jù)報文到達時，映射子模塊獲得其會話標識ID，分割狀態(tài)記錄子模塊查詢該會話標識ID是否存在映射關(guān)系記錄，若存在，則更新其映射關(guān)系記錄中的最新到達時間，并由分割執(zhí)行模塊根據(jù)該映射關(guān)系將數(shù)據(jù)報文分配給相應(yīng)接收單元，否則映射子模塊計算出該數(shù)據(jù)報文與接收單元的映射關(guān)系，由負載詢問子模塊根據(jù)該映射關(guān)系向相應(yīng)接收單元發(fā)起負載情況的詢問請求，并根據(jù)該詢問請求的反饋信息進行映射調(diào)整，分割狀態(tài)記錄子模塊記錄映射關(guān)系，分割執(zhí)行單元根據(jù)該映射關(guān)系將數(shù)據(jù)報文分配給相應(yīng)接收單元；當該會話結(jié)束時，分割狀態(tài)記錄子模塊刪除該會話的映射關(guān)系記錄。參照圖4，本發(fā)明的網(wǎng)絡(luò)流量均衡分割方法，包括如下步驟步驟1.對網(wǎng)絡(luò)流量進行粗分割(Ia)確定均衡分割節(jié)點的數(shù)量為2N，N為偶數(shù)，其大小由待處理的網(wǎng)絡(luò)流量規(guī)模決定，所述的均衡分割節(jié)點是指對粗分割后的網(wǎng)絡(luò)流量進行均衡分割的主機；(Ib)對網(wǎng)絡(luò)流量中的每一個數(shù)據(jù)報文，獲得其源地址字段的最后f位，表示為a，
獲得其目的地址字段的最后I位，表示為b，連接a和b獲得一個N位的二進制數(shù)ab，將二進
制數(shù)ab對應(yīng)的十進制數(shù)k作為該數(shù)據(jù)報文對應(yīng)的均衡分割節(jié)點編號，并將該數(shù)據(jù)報文分配給該對應(yīng)均衡分割節(jié)點

參照表1，若均衡分割節(jié)點的個數(shù)為22，則將原地址最后一位為O、目的地址最后一位為O的數(shù)據(jù)報文分配給O號均衡分割節(jié)點，將原地址最后一位為O、目的地址最后一位為I的數(shù)據(jù)報文分配給I號均衡分割節(jié)點，將原地址最后一位為1、目的地址最后一位為O的數(shù)據(jù)報文分配給2號均衡分割節(jié)點，將原地址最后一位為1、目的地址最后一位為I的數(shù)據(jù)報文分配給3號均衡分割節(jié)點。表I源、目標地址與均衡分割單元對應(yīng)表
權(quán)利要求
1.一種網(wǎng)絡(luò)流量均衡分割系統(tǒng)，包括分割單元和接收單元，其特征在于分割單元與接收單元之間連接有均衡分割單元；所述的分割單元，包括粗分割策略制定模塊和粗分割執(zhí)行模塊，該粗分割策略制定模塊，用于根據(jù)待處理的網(wǎng)絡(luò)流量規(guī)模，確定均衡分割單元的數(shù)量，結(jié)合數(shù)據(jù)報文的源、目的地址字段制定數(shù)據(jù)報文的粗分割策略；該分割執(zhí)行模塊，用于根據(jù)所述的粗分割策略將數(shù)據(jù)報文分配給相應(yīng)的均衡分割單元；所述的均衡分割單元，包括負載均衡模塊和分割執(zhí)行模塊，該負載均衡模塊，用于計算出不同會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系，并根據(jù)映射關(guān)系向相應(yīng)的接收單元詢問負載情況，根據(jù)負載情況的反饋信息進行映射關(guān)系調(diào)整與記錄；該分割執(zhí)行模塊，用于根據(jù)映射關(guān)系將網(wǎng)絡(luò)流量分配給相應(yīng)的接收單元；所述的接收單元，用于接收均衡分割單元的負載詢問請求，計算其負載情況，判定該負載是否達到最大負載，并將判定結(jié)果反饋給相應(yīng)的均衡分割單元。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量均衡分割系統(tǒng)，其特征在于，負載均衡模塊包括映射子模塊、負載詢問子模塊和分割狀態(tài)記錄子模塊所述的映射子模塊，用于計算出不同會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系；所述的負載詢問子模塊，用于根據(jù)所述的的映射關(guān)系向相應(yīng)接收單元發(fā)起負載情況的詢問請求，并根據(jù)該詢問請求的反饋信息進行映射關(guān)系調(diào)整；所述的分割狀態(tài)記錄子模塊，用于查詢和記錄各個會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系。
3.—種網(wǎng)絡(luò)流量均衡分割方法，其特征在于，包括如下步驟(1)對網(wǎng)絡(luò)流量進行粗分割(Ia)確定均衡分割節(jié)點的數(shù)量為2N，N為偶數(shù)，其大小由待處理的網(wǎng)絡(luò)流量規(guī)模決定； (Ib)對網(wǎng)絡(luò)流量中的每一個數(shù)據(jù)報文，獲得其源地址字段的最后f ·位，表示為a，獲得其目的地址字段的最后位，表示為b，連接a和b獲得一個N位的二進制數(shù)ab，將二進制數(shù)ab對應(yīng)的十進制數(shù)k作為該數(shù)據(jù)報文對應(yīng)的均衡分割節(jié)點編號，并將該數(shù)據(jù)報文分配給該對應(yīng)均衡分割節(jié)點；(2)對經(jīng)過了粗分割的網(wǎng)絡(luò)流量進行基于會話的均衡分割(2a)每個均衡分割節(jié)點創(chuàng)建一張映射關(guān)系記錄表；(2b)對接收到的每一個數(shù)據(jù)報文，根據(jù)其源地址、目的地址、源端口、目的端口字段，獲得其會話的標識ID ；(2c)根據(jù)會話的標識ID，查找映射關(guān)系記錄表，若該會話存在映射關(guān)系記錄，則更新該映射關(guān)系記錄中的最新到達時間，并將該數(shù)據(jù)報文分配至對應(yīng)的接收節(jié)點，若該會話不存在映射關(guān)系記錄，則執(zhí)行步驟(2c)；(2d)根據(jù)會話的標識ID，計算該會話所映射的接收節(jié)點編號η=(源地址+目的地址+ 源端口 +目的端口)mod M，其中mod為模運算，MS 2N，為接收節(jié)點的數(shù)量；詢問所映射的接收節(jié)點是否達到其最大負載，接收節(jié)點判定自身負載并向發(fā)起詢問的均衡分割節(jié)點反饋判定結(jié)果，若其未達到最大負載則在映射關(guān)系記錄表中記錄該映射關(guān)系，否則調(diào)整所述會話所映射的接收節(jié)點的編號為n=(n+l)mod M，并重新詢問該接收節(jié)點是否達到其最大負載，重復(fù)所述調(diào)整，直至所映射的接收節(jié)點未達到最大負載，記錄該映射關(guān)系；根據(jù)所記錄的映射關(guān)系將該數(shù)據(jù)報文分配至各對應(yīng)的接收節(jié)點；(2e)每隔時間間隔T，每個均衡分割節(jié)點，讀取其映射關(guān)系記錄表中映射關(guān)系記錄的最新到達時間，對每一條映射關(guān)系記錄，用當前時間減去其最新到達時間，獲得差值τ，若 τ ^ 120s則認為該映射關(guān)系記錄中的會話已結(jié)束，刪除該條記錄，否則不進行操作，其中 T=300s，可根據(jù)實際情況進行調(diào)整。
4.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量均衡分割方法，其特征在于所述步驟(Ia)中的均衡分割節(jié)點，是指對粗分割后的網(wǎng)絡(luò)流量進行均衡分割的主機。
5.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量均衡分割方法，其特征在于所述步驟(2a)中的映射關(guān)系記錄表，用于記錄各個會話的網(wǎng)絡(luò)流量與接收單元的映射關(guān)系，其中每條映射關(guān)系記錄包括會話標識ID、接收節(jié)點編號、接收節(jié)點MAC地址及最新到達時間四個部分。
6.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量均衡分割方法，其特征在于所述步驟(2c)中的接收節(jié)點，是指最終分割的網(wǎng)絡(luò)流量的接收主機。
7.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量均衡分割方法，其特征在于所述步驟(2c)中的最新到達時間，是指每個會話的數(shù)據(jù)報文中最新到達均衡分割節(jié)點的那個數(shù)據(jù)報文的到達時間。
8.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)流量均衡分割的方法，其特征在于步驟(2d)所述的接收節(jié)點判定自身負載并向發(fā)起詢問的均衡分割節(jié)點反饋判定結(jié)果，按如下步驟進行(2dl)接收節(jié)點根據(jù)其內(nèi)存使用率M、CPU使用率C、網(wǎng)絡(luò)帶寬使用率B、節(jié)點實際接收的數(shù)據(jù)包與檢測分析能力的比率D這四個指標，計算出自身負載L = O. 4XM+0. 3XC+0. 1XB+0. 2XD，其中O. 4,0. 3,0. 1,0. 2分別為所述四個指標的權(quán)重，可根據(jù)節(jié)點自身硬件特點進行調(diào)整；(2d2)將自身負載L與最大負載閾值L’=0. 8進行比較，若L大于或等于L'，則判定該接收節(jié)點達到最大負載，否則判定該接收節(jié)點未達到最大負載；(2d3)接收節(jié)點向發(fā)起詢問的均衡分割節(jié)點反饋判定結(jié)果。
全文摘要
本發(fā)明提供了一種網(wǎng)絡(luò)流量均衡分割的系統(tǒng)和方法，主要解決現(xiàn)有技術(shù)流量初始分割節(jié)點負載過大，整體性能不高，難以滿足網(wǎng)絡(luò)帶寬日益增長的需求的問題。該系統(tǒng)包括分割單元、均衡分割單元和接收單元；分割單元接收原始的網(wǎng)絡(luò)流量，對網(wǎng)絡(luò)流量進行基于源、目的地址字段的粗分割；均衡分割單元，接收粗分割的網(wǎng)絡(luò)流量，對粗分割的網(wǎng)絡(luò)流量進行基于會話的均衡分割；接收單元，接收最終分割的流量，根據(jù)實際需求對最終流量進行進一步的分析處理。本發(fā)明降低了流量初始分割節(jié)點的負載，提高了系統(tǒng)的整體性能，有利于提高網(wǎng)絡(luò)流量的分布式分析和處理效率，可用于網(wǎng)絡(luò)流量識別及入侵檢測。
文檔編號H04L12/803GK103051553SQ201310030078
公開日2013年4月17日 申請日期2013年1月25日 優(yōu)先權(quán)日2013年1月25日
發(fā)明者朱輝, 李暉, 陳思羽, 朱樂祥, 潘文海, 李鳳華 申請人:西安電子科技大學