專利名稱：負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法
技術(shù)領(lǐng)域：
本發(fā)明是一種具有良好負(fù)載適應(yīng)性的數(shù)據(jù)流流量測量方法，屬于計算機網(wǎng)絡(luò)技術(shù)領(lǐng)域。
背景技術(shù)：
計費管理、業(yè)務(wù)控制、網(wǎng)絡(luò)異常檢測以及網(wǎng)絡(luò)安全監(jiān)測等網(wǎng)絡(luò)管理工作要求對網(wǎng)絡(luò)流量進(jìn)行統(tǒng)計和分析。隨著網(wǎng)絡(luò)數(shù)據(jù)率的飛速提升，若直接對原始的網(wǎng)絡(luò)流量進(jìn)行逐包的分析處理，又因其代價極高而不易實施；而數(shù)據(jù)流級的網(wǎng)絡(luò)流量在所包含的信息量和所需處理的數(shù)據(jù)量之間達(dá)到了良好平衡。數(shù)據(jù)流指的是一組具有相同流標(biāo)識，并且相鄰兩者 的到達(dá)時間間隔不超過某一上限的一組數(shù)據(jù)包的集合。不同的應(yīng)用可以定義不同的流標(biāo)識，一般采用熟知的五元組(〈源IP地址，目的IP地址，協(xié)議類型，源端口號，目的端口號>)作為流標(biāo)識。對各條數(shù)據(jù)流的流標(biāo)識、到達(dá)時間、結(jié)束時間以及流量大小等信息進(jìn)行記錄，這一過程稱為流測量。當(dāng)前，流測量已經(jīng)被CiSC0、Juniper等主流的網(wǎng)絡(luò)設(shè)備制造商 所支持；IETF專門成立了 IPFIX工作組，進(jìn)行流測量相關(guān)標(biāo)準(zhǔn)的制定。如何準(zhǔn)確測量各條數(shù)據(jù)流的流量，這是流測量的難點。在高速骨干網(wǎng)鏈路中，由于報文到達(dá)間隔極短，且并發(fā)數(shù)據(jù)流的數(shù)目巨大，完全準(zhǔn)確的測量各條數(shù)據(jù)流的流量，其代價極高。相對而言，近似測量則具有更好的性能代價比。近似測量的結(jié)果存在一定的誤差。在實現(xiàn)測量算法時，通常根據(jù)最大負(fù)載為測量算法分配存儲資源。然而，對實測網(wǎng)絡(luò)流量的分析結(jié)果表明，流量負(fù)載在不同的測量周期內(nèi)的變化較大，并且在大部分時間內(nèi)，負(fù)載均小于最大值?，F(xiàn)有的近似測量算法，主要有計數(shù)型布魯姆過濾器[I] (Counting Bloom Filter,CBF)和 d-left 計數(shù)型布魯姆過濾器[2] (d-left Counting Bloom Filter, dlCBF),對于負(fù)載適應(yīng)性問題缺乏考慮，當(dāng)實際負(fù)載小于最大值時，均不能夠充分利用已分配資源，盡可能的降低測量誤差。參考文獻(xiàn)[1]L. Fan, P. Cao, J. Almeida, and A. Z. Broder. Summary Cache : a ScalableWide-area Web Cache Sharing Protocol [J]. IEEE/ACM Transactions onNetworking, 2000, 8(3):281-293.[2] A. Pagh, R. Pagh, and S. Rao. An Optimal Bloom Filter Replacement [C].In:Proc. of the Sixteenth Annual ACM-SIAM Workshop on Discrete Algorithms, Maryland, 2005, 823-829.

發(fā)明內(nèi)容
技術(shù)問題針對現(xiàn)有的數(shù)據(jù)流流量的近似測量方法負(fù)載適應(yīng)性差的問題，本發(fā)明給出了一種具有良好負(fù)載適應(yīng)性的負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法。在滿負(fù)載時，本方法的測量誤差和現(xiàn)有方法一致；在非滿負(fù)載狀態(tài)下，本方法可以充分利用已分配資源，有效的降低測量誤差。
技術(shù)方案現(xiàn)有的數(shù)據(jù)流流量的近似測量方法主要是基于CBF和dlCBF實現(xiàn)。已有的研究成果表明，dlCBF的空間效率優(yōu)于CBF。在dlCBF中，測量誤差的大小主要取決于元素指紋的長短。dlCBF采用固定長度的元素指紋，因而dlCBF的測量誤差對于網(wǎng)絡(luò)流量負(fù)載不敏感。本發(fā)明給出了一種元素指紋折半收縮的d-left計數(shù)型布魯姆過濾器(Binary-Shrinking d-left Counting Bloom Filter,BSdlCBF)。在滿負(fù)載時，BSdlCBF 的測量誤差和dlCBF —致；在輕負(fù)載時，BSdlCBF能充分利用存儲空間，擴(kuò)大元素指紋的長度，從而比dlCBF能更有效的降低測量誤差。本發(fā)明的負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法包括存儲區(qū)組織、流量值更新和流量值查詢這三個步驟；存儲區(qū)組織的方法是將整個存儲區(qū)劃分為若干個等長的塊，每塊又劃分為若干個等長的桶，每個桶設(shè)置一個桶負(fù)載計數(shù)器，桶中存放有若干條數(shù)據(jù)流的流指紋和流量計數(shù)器； 流量值更新的方法是在測量周期開始時，將所有的桶負(fù)載計數(shù)器、流指紋和流量計數(shù)器初始化為O ;然后，每到達(dá)一個數(shù)據(jù)包，根據(jù)其流標(biāo)識，計算其流指紋，進(jìn)行指紋匹配，若匹配成功，則將相應(yīng)的流量計數(shù)器增加1，若匹配失敗，則將該數(shù)據(jù)流插入到存儲區(qū)中，并將該數(shù)據(jù)流所插入的桶的桶負(fù)載計數(shù)器增加I;流量值查詢的方法是根據(jù)待查詢的數(shù)據(jù)流的流標(biāo)識，計算其流指紋，進(jìn)行指紋匹配，得到相應(yīng)的流量計數(shù)器的值，通過存儲區(qū)組織、流量值更新和流量值查詢這三個步驟，完成數(shù)據(jù)流的流量測量過程。計算流指紋通過哈希函數(shù)實現(xiàn)，哈希函數(shù)的輸入為數(shù)據(jù)流的流標(biāo)識，輸出為流指紋；輸出流指紋的長度為每個桶中所能夠存放的最長流指紋的長度。將數(shù)據(jù)流插入到存儲區(qū)中的具體步驟是如下首先，根據(jù)該數(shù)據(jù)流的流標(biāo)識，計算其流指紋；然后，假設(shè)存儲區(qū)劃分為d個塊，則通過d次哈希運算，分別在每個塊中選擇一個桶，并從中選擇一個負(fù)載最輕的桶作為插入該數(shù)據(jù)流的目標(biāo)桶；接著，根據(jù)目標(biāo)桶的負(fù)載情況，為新插入的數(shù)據(jù)流分配指紋空間，若桶負(fù)載為a，桶的最大指紋空間為b比特，則為新插入的數(shù)據(jù)流分配指紋空間為b/(a+l)比特；最后，設(shè)置該數(shù)據(jù)流的流量計數(shù)器為I ;其中a、b、d均為正整數(shù)。指紋匹配的具體步驟是如下首先，根據(jù)該數(shù)據(jù)流的流標(biāo)識，計算其流指紋；然后，假設(shè)存儲區(qū)劃分為d個塊，則通過d次哈希運算，確定該數(shù)據(jù)流可能插入的所有d個桶；接著，依次在各個桶中查找流指紋，判斷是否存在和當(dāng)前數(shù)據(jù)流指紋匹配的流指紋，若有，則匹配成功，否則，則匹配失敗。在桶中查找流指紋的具體步驟如下首先，根據(jù)桶負(fù)載情況，確定合適的指紋匹配長度，若桶負(fù)載為a，桶的最大指紋空間為b，則取待查找的流指紋的前b/a比特作為比對字段；然后，將待查找的流指紋的比對字段和桶中的流指紋進(jìn)行逐個比對，若發(fā)現(xiàn)一致的，則查找成功。有益效果與現(xiàn)有的測量方法相比，在滿負(fù)載時，本發(fā)明所提出的方法的測量誤差和現(xiàn)有方法一致；但是，在輕負(fù)載時，本發(fā)明所提出的方法的測量誤差明顯低于現(xiàn)有方法。圖I為負(fù)載率分別為2. 5/3,2/3,1. 5/3以及1/3時，dlCBF和BSdlCBF的測量錯誤概率的比較結(jié)果。圖2為采用真實網(wǎng)絡(luò)流量數(shù)據(jù)時，dlCBF和BSdlCBF的測量錯誤概率的比較結(jié)果。所采用的流量數(shù)據(jù)的各個周期內(nèi)數(shù)據(jù)流的數(shù)目如圖3所示。由圖I和圖2可見，在滿負(fù)載時，dlCBF和BSdlCBF的測量錯誤概率較為接近；但是，隨著負(fù)載率的下降，BSdlCBF的測量錯誤概率的下降速度明顯快于dlCBF。在輕負(fù)載時，BSdlCBF的測量錯誤概率比dlCBF低數(shù)個數(shù)量級。可見，與現(xiàn)有的流量測量方法相比，本發(fā)明所提出的流量測量方法在負(fù)載適應(yīng)性方面具有明顯的優(yōu)勢。


圖I、不同負(fù)載率下，dlCBF和BSdlCBF的測量錯誤概率比較，圖2、采用真實網(wǎng)絡(luò)流量時dlCBF和BSdlCBF的測量錯誤概率比較，圖3、真實網(wǎng)絡(luò)流量中各個測量周期內(nèi)數(shù)據(jù)流的數(shù)目，圖4、dlCBF的結(jié)構(gòu)示意圖，
圖5、不同桶負(fù)載下，BSdlCBF和dlCBF的桶空間利用情況對比，圖6、BSdlCBF的查詢過程，圖7、BSdlCBF的更新過程。
具體實施例方式下面分別從BSdlCBF的組成結(jié)構(gòu)、流量更新過程和流量查詢過程這三個方面，詳細(xì)說明本發(fā)明所提出的流量測量方法的具體實施方式
。I) BSdlCBF的組成結(jié)構(gòu)為了說明BSdlCBF的組成結(jié)構(gòu)，首先對dlCBF的結(jié)構(gòu)作一描述。dlCBF是在d-left哈希表的基礎(chǔ)上進(jìn)行設(shè)計的。d-left哈希表將存儲區(qū)等分為d個塊，每塊又劃分為若干個相同容量的桶。不妨將各個塊看作桶向量(Bucket Vector),從左向右,依次記作BV1, BV2, - ,BVdo例如，圖4中的d-left哈希表的存儲區(qū)劃分為4個塊，每塊5個桶，每桶深度為4。當(dāng)插入元素e時，由d個獨立的哈希函數(shù)計算元素e在各個塊中的桶地址，分別記作 hi (e)，h2 (e)，…，hd(e)。然后,將 e 插入到 BV1 Qi1 (e))，BV2Qi2 (e))，···, BVd(hd(e))中負(fù)載最輕的那個桶中。如果存在多個負(fù)載最輕的桶，則選擇最左邊那個。例如，圖4中，將元素e插入到桶BV1 [4]中。遵循上述選擇策略，可使得各個桶的負(fù)載較為平均，從而各個桶在平均負(fù)載的基礎(chǔ)上，再增加一個較小的額外桶空間，即可保證桶的溢出概率極低，因而獲得較高的空間效率。采用d-left哈希函數(shù)構(gòu)建dlCBF時，在每個桶單元中存放數(shù)據(jù)流的指紋和流量計數(shù)器，如圖4所示。每到達(dá)一個報文P時，首先取得其流標(biāo)識f，計算其流指紋，并將其指紋與桶BV1 Qll (f))，BV2 (h2 (f) )，···，BVd (hd(f))中已有指紋進(jìn)行匹配。如果匹配上，則將相應(yīng)的桶單元的流量計數(shù)器增加1，若有多個桶單元同時匹配上，則隨機選擇一個單元，將其流量計數(shù)器增加I ;如果沒有匹配上，則按照上文說明的d-left哈希函數(shù)的插入選擇策略，將數(shù)據(jù)流f插入到BV1 Qi1 (f))，BV2 (h2 (f) )，···，BVd (hd (f))中負(fù)載最輕的、最左邊的桶中去，并將其流量計數(shù)器設(shè)為I。數(shù)據(jù)流指紋的長度影響著dlCBF的查詢錯誤概率，指紋長度越長，則出現(xiàn)錯誤匹配的概率越低。BSdlCBF和dlCBF類似，同樣基于d-left哈希表進(jìn)行設(shè)計。與dlCBF不同的是，BSdlCBF采用變長的流指紋。當(dāng)負(fù)載較輕時，BSdlCBF采用較長的流指紋；隨著負(fù)載率的增力口，元素指紋的長度逐漸縮短。為了實現(xiàn)的方便，BSdlCBF中元素指紋采用折半收縮的策略，如圖5所示。需要指出的是，在BSdlCBF中，插入到各個桶中的數(shù)據(jù)流指紋和流量計數(shù)器的起始位置和dlCBF不同。BSdlCBF中，每個桶均設(shè)置有負(fù)載計數(shù)器，以記錄當(dāng)前已經(jīng)插入到桶中的數(shù)據(jù)流的數(shù)目。2)流量查詢過程BSdlCBF查詢操作的處理流程如圖6所示。首先，對于所到達(dá)的數(shù)據(jù)包P，提取其流標(biāo)識F ;然后，對流標(biāo)識F作d個并行的哈希運算，得到可能存放有F的流量計數(shù)的d個桶的桶地址A1 Ad，同時，還需進(jìn)行一次哈希運算，以根據(jù)流標(biāo)識F計算流指紋fp ;隨后，讀取桶單元B(A1) B(Ad)的內(nèi)容以及其桶負(fù)載計數(shù)，并將fp與桶B(A1) B(Ad)中的流指紋進(jìn)行匹配。若匹配命中，則返回對應(yīng)的流量計數(shù)C(F);若匹配沒有命中，則返回O。設(shè)單位指紋長度為I比特，桶深為b，要求b恰好為2的正整數(shù)次冪。對于每條數(shù)據(jù)流f，BSdlCBF生成b個I比特的元素指紋Ff [I :b]。設(shè)在查詢時，桶負(fù)載為i，則在進(jìn)行數(shù)據(jù)流指紋匹配時，只需取Ff [I :b]的前L(i)個單位指紋Ff[l:L(i)]作為匹配對象。L(i)
由下列式子計算獲得
權(quán)利要求
1.一種負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法，其特征在于該方法包括存儲區(qū)組織、流量值更新和流量值查詢這三個步驟； 存儲區(qū)組織的方法是將整個存儲區(qū)劃分為若干個等長的塊，每塊又劃分為若干個等長的桶，每個桶設(shè)置一個桶負(fù)載計數(shù)器，桶中存放有若干條數(shù)據(jù)流的流指紋和流量計數(shù)器； 流量值更新的方法是在測量周期開始時，將所有的桶負(fù)載計數(shù)器、流指紋和流量計數(shù)器初始化為O ;然后，每到達(dá)一個數(shù)據(jù)包，根據(jù)其流標(biāo)識，計算其流指紋，進(jìn)行指紋匹配，若匹配成功，則將相應(yīng)的流量計數(shù)器增加1，若匹配失敗，則將該數(shù)據(jù)流插入到存儲區(qū)中，并將該數(shù)據(jù)流所插入的桶的桶負(fù)載計數(shù)器增加I; 流量值查詢的方法是根據(jù)待查詢的數(shù)據(jù)流的流標(biāo)識，計算其流指紋，進(jìn)行指紋匹配，得到相應(yīng)的流量計數(shù)器的值，通過存儲區(qū)組織、流量值更新和流量值查詢這三個步驟，完成數(shù)據(jù)流的流量測量過程。
2.按照權(quán)利要求I所述的負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法，其特征在于計算流指紋通過哈希函數(shù)實現(xiàn)，哈希函數(shù)的輸入為數(shù)據(jù)流的流標(biāo)識，輸出為流指紋；輸出流指紋的長度為每個桶中所能夠存放的最長流指紋的長度。
3.按照權(quán)利要求I或2所述的負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法，其特征在于將數(shù)據(jù)流插入到存儲區(qū)中的具體步驟是如下首先，根據(jù)該數(shù)據(jù)流的流標(biāo)識，計算其流指紋；然后，假設(shè)存儲區(qū)劃分為d個塊，則通過d次哈希運算，分別在每個塊中選擇一個桶，并從中選擇一個負(fù)載最輕的桶作為插入該數(shù)據(jù)流的目標(biāo)桶；接著，根據(jù)目標(biāo)桶的負(fù)載情況，為新插入的數(shù)據(jù)流分配指紋空間，若桶負(fù)載為a，桶的最大指紋空間為b比特，則為新插入的數(shù)據(jù)流分配指紋空間為b/(a+l)比特；最后，設(shè)置該數(shù)據(jù)流的流量計數(shù)器為I;其中a、b、d均為正整數(shù)。
4.按照權(quán)利要求1、2所述的負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法，其特征在于指紋匹配的具體步驟是如下首先，根據(jù)該數(shù)據(jù)流的流標(biāo)識，計算其流指紋；然后，假設(shè)存儲區(qū)劃分為d個塊，則通過d次哈希運算，確定該數(shù)據(jù)流可能插入的所有d個桶；接著，依次在各個桶中查找流指紋，判斷是否存在和當(dāng)前數(shù)據(jù)流指紋匹配的流指紋，若有，則匹配成功，否貝U，則匹配失敗。
5.根據(jù)按照權(quán)利要求4所述的負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法，其特征在于在桶中查找流指紋的具體步驟如下首先，根據(jù)桶負(fù)載情況，確定合適的指紋匹配長度，若桶負(fù)載為a，桶的最大指紋空間為b，則取待查找的流指紋的前b/a比特作為比對字段；然后，將待查找的流指紋的比對字段和桶中的流指紋進(jìn)行逐個比對，若發(fā)現(xiàn)一致的，則查找成功。
全文摘要
本發(fā)明公開了一種負(fù)載自適應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)流流量測量方法，該方法包括存儲區(qū)組織的方法將整個存儲區(qū)劃分為若干個等長的塊，每塊又劃分為若干個等長的桶，每個桶設(shè)置一個桶負(fù)載計數(shù)器，桶中存放有若干條數(shù)據(jù)流的流指紋和流量計數(shù)器；流量值更新的方法在測量周期開始時，將所有的桶負(fù)載計數(shù)器、流指紋和流量計數(shù)器初始化為0；然后，每到達(dá)一個數(shù)據(jù)包，根據(jù)其流標(biāo)識，計算其流指紋，進(jìn)行指紋匹配；流量值查詢的方法根據(jù)待查詢的數(shù)據(jù)流的流標(biāo)識，計算其流指紋，進(jìn)行指紋匹配，得到相應(yīng)的流量計數(shù)器的值，通過這三個步驟，完成數(shù)據(jù)流的流量測量過程，其新穎之處是采用了動態(tài)的數(shù)據(jù)流指紋收縮機制，在負(fù)載較輕時，盡可能擴(kuò)大數(shù)據(jù)流指紋的長度，從而降低測量誤差。
文檔編號H04L12/26GK102833134SQ201210323629
公開日2012年12月19日 申請日期2012年9月4日 優(yōu)先權(quán)日2012年9月4日
發(fā)明者張進(jìn), 黃清杉, 趙文棟, 吳澤民, 彭來獻(xiàn), 田暢 申請人:中國人民解放軍理工大學(xué)