一種基于均勻采樣的網(wǎng)絡冗余流量識別方法
【專利摘要】本發(fā)明公開了一種基于均勻采樣的網(wǎng)絡冗余流量識別方法，通過特征指紋均勻采樣：按固定大小的窗口連續(xù)滑動，選取窗口內最大的特征指紋作為采樣特征指紋存入特征指紋庫；以及采樣特征指紋動態(tài)跟蹤：查找特征指紋庫識別冗余數(shù)據(jù)塊的過程中，更新特征指紋庫中匹配的特征指紋指向(映射于)緩沖區(qū)中匹配的數(shù)據(jù)包負載，以防止緩沖區(qū)刷新過程清除特征指紋庫中高頻冗余數(shù)據(jù)包負載映射的特征指紋，保持冗余流量識別的可持續(xù)性。
【專利說明】一種基于均勻采樣的網(wǎng)絡冗余流量識別方法
【技術領域】
[0001] 本發(fā)明屬于網(wǎng)絡流量管理【技術領域】，更為具體地講，涉及一種基于均勻采樣的網(wǎng) 絡冗余流量識別方法，用于識別網(wǎng)絡流量中的冗余部分。
【背景技術】
[0002] 受用戶興趣模型驅動，邊緣網(wǎng)絡中具有相同興趣的用戶訪問相似或相同主題的網(wǎng) 絡資源必然造成大量重復數(shù)據(jù)傳輸，形成特定鏈路相關的冗余流量。冗余流量的存在不僅 損耗鏈路帶寬資源利用率，而且影響用戶訪問網(wǎng)絡資源的體驗感，在一定程度上打擊用戶 積極性。
[0003] 有效識別網(wǎng)絡中的冗余流量是研究冗余流量成因和其帶來的一系列并發(fā)問題的 關鍵。傳統(tǒng)的WEB緩存技術基于對象層識別冗余流量，但是不同應用需要重新設計對應的 緩存細節(jié)，缺乏應用的靈活性。
[0004] 近年來，基于數(shù)據(jù)包層的MODP、MAXP、SAMPBYTE和DYNABYTE方法陸續(xù)被提出，而 且也取得了較好的識別效率。其中MODP基于Rabin多項式方法計算連續(xù)數(shù)據(jù)分塊指紋并 按指紋值取模為〇的策略采樣特征指紋，存在采樣不均勻和零采樣缺陷。MXP基于固定大 小的窗口均勻分塊選擇最大值作為采樣特征指紋，克服了 MODP采樣不均勻問題，但是不能 很好地跟蹤真實流量中高頻冗余數(shù)據(jù)塊的動態(tài)特征。SAMPBYTE和DYNABYTE從統(tǒng)計學角度 出發(fā)，通過訓練樣本選擇冗余塊的典型代表首字符作為采樣特征。DYNABYTE的實現(xiàn)細節(jié)較 SAMPBYTE增加了采樣特征的動態(tài)調整功能，在一定程度上實現(xiàn)了對真實流量中高頻冗余塊 的動態(tài)跟蹤能力。但是，SAMPBYTE和DYNABYTE基于樣本訓練選擇特征指紋的方案受樣本 數(shù)據(jù)選擇的影響較大，部署的靈活性受限。以上方法在均勻采樣和高頻冗余塊動態(tài)跟蹤兩 方面都沒能很好地同時兼顧。
【發(fā)明內容】
[0005] 本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種基于均勻采樣的網(wǎng)絡冗余流量 識別方法，在解決真實網(wǎng)絡環(huán)境中冗余流量的識別問題的同時，兼顧特征指紋的均勻采樣 和商頻幾余塊動態(tài)跟蹤的能力，以提商幾余流量識別的有效性和識別率。
[0006] 為實現(xiàn)上述目的，本發(fā)明基于均勻采樣的網(wǎng)絡冗余流量識別方法，其特征在于，包 括以下步驟：
[0007] (1)、特征指紋均勻采樣
[0008] I. 1)、對接收的第一個數(shù)據(jù)包負載tp t2, t3. . . tn，按Q大小的滑動窗口，從起始位 置滑動，一個字節(jié)為步進，對該數(shù)據(jù)包負載進行劃分，得到連續(xù)的大小為Q的n_ Q+1個數(shù) 據(jù)塊 ti，L，tg，. . .，tg，h，. . .，t^+i、tn-。+1，tn-。+2，tn-。+3，. . .，tn，其中，I!為數(shù)據(jù)包 負載字節(jié)數(shù)；
[0009] 1. 2)、對n-Q+1個Q大小的數(shù)據(jù)塊，按Rabin多項式，計算數(shù)據(jù)塊映射的特征指 紋，數(shù)據(jù)塊與特征指紋映射關系依次為：
[0010] H1 = RF(t1, t2, t3, . . . , tfi) = (tiP0-1+^0-2+. . . +tfi^p^tfiP^modM
[0011] H2 = RF(t2, t3, t4, . . . , tfi+1) = ((RF(t1, t2, t3. . . t￡2)-t1p￡2_1)*p+t￡2+1p°)modM (I)
[0012] ......
[0013] Hn_q +1 - RF (tn_fi+1, tn_fi+2, tn_fi+3, . . . , tn)- ((RF(tn_￡j, tn-￡2+D tn_￡j+2，? ? ? , tn-i) tn_￡jP 0 *p+tnp°) modM
[0014] 其中，氏、H2、…、Hn_n+1為n-Q+1個數(shù)據(jù)塊對應的特征指紋，mod為求余數(shù)運算， M為常數(shù)，根據(jù)具體情況確定，RF表示映射運算；
[0015] 首先按公式（1)計算數(shù)據(jù)塊t2, t3, ? ? ?，映射的特征指紋氏，然后根據(jù)查找 表T，以單字節(jié)心元素值作為查找索引，得到的值，i = l，2，...，n-Q ;最后按照 公式（1)，計算出數(shù)據(jù)塊t2, 七3，七4，? ? ?，t q+1、? ? ?、tn-Q+i, tn-q+2, tn-Q+3, ? ? ?，tn 的特征指紋 H2,. . .，Hn_n+1，其中，查找表T包括0?255的查找索引，每個查找索引對應的輸出值為該查 找索引與Psw的乘積；
[0016] 1. 3)、步驟1. 2)得到的特征指紋進行順序排列，形成特征指紋序列 HpH2,... ,H1^1 ;按w大小的滑動窗口，從起始位置滑動，一個特征指紋為步進，對特征指紋 序列H1, H2, ...，進行劃分，每次滑動都選取滑動窗口內最大值作為采樣特征指紋存入 特征指紋庫中，至最后一個滑動窗口，完成輸入數(shù)據(jù)包的特征指紋采樣；
[0017] 不同滑動窗口因重疊部分選中同一采樣特征指紋時，只存入第一次選中的采樣特 征指紋；
[0018] ⑵、采樣特征指紋動態(tài)跟蹤
[0019] 2. 1)、建立一個緩沖區(qū)，將輸入的第一個數(shù)據(jù)包負載存入，并將特征指紋庫中的采 樣特征指紋映射于第一個數(shù)據(jù)包負載；
[0020] 2. 2)、對接收的第二個數(shù)據(jù)包負載，首先存入緩沖區(qū)，然后按照步驟（1)中的方法 提取到采樣特征指紋，并逐個在特征指紋庫中進行匹配，并進行動態(tài)跟蹤：如果匹配到采樣 特征指紋，則將特征指紋庫中匹配到的采樣特征指紋映射于第二個數(shù)據(jù)包負載，如果沒有 匹配到，則將提取的采樣特征指紋存入特征指紋庫中，并映射于第二個數(shù)據(jù)包負載；
[0021] 2. 3)、對隨后接收的數(shù)據(jù)包負載，按照步驟2. 2)方法進行處理；當緩沖區(qū)中數(shù)據(jù) 包負載存滿后，采用先進先出（First In First 0ut，F(xiàn)IF0)的老化機制刷新緩沖區(qū)，以便存 儲后續(xù)達到的數(shù)據(jù)包負載，刷新時，特征指紋庫中映射于被移出數(shù)據(jù)包負載的采樣特征指 紋被清除；
[0022] (3)、冗余流量識別
[0023] 對于步驟（2)中提取的采樣特征指紋，如果在特征指紋中匹配成功，則采用最大 內容匹配法，依據(jù)采樣特征指紋對應的數(shù)據(jù)塊，對接收的數(shù)據(jù)包負載與映射于緩存區(qū)中的 數(shù)據(jù)包負載進行匹配，并輸出匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大小；
[0024] 統(tǒng)計出單位時間各個冗余數(shù)據(jù)塊大小之和，得到冗余流量大小即識別出冗余流 量。
[0025] 本發(fā)明的發(fā)明目的是這樣實現(xiàn)的：
[0026] 本發(fā)明基于均勻采樣的網(wǎng)絡冗余流量識別方法，通過特征指紋均勻采樣：按固定 大小的窗口連續(xù)滑動，選取窗口內最大的特征指紋作為采樣特征指紋存入特征指紋庫；以 及采樣特征指紋動態(tài)跟蹤：查找特征指紋庫識別冗余數(shù)據(jù)塊的過程中，更新特征指紋庫中 匹配的特征指紋指向（映射于）緩沖區(qū)中匹配的數(shù)據(jù)包負載，以防止緩沖區(qū)刷新過程清除 特征指紋庫中高頻冗余數(shù)據(jù)包負載映射的特征指紋，保持冗余流量識別的可持續(xù)性。
[0027] 與現(xiàn)有技術相比，本發(fā)明具有以下四個方面的有益效果：
[0028] (1)、本發(fā)明基于連續(xù)滑動窗口的特征指紋均勻采樣具有較強的區(qū)間代表性，保障 本發(fā)明對冗余流量識別的有效性；
[0029] (2)、本發(fā)明采樣特征指紋動態(tài)跟蹤解決了緩沖區(qū)老化（刷新）帶來的采樣特征指 紋失效問題，有效保障對高頻冗余數(shù)據(jù)塊的動態(tài)跟蹤和可持續(xù)性識別，進一步提高冗余流 量識別率；
[0030] (3)、本發(fā)明面向數(shù)據(jù)包層處理對象，不受應用層協(xié)議限制，具有較高的應用靈活 性；
[0031] (4)、本發(fā)明無需樣本訓練，采用的特征指紋均勻采樣和動態(tài)跟蹤方法可以自適應 任意網(wǎng)絡節(jié)點環(huán)境，部署靈活。
【專利附圖】
【附圖說明】
[0032] 圖1是本發(fā)明基于均勻采樣的網(wǎng)絡冗余流量識別方法一種【具體實施方式】流程圖；
[0033] 圖2是數(shù)據(jù)包負載劃分數(shù)據(jù)塊及特征指紋映射示意圖；
[0034] 圖3是特征指紋均勻采樣示意圖；
[0035] 圖4是最大內容匹配流程圖；
[0036] 圖5是冗余流量識別輸出的記錄格式圖；
[0037] 圖6是特征指紋動態(tài)跟蹤示意圖；
[0038] 圖7校園網(wǎng)負載速率和識別的冗余流量比例示意圖
【具體實施方式】
[0039] 下面結合附圖對本發(fā)明的【具體實施方式】進行描述，以便本領域的技術人員更好地 理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當已知功能和設計的詳細描述也許 會淡化本發(fā)明的主要內容時，這些描述在這里將被忽略。
[0040] 圖1是本發(fā)明基于均勻采樣的網(wǎng)絡冗余流量識別方法一種【具體實施方式】流程圖。
[0041] 在本實施例中，如圖1所示，首先，對輸入數(shù)據(jù)包負載按預先設定的固定大小Q劃 分為連續(xù)數(shù)據(jù)塊。數(shù)據(jù)包負載有n字節(jié)，即ti，t2, t3. . . tn，那么可以劃分n-Q+1個連續(xù)的 t" 1^2，ts, ? ? ?，1^2，ts, 1^4，? ? ?，--?、tn-Q+i，tn-q+2, tnm, ? ? ?，tn〇
[0042] 然后，按Rabin多項式計算每個數(shù)據(jù)塊對應的特征指紋Hx，x G [1，n-Q+1]即氏、 H2.....Hn^1，圖2給出了特征指紋與數(shù)據(jù)塊的映射關系。
[0043] 對于第一個數(shù)據(jù)塊h，t2, t3, . . .，映射的特征指紋氏，按公式（1)計算。對于第2 個及以后的數(shù)據(jù)塊特征指紋計算，則先根據(jù)查找表T，以單字節(jié)&元素值作為查找索引，得 到的值，i = 1，2,. . .，n-Q ;最后按照公式（1)，計算出數(shù)據(jù)塊t2, t3, t4,. . .，U1、…、 tn^+1，tn_n+3,. . .，tn的特征指紋H2,. . .，Hn_n+1，其中，查找表T包括0?255的查找索 弓丨，每個查找索引對應的輸出值為該查找索引與Psw的乘積，這樣可以大大提高計算效率。
[0044] 在本實施例中，為方便計算p取值2, M取值0x100000000即十進制4294967296， 以限定計算的特征指紋取值在32比特位范圍內。
[0045] 圖3是特征指紋均勻采樣示意圖。
[0046] 在本實施例中，如圖3所示，得到的特征指紋進行順序排列，形成特征指紋序列 HpH2, ... ,H1^1 ;按w大小的滑動窗口，從起始位置滑動，一個特征指紋為步進，對特征指紋 序列H1, H2, ...，進行劃分，每次滑動都選取滑動窗口內最大值作為采樣特征指紋存入 特征指紋庫中，至最后一個滑動窗口，完成輸入數(shù)據(jù)包的特征指紋采樣。
[0047] 對于第一個數(shù)據(jù)包負載采樣得到的采樣特征指紋存入特征指紋庫，第一個數(shù)據(jù)包 負載存入建立的緩沖區(qū)，并將特征指紋庫中的采樣特征指紋映射于第一個數(shù)據(jù)包負載。 [0048] 對于第二個或隨后接收的數(shù)據(jù)包負載在存入緩沖區(qū)的同時，對其采樣得到的采樣 特征指紋與特征指紋庫的采樣特征指紋進行匹配，如果匹配到，則將特征指紋庫中匹配到 的采樣特征指紋映射于第二個數(shù)據(jù)包負載，如果沒有匹配到，則將提取的采樣特征指紋存 入特征指紋庫中，并映射于第二個數(shù)據(jù)包負載。
[0049] 同時，如果匹配到，則對接收的數(shù)據(jù)包負載與映射與緩存區(qū)中的數(shù)據(jù)包負載進行 匹配，并輸出匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大小，以進一步識別冗余流量。具體而言，最大內容 匹配法對采樣特征指紋對應（關聯(lián)）的數(shù)據(jù)塊在接收的數(shù)據(jù)包負載與映射于緩存區(qū)中的數(shù) 據(jù)包負載的位置開始進行匹配，這樣不僅可以有效解決Rabin多項式計算特征指紋潛在的 哈希沖突問題，還能盡最大努力識別更多字節(jié)成分的冗余流量，在一定程度上改善以固定 數(shù)據(jù)塊大小方式識別冗余流量的識別效率。最大內容匹配按圖4所示的流程執(zhí)行，包括以 下步驟：
[0050] 3. 1)、對齊特征指紋庫中，采樣特征指紋對應（關聯(lián)）的數(shù)據(jù)塊映射于緩存區(qū)的左 右邊界位置；
[0051] 3. 2)、檢查緩沖區(qū)對齊左右邊界限定范圍內的數(shù)據(jù)是否和當前待匹配數(shù)據(jù)塊內容 完全匹配；
[0052] 3. 3)、如果匹配，則繼續(xù)執(zhí)行后續(xù)匹配過程，否則結束最大內容匹配流程；
[0053] 3. 4)、按字節(jié)依次匹配對齊后緩沖區(qū)左邊界以左數(shù)據(jù)和當前待匹配數(shù)據(jù)塊左邊界 以左數(shù)據(jù)，直到匹配失??；
[0054] 3. 5)、按字節(jié)依次匹配對齊后緩沖區(qū)右邊界以右數(shù)據(jù)和當前待匹配數(shù)據(jù)塊右邊界 以右數(shù)據(jù)，直到匹配失?。?br>
[0055] 3. 6)、累計步驟3. 4)、步驟3. 5)左右擴展的字節(jié)數(shù)和當前待匹配數(shù)據(jù)塊已匹配字 節(jié)數(shù)，得到成功匹配的匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大小。
[0056] 本發(fā)明冗余流量識別基于最大內容匹配環(huán)節(jié)輸出的記錄進行統(tǒng)計分析完成，輸出 的記錄格式如圖5所示。每條記錄代表成功識別的一個冗余數(shù)據(jù)塊，其中的Ien字段表示 滿足特征指紋匹配和最大內容匹配后計算的冗余數(shù)據(jù)塊字節(jié)數(shù)，sec字段表示該數(shù)據(jù)塊所 屬數(shù)據(jù)包精確到秒的捕獲時間。通過這兩個字段信息即可統(tǒng)計網(wǎng)絡流量中每秒存在的冗余 流量大小。記錄中其他字段可應用于更復雜的冗余流量屬性分析。
[0057] 接下來，檢查緩沖區(qū)是否有足夠的剩余空間存儲當前待處理的數(shù)據(jù)包負載。如果 剩余空間不夠，則按設定的大小以先進先出（FIFO)的老化機制刷新緩沖區(qū)，預留足夠的緩 沖區(qū)空間。隨后，將數(shù)據(jù)包負載存入預留的緩沖區(qū)。
[0058] 最后，執(zhí)行采樣特征指紋動態(tài)跟蹤：
[0059] A、如果匹配到采樣特征指紋，則將特征指紋庫中匹配到的采樣特征指紋映射于第 二個或隨后接收的數(shù)據(jù)包負載，如果沒有匹配到，則將提取的采樣特征指紋存入特征指紋 庫中，并映射于第二個或隨后接收的數(shù)據(jù)包負載；
[0060] B、對隨后接收的數(shù)據(jù)包負載，按照步驟2. 2)方法進行處理；當緩沖區(qū)中數(shù)據(jù)包負 載存滿后，采用先進先出（First In First 0ut，F(xiàn)IF0)的老化機制刷新緩沖區(qū)，以便存儲后 續(xù)達到的數(shù)據(jù)包負載，刷新時，特征指紋庫中映射于被移出數(shù)據(jù)包負載的采樣特征指紋被 清除。
[0061] 本發(fā)明采用固定大小的緩沖區(qū)存儲待識別冗余流量的數(shù)據(jù)包負載，特征指紋庫中 的每個采樣特征指紋映射于緩沖區(qū)中對應數(shù)據(jù)包的特定偏移位置。隨著緩沖區(qū)內數(shù)據(jù)包負 載的不斷累積，緩沖區(qū)滿后采用先進先出（First In First Out, FIFO)的老化機制刷新特 定大小的老化緩沖區(qū)，預留新的空間用于存儲后續(xù)達到的數(shù)據(jù)包負載。刷新老化緩沖區(qū)的 同時特征指紋庫中映射于該區(qū)段的數(shù)據(jù)包負載將失效，也會同步從特征指紋庫中清除該數(shù) 據(jù)包負載關聯(lián)的所有特征指紋。
[0062] 圖6所示的特征指紋動態(tài)跟蹤示意圖解決了老化緩沖區(qū)刷新過程中可能會清除 部分高頻冗余數(shù)據(jù)塊可識別特征指紋的缺陷問題。實際的動態(tài)跟蹤過程通過迭代更新特征 指紋庫中已匹配的才特征指紋映射于最新識別的數(shù)據(jù)包起始位置，即使老化機制清除了指 紋庫中特征指紋先前映射的數(shù)據(jù)區(qū)也不會嚴重影響后續(xù)高頻冗余數(shù)據(jù)塊的識別，這樣，對 特征指紋庫中每個用于匹配的采樣特征指紋實施動態(tài)跟蹤，保持本發(fā)明對高頻冗余數(shù)據(jù)塊 的動態(tài)跟蹤和可持續(xù)識別能力。
[0063] 圖6所示當緩沖區(qū)存儲m個數(shù)據(jù)包后即將進入老化環(huán)節(jié)刷新緩沖區(qū)。特征指紋庫 中的采樣特征指紋Hs3最初映射于緩沖區(qū)中數(shù)據(jù)包負載1，通過不斷迭代最終映射于數(shù)據(jù)包 m+1。盡管FIFO老化機制刷新數(shù)據(jù)包負載1、數(shù)據(jù)包負載2和數(shù)據(jù)包負載3所在的緩沖區(qū)區(qū) 間范圍，也不會影響本發(fā)明方法識別數(shù)據(jù)包m+1中映射于采樣特征指紋Hs3的數(shù)據(jù)塊。
[0064] 為了說明本發(fā)明的有益效果，下面設計了一組對比實驗，比較了基于最大值采樣 特征指紋的MXP方法和本發(fā)明方法對冗余流量的識別能力。
[0065] 表1是本次對比實驗的樣本數(shù)據(jù)，樣本集A、B、C取自校園網(wǎng)某接入鏈路2013年 11月13日至2013年11月15日三天上午10點到11點之間的雙向不間斷進出流量，樣本 集D、E取自校園網(wǎng)某綜合樓鏈路2013年11月16日至2013年11月17日兩天下午2點到 3點之間的雙向不間斷進出流量。
【權利要求】
1. 一種基于均勻采樣的網(wǎng)絡冗余流量識別方法，其特征在于，包括以下步驟： (1) 、特征指紋均勻采樣 1. 1)、對接收的第一個數(shù)據(jù)包負載h，t2, t3. . . tn，按Q大小的滑動窗口，從起始位置滑 動，一個字節(jié)為步進，對該數(shù)據(jù)包負載進行劃分，得到連續(xù)的大小為Q的n-Q+1個數(shù)據(jù)塊 ti，L，tg，? ? ?，t。、L，tg，1^4，? ? ?，t。+1、? ? ?、tn-。+1，tn-。+2，tnm，? ? ?，tn，其中，n 為數(shù)據(jù)包負載 字節(jié)數(shù)； 1. 2)、對n- Q +1個數(shù)據(jù)塊的數(shù)據(jù)塊，按Rabin多項式，計算數(shù)據(jù)塊映射的特征指紋，數(shù) 據(jù)塊與特征指紋映射關系依次為： Hj = RF(t1, t2, t3,. . . , tfi) = (t1p￡2_1+t2p￡2_2+. . . +t￡2_1p1+t￡2p°)mod M H2 = RF(t2, t3, t4, . . . , tfi+1) = ((RF(t1, t2, t3. . . tfi)-tjp0-1) *p+tfi+1p°)mod M (1) Hn-fi+i - RF (tn_fi+1, tn_fi+2, tn_fi+3,..., tn) - ((RF(tn_fi, tn_fi+1, tn_fi+2,..., tn-i)_tn_￡2pfi 〇 *p+tnp°)mod M 其中，1?、…、Hn_n+1為n-Q+1個數(shù)據(jù)塊對應的特征指紋； 首先按公式（1)計算數(shù)據(jù)塊懷t2, t3,. . .，映射的特征指紋氏，然后根據(jù)查找表T， 以單字節(jié)&元素值作為查找索引，得到tiP^1的值，i = 1，2,…，n-Q ;最后按照公式（1)， 計算出數(shù)據(jù)塊 t2, t3, t4, ? ? ?，tfi+1、…、tn_fi+1, tn_fi+2, tn_fi+3，…，tn 的特征指紋 H2，…，Hn_fi+1, 其中，查找表T包括0?255的查找索引，每個查找索引對應的輸出值為該查找索引與p^1的乘積； 1. 3)、步驟1. 2)得到的特征指紋進行順序排列，形成特征指紋序列氏，H2，…，;按 w大小的滑動窗口，從起始位置滑動，一個特征指紋為步進，對特征指紋序列氏，H2，…， 進行劃分，每次滑動都選取滑動窗口內最大值作為采樣特征指紋存入特征指紋庫中，至最 后一個滑動窗口，完成輸入數(shù)據(jù)包的特征指紋采樣； 不同滑動窗口因重疊部分選中同一采樣特征指紋時，只存入第一次選中的采樣特征指 紋； (2) 、采樣特征指紋動態(tài)跟蹤 2.1)、建立一個緩沖區(qū)，將輸入的第一個數(shù)據(jù)包負載存入，并將特征指紋庫中的采樣特 征指紋映射于第一個數(shù)據(jù)包負載； 2. 2)、對接收的第二個數(shù)據(jù)包負載，首先存入緩沖區(qū)，然后按照步驟（1)中的方法提取 到采樣特征指紋，并逐個在特征指紋庫中進行匹配，并進行動態(tài)跟蹤：如果匹配到采樣特征 指紋，則將特征指紋庫中匹配到的采樣特征指紋映射于第二個數(shù)據(jù)包負載，如果沒有匹配 至IJ，則將提取的采樣特征指紋存入特征指紋庫中，并映射于第二個數(shù)據(jù)包負載； 2. 3)、對隨后接收的數(shù)據(jù)包負載，按照步驟2. 2)方法進行處理；當緩沖區(qū)中數(shù)據(jù)包負 載存滿后，采用先進先出（First In First Out，F(xiàn)IFO)的老化機制刷新緩沖區(qū)，以便存儲后 續(xù)達到的數(shù)據(jù)包負載，刷新時，特征指紋庫中映射于被移出數(shù)據(jù)包負載的采樣特征指紋被 清除； (3) 、冗余流量識別 對于步驟（2)中提取的采樣特征指紋，如果在特征指紋中匹配成功，則采樣最大內容 匹配法，依據(jù)采樣特征指紋對應的數(shù)據(jù)塊，對接收的數(shù)據(jù)包負載與映射于緩存區(qū)中的數(shù)據(jù) 包負載進行匹配，并輸出匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大??； 統(tǒng)計出單位時間各個冗余數(shù)據(jù)塊大小之和，得到冗余流量大小即識別出冗余流量。
2.根據(jù)權利要求1所述的網(wǎng)絡冗余流量識別方法，其特征在于，步驟1.2)中所述的p 取值為2，M取值為0x100000000即十進制4294967296,以限定計算的特征指紋取值在32比 特位范圍內。
【文檔編號】H04L12/801GK104394091SQ201410730071
【公開日】2015年3月4日 申請日期:2014年12月4日 優(yōu)先權日:2014年12月4日
【發(fā)明者】邢玲, 何燕玲, 馬強, 楊國海 申請人:西南科技大學