專(zhuān)利名稱(chēng)::參數(shù)在線(xiàn)可控的基于自適應(yīng)非線(xiàn)性抽樣的業(yè)務(wù)流統(tǒng)計(jì)方法
技術(shù)領(lǐng)域:
:本發(fā)明是一種參數(shù)在線(xiàn)可控的基于自適應(yīng)非線(xiàn)性抽樣的業(yè)務(wù)流統(tǒng)計(jì)方法,可以應(yīng)用于高速寬帶網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備中以實(shí)現(xiàn)準(zhǔn)確的業(yè)務(wù)流統(tǒng)計(jì),屬于業(yè)務(wù)流統(tǒng)計(jì)
技術(shù)領(lǐng)域:
。
背景技術(shù):
:因特網(wǎng)經(jīng)過(guò)不斷地進(jìn)化,已經(jīng)發(fā)展成承載各種業(yè)務(wù)的通用通信基礎(chǔ)設(shè)施,但是與此同時(shí)對(duì)因特網(wǎng)的監(jiān)控和管理也變得越來(lái)越難。被動(dòng)業(yè)務(wù)量測(cè)量(Passivetrafficmeasurement)可以提供豐富的網(wǎng)絡(luò)狀態(tài)信息,包括業(yè)務(wù)量矩陣,分組長(zhǎng)度分布,業(yè)務(wù)量,會(huì)話(huà)持續(xù)時(shí)間等。這些信息對(duì)于網(wǎng)絡(luò)計(jì)費(fèi),服務(wù)質(zhì)量控制,網(wǎng)絡(luò)安全等應(yīng)用提供了很大的幫助。隨著網(wǎng)絡(luò)線(xiàn)速和業(yè)務(wù)流數(shù)目的增加,每流測(cè)量(per-flowmeasurement)成為一個(gè)巨大的挑戰(zhàn)。一方面,網(wǎng)絡(luò)線(xiàn)速的提高要求高速存儲(chǔ)器,如SRAM;另一方面,業(yè)務(wù)流數(shù)目的增加要求大容量的存儲(chǔ)器,如DRAM。但是目前市場(chǎng)上并不存在既大又快的存儲(chǔ)器能同時(shí)滿(mǎn)足業(yè)務(wù)流數(shù)目巨大的高速網(wǎng)絡(luò)的要求。為了解決這一挑戰(zhàn),相關(guān)文獻(xiàn)提出采用抽樣的方法來(lái)解決。常用的抽樣方法是靜態(tài)抽樣方法,它以固定概率p對(duì)到達(dá)分組進(jìn)行抽樣。假設(shè)真實(shí)的業(yè)務(wù)流大小為"個(gè)分組,計(jì)數(shù)器的計(jì)數(shù)值為"那么根據(jù)計(jì)數(shù)器的計(jì)數(shù)值反向估計(jì)值是5=^/^,其相對(duì)誤差是V(1/P-1)/"。由此看出,當(dāng)業(yè)務(wù)流較小時(shí),相對(duì)誤差將非常大。如果我們采用/7=0.1的抽樣概率對(duì)大小為《=1的業(yè)務(wù)流進(jìn)行抽樣時(shí),相對(duì)誤差將達(dá)到300%。之前有發(fā)明提出自適應(yīng)非線(xiàn)性抽樣方法(胡成臣,劉斌,業(yè)務(wù)流的自適應(yīng)非線(xiàn)性抽樣統(tǒng)計(jì)方法,中國(guó)發(fā)明專(zhuān)利公開(kāi)號(hào)CN101252485)及其裝置(胡成臣,劉斌,基于自適應(yīng)非線(xiàn)性抽樣方法的每流分組數(shù)目統(tǒng)計(jì)裝置,中國(guó)發(fā)明專(zhuān)利,公開(kāi)號(hào)CN101252484),無(wú)論對(duì)于大流還是小流都可以提供精確的統(tǒng)計(jì)結(jié)果。但是上述方法和裝置事先靜態(tài)設(shè)定抽樣參數(shù),在保證計(jì)數(shù)器不溢出的情況下,只能按照最壞情況下固定參數(shù),無(wú)法在線(xiàn)對(duì)抽樣參數(shù)進(jìn)行調(diào)整,在統(tǒng)計(jì)精度上有較大損失。本發(fā)明提出一種參數(shù)在線(xiàn)可控的基于自適應(yīng)非線(xiàn)性抽樣的業(yè)務(wù)流統(tǒng)計(jì)方法,可以數(shù)十倍地提升平均統(tǒng)計(jì)精度。
發(fā)明內(nèi)容本發(fā)明提出一種參數(shù)在線(xiàn)可控的基于自適應(yīng)非線(xiàn)性抽樣的業(yè)務(wù)流統(tǒng)計(jì)方法。本發(fā)明的特征在于所述方法設(shè)立以下模塊業(yè)務(wù)流分類(lèi)模塊,抽樣模塊,流號(hào)與計(jì)數(shù)器地址映射模塊,計(jì)數(shù)模塊,以及抽樣概率計(jì)算模塊,其中,業(yè)務(wù)流分類(lèi)模塊進(jìn)行業(yè)務(wù)流頭部和業(yè)務(wù)流號(hào)的映射,設(shè)有業(yè)務(wù)流的分組頭部輸入端,以及分類(lèi)后的業(yè)務(wù)流號(hào)輸出端;抽樣模塊設(shè)有來(lái)自業(yè)務(wù)流分類(lèi)模塊的業(yè)務(wù)流號(hào)輸入端,去往流號(hào)與計(jì)數(shù)器地址映射模塊的業(yè)務(wù)流號(hào)輸出端,來(lái)自計(jì)數(shù)模塊的計(jì)數(shù)器計(jì)數(shù)值的輸入端,去往計(jì)數(shù)器模塊的計(jì)數(shù)器地址,更新計(jì)數(shù)器指令和更新計(jì)數(shù)器值的輸出端,來(lái)自所述抽樣概率計(jì)算模塊的抽樣概率輸入端,以及去往抽樣概率計(jì)算模塊的計(jì)數(shù)值輸出端;流號(hào)與計(jì)數(shù)器地址映射模塊按照流號(hào)進(jìn)行業(yè)務(wù)流到相應(yīng)計(jì)數(shù)器地址的映射,設(shè)有業(yè)務(wù)流號(hào)輸入端,以及所連計(jì)數(shù)器模塊的計(jì)數(shù)器地址輸出端;計(jì)數(shù)模塊是一組計(jì)數(shù)器,對(duì)不同業(yè)務(wù)流采用不同抽樣概率尸(C)來(lái)統(tǒng)計(jì)業(yè)務(wù)流,設(shè)有計(jì)數(shù)器更新值輸入端,計(jì)數(shù)器地址輸入端,更新計(jì)數(shù)器指令輸入端,以及計(jì)數(shù)值輸出端,以便根據(jù)計(jì)數(shù)器的計(jì)數(shù)值來(lái)調(diào)整抽樣概率/5。),其中C是計(jì)數(shù)器的計(jì)數(shù)值;抽樣概率計(jì)算模塊根據(jù)計(jì)數(shù)值c調(diào)整抽樣概率的計(jì)算參數(shù),獲取抽樣概率,設(shè)有計(jì)數(shù)器計(jì)數(shù)值的輸入端和抽樣概率的輸出端,抽樣概率P(c)計(jì)算公式是P(c)=~^~r。上述各個(gè)模塊的連接關(guān)系如圖1所示。該方法是在高速寬帶網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備中依次按照如下步驟實(shí)現(xiàn)的步驟(l),高速寬帶網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備初始化;參數(shù)a初始值為0;步驟(2),依次按以下步驟進(jìn)行業(yè)務(wù)流統(tǒng)計(jì)步驟(2.D,所述業(yè)務(wù)流分類(lèi)模塊對(duì)輸入的分組先進(jìn)行分類(lèi),并賦予不同業(yè)務(wù)流以不同的業(yè)務(wù)流號(hào),步驟(2.2),所述抽樣模塊把從所述業(yè)務(wù)流分類(lèi)模塊獲取的業(yè)務(wù)流號(hào)送往所述流號(hào)與計(jì)數(shù)器地址映射模塊,該流號(hào)與計(jì)數(shù)器地址映射模塊根據(jù)流號(hào)與計(jì)數(shù)器地址映射表得到計(jì)數(shù)器地址,送往所述抽樣模塊,步驟(2.3),所述抽樣模塊把獲取的計(jì)數(shù)器地址送往所述計(jì)數(shù)模塊,該計(jì)數(shù)模塊將此時(shí)的計(jì)數(shù)器計(jì)數(shù)值c送往所述抽樣模塊,步驟(2.4),所述抽樣模塊把獲取的計(jì)數(shù)器計(jì)數(shù)值送往所述抽樣概率計(jì)算模塊,如果計(jì)數(shù)器值溢出,即到達(dá)計(jì)數(shù)空間的最大值,則跳轉(zhuǎn)到步驟(2.5);否則,該抽樣概率計(jì)算模塊按下式計(jì)算收到的計(jì)數(shù)值c對(duì)應(yīng)的抽樣概率Ac)并送往抽樣模塊,^(。=^"^;跳轉(zhuǎn)到歩驟(2.6);步驟(2.5),如果所述計(jì)數(shù)器的值溢出,則首先通過(guò)求解以下方程來(lái)得到^,將參數(shù)a增加到a,:K=R,其中A=V(1—1/")"/2;e2=^(l-l/)o2/2;A=[(l+a)c-52=[(l+a2)c-l]/a2.上述等式中^R,^^,A為中間變量,0<£_^1是預(yù)設(shè)常量;然后按照下式調(diào)整計(jì)數(shù)器的值,將其從c變?yōu)閊之后回到步驟(2.4)f「X"]浪概率(X—「X])。c2《」「,;Z=log{,[(l+a)c-l]+l}/log(l+a2)1「X]—1;按概率1-(X—「義])"。,」,S、^步驟(2.6),所述抽樣模塊按照獲得的概率,(c)決定是否對(duì)所述計(jì)數(shù)模塊中的計(jì)數(shù)器進(jìn)行更新,按照概率Ac)將計(jì)數(shù)器的值c加一并更新計(jì)數(shù)器的計(jì)數(shù)值,按照概率1—尸(C)保持原有的計(jì)數(shù)器計(jì)數(shù)值;步驟(3),在統(tǒng)計(jì)時(shí)間完成之后,抽樣模塊按照下式獲取業(yè)務(wù)流大小的估計(jì)值,"/(0=[(1+<-1]/"。流程圖如圖2所示。倍至上百倍的提升。假設(shè)我們測(cè)量一個(gè)滿(mǎn)負(fù)荷工作的OC-48(2.5Gbps)鏈路,測(cè)量的時(shí)間窗口是一分鐘。我們一共生成了2種服從不同業(yè)務(wù)流大小分布的業(yè)務(wù)流量Pareto分布,其形狀(shape)參數(shù)為1.053,標(biāo)度(scale)參數(shù)為4;指數(shù)分布,其位置參數(shù)為500(即平均業(yè)務(wù)流大小為500)。另外,我們還選用了OC-192鏈路下的真實(shí)的業(yè)務(wù)流量進(jìn)行實(shí)驗(yàn)。和ANLS[1][2]比較,本發(fā)明的相對(duì)誤差可以提升70至370倍不等,如下表所示。<table>tableseeoriginaldocumentpage9</column></row><table>圖1:模塊連接關(guān)系圖。圖2:流程圖。圖3:計(jì)數(shù)空間隨著參數(shù)a的變化而變化的曲線(xiàn)。圖4:相對(duì)誤差隨著參數(shù)a的變化而變化的曲線(xiàn)。圖5:計(jì)數(shù)空間和相對(duì)誤差的均衡點(diǎn)示意。具體實(shí)施方式實(shí)施例l如果用4bit表示a的參數(shù)取值標(biāo)識(shí),用12bit標(biāo)識(shí)計(jì)數(shù)器的大小,可以計(jì)算得到在計(jì)數(shù)器溢出后需要調(diào)整a,以及相應(yīng)的計(jì)數(shù)空間和相對(duì)誤差如下表所示我們合成了不同分布的業(yè)務(wù)流量。假設(shè)我們測(cè)量一個(gè)滿(mǎn)負(fù)荷工作的OC-48(2.5Gbps)鏈路,測(cè)量的時(shí)間窗口是一分鐘。我們一共生成了2種服從不同業(yè)務(wù)流大小分布的業(yè)務(wù)流量Pareto分布,其形狀(shape)參數(shù)為1.053,標(biāo)度(scale)參數(shù)為4;指數(shù)分布,其位置參數(shù)為500(即平均業(yè)務(wù)流大小為500)。另外,我們還選用了OC-192鏈路下的真實(shí)的業(yè)務(wù)流量進(jìn)行實(shí)驗(yàn)。和ANLS[1][2]比較,本發(fā)明的相對(duì)誤差可以提升70至370倍不等,如下表所示。<table>tableseeoriginaldocumentpage10</column></row><table>權(quán)利要求1.參數(shù)在線(xiàn)可控的基于自適應(yīng)非線(xiàn)性抽樣的業(yè)務(wù)流統(tǒng)計(jì)方法,其特征在于所述方法設(shè)立以下模塊業(yè)務(wù)流分類(lèi)模塊,抽樣模塊,流號(hào)與計(jì)數(shù)器地址映射模塊,計(jì)數(shù)模塊,以及抽樣概率計(jì)算模塊,其中,業(yè)務(wù)流分類(lèi)模塊,進(jìn)行業(yè)務(wù)流頭部和業(yè)務(wù)流號(hào)的映射,設(shè)有業(yè)務(wù)流的分組頭部輸入端,以及分類(lèi)后的業(yè)務(wù)流號(hào)輸出端;抽樣模塊,設(shè)有來(lái)自業(yè)務(wù)流分類(lèi)模塊的業(yè)務(wù)流號(hào)輸入端,去往流號(hào)與計(jì)數(shù)器地址映射模塊的業(yè)務(wù)流號(hào)輸出端,來(lái)自計(jì)數(shù)模塊的計(jì)數(shù)器計(jì)數(shù)值的輸入端,去往計(jì)數(shù)器模塊的計(jì)數(shù)器地址,更新計(jì)數(shù)器指令和更新計(jì)數(shù)器值的輸出端,來(lái)自所述抽樣概率計(jì)算模塊的抽樣概率輸入端,以及去往抽樣概率計(jì)算模塊的計(jì)數(shù)值輸出端;流號(hào)與計(jì)數(shù)器地址映射模塊,按照流號(hào)進(jìn)行業(yè)務(wù)流到相應(yīng)計(jì)數(shù)器地址的映射,設(shè)有業(yè)務(wù)流號(hào)輸入端,以及所連計(jì)數(shù)器模塊的計(jì)數(shù)器地址輸出端;計(jì)數(shù)模塊,是一組計(jì)數(shù)器,對(duì)不同業(yè)務(wù)流采用不同抽樣概率P(c)來(lái)統(tǒng)計(jì)業(yè)務(wù)流,設(shè)有計(jì)數(shù)器更新值輸入端,計(jì)數(shù)器地址輸入端,更新計(jì)數(shù)器指令輸入端,以及計(jì)數(shù)值輸出端,以便根據(jù)計(jì)數(shù)器的計(jì)數(shù)值來(lái)調(diào)整抽樣概率P(c),其中c是計(jì)數(shù)器的計(jì)數(shù)值;抽樣概率計(jì)算模塊,根據(jù)計(jì)數(shù)值c調(diào)整抽樣概率的計(jì)算參數(shù),獲取抽樣概率,設(shè)有計(jì)數(shù)器計(jì)數(shù)值的輸入端和抽樣概率的輸出端,抽樣概率P(c)計(jì)算公式是<mathsid="math0001"num="0001"><math><![CDATA[<mrow><mi>P</mi><mrow><mo>(</mo><mi>c</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><msup><mrow><mo>(</mo><mn>1</mn><mo>+</mo><mi>a</mi><mo>)</mo></mrow><mrow><mi>c</mi><mo>-</mo><mn>1</mn></mrow></msup></mfrac><mo>,</mo></mrow>]]></math>id="icf0001"file="A2009100895020002C1.tif"wi="28"he="9"top="227"left="26"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中a是抽樣參數(shù);該方法是在高速寬帶網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備中依次按照如下步驟實(shí)現(xiàn)的步驟(1),高速寬帶網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備初始化;參數(shù)a初始值為0;步驟(2),依次按以下步驟進(jìn)行業(yè)務(wù)流統(tǒng)計(jì)步驟(2.1),所述業(yè)務(wù)流分類(lèi)模塊對(duì)輸入的分組先進(jìn)行分類(lèi),并賦予不同業(yè)務(wù)流以不同的業(yè)務(wù)流號(hào),步驟(2.2),所述抽樣模塊把從所述業(yè)務(wù)流分類(lèi)模塊獲取的業(yè)務(wù)流號(hào)送往所述流號(hào)與計(jì)數(shù)器地址映射模塊,該流號(hào)與計(jì)數(shù)器地址映射模塊根據(jù)流號(hào)與計(jì)數(shù)器地址映射表得到計(jì)數(shù)器地址,送往所述抽樣模塊,步驟(2.3),所述抽樣模塊把獲取的計(jì)數(shù)器地址送往所述計(jì)數(shù)模塊,該計(jì)數(shù)模塊將此時(shí)的計(jì)數(shù)器計(jì)數(shù)值c送往所述抽樣模塊,步驟(2.4),所述抽樣模塊把獲取的計(jì)數(shù)器計(jì)數(shù)值送往所述抽樣概率計(jì)算模塊,如果計(jì)數(shù)器值溢出,即到達(dá)計(jì)數(shù)空間的最大值,則跳轉(zhuǎn)到步驟(2.5);否則,該抽樣概率計(jì)算模塊按下式計(jì)算收到的計(jì)數(shù)值c對(duì)應(yīng)的抽樣概率P(c)并送往抽樣模塊,<mathsid="math0002"num="0002"><math><![CDATA[<mrow><mi>P</mi><mrow><mo>(</mo><mi>c</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><msup><mrow><mo>(</mo><mn>1</mn><mo>+</mo><mi>a</mi><mo>)</mo></mrow><mrow><mi>c</mi><mo>-</mo><mn>1</mn></mrow></msup></mfrac><mo>;</mo></mrow>]]></math>id="icf0002"file="A2009100895020003C1.tif"wi="29"he="9"top="161"left="46"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>跳轉(zhuǎn)到步驟(2.6);步驟(2.5),如果所述計(jì)數(shù)器的值溢出,則首先通過(guò)求解以下方程來(lái)得到a2,將參數(shù)a增加到a2Ub=Ue,其中<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msub><mi>U</mi><mi>e</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>E</mi><mi>max</mi></msub><mo>-</mo><msub><mi>e</mi><mn>2</mn></msub></mrow><mrow><msub><mi>E</mi><mi>max</mi></msub><mo>-</mo><msub><mi>e</mi><mn>1</mn></msub></mrow></mfrac><mo>;</mo></mrow>]]></math></maths><mathsid="math0004"num="0004"><math><![CDATA[<mrow><msub><mi>e</mi><mn>1</mn></msub><mo>=</mo><msqrt><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mn>1</mn><mo>/</mo><mi>n</mi><mo>)</mo></mrow><mi>a</mi><mo>/</mo><mn>2</mn></msqrt><mo>;</mo></mrow>]]></math></maths><mathsid="math0005"num="0005"><math><![CDATA[<mrow><msub><mi>e</mi><mn>2</mn></msub><mo>=</mo><msqrt><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mn>1</mn><mo>/</mo><mi>n</mi><mo>)</mo></mrow><msub><mi>a</mi><mn>2</mn></msub><mo>/</mo><mn>2</mn></msqrt><mo>;</mo></mrow>]]></math></maths><mathsid="math0006"num="0006"><math><![CDATA[<mrow><msub><mi>U</mi><mi>b</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>B</mi><mn>2</mn></msub><mo>-</mo><msub><mi>B</mi><mn>1</mn></msub></mrow><msub><mi>B</mi><mn>2</mn></msub></mfrac><mo>;</mo></mrow>]]></math></maths>B1=[(1+a)c-1]/a;B2=[(1+a2)c-1]/a2.上述等式中Ub,Ue,e1,e2,B1,B2為中間變量,0<Emax≤1是預(yù)設(shè)常量;然后按照下式調(diào)整計(jì)數(shù)器的值,將其從c變?yōu)閏2之后回到步驟(2.4)id="icf0007"file="A2009100895020004C1.tif"wi="64"he="13"top="38"left="22"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/><mathsid="math0007"num="0007"><math><![CDATA[<mrow><mi>X</mi><mo>=</mo><mi>log</mi><mo>{</mo><mfrac><msub><mi>a</mi><mn>2</mn></msub><mi>a</mi></mfrac><mo>[</mo><msup><mrow><mo>(</mo><mn>1</mn><mo>+</mo><mi>a</mi><mo>)</mo></mrow><mi>c</mi></msup><mo>-</mo><mn>1</mn><mo>]</mo><mo>+</mo><mn>1</mn><mo>}</mo><mo>/</mo><mi>log</mi><mrow><mo>(</mo><mn>1</mn><mo>+</mo><msub><mi>a</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow>]]></math>id="icf0008"file="A2009100895020004C2.tif"wi="66"he="4"top="42"left="91"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>步驟(2.6),所述抽樣模塊按照獲得的概率P(c)決定是否對(duì)所述計(jì)數(shù)模塊中的計(jì)數(shù)器進(jìn)行更新,按照概率P(c)將計(jì)數(shù)器的值c加一并更新計(jì)數(shù)器的計(jì)數(shù)值,按照概率1-P(c)保持原有的計(jì)數(shù)器計(jì)數(shù)值;步驟(3),在統(tǒng)計(jì)時(shí)間完成之后,抽樣模塊按照下式獲取業(yè)務(wù)流大小的估計(jì)值,<mathsid="math0008"num="0008"><math><![CDATA[<mrow><mover><mi>n</mi><mo>^</mo></mover><mo>=</mo><mi>f</mi><mrow><mo>(</mo><mi>c</mi><mo>)</mo></mrow><mo>=</mo><mo>[</mo><msup><mrow><mo>(</mo><mn>1</mn><mo>+</mo><mi>a</mi><mo>)</mo></mrow><mi>c</mi></msup><mo>-</mo><mn>1</mn><mo>]</mo><mo>/</mo><mi>a</mi><mo>.</mo></mrow>]]></math></maths>全文摘要參數(shù)在線(xiàn)可控的基于自適應(yīng)非線(xiàn)性抽樣的業(yè)務(wù)流統(tǒng)計(jì)方法屬于業(yè)務(wù)流統(tǒng)計(jì)
技術(shù)領(lǐng)域:
。其特征在于,在高速寬帶網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備對(duì)每一個(gè)業(yè)務(wù)流進(jìn)行分類(lèi)后,用計(jì)數(shù)器來(lái)抽樣統(tǒng)計(jì)業(yè)務(wù)流,根據(jù)計(jì)數(shù)器的計(jì)數(shù)值來(lái)調(diào)整抽樣概率,同時(shí),對(duì)于根據(jù)計(jì)數(shù)器的占用情況調(diào)整計(jì)算抽樣概率函數(shù)的參數(shù),在給定計(jì)數(shù)器空間的情況下最小化統(tǒng)計(jì)誤差。文檔編號(hào)H04L12/26GK101616036SQ20091008950公開(kāi)日2009年12月30日申請(qǐng)日期2009年7月21日優(yōu)先權(quán)日2009年7月21日發(fā)明者斌劉,胡成臣申請(qǐng)人:清華大學(xué)