本發(fā)明涉及信息安全
技術(shù)領(lǐng)域：
，特別涉及一種全網(wǎng)絡(luò)流量的監(jiān)測方法。
背景技術(shù)：
：現(xiàn)有技術(shù)中對于網(wǎng)絡(luò)流量監(jiān)測都是依賴于在路由器上采集的各級的流的數(shù)量，但是每個路由器的監(jiān)測能力是有限的，網(wǎng)絡(luò)操作員想要用最佳的方式盡可能地去利用路由器的監(jiān)測能力。然而，現(xiàn)存的路由器操作都是對單個而言，每個路由器都是獨立地記錄它監(jiān)測的流量記錄。這種方法不僅不能有效地利用路由器資源，而且還增加了網(wǎng)絡(luò)操作者對于處理冗余和由于多個路由器監(jiān)測而導(dǎo)致的數(shù)據(jù)模糊的影響。從單一角度的觀點，現(xiàn)有技術(shù)的監(jiān)測方法不能實現(xiàn)網(wǎng)絡(luò)運(yùn)營商直接指定和實現(xiàn)全網(wǎng)絡(luò)測量的目的。并且在網(wǎng)絡(luò)管理應(yīng)用程序的目標(biāo)之間與路由器之間還存在著原語的脫節(jié)?，F(xiàn)有技術(shù)對上述路由器采樣也進(jìn)行一些改進(jìn)性的研究，但是目前改進(jìn)方法僅是集中于對單個路由器的解決方案的改進(jìn)，仍不能很好的適用于全網(wǎng)絡(luò)大數(shù)據(jù)的監(jiān)測。另外，這些改進(jìn)方法一是缺乏應(yīng)用(例如，不同的流量測度需要特定的流算法)的普遍性，二是事實上在流覆蓋問題上不利用應(yīng)用。然而，保持跟蹤大量流會增加路由器監(jiān)測的冗余(每個路由器會跟蹤相同的大量流的集合)，但是卻沒有增加流的覆蓋范圍。因此如何開發(fā)細(xì)粒度和準(zhǔn)確的流量監(jiān)測技術(shù)，合理的利用路由器的監(jiān)測能力是目前業(yè)內(nèi)棘手的問題。技術(shù)實現(xiàn)要素：本發(fā)明的目的是針對上述現(xiàn)有技術(shù)的不足，而提供一種全網(wǎng)絡(luò)流量監(jiān)測方法，該方法對于路由器處理能力的不均勻性具有普遍適用性，能夠合理的利用路由器的監(jiān)測能力，并且路由器之間不會產(chǎn)生大量的冗余現(xiàn)象，各采集器之間不需要通信，因此網(wǎng)絡(luò)負(fù)擔(dān)小，并且在全網(wǎng)絡(luò)中的流覆蓋率大，處理效率高，監(jiān)測結(jié)果準(zhǔn)確。為解決上述技術(shù)問題，本發(fā)明提供一種全網(wǎng)絡(luò)流量監(jiān)測方法，用于對計算機(jī)全網(wǎng)絡(luò)中的流進(jìn)行監(jiān)測，采取的技術(shù)方案，包括以下步驟：步驟S1：選定全網(wǎng)絡(luò)中用于監(jiān)測網(wǎng)絡(luò)流量的n個路由器及所述路由器對應(yīng)的采集器，每個路由器對應(yīng)的采集器負(fù)責(zé)維護(hù)一張監(jiān)測時間段內(nèi)的流的集合的一張流表；步驟S2：從全網(wǎng)絡(luò)監(jiān)控中心分別獲取m條OD流，并提取每條OD流的路徑信息，構(gòu)建用于輸入的OD流流量矩陣P，同時將獲取的OD流進(jìn)行OD編碼，并形成OD對標(biāo)識映射表；步驟S3：利用所述OD流流量矩陣P、所述OD流的路徑信息和所述采集器的資源約束計算出用于監(jiān)測不同范圍的采樣清單；步驟S4：將所述采樣清單分別分配給所述n個路由器，并且，在全網(wǎng)絡(luò)入口的路由器同時配置分發(fā)一個OD對標(biāo)識映射表；步驟S5：所述全網(wǎng)絡(luò)中的路由器及其對應(yīng)的采集器根據(jù)所述OD對標(biāo)識映射表和所述采樣清單對進(jìn)入網(wǎng)絡(luò)中的數(shù)據(jù)包進(jìn)行分組監(jiān)測分析，所述采集器更新其維護(hù)的流表；步驟S6：所述采集器定時采集流表中的流數(shù)據(jù)并上傳，所述全網(wǎng)絡(luò)監(jiān)控中心將所有上傳的流數(shù)據(jù)進(jìn)行集合分析處理，形成監(jiān)測報告。優(yōu)選地，在步驟S2中，構(gòu)建OD流流量矩陣P的方法包括以下步驟：步驟S21：根據(jù)當(dāng)前監(jiān)測時間段去查找前一個具有相同時間點的監(jiān)測時間段的歷史監(jiān)測記錄，并提取具有相同源-目的m條OD流，構(gòu)建初始OD流流量矩陣，將所述初始OD流流量矩陣作為獲得當(dāng)前監(jiān)測時間段內(nèi)初始的時間間隔的采樣清單用的OD流流量矩陣；步驟S22：與所述初始時間間隔時間連續(xù)的下一個時間間隔作為當(dāng)前時間間隔，在所述當(dāng)前時間間隔內(nèi)，從全網(wǎng)絡(luò)監(jiān)控中心采集實測的m條OD流，并構(gòu)建實測OD流流量矩陣Pobs，并將所述初始OD流流量矩陣作為歷史OD流流量矩陣Pold；步驟S23：對所述歷史OD流流量矩陣Pold和所述實測OD流流量矩陣Pobs進(jìn)行判斷分析，構(gòu)建組合OD流流量矩陣Pnew，將所述組合OD流流量矩陣Pnew作為獲得當(dāng)前時間間隔內(nèi)的采樣清單用的OD流流量矩陣P；步驟S24：根據(jù)當(dāng)前監(jiān)測時間段的連續(xù)時間的時間間隔依次推移，上一個時間間隔構(gòu)建的OD流流量矩陣作為歷史OD流流量矩陣Pold，當(dāng)前時間間隔構(gòu)建的OD流流量矩陣作為實測OD流流量矩陣Pobs，返回到步驟S23，對步驟S23內(nèi)的歷史OD流流量矩陣Pold和實測OD流流量矩陣Pobs進(jìn)行迭代計算。優(yōu)選地，在步驟S23中，構(gòu)建組合OD流流量矩陣Pnew方法如下：給定一個閾值Δ，并計算所述歷史OD流中ODi流和實測ODi流中ODi流之間的估計誤差其中1≤i≤m，Pi代表OD流流量矩陣P的第i列，將所述的閾值Δ與所述估計誤差δi進(jìn)行比較，結(jié)果分以下情況處理：如果所有的OD流的所述估計誤差δ均小于等于所述的閾值Δ，則將所述的歷史OD流流量矩陣Pold作為組合OD流流量矩陣Pnew；如果至少有一個OD流的所述估計誤差δ大于所述的閾值Δ，所述OD流流量矩陣Pnew是通過如下方法獲得：如果大于那么將OD流流量矩陣Pnew中的設(shè)為如果小于那么就要檢查采集器當(dāng)前負(fù)責(zé)監(jiān)測的實測ODi流的資源利用情況：如果所有的采集器的資源都有殘余，那么將OD流流量矩陣Pnew中的設(shè)為如果所有的采集器的資源都無殘余或部分殘余，設(shè)為優(yōu)選地，在步驟S5中，所述路由器和所述采集器對進(jìn)入網(wǎng)絡(luò)中的數(shù)據(jù)包進(jìn)行分組監(jiān)測分析的方法為：所述全網(wǎng)絡(luò)入口的路由器將所述OD對標(biāo)識映射表中的OD編碼添加到通過該入口的路由器的數(shù)據(jù)包的包頭中，所述全網(wǎng)絡(luò)中的路由器將通過它的數(shù)據(jù)包導(dǎo)出給采集器，所述采集器識別數(shù)據(jù)包的包頭中的OD編碼，并根據(jù)所述的OD編碼在對應(yīng)的路由器負(fù)責(zé)的所述采樣清單中查找，如果該OD編碼不在所述采樣清單內(nèi)，則對該數(shù)據(jù)包不進(jìn)行處理；如果該OD編碼在所述采樣清單內(nèi)，先對該數(shù)據(jù)包進(jìn)行Hash值標(biāo)識，然后分下列情況處理：如果該數(shù)據(jù)包的Hash值標(biāo)識在所述采樣清單的監(jiān)測范圍內(nèi)，則在所述采集器維護(hù)的流表中查找數(shù)據(jù)包：如果該數(shù)據(jù)包在該流表內(nèi)，則在該流表內(nèi)更新該數(shù)據(jù)包的新條目；如果所述數(shù)據(jù)包不在該流表內(nèi)，則在該流表內(nèi)新建該數(shù)據(jù)包對應(yīng)的新條目；如果該數(shù)據(jù)包的Hash值標(biāo)識不在所述采樣清單的監(jiān)測范圍內(nèi)，則對該數(shù)據(jù)包不進(jìn)行處理。優(yōu)選地，在步驟S3中，所述采樣清單范圍為在保證總的流量覆蓋最大的前提下使每條流被采集的數(shù)量最小的問題求解，通過采用約束方程求解所述采樣清單范圍的優(yōu)化解d*＝＜dij＞1≤i≤m,1≤j≤n，即：maxtotgivenfrac(α)：MaximizeΣi(Pi×Ci),subjectto∀j,Σi:Rj∈Pi(dij×Pi)≤Rj∀i,Ci=Σj:Rj=Pidij∀i,∀j,dij≥0∀i,Ci≤1∀i,Ci≥α]]>其中，Rj代表路由器j對應(yīng)的采集器的資源約束；Ci代表實測OD流i被所有路由器對應(yīng)的采集器采集的百分?jǐn)?shù)；dij表示路由器j對應(yīng)的采集器采集的OD流i的百分?jǐn)?shù)；α代表每條流被采集的最小百分?jǐn)?shù)；將所述采樣清單范圍的優(yōu)化解d*＝＜dij＞1≤i≤m,1≤j≤n映射到所述路由器的采樣清單中。優(yōu)選地，所述優(yōu)化解的映射方法如下：S41：設(shè)立OD流的初始值i＝0，路由器的初始值j＝0，采樣清單范圍的上界初始值Range＝0；S42：所述路由器分配的Hash范圍為HashRange(i，j)＝[Range，Range+d*]；S43：將i依次迭代成i′，i′為0＜i′≤m中的OD流，將j依次迭代成j′，j′為0＜j′≤n的路由器，Range依次迭代為Range′，Range′＝Range+d*；S44：所述路由器j的采樣清單Manifest(j)＝{＜i,HashRange(i，j)＞|d*ij＞0}。優(yōu)選地，所述的采樣清單的范圍采用有向圖方法，求解OD流到路由器的邊E3，求解方法如下：已知將全網(wǎng)絡(luò)轉(zhuǎn)化為有向圖G＜V，E＞，其中，V表示節(jié)點，E表示連接各節(jié)點的邊；V＝{source，sink}∪{ODi}1≤i≤m∪{Rj}1≤j≤n，其中，source表示源點，sink表示匯點；E＝E1∪E2∪E3，其中E，表示源點到OD流的邊，E2表示路由器到匯點的邊，E3表示OD流到路由器的邊；{E1={(source,ODi)}1≤i≤m,E2={(Rj,sink)}1≤j≤n,E3={(ODi,Rj)}i,j∈Pi};]]>設(shè)f(x，y)表示邊界處(x，y)∈E的OD流，1≤f≤m，求解采用的約束條件為：∀x,∀y,lower(x,y)≤f(x,y)≤upper(x,y);]]>upper(x,y)=Tfx=source,y=ODfRjx=jy=sink∞otherwise;]]>∀x,(Σyf(x,y)-Σyf(y,x))=Fx=source-Fx=sink0otherwise;]]>其中，Tf代表OD流f的數(shù)量，Rj代表路由器j對應(yīng)的采集器的資源約束，upper(x，y)代表OD流f在G中的上界，Iower(x，y)代表OD流f在G中下界，F(xiàn)為OD流f在全網(wǎng)絡(luò)中可以通過的最大流量。優(yōu)選地，計算所述采樣清單范圍時分兩步計算，計算步驟如下：步驟51：根據(jù)二分查找法計算所述α；步驟52：將計算的所述α帶入對應(yīng)的約束方程進(jìn)行求解。優(yōu)選地，所述Hash值是通過Hash函數(shù)對流的源ip、目的ip、源端口號、目的端口號、協(xié)議這五組元素作為關(guān)鍵詞來計算得到的。本發(fā)明的有益效果是：本發(fā)明提供的全網(wǎng)絡(luò)監(jiān)測方法采用隨機(jī)流采樣，這樣采樣能夠覆蓋到全網(wǎng)絡(luò)的流，覆蓋范圍廣。本發(fā)明的監(jiān)測方法在監(jiān)測的過程中依賴協(xié)作來完成全網(wǎng)絡(luò)的流的監(jiān)測，即給路由器分配一個不同監(jiān)測范圍的采樣清單，每個路由器及對應(yīng)的采集器根據(jù)采樣清單進(jìn)行監(jiān)測，監(jiān)測范圍能夠覆蓋到全網(wǎng)絡(luò)，并且有效的避免了重復(fù)流的上報，減少了冗余，增加了監(jiān)測的細(xì)粒度，并且并不需要路由器之間明確的通信，使監(jiān)測過程簡單精確。并且本發(fā)明的監(jiān)測方法，利用了各路由器對應(yīng)的采集器的資源約束來計算采樣清單，因此本發(fā)明的監(jiān)測方法適用于不同類的路由器，適用的普遍性高。本發(fā)明的監(jiān)測方法具有覆蓋到全網(wǎng)絡(luò)、監(jiān)測和處理效率高、監(jiān)測的精準(zhǔn)度高、具有普遍的適用性等優(yōu)點。附圖說明圖1是本發(fā)明的全網(wǎng)絡(luò)流量監(jiān)測方法的實施例的方法流程圖；圖2是圖1的實施例中建立采樣清單的流程圖；圖3是圖1的實施例中路由器和采集器監(jiān)測全網(wǎng)絡(luò)的流的流程圖；圖4是本發(fā)明的全網(wǎng)絡(luò)流量監(jiān)測方法的實施例的架構(gòu)示意圖。具體實施方式為了便于理解本發(fā)明，下面結(jié)合附圖和具體實施例，對本發(fā)明進(jìn)行更詳細(xì)的說明。附圖中給出了本發(fā)明的較佳的實施例。但是，本發(fā)明可以以許多不同的形式來實現(xiàn)，并不限于本說明書所描述的實施例。相反地，提供這些實施例的目的是使對本發(fā)明的公開內(nèi)容的理解更加透徹全面。需要說明的是，除非另有定義，本說明書所使用的所有的技術(shù)和科學(xué)術(shù)語與屬于本發(fā)明的
技術(shù)領(lǐng)域：
的技術(shù)人員通常理解的含義相同。在本發(fā)明的說明書中所使用的術(shù)語只是為了描述具體的實施例的目的，不是用于限制本發(fā)明。本發(fā)明的全網(wǎng)絡(luò)流量監(jiān)測方法的實施例，如圖1所示的流程圖和圖4所示的架構(gòu)示意圖，可以看出本發(fā)明的實施例包括以下步驟：步驟S1：選定全網(wǎng)絡(luò)中用于監(jiān)測網(wǎng)絡(luò)流量的n個路由器{1、2、3、...、n}及所述每個路由器對應(yīng)的采集器，每個路由器對應(yīng)的采集器對應(yīng)負(fù)責(zé)維護(hù)一張監(jiān)測時間段內(nèi)的流的集合的一張流表；步驟S2：從全網(wǎng)絡(luò)監(jiān)控中心分別獲取m條OD流{OD1、OD2、OD3、...、ODm}，并提取每條OD流的路徑信息，構(gòu)建用于輸入的OD流流量矩陣P，同時將獲取的OD流進(jìn)行OD編碼，并形成OD對標(biāo)識映射表；步驟S3：利用所述OD流流量矩陣P、所述OD流的路徑信息和所述采集器的資源約束計算出用于監(jiān)測不同范圍的采樣清單；步驟S4：將所述采樣清單分別分配給所述n個路由器，并且，在全網(wǎng)絡(luò)入口的路由器同時配置分發(fā)一個OD對標(biāo)識映射表；步驟S5：所述全網(wǎng)絡(luò)中的路由器及其對應(yīng)的采集器根據(jù)所述OD對標(biāo)識映射表和所述采樣清單對進(jìn)入網(wǎng)絡(luò)中的數(shù)據(jù)包進(jìn)行分組監(jiān)測分析，所述采集器更新其維護(hù)的流表；步驟S6：所述采集器定時采集流表中的流數(shù)據(jù)并上傳，所述全網(wǎng)絡(luò)監(jiān)控中心將所有上傳的流數(shù)據(jù)進(jìn)行集合分析處理，形成監(jiān)測報告。為了能對全網(wǎng)絡(luò)中的流順利的進(jìn)行監(jiān)測，首先本發(fā)明的監(jiān)測方法的實施例提出了協(xié)作采樣，在全網(wǎng)絡(luò)監(jiān)控中心(NOC)可以獲得全網(wǎng)絡(luò)中的流的路徑信息和OD流流量矩陣P?；谝陨闲畔?，NOC分析計算出采樣策略，然后將映射有該采樣策略的采樣清單分發(fā)給每個的路由器，采樣清單是一個配置文件，這個配置文件是指定路由器需要記錄和上報給全網(wǎng)絡(luò)監(jiān)控中心的文件(也就是Hash的輸出范圍，Hash函數(shù)值范圍在0～1之間)。對于全網(wǎng)絡(luò)管理問題一種更簡單的設(shè)計方式就是源-目的流(OD流)，OD流是由網(wǎng)絡(luò)的進(jìn)入點、網(wǎng)絡(luò)的出點、總的流量數(shù)量(例如，字節(jié)數(shù)、包數(shù)、IP級流數(shù))和OD流穿過的路由器級路徑?jīng)Q定的。但是在時間和空間上穿過網(wǎng)絡(luò)的流量特征在變化，使得OD流流量矩陣為動態(tài)的，因此在步驟S2中構(gòu)建用作輸入的OD流流量矩陣P，優(yōu)選地采用一個動態(tài)的處理方法，該構(gòu)建輸入的OD流流量矩陣P的動態(tài)處理方法包括以下步驟：步驟S21：根據(jù)當(dāng)前監(jiān)測時間段去查找前一個具有相同時間點的監(jiān)測時間段的歷史監(jiān)測記錄，并提取具有相同源-目的m條OD流，構(gòu)建初始OD流流量矩陣，將所述初始OD流流量矩陣作為獲得當(dāng)前監(jiān)測時間段內(nèi)初始的時間間隔的采樣清單用的OD流流量矩陣；步驟S22：與所述初始時間間隔時間連續(xù)的下一個時間間隔作為當(dāng)前時間間隔，在所述當(dāng)前時間間隔內(nèi)，從全網(wǎng)絡(luò)監(jiān)控中心采集實測的m條OD流，并構(gòu)建實測OD流流量矩陣Pobs，并將所述初始OD流流量矩陣作為歷史OD流流量矩陣Pold；步驟S23：對所述歷史OD流流量矩陣Pold和所述實測OD流流量矩陣Pobs進(jìn)行判斷分析，構(gòu)建組合OD流流量矩陣Pnew，將所述組合OD流流量矩陣Pnew作為獲得當(dāng)前時間間隔內(nèi)的采樣清單用的OD流流量矩陣P；步驟S24：根據(jù)當(dāng)前監(jiān)測時間段的連續(xù)時間的時間間隔依次推移，上一個時間間隔構(gòu)建的OD流流量矩陣作為歷史OD流流量矩陣Pold，當(dāng)前時間間隔構(gòu)建的OD流流量矩陣作為實測OD流流量矩陣Pobs，返回到步驟S23，對步驟S23內(nèi)的歷史OD流流量矩陣Pold和實測OD流流量矩陣Pobs進(jìn)行迭代計算。下面通過舉例詳細(xì)的描述對這一動態(tài)變化的處理方法。長期變化：處理可預(yù)測變化的一種常見方法是有效地利用歷史的數(shù)據(jù)。例如，當(dāng)計算一個比如說是這周周五的上午9點到10點這個監(jiān)測時間段內(nèi)的采樣清單時，我們可以利用上周周五上午9點到10點這個監(jiān)測時間段內(nèi)的監(jiān)測到的OD流，構(gòu)建初始OD流流量矩陣Pold來作為輸入的OD流流量矩陣。短期變化：為了解決不太能預(yù)測的短期的流量變化，我們采用平均長期(比如，一周)的OD流流量矩陣來運(yùn)行，是利用兩個不同的時間規(guī)模：一個粗糙的時間規(guī)模(比如，小時)去平均歷史數(shù)據(jù)，一個精細(xì)的時間規(guī)模(比如，五分鐘)去運(yùn)行協(xié)作采樣方案。假設(shè)我們想要計算當(dāng)前周的周五上午9點到10點這個監(jiān)測時間段內(nèi)的每五分鐘的采樣清單，每五分鐘為一個時間間隔，當(dāng)然時間間隔還可以設(shè)置成10分鐘，20分鐘等。為了避免過符合，我們利用上一周周五上午9點到10點期間，每五分鐘得到的OD流的OD流流量矩陣共12份進(jìn)行平均得到初始OD流流量矩陣，將所述初始OD流流量矩陣作為獲得計算第一個五分鐘這個初始時間間隔的采樣清單的輸入的OD流流量矩陣。當(dāng)需要監(jiān)測下一個五分鐘內(nèi)的流時，初始五分鐘時間間隔作為上一個時間間隔，下一個五分鐘時間間隔作為當(dāng)前時間間隔。該當(dāng)前時間間隔的采樣清單用的組合OD流流量矩陣Pnew方法如下：給定一個閾值Δ，并計算所述歷史OD流中ODi流和實測ODi流中ODi流之間的估計誤差其中1≤i≤m，Pi代表OD流流量矩陣P的第i列，將所述的閾值Δ與所述估計誤差δi進(jìn)行比較，結(jié)果分以下情況處理：如果所有的OD流的所述估計誤差δ均小于等于所述的閾值Δ，則將所述的歷史OD流流量矩陣Pold作為組合OD流流量矩陣Pnew；如果至少有一個OD流的所述估計誤差δ大于所述的閾值Δ，所述OD流流量矩陣Pnew是通過如下方法獲得：如果大于那么將OD流流量矩陣Pnew中的設(shè)為如果小于那么就要檢查采集器當(dāng)前負(fù)責(zé)監(jiān)測的實測ODi流的資源利用情況：如果所有的采集器的資源都有殘余，那么將OD流流量矩陣Pnew中的設(shè)為如果所有的采集器的資源都無殘余或部分殘余，設(shè)為因為每個路由器對應(yīng)的采集器操作都是獨立的，比如路由器的采集器獨立地記錄它監(jiān)測的流的集合，那么采用現(xiàn)有技術(shù)中對流進(jìn)行監(jiān)測的方法，會使所有的采集器的監(jiān)測的結(jié)果之間產(chǎn)生重復(fù)的現(xiàn)象，這樣會造成對上報帶寬和路由器內(nèi)存資源的極大浪費，同時也會對已存在的資源約束產(chǎn)生很大的壓力。此外，當(dāng)合并或分析來自多個路由器對應(yīng)的采集器采集的流信息時，多樣的結(jié)果會導(dǎo)致額外數(shù)據(jù)管理的開銷。本發(fā)明的監(jiān)測方法的實施例通過采用Hash協(xié)作的設(shè)計原理，可以最大程度地消除這些弊端。本實施例采用基于Hash的方式來執(zhí)行采集器之間的協(xié)作，各路由器之間不需要明確的通信。具體的來說，基于Hash的選擇以便于在同一的路由器級路徑(網(wǎng)絡(luò)的進(jìn)出)中的不同的路由器選擇不同的流進(jìn)行監(jiān)測。本發(fā)明的監(jiān)測方法的實施例的重點就是路徑上分配給不同路由器的采樣清單的Hash值的范圍不重疊。根據(jù)上述構(gòu)建的輸入的OD流流量矩陣、上述步驟S2中獲取的OD流的路徑信息和已知的采集器的資源約束來計算采樣清單，在這里將采樣清單范圍描述成在保證總的流量覆蓋最大的前提下使每條流被采集的數(shù)量最小的問題求解，通過采用約束方程求解所述采樣清單范圍的優(yōu)化解d*＝＜dij＞1≤i≤m,l≤j≤n，然后將該優(yōu)化解映射到采樣清單中，就形成了采樣清單的監(jiān)測范圍。本發(fā)明的監(jiān)測方法是假定在SRAM有持續(xù)計數(shù)流的這種能力。因此這些路由器對應(yīng)的采集器的資源約束總結(jié)為內(nèi)存(在SRAM中每條流的計數(shù))(a)和上報流記錄給采集點(典型的是NOC)(b)的帶寬。本文抽象(a)和(b)為一個單獨的資源約束Rj，代表的是路由器j對應(yīng)的采集器在監(jiān)測時間段內(nèi)記錄和上報的流的數(shù)量。Rj代表路由器j(j＝1，...，n)對應(yīng)的采集器的總的資源約束，也就是說采集器需要監(jiān)測的OD流的總的數(shù)量不能超過該總的負(fù)載約束Rj。也就是∀j,Σi:Rj∈Pi(dij×Pi)≤Rj---(3-1)]]>下一個，對于i＝1，...，m，設(shè)Ci代表的是監(jiān)測到的OD流i被所有采集器采集的百分?jǐn)?shù)。本發(fā)明的監(jiān)測方法的實施例僅需要考慮確保給定的OD流的路徑上的路由器的采樣清單覆蓋的流。因此，Ci是OD流i在路由器級的路徑上穿過的不同路由器的覆蓋的百分?jǐn)?shù)dij的總和。∀i,Ci=Σj:Rj∈Pidij---(3-2)]]>因為覆蓋范圍的值代表的是數(shù)量的百分比，因此百分比有個自然地約束，∀i,Ci≤1---(3-3)]]>最后，因為dij是指OD流i在路由器j對應(yīng)的采集器上的覆蓋百分比，因此它受自然約束在[0，1]之間；然而，因為在式(3-3)的約束中將dij的上限約束納入，所以得到了變量dij左邊的約束，即∀i,j,dij≥0---(3-4)]]>假設(shè)α代表每條流被采集的最小百分?jǐn)?shù)，推出額外的約束表達(dá)∀i,Ci≥α---(3-5)]]>繼而在方程式(3-1)～(3-5)中獲得采樣清單范圍的最優(yōu)解。綜上所述，求解采樣清單范圍的優(yōu)化解d*采用約束方程為：maxtotgivenfrac(α)：MaximizeΣi(Pi×Ci),subjectto∀j,Σi:Rj∈Pi(dij×Pi)≤Rj∀i,Ci=Σj:Rj=Pidij∀i,∀j,dij≥0∀i,Ci≤1∀i,Ci≥α]]>下一步，需要將上述求出的最優(yōu)解映射到采樣清單中去，建立不同hash范圍的采樣清單，為每個路由器對應(yīng)的采集器明確其負(fù)責(zé)監(jiān)測的范圍。圖2是建立采樣清單的流程圖，即將最優(yōu)解決方案d*映射到采樣清單的過程；采樣清單明確了每一條OD流穿過的路由器上的唯一的、非重疊的Hash范圍。其方法如下：步驟S41：設(shè)立OD流的初始值i＝0，路由器的初始值j＝0，采樣清單范圍的上界初始值Range＝0；步驟S42：路由器分配的Hash范圍為HashRange(i，j)＝[Range，Range+d*]；步驟S43：將i依次迭代成i′，i′為0＜i′≤m中的OD流，將j依次迭代成j′，j′為0＜j′≤n的路由器，Range依次迭代為Range′，Range′＝Range+d*；步驟S44：路由器j的采樣清單Manifest(j)＝{＜i,HashRange(i，j)＞|d*ij＞0}。為了能夠接近實時地響應(yīng)全網(wǎng)絡(luò)變化，所以本發(fā)明的監(jiān)測方法的實施例要求計算最優(yōu)解并分發(fā)給路由器來實現(xiàn)全網(wǎng)流量監(jiān)測目標(biāo)最多的也必須在幾秒的時間內(nèi)。然而，事實上在大型的網(wǎng)絡(luò)中去實現(xiàn)上述的目標(biāo)需要幾百秒，使得這一步比較的耗時，為了減少計算的時間，本發(fā)明的監(jiān)測方法的實施例簡化為兩步優(yōu)化來實現(xiàn)：第一步是用二分查找的方式來決定α，這一步是通過不斷實驗找到合適的即maxtotgivenfrac(a)再來解決線性方程繼而決定α，這一步比先去解決約束方程再去求解α要快得多；第二步，將計算的α帶入到對應(yīng)的約束方程中對采樣清單的優(yōu)化解進(jìn)行求解。這種優(yōu)化求解方式在計算采樣策略時大大減少計算時間。二分查找：這個方法的主要思想是用二分方法找到線性方程式中用到的maxtotgivenfrac(α)的中的α的值。這個方法首先設(shè)置一個誤差參數(shù)ε，以保證返回得到的最小的α*，能夠使得α-α*≤ε。這個方法是持續(xù)追蹤最小的αlower＝a*。在每次迭代時，高低界限都會根據(jù)當(dāng)前α是否可行進(jìn)行更新，這時當(dāng)前的α?xí)桓聻?αlower+αupper)/2。這種查找是從α＝αupper開始的，然后當(dāng)αupper-αlower小于ε時，那么就會將α*的返回值設(shè)為αlower，這就為最后的截止點。通過上述步驟已經(jīng)求解出采樣清單及其范圍，那么上述步驟S4就需要將采樣清單分配給全網(wǎng)絡(luò)的各個路由器，然后由路由器及其采集器根據(jù)分配的采樣清單來監(jiān)測流。一旦一個路由器收到它的采樣清單，路由器對應(yīng)的采集器去執(zhí)行協(xié)作采樣的算法是很簡單的，如圖3是本實施例中路由器對應(yīng)的采集器監(jiān)測流的流程圖。下面將詳細(xì)的描述路由器根據(jù)其分配到的采樣清單進(jìn)行流監(jiān)測的方法。首先每個路由器在監(jiān)測分組時，必須識別OD流屬于哪個分組，因此必須首先對OD流進(jìn)行識別。以前的方法是通過源-目的IP和路徑信息來推斷給定分組的OD對。但是，這種方法使得以上信息由于前綴聚合的原因不可能直接從路徑表中辨識出內(nèi)部的路由器。但是當(dāng)一個流以數(shù)據(jù)包的方式進(jìn)入網(wǎng)絡(luò)時，入口的路由器能夠很好地去識別到合適的出口路由器，因此本發(fā)明的實施例中路由器及其采集器對流進(jìn)行分組監(jiān)測的方法為，所述全網(wǎng)絡(luò)入口的路由器將所述OD對標(biāo)識映射表中的OD編碼添加到通過該入口的路由器的數(shù)據(jù)包的包頭中，所述全網(wǎng)絡(luò)中的路由器將通過它的數(shù)據(jù)包導(dǎo)出給采集器，所述采集器識別數(shù)據(jù)包的包頭中的OD編碼，并根據(jù)所述的OD編碼在對應(yīng)的路由器負(fù)責(zé)的所述采樣清單中查找，如果該OD編碼不在所述采樣清單內(nèi)，則對該數(shù)據(jù)包不進(jìn)行處理；如果該OD編碼在所述采樣清單內(nèi)，先對該數(shù)據(jù)包進(jìn)行Hash值標(biāo)識，然后分下列情況處理：如果該數(shù)據(jù)包的Hash值標(biāo)識在所述采樣清單的監(jiān)測范圍內(nèi)，則在所述采集器維護(hù)的流表中查找數(shù)據(jù)包：如果該數(shù)據(jù)包在該流表內(nèi)，則在該流表內(nèi)更新該數(shù)據(jù)包的新條目；如果所述數(shù)據(jù)包不在該流表內(nèi)，則在該流表內(nèi)新建該數(shù)據(jù)包對應(yīng)的新條目；如果該數(shù)據(jù)包的Hash值標(biāo)識不在所述采樣清單的監(jiān)測范圍內(nèi)，則對該數(shù)據(jù)包不進(jìn)行處理。路由器對應(yīng)的采集器對其接收到的數(shù)據(jù)包進(jìn)行Hash值標(biāo)識，所述Hash值進(jìn)行標(biāo)識是由每個OD流的源IP、目的IP、源端口號、目的端口號和協(xié)議號的五元組信息經(jīng)過Hash函數(shù)處理得到的，這樣就避免的OD流的沖突并能夠使得路由器能夠快速識別OD信息，且能夠節(jié)省空間。這里的Hash函數(shù)是采用的能夠快速計算和存儲的移位異或運(yùn)算求得Hash值，并在映射表中對每一個不一樣的Hash值的OD對進(jìn)行初級編碼，用該編碼對OD流流量矩陣的流量數(shù)進(jìn)行輸入。該路由器對應(yīng)的采集器只選擇和記錄屬于它分配到的范圍內(nèi)的流，因為Hash范圍不可能重疊，所以穿過路由器的記錄的流的集合也不會重疊，從而確保了采集器記錄的流的不冗余性，因此首先解放了路由器對應(yīng)的采集器的約束壓力，同時簡化了處理所有采集器的總的流信息的處理過程，進(jìn)而使得監(jiān)測結(jié)果精準(zhǔn)度更高。每個路由器對應(yīng)的采集器的采樣過程的原理相同，在確定的監(jiān)測時間段內(nèi)，會形成一個新的流表，監(jiān)測時間結(jié)束后，由采集器將維護(hù)的新的流表中的流數(shù)據(jù)收集上報，形成監(jiān)測報告。接下來，對每個OD對多路徑的結(jié)合的監(jiān)測情況進(jìn)行優(yōu)化監(jiān)測。在給定的路徑和拓?fù)湫畔?，我們可以獲得每個OD對的多條路徑和計算出穿過多路徑的每一條流的數(shù)量。然后，我們把每個不同的路徑用不同的獨立的流量作為一種獨特的邏輯OD對。舉一個例子，假設(shè)ODi有兩條路徑和我們將和用流量值和作為獨立的OD對。在這個例子里，我們將約束式中對于采集器的資源約束Rj有Rj＝dij×Ti，如果Rj位于路徑和上時dij×Ti將轉(zhuǎn)化為本發(fā)明的監(jiān)測方法在路由器對應(yīng)的采集器約束建模、流量和路徑策略的結(jié)合和具體的目標(biāo)方面具有很大的靈活性，即使網(wǎng)絡(luò)中的路由器的不均勻性，路由器同樣容易獲得它所需要監(jiān)測的采樣清單。不僅是由于路由器軟件的不同版本和硬件可能造成負(fù)載能力的不同，并且操作者使用的方程式給網(wǎng)絡(luò)中不同類的路由器(例如，進(jìn)入、邊界、骨干)以特定的單獨的采樣策略，都有可能導(dǎo)致路由器的不均勻性。但是因為本發(fā)明的監(jiān)測方法先前沒有制定關(guān)于輸入OD流流量矩陣的要求(也就是說，內(nèi)部路徑和OD流量的要求)，因此它對于任意的路徑策略和OD流流量矩陣都具有普遍性。實施例二本實施例與實施例一的區(qū)別在于，上述的采樣清單還可以采用有向圖方法計算，求解OD流到路由器的邊E3，求解方法如下：已知將整個網(wǎng)絡(luò)轉(zhuǎn)化為有向圖G＜V，E＞，其中，V表示節(jié)點，E表示連接各節(jié)點的邊；V＝{source，sink}∪{ODi}1≤i≤m∪{Rj}1≤j≤n，其中，source表示源點，sink表示匯點；E＝E1∪E2∪E3，其中E1表示源點到OD流的邊，E2表示路由器到匯點的邊，E3表示OD流到路由器的邊；{E1={(source,ODi)}1≤i≤m,E2={(Rj,sink)}1≤j≤n,E3={(ODi,Rj)}i,j∈Pi};]]>設(shè)f(x，y)表示邊界處(x，y)∈E的流，1≤f≤m，求解采用的約束條件為：∀x,∀y,lower(x,y)≤f(x,y)≤upper(x,y);]]>upper(x,y)=Tfx=source,y=ODfRjx=jy=sink∞otherwise;]]>lower(x,y)=α×Tfx=source,y=ODf0otherwise;]]>∀x,(Σyf(x,y)-Σyf(y,x))=Fx=source-Fx=sink0otherwise;]]>其中，Tf代表OD流f的數(shù)量，Rj代表路由器j對應(yīng)的采集器的資源約束，upper(x，y)代表OD流f在G中的上界，lower(x，y)代表OD流f在G中下界，F(xiàn)為OD流f在全網(wǎng)絡(luò)中可以通過的最大流量。這種向量圖求解采樣清單的方法能夠大大的減少計算的時間，因此能夠很快的將采樣清單分發(fā)給路由器，這樣能夠?qū)崟r地響應(yīng)網(wǎng)絡(luò)變化，監(jiān)測數(shù)據(jù)精準(zhǔn)度更高，監(jiān)測數(shù)據(jù)準(zhǔn)確。本發(fā)明提供的全網(wǎng)絡(luò)監(jiān)測方法能夠覆蓋到全網(wǎng)絡(luò)的流，問題描述成以最小的采樣率實現(xiàn)最大流覆蓋，對全網(wǎng)絡(luò)的流進(jìn)行監(jiān)測，本發(fā)明的監(jiān)測方法在監(jiān)測的過程中依賴協(xié)作來完成全網(wǎng)絡(luò)的監(jiān)測，即給路由器分配一個不同監(jiān)測范圍的采樣清單，每個路由器及其采集器根據(jù)分配的采樣清單進(jìn)行監(jiān)測，監(jiān)測范圍能夠覆蓋到全網(wǎng)絡(luò)，并且有效的避免了重復(fù)流的上報，減少了冗余，增加了監(jiān)測的細(xì)粒度，并且并不需要路由器之間明確的通信，使監(jiān)測過程簡單精確，并且本發(fā)明的監(jiān)測方法，利用了各路由器對應(yīng)的采集器的資源約束來計算采樣清單，因此本發(fā)明的監(jiān)測方法同樣適用于不同類的路由器，本發(fā)明的監(jiān)測方法具有覆蓋到全網(wǎng)絡(luò)、監(jiān)測并處理效率高、監(jiān)測的精準(zhǔn)度高、具有普遍的適用性等優(yōu)點。以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)變換，或直接或間接運(yùn)用在其他相關(guān)的
技術(shù)領(lǐng)域：
，均包括在本發(fā)明的專利保護(hù)范圍內(nèi)。當(dāng)前第1頁1 2 3