專利名稱：高速業(yè)務量測量和分析方法及協(xié)議的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及通信網(wǎng)絡，尤其涉及數(shù)據(jù)分組通信網(wǎng)絡的測量和分析。
背景技術(shù)：
近年來，整個社會都看到了高速數(shù)據(jù)網(wǎng)絡的增長以及支持這些網(wǎng)絡的協(xié)議/服務組的快速擴充。網(wǎng)絡監(jiān)控和業(yè)務量測量技術(shù)的發(fā)展迄今為止還未能趕上這些網(wǎng)絡的運行速度及其大規(guī)模的部署。因為這些不足，網(wǎng)絡運營者正在日益失去對網(wǎng)絡中出現(xiàn)的問題的控制。反過來，這已經(jīng)危及到正確和有效地操作和管理網(wǎng)絡的能力。對于大規(guī)模的高速網(wǎng)絡來說，迫切需要一種全面的又是可部署的網(wǎng)絡監(jiān)控和端到端業(yè)務量分析基礎(chǔ)結(jié)構(gòu)。這種基礎(chǔ)結(jié)構(gòu)對于諸如因特網(wǎng)這樣的無連接的數(shù)據(jù)網(wǎng)絡來說尤其重要，在因特網(wǎng)中，由于預期或者意外事件的不同類型，所以業(yè)務量流的路由可能在會話過程中動態(tài)地不可預見地改變。所述事件包括網(wǎng)絡組件故障，非確定性的負載均衡策略(例如，等成本多路徑(Equal Cost Multiple PathECMP))，軟件/硬件故障和協(xié)議誤配置。目前，大多數(shù)網(wǎng)絡運營者僅能夠依靠諸如“跟蹤路由(Traceroute)”這樣的基本診斷工具，來獲得網(wǎng)絡中各業(yè)務量流端到端路由的少得可憐的采樣。
對一些關(guān)鍵性實際應用(如，對大規(guī)模ISP的源到目的地(O-D對)業(yè)務量矩陣估計，以及在基于IP的網(wǎng)絡中對反跟蹤服務的支持以處理欺騙DDoS攻擊)的需求強有力地推動了在業(yè)務量測量/分析方法和基礎(chǔ)結(jié)構(gòu)方面的最新研究。如以下文章中所討論的業(yè)務量矩陣估計問題A.Medina，N.Traft，K.Salamatian，S.Bhattacharyya和C.Diot，“Traffic Matrix estimationExisting Techniques and new direction”，Procs.of ACM Sigcomm，2002年8月[MEDi2]；在ACM SigmetricsProcs.中的Y.Zhang，M.Roughan，N，Duffield，A.Greenberg的“FastAccurate Computation of Large-Scale IP Traffic Matrices FromLink Loads”，2003年6月[Zhang03a]；以及在ACM Sigcomm Procs.中的Y.Zhang，M.Roug C.Lund和D.Donoho的“AnInformation-Theoretic Approach In Traffic Matrix Estimation”，2003年8月[Zhang03b]，其目的是在僅使用鏈路負載測量在大規(guī)模IP網(wǎng)絡中估計多個O-D節(jié)點對之間的業(yè)務量需求。這個問題源于市場上的廉價且可縮放的流計數(shù)器缺少最商用的吉比特路由器的支持。例如，盡管Cisco Netflow技術(shù)(Cisco，IOS NetflowHttp//www.cisco.com/warp/public/732/Tech/nmp/netflow/index.shtml)可以用于收集精細的每個流業(yè)務量的統(tǒng)計，但是其巨大的存儲器和帶寬要求使得它不適合10Gbps網(wǎng)絡。為了解決測量基礎(chǔ)結(jié)構(gòu)中的這種不充分/不足，研究人員采取將鏈路負載測量和對O-D對業(yè)務量分布的附加假設合并起來，以便估計所要求的O-D對業(yè)務量矩陣。例如，在[Medi02，Zhan03a，Zhan03b]中，從傳輸領(lǐng)域(field)改寫重力模型的不同變量，以構(gòu)造所有O-D對之間的網(wǎng)絡業(yè)務量分布的模型；在[Vard96]Y.Vardi的“Network Tomagraphyestimatingsource-destination traffic Intensities from link data)”(Journal ofAmerican Statistics Association，91，pp.365-377，1996[Vard95])中，泊松假設被用于使二階鏈路負載統(tǒng)計和O-D對業(yè)務量分布聯(lián)系起來。由J.Cao，D.Davis，S.V.Wiel和B.Yu在Journal of AmericanStatistics Association，95，pp.1063-1075，2000[Cao00]，“Time-varying network tomography”中做出了相似的高斯假設。事實上，僅在鏈路負載測量的情況下估計O-D業(yè)務量矩陣的問題已經(jīng)導致了被稱為“網(wǎng)絡X線體層照相術(shù)(Network Tomography)”的新領(lǐng)域研究的形成。不幸的是，相對于其業(yè)務量分布假設的有效性而言，至今所建議的大部分基于網(wǎng)絡X線體層照相術(shù)的解決方案是非常敏感的，即不健壯?；赬線體層照相術(shù)的方法還嚴重依賴于必須從中提取和整理測量/配置信息的多個操作性數(shù)據(jù)庫間的正確性、同步以及一致性。(這些數(shù)據(jù)庫中包括路由器中的轉(zhuǎn)發(fā)表，路由器配置文件，還有用于鏈路負載的SNMP MIB。)前面提到的建模和操作性假設還使基于X線體層照相術(shù)的業(yè)務量測量/估計方案對網(wǎng)絡故障檢測/診斷(其中既不可以對網(wǎng)絡元件/數(shù)據(jù)庫的正確功能進行假設，也不可以對業(yè)務量分布的常態(tài)進行假設)沒有用處。
近來，可選擇的基于分組軌跡的業(yè)務量監(jiān)視/分析方法由以下文章提出N.G.Duffield，M.Grassglauser，“Trajectory Sampling forDirect Traffic Observation”Procs.of ACM Sigcomm，2000年8月，pg.271-282[Duff00]和A.C.Snoeren，C.Partridge，L.A.Sanchez，C.E.jones，F(xiàn).Tchakountio，S.T.Kent和W.T.strayer，“Hash-Based IPTraceback”Procs.of ACM Sigcomm，2001年8月，pg.3-14[Snoe01]，其中每個節(jié)點(路由器)保持它近期處理的所有分組的被壓縮的概要或者摘要。在[Duff00]和[Snoe01]中，該摘要采取Bloom濾波器的形式，例如，參見以下文章B.Bloom，“Space/Time trade-offs in hashcoding with allowable errors，”communications of the ACM13，1970年7月，pp.422-426，[]Bloo70]和A.Broder，M.Mitzenmacher，“NerworkApplications of Bloom Filtersa Survey，”Allerton Conference，2002，也可在http//www.eecs.harvard，edu/～michaelm，[brod02]得到，該摘要對每個到達該節(jié)點的分組都進行更新，并且定期將該摘要上載到中央服務器，以支持將來的離線業(yè)務量分析以及歸檔目的。由于被提供有這些提供信息的節(jié)點的業(yè)務量摘要，所以中央服務器不僅可以構(gòu)建整個網(wǎng)絡的業(yè)務量流模式和按流/物品(commodity)的測量，而且還對關(guān)于(不久的)過去遍歷網(wǎng)絡的任何給定分組的端到端路徑，或所謂的軌跡的查詢進行答復。能夠?qū)θ我饨o定的單個分組的軌跡查詢進行答復伴隨著高額費用Bloom濾波器必須足夠大以存儲關(guān)于每一個輸入分組的足夠信息。即使是Bloom濾波器的有效存儲器與假肯定之間的平衡，也要求O(N)比特的存儲器來捕獲并以高概率正確區(qū)分N個不同分組的簽名。在[Snoe01]中，估計這種系統(tǒng)在存儲器中每單位時間大約需要節(jié)點的鏈路容量的0.5％。對于10Gbps鏈路，這意味著每一秒監(jiān)視時間50Mbit存儲空間。這種重量級的業(yè)務量摘要方法不僅增加了存儲器和系統(tǒng)通信要求的壓力，而且隨著鏈路速度和/或監(jiān)視時長的增加難以進行縮放。
發(fā)明內(nèi)容
通過一種稱之為經(jīng)由輕量級業(yè)務量摘要進行業(yè)務量分析的分布式結(jié)構(gòu)(DistributedArchitecture forTrafficAnalysis viaLIght-weightTraffic digEstDATALITE)的有效網(wǎng)絡業(yè)務量分析方法實現(xiàn)了對現(xiàn)有技術(shù)的改進。該方法引入一組新的分布式算法和協(xié)議，以支持用于大規(guī)模、10Gbps+的分組交換網(wǎng)絡的一般業(yè)務量測量和分析(TMA)函數(shù)。這些函數(shù)包括，但不被局限于-業(yè)務量流模式/路由監(jiān)視，診斷和網(wǎng)絡論壇(forensic)；-為了容量規(guī)劃和業(yè)務量工程目的，對源到目的地(O-D)業(yè)務量負載矩陣的估計；-用于端用戶計費/計帳以及ISP(AS)之間費用結(jié)算目的的業(yè)務量測量；-在分布式服務拒絕(DDoS)攻擊中，在攻擊分組的發(fā)端上的跟蹤。
我們將網(wǎng)絡范圍的業(yè)務量測量/分析問題描述為一系列的集合基數(shù)確定(set-cardinality-determinationSCD)問題。通過利用近來在概率獨特采樣計數(shù)技術(shù)中的一些進展，可以以分布式的方式、經(jīng)由在網(wǎng)絡節(jié)點(即路由器)中交換極輕量級的業(yè)務量摘要(TD)來計算集合基數(shù)，因計算網(wǎng)絡范圍內(nèi)感興趣的業(yè)務量測量。N個分組的一個TD僅需要O(loglogN)比特的存儲器。并且對這種O(loglogN)比特尺寸的TD的計算也遵從以線速度為10Gbps或者更大的線速度來執(zhí)行的有效硬件實施。
對于小尺寸的TD，則可以通過攜帶它們作為在現(xiàn)有控制消息(諸如OSPF鏈路狀態(tài)分組(LSP)或I-BGP控制消息)中的不透明消息對象，從而將節(jié)點的TD分布給域內(nèi)所有的路由器。一旦接收到所需的TD，路由器就可以通過解決一系列的集合基數(shù)確定問題，來為它的每條本地鏈路估計感興趣的業(yè)務量測量。如我們在后面部分將要討論的，感興趣的業(yè)務量測量一般是采取每條鏈路，每個業(yè)務量聚集(aggregate)分組計數(shù)(或流計數(shù))的形式，其中聚集是由共享相同的源和/或目的地節(jié)點(或鏈路)和/或一些中間節(jié)點(或鏈路)的分組的組來定義的。然后將本地測量結(jié)果在域內(nèi)分布出去，使得每個路由器可以構(gòu)建不同業(yè)務量物品的路由/流模式的網(wǎng)絡范圍視圖，其中物品被定義為共享相同的源和/或目的地節(jié)點或鏈路的一組分組。在接收到最初的網(wǎng)絡范圍的業(yè)務量測量之后，每個路由器基于網(wǎng)絡范圍的物品流保存約束條件，通過本地構(gòu)建最小均方誤差(MSN)優(yōu)化，來進一步減少相關(guān)的測量/估計誤差。
除支持“廣播”模式(其中網(wǎng)絡定期地充斥著輕量級TD和產(chǎn)生的本地業(yè)務量估計)之外，DATALITE還支持經(jīng)由“查詢和答復”模式的業(yè)務量測量/分析，在“查詢和答復”模式中，TD的分布和本地業(yè)務量估計是通過網(wǎng)絡中的相關(guān)節(jié)點子集在基于需求、需要知道的基礎(chǔ)上執(zhí)行的。查詢和答復模式在支持需要額外細致、高度精確的業(yè)務量測量/分析的偶然特殊業(yè)務量研究時尤其有用。
總之，通過采用直接測量方法，DATALITE避免了由于破壞網(wǎng)絡的X線體層照相術(shù)方法的非法業(yè)務量建立或操作性假設引起的問題。盡管在DATALITE方案和現(xiàn)有的基于軌跡的方案之間有一些高級別共性，但它們之間的關(guān)鍵區(qū)別是第一，通過將業(yè)務量測量問題表示為一系列的集合基數(shù)確定問題，我們可以利用在獨特采樣計數(shù)(distinct sample counting)技術(shù)中的最新進展，用最小的通信開銷以分布式方式來執(zhí)行業(yè)務量分析。第二，通過集中于對業(yè)務量聚集行為而不是單個分組行為的測量和分析，可以大大減少DATALITE的系統(tǒng)存儲器和通信帶寬需求。因此，對于DATALITE，可以采用與由現(xiàn)有的基于軌跡的系統(tǒng)采用的重量級、集中式方法不同的分布式計算模型。
對于本發(fā)明更完整的理解將從下面結(jié)合附圖的詳細說明中獲得，相似的元件采用相似的標記，其中，圖1例示了根據(jù)本發(fā)明從分組集合中提取業(yè)務量摘要的示范性方法；圖2是利用本發(fā)明的業(yè)務量測量和分析技術(shù)通過網(wǎng)絡節(jié)點執(zhí)行的步驟的示范性實施例。
具體實施例方式
本發(fā)明是用于改進數(shù)據(jù)分組網(wǎng)絡中的網(wǎng)絡測量和分析的效率的方法。盡管本發(fā)明的示范性實施例是結(jié)合傳統(tǒng)的高速網(wǎng)絡來描述的，但是對于本領(lǐng)域的技術(shù)人員可以顯而易見地將其應用到其它網(wǎng)絡，諸如無線網(wǎng)絡或傳輸網(wǎng)絡。
盡管對于在[Snoe01]中的設計者，其認為對任意給定的單個分組的軌跡查詢進行答復這種能力對支持IP反跟蹤(traceback)是必要的，但是本發(fā)明人主張這對大多數(shù)業(yè)務量測量/分析應用(包括IP反跟蹤)是矯枉過正的。這種主張基于如下觀察，即在大多數(shù)這些應用中，知道一組給定的分組或所謂的業(yè)務量聚集(而不是一系列單個孤立的分組)的軌跡和/或業(yè)務量就足夠了。盡管可能有人主張[Snoe01]中的系統(tǒng)可以支持諸如跟蹤單個特殊分組之類的更強大的網(wǎng)絡論壇(forensic)應用，但是我們認為網(wǎng)絡級的業(yè)務量分析/監(jiān)視可能不是提供這種功能的最好方法。而是認為，特定的應用級論壇功能可以在端系統(tǒng)附近的應用級上得到更好的支持。我們的觀點是網(wǎng)絡業(yè)務量監(jiān)視/分析基礎(chǔ)結(jié)構(gòu)應該致力于支持網(wǎng)絡/傳輸層來實現(xiàn)諸如路由選擇診斷、業(yè)務量工程和流模式分析之類的功能。
在多數(shù)情況中，感興趣的業(yè)務量聚集的定義被清楚地定義在應用的上下文中。在本發(fā)明中，經(jīng)由輕量級業(yè)務量摘要進行業(yè)務量分析的分布式結(jié)構(gòu)(DATALITE)，我們主要集中于根據(jù)以下定義的業(yè)務量聚集(1)它們的發(fā)起和/或終止節(jié)點(或鏈路)或者(2)由那組業(yè)務量遍歷的特定鏈路或節(jié)點集合。
我們決定把焦點放在聚集的這種定義，因為，如下面將示出的，這種業(yè)務量聚集對于大范圍的實際業(yè)務量測量/分析(TMA)應用(包括業(yè)務量矩陣估計，路由檢查，以及網(wǎng)絡故障診斷)是重要的。除這些主要類型的業(yè)務量聚集之外，所建議的DATALITE基礎(chǔ)結(jié)構(gòu)也支持作為主業(yè)務量聚集的子集的更精細的業(yè)務量聚集，例如是給定協(xié)議類型和/或端口數(shù)量的分組的組。
作為交集集合基數(shù)確定問題的業(yè)務量測量/分析在這部分，我們將業(yè)務量測量/分析(TMA)描述為一系列交集集合基數(shù)確定(ISCD)(intersection-set-cardinality-determination)問題。考慮網(wǎng)絡的有向圖表示法G＝(V，E)，其中V是節(jié)點的集合，E是定向鏈路的集合。讓(i，j)∈E表示從節(jié)點i到節(jié)點j的定向鏈路。Li，j表示在長度T秒的給定測量時段期間遍歷鏈路(i，j)的分組的集合。現(xiàn)在，假設該測量時段比網(wǎng)絡中的最大端到端延遲時間長很多，使得可以忽略由途中(in-flight)的分組引起的邊緣效應?？梢酝ㄟ^保持多個時間索引(time-indexed)的節(jié)點業(yè)務量摘要來解釋路徑延遲效應。事實上，時間索引的業(yè)務量摘要可用于支持網(wǎng)絡路徑延遲時間測量。讓Oi(或Di)表示在相同的測量時段期間在節(jié)點i上發(fā)起(或終止)的分組的集合。所謂“發(fā)起”(或“終止”)是指這些分組實際是從節(jié)點產(chǎn)生的(或從那里退出網(wǎng)絡)。我們避免使用字“源(source)”或“目的地(desitination)”，因為，由于可能的源地址欺騙，分組可能實際上不是在它聲稱的源節(jié)點上產(chǎn)生的。同樣，例如由于路由問題或丟失的原因，分組可能實際上不到達它所要到達的目的地節(jié)點。
在給定的測量時段期間，我們感興趣的業(yè)務量聚集可以被容易地表示為上面所定義的分組集合的交集。為了說明我們的方法，讓我們考慮以下兩種常見的(并且是基本的)TMA任務采樣TMA任務#1該任務的目的是確定網(wǎng)絡中所有O-D節(jié)點對之間的路由模式和業(yè)務量。為了這個目的，考慮分組的集合Fi，jk，其通過鏈路(i，j)∈E，其中k＝(s，d)∈V×V作為它們的O-D節(jié)點對。注意到Fi，jk可以被表示為上面所定義的其它分組集合的交集，即Fi,jk=Os∩Li,j∩Dd.]]>應注意到，對于該任務(以及諸如業(yè)務量矩陣估計、流模式分析、業(yè)務量反跟蹤、路由/網(wǎng)絡故障/檢測及業(yè)務量工程之類的大范圍其它TMA應用)，知道Fi，jk的基數(shù)，即|Fi，jk|就足夠了，而不是Fi，jk的全部細節(jié)。例如，通過僅知道每條鏈路(i，j)∈E和所有O-D節(jié)點對k＝(s，d)∈V×V的|Fi，jk|就可以達到采樣TMA任務#1的目的。
采樣TMA任務#2在該任務中，我們考慮反跟蹤應用，在其中我們想確定發(fā)起節(jié)點、這些節(jié)點提供的業(yè)務量以及到達給定的下游節(jié)點d并終止的分組組(它們可能是一些DDoS犧牲品)的上游流模式。為了完成這個任務，我們僅需要為每條鏈路(i，j)∈E確定|Fi，jk|，其中Fi,jk=Li,j∩Dd,]]>k＝(*，d)(其中*是通配符)。同樣，通過為每條鏈路(i，j)∈E確定|Fi，jk|，其中Fi,jk=Os∩Li,j,]]>k＝(s，*)，可以跟蹤從給定節(jié)點發(fā)起的分組的目的地、下游路由模式以及流量。
根據(jù)上面的觀察，DATALITE的基本思想是提供一種基礎(chǔ)結(jié)構(gòu)來支持以網(wǎng)絡范圍形式的|Fi，jk|的分布式計算/估計，其中Fi，jk被表示為諸如上面提到的Oi，Dd和Li，j之類的某些分組集合的交集的形式。如在此將要描述的，通過集中于|Fi，jk|而不是Fi，jk的全部細節(jié)(如[Duff00，Snoe01]的情況中)，DATALITE的系統(tǒng)存儲器和通信帶寬要求可＝被大大降低，這使得DATALITE在10Gbps+網(wǎng)絡中支持TMA。
通過將Fi，jk表示為一些特定分組集合的交集，我們的描述將TMA問題有效地轉(zhuǎn)換為一系列的所謂交集集合基數(shù)確定(ISCD)問題。對分布在不同位置上的多個集合的交集的基數(shù)進行確定的問題已經(jīng)在下面的語境中做了研究(1)幫助搜索引擎在WWW上識別相似的網(wǎng)頁，A.Broder，“On the resemblance and containment ofdocuments，”Compression and Complexity ofSequences(SEQUENCES)，意大利positano，97年6月，[Brod97]和(2)設計支持對等網(wǎng)絡上的有效的文件搜索/交換的協(xié)議，J.Byers，J.Considine，M.Mitzenmacher和S.Rost，“Informed Content DeliveryAcross Adaptive Overlay Networks”，Procs.of ACM Sigcomm，2002年8月，[Byer02]。[Brod97]和[Byer02]都應用A.Broder，M.Charikar，A.M.Frieze 和 M.Mitzenmacher的“Min-wiseindependent permutation”Journal of Computer and System Sciences，60(3)，2000，pp.630-659中提到的“Min-wise independent permutation”技術(shù)。[Brod00]是為每對集合A和B估計|A∩B|/|A∪B|的相似比(resemblance ratio)。然而，通過這種技術(shù)所要求的信息交換量與所感興趣的集合的尺寸成正比，即O(|A|)或O(|B|)。這對我們的高速TMA應用是不可行的，在高速TMA應用中，|A|或|B|對應于在測量時段期間遍歷給定鏈路的分組的數(shù)量對于具有40個字節(jié)分組的40Gbps鏈路，測量時段為10秒，|A|可以很容易地在數(shù)十億范圍內(nèi)?；诠?jié)點Bloom濾波器交換的替代方法(在[Duff00，Snoe01]中間接提到)也是由于對應于Bloom濾波器的類似O(|A|)存儲器要求，而陷入過大的存儲/通信帶寬問題。
經(jīng)由獨特采樣計數(shù)的分布式交集集合基數(shù)確定本發(fā)明，DATALITE，采用一種新的方法來解決分布式ISCD問題我們首先將ISCD問題轉(zhuǎn)換為一個或多個并集集合(union-set)基數(shù)確定(USCD)問題。然后我們將應用近來的O(loglog|A|)獨特采樣計數(shù)，以分布式的方式解決USCD問題。事實上，我們的方法可以用于前面提到的[Brod97]和[Byer02]中的應用來顯著改進它們的性能和可縮放性。
如所說明的，再次調(diào)用采樣TMA任務#2，其中Fi,jk=Os∩Li,j.]]>根據(jù)元素集合理論，|Fi，jk|可以被表示為形式|Fi,jk|=|Os∩Li,j|=|Os|+|Li,j|-|Os∪Li,j|]]>等式(1)其中，|Os|是在測量時段期間在節(jié)點s上發(fā)起的獨特分組的數(shù)量。顧名思義，生成的每個分組都是獨特的，因此|Os|可以被保持為每一個發(fā)起網(wǎng)絡節(jié)點的單獨的分組計數(shù)器。|Li，j|是遍歷鏈路(i，j)的獨特分組的數(shù)量。我們將應用概率獨特采樣計數(shù)技術(shù)來記錄每條鏈路(i，j)∈E的|Li，j|，該概率獨特采樣計數(shù)技術(shù)是在下面的文章中最先提出的Flajolet，Martin和Durand，P.Flajolet，G.N.Martin，“Probabilisticcounting algorithms for database applications，”Journal of Computerand System Sciences，31(2)，1985，pp.182-209[Flaj85]和M.Durand，P.Flajolet，Loglog Counting of Large Cardinalities，EuropeanSymposium on Algorithms，ESA’2003，2003年4月[Dura03]。這種技術(shù)的關(guān)鍵的優(yōu)點是僅需要一個來保持O(loglogNmax)比特的摘要以概括出分組集合Li，j中的必要信息，其中Nmax是Li，j中獨特采樣的最大數(shù)量。在本發(fā)明的上下文中，我們將這個摘要稱為Li，j的業(yè)務量摘要(TD)，將其標記為TDLi，j。除了保持TDLi，j之外，我們還為每條鏈路(i，j)∈E引入簡單的分組計數(shù)器Ci，j，以跟蹤在相同測量時段期間通過鏈路的分組(包括復制)的簡單計數(shù)。Ci，j和|Li，j|的值之間大的差異說明潛在的路由選擇問題，如鏈路(i，j)可能成為路由環(huán)路的一部分。因此，在|Fi，jk|的估計中剩余的挑戰(zhàn)是計算|Os∪Li，j|。順便提及，用于估計|Li，j|的概率獨特采樣計數(shù)技術(shù)還可以延伸到以分布式方式來計算|Os∪Li，j|。這基于用于分組集合Os和Li，j的O(loglogNmax)尺寸的TD的交換，被標記為TDOs和TDLi，j，并分別由節(jié)點s和節(jié)點i本地保持。類似地，采樣TMA任務#1的|Fi，jk|可以表示為
|Fi,jk|=|Os∩Li,j∩Dd|]]>=|Os|+|Li,j|+|Dd|-|Os∪Li,j|-|Li,j∪Dd|-|Dd∪Os|+|Os∪Li,j∪Dd|]]>等式(2)此外，前面提到的O(loglogNmax)獨特采樣計數(shù)技術(shù)可以用來確定等式(2)的R.H.S.中的并集集合的基數(shù)?？傊?，TMA問題可以轉(zhuǎn)換為確定一些特定分組集合的并集的基數(shù)。更重要地是，這種方法的每條鏈路僅需要單個輕量級TD，(加上每條鏈路一個簡單分組計數(shù)器)以根據(jù)O-D節(jié)點對的分類，確定|V|2類型的分組的網(wǎng)絡范圍路由模式和每條鏈路的業(yè)務量。借助識別分組實際上通過其進入(離開)網(wǎng)絡的路由器i的鏈路，可以根據(jù)那些鏈路的TD，推斷出路由器i發(fā)起(終止)分組集合的TD。因此，不需要明確維護TOi和TDi。
通常，可以根據(jù)一系列并集集合的基數(shù)來表示多個集合的交集的基數(shù)。具體地，對于集合列表S1，S2，……Sn，|∩i=1nSi|=Σi=1n|Si|-Σi≠j|Si∪Sj|+Σi≠j≠k|Si∪Sj∪Sk|...+(-1)n-1|∪i=1nSi|]]>等式(3)當應用附加的交集集合來細化感興趣的業(yè)務量聚集的定義時，等式(3)將變得有用，例如具有遍歷鏈路li，j的O-D對(s，d)的所有40字節(jié)TCP分組。根據(jù)等式(3)，ISCD問題總是可以轉(zhuǎn)換為計算等式(3)的R.H.S.中的并集的基數(shù)。這又可以通過使用獨特采樣計數(shù)技術(shù)，以分布式方式來完成?？傊景l(fā)明的解決方法由以下步驟組成1.將感興趣的TMA問題轉(zhuǎn)換為對一些感興趣的交集集合的基數(shù)進行確定的問題，或者是所謂的交集集合基數(shù)確定(ISCD)問題。
2.使用等式(3)，將ISCD問題轉(zhuǎn)換為對一些感興趣的并集集合的基數(shù)進行確定的問題，或者是所謂的并集集合基數(shù)確定(USCD)問題。
3.通過使用由Flajolet，Martin和Duran[Dura03]最先提出的獨特分組計數(shù)技術(shù)，以分布式方式解決USCD問題。
在以下部分中，我們將回顧由Flajolet，Martin和Duran提出的“Loglog獨特采樣計數(shù)”技術(shù)，并且解釋它們?nèi)绾伪粦玫紻ATALITE發(fā)明的上下文中。與此相關(guān)的，C.Estan，G.Varghese和M.Fisk的文章“Counting the number of active flows on a high speedlink，”ACM Computer Communication Review，vol.32，no.3，2002年7月[Esta02]中設計了[Flaj85]中的獨特采樣計數(shù)算法的變量，以估計高速鏈路上的本地網(wǎng)絡流的計數(shù)。在DATALITE中，我們應用[Dura03]中的技術(shù)來估計在地理上分布的位置觀察的分組的某個并集集合中的獨特分組的數(shù)量。用于分布式并集集合的備選獨特分組計數(shù)技術(shù)還在下面文章中提出P.B.Gibbons，S.Tirthapura，“EstimatingSimple Functions on the Union of Data Stresms”，Procs.of ACMSPAA，Crete Island，Greece，2001[Gibb01]。然而，在[Gibb01]中提出的方案的存儲器要求不如[Dura03]中提出的引人注目。
回顧Loglog獨特采樣計數(shù)技術(shù)考慮采樣集合S，其中每個分組s具有標識符ids。攜帶該相同標識符的采樣被認為是復制品。[Dura03]利用O(loglogmax)比特的存儲器解決了對S中的獨特采樣的數(shù)量進行計數(shù)的問題，即|S|，其中Nmax是S中獨特采樣的最大數(shù)量。
他們的方案按如下工作首先，每個采樣的標識符被用作散列函數(shù)h(·)的輸入，散列函數(shù)h(·)輸出均勻分布在
范圍上的隨機非負整數(shù)，其中2Rmax應當大于Nmax。將散列輸出的二進制表示考慮為Rmax比特長度的隨機二進制串。直觀地，因為h(·)的輸出是均勻分布的，所以如果S中有n個獨特采樣，則按平均，其中n/2k個采樣將具有來自h(·)的帶有(k-1)個連續(xù)前導零和隨后的1比特“1”的輸出。(因為復制的采樣在h(·)中具有相同的輸出，他們共同僅導致一個隨機實驗。)將r(x)定義為一個函數(shù)，該函數(shù)采用二進制串x作為輸入，輸出的值為(1+在x中連續(xù)前導零的最大數(shù)量)。例如，對于x＝00001XXX...，r(x)＝5；對于x＝1XXX...，r(x)＝1，其中X表示“不關(guān)心”。當將S中的所有采樣標識符都看作是輸入時，令R(S)=maxs∈S{r(h(ids))}]]>是所獲得的r((h(.))的最大值。因此，R(S)應該對log2n的值給出粗略的指示。事實上，R以與1加參數(shù)1/2的n個獨立幾何變量的最大值相同的方式精確分布?？梢钥闯鯮以1.33的附加偏置和1.87的標準偏差對log2n進行估計。事實上，為了減少估計誤差，可以使用不同散列函數(shù)來獲得多個R的值，并使用平均值來估計log2n?？蛇x地，可以使用所謂的“隨機平均算法(SAA)”，利用以下步驟來估計n(或等價為|S|)1.根據(jù)一個采樣的散列輸出的最后k比特，將集合S的采樣分成m＝2k個存儲段(bucket)。
2.對于第j個存儲段，令Rj為R的值。通過將每個采樣的散列輸出的(Rmax-k)個前導比特輸入到r(·)來計算Rj(1≤j≤m)。
3.計算 ，即|S|的估計，要使用下面的公式，即n^=αmm21mΣj=1mRj]]>等式(4)其中αm是修正因子，是m的函數(shù)。
如[Dura03]中所說明的， 的標準誤差σ由下式給出σ=1.05/m]]>等式(5)例如，通過設置m＝2048，可以得到2％的標準誤差。
回顧Nmax是S中的獨特采樣的最大數(shù)量，因為在每個存儲段中的獨特采樣的平均數(shù)量大約是Nmax/m，因此，我們應該規(guī)定Rj的最大值，標記為Rmax，使得2Rmax>Nmax/m.]]>在[Dura03]中已經(jīng)說明，對于m個Rj的每一個的二進制表示法所需的比特數(shù)等于 等式(6)因此，對該概率獨特采樣計數(shù)方案，工作存儲器要求M由下式給定M＝mlog2Rmaxbits 等式(7)應當注意上述的獨特采樣計數(shù)方案可容易地適用于如下分布式實施，即在所述分布式實施中，集合S的采樣在分散的位置上被觀察(或存儲)令S=∪p=1pSp,]]>其中集合Sp被保持在P個分散的位置中。我們可以根據(jù)分布式最大合并算法(Distributed Max-merge AlgorithmDMA)，以分布式方式估計S中的獨特采樣的數(shù)量，將其標記為|S|(或者 )，利用以下步驟1.在每個位置p上，根據(jù)Sp中的采樣，更新m個存儲段中的每一個的R值。令Rjp為位置p中第j個存儲段的R的值，其中1≤j≤m并且1≤p≤P，我們將Rjp的m個值的集合(collection)作為Sp的輕量級摘要。
2.在測量時段結(jié)束時，在所有的P個位置之間交換Rjp的集合(collection)，其中1≤j≤m并且1≤p≤P。
3.在每個位置上，通過設定Rj=max1≤p≤PRjp]]>來執(zhí)行Rjp的最大合并，其中1≤j≤m。
4.在P個位置的任意一個上，通過將從步驟3得出的最大合并Rj代入上面討論的SAA的等式(4)中，可以獲得|S|(或者 )的估計。
參照圖1，將描述上面的獨特采樣計數(shù)方案，即SAA和DMA是如何應用在本發(fā)明的上下文中的。在這種情況中，網(wǎng)絡中感興趣的各分組集合變成采樣集合10。這些分組成為將被檢查的采樣，并且根據(jù)分組頭中的一連串所選字段、可能還有如步驟20所示的有效負荷的某些特定部分，來構(gòu)建該采樣(即分組)標識符。分組標識符的關(guān)鍵要求是在分組遍歷網(wǎng)絡時，該標識符要保持不變。因此，諸如IP分組頭中的TTL字段這樣的字段最好不應該被包括為分組標識符的一部分。我們很清楚可能在分組遍歷網(wǎng)絡時不經(jīng)意地修改分組標識符的實際問題，例如沿著分組路徑的IP分段，或網(wǎng)絡中額外的封裝/隧道效應的使用。我們解決這些問題是通過將普遍影響作為特殊情況來處理分組，并且將剩余部分當作額外的業(yè)務量測量誤差。
對于感興趣的給定分組集合，m個Rj的集合(collection)(定義為SAA)成為該分組集合的業(yè)務量摘要(TD)。圖1概括了分組集合的TD是如何從它的分組中被提取出來的。例如，在步驟30，每個分組的分組標識符(PID)被輸入到散列函數(shù)以獲得Rmax比特的散列輸出h(PID)。步驟30的輸出在步驟40被輸入到m路分離器。在此，根據(jù)h(PID)的最后log2m比特發(fā)生m路分離。在步驟50，對于從1到m個存儲段中的每一個，跟蹤Ri，其中通過使用函數(shù)r()，將所有散列輸出h(PID)中前(Rmax-log2m)個比特中的連續(xù)前導零的最大數(shù)量分配到第i個存儲段。在測量時段結(jié)束時，R1到Rm的集合成為感興趣的分組集合Sp的輕量級TD，其中TD的尺寸是mlog2Rmax比特。
DATALITE的操作模式我們現(xiàn)在描述在本發(fā)明的基于DATALITE的網(wǎng)絡中為了支持TMA任務的操作步驟。我們將前面描述的采樣TMA任務#1用作說明性示例1。在這種情況中，每個節(jié)點i∈V為它所感興趣的每個本地分組集合保持一個輕量級業(yè)務量摘要(TD)(以SAA中m個Rj的集合的形式)，即，它發(fā)起的分組(Oi)、它終止的分組(Di)和遍歷其每條鏈路(i，j)∈E的分組的集合(Li，j)，我們將這些分組集合的對應TD分別表示為TDOi，TDDi和TDLi，j。除使用簡單計數(shù)器來跟蹤按鏈路分組計數(shù)(Ci，j)(不考慮分組復制)和分組生成計數(shù)(|Oi|)，每個路由器使用SAA連同包含在TDLi，j和TDDi中的信息來跟蹤所感興趣的本地獨特分組計數(shù)，即|Li，j|和|Di|。此外，在從所有節(jié)點j∈V接收到TDOj和TDDi之后，節(jié)點i可以為它所有的鏈路(i，j)∈E以及所有的k＝(s，d)∈V×V估計等式(2)中的|Fi，jk|的值。特別是，可通過將Os，Dd和Li，j代換為DMA(其中Rjp的交換分別由從節(jié)點s和d到節(jié)點i的TDOs和TDDd分布來代換)中的Sp來估計等式(2)的R.H.S上的并集的基數(shù)。則一旦由節(jié)點i本地計算出|Fi，jk|，則可以將其經(jīng)由定期廣播或以按需查詢答復的方式分布到其它網(wǎng)絡節(jié)點。然后，每個節(jié)點就可以根據(jù)對|Fi，jk|的知識來構(gòu)建感興趣的業(yè)務量聚集的網(wǎng)絡范圍視圖。為了進一步減少|(zhì)Fi，jk|的測量/估計差錯，例如由于[Dura03]中的方案的概率統(tǒng)計特性，每個節(jié)點可以根據(jù)以|Fi，jk|表示的節(jié)點和網(wǎng)絡范圍流節(jié)約約束條件，可選地執(zhí)行最小均方誤差(MSE)最優(yōu)化。在下面的部分中將討論這種MSE最優(yōu)化的細節(jié)。圖2概括了由啟用了DATALITE的節(jié)點執(zhí)行的上述操作步驟。
參照圖2，示出了節(jié)點100的流程圖，該節(jié)點100具有執(zhí)行本發(fā)明的方法的一個或多個處理器。如圖所示，在步驟1中，到來分組進入節(jié)點100并被前置濾波以確定感興趣的分組集合。在步驟2，提取業(yè)務量摘要(TD)，例如以前面所解釋的方式提取O(loglogN)尺寸的TD。然后分組在它們的數(shù)據(jù)路徑上繼續(xù)。在圖2的步驟3，TD被分布到網(wǎng)絡中的其它相關(guān)節(jié)點，例如，被分布到感興趣的分組集合中。這些TD可以可選地以已知的方式被壓縮和/或格式化為現(xiàn)有的路由協(xié)議控制消息的數(shù)據(jù)對象或新的專用查詢協(xié)議。在步驟4，來自網(wǎng)絡內(nèi)其它相關(guān)節(jié)點的遠端TD在節(jié)點100上被接收。在步驟5，根據(jù)本地TD和已經(jīng)被分布的遠端TD來確定給定聚集流|Fi，jk|的本地估計。然后該給定聚集流的本地估計也被分布到其它相關(guān)節(jié)點。在步驟7，網(wǎng)絡中來自其它相關(guān)節(jié)點的被估計的聚集流|Fi，jk|在節(jié)點100上被接收。在步驟8，利用從網(wǎng)絡中的其它相關(guān)節(jié)點接收的聚集流估計，根據(jù)本地和遠端聚集流估計來確定業(yè)務量流模式和流量的網(wǎng)絡范圍視圖的結(jié)構(gòu)。在步驟9，發(fā)生后處理，例如是為了通過應用網(wǎng)絡范圍的流節(jié)約約束條件來進一步減少估計誤差。在步驟10，最后的輸出被提供給，例如網(wǎng)絡范圍的業(yè)務量路由模式、流量和/或可能的路徑延遲統(tǒng)計。該輸出也可以檢測上面的一個或多個參數(shù)的變化。
注意到，通過僅分發(fā)發(fā)起或終止分組集合(即Oi和Di，對所有的i∈V)的TD，而不是Li，j的TD，我們充分地減少DATALITE的通信帶寬要求。這是因為，即使對于TDLi，j的輕量級特性，它們?nèi)匀徊蝗鐋Fi，jk|小。而且，因為在實際的網(wǎng)絡中，典型地是節(jié)點要比鏈路少得多，所以TDOi和TDDi的數(shù)量也比TDLi，j少得多。
考慮和最優(yōu)化DATALITE的存儲器和通信帶寬要求關(guān)鍵的設計/工程難題之一是將(1)用于TD的本地存儲器要求和(2)節(jié)點間的通信帶寬要求維持在可接受的水平上，同時滿足感興趣的TMA應用的估計誤差要求。為了達到這個目的，我們建議以下的多方位(multi-prong)策略。
1.每個TD的存儲器尺寸的審慎控制考慮支持10Gbps+網(wǎng)絡中TMA任務的TD的存儲器要求。因為40Gbps的鏈路每秒可傳送最多125兆個40字節(jié)的分組，對于Nmax(等式(6)中)而言，1012或240的值應當足以支持長達8000秒長的測量時段了。根據(jù)等式(5)，為了達到獨特采樣計數(shù)估計的標準誤差σ≤2％，m應該是≥2048。將Nmax＝240和m＝2048代入等式(6)，輸出Rmax＝32＝25。換言之，分配5比特對TD中的每個Rj進行編碼就足夠了。因此，每個TD的存儲器要求M＝mlog2Rmax(比特)由m的值來規(guī)定。對于m＝2048(與對應的獨特采樣計數(shù)估計的2％的標準誤差相對應)，TD的尺寸大約是1.7K字節(jié)。我們將其作為每個TD的存儲器要求的下限，以便考慮在對感興趣的最終度量(例如，前面討論的采樣TMA任務|Fi，jk|)的估計期間可能的估計誤差積累和/或“放大”。這是因為，根據(jù)等式(3)，等式(3)的L.H.S.上的項的估計誤差是R.H.S.上的每項的估計誤差的和。因此，在L.H.S.項中的集合交集的級越多，則當?shù)仁?3)的R.H.S.上的并集集合基數(shù)的估計誤差積累時，估計誤差就越大。此外，因為σ=1.05/m]]>是相對于等式(3)的R.H.S.中的每個并集集合基數(shù)的“相對”估計誤差，所以對于等式(3)的L.H.S.上的交集項的對應相對估計誤差(即，百分比方式)可能被“放大”，尤其當?shù)仁?3)的L.H.S.上的交集集合的基數(shù)(在絕對項中)比R.H.S.上的并集集合項的基數(shù)小得多的時候。
在實際中，根據(jù)TMA應用的估計誤差要求來確定實際的m值，并且因此確定每個TD的存儲器尺寸。對于那些其中粗略估計/測量就足夠了的TMA應用，將使用比較粗略的較小TD，例如1.7K字節(jié)TD就足夠了。這種類型的TMA應用的示例包括路由故障/誤配置/變化檢測以及DDoS攻擊反跟蹤，在這種情況下感興趣的事件通常會導致業(yè)務量流模式中的急劇變化。因此，|Fi，jk|的值將嚴重偏離它們的標稱值，而估計誤差相對于這種突發(fā)偏離不重要。對于其中要求數(shù)量眾多、高度精確的的TMA應用，我們可以在估計等式(3)的L.H.S.上的每個“并集方式”項的過程中增加m(并因此降低σ)。然而，因為σ的線性下降要求TD的尺寸以二次方式增加，所以應當審慎地處理存儲器與精度之間的折中。幸運地是，由于TD固有的輕量級特性，所以有非常大的空間來按比例增大其存儲器尺寸。例如，TD的尺寸從1.7K字節(jié)增大512倍到0.87兆字節(jié)可以將σ減到0.08％以下。然而，0.87兆字節(jié)的TD對于當前的快速存儲器技術(shù)還是很合理的。也就是，現(xiàn)今用于10Gbps線卡(line-card)的典型存儲器量大約是2G比特。這提供了相當于200毫秒的緩沖。使用此存儲量的10％，即25兆字節(jié)，用于業(yè)務量測量/分析目的，則意味著每個線卡可以容納超過280.87兆字節(jié)TD。在該項研究中，我們將研究并行支持多種尺寸的TD的方法。
2.有效支持每條鏈路的多個業(yè)務量聚集業(yè)務量聚集(或者分組集合)在實際中，某些TMA應用可能要求分組集合的更精細定義(例如根據(jù)分組的協(xié)議類型和/或端口數(shù)量)，而不是為每條鏈路保持一個單獨的分組集合，即Li，j。每條鏈路的多個更精細分組集合的另一個有趣使用是使用“時間索引(time-indexed)”的分組集合(其中原始測量時段被分成多個更小的間隔)，使得可以通過計算屬于網(wǎng)絡中不同鏈路的時間索引的分組集合的交集的基數(shù)，來估計(不可否認具有有限的分辨率)網(wǎng)絡中的路徑時延。
為了支持每條鏈路的多個分組集合，一種簡單的方法是為感興趣的每個精細分組集合分配一個單獨的TD。然而，通過引入一般化的分組集合交集技術(shù)，可以僅使用每線卡Q個TD來支持O(Q2)類型的更精細業(yè)務量聚集的網(wǎng)絡范圍TMA。這種技術(shù)的基本思想如下假設我們需要支持每條鏈路K＝2k個分組集合。不是給K個分組集合的每一個(表示為P1，P2，……PK)分配TD，而是構(gòu)建Q個模擬(artificial)分組集合S1，S2，……SQ的一個列表，其中Q2=Q(Q-1)/2≥K]]>。S1，S2，……SQ被這樣定義，i，1≤i≤K，存在1≤q1，q2≤Q，其中Pi＝Sq1∩Sq2。換言之，每個Pi都可以被從一對模擬集合的交集“恢復”。因此，通過僅保持Q個模擬分組S1，S2，……SQ的每一個的TD，分別表示為TDS1，TDS2，……TDSQ，我們就可以計算任意交集或并集集合的基數(shù)，而Pi作為其分量之一。首先將Pi表示為Sq1∩Sq2，然后應用等式(3)和前面討論的獨特采樣計數(shù)技術(shù)。作為示例，利用此集合交集技術(shù)，僅需要每條鏈路保持24個TD，以便同時支持網(wǎng)絡范圍的276個更精細業(yè)務量聚集的TMA。即使有了高分辨率，0.87兆字節(jié)TD，用于這種配置的每個線卡的全部TD存儲器需求仍小于21兆字節(jié)或現(xiàn)在已有的典型10Gbps線卡的存儲量(2G比特，或相當于200毫秒的緩沖)的8.4％。
理論上，通過在2log2K個模擬集合(每一個對應于log2K比特二進制表示的比特值K)中應用log2K級交集來恢復每個Pi，還可以將每個線卡所需的TD的數(shù)量減少到2log2K。然而，由于等式(3)的R.H.S.上的項數(shù)量很大，所以積累的估計誤差可能會很多。反過來，這會增加每個TD的存儲器要求，以減少每級的估計誤差。在交集的級數(shù)和每個TD的增加存儲量要求之間的詳細權(quán)衡將是我們研究的主題。
3.通過考慮網(wǎng)絡范圍的流節(jié)約約束條件來進一步減少估計誤差節(jié)約TD存儲器的另一種方法是經(jīng)由初始估計的后處理來減少|(zhì)Fi，jk|中的有效估計誤差。在這種方案中，在節(jié)點從網(wǎng)絡中的所有節(jié)點接收到|Fi，jk|的初始估計之后，該節(jié)點將根據(jù)按照|Fi，jk|表示的節(jié)點流節(jié)約約束條件來執(zhí)行最小均方誤差(MSE)最優(yōu)化。令 是接收的|Fi，jk|的初始估計值。該最優(yōu)化的目的是通過在考慮節(jié)點流節(jié)約約束條件的情況下調(diào)整其不一致，來努力減少初始估計 中的集合誤差。令 是|Fi，jk|的新估計值，該值滿足節(jié)點流節(jié)約約束條件。由ei,jk=fi,jk-f^i,jk]]>表示將 變?yōu)閒i，jk所要求的擾動(perturbation)?？紤]下面的MSE最優(yōu)化問題最小化 條件是Σ(i,j)∈E(f^i,jk+ei,jk)=Σ(j,i)∈E(f^j,ik+ej,ik),∀i∈V,∀k=(s,d)∈V×V,s≠i,d≠i]]>Σ(i,j)∈E(f^i,jk+ei,jk)=|Oi|,∀i∈V,∀k=(i,d),d∈V]]>Σ(j,i)∈E(f^j,ik+ej,ik)=|Di|,∀i∈V,∀k=(s,i),s∈V]]>上述最優(yōu)化解決方案將輸出 的“共同”最小擾動，即ei，jk，使得如在|Fi，jk|的真實值的情況下那樣，新的估計fi,jk=f^i,jk+ei,jk]]>將至少滿足節(jié)點流節(jié)約約束條件。我們推測，通過考慮流節(jié)約約束條件，(其必須由|Fi，jk|的真實值滿足)，我們將使得所述估計更接近它們的真實值。
4.節(jié)點間通信帶寬最優(yōu)化關(guān)于本發(fā)明DATALITE的通信帶寬要求的主要控制因素包括(1)待交換的TD的數(shù)量和尺寸，(2)TD的交換頻率和生成的業(yè)務量流估計器，和(3)將TD和業(yè)務量流估計器分布到整個網(wǎng)絡的方式。
我們前面已經(jīng)描述了如何控制和減少(1)。在此，我們會注意到一些關(guān)于(1)的額外最優(yōu)化機會。首先，取決于TMA應用的需求，即感興趣的業(yè)務量測量，我們可能僅需要將選定的TD的集合分布到網(wǎng)絡中的其它節(jié)點。例如，當采樣TMA任務#1要求在網(wǎng)絡中的所有節(jié)點之間進行TDOi和TDDi的全網(wǎng)(full-mesh)交換時，采樣任務#2僅要求下游DDoS攻擊受害者節(jié)點的TDDi的分布。我們還可以在將TD分布到其它相關(guān)節(jié)點之前，在測量時段結(jié)束時將其壓縮。
由DATALITE支持的定期廣播和按需查詢答復這兩種模式的操作也有助于控制(2)。實際上，TD的交換頻率和所得到的業(yè)務量流估計器主要由應用需求來規(guī)定。例如，對于改變檢測類型的應用(例如路由誤配置/網(wǎng)絡故障的檢測)來說，為了減少檢測時間，交換頻率應該高很多。很幸運，這些也正是較低精度的測量/估計，即較小的TD，可能就足夠了的應用，因為由感興趣的事件引起的流模式上或每條鏈路的流值的結(jié)果變化比較重要。另一方面，要求較高精度的測量/估計的TMA應用(因此是較大的TD)僅在較長的測量間隔上才比較有意義，反過來，這幫助減小帶寬要求。DATALITE方案的另一個優(yōu)點是TD存儲器要求隨測量時段T非常緩慢地增長(O(loglogT))。如上所述，我們可以在長達8000秒的測量時段中有效地保持TD的尺寸不變，這對于大多數(shù)業(yè)務流測量應用都是足夠的。
最后，TD的分布模式應該根據(jù)TD的數(shù)量和尺寸以及所需的分布頻率來決定。為了便于說明，讓我們考慮兩種極端情況(或應用要求)。在第一種情況中，在業(yè)務量模式變化/故障檢測應用或DDoS反跟蹤中使用1.7K字節(jié)的TD。即使使用溢出每一秒種將每個節(jié)點的未壓縮TDOi和TDDi分布到其它所有節(jié)點(最貴的帶寬方式選擇)，對于一個100節(jié)點的網(wǎng)絡而言，在網(wǎng)絡中每條鏈路上產(chǎn)生的TD業(yè)務量也不會超過2×1.7×8×|V|Kbps，即每條鏈路2.72Mbps，或者少于10Gbps鏈路容量的0.03％。在第二種情況中，進行特殊的以鐘點計算的業(yè)務量研究，以測量精細業(yè)務量類型的網(wǎng)絡范圍的一天內(nèi)時間的統(tǒng)計和路由行為。在此，使用同一個網(wǎng)絡中的所有節(jié)點之間的全I-BGP網(wǎng)絡(mesh)，每小時分布24×2個較高分辨率、未被壓縮的、每個為0.87M字節(jié)的TD，來分析網(wǎng)絡范圍的276種業(yè)務量聚集的行為(使用上述一般化的集合交集技術(shù))。對應的每個節(jié)點的到來TD帶寬是0.87×8×2×24×100/3600Mbps＝9.28Mbps，該值仍少于10Gbps鏈路容量的0.1％。
結(jié)論總之，通過采用直接測量方法，本發(fā)明DATALITE避免了由于破壞網(wǎng)絡X線體層照相術(shù)方法的非法業(yè)務量建模和操作假設引起的問題。盡管在本發(fā)明DATALITE方案和現(xiàn)有的基于軌跡的方案之間有一些高級別的共性，但它們之間有著關(guān)鍵的區(qū)別第一，通過將業(yè)務量問題表示為一系列的集合基數(shù)確定問題，我們可以通過利用近來在獨特采樣計數(shù)技術(shù)中的進步，以最小的通信開銷按照分布式的方式，來執(zhí)行業(yè)務量分析。第二，通過集中于對業(yè)務量聚集行為而不是單個分組行為的測量和分析，與先前的方法相比，大大減少了DATALITE的系統(tǒng)存儲器和通信帶寬要求。因此，對于DATALITE，可以采用分布式的計算模型，而不是由現(xiàn)有的基于軌跡的系統(tǒng)采用的重量級集中式方法。
前面的描述僅僅說明了本發(fā)明的原理。應當理解，本領(lǐng)域的技術(shù)人員可以設計出各種方案，這些方方案盡管在此處沒有明確描述和說明，但是體現(xiàn)本發(fā)明的原理，并且包括在本發(fā)明的精神和范圍內(nèi)。此外，所引用的所有示例和條件限制語言主要是為了指導性的目的，為了幫助讀者理解本發(fā)明的原理和本發(fā)明人為了延深本技術(shù)所提出的概念，并且為了解釋不要為這些具體引用示例和條件所限制。此外，對此處引用的原理、特征和本發(fā)明的實施例及其具體示例的所有敘述，都是為了包含其結(jié)構(gòu)和功能的等價物。另外，目的是該等價物包括當前已知的等價物和今后要發(fā)展的等價物，即任何執(zhí)行相同功能的被開發(fā)的元件，而不管其結(jié)構(gòu)。
由此，在權(quán)利要求中，被表示為執(zhí)行特定功能的任何元件旨在包含執(zhí)行該功能的任何方式，包括，例如，a)執(zhí)行該功能的多個電路元件的組合或b)任何形式的軟件，因此包括，與適當?shù)碾娐方M合的固件、微碼等，用于執(zhí)行該軟件來執(zhí)行該功能。按這種權(quán)利要求限定的本發(fā)明存在的實際情況是，通過各種引用方式提供的功能被以權(quán)利要求所要求的方式組合和合并。因此，申請人將可以提供那些功能的任何方式看作是此處說明的方式的等價物。本發(fā)明的其它修改和應用對本領(lǐng)域的普通技術(shù)人員是顯而易見的，并且通過此處的教導而被考慮。相應地，本發(fā)明的范圍僅由所附的權(quán)利要求所限定。
權(quán)利要求
1.一種在分組通信網(wǎng)絡中執(zhí)行業(yè)務量的分析的方法，所述方法包括關(guān)于感興趣的分組集合，在所述網(wǎng)絡中的指定節(jié)點上測量業(yè)務量聚集；利用所述業(yè)務量聚集，為所述網(wǎng)絡中待測的參數(shù)形成交集集合基數(shù)確定；以及為所述待測的參數(shù)解出所述集合基數(shù)確定。
2.根據(jù)權(quán)利要求1的方法，還包括將所述交集集合基數(shù)確定形成為一系列并集集基數(shù)確定。
3.根據(jù)權(quán)利要求2的方法，還包括應用一個或多個O(loglog|A|)獨特采樣計數(shù)算法，以分布式方式解出所述并集集合基數(shù)確定。
4.根據(jù)權(quán)利要求3的方法，其中實質(zhì)上的O(loglogNmax)比特摘要被用于概括分組集合Li，j中的必要信息，其中Nmax是Li，j中獨特采樣的最大數(shù)量。
5.根據(jù)權(quán)利要求1的方法，其中所述業(yè)務量的分析是從包括下述內(nèi)容的組中選出的對業(yè)務量路由模式的分析，對業(yè)務量流模式的分析，和跟蹤由感興趣分組的一給定組遍歷的源、目的地、中間節(jié)點和鏈路。
6.一種在分組通信網(wǎng)絡中執(zhí)行業(yè)務量的分析的方法，所述方法包括根據(jù)給定的分組集合成員資格，從所述網(wǎng)絡的選定節(jié)點提取基于聚集的業(yè)務量摘要；將相關(guān)的本地業(yè)務量摘要分發(fā)到所述網(wǎng)絡中所述選定節(jié)點中的其他節(jié)點；從所述網(wǎng)絡中所述選定節(jié)點中的其他節(jié)點接收相關(guān)的遠端業(yè)務量摘要；基于所述本地業(yè)務量摘要和所述遠端業(yè)務量摘要，提供指定業(yè)務量流的本地估計；從所述其他選定節(jié)點接收所述指定業(yè)務量流的遠端估計；基于所述本地和遠端指定業(yè)務量流，解出所述網(wǎng)絡中給定參數(shù)的集合基數(shù)確定問題。
7.根據(jù)權(quán)利要求6的方法，其中所述提取業(yè)務量摘要的步驟包括如下步驟從屬于一指定分組集合的每個分組提取分組標識符；將每個分組標識符輸入到散列函數(shù)以接收Rmax比特的散列輸出，Rmax比特的散列輸出的log2m比特被用于確定存儲段索引；根據(jù)所述存儲段索引將所述散列輸出分離成m個存儲段；對于所述m個存儲段的每個存儲段i，跟蹤Ri，通過使用r()將所有散列輸出的前(Rmax-log2m)比特中的連續(xù)前導零的最大數(shù)量分配到第i存儲段；利用R1到Rm作為所述指定分組集合的業(yè)務量摘要。
8.根據(jù)權(quán)利要求6的方法，其中對于每條鏈路(i，j)∈E維護分組計數(shù)器Ci，j，以在與業(yè)務量摘要測量時段相同的測量時段期間，跟蹤通過鏈路的分組的計數(shù)，其中Ci，j和|Li，j|的值之間的顯著差異說明潛在的路由問題。
9.根據(jù)權(quán)利要求6的方法，還包括使用時間索引的分組集合，其中原始測量時段被分為多個較小的時間間隔，以借助使用Q模擬集合，通過計算屬于網(wǎng)絡中不同鏈路的時間索引的分組集合的交集的基數(shù)，來估計網(wǎng)絡中的路徑時延。
10.一種在分組通信網(wǎng)絡中執(zhí)行業(yè)務量的分析的方法，所述方法包括根據(jù)給定的分組集合成員資格，從所述網(wǎng)絡中的選定節(jié)點提取基于聚集的業(yè)務量摘要；將相關(guān)的本地業(yè)務量摘要分發(fā)到所述網(wǎng)絡中所述選定節(jié)點中的其他節(jié)點；從所述網(wǎng)絡中所述選定節(jié)點中的其他節(jié)點分發(fā)相關(guān)的遠端業(yè)務量摘要；基于所述本地業(yè)務量摘要和所述遠端業(yè)務量摘要，提供指定業(yè)務量流的本地估計；從所述其他選定節(jié)點分發(fā)所述指定業(yè)務量流的遠端估計；基于所述本地和遠端指定業(yè)務量流，解出所述網(wǎng)絡中給定參數(shù)的集合基數(shù)確定問題。
全文摘要
我們將網(wǎng)絡范圍的業(yè)務量測量/分析問題描述為一系列的集合基數(shù)確定問題。通過利用近來在概率獨特采樣計數(shù)技術(shù)中的一些進展，可以以分布式的方式、經(jīng)由在網(wǎng)絡節(jié)點中交換極輕量級的業(yè)務量摘要(TD)來計算集合基數(shù)，因計算網(wǎng)絡范圍內(nèi)感興趣的業(yè)務量測量。N個分組的一個TD僅需要O(loglogN)比特的存儲器。并且對這種O(loglogN)比特尺寸的TD的計算也遵從以線速度為10Gbps或者更大的線速度來執(zhí)行的有效硬件實施。對于小尺寸的TD，則可以通過攜帶它們作為在現(xiàn)有控制消息中的不透明消息對象，從而將節(jié)點的TD分布給域內(nèi)所有的路由器。一旦接收到所需的TD，路由器就可以通過解決一系列的集合基數(shù)確定問題，來為它的每條本地鏈路估計感興趣的業(yè)務量測量。
文檔編號H04L12/56GK1677940SQ20051005959
公開日2005年10月5日 申請日期2005年3月30日 優(yōu)先權(quán)日2004年3月31日
發(fā)明者穆拉里哈瑞·S.·科迪拉姆, 蒂魯尼爾·V.·拉克斯?jié)h姆, 劉永昌 申請人:朗迅科技公司