專利名稱：用于數(shù)據(jù)記錄和分析的方法和系統(tǒng)的制作方法
用于數(shù)據(jù)記錄和分析的方法和系統(tǒng)
背景技術(shù)：
因特網(wǎng)正日益成為支持各種形式和等級的通信的計算機全球化網(wǎng)絡(luò)。例如，在萬維網(wǎng)(www)上，信息可被呈現(xiàn)在通常稱為網(wǎng)站的世界范圍可利用的頁面上。因特網(wǎng)也借助電郵、即時短信和IP語音(VoIP)通信支持終端用戶之間的一對一通信。越來越多地，因特網(wǎng)包括廣泛分布的網(wǎng)絡(luò)服務(wù)，諸如搜索引擎、冗余網(wǎng)站、以及 VoIP點出現(xiàn)。這些網(wǎng)絡(luò)服務(wù)分布在許多物理上的地理站點但邏輯地提供網(wǎng)絡(luò)服務(wù)。廣泛分布的網(wǎng)絡(luò)服務(wù)的挑戰(zhàn)在于理解在所有物理站點并經(jīng)過物理站點整個網(wǎng)格的流量使用模式。為了服務(wù)某些因特網(wǎng)請求，利用域名系統(tǒng)(DNS)。DNS是基于客戶服務(wù)器模型的分布式數(shù)據(jù)庫系統(tǒng)。該數(shù)據(jù)庫的節(jié)點被稱為名稱服務(wù)器。每個域或子域具有發(fā)布關(guān)于域信息的一個或多個授權(quán)DNS服務(wù)器以及從屬于其的任何域的名稱服務(wù)器。體系的頂層由稱為根名稱服務(wù)器的服務(wù)器服務(wù)，即，當查詢或解析頂級域(TLD)時查詢的服務(wù)器。其他因特網(wǎng)請求包括IP請求、OCSP請求和Whois請求。對于網(wǎng)絡(luò)服務(wù)的操作員而言，需要跟蹤請求。然而，當前系統(tǒng)缺少以系統(tǒng)操作員的所需深度等級提供跟蹤數(shù)據(jù)的能力。因此，本領(lǐng)域需要記錄因特網(wǎng)請求并報告涉及這些因特網(wǎng)請求的改進式方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明總體上涉及數(shù)據(jù)網(wǎng)絡(luò)。更具體而言，本發(fā)明涉及用于計算網(wǎng)絡(luò)服務(wù)最頻繁復(fù)發(fā)特性的方法和系統(tǒng)。僅僅通過示例，本發(fā)明已應(yīng)用于當在前端處理器接收時緩存涉及感興趣的字段類型的系統(tǒng)、將經(jīng)緩存的數(shù)據(jù)傳送到累積服務(wù)器，該累積服務(wù)器然后分類并報告每個感興趣的字段類型的最頻繁復(fù)發(fā)值。這些方法和技術(shù)可應(yīng)用于DNS流量、OCSP流量、 Whois流量，等等。根據(jù)本發(fā)明的特定實施例，分析請求的字段并計數(shù)對于感興趣的各種字段類型的特定值的次數(shù)以確定并然后報告每個感興趣字段類型的最頻繁復(fù)發(fā)值。作為示例，當由處理引擎接收請求時，緩存具有匹配感興趣的字段類型的字段類型的字段。緩存器然后由服務(wù)器處理以確定感興趣的字段類型的最常見發(fā)生值。在某些實施例中，對于與其他字段連接的字段計算值，通過配置可獲得的設(shè)置。然后使用報告系統(tǒng)常規(guī)地向系統(tǒng)操作員報告對于每個感興趣的字段類型的最頻繁復(fù)發(fā)值。根據(jù)本發(fā)明實施例，提供一種記錄因特網(wǎng)請求的方法。該方法包括確定多個感興趣的字段類型并從因特網(wǎng)接收請求。該請求包括一個或多個字段。該方法還包括確定所述一個或多個字段的第一字段的第一字段類型匹配所述感興趣的多個字段類型之一并在緩存器中緩存所述第一字段的至少一部分。該方法還包括確定所述一個或多個字段的第二字段的第二字段類型匹配所述感興趣的多個字段類型之一并在所述緩存器中緩存所述第二字段的至少一部分。而且，該方法包括將緩存器發(fā)送到服務(wù)器，在所述服務(wù)器確定所述第一字段類型或所述第二字段類型的至少一個的字段值的發(fā)生數(shù)量，并提供包括所述字段值的所述發(fā)生數(shù)量的報告。根據(jù)本發(fā)明的另一實施例，提供一種報告因特網(wǎng)請求的方法。該方法包括確定感興趣的多個字段類型并在第一處理引擎從因特網(wǎng)接收第一多個請求。所述第一多個請求的每個包括一個或多個第一字段。該方法還包括在第一緩存器中緩存一個或多個第一字段的第一字段并在所述第一緩存器中緩存所述一個或多個字段的第二字段。該方法進一步包括在第二處理引擎從因特網(wǎng)接收第二多個請求。所述第二多個請求的每個包括一個或多個第二字段。該方法包括在第二緩存器中緩存所述一個或多個字段的第三字段并在所述第二緩存器中緩存所述一個或多個第二字段的第四字段。而且，該方法包括將所述第一緩存器發(fā)送到服務(wù)器，將所述第二緩存器發(fā)送到所述服務(wù)器，在所述服務(wù)器確定由和其他字段值相比更高的發(fā)生數(shù)量標識的頂級字段值。并提供包括所述頂級字段值和所述頂級字段值的所述發(fā)生數(shù)量的報告。根據(jù)本發(fā)明的具體實施例，提供一種系統(tǒng)。該系統(tǒng)包括多個處理引擎，耦合到因特網(wǎng)并可操作以從因特網(wǎng)接收請求。每個請求包括一個或多個字段。該系統(tǒng)還包括耦合到所述處理引擎的服務(wù)器和耦合到所述服務(wù)器的報告系統(tǒng)。多個處理引擎的每個包括存儲第一多個指令用于控制第一數(shù)據(jù)處理器形成緩存器的第一計算機可讀介質(zhì)，所述第一多個指令包括使得所述第一數(shù)據(jù)處理器在因特網(wǎng)上接收多個請求的指令和使得所述第一數(shù)據(jù)處理器在緩存器上存儲對于在因特網(wǎng)上接收的多個請求的子集的感興趣的字段類型的字段值的指令。所述第一多個指令還包括使得所述第一數(shù)據(jù)處理器遞增和和所述子集的總量相關(guān)的計數(shù)器的指令、使得所述第一數(shù)據(jù)處理器確定形成所述緩存器的時期的指令、使得所述第一數(shù)據(jù)處理器將所述緩存器發(fā)送到所述服務(wù)器的指令。所述服務(wù)器包括存儲第二多個指令用于控制第二數(shù)據(jù)處理器以形成報告的第二計算機可讀介質(zhì)。所述第二多個指令包括使得第二數(shù)據(jù)處理遞增和感興趣的多個字段類型的字段值相關(guān)的計數(shù)器的指令、使得所述第二數(shù)據(jù)處理器根據(jù)所述計數(shù)器分類所述字段值的指令，以及使得所述第二數(shù)據(jù)處理器將所述報告?zhèn)魉偷剿鰣蟾嫦到y(tǒng)的指令。通過本發(fā)明可以實現(xiàn)相對于常規(guī)技術(shù)的許多優(yōu)勢。例如，本發(fā)明實施例提供記錄并向服務(wù)運營商報告前N個感興趣的字段類型的方法和系統(tǒng)。由本發(fā)明收集的數(shù)據(jù)的受眾可以是想知道如何使用服務(wù)的商業(yè)決策執(zhí)行者、監(jiān)控系統(tǒng)用于攻擊模式的系統(tǒng)操作員、以及監(jiān)控服務(wù)以根據(jù)使用模式改進其的系統(tǒng)實施員。在前段處理器以接近實時地執(zhí)行最頻繁發(fā)生字段值的報告以平均網(wǎng)絡(luò)流量。本發(fā)明實施例提供的優(yōu)勢之一在于系統(tǒng)的通用屬性以及其如何可用于任何或所有網(wǎng)絡(luò)服務(wù)。接收加密數(shù)據(jù)的網(wǎng)絡(luò)服務(wù)可以由本發(fā)明的流量模式監(jiān)控。在該情況下，外部服務(wù)監(jiān)控器具有的缺陷在于它們?nèi)鄙俳饷軘?shù)據(jù)所需的解密機制。將結(jié)合如下文本和附圖詳細描述本發(fā)明的這些和其他實施例，以及許多其優(yōu)勢和特點。


圖1是因特網(wǎng)上接收的請求的簡化示意； 圖2是根據(jù)本發(fā)明的具體實施例列出感興趣的字段類型的表； 圖3是示出根據(jù)本發(fā)明實施例的系統(tǒng)結(jié)構(gòu)的簡化示意圖； 圖4是根據(jù)本發(fā)明實施例的緩存器的簡化示意圖； 圖5是示出根據(jù)本發(fā)明實施例查詢累積器的結(jié)構(gòu)的簡化示意圖； 圖6是示出根據(jù)本發(fā)明實施例記錄因特網(wǎng)請求的方法的簡化流程圖； 圖7是示出根據(jù)本發(fā)明實施例報告因特網(wǎng)查詢的方法的簡化流程圖；圖8是示出根據(jù)本發(fā)明實施例示出服務(wù)的地理分散站點的簡化示意圖； 圖9示出累積所記錄的因特網(wǎng)請求的緩存器和報告。
具體實施例方式
為了跟蹤和報告涉及由前端處理器接收的因特網(wǎng)請求的信息，可能在數(shù)據(jù)庫或日志文件(例如，存儲在盤上的文本文件)中記錄交易或查詢(例如，DNS查詢)。然后可以使用其他程序或腳本對這些日志文件后期處理以收集關(guān)于所接收請求的數(shù)據(jù)。對于服務(wù)運營商感興趣的數(shù)據(jù)包括最頻繁查詢的IP地址、最常見的查詢，等等。發(fā)明人已確定如上文所述的后期處理系統(tǒng)不能提供系統(tǒng)受眾所需的速度或靈活性。在提供網(wǎng)絡(luò)服務(wù)的常規(guī)系統(tǒng)中，可以在幾秒內(nèi)接收到幾十萬個查詢。因此，在數(shù)據(jù)庫或盤上的日志文件中記錄幾十萬個查詢需要大量的資源(最特別是磁盤空間)，并對受到監(jiān)控的系統(tǒng)的整體性能產(chǎn)生直接影響，這是因為將歷史提交到數(shù)據(jù)或磁盤所需的時間和資源一般使得系統(tǒng)在服務(wù)下個交易或請求之前短暫停止。此外，服務(wù)運營商希望周期地并快速地 (例如，每4秒)報告。后期處理數(shù)據(jù)庫或日志文件的程序或腳本可能不能跟上交易或請求的速率以便能以所需速率報告。將交易或請求歷史記錄到日志文件的系統(tǒng)也具有當將歷史寫到磁盤時暴露敏感數(shù)據(jù)的可能，數(shù)據(jù)可以由入侵者或心存不滿的員工獲取。如在本說明書中更充分地描述本發(fā)明實施例通過允許接近實時地報告涉及英特網(wǎng)請求的信息而提供對這些和其他問題的解決方案。圖1是在因特網(wǎng)上接收請求的簡化示意。在圖1所示的請求100中，請求包括一個或多個字段。作為示例，請求包括圖1所示的N個字段。消息中字段的特定數(shù)量取決于如下文將更充分描述的特定請求。對于某些應(yīng)用，消息中的字段可以分組成四個一般種類 IP、DNS、0CSP和Whois。這些字段中每個以三元組標識-字段類型、字段長度和字段值。在某些請求中，當字段長度對本領(lǐng)域技術(shù)人員是顯而易見時不在字段中指定字段長度。取決于應(yīng)用，三元組將以適合于特定應(yīng)用而改變。本發(fā)明實施例提供用于計算網(wǎng)絡(luò)服務(wù)最頻繁復(fù)發(fā)的特性的系統(tǒng)和技術(shù)。根據(jù)本發(fā)明實施例，每個網(wǎng)絡(luò)請求被描述為“請求”以及請求的每個組件(例如，域名或用戶代理)被描述為“字段”。如下文所述，請求被發(fā)送到多個前端處理器(也稱為處理引擎)，所有服務(wù)相同種類的請求，但取決于用戶請求服務(wù)的類型而具有不同的字段值。處理引擎(PE)順序地處理請求并選出“感興趣的字段”，該字段是匹配感興趣的字段類型的字段類型的字段。術(shù)語-處理引擎(PE)、協(xié)議引擎、前端處理器、前方處理器、和面向前方處理器是能用于描述 PS并給予等同于術(shù)語PE的意義的其他術(shù)語。每個PE選出相同字段，但因為請求中的每個字段具有不同的字段值，本文所述的方法和系統(tǒng)確定最常出現(xiàn)的字段值。每個處理引擎處理每個請求，并在緩存和感興趣字段類型相關(guān)的數(shù)據(jù)之后，將短術(shù)語緩存發(fā)送到稱為查詢?nèi)罩綿aemon (qlogd)、查詢累積器、或查詢?nèi)罩痉?wù)器。PE實際上對每個字段名稱(例如， ocsp-serial)使用數(shù)字表示(例如，字段7)。接著，查詢?nèi)罩綿aemon經(jīng)配置以明白“字段 V’ 意指"ocsp-serial ”。查詢?nèi)罩綿aemon處理來自各個PE的每個緩存器(也稱為請求束)并內(nèi)部計數(shù)看見字段值的次數(shù)。然后周期地報告從各個PE向其報告的頂級值。該解釋僅僅是概述以及以下提供涉及這些處理中每個的其他描述。如下表提供可用于形成感興趣的字段類型列表的字段的示例。表1-3列出的字段
7類型不用于限制本發(fā)明，而僅僅是提供不同協(xié)議的多個字段類型的示例。在各個實施方式中，其他字段類型也可以用作感興趣的字段類型。本領(lǐng)域的普通技術(shù)人員將理解許多變化、 修改和替換。如表1-3所示，在多個協(xié)議或服務(wù)中利用某些字段類型(例如，源IP地址)。在源IP地址的示例中，源信息在多個協(xié)議的報頭提供，能使響應(yīng)指向正確的源。在多個服務(wù)中類似的字段類型的另一示例是時間字段類型，提供服務(wù)請求所需的時間上的信息。其他字段類型對于特定協(xié)議是唯一的。
權(quán)利要求
1.一種用于記錄因特網(wǎng)請求的方法，該方法包括 確定多個感興趣的字段類型；從因特網(wǎng)接收請求，其中所述請求包括一個或多個字段；確定所述一個或多個字段中第一字段的第一字段類型匹配所述感興趣的多個字段類型之一；在緩存器中緩存所述第一字段的至少一部分；確定所述一個或多個字段中第二字段的第二字段類型匹配所述感興趣的多個字段類型之一；在所述緩存器中緩存所述第二字段的至少一部分； 將所述緩存器傳送到服務(wù)器；在所述服務(wù)器確定所述第一字段類型或所述第二字段類型中至少一個的字段值的發(fā)生數(shù)量；以及提供包括所述字段值的所述發(fā)生數(shù)量的報告。
2.如權(quán)利要求1所述的方法，其中在解析站點執(zhí)行所述第一字段類型匹配所述多個感興趣的字段類型之一的確定。
3.如權(quán)利要求1所述的方法，進一步包括不緩存所述一個或多個字段中的第三字段， 其中所述第三字段的第三字段類型不匹配所述多個感興趣的字段類型之一。
4.如權(quán)利要求1所述的方法，進一步包括在所述服務(wù)器從多個處理引擎的每個接收緩存器。
5.如權(quán)利要求1所述的方法，進一步包括將所述報告?zhèn)魉徒o系統(tǒng)操作員。
6.如權(quán)利要求1所述的方法，其中所述第一字段的所述部分是所述第一字段的字段類型、字段長度和字段值，以及所述第二字段的所述部分是所述第二字段的字段類型、字段長度和字段值。
7.如權(quán)利要求1所述的方法，其中所述一個或多個字段中的每個由至少字段類型、字段長度和字段值標識。
8.如權(quán)利要求1所述的方法，其中在從所述因特網(wǎng)接收所述請求之前執(zhí)行所述多個感興趣的字段類型的確定。
9.一種報告因特網(wǎng)請求的方法，包括 確定多個感興趣的字段類型；在第一處理引擎從因特網(wǎng)接收第一多個請求，其中所述第一多個請求的每個包括一個或多個第一字段；在第一緩存器緩存所述一個或多個第一字段的第一字段； 在所述第一緩存器緩存所述一個或多個第一字段的第二字段； 在第二處理引擎從因特網(wǎng)接收第二多個請求，其中所述第二多個請求的每個包括一個或多個第二字段；在第二緩存器中緩存所述一個或多個第二字段的第三字段； 在所述第二緩存器緩存所述一個或多個第二字段的第四字段； 將所述第一緩存器傳送到服務(wù)器； 將所述第二緩存器傳送到所述服務(wù)器；在所述服務(wù)器確定和其他字段值相比由更大發(fā)生數(shù)量標識的頂級字段值；以及提供包括所述頂級字段值和所述頂級字段值的所述發(fā)生數(shù)量的報告。
10.如權(quán)利要求9所述的方法，其中所述報告包括來自所緩存字段的值的發(fā)生數(shù)量分類的列表。
11.如權(quán)利要求9所述的方法，進一步包括在緩存所述第一字段之前，在所述第一處理引擎確定所述第一字段的字段類型匹配感興趣的多個字段類型之一；在緩存所述第二字段之前，在所述第一處理引擎確定所述第二字段的字段類型匹配感興趣的多個字段類型之一；在緩存所述第三字段之前，在所述第二處理引擎確定所述第三字段的字段類型匹配感興趣的多個字段類型之一；以及在緩存所述第四字段之前，在所述第二處理引擎確定所述第四字段的字段類型匹配感興趣的多個字段類型之一。
12.如權(quán)利要求9所述的方法，其中所述第一多個請求和所述第二多個請求包括如下至少之一 DNS請求、IP請求、OCSP請求或Whois請求。
13.如權(quán)利要求9所述的方法，其中所述第一多個請求和所述第二多個請求包括VoIP 請求或IM請求中的至少一個。
14.一種系統(tǒng)，包括多個處理引擎，耦合到因特網(wǎng)并可操作以從因特網(wǎng)接收請求，每個所述請求包括一個或多個字段；耦合到所述多個處理引擎的服務(wù)器；以及耦合到所述服務(wù)器的報告系統(tǒng)，其中所述多個處理引擎的每個包括存儲第一多條指令用于控制第一數(shù)據(jù)處理器形成緩存器的第一計算機可讀介質(zhì)，所述第一多條指令包括 使得所述第一數(shù)據(jù)處理器接收因特網(wǎng)上多個請求的指令；使得所述第一數(shù)據(jù)處理器在所述緩存器上存儲對于在因特網(wǎng)上接收的多個請求的子集的感興趣的字段類型的字段值的指令；使得所述第一數(shù)據(jù)處理器遞增和所述子集的總量相關(guān)的計數(shù)器的指令； 使得所述第一數(shù)據(jù)處理器確定形成所述緩存器的時期的指令； 使得所述第一數(shù)據(jù)處理器將所述緩存器發(fā)送到所述服務(wù)器的指令，其中所述服務(wù)器包括存儲第二多條指令用于控制第二數(shù)據(jù)處理器形成報告的第二計算機可讀介質(zhì)，所述第二多條指令包括使得所述第二數(shù)據(jù)處理器遞增和所述感興趣的多個字段類型的字段值相關(guān)的計數(shù)器的指令；使得所述第二數(shù)據(jù)處理器根據(jù)所述計數(shù)器分類所述字段值的指令； 使得所述第二數(shù)據(jù)處理器將所述報告?zhèn)魉偷剿鰣蟾嫦到y(tǒng)的指令。
15.如權(quán)利要求14所述的系統(tǒng)，其中所述請求包括如下至少一個DNS請求、IP請求、 OCSP請求或Whois請求。
16.如權(quán)利要求14所述的系統(tǒng)，其中所述多個處理引擎位于解析站點。
17.如權(quán)利要求16所述的系統(tǒng)，其中所述解析站點是DNS解析系統(tǒng)的組件。
18.如權(quán)利要求14所述的系統(tǒng)，其中緩存所述第一字段包括存儲字段類型、字段長度和字段值。
19.如權(quán)利要求14所述的系統(tǒng)，其中根據(jù)時間間隔的通道將所述緩存器發(fā)送到所述服務(wù)器。
20.如權(quán)利要求14所述的系統(tǒng)，其中根據(jù)達到緩存器尺寸限制將所述緩存器傳送到所述服務(wù)器。
21.如權(quán)利要求14所述的系統(tǒng)，其中所述服務(wù)器包括服務(wù)線程和報告線程。
全文摘要
一種記錄因特網(wǎng)請求的方法包括確定感興趣的多個字段類型并從因特網(wǎng)接收包括一個或多個字段的請求。該方法還包括確定所述一個或多個字段的第一字段的第一字段類型匹配所述感興趣的多個字段類型之一并在緩存器中緩存所述第一字段的至少一部分。該方法進一步包括確定所述一個或多個字段的第二字段的第二字段類型匹配所述感興趣的多個字段類型之一并在緩存器中緩存所述第二字段的至少一部分。該方法包括將緩存器傳送到服務(wù)器，確定字段值的發(fā)生數(shù)量以及提供包括字段值的發(fā)生數(shù)量的報告。
文檔編號G06F7/00GK102473085SQ201080033340
公開日2012年5月23日 申請日期2010年7月23日 優(yōu)先權(quán)日2009年7月27日
發(fā)明者A. 史密斯 C., A. 本特科夫斯基 M., 科塔帕利 M. 申請人:弗里塞恩公司