分布式多Agent的網(wǎng)站監(jiān)控方法和系統(tǒng)的制作方法
【專利摘要】一種分布式多Agent的網(wǎng)站監(jiān)控系統(tǒng)，包括：劃分的網(wǎng)絡(luò)、監(jiān)控Agent和監(jiān)控中心；方法包括步驟根據(jù)網(wǎng)絡(luò)供應(yīng)商和地域?qū)⒒ヂ?lián)網(wǎng)劃分成單位區(qū)域，依據(jù)各個區(qū)域的網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或多個監(jiān)控Agent。各監(jiān)控Agent用來監(jiān)控所需監(jiān)控的目標(biāo)網(wǎng)站，并定期向監(jiān)控中心匯報目標(biāo)網(wǎng)站運(yùn)行狀態(tài)；監(jiān)控中心對監(jiān)控Agent上報的評估數(shù)據(jù)和告警事件作出反應(yīng)。本發(fā)明用于監(jiān)控網(wǎng)站運(yùn)行狀況，確保每個網(wǎng)絡(luò)供應(yīng)商都可以訪問目標(biāo)網(wǎng)站，提高網(wǎng)站的運(yùn)營能力，降低監(jiān)控成本。
【專利說明】分布式多Agent的網(wǎng)站監(jiān)控方法和系統(tǒng)

【技術(shù)領(lǐng)域】
:
[0001]本發(fā)明涉及網(wǎng)絡(luò)技術(shù)和網(wǎng)絡(luò)安全領(lǐng)域，特別涉及一種分布式多Agent網(wǎng)站服務(wù)監(jiān)控系統(tǒng)和方法。

【背景技術(shù)】
:
[0002]隨著信息化的不斷發(fā)展，越來越多的組織和個人通過網(wǎng)絡(luò)進(jìn)行信息交流、購物等。網(wǎng)絡(luò)服務(wù)器能否對外提供正常的服務(wù)對許多組織越來越重要，特別是電商和大型政府組織和機(jī)構(gòu)的網(wǎng)站能否為所有用戶提供正常的服務(wù)至關(guān)重要。網(wǎng)站的正常服務(wù)關(guān)系到組織的能力和信譽(yù)，是組織能力的象征。
[0003]但是網(wǎng)絡(luò)中存在各種情況會導(dǎo)致網(wǎng)站無法被用戶訪問，例如網(wǎng)站機(jī)房故障、出口網(wǎng)絡(luò)中斷、DNS中毒等各種情況都會導(dǎo)致用戶無法訪問網(wǎng)站，給組織帶來損失。為了提供網(wǎng)站的可用性，防止網(wǎng)站無法對外提供服務(wù)，能夠讓網(wǎng)絡(luò)管理員迅速響應(yīng)，對現(xiàn)有文件檢索發(fā)現(xiàn)，當(dāng)前主要有兩種對網(wǎng)站進(jìn)行可用性監(jiān)控的方案，這兩種方案分別從內(nèi)部和外部對網(wǎng)站服務(wù)的可用性進(jìn)行預(yù)警，確保網(wǎng)絡(luò)處于正常服務(wù)的狀態(tài)下，但是存在缺點(diǎn)。
[0004]I)中國專利申請?zhí)?00710102466.2，名稱為“一種用于網(wǎng)站故障報警的系統(tǒng)及方法”通過檢測網(wǎng)站中監(jiān)控點(diǎn)處的故障井生成報警消息、將所述報警消息轉(zhuǎn)換為短消息格式、利用調(diào)制解調(diào)器經(jīng)無線通信網(wǎng)絡(luò)向移動終端發(fā)送所述轉(zhuǎn)換為短消息格式的報警消息三步完成對網(wǎng)站的監(jiān)控。
[0005]該專利提供的方案是在機(jī)房內(nèi)部署網(wǎng)絡(luò)監(jiān)控裝置，該監(jiān)控裝置定時輪詢網(wǎng)站服務(wù)器/設(shè)備/應(yīng)用程序，從網(wǎng)站的運(yùn)行狀態(tài)出發(fā)對網(wǎng)站進(jìn)行監(jiān)控，保證網(wǎng)站能夠正常運(yùn)行。但是該方案只能監(jiān)控網(wǎng)站服務(wù)器自身的正常運(yùn)轉(zhuǎn)，如果考慮到網(wǎng)站要被用戶訪問，還存在許多的脆弱點(diǎn)，例如機(jī)房的出口網(wǎng)絡(luò)、DNS是否正常等外部因素。這些外部因素會導(dǎo)致網(wǎng)站不能被用戶訪問。
[0006]2)中國專利申請?zhí)?01310170165.9，名稱為“網(wǎng)站實(shí)時狀態(tài)監(jiān)控方法及系統(tǒng)”提供了一種對網(wǎng)站進(jìn)行監(jiān)控的方案，該方案使用了外部網(wǎng)絡(luò)中的客戶端，通過客戶端的請求報文及對應(yīng)Web服務(wù)器端的響應(yīng)報文生成報文信息并存儲，分析所述報文信息以生成實(shí)時報表，為維護(hù)人員即時提供相關(guān)的網(wǎng)站動態(tài)信息，從而達(dá)到監(jiān)控網(wǎng)站的目的。
[0007]方案該方案是在外部網(wǎng)絡(luò)中部署監(jiān)控軟件，對網(wǎng)站進(jìn)行監(jiān)控，考慮到了網(wǎng)站的外部因素，從網(wǎng)站的最終功能出發(fā)對網(wǎng)站進(jìn)行監(jiān)控，保證網(wǎng)站能夠被外部用戶訪問。但是還是存在單點(diǎn)故障弱點(diǎn)。外部網(wǎng)絡(luò)部署的監(jiān)控軟件只能保證該軟件使用的網(wǎng)絡(luò)提供商所提供的網(wǎng)絡(luò)與被監(jiān)視網(wǎng)站之間的暢通，不能保證其他網(wǎng)絡(luò)提供商的網(wǎng)絡(luò)與被監(jiān)視網(wǎng)站之間的網(wǎng)絡(luò)是否暢通。特別是全地域服務(wù)的大型網(wǎng)站，可能在不同的地區(qū)和網(wǎng)絡(luò)中使用DNS動態(tài)均衡技術(shù)，這種方案不能發(fā)現(xiàn)網(wǎng)站的異常。


【發(fā)明內(nèi)容】

:
[0008]本發(fā)明目的在于克服上述現(xiàn)有技術(shù)的不足，提供一種使用分布式多點(diǎn)的網(wǎng)站監(jiān)控系統(tǒng)和方法，為全方面監(jiān)控網(wǎng)站的提供服務(wù)，并且能夠發(fā)現(xiàn)各種網(wǎng)絡(luò)服務(wù)商提供的網(wǎng)絡(luò)是否能夠訪問該網(wǎng)站。
[0009]本發(fā)明的技術(shù)方案具體方法如下。
[0010]一種分布式多Agent的網(wǎng)站監(jiān)控系統(tǒng)，其特點(diǎn)在于，包括:劃分的網(wǎng)絡(luò)、監(jiān)控Agent和監(jiān)控中心；
[0011]所述的劃分的網(wǎng)絡(luò)是指將整個互聯(lián)網(wǎng)按照地域和網(wǎng)絡(luò)服務(wù)商劃分成單位區(qū)域，地域劃分單位是城市，每個單位區(qū)域根據(jù)網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或者多個監(jiān)控Agent ；
[0012]所述的監(jiān)控Agent分布于所劃分的單位區(qū)域，用來監(jiān)控所需監(jiān)控的目標(biāo)網(wǎng)站，并通過加密信道向監(jiān)控中心上報所述的目標(biāo)網(wǎng)站的運(yùn)行狀態(tài)；
[0013]所述的監(jiān)控中心通過加密信道向所述的監(jiān)控Agent發(fā)送任務(wù)包,處理監(jiān)控Agent上報的所述的目標(biāo)網(wǎng)站的運(yùn)行狀態(tài)，并且提供時間同步服務(wù)，將所有的監(jiān)控Agent的時間與監(jiān)控中心的時間保持同步。
[0014]所述的監(jiān)控中心包括用戶管理接口模塊、監(jiān)控任務(wù)計算模塊、Agent注冊管理模塊、網(wǎng)站評估模塊、評估算法模塊和告警模塊；
[0015]所述的用戶管理接口模塊，用于在監(jiān)控列表中新增一個網(wǎng)站的域名D、網(wǎng)站的IP地址范圍，設(shè)置網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N，設(shè)置重點(diǎn)關(guān)注區(qū)域是所有二線以上的城市、不關(guān)注網(wǎng)絡(luò)服務(wù)提供商，并將設(shè)置好的參數(shù)傳遞給所述的監(jiān)控任務(wù)計算模塊和所述的Agent注冊管理模塊；
[0016]所述的監(jiān)控任務(wù)計算模塊，通過正常運(yùn)行的監(jiān)控Agent的分布參數(shù)，計算分配給每個運(yùn)行的監(jiān)控Agent的任務(wù)包；
[0017]所述的Agent注冊管理模塊，用于管理監(jiān)控Agent ；
[0018]所述的網(wǎng)站評估模塊，用于完成監(jiān)控內(nèi)容，評估目標(biāo)網(wǎng)站的首頁關(guān)注、全站掃描、登錄掃描息；
[0019]所述的評估算法模塊，根據(jù)所述監(jiān)控Agent上傳的網(wǎng)站運(yùn)行狀態(tài)來實(shí)時計算目標(biāo)網(wǎng)站的健康指數(shù)；
[0020]所述的告警模塊，用于將所述監(jiān)控Agent上傳的DNS告警內(nèi)容通過Email通知網(wǎng)站管理員，請網(wǎng)站管理員確認(rèn)該映射IP是否為該網(wǎng)站新添加的服務(wù)IP地址:如果網(wǎng)站管理員確認(rèn)該IP是新添加的網(wǎng)站IP，監(jiān)控任務(wù)計算模塊將生成調(diào)整IP的任務(wù)包，將該IP變化情況通知所有監(jiān)控Agent，并對目標(biāo)網(wǎng)站健康指數(shù)進(jìn)行復(fù)位修正。
[0021]所述的監(jiān)控Agent能夠訪問互聯(lián)網(wǎng)，無需獨(dú)立公網(wǎng)IP，DNS使用當(dāng)?shù)鼐W(wǎng)絡(luò)服務(wù)商提供的DNS ;所述Agent通過加密網(wǎng)絡(luò)信道主動訪問監(jiān)控中心，并定期向監(jiān)控中心上報Agent自身運(yùn)行狀態(tài)和所述目標(biāo)網(wǎng)站的運(yùn)行狀態(tài)。
[0022]所述的Agent自身運(yùn)行狀態(tài)包括=Agent自身服務(wù)是否正常開啟；DNS和IP設(shè)置；正在執(zhí)行的任務(wù)包數(shù)量和每個任務(wù)包的標(biāo)識碼。
[0023]一種分布式多Agent網(wǎng)站監(jiān)控方法，其特點(diǎn)在于，該方法包括以下步驟:
[0024]步驟一、根據(jù)網(wǎng)絡(luò)供應(yīng)商和地域?qū)⒒ヂ?lián)網(wǎng)劃分成單位區(qū)域，依據(jù)各個區(qū)域的網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或多個監(jiān)控Agent ；
[0025]步驟二、用戶在監(jiān)控中心添加需要監(jiān)控的目標(biāo)網(wǎng)站域名，并設(shè)置相應(yīng)的監(jiān)控頻率，如果監(jiān)控中心發(fā)現(xiàn)有新的監(jiān)控Agent加入工作或者某個監(jiān)控Agent出現(xiàn)異常,監(jiān)控中心將根據(jù)監(jiān)控Agent情況重新計算任務(wù)包,并將該任務(wù)包發(fā)給活動的監(jiān)控Agent ；
[0026]步驟三、監(jiān)控Agent通過加密信道主動訪問監(jiān)控中心，并將自身的運(yùn)行狀態(tài)定期向監(jiān)控中心通報，監(jiān)控中心提供時間同步服務(wù)；
[0027]步驟四、監(jiān)控中心通過分析監(jiān)控Agent上報的所述Agent自身運(yùn)行狀態(tài)數(shù)據(jù)，對正常運(yùn)行的監(jiān)控Agent以網(wǎng)絡(luò)服務(wù)商+DNS+城市分類；
[0028]步驟五、監(jiān)控中心計算出每個監(jiān)控Agent的任務(wù)包；
[0029]步驟六、監(jiān)控中心將任務(wù)包通過加密的網(wǎng)絡(luò)信道分發(fā)給每個監(jiān)控Agent ；
[0030]步驟七、監(jiān)控Agent接受到監(jiān)控中心發(fā)來的任務(wù)包，根據(jù)任務(wù)包中網(wǎng)站監(jiān)控指令執(zhí)行相關(guān)操作，并將采集到目標(biāo)網(wǎng)站的數(shù)據(jù)進(jìn)行分析評估，最后將目標(biāo)網(wǎng)站的性能參數(shù)送回到監(jiān)控中心，直到該監(jiān)控Agent收到取消或者修改該監(jiān)控任務(wù)的新的任務(wù)包；
[0031]步驟八、監(jiān)控中心收集各個監(jiān)控Agent上報的目標(biāo)網(wǎng)站的性能參數(shù)，并根據(jù)這些數(shù)據(jù)和監(jiān)控Agent的分布情況，計算目標(biāo)網(wǎng)站的健康指數(shù)，如果網(wǎng)站的健康指數(shù)低于預(yù)先設(shè)置的閾值，告知該網(wǎng)站的運(yùn)營人員。
[0032]所述的步驟七,監(jiān)控Agent接收到監(jiān)控中心的任務(wù)包,通過比對HASH摘要,確定任務(wù)包的完整性，并根據(jù)任務(wù)包參數(shù)，周期性執(zhí)行以下操作步驟:
[0033]I)向網(wǎng)絡(luò)服務(wù)商提供的DNS服務(wù)器請求該域名的IP ；
[0034]2)如果DNS服務(wù)器無法響應(yīng)，將列為告警事件，并立即上報監(jiān)控中心，跳轉(zhuǎn)步驟6)；
[0035]如果DNS服務(wù)器響應(yīng)，記錄DNS服務(wù)器響應(yīng)時間，并將DNS服務(wù)器反饋的IP和任務(wù)包中的網(wǎng)站IP地址范圍進(jìn)行對比；
[0036]3)如果該IP不在任務(wù)包中的IP地址范圍中，將列為DNS告警事件，并立即上報監(jiān)控中心，進(jìn)入步驟4)；
[0037]如果該IP在任務(wù)包中的IP地址范圍中，則直接進(jìn)入步驟4)；
[0038]4)測試該IP提供的HTTP/HTTPS服務(wù)是否能夠訪問；
[0039]如果不能訪問，將列為告警事件，并立即上報監(jiān)控中心，跳轉(zhuǎn)步驟6)；
[0040]如果該IP提供的HTTP/HTTPS服務(wù)能夠訪問，根據(jù)監(jiān)控內(nèi)容對該IP的網(wǎng)絡(luò)服務(wù)進(jìn)行深度不同的掃描評估；
[0041]5)掃描評估結(jié)束后，將評估的相關(guān)參數(shù)上報監(jiān)控中心；
[0042]6)清空DNS緩存，本周期結(jié)束。
[0043]所述的用戶在所述監(jiān)控中心監(jiān)控列表中新增一個網(wǎng)站的域名D，網(wǎng)站的IP地址范圍，并設(shè)置網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N，單位是分鐘/周期；監(jiān)控的時間范圍是T，單位可以是小時、天、月和年等；設(shè)置重點(diǎn)關(guān)注區(qū)域是所有二線以上的城市，不關(guān)注網(wǎng)絡(luò)服務(wù)提供商。
[0044]所述的任務(wù)包包括如下參數(shù):域名、該域名對應(yīng)的IP范圍、動作、監(jiān)控內(nèi)容、操作啟動時間、時間周期、偏移時間、執(zhí)行任務(wù)的總時間、無法訪問該域名時采用的策略、附加參數(shù)表，任務(wù)包的HASH摘要。
[0045]將每個監(jiān)控Agent的執(zhí)行時間進(jìn)行等量偏移，偏移參數(shù)是N*60/(M+P*C)秒，其中，N是時間周期參數(shù)，M是運(yùn)行的Agent數(shù)量，C是重點(diǎn)關(guān)注地區(qū)個數(shù)，P是關(guān)注度。
[0046]每個監(jiān)控Agent的時間周期根據(jù)包括監(jiān)控內(nèi)容、Agent所在的城市、用戶的關(guān)注度進(jìn)行調(diào)整，監(jiān)控內(nèi)容包括首頁關(guān)注、全站掃描、登錄掃描。
[0047]所述的健康指數(shù)包括DNS健康度、網(wǎng)站首頁健康度、除首頁外其他頁面的健康度、圖片訪問的健康度、死鏈總數(shù)和出錯頁面總數(shù)。
[0048]所述的監(jiān)控中心接收到監(jiān)控Agent的DNS告警事件后，將該DNS告警內(nèi)容通過Email通知網(wǎng)站管理員，請網(wǎng)站管理員確認(rèn)該映射IP是否為該網(wǎng)站新添加的服務(wù)IP地址；如果網(wǎng)站管理員確認(rèn)該IP是新添加的網(wǎng)站IP，監(jiān)控中心將生成調(diào)整IP的任務(wù)包，將該IP變化情況通知所有監(jiān)控Agent，并對網(wǎng)站健康指數(shù)進(jìn)行復(fù)位修正。
[0049]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下:
[0050]I)通過多網(wǎng)絡(luò)多點(diǎn)從外部監(jiān)控被監(jiān)控的網(wǎng)站方式，對網(wǎng)站能否覆蓋所有用戶進(jìn)行及時預(yù)警，確保當(dāng)出現(xiàn)任何網(wǎng)絡(luò)異常和內(nèi)部異常情況，造成網(wǎng)絡(luò)無法提供服務(wù)，網(wǎng)絡(luò)運(yùn)營方能夠第一時間感知，提聞網(wǎng)站的運(yùn)營能力。
[0051]2)通過監(jiān)控中心通過分配算法,分配各個參與Agent的工作。各個Agent對網(wǎng)站服務(wù)的訪問的時間點(diǎn)和周期有時間差，不會對網(wǎng)站造成并發(fā)壓力。而且，每個Agent可以監(jiān)控大量的網(wǎng)站，可以降低監(jiān)控成本。由于每個監(jiān)控Agent使用的DNS由網(wǎng)絡(luò)提供商提供，可以有效的監(jiān)控域名劫持攻擊。

【專利附圖】

【附圖說明】
:
[0052]圖1是本發(fā)明的系統(tǒng)模塊結(jié)構(gòu)圖。
[0053]圖2是本發(fā)明的系統(tǒng)工作流程圖。
[0054]圖3是本發(fā)明監(jiān)控Agent模塊執(zhí)行任務(wù)包的流程圖。

【具體實(shí)施方式】
:
[0055]下面是對本發(fā)明的實(shí)施例作詳細(xì)說明，本發(fā)明實(shí)施例在以本發(fā)明技術(shù)方案為前提下實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下面的實(shí)施例。
[0056]下面參照附圖，對本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)描述。
[0057]圖1是本發(fā)明的系統(tǒng)模塊結(jié)構(gòu)圖，包括監(jiān)控中心模塊100和監(jiān)控Agentl07、108、109、110。監(jiān)控中心100包括用戶管理接口 101、監(jiān)控任務(wù)計算模塊102、Agent注冊管理模塊103、評估算法模塊104、網(wǎng)站評估數(shù)據(jù)模塊105、告警模塊106。
[0058]用戶管理接口 101，屬于監(jiān)控中心子模塊，用戶通過用戶管理接口 101，可以實(shí)現(xiàn)在監(jiān)控列表中新增一個網(wǎng)站的域名D、網(wǎng)站的IP地址范圍，設(shè)置網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N，設(shè)置重點(diǎn)關(guān)注區(qū)域是所有二線以上的城市、不關(guān)注網(wǎng)絡(luò)服務(wù)提供商。
[0059]監(jiān)控任務(wù)計算模塊102，屬于監(jiān)控中心子模塊，結(jié)合正常運(yùn)行的監(jiān)控Agent的分布參數(shù)，計算處分配給每個運(yùn)行的監(jiān)控Agent的任務(wù)包。任務(wù)包包括如下參數(shù):域名、該域名對應(yīng)的IP范圍、動作、監(jiān)控內(nèi)容、操作啟動時間、時間周期、偏移時間、執(zhí)行任務(wù)的總時間、無法訪問該域名時采用的策略、附加參數(shù)表，任務(wù)包的HASH摘要。
[0060]Agent注冊管理模塊103，屬于監(jiān)控中心子模塊，用于管理監(jiān)控Agent。
[0061]評估算法模塊104，屬于監(jiān)控中心子模塊，監(jiān)控中心通過接收到的監(jiān)控Agent上報的評估數(shù)據(jù)和告警事件，通過評估算法模塊，結(jié)合網(wǎng)站用戶關(guān)注的重點(diǎn)區(qū)域城市，實(shí)時計算網(wǎng)站的健康指數(shù)。
[0062]網(wǎng)站評估模塊105，屬于監(jiān)控中心子模塊，用于完成監(jiān)控內(nèi)容，評估網(wǎng)站的首頁關(guān)注、全站掃描、登錄掃描信息。
[0063]告警模塊106，屬于監(jiān)控中心子模塊，用于將DNS告警內(nèi)容通過Email通知網(wǎng)站管理員，請網(wǎng)站管理員確認(rèn)該映射IP是否為該網(wǎng)站新添加的服務(wù)IP地址。如果網(wǎng)站管理員確認(rèn)該IP是新添加的網(wǎng)站IP，監(jiān)控中心將生成調(diào)整IP的任務(wù)包，將該IP變化情況通知所有監(jiān)控Agent，并對網(wǎng)站健康指數(shù)進(jìn)行復(fù)位修正。
[0064]將整個互聯(lián)網(wǎng)按照地域和網(wǎng)絡(luò)服務(wù)商進(jìn)行劃分，地域劃分單位是城市。每個劃分出的單位區(qū)域再根據(jù)網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或者多個監(jiān)控Agent。監(jiān)控Agent模塊，分布于所劃分的單位區(qū)域，用來監(jiān)控所需監(jiān)控的目標(biāo)網(wǎng)站，并通過加密信道向監(jiān)控中心上報所述目標(biāo)網(wǎng)站運(yùn)行狀態(tài)。
[0065]監(jiān)控中心模塊,通過加密信道向監(jiān)控Agent模塊發(fā)送任務(wù)包,處理監(jiān)控Agent上報的所述目標(biāo)網(wǎng)站運(yùn)行狀態(tài)，并且提供時間同步服務(wù)，將所有的監(jiān)控Agent的時間與監(jiān)控中心100時間保持同步。
[0066]圖2為本發(fā)明的系統(tǒng)工作流程圖，分為監(jiān)控中心201和監(jiān)控節(jié)點(diǎn)兩部分。
[0067]參照圖2和3，具體實(shí)施步驟如下。
[0068]I)、劃分網(wǎng)絡(luò)和分配監(jiān)控Agent (步驟202、203)
[0069]將整個互聯(lián)網(wǎng)按照地域和網(wǎng)絡(luò)服務(wù)商進(jìn)行劃分，地域劃分單位是城市。在每個劃分出的單位區(qū)域中根據(jù)劃分出的網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或者多個監(jiān)控Agent。在圖中，所劃分區(qū)域安裝的監(jiān)控Agent由模塊107-110代表但不限于模塊107-110。監(jiān)控Agent模塊107-110不需要獨(dú)立公網(wǎng)IP，只需要能夠訪問互聯(lián)網(wǎng)，并且Agent的DNS都使用當(dāng)?shù)鼐W(wǎng)絡(luò)服務(wù)商提供的DNS，不進(jìn)行統(tǒng)一設(shè)置。
[0070]2)、用戶配置(步驟204)
[0071]用戶通過監(jiān)控中心100中的用戶管理接口 101，可以實(shí)現(xiàn)在監(jiān)控列表中新增一個網(wǎng)站的域名D、網(wǎng)站的IP地址范圍，設(shè)置網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N，設(shè)置重點(diǎn)關(guān)注區(qū)域是所有二線以上的城市、不關(guān)注網(wǎng)絡(luò)服務(wù)提供商。網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N的單位是分鐘/周期，監(jiān)控的時間范圍是T，單位可以是小時、天、月和年。
[0072]3)、建立加密信道(步驟205)
[0073]監(jiān)控Agent 107-110通過加密信道主動訪問監(jiān)控中心100，并維持和監(jiān)控中心100的通信信道，其中監(jiān)控中心100不僅需要能夠訪問互聯(lián)網(wǎng)，還需要能夠被外部網(wǎng)絡(luò)訪問。監(jiān)控Agent 107-110將自身的運(yùn)行狀態(tài)定期向監(jiān)控中心100通報。同時，監(jiān)控中心100提供時間同步服務(wù)，所有的監(jiān)控Agent包括監(jiān)控Agentl07-110的時間和監(jiān)控中心100時間同步。
[0074]4)、監(jiān)控Agent上報運(yùn)行狀態(tài)(步驟206)
[0075]監(jiān)控Agentl07_110上報的運(yùn)行狀態(tài)包括Agent自身服務(wù)是否正常開啟，DNS，IP設(shè)置，正在執(zhí)行的任務(wù)包數(shù)量和每個任務(wù)包的標(biāo)識碼。
[0076]5)、分類管理監(jiān)控Agent (步驟207)
[0077]監(jiān)控中心100通過分析監(jiān)控Agent 107-110上報的運(yùn)行狀態(tài)數(shù)據(jù)，對正常運(yùn)行的監(jiān)控Agent以網(wǎng)絡(luò)服務(wù)商+DNS+城市進(jìn)行分類，該分類作為監(jiān)控網(wǎng)站任務(wù)計算分配的一個重要參數(shù)。
[0078]6)、計算任務(wù)包(步驟208)
[0079]監(jiān)控中心100的監(jiān)控任務(wù)計算模塊102根據(jù)用戶設(shè)置的參數(shù)，結(jié)合正常運(yùn)行的監(jiān)控Agent的分布參數(shù),得出分配給每個運(yùn)行的監(jiān)控Agent的任務(wù)包。任務(wù)包包括如下參數(shù):域名、該域名對應(yīng)的IP范圍、動作、監(jiān)控內(nèi)容、操作啟動時間、時間周期、偏移時間、執(zhí)行任務(wù)的總時間、無法訪問該域名時采用的策略、附加參數(shù)表，任務(wù)包的HASH摘要等。
[0080]7)、分配任務(wù)包(步驟209)
[0081]監(jiān)控中心100將每個Agent的任務(wù)包通過加密信息分別發(fā)給每個監(jiān)控Agent。
[0082]為了避免多個Agent同時訪問網(wǎng)站對網(wǎng)站訪問造成并發(fā)壓力，將每個Agent的執(zhí)行時間進(jìn)行等量偏移，偏移參數(shù)是N*60/ (M+P*C)秒(N是時間周期參數(shù)，M是運(yùn)行的Agent數(shù)量，C是重點(diǎn)關(guān)注地區(qū)個數(shù)，P是關(guān)注度)。每個Agent的時間周期根據(jù)監(jiān)控內(nèi)容、Agent所在的城市、用戶的關(guān)注度進(jìn)行調(diào)整。
[0083]監(jiān)控內(nèi)容具體由網(wǎng)站評估模塊105完成，具體分為首頁關(guān)注、全站掃描、登錄掃描等。首頁關(guān)注是重點(diǎn)評估網(wǎng)站的首頁的服務(wù)時間、下載時間、首頁圖片下載時間和死鏈等；全站掃描不僅對首頁的相關(guān)參數(shù)進(jìn)行評估，而且對網(wǎng)站內(nèi)所有的頁面都進(jìn)行評估；登錄掃描是根據(jù)用戶提供的密碼登錄網(wǎng)站，評估被密碼保護(hù)的頁面的相關(guān)參數(shù)。
[0084]8)、執(zhí)行任務(wù)包和判斷網(wǎng)站運(yùn)行情況(步驟210、211)
[0085]監(jiān)控Agent 107-110接收到監(jiān)控中心100的任務(wù)包之后，首先通過比對HASH摘要來確定任務(wù)包的完整性。如果任務(wù)包完整，監(jiān)控Agent 107-110根據(jù)任務(wù)包參數(shù)，周期性執(zhí)行圖3流程圖所示的操作步驟。
[0086]任務(wù)包300表示由監(jiān)控中心100發(fā)給監(jiān)控Agent 107-110的任務(wù)包。
[0087]監(jiān)控Agent 107-110收到任務(wù)包300后，執(zhí)行步驟301，向網(wǎng)絡(luò)服務(wù)商提供的DNS服務(wù)器請求該域名的IP地址。
[0088]步驟302表示監(jiān)控Agent 107-110對所請求DNS服務(wù)器是否響應(yīng)作出判斷，如果DNS服務(wù)器無法響應(yīng)，執(zhí)行步驟308生成告警事件，并立即上報監(jiān)控中心(步驟309)，跳轉(zhuǎn)步驟307，清空DNS緩存，本周期結(jié)束。
[0089]如果DNS服務(wù)器響應(yīng)，監(jiān)控Agentl07_110記錄DNS服務(wù)器響應(yīng)時間，并執(zhí)行判斷步驟303將DNS服務(wù)器反饋的IP地址和任務(wù)包中的網(wǎng)站IP地址范圍進(jìn)行對比，判斷該IP是否在任務(wù)包中的IP地址范圍中，如果該IP不在任務(wù)包中的IP地址范圍中，則執(zhí)行步驟312生成DNS告警事件，并立即上報監(jiān)控中心100 (步驟313)。
[0090]然后執(zhí)行判斷步驟304，測試是否能夠訪問DNS服務(wù)器反饋的IP提供的HTTP/HTTPS服務(wù)，如果不能，將生成告警事件310，并立即上報監(jiān)控中心110(步驟311)，跳轉(zhuǎn)步驟307，清空DNS緩存，本周期結(jié)束。
[0091 ] 如果能夠訪問DNS服務(wù)器反饋的IP提供的HTTP/HTTPS服務(wù)，則執(zhí)行步驟305，根據(jù)監(jiān)控內(nèi)容對該IP的網(wǎng)絡(luò)服務(wù)進(jìn)行深度不同的掃描評估。
[0092]掃描評估結(jié)束后，執(zhí)行步驟306，將評估的相關(guān)參數(shù)上報監(jiān)控中心，然后執(zhí)行步驟307，清空DNS緩存，本周期結(jié)束。
[0093]9)、監(jiān)控中心作出反應(yīng)(步驟212)
[0094]監(jiān)控中心100接收到監(jiān)控Agentl07_110上報的評估數(shù)據(jù)和告警事件，由評估算法模塊104結(jié)合網(wǎng)站用戶關(guān)注的重點(diǎn)區(qū)域城市，實(shí)時計算網(wǎng)站的健康指數(shù)。網(wǎng)站的健康指數(shù)包括DNS健康度、網(wǎng)站首頁健康度、除首頁外其他頁面的健康度、圖片訪問的健康度、死鏈總數(shù)、出錯頁面總數(shù)等。
[0095]如果網(wǎng)站的實(shí)時健康指數(shù)低于預(yù)定的閾值，網(wǎng)站將通過Email、短信通知網(wǎng)站管理員；
[0096]監(jiān)控中心100接收到監(jiān)控Agent 107-110的DNS告警事件后，不僅列入健康指數(shù)計算中，同時將該DNS告警內(nèi)容通過Email通知網(wǎng)站管理員，請網(wǎng)站管理員確認(rèn)該映射IP是否為該網(wǎng)站新添加的服務(wù)IP地址。如果網(wǎng)站管理員確認(rèn)該IP是新添加的網(wǎng)站IP，監(jiān)控中心將生成調(diào)整IP的任務(wù)包，將該IP變化情況通知所有監(jiān)控Agent，并對網(wǎng)站健康指數(shù)進(jìn)行復(fù)位修正。
【權(quán)利要求】
1.一種分布式多Agent的網(wǎng)站監(jiān)控系統(tǒng)，其特征在于，包括:劃分的網(wǎng)絡(luò)、監(jiān)控Agent和監(jiān)控中心； 所述的劃分的網(wǎng)絡(luò)是指將整個互聯(lián)網(wǎng)按照地域和網(wǎng)絡(luò)服務(wù)商劃分成單位區(qū)域，地域劃分單位是城市，每個單位區(qū)域根據(jù)網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或者多個監(jiān)控Agent ; 所述的監(jiān)控Agent分布于所劃分的單位區(qū)域，用來監(jiān)控所需監(jiān)控的目標(biāo)網(wǎng)站，并通過加密信道向監(jiān)控中心上報所述的目標(biāo)網(wǎng)站的運(yùn)行狀態(tài)； 所述的監(jiān)控中心通過加密信道向所述的監(jiān)控Agent發(fā)送任務(wù)包，處理監(jiān)控Agent上報的所述的目標(biāo)網(wǎng)站的運(yùn)行狀態(tài)，并且提供時間同步服務(wù)，將所有的監(jiān)控Agent的時間與監(jiān)控中心的時間保持冋步。
2.根據(jù)權(quán)利要求1所述的分布式多Agent的網(wǎng)站監(jiān)控系統(tǒng)，其特征在于，所述的監(jiān)控中心包括用戶管理接口模塊、監(jiān)控任務(wù)計算模塊、Agent注冊管理模塊、網(wǎng)站評估模塊、評估算法模塊和告警模塊； 所述的用戶管理接口模塊，用于在監(jiān)控列表中新增一個網(wǎng)站的域名D、網(wǎng)站的IP地址范圍，設(shè)置網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N，設(shè)置重點(diǎn)關(guān)注區(qū)域是所有二線以上的城市、不關(guān)注網(wǎng)絡(luò)服務(wù)提供商，并將設(shè)置好的參數(shù)傳遞給所述的監(jiān)控任務(wù)計算模塊和所述的Agent注冊管理模塊； 所述的監(jiān)控任務(wù)計算模塊，通過正常運(yùn)行的監(jiān)控Agent的分布參數(shù)，計算分配給每個運(yùn)行的監(jiān)控Agent的任務(wù)包； 所述的Agent注冊管理模塊，用于管理監(jiān)控Agent ； 所述的網(wǎng)站評估模塊，用于完成監(jiān)控內(nèi)容，評估目標(biāo)網(wǎng)站的首頁關(guān)注、全站掃描、登錄掃描信息； 所述的評估算法模塊，根據(jù)所述監(jiān)控Agent上傳的網(wǎng)站運(yùn)行狀態(tài)來實(shí)時計算目標(biāo)網(wǎng)站的健康指數(shù)； 所述的告警模塊，用于將所述監(jiān)控Agent上傳的DNS告警內(nèi)容通過Email通知網(wǎng)站管理員，請網(wǎng)站管理員確認(rèn)該映射IP是否為該網(wǎng)站新添加的服務(wù)IP地址:如果網(wǎng)站管理員確認(rèn)該IP是新添加的網(wǎng)站IP，監(jiān)控任務(wù)計算模塊將生成調(diào)整IP的任務(wù)包，將該IP變化情況通知所有監(jiān)控Agent，并對目標(biāo)網(wǎng)站健康指數(shù)進(jìn)行復(fù)位修正。
3.根據(jù)權(quán)利要求1所述的分布式多Agent的網(wǎng)站監(jiān)控系統(tǒng)，其特征在于，所述的監(jiān)控Agent能夠訪問互聯(lián)網(wǎng)，無需獨(dú)立公網(wǎng)IP，DNS使用當(dāng)?shù)鼐W(wǎng)絡(luò)服務(wù)商提供的DNS ;所述Agent通過加密網(wǎng)絡(luò)信道主動訪問監(jiān)控中心，并定期向監(jiān)控中心上報Agent自身運(yùn)行狀態(tài)和所述目標(biāo)網(wǎng)站的運(yùn)行狀態(tài)。
4.根據(jù)權(quán)利要求3所述的分布式多Agent的網(wǎng)站監(jiān)控系統(tǒng)，其特征在于，所述的Agent自身運(yùn)行狀態(tài)包括:Agent自身服務(wù)是否正常開啟；DNS和IP設(shè)置；正在執(zhí)行的任務(wù)包數(shù)量和每個任務(wù)包的標(biāo)識碼。
5.一種分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，該方法包括以下步驟: 步驟一、根據(jù)網(wǎng)絡(luò)供應(yīng)商和地域?qū)⒒ヂ?lián)網(wǎng)劃分成單位區(qū)域，依據(jù)各個區(qū)域的網(wǎng)絡(luò)大小和結(jié)構(gòu)部署一個或多個監(jiān)控Agent ； 步驟二、用戶在監(jiān)控中心添加需要監(jiān)控的目標(biāo)網(wǎng)站域名，并設(shè)置相應(yīng)的監(jiān)控頻率，如果監(jiān)控中心發(fā)現(xiàn)有新的監(jiān)控Agent加入工作或者某個監(jiān)控Agent出現(xiàn)異常，監(jiān)控中心將根據(jù)監(jiān)控Agent情況重新計算任務(wù)包,并將該任務(wù)包發(fā)給活動的監(jiān)控Agent ； 步驟三、監(jiān)控Agent通過加密信道主動訪問監(jiān)控中心，并將自身的運(yùn)行狀態(tài)定期向監(jiān)控中心通報，監(jiān)控中心提供時間同步服務(wù)； 步驟四:監(jiān)控中心通過分析監(jiān)控Agent上報的所述Agent自身運(yùn)行狀態(tài)數(shù)據(jù)，對正常運(yùn)行的監(jiān)控Agent以網(wǎng)絡(luò)服務(wù)商+DNS+城市分類； 步驟五:監(jiān)控中心計算出每個監(jiān)控Agent的任務(wù)包； 步驟六:監(jiān)控中心將任務(wù)包通過加密的網(wǎng)絡(luò)信道分發(fā)給每個監(jiān)控Agent ； 步驟七:監(jiān)控Agent接受到監(jiān)控中心發(fā)來的任務(wù)包，根據(jù)任務(wù)包中網(wǎng)站監(jiān)控指令執(zhí)行相關(guān)操作，并將采集到目標(biāo)網(wǎng)站的數(shù)據(jù)進(jìn)行分析評估，最后將目標(biāo)網(wǎng)站的性能參數(shù)送回到監(jiān)控中心，直到該監(jiān)控Agent收到取消或者修改該監(jiān)控任務(wù)的新的任務(wù)包； 步驟八、監(jiān)控中心收集各個監(jiān)控Agent上報的目標(biāo)網(wǎng)站的性能參數(shù)，并根據(jù)這些數(shù)據(jù)和監(jiān)控Agent的分布情況，計算目標(biāo)網(wǎng)站的健康指數(shù)，如果網(wǎng)站的健康指數(shù)低于預(yù)先設(shè)置的閾值，告知該網(wǎng)站的運(yùn)營人員。
6.根據(jù)權(quán)利要求5所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，所述的步驟七、監(jiān)控Agent接收到監(jiān)控中心的任務(wù)包，通過比對HASH摘要，確定任務(wù)包的完整性，并根據(jù)任務(wù)包參數(shù)，周期性執(zhí)行以下操作步驟: 1)向網(wǎng)絡(luò)服務(wù)商提供的DNS服務(wù)器請求該域名的IP； 2)如果DNS服務(wù)器無法響應(yīng)，將列為告警事件，并立即上報監(jiān)控中心，跳轉(zhuǎn)步驟6)； 如果DNS服務(wù)器響應(yīng)，記錄DNS服務(wù)器響應(yīng)時間，并將DNS服務(wù)器反饋的IP和任務(wù)包中的網(wǎng)站IP地址范圍進(jìn)行對比； 3)如果該IP不在任務(wù)包中的IP地址范圍中，將列為DNS告警事件，并立即上報監(jiān)控中心，進(jìn)入步驟4)； 如果該IP在任務(wù)包中的IP地址范圍中，則直接進(jìn)入步驟4)； 4)測試該IP提供的HTTP/HTTPS服務(wù)是否能夠訪問: 如果不能訪問，將列為告警事件，并立即上報監(jiān)控中心，跳轉(zhuǎn)步驟6)； 如果該IP提供的HTTP/HTTPS服務(wù)能夠訪問，根據(jù)監(jiān)控內(nèi)容對該IP的網(wǎng)絡(luò)服務(wù)進(jìn)行深度不同的掃描評估； 5)掃描評估結(jié)束后，將評估的相關(guān)參數(shù)上報監(jiān)控中心； 6)清空DNS緩存，本周期結(jié)束。
7.根據(jù)權(quán)利要求5所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，所述的用戶在所述監(jiān)控中心監(jiān)控列表中新增一個網(wǎng)站的域名D，網(wǎng)站的IP地址范圍，并設(shè)置網(wǎng)站服務(wù)監(jiān)控的時間周期參數(shù)N，單位是分鐘/周期；監(jiān)控的時間范圍是T，單位可以是小時、天、月和年等；設(shè)置重點(diǎn)關(guān)注區(qū)域是所有二線以上的城市，不關(guān)注網(wǎng)絡(luò)服務(wù)提供商。
8.根據(jù)權(quán)利要求5所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，所述的任務(wù)包包括如下參數(shù):域名、該域名對應(yīng)的IP范圍、動作、監(jiān)控內(nèi)容、操作啟動時間、時間周期、偏移時間、執(zhí)行任務(wù)的總時間、無法訪問該域名時采用的策略、附加參數(shù)表，任務(wù)包的HASH摘要。
9.根據(jù)權(quán)利要求5所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，將每個監(jiān)控Agent的執(zhí)行時間進(jìn)行等量偏移，偏移參數(shù)是N*60/(M+P*C)秒，其中，N是時間周期參數(shù)，Μ是運(yùn)行的Agent數(shù)量，C是重點(diǎn)關(guān)注地區(qū)個數(shù)，P是關(guān)注度。
10.根據(jù)權(quán)利要求5所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，每個監(jiān)控Agent的時間周期根據(jù)包括監(jiān)控內(nèi)容、Agent所在的城市、用戶的關(guān)注度進(jìn)行調(diào)整，監(jiān)控內(nèi)容包括首頁關(guān)注、全站掃描、登錄掃描。
11.根據(jù)權(quán)利要求5所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，所述的健康指數(shù)包括DNS健康度、網(wǎng)站首頁健康度、除首頁外其他頁面的健康度、圖片訪問的健康度、死鏈總數(shù)和出錯頁面總數(shù)。
12.根據(jù)權(quán)利要求6所述的分布式多Agent網(wǎng)站監(jiān)控方法，其特征在于，監(jiān)控中心接收到監(jiān)控Agent的DNS告警事件后，將該DNS告警內(nèi)容通過Email通知網(wǎng)站管理員，請網(wǎng)站管理員確認(rèn)該映射IP是否為該網(wǎng)站新添加的服務(wù)IP地址；如果網(wǎng)站管理員確認(rèn)該IP是新添加的網(wǎng)站IP，監(jiān)控中心將生成調(diào)整IP的任務(wù)包，將該IP變化情況通知所有監(jiān)控Agent，并對網(wǎng)站健康指數(shù)進(jìn)行復(fù)位修正。
【文檔編號】H04L29/08GK104320446SQ201410541911
【公開日】2015年1月28日 申請日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】梁琳, 夏正敏, 李建華, 伍軍, 夏業(yè)超, 吳登科 申請人:上海交通大學(xué), 上海鵬越驚虹信息技術(shù)發(fā)展有限公司