網(wǎng)絡(luò)集群實時監(jiān)控方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及網(wǎng)絡(luò)集群，更具體地，涉及一種網(wǎng)絡(luò)集群的實時監(jiān)控方法和系統(tǒng)。
【背景技術(shù)】
[0002]在網(wǎng)絡(luò)集群、特別是大規(guī)模網(wǎng)絡(luò)集群中，大量的服務(wù)器、虛擬機以及各種資源需要進行管理，以便在其發(fā)生問題時，能夠及時告警和實現(xiàn)自動化處理。現(xiàn)有的技術(shù)方案包括對數(shù)據(jù)進行采集，然后將其發(fā)送給中心服務(wù)器。中心服務(wù)器將數(shù)據(jù)與設(shè)定的規(guī)則進行閾值匹配，并在發(fā)現(xiàn)問題時進行告警處理。但是，這種技術(shù)方案難以實現(xiàn)大規(guī)模的橫向擴展。當集群規(guī)模大到一定程度，中心服務(wù)器會成為系統(tǒng)短板，不能根據(jù)集群規(guī)模進行線性擴展。同時，這種方案的匹配規(guī)則過于簡單。而且，這種方案的告警方式局限于郵件和短信告警，然后由運維人員進行處理，自動化程度低。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的一個方面提供了一種網(wǎng)絡(luò)集群實時監(jiān)控方法，所述網(wǎng)絡(luò)集群包括多個網(wǎng)絡(luò)資源，所述方法包括:使用第一多個采集模塊從所述多個網(wǎng)絡(luò)資源采集數(shù)據(jù)，并將數(shù)據(jù)發(fā)送到第一消息隊列或消息隊列集群；從第二多個過濾模塊中選擇一個過濾模塊，根據(jù)過濾規(guī)則，對所述第一消息隊列或消息隊列集群中的數(shù)據(jù)執(zhí)行過濾處理，以識別需要處理的數(shù)據(jù)，并將需要處理的數(shù)據(jù)發(fā)送到第二消息隊列或消息隊列集群；以及從第三多個通知模塊中選擇一個第三模塊，針對所述第二消息隊列或消息隊列集群中的需要處理的數(shù)據(jù)，根據(jù)預先設(shè)置的處理方法進行處理。
[0004]本發(fā)明的另一個方面提供了一種網(wǎng)絡(luò)集群實時監(jiān)控系統(tǒng)，所述網(wǎng)絡(luò)集群包括多個網(wǎng)絡(luò)資源，所述系統(tǒng)包括:第一多個采集模塊，用于從所述多個網(wǎng)絡(luò)資源采集數(shù)據(jù)，并將數(shù)據(jù)發(fā)送到第一消息隊列或消息隊列集群；第二多個過濾模塊，用于根據(jù)過濾規(guī)則，對所述第一消息隊列或消息隊列集群中的數(shù)據(jù)執(zhí)行過濾處理，以識別需要處理的數(shù)據(jù)，并將需要處理的數(shù)據(jù)發(fā)送到第二消息隊列或消息隊列集群；以及第三多個通知模塊，用于針對所述第二消息隊列或消息隊列集群中需要處理的數(shù)據(jù)，根據(jù)預先設(shè)置的處理方法進行處理，其中:針對第一消息隊列或消息隊列集群中的每個消息，選擇第二多個過濾模塊中的一個過濾模塊進行過濾處理；以及針對第二消息隊列或消息隊列集群中的每個消息，選擇第三多個通知模塊中的一個通知模塊進行過濾處理。
【附圖說明】
[0005]為了更完整地理解本發(fā)明及其優(yōu)勢，現(xiàn)在將參考結(jié)合附圖的以下描述，其中:
[0006]圖1示意性示出了根據(jù)本發(fā)明實施例的網(wǎng)絡(luò)集群實時監(jiān)控系統(tǒng)的框圖；
[0007]圖2示意性示出了根據(jù)本發(fā)明實施例的過濾模塊的工作流程圖；以及
[0008]圖3示意性示出了過濾模塊將數(shù)據(jù)與過濾規(guī)則匹配的流程圖。
【具體實施方式】
[0009]根據(jù)結(jié)合附圖對本發(fā)明示例性實施例的以下詳細描述，本發(fā)明的其它方面、優(yōu)勢和突出特征對于本領(lǐng)域技術(shù)人員將變得顯而易見。
[0010]在本發(fā)明中，術(shù)語“包括”和“含有”及其派生詞意為包括而非限制；術(shù)語“或”是包含性的，意為和/或。
[0011]在本說明書中，下述用于描述本發(fā)明原理的各種實施例只是說明，不應(yīng)該以任何方式解釋為限制發(fā)明的范圍。參照附圖的下述描述用于幫助全面理解由權(quán)利要求及其等同物限定的本發(fā)明的示例性實施例。下述描述包括多種具體細節(jié)來幫助理解，但這些細節(jié)應(yīng)認為僅僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)認識到，在不背離本發(fā)明的范圍和精神的情況下，可以對本文中描述的實施例進行多種改變和修改。此外，為了清楚和簡潔起見，省略了公知功能和結(jié)構(gòu)的描述。此外，貫穿附圖，相同參考數(shù)字用于相似功能和操作。
[0012]圖1示意性示出了根據(jù)本發(fā)明實施例的網(wǎng)絡(luò)集群實時監(jiān)控系統(tǒng)100的框圖。該系統(tǒng)100包括N個采集模塊1-1到1-Ν、Μ個過濾模塊2-1到2-Μ，以及Ρ個通知模塊3_1到3-Ρ，其中Ν、Μ和Ρ是大于等于1的整數(shù)。每個采集模塊連接到網(wǎng)絡(luò)集群200中的一個或多個網(wǎng)絡(luò)資源。這里，網(wǎng)絡(luò)資源例如包括服務(wù)器、虛擬機、容器、路由器、交換機、防火墻、負載均衡服務(wù)器等。通過采集模塊、過濾模塊和通知模塊的協(xié)同操作，實現(xiàn)對網(wǎng)絡(luò)集群中的實時監(jiān)控。采集模塊采集可選地，系統(tǒng)100還包括第一消息隊列或消息隊列集群4和第二消息隊列或消息隊列集群5。所有的采集模塊與同一個第一消息隊列或同一個第一消息隊列集群通信。后端所有的過濾模塊則負責監(jiān)視這個第一消息隊列或消息隊列集群。當有采集數(shù)據(jù)發(fā)送到第一消息隊列或消息隊列集群時，系統(tǒng)將會從后端的若干個過濾模塊中隨機選擇一個過濾模塊，將第一消息隊列或消息隊列集群中的消息發(fā)送給該模塊予以處理。類似地，所有的過濾模塊與同一個第二消息隊列或同一個第二消息隊列集群通信。所有的通知模塊則負責監(jiān)視這個第二消息隊列或消息隊列集群。當有數(shù)據(jù)發(fā)送到第二消息隊列或消息隊列集群時，系統(tǒng)將會從后端的若干個通知模塊中隨機選擇一個通知模塊，將第二消息隊列或消息隊列集群中的消息發(fā)送給該模塊予以處理。除了隨機方式之外，還可以根據(jù)預先設(shè)置的規(guī)則來選擇過濾模塊和/或通知模塊，例如根據(jù)各模塊的當前負載狀態(tài)、設(shè)備或網(wǎng)絡(luò)性能、狀態(tài)，或預先設(shè)置的優(yōu)先級等。
[0013]以下分別描述每個模塊執(zhí)行的操作。
[0014]米集模塊
[0015]采集模塊有兩種工作方式:定時輪詢和實時推送。
[0016]輪詢工作方式主要針對的是定時上報的數(shù)據(jù)，如CPU使用率、磁盤使用率、內(nèi)存使用率、消息隊列長度等。這種數(shù)據(jù)主要用以表征網(wǎng)絡(luò)集群中的網(wǎng)絡(luò)資源的性能、狀態(tài)等。采集模塊定時從資源中采集相應(yīng)的數(shù)據(jù)，發(fā)送到消息隊列中。
[0017]推送工作方式主要針對的是事件型的數(shù)據(jù)，如日志等。這種數(shù)據(jù)主要用以描述某個事件。采集模塊實時監(jiān)控網(wǎng)絡(luò)資源推送的事件狀態(tài)，當發(fā)生狀態(tài)轉(zhuǎn)移(如事件發(fā)生，或者事件結(jié)束)時，采集模塊生成對應(yīng)數(shù)據(jù)，發(fā)送到第一消息隊列或消息隊列集群中。
_8] 過濾模塊
[0019]過濾模塊根據(jù)過濾規(guī)則，對第一消息隊列或消息隊列集群中來自于采集模塊的數(shù)據(jù)執(zhí)行過濾處理。
[0020]過濾規(guī)則主要包括數(shù)據(jù)的類型、指標、過濾條件、過濾方法，以及處理方法等。
[0021]數(shù)據(jù)類型指示數(shù)據(jù)是用于描述哪種類型的資源監(jiān)控信息，如CPU使用率等。指標是指數(shù)據(jù)的單位，如CPU使用率的單位為％。
[0022]過濾條件指示該條過濾規(guī)則的適用范圍。例如，如果過濾條件為判斷數(shù)據(jù)來源是來自于服務(wù)器A。那么只有當接收到的數(shù)據(jù)是來自于服務(wù)器A且數(shù)據(jù)的數(shù)據(jù)類型與規(guī)則的數(shù)據(jù)類型一致時，該條規(guī)則才可能被匹配。如果過濾條件為空，則所有數(shù)據(jù)類型與規(guī)則的數(shù)據(jù)類型一致的數(shù)據(jù)被接收時，該條規(guī)則都將被匹配。
[0023]過濾方法主要是指對于數(shù)據(jù)和預設(shè)的標準閾值進行比對，判斷是否達到需要處理(例如告警)的標準。由于數(shù)據(jù)不僅僅是數(shù)字，還可以是事件，所以過濾方法對于數(shù)字型的數(shù)據(jù)可進行包括大于、小于等比較操作，而對于事件數(shù)據(jù)可以支持從字符串中提取如錯誤等關(guān)鍵字，來判斷是否需要進行處理。具體地，事件數(shù)據(jù)主要采用字符串進行描述。因此對于事件的過濾，可以基于關(guān)鍵字。通過對于事件描述中提取如錯誤、通知等關(guān)鍵字，來