一種基于大數(shù)據(jù)流處理技術(shù)的運維監(jiān)控分析系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及運維監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種運維監(jiān)控分析系統(tǒng)。
【背景技術(shù)】
[0002]隨著IT行業(yè)的不斷推進(jìn)，服務(wù)器、網(wǎng)絡(luò)設(shè)備以及存儲設(shè)備等物理設(shè)備在各業(yè)務(wù)領(lǐng)域承擔(dān)著越來越重要的責(zé)任，其中的各類軟件也開始充當(dāng)越來越重要的角色。當(dāng)系統(tǒng)整體的效能范圍達(dá)到一定程度后，對于業(yè)務(wù)的處理能力更大程度上將會依賴上述軟硬件設(shè)備，而軟硬件設(shè)備的整體運行情況和個體性能就將成為業(yè)務(wù)處理能力的瓶頸。因此，對于軟硬件設(shè)備的全方位的運維監(jiān)控成為監(jiān)測和支撐業(yè)務(wù)處理能力的一個重要手段。
[0003]現(xiàn)有技術(shù)中，由于需要監(jiān)控的監(jiān)控指標(biāo)非常多，例如需要監(jiān)控設(shè)備CPU使用率、內(nèi)存、磁盤等各類軟硬件的性能數(shù)據(jù)，并且對于不同類型的硬件設(shè)備存在不同的監(jiān)控指標(biāo)，因此當(dāng)需要監(jiān)控的設(shè)備越來越多，最終監(jiān)控得到的運維數(shù)據(jù)也會越來越多，從而呈現(xiàn)一種大數(shù)據(jù)量的監(jiān)控和數(shù)據(jù)分析環(huán)境。
[0004]采用現(xiàn)有的方法對于大數(shù)據(jù)量的運維數(shù)據(jù)進(jìn)行分析，通常存在以下幾個問題:
[0005]1)對于一些需要告警的監(jiān)控信息進(jìn)行分析的實時性較差；
[0006]2)對大數(shù)據(jù)量的運維數(shù)據(jù)的數(shù)據(jù)挖掘非常不足，經(jīng)過挖掘后向用戶呈現(xiàn)的數(shù)據(jù)通常仍然是比較分散的數(shù)據(jù)，并不一定能滿足用戶的需求；
[0007]3)對于大數(shù)據(jù)量的運維數(shù)據(jù)的存儲通常使用mysql等關(guān)系型數(shù)據(jù)庫，無法承受數(shù)量龐大的運維監(jiān)控數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0008]根據(jù)現(xiàn)有技術(shù)中存在的上述問題，現(xiàn)提供一種運維監(jiān)控分析系統(tǒng)的技術(shù)方案，旨在解決因運維運維數(shù)據(jù)量巨大導(dǎo)致的數(shù)據(jù)分析實時性不夠、告警實時性不足、處理效率過低、監(jiān)控數(shù)據(jù)分散化、無法支撐海量數(shù)據(jù)以及可能出現(xiàn)任務(wù)處理崩潰的問題。
[0009]上述技術(shù)方案具體包括:
[0010]一種基于大數(shù)據(jù)流處理技術(shù)的運維監(jiān)控分析系統(tǒng)，其中，包括:
[0011]監(jiān)控端，分別遠(yuǎn)程連接多個客戶端，用于監(jiān)控得到所述客戶端中的運維監(jiān)控數(shù)據(jù)，并將監(jiān)控到的處于預(yù)設(shè)周期內(nèi)的所述運維監(jiān)控數(shù)據(jù)發(fā)送至一遠(yuǎn)程的存儲端，以作為歷史記錄保存；
[0012]所述存儲端還用于保存預(yù)設(shè)的多條預(yù)警處理規(guī)則，以及預(yù)設(shè)的多條數(shù)據(jù)挖掘規(guī)貝1J，以及所述歷史記錄；
[0013]緩存端，分別遠(yuǎn)程連接所述存儲端和所述監(jiān)控端，用于根據(jù)預(yù)設(shè)的時間間隔，將所述存儲端中保存的所述預(yù)警處理規(guī)則、所述數(shù)據(jù)挖掘規(guī)則以及所述歷史記錄同步到所述緩存端中進(jìn)行保存，以及接收所述監(jiān)控端發(fā)送的實時的包括所述運維監(jiān)控數(shù)據(jù)的監(jiān)控數(shù)據(jù)流，并根據(jù)對應(yīng)所述監(jiān)控數(shù)據(jù)流中包括的所述運維監(jiān)控數(shù)據(jù)的不同的類型分別進(jìn)行緩存；
[0014]第一處理組，遠(yuǎn)程連接所述緩存端，所述第一處理組中包括多個第一處理端，分別用于根據(jù)所述預(yù)警規(guī)則、所述歷史記錄以及所述監(jiān)控數(shù)據(jù)流進(jìn)行預(yù)警監(jiān)控分析，并輸出相應(yīng)的分析結(jié)果；
[0015]第二處理組，遠(yuǎn)程連接所述緩存端，所述第二處理組中包括多個第二處理端，分別用于根據(jù)所述數(shù)據(jù)挖掘規(guī)則、所述歷史記錄以及所述監(jiān)控數(shù)據(jù)流進(jìn)行數(shù)據(jù)挖掘分析，根據(jù)分析結(jié)果輸出被挖掘出的關(guān)聯(lián)于所述運維監(jiān)控數(shù)據(jù)的監(jiān)控統(tǒng)計結(jié)果。
[0016]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，一條所述預(yù)警處理規(guī)則包括:
[0017]所述預(yù)警處理規(guī)則所對應(yīng)的所述客戶端的類型信息；
[0018]所述預(yù)警處理規(guī)則所對應(yīng)的監(jiān)控指標(biāo)的信息；以及
[0019]所述預(yù)警處理規(guī)則所對應(yīng)的處理表達(dá)式的信息。
[0020]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，一條所述數(shù)據(jù)挖掘規(guī)則包括:
[0021]所述數(shù)據(jù)挖掘規(guī)則所對應(yīng)的所述客戶端的類型信息；
[0022]所述數(shù)據(jù)挖掘規(guī)則所對應(yīng)的監(jiān)控指標(biāo)的信息；以及
[0023]所述數(shù)據(jù)挖掘規(guī)則所對應(yīng)的處理模型的信息。
[0024]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，所述監(jiān)控端包括:
[0025]接收單元，用于接收所述監(jiān)控數(shù)據(jù)流；
[0026]分片單元，連接所述接收單元，用于將所有需要發(fā)送至所述緩存端的所述監(jiān)控數(shù)據(jù)流劃分成多個片式數(shù)據(jù)并輸出；
[0027]封裝單元，連接所述分片單元，用于對每個所述片式數(shù)據(jù)按照所關(guān)聯(lián)的具體屬性進(jìn)行封裝；
[0028]處理單元，連接所述接收單元，用于根據(jù)所述監(jiān)控數(shù)據(jù)流分別形成關(guān)聯(lián)于所述預(yù)警監(jiān)控分析的第一任務(wù)，以及關(guān)聯(lián)于所述數(shù)據(jù)挖掘分析的第二任務(wù)；
[0029]發(fā)送單元，分別連接所述封裝單元和所述處理單元，用于依次將經(jīng)過封裝的所述片式數(shù)據(jù)發(fā)送至所述緩存端進(jìn)行保存，以及將關(guān)聯(lián)于不同的所述監(jiān)控數(shù)據(jù)流的所述第一任務(wù)以及所述第二任務(wù)發(fā)送至所述緩存端進(jìn)行保存。
[0030]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，所述第一處理組中的多個所述第一處理端中包括一個第一主處理端和多個第一從處理端，所述第一主處理端分別連接多個所述第一從處理端；
[0031]所述緩存端保存有關(guān)聯(lián)于所述預(yù)警監(jiān)控分析的第一任務(wù)，每個所述第一任務(wù)關(guān)聯(lián)于包括多個所述運維監(jiān)控數(shù)據(jù)的所述監(jiān)控數(shù)據(jù)流；
[0032]所述第一主處理端中包括:
[0033]第一監(jiān)控單元，用于對不同的所述第一從處理端的工作負(fù)載進(jìn)行監(jiān)控，并輸出監(jiān)控結(jié)果；
[0034]第一處理單元，連接所述第一監(jiān)控單元，用于根據(jù)所述監(jiān)控結(jié)果，處理得到關(guān)聯(lián)于所有所述第一從處理端的任務(wù)拓?fù)潢P(guān)系并輸出；
[0035]第一分發(fā)單元，連接所述第一處理單元，用于根據(jù)所述任務(wù)拓?fù)潢P(guān)系，向不同的所述第一從處理端分發(fā)包括于所述緩存端接收到的所述第一任務(wù)以及相關(guān)聯(lián)的所述監(jiān)控數(shù)據(jù)流。
[0036]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，每個所述第一從處理端中包括:
[0037]第一解析單元，用于對接收到的所述監(jiān)控數(shù)據(jù)流進(jìn)行解析，并輸出解析結(jié)果；
[0038]第一分析單元，連接所述第一解析單元，用于根據(jù)所述解析結(jié)果，采用所述預(yù)警處理規(guī)則以及所述歷史記錄，對解析得到的所述運維監(jiān)控數(shù)據(jù)進(jìn)行預(yù)警監(jiān)控分析，并輸出相應(yīng)的分析結(jié)果。
[0039]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，所述第二處理組中的多個所述第二處理端中包括一個第二主處理端和多個第二從處理端，所述第二主處理端分別連接多個所述第二從處理端；
[0040]所述緩存端保存有關(guān)聯(lián)于所述數(shù)據(jù)挖掘分析的第二任務(wù)，每個所述第二任務(wù)關(guān)聯(lián)于包括多個所述運維監(jiān)控數(shù)據(jù)的所述監(jiān)控數(shù)據(jù)流；
[0041]所述第二主處理端中包括:
[0042]第二監(jiān)控單元，用于對不同的所述第二從處理端的工作負(fù)載進(jìn)行監(jiān)控，并輸出監(jiān)控結(jié)果；
[0043]第二處理單元，連接所述第二監(jiān)控單元，用于根據(jù)所述監(jiān)控結(jié)果，處理得到關(guān)聯(lián)于所有所述第二從處理端的任務(wù)拓?fù)潢P(guān)系并輸出；
[0044]第二分發(fā)單元，連接所述第二處理單元，用于根據(jù)所述任務(wù)拓?fù)潢P(guān)系，向不同的所述第二從處理端分發(fā)包括于所述緩存端接收到的所述第二任務(wù)以及相關(guān)聯(lián)的所述監(jiān)控數(shù)據(jù)流。
[0045]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，每個所述第二從處理端中包括:
[0046]第二解析單元，用于對接收到的所述監(jiān)控數(shù)據(jù)流進(jìn)行解析，并輸出解析結(jié)果；
[0047]第二分析單元，連接所述第二解析單元，用于根據(jù)所述解析結(jié)果，采用所述數(shù)據(jù)挖掘規(guī)則以及所述歷史記錄，對解析得到的所述運維數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘分析，并輸出相應(yīng)的分析結(jié)果。
[0048]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，所述存儲端包括多個相互獨立的存儲單元，所有所述存儲單元組合形成一列式的存儲集群，以作為所述存儲端。
[0049]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，所述緩存端和所述第一處理組結(jié)合形成一用于進(jìn)行預(yù)警監(jiān)控分析的第一處理集群。
[0050]優(yōu)選的，該運維監(jiān)控分析系統(tǒng)，其中，所述緩存端和所述第二處理組結(jié)合形成一用于進(jìn)行數(shù)據(jù)挖掘分析的第二處理集群。
[0051]上述技術(shù)方案的有益效果是:提供一種運維監(jiān)控分析系統(tǒng)，能夠解決因運維數(shù)據(jù)量巨大導(dǎo)致的數(shù)據(jù)分析實時性不夠、告警實時性不足、監(jiān)控數(shù)據(jù)過度分散化、底層存儲無法支撐、處理效率過低以及可能出