一種集中式事件處理系統(tǒng)及其處理方法
【專(zhuān)利摘要】本發(fā)明涉及一種集中式事件處理系統(tǒng)，處理系統(tǒng)包括：事件采集框架：獲取被動(dòng)接收組件發(fā)送的事件數(shù)據(jù)，對(duì)主動(dòng)采集組件調(diào)用，按規(guī)則過(guò)濾事件；主動(dòng)采集組件：由所述事件采集框架主動(dòng)調(diào)用，通過(guò)為主動(dòng)采集組件配置的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型數(shù)據(jù)源的采集；被動(dòng)接收組件：主動(dòng)向所述事件采集框架發(fā)送數(shù)據(jù)，通過(guò)為被動(dòng)接收組件配置的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型數(shù)據(jù)源的傳送。本發(fā)明通過(guò)擴(kuò)展采集組件適應(yīng)不同數(shù)據(jù)源的采集，主動(dòng)采集組件和被動(dòng)接收組件互為補(bǔ)充，本發(fā)明還涉及一種集中式事件處理方法，該方法解決了現(xiàn)有技術(shù)對(duì)多種類(lèi)型數(shù)據(jù)源支持較差的問(wèn)題，可應(yīng)用在數(shù)據(jù)源復(fù)雜、需要統(tǒng)一監(jiān)控處理事件的管理平臺(tái)中。
【專(zhuān)利說(shuō)明】一種集中式事件處理系統(tǒng)及其處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種處理系統(tǒng)及其處理方法，具體涉及一種集中式事件處理系統(tǒng)及其處理方法。
【背景技術(shù)】
[0002]為了維護(hù)自身系統(tǒng)資源的運(yùn)行狀況，計(jì)算機(jī)系統(tǒng)一般都會(huì)有相應(yīng)的日志或其它事件記錄機(jī)制記錄系統(tǒng)有關(guān)日常事件或者誤操作警報(bào)的日期及時(shí)間戳信息。在應(yīng)用系統(tǒng)繁多、系統(tǒng)龐大時(shí)，如果分別登入不同系統(tǒng)查看其事件記錄，處理效率太低、甄別問(wèn)題的難度太大，所以需要集中式的事件采集方案將事件信息匯總，按一定策略分類(lèi)、過(guò)濾，自動(dòng)區(qū)分事件等級(jí)并做出不同的處理。集中式事件采集方案如Iinux的syslog可以將事件分類(lèi)并發(fā)送到指定的存儲(chǔ)位置，IBM的事件服務(wù)器可以接收日志記錄并按一定的規(guī)則過(guò)濾、處理。
[0003]現(xiàn)有集中式事件采集技術(shù)大多只針對(duì)文本類(lèi)型的日志，因?yàn)槲谋救罩驹谄髽I(yè)應(yīng)用領(lǐng)域應(yīng)用最廣，處理難度小，適合批量處理。但當(dāng)前實(shí)際環(huán)境中應(yīng)用系統(tǒng)多種多樣，事件信息不僅包括文本型的日志記錄，還有數(shù)據(jù)庫(kù)記錄、SNMP trap事件、通過(guò)webservice提供的事件等多種類(lèi)型的事件來(lái)源，原有的技術(shù)對(duì)這些新增數(shù)據(jù)源的支持不夠，要將這些信息匯總需要一種易擴(kuò)展、能兼容多種數(shù)據(jù)來(lái)源的事件采集方式。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種集中式事件處理系統(tǒng)及其處理方法，本發(fā)明通過(guò)擴(kuò)展采集組件適應(yīng)不同數(shù)據(jù)源的采集，主動(dòng)采集組件和被動(dòng)接收組件互為補(bǔ)充，解決了現(xiàn)有技術(shù)對(duì)多種類(lèi)型數(shù)據(jù)源支持較差的問(wèn)題，可應(yīng)用在數(shù)據(jù)源復(fù)雜、需要統(tǒng)一監(jiān)控處理事件的管理平臺(tái)中。
[0005]本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的:
[0006]一種集中式事件處理系統(tǒng)，其改進(jìn)之處在于，所述處理系統(tǒng)包括:
[0007]事件采集框架:獲取被動(dòng)接收組件發(fā)送的事件數(shù)據(jù)，對(duì)主動(dòng)采集組件調(diào)用，按規(guī)則過(guò)濾事件；
[0008]主動(dòng)采集組件:由所述事件采集框架主動(dòng)調(diào)用，通過(guò)為主動(dòng)采集組件配置的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型(根據(jù)實(shí)際應(yīng)用場(chǎng)景的不同，數(shù)據(jù)源可能有多種，如文本形式的數(shù)據(jù)源、SNMP trap事件、通過(guò)webservice接口提供的事件等)數(shù)據(jù)源的采集；
[0009]被動(dòng)接收組件:主動(dòng)向所述事件采集框架發(fā)送數(shù)據(jù)，通過(guò)為被動(dòng)接收組件配置的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型數(shù)據(jù)源的傳送。
[0010]其中，所述事件采集框架位于所屬處理系統(tǒng)的中心節(jié)點(diǎn)(集中式事件處理系統(tǒng)是一個(gè)分布式系統(tǒng)，這個(gè)分布式系統(tǒng)中包括多個(gè)節(jié)點(diǎn)，不同節(jié)點(diǎn)的作用、重要性各不相同，中心節(jié)點(diǎn)是事件采集框架所在的節(jié)點(diǎn)，是整個(gè)系統(tǒng)的核心，負(fù)責(zé)對(duì)采集組件的管理、調(diào)度。采集組件可能在中心節(jié)點(diǎn)上也可能在其它節(jié)點(diǎn)上)上；兼容主動(dòng)采集和被動(dòng)接收兩種事件采集方式；所述主動(dòng)采集組件和被動(dòng)接收組件分別與事件采集框架數(shù)據(jù)交互。[0011]其中，所述處理系統(tǒng)包括存儲(chǔ)單元、規(guī)則集和事件處理單元；所述事件采集框架與存儲(chǔ)單元通信；所述存儲(chǔ)單元與事件處理單元通信；所述規(guī)則集分別與事件采集框架和事件處理單元通信。
[0012]其中，所述事件采集框架包括采集調(diào)度組件、采集接口組件、規(guī)則匹配組件和存儲(chǔ)接口組件；所述采集調(diào)度組件調(diào)用主動(dòng)采集組件；所述采集接口組件接收被動(dòng)接收組件發(fā)送的數(shù)據(jù)；所述規(guī)則匹配組件與規(guī)則集進(jìn)行數(shù)據(jù)交互；所述存儲(chǔ)接口組件與存儲(chǔ)單元進(jìn)行數(shù)據(jù)交互。
[0013]其中，所述主動(dòng)采集組件對(duì)數(shù)據(jù)源自定義采集方式；所述自定義的采集方式包括讀取數(shù)據(jù)庫(kù)記錄、讀取文本日志信息；所述主動(dòng)采集組件的接口和配置由所述事件采集框架定義；所述配置包括調(diào)度間隔、目標(biāo)存儲(chǔ)路徑。
[0014]其中，所述被動(dòng)接收組件對(duì)所述事件采集框架不可見(jiàn)；所述被動(dòng)接收組件在開(kāi)發(fā)形態(tài)、部署位置和運(yùn)行方式上不受事件采集框架限制，按照事件采集框架定義的數(shù)據(jù)通信協(xié)議傳送數(shù)據(jù)。
[0015]其中，所述處理系統(tǒng)由管理平臺(tái)監(jiān)控。
[0016]本發(fā)明基于另一目的提供的一種集中式事件處理方法，其特征在于，所述方法包括下述步驟:
[0017]A、所述事件采集框架主動(dòng)調(diào)用主動(dòng)采集組件；
[0018]B、所述事件采集框架獲取被動(dòng)接收組件發(fā)送的事件數(shù)據(jù)；
[0019]C、所述事件采集框架按規(guī)則集中的規(guī)則存儲(chǔ)、處理事件數(shù)據(jù)。
[0020]其中，所述步驟C中，所述事件數(shù)據(jù)包括被動(dòng)接收組件傳送的事件數(shù)據(jù)和從主動(dòng)采集組件獲取的事件數(shù)據(jù)；將處理后的事件數(shù)據(jù)存儲(chǔ)到存儲(chǔ)單元中，由事件處理單元將處理后的事件數(shù)據(jù)進(jìn)行分類(lèi)。
[0021]集中式為相對(duì)于分布式而言，分布式中各節(jié)點(diǎn)地位均等、分工協(xié)作，集中式結(jié)構(gòu)中總控節(jié)點(diǎn)地位最重要、常用于數(shù)據(jù)匯總或控制其它節(jié)點(diǎn)。
[0022]事件簡(jiǎn)述為何時(shí)何地何人對(duì)何物執(zhí)行了何種動(dòng)作，結(jié)果如何。在計(jì)算機(jī)系統(tǒng)中記錄事件用于系統(tǒng)審計(jì)或問(wèn)題追蹤。
[0023]與現(xiàn)有技術(shù)比，本發(fā)明達(dá)到的有益效果是:
[0024]1、本發(fā)明提供的集中式事件處理系統(tǒng)，通過(guò)擴(kuò)展不同類(lèi)型的采集組件可從不同類(lèi)型的數(shù)據(jù)源中獲取事件數(shù)據(jù)，易于擴(kuò)展；
[0025]2、本發(fā)明提供的集中式事件處理方法，解決了現(xiàn)有技術(shù)對(duì)多種類(lèi)型數(shù)據(jù)源支持較差的問(wèn)題，可應(yīng)用在數(shù)據(jù)源復(fù)雜、需要統(tǒng)一監(jiān)控處理事件的管理平臺(tái)中；
[0026]3、本發(fā)明提供的集中式事件處理系統(tǒng)，將業(yè)務(wù)相關(guān)的處理流程在主動(dòng)采集和被動(dòng)接收組件中實(shí)現(xiàn)，業(yè)務(wù)無(wú)關(guān)的處理流程在事件采集框架中實(shí)現(xiàn)，易于復(fù)用和移植。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0027]圖1是本發(fā)明提供的主動(dòng)采集方式結(jié)構(gòu)示意圖；
[0028]圖2是本發(fā)明提供的被動(dòng)采集方式結(jié)構(gòu)示意圖；
[0029]圖3是本發(fā)明提供的集中式事件處理方法的工作流程圖。【具體實(shí)施方式】
[0030]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)說(shuō)明。
[0031]本發(fā)明提供一種集中式事件處理系統(tǒng)，包括:事件采集框架、主動(dòng)采集組件、被動(dòng)接收組件、存儲(chǔ)單元、規(guī)則集和事件處理單元。
[0032]事件采集框架運(yùn)行于中心節(jié)點(diǎn)之(集中式事件處理系統(tǒng)是一個(gè)分布式系統(tǒng)，這個(gè)分布式系統(tǒng)中包括多個(gè)節(jié)點(diǎn)，不同節(jié)點(diǎn)的作用、重要性各不相同，中心節(jié)點(diǎn)是事件采集框架所在的節(jié)點(diǎn)，是整個(gè)系統(tǒng)的核心，負(fù)責(zé)對(duì)采集組件的管理、調(diào)度。采集組件可能在中心節(jié)點(diǎn)上也可能在其它節(jié)點(diǎn)上)上，向上獲取事件數(shù)據(jù)，向下按規(guī)則過(guò)濾事件，與存儲(chǔ)單元直接進(jìn)行數(shù)據(jù)交互；與事件處理單元間接進(jìn)行數(shù)據(jù)交互。事件采集框架中包含采集調(diào)度組件、采集接口組件、規(guī)則匹配組件、存儲(chǔ)接口組件。采集調(diào)度組件調(diào)用主動(dòng)采集組件；采集接口組件接收被動(dòng)接收組件發(fā)送的數(shù)據(jù)；規(guī)則匹配組件與規(guī)則集進(jìn)行數(shù)據(jù)交互；存儲(chǔ)接口組件與存儲(chǔ)單元進(jìn)行數(shù)據(jù)交互。
[0033]本發(fā)明提供的主動(dòng)采集方式結(jié)構(gòu)示意圖如圖1所示，主動(dòng)采集組件運(yùn)行于事件采集框架下，由事件采集框架主動(dòng)調(diào)用，通過(guò)為主動(dòng)采集組件配置不同的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型(根據(jù)實(shí)際應(yīng)用場(chǎng)景的不同，數(shù)據(jù)源可能有多種，如文本形式的數(shù)據(jù)源、SNMPtrap事件、通過(guò)webservice接口提供的事件等)數(shù)據(jù)源的采集，事件采集框架從主動(dòng)采集組件獲取數(shù)據(jù)后，按預(yù)定義的規(guī)則存儲(chǔ)、處理事件數(shù)據(jù)。
[0034]事件采集框架定義主動(dòng)采集組件的接口規(guī)范，開(kāi)發(fā)人員針對(duì)具體的數(shù)據(jù)源開(kāi)發(fā)主動(dòng)采集組件，主動(dòng)采集組件應(yīng)實(shí)現(xiàn)事件采集框架定義的接口，以便于事件采集框架調(diào)用。主動(dòng)采集組件在自主開(kāi)發(fā)部分中對(duì)具體的數(shù)據(jù)源自定義采集方式，如讀取數(shù)據(jù)庫(kù)記錄、讀取文本日志信息等。事件采集框架定義的接口中可定義主動(dòng)采集組件必須實(shí)現(xiàn)的方法接口、必選或可選的配置項(xiàng)如調(diào)度間隔、目標(biāo)存儲(chǔ)路徑等組件間形式統(tǒng)一但內(nèi)容不同的參數(shù)。
[0035]主動(dòng)采集組件適合采集實(shí)時(shí)性要求不高、數(shù)據(jù)量大的事件數(shù)據(jù)，因?yàn)槭录杉蚣苷{(diào)度有一定的間隔。適合對(duì)事件采集框架熟悉程度高的人員開(kāi)發(fā)，因?yàn)樾枰私馐录杉蚣芏x的接口才能正確實(shí)現(xiàn)。
[0036]本發(fā)明提供的被動(dòng)采集方式結(jié)構(gòu)示意圖如圖2所示，被動(dòng)接收組件運(yùn)行于框架之外，對(duì)事件采集框架是不可見(jiàn)的，被動(dòng)接收組件主動(dòng)向事件采集框架發(fā)送數(shù)據(jù)，事件采集框架按預(yù)定義規(guī)則存儲(chǔ)、處理事件數(shù)據(jù)。
[0037]被動(dòng)接收組件在開(kāi)發(fā)形態(tài)、部署位置、運(yùn)行方式上不受事件采集框架限制，只需要按照事件采集框架定義的數(shù)據(jù)通信協(xié)議傳送數(shù)據(jù)即可。被動(dòng)接收組件同樣可以針對(duì)不同的數(shù)據(jù)源采集事件數(shù)據(jù)，如接收SNMP Trap事件或接收第三方系統(tǒng)主動(dòng)發(fā)送的事件，還可自行采集數(shù)據(jù)發(fā)送給事件采集框架以避免主動(dòng)采集組件實(shí)時(shí)性不高的缺點(diǎn)。
[0038]被動(dòng)接收組件適合采集實(shí)時(shí)性強(qiáng)或數(shù)據(jù)量小的數(shù)據(jù)，也適合人員對(duì)事件采集框架不了解無(wú)法快速開(kāi)發(fā)主動(dòng)采集組件時(shí)使用。
[0039]僅使用被動(dòng)接收組件也可以實(shí)現(xiàn)不同類(lèi)型數(shù)據(jù)的采集，但需要自行控制采集頻度，不能充分發(fā)揮調(diào)度中心的作用，而且由于事件采集框架無(wú)法控制數(shù)據(jù)數(shù)量，為達(dá)到同等性能指標(biāo)需消耗更多資源。
[0040]本發(fā)明提供的集中式事件處理方法的工作流程如圖3所示，該方法包括下述步驟:[0041]A、所述事件采集框架主動(dòng)調(diào)用主動(dòng)采集組件；
[0042]B、所述事件采集框架獲取被動(dòng)接收組件發(fā)送的事件數(shù)據(jù)；
[0043]C、所述事件采集框架按規(guī)則集中的規(guī)則存儲(chǔ)、處理事件數(shù)據(jù):事件數(shù)據(jù)包括被動(dòng)接收組件傳送的事件數(shù)據(jù)和從主動(dòng)采集組件獲取的事件數(shù)據(jù)；將處理后的事件數(shù)據(jù)存儲(chǔ)到存儲(chǔ)單元中，由事件處理單元將處理后的事件數(shù)據(jù)進(jìn)行分類(lèi)。
[0044]本發(fā)明提供的集中式事件處理系統(tǒng)及其處理方法，通過(guò)擴(kuò)展采集組件適應(yīng)不同數(shù)據(jù)源的事件采集，采用主動(dòng)采集組件和被動(dòng)接收組件互為補(bǔ)充，解決了現(xiàn)有技術(shù)對(duì)多種類(lèi)型數(shù)據(jù)源支持較差的問(wèn)題，可應(yīng)用在數(shù)據(jù)源復(fù)雜、需要統(tǒng)一監(jiān)控處理事件的管理平臺(tái)中。
[0045]最后應(yīng)當(dāng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:依然可以對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
【權(quán)利要求】
1.一種集中式事件處理系統(tǒng)，其特征在于，所述處理系統(tǒng)包括: 事件采集框架:獲取被動(dòng)接收組件發(fā)送的事件數(shù)據(jù)，對(duì)主動(dòng)采集組件調(diào)用，按規(guī)則過(guò)濾事件； 主動(dòng)采集組件:由所述事件采集框架主動(dòng)調(diào)用，通過(guò)為主動(dòng)采集組件配置的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型數(shù)據(jù)源的采集； 被動(dòng)接收組件:主動(dòng)向所述事件采集框架發(fā)送數(shù)據(jù)，通過(guò)為被動(dòng)接收組件配置的采集方法和采集目標(biāo)，實(shí)現(xiàn)對(duì)不同類(lèi)型數(shù)據(jù)源的傳送。
2.如權(quán)利要求1所述的集中式事件處理系統(tǒng)，其特征在于，所述事件采集框架位于所屬處理系統(tǒng)的中心節(jié)點(diǎn)上；兼容主動(dòng)采集和被動(dòng)接收兩種事件采集方式；所述主動(dòng)采集組件和被動(dòng)接收組件分別與事件采集框架數(shù)據(jù)交互。
3.如權(quán)利要求1所述的集中式事件處理系統(tǒng)，其特征在于，所述處理系統(tǒng)包括存儲(chǔ)單元、規(guī)則集和事件處理單元；所述事件采集框架與存儲(chǔ)單元通信；所述存儲(chǔ)單元與事件處理單元通信；所述規(guī)則集分別與事件采集框架和事件處理單元通信。
4.如權(quán)利要求1所述的集中式事件處理系統(tǒng)，其特征在于，所述事件采集框架包括采集調(diào)度組件、采集接口組件、規(guī)則匹配組件和存儲(chǔ)接口組件；所述采集調(diào)度組件調(diào)用主動(dòng)采集組件；所述采集接口組件接收被動(dòng)接收組件發(fā)送的數(shù)據(jù)；所述規(guī)則匹配組件與規(guī)則集進(jìn)行數(shù)據(jù)交互；所述存儲(chǔ)接口組件與存儲(chǔ)單元進(jìn)行數(shù)據(jù)交互。
5.如權(quán)利要求1所述的集中式事件處理系統(tǒng),其特征在于,所述主動(dòng)采集組件對(duì)數(shù)據(jù)源自定義采集方式；所述自定義的采集方式包括讀取數(shù)據(jù)庫(kù)記錄、讀取文本日志信息；所述主動(dòng)采集組件的接口和配置由所述事件采集框架定義；所述配置包括調(diào)度間隔、目標(biāo)存儲(chǔ)路徑。
6.如權(quán)利要求1所述的集中式事件處理系統(tǒng)，其特征在于，所述被動(dòng)接收組件對(duì)所述事件采集框架不可見(jiàn)；所述被動(dòng)接收組件在開(kāi)發(fā)形態(tài)、部署位置和運(yùn)行方式上不受事件采集框架限制，按照事件采集框架定義的數(shù)據(jù)通信協(xié)議傳送數(shù)據(jù)。
7.如權(quán)利要求1-6中任一項(xiàng)所述的集中式事件處理系統(tǒng)，其特征在于，所述處理系統(tǒng)由管理平臺(tái)監(jiān)控。
8.一種集中式事件處理方法，其特征在于，所述方法包括下述步驟: A、所述事件采集框架主動(dòng)調(diào)用主動(dòng)采集組件； B、所述事件采集框架獲取被動(dòng)接收組件發(fā)送的事件數(shù)據(jù)； C、所述事件采集框架按規(guī)則集中的規(guī)則存儲(chǔ)、處理事件數(shù)據(jù)。
9.如權(quán)利要求8所述的集中式事件處理方法，其特征在于，所述步驟C中，所述事件數(shù)據(jù)包括被動(dòng)接收組件傳送的事件數(shù)據(jù)和從主動(dòng)采集組件獲取的事件數(shù)據(jù)；將處理后的事件數(shù)據(jù)存儲(chǔ)到存儲(chǔ)單元中，由事件處理單元將處理后的事件數(shù)據(jù)進(jìn)行分類(lèi)。
【文檔編號(hào)】G06F9/44GK103631572SQ201210304312
【公開(kāi)日】2014年3月12日 申請(qǐng)日期:2012年8月24日 優(yōu)先權(quán)日:2012年8月24日
【發(fā)明者】劉瑞賢, 解文龍, 趙曉杰 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司