系統(tǒng)日志的處理方法和系統(tǒng)日志的處理平臺的制作方法
【專利摘要】本發(fā)明公開了一種系統(tǒng)日志的處理方法和系統(tǒng)日志的處理平臺。本發(fā)明實施例提供的一種系統(tǒng)日志的處理方法包括：訪問生成系統(tǒng)日志的設(shè)備，從該設(shè)備采集系統(tǒng)日志；將采集到的系統(tǒng)日志的格式與指定的設(shè)備模板進行匹配，確認各系統(tǒng)日志對應(yīng)的設(shè)備類型；根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng)日志進行過濾；將過濾結(jié)果發(fā)送至服務(wù)器側(cè)，由服務(wù)器側(cè)對系統(tǒng)日志進行報警處理。
【專利說明】系統(tǒng)日志的處理方法和系統(tǒng)日志的處理平臺

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)通信【技術(shù)領(lǐng)域】，特別涉及一種系統(tǒng)日志的處理方法和系統(tǒng)日志 的處理平臺。

【背景技術(shù)】
[0002] 在現(xiàn)代運維體系中，規(guī)?；膽?yīng)用系統(tǒng)與網(wǎng)絡(luò)設(shè)備需要自動化的監(jiān)管系統(tǒng)進行管 理，對系統(tǒng)日志（syslog)信息的監(jiān)管就是其中重要一環(huán)。然而在實際中，由于不同的應(yīng)用 系統(tǒng)、網(wǎng)絡(luò)設(shè)備對應(yīng)的日志格式各不相同，這給標準化的syslog分析帶來了巨大難度。
[0003] 現(xiàn)有系統(tǒng)日志的處理方案主要是將各種設(shè)備的系統(tǒng)日志集中存儲到一個指定服 務(wù)器，通過系統(tǒng)的看門狗（watchdog)服務(wù)過濾和抓取日志，并對滿足看門狗服務(wù)設(shè)定條件 的記錄進行報警。
[0004] 然而，看門狗服務(wù)僅能實現(xiàn)一些比較簡單的操作，使用的過濾條件較單一，無法全 面準確地區(qū)分出危險的日志，過濾效果差；并且，看門狗服務(wù)將各種類型的日志混雜在一起 進行處理，各條日志存儲的格式和內(nèi)容差異較大，導致后續(xù)操作中對系統(tǒng)日志的利用和開 發(fā)難度較大，資源利用率較低。目前亟待一種針對日志挖掘、分析和監(jiān)控報警等于一體的綜 合服務(wù)平臺。


【發(fā)明內(nèi)容】

[0005] 鑒于上述問題，本發(fā)明實施例提供了一種系統(tǒng)日志的處理方法和系統(tǒng)日志的處理 平臺。
[0006] 為達到上述目的，本發(fā)明實施例采用了如下技術(shù)方案：
[0007] 本發(fā)明一個實施例提供了一種系統(tǒng)日志的處理方法，該方法包括：
[0008] 訪問生成系統(tǒng)日志的設(shè)備，從設(shè)備采集系統(tǒng)日志；
[0009] 將采集到的系統(tǒng)日志的格式與指定的設(shè)備模板進行匹配，確認各系統(tǒng)日志對應(yīng)的 設(shè)備類型；
[0010] 根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng)日志進行過濾；
[0011] 將過濾結(jié)果發(fā)送至服務(wù)器側(cè)，由服務(wù)器側(cè)對系統(tǒng)日志進行報警處理；
[0012] 其中，每種設(shè)備類型的所述設(shè)備模板由能夠匹配該設(shè)備類型下的所有系統(tǒng)日志格 式的條件表達式生成；
[0013] 每種設(shè)備類型的所述關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中允許包括的關(guān)鍵字 或者禁止包括的關(guān)鍵字生成。
[0014] 本發(fā)明又一個實施例提供了一種系統(tǒng)日志的處理方法，包括：接收客戶端側(cè)上報 的系統(tǒng)日志的過濾結(jié)果并按照預(yù)定的統(tǒng)一格式將過濾結(jié)果存儲至數(shù)據(jù)庫，該過濾結(jié)果包括 系統(tǒng)日志和該系統(tǒng)日志對應(yīng)的標志位，該標志位包括第一標志位、第二標志位和第三標志 位，該方法還包括：
[0015] 當根據(jù)過濾結(jié)果獲知系統(tǒng)日志具有第一標志位時，采用短信方式和郵件方式發(fā)送 報警消息；
[0016] 當根據(jù)過濾結(jié)果獲知系統(tǒng)日志具有第二標志位時，不執(zhí)行報警操作；
[0017] 當根據(jù)過濾結(jié)果獲知系統(tǒng)日志具有第三標志位時，采用郵件方式發(fā)送報警消息。
[0018] 本發(fā)明又一個實施例提供了一種系統(tǒng)日志的處理平臺，該平臺包括系統(tǒng)日志采集 系統(tǒng)和系統(tǒng)日志管理系統(tǒng)，
[0019] 系統(tǒng)日志采集系統(tǒng)包括消息隊列模塊、模板選擇器、關(guān)鍵字過濾器以及守護任務(wù) 和調(diào)度器DTS ;
[0020] 消息隊列模塊，用于訪問生成系統(tǒng)日志的設(shè)備，從設(shè)備采集系統(tǒng)日志；
[0021] 模板選擇器，用于將采集到的系統(tǒng)日志的格式與指定的設(shè)備模板進行匹配，確認 各系統(tǒng)日志對應(yīng)的設(shè)備類型；
[0022] 關(guān)鍵字過濾器，用于根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng) 日志進行過濾，并將過濾結(jié)果發(fā)送至系統(tǒng)日志管理系統(tǒng)；
[0023] DTS，用于對消息隊列模塊、模板選擇器和關(guān)鍵字過濾器進行預(yù)定與調(diào)度；
[0024] 系統(tǒng)日志管理系統(tǒng)包括數(shù)據(jù)庫、數(shù)據(jù)生成器、報警模塊和數(shù)據(jù)訪問和控制中心 DACC ；
[0025] 數(shù)據(jù)庫，用于存儲平臺中的數(shù)據(jù)；
[0026] 數(shù)據(jù)生成器，用于接收來自系統(tǒng)日志采集系統(tǒng)的過濾結(jié)果，并按照預(yù)定的統(tǒng)一格 式將過濾結(jié)果存儲至數(shù)據(jù)庫；
[0027] 報警模塊，用于根據(jù)數(shù)據(jù)生成器中的數(shù)據(jù)進行報警；
[0028] DACC，用于對數(shù)據(jù)庫、數(shù)據(jù)生成器和報警模塊進行管理；
[0029] 其中，每種設(shè)備類型的所述設(shè)備模板由能夠匹配該設(shè)備類型下的所有系統(tǒng)日志格 式的條件表達式生成；
[0030] 每種設(shè)備類型的所述關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中允許包括的關(guān)鍵字 或者禁止包括的關(guān)鍵字生成。
[0031] 本發(fā)明實施例通過將系統(tǒng)日志與所建立的設(shè)備模板相匹配的技術(shù)手段，能夠區(qū)分 出不同設(shè)備的系統(tǒng)日志，對不同設(shè)備的系統(tǒng)日志進行不同處理，以及通過設(shè)備類型結(jié)合指 定的關(guān)鍵字模板對系統(tǒng)日志進行過濾的手段，提高了過濾方式的靈活性，能夠全面、準確地 對日志進行過濾。
[0032] 由上，本發(fā)明實施例提供的系統(tǒng)日志處理方案，不但能夠?qū)Σ煌愋偷南到y(tǒng)日志 進行區(qū)分處理和存儲，極大便利了后續(xù)對系統(tǒng)日志的利用，滿足對系統(tǒng)日志二次開發(fā)的需 求，提高資源利用率；而且能夠提高日志過濾的精準度和靈活性，實現(xiàn)問題的精準定位、精 確報警和問題預(yù)警，提高系統(tǒng)的運維質(zhì)量。

【專利附圖】

【附圖說明】
[0033] 圖1為根據(jù)本發(fā)明一個實施例的一種系統(tǒng)日志的處理平臺結(jié)構(gòu)示意圖；
[0034] 圖2為根據(jù)本發(fā)明一個實施例的系統(tǒng)日志采集系統(tǒng)的工作流程示意圖；
[0035] 圖3為根據(jù)本發(fā)明一個實施例的另一種系統(tǒng)日志的處理平臺的結(jié)構(gòu)示意圖；
[0036] 圖4為根據(jù)本發(fā)明又一個實施例的系統(tǒng)日志的處理方法流程示意圖；
[0037] 圖5為根據(jù)本發(fā)明又一個實施例的系統(tǒng)日志的處理方法流程示意圖。

【具體實施方式】
[0038] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方 式作進一步地詳細描述。
[0039] 本發(fā)明實施例實現(xiàn)了一種集中分析、精準定位、實時報警、面向多用戶、便于查詢 與深入分析的系統(tǒng)日志的處理平臺，既可以滿足不同應(yīng)用、不同設(shè)備的日志分析需求，又是 一套完整的監(jiān)控與報警綜合服務(wù)平臺。
[0040] 本發(fā)明一個實施例提供的一種系統(tǒng)日志的處理平臺，參見圖1，該平臺包括系統(tǒng) 日志采集系統(tǒng)和系統(tǒng)日志管理系統(tǒng)。本實施例不對平臺及其各器件的名稱進行嚴格限定， 如系統(tǒng)日志的處理平臺可以稱之為系統(tǒng)日志信息采集與管理系統(tǒng)（Syslog Information Collection And Management System，SICMS)，SICMS 包括系統(tǒng)日志采集系統(tǒng) 100 和系統(tǒng)日 志管理系統(tǒng)200。
[0041] 系統(tǒng)日志米集系統(tǒng)100包括守護任務(wù)和調(diào)度器（Daemon Task and Scheduler, DTS)、系統(tǒng)日志信息采集（Syslog Information Collection, SIC)功能和系統(tǒng)日志信息 管理（Syslog Information Analyse，SIA)功能。SIC 中包括消息隊列（Message Queue) 模塊112和心跳檢測（Heartbeat Monitor)模塊113 ;SIA中包括模板選擇器（Template Selector) 114 和關(guān)鍵字過濾器（Keywords Filter) 115。
[0042] 系統(tǒng)日志管理系統(tǒng)200包括數(shù)據(jù)庫（Data Center) 214、數(shù)據(jù)生成器212、報警模塊 213、數(shù)據(jù)訪問和控制中心（Data Access&Control Centre，DACC)211。其中報警模塊213可 以設(shè)置在監(jiān)控中心（Monitor Center)中，并且系統(tǒng)日志管理系統(tǒng)200中還可以設(shè)置有控制 中心（Logzilia Expand) 〇
[0043] 其中，SIC功能主要用于對syslog進行檢查與索引，并生成消息隊列輸送給SIA。
[0044] 消息隊列模塊112隸屬于SIC,用于生成實時消息隊列。
[0045] 心跳檢測模塊113隸屬于SIC，用于檢測報警那些不能正常投遞日志的被采集設(shè) 備。
[0046] SIA功能主要用于處理消息隊列并生成所需數(shù)據(jù)。
[0047] 模板選擇器114隸屬于SIA，使用相對應(yīng)的設(shè)備模板對來自被米集設(shè)備的系統(tǒng)日 志進行匹配。
[0048] 關(guān)鍵字過濾器115隸屬于SIA，通過多級過濾條件（如多級關(guān)鍵字模板）過濾數(shù) 據(jù)。
[0049] DTS111負責系統(tǒng)日志采集系統(tǒng)100中SIC和SIA功能的運行與調(diào)度。
[0050] DACC211主要對系統(tǒng)日志管理系統(tǒng)200中的器件進行管理，其功能包括等級關(guān)鍵 字的設(shè)置、數(shù)據(jù)庫及其管理、統(tǒng)計與檢索、監(jiān)控報警等。
[0051] 數(shù)據(jù)庫214隸屬于DACC，用于記錄格式化后的syslog、配置信息與管理日志等。
[0052] 控制中心隸屬于DACC，是DACC的網(wǎng)絡(luò)（web)控制臺。
[0053] 監(jiān)控中心隸屬于DACC，由分級報警模塊213和平臺展現(xiàn)模塊兩部分組成。
[0054] 下面結(jié)合附圖分別對上述各功能和單元進行具體說明。
[0055] 參見圖2,顯示了本發(fā)明一個實施例的系統(tǒng)日志采集系統(tǒng)的工作流程示意圖。
[0056] 在開始執(zhí)行對系統(tǒng)日志的處理操作時，消息隊列模塊112訪問生成系統(tǒng)日志的設(shè) 備，從設(shè)備采集系統(tǒng)日志。這些設(shè)備主要為一些可能產(chǎn)生系統(tǒng)日志的進程，如防火墻設(shè)備、 路由器設(shè)備、交換機設(shè)備和負載均衡設(shè)備中的一種或多種等。
[0057] 具體地，消息隊列模塊112利用日志工具logtail訪問需要執(zhí)行日志采集的設(shè)備， 當該設(shè)備中存在系統(tǒng)日志時，采集該系統(tǒng)日志并生成消息隊列形式的系統(tǒng)日志消息流，然 后將消息流送入模板選擇器114。即本實施例采用消息隊列的數(shù)據(jù)形式，以便于對系統(tǒng)日志 進行處理。logtail工具是部署在客戶端側(cè)（如syslog-ng日志工具）上的一個客戶端腳 本，它為每個日志文件設(shè)置檢測點（checkpoint)，以向SIC提供最新的syslog記錄，是消息 隊列模塊112所使用的獲取數(shù)據(jù)流的工具。本方案將系統(tǒng)日志采集系統(tǒng)設(shè)置在客戶端側(cè)， 進行系統(tǒng)日志的采集、過濾等操作，將系統(tǒng)日志管理系統(tǒng)設(shè)置在服務(wù)器側(cè)，進行系統(tǒng)日志的 報警、二次開發(fā)等操作。
[0058] 當消息隊列模塊112沒有從設(shè)備中采集到系統(tǒng)日志時，DTS111調(diào)度心跳檢測模塊 113向設(shè)備發(fā)送心跳消息，即心跳檢測模塊113會根據(jù)DTS111的調(diào)度向設(shè)備發(fā)送心跳消息， 從而觸發(fā)該設(shè)備發(fā)送任意系統(tǒng)日志，以確定該設(shè)備的存活狀態(tài)，即該設(shè)備是否處于正常工 作狀態(tài)。當心跳檢測模塊113接收到該設(shè)備根據(jù)心跳消息返回系統(tǒng)日志時，將該系統(tǒng)日志 發(fā)送至模板選擇器114,由模板選擇器114進行處理。
[0059] 當心跳檢測模塊113接收到該設(shè)備根據(jù)心跳消息返回指示發(fā)生故障的應(yīng)答，則將 該設(shè)備的信息發(fā)送至DTS111并記錄，由DTS111將該設(shè)備的信息發(fā)送至系統(tǒng)日志管理系統(tǒng) 進行報警。當心跳檢測模塊113接收到該設(shè)備根據(jù)心跳消息返回指示正常的應(yīng)答時，即該 設(shè)備正常工作但該設(shè)備不生成系統(tǒng)日志，則結(jié)束對該設(shè)備的操作。
[0060] DTS111對消息隊列模塊、模板選擇器和關(guān)鍵字過濾器進行運行與調(diào)度。
[0061] 模板選擇器114將采集到的系統(tǒng)日志與指定的設(shè)備模板進行匹配，確認各系統(tǒng)日 志對應(yīng)的設(shè)備類型。系統(tǒng)日志經(jīng)過消息隊列模塊112的處理后形成系統(tǒng)日志消息流，模板 選擇器114將設(shè)備模板與消息流進行匹配。設(shè)備類型可以指示生成系統(tǒng)日志的設(shè)備的名 稱、設(shè)備的型號等。在執(zhí)行匹配操作時，模板選擇器114會遍歷各設(shè)備模板，將各設(shè)備模板 逐一對消息流中的系統(tǒng)日志（如系統(tǒng)日志的格式）進行匹配，當出現(xiàn)匹配成功的設(shè)備模板 時，終止匹配操作，將與系統(tǒng)日志匹配成功的設(shè)備模板對應(yīng)的設(shè)備類型作為該系統(tǒng)日志的 設(shè)備類型。
[0062] 模板選擇器114可以從系統(tǒng)日志管理系統(tǒng)獲取使用的設(shè)備模板，例如，由系統(tǒng)日 志采集系統(tǒng)中的DTS向系統(tǒng)日志管理系統(tǒng)中的DACC發(fā)送請求獲取設(shè)備模板的請求，DTS接 收DACC根據(jù)該請求下發(fā)的設(shè)備模板，DTS將該設(shè)備模板發(fā)送至模板選擇器114。
[0063] 本實施例中，對每一種設(shè)備類型，將能夠匹配該設(shè)備類型下的所有系統(tǒng)日志格式 的條件表達式選取為該設(shè)備類型的設(shè)備模板，則在進行設(shè)備模板與系統(tǒng)日志的匹配操作 時，將采集到的系統(tǒng)日志的格式與下述指定的設(shè)備模板進行匹配。本實施例通過對各設(shè)備 的系統(tǒng)日志的統(tǒng)計和分析，提供的指定的設(shè)備模板的示例如下：
[0064] 防火墻（FireWall)的設(shè)備模板為：
[0065] (·*? )\s ? (\w+(-\w+) {1,4}) ? \s ? \ %? \ %? (\w+[- V ] ([0-7])
[-V ]\w+(\(\w+\)) ? ): ? \s ? (. *)
[0066] 路由器與交換機（Switch and Router)的設(shè)備模板為：
[0067] (·*? )\s ? (\w+(-\w+) {1,4}) ? \s ? \ %? \ %? (\w+[- V ] ([0-7])
[-V ]\w+(\(\w+\)) ? ): ? \s ? (. *)
[0068] F5負載均衡設(shè)備的設(shè)備模板為：
[0069] (. * ? ) \s ? \w+(-\w+) {1,4} \s+(. * ? ):\s+(. *)
[0070] A10負載均衡設(shè)備的設(shè)備模板為：
[0071] (· * ? ) \s ? (alOlogd:\s+\ [\w+\])〈（ [0-7]) >\s+(· *)
[0072] Alteon負載均衡設(shè)備的設(shè)備模板為：
[0073] (\w+) \s+ (AlteonOS\s+〈\w+>) : \s+ (· *)
[0074] Juniper防火墻或路由器設(shè)備的設(shè)備模板為：
[0075] (· * ? ) \s ? [Jnpr I Juniper: ]\s+(· *)
[0076] 由上，本實施例不同設(shè)備的系統(tǒng)日志格式，制定的與之相符合的條件表達式，作為 設(shè)備模板。設(shè)備模板由DTS進行調(diào)度，用于在系統(tǒng)日志采集系統(tǒng)中與消息流進行匹配比對， 來確定日志來源屬于何種設(shè)備，以及解析各字段含義，為后續(xù)數(shù)據(jù)生成器的格式標準化輸 出所用。
[0077] 關(guān)鍵字過濾器115根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng)日 志進行過濾，并將過濾結(jié)果發(fā)送至系統(tǒng)日志管理系統(tǒng)。關(guān)鍵字過濾器115對系統(tǒng)日志的過 濾操作主要起到了將系統(tǒng)日志進行分類的作用，本實施例中過濾后的系統(tǒng)日志被分為三大 類，一類為危險的系統(tǒng)日志（可為其設(shè)置第一標志位），再一類為安全的系統(tǒng)日志（可為其 設(shè)置第二標志位），又一類為未知的系統(tǒng)日志（可為其設(shè)置第三標志位），按照類別將系統(tǒng) 日志的相關(guān)信息上報至服務(wù)器側(cè)（如系統(tǒng)日志管理系統(tǒng)），從而使系統(tǒng)日志管理系統(tǒng)能夠 對不同類別的系統(tǒng)日志進行不同的操作。
[0078] 圖2所示的實施例中關(guān)鍵字過濾器115包括一級關(guān)鍵字過濾器和二級關(guān)鍵字過濾 器。關(guān)鍵字過濾器115使用的關(guān)鍵字模板包括一級關(guān)鍵字模板和二級關(guān)鍵字模板，不同設(shè) 備類型的系統(tǒng)日志對應(yīng)的二級關(guān)鍵字模板不同，而所有設(shè)備類型的系統(tǒng)日志都可以使用相 同的一級關(guān)鍵字模板。
[0079] 關(guān)鍵字過濾器115可以從系統(tǒng)日志管理系統(tǒng)獲取使用的關(guān)鍵字模板，例如，由系 統(tǒng)日志采集系統(tǒng)中的DTS向系統(tǒng)日志管理系統(tǒng)中的DACC發(fā)送請求獲取關(guān)鍵字模板的請求， DTS接收DACC根據(jù)該請求下發(fā)的關(guān)鍵字模板，DTS將該關(guān)鍵字模板發(fā)送至關(guān)鍵字過濾器 115。
[0080] 關(guān)鍵字過濾器115中的一級關(guān)鍵字過濾器利用一級關(guān)鍵字模板對所有設(shè)備類型 的系統(tǒng)日志進行匹配，為一級關(guān)鍵字模板匹配成功的系統(tǒng)日志設(shè)置第一標志位，將匹配成 功的系統(tǒng)日志、該系統(tǒng)日志的第一標志位及設(shè)備類型上報至系統(tǒng)日志管理系統(tǒng)。本實施例 中設(shè)置的標志位為一種報警級別標記，如第一標志位可以設(shè)置為1，表示報警級別為一級。 對第一標志位的系統(tǒng)日志，認定為危險日志，需要報警。
[0081] 對一級關(guān)鍵字模板匹配失敗的系統(tǒng)日志，二級關(guān)鍵字過濾器利用該系統(tǒng)日志的設(shè) 備類型對應(yīng)的二級關(guān)鍵字模板對該系統(tǒng)日志進行匹配，為二級關(guān)鍵字模板匹配成功的系統(tǒng) 日志設(shè)置第二標志位，將匹配成功的系統(tǒng)日志、該系統(tǒng)日志的設(shè)備類型上報至系統(tǒng)日志管 理系統(tǒng)。如第二標志位可以設(shè)置為2,表示報警級別為二級。對第二標志位的系統(tǒng)日志，認 定為排除對象，即該類型系統(tǒng)日志為安全日志，不需要報警。
[0082] 關(guān)鍵字過濾器115為一級關(guān)鍵字模板和二級關(guān)鍵字模板都匹配失敗的系統(tǒng)日志 設(shè)置第三標志位，將該系統(tǒng)日志、該系統(tǒng)日志的第三標志位及設(shè)備類型上報至系統(tǒng)日志管 理系統(tǒng)。如第三標志位可以設(shè)置為-1，表示未定義。通過第三標志位的系統(tǒng)日志可以發(fā)現(xiàn) 過濾條件之外未被發(fā)掘的、具有潛在價值的日志，增強系統(tǒng)的發(fā)現(xiàn)與學習能力。
[0083] 由上，考慮到具有第二標志位的系統(tǒng)日志不需要報警，本實施例中采用僅將設(shè)置 的第一標志位、第三標志位上報至服務(wù)器側(cè)，而不將設(shè)置的第二標志位上報至服務(wù)器側(cè)的 處理方式，則在服務(wù)器側(cè)將具有第一標志位或第三標志位之外的系統(tǒng)日志視為具有第二標 志為的系統(tǒng)日志。
[0084] 又一種方式下，客戶端可以將設(shè)置的第一標志位、第二標志位和第三標志位都上 報至服務(wù)器側(cè)，便于服務(wù)器側(cè)對不同的系統(tǒng)日志進行區(qū)分和操作。
[0085] 本實施例使用的一級關(guān)鍵字模板，參見下表1 :
[0086] 表 1
[0087]

【權(quán)利要求】
1. 一種系統(tǒng)日志的處理方法，其特征在于，所述方法包括： 訪問生成系統(tǒng)日志的設(shè)備，從所述設(shè)備采集系統(tǒng)日志； 將采集到的系統(tǒng)日志的格式與指定的設(shè)備模板進行匹配，確認各系統(tǒng)日志對應(yīng)的設(shè)備 類型； 根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng)日志進行過濾； 將所述過濾結(jié)果發(fā)送至服務(wù)器側(cè)，由服務(wù)器側(cè)對所述系統(tǒng)日志進行報警處理； 其中，每種設(shè)備類型的所述設(shè)備模板由能夠匹配該設(shè)備類型下的所有系統(tǒng)日志格式的 條件表達式生成； 每種設(shè)備類型的所述關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中允許包括的關(guān)鍵字或者 禁止包括的關(guān)鍵字生成。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訪問生成系統(tǒng)日志的設(shè)備，從所述設(shè) 備米集系統(tǒng)日志包括： 利用日志工具logtail訪問所述設(shè)備，當該設(shè)備中存在系統(tǒng)日志時，采集該系統(tǒng)日志 并生成消息隊列形式的系統(tǒng)日志消息流；當該設(shè)備中不存在系統(tǒng)日志時，通過建立的守護 任務(wù)和調(diào)度器DTS向該設(shè)備發(fā)送心跳消息，若該設(shè)備根據(jù)心跳消息返回系統(tǒng)日志，則采集 該系統(tǒng)日志并生成消息隊列形式的系統(tǒng)日志消息流，若該設(shè)備根據(jù)心跳消息返回指示發(fā)生 故障的應(yīng)答，則將相應(yīng)設(shè)備的信息記錄在DTS中，由DTS發(fā)送至服務(wù)器側(cè)進行報警。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 向服務(wù)器側(cè)發(fā)送請求獲取所述設(shè)備模板和/或關(guān)鍵字模板的請求； 接收服務(wù)器側(cè)根據(jù)所述請求下發(fā)的設(shè)備模板和/或關(guān)鍵字模板。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述指定的關(guān)鍵字模板包括一級關(guān)鍵字 模板和二級關(guān)鍵字模板，為不同設(shè)備類型的系統(tǒng)日志設(shè)置的二級關(guān)鍵字模板不同，所述一 級關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中禁止包括的關(guān)鍵字生成，所述二級關(guān)鍵字模板由 該設(shè)備類型下系統(tǒng)日志中允許包括的關(guān)鍵字生成， 所述根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng)日志進行過濾包括： 利用一級關(guān)鍵字模板對所有設(shè)備類型的系統(tǒng)日志進行匹配，為一級關(guān)鍵字模板匹配成 功的系統(tǒng)日志設(shè)置第一標志位，將匹配成功的系統(tǒng)日志、該系統(tǒng)日志的第一標志位及設(shè)備 類型上報至服務(wù)器側(cè)； 對一級關(guān)鍵字模板匹配失敗的系統(tǒng)日志，利用該系統(tǒng)日志的設(shè)備類型對應(yīng)的二級關(guān)鍵 字模板對該系統(tǒng)日志進行匹配，為二級關(guān)鍵字模板匹配成功的系統(tǒng)日志設(shè)置第二標志位， 將匹配成功的系統(tǒng)日志、該系統(tǒng)日志的設(shè)備類型上報至服務(wù)器側(cè)；以及， 為一級關(guān)鍵字模板和二級關(guān)鍵字模板都匹配失敗的系統(tǒng)日志設(shè)置第三標志位，將該系 統(tǒng)日志、該系統(tǒng)日志的第三標志位及設(shè)備類型上報至服務(wù)器側(cè)。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：當采集到的系統(tǒng)日志沒 有匹配的設(shè)備模板時，將該系統(tǒng)日志的設(shè)備類型設(shè)置為未定義設(shè)備類型； 所述利用指定的關(guān)鍵字模板對系統(tǒng)日志進行過濾包括： 僅利用一級關(guān)鍵字模板對該系統(tǒng)日志進行匹配，將匹配成功的系統(tǒng)日志、該系統(tǒng)日志 的第一標志位及設(shè)備類型上報至服務(wù)器側(cè)，將匹配失敗的系統(tǒng)日志記錄在臨時文件中。
6. -種系統(tǒng)日志的處理方法，其特征在于，所述方法包括： 接收客戶端側(cè)上報的系統(tǒng)日志的過濾結(jié)果并按照預(yù)定的統(tǒng)一格式將過濾結(jié)果存儲至 數(shù)據(jù)庫，所述過濾結(jié)果包括系統(tǒng)日志和該系統(tǒng)日志對應(yīng)的標志位，所述標志位包括第一標 志位和第二標志位； 當根據(jù)所述過濾結(jié)果獲知系統(tǒng)日志具有第一標志位時，采用短信方式和郵件方式發(fā)送 報警消息； 當根據(jù)所述過濾結(jié)果獲知系統(tǒng)日志具有第三標志位時，采用郵件方式發(fā)送報警消息； 當根據(jù)所述過濾結(jié)果獲知系統(tǒng)日志不具有第一標志位或第三標志位時，不執(zhí)行報警操 作。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于， 所述過濾結(jié)果中還包括系統(tǒng)日志的設(shè)備類型，所述方法還包括： 根據(jù)接收到的日志處理指令，按照所述預(yù)定的統(tǒng)一格式從所述數(shù)據(jù)庫中提取出指定設(shè) 備類型的系統(tǒng)日志，并按照所述日志處理指令進行處理。
8. -種系統(tǒng)日志的處理平臺，其特征在于，所述平臺包括系統(tǒng)日志采集系統(tǒng)和系統(tǒng)日 志管理系統(tǒng)， 所述系統(tǒng)日志采集系統(tǒng)包括消息隊列模塊、模板選擇器、關(guān)鍵字過濾器以及守護任務(wù) 和調(diào)度器DTS ; 所述消息隊列模塊，用于訪問生成系統(tǒng)日志的設(shè)備，從所述設(shè)備采集系統(tǒng)日志； 所述模板選擇器，用于將采集到的系統(tǒng)日志的格式與指定的設(shè)備模板進行匹配，確認 各系統(tǒng)日志對應(yīng)的設(shè)備類型； 所述關(guān)鍵字過濾器，用于根據(jù)各系統(tǒng)日志的設(shè)備類型，利用指定的關(guān)鍵字模板對系統(tǒng) 日志進行過濾，并將所述過濾結(jié)果發(fā)送至系統(tǒng)日志管理系統(tǒng)； 所述DTS，用于對所述消息隊列模塊、所述模板選擇器和所述關(guān)鍵字過濾器進行預(yù)定與 調(diào)度； 所述系統(tǒng)日志管理系統(tǒng)包括數(shù)據(jù)庫、數(shù)據(jù)生成器、報警模塊和數(shù)據(jù)訪問和控制中心 DACC ； 所述數(shù)據(jù)庫，用于存儲平臺中的數(shù)據(jù)； 所述數(shù)據(jù)生成器，用于接收來自系統(tǒng)日志采集系統(tǒng)的過濾結(jié)果，并按照預(yù)定的統(tǒng)一格 式將過濾結(jié)果存儲至所述數(shù)據(jù)庫； 所述報警模塊，用于根據(jù)所述數(shù)據(jù)生成器中的數(shù)據(jù)進行報警； 所述DACC，用于對所述數(shù)據(jù)庫、數(shù)據(jù)生成器和報警模塊進行管理； 其中，每種設(shè)備類型的所述設(shè)備模板由能夠匹配該設(shè)備類型下的所有系統(tǒng)日志格式的 條件表達式生成； 每種設(shè)備類型的所述關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中允許包括的關(guān)鍵字或者 禁止包括的關(guān)鍵字生成。
9. 根據(jù)權(quán)利要求8所述的平臺，其特征在于，所述系統(tǒng)日志采集系統(tǒng)還包括心跳檢測 模塊， 所述消息隊列模塊，還用于利用日志工具logtail訪問所述設(shè)備，當該設(shè)備中存在系 統(tǒng)日志時，采集該系統(tǒng)日志并生成消息隊列形式的系統(tǒng)日志消息流； 所述DTS，還用于當所述消息隊列模塊沒有從所述設(shè)備中采集到系統(tǒng)日志時，調(diào)度所述 心跳檢測模塊向所述設(shè)備發(fā)送心跳消息； 所述心跳檢測模塊，用于根據(jù)所述DTS的調(diào)度向設(shè)備發(fā)送心跳消息，當接收到該設(shè)備 根據(jù)心跳消息返回系統(tǒng)日志時，將該系統(tǒng)日志發(fā)送至所述模板選擇器，當接收到該設(shè)備根 據(jù)心跳消息返回指示發(fā)生故障的應(yīng)答，則將該設(shè)備的信息發(fā)送至所述DTS并記錄，由DTS將 該設(shè)備的信息發(fā)送至系統(tǒng)日志管理系統(tǒng)進行報警。
10.根據(jù)權(quán)利要求8或9所述的平臺，其特征在于，所述關(guān)鍵字過濾器使用的關(guān)鍵字模 板包括一級關(guān)鍵字模板和二級關(guān)鍵字模板，不同設(shè)備類型的系統(tǒng)日志對應(yīng)的二級關(guān)鍵字模 板不同，所述一級關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中禁止包括的關(guān)鍵字生成，所述二 級關(guān)鍵字模板由該設(shè)備類型下系統(tǒng)日志中允許包括的關(guān)鍵字生成， 所述關(guān)鍵字過濾器，具體用于利用一級關(guān)鍵字模板對所有設(shè)備類型的系統(tǒng)日志進行匹 配，為一級關(guān)鍵字模板匹配成功的系統(tǒng)日志設(shè)置第一標志位，將匹配成功的系統(tǒng)日志、該系 統(tǒng)日志的第一標志位及設(shè)備類型上報至系統(tǒng)日志管理系統(tǒng)；對一級關(guān)鍵字模板匹配失敗的 系統(tǒng)日志，利用該系統(tǒng)日志的設(shè)備類型對應(yīng)的二級關(guān)鍵字模板對該系統(tǒng)日志進行匹配，為 二級關(guān)鍵字模板匹配成功的系統(tǒng)日志設(shè)置第二標志位，將匹配成功的系統(tǒng)日志、該系統(tǒng)日 志的設(shè)備類型上報至系統(tǒng)日志管理系統(tǒng)；以及，為一級關(guān)鍵字模板和二級關(guān)鍵字模板都匹 配失敗的系統(tǒng)日志設(shè)置第三標志位，將該系統(tǒng)日志、該系統(tǒng)日志的第三標志位及設(shè)備類型 上報至系統(tǒng)日志管理系統(tǒng)； 所述報警模塊，具體用于當根據(jù)所述數(shù)據(jù)生成器中的過濾結(jié)果獲知系統(tǒng)日志具有第一 標志位時，采用短信方式和郵件方式發(fā)送報警消息；當根據(jù)所述過濾結(jié)果獲知系統(tǒng)日志具 有第三標志位時，采用郵件方式發(fā)送報警消息；當根據(jù)所述過濾結(jié)果獲知系統(tǒng)日志不具有 第一標志位或第三標志位時，不執(zhí)行報警操作。
【文檔編號】H04L12/24GK104144071SQ201310172737
【公開日】2014年11月12日 申請日期:2013年5月10日 優(yōu)先權(quán)日:2013年5月10日
【發(fā)明者】常福剛, 戴相龍 申請人:北京新媒傳信科技有限公司