本發(fā)明涉及日志處理技術(shù)領(lǐng)域，特別是涉及一種Linux日志的處理裝置。

背景技術(shù)：

目前，日志是獲取網(wǎng)絡(luò)系統(tǒng)狀況的一個(gè)重要手段。而復(fù)雜的網(wǎng)絡(luò)系統(tǒng)由種類繁多的安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機(jī)系統(tǒng)及其應(yīng)用等組成，每天產(chǎn)生大量日志信息，如何對(duì)之進(jìn)行統(tǒng)一處理，對(duì)它們分析及時(shí)了解系統(tǒng)狀況，發(fā)現(xiàn)潛在威脅，并在第一時(shí)間對(duì)異常事件執(zhí)行快速響應(yīng)，是提高網(wǎng)絡(luò)系統(tǒng)整體安全性的關(guān)鍵。

Linux操作平臺(tái)作為一種主流的操作系統(tǒng)，經(jīng)常被應(yīng)用于各種服務(wù)器以及其它硬件設(shè)備上，而其產(chǎn)生的日志具有易讀性差，數(shù)據(jù)量大，關(guān)聯(lián)性差，容易被修改和破壞等特點(diǎn)。其自身提供的事件查看器只能進(jìn)行基本的日志信息查看，不夠直觀。而隨著網(wǎng)絡(luò)中設(shè)備數(shù)量的不斷增加，通過事件查看器去逐臺(tái)查看日志的方法也不便于網(wǎng)絡(luò)系統(tǒng)的處理和維護(hù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種Linux日志的處理裝置，以實(shí)現(xiàn)為自動(dòng)提取網(wǎng)絡(luò)系統(tǒng)中設(shè)備的日志信息，系統(tǒng)的處理和維護(hù)提供便利性，并提高日志的有效性。

為解決上述技術(shù)問題，本發(fā)明提供一種Linux日志的處理裝置，該裝置包括：

日志提取代理模塊，用于在Linux平臺(tái)中收集需要處理的日志數(shù)據(jù)和系統(tǒng)信息；

日志分析模塊，用于將所述日志數(shù)據(jù)和系統(tǒng)信息存儲(chǔ)至日志數(shù)據(jù)庫中，對(duì)日志數(shù)據(jù)庫中的日志數(shù)據(jù)進(jìn)行分析，生成數(shù)據(jù)分析結(jié)果；

數(shù)據(jù)圖形化模塊，用于將數(shù)據(jù)分析結(jié)果進(jìn)行數(shù)據(jù)圖形化，生成可視化圖像。

可選的，所述日志提取代理模塊還包括：

日志描述單元，用于在日志數(shù)據(jù)庫中對(duì)日志數(shù)據(jù)進(jìn)行統(tǒng)一描述，生成描述信息；所述描述信息包括日志數(shù)據(jù)編號(hào)、日志數(shù)據(jù)名稱、日志數(shù)據(jù)大小、原始日志數(shù)據(jù)、目標(biāo)系統(tǒng)主機(jī)名及目標(biāo)系統(tǒng)IP地址。

可選的，所述裝置還包括：

日志備份模塊，用于對(duì)所述日志數(shù)據(jù)進(jìn)行備份。

可選的，所述日志備份模塊還包括：

備份加密單元，用于對(duì)備份的日志數(shù)據(jù)進(jìn)程加密，對(duì)備份的日志數(shù)據(jù)存儲(chǔ)在異地服務(wù)器上。

可選的，所述日志分析模塊包括：

存儲(chǔ)單元，用于將所述日志數(shù)據(jù)和系統(tǒng)信息存儲(chǔ)至日志數(shù)據(jù)庫中；

篩選單元，用于對(duì)日志數(shù)據(jù)庫中的日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，篩選出無用信息，將對(duì)系統(tǒng)無用的信息過濾掉。

本發(fā)明所提供的一種Linux日志的處理裝置，在Linux平臺(tái)中收集需要處理的日志數(shù)據(jù)和系統(tǒng)信息；將所述日志數(shù)據(jù)和系統(tǒng)信息存儲(chǔ)至日志數(shù)據(jù)庫中，對(duì)日志數(shù)據(jù)庫中的日志數(shù)據(jù)進(jìn)行分析，生成數(shù)據(jù)分析結(jié)果；將數(shù)據(jù)分析結(jié)果進(jìn)行數(shù)據(jù)圖形化，生成可視化圖像?？梢?，將Linux平臺(tái)的日志數(shù)據(jù)進(jìn)行收集提取，進(jìn)行分析處理形成圖形化的圖像報(bào)表，為網(wǎng)絡(luò)系統(tǒng)的維護(hù)和處理提供了便利，且將處理好的日志存儲(chǔ)到日志數(shù)據(jù)庫中，以對(duì)日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，篩除無用信息，形成可視化的圖形，提供給日志處理人員，為系統(tǒng)的處理和維護(hù)提供了便利。并且對(duì)日志進(jìn)行了智能化的分析和篩選，如此當(dāng)系統(tǒng)出現(xiàn)故障時(shí)能夠第一時(shí)間獲取有用的信息，提高了日志的有效性。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明所提供的一種Linux日志的處理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

本發(fā)明的核心是提供一種Linux日志的處理裝置，以實(shí)現(xiàn)自動(dòng)提取網(wǎng)絡(luò)系統(tǒng)中設(shè)備的日志信息，為系統(tǒng)的處理和維護(hù)提供便利性，并提高日志的有效性。

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參考圖1，圖1為本發(fā)明所提供的一種Linux日志的處理裝置的結(jié)構(gòu)示意圖，該裝置包括：

日志提取代理模塊101，用于在Linux平臺(tái)中收集需要處理的日志數(shù)據(jù)和系統(tǒng)信息；

日志分析模塊102，用于將日志數(shù)據(jù)和系統(tǒng)信息存儲(chǔ)至日志數(shù)據(jù)庫中，對(duì)日志數(shù)據(jù)庫中的日志數(shù)據(jù)進(jìn)行分析，生成數(shù)據(jù)分析結(jié)果；

數(shù)據(jù)圖形化模塊103，用于將數(shù)據(jù)分析結(jié)果進(jìn)行數(shù)據(jù)圖形化，生成可視化圖像。

可選的，日志提取代理模塊還包括：日志描述單元，用于在日志數(shù)據(jù)庫中對(duì)日志數(shù)據(jù)進(jìn)行統(tǒng)一描述，生成描述信息；描述信息包括日志數(shù)據(jù)編號(hào)、日志數(shù)據(jù)名稱、日志數(shù)據(jù)大小、原始日志數(shù)據(jù)、目標(biāo)系統(tǒng)主機(jī)名及目標(biāo)系統(tǒng)IP地址。

所述裝置還包括：日志備份模塊，用于對(duì)日志數(shù)據(jù)進(jìn)行備份。

其中，日志備份模塊還包括：備份加密單元，用于對(duì)備份的日志數(shù)據(jù)進(jìn)程加密，對(duì)備份的日志數(shù)據(jù)存儲(chǔ)在異地服務(wù)器上。

日志分析模塊包括：

存儲(chǔ)單元，用于將日志數(shù)據(jù)和系統(tǒng)信息存儲(chǔ)至日志數(shù)據(jù)庫中；

篩選單元，用于對(duì)日志數(shù)據(jù)庫中的日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，篩選出無用信息，將對(duì)系統(tǒng)無用的信息過濾掉。其中，無用信息指代無用的日志數(shù)據(jù)，將對(duì)系統(tǒng)無用的信息過濾掉即將無用的日志數(shù)據(jù)過濾掉。

具體的，日志提取代理模塊，安裝于需要提取日志的主機(jī)端，負(fù)責(zé)提取主機(jī)中的日志和系統(tǒng)信息，并將日志數(shù)據(jù)傳輸?shù)饺罩痉治瞿K中。

日志分析模塊對(duì)提取收集到的主機(jī)日志數(shù)據(jù)進(jìn)行篩選分析生成一定量的數(shù)據(jù)結(jié)果，并由數(shù)據(jù)化圖像模塊生成可視化圖形，提供給日志分析處理人員，同時(shí)負(fù)責(zé)將日志信息以統(tǒng)一的格式存儲(chǔ)到日志數(shù)據(jù)庫中。日志數(shù)據(jù)庫中定義了需要存儲(chǔ)的日志類型和格式，規(guī)范各類不同的日志信息數(shù)據(jù)，對(duì)各類日志進(jìn)行統(tǒng)一的描述，方便日志信息的提取，備份和分析。

詳細(xì)的，日志提取代理模塊能夠進(jìn)行日志提取、系統(tǒng)信息采集、本地日志備份和日志數(shù)據(jù)傳輸。日志分析模塊能夠進(jìn)行日志數(shù)據(jù)采集，日志備份存儲(chǔ)，日志數(shù)據(jù)分析，日志數(shù)據(jù)統(tǒng)計(jì)，數(shù)據(jù)圖形化。日志提取模塊，日志分析模塊和數(shù)據(jù)圖像化模塊通過網(wǎng)絡(luò)方式連接。

詳細(xì)的，本發(fā)明包含日志提取代理模塊、日志分析模塊、數(shù)據(jù)圖形化模塊三部分組成。日志提取代理模塊為日志提取代理端，日志分析模塊為日志分析服務(wù)器。日志提取代理端包括系統(tǒng)日志提取模塊、系統(tǒng)信息采集模塊、本地日志備份模塊和日志數(shù)據(jù)傳輸模塊，即包括四個(gè)模塊。日志分析服務(wù)器包括日志數(shù)據(jù)采集模塊，日志備份存儲(chǔ)模塊，日志數(shù)據(jù)分析模塊，日志數(shù)據(jù)統(tǒng)計(jì)模塊和提取代理處理模塊。

系統(tǒng)工作時(shí)，將要提取日志的主機(jī)與日志分析服務(wù)器相連，并在日志提取代理端上安裝日志代理端軟件，之后可由日志分析服務(wù)器通過提取代理處理模塊對(duì)日志提取代理主機(jī)進(jìn)行配置處理。日志提取代理端中的系統(tǒng)日志提取模塊和系統(tǒng)信息采集模塊提取主機(jī)中的系統(tǒng)日志和系統(tǒng)信息，系統(tǒng)日志即為日志數(shù)據(jù)，由日志數(shù)據(jù)傳輸模塊將日志數(shù)據(jù)和系統(tǒng)信息傳輸?shù)饺罩痉治龇?wù)器當(dāng)中，同時(shí)本地日志備份模塊在主機(jī)對(duì)提取的日志數(shù)據(jù)進(jìn)行本地備份。日志分析服務(wù)器通過日志數(shù)據(jù)采集模塊將系統(tǒng)日志提取模塊和系統(tǒng)信息采集模塊中的信息添加，并通過日志備份存儲(chǔ)模塊存儲(chǔ)到日志數(shù)據(jù)庫當(dāng)中，通過日志數(shù)據(jù)分析模塊和日志數(shù)據(jù)統(tǒng)計(jì)模塊將日志數(shù)據(jù)生成分析一定量的數(shù)據(jù)結(jié)果，由數(shù)據(jù)圖形化模塊生成可視化圖形，提供給日志分析處理人員。

其中，系統(tǒng)日志提取模塊搜索目標(biāo)系統(tǒng)中可能存在的日志文件，獲取日志文件的文件名、大小、創(chuàng)建時(shí)間、修改時(shí)間、訪問時(shí)間和存放位置以及MD5值，并將收集到的日志文件信息以一定格式寫入文件。所述格式優(yōu)選的以行為單位寫入，各個(gè)信息字段之間以分割。系統(tǒng)信息采集模塊獲取目標(biāo)系統(tǒng)配置信息，Linux操作系統(tǒng)的主機(jī)名、IP地址、MAC地址、網(wǎng)關(guān)地址等信息，為以后日志數(shù)據(jù)受到質(zhì)疑時(shí)可以模擬目標(biāo)系統(tǒng)提供依據(jù)。其中，本地日志備份模塊進(jìn)行指定時(shí)間點(diǎn)的加密備份。根據(jù)設(shè)定指定的時(shí)間點(diǎn)，自動(dòng)的進(jìn)行一定時(shí)間的服務(wù)器異地備份。這樣能保證即使在本地代理出現(xiàn)異常的情況下，也可根據(jù)服務(wù)端的備份信息進(jìn)行日志的查詢和提取。所述加密算法優(yōu)選的使用DEA對(duì)稱加密算法。

日志數(shù)據(jù)傳輸模塊對(duì)這些日志文件的數(shù)據(jù)利用已規(guī)格定義好的日志信息數(shù)據(jù)表對(duì)系統(tǒng)日志信息進(jìn)行規(guī)格采集，然后利用網(wǎng)絡(luò)協(xié)議對(duì)日志信息進(jìn)行加密傳輸，并保存在數(shù)據(jù)庫中。所述的網(wǎng)絡(luò)協(xié)議優(yōu)選為TCP/IP協(xié)議。日志數(shù)據(jù)采集模塊主要功能是將系統(tǒng)日志提取模塊和系統(tǒng)信息采集模塊中的信息添加并保存入數(shù)據(jù)庫，并通過比較MD5值判斷日志文件的完整性。日志數(shù)據(jù)分析模塊分析收集來的日志數(shù)據(jù)時(shí)，可預(yù)先設(shè)定一些關(guān)鍵字，比如系統(tǒng)所需的時(shí)間段、IP地址、用戶名、類型、來源、使用的協(xié)議等，根據(jù)這些關(guān)鍵字同時(shí)結(jié)合日志文件格式，采用關(guān)聯(lián)分析算法對(duì)日志數(shù)據(jù)表進(jìn)行查詢分析，具體過程如下：

(1)將日志數(shù)據(jù)采集模塊獲取的原始日志數(shù)據(jù)信息按著關(guān)鍵字時(shí)間、類型、時(shí)間進(jìn)行過濾，將對(duì)本系統(tǒng)無用的信息過濾掉。

(2)根據(jù)主屬性對(duì)過濾后的信息進(jìn)行合并，將時(shí)間、類型相同的不同用戶ID的事件視作為同一屬性的信息，合并為一體。

(3)將處理好的日志數(shù)據(jù)信息分別按著類型、時(shí)間、日期、來源、事件進(jìn)行重新整理排列。

(4)最后按著主屬性時(shí)間和類型將日志數(shù)據(jù)信息進(jìn)行關(guān)聯(lián)分析。

(5)按著指定的時(shí)間段重復(fù)(2)～(4)步驟，對(duì)所需日志數(shù)據(jù)信息進(jìn)行分析。

上述的日志數(shù)據(jù)信息即為日志數(shù)據(jù)，日志數(shù)據(jù)統(tǒng)計(jì)模塊通過日志數(shù)據(jù)分析模塊分析的結(jié)果，按著所指定的關(guān)鍵字時(shí)間和類型對(duì)日志數(shù)據(jù)進(jìn)行有效的統(tǒng)計(jì)。提取代理處理模塊是日志提取代理端和日志分析服務(wù)器的連接紐帶，它讀取從代理端傳輸來的日志信息，并將日志信息交由日志分析服務(wù)器的其它模塊使用，保證了整個(gè)系統(tǒng)的暢通連接。

由于傳統(tǒng)的Linux系統(tǒng)日志易讀性差，數(shù)據(jù)量大，關(guān)聯(lián)性差，容易被修改和破壞，而當(dāng)被處理的設(shè)備越來越多時(shí)，日志的處理越來越不便。而本裝置實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)中大量主機(jī)端日志的自動(dòng)采集，分析，極大地減輕了系統(tǒng)處理員的工作負(fù)擔(dān)；對(duì)日志進(jìn)行了智能化的分析和篩選，當(dāng)系統(tǒng)出現(xiàn)故障時(shí)能夠第一時(shí)間獲取有用的信息，提高了日志的有效性；對(duì)日志進(jìn)行了備份處理，提高了系統(tǒng)的穩(wěn)定性。

本發(fā)明所提供的一種Linux日志的處理裝置，日志提取代理模塊在Linux平臺(tái)中收集需要處理的日志數(shù)據(jù)和系統(tǒng)信息；日志分析模塊將日志數(shù)據(jù)和系統(tǒng)信息存儲(chǔ)至日志數(shù)據(jù)庫中，對(duì)日志數(shù)據(jù)庫中的日志數(shù)據(jù)進(jìn)行分析，生成數(shù)據(jù)分析結(jié)果；數(shù)據(jù)圖形化模塊將數(shù)據(jù)分析結(jié)果進(jìn)行數(shù)據(jù)圖形化，生成可視化圖像?？梢?，該裝置將Linux平臺(tái)的日志數(shù)據(jù)進(jìn)行收集提取，進(jìn)行分析處理形成圖形化的圖像報(bào)表，為網(wǎng)絡(luò)系統(tǒng)的維護(hù)和處理提供了便利，且將處理好的日志存儲(chǔ)到日志數(shù)據(jù)庫中，以對(duì)日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，篩除無用信息，形成可視化的圖形，提供給日志處理人員，為系統(tǒng)的處理和維護(hù)提供了便利。并且對(duì)日志進(jìn)行了智能化的分析和篩選，如此當(dāng)系統(tǒng)出現(xiàn)故障時(shí)能夠第一時(shí)間獲取有用的信息，提高了日志的有效性。

在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。