一種分布式設(shè)備日志采集方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種分布式設(shè)備日志采集方法，屬于計(jì)算機(jī)系統(tǒng)集成及應(yīng)用技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 隨著網(wǎng)絡(luò)環(huán)境規(guī)模的日益擴(kuò)大，網(wǎng)絡(luò)中各種設(shè)備的數(shù)量急劇增加，來自外部和內(nèi) 部的各種安全和攻擊也在急劇增加，威脅著網(wǎng)絡(luò)信息安全。為了不斷應(yīng)對(duì)新的安全挑戰(zhàn)，企 業(yè)和組織先后部署了防病毒系統(tǒng)、防火墻、入侵檢測(cè)系統(tǒng)、漏洞掃描系統(tǒng)、UTM等等。在這種 復(fù)雜的安全體系下，安全審計(jì)變的極為重要。安全審計(jì)的數(shù)據(jù)基礎(chǔ)是防病毒系統(tǒng)、防火墻、 入侵檢測(cè)系統(tǒng)、漏洞掃描系統(tǒng)、UTM、運(yùn)行主機(jī)、交換機(jī)、路由器、數(shù)據(jù)庫系統(tǒng)、中間件等日志 事件、狀態(tài)事件和網(wǎng)絡(luò)數(shù)據(jù)包信息。在目前的網(wǎng)絡(luò)環(huán)境中，各種設(shè)備的日志已經(jīng)成為海量數(shù) 據(jù)，syslog作為主要的日志類型，被各種操作系統(tǒng)，網(wǎng)絡(luò)設(shè)備和安全設(shè)備廣泛支持，成為日 志的重要標(biāo)準(zhǔn)，對(duì)于其他類型的日志，也可以轉(zhuǎn)換為日志格式，便于統(tǒng)一分析。
[0003] 由于目前的日志量極大，因此如何有效地進(jìn)行處理和存儲(chǔ)變得極為重要，在一個(gè) 中型的企業(yè)中，一天的日志量可以達(dá)到幾十G甚至上百G，而一般要求這些日志至少保持3 個(gè)月，那么在一個(gè)安全審計(jì)系統(tǒng)中，這些日志的存儲(chǔ)成為最基礎(chǔ)和最重要的一環(huán)，傳統(tǒng)的單 點(diǎn)存儲(chǔ)方案已經(jīng)無法滿足需求。
[0004] 另外由于日志量極大，日志的高效查詢也是一個(gè)嚴(yán)重的課題，尤其是在單點(diǎn)存儲(chǔ) 方案中，對(duì)單個(gè)數(shù)據(jù)庫在快速存儲(chǔ)的同時(shí)進(jìn)行查詢，查詢效率非常低下。
[0005] 傳統(tǒng)的日志存儲(chǔ)于查詢技術(shù)一般采用單點(diǎn)存儲(chǔ)方案，限于磁盤I/O性能，在服務(wù) 器性能和數(shù)據(jù)庫性能達(dá)到極限的情況下，也很難滿足當(dāng)前日志量巨大的要求。目前已有的 分布式存儲(chǔ)技術(shù)，往往采用分散存儲(chǔ)，單點(diǎn)查詢，無法均衡利用各個(gè)數(shù)據(jù)存儲(chǔ)點(diǎn)的性能，也 無法對(duì)全局?jǐn)?shù)據(jù)進(jìn)行綜合審計(jì)查詢。
[0006] 因此需要找到一種更高效率的分布式日志數(shù)據(jù)存儲(chǔ)與查詢技術(shù)，滿足海量日志存 儲(chǔ)與查詢的需求。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是：提供一種分布式設(shè)備日志采集方法，它采用中介者模式，構(gòu)建集 成化數(shù)據(jù)中間層，統(tǒng)一采集、格式化處理日志，集中對(duì)分布式數(shù)據(jù)存儲(chǔ)點(diǎn)進(jìn)行統(tǒng)一管理和調(diào) 度；采用分表結(jié)構(gòu)，更好的發(fā)揮多線程處理的優(yōu)勢(shì)，建立獨(dú)有的分表索引機(jī)制，與各數(shù)據(jù)存 儲(chǔ)點(diǎn)的MariaDB數(shù)據(jù)庫索引一起，構(gòu)成超大量數(shù)據(jù)分級(jí)索引體系，同時(shí)利用分布式服務(wù)器 性能優(yōu)勢(shì)，極大地提高了日志數(shù)據(jù)的存儲(chǔ)與查詢性能。
[0008] 本發(fā)明的技術(shù)方案 一種分布式設(shè)備日志采集方法，該方法通過分布式日志處理框架采用中介者模式構(gòu)建 集成化數(shù)據(jù)中間層，形成集成數(shù)據(jù)中介管理服務(wù)，該數(shù)據(jù)中介服務(wù)采集設(shè)備日志進(jìn)行分布 式存儲(chǔ)在各分布式存儲(chǔ)點(diǎn)上并進(jìn)行數(shù)據(jù)連接，若需增加分布式存儲(chǔ)點(diǎn)時(shí)，采用分布式存儲(chǔ) 點(diǎn)動(dòng)態(tài)擴(kuò)展機(jī)制實(shí)現(xiàn)。
[0009] 前述的分布式設(shè)備日志采集方法，所述的分布式日志處理框架為經(jīng)過格式化后 的syslog處理框架，異構(gòu)的syslog經(jīng)過格式化后采用統(tǒng)一的事件數(shù)據(jù)表結(jié)構(gòu)進(jìn)行存儲(chǔ)； syslog協(xié)議本身非常簡(jiǎn)潔高效，單點(diǎn)syslog的采集不會(huì)形成瓶頸。
[0010] 其中syslog的格式化方法，syslog格式化字段解析結(jié)構(gòu)如下： 〈zone indes=〃5〃 name=〃type〃 desp=〃 類型〃 analysis="" default =〃〃 > 〈field match="'[0, 1]" value=//aa// /> 〈field match =〃~[2_4]〃 value =〃bb〃 /> 〈field match ="'[5-7]" value ="cc" /> </ zone > 其中zone字段定義如下： index :對(duì)應(yīng)第一次提取的字段索引，對(duì)應(yīng)event的Match中的正則表達(dá)式的組數(shù)，從I 開始； name :對(duì)應(yīng)字段名稱； analysis :目前針對(duì)時(shí)間格式，只對(duì)時(shí)間字段有效； default :對(duì)于此字段直接賦值； 如果直接采用提取的結(jié)果，就不需要配置field，如果需要根據(jù)提取的結(jié)果作二次提 取，需要配置field ; field定義如下： match :從已經(jīng)提取的字段中進(jìn)行提取該字段的正則表達(dá)式； value :字段賦值，根據(jù)Match匹配的結(jié)果賦值，如果為空，直接采用提取的結(jié)果。
[0011] 而數(shù)據(jù)表結(jié)構(gòu)由基礎(chǔ)字段與動(dòng)態(tài)擴(kuò)展字段組成，其中基礎(chǔ)字段包括： >事件ID、事件接收時(shí)刻、聚合事件數(shù)、關(guān)聯(lián)事件數(shù)； >事件名、事件分類、等級(jí)、規(guī)則名； >對(duì)象、方法、意圖； >操作、資源、結(jié)果； >設(shè)備動(dòng)作、獲取方式； >事件原始等級(jí)、事件原始類型； >漏洞信息、漏洞編號(hào)； >事件原始分類號(hào)； >事件產(chǎn)生時(shí)刻、事件發(fā)送時(shí)刻、事件持續(xù)時(shí)刻； >發(fā)送字節(jié)數(shù)、接收字節(jié)數(shù)； >協(xié)議、應(yīng)用協(xié)議； >源地址、源名稱、源端口、目的地址、目的名稱、目的端口。
[0012] 基礎(chǔ)字段反應(yīng)了各類IT設(shè)備和IT資源日志的基本內(nèi)容。動(dòng)態(tài)字段的設(shè)計(jì)如下： 動(dòng)態(tài)字段預(yù)留6個(gè)，全部為varchar類型，長(zhǎng)度為1024字節(jié)，每個(gè)字段存儲(chǔ)信息采用XML字 串信息，格式設(shè)計(jì)如下： 〈info num=〃5〃 description =〃 備用 1〃> 〈field desc=〃 廠商〃 value=〃aa〃 /> 〈field desc =〃 產(chǎn)品〃 value =〃bb〃 /> 〈field desc ="模塊名〃 value ="cc" /> 〈field desc ="進(jìn)程名〃 value ="dd" /> 〈field desc ="軟件版本〃 value ="ee" /> 〈/info > 其中info的含義如下： num :表示該字段包含的動(dòng)態(tài)子字段個(gè)數(shù)； description :表示該擴(kuò)展字段的顯示名稱； 動(dòng)態(tài)子字段field定義如下： desc :字段顯示名 value :字段值 通過基礎(chǔ)字段和動(dòng)態(tài)字段相結(jié)合的數(shù)據(jù)表結(jié)構(gòu)，可以充分適應(yīng)復(fù)雜IT環(huán)境下日志信 息的格式化和存儲(chǔ)。
[0013] 前述的分布式設(shè)備日志采集方法，所述集成化數(shù)據(jù)中間層獨(dú)立運(yùn)行于高性能服務(wù) 器上，主要負(fù)責(zé)日志進(jìn)行采集、格式化、緩存并分發(fā)存儲(chǔ)于分布式存儲(chǔ)節(jié)點(diǎn)上，同時(shí)，針對(duì)分 布式存儲(chǔ)日志的檢索也通過集成化數(shù)據(jù)中間層實(shí)現(xiàn)，異構(gòu)的syslog經(jīng)過格式化后采用統(tǒng) 一的事件數(shù)據(jù)表結(jié)構(gòu)進(jìn)行存儲(chǔ)，數(shù)據(jù)中間層建立事件分表索引，當(dāng)存儲(chǔ)一條syslog數(shù)據(jù) 時(shí)，數(shù)據(jù)中間層會(huì)檢查分表索引確定該數(shù)據(jù)所需要存入的存儲(chǔ)點(diǎn)，并調(diào)用該存儲(chǔ)點(diǎn)對(duì)應(yīng)的 線程進(jìn)行高效存儲(chǔ)。當(dāng)對(duì)數(shù)據(jù)發(fā)起查詢請(qǐng)求時(shí)，數(shù)據(jù)中間層會(huì)檢索分表索引獲取所查詢信 息所在的存儲(chǔ)點(diǎn)，并調(diào)用對(duì)應(yīng)的線程進(jìn)行查詢。
[0014] 前述的分布式設(shè)備日志采集方法，所述分布式數(shù)據(jù)存儲(chǔ)點(diǎn)是通過MariaDB開源存 儲(chǔ)引擎建立；存儲(chǔ)節(jié)點(diǎn)運(yùn)行于較低性能的服務(wù)器上，分布式存儲(chǔ)節(jié)點(diǎn)之間不進(jìn)行通訊，。
[0015] 前述的分布式設(shè)備日志采集方法，集成化數(shù)據(jù)中間層采用JDBC協(xié)議對(duì)各分布式 數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)進(jìn)行連接，每個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)都對(duì)應(yīng)單獨(dú)的管理線程；通過各數(shù)據(jù)存儲(chǔ)點(diǎn)的 MariaDB數(shù)據(jù)庫索引一起，構(gòu)成超大量數(shù)據(jù)分級(jí)索引體系，同時(shí)利用分布式服務(wù)器性能優(yōu) 勢(shì)，極大地提高了日志數(shù)據(jù)的存儲(chǔ)與查詢性能。
[0016] 前述的分布式設(shè)備日志采集方法，數(shù)據(jù)中間層實(shí)現(xiàn)日志數(shù)據(jù)分布式存儲(chǔ)的核心數(shù) 據(jù)架構(gòu)是事件分表，事件分表的核心思想在于利用日志數(shù)據(jù)的特點(diǎn)，將海量日志數(shù)據(jù)進(jìn)行 合理的分塊存儲(chǔ)在多臺(tái)存儲(chǔ)服務(wù)器上并作為數(shù)據(jù)源子節(jié)點(diǎn)；根據(jù)各事件分表的數(shù)據(jù)結(jié)構(gòu)完 全一致，只存儲(chǔ)格式化后的日志，事件分表可從時(shí)間與空間兩個(gè)維度進(jìn)行劃分；這樣，在掃 描操作中，如果事件查詢器能夠識(shí)別哪個(gè)分表中才包含特定查詢中需要的數(shù)據(jù)，它就能直 接去掃描那些分表的數(shù)據(jù)，而不用浪費(fèi)很多時(shí)間掃描不需要的地方。
[0017] 前述的分布式設(shè)備日志采集方法，分表的建立根據(jù)日志采集事件的時(shí)序和位置特 征，可從時(shí)間和空間兩個(gè)維度進(jìn)行劃分，由于日志量極大，可能達(dá)到20000條/秒以上，平均 一條日志按照〇. 5k計(jì)算，每秒的數(shù)據(jù)量達(dá)到10M以上，這樣的日志量進(jìn)行單表存儲(chǔ)勢(shì)必會(huì) 性能低下甚至無法長(zhǎng)周期存儲(chǔ)，根據(jù)日志采集事件的時(shí)序特征，我們將事件表按照時(shí)間周 期進(jìn)行劃分，系統(tǒng)在首個(gè)周期內(nèi)建立規(guī)定數(shù)量的分表，當(dāng)上周期分表到期后，再建立