本發(fā)明屬于網(wǎng)絡(luò)安全態(tài)勢(shì)感知領(lǐng)域，特別涉及一種網(wǎng)絡(luò)日志信息安全場(chǎng)景式分析系統(tǒng)及其分析方法。

背景技術(shù)：

隨著全球能源互聯(lián)網(wǎng)戰(zhàn)略的發(fā)展與應(yīng)用，電網(wǎng)系統(tǒng)各類運(yùn)行數(shù)據(jù)量急劇增長(zhǎng)、數(shù)據(jù)類型多樣，對(duì)數(shù)據(jù)存儲(chǔ)、處理、價(jià)值挖掘提出了更高要求，隨著時(shí)間的推移，從結(jié)構(gòu)化數(shù)據(jù)分析向多類型數(shù)據(jù)分析的轉(zhuǎn)變、從抽樣數(shù)據(jù)分析向全量數(shù)據(jù)分析的轉(zhuǎn)變、從小批量數(shù)據(jù)分析向海量數(shù)據(jù)分析的轉(zhuǎn)變、從單一業(yè)務(wù)數(shù)據(jù)分析向跨業(yè)務(wù)數(shù)據(jù)分析的轉(zhuǎn)變、從準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析向?qū)崟r(shí)數(shù)據(jù)分析的轉(zhuǎn)變有著迫切的需求。多類型數(shù)據(jù)分析的轉(zhuǎn)變基于大數(shù)據(jù)技術(shù)，改進(jìn)數(shù)據(jù)處理速度，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集、計(jì)算、分析和預(yù)測(cè)，能充分挖掘?qū)崟r(shí)數(shù)據(jù)的價(jià)值，推動(dòng)專業(yè)業(yè)務(wù)管理水平。

目前面向種類豐富、采集手段多樣的各類日志數(shù)據(jù)沒(méi)有實(shí)現(xiàn)統(tǒng)一采集、存儲(chǔ)，隨著數(shù)據(jù)容量的急速上漲，現(xiàn)有技術(shù)無(wú)法及時(shí)有效地得出網(wǎng)絡(luò)安全態(tài)勢(shì)分析結(jié)果，從而不能準(zhǔn)確確定網(wǎng)絡(luò)設(shè)備、終端設(shè)備存在的安全隱患。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了克服上述現(xiàn)有技術(shù)的不足，提供了一種網(wǎng)絡(luò)日志信息安全場(chǎng)景式分析系統(tǒng)，本系統(tǒng)實(shí)現(xiàn)了對(duì)終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)的分析以及對(duì)暴力登錄的監(jiān)測(cè)，并能夠及時(shí)對(duì)網(wǎng)絡(luò)信息安全進(jìn)行風(fēng)險(xiǎn)預(yù)警。

為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)措施：

一種網(wǎng)絡(luò)日志信息安全場(chǎng)景式分析系統(tǒng)包括日志采集處理系統(tǒng)、分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)處理系統(tǒng)以及日志分析系統(tǒng)，其中，

日志采集處理系統(tǒng)，用于采集來(lái)自交換機(jī)的日志信息以及arp地址表信息，并將所述日志信息以及arp地址表信息傳送至分布式存儲(chǔ)系統(tǒng)；

分布式存儲(chǔ)系統(tǒng)，用于存儲(chǔ)所述日志信息以及arp地址表信息；

數(shù)據(jù)處理系統(tǒng)，用于從分布式存儲(chǔ)系統(tǒng)中獲取并分析所述日志信息以及arp地址表信息，實(shí)現(xiàn)暴力登陸安全場(chǎng)景分析操作以及網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作；

日志分析系統(tǒng)，用于展示數(shù)據(jù)處理系統(tǒng)的分析情況以供用戶查看。

優(yōu)選的，所述分布式存儲(chǔ)系統(tǒng)內(nèi)部包括address表和syslog表；所述address表用于存儲(chǔ)arp地址表信息，syslog表用于存儲(chǔ)日志信息。

進(jìn)一步的，所述日志采集處理系統(tǒng)以flume為工具，所述數(shù)據(jù)處理系統(tǒng)以hive為支撐。

本發(fā)明還提供了一種網(wǎng)絡(luò)日志信息安全場(chǎng)景式分析系統(tǒng)的分析方法，包括以下步驟：

s1、所述日志采集處理系統(tǒng)采集來(lái)自交換機(jī)的日志信息以及arp地址表信息，并實(shí)時(shí)監(jiān)控已采集的日志信息和arp地址表信息，日志采集處理系統(tǒng)對(duì)新采集到的日志信息、arp地址表信息進(jìn)行清洗操作，再將清洗后的日志信息、arp地址表信息傳送至分布式存儲(chǔ)系統(tǒng)；所述分布式存儲(chǔ)系統(tǒng)通過(guò)address表來(lái)存儲(chǔ)arp地址表信息，通過(guò)syslog表來(lái)存儲(chǔ)日志信息；

s2、數(shù)據(jù)處理系統(tǒng)采集所述日志信息以及arp地址表信息，并以日志信息和arp地址表信息為源數(shù)據(jù)，以所述源數(shù)據(jù)為基礎(chǔ)進(jìn)行暴力登陸安全場(chǎng)景分析操作和終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作；

s3、利用數(shù)據(jù)處理系統(tǒng)分別將暴力登陸安全場(chǎng)景分析結(jié)果、終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析結(jié)果發(fā)送至關(guān)系數(shù)據(jù)庫(kù)表的暴力登錄表、未知網(wǎng)絡(luò)設(shè)備表中；

s4、所述日志分析系統(tǒng)展示暴力登陸安全場(chǎng)景分析結(jié)果、終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析結(jié)果以供用戶查看。

優(yōu)選的，步驟s1中的清洗操作的具體步驟包括：所述日志采集處理系統(tǒng)將日志信息以及arp地址表信息分成若干個(gè)片段，截取其中有用片段，剔除無(wú)用片段。

優(yōu)選的，步驟s2中的暴力登陸安全場(chǎng)景分析操作具體步驟包括：所述數(shù)據(jù)處理系統(tǒng)以syslog表中的數(shù)據(jù)為源數(shù)據(jù)，通過(guò)關(guān)鍵字匹配到符合暴力登陸安全場(chǎng)景條件的日志信息后，將所述日志信息存儲(chǔ)于關(guān)系數(shù)據(jù)庫(kù)表的暴力登錄表中。

進(jìn)一步的，步驟s2中的終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作具體步驟包括：所述數(shù)據(jù)處理系統(tǒng)利用hive定時(shí)取出arp地址表信息，數(shù)據(jù)處理系統(tǒng)逐條分析采集到的arp地址表信息，數(shù)據(jù)處理系統(tǒng)里面不存在的網(wǎng)絡(luò)地址信息即為未知網(wǎng)絡(luò)設(shè)備。

進(jìn)一步的，所述日志采集處理系統(tǒng)使用syslog協(xié)議采集交換機(jī)的日志信息，使用地址解析協(xié)議采集核心交換機(jī)的arp地址表信息。

本發(fā)明的有益效果在于：

1)、本發(fā)明包括日志采集處理系統(tǒng)、分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)處理系統(tǒng)以及日志分析系統(tǒng)，日志采集處理系統(tǒng)用于采集來(lái)自交換機(jī)的日志信息以及arp地址表信息，分布式存儲(chǔ)系統(tǒng)用于存儲(chǔ)所述日志信息以及arp地址表信息，數(shù)據(jù)處理系統(tǒng)用于實(shí)現(xiàn)暴力登陸安全場(chǎng)景分析操作以及網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作，因此本發(fā)明實(shí)現(xiàn)了對(duì)終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)的分析以及對(duì)暴力登錄的監(jiān)測(cè)，并能夠及時(shí)對(duì)網(wǎng)絡(luò)信息安全進(jìn)行風(fēng)險(xiǎn)預(yù)警。

2)、所述日志采集處理系統(tǒng)以flume為工具，所述數(shù)據(jù)處理系統(tǒng)以hive為支撐，因此本發(fā)明具備可靠性高的特點(diǎn)，并能夠?qū)崿F(xiàn)海量日志信息的采集和分析操作。

附圖說(shuō)明

圖1為本發(fā)明的分析方法的總體流程圖；

圖2為本發(fā)明的分析方法的具體流程圖；

圖3為本發(fā)明的網(wǎng)絡(luò)安全態(tài)勢(shì)分析系統(tǒng)查詢?nèi)?shù)據(jù)過(guò)程的具體流程圖。

10—日志采集處理系統(tǒng)20—分布式存儲(chǔ)系統(tǒng)30—數(shù)據(jù)處理系統(tǒng)

40—日志分析系統(tǒng)

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，一種網(wǎng)絡(luò)日志信息安全場(chǎng)景式分析系統(tǒng)包括日志采集處理系統(tǒng)10、分布式存儲(chǔ)系統(tǒng)20、數(shù)據(jù)處理系統(tǒng)30以及日志分析系統(tǒng)40，所述日志采集處理系統(tǒng)10用于采集來(lái)自交換機(jī)的日志信息以及arp地址表信息，并將所述日志信息以及arp地址表信息傳送至分布式存儲(chǔ)系統(tǒng)20；分布式存儲(chǔ)系統(tǒng)20用于存儲(chǔ)所述日志信息以及arp地址表信息；數(shù)據(jù)處理系統(tǒng)30用于從分布式存儲(chǔ)系統(tǒng)20中獲取并分析所述日志信息以及arp地址表信息，實(shí)現(xiàn)暴力登陸安全場(chǎng)景分析操作以及網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作；日志分析系統(tǒng)40用于展示數(shù)據(jù)處理系統(tǒng)30的分析情況以供用戶查看。

如圖2所示，所述分布式存儲(chǔ)系統(tǒng)20內(nèi)部包括address表和syslog表；所述address表用于存儲(chǔ)arp地址表信息，syslog表用于存儲(chǔ)日志信息。

所述日志采集處理系統(tǒng)10以flume為工具，所述數(shù)據(jù)處理系統(tǒng)30以hive為支撐，且數(shù)據(jù)處理系統(tǒng)30以liunx服務(wù)為支撐，采用聚類分析、多元回歸的算法，利用hive提供的hsql功能實(shí)現(xiàn)日志信息和arp地址表信息的清洗、聚合、聚類操作。

具體的，所述分布式存儲(chǔ)系統(tǒng)20為hbase，hbase是一種關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，具有高可靠性、面向列、可伸縮的特點(diǎn)，hbase中的所有數(shù)據(jù)文件都存儲(chǔ)在hadoophdfs文件系統(tǒng)上；日志分析系統(tǒng)40為web終端，用戶通過(guò)web終端能夠查看暴力登錄的情況以及未知網(wǎng)絡(luò)設(shè)備的情況。

如圖2、3所示，一種網(wǎng)絡(luò)日志信息安全場(chǎng)景式分析系統(tǒng)的分析方法，包括以下步驟：

s1、所述日志采集處理系統(tǒng)10使用syslog協(xié)議采集交換機(jī)的日志信息，使用地址解析協(xié)議采集核心交換機(jī)的arp地址表信息，并實(shí)時(shí)監(jiān)控已采集的日志信息和arp地址表信息，日志采集處理系統(tǒng)10對(duì)新采集到的日志信息、arp地址表信息進(jìn)行清洗操作，再將清洗后的日志信息、arp地址表信息傳送至分布式存儲(chǔ)系統(tǒng)20；所述分布式存儲(chǔ)系統(tǒng)20通過(guò)address表來(lái)存儲(chǔ)arp地址表信息，通過(guò)syslog表來(lái)存儲(chǔ)日志信息，并將日志信息以及arp地址表信息傳送至數(shù)據(jù)處理系統(tǒng)30；

s2、所述數(shù)據(jù)處理系統(tǒng)30以采集到的日志信息和arp地址表信息為源數(shù)據(jù)，并以所述源數(shù)據(jù)為基礎(chǔ)進(jìn)行暴力登陸安全場(chǎng)景分析操作和終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作；

s3、利用數(shù)據(jù)處理系統(tǒng)30分別將暴力登陸安全場(chǎng)景分析結(jié)果、終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析結(jié)果發(fā)送至關(guān)系數(shù)據(jù)庫(kù)表的暴力登錄表、未知網(wǎng)絡(luò)設(shè)備表中；

所述暴力登陸安全場(chǎng)景分析從日志表現(xiàn)上為短時(shí)間內(nèi)產(chǎn)生了多條類似的登錄失敗日志；系統(tǒng)以交換機(jī)的日志信息為源數(shù)據(jù)，在匹配到滿足該規(guī)則的日志信息后，會(huì)產(chǎn)生實(shí)時(shí)告警，幫助安全管理人員發(fā)現(xiàn)暴力破解的安全事件。

所述終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析是以采集到的arp地址表信息為基礎(chǔ)，以市縣一體化平臺(tái)為支撐，實(shí)時(shí)分析所采集到的ip地址信息是否納入市縣一體化平臺(tái)的ip資源管理中，并將未納入管理的ip地址的設(shè)備定義為未知設(shè)備。

s4、所述日志分析系統(tǒng)40展示暴力登陸安全場(chǎng)景分析結(jié)果、終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析結(jié)果以供用戶查看。

日志分析系統(tǒng)40以圖形界面的方式通過(guò)ui界面展示暴力登陸安全場(chǎng)景分析結(jié)果，對(duì)分析的結(jié)果通過(guò)ui界面，展示給用戶。在web的ui界面上，主要有日志數(shù)據(jù)、暴力登陸安全場(chǎng)景分析、終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析，本發(fā)明能夠根據(jù)需求顯示暴力登錄事件詳情；所述日志分析系統(tǒng)40展示終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析結(jié)果以供用戶查看；日志分析系統(tǒng)40通過(guò)輸入查詢條件可以顯示需要的未知設(shè)備信息，并且能夠以圖形化界面展示未知網(wǎng)絡(luò)設(shè)備趨勢(shì)和未知網(wǎng)絡(luò)設(shè)備數(shù)量。

步驟s1中的清洗操作的具體步驟包括：所述日志采集處理系統(tǒng)10根據(jù)關(guān)鍵字過(guò)濾，所述日志采集處理系統(tǒng)10將日志信息以及arp地址表信息分成若干個(gè)片段，截取其中有用片段，剔除無(wú)用片段。

步驟s2中的暴力登陸安全場(chǎng)景分析操作具體步驟包括：所述數(shù)據(jù)處理系統(tǒng)30以syslog表中的數(shù)據(jù)為源數(shù)據(jù)，通過(guò)關(guān)鍵字匹配到符合暴力登陸安全場(chǎng)景條件的日志信息后，將所述日志信息存儲(chǔ)于關(guān)系數(shù)據(jù)庫(kù)表的暴力登錄表中，符合暴力登陸安全場(chǎng)景條件指的在指定時(shí)間段內(nèi)通過(guò)關(guān)鍵字匹配一定數(shù)量的登陸失敗的日志。

步驟s2中的終端未知網(wǎng)絡(luò)設(shè)備安全場(chǎng)景趨勢(shì)分析操作具體步驟包括：所述數(shù)據(jù)處理系統(tǒng)30利用hive定時(shí)取出arp地址表信息，數(shù)據(jù)處理系統(tǒng)30逐條分析采集到的arp地址表信息，數(shù)據(jù)處理系統(tǒng)30里面不存在的網(wǎng)絡(luò)地址信息即為未知網(wǎng)絡(luò)設(shè)備。

所述志采集處理系統(tǒng)10使用syslog協(xié)議采集交換機(jī)的日志信息，使用地址解析協(xié)議采集核心交換機(jī)的arp地址表信息。

若用戶網(wǎng)絡(luò)中存在未知網(wǎng)絡(luò)設(shè)備，則管理人員可以利用本分析系統(tǒng)將接入交換機(jī)的未知網(wǎng)絡(luò)設(shè)備強(qiáng)制斷開(kāi)連接，終止未知網(wǎng)絡(luò)設(shè)備的登錄，有效地保護(hù)了交換機(jī)的網(wǎng)絡(luò)安全，使管理者利用該功能作出及時(shí)的處理。

本分析系統(tǒng)后臺(tái)可以配置未知網(wǎng)絡(luò)設(shè)備的預(yù)警規(guī)則，如果每天的未知網(wǎng)絡(luò)設(shè)備超過(guò)提前配置好的數(shù)量，分析系統(tǒng)就會(huì)自動(dòng)實(shí)現(xiàn)告警操作，并以短信方式通知運(yùn)維管理人員，同時(shí)在分析系統(tǒng)界面上展示告警信息。

本分析系統(tǒng)的功能強(qiáng)大，在本分析系統(tǒng)中，可以對(duì)分析出的未知設(shè)備設(shè)置是否進(jìn)行短信通知，如果設(shè)置為是，則每當(dāng)出現(xiàn)未知設(shè)備時(shí)，系統(tǒng)會(huì)將預(yù)先維護(hù)好的短信模板的短信替換成實(shí)際短信內(nèi)容發(fā)送到特定人員的手機(jī)中，進(jìn)行提示，反之，則不作任何提示；本分析系統(tǒng)還能夠?qū)⑿枰奈粗W(wǎng)絡(luò)設(shè)備設(shè)置為已知設(shè)備，并且將該設(shè)備從未知設(shè)備表中移除；選擇局域網(wǎng)中的核心交換機(jī)，在核心交換機(jī)中斷開(kāi)此ip地址接入網(wǎng)絡(luò)的許可；分析系統(tǒng)可以將分析出來(lái)的未知設(shè)備與使用該設(shè)備的人員聯(lián)系起來(lái)，同時(shí)將該設(shè)備設(shè)置為已知設(shè)備，并且將該設(shè)備從未知設(shè)備表中移除。