本發(fā)明屬于電力信息網(wǎng)絡(luò)領(lǐng)域，具體是涉及一種基于關(guān)鍵字段的交換機(jī)日志快速聚合方法。

背景技術(shù)：

電力信息網(wǎng)絡(luò)規(guī)模日漸擴(kuò)大，網(wǎng)絡(luò)中的交換機(jī)設(shè)備也不斷增多，交換機(jī)在運(yùn)行過(guò)程中會(huì)產(chǎn)生大量的事件信息，事件信息中包括了豐富的交換機(jī)運(yùn)行狀態(tài)、用戶操作、潛在安全告警等數(shù)據(jù)，通過(guò)對(duì)交換機(jī)日志的及時(shí)有效分析可幫助網(wǎng)絡(luò)運(yùn)維人員及時(shí)掌握交換機(jī)運(yùn)行狀態(tài)、潛在的安全風(fēng)險(xiǎn)，并采用相應(yīng)的處理措施。但交換機(jī)日志系統(tǒng)會(huì)針對(duì)同一事件或同一類事件在短時(shí)間內(nèi)給出大量的類似日志，同時(shí)部分交換機(jī)操作或事件會(huì)在短時(shí)間內(nèi)高頻率的發(fā)生，例如短時(shí)間內(nèi)大量的ssh嘗試登錄會(huì)形成多條交換機(jī)登錄失敗日志；針對(duì)大量的日志信息，如果依靠人工逐條分析，耗時(shí)耗力，同時(shí)不能掌握日志之間的關(guān)聯(lián)信息。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于關(guān)鍵字段的交換機(jī)日志快速聚合方法。

為了實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明采用了以下技術(shù)方案：

一種基于關(guān)鍵字段的交換機(jī)日志快速聚合方法，包括以下步驟：

S1、建立交換機(jī)日志關(guān)鍵字段集合，每個(gè)關(guān)鍵字段對(duì)應(yīng)一個(gè)正則表達(dá)式，所述正則表達(dá)式用于獲取單條日志記錄中所述關(guān)鍵字段對(duì)應(yīng)的關(guān)鍵字段值；

S2、日志聚合分析：建立聚類集合，所述聚類集合包括{關(guān)鍵字段、關(guān)鍵字段值集合}；日志聚合分析模塊初始化：以交換機(jī)為單位對(duì)單條日志記錄進(jìn)行處理，所述關(guān)鍵字段值集合為空；若所述單條日志記錄中關(guān)鍵字段也均為空，則直接輸出該日志記錄對(duì)應(yīng)的日志記錄ID；

針對(duì)每條新增的日志記錄，利用S1中定義的關(guān)鍵字段獲取關(guān)鍵字段值，通過(guò)所述正則表達(dá)式?jīng)]有獲取到值的關(guān)鍵字段值記為空；對(duì)于關(guān)鍵字段值不為空的關(guān)鍵字段，則遍歷該關(guān)鍵字段值集合，判斷該關(guān)鍵字段值集合中是否已存在該值：

若該值不存在，創(chuàng)建一個(gè)分類集合，所述分類集合的定義：{關(guān)鍵字段、關(guān)鍵字段值、記錄集合{關(guān)鍵字段值子集合、日志記錄ID集合、日志記錄時(shí)間集合}}，并將該值添加到所述記錄集合中的關(guān)鍵字段值子集合中；

若該值已經(jīng)存在，則在匹配上的分類集合中的記錄集合中增加該日志記錄信息；

S3、日志聚合結(jié)果輸出：針對(duì)單個(gè)分類集合的輸出方式：統(tǒng)計(jì)所述關(guān)鍵字段值子集合中關(guān)鍵字段值的出現(xiàn)次數(shù)，并在該關(guān)鍵字段值的統(tǒng)計(jì)基礎(chǔ)上再分別統(tǒng)計(jì)與該關(guān)鍵字段關(guān)聯(lián)的另一關(guān)鍵字段值的出現(xiàn)次數(shù)；若每對(duì)關(guān)聯(lián)的關(guān)鍵字段組合出現(xiàn)的次數(shù)超過(guò)設(shè)定的閾值，則以該對(duì)關(guān)鍵字段值的組合作為索引輸出與該對(duì)關(guān)鍵字段值組合匹配的日志記錄ID集合。

進(jìn)一步的技術(shù)方案，所述關(guān)鍵字段為IP或MAC或VLAN或端口。

進(jìn)一步的技術(shù)方案，所述分類集合的過(guò)期處理方式為：遍歷所有分類集合，取出每個(gè)分類集合中記錄集合中最后一條日志記錄的日志記錄時(shí)間，當(dāng)該日志記錄時(shí)間與當(dāng)前時(shí)間的差已超出設(shè)定的過(guò)期時(shí)間時(shí)，將此分類集合進(jìn)行輸出，并從對(duì)應(yīng)的聚類集合中的關(guān)鍵字段值集合中移除。

進(jìn)一步的技術(shù)方案，步驟S3中所述設(shè)定的閾值為10。

進(jìn)一步的技術(shù)方案，步驟S3中針對(duì)單個(gè)分類集合的另一種輸出方式：以該分類集合對(duì)應(yīng)的關(guān)鍵字段值為索引輸出與所述關(guān)鍵字段值匹配的記錄集合中的日志記錄ID集合。

進(jìn)一步的技術(shù)方案，所述過(guò)期時(shí)間為12小時(shí)。

本發(fā)明的有益效果在于：

(1)本發(fā)明預(yù)先設(shè)置關(guān)鍵字段集合，交換機(jī)每生成一條日志記錄即可通過(guò)相應(yīng)的正則表達(dá)式得到與所述關(guān)鍵字段對(duì)應(yīng)的關(guān)鍵字段值，并形成一條完整的日志記錄。所述關(guān)鍵字段為IP或MAC或VLAN或端口，那么相應(yīng)關(guān)鍵字段值則為IP地址、MAC地址、VLAN號(hào)、端口名稱，所述關(guān)鍵字段集合由IP、MAC、VLAN、端口組成。所述日志記錄則包括所述IP地址、MAC地址、VLAN號(hào)、端口名稱。

日志聚合分析模塊初始化狀態(tài)下，所述的關(guān)鍵字段值集合為空，當(dāng)在獲得的單條日志記錄中沒(méi)有提取到匹配的所述關(guān)鍵字段，則直接輸出與該條日志記錄對(duì)應(yīng)的日志記錄ID。針對(duì)關(guān)鍵字段不為空的日志記錄，當(dāng)獲得的關(guān)鍵字段值在所述關(guān)鍵字段值集合中不存在時(shí)，則創(chuàng)建一個(gè)分類集合，該分類集合中所述記錄集合中關(guān)鍵字段值子集合用于添加關(guān)鍵字段值相同的日志記錄；當(dāng)獲得的關(guān)鍵字段值在所述關(guān)鍵字段值集合中存在時(shí)，則在匹配的分類集合中的記錄集合中增加該條日志記錄信息。

針對(duì)上述分類集合如何輸出聚合結(jié)果則分為兩種情況：

關(guān)鍵字段關(guān)聯(lián)輸出：當(dāng)所述分類集合中關(guān)鍵字段值與另一個(gè)關(guān)鍵字段值關(guān)聯(lián)出現(xiàn)，比如日志記錄中既包含IP值，又包含MAC值，則首先對(duì)IP值相同的日志記錄進(jìn)行統(tǒng)計(jì)，并在該統(tǒng)計(jì)基礎(chǔ)上進(jìn)一步統(tǒng)計(jì)MAC值相同的日志記錄，若所述IP值、MAC值組合出現(xiàn)的次數(shù)超過(guò)設(shè)定的閾值，即以IP值、MAC值的組合作為索引輸出與IP值、MAC值的組合匹配的日志記錄ID集合；

單個(gè)關(guān)鍵字段輸出：在完成關(guān)聯(lián)關(guān)鍵字段輸出后，對(duì)單個(gè)分類集合，以分類集合對(duì)應(yīng)的關(guān)鍵字段值為索引輸出與所述關(guān)鍵字段值匹配的記錄集合中的日志記錄ID集合。比如單個(gè)關(guān)鍵字段為IP，則以該分類集合對(duì)應(yīng)的IP值為索引輸出記錄集合中與該IP值匹配的日志記錄ID集合。

該日志快速聚合方法可以對(duì)包含相同事件信息或類似日志信息的日志記錄進(jìn)行聚合，降低了日志輸出條目，便于網(wǎng)絡(luò)運(yùn)維人員的快速分析。

(2)本發(fā)明單個(gè)所述分類集合中最后一條日志記錄的日志記錄時(shí)間與當(dāng)前時(shí)間的差已超出設(shè)定的過(guò)期時(shí)間時(shí)，則判定為由該分類集合描述并確定的事件已經(jīng)結(jié)束，輸出后即可以進(jìn)行刪除處理。所述過(guò)期時(shí)間可以根據(jù)實(shí)際情況進(jìn)行設(shè)定。

具體實(shí)施方式

下面結(jié)合實(shí)施例對(duì)本發(fā)明技術(shù)方案做出更為具體的說(shuō)明：

1、建立交換機(jī)日志關(guān)鍵字段集合：根據(jù)CISCO、華為、H3C、DELL、銳捷等主流交換機(jī)廠家的日志規(guī)格文檔，確定IP、MAC、端口、VLAN及數(shù)值式運(yùn)行參數(shù)為交換機(jī)日志的關(guān)鍵字段；由于不同廠家、不同型號(hào)的交換機(jī)對(duì)關(guān)鍵字段的表達(dá)方式不一樣，方法通過(guò)定義正則表達(dá)式來(lái)獲取單條日志中的關(guān)鍵字段值。關(guān)鍵字段值的獲取正則表達(dá)式定義如下：

2、搭建以centos為操作系統(tǒng)的第一主機(jī)，并在所述第一主機(jī)上利用mysql數(shù)據(jù)和syslogd日志服務(wù)器搭建的syslog日志服務(wù)器，所述syslog日志服務(wù)器用于接收交換機(jī)日志并將所述交換機(jī)日志生成的日志記錄提交給所述日志聚合分析模塊，所述交換機(jī)上配置有用于上傳所述交換機(jī)日志且與所述syslog服務(wù)器對(duì)應(yīng)的第二主機(jī)；所述syslogd日志服務(wù)器中的syslog表建立觸發(fā)器，所述觸發(fā)器在插入一條日志記錄后將所述日志記錄提交給所述日志聚合分析模塊。

3、所述日志聚合分析模塊建立4個(gè)聚類集合，分別為：{IP、IP地址集合}、{MAC、MAC地址集合}、{VLAN、VLAN號(hào)集合}、{端口、端口名稱集合}；所述日志聚合分析模塊以交換機(jī)為單位對(duì)單條日志記錄進(jìn)行處理且在初始狀態(tài)下所述IP地址集合、MAC地址集合、VLAN號(hào)集合、端口名稱集合均為空，若所述單條日志記錄中不包含所述IP、MAC、VLAN、端口信息，則直接輸出該日志記錄對(duì)應(yīng)的日志記錄ID；

針對(duì)每條新增的日志記錄，利用關(guān)鍵字段獲取關(guān)鍵字段值，通過(guò)所述正則表達(dá)式?jīng)]有獲取到值的關(guān)鍵字段值記為空；對(duì)于關(guān)鍵字段值不為空的關(guān)鍵字段，以IP作為關(guān)鍵字段為例，遍歷IP地址集合，判斷該IP地址集合中是否已存在該IP地址：

若該IP地址不存在，則創(chuàng)建一個(gè)分類集合，所述分類集合的定義：{IP、IP地址、記錄集合{IP地址子集合、日志記錄ID集合、日志記錄時(shí)間集合}}，并將該IP地址添加到所述記錄集合中的IP地址子集合中；所述日志記錄ID為單條日志記錄對(duì)應(yīng)的編碼；

若該IP地址已經(jīng)存在，則在匹配上的分類集合中的記錄集合中增加該日志記錄信息。

遍歷所有分類集合，取出每個(gè)分類集合中記錄集合中最后一條日志記錄時(shí)間，當(dāng)該日志記錄時(shí)間與當(dāng)前時(shí)間的差已超出設(shè)定的過(guò)期時(shí)間時(shí)，將此分類集合進(jìn)行輸出，并從對(duì)應(yīng)的聚類集合中的關(guān)鍵字段值集合中移除。本實(shí)施例中所述過(guò)期時(shí)間定義為12小時(shí)。

4、聚合輸出：日志輸出模塊處理所述分類集合或單條日志記錄，日志輸出模塊輸出內(nèi)容為以關(guān)鍵字段值為索引的日志記錄ID集合。

針對(duì)不包括任何關(guān)鍵字段的單條日志記錄，輸出為單條日志記錄對(duì)應(yīng)的日志記錄ID。

針對(duì)分類集合，為表達(dá)關(guān)鍵字段之間的關(guān)聯(lián)關(guān)系，輸出分為兩步，第一步輸出關(guān)鍵字段間具有關(guān)聯(lián)關(guān)系的日志記錄，第二步輸出以單個(gè)關(guān)鍵字段為索引的日志記錄，具體步驟如下：

第一步，對(duì)單個(gè)分類集合，統(tǒng)計(jì)所述關(guān)鍵字段值子集合中關(guān)鍵字段值的出現(xiàn)次數(shù)，以分類集合中關(guān)鍵字段為IP為例，在同一IP地址的統(tǒng)計(jì)次數(shù)基礎(chǔ)上再分別統(tǒng)計(jì)與所述IP地址關(guān)聯(lián)的不同MAC地址的出現(xiàn)次數(shù)、VLAN號(hào)的出現(xiàn)次數(shù)、端口名稱的出現(xiàn)次數(shù)，形成下表：

依據(jù)上表，若每對(duì)關(guān)聯(lián)關(guān)鍵字段組合出現(xiàn)的次數(shù)超過(guò)設(shè)定的閾值(本方法中設(shè)置為10)，則以該對(duì)關(guān)聯(lián)關(guān)鍵字段值的組合作為索引輸出與所述關(guān)聯(lián)關(guān)鍵字段值匹配的記錄集合中的日志記錄ID集合。

第二步，在完成關(guān)聯(lián)關(guān)鍵字段輸出后，對(duì)單個(gè)分類集合，以分類集合對(duì)應(yīng)的關(guān)鍵字段值為索引輸出與所述關(guān)鍵字段值匹配的記錄集合中的日志記錄ID集合。

最終輸出內(nèi)容如下表所示：