本發(fā)明涉及網(wǎng)絡(luò)監(jiān)控日志,尤其是涉及一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法。
背景技術(shù):
隨著企業(yè)規(guī)模的不斷擴(kuò)大、網(wǎng)絡(luò)帶寬的不斷增加,相應(yīng)的網(wǎng)絡(luò)監(jiān)控的日志的數(shù)量也在不斷的增加,網(wǎng)絡(luò)監(jiān)控的難度和工作量也隨之增大。例如,當(dāng)發(fā)現(xiàn)問題時(shí)我們需要知道日志中的ip地址對(duì)應(yīng)的是哪個(gè)員工,訪問的ip地址是一個(gè)什么類型的地址,或者訪問的域名是否安全等等,而在現(xiàn)有條件下只能通過查找不同的數(shù)據(jù)庫(kù)進(jìn)行人工關(guān)聯(lián)才能知道以上信息,這顯然效率很低。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明是為克服現(xiàn)有技術(shù)的不足而提供的一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法。
本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。在相應(yīng)的數(shù)據(jù)表中以所述S3步驟中獲取的value值作為檢索條件查找獲取相應(yīng)的數(shù)據(jù)。將組合后的數(shù)據(jù)存儲(chǔ)到一網(wǎng)絡(luò)日志信息檢索系統(tǒng)中所述動(dòng)態(tài)庫(kù)可動(dòng)態(tài)申請(qǐng)多個(gè)所述系統(tǒng)文件的Hash值。
本發(fā)明的有益效果是:本發(fā)明的網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法通過分布式計(jì)算,可以將日志相關(guān)的信息以統(tǒng)一且易于檢索查詢的方式豐富到海量的網(wǎng)絡(luò)監(jiān)控日志當(dāng)中,保證了信息的實(shí)時(shí)性和有效性,有利于信息的高效檢索及查詢。
附圖說(shuō)明
圖1為本發(fā)明的流程框圖。
具體實(shí)施方式
下面結(jié)合附圖,對(duì)本發(fā)明做進(jìn)一步的說(shuō)明。
如圖1所示,實(shí)施例1:本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。
實(shí)施例2:本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。在相應(yīng)的數(shù)據(jù)表中以所述S3步驟中獲取的value值作為檢索條件查找獲取相應(yīng)的數(shù)據(jù)。
實(shí)施例3:本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。將查找到的數(shù)據(jù)內(nèi)容以key-value為名稱重新封裝成json格式的數(shù)據(jù),將封裝后的數(shù)據(jù)與所述網(wǎng)絡(luò)監(jiān)控日志的原始數(shù)據(jù)組合。
實(shí)施例4:本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。將組合后的數(shù)據(jù)存儲(chǔ)到一網(wǎng)絡(luò)日志信息檢索系統(tǒng)中。
實(shí)施例5:本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。從所述動(dòng)態(tài)庫(kù)文件的每個(gè)系統(tǒng)文件的Hash值形成的序列中,,形成所述可信文件列表。
實(shí)施例6:本發(fā)明采用的技術(shù)方案是:一種網(wǎng)絡(luò)日志在線監(jiān)測(cè)更新方法,其特征在于,建立對(duì)應(yīng)關(guān)系表,所述對(duì)應(yīng)關(guān)系表存儲(chǔ)有key值、數(shù)據(jù)表、數(shù)據(jù)庫(kù)、API日志的對(duì)應(yīng)關(guān)系,每一數(shù)據(jù)庫(kù)包含多張數(shù)據(jù)表,每一數(shù)據(jù)表中記錄有和key值對(duì)應(yīng)的value值,所述更新方法還包括以下步驟:S1、獲取網(wǎng)絡(luò)監(jiān)控日志并進(jìn)行更新,將所述網(wǎng)絡(luò)監(jiān)控日志以發(fā)送到消息處理系統(tǒng);S2、消息處理系統(tǒng)的每個(gè)節(jié)點(diǎn)獲取所述網(wǎng)絡(luò)監(jiān)控日志;S3、遍歷獲取所述網(wǎng)絡(luò)監(jiān)控日志的數(shù)據(jù)中的key值和value值;S4、根據(jù)S3中獲取的每一key值從所述對(duì)應(yīng)關(guān)系表中查找相應(yīng)的數(shù)據(jù)庫(kù)以及數(shù)據(jù)表;S5、生成可信文件列表:包括以下步驟:獲得系統(tǒng)磁盤中每個(gè)系統(tǒng)文件的唯一標(biāo)識(shí);將所述標(biāo)識(shí)記錄在一動(dòng)態(tài)庫(kù)文件中;根據(jù)所述動(dòng)態(tài)庫(kù)文件,生成一可信文件列表。所述動(dòng)態(tài)庫(kù)可動(dòng)態(tài)申請(qǐng)多個(gè)所述系統(tǒng)文件的Hash值。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知曉,本發(fā)明的保護(hù)方案不僅限于上述的實(shí)施例,還可以在上述實(shí)施例的基礎(chǔ)上進(jìn)行各種排列組合與變換,在不違背本發(fā)明精神的前提下,對(duì)本發(fā)明進(jìn)行的各種變換均落在本發(fā)明的保護(hù)范圍內(nèi)。