本發(fā)明涉及網(wǎng)絡(luò)審計日志處理技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)和方法。

背景技術(shù)：

隨著科學(xué)技術(shù)的不斷發(fā)展，人們的生活和工作已離不開互聯(lián)網(wǎng)。在互聯(lián)網(wǎng)飛速發(fā)展壯大并成為全球最重要的基礎(chǔ)設(shè)施的今天，由于缺乏必要的管制，互聯(lián)網(wǎng)上開始充斥著色情暴力、侵權(quán)行為、造謠誹謗、虛假廣告等一系列影響國家安全、社會穩(wěn)定及個人健康發(fā)展的負面內(nèi)容。為了維護國家安全，給互聯(lián)網(wǎng)營造一個良好的發(fā)展環(huán)境互聯(lián)網(wǎng)安全審計系統(tǒng)勢在必行。在網(wǎng)絡(luò)審計系統(tǒng)中，日志消息扮演著至關(guān)重要的角色。日志消息能夠給出系統(tǒng)運行情況的重要信息，這些信息有助于正確檢測系統(tǒng)運行情況。然而在網(wǎng)絡(luò)數(shù)據(jù)審計系統(tǒng)中，除了一般的摘要日志信息量比較少、比較規(guī)整外，還需要傳輸和保存網(wǎng)頁內(nèi)容、網(wǎng)絡(luò)中傳輸?shù)奈募?nèi)容等內(nèi)容信息，這些內(nèi)容信息容量大，形式各異不容易統(tǒng)一的保存和傳輸，在傳輸和保存時對內(nèi)存和網(wǎng)絡(luò)帶寬的消耗較大，對磁盤IO性能要求也比較高。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)和方法以減少統(tǒng)一網(wǎng)絡(luò)日志的保存格式，降低在傳輸和保存大量網(wǎng)絡(luò)日志時對內(nèi)存和網(wǎng)絡(luò)帶寬的消耗。

一方面，本發(fā)明實施例提供一種網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)，包括日志審計探針、日志處理服務(wù)器和日志存放設(shè)備，其中：

所述日志審計探針，用于將采集到的內(nèi)容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到所述日志處理服務(wù)器；

所述日志處理服務(wù)器，連接于所述日志審計探針，用于根據(jù)所述文件和所述摘要日志合成日志記錄；

所述日志存放設(shè)備，連接于所述日志處理服務(wù)器，用于保存所述日志記錄，并提供日志查詢服務(wù)。

優(yōu)選地，所述摘要日志中保存有文件路徑信息。

優(yōu)選地，所述日志審計探針包括：

采集模塊，用于采集日志，并將采集到的內(nèi)容信息進行分類；

第一內(nèi)存文件系統(tǒng)，連接于所述采集模塊，用于存儲所述文件；

共享內(nèi)存，連接于所述采集模塊，用于存儲所述摘要日志；

文件上傳模塊，連接于所述第一內(nèi)存文件系統(tǒng)，用于將所述文件上傳至所述日志處理服務(wù)器；以及

日志上傳模塊，連接于所述共享內(nèi)存，用于將所述摘要日志上傳至所述日志處理服務(wù)器。

優(yōu)選地，所述日志存放設(shè)備包括文件保存模塊和日志保存模塊，所述日志處理服務(wù)器包括：

文件接收模塊，用于接收來自所述日志審計探針的所述文件；

日志接收模塊，用于接收來自所述日志審計探針的所述摘要日志；

第二內(nèi)存文件系統(tǒng)，連接于所述文件接收模塊，用于保存所述文件；

第三內(nèi)存文件系統(tǒng)，連接于所述日志接收模塊，用于以文件的形式保存所述摘要日志；

日志合成模塊，連接于所述第二內(nèi)存文件系統(tǒng)和所述第三內(nèi)存文件系統(tǒng)，用于掃描所述第三內(nèi)存文件系統(tǒng)保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內(nèi)存文件系統(tǒng)中的文件路徑，提取文件內(nèi)容形成索引信息和摘要信息一起合成所述日志記錄，并將所述日志記錄保存至所述日志存放設(shè)備的所述日志保存模塊，同時發(fā)送入庫完成信號至所述第二文件內(nèi)存系統(tǒng)；以及

所述第二內(nèi)存文件系統(tǒng)，還用于根據(jù)所述入庫完成信號，為對應(yīng)的文件生成入庫標(biāo)記。

優(yōu)選地，所述日志處理服務(wù)器還包括：

文件移動模塊，連接于所述第二內(nèi)存文件系統(tǒng)，用于掃描所述第二內(nèi)存文件系統(tǒng)的目錄，把所述文件搬移到所述日志存放設(shè)備的所述文件保存模塊中，并發(fā)送保存完成信號至所述第二內(nèi)存文件系統(tǒng)；

所述第二內(nèi)存文件系統(tǒng)，還用于根據(jù)所述保存完成信號，為對應(yīng)的文件生成保存標(biāo)記。

優(yōu)選地，所述日志處理服務(wù)器還包括：

文件刪除模塊，連接于所述第二內(nèi)存文件系統(tǒng)，用于掃描所述第二內(nèi)存文件系統(tǒng)的目錄，刪除同時具有所述入庫標(biāo)記和所述保存標(biāo)記的文件。

優(yōu)選地，所述日志存放設(shè)備還包括：

文件訪問模塊，連接于所述文件保存模塊和所述日志保存模塊，用于用戶根據(jù)所述日志保存模塊的信息，獲取保存于所述文件保存模塊的對應(yīng)的完整文件內(nèi)容。

相應(yīng)地，本發(fā)明還提供一種用于網(wǎng)絡(luò)審計日志的傳輸保存方法，包括以下步驟：

由日志審計探針將采集到的內(nèi)容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到日志處理服務(wù)器；

由所述日志處理服務(wù)器根據(jù)所述文件和所述摘要日志合成日志記錄；以及

由日志存放設(shè)備保存所述日志記錄，并提供日志查詢服務(wù)。

優(yōu)選地，所述摘要日志中保存有文件路徑信息，由所述日志處理服務(wù)器根據(jù)所述文件和所述摘要日志合成日志記錄的所述步驟包括：

由所述日志處理服務(wù)器的文件接收模塊接收來自所述日志審計探針的所述文件，將所述文件保存至所述日志處理服務(wù)器的第二內(nèi)存文件系統(tǒng)；

由所述日志處理服務(wù)器的日志接收模塊接收來自所述日志審計探針的所述摘要日志，將所述摘要日志保存至所述日志處理服務(wù)器的第三內(nèi)存文件系統(tǒng)；

由所述日志處理服務(wù)器的日志合成模塊掃描所述第三內(nèi)存文件系統(tǒng)保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內(nèi)存文件系統(tǒng)中的文件路徑，提取文件內(nèi)容形成索引信息和摘要信息一起合成所述日志記錄；

將所述日志記錄保存至所述日志存放設(shè)備的日志保存模塊，同時發(fā)送入庫完成信號至所述第二文件內(nèi)存系統(tǒng)；

所述第二內(nèi)存文件系統(tǒng)根據(jù)所述入庫完成信號為對應(yīng)的文件生成入庫標(biāo)記；

由所述日志處理服務(wù)器的文件移動模塊掃描所述第二內(nèi)存文件系統(tǒng)的目錄，把所述文件搬移到所述日志存放設(shè)備的文件保存模塊中，并發(fā)送保存完成信號至所述第二內(nèi)存文件系統(tǒng)；以及

所述第二內(nèi)存文件系統(tǒng)根據(jù)所述保存完成信號為對應(yīng)的文件生成保存標(biāo)記。

優(yōu)選地，還包括：

所述日志處理服務(wù)器的文件刪除模塊掃描所述第二內(nèi)存文件系統(tǒng)的目錄，刪除同時具有所述入庫標(biāo)記和所述保存標(biāo)記的文件。

實施本發(fā)明實施例，具有如下有益效果：本發(fā)明提供的網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)和方法，網(wǎng)絡(luò)審計探針負責(zé)日志采集，日志處理服務(wù)器負責(zé)日志合成處理及保存內(nèi)容文件，日志存放設(shè)備負責(zé)保存日志，并提供日志查詢服務(wù)，由此將摘要日志和文件內(nèi)容分開存放，統(tǒng)一了網(wǎng)絡(luò)日志的保存格式，降低了在傳輸和保存大量網(wǎng)絡(luò)日志時對內(nèi)存和網(wǎng)絡(luò)帶寬的消耗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明一實施例提供的網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)的原理圖；

圖2是本發(fā)明一實施例提供的網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)的架構(gòu)圖；

圖3是本發(fā)明一實施例提供的網(wǎng)絡(luò)審計日志的傳輸保存方法的流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明實施例提供了一種網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)。參見圖1，該網(wǎng)絡(luò)審計日志的傳輸保存系統(tǒng)包括日志審計探針10、日志處理服務(wù)器20和日志存放設(shè)備30，日志處理服務(wù)器20連接于所述日志審計探針10，日志存放設(shè)備30連接于所述日志處理服務(wù)器20。其中，所述日志審計探針10用于將采集到的內(nèi)容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到所述日志處理服務(wù)器20；所述日志處理服務(wù)器20用于根據(jù)所述文件和所述摘要日志合成日志記錄；日志存放設(shè)備30用于保存所述日志記錄，并提供日志查詢服務(wù)。

進一步地，如圖2所示，所述日志審計探針10包括：

采集模塊110，用于采集日志，并將采集到的內(nèi)容信息進行分類；

第一內(nèi)存文件系統(tǒng)120，連接于所述采集模塊110，用于存儲所述文件；

共享內(nèi)存130，連接于所述采集模塊110，用于存儲所述摘要日志，其中，摘要日志中保存有文件路徑信息；

文件上傳模塊140，連接于所述第一內(nèi)存文件系統(tǒng)120，用于將所述文件上傳至所述日志處理服務(wù)器20；以及

日志上傳模塊150，連接于所述共享內(nèi)存130，用于將所述摘要日志上傳至所述日志處理服務(wù)器20。

在本實施例中，網(wǎng)絡(luò)審計探針采集了日志之后，將日志進行分類保存，將日志內(nèi)容文件暫存在內(nèi)存文件系統(tǒng)中，無需寫入磁盤；將包含有文件路徑信息的摘要日志保存在共享內(nèi)存中，再分別上傳至日志處理服務(wù)器，由此，降低了帶寬消耗。

進一步地，如圖2所示，所述日志存放設(shè)備30包括文件保存模塊310和日志保存模塊320，所述日志處理服務(wù)器20包括：

文件接收模塊210，用于接收來自所述日志審計探針10的所述文件；

日志接收模塊220，用于接收來自所述日志審計探針10的所述摘要日志；

第二內(nèi)存文件系統(tǒng)230，連接于所述文件接收模塊210，用于保存所述文件；

第三內(nèi)存文件系統(tǒng)240，連接于所述日志接收模塊220，用于以文件的形式保存所述摘要日志；

日志合成模塊250，連接于所述第二內(nèi)存文件系統(tǒng)230和所述第三內(nèi)存文件系統(tǒng)240，用于掃描所述第三內(nèi)存文件系統(tǒng)240保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內(nèi)存文件系統(tǒng)230中的文件路徑，提取文件內(nèi)容形成索引信息和摘要信息一起合成所述日志記錄，并將所述日志記錄保存至所述日志存放設(shè)備30的所述日志保存模塊320，同時發(fā)送入庫完成信號至所述第二文件內(nèi)存系統(tǒng)230；以及

所述第二內(nèi)存文件系統(tǒng)230，還用于根據(jù)所述入庫完成信號，為對應(yīng)的文件生成入庫標(biāo)記。

在本實施例中，日志處理服務(wù)器將文件內(nèi)容和摘要日志分別暫存在不同的內(nèi)存文件系統(tǒng)中，利用摘要日志中的文件路徑信息查詢對應(yīng)的文件內(nèi)容，然后提取部分文件內(nèi)容，利用這部分文件內(nèi)容和摘要日志生成最終的日志記錄，保存至日志存放設(shè)備進行永久保存，由此，日志記錄中包含了獲取對應(yīng)完整文件內(nèi)容的路徑信息，便于查找到完整的關(guān)聯(lián)文件。同時為已經(jīng)生成了日志記錄的對應(yīng)文件進行入庫標(biāo)記，表明該日志記錄對應(yīng)的文件已經(jīng)經(jīng)過了入庫處理。

進一步地，所述日志處理服務(wù)器20還包括：

文件移動模塊260，連接于所述第二內(nèi)存文件系統(tǒng)230，用于掃描所述第二內(nèi)存文件系統(tǒng)230的目錄，把所述文件搬移到所述日志存放設(shè)備30的所述文件保存模塊310中，并發(fā)送保存完成信號至所述第二內(nèi)存文件系統(tǒng)230；

所述第二內(nèi)存文件系統(tǒng)230，還用于根據(jù)所述保存完成信號，為對應(yīng)的文件生成保存標(biāo)記。

在本實施例中，日志處理服務(wù)器將所有文件內(nèi)容都移動到日志存放設(shè)備中進行永久保存，并為已經(jīng)被移動的文件生成保存標(biāo)記，表明該文件內(nèi)容已經(jīng)被永久保存。

進一步地，所述日志處理服務(wù)器20還包括：

文件刪除模塊270，連接于所述第二內(nèi)存文件系統(tǒng)，用于掃描所述第二內(nèi)存文件系統(tǒng)的目錄，刪除同時具有所述入庫標(biāo)記和所述保存標(biāo)記的文件。

在本實施例中，日志處理服務(wù)器將已經(jīng)入庫并且已經(jīng)保存的文件刪除，釋放內(nèi)存文件系統(tǒng)的內(nèi)存。

進一步地，所述日志存放設(shè)備30還包括：

文件訪問模塊330，連接于所述文件保存模塊310和所述日志保存模塊320，用于用戶根據(jù)所述日志保存模塊的信息，獲取保存于所述文件保存模塊的對應(yīng)的完整文件內(nèi)容。

在本實施例中，用戶查詢?nèi)罩緯r，首先根據(jù)輸入的查詢條件在日志保存模塊320中查詢到對應(yīng)的摘要日志，再根據(jù)摘要日志中的文件路徑信息，去文件保存模塊310中獲取對應(yīng)的完整文件。

本發(fā)明還提供一種用于網(wǎng)絡(luò)審計日志的傳輸保存方法，如圖3所示，該網(wǎng)絡(luò)審計日志的傳輸保存方法包括以下步驟：

步驟S1：由日志審計探針將采集到的內(nèi)容信息以文件的形式和摘要日志的形式分類保存，并將所述文件和所述摘要日志上傳到日志處理服務(wù)器；

步驟S2：由所述日志處理服務(wù)器根據(jù)所述文件和所述摘要日志合成日志記錄；以及

步驟S3：由日志存放設(shè)備保存所述日志記錄，并提供日志查詢服務(wù)。

進一步地，所述摘要日志中保存有文件路徑信息，步驟S2包括：

由所述日志處理服務(wù)器的文件接收模塊接收來自所述日志審計探針的所述文件，將所述文件保存至所述日志處理服務(wù)器的第二內(nèi)存文件系統(tǒng)；

由所述日志處理服務(wù)器的日志接收模塊接收來自所述日志審計探針的所述摘要日志，將所述摘要日志保存至所述日志處理服務(wù)器的第三內(nèi)存文件系統(tǒng)；

由所述日志處理服務(wù)器的日志合成模塊掃描所述第三內(nèi)存文件系統(tǒng)保存的所述摘要日志的文件，對每條摘要日志，根據(jù)所述摘要日志里的所述文件路徑信息獲取保存在所述第二內(nèi)存文件系統(tǒng)中的文件路徑，提取文件內(nèi)容形成索引信息和摘要信息一起合成所述日志記錄；

將所述日志記錄保存至所述日志存放設(shè)備的日志保存模塊，同時發(fā)送入庫完成信號至所述第二文件內(nèi)存系統(tǒng)；

所述第二內(nèi)存文件系統(tǒng)根據(jù)所述入庫完成信號為對應(yīng)的文件生成入庫標(biāo)記；

由所述日志處理服務(wù)器的文件移動模塊掃描所述第二內(nèi)存文件系統(tǒng)的目錄，把所述文件搬移到所述日志存放設(shè)備的文件保存模塊中，并發(fā)送保存完成信號至所述第二內(nèi)存文件系統(tǒng)；以及

所述第二內(nèi)存文件系統(tǒng)根據(jù)所述保存完成信號為對應(yīng)的文件生成保存標(biāo)記；

所述日志處理服務(wù)器的文件刪除模塊掃描所述第二內(nèi)存文件系統(tǒng)的目錄，刪除同時具有所述入庫標(biāo)記和所述保存標(biāo)記的文件。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。

以上所揭露的僅為本發(fā)明一種較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。