專利名稱:一種基于web平臺(tái)的日志分析方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及日志管理,特別涉及一種基于WEB平臺(tái)的日志采集、分析、搜索方法及系統(tǒng)。
背景技術(shù):
目前處理網(wǎng)絡(luò)中各臺(tái)設(shè)備的業(yè)務(wù)日志、操作系統(tǒng)日志、數(shù)據(jù)庫日志的方式是各臺(tái)設(shè)備單獨(dú)備份,查看日志時(shí)需要連接各臺(tái)設(shè)備獲取日志,然后人工分析日志內(nèi)容。這種處理方式嚴(yán)重影響維護(hù)人員的工作效率和故障的快速定位和排除,而且在這種工作方式下很難對(duì)大量的日志信息進(jìn)行信息統(tǒng)計(jì)和審計(jì)的工作?,F(xiàn)有環(huán)境下有一些工具可以對(duì)網(wǎng)絡(luò)中的各臺(tái)設(shè)備的日志進(jìn)行簡(jiǎn)單的采集工作,但是沒有針對(duì)日志的采集、搜索、瀏覽、分析、備份、下載的整套解決方案。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于WEB平臺(tái)的日志分析方法及系統(tǒng),解決了以下技術(shù)問題一、維護(hù)人員工作效率不高、故障很難快速定位和排除;二、對(duì)大量的日志信息進(jìn)行統(tǒng)計(jì)和審計(jì)比較困難;三、僅是對(duì)各臺(tái)設(shè)備的日志進(jìn)行簡(jiǎn)單地采集,沒有針對(duì)日志的采集、搜索、瀏覽、分析、備份、下載的整套解決方案。根據(jù)本發(fā)明的一個(gè)方面,提供了一種基于WEB平臺(tái)的日志分析方法,包括以下步驟A、日志采集模塊定時(shí)采集網(wǎng)絡(luò)上各臺(tái)設(shè)備產(chǎn)生的日志;B、日志采集模塊將所述采集的日志上傳到日志服務(wù)器;C、所述日志服務(wù)器對(duì)所述日志進(jìn)行索引和統(tǒng)計(jì)歸類得到索引數(shù)據(jù)和統(tǒng)計(jì)歸類數(shù)據(jù)。優(yōu)選的,所述方法在步驟C之后還包括以下步驟D、所述日志服務(wù)器根據(jù)用戶輸入的搜索條件從所述索引數(shù)據(jù)中搜索符合所述搜索條件的日志。優(yōu)選的,所述步驟C還包括以下步驟所述日志服務(wù)器將所述日志進(jìn)行壓縮備份。其中,所述步驟A具體為所述日志服務(wù)器通過網(wǎng)絡(luò)與網(wǎng)絡(luò)上各臺(tái)設(shè)備建立連接;安裝所述設(shè)備上的日志采集模塊定時(shí)將所述設(shè)備產(chǎn)生的日志文件的列表發(fā)送給所述日志服務(wù)器;所述日志服務(wù)器從所述日志文件列表中選擇需要采集的日志名稱并發(fā)送給所述設(shè)備;所述日志采集模塊根據(jù)所選日志名稱采集日志。其中,所述步驟B具體為
所述日志采集模塊通過FTP或者SYSLOG的方式將所述采集的日志上傳給所述日志服務(wù)器;所述日志服務(wù)器保存所述采集的日志。其中,所述步驟C具體為所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼、日志內(nèi)容五個(gè)分析域分別對(duì)所述采集的日志進(jìn)行索引,得到索引數(shù)據(jù);所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼四個(gè)分類標(biāo)準(zhǔn)分別對(duì)所述采集的日志進(jìn)行分類統(tǒng)計(jì),得到分類統(tǒng)計(jì)數(shù)據(jù)。根據(jù)本發(fā)明的另一個(gè)方面,提供了一種基于WEB平臺(tái)的日志分析 系統(tǒng),所述系統(tǒng)包括日志采集模塊,用于定時(shí)采集網(wǎng)絡(luò)上各臺(tái)設(shè)備產(chǎn)生的日志并將所述采集的日志上傳到日志服務(wù)器;日志分析模塊,用于對(duì)所述采集的日志進(jìn)行索引和統(tǒng)計(jì)歸類得到索引數(shù)據(jù)和統(tǒng)計(jì)歸類數(shù)據(jù)。優(yōu)選的,該系統(tǒng)還包括日志搜索模塊,用于從所述索引數(shù)據(jù)中搜索符合搜索條件的日志;日志備份下載模塊,用于對(duì)所述采集的日志進(jìn)行壓縮備份并下載。優(yōu)選的,所述日志采集模塊通過FTP或者SYSLOG的方式定時(shí)將所述采集的日志上傳給所述日志服務(wù)器。優(yōu)選的,所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼、日志內(nèi)容五個(gè)分析域分別對(duì)所述采集的日志進(jìn)行索引,得到索引數(shù)據(jù);所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼四個(gè)分類標(biāo)準(zhǔn)分別對(duì)所述采集的日志進(jìn)行分類統(tǒng)計(jì),得到分類統(tǒng)計(jì)數(shù)據(jù)。與現(xiàn)有技術(shù)相比較,本發(fā)明的有益效果在于一、提高了維護(hù)人員的工作效率,使其能快速定位故障并排除;二、對(duì)大量的日志信息進(jìn)行統(tǒng)計(jì)和審計(jì);三、不僅僅簡(jiǎn)單的采集日志,同時(shí)提供搜索、瀏覽、分析、備份、下載的整套解決方案。
圖I是本發(fā)明實(shí)施例提供的基于WEB平臺(tái)的日志分析方法的流程圖;圖2是本發(fā)明實(shí)施例提供的基于WEB平臺(tái)的日志分析系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說明,應(yīng)當(dāng)理解,以下所說明的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明,并不用于限定本發(fā)明。圖I是本發(fā)明實(shí)施例提供的基于WEB平臺(tái)的日志分析方法的流程圖,如圖I所示,該方法包括以下步驟步驟S101,設(shè)備配置。設(shè)備配置由用戶通過日志系統(tǒng)的WEB管理平臺(tái)完成。錄入的設(shè)備信息包括設(shè)備的描述信息、采集需要用到的參數(shù)信息等,用戶可以在管理平臺(tái)上以列表的方式查看所有的設(shè)備信息。設(shè)備信息具體如下
權(quán)利要求
1.一種基于WEB平臺(tái)的日志分析方法,其特征在于,包括以下步驟 A、日志采集模塊定時(shí)采集網(wǎng)絡(luò)上各臺(tái)設(shè)備產(chǎn)生的日志; B、日志采集模塊將所述采集的日志上傳到日志服務(wù)器; C、所述日志服務(wù)器對(duì)所述日志進(jìn)行索引和統(tǒng)計(jì)歸類得到索引數(shù)據(jù)和統(tǒng)計(jì)歸類數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的方法,其特征在于,所述方法在步驟C之后還包括以下步驟 D、所述日志服務(wù)器根據(jù)用戶輸入的搜索條件從所述索引數(shù)據(jù)中搜索符合所述搜索條件的日志。
3.根據(jù)權(quán)利要求I所述的方法,其特征在于,所述步驟C還包括以下步驟 所述日志服務(wù)器將所述日志進(jìn)行壓縮備份。
4.根據(jù)權(quán)利要求I所述的方法,其特征在于,所述步驟A具體為 所述日志服務(wù)器通過網(wǎng)絡(luò)與網(wǎng)絡(luò)上各臺(tái)設(shè)備建立連接; 安裝所述設(shè)備上的日志采集模塊定時(shí)將所述設(shè)備產(chǎn)生的日志文件的列表發(fā)送給所述日志服務(wù)器; 所述日志服務(wù)器從所述日志文件列表中選擇需要采集的日志名稱并發(fā)送給所述設(shè)備; 所述日志采集模塊根據(jù)所選日志名稱采集日志。
5.根據(jù)權(quán)利要求I所述的方法,其特征在于,所述步驟B具體為 所述日志采集模塊通過FTP或者SYSLOG的方式將所述采集的日志上傳給所述日志服務(wù)器; 所述日志服務(wù)器保存所述采集的日志。
6.根據(jù)權(quán)利要求I所述的方法,其特征在于,所述步驟C具體為 所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼、日志內(nèi)容五個(gè)分析域分別對(duì)所述采集的日志進(jìn)行索引,得到索引數(shù)據(jù); 所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼四個(gè)分類標(biāo)準(zhǔn)分別對(duì)所述采集的日志進(jìn)行分類統(tǒng)計(jì),得到分類統(tǒng)計(jì)數(shù)據(jù)。
7.一種基于WEB平臺(tái)的日志分析系統(tǒng),該系統(tǒng)包括 日志采集模塊,用于定時(shí)采集網(wǎng)絡(luò)上各臺(tái)設(shè)備產(chǎn)生的日志并將所述采集的日志上傳到日志服務(wù)器; 日志分析模塊,用于對(duì)所述采集的日志進(jìn)行索引和統(tǒng)計(jì)歸類得到索引數(shù)據(jù)和統(tǒng)計(jì)歸類數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的系統(tǒng),其特征在于,該系統(tǒng)還包括 日志搜索模塊,用于從所述索引數(shù)據(jù)中搜索符合搜索條件的日志; 日志備份下載模塊,用于對(duì)所述采集的日志進(jìn)行壓縮備份并下載。
9.根據(jù)權(quán)利要求7所述的系統(tǒng),其特征在于,所述日志采集模塊通過FTP或者SYSLOG的方式定時(shí)將所述采集的日志上傳給所述日志服務(wù)器。
10.根據(jù)權(quán)利要求7所述的系統(tǒng),其特征在于, 所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼、日志內(nèi)容五個(gè)分析域分別對(duì)所述采集的日志進(jìn)行索引,得到索引數(shù)據(jù); 所述日志服務(wù)器按照文件名、時(shí)間、級(jí)別、錯(cuò)誤碼四個(gè)分類標(biāo)準(zhǔn)分別對(duì)所述采集的日志進(jìn)行分類統(tǒng)計(jì),得 到分類統(tǒng)計(jì)數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種基于WEB平臺(tái)的日志分析方法及系統(tǒng),日志采集模塊定時(shí)采集網(wǎng)絡(luò)上各臺(tái)設(shè)備產(chǎn)生的日志,日志采集模塊將所述采集的日志上傳到日志服務(wù)器,所述日志服務(wù)器對(duì)所述日志進(jìn)行索引和統(tǒng)計(jì)歸類得到索引數(shù)據(jù)和統(tǒng)計(jì)歸類數(shù)據(jù)。本發(fā)明通過提供一個(gè)完整的日志采集、搜索、瀏覽、分析、備份、下載的日志集中處理平臺(tái),解決了現(xiàn)有技術(shù)中只是對(duì)各臺(tái)設(shè)備的日志進(jìn)行簡(jiǎn)單地采集、沒有針對(duì)日志的采集、搜索、瀏覽、分析、備份、下載的整套解決方案的問題。
文檔編號(hào)H04L12/24GK102780726SQ201110123629
公開日2012年11月14日 申請(qǐng)日期2011年5月13日 優(yōu)先權(quán)日2011年5月13日
發(fā)明者張立 申請(qǐng)人:中興通訊股份有限公司