專利名稱：一種日志處理方法、設(shè)備和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，尤其涉及一種日志處理方法、設(shè)備和系統(tǒng)。
背景技術(shù)：
在現(xiàn)有的傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)中，日志是一個必不可少的部分，通過對業(yè)務(wù)日志的分析處理，我們可以了解到業(yè)務(wù)的經(jīng)營狀況，同時在服務(wù)器出現(xiàn)健康問題的時候，也可以通過日志定位問題所在，方便問題的解決。當(dāng)前，日志文件都是以原始的格式存放于文件系統(tǒng)或者數(shù)據(jù)庫系統(tǒng)，在對業(yè)務(wù)運營數(shù)據(jù)進(jìn)行分析和統(tǒng)計的時候，需要對原始格式的日志數(shù)據(jù)文件進(jìn)行處理分析，得到想要的統(tǒng)計結(jié)果?，F(xiàn)有技術(shù)中互聯(lián)網(wǎng)業(yè)務(wù)運營數(shù)據(jù)分析和統(tǒng)計以及web服務(wù)器、業(yè)務(wù)服務(wù)器運行狀況監(jiān)控的流程如圖1所示步驟SlOl 提交產(chǎn)品運營數(shù)據(jù)統(tǒng)計分析、監(jiān)控需求或產(chǎn)品業(yè)務(wù)模塊性能、健康狀況監(jiān)控需求；步驟S102 根據(jù)需求進(jìn)行分析，設(shè)計針對特定需求的實施方案；步驟S103 進(jìn)行系統(tǒng)設(shè)計和系統(tǒng)編碼，以對原始日志文件進(jìn)行特定的分析和處理；步驟S104:交付使用。對每一個業(yè)務(wù)運營數(shù)據(jù)統(tǒng)計的需求中，都需要經(jīng)過圖1所示的流程，針對特定的需求設(shè)計編碼，從原始日志中獲取想要的統(tǒng)計結(jié)果，從而導(dǎo)致開發(fā)成本高，開發(fā)周期很長。

發(fā)明內(nèi)容
本發(fā)明實施例在于提供一種日志處理方法、一種日志處理設(shè)備和一種日志處理系統(tǒng)，通過設(shè)置的配置文件信息對日志文件進(jìn)行整理，生成業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，解決了現(xiàn)有技術(shù)中開發(fā)成本高的問題，縮短了開發(fā)周期。為了達(dá)到上述技術(shù)效果，本發(fā)明實施例提出了一種日志處理方法，包括獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；根據(jù)預(yù)先設(shè)置的配置文件信息整理所述日志文件；將整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。優(yōu)選地，所述日志處理方法還包括根據(jù)業(yè)務(wù)項目的統(tǒng)計需求實時修改配置文件信息。優(yōu)選地，所述根據(jù)預(yù)先設(shè)置的配置文件信息整理所述日志文件的步驟包括根據(jù)所述配置文件信息將所述日志文件整理出業(yè)務(wù)項目統(tǒng)計需求的文件信息。優(yōu)選地，所述將整理出的文件處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)的步驟包括周期性地調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)。
4
優(yōu)選地，所述生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)的步驟之后，還包括根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理；或/和根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)警。相應(yīng)地，本發(fā)明實施例公開了一種日志處理設(shè)備，包括獲取模塊，用于獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；整理模塊，用于根據(jù)預(yù)先設(shè)置的配置文件信息整理所述獲取模塊獲取的日志文件；結(jié)構(gòu)化處理模塊，用于將所述整理模塊整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。優(yōu)選地，所述日志處理設(shè)備還包括配置文件信息設(shè)置模塊，用于根據(jù)業(yè)務(wù)項目的統(tǒng)計需求實時修改配置文件信息。優(yōu)選地，所述整理模塊根據(jù)所述配置文件信息設(shè)置模塊設(shè)置的配置文件信息將所述獲取模塊獲取的日志文件整理出業(yè)務(wù)項目統(tǒng)計需求的文件信息。優(yōu)選地，所述結(jié)構(gòu)化處理模塊包括分析生成單元，用于周期性地調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析所述整理模塊整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)；發(fā)送單元，用于將所述分析生成單元生成的所述結(jié)構(gòu)化數(shù)據(jù)發(fā)送給結(jié)構(gòu)化存儲系統(tǒng)進(jìn)行存儲。相應(yīng)地，本發(fā)明實施例公開了一種日志處理系統(tǒng)，包括網(wǎng)絡(luò)側(cè)服務(wù)器和日志分發(fā)器，所述日志處理系統(tǒng)還包括至少一個日志處理設(shè)備，所述日志處理設(shè)備為上述的日志處理設(shè)備；所述網(wǎng)絡(luò)側(cè)服務(wù)器將生成的日志文件發(fā)送給所述日志分發(fā)器，所述日志分發(fā)器按照負(fù)載均衡策略將所述日志文件轉(zhuǎn)發(fā)向所述日志處理設(shè)備，由所述日志處理設(shè)備對所述日志文件進(jìn)行處理。優(yōu)選地，所述日志處理系統(tǒng)還包括至少一個結(jié)構(gòu)化存儲系統(tǒng)，用于存儲結(jié)構(gòu)化數(shù)據(jù)。優(yōu)選地，所述日志處理系統(tǒng)還包括監(jiān)控報警設(shè)備，用于根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理；或/和發(fā)現(xiàn)預(yù)警設(shè)備，用于根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)警。實施本發(fā)明實施例，通過設(shè)置的配置文件信息對日志文件進(jìn)行整理，生成業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，解決了現(xiàn)有技術(shù)中開發(fā)成本高的問題，縮短了開發(fā)周期，提高了對海量日志的處理能力，通過實時地修改配置文件信息，能夠快速敏捷靈活地滿足各種統(tǒng)計需求，實時地得到統(tǒng)計結(jié)果，并且可以靈活地通過添加日志處理設(shè)備和結(jié)構(gòu)化存儲系統(tǒng)進(jìn)行系統(tǒng)的擴容，而且支持業(yè)務(wù)熱點的實時自動發(fā)現(xiàn)和自動預(yù)警，能夠?qū)ο到y(tǒng)業(yè)務(wù)模塊的健康狀況做到實時自動報警。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是現(xiàn)有技術(shù)中日志處理方法的流程示意圖；圖2是本發(fā)明實施例日志處理方法的流程示意圖；圖3是本發(fā)明實施例的日志處理系統(tǒng)的結(jié)構(gòu)示意圖；圖4是本發(fā)明實施例的日志處理設(shè)備的結(jié)構(gòu)示意圖；圖5是本發(fā)明日志處理系統(tǒng)的另一實施例的結(jié)構(gòu)示意圖。
具體實施例方式為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。請參閱圖2示出的本發(fā)明實施例日志處理方法的流程示意圖，包括步驟S201 獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；具體地，日志文件是由網(wǎng)絡(luò)側(cè)服務(wù)器按照特定的格式生成，如，以“ I I，，分割的 "key = value”格式等，該網(wǎng)絡(luò)側(cè)服務(wù)器可以為web服務(wù)器或業(yè)務(wù)服務(wù)器等，相應(yīng)的日志系統(tǒng)有l(wèi)og4j、log^XX、Iogkplus等等，網(wǎng)絡(luò)側(cè)服務(wù)器可以通過用戶數(shù)據(jù)包協(xié)議(UDPJser Datagram Protocol)方式將生成的日志文件發(fā)送給日志分發(fā)器，日志分發(fā)器根據(jù)負(fù)載均衡策略將收到的日志文件以UDP方式轉(zhuǎn)發(fā)向本端的日志處理設(shè)備，日志處理設(shè)備獲取到網(wǎng)絡(luò)側(cè)發(fā)送的日志文件。需要說明的是，該日志處理設(shè)備即為處理海量互聯(lián)網(wǎng)服務(wù)日志信息的平臺，具有通用的，可實時收集和處理海量日志信息功能。步驟S202 根據(jù)預(yù)先設(shè)置的配置文件信息整理所述日志文件；具體地，日志處理設(shè)備根據(jù)業(yè)務(wù)項目的統(tǒng)計需求預(yù)先設(shè)置配置文件信息，該配置文件信息包括需要統(tǒng)計的業(yè)務(wù)項目信息，即處理海量互聯(lián)網(wǎng)服務(wù)日志信息的平臺預(yù)先設(shè)有該配置文件信息，如txt格式的配置文件，技術(shù)人員只需按照格式填寫對應(yīng)的配置文件信息即可完成設(shè)置，如技術(shù)人員需要統(tǒng)計某業(yè)務(wù)的某項指標(biāo)(如數(shù)目)，那么技術(shù)人員只需打開txt格式的配置文件按照格式填寫數(shù)目項對應(yīng)的配置文件信息即可，日志處理設(shè)備將根據(jù)設(shè)置好的數(shù)目項對應(yīng)的配置文件信息整理所述日志文件，具體地，例如獲取的日志文件是以“ I I ”分割的“key = value”格式而生產(chǎn)的，那么日志處理設(shè)備將日志文件中的key為數(shù)目的相關(guān)信息進(jìn)行整理，如，整理出以數(shù)目為文件名的一組文件。步驟S203 將整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。具體地，日志處理設(shè)備對步驟S202中整理出的文件信息進(jìn)行處理，將需要統(tǒng)計的項目處理為結(jié)構(gòu)化數(shù)據(jù)，并存儲在結(jié)構(gòu)化存儲系統(tǒng)中，結(jié)構(gòu)化存儲系統(tǒng)可以為關(guān)系型數(shù)據(jù)庫，或者BigTable類型的結(jié)構(gòu)化存儲系統(tǒng)，如hadoop/hkise等。后續(xù)地，相關(guān)的業(yè)務(wù)數(shù)據(jù)分析設(shè)備可以根據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)直接快速地進(jìn)行數(shù)據(jù)的進(jìn)一步分析，如進(jìn)行業(yè)務(wù)數(shù)據(jù)報表的生成、業(yè)務(wù)數(shù)據(jù)對比、業(yè)務(wù)數(shù)據(jù)查詢等相關(guān)服務(wù)，或者直接提供線上服務(wù)使用。需要說明的是，技術(shù)人員可以根據(jù)業(yè)務(wù)項目的統(tǒng)計需求實時地修改配置文件信息，即，日志處理設(shè)備根據(jù)技術(shù)人員實時地修改操作可以實時地對配置文件信息進(jìn)行刪除、 更改或添加統(tǒng)計項目或日志處理功能，實時修改的配置文件信息可以實時生效、無需重啟日志處理設(shè)備，大大降低了現(xiàn)有技術(shù)中完成同樣功能的開發(fā)所需的成本，簡化了流程，節(jié)省了時間，從而提高了日志處理效率。還需要說明的是，日志處理設(shè)備可以通過啟動多個實例來進(jìn)行擴展，即可以靈活地通過添加日志處理設(shè)備和結(jié)構(gòu)化存儲系統(tǒng)進(jìn)行擴展，日志分發(fā)器保證負(fù)載均衡。進(jìn)一步地，步驟S203可以具體為，日志處理設(shè)備周期性地(如每5分鐘)調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析步驟S202整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，如，日志處理設(shè)備周期性地調(diào)用數(shù)目統(tǒng)計項目對應(yīng)的實時處理腳本，分析以數(shù)目為文件名的一組文件，生成與數(shù)目統(tǒng)計項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，然后將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。再進(jìn)一步地，步驟S203后，監(jiān)控報警設(shè)備可以根據(jù)某一周期內(nèi)的結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理，或發(fā)現(xiàn)預(yù)警設(shè)備可以根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)警，如熱門榜單、熱點關(guān)注、用戶訪客、用戶軌跡等數(shù)據(jù)的統(tǒng)計，并通過郵件或者短信通知技術(shù)人員或其他相關(guān)用戶，當(dāng)前可以應(yīng)用到搜吧、圖片搜索、 音樂搜索、視頻搜索、博客搜索、QQ書簽、搜索華爾茲等等中去。上面詳細(xì)說明了本發(fā)明日志處理方法的流程示意圖，下面對應(yīng)地，詳細(xì)說明本發(fā)明實施例的日志處理系統(tǒng)的結(jié)構(gòu)。如圖3示出的本發(fā)明實施例的日志處理系統(tǒng)的結(jié)構(gòu)示意圖，日志處理系統(tǒng)包括網(wǎng)絡(luò)側(cè)服務(wù)器31、日志分發(fā)器32、至少一個日志處理設(shè)備33和至少一個結(jié)構(gòu)化存儲系統(tǒng)34， 具體地，日志處理系統(tǒng)也可以包括多個網(wǎng)絡(luò)側(cè)服務(wù)器31和日志分發(fā)器32，本實施例以包括一個網(wǎng)絡(luò)側(cè)服務(wù)器31、一個日志分發(fā)器32、一個日志處理設(shè)備33以及一個結(jié)構(gòu)化存儲系統(tǒng) 34為例進(jìn)行說明，網(wǎng)絡(luò)側(cè)服務(wù)器31將生成的日志文件發(fā)送給日志分發(fā)器32，日志分發(fā)器 32按照負(fù)載均衡策略將所述日志文件轉(zhuǎn)發(fā)向日志處理設(shè)備33，由日志處理設(shè)備33對所述日志文件進(jìn)行處理，日志處理設(shè)備33即為處理海量互聯(lián)網(wǎng)服務(wù)日志信息的平臺，具有通用的，可實時收集和處理海量日志信息功能，日志處理設(shè)備33將處理后的日志數(shù)據(jù)存儲到結(jié)構(gòu)化存儲系統(tǒng)34中。日志處理設(shè)備33包括獲取模塊331、整理模塊332和結(jié)構(gòu)化處理模塊333，其中獲取模塊331用于獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；具體地，日志文件是由網(wǎng)絡(luò)側(cè)服務(wù)器31按照特定的格式生成，如，以“ I I ”分割的 "key = value”格式等，網(wǎng)絡(luò)側(cè)服務(wù)器31可以為web服務(wù)器或業(yè)務(wù)服務(wù)器等，相應(yīng)的日志系統(tǒng)有l(wèi)og4j、log4cxx, log4cplus等等，網(wǎng)絡(luò)側(cè)服務(wù)器31可以通過UDP方式將生成的日志文件發(fā)送給日志分發(fā)器32，日志分發(fā)器32根據(jù)負(fù)載均衡策略將收到的日志文件以UDP方式轉(zhuǎn)發(fā)向日志處理設(shè)備33，日志處理設(shè)備33的獲取模塊331獲取到日志文件。整理模塊332用于根據(jù)預(yù)先設(shè)置的配置文件信息整理獲取模塊331獲取的日志文件；具體地，日志處理設(shè)備33根據(jù)業(yè)務(wù)項目的統(tǒng)計需求預(yù)先設(shè)置配置文件信息，該配置文件信息包括需要統(tǒng)計的業(yè)務(wù)項目信息，即處理海量互聯(lián)網(wǎng)服務(wù)日志信息的平臺預(yù)先設(shè)有該配置文件信息，如txt格式的配置文件，技術(shù)人員只需按照格式填寫對應(yīng)的配置文件信息即可完成設(shè)置，如技術(shù)人員需要統(tǒng)計某業(yè)務(wù)的某項指標(biāo)(如數(shù)目)，那么技術(shù)人員只需打開txt格式的配置文件按照格式填寫數(shù)目項對應(yīng)的配置文件信息即可，整理模塊332將根據(jù)設(shè)置好的數(shù)目項對應(yīng)的配置文件信息整理所述日志文件，具體地，例如獲取模塊331 獲取的日志文件是以“ I I ”分割的“key = value”格式而生產(chǎn)的，那么整理模塊332將日志文件中的key為數(shù)目的相關(guān)信息進(jìn)行整理，如，整理出以數(shù)目為文件名的一組文件。結(jié)構(gòu)化處理模塊333用于將整理模塊332整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)34中。具體地，結(jié)構(gòu)化存儲系統(tǒng)34可以為關(guān)系型數(shù)據(jù)庫，或者BigTable類型的結(jié)構(gòu)化存儲系統(tǒng)，如hadoop/tAase等。后續(xù)地，相關(guān)的業(yè)務(wù)數(shù)據(jù)分析設(shè)備可以根據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)34中的結(jié)構(gòu)化數(shù)據(jù)可以直接快速地進(jìn)行數(shù)據(jù)的進(jìn)一步分析，如進(jìn)行業(yè)務(wù)數(shù)據(jù)報表的生成、業(yè)務(wù)數(shù)據(jù)對比、業(yè)務(wù)數(shù)據(jù)查詢等相關(guān)服務(wù)，或者直接提供線上服務(wù)使用。下面結(jié)合圖4，進(jìn)一步說明本發(fā)明實施例中日志處理設(shè)備33的結(jié)構(gòu)，日志處理設(shè)備33包括獲取模塊331、整理模塊332和結(jié)構(gòu)化處理模塊333外，還包括配置文件信息設(shè)置模塊334，用于根據(jù)業(yè)務(wù)項目的統(tǒng)計需求實時修改配置文件信息，具體地，技術(shù)人員可以根據(jù)業(yè)務(wù)項目的統(tǒng)計需求通過配置文件信息設(shè)置模塊334實時地修改配置文件信息，即， 配置文件信息設(shè)置模塊334可以實時地對配置文件信息進(jìn)行刪除、更改或添加統(tǒng)計項目或日志處理功能，實時修改的配置文件信息可以實時生效、無需重啟日志處理設(shè)備，大大降低了現(xiàn)有技術(shù)中完成同樣功能的開發(fā)所需的成本，簡化了流程，節(jié)省了時間，從而提高了日志處理效率；整理模塊332根據(jù)配置文件信息設(shè)置模塊334設(shè)置的配置文件信息將獲取模塊 331獲取的日志文件整理出業(yè)務(wù)項目統(tǒng)計需求的文件信息。進(jìn)一步地，結(jié)構(gòu)化處理模塊333包括分析生成單元3331和發(fā)送單元3332，其中分析生成單元3331用于周期性地調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析整理模塊332整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)；發(fā)送單元3332用于將分析生成單元3331生成的所述結(jié)構(gòu)化數(shù)據(jù)發(fā)送給結(jié)構(gòu)化存儲系統(tǒng)34進(jìn)行存儲。具體地，分析生成單元3331周期性地(如每5分鐘)調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析整理模塊332整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，如，分析生成單元3331周期性地調(diào)用數(shù)目統(tǒng)計項目對應(yīng)的實時處理腳本，分析以數(shù)目為文件名的一組文件，生成與數(shù)目統(tǒng)計項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，然后通過發(fā)送單元3332將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)34中。如圖5示出的本發(fā)明日志處理系統(tǒng)的另一實施例的結(jié)構(gòu)示意圖，日志處理系統(tǒng)包括網(wǎng)絡(luò)側(cè)服務(wù)器31、日志分發(fā)器32、日志處理設(shè)備33和結(jié)構(gòu)化存儲系統(tǒng)34外，還包括監(jiān)控報警設(shè)備35和發(fā)現(xiàn)預(yù)警設(shè)備36，其中監(jiān)控報警設(shè)備35用于根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理；發(fā)現(xiàn)預(yù)警設(shè)備36用于根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)
Sfc目。具體地，監(jiān)控報警設(shè)備35可以根據(jù)某一周期內(nèi)的結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理，以及發(fā)現(xiàn)預(yù)警設(shè)備36可以根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)警，如熱門榜單、熱點關(guān)注、用戶訪客、用戶軌跡等數(shù)據(jù)的統(tǒng)計，并通過郵件或者短信通知技術(shù)人員或其他相關(guān)用戶，當(dāng)前可以應(yīng)用到搜吧、圖片搜索、音樂搜索、 視頻搜索、博客搜索、QQ書簽、搜索華爾茲等等中去。需要說明的是，日志處理設(shè)備33可以通過啟動多個實例來進(jìn)行擴展，日志處理系統(tǒng)即可以靈活地通過添加日志處理設(shè)備33和結(jié)構(gòu)化存儲系統(tǒng)34進(jìn)行擴展，日志分發(fā)器32 保證負(fù)載均衡。綜上所述，通過上述實施例，根據(jù)設(shè)置的配置文件信息對日志文件進(jìn)行整理，生成業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，解決了現(xiàn)有技術(shù)中開發(fā)成本高的問題，縮短了開發(fā)周期，提高了對海量日志的處理能力，通過實時地修改配置文件信息，能夠快速敏捷靈活地滿足各種統(tǒng)計需求，實時地得到統(tǒng)計結(jié)果，并且可以靈活地通過添加日志處理設(shè)備和結(jié)構(gòu)化存儲系統(tǒng)進(jìn)行系統(tǒng)的擴容，而且支持業(yè)務(wù)熱點的實時自動發(fā)現(xiàn)和自動預(yù)警，能夠?qū)ο到y(tǒng)業(yè)務(wù)模塊的健康狀況做到實時自動報警。需要說明的是，通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的硬件平臺的方式來實現(xiàn)，當(dāng)然也可以全部通過硬件來實施。 基于這樣的理解，本發(fā)明的技術(shù)方案對背景技術(shù)做出貢獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些部分所述的方法。以上所揭露的僅為本發(fā)明實施例中的較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
權(quán)利要求
1.一種日志處理方法，其特征在于，包括 獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；根據(jù)預(yù)先設(shè)置的配置文件信息整理所述日志文件；將整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。
2.如權(quán)利要求1所述的方法，其特征在于，還包括 根據(jù)業(yè)務(wù)項目的統(tǒng)計需求實時修改配置文件信息；所述根據(jù)預(yù)先設(shè)置的配置文件信息整理所述日志文件的步驟包括 根據(jù)所述配置文件信息將所述日志文件整理出業(yè)務(wù)項目統(tǒng)計需求的文件信息。
3.如權(quán)利要求1或2所述的方法，其特征在于，所述將整理出的文件處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)的步驟包括周期性地調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)。
4.如權(quán)利要求3所述的方法，其特征在于，所述生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)的步驟之后，還包括根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理；或/和根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)警。
5.一種日志處理設(shè)備，其特征在于，包括 獲取模塊，用于獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；整理模塊，用于根據(jù)預(yù)先設(shè)置的配置文件信息整理所述獲取模塊獲取的日志文件； 結(jié)構(gòu)化處理模塊，用于將所述整理模塊整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。
6.如權(quán)利要求5所述的日志處理設(shè)備，其特征在于，還包括配置文件信息設(shè)置模塊，用于根據(jù)業(yè)務(wù)項目的統(tǒng)計需求實時修改配置文件信息； 所述整理模塊根據(jù)所述配置文件信息設(shè)置模塊設(shè)置的配置文件信息將所述獲取模塊獲取的日志文件整理出業(yè)務(wù)項目統(tǒng)計需求的文件信息。
7.如權(quán)利要求6所述的日志處理設(shè)備，其特征在于，所述結(jié)構(gòu)化處理模塊包括分析生成單元，用于周期性地調(diào)用業(yè)務(wù)項目對應(yīng)的實時處理腳本分析所述整理模塊整理出的文件信息，生成與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)；發(fā)送單元，用于將所述分析生成單元生成的所述結(jié)構(gòu)化數(shù)據(jù)發(fā)送給結(jié)構(gòu)化存儲系統(tǒng)進(jìn)行存儲。
8.一種日志處理系統(tǒng)，包括網(wǎng)絡(luò)側(cè)服務(wù)器和日志分發(fā)器，其特征在于，所述日志處理系統(tǒng)還包括至少一個日志處理設(shè)備，所述日志處理設(shè)備為如權(quán)利要求5-7任一項所述的日志處理設(shè)備；所述網(wǎng)絡(luò)側(cè)服務(wù)器將生成的日志文件發(fā)送給所述日志分發(fā)器，所述日志分發(fā)器按照負(fù)載均衡策略將所述日志文件轉(zhuǎn)發(fā)向所述日志處理設(shè)備，由所述日志處理設(shè)備對所述日志文件進(jìn)行處理。
9.如權(quán)利要求8所述的日志處理系統(tǒng)，其特征在于，所述日志處理系統(tǒng)還包括至少一個結(jié)構(gòu)化存儲系統(tǒng)，用于存儲結(jié)構(gòu)化數(shù)據(jù)。
10.如權(quán)利要求9所述的日志處理系統(tǒng)，其特征在于，所述日志處理系統(tǒng)還包括 監(jiān)控報警設(shè)備，用于根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)的健康狀況進(jìn)行監(jiān)控，并進(jìn)行報警處理；或/和發(fā)現(xiàn)預(yù)警設(shè)備，用于根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)對業(yè)務(wù)熱點進(jìn)行自動發(fā)現(xiàn)和自動預(yù)警。
全文摘要
本發(fā)明實施例公開了日志處理方法，包括獲取網(wǎng)絡(luò)側(cè)發(fā)送的日志文件；根據(jù)預(yù)先設(shè)置的配置文件信息整理所述日志文件；將整理出的文件信息處理為與業(yè)務(wù)項目對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，并將所述結(jié)構(gòu)化數(shù)據(jù)存儲在結(jié)構(gòu)化存儲系統(tǒng)中。相應(yīng)地，本發(fā)明實施例還公開了一種日志處理設(shè)備以及日志處理系統(tǒng)，實施本發(fā)明實施例，解決了現(xiàn)有技術(shù)中開發(fā)成本高的問題，縮短了開發(fā)周期，提高了對海量日志的處理能力，通過實時地修改配置文件信息，能夠快速敏捷靈活地滿足各種統(tǒng)計需求，實時地得到統(tǒng)計結(jié)果，并且可以靈活地通過添加日志處理設(shè)備和結(jié)構(gòu)化存儲系統(tǒng)進(jìn)行系統(tǒng)的擴容，而且支持業(yè)務(wù)熱點的實時自動發(fā)現(xiàn)和自動預(yù)警，能夠?qū)ο到y(tǒng)業(yè)務(wù)模塊的健康狀況做到實時自動報警。
文檔編號H04L12/24GK102208991SQ201010138020
公開日2011年10月5日 申請日期2010年3月29日 優(yōu)先權(quán)日2010年3月29日
發(fā)明者劉占亮, 李銳, 趙琳霖 申請人:騰訊科技(深圳)有限公司