本發(fā)明涉及數(shù)據(jù)處理領域，更具體地說，涉及一種日志處理系統(tǒng)和方法。

背景技術：

隨著網(wǎng)絡業(yè)務的不斷發(fā)展，每個公司內(nèi)部的業(yè)務系統(tǒng)的構(gòu)建越來越多，例如oa系統(tǒng)、人力資源系統(tǒng)和物料管理系統(tǒng)等。每個業(yè)務系統(tǒng)都使用獨立的日志管理模塊，各個系統(tǒng)之間，在日志采集與處理方法上無法復用，在日志格式上存在異構(gòu)。同時，各系統(tǒng)中的日志沒有統(tǒng)一集中管理，從公司層面上造成日志管理的混亂。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明提出一種日志處理系統(tǒng)和方法，欲實現(xiàn)多源日志的統(tǒng)一管理，日志采集與處理的復用，以及數(shù)據(jù)格式統(tǒng)一管理的目的。

為了實現(xiàn)上述目的，現(xiàn)提出的方案如下：

一種日志處理系統(tǒng)，包括：日志接收模塊、日志存儲模塊、分布式數(shù)據(jù)庫、日志處理模塊、以及多個日志采集模塊，

所述日志采集模塊，用于采集與其對應的業(yè)務系統(tǒng)的日志數(shù)據(jù)并發(fā)送至所述日志接收模塊；

所述日志接收模塊，用于接收每個日志采集模塊發(fā)送的日志數(shù)據(jù)并進行預處理操作，所述預處理操作包括將每個日志采集模塊發(fā)送的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；

所述日志存儲模塊，用于將經(jīng)過預處理的日志數(shù)據(jù)存儲至所述分布式數(shù)據(jù)庫中；

所述日志處理模塊，用于接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。

優(yōu)選的，所述系統(tǒng)，還包括：

動態(tài)資源分配模塊，用于針對每個業(yè)務系統(tǒng)，對在所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)容量進行監(jiān)測，當日志數(shù)據(jù)容量超過與其對應的預設容量閾值后，清除該業(yè)務系統(tǒng)在所述分布式數(shù)據(jù)庫中存儲的第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)的容量為預設第一容量，所述第一容量大于零且小于所述容量閾值，所述第一日志數(shù)據(jù)在所述分布式數(shù)據(jù)庫中的存儲時間早于該業(yè)務系統(tǒng)的非所述第一日志數(shù)據(jù)。

優(yōu)選的，所述系統(tǒng)，還包括：

可定制化模塊，用于利用mapreduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進行離線分析處理。

優(yōu)選的，所述系統(tǒng)，還包括：

可定制化模塊，用于利用mapreduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進行離線分析處理，且，還用于利用storm對所述日志接收模塊接收的實時日志數(shù)據(jù)進行實時分析。

優(yōu)選的，所述系統(tǒng)還包括：

可定制化模塊，利用storm對所述日志接收模塊接收的實時日志數(shù)據(jù)進行實時分析。

一種日志處理方法，包括：

采集多個業(yè)務系統(tǒng)的日志數(shù)據(jù)；

對每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)進行預處理操作，所述預處理操作包括將每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；

將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中；

接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。

優(yōu)選的，所述方法，在所述將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中后，還包括：

針對每個業(yè)務系統(tǒng)，對在所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)容量進行監(jiān)測，當日志數(shù)據(jù)容量超過與其對應的預設容量閾值后，清除該業(yè)務系統(tǒng)在所述分布式數(shù)據(jù)庫中存儲的第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)的容量為預設第一容量，所述第一容量大于零且小于所述容量閾值，所述第一日志數(shù)據(jù)在所述分布式數(shù)據(jù)庫中的存儲時間早于該業(yè)務系統(tǒng)的非所述第一日志數(shù)據(jù)。

優(yōu)選的，所述方法，在所述將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中后，還包括：

利用mapreduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進行離線分析處理。

優(yōu)選的，所述方法，還包括：

利用storm對日志接收模塊接收的實時日志數(shù)據(jù)進行實時分析；

在所述將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中后，還包括：利用mapreduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進行離線分析處理。

優(yōu)選的，所述方法，還包括：

利用storm對日志接收模塊接收的實時日志數(shù)據(jù)進行實時分析。

與現(xiàn)有技術相比，本發(fā)明的技術方案具有以下優(yōu)點：

上述技術方案提供的日志處理系統(tǒng)和方法，每個日志采集模塊采集與其對應的業(yè)務系統(tǒng)的日志數(shù)據(jù)并發(fā)送至日志接收模塊；日志接收模塊對接收的日志數(shù)據(jù)進行預處理操作，預處理操作包括將每個日志采集模塊發(fā)送的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；日志存儲模塊將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中；日志處理模塊接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。通過本發(fā)明提供的日志處理系統(tǒng)對公司各業(yè)務系統(tǒng)的日志進行統(tǒng)一管理，實現(xiàn)日志采集與處理可復用，以及數(shù)據(jù)格式統(tǒng)一管理。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種日志處理系統(tǒng)的示意圖；

圖2為本發(fā)明實施例提供的另一種日志處理系統(tǒng)的示意圖；

圖3為本發(fā)明實施例提供的一種日志處理方法的流程圖；

圖4為本發(fā)明實施例提供的另一種日志處理方法的流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明實施例提供一種日志處理系統(tǒng)，參見圖1所示，該系統(tǒng)包括：日志接收模塊11、日志存儲模塊12、分布式數(shù)據(jù)庫13、日志處理模塊14、以及多個日志采集模塊15，每個日志采集模塊15對應一個業(yè)務系統(tǒng)。

每個日志采集模塊15，用于采集與其對應的業(yè)務系統(tǒng)的日志數(shù)據(jù)并發(fā)送至所述日志接收模塊。日志采集模塊是工具類jar包，將jar包添加到業(yè)務系統(tǒng)的lib庫中，并配置相關路徑即可。日志采集模塊支持在操作類文件中耦合式的添加日志行為，同時支持springaop解耦式的日志采集行為。業(yè)務系統(tǒng)在啟動時加載jar包中的logcollector類，并完成在日志處理系統(tǒng)中的注冊工作。各個業(yè)務系統(tǒng)中的jar包相當于日志處理系統(tǒng)安裝在各個日志源中的日志采集agent，jar包中的logcontroller類在初始化時會向日志接收模塊發(fā)送agent注冊信息，告知日志處理系統(tǒng)該日志源(業(yè)務系統(tǒng))名稱、ip等相關信息。

日志采集模塊15支持實時和非實時兩種同步方式，針對實時性要求高的日志數(shù)據(jù)，業(yè)務系統(tǒng)每次觸發(fā)行為操作時，采集模塊都會主動連接日志接收模塊進行數(shù)據(jù)同步；針對實時性要求不高的日志數(shù)據(jù)，業(yè)務系統(tǒng)觸發(fā)行為操作時，日志采集模塊會先將其存儲在本地端，并在后續(xù)某個時刻將該時間段本地端暫存的日志數(shù)據(jù)統(tǒng)一打包發(fā)送給日志采集模塊。

日志接收模塊11，用于接收每個日志采集模塊發(fā)送的日志數(shù)據(jù)并進行預處理操作，預處理操作包括將每個日志采集模塊發(fā)送的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式。日志接收模塊完成各logcollector類的注冊工作；以及對接收到的日志數(shù)據(jù)進行識別、格式轉(zhuǎn)換、數(shù)據(jù)清理等預處理操作。通過格式轉(zhuǎn)換，實現(xiàn)數(shù)據(jù)格式統(tǒng)一管理。

日志存儲模塊12，用于將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫13中。具體的分布式數(shù)據(jù)庫13可以為hbase。

日志處理模塊14，用于接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。日志處理模塊14可以通過webservice接口接收來自各個業(yè)務系統(tǒng)的日志處理請求，日志處理請求包括查詢、統(tǒng)計、分析處理等。日志處理模塊14將最終處理結(jié)果輸出到日志處理相關路徑下的結(jié)果文件中，并給業(yè)務系統(tǒng)一個反饋信息，該反饋信息中包含日志處理的相關情況(如總處理條目數(shù)、處理失敗條目數(shù)、日志處理結(jié)果讀取路徑等)，業(yè)務系統(tǒng)接收到反饋信息后到該路徑下讀取處理結(jié)果；或?qū)⒆罱K處理結(jié)果通過網(wǎng)絡回傳給所請求的業(yè)務系統(tǒng)，避免業(yè)務系統(tǒng)再次發(fā)送讀取請求。

本發(fā)明實施例提供的日志處理系統(tǒng)，每個日志采集模塊15采集與其對應的業(yè)務系統(tǒng)的日志數(shù)據(jù)并發(fā)送至日志接收模塊11；日志接收模塊11對接收的日志數(shù)據(jù)進行預處理操作，預處理操作包括將每個日志采集模塊發(fā)送的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；日志存儲模塊12將經(jīng)過預處理的日志數(shù)據(jù)存儲至所述分布式數(shù)據(jù)庫13中；日志處理模塊14接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。通過本發(fā)明提供的日志處理系統(tǒng)對公司各業(yè)務系統(tǒng)的日志進行統(tǒng)一管理，實現(xiàn)日志采集與處理可復用，以及數(shù)據(jù)格式統(tǒng)一管理。

參見圖2所示，為本發(fā)明實施例提供的另一種日志處理系統(tǒng)，該系統(tǒng)還包括：動態(tài)資源分配模塊16，用于針對每個業(yè)務系統(tǒng)，對在所述分布式數(shù)據(jù)庫13中存儲的日志數(shù)據(jù)容量進行監(jiān)測，當日志數(shù)據(jù)容量超過與其對應的預設容量閾值后，清除該業(yè)務系統(tǒng)在所述分布式數(shù)據(jù)庫13中存儲的第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)的容量為預設第一容量，所述第一容量大于零且小于所述容量閾值，所述第一日志數(shù)據(jù)在所述分布式數(shù)據(jù)庫中的存儲時間早于該業(yè)務系統(tǒng)的非所述第一日志數(shù)據(jù)。

針對每個業(yè)務系統(tǒng)，預先設置與其對應的容量閾值。如對業(yè)務系統(tǒng)a分配1tb存儲空間，對業(yè)務系統(tǒng)b分配200gb存儲空間等。這樣當分布式數(shù)據(jù)庫中存儲的業(yè)務系統(tǒng)a的日志數(shù)據(jù)容量達到1tb時，將清除該日志源最早存儲的1/4tb的日志數(shù)據(jù)(即1/4門限容量的日志數(shù)據(jù)，清除的日志數(shù)據(jù)量可以根據(jù)需要預先設置)，第一日志數(shù)據(jù)即該被清除的最早存儲的1/4tb的日志數(shù)據(jù)，非第一日志數(shù)據(jù)即分布式數(shù)據(jù)庫中剩下的業(yè)務系統(tǒng)a的日志數(shù)據(jù)。如果存儲的業(yè)務系統(tǒng)a的日志數(shù)據(jù)增速很快，每隔幾天就達到1tb的閾值，導致頻繁清除日志的情況，還可以通過修改配置文件為業(yè)務系統(tǒng)a分配5tb的存儲空間，即可動態(tài)為業(yè)務系統(tǒng)a的日志數(shù)據(jù)存儲進行擴容，當業(yè)務系統(tǒng)a的日志數(shù)據(jù)存儲達到5tb時才會進行日志清除工作。

本實施提供的另一種日志處理系統(tǒng)，實現(xiàn)動態(tài)資源分配?，F(xiàn)有技術中由于各業(yè)務系統(tǒng)管理各自日志數(shù)據(jù)，其日志數(shù)據(jù)存儲在業(yè)務系統(tǒng)自身分布式數(shù)據(jù)庫中，日志量過大時，無法動態(tài)調(diào)整該業(yè)務系統(tǒng)自身存儲資源。本發(fā)明實施例利用動態(tài)資源分配模塊16對日志處理系統(tǒng)的分布式數(shù)據(jù)庫13中存儲的日志數(shù)據(jù)，進行動態(tài)資源分配，避免了業(yè)務系統(tǒng)使用過程中存儲空間不足造成的資源分配問題。

優(yōu)選的，日志處理系統(tǒng)，還可以包括：可定制化模塊。

可定制化模塊，用于利用mapreduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進行離線分析處理。離線分析任務一般在系統(tǒng)負荷較低時執(zhí)行。離線分析可包含日新增用戶注冊數(shù)、付費率、日用戶付費金額統(tǒng)計等?？啥ㄖ苹K，還可以用于利用storm對所述日志接收模塊接收的實時日志數(shù)據(jù)進行實時分析。實時分析可包含當前在線用戶數(shù)、當前高頻訪問url統(tǒng)計等。進而實現(xiàn)高效的流式日志實時分析，以及高效海量日志離線分析功能，提升日志分析處理效率。customprocessor抽象類作為定制化處理器。各業(yè)務系統(tǒng)如有日志實時分析、海量離線分析的日志處理需求，只需繼承該類并復寫相關處理邏輯，并在日志管理系統(tǒng)進行加載即可。

本發(fā)明實施例提供一種日志處理方法，參見圖3所示，該方法包括：

步驟s11：采集多個業(yè)務系統(tǒng)的日志數(shù)據(jù)；

步驟s12：對每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)進行預處理操作，所述預處理操作包括將每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；

步驟s13：將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中；

步驟s14：接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。

本發(fā)明實施例提供的日志處理方法，采集多個業(yè)務系統(tǒng)的日志數(shù)據(jù)；對每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)進行預處理操作，所述預處理操作包括將每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中；日接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。通過本發(fā)明提供的日志處理方法對公司各業(yè)務系統(tǒng)的日志進行統(tǒng)一管理，實現(xiàn)日志采集與處理可復用，以及數(shù)據(jù)格式統(tǒng)一管理。

本發(fā)明實施例提供另一種日志處理方法，參見圖4所示，步驟s21、s22、s23、s24分別與步驟s11、s12、s13、s14相同，該方法包括：

步驟s21：采集多個業(yè)務系統(tǒng)的日志數(shù)據(jù)；

步驟s22：對每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)進行預處理操作，所述預處理操作包括將每個業(yè)務系統(tǒng)對應的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；

步驟s23：將經(jīng)過預處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中；

步驟s24：接收業(yè)務系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進行相應的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務系統(tǒng)。

步驟s25：針對每個業(yè)務系統(tǒng)，對在所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)容量進行監(jiān)測，當日志數(shù)據(jù)容量超過與其對應的預設容量閾值后，清除該業(yè)務系統(tǒng)在所述分布式數(shù)據(jù)庫中存儲的第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)的容量為預設第一容量，所述第一容量大于零且小于所述容量閾值，所述第一日志數(shù)據(jù)的在所述分布式數(shù)據(jù)庫中的存儲時間早于該業(yè)務系統(tǒng)的非所述第一日志數(shù)據(jù)。

本發(fā)明實施例的分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)，進行動態(tài)資源分配，避免了業(yè)務系統(tǒng)使用過程中存儲空間不足造成的資源分配問題。

優(yōu)選的，日志處理方法，還可以包括：利用mapreduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進行離線分析處理，和/或，利用storm對日志接收模塊接收的實時日志數(shù)據(jù)進行實時分析。

對于前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發(fā)明并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明，某些步驟可以采用其他順序或者同時進行。

對于方法實施例而言，由于其基本相應于系統(tǒng)實施例，所以相關之處參見系統(tǒng)實施例的部分說明即可。以上所描述的系統(tǒng)實施例僅僅是示意性的，其中所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領域普通技術人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。

對本發(fā)明所公開的實施例的上述說明，使本領域?qū)I(yè)技術人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。