本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種日志數(shù)據(jù)的管理方法和裝置。

背景技術(shù)：

企業(yè)、公司尤其是互聯(lián)網(wǎng)公司，日常業(yè)務(wù)往往會產(chǎn)生大量的日志數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行管理是一項(xiàng)非常浩大而又需要規(guī)范化設(shè)計(jì)的任務(wù)。例如，有些數(shù)據(jù)是無用數(shù)據(jù)需要丟棄，有些數(shù)據(jù)需要按生成時(shí)間進(jìn)行入庫等等。

而由于這些數(shù)據(jù)繁雜不一，格式各異，在統(tǒng)一管理上存在難題；并且日志數(shù)據(jù)還可能涉及業(yè)務(wù)量等商業(yè)秘密信息，如何確保日志數(shù)據(jù)既方便用戶查看，又不泄露秘密是也需要解決的問題。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的日志數(shù)據(jù)的管理方法和裝置。

依據(jù)本發(fā)明的一個(gè)方面，提供了一種日志數(shù)據(jù)的管理方法，包括：

對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理，得到業(yè)務(wù)的格式化的日志數(shù)據(jù)并保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中；

為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限；

提供前端頁面，根據(jù)前端頁面發(fā)送的用戶登錄信息，確定該用戶的用戶分組信息；當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。

可選地，該方法還包括：

配置業(yè)務(wù)和域名的對應(yīng)關(guān)系，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類；

所述對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理包括：根據(jù)該業(yè)務(wù)對應(yīng)的域名，對該域名分類下的日志數(shù)據(jù)進(jìn)行解析處理。

可選地，所述數(shù)據(jù)集市包括至少一個(gè)數(shù)據(jù)表；

所述為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限還包括：為數(shù)據(jù)集市的各數(shù)據(jù)表按用戶分組配置查看權(quán)限，以及為數(shù)據(jù)表的各列按用戶分組配置查看權(quán)限；

所述根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息包括：根據(jù)該用戶的用戶分組信息，向該用戶展示其有查看權(quán)限的數(shù)據(jù)表，和/或向該用戶展示其有查看權(quán)限的數(shù)據(jù)表中的列。

可選地，該方法還包括：

接收并保存用戶通過前端頁面提交的報(bào)表生成任務(wù)；

根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫；其中，生成的報(bào)表的各列的權(quán)限與其對應(yīng)的數(shù)據(jù)集市中的數(shù)據(jù)表中列的權(quán)限相同；根據(jù)報(bào)表的各列的權(quán)限確定該報(bào)表的權(quán)限。

可選地，所述數(shù)據(jù)集市查看指令和/或報(bào)表生成任務(wù)包括：

用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；

該方法還包括：以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。

可選地，該方法還包括：

設(shè)置語句過濾規(guī)則，對用戶輸入的標(biāo)準(zhǔn)查詢語句或生成的標(biāo)準(zhǔn)查詢語句進(jìn)行過濾。

可選地，該方法還包括：

接收用戶通過前端頁面上傳的報(bào)表，和/或根據(jù)用戶通過前端頁面提交的報(bào)表存儲路徑，從該路徑獲取指定的報(bào)表，保存到報(bào)表數(shù)據(jù)庫。

可選地，該方法還包括：

根據(jù)用戶的用戶分組信息，向其展示可編輯權(quán)限的數(shù)據(jù)集市和/或報(bào)表；

接收用戶提交的權(quán)限編輯指令，對所述數(shù)據(jù)集市和/或報(bào)表的權(quán)限進(jìn)行相應(yīng)的編輯。

可選地，該方法還包括：

根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的報(bào)表名稱；

所述報(bào)表生成任務(wù)包括：用戶指定的報(bào)表；

所述根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫包括：使用用戶指定的報(bào)表的配置信息，根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表。

可選地，該方法還包括：

當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，通過前端頁面向該用戶展示該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)。

可選地，該方法還包括：

將報(bào)表數(shù)據(jù)庫中新增報(bào)表的查看次數(shù)初始化為零；當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，將相應(yīng)報(bào)表的查看次數(shù)增加一；

為各報(bào)表設(shè)置清理周期，在到達(dá)清理周期的時(shí)間點(diǎn)時(shí)，根據(jù)判斷該報(bào)表的查看次數(shù)是否低于清理閾值，若低于，則刪除相應(yīng)的報(bào)表生成任務(wù)。

可選地，該方法還包括：

根據(jù)用戶的用戶分組信息，向其展示其有使用權(quán)限的統(tǒng)計(jì)圖模型，以使所述前端頁面根據(jù)用戶選定的統(tǒng)計(jì)圖模型和已展示報(bào)表的數(shù)據(jù)，生成相應(yīng)的統(tǒng)計(jì)圖。

可選地，所述統(tǒng)計(jì)圖模型包括如下中的任一種：

根據(jù)所述前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型；

重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型；

對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

可選地，該方法還包括：

對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，按操作時(shí)間和用戶信息對應(yīng)保存到監(jiān)控?cái)?shù)據(jù)庫中。

可選地，該方法還包括：

按操作類型設(shè)置操作報(bào)警策略和對應(yīng)執(zhí)行的報(bào)警操作；

當(dāng)用戶執(zhí)行的任一項(xiàng)操作的匹配該操作類型的操作報(bào)警策略時(shí)，執(zhí)行對應(yīng)的報(bào)警操作。

依據(jù)本發(fā)明的另一方面，提供了一種日志數(shù)據(jù)的管理裝置，包括：

日志數(shù)據(jù)解析單元，適于對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理，得到業(yè)務(wù)的格式化的日志數(shù)據(jù)并保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中；

權(quán)限控制單元，適于為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限；

展示單元，適于提供前端頁面，根據(jù)前端頁面發(fā)送的用戶登錄信息，確定該用戶的用戶分組信息；當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。

可選地，所述日志數(shù)據(jù)解析單元，適于配置業(yè)務(wù)和域名的對應(yīng)關(guān)系，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類；根據(jù)該業(yè)務(wù)對應(yīng)的域名，對該域名分類下的日志數(shù)據(jù)進(jìn)行解析處理。

可選地，所述數(shù)據(jù)集市包括至少一個(gè)數(shù)據(jù)表；

所述權(quán)限控制單元，適于為數(shù)據(jù)集市的各數(shù)據(jù)表按用戶分組配置查看權(quán)限，以及為數(shù)據(jù)表的各列按用戶分組配置查看權(quán)限；

所述展示單元，適于根據(jù)該用戶的用戶分組信息，向該用戶展示其有查看權(quán)限的數(shù)據(jù)表，和/或向該用戶展示其有查看權(quán)限的數(shù)據(jù)表中的列。

可選地，該裝置還包括：

報(bào)表單元，適于接收并保存用戶通過前端頁面提交的報(bào)表生成任務(wù)，根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫；

所述權(quán)限控制單元，適于根據(jù)報(bào)表的各列的權(quán)限確定該報(bào)表的權(quán)限，其中，生成的報(bào)表的各列的權(quán)限與其對應(yīng)的數(shù)據(jù)集市中的數(shù)據(jù)表中列的權(quán)限相同。

可選地，所述數(shù)據(jù)集市查看指令和/或報(bào)表生成任務(wù)包括：

用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；

該裝置還包括：查詢單元，適于以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。

可選地，所述查詢單元，還適于設(shè)置語句過濾規(guī)則，對用戶輸入的標(biāo)準(zhǔn)查詢語句或生成的標(biāo)準(zhǔn)查詢語句進(jìn)行過濾。

可選地，所述報(bào)表單元，還適于接收用戶通過前端頁面上傳的報(bào)表，和/或根據(jù)用戶通過前端頁面提交的報(bào)表存儲路徑，從該路徑獲取指定的報(bào)表，保存到報(bào)表數(shù)據(jù)庫。

可選地，所述展示單元，還適于根據(jù)用戶的用戶分組信息，向其展示可編輯權(quán)限的數(shù)據(jù)集市和/或報(bào)表；

所述權(quán)限控制單元，還適于接收用戶提交的權(quán)限編輯指令，對所述數(shù)據(jù)集市和/或報(bào)表的權(quán)限進(jìn)行相應(yīng)的編輯。

可選地，所述展示單元，還適于根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的報(bào)表名稱；

所述報(bào)表生成任務(wù)包括：用戶指定的報(bào)表；

所述報(bào)表單元，適于使用用戶指定的報(bào)表的配置信息，根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表。

可選地，所述展示單元，還適于當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，通過前端頁面向該用戶展示該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)。

可選地，該裝置還包括：

報(bào)表查看記錄單元，適于將報(bào)表數(shù)據(jù)庫中新增報(bào)表的查看次數(shù)初始化為零；當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，將相應(yīng)報(bào)表的查看次數(shù)增加一；

任務(wù)清理單元，適于為各報(bào)表設(shè)置清理周期，在到達(dá)清理周期的時(shí)間點(diǎn)時(shí)，根據(jù)判斷該報(bào)表的查看次數(shù)是否低于清理閾值，若低于，則刪除相應(yīng)的報(bào)表生成任務(wù)。

可選地，所述展示單元，還適于根據(jù)用戶的用戶分組信息，向其展示其有使用權(quán)限的統(tǒng)計(jì)圖模型，以使所述前端頁面根據(jù)用戶選定的統(tǒng)計(jì)圖模型和已展示報(bào)表的數(shù)據(jù)，生成相應(yīng)的統(tǒng)計(jì)圖。

可選地，所述統(tǒng)計(jì)圖模型包括如下中的任一種：

根據(jù)所述前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型；

重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型；

對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

可選地，該裝置還包括：

監(jiān)控單元，適于對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，按操作時(shí)間和用戶信息對應(yīng)保存到監(jiān)控?cái)?shù)據(jù)庫中。

可選地，該裝置還包括：報(bào)警單元，適于按操作類型設(shè)置操作報(bào)警策略和對應(yīng)執(zhí)行的報(bào)警操作；當(dāng)用戶執(zhí)行的任一項(xiàng)操作的匹配該操作類型的操作報(bào)警策略時(shí)，執(zhí)行對應(yīng)的報(bào)警操作。

由上述可知，本發(fā)明的技術(shù)方案，將業(yè)務(wù)的日志數(shù)據(jù)解析處理成格式化的日志數(shù)據(jù)后保存到數(shù)據(jù)倉庫相應(yīng)的數(shù)據(jù)集市中，為各個(gè)數(shù)據(jù)集市按用戶分組配置權(quán)限，當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的登錄信息確定的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。該技術(shù)方案實(shí)現(xiàn)了對業(yè)務(wù)的日志數(shù)據(jù)的統(tǒng)一管理入庫以及權(quán)限分配，規(guī)范、有秩序地實(shí)現(xiàn)了對日志數(shù)據(jù)的管控，特別適合業(yè)務(wù)線多、日志數(shù)據(jù)量大、組織結(jié)構(gòu)復(fù)雜的企業(yè)。

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說明

通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1示出了日志數(shù)據(jù)平臺的工作流程示意圖；

圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種日志數(shù)據(jù)的管理方法的流程示意圖；

圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種日志數(shù)據(jù)的管理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

本發(fā)明的技術(shù)方案可以應(yīng)用于日志數(shù)據(jù)平臺，圖1示出了日志數(shù)據(jù)平臺的工作流程示意圖。如圖1所示，該日志數(shù)據(jù)平臺將日志數(shù)據(jù)通過ETL(Extract-Transform-Load，抽取-轉(zhuǎn)換-加載)處理，將結(jié)果數(shù)據(jù)保存到數(shù)據(jù)倉庫，同時(shí)支持對日志數(shù)據(jù)的統(tǒng)計(jì)計(jì)算，生成報(bào)表保存到報(bào)表數(shù)據(jù)庫；以及提供前端頁面，便于用戶的訪問，了解任務(wù)的運(yùn)行狀況以及將報(bào)表數(shù)據(jù)進(jìn)行可視化展示等。整個(gè)平臺還提供權(quán)限管理功能和任務(wù)調(diào)度功能，對日志數(shù)據(jù)的處理、統(tǒng)計(jì)和展示進(jìn)行調(diào)控。本發(fā)明將著重介紹其中的權(quán)限管理及可視化展示方面的內(nèi)容。

圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種日志數(shù)據(jù)的管理方法的流程示意圖，如圖2所示，該方法包括：

步驟S210，對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理，得到業(yè)務(wù)的格式化的日志數(shù)據(jù)并保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中。

數(shù)據(jù)倉庫(Data Warehouse)特別適合將分散的數(shù)據(jù)進(jìn)行規(guī)范化存儲，并且數(shù)據(jù)倉庫中可以根據(jù)業(yè)務(wù)的具體內(nèi)容，設(shè)置相應(yīng)的事實(shí)表和維度表，通常情況下，日志數(shù)據(jù)會被保存到相應(yīng)的事實(shí)表中。當(dāng)業(yè)務(wù)較多時(shí)，數(shù)據(jù)倉庫中會設(shè)置多個(gè)數(shù)據(jù)集市(Data Mart)，每個(gè)數(shù)據(jù)集市可以對應(yīng)一類業(yè)務(wù)。

步驟S220，為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限。

例如，產(chǎn)品A的部門成員只擁有對產(chǎn)品A的數(shù)據(jù)集市的查看權(quán)限，而不會擁有對產(chǎn)品B的數(shù)據(jù)集市的查看權(quán)限。

步驟S230，提供前端頁面，根據(jù)前端頁面發(fā)送的用戶登錄信息，確定該用戶的用戶分組信息。

步驟S240，當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。

在本步驟中，如果用戶A通過前端頁面提交數(shù)據(jù)集市查看指令，可以查看到其擁有查看權(quán)限的數(shù)據(jù)集市信息，如數(shù)據(jù)集市名稱。

可見，圖2所示的方法，將業(yè)務(wù)的日志數(shù)據(jù)解析處理成格式化的日志數(shù)據(jù)后保存到數(shù)據(jù)倉庫相應(yīng)的數(shù)據(jù)集市中，為各個(gè)數(shù)據(jù)集市按用戶分組配置權(quán)限，當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的登錄信息確定的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。該技術(shù)方案實(shí)現(xiàn)了對業(yè)務(wù)的日志數(shù)據(jù)的統(tǒng)一管理入庫以及權(quán)限分配，規(guī)范、有秩序地實(shí)現(xiàn)了對日志數(shù)據(jù)的管控，特別適合業(yè)務(wù)線多、日志數(shù)據(jù)量大、組織結(jié)構(gòu)復(fù)雜的企業(yè)。

下述實(shí)施例將在權(quán)限管理的基礎(chǔ)上，介紹日志數(shù)據(jù)的ETL處理。

在本發(fā)明的一個(gè)實(shí)施例中，圖2所示的方法還包括：配置業(yè)務(wù)和域名的對應(yīng)關(guān)系，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類；對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理包括：根據(jù)該業(yè)務(wù)對應(yīng)的域名，對該域名分類下的日志數(shù)據(jù)進(jìn)行解析處理。

在實(shí)際應(yīng)用中，以互聯(lián)網(wǎng)公司為例，其往往會為經(jīng)營的各業(yè)務(wù)分配不同的域名開進(jìn)行業(yè)務(wù)的開展，因此產(chǎn)生的日志數(shù)據(jù)也都來自于不同的域名，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類可以快捷準(zhǔn)確地實(shí)現(xiàn)將日志數(shù)據(jù)進(jìn)行分類。由于分布式集群的廣泛應(yīng)用，各業(yè)務(wù)往往會在不同的分布式集群上進(jìn)行開展，例如，同一業(yè)務(wù)的功能模塊可能在全國的若干個(gè)不同集群上部署，同樣地，同一集群上可能運(yùn)行有多個(gè)業(yè)務(wù)線的任務(wù)，那么日志數(shù)據(jù)按來源等方式進(jìn)行分類遠(yuǎn)遠(yuǎn)不如按域名分類快速簡便。在本例中各域名下還可以有多個(gè)子域名，對應(yīng)業(yè)務(wù)中的子業(yè)務(wù)，這樣域名與業(yè)務(wù)的對應(yīng)關(guān)系比較繁多，可以將其保存為元數(shù)據(jù)，作為數(shù)據(jù)字典來進(jìn)行管理和使用。當(dāng)然，也可以為元數(shù)據(jù)的查看、修改等按用戶分組分配不同的權(quán)限，例如管理員可以擁有修改權(quán)限，普通用戶僅擁有查看部分內(nèi)容的權(quán)限等。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：對輸入的一條樣例日志進(jìn)行解析處理，輸出格式化的解析結(jié)果；接收用戶的解析結(jié)果確認(rèn)指令后，記錄解析樣例日志所采用的日志解析規(guī)則；對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理包括：根據(jù)所記錄的日志解析規(guī)則，對用戶指定的業(yè)務(wù)的源日志數(shù)據(jù)進(jìn)行解析處理。

例如對于樣例日志：<id＝123><sex＝male><age＝18>，可以得到日志解析規(guī)則為：用戶ID是以“id＝”開始的一串?dāng)?shù)字；性別是以“sex＝”開始的一串字符；年齡是以“age＝”開始的數(shù)字。那么應(yīng)用該日志解析規(guī)則，就可以對<id＝1233><sex＝male><age＝8>、<id＝12332><sex＝male><age＝28>這樣的源日志數(shù)據(jù)進(jìn)行解析了。

具體地，可以預(yù)設(shè)多個(gè)日志內(nèi)容識別引擎，用于分別識別不同格式的日志內(nèi)容并解析成一個(gè)或多個(gè)字段；將樣例日志依次輸入到多個(gè)日志內(nèi)容識別引擎中；將各日志內(nèi)容識別引擎的輸出各字段進(jìn)行匯總得到格式化的解析結(jié)果。

由于各業(yè)務(wù)所使用的系統(tǒng)或服務(wù)器可能不同，產(chǎn)生的日志數(shù)據(jù)的格式也是多種多樣的。下面給出了幾種日志的示例：

1、http://mbs.hao.#/index.php？id＝1353332&sex＝male&age＝28&....

2、{"id":"13532232332","sex":"male","age":"28"}

3、<id＝13532232332><sex＝male><age＝28>

4、id->13532232332；sex->male；age->28

可見這四種日志的格式是完全不同的。在上述實(shí)施例中可以利用預(yù)設(shè)的多個(gè)日志識別引擎來識別不同格式的日志內(nèi)容。例如，JSON是一種較為常用的數(shù)據(jù)格式，其內(nèi)容包含的結(jié)構(gòu)通常是特定的，例如以大括號、冒號，引號等符號將日志內(nèi)容分隔為多個(gè)字段(如上面的示例2)，而針對JSON格式的日志識別引擎就可以將日志內(nèi)容按這些分隔符進(jìn)行解析處理，得到一個(gè)或多個(gè)字段的一條或多條數(shù)據(jù)。具體地，日志內(nèi)容識別引擎可以包括如下中的一種或多種：IP地址識別引擎；時(shí)間戳識別引擎；用戶ID識別引擎；渠道識別引擎；JSON格式內(nèi)容識別引擎。IP地址的格式是可以預(yù)估的(例如：xxx.xxx.xxx.xxx)，用戶ID往往將NAME、USER_ID或ID等作為key值，渠道會由開發(fā)人員設(shè)置相應(yīng)的key值(例如channel)，時(shí)間戳的格式通常為“YYYY-MM-DD HH:mm:SS”。特別地，IP地址識別引擎還可以在識別出IP地址后，進(jìn)一步解析IP地址，IP地址解析結(jié)果包括如下一個(gè)或多個(gè)字段：國家、省、市、運(yùn)營商。當(dāng)然，也可以根據(jù)需求，將其拓展到更詳細(xì)的地址，IP地址解析結(jié)果還可以包括區(qū)、街道等拓展字段，但這些在通常情況下對于后續(xù)的處理用處較低，會浪費(fèi)一定的資源，可以根據(jù)需求進(jìn)行設(shè)置。

可以看出，日志識別引擎也是可配置的，例如不同業(yè)務(wù)對渠道所使用的key可能是不同的。因此在本發(fā)明的一個(gè)實(shí)施例中，提供日志內(nèi)容識別引擎編輯接口，通過該接口接收增加/刪除/修改日志內(nèi)容識別引擎的指令，根據(jù)指令執(zhí)行相應(yīng)的日志內(nèi)容識別模塊增加/刪除/修改操作。

在實(shí)際中日志的格式非常繁多。幸而這些日志格式大多都包含規(guī)范、可識別的結(jié)構(gòu)，可以被不同的日志識別引擎所識別。但是對一個(gè)業(yè)務(wù)產(chǎn)生的日志數(shù)據(jù)而言，通常并不會用到所有的日志識別引擎，而業(yè)務(wù)產(chǎn)生的日志數(shù)據(jù)數(shù)量繁多，如果每次都調(diào)用所有的日志識別引擎來進(jìn)行識別，不僅浪費(fèi)資源，效率還很底下。因此在本發(fā)明的一個(gè)實(shí)施例中，上述方法中，僅將有輸出結(jié)果的各日志內(nèi)容識別引擎的識別解析規(guī)則匯總記錄。這樣下次在對該業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理時(shí)，就沒有必要浪費(fèi)實(shí)際不會使用到日志內(nèi)容識別引擎了。

然而，并不是所有日志數(shù)據(jù)都是以這樣規(guī)范的格式生成的，預(yù)設(shè)的日志識別引擎可以處理大部分的日志數(shù)據(jù)，但也會存在解析結(jié)果不符合日志原意的情況。因此在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)樣例日志中存在各日志內(nèi)容識別引擎均無法識別的內(nèi)容時(shí)，通過自定義識別接口輸出該內(nèi)容；通過自定義識別接口接收人工識別后輸入的識別結(jié)果和相應(yīng)的識別解析規(guī)則；將該人工識別后輸入的識別解析規(guī)則記錄為解析樣例日志所采用的日志解析規(guī)則的一部分。例如，常用的分隔符包括冒號、分號、大小括號等，如果一類業(yè)務(wù)的日志數(shù)據(jù)中包含了不常用的分隔符，就需要用戶在自定義識別接口中進(jìn)行識別結(jié)果和相應(yīng)的識別解析規(guī)則輸入。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：通過前端頁面接收輸入的對解析結(jié)果中的各字段進(jìn)行操作的指令，并執(zhí)行相應(yīng)的操作；對解析結(jié)果中的各字段進(jìn)行操作的指令包括如下中的一種或多種：調(diào)整各字段的排序順序的指令；修改指定字段的名稱的指令；刪除指定字段的指令。

例如，解析結(jié)果中的一個(gè)字段的數(shù)據(jù)對后續(xù)統(tǒng)計(jì)計(jì)算沒有任何幫助，可以刪除該字段；解析結(jié)果中的字段名稱為“USERNAME”，后續(xù)處理時(shí)希望將其改為“用戶名”等等，這些都可以在解析結(jié)果編輯界面進(jìn)行操作。

上一實(shí)施例中可以對整個(gè)字段進(jìn)行操作，而在本發(fā)明的一個(gè)實(shí)施例中，上述方法中，一個(gè)日志內(nèi)容識別引擎的識別解析規(guī)則包括：對識別并解析出的一個(gè)或多個(gè)字段中的指定字段的參數(shù)值設(shè)置限定閾值；對于參數(shù)值超出限定閾值的日志數(shù)據(jù)進(jìn)行丟棄處理。這樣可以在日志解析時(shí)就丟棄掉部分不需要的數(shù)據(jù)，減少了后期進(jìn)行日志數(shù)據(jù)丟棄的操作。

上述實(shí)施例中介紹了對日志數(shù)據(jù)進(jìn)行解析處理的操作，而解析得到的業(yè)務(wù)的格式化的日志數(shù)據(jù)被保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中，具體地，需要根據(jù)字段屬性確定該字段對應(yīng)的數(shù)據(jù)倉庫中的列；將待存儲數(shù)據(jù)按字段存儲到數(shù)據(jù)倉庫中相應(yīng)的列中。

前文述及，數(shù)據(jù)倉庫中可以包括事實(shí)表和維度表，這些數(shù)據(jù)表通常是預(yù)先建好的，用于存儲接收到的數(shù)據(jù)。因此，接收到的數(shù)據(jù)會被按屬性確定其對應(yīng)的是數(shù)據(jù)表中的哪個(gè)列。而各個(gè)表包含的列通常是不同的，因此在本實(shí)施例中只需要確定其對應(yīng)的是數(shù)據(jù)倉庫中的哪個(gè)列即可。

具體地，根據(jù)字段屬性確定該字段對應(yīng)的數(shù)據(jù)倉庫中的列包括：讀取數(shù)據(jù)倉庫的元數(shù)據(jù)，得到數(shù)據(jù)倉庫中各列的屬性；根據(jù)字段屬性和數(shù)據(jù)倉庫中各列的屬性，建立待存儲數(shù)據(jù)中各字段的數(shù)據(jù)和各列的映射關(guān)系。元數(shù)據(jù)包括：數(shù)據(jù)倉庫各列的業(yè)務(wù)屬性和/或數(shù)據(jù)屬性，其中，業(yè)務(wù)屬性包括如下中的至少一種：業(yè)務(wù)名稱、業(yè)務(wù)域名、業(yè)務(wù)描述信息；數(shù)據(jù)屬性包括如下中的至少一種：列名、數(shù)據(jù)格式、數(shù)據(jù)類型。例如，“用戶名”這個(gè)字段對應(yīng)的是哪個(gè)列，諸如此類的對應(yīng)關(guān)系可以保存在數(shù)據(jù)倉庫的元數(shù)據(jù)中。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：通過前端頁面接收輸入的對指定列的數(shù)據(jù)進(jìn)行處理的指令，指令包括如下中的至少一種：數(shù)據(jù)解密，數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)編碼轉(zhuǎn)換；根據(jù)接收到的指令，對指定列的數(shù)據(jù)進(jìn)行相應(yīng)的處理。

例如，對該列的數(shù)據(jù)進(jìn)行反序列化處理，使其變得可讀；日志中的時(shí)間為冒號格式的數(shù)據(jù)，將其轉(zhuǎn)換為時(shí)間戳，等等。

前述實(shí)施例中可以在日志識別引擎中對數(shù)據(jù)進(jìn)行篩除，在本發(fā)明的一個(gè)實(shí)施例中還提供了對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行篩除的方法：通過前端頁面接收輸入的對指定列的列值設(shè)置限定閾值的指令；根據(jù)該指令，將列值超出限定閾值的整條數(shù)據(jù)進(jìn)行刪除處理。例如，將訪問次數(shù)低于3的整條數(shù)據(jù)進(jìn)行刪除。

相類似地，還可以通過前端界面接收輸入的他對數(shù)據(jù)倉庫中的各列進(jìn)行操作的指令，并執(zhí)行相應(yīng)的操作；對數(shù)據(jù)倉庫中的各列進(jìn)行操作的指令包括如下中的一種或多種：調(diào)整各列的排序順序的指令；修改指定列的列名的指令；刪除指定列的指令。

需要注意的是，在該實(shí)施例中直接對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行調(diào)整，而在前述實(shí)施例中雖然也可以調(diào)整各字段的排序順序、修改指定字段的名稱或刪除指定字段，但這些數(shù)據(jù)還未存入數(shù)據(jù)倉庫，處于數(shù)據(jù)緩存中。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法中，數(shù)據(jù)集市包括至少一個(gè)數(shù)據(jù)表；為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限還包括：為數(shù)據(jù)集市的各數(shù)據(jù)表按用戶分組配置查看權(quán)限，以及為數(shù)據(jù)表的各列按用戶分組配置查看權(quán)限；根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息包括：根據(jù)該用戶的用戶分組信息，向該用戶展示其有查看權(quán)限的數(shù)據(jù)表，和/或向該用戶展示其有查看權(quán)限的數(shù)據(jù)表中的列。例如，運(yùn)營人員可以查看業(yè)務(wù)流水的數(shù)據(jù)表，而技術(shù)人員不能查看。

下述實(shí)施例將介紹包含報(bào)表生成，即對格式化的日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)計(jì)算的具體實(shí)現(xiàn)。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：接收并保存用戶通過前端頁面提交的報(bào)表生成任務(wù)；根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫；其中，生成的報(bào)表的各列的權(quán)限與其對應(yīng)的數(shù)據(jù)集市中的數(shù)據(jù)表中列的權(quán)限相同；根據(jù)報(bào)表的各列的權(quán)限確定該報(bào)表的權(quán)限。

在本實(shí)施例中可以根據(jù)數(shù)據(jù)倉庫中的日志數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)計(jì)算，生成統(tǒng)計(jì)報(bào)表等。由于是根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)生成的報(bào)表，其權(quán)限也跟隨了原數(shù)據(jù)的權(quán)限。最后，如果一個(gè)報(bào)表包含四列，那么只有對這四列中任一列有權(quán)限的用戶分組的用戶才能查看該報(bào)表，并且其只能查看到其有查看權(quán)限的那一列。例如，用戶A所在的用戶分組可以查看報(bào)表的前三列，那么他看到的報(bào)表就只有三列而不是四列。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法中，根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫包括：根據(jù)報(bào)表生成任務(wù)，確定完成報(bào)表生成任務(wù)的數(shù)據(jù)處理模型，以及從相應(yīng)的數(shù)據(jù)集市中讀取指定日志數(shù)據(jù)；利用確定的數(shù)據(jù)處理模型對待日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫。

現(xiàn)有的報(bào)表開發(fā)往往需要技術(shù)人員手動編寫代碼，對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)計(jì)算，費(fèi)時(shí)費(fèi)力，而且在需求的報(bào)表數(shù)量較多時(shí)，不能快速滿足用戶的需求。本實(shí)施例提供了一種報(bào)表的自動生成方法，用戶只需要指定生成報(bào)表所需的日志數(shù)據(jù)，選擇指定的數(shù)據(jù)處理模型，就可以得到相應(yīng)的報(bào)表，簡單省時(shí)。其中，報(bào)表生成任務(wù)包括：輸入地址；根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫包括：從輸入地址讀取日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫。當(dāng)然，報(bào)表數(shù)據(jù)庫也可以由輸出地址來指定。

除了指定輸入地址，還可以由用戶在報(bào)表生成任務(wù)中限定更多條件，例如使用數(shù)據(jù)集市中某個(gè)數(shù)據(jù)表的部分?jǐn)?shù)據(jù)。因此在本發(fā)明的一個(gè)實(shí)施例中，報(bào)表生成任務(wù)包括：用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；該方法還包括：以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到用戶指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。例如對于企業(yè)數(shù)據(jù)中心的技術(shù)人員而言，編寫標(biāo)準(zhǔn)查詢語句得心應(yīng)手，但對于普通的業(yè)務(wù)人員可能并不會編寫這樣的查詢語句。因此在本實(shí)施例中提供了將用戶輸入的查詢條件進(jìn)行拼裝的功能。為了方便識別用戶輸入的內(nèi)容，用戶在查詢時(shí)除了指定相應(yīng)的數(shù)據(jù)集市外，還可以指定用于識別輸入內(nèi)容的字符庫，避免輸入的內(nèi)容不被正確識別。

由于數(shù)據(jù)集市中的數(shù)據(jù)量十分龐大，如果用戶不在查詢條件中設(shè)置相應(yīng)的限制，例如時(shí)間條件，所請求的數(shù)據(jù)量可能會引起數(shù)據(jù)集市的崩潰。因此在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：設(shè)置語句過濾規(guī)則，對用戶輸入的標(biāo)準(zhǔn)查詢語句或生成的標(biāo)準(zhǔn)查詢語句進(jìn)行過濾。上述查詢的方法不僅可以用于具體日志數(shù)據(jù)的查詢，也可以用于數(shù)據(jù)集市信息的查詢。

生成報(bào)表所需的數(shù)據(jù)處理模型可以是用戶指定的，也可以用戶從提供的數(shù)據(jù)處理模型中選擇的，在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)報(bào)表生成任務(wù)，確定完成報(bào)表生成任務(wù)的數(shù)據(jù)處理模型包括：從數(shù)據(jù)處理模型庫中選擇指定的數(shù)據(jù)處理模型，其中，數(shù)據(jù)處理模型庫中包含如下的至少一種數(shù)據(jù)處理模型：新增統(tǒng)計(jì)模型；活躍統(tǒng)計(jì)模型；留存統(tǒng)計(jì)模型。這些模型可以從日志中分別統(tǒng)計(jì)出某一日的日志中，在歷史上未出現(xiàn)過的用戶(新增用戶)數(shù)量、指定時(shí)間段內(nèi)活躍用戶的數(shù)量、某一日新增用戶的留存情況。當(dāng)然，具體的數(shù)據(jù)模型可以根據(jù)業(yè)務(wù)需求進(jìn)行添加或配置，在此不做限制。用戶在使用這些數(shù)據(jù)處理模型時(shí)，一般不再需要編寫代碼，只需要提供參數(shù)信息即可使用，例如使用哪些列進(jìn)行統(tǒng)計(jì)計(jì)算等。也就是說，報(bào)表生成任務(wù)還包括：指定的數(shù)據(jù)處理模型的參數(shù)信息；利用確定的數(shù)據(jù)處理模型對日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理包括：應(yīng)用參數(shù)信息對指定的數(shù)據(jù)處理模型進(jìn)行配置后，利用配置后的數(shù)據(jù)處理模型對日志進(jìn)行數(shù)據(jù)處理。

當(dāng)然，這種“傻瓜式”的模型不能夠滿足用戶的所有需求。因此在本發(fā)明的一個(gè)實(shí)施例中，上述方法中指定的數(shù)據(jù)處理模型為streaming模型；報(bào)表生成任務(wù)還包括：至少一段自定義的代碼片段；參數(shù)信息包括：每段代碼片段與streaming模型中一塊邏輯分塊的對應(yīng)關(guān)系。

例如，用戶希望利用Map-Reduce框架執(zhí)行對日志數(shù)據(jù)的統(tǒng)計(jì)計(jì)算。那么在本實(shí)施例中，用戶只需要分別開發(fā)Map程序代碼段和Reduce程序代碼段(也就是執(zhí)行計(jì)算的核心邏輯)，而不需再編寫完整代碼。在提交報(bào)表任務(wù)時(shí)，只需要將Map程序代碼段和Reduce程序代碼段分別填入前端頁面中與Map段和Reduce段相應(yīng)的代碼輸入框，就可以在后臺實(shí)現(xiàn)整體代碼的拼裝，這樣程序易于管理和修改，也減少了代碼編寫錯(cuò)誤的可能。

在上述模型都不能滿足用戶需求的情況下，用戶也可以選擇自定義的模型，因此上述方法中，報(bào)表生成任務(wù)包括：自定義的數(shù)據(jù)處理模型的地址；確定完成報(bào)表生成任務(wù)的數(shù)據(jù)處理模型包括：從該地址讀取自定義的數(shù)據(jù)處理模型?；蛘?，在代碼量較小的情況下也可以通過前端頁面之間上傳。自定義的數(shù)據(jù)處理模型也可以保存到數(shù)據(jù)處理模型庫中，上傳者也可以為其分配權(quán)限。

除了上面根據(jù)數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表的方法，用戶也可以將其他方式開發(fā)的報(bào)表上傳到報(bào)表數(shù)據(jù)庫，進(jìn)行統(tǒng)一的權(quán)限控制和管理。因此在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：接收用戶通過前端頁面上傳的報(bào)表，和/或根據(jù)用戶通過前端頁面提交的報(bào)表存儲路徑，從該路徑獲取指定的報(bào)表，保存到報(bào)表數(shù)據(jù)庫。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：根據(jù)用戶的用戶分組信息，向其展示可編輯權(quán)限的數(shù)據(jù)集市和/或報(bào)表；接收用戶提交的權(quán)限編輯指令，對數(shù)據(jù)集市和/或報(bào)表的權(quán)限進(jìn)行相應(yīng)的編輯。

在本實(shí)施例中提供了權(quán)限的管理控制方法，擁有較高權(quán)限的管理者(例如數(shù)據(jù)中心的管理員)可以對其擁有編輯權(quán)限的數(shù)據(jù)的權(quán)限進(jìn)行編輯。例如，業(yè)務(wù)負(fù)責(zé)人可以控制其每個(gè)小組的成員只可以看到該小組相關(guān)的報(bào)表。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的報(bào)表名稱；報(bào)表生成任務(wù)包括：用戶指定的報(bào)表；根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫包括：使用用戶指定的報(bào)表的配置信息，根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表。

在本實(shí)施例中提供了根據(jù)已有報(bào)表生成新報(bào)表的方法，可以稱為“報(bào)表克隆”，即利用一個(gè)已開發(fā)完成的報(bào)表的配置信息，生成新的報(bào)表，這樣新報(bào)表的形式等都與已開發(fā)的原報(bào)表相類似。

下述實(shí)施例還將介紹將報(bào)表數(shù)據(jù)進(jìn)行可視化展示的具體實(shí)現(xiàn)。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，通過前端頁面向該用戶展示該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)。

由于報(bào)表中的數(shù)據(jù)量通常是很大的(可能包含業(yè)務(wù)開展以來的所有數(shù)據(jù)，例如幾年的數(shù)據(jù))，在前述實(shí)施例中只展示列名而不展示列中的具體數(shù)據(jù)。而在用戶輸入查看指令后，再將具體的數(shù)據(jù)(包含限制條件，例如，時(shí)間條件)進(jìn)行展示。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：將報(bào)表數(shù)據(jù)庫中新增報(bào)表的查看次數(shù)初始化為零；當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，將相應(yīng)報(bào)表的查看次數(shù)增加一；為各報(bào)表設(shè)置清理周期，在到達(dá)清理周期的時(shí)間點(diǎn)時(shí)，根據(jù)判斷該報(bào)表的查看次數(shù)是否低于清理閾值，若低于，則刪除相應(yīng)的報(bào)表生成任務(wù)。

在報(bào)表生成任務(wù)設(shè)立后，由于日志數(shù)據(jù)在不斷生成，因此報(bào)表數(shù)據(jù)也在不斷的更新，這無疑耗費(fèi)了大量的資源，因此對于查看量較少甚至為0的報(bào)表，將相應(yīng)的報(bào)表生成任務(wù)進(jìn)行刪除可以節(jié)約資源。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：根據(jù)用戶的用戶分組信息，向其展示其有使用權(quán)限的統(tǒng)計(jì)圖模型，以使前端頁面根據(jù)用戶選定的統(tǒng)計(jì)圖模型和已展示報(bào)表的數(shù)據(jù)，生成相應(yīng)的統(tǒng)計(jì)圖。

報(bào)表通常是表格的方式，這并不利于觀看，而統(tǒng)計(jì)圖的方式就更為直觀，例如餅狀圖、柱狀圖等。因此在本實(shí)施例中提供了根據(jù)報(bào)表數(shù)據(jù)生成統(tǒng)計(jì)圖的方法。而具體地，統(tǒng)計(jì)圖模型包括如下中的任一種：根據(jù)前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型；重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型；對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

上述模型中，根據(jù)前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型不需要與服務(wù)器進(jìn)行交互，這樣用戶即使在前端頁面上對數(shù)據(jù)進(jìn)行排序、分類等等操作，都不會再浪費(fèi)時(shí)間和資源對報(bào)表數(shù)據(jù)庫進(jìn)行訪問；而對于數(shù)據(jù)實(shí)時(shí)性較為敏感的報(bào)表，就可以使用重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型。另外，由于許多情況下用戶希望對報(bào)表進(jìn)行修改，例如修改列名，而訪問報(bào)表數(shù)據(jù)庫是十分復(fù)雜的，因此還提供了對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

下述實(shí)施例將以報(bào)表生成任務(wù)為例介紹任務(wù)的調(diào)度。當(dāng)然，將日志數(shù)據(jù)進(jìn)行ETL處理也是任務(wù)之一，其流程與下述實(shí)施例所介紹的方法相類似。

由于報(bào)表生成任務(wù)會耗費(fèi)資源，因此對任務(wù)進(jìn)行合理的調(diào)度是十分必要的。在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：根據(jù)報(bào)表生成任務(wù)生成并保存相應(yīng)的任務(wù)配置文件；根據(jù)已保存的多個(gè)任務(wù)配置文件，生成并保存包含任務(wù)間依賴關(guān)系的任務(wù)拓?fù)鋱D；根據(jù)生成的任務(wù)拓?fù)鋱D完成任務(wù)調(diào)度。

任務(wù)拓?fù)鋱D示出了任務(wù)間的依賴關(guān)系，例如任務(wù)A只有在任務(wù)B運(yùn)行完成后才能運(yùn)行。那么具體地，根據(jù)生成的任務(wù)拓?fù)鋱D完成任務(wù)調(diào)度包括：當(dāng)任務(wù)拓?fù)鋱D中的任一個(gè)任務(wù)滿足該任務(wù)的除任務(wù)間依賴關(guān)系外的其他運(yùn)行條件時(shí)，根據(jù)任務(wù)拓?fù)鋱D判斷該任務(wù)是否依賴于其他任務(wù)運(yùn)行；如果不依賴其他任務(wù)運(yùn)行，讀取該任務(wù)的任務(wù)配置文件，直接運(yùn)行該任務(wù)；如果依賴其他任務(wù)運(yùn)行，則在其依賴的其他任務(wù)全部運(yùn)行結(jié)束后，再讀取該任務(wù)的任務(wù)配置文件，運(yùn)行該任務(wù)。

現(xiàn)有的報(bào)表生成任務(wù)的調(diào)度往往是預(yù)估其依賴的任務(wù)的運(yùn)行時(shí)間，例如任務(wù)B可能在下午兩點(diǎn)運(yùn)行完畢，那么任務(wù)A的運(yùn)行時(shí)間可能被設(shè)置為下午兩點(diǎn)十分。但是考慮到任務(wù)的運(yùn)行與運(yùn)行任務(wù)的集群的空閑度有關(guān)，當(dāng)集群較忙時(shí)，可能任務(wù)B會在下午兩點(diǎn)半才運(yùn)行完畢，這樣在下午兩點(diǎn)十分運(yùn)行的任務(wù)A就會運(yùn)行異常；而當(dāng)集群較閑時(shí)，可能任務(wù)B在下午一點(diǎn)半就已運(yùn)行完畢，而直到下午兩點(diǎn)十分任務(wù)A才會運(yùn)行，這四十分鐘的時(shí)間集群的資源就被浪費(fèi)了。而在本實(shí)施例中，當(dāng)任務(wù)運(yùn)行的其他條件滿足后，在其依賴的任務(wù)運(yùn)行完畢后該任務(wù)就可以運(yùn)行。

具體地，報(bào)表生成任務(wù)還包括如下中的任一種：任務(wù)的基本參數(shù)；任務(wù)運(yùn)行的時(shí)間條件；任務(wù)運(yùn)行的集群；任務(wù)運(yùn)行的物理資源條件；任務(wù)運(yùn)行的數(shù)據(jù)資源條件；任務(wù)與其他任務(wù)的依賴關(guān)系。

例如，指定任務(wù)在哪個(gè)集群上運(yùn)行，要求集群上的機(jī)器滿足什么配置；周期性任務(wù)可以設(shè)置為每日的固定時(shí)間段內(nèi)執(zhí)行，而臨時(shí)任務(wù)也可以增加限制性條件，如僅在指定的一周內(nèi)的每日的固定時(shí)間段內(nèi)執(zhí)行。將任務(wù)提交到集群時(shí)，可以根據(jù)負(fù)載均衡原則，從任務(wù)運(yùn)行的集群中選擇至少一臺機(jī)器運(yùn)行該任務(wù)。

如果報(bào)表生成任務(wù)中包含任務(wù)與其他任務(wù)的依賴關(guān)系，則可以直接根據(jù)任務(wù)與其他任務(wù)的依賴關(guān)系生成任務(wù)拓?fù)鋱D；也可以根據(jù)任務(wù)運(yùn)行的數(shù)據(jù)資源條件生成任務(wù)拓?fù)鋱D，其中，任務(wù)運(yùn)行的數(shù)據(jù)資源條件包括：任務(wù)運(yùn)行所需數(shù)據(jù)的輸入地址，和/或任務(wù)運(yùn)行結(jié)果的輸出地址。

舉例而言，任務(wù)A所需的數(shù)據(jù)是任務(wù)B得到的結(jié)果，那么任務(wù)B的輸出地址與任務(wù)A的輸入地址就是匹配的，這樣就得到了任務(wù)A依賴于任務(wù)B。

用戶可以通過前端頁面查看到有查看權(quán)限的任務(wù)拓?fù)鋱D，并對其進(jìn)行修改。因此在本發(fā)明的一個(gè)實(shí)施例中，該方法還包括：響應(yīng)于前端頁面發(fā)送的展示指令，將多個(gè)任務(wù)和/或包含多個(gè)任務(wù)間依賴關(guān)系的任務(wù)拓?fù)鋱D返回給前端頁面進(jìn)行展示。用戶還可以根據(jù)有查看權(quán)限的多個(gè)任務(wù)，生成新的任務(wù)拓?fù)鋱D。例如，將任務(wù)A和任務(wù)B添加到新的任務(wù)拓?fù)鋱D中，并制定任務(wù)A依賴于任務(wù)B?；蛘撸瑢σ延械娜蝿?wù)拓?fù)鋱D中的依賴關(guān)系進(jìn)行修改。即：接收前端頁面發(fā)送的任務(wù)間依賴關(guān)系的新增/修改/刪除指令，相應(yīng)地生成或修改任務(wù)拓?fù)鋱D。前端頁面可以可視化地呈現(xiàn)任務(wù)拓?fù)鋱D，例如，用戶在修改拓?fù)鋱D時(shí)，只需要將任務(wù)作為節(jié)點(diǎn)拖入或拖出圖，在兩任務(wù)間以箭頭標(biāo)識依賴關(guān)系。

在本發(fā)明的一個(gè)實(shí)施例，還可以通過對報(bào)表生成任務(wù)進(jìn)行修改，來使得相應(yīng)的任務(wù)拓?fù)鋱D發(fā)送更改。即接收報(bào)表生成任務(wù)修改指令，對相應(yīng)任務(wù)的任務(wù)配置文件進(jìn)行修改；根據(jù)報(bào)表生成任務(wù)修改指令判斷是否需要對該任務(wù)相關(guān)的任務(wù)拓?fù)鋱D進(jìn)行修改，若是，則根據(jù)修改后的任務(wù)配置文件對該任務(wù)相關(guān)的任務(wù)拓?fù)鋱D進(jìn)行修改。例如，更改了輸入地址，可能會使得任務(wù)A不再依賴任務(wù)B，而是變?yōu)橐蕾嚾蝿?wù)C。

由于報(bào)表生成任務(wù)可以面向企業(yè)內(nèi)的所有用戶，為保證穩(wěn)定性，可以采用如下方法：提供用于接收報(bào)表生成任務(wù)的報(bào)表生成任務(wù)提交接口；為任務(wù)調(diào)度服務(wù)器的至少一項(xiàng)運(yùn)行狀態(tài)參數(shù)設(shè)置相應(yīng)的報(bào)警閾值，監(jiān)控任務(wù)調(diào)度服務(wù)器的當(dāng)前運(yùn)行狀態(tài)參數(shù)；當(dāng)監(jiān)控到的任一項(xiàng)運(yùn)行狀態(tài)參數(shù)達(dá)到相應(yīng)的報(bào)警閾值時(shí)，執(zhí)行與該報(bào)警閾值對應(yīng)的預(yù)定報(bào)警操作，以及將報(bào)表生成任務(wù)提交接口置為不可用。這樣在任務(wù)調(diào)度服務(wù)器高負(fù)荷運(yùn)行時(shí)，可以停用報(bào)表生成任務(wù)提交接口，不再接收新的報(bào)表生成任務(wù)，而在任務(wù)調(diào)度服務(wù)器不再高負(fù)荷運(yùn)行時(shí)，重新恢復(fù)報(bào)表任務(wù)提交接口的可用性。即，當(dāng)監(jiān)控到的運(yùn)行狀態(tài)參數(shù)下降到報(bào)警閾值之下時(shí)，重新將報(bào)表生成任務(wù)提交接口置為可用；通過報(bào)表生成任務(wù)提交接口接收提交的報(bào)表生成任務(wù)，生成并保存相應(yīng)的任務(wù)配置文件。

前述實(shí)施例中提及，任務(wù)需要提交到相應(yīng)的集群中運(yùn)行。在本發(fā)明的一個(gè)實(shí)施例中，還提供了如下方法：判斷任務(wù)運(yùn)行的集群是否滿足任務(wù)提交條件，若滿足，將相應(yīng)的任務(wù)配置文件提交到相應(yīng)的集群上。其中，任務(wù)提交條件包括如下中的至少一種：任務(wù)運(yùn)行的集群可以訪問；任務(wù)運(yùn)行的集群的可用資源未超過預(yù)定閾值；任務(wù)運(yùn)行的集群未處于維護(hù)狀態(tài)。

也就是說，先判斷任務(wù)運(yùn)行的集群是否網(wǎng)絡(luò)通暢、是否正在進(jìn)行維護(hù)、是否還能運(yùn)行該任務(wù)。否則任務(wù)無法正常提交到該集群，即使提交到了該集群，也不能夠正確的運(yùn)行。

用戶還可以通過前端頁面查看任務(wù)的運(yùn)行狀況。在本發(fā)明的一個(gè)實(shí)施例中，該方法還包括：響應(yīng)于前端頁面提交的任務(wù)選擇指令，獲取各集群中相應(yīng)任務(wù)的任務(wù)運(yùn)行狀態(tài)信息，將相應(yīng)任務(wù)的任務(wù)運(yùn)行狀態(tài)信息返回給前端頁面進(jìn)行展示。這樣用戶可以隨時(shí)查看其有查看權(quán)限的任務(wù)的運(yùn)行狀態(tài)信息，如：任務(wù)運(yùn)行階段信息；任務(wù)運(yùn)行進(jìn)度信息；任務(wù)剩余時(shí)間信息；任務(wù)運(yùn)行日志信息。任務(wù)的錯(cuò)誤日志可以被及時(shí)讀取，對任務(wù)進(jìn)行修正；或者，任務(wù)分為多個(gè)階段，例如需要進(jìn)行多個(gè)階段的統(tǒng)計(jì)計(jì)算，可以查看任務(wù)正在進(jìn)行那個(gè)階段。根據(jù)任務(wù)的總工作量和集群資源，還可以推斷任務(wù)的運(yùn)行進(jìn)度和任務(wù)剩余時(shí)間。

任務(wù)往往不能夠總是在集群上正常運(yùn)行，現(xiàn)有技術(shù)中需要人工排除任務(wù)的錯(cuò)誤信息，費(fèi)時(shí)費(fèi)力，在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：接收各集群提交的任務(wù)失敗日志；對任務(wù)失敗日志進(jìn)行分析，得到任務(wù)的失敗信息。這樣就把人工查看任務(wù)失敗日志，排查失敗原因的時(shí)間節(jié)省出來。具體地，對任務(wù)失敗日志進(jìn)行分析，得到任務(wù)的失敗信息包括：預(yù)設(shè)包含至少一個(gè)失敗模型的失敗樣例庫；失敗模型包括：任務(wù)失敗日志匹配規(guī)則和任務(wù)的失敗信息；將任務(wù)失敗日志與失敗樣例庫中的失敗模型進(jìn)行匹配，根據(jù)匹配到的失敗模型得到任務(wù)的失敗信息。

例如，輸入路徑中沒有數(shù)據(jù)，這樣任務(wù)無法運(yùn)行，那么日志中就會有相應(yīng)的記錄。如果為這樣的失敗設(shè)置相應(yīng)的失敗模型，那么將任務(wù)失敗日志與失敗樣例庫中的失敗模型進(jìn)行匹配，就可以快速確定任務(wù)的失敗信息，例如包括：任務(wù)的失敗原因，任務(wù)的錯(cuò)誤代碼、任務(wù)的錯(cuò)誤類型。任務(wù)的錯(cuò)誤類型可以包括可重試型和不可重試型。以輸入路徑中沒有數(shù)據(jù)為例，即使重試該任務(wù)，該輸入路徑中依然沒有數(shù)據(jù)，那么任務(wù)還是不會正常運(yùn)行。而如果僅是無法連接到相應(yīng)的數(shù)據(jù)庫，那么重試后很可能就會成功，這樣的錯(cuò)誤類型就是可重試型錯(cuò)誤。因此任務(wù)的失敗信息還可以包括：任務(wù)失敗的解決方案；該方法還包括：依據(jù)任務(wù)失敗的解決方案，將該任務(wù)重新提交到相應(yīng)的集群上，或者，進(jìn)行預(yù)定方式的報(bào)警處理。對于可重試型錯(cuò)誤，將其將該任務(wù)重新提交到相應(yīng)的集群上進(jìn)行重試；對于不可重試型錯(cuò)誤，進(jìn)行預(yù)定方式的報(bào)警處理，例如向維護(hù)人員發(fā)送郵件或短信。

下述實(shí)施例介紹了對整個(gè)平臺進(jìn)行的監(jiān)控管理。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，按操作時(shí)間和用戶信息對應(yīng)保存到監(jiān)控?cái)?shù)據(jù)庫中。

可以看出，用戶執(zhí)行的操作雖然有著嚴(yán)格的權(quán)限管理，但依然是十分敏感的操作。在本實(shí)施例中對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，可以方便日后的排除，以及在發(fā)生秘密泄露事故時(shí)快速確定可疑人員。

在本發(fā)明的一個(gè)實(shí)施例中，上述方法還包括：按操作類型設(shè)置操作報(bào)警策略和對應(yīng)執(zhí)行的報(bào)警操作；當(dāng)用戶執(zhí)行的任一項(xiàng)操作的匹配該操作類型的操作報(bào)警策略時(shí)，執(zhí)行對應(yīng)的報(bào)警操作。

例如，某用戶雖然擁有對大批報(bào)表的查看權(quán)限，但在較短的時(shí)間段內(nèi)，其大量地訪問了這些報(bào)表，這種行為很可能是泄露企業(yè)秘密的行為，因此需要執(zhí)行對應(yīng)的報(bào)警操作，這樣就可以盡量減少秘密泄露的損失，及時(shí)進(jìn)行挽救。

圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的一種日志數(shù)據(jù)的管理裝置的結(jié)構(gòu)示意圖，如圖3所示，日志數(shù)據(jù)的管理裝置300包括：

日志數(shù)據(jù)解析單元310，適于對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理，得到業(yè)務(wù)的格式化的日志數(shù)據(jù)并保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中。

權(quán)限控制單元320，適于為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限。

展示單元330，適于提供用于登錄的前端頁面，根據(jù)前端頁面發(fā)送的用戶登錄信息，確定該用戶的用戶分組信息；當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。

可見，圖3所示的裝置，將業(yè)務(wù)的日志數(shù)據(jù)解析處理成格式化的日志數(shù)據(jù)后保存到數(shù)據(jù)倉庫相應(yīng)的數(shù)據(jù)集市中，為各個(gè)數(shù)據(jù)集市按用戶分組配置權(quán)限，當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的登錄信息確定的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。該技術(shù)方案實(shí)現(xiàn)了對業(yè)務(wù)的日志數(shù)據(jù)的統(tǒng)一管理入庫以及權(quán)限分配，規(guī)范、有秩序地實(shí)現(xiàn)了對日志數(shù)據(jù)的管控，特別適合業(yè)務(wù)線多、日志數(shù)據(jù)量大、組織結(jié)構(gòu)復(fù)雜的企業(yè)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310，適于配置業(yè)務(wù)和域名的對應(yīng)關(guān)系，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類；根據(jù)該業(yè)務(wù)對應(yīng)的域名，對該域名分類下的日志數(shù)據(jù)進(jìn)行解析處理。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310包括：樣例解析單元，適于對輸入的一條樣例日志進(jìn)行解析處理，輸出格式化的解析結(jié)果；解析規(guī)則記錄單元，適于接收用戶的解析結(jié)果確認(rèn)指令后，記錄解析樣例日志所采用的日志解析規(guī)則；日志解析單元，適于根據(jù)所記錄的日志解析規(guī)則，對用戶指定的業(yè)務(wù)的源日志數(shù)據(jù)進(jìn)行解析處理。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，樣例解析單元包括：多個(gè)日志內(nèi)容識別引擎，用于分別識別不同格式的日志內(nèi)容并解析成一個(gè)或多個(gè)字段；匯總處理單元，適于將樣例日志依次輸入到多個(gè)日志內(nèi)容識別引擎中，將各日志內(nèi)容識別引擎的輸出各字段進(jìn)行匯總得到格式化的解析結(jié)果。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，解析規(guī)則記錄單元，適于將有輸出結(jié)果的各日志內(nèi)容識別引擎的識別解析規(guī)則匯總記錄為解析樣例日志所采用的日志解析規(guī)則。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310還包括：識別引擎管理單元，適于提供日志內(nèi)容識別引擎編輯接口，通過該接口接收增加/刪除/修改日志內(nèi)容識別引擎的指令，根據(jù)指令執(zhí)行相應(yīng)的日志內(nèi)容識別模塊增加/刪除/修改操作。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310還包括：自定識別單元，適于當(dāng)樣例日志中存在各日志內(nèi)容識別引擎均無法識別的內(nèi)容時(shí)，通過自定義識別接口輸出該內(nèi)容；通過自定義識別接口接收人工識別后輸入的識別結(jié)果和相應(yīng)的識別解析規(guī)則；將該人工識別后輸入的識別解析規(guī)則記錄為解析樣例日志所采用的日志解析規(guī)則的一部分。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，多個(gè)日志內(nèi)容識別引擎包括如下中的一種或多種：IP地址識別引擎；時(shí)間戳識別引擎；用戶ID識別引擎；渠道識別引擎；JSON格式內(nèi)容識別引擎。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，IP地址識別引擎在識別出IP地址后，進(jìn)一步解析IP地址，IP地址解析結(jié)果包括如下一個(gè)或多個(gè)字段：國家、省、市、運(yùn)營商。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，樣例解析單元，還適于通過前端頁面接收輸入的對解析結(jié)果中的各字段進(jìn)行操作的指令，并執(zhí)行相應(yīng)的操作；對解析結(jié)果中的各字段進(jìn)行操作的指令包括如下中的一種或多種：調(diào)整各字段的排序順序的指令；修改指定字段的名稱的指令；刪除指定字段的指令。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，一個(gè)日志內(nèi)容識別引擎的識別解析規(guī)則包括：對識別并解析出的一個(gè)或多個(gè)字段中的指定字段的參數(shù)值設(shè)置限定閾值；日志解析單元，適于對于參數(shù)值超出限定閾值的日志數(shù)據(jù)進(jìn)行丟棄處理。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310還包括：

存儲單元，適于根據(jù)字段屬性確定該字段對應(yīng)的數(shù)據(jù)倉庫中的列；將待存儲數(shù)據(jù)按字段存儲到數(shù)據(jù)倉庫中相應(yīng)的列中。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，存儲單元，適于讀取數(shù)據(jù)倉庫的元數(shù)據(jù)，得到數(shù)據(jù)倉庫中各列的屬性；根據(jù)字段屬性和數(shù)據(jù)倉庫中各列的屬性，建立待存儲數(shù)據(jù)中各字段的數(shù)據(jù)和各列的映射關(guān)系。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，元數(shù)據(jù)包括：數(shù)據(jù)倉庫各列的業(yè)務(wù)屬性和/或數(shù)據(jù)屬性，其中，業(yè)務(wù)屬性包括如下中的至少一種：業(yè)務(wù)名稱、業(yè)務(wù)域名、業(yè)務(wù)描述信息；數(shù)據(jù)屬性包括如下中的至少一種：列名、數(shù)據(jù)格式、數(shù)據(jù)類型。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310還包括：數(shù)據(jù)操作單元，適于根據(jù)接收到的數(shù)據(jù)處理指令，對指定列的數(shù)據(jù)進(jìn)行相應(yīng)的處理。指令包括如下中的至少一種：數(shù)據(jù)解密，數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)編碼轉(zhuǎn)換。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310還包括：數(shù)據(jù)操作單元，適于根據(jù)對指定列的列值設(shè)置限定閾值的指令，將列值超出限定閾值的整條數(shù)據(jù)進(jìn)行刪除處理。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，日志數(shù)據(jù)解析單元310還包括：：數(shù)據(jù)操作單元，適于根據(jù)接收到的數(shù)據(jù)處理指令，對指定列的數(shù)據(jù)進(jìn)行相應(yīng)的處理。指令包括如下中的至少一種：調(diào)整各列的排序順序的指令；修改指定列的列名的指令；刪除指定列的指令。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，數(shù)據(jù)集市包括至少一個(gè)數(shù)據(jù)表；權(quán)限控制單元320，適于為數(shù)據(jù)集市的各數(shù)據(jù)表按用戶分組配置查看權(quán)限，以及為數(shù)據(jù)表的各列按用戶分組配置查看權(quán)限；展示單元330，適于根據(jù)該用戶的用戶分組信息，向該用戶展示其有查看權(quán)限的數(shù)據(jù)表，和/或向該用戶展示其有查看權(quán)限的數(shù)據(jù)表中的列。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置還包括：報(bào)表單元，適于接收并保存用戶通過前端頁面提交的報(bào)表生成任務(wù)，根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫；權(quán)限控制單元320，適于根據(jù)報(bào)表的各列的權(quán)限確定該報(bào)表的權(quán)限，其中，生成的報(bào)表的各列的權(quán)限與其對應(yīng)的數(shù)據(jù)集市中的數(shù)據(jù)表中列的權(quán)限相同。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表單元，適于根據(jù)報(bào)表生成任務(wù)，確定完成報(bào)表生成任務(wù)的數(shù)據(jù)處理模型，以及從相應(yīng)的數(shù)據(jù)集市中讀取指定日志數(shù)據(jù)；利用確定的數(shù)據(jù)處理模型對待日志數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表生成任務(wù)包括：輸入地址；根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫包括：從輸入地址讀取日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫。在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表生成任務(wù)包括：用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；報(bào)表單元，適于以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到用戶指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，數(shù)據(jù)集市查看指令和/或報(bào)表生成任務(wù)包括：用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；該裝置還包括：查詢單元，適于以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，查詢單元，還適于設(shè)置語句過濾規(guī)則，對用戶輸入的標(biāo)準(zhǔn)查詢語句或生成的標(biāo)準(zhǔn)查詢語句進(jìn)行過濾。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表生成任務(wù)包括：指定的數(shù)據(jù)處理模型；報(bào)表單元，適于從數(shù)據(jù)處理模型庫中選擇指定的數(shù)據(jù)處理模型。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，數(shù)據(jù)處理模型庫中包含如下的至少一種數(shù)據(jù)處理模型：新增統(tǒng)計(jì)模型；活躍統(tǒng)計(jì)模型；留存統(tǒng)計(jì)模型。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，指定的數(shù)據(jù)處理模型為streaming模型；報(bào)表生成任務(wù)還包括：至少一段自定義的代碼片段；參數(shù)信息包括：每段代碼片段與streaming模型中一塊邏輯分塊的對應(yīng)關(guān)系。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表生成任務(wù)包括：自定義的數(shù)據(jù)處理模型的地址；報(bào)表單元，適于從該地址讀取自定義的數(shù)據(jù)處理模型。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表單元，還適于將自定義的數(shù)據(jù)處理模型保存到數(shù)據(jù)處理模型庫中。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)表單元，還適于接收用戶通過前端頁面上傳的報(bào)表，和/或根據(jù)用戶通過前端頁面提交的報(bào)表存儲路徑，從該路徑獲取指定的報(bào)表，保存到報(bào)表數(shù)據(jù)庫。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，展示單元330，還適于根據(jù)用戶的用戶分組信息，向其展示可編輯權(quán)限的數(shù)據(jù)集市和/或報(bào)表；權(quán)限控制單元220，還適于接收用戶提交的權(quán)限編輯指令，對數(shù)據(jù)集市和/或報(bào)表的權(quán)限進(jìn)行相應(yīng)的編輯。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，展示單元330，還適于根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的報(bào)表名稱；報(bào)表生成任務(wù)包括：用戶指定的報(bào)表；報(bào)表單元，適于使用用戶指定的報(bào)表的配置信息，根據(jù)報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，展示單元330，還適于當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，通過前端頁面向該用戶展示該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置還包括：報(bào)表查看記錄單元，適于將報(bào)表數(shù)據(jù)庫中新增報(bào)表的查看次數(shù)初始化為零；當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，將相應(yīng)報(bào)表的查看次數(shù)增加一；任務(wù)清理單元，適于為各報(bào)表設(shè)置清理周期，在到達(dá)清理周期的時(shí)間點(diǎn)時(shí)，根據(jù)判斷該報(bào)表的查看次數(shù)是否低于清理閾值，若低于，則刪除相應(yīng)的報(bào)表生成任務(wù)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，展示單元330，還適于根據(jù)用戶的用戶分組信息，向其展示其有使用權(quán)限的統(tǒng)計(jì)圖模型，以使前端頁面根據(jù)用戶選定的統(tǒng)計(jì)圖模型和已展示報(bào)表的數(shù)據(jù)，生成相應(yīng)的統(tǒng)計(jì)圖。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，統(tǒng)計(jì)圖模型包括如下中的任一種：根據(jù)前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型；重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型；對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置還包括：任務(wù)配置單元，適于根據(jù)報(bào)表生成任務(wù)生成并保存相應(yīng)的任務(wù)配置文件；任務(wù)拓?fù)鋱D管理單元，適于根據(jù)已保存的多個(gè)任務(wù)配置文件，生成并保存包含任務(wù)間依賴關(guān)系的任務(wù)拓?fù)鋱D；任務(wù)調(diào)度單元，適于根據(jù)生成的任務(wù)拓?fù)鋱D完成任務(wù)調(diào)度。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)調(diào)度單元，適于當(dāng)任務(wù)拓?fù)鋱D中的任一個(gè)任務(wù)滿足該任務(wù)的除任務(wù)間依賴關(guān)系外的其他運(yùn)行條件時(shí)，根據(jù)任務(wù)拓?fù)鋱D判斷該任務(wù)是否依賴于其他任務(wù)運(yùn)行；如果不依賴其他任務(wù)運(yùn)行，讀取該任務(wù)的任務(wù)配置文件，直接運(yùn)行該任務(wù)；如果依賴其他任務(wù)運(yùn)行，則在其依賴的其他任務(wù)全部運(yùn)行結(jié)束后，再讀取該任務(wù)的任務(wù)配置文件，運(yùn)行該任務(wù)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)配置信息包括如下中的一種或多種：任務(wù)的基本參數(shù)；任務(wù)運(yùn)行的時(shí)間條件；任務(wù)運(yùn)行的集群；任務(wù)運(yùn)行的物理資源條件；任務(wù)運(yùn)行的數(shù)據(jù)資源條件；任務(wù)與其他任務(wù)的依賴關(guān)系。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)拓?fù)鋱D管理單元，適于從各任務(wù)配置文件中讀取該任務(wù)與其他任務(wù)的依賴關(guān)系，生成任務(wù)拓?fù)鋱D。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)拓?fù)鋱D管理單元，適于從各任務(wù)配置文件中讀取該任務(wù)運(yùn)行的數(shù)據(jù)資源條件，生成任務(wù)拓?fù)鋱D；任務(wù)運(yùn)行的數(shù)據(jù)資源條件包括：任務(wù)運(yùn)行所需數(shù)據(jù)的輸入地址，和/或任務(wù)運(yùn)行結(jié)果的輸出地址。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)調(diào)度單元，適于根據(jù)負(fù)載均衡原則，從任務(wù)運(yùn)行的集群中選擇至少一臺機(jī)器運(yùn)行該任務(wù)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，展示單元330，還適于響應(yīng)于前端頁面發(fā)送的展示指令，將多個(gè)任務(wù)和/或包含多個(gè)任務(wù)間依賴關(guān)系的任務(wù)拓?fù)鋱D返回給前端頁面進(jìn)行展示。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)拓?fù)鋱D管理單元，還適于接收前端頁面發(fā)送的任務(wù)間依賴關(guān)系的新增/修改/刪除指令，相應(yīng)地生成或修改任務(wù)拓?fù)鋱D。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)配置單元，還適于接收報(bào)表生成任務(wù)修改指令，對相應(yīng)任務(wù)的任務(wù)配置文件進(jìn)行修改；任務(wù)拓?fù)鋱D管理單元，適于根據(jù)報(bào)表生成任務(wù)修改指令判斷是否需要對該任務(wù)相關(guān)的任務(wù)拓?fù)鋱D進(jìn)行修改，若是，則根據(jù)修改后的任務(wù)配置文件對該任務(wù)相關(guān)的任務(wù)拓?fù)鋱D進(jìn)行修改。

在本發(fā)明的一個(gè)實(shí)施例中，報(bào)表單元，適于提供用于接收報(bào)表生成任務(wù)的報(bào)表生成任務(wù)提交接口；上述裝置還包括：監(jiān)控單元，適于為任務(wù)調(diào)度服務(wù)器的至少一項(xiàng)運(yùn)行狀態(tài)參數(shù)設(shè)置相應(yīng)的報(bào)警閾值，監(jiān)控任務(wù)調(diào)度服務(wù)器的當(dāng)前運(yùn)行狀態(tài)參數(shù)；報(bào)警處理單元，適于當(dāng)監(jiān)控到的任一項(xiàng)運(yùn)行狀態(tài)參數(shù)達(dá)到相應(yīng)的報(bào)警閾值時(shí)，執(zhí)行與該報(bào)警閾值對應(yīng)的預(yù)定報(bào)警操作，以及將報(bào)表生成任務(wù)提交接口置為不可用。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，報(bào)警處理單元，還適于當(dāng)監(jiān)控到的運(yùn)行狀態(tài)參數(shù)下降到報(bào)警閾值之下時(shí)，重新將報(bào)表生成任務(wù)提交接口置為可用；任務(wù)配置單元，適于通過報(bào)表生成任務(wù)提交接口接收提交的報(bào)表生成任務(wù)，生成并保存相應(yīng)的任務(wù)配置文件。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)配置單元，還適于根據(jù)報(bào)表生成任務(wù)，確定任務(wù)運(yùn)行的集群；判斷任務(wù)運(yùn)行的集群是否滿足任務(wù)提交條件，若滿足，將相應(yīng)的任務(wù)配置文件提交到相應(yīng)的集群上。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)提交條件包括如下中的至少一種：任務(wù)運(yùn)行的集群可以訪問；任務(wù)運(yùn)行的集群的可用資源未超過預(yù)定閾值；任務(wù)運(yùn)行的集群未處于維護(hù)狀態(tài)。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，展示單元330，適于響應(yīng)于前端頁面提交的任務(wù)選擇指令，獲取各集群中相應(yīng)任務(wù)的任務(wù)運(yùn)行狀態(tài)信息，將相應(yīng)任務(wù)的任務(wù)運(yùn)行狀態(tài)信息返回給前端頁面進(jìn)行展示。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)運(yùn)行狀態(tài)信息包括如下中的至少一種：任務(wù)運(yùn)行階段信息；任務(wù)運(yùn)行進(jìn)度信息；任務(wù)剩余時(shí)間信息；任務(wù)運(yùn)行日志信息。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置還包括：任務(wù)失敗日志處理單元，適于接收各集群提交的任務(wù)失敗日志，對任務(wù)失敗日志進(jìn)行分析，得到任務(wù)的失敗信息。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)失敗日志處理單元，預(yù)設(shè)有包含至少一個(gè)失敗模型的失敗樣例庫，失敗模型包括：任務(wù)失敗日志匹配規(guī)則和任務(wù)的失敗信息；失敗日志分析單元適于將任務(wù)失敗日志與失敗樣例庫中的失敗模型進(jìn)行匹配，根據(jù)匹配到的失敗模型得到任務(wù)的失敗信息。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)的失敗信息包括如下中的至少一種：任務(wù)的失敗原因，任務(wù)的錯(cuò)誤代碼、任務(wù)的錯(cuò)誤類型。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置中，任務(wù)的失敗信息包括：任務(wù)失敗的解決方案；任務(wù)失敗日志處理單元，還適于依據(jù)任務(wù)失敗的解決方案，將該任務(wù)重新提交到相應(yīng)的集群上，或者，進(jìn)行預(yù)定方式的報(bào)警處理。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置還包括：監(jiān)控單元，適于對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，按操作時(shí)間和用戶信息對應(yīng)保存到監(jiān)控?cái)?shù)據(jù)庫中。

在本發(fā)明的一個(gè)實(shí)施例中，上述裝置還包括：報(bào)警單元，適于按操作類型設(shè)置操作報(bào)警策略和對應(yīng)執(zhí)行的報(bào)警操作；當(dāng)用戶執(zhí)行的任一項(xiàng)操作的匹配該操作類型的操作報(bào)警策略時(shí)，執(zhí)行對應(yīng)的報(bào)警操作。

需要說明的是，上述各裝置實(shí)施例的具體實(shí)施方式與前述對應(yīng)方法實(shí)施例的具體方式相同，在此不再贅述。

綜上所述，本發(fā)明的技術(shù)方案，將業(yè)務(wù)的日志數(shù)據(jù)解析處理成格式化的日志數(shù)據(jù)后保存到數(shù)據(jù)倉庫相應(yīng)的數(shù)據(jù)集市中，為各個(gè)數(shù)據(jù)集市按用戶分組配置權(quán)限，當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的登錄信息確定的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。該技術(shù)方案實(shí)現(xiàn)了對業(yè)務(wù)的日志數(shù)據(jù)的統(tǒng)一管理入庫以及權(quán)限分配，規(guī)范、有秩序地實(shí)現(xiàn)了對日志數(shù)據(jù)的管控，特別適合業(yè)務(wù)線多、日志數(shù)據(jù)量大、組織結(jié)構(gòu)復(fù)雜的企業(yè)。

需要說明的是：

在此提供的算法和顯示不與任何特定計(jì)算機(jī)、虛擬裝置或者其它設(shè)備固有相關(guān)。各種通用裝置也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類裝置所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實(shí)現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實(shí)施方式。

在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。

類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在上面對本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個(gè)實(shí)施例的所有特征。因此，遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。

本領(lǐng)域那些技術(shù)人員可以理解，可以對實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中?？梢园褜?shí)施例中的模塊或單元或組件組合成一個(gè)模塊或單元或組件，以及此外可以把它們分成多個(gè)子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來代替。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來使用。

本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器或者數(shù)字信號處理器(DSP)來實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的日志數(shù)據(jù)的管理裝置中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。

應(yīng)該注意的是上述實(shí)施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個(gè)”不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個(gè)可以是通過同一個(gè)硬件項(xiàng)來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。

本發(fā)明的實(shí)施例公開了A1、一種日志數(shù)據(jù)的管理方法，其中，該方法包括：

對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理，得到業(yè)務(wù)的格式化的日志數(shù)據(jù)并保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中；

為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限；

提供前端頁面，根據(jù)前端頁面發(fā)送的用戶登錄信息，確定該用戶的用戶分組信息；當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。

A2、如A1所述的方法，其中，該方法還包括：

配置業(yè)務(wù)和域名的對應(yīng)關(guān)系，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類；

所述對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理包括：根據(jù)該業(yè)務(wù)對應(yīng)的域名，對該域名分類下的日志數(shù)據(jù)進(jìn)行解析處理。

A3、如A1所述的方法，其中，所述數(shù)據(jù)集市包括至少一個(gè)數(shù)據(jù)表；

所述為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限還包括：為數(shù)據(jù)集市的各數(shù)據(jù)表按用戶分組配置查看權(quán)限，以及為數(shù)據(jù)表的各列按用戶分組配置查看權(quán)限；

所述根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息包括：根據(jù)該用戶的用戶分組信息，向該用戶展示其有查看權(quán)限的數(shù)據(jù)表，和/或向該用戶展示其有查看權(quán)限的數(shù)據(jù)表中的列。

A4、如A3所述的方法，其中，該方法還包括：

接收并保存用戶通過前端頁面提交的報(bào)表生成任務(wù)；

根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫；其中，生成的報(bào)表的各列的權(quán)限與其對應(yīng)的數(shù)據(jù)集市中的數(shù)據(jù)表中列的權(quán)限相同；根據(jù)報(bào)表的各列的權(quán)限確定該報(bào)表的權(quán)限。

A5、如A4所述的方法，其中，所述數(shù)據(jù)集市查看指令和/或報(bào)表生成任務(wù)包括：

用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；

該方法還包括：以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。

A6、如A5所述的方法，其中，該方法還包括：

設(shè)置語句過濾規(guī)則，對用戶輸入的標(biāo)準(zhǔn)查詢語句或生成的標(biāo)準(zhǔn)查詢語句進(jìn)行過濾。

A7、如A4所述的方法，其中，該方法還包括：

接收用戶通過前端頁面上傳的報(bào)表，和/或根據(jù)用戶通過前端頁面提交的報(bào)表存儲路徑，從該路徑獲取指定的報(bào)表，保存到報(bào)表數(shù)據(jù)庫。

A8、如A4所述的方法，其中，該方法還包括：

根據(jù)用戶的用戶分組信息，向其展示可編輯權(quán)限的數(shù)據(jù)集市和/或報(bào)表；

接收用戶提交的權(quán)限編輯指令，對所述數(shù)據(jù)集市和/或報(bào)表的權(quán)限進(jìn)行相應(yīng)的編輯。

A9、如A4所述的方法，其中，該方法還包括：

根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的報(bào)表名稱；

所述報(bào)表生成任務(wù)包括：用戶指定的報(bào)表；

所述根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫包括：使用用戶指定的報(bào)表的配置信息，根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表。

A10、如A9所述的方法，其中，該方法還包括：

當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，通過前端頁面向該用戶展示該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)。

A11、如A10所述的方法，其中，該方法還包括：

將報(bào)表數(shù)據(jù)庫中新增報(bào)表的查看次數(shù)初始化為零；當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，將相應(yīng)報(bào)表的查看次數(shù)增加一；

為各報(bào)表設(shè)置清理周期，在到達(dá)清理周期的時(shí)間點(diǎn)時(shí)，根據(jù)判斷該報(bào)表的查看次數(shù)是否低于清理閾值，若低于，則刪除相應(yīng)的報(bào)表生成任務(wù)。

A12、如A10所述的方法，其中，該方法還包括：

根據(jù)用戶的用戶分組信息，向其展示其有使用權(quán)限的統(tǒng)計(jì)圖模型，以使所述前端頁面根據(jù)用戶選定的統(tǒng)計(jì)圖模型和已展示報(bào)表的數(shù)據(jù)，生成相應(yīng)的統(tǒng)計(jì)圖。

A13、如A12所述的方法，其中，所述統(tǒng)計(jì)圖模型包括如下中的任一種：

根據(jù)所述前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型；

重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型；

對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

A14、如A1-A13中任一項(xiàng)所述的方法，其中，該方法還包括：

對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，按操作時(shí)間和用戶信息對應(yīng)保存到監(jiān)控?cái)?shù)據(jù)庫中。

A15、如A14所述的方法，其中，該方法還包括：

按操作類型設(shè)置操作報(bào)警策略和對應(yīng)執(zhí)行的報(bào)警操作；

當(dāng)用戶執(zhí)行的任一項(xiàng)操作的匹配該操作類型的操作報(bào)警策略時(shí)，執(zhí)行對應(yīng)的報(bào)警操作。

本發(fā)明的實(shí)施例還公開了B16、一種日志數(shù)據(jù)的管理裝置，其中，該裝置包括：

日志數(shù)據(jù)解析單元，適于對至少一個(gè)指定業(yè)務(wù)的日志數(shù)據(jù)進(jìn)行解析處理，得到業(yè)務(wù)的格式化的日志數(shù)據(jù)并保存到數(shù)據(jù)倉庫中對應(yīng)的數(shù)據(jù)集市中；

權(quán)限控制單元，適于為數(shù)據(jù)倉庫中的各數(shù)據(jù)集市按用戶分組配置權(quán)限；

展示單元，適于提供前端頁面，根據(jù)前端頁面發(fā)送的用戶登錄信息，確定該用戶的用戶分組信息；當(dāng)接收到前端頁面發(fā)送的數(shù)據(jù)集市查看指令時(shí)，根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的數(shù)據(jù)集市信息。

B17、如B16所述的裝置，其中，

所述日志數(shù)據(jù)解析單元，適于配置業(yè)務(wù)和域名的對應(yīng)關(guān)系，將接收到的日志數(shù)據(jù)按域名進(jìn)行分類；根據(jù)該業(yè)務(wù)對應(yīng)的域名，對該域名分類下的日志數(shù)據(jù)進(jìn)行解析處理。

B18、如B16所述的裝置，其中，所述數(shù)據(jù)集市包括至少一個(gè)數(shù)據(jù)表；

所述權(quán)限控制單元，適于為數(shù)據(jù)集市的各數(shù)據(jù)表按用戶分組配置查看權(quán)限，以及為數(shù)據(jù)表的各列按用戶分組配置查看權(quán)限；

所述展示單元，適于根據(jù)該用戶的用戶分組信息，向該用戶展示其有查看權(quán)限的數(shù)據(jù)表，和/或向該用戶展示其有查看權(quán)限的數(shù)據(jù)表中的列。

B19、如B18所述的裝置，其中，該裝置還包括：

報(bào)表單元，適于接收并保存用戶通過前端頁面提交的報(bào)表生成任務(wù)，根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)，生成報(bào)表并保存至報(bào)表數(shù)據(jù)庫；

所述權(quán)限控制單元，適于根據(jù)報(bào)表的各列的權(quán)限確定該報(bào)表的權(quán)限，其中，生成的報(bào)表的各列的權(quán)限與其對應(yīng)的數(shù)據(jù)集市中的數(shù)據(jù)表中列的權(quán)限相同。

B20、如B19所述的裝置，其中，所述數(shù)據(jù)集市查看指令和/或報(bào)表生成任務(wù)包括：

用戶輸入的標(biāo)準(zhǔn)查詢語句或用戶輸入的查詢參數(shù)；

該裝置還包括：查詢單元，適于以用戶輸入的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)；或者，根據(jù)用戶輸入的查詢參數(shù)生成標(biāo)準(zhǔn)查詢語句，以生成的標(biāo)準(zhǔn)查詢語句查詢相應(yīng)的數(shù)據(jù)集市，得到該用戶有查看權(quán)限的數(shù)據(jù)集市信息和/或指定的數(shù)據(jù)集市中的日志數(shù)據(jù)。

B21、如B20所述的裝置，其中，

所述查詢單元，還適于設(shè)置語句過濾規(guī)則，對用戶輸入的標(biāo)準(zhǔn)查詢語句或生成的標(biāo)準(zhǔn)查詢語句進(jìn)行過濾。

B22、如B19所述的裝置，其中，

所述報(bào)表單元，還適于接收用戶通過前端頁面上傳的報(bào)表，和/或根據(jù)用戶通過前端頁面提交的報(bào)表存儲路徑，從該路徑獲取指定的報(bào)表，保存到報(bào)表數(shù)據(jù)庫。

B23、如B19所述的裝置，其中，

所述展示單元，還適于根據(jù)用戶的用戶分組信息，向其展示可編輯權(quán)限的數(shù)據(jù)集市和/或報(bào)表；

所述權(quán)限控制單元，還適于接收用戶提交的權(quán)限編輯指令，對所述數(shù)據(jù)集市和/或報(bào)表的權(quán)限進(jìn)行相應(yīng)的編輯。

B24、如B19所述的裝置，其中，

所述展示單元，還適于根據(jù)該用戶的用戶分組信息，通過前端頁面向該用戶展示其有查看權(quán)限的報(bào)表名稱；

所述報(bào)表生成任務(wù)包括：用戶指定的報(bào)表；

所述報(bào)表單元，適于使用用戶指定的報(bào)表的配置信息，根據(jù)所述報(bào)表生成任務(wù)中指定的數(shù)據(jù)集市中的日志數(shù)據(jù)生成報(bào)表。

B25、如B24所述的裝置，其中，

所述展示單元，還適于當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，通過前端頁面向該用戶展示該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)。

B26、如B25所述的裝置，其中，該裝置還包括：

報(bào)表查看記錄單元，適于將報(bào)表數(shù)據(jù)庫中新增報(bào)表的查看次數(shù)初始化為零；當(dāng)接收到用戶輸入的報(bào)表查看指令時(shí)，將相應(yīng)報(bào)表的查看次數(shù)增加一；

任務(wù)清理單元，適于為各報(bào)表設(shè)置清理周期，在到達(dá)清理周期的時(shí)間點(diǎn)時(shí)，根據(jù)判斷該報(bào)表的查看次數(shù)是否低于清理閾值，若低于，則刪除相應(yīng)的報(bào)表生成任務(wù)。

B27、如B25所述的裝置，其中，

所述展示單元，還適于根據(jù)用戶的用戶分組信息，向其展示其有使用權(quán)限的統(tǒng)計(jì)圖模型，以使所述前端頁面根據(jù)用戶選定的統(tǒng)計(jì)圖模型和已展示報(bào)表的數(shù)據(jù)，生成相應(yīng)的統(tǒng)計(jì)圖。

B28、如B27所述的裝置，其中，所述統(tǒng)計(jì)圖模型包括如下中的任一種：

根據(jù)所述前端頁面中緩存的已展示報(bào)表的數(shù)據(jù)生成統(tǒng)計(jì)圖的模型；

重新從數(shù)據(jù)源獲取該報(bào)表中用戶具有查看權(quán)限的列的數(shù)據(jù)，生成統(tǒng)計(jì)圖的模型；

對已展示報(bào)表的數(shù)據(jù)源進(jìn)行編輯的統(tǒng)計(jì)圖模型。

B29、如B16-B28中任一項(xiàng)所述的裝置，其中，該裝置還包括：

監(jiān)控單元，適于對用戶執(zhí)行的任一項(xiàng)操作進(jìn)行記錄，按操作時(shí)間和用戶信息對應(yīng)保存到監(jiān)控?cái)?shù)據(jù)庫中。

B30、如B29所述的裝置，其中，該裝置還包括：

報(bào)警單元，適于按操作類型設(shè)置操作報(bào)警策略和對應(yīng)執(zhí)行的報(bào)警操作；當(dāng)用戶執(zhí)行的任一項(xiàng)操作的匹配該操作類型的操作報(bào)警策略時(shí)，執(zhí)行對應(yīng)的報(bào)警操作。