本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理裝置及方法。

背景技術(shù)：

隨著計(jì)算機(jī)的發(fā)展和網(wǎng)絡(luò)應(yīng)用的日益廣泛，各種類(lèi)型的數(shù)據(jù)越來(lái)越多，對(duì)數(shù)據(jù)的分析越來(lái)越重要。

目前，對(duì)前端數(shù)據(jù)分析，如用戶(hù)每天在網(wǎng)站中的訪問(wèn)量、點(diǎn)擊量等數(shù)據(jù)，分析方式都比較簡(jiǎn)單，僅僅是監(jiān)控流量變化，以根據(jù)流量變化確定某一端時(shí)間或某一片區(qū)域的訪問(wèn)量或點(diǎn)擊量等等，然而，這種數(shù)據(jù)分析方式較為簡(jiǎn)單，分析的內(nèi)容也不夠全面。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提出一種數(shù)據(jù)處理裝置及方法，旨在解決現(xiàn)有的數(shù)據(jù)分析方式較為簡(jiǎn)單，且分析的內(nèi)容也不夠全面的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置包括：

獲取模塊，用于從前端頁(yè)面中獲取數(shù)據(jù)；

抽取添加模塊，用于對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中；

抽象處理模塊，用于根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

可選地，所述數(shù)據(jù)處理裝置包括：

提取模塊，用于提取預(yù)存維度表中的歷史數(shù)據(jù)；

所述抽象處理模塊包括：

累計(jì)單元，用于將維度表中的基礎(chǔ)維度數(shù)據(jù)，和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)；

抽象處理單元，用于根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

可選地，所述數(shù)據(jù)處理裝置還包括：

確定模塊，用于若接收到數(shù)據(jù)在線處理指令時(shí)，確定在線處理規(guī)則，其中，所述在線處理規(guī)則包括若干個(gè)條件和/或字段；

在線處理模塊，用于根據(jù)確定的所述在線處理規(guī)則，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，以得到在線處理后的數(shù)據(jù)。

可選地，所述數(shù)據(jù)處理裝置還包括：

報(bào)表處理模塊，用于將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理，得到報(bào)表數(shù)據(jù)；

存儲(chǔ)模塊，用于將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中，后續(xù)接收到報(bào)表數(shù)據(jù)展示指令時(shí)，直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到報(bào)表頁(yè)面上。

可選地，所述數(shù)據(jù)處理裝置還包括：

查詢(xún)模塊，用于從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，以及其它服務(wù)器的可用容量；

選擇分發(fā)模塊，用于若查詢(xún)的容量值超出預(yù)設(shè)閾值，則選擇可用容量大于所述容量值的服務(wù)器，并通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)分發(fā)至選擇的服務(wù)器中，以供選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種數(shù)據(jù)處理方法，所述數(shù)據(jù)處理方法包括：

服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)；

對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中；

根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

可選地，所述根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理的步驟之前，還包括步驟：

提取預(yù)存維度表中的歷史數(shù)據(jù)；

所述根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)的步驟包括：

將維度表中的基礎(chǔ)維度數(shù)據(jù)，和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)；

根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

可選地，所述服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)的步驟之后，所述數(shù)據(jù)處理方法還包括：

若接收到數(shù)據(jù)在線處理指令時(shí)，確定在線處理規(guī)則，其中，所述在線處理規(guī)則包括若干個(gè)條件和/或字段；

根據(jù)確定的所述在線處理規(guī)則，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，以得到在線處理后的數(shù)據(jù)。

可選地，所述根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)的步驟之后，所述數(shù)據(jù)處理方法還包括：

將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理，得到報(bào)表數(shù)據(jù)；

將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中，后續(xù)接收到報(bào)表數(shù)據(jù)展示指令時(shí)，直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到報(bào)表頁(yè)面上。

可選地，所述數(shù)據(jù)處理方法還包括：

從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，以及其它服務(wù)器的可用容量；

若查詢(xún)的容量值超出預(yù)設(shè)閾值，則選擇可用容量大于所述容量值的服務(wù)器，并通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)分發(fā)至選擇的服務(wù)器中，以供選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

本發(fā)明提出的數(shù)據(jù)處理裝置及方法，服務(wù)器先從前端頁(yè)面中獲取數(shù)據(jù)，然后對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中，再結(jié)合自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)，后續(xù)再對(duì)抽象處理后的數(shù)據(jù)進(jìn)行分析，可更準(zhǔn)確分析出數(shù)據(jù)的實(shí)際情況，而不僅僅是根據(jù)流量情況分析數(shù)據(jù)，本發(fā)明對(duì)數(shù)據(jù)分析之前，先對(duì)數(shù)據(jù)進(jìn)行維度抽取和抽象處理，使得后續(xù)的數(shù)據(jù)分析更加準(zhǔn)確。

附圖說(shuō)明

圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例一個(gè)可選地服務(wù)器的硬件結(jié)構(gòu)示意圖；

圖2為本發(fā)明數(shù)據(jù)處理裝置第一實(shí)施例的模塊示意圖；

圖3為本發(fā)明數(shù)據(jù)處理裝置第二實(shí)施例的模塊示意圖；

圖4為本發(fā)明數(shù)據(jù)處理裝置第三實(shí)施例的模塊示意圖；

圖5為本發(fā)明數(shù)據(jù)處理裝置第四實(shí)施例的模塊示意圖；

圖6為本發(fā)明數(shù)據(jù)處理裝置第五實(shí)施例的模塊示意圖；

圖7為本發(fā)明較佳實(shí)施場(chǎng)景示意圖；

圖8為本發(fā)明數(shù)據(jù)處理方法第一實(shí)施例的流程示意圖；

圖9為本發(fā)明數(shù)據(jù)處理方法第二實(shí)施例的流程示意圖；

圖10為本發(fā)明數(shù)據(jù)處理方法第三實(shí)施例的流程示意圖；

圖11為本發(fā)明數(shù)據(jù)處理方法第四實(shí)施例的流程示意圖；

圖12為本發(fā)明數(shù)據(jù)處理方法第五實(shí)施例的流程示意圖。

本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做說(shuō)明。

具體實(shí)施方式

應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

現(xiàn)在將參考附圖描述實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的服務(wù)器和終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說(shuō)明，其本身并沒(méi)有特定的意義。因此，“模塊”與“部件”可以混合地使用。

終端可以以各種形式來(lái)實(shí)施。例如，本發(fā)明中描述的終端可以包括諸如移動(dòng)電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個(gè)人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動(dòng)終端以及諸如數(shù)字TV、臺(tái)式計(jì)算機(jī)等等的固定終端。下面，假設(shè)終端是移動(dòng)終端。然而，本領(lǐng)域技術(shù)人員將理解的是，除了特別用于移動(dòng)目的的元件之外，根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類(lèi)型的終端。

圖1為實(shí)現(xiàn)本發(fā)明實(shí)施例一個(gè)可選地服務(wù)器的硬件結(jié)構(gòu)示意。

如圖1所示，所述服務(wù)器包括處理器1001、與所述處理器1001通信連接的通信接口1002、存儲(chǔ)器1003以及顯示界面1004。

處理器1001先通過(guò)通信接口1002從前端頁(yè)面中獲取數(shù)據(jù)，然后對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到存儲(chǔ)器1003的預(yù)設(shè)的維度表中，再根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

進(jìn)一步地，處理器1001在根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理之前，先提取存儲(chǔ)器1003的預(yù)存維度表中的歷史數(shù)據(jù)，然后將維度表中的基礎(chǔ)維度數(shù)據(jù)，和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)，最后根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

進(jìn)一步地，處理器1001通過(guò)通信接口1002接收到數(shù)據(jù)在線處理指令時(shí)，確定在線處理規(guī)則，然后根據(jù)確定的所述在線處理規(guī)則，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，以得到在線處理后的數(shù)據(jù)。

進(jìn)一步地，處理器1001根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)之后，將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理，得到報(bào)表數(shù)據(jù)，再將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中，后續(xù)接收到報(bào)表數(shù)據(jù)展示指令時(shí)，直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到顯示界面1004的報(bào)表頁(yè)面上。

進(jìn)一步地，處理器1001通過(guò)通信接口1002從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，以及其它服務(wù)器的可用容量，若查詢(xún)的容量值超出預(yù)設(shè)閾值，則選擇可用容量大于所述容量值的服務(wù)器，并通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)，通過(guò)通信接口1002分發(fā)至選擇的服務(wù)器中，以供選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

基于上述服務(wù)器的硬件結(jié)構(gòu)，提出本發(fā)明數(shù)據(jù)處理裝置的各個(gè)實(shí)施例。

參照?qǐng)D2，圖2為本發(fā)明數(shù)據(jù)處理裝置第一實(shí)施例的模塊示意圖。

需要強(qiáng)調(diào)的是，對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，圖2所示模塊圖僅僅是一個(gè)較佳實(shí)施例的示例圖，本領(lǐng)域的技術(shù)人員圍繞圖2所示的數(shù)據(jù)處理裝置的模塊，可輕易進(jìn)行新的模塊的補(bǔ)充；各模塊的名稱(chēng)是自定義名稱(chēng)，僅用于輔助理解該數(shù)據(jù)處理裝置的各個(gè)程序功能塊，不用于限定本發(fā)明的技術(shù)方案，本發(fā)明技術(shù)方案的核心是，各自定義名稱(chēng)的模塊所要達(dá)成的功能。

在本實(shí)施例中，所述數(shù)據(jù)處理裝置應(yīng)用于服務(wù)器，所述數(shù)據(jù)處理裝置包括：

獲取模塊10，用于從前端頁(yè)面中獲取數(shù)據(jù)；

抽取添加模塊20，用于對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中；

抽象處理模塊30，用于根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

在本實(shí)施例中，先開(kāi)發(fā)ETL(Extract-Transform-Load，抽取-轉(zhuǎn)換-加載)規(guī)則的管理系統(tǒng)，使管理員能夠通過(guò)Web的方式來(lái)管理ETL相關(guān)的規(guī)則，然后根據(jù)實(shí)際業(yè)務(wù)需求，構(gòu)建出相應(yīng)的ETL規(guī)則，并通過(guò)所述ETL規(guī)則的管理系統(tǒng)將ETL規(guī)則錄入到ETL數(shù)據(jù)庫(kù)中。所述ETL規(guī)則是用來(lái)將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端過(guò)程的規(guī)則。所述ETL規(guī)則包括但不限于：基礎(chǔ)ETL規(guī)則、累計(jì)ETL規(guī)則、自定義ETL規(guī)則、個(gè)性化執(zhí)行鏈ETL規(guī)則和報(bào)表ETL規(guī)則等等，其中，每一條ETL規(guī)則，都對(duì)應(yīng)于一個(gè)SQL(Structured Query Language，結(jié)構(gòu)化查詢(xún)語(yǔ)言)的模版，模版中包涵各種待渲染的變量，包括日期、應(yīng)用ID等等。

首先，獲取模塊10從前端頁(yè)面中獲取數(shù)據(jù)，所述前端頁(yè)面指用戶(hù)操作的頁(yè)面，若手機(jī)頁(yè)面或電腦頁(yè)面，獲取模塊10從前端頁(yè)面中獲取數(shù)據(jù)，相當(dāng)于是從終端中獲取數(shù)據(jù)，如從用戶(hù)手機(jī)、電腦中獲取數(shù)據(jù)，其中，所述獲取模塊10獲取數(shù)據(jù)的方式可以是定時(shí)獲取，也可以是實(shí)時(shí)獲取。

在獲取模塊10獲取到數(shù)據(jù)之后，抽取添加模塊20對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度的抽取，本實(shí)施例中，是采用上述的基礎(chǔ)ELT規(guī)則對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度的抽取，即通過(guò)所述基礎(chǔ)ELT規(guī)則對(duì)數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，然后將抽取的基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中，所述維度表是事先建立的，用以存儲(chǔ)基礎(chǔ)維度數(shù)據(jù)。

本實(shí)施例中，數(shù)據(jù)包括多種，如訪問(wèn)量、點(diǎn)擊量、活躍數(shù)等等數(shù)據(jù)，或者是用戶(hù)在某個(gè)網(wǎng)站中的消費(fèi)情況等數(shù)據(jù)，如用戶(hù)在淘寶中消費(fèi)的金額，具體不做限定。相應(yīng)的，所述基礎(chǔ)維度數(shù)據(jù)也包括多種，以用戶(hù)在某個(gè)網(wǎng)站中的消費(fèi)情況等數(shù)據(jù)為例，那么，基礎(chǔ)維度數(shù)據(jù)就包括：日期、網(wǎng)址信息、用戶(hù)ID、用戶(hù)付費(fèi)額度等數(shù)據(jù)。

在將抽取的基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表之后，抽象處理模塊30采用自定義規(guī)則，即上文的自定義ETL規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，所述自定義規(guī)則是對(duì)前面的數(shù)據(jù)進(jìn)行進(jìn)一步抽象，使得抽象處理后的數(shù)據(jù)更加接近于業(yè)務(wù)需求，所述自定義規(guī)則根據(jù)實(shí)際情況設(shè)置，此處不做限定。包括：采用自定義規(guī)則對(duì)數(shù)據(jù)抽象處理，以確定數(shù)據(jù)的類(lèi)別。為更好理解，舉例如下：

例如，前面的基礎(chǔ)維度數(shù)據(jù)是用戶(hù)在一段時(shí)間內(nèi)的付費(fèi)總額，此時(shí)，為了使數(shù)據(jù)更加清楚，更加利于分析，來(lái)給用戶(hù)數(shù)據(jù)劃分群組標(biāo)簽，比如累計(jì)付費(fèi)額在1-100的為初級(jí)付費(fèi)用戶(hù)；100-500為中級(jí)付費(fèi)用戶(hù)，依次類(lèi)推得到最終結(jié)果，那么，即可根據(jù)用戶(hù)在該段時(shí)間內(nèi)的付費(fèi)總額確定用戶(hù)所在的群組。此外，該抽象處理的過(guò)程不僅可以單獨(dú)用來(lái)分析，也可以作為維度信息參與到多表交叉分析中，即將分析結(jié)果作為新的維度信息，添加到維度表中進(jìn)行進(jìn)一步分析。

在對(duì)基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，得到便于業(yè)務(wù)分析的數(shù)據(jù)之后，將抽象處理后的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。后續(xù)，要查詢(xún)或調(diào)用數(shù)據(jù)時(shí)，直接從數(shù)據(jù)倉(cāng)庫(kù)中調(diào)用即可。

本實(shí)施例中，對(duì)數(shù)據(jù)的處理，優(yōu)選是一種離線處理的方式，即在設(shè)定的時(shí)間點(diǎn)對(duì)數(shù)據(jù)進(jìn)行分析處理，例如，在每天的零點(diǎn)進(jìn)行數(shù)據(jù)的分析處理。

本實(shí)施例提出的數(shù)據(jù)處理裝置，服務(wù)器先從前端頁(yè)面中獲取數(shù)據(jù)，然后對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中，再結(jié)合自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)，后續(xù)再對(duì)抽象處理后的數(shù)據(jù)進(jìn)行分析，可更準(zhǔn)確分析出數(shù)據(jù)的實(shí)際情況，而不僅僅是根據(jù)流量情況分析數(shù)據(jù)，本發(fā)明對(duì)數(shù)據(jù)分析之前，先對(duì)數(shù)據(jù)進(jìn)行維度抽取和抽象處理，使得后續(xù)的數(shù)據(jù)分析更加準(zhǔn)確。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理裝置的第二實(shí)施例。

數(shù)據(jù)處理裝置的第二實(shí)施例與數(shù)據(jù)處理裝置的第一實(shí)施例的區(qū)別在于，參照?qǐng)D3，所述數(shù)據(jù)處理裝置包括：

提取模塊40，用于提取預(yù)存維度表中的歷史數(shù)據(jù)；

所述抽象處理模塊30包括：

累計(jì)單元31，用于將維度表中的基礎(chǔ)維度數(shù)據(jù)，和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)；

抽象處理單元32，用于根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

在本實(shí)施例中，在對(duì)基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理之前，為了使后續(xù)的分析結(jié)果更加準(zhǔn)確，還可采用上述的累計(jì)ETL規(guī)則，對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行累計(jì)。即，在對(duì)基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理之前，提取模塊40先在預(yù)存維度表中提取歷史數(shù)據(jù)，然后，累計(jì)單元31采用累計(jì)ETL規(guī)則將維度表中的基礎(chǔ)維度數(shù)據(jù)和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)。比如：用戶(hù)A截止到前一天總的付費(fèi)額為100元，今天又新增付費(fèi)10元，那么累計(jì)ETL規(guī)則會(huì)得出用戶(hù)A有史以來(lái)付費(fèi)110元的結(jié)果，以存儲(chǔ)到相應(yīng)的累積表中。后續(xù)，根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

本實(shí)施例中，通過(guò)累計(jì)ETL規(guī)則對(duì)數(shù)據(jù)的累計(jì)處理，同樣也是一種離線處理的方式，即將當(dāng)天的數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行累計(jì)，累計(jì)之后抽象處理單元32再進(jìn)行抽象處理。

本實(shí)施例中，相當(dāng)于是對(duì)一些歷史累積的用戶(hù)相關(guān)信息的維護(hù)，累計(jì)ETL規(guī)則會(huì)合并之前的ETL結(jié)果和最新一天的數(shù)據(jù)，得到最新的ETL結(jié)果，后續(xù)根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，使得數(shù)據(jù)的分析不僅是根據(jù)當(dāng)前所獲取的數(shù)據(jù)，還可結(jié)合之前的歷史數(shù)據(jù)，防止在某一天的數(shù)據(jù)差異較大時(shí)，得出分析結(jié)果導(dǎo)致分析不準(zhǔn)確，結(jié)合歷史數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行分析，保證了數(shù)據(jù)分析的全面性和穩(wěn)定性，也進(jìn)一步提高了數(shù)據(jù)分析的準(zhǔn)確性。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理裝置的第三實(shí)施例。

數(shù)據(jù)處理裝置的第三實(shí)施例與數(shù)據(jù)處理裝置的第一實(shí)施例的區(qū)別在于，參照?qǐng)D4，所述數(shù)據(jù)處理裝置還包括：

確定模塊50，用于若接收到數(shù)據(jù)在線處理指令時(shí)，確定在線處理規(guī)則，其中，所述在線處理規(guī)則包括若干個(gè)條件和/或字段；

在線處理模塊60，用于根據(jù)確定的所述在線處理規(guī)則，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，以得到在線處理后的數(shù)據(jù)。

本實(shí)施例中，在從前端頁(yè)面中獲取到數(shù)據(jù)之后，若接收到數(shù)據(jù)在線處理指令，確定模塊50先確定在線處理規(guī)則，所述在線處理規(guī)則即上文所述的個(gè)性化執(zhí)行鏈ETL規(guī)則，本實(shí)施例中，所述在線處理規(guī)則優(yōu)選是若干個(gè)條件和/或字段組成的規(guī)則，包括：若干個(gè)條件組成的規(guī)則、若干個(gè)字段組成的規(guī)則，或若干個(gè)條件加字段組成的規(guī)則。在確定在線處理規(guī)則之后，在線處理模塊60根據(jù)該在線處理，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，例如，該在線處理規(guī)則：Select*from Male where地區(qū)＝'福建'and年齡age>25and動(dòng)作＝Playgames(篩選出福建省中正在玩游戲，年齡大于25歲的男性)，那么根據(jù)該在線處理規(guī)則進(jìn)行數(shù)據(jù)的在線處理，以篩選出符合這個(gè)規(guī)則的數(shù)據(jù)。

進(jìn)一步地，本實(shí)施例與前面的兩個(gè)實(shí)施例的不同之處還在于，本實(shí)施例還可以是針對(duì)通用邏輯不能滿足的情況下，所提出的數(shù)據(jù)處理方式。即所述在線處理規(guī)則還是不同于通用邏輯的規(guī)則，即通用邏輯所沒(méi)有的規(guī)則。例如，傳統(tǒng)的數(shù)據(jù)分析，只能單獨(dú)分析一個(gè)終端應(yīng)用的數(shù)據(jù)，即服務(wù)器只能單獨(dú)分析微信中的數(shù)據(jù)，或者是單獨(dú)分析QQ中的數(shù)據(jù)。而本實(shí)施例，可以同時(shí)對(duì)微信和QQ兩個(gè)應(yīng)用進(jìn)行同時(shí)合并分析，具體也是通過(guò)在線處理規(guī)則的條件和/或字段實(shí)現(xiàn)，即在該在線處理規(guī)則中，設(shè)置包含不同終端應(yīng)用的條件和/或字段。當(dāng)然，要實(shí)現(xiàn)同時(shí)對(duì)兩個(gè)不同應(yīng)用的數(shù)據(jù)進(jìn)行合并分析，所述服務(wù)器需要先與兩個(gè)應(yīng)用的服務(wù)端關(guān)聯(lián)，后續(xù)在線處理模塊60同時(shí)對(duì)兩個(gè)服務(wù)端的數(shù)據(jù)進(jìn)行合并分析。

本實(shí)施例中，提供一種數(shù)據(jù)在線處理方式，既可以實(shí)現(xiàn)數(shù)據(jù)的在線分析，還可以實(shí)現(xiàn)不同終端應(yīng)用中數(shù)據(jù)的合并分析，使得數(shù)據(jù)的分析更加靈活。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理裝置的第四實(shí)施例。

數(shù)據(jù)處理裝置的第四實(shí)施例與數(shù)據(jù)處理裝置的第一實(shí)施例的區(qū)別在于，參照?qǐng)D5，所述數(shù)據(jù)處理裝置還包括：

報(bào)表處理模塊70，用于將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理，得到報(bào)表數(shù)據(jù)；

存儲(chǔ)模塊80，用于將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中，后續(xù)接收到報(bào)表數(shù)據(jù)展示指令時(shí)，直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到報(bào)表頁(yè)面上。

本實(shí)施例中，根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)之后，報(bào)表處理模塊70通過(guò)上述的報(bào)表ETL規(guī)則將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理得到報(bào)表數(shù)據(jù)，所述報(bào)表處理方式，相當(dāng)于是按照?qǐng)?bào)表的形式，將數(shù)據(jù)以報(bào)表形式進(jìn)行整合，得到報(bào)表數(shù)據(jù)，最終存儲(chǔ)模塊80將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中。后續(xù)，若接收到報(bào)表數(shù)據(jù)展示指令，則直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到報(bào)表頁(yè)面上。

應(yīng)當(dāng)理解，上述三個(gè)實(shí)施例中的各個(gè)ETL規(guī)則，都是將最終執(zhí)行結(jié)果存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，作為中間的持久化計(jì)算結(jié)果，這些計(jì)算結(jié)果作為數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的一部分存在。

本實(shí)施例中，報(bào)表數(shù)據(jù)會(huì)直接存儲(chǔ)于HBasePhoenix(分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù))中，報(bào)表系統(tǒng)會(huì)直接訪問(wèn)Phoenix獲取相應(yīng)的結(jié)果，以圖表的形式展現(xiàn)于報(bào)表頁(yè)面之上。這種類(lèi)型的報(bào)表，其優(yōu)勢(shì)在于能夠快速獲取最終報(bào)表結(jié)果，并直接呈現(xiàn)于頁(yè)面之上，并且獲取數(shù)據(jù)時(shí)，比從數(shù)據(jù)倉(cāng)庫(kù)中獲取的速度更快。

應(yīng)當(dāng)理解，本發(fā)明中的ETL規(guī)則的各個(gè)層級(jí)是有嚴(yán)格的層間順序依賴(lài)的，比如說(shuō)基礎(chǔ)ETL規(guī)則必須先執(zhí)行完畢之后，累計(jì)ETL規(guī)則才能執(zhí)行，其本質(zhì)的原因在于，后一層的計(jì)算規(guī)則會(huì)用到前面各層(包括最原始的數(shù)據(jù))的計(jì)算結(jié)果。

同理，基礎(chǔ)ETL規(guī)則執(zhí)行完之后，才能執(zhí)行自定義ETL規(guī)則，或者是累計(jì)ETL規(guī)則執(zhí)行之后，才能執(zhí)行自定義ETL規(guī)則。

然而，個(gè)性化執(zhí)行鏈ETL規(guī)則是一種在線規(guī)則，不用引用其他任一項(xiàng)規(guī)則，直接獲取源數(shù)據(jù)進(jìn)行分析即可，因此個(gè)性化執(zhí)行鏈ETL規(guī)則不依賴(lài)于其它規(guī)則。

報(bào)表ETL規(guī)則也是基于上述的各層規(guī)則實(shí)現(xiàn)的，要么是引用基礎(chǔ)ETL規(guī)則，要么是引用累計(jì)ETL規(guī)則、或自定義概念ETL規(guī)則、或是個(gè)性化執(zhí)行鏈ETL規(guī)則。

雖然上面介紹了ETL規(guī)則的各個(gè)層級(jí)的引用關(guān)系，但是這是針對(duì)同一個(gè)應(yīng)用而言的，對(duì)于不同的應(yīng)用，各層ETL規(guī)則之間的執(zhí)行是相互獨(dú)立的，比如APP1的第一層執(zhí)行結(jié)果執(zhí)行完了，但是APP2的第一層執(zhí)行未結(jié)束，APP1就可以進(jìn)入第二層的執(zhí)行，而不必等待APP2第一層執(zhí)行完成。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理裝置的第五實(shí)施例。

數(shù)據(jù)處理裝置的第五實(shí)施例與數(shù)據(jù)處理裝置的第一至第四實(shí)施例的區(qū)別在于，參照?qǐng)D6，所述數(shù)據(jù)處理裝置還包括：

查詢(xún)模塊90，用于從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，以及其它服務(wù)器的可用容量；

選擇分發(fā)模塊100，用于若查詢(xún)的容量值超出預(yù)設(shè)閾值，則選擇可用容量大于所述容量值的服務(wù)器，并通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)分發(fā)至選擇的服務(wù)器中，以供選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

在本實(shí)施中，獲取模塊10從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，查詢(xún)模塊90先通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，如今天獲取的數(shù)據(jù)的容量值是200M，并且，監(jiān)聽(tīng)關(guān)聯(lián)的其它服務(wù)器的可用容量。然后將查詢(xún)的容量值與預(yù)設(shè)閾值進(jìn)行比對(duì)，所述預(yù)設(shè)閾值根據(jù)實(shí)際情況進(jìn)行設(shè)定。在查詢(xún)的容量值超出預(yù)設(shè)閾值時(shí)，選擇分發(fā)模塊100選擇可用容量大于所述容量值的服務(wù)器，然后通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)分發(fā)至選擇的服務(wù)器中，選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

本實(shí)施例，是為了減緩單臺(tái)服務(wù)器運(yùn)行ETL引擎壓力過(guò)大，需要分布到多個(gè)服務(wù)器上執(zhí)行的情況所設(shè)計(jì)的方案，即在服務(wù)器的處理壓力過(guò)大時(shí)，可通過(guò)預(yù)置程序?qū)⒉煌瑧?yīng)用中采集的數(shù)據(jù)分發(fā)給不同的服務(wù)器，避免服務(wù)器處理壓力過(guò)大時(shí)，導(dǎo)致的數(shù)據(jù)處理效率降低。

基于第一至第五實(shí)施例的具體描述，本實(shí)施例以具體的應(yīng)用場(chǎng)景再次描述本發(fā)明數(shù)據(jù)處理的具體實(shí)現(xiàn)過(guò)程。

請(qǐng)參照?qǐng)D7，圖7是本發(fā)明數(shù)據(jù)處理的具體場(chǎng)景示意圖。

如圖7所示，服務(wù)器先開(kāi)發(fā)ETL規(guī)則管理系統(tǒng)，并建立ETL規(guī)則，然后通過(guò)所述ETL規(guī)則管理系統(tǒng)，將建立的ETL規(guī)則錄入到所述ETL規(guī)則數(shù)據(jù)庫(kù)(MySQL)中，然后確定當(dāng)前是要進(jìn)行離線處理(Hive JDBC)，還是在線處理(Presto JDBC)，然后根據(jù)ETL引擎(ETL Engine)，執(zhí)行相應(yīng)的處理操作，若是采用離線處理方式處理數(shù)據(jù)，則將離線處理后的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)(Datawarehouse)；若是采用在線處理方式處理數(shù)據(jù)，則將在線處理后的數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)(Hbase Phoenix)中；當(dāng)然，若是對(duì)數(shù)據(jù)進(jìn)行報(bào)表處理，還會(huì)將報(bào)表處理后的數(shù)據(jù)存儲(chǔ)到報(bào)表系統(tǒng)(Report system)中，以完成數(shù)據(jù)處理的過(guò)程，后續(xù)即可對(duì)數(shù)據(jù)后的數(shù)據(jù)進(jìn)行分析，使得數(shù)據(jù)的分析結(jié)果更加準(zhǔn)確。

本發(fā)明還提供一種數(shù)據(jù)處理方法。

參照?qǐng)D8，圖8為本發(fā)明數(shù)據(jù)處理方法第一實(shí)施例的流程示意圖。

在本實(shí)施例中，所述數(shù)據(jù)處理方法應(yīng)用于服務(wù)器，所述數(shù)據(jù)處理方法包括：

服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)；對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中；根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

在本實(shí)施例中，先開(kāi)發(fā)ETL(Extract-Transform-Load，抽取-轉(zhuǎn)換-加載)規(guī)則的管理系統(tǒng)，使管理員能夠通過(guò)Web的方式來(lái)管理ETL相關(guān)的規(guī)則，然后根據(jù)實(shí)際業(yè)務(wù)需求，構(gòu)建出相應(yīng)的ETL規(guī)則，并通過(guò)所述ETL規(guī)則的管理系統(tǒng)將ETL規(guī)則錄入到ETL數(shù)據(jù)庫(kù)中。所述ETL規(guī)則是用來(lái)將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端過(guò)程的規(guī)則。所述ETL規(guī)則包括但不限于：基礎(chǔ)ETL規(guī)則、累計(jì)ETL規(guī)則、自定義ETL規(guī)則、個(gè)性化執(zhí)行鏈ETL規(guī)則和報(bào)表ETL規(guī)則等等，其中，每一條ETL規(guī)則，都對(duì)應(yīng)于一個(gè)SQL(Structured Query Language，結(jié)構(gòu)化查詢(xún)語(yǔ)言)的模版，模版中包涵各種待渲染的變量，包括日期、應(yīng)用ID等等。

以下是本實(shí)施例中逐步實(shí)現(xiàn)數(shù)據(jù)處理的具體步驟：

步驟S10，服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)；

首先，服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)，所述前端頁(yè)面指用戶(hù)操作的頁(yè)面，若手機(jī)頁(yè)面或電腦頁(yè)面，服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)，相當(dāng)于是從終端中獲取數(shù)據(jù)，如從用戶(hù)手機(jī)、電腦中獲取數(shù)據(jù)，其中，所述服務(wù)器獲取數(shù)據(jù)的方式可以是定時(shí)獲取，也可以是實(shí)時(shí)獲取。

步驟S20，對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中；

在獲取到數(shù)據(jù)之后，對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度的抽取，本實(shí)施例中，是采用上述的基礎(chǔ)ELT規(guī)則對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度的抽取，即通過(guò)所述基礎(chǔ)ELT規(guī)則對(duì)數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，然后將抽取的基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中，所述維度表是事先建立的，用以存儲(chǔ)基礎(chǔ)維度數(shù)據(jù)。

本實(shí)施例中，數(shù)據(jù)包括多種，如訪問(wèn)量、點(diǎn)擊量、活躍數(shù)等等數(shù)據(jù)，或者是用戶(hù)在某個(gè)網(wǎng)站中的消費(fèi)情況等數(shù)據(jù)，如用戶(hù)在淘寶中消費(fèi)的金額，具體不做限定。相應(yīng)的，所述基礎(chǔ)維度數(shù)據(jù)也包括多種，以用戶(hù)在某個(gè)網(wǎng)站中的消費(fèi)情況等數(shù)據(jù)為例，那么，基礎(chǔ)維度數(shù)據(jù)就包括：日期、網(wǎng)址信息、用戶(hù)ID、用戶(hù)付費(fèi)額度等數(shù)據(jù)。

步驟S30，根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

在將抽取的基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表之后，采用自定義規(guī)則，即上文的自定義ETL規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，所述自定義規(guī)則是對(duì)前面的數(shù)據(jù)進(jìn)行進(jìn)一步抽象，使得抽象處理后的數(shù)據(jù)更加接近于業(yè)務(wù)需求，所述自定義規(guī)則根據(jù)實(shí)際情況設(shè)置，此處不做限定。包括：采用自定義規(guī)則對(duì)數(shù)據(jù)抽象處理，以確定數(shù)據(jù)的類(lèi)別。為更好理解，舉例如下：

例如，前面的基礎(chǔ)維度數(shù)據(jù)是用戶(hù)在一段時(shí)間內(nèi)的付費(fèi)總額，此時(shí)，為了使數(shù)據(jù)更加清楚，更加利于分析，來(lái)給用戶(hù)數(shù)據(jù)劃分群組標(biāo)簽，比如累計(jì)付費(fèi)額在1-100的為初級(jí)付費(fèi)用戶(hù)；100-500為中級(jí)付費(fèi)用戶(hù)，依次類(lèi)推得到最終結(jié)果，那么，即可根據(jù)用戶(hù)在該段時(shí)間內(nèi)的付費(fèi)總額確定用戶(hù)所在的群組。此外，該抽象處理的過(guò)程不僅可以單獨(dú)用來(lái)分析，也可以作為維度信息參與到多表交叉分析中，即將分析結(jié)果作為新的維度信息，添加到維度表中進(jìn)行進(jìn)一步分析。

在對(duì)基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，得到便于業(yè)務(wù)分析的數(shù)據(jù)之后，將抽象處理后的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中。后續(xù)，要查詢(xún)或調(diào)用數(shù)據(jù)時(shí)，直接從數(shù)據(jù)倉(cāng)庫(kù)中調(diào)用即可。

本實(shí)施例中，對(duì)數(shù)據(jù)的處理，優(yōu)選是一種離線處理的方式，即在設(shè)定的時(shí)間點(diǎn)對(duì)數(shù)據(jù)進(jìn)行分析處理，例如，在每天的零點(diǎn)進(jìn)行數(shù)據(jù)的分析處理。

本實(shí)施例提出的數(shù)據(jù)處理方法，服務(wù)器先從前端頁(yè)面中獲取數(shù)據(jù)，然后對(duì)獲取的數(shù)據(jù)進(jìn)行基礎(chǔ)維度數(shù)據(jù)的抽取，以將抽取的所述基礎(chǔ)維度數(shù)據(jù)添加到預(yù)設(shè)的維度表中，再結(jié)合自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)，后續(xù)再對(duì)抽象處理后的數(shù)據(jù)進(jìn)行分析，可更準(zhǔn)確分析出數(shù)據(jù)的實(shí)際情況，而不僅僅是根據(jù)流量情況分析數(shù)據(jù)，本發(fā)明對(duì)數(shù)據(jù)分析之前，先對(duì)數(shù)據(jù)進(jìn)行維度抽取和抽象處理，使得后續(xù)的數(shù)據(jù)分析更加準(zhǔn)確。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理方法的第二實(shí)施例。

數(shù)據(jù)處理方法的第二實(shí)施例與數(shù)據(jù)處理方法的第一實(shí)施例的區(qū)別在于，參照?qǐng)D9，所述步驟S30之前，還包括：

步驟S40，提取預(yù)存維度表中的歷史數(shù)據(jù)；

所述步驟S30包括：

步驟S31，將維度表中的基礎(chǔ)維度數(shù)據(jù)，和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)；

步驟S32，根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

在本實(shí)施例中，在對(duì)基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理之前，為了使后續(xù)的分析結(jié)果更加準(zhǔn)確，還可采用上述的累計(jì)ETL規(guī)則，對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行累計(jì)。即，在對(duì)基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理之前，先在預(yù)存維度表中提取歷史數(shù)據(jù)，然后，采用累計(jì)ETL規(guī)則將維度表中的基礎(chǔ)維度數(shù)據(jù)和預(yù)存維度表中的歷史數(shù)據(jù)進(jìn)行累計(jì)。比如：用戶(hù)A截止到前一天總的付費(fèi)額為100元，今天又新增付費(fèi)10元，那么累計(jì)ETL規(guī)則會(huì)得出用戶(hù)A有史以來(lái)付費(fèi)110元的結(jié)果，以存儲(chǔ)到相應(yīng)的累積表中。后續(xù)，根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)。

本實(shí)施例中，通過(guò)累計(jì)ETL規(guī)則對(duì)數(shù)據(jù)的累計(jì)處理，同樣也是一種離線處理的方式，即將當(dāng)天的數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行累計(jì)，累計(jì)之后再進(jìn)行抽象處理。

本實(shí)施例中，相當(dāng)于是對(duì)一些歷史累積的用戶(hù)相關(guān)信息的維護(hù)，累計(jì)ETL規(guī)則會(huì)合并之前的ETL結(jié)果和最新一天的數(shù)據(jù)，得到最新的ETL結(jié)果，后續(xù)根據(jù)自定義規(guī)則對(duì)累計(jì)后的數(shù)據(jù)進(jìn)行抽象處理，使得數(shù)據(jù)的分析不僅是根據(jù)當(dāng)前所獲取的數(shù)據(jù)，還可結(jié)合之前的歷史數(shù)據(jù)，防止在某一天的數(shù)據(jù)差異較大時(shí)，得出分析結(jié)果導(dǎo)致分析不準(zhǔn)確，結(jié)合歷史數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行分析，保證了數(shù)據(jù)分析的全面性和穩(wěn)定性，也進(jìn)一步提高了數(shù)據(jù)分析的準(zhǔn)確性。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理方法的第三實(shí)施例。

數(shù)據(jù)處理方法的第三實(shí)施例與數(shù)據(jù)處理方法的第一實(shí)施例的區(qū)別在于，參照?qǐng)D10，所述步驟S10之后，還包括：

步驟S50，若接收到數(shù)據(jù)在線處理指令時(shí)，確定在線處理規(guī)則，其中，所述在線處理規(guī)則包括若干個(gè)條件和/或字段；

步驟S60，根據(jù)確定的所述在線處理規(guī)則，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，以得到在線處理后的數(shù)據(jù)。

本實(shí)施例中，在從前端頁(yè)面中獲取到數(shù)據(jù)之后，若接收到數(shù)據(jù)在線處理指令，先確定在線處理規(guī)則，所述在線處理規(guī)則即上文所述的個(gè)性化執(zhí)行鏈ETL規(guī)則，本實(shí)施例中，所述在線處理規(guī)則優(yōu)選是若干個(gè)條件和/或字段組成的規(guī)則，包括：若干個(gè)條件組成的規(guī)則、若干個(gè)字段組成的規(guī)則，或若干個(gè)條件加字段組成的規(guī)則。在確定在線處理規(guī)則之后，根據(jù)該在線處理，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，例如，該在線處理規(guī)則：Select*from Male where地區(qū)＝'福建'and年齡age>25and動(dòng)作＝Playgames(篩選出福建省中正在玩游戲，年齡大于25歲的男性)，那么根據(jù)該在線處理規(guī)則進(jìn)行數(shù)據(jù)的在線處理，以篩選出符合這個(gè)規(guī)則的數(shù)據(jù)。

進(jìn)一步地，本實(shí)施例與前面的兩個(gè)實(shí)施例的不同之處還在于，本實(shí)施例還可以是針對(duì)通用邏輯不能滿足的情況下，所提出的數(shù)據(jù)處理方式。即所述在線處理規(guī)則還是不同于通用邏輯的規(guī)則，即通用邏輯所沒(méi)有的規(guī)則。例如，傳統(tǒng)的數(shù)據(jù)分析，只能單獨(dú)分析一個(gè)終端應(yīng)用的數(shù)據(jù)，即服務(wù)器只能單獨(dú)分析微信中的數(shù)據(jù)，或者是單獨(dú)分析QQ中的數(shù)據(jù)。而本實(shí)施例，可以同時(shí)對(duì)微信和QQ兩個(gè)應(yīng)用進(jìn)行同時(shí)合并分析，具體也是通過(guò)在線處理規(guī)則的條件和/或字段實(shí)現(xiàn)，即在該在線處理規(guī)則中，設(shè)置包含不同終端應(yīng)用的條件和/或字段。當(dāng)然，要實(shí)現(xiàn)同時(shí)對(duì)兩個(gè)不同應(yīng)用的數(shù)據(jù)進(jìn)行合并分析，所述服務(wù)器需要先與兩個(gè)應(yīng)用的服務(wù)端關(guān)聯(lián)，后續(xù)同時(shí)對(duì)兩個(gè)服務(wù)端的數(shù)據(jù)進(jìn)行合并分析。

本實(shí)施例中，提供一種數(shù)據(jù)在線處理方式，既可以實(shí)現(xiàn)數(shù)據(jù)的在線分析，還可以實(shí)現(xiàn)不同終端應(yīng)用中數(shù)據(jù)的合并分析，使得數(shù)據(jù)的分析更加靈活。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理方法的第四實(shí)施例。

數(shù)據(jù)處理方法的第四實(shí)施例與數(shù)據(jù)處理方法的第一實(shí)施例的區(qū)別在于，參照?qǐng)D11，所述步驟S30之后，所述數(shù)據(jù)處理方法還包括：

步驟S70，將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理，得到報(bào)表數(shù)據(jù)；

步驟S80，將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中，后續(xù)接收到報(bào)表數(shù)據(jù)展示指令時(shí)，直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到報(bào)表頁(yè)面上。

本實(shí)施例中，根據(jù)自定義規(guī)則對(duì)維度表中的基礎(chǔ)維度數(shù)據(jù)進(jìn)行抽象處理，以得到便于業(yè)務(wù)分析的數(shù)據(jù)之后，通過(guò)上述的報(bào)表ETL規(guī)則將抽象處理后的數(shù)據(jù)以頁(yè)面報(bào)表的形式進(jìn)行報(bào)表處理得到報(bào)表數(shù)據(jù)，所述報(bào)表處理方式，相當(dāng)于是按照?qǐng)?bào)表的形式，將數(shù)據(jù)以報(bào)表形式進(jìn)行整合，得到報(bào)表數(shù)據(jù)，最終將報(bào)表數(shù)據(jù)存儲(chǔ)到開(kāi)源數(shù)據(jù)庫(kù)中。后續(xù)，若接收到報(bào)表數(shù)據(jù)展示指令，則直接從所述開(kāi)源數(shù)據(jù)庫(kù)獲取報(bào)表數(shù)據(jù)，并以報(bào)表的形式展示到報(bào)表頁(yè)面上。

應(yīng)當(dāng)理解，上述三個(gè)實(shí)施例中的各個(gè)ETL規(guī)則，都是將最終執(zhí)行結(jié)果存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，作為中間的持久化計(jì)算結(jié)果，這些計(jì)算結(jié)果作為數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的一部分存在。

本實(shí)施例中，報(bào)表數(shù)據(jù)會(huì)直接存儲(chǔ)于HBasePhoenix(分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù))中，報(bào)表系統(tǒng)會(huì)直接訪問(wèn)Phoenix獲取相應(yīng)的結(jié)果，以圖表的形式展現(xiàn)于報(bào)表頁(yè)面之上。這種類(lèi)型的報(bào)表，其優(yōu)勢(shì)在于能夠快速獲取最終報(bào)表結(jié)果，并直接呈現(xiàn)于頁(yè)面之上，并且獲取數(shù)據(jù)時(shí)，比從數(shù)據(jù)倉(cāng)庫(kù)中獲取的速度更快。

應(yīng)當(dāng)理解，本發(fā)明中的ETL規(guī)則的各個(gè)層級(jí)是有嚴(yán)格的層間順序依賴(lài)的，比如說(shuō)基礎(chǔ)ETL規(guī)則必須先執(zhí)行完畢之后，累計(jì)ETL規(guī)則才能執(zhí)行，其本質(zhì)的原因在于，后一層的計(jì)算規(guī)則會(huì)用到前面各層(包括最原始的數(shù)據(jù))的計(jì)算結(jié)果。

同理，基礎(chǔ)ETL規(guī)則執(zhí)行完之后，才能執(zhí)行自定義ETL規(guī)則，或者是累計(jì)ETL規(guī)則執(zhí)行之后，才能執(zhí)行自定義ETL規(guī)則。

然而，個(gè)性化執(zhí)行鏈ETL規(guī)則是一種在線規(guī)則，不用引用其他任一項(xiàng)規(guī)則，直接獲取源數(shù)據(jù)進(jìn)行分析即可，因此個(gè)性化執(zhí)行鏈ETL規(guī)則不依賴(lài)于其它規(guī)則。

報(bào)表ETL規(guī)則也是基于上述的各層規(guī)則實(shí)現(xiàn)的，要么是引用基礎(chǔ)ETL規(guī)則，要么是引用累計(jì)ETL規(guī)則、或自定義概念ETL規(guī)則、或是個(gè)性化執(zhí)行鏈ETL規(guī)則。

雖然上面介紹了ETL規(guī)則的各個(gè)層級(jí)的引用關(guān)系，但是這是針對(duì)同一個(gè)應(yīng)用而言的，對(duì)于不同的應(yīng)用，各層ETL規(guī)則之間的執(zhí)行是相互獨(dú)立的，比如APP1的第一層執(zhí)行結(jié)果執(zhí)行完了，但是APP2的第一層執(zhí)行未結(jié)束，APP1就可以進(jìn)入第二層的執(zhí)行，而不必等待APP2第一層執(zhí)行完成。

進(jìn)一步地，提出本發(fā)明數(shù)據(jù)處理方法的第五實(shí)施例。

數(shù)據(jù)處理方法的第五實(shí)施例與數(shù)據(jù)處理方法的第一至第四實(shí)施例的區(qū)別在于：參照?qǐng)D12，所述數(shù)據(jù)處理方法還包括：

步驟S90，從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，以及其它服務(wù)器的可用容量；

步驟S100，若查詢(xún)的容量值超出預(yù)設(shè)閾值，則選擇可用容量大于所述容量值的服務(wù)器，并通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)分發(fā)至選擇的服務(wù)器中，以供選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

在本實(shí)施中，服務(wù)器從前端頁(yè)面中獲取數(shù)據(jù)時(shí)，先通過(guò)預(yù)置程序查詢(xún)數(shù)據(jù)的容量值，如今天獲取的數(shù)據(jù)的容量值是200M，并且，監(jiān)聽(tīng)關(guān)聯(lián)的其它服務(wù)器的可用容量。然后將查詢(xún)的容量值與預(yù)設(shè)閾值進(jìn)行比對(duì)，所述預(yù)設(shè)閾值根據(jù)實(shí)際情況進(jìn)行設(shè)定。在查詢(xún)的容量值超出預(yù)設(shè)閾值時(shí)，選擇可用容量大于所述容量值的服務(wù)器，然后通過(guò)所述預(yù)置程序?qū)@取的數(shù)據(jù)分發(fā)至選擇的服務(wù)器中，選擇的所述服務(wù)器執(zhí)行數(shù)據(jù)處理操作。

本實(shí)施例，是為了減緩單臺(tái)服務(wù)器運(yùn)行ETL引擎壓力過(guò)大，需要分布到多個(gè)服務(wù)器上執(zhí)行的情況所設(shè)計(jì)的方案，即在服務(wù)器的處理壓力過(guò)大時(shí)，可通過(guò)預(yù)置程序?qū)⒉煌瑧?yīng)用中采集的數(shù)據(jù)分發(fā)給不同的服務(wù)器，避免服務(wù)器處理壓力過(guò)大時(shí)，導(dǎo)致的數(shù)據(jù)處理效率降低。

需要說(shuō)明的是，在本文中，術(shù)語(yǔ)“包括”、“包含”或者其任何其它變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者系統(tǒng)不僅包括那些要素，而且還包括沒(méi)有明確列出的其它要素，或者是還包括為這種過(guò)程、方法、物品或者系統(tǒng)所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括該要素的過(guò)程、方法、物品或者系統(tǒng)中還存在另外的相同要素。

上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如ROM/RAM、磁碟、光盤(pán))中，包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，空調(diào)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專(zhuān)利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其它相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。