本發(fā)明涉及軟件測(cè)試領(lǐng)域，尤其涉及一種離線數(shù)據(jù)任務(wù)的驗(yàn)證方法及裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，為了對(duì)用戶的行為進(jìn)行分析并滿足用戶不斷增多的需求，對(duì)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行分析是互聯(lián)網(wǎng)公司必須進(jìn)行的工作之一。目前互聯(lián)網(wǎng)數(shù)據(jù)分析主要基于大數(shù)據(jù)平臺(tái)，對(duì)于離線數(shù)據(jù)而言，大數(shù)據(jù)平臺(tái)可以根據(jù)已經(jīng)預(yù)置的規(guī)則輸出離線數(shù)據(jù)供互聯(lián)網(wǎng)公司使用，但是其提供的離線數(shù)據(jù)的維度可能無(wú)法滿足互聯(lián)網(wǎng)公司的需求，并且大數(shù)據(jù)平臺(tái)輸出的離線數(shù)據(jù)維度無(wú)法進(jìn)行控制，使得目前大數(shù)據(jù)平臺(tái)輸出的離線數(shù)據(jù)維度覆蓋度不高。目前，主要是通過(guò)手動(dòng)對(duì)大數(shù)據(jù)平臺(tái)提供的離線數(shù)據(jù)進(jìn)行處理，以滿足互聯(lián)網(wǎng)公司的需求，由于互聯(lián)網(wǎng)數(shù)據(jù)量及其增長(zhǎng)速度，使得手動(dòng)處理離線數(shù)據(jù)已經(jīng)無(wú)法滿足互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展的速度，從而有必要通過(guò)離線數(shù)據(jù)任務(wù)來(lái)完成離線數(shù)據(jù)的處理，但是在離線數(shù)據(jù)任務(wù)在正式上線之前，需要對(duì)其進(jìn)行測(cè)試，以便確定其是否符合離線數(shù)據(jù)任務(wù)設(shè)計(jì)的需求。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種離線數(shù)據(jù)處理的驗(yàn)證方法及裝置，以對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行測(cè)試，使得離線數(shù)據(jù)任務(wù)能夠符合設(shè)計(jì)的需要。

本發(fā)明提供了一種離線數(shù)據(jù)任務(wù)的驗(yàn)證方法，包括：

生成測(cè)試數(shù)據(jù)；

記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度；

離線數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度；

將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述離線處理任務(wù)。

優(yōu)選地，該方法還包括：根據(jù)比對(duì)結(jié)果生成測(cè)試報(bào)告。

優(yōu)選地，所述生成測(cè)試數(shù)據(jù)包括：根據(jù)待測(cè)試的數(shù)據(jù)記錄的數(shù)據(jù)標(biāo)準(zhǔn)生成所述測(cè)試數(shù)據(jù)。

優(yōu)選地，所述記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果包括：根據(jù)離線數(shù)據(jù)任務(wù)處理的邏輯方法以及離線數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則，記錄預(yù)期結(jié)果集。

優(yōu)選地，在記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集步驟與離線數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)步驟之間還包括將測(cè)試數(shù)據(jù)上傳至大數(shù)據(jù)平臺(tái)，其中所述離線處理任務(wù)在所述大數(shù)據(jù)平臺(tái)上運(yùn)行。

優(yōu)選地，所述離線數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)包括：

離線數(shù)據(jù)任務(wù)讀取測(cè)試數(shù)據(jù)；

根據(jù)離線數(shù)據(jù)任務(wù)的邏輯方法以及離線數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則生成測(cè)試結(jié)果集。

本發(fā)明提供了一種離線數(shù)據(jù)任務(wù)的驗(yàn)證裝置，包括：

測(cè)試數(shù)據(jù)生成模塊，用于生成測(cè)試數(shù)據(jù)；

預(yù)期結(jié)果集記錄模塊，用于記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度；

離線數(shù)據(jù)任務(wù)模塊，用于處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度；

驗(yàn)證模塊，用于將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述離線處理任務(wù)。

優(yōu)選地，該驗(yàn)證裝置還包括測(cè)試報(bào)告生成模塊，用于根據(jù)比對(duì)結(jié)果生成測(cè)試報(bào)告。

優(yōu)選地，所述測(cè)試數(shù)據(jù)生成模塊用于根據(jù)待測(cè)試的數(shù)據(jù)記錄的數(shù)據(jù)標(biāo)準(zhǔn)生成所述測(cè)試數(shù)據(jù)。

優(yōu)選地，所述預(yù)期結(jié)果集記錄模塊用于根據(jù)離線數(shù)據(jù)任務(wù)處理模塊的邏輯方法以及離線數(shù)據(jù)任務(wù)模塊的統(tǒng)計(jì)維度規(guī)則，記錄預(yù)期結(jié)果集。

優(yōu)選地，該驗(yàn)證裝置還包括上傳模塊，用于將測(cè)試數(shù)據(jù)上傳至大數(shù)據(jù)平臺(tái)；其中所述離線處理任務(wù)模塊在所述大數(shù)據(jù)平臺(tái)上。

優(yōu)選地，所述離線數(shù)據(jù)任務(wù)處理模塊用于讀取測(cè)試數(shù)據(jù)，并根據(jù)離線數(shù)據(jù)任務(wù)模塊的邏輯方法以及離線數(shù)據(jù)任務(wù)模塊的統(tǒng)計(jì)維度規(guī)則生成測(cè)試結(jié)果集。

本發(fā)明可以充分提高離線數(shù)據(jù)處理任務(wù)的測(cè)試覆蓋率以及測(cè)試質(zhì)量，同時(shí)提高結(jié)果數(shù)據(jù)的完整性與準(zhǔn)確性，并能夠生成測(cè)試報(bào)告以便離線數(shù)據(jù)處理任務(wù)的設(shè)計(jì)人員進(jìn)行閱讀，在必要的情況下，對(duì)離線數(shù)據(jù)處理任務(wù)進(jìn)行改進(jìn)，以提高離線數(shù)據(jù)任務(wù)的處理能力。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1是本發(fā)明提供的離線數(shù)據(jù)任務(wù)的驗(yàn)證方法的流程圖；

圖2是本發(fā)明提供的離線數(shù)據(jù)任務(wù)的驗(yàn)證方法的詳細(xì)流程圖；

圖3是本發(fā)明提供的離線數(shù)據(jù)任務(wù)的驗(yàn)證裝置的示意圖。

附圖標(biāo)記說(shuō)明

305 測(cè)試數(shù)據(jù)生成模塊 310 預(yù)期結(jié)果集記錄模塊

315 離線數(shù)據(jù)任務(wù)模塊 320 驗(yàn)證裝置

325 上傳模塊 330 測(cè)試報(bào)告生成模塊

具體實(shí)施方式

如在說(shuō)明書(shū)及權(quán)利要求當(dāng)中使用了某些詞匯來(lái)指稱特定組件。本領(lǐng)域技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同名詞來(lái)稱呼同一個(gè)組件。本說(shuō)明書(shū)及權(quán)利要求并不以名稱的差異來(lái)作為區(qū)分組件的方式，而是以組件在功能上的差異來(lái)作為區(qū)分的準(zhǔn)則。如在通篇說(shuō)明書(shū)及權(quán)利要求當(dāng)中所提及的“包含”為一開(kāi)放式用語(yǔ)，故應(yīng)解釋成“包含但不限定于”?！按笾隆笔侵冈诳山邮盏恼`差范圍內(nèi)，本領(lǐng)域技術(shù)人員能夠在一定誤差范圍內(nèi)解決所述技術(shù)問(wèn)題，基本達(dá)到所述技術(shù)效果。說(shuō)明書(shū)后續(xù)描述為實(shí)施本發(fā)明的較佳實(shí)施方式，然所述描述乃以說(shuō)明本發(fā)明的一般原則為目的，并非用以限定本發(fā)明的范圍。本發(fā)明的保護(hù)范圍當(dāng)視所附權(quán)利要求所界定者為準(zhǔn)。

為了在離線數(shù)據(jù)任務(wù)上線之前對(duì)其進(jìn)行充分的測(cè)試，以確保其能夠按照設(shè)計(jì)需求進(jìn)行正常工作，本發(fā)明提供了一種離線數(shù)據(jù)任務(wù)的驗(yàn)證方法，如圖1所示，具體包括：

步驟105，生成測(cè)試數(shù)據(jù)；測(cè)試數(shù)據(jù)可以為視頻或頁(yè)面廣告的請(qǐng)求、曝光、點(diǎn)擊、播放完成等等的日志記錄，根據(jù)不同類型日志的格式與標(biāo)準(zhǔn)，生成的日志數(shù)據(jù)作為原始的測(cè)試數(shù)據(jù)；根據(jù)不同的廣告投放形式所需記錄信息的標(biāo)準(zhǔn)，模擬生成相關(guān)的測(cè)試數(shù)據(jù)；或者根據(jù)不同的產(chǎn)品業(yè)務(wù)系統(tǒng)(廣告投放系統(tǒng))所需記錄信息的標(biāo)準(zhǔn)，模擬生成相關(guān)的測(cè)試數(shù)據(jù)。為了生成測(cè)試數(shù)據(jù)，需要預(yù)先知道在離線數(shù)據(jù)任務(wù)上線之后，被其處理的數(shù)據(jù)記錄的數(shù)據(jù)標(biāo)準(zhǔn)。數(shù)據(jù)記錄可以為系統(tǒng)產(chǎn)生的業(yè)務(wù)日志、數(shù)據(jù)；日志可以是用戶在產(chǎn)品系統(tǒng)中的行為動(dòng)作的記錄、數(shù)據(jù)可以是用戶在產(chǎn)品系統(tǒng)中的行為所產(chǎn)生的數(shù)值。生成測(cè)試數(shù)據(jù)時(shí)，本領(lǐng)域技術(shù)人員需要了解被入庫(kù)數(shù)據(jù)(如：廣告請(qǐng)求、播放等等日志)的規(guī)則，例如被入庫(kù)數(shù)據(jù)的規(guī)則可以包括：一條記錄需要哪些數(shù)據(jù)字段、每個(gè)數(shù)據(jù)字段需要記錄哪些信息、以及記錄信息的格式(如：數(shù)值、字符串等等)。日志(Log)是指系統(tǒng)所指定對(duì)象的某些操作和其操作結(jié)果按時(shí)間有序的集合。每個(gè)日志文件由日志記錄組成，每條日志記錄描述了一次單獨(dú)的系統(tǒng)事件。通常情況下，系統(tǒng)日志是用戶可以直接閱讀的文本文件，其中包含了一個(gè)時(shí)間戳和一個(gè)信息或者子系統(tǒng)所特有的其他信息。日志文件為服務(wù)器、工作站、防火墻和應(yīng)用軟件等I T資源相關(guān)活動(dòng)記錄必要的、有價(jià)值的信息，這對(duì)系統(tǒng)監(jiān)控、查詢、報(bào)表和安全審計(jì)是十分重要的。日志文件中的記錄可提供以下用途：監(jiān)控系統(tǒng)資源；審計(jì)用戶行為；對(duì)可疑行為進(jìn)行告警；確定入侵行為的范圍；為恢復(fù)系統(tǒng)提供幫助；生成調(diào)查報(bào)告；為打擊計(jì)算機(jī)犯罪提供證據(jù)來(lái)源。例如可以通過(guò)計(jì)算機(jī)隨機(jī)生成符合上述要求的測(cè)試數(shù)據(jù)，或者可以根據(jù)已經(jīng)存儲(chǔ)的實(shí)際的數(shù)據(jù)生成符合上述要求的測(cè)試數(shù)據(jù)。

步驟110，記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度。數(shù)據(jù)的統(tǒng)計(jì)邏輯方法以及統(tǒng)計(jì)維度規(guī)則是生成數(shù)據(jù)預(yù)期結(jié)果的基準(zhǔn)。為了生成測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，還需要預(yù)先知道離線數(shù)據(jù)任務(wù)的邏輯方法，該邏輯方法可以幫助用戶明白離線數(shù)據(jù)任務(wù)的處理流程，從而可以知道將測(cè)試數(shù)據(jù)輸入離線數(shù)據(jù)任務(wù)之后，可以期望得到的測(cè)試結(jié)果，以便和離線數(shù)據(jù)任務(wù)實(shí)際的輸出的測(cè)試結(jié)果進(jìn)行比較，從而可以完成對(duì)離線數(shù)據(jù)任務(wù)的測(cè)試。本領(lǐng)域技術(shù)人員了解任務(wù)處理的邏輯方法，例如：針對(duì)日志數(shù)據(jù)格式校驗(yàn)(字段數(shù)、字段值記錄的正確性、非法的數(shù)據(jù)校驗(yàn)過(guò)程、數(shù)據(jù)處理后的數(shù)據(jù)格式、存儲(chǔ)位置等，是為更好的設(shè)計(jì)測(cè)試方法、測(cè)試用例。再者，還需要預(yù)先知道離線數(shù)據(jù)的統(tǒng)計(jì)維度規(guī)則，根據(jù)該統(tǒng)計(jì)維度規(guī)則，用戶可以預(yù)先知道期望的數(shù)據(jù)維度，針對(duì)不同的數(shù)據(jù)可以具有不同的維度，而離線數(shù)據(jù)任務(wù)也按照相同的統(tǒng)計(jì)維度規(guī)則進(jìn)行處理，從而可以將具有相同維度的預(yù)期結(jié)果和測(cè)試結(jié)果進(jìn)行比對(duì)，從而可以對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證。維度統(tǒng)計(jì)規(guī)則致力于建立一個(gè)基于多方位統(tǒng)計(jì)(時(shí)間、地域、訪問(wèn)者)、全方位分析網(wǎng)站流量的統(tǒng)計(jì)標(biāo)準(zhǔn)，形成原始數(shù)據(jù)→數(shù)據(jù)視覺(jué)化→數(shù)據(jù)行為化→數(shù)據(jù)深入挖掘的數(shù)據(jù)分析模式。維度統(tǒng)計(jì)規(guī)則可以將數(shù)據(jù)分為三種類型：基礎(chǔ)的統(tǒng)計(jì)數(shù)據(jù)、人口統(tǒng)計(jì)學(xué)數(shù)據(jù)和用戶模型數(shù)據(jù)。如上所述，預(yù)期結(jié)果可以用來(lái)與離線數(shù)據(jù)任務(wù)輸出的測(cè)試結(jié)果進(jìn)行比對(duì)，從而完成對(duì)離線數(shù)據(jù)任務(wù)的驗(yàn)證。預(yù)期結(jié)果集可以根據(jù)離線數(shù)據(jù)任務(wù)的邏輯方法以及離線數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則預(yù)先確定。下面舉例說(shuō)明：例如預(yù)期結(jié)果集：日志類型A(日志規(guī)則為：字段數(shù)為n(2)個(gè)，字段名稱B(int)、C(string)等等)；處理日志A的邏輯方法為：判斷日志長(zhǎng)度是否為n，判斷字段B數(shù)據(jù)類型是否為int等等；統(tǒng)計(jì)維度規(guī)則：如日志類型A，字段B作為維度，進(jìn)行基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)D(D的統(tǒng)計(jì)邏輯為行數(shù)求和)，進(jìn)行基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)E(E的統(tǒng)計(jì)邏輯為系數(shù)乘積)等等。按照上述規(guī)則生成數(shù)據(jù)B-D-E的數(shù)據(jù)集合。

步驟115，離線數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集；離線數(shù)據(jù)任務(wù)可以在本地進(jìn)行驗(yàn)證，也可以在大數(shù)據(jù)平臺(tái)對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證。離線數(shù)據(jù)任務(wù)按照其邏輯流程以及統(tǒng)計(jì)維度規(guī)則對(duì)測(cè)試數(shù)據(jù)進(jìn)行處理，并輸出測(cè)試數(shù)據(jù)集，例如舉例來(lái)說(shuō)，如有測(cè)試數(shù)據(jù)集N，N包括不同的測(cè)試類型的測(cè)試日志數(shù)據(jù)(A、B)，假設(shè)被測(cè)的離線數(shù)據(jù)任務(wù)邏輯方法為先處理A的數(shù)據(jù)，然后根據(jù)A的結(jié)果匹配處理B的數(shù)據(jù)；統(tǒng)計(jì)維度規(guī)則為以A類型數(shù)據(jù)中的字段C作為統(tǒng)計(jì)維度，計(jì)算B中的某個(gè)字段生成數(shù)據(jù)F等等。離線數(shù)據(jù)任務(wù)根據(jù)所述規(guī)則處理測(cè)試數(shù)據(jù)集N等到C-F的數(shù)據(jù)集合，為測(cè)試結(jié)果集。

步驟120，將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述離線處理任務(wù)。預(yù)期結(jié)果集為根據(jù)統(tǒng)計(jì)規(guī)則自主生成的預(yù)判數(shù)據(jù)集合；實(shí)際測(cè)試結(jié)果集：為離線任務(wù)處理測(cè)試數(shù)據(jù)得到的實(shí)際結(jié)果。

如上所述，為了對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證，需要測(cè)試其針對(duì)不同的維度的數(shù)據(jù)的處理能力，從而形成全覆蓋驗(yàn)證。

通過(guò)上述的流程，本發(fā)明可以實(shí)現(xiàn)對(duì)離線數(shù)據(jù)任務(wù)的全覆蓋驗(yàn)證，并能夠適應(yīng)互聯(lián)網(wǎng)的快速發(fā)展，為互聯(lián)網(wǎng)公司提供具有競(jìng)爭(zhēng)力的數(shù)據(jù)分析功能。

如上所述，本發(fā)明所提供的離線數(shù)據(jù)任務(wù)可以在本地驗(yàn)證，也可以在大數(shù)據(jù)平臺(tái)驗(yàn)證。優(yōu)選地，本發(fā)明在大數(shù)據(jù)平臺(tái)對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證。為了在大數(shù)據(jù)平臺(tái)對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證，需要在大數(shù)據(jù)平臺(tái)運(yùn)行離線數(shù)據(jù)任務(wù)。為了實(shí)現(xiàn)這一目的，可以在驗(yàn)證之前，預(yù)先在大數(shù)據(jù)平臺(tái)上運(yùn)行離線數(shù)據(jù)任務(wù)，可以通過(guò)本地計(jì)算機(jī)與大數(shù)據(jù)平臺(tái)連接，在將測(cè)試數(shù)據(jù)(例如以測(cè)試數(shù)據(jù)文件的形式)上傳到大數(shù)據(jù)平臺(tái)后，就可以對(duì)離線數(shù)據(jù)任務(wù)進(jìn)行測(cè)試。

在進(jìn)行比對(duì)時(shí)，如果相同維度的預(yù)期結(jié)果與測(cè)試結(jié)果相同，則認(rèn)為對(duì)于該維度的數(shù)據(jù)驗(yàn)證通過(guò)，否則驗(yàn)證失敗。驗(yàn)證通過(guò)或驗(yàn)證失敗可以作為驗(yàn)證結(jié)果記錄在測(cè)試報(bào)告中，測(cè)試報(bào)告中還可以包括驗(yàn)證的數(shù)據(jù)維度、驗(yàn)證的數(shù)據(jù)項(xiàng)等等。

為了對(duì)本發(fā)明進(jìn)行更詳細(xì)的說(shuō)明，本發(fā)明提供了優(yōu)選的離線數(shù)據(jù)任務(wù)的驗(yàn)證流程，如圖2所示。該方法包括：

步驟205，生成測(cè)試數(shù)據(jù)；同樣地，為了生成測(cè)試數(shù)據(jù)，需要預(yù)先知道在離線數(shù)據(jù)任務(wù)上線之后，待處理的數(shù)據(jù)記錄的數(shù)據(jù)標(biāo)準(zhǔn)。

步驟210，記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度。如上所述，預(yù)期結(jié)果集可以根據(jù)離線數(shù)據(jù)任務(wù)的邏輯方法以及離線數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則預(yù)先確定。

步驟215，將測(cè)試數(shù)據(jù)文件上傳至大數(shù)據(jù)平臺(tái)。例如，存儲(chǔ)有測(cè)試數(shù)據(jù)文件的本地計(jì)算機(jī)可以通過(guò)連接到大數(shù)據(jù)平臺(tái)，并進(jìn)而將測(cè)試數(shù)據(jù)文件上傳至大數(shù)據(jù)平臺(tái)。離線數(shù)據(jù)任務(wù)可以預(yù)先在大數(shù)據(jù)平臺(tái)上運(yùn)行，在測(cè)試數(shù)據(jù)文件上傳到大數(shù)據(jù)平臺(tái)以后，離線數(shù)據(jù)任務(wù)可以讀取測(cè)試數(shù)據(jù)文件并對(duì)其中的測(cè)試數(shù)據(jù)進(jìn)行處理。

步驟220，離線數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度。離線數(shù)據(jù)任務(wù)按照其邏輯流程以及統(tǒng)計(jì)維度規(guī)則對(duì)測(cè)試數(shù)據(jù)進(jìn)行處理，并輸出測(cè)試數(shù)據(jù)集。

步驟225，比較相同維度的預(yù)期結(jié)果集中的預(yù)期結(jié)果和測(cè)試數(shù)據(jù)集中的測(cè)試數(shù)據(jù)是否一致。舉例來(lái)說(shuō)，預(yù)期結(jié)果記錄某維度的基礎(chǔ)數(shù)據(jù)為100，結(jié)果數(shù)據(jù)的相同維度的基礎(chǔ)數(shù)據(jù)為100，此數(shù)據(jù)表明結(jié)果一致；預(yù)期結(jié)果記錄某維度的基礎(chǔ)數(shù)據(jù)為100，結(jié)果數(shù)據(jù)的相同維度的基礎(chǔ)數(shù)據(jù)為101，此數(shù)據(jù)表明結(jié)果不一致；

步驟230，如果相同維度的的預(yù)期結(jié)果集中的預(yù)期結(jié)果和測(cè)試數(shù)據(jù)集中的測(cè)試結(jié)果一致，則驗(yàn)證通過(guò)。

步驟235，如果相同維度的的預(yù)期結(jié)果集中的預(yù)期結(jié)果和測(cè)試數(shù)據(jù)集中的測(cè)試結(jié)果不一致，則驗(yàn)證失敗。

步驟240，確定所有維度的預(yù)期結(jié)果和測(cè)試結(jié)果是否比對(duì)完成。

步驟245，如果所有維度的預(yù)期結(jié)果和測(cè)試結(jié)果比對(duì)未完成，則選擇下一個(gè)維度的預(yù)期結(jié)果和測(cè)試結(jié)果進(jìn)行比較，并繼續(xù)步驟225。

步驟250，如果所有維度的預(yù)期結(jié)果和測(cè)試結(jié)果比對(duì)完成，則生成測(cè)試報(bào)告。測(cè)試報(bào)告中可以包括驗(yàn)證的數(shù)據(jù)維度、驗(yàn)證的數(shù)據(jù)項(xiàng)、針對(duì)每個(gè)維度的驗(yàn)證結(jié)果等等數(shù)據(jù)。

上述的流程可以實(shí)現(xiàn)對(duì)離線數(shù)據(jù)任務(wù)的全覆蓋驗(yàn)證，能夠提高測(cè)試的準(zhǔn)確度，降低測(cè)試人員的工作量。

相應(yīng)地，本發(fā)明提供了一種離線數(shù)據(jù)任務(wù)的驗(yàn)證裝置，如圖3所示，該驗(yàn)證裝置包括：測(cè)試數(shù)據(jù)生成模塊305、預(yù)期結(jié)果集記錄模塊310、離線數(shù)據(jù)任務(wù)模塊315、以及驗(yàn)證裝置320。優(yōu)選地，還包括上傳模塊325以及測(cè)試報(bào)告生成模塊330。

測(cè)試數(shù)據(jù)生成模塊305，用于生成測(cè)試數(shù)據(jù)；例如根據(jù)待處理數(shù)據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)來(lái)生成測(cè)試數(shù)據(jù)，可以隨機(jī)地生成數(shù)據(jù)，也可以根據(jù)歷史數(shù)據(jù)來(lái)生成測(cè)試數(shù)據(jù)。

預(yù)期結(jié)果集記錄模塊310，用于記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度；預(yù)期結(jié)果集可以根據(jù)離線數(shù)據(jù)任務(wù)的邏輯方法以及離線數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則預(yù)先確定。

離線數(shù)據(jù)任務(wù)模塊315，用于處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度；離線數(shù)據(jù)任務(wù)模塊按照其邏輯流程以及統(tǒng)計(jì)維度規(guī)則對(duì)測(cè)試數(shù)據(jù)進(jìn)行處理，并輸出測(cè)試數(shù)據(jù)集。

驗(yàn)證模塊320，用于將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述離線處理任務(wù)。為了實(shí)現(xiàn)全覆蓋驗(yàn)證，需要針對(duì)各個(gè)維度的預(yù)期結(jié)果和測(cè)試結(jié)果進(jìn)行比對(duì)，從而覆蓋所有的維度。

上傳模塊325，用于將測(cè)試數(shù)據(jù)上傳至大數(shù)據(jù)平臺(tái)；其中離線處理任務(wù)模塊可以在所述大數(shù)據(jù)平臺(tái)上。

測(cè)試報(bào)告生成模塊330，用于根據(jù)比對(duì)結(jié)果生成測(cè)試報(bào)告；測(cè)試報(bào)告中可以包括驗(yàn)證的數(shù)據(jù)維度、驗(yàn)證的數(shù)據(jù)項(xiàng)、針對(duì)每個(gè)維度的驗(yàn)證結(jié)果等等數(shù)據(jù)。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

上述說(shuō)明示出并描述了本發(fā)明的若干具體實(shí)施例，但如前所述，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過(guò)上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。