本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證方法及裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，為了對(duì)用戶(hù)的行為進(jìn)行分析并滿(mǎn)足用戶(hù)不斷增多的需求，對(duì)互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行分析是互聯(lián)網(wǎng)公司必須進(jìn)行的工作之一。目前互聯(lián)網(wǎng)數(shù)據(jù)分析主要基于實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)，對(duì)于實(shí)時(shí)數(shù)據(jù)而言，實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)可以根據(jù)已經(jīng)預(yù)置的規(guī)則輸出實(shí)時(shí)數(shù)據(jù)供互聯(lián)網(wǎng)公司使用，但是其提供的實(shí)時(shí)數(shù)據(jù)的完整性和準(zhǔn)確性可能無(wú)法滿(mǎn)足互聯(lián)網(wǎng)公司的需求，使得目前實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)需要針對(duì)實(shí)時(shí)數(shù)據(jù)入庫(kù)及計(jì)算進(jìn)行全覆蓋測(cè)試。

目前，由于互聯(lián)網(wǎng)數(shù)據(jù)類(lèi)型越來(lái)越多，數(shù)據(jù)量巨大，現(xiàn)有的進(jìn)行全覆蓋的測(cè)試技術(shù)以及測(cè)試方法沒(méi)有針對(duì)多類(lèi)型實(shí)時(shí)數(shù)據(jù)的處理邏輯，不能很好的滿(mǎn)足測(cè)試實(shí)時(shí)數(shù)據(jù)的完整性和準(zhǔn)確性的測(cè)試需求，從而有必要通過(guò)實(shí)時(shí)數(shù)據(jù)任務(wù)來(lái)完成實(shí)時(shí)數(shù)據(jù)的處理，但是在實(shí)時(shí)數(shù)據(jù)任務(wù)在正式上線(xiàn)之前，需要對(duì)其進(jìn)行測(cè)試，以便確定其是否符合實(shí)時(shí)數(shù)據(jù)任務(wù)設(shè)計(jì)的需求。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)實(shí)施例提供一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證方法及裝置，用以解決實(shí)時(shí)數(shù)據(jù)任務(wù)進(jìn)行測(cè)試，使得實(shí)時(shí)數(shù)據(jù)任務(wù)能夠符合設(shè)計(jì)的需要。

本申請(qǐng)實(shí)施例提供的一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證方法，包括：

生成測(cè)試數(shù)據(jù)；

記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，其中，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度；

實(shí)時(shí)數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，其中，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度；

將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述實(shí)時(shí)處理任務(wù)。

本申請(qǐng)實(shí)施例提供的一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證裝置，裝置包括：

生成模塊，用于生成測(cè)試數(shù)據(jù)；

記錄模塊，用于記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，其中，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度；

處理模塊，用于實(shí)時(shí)數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，其中，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度；

驗(yàn)證模塊，用于將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述實(shí)時(shí)處理任務(wù)。

本申請(qǐng)實(shí)施例提供一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證方法及裝置，該方法生成測(cè)試數(shù)據(jù)，記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，其中，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度，實(shí)時(shí)數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，其中，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度，將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述實(shí)時(shí)處理任務(wù)。通過(guò)上述方法，可以確定設(shè)計(jì)出來(lái)的實(shí)時(shí)數(shù)據(jù)任務(wù)是否符合實(shí)時(shí)數(shù)據(jù)任務(wù)設(shè)計(jì)的需求，并且，該實(shí)時(shí)數(shù)據(jù)任務(wù)可以充分提高實(shí)時(shí)數(shù)據(jù)處理任務(wù)的測(cè)試覆蓋率以及測(cè)試質(zhì)量，同時(shí)提高結(jié)果數(shù)據(jù)的完整性與準(zhǔn)確性，并能夠生成測(cè)試報(bào)告以便實(shí)時(shí)數(shù)據(jù)處理任務(wù)的設(shè)計(jì)人員進(jìn)行閱讀，在必要的情況下，對(duì)實(shí)時(shí)數(shù)據(jù)處理任務(wù)進(jìn)行改進(jìn)，以提高實(shí)時(shí)數(shù)據(jù)任務(wù)的處理能力。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：

圖1為本申請(qǐng)實(shí)施例提供的實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證過(guò)程；

圖2為本申請(qǐng)實(shí)施例提供的一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本申請(qǐng)的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本申請(qǐng)具體實(shí)施例及相應(yīng)的附圖對(duì)本申請(qǐng)技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。

圖1為本申請(qǐng)實(shí)施例提供的實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證過(guò)程，具體包括以下步驟：

S101：生成測(cè)試數(shù)據(jù)。

為了確定實(shí)時(shí)數(shù)據(jù)任務(wù)是否符合實(shí)時(shí)數(shù)據(jù)任務(wù)設(shè)計(jì)的需求，也就是說(shuō)，確保其能夠按照設(shè)計(jì)需求進(jìn)行正常工作，因此，在實(shí)時(shí)數(shù)據(jù)任務(wù)在正式上線(xiàn)之前，需要對(duì)其進(jìn)行充分測(cè)試。

本申請(qǐng)?jiān)谡麄€(gè)測(cè)試過(guò)程中，首先需要生成測(cè)試數(shù)據(jù)，其中，測(cè)試數(shù)據(jù)可以為視頻或頁(yè)面廣告的請(qǐng)求、曝光、點(diǎn)擊、播放完成等等的日志記錄，根據(jù)不同類(lèi)型日志的格式與標(biāo)準(zhǔn)，生成的日志數(shù)據(jù)作為原始的測(cè)試數(shù)據(jù)；根據(jù)不同的廣告投放形式所需記錄信息的標(biāo)準(zhǔn)，模擬生成相關(guān)的測(cè)試數(shù)據(jù)；或者根據(jù)不同的產(chǎn)品業(yè)務(wù)系統(tǒng)(廣告投放系統(tǒng))所需記錄信息的標(biāo)準(zhǔn)，模擬生成相關(guān)的測(cè)試數(shù)據(jù)。

進(jìn)一步的，為了能夠生成測(cè)試數(shù)據(jù)，需要預(yù)先知道在實(shí)時(shí)數(shù)據(jù)任務(wù)上線(xiàn)之后，被其處理的數(shù)據(jù)記錄的數(shù)據(jù)標(biāo)準(zhǔn)。其中，數(shù)據(jù)記錄可以為系統(tǒng)產(chǎn)生的業(yè)務(wù)日志、數(shù)據(jù)；日志可以是用戶(hù)在產(chǎn)品系統(tǒng)中的行為動(dòng)作的記錄、數(shù)據(jù)可以是用戶(hù)在產(chǎn)品系統(tǒng)中的行為所產(chǎn)生的數(shù)值。

生成測(cè)試數(shù)據(jù)時(shí)，本領(lǐng)域技術(shù)人員需要了解被入庫(kù)數(shù)據(jù)(如：廣告請(qǐng)求、播放等等日志)的規(guī)則，例如被入庫(kù)數(shù)據(jù)的規(guī)則可以包括：一條記錄需要哪些數(shù)據(jù)字段、每個(gè)數(shù)據(jù)字段需要記錄哪些信息、以及記錄信息的格式(如：數(shù)值、字符串等等)。日志(Log)是指系統(tǒng)所指定對(duì)象的某些操作和其操作結(jié)果按時(shí)間有序的集合。每個(gè)日志文件由日志記錄組成，每條日志記錄描述了一次單獨(dú)的系統(tǒng)事件。通常情況下，系統(tǒng)日志是用戶(hù)可以直接閱讀的文本文件，其中包含了一個(gè)時(shí)間戳和一個(gè)信息或者子系統(tǒng)所特有的其他信息。日志文件為服務(wù)器、工作站、防火墻和應(yīng)用軟件等IT資源相關(guān)活動(dòng)記錄必要的、有價(jià)值的信息，這對(duì)系統(tǒng)監(jiān)控、查詢(xún)、報(bào)表和安全審計(jì)是十分重要的。日志文件中的記錄可提供以下用途：監(jiān)控系統(tǒng)資源；審計(jì)用戶(hù)行為；對(duì)可疑行為進(jìn)行告警；確定入侵行為的范圍；為恢復(fù)系統(tǒng)提供幫助；生成調(diào)查報(bào)告；為打擊計(jì)算機(jī)犯罪提供證據(jù)來(lái)源。例如可以通過(guò)計(jì)算機(jī)隨機(jī)生成符合上述要求的測(cè)試數(shù)據(jù)，或者可以根據(jù)已經(jīng)存儲(chǔ)的實(shí)際的數(shù)據(jù)生成符合上述要求的測(cè)試數(shù)據(jù)。

S102：記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集。

在本申請(qǐng)中，在生成測(cè)試數(shù)據(jù)后，需要生成測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，其中，其中，該預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度，用于后續(xù)給測(cè)試結(jié)果提供一個(gè)比對(duì)標(biāo)準(zhǔn)，也就是說(shuō)，后續(xù)將生成的測(cè)試結(jié)果與預(yù)期結(jié)果集進(jìn)行比對(duì)，來(lái)確定測(cè)試結(jié)果是否是正確的。

進(jìn)一步的，由于數(shù)據(jù)的統(tǒng)計(jì)邏輯方法以及統(tǒng)計(jì)維度規(guī)則是生成數(shù)據(jù)預(yù)期結(jié)果的基準(zhǔn)，因此，為了能夠生成測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，還需要預(yù)先知道實(shí)時(shí)數(shù)據(jù)任務(wù)的邏輯方法，該邏輯方法可以幫助用戶(hù)明白實(shí)時(shí)數(shù)據(jù)任務(wù)的處理流程，從而可以知道將測(cè)試數(shù)據(jù)輸入實(shí)時(shí)數(shù)據(jù)任務(wù)之后，可以期望得到的測(cè)試結(jié)果，以便和實(shí)時(shí)數(shù)據(jù)任務(wù)實(shí)際的輸出的測(cè)試結(jié)果進(jìn)行比較，從而可以完成對(duì)實(shí)時(shí)數(shù)據(jù)任務(wù)的測(cè)試。本領(lǐng)域技術(shù)人員了解任務(wù)處理的邏輯方法，例如：針對(duì)日志數(shù)據(jù)格式校驗(yàn)(字段數(shù)、字段值記錄的正確性、非法的數(shù)據(jù)校驗(yàn)過(guò)程、數(shù)據(jù)處理后的數(shù)據(jù)格式、存儲(chǔ)位置等，是為更好的設(shè)計(jì)測(cè)試方法、測(cè)試用例。再者，還需要預(yù)先知道實(shí)時(shí)數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則，根據(jù)該統(tǒng)計(jì)維度規(guī)則，用戶(hù)可以預(yù)先知道期望的數(shù)據(jù)維度，針對(duì)不同的數(shù)據(jù)可以具有不同的維度，而實(shí)時(shí)數(shù)據(jù)任務(wù)也按照相同的統(tǒng)計(jì)維度規(guī)則進(jìn)行處理，從而可以將具有相同維度的預(yù)期結(jié)果和測(cè)試結(jié)果進(jìn)行比對(duì)，從而可以對(duì)實(shí)時(shí)數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證。維度統(tǒng)計(jì)規(guī)則致力于建立一個(gè)基于多方位統(tǒng)計(jì)(時(shí)間、地域、訪(fǎng)問(wèn)者)、全方位分析網(wǎng)站流量的統(tǒng)計(jì)標(biāo)準(zhǔn)，形成原始數(shù)據(jù)→數(shù)據(jù)視覺(jué)化→數(shù)據(jù)行為化→數(shù)據(jù)深入挖掘的數(shù)據(jù)分析模式。維度統(tǒng)計(jì)規(guī)則可以將數(shù)據(jù)分為三種類(lèi)型：基礎(chǔ)的統(tǒng)計(jì)數(shù)據(jù)、人口統(tǒng)計(jì)學(xué)數(shù)據(jù)和用戶(hù)模型數(shù)據(jù)。如上所述，預(yù)期結(jié)果可以用來(lái)與實(shí)時(shí)數(shù)據(jù)任務(wù)輸出的測(cè)試結(jié)果進(jìn)行比對(duì)，從而完成對(duì)實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證。預(yù)期結(jié)果集可以根據(jù)實(shí)時(shí)數(shù)據(jù)任務(wù)的邏輯方法以及實(shí)時(shí)數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則預(yù)先確定。下面舉例說(shuō)明：例如預(yù)期結(jié)果集：日志類(lèi)型A(日志規(guī)則為：字段數(shù)為n(2)個(gè)，字段名稱(chēng)B(int)、C(string)等等)；處理日志A的邏輯方法為：判斷日志長(zhǎng)度是否為n，判斷字段B數(shù)據(jù)類(lèi)型是否為int等等；統(tǒng)計(jì)維度規(guī)則：如日志類(lèi)型A，字段B作為維度，進(jìn)行基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)D(D的統(tǒng)計(jì)邏輯為行數(shù)求和)，進(jìn)行基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)E(E的統(tǒng)計(jì)邏輯為系數(shù)乘積)等等。按照上述規(guī)則生成數(shù)據(jù)B-D-E的數(shù)據(jù)集合。

S103：實(shí)時(shí)數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集。

在本申請(qǐng)中，生成測(cè)試數(shù)據(jù)以及測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集后，就需要對(duì)實(shí)時(shí)數(shù)據(jù)任務(wù)進(jìn)行驗(yàn)證了。

在整個(gè)驗(yàn)證過(guò)程中，實(shí)時(shí)數(shù)據(jù)任務(wù)會(huì)讀取該測(cè)試數(shù)據(jù)，并且按照其邏輯流程以及統(tǒng)計(jì)維度規(guī)則對(duì)測(cè)試數(shù)據(jù)進(jìn)行處理，并輸出測(cè)試數(shù)據(jù)集，其中，該測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度，例如，有測(cè)試數(shù)據(jù)集N，N包括不同的測(cè)試類(lèi)型的測(cè)試日志數(shù)據(jù)(A、B)，假設(shè)被測(cè)的實(shí)時(shí)數(shù)據(jù)任務(wù)邏輯方法為先處理A的數(shù)據(jù)，然后根據(jù)A的結(jié)果匹配處理B的數(shù)據(jù)；統(tǒng)計(jì)維度規(guī)則為以A類(lèi)型數(shù)據(jù)中的字段C作為統(tǒng)計(jì)維度，計(jì)算B中的某個(gè)字段生成數(shù)據(jù)F等等。實(shí)時(shí)數(shù)據(jù)任務(wù)根據(jù)所述規(guī)則處理測(cè)試數(shù)據(jù)集N等到C-F的數(shù)據(jù)集合，為測(cè)試結(jié)果集。

另外，在此需要說(shuō)明的是，在執(zhí)行完成步驟S102后，可將步驟S101中生成的測(cè)試數(shù)據(jù)推送給消息訂閱系統(tǒng)，由于消息訂閱系統(tǒng)中會(huì)包含多個(gè)不同類(lèi)型的消息通道，而每個(gè)類(lèi)型的消息通道都只會(huì)接收一種測(cè)試數(shù)據(jù)的類(lèi)型，因此，針對(duì)測(cè)試數(shù)據(jù)的不同類(lèi)型，測(cè)試數(shù)據(jù)具體會(huì)被推送到消息訂閱系統(tǒng)中相應(yīng)的消息通道中，后續(xù)，實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)會(huì)根據(jù)需求讀取特定的消息通道中的測(cè)試數(shù)據(jù)，并對(duì)測(cè)試數(shù)據(jù)進(jìn)行處理。

另外，實(shí)時(shí)處理任務(wù)具體是在實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)上運(yùn)行的。

S104：將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述實(shí)時(shí)處理任務(wù)。

在本申請(qǐng)中，在執(zhí)行完成步驟S103后，可獲取步驟S102中記錄的預(yù)期結(jié)果集，并將預(yù)期結(jié)果集中的預(yù)期結(jié)果與測(cè)試結(jié)果集中的測(cè)試結(jié)果進(jìn)行比對(duì)，比較相同維度的預(yù)期結(jié)果集中的預(yù)期結(jié)果和測(cè)試數(shù)據(jù)集中的測(cè)試數(shù)據(jù)是否一致。例如，假設(shè)預(yù)期結(jié)果中所記錄的某維度的基礎(chǔ)數(shù)據(jù)為100，測(cè)試結(jié)果中該維度的基礎(chǔ)數(shù)據(jù)為100，則說(shuō)明該維度對(duì)應(yīng)的數(shù)據(jù)結(jié)果是一致的，假設(shè)預(yù)期結(jié)果中所記錄的某維度的基礎(chǔ)數(shù)據(jù)為100，測(cè)試結(jié)果中該維度的基礎(chǔ)數(shù)據(jù)為101，則說(shuō)明該維度對(duì)應(yīng)的數(shù)據(jù)結(jié)果是不一致的。

如果相同維度的預(yù)期結(jié)果集中的預(yù)期結(jié)果和測(cè)試數(shù)據(jù)集中的測(cè)試結(jié)果一致，則驗(yàn)證通過(guò)，也就是說(shuō)，實(shí)時(shí)數(shù)據(jù)任務(wù)符合實(shí)時(shí)數(shù)據(jù)任務(wù)設(shè)計(jì)的需求，能夠按照設(shè)計(jì)需求進(jìn)行正常工作。

如果相同維度的的預(yù)期結(jié)果集中的預(yù)期結(jié)果和測(cè)試數(shù)據(jù)集中的測(cè)試結(jié)果不一致，則驗(yàn)證失敗，也就是說(shuō)，實(shí)時(shí)數(shù)據(jù)任務(wù)不符合實(shí)時(shí)數(shù)據(jù)任務(wù)設(shè)計(jì)的需求，不能夠按照設(shè)計(jì)需求進(jìn)行正常工作。

直到所有維度的預(yù)期結(jié)果和測(cè)試結(jié)果比對(duì)完成即可，如果所有維度的預(yù)期結(jié)果和測(cè)試結(jié)果比對(duì)未完成，則選擇下一個(gè)維度的預(yù)期結(jié)果和測(cè)試結(jié)果進(jìn)行比較，如果所有維度的預(yù)期結(jié)果和測(cè)試結(jié)果比對(duì)完成，則生成測(cè)試報(bào)告，其中，測(cè)試報(bào)告中可以包括驗(yàn)證的數(shù)據(jù)維度、驗(yàn)證的數(shù)據(jù)項(xiàng)、針對(duì)每個(gè)維度的驗(yàn)證結(jié)果等數(shù)據(jù)。

通過(guò)上述方法，可以確定設(shè)計(jì)出來(lái)的實(shí)時(shí)數(shù)據(jù)任務(wù)是否符合實(shí)時(shí)數(shù)據(jù)任務(wù)設(shè)計(jì)的需求，并且，該實(shí)時(shí)數(shù)據(jù)任務(wù)可以充分提高實(shí)時(shí)數(shù)據(jù)處理任務(wù)的測(cè)試覆蓋率以及測(cè)試質(zhì)量，同時(shí)提高結(jié)果數(shù)據(jù)的完整性與準(zhǔn)確性，并能夠生成測(cè)試報(bào)告以便實(shí)時(shí)數(shù)據(jù)處理任務(wù)的設(shè)計(jì)人員進(jìn)行閱讀，在必要的情況下，對(duì)實(shí)時(shí)數(shù)據(jù)處理任務(wù)進(jìn)行改進(jìn)，以提高實(shí)時(shí)數(shù)據(jù)任務(wù)的處理能力。

以上為本申請(qǐng)實(shí)施例提供的實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證方法，基于同樣的思路，本申請(qǐng)實(shí)施例還提供一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證裝置，如圖2所示。

圖2為本申請(qǐng)實(shí)施例提供的一種實(shí)時(shí)數(shù)據(jù)任務(wù)的驗(yàn)證裝置結(jié)構(gòu)示意圖，包括:

生成模塊201，用于生成測(cè)試數(shù)據(jù)；

記錄模塊202，用于記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集，其中，所述預(yù)期結(jié)果集中的各個(gè)預(yù)期結(jié)果各自具有相應(yīng)的維度；

處理模塊203，用于實(shí)時(shí)數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)，并輸出測(cè)試結(jié)果集，其中，所述測(cè)試結(jié)果集中的各個(gè)測(cè)試結(jié)果各自具有相應(yīng)的維度；

驗(yàn)證模塊204，用于將具有相同維度的所述預(yù)期結(jié)果集中的所述預(yù)期結(jié)果和所述測(cè)試結(jié)果集中的所述測(cè)試結(jié)果進(jìn)行比對(duì)以驗(yàn)證所述實(shí)時(shí)處理任務(wù)。

所述生成模塊201具體用于，根據(jù)待測(cè)試的數(shù)據(jù)記錄的數(shù)據(jù)標(biāo)準(zhǔn)生成所述測(cè)試數(shù)據(jù)。

所述記錄模塊202具體用于，根據(jù)實(shí)時(shí)數(shù)據(jù)任務(wù)處理的邏輯方法以及實(shí)時(shí)數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則，記錄預(yù)期結(jié)果集。

所述裝置還包括：

推送模塊205，用于在所述記錄模塊202記錄測(cè)試數(shù)據(jù)的預(yù)期結(jié)果集步驟與所述處理模塊203實(shí)時(shí)數(shù)據(jù)任務(wù)處理所述測(cè)試數(shù)據(jù)步驟之間，根據(jù)所述測(cè)試數(shù)據(jù)的類(lèi)型，將所述測(cè)試數(shù)據(jù)推送給消息訂閱系統(tǒng)中對(duì)應(yīng)的消息通道，使實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)從所述消息通道中獲取所述測(cè)試數(shù)據(jù)，其中，所述實(shí)時(shí)處理任務(wù)在所述實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)上運(yùn)行。

所述處理模塊203具體用于，實(shí)時(shí)數(shù)據(jù)任務(wù)讀取所述測(cè)試數(shù)據(jù)，根據(jù)實(shí)時(shí)數(shù)據(jù)任務(wù)的邏輯方法以及實(shí)時(shí)數(shù)據(jù)任務(wù)的統(tǒng)計(jì)維度規(guī)則生成測(cè)試結(jié)果集。

所述裝置還包括：

測(cè)試報(bào)告生成模塊206，用于根據(jù)比對(duì)結(jié)果生成測(cè)試報(bào)告。

在一個(gè)典型的配置中，計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性?xún)?nèi)存等形式，如只讀存儲(chǔ)器(ROM)或閃存(flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類(lèi)型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤(pán)只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(pán)(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤(pán)存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪(fǎng)問(wèn)的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號(hào)和載波。

還需要說(shuō)明的是，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、商品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、商品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、商品或者設(shè)備中還存在另外的相同要素。

本領(lǐng)域技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

以上所述僅為本申請(qǐng)的實(shí)施例而已，并不用于限制本申請(qǐng)。對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，本申請(qǐng)可以有各種更改和變化。凡在本申請(qǐng)的精神和原理之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請(qǐng)的權(quán)利要求范圍之內(nèi)。