一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法及裝置。
【背景技術(shù)】
[0002]隨著大數(shù)據(jù)技術(shù)在各個(gè)行業(yè)的逐步應(yīng)用發(fā)展，來(lái)自各行業(yè)底層業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)質(zhì)量問(wèn)題也逐步暴露，如何對(duì)源數(shù)據(jù)的質(zhì)量進(jìn)行檢測(cè)，維持?jǐn)?shù)據(jù)的穩(wěn)定性，成為首要面對(duì)的問(wèn)題。
[0003]現(xiàn)有技術(shù)中在對(duì)數(shù)據(jù)質(zhì)量進(jìn)行檢驗(yàn)時(shí)，通常是利用比對(duì)歷史數(shù)據(jù)的方式，即將數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)與源系統(tǒng)中的當(dāng)前數(shù)據(jù)進(jìn)行一一比對(duì)，得到檢驗(yàn)結(jié)果。
[0004]但是這種方案中，需要比對(duì)不同環(huán)境下的數(shù)據(jù)，而從源系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中歷史數(shù)據(jù)經(jīng)理了一定程度的轉(zhuǎn)換，因此，在進(jìn)行比對(duì)時(shí)，必須基于一致的轉(zhuǎn)換規(guī)則，造成需要重復(fù)執(zhí)行源系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)的處理邏輯與多維度循環(huán)比較的操作，由此造成這種數(shù)據(jù)檢驗(yàn)的方式效率低下。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明的目的在于提供了一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法及裝置，用以解決現(xiàn)有技術(shù)中數(shù)據(jù)檢驗(yàn)效率低下的技術(shù)問(wèn)題。
[0006]本發(fā)明提供了一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法，包括:
[0007]接收檢驗(yàn)請(qǐng)求；
[0008]響應(yīng)于所述檢驗(yàn)請(qǐng)求，獲得檢驗(yàn)隊(duì)列，所述檢驗(yàn)隊(duì)列中具有待檢驗(yàn)數(shù)據(jù)；
[0009]在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t-Ι日的第一存量數(shù)據(jù)及第t+Ι日的第二存量數(shù)據(jù)，所述第一存量數(shù)據(jù)與所述第二存量數(shù)據(jù)的屬性不同，t為大于或等于2的正整數(shù)；
[0010]在所述檢驗(yàn)隊(duì)列中查找是否存在與所述第t-Ι日的第一存量數(shù)據(jù)屬性相對(duì)應(yīng)的第t日數(shù)據(jù)，得到第一檢驗(yàn)結(jié)果；
[0011]在所述檢驗(yàn)隊(duì)列中查找是否存在與所述第t+i日的第二存量數(shù)據(jù)屬性相對(duì)應(yīng)的第t日數(shù)據(jù)，得到第二檢驗(yàn)結(jié)果；
[0012]基于所述第一檢驗(yàn)結(jié)果和所述第二檢驗(yàn)結(jié)果，生成所述待檢驗(yàn)數(shù)據(jù)的檢驗(yàn)結(jié)果。
[0013]上述方法，優(yōu)選的，獲得當(dāng)前的檢驗(yàn)隊(duì)列，包括:
[0014]響應(yīng)于所述檢驗(yàn)請(qǐng)求，判斷在預(yù)設(shè)的預(yù)處理區(qū)域是否存在待檢驗(yàn)數(shù)據(jù)，如果存在，將所述預(yù)處理區(qū)域的待檢驗(yàn)數(shù)據(jù)發(fā)送到預(yù)設(shè)的檢驗(yàn)隊(duì)列;若不存在，利用預(yù)處理加工流獲取待檢驗(yàn)數(shù)據(jù)，并置于所述檢驗(yàn)隊(duì)列中。
[0015]上述方法，優(yōu)選的，在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t-Ι日的第一存量數(shù)據(jù)及第t+Ι日的第二存量數(shù)據(jù)，包括:
[0016]在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t-Ι日的數(shù)據(jù)記錄作為第一存量數(shù)據(jù)，所述數(shù)據(jù)記錄具有唯一標(biāo)示且對(duì)應(yīng)數(shù)據(jù)庫(kù)實(shí)體表中的行記錄；
[0017]在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t+Ι日的數(shù)據(jù)記錄的維度數(shù)據(jù)作為第二存量數(shù)據(jù)，所述維度數(shù)據(jù)對(duì)應(yīng)所述實(shí)體表中數(shù)據(jù)記錄的列維度值。
[0018]上述方法，優(yōu)選的，在生成所述待檢驗(yàn)數(shù)據(jù)的檢驗(yàn)結(jié)果之后，所述方法還包括:
[0019]在所述檢驗(yàn)結(jié)果表征所述待檢驗(yàn)數(shù)據(jù)存在第t日的數(shù)據(jù)缺失時(shí)，對(duì)所述待檢驗(yàn)數(shù)據(jù)進(jìn)行修復(fù)；
[0020]將修復(fù)后的待檢驗(yàn)數(shù)據(jù)置入所述數(shù)據(jù)倉(cāng)庫(kù)中。
[0021]上述方法，優(yōu)選的，在生成所述待檢驗(yàn)數(shù)據(jù)的檢驗(yàn)結(jié)果之后，所述方法還包括:
[0022]將所述檢驗(yàn)結(jié)果進(jìn)行傳輸。
[0023]本發(fā)明還提供了一種數(shù)據(jù)質(zhì)量的檢驗(yàn)裝置，包括:
[0024]請(qǐng)求接收單元，用于接收檢驗(yàn)請(qǐng)求；
[0025]隊(duì)列獲得單元，用于響應(yīng)于所述檢驗(yàn)請(qǐng)求，獲得檢驗(yàn)隊(duì)列，所述檢驗(yàn)隊(duì)列中具有待檢驗(yàn)數(shù)據(jù)；
[0026]存量獲取單元，用于在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t-Ι日的第一存量數(shù)據(jù)及第t+Ι日的第二存量數(shù)據(jù)，所述第一存量數(shù)據(jù)與所述第二存量數(shù)據(jù)的屬性不同，t為大于或等于2的正整數(shù)；
[0027]第一檢驗(yàn)單元，用于在所述檢驗(yàn)隊(duì)列中查找是否存在與所述第t-Ι日的第一存量數(shù)據(jù)屬性相對(duì)應(yīng)的第t日數(shù)據(jù)，得到第一檢驗(yàn)結(jié)果；
[0028]第二檢驗(yàn)單元，用于在所述檢驗(yàn)隊(duì)列中查找是否存在與所述第t+Ι日的第二存量數(shù)據(jù)屬性相對(duì)應(yīng)的第t日數(shù)據(jù)，得到第二檢驗(yàn)結(jié)果；
[0029]結(jié)果生成單元，用于基于所述第一檢驗(yàn)結(jié)果和所述第二檢驗(yàn)結(jié)果，生成所述待檢驗(yàn)數(shù)據(jù)的檢驗(yàn)結(jié)果。
[0030]上述裝置，優(yōu)選的，所述隊(duì)列獲得單元包括:
[0031]數(shù)據(jù)判定子單元，用于響應(yīng)于所述檢驗(yàn)請(qǐng)求，判斷在預(yù)設(shè)的預(yù)處理區(qū)域是否存在待檢驗(yàn)數(shù)據(jù)，如果存在，觸發(fā)數(shù)據(jù)發(fā)送子單元，若不存在，觸發(fā)數(shù)據(jù)獲取子單元；
[0032]數(shù)據(jù)發(fā)送子單元，用于將所述預(yù)處理區(qū)域的待檢驗(yàn)數(shù)據(jù)發(fā)送到預(yù)設(shè)的檢驗(yàn)隊(duì)列；
[0033]數(shù)據(jù)獲取子單元，用于利用預(yù)處理加工流獲取待檢驗(yàn)數(shù)據(jù)，并置于所述檢驗(yàn)隊(duì)列中。
[0034]上述裝置，優(yōu)選的，所述存量獲取單元包括:
[0035]記錄獲取子單元，用于在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t-Ι日的數(shù)據(jù)記錄作為第一存量數(shù)據(jù)，所述數(shù)據(jù)記錄具有唯一標(biāo)示且對(duì)應(yīng)數(shù)據(jù)庫(kù)實(shí)體表中的行記錄；
[0036]維度獲取子單元，用于在數(shù)據(jù)倉(cāng)庫(kù)中獲得第t+日的維度數(shù)據(jù)作為第二存量數(shù)據(jù)，所述維度數(shù)據(jù)對(duì)應(yīng)所述實(shí)體表中數(shù)據(jù)記錄的列維度值。
[0037]上述裝置，優(yōu)選的，還包括:
[0038]數(shù)據(jù)修復(fù)單元，用于在所述檢驗(yàn)結(jié)果表征所述待檢驗(yàn)數(shù)據(jù)存在第t日的數(shù)據(jù)缺失時(shí)，對(duì)所述待檢驗(yàn)數(shù)據(jù)進(jìn)行修復(fù)；
[0039]數(shù)據(jù)置入單元，用于將修復(fù)后的待檢驗(yàn)數(shù)據(jù)置入所述數(shù)據(jù)倉(cāng)庫(kù)中。
[0040]上述裝置，優(yōu)選的，還包括:
[0041 ]結(jié)果傳輸單元，用于將所述檢驗(yàn)結(jié)果進(jìn)行傳輸。
[0042]由上述方案可知，本發(fā)明提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法及裝置，通過(guò)對(duì)待檢驗(yàn)數(shù)據(jù)中在不同屬性的角度上對(duì)前后兩日的存量數(shù)據(jù)進(jìn)行數(shù)據(jù)比對(duì)，從而判斷出是否發(fā)生數(shù)據(jù)缺失，實(shí)現(xiàn)數(shù)據(jù)穩(wěn)定性的檢驗(yàn)。本發(fā)明中僅利用前后兩日的存量數(shù)據(jù)進(jìn)行數(shù)據(jù)比對(duì)，因此，在大數(shù)據(jù)量條件下具有占用空間小、處理速度快的特點(diǎn)，從而提高數(shù)據(jù)質(zhì)量的檢驗(yàn)效率，也不會(huì)影響用戶(hù)的其他查詢(xún)效率。
【附圖說(shuō)明】
[0043]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0044]圖1為本發(fā)明實(shí)施例一提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法的流程圖；
[0045]圖2為本發(fā)明實(shí)施例二提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法的部分流程圖；
[0046]圖3為本發(fā)明實(shí)施例三提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法的部分流程圖；
[0047]圖4為本發(fā)明實(shí)施例四提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法的流程圖；
[0048]圖5為本發(fā)明實(shí)施例五提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)方法的流程圖；
[0049]圖6為本發(fā)明實(shí)施例六提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)裝置的結(jié)構(gòu)示意圖；
[0050]圖7為本發(fā)明實(shí)施例七提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)裝置的部分結(jié)構(gòu)示意圖；
[0051 ]圖8為本發(fā)明實(shí)施例八提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)裝置的部分結(jié)構(gòu)示意圖；
[0052]圖9為本發(fā)明實(shí)施例九提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)裝置的結(jié)構(gòu)示意圖；
[0053]圖10為本發(fā)明實(shí)施例十提供的一種數(shù)據(jù)質(zhì)量的檢驗(yàn)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0054]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)