專利名稱：數(shù)據(jù)質(zhì)量控制方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種業(yè)務(wù)支撐技術(shù)，尤其涉及一種數(shù)據(jù)質(zhì)量控制方法、裝置及系統(tǒng)。
背景技術(shù)：
隨著經(jīng)營(yíng)分析系統(tǒng)在經(jīng)營(yíng)決策和營(yíng)銷管理方面起著越來(lái)越重要的作用，其所承載 的應(yīng)用也日趨豐富，隨之而來(lái)的是系統(tǒng)所處理數(shù)據(jù)量日趨增大，伴隨著數(shù)據(jù)質(zhì)量的不斷下 降?，F(xiàn)有技術(shù)中，主要以功能為導(dǎo)向，迫于系統(tǒng)及時(shí)性的壓力，基于數(shù)據(jù)質(zhì)量的控制基 本采用程序日志監(jiān)控方式，也就是只有程序運(yùn)行報(bào)錯(cuò)退出等情況才會(huì)有告警產(chǎn)生，基于數(shù) 據(jù)質(zhì)量的控制也是散點(diǎn)式，只是對(duì)個(gè)別接口的及時(shí)性做了校驗(yàn)，缺乏整體數(shù)據(jù)一致性和準(zhǔn) 確性的控制手段。現(xiàn)有技術(shù)的缺點(diǎn)在于1、不能整體掌控BI系統(tǒng)數(shù)據(jù)質(zhì)量現(xiàn)有系統(tǒng)沒有全局的基于數(shù)據(jù)流向的數(shù)據(jù)質(zhì)量控制技術(shù)，因此數(shù)據(jù)的準(zhǔn)確性不 高，目前采取的控制技術(shù)主要是基于程序和數(shù)據(jù)庫(kù)輸出日志，判斷程序是否報(bào)錯(cuò)退出，所能 控制的數(shù)據(jù)問(wèn)題范圍相對(duì)狹小，而對(duì)數(shù)據(jù)源的異常波動(dòng)等沒有校驗(yàn)技術(shù)；2、現(xiàn)有的數(shù)據(jù)質(zhì)量校驗(yàn)方法影響系統(tǒng)處理效率目前基于程序及數(shù)據(jù)庫(kù)輸出日志的方法校驗(yàn)數(shù)據(jù)，校驗(yàn)程序是數(shù)據(jù)處理環(huán)節(jié)的一 個(gè)中間步驟，也就是說(shuō)只有校驗(yàn)程序成功后，才能進(jìn)行進(jìn)行后續(xù)處理，這樣的校驗(yàn)方法大大 降低了系統(tǒng)處理效率，也使得全面部署數(shù)據(jù)質(zhì)量控制成為不可能事件；3、原有的數(shù)據(jù)質(zhì)量問(wèn)題維護(hù)完全基于代碼級(jí)，維護(hù)復(fù)雜原有的數(shù)據(jù)質(zhì)量控制無(wú)可視化輸出，只存放于程序日志文件中，因此要對(duì)問(wèn)題做 分析要根據(jù)經(jīng)驗(yàn)去判斷哪個(gè)程序報(bào)錯(cuò)，然后察看日志進(jìn)一步分析，無(wú)自動(dòng)分析功能。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種數(shù)據(jù)質(zhì)量控制方法、裝置及系統(tǒng)，可以對(duì)數(shù)據(jù)處理過(guò) 程的各個(gè)操作步驟進(jìn)行質(zhì)量控制，提高數(shù)據(jù)的可靠性。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供一種數(shù)據(jù)質(zhì)量控制方法，包括在 數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件；將操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分 析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，生成錯(cuò)誤信息并發(fā)送至ELT控制裝置；所述ELT控制裝置根據(jù)所述 錯(cuò)誤信息中斷正在進(jìn)行的操作步驟。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一個(gè)方面，提供一種質(zhì)量控制裝置，包括校驗(yàn) 模塊，用于在數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件；分析模塊，用于將操作 步驟的校驗(yàn)文件進(jìn)行對(duì)比分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，生成錯(cuò)誤信息并發(fā)送至ELT控制裝置。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一個(gè)方面，提供一種數(shù)據(jù)質(zhì)量控制系統(tǒng)，包括 數(shù)據(jù)處理裝置，用于對(duì)從數(shù)據(jù)源接收數(shù)據(jù)進(jìn)行處理；質(zhì)量控制裝置，在數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件，并將操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分析，當(dāng)出現(xiàn)數(shù)據(jù)異常 時(shí)，生成錯(cuò)誤信息并發(fā)送至ELT控制裝置；ELT控制裝置，根據(jù)所述錯(cuò)誤信息中斷正在進(jìn)行 的操作步驟。本發(fā)明的數(shù)據(jù)質(zhì)量控制方法、裝置及系統(tǒng)，通過(guò)在數(shù)據(jù)處理的各個(gè)操作步驟進(jìn)行 校驗(yàn)并對(duì)校驗(yàn)結(jié)果進(jìn)行比對(duì)分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，通知ELT控制裝置中斷正在進(jìn)行的 操作，使得數(shù)據(jù)處理過(guò)程的各個(gè)操作步驟都進(jìn)行了質(zhì)量控制，提高了數(shù)據(jù)的可靠性。另外， 由于質(zhì)量控制的過(guò)程與數(shù)據(jù)處理的過(guò)程同步進(jìn)行，在沒有異常的情況下，ELT控制裝置不會(huì) 中斷的進(jìn)行數(shù)據(jù)處理，最大程度的提高了處理效率。


圖1是本發(fā)明數(shù)據(jù)質(zhì)量控制方法實(shí)施例流程圖；圖2是本發(fā)明經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)處理過(guò)程實(shí)施例流程圖；圖3是本發(fā)明質(zhì)量控制裝置實(shí)施例結(jié)構(gòu)圖；圖4是本發(fā)明數(shù)據(jù)質(zhì)量控制系統(tǒng)實(shí)施例結(jié)構(gòu)圖。
具體實(shí)施例方式以對(duì)經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)處理流程進(jìn)行質(zhì)量控制為例，結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳 細(xì)說(shuō)明。方法實(shí)施例圖1是本發(fā)明數(shù)據(jù)質(zhì)量控制方法實(shí)施例流程圖。如圖1所示，本實(shí)施例包括以下 步驟步驟102，質(zhì)量控制裝置在數(shù)據(jù)處理過(guò)程中對(duì)各個(gè)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文 件；質(zhì)量控制裝置也可以根據(jù)預(yù)先設(shè)定的校驗(yàn)表，對(duì)校驗(yàn)表中的操作步驟進(jìn)行校驗(yàn)；如圖2 所示，經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)處理流程包括以下操作步驟數(shù)據(jù)源、抽取、轉(zhuǎn)換、裝載、二次轉(zhuǎn) 換、匯總及報(bào)表處理，數(shù)據(jù)源操作與抽取操作之間還包括導(dǎo)出、接口生成、接口傳送，每個(gè) 操作步驟相應(yīng)生成校驗(yàn)文件；該校驗(yàn)文件為數(shù)據(jù)處理過(guò)程各個(gè)操作步驟輸出的運(yùn)行日志，包括數(shù)據(jù)源編號(hào)、任 務(wù)編號(hào)、各操作步驟處理的文件大小、行數(shù)、關(guān)鍵字段長(zhǎng)度、關(guān)鍵字段取值等等；校驗(yàn)文件格 式如下表1所示；表1校驗(yàn)文件格式
權(quán)利要求
1.一種數(shù)據(jù)質(zhì)量控制方法，其特征在于，包括在數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件；將所述操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，生成錯(cuò)誤信息并發(fā)送 至ELT控制裝置；所述ELT控制裝置根據(jù)所述錯(cuò)誤信息中斷正在進(jìn)行的操作步驟。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)質(zhì)量控制方法，其特征在于，所述在數(shù)據(jù)處理過(guò)程中對(duì) 操作步驟進(jìn)行校驗(yàn)的操作包括根據(jù)預(yù)設(shè)的校驗(yàn)表，對(duì)校驗(yàn)表中相應(yīng)的操作步驟進(jìn)行校驗(yàn)。
3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)質(zhì)量控制方法，其特征在于，所述校驗(yàn)文件為數(shù)據(jù)處 理過(guò)程各個(gè)操作步驟輸出的運(yùn)行日志。
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)質(zhì)量控制方法，其特征在于，所述校驗(yàn)文件包括數(shù)據(jù)源 編號(hào)、任務(wù)編號(hào)、各操作步驟處理的文件大小、行數(shù)、重要字段長(zhǎng)度、關(guān)鍵字段取值區(qū)域。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)質(zhì)量控制方法，其特征在于，所述將操作步驟的校驗(yàn)文 件進(jìn)行對(duì)比分析的操作包括所述質(zhì)量控制裝置根據(jù)需要設(shè)定對(duì)操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分析的配置信息；所述質(zhì)量控制裝置根據(jù)所述配置信息從所述校驗(yàn)文件中提取相應(yīng)的數(shù)據(jù)并對(duì)提取的 數(shù)據(jù)進(jìn)行比對(duì)分析。
6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)質(zhì)量控制方法，其特征在于，所述錯(cuò)誤信息中包括數(shù)據(jù) 異常發(fā)送的操作步驟及數(shù)據(jù)差距的詳細(xì)信息。
7.一種質(zhì)量控制裝置，其特征在于，包括校驗(yàn)?zāi)K，用于在數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件；分析模塊，用于將操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，生成錯(cuò)誤信 息并發(fā)送至ELT控制裝置。
8.根據(jù)權(quán)利要求7所述的質(zhì)量控制裝置，其特征在于，還包括配置模塊，用于設(shè)定需 要進(jìn)行校驗(yàn)的操作步驟，生成校驗(yàn)表；所述校驗(yàn)?zāi)K，根據(jù)所述校驗(yàn)表對(duì)校驗(yàn)表中的操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件。
9.根據(jù)權(quán)利要求8所述的質(zhì)量控制裝置，其特征在于，所述配置模塊，還用于根據(jù)需要設(shè)定對(duì)操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分析的配置信息；所述分析模塊，根據(jù)所述配置信息從所述校驗(yàn)文件中提取相應(yīng)的數(shù)據(jù)，并對(duì)提取的數(shù) 據(jù)進(jìn)行比對(duì)分析。
10.一種數(shù)據(jù)質(zhì)量控制系統(tǒng)，其特征在于，包括數(shù)據(jù)處理裝置，用于對(duì)從數(shù)據(jù)源接收數(shù)據(jù)進(jìn)行處理；質(zhì)量控制裝置，在數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件，并將操作步驟 的校驗(yàn)文件進(jìn)行對(duì)比分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，生成錯(cuò)誤信息并發(fā)送至ELT控制裝置；ELT控制裝置，根據(jù)所述錯(cuò)誤信息中斷正在進(jìn)行的操作步驟。
11.根據(jù)權(quán)利要求10所述的數(shù)據(jù)質(zhì)量控制系統(tǒng)，其特征在于，所述數(shù)據(jù)處理裝置，還在數(shù)據(jù)處理過(guò)程中，每執(zhí)行完成一操作步驟生成結(jié)束標(biāo)識(shí)并發(fā) 送至所述ELT控制裝置；所述ELT控制裝置，還根據(jù)所述結(jié)束標(biāo)識(shí)調(diào)起下一操作步驟。
12.根據(jù)權(quán)利要求10所述的數(shù)據(jù)質(zhì)量控制系統(tǒng)，其特征在于，還包括結(jié)果展示裝置，用于展示所述操作步驟的校驗(yàn)信息和/或錯(cuò)誤信息。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)質(zhì)量控制方法、裝置及系統(tǒng)。其中數(shù)據(jù)質(zhì)量控制方法包括在數(shù)據(jù)處理過(guò)程中對(duì)操作步驟進(jìn)行校驗(yàn)，生成校驗(yàn)文件；將操作步驟的校驗(yàn)文件進(jìn)行對(duì)比分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，生成錯(cuò)誤信息并發(fā)送至ELT控制裝置；ELT控制裝置根據(jù)錯(cuò)誤信息中斷正在進(jìn)行的操作步驟。本發(fā)明的數(shù)據(jù)質(zhì)量控制方法、裝置及系統(tǒng)，通過(guò)在數(shù)據(jù)處理的各個(gè)操作步驟進(jìn)行校驗(yàn)并對(duì)校驗(yàn)結(jié)果進(jìn)行比對(duì)分析，當(dāng)出現(xiàn)數(shù)據(jù)異常時(shí)，通知ELT控制裝置中斷正在進(jìn)行的操作，使得數(shù)據(jù)處理過(guò)程的各個(gè)操作步驟都進(jìn)行了質(zhì)量控制，提高了數(shù)據(jù)的可靠性。
文檔編號(hào)G06Q10/00GK102073912SQ20091022354
公開日2011年5月25日 申請(qǐng)日期2009年11月23日 優(yōu)先權(quán)日2009年11月23日
發(fā)明者孟繁力, 李宏昌, 王曉偉, 王雅文 申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)黑龍江有限公司