一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明提出一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，包括步驟：根據(jù)數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)建立統(tǒng)一數(shù)據(jù)模型；根據(jù)建立的數(shù)據(jù)模型配置元數(shù)據(jù)；生成校驗(yàn)規(guī)則；配置執(zhí)行策略，每一執(zhí)行策略綁定一個(gè)或多個(gè)校驗(yàn)規(guī)則；按計(jì)劃自動(dòng)執(zhí)行策略，在數(shù)據(jù)庫(kù)中查找并存儲(chǔ)目標(biāo)數(shù)據(jù)；生成報(bào)告并分發(fā)。根據(jù)本發(fā)明的企業(yè)數(shù)據(jù)質(zhì)量管理基于元數(shù)據(jù)進(jìn)行，通過(guò)解析元數(shù)據(jù)設(shè)置的業(yè)務(wù)特征和管理特征結(jié)果，實(shí)現(xiàn)了數(shù)據(jù)完整性校驗(yàn)規(guī)則和數(shù)據(jù)合規(guī)性校驗(yàn)規(guī)則的自動(dòng)生成，并以自動(dòng)化手段全面支撐數(shù)據(jù)質(zhì)量管理的事前防范事中檢查以及事后評(píng)價(jià)。
【專(zhuān)利說(shuō)明】一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)處理方法，尤其是一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著信息化技術(shù)的發(fā)展，產(chǎn)生了越來(lái)越多的數(shù)據(jù)信息，數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡整個(gè)生命周期里可能會(huì)引發(fā)各類(lèi)數(shù)據(jù)質(zhì)量問(wèn)題。錯(cuò)誤的數(shù)據(jù)將會(huì)對(duì)企業(yè)的運(yùn)營(yíng)、決策造成嚴(yán)重的不良后果，因此數(shù)據(jù)質(zhì)量管理已成為企業(yè)信息化建設(shè)中至關(guān)重要的環(huán)節(jié)。
[0003]目前業(yè)界缺少一種完整的數(shù)據(jù)質(zhì)量管理解決方案，通常都要數(shù)據(jù)庫(kù)管理員編寫(xiě)程序腳本來(lái)識(shí)別存在問(wèn)題的數(shù)據(jù)。這種方法的優(yōu)點(diǎn)是簡(jiǎn)單、不需部署額外的系統(tǒng)，缺點(diǎn)是不規(guī)范、可維護(hù)性差、容易出錯(cuò)、不能監(jiān)控問(wèn)題數(shù)據(jù)整改情況。還有種做法是使用規(guī)章制度來(lái)規(guī)范數(shù)據(jù)錄入數(shù)據(jù)工作，這種規(guī)章制度在一定程度上能防止缺陷數(shù)據(jù)進(jìn)入數(shù)據(jù)庫(kù)，但操作人員的技能水平、責(zé)任感、操作失誤等都會(huì)產(chǎn)生數(shù)據(jù)質(zhì)量問(wèn)題。
[0004]無(wú)論是使用程序腳本還是規(guī)章制度都不能自動(dòng)地對(duì)問(wèn)題數(shù)據(jù)進(jìn)行識(shí)別、度量和報(bào)警。當(dāng)有成千上萬(wàn)條數(shù)據(jù)質(zhì)量規(guī)則需要校驗(yàn)時(shí)，這種依靠人工干預(yù)才能完成的方式已不能滿(mǎn)足需求。
[0005]舉例來(lái)說(shuō)，大型企業(yè)在數(shù)據(jù)管理工作方面往往存在以下問(wèn)題:
[0006]1.缺乏統(tǒng)一管理，各業(yè)務(wù)系統(tǒng)或各分子公司的數(shù)據(jù)管理方式和方法差異較大，水平參差不齊；
[0007]2.數(shù)據(jù)源不唯一，按系統(tǒng)邊界進(jìn)行數(shù)據(jù)管理，系統(tǒng)間數(shù)據(jù)冗余導(dǎo)致數(shù)據(jù)多頭管理，數(shù)據(jù)一致性較差；
[0008]3.責(zé)任不明確，數(shù)據(jù)的管理、錄入、使用責(zé)任沒(méi)有落實(shí)到具體部門(mén)和崗位；
[0009]4.缺乏企業(yè)資源統(tǒng)一建模，人、財(cái)、物等企業(yè)資源數(shù)據(jù)模型不統(tǒng)一，導(dǎo)致數(shù)據(jù)整合和集成的難度較大；
[0010]5.數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行不到位，已有業(yè)務(wù)系統(tǒng)沒(méi)有全面固化和遵守?cái)?shù)據(jù)規(guī)范，存在信息分類(lèi)編碼不一致、業(yè)務(wù)含義不統(tǒng)一的現(xiàn)象。

【發(fā)明內(nèi)容】

[0011]針對(duì)以上現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種完整的數(shù)據(jù)質(zhì)量管理解決方案，
[0012]本發(fā)明的技術(shù)方案為:
[0013]一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，包括以下步驟:
[0014]I)根據(jù)數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)建立統(tǒng)一數(shù)據(jù)模型；
[0015]2)根據(jù)建立的數(shù)據(jù)模型配置元數(shù)據(jù)；
[0016]3)通過(guò)解析元數(shù)據(jù)設(shè)置的業(yè)務(wù)特征和管理特征結(jié)果生成校驗(yàn)規(guī)則；[0017]4)配置執(zhí)行策略，每一執(zhí)行策略綁定一個(gè)或多個(gè)校驗(yàn)規(guī)則；
[0018]5)按計(jì)劃自動(dòng)執(zhí)行策略，在目標(biāo)數(shù)據(jù)庫(kù)中查找并存儲(chǔ)目標(biāo)數(shù)據(jù)；
[0019]6)生成報(bào)告并分發(fā)。
[0020]作為以上技術(shù)方案的一種改進(jìn)，步驟3)還包括導(dǎo)出含有校驗(yàn)規(guī)則的離線包，其中的校驗(yàn)規(guī)則包括數(shù)據(jù)完整性校驗(yàn)規(guī)則和數(shù)據(jù)合規(guī)性校驗(yàn)規(guī)則。
[0021]作為以上技術(shù)方案的一種改進(jìn)，還包括以下步驟:與上次執(zhí)行策略查找到目標(biāo)數(shù)據(jù)進(jìn)行對(duì)比，分析并標(biāo)記出本次查找到的目標(biāo)數(shù)據(jù)中已經(jīng)整改的數(shù)據(jù)。
[0022]本發(fā)明還提出一種基于以上方法的系統(tǒng)，包括:
[0023]數(shù)據(jù)模型模塊，根據(jù)數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)建立統(tǒng)一數(shù)據(jù)模型；
[0024]元數(shù)據(jù)配置模塊，根據(jù)建立的數(shù)據(jù)模型配置元數(shù)據(jù)；
[0025]校驗(yàn)規(guī)則生成模塊，通過(guò)解析元數(shù)據(jù)設(shè)置的業(yè)務(wù)特征和管理特征結(jié)果生成校驗(yàn)規(guī)則；
[0026]策略配置模塊，配置執(zhí)行策略，每一執(zhí)行策略綁定一個(gè)或多個(gè)校驗(yàn)規(guī)則；
[0027]執(zhí)行引擎，按計(jì)劃自動(dòng)執(zhí)行策略，在目標(biāo)數(shù)據(jù)庫(kù)中查找并存儲(chǔ)目標(biāo)數(shù)據(jù)；
[0028]報(bào)告生模塊,生成報(bào)告并分發(fā)。
[0029]作為以上技術(shù)方案的一種改進(jìn)，校驗(yàn)規(guī)則生成模塊導(dǎo)出含有校驗(yàn)規(guī)則的離線包，其中的校驗(yàn)規(guī)則包括數(shù)據(jù)完整性校驗(yàn)規(guī)則和數(shù)據(jù)合規(guī)性校驗(yàn)規(guī)則。
[0030]作為以上技術(shù)方案的一種改進(jìn)，還包括比較標(biāo)記模塊，將本次查找到的目標(biāo)數(shù)據(jù)與上次執(zhí)行策略查找到目標(biāo)數(shù)據(jù)進(jìn)行對(duì)比，分析并標(biāo)記出本次查找到的目標(biāo)數(shù)據(jù)中已經(jīng)整改的數(shù)據(jù)。
[0031]本發(fā)明的有益效果在于:
[0032]數(shù)據(jù)質(zhì)量管理基于元數(shù)據(jù)進(jìn)行，通過(guò)解析元數(shù)據(jù)設(shè)置的業(yè)務(wù)特征和管理特征結(jié)果，實(shí)現(xiàn)了數(shù)據(jù)完整性校驗(yàn)規(guī)則和數(shù)據(jù)合規(guī)性校驗(yàn)規(guī)則的自動(dòng)生成。同時(shí)，系統(tǒng)能把校驗(yàn)規(guī)則導(dǎo)出離線包功能，支撐業(yè)務(wù)系統(tǒng)或主數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)質(zhì)量管理需求；此外，系統(tǒng)支持?jǐn)?shù)據(jù)質(zhì)量校驗(yàn)規(guī)則的自動(dòng)以及校驗(yàn)報(bào)告的自動(dòng)生成，以自動(dòng)化手段全面支撐數(shù)據(jù)質(zhì)量管理的事前防范事中檢查以及事后評(píng)價(jià)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0033]以下結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，其中:
[0034]圖1為本發(fā)明的流程示意圖。
【具體實(shí)施方式】
[0035]在此作為示范的優(yōu)選實(shí)施例中，以電網(wǎng)營(yíng)銷(xiāo)系統(tǒng)為例說(shuō)明整個(gè)流程。為了簡(jiǎn)化業(yè)務(wù)邏輯，該例子只選取“合同”對(duì)象做說(shuō)明。
[0036]如圖1所示，本發(fā)明所提出的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法可以在現(xiàn)有的辦公系統(tǒng)中實(shí)現(xiàn)，即可以在常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu)上部署。在根據(jù)本發(fā)明的方法實(shí)施的系統(tǒng)里，首先，在步驟1，系統(tǒng)的數(shù)據(jù)模型模塊根據(jù)數(shù)據(jù)庫(kù)里的數(shù)據(jù)類(lèi)型生成統(tǒng)一的數(shù)據(jù)模型。
[0037]在步驟2，系統(tǒng)的元數(shù)據(jù)配置模塊根據(jù)數(shù)據(jù)模型里配置元數(shù)據(jù)提供便利，在一些可選的實(shí)施方案中，系統(tǒng)的元數(shù)據(jù)配置模塊可根據(jù)已有的元數(shù)據(jù)庫(kù)或者數(shù)據(jù)庫(kù)自動(dòng)分析生成所需的元數(shù)據(jù)，即系統(tǒng)可根據(jù)現(xiàn)有的數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，自動(dòng)生成數(shù)據(jù)的定義及數(shù)據(jù)之間的關(guān)系，系統(tǒng)管理員可對(duì)自動(dòng)生成的元數(shù)據(jù)進(jìn)行修改。
[0038]在此實(shí)施例中，統(tǒng)一數(shù)據(jù)模型由承建營(yíng)銷(xiāo)系統(tǒng)的廠商提供，數(shù)據(jù)模型的內(nèi)容主要包括業(yè)務(wù)系統(tǒng)中存在哪些對(duì)象、對(duì)象包含哪些屬性以及對(duì)象之間的關(guān)系等。系統(tǒng)管理員根據(jù)該數(shù)據(jù)模型在系統(tǒng)中錄入對(duì)應(yīng)的元數(shù)據(jù)，對(duì)象的元數(shù)據(jù)包括業(yè)務(wù)特征和管理特征，限于
篇幅下表只列出“合同”的部分元數(shù)據(jù):
[0039]
【權(quán)利要求】
1.一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，其特征在于，包括以下步驟: 1)根據(jù)數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)建立統(tǒng)一數(shù)據(jù)模型； 2)根據(jù)建立的數(shù)據(jù)模型配置元數(shù)據(jù)； 3)通過(guò)解析元數(shù)據(jù)設(shè)置的業(yè)務(wù)特征和管理特征結(jié)果生成校驗(yàn)規(guī)則； 4)配置執(zhí)行策略，每一執(zhí)行策略綁定一個(gè)或多個(gè)校驗(yàn)規(guī)則； 5)按計(jì)劃自動(dòng)執(zhí)行策略，在目標(biāo)數(shù)據(jù)庫(kù)中查找并存儲(chǔ)目標(biāo)數(shù)據(jù)； 6)生成報(bào)告并分發(fā)。
2.根據(jù)權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，其特征在于，步驟3)還包括導(dǎo)出含有校驗(yàn)規(guī)則的離線包。
3.根據(jù)權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，其特征在于，所述校驗(yàn)規(guī)則包括數(shù)據(jù)完整性校驗(yàn)規(guī)則和數(shù)據(jù)合規(guī)性校驗(yàn)規(guī)則。
4.根據(jù)權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，其特征在于，還包括以下步驟:與上次執(zhí)行策略查找到目標(biāo)數(shù)據(jù)進(jìn)行對(duì)比，分析并標(biāo)記出本次查找到的目標(biāo)數(shù)據(jù)中已經(jīng)整改的數(shù)據(jù)。
5.一種基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理系統(tǒng)，其特征在于，包括: 數(shù)據(jù)模型模塊，根據(jù)數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)建立統(tǒng)一數(shù)據(jù)模型； 元數(shù)據(jù)配置模塊，根據(jù)建立的數(shù)據(jù)模型配置元數(shù)據(jù)； 校驗(yàn)規(guī)則生成模塊，通過(guò)解析元數(shù)據(jù)設(shè)置的業(yè)務(wù)特征和管理特征結(jié)果生成校驗(yàn)規(guī)則； 策略配置模塊，配置執(zhí)行策略，每一執(zhí)行策略綁定一個(gè)或多個(gè)校驗(yàn)規(guī)則； 執(zhí)行引擎，按計(jì)劃自動(dòng)執(zhí)行策略，在目標(biāo)數(shù)據(jù)庫(kù)中查找并存儲(chǔ)目標(biāo)數(shù)據(jù)； 報(bào)告生模塊，生成報(bào)告并分發(fā)。
6.根據(jù)權(quán)利要求4所述的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理系統(tǒng)，其特征在于，校驗(yàn)規(guī)則生成模塊導(dǎo)出含有校驗(yàn)規(guī)則的離線包。
7.根據(jù)權(quán)利要求4所述的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理系統(tǒng)，其特征在于，所述校驗(yàn)規(guī)則包括數(shù)據(jù)完整性校驗(yàn)規(guī)則和數(shù)據(jù)合規(guī)性校驗(yàn)規(guī)則。
8.根據(jù)權(quán)利要求4所述的基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理系統(tǒng)，其特征在于，還包括比較標(biāo)記模塊，將本次查找到的目標(biāo)數(shù)據(jù)與上次執(zhí)行策略查找到目標(biāo)數(shù)據(jù)進(jìn)行對(duì)比，分析并標(biāo)記出本次查找到的目標(biāo)數(shù)據(jù)中已經(jīng)整改的數(shù)據(jù)。
【文檔編號(hào)】G06F17/30GK103699693SQ201410013537
【公開(kāi)日】2014年4月2日 申請(qǐng)日期:2014年1月10日 優(yōu)先權(quán)日:2014年1月10日
【發(fā)明者】張?jiān)娷? 王志英, 呂華輝, 鄒慶, 羅四夕, 羅念華, 朱州, 劉學(xué)儀, 曹軍, 葛松, 袁捷, 關(guān)志偉, 陳健欣 申請(qǐng)人:中國(guó)南方電網(wǎng)有限責(zé)任公司, 貴州電網(wǎng)公司信息通信分公司, 廣東卓維網(wǎng)絡(luò)有限公司, 貴州廣思信息網(wǎng)絡(luò)有限公司