本發(fā)明屬于企業(yè)信息化的主數(shù)據(jù)管理技術(shù)領(lǐng)域,尤其涉及一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法。

背景技術(shù)：

主數(shù)據(jù)是企業(yè)內(nèi)能夠跨業(yè)務(wù)重復(fù)使用的高價(jià)值的核心實(shí)體數(shù)據(jù)，是企業(yè)的“黃金”數(shù)據(jù)，例如：人員、產(chǎn)品、客戶、供應(yīng)商、物料等。主數(shù)據(jù)管理幫助企業(yè)創(chuàng)建并維護(hù)整個(gè)企業(yè)內(nèi)主數(shù)據(jù)的單一視圖，保證整個(gè)企業(yè)IT系統(tǒng)協(xié)調(diào)和重用準(zhǔn)確的、一致的、完整性的主數(shù)據(jù)。

主數(shù)據(jù)管理的客戶一般是大中型集團(tuán)企業(yè),集團(tuán)企業(yè)實(shí)施主數(shù)據(jù)管理，它希望其子集團(tuán)或分子公司能夠切實(shí)地遵循主數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、管理制度并執(zhí)行。但有時(shí)一些集團(tuán)企業(yè)的子集團(tuán)或分子公司很強(qiáng)勢(shì)，信息化程度也很高，不大“服從”集團(tuán)，在這種情況下，集團(tuán)很難強(qiáng)制推行主數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范與管理制度，即使集團(tuán)的主數(shù)據(jù)管理下發(fā)了標(biāo)準(zhǔn)的主數(shù)據(jù)信息，也無從得知子集團(tuán)或分子公司是否執(zhí)行了數(shù)據(jù)同步，只能通過線下人工以行政手段方式進(jìn)行檢查，這使得企業(yè)主數(shù)據(jù)管理的工作效率低下，主數(shù)據(jù)業(yè)務(wù)價(jià)值降低。另外，強(qiáng)勢(shì)的子集團(tuán)或分子公司有時(shí)不愿意修改或改造已有系統(tǒng)的接口方式，喜歡采用簡單的數(shù)據(jù)庫或文件接口，公開相關(guān)數(shù)據(jù)庫表或文件讓主數(shù)據(jù)管理進(jìn)行采集，采集過來的數(shù)據(jù)存在著大量的數(shù)據(jù)轉(zhuǎn)換的工作，這也加重了主數(shù)據(jù)管理人員的工作負(fù)擔(dān)。

從以上我們可以看到：在中國特色的企業(yè)國情下，集團(tuán)弱管控是國內(nèi)主數(shù)據(jù)治理的一項(xiàng)重要內(nèi)容,對(duì)于集團(tuán)而言，它只想宏觀把控或了解集團(tuán)主數(shù)據(jù)管理規(guī)范的落實(shí)情況，不想干預(yù)子集團(tuán)或分子公司的業(yè)務(wù)，希望能“柔性”地幫助子集團(tuán)或分子公司提升它們業(yè)務(wù)系統(tǒng)的基本檔案的數(shù)據(jù)質(zhì)量。

對(duì)于主數(shù)據(jù)的集團(tuán)弱管控，目前在主數(shù)據(jù)管理實(shí)施中，一般只能作到：1）給業(yè)務(wù)系統(tǒng)下發(fā)主數(shù)據(jù)信息，并且保證信息到達(dá)；2）建立主數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)的映射關(guān)系，提供查詢；3）使用數(shù)據(jù)集成產(chǎn)品來解決大量的數(shù)據(jù)轉(zhuǎn)換問題。這些顯然很難達(dá)到管控的目的，存在的問題主要有：1）給業(yè)務(wù)系統(tǒng)下發(fā)主數(shù)據(jù)信息，但不知道業(yè)務(wù)系統(tǒng)是否進(jìn)行了相關(guān)的業(yè)務(wù)處理；2）不了解主數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的基礎(chǔ)數(shù)據(jù)的映射關(guān)系，不能檢查業(yè)務(wù)系統(tǒng)的真正的主數(shù)據(jù)規(guī)范落實(shí)情況。3）數(shù)據(jù)集成產(chǎn)品一般都比較“重”，二次開發(fā)比較困難，反而增加額外的工作量。

因此，需要一種新的數(shù)據(jù)治理辦法來避免上述缺陷的產(chǎn)生。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法，綜合了ETL、Web服務(wù)等技術(shù)優(yōu)點(diǎn)，提供了基于副本機(jī)制的主數(shù)據(jù)治理的架構(gòu)與核心業(yè)務(wù)流程和采集接口，導(dǎo)入接口、通知接口、稽核等的規(guī)范約束。

一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)，所述主數(shù)據(jù)治理系統(tǒng)包括業(yè)務(wù)系統(tǒng)主數(shù)據(jù)管理的副本監(jiān)管子系統(tǒng)和主數(shù)據(jù)管理的生命周期管理子系統(tǒng)，所述副本監(jiān)管子系統(tǒng)從業(yè)務(wù)系統(tǒng)對(duì)副本進(jìn)行建模，通過采集接口采集副本，然后進(jìn)行副本的查詢、轉(zhuǎn)換、導(dǎo)入，之后通過導(dǎo)入接口發(fā)送給生命周期管理子系統(tǒng)進(jìn)行主數(shù)據(jù)副本處理，之后通過通知接口發(fā)送通知或主數(shù)據(jù)分發(fā)，期間對(duì)主數(shù)據(jù)及其副本進(jìn)行稽核。

優(yōu)選地，所述副本的模型是依據(jù)基本檔案的數(shù)據(jù)模型，從主數(shù)據(jù)域的視角建立的，具有以下屬性：

主數(shù)據(jù)編碼：導(dǎo)入成功后，由主數(shù)據(jù)管理下發(fā)回填，未導(dǎo)入或?qū)氩怀晒榭眨?/p>

業(yè)務(wù)系統(tǒng)編碼：說明副本來源于那個(gè)業(yè)務(wù)系統(tǒng)；

業(yè)務(wù)ID：業(yè)務(wù)系統(tǒng)的基本檔案的唯一標(biāo)識(shí)。

優(yōu)選地，所述采集接口依據(jù)業(yè)務(wù)系統(tǒng)的副本模型進(jìn)行數(shù)據(jù)采集，把業(yè)務(wù)系統(tǒng)的某個(gè)基本檔案表導(dǎo)入到副本表具有以下屬性：

采集方式：副本監(jiān)管子系統(tǒng)以“拉”方式，自動(dòng)地從相應(yīng)的業(yè)務(wù)系統(tǒng)的基本檔案表獲取數(shù)據(jù)；

采集策略：以計(jì)劃任務(wù)的形式，按照一定的任務(wù)周期進(jìn)行數(shù)據(jù)采集，例如：每天凌晨1點(diǎn)；

采集需要支持源與目標(biāo)源的數(shù)據(jù)模型轉(zhuǎn)換。

優(yōu)選地，所述副本的轉(zhuǎn)換通過副本監(jiān)管子系統(tǒng)提供副本轉(zhuǎn)換，實(shí)現(xiàn)副本與目標(biāo)主數(shù)據(jù)的數(shù)據(jù)模型的轉(zhuǎn)換。

優(yōu)選地，所述導(dǎo)入接口對(duì)副本數(shù)據(jù)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行組合屬性唯一性判斷，如果存在重復(fù)的主數(shù)據(jù)，則異步進(jìn)行主數(shù)據(jù)副本合并處理，如果不存在，則異步進(jìn)行新增主數(shù)據(jù)并且增加主數(shù)據(jù)與副本的映射關(guān)系，副本監(jiān)管子系統(tǒng)收到返回值后，修改該副本的導(dǎo)入狀態(tài)。

優(yōu)選地，所述通知接口在主數(shù)據(jù)管理完成主數(shù)據(jù)副本處理后，調(diào)用該接口通知該副本的處理結(jié)果，副本監(jiān)管子系統(tǒng)收到通知后，修改相關(guān)副本狀態(tài)以及“回填”副本對(duì)應(yīng)的主數(shù)據(jù)編碼。

優(yōu)選地，所述稽核包括：

查看主數(shù)據(jù)及其副本的映射關(guān)系，提供數(shù)據(jù)一致性報(bào)告，了解主數(shù)據(jù)聚合的來源情況以及主數(shù)據(jù)合并的情況；

檢查副本是否滿足稽核規(guī)則，滿足的話，給業(yè)務(wù)系統(tǒng)的負(fù)責(zé)人發(fā)郵件通知。

優(yōu)選地，所述稽核規(guī)則為：

1）依據(jù)副本模型，指定需要稽查的屬性字段集合，檢查副本與其對(duì)應(yīng)的主數(shù)據(jù)在稽查的屬性字段的內(nèi)容是否相等；

2）設(shè)置滿足1）的總次數(shù)閥值，如果達(dá)到閥值，則滿足稽核策略。

一種基于上述主數(shù)據(jù)治理系統(tǒng)的治理方法，所述方法包括以下步驟：

S1，主數(shù)據(jù)建模；

S2，副本建模；

S3，設(shè)置主數(shù)據(jù)的組合屬性唯一性條件；

S4，設(shè)置主數(shù)據(jù)的稽核規(guī)則；

S5，設(shè)置主數(shù)據(jù)副本采集策略；

S6，依據(jù)采集策略與副本模型從業(yè)務(wù)系統(tǒng)進(jìn)行采集數(shù)據(jù)；

S7，副本轉(zhuǎn)換；

S8，副本監(jiān)管子系統(tǒng)調(diào)用副本導(dǎo)入接口；

S9，主數(shù)據(jù)副本處理，以異步方式進(jìn)行稽核；

S10，生命周期子系統(tǒng)調(diào)用通知接口；

S11，生命周期子系統(tǒng)下發(fā)主數(shù)據(jù)以及映射關(guān)系到業(yè)務(wù)系統(tǒng)。

本發(fā)明的技術(shù)方案具有以下有益效果：

本發(fā)明提供的一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法，有效地解決了目前主數(shù)據(jù)管理在集團(tuán)弱管控的問題，幫助集團(tuán)企業(yè)宏觀上了解主數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范與管理制度的落實(shí)情況，對(duì)其下子集團(tuán)或分子公司實(shí)現(xiàn)弱管控，推動(dòng)企業(yè)信息化的建設(shè)，該方法已在多個(gè)主數(shù)據(jù)管理項(xiàng)目進(jìn)行了實(shí)施，取得了良好的效果；具有很好的普適性、靈活性、擴(kuò)展性。提供核心的業(yè)務(wù)邏輯，制定采集接口，導(dǎo)入接口、通知接口的規(guī)范約束，適合于不同的技術(shù)選型。

附圖說明

下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

圖1為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的主數(shù)據(jù)來源的基本檔案圖；

圖2為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的系統(tǒng)結(jié)構(gòu)圖；

圖3為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的副本模型的定義頁面圖；

圖4為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的供應(yīng)商的副本與目標(biāo)主數(shù)據(jù)屬性的映射關(guān)系圖；

圖5為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的供應(yīng)商的副本與目標(biāo)主數(shù)據(jù)屬性簡單的映射關(guān)系配置的頁面圖；

圖6為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的供應(yīng)商主數(shù)據(jù)與業(yè)務(wù)系統(tǒng)A、B的三條副本的映射關(guān)系圖；

圖7為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的主數(shù)據(jù)及副本的映射關(guān)系的查詢頁面圖；

圖8為本發(fā)明一種基于副本機(jī)制的主數(shù)據(jù)治理系統(tǒng)和方法的方法流程圖。

具體實(shí)施方式

為了清楚了解本發(fā)明的技術(shù)方案，將在下面的描述中提出其詳細(xì)的結(jié)構(gòu)。顯然，本發(fā)明實(shí)施例的具體施行并不足限于本領(lǐng)域的技術(shù)人員所熟習(xí)的特殊細(xì)節(jié)。本發(fā)明的優(yōu)選實(shí)施例詳細(xì)描述如下，除詳細(xì)描述的這些實(shí)施例外，還可以具有其他實(shí)施方式。

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。

結(jié)合圖1，本實(shí)施例中基于副本機(jī)制的主數(shù)據(jù)治理的“副本”是從主數(shù)據(jù)視角給予的稱呼，它來源于業(yè)務(wù)系統(tǒng)的基礎(chǔ)數(shù)據(jù)或基本檔案（以下簡稱基本檔案），主數(shù)據(jù)聚合的主要來源是從各業(yè)務(wù)系統(tǒng)采集的副本。下圖中供應(yīng)商主數(shù)據(jù)M001來源于業(yè)務(wù)系統(tǒng)A、B的供應(yīng)商基本檔案。

基于副本機(jī)制的主數(shù)據(jù)治理涉及到業(yè)務(wù)系統(tǒng)、主數(shù)據(jù)管理的副本監(jiān)管子系統(tǒng)，主數(shù)據(jù)管理的生命周期管理子系統(tǒng)，三者關(guān)系如圖2，從圖中可看出，所述副本監(jiān)管子系統(tǒng)對(duì)副本進(jìn)行建模，從業(yè)務(wù)系統(tǒng)通過采集接口采集副本，然后進(jìn)行副本的查詢、轉(zhuǎn)換、導(dǎo)入，之后通過導(dǎo)入接口發(fā)送給生命周期管理子系統(tǒng)進(jìn)行主數(shù)據(jù)副本處理，之后通過通知接口發(fā)送通知或主數(shù)據(jù)分發(fā)，期間對(duì)主數(shù)據(jù)及其副本進(jìn)行稽核；從功能實(shí)現(xiàn)角度來看，主數(shù)據(jù)管理需要增加副本監(jiān)管子系統(tǒng)，生命周期管理子系統(tǒng)的主數(shù)據(jù)副本處理模塊，采集、導(dǎo)入、通知等接口。

副本建模：副本的數(shù)據(jù)模型是依據(jù)基本檔案的數(shù)據(jù)模型，從主數(shù)據(jù)域的視角來建立的。副本模型除了能靈活定義各業(yè)務(wù)系統(tǒng)的基本檔案的屬性，必須得有如下屬性：

主數(shù)據(jù)編碼（mdm_code）：導(dǎo)入成功后，由主數(shù)據(jù)管理下發(fā)回填，未導(dǎo)入或?qū)氩怀晒榭眨?/p>

業(yè)務(wù)系統(tǒng)編碼（sysregistercode）：說明副本來源于那個(gè)業(yè)務(wù)系統(tǒng)；

業(yè)務(wù)ID（busi_id）：業(yè)務(wù)系統(tǒng)的基本檔案的唯一標(biāo)識(shí)。

副本模型的定義頁面如圖3所示，其中注意事項(xiàng)：各業(yè)務(wù)系統(tǒng)的副本模型定義可能是不相同的，需要分別定義；副本模型定義后，需要生成相關(guān)的副本表。

采集接口：需要依據(jù)業(yè)務(wù)系統(tǒng)的副本模型進(jìn)行數(shù)據(jù)采集，把業(yè)務(wù)系統(tǒng)的某個(gè)基本檔案表導(dǎo)入到副本表；采集方式：副本監(jiān)管子系統(tǒng)以“拉”方式，自動(dòng)地從相應(yīng)的業(yè)務(wù)系統(tǒng)的基本檔案表獲取數(shù)據(jù)；采集策略：以計(jì)劃任務(wù)的形式，按照一定的任務(wù)周期進(jìn)行數(shù)據(jù)采集，例如：每天凌晨1點(diǎn)；

采集需要支持源與目標(biāo)源的數(shù)據(jù)模型轉(zhuǎn)換，從軟件技術(shù)實(shí)現(xiàn)來看，可以采用數(shù)據(jù)集成工具或使用數(shù)據(jù)庫、計(jì)劃任務(wù)等技術(shù)自主實(shí)現(xiàn)，建議開源的數(shù)據(jù)集成工具Kettle。

副本轉(zhuǎn)換：副本監(jiān)管子系統(tǒng)提供副本轉(zhuǎn)換，實(shí)現(xiàn)副本與目標(biāo)主數(shù)據(jù)的數(shù)據(jù)模型的轉(zhuǎn)換。例如下圖4：供應(yīng)商的副本與目標(biāo)主數(shù)據(jù)屬性的映射關(guān)系；對(duì)于比較復(fù)雜的數(shù)據(jù)轉(zhuǎn)換，可以通過動(dòng)態(tài)注入接口實(shí)現(xiàn)來完成。

導(dǎo)入接口：生命周期管理子系統(tǒng)提供導(dǎo)入接口。只要滿足接口的定義規(guī)范，采用WebService或者Restful API均可；接口名稱：fbInsert；接口功能：對(duì)副本數(shù)據(jù)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行組合屬性唯一性判斷，如果存在重復(fù)的主數(shù)據(jù)，則異步進(jìn)行主數(shù)據(jù)副本合并處理，如果不存在，則異步進(jìn)行新增主數(shù)據(jù)并且增加主數(shù)據(jù)與副本的映射關(guān)系。副本監(jiān)管子系統(tǒng)收到返回值后，修改該副本的導(dǎo)入狀態(tài)。

請(qǐng)求數(shù)據(jù)見表1：

表1

返回?cái)?shù)據(jù)見表2：

表2

主數(shù)據(jù)副本處理：主數(shù)據(jù)副本處理模塊負(fù)責(zé)建立主數(shù)據(jù)及其各業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)副本的映射關(guān)系。例如圖6中供應(yīng)商主數(shù)據(jù)與業(yè)務(wù)系統(tǒng)A、B的三條副本存在映射關(guān)系；注意事項(xiàng)：

1)主數(shù)據(jù)副本的數(shù)據(jù)模型是副本轉(zhuǎn)換后的數(shù)據(jù)模型；

2)生命周期管理子系統(tǒng)的主數(shù)據(jù)建模提供組合屬性唯一性檢查的條件設(shè)置，例如上圖設(shè)置 VENDOR為唯一性檢查的屬性字段。

主數(shù)據(jù)副本處理的核心業(yè)務(wù)邏輯如下：

WHILE 不是最后一條 DO

IF導(dǎo)入接口的副本內(nèi)容符合組合屬性唯一性檢查的條件 THEN

添加到相應(yīng)的主數(shù)據(jù)及其副本的映射關(guān)系；

ELSE

依據(jù)副本內(nèi)容，新增一條主數(shù)據(jù)；

新建一條主數(shù)據(jù)及其副本的映射關(guān)系；

END IF

END WHILE

對(duì)符合組合屬性唯一性檢查的條件的副本與相應(yīng)主數(shù)據(jù)進(jìn)行內(nèi)容合并。

通知接口：副本監(jiān)管子系統(tǒng)提供通知接口。只要滿足接口的定義規(guī)范，采用WebService或者Restful API均可；接口名稱：notice；接口功能：主數(shù)據(jù)管理完成主數(shù)據(jù)副本處理后，調(diào)用該接口通知該副本的處理結(jié)果，副本監(jiān)管子系統(tǒng)收到通知后，修改相關(guān)副本狀態(tài)以及“回填”副本對(duì)應(yīng)的主數(shù)據(jù)編碼。

請(qǐng)求數(shù)據(jù)見表1，返回?cái)?shù)據(jù)見表2；

表1

稽核包括：1）查看主數(shù)據(jù)及其副本的映射關(guān)系，提供數(shù)據(jù)一致性報(bào)告，了解主數(shù)據(jù)聚合的來源情況以及主數(shù)據(jù)合并的情況。2）檢查副本是否滿足稽核規(guī)則，滿足的話，給業(yè)務(wù)系統(tǒng)的負(fù)責(zé)人發(fā)郵件通知。

主數(shù)據(jù)及副本的映射關(guān)系的查詢頁面如圖7所示。

稽核規(guī)則定義如下：

1)依據(jù)副本模型，指定需要稽查的屬性字段集合，檢查副本與其對(duì)應(yīng)的主數(shù)據(jù)在稽查的屬性字段的內(nèi)容是否相等；

2)設(shè)置滿足1）的總次數(shù)閥值，如果達(dá)到閥值，則滿足稽核策略。

稽核過程可以在導(dǎo)入接口完成后進(jìn)行觸發(fā)，異步執(zhí)行。

稽核的郵件通知是異步的。通知業(yè)務(wù)系統(tǒng)的基本檔案以沒有遵循主數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，有些屬性字段的內(nèi)容沒有同步修改。

結(jié)合圖8，基于副本機(jī)制的主數(shù)據(jù)治理的核心流程即一種基于上述主數(shù)據(jù)治理系統(tǒng)的治理方法，所述方法包括以下步驟：S1，主數(shù)據(jù)建模；S2，副本建模；S3，設(shè)置主數(shù)據(jù)的組合屬性唯一性條件；S4，設(shè)置主數(shù)據(jù)的稽核規(guī)則；S5，設(shè)置主數(shù)據(jù)副本采集策略；S6，依據(jù)采集策略與副本模型從業(yè)務(wù)系統(tǒng)進(jìn)行采集數(shù)據(jù)；S7，副本轉(zhuǎn)換；S8，副本監(jiān)管子系統(tǒng)調(diào)用副本導(dǎo)入接口；S9，主數(shù)據(jù)副本處理，以異步方式進(jìn)行稽核；S10，生命周期子系統(tǒng)調(diào)用通知接口；S11，生命周期子系統(tǒng)下發(fā)主數(shù)據(jù)以及映射關(guān)系到業(yè)務(wù)系統(tǒng)。

本方法是基于副本機(jī)制的主數(shù)據(jù)治理，它有效地解決了目前主數(shù)據(jù)管理在集團(tuán)弱管控的問題，幫助集團(tuán)企業(yè)宏觀上了解主數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范與管理制度的落實(shí)情況，對(duì)其下子集團(tuán)或分子公司實(shí)現(xiàn)弱管控，推動(dòng)企業(yè)信息化的建設(shè)，該方法已在多個(gè)主數(shù)據(jù)管理項(xiàng)目進(jìn)行了實(shí)施，取得了良好的效果具有很好的普適性、靈活性、擴(kuò)展性。提供核心的業(yè)務(wù)邏輯，制定采集接口，導(dǎo)入接口、通知接口的規(guī)范約束，適合于不同的技術(shù)選型。

最后應(yīng)當(dāng)說明的是：以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員依然可以對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行修改或者等同替換，這些未脫離本發(fā)明精神和范圍的任何修改或者等同替換，均在申請(qǐng)待批的權(quán)利要求保護(hù)范圍之內(nèi)。