本發(fā)明屬于電網(wǎng)數(shù)據(jù)資產(chǎn)管理技術(shù)領(lǐng)域，具體是涉及一種基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺的實(shí)現(xiàn)方法。

背景技術(shù)：

隨著信息通信技術(shù)的不斷進(jìn)步，其對中國電力工業(yè)的價(jià)值貢獻(xiàn)正處于量變到質(zhì)變的關(guān)鍵節(jié)點(diǎn)，而變化的本質(zhì)就是電力信息通信與電力生產(chǎn)以及企業(yè)經(jīng)營管理的深度融合，其最終表現(xiàn)形式是電力數(shù)據(jù)的爆發(fā)性增長，即電力大數(shù)據(jù)。經(jīng)過多年的信息化建設(shè)，電網(wǎng)企業(yè)已經(jīng)走過了以流程為中心的階段，進(jìn)入以數(shù)據(jù)為中心的階段，構(gòu)建數(shù)字化企業(yè)，提升企業(yè)運(yùn)營效率是電網(wǎng)發(fā)展的迫切需求。隨著電網(wǎng)企業(yè)經(jīng)營業(yè)務(wù)發(fā)展及信息化水平的提高，急需高效管理、分析和利用不斷產(chǎn)生的各類海量業(yè)務(wù)數(shù)據(jù)，將數(shù)據(jù)逐步轉(zhuǎn)化為核心資產(chǎn)，充分挖掘數(shù)據(jù)資產(chǎn)價(jià)值，將企業(yè)管理從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動(dòng)”。因此，電網(wǎng)企業(yè)逐漸認(rèn)識到數(shù)據(jù)時(shí)永恒不變的，是企業(yè)始終存在的最有價(jià)值的資產(chǎn)。

電網(wǎng)企業(yè)明確提出要將數(shù)據(jù)作為公司戰(zhàn)略資產(chǎn)進(jìn)行管理，樹立數(shù)據(jù)資產(chǎn)管理理念，消除專業(yè)壁壘，實(shí)現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)利用效益的最大化。運(yùn)營數(shù)據(jù)資產(chǎn)的歸口管理部門，要加強(qiáng)運(yùn)營數(shù)據(jù)資產(chǎn)整合管理和分析利用，挖掘數(shù)據(jù)資產(chǎn)價(jià)值。然而當(dāng)前的管理手段和機(jī)制遠(yuǎn)遠(yuǎn)無法滿足大數(shù)據(jù)平臺對海量數(shù)據(jù)資產(chǎn)的管理能力要求，主要包括：

1)缺乏全局物理視圖：如想要知道某一個(gè)數(shù)據(jù)庫上面有多少數(shù)據(jù)表，有多少數(shù)據(jù)索引，有多少視圖時(shí)缺乏可視化視圖；

2)缺乏不同維度字典視圖及相應(yīng)IT化支持：在已存在系統(tǒng)中，有哪些關(guān)鍵業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)資產(chǎn)所有者是誰，誰做過修改或變更；

3)缺乏問題溯源：某張報(bào)表的A指標(biāo)是如何算出來的，原始數(shù)據(jù)來源是哪里；

4)缺乏變更管理：為什么這個(gè)月數(shù)據(jù)庫里面又多了100張報(bào)表，為什么這張表的一個(gè)字段被刪掉了，什么時(shí)候被刪掉的；

5)缺乏數(shù)據(jù)運(yùn)行態(tài)管理：某張基礎(chǔ)表的數(shù)據(jù)量有多少，數(shù)據(jù)增長情況如何；

6)缺乏審計(jì)稽核機(jī)制等，在設(shè)計(jì)文檔中某一個(gè)表有10個(gè)字段，然后在數(shù)據(jù)庫里面該表為什么有12個(gè)字段；

企業(yè)數(shù)據(jù)資產(chǎn)管理的主要對象是數(shù)據(jù)，面對海量業(yè)務(wù)數(shù)據(jù)，僅靠傳統(tǒng)線下手段，數(shù)據(jù)臺賬管理、數(shù)據(jù)監(jiān)測、數(shù)據(jù)模型、數(shù)據(jù)溯源等資產(chǎn)管理工作將難以開展，無法保證數(shù)據(jù)資產(chǎn)管理工作效率，因此亟需開發(fā)數(shù)據(jù)資產(chǎn)管理平臺，從數(shù)據(jù)資產(chǎn)核心工作出發(fā)，依托支撐平臺，實(shí)現(xiàn)對電網(wǎng)數(shù)據(jù)資產(chǎn)的全生命周期的監(jiān)控和管理。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺的實(shí)現(xiàn)方法，將企業(yè)數(shù)據(jù)作為核心資產(chǎn)管理，通過對運(yùn)營數(shù)據(jù)的全過程有效管理和合理應(yīng)用，不斷挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)向信息的轉(zhuǎn)化，繼而形成業(yè)務(wù)價(jià)值，實(shí)現(xiàn)核心業(yè)務(wù)能力提升、信息價(jià)值鏈擴(kuò)展和企業(yè)運(yùn)營模式優(yōu)化；同時(shí)，為深化數(shù)據(jù)治理工作、提升數(shù)據(jù)的質(zhì)量，為公司及時(shí)、快速的監(jiān)控企業(yè)經(jīng)營健康情況提供有效途徑。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明的一種基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺的實(shí)現(xiàn)方法，提供一種基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺系統(tǒng)，該系統(tǒng)包括依次互通連接的數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)持久層、技術(shù)組件層、應(yīng)用組件層和展現(xiàn)層，所述應(yīng)用組件層包括基本信息管理模塊、全局視圖管理模塊、日常監(jiān)測管理模塊、溯源管理模塊、價(jià)值評估管理模塊和流程管理模塊；

所述基本信息管理模塊用于對數(shù)據(jù)資產(chǎn)庫中數(shù)據(jù)資產(chǎn)進(jìn)行基本信息管理；

所述全局視圖管理模塊用于展示數(shù)據(jù)資產(chǎn)全景視圖并對該數(shù)據(jù)資產(chǎn)全景視圖進(jìn)行增刪改操作；

所述日常監(jiān)測管理模塊依據(jù)數(shù)據(jù)資產(chǎn)全景視圖對數(shù)據(jù)資產(chǎn)設(shè)置關(guān)鍵監(jiān)控點(diǎn)，并日常監(jiān)測數(shù)據(jù)資產(chǎn)關(guān)鍵監(jiān)控點(diǎn)變化情況和其他情況；

所述溯源管理模塊用于從數(shù)據(jù)資產(chǎn)源頭對數(shù)據(jù)資產(chǎn)進(jìn)行摸底及梳理，基于梳理結(jié)果產(chǎn)生并管理數(shù)據(jù)資產(chǎn)溯源全圖，并對數(shù)據(jù)資產(chǎn)溯源全圖進(jìn)行動(dòng)態(tài)維護(hù)以及溯源下進(jìn)行查詢功能，為數(shù)據(jù)資產(chǎn)人工監(jiān)測工作提供支撐；

所述價(jià)值評估管理模塊基于數(shù)據(jù)資產(chǎn)價(jià)值評估模型對所述數(shù)據(jù)資產(chǎn)溯源全圖中節(jié)點(diǎn)分別進(jìn)行價(jià)值評估，并按照價(jià)值評估模型計(jì)算數(shù)據(jù)資產(chǎn)價(jià)值；

所述流程管理模塊用于將審核合格的數(shù)據(jù)資產(chǎn)進(jìn)行歸檔；

所述方法包括以下步驟：

S1數(shù)據(jù)資產(chǎn)管理平臺首先從一組數(shù)據(jù)資產(chǎn)管理系統(tǒng)中實(shí)時(shí)采集數(shù)據(jù)交易信息，并將該交易數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)資產(chǎn)庫中；

S2所述基本信息管理模塊對數(shù)據(jù)資產(chǎn)庫中數(shù)據(jù)資產(chǎn)進(jìn)行分類、臺賬、編碼、業(yè)務(wù)對象、數(shù)據(jù)模型、規(guī)則和關(guān)聯(lián)關(guān)系進(jìn)行基本信息管理；

S3所述全局視圖管理模塊通過圖形化方式展示數(shù)據(jù)資產(chǎn)全景視圖并對該數(shù)據(jù)資產(chǎn)全景視圖進(jìn)行增刪改操作；

S4所述日常監(jiān)測管理模塊依據(jù)所述數(shù)據(jù)資產(chǎn)全景視圖對數(shù)據(jù)資產(chǎn)設(shè)置關(guān)鍵監(jiān)控點(diǎn)，并日常監(jiān)測數(shù)據(jù)資產(chǎn)關(guān)鍵監(jiān)控點(diǎn)變化情況和其他情況；

S5所述溯源管理模塊從數(shù)據(jù)資產(chǎn)源頭對數(shù)據(jù)資產(chǎn)進(jìn)行摸底及梳理，基于梳理結(jié)果產(chǎn)生并管理數(shù)據(jù)資產(chǎn)溯源全圖，并對數(shù)據(jù)資產(chǎn)溯源全圖進(jìn)行動(dòng)態(tài)維護(hù)以及溯源下進(jìn)行查詢功能，為數(shù)據(jù)資產(chǎn)人工監(jiān)測工作提供支撐；

S6所述價(jià)值評估管理模塊基于數(shù)據(jù)資產(chǎn)價(jià)值評估模型對所述數(shù)據(jù)資產(chǎn)溯源全圖中節(jié)點(diǎn)分別進(jìn)行價(jià)值評估，并按照價(jià)值評估模型計(jì)算數(shù)據(jù)資產(chǎn)價(jià)值；

S7所述流程管理模塊用于將審核合格的數(shù)據(jù)資產(chǎn)進(jìn)行歸檔。

進(jìn)一步地，所述步驟S1中，通過捕獲數(shù)據(jù)庫日志技術(shù)實(shí)現(xiàn)實(shí)時(shí)采集數(shù)據(jù)交易信息，具體包括以下步驟：

S11在源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫分別安裝Agent進(jìn)程；

S12應(yīng)用系統(tǒng)對源端數(shù)據(jù)庫進(jìn)行操作，源端數(shù)據(jù)庫中數(shù)據(jù)交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；

S13源端數(shù)據(jù)庫Agent進(jìn)程對日志文件依次進(jìn)行日志探測、日志分析、日志緩存和交易合成交易操作，將已提交的交易信息傳遞到傳輸隊(duì)列，源端數(shù)據(jù)庫Agent進(jìn)程對傳輸隊(duì)列中已提交的交易信息進(jìn)行交易傳輸操作，將已提交的交易信息傳送給目標(biāo)端數(shù)據(jù)庫；

S14目標(biāo)端數(shù)據(jù)庫Agent進(jìn)程通過對已提交的交易信息依次進(jìn)行交易接收、數(shù)據(jù)裝載操作，最后將已提交的交易信息存儲(chǔ)至目標(biāo)端數(shù)據(jù)庫中。

進(jìn)一步地，所述步驟S13包括以下步驟：

日志探測：源端數(shù)據(jù)庫Agent進(jìn)程通過定期檢查判斷源端數(shù)據(jù)庫中是否有新的交易產(chǎn)生，當(dāng)確認(rèn)有新的交易產(chǎn)生時(shí)，源端數(shù)據(jù)庫Agent進(jìn)程獲取日志文件組及最新日志文件位置，源端數(shù)據(jù)庫Agent進(jìn)程對最新日志文件位置與上次讀取的日志文件位置之間的日志文件進(jìn)行分析；

日志分析：通過源端數(shù)據(jù)庫Agent進(jìn)程中日志分析功能對通過日志探測步驟得到的日志文件進(jìn)行分析，得到源端數(shù)據(jù)庫中全部交易指令，并將該交易指令轉(zhuǎn)換成緊湊數(shù)據(jù)格式；

日志緩存：通過對源端數(shù)據(jù)庫日志文件分析得到的交易指令保存至日志緩存文件夾中，交易指令通過交叉方式保存至日志緩存文件夾中，一個(gè)交易指令包括若干條SQL指令，若干個(gè)交易指令中若干條SQL指令通過相互穿插方式存儲(chǔ)在日志緩存文件夾中，一個(gè)交易指令中若干條SQL指令通過非連續(xù)存儲(chǔ)方式存儲(chǔ)在日志緩存文件夾中，日志緩存文件夾中包括已提交的交易信息、未提交的交易信息和Rollback交易信息；

交易合成：交易合成模塊對首先按照交易序號對SQL指令進(jìn)行劃分，然后以交易為單位將已提交的交易信息傳遞到傳輸隊(duì)列，將未提交的交易信息保存在本地，將Rollback交易信息做丟棄處理；

交易傳輸：源端數(shù)據(jù)庫Agent進(jìn)程對傳輸隊(duì)列中已提交的交易信息進(jìn)行交易傳輸操作，傳輸模塊從傳輸對隊(duì)列中按照先進(jìn)先出的原則讀取交易信息并將該交易信息封裝成TCP/IP數(shù)據(jù)包，最后將交易數(shù)據(jù)包傳送給目標(biāo)端數(shù)據(jù)庫的接收模塊。

進(jìn)一步地，在交易合成操作步驟中，交易合成模塊通過源端數(shù)據(jù)庫日志文件得到保存的未提交交易信息已經(jīng)提交時(shí)，則將該已提交交易信息發(fā)送至傳輸隊(duì)列。

進(jìn)一步地，所述步驟S14包括以下步驟：

交易接收：目標(biāo)端數(shù)據(jù)庫Agent進(jìn)程通過對已提交的交易信息進(jìn)行交易接收操作，接收模塊在收到傳輸?shù)慕灰讛?shù)據(jù)包后，首先根據(jù)該交易數(shù)據(jù)包的包頭描述的包大小進(jìn)行傳輸合法性檢查判斷是否傳輸完整，如果傳輸不完整則將記錄信息并反饋至源端數(shù)據(jù)庫Agent進(jìn)程進(jìn)行重傳；如果傳輸完整則將完整的交易數(shù)據(jù)包存入接收隊(duì)列中；

數(shù)據(jù)裝載：由數(shù)據(jù)裝載模塊按照交易的順序從接收隊(duì)列中裝載交易信息至目標(biāo)端數(shù)據(jù)庫，數(shù)據(jù)裝載模塊將接收隊(duì)列中的交易信息通過調(diào)用源端數(shù)據(jù)庫I/O層接口和最底層函數(shù)將接收隊(duì)列中交易信息寫入到目標(biāo)端數(shù)據(jù)庫中。

進(jìn)一步地，所述步驟S7包括以下步驟：

首先業(yè)務(wù)部門提出數(shù)據(jù)資產(chǎn)新增、變更或停用申請；

接著數(shù)據(jù)資產(chǎn)管理部門對業(yè)務(wù)部門的數(shù)據(jù)資產(chǎn)申請需求進(jìn)行初審，初審未通過則退回業(yè)務(wù)部門；初審?fù)ㄟ^則進(jìn)行細(xì)致核對，細(xì)致核對后如有問題，則由業(yè)務(wù)部門進(jìn)行數(shù)據(jù)資產(chǎn)整改，業(yè)務(wù)部門針對數(shù)據(jù)資產(chǎn)存在的問題，記錄數(shù)據(jù)資產(chǎn)整改情況，控制數(shù)據(jù)資產(chǎn)版本變更；

對符合準(zhǔn)入規(guī)則的數(shù)據(jù)資產(chǎn)，由數(shù)據(jù)資產(chǎn)管理部門負(fù)責(zé)審核確認(rèn)，對審核不通過的數(shù)據(jù)資產(chǎn)，則退回至業(yè)務(wù)部門；對審核通過的數(shù)據(jù)資產(chǎn)，業(yè)務(wù)部門完善數(shù)據(jù)資產(chǎn)業(yè)務(wù)屬性，信息部門完善技術(shù)屬性，形成完整的數(shù)據(jù)資產(chǎn)基礎(chǔ)信息；

數(shù)據(jù)資產(chǎn)管理部門對完整的數(shù)據(jù)資產(chǎn)基礎(chǔ)信息進(jìn)行歸檔。

有益效果：本發(fā)明與現(xiàn)有技術(shù)比較，具有的優(yōu)點(diǎn)是：

本發(fā)明方法通過捕獲數(shù)據(jù)庫日志方法來實(shí)現(xiàn)采集數(shù)據(jù)資產(chǎn)變更信息，以及臺賬管理、全景視圖管理、日常監(jiān)測管理、溯源管理、價(jià)值評估管理和流程管理等數(shù)據(jù)資產(chǎn)管理核心功能，實(shí)現(xiàn)電網(wǎng)數(shù)據(jù)資產(chǎn)的標(biāo)準(zhǔn)化管理，從業(yè)務(wù)、技術(shù)、管理等視角對數(shù)據(jù)資產(chǎn)進(jìn)行全方位體現(xiàn)；針對運(yùn)營數(shù)據(jù)資產(chǎn)進(jìn)行集約、統(tǒng)一、規(guī)范管理，開展數(shù)據(jù)質(zhì)量的管控與考核，推進(jìn)數(shù)據(jù)得到有效的分析和利用，挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值最大化；采用數(shù)據(jù)資產(chǎn)實(shí)時(shí)監(jiān)測技術(shù)，通過源頭把控、關(guān)鍵節(jié)點(diǎn)監(jiān)督、防篡改監(jiān)控等手段，將企業(yè)數(shù)據(jù)逐步轉(zhuǎn)化為可信、可用、再用的數(shù)據(jù)資產(chǎn)。

附圖說明

圖1是電網(wǎng)資產(chǎn)數(shù)據(jù)管理平臺總體架構(gòu)圖。

圖2是數(shù)據(jù)資產(chǎn)管理流程圖。

圖3是數(shù)據(jù)資產(chǎn)自動(dòng)化采集原理圖。

圖4是數(shù)據(jù)庫交易合成示意圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明作更進(jìn)一步的說明。

本發(fā)明提出了一種基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺的實(shí)現(xiàn)方法，該實(shí)現(xiàn)方法主要依據(jù)基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺，基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺現(xiàn)已成功應(yīng)用那南方電網(wǎng)公司，將企業(yè)數(shù)據(jù)作為核心資產(chǎn)管理，通過對運(yùn)營數(shù)據(jù)的全過程有效管理和合理應(yīng)用，不斷挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)向信息的轉(zhuǎn)化，繼而形成業(yè)務(wù)價(jià)值，實(shí)現(xiàn)核心業(yè)務(wù)能力提升，信息價(jià)值鏈擴(kuò)展和企業(yè)運(yùn)營模式優(yōu)化；

一種基于于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺的實(shí)現(xiàn)方法，提供了一種基于SOA的電網(wǎng)數(shù)據(jù)資產(chǎn)管理平臺系統(tǒng)，參照圖1，該系統(tǒng)包括依次互通連接的數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)持久層、技術(shù)組件層、應(yīng)用組件層和展現(xiàn)層，應(yīng)用組件層包括基本信息管理模塊、全局視圖管理模塊、日常監(jiān)測管理模塊、溯源管理模塊、價(jià)值評估管理模塊和流程管理模塊，數(shù)據(jù)資產(chǎn)庫置于數(shù)據(jù)存儲(chǔ)層中，由應(yīng)用層中各功能模塊相應(yīng)對數(shù)據(jù)資產(chǎn)進(jìn)行處理，其中，基本信息管理模塊用于對數(shù)據(jù)資產(chǎn)庫中數(shù)據(jù)資產(chǎn)進(jìn)行基本信息管理；全局視圖管理模塊用于展示數(shù)據(jù)資產(chǎn)全景視圖并對該數(shù)據(jù)資產(chǎn)全景視圖進(jìn)行增刪改操作；日常監(jiān)測管理模塊依據(jù)數(shù)據(jù)資產(chǎn)全景視圖對數(shù)據(jù)資產(chǎn)設(shè)置關(guān)鍵監(jiān)控點(diǎn)，并日常監(jiān)測數(shù)據(jù)資產(chǎn)關(guān)鍵監(jiān)控點(diǎn)變化情況和其他情況；溯源管理模塊用于從數(shù)據(jù)資產(chǎn)源頭對數(shù)據(jù)資產(chǎn)進(jìn)行摸底及梳理，基于梳理結(jié)果產(chǎn)生并管理數(shù)據(jù)資產(chǎn)溯源全圖，并對數(shù)據(jù)資產(chǎn)溯源全圖進(jìn)行動(dòng)態(tài)維護(hù)以及溯源下進(jìn)行查詢功能，為數(shù)據(jù)資產(chǎn)人工監(jiān)測工作提供支撐；價(jià)值評估管理模塊基于數(shù)據(jù)資產(chǎn)價(jià)值評估模型對所述數(shù)據(jù)資產(chǎn)溯源全圖中節(jié)點(diǎn)分別進(jìn)行價(jià)值評估，并按照價(jià)值評估模型計(jì)算數(shù)據(jù)資產(chǎn)價(jià)值；流程管理模塊用于將審核合格的數(shù)據(jù)資產(chǎn)進(jìn)行歸檔；本發(fā)明實(shí)現(xiàn)方法具體包括以下步驟：

數(shù)據(jù)資產(chǎn)管理平臺首先從資產(chǎn)管理系統(tǒng)、營銷管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、人力資源管理系統(tǒng)、協(xié)同辦公系統(tǒng)、綜合管理系統(tǒng)等實(shí)時(shí)采集數(shù)據(jù)交易信息，這些數(shù)據(jù)交易信息保存至置于數(shù)據(jù)存儲(chǔ)層中數(shù)據(jù)資產(chǎn)庫內(nèi)；基本信息管理模塊對數(shù)據(jù)資產(chǎn)庫內(nèi)的數(shù)據(jù)資產(chǎn)進(jìn)行分類、臺賬、編碼、業(yè)務(wù)對象、數(shù)據(jù)模型、規(guī)則和關(guān)聯(lián)關(guān)系進(jìn)行基本信息管理；然后在該數(shù)據(jù)資產(chǎn)管理平臺系統(tǒng)中的全局視圖管理模塊通過圖形化方式展示數(shù)據(jù)資產(chǎn)全景視圖并可對全景視圖進(jìn)行增、刪改操作；接著日常監(jiān)測管理模塊依據(jù)數(shù)據(jù)資產(chǎn)全景視圖，對數(shù)據(jù)資產(chǎn)設(shè)置關(guān)鍵監(jiān)控點(diǎn)，日常監(jiān)測數(shù)據(jù)資產(chǎn)關(guān)鍵監(jiān)控點(diǎn)變化情況、數(shù)據(jù)及時(shí)性、完整性、準(zhǔn)確性驗(yàn)證、數(shù)據(jù)篡改情況等；平臺中的數(shù)據(jù)資產(chǎn)溯源管理模塊可以從數(shù)據(jù)資產(chǎn)源頭對數(shù)據(jù)資產(chǎn)進(jìn)行摸底及梳理，基于梳理結(jié)果管理數(shù)據(jù)資產(chǎn)溯源全圖，對數(shù)據(jù)溯源圖進(jìn)行動(dòng)態(tài)委會(huì)以及溯源下進(jìn)行查詢功能，對數(shù)據(jù)資產(chǎn)人工監(jiān)測提供支撐；在數(shù)據(jù)資產(chǎn)價(jià)值評估管理模塊中，基于數(shù)據(jù)資產(chǎn)價(jià)值評估模型對數(shù)據(jù)溯源圖中各個(gè)節(jié)點(diǎn)分別進(jìn)行價(jià)值評估，并按照價(jià)值評估模型計(jì)算數(shù)據(jù)資產(chǎn)價(jià)值；

最后進(jìn)入數(shù)據(jù)資產(chǎn)管理流程，流程管理模塊用于將審核合格的數(shù)據(jù)資產(chǎn)進(jìn)行歸檔，如圖2所示，數(shù)據(jù)資產(chǎn)管理流程包括以下步驟，首先業(yè)務(wù)部門提出數(shù)據(jù)資產(chǎn)新增、變更或停用申請；數(shù)據(jù)資產(chǎn)管理部門對業(yè)務(wù)部門的數(shù)據(jù)資產(chǎn)需求進(jìn)行初審，初審未通過則退回業(yè)務(wù)部門，初審?fù)ㄟ^則進(jìn)行細(xì)致核對，如有問題，則由業(yè)務(wù)部門進(jìn)行數(shù)據(jù)資產(chǎn)整改，業(yè)務(wù)部門針對數(shù)據(jù)資產(chǎn)存在的各類問題，記錄數(shù)據(jù)資產(chǎn)的整改情況，控制數(shù)據(jù)資產(chǎn)變更；對于不符合準(zhǔn)入規(guī)則的數(shù)據(jù)，則退回至業(yè)務(wù)部門，對符合準(zhǔn)入規(guī)則的數(shù)據(jù)資產(chǎn)，由數(shù)據(jù)資產(chǎn)管理部門負(fù)責(zé)審核確認(rèn)，對審核通過的數(shù)據(jù)資產(chǎn)，業(yè)務(wù)部門完善數(shù)據(jù)資產(chǎn)業(yè)務(wù)屬性，信息部門完善技術(shù)屬性，形成完整的數(shù)據(jù)資產(chǎn)基礎(chǔ)信息，最后由數(shù)據(jù)資產(chǎn)管理部門負(fù)責(zé)對數(shù)據(jù)資產(chǎn)進(jìn)行歸檔，得到歸檔日志；

以上所述數(shù)據(jù)資產(chǎn)管理平臺首先從資產(chǎn)管理系統(tǒng)、營銷管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、人力資源管理系統(tǒng)、系統(tǒng)辦公系統(tǒng)、綜合管理系統(tǒng)等實(shí)時(shí)采集數(shù)據(jù)交易信息，本發(fā)明方法通過捕獲數(shù)據(jù)庫日志方法來實(shí)時(shí)采集數(shù)據(jù)資產(chǎn)變更信息，結(jié)合若干種數(shù)據(jù)資產(chǎn)管理模塊核心功能，首先電網(wǎng)數(shù)據(jù)資產(chǎn)的標(biāo)準(zhǔn)化管理；本發(fā)明方法設(shè)置源端數(shù)據(jù)庫系統(tǒng)、目標(biāo)端數(shù)據(jù)庫系統(tǒng)，目標(biāo)端數(shù)據(jù)庫系統(tǒng)即為上述數(shù)據(jù)資產(chǎn)庫；當(dāng)應(yīng)用系統(tǒng)對源端數(shù)據(jù)庫進(jìn)行任何操作時(shí)，各種操作結(jié)果集信息將在日志文件中保存，源端數(shù)據(jù)庫的所有更改都記錄在日志文件中，當(dāng)我們需要了解源端數(shù)據(jù)庫中所作的交易時(shí)，可以通過對源端數(shù)據(jù)庫日志文件進(jìn)行分析；其中源端數(shù)據(jù)庫為Oracle、SqlServer、DB2等數(shù)據(jù)庫；

參照圖3，通過捕獲數(shù)據(jù)庫日志方法來實(shí)時(shí)采集數(shù)據(jù)資產(chǎn)變更信息即源端數(shù)據(jù)庫中數(shù)據(jù)交易信息，需要分別在源端數(shù)據(jù)庫系統(tǒng)和目標(biāo)端數(shù)據(jù)庫系統(tǒng)(數(shù)據(jù)資產(chǎn)庫)安裝Agent進(jìn)程；源端數(shù)據(jù)庫Agent進(jìn)程對源端數(shù)據(jù)庫為Oracle、SqlServer、DB2等數(shù)據(jù)庫日志文件進(jìn)行監(jiān)控，發(fā)現(xiàn)改變及時(shí)對目標(biāo)數(shù)據(jù)庫進(jìn)行更新；當(dāng)應(yīng)用系統(tǒng)對源端數(shù)據(jù)庫進(jìn)行任何操作時(shí)，這些操作結(jié)果集(數(shù)據(jù)交易信息)都將在源端數(shù)據(jù)庫日志文件RedoLog中保存，源端數(shù)據(jù)庫Agent進(jìn)程通過對實(shí)時(shí)獲取的RedoLog日志文件進(jìn)行分析，獲得本次操作的交易指令，然后將這些交易指令經(jīng)過格式轉(zhuǎn)化生成緊湊數(shù)據(jù)格式，并實(shí)時(shí)通過網(wǎng)絡(luò)傳送到目標(biāo)數(shù)據(jù)庫系統(tǒng)；目標(biāo)數(shù)據(jù)庫Agent進(jìn)程接收數(shù)據(jù)庫包，經(jīng)過校驗(yàn)碼檢查，確認(rèn)正確的數(shù)據(jù)庫包后，調(diào)用Oracle、SqlServer、DB2等數(shù)據(jù)庫函數(shù)按照交易的先后順序在目標(biāo)數(shù)據(jù)庫中執(zhí)行該交易；應(yīng)用系統(tǒng)對源端數(shù)據(jù)庫進(jìn)行操作，源端數(shù)據(jù)庫中數(shù)據(jù)交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；源端數(shù)據(jù)庫Agent進(jìn)程對日志文件依次進(jìn)行日志探測、日志分析、日志緩存和交易合成交易操作，將已提交的交易信息傳遞到傳輸隊(duì)列，源端數(shù)據(jù)庫Agent進(jìn)程對傳輸隊(duì)列中已提交的交易信息進(jìn)行交易傳輸操作，將已提交的交易信息傳送給目標(biāo)端數(shù)據(jù)庫；目標(biāo)端數(shù)據(jù)庫Agent進(jìn)程通過對已提交的交易信息依次進(jìn)行交易接收、數(shù)據(jù)裝載操作，最后將已提交的交易信息存儲(chǔ)至目標(biāo)端數(shù)據(jù)庫中。具體步驟分為日志探測、日志分析、日志緩存、交易合成、交易傳輸和數(shù)據(jù)裝載操作：

日志探測：源端數(shù)據(jù)庫Agent進(jìn)程通過定期檢查Oracle、SqlServer、DB2等數(shù)據(jù)庫Controle file中記錄的當(dāng)前SCN號來判斷源端數(shù)據(jù)庫中是否有新的交易產(chǎn)生，當(dāng)確認(rèn)有新的交易產(chǎn)生時(shí)，源端數(shù)據(jù)庫Agent進(jìn)程獲取RedoLog(或者Transaction Log)日志文件組及最新日志文件位置，源端數(shù)據(jù)庫Agent進(jìn)程對最新日志文件位置與上次讀取的日志文件位置之間的日志文件進(jìn)行分析后，將分析數(shù)據(jù)保存在Log Cache文件中；

日志分析：Oracle、SqlServer、DB2等數(shù)據(jù)庫的所有更改都記錄在日志中，當(dāng)我們需要了解數(shù)據(jù)庫中所作的交易時(shí)，通過源端數(shù)據(jù)庫Agent進(jìn)程中日志分析功能對通過日志探測步驟得到的日志文件進(jìn)行分析，得到源端數(shù)據(jù)庫中全部交易指令，并將該交易指令轉(zhuǎn)換成緊湊數(shù)據(jù)格式；緊湊型格式數(shù)據(jù)能夠通過專有轉(zhuǎn)換算法直接轉(zhuǎn)換Oracle、SqlServer、DB2等數(shù)據(jù)庫內(nèi)部數(shù)據(jù)表達(dá)格式，在分析和轉(zhuǎn)載時(shí)僅需要進(jìn)行最小的格式轉(zhuǎn)換，從而提高性能和效率。

日志緩存：通過對源端數(shù)據(jù)庫日志文件分析得到的交易指令保存至日志緩存文件夾中，參照圖4，交易指令通過交叉方式保存至日志緩存文件夾中，一個(gè)交易指令包括若干條SQL指令，若干個(gè)交易指令中若干條SQL指令通過相互穿插方式存儲(chǔ)在日志緩存文件夾中，一個(gè)交易指令中若干條SQL指令通過非連續(xù)存儲(chǔ)方式存儲(chǔ)在日志緩存文件夾中，日志緩存文件夾中包括已提交的交易信息(已經(jīng)Commit的交易)、未提交的交易信息(未Commit的交易)和Rollback交易信息；

交易合成：交易合成模塊對首先按照交易序號對SQL指令進(jìn)行劃分，然后以交易為單位將已提交的交易信息傳遞到傳輸隊(duì)列，將未提交的交易信息保存在本地，將Rollback交易信息做丟棄處理；為了提高系統(tǒng)的可控制性、保證邏輯完整性以及避免數(shù)據(jù)丟失，最好將復(fù)制的最小單位作為一個(gè)交易(Transaction)，這樣在目標(biāo)端數(shù)據(jù)庫的交易裝載更加容易控制；同時(shí)對于復(fù)制的數(shù)據(jù)而言，在目標(biāo)端數(shù)據(jù)庫中只有那些已經(jīng)Commit的交易是有意義的，Rollback交易信息無需復(fù)制在目標(biāo)端數(shù)據(jù)庫中，因此不是復(fù)制每個(gè)交易指令，而是對抓取的數(shù)據(jù)進(jìn)行交易整合后以交易為單位進(jìn)行復(fù)制，并且只復(fù)制已經(jīng)Commit的交易；參照圖4，日志緩存文件中包括已提交的交易信息(已經(jīng)Commit的交易)、未提交的交易信息(未Commit的交易)和Rollback交易信息，交易合成模塊首先按照交易序號對SQL語句進(jìn)行劃分，然后以交易為單位將已經(jīng)Commit的交易傳遞到傳輸隊(duì)列，將T1交易和T2交易分別傳輸?shù)絺鬏旉?duì)列中，將未Commit的交易保存在本地，將Rollback交易信息作丟棄處理；當(dāng)交易合成模塊通過日志得到保存的未Commit的交易已經(jīng)提交，則該交易將會(huì)被立即發(fā)送到傳輸隊(duì)列中。

交易傳輸：源端數(shù)據(jù)庫Agent進(jìn)程對傳輸隊(duì)列中已提交的交易信息進(jìn)行交易傳輸操作，傳輸模塊從傳輸對隊(duì)列中按照先進(jìn)先出的原則讀取交易信息并將該交易信息封裝成TCP/IP數(shù)據(jù)包，最后將交易數(shù)據(jù)包傳送給目標(biāo)端數(shù)據(jù)庫的接收模塊。為了保證數(shù)據(jù)傳輸?shù)陌踩院涂煽啃?，交易?shù)據(jù)在傳輸之前首先存入源端數(shù)據(jù)庫的傳輸隊(duì)列中。

交易接收：目標(biāo)端數(shù)據(jù)庫Agent進(jìn)程通過對已提交的交易信息進(jìn)行交易接收操作，接收模塊在收到傳輸?shù)慕灰讛?shù)據(jù)包后，首先根據(jù)該交易數(shù)據(jù)包的包頭描述的包大小進(jìn)行傳輸合法性檢查判斷是否傳輸完整，如果傳輸不完整則將記錄信息并反饋至源端數(shù)據(jù)庫Agent進(jìn)程進(jìn)行重傳；如果傳輸完整則將完整的交易數(shù)據(jù)包存入接收隊(duì)列中；

數(shù)據(jù)裝載：由數(shù)據(jù)裝載模塊按照交易的順序從接收隊(duì)列中裝載交易信息至目標(biāo)端數(shù)據(jù)庫，數(shù)據(jù)裝載模塊將接收隊(duì)列中的交易信息通過調(diào)用Oracle、SqlServer、DB2等源端數(shù)據(jù)庫I/O層接口和最底層函數(shù)將接收隊(duì)列中交易信息寫入到數(shù)據(jù)資產(chǎn)庫中，使得裝載端的性能和處理能力顯著提高。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出：對于本技術(shù)領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。