一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法
【專利摘要】一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，首先通過瀏覽器訪問系統(tǒng)，在信息管理菜單下注冊采集業(yè)務(wù)系統(tǒng)的連接信息，并通過連接測試，測試連接信息是否注冊正確，之后便可進(jìn)行自動化的數(shù)據(jù)庫表、字段的導(dǎo)入；其次在任務(wù)配置菜單下進(jìn)行采集任務(wù)的配置，選擇配置的模版、業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫表、填寫調(diào)度策略信息，并測試該采集任務(wù)是否配置正確；測試通過后，發(fā)布該任務(wù)，后臺的ETL數(shù)據(jù)處理引擎便根據(jù)配置的采集任務(wù)進(jìn)行定時(shí)的數(shù)據(jù)處理；最后，用戶可通過監(jiān)控管理功能查看該采集任務(wù)的運(yùn)行狀態(tài)及運(yùn)行日志。
【專利說明】
一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及電子政務(wù)領(lǐng)域，涉及將各個(gè)單位前置機(jī)的數(shù)據(jù)抽取、清洗、整合到中心庫的過程。
【背景技術(shù)】
[0002]目前，各個(gè)地區(qū)、各個(gè)單位的信息化程度差異較大，信息共享程度不高，大量業(yè)務(wù)應(yīng)用系統(tǒng)不斷重復(fù)開發(fā)引發(fā)信息整合等一系列問題。因此，要解決目前存在的諸多問題，就必須在頂層的角度對政務(wù)信息資源和數(shù)據(jù)庫建設(shè)統(tǒng)籌規(guī)劃設(shè)計(jì)，并為滿足各個(gè)單位需求提供一個(gè)統(tǒng)一的、安全的、標(biāo)準(zhǔn)的、具有良好彈性的、能整合現(xiàn)有的各類資源、且能實(shí)現(xiàn)信息資源集中存儲和交換共享的政務(wù)數(shù)據(jù)中心。
[0003]而要建立政務(wù)的數(shù)據(jù)中心，首要任務(wù)就是要將各個(gè)單位現(xiàn)有的信息資源進(jìn)行數(shù)據(jù)抽取、清洗、整合，這就涉及到ETL工具。傳統(tǒng)的ETL工具，如主流的第三方ETL工具有Datastage、Powercenter等，這些工具往往缺乏可用的調(diào)度和監(jiān)控功能，項(xiàng)目組基本上需另外開發(fā)。另一方面，這些工具在進(jìn)行業(yè)務(wù)模型的配置時(shí)，雖然是圖形化的界面，通過拖拽的方式選擇組件，進(jìn)行配置，但配置過程較為復(fù)雜，許多配置參數(shù)需重復(fù)填寫，需要專業(yè)人員進(jìn)行業(yè)務(wù)模型配置，一般的單位業(yè)務(wù)人員則無法實(shí)現(xiàn)操作。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供了一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，該方法主要面向業(yè)務(wù)實(shí)施人員，解決目前政務(wù)數(shù)據(jù)抽取配置、部署復(fù)雜，重復(fù)性配置過多，業(yè)務(wù)人員無法勝任等問題。
[0005]—種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，其特征在于:
[0006](I)首先通過瀏覽器訪問系統(tǒng)，在信息管理菜單下注冊采集業(yè)務(wù)系統(tǒng)的連接信息，并通過連接測試，測試連接信息是否注冊正確，之后便可進(jìn)行自動化的數(shù)據(jù)庫表、字段的導(dǎo)入；
[0007](2)其次在任務(wù)配置菜單下進(jìn)行采集任務(wù)的配置，選擇配置的模版、業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫表、填寫調(diào)度策略信息，并測試該采集任務(wù)是否配置正確；
[0008](3)測試通過后，發(fā)布該任務(wù)，后臺的ETL數(shù)據(jù)處理引擎便根據(jù)配置的采集任務(wù)進(jìn)行定時(shí)的數(shù)據(jù)處理；
[0009](4)最后，用戶可通過監(jiān)控管理功能查看該采集任務(wù)的運(yùn)行狀態(tài)及運(yùn)行日志。
[0010]所述信息管理主要是用于注冊接入系統(tǒng)的數(shù)據(jù)庫、表、字段，用戶只需要注冊需要抽取數(shù)據(jù)庫的連接信息，通過導(dǎo)入表的功能，選擇需要抽取的數(shù)據(jù)表，便可自動化的將數(shù)據(jù)表導(dǎo)入到系統(tǒng)中，以便用戶在之后配置采集任務(wù)的時(shí)候進(jìn)行選擇，避免多次配置數(shù)據(jù)庫連接信息。
[0011]所述任務(wù)配置用于配置原表到目標(biāo)表的數(shù)據(jù)采集任務(wù)，用戶在配置采集任務(wù)的之后，只需要選擇任務(wù)的模版和采集任務(wù)的抽取對象，即數(shù)據(jù)庫連接信息和數(shù)據(jù)庫表，便可將采集信息配置成功，使用戶在配置采集任務(wù)的時(shí)候同時(shí)將任務(wù)調(diào)度策略一同配置。
[0012]所述監(jiān)控管理是對采集任務(wù)的運(yùn)行進(jìn)行全方位、多角度的實(shí)時(shí)監(jiān)控，確保采集任務(wù)的正確運(yùn)行；對出現(xiàn)問題的任務(wù)，進(jìn)行實(shí)時(shí)報(bào)警，并能夠輔助排查，快速定位。
[0013]本發(fā)明針對政務(wù)數(shù)據(jù)采集抽取的實(shí)施人員，通過B/S架構(gòu)的配置工具靈活配置，方便用戶進(jìn)行數(shù)據(jù)采集配置，解決只有專業(yè)的ETL配置人員才能配置采集任務(wù)模型的問題，使每一個(gè)業(yè)務(wù)任務(wù)都能夠快速方便的配置數(shù)據(jù)采集業(yè)務(wù)模型，并進(jìn)行數(shù)據(jù)處理。通過信息配置和監(jiān)控平臺進(jìn)行統(tǒng)一調(diào)度監(jiān)控，支持計(jì)劃、手工觸發(fā)，解決ETL工具缺乏統(tǒng)一調(diào)度監(jiān)控問題。本方案使政務(wù)數(shù)據(jù)采集抽取更加簡單快捷，縮短了實(shí)施周期。
【具體實(shí)施方式】
[0014]本方法應(yīng)用在windows或I inux操作系統(tǒng)中，在使用過程中，首先要通過瀏覽器訪問系統(tǒng)，在信息管理菜單下注冊采集業(yè)務(wù)系統(tǒng)的連接信息，并通過連接測試，測試連接信息是否注冊正確，之后便可進(jìn)行自動化的數(shù)據(jù)庫表、字段的導(dǎo)入。其次在任務(wù)配置菜單下進(jìn)行采集任務(wù)的配置，選擇配置的模版、業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫表、填寫調(diào)度策略信息，并測試該采集任務(wù)是否配置正確，測試通過后，發(fā)布該任務(wù)，后臺的ETL數(shù)據(jù)處理引擎便根據(jù)配置的采集任務(wù)進(jìn)行定時(shí)的數(shù)據(jù)處理。最后，用戶可通過監(jiān)控管理功能查看該采集任務(wù)的運(yùn)行狀態(tài)及運(yùn)行日志。
[0015]該方法主要有兩部分組成，B/S架構(gòu)的信息配置和監(jiān)控平臺，及后臺的ETL數(shù)據(jù)處理引擎。
[0016]信息配置和監(jiān)控平臺是一個(gè)B/S結(jié)構(gòu)、信息配置的平臺。系統(tǒng)管理員可以通過它對數(shù)據(jù)處理模型以及數(shù)據(jù)處理引擎進(jìn)行配置和管理。主要包括三個(gè)部分:信息管理、任務(wù)配置、監(jiān)控管理。
[0017]信息管理主要是用于注冊接入系統(tǒng)的數(shù)據(jù)庫、表、字段。用戶只需要注冊需要抽取數(shù)據(jù)庫的連接信息，通過導(dǎo)入表的功能，選擇需要抽取的數(shù)據(jù)表，便可自動化的將數(shù)據(jù)表導(dǎo)入到系統(tǒng)中，以便用戶在之后配置采集任務(wù)的時(shí)候進(jìn)行選擇，避免多次配置數(shù)據(jù)庫連接信息。
[0018]任務(wù)配置用于配置原表到目標(biāo)表的數(shù)據(jù)采集任務(wù)。該平臺的最主要特點(diǎn)是將采集任務(wù)的模版內(nèi)置到系統(tǒng)中，用戶在配置采集任務(wù)的之后，只需要選擇任務(wù)的模版和采集任務(wù)的抽取對象，即數(shù)據(jù)庫連接信息和數(shù)據(jù)庫表，便可將采集信息配置成功，該平臺的另一個(gè)特點(diǎn)是將采集任務(wù)的配置和數(shù)據(jù)調(diào)度的配置集成到一個(gè)頁面中，使用戶在配置采集任務(wù)的時(shí)候同時(shí)將任務(wù)調(diào)度策略一同配置，方便用戶的使用。用戶只需要將配置好的采集任務(wù)進(jìn)行發(fā)布，該任務(wù)自動部署到后臺的ETL數(shù)據(jù)處理，開始定時(shí)的按照配置的頻度進(jìn)行數(shù)據(jù)抽取或數(shù)據(jù)處理過程。該平臺的第三個(gè)特點(diǎn)是，模版具有可擴(kuò)充性，系統(tǒng)目前內(nèi)置了一些政務(wù)數(shù)據(jù)采集抽取過程中常用的幾個(gè)模版，系統(tǒng)可在以后的使用環(huán)境中，進(jìn)行模版的補(bǔ)充，方便用戶操作。
[0019]監(jiān)控管理是對采集任務(wù)的運(yùn)行進(jìn)行全方位、多角度的實(shí)時(shí)監(jiān)控，確保采集任務(wù)的正確運(yùn)行。對出現(xiàn)問題的任務(wù)，進(jìn)行實(shí)時(shí)報(bào)警，并能夠輔助排查，快速定位問題。該監(jiān)控功能可具體顯示任務(wù)在什么時(shí)間運(yùn)行，什么時(shí)間結(jié)束，運(yùn)行的狀態(tài)，以及運(yùn)行過程中的數(shù)據(jù)抽取量、數(shù)據(jù)插入量、數(shù)據(jù)更新量等信息，方便用戶對數(shù)據(jù)抽取過程中的數(shù)據(jù)抽量的把控。
[0020]后臺的ETL數(shù)據(jù)處理引擎:是ETL模型文件解析以及ETL模型運(yùn)行的平臺，用于在ETL建模后，在該后臺引擎運(yùn)行該模型，在信息配置和監(jiān)控平臺的監(jiān)控管理功能中顯示運(yùn)行結(jié)果。后臺的ETL數(shù)據(jù)處理引擎不依賴任何J2EE應(yīng)用服務(wù)器，獨(dú)立部署在JVM之上，因此可以跨平臺進(jìn)行異構(gòu)數(shù)據(jù)處理。
【主權(quán)項(xiàng)】
1.一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，其特征在于包括以下步驟: (1)首先通過瀏覽器訪問系統(tǒng)，在信息管理菜單下注冊采集業(yè)務(wù)系統(tǒng)的連接信息，并通過連接測試，測試連接信息是否注冊正確，之后便可進(jìn)行自動化的數(shù)據(jù)庫表、字段的導(dǎo)入； (2)其次在任務(wù)配置菜單下進(jìn)行采集任務(wù)的配置，選擇配置的模版、業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫表、填寫調(diào)度策略信息，并測試該采集任務(wù)是否配置正確； (3)測試通過后，發(fā)布該任務(wù)，后臺的ETL數(shù)據(jù)處理引擎便根據(jù)配置的采集任務(wù)進(jìn)行定時(shí)的數(shù)據(jù)處理； (4)最后，用戶可通過監(jiān)控管理功能查看該采集任務(wù)的運(yùn)行狀態(tài)及運(yùn)行日志。2.根據(jù)權(quán)利要求1所述的一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，其特征在于:所述信息管理主要是用于注冊接入系統(tǒng)的數(shù)據(jù)庫、表、字段，用戶只需要注冊需要抽取數(shù)據(jù)庫的連接信息，通過導(dǎo)入表的功能，選擇需要抽取的數(shù)據(jù)表，便可自動化的將數(shù)據(jù)表導(dǎo)入到系統(tǒng)中，以便用戶在之后配置采集任務(wù)的時(shí)候進(jìn)行選擇，避免多次配置數(shù)據(jù)庫連接信息。3.根據(jù)權(quán)利要求1所述的一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，其特征在于:所述任務(wù)配置用于配置原表到目標(biāo)表的數(shù)據(jù)采集任務(wù)，用戶在配置采集任務(wù)的之后，只需要選擇任務(wù)的模版和采集任務(wù)的抽取對象，即數(shù)據(jù)庫連接信息和數(shù)據(jù)庫表，便可將采集信息配置成功，使用戶在配置采集任務(wù)的時(shí)候同時(shí)將任務(wù)調(diào)度策略一同配置。4.根據(jù)權(quán)利要求1所述的一種快速構(gòu)建業(yè)務(wù)模型的數(shù)據(jù)采集方法，其特征在于:所述監(jiān)控管理是對采集任務(wù)的運(yùn)行進(jìn)行全方位、多角度的實(shí)時(shí)監(jiān)控，確保采集任務(wù)的正確運(yùn)行；對出現(xiàn)問題的任務(wù)，進(jìn)行實(shí)時(shí)報(bào)警，并能夠輔助排查，快速定位。
【文檔編號】G06Q10/06GK105894160SQ201410729042
【公開日】2016年8月24日
【申請日】2014年12月3日
【發(fā)明人】馬思琦, 陳學(xué)釗, 馬龍超, 丁征, 譚靜
【申請人】北京航天長峰科技工業(yè)集團(tuán)有限公司