專利名稱：數(shù)據(jù)整合的適配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)整合過程中對異種數(shù)據(jù)的虛擬加工方法。根據(jù)專業(yè)應(yīng)用數(shù)據(jù) 的特點(diǎn)，著重解決不同標(biāo)準(zhǔn)之間信息分類代碼轉(zhuǎn)換、圖層、屬性信息的重組、質(zhì)量檢查等技 術(shù)問題。通過對源數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)編輯處理、數(shù)據(jù)質(zhì)量檢查，可視化的完成整合加 工處理配置、整合處理流程生成。本方法可以應(yīng)用在信息交換、信息同步、信息合并、信息整 合、歷史數(shù)據(jù)遷移、數(shù)據(jù)倉庫建設(shè)、虛擬庫等領(lǐng)域。
背景技術(shù)：
許多政府機(jī)關(guān)、企業(yè)、金融機(jī)構(gòu)在信息化建設(shè)中大多缺乏統(tǒng)籌規(guī)劃，加上多數(shù)應(yīng)用 系統(tǒng)之間普遍缺乏標(biāo)準(zhǔn)化的數(shù)據(jù)接口定義，數(shù)據(jù)的報(bào)送、匯總、分析存在障礙，因此不同的 應(yīng)用系統(tǒng)，數(shù)據(jù)信息之間必然會(huì)成為彼此隔離的“信息孤島”。“信息孤島”是當(dāng)前信息化建 設(shè)中凾待解決的主要結(jié)癥，如何徹底地消除“信息孤島”，有效地整合現(xiàn)有及未來的應(yīng)用系 統(tǒng)的信息數(shù)據(jù)，已成為當(dāng)前信息化建設(shè)的重中之重。由于現(xiàn)有數(shù)據(jù)的多源性、多尺度、多平臺(tái)和多格式等原因，在數(shù)據(jù)庫整合中將涉及 到數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)投影轉(zhuǎn)換、數(shù)據(jù)庫標(biāo)準(zhǔn)結(jié)構(gòu)轉(zhuǎn)換以及數(shù)據(jù)組織調(diào)整、數(shù)據(jù)檢查等技 術(shù)。從單個(gè)技術(shù)角度上，并不存在難度，在數(shù)據(jù)格式轉(zhuǎn)換方面，有成熟的產(chǎn)品工具，如FME軟 件，同時(shí)圖形軟件也提供了數(shù)據(jù)交換格式文件，如Maplnfo的Mlr、ArcGls的Eoo、AutocAD 的DxF等文件，能夠解決平臺(tái)格式轉(zhuǎn)換的一般性問題。但是在真正實(shí)際使用中，發(fā)現(xiàn)處理效 率不高，難于滿足實(shí)際需要，特別是難于滿足跨平臺(tái)、多應(yīng)用環(huán)境下數(shù)據(jù)整合的需要，原因 是工具軟件缺乏適應(yīng)廣泛性應(yīng)用。因此研制一種適應(yīng)性強(qiáng)的適配工具，實(shí)現(xiàn)整合關(guān)鍵技術(shù) 的集成，具有非常重要的意義。

發(fā)明內(nèi)容
本發(fā)明為了解決以上現(xiàn)有技術(shù)存在的問題，提出一種信息子系統(tǒng)之間的數(shù)據(jù)整合 的適配方法，具體技術(shù)方案的步驟包括先建立統(tǒng)一數(shù)據(jù)交換平臺(tái)，再在該平臺(tái)基礎(chǔ)上，利用適配器模式或橋接模式，來實(shí) 現(xiàn)不同單位內(nèi)部、單位和分部門之間或單位與單位之間數(shù)據(jù)交換；所述數(shù)據(jù)交換平臺(tái)采用SOA的插座式架構(gòu)，作為各種適配器和橋接子系統(tǒng)的運(yùn)行 環(huán)境；把適配器和橋接子系統(tǒng)作為插件被發(fā)布到該平臺(tái)中；所述適配器和橋接子系統(tǒng)是用數(shù)據(jù)交換服務(wù)組件來對數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，由 數(shù)據(jù)交換服務(wù)組件提供交換規(guī)則；該數(shù)據(jù)格式轉(zhuǎn)換處理包括數(shù)據(jù)格式規(guī)范化和數(shù)據(jù)加工處 理數(shù)據(jù)格式規(guī)范化，是把從數(shù)據(jù)源或數(shù)據(jù)目標(biāo)抽取來的數(shù)據(jù)作格式的規(guī)范化處理， 該處理過程建立了統(tǒng)一數(shù)據(jù)對象，統(tǒng)一數(shù)據(jù)對象用來存儲(chǔ)了各種不同的數(shù)據(jù)，并支持不同 數(shù)據(jù)格式之間的轉(zhuǎn)換處理；數(shù)據(jù)加工處理是對所述統(tǒng)一數(shù)據(jù)對象進(jìn)行數(shù)據(jù)的復(fù)制、數(shù)據(jù)的轉(zhuǎn)換和數(shù)據(jù)的路由處理；所述數(shù)據(jù)源和數(shù)據(jù)目標(biāo)，包括數(shù)據(jù)庫、數(shù)據(jù)文件或內(nèi)存表；所述數(shù)據(jù)在數(shù)據(jù)交換平臺(tái)上的傳送是通過數(shù)據(jù)傳輸通道進(jìn)行的，該數(shù)據(jù)傳輸通道 是內(nèi)嵌消息隊(duì)列的傳送機(jī)制；所述數(shù)據(jù)的復(fù)制是指將規(guī)范化的數(shù)據(jù)對象復(fù)制到另一數(shù)據(jù)對象的過程，在這個(gè) 過程中，數(shù)據(jù)不做任何的改變；所述數(shù)據(jù)的轉(zhuǎn)換是指規(guī)范化的一個(gè)或多個(gè)數(shù)據(jù)對象經(jīng)過轉(zhuǎn)換處理后放到另一數(shù) 據(jù)對象的過程，在這個(gè)過程中，數(shù)據(jù)作了轉(zhuǎn)換處理，所述數(shù)據(jù)的路由處理是指經(jīng)過數(shù)據(jù)格式規(guī)范化的數(shù)據(jù)對象根據(jù)數(shù)據(jù)路由條件將 處理后的結(jié)果數(shù)據(jù)放在不同目的的數(shù)據(jù)對象中；數(shù)據(jù)的路由處理的過程是，先從數(shù)據(jù)源中 依照抽取條件一次性抽取數(shù)據(jù)，再對抽取的數(shù)據(jù)進(jìn)行轉(zhuǎn)換/清洗；然后以并發(fā)方式，根據(jù)路 由條件一對多地推送數(shù)據(jù)。所述數(shù)據(jù)轉(zhuǎn)換處理的方法包括格式轉(zhuǎn)換包括字段拆分/合并、不同格式間轉(zhuǎn)換；靜/動(dòng)態(tài)字段包括系統(tǒng)時(shí)間、動(dòng)態(tài)序列號、給定值；基于規(guī)則的翻譯包括基于規(guī)則表的翻譯、給定規(guī)則翻譯；數(shù)學(xué)運(yùn)算不同的數(shù)據(jù)對象之間作數(shù)學(xué)運(yùn)算；聚類處理根據(jù)一個(gè)或幾個(gè)字段做聚類操作。數(shù)據(jù)的路由處理中，當(dāng)數(shù)據(jù)源為數(shù)據(jù)庫表時(shí)，數(shù)據(jù)的路由處理過程是，先從數(shù)據(jù)庫表中，再對抽取的數(shù) 據(jù)進(jìn)行轉(zhuǎn)換/清洗；然后以并發(fā)方式，根據(jù)實(shí)際路由條件一對多地推送數(shù)據(jù)給數(shù)據(jù)目標(biāo)；當(dāng)數(shù)據(jù)源為內(nèi)存表時(shí)，數(shù)據(jù)的路由處理過程是，先從數(shù)據(jù)庫表中，再對抽取的數(shù)據(jù) 進(jìn)行轉(zhuǎn)換/清洗；然后以并發(fā)方式，根據(jù)實(shí)際路由條件一對多地推送數(shù)據(jù)給數(shù)據(jù)目標(biāo)。當(dāng)數(shù)據(jù)目標(biāo)為內(nèi)存表時(shí)，其后續(xù)的處理包括返回給調(diào)用方或傳遞給消息隊(duì)列；當(dāng) 目標(biāo)內(nèi)存表傳遞給消息隊(duì)列時(shí)，進(jìn)行異地可靠傳輸、一對一 / 一對多傳送或者通過隊(duì)列綁 定交由目標(biāo)服務(wù)器的數(shù)據(jù)轉(zhuǎn)換和路由服務(wù)做處理。所述數(shù)據(jù)傳輸通道的處理機(jī)制包括支持消息路由；提供基于狀態(tài)和歷程的數(shù)據(jù)的可靠性傳送機(jī)制，支持?jǐn)帱c(diǎn)續(xù)傳功能；支持隊(duì)列的優(yōu)先級，根據(jù)業(yè)務(wù)種類的不同，指定隊(duì)列處理優(yōu)先級順序；支持一對一、一對多的數(shù)據(jù)發(fā)送接受機(jī)制；支持?jǐn)?shù)據(jù)的同步、異步的處理機(jī)制；提供相同或不同網(wǎng)絡(luò)之間的數(shù)據(jù)交換、數(shù)據(jù)轉(zhuǎn)發(fā)功能；支持?jǐn)?shù)據(jù)推、拉兩種傳輸模式；支持?jǐn)?shù)據(jù)傳輸?shù)募咏饷?。所述適配器的功能包括建立和已有系統(tǒng)的連接、實(shí)現(xiàn)數(shù)據(jù)的格式化處理、提供業(yè) 務(wù)處理、支持要處理的數(shù)據(jù)雙向流動(dòng)；所述橋接子系統(tǒng)功能包括建立和已有系統(tǒng)的連接、實(shí)現(xiàn)數(shù)據(jù)的格式化處理、提供 業(yè)務(wù)處理、支持處理的數(shù)據(jù)雙向流動(dòng)。
所述數(shù)據(jù)交換平臺(tái)所需要的連接信息、服務(wù)運(yùn)行信息、流程運(yùn)行信息和部署的信 息存儲(chǔ)在使用規(guī)則庫中。


圖1是_女據(jù)交換平臺(tái)結(jié)構(gòu)圖2是_女據(jù)交換服務(wù)組件結(jié)構(gòu)圖3是_女據(jù)的路由處理流程示意圖
圖4是_女據(jù)映射操作界面截圖5是_女據(jù)處理示意例一圖6是_女據(jù)處理示意例二圖7是_女據(jù)處理示意例三圖8是規(guī)則庫模式示意圖。
具體實(shí)施例方式下面結(jié)合附圖與具體實(shí)施方式
對本發(fā)明作進(jìn)一步說明—種數(shù)據(jù)整合的適配方法，是在信息子系統(tǒng)之間建立統(tǒng)一數(shù)據(jù)交換平臺(tái)，為所有 需整合的數(shù)據(jù)交換提供基礎(chǔ)支撐，通過一組規(guī)則(數(shù)據(jù)交換組件)、通過一個(gè)可靠的數(shù)據(jù)傳 遞通路，依據(jù)適配器(橋接系統(tǒng))的能力，解決不同單位內(nèi)部、單位和分部門之間、單位與單 位之間數(shù)據(jù)可靠交換的需求。實(shí)現(xiàn)基于其上的數(shù)據(jù)整合服務(wù)、數(shù)據(jù)整合標(biāo)準(zhǔn)和數(shù)據(jù)整合策 略。為了達(dá)到以上目的，本例的技術(shù)方案包括以下內(nèi)容1、數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái)采用SOA (Service Oriented Architecture服務(wù)導(dǎo)向架構(gòu))的插座 式架構(gòu)，作為各種適配器、橋接子系統(tǒng)的運(yùn)行環(huán)境。各種處理服務(wù)組件作為“插件”被發(fā)布 到該支撐平臺(tái)中，這些服務(wù)組件也可以組合成流程組件(也叫組合組件)，這些服務(wù)組件和 流程組件作為適配器、橋接子系統(tǒng)的組成部分，完成數(shù)據(jù)格式轉(zhuǎn)換等處理。該支撐平臺(tái)具有 很好的開放性，提供了統(tǒng)一開發(fā)接口和基于變量的動(dòng)態(tài)規(guī)則。和其他系統(tǒng)的數(shù)據(jù)交換，實(shí)現(xiàn) 了如下功能1)為保證原始數(shù)據(jù)的安全性和完整性，不對污染源普查基礎(chǔ)數(shù)據(jù)庫原始數(shù)據(jù)做任 何增刪修改。2)能夠直接、實(shí)時(shí)的、完整的讀取污染源普查數(shù)據(jù)庫中所有數(shù)據(jù)。3)能夠?qū)雲(yún)⑴c對比分析的環(huán)境統(tǒng)計(jì)數(shù)據(jù)。4)能夠?qū)肫渌枰獏⑴c綜合分析的其他環(huán)境數(shù)據(jù)。數(shù)據(jù)交換平臺(tái)的結(jié)構(gòu)見圖1。2、數(shù)據(jù)交換服務(wù)組件數(shù)據(jù)交換服務(wù)組件的結(jié)構(gòu)如圖2所示，數(shù)據(jù)的處理包括數(shù)據(jù)源、數(shù)據(jù)格式規(guī)范化、 數(shù)據(jù)加工處理、數(shù)據(jù)目標(biāo)等組成。數(shù)據(jù)源或目標(biāo)可以是數(shù)據(jù)庫、數(shù)據(jù)文件、內(nèi)存表等。數(shù)據(jù)格式規(guī)范化數(shù)據(jù)格式規(guī)范化用來實(shí)現(xiàn)把抽取來的數(shù)據(jù)、消息隊(duì)列的數(shù)據(jù)、客戶端傳來的數(shù)據(jù)作格式的規(guī)范化處理，格式化的過程就是建立統(tǒng)一的數(shù)據(jù)對象的過程，統(tǒng) 一數(shù)據(jù)對象用來存儲(chǔ)了各種不同的數(shù)據(jù)，并支持不同數(shù)據(jù)格式之間的轉(zhuǎn)換處理。數(shù)據(jù)加工處理數(shù)據(jù)加工處理層主要對規(guī)范化的統(tǒng)一數(shù)據(jù)對象做數(shù)據(jù)的復(fù)制、數(shù) 據(jù)的轉(zhuǎn)換、數(shù)據(jù)的路由處理。 數(shù)據(jù)的復(fù)制是指將規(guī)范化的數(shù)據(jù)對象復(fù)制到另一數(shù)據(jù)對象的過程，在這個(gè)過程 中，數(shù)據(jù)不做任何的改變。 數(shù)據(jù)的轉(zhuǎn)換是指規(guī)范化的一個(gè)或多個(gè)數(shù)據(jù)對象經(jīng)過轉(zhuǎn)換處理后放到另一數(shù)據(jù) 對象的過程，在這個(gè)過程中，數(shù)據(jù)作了轉(zhuǎn)換處理，轉(zhuǎn)換處理方法主要包括■格式轉(zhuǎn)換，包括字段拆分/合并、不同格式間轉(zhuǎn)換■靜/動(dòng)態(tài)字段，包括系統(tǒng)時(shí)間、動(dòng)態(tài)序列號、給定值■基于規(guī)則的翻譯，包括基于規(guī)則表的翻譯、給定規(guī)則翻譯■數(shù)學(xué)運(yùn)算，不同的數(shù)據(jù)對象之間作數(shù)學(xué)運(yùn)算■聚類處理，根據(jù)一個(gè)或幾個(gè)字段做聚類操作 數(shù)據(jù)的路由處理是指經(jīng)過規(guī)范化的數(shù)據(jù)對象根據(jù)數(shù)據(jù)路由條件將處理后的結(jié) 果數(shù)據(jù)(可能經(jīng)過轉(zhuǎn)換，也可能沒有經(jīng)過轉(zhuǎn)換處理)放在不同目的的數(shù)據(jù)對象中。圖3所 示表示數(shù)據(jù)的路由處理的過程?！霾捎谩耙淮纬槿。l(fā)路由”的機(jī)制■支持一對多的數(shù)據(jù)推送方式■減輕對數(shù)據(jù)源如數(shù)據(jù)庫的壓力■提高處理的性能。圖4是數(shù)據(jù)轉(zhuǎn)換和路由服務(wù)數(shù)據(jù)映射操作界面截圖。當(dāng)數(shù)據(jù)源為數(shù)據(jù)庫表時(shí)，其 處理如圖5所示；當(dāng)數(shù)據(jù)源為內(nèi)存表時(shí)，其處理如圖6所示；當(dāng)數(shù)據(jù)目標(biāo)為內(nèi)存表時(shí)，其后 續(xù)的處理如圖7所示。當(dāng)目標(biāo)內(nèi)存表傳遞給消息隊(duì)列時(shí)，可以-支持異地可靠傳輸-支持一對一、一對多傳送-通過隊(duì)列綁定交由目標(biāo)服務(wù)器的數(shù)據(jù)轉(zhuǎn)換和路由服務(wù)做處理3、安全可靠的數(shù)據(jù)傳輸通道是內(nèi)嵌消息隊(duì)列的傳送機(jī)制，提供了如下的處理機(jī)制 支持消息路由，保證數(shù)據(jù)在傳輸過程中的不重、不漏、不錯(cuò)。 提供基于狀態(tài)和歷程的數(shù)據(jù)的可靠性傳送機(jī)制，支持?jǐn)帱c(diǎn)續(xù)傳功能，從而避免 了冗余數(shù)據(jù)的傳輸，實(shí)現(xiàn)高效傳輸。 支持隊(duì)列的優(yōu)先級，根據(jù)業(yè)務(wù)種類的不同，指定隊(duì)列處理優(yōu)先級順序。 支持一對一、一對多的數(shù)據(jù)發(fā)送接受機(jī)制。 支持?jǐn)?shù)據(jù)的同步、異步的處理機(jī)制。 數(shù)據(jù)交換平臺(tái)能夠跨網(wǎng)段、跨防火墻訪問，提供相同或不同網(wǎng)絡(luò)之間的數(shù)據(jù)交 換、數(shù)據(jù)轉(zhuǎn)發(fā)功能。眷支持?jǐn)?shù)據(jù)推、拉兩種傳輸模式。 該傳輸平臺(tái)支持?jǐn)?shù)據(jù)傳輸?shù)募咏饷?，建立了安全的?shù)據(jù)傳送通道。
4、適配器適配器組件用來實(shí)現(xiàn)和已有業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、文件、通訊等系統(tǒng)的連接，并做數(shù) 據(jù)格式處理，實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)和數(shù)據(jù)交換平臺(tái)之間的格式化處理，該格式化支持業(yè)務(wù)系 統(tǒng)和私數(shù)據(jù)交換平臺(tái)之間的雙向流動(dòng)。適配器主要包括連接層和數(shù)據(jù)處理層，主要實(shí)現(xiàn)以 下功能 連接層建立和已有系統(tǒng)的連接■常用的連接器主要包括數(shù)據(jù)庫連接、文件連接、應(yīng)用連接、其他連接等?！鲋С?TCP、JMS、HTTP、EJB, JDBC, SOAP 等連接協(xié)議。 數(shù)據(jù)層實(shí)現(xiàn)數(shù)據(jù)的格式化處理■支持由數(shù)據(jù)交換平臺(tái)向業(yè)務(wù)系統(tǒng)數(shù)據(jù)格式的格式化處理■也支持由業(yè)務(wù)系統(tǒng)數(shù)據(jù)格式向數(shù)據(jù)交換平臺(tái)的格式化處理。 業(yè)務(wù)處理層■相關(guān)業(yè)務(wù)的處理■業(yè)務(wù)流程 支持要處理的數(shù)據(jù)雙向流動(dòng)■支持?jǐn)?shù)據(jù)交換平臺(tái)的數(shù)據(jù)流向業(yè)務(wù)系統(tǒng)■支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)流向數(shù)據(jù)交換平臺(tái) 支持■批量處理■增量處理■實(shí)時(shí)處理5、橋接系統(tǒng)橋接子系統(tǒng)用于實(shí)現(xiàn)數(shù)據(jù)交換平臺(tái)和分部門要交換數(shù)據(jù)、不在一個(gè)網(wǎng)絡(luò)的要交換 數(shù)據(jù)的數(shù)據(jù)整合。橋接子系統(tǒng)將分部門需要交換的信息交換到前置交換信息庫，由適配器 實(shí)現(xiàn)交換信息庫的數(shù)據(jù)和數(shù)據(jù)交換平臺(tái)之間的數(shù)據(jù)流動(dòng)和格式轉(zhuǎn)換；橋接子系統(tǒng)還可以幫 助與單位的中心共享信息庫不在同一個(gè)網(wǎng)絡(luò)的業(yè)務(wù)與交換平臺(tái)的數(shù)據(jù)交換，橋接子系統(tǒng)可 以將外部網(wǎng)段的數(shù)據(jù)整合到交換信息庫或交換文件中，由內(nèi)部網(wǎng)段的適配器實(shí)現(xiàn)交換信息 庫或文件的數(shù)據(jù)和數(shù)據(jù)交換平臺(tái)之間的數(shù)據(jù)流動(dòng)和格式轉(zhuǎn)換。橋接子系統(tǒng)和適配器具有相 似的功能，主要實(shí)現(xiàn)以下功能 連接層建立和已有系統(tǒng)的連接■常用的連接器主要包括數(shù)據(jù)庫連接、文件連接、應(yīng)用連接、其他連接等?！鲋С?TCP、JMS、HTTP、EJB, JDBC, SOAP 等連接協(xié)議。 數(shù)據(jù)層實(shí)現(xiàn)數(shù)據(jù)的格式化處理■支持由交換信息庫向業(yè)務(wù)系統(tǒng)數(shù)據(jù)格式的格式化處理■也支持由業(yè)務(wù)系統(tǒng)數(shù)據(jù)格式向交換信息庫的格式化處理。 業(yè)務(wù)處理層■相關(guān)業(yè)務(wù)的處理■業(yè)務(wù)流程 支持處理的數(shù)據(jù)雙向流動(dòng)
■支持交換信息庫的數(shù)據(jù)流向業(yè)務(wù)系統(tǒng)■支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)流向交換信息庫 支持■批量處理■增量處理■實(shí)時(shí)處理橋接和適配器都是讓兩個(gè)部分配合工作，不同在于出發(fā)點(diǎn)不同。適配器改變已有 的兩個(gè)接口，讓他們相容；橋接模式分離抽象化和實(shí)現(xiàn)，使兩者的接口可以不同，目的是 分離。所以說，如果兩個(gè)已有模塊，想讓他們同時(shí)工作，那么使用的適配器。如果什么都沒 有，但是想分開實(shí)現(xiàn)，那么橋接是一個(gè)選擇。6、使用規(guī)則庫使用規(guī)則庫是數(shù)據(jù)交換項(xiàng)目運(yùn)行的規(guī)則信息，是數(shù)據(jù)交換平臺(tái)運(yùn)行所必需的“大 腦”，數(shù)據(jù)交換平臺(tái)所需要的連接信息、服務(wù)運(yùn)行信息、流程運(yùn)行信息、部署的信息等都來源 于使用規(guī)則庫。圖八是規(guī)則庫模式結(jié)構(gòu)。使用規(guī)則的信息來源于資源工廠的資源庫，資源工廠根據(jù)應(yīng)用項(xiàng)目的情況在線發(fā) 布規(guī)則信息到使用規(guī)則庫中。如圖8所示，資源工廠的資源信息通過部署管理組件傳遞給 運(yùn)行環(huán)境的規(guī)則管理組件，由規(guī)則管理組件將信息同步到使用規(guī)則庫中。
權(quán)利要求
1.一種數(shù)據(jù)整合的適配方法，其特征是步驟包括先建立統(tǒng)一數(shù)據(jù)交換平臺(tái)，再在該平臺(tái)基礎(chǔ)上，利用適配器模式或橋接模式，來實(shí)現(xiàn)不 同單位內(nèi)部、單位和分部門之間或單位與單位之間數(shù)據(jù)交換；所述數(shù)據(jù)交換平臺(tái)采用SOA的插座式架構(gòu)，作為各種適配器和橋接子系統(tǒng)的運(yùn)行環(huán) 境；把適配器和橋接子系統(tǒng)作為插件被發(fā)布到該平臺(tái)中；所述適配器和橋接子系統(tǒng)是用數(shù)據(jù)交換服務(wù)組件來對數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理，由數(shù)據(jù) 交換服務(wù)組件提供交換規(guī)則；該數(shù)據(jù)格式轉(zhuǎn)換處理包括數(shù)據(jù)格式規(guī)范化和數(shù)據(jù)加工處理數(shù)據(jù)格式規(guī)范化，是把從數(shù)據(jù)源或數(shù)據(jù)目標(biāo)抽取來的數(shù)據(jù)作格式的規(guī)范化處理，該處 理過程建立了統(tǒng)一數(shù)據(jù)對象，統(tǒng)一數(shù)據(jù)對象用來存儲(chǔ)了各種不同的數(shù)據(jù)，并支持不同數(shù)據(jù) 格式之間的轉(zhuǎn)換處理；數(shù)據(jù)加工處理是對所述統(tǒng)一數(shù)據(jù)對象進(jìn)行數(shù)據(jù)的復(fù)制、數(shù)據(jù)的轉(zhuǎn)換和數(shù)據(jù)的路由處理；所述數(shù)據(jù)源和數(shù)據(jù)目標(biāo)，包括數(shù)據(jù)庫、數(shù)據(jù)文件或內(nèi)存表；所述數(shù)據(jù)在數(shù)據(jù)交換平臺(tái)上的傳送是通過數(shù)據(jù)傳輸通道進(jìn)行的，該數(shù)據(jù)傳輸通道是內(nèi) 嵌消息隊(duì)列的傳送機(jī)制。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)整合的適配方法，其特征是所述數(shù)據(jù)的復(fù)制是指將規(guī)范化的數(shù)據(jù)對象復(fù)制到另一數(shù)據(jù)對象的過程，在這個(gè)過程 中，數(shù)據(jù)不做任何的改變；所述數(shù)據(jù)的轉(zhuǎn)換是指規(guī)范化的一個(gè)或多個(gè)數(shù)據(jù)對象經(jīng)過轉(zhuǎn)換處理后放到另一數(shù)據(jù)對 象的過程，在這個(gè)過程中，數(shù)據(jù)作了轉(zhuǎn)換處理，所述數(shù)據(jù)的路由處理是指經(jīng)過數(shù)據(jù)格式規(guī)范化的數(shù)據(jù)對象根據(jù)數(shù)據(jù)路由條件將處理 后的結(jié)果數(shù)據(jù)放在不同目的的數(shù)據(jù)對象中；數(shù)據(jù)的路由處理的過程是，先從數(shù)據(jù)源中依照 抽取條件一次性抽取數(shù)據(jù)，再對抽取的數(shù)據(jù)進(jìn)行轉(zhuǎn)換/清洗；然后以并發(fā)方式，根據(jù)路由條 件一對多地推送數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)整合的適配方法，其特征是所述數(shù)據(jù)轉(zhuǎn)換處理的方法包括格式轉(zhuǎn)換包括字段拆分/合并、不同格式間轉(zhuǎn)換； 靜/動(dòng)態(tài)字段包括系統(tǒng)時(shí)間、動(dòng)態(tài)序列號、給定值； 基于規(guī)則的翻譯包括基于規(guī)則表的翻譯、給定規(guī)則翻譯； 數(shù)學(xué)運(yùn)算不同的數(shù)據(jù)對象之間作數(shù)學(xué)運(yùn)算； 聚類處理根據(jù)一個(gè)或幾個(gè)字段做聚類操作。
4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)整合的適配方法，其特征是數(shù)據(jù)的路由處理中，當(dāng)數(shù)據(jù)源為數(shù)據(jù)庫表時(shí)，數(shù)據(jù)的路由處理過程是，先從數(shù)據(jù)庫表中，再對抽取的數(shù)據(jù)進(jìn) 行轉(zhuǎn)換/清洗；然后以并發(fā)方式，根據(jù)實(shí)際路由條件一對多地推送數(shù)據(jù)給數(shù)據(jù)目標(biāo)；當(dāng)數(shù)據(jù)源為內(nèi)存表時(shí)，數(shù)據(jù)的路由處理過程是，先從數(shù)據(jù)庫表中，再對抽取的數(shù)據(jù)進(jìn)行 轉(zhuǎn)換/清洗；然后以并發(fā)方式，根據(jù)實(shí)際路由條件一對多地推送數(shù)據(jù)給數(shù)據(jù)目標(biāo)。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)整合的適配方法，其特征是當(dāng)數(shù)據(jù)目標(biāo)為內(nèi)存表時(shí)，其 后續(xù)的處理包括返回給調(diào)用方或傳遞給消息隊(duì)列；當(dāng)目標(biāo)內(nèi)存表傳遞給消息隊(duì)列時(shí)，進(jìn)行異地可靠傳輸、一對一 / 一對多傳送或者通過隊(duì)列綁定交由目標(biāo)服務(wù)器的數(shù)據(jù)轉(zhuǎn)換和路由服務(wù)做處理。
6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)整合的適配方法，其特征是所述數(shù)據(jù)傳輸通道的處理機(jī) 制包括支持消息路由；提供基于狀態(tài)和歷程的數(shù)據(jù)的可靠性傳送機(jī)制，支持?jǐn)帱c(diǎn)續(xù)傳功能；支持隊(duì)列的優(yōu)先級，根據(jù)業(yè)務(wù)種類的不同，指定隊(duì)列處理優(yōu)先級順序；支持一對一、一對多的數(shù)據(jù)發(fā)送接受機(jī)制；支持?jǐn)?shù)據(jù)的同步、異步的處理機(jī)制；提供相同或不同網(wǎng)絡(luò)之間的數(shù)據(jù)交換、數(shù)據(jù)轉(zhuǎn)發(fā)功能；支持?jǐn)?shù)據(jù)推、拉兩種傳輸模式；支持?jǐn)?shù)據(jù)傳輸?shù)募咏饷堋?br> 7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)整合的適配方法，其特征是所述適配器的功能包括建 立和已有系統(tǒng)的連接、實(shí)現(xiàn)數(shù)據(jù)的格式化處理、提供業(yè)務(wù)處理、支持要處理的數(shù)據(jù)雙向流 動(dòng)；所述橋接子系統(tǒng)功能包括建立和已有系統(tǒng)的連接、實(shí)現(xiàn)數(shù)據(jù)的格式化處理、提供業(yè)務(wù) 處理、支持處理的數(shù)據(jù)雙向流動(dòng)。
8.根據(jù)權(quán)利要求1所述的數(shù)據(jù)整合的適配方法，其特征是所述數(shù)據(jù)交換平臺(tái)所需要的 連接信息、服務(wù)運(yùn)行信息、流程運(yùn)行信息和部署的信息存儲(chǔ)在使用規(guī)則庫中。
全文摘要
本發(fā)明涉及一種數(shù)據(jù)整合過程中對異種數(shù)據(jù)的虛擬加工技術(shù)，具體是一種數(shù)據(jù)整合的適配方法，該方法提出基于信息子系統(tǒng)之間的一個(gè)統(tǒng)一數(shù)據(jù)交換平臺(tái)，通過一組規(guī)則(數(shù)據(jù)交換組件)、通過一個(gè)可靠的數(shù)據(jù)傳遞通路，依據(jù)適配器(橋接系統(tǒng))的能力，對源數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)編輯處理、數(shù)據(jù)質(zhì)量檢查，可視化的完成整合加工處理配置、整合處理流程生成。實(shí)現(xiàn)基于其上的數(shù)據(jù)整合服務(wù)、數(shù)據(jù)整合標(biāo)準(zhǔn)和數(shù)據(jù)整合策略。解決不同單位內(nèi)部、單位和分部門之間、單位與單位之間數(shù)據(jù)可靠交換的需求。技術(shù)產(chǎn)品可以應(yīng)用在信息交換、信息同步、信息合并、信息整合、歷史數(shù)據(jù)遷移、數(shù)據(jù)倉庫建設(shè)、虛擬庫等領(lǐng)域。
文檔編號G06F17/30GK102142027SQ201110044588
公開日2011年8月3日 申請日期2011年2月23日 優(yōu)先權(quán)日2011年2月23日
發(fā)明者何超, 刁夢媛, 李赤紅, 程偉明, 陳念東 申請人:南京智尚豐軟件有限公司