海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)，包括數(shù)據(jù)采集配置工具和異構(gòu)信息采集適配服務(wù)兩部分；數(shù)據(jù)采集適配工具為用戶提供友好的操作界面，實現(xiàn)對數(shù)據(jù)端點配置、數(shù)據(jù)格式及屬性配置，以及轉(zhuǎn)換規(guī)則的有效配置；異構(gòu)信息采集適配服務(wù)主要接收數(shù)據(jù)發(fā)布者發(fā)送過來的數(shù)據(jù)信息，為每一個外部系統(tǒng)分配一條管道，通過不同的消息通道處理不同種類的信息，采用推送模式對消息進行處理。
【專利說明】
海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于計算機網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種智慧城市物聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)。
【背景技術(shù)】
[0002]智慧城市物聯(lián)網(wǎng)信息系統(tǒng)建設(shè)的過程中面臨各種數(shù)據(jù)交換和數(shù)據(jù)接入問題。而每種類型的數(shù)據(jù)因其格式、協(xié)議不同都需要獨立開發(fā)集成服務(wù)軟件來實現(xiàn)該部分數(shù)據(jù)的接入及傳輸。
[0003]目前對分布異構(gòu)數(shù)據(jù)資源進行集成和管理的方法主要有數(shù)據(jù)復(fù)制方法和模式集成方法。數(shù)據(jù)復(fù)制方法是指將各個數(shù)據(jù)源的數(shù)據(jù)復(fù)制到與其相關(guān)的其它數(shù)據(jù)源上，并維護數(shù)據(jù)源整體上的一致性、提高信息共享利用的效率。最常見的數(shù)據(jù)復(fù)制方法就是通過ETL架構(gòu)，經(jīng)過抽取、轉(zhuǎn)換、加載過程，將轉(zhuǎn)換完的數(shù)據(jù)按計劃增量或全部導(dǎo)入數(shù)據(jù)倉庫的方法。這種數(shù)據(jù)集成方式的優(yōu)點是數(shù)據(jù)高度集中，建立客戶端較為方便。缺點是要提出一個統(tǒng)一的數(shù)據(jù)庫模式來滿足多個應(yīng)用的需要。并且當(dāng)多個應(yīng)用通過共享數(shù)據(jù)庫頻繁地讀取和修改相同的數(shù)據(jù)，會帶來性能瓶頸。模式集成方法的基本思想是，在構(gòu)建集成系統(tǒng)時將各數(shù)據(jù)源的數(shù)據(jù)視圖集成為全局模式，使用戶能夠按照全局模式透明地訪問各數(shù)據(jù)源的數(shù)據(jù)。模式集成方法包括聯(lián)邦數(shù)據(jù)庫及中間件方法。
[0004]典型的基于中間件的數(shù)據(jù)集成系統(tǒng)主要包括中間件和包裝器，其中每個數(shù)據(jù)源對應(yīng)一個包裝器，中間件通過包裝器和每個數(shù)據(jù)源交互。用戶在全局模式基礎(chǔ)上向中間件發(fā)出查詢請求。中間件模式能夠集成非數(shù)據(jù)庫形式的數(shù)據(jù)源，實時性強。但是對于物聯(lián)網(wǎng)感知數(shù)據(jù)源種類多的情況，需要分別開發(fā)不同的包裝器，擴展性不強。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提出一種海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化方法，它致力于通過靈活的配置工具，能夠在不需要代碼開發(fā)或是做出少量程序修改情況下，實現(xiàn)實時感知數(shù)據(jù)信息的采集、轉(zhuǎn)換及分發(fā)。
[0006]本發(fā)明的技術(shù)方案如下:
[0007]—種海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)，其特征在于:包括數(shù)據(jù)采集配置工具和異構(gòu)信息采集適配服務(wù)兩部分；數(shù)據(jù)采集適配工具為用戶提供友好的操作界面，實現(xiàn)對數(shù)據(jù)端點配置、數(shù)據(jù)格式及屬性配置，以及轉(zhuǎn)換規(guī)則的有效配置；異構(gòu)信息采集適配服務(wù)主要接收數(shù)據(jù)發(fā)布者發(fā)送過來的數(shù)據(jù)信息，為每一個外部系統(tǒng)分配一條管道，通過不同的消息通道處理不同種類的信息，采用推送模式對消息進行處理。
[0008]所述數(shù)據(jù)端點，即數(shù)據(jù)發(fā)布者和數(shù)據(jù)訂閱者；所述轉(zhuǎn)換規(guī)則配置，包括數(shù)據(jù)源的數(shù)據(jù)格式配置，目標(biāo)數(shù)據(jù)格式配置，以及它們之間的數(shù)據(jù)轉(zhuǎn)換規(guī)則配置。
[0009]所述異構(gòu)信息采集適配服務(wù)包括信息路由模塊、數(shù)據(jù)分發(fā)模塊、鏈路管理模塊、異常信息處理模塊、數(shù)據(jù)映射關(guān)系管理模塊和運行狀態(tài)監(jiān)控模塊，其中，信息路由模塊根據(jù)消息類型完成消息的路由；數(shù)據(jù)分發(fā)模塊將消息轉(zhuǎn)發(fā)到相應(yīng)的訂閱者；鏈路管理模塊管理鏈路的連接、關(guān)閉、異常信息，通過給每個端點分配唯一的ID標(biāo)識在發(fā)布者與訂閱者之間建立連接關(guān)系；異常信息處理模塊處理異常信息；數(shù)據(jù)適配接口模塊進行消息聚合及分解，同時調(diào)用數(shù)據(jù)處理模塊進行消息處理；數(shù)據(jù)映射關(guān)系管理模塊管理信息發(fā)布者和消費者通道；運行狀態(tài)監(jiān)控模塊查看各個通道狀態(tài)信息，并統(tǒng)計發(fā)布者和訂閱者的數(shù)量。
[0010]本發(fā)明主要實現(xiàn)消息格式適配、消息數(shù)據(jù)格式轉(zhuǎn)換、消息傳輸功能，其主要起到異構(gòu)實時感知數(shù)據(jù)的接入、標(biāo)準(zhǔn)化及共享。具體解決三個問題:1、當(dāng)有多個數(shù)據(jù)源與目標(biāo)系統(tǒng)時，如何在異構(gòu)的系統(tǒng)之間建立消息通道，并將消息路由到目標(biāo)系統(tǒng)。2、將數(shù)據(jù)源系統(tǒng)的消息格式轉(zhuǎn)換成標(biāo)準(zhǔn)格式的數(shù)據(jù)形式。3、提供友好的操作界面，使用戶可以配置發(fā)布者系統(tǒng)和訂閱者系統(tǒng)的通信協(xié)議、網(wǎng)絡(luò)通信信息，以及源數(shù)據(jù)及目標(biāo)數(shù)據(jù)的格式。
【具體實施方式】
[0011]異構(gòu)信息接入及標(biāo)準(zhǔn)化系統(tǒng)包括數(shù)據(jù)采集配置工具和異構(gòu)信息采集適配服務(wù)兩部分，兩部分功能模塊主要通過配置文件實現(xiàn)信息交互，進而實現(xiàn)異構(gòu)感知信息的采集和標(biāo)準(zhǔn)化。
[0012]異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)整個設(shè)計理念基于SOA技術(shù)架構(gòu)與軟件管道架構(gòu)的結(jié)合，采用多樣化數(shù)據(jù)采集通道與用戶服務(wù)角色(數(shù)據(jù)發(fā)布者、數(shù)據(jù)訂閱者)相分離，實現(xiàn)采集通道與用戶角色的靈活配置，后臺數(shù)據(jù)處理流程采用軟件管道架構(gòu)進行設(shè)計，根據(jù)信息中的內(nèi)容，通過管道將數(shù)據(jù)發(fā)送到數(shù)據(jù)處理模塊進行解析及處理，將轉(zhuǎn)換后數(shù)據(jù)發(fā)布給不同的訂閱者。
[0013]數(shù)據(jù)采集適配工具為用戶提供友好的操作界面，實現(xiàn)了對數(shù)據(jù)采集端點配置、數(shù)據(jù)格式及屬性配置，以及轉(zhuǎn)換規(guī)則的有效配置。數(shù)據(jù)端點即數(shù)據(jù)發(fā)布者和數(shù)據(jù)訂閱者。轉(zhuǎn)換規(guī)則配置包括數(shù)據(jù)源的數(shù)據(jù)格式配置，目標(biāo)數(shù)據(jù)格式配置，以及它們之間的數(shù)據(jù)轉(zhuǎn)換規(guī)則配置。
[0014]異構(gòu)信息采集適配服務(wù)主要接收數(shù)據(jù)發(fā)布者發(fā)送過來的數(shù)據(jù)信息，為每一個外部系統(tǒng)分配一條管道，通過不同的消息通道處理不同種類的信息，采用推送模式對消息進行處理。
[0015]數(shù)據(jù)推送是指數(shù)據(jù)源主動將數(shù)據(jù)推送到目的系統(tǒng)上。通過數(shù)據(jù)處理，將轉(zhuǎn)換為標(biāo)準(zhǔn)格式的信息分發(fā)給數(shù)據(jù)訂閱者(包括數(shù)據(jù)庫中間件)。
[0016]為協(xié)調(diào)數(shù)據(jù)發(fā)布者與訂閱者之間的異步，在訂閱者端建立緩存。
[0017]異構(gòu)信息采集適配服務(wù)包括信息路由模塊、數(shù)據(jù)分發(fā)模塊、鏈路管理模塊、異常信息處理模塊、數(shù)據(jù)映射關(guān)系管理模塊和運行狀態(tài)監(jiān)控模塊。信息路由模塊根據(jù)消息類型完成消息的路由。數(shù)據(jù)分發(fā)子模塊將消息轉(zhuǎn)發(fā)到相應(yīng)的訂閱者。鏈路管理模塊管理鏈路的連接、關(guān)閉、異常信息，通過給每個端點分配唯一的ID標(biāo)識在發(fā)布者與訂閱者之間建立連接關(guān)系。異常信息處理模塊處理異常信息。數(shù)據(jù)適配接口模塊進行消息聚合及分解，同時調(diào)用數(shù)據(jù)處理模塊進行消息處理。數(shù)據(jù)映射關(guān)系管理模塊管理信息發(fā)布者和消費者通道。運行狀態(tài)監(jiān)控模塊查看各個通道狀態(tài)信息，并統(tǒng)計發(fā)布者和訂閱者的數(shù)量。
[0018]使用人員通過界面可視化方式實現(xiàn)系統(tǒng)參數(shù)、數(shù)據(jù)協(xié)議格式、數(shù)據(jù)協(xié)議轉(zhuǎn)換等功能操作，系統(tǒng)根據(jù)配置的信息自動獲取到網(wǎng)絡(luò)環(huán)境、消息語義格式信息，從各類數(shù)據(jù)發(fā)布者(數(shù)據(jù)來源)接收數(shù)據(jù)，經(jīng)過過濾、解析等過程，由數(shù)據(jù)平臺處理后路由到相應(yīng)的數(shù)據(jù)訂閱者(數(shù)據(jù)去向)，進而實現(xiàn)數(shù)據(jù)的共享。系統(tǒng)作為數(shù)據(jù)轉(zhuǎn)換路由服務(wù)的數(shù)據(jù)平臺，在不同的發(fā)布者和訂閱者之間建立映射關(guān)系，針對配置的數(shù)據(jù)處理類型進行對應(yīng)的處理，避免多個包裝器的開發(fā)，實現(xiàn)代碼重用。
【主權(quán)項】
1.一種海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)，其特征在于:包括數(shù)據(jù)采集配置工具和異構(gòu)信息采集適配服務(wù)兩部分；數(shù)據(jù)采集適配工具為用戶提供友好的操作界面，實現(xiàn)對數(shù)據(jù)端點配置、數(shù)據(jù)格式及屬性配置，以及轉(zhuǎn)換規(guī)則的有效配置；異構(gòu)信息采集適配服務(wù)主要接收數(shù)據(jù)發(fā)布者發(fā)送過來的數(shù)據(jù)信息，為每一個外部系統(tǒng)分配一條管道，通過不同的消息通道處理不同種類的信息，采用推送模式對消息進行處理。2.根據(jù)權(quán)利要求1所述的海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)，其特征在于:所述數(shù)據(jù)端點，即數(shù)據(jù)發(fā)布者和數(shù)據(jù)訂閱者；所述轉(zhuǎn)換規(guī)則配置，包括數(shù)據(jù)源的數(shù)據(jù)格式配置，目標(biāo)數(shù)據(jù)格式配置，以及它們之間的數(shù)據(jù)轉(zhuǎn)換規(guī)則配置。3.根據(jù)權(quán)利要求1所述的海量異構(gòu)數(shù)據(jù)接入及標(biāo)準(zhǔn)化系統(tǒng)，其特征在于:所述異構(gòu)信息采集適配服務(wù)包括信息路由模塊、數(shù)據(jù)分發(fā)模塊、鏈路管理模塊、異常信息處理模塊、數(shù)據(jù)映射關(guān)系管理模塊和運行狀態(tài)監(jiān)控模塊，其中，信息路由模塊根據(jù)消息類型完成消息的路由；數(shù)據(jù)分發(fā)模塊將消息轉(zhuǎn)發(fā)到相應(yīng)的訂閱者；鏈路管理模塊管理鏈路的連接、關(guān)閉、異常信息，通過給每個端點分配唯一的ID標(biāo)識在發(fā)布者與訂閱者之間建立連接關(guān)系；異常信息處理模塊處理異常信息；數(shù)據(jù)適配接口模塊進行消息聚合及分解，同時調(diào)用數(shù)據(jù)處理模塊進行消息處理；數(shù)據(jù)映射關(guān)系管理模塊管理信息發(fā)布者和消費者通道；運行狀態(tài)監(jiān)控模塊查看各個通道狀態(tài)信息，并統(tǒng)計發(fā)布者和訂閱者的數(shù)量。
【文檔編號】H04L29/06GK105897797SQ201410727969
【公開日】2016年8月24日
【申請日】2014年12月3日
【發(fā)明人】王歡, 王春華, 李小君, 肖鳳華, 孟凡芹
【申請人】北京航天長峰科技工業(yè)集團有限公司