技術(shù)總結(jié)
公開一種異構(gòu)數(shù)據(jù)源的實(shí)時(shí)入庫(kù)系統(tǒng)，其能夠?qū)崿F(xiàn)異構(gòu)數(shù)據(jù)源的熱插拔，可以任意添加或者減少數(shù)據(jù)源的配置，根據(jù)配置數(shù)據(jù)自動(dòng)實(shí)時(shí)入庫(kù)，并且在分布式系統(tǒng)的基礎(chǔ)上實(shí)現(xiàn)了異構(gòu)系統(tǒng)之間的數(shù)據(jù)同步過程。該系統(tǒng)包括：數(shù)據(jù)采集模塊，其配置來對(duì)于每個(gè)經(jīng)過AES加密的數(shù)據(jù)源批次，啟動(dòng)多個(gè)子任務(wù)并行采集；并配置來使數(shù)據(jù)接入層支持任務(wù)的停啟、以及回溯和斷點(diǎn)續(xù)傳；數(shù)據(jù)傳輸模塊，其配置為一個(gè)基于分布式架構(gòu)的定制化數(shù)據(jù)通道；數(shù)據(jù)解析模塊，其配置為一個(gè)基于分布式架構(gòu)的流式計(jì)算集群，以便完成實(shí)時(shí)抽取、轉(zhuǎn)換、加載ETL過程；數(shù)據(jù)存儲(chǔ)模塊，其配置為根據(jù)數(shù)據(jù)源名稱和時(shí)間標(biāo)識(shí)，生成數(shù)據(jù)分區(qū)，選擇存儲(chǔ)介質(zhì)的流向。還有方法。

技術(shù)研發(fā)人員：溫宗臣;張翼;何良均;范衛(wèi)衛(wèi);馮森林;崔晶晶;林佳婕
受保護(hù)的技術(shù)使用者：北京集奧聚合科技有限公司
文檔號(hào)碼：201610600065
技術(shù)研發(fā)日：2016.07.27
技術(shù)公布日：2016.12.21