本申請涉及數(shù)據(jù)處理，特別是涉及一種分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)。

背景技術(shù)：

1、分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)的技術(shù)背景是在面對不同地理位置、數(shù)據(jù)源類型和數(shù)據(jù)格式多樣性的情況下，為了實(shí)現(xiàn)高效、安全和可擴(kuò)展的數(shù)據(jù)交換而涌現(xiàn)的。

2、傳統(tǒng)的分布式跨域異構(gòu)數(shù)據(jù)交換的反映了現(xiàn)代數(shù)據(jù)管理和交換的復(fù)雜性和多樣性，但是面對跨域異構(gòu)數(shù)據(jù)交換的復(fù)雜性和挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)交換方法通常面臨以下問題：數(shù)據(jù)碎片化：數(shù)據(jù)分散在不同地理位置和數(shù)據(jù)源中，導(dǎo)致數(shù)據(jù)碎片化，難以集成和管理。數(shù)據(jù)格式不一致：不同數(shù)據(jù)源可能使用不同的數(shù)據(jù)格式和結(jié)構(gòu)，需要進(jìn)行繁瑣的數(shù)據(jù)格式轉(zhuǎn)換。傳輸效率低：數(shù)據(jù)傳輸可能受限于網(wǎng)絡(luò)帶寬，導(dǎo)致傳輸速度慢。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)。

2、一種分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)，所述系統(tǒng)包括多個(gè)分布式節(jié)點(diǎn)；每個(gè)分布式節(jié)點(diǎn)包括數(shù)據(jù)適配器模塊，數(shù)據(jù)稽核模塊，etl工具集模塊，交換規(guī)則模塊，任務(wù)調(diào)度模塊；所述數(shù)據(jù)適配器模塊，用于實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源間的統(tǒng)一數(shù)據(jù)處理和交換；所述數(shù)據(jù)稽核模塊，用于對接收到的數(shù)據(jù)和處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查，確保數(shù)據(jù)采集和處理符合質(zhì)量標(biāo)準(zhǔn)；所述etl工具集模塊，用于可視化設(shè)計(jì)數(shù)據(jù)交換任務(wù)，執(zhí)行數(shù)據(jù)的提取、轉(zhuǎn)換和加載數(shù)據(jù)交換任務(wù)；所述交換規(guī)則模塊，用于定義系統(tǒng)在數(shù)據(jù)交換過程中需要遵循的規(guī)則和策略；所述任務(wù)調(diào)度模塊，用于管理和執(zhí)行數(shù)據(jù)交換過程中的各個(gè)任務(wù)。

3、在一個(gè)實(shí)施例中，所述數(shù)據(jù)適配器模塊適配的數(shù)據(jù)源頭包括數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)、文件系統(tǒng)數(shù)據(jù)、消息系統(tǒng)數(shù)據(jù)、wed服務(wù)和api數(shù)據(jù)、傳感器數(shù)據(jù)。

4、在一個(gè)實(shí)施例中，所述每個(gè)分布式節(jié)點(diǎn)的數(shù)據(jù)適配器模塊之間采用跨域數(shù)據(jù)總線進(jìn)行連接。

5、在一個(gè)實(shí)施例中，所述對接收到的數(shù)據(jù)和處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查包括：

6、所述etl工具集模塊將經(jīng)過處理和清洗的數(shù)據(jù)傳遞給所述數(shù)據(jù)質(zhì)量稽核模塊；

7、所述數(shù)據(jù)質(zhì)量稽核模塊對接收到的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查；

8、所述數(shù)據(jù)質(zhì)量稽核模塊生成數(shù)據(jù)質(zhì)量報(bào)告，所述數(shù)據(jù)質(zhì)量報(bào)告包括了數(shù)據(jù)質(zhì)量檢查的結(jié)果，包括通過和未通過的檢查項(xiàng)，以及相關(guān)的統(tǒng)計(jì)信息；

9、所述數(shù)據(jù)質(zhì)量報(bào)告?zhèn)鬟f給其他系統(tǒng)或用戶，以供進(jìn)一步的決策制定和數(shù)據(jù)處理。

10、在一個(gè)實(shí)施例中，所述etl工具集模塊提供etl工具集，并且支持在線可視化etl流程設(shè)計(jì)；所述常見的etl工具集包括字符串處理工具、替換工具、空判斷工具、計(jì)算器工具、合并工具、分組工具、排序工具、生成記錄工具。

11、在一個(gè)實(shí)施例中，所述交換規(guī)則模塊提供交換策略規(guī)則設(shè)定功能，可以對數(shù)據(jù)交換處理過程中的每一項(xiàng)操作進(jìn)行策略設(shè)定；所述交換規(guī)則模塊的所有策略存儲在平臺策略庫中，便于后續(xù)再次復(fù)用。

12、在一個(gè)實(shí)施例中，所述任務(wù)調(diào)度模塊提供數(shù)據(jù)采集任務(wù)和數(shù)據(jù)交換任務(wù)的統(tǒng)一調(diào)度管理，支持實(shí)時(shí)、周期、定期、腳本、文件觸發(fā)方式調(diào)度任務(wù)。

13、在一個(gè)實(shí)施例中，所述系統(tǒng)還用于對各類異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)化，包括：

14、所述數(shù)據(jù)適配器模塊對各類數(shù)據(jù)源采集所述異構(gòu)數(shù)據(jù)，傳遞至etl工具集模塊；

15、etl工具集模塊對所述異構(gòu)數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)化和加載處理，得到待標(biāo)準(zhǔn)化數(shù)據(jù)；

16、etl工具集模塊對所述待標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行規(guī)范化加工，生成數(shù)據(jù)交換的內(nèi)部標(biāo)準(zhǔn)化數(shù)據(jù)；

17、所述內(nèi)部標(biāo)準(zhǔn)化數(shù)據(jù)按照維度、事實(shí)數(shù)據(jù)進(jìn)行分類存儲，形成主題數(shù)據(jù)，以供使用。

18、在一個(gè)實(shí)施例中，所述采集任務(wù)和數(shù)據(jù)交換任務(wù)的統(tǒng)一調(diào)度管理包括：

19、任務(wù)掃描器選擇任務(wù)并將其放入任務(wù)隊(duì)列；

20、計(jì)算節(jié)點(diǎn)監(jiān)聽所述任務(wù)隊(duì)列，并將所述任務(wù)放入任務(wù)調(diào)度器；

21、所述任務(wù)調(diào)度器接收所述任務(wù)，并將所述任務(wù)分配到任務(wù)線程池；

22、所述任務(wù)線程池中的任務(wù)線程執(zhí)行所述任務(wù)，執(zhí)行完成后，所述任務(wù)線程被歸還到所述任務(wù)線程池；

23、資源監(jiān)聽器監(jiān)聽資源隊(duì)列，并將資源放入資源調(diào)度器；

24、所述資源調(diào)度器接收所述資源，分配到資源線程池；

25、所述資源線程池中的資源線程執(zhí)行所述資源；

26、若所述資源狀態(tài)為已完成，所述資源將被執(zhí)行，然后所述資源線程被歸還到所述資源線程池；

27、若所述資源狀態(tài)不是已完成，所述資源將被放入阻塞隊(duì)列，等待后續(xù)處理。

28、在一個(gè)實(shí)施例中，所述系統(tǒng)還用于數(shù)據(jù)質(zhì)量處理，包括：

29、所述各類數(shù)據(jù)源提供所述異構(gòu)數(shù)據(jù)；

30、所述數(shù)據(jù)適配器模塊接入所述異構(gòu)數(shù)據(jù)傳至所述數(shù)據(jù)稽核模塊進(jìn)行采集數(shù)據(jù)檢查；

31、所述數(shù)據(jù)稽核模塊返回采集稽核結(jié)果通過后，將所述異構(gòu)數(shù)據(jù)傳入所述etl工具集模塊；

32、所述etl工具集模塊對所述異構(gòu)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理，將所述異構(gòu)數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)格式，得到所述內(nèi)部標(biāo)準(zhǔn)化數(shù)據(jù)；

33、所述etl工具集模塊將所述內(nèi)部標(biāo)準(zhǔn)化數(shù)據(jù)傳遞至所述數(shù)據(jù)稽核模塊，進(jìn)行數(shù)據(jù)質(zhì)量檢查；

34、所述數(shù)據(jù)稽核模塊將通過數(shù)據(jù)質(zhì)量稽核的高質(zhì)量數(shù)據(jù)被傳送到目標(biāo)系統(tǒng)，以供進(jìn)一步處理和分析。

35、本發(fā)明提供的系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)整合，能夠跨越不同地理位置和數(shù)據(jù)源，將數(shù)據(jù)整合到一個(gè)統(tǒng)一的平臺中，以便更輕松地進(jìn)行數(shù)據(jù)管理和分析；實(shí)現(xiàn)了數(shù)據(jù)格式轉(zhuǎn)換和映射，使得系統(tǒng)能夠自動(dòng)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換和映射，以確保數(shù)據(jù)的一致性和可用性；提高了傳輸效率，特別是在跨域情況下，優(yōu)化數(shù)據(jù)傳輸和同步過程，提高數(shù)據(jù)交換的效率和速度；解決了分布式、跨域和異構(gòu)數(shù)據(jù)交換中的復(fù)雜性，以實(shí)現(xiàn)更高效、更安全、更可控的數(shù)據(jù)交換和管理。

技術(shù)特征：

1.一種分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)，其特征在于，所述系統(tǒng)包括多個(gè)分布式節(jié)點(diǎn)；每個(gè)分布式節(jié)點(diǎn)包括數(shù)據(jù)適配器模塊，數(shù)據(jù)稽核模塊，etl工具集模塊，交換規(guī)則模塊，任務(wù)調(diào)度模塊；所述數(shù)據(jù)適配器模塊，用于實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源間的統(tǒng)一數(shù)據(jù)處理和交換；所述數(shù)據(jù)稽核模塊，用于對接收到的數(shù)據(jù)和處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查，確保數(shù)據(jù)采集和處理符合質(zhì)量標(biāo)準(zhǔn)；所述etl工具集模塊，用于可視化設(shè)計(jì)數(shù)據(jù)交換任務(wù)，執(zhí)行數(shù)據(jù)的提取、轉(zhuǎn)換和加載數(shù)據(jù)交換任務(wù)；所述交換規(guī)則模塊，用于定義系統(tǒng)在數(shù)據(jù)交換過程中需要遵循的規(guī)則和策略；所述任務(wù)調(diào)度模塊，用于管理和執(zhí)行數(shù)據(jù)交換過程中的各個(gè)任務(wù)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)適配器模塊適配的數(shù)據(jù)源頭包括數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)、文件系統(tǒng)數(shù)據(jù)、消息系統(tǒng)數(shù)據(jù)、wed服務(wù)和api數(shù)據(jù)、傳感器數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述每個(gè)分布式節(jié)點(diǎn)的數(shù)據(jù)適配器模塊之間采用跨域數(shù)據(jù)總線進(jìn)行連接。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述對接收到的數(shù)據(jù)和處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查包括：

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述etl工具集模塊提供etl工具集，并且支持在線可視化etl流程設(shè)計(jì)；所述etl工具集包括字符串處理工具、替換工具、空判斷工具、計(jì)算器工具、合并工具、分組工具、排序工具、生成記錄工具。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述交換規(guī)則模塊提供交換策略規(guī)則設(shè)定功能，對數(shù)據(jù)交換處理過程中的每一項(xiàng)操作進(jìn)行策略設(shè)定；所述交換規(guī)則模塊的所有策略存儲在平臺策略庫中，便于后續(xù)再次復(fù)用。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述任務(wù)調(diào)度模塊提供數(shù)據(jù)采集任務(wù)和數(shù)據(jù)交換任務(wù)的統(tǒng)一調(diào)度管理，支持實(shí)時(shí)、周期、定期、腳本、文件觸發(fā)方式調(diào)度任務(wù)。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還用于對各類異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)化，包括：

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述采集任務(wù)和數(shù)據(jù)交換任務(wù)的統(tǒng)一調(diào)度管理包括：

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述系統(tǒng)還用于數(shù)據(jù)質(zhì)量處理，包括：

技術(shù)總結(jié)
一種分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)，所述系統(tǒng)包括多個(gè)分布式節(jié)點(diǎn)；每個(gè)分布式節(jié)點(diǎn)包括數(shù)據(jù)適配器模塊，數(shù)據(jù)稽核模塊，ETL工具集模塊，交換規(guī)則模塊，任務(wù)調(diào)度模塊；所述數(shù)據(jù)適配器模塊，用于實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源間的統(tǒng)一數(shù)據(jù)處理和交換；所述數(shù)據(jù)稽核模塊，用于對接收到的數(shù)據(jù)和處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量檢查，確保數(shù)據(jù)采集和處理符合質(zhì)量標(biāo)準(zhǔn)；所述ETL工具集模塊，用于可視化設(shè)計(jì)數(shù)據(jù)交換任務(wù)，執(zhí)行數(shù)據(jù)的提取、轉(zhuǎn)換和加載數(shù)據(jù)交換任務(wù)；所述交換規(guī)則模塊，用于定義系統(tǒng)在數(shù)據(jù)交換過程中需要遵循的規(guī)則和策略；所述任務(wù)調(diào)度模塊，用于管理和執(zhí)行數(shù)據(jù)交換過程中的各個(gè)任務(wù)。上述系統(tǒng)更為簡單且高效，數(shù)據(jù)分布式處理且支持多重?cái)?shù)據(jù)校核處理機(jī)制，數(shù)據(jù)質(zhì)量有保障的分布式跨域異構(gòu)數(shù)據(jù)交換系統(tǒng)。

技術(shù)研發(fā)人員：楊晨光,劉愛志,趙磊,謝智歌
受保護(hù)的技術(shù)使用者：中國人民解放軍軍事科學(xué)院戰(zhàn)爭研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26