1.一種云環(huán)境中數(shù)據(jù)交換與共享方法,其特征在于,包括如下步驟:
1)在前置區(qū)部署交換數(shù)據(jù)庫和數(shù)據(jù)交換模塊,在后臺部署數(shù)據(jù)接入與認(rèn)證管理模塊、數(shù)據(jù)倉庫管理模塊、中間數(shù)據(jù)庫、以及數(shù)據(jù)倉庫;
2)建立數(shù)據(jù)交換模型,該數(shù)據(jù)交換模型定義交換數(shù)據(jù)庫與中間數(shù)據(jù)庫中的各個(gè)數(shù)據(jù)庫、數(shù)據(jù)表、數(shù)據(jù)項(xiàng)以及數(shù)據(jù)相互之間的對應(yīng)關(guān)系;
3)通過前置區(qū)的數(shù)據(jù)交換模塊管理交換數(shù)據(jù)庫,通過交換數(shù)據(jù)庫從數(shù)據(jù)源接收采集的數(shù)據(jù),數(shù)據(jù)交換模塊依據(jù)數(shù)據(jù)交換模型中的數(shù)據(jù)轉(zhuǎn)換規(guī)則進(jìn)行數(shù)據(jù)轉(zhuǎn)換,并將轉(zhuǎn)換后的數(shù)據(jù)推送給后臺的數(shù)據(jù)接入與認(rèn)證管理模塊;
4)后臺的數(shù)據(jù)接入與認(rèn)證管理模塊對接收到的數(shù)據(jù)進(jìn)行認(rèn)證和校驗(yàn),然后將數(shù)據(jù)寫入中間數(shù)據(jù)庫;
5)后臺的數(shù)據(jù)倉庫管理模塊根據(jù)管理制度,以特定的時(shí)間周期從中間數(shù)據(jù)庫中提取數(shù)據(jù)進(jìn)行處理、統(tǒng)計(jì)與分析,將所得結(jié)果作為數(shù)據(jù)產(chǎn)品存儲在數(shù)據(jù)倉庫中。
2.如權(quán)利要求1所述的方法,其特征在于,步驟3)的實(shí)現(xiàn)過程如下:
S1,當(dāng)數(shù)據(jù)源開始進(jìn)行數(shù)據(jù)交換時(shí),首先訪問數(shù)據(jù)交換信息接口請求進(jìn)行數(shù)據(jù)交換認(rèn)證;
S2,前置區(qū)中的數(shù)據(jù)交換模塊接收到請求信息,根據(jù)當(dāng)前數(shù)據(jù)包的標(biāo)簽對數(shù)據(jù)源的標(biāo)簽信息進(jìn)行認(rèn)證,并返回給數(shù)據(jù)源認(rèn)證結(jié)果信息和基線信息;
S3,數(shù)據(jù)源從返回的結(jié)果中提取出交換數(shù)據(jù)庫的接入信息和此時(shí)的基線信息,將要交換的數(shù)據(jù)、認(rèn)證信息和基線信息寫入到前置區(qū)的交換數(shù)據(jù)庫中;
S4,數(shù)據(jù)源發(fā)送寫入完成信息給數(shù)據(jù)交換模塊中的消息接口,即通知數(shù)據(jù)寫入交換數(shù)據(jù)庫完成;
S5,數(shù)據(jù)交換模塊從交換數(shù)據(jù)庫中提取出與該數(shù)據(jù)源的認(rèn)證信息和基線信息對應(yīng)的基線數(shù)據(jù);
S6,數(shù)據(jù)交換模塊依據(jù)數(shù)據(jù)交換模型文件中該部分?jǐn)?shù)據(jù)的轉(zhuǎn)換規(guī)則定義,進(jìn)行數(shù)據(jù)轉(zhuǎn)換;
S7,數(shù)據(jù)交換模塊將轉(zhuǎn)換后的基線數(shù)據(jù)進(jìn)行加密簽名打包,并封裝對應(yīng)的數(shù)據(jù)源與基線標(biāo)簽,傳輸給后臺數(shù)據(jù)接入與認(rèn)證管理服務(wù)器。
3.如權(quán)利要求2所述的方法,其特征在于,步驟4)的實(shí)現(xiàn)過程如下:
S7,后臺的數(shù)據(jù)接入與認(rèn)證模塊對接收到的數(shù)據(jù)進(jìn)行解密和一致性校驗(yàn);
S8,通過校驗(yàn)的數(shù)據(jù),根據(jù)數(shù)據(jù)的增量模式進(jìn)行本地?cái)?shù)據(jù)合并與處理,將數(shù)據(jù)寫入中間數(shù)據(jù)庫中,并返回寫入結(jié)果信息;
S9,數(shù)據(jù)交換模塊通過交換數(shù)據(jù)庫管理,依據(jù)結(jié)果信息,刪除交換成功的基線數(shù)據(jù),并提示寫入的結(jié)果錯(cuò)誤信息。
4.如權(quán)利要求3所述的方法,其特征在于,步驟5)的實(shí)現(xiàn)過程如下:
S10,數(shù)據(jù)倉庫管理模塊根據(jù)配置好的數(shù)據(jù)倉庫與統(tǒng)計(jì)量信息,定期啟動后臺數(shù)據(jù)倉庫產(chǎn)品加工任務(wù);
S11,數(shù)據(jù)倉庫管理模塊獲取最新的基線信息以及數(shù)據(jù)集合分區(qū)信息,提交數(shù)據(jù)處理平臺分區(qū)進(jìn)行各個(gè)統(tǒng)計(jì)量的計(jì)算處理;
S12,根據(jù)最新基線的統(tǒng)計(jì)量配置信息,提取中間數(shù)據(jù)庫中的當(dāng)前基線周期內(nèi)的數(shù)據(jù)集,將各個(gè)統(tǒng)計(jì)量的目標(biāo)數(shù)據(jù)集合進(jìn)行合并,形成數(shù)據(jù)產(chǎn)品,寫入數(shù)據(jù)倉庫,完成當(dāng)前基線的統(tǒng)計(jì)量產(chǎn)品加工任務(wù)。
5.如權(quán)利要求1所述的方法,其特征在于,在數(shù)據(jù)交換返回的結(jié)果中包含交換失敗的數(shù)據(jù)記錄,以該記錄的數(shù)據(jù)庫名、數(shù)據(jù)表名和表中能唯一標(biāo)識該記錄的關(guān)鍵字來標(biāo)識該記錄,數(shù)據(jù)交換模塊接收到返回結(jié)果后,根據(jù)這些信息來確定交換失敗數(shù)據(jù),而刪除掉交換成功的數(shù)據(jù)。
6.如權(quán)利要求1所述的方法,其特征在于,采用數(shù)據(jù)模式分為增量模式和全量模式,數(shù)據(jù)交換模塊定時(shí)執(zhí)行增量模式數(shù)據(jù)的數(shù)據(jù)交換任務(wù),全量模式由數(shù)據(jù)源發(fā)起數(shù)據(jù)交換請求;增量模式數(shù)據(jù)在中間庫中寫入數(shù)據(jù)庫中對應(yīng)表的末尾,而全量模式數(shù)據(jù)則在替換中間庫中原來的對應(yīng)數(shù)據(jù),并記錄日志,以在發(fā)生故障時(shí)進(jìn)行故障恢復(fù)。
7.一種采用權(quán)利要求1所述方法的云環(huán)境中數(shù)據(jù)交換與共享系統(tǒng),其特征在于,包括前置區(qū)和后臺,所述前置區(qū)包括數(shù)據(jù)交換模塊與交換數(shù)據(jù)庫,所述后臺包括數(shù)據(jù)接入與認(rèn)證管理模塊、數(shù)據(jù)倉庫管理模塊、中間數(shù)據(jù)庫、以及數(shù)據(jù)倉庫;
所述數(shù)據(jù)交換模塊負(fù)責(zé)管理所述交換數(shù)據(jù)庫,通過所述交換數(shù)據(jù)庫從數(shù)據(jù)源接收采集的數(shù)據(jù),所述數(shù)據(jù)交換模塊依據(jù)數(shù)據(jù)交換模型中的數(shù)據(jù)轉(zhuǎn)換規(guī)則進(jìn)行數(shù)據(jù)轉(zhuǎn)換,并將轉(zhuǎn)換后的數(shù)據(jù)推送給所述數(shù)據(jù)接入與認(rèn)證管理模塊;
所述數(shù)據(jù)接入與認(rèn)證管理模塊與所述前置區(qū)進(jìn)行通信與數(shù)據(jù)交換,對接收到的數(shù)據(jù)進(jìn)行認(rèn)證和校驗(yàn),然后將數(shù)據(jù)寫入中間數(shù)據(jù)庫;
所述數(shù)據(jù)倉庫管理模塊根據(jù)管理制度,以特定的時(shí)間周期從中間數(shù)據(jù)庫中提取數(shù)據(jù)進(jìn)行處理、統(tǒng)計(jì)與分析,將所得結(jié)果作為數(shù)據(jù)產(chǎn)品存儲在所述數(shù)據(jù)倉庫中。
8.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述數(shù)據(jù)交換模塊在前置區(qū)中值守交換數(shù)據(jù)庫,數(shù)據(jù)源根據(jù)管理要求采集數(shù)據(jù)后將其提取、推送到交換數(shù)據(jù)庫中,而后給數(shù)據(jù)交換模塊發(fā)送消息,提交數(shù)據(jù)交換請求,完成數(shù)據(jù)的提交與交換過程;所述數(shù)據(jù)交換模塊的功能包括:數(shù)據(jù)交換信息接口、交換數(shù)據(jù)庫管理、數(shù)據(jù)交換任務(wù)組織、交換數(shù)據(jù)提取轉(zhuǎn)換與傳輸。
9.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述數(shù)據(jù)接入與認(rèn)證管理模塊根據(jù)當(dāng)前數(shù)據(jù)包的標(biāo)簽對交換源的標(biāo)簽信息進(jìn)行認(rèn)證,完成認(rèn)證后,將數(shù)據(jù)解密;同時(shí),根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)對其中的數(shù)據(jù)進(jìn)行校驗(yàn),并將數(shù)據(jù)寫入中間數(shù)據(jù)庫中;所述數(shù)據(jù)接入與認(rèn)證管理模塊的功能包括:數(shù)據(jù)接入認(rèn)證、數(shù)據(jù)預(yù)處理、中間庫管理、數(shù)據(jù)基線編碼管理。
10.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述數(shù)據(jù)倉庫管理模塊根據(jù)數(shù)據(jù)服務(wù)的分析模型構(gòu)造對應(yīng)的統(tǒng)計(jì)量與存儲模型;在數(shù)據(jù)增量過程中,根據(jù)管理制度以特定的時(shí)間周期,對倉庫中的信息進(jìn)行迭代。
11.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述后臺還包括輔助服務(wù)模塊,用于為系統(tǒng)的正常運(yùn)轉(zhuǎn)提供輔助服務(wù),包括數(shù)據(jù)備份、大數(shù)據(jù)處理分析以及數(shù)據(jù)加密解密。
12.如權(quán)利要求11所述的系統(tǒng),其特征在于,所述數(shù)據(jù)加密解密的密鑰,在系統(tǒng)啟動時(shí),
由以下步驟形成:
S1,后臺數(shù)據(jù)接入與認(rèn)證服務(wù)器初始化AES密鑰key1、初始化RSA密鑰對;
S2,前置區(qū)數(shù)據(jù)交換模塊初始化AES密鑰key2;
S3,后臺將RSA公鑰發(fā)送給前置區(qū);
S4,前置區(qū)使用RSA公鑰加密自己的AES密鑰key2,并發(fā)送給后臺;
S5,后臺使用RSA私鑰解密AES密鑰key2,并加密自己的AES密鑰key1后發(fā)送給前置區(qū);
S6,前置區(qū)解密出AES密鑰key1;
S7,前置區(qū)與后臺都通過key1與key2組合出AES密鑰key,之后通過密鑰key對數(shù)據(jù)進(jìn)行加解密。
13.如權(quán)利要求11所述的系統(tǒng),其特征在于,在數(shù)據(jù)產(chǎn)品加工過程中,所述大數(shù)據(jù)處理分析的步驟如下:
S1,完成各個(gè)統(tǒng)計(jì)量的處理任務(wù)后,匯總提交任務(wù)數(shù)據(jù)集;
S2,將任務(wù)數(shù)據(jù)集提交數(shù)據(jù)處理平臺,根據(jù)分區(qū)將計(jì)算處理任務(wù)分割成各個(gè)子任務(wù)進(jìn)行計(jì)算處理;
S3,給子任務(wù)分配該分區(qū)中的一個(gè)最小分區(qū)信息,子任務(wù)從數(shù)據(jù)集中提取分區(qū)數(shù)據(jù)進(jìn)行規(guī)模統(tǒng)計(jì)分析;
S4,根據(jù)當(dāng)前基線信息提取對應(yīng)分區(qū)上的一個(gè)基線數(shù)據(jù)集,計(jì)算相應(yīng)統(tǒng)計(jì)量的環(huán)比、同比對比數(shù)據(jù),完成最小分區(qū)當(dāng)前基線數(shù)據(jù)處理;
S5,該子任務(wù)下的所有最小分區(qū)數(shù)據(jù)處理完成后,子任務(wù)匯總哥哥分區(qū)下計(jì)算處理的結(jié)果數(shù)據(jù),主任務(wù)匯聚各個(gè)子任務(wù)的執(zhí)行結(jié)果。
14.如權(quán)利要求11所述的系統(tǒng),其特征在于,所述輔助服務(wù)模塊中的數(shù)據(jù)備份,定時(shí)將中間庫中的數(shù)據(jù)備份到備份數(shù)據(jù)庫中。