一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)領(lǐng)域，尤其涉及一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散方法及系統(tǒng)。
【背景技術(shù)】
[0002]當(dāng)前我們處在大數(shù)據(jù)時代，具有以下特點(diǎn):
[0003]1).大數(shù)據(jù)時代已經(jīng)悄然而至。大數(shù)據(jù)將逐漸成為現(xiàn)代設(shè)施的一部分，就像公路、鐵路、港口、水電和通信網(wǎng)絡(luò)一樣不可或缺。但就其價值特征而言，大數(shù)據(jù)卻和這些物理化的基礎(chǔ)設(shè)施不同，它不會因?yàn)槿藗兊氖褂枚H值，反而會變得更加的豐富和全面。例如，一組DNA可能會死亡或毀滅，但數(shù)據(jù)化的DNA卻會永存。因此大數(shù)據(jù)時代的政治學(xué)、社會學(xué)和許多科學(xué)門類都會發(fā)生巨大的甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類的價值體系、知識體系和生活方式。今天，每個人、每個行業(yè)都在享受著大數(shù)據(jù)帶來的便利。
[0004]2).數(shù)據(jù)整合顯價值。在人類的歷史長河中，即使是現(xiàn)在社會日新月異的發(fā)展中，人們還是主要依賴抽樣數(shù)據(jù)、局部數(shù)據(jù)和片面數(shù)據(jù)，甚至在無法獲得實(shí)證數(shù)據(jù)的時候，純粹依賴經(jīng)驗(yàn)、理論、假設(shè)和價值觀去發(fā)現(xiàn)未知領(lǐng)域的規(guī)律。因此，人們對世界的認(rèn)識往往是表面的、膚淺的、簡單的、扭曲的或者是無知的。如果我們還是以部分?jǐn)?shù)據(jù)去對未知的事物進(jìn)行判斷，這無疑好比“盲人摸象”，摸到的永遠(yuǎn)只會是一部分或者說一方面，不能從整體和全局去認(rèn)識未知的世界。因此我們必須將企業(yè)現(xiàn)在分散的數(shù)據(jù)整合起來，去關(guān)聯(lián)分析和挖掘才能發(fā)現(xiàn)更多的類似“啤酒加尿布”的數(shù)據(jù)挖掘經(jīng)典案例，才能在最大程度上體現(xiàn)出數(shù)據(jù)的價值。
[0005]3).數(shù)據(jù)需要按需使用?；谡系臄?shù)據(jù)，可以實(shí)現(xiàn)數(shù)據(jù)的按需使用，傳統(tǒng)模式下的應(yīng)用系統(tǒng)之間數(shù)據(jù)相互隔離，形成各自的數(shù)據(jù)孤島，應(yīng)用之間數(shù)據(jù)無法互聯(lián)互通;基于整合的數(shù)據(jù)，可以滿足應(yīng)用之間的數(shù)據(jù)聯(lián)動，實(shí)現(xiàn)跨應(yīng)用的數(shù)據(jù)互通互調(diào)，從而實(shí)現(xiàn)數(shù)據(jù)的按需使用。
[0006]4).讓數(shù)據(jù)流動起來。如今，“大數(shù)據(jù)”發(fā)展的障礙主要在于“流行性”和“可獲取性”。因此美國政府創(chuàng)建了Data.gov網(wǎng)站，為大數(shù)據(jù)敞開了大門；英國、印度也有“數(shù)據(jù)公開”運(yùn)動。流動的數(shù)據(jù)才能使數(shù)據(jù)實(shí)現(xiàn)循環(huán)利用，如同工業(yè)革命要開放物質(zhì)交易、流通一樣，開放和流通的數(shù)據(jù)能讓數(shù)據(jù)形成自我循環(huán)的生態(tài)圈，使數(shù)據(jù)各取所用，使數(shù)據(jù)的內(nèi)在價值得以挖掘利用。
[0007]傳統(tǒng)IT系統(tǒng)多采用“煙囪式”架構(gòu)設(shè)計，多源異構(gòu)數(shù)據(jù)庫系統(tǒng)普遍存在，多個數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)不共享，形成數(shù)據(jù)孤島。在當(dāng)今大數(shù)據(jù)時代，若無法實(shí)現(xiàn)數(shù)據(jù)整合，數(shù)據(jù)將無法按需使用，也無法讓數(shù)據(jù)充分流動，導(dǎo)致數(shù)據(jù)的價值無法被充分挖掘利用。
[0008]現(xiàn)有數(shù)據(jù)整合的技術(shù)方案通常使用商業(yè)軟件來實(shí)現(xiàn)，但通常只能實(shí)現(xiàn)某種特殊類型的數(shù)據(jù)庫系統(tǒng)整合，無法實(shí)現(xiàn)數(shù)據(jù)的按需分發(fā)和數(shù)據(jù)循環(huán)流動，例如Oracle公司推出的Golden Gate等，只能實(shí)現(xiàn)從多個Oracle數(shù)據(jù)庫整合到某一個Oracle數(shù)據(jù)庫，無法實(shí)現(xiàn)MySQL數(shù)據(jù)庫到Oracle數(shù)據(jù)庫的整合;除此之外，這些商業(yè)軟件不僅收費(fèi)高昂，而且閉源，無法根據(jù)用戶自身需求進(jìn)行個性化定制開發(fā)，同時，數(shù)據(jù)安全、數(shù)據(jù)隱私也是非常重要的，而在“棱鏡門”后時代，通常無法對這些閉源的商業(yè)軟件進(jìn)行安全檢測，無法確定是否有后門存在。

【發(fā)明內(nèi)容】

[0009]本發(fā)明實(shí)施例的目的在于提供一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散方法及系統(tǒng)，旨在提供一種數(shù)據(jù)聚散聚的循環(huán)方式，使得數(shù)據(jù)能夠循環(huán)利用。
[0010]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散方法，所述方法包括:
[0011]多源數(shù)據(jù)整合系統(tǒng)采集數(shù)據(jù)信息，之后將采集到的數(shù)據(jù)信息進(jìn)行整合并存儲到目標(biāo)數(shù)據(jù)庫中；
[0012]數(shù)據(jù)分發(fā)系統(tǒng)接收多源數(shù)據(jù)整合系統(tǒng)的數(shù)據(jù)信息，并根據(jù)應(yīng)用數(shù)據(jù)庫系統(tǒng)中各個應(yīng)用數(shù)據(jù)庫的應(yīng)用需求向各個應(yīng)用數(shù)據(jù)庫分發(fā)數(shù)據(jù)信息；
[0013]各個應(yīng)用數(shù)據(jù)庫接收數(shù)據(jù)分發(fā)系統(tǒng)分發(fā)的數(shù)據(jù)信息并在實(shí)際應(yīng)用過程中對分發(fā)的數(shù)據(jù)信息分別進(jìn)行數(shù)據(jù)使用與數(shù)據(jù)更新，之后應(yīng)用數(shù)據(jù)庫系統(tǒng)再將更新后的數(shù)據(jù)信息發(fā)送到多源數(shù)據(jù)整合系統(tǒng)。
[0014]進(jìn)一步的，所述多源數(shù)據(jù)整合系統(tǒng)采集數(shù)據(jù)信息為:
[0015]多源數(shù)據(jù)整合系統(tǒng)采集多個不同數(shù)據(jù)源和/或不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)庫中的原始數(shù)據(jù);或者
[0016]多源數(shù)據(jù)整合系統(tǒng)采集各個應(yīng)用數(shù)據(jù)庫更新后發(fā)送的數(shù)據(jù)信息。
[0017]進(jìn)一步的，所述將采集到的數(shù)據(jù)信息進(jìn)行整合并存儲到目標(biāo)數(shù)據(jù)庫中的步驟包括:
[0018]將采集到的數(shù)據(jù)信息進(jìn)行一致性處理，使得數(shù)據(jù)信息具有統(tǒng)一的數(shù)據(jù)格式；
[0019]對具有統(tǒng)一數(shù)據(jù)格式的數(shù)據(jù)信息進(jìn)行整合，并將整合后的數(shù)據(jù)信息存儲到目標(biāo)數(shù)據(jù)庫中。
[0020]進(jìn)一步的，所述數(shù)據(jù)分發(fā)系統(tǒng)采用云計算的分布式信息處理機(jī)制，能夠根據(jù)數(shù)據(jù)處理的性能需求進(jìn)行系統(tǒng)的動態(tài)伸縮。
[0021]進(jìn)一步的，所述數(shù)據(jù)分發(fā)系統(tǒng)根據(jù)應(yīng)用數(shù)據(jù)庫系統(tǒng)中各個應(yīng)用數(shù)據(jù)庫的應(yīng)用需求向各個應(yīng)用數(shù)據(jù)庫分發(fā)數(shù)據(jù)信息的步驟前還包括:
[0022]數(shù)據(jù)分發(fā)系統(tǒng)獲取各個應(yīng)用數(shù)據(jù)庫的應(yīng)用需求信息，包括應(yīng)用的位置信息以及應(yīng)用業(yè)務(wù)類型。
[0023]本發(fā)明實(shí)施例的另一目的在于提供一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散系統(tǒng)，所述系統(tǒng)包括:
[0024]多源數(shù)據(jù)整合系統(tǒng)，用于采集數(shù)據(jù)信息，之后將采集到的數(shù)據(jù)信息進(jìn)行整合并存儲到目標(biāo)數(shù)據(jù)庫中；
[0025]數(shù)據(jù)分發(fā)系統(tǒng)，用于接收多源數(shù)據(jù)整合系統(tǒng)的數(shù)據(jù)信息，并根據(jù)應(yīng)用數(shù)據(jù)庫系統(tǒng)中各個應(yīng)用數(shù)據(jù)庫的應(yīng)用需求向各個應(yīng)用數(shù)據(jù)庫分發(fā)數(shù)據(jù)信息；
[0026]應(yīng)用數(shù)據(jù)庫系統(tǒng)，包含有多個應(yīng)用數(shù)據(jù)庫，用于接收數(shù)據(jù)分發(fā)系統(tǒng)分發(fā)的數(shù)據(jù)信息并在實(shí)際應(yīng)用過程中對分發(fā)的數(shù)據(jù)信息進(jìn)行數(shù)據(jù)使用與數(shù)據(jù)更新，之后應(yīng)用數(shù)據(jù)庫系統(tǒng)再將更新后的數(shù)據(jù)信息發(fā)送到多源數(shù)據(jù)整合系統(tǒng)。
[0027]進(jìn)一步的，所述多源數(shù)據(jù)整合系統(tǒng)采集數(shù)據(jù)信息為:
[0028]多源數(shù)據(jù)整合系統(tǒng)采集不同數(shù)據(jù)源和/或不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)庫中的原始數(shù)據(jù)；或者
[0029]多源數(shù)據(jù)整合系統(tǒng)采集應(yīng)用數(shù)據(jù)庫系統(tǒng)更新后發(fā)送的數(shù)據(jù)信息。
[0030]進(jìn)一步的，多源數(shù)據(jù)整合系統(tǒng)包括:
[0031]一致性處理系統(tǒng)，用于將采集到的數(shù)據(jù)信息進(jìn)行一致性處理，使得數(shù)據(jù)信息具有統(tǒng)一的數(shù)據(jù)格式；
[0032]整合存儲系統(tǒng)，用于對具有統(tǒng)一數(shù)據(jù)格式的數(shù)據(jù)信息進(jìn)行整合，并將整合后的數(shù)據(jù)信息存儲到目標(biāo)數(shù)據(jù)庫中。
[0033]進(jìn)一步的，所述數(shù)據(jù)分發(fā)系統(tǒng)采用云計算的分布式信息處理機(jī)制，能夠根據(jù)數(shù)據(jù)處理的性能需求進(jìn)行系統(tǒng)的動態(tài)伸縮。
[0034]進(jìn)一步的，所述系統(tǒng)還包括:
[0035]信息獲取單元，用于數(shù)據(jù)分發(fā)系統(tǒng)獲取應(yīng)用數(shù)據(jù)庫系統(tǒng)中各個應(yīng)用數(shù)據(jù)庫的應(yīng)用需求新，包括應(yīng)用的位置信息以及應(yīng)用業(yè)務(wù)類型。
[0036]本發(fā)明實(shí)施例通過一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散方法及系統(tǒng)，通過多源數(shù)據(jù)整合系統(tǒng)整合所有數(shù)據(jù)信息，將所有位于不同地理位置以及不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)信息整合成統(tǒng)一數(shù)據(jù)格式的可用數(shù)據(jù)，并將統(tǒng)一數(shù)據(jù)格式后的可用數(shù)據(jù)存儲到一個目標(biāo)數(shù)據(jù)庫中，完成數(shù)據(jù)的集中存儲，之后由數(shù)據(jù)分發(fā)系統(tǒng)分發(fā)到應(yīng)用數(shù)據(jù)庫系統(tǒng)中進(jìn)行數(shù)據(jù)使用，應(yīng)用數(shù)據(jù)庫系統(tǒng)在使用以后將使用后的數(shù)據(jù)信息回流到多源數(shù)據(jù)整合系統(tǒng)中，如此循環(huán)完成數(shù)據(jù)的從聚到散再到聚，數(shù)據(jù)在使用過程中實(shí)現(xiàn)了循環(huán)流動，使得數(shù)據(jù)可以不斷的進(jìn)行自我更新，更新后的數(shù)據(jù)信息可以更好的在應(yīng)用數(shù)據(jù)庫系統(tǒng)中進(jìn)行實(shí)際使用，從而發(fā)揮數(shù)據(jù)信息的最大價值。
【附圖說明】
[0037]圖1是本發(fā)明第一實(shí)施例提供的一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散方法的實(shí)現(xiàn)流程圖；
[0038]圖2是本發(fā)明第一實(shí)施例提供的多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散系統(tǒng)的架構(gòu)圖；
[0039]圖3是本發(fā)明第一實(shí)施例提供的數(shù)據(jù)分發(fā)流程圖；
[0040]圖4是本發(fā)明第二實(shí)施例提供的一種多源異構(gòu)數(shù)據(jù)庫數(shù)據(jù)聚散系統(tǒng)的結(jié)構(gòu)圖；
[0041 ]圖5是本發(fā)明第二實(shí)施例數(shù)據(jù)分發(fā)系統(tǒng)的架構(gòu)圖；以及
[0042]圖6是本發(fā)明第二實(shí)施例提供的數(shù)據(jù)的聚散聚的流向圖。
【具體實(shí)施方式】
[0043]為了使本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
[0044]本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”、“第三”“第四”等(如果存在)是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的實(shí)施例能夠以除了在這里圖示或描述的內(nèi)容以外的順序?qū)嵤４送?，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0045]以下結(jié)合具體實(shí)施例對本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述:
[0046]實(shí)施例一:
[004