一種數(shù)據(jù)處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法和裝置。
【背景技術(shù)】
[0002]異構(gòu)數(shù)據(jù)庫系統(tǒng)是相關(guān)的多個(gè)數(shù)據(jù)庫系統(tǒng)的集合，該多個(gè)數(shù)據(jù)庫系統(tǒng)中至少有兩個(gè)數(shù)據(jù)結(jié)構(gòu)不同的數(shù)據(jù)庫系統(tǒng)。異構(gòu)數(shù)據(jù)庫可以實(shí)現(xiàn)數(shù)據(jù)的共享和透明訪問，每個(gè)數(shù)據(jù)庫系統(tǒng)在加入異構(gòu)數(shù)據(jù)庫系統(tǒng)之前本身就已經(jīng)存在，擁有自己的數(shù)據(jù)庫管理系統(tǒng)。
[0003]異構(gòu)數(shù)據(jù)庫的各個(gè)組成部分具有自身的自治性，在實(shí)現(xiàn)數(shù)據(jù)共享的同時(shí)，每個(gè)數(shù)據(jù)庫系統(tǒng)仍保有自己的應(yīng)用特性、完整性控制和安全性控制。其中，如何在異構(gòu)數(shù)據(jù)庫之間實(shí)現(xiàn)數(shù)據(jù)同步是現(xiàn)在經(jīng)常需要面對(duì)的問題。
[0004]現(xiàn)有的解決方案一般是通過特定的軟件在源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)搬遷，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的同步。例如Oracle Gloden Gate軟件,該軟件是基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件。它通過解析源數(shù)據(jù)庫在線日志或是歸檔日志，從而獲得數(shù)據(jù)的增量變化；再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫中，實(shí)現(xiàn)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)同步。Oracle GlodenGate也可以用于異構(gòu)的數(shù)據(jù)庫環(huán)境之間大量數(shù)據(jù)的實(shí)時(shí)復(fù)制，實(shí)現(xiàn)應(yīng)急系統(tǒng)、在線報(bào)表、實(shí)時(shí)數(shù)據(jù)倉庫供應(yīng)、交易跟蹤、數(shù)據(jù)同步、集中/分發(fā)容災(zāi)、數(shù)據(jù)庫升級(jí)和移植、雙業(yè)務(wù)中心等多個(gè)場景下應(yīng)用。
[0005]但Oracle Gloden Gate屬于一個(gè)公共產(chǎn)品，且定位主要針對(duì)企業(yè)級(jí)數(shù)據(jù)庫的支持。其支持的數(shù)據(jù)庫如下:
[0006]Oracle 系列、MS SQL Server 系列、IBM DB2 系列、SYSBASE 系列和M ySQL 系列。
[0007]從整體上來講，Oracle Gloden Gate軟件可以支持上面五種數(shù)據(jù)庫中相同結(jié)構(gòu)(數(shù)據(jù)庫schema —樣)的數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制。
[0008]基于日志復(fù)制的數(shù)據(jù)同步方案目前成熟的只有Oralce Gloden Gate軟件,且只能在標(biāo)準(zhǔn)的關(guān)系數(shù)據(jù)庫之間實(shí)現(xiàn)數(shù)據(jù)庫異構(gòu)，且該軟件價(jià)格成本較高，存在較大的局限性。
[0009]如果要節(jié)省成本而基于人工開發(fā)相應(yīng)的程序，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)遷移及基于數(shù)據(jù)庫觸發(fā)器的增量遷移，也存在開發(fā)量大、數(shù)據(jù)庫的額外開銷較重的問題。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的是提供一種數(shù)據(jù)處理方法和裝置，不需要進(jìn)行數(shù)據(jù)遷移就能夠?qū)崿F(xiàn)異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)同步，在降低成本的同時(shí)減輕開發(fā)工作量。
[0011]為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，用于多個(gè)數(shù)據(jù)庫，所述多個(gè)數(shù)據(jù)庫中至少包括兩個(gè)數(shù)據(jù)結(jié)構(gòu)不同的數(shù)據(jù)庫，所述方法包括:
[0012]接收用戶通過應(yīng)用層發(fā)送的請(qǐng)求將第一數(shù)據(jù)寫入所述多個(gè)數(shù)據(jù)庫中的至少一個(gè)數(shù)據(jù)庫的寫入請(qǐng)求消息，所述寫入請(qǐng)求消息中攜帶所述第一數(shù)據(jù)和所述第一數(shù)據(jù)的第一標(biāo)識(shí)；
[0013]根據(jù)預(yù)先建立的所述多個(gè)數(shù)據(jù)庫與訂閱數(shù)據(jù)的標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，在所述多個(gè)數(shù)據(jù)庫中確定與所述第一標(biāo)識(shí)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)庫；
[0014]將所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0015]上述的數(shù)據(jù)處理方法，其中，所述將所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中具體為:
[0016]調(diào)用預(yù)先為所述目標(biāo)數(shù)據(jù)庫建立的寫操作接口，將所述寫入請(qǐng)求消息中攜帶的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0017]上述的數(shù)據(jù)處理方法，其中，所述將所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中具體包括:
[0018]將所述寫入請(qǐng)求消息中攜帶的所述第一數(shù)據(jù)寫入消息隊(duì)列中；
[0019]在接收所述目標(biāo)數(shù)據(jù)庫發(fā)送的請(qǐng)求與所述第一標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)請(qǐng)求消息后，將所述消息隊(duì)列中與所述第一標(biāo)識(shí)對(duì)應(yīng)的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0020]上述的數(shù)據(jù)處理方法，其中，所述在接收所述目標(biāo)數(shù)據(jù)庫發(fā)送的請(qǐng)求與所述第一標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)請(qǐng)求消息后，將所述消息隊(duì)列中與所述第一標(biāo)識(shí)對(duì)應(yīng)的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中具體為:
[0021]在接收所述目標(biāo)數(shù)據(jù)庫發(fā)送的請(qǐng)求與所述第一標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)請(qǐng)求消息后，調(diào)用預(yù)先為所述目標(biāo)數(shù)據(jù)庫建立的寫操作接口，將所述消息隊(duì)列中與所述第一標(biāo)識(shí)對(duì)應(yīng)的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0022]上述的數(shù)據(jù)處理方法，其中，將所述寫入請(qǐng)求消息中攜帶的所述第一數(shù)據(jù)寫入消息隊(duì)列中的同時(shí)，所述方法還包括:
[0023]持久化所述第一數(shù)據(jù)，使得在接收到用戶通過應(yīng)用層發(fā)送的請(qǐng)求在所述多個(gè)數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)的讀取請(qǐng)求消息時(shí)，讀取持久化的所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)返回給所述用戶。
[0024]上述的數(shù)據(jù)處理方法，其中，所述持久化所述第一數(shù)據(jù)具體為:
[0025]將所述第一數(shù)據(jù)寫入持久化的非關(guān)系型數(shù)據(jù)庫；
[0026]所述在接收到用戶通過應(yīng)用層發(fā)送的請(qǐng)求在所述多個(gè)數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)的讀取請(qǐng)求消息時(shí)，讀取持久化的所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)返回給所述用戶具體為:
[0027]在接收到用戶通過應(yīng)用層發(fā)送的請(qǐng)求在所述多個(gè)數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)的讀取請(qǐng)求消息時(shí)，在所述非關(guān)系型數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)返回給所述用戶。
[0028]上述的數(shù)據(jù)處理方法，其中，將所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中之后，所述方法還包括:
[0029]在所述消息隊(duì)列中標(biāo)記所述第一數(shù)據(jù)的有效期為過期。
[0030]為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理裝置，用于多個(gè)數(shù)據(jù)庫，所述多個(gè)數(shù)據(jù)庫中至少包括兩個(gè)數(shù)據(jù)結(jié)構(gòu)不同的數(shù)據(jù)庫，所述裝置包括:
[0031]接收模塊，用于接收用戶通過應(yīng)用層發(fā)送的請(qǐng)求將第一數(shù)據(jù)寫入所述多個(gè)數(shù)據(jù)庫中的至少一個(gè)數(shù)據(jù)庫的寫入請(qǐng)求消息，所述寫入請(qǐng)求消息中攜帶所述第一數(shù)據(jù)和所述第一數(shù)據(jù)的第一標(biāo)識(shí)；
[0032]確定模塊，用于根據(jù)預(yù)先建立的所述多個(gè)數(shù)據(jù)庫與訂閱數(shù)據(jù)的標(biāo)識(shí)之間的對(duì)應(yīng)關(guān)系，在所述多個(gè)數(shù)據(jù)庫中確定與所述第一標(biāo)識(shí)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)庫；
[0033]寫入模塊，用于將所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0034]上述的數(shù)據(jù)處理裝置，其中，所述寫入模塊具體為:
[0035]調(diào)用預(yù)先為所述目標(biāo)數(shù)據(jù)庫建立的寫操作接口，將所述寫入請(qǐng)求消息中攜帶的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0036]上述的數(shù)據(jù)處理裝置，其中，所述寫入模塊具體包括:
[0037]第一寫入子模塊，用于將所述寫入請(qǐng)求消息中攜帶的所述第一數(shù)據(jù)寫入消息隊(duì)列中；
[0038]第二寫入子模塊，用于在接收所述目標(biāo)數(shù)據(jù)庫發(fā)送的請(qǐng)求與所述第一標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)請(qǐng)求消息后，將所述消息隊(duì)列中與所述第一標(biāo)識(shí)對(duì)應(yīng)的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0039]上述的數(shù)據(jù)處理裝置，其中，所述第二寫入子模塊具體為:
[0040]在接收所述目標(biāo)數(shù)據(jù)庫發(fā)送的請(qǐng)求與所述第一標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)請(qǐng)求消息后，調(diào)用預(yù)先為所述目標(biāo)數(shù)據(jù)庫建立的寫操作接口，將所述消息隊(duì)列中與所述第一標(biāo)識(shí)對(duì)應(yīng)的所述第一數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)庫中。
[0041]上述的數(shù)據(jù)處理裝置，其中，所述裝置還包括:
[0042]持久化模塊，用于持久化所述第一數(shù)據(jù)，使得在接收到用戶通過應(yīng)用層發(fā)送的請(qǐng)求在所述多個(gè)數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)的讀取請(qǐng)求消息時(shí)，讀取持久化的所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)返回給所述用戶。
[0043]上述的數(shù)據(jù)處理裝置，其中，所述持久化模塊具體為:
[0044]將所述第一數(shù)據(jù)寫入持久化的非關(guān)系型數(shù)據(jù)庫，使得在接收到用戶通過應(yīng)用層發(fā)送的請(qǐng)求在所述多個(gè)數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)的讀取請(qǐng)求消息時(shí)，在所述非關(guān)系型數(shù)據(jù)庫中讀取所述第一數(shù)據(jù)，并將所述第一數(shù)據(jù)返回給所述用戶。
[0045]上述的數(shù)據(jù)處理裝置，其中，所述裝置還包括:
[0046]標(biāo)記模塊，用于在所述消息隊(duì)列中標(biāo)記所述第一數(shù)據(jù)的有效期為過期。
[0047]本發(fā)明實(shí)施例具有以下有益效果中的至少一項(xiàng):
[0048