專利名稱：一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)庫技術(shù)，尤其涉及一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法。
背景技術(shù)：
目前關(guān)于在不同的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)同步的技術(shù)方案較多，但能實(shí)現(xiàn)不同數(shù)據(jù)模型間并且實(shí)時(shí)同步的產(chǎn)品較少，而且其功能不能滿足一些場合下的使用需求，比如運(yùn)營商的同一套IPTV系統(tǒng)可能由不同的供貨商承建，這樣在IPTV系統(tǒng)設(shè)計(jì)時(shí)就會(huì)將整個(gè)系統(tǒng)分割成不同的網(wǎng)元，每個(gè)網(wǎng)元都可以獨(dú)立運(yùn)行，并與其他網(wǎng)元無縫連接。各個(gè)網(wǎng)元可能根據(jù)自己的需要，使用不同的數(shù)據(jù)庫，并設(shè)計(jì)出不同的庫表結(jié)構(gòu)，這樣就產(chǎn)生了在各個(gè)網(wǎng)元之間的數(shù)據(jù)同步與交換，需要一個(gè)源數(shù)據(jù)庫同步到其他多個(gè)數(shù)據(jù)庫，而且有實(shí)時(shí)性要求，在這樣 的系統(tǒng)環(huán)境下進(jìn)行數(shù)據(jù)同步，現(xiàn)有技術(shù)方案不能滿足要求或存在一些缺陷。比如
公開日為2011年05月18日、公開號(hào)為CN102063511A的專利文獻(xiàn)公開了這樣的技術(shù)方案一種數(shù)據(jù)同步系統(tǒng)，包括生成模塊，用于當(dāng)存在對(duì)第一數(shù)據(jù)庫內(nèi)的數(shù)據(jù)或者第一文件內(nèi)的文件進(jìn)行操作時(shí)，生成相應(yīng)操作的類對(duì)象，并將該類對(duì)象序列化成二進(jìn)制流，傳送模塊，用于將該二進(jìn)制流按照順序傳送給第二服務(wù)器，接收模塊，用于接收第一服務(wù)器發(fā)送的二進(jìn)制流，將該二進(jìn)制流按照順序插入至操作隊(duì)列表中；及執(zhí)行模塊，用于反序列化操作隊(duì)列表中的二進(jìn)制流，并根據(jù)該反序列化后的操作數(shù)據(jù)對(duì)第二數(shù)據(jù)庫中的數(shù)據(jù)或第二文件中的文件進(jìn)行相應(yīng)操作。本發(fā)明可以實(shí)現(xiàn)對(duì)不同數(shù)據(jù)類型或文件類型的服務(wù)器中的數(shù)據(jù)進(jìn)行同步操作。但是該方案的不足之處一是不能實(shí)現(xiàn)數(shù)據(jù)庫間的一對(duì)多同步，二是由于未使用事件觸發(fā)方式，因此，數(shù)據(jù)同步不及時(shí)，三是不支持大批量數(shù)據(jù)一次同步等。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，實(shí)現(xiàn)在不同種類數(shù)據(jù)庫、不同的數(shù)據(jù)模型環(huán)境下，一個(gè)源數(shù)據(jù)庫及時(shí)同步到多個(gè)目標(biāo)數(shù)據(jù)庫，以及大批量數(shù)據(jù)快速同步，在一個(gè)源數(shù)據(jù)庫中的更改能夠?qū)崟r(shí)地同步到多個(gè)目標(biāo)數(shù)據(jù)庫中。本發(fā)明針對(duì)現(xiàn)有技術(shù)問題主要是通過下述技術(shù)方案得以解決的，包括
Ca)當(dāng)源數(shù)據(jù)庫中的數(shù)據(jù)變更時(shí)，產(chǎn)生請(qǐng)求同步的變更事件；
(b)推送數(shù)據(jù)模塊掃描源數(shù)據(jù)庫中的變更事件，當(dāng)有變更事件時(shí)，就觸發(fā)推送數(shù)據(jù)模塊將這次變更的數(shù)據(jù)按照接收數(shù)據(jù)模塊的數(shù)據(jù)結(jié)構(gòu)組成數(shù)據(jù)包，發(fā)給接收數(shù)據(jù)模塊；
(C)接收數(shù)據(jù)模塊經(jīng)過數(shù)據(jù)包解析后寫入目標(biāo)數(shù)據(jù)庫。本發(fā)明包括一個(gè)源數(shù)據(jù)庫和多個(gè)目標(biāo)數(shù)據(jù)庫，所述的目標(biāo)數(shù)據(jù)庫可以是與源數(shù)據(jù)庫相同的數(shù)據(jù)庫，也可以是與源數(shù)據(jù)庫不同的數(shù)據(jù)庫。同時(shí)還包括一個(gè)將源數(shù)據(jù)庫中的變更數(shù)據(jù)推送給目標(biāo)數(shù)據(jù)庫的推送數(shù)據(jù)模塊，和一個(gè)或多個(gè)接收推送過來的數(shù)據(jù)的接收數(shù)據(jù)模塊，推送數(shù)據(jù)模塊將源數(shù)據(jù)庫中變更的數(shù)據(jù)按照每個(gè)接收數(shù)據(jù)模塊各自要求的數(shù)據(jù)結(jié)構(gòu)組成數(shù)據(jù)包，發(fā)送給相應(yīng)的目標(biāo)接收數(shù)據(jù)模塊，接收數(shù)據(jù)模塊將接收到的數(shù)據(jù)寫進(jìn)相應(yīng)的不同數(shù)據(jù)庫，實(shí)現(xiàn)了不同的數(shù)據(jù)庫間的數(shù)據(jù)同步。推送數(shù)據(jù)模塊連接源數(shù)據(jù)庫，接收數(shù)據(jù)模塊連接目標(biāo)數(shù)據(jù)庫。當(dāng)源數(shù)據(jù)庫中的數(shù)據(jù)變更時(shí)，產(chǎn)生請(qǐng)求同步的事件。推送數(shù)據(jù)模塊不停地掃描源數(shù)據(jù)庫中的變更事件，當(dāng)有變更事件時(shí)，就觸發(fā)推送數(shù)據(jù)模塊，將這次變更的數(shù)據(jù)按照接收數(shù)據(jù)模塊要求的數(shù)據(jù)結(jié)構(gòu)組成數(shù)據(jù)包，發(fā)給接收數(shù)據(jù)模塊，由接收數(shù)據(jù)模塊經(jīng)過數(shù)據(jù)包解析后寫入目標(biāo)數(shù)據(jù)庫。由推送數(shù)據(jù)模塊實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)、準(zhǔn)確同步，并可根據(jù)接收數(shù)據(jù)模塊的需要進(jìn)行數(shù)據(jù)結(jié)構(gòu)的變更。本方法運(yùn)用源數(shù)據(jù)庫中的數(shù)據(jù)變更事件觸發(fā)同步數(shù)據(jù)模塊(推送數(shù)據(jù)模塊和接收數(shù)據(jù)模塊)工作，實(shí)現(xiàn)不同的數(shù)據(jù)庫(包括不同種類數(shù)據(jù)庫)間的數(shù)據(jù)同步，滿足了源數(shù)據(jù)庫對(duì)多個(gè)目標(biāo)數(shù)據(jù)庫同步的需求，利用事件觸發(fā)方式進(jìn)行及時(shí)同步，滿足了系統(tǒng)對(duì)數(shù)據(jù)同步的時(shí)效性要求。本方法可以應(yīng)用于任何領(lǐng)域，源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫不限，如Oracle、SQLServer、Mysql 等等。作為優(yōu)選，每個(gè)目標(biāo)數(shù)據(jù)庫對(duì)應(yīng)與不同的接收數(shù)據(jù)模塊，接收數(shù)據(jù)模塊將接收到的數(shù)據(jù)寫進(jìn)相應(yīng)的目標(biāo)數(shù)據(jù)庫。 作為優(yōu)選，當(dāng)通信出現(xiàn)中斷時(shí)，變更的數(shù)據(jù)自動(dòng)重新下發(fā)，直到通信恢復(fù)數(shù)據(jù)同步成功。作為優(yōu)選，當(dāng)目標(biāo)數(shù)據(jù)庫處理出錯(cuò)時(shí)，通過修改數(shù)據(jù)變更事件的狀態(tài)標(biāo)志來觸發(fā)變更的數(shù)據(jù)重新下發(fā)。作為優(yōu)選，當(dāng)接收數(shù)據(jù)模塊處理出錯(cuò)時(shí)，對(duì)源數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行處理，在數(shù)據(jù)正確后，通過修改數(shù)據(jù)變更事件的狀態(tài)標(biāo)志實(shí)現(xiàn)再次下發(fā)。接收數(shù)據(jù)模塊處理出錯(cuò)，應(yīng)該是源數(shù)據(jù)庫中的數(shù)據(jù)錯(cuò)誤，在重新下發(fā)前，人工處理源數(shù)據(jù)庫中的數(shù)據(jù)，在源數(shù)據(jù)正確后，通過修改事件的狀態(tài)標(biāo)志實(shí)現(xiàn)再次下發(fā)。作為優(yōu)選，在源數(shù)據(jù)庫中當(dāng)一次批量增加大量數(shù)據(jù)或修改大量數(shù)據(jù)時(shí)，不再每條數(shù)據(jù)產(chǎn)生一條數(shù)據(jù)變更事件,而是一批數(shù)據(jù)只產(chǎn)生一條數(shù)據(jù)變更事件去觸發(fā)推送數(shù)據(jù)模塊和接收數(shù)據(jù)模塊進(jìn)行數(shù)據(jù)同步。源數(shù)據(jù)庫中可能存在某些表的數(shù)據(jù)量特別大，比如十萬、百萬級(jí)別的，如果通過Socket通訊逐條進(jìn)行同步，則花費(fèi)在通信交互上的時(shí)間就太多了，勢必影響數(shù)據(jù)同步的效率，影響用戶體驗(yàn)。針對(duì)這種情況，采取當(dāng)一次在源數(shù)據(jù)庫中批量增加大量數(shù)據(jù)或修改大量數(shù)據(jù)時(shí)，不再每條數(shù)據(jù)產(chǎn)生一條同步事件，而是一批數(shù)據(jù)只產(chǎn)生一個(gè)同步事件，比如100000條數(shù)據(jù)只產(chǎn)生一個(gè)同步事件，當(dāng)推送數(shù)據(jù)模塊接收到這類大批量數(shù)據(jù)同步事件時(shí)，就會(huì)啟動(dòng)特殊的同步處理模式將這大批量的數(shù)據(jù)按照規(guī)定的組織方式一次性寫到一個(gè)大的內(nèi)存塊中，再發(fā)送給接收數(shù)據(jù)模塊，由接收數(shù)據(jù)模塊再根據(jù)協(xié)議分析其中的數(shù)據(jù)包，將數(shù)據(jù)寫入相應(yīng)的目標(biāo)數(shù)據(jù)庫。這樣節(jié)約了交互通信的時(shí)間，提高了效率。同時(shí)，也減少了頻繁地讀取源數(shù)據(jù)庫，導(dǎo)致影響源數(shù)據(jù)庫性能的問題。本發(fā)明帶來的有益效果是，實(shí)現(xiàn)了在不同種類數(shù)據(jù)庫、不同的數(shù)據(jù)模型環(huán)境下，一個(gè)源數(shù)據(jù)庫可以同步到多個(gè)目標(biāo)數(shù)據(jù)庫，可以進(jìn)行大批量數(shù)據(jù)快速同步，通過事件觸發(fā)方式實(shí)現(xiàn)了數(shù)據(jù)及時(shí)同步，數(shù)據(jù)實(shí)時(shí)性好。


圖I是本發(fā)明的一種數(shù)據(jù)同步處理流程圖；圖2是本發(fā)明在UTStarcom公司IPTV應(yīng)用中數(shù)據(jù)同步處理流程圖。
具體實(shí)施例方式下面通過實(shí)施例，并結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體說明。實(shí)施例如圖I所示，本發(fā)明是一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，用于將一個(gè)源數(shù)據(jù)庫及時(shí)同步到多個(gè)不同種類數(shù)據(jù)庫不同數(shù)據(jù)模型的目標(biāo)數(shù)據(jù)庫。步驟包括
1、在源數(shù)據(jù)庫A里部署產(chǎn)生變更事件的數(shù)據(jù)庫腳本，當(dāng)源數(shù)據(jù)庫A中有數(shù)據(jù)變更時(shí)就記錄一條事件到數(shù)據(jù)庫事件表中，當(dāng)需要進(jìn)行大量數(shù)據(jù)增加或修改時(shí)通過設(shè)置按批量產(chǎn)生一條事件記錄到數(shù)據(jù)庫事件表中，供推送數(shù)據(jù)模塊使用；
2、部署推送數(shù)據(jù)模塊，將推送數(shù)據(jù)模塊連接到源數(shù)據(jù)庫A; 3、部署接收數(shù)據(jù)模塊，并配置接收數(shù)據(jù)模塊的IP地址和端口號(hào)，可以是多個(gè)接收數(shù)據(jù)模塊，每個(gè)接收數(shù)據(jù)模塊連接需要同步的目標(biāo)數(shù)據(jù)庫，比如連接到目標(biāo)數(shù)據(jù)庫之一的數(shù)據(jù)庫B ；
4、推送數(shù)據(jù)模塊不停地掃描同步事件表，當(dāng)發(fā)現(xiàn)有同步事件時(shí)，就啟動(dòng)推送數(shù)據(jù)模塊進(jìn)行處理,根據(jù)事件類型,讀取需要同步的數(shù)據(jù),發(fā)送給接收數(shù)據(jù)模塊，由接收數(shù)據(jù)模塊根據(jù)目標(biāo)數(shù)據(jù)庫要求的數(shù)據(jù)結(jié)構(gòu)寫到目標(biāo)數(shù)據(jù)庫中，供目標(biāo)系統(tǒng)快速讀取。圖I的具體過程是
(1)部署數(shù)據(jù)庫A;
(2)部署推送數(shù)據(jù)模塊，該模塊連接到數(shù)據(jù)庫A;
(3)部署數(shù)據(jù)庫B;
(4)部署接收數(shù)據(jù)模塊，該模塊連接到數(shù)據(jù)庫B;
(5)源數(shù)據(jù)改變，產(chǎn)生同步數(shù)據(jù)請(qǐng)求事件；
(6)推送數(shù)據(jù)模塊接收到請(qǐng)求，向接收數(shù)據(jù)模塊請(qǐng)求握手；
(7)握手失敗，重復(fù)握手請(qǐng)求，直到握手成功；
(8)推送數(shù)據(jù)模塊組織數(shù)據(jù)，發(fā)送給接收數(shù)據(jù)模塊；
(9)接收數(shù)據(jù)模塊將接收到的數(shù)據(jù)寫入數(shù)據(jù)庫B；
(10)如果第(9)步處理成功，則數(shù)據(jù)同步成功，刪除并備份同步請(qǐng)求事件；
(11)如果第(9)步處理失敗，則更新同步請(qǐng)求事件的狀態(tài)標(biāo)志，以備手工重新同步用。圖2所示是本發(fā)明在UTStarcom公司IPTV (交互式網(wǎng)絡(luò)電視)的應(yīng)用實(shí)例。在UTStarcom公司的IPTV系統(tǒng)中存在媒資管理系統(tǒng)MAM (媒資管理網(wǎng)元)與EPG(電子節(jié)目菜單系統(tǒng))，MAM使用的是Oracle數(shù)據(jù)庫,而EPG使用的是mysql數(shù)據(jù)庫,并且基于效率考慮兩個(gè)網(wǎng)元的數(shù)據(jù)結(jié)構(gòu)差別很大。MAM是媒資數(shù)據(jù)的入口，EPG是出口，最終展現(xiàn)給終端用戶。這樣就產(chǎn)生了當(dāng)MAM上錄入或者修改了媒資數(shù)據(jù)后，如何快速地反應(yīng)到EPG中的問題，為了解決此問題，應(yīng)用本發(fā)明開發(fā)出媒資數(shù)據(jù)同步的網(wǎng)元，該網(wǎng)元使用的技術(shù)就是利用數(shù)據(jù)庫中數(shù)據(jù)的變更產(chǎn)生變更事件，由此事件觸發(fā)同步網(wǎng)元工作，將數(shù)據(jù)同步給EPG網(wǎng)元。在該過程中，EPG不直接接收同步網(wǎng)元MAM2CM (媒資管理網(wǎng)元數(shù)據(jù)修改下發(fā)給電子節(jié)目菜單數(shù)據(jù)庫的網(wǎng)元)發(fā)過來的數(shù)據(jù)，而是通過中間接收網(wǎng)元CMM (電子節(jié)目菜單數(shù)據(jù)前端接收網(wǎng)元)接收，并處理后再寫入EPG (電子節(jié)目菜單)的數(shù)據(jù)庫MDDB中。圖2的具體步驟是(A)部署OSS數(shù)據(jù)庫Oracle(OSS :運(yùn)營支持系統(tǒng))；
(B)部署推送數(shù)據(jù)模塊MAM2CM，MAM2CM模塊連接到OSS數(shù)據(jù)庫；
(C)部署EPG數(shù)據(jù)庫MDDB(Mysql數(shù)據(jù)庫)；
(D)部署接收數(shù)據(jù)模塊CMM，CMM模塊連接到數(shù)據(jù)庫MDDB；
(E)OSS數(shù)據(jù)庫中的媒資元數(shù)據(jù)發(fā)生改變，產(chǎn)生同步數(shù)據(jù)請(qǐng)求事件；
(F)MAM2CM推送數(shù)據(jù)模塊接收到請(qǐng)求，向接收數(shù)據(jù)模塊CMM請(qǐng)求握手；
(G)握手失敗，重復(fù)握手請(qǐng)求，直到握手成功；
(H)推送數(shù)據(jù)模塊MAM2CM組織數(shù)據(jù)，發(fā)送給接收數(shù)據(jù)模塊CMM； (I)接收數(shù)據(jù)模塊CMM將接收到的數(shù)據(jù)寫入數(shù)據(jù)庫MDDB；
(J)如果第(I)步處理成功，則數(shù)據(jù)同步成功，刪除并備份同步請(qǐng)求事件；
(K)如果第(I)步處理失敗，則更新同步請(qǐng)求事件的狀態(tài)，以備手工重新同步用。所以本發(fā)明具有在不同的數(shù)據(jù)庫、不同的數(shù)據(jù)模型環(huán)境下，一個(gè)源數(shù)據(jù)庫可以同步到多個(gè)目標(biāo)數(shù)據(jù)庫，可以進(jìn)行大批量數(shù)據(jù)快速同步，通過事件觸發(fā)方式實(shí)現(xiàn)了數(shù)據(jù)及時(shí)同步，數(shù)據(jù)實(shí)時(shí)性好等特征。
權(quán)利要求
1.一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，用于將一個(gè)源數(shù)據(jù)庫及時(shí)同步到多個(gè)不同種類、不同數(shù)據(jù)模型的目標(biāo)數(shù)據(jù)庫，其特征包括 (a)當(dāng)源數(shù)據(jù)庫中的數(shù)據(jù)變更時(shí),產(chǎn)生請(qǐng)求同步的變更事件； (b)推送數(shù)據(jù)模塊掃描源數(shù)據(jù)庫中的變更事件，當(dāng)有變更事件時(shí)，就觸發(fā)推送數(shù)據(jù)模塊將這次變更的數(shù)據(jù)按照接收數(shù)據(jù)模塊的數(shù)據(jù)結(jié)構(gòu)組成數(shù)據(jù)包，發(fā)給接收數(shù)據(jù)模塊； (C)接收數(shù)據(jù)模塊經(jīng)過數(shù)據(jù)包解析后寫入目標(biāo)數(shù)據(jù)庫。
2.根據(jù)權(quán)利要求I所述一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，其特征在于在源數(shù)據(jù)庫里部署產(chǎn)生變更事件的數(shù)據(jù)庫腳本，當(dāng)源數(shù)據(jù)庫中有數(shù)據(jù)變更時(shí)就記錄一條事件到數(shù)據(jù)庫事件表中。
3.根據(jù)權(quán)利要求I所述一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，其特征在于所述的接收數(shù)據(jù)模塊是多個(gè)接收數(shù)據(jù)模塊，每個(gè)接收數(shù)據(jù)模塊連接需要同步的目標(biāo)數(shù)據(jù)庫，每個(gè)接收數(shù)據(jù)模塊將接收到的數(shù)據(jù)寫進(jìn)相應(yīng)的目標(biāo)數(shù)據(jù)庫。
4.根據(jù)權(quán)利要求1，2或3所述一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，其特征在于當(dāng)通信出現(xiàn)中斷時(shí)，變更的數(shù)據(jù)自動(dòng)重新下發(fā)，直到數(shù)據(jù)同步成功。
5.根據(jù)權(quán)利要求1，2或3所述一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，其特征在于當(dāng)目標(biāo)數(shù)據(jù)庫處理出錯(cuò)時(shí)，通過修改數(shù)據(jù)變更事件的狀態(tài)標(biāo)志來觸發(fā)變更的數(shù)據(jù)重新下發(fā)。
6.根據(jù)權(quán)利要求5所述一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，其特征在于當(dāng)接收數(shù)據(jù)模塊處理出錯(cuò)時(shí)，對(duì)源數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行處理，在數(shù)據(jù)正確后，通過修改數(shù)據(jù)變更事件的狀態(tài)標(biāo)志實(shí)現(xiàn)再次下發(fā)。
7.根據(jù)權(quán)利要求2所述一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，其特征在于在源數(shù)據(jù)庫中當(dāng)一次批量增加大量數(shù)據(jù)或修改大量數(shù)據(jù)時(shí)，不再每條數(shù)據(jù)產(chǎn)生一條數(shù)據(jù)變更事件，而是一批數(shù)據(jù)只產(chǎn)生一條數(shù)據(jù)變更事件去觸發(fā)推送數(shù)據(jù)模塊和接收數(shù)據(jù)模塊進(jìn)行數(shù)據(jù)同步。
全文摘要
本發(fā)明公開了一種通過事件觸發(fā)同步不同數(shù)據(jù)庫的方法，實(shí)現(xiàn)在不同種類數(shù)據(jù)庫、不同的數(shù)據(jù)模型環(huán)境下，一個(gè)源數(shù)據(jù)庫及時(shí)同步到多個(gè)目標(biāo)數(shù)據(jù)庫，以及大批量數(shù)據(jù)快速同步，它包括當(dāng)源數(shù)據(jù)庫中的數(shù)據(jù)變更時(shí)，產(chǎn)生請(qǐng)求同步的變更事件；推送數(shù)據(jù)模塊掃描源數(shù)據(jù)庫中的變更事件，當(dāng)有變更事件時(shí)，就觸發(fā)推送數(shù)據(jù)模塊將這次變更的數(shù)據(jù)按照接收數(shù)據(jù)模塊的數(shù)據(jù)結(jié)構(gòu)組成數(shù)據(jù)包，發(fā)給接收數(shù)據(jù)模塊；接收數(shù)據(jù)模塊經(jīng)過數(shù)據(jù)包解析后寫入目標(biāo)數(shù)據(jù)庫。
文檔編號(hào)G06F17/30GK102945236SQ201110387829
公開日2013年2月27日 申請(qǐng)日期2011年11月29日 優(yōu)先權(quán)日2011年11月29日
發(fā)明者高中虎 申請(qǐng)人:Ut斯達(dá)康通訊有限公司