發(fā)來的命令日志后，數(shù)據(jù)總線中的模擬Redis從節(jié)點(diǎn)模塊11將日志保存在日志存儲隊(duì)列中。
[0028]圖2是根據(jù)本發(fā)明實(shí)施例的一種數(shù)據(jù)同步的方法的示意圖。如圖2所示，該方法的執(zhí)行主體為圖1中的數(shù)據(jù)同步的裝置10(即數(shù)據(jù)總線)，主要包括如下步驟S20至S22。
[0029]步驟S20:數(shù)據(jù)總線接收與之相連的集群主節(jié)點(diǎn)的操作日志。在該步驟中，集群主節(jié)點(diǎn)、從節(jié)點(diǎn)、以及其他任意集群的主節(jié)點(diǎn)和從節(jié)點(diǎn)直接與數(shù)據(jù)總線連接，由于避免了現(xiàn)有技術(shù)中的集群部署的復(fù)雜拓?fù)浣Y(jié)構(gòu)，因而降低了運(yùn)維難度。當(dāng)數(shù)據(jù)源(例如Mysql)將數(shù)據(jù)寫入集群主節(jié)點(diǎn)時(shí)，集群主節(jié)點(diǎn)因數(shù)據(jù)變更生成操作日志，然后集群主節(jié)點(diǎn)Redis Master通過主從同步協(xié)議，將產(chǎn)生的操作日志發(fā)送到數(shù)據(jù)總線的模擬Redis從節(jié)點(diǎn)模塊11。操作日志用于保存集群主節(jié)點(diǎn)因數(shù)據(jù)變更而生成的觸發(fā)數(shù)據(jù)變更的命令。
[0030]在步驟S20后，數(shù)據(jù)總線將所述操作日志存入隊(duì)列中。在該步驟中，各個(gè)集群主節(jié)點(diǎn)的操作日志存儲于日志存儲隊(duì)列中，并且不同集群的數(shù)據(jù)存儲于不同的隊(duì)列。由于數(shù)據(jù)總線對操作日志做持久化存儲，因而當(dāng)主從節(jié)點(diǎn)斷開時(shí)間太長，也不用再做全量數(shù)據(jù)同步，進(jìn)而減少了做全量數(shù)據(jù)同步的次數(shù)，而且也在一定程度上節(jié)約了系統(tǒng)資源。
[0031]同時(shí)，在步驟S20后，數(shù)據(jù)總線根據(jù)所述操作日志分別得出對應(yīng)于多個(gè)存儲結(jié)構(gòu)(例如:Mysql、以及SSDB)的操作指令，以Mysql為例，即通過第二命令解析器將獲取的操作日志中的觸發(fā)數(shù)據(jù)變更命令轉(zhuǎn)成對應(yīng)于Mysql的操作指令，然后將所得到的Mysql的操作指令發(fā)送給與數(shù)據(jù)總線相連的Mysql，最后存儲結(jié)構(gòu)(即Mysql)運(yùn)行所接收到的操作指令，從而實(shí)現(xiàn)不同存儲結(jié)構(gòu)對數(shù)據(jù)的存儲，增加了數(shù)據(jù)同步的可靠性。
[0032]步驟S21:數(shù)據(jù)總線從所述操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令，然后根據(jù)所述命令分別得到與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的第一操作指令，再將所述第一操作指令發(fā)送給該操作指令對應(yīng)的與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)。在步驟S20數(shù)據(jù)總線中的模擬Redis從節(jié)點(diǎn)模塊11接收到集群主節(jié)點(diǎn)的操作日志后，獲取日志中的觸發(fā)數(shù)據(jù)變更的命令，然后通過第一命令解析器12將該命令轉(zhuǎn)換為對應(yīng)于該集群從節(jié)點(diǎn)以及其他集群主節(jié)點(diǎn)的第一操作指令，再將轉(zhuǎn)換后的第一操作指令發(fā)送給對應(yīng)從節(jié)點(diǎn)和/或其他集群主節(jié)點(diǎn)。
[0033]步驟S22:所述從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)運(yùn)行所接收到的命令，以完成從所述集群主節(jié)點(diǎn)到所述從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的數(shù)據(jù)同步。在該步驟中，所述集群的從節(jié)點(diǎn)以及任意集群的主節(jié)點(diǎn)運(yùn)行所接收到數(shù)據(jù)總線的第一命令解析器12發(fā)送的第一操作指令，實(shí)現(xiàn)了本集群主從節(jié)點(diǎn)之間的數(shù)據(jù)同步，同時(shí)還實(shí)現(xiàn)了在數(shù)據(jù)源不需要重寫的前提下實(shí)現(xiàn)了從一個(gè)集群的主節(jié)點(diǎn)到其他集群主節(jié)點(diǎn)的數(shù)據(jù)同步。
[0034]根據(jù)本發(fā)明實(shí)施例的技術(shù)方案，一方面由于增加了數(shù)據(jù)總線，能夠支持多個(gè)寫入源之間相互同步，同時(shí)由于集群主節(jié)、從節(jié)點(diǎn)直接與數(shù)據(jù)總線相連，因而避免了在集群部署過程中形成的拓?fù)湫蔚臉錉罱Y(jié)構(gòu)，降低了運(yùn)維難度；另一方面數(shù)據(jù)總線對所獲取到的操作日志進(jìn)行了持久化保存，在一定程度上減少了做全量數(shù)據(jù)同步的次數(shù)；再一方面本發(fā)明的技術(shù)方案中，由于數(shù)據(jù)能夠根據(jù)獲取到的操作日志得到不同存儲結(jié)構(gòu)的操作指令，因而能夠支持不同存儲結(jié)構(gòu)對數(shù)據(jù)的同步，在一定程度上增加了數(shù)據(jù)同步的可靠性。
[0035]上述【具體實(shí)施方式】，并不構(gòu)成對本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種數(shù)據(jù)同步的方法，其特征在于，包括: 數(shù)據(jù)總線接收與之相連的集群主節(jié)點(diǎn)的操作日志；所述操作日志用于保存集群主節(jié)點(diǎn)因數(shù)據(jù)變更而生成的觸發(fā)數(shù)據(jù)變更的命令； 數(shù)據(jù)總線從所述操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令，然后根據(jù)所述命令分別得到與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的第一操作指令，再將所述第一操作指令發(fā)送給該操作指令對應(yīng)的與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)； 所述從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)運(yùn)行所接收到的第一操作指令，以完成從所述集群主節(jié)點(diǎn)到所述從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的數(shù)據(jù)同步。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)總線獲取與之連接的集群主節(jié)點(diǎn)的操作日志的步驟之后包括: 數(shù)據(jù)總線根據(jù)所述操作日志分別得出對應(yīng)于多個(gè)存儲結(jié)構(gòu)的第二操作指令，然后將所述第二操作指令發(fā)送給該操作指令所對應(yīng)的與所述數(shù)據(jù)總線相連的存儲結(jié)構(gòu)； 所述存儲結(jié)構(gòu)運(yùn)行所述第二操作指令以實(shí)現(xiàn)不同存儲結(jié)構(gòu)對數(shù)據(jù)的同步。3.根據(jù)權(quán)利要求1所述的方法，其特征在于， 所述數(shù)據(jù)總線接收與之相連的集群主節(jié)點(diǎn)的操作日志的步驟之后包括:數(shù)據(jù)總線將所述操作日志存入隊(duì)列中； 并且數(shù)據(jù)總線從所述操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令的步驟包括:數(shù)據(jù)總線從所述隊(duì)列的操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令。4.一種數(shù)據(jù)同步的裝置，其特征在于，包括: 模擬Redis從節(jié)點(diǎn)模塊，用于接收之相連的集群主節(jié)點(diǎn)的操作日志；所述操作日志用于保存集群主節(jié)點(diǎn)因數(shù)據(jù)變更而生成的觸發(fā)數(shù)據(jù)變更的命令； 第一命令解析器，用于從所述操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令，然后根據(jù)所述命令分別得到與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的第一操作指令，最后將所述第一操作指令發(fā)送給該操作指令對應(yīng)的與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)。5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，還包括第二命令解析器； 所述第二命令解析器，用于根據(jù)所述操作日志分別得出對應(yīng)于多個(gè)存儲結(jié)構(gòu)的第二操作指令，然后將所述第二操作指令發(fā)送給該操作指令所對應(yīng)的與所述數(shù)據(jù)總線相連的存儲結(jié)構(gòu)。6.根據(jù)權(quán)利要求4所述的裝置，其特征在于，還包括日志存儲模塊，用于將所述操作日志存入隊(duì)列中； 并且所述第一命令解析器還用于從所述日志存儲模塊保存的操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令。
【專利摘要】本發(fā)明提供一種數(shù)據(jù)同步的方法和裝置，不僅支持多個(gè)寫入源之間相互同步；而且實(shí)現(xiàn)了操作日志持久化；并且能夠?qū)?shù)據(jù)同步到持久化的存儲結(jié)構(gòu)上，增加數(shù)據(jù)同步的可靠性。本發(fā)明的數(shù)據(jù)同步的方法包括：數(shù)據(jù)總線接收與之相連的集群主節(jié)點(diǎn)的操作日志；數(shù)據(jù)總線從所述操作日志中獲取所述觸發(fā)數(shù)據(jù)變更的命令，然后根據(jù)所述命令分別得到與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的第一操作指令，再將所述第一操作指令發(fā)送給該操作指令對應(yīng)的與該數(shù)據(jù)總線相連的從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)；所述從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)運(yùn)行所接收到的第一操作指令，以完成從所述集群主節(jié)點(diǎn)到所述從節(jié)點(diǎn)和/或任意集群的主節(jié)點(diǎn)的數(shù)據(jù)同步。
【IPC分類】H04L29/08
【公開號】CN105227657
【申請?zhí)枴緾N201510632297
【發(fā)明人】曹雪林
【申請人】北京京東尚科信息技術(shù)有限公司, 北京京東世紀(jì)貿(mào)易有限公司
【公開日】2016年1月6日
【申請日】2015年9月29日