數(shù)據(jù)同步系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種數(shù)據(jù)同步系統(tǒng)及方法，觀測器獲取數(shù)據(jù)同步任務信息，數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄；觀測器收到源目錄中數(shù)據(jù)變化的信息后經(jīng)處理獲得一消息，消息包括數(shù)據(jù)同步任務信息、源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式；處理器將消息處理后發(fā)送給復制器；復制器分析消息，對于操作方式為新增或修改的對應的數(shù)據(jù)名，從源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到對應的目標目錄，對于操作方式為刪除的對應的數(shù)據(jù)名，直接從對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。本發(fā)明能夠及時地發(fā)現(xiàn)源集群中數(shù)據(jù)的變化，靈活控制需要同步的數(shù)據(jù)，且在同步出現(xiàn)錯誤時能夠自我修復，保證同步穩(wěn)定可靠。
【專利說明】
數(shù)據(jù)同步系統(tǒng)及方法
技術領域
[0001]本發(fā)明涉及一種數(shù)據(jù)同步系統(tǒng)及方法。
【背景技術】
[0002]現(xiàn)有的跨IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)集群數(shù)據(jù)同步方案，多通過輪詢的方式來發(fā)現(xiàn)源集群中數(shù)據(jù)的變化，一方面資源消耗大，另一方面發(fā)現(xiàn)不夠及時;而且，現(xiàn)有的數(shù)據(jù)同步方案同步粒度基于整個集群，不夠靈活。此外，在數(shù)據(jù)同步出現(xiàn)錯誤時不能自我修復，同步不可靠。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術問題是為了克服現(xiàn)有技術中的集群數(shù)據(jù)同步方案不及時、以輪詢的方式查看效率低、同步粒度太大導致靈活性差的缺陷，提供一種新的數(shù)據(jù)同步方法及系統(tǒng)。
[0004]本發(fā)明是通過下述技術方案來解決上述技術問題的:
[0005]本發(fā)明提供一種數(shù)據(jù)同步系統(tǒng)，其特點在于，其包括一觀測器、一處理器和一復制器；
[0006]該觀測器用于獲取一數(shù)據(jù)同步任務信息，該數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄；
[0007]該觀測器用于接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式，該操作方式包括新增的、修改的和刪除的；
[0008]該處理器用于將該消息處理后發(fā)送給對應的復制器；
[0009]該復制器用于分析獲得的消息，對于操作方式為新增或修改的所對應的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，對于操作方式為刪除的所對應的數(shù)據(jù)名，直接從該對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0010]較佳地，該觀測器用于定期對比該源目錄和該對應的目標目錄，在該源目錄和該對應的目標目錄中的數(shù)據(jù)不一致時生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對應的目標目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對應的目標目錄中具有的數(shù)據(jù)的數(shù)據(jù)名；
[0011 ] 該處理器用于將該數(shù)據(jù)信息處理后發(fā)送給該復制器；
[0012]該復制器用于從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，并直接刪除僅該對應的目標目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0013]本方案的定期檢查方案能夠有效地解決同步錯誤導致的源目錄和目標目錄間數(shù)據(jù)不一致的問題，實現(xiàn)自我修復，保證同步穩(wěn)定可靠。
[0014]較佳地，該數(shù)據(jù)同步系統(tǒng)還包括一源集群和一目標集群，該源集群包括多個存儲有多個數(shù)據(jù)的源目錄，該目標集群包括多個目標目錄。
[0015]本發(fā)明還提供一種數(shù)據(jù)同步方法，其特點在于，其利用上述的數(shù)據(jù)同步系統(tǒng)實現(xiàn)，該數(shù)據(jù)同步方法包括以下步驟:
[0016]S1、該觀測器獲取一數(shù)據(jù)同步任務信息，該數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄；
[0017]S2、該觀測器接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式，該操作方式包括新增的、修改的和刪除的；
[0018]&、該處理器將該消息處理后發(fā)送給對應的復制器；
[0019]S4、該復制器分析獲得的消息，對于操作方式為新增或修改的所對應的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，對于操作方式為刪除的所對應的數(shù)據(jù)名，直接從該對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0020]較佳地，在步驟S4之后還包括:
[0021 ] S5、該觀測器定期對比該源目錄和該對應的目標目錄，在該源目錄和該對應的目標目錄中的數(shù)據(jù)不一致時生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對應的目標目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對應的目標目錄中具有的數(shù)據(jù)的數(shù)據(jù)名；
[0022]S6、該處理器將該數(shù)據(jù)信息處理后發(fā)送給該復制器；
[0023]S7、該復制器從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，并直接刪除僅該對應的目標目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0024]本發(fā)明的積極進步效果在于:
[0025]本發(fā)明能夠及時地發(fā)現(xiàn)源集群中數(shù)據(jù)的變化，靈活控制需要同步的數(shù)據(jù)，且在同步出現(xiàn)錯誤時能夠自我修復，保證同步穩(wěn)定可靠。
【附圖說明】
[0026]圖1為本發(fā)明較佳實施例的數(shù)據(jù)同步系統(tǒng)的結構框圖。
[0027]圖2為本發(fā)明較佳實施例的數(shù)據(jù)同步方法的流程圖。
【具體實施方式】
[0028]下面通過實施例的方式進一步說明本發(fā)明，但并不因此將本發(fā)明限制在所述的實施例范圍之中。
[0029]本實施例提供一種數(shù)據(jù)同步系統(tǒng)，其包括一源集群和一目標集群，該源集群包括多個存儲有多個數(shù)據(jù)的源目錄，該目標集群包括多個目標目錄。
[0030]如圖1所示，該數(shù)據(jù)同步系統(tǒng)還包括一觀測器1、一處理器2和一復制器3。
[0031]該觀測器I用于獲取一數(shù)據(jù)同步任務信息，該數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄。
[0032]該觀測器I用于接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式，該操作方式包括新增的、修改的和刪除的。
[0033]該處理器2用于將該消息處理后發(fā)送給對應的復制器。
[0034]該復制器3用于分析獲得的消息，對于操作方式為新增或修改的所對應的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，對于操作方式為刪除的所對應的數(shù)據(jù)名，直接從該對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0035]而且，該觀測器I還用于定期對比該源目錄和該對應的目標目錄，在該源目錄和該對應的目標目錄中的數(shù)據(jù)不一致時生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對應的目標目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對應的目標目錄中具有的數(shù)據(jù)的數(shù)據(jù)名。
[0036]該處理器2還用于將該數(shù)據(jù)信息處理后發(fā)送給該復制器。
[0037]該復制器3還用于從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，并直接刪除僅該對應的目標目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0038]本實施例的定期檢查方案能夠有效地解決同步錯誤導致的源目錄和目標目錄間數(shù)據(jù)不一致的問題，實現(xiàn)自我修復，保證同步穩(wěn)定可靠。
[0039]如圖2所示，本實施例還提供一種數(shù)據(jù)同步方法，其利用上述的數(shù)據(jù)同步系統(tǒng)實現(xiàn)，該數(shù)據(jù)同步方法包括以下步驟:
[0040]步驟101、該觀測器獲取一數(shù)據(jù)同步任務信息，該數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄。
[0041 ]步驟102、該觀測器接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式，該操作方式包括新增的、修改的和刪除的。
[0042]步驟103、該處理器將該消息處理后發(fā)送給對應的復制器。
[0043]步驟104、該復制器分析獲得的消息，對于操作方式為新增或修改的所對應的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，對于操作方式為刪除的所對應的數(shù)據(jù)名，直接從該對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。
[0044]而且，在步驟104之后還包括:
[0045]步驟105、該觀測器定期對比該源目錄和該對應的目標目錄，在該源目錄和該對應的目標目錄中的數(shù)據(jù)不一致時生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對應的目標目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對應的目標目錄中具有的數(shù)據(jù)的數(shù)據(jù)名。
[0046]步驟106、該處理器將該數(shù)據(jù)信息處理后發(fā)送給該復制器。
[0047]步驟107、該復制器從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，并直接刪除僅該對應的目標目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
[0048]雖然以上描述了本發(fā)明的【具體實施方式】，但是本領域的技術人員應當理解，這些僅是舉例說明，本發(fā)明的保護范圍是由所附權利要求書限定的。本領域的技術人員在不背離本發(fā)明的原理和實質(zhì)的前提下，可以對這些實施方式做出多種變更或修改，但這些變更和修改均落入本發(fā)明的保護范圍。
【主權項】
1.一種數(shù)據(jù)同步系統(tǒng)，其特征在于，其包括一觀測器、一處理器和一復制器； 該觀測器用于獲取一數(shù)據(jù)同步任務信息，該數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄； 該觀測器用于接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式，該操作方式包括新增的、修改的和刪除的； 該處理器用于將該消息處理后發(fā)送給對應的復制器； 該復制器用于分析獲得的消息，對于操作方式為新增或修改的所對應的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，對于操作方式為刪除的所對應的數(shù)據(jù)名，直接從該對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。2.如權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，該觀測器用于定期對比該源目錄和該對應的目標目錄，在該源目錄和該對應的目標目錄中的數(shù)據(jù)不一致時生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對應的目標目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對應的目標目錄中具有的數(shù)據(jù)的數(shù)據(jù)名； 該處理器用于將該數(shù)據(jù)信息處理后發(fā)送給該復制器； 該復制器用于從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，并直接刪除僅該對應的目標目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。3.如權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，該數(shù)據(jù)同步系統(tǒng)還包括一源集群和一目標集群，該源集群包括多個存儲有多個數(shù)據(jù)的源目錄，該目標集群包括多個目標目錄。4.一種數(shù)據(jù)同步方法，其特征在于，其利用如權利要求1所述的數(shù)據(jù)同步系統(tǒng)實現(xiàn)，該數(shù)據(jù)同步方法包括以下步驟: S1、該觀測器獲取一數(shù)據(jù)同步任務信息，該數(shù)據(jù)同步任務信息包括待同步數(shù)據(jù)的源目錄和對應接收同步數(shù)據(jù)的目標目錄； &、該觀測器接收到一該源目錄中數(shù)據(jù)變化的信息后，經(jīng)處理獲得一消息并將該消息傳輸至該處理器，該消息包括該數(shù)據(jù)同步任務信息、該源目錄中待處理的數(shù)據(jù)名和每一數(shù)據(jù)名對應的操作方式，該操作方式包括新增的、修改的和刪除的； &、該處理器將該消息處理后發(fā)送給對應的復制器； S4、該復制器分析獲得的消息，對于操作方式為新增或修改的所對應的數(shù)據(jù)名，從該源目錄中下載該些數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，對于操作方式為刪除的所對應的數(shù)據(jù)名，直接從該對應的目標目錄中刪除該些數(shù)據(jù)名中的數(shù)據(jù)。5.如權利要求4所述的數(shù)據(jù)同步方法，其特征在于，在步驟S4之后還包括: S5、該觀測器定期對比該源目錄和該對應的目標目錄，在該源目錄和該對應的目標目錄中的數(shù)據(jù)不一致時生成一數(shù)據(jù)信息，該數(shù)據(jù)信息包括該源目錄中與該對應的目標目錄中數(shù)據(jù)不一致的數(shù)據(jù)名和僅該對應的目標目錄中具有的數(shù)據(jù)的數(shù)據(jù)名； S6、該處理器將該數(shù)據(jù)信息處理后發(fā)送給該復制器； S7、該復制器從該源目錄中下載獲得的數(shù)據(jù)信息中數(shù)據(jù)不一致的數(shù)據(jù)名中的數(shù)據(jù)，并上傳到該對應的目標目錄，并直接刪除僅該對應的目標目錄中具有的數(shù)據(jù)名中的數(shù)據(jù)。
【文檔編號】G06F17/30GK105824916SQ201610149652
【公開日】2016年8月3日
【申請日】2016年3月16日
【發(fā)明人】蔡峰, 劉俊, 羅勇
【申請人】上海攜程商務有限公司