儲方的示意圖。如圖3所示，以位于第二機(jī)房的一個(gè)第一存儲方將五個(gè)數(shù)據(jù)部分同步到位于第三機(jī)房的一個(gè)第二存儲方上的三個(gè)數(shù)據(jù)部分為例，采用有序輪詢的方式，即，對于一份數(shù)據(jù)中的5個(gè)數(shù)據(jù)部分，所述同步模塊420可以通過第二機(jī)房的第一存儲方將數(shù)據(jù)部分I同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分1，通過第二機(jī)房的第一存儲方將數(shù)據(jù)部分2同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分2，通過第二機(jī)房的第一存儲方將數(shù)據(jù)部分3同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分3，通過第二機(jī)房的第一存儲方將數(shù)據(jù)部分4同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分1，通過第二機(jī)房的第一存儲方將數(shù)據(jù)部分5同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分2。上述示例僅為采取有序輪詢在兩個(gè)機(jī)房的多個(gè)存儲方之間同步數(shù)據(jù)的一種示例，本發(fā)明的范圍不限于此，本領(lǐng)域技術(shù)人員可以采用其它順序和對應(yīng)關(guān)系來進(jìn)行有序輪詢方式的數(shù)據(jù)同步。
[0052]根據(jù)本發(fā)明的第三方面，提供了一種進(jìn)行跨機(jī)房數(shù)據(jù)同步的方法500，應(yīng)用于分布式消息系統(tǒng)。在本發(fā)明的實(shí)施例中，分布式消息系統(tǒng)可以是采用分布式處理進(jìn)行消息發(fā)布和訂閱的系統(tǒng)，例如包括kafka，RabbitMQ, ActiveMQ, QBus等等。在下文中，將以QBus系統(tǒng)為例，對于本發(fā)明的原理進(jìn)行詳細(xì)地描述，以幫助讀者更好地理解本發(fā)明的原理。但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明的范圍并不限于QBus系統(tǒng)，而是可以適用于任何分布式消息系統(tǒng)。QBus系統(tǒng)主要由發(fā)布方(Producer)、訂閱方(Consumer)、存儲方(Broker)、協(xié)調(diào)方(Zookeeper)、代理方(Agent)等單元組成。在下文中，將主要以發(fā)布方、存儲方、訂閱方之間的數(shù)據(jù)傳輸為例來例示本發(fā)明的原理，同樣，本發(fā)明的范圍不限于此，而是同樣適用于分布式消息系統(tǒng)(例如，QBus系統(tǒng))中其它單元之間的數(shù)據(jù)傳輸。
[0053]圖5示出了根據(jù)本發(fā)明的一種實(shí)施例的進(jìn)行跨機(jī)房數(shù)據(jù)同步的方法500的流程示意圖。如圖5所示，所述方法500始于步驟S510，其中，位于第二機(jī)房的一個(gè)或多個(gè)第一存儲方從位于第一機(jī)房的一個(gè)或多個(gè)發(fā)布方接收一份或多份數(shù)據(jù)并存儲在第二機(jī)房本地。即，位于所述第一機(jī)房的所述一個(gè)或多個(gè)發(fā)布方將一份或多份數(shù)據(jù)發(fā)送到位于第二機(jī)房的一個(gè)或多個(gè)第一存儲方。
[0054]在步驟S510之后，執(zhí)行步驟S520，其中，所述一個(gè)或多個(gè)第一存儲方將所述一份或多份數(shù)據(jù)同步到位于第三機(jī)房的一個(gè)或多個(gè)第二存儲方，以存儲在第三機(jī)房本地。隨后，在步驟S530中，位于第三機(jī)房的一個(gè)或多個(gè)訂閱方從所述一個(gè)或多個(gè)第二存儲方獲取所述一份或多份數(shù)據(jù)。
[0055]根據(jù)上述步驟S510、S520、S530，通過發(fā)布方(第一機(jī)房)一第一存儲方(第二機(jī)房)一第二存儲方(第三機(jī)房)一訂閱方(第三機(jī)房)的數(shù)據(jù)傳輸流程，實(shí)現(xiàn)了發(fā)布-訂閱的應(yīng)用。
[0056]根據(jù)本發(fā)明的實(shí)施例，在所述分布式消息系統(tǒng)(例如，QBus系統(tǒng))中，所述發(fā)布方是Producer，所述第一存儲方和第二存儲方是Broker，所述訂閱方是Consumer。
[0057]根據(jù)本發(fā)明的實(shí)施例，第二機(jī)房、第三機(jī)房位于不同的位置?？蛇x地，所述第二機(jī)房與所述第三機(jī)房進(jìn)行遠(yuǎn)程通信。第一機(jī)房也可以與第二機(jī)房和第三機(jī)房位于不同的位置，也可以與第二機(jī)房和第三機(jī)房進(jìn)行遠(yuǎn)程通信。由于將發(fā)布方所發(fā)布的數(shù)據(jù)從第二機(jī)房的一個(gè)或多個(gè)第一存儲方同步到了位于一個(gè)或多個(gè)訂閱方本地的第三機(jī)房中的一個(gè)或多個(gè)第二存儲方，在第三機(jī)房的訂閱方需要所述數(shù)據(jù)時(shí)，避免了反復(fù)在第二機(jī)房的第一存儲方與第三機(jī)房的訂閱方之間傳輸數(shù)據(jù)，而是從本地獲取所述數(shù)據(jù)，很大程度地減少了網(wǎng)絡(luò)延遲。
[0058]根據(jù)本發(fā)明的實(shí)施例，可選地，在上述步驟S520之后，即，在一個(gè)或多個(gè)第一存儲方將所述一份或多份數(shù)據(jù)同步到位于第三機(jī)房的一個(gè)或多個(gè)第二存儲方，以存儲在第三機(jī)房本地之后，所述方法500還可以包括可選步驟:所述一個(gè)或多個(gè)第二存儲方將存儲在第三機(jī)房本地超過預(yù)先定義的第一時(shí)間閾值的一份或多份數(shù)據(jù)刪除。在上述實(shí)施例中，采取過期策略，將已經(jīng)存儲在第三機(jī)房本地超過預(yù)先定義的第一時(shí)間閾值的數(shù)據(jù)刪除，避免長期存儲不再使用或者使用率很低的數(shù)據(jù)，減少了第三機(jī)房本地存儲空間的負(fù)擔(dān)?？梢愿鶕?jù)實(shí)際需要設(shè)置所述預(yù)先定義的第一時(shí)間閾值的大小。
[0059]根據(jù)本發(fā)明的實(shí)施例，可選地，在上述步驟S520之后，即，在一個(gè)或多個(gè)第一存儲方將所述一份或多份數(shù)據(jù)同步到位于第三機(jī)房的一個(gè)或多個(gè)第二存儲方，以存儲在第三機(jī)房本地之后，所述方法500還可以包括可選步驟:在存儲在第三機(jī)房本地的所述一份或多份數(shù)據(jù)超過預(yù)先定義的大小的情況下，所述一個(gè)或多個(gè)第二存儲方將存儲在第三機(jī)房本地的一份或多份數(shù)據(jù)中存儲時(shí)間最長的、超出所述預(yù)先定義的大小的一份或多份數(shù)據(jù)刪除。在上述實(shí)施例中，采取過期策略，將已經(jīng)存儲在第三機(jī)房本地的一份或多份數(shù)據(jù)中存儲時(shí)間最長的、超出所述預(yù)先定義的大小的一份或多份數(shù)據(jù)刪除，使得在第三機(jī)房本地存儲的數(shù)據(jù)等于或小于所述預(yù)先定義的大小，避免長期存儲不再使用或者使用率很低的數(shù)據(jù)，減少了第三機(jī)房本地存儲空間的負(fù)擔(dān)。可以根據(jù)實(shí)際需要設(shè)置所述預(yù)先定義的大小。
[0060]根據(jù)本發(fā)明的實(shí)施例，上述步驟S520包括:所述一個(gè)或多個(gè)第一存儲方采用有序輪詢的方式將所述一份或多份數(shù)據(jù)同步到所述一個(gè)或多個(gè)第二存儲方。參見圖2，其中示意性地圖示了根據(jù)本發(fā)明的實(shí)施例的一種實(shí)施例的采用有序輪詢的方式將數(shù)據(jù)同步到第二存儲方的示意圖。如圖2所示，以位于第二機(jī)房的6個(gè)存儲方將數(shù)據(jù)同步到位于第三機(jī)房的4個(gè)存儲方為例，采用有序輪詢的方式，即，第二機(jī)房的第一存儲方I將數(shù)據(jù)同步到第三機(jī)房的第二存儲方1，第二機(jī)房的第一存儲方2將數(shù)據(jù)同步到第三機(jī)房的第二存儲方2，第二機(jī)房的第一存儲方3將數(shù)據(jù)同步到第三機(jī)房的第二存儲方3，第二機(jī)房的第一存儲方4將數(shù)據(jù)同步到第三機(jī)房的第二存儲方4，第二機(jī)房的第一存儲方5將數(shù)據(jù)同步到第三機(jī)房的第二存儲方1，第二機(jī)房的第一存儲方6將數(shù)據(jù)同步到第三機(jī)房的第二存儲方2。上述示例僅為采取有序輪詢在兩個(gè)機(jī)房的多個(gè)存儲方之間同步數(shù)據(jù)的一種示例，本發(fā)明的范圍不限于此，本領(lǐng)域技術(shù)人員可以采用其它順序和對應(yīng)關(guān)系來進(jìn)行有序輪詢方式的數(shù)據(jù)同步。
[0061]根據(jù)本發(fā)明的實(shí)施例，上述步驟S520包括:對于其中每一份數(shù)據(jù)，所述一個(gè)或多個(gè)第一存儲方采用有序輪詢的方式將所述一份數(shù)據(jù)的一個(gè)或多個(gè)部分同步到所述一個(gè)第二存儲方并作為一個(gè)或多個(gè)部分存儲。參見圖3，其中示意性地圖示了根據(jù)本發(fā)明的實(shí)施例的一種實(shí)施例的采用有序輪詢的方式將一份數(shù)據(jù)的一個(gè)或多個(gè)部分同步到第二存儲方的示意圖。如圖3所示，以位于第二機(jī)房的一個(gè)第一存儲方將五個(gè)數(shù)據(jù)部分同步到位于第三機(jī)房的一個(gè)第二存儲方上的三個(gè)數(shù)據(jù)部分為例，采用有序輪詢的方式，即，對于一份數(shù)據(jù)中的5個(gè)數(shù)據(jù)部分，第二機(jī)房的第一存儲方將數(shù)據(jù)部分I同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分1，第二機(jī)房的第一存儲方將數(shù)據(jù)部分2同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分2，第二機(jī)房的第一存儲方將數(shù)據(jù)部分3同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分3，第二機(jī)房的第一存儲方將數(shù)據(jù)部分4同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分1，第二機(jī)房的第一存儲方將數(shù)據(jù)部分5同步到第三機(jī)房的第二存儲方的數(shù)據(jù)部分2。上述示例僅為采取有序輪詢在兩個(gè)機(jī)房的多個(gè)存儲方之間同步數(shù)據(jù)的一種示例，本發(fā)明的范圍不限于此，本領(lǐng)域技術(shù)人員可以采用其它順序和對應(yīng)關(guān)系來進(jìn)行有序輪詢方式的數(shù)據(jù)同步。
[0062]根據(jù)本發(fā)明的第四方面，與上述方法500相對應(yīng)，提供了一種進(jìn)行跨機(jī)房數(shù)據(jù)同步的裝置600，應(yīng)用于分布式消息系統(tǒng)。在本發(fā)明的實(shí)施例中，分布式消息系統(tǒng)可以是采用分布式處理進(jìn)行消息發(fā)布和訂閱的系統(tǒng)，例如包括kafka，RabbitMQ, ActiveMQ, QBus等等。在下文中，將以QBus系統(tǒng)為例，對于本發(fā)明的原理進(jìn)行詳細(xì)地描述，以幫助讀者更好地理解本發(fā)明的原理。但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明的范圍并不限于QBus系統(tǒng)，而是可以適用于任何分布式消息系統(tǒng)。QBus系統(tǒng)主要由發(fā)布方(Producer)、訂閱方(Consumer)、存儲方(Broker)、協(xié)調(diào)方(Zookeeper)、代理方(Agent)等單元組成。在下文中，將主要以發(fā)布方、存儲方、訂閱方之間的數(shù)據(jù)傳輸為例來例示本發(fā)明的原理，同樣，本發(fā)明的范圍不限于此，而是同樣適用于分布式消息系統(tǒng)(例如，QBus系統(tǒng))中其它單元之間的數(shù)據(jù)傳輸。
[0063]圖6出了根據(jù)本發(fā)明的一種實(shí)施例的進(jìn)行跨機(jī)房數(shù)據(jù)同步的裝置600中各個(gè)模塊之間的交互的示意圖。所述裝置600包括接收和存儲模塊610、同步模塊620、獲取模塊630。
[0064]首先，所述接收和存儲模塊610通過位于第二機(jī)房的一個(gè)或多個(gè)第一存儲方從位于第一機(jī)房的一個(gè)或多個(gè)發(fā)布方接收一份或多份數(shù)據(jù)并存儲在第二機(jī)房本地。即，位于所述第一機(jī)房的所述一個(gè)或多個(gè)發(fā)布方將一份或多份數(shù)據(jù)發(fā)送到位于第二機(jī)房的一個(gè)或多個(gè)第一存儲方。
[0065]隨后，所述同步模塊620通過所述一個(gè)或多個(gè)第一存儲方將所述一份或多份數(shù)據(jù)同步到位于第三機(jī)房的一個(gè)或多個(gè)第二存儲方，以存儲在第三機(jī)房本地。隨后，所述獲取模塊通過位于第三機(jī)房的一個(gè)或多個(gè)訂閱方從所述一個(gè)或多個(gè)第二存儲方獲取所述一份或多份數(shù)據(jù)。
[0066]根據(jù)上述各模塊的操作，通過發(fā)布方(第一機(jī)房)—第一存儲方(第二機(jī)房)—第二存儲方(第三機(jī)房)一訂閱方(第三機(jī)房)的數(shù)據(jù)傳輸流程，實(shí)現(xiàn)了發(fā)布-訂閱的應(yīng)用。
[0067]根據(jù)本發(fā)明的實(shí)施例，在所述分布式消息系統(tǒng)(例如，QBus系統(tǒng))中，所述發(fā)布方是Producer，所述第一存儲方和第二存儲方是Broker，所述訂閱方是Consumer。
[0068]根據(jù)本發(fā)明的實(shí)施例，第二機(jī)房、第三機(jī)房位于不同的位置。在一實(shí)施例中，所述第二機(jī)房與所述第三機(jī)房進(jìn)行遠(yuǎn)程通信。第一機(jī)房也可以與第二機(jī)房和第三機(jī)房位于不同的位置，也可以與第二機(jī)房和第三機(jī)房進(jìn)行遠(yuǎn)程通信。由于將發(fā)布方所發(fā)布的數(shù)據(jù)從第二機(jī)房的一個(gè)或多個(gè)第一存儲方同步到了位于一個(gè)或多個(gè)訂閱方本地的第三機(jī)房中的一個(gè)或多個(gè)第二存儲方，在第三機(jī)房的訂閱方需