1.一種數(shù)據(jù)管理方法,其特征在于,所述數(shù)據(jù)管理方法包括以下步驟:
每隔第一預設時長,將接收的數(shù)據(jù)生成數(shù)據(jù)文件,設置所述數(shù)據(jù)文件對應的文件標識,保存所述數(shù)據(jù)文件并將所述數(shù)據(jù)文件對應的文件標識寫入第一配置文件中;
將所述數(shù)據(jù)文件寫入至分布式緩存系統(tǒng)中,并在寫入成功時,將寫入成功的所述數(shù)據(jù)文件對應的文件標識寫入第二配置文件中;
每隔第二預設時長,檢測所述第一配置文件與所述第二配置文件中不同的所述文件標識,并將不同的所述文件標識對應的數(shù)據(jù)文件寫入至所述分布式緩存系統(tǒng)中。
2.如權利要求1所述的數(shù)據(jù)管理方法,其特征在于,所述數(shù)據(jù)文件對應的文件標識為按照接收順序?qū)λ鰯?shù)據(jù)文件添加的文件編號,將所述數(shù)據(jù)文件對應的文件標識寫入第一配置文件中的步驟包括:
用所述數(shù)據(jù)文件對應的文件標識寫入所述第一配置文件中,以更新所述第一配置文件中保存的文件標識;
將成功寫入分布式緩存系統(tǒng)的數(shù)據(jù)文件對應的文件標識寫入第二配置文件的步驟包括:
用寫入分布式緩存系統(tǒng)成功的所述數(shù)據(jù)文件對應的文件標識寫入第二配置文件中,以更新所述第二配置文件中保存的文件標識;其中當某一數(shù)據(jù)文件未寫入成功時,持續(xù)重復寫入該數(shù)據(jù)文件直至寫入成功,或在寫入失敗時上報告警;
所述檢測所述第一配置文件與所述第二配置文件中不同的所述文件標識,并將不同的所述文件標識對應的數(shù)據(jù)文件寫入至所述分布式緩存系統(tǒng)中的步驟包括:
檢測所述第一配置文件中保存的文件標識與所述第二配置文件中保存的文件標識是否一致;
在所述第一配置文件中保存的文件標識與所述第二配置文件中保存的文件標識不一致時,將所述第一配置文件中保存的文件標識與所述第二配置文 件中保存的文件標識之間差異的文件標識對應的數(shù)據(jù)文件寫入至所述分布式緩存系統(tǒng)中。
3.如權利要求1所述的數(shù)據(jù)管理方法,其特征在于,在執(zhí)行所述每隔第一預設時長,將接收的數(shù)據(jù)生成數(shù)據(jù)文件,設置所述數(shù)據(jù)文件對應的文件標識的步驟的同時,執(zhí)行以下步驟:
每隔第三預設時長,發(fā)送檢測消息至所述分布式緩存系統(tǒng)中每個預設空間對應的節(jié)點,并檢測是否接收到每個預設空間對應的節(jié)點反饋的響應消息;
在未接收到某一預設空間對應的節(jié)點反饋的響應消息時,判定所述預設空間對應的節(jié)點為異常節(jié)點;
統(tǒng)計所述分布式緩存系統(tǒng)中異常節(jié)點的個數(shù),若所述異常節(jié)點的個數(shù)大于預設數(shù)量閾值,則向運維系統(tǒng)發(fā)送報警信息,同時關閉接收數(shù)據(jù)的功能,每間隔第一預設時長不再生成新的數(shù)據(jù)文件,直至系統(tǒng)恢復正常。
4.如權利要求3所述的數(shù)據(jù)管理方法,其特征在于,所述在未接收到某一預設空間對應的節(jié)點反饋的響應消息時,判定所述預設空間對應的節(jié)點為異常節(jié)點的步驟包括:
在未接收到某一預設空間對應的節(jié)點反饋的響應消息時,更新未接收到所述響應消息的次數(shù);
判斷所述次數(shù)是否大于等于預設次數(shù),其中當未接受到所述響應消息的次數(shù)大于等于預設次數(shù)時,所述預設空間對應的節(jié)點為異常節(jié)點。
5.如權利要求1-4任一項所述的數(shù)據(jù)管理方法,其特征在于,所述數(shù)據(jù)管理方法還包括:
在所述分布式緩存系統(tǒng)有節(jié)點的數(shù)據(jù)文件出現(xiàn)故障時,根據(jù)所述節(jié)點的文件目錄,從備用節(jié)點中依次拷貝所述文件目錄對應的數(shù)據(jù)文件至所述節(jié)點。
6.一種數(shù)據(jù)管理裝置,其特征在于,所述數(shù)據(jù)管理裝置包括:
生成模塊,用于在每隔第一預設時長,將接收的數(shù)據(jù)生成數(shù)據(jù)文件,設置所述數(shù)據(jù)文件對應的文件標識,保存所述數(shù)據(jù)文件并將所述數(shù)據(jù)文件對應 的文件標識寫入第一配置文件中;
處理模塊,用于將所述數(shù)據(jù)文件寫入至分布式緩存系統(tǒng)中,并在寫入成功時,將寫入成功的所述數(shù)據(jù)文件對應的文件標識寫入第二配置文件中;
存儲模塊,用于在每隔第二預設時長,檢測所述第一配置文件與所述第二配置文件中不同的所述文件標識,并將不同的所述文件標識對應的數(shù)據(jù)文件寫入至所述分布式緩存系統(tǒng)中。
7.如權利要求6所述的數(shù)據(jù)管理裝置,其特征在于,所述文件標識為按照接收順序?qū)λ鰯?shù)據(jù)文件添加的文件編號,所述生成模塊,還用于用生成的數(shù)據(jù)文件對應的文件標識寫入所述第一配置文件中,以更新所述第一配置文件中保存的文件標識;
所述處理模塊,還用于用寫入分布式緩存系統(tǒng)成功的數(shù)據(jù)文件對應的文件標識寫入第二配置文件中,以更新所述第二配置文件中保存的文件標識;其中當某一數(shù)據(jù)文件未保存成功時,持續(xù)重復寫入該數(shù)據(jù)文件直至寫入成功,或在寫入失敗時上報告警;
所述存儲模塊,還用于檢測所述第一配置文件中保存的文件標識與所述第二配置文件中保存的文件標識是否一致;在所述第一配置文件中保存的文件標識與所述第二配置文件中保存的文件標識不一致時,將所述第一配置文件中保存的文件標識與所述第二配置文件中保存的文件標識之間差異的文件標識對應的數(shù)據(jù)文件寫入至所述分布式緩存系統(tǒng)中。
8.如權利要求6所述的數(shù)據(jù)管理裝置,其特征在于,所述數(shù)據(jù)管理裝置還包括:
發(fā)送模塊,用于每隔第三預設時長,發(fā)送檢測消息至所述分布式緩存系統(tǒng)中每個預設空間對應的節(jié)點,并檢測是否接收到每個預設空間對應的節(jié)點反饋的響應消息;
判斷模塊,用于在未接收到某一預設空間對應的節(jié)點反饋的響應消息時,判定所述預設空間對應的節(jié)點為異常節(jié)點;
報警模塊,用于統(tǒng)計所述分布式緩存系統(tǒng)中異常節(jié)點的個數(shù),若所述異常節(jié)點的個數(shù)大于預設數(shù)量閾值,則向運維系統(tǒng)發(fā)送報警信息,同時關閉接 收數(shù)據(jù)的功能,每間隔第一預設時長不再生成新的數(shù)據(jù)文件,直至系統(tǒng)恢復正常。
9.如權利要求8所述的數(shù)據(jù)管理裝置,其特征在于,所述判斷模塊用于:
在未接收到某一預設空間對應的節(jié)點反饋的響應消息時,更新未接收到所述響應消息的次數(shù);
判斷所述次數(shù)是否大于等于預設次數(shù),其中當未接受到所述響應消息的次數(shù)大于等于預設次數(shù)時,所述預設空間對應的節(jié)點為異常節(jié)點。
10.如權利要求6-9任一項所述的數(shù)據(jù)管理裝置,其特征在于,所述數(shù)據(jù)管理裝置還包括:
數(shù)據(jù)恢復模塊,用于在所述分布式緩存系統(tǒng)有節(jié)點的數(shù)據(jù)文件出現(xiàn)故障時,根據(jù)所述節(jié)點的文件目錄,從備用節(jié)點中依次拷貝所述文件目錄對應的數(shù)據(jù)文件至所述節(jié)點。