1.一種節(jié)點(diǎn)重啟后的數(shù)據(jù)處理方法,其特征在于,所述方法應(yīng)用于包括分布式消息隊(duì)列以及處理節(jié)點(diǎn)的數(shù)據(jù)處理系統(tǒng)中,該方法包括:
當(dāng)所述處理節(jié)點(diǎn)重新啟動(dòng)完成后,所述處理節(jié)點(diǎn)獲取所述分布式消息隊(duì)列中當(dāng)前緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)的時(shí)刻;
所述處理節(jié)點(diǎn)根據(jù)當(dāng)前的時(shí)刻以及所述遺留數(shù)據(jù)的時(shí)刻確定恢復(fù)周期;
所述處理節(jié)點(diǎn)在所述恢復(fù)周期內(nèi)處理所述遺留數(shù)據(jù)以及所述分布式消息隊(duì)列中的新增數(shù)據(jù)。
2.如權(quán)利要求1所述的方法,其特征在于,所述數(shù)據(jù)處理系統(tǒng)還包括存儲(chǔ)節(jié)點(diǎn),在所述處理節(jié)點(diǎn)重新啟動(dòng)完成之前,還包括:
所述處理節(jié)點(diǎn)接收計(jì)算任務(wù)關(guān)閉指令;
所述處理節(jié)點(diǎn)停止從所述分布式消息隊(duì)列中接收數(shù)據(jù),并將自身當(dāng)前已緩存的數(shù)據(jù)在處理完畢后寫入所述存儲(chǔ)節(jié)點(diǎn)。
3.如權(quán)利要求1所述的方法,其特征在于,所述處理節(jié)點(diǎn)根據(jù)當(dāng)前的時(shí)刻以及所述遺留數(shù)據(jù)的時(shí)刻確定恢復(fù)周期,具體為:
獲取所述緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)所對(duì)應(yīng)的時(shí)刻距離當(dāng)前的時(shí)刻的時(shí)間長(zhǎng)度;
生成所述恢復(fù)周期,所述恢復(fù)周期的時(shí)長(zhǎng)與所述時(shí)間長(zhǎng)度一致。
4.如權(quán)利要求1所述的方法,其特征在于,所述處理節(jié)點(diǎn)在所述恢復(fù)周期內(nèi)處理所述遺留數(shù)據(jù)以及所述分布式消息隊(duì)列中的新增數(shù)據(jù),具體為:
根據(jù)所述恢復(fù)周期的單位時(shí)間長(zhǎng)度依次設(shè)置多個(gè)處理時(shí)間段,并基于所述遺留數(shù)據(jù)以及所述新增數(shù)據(jù)為各所述處理時(shí)間段分配待處理數(shù)據(jù);
在各所述處理時(shí)間段內(nèi)處理對(duì)應(yīng)的待處理數(shù)據(jù),并在所述恢復(fù)周期結(jié)束后將所述計(jì)算任務(wù)恢復(fù)為正常處理邏輯。
5.如權(quán)利要求4所述的方法,其特征在于,所述處理時(shí)間段由數(shù)據(jù)處理時(shí)間以及數(shù)據(jù)同步時(shí)間按序組成,在各所述處理時(shí)間段內(nèi)處理對(duì)應(yīng)的待處理 數(shù)據(jù),具體為:
在所述數(shù)據(jù)處理時(shí)間內(nèi)處理所述待處理數(shù)據(jù),并在所述數(shù)據(jù)處理時(shí)間結(jié)束時(shí)將已處理的待處理數(shù)據(jù)進(jìn)行存儲(chǔ);
若所述數(shù)據(jù)處理時(shí)間結(jié)束后存在尚未處理的待處理數(shù)據(jù),在所述數(shù)據(jù)同步時(shí)間內(nèi)將所述尚未處理的待處理數(shù)據(jù)丟棄。
6.一種數(shù)據(jù)處理設(shè)備,作為處理節(jié)點(diǎn)應(yīng)用于包括分布式消息隊(duì)列以及所述處理節(jié)點(diǎn)的數(shù)據(jù)處理系統(tǒng)中,其特征在于,所述數(shù)據(jù)處理設(shè)備包括:
獲取模塊,用于當(dāng)重新啟動(dòng)完成后,獲取所述分布式消息隊(duì)列中當(dāng)前緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)的時(shí)刻;
確定模塊,用于根據(jù)當(dāng)前的時(shí)刻以及所述遺留數(shù)據(jù)的時(shí)刻確定恢復(fù)周期;
處理模塊,用于在所述恢復(fù)周期內(nèi)處理所述遺留數(shù)據(jù)以及所述分布式消息隊(duì)列中的新增數(shù)據(jù)。
7.如權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述數(shù)據(jù)處理系統(tǒng)還包括存儲(chǔ)節(jié)點(diǎn),所述數(shù)據(jù)處理設(shè)備還包括:
關(guān)閉模塊,用于接收計(jì)算任務(wù)關(guān)閉指令,停止從所述分布式消息隊(duì)列中接收數(shù)據(jù),并將自身當(dāng)前已緩存的數(shù)據(jù)在處理完畢后寫入所述存儲(chǔ)節(jié)點(diǎn)。
8.如權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述確定模塊具體包括:
獲取子模塊,獲取所述緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)所對(duì)應(yīng)的時(shí)刻距離當(dāng)前的時(shí)刻的時(shí)間長(zhǎng)度;
生成子模塊,生成所述恢復(fù)周期,所述恢復(fù)周期的時(shí)長(zhǎng)與所述時(shí)間長(zhǎng)度一致。
9.如權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述處理模塊具體包括:
設(shè)置子模塊,根據(jù)所述恢復(fù)周期的單位時(shí)間長(zhǎng)度依次設(shè)置多個(gè)處理時(shí)間段,并基于所述遺留數(shù)據(jù)以及所述新增數(shù)據(jù)為各所述處理時(shí)間段分配待處理數(shù)據(jù);
處理子模塊,在各所述處理時(shí)間段內(nèi)處理對(duì)應(yīng)的待處理數(shù)據(jù);
恢復(fù)子模塊,所述恢復(fù)周期結(jié)束后將所述計(jì)算任務(wù)恢復(fù)為正常處理邏輯。
10.如權(quán)利要求9所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述處理時(shí)間段由數(shù)據(jù)處理時(shí)間以及數(shù)據(jù)同步時(shí)間按序組成,所述處理子模塊具體用于:
在所述數(shù)據(jù)處理時(shí)間內(nèi)處理所述待處理數(shù)據(jù),并在所述數(shù)據(jù)處理時(shí)間結(jié)束時(shí)將已處理的待處理數(shù)據(jù)進(jìn)行存儲(chǔ);
若所述數(shù)據(jù)處理時(shí)間結(jié)束后存在尚未處理的待處理數(shù)據(jù),在所述數(shù)據(jù)同步時(shí)間內(nèi)將所述尚未處理的待處理數(shù)據(jù)丟棄。