亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種節(jié)點(diǎn)重啟后的數(shù)據(jù)處理方法及設(shè)備與流程

文檔序號(hào):12786222閱讀:來源:國(guó)知局

技術(shù)特征:

1.一種節(jié)點(diǎn)重啟后的數(shù)據(jù)處理方法,其特征在于,所述方法應(yīng)用于包括分布式消息隊(duì)列以及處理節(jié)點(diǎn)的數(shù)據(jù)處理系統(tǒng)中,該方法包括:

當(dāng)所述處理節(jié)點(diǎn)重新啟動(dòng)完成后,所述處理節(jié)點(diǎn)獲取所述分布式消息隊(duì)列中當(dāng)前緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)的時(shí)刻;

所述處理節(jié)點(diǎn)根據(jù)當(dāng)前的時(shí)刻以及所述遺留數(shù)據(jù)的時(shí)刻確定恢復(fù)周期;

所述處理節(jié)點(diǎn)在所述恢復(fù)周期內(nèi)處理所述遺留數(shù)據(jù)以及所述分布式消息隊(duì)列中的新增數(shù)據(jù)。

2.如權(quán)利要求1所述的方法,其特征在于,所述數(shù)據(jù)處理系統(tǒng)還包括存儲(chǔ)節(jié)點(diǎn),在所述處理節(jié)點(diǎn)重新啟動(dòng)完成之前,還包括:

所述處理節(jié)點(diǎn)接收計(jì)算任務(wù)關(guān)閉指令;

所述處理節(jié)點(diǎn)停止從所述分布式消息隊(duì)列中接收數(shù)據(jù),并將自身當(dāng)前已緩存的數(shù)據(jù)在處理完畢后寫入所述存儲(chǔ)節(jié)點(diǎn)。

3.如權(quán)利要求1所述的方法,其特征在于,所述處理節(jié)點(diǎn)根據(jù)當(dāng)前的時(shí)刻以及所述遺留數(shù)據(jù)的時(shí)刻確定恢復(fù)周期,具體為:

獲取所述緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)所對(duì)應(yīng)的時(shí)刻距離當(dāng)前的時(shí)刻的時(shí)間長(zhǎng)度;

生成所述恢復(fù)周期,所述恢復(fù)周期的時(shí)長(zhǎng)與所述時(shí)間長(zhǎng)度一致。

4.如權(quán)利要求1所述的方法,其特征在于,所述處理節(jié)點(diǎn)在所述恢復(fù)周期內(nèi)處理所述遺留數(shù)據(jù)以及所述分布式消息隊(duì)列中的新增數(shù)據(jù),具體為:

根據(jù)所述恢復(fù)周期的單位時(shí)間長(zhǎng)度依次設(shè)置多個(gè)處理時(shí)間段,并基于所述遺留數(shù)據(jù)以及所述新增數(shù)據(jù)為各所述處理時(shí)間段分配待處理數(shù)據(jù);

在各所述處理時(shí)間段內(nèi)處理對(duì)應(yīng)的待處理數(shù)據(jù),并在所述恢復(fù)周期結(jié)束后將所述計(jì)算任務(wù)恢復(fù)為正常處理邏輯。

5.如權(quán)利要求4所述的方法,其特征在于,所述處理時(shí)間段由數(shù)據(jù)處理時(shí)間以及數(shù)據(jù)同步時(shí)間按序組成,在各所述處理時(shí)間段內(nèi)處理對(duì)應(yīng)的待處理 數(shù)據(jù),具體為:

在所述數(shù)據(jù)處理時(shí)間內(nèi)處理所述待處理數(shù)據(jù),并在所述數(shù)據(jù)處理時(shí)間結(jié)束時(shí)將已處理的待處理數(shù)據(jù)進(jìn)行存儲(chǔ);

若所述數(shù)據(jù)處理時(shí)間結(jié)束后存在尚未處理的待處理數(shù)據(jù),在所述數(shù)據(jù)同步時(shí)間內(nèi)將所述尚未處理的待處理數(shù)據(jù)丟棄。

6.一種數(shù)據(jù)處理設(shè)備,作為處理節(jié)點(diǎn)應(yīng)用于包括分布式消息隊(duì)列以及所述處理節(jié)點(diǎn)的數(shù)據(jù)處理系統(tǒng)中,其特征在于,所述數(shù)據(jù)處理設(shè)備包括:

獲取模塊,用于當(dāng)重新啟動(dòng)完成后,獲取所述分布式消息隊(duì)列中當(dāng)前緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)的時(shí)刻;

確定模塊,用于根據(jù)當(dāng)前的時(shí)刻以及所述遺留數(shù)據(jù)的時(shí)刻確定恢復(fù)周期;

處理模塊,用于在所述恢復(fù)周期內(nèi)處理所述遺留數(shù)據(jù)以及所述分布式消息隊(duì)列中的新增數(shù)據(jù)。

7.如權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述數(shù)據(jù)處理系統(tǒng)還包括存儲(chǔ)節(jié)點(diǎn),所述數(shù)據(jù)處理設(shè)備還包括:

關(guān)閉模塊,用于接收計(jì)算任務(wù)關(guān)閉指令,停止從所述分布式消息隊(duì)列中接收數(shù)據(jù),并將自身當(dāng)前已緩存的數(shù)據(jù)在處理完畢后寫入所述存儲(chǔ)節(jié)點(diǎn)。

8.如權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述確定模塊具體包括:

獲取子模塊,獲取所述緩存時(shí)間最長(zhǎng)的遺留數(shù)據(jù)所對(duì)應(yīng)的時(shí)刻距離當(dāng)前的時(shí)刻的時(shí)間長(zhǎng)度;

生成子模塊,生成所述恢復(fù)周期,所述恢復(fù)周期的時(shí)長(zhǎng)與所述時(shí)間長(zhǎng)度一致。

9.如權(quán)利要求6所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述處理模塊具體包括:

設(shè)置子模塊,根據(jù)所述恢復(fù)周期的單位時(shí)間長(zhǎng)度依次設(shè)置多個(gè)處理時(shí)間段,并基于所述遺留數(shù)據(jù)以及所述新增數(shù)據(jù)為各所述處理時(shí)間段分配待處理數(shù)據(jù);

處理子模塊,在各所述處理時(shí)間段內(nèi)處理對(duì)應(yīng)的待處理數(shù)據(jù);

恢復(fù)子模塊,所述恢復(fù)周期結(jié)束后將所述計(jì)算任務(wù)恢復(fù)為正常處理邏輯。

10.如權(quán)利要求9所述的數(shù)據(jù)處理設(shè)備,其特征在于,所述處理時(shí)間段由數(shù)據(jù)處理時(shí)間以及數(shù)據(jù)同步時(shí)間按序組成,所述處理子模塊具體用于:

在所述數(shù)據(jù)處理時(shí)間內(nèi)處理所述待處理數(shù)據(jù),并在所述數(shù)據(jù)處理時(shí)間結(jié)束時(shí)將已處理的待處理數(shù)據(jù)進(jìn)行存儲(chǔ);

若所述數(shù)據(jù)處理時(shí)間結(jié)束后存在尚未處理的待處理數(shù)據(jù),在所述數(shù)據(jù)同步時(shí)間內(nèi)將所述尚未處理的待處理數(shù)據(jù)丟棄。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1