亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種數(shù)據(jù)獲取方法和裝置與流程

文檔序號(hào):12271353閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種數(shù)據(jù)獲取方法,其特征在于,所述方法包括:

獲取失敗的數(shù)據(jù)爬取任務(wù),其中,所述數(shù)據(jù)爬取任務(wù)至少包含:數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;

根據(jù)所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間;

根據(jù)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)所述失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述獲取失敗的數(shù)據(jù)爬取任務(wù),包括:

針對(duì)所獲取的失敗的數(shù)據(jù)爬取任務(wù),獲得數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;

將所述數(shù)據(jù)爬取失敗的次數(shù)和所述數(shù)據(jù)爬取失敗的時(shí)間至預(yù)設(shè)的數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間包括:

確定數(shù)據(jù)爬取的時(shí)間間隔;

根據(jù)所述數(shù)據(jù)爬取的時(shí)間間隔、所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,生成所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間。

4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)所述失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)包括:

判斷所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間是否滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間;

若滿足,則設(shè)置所述失敗的數(shù)據(jù)爬取任務(wù)為所述網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的任務(wù)。

5.根據(jù)權(quán)利要求4所述的方法,其特征在于,當(dāng)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間不滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間時(shí),則所述方法還包括:

將所述失敗的數(shù)據(jù)爬取任務(wù)存儲(chǔ)至預(yù)設(shè)的數(shù)據(jù)庫(kù)中,以待進(jìn)行下一次的重新進(jìn)行數(shù)據(jù)爬取的時(shí)間判斷。

6.一種數(shù)據(jù)獲取裝置,其特征在于,包括:

獲取模塊,用于獲取失敗的數(shù)據(jù)爬取任務(wù),其中,所述數(shù)據(jù)爬取任務(wù)至少包含:數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;

第一處理模塊,用于根據(jù)所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間;

第二處理模塊,用于根據(jù)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)所述失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)。

7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述獲取模塊,用于:

針對(duì)所獲取的失敗的數(shù)據(jù)爬取任務(wù),獲得數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;

將所述數(shù)據(jù)爬取失敗的次數(shù)和所述數(shù)據(jù)爬取失敗的時(shí)間至預(yù)設(shè)的數(shù)據(jù)庫(kù)。

8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述第一處理模塊包括:

確定子模塊,用于確定數(shù)據(jù)爬取的時(shí)間間隔;

生成子模塊,用于根據(jù)所述數(shù)據(jù)爬取的時(shí)間間隔、所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,生成所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間。

9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述第二處理模塊具體用于:

判斷所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間是否滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間;

若滿足,則設(shè)置所述失敗的數(shù)據(jù)爬取任務(wù)為所述網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的任務(wù)。

10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述第二處理模塊具體還 用于:

當(dāng)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間不滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間時(shí),將所述失敗的數(shù)據(jù)爬取任務(wù)存儲(chǔ)至預(yù)設(shè)的數(shù)據(jù)庫(kù)中,以待進(jìn)行下一次的重新進(jìn)行數(shù)據(jù)爬取的時(shí)間判斷。

當(dāng)前第2頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1