1.一種數(shù)據(jù)獲取方法,其特征在于,所述方法包括:
獲取失敗的數(shù)據(jù)爬取任務(wù),其中,所述數(shù)據(jù)爬取任務(wù)至少包含:數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;
根據(jù)所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間;
根據(jù)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)所述失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述獲取失敗的數(shù)據(jù)爬取任務(wù),包括:
針對(duì)所獲取的失敗的數(shù)據(jù)爬取任務(wù),獲得數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;
將所述數(shù)據(jù)爬取失敗的次數(shù)和所述數(shù)據(jù)爬取失敗的時(shí)間至預(yù)設(shè)的數(shù)據(jù)庫(kù)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間包括:
確定數(shù)據(jù)爬取的時(shí)間間隔;
根據(jù)所述數(shù)據(jù)爬取的時(shí)間間隔、所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,生成所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)所述失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)包括:
判斷所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間是否滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間;
若滿足,則設(shè)置所述失敗的數(shù)據(jù)爬取任務(wù)為所述網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的任務(wù)。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,當(dāng)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間不滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間時(shí),則所述方法還包括:
將所述失敗的數(shù)據(jù)爬取任務(wù)存儲(chǔ)至預(yù)設(shè)的數(shù)據(jù)庫(kù)中,以待進(jìn)行下一次的重新進(jìn)行數(shù)據(jù)爬取的時(shí)間判斷。
6.一種數(shù)據(jù)獲取裝置,其特征在于,包括:
獲取模塊,用于獲取失敗的數(shù)據(jù)爬取任務(wù),其中,所述數(shù)據(jù)爬取任務(wù)至少包含:數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;
第一處理模塊,用于根據(jù)所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間;
第二處理模塊,用于根據(jù)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)所述失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述獲取模塊,用于:
針對(duì)所獲取的失敗的數(shù)據(jù)爬取任務(wù),獲得數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;
將所述數(shù)據(jù)爬取失敗的次數(shù)和所述數(shù)據(jù)爬取失敗的時(shí)間至預(yù)設(shè)的數(shù)據(jù)庫(kù)。
8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述第一處理模塊包括:
確定子模塊,用于確定數(shù)據(jù)爬取的時(shí)間間隔;
生成子模塊,用于根據(jù)所述數(shù)據(jù)爬取的時(shí)間間隔、所述數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,生成所述失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間。
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述第二處理模塊具體用于:
判斷所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間是否滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間;
若滿足,則設(shè)置所述失敗的數(shù)據(jù)爬取任務(wù)為所述網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的任務(wù)。
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述第二處理模塊具體還 用于:
當(dāng)所述重新進(jìn)行數(shù)據(jù)爬取的時(shí)間不滿足網(wǎng)絡(luò)爬蟲(chóng)程序當(dāng)前將要執(zhí)行的時(shí)間時(shí),將所述失敗的數(shù)據(jù)爬取任務(wù)存儲(chǔ)至預(yù)設(shè)的數(shù)據(jù)庫(kù)中,以待進(jìn)行下一次的重新進(jìn)行數(shù)據(jù)爬取的時(shí)間判斷。