技術(shù)總結(jié)
本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)獲取方法和裝置,屬于網(wǎng)絡(luò)領(lǐng)域。包括:獲取失敗的數(shù)據(jù)爬取任務(wù),其中,數(shù)據(jù)爬取任務(wù)至少包含:數(shù)據(jù)爬取失敗的次數(shù)和數(shù)據(jù)爬取失敗的時(shí)間;根據(jù)數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間;根據(jù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,對(duì)失敗的數(shù)據(jù)爬取任務(wù)執(zhí)行重新數(shù)據(jù)爬取任務(wù)。通過(guò)根據(jù)數(shù)據(jù)爬取失敗的次數(shù)和/或數(shù)據(jù)爬取失敗的時(shí)間,確定失敗的數(shù)據(jù)爬取任務(wù)重新進(jìn)行數(shù)據(jù)爬取的時(shí)間,提高了數(shù)據(jù)獲取的可靠性,提高了數(shù)據(jù)獲取的效率。
技術(shù)研發(fā)人員:李新國(guó)
受保護(hù)的技術(shù)使用者:北京國(guó)雙科技有限公司
文檔號(hào)碼:201510489158
技術(shù)研發(fā)日:2015.08.11
技術(shù)公布日:2017.02.22