技術(shù)總結(jié)
本申請實施例公開了一種網(wǎng)絡(luò)爬蟲抓取任務(wù)分配方法與裝置及數(shù)據(jù)抓取方法與裝置。所述網(wǎng)絡(luò)爬蟲數(shù)據(jù)抓取方法，保存抓取過的歷史頁面保存于歷史抓取數(shù)據(jù)，當(dāng)有抓取任務(wù)時，判斷歷史抓取數(shù)據(jù)中是否存在與抓取任務(wù)的URL簇對應(yīng)的歷史頁面，如果存在且存在的歷史頁面可用，則對可用的歷史頁面直接提取第一目標頁面數(shù)據(jù)，而不需對這部分歷史頁面重復(fù)抓取，節(jié)省系統(tǒng)資源。同時，先定時檢測所有網(wǎng)絡(luò)爬蟲的網(wǎng)絡(luò)帶寬使用率，計算各個網(wǎng)絡(luò)爬蟲的網(wǎng)絡(luò)帶寬使用率均值E(w)和方差D(w)并存儲，然后根據(jù)E(w)和D(w)計算各個網(wǎng)絡(luò)爬蟲的可用性，對可用的網(wǎng)絡(luò)爬蟲，按可用性概率由大到小的順序選擇執(zhí)行任務(wù)的網(wǎng)絡(luò)爬蟲，從而合理分配網(wǎng)絡(luò)爬蟲資源。

技術(shù)研發(fā)人員：劉慶;張美德;殷賢君;鄒啟蒙
受保護的技術(shù)使用者：阿里巴巴集團控股有限公司
文檔號碼：201510227531
技術(shù)研發(fā)日：2015.05.06
技術(shù)公布日：2016.12.07