技術(shù)編號(hào)：8258773
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本公開(kāi)涉及互聯(lián)網(wǎng)，尤其涉及一種網(wǎng)頁(yè)數(shù)據(jù)的下載方法及裝置。背景技術(shù)隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)爆炸性增長(zhǎng)。傳統(tǒng)的單機(jī)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)因獲取網(wǎng)頁(yè)數(shù)據(jù)的速度較慢、準(zhǔn)確性較低，很難適應(yīng)大規(guī)模的網(wǎng)頁(yè)數(shù)據(jù)獲取需求。為了提高獲取速度以及準(zhǔn)確性，分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)應(yīng)運(yùn)而生。分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)作為一種新的數(shù)據(jù)獲取系統(tǒng)，具有單機(jī)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)無(wú)法比擬的數(shù)據(jù)采集速度和規(guī)模，可快速地為抓取到更多的網(wǎng)頁(yè)數(shù)據(jù)。分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)由調(diào)度器和多個(gè)下載器組成，其中，調(diào)度器負(fù)責(zé)為各個(gè)下載器...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒(méi)有源代碼，用于學(xué)習(xí)研究技術(shù)思路。