技術(shù)編號(hào)：11950308
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)爬蟲抓取任務(wù)分配方法與裝置及數(shù)據(jù)抓取方法與裝置。背景技術(shù)網(wǎng)絡(luò)爬蟲(ComputerRobot，又稱為網(wǎng)頁(yè)蜘蛛或網(wǎng)絡(luò)機(jī)器人)，是一種按照一定的規(guī)則自動(dòng)抓取互聯(lián)網(wǎng)網(wǎng)頁(yè)數(shù)據(jù)的程序，是搜索引擎的重要組成。通常網(wǎng)絡(luò)爬蟲根據(jù)配置的抓取任務(wù)從互聯(lián)網(wǎng)下載網(wǎng)頁(yè)，對(duì)網(wǎng)頁(yè)進(jìn)行解析和過濾，獲取目標(biāo)網(wǎng)頁(yè)數(shù)據(jù)。所有被網(wǎng)絡(luò)爬蟲抓取的目標(biāo)網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)于爬蟲系統(tǒng)，并建立索引，以便之后的查詢和檢索。網(wǎng)絡(luò)和信息技術(shù)的發(fā)展使得網(wǎng)站、網(wǎng)頁(yè)和網(wǎng)頁(yè)數(shù)據(jù)的數(shù)量極速增長(zhǎng)，一個(gè)爬蟲系統(tǒng)需要眾多網(wǎng)絡(luò)爬蟲來抓取...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。
請(qǐng)注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。