技術(shù)編號(hào):12597844
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒(méi)有賬戶請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本發(fā)明涉及計(jì)算機(jī)領(lǐng)域,尤其涉及一種任務(wù)分配方法及裝置。背景技術(shù)網(wǎng)絡(luò)爬蟲(chóng)是一種按照一定的規(guī)則,自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。隨著網(wǎng)絡(luò)的迅速發(fā)展,萬(wàn)維網(wǎng)成為大量信息的載體,如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn),網(wǎng)絡(luò)爬蟲(chóng)是一種有效的將萬(wàn)維網(wǎng)中分散的網(wǎng)頁(yè)信息抓取聚集并予以利用的方法。抓取效率是爬蟲(chóng)的關(guān)鍵點(diǎn),如何提高抓取效率是當(dāng)前需要解決的技術(shù)問(wèn)題。發(fā)明內(nèi)容本發(fā)明實(shí)施例提供一種任務(wù)分配方法及裝置,能夠提高抓取效率。本發(fā)明實(shí)施例采用如下技術(shù)方案:一種任務(wù)分配方法,包括:建立多個(gè)優(yōu)先級(jí)隊(duì)列;獲...
注意:該技術(shù)已申請(qǐng)專利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請(qǐng)注意,此類技術(shù)沒(méi)有源代碼,用于學(xué)習(xí)研究技術(shù)思路。