技術(shù)總結(jié)
本發(fā)明實(shí)施例公開一種任務(wù)分配方法及裝置，該方法包括：建立多個(gè)優(yōu)先級(jí)隊(duì)列；獲取任務(wù)，任務(wù)包含一個(gè)需要爬蟲抓取的統(tǒng)一資源定位符URL，確定任務(wù)的優(yōu)先級(jí)及優(yōu)先級(jí)隊(duì)列標(biāo)識(shí)；按照任務(wù)的優(yōu)先級(jí)隊(duì)列標(biāo)識(shí)將任務(wù)存入對(duì)應(yīng)的優(yōu)先級(jí)隊(duì)列；從優(yōu)先級(jí)隊(duì)列中取出任務(wù)，存入消息隊(duì)列；下載模塊獲取消息隊(duì)列存儲(chǔ)的任務(wù)，根據(jù)任務(wù)包含的URL進(jìn)行下載。

技術(shù)研發(fā)人員：張惟師;徐振興
受保護(hù)的技術(shù)使用者：上海蔓盈信息科技有限公司
文檔號(hào)碼：201610630379
技術(shù)研發(fā)日：2016.08.03
技術(shù)公布日：2017.01.11