技術(shù)編號：8925266
提示：您尚未登錄，請點 登 陸 后下載，如果您還沒有賬戶請點 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。網(wǎng)絡(luò)爬蟲是捜索引擎抓取系統(tǒng)的重要組成部分。爬蟲的主要目的是將互聯(lián)網(wǎng)上的網(wǎng)頁下載到本地形成一個或聯(lián)網(wǎng)內(nèi)容的鏡像備份。通過分析apache日志發(fā)現(xiàn)，某系統(tǒng)40%的帶寬和服務(wù)器資源都消耗在爬蟲上，如果除去10%_15%搜索引擎的爬蟲，做好反爬蟲策略，能節(jié)省20%_25%的資源，其實是變向優(yōu)化了 web系統(tǒng)。爬蟲請求是類似httpClient的機(jī)制或curl、wget的命令，而正常用戶請求一般走瀏覽器。爬蟲請求一般不會執(zhí)行頁面里的異步JavaScript操作，而用...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。