技術(shù)編號(hào):6547749
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒有賬戶請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。,屬于互聯(lián)網(wǎng)信息檢索、搜索引擎等領(lǐng)域,解決現(xiàn)有爬蟲抓取準(zhǔn)確率不高的問題,包括如下步驟抓取網(wǎng)頁(yè),將網(wǎng)頁(yè)和目標(biāo)樣本網(wǎng)頁(yè)的結(jié)構(gòu)進(jìn)行比較,確定目標(biāo)網(wǎng)頁(yè),從網(wǎng)站入口鏈接開始,記錄爬蟲到目標(biāo)網(wǎng)頁(yè)的每一條鏈接路徑,建立目標(biāo)網(wǎng)頁(yè)鏈接樹;分析目標(biāo)網(wǎng)頁(yè)鏈接樹,歸納鏈接樹中目標(biāo)網(wǎng)頁(yè)路徑上的鏈接,替換鏈接樹中的鏈接,形成鏈接模版樹;爬蟲使用鏈接模版樹作為導(dǎo)航,抓取與鏈接模版樹相匹配中的網(wǎng)頁(yè)鏈接,直到整個(gè)抓取循環(huán)過程結(jié)束,最終抓取完所有目標(biāo)網(wǎng)頁(yè)。本發(fā)明的爬蟲能夠根據(jù)鏈接模版樹的導(dǎo)航...
注意:該技術(shù)已申請(qǐng)專利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請(qǐng)注意,此類技術(shù)沒有源代碼,用于學(xué)習(xí)研究技術(shù)思路。