技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種爬取網(wǎng)站頁(yè)面的方法、裝置及系統(tǒng)，設(shè)計(jì)互聯(lián)網(wǎng)領(lǐng)域，用于爬取網(wǎng)站頁(yè)面。本發(fā)明提供的方法包括：獲取爬蟲(chóng)爬取的超文本傳輸協(xié)議HTTP地址；檢測(cè)所述HTTP地址是否異常；當(dāng)檢測(cè)到所述HTTP地址異常時(shí)，按照預(yù)設(shè)規(guī)則修改所述HTTP地址；將修改后的HTTP地址發(fā)送至預(yù)設(shè)域名系統(tǒng)DNS服務(wù)器，以使所述預(yù)設(shè)DNS服務(wù)器根據(jù)所述修改后的HTTP地址得到對(duì)應(yīng)的IP地址，所述IP地址與所述HTTP地址相對(duì)應(yīng)；接收所述預(yù)設(shè)DNS服務(wù)器發(fā)送的IP地址，訪問(wèn)所述IP地址以爬取所述HTTP地址對(duì)應(yīng)的網(wǎng)站頁(yè)面。

技術(shù)研發(fā)人員：楊杰
受保護(hù)的技術(shù)使用者：北京國(guó)雙科技有限公司
文檔號(hào)碼：201510728918
技術(shù)研發(fā)日：2015.10.30
技術(shù)公布日：2017.05.10