技術(shù)編號(hào):12271353
提示:您尚未登錄,請(qǐng)點(diǎn) 登 陸 后下載,如果您還沒(méi)有賬戶(hù)請(qǐng)點(diǎn) 注 冊(cè) ,登陸完成后,請(qǐng)刷新本頁(yè)查看技術(shù)詳細(xì)信息。本申請(qǐng)涉及網(wǎng)絡(luò)領(lǐng)域,特別涉及一種數(shù)據(jù)獲取方法和裝置。背景技術(shù)通常,在使用網(wǎng)絡(luò)爬蟲(chóng)程序獲取數(shù)據(jù)的過(guò)程中,會(huì)由于網(wǎng)絡(luò)故障、網(wǎng)站暫時(shí)癱瘓以及的URL(UniformResourceLocator,統(tǒng)一資源定位符)失效等情況而導(dǎo)致的數(shù)據(jù)無(wú)法獲取的情況,使得需要提供一種數(shù)據(jù)獲取方法,實(shí)現(xiàn)在網(wǎng)絡(luò)故障、網(wǎng)站暫時(shí)癱瘓以及URL失效等情況下數(shù)據(jù)的獲取。在現(xiàn)有技術(shù)中,通過(guò)將頁(yè)面URL記錄后存儲(chǔ)在隊(duì)列中,隔一個(gè)間隔時(shí)間重復(fù)一次,在重復(fù)次數(shù)達(dá)到一個(gè)閥值時(shí),若仍然無(wú)法獲取該的數(shù)據(jù)之后,判定該URL已失效,并停止對(duì)該的數(shù)據(jù)...
注意:該技術(shù)已申請(qǐng)專(zhuān)利,請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專(zhuān)利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專(zhuān)利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請(qǐng)注意,此類(lèi)技術(shù)沒(méi)有源代碼,用于學(xué)習(xí)研究技術(shù)思路。