技術(shù)編號(hào)：11524275
提示：您尚未登錄，請(qǐng)點(diǎn) 登 陸 后下載，如果您還沒有賬戶請(qǐng)點(diǎn) 注 冊(cè) ，登陸完成后，請(qǐng)刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及搜索引擎技術(shù)領(lǐng)域，具體地說是涉及一種負(fù)載均衡的分布式大數(shù)據(jù)爬蟲系統(tǒng)。背景技術(shù)隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，網(wǎng)頁信息正以指數(shù)級(jí)的速度高速膨脹，人們對(duì)于能夠從互聯(lián)網(wǎng)上準(zhǔn)確且高效地查找出自己想要的信息提出了越來越高的要求。網(wǎng)絡(luò)爬蟲作為搜索引擎的核心組件之一，負(fù)責(zé)采集互聯(lián)網(wǎng)上的信息。而今隨著大數(shù)據(jù)時(shí)代的來臨，信息爆炸式地增長，對(duì)網(wǎng)絡(luò)爬蟲的性能提出更高的要求。目前，單節(jié)點(diǎn)爬行器不論從CPU的運(yùn)算能力，還是從硬盤的I/O速率及存儲(chǔ)容量，都難以應(yīng)對(duì)大規(guī)模數(shù)據(jù)量的采集。因此，采用分布式處理技術(shù)的網(wǎng)絡(luò)爬蟲系...
注意：該技術(shù)已申請(qǐng)專利，請(qǐng)尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識(shí)儲(chǔ)備，不適合論文引用。