技術(shù)編號：6432673
提示：您尚未登錄，請點(diǎn) 登 陸 后下載，如果您還沒有賬戶請點(diǎn) 注 冊 ，登陸完成后，請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及信息處理，尤其涉及一種分布式海量數(shù)據(jù)排重方法及系統(tǒng)。 背景技術(shù)隨著信息技術(shù)的不斷發(fā)展，各領(lǐng)域的信息存儲量也在不斷增大，因此在好多領(lǐng)域中都需要對大量的數(shù)據(jù)進(jìn)行排查重復(fù)數(shù)據(jù)的工作。例如，在搜索引擎中需要判斷哪些網(wǎng)頁在系統(tǒng)中已經(jīng)有收錄，或者在電信行業(yè)中，需要對上億條電信話單進(jìn)行排重工作，以免重復(fù)收費(fèi)等等。以網(wǎng)絡(luò)信息技術(shù)為例，在網(wǎng)絡(luò)爬蟲里，判斷一個網(wǎng)址是否被訪問過，最常用的方法就是通過數(shù)據(jù)庫來排重，現(xiàn)有的數(shù)據(jù)庫排重方法是根據(jù)網(wǎng)址URL計(jì)算相應(yīng)的HASH值...
注意：該技術(shù)已申請專利，請尊重研發(fā)人員的辛勤研發(fā)付出，在未取得專利權(quán)人授權(quán)前，僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán)，增加技術(shù)思路，做技術(shù)知識儲備，不適合論文引用。
請注意，此類技術(shù)沒有源代碼，用于學(xué)習(xí)研究技術(shù)思路。