技術(shù)總結(jié)
本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，包括：構(gòu)造沿數(shù)據(jù)流滑動的數(shù)據(jù)窗口，所述數(shù)據(jù)窗口的長度為預設數(shù)目的字節(jié)；所述數(shù)據(jù)窗口滑動時，判斷所述數(shù)據(jù)窗口中心位置數(shù)據(jù)對應的哈希值是否為極值；若是，則確定該位置為第一個中間極值點，所述數(shù)據(jù)窗口繼續(xù)滑動以確定后續(xù)的中間極值點；若否，則所述數(shù)據(jù)窗口繼續(xù)滑動以確定第一個中間極值點；提取相鄰中間極值點之間的數(shù)據(jù)組合成有效數(shù)據(jù)分片，將所述中間極值點之外的數(shù)據(jù)作為無效數(shù)據(jù)分片。本發(fā)明實施例還提供了一種數(shù)據(jù)處理裝置。采用本發(fā)明，可提升數(shù)據(jù)去重的效果，提高數(shù)據(jù)處理的效率，降低數(shù)據(jù)分片的管理和維護成本。

技術(shù)研發(fā)人員：左少夫
受保護的技術(shù)使用者：華為技術(shù)有限公司
文檔號碼：201280002719
技術(shù)研發(fā)日：2012.12.13
技術(shù)公布日：2017.04.12