技術特征：

技術總結
本發(fā)明提供了一種數(shù)據(jù)去重的方法，所述方法應用于包括多個下游數(shù)據(jù)處理設備的系統(tǒng)中，所述方法包括：中間設備獲取所接收到的數(shù)據(jù)中攜帶的唯一標識；所述中間設備根據(jù)預設的對應關系和所述數(shù)據(jù)中的所述唯一標識，確定所述數(shù)據(jù)將要被發(fā)送到的下游數(shù)據(jù)處理設備；所述中間設備將所述數(shù)據(jù)發(fā)送到所述下游數(shù)據(jù)處理設備，以使所述下游數(shù)據(jù)處理設備對相同數(shù)據(jù)進行數(shù)據(jù)去重。本發(fā)明可以使多個下游數(shù)據(jù)處理設備對重復數(shù)據(jù)進行有效的去重。

技術研發(fā)人員：李翔;張新銘
受保護的技術使用者：阿里巴巴集團控股有限公司
技術研發(fā)日：2016.03.25
技術公布日：2017.10.03