技術(shù)總結(jié)
本發(fā)明公開了一種分布式數(shù)據(jù)處理方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該方法包括：將在同一數(shù)據(jù)集中的出現(xiàn)次數(shù)大于預(yù)設(shè)次數(shù)的鍵對應(yīng)的數(shù)據(jù)確定為傾斜數(shù)據(jù)，將包含傾斜數(shù)據(jù)的數(shù)據(jù)集確定為傾斜數(shù)據(jù)集，將未包含傾斜數(shù)據(jù)的數(shù)據(jù)集確定為非傾斜數(shù)據(jù)集；根據(jù)預(yù)設(shè)的鍵標(biāo)記集合，為傾斜數(shù)據(jù)集中的每個數(shù)據(jù)的原始鍵分別添加一個鍵標(biāo)記；將非傾斜數(shù)據(jù)集進(jìn)行擴容，根據(jù)鍵標(biāo)記集合，為擴容后的非傾斜數(shù)據(jù)集中的每個數(shù)據(jù)的原始鍵分別添加一個鍵標(biāo)記；按照預(yù)設(shè)的數(shù)據(jù)分配規(guī)則，將處理后的傾斜數(shù)據(jù)集以及處理后的非傾斜數(shù)據(jù)集中的各個數(shù)據(jù)分配給多臺服務(wù)器進(jìn)行分布式處理。由此可見，本發(fā)明使數(shù)據(jù)更加均勻地分配到服務(wù)器上，提高了分布式數(shù)據(jù)處理效率。

技術(shù)研發(fā)人員：鄧怡豪
受保護的技術(shù)使用者：北京奇虎科技有限公司
文檔號碼：201611178256
技術(shù)研發(fā)日：2016.12.19
技術(shù)公布日：2017.05.31