技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明公開了一種基于存儲優(yōu)化的分布式圖處理方法,屬于圖計算領(lǐng)域。本發(fā)明包括:數(shù)據(jù)預處理階段進行數(shù)據(jù)劃分;分發(fā)圖分區(qū)數(shù)據(jù);開始數(shù)據(jù)迭代處理;更新消息傳遞;工作節(jié)點擴展決策;數(shù)據(jù)處理結(jié)束。本發(fā)明提出使用一致性哈希算法對圖數(shù)據(jù)進行分區(qū)和存儲,并設(shè)計實現(xiàn)了基于外存模式的分布式圖處理系統(tǒng),利用動態(tài)存儲優(yōu)化的策略,根據(jù)負載調(diào)整圖的分區(qū)存儲,實現(xiàn)圖數(shù)據(jù)處理負載平衡,加快圖數(shù)據(jù)處理速度,解決現(xiàn)有技術(shù)存在的負載不平衡,在圖數(shù)據(jù)處理過程中造成熱點而引起的總體性能下降問題,從而提高圖處理的性能。
技術(shù)研發(fā)人員:施展;馮丹;單玉祥;李君浩;毛艷;張蕓怡;方交鳳
受保護的技術(shù)使用者:華中科技大學
技術(shù)研發(fā)日:2017.05.02
技術(shù)公布日:2017.09.01