技術(shù)總結(jié)
本發(fā)明涉及移動通信網(wǎng)絡(luò)大數(shù)據(jù)優(yōu)化和規(guī)劃技術(shù)領(lǐng)域，具體涉及一種基于權(quán)重因子的Hadoop?HDFS數(shù)據(jù)塊分布優(yōu)化算法，它采用如下的方法步驟：步驟一：采用如下的選擇策略：chooseLocalStorage(本地)到chooseLocalRack(本機(jī)架)到chooseRemoteRack(遠(yuǎn)端機(jī)架)最后到chooseRandom(全集群)；步驟二:在步驟一的基礎(chǔ)上，在現(xiàn)有技術(shù)的chooseRandom算法的基礎(chǔ)上，引入一個權(quán)重來調(diào)整隨機(jī)數(shù)在不同DataNode上的分布策略，將原有chooseRandom算法改造成如下算法；采用一種實(shí)時數(shù)據(jù)塊分布算法，對HDFS的副本放置策略做出適當(dāng)?shù)膬?yōu)化，使數(shù)據(jù)落地過程中始終達(dá)到集群數(shù)據(jù)塊負(fù)載均衡，并且盡量減少此過程帶來的額外資源消耗。

技術(shù)研發(fā)人員：梁猛;陳彬
受保護(hù)的技術(shù)使用者：梁猛
文檔號碼：201611232172
技術(shù)研發(fā)日：2016.12.28
技術(shù)公布日：2017.05.31