1.基于權(quán)重因子的Hadoop HDFS數(shù)據(jù)塊分布優(yōu)化算法,其特征在于:它采用如下的方法步驟:
步驟一:采用如下的選擇策略:
chooseLocalStorage(本地)到chooseLocalRack(本機架)到chooseRemoteRack(遠端機架)最后到chooseRandom(全集群);
步驟二:在步驟一的基礎上,在現(xiàn)有技術(shù)的chooseRandom算法的基礎上,引入一個權(quán)重來調(diào)整隨機數(shù)在不同DataNode上的分布策略,將原有chooseRandom算法改造成如圖5所示算法:
步驟三:步驟二中的陳述的權(quán)重是指:把可用存儲容量作為隨機選擇的一個權(quán)重因子,節(jié)點權(quán)重=1+(權(quán)重系數(shù)*存儲容量可用百分比);因而可用容量百分比大的節(jié)點就更容易被選擇作為存儲節(jié)點。
步驟四:步驟三中所陳述的權(quán)重可由空間利用率來決定,通過權(quán)重分配算法進行計算,其線性調(diào)整權(quán)重采用如下的計算公式:
權(quán)重的大小和剩余空間利用率成線性關系:W=1+(r*c)。