技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明涉及一種基于數(shù)據(jù)流預(yù)測的Storm任務(wù)伸縮調(diào)度算法，屬于數(shù)據(jù)交換網(wǎng)絡(luò)領(lǐng)域。通過監(jiān)控模塊獲得用戶提交的Topology任務(wù)的實時運行數(shù)據(jù)，求解在滿足組件負(fù)載的情況下Topology中相連組件的并行度，然后迭代求出Topology中所有組件的并行度。利用時間序列模型來預(yù)測Topology要處理的數(shù)據(jù)量，并求得在該情況下Topology中開始組件spout的較優(yōu)并行度，獲得預(yù)測情況下的Topology中各組件的較優(yōu)并行度，并進(jìn)行調(diào)度。在調(diào)度中使用線上調(diào)度算法，最大限度減少結(jié)點間的網(wǎng)絡(luò)通信并保證集群的負(fù)載均衡。本發(fā)明克服了現(xiàn)有對Topology中各組件間的關(guān)聯(lián)性考慮的不足，彌補了不能快速高效地求解到用戶提交Topology中各組件的較優(yōu)并行度的不足，具有提前預(yù)測變化、提高吞吐量、降低處理時延的優(yōu)點。

技術(shù)研發(fā)人員：熊安萍;段杭彪;蔣溢;祝清意;蔣亞雄
受保護的技術(shù)使用者：重慶郵電大學(xué)
技術(shù)研發(fā)日：2017.05.26
技術(shù)公布日：2017.08.11