技術特征:
技術總結
本發(fā)明涉及一種基于Hadoop系統(tǒng)的任務調度方法和裝置,所述方法包括:統(tǒng)計已提交任務未運行的映射歸約的總數目;從歷史記錄中讀取待處理任務集中任務的映射歸約數目;按照預設周期從待處理任務集中篩選出待啟動任務,所述待啟動任務的映射歸約數目與所述總數目的和小于等于預設數目;所述預設數目為Hadoop系統(tǒng)在預設周期內可運行的映射歸約數目;提交所述待啟動任務。本發(fā)明提供的基于Hadoop系統(tǒng)的任務調度方法和裝置,可實現(xiàn)負載均衡。
技術研發(fā)人員:陳軍
受保護的技術使用者:博雅網絡游戲開發(fā)(深圳)有限公司
技術研發(fā)日:2016.02.03
技術公布日:2017.08.11