技術總結
本發(fā)明提供一種基于滑動窗口采樣的分布式機器學習訓練方法及其系統(tǒng)，所述方法包括：機器學習模型參數(shù)初始化；獲取所有數(shù)據(jù)的一個數(shù)據(jù)分片，獨立進行模型訓練；收集歷史的若干輪梯度過期程度樣本，通過滑動采樣樣本，并計算梯度過期程度上下文值，調整學習率后發(fā)起梯度更新請求；異步收集多個梯度過期程度樣本，利用調整后的學習率更新全局模型參數(shù)并推送更新的參數(shù)；異步獲取推送的全局參數(shù)更新，繼續(xù)下一次訓練；檢驗模型收斂性，若不收斂，進行模型訓練循環(huán)；若收斂，獲取模型參數(shù)。本發(fā)明使用過期梯度上下文來控制學習器的學習率，提高了分布式訓練的穩(wěn)定性與收斂效果，減小了分布式系統(tǒng)帶來的訓練波動，提高了分布式訓練的魯棒性。

技術研發(fā)人員：田喬;許春玲;李明齊
受保護的技術使用者：中國科學院上海高等研究院
文檔號碼：201710009638
技術研發(fā)日：2017.01.06
技術公布日：2017.05.31