本申請(qǐng)涉及大數(shù)據(jù)處理領(lǐng)域，尤其涉及一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法和訓(xùn)練系統(tǒng)。

背景技術(shù)：

在如今的大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)公司獲取超大規(guī)模數(shù)據(jù)已非常容易。據(jù)不完全統(tǒng)計(jì)，谷歌2012年每天30億query/300億廣告，臉書用戶2013年每天分享43億內(nèi)容，阿里巴巴2015雙十一當(dāng)天就有超過(guò)7億筆交易。這些公司通過(guò)機(jī)器學(xué)習(xí)系統(tǒng)，去挖掘數(shù)據(jù)里面的金礦，包括用戶興趣/行為/習(xí)慣等等。

機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)為模仿人腦的神經(jīng)網(wǎng)絡(luò)，用于預(yù)測(cè)用戶的行為。在機(jī)器學(xué)習(xí)系統(tǒng)上線之前，需要通過(guò)大規(guī)模的數(shù)據(jù)進(jìn)行訓(xùn)練。然而在訓(xùn)練過(guò)程中，大規(guī)模的數(shù)據(jù)必然要求大規(guī)模的機(jī)器資源才能有效處理，例如騰訊的廣告數(shù)據(jù)，都是pb級(jí)別，必然要用到千臺(tái)機(jī)器以上，這對(duì)大部分公司來(lái)說(shuō)，都是個(gè)巨大的成本。

為了降低成本，提高機(jī)器學(xué)習(xí)系統(tǒng)的效率，通常的處理方式是通過(guò)隨機(jī)樣本采樣的手段減少機(jī)器學(xué)習(xí)系統(tǒng)處理的數(shù)據(jù)量。隨機(jī)樣本采樣就是以一定概率丟棄樣本，例如對(duì)每一個(gè)樣本隨機(jī)生成1個(gè)0-1范圍內(nèi)的浮點(diǎn)數(shù)，當(dāng)浮點(diǎn)數(shù)大于閾值時(shí)則直接丟棄該樣本。然而，隨機(jī)丟棄樣本的方式會(huì)丟棄大量的有用數(shù)據(jù)，損害機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練效果，降低預(yù)測(cè)的精度。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題，提出了本申請(qǐng)實(shí)施例以便提供一種克服上述問題或者至少部分地解決上述問題的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法和訓(xùn)練系統(tǒng)。

為解決上述問題，本申請(qǐng)一實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，利用多個(gè)樣本數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，所述訓(xùn)練方法包括：

獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

分別確定所述多個(gè)采樣后的樣本集合的重要程度值；

利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

本申請(qǐng)另一實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，利用多個(gè)樣本數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，其特征在于，所述訓(xùn)練系統(tǒng)包括：

第一獲取模塊，用于獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

采樣率設(shè)置模塊，用于根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

第二獲取模塊，用于獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

重要程度值確定模塊，用于分別設(shè)置所述多個(gè)采樣后的樣本集合的重要程度值；

樣本數(shù)據(jù)修正模塊，用于利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

訓(xùn)練模塊，用于將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

本申請(qǐng)實(shí)施例至少具有以下優(yōu)點(diǎn)：本申請(qǐng)實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法和訓(xùn)練系統(tǒng)，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，包括獲取根據(jù)取樣時(shí)間段劃分的樣本集合、根據(jù)取樣時(shí)間段設(shè)置每個(gè)樣本集合的采樣率、根據(jù)采樣率進(jìn)行采樣、確定采樣后樣本集合的重要程度值以及利用該重要程度值將樣本數(shù)據(jù)進(jìn)行修正，并將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，在降低機(jī)器學(xué)習(xí)系統(tǒng)處理的數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué) 習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

附圖說(shuō)明

圖1是本申請(qǐng)第一實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法的流程圖。

圖2是本申請(qǐng)第二實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法的流程圖。

圖3是本申請(qǐng)第三實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法的流程圖。

圖4是本申請(qǐng)第四實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)的方框圖。

圖5是本申請(qǐng)第五實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)的方框圖。

圖6是本申請(qǐng)第六實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)的方框圖。

具體實(shí)施方式

下面將結(jié)合本申請(qǐng)實(shí)施例中的附圖，對(duì)本申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。

本申請(qǐng)的核心思想之一在于，提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法和訓(xùn)練系統(tǒng)，利用多個(gè)樣本數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，包括根據(jù)樣本數(shù)據(jù)的取樣時(shí)間段將樣本數(shù)據(jù)劃分為多個(gè)樣本集合；根據(jù)取樣時(shí)間段設(shè)置每一個(gè)樣本集合的采樣率；根據(jù)采樣率對(duì)每一個(gè)樣本集合采樣，并修改每一個(gè)采樣后的樣本集合對(duì)應(yīng)的重要程度值；利用重要程度值修正每一個(gè)樣本數(shù)據(jù)，并將該修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

第一實(shí)施例

本申請(qǐng)第一實(shí)施例提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，如圖1所示為本申請(qǐng)一實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法的流程圖，本實(shí)施例提出的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法包括如下步驟：

s101，獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

在這一步驟中，每一個(gè)樣本數(shù)據(jù)例如為一個(gè)向量，該向量中的其中一個(gè)維度例如為該樣本數(shù)據(jù)的取樣時(shí)間。在本步驟中可以將所有樣本數(shù)據(jù)的取樣時(shí)間劃分為多個(gè)取樣時(shí)間段，并將多個(gè)樣本數(shù)據(jù)根據(jù)取樣時(shí)間段劃分為多個(gè)樣本集合，每一個(gè)樣本集合對(duì)應(yīng)一個(gè)取樣時(shí)間段。

例如，所有樣本數(shù)據(jù)的取樣時(shí)間是從1月24日至1月29日，則可以將這一取樣時(shí)間劃分為多個(gè)取樣時(shí)間段，例如1月29日、1月27日至1月28日、1月24日至1月26日三個(gè)取樣時(shí)間段。按照上述三個(gè)取樣時(shí)間段，將樣本數(shù)據(jù)劃分為1月29日取樣的樣本集合、1月27日至1月28日取樣的樣本數(shù)據(jù)集合、1月24日至1月26日取樣的樣本集合。因此，每一個(gè)樣本集合對(duì)應(yīng)一個(gè)取樣時(shí)間段。

值得注意的是，上述取樣時(shí)間段可以是依據(jù)開發(fā)者或使用者設(shè)定的規(guī)則劃分，可以平均分布或者不平均分布，本申請(qǐng)并不以此為限。

s102，根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

在這一步驟中，可以根據(jù)取樣時(shí)間段設(shè)置對(duì)應(yīng)的每一個(gè)取樣集合的樣本率。例如，可以按照取樣時(shí)間段越新的樣本集合對(duì)應(yīng)的采樣率越高的原則設(shè)置采樣率。即，所述樣本集合的采樣率隨著該樣本集合對(duì)應(yīng)的取樣時(shí)間段從舊到新而增加。例如在上述示例中，可以將1月29日取樣的樣本數(shù)據(jù)對(duì)應(yīng)的樣本集合的采樣率設(shè)置為1.0，將1月27日至1月28日取樣的樣本數(shù)據(jù)對(duì)應(yīng)的樣本集合的采樣率設(shè)置為0.5，將1月24日至1月26日取樣的樣本數(shù)據(jù)對(duì)應(yīng)的樣本集合的采樣率設(shè)置為0.1。

s103，獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

在這一步驟中，可以根據(jù)上一步驟中設(shè)置的采樣率，對(duì)每一個(gè)樣本集合內(nèi)的樣本進(jìn)行采樣。例如某一個(gè)樣本集合中包含的樣本數(shù)據(jù)為1000個(gè)，采樣率為0.1，則采樣后該樣本集合中包含的樣本數(shù)據(jù)的個(gè)數(shù)為1000*0.1＝100個(gè)。通過(guò)采樣后，樣本集合中的樣本數(shù)據(jù)為100個(gè)，這100個(gè)樣本數(shù)據(jù)對(duì)應(yīng)的集合可以稱為采樣后的樣本集合。

s104，分別確定所述多個(gè)采樣后的樣本集合的重要程度值；

在一實(shí)施例中，重要程度值可以是人為或者機(jī)器算法設(shè)定的系數(shù)，每一個(gè)采樣后的樣本集合對(duì)應(yīng)的重要程度值分別可以人為設(shè)定或通過(guò)機(jī)器以一定規(guī)則設(shè)定。在上述步驟中，可以在該樣本集合原重要程度值的基礎(chǔ)上，設(shè)置新的重要程度值。

s105，利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

在這一步驟中，可以利用該重要程度值修正多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

利用該重要程度值修正每一個(gè)樣本數(shù)據(jù)，可以是將每一個(gè)向量的每一個(gè)特征維度與重要程度值相乘，使該向量等比例放大，獲得修正后的樣本數(shù)據(jù)。

例如，該樣本集合原有的或者默認(rèn)的重要程度值為1，在這一步驟中可以修正為2，因此某個(gè)原來(lái)為a(1,1,1,2,........n)的樣本數(shù)據(jù)在這一步驟中可以修正為a(2,2,2,4,........2n)，即為修正后的樣本數(shù)據(jù)。

然而，正如本領(lǐng)域技術(shù)人員可以得知的，重要程度值并不限于人為或者機(jī)器算法設(shè)定的系數(shù)，在其他實(shí)施例，還可以有多種方法，例如對(duì)樣本數(shù)據(jù)a(,1,1,2,........n)進(jìn)行數(shù)學(xué)運(yùn)算，a1＝f(a)等等，這里的函數(shù)f可以為等比相乘函數(shù)，或者類似指數(shù)運(yùn)算等等各種數(shù)學(xué)函數(shù)，也可以對(duì)樣本進(jìn)行修正。

s106，將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

在這一步驟中，可以將修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。在訓(xùn)練中，首先對(duì)損失函數(shù)求導(dǎo)，計(jì)算出梯度，再結(jié)合初始的權(quán)重以及設(shè)置的步長(zhǎng)，根據(jù)公式“新的權(quán)重＝舊的權(quán)重+步長(zhǎng)*梯度”通過(guò)迭代的方式計(jì)算出接近最優(yōu)解的權(quán)重值。

綜上所述，本申請(qǐng)第一實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，降低數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

第二實(shí)施例

本申請(qǐng)第二實(shí)施例提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，如圖2所示為本申請(qǐng)第二實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法的流程圖，本實(shí)施例提出的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法包括如下步驟：

s201，獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

s202，根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

s203，獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

上述三個(gè)步驟與第一實(shí)施例中的步驟s101、s102、s103相同或相似，在此不再贅述。

s204，分別確定所述多個(gè)采樣后的樣本集合的重要程度值；

步驟s204例如可以包括：

子步驟s204a：基于對(duì)應(yīng)的采樣率對(duì)所述采樣后的樣本集合的初始重要程度值進(jìn)行修正，得到所述采樣后的樣本集合的重要程度值；

所述重要程度值和初始重要程度值為正比關(guān)系，和所述采樣后的樣本集合的采樣率為反比關(guān)系。

在子步驟s204a中，例如可以通過(guò)該樣本集合原先對(duì)應(yīng)的重要程度值與采樣率的比值，計(jì)算新的重要程度值。例如，可以按照下述公式初次設(shè)置每一個(gè)樣本集合的重要程度值：

y1＝y(tǒng)/a；

其中y1為對(duì)應(yīng)于該樣本集合的設(shè)置后的重要程度值；

y為對(duì)應(yīng)于該樣本集合的原始的重要程度值；

a為所述樣本集合的采樣率。

舉例來(lái)說(shuō)，在第一實(shí)施例所提供的示例中，如果針對(duì)1月24日至1月26日這一取樣時(shí)間段的采樣率為0.1，并且該集合對(duì)應(yīng)的重要程度值設(shè)為0.2；針對(duì)1月29日這一取樣時(shí)間段的采樣率為0.5，并且該集合對(duì)應(yīng)的重要程度值設(shè)為1；針對(duì)1月27日至1月28日這一取樣時(shí)間段的采樣率為1， 并且該集合對(duì)應(yīng)的重要程度值設(shè)為5，則根據(jù)y1＝y(tǒng)/a，可以得出按照取樣時(shí)間段由舊到新排列的這三個(gè)集合的重要程度值分別為2、2、5。

步驟s204例如還可以包括：

子步驟s204b，按照預(yù)置規(guī)則，提高最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值。

在子步驟s204b中，這一預(yù)置規(guī)則例如可以包括：

提高后的最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值與提高前的最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值成正比，并與樣本集合的總個(gè)數(shù)成正比。

在這一子步驟中，例如可以按照下述公式再次設(shè)置最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值：

z1＝z*b；

其中z1為對(duì)應(yīng)于該樣本集合的再次修改后的重要程度值；

z為對(duì)應(yīng)于該樣本集合的初次修改后的重要程度值；

b為樣本集合的總個(gè)數(shù)。

舉例來(lái)說(shuō)，根據(jù)步驟s204b得出的按照取樣時(shí)間段由舊到新排列的三個(gè)樣本集合對(duì)應(yīng)的重要程度值分別為2、2、5，在這一步驟中，可以針對(duì)取樣時(shí)間段最新的采樣后的樣本集合，即第三個(gè)樣本集合，再次提升其重要程度值。

例如，可以按照下述公式再次設(shè)置最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值：

z1＝z*b；

其中z1為對(duì)應(yīng)于該樣本集合的再次設(shè)置后的重要程度值；

z為對(duì)應(yīng)于該樣本集合的初次設(shè)置后的重要程度值；

b為樣本集合的總個(gè)數(shù)。

舉例來(lái)說(shuō)，在子步驟s204a中獲得的取樣時(shí)間段最新的樣本集合對(duì)應(yīng)的初次設(shè)置后的重要程度值為5，在這一子步驟中，可以通過(guò)z1＝z*b的公式，獲取再次設(shè)置后的重要程度值為5*3＝15。

值得注意的是，子步驟s204b可以在子步驟s204a之前或之后執(zhí)行，或者是單獨(dú)執(zhí)行。即，子步驟s204b相對(duì)于子步驟s204a是獨(dú)立的，并不依賴于子步驟s204a。

s205，利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

在這一步驟例如可以包括如下子步驟：

s205a，將每一個(gè)所述重要程度值與對(duì)應(yīng)的采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)相乘，獲得修正后的樣本數(shù)據(jù)。

s206，將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

這一步驟可以與第一實(shí)施例中的步驟s106相同或相似，在此不再贅述。

綜上所述，本申請(qǐng)第二實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，通過(guò)對(duì)不同樣本集合的重要程度值的設(shè)置，在降低數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

第三實(shí)施例

本申請(qǐng)第三實(shí)施例提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，如圖2所示為本申請(qǐng)第二實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法的流程圖，本實(shí)施例提出的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法包括如下步驟：

s301，獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

s302，根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

s303，獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

s304，分別確定所述多個(gè)采樣后的樣本集合的重要程度值；

s305，利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣 本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

上述步驟s301至s305可以與第一實(shí)施例公開的步驟s101至s105相同或相似，也可以與第二實(shí)施例公開的步驟s201至s205相同或相似，在此不再贅述。

本實(shí)施例還可以包括如下步驟：

s306，將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

在這一步驟中，可以將修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。在訓(xùn)練中，首先對(duì)損失函數(shù)求導(dǎo)，計(jì)算出梯度，再結(jié)合初始的權(quán)重以及設(shè)置的步長(zhǎng)，根據(jù)公式“新的權(quán)重＝舊的權(quán)重+步長(zhǎng)*梯度”通過(guò)迭代的方式計(jì)算出接近最優(yōu)解的權(quán)重值。

這一步驟可以包括如下子步驟：

s306a，計(jì)算出每一個(gè)所述修正后的樣本數(shù)據(jù)的梯度；

s306b，降低每一個(gè)所述樣本數(shù)據(jù)的梯度的精度；

s306c，將降低精度后的梯度輸入所述機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器模型進(jìn)行訓(xùn)練。

在步驟s306a中，可以首先計(jì)算每一個(gè)修正后的樣本數(shù)據(jù)的梯度，該梯度為損失函數(shù)的導(dǎo)數(shù)，通過(guò)對(duì)損失函數(shù)求導(dǎo)，可以獲得梯度。

在步驟s306b中，機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練一般采用梯度下降法，每一臺(tái)機(jī)器都需要計(jì)算出梯度。如果儲(chǔ)存1個(gè)梯度需要8byte(字節(jié))，則100億個(gè)梯度需要10000000000*8/1024/1024/1024＝74.5g的存儲(chǔ)空間。如果將儲(chǔ)存一個(gè)梯度的字節(jié)數(shù)壓縮至4byte，則100億的梯度僅僅需要32.25g內(nèi)存。

在步驟s306b中，可以使用下述公式，減少每一個(gè)本數(shù)據(jù)的梯度的存儲(chǔ)字節(jié)，以實(shí)現(xiàn)降低精度：

x1＝floor(c*x+(rand())/d)/c

其中floor為向下取整；rand()為產(chǎn)生0-d之間的浮點(diǎn)數(shù)；x1為低精度浮點(diǎn)數(shù)，例如為計(jì)算機(jī)存儲(chǔ)需要4個(gè)字節(jié)的float，在這里表示減少后每一個(gè)所述樣本數(shù)據(jù)的梯度的存儲(chǔ)字節(jié)；x為高精度浮點(diǎn)數(shù)，例如為計(jì)算機(jī)存儲(chǔ) 需要8個(gè)字節(jié)的double，為減少前每一個(gè)所述樣本數(shù)據(jù)的梯度的存儲(chǔ)字節(jié)。

另外，通過(guò)利用rand函數(shù)引入隨機(jī)因素，來(lái)盡量降低浮點(diǎn)數(shù)的累計(jì)誤差。例如，利用(c*x+(rand())/d)的算法，讓x乘以一個(gè)固定的數(shù)，然后加上一個(gè)在0-1范圍內(nèi)的浮點(diǎn)數(shù)，目的在于在引入隨機(jī)因素。c的值是個(gè)經(jīng)驗(yàn)值，例如可以為536870912。d例如可以為2³²-1，即2147483647，是rand函數(shù)所能產(chǎn)生的上限。

通過(guò)上述公式，可以實(shí)現(xiàn)將一個(gè)高精度的浮點(diǎn)數(shù)，轉(zhuǎn)成一個(gè)低精度的浮點(diǎn)數(shù)，并且盡可能減低累計(jì)誤差。

綜上所述，本申請(qǐng)第三實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，通過(guò)對(duì)不同樣本集合的重要程度值的設(shè)置，以及在降低梯度精度時(shí)的處理，在降低數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

第四實(shí)施例

本申請(qǐng)第四實(shí)施例提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，如圖4所示為本申請(qǐng)第四實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)的方框圖，本實(shí)施例提出的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)利用多個(gè)樣本數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，所述訓(xùn)練系統(tǒng)400包括：

第一獲取模塊401，用于獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

采樣率設(shè)置模塊402，用于根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

第二獲取模塊403，用于獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

重要程度值確定模塊404，用于分別設(shè)置所述多個(gè)采樣后的樣本集合的重要程度值；

樣本數(shù)據(jù)修正模塊405，用于利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

訓(xùn)練模塊406，用于將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

優(yōu)選地，在本實(shí)施例中，所述樣本集合的采樣率隨著該樣本集合對(duì)應(yīng)的取樣時(shí)間段從舊到新而增加。

綜上所述，本申請(qǐng)第四實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，降低數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

第五實(shí)施例

本申請(qǐng)第五實(shí)施例提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，如圖5所示為本申請(qǐng)第五實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)的方框圖，本實(shí)施例提出的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)利用多個(gè)樣本數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，所述訓(xùn)練系統(tǒng)500包括：

第一獲取模塊501，用于獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

采樣率設(shè)置模塊502，用于根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

第二獲取模塊503，用于獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

重要程度值確定模塊504，用于分別設(shè)置所述多個(gè)采樣后的樣本集合的重要程度值；

樣本數(shù)據(jù)修正模塊505，用于利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

訓(xùn)練模塊506，用于將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

在本實(shí)施例中，所述樣本數(shù)據(jù)修正模塊505用于：

將每一個(gè)所述重要程度值與對(duì)應(yīng)的采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)相乘，獲得修正后的樣本數(shù)據(jù)。

在本實(shí)施例中，所述重要程度值確定模塊504包括：

初次修正子模塊504a，用于基于對(duì)應(yīng)的采樣率對(duì)所述采樣后的樣本集合的初始重要程度值進(jìn)行修正，得到所述采樣后的樣本集合的重要程度值；

所述重要程度值和初始重要程度值為正比關(guān)系，和所述采樣后的樣本集合的采樣率為反比關(guān)系。

例如，所述初次修正子模塊可以按照下述公式初次設(shè)置每一個(gè)所述樣本集合的重要程度值：

y1＝y(tǒng)/a；

其中y1為對(duì)應(yīng)于該樣本集合的設(shè)置后的重要程度值；

y為對(duì)應(yīng)于該樣本集合的原始的重要程度值；

a為所述樣本集合的采樣率。

在本實(shí)施例中，所述重要程度值確定模塊504還可以包括：

二次修正子模塊504b，用于按照預(yù)置規(guī)則，提高最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值。

優(yōu)選地，所述預(yù)置規(guī)則包括：

提高后的最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值與提高前的最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值成正比，并與樣本集合的總個(gè)數(shù)成正比。

例如，可以按照下述公式再次設(shè)置最新的取樣時(shí)間段對(duì)應(yīng)的樣本集合的重要程度值：

z1＝z*b；

其中z1為對(duì)應(yīng)于該樣本集合的再次設(shè)置后的重要程度值；

z為對(duì)應(yīng)于該樣本集合的初次設(shè)置后的重要程度值；

b為樣本集合的總個(gè)數(shù)。

在本實(shí)施例中，所述樣本集合的采樣率隨著該樣本集合對(duì)應(yīng)的取樣時(shí)間段從舊到新而增加。

綜上所述，本申請(qǐng)第五實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，通過(guò)對(duì)不同樣本集合 的重要程度值的設(shè)置，在降低數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

第六實(shí)施例

本申請(qǐng)第六實(shí)施例提出一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，如圖6所示為本申請(qǐng)第六實(shí)施例的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)的方框圖，本實(shí)施例提出的機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)利用多個(gè)樣本數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練，所述訓(xùn)練系統(tǒng)600包括：

第一獲取模塊601，用于獲得多個(gè)樣本集合，每個(gè)樣本集合包括對(duì)應(yīng)取樣時(shí)間段內(nèi)的樣本數(shù)據(jù)；

采樣率設(shè)置模塊602，用于根據(jù)每一個(gè)樣本集合對(duì)應(yīng)的采樣時(shí)間段，設(shè)置該樣本集合對(duì)應(yīng)的采樣率；

第二獲取模塊603，用于獲得多個(gè)根據(jù)采樣率采樣后的樣本集合；

重要程度值確定模塊604，用于分別設(shè)置所述多個(gè)采樣后的樣本集合的重要程度值；

樣本數(shù)據(jù)修正模塊605，用于利用該重要程度值修正所述多個(gè)采樣后的樣本集合中的每一個(gè)樣本數(shù)據(jù)，獲得修正后的樣本數(shù)據(jù)；

訓(xùn)練模塊606，用于將每一個(gè)所述修正后的樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練。

在本實(shí)施例中，所述訓(xùn)練模塊606包括：

計(jì)算子模塊606a，用于計(jì)算出每一個(gè)所述修正后的樣本數(shù)據(jù)的梯度；

精度降低子模塊606b，用于降低每一個(gè)所述梯度的精度；

訓(xùn)練子模塊606c，用于將降低精度后的梯度輸入所述機(jī)器學(xué)習(xí)系統(tǒng)，對(duì)該機(jī)器模型進(jìn)行訓(xùn)練。

在本實(shí)施例中，所述精度降低子模塊606b用于：

利用下述公式，減少每一個(gè)梯度的存儲(chǔ)字節(jié)，以實(shí)現(xiàn)降低精度：

x1＝floor(c*x+(rand())/d)/c

其中floor為向下取整；rand()為產(chǎn)生0-d之間的浮點(diǎn)數(shù)；x1為減少后的存儲(chǔ)字節(jié)數(shù)；x為減少前的存儲(chǔ)字節(jié)數(shù)。

綜上所述，本申請(qǐng)第六實(shí)施例公開一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練系統(tǒng)，在將樣本數(shù)據(jù)輸入機(jī)器學(xué)習(xí)系統(tǒng)之前對(duì)樣本數(shù)據(jù)進(jìn)行處理，通過(guò)對(duì)不同樣本集合的重要程度值的設(shè)置，以及在降低梯度精度時(shí)的處理，在降低數(shù)據(jù)量的同時(shí)保證了重要數(shù)據(jù)的采用率和利用程度，在減輕機(jī)器的內(nèi)存資源需求的同時(shí)盡量降低對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)效果的影響。

對(duì)于裝置實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說(shuō)明即可。

本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)實(shí)施例的實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)實(shí)施例可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

在一個(gè)典型的配置中，所述計(jì)算機(jī)設(shè)備包括一個(gè)或多個(gè)處理器(cpu)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(ram)和/或非易失性內(nèi)存等形式，如只讀存儲(chǔ)器(rom)或閃存(flashram)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信號(hào)存儲(chǔ)。信號(hào)可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括，但不限于相變內(nèi)存(pram)、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)、其他類型的隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器 (rom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(cd-rom)、數(shù)字多功能光盤(dvd)或其他光學(xué)存儲(chǔ)、磁盒式磁帶，磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信號(hào)。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非持續(xù)性的電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號(hào)和載波。

本申請(qǐng)實(shí)施例是參照根據(jù)本申請(qǐng)實(shí)施例的方法、終端設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備上，使得在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本申請(qǐng)實(shí)施例的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)實(shí)施例范圍的所有變更和修改。

最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ) 僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者終端設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者終端設(shè)備所固有的要素。在沒有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者終端設(shè)備中還存在另外的相同要素。

以上對(duì)本申請(qǐng)所提供的一種機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練方法和訓(xùn)練系統(tǒng)，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。