1.一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,其特征在于,包括:
獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò),并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量;
基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò),其中,所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點個數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò);
根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò),確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò);
將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò),確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò),包括:
初始化特征萃取參數(shù)的參數(shù)值;
根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù),確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò);
基于設(shè)定規(guī)則更新所述特征萃取參數(shù)的參數(shù)值,如果所述參數(shù)值不符合循環(huán)結(jié)束條件,則將所述候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò),并返回執(zhí)行目標(biāo)權(quán)重參數(shù)的確定操作;否則,將所述候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù),確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的目標(biāo)權(quán)重參數(shù)值,包括:
初始化預(yù)設(shè)的迭代值,并確定所述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的當(dāng)前權(quán)重參數(shù)值;
根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,并獲得當(dāng)前的處理結(jié)果;
根據(jù)所述參數(shù)值、所述第一特征向量、所述處理結(jié)果以及設(shè)定的優(yōu)化函數(shù),確定所述當(dāng)前權(quán)重參數(shù)值對應(yīng)的優(yōu)化函數(shù)值,并將所述當(dāng)前權(quán)重參數(shù)值及對應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集;
如果所述迭代值不符合迭代結(jié)束條件,則自增加所述迭代值,并基于隨機梯度下降法調(diào)整所述當(dāng)前權(quán)重參數(shù)值,返回執(zhí)行訓(xùn)練樣本集的處理操作;否則,確定所述候選參數(shù)集中的最小優(yōu)化函數(shù)值,將所述最小優(yōu)化函數(shù)值對應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,并獲得當(dāng)前的處理結(jié)果,包括:
根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量;以及
從所述訓(xùn)練樣本集中獲取一對訓(xùn)練樣本,如果所述少一對訓(xùn)練樣本中包含相同信息,則將第一定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;否則,將第二定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;
獲取所述一對訓(xùn)練樣本中各訓(xùn)練樣本當(dāng)前的第二特征向量。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述優(yōu)化函數(shù)設(shè)定為:
op(g)=ηloss1(g)+(1-η)loss2(g),其中,op(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的優(yōu)化函數(shù)值,η為經(jīng)驗參數(shù),loss1(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的第一損失函數(shù)值,loss2(g)表示當(dāng)前權(quán)重參數(shù)g對應(yīng)的第二損失函數(shù)值;
所述第一損失函數(shù)設(shè)定為:其中,i≥1表示所述訓(xùn)練樣本集中的第i個訓(xùn)練樣本;||hi(g)-fi*||表示hi(g)與fi*之差的范數(shù)值,hi(g)表示第i個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fi*表示第i個訓(xùn)練樣本的萃取特征向量,所述萃取特征向量基于第i個訓(xùn)練樣本的第一特征向量及特征萃取參數(shù)確定;
所述第二損失函數(shù)設(shè)定為:其中,j取1或2,表示所述一對訓(xùn)練樣本中的任一訓(xùn)練樣本;y表示所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;dj=||hj(g)-fj*||,表示hj(g)與fj*之差的范數(shù)值,hj(g)表示第j個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fj*表示第j個訓(xùn)練樣本的萃取特征向量;α為經(jīng)驗參數(shù)。
6.一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置,其特征在于,包括:
初始信息獲取模塊,用于獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò),并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量;
網(wǎng)絡(luò)模型構(gòu)建模塊,用于基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò),其中,所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點個數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò);
網(wǎng)絡(luò)模型優(yōu)化模塊,用于根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò),確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò);
目標(biāo)網(wǎng)絡(luò)確定模塊,用于將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述網(wǎng)絡(luò)模型優(yōu)化模塊,具體包括:
參數(shù)初始化單元,用于初始化特征萃取參數(shù)的參數(shù)值;
候選網(wǎng)絡(luò)確定單元,用于根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù),確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò);
循環(huán)優(yōu)化單元,用于基于設(shè)定規(guī)則更新所述特征萃取參數(shù)的參數(shù)值,當(dāng)所述參數(shù)值不符合循環(huán)結(jié)束條件時,將所述候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò),并返回候選網(wǎng)絡(luò)確定單元;否則,將所述候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。
8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述候選網(wǎng)絡(luò)確定單元,具體包括:
初始化子單元,用于初始化預(yù)設(shè)的迭代值,并確定所述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的當(dāng)前權(quán)重參數(shù)值;
樣本處理子單元,用于根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,并獲得當(dāng)前的處理結(jié)果;
數(shù)值確定子單元,用于根據(jù)所述參數(shù)值、所述第一特征向量、所述處理結(jié)果以及設(shè)定的優(yōu)化函數(shù),確定所述當(dāng)前權(quán)重參數(shù)值對應(yīng)的優(yōu)化函數(shù)值,并將所述當(dāng)前權(quán)重參數(shù)值及對應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集;
迭代判定子單元,用于當(dāng)所述迭代值不符合迭代結(jié)束條件,則自增加所述迭代值,并基于隨機梯度下降法調(diào)整所述當(dāng)前權(quán)重參數(shù)值,返回執(zhí)行訓(xùn)練樣本集的處理操作;否則,
確定所述候選參數(shù)集中的最小優(yōu)化函數(shù)值,將所述最小優(yōu)化函數(shù)值對應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述樣本處理子單元,具體用于:
根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量;以及
從所述訓(xùn)練樣本集中獲取一對訓(xùn)練樣本,如果所述一對訓(xùn)練樣本中包含相同信息,則將第一定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;否則,將第二定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;
獲取所述一對訓(xùn)練樣本中各訓(xùn)練樣本當(dāng)前的第二特征向量。
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述優(yōu)化函數(shù)設(shè)定為:
op(g)=ηloss1(g)+(1-η)loss2(g),其中,op(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的優(yōu)化函數(shù)值,η為經(jīng)驗參數(shù),loss1(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的第一損失函數(shù)值,loss2(g)表示當(dāng)前權(quán)重參數(shù)g對應(yīng)的第二損失函數(shù)值;
所述第一損失函數(shù)設(shè)定為:其中,i≥1表示所述訓(xùn)練樣本集中的第i個訓(xùn)練樣本;||hi(g)-fi*||表示hi(g)與fi*之差的范數(shù)值,hi(g)表示第i個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fi*表示第i個訓(xùn)練樣本的萃取特征向量,所述萃取特征向量基于第i個訓(xùn)練樣本的第一特征向量及特征萃取參數(shù)確定;
所述第二損失函數(shù)設(shè)定為:其中,j取1或2,表示所述一對訓(xùn)練樣本中的任一訓(xùn)練樣本;y表示所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;dj=||hj(g)-fj*||,表示hj(g)與fj*之差的范數(shù)值,hj(g)表示第j個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fj*表示第j個訓(xùn)練樣本的萃取特征向量;α為經(jīng)驗參數(shù)。