亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置與流程

文檔序號:12064410閱讀:來源:國知局

技術(shù)特征:

1.一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法,其特征在于,包括:

獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò),并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量;

基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò),其中,所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點個數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò);

根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò),確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò);

將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò),確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò),包括:

初始化特征萃取參數(shù)的參數(shù)值;

根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù),確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò);

基于設(shè)定規(guī)則更新所述特征萃取參數(shù)的參數(shù)值,如果所述參數(shù)值不符合循環(huán)結(jié)束條件,則將所述候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò),并返回執(zhí)行目標(biāo)權(quán)重參數(shù)的確定操作;否則,將所述候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù),確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的目標(biāo)權(quán)重參數(shù)值,包括:

初始化預(yù)設(shè)的迭代值,并確定所述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的當(dāng)前權(quán)重參數(shù)值;

根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,并獲得當(dāng)前的處理結(jié)果;

根據(jù)所述參數(shù)值、所述第一特征向量、所述處理結(jié)果以及設(shè)定的優(yōu)化函數(shù),確定所述當(dāng)前權(quán)重參數(shù)值對應(yīng)的優(yōu)化函數(shù)值,并將所述當(dāng)前權(quán)重參數(shù)值及對應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集;

如果所述迭代值不符合迭代結(jié)束條件,則自增加所述迭代值,并基于隨機梯度下降法調(diào)整所述當(dāng)前權(quán)重參數(shù)值,返回執(zhí)行訓(xùn)練樣本集的處理操作;否則,確定所述候選參數(shù)集中的最小優(yōu)化函數(shù)值,將所述最小優(yōu)化函數(shù)值對應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,并獲得當(dāng)前的處理結(jié)果,包括:

根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量;以及

從所述訓(xùn)練樣本集中獲取一對訓(xùn)練樣本,如果所述少一對訓(xùn)練樣本中包含相同信息,則將第一定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;否則,將第二定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;

獲取所述一對訓(xùn)練樣本中各訓(xùn)練樣本當(dāng)前的第二特征向量。

5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述優(yōu)化函數(shù)設(shè)定為:

op(g)=ηloss1(g)+(1-η)loss2(g),其中,op(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的優(yōu)化函數(shù)值,η為經(jīng)驗參數(shù),loss1(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的第一損失函數(shù)值,loss2(g)表示當(dāng)前權(quán)重參數(shù)g對應(yīng)的第二損失函數(shù)值;

所述第一損失函數(shù)設(shè)定為:其中,i≥1表示所述訓(xùn)練樣本集中的第i個訓(xùn)練樣本;||hi(g)-fi*||表示hi(g)與fi*之差的范數(shù)值,hi(g)表示第i個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fi*表示第i個訓(xùn)練樣本的萃取特征向量,所述萃取特征向量基于第i個訓(xùn)練樣本的第一特征向量及特征萃取參數(shù)確定;

所述第二損失函數(shù)設(shè)定為:其中,j取1或2,表示所述一對訓(xùn)練樣本中的任一訓(xùn)練樣本;y表示所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;dj=||hj(g)-fj*||,表示hj(g)與fj*之差的范數(shù)值,hj(g)表示第j個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fj*表示第j個訓(xùn)練樣本的萃取特征向量;α為經(jīng)驗參數(shù)。

6.一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置,其特征在于,包括:

初始信息獲取模塊,用于獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò),并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量;

網(wǎng)絡(luò)模型構(gòu)建模塊,用于基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò),其中,所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點個數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò);

網(wǎng)絡(luò)模型優(yōu)化模塊,用于根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò),確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò);

目標(biāo)網(wǎng)絡(luò)確定模塊,用于將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,所述網(wǎng)絡(luò)模型優(yōu)化模塊,具體包括:

參數(shù)初始化單元,用于初始化特征萃取參數(shù)的參數(shù)值;

候選網(wǎng)絡(luò)確定單元,用于根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù),確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò);

循環(huán)優(yōu)化單元,用于基于設(shè)定規(guī)則更新所述特征萃取參數(shù)的參數(shù)值,當(dāng)所述參數(shù)值不符合循環(huán)結(jié)束條件時,將所述候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò),并返回候選網(wǎng)絡(luò)確定單元;否則,將所述候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。

8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述候選網(wǎng)絡(luò)確定單元,具體包括:

初始化子單元,用于初始化預(yù)設(shè)的迭代值,并確定所述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點的當(dāng)前權(quán)重參數(shù)值;

樣本處理子單元,用于根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,并獲得當(dāng)前的處理結(jié)果;

數(shù)值確定子單元,用于根據(jù)所述參數(shù)值、所述第一特征向量、所述處理結(jié)果以及設(shè)定的優(yōu)化函數(shù),確定所述當(dāng)前權(quán)重參數(shù)值對應(yīng)的優(yōu)化函數(shù)值,并將所述當(dāng)前權(quán)重參數(shù)值及對應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集;

迭代判定子單元,用于當(dāng)所述迭代值不符合迭代結(jié)束條件,則自增加所述迭代值,并基于隨機梯度下降法調(diào)整所述當(dāng)前權(quán)重參數(shù)值,返回執(zhí)行訓(xùn)練樣本集的處理操作;否則,

確定所述候選參數(shù)集中的最小優(yōu)化函數(shù)值,將所述最小優(yōu)化函數(shù)值對應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值,并將具有所述目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述樣本處理子單元,具體用于:

根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集,獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量;以及

從所述訓(xùn)練樣本集中獲取一對訓(xùn)練樣本,如果所述一對訓(xùn)練樣本中包含相同信息,則將第一定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;否則,將第二定值作為所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;

獲取所述一對訓(xùn)練樣本中各訓(xùn)練樣本當(dāng)前的第二特征向量。

10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述優(yōu)化函數(shù)設(shè)定為:

op(g)=ηloss1(g)+(1-η)loss2(g),其中,op(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的優(yōu)化函數(shù)值,η為經(jīng)驗參數(shù),loss1(g)表示當(dāng)前權(quán)重參數(shù)值g對應(yīng)的第一損失函數(shù)值,loss2(g)表示當(dāng)前權(quán)重參數(shù)g對應(yīng)的第二損失函數(shù)值;

所述第一損失函數(shù)設(shè)定為:其中,i≥1表示所述訓(xùn)練樣本集中的第i個訓(xùn)練樣本;||hi(g)-fi*||表示hi(g)與fi*之差的范數(shù)值,hi(g)表示第i個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fi*表示第i個訓(xùn)練樣本的萃取特征向量,所述萃取特征向量基于第i個訓(xùn)練樣本的第一特征向量及特征萃取參數(shù)確定;

所述第二損失函數(shù)設(shè)定為:其中,j取1或2,表示所述一對訓(xùn)練樣本中的任一訓(xùn)練樣本;y表示所述一對訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值;dj=||hj(g)-fj*||,表示hj(g)與fj*之差的范數(shù)值,hj(g)表示第j個訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時對應(yīng)的第二特征向量;fj*表示第j個訓(xùn)練樣本的萃取特征向量;α為經(jīng)驗參數(shù)。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1