本發(fā)明實(shí)施例涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置。

背景技術(shù)：

目前，通?；谟?xùn)練好的神經(jīng)網(wǎng)絡(luò)模型(如深度卷積神經(jīng)網(wǎng)絡(luò)模型)進(jìn)行人臉識(shí)別。在使用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉識(shí)別時(shí)，存在的問題如下：1、對(duì)圖像數(shù)據(jù)處理計(jì)算的復(fù)雜度較高，影響運(yùn)算時(shí)間(如，在配置有酷睿i7處理器的電子設(shè)備上處理人臉圖像時(shí)往往要耗費(fèi)1秒以上的時(shí)間)；2、在處理過程中需要占用較大的內(nèi)存空間或顯卡顯存空間；3、還需要占用較大存儲(chǔ)空間來存放整個(gè)神經(jīng)網(wǎng)絡(luò)模型。

現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方法，并不能完全解決上述存在的問題，如，采用霍夫曼編碼的形式進(jìn)行的優(yōu)化，能夠保證優(yōu)化后神經(jīng)網(wǎng)絡(luò)模型的處理計(jì)算精度，并有效的降低深度神經(jīng)網(wǎng)絡(luò)模型的存儲(chǔ)空間，但不能降低處理運(yùn)算的復(fù)雜度，縮短運(yùn)行時(shí)間，同時(shí)也不能降低處理過程中對(duì)內(nèi)存或顯存的空間占用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置，能夠?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)的優(yōu)化，達(dá)到縮短運(yùn)行時(shí)間、降低系統(tǒng)資源空間占用的目的。

一方面，本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，包括：

獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)，并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集，獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量；

基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)，其中，所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)；

將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

另一方面，本發(fā)明實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置，包括：

初始信息獲取模塊，用于獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)，并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集，獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量；

網(wǎng)絡(luò)模型構(gòu)建模塊，用于基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)，其中，所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò)；

網(wǎng)絡(luò)模型優(yōu)化模塊，用于根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)；

目標(biāo)網(wǎng)絡(luò)確定模塊，用于將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

本發(fā)明實(shí)施例中提供了一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法及裝置，該方法首先獲取訓(xùn)練好的第一神經(jīng)網(wǎng)絡(luò)，并通過第一神經(jīng)網(wǎng)絡(luò)處理訓(xùn)練樣本集，得到訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量；然后構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)；之后根據(jù)第一特征向量及訓(xùn)練樣本集訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)；最終將滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。利用該方法，能夠直接將另一個(gè)新構(gòu)造的小規(guī)模神經(jīng)網(wǎng)絡(luò)根據(jù)優(yōu)化條件訓(xùn)練學(xué)習(xí)后確定為待優(yōu)化神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)，由此實(shí)現(xiàn)對(duì)待優(yōu)化神經(jīng)網(wǎng)絡(luò)的優(yōu)化，從而在基于優(yōu)化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征識(shí)別時(shí)，能夠達(dá)到加快識(shí)別處理速度，縮短識(shí)別處理時(shí)間，降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。

附圖說明

圖1為本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖；

圖2為本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖；

圖3為本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。可以理解的是，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

實(shí)施例一

圖1為本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖，適用于對(duì)訓(xùn)練學(xué)習(xí)后達(dá)到設(shè)定精度條件的待優(yōu)化神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的情況，該方法可以由神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置執(zhí)行，其中該裝置可由軟件和/或硬件實(shí)現(xiàn)，并一般集成在神經(jīng)網(wǎng)絡(luò)模型所在的終端設(shè)備或服務(wù)器平臺(tái)上。

如圖1所示，本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，包括如下操作：

S101、獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)，并基于第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集，獲得該訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量。

在本實(shí)施例中，設(shè)定精度條件具體可理解為對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)后，實(shí)際進(jìn)行應(yīng)用處理時(shí)，神經(jīng)網(wǎng)絡(luò)需要達(dá)到的處理精度范圍。一般地，該設(shè)定精度條件可以是系統(tǒng)默認(rèn)的范圍，也可以是人為設(shè)置的范圍。在本實(shí)施例中，被訓(xùn)練學(xué)習(xí)的第一神經(jīng)網(wǎng)絡(luò)可以通過對(duì)標(biāo)準(zhǔn)測(cè)試集中所包含樣本數(shù)據(jù)的處理來確定當(dāng)前能夠達(dá)到的處理精度，并在當(dāng)前確定的處理精度符合設(shè)定精度條件時(shí)，認(rèn)為該第一神經(jīng)網(wǎng)絡(luò)可以進(jìn)行實(shí)際應(yīng)用處理。

在本實(shí)施例中，獲得達(dá)到設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)后，可以通過第一神經(jīng)網(wǎng)絡(luò)對(duì)選定的訓(xùn)練樣本集進(jìn)行處理，由此得到訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本的特征向量，為便于后續(xù)神經(jīng)網(wǎng)絡(luò)的優(yōu)化處理，本實(shí)施例將所獲得各訓(xùn)練樣本的特征向量稱為第一特征向量。

S102、基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)，其中，第二神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于第一神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，所述第二神經(jīng)網(wǎng)絡(luò)具體可理解為新構(gòu)造的需要通過訓(xùn)練學(xué)習(xí)達(dá)到與第一神經(jīng)網(wǎng)絡(luò)一樣具有設(shè)定精度條件的神經(jīng)網(wǎng)絡(luò)。在本實(shí)施例中，所設(shè)定的網(wǎng)絡(luò)構(gòu)建條件包括了節(jié)點(diǎn)個(gè)數(shù)、網(wǎng)絡(luò)層數(shù)以及相鄰兩層節(jié)點(diǎn)間的連接關(guān)系等，基于上述網(wǎng)絡(luò)構(gòu)建條件可以構(gòu)造一個(gè)待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，由于所構(gòu)建的第一神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于第一神經(jīng)網(wǎng)絡(luò)，因此，可以將該第二神經(jīng)網(wǎng)絡(luò)看作一個(gè)對(duì)第一神經(jīng)網(wǎng)絡(luò)優(yōu)化處理所要達(dá)到的目標(biāo)優(yōu)化網(wǎng)絡(luò)，具有規(guī)模更小、處理速度更快、網(wǎng)絡(luò)節(jié)點(diǎn)排布更緊湊的特點(diǎn)。

S103、根據(jù)第一特征向量及訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，為了得到第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)，需要對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，本實(shí)施例可以基于上述選定的訓(xùn)練樣本集對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)。

在本實(shí)施例中，可以通過兩種方式對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)。具體地，其訓(xùn)練過程概述為：不斷調(diào)整第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的權(quán)重參數(shù)值，首先采用第一種訓(xùn)練方式通過具有上述權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本集中進(jìn)行處理，將獲得的訓(xùn)練樣本集中各訓(xùn)練樣本的第二特征向量作為第一種訓(xùn)練方式的處理結(jié)果；然后采用第二種訓(xùn)練方式從訓(xùn)練樣本集中選取任一對(duì)訓(xùn)練樣本，并在該對(duì)訓(xùn)練樣本包含的信息相同時(shí)，將該對(duì)訓(xùn)練樣本的標(biāo)簽位設(shè)定成一個(gè)標(biāo)簽值，同樣，如果包含的信息不相同，則該對(duì)訓(xùn)練樣本的標(biāo)簽位設(shè)定成另一標(biāo)簽值；然后從第一種訓(xùn)練方式的訓(xùn)練結(jié)果中確定該對(duì)訓(xùn)練樣本對(duì)應(yīng)的第二特征向量，將上述標(biāo)簽值及該對(duì)訓(xùn)練樣本的第二特征向量作為第二種訓(xùn)練方式的處理結(jié)果。

在本實(shí)施例中，如果第一訓(xùn)練方式的處理結(jié)果和第二訓(xùn)練方式的處理結(jié)果符合設(shè)定的優(yōu)化條件，則可將獲得上述處理結(jié)果時(shí)對(duì)應(yīng)的權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)，并可將具有該目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為第一神經(jīng)網(wǎng)絡(luò)的其中一個(gè)候選神經(jīng)網(wǎng)絡(luò)；最終可以在候選神經(jīng)網(wǎng)絡(luò)中確定符合設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)，來作為第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)。

在本實(shí)施例中，上述設(shè)定的優(yōu)化條件為一個(gè)優(yōu)化函數(shù)的優(yōu)化函數(shù)值最小，該優(yōu)化函數(shù)的變量為不斷調(diào)整的相鄰兩層連接節(jié)點(diǎn)的權(quán)重參數(shù)值，而與權(quán)重參數(shù)值對(duì)應(yīng)的優(yōu)化函數(shù)值主要基于第一訓(xùn)練方式的處理結(jié)果以及第二訓(xùn)練方式的處理結(jié)果確定。具體地，其可以將最小優(yōu)化函數(shù)值對(duì)應(yīng)的權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值。

S104、將滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，可以將第一神經(jīng)網(wǎng)絡(luò)看做一個(gè)大規(guī)模的，占用內(nèi)存及運(yùn)行空間的待優(yōu)化神經(jīng)網(wǎng)絡(luò)，因此，對(duì)第二神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)滿足設(shè)定精度條件后，就可以將第二神經(jīng)網(wǎng)絡(luò)看作第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)，之后可以用該第二神經(jīng)網(wǎng)絡(luò)替代第一神經(jīng)網(wǎng)絡(luò)在實(shí)際中的應(yīng)用，由此更大程度的節(jié)省內(nèi)存和運(yùn)行空間。

本發(fā)明實(shí)施例一提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，能夠直接將另一個(gè)新構(gòu)造的小規(guī)模神經(jīng)網(wǎng)絡(luò)根據(jù)優(yōu)化條件訓(xùn)練學(xué)習(xí)后確定為待優(yōu)化神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)，由此實(shí)現(xiàn)對(duì)待優(yōu)化神經(jīng)網(wǎng)絡(luò)的優(yōu)化，從而在基于優(yōu)化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征識(shí)別時(shí)，能夠達(dá)到加快識(shí)別處理速度，縮短識(shí)別處理時(shí)間，降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。

實(shí)施例二

圖2為本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法的流程示意圖。本實(shí)施例二以上述實(shí)施例為基礎(chǔ)進(jìn)行優(yōu)化，在本實(shí)施例中，將“根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)”進(jìn)一步優(yōu)化為：初始化特征萃取參數(shù)的參數(shù)值；根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù)，確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的目標(biāo)權(quán)重參數(shù)值，并將具有所述目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)；基于設(shè)定規(guī)則更新所述特征萃取參數(shù)的參數(shù)值，如果所述參數(shù)值不符合循環(huán)結(jié)束條件，則將所述候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò)，并返回執(zhí)行目標(biāo)權(quán)重參數(shù)的確定操作；否則，將所述候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。

在上述優(yōu)化的基礎(chǔ)上，進(jìn)一步將“根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù)，確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的目標(biāo)權(quán)重參數(shù)值”具體化為：初始化預(yù)設(shè)的迭代值，并確定所述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的當(dāng)前權(quán)重參數(shù)值；根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集，并獲得當(dāng)前的處理結(jié)果；根據(jù)所述參數(shù)值、所述第一特征向量、所述處理結(jié)果以及設(shè)定的優(yōu)化函數(shù)，確定所述當(dāng)前權(quán)重參數(shù)值對(duì)應(yīng)的優(yōu)化函數(shù)值，并將所述當(dāng)前權(quán)重參數(shù)值及對(duì)應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集；如果所述迭代值不符合迭代結(jié)束條件，則自增加所述迭代值，并基于隨機(jī)梯度下降法調(diào)整所述當(dāng)前權(quán)重參數(shù)值，返回執(zhí)行訓(xùn)練樣本集的處理操作；否則，確定所述候選參數(shù)集中的最小優(yōu)化函數(shù)值，將所述最小優(yōu)化函數(shù)值對(duì)應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值，并將具有所述目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。

如圖2所示，本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法，具體包括如下操作：

S201、獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)，并基于第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集，獲得該訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量。

S202、基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)，其中，第二神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于第一神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，步驟S201和步驟S202已在上述實(shí)施例中詳述，這里不再贅述。步驟S203至步驟S210給出了基于第一特征向量以及訓(xùn)練樣本集對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)的具體過程?？梢岳斫獾氖牵瑢?duì)第二神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的過程實(shí)際上可看做對(duì)第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的權(quán)重參數(shù)值不斷調(diào)整以達(dá)到優(yōu)化條件的過程。

S203、初始化特征萃取參數(shù)的參數(shù)值。

在本實(shí)施例中，對(duì)第二神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的過程可概括為兩個(gè)循環(huán)操作過程，且為一個(gè)外循環(huán)包括一個(gè)內(nèi)循環(huán)，其中，外循環(huán)主要基于特征萃取參數(shù)進(jìn)行循環(huán)操作。具體地，該特征萃取參數(shù)可用于有層次的調(diào)整第二神經(jīng)網(wǎng)絡(luò)基于訓(xùn)練樣本集進(jìn)行訓(xùn)練時(shí)的訓(xùn)練難度。一般地，可人為設(shè)定特征萃取參數(shù)的參數(shù)值，其參數(shù)值的設(shè)定可基于技術(shù)人員的歷史經(jīng)驗(yàn)設(shè)定。

S204、初始化預(yù)設(shè)的迭代值，并確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的當(dāng)前權(quán)重參數(shù)值。

在本實(shí)施例中，內(nèi)循環(huán)主要基于預(yù)設(shè)的迭代值進(jìn)行循環(huán)操作。具體地，迭代值可用于限定一次大循環(huán)中對(duì)當(dāng)前權(quán)重參數(shù)的調(diào)控次數(shù)，一般為大于0的整數(shù)。優(yōu)選地，可將迭代值初始化為1。

在本實(shí)施例中，在進(jìn)行內(nèi)循環(huán)操作前，還需要確定述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的當(dāng)前權(quán)重參數(shù)值，以使第二神經(jīng)網(wǎng)絡(luò)基于當(dāng)前權(quán)重參數(shù)值處理訓(xùn)練樣本?？梢岳斫獾氖?，對(duì)于新構(gòu)造的待訓(xùn)練的第二神經(jīng)神經(jīng)網(wǎng)絡(luò)，可將其所具有的各相鄰兩層連接單元的當(dāng)前權(quán)重參數(shù)值初始設(shè)置為0。

S205、根據(jù)具有當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理訓(xùn)練樣本集，并獲得當(dāng)前的處理結(jié)果。

在本實(shí)施例中，基于具有當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理訓(xùn)練樣本集時(shí)，可獲取訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量；同時(shí)，還可確定所選取的一對(duì)訓(xùn)練樣本的標(biāo)簽值及該對(duì)訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)時(shí)對(duì)應(yīng)的第二特征向量。可以理解的是，所獲得的處理結(jié)果包括了上述各訓(xùn)練樣本當(dāng)前的第二特征向量以及為一對(duì)訓(xùn)練樣本設(shè)定的標(biāo)簽值和獲取的該對(duì)訓(xùn)練樣本的第二特征向量。

進(jìn)一步地，所述根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集，并獲得當(dāng)前的處理結(jié)果，包括：

根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集，獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量；以及從所述訓(xùn)練樣本集中獲取一對(duì)訓(xùn)練樣本，如果所述一對(duì)訓(xùn)練樣本中包含相同信息，則將第一定值作為所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值；否則，將第二定值作為所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值；獲取所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本當(dāng)前的第二特征向量。

在本實(shí)施例中，上述操作具體描述了各訓(xùn)練樣本當(dāng)前第二特征向量的獲取過程；同時(shí)具體描述了一對(duì)訓(xùn)練樣本標(biāo)簽值的確定過程。

S206、根據(jù)參數(shù)值、第一特征向量、處理結(jié)果以及設(shè)定的優(yōu)化函數(shù)，確定當(dāng)前權(quán)重參數(shù)值對(duì)應(yīng)的優(yōu)化函數(shù)值，并將當(dāng)前權(quán)重參數(shù)值及對(duì)應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集。

在本實(shí)施例中，所述優(yōu)化函數(shù)為基于當(dāng)前權(quán)重參數(shù)值作為變量的函數(shù)，當(dāng)所述當(dāng)前權(quán)重參數(shù)值變化時(shí)，基于步驟S205獲得的處理結(jié)果也相應(yīng)改變，而所述優(yōu)化函數(shù)值具體受參數(shù)值、第一特征向量以及處理結(jié)果的影響，因此，可以根據(jù)步驟S206來確定當(dāng)前權(quán)重參數(shù)值的優(yōu)化函數(shù)值，且為了便于后續(xù)確定優(yōu)化函數(shù)的最小優(yōu)化函數(shù)值，還將確定的優(yōu)化函數(shù)值及對(duì)應(yīng)的當(dāng)前權(quán)重參數(shù)值存放于設(shè)定的候選參數(shù)集中。

進(jìn)一步地，所述優(yōu)化函數(shù)設(shè)定為：op(g)＝ηloss₁(g)+(1-η)loss₂(g)，其中，op(g)表示當(dāng)前權(quán)重參數(shù)值g對(duì)應(yīng)的優(yōu)化函數(shù)值，η為經(jīng)驗(yàn)參數(shù)，loss₁(g)表示當(dāng)前權(quán)重參數(shù)值g對(duì)應(yīng)的第一損失函數(shù)值，loss₂(g)表示當(dāng)前權(quán)重參數(shù)g對(duì)應(yīng)的第二損失函數(shù)值；所述第一損失函數(shù)設(shè)定為：其中，i≥1表示所述訓(xùn)練樣本集中的第i個(gè)訓(xùn)練樣本；||h_i(g)-f_i*||表示h_i(g)與f_i*之差的范數(shù)值，h_i(g)表示第i個(gè)訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時(shí)對(duì)應(yīng)的第二特征向量；f_i*表示第i個(gè)訓(xùn)練樣本的萃取特征向量，所述萃取特征向量基于第i個(gè)訓(xùn)練樣本的第一特征向量及特征萃取參數(shù)確定；所述第二損失函數(shù)設(shè)定為：其中，j取1或2，表示所述一對(duì)訓(xùn)練樣本中的任一訓(xùn)練樣本；y表示所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值；d_j＝||h_j(g)-f_j*||，表示h_j(g)與f_j*之差的范數(shù)值，h_j(g)表示第j個(gè)訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時(shí)對(duì)應(yīng)的第二特征向量；f_j*表示第j個(gè)訓(xùn)練樣本的萃取特征向量；α為經(jīng)驗(yàn)參數(shù)。

在本實(shí)施例中，基于上述優(yōu)化函數(shù)確定優(yōu)化函數(shù)值時(shí)，重點(diǎn)在于特征萃取向量的確定。可以理解的是，所述特征萃取向量主要基于第一特征向量及外循環(huán)中特征萃取參數(shù)當(dāng)前的參數(shù)值t確定。

具體地，由于訓(xùn)練樣本基于第一神經(jīng)網(wǎng)絡(luò)處理后，所獲得第一特征向量中所包含的多個(gè)特征向量值的數(shù)據(jù)波動(dòng)范圍較大，所以首先需要對(duì)訓(xùn)練樣本i的第一特征向量值f_i進(jìn)行歸一化操作得到f_i`(0<f<sub>i</sub>`<1)；然后，可以確定訓(xùn)練樣本i當(dāng)前的特征萃取向量f_i*等于f_i`的t次方，即f<sub>i</sub>*＝(f<sub>i</sub>`)^t，示例性地，假設(shè)參數(shù)值t當(dāng)前等于10，則特征萃取向量f_i*＝(f_i`)<sup>10</sup>?？梢岳斫獾氖?，由于f<sub>i</sub>`自身為大于0小于1的值，所以f_i*的值將小于f_i`，因此，第二神經(jīng)網(wǎng)絡(luò)處理訓(xùn)練樣本i得到的第二特征向量很容易達(dá)到f_i*，進(jìn)而很容易確定基于上述優(yōu)化函數(shù)確定參數(shù)值為t時(shí)的候選神經(jīng)網(wǎng)絡(luò)。

S207、判定迭代值是否符合迭代結(jié)束條件，若否，則執(zhí)行步驟S208；若是，則執(zhí)行步驟S209。

在本實(shí)施例中，步驟S207相當(dāng)于內(nèi)循環(huán)的循環(huán)判定操作，主要通過對(duì)迭代值的判定實(shí)現(xiàn)。示例性地，假設(shè)所設(shè)定的迭代結(jié)束條件為迭代值等于8，則可在迭代值等于8時(shí)結(jié)束內(nèi)循環(huán)，進(jìn)行步驟S209的操作；否則需要執(zhí)行步驟S208。

S208、自增加迭代值，并基于隨機(jī)梯度下降法調(diào)整當(dāng)前權(quán)重參數(shù)值，返回步驟S205。

在本實(shí)施例中，當(dāng)?shù)挡环蟽?nèi)循環(huán)的結(jié)束條件時(shí)，需要對(duì)當(dāng)前的迭代值進(jìn)行自增加操作，然后根據(jù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)中常用的隨機(jī)梯度下降法有規(guī)律的對(duì)當(dāng)前權(quán)重參數(shù)值進(jìn)行調(diào)整作為新的當(dāng)前權(quán)重參數(shù)值，之后需要返回步驟S205繼續(xù)基于具有新的當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定訓(xùn)練樣本集的處理結(jié)果。

S209、確定候選參數(shù)集中的最小優(yōu)化函數(shù)值，將最小優(yōu)化函數(shù)值對(duì)應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值，并將具有目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，當(dāng)?shù)颠_(dá)到內(nèi)循環(huán)的結(jié)束條件時(shí)，可以結(jié)束內(nèi)循環(huán)操作，然后在候選參數(shù)集中確定最小優(yōu)化函數(shù)值，由此確定特征萃取參數(shù)當(dāng)前的參數(shù)值時(shí)對(duì)應(yīng)的目標(biāo)權(quán)重參數(shù)值及其候選神經(jīng)網(wǎng)絡(luò)。

S210、基于設(shè)定規(guī)則更新特征萃取參數(shù)的參數(shù)值，如果參數(shù)值不符合循環(huán)結(jié)束條件，則將候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò)，并返回執(zhí)行步驟S204；否則，將候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，步驟S210相當(dāng)于外循環(huán)的循環(huán)判定操作，主要通過判定特征萃取參數(shù)的參數(shù)值是否符合外循環(huán)的結(jié)束條件實(shí)現(xiàn)。本實(shí)施例主要基于設(shè)定規(guī)則更新特征萃取參數(shù)的參數(shù)值，優(yōu)選地，其設(shè)定規(guī)則可以是參數(shù)值的自減操作，因此，可以優(yōu)選的將循環(huán)結(jié)束條件設(shè)定為參數(shù)值為0時(shí)。

在本實(shí)施例中，如果參數(shù)值不符合循環(huán)結(jié)束條件，則需要再次執(zhí)行內(nèi)循環(huán)的操作，此時(shí)，可以將當(dāng)前內(nèi)循環(huán)結(jié)束時(shí)確定的候選神經(jīng)網(wǎng)絡(luò)作為下一次內(nèi)循環(huán)初始時(shí)采用的第二神經(jīng)網(wǎng)絡(luò)，并返回步驟S204開始新一輪的候選神經(jīng)網(wǎng)絡(luò)的確定操作。

具體地，如果參數(shù)值符合了循環(huán)結(jié)束條件，則可以將剛結(jié)束的內(nèi)循環(huán)確定的候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)，同時(shí)，內(nèi)循環(huán)時(shí)確定的目標(biāo)權(quán)重參數(shù)值就是該第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的權(quán)重參數(shù)值。

可以理解的是，在外循環(huán)過程中，參數(shù)值t的取值逐漸減小，相當(dāng)于訓(xùn)練樣本i的特征萃取向量f_i*隨參數(shù)值t的減小而逐漸增大，最終當(dāng)參數(shù)值t為1時(shí)，訓(xùn)練樣本i的特征萃取向量f_i*等于了該訓(xùn)練樣本的第一特征向量。由此可以看出，本實(shí)施例對(duì)第二神經(jīng)網(wǎng)絡(luò)是一個(gè)循序漸進(jìn)的訓(xùn)練過程，最終可以將第二神經(jīng)網(wǎng)絡(luò)訓(xùn)練成與第一神經(jīng)網(wǎng)絡(luò)一樣滿足設(shè)定精度條件的可以進(jìn)行實(shí)際應(yīng)用的神經(jīng)網(wǎng)絡(luò)。

S211、將滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

本發(fā)明實(shí)施例二提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法，具體化了第二神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，即通過設(shè)定的特征萃取參數(shù)、所獲得第一特征向量、訓(xùn)練樣本集以及設(shè)定優(yōu)化函數(shù)，迭代循環(huán)的實(shí)現(xiàn)對(duì)第二神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)，由此確定第二神經(jīng)網(wǎng)絡(luò)的目標(biāo)權(quán)重參數(shù)值，使得第二神經(jīng)網(wǎng)絡(luò)能夠滿足設(shè)定精度條件，成為第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)。利用該方法，能夠直接將另一新構(gòu)建的小規(guī)模神經(jīng)網(wǎng)絡(luò)經(jīng)訓(xùn)練學(xué)習(xí)后作為待優(yōu)化神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)，由此基于優(yōu)化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征識(shí)別時(shí)，能夠達(dá)到加快識(shí)別處理速度，縮短識(shí)別處理時(shí)間，降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的；此外，與現(xiàn)有的直接對(duì)待優(yōu)化神經(jīng)網(wǎng)絡(luò)通過節(jié)點(diǎn)刪除獲得目標(biāo)優(yōu)化網(wǎng)絡(luò)相比，該方法不僅適用于對(duì)單個(gè)待優(yōu)化神經(jīng)網(wǎng)絡(luò)的優(yōu)化，還適用于對(duì)多個(gè)神經(jīng)網(wǎng)絡(luò)模型組成的集群神經(jīng)網(wǎng)絡(luò)的優(yōu)化，大大提高了神經(jīng)網(wǎng)絡(luò)的優(yōu)化速度，更適合廣泛應(yīng)用。

實(shí)施例三

圖3為本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置的結(jié)構(gòu)框圖。該裝置適用于對(duì)訓(xùn)練學(xué)習(xí)后達(dá)到設(shè)定精度條件的待優(yōu)化神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的情況，其中，該裝置可由軟件和/或硬件實(shí)現(xiàn)，并一般集成在神經(jīng)網(wǎng)絡(luò)模型所在的終端設(shè)備或服務(wù)器平臺(tái)上。如圖3所示，該裝置包括：初始信息獲取模塊31、網(wǎng)絡(luò)模型構(gòu)建模塊32、網(wǎng)絡(luò)模型優(yōu)化模塊33以及目標(biāo)網(wǎng)絡(luò)確定模塊34。

其中，初始信息獲取模塊31，用于獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)，并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集，獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量；

網(wǎng)絡(luò)模型構(gòu)建模塊32，用于基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)，其中，所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò)；

網(wǎng)絡(luò)模型優(yōu)化模塊33，用于根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)；

目標(biāo)網(wǎng)絡(luò)確定模塊34，用于將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，該裝置首先通過初始信息獲取模塊31獲取符合設(shè)定精度條件的第一神經(jīng)網(wǎng)絡(luò)，并基于所述第一神經(jīng)網(wǎng)絡(luò)處理設(shè)定的訓(xùn)練樣本集，獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本的第一特征向量；然后通過網(wǎng)絡(luò)模型構(gòu)建模塊32基于設(shè)定的網(wǎng)絡(luò)構(gòu)建條件構(gòu)造待訓(xùn)練的第二神經(jīng)網(wǎng)絡(luò)，其中，所述第二神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)個(gè)數(shù)和/或網(wǎng)絡(luò)層數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò)；之后通過網(wǎng)絡(luò)模型優(yōu)化模塊33根據(jù)所述第一特征向量及所述訓(xùn)練樣本集訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，確定滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)；最終通過目標(biāo)網(wǎng)絡(luò)確定模塊34將所述滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)確定為所述第一神經(jīng)網(wǎng)絡(luò)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

本發(fā)明實(shí)施例三提供的一種神經(jīng)網(wǎng)絡(luò)的優(yōu)化裝置，能夠直接將另一個(gè)新構(gòu)造的小規(guī)模神經(jīng)網(wǎng)絡(luò)根據(jù)優(yōu)化條件訓(xùn)練學(xué)習(xí)后確定為待優(yōu)化神經(jīng)網(wǎng)絡(luò)的目標(biāo)優(yōu)化網(wǎng)絡(luò)，由此實(shí)現(xiàn)對(duì)待優(yōu)化神經(jīng)網(wǎng)絡(luò)的優(yōu)化，從而在基于優(yōu)化后的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征識(shí)別時(shí)，能夠達(dá)到加快識(shí)別處理速度，縮短識(shí)別處理時(shí)間，降低存儲(chǔ)、運(yùn)行內(nèi)存以及顯存等空間占用的目的。

進(jìn)一步地，所述網(wǎng)絡(luò)模型優(yōu)化模塊33，具體包括：

參數(shù)初始化單元，用于初始化特征萃取參數(shù)的參數(shù)值；候選網(wǎng)絡(luò)確定單元，用于根據(jù)所述參數(shù)值、第一特征向量、訓(xùn)練樣本集以及設(shè)定的優(yōu)化函數(shù)，確定第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的目標(biāo)權(quán)重參數(shù)值，并將具有所述目標(biāo)權(quán)重參數(shù)的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)；循環(huán)優(yōu)化單元，用于基于設(shè)定規(guī)則更新所述特征萃取參數(shù)的參數(shù)值，當(dāng)所述參數(shù)值不符合循環(huán)結(jié)束條件時(shí)，將所述候選神經(jīng)網(wǎng)絡(luò)作為新的第二神經(jīng)網(wǎng)絡(luò)，并返回候選網(wǎng)絡(luò)確定單元；否則，將所述候選神經(jīng)網(wǎng)絡(luò)確定為滿足設(shè)定精度條件的第二神經(jīng)網(wǎng)絡(luò)。

所述候選網(wǎng)絡(luò)確定單元，具體包括：

初始化子單元，用于初始化預(yù)設(shè)的迭代值，并確定所述第二神經(jīng)網(wǎng)絡(luò)中相鄰兩層連接節(jié)點(diǎn)的當(dāng)前權(quán)重參數(shù)值；

樣本處理子單元，用于根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集，并獲得當(dāng)前的處理結(jié)果；

數(shù)值確定子單元，用于根據(jù)所述參數(shù)值、所述第一特征向量、所述處理結(jié)果以及設(shè)定的優(yōu)化函數(shù)，確定所述當(dāng)前權(quán)重參數(shù)值對(duì)應(yīng)的優(yōu)化函數(shù)值，并將所述當(dāng)前權(quán)重參數(shù)值及對(duì)應(yīng)的優(yōu)化函數(shù)值存放于候選參數(shù)集；

迭代判定子單元，用于當(dāng)所述迭代值不符合迭代結(jié)束條件，則自增加所述迭代值，并基于隨機(jī)梯度下降法調(diào)整所述當(dāng)前權(quán)重參數(shù)值，返回執(zhí)行訓(xùn)練樣本集的處理操作；否則，確定所述候選參數(shù)集中的最小優(yōu)化函數(shù)值，將所述最小優(yōu)化函數(shù)值對(duì)應(yīng)的當(dāng)前權(quán)重參數(shù)值確定為目標(biāo)權(quán)重參數(shù)值，并將具有所述目標(biāo)權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)確定為候選神經(jīng)網(wǎng)絡(luò)。

在上述實(shí)施例的基礎(chǔ)上，所述樣本處理子單元，具體用于：

根據(jù)具有所述當(dāng)前權(quán)重參數(shù)值的第二神經(jīng)網(wǎng)絡(luò)處理所述訓(xùn)練樣本集，獲得所述訓(xùn)練樣本集中各訓(xùn)練樣本當(dāng)前的第二特征向量；以及

從所述訓(xùn)練樣本集中獲取一對(duì)訓(xùn)練樣本，如果所述一對(duì)訓(xùn)練樣本中包含相同信息，則將第一定值作為所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值；否則，將第二定值作為所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值；獲取所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本當(dāng)前的第二特征向量。

進(jìn)一步地，所述優(yōu)化函數(shù)設(shè)定為：

op(g)＝ηloss₁(g)+(1-η)loss₂(g)，其中，op(g)表示當(dāng)前權(quán)重參數(shù)值g對(duì)應(yīng)的優(yōu)化函數(shù)值，η為經(jīng)驗(yàn)參數(shù)，loss₁(g)表示當(dāng)前權(quán)重參數(shù)值g對(duì)應(yīng)的第一損失函數(shù)值，loss₂(g)表示當(dāng)前權(quán)重參數(shù)g對(duì)應(yīng)的第二損失函數(shù)值；所述第一損失函數(shù)設(shè)定為：其中，i≥1表示所述訓(xùn)練樣本集中的第i個(gè)訓(xùn)練樣本；||h_i(g)-f_i*||表示h_i(g)與f_i*之差的范數(shù)值，h_i(g)表示第i個(gè)訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時(shí)對(duì)應(yīng)的第二特征向量；f_i*表示第i個(gè)訓(xùn)練樣本的萃取特征向量，所述萃取特征向量基于第i個(gè)訓(xùn)練樣本的第一特征向量及特征萃取參數(shù)確定；所述第二損失函數(shù)設(shè)定為：其中，j取1或2，表示所述一對(duì)訓(xùn)練樣本中的任一訓(xùn)練樣本；y表示所述一對(duì)訓(xùn)練樣本中各訓(xùn)練樣本的標(biāo)簽值；d_j＝||h_j(g)-f_j*||，表示h_j(g)與f_j*之差的范數(shù)值，h_j(g)表示第j個(gè)訓(xùn)練樣本在當(dāng)前權(quán)重參數(shù)值g時(shí)對(duì)應(yīng)的第二特征向量；f_j*表示第j個(gè)訓(xùn)練樣本的萃取特征向量；α為經(jīng)驗(yàn)參數(shù)。

注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解，本發(fā)明不限于這里所述的特定實(shí)施例，對(duì)本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實(shí)施例對(duì)本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。