本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種梯度參數(shù)確定方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

隨著圖像處理技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別方面得到了廣泛的應(yīng)用，譬如，如果將一張待識(shí)別的圖像輸入至已完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中，通過該卷積神經(jīng)網(wǎng)絡(luò)模型可以識(shí)別出該圖像的類別。例如，將一張“貓”的圖像輸入至已完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中，通過該卷積神經(jīng)網(wǎng)絡(luò)模型可以識(shí)別出該圖像的類別為“貓”。

為了能夠成功實(shí)現(xiàn)圖像識(shí)別，通常需要預(yù)先基于訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，卷積神經(jīng)網(wǎng)絡(luò)模型一般是由多個(gè)卷積層、多個(gè)激活層、多個(gè)池化層以及多個(gè)全連接層串聯(lián)組成。卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：在卷積神經(jīng)網(wǎng)絡(luò)模型的輸入層輸入訓(xùn)練圖像，通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)訓(xùn)練圖像進(jìn)行識(shí)別后，從輸出層輸出預(yù)測(cè)類別概率。之后，基于該預(yù)測(cè)類別概率與初始類別概率之間的類別概率誤差，確定每一層的梯度參數(shù)，并基于該每一層的梯度參數(shù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型包括每一層的初始模型參數(shù)進(jìn)行調(diào)整。在實(shí)際實(shí)現(xiàn)中，為了增加圖像識(shí)別的準(zhǔn)確性，一般需要對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行深度訓(xùn)練，通常采用的方法是在卷積神經(jīng)網(wǎng)絡(luò)模型中增加卷積層的數(shù)量。

技術(shù)實(shí)現(xiàn)要素：

為克服相關(guān)技術(shù)中存在的問題，本公開提供一種梯度參數(shù)確定方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

第一方面，提供了一種梯度參數(shù)確定方法，所述方法包括：

通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收所述指定全連接層的下一個(gè)卷積層傳遞的第一梯度，所述指定全連接層位于所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，所述指定全連接層的下一個(gè)卷積層靠近所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層；

通過所述指定全連接層確定第二梯度，所述第二梯度是基于第一類別概率誤差確定得到，所述第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，所述第一預(yù)測(cè)類別概率是通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到；

將所述第一梯度與所述第二梯度進(jìn)行求和運(yùn)算，得到第三梯度；

將所述第三梯度確定為用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

可選地，所述通過所述指定全連接層確定第二梯度，包括：

通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層之上的多層對(duì)所述訓(xùn)練圖像進(jìn)行識(shí)別處理，得到所述第一預(yù)測(cè)類別概率；

確定所述第一預(yù)測(cè)類別概率與所述初始類別概率之間的差值，得到所述第一類別概率誤差；

基于所述第一類別概率誤差，通過所述指定全連接層采用指定梯度下降法確定所述第二梯度。

可選地，所述通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收所述指定全連接層的下一個(gè)卷積層傳遞的第一梯度之前，還包括：

通過所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)所述訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率；

確定所述第二預(yù)測(cè)類別概率與所述初始類別概率之間的差值，得到第二類別概率誤差；

基于所述第二類別概率誤差，通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層的下一個(gè)卷積層采用指定梯度下降法確定所述第一梯度。

可選地，所述將所述第三梯度確定為用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)之后，還包括：

確定所述第三梯度的梯度長度與指定系數(shù)之間的乘積，得到移動(dòng)步長，并將所述指定全連接層的模型參數(shù)，向所述第三梯度的梯度方向移動(dòng)所述移動(dòng)步長，所述指定系數(shù)為預(yù)先設(shè)置的任一系數(shù)；

將所述第三梯度傳遞給所述指定全連接層的上一個(gè)卷積層，以對(duì)梯度參數(shù)進(jìn)行傳遞。

可選地，當(dāng)所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)為初始模型參數(shù)時(shí)，所述初始模型參數(shù)為預(yù)先設(shè)置的任一參數(shù)。

第二方面，提供了一種梯度參數(shù)確定裝置，所述裝置包括：

接收模塊，用于通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收所述指定全連接層的下一個(gè)卷積層傳遞的第一梯度，所述指定全連接層位于所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，所述指定全連接層的下一個(gè)卷積層靠近所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層；

第一確定模塊，用于通過所述指定全連接層確定第二梯度，所述第二梯度是基于第一類別概率誤差確定得到，所述第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，所述第一預(yù)測(cè)類別概率是通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到；

運(yùn)算模塊，用于將所述接收模塊接收的所述第一梯度與所述第一確定模塊確定的所述第二梯度進(jìn)行求和運(yùn)算，得到第三梯度；

第二確定模塊，用于將所述運(yùn)算模塊得到的所述第三梯度確定為用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

可選地，所述第一確定模塊用于：

通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層之上的多層對(duì)所述訓(xùn)練圖像進(jìn)行識(shí)別處理，得到所述第一預(yù)測(cè)類別概率；

確定所述第一預(yù)測(cè)類別概率與所述初始類別概率之間的差值，得到所述第一類別概率誤差；

基于所述第一類別概率誤差，通過所述指定全連接層采用指定梯度下降法確定所述第二梯度。

可選地，所述裝置還包括：

識(shí)別處理模塊，用于通過所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)所述訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率；

第三確定模塊，用于確定所述第二預(yù)測(cè)類別概率與所述初始類別概率之間的差值，得到第二類別概率誤差；

第四確定模塊，用于基于所述第二類別概率誤差，通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層的下一個(gè)卷積層采用指定梯度下降法確定所述第一梯度。

可選地，所述裝置還包括：

第五確定模塊，用于確定所述第三梯度的梯度長度與指定系數(shù)之間的乘積，得到移動(dòng)步長，并將所述指定全連接層的模型參數(shù)，向所述第三梯度的梯度方向移動(dòng)所述移動(dòng)步長，所述指定系數(shù)為預(yù)先設(shè)置的任一系數(shù)；

傳遞模塊，用于將所述第三梯度傳遞給所述指定全連接層的上一個(gè)卷積層，以對(duì)梯度參數(shù)進(jìn)行傳遞。

可選地，當(dāng)所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)為初始模型參數(shù)時(shí)，所述初始模型參數(shù)為預(yù)先設(shè)置的任一參數(shù)。

第三方面，提供了一種梯度參數(shù)確定裝置，所述裝置包括：

處理器；

用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：

通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收所述指定全連接層的下一個(gè)卷積層傳遞的第一梯度，所述指定全連接層位于所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，所述指定全連接層的下一個(gè)卷積層靠近所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層；

通過所述指定全連接層確定第二梯度，所述第二梯度是基于第一類別概率誤差確定得到，所述第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，所述第一預(yù)測(cè)類別概率是通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到；

將所述第一梯度與所述第二梯度進(jìn)行求和運(yùn)算，得到第三梯度；

將所述第三梯度確定為用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，其特征在于，所述指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收所述指定全連接層的下一個(gè)卷積層傳遞的第一梯度，所述指定全連接層位于所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，所述指定全連接層的下一個(gè)卷積層靠近所述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層；

通過所述指定全連接層確定第二梯度，所述第二梯度是基于第一類別概率誤差確定得到，所述第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，所述第一預(yù)測(cè)類別概率是通過所述卷積神經(jīng)網(wǎng)絡(luò)模型中位于所述指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到；

將所述第一梯度與所述第二梯度進(jìn)行求和運(yùn)算，得到第三梯度；

將所述第三梯度確定為用于訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

本公開實(shí)施例在卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間增加指定全連接層。通過該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理得到第一預(yù)測(cè)類別概率，通過該指定全連接層確定該第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，并基于該誤差確定第二梯度。當(dāng)該指定全連接層接收到靠近卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層的下一個(gè)卷積層傳遞的第一梯度時(shí)，將該第一梯度與第二梯度進(jìn)行求和運(yùn)算，得到第三梯度，并將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。由于將該第一梯度與第二梯度進(jìn)行求和運(yùn)算后，增強(qiáng)了梯度參數(shù)，因此，確定后的該梯度參數(shù)可以傳遞的更深，從而增加了算法的收斂速度。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本公開的實(shí)施例，并與說明書一起用于解釋本公開的原理。

圖1是根據(jù)一示例性實(shí)施例示出的一種梯度參數(shù)確定方法的流程圖。

圖2a是根據(jù)另一示例性實(shí)施例示出的一種梯度參數(shù)確定方法。

圖2b是圖2a實(shí)施例所涉及的一種卷積神經(jīng)網(wǎng)絡(luò)模型中各層之間連接關(guān)系的示意圖。

圖3a是根據(jù)一示例性實(shí)施例示出的一種梯度參數(shù)確定裝置的結(jié)構(gòu)框圖。

圖3b是根據(jù)一示例性實(shí)施例示出的另一種梯度參數(shù)確定裝置的結(jié)構(gòu)框圖。

圖3c是根據(jù)一示例性實(shí)施例示出的另一種梯度參數(shù)確定裝置的結(jié)構(gòu)框圖。

圖4是根據(jù)一示例性實(shí)施例示出的一種梯度參數(shù)確定裝置400的框圖。

具體實(shí)施方式

這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。

在對(duì)本公開實(shí)施例進(jìn)行詳細(xì)地解釋介紹之前，先對(duì)本公開實(shí)施例中涉及的名詞進(jìn)行簡(jiǎn)單的介紹：

卷積神經(jīng)網(wǎng)絡(luò)模型：是一種前饋神經(jīng)網(wǎng)絡(luò)，一般由多個(gè)卷積層和多個(gè)全連通層組成。當(dāng)然，除此之外，卷積神經(jīng)網(wǎng)絡(luò)模型還包括有多個(gè)激活層和多個(gè)池化層。在具體實(shí)現(xiàn)中，可以使用反向傳播算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

預(yù)測(cè)類別概率：為訓(xùn)練圖像屬于預(yù)設(shè)類別的概率。其中，該預(yù)設(shè)類別可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置，如，該預(yù)設(shè)類別可以包括“貓”、“狗”、“熊”、“獅子”、“老虎”等。該預(yù)測(cè)類別概率是通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到。

初始類別概率：一般可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置，初始類別概率一般還可以稱為訓(xùn)練圖像的真實(shí)類別概率。

模型參數(shù)：是指卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，該模型參數(shù)一般包括卷積層的卷積核、全連接層的權(quán)重矩陣等，主要用于對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理。

接下來，對(duì)本公開實(shí)施例的應(yīng)用場(chǎng)景予以介紹。目前，為了提高卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別圖像的準(zhǔn)確性，一般會(huì)在卷積神經(jīng)網(wǎng)絡(luò)模型中增加卷積層的數(shù)量，以對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行深度訓(xùn)練。然而，隨著卷積層數(shù)量的增加，梯度參數(shù)在傳遞的過程中會(huì)越來越小，導(dǎo)致低層網(wǎng)絡(luò)的模型參數(shù)更新速度變慢，甚至無法收斂。為此，本公開實(shí)施例提供了一種梯度參數(shù)確定方法，該方法通過在多個(gè)卷積層之間的指定位置增加指定全連接層，并通過該指定全連接層增強(qiáng)梯度參數(shù)，使得梯度參數(shù)可以傳遞的更遠(yuǎn)，增加了算法的收斂速度，并避免了由于深度訓(xùn)練導(dǎo)致算法無法收斂的問題。本公開實(shí)施例提供的方法可以由終端來執(zhí)行，該終端可以為諸如平板電腦、計(jì)算機(jī)等之類的設(shè)備，本公開實(shí)施例對(duì)此不作限定。

圖1是根據(jù)一示例性實(shí)施例示出的一種梯度參數(shù)確定方法的流程圖，如圖1所示，該梯度參數(shù)確定方法用于終端中，包括以下步驟：

在步驟101中，通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收該指定全連接層的下一個(gè)卷積層傳遞的第一梯度，該指定全連接層位于該卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，該指定全連接層的下一個(gè)卷積層靠近該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層。

在步驟102中，通過該指定全連接層確定第二梯度，該第二梯度是基于第一類別概率誤差確定得到，該第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，該第一預(yù)測(cè)類別概率是通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到。

在步驟103中，將該第一梯度與該第二梯度進(jìn)行求和運(yùn)算，得到第三梯度。

在步驟104中，將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

在本公開實(shí)施例中，在卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間增加指定全連接層。通過該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理得到第一預(yù)測(cè)類別概率，通過該指定全連接層確定該第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，并基于該誤差確定第二梯度。當(dāng)該指定全連接層接收到靠近卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層的下一個(gè)卷積層傳遞的第一梯度時(shí)，將該第一梯度與第二梯度進(jìn)行求和運(yùn)算，得到第三梯度，并將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。由于將該第一梯度與第二梯度進(jìn)行求和運(yùn)算后，增強(qiáng)了梯度參數(shù)，因此，確定后的該梯度參數(shù)可以傳遞的更深，從而增加了算法的收斂速度。

可選地，通過該指定全連接層確定第二梯度，包括：

通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到該第一預(yù)測(cè)類別概率；

確定該第一預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到該第一類別概率誤差；

基于該第一類別概率誤差，通過該指定全連接層采用指定梯度下降法確定該第二梯度。

可選地，通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收該指定全連接層的下一個(gè)卷積層傳遞的第一梯度之前，還包括：

通過該卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率；

確定該第二預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到第二類別概率誤差；

基于該第二類別概率誤差，通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層的下一個(gè)卷積層采用指定梯度下降法確定該第一梯度。

可選地，將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)之后，還包括：

確定該第三梯度的梯度長度與指定系數(shù)之間的乘積，得到移動(dòng)步長，并將該指定全連接層的模型參數(shù)，向該第三梯度的梯度方向移動(dòng)該移動(dòng)步長，該指定系數(shù)為預(yù)先設(shè)置的任一系數(shù)；

將該第三梯度傳遞給該指定全連接層的上一個(gè)卷積層，以對(duì)梯度參數(shù)進(jìn)行傳遞。

可選地，當(dāng)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)為初始模型參數(shù)時(shí)，該初始模型參數(shù)為預(yù)先設(shè)置的任一參數(shù)。

上述所有可選技術(shù)方案，均可按照任意結(jié)合形成本公開的可選實(shí)施例，本公開實(shí)施例對(duì)此不再一一贅述。

圖2a是根據(jù)另一示例性實(shí)施例示出的一種梯度參數(shù)確定方法，如圖2a所示，該梯度參數(shù)確定方法應(yīng)用于終端中，該梯度參數(shù)確定方法可以包括以下幾個(gè)實(shí)現(xiàn)步驟：

在步驟201中，通過該卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率。

其中，該訓(xùn)練圖像可以由技術(shù)人員預(yù)先存儲(chǔ)在終端中。當(dāng)需要對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)，終端從本地獲取該訓(xùn)練圖像。如前文所述，卷積神經(jīng)網(wǎng)絡(luò)模型主要包括多個(gè)卷積層和多個(gè)全連接層。請(qǐng)參考圖2b，在訓(xùn)練過程中，終端從輸入層輸入所獲取的訓(xùn)練圖像，并通過卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率，在具體實(shí)現(xiàn)中，由卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層輸出該第二預(yù)測(cè)類別概率。其中，該所有層包括所有卷積層和所有全連接層。

當(dāng)然，該所有層中還包括激活層和池化層，由于激活層和池化層中包括的是常數(shù)，不包括模型參數(shù)，因此，這里不對(duì)激活層和池化層做過多強(qiáng)調(diào)和介紹。

其中，通過卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理的實(shí)現(xiàn)過程可以參見相關(guān)技術(shù)，本公開實(shí)施例對(duì)此不作限定。

另外，還需要說明的是，實(shí)際上，該輸入層可以認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)模型的第一層的卷積層，輸出層可以認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)模型的最后一層的全連接層。為了便于區(qū)分上下層關(guān)系，一般都稱為輸入層和輸出層。

在步驟202中，確定該第二預(yù)測(cè)類別概率與初始類別概率之間的差值，得到第二類別概率誤差。

在實(shí)際實(shí)現(xiàn)中，終端確定該第二預(yù)測(cè)類別概率后，可以將該第二預(yù)測(cè)類別概率與初始類別概率進(jìn)行比較，以判斷是否需要繼續(xù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。譬如，當(dāng)終端確定該第二預(yù)測(cè)類別概率與該初始類別概率之間的差值大于或等于某個(gè)預(yù)設(shè)閾值時(shí)，說明該卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別的能力還不符合實(shí)際需求，在該種情況下，終端基于所得到的該第二類別概率誤差，通過迭代法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)繼續(xù)進(jìn)行調(diào)整，具體如下文所述。

反之，如果該第二預(yù)測(cè)類別概率與該初始類別概率之間的差值小于該預(yù)設(shè)閾值，則說明該卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別的能力還符合實(shí)際需求，即說明該卷積神經(jīng)網(wǎng)絡(luò)模型能夠準(zhǔn)確識(shí)別出圖像的類別，在該種情況下，可以確定完成對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

其中，該預(yù)設(shè)閾值可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置，也可以由終端默認(rèn)設(shè)置，本公開實(shí)施例對(duì)此不做限定。

需要說明的是，上述根據(jù)該第二預(yù)測(cè)類別概率與初始類別概率之間的差值來確定是否完成訓(xùn)練僅是示例性的，在另一實(shí)施例中，還可以根據(jù)迭代次數(shù)來判斷是否完成訓(xùn)練，例如，當(dāng)?shù)螖?shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，確定完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，否則，繼續(xù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

其中，該預(yù)設(shè)次數(shù)可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置，或者，也可以由該終端默認(rèn)設(shè)置，本公開實(shí)施例對(duì)此不做限定。

在步驟203中，基于該第二類別概率誤差，通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層的下一個(gè)卷積層采用指定梯度下降法確定該第一梯度。

如果根據(jù)上述方法確定尚未完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，則終端需要基于該第二類別概率誤差，通過指定梯度下降法中，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)進(jìn)行調(diào)整。

也即是，終端通過卷積神經(jīng)網(wǎng)絡(luò)模型確定該第二類別概率誤差后，將該第二類別概率誤差反向傳播至該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層，并通過該輸出層采用指定梯度下降法，確定該輸出層的梯度參數(shù)。之后，該輸出層利用該梯度參數(shù)對(duì)該輸出層的模型參數(shù)進(jìn)行調(diào)整，并且，將所確定的梯度參數(shù)傳遞給該輸出層的上一個(gè)卷積層。

需要說明的是，在具體實(shí)現(xiàn)中，該指定梯度下降法可以為sgd(stochasticgradientdescent，隨機(jī)梯度下降法)。當(dāng)然，該指定梯度下降法也可以為其它梯度下降法，本公開實(shí)施對(duì)此不做限定。

該輸出層的上一個(gè)卷積層接收到該梯度參數(shù)后，基于該梯度參數(shù)繼續(xù)采用指定梯度下降法，再次確定梯度參數(shù)，并基于再次確定的梯度參數(shù)對(duì)自身的模型參數(shù)進(jìn)行調(diào)整。之后，該輸出層的上一個(gè)卷積層繼續(xù)將該所確定的梯度參數(shù)傳遞給該輸出層的上一個(gè)卷積層的上一個(gè)卷積層。

按照上述執(zhí)行過程，直到梯度參數(shù)傳遞到指定全連接層的下一個(gè)卷積層，該指定全連接層的下一個(gè)卷積層，基于所傳遞的梯度參數(shù)，采用指定梯度下降法確定第一梯度，并將該第一梯度給該指定全連接層。

例如，請(qǐng)參考圖2b，指定全連接層的下一個(gè)卷積層，即第20層的卷積層接收到該第21層的卷積層傳遞的梯度參數(shù)后，基于所傳遞的梯度參數(shù)，采用指定梯度下降法確定該第一梯度。之后，通過該第20層的卷積層基于該第一梯度，對(duì)該第20層的卷積層的模型參數(shù)進(jìn)行調(diào)整，并將該第一梯度傳遞給該指定全連接層。

需要說明的是，在實(shí)際實(shí)現(xiàn)中，技術(shù)人員可以根據(jù)實(shí)際需求在該多個(gè)卷積層之間的指定位置增加指定全連接層，例如，在第20層的卷積層與第19層的卷積層之間增加指定全連接層。一般情況下，該指定位置為梯度參數(shù)小于某個(gè)閾值的位置，也即是，為了使得較小的梯度參數(shù)能夠繼續(xù)向低層傳遞，可以在該位置增加指定全連接層，以對(duì)該較小的梯度參數(shù)進(jìn)行增強(qiáng)處理。在實(shí)際應(yīng)用中，該指定全連接層一般還被稱為分支監(jiān)督器。

需要說明的是，本公開實(shí)施例對(duì)指定位置的數(shù)量不做限定，也即是，在實(shí)際實(shí)現(xiàn)過程中，可以在該多個(gè)卷積層之間的多個(gè)指定位置增加該指定全連接層，例如，可以在第100層的卷積層與第99層的卷積層之間增加指定全連接層，以及在第20層的卷積層與第19層的卷積層之間增加指定全連接層。

另外，還需要說明的是，本公開實(shí)施例對(duì)該指定位置上增加的指定全連接層的數(shù)量也不做限定，例如，可以在該指定位置上串聯(lián)3個(gè)指定全連接層。

請(qǐng)參考圖2b，該圖2b示例性地示出了卷積神經(jīng)網(wǎng)絡(luò)模型包括的各層之間的連接關(guān)系，在該卷積神經(jīng)網(wǎng)絡(luò)模型中包括多個(gè)卷積層，假設(shè)在第20層的卷積層與第19層的卷積層之間增加指定全連接層，且該指定全連接層21a的數(shù)量為3。

在步驟204中，通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收該指定全連接層的下一個(gè)卷積層傳遞的第一梯度。

如前文所述，該指定全連接層位于該卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，且該指定全連接層的下一個(gè)卷積層靠近該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層。

在步驟205中，通過該指定全連接層確定第二梯度，該第二梯度是基于第一類別概率誤差確定得到，該第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，該第一預(yù)測(cè)類別概率是通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到。

由于該第一梯度是經(jīng)過多層后傳遞過來，因此，該第一梯度通常很小，如果繼續(xù)向下傳遞，可能導(dǎo)致算法無法收斂，因此，需要對(duì)該第一梯度進(jìn)行調(diào)整，以重新確定向下傳遞的梯度參數(shù)。

為此，該指定全連接層接收到該第一梯度時(shí)，確定第二梯度。在具體實(shí)現(xiàn)中，終端通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到該第一預(yù)測(cè)類別概率，確定該第一預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到該第一類別概率誤差，基于該第一類別概率誤差，通過該指定全連接層采用指定梯度下降法確定該第二梯度。

例如，請(qǐng)參考圖2b，終端通過該指定全連接層21a之上靠近輸入層的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第一預(yù)測(cè)類別概率。通過該指定全連接層21a計(jì)算該第一預(yù)測(cè)類別概率與初始類別概率之間的第一類別概率誤差，并將該誤差反向傳播，由該指定全連接層21a基于該第一類別概率誤差，采用指定梯度下降法確定該第二梯度。

實(shí)際上，由上文描述可知，該指定全連接層相當(dāng)于該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層，即在本公開實(shí)施例中，需要確定指示兩個(gè)類別概率誤差，分別為第一類別概率誤差和第二類別概率誤差。第一類別概率誤差由設(shè)置在多個(gè)卷積層之間的指定全連接層來確定，該第二類別概率誤差由該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層確定。

在步驟206中，將該第一梯度與該第二梯度進(jìn)行求和運(yùn)算，得到第三梯度。

將該第一梯度與該第二梯度進(jìn)行求和運(yùn)算后，可以使得該第一梯度增強(qiáng)，即向后傳播的梯度參數(shù)得到了指定全連接層的加強(qiáng)，如此，解決了隨著深度訓(xùn)練梯度參數(shù)減小的問題。

需要說明的是，關(guān)于將第一梯度與該二梯度進(jìn)行求和運(yùn)算的實(shí)現(xiàn)過程可以參見梯度運(yùn)算法則，本公開實(shí)施例對(duì)此不做限定。

在步驟207中，將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

也即是，在后續(xù)梯度參數(shù)傳遞的過程中，終端將該第三梯度確定為需要傳遞的梯度參數(shù)。如此，可以使得梯度參數(shù)很好地傳播到網(wǎng)絡(luò)的低層，從而加速了卷積神經(jīng)網(wǎng)絡(luò)模型的收斂速度。

至此，實(shí)現(xiàn)了本公開實(shí)施例提供的梯度參數(shù)確定方法。進(jìn)一步地，為了便于深度理解，本公開實(shí)施例還提供了如下步驟208和步驟209。

在步驟208中，確定該第三梯度的梯度長度與指定系數(shù)之間的乘積，得到移動(dòng)步長，并將該指定全連接層的模型參數(shù)，向該第三梯度的梯度方向移動(dòng)該移動(dòng)步長，該指定系數(shù)為預(yù)先設(shè)置的任一系數(shù)。

如前文所述，在后續(xù)梯度參數(shù)傳遞的過程中，對(duì)該第三梯度進(jìn)行傳遞。在實(shí)際實(shí)現(xiàn)中，可以基于該第三梯度對(duì)該指定全連接層的模型參數(shù)進(jìn)行調(diào)整，也即是，當(dāng)確定該第三梯度后，可以將該第三梯度的梯度長度乘以指定系數(shù)，得到了移動(dòng)步長。將該指定全連接層的模型參數(shù)，向該第三梯度的梯度方向移動(dòng)該移動(dòng)步長，從而實(shí)現(xiàn)對(duì)該指定全連接層的模型參數(shù)進(jìn)行調(diào)整。

需要說明的是，當(dāng)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)為初始模型參數(shù)時(shí)，該初始模型參數(shù)為預(yù)先設(shè)置的任一參數(shù)。

也即是，在本公開實(shí)施例中，由于可以在卷積神經(jīng)網(wǎng)絡(luò)模型包括的卷積層之間的指定位置增加指定全連接層，即可以不限制該卷積神經(jīng)網(wǎng)絡(luò)模型包括的卷積層的數(shù)量，即可以對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行深度地訓(xùn)練。所以，這里可以不對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型的初始模型參數(shù)進(jìn)行限制，該初始模型參數(shù)可以為任一參數(shù)。

同理，本公開實(shí)施例也可以不對(duì)上述指定系數(shù)進(jìn)行限定，即該指定系數(shù)可以為預(yù)先設(shè)置的任一系數(shù)。

在步驟209中，將該第三梯度傳遞給該指定全連接層的上一個(gè)卷積層，以對(duì)梯度參數(shù)進(jìn)行傳遞。

通過該指定全連接層對(duì)該第一梯度進(jìn)行調(diào)整得到該第三梯度后，可以將該第三梯度繼續(xù)向網(wǎng)絡(luò)的低層傳遞，例如，請(qǐng)繼續(xù)參數(shù)圖2b，該指定全連接層21a可以將該第三梯度傳遞給該指定全連接層的上一個(gè)卷積層，即傳遞給第19層。

進(jìn)一步地，該第19層的卷積層接收到該第三梯度后，基于該第三梯度采用指定梯度下降法確定第四梯度。之后，基于該第四梯度，對(duì)該第19層的卷積層的模型參數(shù)進(jìn)行調(diào)整，并將該第四梯度傳遞給第18層的卷積層。直到將該梯度參數(shù)傳遞至輸入層，完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)的一次調(diào)整。

進(jìn)一步地，該卷積神經(jīng)網(wǎng)絡(luò)模型基于調(diào)整后的模型參數(shù)，對(duì)訓(xùn)練圖像繼續(xù)進(jìn)行識(shí)別處理，并按照上述執(zhí)行過程，再次對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整。如前文所述，直到第二預(yù)測(cè)類別概率與初始類別概率之間的差值小于某個(gè)預(yù)設(shè)閾值，或者，當(dāng)?shù)螖?shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)，確定完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

在本公開實(shí)施例中，在卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間增加指定全連接層。通過該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理得到第一預(yù)測(cè)類別概率，通過該指定全連接層確定該第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，并基于該誤差確定第二梯度。當(dāng)該指定全連接層接收到靠近卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層的下一個(gè)卷積層傳遞的第一梯度時(shí)，將該第一梯度與第二梯度進(jìn)行求和運(yùn)算，得到第三梯度，并將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。由于將該第一梯度與第二梯度進(jìn)行求和運(yùn)算后，增強(qiáng)了梯度參數(shù)，因此，確定后的該梯度參數(shù)可以傳遞的更深，從而增加了算法的收斂速度。

圖3a是根據(jù)一示例性實(shí)施例示出的一種梯度參數(shù)確定裝置的結(jié)構(gòu)框圖。參照?qǐng)D3a，該裝置包括接收模塊310，第一確定模塊312和運(yùn)算模塊314和第二確定模塊316。

該接收模塊310，用于通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收該指定全連接層的下一個(gè)卷積層傳遞的第一梯度，該指定全連接層位于該卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，該指定全連接層的下一個(gè)卷積層靠近該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層。

該第一確定模塊312，用于通過該指定全連接層確定第二梯度，該第二梯度是基于第一類別概率誤差確定得到，該第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，該第一預(yù)測(cè)類別概率是通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到。

該運(yùn)算模塊314，用于將該接收模塊310接收的該第一梯度與該第一確定模塊312確定的該第二梯度進(jìn)行求和運(yùn)算，得到第三梯度。

第二確定模塊316，用于將該運(yùn)算模塊314得到的該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

可選地，第一確定模塊312用于：

通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到該第一預(yù)測(cè)類別概率；

確定該第一預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到該第一類別概率誤差；

基于該第一類別概率誤差，通過該指定全連接層采用指定梯度下降法確定該第二梯度。

可選地，請(qǐng)參考圖3b，該裝置還包括：

識(shí)別處理模塊318，用于通過該卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率；

第三確定模塊320，用于確定該第二預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到第二類別概率誤差；

第四確定模塊322，用于基于該第二類別概率誤差，通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層的下一個(gè)卷積層采用指定梯度下降法確定該第一梯度。

可選地，請(qǐng)參考圖3c，該裝置還包括：

第五確定模塊324，用于確定該第三梯度的梯度長度與指定系數(shù)之間的乘積，得到移動(dòng)步長，并將該指定全連接層的模型參數(shù)，向該第三梯度的梯度方向移動(dòng)該移動(dòng)步長，該指定系數(shù)為預(yù)先設(shè)置的任一系數(shù)；

傳遞模塊326，用于將該第三梯度傳遞給該指定全連接層的上一個(gè)卷積層，以對(duì)梯度參數(shù)進(jìn)行傳遞。

可選地，當(dāng)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)為初始模型參數(shù)時(shí)，該初始模型參數(shù)為預(yù)先設(shè)置的任一參數(shù)。

在本公開實(shí)施例中，在卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間增加指定全連接層。通過該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理得到第一預(yù)測(cè)類別概率，通過該指定全連接層確定該第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，并基于該誤差確定第二梯度。當(dāng)該指定全連接層接收到靠近卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層的下一個(gè)卷積層傳遞的第一梯度時(shí)，將該第一梯度與第二梯度進(jìn)行求和運(yùn)算，得到第三梯度，并將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。由于將該第一梯度與第二梯度進(jìn)行求和運(yùn)算后，增強(qiáng)了梯度參數(shù)，因此，確定后的該梯度參數(shù)可以傳遞的更深，從而增加了算法的收斂速度。

關(guān)于上述實(shí)施例中的裝置，其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述，此處將不做詳細(xì)闡述說明。

圖4是根據(jù)一示例性實(shí)施例示出的一種梯度參數(shù)確定裝置400的框圖。例如，裝置400可以是移動(dòng)電話，計(jì)算機(jī)，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺(tái)，平板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個(gè)人數(shù)字助理等。

參照?qǐng)D4，裝置400可以包括以下一個(gè)或多個(gè)組件：處理組件402，存儲(chǔ)器404，電源組件406，多媒體組件408，音頻組件410，輸入/輸出(i/o)的接口412，傳感器組件414，以及通信組件416。

處理組件402通常控制裝置400的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信，相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件402可以包括一個(gè)或多個(gè)處理器420來執(zhí)行指令，以完成上述的方法的全部或部分步驟。此外，處理組件402可以包括一個(gè)或多個(gè)模塊，便于處理組件402和其他組件之間的交互。例如，處理組件402可以包括多媒體模塊，以方便多媒體組件408和處理組件402之間的交互。

存儲(chǔ)器404被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在裝置400的操作。這些數(shù)據(jù)的示例包括用于在裝置400上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話簿數(shù)據(jù)，消息，圖片，視頻等。存儲(chǔ)器404可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)，電可擦除可編程只讀存儲(chǔ)器(eeprom)，可擦除可編程只讀存儲(chǔ)器(eprom)，可編程只讀存儲(chǔ)器(prom)，只讀存儲(chǔ)器(rom)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤或光盤。

電源組件406為裝置400的各種組件提供電源。電源組件406可以包括電源管理系統(tǒng)，一個(gè)或多個(gè)電源，及其他與為裝置400生成、管理和分配電源相關(guān)聯(lián)的組件。

多媒體組件408包括在所述裝置400和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中，屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板，屏幕可以被實(shí)現(xiàn)為觸摸屏，以接收來自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界，而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中，多媒體組件408包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置400處于操作模式，如拍攝模式或視頻模式時(shí)，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。

音頻組件410被配置為輸出和/或輸入音頻信號(hào)。例如，音頻組件410包括一個(gè)麥克風(fēng)(mic)，當(dāng)裝置400處于操作模式，如呼叫模式、記錄模式和語音識(shí)別模式時(shí)，麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器404或經(jīng)由通信組件416發(fā)送。在一些實(shí)施例中，音頻組件410還包括一個(gè)揚(yáng)聲器，用于輸出音頻信號(hào)。

i/o接口412為處理組件402和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點(diǎn)擊輪，按鈕等。這些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。

傳感器組件414包括一個(gè)或多個(gè)傳感器，用于為裝置400提供各個(gè)方面的狀態(tài)評(píng)估。例如，傳感器組件414可以檢測(cè)到裝置400的打開/關(guān)閉狀態(tài)，組件的相對(duì)定位，例如所述組件為裝置400的顯示器和小鍵盤，傳感器組件414還可以檢測(cè)裝置400或裝置400一個(gè)組件的位置改變，用戶與裝置400接觸的存在或不存在，裝置400方位或加速/減速和裝置400的溫度變化。傳感器組件414可以包括接近傳感器，被配置用來在沒有任何的物理接觸時(shí)檢測(cè)附近物體的存在。傳感器組件414還可以包括光傳感器，如cmos或ccd圖像傳感器，用于在成像應(yīng)用中使用。在一些實(shí)施例中，該傳感器組件414還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件416被配置為便于裝置400和其他設(shè)備之間有線或無線方式的通信。裝置400可以接入基于通信標(biāo)準(zhǔn)的無線網(wǎng)絡(luò)，如wifi，2g或3g，或它們的組合。在一個(gè)示例性實(shí)施例中，通信組件416經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中，所述通信組件416還包括近場(chǎng)通信(nfc)模塊，以促進(jìn)短程通信。例如，在nfc模塊可基于射頻識(shí)別(rfid)技術(shù)，紅外數(shù)據(jù)協(xié)會(huì)(irda)技術(shù)，超寬帶(uwb)技術(shù)，藍(lán)牙(bt)技術(shù)和其他技術(shù)來實(shí)現(xiàn)。

在示例性實(shí)施例中，裝置400可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(asic)、數(shù)字信號(hào)處理器(dsp)、數(shù)字信號(hào)處理設(shè)備(dspd)、可編程邏輯器件(pld)、現(xiàn)場(chǎng)可編程門陣列(fpga)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)，用于執(zhí)行上述圖1或圖2a所示實(shí)施例提供的方法。

在示例性實(shí)施例中，還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如包括指令的存儲(chǔ)器404，上述指令可由裝置400的處理器420執(zhí)行以完成上述方法。例如，所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是rom、隨機(jī)存取存儲(chǔ)器(ram)、cd-rom、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)設(shè)備等。

一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由移動(dòng)終端的處理器執(zhí)行時(shí)，使得移動(dòng)終端能夠執(zhí)行一種梯度參數(shù)確定方法，所述方法包括：

通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收該指定全連接層的下一個(gè)卷積層傳遞的第一梯度，該指定全連接層位于該卷積神經(jīng)網(wǎng)絡(luò)模型包括的多個(gè)卷積層之間的指定位置，該指定全連接層的下一個(gè)卷積層靠近該卷積神經(jīng)網(wǎng)絡(luò)模型的輸出層；

通過該指定全連接層確定第二梯度，該第二梯度是基于第一類別概率誤差確定得到，該第一類別概率誤差為第一預(yù)測(cè)類別概率與初始類別概率之間的誤差，該第一預(yù)測(cè)類別概率是通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到；

將該第一梯度與該第二梯度進(jìn)行求和運(yùn)算，得到第三梯度；

將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)。

可選地，該通過該指定全連接層確定第二梯度，包括：

通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層之上的多層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到該第一預(yù)測(cè)類別概率；

確定該第一預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到該第一類別概率誤差；

基于該第一類別概率誤差，通過該指定全連接層采用指定梯度下降法確定該第二梯度。

可選地，該通過待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中的指定全連接層，接收該指定全連接層的下一個(gè)卷積層傳遞的第一梯度之前，還包括：

通過該卷積神經(jīng)網(wǎng)絡(luò)模型包括的所有層對(duì)該訓(xùn)練圖像進(jìn)行識(shí)別處理，得到第二預(yù)測(cè)類別概率；

確定該第二預(yù)測(cè)類別概率與該初始類別概率之間的差值，得到第二類別概率誤差；

基于該第二類別概率誤差，通過該卷積神經(jīng)網(wǎng)絡(luò)模型中位于該指定全連接層的下一個(gè)卷積層采用指定梯度下降法確定該第一梯度。

可選地，該將該第三梯度確定為用于訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)模型的梯度參數(shù)之后，還包括：

確定該第三梯度的梯度長度與指定系數(shù)之間的乘積，得到移動(dòng)步長，并將該指定全連接層的模型參數(shù)，向該第三梯度的梯度方向移動(dòng)該移動(dòng)步長，該指定系數(shù)為預(yù)先設(shè)置的任一系數(shù)；

將該第三梯度傳遞給該指定全連接層的上一個(gè)卷積層，以對(duì)梯度參數(shù)進(jìn)行傳遞。

可選地，當(dāng)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)為初始模型參數(shù)時(shí)，該初始模型參數(shù)為預(yù)先設(shè)置的任一參數(shù)。

本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后，將容易想到本公開的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的，本公開的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當(dāng)理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限制。