本公開(kāi)涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法及裝置。
背景技術(shù):
隨著圖像處理技術(shù)的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別方面得到了廣泛的應(yīng)用,譬如,如果將一張待識(shí)別的圖像輸入至已完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中,通過(guò)該卷積神經(jīng)網(wǎng)絡(luò)模型可以識(shí)別出該圖像的類(lèi)別。例如,將一張“貓”的圖像輸入至已完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中,通過(guò)該卷積神經(jīng)網(wǎng)絡(luò)模型可以識(shí)別出該圖像的類(lèi)別為“貓”。為了能夠成功實(shí)現(xiàn)圖像識(shí)別,通常需要預(yù)先基于大量的訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,例如,預(yù)先基于大量的動(dòng)物訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。目前,如何對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練以保證圖像識(shí)別的準(zhǔn)確性成為本領(lǐng)域研究的熱點(diǎn)。
技術(shù)實(shí)現(xiàn)要素:
為克服相關(guān)技術(shù)中存在的問(wèn)題,本公開(kāi)提供一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法及裝置。
第一方面,提供一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法,所述方法包括:
通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率;
對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定所述訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到所述訓(xùn)練圖像的類(lèi)別概率誤差向量,所述初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,所述多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到;
基于所述多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,確定所述訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值之前,還包括:
對(duì)于所述多個(gè)預(yù)設(shè)類(lèi)別中的每個(gè)預(yù)設(shè)類(lèi)別,確定所述預(yù)設(shè)類(lèi)別的類(lèi)別比例;
基于所述預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類(lèi)別以及所述預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)如下公式確定與所述預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率;
p(k)=λ*δy(k)+(1-λ)*p0(k);
其中,所述p(k)表示與所述預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,λ表示所述預(yù)設(shè)擾動(dòng)概率,所述p0(k)表示所述預(yù)設(shè)類(lèi)別的類(lèi)別比例,其中,當(dāng)所述訓(xùn)練圖像的真實(shí)類(lèi)別與所述預(yù)設(shè)類(lèi)別相同時(shí),所述δy(k)為1,當(dāng)所述訓(xùn)練圖像的真實(shí)類(lèi)別與所述預(yù)設(shè)類(lèi)別不同時(shí),所述δy(k)為0。
可選地,基于所述多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,包括:
確定所述多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量;
基于所述平均類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,基于所述平均類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,包括:
確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和,得到多個(gè)平方和;
當(dāng)所述多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí),基于所述平均類(lèi)別概率誤差向量,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整;
通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)所述多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,并返回所述對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定所述訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到所述訓(xùn)練圖像的類(lèi)別概率誤差向量的步驟,直至通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于所述預(yù)設(shè)閾值為止。
第二方面,提供一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置,所述裝置包括:
識(shí)別處理模塊,用于通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率;
第一確定模塊,用于對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定所述識(shí)別處理模塊識(shí)別的所述訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到所述訓(xùn)練圖像的類(lèi)別概率誤差向量,所述初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,所述多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到;
訓(xùn)練模塊,用于基于所述第一確定模塊確定的所述多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,所述裝置還包括:
第二確定模塊,用于對(duì)于所述多個(gè)預(yù)設(shè)類(lèi)別中的每個(gè)預(yù)設(shè)類(lèi)別,確定所述預(yù)設(shè)類(lèi)別的類(lèi)別比例;
第三確定模塊,用于基于所述預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類(lèi)別以及所述預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)如下公式確定與所述預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率;
p(k)=λ*δy(k)+(1-λ)*p0(k);
其中,所述p(k)表示與所述預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,λ表示所述預(yù)設(shè)擾動(dòng)概率,所述p0(k)表示所述預(yù)設(shè)類(lèi)別的類(lèi)別比例,其中,當(dāng)所述訓(xùn)練圖像的真實(shí)類(lèi)別與所述預(yù)設(shè)類(lèi)別相同時(shí),所述δy(k)為1,當(dāng)所述訓(xùn)練圖像的真實(shí)類(lèi)別與所述預(yù)設(shè)類(lèi)別不同時(shí),所述δy(k)為0。
可選地,所述訓(xùn)練模塊包括:
確定子模塊,用于確定所述多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量;
訓(xùn)練子模塊,用于基于所述平均類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,所述訓(xùn)練子模塊用于:
確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和,得到多個(gè)平方和;
當(dāng)所述多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí),基于所述平均類(lèi)別概率誤差向量,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整;
通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)所述多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,并返回所述對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定所述訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到所述訓(xùn)練圖像的類(lèi)別概率誤差向量的步驟,直至通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于所述預(yù)設(shè)閾值為止。
第三方面,提供了一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置,所述裝置包括:
處理器;
用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器;
其中,所述處理器被配置為:
通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率;
對(duì)于所述多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定所述訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到所述訓(xùn)練圖像的類(lèi)別概率誤差向量,所述初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,所述多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、所述訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到;
基于所述多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和所述多個(gè)訓(xùn)練圖像,對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
本公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果:通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理得到多個(gè)預(yù)測(cè)類(lèi)別概率向量后,確定每個(gè)訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量。其中,由于每個(gè)訓(xùn)練圖像的初始類(lèi)別概率向量中包括的多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、對(duì)應(yīng)訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到,如此,在基于多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)能夠加快算法收斂速度,從而保證了訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像識(shí)別的準(zhǔn)確性。
應(yīng)當(dāng)理解的是,以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的,并不能限制本公開(kāi)。
附圖說(shuō)明
此處的附圖被并入說(shuō)明書(shū)中并構(gòu)成本說(shuō)明書(shū)的一部分,示出了符合本公開(kāi)的實(shí)施例,并與說(shuō)明書(shū)一起用于解釋本公開(kāi)的原理。
圖1是根據(jù)一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法流程圖;
圖2是根據(jù)另一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法流程圖;
圖3a是根據(jù)一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置的框圖;
圖3b是根據(jù)另一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置的框圖;
圖4是根據(jù)一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置400的框圖。
具體實(shí)施方式
這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明,其示例表示在附圖中。下面的描述涉及附圖時(shí),除非另有表示,不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開(kāi)相一致的所有實(shí)施方式。相反,它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本公開(kāi)的一些方面相一致的裝置和方法的例子。
在對(duì)本公開(kāi)實(shí)施例進(jìn)行詳細(xì)地解釋介紹之前,先對(duì)本公開(kāi)實(shí)施例涉及的名詞進(jìn)行簡(jiǎn)要介紹:
卷積神經(jīng)網(wǎng)絡(luò)模型:是一種前饋神經(jīng)網(wǎng)絡(luò),一般由一個(gè)或多個(gè)卷積層和頂端的全連通層組成,當(dāng)然,除此之外,卷積神經(jīng)網(wǎng)絡(luò)模型還包括有關(guān)聯(lián)權(quán)重和池化層。在具體實(shí)現(xiàn)中,可以使用反向傳播算法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
預(yù)測(cè)類(lèi)別概率向量:包括多個(gè)預(yù)測(cè)類(lèi)別概率,即預(yù)測(cè)類(lèi)別概率向量中的每個(gè)元素為一個(gè)預(yù)測(cè)類(lèi)別概率。每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率。其中,該多個(gè)預(yù)設(shè)類(lèi)別可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置,如,該多個(gè)預(yù)設(shè)類(lèi)別可以包括“貓”、“狗”、“熊”、“獅子”、“老虎”等,則某個(gè)預(yù)測(cè)類(lèi)別概率可以為對(duì)應(yīng)的訓(xùn)練圖像屬于“貓”的概率。其中,每個(gè)預(yù)測(cè)類(lèi)別概率向量是通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)對(duì)應(yīng)的訓(xùn)練圖像進(jìn)行識(shí)別處理后得到。
初始類(lèi)別概率向量:包括多個(gè)初始類(lèi)別概率,即初始類(lèi)別概率向量中的每個(gè)元素為一個(gè)初始類(lèi)別概率。在本公開(kāi)實(shí)施例中,該多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到,具體實(shí)現(xiàn)過(guò)程請(qǐng)參見(jiàn)下文圖2實(shí)施例中的步驟202所述。
類(lèi)別比例:每個(gè)預(yù)設(shè)類(lèi)別在多個(gè)預(yù)設(shè)類(lèi)別中所占的比例。
模型參數(shù):是指卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù),該模型參數(shù)一般包括卷積層的卷積核、全連接層的權(quán)重矩陣等,主要用于對(duì)訓(xùn)練圖像進(jìn)行識(shí)別處理。
接下來(lái),對(duì)本公開(kāi)實(shí)施例的應(yīng)用場(chǎng)景予以說(shuō)明。目前,為了使得已完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別過(guò)程中識(shí)別出的預(yù)測(cè)類(lèi)別與圖像的真實(shí)類(lèi)別一樣,在訓(xùn)練過(guò)程中,對(duì)于多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,通常將該訓(xùn)練圖像的初始類(lèi)別概率向量中真實(shí)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率設(shè)置為1,其他初始類(lèi)別概率設(shè)置為0。然而,如此設(shè)置后,當(dāng)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行深度訓(xùn)練時(shí),容易導(dǎo)致算法無(wú)法快速收斂,并且,在訓(xùn)練結(jié)束后,卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力容易受到損害,從而導(dǎo)致影響訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型的識(shí)別能力。為此,本公開(kāi)實(shí)施例提供了一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法,該方法能夠加快算法收斂速度,并提高了卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力,從而保證了訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像識(shí)別的準(zhǔn)確性。其中,該卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法由終端執(zhí)行,該終端可以基于多個(gè)訓(xùn)練圖像對(duì)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。其中,該終端可以為諸如計(jì)算機(jī)、平板電腦之類(lèi)的終端,本公開(kāi)實(shí)施例對(duì)此不作限定。
圖1是根據(jù)一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法流程圖,如圖1所示,該卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法用于終端中,包括以下步驟。
在步驟101中,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率。
在步驟102中,對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量,該初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,該多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到。
在步驟103中,基于該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
在本公開(kāi)實(shí)施例中,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理得到多個(gè)預(yù)測(cè)類(lèi)別概率向量后,確定每個(gè)訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量。其中,由于每個(gè)訓(xùn)練圖像的初始類(lèi)別概率向量中包括的多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、對(duì)應(yīng)訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到,如此,在基于多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)能夠加快算法收斂速度,從而保證了訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像識(shí)別的準(zhǔn)確性。
可選地,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值之前,還包括:
對(duì)于該多個(gè)預(yù)設(shè)類(lèi)別中的每個(gè)預(yù)設(shè)類(lèi)別,確定該預(yù)設(shè)類(lèi)別的類(lèi)別比例;
基于該預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及該預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)如下公式確定與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率;
p(k)=λ*δy(k)+(1-λ)*p0(k);
其中,該p(k)表示與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,λ表示該預(yù)設(shè)擾動(dòng)概率,該p0(k)表示該預(yù)設(shè)類(lèi)別的類(lèi)別比例,其中,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別相同時(shí),該δy(k)為1,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別不同時(shí),該δy(k)為0。
可選地,基于該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,包括:
確定該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量;
基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,包括:
確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和,得到多個(gè)平方和;
當(dāng)該多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí),基于該平均類(lèi)別概率誤差向量,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整;
通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)該多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,并返回該對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量的步驟,直至通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于該預(yù)設(shè)閾值為止。
上述所有可選技術(shù)方案,均可按照任意結(jié)合形成本公開(kāi)的可選實(shí)施例,本公開(kāi)實(shí)施例對(duì)此不再一一贅述。
圖2是根據(jù)另一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法流程圖,如圖2所示,該卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法用于終端中,該卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法包括以下步驟:
在步驟201中,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量。
在實(shí)際實(shí)現(xiàn)過(guò)程中,技術(shù)人員可以根據(jù)實(shí)際需求在終端中存儲(chǔ)多個(gè)訓(xùn)練圖像,該多個(gè)訓(xùn)練圖像用于對(duì)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,例如,該多個(gè)訓(xùn)練圖像可以為動(dòng)物訓(xùn)練圖像等,該多個(gè)訓(xùn)練圖像的數(shù)量通常達(dá)到幾百萬(wàn)個(gè)。
在具體實(shí)現(xiàn)中,終端可以采用文件夾或列表等方式來(lái)存儲(chǔ)該多個(gè)訓(xùn)練圖像。接下來(lái),以終端采用文件夾的方式存儲(chǔ)該多個(gè)訓(xùn)練圖像為例進(jìn)行說(shuō)明,該多個(gè)訓(xùn)練圖像可以存儲(chǔ)在一個(gè)文件夾中,該文件夾中可以包括多個(gè)子文件夾,其中,每個(gè)訓(xùn)練圖像可以對(duì)應(yīng)于一個(gè)子文件夾。
在具體實(shí)現(xiàn)中,每個(gè)子文件夾可以以對(duì)應(yīng)的訓(xùn)練圖像的圖像名稱(chēng)進(jìn)行命名,并且,該子文件夾中還可以存儲(chǔ)有對(duì)應(yīng)的訓(xùn)練圖像的圖像信息,例如,該圖像信息可以為該訓(xùn)練圖像的真實(shí)類(lèi)別等信息。如此,終端根據(jù)訓(xùn)練圖像的圖像名稱(chēng)可以從對(duì)應(yīng)的子文件夾中獲取到該訓(xùn)練圖像和該訓(xùn)練圖像的真實(shí)類(lèi)別。
當(dāng)然,需要說(shuō)明的是,上述終端存儲(chǔ)多個(gè)訓(xùn)練圖像的方式僅是示例性的,在另一實(shí)施例中,終端還可以通過(guò)其它方式存儲(chǔ)該多個(gè)訓(xùn)練圖像,本公開(kāi)實(shí)施例對(duì)此不做限定。
當(dāng)需要對(duì)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí),終端首先初始化該待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)。之后,終端獲取存儲(chǔ)的該多個(gè)訓(xùn)練圖像,將該多個(gè)訓(xùn)練圖像輸入至該待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型中,并通過(guò)該待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)該多個(gè)訓(xùn)練圖像進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量。其中,該多個(gè)預(yù)測(cè)類(lèi)別概率向量中的每個(gè)預(yù)測(cè)類(lèi)別概率向量與該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像一一對(duì)應(yīng)。
需要說(shuō)明的是,終端通過(guò)該待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)該多個(gè)訓(xùn)練圖像進(jìn)行識(shí)別處理可以包括卷積、池化、激活等操作,其具體實(shí)現(xiàn)過(guò)程可以參見(jiàn)相關(guān)技術(shù),本公開(kāi)實(shí)施例對(duì)此不作詳細(xì)介紹。
如前文所述,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,其中,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率。
例如,該多個(gè)預(yù)設(shè)類(lèi)別可以為1000個(gè)預(yù)設(shè)類(lèi)別,該1000個(gè)預(yù)設(shè)類(lèi)別可以包括“貓”、“狗”、“熊”、“獅子”、“老虎”等。在該種情況下,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理后,得到的多個(gè)預(yù)測(cè)類(lèi)別概率向量中的每個(gè)預(yù)測(cè)類(lèi)別概率向量均包括1000個(gè)預(yù)測(cè)類(lèi)別概率,譬如,通過(guò)識(shí)別處理后得到某訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量為{x1,x2,x3,x4,…,x1000},其中,x1、x2、x3、x4、x1000均表示預(yù)測(cè)類(lèi)別概率。
在步驟202中,對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量。
需要說(shuō)明的是,在確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值之前,需要確定該訓(xùn)練圖像的初始類(lèi)別概率向量。如前文所述,該初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,該多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到。
其中,該預(yù)設(shè)擾動(dòng)概率可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置,例如,該預(yù)設(shè)擾動(dòng)概率可以設(shè)置為0.05。也即是,在本公開(kāi)實(shí)施例中,以預(yù)設(shè)擾動(dòng)概率對(duì)訓(xùn)練圖像的類(lèi)別加以擾動(dòng),并基于擾動(dòng)后的初始類(lèi)別概率來(lái)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,如此,可以避免算法無(wú)法快速收斂,以及解決了卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力不足的問(wèn)題。
另外,如前文所述,終端根據(jù)該訓(xùn)練圖像的圖像名稱(chēng),可以從該訓(xùn)練圖像對(duì)應(yīng)的子文件夾中獲取到該訓(xùn)練圖像的真實(shí)類(lèi)別。
在具體實(shí)現(xiàn)中,終端基于預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例,確定該訓(xùn)練圖像的初始類(lèi)別概率可以包括如下(1)-(2)實(shí)現(xiàn)過(guò)程:
(1)對(duì)于該多個(gè)預(yù)設(shè)類(lèi)別中的每個(gè)預(yù)設(shè)類(lèi)別,確定該預(yù)設(shè)類(lèi)別的類(lèi)別比例。
例如,若該預(yù)設(shè)類(lèi)別為“貓”,且該多個(gè)預(yù)設(shè)類(lèi)別中包括500個(gè)“貓”,則該預(yù)設(shè)類(lèi)別“貓”在該多個(gè)預(yù)設(shè)類(lèi)別中的類(lèi)別比例為0.5。
在具體實(shí)現(xiàn)中,該類(lèi)別比例還可以稱(chēng)為先驗(yàn)概率。也即是,在本公開(kāi)實(shí)施例中,終端通過(guò)計(jì)算1000個(gè)預(yù)設(shè)類(lèi)別在訓(xùn)練數(shù)據(jù)中的先驗(yàn)概率,來(lái)確定該訓(xùn)練圖像的初始類(lèi)別概率向量,可以最大程度地提高了類(lèi)別擾動(dòng)的正面效應(yīng)。
(2)基于該預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及該預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)如下公式(1)確定與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率;
p(k)=λ*δy(k)+(1-λ)*p0(k);(1)
其中,該p(k)表示與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,λ表示該預(yù)設(shè)擾動(dòng)概率,該p0(k)表示該預(yù)設(shè)類(lèi)別的類(lèi)別比例,其中,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別相同時(shí),該δy(k)為1,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別不同時(shí),該δy(k)為0。
進(jìn)一步地,在基于該預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及該預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)公式(1)確定與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率之前,還需要根據(jù)該訓(xùn)練圖像的真實(shí)類(lèi)別來(lái)確定δy(k)的值,在實(shí)際實(shí)現(xiàn)中,該δy(k)的值可以通過(guò)如下公式(2)來(lái)確定:
其中,y表示訓(xùn)練圖像的真實(shí)類(lèi)別,k表示上述預(yù)設(shè)類(lèi)別,也即是,如前文所述,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別相同時(shí),該δy(k)為1,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別不同時(shí),該δy(k)為0。
例如,若該訓(xùn)練圖像的真實(shí)類(lèi)別為“狗”,則當(dāng)該預(yù)設(shè)類(lèi)別為“狗”時(shí),該δy(k)為1,當(dāng)該預(yù)設(shè)類(lèi)別為“貓”時(shí),該δy(k)為0。
終端通過(guò)上述實(shí)現(xiàn)過(guò)程可以確定與每個(gè)預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,從而得到多個(gè)初始類(lèi)別概率,之后,終端將得到的該多個(gè)初始類(lèi)別概率組成該訓(xùn)練圖像的初始類(lèi)別概率向量,例如,該初始類(lèi)別概率向量為{y1,y2,y3,y4,…,y1000}。
終端確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量。例如,若該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量為{x1,x2,x3,x4,…,x1000},初始類(lèi)別概率向量為{y1,y2,y3,y4,…,y1000},則可以得到的該訓(xùn)練圖像的類(lèi)別概率誤差向量為{y1-x1,y2-x2,y3-x3,y4-x4,…,y1000-x1000}。
在步驟203中,確定該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量。
終端得到每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量后,即可根據(jù)該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,其具體實(shí)現(xiàn)過(guò)程可以包括該步驟203和步驟204。
也即是,終端首先確定該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量。在具體實(shí)現(xiàn)中,終端可以將該多個(gè)類(lèi)別概率誤差向量中對(duì)應(yīng)位置上的各個(gè)元素相加,之后,確定相加后的各元素的平均值,從而可以得到該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量。
在步驟204中,基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
在具體實(shí)現(xiàn)中,終端基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練可以包括如下2041-2043幾個(gè)實(shí)現(xiàn)步驟:
2041:確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和,得到多個(gè)平方和。
例如,若某訓(xùn)練圖像的類(lèi)別概率誤差向量為{y1-x1,y2-x2,y3-x3,y4-x4,…,y1000-x1000},則該訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和為(y1-x1)2+(y2-x2)2+(y3-x3)2+(y4-x4)2+,…,+(y1000-x1000)2。同理,按照該方法,可以確定該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像對(duì)應(yīng)的平方和。
需要說(shuō)明的是,這里僅是以確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和為例進(jìn)行說(shuō)明,在另一實(shí)施例中,確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和后,還可以對(duì)該平方和做進(jìn)一步處理,例如,還可以對(duì)該平方和進(jìn)行開(kāi)根號(hào)處理等,當(dāng)然,在該種情況下,終端需要根據(jù)對(duì)該平方和做進(jìn)一步處理后的值進(jìn)行后續(xù)處理,本公開(kāi)實(shí)施例對(duì)此不作限定。
2042:當(dāng)該多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí),基于該平均類(lèi)別概率誤差向量,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整。
其中,該預(yù)設(shè)閾值可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置,也可以由該終端默認(rèn)設(shè)置,本公開(kāi)實(shí)施例對(duì)此不作限定。
如果該多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值,說(shuō)明輸出的訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率與初始類(lèi)別概率相差較大,在該種情況下,需要將該平均類(lèi)別概率誤差向量反向傳播至該卷積神經(jīng)網(wǎng)絡(luò)模型中,以基于該平均類(lèi)別概率誤差向量對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)進(jìn)行調(diào)整。
在具體實(shí)現(xiàn)中,終端可以使用sgd(stochasticgradientdescentlearner,隨機(jī)梯度下降)算法,基于該平均類(lèi)別概率誤差向量對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)進(jìn)行調(diào)整,其具體實(shí)現(xiàn)過(guò)程可以參見(jiàn)相關(guān)技術(shù),這里不做詳細(xì)介紹。
需要說(shuō)明的是,這里僅是以使用sgd算法,基于該平均類(lèi)別概率誤差向量對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)進(jìn)行調(diào)整為例進(jìn)行說(shuō)明,在另一實(shí)施例中,該終端還可以使用其他指定梯度下降算法,基于該平均類(lèi)別概率誤差向量對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)進(jìn)行調(diào)整,本公開(kāi)實(shí)施例對(duì)此不做限定。
2043:通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)該多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,并返回該對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量的步驟,直至通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于該預(yù)設(shè)閾值為止。
終端基于該平均類(lèi)別概率誤差向量對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整后,通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)該多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,即迭代上述訓(xùn)練過(guò)程。
在訓(xùn)練過(guò)程中,當(dāng)通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于該預(yù)設(shè)閾值,說(shuō)明輸出的預(yù)測(cè)類(lèi)別概率與初始類(lèi)別概率十分接近,即可以認(rèn)為當(dāng)前的卷積神經(jīng)網(wǎng)絡(luò)模型能夠較準(zhǔn)確的識(shí)別出訓(xùn)練圖像。因此,終端結(jié)束對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,并將此時(shí)的模型參數(shù)確定為完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù),從而實(shí)現(xiàn)了對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。
例如,若該預(yù)設(shè)閾值為0.1,當(dāng)通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值為0.08時(shí),說(shuō)明通過(guò)此時(shí)的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)多個(gè)訓(xùn)練圖像進(jìn)行識(shí)別處理后得到的多個(gè)預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量很接近,因此,結(jié)束對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,并將此時(shí)的模型參數(shù)確定為完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)。
需要說(shuō)明的是,這里僅是以根據(jù)多個(gè)平方和的平均值來(lái)確定是否完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練為例進(jìn)行說(shuō)明,在另一實(shí)施例中,終端還可以根據(jù)迭代次數(shù)來(lái)確定是否完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練,例如,終端在訓(xùn)練過(guò)程中,可以統(tǒng)計(jì)迭代次數(shù),當(dāng)該迭代次數(shù)達(dá)到預(yù)先設(shè)置的預(yù)設(shè)次數(shù)時(shí),結(jié)束訓(xùn)練過(guò)程,并確定完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。其中,該預(yù)設(shè)次數(shù)可以由技術(shù)人員根據(jù)實(shí)際需求自定義設(shè)置。
這里需要說(shuō)明的是,通過(guò)上述步驟203和步驟204共同實(shí)現(xiàn)了:基于該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的操作。
在本公開(kāi)實(shí)施例中,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理得到多個(gè)預(yù)測(cè)類(lèi)別概率向量后,確定每個(gè)訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量。其中,由于每個(gè)訓(xùn)練圖像的初始類(lèi)別概率向量中包括的多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、對(duì)應(yīng)訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到,如此,在基于多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)能夠加快算法收斂速度,從而保證了訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像識(shí)別的準(zhǔn)確性。
圖3a是根據(jù)一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置框圖。參照?qǐng)D3a,該裝置包括識(shí)別處理模塊310,第一確定模塊320和訓(xùn)練模塊330。
識(shí)別處理模塊310,用于通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率;
第一確定模塊320,用于對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該識(shí)別處理模塊310識(shí)別的該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量,該初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,該多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到;
訓(xùn)練模塊330,用于基于該第一確定模塊320確定的該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
在本公開(kāi)實(shí)施例中,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理得到多個(gè)預(yù)測(cè)類(lèi)別概率向量后,確定每個(gè)訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量。其中,由于每個(gè)訓(xùn)練圖像的初始類(lèi)別概率向量中包括的多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、對(duì)應(yīng)訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到,如此,在基于多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)能夠加快算法收斂速度,從而保證了訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像識(shí)別的準(zhǔn)確性。
可選地,請(qǐng)參考圖3b,該裝置還包括:
第二確定模塊340,用于對(duì)于該多個(gè)預(yù)設(shè)類(lèi)別中的每個(gè)預(yù)設(shè)類(lèi)別,確定該預(yù)設(shè)類(lèi)別的類(lèi)別比例;
第三確定模塊350,用于基于該預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及該預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)如下公式確定與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率;
p(k)=λ*δy(k)+(1-λ)*p0(k);
其中,該p(k)表示與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,λ表示該預(yù)設(shè)擾動(dòng)概率,該p0(k)表示該預(yù)設(shè)類(lèi)別的類(lèi)別比例,其中,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別相同時(shí),該δy(k)為1,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別不同時(shí),該δy(k)為0。
可選地,該訓(xùn)練模塊330包括:
確定子模塊,用于確定該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量;
訓(xùn)練子模塊,用于基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,該訓(xùn)練子模塊用于:
確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和,得到多個(gè)平方和;
當(dāng)該多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí),基于該平均類(lèi)別概率誤差向量,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整;
通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)該多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,并返回該對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量的步驟,直至通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于該預(yù)設(shè)閾值為止。
關(guān)于上述實(shí)施例中的裝置,其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述,此處將不做詳細(xì)闡述說(shuō)明。
圖4是根據(jù)一示例性實(shí)施例示出的一種卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置400的框圖。例如,裝置400可以是移動(dòng)電話(huà),計(jì)算機(jī),數(shù)字廣播終端,消息收發(fā)設(shè)備,游戲控制臺(tái),平板設(shè)備,醫(yī)療設(shè)備,健身設(shè)備,個(gè)人數(shù)字助理等。
參照?qǐng)D4,裝置400可以包括以下一個(gè)或多個(gè)組件:處理組件402,存儲(chǔ)器404,電源組件406,多媒體組件408,音頻組件410,輸入/輸出(i/o)的接口412,傳感器組件414,以及通信組件416。
處理組件402通常控制裝置400的整體操作,諸如與顯示,電話(huà)呼叫,數(shù)據(jù)通信,相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件402可以包括一個(gè)或多個(gè)處理器420來(lái)執(zhí)行指令,以完成上述的方法的全部或部分步驟。此外,處理組件402可以包括一個(gè)或多個(gè)模塊,便于處理組件402和其他組件之間的交互。例如,處理組件402可以包括多媒體模塊,以方便多媒體組件408和處理組件402之間的交互。
存儲(chǔ)器404被配置為存儲(chǔ)各種類(lèi)型的數(shù)據(jù)以支持在裝置400的操作。這些數(shù)據(jù)的示例包括用于在裝置400上操作的任何應(yīng)用程序或方法的指令,聯(lián)系人數(shù)據(jù),電話(huà)簿數(shù)據(jù),消息,圖片,視頻等。存儲(chǔ)器404可以由任何類(lèi)型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn),如靜態(tài)隨機(jī)存取存儲(chǔ)器(sram),電可擦除可編程只讀存儲(chǔ)器(eeprom),可擦除可編程只讀存儲(chǔ)器(eprom),可編程只讀存儲(chǔ)器(prom),只讀存儲(chǔ)器(rom),磁存儲(chǔ)器,快閃存儲(chǔ)器,磁盤(pán)或光盤(pán)。
電源組件406為裝置400的各種組件提供電源。電源組件406可以包括電源管理系統(tǒng),一個(gè)或多個(gè)電源,及其他與為裝置400生成、管理和分配電源相關(guān)聯(lián)的組件。
多媒體組件408包括在所述裝置400和用戶(hù)之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中,屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板,屏幕可以被實(shí)現(xiàn)為觸摸屏,以接收來(lái)自用戶(hù)的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界,而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中,多媒體組件408包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置400處于操作模式,如拍攝模式或視頻模式時(shí),前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。
音頻組件410被配置為輸出和/或輸入音頻信號(hào)。例如,音頻組件410包括一個(gè)麥克風(fēng)(mic),當(dāng)裝置400處于操作模式,如呼叫模式、記錄模式和語(yǔ)音識(shí)別模式時(shí),麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器404或經(jīng)由通信組件416發(fā)送。在一些實(shí)施例中,音頻組件410還包括一個(gè)揚(yáng)聲器,用于輸出音頻信號(hào)。
i/o接口412為處理組件402和外圍接口模塊之間提供接口,上述外圍接口模塊可以是鍵盤(pán),點(diǎn)擊輪,按鈕等。這些按鈕可包括但不限于:主頁(yè)按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。
傳感器組件414包括一個(gè)或多個(gè)傳感器,用于為裝置400提供各個(gè)方面的狀態(tài)評(píng)估。例如,傳感器組件414可以檢測(cè)到裝置400的打開(kāi)/關(guān)閉狀態(tài),組件的相對(duì)定位,例如所述組件為裝置400的顯示器和小鍵盤(pán),傳感器組件414還可以檢測(cè)裝置400或裝置400一個(gè)組件的位置改變,用戶(hù)與裝置400接觸的存在或不存在,裝置400方位或加速/減速和裝置400的溫度變化。傳感器組件414可以包括接近傳感器,被配置用來(lái)在沒(méi)有任何的物理接觸時(shí)檢測(cè)附近物體的存在。傳感器組件414還可以包括光傳感器,如cmos或ccd圖像傳感器,用于在成像應(yīng)用中使用。在一些實(shí)施例中,該傳感器組件414還可以包括加速度傳感器,陀螺儀傳感器,磁傳感器,壓力傳感器或溫度傳感器。
通信組件416被配置為便于裝置400和其他設(shè)備之間有線(xiàn)或無(wú)線(xiàn)方式的通信。裝置400可以接入基于通信標(biāo)準(zhǔn)的無(wú)線(xiàn)網(wǎng)絡(luò),如wifi,2g或3g,或它們的組合。在一個(gè)示例性實(shí)施例中,通信組件416經(jīng)由廣播信道接收來(lái)自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中,所述通信組件416還包括近場(chǎng)通信(nfc)模塊,以促進(jìn)短程通信。例如,在nfc模塊可基于射頻識(shí)別(rfid)技術(shù),紅外數(shù)據(jù)協(xié)會(huì)(irda)技術(shù),超寬帶(uwb)技術(shù),藍(lán)牙(bt)技術(shù)和其他技術(shù)來(lái)實(shí)現(xiàn)。
在示例性實(shí)施例中,裝置400可以被一個(gè)或多個(gè)應(yīng)用專(zhuān)用集成電路(asic)、數(shù)字信號(hào)處理器(dsp)、數(shù)字信號(hào)處理設(shè)備(dspd)、可編程邏輯器件(pld)、現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn),用于執(zhí)行上述方法。
在示例性實(shí)施例中,還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),例如包括指令的存儲(chǔ)器404,上述指令可由裝置400的處理器420執(zhí)行以完成上述方法。例如,所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是rom、隨機(jī)存取存儲(chǔ)器(ram)、cd-rom、磁帶、軟盤(pán)和光數(shù)據(jù)存儲(chǔ)設(shè)備等。
一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),當(dāng)所述存儲(chǔ)介質(zhì)中的指令由移動(dòng)終端的處理器執(zhí)行時(shí),使得移動(dòng)終端能夠執(zhí)行上述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法,該方法包括:
通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,每個(gè)預(yù)測(cè)類(lèi)別概率向量中包括多個(gè)預(yù)測(cè)類(lèi)別概率,每個(gè)預(yù)測(cè)類(lèi)別概率為對(duì)應(yīng)的訓(xùn)練圖像屬于多個(gè)預(yù)設(shè)類(lèi)別中每個(gè)預(yù)設(shè)類(lèi)別的概率;
對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量,該初始類(lèi)別概率向量中包括多個(gè)初始類(lèi)別概率,該多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到;
基于該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值之前,還包括:
對(duì)于該多個(gè)預(yù)設(shè)類(lèi)別中的每個(gè)預(yù)設(shè)類(lèi)別,確定該預(yù)設(shè)類(lèi)別的類(lèi)別比例;
基于該預(yù)設(shè)擾動(dòng)概率、該訓(xùn)練圖像的真實(shí)類(lèi)別以及該預(yù)設(shè)類(lèi)別的類(lèi)別比例,通過(guò)如下公式確定與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率;
p(k)=λ*δy(k)+(1-λ)*p0(k);
其中,該p(k)表示與該預(yù)設(shè)類(lèi)別對(duì)應(yīng)的初始類(lèi)別概率,λ表示該預(yù)設(shè)擾動(dòng)概率,該p0(k)表示該預(yù)設(shè)類(lèi)別的類(lèi)別比例,其中,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別相同時(shí),該δy(k)為1,當(dāng)該訓(xùn)練圖像的真實(shí)類(lèi)別與該預(yù)設(shè)類(lèi)別不同時(shí),該δy(k)為0。
可選地,基于該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,包括:
確定該多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量的平均類(lèi)別概率誤差向量;
基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。
可選地,基于該平均類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,包括:
確定每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量中的各個(gè)元素的平方和,得到多個(gè)平方和;
當(dāng)該多個(gè)平方和的平均值大于或等于預(yù)設(shè)閾值時(shí),基于該平均類(lèi)別概率誤差向量,對(duì)該卷積神經(jīng)網(wǎng)絡(luò)模型包括的模型參數(shù)進(jìn)行調(diào)整;
通過(guò)模型參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)重新對(duì)該多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理,得到多個(gè)預(yù)測(cè)類(lèi)別概率向量,并返回該對(duì)于該多個(gè)訓(xùn)練圖像中的每個(gè)訓(xùn)練圖像,確定該訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到該訓(xùn)練圖像的類(lèi)別概率誤差向量的步驟,直至通過(guò)每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量確定得到的多個(gè)平方和的平均值小于該預(yù)設(shè)閾值為止。
在本公開(kāi)實(shí)施例中,通過(guò)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)存儲(chǔ)的多個(gè)訓(xùn)練圖像分別進(jìn)行識(shí)別處理得到多個(gè)預(yù)測(cè)類(lèi)別概率向量后,確定每個(gè)訓(xùn)練圖像的預(yù)測(cè)類(lèi)別概率向量與初始類(lèi)別概率向量之間的差值,得到每個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量。其中,由于每個(gè)訓(xùn)練圖像的初始類(lèi)別概率向量中包括的多個(gè)初始類(lèi)別概率是基于預(yù)設(shè)擾動(dòng)概率、對(duì)應(yīng)訓(xùn)練圖像的真實(shí)類(lèi)別以及對(duì)應(yīng)類(lèi)別的類(lèi)別比例確定得到,如此,在基于多個(gè)訓(xùn)練圖像的類(lèi)別概率誤差向量和該多個(gè)訓(xùn)練圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)能夠加快算法收斂速度,從而保證了訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像識(shí)別的準(zhǔn)確性。
本領(lǐng)域技術(shù)人員在考慮說(shuō)明書(shū)及實(shí)踐這里公開(kāi)的發(fā)明后,將容易想到本公開(kāi)的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本公開(kāi)的任何變型、用途或者適應(yīng)性變化,這些變型、用途或者適應(yīng)性變化遵循本公開(kāi)的一般性原理并包括本公開(kāi)未公開(kāi)的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書(shū)和實(shí)施例僅被視為示例性的,本公開(kāi)的真正范圍和精神由下面的權(quán)利要求指出。
應(yīng)當(dāng)理解的是,本公開(kāi)并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu),并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開(kāi)的范圍僅由所附的權(quán)利要求來(lái)限制。