卷積神經(jīng)網(wǎng)絡(luò)分類器及其分類方法和訓(xùn)練方法
【專利摘要】本發(fā)明涉及一種卷積神經(jīng)網(wǎng)絡(luò)分類器、利用卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類的方法和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法。卷積神經(jīng)網(wǎng)絡(luò)分類器包括：多個(gè)特征圖層，多個(gè)特征圖層中的至少一個(gè)特征圖層中的至少一個(gè)特征圖被劃分成多個(gè)區(qū)域；以及多個(gè)卷積模板，多個(gè)卷積模板與多個(gè)區(qū)域分別對(duì)應(yīng)，每個(gè)卷積模板用于獲得相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值。
【專利說明】卷積神經(jīng)網(wǎng)絡(luò)分類器及其分類方法和訓(xùn)練方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像識(shí)別領(lǐng)域，具體涉及一種卷積神經(jīng)網(wǎng)絡(luò)分類器、利用卷積神經(jīng)網(wǎng) 絡(luò)分類器進(jìn)行分類的方法和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法。

【背景技術(shù)】
[0002] 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱CNN)分類器常被用于圖像 識(shí)別。圖1示出了一種傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器，圖4至圖7示出了用傳統(tǒng)的卷積神經(jīng)網(wǎng) 絡(luò)分類器來計(jì)算神經(jīng)元的響應(yīng)值的過程。在利用該傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行識(shí)別的 過程中，以手寫數(shù)字為例，輸入一幅圖像，經(jīng)過多次重復(fù)的卷積、空間最大采樣和全連接操 作后，卷積神經(jīng)網(wǎng)絡(luò)分類器輸出在每種數(shù)字上的置信度，置信度最高的輸出就是識(shí)別結(jié)果。 圖1和圖4至圖7中的每個(gè)方框?yàn)橐粋€(gè)特征圖，比如FI、F2和F3,輸入圖像也可以被看作 特征圖。
[0003] 在上述方法中，卷積操作的作用是從前一層的特征圖上提取特征。但是，傳統(tǒng)卷積 神經(jīng)網(wǎng)絡(luò)分類器的卷積操作在很大程度上限制了所能提取到的特征數(shù)量，導(dǎo)致卷積神經(jīng)網(wǎng) 絡(luò)分類器的結(jié)構(gòu)不夠靈活。
[0004] 因此，期望一種能夠解決上述問題的技術(shù)。


【發(fā)明內(nèi)容】

[0005] 在下文中給出關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理 解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān) 鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念， 以此作為稍后論述的更詳細(xì)描述的前序。
[0006] 本發(fā)明的一個(gè)主要目的在于，提供一種卷積神經(jīng)網(wǎng)絡(luò)分類器、利用卷積神經(jīng)網(wǎng)絡(luò) 分類器進(jìn)行分類的方法和訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法。
[0007] 根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種卷積神經(jīng)網(wǎng)絡(luò)分類器，卷積神經(jīng)網(wǎng)絡(luò)分類 器包括：多個(gè)特征圖層，多個(gè)特征圖層中的至少一個(gè)特征圖層中的至少一個(gè)特征圖被劃分 成多個(gè)區(qū)域；以及多個(gè)卷積模板，多個(gè)卷積模板與多個(gè)區(qū)域分別對(duì)應(yīng)，每個(gè)卷積模板用于獲 得相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值。
[0008] 根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種利用卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類的方 法，其中，卷積神經(jīng)網(wǎng)絡(luò)分類器包括多個(gè)特征圖層，該方法包括：將多個(gè)特征圖層中的至少 一個(gè)特征圖層中的至少一個(gè)特征圖劃分成多個(gè)區(qū)域；將分類對(duì)象送入卷積神經(jīng)網(wǎng)絡(luò)分類器 以進(jìn)行前向傳播從而獲得輸出結(jié)果，在前向傳播的過程中，采用與多個(gè)區(qū)域分別對(duì)應(yīng)的多 個(gè)卷積模板中的各模板來獲得相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值；以及根據(jù)輸出結(jié)果來對(duì)分類 對(duì)象進(jìn)行分類。
[0009] 根據(jù)本發(fā)明的又一個(gè)實(shí)施例，提供了一種訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法，其中， 卷積神經(jīng)網(wǎng)絡(luò)分類器包括多個(gè)特征圖層，該方法包括：將多個(gè)特征圖層中的至少一個(gè)特征 圖層中的至少一個(gè)特征圖劃分成多個(gè)區(qū)域；將具有已知標(biāo)記的訓(xùn)練樣本送入卷積神經(jīng)網(wǎng)絡(luò) 分類器以進(jìn)行前向傳播從而獲得輸出結(jié)果，在前向傳播的過程中，采用與多個(gè)區(qū)域分別對(duì) 應(yīng)的多個(gè)卷積模板中的各模板來獲得相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值；根據(jù)輸出結(jié)果與已知 標(biāo)記之間的差異來進(jìn)行反向傳播以修正包括卷積模板中的權(quán)值在內(nèi)的、卷積神經(jīng)網(wǎng)絡(luò)分類 器的參數(shù)；以及重復(fù)上述步驟，直到滿足預(yù)定條件為止。
[0010] 另外，本發(fā)明的實(shí)施例還提供了用于實(shí)現(xiàn)上述方法的計(jì)算機(jī)程序。
[0011] 此外，本發(fā)明的實(shí)施例還提供了至少計(jì)算機(jī)可讀介質(zhì)形式的計(jì)算機(jī)程序產(chǎn)品，其 上記錄有用于實(shí)現(xiàn)上述方法的計(jì)算機(jī)程序代碼。
[0012] 通過以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu) 點(diǎn)將更加明顯。

【專利附圖】

【附圖說明】
[0013] 參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的說明，會(huì)更加容易地理解本發(fā)明的以上和其 它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似 的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來表示。
[0014] 圖1是示出一種傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器的示意圖；
[0015] 圖2是示出根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器的示意圖；
[0016] 圖3是示出從圖1或2中選出的局部的示意圖；
[0017] 圖4至圖7是示出用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算神經(jīng)元的響應(yīng)值的過程的 示意圖；
[0018] 圖8至圖11是示出用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算神經(jīng)元 的響應(yīng)值的過程的示意圖；
[0019] 圖12是示出根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器的特征圖的劃分方案的 示意圖；
[0020] 圖13是示出根據(jù)本發(fā)明的實(shí)施例的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法的流程圖；
[0021] 圖14是示出根據(jù)本發(fā)明的實(shí)施例的利用卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類的方法的 流程圖；以及
[0022] 圖15是示出可以用于實(shí)施本發(fā)明的利用卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類的方法和 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法的計(jì)算設(shè)備的舉例的結(jié)構(gòu)圖。

【具體實(shí)施方式】
[0023] 下面參照附圖來說明本發(fā)明的實(shí)施例。在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中描 述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng) 當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知 的部件和處理的表示和描述。
[0024] 圖2是示出根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器的示意圖，圖3是示出從 圖1或圖2中選出的局部的示意圖，圖8至圖11是示出用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng) 網(wǎng)絡(luò)分類器來計(jì)算神經(jīng)元的響應(yīng)值的過程的示意圖。
[0025] 如圖2、圖3、圖8至圖11所示，根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器包括 多個(gè)特征圖層，多個(gè)特征圖層中的至少一個(gè)特征圖層中的至少一個(gè)特征圖被劃分成多個(gè)區(qū) 域。根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器還包括多個(gè)卷積模板，這些卷積模板分別 與劃分的多個(gè)區(qū)域?qū)?yīng)，每個(gè)卷積模板用于獲得相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值。
[0026]具體而言，圖2所示的卷積神經(jīng)網(wǎng)絡(luò)分類器與圖1所示的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)分類 器相比，圖2中的松弛卷積操作1'和2'分別替代了圖1中的卷積操作1和2。此外，與圖 1相比，在圖2中，在全連接操作前多增加了一個(gè)松弛操作3'。圖2中的松弛卷積操作就是 上述提到的采用多個(gè)卷積模板進(jìn)行卷積的操作。
[0027] 本文中的術(shù)語(yǔ)"松弛卷積操作"指的是在計(jì)算同一特征圖中的神經(jīng)元的響應(yīng)值時(shí) 采用不同的卷積模板，該特征圖所在的層被稱作"松弛卷積層"。
[0028] 在其他實(shí)施例中，可以適當(dāng)?shù)卣{(diào)整卷積神經(jīng)網(wǎng)絡(luò)分類器的網(wǎng)絡(luò)結(jié)構(gòu)。例如，增加或 減少"松弛卷積-空間最大采樣"成對(duì)操作的數(shù)量，增加或減少全連接操作的數(shù)量，增加或 減少單獨(dú)出現(xiàn)的松弛卷積操作的數(shù)量，將空間最大采樣操作替換成空間子采樣操作，等等。
[0029] 為了進(jìn)一步闡述松弛卷積操作的具體細(xì)節(jié)，以下只選擇圖2中有關(guān)特征圖FI、F2 和F3的局部來舉例說明。從圖2中所選取的局部見圖3。如圖3所示，選取了相鄰的兩層， L層和L+1層。以下將基于圖3來比較傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器和根據(jù)本發(fā)明的卷積神 經(jīng)網(wǎng)絡(luò)分類器的區(qū)別。
[0030] 圖4至圖7示出了用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層特征圖F3 的神經(jīng)元T1、T2、T3和T4的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo)記為T1、T2、T3和T4)的過程。圖8 至圖11示出了用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中L+1層特征圖 F3的神經(jīng)元Tl、T2、T3和T4的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo)記為Tl、T2、T3和T4)的過程。 以下將通過比較的方式來闡述根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器。
[0031] 首先，為了便于理解，對(duì)圖4到圖11做如下幾點(diǎn)說明。
[0032] (1)圖4至圖11中的每個(gè)圓圈代表一個(gè)神經(jīng)元。
[0033] (2)圖4至圖11中的所有w值是卷積模板值，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中通過后向傳 播進(jìn)行學(xué)習(xí)所有w值。
[0034] (3)圖4至圖11中所有卷積模板的大小均為2x2,但是容易理解到，在實(shí)際使用時(shí) 卷積模板大小可為任意值。
[0035] (4)圖8至圖11中L+1層特征圖F3中的虛線表示特征圖F3中的所有神經(jīng)元被劃 分成了兩類，每類神經(jīng)元采用相同的模板，即T1和T2采用一組卷積模板，T3和T4采用另 一組卷積模板。但是容易理解到，將一個(gè)特征圖中的神經(jīng)元?jiǎng)澐殖傻念悇e數(shù)可以任意指定， 劃分的方式可根據(jù)具體任務(wù)決定。例如，對(duì)于手寫字符識(shí)別，可以根據(jù)筆畫像素密度分布來 進(jìn)行劃分，將在稍后各種劃分方案。
[0036] (5)圖4至圖11下方列出了計(jì)算神經(jīng)元Tl、T2、T3和T4的響應(yīng)值的具體公式。 L+1層神經(jīng)元響應(yīng)值的計(jì)算過程是通過在L層施加滑動(dòng)窗口，并把L層滑動(dòng)窗口中的神經(jīng)元 響應(yīng)值與卷積模板值對(duì)應(yīng)相乘得到的。公式中的b、bl和b2表示偏置項(xiàng)(在神經(jīng)網(wǎng)絡(luò)訓(xùn)練 過程中通過后向傳播進(jìn)行學(xué)習(xí)）。公式中的函數(shù)FuncO表示一個(gè)非線性變換函數(shù)，傳統(tǒng)方 法中多采用雙曲正切函數(shù)，而根據(jù)本發(fā)明的實(shí)施例，可以將采用非線性截?cái)嗪瘮?shù)以達(dá)到加 快收斂速度的目的，將在稍后對(duì)此進(jìn)行描述。
[0037] 首先，參照?qǐng)D4至圖7來描述利用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1 層特征圖F3的神經(jīng)元Tl、T2、T3和T4的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo)記為Tl、T2、T3和T4) 的過程。
[0038] 圖4示出了用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層特征圖F3的神 經(jīng)元T1的響應(yīng)值的過程。如圖4所示，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器中，利用L層中的特 征圖F1中的神經(jīng)元SI、S2、S4和S5 (S卩，特征圖F1左上方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng) 值也相應(yīng)地標(biāo)記為SI、S2、S4和S5)與特征圖F2中的神經(jīng)元S10、Sll、S13和S14 (S卩，特 征圖F2左上方的四個(gè)神經(jīng)元）的響應(yīng)值（響應(yīng)值也相應(yīng)地標(biāo)記為S10、Sll、S13和S14)以 及由權(quán)重wl、w2、w3和w4構(gòu)成的模板和由權(quán)重w5、w6、w7和w8構(gòu)成的模板來獲得特征圖 F3中的神經(jīng)元T1的響應(yīng)值。因此，響應(yīng)值T1如下：
[0039] Tl=Func (wl*Sl+w2*S2+w3*S4+w4*S5+w5*S10+w6*Sll+w7*S13+w8*S14)+b (1)
[0040]
[0041] 圖5示出了用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層特征圖F3的神 經(jīng)元T2的響應(yīng)值的過程。如圖5所示，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器中，利用L層中的特 征圖F1中的神經(jīng)元S2、S3、S5和S6 (S卩，特征圖F1右上方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng) 值也相應(yīng)地標(biāo)記為S2、S3、S5和S6)與特征圖F2中的神經(jīng)元Sll、S12、S14和S15 (S卩，特 征圖F2右上方的四個(gè)神經(jīng)元）的響應(yīng)值（響應(yīng)值也相應(yīng)地標(biāo)記為Sll、S12、S14和S15)以 及由權(quán)重wl、w2、w3和w4構(gòu)成的模板和由權(quán)重w5、w6、w7和w8構(gòu)成的模板來獲得特征圖 F3中的神經(jīng)元T2的響應(yīng)值。因此，響應(yīng)值T2如下：
[0042] T2 = Func (wl*S2+w2*S3+w3*S5+w4*S6+w5*Sll+w6*S12+w7*S14+w8*S15)+b (2)
[0043]
[0044] 圖6示出了用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層特征圖F3的神 經(jīng)元T3的響應(yīng)值的過程。如圖6所示，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器中，利用L層中的特 征圖F1中的神經(jīng)元S4、S5、S7和S8 (S卩，特征圖F1左下方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng) 值也相應(yīng)地標(biāo)記為S4、S5、S7和S8)與特征圖F2中的神經(jīng)元S13、S14、S16和S17 (S卩，特 征圖F2右上方的四個(gè)神經(jīng)元）的響應(yīng)值（響應(yīng)值也相應(yīng)地標(biāo)記為S13、S14、S16和S17)以 及由權(quán)重wl、w2、w3和w4構(gòu)成的模板和由權(quán)重w5、w6、w7和w8構(gòu)成的模板來獲得特征圖 F3中的神經(jīng)元T3的響應(yīng)值。因此，響應(yīng)值T3如下：
[0045] T3 = Func (wl*S4+w2*S5+w3*S7+w4*S8+w5*S13+w6*S14+w7*S16+w8*S17)+b (3)
[0046]
[0047] 圖7示出了用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層特征圖F3的神 經(jīng)元T4的響應(yīng)值的過程。如圖7所示，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類器中，利用L層中的特 征圖F1中的神經(jīng)元S5、S6、S8和S9 (S卩，特征圖F1右下方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng) 值也相應(yīng)地標(biāo)記為S5、S6、S8和S9)與特征圖F2中的神經(jīng)元S14、S15、S17和S18 (S卩，特 征圖F2右上方的四個(gè)神經(jīng)元）的響應(yīng)值（響應(yīng)值也相應(yīng)地標(biāo)記為S14、S15、S17和S18)以 及由權(quán)重wl、w2、w3和w4構(gòu)成的模板和由權(quán)重w5、w6、w7和w8構(gòu)成的模板來獲得特征圖 F3中的神經(jīng)元T4的響應(yīng)值。因此，
[0048] 響應(yīng)值T4如下：
[0049] T4 = Func (wl*S5+w2*S6+w3*S8+w4*S9+w5*S14+w6*S15+w7*S17+w8*S18)+b (4)
[0050]
[0051] 參照?qǐng)D4到圖7 (特別是其中的計(jì)算式）可知，對(duì)于傳統(tǒng)卷積方式，計(jì)算L+l 層特征圖F3中的任意神經(jīng)元響應(yīng)值時(shí)：L層的特征圖F1始終采用相同的卷積模板 (wl,w2,w3,w4)，L層的特征圖F2始終采用相同的卷積模板(w5,w6,w7,w8)。
[0052] 現(xiàn)在參照?qǐng)D8至圖11來描述用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì) 算圖3中L+1層特征圖F3的神經(jīng)元Tl、T2、T3和T4響應(yīng)值的過程。
[0053] 如圖8至圖11所示，特征圖F3被劃分為上下兩個(gè)區(qū)域，上方區(qū)域的兩個(gè)神經(jīng)元T1 和T2的響應(yīng)值是用一組模板計(jì)算出的，而下方區(qū)域的兩個(gè)神經(jīng)元T3和T4的響應(yīng)值是用另 一組模板計(jì)算出的。
[0054] 圖8示出了用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層 特征圖F3的神經(jīng)元T1的響應(yīng)值的過程。如圖8所示，在根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng) 網(wǎng)絡(luò)分類器中，利用L層中的特征圖F1中的神經(jīng)元S1、S2、S4和S5(S卩，特征圖F1左上方 的四個(gè)神經(jīng)元）的響應(yīng)值（響應(yīng)值也相應(yīng)地標(biāo)記為SI、S2、S4和S5)與特征圖F2中的神經(jīng) 元S10、S11、S13和S14(S卩，特征圖F2左上方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo) 記為S10、Sll、S13和S14)以及由權(quán)重wl、w2、w3和w4構(gòu)成的模板和由權(quán)重w5、w6、w7和 w8構(gòu)成的模板來獲得特征圖F3中的神經(jīng)元T1的響應(yīng)值。因此，響應(yīng)值T1如下：
[0055] Tl=Func(wl*Sl+w2*S2+w3*S4+w4*S5+w5*S10+w6*Sll+w7*S13+w8*S14)+bl(5)
[0056]
[0057] 圖9示出了用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1層 特征圖F3的神經(jīng)元T2的響應(yīng)值的過程。如圖9所示，在根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng) 網(wǎng)絡(luò)分類器中，利用L層中的特征圖F1中的神經(jīng)元S2、S3、S5和S6(S卩，特征圖F1右上方 的四個(gè)神經(jīng)元）的響應(yīng)值（響應(yīng)值也相應(yīng)地標(biāo)記為S2、S3、S5和S6)與特征圖F2中的神經(jīng) 元S11、S12、S14和S15(S卩，特征圖F2右上方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo) 記為Sll、S12、S14和S15)以及由權(quán)重wl、w2、w3和w4構(gòu)成的模板和由權(quán)重w5、w6、w7和 w8構(gòu)成的模板來獲得特征圖F3中的神經(jīng)元T2的響應(yīng)值。因此，響應(yīng)值T2如下：
[0058] T2 =Func(wl*S2+w2*S3+w3*S5+w4*S6+w5*Sll+w6*S12+w7*S14+w8*S15)+bl(6)
[0059]
[0060] 可見，在計(jì)算特征圖F3上方區(qū)域中的神經(jīng)元T1和T2的響應(yīng)值時(shí)采用同一套模 板。
[0061] 圖10示出了用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1 層特征圖F3的神經(jīng)元T3的響應(yīng)值的過程。如圖10所示，在根據(jù)本發(fā)明的實(shí)施例的卷積神 經(jīng)網(wǎng)絡(luò)分類器中，利用L層中的特征圖F1中的神經(jīng)元S4、S5、S7和S8(S卩，特征圖F1左下 方的四個(gè)神經(jīng)元)的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo)記為S4、S5、S7和S8)與特征圖F2中的神經(jīng) 元S13、S14、S16和S17(S卩，特征圖F2右上方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo) 記為S13、S14、S16和S17)以及由權(quán)重w9、wl0、wll和wl2構(gòu)成的模板和由權(quán)重wl3、wl4、 wl5和wl6構(gòu)成的模板來獲得特征圖F3中的神經(jīng)元T3的響應(yīng)值。因此，響應(yīng)值T3如下：
[0062] T3 =Func(w9*S4+wl0*S5+wll*S7+wl2*S8+wl3*S13+wl4*S14+wl5*S16+wl6*S17)+b2(7)
[0063]
[0064] 圖11示出了用根據(jù)本發(fā)明的實(shí)施例的卷積神經(jīng)網(wǎng)絡(luò)分類器來計(jì)算圖3中的L+1 層特征圖F3的神經(jīng)元T4的響應(yīng)值的過程。如圖11所示，在根據(jù)本發(fā)明的實(shí)施例的卷積神 經(jīng)網(wǎng)絡(luò)分類器中，利用L層中的特征圖F1中的神經(jīng)元S5、S6、S8和S9 (S卩，特征圖F1右下 方的四個(gè)神經(jīng)元)的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo)記為S5、S6、S8和S9)與特征圖F2中的神經(jīng) 元S14、S15、S17和S18 (S卩，特征圖F2右上方的四個(gè)神經(jīng)元）的響應(yīng)值(響應(yīng)值也相應(yīng)地標(biāo) 記為S14、S15、S17和S18)以及由權(quán)重w9、wl0、wll和wl2構(gòu)成的模板和由權(quán)重wl3、wl4、 wl5和wl6構(gòu)成的模板來獲得特征圖F3中的神經(jīng)元T4的響應(yīng)值。因此，響應(yīng)值T4如下：
[0065] T4 = Func(w9*S5+wlO*S6+wl1*S8+w12*S9+w13*S14+w14*S15+w15*S17+w16*S18) +b2 (8 )
[0066]
[0067] 通過對(duì)比圖8到圖11(特別是其中的計(jì)算式)可知，對(duì)于松弛卷積操作，計(jì)算L+l層 特征圖F3中的任意神經(jīng)元響應(yīng)值時(shí)：對(duì)于屬于同一類的神經(jīng)元T1和T2, L層的特征圖F1采 用相同的卷積模板(wl, w2, w3, w4)，L層的特征圖F2采用相同的卷積模板(w5, w6, w7, w8)。 對(duì)于另一類神經(jīng)元T3和T4，L層的特征圖FI采用卷積模板（w9, wlO, wll, wl2)，L層的特征 圖F2采用相同的卷積模板(wl3, wl4, wl5, wl6)。對(duì)于松弛卷積操作，計(jì)算同一特征圖內(nèi)的 各神經(jīng)元的響應(yīng)值時(shí)，屬于同一類的神經(jīng)元使用相同的卷積模板。
[0068] 在上面的實(shí)施例中，通過將卷積操作放松為兩個(gè)特征圖之間采用多個(gè)卷積模板進(jìn) 行卷積(如F3用多個(gè)模板和F1卷積)，可以提取到更多的特征。根據(jù)模式識(shí)別理論，一個(gè)統(tǒng) 計(jì)分類器的識(shí)別效果主要依賴于對(duì)樣本所提取特征的數(shù)量和有效性。由于采用多個(gè)模板和 單一模板的特征提取基本操作一致(都是卷積)，而采用多個(gè)模板能夠提取更多的特征，所 以采用多個(gè)模板的方法在提升分類正確率方面比采用單一模板的方式具有優(yōu)勢(shì)。
[0069]此外，為了加快收斂速度，根據(jù)本發(fā)明的實(shí)施例，計(jì)算所述響應(yīng)值時(shí)所采用的激活 函數(shù)可以被配置為獲取正響應(yīng)值。
[0070]圖8至圖11中的非線性變換函數(shù)Func〇 (也稱為激活函數(shù)）被配置為將負(fù)卷積 結(jié)果轉(zhuǎn)換為正的小值。卷積結(jié)果是指函數(shù)Func〇的括號(hào)中的內(nèi)容。例如，在計(jì)算每個(gè)神經(jīng) 元的響應(yīng)值時(shí)，采用非線性截?cái)嗪瘮?shù)作為圖8至圖11中的非線性變換函數(shù)FuncO,如下公 式（9):

【權(quán)利要求】
1. 一種卷積神經(jīng)網(wǎng)絡(luò)分類器，包括： 多個(gè)特征圖層，所述多個(gè)特征圖層中的至少一個(gè)特征圖層中的至少一個(gè)特征圖被劃分 成多個(gè)區(qū)域；W及 多個(gè)卷積模板，所述多個(gè)卷積模板與所述多個(gè)區(qū)域分別對(duì)應(yīng)，每個(gè)卷積模板用于獲得 相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值。
2. 根據(jù)權(quán)利要求1所述卷積神經(jīng)網(wǎng)絡(luò)分類器，其中，所述卷積神經(jīng)網(wǎng)絡(luò)分類器用于對(duì) 圖像進(jìn)行分類，所述圖像被按照固定方案劃分成多個(gè)圖像區(qū)域，所述多個(gè)圖像區(qū)域分別對(duì) 應(yīng)于所述多個(gè)區(qū)域。
3. 根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)分類器，其中，所述卷積神經(jīng)網(wǎng)絡(luò)分類器用于 對(duì)圖像進(jìn)行分類，并且所述卷積神經(jīng)網(wǎng)絡(luò)分類器還包括圖像分割單元，所述圖像分割單元 用于將所述圖像劃分成多個(gè)圖像區(qū)域，所述多個(gè)圖像區(qū)域分別對(duì)應(yīng)于所述多個(gè)區(qū)域。
4. 根據(jù)權(quán)利要求3所述的卷積神經(jīng)網(wǎng)絡(luò)分類器，其中所述多個(gè)區(qū)域的劃分是基于所述 圖像的像素分布進(jìn)行的。
5. 根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)分類器，其中，所述多個(gè)區(qū)域的劃分是基于所 述圖像的二值圖像的前景像素的數(shù)量分布或者前景像素的密度分布進(jìn)行的。
6. 根據(jù)權(quán)利要求3所述的卷積神經(jīng)網(wǎng)絡(luò)分類器，其中，所述多個(gè)區(qū)域的劃分是基于所 述圖像的結(jié)構(gòu)進(jìn)行的。
7. 根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的卷積神經(jīng)網(wǎng)絡(luò)分類器，其中，對(duì)于同一特征圖層 中的不同特征圖，或者對(duì)于不同特征圖層中的特征圖，采用不同的方式劃分所述多個(gè)區(qū)域。
8. 根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的卷積神經(jīng)網(wǎng)絡(luò)分類器，其中，計(jì)算所述響應(yīng)值時(shí) 所采用的激活函數(shù)被配置為獲取正響應(yīng)值。
9. 一種利用卷積神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類的方法，其中，所述卷積神經(jīng)網(wǎng)絡(luò)分類器包 括多個(gè)特征圖層，所述方法包括： 將所述多個(gè)特征圖層中的至少一個(gè)特征圖層中的至少一個(gè)特征圖劃分成多個(gè)區(qū)域； 將分類對(duì)象送入所述卷積神經(jīng)網(wǎng)絡(luò)分類器W進(jìn)行前向傳播從而獲得輸出結(jié)果，在前向 傳播的過程中，采用與所述多個(gè)區(qū)域分別對(duì)應(yīng)的多個(gè)卷積模板中的各模板來獲得相應(yīng)區(qū)域 中的神經(jīng)元的響應(yīng)值擬及 根據(jù)所述輸出結(jié)果來對(duì)所述分類對(duì)象進(jìn)行分類。
10. -種訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)分類器的方法，其中，所述卷積神經(jīng)網(wǎng)絡(luò)分類器包括多個(gè)特 征圖層，所述方法包括： 將所述多個(gè)特征圖層中的至少一個(gè)特征圖層中的至少一個(gè)特征圖劃分成多個(gè)區(qū)域； 將具有已知標(biāo)記的訓(xùn)練樣本送入所述卷積神經(jīng)網(wǎng)絡(luò)分類器W進(jìn)行前向傳播從而獲得 輸出結(jié)果，在前向傳播的過程中，采用與所述多個(gè)區(qū)域分別對(duì)應(yīng)的多個(gè)卷積模板中的各模 板來獲得相應(yīng)區(qū)域中的神經(jīng)元的響應(yīng)值； 根據(jù)所述輸出結(jié)果與所述已知標(biāo)記之間的差異來進(jìn)行反向傳播W修正包括所述卷積 模板中的權(quán)值在內(nèi)的、所述卷積神經(jīng)網(wǎng)絡(luò)分類器的參數(shù)；W及 重復(fù)上述步驟，直到滿足預(yù)定條件為止。
【文檔編號(hào)】G06K9/62GK104346622SQ201310329465
【公開日】2015年2月11日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】吳春鵬, 范偉, 何源, 孫俊 申請(qǐng)人:富士通株式會(huì)社