本發(fā)明屬圖像處理和深度學(xué)習(xí)領(lǐng)域，涉及一種基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法。

背景技術(shù)：

圖像識(shí)別，是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)。很多大型互聯(lián)網(wǎng)站上的功能、模塊乃至整個(gè)網(wǎng)頁(yè)都會(huì)涉及到圖像處理，如購(gòu)物網(wǎng)站中的使用圖像搜索物品的功能，其實(shí)現(xiàn)涉及到對(duì)輸入圖像的分類(lèi)及定位處理，圖像搜索引擎中的通過(guò)輸入的圖片給出與輸入類(lèi)似圖像及輸入相關(guān)的信息等功能正是實(shí)圖像分割、識(shí)別、定位等圖像處理技術(shù)的應(yīng)用。

隨著計(jì)算機(jī)計(jì)算能力的提升以及圖像識(shí)別算法的提升與改進(jìn)，深度學(xué)習(xí)在圖像處理、自然語(yǔ)言處理等領(lǐng)域取得領(lǐng)先于傳統(tǒng)方法的可應(yīng)用級(jí)的效果，其中尤以深度學(xué)習(xí)模型中的卷積神經(jīng)網(wǎng)絡(luò)模型尤為突出。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別領(lǐng)域，包括圖像分類(lèi)、圖像分割等方面的應(yīng)用中均取得卓越的效果，越來(lái)越多的相關(guān)算法在圖像識(shí)別領(lǐng)域被提出并運(yùn)用于相關(guān)領(lǐng)域的實(shí)際產(chǎn)品運(yùn)用中。相比于傳統(tǒng)的專(zhuān)業(yè)人士手工設(shè)計(jì)的特征，卷積神經(jīng)網(wǎng)絡(luò)具有特征自我學(xué)習(xí)及逐層提取特征的特點(diǎn)，通過(guò)大量的訓(xùn)練樣本訓(xùn)練模型獲得對(duì)應(yīng)數(shù)據(jù)集的優(yōu)秀特征，后接的分類(lèi)器實(shí)現(xiàn)基于提取到的特征的圖像分類(lèi)、圖像分割、定位等圖像識(shí)別操作。但在訓(xùn)練過(guò)程中使用的訓(xùn)練樣本大多是單一標(biāo)簽，通過(guò)一一對(duì)應(yīng)的樣本標(biāo)簽對(duì)完成網(wǎng)絡(luò)訓(xùn)練，但在互聯(lián)網(wǎng)中圖像識(shí)別的應(yīng)用中所需獲得樣本的信息遠(yuǎn)遠(yuǎn)大于指定的標(biāo)簽信息，如在通過(guò)互聯(lián)網(wǎng)中的某應(yīng)用識(shí)別輸入圖像的類(lèi)別信息中，不同用戶需求需要獲得屬于該圖像的不同類(lèi)別信息，這時(shí)候單一標(biāo)簽圖像識(shí)別模型的局限就顯現(xiàn)出來(lái)，并且現(xiàn)實(shí)知識(shí)架構(gòu)中不同事物可能具有不同的類(lèi)別信息，如對(duì)于“波斯貓”，其本身也具有“貓科”類(lèi)別的信息，對(duì)應(yīng)于具有波斯貓的圖像，其應(yīng)同時(shí)具有“貓科”及“波斯貓”這兩類(lèi)標(biāo)簽。與此同時(shí)可以看到“貓科”及“波斯貓”這兩類(lèi)標(biāo)簽之間存在“從屬關(guān)系”的隱藏語(yǔ)義關(guān)系，則可在常規(guī)的使用單一標(biāo)簽進(jìn)行圖像處理的卷積神經(jīng)網(wǎng)絡(luò)模型中引入此類(lèi)信息，進(jìn)而提升模型在圖像分類(lèi)方面的應(yīng)用效果。

除此之外，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，也促進(jìn)了海量數(shù)據(jù)的產(chǎn)生以及數(shù)據(jù)之間的高度共享，并且不同的用戶需求及應(yīng)用背景使得相同的數(shù)據(jù)具有實(shí)際知識(shí)架構(gòu)中對(duì)應(yīng)的不同信息，即不同數(shù)據(jù)具有不同層面的標(biāo)簽。這也為本發(fā)明實(shí)現(xiàn)環(huán)節(jié)中大量多標(biāo)簽訓(xùn)練樣本提供了有力支撐。此外，互聯(lián)網(wǎng)資源作為海量數(shù)據(jù)來(lái)源起作用也日益顯著，有關(guān)大數(shù)據(jù)等概念相繼被提出。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種多重標(biāo)簽樣本的圖像基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法。

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)共享成為必然，在這一進(jìn)程中，由于對(duì)相同數(shù)據(jù)的不同應(yīng)用的需要，相同數(shù)據(jù)具有不同使用層面的標(biāo)簽也成為趨勢(shì)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是一種監(jiān)督學(xué)習(xí)模型，使用具有單一標(biāo)簽的樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，自動(dòng)獲取樣本的特征，從而進(jìn)行基于提取的特征的圖像識(shí)別操作，如圖像識(shí)別操作。本發(fā)明中的模型在此基礎(chǔ)上基于免疫神經(jīng)網(wǎng)絡(luò)理論并結(jié)合多重標(biāo)簽樣本的標(biāo)簽結(jié)構(gòu)，引入相同樣本不同標(biāo)簽之間的隱藏語(yǔ)義關(guān)系提升網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域如圖像識(shí)別、定位、分割等領(lǐng)域的應(yīng)用性能。

本發(fā)明提出的整體方案主要由以下兩部分組成：

1)多重標(biāo)簽樣本集的獲取，包括使用網(wǎng)絡(luò)爬蟲(chóng)從指定網(wǎng)站中獲取源圖像樣本及樣本解釋語(yǔ)句，并分別進(jìn)行相應(yīng)的格式化等處理；

2)基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)的模型設(shè)計(jì)及訓(xùn)練，包括基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)的模型構(gòu)建、親和力函數(shù)的設(shè)計(jì)、抗體的匹配和選擇以及模型的模型重構(gòu)。

一、多重標(biāo)簽樣本集的獲取

互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展推動(dòng)大數(shù)據(jù)時(shí)代進(jìn)程的同時(shí)也促使大數(shù)據(jù)以數(shù)據(jù)流的形式在互聯(lián)網(wǎng)的媒介下高度共享。網(wǎng)絡(luò)資源具有表現(xiàn)形式多樣化，內(nèi)容豐富，數(shù)量巨大，增長(zhǎng)迅速，信息復(fù)雜且動(dòng)態(tài)等特點(diǎn)。目前互聯(lián)網(wǎng)網(wǎng)站大致可以分為兩種，一種是需要專(zhuān)業(yè)人士維護(hù)和編輯的專(zhuān)業(yè)型網(wǎng)站，第二種是以問(wèn)答社區(qū)為主要形式呈現(xiàn)的智慧社區(qū)型網(wǎng)站。作為機(jī)器學(xué)習(xí)的大樣本數(shù)據(jù)來(lái)源，互聯(lián)網(wǎng)資源成為首選。本發(fā)明的數(shù)據(jù)來(lái)源即通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從專(zhuān)業(yè)網(wǎng)站中獲取數(shù)據(jù)，并進(jìn)行后續(xù)的格式化處理等操作從而獲得模型所需的訓(xùn)練及測(cè)試樣本，具體步驟如下：

1)源數(shù)據(jù)獲取，使用網(wǎng)絡(luò)爬蟲(chóng)從專(zhuān)業(yè)型網(wǎng)站資源中分別批量獲取源樣本圖像，以及對(duì)應(yīng)的樣本描述語(yǔ)句；

2)樣本格式化，由于卷積神經(jīng)網(wǎng)絡(luò)的輸入大小在模型設(shè)計(jì)之前已經(jīng)固定，屬于模型超參數(shù)一類(lèi)，因此需要對(duì)獲取的源圖像樣本進(jìn)行格式轉(zhuǎn)換、大小裁剪以及歸一化等預(yù)處理，其中格式轉(zhuǎn)換及大小裁剪是將源圖像樣本轉(zhuǎn)變成模型輸入需要的大小及格式，歸一化操作是將樣本數(shù)據(jù)歸一化到指定的范圍內(nèi)以統(tǒng)一量綱、精簡(jiǎn)計(jì)算；

3)標(biāo)簽標(biāo)準(zhǔn)化，從獲取的圖像描述語(yǔ)句中析取對(duì)應(yīng)樣本的多重標(biāo)簽，并針對(duì)析取的標(biāo)簽的數(shù)據(jù)結(jié)構(gòu)生成統(tǒng)一標(biāo)簽范式，標(biāo)簽向量：L＝(A，B，…)，其中，A為一級(jí)標(biāo)簽，B為二級(jí)標(biāo)簽，A的語(yǔ)義范圍大于B，B∈{-1，0，1}，-1表示殘缺，0表示不屬于標(biāo)簽，1表示屬于標(biāo)簽，在使用處理過(guò)的樣本集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)過(guò)程中，對(duì)標(biāo)簽采用常規(guī)的one-hot編碼形式。

二、基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

基本的卷積神經(jīng)網(wǎng)絡(luò)模型包括輸入層、卷積層、池化層以及分類(lèi)器等基本單元，在一個(gè)常規(guī)的深度卷積神經(jīng)網(wǎng)絡(luò)模型中卷積層、池化層會(huì)多次反復(fù)交替出現(xiàn)進(jìn)而實(shí)現(xiàn)基于訓(xùn)練樣本的特征由低到高逐層提取，模型尾部的分類(lèi)器完成基于提取到的特征進(jìn)行的分類(lèi)、分割等圖像識(shí)別操作。

卷積神經(jīng)網(wǎng)絡(luò)屬于監(jiān)督學(xué)習(xí)的一種，在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，網(wǎng)絡(luò)通過(guò)標(biāo)簽-樣本對(duì)對(duì)網(wǎng)絡(luò)進(jìn)行多次迭代訓(xùn)練獲得網(wǎng)絡(luò)的最佳參數(shù)。針對(duì)一個(gè)特定的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的參數(shù)可以分為超參數(shù)及可訓(xùn)練獲得參數(shù)兩部分。當(dāng)卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)如卷積核個(gè)數(shù)，網(wǎng)絡(luò)層數(shù)等固定不變，即對(duì)網(wǎng)絡(luò)的模型保持不變的此類(lèi)卷積神經(jīng)網(wǎng)絡(luò)在不同應(yīng)用領(lǐng)域重用時(shí)，其主要不同點(diǎn)集中為可訓(xùn)練獲得參數(shù)部分，即主要是卷積核參數(shù)部分。結(jié)合免疫理論中的免疫記憶模型，可以記卷積核參數(shù)為相對(duì)于該樣本訓(xùn)練集的最優(yōu)抗體，輸入樣本的特征為抗原。結(jié)合這一思路，構(gòu)建抗體記憶庫(kù)，對(duì)同一卷積神經(jīng)網(wǎng)絡(luò)在不同樣本集下訓(xùn)練獲得的最優(yōu)卷積核參數(shù)建庫(kù)，記為抗體記憶庫(kù)，在模型使用階段使用基于深度學(xué)習(xí)理論中的自編碼算法設(shè)計(jì)不變?nèi)ピ胱詣?dòng)編碼器，即特征檢測(cè)器，對(duì)未知樣本進(jìn)行特征檢測(cè)，計(jì)算出屬于該待識(shí)別樣本的特征，即未知抗原，最后通過(guò)計(jì)算待識(shí)別樣本特征與記憶庫(kù)中的抗體的親和力從而選取與未知抗原匹配度最高的抗體并完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)的模型重構(gòu)。

基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，利用基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型完成圖像識(shí)別，包括如下步驟：

(1)已知圖像預(yù)處理：對(duì)已知圖像進(jìn)行預(yù)處理，獲得多重標(biāo)簽圖像樣本；然后對(duì)多重標(biāo)簽圖像樣本進(jìn)行分類(lèi)，屬于同一一級(jí)標(biāo)簽類(lèi)別的多重標(biāo)簽圖像樣本共同組成一個(gè)多重標(biāo)簽數(shù)據(jù)集，不同的多重標(biāo)簽數(shù)據(jù)集共同組成多重標(biāo)簽數(shù)據(jù)庫(kù)；

(2)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型：依次構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的輸入層、特征提取層和分類(lèi)操作層，其中輸入層大小與多重標(biāo)簽數(shù)據(jù)庫(kù)中多重標(biāo)簽圖像樣本大小一致；

(3)構(gòu)建抗體記憶庫(kù)：多重標(biāo)簽數(shù)據(jù)庫(kù)的多重標(biāo)簽數(shù)據(jù)集訓(xùn)練構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型至模型效果最佳時(shí)，停止訓(xùn)練，此時(shí)卷積神經(jīng)網(wǎng)絡(luò)模型卷積層中的卷積核共同組成最優(yōu)卷積核集合，將獲得的最優(yōu)卷積核集合視為抗體，記抗體的類(lèi)別為一級(jí)標(biāo)簽類(lèi)別，即多重標(biāo)簽數(shù)據(jù)集的類(lèi)別，然后將訓(xùn)練得到的不同最優(yōu)卷積核集合共同組成抗體記憶庫(kù)；

(4)對(duì)待識(shí)別圖像進(jìn)行預(yù)處理及抗原檢測(cè)：對(duì)輸入的待識(shí)別圖像進(jìn)行預(yù)處理，然后利用不變?nèi)ピ胱詣?dòng)編碼器作為特征檢測(cè)器提取待識(shí)別圖像的特征，將上述特征記為未知抗原；

(5)未知抗原與抗體之間親和力計(jì)算及抗體選擇：選擇親和力函數(shù)計(jì)算未知抗原與抗體之間的親和力，根據(jù)計(jì)算結(jié)果選擇與所述待識(shí)別圖像最匹配的抗體，即最優(yōu)抗體；

(6)重構(gòu)卷積神經(jīng)網(wǎng)絡(luò)模型：使用最優(yōu)抗體對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積核的卷積核參數(shù)重新賦值完成模型重構(gòu)，獲得重構(gòu)后的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型；

(7)輸出待識(shí)別圖像的類(lèi)別：利用卷積神經(jīng)網(wǎng)絡(luò)模型中的分類(lèi)器根據(jù)重構(gòu)后的卷積神經(jīng)網(wǎng)絡(luò)特征提取層中提取的特征確定待識(shí)別圖像所屬的二級(jí)標(biāo)簽類(lèi)別，并輸出識(shí)別結(jié)果，完成圖像識(shí)別過(guò)程。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述步驟(3)中多重標(biāo)簽數(shù)據(jù)集的一級(jí)標(biāo)簽類(lèi)別數(shù)為H，則對(duì)應(yīng)抗體記憶庫(kù)中會(huì)有H個(gè)抗體，w_j表示抗體記憶庫(kù)中第j個(gè)抗體，j∈[1,2,3,...,H]；每個(gè)抗體包含N個(gè)卷積核，卷積核大小為m*n*3；其中m為卷積核矩陣的行數(shù)，n為列數(shù)；

所述步驟(4)中的不變?nèi)ピ胱詣?dòng)編碼器為基于深度學(xué)習(xí)理論中的自編碼算法的不變?nèi)ピ胱詣?dòng)編碼器；所述不變?nèi)ピ胱詣?dòng)編碼器的輸入層及輸出層神經(jīng)元個(gè)數(shù)為I₁，I₁與卷積神經(jīng)網(wǎng)絡(luò)中卷積核的大小相同，即I₁＝m*n*3，隱藏層神經(jīng)元個(gè)數(shù)為N₀，其中N₀≤N；所述不變?nèi)ピ胱詣?dòng)編碼器作為特征檢測(cè)器提取待識(shí)別圖像的特征，獲得與抗體記憶庫(kù)中抗體大小相同的N₀個(gè)特征，將上述特征記為未知抗原w₀；

所述親和力函數(shù)為馬氏距離親和力函數(shù)或灰色關(guān)聯(lián)度親和力函數(shù)；所述最優(yōu)抗體是指與待識(shí)別圖像親和力最大的抗體；

抗體與未知抗原之間的親和力計(jì)算過(guò)程如下：

抗體：

未知抗原：

分別為未知抗原中第k₀個(gè)卷積核及抗體記憶庫(kù)中第j抗體的第k_j卷積核，定義二者之間親和力函數(shù)為

基于馬氏距離的親和力函數(shù)：

基于灰色關(guān)聯(lián)度的親和力函數(shù)：

其中：

ρ為分辨率；

表示未知抗原中的第k₀個(gè)卷積核中的第k個(gè)值；

表示抗體記憶庫(kù)中第j抗體的第k_j卷積核中的第k個(gè)值；

和分別表示的是未知抗原與待計(jì)算親和力的抗體做差之后的最小值與最大值；

所述步驟(6)中的重構(gòu)是指對(duì)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行重新賦值，具體為將卷積神經(jīng)網(wǎng)絡(luò)的卷積核參數(shù)替換成最優(yōu)抗體的參數(shù)，獲得基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型；

所述步驟(7)中的分類(lèi)器為softmax分類(lèi)器。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述已知圖像為通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從指定網(wǎng)站中獲取的已知圖像樣本。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述模型效果最佳是指多重標(biāo)簽數(shù)據(jù)集訓(xùn)練構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的模型誤差達(dá)到設(shè)定的收斂誤差或訓(xùn)練時(shí)的迭代次數(shù)達(dá)到上限時(shí)，訓(xùn)練效果最佳。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述H的取值范圍為[1,20]，其取值為整數(shù)。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述分辨率ρ的取值范圍為[0,1]。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，把和耦合到變量中保證之值位于[0,1]區(qū)間。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述步驟(1)中的已知圖像預(yù)處理是指對(duì)圖像進(jìn)行大小裁剪及格式轉(zhuǎn)換后進(jìn)行去均值及歸一化操作；然后從對(duì)已知圖像描述語(yǔ)句中析取對(duì)應(yīng)的多重標(biāo)簽，并生成統(tǒng)一標(biāo)簽范式。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述步驟(2)卷積神經(jīng)網(wǎng)絡(luò)模型的特征提取層包含一系列卷積層與最大池化層或平均池化層，卷積層中包含激活函數(shù)，所述激活函數(shù)為修正線性單元。

如上所述的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，所述步驟(4)中對(duì)待識(shí)別圖像的預(yù)處理是指先對(duì)待識(shí)別圖像進(jìn)行大小裁剪及格式轉(zhuǎn)換，再進(jìn)行去均值及歸一化操作。

有益效果

本發(fā)明提出了一種在多重標(biāo)簽樣本背景下的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型，并結(jié)合網(wǎng)絡(luò)資源，給出模型輸入數(shù)據(jù)獲取，輸入樣本及標(biāo)簽的格式化；本發(fā)明的核心部分是結(jié)合多重標(biāo)簽圖像樣本特點(diǎn)設(shè)計(jì)出一個(gè)基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型(IM-CNN)，引入同一樣本不同標(biāo)簽之間的隱藏語(yǔ)義關(guān)系提升網(wǎng)絡(luò)的圖像識(shí)別性能，在本發(fā)明的實(shí)際使用過(guò)程中可結(jié)合實(shí)際需求，有針對(duì)性的設(shè)計(jì)網(wǎng)絡(luò)輸出結(jié)果從而實(shí)現(xiàn)諸如互聯(lián)網(wǎng)中根據(jù)輸入圖像識(shí)別輸入的識(shí)別信息的識(shí)別功能、定位分割出輸入圖像中不同物體的分割、定位功能等圖像識(shí)別功能。

附圖說(shuō)明

圖1為本發(fā)明的整體流程圖；

圖2為本發(fā)明的多重標(biāo)簽樣本集的獲取流程圖；

圖3為本發(fā)明的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型圖像識(shí)別方法的完整識(shí)別過(guò)程；

圖4為本發(fā)明的不變?nèi)ピ刖幋a器模型設(shè)計(jì)過(guò)程；

圖5為本發(fā)明基于灰色關(guān)聯(lián)度抗體匹配階段及抗體選擇示意圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書(shū)所限定的范圍。

實(shí)施例1

如圖1至圖5所示，是本發(fā)明基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，利用基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型完成圖像識(shí)別，包括如下步驟：

(1)已知圖像預(yù)處理：通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從指定網(wǎng)站中獲取的已知圖像樣本，對(duì)已知圖像進(jìn)行預(yù)處理，已知圖像預(yù)處理是指對(duì)圖像進(jìn)行大小裁剪及格式轉(zhuǎn)換后進(jìn)行去均值及歸一化操作；然后從對(duì)已知圖像描述語(yǔ)句中析取對(duì)應(yīng)的多重標(biāo)簽，并生成統(tǒng)一標(biāo)簽范式，標(biāo)簽范式為L(zhǎng)＝(A，B，…)，其中，一級(jí)標(biāo)簽A的語(yǔ)義范圍大于二級(jí)標(biāo)簽B的語(yǔ)義范圍，依次類(lèi)推，A，B∈{-1，0，1}，其中-1表示殘缺并需要添補(bǔ)等標(biāo)準(zhǔn)化處理，0表示不屬于該標(biāo)簽，1表示屬于該標(biāo)簽；獲得多重標(biāo)簽圖像樣本；然后對(duì)多重標(biāo)簽圖像樣本進(jìn)行分類(lèi)，屬于同一一級(jí)標(biāo)簽類(lèi)別的多重標(biāo)簽圖像樣本共同組成一個(gè)多重標(biāo)簽數(shù)據(jù)集，不同的多重標(biāo)簽數(shù)據(jù)集共同組成多重標(biāo)簽數(shù)據(jù)庫(kù)；

多重標(biāo)簽數(shù)據(jù)庫(kù)具體如下：其中，多重標(biāo)簽數(shù)據(jù)集的類(lèi)別數(shù)即一級(jí)標(biāo)簽類(lèi)別數(shù)H＝6，二級(jí)標(biāo)簽類(lèi)別數(shù)，即屬與同一一級(jí)標(biāo)簽下的圖像樣本類(lèi)別數(shù)為5；

(2)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型：依次構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的輸入層、特征提取層和分類(lèi)操作層，其中輸入層大小與多重標(biāo)簽數(shù)據(jù)庫(kù)中多重標(biāo)簽圖像樣本大小一致；、特征提取層包含一系列卷積層與最大池化層或平均池化層，卷積層中包含激活函數(shù)，激活函數(shù)為修正線性單元，具體為卷積神經(jīng)網(wǎng)絡(luò)：第一層輸入層，大小為32*32*3，第二層為卷積層，卷積核大小m＝5，n＝5，其中m為卷積核矩陣的行數(shù)，n為列數(shù)，個(gè)數(shù)為N＝32，第三層最大池化層，池化窗大小為3*3，步長(zhǎng)為1，第四層為Softmax分類(lèi)器。

(3)構(gòu)建抗體記憶庫(kù)：多重標(biāo)簽數(shù)據(jù)庫(kù)的多重標(biāo)簽數(shù)據(jù)集訓(xùn)練構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型至模型效果最佳時(shí)，模型效果最佳是指多重標(biāo)簽數(shù)據(jù)集訓(xùn)練構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的模型的訓(xùn)練誤差收斂，即相鄰兩次訓(xùn)練模型的目標(biāo)函數(shù)差值小于收斂值，停止訓(xùn)練，其中收斂值為1e^-6，此時(shí)卷積神經(jīng)網(wǎng)絡(luò)模型卷積層中的卷積核共同組成最優(yōu)卷積核集合，將獲得的最優(yōu)卷積核集合視為抗體，記抗體的類(lèi)別為一級(jí)標(biāo)簽類(lèi)別，即多重標(biāo)簽數(shù)據(jù)集的類(lèi)別，然后將訓(xùn)練得到的不同最優(yōu)卷積核集合共同組成抗體記憶庫(kù)；抗體記憶庫(kù)中抗體數(shù)量H＝6，分別記為抗體內(nèi)卷積核大小m＝5，n＝5，其中m為卷積核矩陣的行數(shù)，n為列數(shù)，個(gè)數(shù)為N＝32；

(4)對(duì)待識(shí)別圖像進(jìn)行預(yù)處理及抗原檢測(cè)：對(duì)輸入的待識(shí)別圖像進(jìn)行預(yù)處理，對(duì)待識(shí)別圖像的預(yù)處理是指先對(duì)待識(shí)別圖像進(jìn)行大小裁剪及格式轉(zhuǎn)換，再進(jìn)行去均值及歸一化操作，然后利用不變?nèi)ピ胱詣?dòng)編碼器作為特征檢測(cè)器提取待識(shí)別圖像的特征，將上述特征記為未知抗原；不變?nèi)ピ胱詣?dòng)編碼器：第一層為輸入層x_i：輸入層神經(jīng)元個(gè)數(shù)為I₁＝m*n*3＝75，第二層為損失過(guò)程，即對(duì)輸入數(shù)據(jù)隨機(jī)添加噪聲，加噪后結(jié)果為第三層為隱藏層h_i，隱藏層神經(jīng)元個(gè)數(shù)N₀＝32，第四層為輸出層輸出層神經(jīng)元個(gè)數(shù)為I₁＝m*n*3＝75；

(5)未知抗原與抗體之間親和力計(jì)算及抗體選擇：選擇親和力函數(shù)計(jì)算未知抗原與抗體之間的親和力，根據(jù)計(jì)算結(jié)果選擇與所述待識(shí)別圖像最匹配的抗體，即最優(yōu)抗體；基于灰色關(guān)聯(lián)度的親和力函數(shù)：其中ρ為分辨率；和分別表示的是未知抗原與待計(jì)算親和力的抗體做差之后的最小值與最大值；

未知抗原：

抗體：

計(jì)算為最大值對(duì)應(yīng)的j取值即為所要選取的抗體，記該次j＝3；

(6)重構(gòu)卷積神經(jīng)網(wǎng)絡(luò)模型：使用最優(yōu)抗體對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積核的卷積核參數(shù)重新賦值完成模型重構(gòu)，獲得重構(gòu)后的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型；具體為從抗體記憶庫(kù)中選取對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積層進(jìn)行重新賦值，完成卷積神經(jīng)網(wǎng)絡(luò)的模型重構(gòu)。

(7)輸出待識(shí)別圖像的類(lèi)別：利用卷積神經(jīng)網(wǎng)絡(luò)模型中的Softmax分類(lèi)器根據(jù)重構(gòu)后的卷積神經(jīng)網(wǎng)絡(luò)特征提取層中提取的特征確定待識(shí)別圖像所屬的二級(jí)標(biāo)簽類(lèi)別，并輸出識(shí)別結(jié)果，Softmax輸出的待識(shí)別圖像樣本的類(lèi)別為4，則對(duì)應(yīng)實(shí)際標(biāo)簽為“桌子”，完成圖像識(shí)別過(guò)程。

實(shí)施例2

基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型的圖像識(shí)別方法，利用基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型完成圖像識(shí)別，包括如下步驟：

(1)已知圖像預(yù)處理：通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從指定網(wǎng)站中獲取的已知圖像樣本，對(duì)已知圖像進(jìn)行預(yù)處理，已知圖像預(yù)處理是指對(duì)圖像進(jìn)行大小裁剪及格式轉(zhuǎn)換后進(jìn)行去均值及歸一化操作；然后從對(duì)已知圖像描述語(yǔ)句中析取對(duì)應(yīng)的多重標(biāo)簽，并生成統(tǒng)一標(biāo)簽范式，標(biāo)簽范式為L(zhǎng)＝(A，B，…)，其中，一級(jí)標(biāo)簽A的語(yǔ)義范圍大于二級(jí)標(biāo)簽B的語(yǔ)義范圍，依次類(lèi)推，A，B∈{-1，0，1}，其中-1表示殘缺并需要添補(bǔ)等標(biāo)準(zhǔn)化處理，0表示不屬于該標(biāo)簽，1表示屬于該標(biāo)簽；獲得多重標(biāo)簽圖像樣本；然后對(duì)多重標(biāo)簽圖像樣本進(jìn)行分類(lèi)，屬于同一一級(jí)標(biāo)簽類(lèi)別的多重標(biāo)簽圖像樣本共同組成一個(gè)多重標(biāo)簽數(shù)據(jù)集，不同的多重標(biāo)簽數(shù)據(jù)集共同組成多重標(biāo)簽數(shù)據(jù)庫(kù)；

多重標(biāo)簽數(shù)據(jù)庫(kù)具體如下：其中，多重標(biāo)簽數(shù)據(jù)集的類(lèi)別數(shù)即一級(jí)標(biāo)簽類(lèi)別數(shù)H＝6，二級(jí)標(biāo)簽類(lèi)別數(shù)，即屬與同一一級(jí)標(biāo)簽下的圖像樣本類(lèi)別數(shù)為5；

(2)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型：依次構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的輸入層、特征提取層和分類(lèi)操作層，其中輸入層大小與多重標(biāo)簽數(shù)據(jù)庫(kù)中多重標(biāo)簽圖像樣本大小一致；、特征提取層包含一系列卷積層與最大池化層或平均池化層，卷積層中包含激活函數(shù)，激活函數(shù)為修正線性單元，具體為卷積神經(jīng)網(wǎng)絡(luò)：第一層輸入層，大小為32*32*3，第二層為卷積層，卷積核大小m＝5，n＝5，其中m為卷積核矩陣的行數(shù)，n為列數(shù)，個(gè)數(shù)為N＝32，第三層最大池化層，池化窗大小為3*3，步長(zhǎng)為1，第四層為SVM分類(lèi)器。

(3)構(gòu)建抗體記憶庫(kù)：多重標(biāo)簽數(shù)據(jù)庫(kù)的多重標(biāo)簽數(shù)據(jù)集訓(xùn)練構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型至模型效果最佳時(shí)，模型效果最佳是指多重標(biāo)簽數(shù)據(jù)集訓(xùn)練構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)的迭代次數(shù)達(dá)到上限時(shí)，停止訓(xùn)練，其中迭代次數(shù)的上限為10次，此時(shí)卷積神經(jīng)網(wǎng)絡(luò)模型卷積層中的卷積核共同組成最優(yōu)卷積核集合，將獲得的最優(yōu)卷積核集合視為抗體，記抗體的類(lèi)別為一級(jí)標(biāo)簽類(lèi)別，即多重標(biāo)簽數(shù)據(jù)集的類(lèi)別，然后將訓(xùn)練得到的不同最優(yōu)卷積核集合共同組成抗體記憶庫(kù)；抗體記憶庫(kù)中抗體數(shù)量H＝6，分別記為抗體內(nèi)卷積核大小m＝5，n＝5，其中m為卷積核矩陣的行數(shù)，n為列數(shù)，個(gè)數(shù)為N＝32；

(4)對(duì)待識(shí)別圖像進(jìn)行預(yù)處理及抗原檢測(cè)：對(duì)輸入的待識(shí)別圖像進(jìn)行預(yù)處理，對(duì)待識(shí)別圖像的預(yù)處理是指先對(duì)待識(shí)別圖像進(jìn)行大小裁剪及格式轉(zhuǎn)換，再進(jìn)行去均值及歸一化操作，然后利用不變?nèi)ピ胱詣?dòng)編碼器作為特征檢測(cè)器提取待識(shí)別圖像的特征，將上述特征記為未知抗原；不變?nèi)ピ胱詣?dòng)編碼器：第一層為輸入層x_i：輸入層神經(jīng)元個(gè)數(shù)為I₁＝m*n*3＝75，第二層為損失過(guò)程，即對(duì)輸入數(shù)據(jù)隨機(jī)添加噪聲，加噪后結(jié)果為第三層為隱藏層h_i，隱藏層神經(jīng)元個(gè)數(shù)N₀＝32，第四層為輸出層輸出層神經(jīng)元個(gè)數(shù)為I₁＝m*n*3＝75；

(5)未知抗原與抗體之間親和力計(jì)算及抗體選擇：選擇親和力函數(shù)計(jì)算未知抗原與抗體之間的親和力，根據(jù)計(jì)算結(jié)果選擇與所述待識(shí)別圖像最匹配的抗體，即最優(yōu)抗體；

其中：

未知抗原：

抗體：

計(jì)算為最大值對(duì)應(yīng)的j取值即為所要選取的抗體，記該次j＝4；

(6)重構(gòu)卷積神經(jīng)網(wǎng)絡(luò)模型：使用最優(yōu)抗體對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積核的卷積核參數(shù)重新賦值完成模型重構(gòu)，獲得重構(gòu)后的基于免疫理論的卷積神經(jīng)網(wǎng)絡(luò)模型；具體為從抗體記憶庫(kù)中選取對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積層進(jìn)行重新賦值，完成卷積神經(jīng)網(wǎng)絡(luò)的模型重構(gòu)。

(7)輸出待識(shí)別圖像的類(lèi)別：利用卷積神經(jīng)網(wǎng)絡(luò)模型中的SVM分類(lèi)器根據(jù)重構(gòu)后的卷積神經(jīng)網(wǎng)絡(luò)特征提取層中提取的特征確定待識(shí)別圖像所屬的二級(jí)標(biāo)簽類(lèi)別，并輸出識(shí)別結(jié)果，SVM分類(lèi)器輸出的待識(shí)別圖像樣本的類(lèi)別為2，則對(duì)應(yīng)實(shí)際標(biāo)簽為“碗”，完成圖像識(shí)別過(guò)程。

本實(shí)例結(jié)合互聯(lián)網(wǎng)中對(duì)于圖像識(shí)別方面的運(yùn)用進(jìn)行闡述，傳統(tǒng)的圖像識(shí)別步驟包括特征選擇與提取以及基于特征的圖像識(shí)別操作，其中特征選擇及提取是指選擇人工設(shè)計(jì)的特征，對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，然后使用支持向量機(jī)(Support Vector Machine，SVM)或softmax等分類(lèi)器進(jìn)行基于提取的特征的相關(guān)圖像識(shí)別操作。本專(zhuān)利算法引入多重標(biāo)簽語(yǔ)義關(guān)系，結(jié)合深度學(xué)習(xí)的特征逐層自我提取的優(yōu)點(diǎn)，對(duì)多重標(biāo)簽數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，在圖像識(shí)別階段模擬免疫理論中的抗體抗原機(jī)制，識(shí)別多重標(biāo)簽樣本所屬的一級(jí)標(biāo)簽類(lèi)別，進(jìn)而選取對(duì)應(yīng)的參數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行模型重構(gòu)并進(jìn)行基于提取的特征的相關(guān)圖像識(shí)別操作。然后輸出待識(shí)別圖像的二級(jí)標(biāo)簽類(lèi)別。