本發(fā)明屬于計(jì)算機(jī)/機(jī)器視覺中、圖像處理和分析領(lǐng)域，具體地說是一種基于全卷積網(wǎng)絡(luò)的彩色圖像色彩語義分類方法。
背景技術(shù)：
：在計(jì)算機(jī)視覺中，色彩是圖像的一種重要屬性，是人類感知圖像信息的重要途徑。通過賦予圖像色彩類別標(biāo)簽，可進(jìn)一步運(yùn)用于圖像檢索、圖像標(biāo)注、色盲輔助、視覺追蹤、語言人機(jī)交互等領(lǐng)域。因此，良好的色彩語義分類結(jié)果有助于進(jìn)一步的圖像處理和圖像分析?，F(xiàn)有的圖像色彩語義分類方法包括：基于統(tǒng)計(jì)模型的方法和基于深度學(xué)習(xí)的方法?；诮y(tǒng)計(jì)模型的方法主要是基于色彩刺激，例如通過感知色彩的色調(diào)、亮度、和飽和度這三個(gè)顏色外觀屬性進(jìn)行色彩語義分類。不同色彩在這三個(gè)屬性上的類間差異小于同種色彩在這三個(gè)屬性上的類內(nèi)差異，導(dǎo)致色彩語義分類的判決邊界難以確定，且在不同場(chǎng)景下存在微小變化，導(dǎo)致分類效果差。在基于統(tǒng)計(jì)模型的方法中，具有代表性的方法是概率隱語義分析(probabilisticlatentsemanticanalysis，plsa)。該方法在lab色彩空間上將組成模型文檔的詞匯集與組成彩色圖像的各色彩像素集對(duì)應(yīng)起來，將色彩類別看成是隱藏的主體變量；使用自然場(chǎng)景圖像訓(xùn)練plsa模型得到圖片集中隱藏的色彩類別，從而實(shí)現(xiàn)色彩語義分類。自然場(chǎng)景圖像訓(xùn)練集的質(zhì)量決定了模型的精確度，因此在高光、陰影等復(fù)雜場(chǎng)景下，該模型的分類效果并不理想。基于深度學(xué)習(xí)的方法主要是利用卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork,cnn)進(jìn)行色彩語義分類。該方法從大量圖像樣本中學(xué)習(xí)色彩類別，旨在預(yù)測(cè)微小圖像塊的色彩類別。該方法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)包括兩個(gè)階段：第一階段，使用圖像塊進(jìn)行自監(jiān)督訓(xùn)練，色彩直方圖作為其監(jiān)督信息，從而得到色彩語義分類模型；第二階段，圖像塊的標(biāo)簽改為從父圖像中繼承得到，通過反復(fù)迭代，濾除噪聲樣本，進(jìn)一步提高色彩語義分類模型的精度。然而在復(fù)雜場(chǎng)景下，光照強(qiáng)度、光源等的變化會(huì)導(dǎo)致像素點(diǎn)rgb值在一個(gè)通道或多個(gè)通道上發(fā)生改變，此時(shí)得到的色彩直方圖已不能真實(shí)的反應(yīng)圖像塊的色彩分布，將其作為監(jiān)督信息所訓(xùn)練出來的色彩語義分類模型效果不佳；第二階段中，部分色彩語義分類結(jié)果良好的圖像塊因?yàn)榕c父圖像的色彩類別不一致而被錯(cuò)誤的舍棄掉，從而減少了可用的訓(xùn)練數(shù)據(jù)量。cheng等人在卷積神經(jīng)網(wǎng)絡(luò)的方法上進(jìn)行改進(jìn)，構(gòu)建了pcn-cnn的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)在vgg16網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上將全連接層更改為卷積層、減少池化層的數(shù)量、添加一個(gè)反卷積層，實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的彩色圖像像素級(jí)色彩語義分類。較plsa的方法在像素級(jí)色彩語義分類精度上有較大提高，但是該模型使用較少的池化層，對(duì)分辨率較大的彩色圖像進(jìn)行色彩語義分類時(shí)精度低。上述色彩語義分類方法實(shí)現(xiàn)了彩色圖像的色彩語義分類，然而在復(fù)雜場(chǎng)景下的分類精度均不高。技術(shù)實(shí)現(xiàn)要素：本發(fā)明為解決現(xiàn)有技術(shù)中的不足之處，提供一種基于全卷積網(wǎng)絡(luò)的彩色圖像色彩語義分類方法，旨在解決彩色圖像像素級(jí)的色彩屬性語義分類問題，通過構(gòu)建全卷積神經(jīng)網(wǎng)絡(luò)，得到在復(fù)雜場(chǎng)景下分類精度良好的色彩屬性語義分類網(wǎng)絡(luò)特征模型，從而提高復(fù)雜多變環(huán)境下彩色圖像色彩語義分類的精度。為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：本發(fā)明一種基于全卷積網(wǎng)絡(luò)的彩色圖像的色彩語義分類方法的特點(diǎn)是按照如下步驟進(jìn)行：步驟1、構(gòu)建全卷積網(wǎng)絡(luò)，并對(duì)任意尺寸的彩色圖像i(x,y,k)進(jìn)行像素級(jí)色彩語義分類；所述全卷積網(wǎng)絡(luò)由卷積層、池化層、反卷積層構(gòu)成；步驟1.1、所述全卷積網(wǎng)絡(luò)的輸入數(shù)據(jù)為彩色圖像i(x,y,k)，x,y,k分別表示所述彩色圖像i的高度、寬度和通道數(shù)；定義操作次數(shù)為t，并初始化t＝1；定義池化次數(shù)為v，并初始化v＝1；初始化δ＝0；步驟1.2、將所述彩色圖像i送入卷積層lc(ks,nt)進(jìn)行第t次卷積操作，得到所述全卷積網(wǎng)絡(luò)的第t個(gè)卷積層的特征圖fc(x,y,nt)；ks表示卷積核的大小，nt表示第t個(gè)卷積層的卷積核個(gè)數(shù)；步驟1.3、對(duì)第t個(gè)卷積層的特征圖fc(x,y,nt)進(jìn)行第t次線性激活操作，得到特征圖fr(x,y,nt)；步驟1.4、令t+1賦值給t后，判斷t≤δ+2是否成立，若成立，則重復(fù)步驟1.2和步驟1.3，否則，令t-1賦值給t后，執(zhí)行步驟1.5；步驟1.5、將所述第t次線性激活操作后的特征圖fr(x,y,nt)送入池化層lp(kp,s)進(jìn)行無重疊的采樣后，得到第v階段的特征圖fv(x,y,nv)，其中，kp,s分別表示采樣的范圍大小和滑動(dòng)步長(zhǎng)，nv表示第v階段的特征圖的數(shù)量；步驟1.6、令δ+2賦值給δ，判斷δ＝4是否成立，若成立，則執(zhí)行步驟1.7；否則，將v+1賦值給v后，返回步驟1.4；步驟1.7、令t+1賦值給t后，判斷t≤δ+3是否成立，若成立，則重復(fù)步驟1.2和步驟1.3后再返回步驟1.7，否則，令t-1賦值給t，將v+1賦值給v后，執(zhí)行步驟1.5后再跳到步驟1.8；步驟1.8、令δ+3賦值給δ，判斷δ＝13是否成立，若成立，則執(zhí)行步驟1.9；否則，令t+1賦值給t后，重復(fù)步驟1.2和步驟1.3后，返回步驟1.7；步驟1.9、對(duì)第v階段的特征圖fv(x,y,nv)進(jìn)行卷積操作，得到的結(jié)果進(jìn)行反卷積操作，從而得到特征圖fv′(x,y,nv)；對(duì)第v-1階段的特征圖fv-1(x,y,nv-1)進(jìn)行卷積操作后與特征圖fv′(x,y,nv)相加，再進(jìn)行反卷積操作得到特征圖f′v-1(x,y,nv-1)；對(duì)第v-2階段的特征圖fv-2(x,y,nv-2)進(jìn)行卷積操作后與特征圖f′v-1(x,y,nv-1)相加，再進(jìn)行反卷積操作得到特征圖f′v-2(x,y,nv-2)；步驟1.10、根據(jù)所述彩色圖像i(x,y,k)的大小，對(duì)特征圖fv′(x,y,nv)裁剪，得到彩色圖像i(x,y,k)對(duì)應(yīng)的色彩類別概率，記為c(x,y,pi)，其中，pi代表第i個(gè)色彩類別的概率，i∈(0,1,...,n)，n為色彩類別的數(shù)量；步驟2、獲取具有像素級(jí)標(biāo)注的彩色圖像數(shù)據(jù)集，記為d＝{dtr,dval,dte}；dtr表示訓(xùn)練數(shù)據(jù)集；dval表示驗(yàn)證數(shù)據(jù)集；dte表示測(cè)試數(shù)據(jù)集；所述訓(xùn)練數(shù)據(jù)集dtr、驗(yàn)證數(shù)據(jù)集dval和測(cè)試數(shù)據(jù)集dte均包含彩色圖像和標(biāo)注圖像；且所述標(biāo)注圖像中每個(gè)像素點(diǎn)的取值v∈(0,1,...,n)；所述訓(xùn)練數(shù)據(jù)集dtr和驗(yàn)證數(shù)據(jù)集dval中所有彩色圖像的rgb三個(gè)通道的均值，記為m＝{mr,mg,mb}；步驟3、對(duì)所述全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練；步驟3.1、對(duì)所述訓(xùn)練數(shù)據(jù)集dtr中所有彩色圖像添加σ1的高斯噪聲，用于改變彩色圖像的對(duì)比度和rgb值；再對(duì)所有彩色圖像添加σ2的高斯噪聲用于改變亮度，從而得到彩色變換圖像；步驟3.2、以所述訓(xùn)練數(shù)據(jù)集dtr中所有彩色圖像及其相應(yīng)的彩色變換圖像作為所述全卷積網(wǎng)絡(luò)訓(xùn)練階段的輸入數(shù)據(jù)，以所述訓(xùn)練數(shù)據(jù)集dtr中所有標(biāo)注圖像作為所述輸入數(shù)據(jù)的標(biāo)簽；且彩色圖像及其彩色變換圖像使用相同的色彩類別標(biāo)簽；以所述驗(yàn)證數(shù)據(jù)集dval中所有彩色圖像作為所述全卷積網(wǎng)絡(luò)訓(xùn)練階段的測(cè)試數(shù)據(jù)，以所述驗(yàn)證數(shù)據(jù)集dval中所有標(biāo)注圖像作為所述測(cè)試數(shù)據(jù)的標(biāo)簽；步驟3.3、利用隨機(jī)梯度下降算法對(duì)所述全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到色彩語義的層次特征模型；步驟4、以所述測(cè)試數(shù)據(jù)集dte中所有彩色圖像與所述均值m的差值作為所述特征模型的輸入數(shù)據(jù)，并經(jīng)過所述特征模型的計(jì)算，得到每幅彩色圖像的色彩類別概率；步驟5、使用全連接條件隨機(jī)場(chǎng)的方法對(duì)每幅彩色圖像的色彩類別概率進(jìn)行優(yōu)化處理，得到所述測(cè)試數(shù)據(jù)集dte中彩色圖像的每個(gè)像素點(diǎn)的色彩類別，再將每個(gè)像素點(diǎn)的色彩類別轉(zhuǎn)化到彩色空間中，從而得到像素級(jí)的色彩語義分類結(jié)果。與已有技術(shù)相比，本發(fā)明的有益效果是：1、本發(fā)明通過構(gòu)建全卷積網(wǎng)絡(luò)，使用標(biāo)簽數(shù)據(jù)監(jiān)督全卷積網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，從而獲得具有魯棒性的色彩語義分類特征模型，解決了基于統(tǒng)計(jì)模型中使用色彩外觀屬性進(jìn)行色彩感知，分類邊界復(fù)雜且分類精度不高的問題。2、本發(fā)明所構(gòu)建的全卷積網(wǎng)絡(luò)，沒有全連接層的網(wǎng)絡(luò)結(jié)構(gòu)，減小了網(wǎng)絡(luò)規(guī)模，從而避免了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中對(duì)全連接層的龐大參數(shù)訓(xùn)練，極大地提高了訓(xùn)練速度。合理的網(wǎng)絡(luò)結(jié)構(gòu)，能處理分辨率較小和較大的圖像；將色彩語義分類結(jié)果拓展到像素級(jí)，解決了卷積神經(jīng)網(wǎng)絡(luò)不能夠進(jìn)行像素級(jí)分類的問題，并大幅提高了像素級(jí)色彩語義分類精度。3、本發(fā)明在全卷積網(wǎng)絡(luò)訓(xùn)練階段，小幅改變訓(xùn)練數(shù)據(jù)的顏色、亮度，用于模擬一些復(fù)雜場(chǎng)景對(duì)彩色圖像所造成的改變，增加了訓(xùn)練數(shù)據(jù)的類型和數(shù)量，在訓(xùn)練數(shù)據(jù)集有限的情況下，盡可能模擬光照條件、拍攝視角等環(huán)境因素對(duì)色彩語義分類造成的影響，解決了因?yàn)橛?xùn)練網(wǎng)絡(luò)過程中訓(xùn)練數(shù)據(jù)不足所導(dǎo)致的欠擬合問題。4、本發(fā)明使用全卷積網(wǎng)絡(luò)對(duì)彩色圖像進(jìn)行像素級(jí)的色彩語義分類，利用全連接條件隨機(jī)場(chǎng)的方法結(jié)合像素點(diǎn)之間的局部色彩語義關(guān)聯(lián)，對(duì)全卷積網(wǎng)絡(luò)的色彩語義分類結(jié)果進(jìn)行優(yōu)化，糾正了色彩區(qū)域輪廓上分類錯(cuò)誤的像素點(diǎn)，使分類邊緣更加平滑，提高了色彩語義分類的準(zhǔn)確度。附圖說明圖1為本發(fā)明方法對(duì)彩色圖像進(jìn)行色彩語義分類的流程圖；圖2為本發(fā)明所使用全卷積網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；圖3a為本發(fā)明使用的彩色圖像測(cè)試集中的部分子集的示意圖；圖3b為本發(fā)明使用的彩色圖像測(cè)試集中的部分子集所對(duì)應(yīng)真實(shí)標(biāo)記示意圖；圖3c為本發(fā)明使用全卷積網(wǎng)絡(luò)得到的部分色彩語義分類結(jié)果示意圖；圖3d為本發(fā)明使用全連接隨機(jī)場(chǎng)進(jìn)行優(yōu)化后得到的部分色彩語義分類結(jié)果示意圖。具體實(shí)施方式如圖1所示，本實(shí)施例中，一種基于全卷積網(wǎng)絡(luò)的彩色圖像的色彩語義分類方法，是按照如下步驟進(jìn)行：步驟1、構(gòu)建全卷積網(wǎng)絡(luò)，用于對(duì)任意尺寸的彩色圖像i(x,y,k)進(jìn)行像素級(jí)色彩語義分類；全卷積網(wǎng)絡(luò)由卷積層、池化層、反卷積層構(gòu)成，如圖2所示，在本實(shí)施例中，全卷積網(wǎng)絡(luò)包括五個(gè)階段的卷積池化操作：第一、二階段各包括兩個(gè)卷積層，一個(gè)池化層；第三、四、五階段各包括三個(gè)卷積層，一個(gè)池化層。全卷積網(wǎng)絡(luò)共有十三個(gè)卷積層、五個(gè)池化層、三個(gè)反卷積層。彩色圖像的任意尺寸大小是指：送入網(wǎng)絡(luò)的彩色圖像的尺寸不需要是一個(gè)固定的大?。蝗矸e網(wǎng)絡(luò)所能處理的彩色圖像的最大尺寸，由所使用圖形處理器的顯存的大小決定。步驟1.1、全卷積網(wǎng)絡(luò)的輸入數(shù)據(jù)為彩色圖像i(x,y,k)，x,y,k分別表示彩色圖像i的高度、寬度和通道數(shù)；定義操作次數(shù)為t，并初始化t＝1；定義池化次數(shù)為v，并初始化v＝1；初始化δ＝0；在本實(shí)驗(yàn)測(cè)試中，彩色圖像的高度、寬度分別為x＝128，y＝64，但不局限于此取值；通道數(shù)k＝3，表示彩色圖像的紅色r、綠色g、藍(lán)色b三個(gè)通道。步驟1.2、將彩色圖像i送入卷積層lc(ks,nt)并對(duì)其進(jìn)行第t次卷積操作，得到全卷積網(wǎng)絡(luò)的第t個(gè)卷積層的特征圖fc(x,y,nt)；ks表示卷積核的大小，nt表示第t個(gè)卷積層的卷積核個(gè)數(shù)；經(jīng)過卷積層之后的特征圖fc(x,y,nt)的尺寸為：x＝(x+2-ks)+1，y＝(y+2-ks)+1。在本實(shí)驗(yàn)測(cè)試中，所有卷積層的卷積核大小ks＝3，即卷積操作不改變特征圖的尺寸大?。籺≤2時(shí)，卷積核個(gè)數(shù)nt＝64；2＜t≤4時(shí)，卷積核個(gè)數(shù)nt＝128；4＜t≤7時(shí)，卷積核個(gè)數(shù)nt＝256；7＜t≤13時(shí)，卷積核個(gè)數(shù)nt＝512；步驟1.3、對(duì)第t個(gè)卷積層的特征圖fc(x,y,nt)進(jìn)行第t次線性激活操作，得到特征圖fr(x,y,nt)；線性激活操作所使用的激活函數(shù)為relu，該激活函數(shù)將特征圖fc(x,y,nt)中負(fù)值元素取值置0，保持正值元素取值不變；不會(huì)改變特征圖fc(x,y,nt)的尺寸大小。步驟1.4、令t+1賦值給t后，判斷t≤δ+2是否成立，若成立，則重復(fù)步驟1.2和步驟1.3，否則，令t-1賦值給t后，執(zhí)行步驟1.5；步驟1.5、將第t次線性激活操作后的特征圖fr(x,y,nt)送入池化層lp(kp,s)進(jìn)行無重疊的采樣后，得到第v階段的特征圖fv(x,y,nv)，其中，kp,s分別表示采樣的范圍大小和滑動(dòng)步長(zhǎng)，nv表示第v階段的特征圖的數(shù)量；在本實(shí)驗(yàn)測(cè)試中，池化層進(jìn)行無重疊采樣的范圍大小kp＝2，滑動(dòng)步長(zhǎng)s＝2；池化層采取最大值池化經(jīng)過池化層采樣之后的特征圖fv(x,y,nv)的尺寸為：每個(gè)階段的特征圖數(shù)量與對(duì)應(yīng)階段的卷積核個(gè)數(shù)相等：v＝1時(shí)，nv＝64；v＝2時(shí)，nv＝128；v＝3時(shí)，nv＝256；4≤v≤5時(shí)，nv＝512；步驟1.6、令δ+2賦值給δ，判斷δ＝4是否成立，若成立，則執(zhí)行步驟1.7；否則，將v+1賦值給v后，返回步驟1.4；步驟1.7、令t+1賦值給t后，判斷t≤δ+3是否成立，若成立，則重復(fù)步驟1.2和步驟1.3后再返回步驟1.7，否則，令t-1賦值給t，將v+1賦值給v后，執(zhí)行步驟1.5后再跳到步驟1.8；步驟1.8、令δ+3賦值給δ，判斷δ＝13是否成立，若成立，則執(zhí)行步驟1.9；否則，令t+1賦值給t后，重復(fù)步驟1.2和步驟1.3后，返回步驟1.7；步驟1.9、對(duì)第v階段的特征圖fv(x,y,nv)進(jìn)行卷積操作，得到的結(jié)果進(jìn)行反卷積操作，從而得到特征圖fv′(x,y,nv)；對(duì)第v-1階段的特征圖fv-1(x,y,nv-1)進(jìn)行卷積操作后與特征圖fv′(x,y,nv)相加，再進(jìn)行反卷積操作得到特征圖f′v-1(x,y,nv-1)；對(duì)第v-2階段的特征圖fv-2(x,y,nv-2)進(jìn)行卷積操作后與特征圖f′v-1(x,y,nv-1)相加，再進(jìn)行反卷積操作得到特征圖f′v-2(x,y,nv-2)；反卷積操作是卷積操作的逆過程，經(jīng)過反卷積操作后所得特征圖的尺寸大小為：x＝(x-1)×ks+pad，y＝(y-1)×ks+pad，在本實(shí)驗(yàn)測(cè)試中，第v階段和第v-1階段的反卷積核大小ks＝2，pad＝4；第v-2階段的反卷積核大小ks＝8，pad＝16。卷積操作的卷積核個(gè)數(shù)nt＝12、反卷積操作的卷積核個(gè)數(shù)nv＝12。兩幅特征圖相加之前，需要將尺寸大的特征圖進(jìn)行裁剪，使兩幅特征圖的尺寸一致。步驟1.10、對(duì)特征圖f′v-2(x,y,nv-2)裁剪，使其與彩色圖像i(x,y,k)的大小一致，得到彩色圖像i(x,y,k)對(duì)應(yīng)的色彩類別概率，記為c(x,y,pi)，其中，pi代表第i個(gè)色彩類別的概率，i∈(0,1,...,n)，n為色彩類別的數(shù)量；在本實(shí)驗(yàn)測(cè)試中，裁剪的方式為隨機(jī)裁剪，色彩類別的數(shù)量n＝11，這11種色彩分別為：black、blue、brown、grey、green、orange、pink、purple、red、white、yellow。具體的定義參考《basiccolorterms:theiruniversalityandevolution》，該書于1991由加州大學(xué)出版社出版。步驟2、獲取具有像素級(jí)標(biāo)注的彩色圖像數(shù)據(jù)集，記為d＝{dtr,dval,dte}；dtr表示訓(xùn)練數(shù)據(jù)集；dval表示驗(yàn)證數(shù)據(jù)集；dte表示測(cè)試數(shù)據(jù)集；訓(xùn)練數(shù)據(jù)集dtr、驗(yàn)證數(shù)據(jù)集dval和測(cè)試數(shù)據(jù)集dte均包含彩色圖像和標(biāo)注圖像；且標(biāo)注圖像中每個(gè)像素點(diǎn)的取值v∈(0,1,...,n)；訓(xùn)練數(shù)據(jù)集dtr和驗(yàn)證數(shù)據(jù)集dval中所有彩色圖像的rgb三個(gè)通道的均值，記為m＝{mr,mg,mb}；訓(xùn)練數(shù)據(jù)集圖片數(shù)量為10913，驗(yàn)證數(shù)據(jù)集圖片數(shù)量為1500，測(cè)試數(shù)據(jù)集圖片數(shù)量為1800。在本實(shí)驗(yàn)測(cè)試中，標(biāo)注圖像是對(duì)彩色圖像中每個(gè)像素點(diǎn)賦予色彩類別標(biāo)簽v，v∈(0,1,...,11),分別表示該像素點(diǎn)的色彩為：darkcyan、black、blue、brown、grey、green、orange、pink、purple、red、white、yellow；其中darkcyan表示該像素點(diǎn)為背景。數(shù)據(jù)集的均值m＝{93.53614,96.15632,102.91466}。如圖3a所示，為本發(fā)明彩色圖像測(cè)試集中的部分彩色圖像；如圖3b所示，為本發(fā)明彩色圖像測(cè)試集中部分彩色圖像對(duì)應(yīng)的像素級(jí)標(biāo)注圖像。本發(fā)明對(duì)彩色圖像進(jìn)行色彩語義分類的區(qū)域不包括背景、頭發(fā)、皮膚；這些區(qū)域統(tǒng)一賦予色彩類別標(biāo)簽0。步驟3、對(duì)全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練；步驟3.1、對(duì)訓(xùn)練數(shù)據(jù)集dtr中所有彩色圖像添加σ1的高斯噪聲以改變彩色圖像的對(duì)比度和rgb值；再對(duì)所有彩色圖像添加σ2的高斯噪聲用于改變亮度，從而得到彩色變換圖像；本實(shí)施例中，σ1∈[0,0.04]，σ2＝0.2；步驟3.2、以訓(xùn)練數(shù)據(jù)集dtr中所有彩色圖像及其彩色變換圖像作為全卷積網(wǎng)絡(luò)訓(xùn)練階段的輸入數(shù)據(jù)，以訓(xùn)練數(shù)據(jù)集dtr中所有標(biāo)注圖像作為輸入數(shù)據(jù)的標(biāo)簽；且彩色圖像及其彩色變換圖像使用相同的標(biāo)簽；以驗(yàn)證數(shù)據(jù)集dval中所有彩色圖像作為全卷積網(wǎng)絡(luò)訓(xùn)練階段的測(cè)試數(shù)據(jù)，以驗(yàn)證數(shù)據(jù)集dval中所有標(biāo)注圖像作為測(cè)試數(shù)據(jù)的標(biāo)簽；步驟3.3、利用隨機(jī)梯度下降算法(stochasticgradientdescent，sgd)對(duì)全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到色彩語義的層次特征模型；在網(wǎng)絡(luò)迭代訓(xùn)練的過程中，隨機(jī)梯度下降算法每次隨機(jī)的選擇一副圖像進(jìn)行學(xué)習(xí)，來更新模型參數(shù)。具體方法可參考leonbottou的“stochasticgradientdescenttricks”，該文章于2012發(fā)表在《neuralnetworks:tricksofthetrade》第421-436頁。步驟4、以測(cè)試數(shù)據(jù)集dte中所有彩色圖像與均值m的差值作為特征模型的輸入數(shù)據(jù)，并經(jīng)過特征模型的計(jì)算，得到每幅彩色圖像的色彩類別概率；令色彩類別概率中概率最大值所對(duì)應(yīng)的色彩標(biāo)簽作為該像素點(diǎn)的色彩類別，如圖3c所示，為使用全卷積網(wǎng)絡(luò)得到的彩色圖像的像素級(jí)色彩類別，每個(gè)像素點(diǎn)的取值v∈(0,1,...,11)，表示該像素點(diǎn)的色彩為：darkcyan、black、blue、brown、grey、green、orange、pink、purple、red、white、yellow。圖3c與圖3d所示的真實(shí)標(biāo)記相比，彩色圖像的像素級(jí)色彩類別和真實(shí)標(biāo)記大致一致，但是在一些小區(qū)域上存在分類錯(cuò)誤。步驟5、使用全連接條件隨機(jī)場(chǎng)的方法對(duì)每幅彩色圖像的色彩類別概率進(jìn)行優(yōu)化處理，得到測(cè)試數(shù)據(jù)集dte中彩色圖像的每個(gè)像素點(diǎn)的色彩類別，再將每個(gè)像素點(diǎn)的色彩類別轉(zhuǎn)化到彩色空間中，從而得到像素級(jí)的色彩語義分類結(jié)果。全連接條件隨機(jī)場(chǎng)中使用二元?jiǎng)莺瘮?shù)描述每一個(gè)像素點(diǎn)和其他每個(gè)像素點(diǎn)的關(guān)系，鼓勵(lì)相似像素分配相同的標(biāo)簽，即分類為同一種色彩。具體方法可參考論文“efficientinferenceinfullyconnectedcrfswithgaussianedgepotentials”，該文章于2011年發(fā)表于國(guó)際會(huì)議《advancesinneuralinformationprocessingsystems》2卷3期第4頁。如圖3d所示，為使用全連接條件隨機(jī)場(chǎng)方法進(jìn)行優(yōu)化后得到的彩色圖像的像素級(jí)色彩類別，每個(gè)像素點(diǎn)的取值為v∈(0,1,...,11)，表示該像素點(diǎn)的色彩為：darkcyan、black、blue、brown、grey、green、orange、pink、purple、red、white、yellow。最終的像素級(jí)色彩語義分類結(jié)果需要將色彩類別轉(zhuǎn)化到rgb彩色空間。圖3d和圖3c相比，糾正了一些小區(qū)域的錯(cuò)誤色彩語義分類，分類邊界更接近彩色圖像的輪廓；和圖3b的真實(shí)標(biāo)記相比，同一區(qū)域的色彩統(tǒng)一，色彩語義分類邊界平整、輪廓清晰。色彩類別和rgb取值存在一對(duì)一的轉(zhuǎn)化關(guān)系，在本實(shí)驗(yàn)測(cè)試中，色彩類別標(biāo)簽、rgb值和色彩的關(guān)系如表1所示。表1表2彩色圖像色彩語義分類方法ourscheng等人plsapns90.174.363.1如表2所示，為本發(fā)明的彩色圖像色彩語義分類方法以“像素標(biāo)注平均得分”(pixelannotationscore，pns)為度量標(biāo)準(zhǔn)，與當(dāng)前已有彩色圖像色彩語義分類方法進(jìn)行量化對(duì)比的分析表。pns取值越大，表明色彩語義分類結(jié)果精度更高。表2中，ours表示本發(fā)明的彩色圖像色彩語義分類方法；cheng等人表示使用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)方法；plsa表示概率隱語義分析方法。3種方法均在本發(fā)明使用的彩色圖像測(cè)試集上進(jìn)行測(cè)試，可以看出：在使用較小分辨率圖像進(jìn)行測(cè)試時(shí)，本發(fā)明的方法已經(jīng)比cheng等人的方法在精度上有了大幅度的提升；和plsa方法相比，則具有絕對(duì)優(yōu)勢(shì)。當(dāng)前第1頁12