本發(fā)明涉及計(jì)算機(jī)視覺、圖像處理領(lǐng)域恢復(fù)圖像清晰度的算法，特別涉及采用學(xué)習(xí)的方法進(jìn)行去霧的算法

背景技術(shù)：

圖像去霧算法是一種從有霧圖像中恢復(fù)出原始無霧圖像的算法，主要目的是提高受到霧的影響而成像質(zhì)量惡化的圖像的清晰度，廣泛應(yīng)用于交通運(yùn)輸、衛(wèi)星遙感、視頻監(jiān)控、國(guó)防軍事等對(duì)圖像質(zhì)量有較高要求的行業(yè)。

當(dāng)前，很多方法致力于在學(xué)習(xí)的框架下，通過學(xué)習(xí)反映霧的大小程度的特征與透射率之間的關(guān)系來實(shí)現(xiàn)對(duì)透射率的預(yù)測(cè)，最終通過霧天圖像的成像模型恢復(fù)原始無霧圖像。該類方法的研究重點(diǎn)是如何提取與霧的大小相關(guān)的特征來提高對(duì)透射率的預(yù)測(cè)準(zhǔn)確性。2014年,tang[1]提出直接從有霧圖像塊中提取暗通道、最大對(duì)比度、色調(diào)差異、最大飽和度這幾種能反映霧的大小程度的特征。為了保證對(duì)透射率預(yù)測(cè)的準(zhǔn)確性及魯棒性，每一種特征又同時(shí)提取了不同的尺度。最終，通過訓(xùn)練好的隨機(jī)森林來實(shí)現(xiàn)對(duì)透射率的估計(jì)。在自然場(chǎng)景下，該方法雖然對(duì)薄霧區(qū)域有較好的效果，但對(duì)于濃霧區(qū)域的透射率估計(jì)得準(zhǔn)確度卻大大降低。其主要原因是濃霧區(qū)域的光線比薄霧區(qū)域的光線受到更大的衰減及散射的影響，使得濃霧區(qū)域的各種特征非常的不明顯且高度近似，嚴(yán)重降低了隨機(jī)森林對(duì)這部分區(qū)域透射率預(yù)測(cè)的準(zhǔn)確性。2015年，zhu[2]發(fā)現(xiàn)亮度與飽和度的差值能夠很好地反映霧的大小。根據(jù)這一先驗(yàn)知識(shí)，通過學(xué)習(xí)的方法得到有霧條件下景物的深度與飽和度和亮度之間的關(guān)系。利用這一關(guān)系，對(duì)有霧圖像中景物的深度進(jìn)行估計(jì)，從而計(jì)算出透射率，最終恢復(fù)原始無霧圖像。同樣，該方法并沒有考慮到濃霧區(qū)域特征非常的不明顯以及該區(qū)域圖像塊之間特征的極度相似性，使得估計(jì)出的深度與亮度和飽和度之間關(guān)系的模型無法適用于濃霧區(qū)域。2015年，wang[3]從局部區(qū)域提取對(duì)比度直方圖及暗通道特征來訓(xùn)練svm分類器，通過訓(xùn)練好的svm分類器來判斷圖片中天氣的種類以及圖片清晰度的惡化程度。然而，由于濃霧區(qū)域細(xì)節(jié)消失較為嚴(yán)重，使得計(jì)算得到的對(duì)比度往往只集中在很小的范圍內(nèi)。此外，由于濃霧區(qū)域亮度值變化較小，使得局部圖像塊得到的暗通道特征可區(qū)分性很小。綜上兩方面原因，使得該方法無法應(yīng)用于濃霧區(qū)域。2016年，ren[4]將兩個(gè)卷積網(wǎng)絡(luò)結(jié)合起來估計(jì)透射率。該方法將有霧圖像作為輸入，同時(shí)輸入給粗尺度網(wǎng)絡(luò)及細(xì)尺度網(wǎng)絡(luò)，并將兩個(gè)網(wǎng)絡(luò)相結(jié)合，最終輸出估計(jì)的透射率圖。但由于濃霧區(qū)域的特征非常的近似，且由于網(wǎng)絡(luò)采用的是上采樣及池化操作，使得最終得到的透射率圖在濃霧區(qū)域過于的平滑，無法很好地體現(xiàn)差異性，導(dǎo)致最終恢復(fù)出來的圖像在濃霧區(qū)域細(xì)節(jié)不夠清晰。2016年，cai[5]將原始有霧圖像的圖像塊輸入到卷積神經(jīng)網(wǎng)絡(luò)，通過卷積網(wǎng)絡(luò)估計(jì)圖像塊的透射率，從而恢復(fù)出原始無霧圖像。綜上，由于濃霧區(qū)域本身存在相關(guān)特征非常不明顯以及局部區(qū)域之間特征高度相似，使得上述基于學(xué)習(xí)的方法對(duì)于濃霧區(qū)域透射率預(yù)測(cè)的準(zhǔn)確度大大降低，最終導(dǎo)致對(duì)于濃霧區(qū)域的去霧效果很不理想。

參考文獻(xiàn)：

[1]k.tang,j.yang,j.wang,"investigatinghaze-relevantfeaturesinalearningframeworkforimagedehazing,"inproc.ieeeconf.comput.vis.patternrecognit.,2014.

[2]q.zhu,j.mai,l.shao,"afastsingleimagehazeremovalalgorithmusingcolorattenuationprior,"ieeetrans.imageprocess.,vol.24,no.11,pp.3522–3533,2015.

[3]c.wang,j.ding,l.chen,"hazedetectionandhazedegreedegreeestimationusingdarkchannelchannelsandcontrasthistograms,"inproc.ieeeint.conf.inf.,commun.signalprocess.,2015.

[4]w.ren,s.liu,h.zhang,j.pan,x.cao,m.yang,"singleimagedehazingviamulti-scaleconvolutionalneuralnetworks,"inproc.eur.conf.comput.vis.,2016.

[5]b.cai,x.xu,k.jia,c.qing,d.tao,"dehazenet:anend-to-endsystemforsingleimagehazeremoval,"ieeetrans.imageprocess.,vol.25,no.11,pp.5187–5198,2016.

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的是針對(duì)現(xiàn)有基于學(xué)習(xí)的去霧算法存在的對(duì)于濃霧區(qū)域的透射率估計(jì)不準(zhǔn)確的問題，提出一種對(duì)濃薄霧圖像塊進(jìn)行區(qū)分處理及對(duì)濃霧圖像塊進(jìn)行預(yù)處理的圖像去霧算法。技術(shù)方案如下：

一種基于區(qū)域劃分及濃霧預(yù)處理的卷積神經(jīng)網(wǎng)絡(luò)去霧算法，該算法首先訓(xùn)練該算法首先訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)w1及w2，w1采用lenet網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練步驟如下:

(1)選取m個(gè)大小為r×r的無霧圖像塊對(duì)于每一個(gè)圖像塊選取透射率值對(duì)進(jìn)行加霧，使得加霧后的圖像塊的暗通道值大于閾值t，對(duì)加霧的公式如下：

其中，y為內(nèi)任一像素點(diǎn)，表示在y點(diǎn)r、g、b顏色通道的像素值，a^t＝(255,255,255)^t；

暗通道值的計(jì)算公式如下：

其中，c為r、g、b顏色通道中的一個(gè)，表示在y點(diǎn)某一顏色通道的像素值，a^tc表示a^t在同一顏色通道的像素值，ω表示內(nèi)所有像素點(diǎn)；

(2)對(duì)進(jìn)行映射，結(jié)果為公式如下：

其中，βk為常數(shù)，表示映射函數(shù)第k+1的系數(shù)，k∈{1,2,......,k}，為在y點(diǎn)某一通道的像素值；

(3)將作為w1的訓(xùn)練數(shù)據(jù)，采用批量梯度下降算法對(duì)w1進(jìn)行訓(xùn)練，迭代次數(shù)為n1，目標(biāo)函數(shù)如下：

其中，表示w1在第d次迭代，d∈{1,2,......,n1}，對(duì)的估計(jì)值；表示第d次迭代的誤差的平方和；

w2采用nin網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練步驟如下:

(1)任意選取l個(gè)大小為r×r的無霧圖像塊對(duì)于每一個(gè)圖像塊j∈{1,2,......,l}，任意選取一個(gè)透射率值對(duì)進(jìn)行加霧，使得加霧后的圖像塊的暗通道值小于閾值t；對(duì)加霧的公式如下：

其中，表示在y點(diǎn)r、g、b顏色通道的像素值，a^e＝(255,255,255)^t；

暗通道值的計(jì)算公式如下：

其中，表示在y點(diǎn)某一顏色通道的像素值，a^ec表示a^e在同一顏色通道的像素值，ω表示內(nèi)所有像素點(diǎn)；

(2)計(jì)算的暗通道特征圖公式如下：

其中，ω′(y)表示以y點(diǎn)為中心，大小為r×r的鄰域，y′為該鄰域內(nèi)的像素點(diǎn)，如果ω′(y)超出的范圍，則超出的像素點(diǎn)不參與計(jì)算；

(3)將轉(zhuǎn)換到hls顏色空間，提取器色度分量

(4)將色度圖暗通道特征圖作為w2的訓(xùn)練數(shù)據(jù)，采用批量梯度下降算法對(duì)w2進(jìn)行訓(xùn)練，迭代次數(shù)為n2，目標(biāo)函數(shù)如下：

其中，表示w2在第d次迭代，d∈{1,2,......,n2}，對(duì)的估計(jì)值；表示第d次迭代的誤差的平方和；

算法步驟如下：

步驟1：將有霧圖像ih劃分成n個(gè)大小為r×r的不重疊的圖像塊p1,p2,......,pn，設(shè)ih去霧后的結(jié)果為j^f，a＝(255,255,255)^t；

步驟2：對(duì)于每個(gè)圖像塊pi，計(jì)算pi的暗通道值di，公式如下：

其中，ω表示pi內(nèi)所有像素點(diǎn)，為pi在y點(diǎn)某一顏色通道的像素值，a^c為a在同一通道的像素值；

步驟3：如果di≥t，則認(rèn)為pi為濃霧圖像塊，轉(zhuǎn)至步驟4；否則，判定pi為薄霧圖像塊，轉(zhuǎn)至步驟6；

步驟4：對(duì)pi進(jìn)行映射，結(jié)果為公式如下：

其中，表示在y點(diǎn)某一顏色通道的像素值；

步驟5：將輸入w1中，估計(jì)透射率ti；

步驟6：計(jì)算pi的暗通道特征圖dmi，計(jì)算公式如下：

如果ω′(y)超出pi的范圍，則超出的像素點(diǎn)不參與計(jì)算；

步驟7：將有pi轉(zhuǎn)換到hls顏色空間，提取色度分量hi；

步驟8：將dmi及hi輸入到w2中，估計(jì)透射率ti；

步驟9：利用步驟5或8中得到的透射率ti，對(duì)pi進(jìn)行去霧，得到無霧圖像塊

步驟10：將賦值給j^f中對(duì)應(yīng)pi位置的圖像塊

本發(fā)明采用了一種基于濃薄霧區(qū)域劃分及濃霧區(qū)域預(yù)處理的卷積神經(jīng)網(wǎng)絡(luò)去霧算法，將圖像塊劃分為濃霧圖像塊及薄霧圖像塊，并對(duì)每類圖像塊采用相對(duì)應(yīng)的卷積網(wǎng)絡(luò)。特別低，對(duì)濃霧圖像塊，在輸入神經(jīng)網(wǎng)絡(luò)之前進(jìn)行增強(qiáng)，使其中的細(xì)節(jié)信息顯露出來。與以往的基于學(xué)習(xí)的圖像去霧算法相比，能夠克服現(xiàn)有方法中存在的由于濃霧區(qū)域特征的不明顯行性及高度的相似性而導(dǎo)致的對(duì)透射率估計(jì)嚴(yán)重不準(zhǔn)確的問題，提高了透射率估計(jì)得準(zhǔn)確性，避免了由于估計(jì)不準(zhǔn)確而導(dǎo)致的顏色失真及細(xì)節(jié)不清晰的問題。

附圖說明

本發(fā)明方法流程圖

具體實(shí)施方式

本專利提出了一種基于濃薄霧區(qū)域劃分及濃霧區(qū)域預(yù)處理的卷積神經(jīng)網(wǎng)絡(luò)去霧算法。首先，提取有霧圖像中局部圖像塊的暗通道值并與閾值進(jìn)行比較，判斷該圖像塊為濃霧圖像塊或薄霧圖像塊。如果經(jīng)過判斷是濃霧圖像塊，則對(duì)該圖像塊進(jìn)行增強(qiáng)處理，然后輸入到卷積神經(jīng)網(wǎng)絡(luò)中，通過卷積網(wǎng)絡(luò)來預(yù)計(jì)該圖像塊的透射率；如果是薄霧圖像塊，則提取該圖像塊的色度特征圖及暗通道特征圖，輸入到卷積神經(jīng)網(wǎng)絡(luò)來判斷該圖像塊的透射率。最終，在得到圖像塊透射率值的基礎(chǔ)上，通過霧天圖像的成像模型，計(jì)算出原始的無霧圖像。具體方案如下：

該算法首先訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)w1及w2。w1采用lenet網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練步驟如下:

(1)任意選取m個(gè)大小為r×r的無霧圖像塊對(duì)于每一個(gè)圖像塊j∈{1,2,......,m}，任意選取一個(gè)透射率值對(duì)進(jìn)行加霧，使得加霧后的圖像塊的暗通道值大于閾值t。對(duì)加霧的公式如下：

其中，y為內(nèi)任一像素點(diǎn)，表示在y點(diǎn)r、g、b顏色通道的像素值，a^t＝(255,255,255)^t；

暗通道值的計(jì)算公式如下：

其中，c為r、g、b顏色通道中的一個(gè)，表示在y點(diǎn)某一顏色通道的像素值，a^tc表示a^t在同一顏色通道的像素值，ω表示內(nèi)所有像素點(diǎn)。

(2)對(duì)進(jìn)行映射，結(jié)果為公式如下：

其中，βk為常數(shù)，表示映射函數(shù)第k+1的系數(shù)，k∈{1,2,......,k}，為在y點(diǎn)某一通道的像素值。

(3)將作為w1的訓(xùn)練數(shù)據(jù)，采用批量梯度下降算法對(duì)w1進(jìn)行訓(xùn)練，迭代次數(shù)為n1，目標(biāo)函數(shù)如下：

其中，表示w1在第d次迭代，d∈{1,2,......,n1}，對(duì)的估計(jì)值；表示第d次迭代的誤差的平方和。

w2采用nin網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練步驟如下:

(1)任意選取l個(gè)大小為r×r的無霧圖像塊對(duì)于每一個(gè)圖像塊j∈{1,2,......,l}，任意選取一個(gè)透射率值對(duì)進(jìn)行加霧，使得加霧后的圖像塊的暗通道值小于閾值t。對(duì)加霧的公式如下：

其中，表示在y點(diǎn)r、g、b顏色通道的像素值，a^e＝(255,255,255)^t；

暗通道值的計(jì)算公式如下：

其中，表示在y點(diǎn)某一顏色通道的像素值，a^ec表示a^e在同一顏色通道的像素值，ω表示內(nèi)所有像素點(diǎn)。

(2)計(jì)算的暗通道特征圖公式如下：

其中，ω′(y)表示以y點(diǎn)為中心，大小為r×r的鄰域，y′為該鄰域內(nèi)的像素點(diǎn)。如果ω′(y)超出的范圍，則超出的像素點(diǎn)不參與計(jì)算。

(3)將轉(zhuǎn)換到hls顏色空間，提取器色度分量

(4)將色度圖暗通道特征圖作為w2的訓(xùn)練數(shù)據(jù)，采用批量梯度下降算法對(duì)w2進(jìn)行訓(xùn)練，迭代次數(shù)為n2，目標(biāo)函數(shù)如下：

其中，表示w2在第d次迭代，d∈{1,2,......,n2}，對(duì)的估計(jì)值；表示第d次迭代的誤差的平方和。

算法步驟如下：

步驟1：將有霧圖像ih劃分成n個(gè)大小為r×r的不重疊的圖像塊p1,p2,......,pn，設(shè)ih去霧后的結(jié)果為j^f，a＝(255,255,255)^t；

步驟2：對(duì)于每個(gè)圖像塊pi，計(jì)算pi的暗通道值di，公式如下：

其中，ω表示pi內(nèi)所有像素點(diǎn)，為pi在y點(diǎn)某一顏色通道的像素值，a^c為a在同一通道的像素值。

步驟3：如果di≥t，則認(rèn)為pi為濃霧圖像塊，轉(zhuǎn)至步驟4；否則，判定pi為薄霧圖像塊，轉(zhuǎn)至步驟6。

步驟4：對(duì)pi進(jìn)行映射，結(jié)果為公式如下：

其中，表示在y點(diǎn)某一顏色通道的像素值。

步驟5：將輸入w1中，估計(jì)透射率ti。

步驟6：計(jì)算pi的暗通道特征圖dmi，計(jì)算公式如下：

如果ω′(y)超出pi的范圍，則超出的像素點(diǎn)不參與計(jì)算。

步驟7：將有pi轉(zhuǎn)換到hls顏色空間，提取色度分量hi。

步驟8：將dmi及hi輸入到w2中，估計(jì)透射率ti。

步驟9：利用步驟5或8中得到的透射率ti，對(duì)pi進(jìn)行去霧，得到無霧圖像塊公式如下：

步驟10：將賦值給j^f中對(duì)應(yīng)pi位置的圖像塊公式如下：