本發(fā)明涉及圖像處理，具體是涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨方法。
背景技術(shù)：
：現(xiàn)有的單幅圖像去雨方法，主要分為基于字典學習的方法和運用引導濾波等濾波器通過濾波的方法。基于字典學習的方法認為雨線及背景邊緣是屬于不同的結(jié)構(gòu)，它們應該通過不同的字典進行表示，以此來區(qū)分該邊緣是否屬于雨線進行去雨。但在現(xiàn)實生活中，雨線與某些背景邊緣的方向顏色等特性有時會產(chǎn)生重疊。該類方法隨后在字典分離步驟中，雖然通過不斷引入新的特征來增加字典分類的區(qū)分度，在一定程度上將準確率提高了，但同時算法的復雜度也相應地提高，實時性降低，耗時較長，很難應用于實際工程中。運用引導濾波等濾波器進行去雨，相當于將去雨問題回歸到去噪問題。現(xiàn)在雖然已經(jīng)有許多的保邊濾波器，如常用的雙邊濾波器、引導濾波等。但是對于直接去雨這個任務來說，傳統(tǒng)的濾波器都不能達到理想的效果。因為它們只能考慮到較小的局部鄰域信息。而在較小的局部窗口內(nèi)，雨線和邊緣的結(jié)構(gòu)區(qū)分度不夠高，更容易相似，因此不能很好地區(qū)分它們，處理結(jié)果常在清晰度與去雨間折中，無法在去除雨線的同時很好地保留背景圖像的信息。中國專利CN104299200A公開一種彩色增強的單幅圖像去雨處理方法，所述方法包括：S1、將圖像由RGB空間轉(zhuǎn)換到HSI空間，對HSI空間的H分量、I分量和S分量分別進行去雨處理；S2、對HSI空間中I分量進行直方圖均衡化處理；S3、將圖像由HSI空間轉(zhuǎn)換回RGB空間，對去雨后的圖像進行后處理。技術(shù)實現(xiàn)要素：本發(fā)明的目的在于提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨方法。本發(fā)明包括如下步驟：1)通過screenblendmodel對干凈的清晰圖像人工加雨，形成相應的有雨圖像，建立圖像庫；2)確定卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)；3)從步驟1)中取64×64大小的相應的有雨無雨圖像塊對，以有雨無雨圖像塊對作為訓練樣本進行訓練；4)對單幅有雨圖像重疊地取塊，輸入訓練好的去雨的濾波系統(tǒng)中，得到相應的無雨圖像塊，將這些圖像塊加權(quán)平均，得到無雨圖像。在步驟2)中，所述卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)如下所示：FW(I)＝Wn*Fn-1(I)+bn,n＝3Fn(I)＝σ(Wn*Fn-1(I)+bn),n＝1,2Fn(I)＝I,n＝0,式中，n表示第幾層，n的變化范圍為0～3，表示從底層到頂層，I表示輸入圖像，F(xiàn)n(I)表示第n層的輸出，*表示網(wǎng)絡(luò)連接卷積的方式，或者通常被稱為權(quán)重分享。對于每個中間層進行一次卷積操作，Wn在公式中表示相應n層所對應的卷積核，F(xiàn)n-1(I)表示在n-1這一層的所有節(jié)點，即n層的輸入，bn為擾動向量，σ(·)是非線性的雙曲正切函數(shù)，表達式為在步驟3)中，所述訓練的過程包括前向傳導過程、反向傳導過程和卷積核更新過程；卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)中待確定參數(shù)有(W,b)＝(W(1),b(1),W(2),b(2),W(3),b(3))，在前向傳導過程之前，對卷積核及擾動項進行初始化，隨機初始化過程中令W的值服從以0為均值，以1為方差的正態(tài)分布，令b的值為0；所述前向傳導過程為三次卷積的過程：在第一次的卷積過程中，通過256個16×16的三維卷積核，對原始輸入的3通道的彩色圖像進行256次卷積，得到256個三維像素矩陣；第二次卷積的過程中，對這256個三維像素矩陣分別對應通過256個1×1的三維卷積核，得到相應256個三維像素矩陣；第三次卷積的過程中，對第二次卷積得到的結(jié)果通過8×8的三維卷積核，最終通過加權(quán)平均得到系統(tǒng)輸出，完成前向傳導過程。所述反向傳導過程和卷積核更新過程為：將前向傳導過程得到的結(jié)果與圖像庫中的無雨圖像的誤差向輸入層進行反向傳播，將誤差分配到各層所有單元中，兩個圖像塊誤差如下式所示：12||FW(I)-L(I)||22]]>其中I表示輸入的彩色圖像，L(I)表示理想的去雨濾波算子，F(xiàn)W(I)表示網(wǎng)絡(luò)的前饋處理，F(xiàn)表示系統(tǒng)結(jié)構(gòu)，W表示系統(tǒng)的參數(shù)；從圖像庫中抽取一個圖像塊Ii，并從庫中找到對應的無雨圖像塊{L(Ii)}，則對于每個樣本的更新過程如下：Wt+1=Wt-η∂FW(Ii)∂W]]>η是學習速率，在訓練的過程中每次衰減0.001，Wt及Wt+1分別表示更新前后的系統(tǒng)系數(shù)；通過反向傳導過程實現(xiàn)卷積核的更新后，繼續(xù)重復前向傳導過程和卷積核更新過程，直到本次網(wǎng)絡(luò)輸出誤差與上次網(wǎng)絡(luò)輸出的誤差作差后，所得值較小，則認為該網(wǎng)絡(luò)已收斂，停止訓練。本發(fā)明首先確定一個三層卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)，將對應的有雨無雨圖像塊對輸入該系統(tǒng)，訓練得到相應的參數(shù)，以得到一個適用于去雨的濾波系統(tǒng)。本發(fā)明可以使輸入的有雨圖像塊非線性地映射得到相應的無雨圖像塊。因而將單幅有雨圖像重疊地取塊后輸入該系統(tǒng)，得到相應的無雨圖像塊，最后將這些塊加權(quán)平均可以得到最終無雨的圖像。本發(fā)明克服了基于字典學習的單幅圖像去雨方法耗時太長的問題，同時不像一般的濾波器只能考慮較小領(lǐng)域的信息，實現(xiàn)了去雨的同時保證背景圖像的清晰度。本發(fā)明將卷積神經(jīng)網(wǎng)絡(luò)應用于單幅圖像去雨，通過設(shè)計并訓練得到一個適用于單幅圖像的去雨濾波系統(tǒng)，使輸入有雨圖像后，能夠快速得到無雨圖像的一種新的單幅圖像去雨方法，滿足嵌入式設(shè)備實時化處理的需求。附圖說明圖1為清晰原始圖像示例。圖2為人工合成的有雨圖像示例。圖3為卷積神經(jīng)網(wǎng)絡(luò)的系統(tǒng)結(jié)構(gòu)圖。圖4為仿真有雨圖像的實驗結(jié)果對比圖。在圖4中，(a)為仿真有雨圖像，(b)為Kang方法效果，(c)為Huang方法效果，(d)為Luo方法效果，(e)為本發(fā)明效果，(f)為真實無雨圖像。圖5為仿真有雨圖像的實驗結(jié)果對比圖。在圖5中，(a)為仿真有雨圖像，(b)為Kang方法效果，(c)為Huang方法效果，(d)為Luo方法效果，(e)為本發(fā)明效果，(f)為真實無雨圖像。圖6為自然有雨圖像的實驗結(jié)果對比圖。在圖6中，(a)為仿真有雨圖像，(b)為Kang方法效果，(c)為Huang方法效果，(d)為Luo方法效果，(e)為本發(fā)明效果。圖7為自然有雨圖像的實驗結(jié)果對比圖。在圖7中，(a)為仿真有雨圖像，(b)為Kang方法效果，(c)為Huang方法效果，(d)為Luo方法效果，(e)為本發(fā)明效果。具體實施方式以下實施例將結(jié)合附圖對本發(fā)明作進一步的說明。本發(fā)明實施例包括以下步驟：步驟1：通過screenblendmodel對干凈的清晰圖像人工加雨，形成相應的有雨圖像，建立圖像庫。在訓練過程中，需要大量的有雨圖像及無雨圖像的圖像對作為訓練樣本。在現(xiàn)實生活場景中，想要獲得單幅的無雨圖像或是單幅的有雨圖像相對而言較簡單。然而想要得到大量的相應圖像對卻是一件比較困難的事情。因而通過screenblendmodel人工合成有雨圖像，具體步驟如下：第一步：從網(wǎng)上找各種場景的440幅干凈的圖像，圖像的一些示例如圖1所示。第二步：根據(jù)雨的物理特性來考慮雨線的可能性，通過screenblendmodel讓雨線的角度從60度至120度每隔10度取值，對每幅圖像添加了共7個角度的雨線。同時對每個角度設(shè)置了小雨及大雨兩個場景，因而每幅無雨圖像可以產(chǎn)生14幅不同的相應有雨圖像。原始干凈圖像與合成后的圖像示例如圖2所示；步驟2：確定卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)。根據(jù)圖3，卷積神經(jīng)網(wǎng)絡(luò)包含兩個隱層，其網(wǎng)絡(luò)結(jié)構(gòu)如下式所示：FW(I)＝Wn*Fn-1(I)+bn,n＝3Fn(I)＝σ(Wn*Fn-1(I)+bn),n＝1,2Fn(I)＝I,n＝0,式中，n表示第幾層，它的變化范圍從0～3(底層到頂層)，I表示輸入圖像，F(xiàn)n(I)表示第n層的輸出，*表示網(wǎng)絡(luò)連接卷積的方式，或者通常被稱為權(quán)重分享。對于每個中間層進行一次卷積操作，Wn在公式中表示相應n層所對應的卷積核，F(xiàn)n-1(I)表示在n-1這一層的所有節(jié)點，即n層的輸入，bn為擾動向量，σ(·)是非線性的雙曲正切函數(shù)，表達式為步驟3：對卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)進行訓練學習。從步驟1中取64×64大小的相應的有雨無雨圖像塊對，以這些圖像塊對作為訓練樣本，對該網(wǎng)絡(luò)進行訓練。訓練的過程包括前向傳導、反向傳導、卷積核更新三個過程，具體步驟如下：第一步：系統(tǒng)初始化。系統(tǒng)中待確定參數(shù)有(W,b)＝(W(1),b(1),W(2),b(2),W(3),b(3))，在前向傳導之前，對卷積核及擾動項進行初始化，隨機初始化過程中令W的值服從以0為均值，以1為方差的正態(tài)分布，令b的值為0。第二步：前向傳導。所述前向傳導過程為三次卷積的過程。在第一次的卷積過程中，通過256個16×16的三維卷積核，對原始輸入的3通道的彩色圖像進行256次卷積，得到256個三維像素矩陣；第二次卷積的過程中，對這256個三維像素矩陣分別對應通過256個1×1的三維卷積核，得到相應256個三維像素矩陣；第三次卷積的過程中，對第二次卷積得到的結(jié)果通過8×8的三維卷積核，最終通過加權(quán)平均得到系統(tǒng)輸出，完成前向傳導過程。第三步：反向傳導和卷積核更新。所述反向傳導、卷積核更新過程為，將前向傳導得到的結(jié)果與圖像庫中的無雨圖像的誤差向輸入層進行反向傳播，將誤差分配到各層所有單元中，兩個圖像塊誤差如下式所示：12||FW(I)-L(I)||22]]>其中I表示輸入的彩色圖像，L(I)表示理想的去雨濾波算子，F(xiàn)W(I)表示網(wǎng)絡(luò)的前饋處理，F(xiàn)表示系統(tǒng)結(jié)構(gòu)，W表示系統(tǒng)的參數(shù)。從圖像庫中抽取一個圖像塊Ii，并從庫中找到對應的無雨圖像塊{L(Ii)}，則對于每個樣本的更新過程如下：Wt+1=Wt-η∂FW(Ii)∂W]]>其中η是學習速率，在訓練過程中每次衰減0.001。Wt及Wt+1分別表示更新前后的系統(tǒng)系數(shù)。通過反向傳導實現(xiàn)卷積核的更新后，繼續(xù)重復前向傳導等更新過程。直到本次網(wǎng)絡(luò)輸出誤差與上次網(wǎng)絡(luò)輸出的誤差作差后，所得值較小，則認為該網(wǎng)絡(luò)已收斂，停止訓練。步驟4：輸入有雨圖像進行去雨。通過步驟3，已完成去雨濾波系統(tǒng)訓練，所述去雨的具體步驟如下：第一步：對單幅有雨圖像重疊地取塊，輸入訓練好的去雨的濾波系統(tǒng)中，得到相應的無雨圖像塊。第二步：將得到的無雨圖像塊加權(quán)平均，得到最終的去雨圖像。本發(fā)明的優(yōu)點為：1.首次將卷積神經(jīng)網(wǎng)絡(luò)應用于單幅圖像去雨，克服了傳統(tǒng)濾波器只能考慮較小領(lǐng)域的局限，更好地區(qū)分雨線與邊緣；2.由于本發(fā)明訓練得到的去雨濾波系統(tǒng)簡單快速，比基于字典學習的方法快得多，適宜嵌入式平臺的雨天圖像處理，應用前景十分廣泛。本發(fā)明同目前國際上主流的單幅圖像去雨算法：Kang(KangLW,LinCW,FuYH.Automaticsingle-image-basedrainstreaksremovalviaimagedecomposition[J].IEEETrans.ImageProcess.,2012,21(4):1742–1755.)在TIP12’、Huang(HuangDA,KangLW，WangYCF，LinCW.Self-learningbasedimagedecompositionwithapplicationstosingleimagedenoising[J].IEEETrans.onMultimedia，2014，16(1)：83-93)在TMM14’以及Luo(LuoY，XuY，JiH.RemovingRainFromaSingleImageviaDiscriminativeSparseCoding[C].IEEEInternationalConferenceonComputerVision.2015：3397-340)在ICCV15’所提出方法的運行時間和復原效果進行比較。本發(fā)明選取一幅仿真有雨圖像及一幅自然場景的有雨圖像，在配置為Intel(R)Core(TM)i5-4460CPU@3.20GHz內(nèi)存8GB，MatlabR2014a的PC機上進行實驗對比。通過圖4及圖5的仿真圖像實驗可以明顯地看到，本發(fā)明所提的算法與真實無雨圖像最為相近，在大雨場景的圖5中更為明顯。它能夠在去除雨線的同時盡可能保留背景圖像的信息。通過圖6及圖7的自然場景圖像實驗可以看出本發(fā)明所提的算法，在細節(jié)保留和去除雨線中，取得良好的平衡。馬身上的小雨滴也基本去除。去雨運行時間表參見表1，通過表1的實驗數(shù)據(jù)可以看出，在運行時間上本發(fā)明所提的算法要遠低于另外三種算法。若將本發(fā)明的方法采用硬件加速，運行時間將會進一步減少，從而在保證主觀效果的前提下，實現(xiàn)去雨的實時性。結(jié)構(gòu)相似性(SSIM)是用以衡量兩張圖像相似度的指標，其值越大，表示相似度越高，最大值為1。表1表2圖像編號Kang方法Huang方法Luo方法本發(fā)明圖40.680.600.620.74圖50.520.460.450.57對仿真圖像計算各方法去雨結(jié)果與相應真實無雨圖像間的SSIM值，仿真圖像SSIM對比表參見表2，通過表2的實驗數(shù)據(jù)可以看出，本發(fā)明所提的算法皆取得了最大值，即得到了最好的去雨效果。當前第1頁1 2 3