本發(fā)明涉及一種計算機視覺
技術領域：
，尤其是一種基于深度卷積神經(jīng)網(wǎng)絡的單圖像精細去雨方法。
背景技術：
：圖像去雨是計算機視覺系統(tǒng)的重要模塊，特別是對基于圖像的決策應用，例如安全監(jiān)視和機器人導航，圖像去雨作為重要的預處理步驟，即使在極端雨天的環(huán)境中拍攝圖像時，也期望恢復雨圖中目標對象的視覺細節(jié)。雖然在過去十年中已經(jīng)提出了許多用于視頻去噪的方法，但是由于動態(tài)視覺和時間提示不可用，它們不能直接擴展到單圖像去噪問題。最近，在單圖像去雨問題中取得了顯著的進步，其中，kang等人提出通過字典學習和稀疏編碼來檢測和分離雨分量的方法獲得了較好的結果，但是它不能處理具有復雜背景信息的雨圖像；最具代表性的luo等人基于非線性圖層混合模型，可以通過有區(qū)別的稀疏編碼恢復圖像的雨層去雨結果，但它趨向于模糊圖像的背景；類似的問題也在li等人的方法中出現(xiàn)，li等人基于雨線的先驗信息，構建出高斯混合模型(gmm)，進而去除雨線，復原背景，這些現(xiàn)有技術的圖像求解方法將雨圖形成為線性模型，并恢復具有不同特征或先驗的雨層，然而，這種方法不能適應真實場景，因為雨對圖像的物理影響通常是復雜的。技術實現(xiàn)要素：針對現(xiàn)有技術的不足，本發(fā)明提供一種基于深度卷積神經(jīng)網(wǎng)絡的單圖像精細去雨方法，通過精細去雨網(wǎng)絡對圖像進行顏色和背景細節(jié)調整，從而得到更高質量的無雨圖像。本發(fā)明的技術方案為：一種基于深度卷積神經(jīng)網(wǎng)絡的單圖像精細去雨方法，其特征在于，包括以下步驟：s1)、構建由初始去雨網(wǎng)絡和精細去雨網(wǎng)絡組成的卷積神經(jīng)網(wǎng)絡架構，其中，初始去雨網(wǎng)絡包括三個卷積層，精細去雨網(wǎng)絡包括一個卷積層，每個網(wǎng)絡的卷積層具有相應的權值wi和偏置值bi；s2)、獲取一組清晰無雨圖像集dtrain，并且對無雨圖像集dtrain進行人工加雨處理得到有雨圖像集itrain，并將得到的無雨圖像集dtrain、有雨圖像集itrain作為訓練圖像集；s3)、對訓練圖像集itrain、dtrain進行格式處理，并基于caffe框架下訓練得到初始去雨網(wǎng)絡不同濾波器大小的卷積層的權值wi(i＝1,2,3)和偏置值bi(i＝1,2,3)；s4)、將有雨圖像集itrain輸入到初始去雨網(wǎng)絡中，從而得到初步清晰無雨數(shù)據(jù)集ftrain，并對有雨圖像集itrain、無雨數(shù)據(jù)集ftrain進行格式處理，然后基于caffe框架下訓練得到精細去雨網(wǎng)絡卷積層的權值wi(i＝4)和偏置值bi(i＝4)；s5)、將步驟s3)、s4)中訓練好的權值wi(i＝1,2,3,4)和偏置值bi(i＝1,2,3,4)應用于步驟s1)中構建的卷積神經(jīng)網(wǎng)絡架構中，從而得到更新權值wi和偏置值bi后的卷積神經(jīng)網(wǎng)絡架構；s6)、獲取一幅需要去雨處理的有雨圖像itest，將圖像輸入步驟s5)中更新權值和偏置值的卷積神經(jīng)網(wǎng)絡架構中，首先輸入訓練好的初始去雨網(wǎng)絡中，產(chǎn)生初步清晰無雨圖像ftest，然后將需要去雨處理圖像itest與產(chǎn)生的初步清晰的無雨圖像ftest輸入精細去雨網(wǎng)絡中，經(jīng)過單層卷積層對初步清晰無雨圖像ftest進行調整，從而生成高質量無雨圖像dfinal。上述技術方案中，步驟s1)中所述的卷積神經(jīng)網(wǎng)絡架構結構如下：fn(i)＝i,(n＝0)；fn(i)＝max(0,wnfn-1(i)+bn),(n＝1,2)；fw(i)＝wnfn-1(i)+bn),(n＝3)；f-1(i)＝wnu+bn,(n＝4)；其中，n表示層數(shù)，n的變化范圍為0～4，表示從底層到頂層，i為輸入的圖像，wn、bn分別表示第n的權值和偏置值，fn(i)表示初始去雨網(wǎng)絡第n層的輸出，其采用relu激活函數(shù)，f-1(i)表示精細去雨網(wǎng)絡的輸出，u＝{f3(i),i}。上述技術方案中，步驟s3)中，所述的格式處理包括分別從訓練圖像集中的有雨圖像集和無雨圖像集中隨機選擇k個有雨子圖像和k個無雨子圖像，并通過訓練得到初始去雨網(wǎng)絡不同濾波器大小的卷積層的權值wi(i＝1,2,3)和偏置值bi(i＝1,2,3)；其中，m為訓練圖像集的數(shù)量，ji表示第i個無雨子圖像，ii表示第i個有雨子圖像。上述技術方案中，步驟s4)中，將初步清晰無雨數(shù)據(jù)集ftrain中選擇k個初步清晰無雨子圖像，并通過訓練得到精細去雨網(wǎng)絡卷積層的權值wi(i＝4)和偏置值bi(i＝4)；其中，ti表示第i個初步清晰無雨子圖像。上述技術方案中，步驟s6)中，將去雨圖像itest輸入卷積神經(jīng)網(wǎng)絡架構中具體包括以下步驟：s601)、將去雨圖像itest輸入初始去雨網(wǎng)絡的第一層卷積層中，從而提取去雨圖像itest的背景紋理結構，其中，第一層卷積層采用11×11濾波器，具體為：f1(itest)＝max(0,w1itest+b1)，其中，w1和b1為初始去雨網(wǎng)絡的第一層卷積層的權值和偏置值；s602)、將初始去雨網(wǎng)絡的第一層卷積層輸出的背景紋理結構信息輸入初始去雨網(wǎng)絡的第二層卷積層進一步非線性映射，其中，第二層卷積層采用3×3濾波器，具體為：f2(itest)＝max(0,w2f1(itest)+b2)，其中，w2和b2為初始去雨網(wǎng)絡的第二層卷積層的權值和偏置值；s603)、通過初始去雨網(wǎng)絡的第三層卷積對s602)中輸出的結果進行雨線區(qū)域的復原，輸出得到初步清晰無雨圖像ftest，其中，第三層卷積層采用的濾波器大小為7×7，具體為：ftest＝f3(itest)＝w3f2(itest)+b3)，其中，w3和b3為初始去雨網(wǎng)絡的第三層卷積層的權值和偏置值；s604)、將初步清晰無雨圖像ftest和有雨圖像itest輸入精細去雨網(wǎng)絡中以恢復初步清晰無雨圖像ftest中平滑背景區(qū)域的更多細節(jié)，并對初步清晰無雨圖像ftest的色彩進行調整，最終生成高質量清晰無雨圖像dfinal，其中，其采用的濾波器大小為5×5，具體為：dfinal＝f-1(itest)＝w4u+b4，其中，w4和b4為精細去雨網(wǎng)絡的權值和偏置值，u＝{ftest,itest}。本發(fā)明的有益效果為：1)、通過直接對無雨圖像進行建模，取代了傳統(tǒng)方法里對雨層建模的方法，不僅效率更高，而且復原后得到的無雨圖像更為清晰；2)、與簡單的去雨神經(jīng)網(wǎng)絡相比，本方法具有更深度的單層卷積精細去雨網(wǎng)絡，初步清晰無雨圖通過與原始有雨圖結合進行卷積運算，恢復了去雨后更多的背景細節(jié)，同時對圖像色彩進行調整，從而獲得更高質量的清晰無雨圖；3)、在卷積層上采用relu的激活函數(shù)，與其他激活函數(shù)相比，自動引入稀疏性，加速了收斂性，并且克服了梯度消失問題；4)、與現(xiàn)有的圖像去雨方法比較，本方法可以很好地恢復來自合成和現(xiàn)實世界雨圖像的清晰的圖像，在定性上能更多地恢復背景信息，從而提高了圖像的視覺效果，在定量上，所引入的峰值信噪比(pnsr)和結構相似性(ssim)兩個指標均優(yōu)于現(xiàn)有的技術，表明有雨圖像的去雨效果性能更優(yōu)越。附圖說明圖1為本發(fā)明卷積神經(jīng)網(wǎng)絡架構的結構圖；圖2為本發(fā)明的流程示意圖；圖3為本發(fā)明自然有雨圖像與去雨結果的對比圖。圖中，從左至右依次為自然有雨圖像、去雨后的效果圖、去雨效果圖的局部放大圖；圖4為luo方法自然有雨圖像與去雨結果的對比圖。圖中，從左至右依次為自然有雨圖像、去雨后的效果圖、去雨效果圖的局部放大圖；圖5為li方法自然有雨圖像與去雨結果的對比圖。圖中，從左至右依次為自然有雨圖像、去雨后的效果圖、去雨效果圖的局部放大圖；具體實施方式下面結合附圖對本發(fā)明的具體實施方式作進一步說明：如圖1和圖2所示，一種基于深度卷積神經(jīng)網(wǎng)絡的單圖像精細去雨方法，其特征在于，包括以下步驟：s1)、構建由初始去雨網(wǎng)絡和精細去雨網(wǎng)絡組成的卷積神經(jīng)網(wǎng)絡架構，其中，初始去雨網(wǎng)絡包括三個卷積層，精細去雨網(wǎng)絡包括一個卷積層，每個網(wǎng)絡的卷積層具有相應的權重和偏置值wi、bi，所述的卷積神經(jīng)網(wǎng)絡架構為：fn(i)＝i,(n＝0)；fn(i)＝max(0,wnfn-1(i)+bn),(n＝1,2)；fw(i)＝wnfn-1(i)+bn),(n＝3)；f-1(i)＝wnu+bn,(n＝4)；其中，n表示層數(shù)，n的變化范圍為0～4，表示從底層到頂層，i為輸入的圖像，wn、bn分別表示第n的權值和偏置值，fn(i)表示初始去雨網(wǎng)絡第n層的輸出，f-1(i)表示精細去雨網(wǎng)絡的輸出，u＝{f3(i),i}；s2)、獲取一組無雨圖像集dtrain，然后采用photoshop對無雨圖像集dtrain進行人工加雨得到相應的有雨圖像集itrain，并將得到的有雨圖像集itrain、無雨圖像集dtrain作為訓練圖像集，本實施例主要是通過google和flickr獲取75幅清晰的無雨圖像作為無雨圖像集dtrain；s3)、對訓練圖像集itrain、dtrain進行格式處理，從而分別從訓練圖像集中的有雨圖像集itrain和無雨圖像集dtrain中隨機選擇k個有雨子圖像和k個無雨子圖像，并基于caffe框架下訓練得到初始去雨網(wǎng)絡不同濾波器大小的卷積層的權值wi(i＝1,2,3)和偏置值bi(i＝1,2,3)，具體為：其中，m為訓練圖像集的數(shù)量，ji表示第i個無雨子圖像，ii表示第i個有雨子圖像，并且caffe框架下進行學習率為0.001的1000000次迭代；s4)、將有雨圖像集itrain輸入到初始去雨網(wǎng)絡中，從而得到初步清晰無雨數(shù)據(jù)集ftrain，并對有雨圖像集itrain、無雨數(shù)據(jù)集ftrain進行格式處理，從而從初步清晰無雨數(shù)據(jù)集ftrain中選擇k個初步清晰無雨子圖像，然后將k個初步清晰無雨子圖像與k個有雨子圖像基于caffe框架下訓練得到精細去雨網(wǎng)絡卷積層的權值wi(i＝4)和偏置值bi(i＝4)，具體為：其中，ti表示第i個初步清晰無雨子圖像，并且caffe框架下進行學習率為0.001的1000000次迭代；s5)、將步驟s3)、s4)中訓練好的權值wi(i＝1,2,3,4)和偏置值bi(i＝1,2,3,4)應用于步驟s1)中構建的卷積神經(jīng)網(wǎng)絡架構中，從而得到更新權值wi和偏置值bi后的卷積神經(jīng)網(wǎng)絡架構，從而通過權值和偏置值提取與雨相關的紋理結構特征以及進一步進行非線性映射；s6)、獲取一幅需要去雨處理的有雨圖像itest，將圖像輸入步驟s5)中更新權值和偏置值的卷積神經(jīng)網(wǎng)絡架構中，首先輸入訓練好的初始去雨網(wǎng)絡中，產(chǎn)生初步清晰無雨圖像ftest，然后將需要去雨處理圖像itest與產(chǎn)生的初步清晰的無雨圖像ftest輸入精細去雨網(wǎng)絡中，經(jīng)過單層卷積層對初步清晰無雨圖像ftest進行調整，從而生成高質量無雨圖像dfinal，如圖3所示。上述技術方案中，步驟s6)中，將去雨圖像itest輸入卷積神經(jīng)網(wǎng)絡架構中具體包括以下步驟：s601)、將去雨圖像itest輸入初始去雨網(wǎng)絡的第一層卷積層中，從而提取去雨圖像itest的背景紋理結構，其中，第一層卷積層采用11×11濾波器，具體為：f1(itest)＝max(0,w1itest+b1)，其中，w1和b1為初始去雨網(wǎng)絡的第一層卷積層的權值和偏置值；s602)、將初始去雨網(wǎng)絡的第一層卷積層輸出的背景紋理結構信息輸入初始去雨網(wǎng)絡的第二層卷積層進一步非線性映射，其中，第二層卷積層采用3×3濾波器，具體為：f2(itest)＝max(0,w2f1(itest)+b2)，其中，w2和b2為初始去雨網(wǎng)絡的第二層卷積層的權值和偏置值；s603)、通過初始去雨網(wǎng)絡的第三層卷積對s602)中輸出的結果進行雨線區(qū)域的復原，輸出得到初步清晰無雨圖像ftest，其中，第三層卷積層采用的濾波器大小為7×7，具體為：ftest＝f3(itest)＝w3f2(itest)+b3)，其中，w3和b3為初始去雨網(wǎng)絡的第三層卷積層的權值和偏置值；s604)、將初步清晰無雨圖像ftest和有雨圖像itest輸入精細去雨網(wǎng)絡中以恢復初步清晰無雨圖像ftest中平滑背景區(qū)域的更多細節(jié)，并對初步清晰無雨圖像ftest的色彩進行調整，最終生成高質量清晰無雨圖像dfinal，其中，其采用的濾波器大小為5×5，具體為：dfinal＝f-1(itest)＝w4u+b4，其中，w4和b4為精細去雨網(wǎng)絡的權值和偏置值，u＝{ftest,itest}。其中，圖4和圖5分別為luo方法和li方法去雨的效果圖，通過與圖3對比可知，本方法去雨的效果最好，與真實無雨效果圖最為接近，在去除雨線的同時，恢復了去雨后更多的背景細節(jié)，同時對圖像色彩進行調整，可以保持與原圖像更接近的色彩，從而獲得更高質量的清晰無雨圖像，其中，結構相似性(ssim)、峰值信噪比(pnsr)是用以衡量兩張圖像相似度的指標，其值越大，表示相似度越高，最大值為1，峰值信噪比(pnsr)值越大，表示處理后的圖片與原圖像越接近，其中，結構相似性(ssim)、峰值信噪比(pnsr)的對比參見表1。表1metricluo方法li方法本方法psnr28.95db32.21db33.02dbssim0.88360.94420.9470主要通過與luo方法和li方法進行對比，從表1中可以看出，本方法的結構相似性(ssim)、峰值信噪比(pnsr)值均大于luo方法和li方法，表明本發(fā)明所提的算法皆取得了最大值，即得到了最好的去雨效果。上述實施例和說明書中描述的只是說明本發(fā)明的原理和最佳實施例，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內。當前第1頁12