本發(fā)明屬于圖像處理、計算機視覺技術(shù)領(lǐng)域，涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)和先驗信息的圖像去霧方法。

背景技術(shù)：

空氣中存在霧、霾、灰塵等懸浮顆粒，因此有霧天氣拍攝的圖像往往存在低對比度、模糊、顏色失真等退化現(xiàn)象。當有霧圖像被用于視頻分析、輔助駕駛等實際應(yīng)用領(lǐng)域中往往展示出一定的局限性。近些年來，圖像去霧在計算機應(yīng)用和消費攝影等研究領(lǐng)域已經(jīng)成為一個積極的研究方向。然而，圖像去霧仍然是一個具有挑戰(zhàn)性的不適定問題。

在過去的幾年里，很多圖像去霧方法被提出，主要可以分為以下幾類：基于輔助信息的方法、基于非模型的方法，基于先驗/假設(shè)的方法，基于學(xué)習(xí)的方法。盡管圖像去霧領(lǐng)域已經(jīng)取得了很大進步，但仍存在一些問題?；谳o助信息的方法具有一些阻礙其實際應(yīng)用的問題。例如，基于硬件設(shè)備的方法往往較貴且操作復(fù)雜，同一場景拍攝的多幅圖像或者場景深度信息很難獲得?；诜悄Ｐ偷姆椒ǔ３a(chǎn)生過度增強或者欠增強的區(qū)域，甚至產(chǎn)生顏色偏差或者偽影。盡管基于先驗/假設(shè)的方法已經(jīng)取得了較大的成功，但這類方法被高計算復(fù)雜度、估計的場景深度準確度以及挑戰(zhàn)性場景的普適性所限制。最近，基于學(xué)習(xí)的方法被用來

移除圖像中的霧影響。然而，這類方法需要提高其訓(xùn)練和處理速度。

技術(shù)實現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在通過結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和霧圖像的先驗信息，研究一種能夠有效移除圖像中霧影響的圖像去霧方法，實現(xiàn)基于深度學(xué)習(xí)和先驗信息的圖像去霧。本發(fā)明采用的技術(shù)方案是，基于卷積神經(jīng)網(wǎng)絡(luò)和先驗信息的圖像去霧方法，霧天氣的成像模型表示為：

I(x)＝J(x)t(x)+A(1-t(x))

式中，I(x)是霧天拍攝的圖像，J(x)是清晰的圖像，A是全局背景光，t(x)∈[0,1]為媒介透射率，媒介透射率表示為：

t(x)＝exp(-βd(x)),

式中，β為大氣衰減因子，d(x)為場景深度，采用深度學(xué)習(xí)技術(shù)結(jié)合霧圖像先驗信息相結(jié)合的方式進行估計，再根據(jù)成像模型采用反補償技術(shù)恢復(fù)出清晰的圖像。

進一步地具體步驟是，

1)先驗信息是指像顏色衰減先驗

亮度與飽和度強度的差值與媒介透射率呈現(xiàn)某種程度的反比關(guān)系，表示為：

式中，x為圖像中的像素位置，c(x)為圖像中霧的濃度，v(x)和s(x)分別為圖像的亮度分量強度和飽和度分量強度，v(x)-s(x)稱為顏色衰減先驗；

2)端對端的卷積神經(jīng)網(wǎng)絡(luò)

設(shè)計3層的端對端的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)對輸入的先驗圖進行3層卷積處理，分別是塊抽取與表示、非線性映射、重構(gòu)，具體處理流程如下：

首先，對先驗圖進行密集抽取圖像塊，并且采用適當數(shù)目的濾波器代表圖像塊：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P為顏色衰減先驗圖，W₁和B₁分別是濾波器和偏差量，“*”表示卷積，這里，W₁的大小為f₁×f₁×n₁，f₁為1個濾波器的大小，n₁是濾波器的個數(shù)，B₁是n₁維的向量；

接下來，對第1層中每個圖像塊中n₁維特征進行卷積處理，表示為：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1)

式中，W₂包含n₂個大小為n₁×f₂×f₂的濾波器，B₂為n₂維的向量，

最后，對第2層非線性映射的結(jié)果進行重構(gòu)，具體表示為：

F₃(P)＝W₃*F₂(P)+B₃

式中，W₃為包含1個大小為n₂×f₃×f₃的濾波器，B₃為1維向量，該3層卷積處理過程中，存在較多未知參數(shù)，表示為：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}

為獲得這些未知的濾波器參數(shù)，采用最小均方誤差MSE作為損失函數(shù)，通過最小化訓(xùn)練顏色衰減先驗圖樣本與對應(yīng)的媒介透射率圖真實結(jié)果之間的差距來獲得上述未知的網(wǎng)絡(luò)參數(shù)，其在當前未知參數(shù)Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的條件下，損失函數(shù)L(Θ)表示為：

式中，N為樣本個數(shù)，t_i第i個標簽媒介透視率，第i個樣本經(jīng)過三層卷積處理的結(jié)果F(P_i；Θ)在當前未知參數(shù)Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}條件下所估計的透射率大小，通過上述方式進行深度學(xué)習(xí)訓(xùn)練，獲得自動映射霧圖像顏色衰減圖到媒介透射率圖的卷積神經(jīng)網(wǎng)絡(luò)模型，當輸入一副有霧圖像的顏色衰減先驗圖輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)直接輸出其對應(yīng)的媒介透射率圖；

3)反演圖像去霧

已知一副有霧圖像I(x)，首先計算其顏色衰減先驗圖，將其輸入到已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，自動輸出其對應(yīng)的媒介透射率圖t(x)，計算有霧圖像三個顏色信道RGB中局部最小值，獲得對應(yīng)的暗通道圖，對暗通道圖中的像素進行從大到小排序，獲取排在前0.1％的像素點的位置。將有霧圖像對應(yīng)位置上的像素點的平均像素值作為本發(fā)明中的全局背景光值，最后，將已經(jīng)獲得的全局背景光A、媒介透射率圖t(x)、有霧圖像I(x)代入霧圖像的成型模型，反演出清晰的圖像J(x)，具體表示為：

本發(fā)明的特點及有益效果是：

1)本發(fā)明首次將卷積神經(jīng)網(wǎng)絡(luò)與有霧圖像的先驗信息相結(jié)合進行圖像去霧，相較以往單純采用假設(shè)條件或者先驗知識的方法相比，本發(fā)明的方法可以更加準確的估計有霧圖像的媒介透射率，并且更加有效的去除霧對圖像的影響；

2)本發(fā)明發(fā)明了通過直接映射有霧圖像的顏色衰減先驗圖到對應(yīng)的媒介透射率圖，該方法與現(xiàn)有的基于學(xué)習(xí)的圖像去霧方法相比，具有更快的訓(xùn)練速度；

3)本發(fā)明發(fā)明了一種基于卷積神經(jīng)網(wǎng)絡(luò)與圖像先驗信息的圖像去霧方法，該方法與現(xiàn)有方法相比較，可以獲得更好的去霧效果，具有應(yīng)對挑戰(zhàn)性有霧圖像更好的魯棒性，去霧后的圖像更加真實自然。

附圖說明：

圖1給出了本發(fā)明圖像去霧的流程框圖；

圖2給出了設(shè)計的端對端的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

具體實施方式

本發(fā)明充分利用深度學(xué)習(xí)網(wǎng)絡(luò)框架的學(xué)習(xí)能力和有霧圖像先驗信息的有效性，發(fā)明一種基于卷積神經(jīng)網(wǎng)絡(luò)和先驗信息的圖像去霧方法。霧天氣的成像模型可以表示為：

I(x)＝J(x)t(x)+A(1-t(x))，

式中，I(x)是霧天拍攝的圖像，J(x)是清晰的圖像，A是全局背景光，t(x)∈[0,1]為媒介透射率。媒介透射率是圖像去霧的關(guān)鍵因素，并且其與拍攝場景的深度有關(guān)，可表示為：

t(x)＝exp(-βd(x)),

式中，β為大氣衰減因子，d(x)為場景深度。為了恢復(fù)出清晰的圖像，準確的估計出圖像的媒介透射率是至關(guān)重要的。本發(fā)明針對媒介透射率的準確估計展開研究，采用深度學(xué)習(xí)技術(shù)結(jié)合霧圖像先驗信息相結(jié)合的方式進行估計。最后，根據(jù)成像模型采用反補償技術(shù)恢復(fù)出清晰的圖像，具體技術(shù)方案詳述如下：

1有霧圖像顏色衰減先驗

大量的統(tǒng)計實驗發(fā)現(xiàn)，有霧圖像的亮度強度和飽和度強度的差值與圖像中霧的濃度呈正比。又因為媒介透射率與霧濃度成反比，因此亮度與飽和度強度的差值與媒介透射率呈現(xiàn)某種程度的反比關(guān)系，可以表示為：

式中，x為圖像中的像素位置，t(x)為媒介透射率，c(x)為圖像中霧的濃度，v(x)和s(x)分別為圖像的亮度分量強度和飽和度分量強度，v(x)-s(x)稱為顏色衰減先驗。一副有霧圖像，我們進行簡單的運算就可以獲得其顏色衰減先驗。因為，我們希望通過卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，學(xué)習(xí)到顏色衰減先驗和媒介透射率之間的數(shù)學(xué)表達關(guān)系。當輸入一副有霧圖像的顏色衰減先驗圖輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以直接輸出其對應(yīng)的媒介透射率圖。因此本發(fā)明還設(shè)計了一個具有較強學(xué)習(xí)能力的端對端的卷積神經(jīng)網(wǎng)絡(luò)。

2端對端的卷積神經(jīng)網(wǎng)絡(luò)

為了自動映射有霧圖像的顏色衰減先驗圖到其對應(yīng)的媒介透射率圖，我們設(shè)計了一個3層的端對端的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)對輸入的先驗圖進行3層卷積處理，分別是塊抽取與表示、非線性映射、重構(gòu)，具體處理流程如下：

首先，對先驗圖進行密集抽取圖像塊，并且采用適當數(shù)目的濾波器代表圖像塊：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P為顏色衰減先驗圖，W₁和B₁分別是濾波器和偏差量，“*”表示卷積。這里，W₁的大小為f₁×f₁×n₁，f₁為1個濾波器的大小，n₁是濾波器的個數(shù)。B₁是n₁維的向量。

接下來，對第1層中每個圖像塊中n₁維特征進行卷積處理，可表示為：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1),

式中，W₂包含n₂個大小為n₁×f₂×f₂的濾波器，B₂為n₂維的向量。

最后，對第2層非線性映射的結(jié)果進行重構(gòu)，具體可表示為：

F₃(P)＝W₃*F₂(P)+B₃

式中，W₃為包含1個大小為n₂×f₃×f₃的濾波器，B₃為1維向量。該3層卷積處理過程中，存在較多未知參數(shù)，可表示為：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，

為獲得這些未知的濾波器參數(shù)，本發(fā)明采用MSE(最小均方誤差)作為損失函數(shù)，通過最小化訓(xùn)練樣本(顏色衰減先驗圖)與真實結(jié)果(對應(yīng)的媒介透射率圖)之間的差距來獲得上述未知的網(wǎng)絡(luò)參數(shù)，其在當前未知參數(shù)Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的條件下，損失函數(shù)L(Θ)可表示為：

式中，N為樣本個數(shù)，t_i第i個標簽媒介透視率，第i個樣本經(jīng)過三層卷積處理的結(jié)果F(P_i；Θ)在當前未知參數(shù)Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}條件下所估計的透射率大小。通過上述方式進行訓(xùn)練，可以獲得自動映射霧圖像顏色衰減圖到媒介透射率圖的卷積神經(jīng)網(wǎng)絡(luò)模型。

3反演圖像去霧

已知一副有霧圖像I(x)，首先計算其顏色衰減先驗圖，將其輸入到已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，自動輸出其對應(yīng)的媒介透射率圖t(x)。計算有霧圖像三個顏色信道RGB中局部最小值，獲得對應(yīng)的暗通道圖，對暗通道圖中的像素進行從大到小排序，獲取排在前0.1％的像素點的位置。將有霧圖像對應(yīng)位置上的像素點的平均像素值作為本發(fā)明中的全局背景光值。最后，將已經(jīng)獲得的全局背景光A、媒介透射率圖t(x)、有霧圖像I(x)代入霧圖像的成型模型，反演出清晰的圖像J(x)，具體可以表示為：

下面結(jié)合算法流程框圖對本發(fā)明進行詳細的描述。

如圖1所示，本發(fā)明提供一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和有霧圖像顏色衰減先驗的圖像去霧方法，其包括以下步驟：

步驟1：計算有霧圖像的顏色衰減先驗圖

將有霧圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，其中v為亮度強度分量，s為飽和度強度分量，顏色衰減先驗圖P可以表示為：

P(x)＝v(x)-s(x)。

步驟2：端對端的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測媒介透射率圖

如圖2所示，本發(fā)明設(shè)計了一個3層的端對端卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)對輸入的先驗圖進行3層卷積處理，分別是塊抽取與表示、非線性映射、重構(gòu)，具體處理流程如下：

首先，對先驗圖進行密集抽取圖像塊，并且采用適當數(shù)目的濾波器代表圖像塊：

F₁(P)＝min(max(0,W₁*P+B₁),1),

式中，P為顏色衰減先驗圖，W₁和B₁分別是濾波器和偏差量，“*”表示卷積。這里，W₁的大小為f₁×f₁×n₁，f₁為1個濾波器的大小，n₁是濾波器的個數(shù)。B₁是n₁維的向量。

接下來，對第1層中每個圖像塊中n₁維特征進行卷積處理，可表示為：

F₂(P)＝min(max(0,W₂*F₁(P)+B₂),1),

式中，W₂包含n₂個大小為n₁×f₂×f₂的濾波器，B₂為n₂維的向量。

最后，對第2層非線性映射的結(jié)果進行重構(gòu)，具體可表示為：

F₃(P)＝W₃*F₂(P)+B₃

式中，W₃為包含1個大小為n₂×f₃×f₃的濾波器，B₃為1維向量。該3層卷積處理過程中，存在較多未知參數(shù)，可表示為：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，

為獲得這些未知的濾波器參數(shù)，本發(fā)明采用MSE(最小均方誤差)作為損失函數(shù)，通過最小化訓(xùn)練樣本(顏色衰減先驗圖)與真實結(jié)果(對應(yīng)的媒介透射率圖)之間的差距來獲得上述未知的網(wǎng)絡(luò)參數(shù)，其在當前未知參數(shù)Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}的條件下，損失函數(shù)L(Θ)可表示為：

式中，N為樣本個數(shù)，t_i第i個標簽媒介透視率，第i個樣本經(jīng)過三層卷積處理的結(jié)果F(P_i；Θ)在當前未知參數(shù)Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}條件下所估計的透射率大小。通過上述方式進行訓(xùn)練，可以獲得自動映射霧圖像顏色衰減圖到媒介透射率圖的卷積神經(jīng)網(wǎng)絡(luò)模型。為了訓(xùn)練該網(wǎng)絡(luò)，本發(fā)明從網(wǎng)絡(luò)上收集了143104個大小為33×33的圖像塊，并采用這些收集的圖像，并依據(jù)有霧天氣成像模型合成有霧圖像塊作為訓(xùn)練樣本。該網(wǎng)絡(luò)采用的濾波器個數(shù)和大小設(shè)置如下f₁＝9,f₂＝1,f₃＝5,n₁＝64,n₂＝32。

步驟3：反演圖像去霧

已知一副有霧圖像I(x)，首先計算其顏色衰減先驗圖，將其輸入到已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，自動輸出其對應(yīng)的媒介透射率圖t(x)。計算有霧圖像三個顏色信道RGB中局部最小值，獲得對應(yīng)的暗通道圖，對暗通道圖中的像素進行從大到小排序，獲取排在前0.1％的像素點的位置。將有霧圖像對應(yīng)位置上的像素點的平均像素值作為本發(fā)明中的全局背景光值。最后，將已經(jīng)獲得的全局背景光A、媒介透射率圖t(x)、有霧圖像I(x)代入霧圖像的成型模型，反演出清晰的圖像J(x)，具體可以表示為：