基于特征學習的單幅圖像去霧方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計算機視覺領(lǐng)域，更具體地，設(shè)及到一種基于特征學習的單幅圖像去 霧方法。
【背景技術(shù)】
[0002] 在霧、靈等惡劣天氣下，大氣中存在較多的水滴或塵粒，致使光在傳播過程中發(fā)生 散射或被吸收，此時戶外拍攝的圖像往往模糊不清，對比度較低。監(jiān)控設(shè)備等依賴于戶外圖 像的系統(tǒng)性能急劇下降，甚至無法正常運作。因此，對圖像進行去霧處理具有重要意義。
[0003] 目前圖像去霧的方法主要可分為兩類:一類是使用圖像增強的方法，即通過增強 圖像的對比度來達到去霧目的，運類方法可W應(yīng)用并有針對性地改良已有的成熟圖像處理 算法，對薄霧圖像能夠取得較好的去霧效果，但由于沒有針對成霧的客觀原因，所W不能從 根本上實現(xiàn)去霧。另一類是基于物理模型的去霧方法，該類方法通過研究大氣成霧W及圖 像退化的客觀機理，構(gòu)建出大氣散射模型，再根據(jù)模型對霧天圖像復原，從而實現(xiàn)去霧。然 而，運兩類方法都存在著一個共同的局限性，即只利用了顏色特征，而沒有考慮到與霧靈相 關(guān)的紋理結(jié)構(gòu)特征，致使透射率的估計精度受到限制，因此具有一定的場景局限性。

【發(fā)明內(nèi)容】

[0004] 為了更好地利用圖像紋理、結(jié)構(gòu)和顏色等特征W提高去霧效果，本方法提出一種 基于特征學習的單幅圖像去霧方法。首先通過稀疏自動編碼機對有霧圖像進行多尺度的紋 理結(jié)構(gòu)特征提取，同時抽取各種與霧相關(guān)的顏色特征。然后采用多層神經(jīng)網(wǎng)絡(luò)進行樣本訓 練，學習得到霧天條件下紋理結(jié)構(gòu)特征及顏色特征與場景深度間的映射關(guān)系，并估算出有 霧圖像的場景深度圖。最后結(jié)合大氣散射模型，根據(jù)場景深度圖復原無霧圖像。該方法能夠 復原出更高質(zhì)量的無霧圖像，且具有更好的場景普適能力。
[0005] 為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的技術(shù)方案為：
[0006] -種基于特征學習的單幅圖像去霧方法，包括W下步驟：
[0007] SI.獲取一組有霧圖像pet及其對應(yīng)的場景深度圖cpet作為訓練數(shù)據(jù)集.
[000引S2.利用數(shù)據(jù)集pet和cTHjll練稀疏自動編碼機，該稀疏自動編碼機用于提取與霧 相關(guān)的紋理結(jié)構(gòu)特征；
[0009] S3.利用訓練好的稀疏自動編碼機，對ISBt中的每一幅有霧圖像Ii提取與霧有關(guān)的 紋理結(jié)構(gòu)特征Tl;
[0010] S4.對pet中的每一幅有霧圖像Ii提取與霧有關(guān)的顏色特征〇1、片、1?1心和81，分別 表示暗原色特征、顏色衰減特征、圖像的R通道、圖像的G通道和圖像的B通道；
[00川 S5. Wpet中每一幅有霧圖像所提取的特征1'1、01、片、1?1心和81作為輸入的訓練數(shù) 據(jù)，同時WcTt中對應(yīng)的場景深度圖Cli作為訓練標簽，訓練多層神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)用于表示 不同特征組合與場景深度之間的映射關(guān)系，W有霧圖像的紋理結(jié)構(gòu)特征及不同的顏色特征 作為輸入，輸出其對應(yīng)的場景深度；
[0012] S6.輸入一幅待復原的有霧圖像I，利用訓練好的稀疏自動編碼機提取有霧圖像I 的與霧相關(guān)的紋理結(jié)構(gòu)特征T;
[0013] S7.提取有霧圖像I的與霧相關(guān)的顏色特征D、C、R、G和B;
[0014] S8.利用訓練好的多層神經(jīng)網(wǎng)絡(luò)，WT、D、C、R、G和B作為輸入，輸出有霧圖像I所對 應(yīng)的場景深度圖d;
[0015] S9.根據(jù)大氣散射模型，利用d估算出大氣光照度A;
[0016] S10.結(jié)合有霧圖像I、場景深度圖d和大氣光照度A，復原出對應(yīng)的無霧圖像J。
[0017] 更進一步地，所述步驟S2中的稀疏自動編碼機是經(jīng)過樣本訓練得到的，具體的訓 練方法為：
[0018] 給定一組有霧圖像ret及其對應(yīng)的場景深度圖(fet，圖1給出了用于提取景物紋理 和結(jié)構(gòu)特征的稀疏自動編碼機及其訓練過程。該自動編碼機由兩部分組成:第一部分為稀 疏編碼，用于提取局部塊的主要紋理與結(jié)構(gòu)特征，通過一個無監(jiān)督的自學習神經(jīng)網(wǎng)絡(luò)實現(xiàn)， 如圖I(C)所示，網(wǎng)絡(luò)的輸入是向量化的局部塊，S是對輸入向量進行降維后所得到的特征， 網(wǎng)絡(luò)的輸出為S再次映射到高維時所得到的輸出向量;第二部分為一個2層神經(jīng)網(wǎng)絡(luò)，用于 獲得紋理結(jié)構(gòu)特征與場景深度之間的映射關(guān)系。稀疏自動編碼機中的網(wǎng)絡(luò)使用sigmoid函 數(shù)f(x) = l/(l+e-x)作為傳輸函數(shù)，其訓練時，首先從訓練樣本集iset中，隨機組成選取20， 000個大小為r Xr的局部塊作為第一部分的網(wǎng)絡(luò)輸入，進行無監(jiān)督學習。然后，W第一部分 隱含層輸出作為第二部分的網(wǎng)絡(luò)輸入。最后，對每一個r Xr的局部塊，在訓練樣本集CfBt中 找到相對應(yīng)的局部塊，W其中屯、位置的場景深度作為標簽，進行有監(jiān)督學習。神經(jīng)網(wǎng)絡(luò)中參 數(shù)的學習通過反向傳播算法實現(xiàn)。
[0019] 更進一步地，所述步驟S4中對于一幅有霧圖像I，與霧相關(guān)的各種顏色特征的提取 方法。具體實現(xiàn)如下：
[0020] 給定一幅有霧圖像I及其對應(yīng)的大氣光照度A，本方法需要提取3類顏色特征，分別 是:暗原色特征、顏色衰減特征W及圖像的RGB空間下的3個通道分量。
[0021] 暗原色特征定義如下：
[0022]
[0023] 其中，Q (X)是Wx為中屯、，大小為15 X 15的局部塊，r表示有霧圖像I在顏色通道C 下的分量，D表示局部塊尺寸為15 X 15的暗原色特征。
[0024] 顏色衰減特征定義如下：
[0025]
[0026] 其中，ra哺rat分別為有霧圖像在服V顏色空間下的亮度分量和飽和度分量，00、01 和目2為線性系數(shù)，目0 = 0.1893,目1 = 1.0267,目2 = -1.2966。
[0027] 有霧圖像I中RGB空間下的S個分量(R通道分量、G通道分量和B通道分量）也作為 本方法的顏色特征，定義如下：
[002引 R=IKd,
[0029] G=Igreen,
[0030] B=Iblue.
[0031] 上式中，Itedjgteen和Iblue分別表示有霧圖像I在RGB顏色空間上的S個分量。
[0032] 更進一步地，所述步驟S5中多層神經(jīng)網(wǎng)絡(luò)的訓練方法，依賴于一組用于訓練的有 霧圖像ret及其對應(yīng)的場景深度圖dset。具體的訓練方法如下：
[0033] 圖2給出了用于場景深度估計的神經(jīng)網(wǎng)絡(luò)模型及其訓練過程。該網(wǎng)絡(luò)包含3層(輸 入層、隱含層和輸出層），輸入層中神經(jīng)元的個數(shù)與特征圖的數(shù)目相等，隱含層中的神經(jīng)元 個數(shù)是輸入層的2倍，輸出層只有一個神經(jīng)元，表示最終輸出的場景深度。如圖2所示，首先 分別對訓練樣本集ISBt中的有霧圖像Il, 12,…，In進行特征提取，每一幅有霧圖像Ii對應(yīng)6幅 特征圖R、G、B、C、D和T。然后，W運些特征作為輸入，W訓練樣本集dset中的真實場景深度di 作為標簽，采用反向傳播算法對網(wǎng)絡(luò)進行有監(jiān)督學習。最后得到訓練后的神經(jīng)網(wǎng)絡(luò)模型。
[0034] 更進一步地，所述步驟S9中的大氣光照度A的估計方法，依賴于一幅有霧圖像I及 其對應(yīng)的場景深度圖d。具體的估計方法如下：
[0035] 給定一幅有霧圖像I及對應(yīng)的場景深度圖d，其大氣光照度A可進一步通過下式估 算得出：
[0036]
[0037] 其中，X和y用于表示圖像中的坐標。
[0038] 更進一步地，所述步驟SlO中利用有霧圖像I、大氣光照度A和場景深度圖d復原出 無霧圖像的方法。具體的圖像復原方法如下：
[0039] 已知有霧圖像I、大氣光照度A和場景深度圖d，根據(jù)大氣散射模型，可由下式復原 出無霧
[0040]
[0041] 其中，e是大氣散射系數(shù)，一般可取e=2.〇。
[0042] 與現(xiàn)有技術(shù)相比，本發(fā)明具有W下有益效果：
[0043] 1)將原本的求解去霧方程問題轉(zhuǎn)化為機器學習的問題，能夠從海量的數(shù)據(jù)中有針 對性地學習出與霧相關(guān)的特征，獲得場景深度的表達，運種特征表達具有相當高的準確性， 對無霧圖像的復原起到關(guān)鍵作用，大幅度提高了去霧效果，尤其是當圖像中有大量紋理結(jié) 構(gòu)規(guī)則的區(qū)域時，本發(fā)明的方法具有明顯的優(yōu)越性。
[0044] 2)結(jié)合各種不同類型的與霧相關(guān)的顏色特征，使得去霧方法本身具有更強的場景 普適能力。運種普適能力主要體現(xiàn)在，本發(fā)明的去霧方法不容易受白色物體或大片天空區(qū) 域影響，而傳統(tǒng)去霧方法在處理運些區(qū)域時容易失效。
【附圖說明】
[0045] 圖1為本發(fā)明的方法中所設(shè)及稀疏自動編碼機及其訓練過程。
[0046] 圖2為本發(fā)明的方法中用于場景深度估計的多層神經(jīng)網(wǎng)絡(luò)及其訓練過程。
[0047] 圖3為本發(fā)明的方法執(zhí)行步驟示意圖。
[004引圖4為本發(fā)明方法的去霧效果圖及估計得出的對應(yīng)的場景深度圖。
【具體實施方式】
[0049]下面結(jié)合附圖對本發(fā)明做進一步的描述，但本發(fā)明的實施方式并不限于此。
[0050] 本發(fā)明的方法執(zhí)行步驟示意圖如附圖3所示，具體包括如下步驟：
[0051] SI.獲取一組有霧圖像ret及其對應(yīng)的場景深度圖Cfet作為訓練數(shù)據(jù)集；
[0052] S2.利用數(shù)據(jù)集ISB^PcTHjII練用于提取與霧相關(guān)的紋理結(jié)構(gòu)特征的稀疏自動編碼 機。圖1給出了用于提取景物紋理和結(jié)構(gòu)特征的稀疏自動編碼機及其訓練過程。該自動編碼 機由兩部分組成:第一部分為稀疏編碼，用于提取局部塊的主要紋理與結(jié)構(gòu)特征，通過一個 無監(jiān)督的自學習神經(jīng)網(wǎng)絡(luò)實現(xiàn)，如圖I(C)所示，網(wǎng)絡(luò)的輸入是向量化的局部塊，S是對輸入 的向量進行降維后所得到的特征，網(wǎng)絡(luò)的輸出為S再次映射到高維時所得到的輸出向量;第 二部分為一個2層神經(jīng)網(wǎng)絡(luò)，用于獲得紋理結(jié)構(gòu)特征與場景深度之間的映射關(guān)系。稀疏自動 編碼機中的網(wǎng)絡(luò)使用sigmoid函數(shù)f(x) = l/(l+e乃作為傳輸函數(shù)，其訓練時，首先從訓練樣 本集ret中，隨機組成選取20，000個大小為r X r的局部塊作為第一部分的網(wǎng)絡(luò)輸入，進行無 監(jiān)督學習。然后，W第一部分隱含層輸出作為第二部分的網(wǎng)絡(luò)輸入。最后，對每一個r Xr的 局部塊，在訓練樣本集Cfet中找到相對應(yīng)的局部塊，W其中屯、位置的