(一)技術(shù)領(lǐng)域：

本發(fā)明涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的多光譜遙感圖像去霧方法，屬于遙感圖像處理的技術(shù)領(lǐng)域。

(二)

背景技術(shù)：
：

多光譜遙感圖像不僅可以提供豐富的地物信息，還具備光譜特性，在環(huán)境、監(jiān)測(cè)、軍事、測(cè)繪等領(lǐng)域發(fā)揮十分重要的作用。然而，多光譜遙感圖像會(huì)經(jīng)常受到霧的干擾，造成圖像中地物模糊不清、感興趣區(qū)域信息丟失，這不僅嚴(yán)重影響人眼對(duì)圖像數(shù)據(jù)的判讀，同時(shí)也影響了遙感數(shù)據(jù)的自動(dòng)解譯。

對(duì)遙感圖像進(jìn)行去霧研究可以提高圖像的質(zhì)量，從而為后續(xù)的遙感圖像處理和應(yīng)用提供保障。許多遙感圖像的去霧算法已經(jīng)被提出，這些方法主要針對(duì)googleearth圖像或者多光譜圖像中的可見光波段，而對(duì)于多光譜圖像中更多波段的去霧研究還不深入。本發(fā)明針對(duì)多光譜遙感圖像中存在的霧遮擋問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的去霧方法。該方法將圖像去霧看作是回歸問題，設(shè)計(jì)端到端的卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)有霧圖像到清晰圖像之間的映射關(guān)系，從而在各個(gè)波段上都獲得了滿意的去霧效果，同時(shí)保持了地物目標(biāo)色彩和結(jié)構(gòu)的一致性。

(三)

技術(shù)實(shí)現(xiàn)要素：
：

1、目的：本發(fā)明的目的在于提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的多光譜遙感圖像去霧方法，用來實(shí)現(xiàn)多光譜圖像的霧去除，提升圖像質(zhì)量。

2、技術(shù)方案：本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)。

本發(fā)明首先對(duì)去霧問題進(jìn)行建模，并設(shè)計(jì)一個(gè)端到端的卷積神經(jīng)網(wǎng)絡(luò)來回歸這個(gè)模型。然后，通過仿真方式獲得足夠的帶有真值標(biāo)簽的霧圖像樣本來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行有霧圖像與真值圖像之間回歸模型的學(xué)習(xí)。該學(xué)習(xí)好的模型即可用來對(duì)實(shí)際的多光譜圖像進(jìn)行去霧。該發(fā)明的具體步驟如下：

步驟1：多光譜圖像去霧波段選擇

本發(fā)明針對(duì)landset8陸地成像儀(oli)采集的多光譜圖像進(jìn)行去霧。landset8oli圖像有9個(gè)波段，其中波段6、7、9三個(gè)波段的波長是大于1的，可以穿透水粒子，因此這三個(gè)波段不受霧的影響。而剩下的6個(gè)波段(波段1至5、以及波段8)分別是海岸、可見光(包括藍(lán)、綠、紅三個(gè)波段)、近紅外以及全色波段，它們的波長是小于1的，會(huì)受到霧的影響，因此我們的算法針對(duì)這6個(gè)受霧影響的波段進(jìn)行去霧。

步驟2：建立去霧模型

霧天成像模型可描述為：

i(x)＝j(luò)(x)t(x)+a(1-t(x))(i)

其中，i(x)為有霧圖像，j(x)為對(duì)應(yīng)的清晰圖像，a是全局大氣光，t(x)為透射圖，x表示像素。

去霧問題即是要從有霧圖像i(x)中恢復(fù)出清晰圖像j(x)。根據(jù)霧天成像模型，去霧圖像和原始帶霧圖像之間為線性關(guān)系。令h代表有霧圖像，g表示被恢復(fù)的清晰圖像，函數(shù)f代表有霧圖像與對(duì)應(yīng)清晰圖像之間的映射關(guān)系，則去霧問題可以建模為以下形式(即去霧模型)：

g＝f(h)(2)

根據(jù)公式(1)，一旦獲得映射關(guān)系f，則給定一個(gè)有霧圖像h，通過函數(shù)關(guān)系映射便可得到清晰圖像，從而實(shí)現(xiàn)圖像去霧。

本發(fā)明采用一個(gè)殘差卷積網(wǎng)絡(luò)來擬合有霧圖像到清晰圖像之間的映射關(guān)系f(h)。具有殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，其輸入不僅傳遞給卷積層，并且在網(wǎng)絡(luò)末端與卷積層的輸出直接相加，形成最終的網(wǎng)絡(luò)輸出。殘差網(wǎng)絡(luò)中卷積層學(xué)習(xí)到的模型可描述為：

h(h)＝f(h)-h(3)

在殘差網(wǎng)絡(luò)中，大部分信息是由網(wǎng)絡(luò)輸入直接提供的，網(wǎng)絡(luò)學(xué)習(xí)過程主要是對(duì)輸入與輸出之間的殘差部分進(jìn)行學(xué)習(xí)。而在去霧問題上，清晰圖像和其對(duì)應(yīng)的有霧圖像具有相似的紋理和顏色，可以看作是去霧前圖像的一個(gè)近似，這一點(diǎn)恰好與殘差網(wǎng)絡(luò)的特點(diǎn)相對(duì)應(yīng)。因此，我們用殘差卷積網(wǎng)絡(luò)來回歸學(xué)習(xí)清晰圖像，即：網(wǎng)絡(luò)中的權(quán)重層只需要學(xué)習(xí)有霧圖像和清晰圖像之間不同的部分(霧成分)，相同的地物紋理和顏色信息可以由輸入圖像直接提供。通過這一有參考的網(wǎng)絡(luò)結(jié)構(gòu)，將有霧圖像到清晰圖像之間復(fù)雜的映射轉(zhuǎn)化為有霧圖像到霧成分之間簡單的映射，大大減小了網(wǎng)絡(luò)學(xué)習(xí)的難度。

由于霧的濃度和分布是多樣的，使用具有一個(gè)殘差結(jié)構(gòu)的網(wǎng)絡(luò)模型進(jìn)行霧成分的學(xué)習(xí)是很困難的。因此，我們把去霧模型(2)進(jìn)一步分解為以下多個(gè)子任務(wù)(即多步去霧模型)：

g0＝f0(h)，g1＝f1(g0)，……，g＝fn(gn-1)(4)

其中，每個(gè)fi都是相對(duì)于f的弱映射。根據(jù)該多步去霧模型，輸入圖像h通過一系列的fi被逐步去霧，最終恢復(fù)為清晰圖像。相應(yīng)的，對(duì)于每一個(gè)子映射fi，采用具有殘差結(jié)構(gòu)的淺層卷積網(wǎng)絡(luò)來擬合，將這些殘差塊級(jí)聯(lián)起來組成一個(gè)深度卷積網(wǎng)絡(luò)，實(shí)現(xiàn)霧的逐步去除。

步驟3：設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)

根據(jù)步驟2中的多步去霧模型(4)，我們?cè)O(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)為：

conv1(3×3×16)→

resblock1(3×3×16)→…→resblockn(3×3×16)

→convm(3×3×6)

其中，conv表示卷積層，resblock表示殘差塊。每個(gè)殘差塊為一個(gè)兩層的殘差卷積結(jié)構(gòu)，即resblock(3×3×16)＝[conv(3×3×16),conv(3×3×16)]。

網(wǎng)絡(luò)的輸入是6個(gè)波段的多光譜數(shù)據(jù)，輸出是相應(yīng)的清晰圖像，整個(gè)網(wǎng)絡(luò)是端到端的全卷積結(jié)構(gòu)。根據(jù)霧天成像模型，清晰圖像和有霧圖像之間為線性關(guān)系，因此該網(wǎng)絡(luò)中不包含任何非線性激活單元?？紤]到圖像每個(gè)像素點(diǎn)處的去霧只取決于局部信息，所有的卷積層均采用了3×3小卷積核。網(wǎng)絡(luò)的第一層卷積核個(gè)數(shù)為16，實(shí)現(xiàn)圖像數(shù)據(jù)的高維映射，使得后續(xù)的殘差塊可以在高維空間學(xué)習(xí)。網(wǎng)絡(luò)的最后一層卷積核個(gè)數(shù)為6，將特征圖映射到原始圖像維度，實(shí)現(xiàn)清晰圖像的輸出。在第一層和最后一層之間有n個(gè)殘差塊resblock，一個(gè)殘差塊對(duì)應(yīng)(4)中的一個(gè)弱映射fi，n個(gè)殘差塊的級(jí)聯(lián)實(shí)現(xiàn)霧的逐步去除。

步驟4：訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

基于學(xué)習(xí)的去霧方法，需要帶標(biāo)簽的霧樣本來進(jìn)行訓(xùn)練。但對(duì)于遙感圖像，有霧圖像及其對(duì)應(yīng)清晰圖像(真值)是很難收集的。因此這類方法都是采用仿真的方式來獲得足夠多的帶標(biāo)簽樣本。已有的霧仿真方法都是假定霧是波長無關(guān)的，對(duì)各個(gè)波段產(chǎn)生相同濃度的霧。而實(shí)際上，霧是波長相關(guān)的。本發(fā)明仿真生成波長相關(guān)的霧作為訓(xùn)練樣本來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

1)訓(xùn)練樣本生成

根據(jù)霧天成像模型(1)可知，給定一幅清晰圖像j，通過調(diào)整全局大氣光a和透射圖t的值，代入到霧天成像模型中即可得到一幅有霧圖像。由于多光譜圖像各波段的透射圖之間具有一定的相關(guān)性，為清晰的多光譜圖像設(shè)置透射圖時(shí)，不同波段的透射圖之間需滿足相應(yīng)的關(guān)系。因此，我們先推導(dǎo)不同波段透射圖之間的相關(guān)性，然后利用這個(gè)相關(guān)性來生成波長相關(guān)的帶霧多光譜圖像，即仿真得到有霧圖像。

①推導(dǎo)不同波段透射圖之間的關(guān)系

本發(fā)明針對(duì)landset8中6個(gè)受霧影響的波段去霧，我們先取波段1為基準(zhǔn)波段，來推導(dǎo)其他5個(gè)波段與波段1之間的透射圖相關(guān)性。

根據(jù)霧成像的物理模型，透射圖t可描述為：

t(x)＝e^{-β(x，λ)d(x)}(5)

其中，d(x)表示真實(shí)場(chǎng)景中的物體到傳感器之間的距離，遙感圖像中，d(x)可看作是常量。β(x，λ)為衰減系數(shù)，反映了光被大氣中的粒子散射的程度，與大氣中的粒子和波長λ相關(guān)。具體地，根據(jù)rayleigh散射模型，衰減系數(shù)β可描述為：

其中，參數(shù)γ反映了大氣中粒子的大小，在霧天情況下，γ的值在[0.5，1]之間。

為了推導(dǎo)不同波段透射圖之間的關(guān)系，首先對(duì)透射圖t的表達(dá)式兩邊取自然對(duì)數(shù)，可得：

lnt＝-dβ(7)

由于d為固定的常量，因此波段1與其他波段之間關(guān)于lnt的比率為：

lnt1：lnti＝β1:βi(8)

其中ti和βi分別是波段i的透射圖和衰減系數(shù)。進(jìn)一步變換以上公式可得：

最后，將rayleigh散射模型(6)代入公式(9)，即可得到波段1與其他波段透射圖之間的關(guān)系表達(dá)式：

其中，λi是第i個(gè)波段的波長，一般取波段的中間波長即可。γ為rayleigh散射模型中的參數(shù)，取值范圍為[0.5,1]，值越大，對(duì)應(yīng)的霧越濃。從(10)可以看出，只要給出基準(zhǔn)波段的透射圖t1以及γ的值，其他5個(gè)波段的透射圖即可通過(10)計(jì)算得到。

②霧合成

為了保證訓(xùn)練集樣本的多樣性，我們合成不同濃度的霧圖像。

令γ的值分別取為0.5、0.7和1，t1的值在(0，1]范圍內(nèi)每隔0.1取值，共取值10次。針對(duì)每對(duì)(γ，t1)，按照公式(10)計(jì)算其他5個(gè)波段的透射圖，共可得到3×10＝30組透射圖模板(每組6個(gè)透射圖)。

對(duì)于一幅清晰的多光譜圖像(真值)，設(shè)置全局大氣光a的值為常量1，將每組透射圖模板按照霧天成像模型(1)疊加到清晰圖像的各個(gè)波段，即可合成帶霧的多光譜圖像。30組透射圖模板共可產(chǎn)生30幅同一場(chǎng)景下不同濃度的帶霧多光譜圖像。該方法合成的霧保持了各個(gè)波段之間的波長相關(guān)性，所產(chǎn)生的有霧圖像更接近于真實(shí)圖像。

2)網(wǎng)絡(luò)訓(xùn)練

在本步驟中，用仿真得到的有霧圖像樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)有霧圖像到清晰圖像之間映射關(guān)系的學(xué)習(xí)。

由于在本發(fā)明中，卷積神經(jīng)網(wǎng)絡(luò)被用來解決回歸問題，網(wǎng)絡(luò)采用歐式距離作為損失函數(shù)：

其中，n為圖像個(gè)數(shù)，為網(wǎng)絡(luò)的實(shí)際輸出結(jié)果，gn為真值圖像。本發(fā)明選擇隨機(jī)梯度下降法來優(yōu)化該損失函數(shù)(11)，用仿真得到的有霧圖像對(duì)網(wǎng)絡(luò)進(jìn)行迭代學(xué)習(xí)，更新網(wǎng)絡(luò)參數(shù)，當(dāng)網(wǎng)絡(luò)的損失值趨于穩(wěn)定時(shí)，即可結(jié)束訓(xùn)練，此時(shí)保存的網(wǎng)絡(luò)參數(shù)即為訓(xùn)練好的去霧網(wǎng)絡(luò)模型。

步驟5：多光譜遙感圖像去霧

實(shí)現(xiàn)一幅多光譜遙感圖像去霧，只需將圖像輸入到步驟4訓(xùn)練好的去霧網(wǎng)絡(luò)模型中，通過網(wǎng)絡(luò)的前向傳播，即可在網(wǎng)絡(luò)的輸出端得到被恢復(fù)的清晰圖像。

本發(fā)明是針對(duì)landset8多光譜數(shù)據(jù)的處理，該方法同樣適用于來自其他衛(wèi)星傳感器的多光譜數(shù)據(jù)。對(duì)于其他衛(wèi)星傳感器的多光譜數(shù)據(jù)，選擇波長小于1的波段，按照步驟4生成波長相關(guān)的仿真霧來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，即可實(shí)現(xiàn)多光譜圖像的有效去霧。

3、優(yōu)點(diǎn)及功效

本發(fā)明提出了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的多光譜遙感圖像去霧方法，通過一個(gè)卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)有霧圖像到清晰圖像之間的映射關(guān)系。卷積網(wǎng)絡(luò)采用級(jí)聯(lián)的殘差結(jié)構(gòu)，可對(duì)去霧模型進(jìn)行有參考的學(xué)習(xí)，并實(shí)現(xiàn)逐步去霧。該方法不僅易于學(xué)習(xí)和訓(xùn)練，還可以通過加深網(wǎng)絡(luò)層數(shù)實(shí)現(xiàn)更高精度的去霧結(jié)果。同時(shí)，所設(shè)計(jì)的網(wǎng)絡(luò)是端到端的，整個(gè)去霧過程無需額外的處理，操作簡單。

傳統(tǒng)的遙感圖像去霧方法大多針對(duì)可見光波段，本方法可以有效去除多個(gè)波段中的霧。在訓(xùn)練過程中，我們推導(dǎo)各波段之間透射圖的相關(guān)性，合成了波長相關(guān)的霧樣本，使得被訓(xùn)練的網(wǎng)絡(luò)能夠準(zhǔn)確地去除各個(gè)波段的霧，并且保持了圖像色彩、紋理的一致性，有效還原了遙感圖像原本的地物信息。

本發(fā)明是針對(duì)landset8多光譜數(shù)據(jù)的處理，該方法同樣適用于來自其他衛(wèi)星傳感器的多光譜數(shù)據(jù)。對(duì)于其他衛(wèi)星傳感器的多光譜數(shù)據(jù)，選擇波長小于1的波段，按照步驟4生成波長相關(guān)的仿真霧來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，即可實(shí)現(xiàn)多光譜圖像的有效去霧。

(四)附圖說明

圖1本發(fā)明所述圖像去霧方法的流程圖。

圖2本發(fā)明所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3landsat8oli遙感圖像去霧結(jié)果。

圖4高分一號(hào)遙感圖像去霧結(jié)果。

(五)具體實(shí)施方式

為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步描述：

本發(fā)明的流程圖如圖1所示。計(jì)算機(jī)配置采用：intelcorei5-6600k處理器，nvidiageforcegtx1080圖形處理器，主頻3.5ghz，內(nèi)存16gb，操作系統(tǒng)為ubuntu16.04。去霧方法的實(shí)現(xiàn)基于caffe工具包。本發(fā)明是一種基于卷積神經(jīng)網(wǎng)絡(luò)的多光譜圖像去霧方法，具體包括以下步驟：

步驟1：多光譜圖像去霧波段選擇

本發(fā)明采用landsat8oli傳感器采集的多光譜遙感圖像數(shù)據(jù)。landsat8oli圖像共包括9個(gè)波段，而其中的海岸波段、可見光波段(藍(lán)波段、綠波段、紅波段)、近紅外波段、全色波段其波長小于1，容易受到霧的影響。因此，本發(fā)明針對(duì)以上6個(gè)容易受到霧影響的波段進(jìn)行去霧。

步驟2：建立去霧模型

令h代表有霧圖像，g表示恢復(fù)的清晰圖像，函數(shù)f代表有霧圖像與對(duì)應(yīng)清晰圖像之間的映射關(guān)系，則去霧問題被建模為以下形式(即去霧模型)：

g＝f(h)

根據(jù)上式，一旦獲得該映射關(guān)系f，給定有霧圖像h，通過函數(shù)關(guān)系映射便可得到清晰圖像，從而實(shí)現(xiàn)圖像去霧。

本發(fā)明采用一個(gè)殘差卷積網(wǎng)絡(luò)來擬合有霧圖像到清晰圖像之間的映射關(guān)系f(h)。在該結(jié)構(gòu)中，網(wǎng)絡(luò)的輸入不僅傳遞給卷積層，并且在網(wǎng)絡(luò)末端與卷積層的輸出直接相加，形成最終的網(wǎng)絡(luò)輸出。殘差網(wǎng)絡(luò)中卷積層學(xué)習(xí)到的模型可描述為：

h(h)＝f(h)-h

利用具有殘差結(jié)構(gòu)的網(wǎng)絡(luò)學(xué)習(xí)去霧，網(wǎng)絡(luò)中的權(quán)重層只需要學(xué)習(xí)有霧圖像和清晰圖像之間不同的部分h(h)(霧成分)，相同的地物紋理和顏色信息可以由輸入圖像直接提供。通過這一有參考的網(wǎng)絡(luò)結(jié)構(gòu)，將有霧圖像到清晰圖像之間復(fù)雜的映射轉(zhuǎn)化為有霧圖像到霧成分之間簡單的映射，大大減小了網(wǎng)絡(luò)學(xué)習(xí)的難度。

由于霧的濃度和分布是多樣的，使用具有一個(gè)殘差結(jié)構(gòu)的網(wǎng)絡(luò)模型進(jìn)行霧成分的學(xué)習(xí)是很困難的。因此，去霧模型被進(jìn)一步分解為以下多個(gè)子任務(wù)：

g0＝f0(h)，g1＝f1(g0)，……，g＝fn(gn-1)

其中，每個(gè)fi都是相對(duì)于f的弱映射。有霧圖像h通過一系列的fi被逐步去霧，最終恢復(fù)為清晰圖像。

步驟3：設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)

根據(jù)步驟2建立的去霧模型，設(shè)計(jì)如圖2所示的級(jí)聯(lián)殘差卷積網(wǎng)絡(luò)。

網(wǎng)絡(luò)的輸入是6個(gè)波段的多光譜數(shù)據(jù)，輸出是相應(yīng)的清晰圖像，整個(gè)網(wǎng)絡(luò)是端到端的全卷積結(jié)構(gòu)，所有的卷積層均采用了3×3小卷積核。網(wǎng)絡(luò)的第一層將特征空間映射到高維，輸出16個(gè)特征圖。在第一個(gè)卷積層之后為n個(gè)殘差塊，每個(gè)殘差塊是一個(gè)兩層的殘差卷積結(jié)構(gòu)，分別學(xué)習(xí)去霧模型中的多個(gè)子映射。網(wǎng)絡(luò)的最后一層將特征圖映射到原始圖像維度，輸出6個(gè)波段的去霧結(jié)果。網(wǎng)絡(luò)的深度由殘差塊的個(gè)數(shù)n決定。通常，網(wǎng)絡(luò)越深，去霧的準(zhǔn)確度越高，而模型的復(fù)雜度也越高?？紤]到網(wǎng)絡(luò)精度和時(shí)間復(fù)雜度兩方面因素，本發(fā)明選取n＝5作為最終的網(wǎng)絡(luò)結(jié)構(gòu)。

步驟4：訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

1)訓(xùn)練樣本生成

本方法采用仿真的方式獲取有霧圖像及其真值圖像，以此構(gòu)建訓(xùn)練數(shù)據(jù)集。具體操作包括以下步驟：

①獲取清晰的多光譜圖像。從提供免費(fèi)landsat8oli數(shù)據(jù)的網(wǎng)站(http://ids.ceode.ac.cn/query.html)上下載多景多光譜遙感圖像，保存到本地。對(duì)于每景圖像，采用envi5.0軟件將其打開，選取圖像中大小為200×200的清晰區(qū)域，保存步驟1中確定的6個(gè)待去霧波段。通過該步驟操作，共可獲得400幅清晰圖像，每幅圖像具有6個(gè)波段，圖像大小為200×200。

②合成霧圖像。根據(jù)霧天成像模型，給定一幅清晰圖像，通過調(diào)整大氣光a和透射圖t的值,代入到霧天成像模型中即可得到有霧圖像。由于多光譜圖像各波段的透射圖之間具有一定相關(guān)性，根據(jù)rayleigh散射模型，可推導(dǎo)得到波段1與其他波段透射圖之間滿足以下關(guān)系：

其中，λ為各個(gè)波段的中心波長。對(duì)于landsat8oli衛(wèi)星采集的遙感圖像，各波段的中心波長分別為：海岸波段0.448μm，藍(lán)波段0.483μm，綠波段0563μm，紅波段0.655μm，近紅外波段0.865μm，全色波段0.590μm?？梢钥闯觯鶕?jù)該關(guān)系表達(dá)式，只要給定波段1的透射圖t1以及γ的值，其他5個(gè)波段的透射圖即可通過該表達(dá)式計(jì)算得到。

為了合成不同濃度的霧圖像，令γ的值分別取為0.5、0.7和1，t1的值在(0，1]范圍內(nèi)每隔0.1取值，共取值10次。針對(duì)每對(duì)(γ，t1)，按照上式計(jì)算其他5個(gè)波段的透射圖，共可得到3×10＝30組透射圖模板(每組有6個(gè)透射圖，對(duì)應(yīng)了6個(gè)波段)。對(duì)于一幅清晰的多光譜圖像(真值)，設(shè)置大氣光a的值為常量1，將每組透射圖模板按照霧成像模型疊加到清晰圖像的各個(gè)波段，即可合成帶霧的多光譜圖像。30組透射圖模板共可產(chǎn)生30幅同一場(chǎng)景下不同濃度的帶霧多光譜圖像。

對(duì)于收集的400幅清晰圖像，可以產(chǎn)生400*30＝12000個(gè)帶標(biāo)簽的霧樣本。這些樣本包含了不同的地物場(chǎng)景，并均衡地涵蓋了霧濃度的各種情況，保證了訓(xùn)練集中樣本的多樣性和均衡性。

2)網(wǎng)絡(luò)訓(xùn)練

由于在本發(fā)明中，卷積神經(jīng)網(wǎng)絡(luò)被用來解決回歸問題，網(wǎng)絡(luò)采用歐式距離作為損失函數(shù)：

其中，n為圖像個(gè)數(shù)，為網(wǎng)絡(luò)的實(shí)際輸出結(jié)果，gn為真值圖像。通過最小化該損失函數(shù)，進(jìn)行網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)去霧網(wǎng)絡(luò)模型。

對(duì)于12000個(gè)仿真有霧圖像，將其中的9000個(gè)樣本作為訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，剩余的3000個(gè)樣本作為驗(yàn)證集進(jìn)行超參數(shù)的調(diào)整。為了防止過擬合，損失函數(shù)以二范數(shù)形式對(duì)參數(shù)進(jìn)行正則化約束，正則化系數(shù)為0.0001。在開始訓(xùn)練之前，輸入圖像被歸一化到[0，1]之間，卷積核的權(quán)重采用均值為0、方差為0.01的高斯函數(shù)進(jìn)行初始化，偏置采用固定值0.01進(jìn)行初始化。在進(jìn)行模型優(yōu)化時(shí)，采用隨機(jī)梯度下降的方式更新網(wǎng)絡(luò)參數(shù)，其中動(dòng)量參數(shù)設(shè)為0.9。初始學(xué)習(xí)率為10^-7，并且在損失值達(dá)到穩(wěn)定時(shí)減小為原來的一半。整個(gè)訓(xùn)練過程在nvidiageforcegtx1080gpu上進(jìn)行，訓(xùn)練共迭代170，000次。

步驟5：多光譜遙感圖像去霧

本發(fā)明設(shè)計(jì)的多光譜遙感圖像去霧方法是端到端的，一旦訓(xùn)練好網(wǎng)絡(luò)模型，只需將待去霧的多光譜圖像輸入到網(wǎng)絡(luò)中，通過網(wǎng)絡(luò)的前向傳播，即可在輸出端得到被恢復(fù)的清晰圖像。圖3展示了一個(gè)多光譜遙感圖像去霧實(shí)例，可以看到本發(fā)明的方法有效去除了各波段中的霧，真實(shí)還原了原始的地物信息。

本發(fā)明是針對(duì)landset8多光譜數(shù)據(jù)的處理，該方法同樣適用于來自其他衛(wèi)星傳感器的多光譜數(shù)據(jù)。對(duì)于其他衛(wèi)星傳感器的多光譜數(shù)據(jù)，選擇波長小于1的波段，按照步驟4生成波長相關(guān)的仿真霧來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，即可實(shí)現(xiàn)多光譜圖像的有效去霧。

對(duì)不同衛(wèi)星傳感器的去霧，除了訓(xùn)練數(shù)據(jù)不同、去霧波段選取不同、卷積神經(jīng)網(wǎng)絡(luò)的輸入輸出通道數(shù)不同以外，其他基本一致。以下給出了高分一號(hào)衛(wèi)星去霧的實(shí)施過程，對(duì)于其他衛(wèi)星的去霧過程也是相同的道理，與landsat8、高分一號(hào)的過程一致。以下給出高分一號(hào)遙感圖像去霧的具體實(shí)施例。

高分一號(hào)衛(wèi)星是由我國長征二號(hào)丁運(yùn)載火箭發(fā)射并正常運(yùn)行，是高分辨對(duì)地觀測(cè)系統(tǒng)的首發(fā)星。高分一號(hào)衛(wèi)星的多光譜圖相機(jī)采集的遙感圖像共包含4個(gè)波段：藍(lán)波段、綠波段、紅波段、近紅外波段，它們的波長均小于1μm，容易受到霧的影響。因此，高分圖像的四個(gè)波段均需要去霧處理。

根據(jù)上述步驟2和步驟3所述內(nèi)容構(gòu)建去霧模型，設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)。對(duì)于高分圖像，卷積神經(jīng)網(wǎng)絡(luò)的輸入是4個(gè)波段的多光譜數(shù)據(jù)，輸出是相應(yīng)的清晰圖像。整個(gè)網(wǎng)絡(luò)是端到端的全卷積結(jié)構(gòu)，所有的卷積層均采用了3×3小卷積核。網(wǎng)絡(luò)的第一層將特征空間映射到高維，輸出16個(gè)特征圖。在第一個(gè)卷積層之后為5個(gè)殘差塊，每個(gè)殘差塊是一個(gè)兩層的殘差卷積結(jié)構(gòu)，分別學(xué)習(xí)去霧模型中的多個(gè)子映射。網(wǎng)絡(luò)的最后一層將特征圖映射到原始圖像維度，輸出4個(gè)波段的去霧結(jié)果。

訓(xùn)練樣本同樣采用霧仿真的方式生成。

①獲取清晰的高分一號(hào)遙感圖像。從中國資源衛(wèi)星應(yīng)用中心網(wǎng)站(http://www.cresda.com/cn/)上下載多景遙感圖像，保存到本地。對(duì)于每景圖像，采用envi5.0軟件將其打開，選取圖像中大小為200×200的清晰區(qū)域，保存圖像的所有波段。通過該步驟操作，共可獲得400幅清晰圖像，每幅圖像具有4個(gè)波段，圖像大小為200×200。

②合成霧圖像。根據(jù)霧天成像模型，給定一幅清晰圖像，通過調(diào)整大氣光a和透射圖t的值,代入到霧天成像模型中即可得到有霧圖像。由于遙感圖像各波段的透射圖之間具有一定相關(guān)性，根據(jù)rayleigh散射模型，可推導(dǎo)得到波段1與其他波段透射圖之間滿足以下關(guān)系：

其中，λ為各個(gè)波段的中心波長。對(duì)于高分一號(hào)衛(wèi)星采集的多光譜遙感圖像，各波段的中心波長分別為：藍(lán)波段0.485μm，綠波段0.555μm，紅波段0.660μm，近紅外波段0.830μm?？梢钥闯觯鶕?jù)該表達(dá)式，只要給定波段1的透射圖t1以及γ的值，其他3個(gè)波段的透射圖即可通過該表達(dá)式計(jì)算得到。

為了合成不同濃度的霧圖像，令γ的值分別取為0.5、0.7和1，t1的值在(0，1]范圍內(nèi)每隔0.1取值，共取值10次。針對(duì)每對(duì)(γ，t1)，按照上式計(jì)算其他3個(gè)波段的透射圖，共可得到3×10＝30組透射圖模板(每組有4個(gè)透射圖，對(duì)應(yīng)4個(gè)波段)。對(duì)于一幅清晰的高分一號(hào)圖像(真值)，設(shè)置大氣光a的值為常量1，將每組透射圖模板按照霧成像模型疊加到清晰圖像的各個(gè)波段，即可合成帶霧的多光譜圖像。30組透射圖模板共可產(chǎn)生30幅同一場(chǎng)景下不同濃度的帶霧多光譜圖像。

對(duì)于收集的400幅清晰圖像，共可以產(chǎn)生400*30＝12000個(gè)帶標(biāo)簽的霧樣本。這些樣本包含了不同的地物場(chǎng)景，并均衡地涵蓋了霧濃度的各種情況，保證了訓(xùn)練集中樣本的多樣性和均衡性。

采用合成的高分一號(hào)遙感圖像數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到相應(yīng)的去霧網(wǎng)絡(luò)模型。對(duì)于一幅有霧的遙感圖像，將它輸入到網(wǎng)絡(luò)中，對(duì)網(wǎng)絡(luò)進(jìn)行前向傳播，即可輸出去霧后的結(jié)果。圖4展示了高分一號(hào)圖像去霧的結(jié)果。