本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種多時(shí)相光學(xué)遙感影像厚云去除模型、方法及裝置。

背景技術(shù)：

1、隨著遙感技術(shù)的快速發(fā)展，光學(xué)遙感影像因其豐富的空間、光譜和時(shí)間信息，已經(jīng)被廣泛應(yīng)用于地球觀測任務(wù)中。例如土地覆蓋分類、目標(biāo)檢測和環(huán)境監(jiān)測等領(lǐng)域。然而，由于成像設(shè)備與外部環(huán)境的影響，獲取到的光學(xué)遙感影像往往會(huì)受到云的影響，特別是厚云層，嚴(yán)重影響了下游任務(wù)的應(yīng)用。

2、厚云去除方法主要包括基于空間、光譜、時(shí)間的方法?；诳臻g的方法僅利用圖像間的空間信息，通過圖像補(bǔ)繪技術(shù)來重建缺失的信息；代表性方法有插值法、變分法、偏微分方程法和基于示例的方法；然而，當(dāng)遙感圖像的缺失信息較大時(shí)，無法保證重建精度?；诠庾V的方法利用不同光譜數(shù)據(jù)之間的高度相關(guān)性，可以高精度地恢復(fù)缺失的光譜數(shù)據(jù)；但是，這些方法無法處理厚厚的云層覆蓋，因?yàn)楹裨迫コ蝿?wù)中的光譜波段可能全部丟失。由于衛(wèi)星可以在不同的時(shí)間間隔內(nèi)獲取同一區(qū)域的圖像；因此，它們?yōu)槎鄷r(shí)相遙感影像的云去除任務(wù)提供了可靠的參考數(shù)據(jù)，基于時(shí)間的方法被廣泛用于厚云去除，但其中大部分方法是基于現(xiàn)有的cnn，沒有克服多時(shí)相遙感影像間的時(shí)間差異的影像，導(dǎo)致影像修復(fù)后出現(xiàn)偽影并且現(xiàn)有的cnn在提取信息的能力有所欠缺，導(dǎo)致重建厚云區(qū)域的信息效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種多時(shí)相光學(xué)遙感影像厚云去除模型、方法及裝置，基于重新設(shè)計(jì)的cnn，實(shí)現(xiàn)被厚云污染區(qū)域的遙感影像的重建，解決現(xiàn)有技術(shù)中無法較好克服多時(shí)相遙感影像中時(shí)間差異的影響、信息提取能力差，導(dǎo)致重建厚云遮擋區(qū)域結(jié)果較差的問題。

2、本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種多時(shí)相光學(xué)遙感影像厚云去除模型，包括依次連接的特征提取模塊、特征融合模塊和圖像重建模塊；

3、所述特征提取模塊用于對(duì)待處理的多時(shí)相衛(wèi)星影像依次進(jìn)行非線性特征提取、通道數(shù)調(diào)整以及多尺度特征提取，得到多尺度特征；

4、所述特征融合模塊用于將所述多尺度特征依次進(jìn)行尺度壓縮、求和運(yùn)算以及基于自我注意的卷積調(diào)制操作，得到全局信息；

5、所述圖像重建模塊用于對(duì)所述全局信息依次進(jìn)行上采樣和仿射變換，得到調(diào)制特征，并對(duì)所述調(diào)制特征依次進(jìn)行低頻信息轉(zhuǎn)高頻信息處理以及高頻信息重構(gòu)處理，得到無云圖像。

6、在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

7、進(jìn)一步，所述特征提取模塊包括依次連接的第一卷積層、第二卷積層、瓶頸層和多尺度融合卷積層；其中，

8、所述第一卷積層后層疊有第一實(shí)列歸一化層和第一激活函數(shù)層，所述第二卷積層后層疊有第二實(shí)列歸一化層和第二激活函數(shù)層；

9、所述瓶頸層由殘差連接并權(quán)值共享的第三卷積層、第四卷積層和第五卷積層依次連接構(gòu)成，且所述第三卷積層、所述第四卷積層和所述第五卷積層后均配置有一個(gè)校正線性函數(shù)；

10、所述多尺度融合卷積層包括依次連接的第六卷積層、cmconv層和全連接層；所述第六卷積層后層疊有第一批量標(biāo)準(zhǔn)化層和第三激活函數(shù)層，所述cmconv層后層疊有第二批量標(biāo)準(zhǔn)化層和第四激活函數(shù)層；所述cmconv層包括依次層疊的第一空洞卷積層、第二空洞卷積層和第七卷積層。

11、進(jìn)一步，在所述多尺度融合卷積層中，所述第六卷積層輸出的特征圖表示為，

12、

13、其中，fh,w,c′表示所述第六卷積層輸出的特征圖，且fh,w,c′∈rc′×h×w；xh+i-1,w+j-1,c表示所述瓶頸層輸出的特征圖，且xh+i-1,w+j-1,c∈rc×h×w；表示所述第六卷積層的卷積核，且k表示所述第六卷積層中卷積核的大小，c表示輸入通道的總數(shù)，c′表示輸出通道的總數(shù)，c和c′分別表示一個(gè)輸入通道和一個(gè)輸出通道的索引，i和j表示所述第六卷積層的卷積核的空間位置，h和w表示特征圖的空間位置。

14、進(jìn)一步，所述特征融合模塊包括依次連接的拼接操作層、深度可分離卷積層、transformer層和前饋網(wǎng)絡(luò)層；

15、所述深度可分離卷積層包括依次連接的深度卷積層、第三批量標(biāo)準(zhǔn)化層、第五激活函數(shù)層、第八卷積層、第四批量標(biāo)準(zhǔn)化層和第六激活函數(shù)層；

16、所述transformer層包括第一線性層以及依次連接的第二線性層、可變形卷積層、哈達(dá)瑪積層和第三線性層，所述第一線性層與所述第二線性層并列并與所述哈達(dá)瑪積層連接。

17、進(jìn)一步，所述拼接操作層具體為平均池化層，所述拼接操作層的輸出為h(fi)；其中，fi代表所述特征提取模塊輸出的多尺度特征，h()代表自適應(yīng)的平均池化層；

18、所述深度可分離卷積層的輸出表示為，

19、

20、其中，fms表示所述深度可分離卷積層的輸出；

21、所述transformer層的輸出表示為，

22、fa＝fms+αw3(dconvk×k(w2fms)·w1fms)#；

23、其中，fa表示所述transformer層的輸出，α表示一個(gè)可學(xué)習(xí)的參數(shù)，dconvk×k表示帶有大核卷積的所述可變形卷積層，w1、w2和w3分別表示所述第一線性層、第二線性層和第三線性層；

24、所述前饋網(wǎng)絡(luò)包括一個(gè)深度分離卷積層和兩個(gè)線性層，所述前饋網(wǎng)絡(luò)的輸出為：

25、fg＝fa+βv2(v1fa+d′convk×k(v1fa))#；

26、其中，fg表示所述前饋網(wǎng)絡(luò)的輸出，即為所述全局信息；β表示一個(gè)可學(xué)習(xí)的參數(shù)，v1和v2表示所述前饋網(wǎng)絡(luò)中的兩個(gè)線性層，d′convk×k表示所述前饋網(wǎng)絡(luò)中的深度分離卷積層。

27、進(jìn)一步，所述圖像重建模塊包括依次層疊的特征調(diào)制層、子像素卷積層和第九卷積層。

28、進(jìn)一步，所述調(diào)制特征表示為，

29、

30、其中，fi″表示所述調(diào)制特征，z1、z2和z3均表示所述特征調(diào)制層中的線性層，σ表示所述特征調(diào)制層中的激活函數(shù)，表示最近鄰插值，fg表示所述全局信息，fi′表示通過最近鄰上采樣方法對(duì)fg進(jìn)行上采樣而獲得的空間維度特征；

31、所述無云圖像表示為，

32、il＝g(sub(fi″))#；

33、其中，il表示所述無云圖像，sub表示所述子像素卷積層，g表示所述第九卷積層。

34、基于上述一種多時(shí)相光學(xué)遙感影像厚云去除模型，本發(fā)明還提供一種多時(shí)相光學(xué)遙感影像厚云去除方法。

35、一種多時(shí)相光學(xué)遙感影像厚云去除方法，應(yīng)用于上述所述的多時(shí)相光學(xué)遙感影像厚云去除模型，包括以下步驟，

36、s1，獲取厚云遮擋多時(shí)相光學(xué)遙感影像樣本和無云參考影像樣本，以構(gòu)建多時(shí)相遙感圖像數(shù)據(jù)集；

37、s2，將所述多時(shí)相遙感圖像數(shù)據(jù)集中的厚云遮擋多時(shí)相光學(xué)遙感影像樣本作為輸入，以所述多時(shí)相遙感圖像數(shù)據(jù)集中的無云參考影像樣本作為參考對(duì)所述多時(shí)相光學(xué)遙感影像厚云去除模型進(jìn)行監(jiān)督訓(xùn)練，得到最佳的多時(shí)相光學(xué)遙感影像厚云去除模型；

38、s3，利用最佳的多時(shí)相光學(xué)遙感影像厚云去除模型對(duì)待處理的多時(shí)相衛(wèi)星影像進(jìn)行去厚云處理，得到無云圖像。

39、在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

40、進(jìn)一步，將0～5％的遮蓋率的云覆蓋影像作為所述無云參考影像樣本；將10～100％的遮蓋率的云覆蓋影像作為所述厚云遮擋多時(shí)相光學(xué)遙感影像樣本。

41、基于上述一種多時(shí)相光學(xué)遙感影像厚云去除方法，本發(fā)明還提供一種多時(shí)相光學(xué)遙感影像厚云去除裝置。

42、一種多時(shí)相光學(xué)遙感影像厚云去除裝置，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器內(nèi)的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述的多時(shí)相光學(xué)遙感影像厚云去除方法。

43、本發(fā)明的有益效果是：在本發(fā)明一種多時(shí)相光學(xué)遙感影像厚云去除模型、方法及裝置中，重新設(shè)計(jì)了基于卷積神經(jīng)網(wǎng)絡(luò)的多時(shí)相光學(xué)遙感影像厚云去除模型，利用特征提取、特征融合和圖像重建這三階段網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)被厚云污染區(qū)域的遙感影像的重建，提高厚云遮擋下的光譜信息恢復(fù)和語義信息的保持能力，進(jìn)一步提高去云性能。