本發(fā)明涉及圖像處理，尤其涉及一種輕量型圖像去霧方法及系統(tǒng)。

背景技術(shù)：

1、隨著圖像處理技術(shù)的迅速發(fā)展，惡劣天氣條件（包括下霧、下雨等）常常導(dǎo)致獲取到的圖像或者視頻中的視覺信息質(zhì)量嚴重下降，這給眾多依賴清晰視覺的實際應(yīng)用帶來了極大的困擾，例如自動駕駛、監(jiān)控系統(tǒng)、衛(wèi)星遙感等，因此惡劣天氣條件已經(jīng)成為計算時視覺技術(shù)實際應(yīng)用所要面臨的主要問題。因此有必要針對惡劣天氣條件下獲取的輸入數(shù)據(jù)進行去霧處理，去霧處理的目的是對低質(zhì)量的圖像或者視頻進行質(zhì)量增強，以確保輸入數(shù)據(jù)的視覺信息滿足要求。傳統(tǒng)的去霧方法主要基于物理模型和先驗知識實現(xiàn)去霧，然而在實際應(yīng)用場景中，對于去霧處理的速度要求極高，往往需要能夠在短時間內(nèi)完成去霧操作，以確保系統(tǒng)的及時響應(yīng)和安全運行。傳統(tǒng)的去霧方法往往存在計算復(fù)雜、對特定場景適應(yīng)性不足的問題，并無法滿足實際應(yīng)用場景的使用要求。

2、因此，如何提高一種輕量級和實時性的圖像去霧方法以滿足各個實際應(yīng)用場景的使用要求是目前業(yè)界亟待解決的重要課題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種輕量型圖像去霧方法及系統(tǒng)，以解決傳統(tǒng)的去霧方法往往存在計算復(fù)雜、對特定場景適應(yīng)性不足的問題。

2、本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

3、根據(jù)第一方面，本發(fā)明實施例提供一種輕量型圖像去霧方法，所述方法包括：

4、獲取待處理圖像；

5、輸入所述待處理圖像至訓(xùn)練好的圖像去霧模型中，得到由所述圖像去霧模型輸出的目標(biāo)圖像；

6、所述圖像去霧模型是基于樣本圖像并采用自監(jiān)督的方式進行訓(xùn)練，以及通過總損失函數(shù)調(diào)整網(wǎng)絡(luò)參數(shù)得到的；

7、所述圖像去霧模型包括編碼層和解碼層，所述編碼層用于對輸入的待處理圖像經(jīng)過多次卷積處理，生成多尺度特征的中間特征圖，所述解碼層用于對多尺度特征的中間特征圖依次進行去霧處理和上下文錨點注意力處理，并進行跨尺度特征融合；

8、所述編碼層包括依次串聯(lián)設(shè)置的逐點卷積層、第一特征提取卷積層、第二特征提取卷積層、第三特征提取卷積層和第四特征提取卷積層，所述解碼層包括去霧層、上下文錨點注意力層以及跨尺度特征融合層；

9、所述逐點卷積層用于保持待處理圖像的空間維度不變的情況下調(diào)整待處理圖像的通道數(shù)；特征提取卷積層用于降低逐點卷積層輸出的特征的維度和寬度并進行特征提取，輸出不同級尺度的特征圖；所述去霧層用于對輸入的特征進行卷積處理，得到第一中間特征圖，對第一中間特征圖依次進行通道注意力處理與像素注意力處理得到第二中間特征圖，以及，對第一中間特征圖進行線性整流處理后與第二中間特征圖進行特征融合得到第三中間特征圖，對第三中間特征圖進行空洞卷積處理后與第二中間特征圖進行特征融合得到第四中間特征圖；所述上下文錨點注意力層用于對去霧層輸出的特征進行下采樣后分別進行水平方向以及垂直方向上的特征提取，并對提取得到的水平方向以及垂直方向上的特征進行特征融合；所述跨尺度特征融合層用于對所述上下文錨點注意力層輸出的特征按照尺度順序進行特征融合。

10、結(jié)合第一方面，在第一方面第一實施方式中，所述獲取待處理圖像，并將所述待處理圖像輸入至訓(xùn)練好的圖像去霧模型中，得到由所述圖像去霧模型輸出的目標(biāo)圖像，具體包括：

11、獲取所述待處理圖像；

12、將所述待處理圖像輸入至所述逐點卷積層中，得到由所述逐點卷積層輸出的第一特征圖；

13、將所述第一特征圖輸入至所述第一特征提取卷積層中，得到由所述第一特征提取卷積層輸出的第二特征圖；

14、將所述第二特征圖輸入至所述第二特征提取卷積層中，得到由所述第二特征提取卷積層輸出的第三特征圖；

15、將所述第三特征圖輸入至所述第三特征提取卷積層中，得到由所述第三特征提取卷積層輸出的第四特征圖；

16、將所述第四特征圖輸入至所述第四特征提取卷積層中，得到由所述第四特征提取卷積層輸出的第五特征圖；

17、將第一至第五特征圖輸入至所述去霧層中，得到由所述去霧層分別對應(yīng)輸出的第一至第五去霧特征圖；

18、將第一至第五去霧特征圖輸入至所述上下文錨點注意力層中，得到由所述上下文錨點注意力層分別對應(yīng)輸出的第一至第五上下文錨點特征圖；

19、將第一至第五上下文錨點特征圖輸入至所述跨尺度特征融合層中，得到由所述跨尺度特征融合層輸出的目標(biāo)圖像。

20、結(jié)合第一方面第一實施方式，在第一方面第二實施方式中，第一至第四特征提取卷積層均包括第一卷積層、第一線性整流層和批量歸一化層；

21、所述第一卷積層用于對輸入的特征圖進行卷積處理；所述線性整流層用于對卷積處理后的特征圖進行線性整流處理；所述批量歸一化層用于對線性整流處理后的特征圖進行批歸一化處理。

22、結(jié)合第一方面第二實施方式，在第一方面第三實施方式中，所述去霧層包括第二卷積層、注意力層、第二線性整流層、第一融合層、空洞卷積層和第二融合層；

23、所述第二卷積層用于對輸入的特征圖進行降維處理，得到第一中間特征圖；所述注意力層用于對第一中間特征圖依次進行通道注意力處理與像素注意力處理后得到第二中間特征圖；所述第二線性整流層用于第一中間特征圖進行線性整流處理；所述第一融合層用于對第一中間特征圖進行線性整流處理后與第二中間特征圖進行特征融合得到第三中間特征圖；所述空洞卷積層用于對第三中間特征圖進行空洞卷積處理；所述第二融合層用于對第三中間特征圖進行空洞卷積處理后與第二中間特征圖進行特征融合得到第四中間特征圖。

24、結(jié)合第一方面第三實施方式，在第一方面第四實施方式中，所述上下文錨點注意力層包括平均池化層、第三卷積層、水平特征提取層、垂直特征提取層、第三融合層和平滑層；

25、所述平均池化層用于對輸入的去霧特征圖進行下采樣處理；所述第三卷積層用于對經(jīng)過下采樣處理后的去霧特征圖進行卷積處理，得到下采樣特征圖；所述水平特征提取層用于對所述下采樣特征圖進行水平方向上的特征提??；所述垂直特征提取層用于對所述下采樣特征圖進行垂直方向上的特征提取；所述第三融合層用于對水平方向上以及垂直方向上提取得到的特征進行特征融合；所述平滑層用于對融合后的特征進行平滑處理。

26、結(jié)合第一方面第四實施方式，在第一方面第五實施方式中，所述跨尺度特征融合層包括上采樣層、第四融合層和特征還原層；

27、所述上采樣層用于對輸入的特征圖進行插值上采樣操作；所述第四融合層用于將進行插值上采樣操作后的特征圖與所述特征圖相鄰的上一級尺度特征的特征圖進行特征融合，直至所有尺度特征的特征圖均被融合；所述特征還原層用于將融合了所有尺度特征的特征圖還原至與待處理圖像相同尺度，得到目標(biāo)圖像。

28、結(jié)合第一方面第五實施方式，在第一方面第六實施方式中，所述將第一至第五上下文錨點特征圖輸入至所述跨尺度特征融合層中，得到由所述跨尺度特征融合層輸出的目標(biāo)圖像，具體包括：

29、將第五上下文錨點特征圖輸入至所述上采樣層中，并將插值上采樣處理后的第五上下文錨點特征圖以及第四上下文錨點特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第一融合特征圖；

30、將所述第一融合特征圖輸入至所述上采樣層中，并將插值上采樣處理后的所述第一融合特征圖以及第三上下文錨點特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第二融合特征圖；

31、將所述第二融合特征圖輸入至所述上采樣層中，并將插值上采樣處理后的所述第二融合特征圖以及第二上下文錨點特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第三融合特征圖；

32、將所述第三融合特征圖輸入至所述上采樣層中，并將插值上采樣處理后的所述第三融合特征圖以及第一上下文錨點特征圖輸入至所述第四融合層中，得到所述第四融合層輸出的第四融合特征圖；

33、將所述第四融合特征圖輸入至所述特征還原層中，得到由所述特征還原層輸出的所述目標(biāo)圖像。

34、結(jié)合第一方面第四實施方式，在第一方面第七實施方式中，所述第三融合層以及所述平滑層進行處理的表達式為：

35、

36、其中，表示下采樣特征圖；表示進行水平方向上的特征提取；表示進行垂直方向上的特征提取；表示進行平滑處理。

37、結(jié)合第一方面，在第一方面第八實施方式中，所述總損失函數(shù)的表達式為：

38、

39、其中，表示總損失函數(shù)；表示平均絕度誤差系數(shù)；表示均方誤差損失系數(shù)；表示樣本圖像的總數(shù)組；表示第組樣本圖像；表示輸出的無霧圖像；表示輸入的樣本圖像。

40、根據(jù)第二方面，本發(fā)明實施例還提供一種輕量型圖像去霧系統(tǒng)，該系統(tǒng)包括：

41、圖像獲取模塊，用于獲取待處理圖像；

42、圖像去霧模塊，用于輸入所述待處理圖像至訓(xùn)練好的圖像去霧模型中，得到由所述圖像去霧模型輸出的目標(biāo)圖像；

43、所述圖像去霧模型是基于樣本圖像并采用自監(jiān)督的方式進行訓(xùn)練，以及通過總損失函數(shù)調(diào)整網(wǎng)絡(luò)參數(shù)得到的；

44、所述圖像去霧模型包括編碼層和解碼層，所述編碼層用于對輸入的待處理圖像經(jīng)過多次卷積處理，生成多尺度特征的中間特征圖，所述解碼層用于對多尺度特征的中間特征圖依次進行去霧處理和上下文錨點注意力處理，并進行跨尺度特征融合；

45、所述編碼層包括依次串聯(lián)設(shè)置的逐點卷積層、第一特征提取卷積層、第二特征提取卷積層、第三特征提取卷積層和第四特征提取卷積層，所述解碼層包括去霧層、上下文錨點注意力層以及跨尺度特征融合層；

46、所述逐點卷積層用于保持待處理圖像的空間維度不變的情況下調(diào)整待處理圖像的通道數(shù)；所述特征提取卷積層用于降低逐點卷積層輸出的特征的維度和寬度并進行特征提取，輸出不同級尺度的特征圖；所述去霧層用于對輸入的特征進行卷積處理，得到第一中間特征圖，對第一中間特征圖依次進行通道注意力處理與像素注意力處理得到第二中間特征圖，以及，對第一中間特征圖進行線性整流處理后與第二中間特征圖進行特征融合得到第三中間特征圖，對第三中間特征圖進行空洞卷積處理后與第二中間特征圖進行特征融合得到第四中間特征圖；所述上下文錨點注意力層用于對去霧層輸出的特征進行下采樣后分別進行水平方向以及垂直方向上的特征提取，并對提取得到的水平方向以及垂直方向上的特征進行特征融合；所述跨尺度特征融合層用于對所述上下文錨點注意力層輸出的特征按照尺度順序進行特征融合。

47、根據(jù)第三方面，本發(fā)明實施例還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述輕量型圖像去霧方法的步驟。

48、根據(jù)第四方面，本發(fā)明實施例還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述輕量型圖像去霧方法的步驟。

49、根據(jù)第五方面，本發(fā)明實施例還提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一項所述輕量型圖像去霧方法的步驟。

50、本發(fā)明的輕量型圖像去霧方法及系統(tǒng)相對于現(xiàn)有技術(shù)具有以下有益效果：

51、通過訓(xùn)練好的圖像去霧模型圖像對待處理圖像進行去霧處理，得到無霧的目標(biāo)圖像，去霧模型采用的是編碼器-解碼器框架的輕量型網(wǎng)絡(luò)模型，圖像去霧模型包括編碼層和解碼層，在編碼層中對輸入的待處理圖像經(jīng)過多次卷積處理，生成多尺度特征的中間特征圖，在解碼層中，則會對之前得到的多尺度特征的中間特征圖依次進行去霧處理和上下文錨點注意力處理，并通過跨尺度特征融合的方式增強圖像的內(nèi)容特征，以此降低霧特征。通過這樣的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置，該圖像去霧模型不僅能夠從多個尺度捕獲待處理圖像的特征信息，還能盡可能地保持待處理圖像中的細節(jié)和質(zhì)量，并且有效地去除待處理圖像中的惡劣天氣特征，同時也有效利用有限的計算資源，降低計算開銷，保持處理速度的同時降低惡劣天氣對圖像的影響，通過在處理速度和處理效果上都進行優(yōu)化，適合于邊緣設(shè)備等上實時運行，以此適用于要求實時處理的應(yīng)用場景，滿足實際應(yīng)用場景的使用要求，提高了圖像去霧模型的推理速度以及魯棒性。