本發(fā)明涉及深度學(xué)習(xí)和圖像去噪，具體的說，是一種級聯(lián)離散小波多頻帶分解注意力圖像去噪方法及裝置。

背景技術(shù)：

1、圖像噪聲會顯著降低圖像質(zhì)量，因此消除圖像噪聲對于提高圖像的視覺質(zhì)量至關(guān)重要。目前主流圖像去噪方法有基于模型和基于學(xué)習(xí)的方法。

2、基于模型的圖像去噪方法采用基于明確定義的圖像先驗或噪聲統(tǒng)計模型的優(yōu)化策略，這些方法具有良好的可解釋性和強(qiáng)大的泛化能力，使用了各種圖像先驗信息來實現(xiàn)圖像去噪，典型的先驗信息包括圖像域的平滑性、變換域的稀疏性、斑塊域的非局部自相似性和低秩。而基于模型的圖像去噪方法具有以下缺點：(1)、需要人工調(diào)整參數(shù)；(2)、需要復(fù)雜的優(yōu)化算法才能達(dá)到理想的去噪效果；(3)、保留圖像邊緣細(xì)節(jié)特征的能力差；(4)、無法去除復(fù)雜的真實噪聲。

3、基于深度學(xué)習(xí)的圖像去噪方法相較于傳統(tǒng)的圖像去噪方法具有很多優(yōu)點。首先，這些方法通常不需要人工設(shè)置超參數(shù)或依賴于人類知識的圖像先驗。其次，它們在去除合成噪聲和真實噪聲方面都表現(xiàn)得更好。目前通用的圖像去噪任務(wù)架構(gòu)使用噪聲圖像和干凈的目標(biāo)圖像對進(jìn)行訓(xùn)練，并對加性高斯白噪聲(additive?white?gaussian?noise,awgn)等合成噪聲圖像進(jìn)行處理，獲得了良好的視覺質(zhì)量。然而，真實圖像去噪仍然是一個具有挑戰(zhàn)性的任務(wù)，真實圖像噪聲來源于相機(jī)系統(tǒng)中的處理步驟，如馬賽克、伽馬校正和壓縮多樣化。近年來，研究人員試圖通過對真實噪聲進(jìn)行建模，構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?networks,cnn)的去噪模型來處理真實世界的噪聲圖像。而典型的cnn真實圖像去噪方法選擇u-net作為骨干架構(gòu)，u-net中重復(fù)的下采樣操作會對圖像高頻信息造成嚴(yán)重的破壞，無法重構(gòu)出高質(zhì)量的圖像。故引入小波變換(wavelet?transform,wt)可以進(jìn)一步提高圖像去噪的性能。小波變換具有多分辨率分析和時頻域逐步細(xì)分的功能，可以將特征映射分解為不同頻率以作進(jìn)一步處理；通過將圖像中的高頻信息從低頻信息中分離出來，小波變換可以大大減少cnn中下采樣時信息的損失。此外，小波變換是可逆的，在圖像處理中也得到了廣泛的應(yīng)用。許多研究者將小波變換引入到圖像恢復(fù)任務(wù)中。而離散小波變換(discrete?wavelet?transform,dwt)能很方便地轉(zhuǎn)換為卷積形式與cnn兼容。然而，基于深度學(xué)習(xí)的圖像去噪方法仍然具有以下缺點：(1)、固定的小波濾波器選擇和有限的分解級別可能無法捕捉到所有尺度上的信號特征；(2)、當(dāng)噪聲水平較高時或處理復(fù)雜的真實噪聲時，去噪性能可能會惡化，因為噪聲在小波分解過程中可能會通過不同的子帶傳播；(3)、現(xiàn)有的方法將所有頻率信息直接混合或直接丟棄高頻信息，導(dǎo)致不同頻率信息相互作用產(chǎn)生偽影和失真，以及無法保留圖像邊緣細(xì)節(jié)特征等問題，特別是在具有復(fù)雜紋理和結(jié)構(gòu)的區(qū)域。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的在于提供一種級聯(lián)離散小波多頻帶分解注意力圖像去噪方法及裝置，結(jié)合了模型可解釋性強(qiáng)和cnn學(xué)習(xí)能力強(qiáng)的優(yōu)點，搭建編碼器-子網(wǎng)絡(luò)-解碼器結(jié)構(gòu)的圖像去噪網(wǎng)絡(luò)模型，以重構(gòu)出高質(zhì)量的圖像。

2、本發(fā)明通過下述技術(shù)方案解決上述問題：

3、一種級聯(lián)離散小波多頻帶分解注意力圖像去噪方法，包括以下步驟：

4、步驟a、搭建級聯(lián)離散小波多頻帶分解注意力的圖像去噪網(wǎng)絡(luò)，所述圖像去噪網(wǎng)絡(luò)采用編碼器-子網(wǎng)絡(luò)-解碼器結(jié)構(gòu)；

5、步驟b、噪聲圖像輸入圖像去噪網(wǎng)絡(luò)的編碼器內(nèi)，編碼器對輸入的噪聲圖像進(jìn)行多尺度的級聯(lián)離散小波變換和卷積塊操作，以提取多個尺度下的高低頻帶特征圖；

6、步驟c、將編碼器中提取到的多個尺度下的高低頻帶特征圖送入圖像去噪網(wǎng)絡(luò)的子網(wǎng)絡(luò)中每一級，以增強(qiáng)高低頻帶特征圖的全局和局部的關(guān)鍵特征信息，抑制噪聲；

7、步驟d、將步驟c增強(qiáng)后的高低頻帶特征圖經(jīng)過多頻帶分解注意力評估紋理細(xì)節(jié)成分重要性，并加權(quán)不同頻帶的噪聲特征；

8、步驟e、通過多頻帶選擇特征融合來增強(qiáng)步驟d處理后的高低頻帶特征圖的選擇性特征，提高對于不同尺度噪聲的去除能力，再進(jìn)行高低頻帶特征圖的融合；

9、步驟f、將融合后的高低頻帶特征圖送入解碼器經(jīng)過卷積塊和逆離散小波變換得到殘差圖像，將殘差圖像與輸入的噪聲圖像相加得到去噪后的目標(biāo)圖像。

10、作為對其進(jìn)一步的改進(jìn)，所述圖像去噪網(wǎng)絡(luò)包括多尺度級聯(lián)離散小波變換結(jié)構(gòu)、多頻帶特征增強(qiáng)模塊、多頻帶分解注意力模塊和多頻帶選擇特征融合模塊，其中，編碼器和解碼器內(nèi)設(shè)置有多尺度級聯(lián)離散小波變換結(jié)構(gòu)，子網(wǎng)絡(luò)內(nèi)設(shè)置有兩個多頻帶特征增強(qiáng)模塊、多頻帶分解注意力模塊和多頻帶選擇特征融合模塊，且多頻帶分解注意力模塊設(shè)置于兩個多頻帶特征增強(qiáng)模塊和多頻帶特征增強(qiáng)模塊之間。

11、作為對其進(jìn)一步的改進(jìn)，所述多尺度級聯(lián)離散小波變換結(jié)構(gòu)引入離散小波變換和逆離散小波變換，在每一級離散小波變換卷積塊后插入一個未池化的conv+relu卷積塊，對于最后一個離散小波變換卷積塊的最后一層采用conv對殘差結(jié)果進(jìn)行預(yù)測。

12、作為對其進(jìn)一步的改進(jìn)，所述步驟b中，離散小波變換卷積塊將作為噪聲圖像的原始圖像分解為低頻子帶、水平高頻子帶、垂直高頻子帶和對角線高頻子帶的組合，以便逆離散小波變換卷積塊能夠完全重建目標(biāo)圖像。

13、作為對其進(jìn)一步的改進(jìn)，所述原始圖像分解的方法為：由低通濾波器和高通濾波器組成的haar小波分解輸入原始圖像y；

14、

15、其中，fll為低通濾波器，flh、fhl和fhh為三個高通濾波器；

16、所述目標(biāo)圖像重建的方法為：

17、fdwt(y)＝[(fll*y)↓2,(flh*y)↓2,(fhl*y)↓2,(fhh*y)↓2]

18、＝[yll,ylh,yhl,yhh]；

19、y＝fidwt(yll,ylh,yhl,yhh)；

20、其中，fdwt(·)表示離散小波變換卷積塊計算，fidwt(·)表示逆離散小波變換卷積塊計算，*為卷積運算，↓2為采樣因子為2的標(biāo)準(zhǔn)下采樣。

21、作為對其進(jìn)一步的改進(jìn)，所述多頻帶特征增強(qiáng)模塊為一個雙支路四層殘差密集塊，前面每層的輸出使用跳躍連接與當(dāng)前層的輸出相連，并輸入到下一層；在多頻帶特征增強(qiáng)模塊高頻子帶支路中，采用小的卷積核；在多頻帶特征增強(qiáng)模塊低頻子帶支路中，采用大的卷積核；每個卷積層均去除了批次歸一化和池化，只保留了激活函數(shù)relu。

22、作為對其進(jìn)一步的改進(jìn)，所述步驟c中，具體方法為：

23、將高頻子帶和低頻子帶的特征輸入多頻帶特征增強(qiáng)模塊中，

24、高頻子帶特征圖經(jīng)過conv和relu運算后得到高頻特征圖，融合高頻特征圖后得到高頻局部特征圖；再將高頻局部特征圖和高頻子帶輸入的特征進(jìn)行逐像素相加后輸出；

25、同理，低頻子帶特征圖經(jīng)過conv和relu運算后得到低頻特征圖，融合低頻特征圖后得到低頻局部特征圖；再將低頻局部特征圖和低頻子帶輸入的特征進(jìn)行逐像素相加后輸出。

26、作為對其進(jìn)一步的改進(jìn)，所述步驟d中，

27、多頻帶分解注意力模塊將多頻帶特征增強(qiáng)模塊增強(qiáng)后的高頻子帶中的水平、垂直和對角線分量的絕對值作為權(quán)重，并加入增強(qiáng)后的低頻子帶分量來獲得新的特征，通過捕捉沿水平、垂直和對角線方向的方向信息，構(gòu)造三個紋理特征。

28、作為對其進(jìn)一步的改進(jìn)，所述步驟e中，具體包括：

29、多頻帶選擇特征融合模塊接收來自多個攜帶不同尺度子帶信息的輸入，并將這些多尺度特征用一個像素級和組合為l；

30、然后，將l的空間維度上進(jìn)行全局平均池化，得到通道元素特征向量s；通道元素特征向量s經(jīng)過卷積層來生成一個特征向量z；特征向量z通過四個并行的通道放大卷積層得到多尺度特征描述子v1、v2、v3和v4，每個描述子的維度為1×1×c；應(yīng)用函數(shù)產(chǎn)生v1、v2、v3和v4對應(yīng)的注意力激活算子s1、s2、s3和s4，這些激活算子用來自適應(yīng)地重新校準(zhǔn)多尺度特征l2、l3和l4；特征重新校準(zhǔn)和聚集以獲得輸出特征圖of。

31、同時，本發(fā)明通過下述技術(shù)方案解決上述問題：

32、一種級聯(lián)離散小波多頻帶分解注意力圖像去噪裝置，其特征在于，包括多尺度級聯(lián)離散小波變換結(jié)構(gòu)、多頻帶特征增強(qiáng)模塊、多頻帶分解注意力模塊和多頻帶選擇特征融合模塊，其中，多頻帶特征增強(qiáng)模塊包括兩個，分別為第一多頻帶特征增強(qiáng)模塊和第二多頻帶特征增強(qiáng)模塊，第一多頻帶特征增強(qiáng)模塊、多頻帶分解注意力模塊、第二多頻帶特征增強(qiáng)模塊和多頻帶選擇特征融合模塊依次設(shè)置；

33、所述多尺度級聯(lián)離散小波變換結(jié)構(gòu)，用于接收噪聲圖像，對輸入的噪聲圖像進(jìn)行多尺度的級聯(lián)離散小波變換和卷積塊操作，以提取多個尺度下的高低頻帶特征圖；并將多頻帶選擇特征融合模塊融合后的高低頻帶特征圖經(jīng)過卷積塊和逆離散小波變換得到殘差圖像，將殘差圖像與輸入的噪聲圖像相加得到去噪后的圖像；

34、所述第一多頻帶特征增強(qiáng)模塊，與多尺度級聯(lián)離散小波變換結(jié)構(gòu)相連接，用于將多尺度級聯(lián)離散小波變換結(jié)構(gòu)提取到的多個尺度下的高低頻帶特征圖送入圖像去噪網(wǎng)絡(luò)的子網(wǎng)絡(luò)中每一級，以增強(qiáng)高低頻帶特征圖的全局和局部的關(guān)鍵特征信息，抑制噪聲；

35、所述多頻帶分解注意力模塊，與第一多頻帶特征增強(qiáng)模塊相連接，用于將第一多頻帶特征增強(qiáng)模塊增強(qiáng)后的高低頻帶特征圖經(jīng)過多頻帶分解注意力評估紋理細(xì)節(jié)成的分重要性，并加權(quán)不同頻帶的噪聲特征；

36、所述第二多頻帶特征增強(qiáng)模塊，與多頻帶分解注意力模塊相連接，用于通過多頻帶選擇特征融合來增強(qiáng)多頻帶分解注意力模塊處理后的高低頻帶特征圖的選擇性特征，提高對于不同尺度噪聲的去除能力；

37、所述多頻帶選擇特征融合模塊，與第二多頻帶特征增強(qiáng)模塊相連接，用于對第二多頻帶特征增強(qiáng)模塊處理后的高低頻帶特征圖進(jìn)行融合。

38、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點及有益效果：

39、本發(fā)明的圖像去噪方法由于更深入地挖掘了高頻信息、關(guān)注了圖像的全局和局部信息、并在去除噪聲的同時保留更多文字細(xì)節(jié)等，使其平均psnr結(jié)果明顯優(yōu)于目前所采用的圖像去噪方法，可以產(chǎn)生更清晰的紋理細(xì)節(jié)，而且沒有產(chǎn)生模糊，恢復(fù)后的圖像保留了更多的紋理細(xì)節(jié)信息；還能夠在保持圖像特征紋理的同時降低噪聲，且保留了邊緣信息，具有更好的視覺效果。