本發(fā)明涉及圖像處理，尤其涉及一種利用mamba的紅外與可見(jiàn)光圖像融合方法。

背景技術(shù)：

1、圖像融合技術(shù)作為一種匯聚多種信息源以強(qiáng)化圖像清晰度、豐富信息層次并促進(jìn)更深層次圖像分析與操作的策略，在計(jì)算機(jī)視覺(jué)、醫(yī)療成像和遙感等多個(gè)科技領(lǐng)域取得了顯著進(jìn)展。特別值得一提的是，通過(guò)融合紅外與可見(jiàn)光圖像的特性，實(shí)現(xiàn)了跨光譜信息的協(xié)同效應(yīng)，極大地提升了物體檢測(cè)與識(shí)別能力，增強(qiáng)了圖像的整體質(zhì)量。這為低光照乃至夜間條件下的監(jiān)控活動(dòng)提供了更為敏銳的觀察力，確保了目標(biāo)追蹤的高度精確性。因此，該技術(shù)在偵察行動(dòng)中的隱蔽性和準(zhǔn)確性、安全監(jiān)控系統(tǒng)的智能化部署、生態(tài)環(huán)境的高靈敏度監(jiān)測(cè)以及諸多其他潛在領(lǐng)域等方面，展現(xiàn)出了巨大的應(yīng)用潛力與戰(zhàn)略?xún)r(jià)值。

2、目前，圖像融合技術(shù)主要分為兩大類(lèi)：傳統(tǒng)方法與深度學(xué)習(xí)驅(qū)動(dòng)的方法。傳統(tǒng)融合技術(shù)面臨著信息損失、融合效果不理想、對(duì)人工特征選擇的依賴(lài)以及較高的計(jì)算成本等問(wèn)題。相比之下，基于深度學(xué)習(xí)的方法能夠直接從原始數(shù)據(jù)中提取特征表示，更有效地捕捉圖像內(nèi)部的復(fù)雜結(jié)構(gòu)。這些模型憑借其卓越的泛化能力，能夠適應(yīng)各種場(chǎng)景、光線(xiàn)條件和目標(biāo)類(lèi)型，從而提高了融合策略的靈活性和魯棒性。利用深度學(xué)習(xí)架構(gòu)，可以自適應(yīng)地學(xué)習(xí)不同圖像頻段之間的關(guān)聯(lián)與權(quán)重分布，實(shí)現(xiàn)動(dòng)態(tài)圖像融合，進(jìn)而提高融合輸出的一致性和質(zhì)量。正因?yàn)槿绱?，基于深度學(xué)習(xí)的圖像融合策略逐漸成為研究熱點(diǎn)。這些策略大致可分為：卷積神經(jīng)網(wǎng)絡(luò)(cnn)、自編碼器(ae)、生成對(duì)抗網(wǎng)絡(luò)(gan)、擴(kuò)散模型以及基于transformer的方法。然而，每種方法都有其固有的挑戰(zhàn)。首先，基于cnn的方法由于語(yǔ)義理解的局限性和固定的濾波器尺寸而犧牲了細(xì)節(jié)；ae的簡(jiǎn)單形式限制了其表達(dá)復(fù)雜特征的能力，并且高度依賴(lài)于訓(xùn)練數(shù)據(jù)。其次，gan雖然能生成高質(zhì)量圖像，但其訓(xùn)練過(guò)程往往不穩(wěn)定，且對(duì)潛在空間的操作性較差。擴(kuò)散模型面臨的挑戰(zhàn)主要是高昂的計(jì)算成本和較長(zhǎng)的訓(xùn)練周期。transformer受限于高計(jì)算復(fù)雜度和內(nèi)存消耗，并且在處理圖像位置信息方面的效率不如cnn。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種利用mamba的紅外與可見(jiàn)光圖像融合方法，以便解決或部分解決上述問(wèn)題。

2、本發(fā)明提供了一種利用mamba的紅外與可見(jiàn)光圖像融合方法，所述方法包括：

3、獲取待融合的可見(jiàn)光圖像ivi和紅外圖像iir；

4、分別將所述可見(jiàn)光圖像ivi和紅外圖像iir輸入淺層特征提取器進(jìn)行淺層特征提取，獲得淺層可見(jiàn)光圖像特征和淺層紅外圖像特征；

5、分別將所述淺層可見(jiàn)光圖像特征和所述淺層紅外圖像特征輸入各自對(duì)應(yīng)的深層特征提取器進(jìn)行深層特征提取，獲得深層可見(jiàn)光圖像特征和深層紅外圖像特征，深層特征提取器包括多個(gè)層級(jí)的并行視覺(jué)mamba模塊；

6、將所述深層可見(jiàn)光圖像特征和所述深層紅外圖像特征進(jìn)行拼接操作，并將得到的拼接圖像特征輸入特征解碼器進(jìn)行特征重構(gòu)，以獲得融合圖像if；其中，

7、所述分別將所述可見(jiàn)光圖像ivi和紅外圖像iir輸入淺層特征提取器進(jìn)行淺層特征提取，獲得淺層可見(jiàn)光圖像特征和淺層紅外圖像特征，包括：

8、分別將所述可見(jiàn)光圖像ivi和所述紅外圖像iir輸入各自特征提取路徑中的卷積模塊獲得一級(jí)可見(jiàn)光圖像特征和一級(jí)紅外圖像特征：

9、

10、其中，表示卷積模塊，其輸入通道為1，輸出通道為8；

11、分別將所述一級(jí)可見(jiàn)光圖像特征和所述一級(jí)紅外圖像特征輸入各自特征提取路徑中的第一transformer模塊，其中，在兩個(gè)第一transformer模塊之間設(shè)置有差分放大融合特征提取模塊，以在可見(jiàn)光圖像特征中融合入紅外圖像特征獲得二級(jí)可見(jiàn)光圖像特征，在紅外圖像特征中融合入可見(jiàn)光圖像特征獲得二級(jí)紅外圖像特征：

12、

13、其中，表示第一transformer模塊，其通道數(shù)為8，表示非線(xiàn)性激活函數(shù)gelu，daf2e表示差分放大融合特征提取模塊；

14、分別將所述二級(jí)可見(jiàn)光圖像特征和所述二級(jí)紅外圖像特征輸入各自特征提取路徑中的反射卷積模塊，獲得三級(jí)可見(jiàn)光圖像特征和三級(jí)紅外圖像特征：

15、

16、其中，表示反射-卷積模塊，其輸入通道為8，輸出通道為16；

17、分別將所述三級(jí)可見(jiàn)光圖像特征和所述三級(jí)紅外圖像特征輸入各自特征提取路徑中的第二transformer模塊，其中，在兩個(gè)第二transformer模塊之間設(shè)置有差分放大融合特征提取模塊，以在可見(jiàn)光圖像特征中融合入紅外圖像特征獲得四級(jí)可見(jiàn)光圖像特征，在紅外圖像特征中融合入可見(jiàn)光圖像特征獲得四級(jí)紅外圖像特征，將四級(jí)可見(jiàn)光圖像特征作為淺層可見(jiàn)光圖像特征，將四級(jí)紅外圖像特征作為淺層紅外圖像特征；

18、

19、其中，表示第二transformer模塊，其通道數(shù)為16。

20、進(jìn)一步地，所述第一transformer模塊和所述第二transformer模塊為結(jié)構(gòu)相同通道數(shù)不同的transformer模塊，transformer模塊由級(jí)聯(lián)的一個(gè)或多個(gè)多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊和門(mén)控解卷積前饋網(wǎng)絡(luò)模塊組合，其中，

21、所述多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊的操作表示為：

22、

23、其中，為多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊的輸入，為多重解卷積頭轉(zhuǎn)置注意力機(jī)制模塊的輸出，表示1×1點(diǎn)方向卷積，為查詢(xún)向量，為鍵向量，為值向量，表示一個(gè)可學(xué)習(xí)的縮放參數(shù)；

24、所述門(mén)控解卷積前饋網(wǎng)絡(luò)模塊的操作表示為：

25、

26、其中，表示門(mén)控解卷積前饋網(wǎng)絡(luò)模塊的輸入，表示門(mén)控解卷積前饋網(wǎng)絡(luò)模塊的輸出，表示1×1點(diǎn)方向卷積，(·)表示3×3深度卷積，l=0,1,2，代表歸一化操作，表示元素相乘。

27、進(jìn)一步地，分別將所述淺層可見(jiàn)光圖像特征和所述淺層紅外圖像特征輸入各自對(duì)應(yīng)的深層特征提取器進(jìn)行深層特征提取，獲得深層可見(jiàn)光圖像特征和深層紅外圖像特征，包括：

28、分別將所述淺層可見(jiàn)光圖像特征和所述淺層紅外圖像特征輸入各自特征提取路徑中的第一并行視覺(jué)mamba模塊，其中，在兩個(gè)第一并行視覺(jué)mamba模塊之間設(shè)置有通道差分放大融合特征提取模塊，以在可見(jiàn)光圖像特征中融合入紅外圖像的通道特征獲得五級(jí)可見(jiàn)光圖像特征，在紅外圖像特征中融合入可見(jiàn)光圖像的通道特征獲得五級(jí)紅外圖像特征：

29、

30、其中，表示通道差分放大融合特征提取模塊，表示第一并行視覺(jué)mamba模塊，其輸入通道為16，輸出通道為32；

31、分別將所述五級(jí)可見(jiàn)光圖像特征和所述五級(jí)紅外圖像特征輸入各自特征提取路徑中的第二并行視覺(jué)mamba模塊，其中，在兩個(gè)第二并行視覺(jué)mamba模塊之間設(shè)置有位置差分放大融合特征提取模塊，以在可見(jiàn)光圖像特征中融合入紅外圖像的位置特征獲得六級(jí)可見(jiàn)光圖像特征，在紅外圖像特征中融合入可見(jiàn)光圖像的位置特征獲得六級(jí)紅外圖像特征：

32、

33、其中，表示位置差分放大融合特征提取模塊，表示第二并行視覺(jué)mamba模塊，其輸入通道為32，輸出通道為64；

34、分別將所述六級(jí)可見(jiàn)光圖像特征和所述六級(jí)紅外圖像特征輸入各自特征提取路徑中的第三并行視覺(jué)mamba模塊，其中，在兩個(gè)第三并行視覺(jué)mamba模塊之間設(shè)置有角落差分放大融合特征提取模塊，以在可見(jiàn)光圖像特征中融合入紅外圖像的角落特征獲得七級(jí)可見(jiàn)光圖像特征，在紅外圖像特征中融合入可見(jiàn)光圖像的角落特征獲得七級(jí)紅外圖像特征：

35、

36、其中，表示角落差分放大融合特征提取模塊，表示第三并行視覺(jué)mamba模塊，其輸入通道為64，輸出通道為128；

37、其中，所述第一并行視覺(jué)mamba模塊、第二并行視覺(jué)mamba模塊和第三并行視覺(jué)mamba模塊為結(jié)構(gòu)相同通道數(shù)不同的并行視覺(jué)mamba模塊。

38、進(jìn)一步地，所述并行視覺(jué)mamba模塊用于完成如下操作：

39、

40、

41、

42、其中，代表split運(yùn)算，n表示pvim的層級(jí)，n∈[1,3]，表示輸入特征，表示被劃分的1/n的特征，表示mamba運(yùn)算，代表調(diào)整因子，表示連接運(yùn)算，表示投影運(yùn)算。

43、進(jìn)一步地，所述差分放大融合特征提取模塊包括級(jí)聯(lián)的特征融合子模塊和差分放大子模塊，其中，

44、所述特征融合子模塊用于完成如下操作：

45、

46、

47、其中，表示元素加法運(yùn)算，表示元素乘法運(yùn)算，表示拼接運(yùn)算；表示第k級(jí)可見(jiàn)光圖像特征提取過(guò)程中并行視覺(jué)mamba模塊輸出的中間特征，表示第k級(jí)紅外圖像特征提取過(guò)程中并行視覺(jué)mamba模塊輸出的中間特征；或，表示第k級(jí)可見(jiàn)光圖像特征提取過(guò)程中transformer模塊輸出的中間特征，第k級(jí)紅外圖像特征提取過(guò)程中transformer模塊輸出的中間特征；表示進(jìn)行特征融合后的第k級(jí)可見(jiàn)光圖像的中間特征，表示進(jìn)行特征融合后的第k級(jí)紅外圖像的中間特征；

48、所述差分放大子模塊用于完成如下操作：

49、

50、

51、其中，表示進(jìn)行差分放大后的第k級(jí)可見(jiàn)光圖像的中間特征，表示進(jìn)行差分放大后的第k級(jí)紅外圖像的中間特征。

52、進(jìn)一步地，通道差分放大融合特征提取模塊包括級(jí)聯(lián)的特征融合子模塊、差分放大子模塊和通道加權(quán)模塊，所述通道加權(quán)模塊用于完成如下操作：

53、

54、其中，表示進(jìn)行通道加權(quán)后的第五級(jí)可見(jiàn)光圖像的中間特征，表示進(jìn)行通道加權(quán)后的第五級(jí)紅外圖像的中間特征，表示sigmoid激活函數(shù)，其中它將每個(gè)元素都?jí)嚎s到?(0,?1)，h和w分別表示特征的高度和寬度，i表示特征中的行索引，j表示特征中的列索引；

55、所述五級(jí)可見(jiàn)光圖像特征表示為：

56、

57、所述五級(jí)紅外圖像特征表示為：

58、。

59、進(jìn)一步地，位置差分放大融合特征提取模塊包括級(jí)聯(lián)的特征融合子模塊、差分放大子模塊和位置加權(quán)模塊，所述位置加權(quán)模塊用于完成如下操作：

60、

61、其中，表示進(jìn)行位置加權(quán)后的第六級(jí)可見(jiàn)光圖像的中間特征，表示進(jìn)行位置加權(quán)后的第六級(jí)紅外圖像的中間特征，表示sigmoid激活函數(shù)，其中它將每個(gè)元素都?jí)嚎s到?(0,?1)，w表示特征的寬度，i表示特征中的行索引，j表示特征中的列索引；

62、所述六級(jí)可見(jiàn)光圖像特征表示為：

63、

64、所述六級(jí)紅外圖像特征表示為：

65、。

66、進(jìn)一步地，角落差分放大融合特征提取模塊包括級(jí)聯(lián)的特征融合子模塊、差分放大子模塊和角落加權(quán)模塊，所述角落加權(quán)模塊用于完成如下操作：

67、

68、其中，表示進(jìn)行角落加權(quán)后的第七級(jí)可見(jiàn)光圖像的中間特征，表示進(jìn)行角落加權(quán)后的第七級(jí)紅外圖像的中間特征，b和c分別為樣本和通道的索引，i表示特征中的行索引，j表示特征中的列索引，rows和cols分別為角的行位置和列位置；

69、所述七級(jí)可見(jiàn)光圖像特征表示為：

70、

71、所述七級(jí)紅外圖像特征表示為：

72、。

73、進(jìn)一步地，所述二級(jí)可見(jiàn)光圖像特征表示為：

74、

75、所述二級(jí)紅外圖像特征表示為：

76、

77、所述四級(jí)可見(jiàn)光圖像特征表示為：

78、

79、所述四級(jí)紅外圖像特征表示為：

80、?。

81、本技術(shù)提供的一種利用mamba的紅外與可見(jiàn)光圖像融合方法，該方法構(gòu)建了一個(gè)混合型特征編碼器，該編碼器結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（cnn）的局部特征提取優(yōu)勢(shì)與transformer的全局注意力機(jī)制，實(shí)現(xiàn)了對(duì)淺層特征的有效捕獲。在此基礎(chǔ)上，設(shè)計(jì)了一套深層的特征編碼器，依托并行視覺(jué)mamba架構(gòu)，進(jìn)一步增強(qiáng)了特征表示的能力。綜合多種公開(kāi)數(shù)據(jù)集的廣泛實(shí)驗(yàn)結(jié)果顯示，本發(fā)明在定性與定量評(píng)估方面均顯著優(yōu)于多種現(xiàn)有先進(jìn)方法。此外，本發(fā)明展現(xiàn)出了強(qiáng)大的泛化能力，能夠在無(wú)需額外微調(diào)的情況下適應(yīng)各種分辨率的紅外與可見(jiàn)光圖像融合任務(wù)。

82、上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。