本發(fā)明涉及圖像處理，尤其涉及一種基于擴(kuò)散模型的通用圖像融合方法及系統(tǒng)。

背景技術(shù)：

1、圖像融合是一種產(chǎn)生高質(zhì)量圖像的方法，用于將多幅具有互補(bǔ)信息的多模態(tài)或數(shù)字?jǐn)z影圖像融合成一幅圖像，以獲得更具信息量和視覺效果的融合圖像。然而現(xiàn)有的融合算法往往難以保持不同來源圖像的模態(tài)特征，導(dǎo)致融合結(jié)果中出現(xiàn)顏色失真和光暈偽影等問題。此外，對于來自不同成像設(shè)備，例如可見光、紅外、偏振相機(jī)等的圖像具有語義與模態(tài)差異，簡單地融合多源圖像不能有效地解決模態(tài)之間的不一致性。這些問題會導(dǎo)致現(xiàn)有的圖像融合算法無法適應(yīng)不同類型的圖像融合任務(wù)，并且融合效果不佳。

2、目前通用圖像融合方法主要分為兩大類：傳統(tǒng)圖像融合方法和基于數(shù)據(jù)驅(qū)動的圖像融合方法。傳統(tǒng)的融合方法強(qiáng)調(diào)定義人工設(shè)計(jì)的先驗(yàn)條件，但這些先驗(yàn)條件往往難以準(zhǔn)確表達(dá)。此外，數(shù)據(jù)驅(qū)動的方法不可避免地需要設(shè)計(jì)復(fù)雜的融合規(guī)則，特別是當(dāng)圖像來自不同的傳感器或?qū)儆诓煌I(lǐng)域的設(shè)置時(shí)。并且它們往往不能充分利用圖像中存在的全局信息。例如，現(xiàn)有的融合方法往往側(cè)重于局部特征的融合，而忽略了融合過程中域與域之間的全局信息交互。

3、可見，現(xiàn)有技術(shù)中的通用圖像融合方法存在導(dǎo)致顏色失真和光暈偽影，并且缺乏全局信息的跨域交互的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于擴(kuò)散模型的通用圖像融合方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中的通用圖像融合方法存在導(dǎo)致顏色失真和光暈偽影，并且缺乏全局信息的跨域交互的問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明通過如下的技術(shù)方案來實(shí)現(xiàn)：

3、第一方面，本發(fā)明提供一種基于擴(kuò)散模型的通用圖像融合方法，包括：

4、s1：構(gòu)建在潛在空間下基于馬爾可夫鏈的擴(kuò)散模型，所述擴(kuò)散模型包括一個(gè)前向加噪過程與一個(gè)反向去噪過程；

5、s2：依據(jù)所述擴(kuò)散模型將圖像融合任務(wù)表示為一個(gè)基于擴(kuò)散模型的后驗(yàn)采樣模型，得到圖像融合公式；

6、s3：建立網(wǎng)絡(luò)結(jié)構(gòu)，基于所述網(wǎng)絡(luò)結(jié)構(gòu)求解所述圖像融合公式以得到最后的圖像融合結(jié)果。

7、第二方面，本申請?zhí)峁┮环N基于擴(kuò)散模型的通用圖像融合系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述第一方面所述方法的步驟。

8、有益效果：

9、本發(fā)明提供的基于擴(kuò)散模型的通用圖像融合方法，通過建立基于擴(kuò)散模型的圖像融合公式，將圖像融合任務(wù)表示為一個(gè)后驗(yàn)采樣模型。然后建立基于unet結(jié)構(gòu)的潛在擴(kuò)散模型，該模型在融合圖像重建的解碼過程中保留了來自原始輸入的高分辨率信息。并且構(gòu)建基于transformer模型的擴(kuò)散主干，有效地集成來自不同源圖像的潛在特征，以實(shí)現(xiàn)跨域交互，從而獲得更具信息量和視覺效果的融合圖像。

技術(shù)特征：

1.一種基于擴(kuò)散模型的通用圖像融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于擴(kuò)散模型的通用圖像融合方法，其特征在于，所述s1包括：

3.根據(jù)權(quán)利要求1所述的基于擴(kuò)散模型的通用圖像融合方法，其特征在于，所述s2包括：

4.根據(jù)權(quán)利要求1所述的基于擴(kuò)散模型的通用圖像融合方法，其特征在于，所述建立網(wǎng)絡(luò)結(jié)構(gòu)包括：

5.根據(jù)權(quán)利要求4所述的基于擴(kuò)散模型的通用圖像融合方法，其特征在于，所述確定像素空間編碼器，包括：

6.根據(jù)權(quán)利要求4所述的基于擴(kuò)散模型的通用圖像融合方法，其特征在于，所述去噪網(wǎng)絡(luò)包括一個(gè)去噪模塊與一個(gè)融合頭模塊，去噪模塊是四級的編碼器-解碼器結(jié)構(gòu)，每個(gè)階段包括多個(gè)擴(kuò)散變壓器dft，其中包括擴(kuò)散前饋網(wǎng)絡(luò)dfn、擴(kuò)散自注意機(jī)制dsa和多層感知器mlp，dfn用于捕獲不同位置的潛在特征，增強(qiáng)其表示能力，dsa用于將注意力權(quán)重分配給不同位置的潛在特征，從而捕獲像素依賴性，mlp用于通過將時(shí)間步長t作為通道尺度γ和移位參數(shù)β嵌入到dft塊中，從而將時(shí)間集成到dft塊中；

7.根據(jù)權(quán)利要求4所述的基于擴(kuò)散模型的通用圖像融合方法，其特征在于，所述構(gòu)建損失函數(shù)，包括：

8.一種基于擴(kuò)散模型的通用圖像融合系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述權(quán)利要求1至7中任一所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，公開了一種基于擴(kuò)散模型的通用圖像融合方法及系統(tǒng)，該方法通過建立基于擴(kuò)散模型的圖像融合公式，將圖像融合任務(wù)表示為一個(gè)后驗(yàn)采樣模型。然后建立基于UNet結(jié)構(gòu)的潛在擴(kuò)散模型，該模型在融合圖像重建的解碼過程中保留了來自原始輸入的高分辨率信息。并且構(gòu)建基于Transformer模型的擴(kuò)散主干，有效地集成來自不同源圖像的潛在特征，以實(shí)現(xiàn)跨域交互，從而獲得更具信息量和視覺效果的融合圖像。

技術(shù)研發(fā)人員：蔣朝輝,楊波,潘冬,余浩洋,桂衛(wèi)華,許川,董晉宗
受保護(hù)的技術(shù)使用者：中南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19