本申請涉及圖像處理，尤其涉及基于約束對齊的圖像融合方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、圖像特征融合可以獲取更加準(zhǔn)確、全面、具有更高質(zhì)量的影像信息。圖像融合技術(shù)涉及將多個來源的圖像信息通過特定的算法進(jìn)行整合，以生成一個新的圖像。這種技術(shù)可以彌補單一傳感器獲取的圖像信息的不足，提供更豐富的細(xì)節(jié)和更高的圖像質(zhì)量。

2、現(xiàn)有的雙目圖像特征融合方法主要是直接通道concat或者直接像素add兩種方式。這兩種特征融合方式都忽略了不同模態(tài)圖像之間特征空間分布的差異性，在特征交互過程中可能會導(dǎo)致某種模態(tài)特征信息丟失，或者融合后的特征偏向于某單一模態(tài)的特征，從而導(dǎo)致特征融合效果不佳。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝嘶诩s束對齊的圖像融合方法、裝置、設(shè)備及存儲介質(zhì)，用于解決現(xiàn)有圖像融合方式太過簡單，容易忽略不同模態(tài)圖像差異性，可能會導(dǎo)致圖像信息丟失，圖像融合效果欠佳的技術(shù)問題。

2、有鑒于此，本申請第一方面提供了基于約束對齊的圖像融合方法，包括：

3、基于sknet對目標(biāo)可見光圖像和目標(biāo)近紅外光圖像進(jìn)行感知關(guān)聯(lián)特征提取，得到可見光特征圖和近紅外光特征圖；

4、通過自動編碼器基于模態(tài)差異性約束將所述可見光特征圖和所述近紅外光特征圖映射至低維潛特征空間，得到可見光模態(tài)圖和近紅外光模態(tài)圖；

5、在所述低維潛特征空間，根據(jù)結(jié)構(gòu)相似性損失函數(shù)對所述可見光模態(tài)圖和所述近紅外光模態(tài)圖進(jìn)行對齊融合，得到目標(biāo)融合特征圖。

6、優(yōu)選地，所述基于sknet對目標(biāo)可見光圖像和目標(biāo)近紅外光圖像進(jìn)行感知關(guān)聯(lián)特征提取，得到可見光特征圖和近紅外光特征圖，包括：

7、從目標(biāo)可見光圖像提取可見光特征圖，同時采用sknet提取所述目標(biāo)可見光圖像的通道感知注意力；

8、依據(jù)所述通道感知注意力對目標(biāo)近紅外光圖像進(jìn)行特征提取，得到近紅外光特征圖。

9、優(yōu)選地，所述通過自動編碼器基于模態(tài)差異性約束將所述可見光特征圖和所述近紅外光特征圖映射至低維潛特征空間，得到可見光模態(tài)圖和近紅外光模態(tài)圖，包括：

10、采用自動編碼器將所述可見光特征圖和所述近紅外光特征圖映射至低維潛特征空間，生成可見光映射圖和近紅外映射圖；

11、通過模態(tài)差異性約束對所述可見光映射圖和所述近紅外映射圖進(jìn)行模態(tài)約束處理，得到可見光模態(tài)圖和近紅外光模態(tài)圖。

12、優(yōu)選地，所述在所述低維潛特征空間，根據(jù)結(jié)構(gòu)相似性損失函數(shù)對所述可見光模態(tài)圖和所述近紅外光模態(tài)圖進(jìn)行對齊融合，得到目標(biāo)融合特征圖，之后還包括：

13、將所述目標(biāo)融合特征圖輸入預(yù)設(shè)活體檢測器中進(jìn)行類別分析，得到活體類別檢測結(jié)果。

14、本申請第二方面提供了基于約束對齊的圖像融合裝置，包括：

15、特征提取單元，用于基于sknet對目標(biāo)可見光圖像和目標(biāo)近紅外光圖像進(jìn)行感知關(guān)聯(lián)特征提取，得到可見光特征圖和近紅外光特征圖；

16、約束映射單元，用于通過自動編碼器基于模態(tài)差異性約束將所述可見光特征圖和所述近紅外光特征圖映射至低維潛特征空間，得到可見光模態(tài)圖和近紅外光模態(tài)圖；

17、對齊融合單元，用于在所述低維潛特征空間，根據(jù)結(jié)構(gòu)相似性損失函數(shù)對所述可見光模態(tài)圖和所述近紅外光模態(tài)圖進(jìn)行對齊融合，得到目標(biāo)融合特征圖。

18、優(yōu)選地，所述特征提取單元，具體用于：

19、從目標(biāo)可見光圖像提取可見光特征圖，同時采用sknet提取所述目標(biāo)可見光圖像的通道感知注意力；

20、依據(jù)所述通道感知注意力對目標(biāo)近紅外光圖像進(jìn)行特征提取，得到近紅外光特征圖。

21、優(yōu)選地，所述約束映射單元，具體用于：

22、采用自動編碼器將所述可見光特征圖和所述近紅外光特征圖映射至低維潛特征空間，生成可見光映射圖和近紅外映射圖；

23、通過模態(tài)差異性約束對所述可見光映射圖和所述近紅外映射圖進(jìn)行模態(tài)約束處理，得到可見光模態(tài)圖和近紅外光模態(tài)圖。

24、優(yōu)選地，還包括：

25、分類檢測單元，用于將所述目標(biāo)融合特征圖輸入預(yù)設(shè)活體檢測器中進(jìn)行類別分析，得到活體類別檢測結(jié)果。

26、本申請第三方面提供了基于約束對齊的圖像融合設(shè)備，所述設(shè)備包括處理器以及存儲器；

27、所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

28、所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行第一方面所述的基于約束對齊的圖像融合方法。

29、本申請第四方面提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行第一方面所述的基于約束對齊的圖像融合方法。

30、從以上技術(shù)方案可以看出，本申請實施例具有以下優(yōu)點：

31、本申請中，提供了基于約束對齊的圖像融合方法，包括：基于sknet對目標(biāo)可見光圖像和目標(biāo)近紅外光圖像進(jìn)行感知關(guān)聯(lián)特征提取，得到可見光特征圖和近紅外光特征圖；通過自動編碼器基于模態(tài)差異性約束將可見光特征圖和近紅外光特征圖映射至低維潛特征空間，得到可見光模態(tài)圖和近紅外光模態(tài)圖；在低維潛特征空間，根據(jù)結(jié)構(gòu)相似性損失函數(shù)對可見光模態(tài)圖和近紅外光模態(tài)圖進(jìn)行對齊融合，得到目標(biāo)融合特征圖。

32、本申請?zhí)峁┑幕诩s束對齊的圖像融合方法，將不同模態(tài)的圖像提取特征之后，通過自主編碼器按照基于模態(tài)差異性約束將其映射到低維潛特征空間中，然后進(jìn)行基于約束的對齊處理，使得不同模態(tài)的圖像能在同一空間中具備相似的特征空間分布，考慮到了不同模態(tài)圖像的特征差異性，也能夠在一定程度上避免信息丟失，所以可以確保圖像融合的效果。因此，本申請能夠解決現(xiàn)有圖像融合方式太過簡單，容易忽略不同模態(tài)圖像差異性，可能會導(dǎo)致圖像信息丟失，圖像融合效果欠佳的技術(shù)問題。

技術(shù)特征：

1.基于約束對齊的圖像融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于約束對齊的圖像融合方法，其特征在于，所述基于sknet對目標(biāo)可見光圖像和目標(biāo)近紅外光圖像進(jìn)行感知關(guān)聯(lián)特征提取，得到可見光特征圖和近紅外光特征圖，包括：

3.根據(jù)權(quán)利要求1所述的基于約束對齊的圖像融合方法，其特征在于，所述通過自動編碼器基于模態(tài)差異性約束將所述可見光特征圖和所述近紅外光特征圖映射至低維潛特征空間，得到可見光模態(tài)圖和近紅外光模態(tài)圖，包括：

4.根據(jù)權(quán)利要求1所述的基于約束對齊的圖像融合方法，其特征在于，所述在所述低維潛特征空間，根據(jù)結(jié)構(gòu)相似性損失函數(shù)對所述可見光模態(tài)圖和所述近紅外光模態(tài)圖進(jìn)行對齊融合，得到目標(biāo)融合特征圖，之后還包括：

5.基于約束對齊的圖像融合裝置，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的基于約束對齊的圖像融合裝置，其特征在于，所述特征提取單元，具體用于：

7.根據(jù)權(quán)利要求5所述的基于約束對齊的圖像融合裝置，其特征在于，所述約束映射單元，具體用于：

8.根據(jù)權(quán)利要求5所述的基于約束對齊的圖像融合裝置，其特征在于，還包括：

9.基于約束對齊的圖像融合設(shè)備，其特征在于，所述設(shè)備包括處理器以及存儲器；

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)用于存儲程序代碼，所述程序代碼用于執(zhí)行權(quán)利要求1-4任一項所述的基于約束對齊的圖像融合方法。

技術(shù)總結(jié)
本申請公開了基于約束對齊的圖像融合方法、裝置、設(shè)備及存儲介質(zhì)，方法包括：基于SKNet對目標(biāo)可見光圖像和目標(biāo)近紅外光圖像進(jìn)行感知關(guān)聯(lián)特征提取，得到可見光特征圖和近紅外光特征圖；通過自動編碼器基于模態(tài)差異性約束將可見光特征圖和近紅外光特征圖映射至低維潛特征空間，得到可見光模態(tài)圖和近紅外光模態(tài)圖；在低維潛特征空間，根據(jù)結(jié)構(gòu)相似性損失函數(shù)對可見光模態(tài)圖和近紅外光模態(tài)圖進(jìn)行對齊，得到可見光對齊圖和近紅外光對齊圖；融合可見光對齊圖和近紅外光對齊圖，得到目標(biāo)融合特征圖。本申請能解決現(xiàn)有圖像融合方式太過簡單，容易忽略不同模態(tài)圖像差異性，可能會導(dǎo)致圖像信息丟失，圖像融合效果欠佳的技術(shù)問題。

技術(shù)研發(fā)人員：徐志通,陳書楷,楊奇
受保護的技術(shù)使用者：廈門熵基科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23