本發(fā)明屬于紅外圖像處理領域，具體為一種雙模態(tài)紅外圖像差異特征指數測度的多算法融合方法。

背景技術：

紅外偏振與光強成像分別利用紅外線的偏振和強度屬性探測目標，兩種模態(tài)圖像具有很強的互補性，將其進行融合，能夠更全面的描述目標信息，進一步增強系統(tǒng)的探測能力。然而紅外偏振與光強圖像間包括亮度、細節(jié)、邊緣和輪廓等差異特征，單一融合算法很難實現多種差異特征融合，因此，將優(yōu)勢性能互補的不同融合算法相結合，有利于亮度、細節(jié)、邊緣和輪廓等差異特征保留，減少信息損失，成為紅外偏振與光強圖像融合研究熱點。

目前，紅外偏振與光強圖像多算法融合主要通過變換域間融合算法組合、多個融合算法結果以權重的形式相結合、通過設定目標函數將不同融合圖像優(yōu)化得到最終結果等類型實現亮度、細節(jié)、邊緣與輪廓等差異特征融合。但是，當前多算法融合存在以下問題：(1)沒有同時依據圖像間亮度、細節(jié)、邊緣和輪廓等多種差異特征選擇算法，算法間互補性不強，如：非下采樣剪切波與稀疏表示相結合主要考慮不同變換域間對細節(jié)特征融合上的互補性，不利于亮度、輪廓等特征融合；(2)缺乏可靠的融合算法權重確定依據，難以保證圖像間各差異特征較完整地保留到融合圖像中，如：以圖像間某一差異特征(對比度、邊緣或紋理等)為目標函數對多個融合結果優(yōu)化或為權重依據得到最終結果，會造成圖像間其它差異特征在融合中被嚴重削弱。因此，如何將紅外偏振與光強圖像的高亮度、多細節(jié)、清晰度高的邊緣和輪廓特征同時保留到融合圖像中是多算法融合方法急需解決的問題。

技術實現要素：

本發(fā)明為解決現有紅外偏振與光強圖像多算法融合不能同時保留源圖像的高亮度、多細節(jié)、清晰度高的邊緣和輪廓等特征上的問題，造成融合效果差的問題，提出一種雙模態(tài)紅外圖像差異特征指數測度的多算法融合方法，根據差異特征類型選擇算法，提高各融合算法間的互補性；建立了指數型差異特征測度，準確度量了差異特征幅值；以差異特征指數測度為基礎，通過對差異特征測度去相關處理確定算法權重，明確各算法融合結果在最終融合圖像中的比重，防止過多損失圖像特征、過飽和，最終實現多算法融合同時保留紅外偏振與光強圖像的高亮度、多細節(jié)、清晰度高的邊緣和輪廓等特征的融合，顯著提高多算法融合的融合效果。

本發(fā)明是采用如下的技術方案實現的：一種雙模態(tài)紅外圖像差異特征指數測度的多算法融合方法，包括以下步驟：

S1：選擇紅外偏振與光強圖像間差異特征，選擇的差異特征包括亮度、細節(jié)、邊緣和輪廓；

S2：利用局部能量取大算法(MEV)融合兩類圖像間亮度差異特征；利用非下采樣剪切波融合算法(NSST)實現對兩類圖像間細節(jié)差異特征融合；采用多尺度引導濾波算法(MGST)融合兩類圖像間邊緣和輪廓差異特征；

S3：采用滑動窗分別計算紅外偏振與光強圖像的局部均值、局部拉普拉斯能量和局部標準差；

S4：分別計算各差異特征指數測度：

式中ΔT_BS、ΔT_ES和ΔT_DS分別為亮度差異特征指數測度、細節(jié)差異特征指數測度、輪廓和邊緣差異特征指數測度，為紅外光強圖像局部均值，為紅外偏振圖像局部均值,為紅外偏振圖像局部拉普拉斯能量值，紅外光強圖像局部拉普拉斯能量值，δ_PI為紅外偏振與光強圖像聯合標準差值，為紅外偏振圖像局部標準差，為紅外光強圖像局部標準差；

S5：構建亮度差異特征、細節(jié)差異特征及邊緣和輪廓差異特征指數測度協方差矩陣，計算協方差矩陣的特征值和特征矢量，將最大特征值對應的特征矢量作為融合權重；

S6：利用S5中確定的融合權重對S2中三種融合結果加權求和，得到最終融合圖像。

本發(fā)明與現有技術相比具有以下優(yōu)點：

(1)本發(fā)明提出一種差異特征幅值度量方法——差異特征指數測度。根據各差異特征指數測度大小決定各算法參與融合的權重，客觀、準確的反映了各算法融合結果在最終融合圖像中所占比例，實現了融合圖像保留源圖像的高亮度、多細節(jié)、清晰度高的邊緣和輪廓等特征。

(2)根據紅外偏振與光強圖像間差異特征類型，選擇參與融合的算法，使各融合算法的互補性和目的性更強，實現了多算法融合方法同時融合紅外偏振與光強圖像的高亮度、多細節(jié)、清晰度高的邊緣和輪廓等特征。

附圖說明

圖1為本發(fā)明的流程圖。

圖2為簡單場景下紅外偏振度圖像和紅外光強圖像，P1為紅外偏振度圖像，I1為紅外光強圖像。

圖3為復雜場景下紅外偏振度圖像和紅外光強圖像，P2為紅外偏振度圖像，I2為紅外光強圖像。

圖4為NSST、NSST-SWT-PCA、MEV-MGST-NSST加權平均和本發(fā)明的融合方法對圖2的融合圖像，(a)為NSST融合圖像，(b)為MEV-MGST-NSST加權平均融合圖像，(c)為NSST-SWT-PCA融合圖像,(d)為本發(fā)明融合圖像。

圖5為NSST、NSST-SWT-PCA、MEV-MGST-NSST加權平均和本發(fā)明的融合方法對圖3的融合圖像，(a)為NSST融合圖像，(b)為MEV-MGST-NSST加權平均融合圖像，(c)為NSST-SWT-PCA融合圖像,(d)為本發(fā)明融合圖像。

圖6為圖4得到的融合圖像分別與紅外偏振圖像和紅外光強圖像的差值圖，(c)為紅外偏振圖像，(c1)為NSST融合圖像與圖(d)差值圖，(c2)為MEV-MGST-NSST融合圖像與圖(d)差值圖，(c3)為NSST-SWT-PCA加權平均融合圖像與圖(d)差值圖，(c4)為本發(fā)明融合圖像與圖(d)差值圖，(d)為紅外光強圖像，(d1)為NSST融合圖像與圖(c)差值圖，(d2)為MEV-MGST-NSST加權平均融合圖像與圖(c)差值圖，(d3)NSST-SWT-PCA為融合圖像與圖(c)差值圖，(d4)為本發(fā)明融合圖像與圖(c)差值圖。

圖7為圖5得到的融合圖像分別與紅外偏振圖像和紅外光強圖像的差值圖，(c)為紅外偏振圖像，(c1)為NSST融合圖像與圖(d)差值圖，(c2)為MEV-MGST-NSST加權平均融合圖像與圖(d)差值圖，(c3)為NSST-SWT-PCA融合圖像與圖(d)差值圖，(c4)為本發(fā)明融合圖像與圖(d)差值圖，(d)為紅外光強圖像，(d1)為NSST融合圖像與圖(c)差值圖，(d2)為MEV-MGST-NSST加權平均融合圖像與圖(c)差值圖，(d3)為NSST-SWT-PCA融合圖像與圖(c)差值圖，(d4)為本發(fā)明融合圖像與圖(c)差值圖。

具體實施方式

參照圖1的流程圖，以圖2和圖3所示紅外偏振與光強圖像為研究對象，進行實驗。

一種雙模態(tài)紅外圖像差異特征指數測度的多算法融合方法，包括以下步驟：

S1：通過對紅外偏振與光強圖像間亮度、結構和紋理等特征進行對比分析，本例中選擇的紅外偏振與光強圖像間差異特征主要類型為：亮度、細節(jié)、邊緣和輪廓差異特征；

S2：依據圖像局部能量能夠較好提取圖像的亮度特征，選擇局部能量取大融合算法融合S1中亮度差異特征；根據非下采樣剪切波變換能夠很好提取圖像細節(jié)特征的特性，選取非下采樣剪切波算法融合S1中細節(jié)差異特征；根據以邊緣保持濾波和金字塔分解為核心的多尺度引導濾波變換具有保持圖像邊緣和輪廓的特性，選擇多尺度引導濾波算法融合S1中的邊緣和輪廓差異特征；本例中多尺度引導濾波算法的融合規(guī)則為：低頻子帶圖像加權平均，高頻子帶圖像絕對值取大，三種融合算法融合圖像分別為F₁、F₂和F₃。

S3：分別計算紅外偏振與光強圖像的局部均值、局部拉普拉斯能量、局部標準差，具體步驟如下：

S31：采用3×3的滑動窗口計算圖像局部均值，L_BS為圖像局部均值。

S32：計算圖像的局部拉普拉斯能量，公式如下：

式中ω為拉普拉斯能量模板，L_EOL為圖像的拉普拉斯能量。

S33：采用3×3的滑動窗口計算圖像局部標準差，L_DS為圖像局部標準差；同時計算紅外偏振與光強圖像間局部聯合標準差，δ_XY為圖像局部聯合標準差，公式如下：

式中X和Y表示圖像，μ_X和μ_Y為圖像局部均值，m和n為滑動窗口尺寸。

S4：計算紅外偏振與光強圖像間亮度差異特征指數測度、細節(jié)差異特征指數測度、邊緣和輪廓差異特征指數測度，如式

S5：計算三種融合算法權重，其步驟如下：

S51：構建差異特征指數測度協方差矩陣，如下式：式中Y＝[ΔT_BSΔT_ESΔT_DS]，為Y的轉置，C為差異特征指數測度矢量的協方差矩陣。

S52：計算協方差矩陣特征值和特征向量。

S53：取協方差矩陣最大特征值對應的矢量作為三種融合算法權重。

S6：計算最終融合圖像：

式中和分別為最大特征值對應特征矢量的第一、第二和第三個值。

圖4和圖5可以看出本發(fā)明方法融合圖像質量明顯優(yōu)于NSST、NSST-SWT-PCA和MEV-MGST-NSST加權平均方法融合圖像，整體視覺效果最好，同時保留了紅外偏振與光強圖像高亮度區(qū)域以及多細節(jié)、具有清晰度高的邊緣和輪廓特征的部分。如：圖4(d)中車頭的邊緣和背景中的植物和建筑的亮度、細節(jié)和輪廓最為清晰，整體視覺效果最好；圖5(d)中車的側窗和前窗很好的保留了紅外偏振與光強圖像間的亮度、輪廓差異特征。

為了更加直觀的說明本發(fā)明融合方法較其它兩種方法在保留源圖像的亮度、細節(jié)、邊緣和輪廓特征上的優(yōu)勢，將融合后的圖像與源圖像作差，從圖6和圖7中可以看到本發(fā)明方法融合圖像保留了紅外光強圖像的亮度、輪廓特征和紅外偏振圖像的細節(jié)和邊緣特征，其它融合方法的融合圖像信息損失較多，對亮度、細節(jié)、邊緣和輪廓差異特征融合效果相對較差，如：圖6(d1)～圖6(d3)和圖7(d1)～圖7(d3)的亮度同源紅外光強圖像相比存在較大差異，說明其它三種融合算法在融合中過多損失了紅外光強圖像的亮度特征；圖6(c1)～圖6(c3)和圖7(c1)～圖7(c3)中的車輪邊緣、側面車窗輪廓、及背景中建筑物和樹木的邊緣和細節(jié)同源紅外偏振圖像相比存在較大差異，過多損失了紅外偏振圖像的細節(jié)、邊緣和輪廓特征；

本發(fā)明用灰度均值(U)、空間頻率(SF)、標準差(ST)和相關性差異(R_AB/F)作為融合方法評價標準，灰度均值反映了圖像亮度的大小，值越大說明圖像越亮；空間頻率反映了圖像信息的豐富程度，值越大說明圖像包含的細節(jié)越多；標準差反映了圖像邊緣和輪廓特征，值越大說明圖像邊緣和輪廓越清晰；R_AB/F反映了圖像間的相似程度，值越大說明融合圖像同源圖像越相似。從表1和表2中可以看到，本發(fā)明融合圖像灰度均值最高，且圖像無過飽和現象，說明本發(fā)明方法融合圖像保留了源圖像間亮度差異特征；本發(fā)明方法融合圖像的空間頻率和標準差指標最高，說明融合圖像包含的細節(jié)最多，邊緣和輪廓最為清晰，且相關性差異和指標均明顯高于其它三種融合算法，說明本發(fā)明方法同時保留了紅外偏振與光強圖像間亮度、細節(jié)、邊緣和輪廓等差異特征，明顯減少了信息損失，這與差值圖所反映的情況一致；客觀評價可以得出，本發(fā)明方法在提高融合圖像視覺效果、減少兩類圖像信息損失上具有較強的優(yōu)勢。

表1 P1和I1融合圖像評價指標

表2 P2和I2融合圖像評價指標