本發(fā)明涉及一種nsct域圖像融合方法，特別涉及一種基于增補機制和pcnn的nsct域圖像融合方法。

背景技術(shù)：

由于成像機理和技術(shù)限制，單一成像傳感器獲取的圖像并不能反映被觀測對象的所有特征，因此需要對不同傳感器圖像中的有用信息進行提取，并融合成一副具備更完整信息，并有助于人類觀察和處理的圖像。

圖像融合技術(shù)可以綜合兩種不同類型圖像的互補信息，它不是簡單地對不同類型圖像進行疊加處理，通過融合得到的圖像具備兩種圖像各自的優(yōu)點，克服了單一傳感器在應(yīng)用環(huán)境、使用范圍以及特定目標獲取上存在的局限性，同時還能夠提高圖像的空間分辨率和清晰度，便于圖像的理解和識別，有效地提高圖像數(shù)據(jù)的利用率。圖像融合技術(shù)不僅能夠去除多傳感器圖像數(shù)據(jù)間的冗余信息，減少傳輸量，減輕觀察者的觀測壓力，還能夠獲得關(guān)于同一場景或目標全面而精確的地理空間信息，因此在軍事或民用領(lǐng)域的應(yīng)用中，圖像融合具有非常重要的研究價值。

近年來，針對圖像的融合，已經(jīng)有大量的圖像融合算法被相繼提出，其中基于多尺度分析的圖像融合算法從多尺度金字塔變換開始，經(jīng)由小波變換，ridgelet變換，curvelet變換等一系列算法發(fā)展，已取得了良好的融合效果。2006年，minh.n.do等人提出非下采樣輪廓波變換(nonsubsampledcontourlet，nsct)，nsct是在contourlet變換的基礎(chǔ)上引入非下采樣思想，保證了分解過程中的平移不變性，解決了傳統(tǒng)算法在圖像分解時的信號頻譜混疊問題，獲得了漸進最優(yōu)的圖像分析結(jié)果。在此基礎(chǔ)上，國內(nèi)外學(xué)者們相繼提出了不少行之有效的新算法，但大多數(shù)融合圖像紋理細節(jié)缺失、失真和目標顯著性等問題難點仍然沒有得到完全解決。

文獻“基于補償機制的nsct域紅外與可見光圖像融合，儀器儀表學(xué)報,2016,37(4):861-870”公開了一種基于補償機制的nsct域紅外與可見光圖像融合方法，該方法采用nsct變換對紅外與可見光圖像分別進行分解，得到低頻子帶和高頻子帶，對低頻子帶進行小波變換，利用合適的融合規(guī)則對對小波變換的子帶進行融合，將其變換得到的子帶重構(gòu)作為nsct重構(gòu)的低頻子帶，接著將nsct變換的高頻子帶的最高層利用絕對值取大方法，其它層利用pcnn方法進行融合，然后將得到的低頻子帶和高頻子帶進行nsct重構(gòu)獲得融合后的圖像。文獻所述方法得到融合后圖像對比度較低，可將光圖像的背景細節(jié)信息丟失，無法體現(xiàn)源圖像的紋理信息，并且融合圖像部分區(qū)域存在一定的扭曲與失真現(xiàn)象。

技術(shù)實現(xiàn)要素：

為了克服現(xiàn)有nsct域圖像融合方法存在圖像失真現(xiàn)象的不足，本發(fā)明提供一種基于增補機制和pcnn的nsct域圖像融合方法。該方法采用增補的小波變換對nsct分解的低頻子帶進行融合處理，以便盡可能多的保留圖像背景的細節(jié)信息；利用改進的高斯加權(quán)sml的方法進行融合來增強圖像細節(jié)；利用邊緣梯度信息激勵pcnn的方法進行融合來增強圖像邊緣信息；實驗證明本發(fā)明方法與現(xiàn)有的圖像融合方法相比具有更好的融合效果，在對克服圖像的紋理細節(jié)缺失、失真不足的同時，目標顯著性得到很大的提高，進一步提高了圖像質(zhì)量。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案：一種基于增補機制和pcnn的nsct域圖像融合方法，其特點是包括以下步驟：

步驟一、對已配準的待融合圖像a和b分別進行nsct分解，得到各自的nsct系數(shù)和其中為a圖像第j尺度下第k個方向的nsct高頻子帶系數(shù)，l^a為a圖像的nsct低頻系數(shù)，為b圖像第j尺度下第k個方向的nsct高頻子帶系數(shù)，l^b為b圖像的nsct低頻系數(shù)，j表示nsct分解尺度，j＝1，2，λ，j，其中j為最大分解尺度，k表示分解尺度j下的分解方向數(shù)，滿足k＝2^j。

步驟二、按融合規(guī)則對步驟一得到的圖像a和b各自的nsct系數(shù)和進行融合，得到融合后的nsct系數(shù)，融合規(guī)則為：

a.nsct低頻子帶系數(shù)融合策略。

對nsct分解的低頻子帶進行增補機制的小波變換分解的低頻部分采用局部加權(quán)區(qū)域能量進行融合。計算以像素點(i,j)為中心，大小為3×3窗口區(qū)域局部加權(quán)能量定義如下式：

式中sl(i,j)表示低頻圖像點(i,j)的灰度，ωl(x,y)為局部區(qū)域窗口，表示卷積，l表示待融合圖像，步驟一中a＝vi,b＝ir,vi是可見光圖像，ir是紅外圖像。圖像中的目標物體在紅外圖像中的局部鄰域能量比其在可見光圖像中的局部鄰域能量大，低頻子帶融合規(guī)則如下式所示：

式中，

式中，分別是第l層第k個方向?qū)?yīng)低頻子帶融合系數(shù)、紅外圖像和可見光圖像的低頻子帶系數(shù)，分別是第l層第k個方向?qū)?yīng)紅外圖像和可見光圖像的局部區(qū)域加權(quán)能量，分別是第l層第k個方向?qū)?yīng)紅外圖像和可見光圖像的局部區(qū)域加權(quán)能量的平均值。ω1為權(quán)重系數(shù)，為圖像信息熵，m為圖像總的灰度級數(shù)，pi＝mi/m為圖像中像素灰度值為i的概率，k1，k2為圖像權(quán)重系數(shù)，取k1＝5，k2＝1.6。

由于拉普拉斯分量絕對和sml能夠較好的反映圖像邊緣、紋理等細節(jié)信息并且能表示圖像的銳化度和清晰度，利用改進的高斯加權(quán)sml對增補小波變換分解后的三個方向子帶系數(shù)分別進行融合。

設(shè)經(jīng)過二維小波變換分解后第l層第k個方向的方向子帶系數(shù)為h^l,k，sml定義如下：

ml^l,k(i,j)＝-h^l,k(i-1,j-1)-4h^l,k(i-1,j)-h^l,k(i-1,j+1)

-4h^l,k(i,j-1)+20h^l,k(i,j)-4h^l,k(i,j+1)

-h^l,k(i+1,j-1)-4h^l,k(i+1,j)-h^l,k(i+1,j+1)(8)

式中采用3×3窗口，采用式(7)計算的sml認為窗口內(nèi)所有點對sml的貢獻一致，無法突出中心的的重要性。采用高斯函數(shù)對ml加權(quán)求和，高斯函數(shù)滿足強調(diào)中心像素以及距離中心像素越近的像素權(quán)值越大的要求，歸一化后權(quán)值之和為1。高斯函數(shù)計算公式如下式所示：

其中σ表示方差。

改進的高斯加權(quán)sml如下所示：

其中，權(quán)值函數(shù)是按式(9)取值，表示卷積。

引入圖像區(qū)域銳化度比率，定義如下：

其中,

式中：j＝vi,ir，m×n表示圖像的區(qū)域大小，rrs^vi,ir表示待融合圖像vi和ir的區(qū)域銳化度比率，mean^j表示圖像的均值，std^j表示圖像的方差。

結(jié)合不同譜段源圖像的方向子帶細節(jié)信息，利用加權(quán)組合的方式融合方向子帶系數(shù)。設(shè)源圖像的方向子帶系數(shù)為則融合后的系數(shù)為及權(quán)值分別如式(14)、式(15)

b.nsct高頻子帶系數(shù)融合策略。

對nsct高頻子帶最高層融合：

在圖像最高層尺度n上采用改進的高斯加權(quán)sml。

對nsct高頻子帶其它層融合：

對nsct高頻子帶其它層采用改進的脈沖神經(jīng)網(wǎng)絡(luò)pcnn的圖像融合規(guī)則。設(shè)改進的pcnn的迭代次數(shù)為n，隨著迭代次數(shù)的增加，各pcnn中外部刺激輸入較大的神經(jīng)元點火次數(shù)將會明顯增加。完成n次迭代后統(tǒng)計各nsct變換分解子圖像每個像素的點火次數(shù)，根據(jù)點火次數(shù)的大小來選擇融合圖像系數(shù)，然后經(jīng)過nsct逆變換得到融合圖像。而人眼對邊緣信息更敏感，邊緣梯度信息能更好地代表圖像特征。邊緣梯度信息為

式中，d是以位置(i,j)為中心的周圍鄰域窗為3×3，對每個子帶以滑動窗口為單位計算邊緣梯度系數(shù)。c(i,j)是像素經(jīng)過nsct變換后對應(yīng)點(i,j)的系數(shù)。

在pcnn中，其數(shù)學(xué)表達式如下：

fij(n)＝sij(17)

uij(n)＝fij(n)(1+βlij(n))(19)

tij＝tij(n-1)+yij(n)(22)

式中：fij表示第(i,j)個神經(jīng)元的反饋輸入，lij表示第(i,j)個神經(jīng)元的連接輸入項，β為突觸之間的連接強度，θij為第(i,j)個神經(jīng)元的動態(tài)門限閾值，uij為第(i,j)個神經(jīng)元的內(nèi)部活動項。yij為第(i,j)個神經(jīng)元的脈沖輸出，tij為迭代之后第(i,j)個神經(jīng)元的點火總次數(shù)，yij,pq為第(i,j)個神經(jīng)元的鄰域神經(jīng)元(p,q)的脈沖輸出，n為迭代次數(shù)，sij為第(i,j)個神經(jīng)元的外部輸入刺激信號，wij,pq為第(i,j)個神經(jīng)元的連接矩陣中第p行q列元素，αl、αθ分別為連接輸入衰減系數(shù)和閾值衰減系數(shù)，vl、vθ分別為連接幅值和閾值幅值。

由式(17)～(22)得出，改進型pcnn模型有4個參數(shù)β、αθ、vθ、w。其中w表示的是兩個像素間距離平方的導(dǎo)數(shù)，神經(jīng)元ij和神經(jīng)元pq的連接權(quán)重為：

改進的pcnn圖像融合過程如下：

[1].利用nsct變換對紅外和可見光圖像進行分解，得到尺度n以外的其它層帶通子帶的系數(shù)和

[2].用式(16)計算邊緣梯度信息，得到圖像系數(shù)的邊緣梯度信息特征系數(shù)和用和激勵pcnn，根據(jù)式(17)～(22)流程分別得到點火次數(shù)矩陣和并采取以下融合規(guī)則對系數(shù)和進行融合處理。

步驟三、圖像重構(gòu)。

對融合圖像的各子帶系數(shù)進行nsct逆變換，得到最終的融合圖像。

本發(fā)明的有益效果是：該方法采用增補的小波變換對nsct分解的低頻子帶進行融合處理，以便盡可能多的保留圖像背景的細節(jié)信息；利用改進的高斯加權(quán)sml的方法進行融合來增強圖像細節(jié)；利用邊緣梯度信息激勵pcnn的方法進行融合來增強圖像邊緣信息；實驗證明本發(fā)明方法與現(xiàn)有的圖像融合方法相比具有更好的融合效果，在對克服圖像的紋理細節(jié)缺失、失真不足的同時，目標顯著性得到很大的提高，進一步提高了圖像質(zhì)量。

下面結(jié)合附圖和具體實施方式對本發(fā)明作詳細說明。

附圖說明

圖1是本發(fā)明基于增補機制和pcnn的nsct域圖像融合方法的流程圖。

圖2是本發(fā)明方法構(gòu)建的pcnn神經(jīng)元模型圖。

圖3是本發(fā)明方法實施例中實驗圖像數(shù)據(jù)集圖。

圖4是紅外光與可見光圖像集融合后圖像的對比圖。

具體實施方式

參照圖1-4。本發(fā)明基于增補機制和pcnn的nsct域圖像融合方法具體步驟如下：

用于實施的硬件環(huán)境是：實驗環(huán)境為cpuintelcorei5-5200u@2.20ghz，內(nèi)存為4gb，采用matlabr2014a編程。本發(fā)明采用“uncamp”圖像集(320×240)、“octec”圖像集(640×480)、“quad”圖像集(256×256)和“seascape”圖像集(256×256)4組紅外與可見光圖像集。

步驟一：對已配準的待融合圖像a和b分別進行nsct分解，得到各自的nsct系數(shù)和其中為a圖像第j尺度下第k個方向的nsct高頻子帶系數(shù)，l^a為a圖像的nsct低頻系數(shù)，為b圖像第j尺度下第k個方向的nsct高頻子帶系數(shù)，l^b為b圖像的nsct低頻系數(shù)，所述的j表示nsct分解尺度，j＝1，2，λ，j，j為最大分解尺度，k表示分解尺度j下的分解方向數(shù)，滿足k＝2^j。

步驟二：按融合規(guī)則對步驟1得到的圖像a和b各自的nsct系數(shù)和進行融合，得到融合后的nsct系數(shù)。

融合規(guī)則為：

a.nsct低頻子帶系數(shù)融合策略。

圖像經(jīng)nsct分解后得到的低頻子帶是源圖像的近似描述，包含了圖像中的大部分能力特征。本發(fā)明采用基于增補小波的nsct低頻融合規(guī)則，在一定程度上能更好的表征圖像的邊緣紋理等細節(jié)信息。

對nsct分解的低頻子帶進行增補機制的小波變換分解，得到1個低頻子帶和3個方向子帶。對低頻子帶采用局部加權(quán)區(qū)域能量進行融合，對3個方向子帶分別采用改進的高斯加權(quán)sml對三個方向子帶系數(shù)進行融合，然后進行小波重構(gòu)得到用于nsct重構(gòu)的低頻子帶。

對增補機制的小波變換分解的低頻部分采用局部加權(quán)區(qū)域能量進行融合。計算以像素點(i,j)為中心，大小為3×3窗口區(qū)域局部加權(quán)能量定義如下式(1)：

式中sl(i,j)表示低頻圖像點(i,j)的灰度，ωl(x,y)為局部區(qū)域窗口，表示卷積，l表示待融合圖像，以紅外和可見光為例，步驟1中a＝vi,b＝ir,vi是可見光圖像，ir是紅外圖像。由于圖像中的目標物體在紅外圖像中的局部鄰域能量比其在可見光圖像中的局部鄰域能量大，因此為了更好地突顯出紅外圖像中的目標物體與可見光圖像中的背景信息，本發(fā)明的低頻子帶融合規(guī)則如下式所示：

式中：

式中：分別是第l層第k個方向?qū)?yīng)低頻子帶融合系數(shù)、紅外圖像和可見光圖像的低頻子帶系數(shù)，分別是第l層第k個方向?qū)?yīng)紅外圖像和可見光圖像的局部區(qū)域加權(quán)能量，分別是第l層第k個方向?qū)?yīng)紅外圖像和可見光圖像的局部區(qū)域加權(quán)能量的平均值。ω1為權(quán)重系數(shù)，為圖像信息熵，m為圖像總的灰度級數(shù)，pi＝mi/m為圖像中像素灰度值為i的概率，k1，k2為圖像權(quán)重系數(shù)，為了突出融合后圖像的質(zhì)量效果，本發(fā)明中k1＝5，k2＝1.6。經(jīng)過二維小波變換分解后的三個方向子帶系數(shù)表示源圖像的細節(jié)信息。

由于拉普拉斯分量絕對和sml能夠較好的反映圖像邊緣、紋理等細節(jié)信息并且能表示圖像的銳化度和清晰度，本發(fā)明采用改進的高斯加權(quán)sml對三個方向子帶系數(shù)分別進行融合。

設(shè)經(jīng)過二維小波變換分解后第l層第k個方向的方向子帶系數(shù)為h^l,k，sml定義如下

采用3×3窗口，采用式(7)計算的sml認為窗口內(nèi)所有點對sml的貢獻一致，無法突出中心的的重要性。本發(fā)明采用高斯函數(shù)對ml加權(quán)求和，高斯函數(shù)滿足強調(diào)中心像素以及距離中心像素越近的像素權(quán)值越大的要求，歸一化后權(quán)值之和為1。高斯函數(shù)計算公式如下式所示：

其中σ表示方差。

改進的高斯加權(quán)sml如下所示：

其中，權(quán)值函數(shù)是按式(9)取值，表示卷積。

為了盡可能多的突出圖像的細節(jié)信息和圖像的清晰度，使融合后圖像的質(zhì)量效果達到最佳，本發(fā)明引入圖像區(qū)域銳化度比率，定義如下：

其中：

式中：j＝vi,ir，m×n表示圖像的區(qū)域大小，rrs^vi,ir表示待融合圖像vi和ir的區(qū)域銳化度比率，mean^j表示圖像的均值，std^j表示圖像的方差。

結(jié)合不同譜段源圖像的方向子帶細節(jié)信息，本發(fā)明采用加權(quán)組合的方式融合方向子帶系數(shù)。設(shè)源圖像的方向子帶系數(shù)為則融合后的系數(shù)為及權(quán)值分別如式(14)、(15)

b.nsct高頻子帶系數(shù)融合策略

在nsct分解所得的高頻子帶中，高頻系數(shù)的值表示圖像細節(jié)的變化情況，直接反映圖像中邊緣信息和紋理細節(jié)分布。為了更多的反映圖像邊緣、紋理等細節(jié)信息表示的圖像銳化度和清晰度，對nsct分解所得的高頻子帶分為其它層和最高層融合。

對nsct高頻子帶最高層融合。

在圖像最高層尺度n上采用改進的高斯加權(quán)sml，這種方法與低頻部分的小波變換分解的三個方向子帶的融合方法相同，這里不再敘述。

對nsct高頻子帶其它層融合

為了更好的提取待融合圖像的細節(jié)等信息，提高融合圖像的質(zhì)量，本發(fā)明在除最高層n以外的其它層帶通子帶，采用改進的脈沖神經(jīng)網(wǎng)絡(luò)pcnn的圖像融合規(guī)則。在改進的pcnn圖像融合算法中，點火次數(shù)較大的神經(jīng)元所對應(yīng)的像素點對應(yīng)于圖像中的顯著特征，因而可以根據(jù)神經(jīng)元的點火次數(shù)來選擇融合圖像的nsct系數(shù)。設(shè)pcnn的迭代次數(shù)為n，隨著迭代次數(shù)的增加，各pcnn中外部刺激輸入較大的神經(jīng)元點火次數(shù)將會明顯增加。完成n次迭代后統(tǒng)計各nsct變換分解子圖像每個像素的點火次數(shù)，根據(jù)點火次數(shù)的大小來選擇融合圖像系數(shù)，然后經(jīng)過nsct逆變換得到融合圖像。而人眼對邊緣信息更敏感，邊緣梯度信息能更好地代表圖像特征。邊緣梯度信息為

式中，d是以位置(i,j)為中心的周圍鄰域窗為3×3，對每個子帶以滑動窗口為單位計算邊緣梯度系數(shù)。c(i,j)是像素經(jīng)過nsct變換后對應(yīng)點(i,j)的系數(shù)。

在pcnn中，每個神經(jīng)元均由接收部分、調(diào)制部分和脈沖產(chǎn)生部分3個部分組成，其數(shù)學(xué)表達式如下：

fij(n)＝sij(17)

uij(n)＝fij(n)(1+βlij(n))(19)

tij＝tij(n-1)+yij(n)(22)

式中：fij表示第(i,j)個神經(jīng)元的反饋輸入，lij表示第(i,j)個神經(jīng)元的連接輸入項，β為突觸之間的連接強度，θij為第(i,j)個神經(jīng)元的動態(tài)門限閾值，uij為第(i,j)個神經(jīng)元的內(nèi)部活動項。yij為第(i,j)個神經(jīng)元的脈沖輸出，tij為迭代之后第(i,j)個神經(jīng)元的點火總次數(shù)，yij,pq為第(i,j)個神經(jīng)元的鄰域神經(jīng)元(p,q)的脈沖輸出，n為迭代次數(shù)，sij為第(i,j)個神經(jīng)元的外部輸入刺激信號，wij,pq為第(i,j)個神經(jīng)元的連接矩陣中第p行q列元素，αl、αθ分別為連接輸入衰減系數(shù)和閾值衰減系數(shù)，vl、vθ分別為連接幅值和閾值幅值。

由式(17)～(22)可以看出，改進型pcnn模型主要由4個參數(shù)β、αθ、vθ、w。其中w表示的是兩個像素間距離平方的導(dǎo)數(shù)，神經(jīng)元ij和神經(jīng)元pq的連接權(quán)重為：

改進的pcnn圖像融合過程如下：

[1].利用nsct變換對紅外和可見光圖像進行分解，得到尺度n以外的其它n-1層帶通子帶的系數(shù)和

[2].用式(16)計算邊緣梯度信息，得到圖像系數(shù)的邊緣梯度信息特征系數(shù)和用和激勵pcnn，根據(jù)式(17)～(22)流程分別得到點火次數(shù)矩陣和并采取以下融合規(guī)則對系數(shù)和進行融合處理。

步驟三：圖像重構(gòu)。

對融合圖像的各子帶系數(shù)進行nsct逆變換從而得到最終的融合圖像。

下面結(jié)合附圖3和附圖4對本發(fā)明的效果作進一步的描述。

附圖3是4組紅外與可見光圖像集。其中附圖3(a)是“uncamp”圖像集(320×240)，附圖3(b)是“octec”圖像集(640×480)，附圖3(c)是“quad”圖像集(256×256)，附圖3(d)是“seascape”圖像集(256×256)。

1.實驗條件。

實驗環(huán)境為cpuintelcorei5-5200u@2.20ghz，內(nèi)存為4gb，采用matlabr2014a編程。本發(fā)明采用“uncamp”圖像集(320×240)、“octec”圖像集(640×480)、“quad”圖像集(256×256)和“seascape”圖像集(256×256)4組紅外與可見光圖像集。

2.實驗內(nèi)容。

附圖4是4組紅外與可見光圖像集融合后圖像的對比圖。

實驗1，用本發(fā)明的方法和現(xiàn)有的四種融合方法對附圖3中4組紅外與可見光圖像集進行融合實驗，附圖4(a)融合結(jié)果從左及右依次是，文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753.文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84.文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227.文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.和本發(fā)明的圖像融合結(jié)果圖。

從附圖4(a)可得，本發(fā)明的融合方法與現(xiàn)有的四種融合方法相比，在灰度范圍和整體亮度上與源圖像較為匹配，視覺效果更高，目標和場景更清晰。文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753、文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84、文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227和文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.的融合方法的融合結(jié)果和本發(fā)明方法相比對比度較低，可將光圖像的背景細節(jié)信息丟失，無法體現(xiàn)源圖像的紋理信息，并且融合圖像部分區(qū)域存在一定的扭曲與失真現(xiàn)象。

實驗2，用本發(fā)明的方法和現(xiàn)有的四種融合方法對附圖3中4組紅外與可見光圖像集進行融合實驗，附圖4(b)融合結(jié)果從左及右依次是，文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753.文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84.文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227.文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.和本發(fā)明的圖像融合結(jié)果圖。

從附圖4(b)可得，本發(fā)明的融合方法與現(xiàn)有的四種融合方法相比，在灰度范圍和整體亮度上與源圖像較為匹配，視覺效果更高，目標和場景更清晰。文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753、文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84、文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227和文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.的融合方法的融合結(jié)果和本發(fā)明方法相比對比度較低，可將光圖像的背景細節(jié)信息丟失，無法體現(xiàn)源圖像的紋理信息，并且融合圖像部分區(qū)域存在一定的扭曲與失真現(xiàn)象。

實驗3，用本發(fā)明的方法和現(xiàn)有的四種融合方法對附圖3中4組紅外與可見光圖像集進行融合實驗，附圖4(c)融合結(jié)果從左及右依次是，文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753.文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84.文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227.文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.和本發(fā)明的圖像融合結(jié)果圖。

從附圖4(c)可得，本發(fā)明的融合方法與現(xiàn)有的四種融合方法相比，在灰度范圍和整體亮度上與源圖像較為匹配，視覺效果更高，目標和場景更清晰。文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753、文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84、文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227和文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.的融合方法的融合結(jié)果和本發(fā)明方法相比對比度較低，可將光圖像的背景細節(jié)信息丟失，無法體現(xiàn)源圖像的紋理信息，并且融合圖像部分區(qū)域存在一定的扭曲與失真現(xiàn)象。

實驗4，用本發(fā)明的方法和現(xiàn)有的四種融合方法對附圖3中4組紅外與可見光圖像集進行融合實驗，附圖4(d)融合結(jié)果從左及右依次是，文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753.文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84.文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227.文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.和本發(fā)明的圖像融合結(jié)果圖。

從附圖4(d)可得，本發(fā)明的融合方法與現(xiàn)有的四種融合方法相比，在灰度范圍和整體亮度上與源圖像較為匹配，視覺效果更高，目標和場景更清晰。文章《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004,32(5):750-753、文章《imagefusionbasedonanewcontourletpacket》，informationfusion,2010,11(2):78-84、文章《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227和文章《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.的融合方法的融合結(jié)果和本發(fā)明方法相比對比度較低，可將光圖像的背景細節(jié)信息丟失，無法體現(xiàn)源圖像的紋理信息，并且融合圖像部分區(qū)域存在一定的扭曲與失真現(xiàn)象。

將本發(fā)明的融合方法與文章1《一種基于小波變換的圖像融合算法》，電子學(xué)報，2004，32(5)：750-753.文章2《imagefusionbasedonanewcontourletpacket》，informationfusion，2010，11(2)：78-84.文章3《high-qualityfusionforvisibleandinfraredimagesbasedonthedoublensct》，ieee7thinternationalcongressonimageandsignalprocessing,2014:223-227.文章4《基于補償機制的nsct域紅外與可見光圖像融合》，儀器儀表學(xué)報,2016,37(4):861-870.的融合方法在4種圖像質(zhì)量評價指標上進行比較，來客觀評價本發(fā)明的效果。5種融合方法的融合客觀評價指標如下表：

表1“uncamp”圖像集融合質(zhì)量評價指標對比

表2“octec”圖像集融合質(zhì)量評價指標對比

表3“quad”圖像集融合質(zhì)量評價指標對比

表4“seascape”圖像集融合質(zhì)量評價指標對比

ie表示信息熵，ie最大，表明本發(fā)明方法融合結(jié)果所包含的信息量最豐富；ssim表示信息結(jié)構(gòu)相似度，ssim最大，表明本發(fā)明方法融合圖像與源圖像的相似程度最大，所包含源圖像的紋理等細節(jié)信息最豐富；sd表示標準差，sd最大，則融合圖像灰度分布離散程度最大，對比度更高，且視覺效果更好；psnr表示峰值信噪比，psnr最大，反映了融合圖像失真程度最小，更加可以凸顯紅外目標，保留源圖像的更多紋理細節(jié)信息。

由以上表1～4分析可得，本發(fā)明方法融合圖像對比度高，目標信息突出，邊緣紋理等細節(jié)信息更豐富，從主客觀評價看，具有更好的融合性能，融合圖像質(zhì)量達到最佳，符合人眼視覺效果，表明了本發(fā)明所提方法的有效性。