本發(fā)明涉及圖像融合增強領(lǐng)域，尤其涉及一種應(yīng)用于低分辨率手持式紅外熱成像設(shè)備的基于可見光和紅外雙波段的圖像融合增強方法。

背景技術(shù)：

隨著傳感器技術(shù)的發(fā)展，用于成像的傳感器種類日益增多。由于成像機理、工作波段和工作環(huán)境等因素的不同，不同類型的傳感器對同一目標或場景進行成像時，其獲取到的目標或場景信息存在差異。對于用戶來說，這些差異性信息往往都是有益的。紅外探測器和ccd可見光傳感器是應(yīng)用最為廣泛的兩類成像傳感器。紅外探測器主要通過接收場景中目標向外輻射或者反射出來的紅外輻射進行成像，其對煙霧具有一定程度的穿透能力，且在光照條件較差情況下仍具有較好的目標探測能力，但其所成的紅外圖像對比度低，細節(jié)表現(xiàn)能力較差；ccd可見光傳感器主要利用物體的反射特性成像，其獲得的可見光圖像內(nèi)容豐富，細節(jié)紋理清晰，空間分辨率較高，但在光照條件差時，其成像質(zhì)量將受到嚴重影響。對于低分辨率手持式紅外熱成像設(shè)備，探測器的像元數(shù)有限，其輸出的紅外圖像常常存在邊緣模糊，細節(jié)難以分辨問題，這嚴重制約了紅外熱成像技術(shù)在軍事和民用領(lǐng)域的應(yīng)用，限制了紅外熱成像設(shè)備向著高性能便攜化方向發(fā)展?？梢姽夂图t外雙波段圖像融合技術(shù)綜合了兩種圖像的特征數(shù)據(jù)，實現(xiàn)信息互補，并通過最終的合成圖像得到關(guān)于目標或場景更加可靠，更加準確，更加全面的描述?，F(xiàn)有圖像融合技術(shù)多使用基于小波變換、輪廓波變換、多分辨率分解等理論的方法，其原理復雜，很難在實際的硬件平臺上加以實現(xiàn)，且實現(xiàn)以后的實時化問題也需多加考慮。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，提供一種可見光和紅外雙波段的圖像融合增強方法，其能夠補償探測器分辨率不足對輸出圖像視覺質(zhì)量的影響，簡化圖像融合規(guī)則，在保證融合圖像質(zhì)量的基礎(chǔ)上，較大程度地提高融合速度。

為了解決上述問題，本發(fā)明提供了一種可見光和紅外雙波段的圖像融合增強方法，包括如下步驟：(a)針對同一目標場景，利用可見光傳感器和紅外探測器分別采集原始可見光圖像和原始紅外圖像；(b)對采集到的原始可見光圖像和原始紅外圖像分別進行預處理；(c)對預處理后的可見光圖像和紅外圖像進行配準；(d)利用基于拉普拉斯金字塔分解的融合方法對配準后的圖像進行圖像融合。

進一步，在步驟(b)中，所述原始紅外圖像預處理包括兩點校正、盲元補償和中值濾波。

進一步，對于兩點校正后的輸出圖像，逐一判斷其每一像元的灰度值與該像元鄰域像素灰度值均值的差值是否大于預先設(shè)定的閾值，差值大于預先設(shè)定的閾值的像元定為盲元，盲元位置確定后，通過5×5窗口大小的中值濾波方式實現(xiàn)盲元替換。

進一步，在步驟(b)后，進一步包括一對預處理后的紅外圖像采用平臺直方圖均衡化方法進行增強的步驟。

進一步，在增強步驟后，進一步包括使用最大最小值線性映射法，將紅外圖像像素值從14bits數(shù)據(jù)轉(zhuǎn)換成8bits數(shù)據(jù)。

進一步，在增強步驟后，使用雙線性插值算法將可見光圖像與紅外圖像的尺寸大小設(shè)置成一致。

進一步，在步驟(d)中，圖像融合包括如下步驟：(d1)提取可見光圖像的細節(jié)；(d2)紅外圖像的拉普拉斯金字塔多尺度分解；(d3)將紅外圖像拉普 拉斯金字塔的底層圖像與可見光圖像的細節(jié)圖像進行融合；(d4)重構(gòu)融合圖像。

進一步，在步驟(d)之后，包括一對可見光圖像和紅外圖像融合后的圖像做偽彩色處理的步驟。

進一步，所述偽彩色處理采用的是灰度級—彩色變換法，通過建立灰度圖像的灰度級與彩色空間中各種色彩之間的映射關(guān)系，將灰度圖像轉(zhuǎn)化成彩色圖像。

本發(fā)明的一優(yōu)點在于，構(gòu)建一種應(yīng)用于低分辨率手持式紅外熱成像設(shè)備的基于可見光和紅外雙波段圖像融合增強dse(doublespetralbandsenhancement)方法，可見光圖像和紅外圖像進行融合，綜合兩種圖像的特征數(shù)據(jù)，實現(xiàn)信息互補，補償探測器分辨率不足對輸出圖像視覺質(zhì)量的影響。

本發(fā)明的另一優(yōu)點在于，采用三層拉普拉斯金字塔對紅外圖像進行塔式分解，并將底層的高頻細節(jié)圖像與從可見光圖像中提取出的細節(jié)圖像進行融合，在保留細節(jié)信息的同時，簡化融合規(guī)則，在保證融合圖像質(zhì)量的基礎(chǔ)上，可以較大幅度縮短融合處理時間，提高圖像融合速度。

本發(fā)明的另一優(yōu)點在于，本發(fā)明中提供的可見光和紅外雙波段圖像融合增強方法，不僅能得到較高質(zhì)量的融合圖像，還具有較快的融合速度，有助于低分辨率手持式紅外熱成像設(shè)備在軍事和民用領(lǐng)域的應(yīng)用，有利于便攜化高性能紅外熱成像設(shè)備發(fā)展。

附圖說明

圖1是本發(fā)明可見光和紅外雙波段的圖像融合增強方法的步驟示意圖；

圖2是利用基于拉普拉斯金字塔分解的融合方法對配準后的圖像進行圖像融合的步驟示意圖；

圖3是利用基于拉普拉斯金字塔分解的融合方法對配準后的圖像進行圖像融合的步驟示意圖；

圖4是細節(jié)提取方法的步驟示意圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明提供的可見光和紅外雙波段的圖像融合增強方法的具體實施方式做詳細說明。

圖1是本發(fā)明可見光和紅外雙波段的圖像融合增強方法的步驟示意圖。參見圖1，本發(fā)明可見光和紅外雙波段的圖像融合增強方法包括如下步驟。

步驟s10，針對同一目標場景，利用可見光傳感器和紅外探測器分別采集原始可見光圖像和原始紅外圖像。所述可見光傳感器可以為ccd傳感器，所述紅外探測器可以為紅外焦平面陣列irfpa探測器。在本具體實施方式中，針對同一目標場景，利用可見光ccd傳感器和紅外焦平面陣列irfpa探測器采集yuv格式原始可見光圖像和14bits原始紅外圖像。

步驟s11，對采集到的原始可見光圖像和原始紅外圖像分別進行預處理。

原始可見光圖像預處理過程主要涉及平滑降噪。這里，使用的是形態(tài)學濾波方法。

假定可見光圖像記為f，其尺寸大小為r×c，用3×3的十字形結(jié)構(gòu)元素a對輸入可見光圖像f反復進行開運算和閉運算，以平滑圖像降低噪聲,降噪輸出圖像記為fblur。根據(jù)可見光圖像的噪聲特征,分以下兩種情況:

(ⅰ)對于椒鹽噪聲圖像，降噪輸出圖像記為fps，則有

fps＝f·aοa

(ⅱ)對于高斯噪聲圖像，降噪輸出圖像記為fg,則有

fg＝fοa·a

其中，ο和·分別表示形態(tài)學開運算和閉運算。

將fps和fg分別乘上一個權(quán)重系數(shù)加和計算降噪后的圖像fblur，即

fblur＝λ1fps+λ2fg

權(quán)重系數(shù)λ1和λ2依據(jù)權(quán)重與對應(yīng)圖像和原圖像差值成反比的原則確定。數(shù)學表述為，

其中，k為調(diào)整系數(shù)且滿足k≥0。

原始紅外圖像預處理包括兩點校正、盲元補償和中值濾波。兩點校正采用的是通用算法，這里不再贅述。對于兩點校正后的輸出圖像，逐一判斷其每一像元的灰度值與該像元鄰域像素灰度值均值的差值是否大于預先設(shè)定的閾值，差值大于預設(shè)閾值的像元定為盲元，盲元位置確定后，通過5×5窗口大小的中值濾波方式實現(xiàn)盲元替換。

為了提高紅外圖像的對比度，預處理結(jié)束后，使用平臺直方圖均衡化方法對其進行增強。平臺直方圖均衡化方法采用的是通用算法，這里不再贅述。增強處理完成后再使用最大最小值線性映射法，將紅外圖像像素值從14bits數(shù)據(jù)轉(zhuǎn)換成8bits數(shù)據(jù)。

假定在像素值轉(zhuǎn)換步驟中，經(jīng)平臺直方圖均衡化方法增強處理后的14bits紅外圖像灰度范圍為[rmin,rmax]，8bits輸出圖像的動態(tài)范圍為[smin,smax]，則r到s的線性變換公式為：

由于映射關(guān)系中用到了rmin和rmax，即輸入圖像灰度的最大值和最小值，因此該方法被稱為最大最小值線性映射法。對于8bits輸出數(shù)據(jù)，smin和smax分別對應(yīng)0和255，這樣，灰度變換的增益和偏置參數(shù)計算式為：

最后的變換公式為：

s＝gain·r+offset

由于可見光圖像和紅外圖像尺寸大小存在差異，在紅外圖像和可見光圖像預處理完成后，使用雙線性插值算法將它們的尺寸大小設(shè)置成一致的。實際處理過程中，針對可見光圖像的處理只在y分量(即亮度分量)上進行，以下步驟同理。

步驟s12，對預處理后的可見光圖像和紅外圖像進行配準。

圖像配準是圖像融合的必要環(huán)節(jié)，其直接影響最終融合圖像的質(zhì)量。本發(fā)明中可見光圖像和紅外圖像采用粗配準的配準方式。通過光學和結(jié)構(gòu)設(shè)計做出的保證，使得可見光ccd傳感器和紅外焦平面陣列irfpa探測器的成像視場接近一致，即完成可見光圖像和紅外圖像的粗配準。

步驟s13，利用基于拉普拉斯金字塔分解的融合方法對配準后的圖像進行圖像融合。

圖2及圖3是利用基于拉普拉斯金字塔分解的融合方法對配準后的圖像進行圖像融合的步驟示意圖，參見圖2及圖3，步驟s13的具體方法包括如下步 驟：

步驟s21，提取可見光圖像的細節(jié)。

由于成像機理方面的差異，相比于可見光圖像，紅外圖像通常具有較低的對比度。對于低分辨率的手持式紅外熱成像設(shè)備，其輸出的紅外圖像在視覺感觀上常常表現(xiàn)得較為模糊，邊緣細節(jié)部分尤其嚴重。為了提高融合圖像在細節(jié)方面的表現(xiàn)能力，在對可見光圖像和紅外圖像進行融合之前，先提取可見光圖像的細節(jié)，形成細節(jié)圖。假定可見光圖像記為f，其尺寸大小為r×c，圖4給出了細節(jié)提取方法的步驟示意圖，參見圖4，提取可見光圖像的細節(jié)的具體實現(xiàn)步驟如下：

步驟s40，形態(tài)學濾波降噪。

用3×3的十字形結(jié)構(gòu)元素a對輸入可見光圖像f反復進行開運算和閉運算，以平滑圖像降低噪聲,降噪輸出圖像記為fblur。根據(jù)可見光圖像的噪聲特征,分以下兩種情況:

(ⅰ)對于椒鹽噪聲圖像，降噪輸出圖像記為fps，則有

fps＝f·aοa

(ⅱ)對于高斯噪聲圖像，降噪輸出圖像記為fg,則有

fg＝fοa·a

其中，ο和·分別表示形態(tài)學開運算和閉運算。

將fps和fg分別乘上一個權(quán)重系數(shù)加和計算降噪后的圖像fblur，即

fblur＝λ1fps+λ2fg

權(quán)重系數(shù)λ1和λ2依據(jù)權(quán)重與對應(yīng)圖像和原圖像差值成反比的原則確定。數(shù)學表述為，

其中，k為調(diào)整系數(shù)且滿足k≥0。

步驟s41，計算形態(tài)學梯度。

由于結(jié)構(gòu)元素對與其同方向的細節(jié)信息較為敏感，而與其方向不同的細節(jié)信息則會被平滑掉，因此本發(fā)明采用不同走向的結(jié)構(gòu)元素來檢測多個方向的邊緣細節(jié)。將結(jié)構(gòu)元素b分解成4個含有方向信息的結(jié)構(gòu)元素，即b＝b1∪b2∪b3∪b4。其中，

定義一種具有方向估計的形態(tài)學梯度gm，其幅值gm和方向θ計算式如下，

其中，(i＝1,2,3,4)為對應(yīng)于結(jié)構(gòu)元素bi的膨脹腐蝕型梯度，和分別為形態(tài)學膨脹和腐蝕運算表示符，ωi為加權(quán)系數(shù)且滿足

步驟s42，閾值比較及非極大值抑制。

閾值th根據(jù)形態(tài)學梯度的均值進行選取，數(shù)學公式描述為，

式中，α為固定常數(shù)。

為了確定邊緣細節(jié)，必須保留局部梯度極大值點，因此沿著形態(tài)學梯度方向?qū)μ荻确颠M行非極大值抑制。即當gm(x,y)＞th時，則(x,y)處像素點為邊緣點，反之，則為非邊緣點。

步驟s43，輸出細節(jié)圖像。

經(jīng)閾值比較和非極大值抑制后的邊緣圖像即為可見光圖像的細節(jié)圖，記為fdetail。

步驟s22，紅外圖像的拉普拉斯金字塔多尺度分解。

金字塔分解是多尺度分析常用的方法。拉普拉斯金字塔是在高斯金字塔的基礎(chǔ)上構(gòu)建的。令g0表示原始圖像，它位于金字塔的最底層(第0層)。高斯金字塔的第l層表示為gl，將第l-1層圖像與窗口函數(shù)ω卷積后的圖像再做隔行隔列下采樣處理，即可以得到第l層圖像。層間運算用函數(shù)reduce表示，數(shù)學公式具體表述為，

gl＝reduce(gl-1)

其中，ω是一個二維的5×5的窗口函數(shù)，作高斯加權(quán)處理，其具有低通特性；1≤l≤n，0≤i＜rl，0≤j＜cl，n為分解出的金字塔總的層數(shù)，rl，cl分別為高斯金字塔第l層圖像的行數(shù)和列數(shù)。

拉普拉斯金字塔可以通過對上述高斯金字塔作進一步的處理獲得。將高斯金字塔的第l層圖像gl進行內(nèi)插放大，得到圖像其與第l-1層圖像gl-1在尺寸大小上保持一致，這個處理過程用函數(shù)expand表示，即

假設(shè)lpl表示拉普拉斯金字塔的第l層圖像，則lpl為高斯金字塔的第l層圖像gl減去其上一層圖像gl+1經(jīng)內(nèi)插放大后的圖像有

依據(jù)上式，可以由高斯金字塔得到拉普拉斯金字塔的每一層圖像。根據(jù)拉普拉斯金字塔的構(gòu)建過程可知，原始圖像經(jīng)過逐層分解后，形成多層的高頻細節(jié)圖像和頂層的低頻逼近圖像，且處在金字塔的層數(shù)越高，相應(yīng)層圖像包含的高頻分量越少。

用拉普拉斯金字塔分解法來對紅外圖像進行多尺度分解，分解出的金字塔形圖像共3層,從下到上，依次記為底層圖像lpbottom、中層圖像lpmiddle和頂層圖像lptop。

步驟s23，將紅外圖像拉普拉斯金字塔的底層圖像與可見光圖像的細節(jié)圖像進行融合。

由于紅外圖像經(jīng)拉普拉斯金字塔多尺度分解后的底層圖像lpbottom多為高頻細節(jié)信息，因此將其與可見光圖像的細節(jié)圖像fdetail進行融合，以在最后的融合圖像中盡可能的保留可見光圖像和紅外圖像當中的細節(jié)信息。本發(fā)明選用簡單 加權(quán)法作為融合規(guī)則，即可見光圖像的細節(jié)圖和紅外圖像拉普拉斯金字塔分解出的底層圖像融合后的圖像為virdetail，則有，

virdetail＝lpbottom+α·fdetail

其中，α表示權(quán)重，實際融合過程中α值取2。

步驟s24，重構(gòu)融合圖像。

拉普拉斯金字塔可完全表示源圖像，從拉普拉斯金字塔的構(gòu)建過程，逆向可重構(gòu)出源圖，且重構(gòu)出的源圖是唯一的。從分解的拉普拉斯金字塔圖像重構(gòu)出源圖像的過程數(shù)學描述如下，

其中，分解出的金字塔總的層數(shù)n取2。記重構(gòu)的融合圖像為virfusion，由上式，g2＝lptop，對g2執(zhí)行內(nèi)插放大，即expand操作，得到圖像。將圖像與lpmiddle圖像相加，可得g1圖像，對g1圖像執(zhí)行expand操作，得到圖像。將圖像與virdetail圖像相加，得到的圖像即為重構(gòu)出的融合圖像virfusion。逆拉普拉斯金字塔分解進行圖像重構(gòu)過程中，用virdetail替代lpbottom參與運算，充分利用了可見光和紅外雙波段的成像特性，可以更好地體現(xiàn)場景中的高頻細節(jié)信息。

在步驟s13之后，進一步包括一步驟s14，對可見光圖像和紅外圖像融合后的圖像做偽彩色處理。

鑒于人眼能夠區(qū)分的灰度等級只有幾十種，能分辨的色彩卻多達幾千種，本發(fā)明對可見光圖像和紅外圖像融合后的圖像再做偽彩色處理，進一步地增強其視覺效果。偽彩色處理采用的是灰度級—彩色變換法，通過建立灰度圖像的灰度級與彩色空間中各種色彩之間的映射關(guān)系，將灰度圖像轉(zhuǎn)化成彩色圖像。

根據(jù)色度學原理，紅綠藍三基色按照適當?shù)谋壤梢院铣扇魏我环N色彩。令f(x,y)表示灰度圖像的灰度值，r(x,y)、g(x,y)、b(x,y)分別為偽彩色圖像的紅、綠、藍三色分量的數(shù)值?；叶燃墶噬儞Q法可表述為，

r(x,y)＝tr{f(x,y)}

g(x,y)＝tg{f(x,y)}

b(x,y)＝tb{f(x,y)}

其中，tr{f(x,y)}、tg{f(x,y)}、tb{f(x,y)}分別表示紅綠藍三色分量值與灰度值之間的變換關(guān)系。為了加快處理速度，具體操作過程中，通過查找顏色色表的方式完成灰度值到顏色值的變換。

本發(fā)明一實施例采用本發(fā)明可見光和紅外雙波段圖像融合增強方法對水杯進行了處理?？梢钥闯?，由于融合了可見光圖像當中的細節(jié)信息，采用本發(fā)明圖像融合增強方法處理后的水杯圖像細節(jié)更加清晰，相反，僅采用紅外圖像加偽彩色處理后的水杯圖像的水杯的邊緣部分顯得較為模糊，水杯后的欄桿甚至無法分辨。本發(fā)明中的可見光和紅外雙波段圖像融合增強方法，可以大大改善紅外圖像的視覺效果。對于低分辨率的手持式紅外熱成像設(shè)備，該方法可以看作是對探測器分辨率不足做的一個補償。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。