一種基于稀疏表示的紅外與可見光圖像融合方法
【專利摘要】本發(fā)明提供了一種基于稀疏表示的紅外與可見光圖像融合方法，首先對圖像進(jìn)行分塊處理，然后訓(xùn)練字典，并對兩幅源圖像分別求解其稀疏系數(shù)，然后采用模值取大規(guī)則得到融合圖像的稀疏系數(shù)，最后重構(gòu)得到融合結(jié)果圖像。本方法能夠自適應(yīng)于紅外與可見光圖像的自身特點(diǎn)，提取的源圖像表示系數(shù)具有較傳統(tǒng)方法更優(yōu)秀的稀疏性與特征保持性，更能反映信號(hào)的本質(zhì)特征與內(nèi)在結(jié)構(gòu)。因此，能有效提高紅外與可見光圖像的融合效果。
【專利說明】—種基于稀疏表示的紅外與可見光圖像融合方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像融合領(lǐng)域。
【背景技術(shù)】
[0002]紅外與可見光的圖像融合是圖像融合領(lǐng)域的重要組成部分，該技術(shù)在醫(yī)學(xué)成像、遙感成像、機(jī)器視覺、安全監(jiān)控等領(lǐng)域有廣闊的應(yīng)用前景。
[0003]目前紅外與可見光圖像的融合方法主要有:基于數(shù)字加權(quán)的方法、基于金字塔分解的方法、基于小波變換的方法以及相繼提出的基于脊波(Ridgelet)、曲波(Curvelet)、輪廓波(Contourlet)變換等的多尺度幾何分析方法。
[0004]基于數(shù)字加權(quán)的方法直接通過區(qū)域的劃分將源圖像通過加權(quán)或取大取小運(yùn)算得到融合圖像，具有方法簡單，速度快的優(yōu)點(diǎn)，但是融合結(jié)果對比度和信噪比較低，不能突出紅外圖像的目標(biāo)。從1993年P(guān)eter J.Burt等人發(fā)表在IEEE上的“Enhanced Image CaptureThrough Fusion”一文中可以看到，基于塔型分解的方法可以提高圖像整體的清晰度和信息量，但它會(huì)將無信息價(jià)值但變化幅度劇烈的大梯度值像素融合到結(jié)果中去，從而影響了圖像的融合效果。隨后，小波變換被廣泛應(yīng)用于紅外與可見光圖像融合中，由2004年GonzaloPajares 等人發(fā)表在 Pattern Recognition Society 上的 “Awavelet-based image fusiontutorial” 一文可見，其主要是通過將紅外與可見光圖像分解到不同尺度與不同方向，從而有針對性地突出圖像的重要特征與細(xì)節(jié)信息，然而，此類方法僅對信號(hào)的點(diǎn)奇異性具有良好的時(shí)空局部性特點(diǎn)，而對于圖像信號(hào)中的直線或曲線奇異性，小波系數(shù)并不是最稀疏的。由此，基于各種不同的多尺度分析工具的融合方法相繼提出，如脊波、曲波、輪廓波以及非下采樣的輪廓波(NSCT)，并取得了優(yōu)于小波變換的圖像融合效果；但此類方法的基函數(shù)是固定的，對于復(fù)雜多樣的圖像信號(hào)而言，并不是最優(yōu)的圖像表示模型。因此，近幾年，新的基于稀疏表示的圖像模型成為研究熱點(diǎn)并開始應(yīng)用于圖像融合等圖像處理領(lǐng)域。如，嚴(yán)春滿等人就于2012年在中國圖像圖形學(xué)報(bào)上發(fā)表論文“自適應(yīng)字典學(xué)習(xí)的多聚焦圖像融合”，文章針對多焦距圖像融合問題，提出一種自適應(yīng)字典學(xué)習(xí)的圖像融合方法，利用稀疏表示理論自適應(yīng)學(xué)習(xí)一組字典，對源圖像減去均值并求解其稀疏表示系數(shù)，最后按照分解系數(shù)的顯著性選擇融合系數(shù)。此方法將稀疏表示理論引入圖像融合領(lǐng)域，表現(xiàn)出了較優(yōu)越的融合效果。然而，由于其采用了去均值的處理，雖然能較好的評(píng)價(jià)圖像區(qū)域的變換程度，但是在最后融合階段仍需要加入去除的均值，因此存在信息損失問題。
[0005]如前所述，傳統(tǒng)的對于紅外與可見光圖像融合方法由于基函數(shù)是固定的，對于復(fù)雜多樣的圖像信號(hào)而言，并不是最優(yōu)的圖像表示模型。而新的基于稀疏表示的圖像模型中由于采用了去均值的處理，而存在一定的信息損失問題。

【發(fā)明內(nèi)容】

[0006]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種針對紅外與可見光圖像的基于稀疏表示的圖像融合方法:首先對圖像進(jìn)行分塊處理，然后訓(xùn)練字典，并對兩幅源圖像分別求解其稀疏系數(shù)，然后采用模值取大規(guī)則得到融合圖像的稀疏系數(shù)，最后重構(gòu)得到融合結(jié)果圖像。本方法能夠自適應(yīng)于源圖像(紅外與可見光圖像)的自身特點(diǎn)，提取的源圖像表示系數(shù)具有較傳統(tǒng)方法更優(yōu)秀的稀疏性與特征保持性，更能反映信號(hào)的本質(zhì)特征與內(nèi)在結(jié)構(gòu)。因此，能有效提高紅外與可見光圖像的融合效果。
[0007]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括以下步驟:
[0008](I)將可見光圖像與紅外圖像配準(zhǔn)后利用滑窗技術(shù)分成X Vl的小塊，將小塊排成可見光圖像塊V1及紅外圖像塊V2，構(gòu)成樣本集V = [V1, V2];所述N取為64。
[0009](2)從樣本集V中隨機(jī)取P個(gè)樣本構(gòu)成訓(xùn)練樣本V_train，訓(xùn)練樣本V_train的大小為NXP，然后隨機(jī)初始化一個(gè)大小為NXM的字典D，采用經(jīng)典的K-SVD迭代方法，用訓(xùn)練樣本V_train訓(xùn)練字典D ;所述的P = 5000。
[0010](3)用訓(xùn)練好的字典D分別求解可見光圖像塊V1及紅外圖像塊V2的稀疏分解系數(shù)，獲得可見光稀疏系數(shù)矩陣S1及紅外稀疏系數(shù)矩陣S2 ；
[0011](4)逐列比較可見光稀疏系數(shù)矩陣S1和紅外稀疏系數(shù)矩陣S2對應(yīng)位置上的列向量絕對值之和，將絕對值之和大的列向量作為融合的稀疏系數(shù)Sf對應(yīng)位置的列向量；
[0012](5)用融合的稀疏系數(shù)Sf與訓(xùn)練好的字典D的乘積實(shí)現(xiàn)塊重構(gòu)Vf = DSf,并按照步驟(I)分塊時(shí)的順序進(jìn)行排列，獲得融合結(jié)果圖像IF。
[0013]本發(fā)明的有益效果是:以稀疏字典為基礎(chǔ)，對融合源圖像分別訓(xùn)練得到稀疏系數(shù)，再通過“模值取大”規(guī)則得到融合的稀疏系數(shù)，進(jìn)而重構(gòu)融合圖像得到融合結(jié)果。融合圖像包括了可見光與紅外圖像的不同特征信息:即很好地保留了紅外圖像的目標(biāo)信息與可見光圖像的細(xì)節(jié)、輪廓等背景信息，提高了目標(biāo)的識(shí)別能力，有利于后續(xù)處理系統(tǒng)對信息的提取與使用。
【專利附圖】

【附圖說明】
[0014]圖1是本發(fā)明的圖像融合流程圖；
[0015]圖2是紅外可見光圖像及幾種方法的融合結(jié)果；其中，(a):可見光圖像；(b):紅外圖像；(c) =DffT方法；(d):GP方法；(e) =ADL方法；(f):本發(fā)明方法SR。
【具體實(shí)施方式】
[0016]下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明，本發(fā)明包括但不僅限于下述實(shí)施例。
[0017]稀疏表示
[0018]作為一種新興的圖像模型，圖像的稀疏表示其基本思想是使用超完備字典對圖像進(jìn)行稀疏表示，即，使用超完備的冗余基函數(shù)取代傳統(tǒng)的小波基與固定基函數(shù)，選擇基函數(shù)中的最佳m項(xiàng)組合完成圖像的稀疏表示，從而揭示圖像的主要結(jié)構(gòu)與本質(zhì)屬性。超完備圖像稀疏表示的基本思想最早由Mallat提出，字典中的元素稱為原子，圖像由原子的線性組合來表示。其中原子的數(shù)目比信號(hào)的維數(shù)大，由此產(chǎn)生了冗余。由于這種超完備性，就有很多表示信號(hào)的方法，其中具有最少系數(shù)(最稀疏)的表示是最簡單的，也被認(rèn)為是最優(yōu)的一種表示方法。超完備字典能使圖像信號(hào)在變換域足夠稀疏，相對于小波基或固定基，更容易對圖像進(jìn)行稀疏表示。[0019]圖像的稀疏表示可以表示為如下的形式:
[0020]mins |s| 0sub jectto | v_Ds | ^ ε (I)
[0021]其中，V e Rn為待表示圖像，D e Rnxm(N < M)是超完備字典(也稱之為超完備原子庫)，s為信號(hào)的表示，ε為逼近誤差，I I.I IciSIci范數(shù)，它表示向量中非零元素的個(gè)數(shù)。然而，當(dāng)D冗余時(shí)，問題(I)是一個(gè)NP-hard問題，許多學(xué)者已經(jīng)提出了多種有效的稀疏分解方法。最常用的方法主要有兩類，即貪婪尋蹤法和凸松馳法，貪婪尋蹤法主要有MP(匹配追蹤)，OMP (正交匹配追蹤)及它們的變體，BP (基追蹤)是最常用的凸松馳方法之一。OMP由于其簡單性和有效性得到了廣泛的應(yīng)用，它的基本思想是一次選擇一個(gè)與信號(hào)的殘余量最相關(guān)的原子(即字典矩陣的列)對信號(hào)進(jìn)行表示，直到停止條件滿足，它只需有限次迭代即可以得到最優(yōu)解。在本文中，我們將采用OMP算法進(jìn)行稀疏表示。
[0022]在紅外與可見光圖像融合領(lǐng)域，兩個(gè)關(guān)鍵問題分別是:如何有效地提取源圖像中的信息；如何融合提取出的信息。這兩個(gè)問題的解決都與如何有效地表示圖像信號(hào)有緊密的聯(lián)系。稀疏表示理論即提供了這樣一種更符合HVS (Human Visual System,人類視覺系統(tǒng))表示信號(hào)的方式，能夠用盡可能簡潔稀疏的方式表示圖像，表示系數(shù)中較少的非零分量揭示了圖像信號(hào)的主要結(jié)構(gòu)與本質(zhì)屬性，從而能為融合處理帶來很大的便利。超完備稀疏表示理論的優(yōu)越性主要得益于稀疏表示的兩點(diǎn)特性:字典的超完備性和表達(dá)系數(shù)的稀疏性。超完備性保證了字典內(nèi)容更加豐富，其中超完備字典中的原子不僅可以是傅立葉變換、小波變換，離散余弦變換、脊波、曲波、帶波、輪廓波等變換的基函數(shù)，還可以是這幾種變換基的任意組合以適應(yīng)不同類型的待處理信號(hào)。另外，超完備字典還可以根據(jù)不同的圖像類型以及不同圖像處理任務(wù)通過樣本學(xué)習(xí)得到。稀疏性使得稀疏表示能夠更加準(zhǔn)確地、自適應(yīng)地選擇與待處理信號(hào)最相關(guān)的原子，增強(qiáng)圖像融合方法的自適應(yīng)能力。
[0023]源圖像的柄疏表TK
[0024]稀疏表示作為一種優(yōu)越的信號(hào)表示工具，能夠有效地提取圖像的內(nèi)在結(jié)構(gòu)信息，但由于圖像維數(shù)通常較大，處理起來不方便，并且稀疏表示應(yīng)用于圖像時(shí)是全局性的，而圖像融合是處理圖像的局部信息，因此不能直接將其應(yīng)用于圖像融合，本發(fā)明采用滑窗技術(shù)解決這個(gè)問題。
[0025]首先，定義一個(gè)VlX V.的滑窗，按照順序?qū)⒚恳粋€(gè)源圖像I分為V瓦K Vl的圖像
塊，圖像塊對應(yīng)的向量長度與超完備字典中原子的長度相同。其次，將第k幅源圖像的所有圖像塊拉直轉(zhuǎn)化為向量，并構(gòu)造矩陣vk。進(jìn)而，用表示Vk的第j列，根據(jù)稀疏表示理論將Vk;表示為:
[0026]Vkj = I^=iSkf:m)￡lm(2)
[0027]其中，七為超完備原子庫D = W1...dm...dM]中的第m個(gè)原子。
Sk; =為稀疏系數(shù)，即，稀疏向量％為對應(yīng)的稀疏系數(shù)，進(jìn)而計(jì)算
矩陣Vk所有列向量的稀疏系數(shù)，則可以構(gòu)造稀疏矩陣sk。由此可以得到源圖像在超完備字典庫上的一組稀疏表示系數(shù)，這組稀疏表示系數(shù)由于其字典具備超完備性、表達(dá)系數(shù)具備稀疏性，因此能夠表征融合源圖像的本質(zhì)信息，為后續(xù)的融合處理帶來便利。
[0028]融合規(guī)則[0029]根據(jù)稀疏表示理論，每一個(gè)稀疏系數(shù)對應(yīng)于超完備原子庫中的一個(gè)原子。因此，源圖像稀疏表示系數(shù)的活躍度可以用對應(yīng)系數(shù)的絕對值來表示。在實(shí)際融合過程中，基于以下融合目的:最大化保留源紅外圖像的目標(biāo)信息以及可見光圖像的紋理、邊緣信息，本發(fā)明采用選擇選絕對值最大法融合紅外與可見光圖像。
[0030]首先，稀疏向量sK;表示vkr對應(yīng)的稀疏系數(shù)，稀疏向量sk;的活躍度其計(jì)算公式如下式⑶所示:
[0031]
【權(quán)利要求】
1.一種基于稀疏表示的紅外與可見光圖像融合方法，其特征在于包括下述步驟: (1)將可見光圖像與紅外圖像配準(zhǔn)后利用滑窗技術(shù)分成Vlx的小塊，將小塊排成可見光圖像塊V1及紅外圖像塊V2，構(gòu)成樣本集V = [V1, V2]； (2)從樣本集V中隨機(jī)取P個(gè)樣本構(gòu)成訓(xùn)練樣本V_train，訓(xùn)練樣本V_train的大小為NXP，然后隨機(jī)初始化一個(gè)大小為NXM的字典D，采用經(jīng)典的K-SVD迭代方法，用訓(xùn)練樣本V_train訓(xùn)練字典D ; (3)用訓(xùn)練好的字典D分別求解可見光圖像塊V1及紅外圖像塊V2的稀疏分解系數(shù)，獲得可見光稀疏系數(shù)矩陣S1及紅外稀疏系數(shù)矩陣S2 ； (4)逐列比較可見光稀疏系數(shù)矩陣S1和紅外稀疏系數(shù)矩陣S2對應(yīng)位置上的列向量絕對值之和，將絕對值之和大的列向量作為融合的稀疏系數(shù)Sf對應(yīng)位置的列向量； (5)用融合的稀疏系數(shù)Sf與訓(xùn)練好的字典D的乘積實(shí)現(xiàn)塊重構(gòu)Vf= DSf,并按照步驟(I)分塊時(shí)的順序進(jìn)行排列，獲得融合結(jié)果圖像IF。
2.根據(jù)權(quán)利要求1所述的基于稀疏表示的紅外與可見光圖像融合方法，其特征在于:所述N取為64。
3.根據(jù)權(quán)利要求1所述的基于稀疏表示的紅外與可見光圖像融合方法，其特征在于:所述的P = 5000。
【文檔編號(hào)】G06T5/50GK104021537SQ201410283034
【公開日】2014年9月3日 申請日期:2014年6月23日 優(yōu)先權(quán)日:2014年6月23日
【發(fā)明者】何貴青, 宋莎莎, 王珺, 彭進(jìn)業(yè), 馮曉毅, 李會(huì)方, 謝紅梅, 吳俊 , 蔣曉悅, 楊雨奇 申請人:西北工業(yè)大學(xué)