專利名稱：：基于混合多分辨率分解的圖像融合方法
技術(shù)領(lǐng)域：
：本方法涉及一種圖像融合方法，特別涉及一種基于混合多分辨率分解的圖像融合方法。
背景技術(shù)：
：圖像融合指按照一定的規(guī)則，把同一目標(biāo)或同一場(chǎng)景的多個(gè)傳感器的成像或單一傳感器的多次成像進(jìn)行處理，生成一幅新的圖像。新圖像與原圖像相比，信息更全面、精確和穩(wěn)定。它綜合了傳感器技術(shù)、信號(hào)處理、圖像處理和人工智能等新興技術(shù)，在軍事領(lǐng)域和非軍事領(lǐng)域如遙感圖像、醫(yī)學(xué)圖像、機(jī)器視覺上得到了廣泛地應(yīng)用。圖像融合一般可分為像素級(jí)圖像融合、特征級(jí)圖像融合和決策級(jí)圖像融合。其中像素級(jí)圖像融合是最基本的融合，是特征級(jí)和決策級(jí)圖像融合的基礎(chǔ)。圖像融合最簡(jiǎn)單的方法是加權(quán)平均法，即將原圖像對(duì)應(yīng)像素的灰度值進(jìn)行加權(quán)平均，生成新的圖像。這種方法雖然簡(jiǎn)單但效果比較差?；贚aplacian金字塔、比率低通金字塔、梯度金字塔等圖像多分辨率分解的融合方法是圖像融合最常用的方法。但是塔形分解是冗余分解，而且不能夠很好的表達(dá)圖像的方向信息。90年代小波變換在圖像處理中得到廣泛應(yīng)用，因?yàn)槠渚哂械姆较蛐?、非冗余性以及具有快速算法等特點(diǎn)，在圖像融合中得到了廣泛的應(yīng)用，可獲得良好的融合效果。小波變換在分析點(diǎn)狀瞬態(tài)特性的奇異性時(shí)是最優(yōu)的，但在表示圖像結(jié)構(gòu)的直線和曲線奇異性時(shí)卻不是最優(yōu)的。
發(fā)明內(nèi)容為了解決基于小波變換的圖像融合方法存在的上述技術(shù)問題，本發(fā)明提供一種基于混合多分辨率分解的圖像融合方法。本發(fā)明方法將基于非下采樣的輪廓波變換和靜態(tài)小波變換的融合方法結(jié)合起來，可有效提高融合結(jié)果圖像的質(zhì)量，達(dá)到比較理想的融合效果。本發(fā)明解決上述技術(shù)問題的技術(shù)方案包括以下歩驟將兩幅源圖像進(jìn)行非下采樣輪廓波分解，得到分解后的子帶輪廓波高頻和低頻系數(shù)；根據(jù)高頻于帶系數(shù)計(jì)算其能量值，選擇能量值最大的系數(shù)作為融合的高頻輪廓波變換系數(shù)；對(duì)子帶輪廓波分解系數(shù)屮的低頻于帶系數(shù)進(jìn)--步進(jìn)行靜態(tài)小波變換，得到對(duì)應(yīng)的靜態(tài)小波變換系數(shù)，對(duì)靜態(tài)小波變換系數(shù)中的高頻分量，采用選擇小波系數(shù)能量值最大的方法進(jìn)行融合，對(duì)靜態(tài)小波變換系數(shù)中的低頻分量通過求平均的方法進(jìn)行融合，得到融合圖像對(duì)應(yīng)的靜態(tài)小波變換系數(shù)，對(duì)靜態(tài)小波變換系數(shù)進(jìn)行逆變換，得到融合的低頻輪廓波變換系數(shù)；對(duì)融合的輪廓波變換系數(shù)進(jìn)行逆變換，得到融合的圖像。上述的基于混合多分辨率分解的圖像融合方法中，所述能量值的計(jì)算包括以下步驟采用基于窗口的加權(quán)平均法，先取每個(gè)像素對(duì)應(yīng)的所有高頻系數(shù)的平方和，再對(duì)其進(jìn)行基"？窗口的加權(quán)平均。本發(fā)明的技術(shù)效果在于本發(fā)明在圖像融合的過程中對(duì)每-《昌源圖像分別進(jìn)行非下采樣輪廓波變換，得到它們的輪廓波分解系數(shù)，對(duì)其高頻分量，釆用選擇能量值最大的方法進(jìn)行融合；對(duì)低頻分量采用基于靜態(tài)小波變換的圖像融合方法進(jìn)行融合；對(duì)融合的輪廓波變換系數(shù)進(jìn)行逆變換，得到最終的融合圖像。本發(fā)明充分結(jié)合了靜態(tài)小波變換的能夠保留源圖像角點(diǎn)、紋理等細(xì)節(jié)信息的特點(diǎn)以及非下采樣輪廓波變換具有的方向性和各向異性，能夠很好的表達(dá)源圖像中邊緣信息的優(yōu)點(diǎn)。經(jīng)實(shí)驗(yàn)對(duì)比，本發(fā)明的融合效果較好，能夠使融合后的圖像的質(zhì)量得到較大的提高。下面結(jié)合附圖對(duì)本發(fā)明f1進(jìn)-一步的說明。圖l為本發(fā)明的流程圖。圖2為本發(fā)明中多聚焦圖像融合實(shí)例(a)聚焦在右邊的圖像；(b)聚焦在左邊的源圖像；(c)基-丁輪廓波變換方法得到的融合結(jié)果；(d)基于靜態(tài)小波變換得到的結(jié)果；(e)本發(fā)明方法得到的融合結(jié)果。圖3為醫(yī)學(xué)圖像融合實(shí)例(a)CT圖像；(b)MRJ圖像；(c)基于輪廓波變換方法得到的融合結(jié)果；(d)基于靜態(tài)小波變換得到的結(jié)果；(e)本發(fā)明方法得到的融合結(jié)果。圖4為紅外可見光圖像融合實(shí)例(a)紅外圖像；(b)可見光圖像；(C)基于輪廓波變換方法得到的融合結(jié)果；(d)基于靜態(tài)小波變換得到的結(jié)果；(e)本發(fā)明方法得到的融合結(jié)果。具體實(shí)施例方式參見圖l，圖l為木發(fā)明的流程圖。其具體實(shí)施歩驟如下1.將輸入的已經(jīng)配準(zhǔn)的源圖像分別進(jìn)行非下采樣的輪廓波(NSCT)分解t下釆樣輪廓波變換將多尺度分解和方向分解分開進(jìn)行，首先使用非卜釆樣塔式濾波器組(NonsubsampledPyramidFilterBank,NSPFB)對(duì)源圖像進(jìn)行多尺度分解，然后利用非下采樣方向?yàn)V波器組(NonsubsampledDirectionalFilterBank,NSDFB)對(duì)多尺度分解得到的子帶系數(shù)進(jìn)行方向分解，從而得到不同尺度、不同方向的子帶系數(shù)。非下采樣塔式分解是一個(gè)在拉普拉斯分解過程中去掉下采樣，對(duì)濾波器進(jìn)行上采樣的過程。當(dāng)分解層數(shù)為J時(shí)，其冗余度為J+1，并且滿足完全重構(gòu)的Bezout恒等式//0(梶2)+"1(1)其中/AU，G。(z)為塔式分解的低通分解濾波器和合成濾波器，q("為塔式分解的卨通分解濾波器和合成濾波器。非下采樣的方向?yàn)V波是一種在方向?yàn)V波中無下采樣的濾波過程，通過atrous小波算法實(shí)現(xiàn)。^trous算法是將圖像分解為不同頻帶上的細(xì)節(jié)信息和最低頻帶的近似信息，該細(xì)節(jié)信恩稱為小波面，其大小與原圖像大小相同。對(duì)于圖像/(x，力，可逐級(jí)得到以下圖像序列》,，聰x，力],,力=丄2[你,力]②乂:、(二>0=丄/^—其中，./;(x,力為尺度r下的近似圖像，/。"力是/oc,力，^為低通濾波。it42,….,V。相鄰尺度的近似圖像間差異構(gòu)成小波變換的高頻系數(shù)即小波面AO,>o=y;(x，_y)—y;—,(x,力(3)其中《/(0c，.y)為第A層小波面。本發(fā)明對(duì)源圖像A、B依次進(jìn)行非下采樣塔式濾波和非下采樣方向?yàn)V波變換得到一系列的子帶系數(shù)，記為WC7;"和A^C"^1，其中5=0,1,...,&"=1,2,...,2"，S為分解的子帶數(shù)，2"為各子帶的方向總數(shù)，AWC7;"和MSC7f"為低頻子帶，其它為方向高頻子帶。2.基于能量最大規(guī)則的高頻子帶融合6在非F采樣輪廓波分解中，能量值較高的系數(shù)對(duì)應(yīng)于圖像中對(duì)比度變化較大的邊緣特征，因此高頻子帶融合的關(guān)鍵是選取能量較高的部分。本發(fā)明采用基于窗口的能量值最大的融合規(guī)則，取對(duì)應(yīng)像素能量值較大者作為高頻子帶融合結(jié)果。^先定義-一個(gè)人小為5x5的巻積模板ff:ff2564444441616164416641644161616444444妖后利用此模板對(duì)所有高頻子帶系數(shù)進(jìn)行巻積，再對(duì)巻積結(jié)果在對(duì)應(yīng)位置上的各個(gè)方向和尺度卜.求和，并將求和結(jié)果作為中心位置的能量。能量的整體訃算公式為'(,，/)=11過,+3，"+3)l服7^)(,++")1(4),—2〃=_2,、'=2ts代表尺度總數(shù)，d代表方向頻率總數(shù)，/,y表示當(dāng)前點(diǎn)在圖像中的位置，/為橫坐標(biāo)，乂為縱坐標(biāo)，w,為變量，其取值由巻積模板^的大小決定。最后高頻系數(shù)的融合規(guī)則為<formula>formulaseeoriginaldocumentpage7</formula>(5)WSC"、"'和」V義T》、力分別為源圖像a和b經(jīng)過nsct分解后在尺度s方向d上的子帶系數(shù)，」VSC7;^為融合后的對(duì)應(yīng)系數(shù)。式(5)表示當(dāng)a圖像在(;c,力處能量大于b圖像在此處的能量時(shí)，則在此處的各個(gè)尺度和方向的高頻系數(shù)選取a圖像在此處的系數(shù)，否則選取b在此處的高頻系數(shù)。3.基于靜態(tài)小波的低頻系數(shù)融合低頻子帶系數(shù)w雙T，'1和wser，'采用基于靜態(tài)小波變換的圖像融合方法進(jìn)行融合。靜態(tài)小波分解不對(duì)濾波結(jié)果進(jìn)行下采樣操作，而是對(duì)濾波器進(jìn)行上采樣。由于靜態(tài)小波分解的濾波器是可分離的，因而可在圖像的行和列分別進(jìn)行濾波。以F是由j層得到j(luò)+1層的分解參數(shù)<formula>formulaseeoriginaldocumentpage8</formula>式中，4"是原始圖像在尺度2'下的低頻近似，『。和吋"分別是j層圖像在水平，垂直和對(duì)角方向的高頻細(xì)節(jié)信息，a,b表示當(dāng)前點(diǎn)在圖像中的位置，a為橫坐標(biāo)，b為縱坐標(biāo)，k,l為變量，其取值由巻積模板A和g的大小決定?；鵓靜態(tài)小波的低頻系數(shù)融合實(shí)施方式如下1)對(duì)AWCTT1和A^C7f"分別做3層的靜態(tài)小波分解，得到它們對(duì)應(yīng)的靜態(tài)小波金字塔系數(shù)，這些系數(shù)分為"頻系數(shù)和低頻系數(shù)。2)對(duì)丁-分解后的低頻系數(shù)，采用加權(quán)平均算子進(jìn)行融合F〃=—,+(1—w)xS〃(10)w為加權(quán)系數(shù)，在本發(fā)明中w取的取值為0.5，A,和L分別為MSCTf11禾口WlTf卩經(jīng)靜態(tài)小波分解后的低頻子帶系數(shù)。3)對(duì)于高頻變換系數(shù)，仍然采用能量最大的方法進(jìn)行融合。在各個(gè)尺度內(nèi)的所有卨頻于帶上，首先基于5x5的窗口W獲得對(duì)某--像素的區(qū)域特性描述(該像素居于正方形窗口的中心處)，然后合并該尺度上所有子帶在對(duì)應(yīng)々間位置處的區(qū)域特性來衡量該系數(shù)的重要程度，采用系數(shù)的能量來表示系數(shù)的軍要程度，其計(jì)算公式為<formula>formulaseeoriginaldocumentpage8</formula>窗口W為W=2564444441616164416641644161616444444，L代表尺度總數(shù)，《代表方向總數(shù)<比較兩源圖像在各個(gè)尺度內(nèi)不同空間位置上變換系數(shù)的重要程度，通過選擇最大重要程度的方法完成變換域內(nèi)的系數(shù)融合，可用如下公式表示'/《、《(12),WTf"和'S,7;)"'分別是對(duì)WSC7f和MC7f"進(jìn)行靜態(tài)小波分解后在尺度/方向it上的子帶系數(shù)，融合后的對(duì)應(yīng)系數(shù)。4)對(duì)融合得到的多分辨率系數(shù)作3層靜態(tài)小波逆變換(ff『T)，得到低頻融合4.采用輪廓波逆變換得到最終融合結(jié)果對(duì)所得到的輪廓波系數(shù)W^^"1作非下采樣的輪廓波逆變換，即非下采樣的方向?yàn)V波重構(gòu)和非下釆樣的塔式重構(gòu)，得到最終的融合結(jié)果圖像。將本發(fā)明所提供的方法所得到的融合結(jié)果與單獨(dú)使用靜態(tài)小波變換方法和單獨(dú)使用非下采樣輪廓波變換方法所得到的結(jié)果進(jìn)行了比較。圖2、圖3和圖4給出了實(shí)驗(yàn)結(jié)果。表l列出了客觀評(píng)價(jià)的結(jié)果。這里用了常用的信息熵(EN)，標(biāo)準(zhǔn)差(STD)以及QAB/F作為評(píng)價(jià)標(biāo)準(zhǔn)。對(duì)于三種評(píng)價(jià)標(biāo)準(zhǔn)，數(shù)值大表示融合結(jié)果越好。從實(shí)驗(yàn)結(jié)果我們可以看出本發(fā)明提出的方法優(yōu)于傳統(tǒng)的基于小波變換的方法。9表1.圖像融合結(jié)果指標(biāo)評(píng)價(jià)圖2<table>tableseeoriginaldocumentpage10</column></row><table>權(quán)利要求1.一種基于混合多分辨率分解的圖像融合方法，包括以下步驟將兩幅源圖像進(jìn)行非下采樣輪廓波分解，得到分解后的子帶輪廓波高頻和低頻系數(shù)；根據(jù)高頻子帶系數(shù)計(jì)算其能量值，選擇能量值最大的系數(shù)作為融合的高頻輪廓波變換系數(shù)；對(duì)子帶輪廓波分解系數(shù)中的低頻子帶系數(shù)進(jìn)一步進(jìn)行靜態(tài)小波變換，得到對(duì)應(yīng)的靜態(tài)小波變換系數(shù)，對(duì)靜態(tài)小波變換系數(shù)中的高頻分量，采用選擇小波系數(shù)能量值最大的方法進(jìn)行融合，對(duì)靜態(tài)小波變換系數(shù)中的低頻分量通過求平均的方法進(jìn)行融合，得到融合圖像對(duì)應(yīng)的靜態(tài)小波變換系數(shù)，對(duì)靜態(tài)小波變換系數(shù)進(jìn)行逆變換，得到融合的低頻輪廓波變換系數(shù)；對(duì)融合的輪廓波變換系數(shù)進(jìn)行逆變換，得到融合的圖像。2.根據(jù)權(quán)利要求1所述的基于混合多分辨率分解的圖像融合方法，所述能量值的計(jì)算包括以下步驟采用基T窗口的加權(quán)平均法，先取每一個(gè)像素對(duì)應(yīng)的所有高頻系數(shù)的平方和，再對(duì)其進(jìn)行基于窗口的加權(quán)平均。全文摘要本發(fā)明公開了一種基于混合多分辨率分解的圖像融合方法。它包括以下步驟將兩幅源圖像進(jìn)行非下采樣輪廓波分解，得到高頻和低頻子帶系數(shù)；根據(jù)高頻子帶系數(shù)計(jì)算其能量值，選擇能量值最大的系數(shù)作為融合的高頻輪廓波變換系數(shù)；對(duì)低頻子帶系數(shù)進(jìn)一步進(jìn)行靜態(tài)小波變換，對(duì)其高頻分量，采用選擇小波系數(shù)能量值最大的方法進(jìn)行融合，對(duì)其低頻分量通過求平均的方法進(jìn)行融合，得到靜態(tài)小波變換系數(shù)，對(duì)靜態(tài)小波變換系數(shù)進(jìn)行逆變換，得到低頻輪廓波變換系數(shù)；對(duì)輪廓波變換系數(shù)進(jìn)行逆變換，得到融合的圖像。本發(fā)明結(jié)合了靜態(tài)小波變換和輪廓波變換能表達(dá)不同圖像特性的優(yōu)點(diǎn)，可有效提高融合結(jié)果圖像的質(zhì)量，達(dá)到比較理想的融合效果。文檔編號(hào)G06T5/50GK101504766SQ20091004295公開日2009年8月12日申請(qǐng)日期2009年3月25日優(yōu)先權(quán)日2009年3月25日發(fā)明者李樹濤,斌楊申請(qǐng)人:湖南大學(xué)