專利名稱：基于不可分離小波框架變換的多聚焦圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于不可分離小波框架變換的多聚焦圖像融合方法，是信息融合領(lǐng)域中的一項(xiàng)多聚焦圖像信息融合方法，在光學(xué)成像、目標(biāo)監(jiān)視、安全檢查等系統(tǒng)中均可有廣泛應(yīng)用。
背景技術(shù)：
圖像融合技術(shù)是多傳感器信息融合中可視信息的融合，它利用各種成像傳感器不同的成像方式，為不同的影像提供互補(bǔ)信息，增加圖像信息量，減少原始圖像數(shù)據(jù)量，提高對(duì)環(huán)境的適應(yīng)性，以獲得更可靠、更準(zhǔn)確的有用信息供觀察或進(jìn)一步處理。它是一門綜合了傳感器、信號(hào)處理、圖像處理和人工智能等的新興技術(shù)。近年來(lái)，圖像融合已成為一種十分重要和有用的圖像分析與計(jì)算機(jī)視覺(jué)技術(shù)。它在自動(dòng)目標(biāo)識(shí)別、計(jì)算機(jī)視覺(jué)、遙感、機(jī)器人、醫(yī)學(xué)圖像處理以及軍事應(yīng)用等領(lǐng)域有著廣泛的應(yīng)用前景。
作為圖像融合研究?jī)?nèi)容之一的多聚焦圖像融合，是指在相同的成像條件下獲取鏡頭聚焦目標(biāo)不同的多個(gè)配準(zhǔn)后的圖像，通過(guò)圖像融合得到一個(gè)所有目標(biāo)都聚焦清晰的融合后圖像。光學(xué)鏡頭的焦距有限，使得人們?cè)跀z影時(shí)很難得到一幅所有被攝物體均被聚焦的圖像。解決這個(gè)問(wèn)題的一個(gè)有效方法是對(duì)同一景物拍攝幾幅聚焦點(diǎn)不同的圖像，然后將其融合為一幅所有物體均被聚焦的圖像。在處理多聚焦圖像的融合方法中，具有代表性的方法是多分辨圖像融合方法，如基于離散小波變換的圖像融合方法(Li H，Manjunath B.S，Mitra S.，Multisensorimage fusion using the wavelet transform，Graphical Models and Image Process，1995，57(3)235-245)。其基本思想就是在將輸入原圖像分解得到不同分辨率表示的基礎(chǔ)上，分別對(duì)它們進(jìn)行融合運(yùn)算得到一個(gè)融合的圖像多分辨率表示，經(jīng)多分辨率重構(gòu)獲得融合后圖像。然而傳統(tǒng)的多分辨率圖像融合方法對(duì)多聚焦原圖像進(jìn)行融合處理所得到的融合結(jié)果，與原圖像的清晰區(qū)域相比，其對(duì)應(yīng)區(qū)域的圖像質(zhì)量有所降低；而與原圖像的模糊區(qū)域相比，其對(duì)應(yīng)區(qū)域的圖像質(zhì)量得到提高，這也就是說(shuō)，傳統(tǒng)的多分辨率圖像融合方法通過(guò)降低圖像清晰區(qū)域的圖像質(zhì)量來(lái)提升圖像模糊區(qū)域的圖像質(zhì)量以得到目標(biāo)均“清晰”的融合結(jié)果。其融合結(jié)果與理想融合結(jié)果存在一定程度的偏差，并造成圖像中一些邊緣信息的丟失。最近李淑濤等提出了一種基于視覺(jué)特性的多聚焦圖像融合方法(Li S.T.，James T.K.，Wang Y.N.，Multifocus image fusion using artificial neural networks，Pattern Recognition Letters，2002，23985-997.)，融合過(guò)程是首先將配準(zhǔn)的原圖像分割成若干塊，計(jì)算每個(gè)圖像塊的清晰度指標(biāo)，通過(guò)選取兩幅圖像中清晰的圖像塊形成融合圖像。但在實(shí)際的多聚焦圖像融合應(yīng)用中，塊分割的大小會(huì)影響融合的效果，而且很難自適應(yīng)的確定一個(gè)最優(yōu)的塊分割大小，在對(duì)同時(shí)包含模糊區(qū)域與清晰區(qū)域的塊進(jìn)行融合時(shí)，簡(jiǎn)單的塊選擇并不能產(chǎn)生最優(yōu)的融合效果。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的不足，提供了一種基于不可分離小波框架變換的多聚焦圖像融合方法，能夠提高融合圖像的質(zhì)量，達(dá)到理想的實(shí)用效果。
為實(shí)現(xiàn)這樣的目的，本發(fā)明技術(shù)方案的創(chuàng)新點(diǎn)在于采用不可分離小波框架變換系數(shù)重要性指標(biāo)反映原圖像像素的清晰程度，并基于系數(shù)重要性指標(biāo)對(duì)原圖像的不可分離小波框架系數(shù)進(jìn)行組合。首先對(duì)待融合的多聚焦原圖像分別進(jìn)行離散小波框架變換，然后求取各原圖像經(jīng)不可分離小波框架變換分解后的系數(shù)的重要性指標(biāo)。融合過(guò)程就是基于系數(shù)重要性指標(biāo)對(duì)各圖像不可分離小波框架變換分解后的系數(shù)進(jìn)行選取，并進(jìn)行一致性檢驗(yàn)。最后對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行逆變換從而得到融合后的圖像。
本發(fā)明的一種基于不可分離小波框架變換的多聚焦圖像融合方法包括如下具體步驟1.對(duì)多聚焦輸入原圖像分別進(jìn)行不可分離小波框架變換，對(duì)一幅圖像進(jìn)行N(N一般為2或3)層不可分離小波框架變換將得到N+1個(gè)子帶系數(shù)，包括一個(gè)最低頻子帶系數(shù)和N個(gè)高頻子帶系數(shù)。
2.求取各多聚焦圖像每個(gè)像素的不可分離小波框架變換系數(shù)的重要性，該系數(shù)重要性由局部區(qū)域內(nèi)的不可分離小波框架變換的高頻系數(shù)能量決定以當(dāng)前待求系數(shù)重要性的像素為中心選取一個(gè)固定大小的窗口(窗口的尺寸一般比較小，如3×3)，計(jì)算在這個(gè)窗口內(nèi)的所有各層不可分離小波框架變換的高頻系數(shù)的加權(quán)平方和。
3.對(duì)各多聚焦圖像每個(gè)像素的不可分離小波框架變換系數(shù)進(jìn)行組合。根據(jù)不可分離小波框架變換系數(shù)的重要性確定哪些像素是屬于圖像中的清晰區(qū)域，哪些像素是屬于圖像中的模糊區(qū)域，對(duì)多聚焦圖像中屬于清晰區(qū)域的像素的不可分離小波框架變換系數(shù)進(jìn)行組合。
4.對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行一致性檢驗(yàn)。如果某像素組合后的不可分離小波框架變換系數(shù)來(lái)自于圖像A變換后的系數(shù)，而以該像素為中心的窗口區(qū)域內(nèi)的像素組合后的系數(shù)大多數(shù)來(lái)自于圖像B變換后的系數(shù)，則將該組合后的系數(shù)改為取自圖像B變換后的系數(shù)；反之亦然。對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行一致性檢驗(yàn)，以保證某像素組合后的不可分離小波框架變換系數(shù)與其相鄰像素組合后的系數(shù)大多數(shù)來(lái)自于同一幅圖像經(jīng)不可分離小波框架變換變換后的系數(shù)。一致性檢驗(yàn)的窗口大小一般較大，如11×11，最大可取20×20。
5.對(duì)一致性檢驗(yàn)后的不可分離小波框架變換組合系數(shù)進(jìn)行逆變換，得到最終融合后的圖像。
本發(fā)明的圖像融合方法具有如下有益效果多聚焦圖像具有各自的聚焦點(diǎn)，因而具有各自的清晰區(qū)域和模糊區(qū)域。本方法根據(jù)不可分離小波框架變換系數(shù)的重要性確定哪些像素是屬于圖像中的清晰區(qū)域，哪些像素是屬于圖像中的模糊區(qū)域，直接選取多聚焦圖像中各自的清晰區(qū)域作為融合后相應(yīng)的區(qū)域，整個(gè)融合后圖像更接近于理想的融合結(jié)果。采用基于不可分離小波框架變換的多聚焦圖像融合方法大大提高了融合后圖像質(zhì)量，對(duì)于應(yīng)用系統(tǒng)的后續(xù)處理和圖像顯示具有重要意義和實(shí)用價(jià)值。


圖1為本發(fā)明基于不可分離小波框架變換的多聚焦圖像融合方法示意圖。
圖2為圖像融合結(jié)果對(duì)照。
圖2中，(a)、(b)為兩幅輸入原圖像，(c)為基于離散小波變換融合算法的結(jié)果圖像，(d)為基于視覺(jué)特性的融合算法結(jié)果圖像，(e)為本發(fā)明方法的融合后圖像。
具體實(shí)施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步描述。
圖1為本發(fā)明提出的一種基于不可分離小波框架變換的多聚焦圖像融合方法示意圖。首先對(duì)兩幅待融合的多聚焦原圖像A、B分別進(jìn)行不可分離小波框架變換，再求取各原圖像經(jīng)小波變換后的系數(shù)重要性指標(biāo)，然后基于系數(shù)重要性指標(biāo)對(duì)兩幅圖像的不可分離小波框架變換系數(shù)進(jìn)行組合，并對(duì)組合后的系數(shù)進(jìn)行一致性檢驗(yàn)，最后對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行逆變換，從而得到融合后的圖像。
本發(fā)明實(shí)施例以圖2(a)、圖2(b)所示的多聚焦輸入原圖像A和B為例進(jìn)行圖像融合，具體實(shí)施步驟如下1.對(duì)多聚焦輸入原圖像A和B分別進(jìn)行不可分離小波框架變換。
圖像的不可分離小波框架變換是對(duì)圖像的低通部分重復(fù)進(jìn)行濾波以及重采樣，從而產(chǎn)生新的低通和細(xì)節(jié)信號(hào)。
不可分離小波框架變換圖像分解后的系數(shù)表示如下 其中H0，G0是二維的原型分析濾波器，[H0]↑D′是低通濾波器H0經(jīng)過(guò)升采樣后的濾波器，[G0]↑D′是高通濾波器G0經(jīng)過(guò)升采樣后的濾波器，D=111-1,]]>f0(K)＝f(K)，N是圖像分解的層數(shù)，H1，G1是二維原型綜合濾波器。
圖像f(x，y)經(jīng)過(guò)N層不可分離小波框架變換分解后將產(chǎn)生幾個(gè)高通子帶{gi(x，y)|i＝1，2，...，N}以及一個(gè)低通子帶fN(x，y)，其中{(x，y)|(x，y)∈Z2}代表像素的坐標(biāo)位置，每一個(gè)子帶的尺寸與原圖像的尺寸相同。
2.求取各圖像每個(gè)像素的不可分離小波框架變換系數(shù)的重要性。
使用giA(x，y)與fNA(x，y)，giB(x，y)與fNB(x，y)表示原圖像A，B分別經(jīng)不可分離小波框架變換分解后的系數(shù)，使用giF(x，y)與fNF(x，y)表示組合后的不可分離小波框架變換系數(shù)。原圖像經(jīng)過(guò)不可分離小波框架變換后高通子帶系數(shù)代表了原圖像的細(xì)節(jié)信息，圖像中細(xì)節(jié)信息越多，說(shuō)明清晰度越高，所以利用原圖像不可分離小波框架變換后的高通子帶系數(shù)能衡量原圖像的清晰度指標(biāo)，為此目的，定義了不可分離小波框架變換系數(shù)重要性如下SI(x,y)=Σi=1NΣ(m,n)∈N(x,y)w(m,n)·giI(m,n)2,I=A,B,---(2)]]>其中w(m，n)是權(quán)值且滿足Σ(m,n)∈N(x,y)w(m,n)=1,]]>N(x，y)是以像素(x，y)為中心定義的一個(gè)窗口，窗口的尺寸一般比較小，如3×3。如果SI(x，y)越大，說(shuō)明原圖像I中像素(x，y)所在局部區(qū)域清晰度越高。
3.對(duì)兩幅多聚焦輸入原圖像的不可分離小波框架變換系數(shù)進(jìn)行組合。
根據(jù)不可分離小波框架變換系數(shù)的重要性，確定哪些像素是屬于圖像中的清晰區(qū)域，哪些像素是屬于圖像中的模糊區(qū)域，融合過(guò)程就是對(duì)多聚焦圖像中屬于清晰區(qū)域的像素的不可分離小波框架變換系數(shù)進(jìn)行組合。多聚焦圖像的高通子帶系數(shù)融合過(guò)程定義如下 對(duì)于多聚焦圖像的低通子帶融合過(guò)程類似 4.對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行一致性檢驗(yàn)。
如果某像素組合后的不可分離小波框架變換系數(shù)來(lái)自于圖像A變換后的系數(shù)而以該像素為中心的窗口區(qū)域內(nèi)的像素組合后的系數(shù)大多數(shù)來(lái)自于圖像B變換后的系數(shù)，則將該組合后的系數(shù)改為取自圖像B變換后的系數(shù)，反之亦然。對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行一致性檢驗(yàn)以保證某像素組合后的不可分離小波框架變換系數(shù)與其相鄰像素組合后的系數(shù)大多數(shù)來(lái)自于同一幅圖像經(jīng)不可分離小波框架變換變換后的系數(shù)。一致性檢驗(yàn)的窗口大小一般較大，如11×11，最大可取20×20。
5.對(duì)一致性檢驗(yàn)后的不可分離小波框架變換組合系數(shù)進(jìn)行逆變換。
經(jīng)一致性檢驗(yàn)后，對(duì)于組合后的不可分離小波框架變換系數(shù)進(jìn)行逆變換即可得到融合后的圖像。
圖2所示為本發(fā)明的基于不可分離小波框架變換的多聚焦圖像融合方法與現(xiàn)有技術(shù)中基于視覺(jué)特性的融合方法及基于離散小波變換融合方法的融合結(jié)果對(duì)照。圖2中，(a)、(b)為兩幅輸入原圖像，(c)為基于離散小波變換融合算法的結(jié)果圖像，(d)為基于視覺(jué)特性的融合算法結(jié)果圖像，(e)為本發(fā)明方法的融合后圖像。從圖中可見(jiàn)，本發(fā)明方法所得融合圖像繼承了原圖像中的所有清晰區(qū)域，融合效果最好。表1為與此相對(duì)應(yīng)的融合結(jié)果性能評(píng)價(jià)。性能評(píng)價(jià)指標(biāo)采用了常用的整體交叉熵以及空間頻率。整體交叉熵可以用來(lái)衡量融合圖像從原圖像中繼承信息的多少，整體交叉熵越小表示融合圖像從原圖像繼承的信息越多，融合效果越好?？臻g頻率可以用來(lái)衡量融合圖像的整體清晰度，空間頻率越大表示融合圖像的整體清晰度越高，融合效果越好。從表1的定量評(píng)價(jià)數(shù)據(jù)可以看出本發(fā)明方法在性能上優(yōu)于其它兩種融合方法。
表1圖像融合結(jié)果性能評(píng)價(jià)

權(quán)利要求
1.一種基于不可分離小波框架變換的多聚焦圖像融合方法，其特征在于包括如下具體步驟1)對(duì)兩幅多聚焦輸入原圖像A和B分別進(jìn)行N層不可分離小波框架變換，每一幅圖像經(jīng)分解后得到一個(gè)最低頻子帶系數(shù)和N個(gè)高頻子帶系數(shù)，其中N為2或3；2)求取各圖像每個(gè)像素的不可分離小波框架變換系數(shù)的重要性，該系數(shù)重要性由局部區(qū)域內(nèi)的不可分離小波框架變換的高頻子帶系數(shù)能量決定，以當(dāng)前待求系數(shù)重要性的像素為中心選取一個(gè)固定大小的窗口，計(jì)算在這個(gè)窗口內(nèi)的所有各層不可分離小波框架變換的高頻系數(shù)的加權(quán)平方和；3)根據(jù)各多聚焦輸入原圖像不可分離小波框架變換系數(shù)的重要性，確定哪些像素是屬于圖像中的清晰區(qū)域，哪些像素是屬于圖像中的模糊區(qū)域，對(duì)多聚焦圖像中屬于清晰區(qū)域的像素的不可分離小波框架變換系數(shù)進(jìn)行組合；4)對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行一致性檢驗(yàn)，如果某像素組合后的不可分離小波框架變換系數(shù)來(lái)自于圖像A變換后的系數(shù)，而以該像素為中心的窗口區(qū)域內(nèi)的像素組合后的系數(shù)大多數(shù)來(lái)自于圖像B變換后的系數(shù)，則將該組合后的系數(shù)改為取自圖像B變換后的系數(shù)，反之亦然；一致性檢驗(yàn)的窗口大小為11×11～20×20；5)對(duì)一致性檢驗(yàn)后的不可分離小波框架變換組合系數(shù)進(jìn)行逆變換，得到最終融合后的圖像。
全文摘要
一種基于不可分離小波框架變換的多聚焦圖像融合方法，采用不可分離小波框架變換系數(shù)重要性指標(biāo)反映原圖像像素的清晰程度，并基于系數(shù)重要性指標(biāo)對(duì)原圖像的不可分離小波框架系數(shù)進(jìn)行組合。首先對(duì)待融合的多聚焦原圖像分別進(jìn)行離散小波框架變換，然后求取各原圖像經(jīng)不可分離小波框架變換分解后的系數(shù)的重要性指標(biāo)。融合過(guò)程就是基于系數(shù)重要性指標(biāo)對(duì)各圖像不可分離小波框架變換分解后的系數(shù)進(jìn)行選取，并進(jìn)行一致性檢驗(yàn)。最后對(duì)組合后的不可分離小波框架變換系數(shù)進(jìn)行逆變換從而得到融合后的圖像。本發(fā)明使融合后的圖像質(zhì)量得到大幅度地提高，對(duì)于各種應(yīng)用系統(tǒng)的后續(xù)處理和圖像顯示具有重要意義和實(shí)用價(jià)值。
文檔編號(hào)G06T5/50GK1588444SQ20041005286
公開(kāi)日2005年3月2日 申請(qǐng)日期2004年7月15日 優(yōu)先權(quán)日2004年7月15日
發(fā)明者敬忠良, 李振華, 孫韶媛 申請(qǐng)人:上海交通大學(xué)