本發(fā)明涉及一種圖像融合方法，尤其是基于小波方向相關(guān)系數(shù)的圖像融合方法。
背景技術(shù)：
圖像融合是一種通過高級圖像處理技術(shù)來復(fù)合多源圖像的技術(shù)，通過特定的算法將從不同傳感器(或同一傳感器在不同時間或不同觀測角度)得到的同一場景的多幅圖像經(jīng)過綜合處理，從而得到一幅滿足某種要求的、對目標(biāo)或場景的描述更為精確、更為全面、更為可靠的圖像，以便于人眼的觀察和計算機(jī)的進(jìn)一步處理。由于這些特點，圖像融合技術(shù)已廣泛地應(yīng)用于軍事、遙感、計算機(jī)視覺和醫(yī)學(xué)等領(lǐng)域。
圖像融合處理主要在三個不同的層次上進(jìn)行：像素級融合、特征級融合和決策級融合。由于像素級圖像融合是基礎(chǔ)且比較直觀，應(yīng)用也最廣泛，因此在圖像融合領(lǐng)域最受關(guān)注。目前比較常用的像素級融合方法主要有IHS變換法、小波變換法、主成分分析(PCA)法和Brovey變換法等。
對于圖像融合方法，融合規(guī)則和融合算子的選擇是當(dāng)前研究的熱點和難點問題。小波變換具有對信號進(jìn)行多分辨率分析特性，基于小波變換的圖像融合方法可以獲得與人的視覺特性接近的融合效果。因此，近年來基于小波變換的融合算法成為人們研究的熱點。目前，小波域的融合算法主要包括兩種形式，基于加權(quán)平均的圖像融合方法和基于小波系數(shù)相關(guān)性(局域窗口內(nèi)的統(tǒng)計特征如方差、梯度、能量等)的圖像融合方法。加權(quán)平均法簡單直觀、適合實時處理，但只是將待融合系數(shù)進(jìn)行孤立的加權(quán)處理，忽略了相鄰小波系數(shù)間的區(qū)域相關(guān)性，導(dǎo)致融合精度降低；系數(shù)相關(guān)性法，通過計算待融合系數(shù)的區(qū)域相關(guān)系數(shù)，自適應(yīng)地確定融合系數(shù)。該方法有效地改進(jìn)了加權(quán)平均的圖像融合方法，取得了較好的融合效果。然而也存在不足：該方法在計算待融合系數(shù)的相關(guān)系數(shù)時，參與融合的系數(shù)為待融合系數(shù)的八鄰域系數(shù)，但未考慮各個高頻子帶的系數(shù)分布具有的方向特征，因而影響最后的融合效果。
技術(shù)實現(xiàn)要素：
針對上述技術(shù)問題，本發(fā)明目的是，提供一種精度高、實時性好，能充分利用小波方向特征的圖像融合方法。
本發(fā)明解決上述技術(shù)問題采用以下技術(shù)方案：基于小波方向相關(guān)系數(shù)的圖像融合方法，利用小波變換將圖像分解成低頻和高頻部分，低頻子帶采用基于循環(huán)移位子塊空間頻率相關(guān)系數(shù)確定的像素點融合規(guī)則；對于各高頻子帶根據(jù)其所在子帶的方向特征，采用基于方向特性的區(qū)域能量及梯度的歸一化相關(guān)系數(shù)差確定高頻系數(shù)。
具體步驟如下：
步驟001.待融合的兩幅圖像A和B分別進(jìn)行去噪和圖像配準(zhǔn)；
步驟002.對經(jīng)去噪和圖像配準(zhǔn)的A、B兩幅圖像分別進(jìn)行3層db3(為小波變換選取的小波基)小波變換，分離出高頻圖像(水平、垂直和對角線三個方向)和低頻圖像；
步驟003.對A、B兩幅圖像的低頻圖像進(jìn)行融合，具體包括：
步驟0031.將A、B兩幅圖像低頻分量循環(huán)移位分解成大小為3×3的子圖像塊，分別記為Alk、Blk(l,k分別為子塊的行列序號)；
步驟0032.分別計算Alk、Blk的空間頻率
(M,N分別為子塊的行列值,即M＝3,N＝3)
步驟0033.計算對應(yīng)子塊Alk、Blk之間的相關(guān)系數(shù)
步驟0034.低頻融合規(guī)則為CFK＝ωCAK+(1-ω)CBK，ω為加權(quán)因子，
步驟004.對A、B兩幅圖像的各層水平高頻圖像進(jìn)行融合，具體包括：
步驟0041.計算A和B兩幅圖像水平高頻子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域水平方向上的能量和
表示A圖像在水平方向H上(x,y)點的小波系數(shù)值,水平方向的加權(quán)模板WH取為：
步驟0042.計算兩幅圖像對應(yīng)區(qū)域內(nèi)(x,y)點的水平方向能量相關(guān)系數(shù)
步驟0043.通過Sobel水平方向算子SH和垂直方向算子SV計算水平子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域方向梯度和
步驟0044.計算兩幅水平高頻圖像對應(yīng)區(qū)域內(nèi)(x,y)點的方向梯度相關(guān)系數(shù)
步驟0045.將水平方向能量相關(guān)系數(shù)和水平方向梯度相關(guān)系數(shù)進(jìn)行歸一化處理
步驟0046.計算上述歸一化相關(guān)系數(shù)之差
步驟0047.水平高頻圖像融合規(guī)則，具體包括：
步驟00471.若|m(x,y)|≥T，采用局部能量或梯度的極大值作為融合結(jié)果
步驟00472.若|m(x,y)|＜T，采用局部能量或梯度的極大值或加權(quán)平均作為融合結(jié)果
T(0＜T＜1)是一個閾值，取值范圍為0.2～0.5。
步驟005.對A、B兩幅圖像的各層垂直高頻圖像進(jìn)行融合，具體包括：
步驟0051.計算A和B兩幅圖像垂直高頻子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域垂直方向上的能量和
表示A圖像在垂直方向V上(x,y)點的小波系數(shù)值,垂直方向的加權(quán)模板WV取為：
步驟0052.計算兩幅圖像對應(yīng)區(qū)域內(nèi)(x,y)點的垂直方向能量相關(guān)系數(shù)
步驟0053.通過Sobel水平方向算子SH和垂直方向算子SV計算垂直子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域方向梯度和
步驟0054.計算兩幅垂直高頻圖像對應(yīng)區(qū)域內(nèi)(x,y)點的垂直方向梯度相關(guān)系數(shù)
步驟0055.將垂直方向能量相關(guān)系數(shù)和垂直方向梯度相關(guān)系數(shù)進(jìn)行歸一化處理
步驟0056.計算上述歸一化相關(guān)系數(shù)之差
步驟0057.垂直高頻圖像融合規(guī)則，具體包括：
步驟00571.若|m(x,y)|≥T，采用局部能量或梯度的極大值作為融合結(jié)果
步驟00572.若|m(x,y)|＜T，采用局部能量或梯度的極大值或加權(quán)平均作為融合結(jié)果
T(0＜T＜1)是一個閾值，取值范圍為0.2～0.5。
步驟006.對A、B兩幅圖像的各層對角線高頻圖像進(jìn)行融合，具體包括：
步驟0061.計算A和B兩幅圖像對角線高頻子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域?qū)蔷€方向上的能量和
表示A圖像在對角線方向d上(x,y)點的小波系數(shù)值,對角線方向的加權(quán)模板Wd取為：
步驟0062.計算兩幅圖像對應(yīng)區(qū)域內(nèi)(x,y)點的對角線方向能量相關(guān)系數(shù)
步驟0063.通過Sobel水平方向算子SH和垂直方向算子SV計算對角線子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域方向梯度和
步驟0064.計算兩幅對角線高頻圖像對應(yīng)區(qū)域內(nèi)(x,y)點的對角線方向梯度相關(guān)系數(shù)
步驟0065.將對角線方向能量相關(guān)系數(shù)和對角線方向梯度相關(guān)系數(shù)進(jìn)行歸一化處理
步驟0066.計算上述歸一化相關(guān)系數(shù)之差
步驟0067.對角線高頻圖像融合規(guī)則，具體包括：
步驟00671.若|m(x,y)|≥T，采用局部能量或梯度的極大值作為融合結(jié)果
步驟00672.若|m(x,y)|＜T，采用局部能量或梯度的極大值或加權(quán)平均作為融合結(jié)果
T(0＜T＜1)是一個閾值，取值范圍為0.2～0.5。
步驟007.將步驟003、004、005和006獲得的融合低頻子圖、融合水平高頻子圖、融合垂直高頻子圖和融合對角線高頻子圖，利用小波逆變換重構(gòu)出最后的清晰圖像。
作為一種優(yōu)選方案，低頻圖像循環(huán)分塊時，子塊在超出邊界的邊緣處像素做補(bǔ)零處理。
有益效果：本發(fā)明所述一種基于小波方向相關(guān)系數(shù)的圖像融合方法，采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，算法簡單、易實現(xiàn)、精度高，采用循環(huán)移位塊操作自動更新低頻小波融合系數(shù)，充分考慮了小波系數(shù)空間頻率的相關(guān)性以及能量和梯度之間存在的方向相關(guān)性，自適應(yīng)的選擇不同的融合規(guī)則，參與的系數(shù)更符合實際、更重要、更顯著，有效提高了圖像融合的精度，同時參與的相鄰系數(shù)減少，降低了融合的復(fù)雜度。
附圖說明
圖1是本發(fā)明設(shè)計一種基于小波方向相關(guān)系數(shù)的圖像融合方法流程圖。
具體實施方式
下面結(jié)合說明書附圖對本發(fā)明的具體實施方式作進(jìn)一步詳細(xì)的說明。
如圖1所示，本發(fā)明設(shè)計了一種基于小波方向相關(guān)系數(shù)的圖像融合方法，利用小波變換將源圖像分解成不同尺度的低頻和高頻部分，低頻子帶采用基于循環(huán)移位子塊空間頻率相關(guān)系數(shù)確定的像素點融合規(guī)則；對于各高頻子帶根據(jù)其所在子帶的方向特征，采用基于方向特性的區(qū)域能量及梯度的歸一化相關(guān)系數(shù)差確定高頻系數(shù)。
具體步驟如下：
步驟001.待融合的兩幅圖像A和B分別進(jìn)行去噪和圖像配準(zhǔn)；
步驟002.對經(jīng)去噪和圖像配準(zhǔn)的A、B兩幅圖像分別進(jìn)行3層db3小波變換，分離出高頻圖像(水平、垂直和對角線三個方向)和低頻圖像；
步驟003.對A、B兩幅圖像的低頻圖像進(jìn)行融合，具體包括：
步驟0031.將A、B兩幅圖像低頻分量循環(huán)移位分解成大小為3×3的子圖像塊，分別記為Alk、Blk(l,k分別為子塊的行列序號)；
步驟0032.分別計算Alk、Blk的空間頻率
(M,N分別為子塊的行列值,即M＝3,N＝3)
步驟0033.計算對應(yīng)子塊Alk、Blk之間的相關(guān)系數(shù)
步驟0034.低頻融合規(guī)則為CFK＝ωCAK+(1-ω)CBK，ω為加權(quán)因子，
步驟004.對A、B兩幅圖像的各層水平高頻圖像進(jìn)行融合，具體包括：
步驟0041.計算A和B兩幅圖像水平高頻子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域水平方向上的能量和
表示A圖像在水平方向H上(x,y)點的小波系數(shù)值,水平方向的加權(quán)模板WH取為：
步驟0042.計算兩幅圖像對應(yīng)區(qū)域內(nèi)(x,y)點的水平方向能量相關(guān)系數(shù)
步驟0043.通過Sobel水平方向算子SH和垂直方向算子SV計算水平子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域方向梯度和
步驟0044.計算兩幅水平高頻圖像對應(yīng)區(qū)域內(nèi)(x,y)點的方向梯度相關(guān)系數(shù)
步驟0045.將水平方向能量相關(guān)系數(shù)和水平方向梯度相關(guān)系數(shù)進(jìn)行歸一化處理
步驟0046.計算上述歸一化相關(guān)系數(shù)之差
步驟0047.水平高頻圖像融合規(guī)則，具體包括：
步驟00471.若|m(x,y)|≥T，采用局部能量或梯度的極大值作為融合結(jié)果
步驟00472.若|m(x,y)|＜T，采用局部能量或梯度的極大值或加權(quán)平均作為融合結(jié)果
T(0＜T＜1)是一個閾值，取值范圍為0.2～0.5。
步驟005.對A、B兩幅圖像的各層垂直高頻圖像進(jìn)行融合，具體包括：
步驟0051.計算A和B兩幅圖像垂直高頻子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域垂直方向上的能量和
表示A圖像在垂直方向V上(x,y)點的小波系數(shù)值,垂直方向的加權(quán)模板WV取為：
步驟0052.計算兩幅圖像對應(yīng)區(qū)域內(nèi)(x,y)點的垂直方向能量相關(guān)系數(shù)
步驟0053.通過Sobel水平方向算子SH和垂直方向算子SV計算垂直子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域方向梯度和
步驟0054.計算兩幅垂直高頻圖像對應(yīng)區(qū)域內(nèi)(x,y)點的垂直方向梯度相關(guān)系數(shù)
步驟0055.將垂直方向能量相關(guān)系數(shù)和垂直方向梯度相關(guān)系數(shù)進(jìn)行歸一化處理
步驟0056.計算上述歸一化相關(guān)系數(shù)之差
步驟0057.垂直高頻圖像融合規(guī)則，具體包括：
步驟00571.若|m(x,y)|≥T，采用局部能量或梯度的極大值作為融合結(jié)果
步驟00572.若|m(x,y)|＜T，采用局部能量或梯度的極大值或加權(quán)平均作為融合結(jié)果
T(0＜T＜1)是一個閾值，取值范圍為0.2～0.5。
步驟006.對A、B兩幅圖像的各層對角線高頻圖像進(jìn)行融合，具體包括：
步驟0061.計算A和B兩幅圖像對角線高頻子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域?qū)蔷€方向上的能量和
表示A圖像在對角線方向d上(x,y)點的小波系數(shù)值,對角線方向的加權(quán)模板Wd取為：
步驟0062.計算兩幅圖像對應(yīng)區(qū)域內(nèi)(x,y)點的對角線方向能量相關(guān)系數(shù)
步驟0063.通過Sobel水平方向算子SH和垂直方向算子SV計算對角線子帶小波系數(shù)以(x,y)為中心點的3×3窗口區(qū)域方向梯度和
步驟0064.計算兩幅對角線高頻圖像對應(yīng)區(qū)域內(nèi)(x,y)點的對角線方向梯度相關(guān)系數(shù)
步驟0065.將對角線方向能量相關(guān)系數(shù)和對角線方向梯度相關(guān)系數(shù)進(jìn)行歸一化處理
步驟0066.計算上述歸一化相關(guān)系數(shù)之差
步驟0067.對角線高頻圖像融合規(guī)則，具體包括：
步驟00671.若|m(x,y)|≥T，采用局部能量或梯度的極大值作為融合結(jié)果
步驟00672.若|m(x,y)|＜T，采用局部能量或梯度的極大值或加權(quán)平均作為融合結(jié)果
T(0＜T＜1)是一個閾值，取值范圍為0.2～0.5。
步驟007.將步驟003、004、005和006獲得的融合低頻子圖、融合水平高頻子圖、融合垂直高頻子圖和融合對角線高頻子圖，利用小波逆變換重構(gòu)出最后的清晰圖像。
作為一種優(yōu)選方案，低頻圖像循環(huán)分塊時，子塊在超出邊界的邊緣處像素做補(bǔ)零處理。
本發(fā)明設(shè)計的圖像融合方法，設(shè)計方法簡潔明了，有效的利用了圖像經(jīng)小波分解后，低頻子帶的近似特性，加權(quán)因子通過圖像塊之間空間頻率的相關(guān)系數(shù)確定，且采用循環(huán)移位塊操作自動更新小波融合系數(shù)；而高頻子帶具有不同的方向特性，對不同方向的子帶，采用不同方向的模板，通過計算區(qū)域方向能量和梯度的歸一化相關(guān)系數(shù)差，自適應(yīng)的選擇不同的融合規(guī)則，即取模極大還是加權(quán)平均。相對于傳統(tǒng)圖像融合規(guī)則，該規(guī)則在確定高頻融合系數(shù)的過程中，參與的系數(shù)更符合實際、更重要、更顯著，進(jìn)而提高了融合的精度，而且由于參與的相鄰系數(shù)減少，降低了融合的復(fù)雜度。
綜上，通過建立并實施本發(fā)明設(shè)計的基于小波方向相關(guān)系數(shù)的圖像融合方法，能夠有效利用圖像的低頻空間相關(guān)性和高頻方向特性，提高圖像融合的效率和精度，具有廣闊的市場應(yīng)用前景與經(jīng)濟(jì)價值。
上面結(jié)合附圖對本發(fā)明的實施方式作了詳細(xì)說明，但是本發(fā)明并不限于上述實施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。