本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，具體涉及一種基于二維耦合卷積的多聚焦圖像融合方法。

背景技術(shù)：

隨著信息技術(shù)的快速發(fā)展，圖像的獲取已從最初的可見光傳感器到現(xiàn)在的高光譜、雷達(dá)、多光譜等不同傳感器，相應(yīng)獲取的圖像數(shù)據(jù)量也大大增加。由于成像技術(shù)條件限制和成像原理的差異，對(duì)于任意一個(gè)單一的圖像都只能反映目標(biāo)對(duì)象的一方面特征，使得其應(yīng)用范圍極為有限。而圖像融合技術(shù)就是對(duì)同一場(chǎng)景的兩個(gè)或者兩個(gè)以上圖像的有效特征相融合成新圖像的過程，使得獲得的融合圖像能更全面反映目標(biāo)的特征，大大增加數(shù)據(jù)分析的精度和可靠性。例如對(duì)于可見光傳感器成像系統(tǒng)來說，在一幅場(chǎng)景深度不同的圖像中，圖像中聚焦的目標(biāo)會(huì)呈現(xiàn)出清晰的圖像，而與該目標(biāo)前后一定距離的其他目標(biāo)都將會(huì)有不同程度的模糊。

作為數(shù)據(jù)融合技術(shù)的主要分支，圖像融合可以減少單一圖像對(duì)目標(biāo)描述的不確定性，得到一個(gè)信息更為豐富、模糊較少、可靠度更好的圖像以便于人觀察或者計(jì)算機(jī)處理，其作用包括：圖像增強(qiáng)、特征提取、識(shí)別、跟蹤、分類等。圖像融合技術(shù)已經(jīng)在計(jì)算機(jī)視覺、醫(yī)學(xué)圖像、遙感圖像、軍事等領(lǐng)域得到了廣泛應(yīng)用。

現(xiàn)有的圖像融合技術(shù)為了使得場(chǎng)景內(nèi)所有目標(biāo)都能呈現(xiàn)出清晰的圖像，首先將成像系統(tǒng)聚焦在一部分目標(biāo)上，得到一個(gè)部分目標(biāo)清晰的圖像，再聚 焦另一部分目標(biāo)上，得到另一個(gè)部分目標(biāo)清晰的圖像，最后利用融合算法將這兩幅圖像加以融合，得到所有目標(biāo)都清晰的圖像(王亞杰,王曉巖,劉學(xué)平.基于小波變換的多聚焦圖像融合評(píng)述[J].沈陽航空工業(yè)學(xué)院學(xué)報(bào),2005,04:65-67)。

現(xiàn)有融合方法有小波變換融合方法和離散余弦變換法等，這兩種方法都存在融合后圖像邊緣不清晰，會(huì)出現(xiàn)偽輪廓的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于二維耦合卷積的多聚焦圖像融合方法，該方法能獲得較高質(zhì)量的融合圖像，解決了現(xiàn)有圖像融合技術(shù)邊沿細(xì)節(jié)不清晰的問題。

本發(fā)明所采用的技術(shù)方案是，一種基于二維耦合卷積的多聚焦圖像融合方法，包括以下步驟：

步驟1，對(duì)同一場(chǎng)景采集多張聚焦目標(biāo)不同的圖像，然后進(jìn)行圖像配準(zhǔn)；

步驟2，輸入融合圖像，I₁,I₂∈R^I×J，并用滑窗技術(shù)將其分成L個(gè)大小為M×N的圖像塊，表示第i張待融合圖像的第j個(gè)圖像塊，初始化一個(gè)空矩陣O∈R^I×J用于存放融合后的圖像；

步驟3，依次取j＝1,2,…,L，分別執(zhí)行步驟3-1至3-4；

步驟3-1，將步驟2的數(shù)據(jù)建模成單輸入多輸出系統(tǒng)，I^j表示輸入場(chǎng)景， 表示聚焦函數(shù)，表示經(jīng)過不同系統(tǒng)的輸出；構(gòu)建二維耦合卷積模型：

根據(jù)按照下式構(gòu)造矩陣X_j，

其中:

同理構(gòu)造矩陣Y_j；

步驟3-2，按照下式計(jì)算R，

R＝[X_j-Y_j]^T[X_j-Y_j]

步驟3-3，用特征值分解計(jì)算模型中的成像系統(tǒng)和的最優(yōu)解為R的最小特征值對(duì)應(yīng)的特征向量；然后比較和的方差，選出清晰的圖像塊

步驟3-4，按原來在待融合圖像中的位置，將疊放到矩陣O中；

步驟4，對(duì)于矩陣O中每一個(gè)像素除以其相加的次數(shù)，然后獲得最終的輸出融合圖像。

本發(fā)明的特點(diǎn)還在于：

步驟2中p表示滑窗步長(zhǎng)，p<M且p<N。

本發(fā)明的有益效果是，本發(fā)明的方法與現(xiàn)有方法相比，能準(zhǔn)確的判斷出清晰的圖像塊，使得融合圖像具有較強(qiáng)的魯棒性，可以很好地融合圖像清晰 的重要細(xì)節(jié)，也不會(huì)引入人為的痕跡。

附圖說明

圖1是本發(fā)明成像系統(tǒng)示意圖；

圖2是本發(fā)明擴(kuò)展的成像系統(tǒng)示意圖；

圖3-1表示第一種實(shí)施例的一個(gè)聚焦圖像，圖3-2表示另一個(gè)聚焦圖像，圖3-f表示融合圖像；

圖4-1表示第二種實(shí)施例的一個(gè)聚焦圖像，圖4-2表示另一個(gè)聚焦圖像，圖4-f表示融合圖像；

圖5-1表示第三種實(shí)施例的一個(gè)聚焦圖像，圖5-2表示另一個(gè)聚焦圖像，圖5-f表示融合圖像；

圖6-1表示第四種實(shí)施例的一個(gè)聚焦圖像，圖6-2表示另一個(gè)聚焦圖像，圖6-f表示融合圖像；

圖7是本發(fā)明方法與小波變換方法、離散余弦變換法融合細(xì)節(jié)對(duì)比圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明，但本發(fā)明并不限于該實(shí)施方式。

本發(fā)明的多聚焦圖像融合方法，首先采用CCD照相機(jī)對(duì)同一場(chǎng)景采集多張聚焦目標(biāo)不同的圖像，然后進(jìn)行圖像配準(zhǔn)，圖像配準(zhǔn)可采用現(xiàn)有的配準(zhǔn)方法進(jìn)行。

將大小為I×J的圖像用滑窗技術(shù)將其分成大小為M×N的若干圖像塊，用 表示第i張待融合圖像的第j個(gè)圖像塊，設(shè)定滑窗步長(zhǎng)p(p<M且p<N)。

雖然圖像塊來自不同的待融合圖像，但它們都是來自同一場(chǎng)中的目標(biāo)所成的像(只是聚焦程度不一樣)，因此將上述分析建模成單輸入多輸出系統(tǒng)。以兩個(gè)輸出為例，如圖1所示：I^j表示輸入場(chǎng)景，表示聚焦函數(shù)，表示經(jīng)過不同系統(tǒng)的輸出。

利用特征值分解求解出模型中的成像系統(tǒng)

根據(jù)圖1我們有如下表達(dá)式：

其中*代表卷積運(yùn)算，通過二維卷積的交換律和結(jié)合律，得到如圖2、公式(3)所示擴(kuò)展的成像系統(tǒng)。

構(gòu)建如下二維耦合卷積模型：

然后，基于構(gòu)造如下矩陣將上述模型的卷積形式寫為數(shù)學(xué)相乘形式。

其中:

同理，將也寫為矩陣Y_j，可得相乘的形式：

其中

化簡(jiǎn)上式，并且為了避免都為0的情況，增加約束項(xiàng)：

于是有：

其中：很明顯，的最優(yōu)解即為R的最小特征值對(duì)應(yīng)的特征向量。

不失一般性，假設(shè)中的目標(biāo)是聚焦拍攝的(清晰)，而是散焦拍攝的(模糊)。因此上式中解出的就相當(dāng)于是模糊濾波器，相比它的方差更小一些。所以最終通過計(jì)算的方差即可判斷出的清晰程度。

基于上述分析，該方法按照下述步驟執(zhí)行。

第一步：確定圖像分塊的大小M，N。然后設(shè)定滑窗步長(zhǎng)p(p<M，p<N)。

第二歩：輸入融合圖像，I₁,I₂∈R^I×J，并將其分成L個(gè)大小為M×N的圖像塊，其中初始化一個(gè)空矩陣O∈R^I×J用于存放融合數(shù)據(jù)。

第三步：

循環(huán)j＝1,2,…,L

①：通過構(gòu)按照(5)(6)式構(gòu)造矩陣X_j,Y_j。

②：計(jì)算R(通過X_j,Y_j)。

③：用特征值分解計(jì)算然后比較的方差，選出清晰的圖像塊(方差小的對(duì)應(yīng)的圖像塊是清晰的圖像塊.)

④：將疊放到O中(按其原來在待融合圖像中的位置)。循環(huán)結(jié)束。

第四步：對(duì)于O中每一個(gè)像素除以其相加的次數(shù)，然后獲得最終的輸出融合圖像。

采用本發(fā)明的方法分別對(duì)六幅已對(duì)準(zhǔn)好的多聚焦圖像進(jìn)行融合。圖3-1左側(cè)的表是聚焦拍攝(成像清晰的)，圖3-2右側(cè)的表是聚焦拍攝(成像清晰的)，圖3-f是本發(fā)明方法的融合結(jié)果，可以看出，本發(fā)明的方法很好的融合了圖3-1、圖3-2的聚焦拍攝部分，融合后的圖像的左側(cè)和右側(cè)的都很清楚。同理，圖4-1左側(cè)的表是聚焦拍攝(成像清晰的)，圖4-2右側(cè)的人是聚焦拍攝(成像清晰的)，圖4-f是采用本發(fā)明方法的清晰的融合結(jié)果，融合后的圖像的左側(cè)的表和右側(cè)的人等細(xì)節(jié)都很清楚。圖5-1左側(cè)的盆栽是聚焦拍攝(成像清晰的)，圖5-2右側(cè)的鐘表是聚焦拍攝(成像清晰的)，圖5-f是采用本發(fā)明方法的清晰的融合結(jié)果，融合后的圖像的左側(cè)的盆栽和右側(cè)的鐘表等細(xì)節(jié)都很清楚。圖6-1花豹的頭部是聚焦拍攝(成像清晰的)，圖6-2花豹的足是聚焦拍攝(成像清晰的)，圖6-f是采用本發(fā)明方法的清晰的融合結(jié)果，融合后圖像的花豹身體的斑點(diǎn)整體都很清晰。本發(fā)明的方法可以很好地融合圖像清晰的重要細(xì)節(jié)，也不會(huì)引入人為的痕跡。

將本發(fā)明融合方法與傳統(tǒng)的小波變換融合法和離散余弦變換法進(jìn)行對(duì)比， 如圖7所示，左側(cè)圖像表示小波變換融合法的融合結(jié)果，中間圖像表示離散余弦變換法的融合結(jié)果，這兩種融合法人的頭發(fā)邊緣的細(xì)節(jié)信息非常不清晰，而右側(cè)本發(fā)明方法的融合結(jié)果提供了非常清晰的邊緣細(xì)節(jié)，效果明顯優(yōu)于傳統(tǒng)方法。