圖像融合的方法和裝置制造方法
【專利摘要】本發(fā)明的實(shí)施方式提供了一種用于圖像融合的方法和裝置。根據(jù)本發(fā)明的實(shí)施方式的一種用于圖像融合的方法，包括：獲取針對(duì)同一場景的多個(gè)圖像；以及基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
【專利說明】圖像融合的方法和裝置
【技術(shù)領(lǐng)域】
本發(fā)明涉及圖像處理領(lǐng)域，更具體而言，涉及對(duì)多源圖像進(jìn)行圖像融合的領(lǐng)域。
【背景技術(shù)】
隨著多源圖像在許多領(lǐng)域的應(yīng)用，圖像融合已經(jīng)成為一種重要的引人關(guān)注的圖像處理和模式識(shí)別技術(shù)。圖像融合就是將兩幅或兩幅以上的源圖像組合成一幅包含各源圖像顯著信息的復(fù)合圖像。圖像融合的應(yīng)用領(lǐng)域包括曝光融合[1-2]、遙感[3-4]、醫(yī)療成像[5]、質(zhì)量和缺陷檢測(cè)和生物特征識(shí)別[6]，尤其是在移動(dòng)平臺(tái)中，非常需要將多源圖像進(jìn)行融合，以獲得關(guān)于所測(cè)場景更好的描述和說明。
在圖像融合時(shí)，總是希望融合后的圖像能夠既有高空間分辨率又有高光譜分辨率，以獲得對(duì)所測(cè)場景更好的描述和理解。然而，由于物理或觀察方面的限制，高空間分辨率和高光譜分辨率通常并不能同時(shí)得到。例如通常來說，高分辨率圖像具有高空間分辨率但是光譜分辨率很差，而多光譜圖像具有高光譜分辨率但是空間分辨率很低。
圖像融合應(yīng)當(dāng)遵循某些融合規(guī)則來構(gòu)建合成的融合圖像，在這方面已經(jīng)建議了許多方法來對(duì)高分辨率圖像和多光譜數(shù)據(jù)進(jìn)行融合。例如，Nunez等人[8]使用加性小波(AW)算法將高分辨率圖像(SPOT)與低分辨率多光譜圖像(Landsat專題制圖儀(TM))進(jìn)行融合，并用TM圖像的頻帶去替代SPOT高分辨率圖像的小波低頻部分。
然而，這些融合方法都是逐點(diǎn)地執(zhí)行融合并且僅僅使用鄰域的局部信息。另一個(gè)缺點(diǎn)是多尺度方法保留了較多的光譜信息而忽略了一些空間信息[9]。

【發(fā)明內(nèi)容】

鑒于此，本發(fā)明的實(shí)施方式提供了一種新的融合方案，其基于貝葉斯(Bayes)分析并引入核函數(shù)來進(jìn)行圖像融合。
根據(jù)本發(fā)明的第一個(gè)方面，提供了一種用于圖像融合的方法，包括:獲取針對(duì)同一場景的多個(gè)圖像；以及基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
根據(jù)本發(fā)明的第二個(gè)方面，提供了一種圖像融合設(shè)備，包括:獲取單元，被配置為獲取針對(duì)同一場景的多個(gè)圖像；以及融合圖像計(jì)算單元，被配置為基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
根據(jù)本發(fā)明的第三個(gè)方面，提供了一種用于圖像融合的裝置，包括:用于獲取針對(duì)同一場景的多個(gè)圖像的模塊；以及用于基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像的模塊。
根據(jù)本發(fā)明的第四個(gè)方面，提供了一種圖像融合設(shè)備，包括:至少一個(gè)數(shù)據(jù)處理器；以及與該數(shù)據(jù)處理器耦合的至少一個(gè)存儲(chǔ)器，該存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，其中該圖像融合設(shè)備被配置為利用該數(shù)據(jù)處理器和該存儲(chǔ)器來至少執(zhí)行:獲取針對(duì)同一場景的多個(gè)圖像；以及基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
利用本發(fā)明的實(shí)施方式的方案，能夠?qū)Χ嘣磮D像(例如高分辨率圖像和多光譜圖像)進(jìn)行全局融合，從而將高分辨率圖像的細(xì)節(jié)信息盡可能地結(jié)合到融合圖像中，并且盡可能地保留多光譜圖像的光譜信息。
【專利附圖】

【附圖說明】
通過以下結(jié)合附圖的說明，并且隨著對(duì)本發(fā)明的更全面了解，本發(fā)明的其他目的和效果將變得更加清楚和易于理解，其中:
圖1A示出了根據(jù)本發(fā)明一種實(shí)施方式進(jìn)行圖像融合的方法的流程圖；
圖1B示出了根據(jù)本發(fā)明一種【具體實(shí)施方式】的計(jì)算融合圖像的方法步驟的流程圖；
圖2示例性地示出了根據(jù)圖1所示的方法的核函數(shù)和融合圖像的優(yōu)化過程；
圖3示出了根據(jù)本發(fā)明實(shí)施方式進(jìn)行圖像融合的圖像融合設(shè)備的方框圖；
圖4示意性示出了根據(jù)本發(fā)明實(shí)施方式的圖像融合設(shè)備的方框圖；
圖5示例性地示出了根據(jù)本發(fā)明的實(shí)施方式的圖像融合方案與現(xiàn)有技術(shù)的圖像融合方案所產(chǎn)生的融合圖像的比較；以及
圖6示出了圖5中的融合結(jié)果的量化比較。
在所有的上述附圖中，相同的標(biāo)號(hào)表示具有相同、相似或相應(yīng)的特征或功能。
【具體實(shí)施方式】
下面將參照附圖更詳細(xì)地描述本公開的優(yōu)選實(shí)施方式。雖然附圖中顯示了本公開的優(yōu)選實(shí)施方式，然而應(yīng)該理解，可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
圖1A示出了根據(jù)本發(fā)明一種實(shí)施方式進(jìn)行圖像融合的方法100的流程圖。根據(jù)本發(fā)明的實(shí)施方式，方法100對(duì)針對(duì)同一場景的多個(gè)圖像(多源圖像)進(jìn)行融合以得到融合圖像。在本發(fā)明的一種實(shí)施方式中，多源圖像包括具有較高空間分辨率的高分辨率圖像和具有較高光譜分辨率的多光譜圖像。
方法100開始于步驟110。在步驟110，獲取針對(duì)同一場景的多個(gè)圖像。例如，所獲取的多個(gè)圖像包括高分辨率圖像SI和多光譜圖像ML。
接下來，在步驟120，基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
在一種實(shí)施方式中，步驟120進(jìn)一步包括利用核函數(shù)建立所獲取的多個(gè)圖像與融合圖像R之間的關(guān)系，如圖1B中的步驟122所示。圖1B示出了根據(jù)本發(fā)明一種【具體實(shí)施方式】的計(jì)算融合圖像的方法步驟120的流程圖。這里，融合圖像R是對(duì)所述多個(gè)圖像，如高分辨率圖像SI和多光譜圖像ML，進(jìn)行圖像融合的結(jié)果。例如，所述關(guān)系可以表示為:
ML = H*R+ η(I)
其中，H是核函數(shù)，其是反映多光譜圖像ML與融合圖像R之間的聯(lián)系的復(fù)數(shù)因子，η是未知噪聲，*是卷積運(yùn)算符。
在本發(fā)明的一種實(shí)施方式中，核函數(shù)H是在圖像去模糊處理中常用的PSF(點(diǎn)擴(kuò)散函數(shù))函數(shù)。然而，本發(fā)明并不局限于此，任何滿足光滑性約束的核函數(shù)都可以應(yīng)用于本發(fā)明，如下所詳述。
接下來，在步驟124，基于步驟122所建立的關(guān)系，通過貝葉斯分析構(gòu)建能量函數(shù)作為融合圖像R與核函數(shù)H的函數(shù)。
從等式(I)可以看出，在只有多光譜圖像ML已知的情況下不可能估計(jì)出核函數(shù)H和融合圖像R。因此，發(fā)明人利用貝葉斯分析根據(jù)上述等式(I)建立了核函數(shù)H、融合圖像R和多光譜圖像ML之間的聯(lián)系，如下式所示:
p(R, HI ML) = p(ML|R，H)p(R|H)p(H)(2)
其中，p(R，H|ML)表示在多光譜圖像ML已知的情況下融合圖像R和核函數(shù)H的聯(lián)合概率，P (ML |R，H)表示在融合圖像R和核函數(shù)H已知的情況下多光譜圖像ML的似然性，即條件概率，P(RlH)表示核函數(shù)H已知的情況下融合圖像R的條件概率，P (H)是核函數(shù)H的先驗(yàn)概率。
在一種實(shí)施方式中，未知噪聲r(shí)I被建模為對(duì)于所有像素來說獨(dú)立同分布的一組隨機(jī)噪聲變量，每個(gè)噪聲變量都符合均值為O、標(biāo)準(zhǔn)差為O1的高斯分布。因此根據(jù)等式(I)，P (ML Ir，H)可以表示為:
【權(quán)利要求】
1.一種用于圖像融合的方法，包括: 獲取針對(duì)同一場景的多個(gè)圖像；以及 基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
2.如權(quán)利要求1所述的方法，其中計(jì)算融合圖像進(jìn)一步包括: 利用所述核函數(shù)建立所述多個(gè)圖像與所述融合圖像之間的關(guān)系； 基于所述關(guān)系，通過貝葉斯分析構(gòu)建能量函數(shù)作為所述融合圖像與所述核函數(shù)的函數(shù)；以及 利用所構(gòu)建的能量函數(shù)，基于所述核函數(shù)來計(jì)算所述融合圖像。
3.如權(quán)利要求1所述的方法，其中所述融合圖像的梯度被設(shè)置得基本上等于所述多個(gè)圖像中空間分辨率較高的圖像的梯度。
4.如權(quán)利要求1所述的方法，還包括: 當(dāng)不滿足預(yù)定的融合標(biāo)準(zhǔn)時(shí)，利用所計(jì)算的融合圖像更新所述核函數(shù)。
5.如權(quán)利要求4所述的方法，還包括: 基于更新后的核函數(shù)來優(yōu)化所述融合圖像。
6.如權(quán)利要求4所述的方法，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所述更新的次數(shù)。
7.如權(quán)利要求4所述的方法，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所計(jì)算的融合圖像的質(zhì)量。
8.如權(quán)利要求1所述的方法，其中所述多個(gè)圖像包括高分辨率圖像和多光譜圖像。
9.如權(quán)利要求1所述的方法，其中所述核函數(shù)是點(diǎn)擴(kuò)散函數(shù)PSF。
10.一種圖像融合設(shè)備，包括: 獲取單元，被配置為獲取針對(duì)同一場景的多個(gè)圖像；以及 融合圖像計(jì)算單元，被配置為基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
11.如權(quán)利要求10所述的圖像融合設(shè)備，其中所述融合圖像計(jì)算單元進(jìn)一步包括: 建模子單元，被配置為利用所述核函數(shù)建立所述多個(gè)圖像與所述融合圖像之間的關(guān)系; 能量函數(shù)構(gòu)建子單元，被配置為基于所述關(guān)系，通過貝葉斯分析構(gòu)建能量函數(shù)作為所述融合圖像與所述核函數(shù)的函數(shù)；以及 計(jì)算子單元，被配置為利用所構(gòu)建的能量函數(shù)，基于所述核函數(shù)來計(jì)算所述融合圖像。
12.如權(quán)利要求10所述的圖像融合設(shè)備，其中所述融合圖像的梯度被設(shè)置得基本上等于所述多個(gè)圖像中空間分辨率較高的圖像的梯度。
13.如權(quán)利要求10所述的圖像融合設(shè)備，還包括: 核函數(shù)優(yōu)化單元，被配置為當(dāng)不滿足預(yù)定的融合標(biāo)準(zhǔn)時(shí)，利用所計(jì)算的融合圖像來更新所述核函數(shù)。
14.如權(quán)利要求13所述的圖像融合設(shè)備，其中所述融合圖像計(jì)算單元還被配置為: 基于更新后的核函數(shù)來優(yōu)化所述融合圖像。
15.如權(quán)利要求13所述的圖像融合設(shè)備，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所述更新的次數(shù)。
16.如權(quán)利要求13所述的圖像融合設(shè)備，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所計(jì)算的融合圖像的質(zhì)量。
17.如權(quán)利要求10所述的圖像融合設(shè)備，其中所述多個(gè)圖像包括高分辨率圖像和多光譜圖像。
18.如權(quán)利要求10所述的圖像融合設(shè)備，其中所述核函數(shù)是點(diǎn)擴(kuò)散函數(shù)PSF。
19.一種用于圖像融合的裝置，包括: 用于獲取針對(duì)同一場景的多個(gè)圖像的模塊；以及 用于基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像的模塊。
20.如權(quán)利要求19所述的裝置，其中所述計(jì)算融合圖像的模塊進(jìn)一步包括: 用于利用所述核函數(shù)建立所述多個(gè)圖像與所述融合圖像之間的關(guān)系的模塊； 用于基于所述關(guān)系，通過貝葉斯分析構(gòu)建能量函數(shù)作為所述融合圖像與所述核函數(shù)的函數(shù)的模塊；以及 用于利用所構(gòu)建的能量函數(shù)，基于所述核函數(shù)來計(jì)算所述融合圖像的模塊。
21.如權(quán)利要求19所述的裝置，其中所述融合圖像的梯度被設(shè)置得基本上等于所述多個(gè)圖像中空間分辨率較高的圖像的梯度。
22.如權(quán)利要求19所述的裝置，還包括: 用于當(dāng)不滿足預(yù)定的融合標(biāo)準(zhǔn)時(shí)，利用所計(jì)算的融合圖像來更新所述核函數(shù)的模塊。
23.如權(quán)利要求22所述的裝置，其中所述計(jì)算融合圖像的模塊還包括: 用于基于更新后的核函數(shù)來優(yōu)化所述融合圖像的模塊。
24.如權(quán)利要求22所述的裝置，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所述更新的次數(shù)。
25.如權(quán)利要求22所述的裝置，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所計(jì)算的融合圖像的質(zhì)量。
26.如權(quán)利要求19所述的裝置，其中所述多個(gè)圖像包括高分辨率圖像和多光譜圖像。
27.如權(quán)利要求19所述的裝置，其中所述核函數(shù)是點(diǎn)擴(kuò)散函數(shù)PSF。
28.一種圖像融合設(shè)備，包括: 至少一個(gè)數(shù)據(jù)處理器；以及 與所述數(shù)據(jù)處理器耦合的至少一個(gè)存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序， 其中所述圖像融合設(shè)備被配置為利用所述數(shù)據(jù)處理器和所述存儲(chǔ)器來至少執(zhí)行: 獲取針對(duì)同一場景的多個(gè)圖像；以及 基于貝葉斯分析，利用核函數(shù)計(jì)算所述多個(gè)圖像的融合圖像。
29.如權(quán)利要求28所述的圖像融合設(shè)備，其中所述圖像融合設(shè)備被進(jìn)一步配置為利用所述數(shù)據(jù)處理器和所述存儲(chǔ)器來至少執(zhí)行: 利用所述核函數(shù)建立所述多個(gè)圖像與所述融合圖像之間的關(guān)系； 基于所述關(guān)系，通過貝葉斯分析構(gòu)建能量函數(shù)作為所述融合圖像與所述核函數(shù)的函數(shù)；以及 利用所構(gòu)建的能量函數(shù)，基于所述核函數(shù)來計(jì)算所述融合圖像。
30.如權(quán)利要求28所述的圖像融合設(shè)備，其中所述融合圖像的梯度被設(shè)置得基本上等于所述多個(gè)圖像中空間分辨率較高的圖像的梯度。
31.如權(quán)利要求28所述的圖像融合設(shè)備，其中所述圖像融合設(shè)備被進(jìn)一步配置為利用所述數(shù)據(jù)處理器和所述存儲(chǔ)器來至少執(zhí)行: 當(dāng)不滿足預(yù)定的融合標(biāo)準(zhǔn)時(shí)，利用所計(jì)算的融合圖像來更新所述核函數(shù)。
32.如權(quán)利要求31所述的圖像融合設(shè)備，其中所述圖像融合設(shè)備被進(jìn)一步配置為利用所述數(shù)據(jù)處理器和所述存儲(chǔ)器來至少執(zhí)行: 基于更新后的核函數(shù)來優(yōu)化所述融合圖像。
33.如權(quán)利要求31所述的圖像融合設(shè)備，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所述更新的次數(shù)。
34.如權(quán)利要求31所述的圖像融合設(shè)備，其中所述預(yù)定的融合標(biāo)準(zhǔn)是所計(jì)算的融合圖像的質(zhì)量。
35.如權(quán)利要求28所述的圖像融合設(shè)備，其中所述多個(gè)圖像包括高分辨率圖像和多光譜圖像。
36.如權(quán)利要求 28所述的圖像融合設(shè)備，其中所述核函數(shù)是點(diǎn)擴(kuò)散函數(shù)PSF。
【文檔編號(hào)】G06T5/50GK103942768SQ201310024506
【公開日】2014年7月23日 申請(qǐng)日期:2013年1月18日 優(yōu)先權(quán)日:2013年1月18日
【發(fā)明者】姜安, 崔峰, 謝啟偉 申請(qǐng)人:諾基亞公司