一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法
【專利摘要】本發(fā)明提供了一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，實(shí)現(xiàn)過(guò)程是1)提取高分辨率全色圖像的Primal?Sketch圖；2）構(gòu)造幾何模版；3）得到劃分高分辨率全色圖像為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域的區(qū)域映射圖；4）得到劃分結(jié)構(gòu)區(qū)域、紋理區(qū)域和光滑區(qū)域的區(qū)域映射圖；5）得到圖像大小和高分辨率全色圖像相同大小的初始的多光譜圖像；6）將初始的多光譜圖像劃分為結(jié)構(gòu)區(qū)域、紋理區(qū)域和光滑區(qū)域；7）得到預(yù)測(cè)的多光譜圖像；8）完成對(duì)預(yù)測(cè)的多光譜圖像上的每一個(gè)像素點(diǎn)的灰度值的計(jì)算，得到融合圖像。本發(fā)明解決了融合圖像中光譜信息失真或者空間分辨率不足的缺點(diǎn)，提高了融合圖像的質(zhì)量。
【專利說(shuō)明】一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，可用于到氣象監(jiān)測(cè)、軍事目標(biāo)識(shí)別、環(huán)境監(jiān)測(cè)、城市規(guī)劃以及防災(zāi)減災(zāi)等多個(gè)領(lǐng)域的技術(shù)。
【背景技術(shù)】
[0002]隨著遙感技術(shù)的發(fā)展，由各種衛(wèi)星傳感器對(duì)地觀測(cè)獲取同一地區(qū)的多源遙感圖像數(shù)據(jù)越來(lái)越多，為軍事目標(biāo)的識(shí)別、環(huán)境監(jiān)測(cè)等提供了豐富而又寶貴的資料。目前遙感技術(shù)應(yīng)用的主要障礙，是從廣闊的數(shù)據(jù)源中提取更豐富、更有用和更可靠信息的能力大小。這就要求我們對(duì)多源圖像數(shù)據(jù)之間的冗余性進(jìn)行充分利用，以降低多源圖像融合的誤差和不確定性，提高識(shí)別率和精確度。多源遙感圖像融合，尤其是多光譜和全色圖像的融合，被認(rèn)為是現(xiàn)代多源圖像處理和分析中非常重要的一步。
[0003]目前，市場(chǎng)上使用的多光譜和全色圖像融合方法主要有三類，一類是傳統(tǒng)的空間變換的融合方法，一類是基于多尺度變換的融合方法，還有一類是目前很多學(xué)者在研究的基于字典學(xué)習(xí)的融合方法。
[0004]基于空間變換的傳統(tǒng)融合方法主要有HIS變換、PCA變換，Gram-Schmidt變換，以及Brovery變換等。這幾種方法因其較低的計(jì)算復(fù)雜度，所以常被用于多個(gè)商業(yè)軟件中。這幾種方法能夠有效的提高融合圖像的空間分辨率，但是它們?cè)谌诤线^(guò)程中產(chǎn)生的光譜失真情況，雖然通過(guò)自適應(yīng)的HIS、P+XS方法對(duì)于融合圖像的光譜扭曲情況有一定的改善，但是仍不能達(dá)到好的效果。
[0005]基于變換域的方法主要有基于拉普拉斯變換的融合方法、基于Wavelet變換的融合方法，以及基于多尺度幾何分析的融合方法，如Contourlet、Bandlet和Shearlet等。這類方法對(duì)于空域變換所產(chǎn)生的光譜失真情況具有較好的改善作用，但是其空間分辨率收到所采用的方法額制約，如Wavelet變換只能將圖像分解為三個(gè)方向，Contourlet變換等雖然能夠?qū)D像分解的方向數(shù)較Wavelet多，但還數(shù)目仍然是有限的。面對(duì)變化多樣的圖像的線條，有限的方向很難達(dá)到最優(yōu)的逼近，從而影響了融合圖像的細(xì)節(jié)信息。
[0006]第三類是基于字典學(xué)習(xí)的融合方法。該類方法的產(chǎn)生就是為了克服固定的基，如Wavelet基、Contourlet基，難以達(dá)到圖像的最優(yōu)逼近而提出的。字典學(xué)習(xí)能夠根據(jù)圖像的內(nèi)容學(xué)習(xí)字典，以達(dá)到對(duì)圖像的最優(yōu)的、最稀疏的表示，該類方法能夠達(dá)到融合圖像細(xì)節(jié)信息的提高，同時(shí)保持融合圖像的光譜質(zhì)量。但是該類方法在字典訓(xùn)練方面，需要較高的時(shí)間復(fù)雜度，很難滿足市場(chǎng)的要求。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是克服現(xiàn)有技術(shù)中對(duì)低分辨率多光譜圖像和高分辨率全色圖像融合過(guò)程中光譜信息和空間分辨率難以平衡的缺點(diǎn)，提出了一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，以解決融合圖像中光譜信息失真或者空間分辨率不足的缺點(diǎn)，提高融合圖像的質(zhì)量。
[0008]為此，本發(fā)明提供了一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，包含如下步驟:
[0009]步驟1:提取高分辨率全色圖像的Primal Sketch圖；
[0010]步驟2:根據(jù)步驟I得到的Primal Sketch圖中線段的方向，以線段上的點(diǎn)為中心，沿著該條線段的方向設(shè)計(jì)大小為7X7的方向窗口，構(gòu)造幾何模版；
[0011]步驟3:對(duì)步驟I中得到的Primal Sketch圖，根據(jù)構(gòu)造的幾何模板，得到劃分高分辨率全色圖像為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域的區(qū)域映射圖；
[0012]步驟4:將步驟3中得到的非結(jié)構(gòu)區(qū)域，根據(jù)圖像的方差統(tǒng)計(jì)特性，將非結(jié)構(gòu)區(qū)域劃分為紋理區(qū)域和光滑區(qū)域，從而得到劃分結(jié)構(gòu)區(qū)域、紋理區(qū)域和光滑區(qū)域的區(qū)域映射圖；
[0013]步驟5:對(duì)低分辨率多光譜圖像采用最近鄰插值方法，得到圖像大小和高分辨率全色圖像相同大小的初始的多光譜圖像，其計(jì)算公式為:
[0014]fHE(2i+m, 2j+l) = fLE(i, j) (i = I,..., ff, j = I,..., H,m = O, I, I = O, I) (I)
[0015]其中W表示低分辨率多光譜圖像的寬，H表示低分辨率多光譜圖像的高，表示低分辨率多光譜圖像，^^表示初始的多光譜圖像；
[0016]步驟6:根據(jù)步驟4中得到的區(qū)域映射圖，將初始的多光譜圖像劃分為結(jié)構(gòu)區(qū)域、紋理區(qū)域和光滑區(qū)域；
[0017]步驟7:對(duì)步驟5得到的初始的多光譜圖像，分別對(duì)其每一個(gè)子帶圖像，調(diào)整位置處于(2i+l，2j+l)的灰度值，針對(duì)結(jié)構(gòu)、紋理區(qū)域和光滑區(qū)域，采用不同的插值和調(diào)整過(guò)程對(duì)(2i+l, 2j+l)的灰度值進(jìn)行計(jì)算,得到修正的多光譜圖像,其中i = l，...，W;j =I,..., H, W表示低分辨率多光譜圖像的寬，H表示低分辨率多光譜圖像的高；
[0018]步驟8:在步驟7得到的修正的多光譜圖像的基礎(chǔ)之上，分別對(duì)其每一個(gè)子帶圖像，調(diào)整位置處于(2i，2j+l)和(2i+l，2j)的灰度值，針對(duì)結(jié)構(gòu)、紋理區(qū)域和光滑區(qū)域，采用不同的插值和調(diào)整過(guò)程對(duì)(2i，2j+l)和(2i+l，2j)灰度值重新進(jìn)行計(jì)算，完成對(duì)初始的多光譜圖像上的每一個(gè)像素點(diǎn)的灰度值的計(jì)算，得到新的修正的多光譜圖像，其中i =l，...，W;j = 1，...，H，W表示低分辨率多光譜圖像的寬，H表示低分辨率多光譜圖像的高；
[0019]步驟9:如果真實(shí)的高分辨率全色圖像的大小是低分辨率多光譜圖像大小的2倍，則步驟8中得到新的預(yù)測(cè)的多光譜圖像即為融合圖像；如果真實(shí)的高分辨率全色圖像的大小是真實(shí)的低分辨率多光譜圖像大小的4倍，則需將步驟1-8執(zhí)行兩次，在第一次運(yùn)行過(guò)程中，步驟I中的高分辨率全色圖像為真實(shí)的高分辨率全色圖像的下采樣縮小一倍的圖像，在執(zhí)行完第一次過(guò)程后，將步驟8中得到的多光譜圖像作為第二次執(zhí)行過(guò)程中的低分辨率多光譜圖像，高分辨率全色圖像則為真實(shí)的高分辨率全色圖像，再次執(zhí)行步驟1-8，得到最終的融合圖像。
[0020]上述步驟7中所述的得到修正的多光譜圖像，按照如下步驟進(jìn)行:
[0021]1)分別對(duì)初始的多光譜圖像的每一個(gè)子帶圖像，調(diào)整初始的多光譜圖像中位置處于(2i+l，2j+l)的像素，計(jì)算公式為:
[0022]
【權(quán)利要求】
1.一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，其特征在于:包含如下步驟: 步驟1:提取高分辨率全色圖像的Primal Sketch圖； 步驟2:根據(jù)步驟I得到的Primal Sketch圖中線段的方向，以線段上的點(diǎn)為中心，沿著該條線段的方向設(shè)計(jì)大小為7X7的方向窗口，構(gòu)造幾何模版； 步驟3:對(duì)步驟I中得到的Primal Sketch圖，根據(jù)構(gòu)造的幾何模板，得到劃分高分辨率全色圖像為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域的區(qū)域映射圖； 步驟4:將步驟3中得到的非結(jié)構(gòu)區(qū)域，根據(jù)圖像的方差統(tǒng)計(jì)特性，將非結(jié)構(gòu)區(qū)域劃分為紋理區(qū)域和光滑區(qū)域，從而得到劃分結(jié)構(gòu)區(qū)域、紋理區(qū)域和光滑區(qū)域的區(qū)域映射圖； 步驟5:對(duì)低分辨率多光譜圖像采用最近鄰插值方法，得到圖像大小和高分辨率全色圖像相同大小的初始的多光譜圖像，其計(jì)算公式為:
fHE(2i+m, 2j+l) = fLK(i, j) (i = I,..., ff, j = 1，...，H, m = 0，I, I = 0，I) (I) 其中W表示低分辨率多光譜圖像的寬，H表示低分辨率多光譜圖像的高，表示低分辨率多光譜圖像，^^表示初始的多光譜圖像； 步驟6:根據(jù)步驟4中得到的區(qū)域映射圖，將初始的多光譜圖像劃分為結(jié)構(gòu)區(qū)域、紋理區(qū)域和光滑區(qū)域； 步驟7:對(duì)步驟5得到的初始的多光譜圖像，分別對(duì)其每一個(gè)子帶圖像，調(diào)整位置處于(2i+l，2j+l)的灰度值，針對(duì)結(jié)構(gòu)、紋理區(qū)域和光滑區(qū)域，采用不同的插值和調(diào)整過(guò)程對(duì)(2i+l，2j+l)的灰度值進(jìn)行計(jì)算，得到修正的多光譜圖像，其中i = l，...，W;j = 1，...，H，W表示低分辨率多光譜圖像的寬，H表示低分辨率多光譜圖像的高； 步驟8:在步驟7得到的修正的多光譜圖像的基礎(chǔ)之上，分別對(duì)其每一個(gè)子帶圖像，調(diào)整位置處于(2i，2j+l)和(2i+l，2j)的灰度值，針對(duì)結(jié)構(gòu)、紋理區(qū)域和光滑區(qū)域，采用不同的插值和調(diào)整過(guò)程對(duì)(2i，2j+l)和(2i+l，2j)灰度值重新進(jìn)行計(jì)算，完成對(duì)初始的多光譜圖像上的每一個(gè)像素點(diǎn)的灰度值的計(jì)算，得到新的修正的多光譜圖像，其中i ==1，...，H，W表示低分辨率多光譜圖像的寬，H表示低分辨率多光譜圖像的高； 步驟9:如果真實(shí)的高分辨率全色圖像的大小是低分辨率多光譜圖像大小的2倍，則步驟8中得到新的預(yù)測(cè)的多光譜圖像即為融合圖像；如果真實(shí)的高分辨率全色圖像的大小是真實(shí)的低分辨率多光譜圖像大小的4倍，則需將步驟1-8執(zhí)行兩次，在第一次運(yùn)行過(guò)程中，步驟I中的高分辨率全色圖像為真實(shí)的高分辨率全色圖像的下采樣縮小一倍的圖像，在執(zhí)行完第一次過(guò)程后，將步驟8中得到的多光譜圖像作為第二次執(zhí)行過(guò)程中的低分辨率多光譜圖像，高分辨率全色圖像則為真實(shí)的高分辨率全色圖像，再次執(zhí)行步驟1-8，得到最終的融合圖像。
2.根據(jù)權(quán)利要求1所述的一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，其特征在于:步驟7中所述的得到修正的多光譜圖像，按照如下步驟進(jìn)行: I)分別對(duì)初始的多光譜圖像的每一個(gè)子帶圖像，調(diào)整初始的多光譜圖像中位置處于(2i+l, 2j+l)的像素,計(jì)算公式為:
3.根據(jù)權(quán)利要求1所述的一種基于區(qū)域劃分和插值的多光譜和全色圖像融合方法，其特征在于:步驟8中的得到新的修正的多光譜圖像，按照如下步驟進(jìn)行: (I)分別對(duì)修正的多光譜圖像的每一個(gè)子帶圖像，調(diào)整修正的多光譜圖像中位置處于(2i，2j+l)和(2i+l，2j)的不確定像素，計(jì)算公式為:./",',(2/,2./ + 1)= Z ak ,.firK(2i + k, 2j +1 + /)) + 0(2i,2j +1)CIfU
【文檔編號(hào)】G06T5/50GK103914817SQ201410077181
【公開日】2014年7月9日 申請(qǐng)日期:2014年3月4日 優(yōu)先權(quán)日:2014年3月4日
【發(fā)明者】劉芳, 石程, 李玲玲, 焦李成, 郝紅俠, 戚玉濤, 武杰, 段一平, 馬晶晶, 尚榮華, 于昕 申請(qǐng)人:西安電子科技大學(xué)