本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,更進(jìn)一步涉及遙感應(yīng)用,遙感圖像處理技術(shù)領(lǐng)域中的一種基于方向多尺度群低秩分解的全色圖像銳化方法。本發(fā)明可應(yīng)用于道路、機(jī)場(chǎng)、建筑物等目標(biāo)識(shí)別,森林資源調(diào)查等遙感領(lǐng)域。通過(guò)低分辨率、高光譜率的多光譜圖像與高分辨率、低光譜率的全色圖像進(jìn)行全色圖像銳化,以獲得一幅高分辨率、高光譜率的多光譜圖像。本發(fā)明用于遙感應(yīng)用領(lǐng)域可以提高分類的準(zhǔn)確性,在目標(biāo)識(shí)別領(lǐng)域中可以提供清晰的高質(zhì)量的圖像,尤其是對(duì)于道路、建筑物等目標(biāo)定位和識(shí)別效果顯著。
背景技術(shù):
在遙感應(yīng)用領(lǐng)域中,為獲得對(duì)某一場(chǎng)景的更全面、更清晰、特征更顯著的圖像而采用全色圖像銳化的方法。目前全色圖像銳化主要有以下三方面:一類成分替代法,如格拉姆-施密特正交變換(GS)、亮度-色調(diào)-飽和度色彩空間變換(IHS)、主成分分析法(PCA)等;另一類是基于小波變換的方法,如離散小波變換(DWT)、多尺度小波變換(WT)、平穩(wěn)小波變換(SWT)、Laplacian金字塔分解多尺度分解等;最后一類壓縮感知與稀疏表示方法,如壓縮感知方法(CS),基于稀疏表示圖像融合方法(SparseFI)。
西安電子科技大學(xué)在其申請(qǐng)的專利文件“基于矩陣低秩分解的多光譜圖像與全色圖像融合方法”(申請(qǐng)?zhí)?01210245505.5;申請(qǐng)公布號(hào)CN 102842124 A)中公開一種矩陣低秩分解的全色圖像銳化的方法。該專利將矩陣低秩分解理論應(yīng)用于全色圖像銳化中,首先對(duì)多光譜圖像進(jìn)行上采樣使其與全色圖像具有相同的尺寸大小。其次,將多光譜圖像拉成列按照順序構(gòu)建數(shù)據(jù)矩陣,利用矩陣低秩分解對(duì)多光譜圖像構(gòu)成的矩陣進(jìn)行分解,得到一個(gè)低秩矩陣與一個(gè)稀疏矩陣。然后對(duì)低秩矩陣與全色圖像使用標(biāo)準(zhǔn)的主成分分析全色圖像銳化算法進(jìn)行銳化。該方法通過(guò)將主成分分析反變換后的矩陣與稀疏矩陣相加,最終得到高分辨率的多光譜圖像。該方法雖然可以較好的結(jié)果,但是仍然存在的不足之處是,該方法注入了過(guò)多的全色圖像信息,會(huì)引起一定的顏色失真。
K.Rong,L.Jiao,S.Wang,and F.Liu等人在其發(fā)表的論文“Pansharpening based on lowrank and sparse decomposition”(IEEE J,Sel.Topics App1.Earth Observ.Remote Sens.,pp.4793-4805,Dec.2014.)中提出一種基于低秩與稀疏分解全色圖像銳化方法。該方法首先將矩陣低秩分解理論用于多光譜圖像,將其分解為低秩部分與稀疏部分,利用主成分變換對(duì)低秩部分提取第一主成分。其次利用基于上下文決策模型,提取全色圖像與矩陣低秩分解后低秩部分的第一主成分的特征。然后利用融合規(guī)則融合,最終獲得高分辨率的多光譜圖像。該方法可以獲得較好的高分辨率多光譜圖像,但是,該方法仍然存在的不足之處是,最終得到的高分辨率的多光譜圖像損失了多光譜圖像的一些信息,會(huì)引起一定的光譜失真。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于克服上述已有技術(shù)的不足,提出了一種基于方向多尺度群低秩分解的全色圖像銳化方法,以減少全色圖像的冗余信息,將其注入到多光譜圖像中,來(lái)提高空間分辨率,減少光譜失真。
為實(shí)現(xiàn)上述目的,本發(fā)明以方向多尺度群低秩分解為理論基礎(chǔ),提出新的全色圖像銳化框架。其技術(shù)方案是首先利用非下采樣輪廓小波變換對(duì)全色圖像與多光譜圖像進(jìn)行多尺度分解,然后利用矩陣低秩分解理論對(duì)全色圖像的低頻項(xiàng)與高頻項(xiàng)進(jìn)行低秩稀疏分解,得到低秩部分與稀疏部分,然后利用新的注入模型將稀疏部分對(duì)應(yīng)注入到多光譜圖像的高低頻中,最后利用非下采樣小波反變換得到最終的高分辨率的圖像。
本發(fā)明實(shí)現(xiàn)的具體步驟包括如下:
(1)輸入源圖像:
分別讀取多光譜圖像MS和全色圖像Pan;
(2)獲得上采樣多光譜LMS和下采樣全色圖像dPan:
(2a)利用圖像縮放imresize函數(shù),對(duì)多光譜圖像MS進(jìn)行上采樣,得到上采樣的多光譜圖像LMS;
(2b)利用圖像縮放imresize函數(shù),對(duì)全色圖像Pan進(jìn)行下采樣,得到下采樣全色圖像dPan;
(3)利用下式,計(jì)算多光譜圖像MS和下采樣全色圖像dPan光譜相關(guān)系數(shù):
其中,Sk表示多光譜圖像MS中第k個(gè)波段圖像與下采樣全色圖像dPan的光譜相關(guān)系數(shù),k表示多光譜圖像MS的波段數(shù),k的取值為1,2,...4;M和N分別表示多光譜圖像MS行和列的像素個(gè)數(shù);∑表示求和操作;i和j分別表示多光譜圖像MS和下采樣全色圖像dPan像素的坐標(biāo);X(i,j)k和P(i,j)分別表示多光譜圖像MS第k個(gè)波段圖像與下采樣全色圖像dPan對(duì)應(yīng)坐標(biāo)(i,j)值的像素點(diǎn);和μP分別表示多光譜圖像MS第k個(gè)波段與下采樣全色圖像dPan的均值,表示開根號(hào)操作;
(4)非下采樣輪廓小波分解:
(4a)應(yīng)用非下采樣的輪廓小波分解函數(shù),對(duì)上采樣多光譜圖像LMS進(jìn)行分解,得到LMS圖像相對(duì)應(yīng)的高頻部分與低頻部分;
(4b)應(yīng)用非下采樣的輪廓小波分解函數(shù),對(duì)全色圖像Pan進(jìn)行分解,得到Pan圖像相對(duì)應(yīng)的高頻部分與低頻部分;
(5)構(gòu)建數(shù)據(jù)矩陣:
分別對(duì)高低頻部分進(jìn)行重疊取塊,利用matlab軟件中重塑矩陣reshape函數(shù),將全部圖像塊分別拉成列向量,構(gòu)成全色圖像的高頻部分的數(shù)據(jù)矩陣與低頻部分的數(shù)據(jù)矩陣;
(6)矩陣低秩分解:
(6a)利用矩陣低秩分解方法,對(duì)低頻數(shù)據(jù)矩陣進(jìn)行低秩稀疏分解,得到低頻數(shù)據(jù)的低秩項(xiàng)與稀疏項(xiàng);
(6b)利用矩陣低秩分解方法,對(duì)高頻數(shù)據(jù)矩陣進(jìn)行低秩稀疏分解,得到每一個(gè)方向上的高頻數(shù)據(jù)的低秩項(xiàng)與稀疏項(xiàng);
(7)重構(gòu)高低頻稀疏矩陣:
(7a)利用劃窗的方式,取得低頻數(shù)據(jù)的稀疏項(xiàng),將低頻數(shù)據(jù)的稀疏項(xiàng)重構(gòu)成與全色圖像Pan尺寸大小相同的低頻稀疏矩陣,低頻數(shù)據(jù)稀疏項(xiàng)的重疊部分取平均值;
(7b)利用以劃窗的方式,取得每一個(gè)方向上高頻數(shù)據(jù)的稀疏項(xiàng),分別將高頻數(shù)據(jù)的稀疏項(xiàng)重構(gòu)成與全色圖像Pan尺寸大小相同的高頻稀疏矩陣,高頻數(shù)據(jù)稀疏項(xiàng)的重疊部分取平均值;
(8)注入高低頻稀疏矩陣:
(8a)利用低頻注入模型,將低頻的稀疏矩陣注入上采樣多光譜圖像的每個(gè)波段的低頻部分中,得到注入后的多光譜圖像的低頻部分;
(8b)利用高頻注入模型,分別將每個(gè)方向上的高頻稀疏矩陣注入上采樣多光譜圖像的每個(gè)波段的高頻部分中,得到注入后的多光譜圖像的高頻部分;
(9)非下采樣輪廓小波反變換:
利用非下采樣的輪廓小波函數(shù),對(duì)多光譜圖像高低頻部分進(jìn)行非下采樣的輪廓小波反變換,得到高分辨率的多光譜圖像HMS;
(10)輸出高分辨率的多光譜圖像HMS。
與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn):
第一,本發(fā)明利用非下采樣的輪廓小波分解,對(duì)全色圖像進(jìn)行分解,得到全色圖像相對(duì)應(yīng)的高頻部分與低頻部分,然后對(duì)得到的全色圖像進(jìn)行低秩稀疏分解,克服了現(xiàn)有技術(shù)存在最終得到的圖像由于注入過(guò)多全色圖像信息而引起光譜扭曲的問題,使得本發(fā)明可以減少光譜扭曲并且能夠保持較好的光譜信息。
第二,本發(fā)明提出一種高低頻注入模型,將高低頻稀疏矩陣注入到多光譜圖像的高低頻中,克服了現(xiàn)有技術(shù)最終的高分辨率的圖像存在光譜扭曲和顏色失真的問題,使得本發(fā)明有利于進(jìn)一步減少顏色失真、光譜扭曲,并且提高了最終多光譜圖像的空間分辨率。
附圖說(shuō)明
圖1是本發(fā)明的流程圖;
圖2是本發(fā)明的仿真圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。
參照?qǐng)D1,本發(fā)明具體實(shí)施方式如下。
步驟1,輸入圖像。
在計(jì)算機(jī)中應(yīng)用matlab軟件分別讀取多光譜圖像MS和全色圖像Pan。本發(fā)明實(shí)施例中輸入的低分辨率的多光譜圖像MS大小為64*64*4,分辨率2米,高分辨率的全色圖像大小為256*256,分辨率0.5米。
步驟2,獲得上采樣多光譜LMS和下采樣全色圖像dPan。
利用matlab軟件中imresize函數(shù)對(duì)多光譜圖像MS進(jìn)行上采樣,得到上采樣的多光譜圖像LMS。
利用matlab軟件中imresize函數(shù)對(duì)全色圖像Pan進(jìn)行下采樣,得到下采樣全色圖像dPan。
步驟3,利用下式,計(jì)算多光譜圖像MS和下采樣全色圖像dPan光譜相關(guān)系數(shù)。
其中,Sk表示多光譜圖像MS中第k個(gè)波段圖像與下采樣全色圖像dPan的光譜相關(guān)系數(shù),k表示多光譜圖像MS的波段數(shù),k的取值為1,2,...4;M和N分別表示多光譜圖像MS行和列的像素個(gè)數(shù);∑表示求和操作;i和j分別表示多光譜圖像MS和下采樣全色圖像dPan像素的坐標(biāo);X(i,j)k和P(i,j)分別表示多光譜圖像MS第k個(gè)波段圖像與下采樣全色圖像dPan對(duì)應(yīng)坐標(biāo)(i,j)值的像素點(diǎn);和μP分別表示多光譜圖像MS第k個(gè)波段與下采樣全色圖像dPan的均值,表示開根號(hào)操作。
步驟4,非下采樣的輪廓小波分解。
應(yīng)用小波工具包中的非下采樣的輪廓小波分解函數(shù),對(duì)上采樣多光譜圖像LMS進(jìn)行分解,得到LMS圖像相對(duì)應(yīng)的高頻部分與低頻部分。應(yīng)用小波工具包中的非下采樣的輪廓小波分解函數(shù),對(duì)全色圖像Pan進(jìn)行分解,得到Pan圖像相對(duì)應(yīng)的高頻部分與低頻部分。設(shè)置非下采樣的輪廓小波分解級(jí)數(shù)為[0 1],金字塔濾波器‘9-7’,方向?yàn)V波器‘pkva’。
步驟5構(gòu)建數(shù)據(jù)矩陣。
分別對(duì)高低頻部分進(jìn)行重疊取塊,利用matlab軟件中reshape函數(shù),將全部圖像塊分別拉成列向量,構(gòu)成全色圖像的高頻部分的數(shù)據(jù)矩陣與低頻部分的數(shù)據(jù)矩陣;本發(fā)明采用對(duì)圖像進(jìn)行5*5重疊取塊,然后列向量化,得到4個(gè)25*63504的數(shù)據(jù)矩陣。
步驟6,矩陣低秩分解。
利用矩陣低秩稀疏分解方法,對(duì)低頻數(shù)據(jù)矩陣進(jìn)行低秩稀疏分解,得到低頻數(shù)據(jù)的低秩項(xiàng)與稀疏項(xiàng)。其低秩稀疏分解,參考Z.C.Lin、M.M.Chen和Y.Ma提出論文文獻(xiàn)《The Augmented Lagrange Multiplier Method for Exact Recovery of Corrupted Low-Rank Matrices》(UIUC Technical Report 2009)。
矩陣低秩稀疏分解方法的具體步驟如下:
第一步,輸入全色圖像Pan低頻數(shù)據(jù)矩陣。
第二步,按照下式,得到低頻低秩矩陣與稀疏矩陣:
其中,min表示求最小值操作,A表示低頻低秩矩陣,E表示低頻稀疏矩陣,||·||*表示取核范數(shù)操作,||·||1表示取一范數(shù)操作,λ表示超參數(shù),λ設(shè)置為0.0025,s.t.表示服從條件符號(hào),D表示低頻數(shù)據(jù)矩陣。
第三步,分別輸出低頻的低秩矩陣與稀疏矩陣。
利用矩陣低秩稀疏分解方法,對(duì)高頻數(shù)據(jù)矩陣進(jìn)行低秩稀疏分解,得到每一個(gè)方向上的高頻數(shù)據(jù)的低秩項(xiàng)與稀疏項(xiàng)。
所述的矩陣低秩稀疏分解方法的具體步驟如下:
第一步,輸入全色圖像Pan高頻數(shù)據(jù)矩陣;
第二步,按照下式,得到高頻低秩矩陣與稀疏矩陣:
其中,min表示求最小值操作,A表示高頻低秩矩陣,E表示高頻稀疏矩陣,||·||*表示取核范數(shù)操作,||·||1表示取一范數(shù)操作,λ表示超參數(shù),λ分別設(shè)置為0.0028,0.0032,0.0032,s.t.表示服從條件符號(hào),D表示高頻數(shù)據(jù)矩陣或低頻數(shù)據(jù)矩陣。
第三步,分別輸出高頻的低秩矩陣與稀疏矩陣。
步驟7,重構(gòu)高低頻稀疏矩陣。
利用matlab軟件,以劃窗的方式,取得低頻數(shù)據(jù)的稀疏項(xiàng),將低頻數(shù)據(jù)的稀疏項(xiàng)重構(gòu)成與全色圖像Pan尺寸大小相同的低頻稀疏矩陣,低頻數(shù)據(jù)稀疏項(xiàng)的重疊部分取平均值。
利用matlab軟件,以劃窗的方式,取得每一個(gè)方向上高頻數(shù)據(jù)的稀疏項(xiàng),分別將高頻數(shù)據(jù)的稀疏項(xiàng)重構(gòu)成與全色圖像Pan尺寸大小相同的高頻稀疏矩陣,高頻數(shù)據(jù)稀疏項(xiàng)的重疊部分取平均值。
步驟8,注入高低頻稀疏矩陣。
利用低頻注入模型,將低頻的稀疏矩陣注入上采樣多光譜圖像的每個(gè)波段的低頻部分中,得到注入后的多光譜圖像的低頻部分。
上述的低頻注入模型如下:
其中,表示注入稀疏項(xiàng)之后多光譜圖像LMS第k個(gè)波段圖像的低頻部分;k表示多光譜圖像LMS的波段數(shù),取值1,2,3,4..;表示非下采樣輪廓小波對(duì)上采樣多光譜圖像LMS第k個(gè)波段圖像的多尺度分解的低頻部分;g表示增益系數(shù),g的取值為多光譜圖像MS和下采樣全色圖像dPan的光譜相關(guān)系數(shù)S;E表示對(duì)對(duì)低頻數(shù)據(jù)部分利用劃窗的方式重構(gòu)的低頻稀疏矩陣。
利用高頻注入模型,分別將每個(gè)方向上的高頻稀疏矩陣注入上采樣多光譜圖像的每個(gè)波段的高頻部分中,得到注入后的多光譜圖像的高頻部分。
上述的高頻注入模型如下:
其中,表示注入稀疏項(xiàng)之后多光譜圖像LMS第k個(gè)波段圖像的高頻部分;k表示多光譜圖像LMS的波段數(shù),取值1,2,3,4..;表示非下采樣輪廓小波對(duì)上采樣多光譜圖像LMS第k個(gè)波段圖像的多尺度分解的高頻部分;g表示增益系數(shù),g取值為1,E表示對(duì)高頻數(shù)據(jù)部分利用劃窗的方式重構(gòu)的高頻稀疏矩陣。
步驟9,輪廓小波反變換。
利用小波工具包中的非下采樣的輪廓小波函數(shù),對(duì)多光譜圖像高低頻部分進(jìn)行非下采樣的輪廓小波反變換,得到最終高分辨率的多光譜圖像HMS;
步驟10,利用matlab軟件輸出高分辨率的圖像HMS。
本發(fā)明的效果可以通過(guò)以下仿真實(shí)驗(yàn)進(jìn)一步說(shuō)明。
1、仿真實(shí)驗(yàn)條件:
本發(fā)明仿真實(shí)驗(yàn)的環(huán)境為MATLAB R2013a,處理器Inter(R)Core(TM)i5-2430M CPU 2.40GHz,內(nèi)存4.00GB,Windows 8.1專業(yè)版64位操作系統(tǒng)。本發(fā)明的仿真實(shí)驗(yàn)采用的地球靜止軌道(Geo)衛(wèi)星所拍攝的衛(wèi)星圖像,如附圖2(a)、圖2(b)、圖2(c)中圖像。其中,附圖2(a)是本發(fā)明在仿真試驗(yàn)中的全色圖像(空間分辨率0.5米),附圖2(b)是本發(fā)明在仿真試驗(yàn)中多光譜圖像(空間分辨率2米),附圖2(c)是本發(fā)明在仿真試驗(yàn)中應(yīng)用的參考多光譜圖像。
2、仿真實(shí)驗(yàn)內(nèi)容和結(jié)果分析:
圖2(d)是本發(fā)明對(duì)圖2(a)與圖2(b)得到的高分辨率的多光譜圖像的效果圖,圖2(e)是用現(xiàn)有的廣義亮度-色調(diào)-飽和度方法對(duì)圖2(a)與圖2(b)得到的高分辨率的效果圖,圖2(f)是用現(xiàn)有的主成分分析的方法對(duì)圖2(a)與圖2(b)得到的高分辨率的效果圖,圖2(g)是用現(xiàn)有的非下采樣輪廓小波變換方法對(duì)圖2(a)與圖2(b)得到高分辨率的效果圖,圖2(h)是用現(xiàn)有的基于壓縮感知的方法(CS)對(duì)圖2(a)與圖2(b)得到的高分辨率的效果圖。
通過(guò)對(duì)圖2(d)與圖2(e)進(jìn)行比較,從圖2(e)可以明顯的看到圖像整體偏暗,有些建筑物顏色存在嚴(yán)重的顏色失真,而圖2(d)有較好的光譜信息,能夠保持建筑物,樹木的顏色信息。通過(guò)圖2(d)與圖2(f)進(jìn)行比較,圖2(f)圖像整體偏暗,圖像存在嚴(yán)重的光譜失真,圖2(d)能夠保持多光譜圖像的顏色信息。在空間分辨率、光譜信息、視覺效果上也明顯優(yōu)于圖2(e)與圖(f)。圖2(d)與圖2(h)、圖(g)進(jìn)行比較,圖2(h)建筑物也有較少的顏色失真,圖2(g)存在空間扭曲,而圖2(d)邊緣清晰,細(xì)節(jié)也保持的很好。由以上效果圖可以看出,本發(fā)明得到的效果圖能夠較好的保持圖像的顏色信息、光譜信息與空間信息。
本發(fā)明的仿真實(shí)驗(yàn)結(jié)果客觀分析:
為了證明本發(fā)明的效果,現(xiàn)將本發(fā)明的方法與四種現(xiàn)有技術(shù)廣義亮度-色調(diào)-飽和度色彩空間變換IHS、主成分分析法PCA、非下采樣輪廓小波變換NSCT、基于壓縮感知方法CS的方法,對(duì)圖2(a)與圖2(b)進(jìn)行全色圖像銳化。通過(guò)五種常用評(píng)價(jià)指標(biāo)公式,分別計(jì)算上述五種方法的結(jié)果圖像和圖2(c)參考圖像的紅R、綠G、藍(lán)B、近紅外NIR及全部波段的像素矩陣,得到均方根誤差RMSE,相關(guān)系數(shù)CC,光譜弧度SAM,相對(duì)整體維數(shù)綜合誤差ERGAS,整體圖像質(zhì)量指數(shù)Q4如下表1。表中的RMSE表示常用于測(cè)量圖像變化的一個(gè)指標(biāo)。它的值越小,說(shuō)明得到的高分辨率圖像越接近參考圖像。CC表示主要用于測(cè)量參考圖像與最終得到的圖像的光譜相似性的指標(biāo),它的值越接近+1,則說(shuō)明最終得到的圖像與參考圖像越相關(guān)。SAM表示通過(guò)計(jì)算參考圖像與最終得到的圖像之間光譜絕對(duì)值,可以反映出圖像的光譜扭曲,理想值為零。ERGAS表示從整體上評(píng)價(jià)圖像的一個(gè)常用的指標(biāo),它的值越小,則表明圖像的效果越好。Q4表示用來(lái)評(píng)價(jià)圖像的整體質(zhì)量的指標(biāo),它的值越接近+1,則說(shuō)明最終得到的效果圖比較好。
表1 全色圖像銳化方法的客觀評(píng)價(jià)指標(biāo)表
從表1可以看出,本發(fā)明的結(jié)果得到的相關(guān)系數(shù)CC更接近理想值1,SAM指標(biāo)最小,因此本發(fā)明能保持較好的光譜信息。本發(fā)明的均方根誤差RMSE,相對(duì)整體維數(shù)綜合誤差ERGAS,整體圖像質(zhì)量指數(shù)Q4也較好。由此,可以看出本發(fā)明的客觀評(píng)價(jià)結(jié)果優(yōu)于現(xiàn)有技術(shù)的客觀評(píng)價(jià)結(jié)果。