本發(fā)明涉及一種高分辨率圖像重構(gòu)領(lǐng)域。特別是涉及一種基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法。

背景技術(shù)：

人眼通過各種觀測系統(tǒng)對客觀世界的反映謂之圖像。人們通過視覺來感知形狀，大小，位置，遠(yuǎn)近等，并做出相應(yīng)的判斷。社會的發(fā)展使得人們對于獲取具有高分辨率的數(shù)字圖像的要求越來越突出，無論是軍用，還是民用，如何獲得一幅高分辨率的數(shù)字圖像已成為人們必須解決的問題。

所謂的高分辨率的數(shù)字圖像，指的是具有密集的空間分布的數(shù)字圖像，也就是說圖像在單位空間上具有更多的像素集合。例如，醫(yī)學(xué)上的ct圖像，可以作為醫(yī)生診斷的依據(jù)；衛(wèi)星圖像可以更好的進(jìn)行目標(biāo)的識別與跟蹤。

通常，利用數(shù)字設(shè)備獲取的關(guān)于場景的圖像，由于成像系統(tǒng)本身的限制和成像環(huán)境的影響，所得到的圖像并不能完全反映真實場景中的所有信息。如何利用軟件處理的方法來提高圖像的分辨率，是數(shù)字圖像處理和信號處理領(lǐng)域的研究熱點和難點^[1]。

傳統(tǒng)的圖像信息處理，即插值方法，通常是先進(jìn)行補零疏化，然后再進(jìn)行內(nèi)插，最后經(jīng)過濾波的方式來實現(xiàn)的。但是，用這種方式處理的圖像，雖然可以增加單位空間內(nèi)的像素數(shù)目，但本質(zhì)上而言，其并未突破原有圖像的信息量，只是對圖像的視覺效果有所改觀，并沒有增加圖像的信息量。

超分辨率重建的范圍可以大致分為：單幅圖像的放大，多幅圖像重建單幅圖像以及視頻序列重建單幅圖像^[2]。圖像放大是利用先驗知識來消除混疊效應(yīng)。利用超分辨率重建技術(shù)，不需要硬件的參與，也即可以在不改變原有硬件系統(tǒng)的條件下，提高圖像的空間分辨率，改善圖像的視覺效果。這樣，不僅可以利用原有的硬件系統(tǒng)，而且還可以充分利用已獲取的低分辨率圖像資源。如今，圖像高分辨率重建技術(shù)已廣泛應(yīng)用于各行各業(yè)，在衛(wèi)星遙感測繪方面，在公共安全監(jiān)護(hù)方面，在計算機(jī)視覺方面，在醫(yī)學(xué)成像方面等等。超分辨率圖像重建技術(shù)的廣泛研究，不僅可以推動新一代的圖像復(fù)原技術(shù)的發(fā)展，另外也可以在繼續(xù)利用原有光學(xué)成像系統(tǒng)的前提下，獲得可以滿足人們需要的高分辨率的圖像。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，提供一種能夠避免圖像重構(gòu)時對于外部數(shù)據(jù)庫信息依賴的基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法。

本發(fā)明所采用的技術(shù)方案是：一種基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法，包括如下步驟：

1)采用雙線性插值方法，對給定的低分辨率圖像分別進(jìn)行上采樣和下采樣處理，得到上采樣圖像和下采樣圖像，將低分辨率圖像、上采樣圖像和下采樣圖像共同作為層次化字典學(xué)習(xí)的圖像訓(xùn)練集；

2)在圖像訓(xùn)練集中首先選取低分辨率圖像和下采樣圖像進(jìn)行訓(xùn)練，對下采樣圖像提取梯度特征得到下采樣梯度特征，然后按照下采樣的比例分別對低分辨率圖像和下采樣梯度特征進(jìn)行分塊處理并排列成張量，得到低分辨率圖像張量和下采樣梯度特征張量，對下采樣梯度特征張量進(jìn)行低秩近似處理；

3)對低分辨率圖像張量和低秩近似處理后的下采樣梯度特征張量進(jìn)行聯(lián)合稀疏化字典學(xué)習(xí)，得到下采樣圖像到原始低分辨率圖像的恢復(fù)字典；

4)在圖像訓(xùn)練集中選取低分辨率圖像和上采樣圖像進(jìn)行訓(xùn)練，對低分辨率圖像提取梯度特征得到低分辨率梯度特征，然后按照上采樣的比例分別對低分辨率梯度特征和上采樣圖像進(jìn)行分塊處理并排列成張量，得到低分辨率梯度特征張量和上采樣圖像張量，對低分辨率梯度特征張量進(jìn)行低秩近似處理，在步驟3)得到的恢復(fù)字典的基礎(chǔ)上再一次通過聯(lián)合稀疏化學(xué)習(xí)對所述恢復(fù)字典進(jìn)行更新；

5)選取低分辨率圖像，將圖像由原始的rgb色彩空間轉(zhuǎn)換至ycbcr亮度色度空間，只對y利用更新后的字典進(jìn)行逐塊高分辨率重構(gòu)，而cb和cr采用雙線性插值方法進(jìn)行重構(gòu)，直至遍歷整個低分辨率圖像，得到原始的恢復(fù)圖像；

6)利用迭代反投影算法對原始的恢復(fù)圖像進(jìn)行全局增強處理，得到最終的高分辨率重構(gòu)圖像。

步驟1)中所述的上采樣和下采樣處理的比例相同。

步驟2)所述的低秩近似處理是：設(shè)為初始張量，為低秩近似張量，則目標(biāo)函數(shù)表示為

其中，u1,…,un表示張量展開的投影矩陣；

采用增廣拉格朗日方法進(jìn)行求解，則得到以下迭代過程，k表示迭代次數(shù)：

其中，

將低秩近似張量的求解轉(zhuǎn)換到對于投影矩陣u1,u2,..,un的求解，

將正則項代替為則表示為

其中，是張量的第i個模式的展開形式，將的求解轉(zhuǎn)換為svt解法的標(biāo)準(zhǔn)形式為：

利用svt解法得到的值：

其中，p和q分別為奇異值分解左奇異值矩陣和右奇異值矩陣，代表奇異值分解的中間矩陣值大于τk的部分，確定后，由得到所求的低秩近似結(jié)果

步驟4)所述的更新是采用如下公式：

其中，

z表示字典稀疏系數(shù)，α，β均為正數(shù)，表示懲罰項參數(shù)，d表示步驟3)初始學(xué)習(xí)得到的恢復(fù)字典，y表示低分辨率梯度與上采樣圖像的組合，表示更新后的恢復(fù)字典。

本發(fā)明的基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法，采用張量的表示方法保留了圖像的基本結(jié)構(gòu)信息，提高了高分辨率圖像重構(gòu)的精度。有益效果如下：

1、避免了高分辨率圖像重構(gòu)的過程中對于外部數(shù)據(jù)庫的依賴，充分利用圖片本身的細(xì)節(jié)信息以及不同層次圖片之間的重構(gòu)規(guī)律信息，能夠提高高分辨率重構(gòu)的精度；

2、采用了張量結(jié)構(gòu)，盡可能多的保留了原有圖片的結(jié)構(gòu)信息，同時低秩化處理增強了圖像塊之間的聯(lián)系；

3、采用了聯(lián)合的稀疏化字典學(xué)習(xí)以及反向迭代投影算法，從圖像塊和全局兩方面進(jìn)行高分辨重建，增強了重構(gòu)效果。

附圖說明

圖1是本發(fā)明基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法的流程圖；

圖2是本發(fā)明中訓(xùn)練得到的字典的可視化結(jié)構(gòu)效果圖。

具體實施方式

下面結(jié)合實施例和附圖對本發(fā)明的基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法做出詳細(xì)說明。

如圖1所示，本發(fā)明的基于低秩張量和層次化字典學(xué)習(xí)的高分辨率圖像重構(gòu)方法，包括如下步驟：

1)采用雙線性插值(bicubic)方法，對給定的低分辨率圖像分別進(jìn)行上采樣和下采樣處理，得到上采樣圖像和下采樣圖像，所述的上采樣和下采樣處理的比例相同。將低分辨率圖像、上采樣圖像和下采樣圖像共同作為層次化字典學(xué)習(xí)的圖像訓(xùn)練集；

本發(fā)明首先對給定的低分辨率圖像lr應(yīng)用bicubic方法分別進(jìn)行上采樣和下采樣處理，得到上采樣圖像ur和下采樣圖像dr。將低分辨率圖像lr，上采樣圖像ur和下采樣圖像dr共同作為層次化字典學(xué)習(xí)的圖像訓(xùn)練集。為了保證高分辨率圖像重構(gòu)的合理遷移性，需要保證上采樣和下采樣的比例相同。該步驟只將本身圖片的不同層次作為訓(xùn)練集，能夠更多利用圖片自身的細(xì)節(jié)信息，確保重構(gòu)的精度。

2)在圖像訓(xùn)練集中首先選取低分辨率圖像和下采樣圖像進(jìn)行訓(xùn)練，對下采樣圖像提取梯度特征得到下采樣梯度特征，然后按照下采樣的比例分別對低分辨率圖像和下采樣梯度特征進(jìn)行分塊處理并排列成張量，得到低分辨率圖像張量和下采樣梯度特征張量，對下采樣梯度特征張量進(jìn)行低秩近似處理；

選取下采樣圖像dr，通過與不同的梯度算子進(jìn)行卷積運算，提取橫縱兩個方向的一階和二階梯度特征。按照下采樣的比例，不失一般性的，設(shè)下采樣比例為2，用滑窗采樣的方法對圖像lr和圖像dr進(jìn)行分塊處理。將圖像lr分成大小為p×p的圖像塊，即將圖像dr的梯度特征分成大小為q×q的圖像塊，即并且滿足p＝2*q。經(jīng)過排列可以將圖像lr表示為大小為p×p×m的張量將圖像dr的梯度特征表示為大小為q×q×4×m的張量其中m為圖像塊的數(shù)目。為了得到圖像塊之間的緊密聯(lián)系，需要對圖像dr的梯度特征張量進(jìn)行低秩化近似處理。

以下是本發(fā)明的低秩張量近似處理方法。設(shè)為初始張量，為低秩近似后的張量，則目標(biāo)函數(shù)表示為

上述式子(1)符合的形式，因此可以采用alm(augmentedlagrangianmethod，增廣拉格朗日方法)進(jìn)行求解^[3]，則得到以下迭代過程：

其中，

由于alm算法只適用于矩陣的求解，將對低秩近似張量的求解轉(zhuǎn)換到對于投影矩陣u1,u2,..,un的求解。

根據(jù)式(6)可以將正則項代替為則

其中，是張量的第i個模式的展開形式，將式(7)轉(zhuǎn)換為svt^[4](singularvaluethresholding，奇異值閾值)解法的標(biāo)準(zhǔn)形式為：

利用svt解法得到的值：

其中，p和q分別為奇異值分解左，右奇異值矩陣，代表奇異值分解的中間矩陣值大于τk的部分。確定后，由可以得到所求的低秩近似結(jié)果

3)對低分辨率圖像張量和低秩近似處理后的下采樣梯度特征張量進(jìn)行聯(lián)合稀疏化字典學(xué)習(xí)，得到下采樣圖像到原始低分辨率圖像的恢復(fù)字典；

將步驟2)中的張量和張量低秩近似結(jié)果按照空間關(guān)系展開為矩陣和矩陣在訓(xùn)練學(xué)習(xí)lr-dr字典對的過程中，字典dl與字典dd需要通過聯(lián)合稀疏學(xué)習(xí)的方法得到。dl與dd需要滿足下式：

其中，

為了保證高分辨率圖像的重構(gòu)效果，需要保證字典的過完備性，因此字典矩陣的列數(shù)需要遠(yuǎn)遠(yuǎn)大于行數(shù)^[5]。

4)在圖像訓(xùn)練集中選取低分辨率圖像和上采樣圖像進(jìn)行訓(xùn)練，對低分辨率圖像提取梯度特征得到低分辨率梯度特征，然后按照上采樣的比例分別對低分辨率梯度特征和上采樣圖像進(jìn)行分塊處理并排列成張量，得到低分辨率梯度特征張量和上采樣圖像張量，對低分辨率梯度特征張量進(jìn)行低秩近似處理，在步驟3)得到的恢復(fù)字典的基礎(chǔ)上再一次通過聯(lián)合稀疏化學(xué)習(xí)對所述恢復(fù)字典進(jìn)行更新；

所述的更新是采用如下公式：

其中，

z表示字典稀疏系數(shù)，α，β均為正數(shù)，表示懲罰項參數(shù)，d表示步驟3)初始學(xué)習(xí)得到的恢復(fù)字典，y表示低分辨率梯度與上采樣圖像的組合，d^表示更新后的恢復(fù)字典。

5)選取低分辨率圖像，將圖像由原始的rgb色彩空間轉(zhuǎn)換至ycbcr亮度色度空間，其中y代表亮度分量，cb代表藍(lán)色色度分量，cr代表紅色色度分量，由于亮度分量中含有較多的細(xì)節(jié)信息以及人眼對亮度信息敏感，則只對y利用更新后的字典進(jìn)行逐塊高分辨率重構(gòu)，而cb和cr采用雙線性插值(bicubic)方法進(jìn)行重構(gòu)，直至遍歷整個低分辨率圖像，得到原始的恢復(fù)圖像；具體是：

針對于每一個圖像塊的y分量取均值m，每一個圖像塊的亮度差值利用訓(xùn)練得到的字典du和稀疏化系數(shù)z進(jìn)行重構(gòu)，則最終的亮度差值表達(dá)為：

然后由恢復(fù)的ycbcr分量得到初步的重構(gòu)結(jié)果i0。

6)利用迭代反投影算法對原始的恢復(fù)圖像進(jìn)行全局增強處理，得到最終的高分辨率重構(gòu)圖像。具體是：

利用ibp(iterativeback-projection)算法對重構(gòu)的基本結(jié)果進(jìn)行圖像增強。其基本思路是利用低分辨率圖像產(chǎn)生的過程進(jìn)行迭代，使最終生成的高分辨率圖像經(jīng)過下采樣和模糊處理后接近給定的低分辨率圖像lr，需要滿足下式：

其中s為下采樣算子，h為模糊算子。通過求解得到的即為最終的高分辨率圖像重構(gòu)結(jié)果。

實驗報告

測試數(shù)據(jù)集

本實驗使用的測試數(shù)據(jù)集為9張高分辨率重構(gòu)實驗常用的圖像，包括人物，動物，建筑物和衣物等多種類型。

評估標(biāo)準(zhǔn)

不失一般性的，采用峰值信噪比(psnr)和結(jié)構(gòu)相似度(ssim)衡量本方法的高分辨率重構(gòu)性能。

對比算法

實驗中將本方法與多種方法進(jìn)行對比，包括bicubic，zeybe^[6]，gr，anr^[7]，ne+ls,ne+lle^[8]，ne+nnls^[9]等7種近期比較普遍的高分辨率圖像重構(gòu)方法。

實驗結(jié)果

表1為本方法與其他7種高分辨率圖像重構(gòu)算法的psnr和ssim指標(biāo)的對比結(jié)果。由對比可知，本方法在girl和parrot測試圖片中psnr低于anr和gr算法，在girl和bike測試圖片中ssim指標(biāo)低于anr算法，但在其他測試圖片中，本方法均具有優(yōu)勢。實驗驗證了本方法的可行性與優(yōu)越性。

表1

參考文獻(xiàn)：

[1]komatsut,aizawak,igarashit,etal.signal-processingbasedmethodforacquiringveryhighresolutionimageswithmultiplecamerasanditstheoreticalanalysis[j].ieeproceedingsi-communications,speechandvision,1993,140(1):19-24.

[2]pattiaj,sezanmi,tekalpam.superresolutionvideoreconstructionwitharbitrarysamplinglatticesandnonzeroaperturetime[j].ieeetransactionsonimageprocessing,1997,6(8):1064-1076.

[3]linz,chenm,may.theaugmentedlagrangemultipliermethodforexactrecoveryofcorruptedlow-rankmatrices[j].arxivpreprintarxiv:1009.5055,2010.

[4]wrightj,ganesha,raos,etal.robustprincipalcomponentanalysis:exactrecoveryofcorruptedlow-rankmatricesviaconvexoptimization[c]//advancesinneuralinformationprocessingsystems.2009:2080-2088.

[5]w.dong,g.li,g.shi,x.li,andy.ma.low-ranktensorapproximationwithlaplacianscalemixturemodelingformultiframeimagedenoising.inproceedingsofieeeinternationalconferenceoncomputervision,pages442–449,2015..

[6]r.zeyde,m.elad,andm.protter.onsingleimagescale-upusingsparse-representations.inproceedingsofinternationalconferenceoncurvesandsurfaces,pages711–730,2010.

[7]r.timofte,v.desmet,andl.vangool.anchoredneighborhoodregressionforfastexample-basedsuperresolution.inproceedingsofieeeinternationalconferenceoncomputervision,pages1920–1927,2013.

[8]m.bevilacqua,a.roumy,c.guillemot,andm.l.alberimorel.low-complexitysingle-imagesuper-resolutionbasedonnonnegativeneighborembedding.pages1–9,2012..

[9]h.chang,d.-y.yeung,andy.xiong.super-resolutionthroughneighborembedding.inproceedingsofieeeinternationalconferenceoncomputervisionandpatternrecognition,volume1,pages275–282,2004.

本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施例的示意圖。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。