本發(fā)明涉及一種圖像超分辨重建處理方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

圖像超分辨率重建(super-resolutionreconstruction,srr)是指利用一幅或者多幅低分辨率(low-resolution,lr)圖像，結(jié)合一定的先驗(yàn)重建出具有更多細(xì)節(jié)信息的高分辨率(high-resolution,hr)圖像的過(guò)程。其可以在不改變現(xiàn)有成像系統(tǒng)的情況下，利用信號(hào)處理相關(guān)技術(shù)提高圖像空間分辨率，從而有利于圖像后續(xù)應(yīng)用于醫(yī)學(xué)、遙感、軍事監(jiān)測(cè)和圖像壓縮等多個(gè)領(lǐng)域。

srr的基本概念和方法是由harris和goodman于20世紀(jì)60年代提出的，tsai和huang[8]于1984年首次提出了一種基于頻域逼近的多幅圖像srr算法，自此srr技術(shù)進(jìn)入快速發(fā)展階段。但由于頻域法引入的圖像先驗(yàn)信息有限，此后對(duì)頻域法的研究不多。空域法更加靈活，且可以附加各種先驗(yàn)信息，得到了廣泛研究并快速發(fā)展。其主要包括：非均勻插值算法(non-uniforminterpolation,nui)、凸集投影法(projectionsontoconvexsets,pocs)、迭代反投影法(interactivebackprojection,ibp)、正則化方法、混合map-pocs法、自適應(yīng)濾波方法、基于稀疏表示的方法等。

根據(jù)所依據(jù)原理的不同，空域法又可分為以下兩大類：基于重建的方法和基于學(xué)習(xí)的方法。對(duì)于srr這一病態(tài)反問(wèn)題的求解，關(guān)鍵是如何引入更多的先驗(yàn)信息來(lái)對(duì)解加以約束和穩(wěn)定?；谥亟ǖ姆椒ㄐ枥糜傻头直媛市蛄蝎@取的信息來(lái)進(jìn)行重建，但當(dāng)采樣率較大或者低分辨率序列幀數(shù)較少時(shí)，就無(wú)法提供足夠的先驗(yàn)信息，這會(huì)影響圖像重建質(zhì)量。而基于學(xué)習(xí)的方法能夠引入學(xué)習(xí)到的額外先驗(yàn)信息，在一幅圖像的情況下就可以得到較好的重建結(jié)果。

其中基于稀疏表示的方法利用稀疏表示模型建立高低分辨率圖像之間的內(nèi)在關(guān)系，從而指導(dǎo)超分辨率重建，可以得到很好的重建效果。但是，該類算法也是有其自身缺點(diǎn)的。傳統(tǒng)的基于稀疏表示的算法需要通過(guò)對(duì)大量樣本的學(xué)習(xí)構(gòu)建出一個(gè)過(guò)完備字典，這個(gè)過(guò)完備字典具有普遍的適用性，可以用來(lái)對(duì)各種不同的圖像結(jié)構(gòu)進(jìn)行稀疏編碼。但對(duì)于要重建的每一圖像塊來(lái)說(shuō)，通用過(guò)完備字典并不是最優(yōu)的。因?yàn)樗鄙賹?duì)圖像局部結(jié)構(gòu)的適應(yīng)性，即對(duì)于圖像中變化的結(jié)構(gòu)不能都進(jìn)行有效表示，而且它的很多原子對(duì)于某一特定圖像塊來(lái)說(shuō)都是不相關(guān)的，這樣會(huì)影響稀疏編碼效率。文獻(xiàn)[1,2]采用緊湊子字典的學(xué)習(xí)策略，針對(duì)不同子類學(xué)習(xí)對(duì)應(yīng)子字典，得到重建圖像塊的更好的稀疏表示，提高計(jì)算效率和重建效果。

另外，在稀疏表示重建建模中，充分利用圖像固有先驗(yàn)信息對(duì)稀疏表示系數(shù)進(jìn)行正則化約束很是關(guān)鍵。yang等^[3,4]引入局部稀疏性先驗(yàn)項(xiàng)，從而提高了算法的邊緣保持能力。文獻(xiàn)[5]利用圖像雙稀疏及非局部自相似先驗(yàn)進(jìn)行圖像srr，得到有一定優(yōu)越性的實(shí)驗(yàn)結(jié)果。引入非局部自相似先驗(yàn)項(xiàng)來(lái)對(duì)相似圖像塊的稀疏表示系數(shù)間的關(guān)系進(jìn)行約束，充分利用了圖像結(jié)構(gòu)先驗(yàn)信息，可以得到保持圖像細(xì)節(jié)的重建結(jié)果。但其在相似性度量方面只考慮了像素灰度信息，需充分考慮圖像塊像素之間的關(guān)聯(lián)，從而進(jìn)一步提高圖像塊的匹配精度以得到更準(zhǔn)確的非局部先驗(yàn)。

參考文獻(xiàn)

[1]yangs,liuz,wangm,etal.multitaskdictionarylearningandsparserepresentationbasedsingle-imagesuper-resolutionreconstruction[j].neurocomputing,2011,74(17):3193-3203.

[2]dongw,zhangl,shig,etal.imagedeblurringandsuper-resolutionbyadaptivesparsedomainselectionandadaptiveregularization[j].imageprocessing,ieeetransactionson,2011,20(7):1838-1857.

[3]yangj,wrightj,huangt,etal.imagesuper-resolutionassparserepresentationofrawimagepatches[c]//computervisionandpatternrecognition,2008.cvpr2008.ieeeconferenceon.ieee,2008:1-8.

[4]yangj,wrightj,huangts,etal.imagesuper-resolutionviasparserepresentation[j].imageprocessing,ieeetransactionson,2010,19(11):2861-2873.

[5]yangs,wangm,suny,etal.compressivesamplingbasedsingle-imagesuper-resolutionreconstructionbydual-sparsityandnon-localsimilarityregularizer[j].patternrecognitionletters,2012,33(9):1049-1059.

[6]liuxz,fenggc.kernelbisectingk-meansclusteringforsvmtrainingsamplereduction[c]//patternrecognition,2008.icpr2008.19thinternationalconferenceon.ieee,2008:1-4.

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題與不足，本發(fā)明提供一種圖像超分辨重建處理方法，進(jìn)行自適應(yīng)稀疏表示建模，通過(guò)學(xué)習(xí)得到高分辨率訓(xùn)練集每一子集的對(duì)應(yīng)子字典，然后對(duì)要重建的每一圖像塊自適應(yīng)選取與其最相關(guān)的子字典，從而提高稀疏表示的效果和效率。引入非局部自相似性先驗(yàn)項(xiàng)，并利用雙邊濾波思想對(duì)非局部自相似正則項(xiàng)進(jìn)行改進(jìn)，在考慮像素灰度相似性的同時(shí)加入對(duì)像素空間位置距離的約束，對(duì)權(quán)重系數(shù)進(jìn)行改進(jìn)，以進(jìn)一步保持圖像的邊緣信息，提高圖像的重建質(zhì)量。此外，為減少算法計(jì)算量，利用絕對(duì)差值和絕對(duì)差值和(sumofabsolutedifference,sad)來(lái)對(duì)像素結(jié)構(gòu)相似性進(jìn)行度量。實(shí)驗(yàn)證明，本發(fā)明可以有效抑制噪聲影響且可保持圖像邊緣細(xì)節(jié)，在峰值信噪比(peaksignaltonoiseratio,psnr)和視覺(jué)效果方面都存在一定的優(yōu)越性。

技術(shù)方案：一種圖像超分辨重建處理方法，利用自適應(yīng)稀疏表示進(jìn)行重建，即對(duì)于每一給定的圖像塊xi自適應(yīng)選取最優(yōu)子字典φki，所有φki的集合即為高分辨率字典φ；

子字典的學(xué)習(xí)

(1)對(duì)高分辨率樣本庫(kù)圖像進(jìn)行分塊處理(大小為)，并將分塊中方差小的圖像塊篩選掉；

(2)將步驟(1)選定的圖像塊，當(dāng)做訓(xùn)練集，并記為s＝[s1,s2,...sm]，選用圖像塊的高通濾波結(jié)果作為特征進(jìn)行聚類；采用k-均值聚類^[6]算法將高通濾波集sh聚類成k類，從而s也被聚類成相應(yīng)的k個(gè)子集sk，k＝1,2,...,k；

(3)由子集sk學(xué)習(xí)對(duì)應(yīng)子字典φk，字典的構(gòu)造可通過(guò)下式得到：

上式是關(guān)于φk和稀疏表示系數(shù)矩陣λk＝[α1,α2,...,αk]的聯(lián)合優(yōu)化求解問(wèn)題，為提高計(jì)算效率，利用pca方法來(lái)學(xué)習(xí)子字典φk，即對(duì)sk的協(xié)方差矩陣ωk進(jìn)行奇異值分解，得到一個(gè)正交變換矩陣pk；依據(jù)重要性在pk中選取前r個(gè)特征向量，由此組成字典φr＝[p1,p2,...,pr]，則sk關(guān)于φr的稀疏表示系數(shù)為那么，r的最優(yōu)值可以由下式確定：

最終，由sk學(xué)習(xí)得到子字典對(duì)每個(gè)sk應(yīng)用上述過(guò)程進(jìn)行學(xué)習(xí)，那么最終就可以得到k個(gè)子字典；

子字典的自適應(yīng)選擇

重建過(guò)程中，對(duì)高分辨率圖像x的每一圖像塊xi自適應(yīng)選取其最優(yōu)子字典；這就要首先選定x的一個(gè)初始估計(jì)這里可選用低分辨率圖像y的雙三次插值結(jié)果，用表示的任一圖像塊，也即對(duì)應(yīng)xi的估計(jì)；利用圖像塊的高通濾波結(jié)果與每個(gè)子類的聚類中心μk的距離來(lái)進(jìn)行對(duì)應(yīng)子字典φki的自適應(yīng)選擇；為避免噪聲的影響，選擇在μk的子空間中進(jìn)行的子字典的確定，記u＝[μ1,μ2,...,μk]，對(duì)u的協(xié)方差矩陣進(jìn)行svd得到一變換矩陣；選用其前幾個(gè)特征向量，組成投影矩陣φc，在φc的子空間中進(jìn)行距離計(jì)算，則的子字典的自適應(yīng)選擇公式可表示如下：

由上式，得到對(duì)應(yīng)的子字典φki，自適應(yīng)選取的φki的集合就是x對(duì)應(yīng)的全局稀疏字典φ，通過(guò)最小化目標(biāo)方程來(lái)更新x的估計(jì)值這樣，x自適應(yīng)選取的字典也隨之更新，一直迭代上述過(guò)程直到收斂，即為最終的重建結(jié)果x^*。

3.如權(quán)利要求1所述的圖像超分辨重建處理方法，其特征在于，對(duì)于非局部自相似性的度量，利用雙邊濾波思想，對(duì)其加入像素空間距離約束，即在其權(quán)重部分，引入空間鄰近度因子；設(shè)為xi的任一相似塊，兩者的空間坐標(biāo)距離表示為將圖像塊空間距離度量用圖像塊xi與對(duì)應(yīng)的中心像素點(diǎn)間的位置距離代替，即表示為

在計(jì)算包含空間位置信息的權(quán)重時(shí)，綜合圖像塊灰度和空間位置距離，則改進(jìn)后的權(quán)重計(jì)算公式為：

式中，分別表示灰度相似度因子和空間鄰近度因子，c’i表示總的歸一化因子，具體公式定義如下：

其中，表示圖像塊xi與之間的像素灰度歐氏距離，表示xi與的中心像素之間的空間坐標(biāo)歐氏距離；

在非局部自相似性算法中，用歐氏距離對(duì)兩個(gè)像素鄰域相似度進(jìn)行衡量，但其涉及到平方運(yùn)算，計(jì)算量過(guò)大。利用絕對(duì)差值和sad替代衡量像素灰度相似性的歐氏距離，而對(duì)于空間距離的衡量已簡(jiǎn)化為中心像素點(diǎn)坐標(biāo)歐氏距離，所以不作修改；則表達(dá)式如下：

其中n表示圖像塊像素?cái)?shù)目；

非局部自相似正則項(xiàng)表示為：

其中，bi表示包含所有權(quán)重系數(shù)的列向量，βi是所有組成的列向量。

由稀疏表示公式，則上式可以表示為以下關(guān)于稀疏表示系數(shù)的正則項(xiàng)形式：

其中，e是單位矩陣，

3.如權(quán)利要求1所述的圖像超分辨重建處理方法，其特征在于，基于自適應(yīng)稀疏表示和改進(jìn)的非局部正則項(xiàng)的srr可表示如下：

上式從左至右依次為l2范數(shù)保真項(xiàng)、局部稀疏約束項(xiàng)以及非局部自相似正則項(xiàng)；

引入自適應(yīng)權(quán)重參數(shù)λi,j，上式改寫為：

其中，αi,j是與φki的第j個(gè)原子有關(guān)的系數(shù)；λi,j的計(jì)算方法：

式中，是αi,j的估計(jì)，ε是一很小的常數(shù)；

當(dāng)輸入低分辨率圖像受標(biāo)準(zhǔn)差為σn的高斯白噪聲的污染，λi,j可以應(yīng)用更加魯棒的公式計(jì)算：

式中，是σi,j的估計(jì)值，而σi,j是αi,j的標(biāo)準(zhǔn)差。

式(22)可表示為以下形式：

令則上式可表示為：

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的方法流程圖，(a)為子字典學(xué)習(xí)部分，(b)為重建部分；

圖2為兩組不同的高分辨率訓(xùn)練集，(a)為td1，(b)為td2；

圖3為parrot圖srr結(jié)果，(a)lr，(b)原h(huán)r，(c)bicubic，(d)asds-td1，(e)asds-td2，(f)asds-nl-td1，(g)asds-nl-td2，(h)asds-inl-td1，(i)asds-inl-td2；

圖4為leaves圖有噪情況下的srr結(jié)果，(a)lr，(b)原h(huán)r，(c)bicubic，(d)asds-td1，(e)asds-td2，(f)asds-nl-td1，(g)asds-nl-td2，(h)asds-inl-td1，(i)asds-inl-td2；

圖5為無(wú)噪環(huán)境下girl圖srr結(jié)果，(a)lr，(b)bicubic，(c)btv，(d)scsr，(e)asds-inl，(f)原h(huán)r；

圖6為無(wú)噪環(huán)境下flower圖srr結(jié)果，(a)lr，(b)bicubic，(c)btv，(d)scsr，(e)asds-inl，(f)原h(huán)r；

圖7為有噪環(huán)境下cameraman圖srr結(jié)果，(a)lr，(b)bicubic，(c)btv，(d)scsr，(e)asds-inl，(f)原h(huán)r；

圖8為有噪環(huán)境下boats圖srr結(jié)果，(a)lr，(b)bicubic，(c)btv，(d)scsr，(e)asds-inl，(f)原h(huán)r；

圖9為不同算法psnr值均值；

圖10為有噪環(huán)境下book圖srr結(jié)果，(a)lr，(b)bicubic，(c)e-asds-nl，(d)asds-nl，(e)e-asds-inl，(f)asds-inl；

圖11為有噪環(huán)境下plants圖srr結(jié)果(a)lr，(b)bicubic，(c)e-asds-nl，(d)asds-nl，(e)e-asds-inl，(f)asds-inl。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。

首先，對(duì)稀疏表示重建和非局部自相似先驗(yàn)項(xiàng)進(jìn)行闡述：

稀疏表示重建

單幅圖像srr是在已知單幅低分辨率圖像y的情況下，重建得到高分辨率圖像x，可表示為：

y＝dhx+n(1)

即y是x經(jīng)過(guò)模糊算子h和下采樣矩陣d的處理并疊加噪聲n的結(jié)果。

srr是一病態(tài)反問(wèn)題，基于稀疏表示的srr方法引入圖像的稀疏性先驗(yàn)來(lái)對(duì)重建的解進(jìn)行約束，即對(duì)高分辨率圖像x中的圖像塊xi(大小為)進(jìn)行稀疏性約束，認(rèn)為xi可稀疏表示為：

式中，φ是一高分辨率字典，αi是對(duì)應(yīng)的稀疏表示系數(shù)。

而圖像塊xi又可表示為：

xi＝rix,i＝1,2,...,n(3)

式中ri表示圖像塊提取矩陣。

x可通過(guò)重建圖像塊計(jì)算得到，結(jié)合上述兩式可表達(dá)如下：

用α表示所有αi的集合，則上式可簡(jiǎn)單表示成以下形式：

結(jié)合公式(1)，稀疏表示重建模型可表示如下：

求得之后，可得x的估計(jì)

非局部自相似先驗(yàn)

在自然圖像中，通常存在著大量重復(fù)性圖像結(jié)構(gòu)，可以對(duì)這種非局部冗余信息加以合理利用以提高圖像重建質(zhì)量。非局部技術(shù)可具體表述如下：

對(duì)于任一圖像塊xi，可以在整個(gè)圖像x或者其足夠大的搜索域i(i)內(nèi)找尋到與它相似的塊。設(shè)為xi在i(i)內(nèi)的一個(gè)相似塊，即滿足：

上式，表示圖像塊xi與之間的像素灰度歐氏距離，即將圖像塊之間的像素灰度歐氏距離作為相似性的判據(jù)，和分別為圖像塊xi和的當(dāng)前估計(jì)，用用和表示圖像塊的像素值，t表示設(shè)置的閾值。

在i(i)中找到前l(fā)個(gè)與xi最相似的塊，則xi的中心像素值xi可利用相似塊的中心像素值的加權(quán)均值來(lái)估計(jì)，即：

其中，表示相對(duì)于xi的非局部權(quán)重，定義如下：

式中，h表示權(quán)重控制因子，它與圖像的噪聲方差成正比。ci是歸一化因子，公式表示如下：

圖像中存在很多當(dāng)前圖像塊的非局部相似結(jié)構(gòu)塊，要得到中心像素點(diǎn)值的最好估計(jì)，就是要求xi的估計(jì)誤差盡可能小。

非局部自相似是通過(guò)比較兩個(gè)像素點(diǎn)鄰域也即圖像塊的灰度分布來(lái)確定其相似性，也即確定權(quán)值大小。它考慮到了像素點(diǎn)在其圖像空間中的結(jié)構(gòu)特征關(guān)系，將圖像的這種結(jié)構(gòu)相似信息體現(xiàn)于對(duì)相似塊像素點(diǎn)值的約束上。那么充分利用這種非局部自相似先驗(yàn)信息就能有效保持圖像的邊緣紋理結(jié)構(gòu)信息。對(duì)于基于稀疏表示的srr方法，通常結(jié)構(gòu)相似的圖像塊應(yīng)該編碼得到相近的稀疏表示系數(shù)，但在稀疏表示編碼過(guò)程中可能會(huì)出現(xiàn)相差較大的情況，這就會(huì)導(dǎo)致重建結(jié)果的不準(zhǔn)確。所以在稀疏表示模型中引入非局部自相似先驗(yàn)信息很有必要，這樣可以提升稀疏表示的準(zhǔn)確性與穩(wěn)定性。

一種圖像超分辨重建處理方法，包括自適應(yīng)稀疏表示和改進(jìn)的非局部正則項(xiàng)的srr兩部分：

自適應(yīng)稀疏表示

利用自適應(yīng)稀疏表示進(jìn)行重建，即對(duì)于每一給定的圖像塊xi自適應(yīng)選取最優(yōu)子字典φki，所有φki的集合即為高分辨率字典φ，該方法構(gòu)建的字典可以對(duì)圖像的局部結(jié)構(gòu)進(jìn)行有效表示。

1.子字典的學(xué)習(xí)

(1)對(duì)高分辨率樣本庫(kù)圖像進(jìn)行分塊處理(大小為)，根據(jù)試錯(cuò)法或者經(jīng)驗(yàn)選擇方差較大的圖像塊。實(shí)驗(yàn)部分設(shè)定的方差是大于16，方差值的設(shè)定沒(méi)有理論公式，是根據(jù)經(jīng)驗(yàn)或者根據(jù)試錯(cuò)法來(lái)選擇的。

(2)設(shè)共選擇m個(gè)圖像塊，記為s＝[s1,s2,...sm]，選用圖像塊的高通濾波結(jié)果作為特征進(jìn)行聚類。采用k-均值聚類^[6]算法將高通濾波集sh聚類成k類，從而s也被聚類成相應(yīng)的k個(gè)子集sk，k＝1,2,...,k。

(3)由子集sk學(xué)習(xí)對(duì)應(yīng)子字典φk，字典的構(gòu)造可通過(guò)下式得到：

上式是關(guān)于φk和稀疏表示系數(shù)矩陣λk＝[α1,α2,...,αk]的聯(lián)合優(yōu)化求解問(wèn)題，為提高計(jì)算效率，利用pca方法來(lái)學(xué)習(xí)子字典φk，即對(duì)sk的協(xié)方差矩陣ωk進(jìn)行奇異值分解(singularvaluedecomposition,svd)，得到一個(gè)正交變換矩陣pk。λ表示正則化參數(shù)。依據(jù)重要性在pk中選取前r個(gè)特征向量，由此組成字典φr＝[p1,p2,...,pr]，則sk關(guān)于φr的稀疏表示系數(shù)為那么，r的最優(yōu)值可以由下式確定：

最終，由sk學(xué)習(xí)得到子字典對(duì)每個(gè)sk應(yīng)用上述過(guò)程進(jìn)行學(xué)習(xí)，那么最終就可以得到k個(gè)子字典。

2.子字典的自適應(yīng)選擇

重建過(guò)程中，對(duì)高分辨率圖像x的每一圖像塊xi自適應(yīng)選取其最優(yōu)子字典。這就要首先選定x的一個(gè)初始估計(jì)這里可選用低分辨率圖像y的雙三次插值結(jié)果，用表示的任一圖像塊，也即對(duì)應(yīng)xi的估計(jì)。利用圖像塊的高通濾波結(jié)果與每個(gè)子類的聚類中心μk的距離來(lái)進(jìn)行對(duì)應(yīng)子字典φki的自適應(yīng)選擇。為避免噪聲的影響，選擇在μk的子空間中進(jìn)行的子字典的確定，記u＝[μ1,μ2,...,μk]，對(duì)u的協(xié)方差矩陣進(jìn)行svd得到一變換矩陣。選用其前3-5個(gè)特征向量，組成投影矩陣φc，在φc的子空間中進(jìn)行距離計(jì)算，則的子字典的自適應(yīng)選擇公式可表示如下：

由上式，得到對(duì)應(yīng)的子字典φki，自適應(yīng)選取的φki的集合就是x對(duì)應(yīng)的全局稀疏字典φ，通過(guò)最小化目標(biāo)方程(6)來(lái)更新x的估計(jì)值這樣，x自適應(yīng)選取的字典也隨之更新，一直迭代上述過(guò)程直到收斂，即為最終的重建結(jié)果x^*。

改進(jìn)的非局部正則項(xiàng)

在雙邊濾波算法中，權(quán)重系數(shù)由空間鄰近度以及灰度相似度因子兩部分構(gòu)成，對(duì)距離較遠(yuǎn)的、灰度值相差較大的像素給予較小的權(quán)重，即減小它們對(duì)中心像素的影響。對(duì)于非局部自相似性的度量，本發(fā)明也利用雙邊濾波思想，對(duì)其加入像素空間距離約束，即在其權(quán)重部分，引入空間鄰近度因子。因?yàn)閳D像信息具有一定連續(xù)性，與當(dāng)前圖像塊xi距離越近的圖像塊一般含有與xi更多的相似結(jié)構(gòu)信息，所以在考慮自相似性時(shí)給予更大的權(quán)重。設(shè)為xi的任一相似塊，兩者的空間坐標(biāo)距離表示為考慮到相似塊對(duì)應(yīng)像素點(diǎn)的空間距離都是相等的，為減少計(jì)算量，可以將圖像塊空間距離度量用圖像塊xi與對(duì)應(yīng)的中心像素點(diǎn)xi與的位置距離代替，即表示為u(xi)表示空間坐標(biāo)。

在計(jì)算包含空間位置信息的權(quán)重時(shí)，綜合圖像塊灰度和空間位置距離，則改進(jìn)后的權(quán)重計(jì)算公式為：

式中，分別表示灰度相似度因子和空間鄰近度因子，c’i表示總的歸一化因子，具體公式定義如下：

其中，表示圖像塊xi與之間的像素灰度歐氏距離，表示xi與的中心像素之間的空間坐標(biāo)歐氏距離。

在非局部自相似性算法中，用歐氏距離對(duì)兩個(gè)像素鄰域相似度進(jìn)行衡量，但其涉及到平方運(yùn)算，計(jì)算量過(guò)大。利用絕對(duì)差值和(sumofabsolutedifference,sad)替代衡量像素灰度相似性的歐氏距離，而對(duì)于空間距離的衡量已簡(jiǎn)化為中心像素點(diǎn)坐標(biāo)歐氏距離，所以不作修改。則表達(dá)式如下：

其中n表示圖像塊像素?cái)?shù)目，和分別為圖像塊xi和的當(dāng)前估計(jì)，和表示圖像塊的像素值。表示圖像塊的第j個(gè)像素。

利用sad來(lái)進(jìn)行像素灰度相似性的度量，可以很有效地反映像素灰度的差異，最重要的是計(jì)算中僅涉及加減法，相比較而言計(jì)算量減小了不少。

那么非局部自相似正則項(xiàng)可表示為：

其中，bi表示包含所有權(quán)重系數(shù)的列向量，βi是所有組成的列向量，l為圖像塊與xi相似的數(shù)目。

由稀疏表示公式(5)，則上式可以表示為以下關(guān)于稀疏表示系數(shù)的正則項(xiàng)形式：

其中，e是單位矩陣，

算法步驟

基于自適應(yīng)稀疏表示和改進(jìn)的非局部正則項(xiàng)的srr可表示如下：

上式從左至右依次為l2范數(shù)保真項(xiàng)、局部稀疏約束項(xiàng)以及非局部自相似正則項(xiàng)；d表示下采樣算子，h表示模糊算子，η表示非局部自相似正則化參數(shù)。

另外，自適應(yīng)加權(quán)局部稀疏項(xiàng)||α||1可以對(duì)||α||0的稀疏性進(jìn)行更好的等效表示，這樣有利于提高稀疏表示重建效果。引入自適應(yīng)權(quán)重參數(shù)λi,j，上式改寫為：

其中，αi,j是與φki的第j個(gè)原子有關(guān)的系數(shù)。λi,j的計(jì)算方法：

式中，是αi,j的估計(jì)，ε是一很小的常數(shù)，取值范圍為10^(-8)～10^(-10)。

當(dāng)輸入低分辨率圖像受標(biāo)準(zhǔn)差為σn的高斯白噪聲的污染，λi,j可以應(yīng)用更加魯棒的公式計(jì)算：

式中，是σi,j的估計(jì)值，而σi,j是αi,j的標(biāo)準(zhǔn)差。

式(22)可表示為以下形式：

令則上式可表示為：

下面給出重建部分的具體計(jì)算步驟，式(26)是一個(gè)加權(quán)l(xiāng)1范數(shù)最優(yōu)化問(wèn)題，選用迭代收縮算法進(jìn)行求解。

1.初始化：

(1)對(duì)輸入低分辨率圖像y進(jìn)行雙三次插值得到作為高分辨圖像x的初始估計(jì)；

(2)對(duì)進(jìn)行分塊(n塊)，對(duì)其每一圖像塊利用式(13)選取其對(duì)應(yīng)子字典φki，并計(jì)算得到每一的非局部權(quán)重向量bi，從而初始化b；

(3)初始化非局部正則參數(shù)η，設(shè)定閾值m、e以及最大迭代次數(shù)max_iter；

(4)初始化k＝0；

2.循環(huán)迭代直至收斂或者達(dá)到最大迭代次數(shù)，即或者k≥max_iter

(1)式

中w＝dh，v＝η²(e-b)^t(e-b)；

(2)

(3)其中soft(·,τ)是指閾值為τ的軟閾值函數(shù)：soft(α,τ)＝sign(α)max{|α|-τ,0}；

(4)通過(guò)重建得到每一圖像塊，然后利用每一圖像塊由式(5)計(jì)算得到

(5)如果mod(k,m)＝0，由重新進(jìn)行自適應(yīng)字典的選取，即對(duì)x的稀疏域進(jìn)行更新，并更新b。

上述算法中，軟閾值函數(shù)的閾值τi,j＝λi,j/r，其中λi,j由式(23)或(24)得到，r的選擇需滿足r＞||(kφ)^tkφ||2，可以根據(jù)經(jīng)驗(yàn)取一常數(shù)值。常整數(shù)m的設(shè)定是為了使算法每m次迭代才更新一次子字典φki和非局部權(quán)重bi，減少計(jì)算量。

實(shí)驗(yàn)對(duì)比分析

對(duì)本發(fā)明方法的相關(guān)性能進(jìn)行實(shí)驗(yàn)驗(yàn)證，共進(jìn)行三大組實(shí)驗(yàn)：本方法對(duì)于樣本集的魯棒性實(shí)驗(yàn)、本發(fā)明與其他算法在無(wú)噪以及有噪情況下的對(duì)比實(shí)驗(yàn)、本方法與采用原歐氏距離度量方式的算法的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中采用psnr來(lái)定量表征算法重建的效果。

參數(shù)設(shè)置

實(shí)驗(yàn)中對(duì)訓(xùn)練圖像進(jìn)行7×7分塊，且相鄰圖像塊間重疊5個(gè)像素，這是為了更好地保持塊之間的一致性。利用var(si)＞16來(lái)剔除平滑塊，總共從訓(xùn)練集選取363807個(gè)圖像塊，將其聚類成200個(gè)子類，分別進(jìn)行學(xué)習(xí)得到對(duì)應(yīng)子字典。

在srr實(shí)驗(yàn)中，根據(jù)圖像觀測(cè)模型分別對(duì)原始高分辨率圖像進(jìn)行模糊和下采樣操作從而得到無(wú)噪低分辨率圖像。實(shí)驗(yàn)中采用標(biāo)準(zhǔn)差為1.6，7×7的高斯模糊核，下采樣系數(shù)為3。在進(jìn)行有噪情況下的實(shí)驗(yàn)仿真時(shí)，加入標(biāo)準(zhǔn)差為5的高斯白噪聲從而得到含噪低分辨率圖像。在重建時(shí)也采用7×7的圖像分塊，且塊與塊之間重疊5個(gè)像素。參數(shù)設(shè)置如下：r設(shè)定為常數(shù)值4.8，對(duì)于無(wú)噪情況下的srr仿真，設(shè)定η＝0.3；對(duì)于有噪聲情況下的srr，設(shè)置η＝0.5。

算法對(duì)于樣本集的魯棒性實(shí)驗(yàn)

樣本圖像雖然在內(nèi)容上的呈現(xiàn)各有不同，但其都是由各種基本結(jié)構(gòu)組成的，本發(fā)明選取包含有豐富結(jié)構(gòu)信息的圖像塊進(jìn)行子字典的學(xué)習(xí)，目的就是提取出這些基本結(jié)構(gòu)及其相關(guān)信息。所以學(xué)習(xí)到的子字典以及srr的結(jié)果都對(duì)原始訓(xùn)練圖像庫(kù)并不敏感，只要選取的訓(xùn)練集包含有足夠多的結(jié)構(gòu)信息。

為驗(yàn)證本發(fā)明對(duì)訓(xùn)練集的魯棒性，使用兩組不同的高分辨率訓(xùn)練集進(jìn)行srr實(shí)驗(yàn)，圖2分別是兩個(gè)訓(xùn)練集中的圖像示例。圖(a)的高分辨率圖像內(nèi)容為風(fēng)景建筑等，圖(b)為人物圖，但兩組都同樣包含有豐富的結(jié)構(gòu)信息。在實(shí)驗(yàn)中，分別用“td1”和“td2”表示兩個(gè)圖像訓(xùn)練集。

將僅基于自適應(yīng)稀疏表示的算法(記為asds)、自適應(yīng)稀疏表示結(jié)合非局部正則項(xiàng)的算法(記為asds-nl)以及本發(fā)明改進(jìn)算法(記為asds-inl)分別在td1和td2訓(xùn)練集下進(jìn)行srr實(shí)驗(yàn)，用雙三次插值算法(bicubic)作基本對(duì)比。算法分別記為asds-td1、asds-td2、asds-nl-td1、asds-nl-td2、asds-inl-td1、asds-inl-td2。圖3、4分別為不同圖像的上述算法的srr結(jié)果，其中圖4是在有噪情況下的重建，重建結(jié)果的psnr值見(jiàn)表1。

表1不同算法重建結(jié)果的psnr值(單位：db)

從視覺(jué)效果上看，在兩組圖像srr結(jié)果中，圖(b)插值算法結(jié)果最差，整體比較模糊，在圖4含噪srr中，噪聲影響嚴(yán)重。圖(d)與(e)、(f)與(g)、(h)與(i)的重建結(jié)果無(wú)法分辨出效果好壞，且表1重建結(jié)果的psnr值的大小與視覺(jué)效果一致，bicubic的psnr值最小，asds-td1與asds-td2、asds-nl-td1與asds-nl-td2、asds-inl-td1與asds-inl-td2算法結(jié)果的psnr值均相差不大。也就是說(shuō)asds相關(guān)算法在td1和td2訓(xùn)練集下重建效果差別不大，這就驗(yàn)證了算法對(duì)于高分辨率訓(xùn)練集的魯棒性。縱向比較可以發(fā)現(xiàn)，(f)和(g)相比于(d)與(e)更加清晰，比如parrot圖的眼睛以及周圍的條紋處、leaves圖的佛像處，邊緣細(xì)節(jié)保持得更好，且由表1知asds-nl-td1與asds-nl-td2的psnr值大于asds-td1與asds-td2，均說(shuō)明了引入非局部正則項(xiàng)的有效性；而(h)和(i)又比(f)和(g)的視覺(jué)效果好，恢復(fù)了更多的圖像細(xì)節(jié)，且表1中也顯示asds-inl-td1與asds-inl-td2的相應(yīng)psnr值又比asds-nl-td1與asds-nl-td2的有所提高，驗(yàn)證了本發(fā)明改進(jìn)非局部正則項(xiàng)的有效性。

無(wú)噪以及有噪情況下仿真

在無(wú)噪以及有噪情況下對(duì)比四種不同算法的重建結(jié)果，即雙三次插值算法(bicubic)、btv正則化算法(記為btv)、yang提出的基于稀疏表示的srr算法(記為scsr)和本文算法(asds-inl)。上述已證明本發(fā)明方法在訓(xùn)練集td1、td2下的結(jié)果差別不大，在接下來(lái)的實(shí)驗(yàn)中選用的是td2訓(xùn)練集進(jìn)行字典學(xué)習(xí)。

為更全面驗(yàn)證本發(fā)明算法的有效性，針對(duì)無(wú)噪和有噪情況各給出兩組實(shí)驗(yàn)結(jié)果，見(jiàn)圖5-8及表2(其中加粗?jǐn)?shù)據(jù)為下列四組結(jié)果的相應(yīng)psnr值)。

從上述兩個(gè)測(cè)試圖像的重建結(jié)果對(duì)比圖中看出，插值方法的結(jié)果最為模糊，效果最差，基于btv的算法結(jié)果有一定程度的提高，但是仍然較為模糊，一些細(xì)節(jié)信息得不到恢復(fù)。scsr算法的重建結(jié)果效果較好，相比較為清晰，邊緣細(xì)節(jié)得到保持，本發(fā)明asds-inl算法效果最好，圖像最為清晰，相較于scsr算法在一些細(xì)節(jié)信息恢復(fù)方面性能更加優(yōu)異。例如圖5中g(shù)irl臉上的雀斑部分，圖6中flower圖花朵褶皺、葉子細(xì)節(jié)部分，都有更好的清晰度，尤其是圖6(e)的右上角的葉子的經(jīng)絡(luò)也得到了恢復(fù)。表2中的相應(yīng)psnr值結(jié)果與視覺(jué)觀測(cè)情況一致，bicubic的psnr值最小，btv算法的psnr值有一定提高，scsr算法與asds-inl算法的psnr值較高。其中asds-inl算法的psnr值最高。

上述有噪情況下的兩個(gè)測(cè)試圖像的重建結(jié)果的視覺(jué)效果與表2中的相應(yīng)psnr值的結(jié)果一致，bicubic方法結(jié)果最為模糊，噪聲并沒(méi)有得到有效抑制，相應(yīng)的psnr值也最小?；赽tv的算法結(jié)果有一定程度的提高，噪聲得到有效抑制，但是會(huì)造成過(guò)平滑，邊緣細(xì)節(jié)得不到保持，相應(yīng)的psnr值有一定的提高。scsr算法的重建結(jié)果效果較好，噪聲得到了有效抑制且邊緣細(xì)節(jié)得到保持，相應(yīng)psnr值也比前面算法的高。本發(fā)明asds-inl算法結(jié)果圖像最為清晰，相較于scsr算法恢復(fù)了更多的細(xì)節(jié)信息，邊緣得到更好的保持，如圖7中cameraman圖像人臉的輪廓，圖8中boats圖像船桿、文字都更加清晰。

表2無(wú)噪以及有噪環(huán)境下不同算法重建結(jié)果的psnr值(單位：db)

圖9是無(wú)噪及有噪情況下不同算法的psnr結(jié)果均值圖。由圖9和表2可以看出，不論是在無(wú)噪還是有噪情況下，bicubic算法的psnr值均最小，btv、scsr算法的psnr有一定提高，scsr算法的psnr值一般大于btv，也存在另外的情況(如表2中butterfly圖像所得psnr)，但scsr算法的重建效果好于btv算法，細(xì)節(jié)恢復(fù)明顯，本發(fā)明asds-inl算法的psnr值最高。

距離度量改進(jìn)實(shí)驗(yàn)

本發(fā)明提出對(duì)自相似的灰度距離度量進(jìn)行改進(jìn)以在保證重建效果的同時(shí)減少計(jì)算量。接下來(lái)對(duì)兩種不同距離度量方式算法進(jìn)行實(shí)驗(yàn)對(duì)比，即傳統(tǒng)的歐氏距離度量和本發(fā)明提出的sad度量，其中利用歐式距離度量的算法記為e-asds-nl、e-asds-inl。

表3有噪環(huán)境下不同算法重建結(jié)果的psnr值(單位：db)

很顯然，圖10、11中均插值方法效果最差，其psnr值也相應(yīng)最小。圖(e)、(f)效果優(yōu)于(c)、(d)，即本文改進(jìn)非局部正則項(xiàng)算法圖像結(jié)果可以恢復(fù)更多細(xì)節(jié)，這也與之前的實(shí)驗(yàn)驗(yàn)證結(jié)果一致?？梢钥闯?，(c)和(d)二者視覺(jué)效果相差不大，(e)和(f)也難以在視覺(jué)上對(duì)其分辨好壞，且表3表明e-asds-nl與asds-nl的psnr值接近，e-asds-inl與asds-inl的psnr值也相差不大，也就是說(shuō)本發(fā)明選用的灰度距離度量方法與歐氏距離度量方法的重建效果相差不大，保證了重建效果。在計(jì)算時(shí)間上，對(duì)于原尺寸256×256的實(shí)驗(yàn)圖像，本發(fā)明改進(jìn)度量方式的算法用時(shí)3分鐘左右，比原選用歐氏度量的算法用時(shí)少20秒左右。

綜上，本發(fā)明的asds相關(guān)算法在不同的高分辨率訓(xùn)練集下的重建效果相差不大，即對(duì)高分辨率樣本集具有很好的魯棒性，引入非局部正則項(xiàng)可以提高算法重建效果，且本文的改進(jìn)非局部正則項(xiàng)對(duì)重建效果有一定的改善作用。在無(wú)噪和有噪情況下，本文改進(jìn)算法都可以得到更好的重建視覺(jué)結(jié)果以及較高的psnr值，圖像細(xì)節(jié)得到進(jìn)一步保持，在有噪情況下又可以有效抑制噪聲影響，充分驗(yàn)證了本文算法的有效性。而且本文自相似的改進(jìn)距離度量方法可以在保證srr算法重建效果的同時(shí)減少計(jì)算量。