本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種基于多層次鄰域嵌入的圖像超分辨率重建方法和一種基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)。

背景技術(shù)：

圖像超分辨率重建是為了克服成像過程設(shè)備或技術(shù)的限制，從單幀低分辨率圖像或低分辨率圖像序列中重建一個(gè)高分辨率圖像。目前，圖像超分辨率重建算法可以分為三類：基于插值的算法，基于重建的算法和基于學(xué)習(xí)的算法。

具體地：(1)基于插值的算法是采用線性或非線性的算法，利用已知像素點(diǎn)估計(jì)出未知的像素值，例如nedi(插值算法的簡稱，newedge-directedinterpolation)，sai(插值算法的簡稱，soft-decisionadaptiveinterpolation)。(2)基于重建的算法是采用最大后驗(yàn)可能性模型使用各種正則項(xiàng)作為約束來描述自然圖像的特征。(3)基于學(xué)習(xí)的算法是依賴于外部的數(shù)據(jù)集建立低分辨率圖像塊和高分辨率圖像塊之間的關(guān)系，本領(lǐng)域的研究人員提出了不同的模型來描述這種關(guān)系，包括利用馬爾科夫隨機(jī)場模型來描述，每一個(gè)低分辨率圖像塊對應(yīng)幾個(gè)高分辨率候選圖像塊，這一特點(diǎn)符合馬爾科夫隨機(jī)場模型的結(jié)構(gòu)構(gòu)造且可以通過圖割或者置信傳播的方法解決，然而這種算法計(jì)算復(fù)雜度很高。

另外，yang等人(jianchaoyang等人，2010tipimagesuper-resolutionviasparserepresentation的作者)提出基于稀疏表示的圖像超分辨率算法，通過分別訓(xùn)練高低分辨率圖像的字典，將輸入的低分辨率圖像用低分辨率字典稀疏表示，然后將該稀疏系數(shù)與對應(yīng)的高分辨率字典相乘即可得高分辨率的圖像。以及，基于高低分辨率圖像塊共享相似線性幾何流形的假設(shè)，chang等人(hongchang等人，2004cvprsuper-resolutionthroughneighborembedding的作者)提出了鄰域嵌入算法。

但是，現(xiàn)有的圖像超分辨率算法均直接重建圖像的空間差異部分，也就是圖像的高頻成分，然而，圖像的結(jié)構(gòu)特征可能體現(xiàn)在不同方向的頻率域中，特別是在圖像紋理比較豐富的情況下，直接重建圖像的所有高頻成分會導(dǎo)致圖像的紋理細(xì)節(jié)直接被平滑。

因此，如何解決上述問題，提高圖像超分辨率重建的精確度成為亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明正是基于上述技術(shù)問題，提出了一種新的技術(shù)方案，可以有效地解決因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

有鑒于此，本發(fā)明的第一方面，提出了一種基于多層次鄰域嵌入的圖像超分辨率重建方法，包括：對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像；根據(jù)鄰域嵌入算法對所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像；對多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，以生成高分辨率圖像。

在該技術(shù)方案中，通過對將待處理圖像(比如，單幀低分辨率圖像或低分辨率圖像序列)經(jīng)可控金字塔分解操作得到的高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像均使用鄰域嵌入算法進(jìn)行重建，進(jìn)而經(jīng)可控金字塔分解操作的逆變換生成高分辨率圖像，如此，有效地解決了現(xiàn)有的圖像超分辨率重建方法中因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

在上述技術(shù)方案中，優(yōu)選地，所述對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像，具體包括：根據(jù)預(yù)設(shè)分解公式計(jì)算所述待處理圖像對一組多方向的可控帶通濾波器的響應(yīng)，以得到所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像，所述預(yù)設(shè)分解公式為：其中，xt表示所述待處理圖像，表示所述多個(gè)方向上的帶通子帶，xt⁰表示所述高通圖像，xtⁿ⁺¹表示所述低通剩余圖像，f(^·)和f^-1(^·)分別代表傅里葉變換和傅里葉逆變換，f(θⁱ)代表方向?yàn)棣?sup>i的可控帶通濾波器，gi表示根據(jù)可控帶通濾波器計(jì)算出的高通濾波器或低通濾波器。

在該技術(shù)方案中，具體地通過一組多方向的可控帶通濾波器對待處理圖像進(jìn)行濾波得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像，以確保得到多個(gè)圖像層次，進(jìn)而對每個(gè)圖像層次的圖像均進(jìn)行相應(yīng)的鄰域嵌入處理。

在上述任一技術(shù)方案中，優(yōu)選地，根據(jù)鄰域嵌入算法對所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像，具體包括：將所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別分解為對應(yīng)的圖像塊；對于每個(gè)所述圖像塊利用k-nn算法在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找k個(gè)近鄰的鄰域圖像塊，以得到k個(gè)重建系數(shù)；根據(jù)所述k個(gè)重建系數(shù)和所述k個(gè)近鄰的領(lǐng)域圖像塊得到所述對應(yīng)的高分辨率子帶圖像。

在該技術(shù)方案中，當(dāng)根據(jù)鄰域嵌入算法對分解得到的每個(gè)圖像層次的圖像進(jìn)行重建處理時(shí)，首先需要將相應(yīng)的圖像分解為多個(gè)圖像塊，并針對每個(gè)圖像塊利用k-nn算法(k-nearestneighbor，一種尋找最近鄰的算法)獲取其最近鄰的k個(gè)鄰域圖像塊(即相似度高的圖像塊)，進(jìn)而估計(jì)出相應(yīng)的k個(gè)重建系數(shù)，然后經(jīng)將每個(gè)鄰域圖像塊與對應(yīng)的重建系數(shù)相乘、將相乘結(jié)果合并，從而得到分辨率顯著提高的高分辨率子帶圖像，其中，對應(yīng)圖像層次的字典數(shù)據(jù)庫是指將待處理圖像分解后形成的所有的高頻圖像集合、低頻圖像集合以及各個(gè)方向?qū)?yīng)的圖像集合。

在上述任一技術(shù)方案中，優(yōu)選地，對于所述多個(gè)方向上的帶通子帶圖像和所述高通圖像，根據(jù)全局特征信息和局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊；對于所述低通剩余圖像，根據(jù)聯(lián)合局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊。

在該技術(shù)方案中，每個(gè)圖像塊的重建質(zhì)量很大程度上取決于查找到的最近鄰的鄰域圖像塊的精確性，則用于選擇相似塊的標(biāo)準(zhǔn)顯得至關(guān)重要，那么為了確保不同圖像層次的圖像塊的重建效果，對于高通圖像和多個(gè)方向上的帶通子帶圖像，引入待處理圖像的圖像塊特征信息作為全局特征信息，將高通圖像和多個(gè)方向上的帶通子帶圖像的圖像塊表現(xiàn)出的特征信息作為局部特征信息；而對于低通剩余圖像，由于其低頻性更加平滑，導(dǎo)致其梯度特征不能有效地被提取，但其是連續(xù)的且已包含了足夠的圖像結(jié)構(gòu)信息，因此引入聯(lián)合局部特征信息作為其相似性的度量。另外，特征信息指圖像的紋理特征信息等，以確保圖像超分辨率重建的精確度。

在上述任一技術(shù)方案中，優(yōu)選地，還包括：利用非局部均值算法對所述高分辨率圖像進(jìn)行優(yōu)化處理。

在該技術(shù)方案中，為了得到更好的重建效果，使用非局部均值算法將經(jīng)可控金字塔分解操作的逆變換處理得到高分辨率圖像進(jìn)行優(yōu)化處理，以減小高分辨率圖像的各個(gè)相似圖像塊之間的重建誤差。

本發(fā)明的第二方面，提出了一種基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)，包括：分解模塊，用于對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像；重建模塊，用于根據(jù)鄰域嵌入算法對所述分解模塊分解得到的所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像；處理模塊，用于對所述重建模塊處理得到的多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，以生成高分辨率圖像。

在該技術(shù)方案中，通過對將待處理圖像(比如，單幀低分辨率圖像或低分辨率圖像序列)經(jīng)可控金字塔分解操作得到的高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像均使用鄰域嵌入算法進(jìn)行重建，進(jìn)而經(jīng)可控金字塔分解操作的逆變換生成高分辨率圖像，如此，有效地解決了現(xiàn)有的圖像超分辨率重建方法中因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

在上述技術(shù)方案中，優(yōu)選地，所述分解模塊具體用于：根據(jù)預(yù)設(shè)分解公式計(jì)算所述待處理圖像對一組多方向的可控帶通濾波器的響應(yīng)，以得到所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像，所述預(yù)設(shè)分解公式為：其中，xt表示所述待處理圖像，表示所述多個(gè)方向上的帶通子帶，xt⁰表示所述高通圖像，xtⁿ⁺¹表示所述低通剩余圖像，f(^·)和f^-1(^·)分別代表傅里葉變換和傅里葉逆變換，f(θⁱ)代表方向?yàn)棣?sup>i的可控帶通濾波器，gi表示根據(jù)可控帶通濾波器計(jì)算出的高通濾波器或低通濾波器。

在該技術(shù)方案中，具體地通過一組多方向的可控帶通濾波器對待處理圖像進(jìn)行濾波得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像，以確保得到多個(gè)圖像層次，進(jìn)而對每個(gè)圖像層次的圖像均進(jìn)行相應(yīng)的鄰域嵌入處理。

在上述任一技術(shù)方案中，優(yōu)選地，所述重建模塊具體包括：分解子模塊，用于將所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別分解為對應(yīng)的圖像塊；查找子模塊，用于對所述分解子模塊分解得到的每個(gè)所述圖像塊利用k-nn算法在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找k個(gè)近鄰的鄰域圖像塊，以得到k個(gè)重建系數(shù)；處理子模塊，用于根據(jù)所述查找子模塊處理得到的所述k個(gè)重建系數(shù)和所述k個(gè)近鄰的領(lǐng)域圖像塊得到所述對應(yīng)的高分辨率子帶圖像。

在該技術(shù)方案中，當(dāng)根據(jù)鄰域嵌入算法對分解得到的每個(gè)圖像層次的圖像進(jìn)行重建處理時(shí)，首先需要將相應(yīng)的圖像分解為多個(gè)圖像塊，并針對每個(gè)圖像塊利用k-nn算法(k-nearestneighbor，一種尋找最近鄰的算法)獲取其最近鄰的k個(gè)鄰域圖像塊(即相似度高的圖像塊)，進(jìn)而估計(jì)出相應(yīng)的k個(gè)重建系數(shù)，然后經(jīng)將每個(gè)鄰域圖像塊與對應(yīng)的重建系數(shù)相乘、將相乘結(jié)果合并，從而得到分辨率顯著提高的高分辨率子帶圖像，其中，對應(yīng)圖像層次的字典數(shù)據(jù)庫是指將待處理圖像分解后形成的所有的高頻圖像集合、低頻圖像集合以及各個(gè)方向?qū)?yīng)的圖像集合。

在上述任一技術(shù)方案中，優(yōu)選地，所述查找子模塊具體用于：對于所述多個(gè)方向上的帶通子帶圖像和所述高通圖像，根據(jù)全局特征信息和局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊；對于所述低通剩余圖像，根據(jù)聯(lián)合局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊。

在該技術(shù)方案中，每個(gè)圖像塊的重建質(zhì)量很大程度上取決于查找到的最近鄰的鄰域圖像塊的精確性，則用于選擇相似塊的標(biāo)準(zhǔn)顯得至關(guān)重要，那么為了確保不同圖像層次的圖像塊的重建效果，對于高通圖像和多個(gè)方向上的帶通子帶圖像，引入待處理圖像的圖像塊特征信息作為全局特征信息，將高通圖像和多個(gè)方向上的帶通子帶圖像的圖像塊表現(xiàn)出的特征信息作為局部特征信息；而對于低通剩余圖像，由于其低頻性更加平滑，導(dǎo)致其梯度特征不能有效地被提取，但其是連續(xù)的且已包含了足夠的圖像結(jié)構(gòu)信息，因此引入聯(lián)合局部特征信息作為其相似性的度量。另外，特征信息指圖像的紋理特征信息等，以確保圖像超分辨率重建的精確度。

在上述任一技術(shù)方案中，優(yōu)選地，還包括：優(yōu)化模塊，用于利用非局部均值算法對所述處理模塊處理得到的所述高分辨率圖像進(jìn)行優(yōu)化處理。

在該技術(shù)方案中，為了得到更好的重建效果，使用非局部均值算法將經(jīng)可控金字塔分解操作的逆變換處理得到高分辨率圖像進(jìn)行優(yōu)化處理，以減小高分辨率圖像的各個(gè)相似圖像塊之間的重建誤差。

通過以上技術(shù)方案，可以有效地解決因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

附圖說明

圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建方法的流程示意圖；

圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的低分辨率圖像的分解結(jié)果示意圖；

圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)的框圖；

圖4示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建方法的流程示意圖；

圖5示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像各層次相似塊標(biāo)準(zhǔn)和重建示意圖。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說明的是，在不沖突的情況下，本申請的實(shí)施例及實(shí)施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實(shí)施，因此，本發(fā)明的保護(hù)范圍并不受下面公開的具體實(shí)施例的限制。

下面結(jié)合圖1至圖2對本發(fā)明的具體實(shí)施例進(jìn)行詳細(xì)說明。

圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建方法的流程示意圖。

圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的低分辨率圖像的分解結(jié)果示意圖。

如圖1所示，根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建方法，包括：步驟102，對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像；步驟104，根據(jù)鄰域嵌入算法對所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像；步驟106，對多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，以生成高分辨率圖像。

在該技術(shù)方案中，通過對將待處理圖像(比如，單幀低分辨率圖像或低分辨率圖像序列)經(jīng)可控金字塔分解操作得到的高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像均使用鄰域嵌入算法進(jìn)行重建，進(jìn)而經(jīng)可控金字塔分解操作的逆變換生成高分辨率圖像，如此，有效地解決了現(xiàn)有的圖像超分辨率重建方法中因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

具體地，如圖2所示，使用規(guī)模為1的自可逆、方向?yàn)?的可控金字塔變換從輸入的待處理圖像提取不同的頻率成分的分解結(jié)果，從左至右分別為：高通圖像，兩個(gè)方向上的帶通子帶圖像(0°,90°)，低通剩余圖像。

在上述技術(shù)方案中，優(yōu)選地，所述步驟102具體包括：根據(jù)預(yù)設(shè)分解公式計(jì)算所述待處理圖像對一組多方向的可控帶通濾波器的響應(yīng)，以得到所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像，所述預(yù)設(shè)分解公式為：其中，xt表示所述待處理圖像，表示所述多個(gè)方向上的帶通子帶，xt⁰表示所述高通圖像，xtⁿ⁺¹表示所述低通剩余圖像，f(^·)和f^-1(^·)分別代表傅里葉變換和傅里葉逆變換，f(θⁱ)代表方向?yàn)棣?sup>i的可控帶通濾波器，gi表示根據(jù)可控帶通濾波器計(jì)算出的高通濾波器或低通濾波器。

在該技術(shù)方案中，具體地通過一組多方向的可控帶通濾波器對待處理圖像進(jìn)行濾波得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像，以確保得到多個(gè)圖像層次，進(jìn)而對每個(gè)圖像層次的圖像均進(jìn)行相應(yīng)的鄰域嵌入處理。

在上述任一技術(shù)方案中，優(yōu)選地，所述步驟104具體包括：將所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別分解為對應(yīng)的圖像塊；對于每個(gè)所述圖像塊利用k-nn算法在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找k個(gè)近鄰的鄰域圖像塊，以得到k個(gè)重建系數(shù)；根據(jù)所述k個(gè)重建系數(shù)和所述k個(gè)近鄰的領(lǐng)域圖像塊得到所述對應(yīng)的高分辨率子帶圖像。

在該技術(shù)方案中，當(dāng)根據(jù)鄰域嵌入算法對分解得到的每個(gè)圖像層次的圖像進(jìn)行重建處理時(shí)，首先需要將相應(yīng)的圖像分解為多個(gè)圖像塊，并針對每個(gè)圖像塊利用k-nn算法(k-nearestneighbor，一種尋找最近鄰的算法)獲取其最近鄰的k個(gè)鄰域圖像塊(即相似度高的圖像塊)，進(jìn)而估計(jì)出相應(yīng)的k個(gè)重建系數(shù)，然后經(jīng)將每個(gè)鄰域圖像塊與對應(yīng)的重建系數(shù)相乘、將相乘結(jié)果合并，從而得到分辨率顯著提高的高分辨率子帶圖像，其中，對應(yīng)圖像層次的字典數(shù)據(jù)庫是指將待處理圖像分解后形成的所有的高頻圖像集合、低頻圖像集合以及各個(gè)方向?qū)?yīng)的圖像集合。

為了更加高效地估計(jì)出更精確的重建系數(shù)，采用鄰域嵌入算法使用l2范數(shù)來約束最小平方問題，可表示為如下：其中，圖像塊xtⁱ為待重建的圖像塊，nlⁱ為xtⁱ在低分辨率字典中通過k-nn算法得到的最近鄰的圖像塊，為待求的重建系數(shù)，λ為平衡兩項(xiàng)的權(quán)重，優(yōu)選地可取值為0.15，則對應(yīng)重建的高分辨率子帶圖像塊可由計(jì)算出，整合高分辨率子帶圖像塊可得高分辨率子帶圖像ytⁱ。

在上述任一技術(shù)方案中，優(yōu)選地，對于所述多個(gè)方向上的帶通子帶圖像和所述高通圖像，根據(jù)全局特征信息和局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊；對于所述低通剩余圖像，根據(jù)聯(lián)合局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊。

在該技術(shù)方案中，每個(gè)圖像塊的重建質(zhì)量很大程度上取決于查找到的最近鄰的鄰域圖像塊的精確性，則用于選擇相似塊的標(biāo)準(zhǔn)顯得至關(guān)重要，那么為了確保不同圖像層次的圖像塊的重建效果，對于高通圖像和多個(gè)方向上的帶通子帶圖像，引入待處理圖像的圖像塊特征信息作為全局特征信息，將高通圖像和多個(gè)方向上的帶通子帶圖像的圖像塊表現(xiàn)出的特征信息作為局部特征信息；而對于低通剩余圖像，由于其低頻性更加平滑，導(dǎo)致其梯度特征不能有效地被提取，但其是連續(xù)的且已包含了足夠的圖像結(jié)構(gòu)信息，因此引入聯(lián)合局部特征信息作為其相似性的度量。另外，特征信息指圖像的紋理特征信息等，以確保圖像超分辨率重建的精確度。

具體地，對于多個(gè)方向上的帶通子帶圖像和高通圖像，圖像塊在k-nn中搜尋最近鄰的圖像塊距離可以定義為下式：其中，代表梯度操作符，xt和xs^j分別為圖像塊xtⁱ，xs^ij對應(yīng)的待處理圖像經(jīng)上插后，所得圖像中相同位置的圖像塊，η為平衡兩項(xiàng)的權(quán)重，優(yōu)選地可取值為1，式中第一項(xiàng)代表圖像塊xtⁱ和xs^ij的局部特征之間的距離，第二項(xiàng)表示二者全局特征之間的距離。

而對于低通剩余圖像，圖像塊xtⁿ⁺¹在k-nn中搜尋最近鄰的圖像塊距離可以定義為下式：

在上述任一技術(shù)方案中，優(yōu)選地，對多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，生成最終的高分辨率圖像yt，可用下式表示：其中，代表所述多個(gè)方向上的帶通子帶對應(yīng)的高分辨率子帶圖像，yt⁰表示所述高通圖像對應(yīng)的高分辨率子帶圖像，ytⁿ⁺¹表示所述低通剩余圖像對應(yīng)的高分辨率子帶圖像，f(^·)和f^-1(^·)分別代表傅里葉變換和傅里葉逆變換，f(θⁱ)代表方向?yàn)棣?sup>i的可控帶通濾波器，g0表示根據(jù)可控帶通濾波器計(jì)算出的低通濾波器，gn+1表示根據(jù)可控帶通濾波器計(jì)算出的高通濾波器。

在上述任一技術(shù)方案中，優(yōu)選地，還包括：利用非局部均值算法對所述高分辨率圖像進(jìn)行優(yōu)化處理。

在該技術(shù)方案中，為了得到更好的重建效果，使用非局部均值算法將經(jīng)可控金字塔分解操作的逆變換處理得到高分辨率圖像進(jìn)行優(yōu)化處理，以減小高分辨率圖像的各個(gè)相似圖像塊之間的重建誤差。

具體地對于高分辨率圖像yt中的任一圖像塊yt，首先在全圖中尋找其相似塊yt^l并限制最小重建誤差，可用下式表示：其中，權(quán)重w^l取決于圖像塊yt^l和yt的距離，然后通過迭代優(yōu)化得到最終重建的高分辨率圖像yt。

圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)的框圖。

如圖3所示，根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)300，包括：分解模塊302、重建模塊304和處理模塊306。

其中，分解模塊302，用于對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像；重建模塊304，用于根據(jù)鄰域嵌入算法對所述分解模塊302分解得到的所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像；處理模塊306，用于對所述重建模塊304處理得到的多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，以生成高分辨率圖像。

在該技術(shù)方案中，通過對將待處理圖像(比如，單幀低分辨率圖像或低分辨率圖像序列)經(jīng)可控金字塔分解操作得到的高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像均使用鄰域嵌入算法進(jìn)行重建，進(jìn)而經(jīng)可控金字塔分解操作的逆變換生成高分辨率圖像，如此，有效地解決了現(xiàn)有的圖像超分辨率重建方法中因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

在上述技術(shù)方案中，優(yōu)選地，所述分解模塊302具體用于：根據(jù)預(yù)設(shè)分解公式計(jì)算所述待處理圖像對一組多方向的可控帶通濾波器的響應(yīng)，以得到所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像，所述預(yù)設(shè)分解公式為：其中，xt表示所述待處理圖像，表示所述多個(gè)方向上的帶通子帶，xt⁰表示所述高通圖像，xtⁿ⁺¹表示所述低通剩余圖像，f(^·)和f^-1(^·)分別代表傅里葉變換和傅里葉逆變換，f(θⁱ)代表方向?yàn)棣?sup>i的可控帶通濾波器，gi表示根據(jù)可控帶通濾波器計(jì)算出的高通濾波器或低通濾波器。

在該技術(shù)方案中，具體地通過一組多方向的可控帶通濾波器對待處理圖像進(jìn)行濾波得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像，以確保得到多個(gè)圖像層次，進(jìn)而對每個(gè)圖像層次的圖像均進(jìn)行相應(yīng)的鄰域嵌入處理。

在上述任一技術(shù)方案中，優(yōu)選地，所述重建模塊304具體包括：分解子模塊3042、查找子模塊3044和處理子模塊3046。

其中，分解子模塊3042，用于將所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別分解為對應(yīng)的圖像塊；查找子模塊3044，用于對所述分解子模塊3042分解得到的每個(gè)所述圖像塊利用k-nn算法在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找k個(gè)近鄰的鄰域圖像塊，以得到k個(gè)重建系數(shù)；處理子模塊3046，用于根據(jù)所述查找子模塊3044處理得到的所述k個(gè)重建系數(shù)和所述k個(gè)近鄰的領(lǐng)域圖像塊得到所述對應(yīng)的高分辨率子帶圖像。

在該技術(shù)方案中，當(dāng)根據(jù)鄰域嵌入算法對分解得到的每個(gè)圖像層次的圖像進(jìn)行重建處理時(shí)，首先需要將相應(yīng)的圖像分解為多個(gè)圖像塊，并針對每個(gè)圖像塊利用k-nn算法(k-nearestneighbor，一種尋找最近鄰的算法)獲取其最近鄰的k個(gè)鄰域圖像塊(即相似度高的圖像塊)，進(jìn)而估計(jì)出相應(yīng)的k個(gè)重建系數(shù)，然后經(jīng)將每個(gè)鄰域圖像塊與對應(yīng)的重建系數(shù)相乘、將相乘結(jié)果合并，從而得到分辨率顯著提高的高分辨率子帶圖像，其中，對應(yīng)圖像層次的字典數(shù)據(jù)庫是指將待處理圖像分解后形成的所有的高頻圖像集合、低頻圖像集合以及各個(gè)方向?qū)?yīng)的圖像集合。

在上述任一技術(shù)方案中，優(yōu)選地，所述查找子模塊3044具體用于：對于所述多個(gè)方向上的帶通子帶圖像和所述高通圖像，根據(jù)全局特征信息和局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊；對于所述低通剩余圖像，根據(jù)聯(lián)合局部特征信息在對應(yīng)圖像層次的字典數(shù)據(jù)庫中查找所述k個(gè)近鄰的鄰域圖像塊。

在該技術(shù)方案中，每個(gè)圖像塊的重建質(zhì)量很大程度上取決于查找到的最近鄰的鄰域圖像塊的精確性，則用于選擇相似塊的標(biāo)準(zhǔn)顯得至關(guān)重要，那么為了確保不同圖像層次的圖像塊的重建效果，對于高通圖像和多個(gè)方向上的帶通子帶圖像，引入待處理圖像的圖像塊特征信息作為全局特征信息，將高通圖像和多個(gè)方向上的帶通子帶圖像的圖像塊表現(xiàn)出的特征信息作為局部特征信息；而對于低通剩余圖像，由于其低頻性更加平滑，導(dǎo)致其梯度特征不能有效地被提取，但其是連續(xù)的且已包含了足夠的圖像結(jié)構(gòu)信息，因此引入聯(lián)合局部特征信息作為其相似性的度量。另外，特征信息指圖像的紋理特征信息等，以確保圖像超分辨率重建的精確度。

在上述任一技術(shù)方案中，優(yōu)選地，還包括：優(yōu)化模塊308，用于利用非局部均值算法對所述處理模塊306處理得到的所述高分辨率圖像進(jìn)行優(yōu)化處理。

在該技術(shù)方案中，為了得到更好的重建效果，使用非局部均值算法將經(jīng)可控金字塔分解操作的逆變換處理得到高分辨率圖像進(jìn)行優(yōu)化處理，以減小高分辨率圖像的各個(gè)相似圖像塊之間的重建誤差。

下面結(jié)合圖4和圖5對本發(fā)明的另一個(gè)具體實(shí)施例進(jìn)行說明。

圖4示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的低分辨率圖像的分解結(jié)果示意圖。

圖5示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像各層次相似塊標(biāo)準(zhǔn)和重建示意圖。

如圖4所示，根據(jù)本發(fā)明的另一個(gè)實(shí)施例的基于多層次鄰域嵌入的圖像超分辨率重建方法，具體包括：

步驟402，輸入低分辨率圖像或訓(xùn)練集圖片序列；

步驟404，利用可控濾波器將低分辨率圖像或訓(xùn)練集圖片序列分解；

步驟406，每個(gè)圖像層次建立高低分辨率字典數(shù)據(jù)庫；

步驟408，根據(jù)全局和局部圖像特征利用鄰域嵌入重建高通圖像和帶通子帶圖像，以及根據(jù)聯(lián)合局部圖像特征利用鄰域嵌入重建低通圖像；

步驟410，采用可控金字塔分解逆變換合成高分辨率圖像；

步驟412，輸出高分辨率圖像。

具體地，圖5示出了使用規(guī)模為1的自可逆、多方向的可控金字塔變換從輸入的低分辨率圖片和訓(xùn)練集圖片中提取不同的頻率成分的圖像各層次相似塊標(biāo)準(zhǔn)和重建過程。

本發(fā)明的技術(shù)方案，在鄰域嵌入的框架基礎(chǔ)上，考慮到圖像的紋理等細(xì)節(jié)特征信息可能體現(xiàn)在不同的頻率成分中，通過圖像分解，針對性地恢復(fù)不同頻率上的圖像特征，并利用圖像分解的逆變換得到重建圖像，其高分辨率重建結(jié)果在主觀和客觀性能上都優(yōu)于相關(guān)技術(shù)中的方案，而且，由于其實(shí)用性可靈活應(yīng)用于視頻監(jiān)控、醫(yī)療圖像、衛(wèi)星圖像或其他高端多媒體信息系統(tǒng)中感興趣區(qū)域放大與清晰化等領(lǐng)域。

以上結(jié)合附圖詳細(xì)說明了本發(fā)明的技術(shù)方案，通過本發(fā)明的技術(shù)方案，可以有效地解決因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。