一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)，屬于數(shù)字圖像超分辨率【技術(shù)領(lǐng)域】。本發(fā)明首先將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像；然后計算相鄰幀間的尺度差異；最后對于待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據(jù)相鄰幀中與像素點P相對應(yīng)像素點在同一尺度上的相似度，計算得到像素點P超分辨率后的像素值。本發(fā)明所述方法更有效地捕捉到各圖像間更多的互補信息，進一步提升了非局部超分辨率重建的性能。
【專利說明】一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像超分辨率【技術(shù)領(lǐng)域】，具體涉及一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)。
【背景技術(shù)】
[0002]超分辨率圖像處理技術(shù)是利用多幀關(guān)于同一場景的有相互位移的低分辨率降質(zhì)圖像來重建高分辨率高質(zhì)量圖像的技術(shù)?；诙鄮瑘D像的超分辨率重建的目標是把一系列的低分辨率圖像融合成一幅高分辨率圖像。其有效性基于假設(shè)——多個相鄰幀的低分辨率圖像中包含相互補充的信息。利用這些信息，可以生成一副較高分辨率的圖像。這項技術(shù)廣泛應(yīng)用在圖像增強，監(jiān)視器等領(lǐng)域中。
[0003]多幀融合技術(shù)的關(guān)鍵在于從鄰域內(nèi)得到的互補信息的精確度與質(zhì)量。傳統(tǒng)的多幀融合算法往往追求更精確的運動估計以提高獲取信息的位置精確度。但存在一些不可避免區(qū)域的無法進行精確估計(如因遮擋而使得部分區(qū)域在某一幀中不存在)，這將會大大損害復原圖像的質(zhì)量。為了避免運動估計，Potter等人把非局部方法從一種去噪算法擴展成不需要運動估計的超分辨率方法。該算法通過度量塊之間的相似度，加權(quán)計算出中心像素的值。Potter等人提出的非局部超分辨率方法僅僅是一個基礎(chǔ)框架，可以在這個框架上進行多種多樣的擴展或修改以達到提升性能的目的。
[0004]其中一類提升是自適應(yīng)的參數(shù)選擇，即通過研究塊的大小以及搜索窗口的大小與非局部方法性能間的關(guān)系，自適應(yīng)地選擇這些參數(shù)。Zeng等人將圖像分成多個區(qū)域在不同區(qū)域應(yīng)用不同的參數(shù)進行非局部超分辨率以達到比統(tǒng)一參數(shù)更好的效果。Cheng等人提出的對搜索窗口和塊大小進行自適應(yīng)的選取。還有學者對非局部超分辨率算法中塊匹配進行了修改提高。如Gao等人提出了用Zernike Moment替代簡單的塊匹配進而提升匹配塊的質(zhì)量。Zhuo等人則采用了具有旋轉(zhuǎn)不變性的算子來替代樸素塊匹配。而Zheng等人則將非局部的思想擴展到頻域上進行使用，提出了小波非局部超分辨率算法Wavelet Non-LocalMeans (WNLM)。
[0005]以上的各個方法都或多或少的提升了非局部超分辨率算法的性能。但是他們都使得非局部超分辨率算法對旋轉(zhuǎn)、對稱、平移等變換更加魯棒。迄今為止，仍沒有人考慮到基于尺度縮放魯棒性的改進方法。

【發(fā)明內(nèi)容】

[0006]針對現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明所要解決的技術(shù)問題是提供一種效果好的縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法及系統(tǒng)。
[0007]為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案如下:
[0008]一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法，包括以下步驟:
[0009]將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像；
[0010]計算相鄰幀間的尺度差異；[0011]對于待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據(jù)相鄰幀中與像素點P相對應(yīng)像素點在同一尺度上的相似度，計算得到像素點P超分辨率后的像素值。
[0012]一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)，包括用于將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像的上插裝置；
[0013]用于計算相鄰幀間的尺度差異的第一計算裝置；
[0014]用于對待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據(jù)所述相鄰幀中與像素點P相對應(yīng)像素點在同一尺度上的相似度，計算得到像素點P超分辨率后像素值的第二計算裝置。
[0015]本發(fā)明所述方法及系統(tǒng)，考慮到現(xiàn)有非局部超分辨率方法中相關(guān)幀間因縮放而無法進行簡單的信息匹配，在計算相鄰幀尺度差異時，采用SIFT算子來提取特征點并加以利用以提取尺度信息，在度量塊相似度時，根據(jù)尺度信息先對塊進行下采上插的插值調(diào)整，從而進一步提升了相似度計算的準確性，更有效地捕捉到各圖像間更多的互補信息，進一步提升了非局部超分辨率重建的性能。
【專利附圖】

【附圖說明】
[0016]圖1是【具體實施方式】中縮放尺度補償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)的結(jié)構(gòu)框圖；
[0017]圖2是【具體實施方式】中縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法的流程圖；
[0018]圖3是【具體實施方式】中像素點P超分辨率后像素值計算方法的流程圖；
[0019]圖4是【具體實施方式】中原始塊與參考塊選擇示意圖。
【具體實施方式】
[0020]本發(fā)明總結(jié)出現(xiàn)有非局部超分辨率方法不能找到足夠多相似塊的其中一個重要原因是由于鏡頭縮放后圖像尺度發(fā)生了變化而導致相似信息不能很好地匹配，因此，本發(fā)明提出了一種計算圖像尺度差異的方法及系統(tǒng)，并提出一種新的可以補償尺度差異的度量方式，最終提升基于多幀融合的超分辨率方法的性能。下面以視頻序列中某一幀進行3倍放大的超分辨率重建問題為例，結(jié)合附圖對本發(fā)明的【具體實施方式】進行詳細描述。
[0021]如圖1所示，本實施方式中縮放尺度補償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)包括上插裝置11、第一計算裝置12和第二計算裝置13。其中，第二計算裝置13包括原始塊確定單元131、參考塊確定單元132、下采單元133、相似度計算單元134和像素值計算單元135。
[0022]上插裝置11用于將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像。第一計算裝置12用于計算相鄰幀間的尺度差異。第二計算裝置13用于對待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據(jù)所述相鄰幀中與像素點P相對應(yīng)像素點在同一尺度上的相似度，計算得到像素點P超分辨率后的像素值。其中，原始塊確定單元131用于在所述高分辨率圖像中選擇一幅圖像A，在圖像A中確定與所述像素點P對應(yīng)的像素點P'為中心的局部塊，作為原始塊。參考塊確定單兀132用于在所述圖像A中和其相鄰巾貞中的參考區(qū)域內(nèi)選擇與所述原始塊相對應(yīng)的參考塊。下采單元133用于根據(jù)所述尺度差異將所述參考塊下采至與所述原始塊相同的尺度。相似度計算單元134用于計算所述原始塊與所述參考塊的相似度。像素值計算單元135用于根據(jù)所述相似度，計算所有參考塊中心點對于原始塊中心點的權(quán)重，將所述權(quán)重與所述像素點P的像素值進行加權(quán)平均，得到像素點P超分辨率后的像素值。
[0023]如圖2所示，采用圖1所示系統(tǒng)實現(xiàn)縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法包括以下步驟:
[0024](I)上插裝置11將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像。
[0025]本實施方式中，采用空域插值方法中的雙線性插值，將每一幀的兩個方向分別上插到原來的三倍大小。所述相鄰數(shù)幀的取值范圍為3~7幀，優(yōu)選的為3幀、5幀和7幀。本實施方式中，相鄰幀為3幀，設(shè)原始幀(低分辨率圖像)分別為y1、y2和y3，對應(yīng)的上插后的高分辨率圖像分別為1、Y2和Y3。
[0026](2)第一計算裝置12計算高分辨率圖像相鄰幀間的尺度差異。
[0027]本實施方式中，分別計算圖像Y1和Y2、Y2和Y3的尺度差異。采用如下方法計算:用SIFT (Scale -1nvariant Feature Transform)計算其特征點并進行匹配,根據(jù)如下公式計算:
[0028]
【權(quán)利要求】
1.一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率方法，包括以下步驟: 將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像； 計算相鄰幀間的尺度差異； 對于待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據(jù)所述相鄰幀中與像素點P相對應(yīng)像素點在同一尺度上的相似度，計算得到像素點P超分辨率后的像素值。
2.如權(quán)利要求1所述的非局部性圖像超分辨率方法，其特征在于:所述相鄰數(shù)幀為3幀、5幀或7幀。
3.如權(quán)利要求1所述的非局部性圖像超分辨率方法，其特征在于:所述相鄰幀間的尺度差異St采用如下公式計算:
4.如權(quán)利要求廣3中任一項所述的非局部性圖像超分辨率方法，其特征在于:所述像素點P超分辨率后像素值的計算方法如下: 在所述高分辨率圖像中選擇一幅圖像A，在圖像A中確定與所述像素點P對應(yīng)的像素點Pi為中心的局部塊，作為原始塊； 在所述圖像A中和其相鄰幀中的參考區(qū)域內(nèi)選擇與所述原始塊相對應(yīng)的參考塊； 根據(jù)所述尺度差異將所述參考塊下采至與所述原始塊相同的尺度，計算所述原始塊與所述參考塊的相似度； 根據(jù)所述相似度，計算所有參考塊中心點對于原始塊中心點的權(quán)重；將所述權(quán)重與所述像素點P的像素值進行加權(quán)平均，得到像素點P超分辨率后的像素值。
5.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:所述原始塊大小的取值范圍在11X11像素點至17X17像素點之間；所述參考區(qū)域大小的取值范圍在21X21像素點至35X35像素點之間。
6.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:在所述圖像A中的參考區(qū)域內(nèi)選擇與所述原始塊相對應(yīng)參考塊的方法如下: 在以所述像素點P'為中心的參考區(qū)域內(nèi)，選擇每個原始像素點作為每個參考塊的中心點，所述參考塊的大小與所述原始塊的大小相同。
7.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:在所述圖像A的相鄰幀中的參考區(qū)域內(nèi)選擇與所述原始塊相對應(yīng)參考塊的方法如下: 在所述相鄰幀中，以與像素點p'相對應(yīng)的像素點P"為中心的參考區(qū)域內(nèi)，選擇每個原始像素點作為每個參考塊的中心點，所述參考塊大小與所述原始塊的大小比例和兩塊所屬相鄰幀間的尺度差異比例相同。
8.如權(quán)利要求4所述的非局部性圖像超分辨率方法，其特征在于:所述根據(jù)所述尺度差異將所述參考塊下采至與所述原始塊相同的尺度采用如下公式計算:
MP (i, j, t)=I (st) R(st, i, j)yt, 其中，yt表示第t個參考塊，R (St, i，j)表示對其進行的以(i，j)為中心像素點的取尺度為St的參考塊，I (St)是指對參考塊進行下采操作使其尺度與原始塊尺度相同，MP (i,j，t)表示經(jīng)過下采后的參考塊。
9.如權(quán)利要求8所述的非局部性圖像超分辨率方法，其特征在于:所述原始塊與所述參考塊的相似度采用如下公式計算:
10.如權(quán)利要求9所述的非局部性圖像超分辨率方法，其特征在于:所述像素點P超分辨率后的像素值采用如下公式計算:
11.一種縮放尺度補償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)，其特征在于:包括用于將視頻序列中的相鄰數(shù)幀上插到設(shè)定的高分辨率圖像的上插裝置(11); 用于計算相鄰幀間的尺度差異的第一計算裝置(12)； 用于對待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據(jù)所述相鄰幀中與像素點P相對應(yīng)像素點在同一尺度上的相似度，計算得到像素點P超分辨率后像素值的第二計算裝置(13)。
12.如權(quán)利要求11所述的縮放尺度補償?shù)姆蔷植啃詧D像超分辨率系統(tǒng)，其特征在于:所述第二計算裝置(13)包括用于在所述高分辨率圖像中選擇一幅圖像A，在圖像A中確定與所述像素點P對應(yīng)的像素點P'為中心的局部塊作為原始塊的原始塊確定單元(131)； 用于在所述圖像A中和其相鄰幀中的參考區(qū)域內(nèi)選擇與所述原始塊相對應(yīng)參考塊的參考塊確定單元(132)； 用于根據(jù)所述尺度差異將所述參考塊下采至與所述原始塊相同的尺度的下采單元(133)； 用于計算所述原始塊與所述參考塊相似度的相似度計算單元(134)； 用于根據(jù)所述相似度，計算所有參考塊中心點對于原始塊中心點的權(quán)重，將所述權(quán)重與所述像素點P的像素值進行加權(quán)平均，得到像素點P超分辨率后像素值的像素值計算單元(135)。
【文檔編號】G06T5/50GK103914807SQ201210592949
【公開日】2014年7月9日 申請日期:2012年12月31日 優(yōu)先權(quán)日:2012年12月31日
【發(fā)明者】李翹楚, 劉家瑛, 楊撒博雅, 郭宗明 申請人:北京大學, 北大方正集團有限公司, 北京北大方正電子有限公司