基于表征學習與鄰域約束嵌入的圖像超分辨重構方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理技術領域，主要涉及圖像超分辨重構，具體是一種基于表征 學習與鄰域約束嵌入的圖像超分辨重構方法，該方法可用于各類自然圖像的超分辨率重 構。
【背景技術】
[0002] 圖像超分辨重構是通過一幅或多幅低分辨率圖像，重構出更高分辨率的圖像。這 種方法克服了傳統(tǒng)圖像傳感器的分辨率限制和代價高的缺點，是一種低成本、高效的提高 成像質量的方法，因而在視頻、成像、遙感、醫(yī)學、監(jiān)控和軍事等領域具有十分重要的應用。 傳統(tǒng)的超分辨重構方法有迭代反向投影法，最大后驗概率方法（MP)，極大似然估計法，凸 集投影法（POCS)等，但是這些傳統(tǒng)的方法會產(chǎn)生過平滑現(xiàn)象以及鋸齒效應，圖像重構的質 量不高。因此，F(xiàn)reeman等人提出了一種基于學習的重構方法，通過馬爾科夫隨機模型和先 驗知識來學習低分辨率圖像塊和高分辨率圖像塊之間的對應關系，并利用這種對應關系指 導圖像的超分辨率重構。Chang等人提出了鄰域嵌入（NeighborEmbedding)方法，假定高 分辨率圖像塊和對應的低分辨率圖像塊在特征空間可以形成具有相同局部幾何結構的流 形，利用二者對應的鄰域表示，結合加權系數(shù)，獲得具體的對應關系，進一步估計需要的高 分辨率圖像。但是這些方法特征提取的不夠準確，往往找不到準確的近鄰，并且鄰域大小也 是固定的，鄰域嵌入的效率偏低，重構圖像的質量一般。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于克服上述已有技術的缺點，提出一種基于表征學習與鄰域約束 嵌入的圖像超分辨重構方法，改善特征提取的過程以及固定鄰域大小的限制，提高重構圖 像的效率和質量。
[0004] 本發(fā)明是一種基于表征學習與鄰域約束嵌入的圖像超分辨重構方法，其特征在 于，包括有如下步驟：
[0005] 步驟1 :輸入訓練樣例圖像對，用低分辨率訓練樣例圖像學習構造一個規(guī)模為N的 低分辨率圖像塊字典Xs 并用高分辨率訓練樣例圖像學習構造一個規(guī)模為N的與 低分辨率圖像塊字典X, ={〇f=1相對應的高分辨率圖像塊字典尤;
[0006] 步驟2 :輸入待超分辨率重構的低分辨率測試圖像Y，按重疊的方式分塊得到低分 辨率圖像塊集^；={4}二，對每個塊用深度稀疏自編碼網(wǎng)絡提取特征得到測試圖像的低分 辨率圖像塊特征集足.一?}&:
[0007] 步驟3 :預選特征塊近鄰，計算測試圖像塊的特征與訓練字典的歐氏距離，在低分 辨率圖像塊字典Xs ={x丨匕,中找到特征塊4的K個近鄰丨.<IX:eN,!作為預選范圍，N,是 <在低分辨率圖像塊字典1中的初始鄰域；
[0008] 步驟4:找出輸入的低分辨率測試圖像塊'和訓練的低分辨率圖像塊#的8 個鄰接塊，并構造一個自適應鄰域約束函數(shù)，得到新的鄰域況，包含自適應的k個近鄰 eN))，其中N)是<在低分辨率圖像塊字典&中的最終鄰域，k彡K，k為變量；
[0009] 步驟5 :通過局部線性嵌入方法計算重構權重Wlj，當重構權重誤差
[0010] 步驟6 :將高分辨率圖像塊集茗=={乂g中的所有高分辨率圖像輸出小塊V;按順序 放到待重構的高分辨率圖像的對應位置上，得到最終的高分辨率圖像礦。
[0011] 本發(fā)明的技術方案是首先對一組訓練樣例圖像對進行預處理，構造一對低分辨圖 像塊與高分辨圖像塊字典；接著對輸入的低分辨率圖像進行分塊并用深度稀疏自編碼網(wǎng)絡 取特征；然后計算特征間的歐氏距離，尋找輸入圖像塊的K個近鄰，得到對應的訓練高分辨 率圖像塊；最后通過鄰域約束得到自適應的k個近鄰，并利用局部線性嵌入的方法得到最 終的高分辨率圖像，完成圖像超分辨重構。
[0012] 本發(fā)明與現(xiàn)有的技術相比具有以下優(yōu)點：
[0013] 1.本發(fā)明基于深度表征學習的概念，引入了深度稀疏自編碼學習圖像塊的特征， 更準確的描述圖像本身的方向及紋理性質，所以通過特征找到的近鄰更加準確；
[0014] 2.本發(fā)明由于提出了鄰域約束的概念，將以往方法中固定鄰域大小變成了自適應 的鄰域大小，避免了在嵌入過程中引入錯誤的信息，重構高分辨圖像時恢復效果提高。
[0015] 3.本發(fā)明構造了較大的訓練樣例集合學習字典，能對各種自然圖像進行重構，包 括植物、動物、人，從而克服了傳統(tǒng)方法對于各種輸入圖像兼容性不強的問題。
[0016] 實驗證明，本發(fā)明適用于各種自然圖像的超分辨率重構，通過本方法進行重構后， 重構圖像的細節(jié)和紋理信息都保持得比較好。
【附圖說明】
[0017] 圖1是本發(fā)明的總流程圖；
[0018] 圖2是本發(fā)明采用的植物訓練圖像；
[0019] 圖3是本發(fā)明米用的動物訓練圖像；
[0020] 圖4是本發(fā)明米用的人訓練圖像；
[0021] 圖5是用本發(fā)明對測試Flower圖像的重構效果圖；
[0022] 圖6是用本發(fā)明對測試Parrot圖像的重構效果圖；
[0023] 圖7是用本發(fā)明對測試Girl圖像的重構效果圖；
[0024] 圖8是用本發(fā)明對測試Bike圖像的重構效果圖；
[0025] 圖9是用本發(fā)明和其它各種方法對測試Butterfly圖像的重構圖像的效果對比 圖。
[0026] 具體實施方法
[0027] 圖像是人類獲取信息的重要途徑之一，隨著社會信息化程度的提高，人們對圖像 分辨率的要求也變得越來越高。然而，許多成像系統(tǒng)由于受到其硬件條件的制約，所得到的 圖像分辨率不能滿足實際應用的要求。而為了獲得高分辨率的成像系統(tǒng)，相應的成像芯片 和光學器件會使系統(tǒng)的成本增加。圖像超分辨重構是通過一幅或多幅低分辨率圖像，重構 出更高分辨率的圖像。通常的方法特征提取的不夠準確，往往找不到準確的近鄰，并且鄰域 大小也是固定的，重構圖像的質量一般。本發(fā)明旨在提出一種基于表征學習與鄰域約束嵌 入的圖像超分辨重構方法，改善特征提取的過程以及固定鄰域大小的限制，提高重構圖像 的效率和質量。
[0028] 下面結合附圖對本發(fā)明詳細說明：
[0029] 實施例1
[0030] 本發(fā)明是一種基于表征學習與鄰域約束嵌入的圖像超分辨重構方法，參見圖1，本 發(fā)明對圖像超分辨重構包括有如下步驟：
[0031] 步驟1 :輸入訓練樣例圖像對，用低分辨率訓練樣例圖像學習構造一個規(guī)模為IOW 的低分辨率圖像塊字典Xy = ，并用高分辨率訓練樣例圖像學習構造一個規(guī)模為N的 與低分辨率圖像塊字典Xs 相對應的高分辨率圖像塊字典所采用的訓 練圖像對為圖像處理領域中常用的標準自然圖像，參見圖2、圖3、圖4。
[0032] 步驟2 :輸入待超分辨率重構的低分辨率測試圖像Y，按重疊的方式分塊得到低分 辨率圖像塊集= ，對每個塊用深度稀疏自編碼網(wǎng)絡提取特征得到測試圖像的低分 辨率圖像塊特征集Aa本例中測試圖像參見圖5 (a)，圖5 (a)是圖像Flower作為測 試圖像的輸入圖像，將圖像Flower作為實驗數(shù)據(jù)，對其進行分塊并提取特征，得到低分辨 率圖像塊的特征集。
[0033] 步驟3 :預選特征塊近鄰，計算測試圖像塊的特征與訓練字典的歐氏距離，在低分 辨率圖像塊字典A= {x/KL中找到特征塊Xt1的K個近鄰彳.< e.N,丨作為預選范圍，Ni是 4在低分辨率圖像塊字典Xs中的初始鄰域。本例中選取K= 50個訓練的低分辨率圖像塊 作為近鄰，此50個低分辨率圖像塊是與輸入的特征塊最相似的，并且是固定大小的。
[0034] 步驟4:找出輸入的低分辨率測試圖像塊<和訓練的低分辨率圖像塊#的8個 鄰接塊，并構造一個自適應鄰域約束函數(shù)，得到新的鄰域N)，包含自適應的k個近鄰 gIgs，其中N)是;4在低分辨率圖像塊字典Xs中的最終鄰域，k彡K，k為變量。
[0035] 步驟5 :通過局部線性嵌入方法計算重構權重Wlj，當重構權重誤差

=Io
[0036] 步驟6 :將高分辨率圖像塊集J： 中的所有高分辨率圖像輸出小塊.V;按順序 放到待重構的高分辨率圖像的對應位置上，得到最終的高分辨率圖像礦。本例中得到的高 分辨率圖像如圖5(d)所示。
[0037] 本實施例采用軟件MATLAB2012b作為仿真工具，計算機配置為IntelCore i5/2. 4G/4G〇
[0038] 本發(fā)明構造了較大的訓練樣例集合學習字典，能對各種自然圖像進行重構，包括 植物、動物、人，從而克服了傳統(tǒng)方法對于各種輸入圖像兼容性不強的問題。
[0039] 實施例2
[0040] 基于表征學習與鄰域約束嵌入的圖像超分辨重構方法同實施例1，本發(fā)明中步驟 1和步驟2都涉及到了特征提取的過程，均采用了深度稀疏自編碼網(wǎng)絡學習圖像塊的特征， 因此綜合在一起說明如下：
[0041] 其中步