lower、Parrot、Girl、Bike作為實(shí)驗(yàn)數(shù)據(jù)，采用軟件MATLAB 2012b作為仿真工具，計(jì)算機(jī)配置為IntelCorei5/2.4G/4G。
[0086] 實(shí)驗(yàn)內(nèi)容
[0087] 分別利用Bicubic插值方法、Yang(TIP2010)方法和本發(fā)明的方法，對(duì)各類輸入測(cè) 試圖像進(jìn)行重構(gòu)：
[0088] 首先，對(duì)Flower圖像進(jìn)行重構(gòu)，結(jié)果如圖5所示，其中圖5 (a)為輸入低分辨率圖 像、圖5(b)為Bicubic插值方法的重構(gòu)結(jié)果、圖5(c)為Yang(TIP2010)方法的重構(gòu)結(jié)果、 圖5(d)為本發(fā)明的重構(gòu)結(jié)果；
[0089] 其次，對(duì)Parrot圖像進(jìn)行重構(gòu)，結(jié)果如圖6所示，其中圖6 (a)為輸入低分辨率圖 像、圖6(b)為Bicubic插值方法的重構(gòu)結(jié)果、圖6(c)為Yang(TIP2010)方法的重構(gòu)結(jié)果、 圖6(d)為本發(fā)明的重構(gòu)結(jié)果；
[0090]再次，對(duì)Girl圖像進(jìn)行重構(gòu)，結(jié)果如圖7所示，其中圖7(a)為輸入低分辨率圖像、 圖7(b)為Bicubic插值方法的重構(gòu)結(jié)果、圖7(c)為Yang(TIP2010)方法的重構(gòu)結(jié)果、圖 7(d)為本發(fā)明的重構(gòu)結(jié)果。
[0091] 最后，對(duì)Bike圖像進(jìn)行重構(gòu)，結(jié)果如圖8所示，其中圖8 (a)為輸入低分辨率圖像、 圖8(b)為Bicubic插值方法的重構(gòu)結(jié)果、圖8(c)為Yang(TIP2010)方法的重構(gòu)結(jié)果、圖 8(d)為本發(fā)明的重構(gòu)結(jié)果；
[0092] 實(shí)驗(yàn)結(jié)果分析
[0093] 從圖5、圖6、圖7、圖8中的對(duì)比圖像可以看出，本發(fā)明在重構(gòu)圖像的視覺(jué)效果上要 優(yōu)于其它方法，沒(méi)有鋸齒效應(yīng)，圖像的紋理細(xì)節(jié)信息都保持的比較好，并且對(duì)于各種類型的 輸入測(cè)試圖像如Flower、Parrot、Girl、Bike，都可以得到很好的重構(gòu)效果。
[0094] 表1.三種方法重構(gòu)圖像數(shù)值評(píng)價(jià)指標(biāo)對(duì)比
[0095]
[0096] 由于人的主觀因素的影響，視覺(jué)效果并不能精確的說(shuō)明重構(gòu)效果的好壞，用量化 的指標(biāo)能夠更準(zhǔn)確的反映重構(gòu)效果，重構(gòu)圖像數(shù)值評(píng)價(jià)指標(biāo)參見(jiàn)表1。從表1可見(jiàn)，對(duì)于四 幅輸入的低分辨率圖像，Bicubic插值方法的結(jié)果最差，Yang(TIP2010)方法的結(jié)果有些提 升。本發(fā)明相對(duì)于Bicubic插值方法、Yang(TIP2010)方法，在峰值信噪比、結(jié)構(gòu)相似度和 平均結(jié)構(gòu)相似度方面有很大的提高，說(shuō)明本發(fā)明的效果優(yōu)于其他的方法。
[0097] 實(shí)施例7
[0098] 基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法同實(shí)施例1-5,仿真條件同 實(shí)施例6。
[0099] 實(shí)驗(yàn)內(nèi)容
[0100] 分別利用Bicubic插值方法、Chang的方法、Yang(TIP2010)方法和本發(fā)明的方法 對(duì)測(cè)試圖像Butterfly進(jìn)行重構(gòu)，得到如圖9所示結(jié)果。其中圖9 (a)為輸入低分辨率圖 像、圖9 (b)為Bicubic插值方法的重構(gòu)結(jié)果、圖9 (c)為Chang方法的重構(gòu)結(jié)果、圖9 (d)為 Yang(TIP2010)方法的重構(gòu)結(jié)果、圖9(e)為本發(fā)明的重構(gòu)結(jié)果、圖9(f)為原始的高分辨率 測(cè)試圖像。
[0101] 實(shí)驗(yàn)結(jié)果分析
[0102] 從圖9中的對(duì)比圖像可以看出，無(wú)論是和Bicubic插值方法、基于鄰域嵌入的 Chang的方法比較，還是和基于稀疏表示的Yang(TIP2010)的方法進(jìn)行比較，本發(fā)明圖像邊 緣保持的比較完整，細(xì)節(jié)信息更加明顯，沒(méi)有鋸齒效應(yīng)，在視覺(jué)效果都要優(yōu)于上述方法。
[0103] 綜上，本發(fā)明公開(kāi)的一種基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法， 主要解決現(xiàn)有方法在特征提取的不準(zhǔn)確以及固定鄰域大小的限制的問(wèn)題。其主要步驟為： 首先對(duì)一組訓(xùn)練樣例圖像對(duì)進(jìn)行預(yù)處理，構(gòu)造一對(duì)低分辨圖像塊與高分辨圖像塊字典；接 著輸入低分辨率測(cè)試圖像，對(duì)輸入的低分辨率測(cè)試圖像進(jìn)行分塊并提取特征；然后計(jì)算特 征間的歐氏距離，尋找輸入圖像塊的K個(gè)近鄰；構(gòu)造一個(gè)自適應(yīng)約束函數(shù)，通過(guò)鄰域約束得 到自適應(yīng)的k個(gè)近鄰，并利用局部線性嵌入的方法得到最終的高分辨率圖像，完成圖像超 分辨率重構(gòu)。本發(fā)明采用深度稀疏自編碼網(wǎng)絡(luò)學(xué)習(xí)特征，近鄰選取的比較準(zhǔn)確，并自適應(yīng)的 選擇鄰域大小，能夠有效提高重構(gòu)圖像質(zhì)量并改善細(xì)節(jié)信息，適用于各種自然圖像的超分 辨率重構(gòu)。
【主權(quán)項(xiàng)】
1. 一種基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法，其特征在于，包括有如 下步驟： 步驟1 :輸入訓(xùn)練樣例圖像對(duì)，用低分辨率訓(xùn)練樣例圖像學(xué)習(xí)構(gòu)造一個(gè)規(guī)模為N的低分 辨率圖像塊字典并用高分辨率訓(xùn)練樣例圖像學(xué)習(xí)構(gòu)造一個(gè)規(guī)模為N的與低分 辨率圖像塊字典X4. = {X/}&相對(duì)應(yīng)的高分辨率圖像塊字典74 = {兄?; 步驟2 :輸入待超分辨率重構(gòu)的低分辨率測(cè)試圖像Υ，按重疊的方式分塊并用深度稀疏 自編碼網(wǎng)絡(luò)提取特征，得到測(cè)試圖像的低分辨率圖像塊特征集足= 步驟3 :預(yù)選特征塊近鄰，計(jì)算測(cè)試圖像塊的特征與訓(xùn)練字典的歐氏距離，在低分辨率 圖像塊字典尤=中找到特征塊￥的K個(gè)近鄰NJ作為預(yù)選范圍，:Mi是X;在 低分辨率圖像塊字典&中的初始鄰域； 步驟4 :通過(guò)自適應(yīng)鄰域約束得到測(cè)試圖像塊新的鄰域M)，包含自適應(yīng)的k個(gè)近鄰 IeN:}，其中k彡K, k為變量； 步驟5 :通過(guò)局部線性嵌入方法計(jì)算重構(gòu)權(quán)重Wl ]，當(dāng)重構(gòu)權(quán)重誤差最小時(shí)傳遞重構(gòu)權(quán)重W1,，對(duì)訓(xùn)練的高分辨率圖像塊線性組合得到 高分辨率圖像輸出小塊丨'從而得到高分辨率圖像塊集3： ={_y,，其中 =1 ； 步驟6 :將高分辨率圖像塊集中的所有高分辨率圖像輸出小塊父按順序放到 待重構(gòu)的高分辨率圖像的對(duì)應(yīng)位置上，得到最終的高分辨率圖像礦。2. 根據(jù)權(quán)利要求1所述的基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法，其特 征在于，其中步驟1所述的對(duì)訓(xùn)練樣例圖像對(duì)進(jìn)行訓(xùn)練，包括有如下步驟： la) 輸入訓(xùn)練圖像對(duì)，分別對(duì)高、低分辨率圖像進(jìn)行分塊，得到低分辨率圖像塊集 夂?義I1和與之對(duì)應(yīng)的高分辨率圖像塊集ζ ； lb) 對(duì)于低分辨率訓(xùn)練圖像塊集Xsp，通過(guò)深度稀疏自編碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到級(jí)聯(lián)特 征，即低分辨率圖像塊字典尤匕，其中W 相應(yīng)的高分辨率圖像塊字 典為3. 根據(jù)權(quán)利要求1所述的基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法，其特 征在于，其中步驟2所述的對(duì)輸入測(cè)試圖像分塊并提取特征，包括有如下步驟： 2a)輸入一幅低分辨率測(cè)試圖像Y，對(duì)該圖像按重疊的方式分塊，得到低分辨率圖像塊 2b)對(duì)于輸入的低分辨率測(cè)試圖像塊集Xtp，通過(guò)深度稀疏自編碼網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到級(jí) 聯(lián)特征A = WKLx1，即低分辨率圖像塊特征集，其中χ) = [xf?]。4. 根據(jù)權(quán)利要求1所述的基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法，其中 步驟3所述的預(yù)選特征塊近鄰，其特征在于，包括有如下步驟： 3a)對(duì)于一個(gè)輸入的低分辨率圖像特征塊X卜計(jì)算特征塊蛉與低分辨率圖像塊字典 氧?的歐式距離； 3b)選取前K個(gè)有著最小距離的小塊作為 < 的預(yù)選特征近鄰{xf e KJ，是X:;:在 低分辨率圖像塊字典&中的初始鄰域。5. 根據(jù)權(quán)利要求1所述的基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法，其中 步驟4所述的自適應(yīng)鄰域約束，其特征在于，包括有如下步驟： 4a)對(duì)于每一個(gè)輸入的低分辨率測(cè)試圖像塊X〉，有8個(gè)測(cè)試鄰接塊成分分析降維得到測(cè)試鄰接塊矩陣和訓(xùn)練鄰接塊矩陣; 個(gè)訓(xùn)練的低分辨率圖像塊4，也有8個(gè)訓(xùn)練鄰接 ： 分別對(duì)測(cè)試鄰接塊和訓(xùn)練鄰接塊Xf8進(jìn)行主 4b)構(gòu)造自適應(yīng)鄰域約束函數(shù)_其中{xUg 占 =?IK Jl1，計(jì)算得到自適應(yīng)的k個(gè)近鄰e N:}，Μ;是X;:;在低分辨率圖像塊字典Xs 中的最終鄰域，k彡K，k為變量。
【專利摘要】本發(fā)明公開(kāi)了一種基于表征學(xué)習(xí)與鄰域約束嵌入的圖像超分辨重構(gòu)方法，解決了特征提取的不準(zhǔn)確及固定的鄰域大小的問(wèn)題。主要步驟為：對(duì)一組訓(xùn)練樣例圖像對(duì)進(jìn)行預(yù)處理，構(gòu)造一對(duì)低分辨圖像塊與高分辨圖像塊字典；輸入低分辨率測(cè)試圖像，對(duì)輸入的低分辨率測(cè)試圖像進(jìn)行分塊并提取特征；計(jì)算特征間的歐氏距離，尋找輸入圖像塊的K個(gè)近鄰；構(gòu)造一個(gè)自適應(yīng)約束函數(shù)，通過(guò)鄰域約束得到自適應(yīng)的k個(gè)近鄰，并利用局部線性嵌入的方法得到最終的高分辨率圖像，完成圖像超分辨率重構(gòu)。本發(fā)明采用深度稀疏自編碼網(wǎng)絡(luò)學(xué)習(xí)特征，近鄰選取的比較準(zhǔn)確，并自適應(yīng)的選擇鄰域大小，有效提高了重構(gòu)圖像質(zhì)量并改善細(xì)節(jié)信息，適用于各種自然圖像的超分辨率重構(gòu)。
【IPC分類】G06T3/40, G06T5/50
【公開(kāi)號(hào)】CN105069767
【申請(qǐng)?zhí)枴緾N201510418930
【發(fā)明人】楊淑媛, 焦李成, 張繼仁, 劉紅英, 熊濤, 馬晶晶, 緱水平, 劉芳, 侯彪, 劉正康, 崔順
【申請(qǐng)人】西安電子科技大學(xué)
【公開(kāi)日】2015年11月18日
【申請(qǐng)日】2015年7月16日