基于非局部高斯過程回歸的圖像超分辨方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，特別是涉及以單幀圖像為輸入的、基于機(jī)器學(xué)習(xí)的圖 像超分辨方法，可應(yīng)用于醫(yī)學(xué)成像、視頻監(jiān)控、高清電視成像，也可用于視頻或圖像壓縮。
【背景技術(shù)】
[0002] 圖像保存著人類對世界最重要的視覺感知，是現(xiàn)代社會最重要的信息來源。圖像 超分辨算法嘗試從同一場景的一幀或者多幀低分辨圖像中恢復(fù)出高分辨圖像，更好地呈現(xiàn) 圖像細(xì)節(jié)，具有重要的理論與應(yīng)用價值。
[0003] 圖像超分辨算法基于處理方法的不同可分為三類:基于插值的方法、基于重建的 方法和基于學(xué)習(xí)的方法。
[0004] 基于插值的方法假設(shè)圖像局部平滑，使用不同的插值核得到高分辨圖像;例如雙 線性插值、雙立方插值、最近鄰插值法等。此類方法的優(yōu)點在于方法簡單易于實現(xiàn)且運(yùn)行速 度快，缺點在于當(dāng)放大因子較大時，會產(chǎn)生模糊現(xiàn)象。
[0005] 基于重建的方法基于圖像降質(zhì)模型，在重建約束的基礎(chǔ)上添加各種先驗或正則 項，從而使逆問題的求解更加魯棒?；谥亟ǖ某直娣椒ūM管性能較插值方法有一定提 升，但當(dāng)放大因子較大或低分辨輸入圖像數(shù)量不足時，性能下降很快。
[0006] 基于學(xué)習(xí)的方法則利用各種機(jī)器學(xué)習(xí)方法，從訓(xùn)練樣本中學(xué)習(xí)出高分辨圖像。其 中，Yang等人在文南犬J.Yang, J.Wright，T.Huang,and Y.Ma，"Image super-resolution via sparse representation，''IEEE Trans . Image Process·，vol·19，no·11，pp·2861-2873中 基于稀疏表示理論通過聯(lián)合優(yōu)化框架學(xué)習(xí)出對偶字典，從而重建出高分辨圖像。Dong等人 在文獻(xiàn)W.Dong，L· Zhang，R· Lukac，and G· Shi，"Sparse representation based image interpolation with nonlocal autoregressive modeling IEEE Trans . Image Process.，vol. 22，no. 4，pp. 1382-1394中借助稀疏與非局部相似性約束，利用多個局部主 成分分析字典來自適應(yīng)地重建高分辨圖像塊。Kwang等人在I.K.Kwang and K.Younghee, "Single-image super-resolution using sparse regression and natural image prior，" IEEE Trans .Pattern Anal .Mach. Intell. ,vol .32,no.6,pp. 1127-1133 一文中結(jié) 合匹配追蹤算法和梯度下降方法來稀疏化核嶺回歸框架，從而學(xué)習(xí)出低分辨圖像塊與對應(yīng) 高分辨圖像塊之間的映射。He等人在文獻(xiàn)H.He and W.-C.Siu, "Single image super-resolution using Gaussian process regression,"in Proc . IEEE Conf.Comput.Vis .Pattern Recognit·，2011，pp·449-456中利用圖像塊的自相似性提出一 個自學(xué)習(xí)方法，該方法在每個局部區(qū)域內(nèi)利用高斯過程回歸學(xué)習(xí)一個從塊到對應(yīng)中心像素 之間的映射。Wang等人在L.Wang，H.Wu,and C.Pan, "Fast image upsampling via the displacement field, IEEE Trans. Image Process·，vol · 23，no· 12，pp· 5123-5135-文中 聯(lián)合位移場插值與重建方法提出一個雙尺度的圖像超分辨算法來保持超分辨圖像邊緣的 銳利性 DHe等人在文獻(xiàn)L.He，H.Qi，and R.Zaretzki，"Beta process joint dictionary learning for coupled feature spaces with application to single image super resolution，"in Proc. IEEE Conf.Comput.Vis.Pattern Recognit·，2013，pp·345-352中 使用Beta過程來學(xué)習(xí)對偶空間字典，從而重建出高分辨圖像塊。
[0007] 上述基于學(xué)習(xí)的方法盡管具有較好的超分辨效果，但在細(xì)節(jié)與紋理的重建上仍然 存在失真現(xiàn)象，主觀效果仍然不盡人意，還有進(jìn)一步提高和改進(jìn)的空間。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明針對現(xiàn)有基于學(xué)習(xí)的圖像超分辨算法存在的不足，提出一種基于非局部高 斯過程回歸的圖像超分辨方法，以減小現(xiàn)有方法產(chǎn)生的失真現(xiàn)象，提高紋理區(qū)域的重建質(zhì) 量。
[0009] 本發(fā)明的技術(shù)方案是通過輸入圖像自身提取訓(xùn)練樣本集，尋找圖像內(nèi)部存在的非 局部相似性，對高斯過程回歸模型進(jìn)行自學(xué)習(xí)，預(yù)測出丟失的高頻細(xì)節(jié)信息，得到最終的超 分辨圖像，并實現(xiàn)比現(xiàn)有方法更好的超分辨重建效果。實現(xiàn)步驟包括如下：
[0010] (1)輸入一幅尺寸為IR X Ic的低分辨彩色圖像I，將其由紅、綠、藍(lán)RGB顏色空間轉(zhuǎn)換 為亮度圖像Iy、藍(lán)色色度圖像Icb、紅色色度圖像Ic r構(gòu)成的YCbCr顏色空間；
[0011] (2)從亮度圖像Ιγ生成規(guī)模為η的非局部訓(xùn)練樣本集D:
[0012] (2a)根據(jù)亮度圖像Ιγ得到輔助插值高頻圖像1/和高頻圖像ΙΛ
[0013] (2b)按照光柵掃描順序基于間隔λ從輔助插值高頻圖像I〗'網(wǎng)格采樣出尺寸為ΡΧ Ρ的初始圖像塊集合其中λ為正整數(shù)，取值范圍介于[1，10];
[0014] (2c)剔除掉初始圖像塊集合?:中塊標(biāo)準(zhǔn)差小于設(shè)定閾值Θ的圖像塊，得到規(guī)模為η 的修剪圖像塊集合P = 其中Θ為取值范圍介于[0,3]之間的實數(shù)；
[0015] (2d)在高頻圖像1/中提取與修剪圖像塊集合P對應(yīng)的圖像塊，并得到這些圖像塊 的中心像素集合
[0016] (2e)根據(jù)（2c)和（2d)構(gòu)成規(guī)模為η的訓(xùn)練樣本集合Z) = {< X,.，〇其中〈Xi，yi> 表示xi與yi構(gòu)成的二元組；
[0017] (2f)對訓(xùn)練樣本集合二中每個樣本<Xi，yi>用Xi和yi分別除以Xi的2 范數(shù)llxill進(jìn)行標(biāo)準(zhǔn)化，即<xi，yi>-〈xi/llxill，yi/llxill>，W = I，2，···，"，其中η為訓(xùn)練樣本的總 個數(shù)；
[0018] (3)基于訓(xùn)練樣本集D學(xué)習(xí)出高斯過程回歸模型Μ，得到從圖像塊Xi到對應(yīng)高分辨 圖像塊中心像素丟失的高頻分量yi之間的映射；
[0019] (4)根據(jù)亮度圖像Ιγ得到插值均值圖像SM和高斯過程回歸模型的測試集Q;
[0020] (5)對藍(lán)色色度圖像lcb、紅色色度圖像ICr進(jìn)行雙立方Bicubic插值，得到尺寸為(F X Ir) X (FX Ic)的插值紅色色度空間Scb和插值藍(lán)色色度空間SCr，其中F為超分辨放大倍數(shù)；
[0021] (6)基于回歸模型的測試集Q，應(yīng)用步驟(3)中學(xué)習(xí)好的高斯過程回歸模型M，回歸 出超分辨高頻圖像S/ ;
[0022] (7)將超分辨高頻圖像S/與插值均值圖像Sm相加，得到初始超分辨亮度圖像Sy;
[0023] (8)對初始超分辨亮度圖像Sy應(yīng)用反向投影迭代，得到最終超分辨亮度圖像Sf;
[0024] (9)將最終超分辨亮度圖像SF與插值藍(lán)色色度空間Scb、插值紅色色度空間S Cr進(jìn)行 合并，得到Y(jié)CbCr顏色空間下的超分辨圖像，并將其轉(zhuǎn)換到RGB顏色空間下，輸出最終的超分 辨圖像。
[0025] 本發(fā)明與現(xiàn)有的超分辨技術(shù)相比，具有以下優(yōu)點：
[0026] 第一，本發(fā)明構(gòu)建了基于非局部網(wǎng)格采樣的圖像超分辨框架，在圖像的局部相似 性之外可獲得更多的非局部相似性，為更好的進(jìn)行超分辨重建提供了更多的共生信息，使 得后續(xù)高斯過程回歸模型的訓(xùn)練更為高效；
[0027] 第二，本發(fā)明與現(xiàn)有的其它圖像超分辨方法相比，在紋理區(qū)域上有更豐富的重建 細(xì)節(jié)信息，在視覺感知上更接近原始高分辨圖像。
【附圖說明】
[0028]圖1為本發(fā)明的實現(xiàn)流程圖。
[0029]圖2為用本發(fā)明和現(xiàn)有6種超分辨方法對自然圖像barbara進(jìn)行三倍超分辨的對比 圖。
[0030] 圖3為用本發(fā)明和現(xiàn)有6種超分辨方法對自然圖像lena進(jìn)行三倍超分辨的對比圖。
[0031] 圖4為用本發(fā)明和現(xiàn)有6種超分辨方法對自然圖像bird進(jìn)行三倍超分辨的對比圖。
【具體實施方式】
[0032]以下結(jié)合附圖對本發(fā)明的實施例及效果做詳細(xì)描述。
[0033] 參照圖1，本發(fā)明的實施步驟如下：
[0034] 步驟1，輸入一幅尺寸為IR X IC的低分辨彩色圖像I，將其由紅、綠、藍(lán)RGB顏色空間 轉(zhuǎn)換為亮度圖像Iy、藍(lán)色色度圖像Icb、紅色色度圖像Ic r構(gòu)成的YCbCr顏色空間。
[0035] 由于人眼視覺對色彩不敏感，現(xiàn)有方法只在亮度空間上進(jìn)行超分辨，而對色彩空 間直接進(jìn)行簡單的插值處理，本發(fā)明采用同樣的策略。
[0036] 步驟2,從亮度圖像Ιγ生成規(guī)模為η的非局部訓(xùn)練樣本集D。
[0037] 現(xiàn)有的圖像超分辨方法的訓(xùn)練樣本通常是來自于獨立的外部圖像，或者來自于輸 入圖像自身?；谳斎雸D像自身提取訓(xùn)練樣本進(jìn)行超分辨模型學(xué)習(xí)的方法稱為自學(xué)習(xí)型方 法。對于自學(xué)習(xí)型方法，現(xiàn)有的訓(xùn)練樣本采樣策略有隨機(jī)采樣、邊緣算子采樣和網(wǎng)格采樣 等;本發(fā)明在整幅輸入圖像上采用網(wǎng)格采樣策略生成非局部訓(xùn)練樣本集D，具體過程為： [0038] (2a)根據(jù)亮度圖像Ιγ得