超分辨率圖像重建方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像、視頻處理技術(shù)，尤其涉及一種超分辨率圖像重建方法和裝置。
【背景技術(shù)】
[0002] 隨著多媒體技術(shù)的迅速發(fā)展，人們對于圖像和視頻的視覺逼真效果和豐富的畫面 細(xì)節(jié)信息的要求越來越高，這需要高分辨率的圖像和視頻，并且在實(shí)際的圖像處理與分析 系統(tǒng)中，通常也都需要高分辨率的圖像和視頻。然而，圖像的分辨率通常受限于圖像采集 設(shè)備、光學(xué)、成像速度和硬件存儲等制約條件，在許多成像應(yīng)用中捕獲的都是低分辨率的圖 像和視頻，例如，數(shù)碼相機(jī)、醫(yī)學(xué)成像系統(tǒng)和視頻監(jiān)控系統(tǒng)捕獲的都是低分辨率的圖像和視 頻。所以，為了獲取高分辨率的圖像和視頻，需要超分辨率技術(shù)去利用獲取的低分辨率圖像 和視頻來重建出高分辨率的圖像和視頻。
[0003] 現(xiàn)有的超分辨率圖像重建方法大致可以分為兩大類，多幀圖像超分辨率方法和單 幀圖像超分辨率方法。其中，單幀圖像超分辨率方法又進(jìn)一步劃分為基于重建的方法和基 于學(xué)習(xí)的方法?；谥亟ǖ姆椒ㄍǔ２扇〖s束條件或先驗(yàn)知識來最優(yōu)化超分辨率模型的目 標(biāo)函數(shù)；
[0004] 然而，對于低分辨率圖像的復(fù)雜結(jié)構(gòu)，上述超分辨率方法不能夠恢復(fù)微小的圖像 邊緣和細(xì)節(jié)，甚至在結(jié)果中出現(xiàn)模糊不清或鋸齒現(xiàn)象等失真，原因在于細(xì)紋圖像結(jié)構(gòu)和噪 聲的隨機(jī)性；此外，上述超分辨率方法的性能嚴(yán)重依賴于輸入圖像的噪聲水平。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種基于結(jié)構(gòu)自相似性的圖像超分辨率重建方法和裝置，用以有效恢 復(fù)低分辨率圖像的邊緣和紋理信息，提高重建圖像的質(zhì)量。
[0006] 第一方面，本發(fā)明提供一種超分辨率圖像重建方法，包括：
[0007] 步驟S1，對輸入的低分辨率圖像y進(jìn)行N次下采樣，生成圖像片庫B ;
[0008] 步驟S2,對所述低分辨率圖像y的任一給定圖像片Xl，采用近似最近鄰算法在所 述圖像片庫B中獲取相似圖像片％;
[0009] 步驟S3,聚集重疊與所述相似圖像片％對應(yīng)的圖像區(qū)域1，并根據(jù)與所述圖像區(qū) 域?qū)?yīng)的權(quán)重系數(shù)，獲得第一高分辨率圖像Γ i ;
[0010] 步驟S4,對所述第一高分辨率圖像Γ i采用背投影算法，獲得第二高分辨率圖像 L，并將所述第二高分辨率圖像L加入所述圖像片庫B。
[0011] 在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述對所述第一高分辨率圖像Γ :采用 背投影算法，獲得第二高分辨率圖像L之后，還包括：
[0012] 將所述第二高分辨率圖像Ii作為新的低分辨率圖像y，重復(fù)執(zhí)行步驟S2~步驟 S4,獲得第三高分辨率圖像Γ p ;
[0013] 將所述第三高分辨率圖像Γ p放大P級后，采用雙三次插值對所述第三高分辨率 圖像Γ p進(jìn)行下采樣，獲得放大倍數(shù)為Z的初始目標(biāo)高分辨率圖像Ip。
[0014] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述方法 還包括：
[0015] 步驟S5,對所述初始目標(biāo)高分辨率圖像Ip和所述低分辨率圖像y采用交替最小化 算法計(jì)算數(shù)學(xué)模型a y ;
[0016] 其中，所述數(shù)學(xué)模型ay為：
[0017]
[0018] s. t. hF = hr,
[0019] 其中，退化矩陣D表示下采樣算子，退化矩陣Η表示模糊算子，λ和μ表示正則 化參數(shù)，a i是所述給定圖像片Xl的編碼系數(shù)，a為a i的集合，β i是a i在稀疏編碼域的 非局部均值，V表示梯度操作符，F(xiàn)是變換函數(shù)，匕是目標(biāo)高分辨率圖像X的參考直方圖，hF 是變換的梯度圖像尸(Vx)的直方圖。
[0020] 結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述步驟 S5具體包括：
[0021] S51，采用K均值聚類算法獲取超完備字典；
[0022] S52,根據(jù)梯度直方圖保持不變算法更新所述變換函數(shù)F ;
[0023] S53,根據(jù)所述超完備字典以及所述變換函數(shù)F更新所述初始目標(biāo)高分辨率圖像 Ip〇
[0024] 結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述S51 具體包括：
[0025] 根據(jù)尺寸大小隨機(jī)選取K個(gè)所述初始目標(biāo)高分辨率圖像的高分辨率圖像片作為K 個(gè)初始類簇中心，采用所述K均值聚類算法對所述初始目標(biāo)高分辨率圖像進(jìn)行聚類分析， 從而獲得K個(gè)初始類簇；
[0026] 對每個(gè)所述初始類簇訓(xùn)練對應(yīng)的子字典；
[0027] 將每個(gè)所述高分辨率圖像片所歸屬的所述初始類簇對應(yīng)的子字典作為所述超完 備字典。
[0028] 結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述S52 具體包括：
[0029] 所述目標(biāo)高分辨率圖像X和所述低分辨率圖像y滿足圖像觀測模型：y = DHx+v ; 其中，退化矩陣D表示下采樣算子，退化矩陣Η表示模糊算子；
[0030] 根據(jù)所述圖像觀測模型，利用卷積算法獲得所述目標(biāo)高分辨率圖像X的參考梯度 直方圖;其中
；其中，hy是對所述低分辨率 圖像利用雙三次插值得到的上采樣圖像的梯度直方圖；hx是隨機(jī)變量X的概率密度函數(shù)的 離散形式，比是獨(dú)立同分布隨機(jī)變量g的概率密度函數(shù)的離散形式，P是常數(shù)，R(hx)是梯 度直方圖正則項(xiàng)，?是卷積操作符；
[0031] 通過求解優(yōu)化問題rain,,, |F(Vx)-Vsb s. t. hF = i來更新變換函數(shù)F。
[0032] 結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，所述S53 具體包括：
[0033]
確定 ,其中， 0s表示第t次迭代的目標(biāo)高分辨率圖像估計(jì)值，pm表示第t+1/2次迭代的目標(biāo)高分辨 率圖像估計(jì)值，S為常數(shù)，表示#1的梯度圖；
[0034] 根據(jù)確定,其中，表示第t+1/2次迭代的高分辨率 圖像片Xl的稀疏系數(shù)，表示第t次迭代的高分辨率圖像片Xl所歸屬的初始類簇對應(yīng)的 子字典，民表示從初始目標(biāo)高分辨率圖像Ip在位置i處獲取高分辨率圖像片Xl的矩陣；
[0035] 根據(jù)關(guān)于優(yōu)化問題的循環(huán)迭代求解的稀疏編碼系數(shù)修正公式
確定第t+Ι次 迭代的高分辨率圖像片Xi的稀疏系數(shù)gm): <其中，
其中，τ表示 用于調(diào)節(jié)衰減速度的控制參數(shù)，W表示歸一化因子，'表示高分辨率圖像片\的相似圖像 片組，Sv。表示軟閾值函數(shù)，c表示正則化參數(shù)；
[0036]
確定 其中， f $表示第t+1次迭代的目標(biāo)高分辨率圖像，Φα+1)表示史―對應(yīng)的超完備字典。
[0037] 結(jié)合第一方面的第三種至第六種任一可能的實(shí)現(xiàn)方式，在第七種可能的實(shí)現(xiàn)方式 中，所述方法還包括：
[0038] 重復(fù)執(zhí)行步驟S51~步驟S53,獲得收斂解為最終目標(biāo)高分辨率圖像χΗ。
[0039] 第二方面，一種超分辨率圖像重建裝置，包括：
[0040] 生成模塊，用于對輸入的低分辨率圖像y進(jìn)行Ν次下采樣，生成圖像片庫Β ;
[0041] 獲取模塊，用于對所述低分辨率圖像y的任一給定圖像片Xl，采用近似最近鄰算 法在所述圖像片庫B中獲取相似圖像片I ;聚集重疊與所述相似圖像片％對應(yīng)的圖像區(qū)域 ，并根據(jù)與所述圖像區(qū)域?qū)?yīng)的權(quán)重系數(shù)，獲得第一高分辨率圖像Γ i;對所述第一 高分辨率圖像Γ :采用背投影算法，獲得第二高分辨率圖像L，并將所述第二高分辨率圖 像L加入所述圖像片庫B。
[0042] 在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述獲取模塊還用于：
[0043] 將所述第二高分辨率圖像L作為新的低分辨率圖像y，獲得第三高分辨率圖像 Γ P;將所述第三高分辨率圖像Γ p放大P級后，采用雙三次插值對所述第三高分辨率圖 像Γ p進(jìn)行下采樣，獲得放大倍數(shù)為Z的初始目標(biāo)高分辨率圖像Ip。
[0044] 結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述裝置 還包括計(jì)算模塊，用于對所述初始目標(biāo)高分辨率圖像I p和所述低分辨率圖像y采用交替最 小化算法計(jì)算數(shù)學(xué)模型a y ;
[0045] 其中，所述數(shù)學(xué)模型ct y為：
[0046]
[0047] s. t. hF = hr,
[0048] 其中，退化矩陣D表示下采樣算子，退化矩陣Η表示模糊算子，λ和μ表示正則 化參數(shù)，ct i是所述給定圖像片Xl的編碼系數(shù)，α為a i的集合，β i是a i在稀疏編碼域的 非局部均值，￥表示梯度操作符，F(xiàn)是變換函數(shù)，匕是目標(biāo)高分辨率圖像X的參考直方圖，hF 是變換的梯度圖像/〃(▽幻的直方圖。
[0049] 結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述計(jì)算 模塊具體用于：
[0050] 采用K均值聚類算法獲取超完備字典；根據(jù)梯度直方圖保持不變算法更新所述變 換函數(shù)F ;根據(jù)所述超完備字典以及所述變換函數(shù)F更新所述初始目標(biāo)高分辨率圖像Ip。
[0051] 結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述計(jì)算 模塊具體用于：
[0052] 根據(jù)尺寸大小隨機(jī)選取K個(gè)所述初始目標(biāo)高