專利名稱：基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于詞典學(xué)習(xí)和稀疏表示的超分辨 率算法。
背景技術(shù)：
超分辨率研究是期望將低分辨率圖像放大成高分辨率圖像，并保持圖像中的 細(xì)節(jié)不會(huì)失真和出現(xiàn)馬賽克等效果。由于其在視頻監(jiān)控、醫(yī)學(xué)成像、遙感圖像等 領(lǐng)域有著巨大的潛在應(yīng)用而受到日益重視。雖然超分辨率技術(shù)的提出已出現(xiàn)一段 時(shí)間，但目前為止還沒形成一個(gè)統(tǒng)一的框架。主要的難點(diǎn)在于由于同一低分辨率 圖像可以由多個(gè)高分辨率圖像退化生成，從數(shù)學(xué)上而言，超分辨率研究期望解決 的實(shí)質(zhì)上是一個(gè)一對(duì)多問題，也稱為病態(tài)問題。因此，要縮小其解空間的范圍， 一種策略是構(gòu)建知識(shí)庫或引入圖像中特有的結(jié)構(gòu)信息。
目前，超分辨率研究涉及到的技術(shù)領(lǐng)域主要有圖像處理、機(jī)器學(xué)習(xí)等。在 超分辨率研究中， 一種較為通用、效果也相對(duì)較好的方法是使用基于圖像塊
(patch)的方法。其基本思想是構(gòu)建兩個(gè)數(shù)據(jù)集， 一個(gè)是低分辨率的， 一個(gè)是
高分辨率的。對(duì)于測試的低分辨率圖像塊，首先求解其在低分辨率數(shù)據(jù)集上的表 示系數(shù)，再利用低分辨率圖像塊和高分辨率圖像塊的流形一致性假設(shè)，使用低分 辨率數(shù)據(jù)集上的表示系數(shù)重構(gòu)出高分辨率的圖像塊。然而，流行的一致性假設(shè)在 很多情況下都是不成立的，即兩個(gè)高分辨率和低分辨率兩個(gè)數(shù)據(jù)集并不是同構(gòu)數(shù) 據(jù)集，而是異構(gòu)數(shù)據(jù)集。因此，在一個(gè)數(shù)據(jù)集上的表示系數(shù)并不能體現(xiàn)在另一個(gè) 數(shù)據(jù)集的表示系數(shù)。此外，即使對(duì)于同構(gòu)數(shù)據(jù)集來說，耍求解在低分辨率數(shù)據(jù)集上的表示也是一個(gè)關(guān)鍵問題，容易產(chǎn)生過擬合或者是欠擬合的現(xiàn)象。最后，對(duì)于
彩色圖像，通常的方法都是將圖像的RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間，并 且只對(duì)亮度信息(Y)做超分辨率，而對(duì)于另外兩個(gè)色度只是做普通的插值處理， 這樣就很容易會(huì)產(chǎn)生顏色的塊效應(yīng)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種實(shí)現(xiàn)超分辨率的方法，有效地將圖像 處理與機(jī)器學(xué)習(xí)的特點(diǎn)結(jié)合起來處理低分辨率圖像。為解決上述技術(shù)問題，本發(fā)
明提供的技術(shù)方案如下
首先，針對(duì)圖像的訓(xùn)練集，我們提出了在異構(gòu)數(shù)據(jù)集的基礎(chǔ)上，以測試圖像 塊在兩個(gè)數(shù)據(jù)集中稀疏表示的一致性為目標(biāo)，學(xué)習(xí)得到兩個(gè)在圖像塊稀疏表示下
同構(gòu)的數(shù)據(jù)集；其次，為了保證測試圖像塊在低分辨率數(shù)據(jù)集上的表示系數(shù)不產(chǎn)
生過擬合或者是欠擬合的現(xiàn)象，我們使用線性規(guī)劃算法求解圖像塊的稀疏表示；
最后，針對(duì)色度信息(UV)和亮度信息(Y)的關(guān)系，我們提出了使用亮度信
息指導(dǎo)下的雙邊濾波器重構(gòu)色度信息的方法。綜上所述，本發(fā)明實(shí)現(xiàn)了一種基于 同構(gòu)數(shù)據(jù)集學(xué)習(xí)和稀疏表示的彩色圖像超分辨率算法。
下面詳細(xì)給出該發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問題的說明
(一)圖像的稀疏表示
圖像的稀疏表示是指圖像(塊)可以完全或者近似地由非常少的一組原子
(atom)圖像(塊)的線性組合表示，而所有的原子圖像(塊)即組成一個(gè)過完 備(overcomplete)的詞典。由于組成這個(gè)詞典的原子個(gè)數(shù)要大于每個(gè)原子的維 數(shù)，因此如果沒有對(duì)表示稀疏沒有任何的限制，那么每一個(gè)圖像(塊)在過完備的詞典下的表示是不唯一的。而在一定條件下，表示的稀疏性正是保證唯一性的 充分條件。
設(shè)H'是某個(gè)圖像(塊)的向量表示，DeK,"是一個(gè)過完備的詞典。記卩^ 表示一個(gè)向量非零元素的個(gè)數(shù)，^為D列向量線性無關(guān)的最小值，當(dāng)|| "<|時(shí)，
對(duì)于^的稀疏表示"e『就是唯一 的。
<formula>formula see original document page 7</formula>
要獲得(1)式的精確解被證明是一個(gè)NP難問題，通常都考慮近似的解法。最早而 且最簡單的就是匹配追蹤算法(match pursuit)及其改進(jìn)算法正交匹配追蹤算法 (orthogonal match pursuit),這兩種方法都應(yīng)用了貪心的思想，每次選擇一個(gè)最 優(yōu)的原子使得其與前一步的殘差的內(nèi)積達(dá)到最大。另一個(gè)近似的解法稱為基追蹤 算法(basispursuit),該方法使用尸模替換產(chǎn)模，這樣就使得上述問題從一個(gè)非凸 問題轉(zhuǎn)變成了凸優(yōu)化的問題，并且可以使用線性規(guī)劃算法求解。此外，迭代聚焦 算法(focal underdetermined system solver)使用嚴(yán)模(psl)〗戈替"模，迭4戈i也 實(shí)現(xiàn)了解空間能量的不斷集中，雖然可以獲得更精確的解，但也使得該問題不再 是一個(gè)凸優(yōu)化的問題，對(duì)于噪聲也非常敏感。 (二)詞典學(xué)習(xí)與超分辨率重構(gòu)
對(duì)于圖像(塊)稀疏表示，除了上述提到的求解稀疏表示的算法之外，過完 備詞典的構(gòu)造也是非常重要的。一個(gè)好的詞典不僅可以滿足稀疏表示唯一性條件
的約束，同時(shí)也可以獲得更稀疏和更精確的表示。圖像在過完備詞典下的稀疏表 示是圖像離散傅立葉變換，小波變換等表示形式的擴(kuò)展，目的就是為了能夠找到 一個(gè)更能反映特定圖像的某種結(jié)構(gòu)信息的過完備詞典，并且在這個(gè)詞典上能夠使 用一種緊的，稀疏的表示來近似原始的圖像。為了滿足上述條件，對(duì)于所有的訓(xùn)練集，需要求解
argminD,。2]||x, — D(z, ^ & (2)
其中，、表示每一個(gè)訓(xùn)練樣本，",表示訓(xùn)練樣本x,在詞典D下的稀疏表示，義是
正則化參數(shù)。要求解上式通常分為兩個(gè)步驟迭代進(jìn)行(1)根據(jù)當(dāng)前詞典求解信 號(hào)的稀疏表示；(2)根據(jù)求解得到的稀疏表示更新詞典。K-SVD算法首先運(yùn)用 正交匹配追蹤算法求解第一步中的稀疏表示，接著考慮每次只更新詞典D中的第 A列《以及所對(duì)應(yīng)的表示系數(shù)4。不考慮上式稀疏表示的罰項(xiàng)|| 1， (2)式可以重
寫為
<formula>formula see original document page 8</formula>
其中，A表示使用除了詞典的第;t列之外對(duì)圖像(塊)表示的殘差，要使得式子 總體達(dá)到最小，就要使《^最接近A。因此對(duì)&進(jìn)行奇異值分解，￡4=cm"， 令A(yù)為U的第一列，《為V的第一列乘以a(l,l)。
對(duì)于圖像的超分辨率問題，需要同時(shí)使用到兩個(gè)詞典，即一個(gè)低分辨率圖像 塊的詞典和一個(gè)與之對(duì)應(yīng)的高分辨率圖像塊的詞典。但測試數(shù)據(jù)在兩個(gè)詞典上的 表不往往是不一致的，即這兩者是屬于異構(gòu)數(shù)據(jù)。記x,為亮度分量的低分辨率訓(xùn) 練圖像塊的向量表示，y,為與之對(duì)應(yīng)的高分辨率訓(xùn)練圖像塊的向量表示。為了滿
足兩個(gè)詞典在稀疏表示下的同構(gòu)性，需要求解
<formula>formula see original document page 8</formula>
其中，D是低分辨率圖像塊詞典，W是與之對(duì)應(yīng)的高分辨率圖像塊詞典，a,是同時(shí)滿足x,在詞典D和j,在詞典W下的稀疏表示，^和義分別是第二項(xiàng)和第三項(xiàng)的 正則化參數(shù)。為了使用K-SVD算法求解，把上式重寫成
其中，z,= <formula>formula see original document page 9</formula>
當(dāng)?shù)头直媛蕡D像塊詞典D和高分辨率圖像塊詞典W都訓(xùn)練得到之后，對(duì)于每 一個(gè)低分辨率的測試圖像塊，使用線性規(guī)劃算法求解其在低分辨率詞典D上的稀 疏表示系數(shù)"
min II a & s.t. jc, = Dor, 最后，高分辨率的圖像塊就可以通過下式重構(gòu)
(二) uv色度重構(gòu)
人眼對(duì)于uv色度空間的變化的敏感度要比對(duì)于亮度信息的變化低很多，因
此要是對(duì)這兩個(gè)通道采用與亮度通道相同的處理辦法就顯得不是很必要。但如果 直接采用之前彩色圖像超分辨率的技術(shù)，如直接對(duì)這兩個(gè)色度進(jìn)行插值，那么邊 緣區(qū)域的塊效應(yīng)或者模糊的現(xiàn)象就顯得比較明顯。為了權(quán)衡計(jì)算效率和恢復(fù)質(zhì)量
這兩者的關(guān)系，我們提出了基于超分辨率亮度信息的uv色度超分辨率重構(gòu)。
影響當(dāng)前像素點(diǎn)UV色度的因素主要包括低分辨率下該像素點(diǎn)的UV色度
值，低分辨率下該像素點(diǎn)附近的uv色度值，高分辨率下該像素點(diǎn)對(duì)應(yīng)的亮度值。 綜合考慮卜.述因素，可以得到下面的雙邊濾波器
》,,=+ Z &/(卩& —& ll)g(ll力—x, II) 其中，p和q表示在高分辨率亮度圖像十.的像素的位置，A和^分別表示下釆樣之后在低分辨率UV色度圖像上像素的位置。f是空間濾波器核(spatial filter kernel), g是范圍濾波器核(range filter kernel), ^是在^位置的UV的值，、 是正則化因子，^是濾波后在p位置的高分辨率UV的值。相對(duì)于通用雙邊濾波 器直接使用p和q的位置信息，我們使用含有更多信息量的p和q位置上的亮度 信息來進(jìn)行優(yōu)化。


圖1是本發(fā)明詞典學(xué)習(xí)的流程框圖。
圖2是本發(fā)明圖像超分辨率的流程框圖。
圖3(a)為原始低分辨率圖像。
圖3 (b)為采用雙線性插值方法處理后所得圖像。
圖3 (c)為采用雙二次插值方法處理后所得圖像。
圖3 (d)為采用鄰域嵌入重建法處理后所得圖像。
圖3 (e)為采用稀疏表示重建法處理后所得圖像。
圖3 (f)為采用本發(fā)明方法處理后所得圖像。
具體實(shí)施例方式
以下結(jié)合附圖和實(shí)施例對(duì)本發(fā)明加以詳細(xì)說明。
如圖l、 2所示，本發(fā)明是一種基于詞典學(xué)習(xí)和稀疏表示的圖像超分辨率方 法，首先利用訓(xùn)練圖像獲得具有同構(gòu)特性的髙分辨率和低分辨率詞典對(duì)，然后對(duì) 于測試圖像使用低分辨率詞典進(jìn)行稀疏表示，最后使用高分辨率詞典進(jìn)行圖像的 超分辨率重建。同時(shí)，本發(fā)明還采用雙邊濾波器進(jìn)行色度UV的超分辨率重建。詞典學(xué)習(xí)具體步驟為
1. 初始化設(shè)置。設(shè)定低分辨率圖像塊的大小為3X3，重疊部分為l個(gè)像素， 超分辨率倍數(shù)為4;因此，搞分辨率圖像塊的大小為12X12，重疊部分為4個(gè)像 素。表示異構(gòu)數(shù)據(jù)集訓(xùn)練時(shí)對(duì)于某一類數(shù)據(jù)的加權(quán)^設(shè)為1。設(shè)定組成過完備詞 典的原子的數(shù)目為2000。
2. 對(duì)彩色圖像進(jìn)行表示轉(zhuǎn)換，即從原始的RGB彩色空間轉(zhuǎn)換到Y(jié)UV彩色 空間，只需要保留亮度信息即可。
3. 將彩色圖像的亮度信息進(jìn)行下采樣處理，得到低分辨率下的亮度信息。
4. 對(duì)低分辨率圖像和高分辨率圖像分別按照初始設(shè)置的圖像塊大小進(jìn)行分 塊操作。
5. 使用訓(xùn)練圖像塊對(duì)進(jìn)行詞典學(xué)習(xí)，即求解
minF, I]llZ, -Pa, W十義ll", llo
其中，Z,=
，p =「 D )
、v"AW,
稀疏表示超分辨率步驟為
1. 初始化設(shè)置。設(shè)定低分辨率圖像塊的大小為3X3，重疊部分為l個(gè)像素， 超分辨率倍數(shù)為4;因此，搞分辨率圖像塊的大小為12X12，重疊部分為4個(gè)像素。
2. 對(duì)彩色圖像進(jìn)行表示轉(zhuǎn)換，即從原始的RGB彩色空間轉(zhuǎn)換到Y(jié)UV彩色 空間，亮度信息Y和色度信息UV都需要保留。
3. 將彩色圖像的亮度信息進(jìn)行下采樣處理，得到低分辨率下的亮度信息。
4. 應(yīng)用線性規(guī)劃算法，求解每 一個(gè)低分辨率圖像塊在低分辨率詞典下的稀疏表示，艮卩求角率minllall！ s.t. x, = Da,。
5. 使用上一步中求解得到的稀疏表示系數(shù)，在高分辨率詞典下進(jìn)行超分辨率 重建，即乂-Wa,.。
6. 通過雙邊濾波器，綜合亮度信息的超分辨率結(jié)果和低分辨率色度信息，進(jìn) 行色度UV的超分辨率重建，即^ = + Z & -& llk(ll力1, II)。
Ap f。
7. 將高分辨率的YUV彩色空間變換回RGB彩色空間，最終得到高分辨率 的彩色圖像。
從圖3(a) (f)中不難看出，本發(fā)明方法優(yōu)于其他幾種常用的插值方法和較為 先進(jìn)的超分辨率方法，獲得了更好的視覺效果。
表1給出了本發(fā)明方法和其他常用插值方法以及兩種較為先進(jìn)的超分辨率 方法的客觀評(píng)價(jià)指標(biāo)的比較結(jié)果。
為了客觀地衡量算法的超分辨率效果，表l給出了均方根誤差(RMSE)和 峰值信噪比(PSNR)的性能指標(biāo)?？梢钥闯?，無論是PSNR還是RMSE，本發(fā) 明方法均優(yōu)于其他各類方法。
總之，無論從人眼視覺效果，還是客觀評(píng)價(jià)指標(biāo)，均表明本發(fā)明方法可以更 好地對(duì)圖像進(jìn)行超分辨率處理，獲得更好的圖像重建質(zhì)量。
表l
最近鄰插值法雙線性插值法雙二次插值法鄰域嵌入法圖像稀疏表示法本發(fā)明方法
RMSE0.04010.03730.03560.03860.03610.0354
PSNR27.9428.5728.9728.2728,8529.02
1權(quán)利要求
1.一種基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法，其特征在于包括如下步驟(1)在異構(gòu)數(shù)據(jù)庫的基礎(chǔ)上，以測試圖像塊在兩個(gè)數(shù)據(jù)集中稀疏表示的一致性為目標(biāo)，學(xué)習(xí)得到兩個(gè)在圖像塊稀疏表示下同構(gòu)的數(shù)據(jù)集；(2)使用線性規(guī)劃算法求解圖像塊的稀疏表示，保證測試圖像塊在低分辨率數(shù)據(jù)集上的表示系數(shù)不產(chǎn)生過擬合或欠擬合；(3)針對(duì)色度信息UV和亮度信息Y，使用亮度信息指導(dǎo)下的雙邊濾波器重構(gòu)色度信息。
2. 根據(jù)權(quán)利要求1所述的基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法，其特 征在于圖像的稀疏性如下式所示<formula>formula see original document page 2</formula>其中，xe股"是某個(gè)圖像(塊)的向量表示，DeR"""是一個(gè)過完備的詞典， 記ll^表示一個(gè)向量非零元素的個(gè)數(shù)，"為D列向量線性無關(guān)的最小值，當(dāng) ll"lk<f時(shí)，對(duì)于^的稀疏表示"e『就是唯一的。
3. 根據(jù)權(quán)利要求1所述的基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法，其特征在于過完備詞典的構(gòu)造對(duì)于所有的訓(xùn)練集，需要求解<formula>formula see original document page 2</formula>其中，、表示每一個(gè)訓(xùn)練樣本，",表示訓(xùn)練樣本x,在詞典D下的稀疏表示，義 是正則化參數(shù)；分兩個(gè)步驟迭代求解上式(a)根據(jù)當(dāng)前詞典求解信號(hào)的稀疏表 示；(b)根據(jù)求解得到的稀疏表示更新詞典；K-SVD算法首先運(yùn)用正交匹配追 蹤算法求解第一步中的稀疏表示，接著考慮每次只更新詞典D中的第々列《以及 所對(duì)應(yīng)的表示系數(shù)x纟。不考慮上式稀疏表示的罰項(xiàng)ll"j， (2)式重寫為<formula>formula see original document page 3</formula>其中，&表示使用除了詞典的第*列之外對(duì)圖像表示的殘差，要使得式子總體達(dá)到最小，就要使《《最接近A，因此對(duì)&進(jìn)行奇異值分解，&=f/A"，令式為U的第一列，《為V的第一列乘以A(l,l)。
4.根據(jù)權(quán)利要求3中所述的基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法，其特征在于為了滿足兩個(gè)詞典在稀疏表示下的同構(gòu)性，需要求解<formula>formula see original document page 3</formula> (3)其中，D是低分辨率圖像塊詞典，W是與之對(duì)應(yīng)的高分辨率圖像塊詞典，《,是同時(shí)滿足x,在詞典D和j;,在詞典W下的稀疏表示，人和義分別是第二項(xiàng)和第三項(xiàng)的正則化參數(shù)；為了使用K-SVD算法求解，把上式重寫成minF,c》|z,-P ,||22+A|| ,|k (3，)其中，z,=<formula>formula see original document page 3</formula>
5.根據(jù)權(quán)利要求4所述的基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法，其特征 在于當(dāng)?shù)头直媛蕡D像塊詞典D和高分辨率圖像塊詞典W都訓(xùn)練得到之后，對(duì)于每一個(gè)低分辨率的測試圖像塊，使用線性規(guī)劃算法求解其在低分辨率詞典D上的 稀疏表示系數(shù)"minllal s.t. x, =Da, (4)最后，高分辨率的圖像塊就口J以通過下式重構(gòu)
6.根據(jù)權(quán)利要求1所述的基于詞典學(xué)習(xí)和稀疏表示的超分辨率算法，其特征 在于使用亮度信息指導(dǎo)下的雙邊濾波器重構(gòu)色度，雙邊濾波器如下式<formula>formula see original document page 4</formula>其中，p和q表示在高分辨率亮度圖像上的像素的位置，^和^分別表示下采樣之后在低分辨率UV色度圖像上像素的位置。f是空間濾波器核，g是范圍 濾波器核，^是在^位置的UV的值，、是正則化因子，^是濾波后在p位置的高分辨率UV的值。
全文摘要
本發(fā)明涉及一種基于過完備詞典學(xué)習(xí)和稀疏表示的圖像超分辨率方法，在大規(guī)模數(shù)據(jù)集中提取兩個(gè)過完備詞典(低分辨率圖像塊詞典和高分辨率圖像塊詞典)，并利用它們實(shí)現(xiàn)圖像稀疏表示的超分辨率重建。同時(shí)，為了進(jìn)一步提高彩色圖像的超分辨率效果，還提出了基于超分辨率亮度信息的UV色度超分辨率重構(gòu)。本發(fā)明提供的圖像超分辨率方法在視頻監(jiān)控、醫(yī)學(xué)成像、遙感圖像等領(lǐng)域中有著廣泛的應(yīng)用前景。
文檔編號(hào)G06T5/00GK101556690SQ20091005116
公開日2009年10月14日 申請(qǐng)日期2009年5月14日 優(yōu)先權(quán)日2009年5月14日
發(fā)明者張軍平, 劍 浦 申請(qǐng)人:復(fù)旦大學(xué)