專利名稱：基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，涉及圖像的超分辨率重構(gòu)方法，可用于各種自然圖像的超分辨重構(gòu)。
背景技術(shù)：
圖像在獲取和傳輸?shù)倪^(guò)程中，經(jīng)常會(huì)受成像系統(tǒng)物理分辨率限制，以及場(chǎng)景變化與天氣條件等諸多因素的影響，以至降低了原圖像的分辨率，不僅影響人的主觀視覺(jué)效果，而且嚴(yán)重阻礙了后續(xù)的目標(biāo)分類與識(shí)別工作。因此，圖像超分辨重建已成為必不可少的一個(gè)關(guān)鍵步驟，該技術(shù)能夠恢復(fù)圖像原貌、改善圖像質(zhì)量、突出圖像本身的特征，從而為后續(xù)的圖像處理、分析和理解打下良好基礎(chǔ)。目前圖像超分辨技術(shù)主要分為三種類型:基于插值的方法、基于重構(gòu)的方法和基于實(shí)例學(xué)習(xí)的方法；其中基于重構(gòu)的方法主要是利用一些圖像的先驗(yàn)知識(shí)來(lái)進(jìn)行高分辨圖像細(xì)節(jié)的估計(jì)的，由于該類方法未考慮大量樣本信息，只是利用低分辨圖像自身進(jìn)行高分辨細(xì)節(jié)估計(jì)，故而重建的高分辨圖像質(zhì)量提高有限，且其放大倍數(shù)也受到限制，一般放大到3倍圖像質(zhì)量已經(jīng)嚴(yán)重失真；最近有學(xué)者提出基于實(shí)例學(xué)習(xí)的方法，有效的解決了該問(wèn)題，本質(zhì)上，基于實(shí)例學(xué)習(xí)的超分辨方法是一種非參數(shù)化的方法，不需依賴于任何假設(shè)的模型，通過(guò)字典從外界人為的給低分辨圖像加入一些細(xì)節(jié)信息，所以它可以有效的克服以前的方法在放大倍數(shù)較大的情況下，恢復(fù)結(jié)果較差的問(wèn)題，因而受到研究者的廣泛關(guān)注。到目前為止，人們提出了很多基于實(shí)例學(xué)習(xí)的超分辨重建方法。2000年，F(xiàn)reeman等人首次提出了基于實(shí)例學(xué)習(xí)的圖像超分辨方法。該方法利用馬爾可夫網(wǎng)絡(luò)建立低分辨與高分辨圖像之間的映射關(guān)系，開(kāi)創(chuàng)了利用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)圖像超分辨恢復(fù)的研究領(lǐng)域。Sun等人在Freeman方法的基礎(chǔ)上，提出利用圖像的初始圖先驗(yàn)增強(qiáng)圖像邊緣。Yang等人提出了基于稀疏表示先驗(yàn)的實(shí)例學(xué)習(xí)超分辨重建方法，通過(guò)學(xué)習(xí)輸入低分辨圖像塊與實(shí)例樣本集的稀疏表示關(guān)系，實(shí)現(xiàn)超分辨在高分辨樣本空間的重建，能有效克服鄰域嵌入方法使用固定個(gè)數(shù)的k近鄰而導(dǎo)致的過(guò)擬合或欠擬合現(xiàn)象。但是由于基于稀疏表示的方法，在求解圖像塊稀疏表示系數(shù)時(shí)，都沒(méi)有考慮圖像的結(jié)構(gòu)信息，故而重建的圖像會(huì)出現(xiàn)一些人工痕跡和一些假的紋理信息；同時(shí)，由于圖像超分辨過(guò)程中往往存在有一定的重構(gòu)誤差，這就導(dǎo)致了各個(gè)重建結(jié)果之間的相似度與它們之間的結(jié)構(gòu)信息并不一致，有時(shí)則相差較大，這樣就會(huì)影響到圖像的重建效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法，以降低圖像超分辨過(guò)程中重構(gòu)誤差的影響，有效地解決了重建圖像中細(xì)節(jié)丟失，以及圖像邊緣振鈴的問(wèn)題，更好的恢復(fù)出圖像的結(jié)構(gòu)信息，提高圖像的重構(gòu)效果。實(shí)現(xiàn)本發(fā)明的技術(shù)思路是:通過(guò)利用圖像的自相似性來(lái)約束求解各個(gè)圖像塊的稀疏表示系數(shù)；結(jié)合低分辨率下的相似塊，利用低秩表示來(lái)修正高分辨率下各圖像塊的相似度權(quán)值，更好的修復(fù)圖像的結(jié)構(gòu)信息，得到重建效果更好的高分辨率圖像。其具體步驟包括如下:(I)從自然彩色圖像庫(kù)中取z幅常見(jiàn)的自然彩色圖像，60≤z≤70，對(duì)取出的每幅彩色圖像進(jìn)行模擬降質(zhì)，生成對(duì)應(yīng)的低分辨彩色圖像；然后構(gòu)造低分辨插值圖像梯度特征
塊訓(xùn)練集L和高分辨圖像高頻細(xì)節(jié)訓(xùn)練集H，構(gòu)成字典訓(xùn)練樣本集
權(quán)利要求
1.種基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法，包括如下步驟: (1)從自然彩色圖像庫(kù)中取Z幅常見(jiàn)的自然彩色圖像，60( Z ( 70，對(duì)取出的每幅彩色圖像進(jìn)行模擬降質(zhì)，生成對(duì)應(yīng)的低分辨彩色圖像；然后構(gòu)造低分辨插值圖像梯度特征塊訓(xùn) 練集L和高分辨圖像高頻細(xì)節(jié)訓(xùn)練集H，構(gòu)成字典訓(xùn)練樣本集
2.據(jù)權(quán)利要求1所述的基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法，其中步驟(4)所述的對(duì)低分辨圖像Xt使用SIFT特征進(jìn)行圖像塊的相似塊查找，按如下步驟進(jìn)行: 2a)將輸入的待處理低分辨圖像Xt使用bicubic插值放大2倍，得到插值圖像，對(duì)插值圖像進(jìn)行濾波得到低分辨特征圖像X。； 2b)在低分辨特征圖像Xtl上按照陣列掃描的方法重疊2個(gè)像素點(diǎn)進(jìn)行圖像分塊，圖像塊的大小為6*6，得到圖像塊Xi，并在該圖像塊Xi的周圍取大小為25*25搜索窗口 Ti，然后對(duì)該搜索窗口 Ti進(jìn)行尺度不變特征變換SIFT，找出搜索窗口 Ti中每個(gè)像素點(diǎn)j的主方向·9 u，其中，i表示第i個(gè)圖像塊，j表示搜索窗口中第j個(gè)像素點(diǎn)； 2c)對(duì)搜索窗口 Ti進(jìn)行分塊，得到一組大小為11*11的查找塊(G1, G2, - ,GJ，M表示總的分塊個(gè)數(shù)； 2d)對(duì)查找塊Gv按照其中心像素點(diǎn)j的主方向θ ij進(jìn)行角度旋轉(zhuǎn)調(diào)整，得到調(diào)整塊GνΦ，使得調(diào)整塊GνΦ與圖像塊Xi的主方向一致，接著將調(diào)整塊GνΦ下采樣為6*6大小的搜索塊pv，V表示搜索窗口中第V個(gè)搜索塊，V ∈{1，2，…，M}； 2e)依次對(duì)搜索窗口中每個(gè)查找塊Gv重復(fù)步驟2d)，得到各個(gè)角度調(diào)整后的搜索塊{P1, P2,…，Pm}； 2f)對(duì)得到的角度調(diào)整后的各個(gè)圖像搜索塊pv，使用公式:
3.據(jù)權(quán)利要求1所述的基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法，其中步驟(5)所述的利用k個(gè)相似塊{pi，p2，…，pk}約束求解圖像塊Xi在低分辨字典下的稀疏表示系數(shù)A，按如下步驟進(jìn)行: 3a)將圖像塊Xi與其k個(gè)相似塊(P1, p2，…，pk}分別拉成列向量，并將它們結(jié)合起來(lái)組成矩陣X= (Xi, P1, p2，…，pk},使用稀疏約束模型:min││A││1,2 s.t.││X-DL·A││22< ε，求解各個(gè)圖像塊的稀疏表示系數(shù)矩陣A={a1, a2,…，ak+1}, 其中，││││1 ,2表示矩陣的l1,2范數(shù)，││ ││22表示矩陣的l2范數(shù)，DL表示低分辨字典，a1為圖像塊Xi的稀疏表示系數(shù),ai+1為Pi的稀疏表示系數(shù)，i ∈ {1，2，…，k}, ε表示重建誤差，s.t.表示該公式的約束條件； 3b)利用SPGLl工具包求解步驟3a)中的稀疏約束模型，得到各個(gè)圖像塊的稀疏表示系數(shù)矩陣A。
4.據(jù)權(quán)利要求1所述的基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法，其中步驟⑵所述利用低分辨率下圖像塊Xi和其k個(gè)相似塊{PpPfJk}組成的矩陣X={xi, P1, p2，…，pk}修正k+1個(gè)重建結(jié)果Xh之間的相似度,按如下步驟進(jìn)行:4a)利用低分辨率下的圖像塊矩陣X結(jié)合k+1個(gè)重建結(jié)果XH，使用低秩表示求解相似度模型
全文摘要
本發(fā)明公開(kāi)一種基于自相似性和結(jié)構(gòu)信息約束的圖像超分辨重建方法。實(shí)現(xiàn)步驟為(1)從圖像庫(kù)中取z幅圖像，對(duì)每幅圖像進(jìn)行模擬降質(zhì)，生成低分辨圖像，構(gòu)造字典訓(xùn)練樣本集；(2)對(duì)字典訓(xùn)練樣本集，用K-SVD方法學(xué)習(xí)一對(duì)高低分辨率字典；(3)對(duì)待處理的低分辨圖像Xt使用尺度旋轉(zhuǎn)變換查找與圖像塊xi最相似的k個(gè)相似塊{p1,p2,…,pk}；(4)對(duì)圖像塊xi用得到的k個(gè)相似塊{p1,p2,…,pk}來(lái)約束求解其稀疏表示系數(shù)A；(5)用稀疏表示系數(shù)A結(jié)合高分辨字典DH得到k個(gè)重建結(jié)果；(6)利用低秩表示模型，用低分辨率下的相似塊{p1,p2,…,pk}來(lái)修正重建結(jié)果相似度；(7)用修正后的相似度結(jié)合重建結(jié)果得到最終的結(jié)果；依次重復(fù)上述步驟得到最終高分辨圖像YH。本發(fā)明具有重建結(jié)果結(jié)構(gòu)信息保持好的優(yōu)點(diǎn)，可用于圖像識(shí)別以及目標(biāo)分類。
文檔編號(hào)G06T3/40GK103093444SQ201310017638
公開(kāi)日2013年5月8日 申請(qǐng)日期2013年1月17日 優(yōu)先權(quán)日2013年1月17日
發(fā)明者張小華, 代坤鵬, 焦李成, 侯彪, 田小林, 馬文萍, 馬晶晶, 郝陽(yáng)陽(yáng), 馬兆峰 申請(qǐng)人:西安電子科技大學(xué)