基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法
【專利摘要】本發(fā)明公開了基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，其步驟為：首先對一組高分辨訓(xùn)練圖像提取中、高頻特征，構(gòu)造中、高頻特征訓(xùn)練庫；在多流形的假設(shè)基礎(chǔ)上，對中、高頻特征訓(xùn)練庫進(jìn)行聚類，得到不同類別的中、高頻特征集對；對輸入的低分辨圖像，用與訓(xùn)練圖相同的提取中頻特征的方法提取中頻特征，找到與其最近的訓(xùn)練中頻特征中心，并將該中心所在的類指定為其鄰域搜索范圍；對所處理中頻塊在所在類中通過稀疏優(yōu)化問題的求解確定來自同一流形的稀疏近鄰的位置，最后通過最小二乘求解得到重構(gòu)的高頻塊，待所有塊處理完，便可以合成高頻圖；將高頻圖加到放大的低分辨圖中，得到初始估計的重構(gòu)圖像；對初始估計重構(gòu)圖像通過常用的后處理方法從而得到最終結(jié)果。
【專利說明】基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明針對圖像處理技術(shù)中的圖像超分辨重構(gòu)問題，基于傳統(tǒng)的鄰域嵌入方法，提出一種基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，新的特征匹配以及通過稀疏求解為不同的圖像塊得到合適的近鄰數(shù)，最終嵌入得到重構(gòu)結(jié)果，該方法可以用于各類自然圖像的超分辨率重構(gòu)。
【背景技術(shù)】
[0002]隨著現(xiàn)在大量圖像的涌現(xiàn)與使用，在很多現(xiàn)實應(yīng)用中高分辨率的圖像越來越受到人們的青睞。由于成像環(huán)境、設(shè)備以及代價的限制，圖像超分辨率重構(gòu)方法得到了很多研究人員的關(guān)注。該技術(shù)突破圖像傳感器的分辨率限制，從一幅或幾幅低分辨率圖像中，重構(gòu)出更高分辨率的圖像，使得在安全監(jiān)控視頻中的人臉識別、遙感衛(wèi)星圖像中的物體分辨、醫(yī)學(xué)成像系統(tǒng)中的目標(biāo)檢測、以及圖像與視頻壓縮等領(lǐng)域中可以有效并低代價地獲取高分辨率圖像。圖像超分辨率重構(gòu)能從低分辨率圖像重構(gòu)得到分辨率較高的清晰圖像，能較好的滿足現(xiàn)實中人們對清晰的、分辨率高的圖像的需求，更重要的是能重清晰的高分辨率圖像中獲得更多有用的信息。
[0003]近十年來，為了實現(xiàn)圖像超分辨率重構(gòu)這一目的，很多方法已經(jīng)被提出，主要分為三類:基于插值的方法；基于樣例的方法；基于回歸的方法。這些方法不斷得到改進(jìn)，從而使得重構(gòu)效果得以不斷提高。其中基于樣例的方法有很好的表現(xiàn)，得到了人們的深入學(xué)習(xí)研究?；跇永姆椒ㄖ饕富卩徲蚯度氲姆椒ê突诰幋a的方法。2004年Chang等人提出了最初的領(lǐng)域嵌入方法NE，該方法假設(shè)低分辨率塊和高分辨率塊分別分布在兩個結(jié)構(gòu)相似的流形上，通過梯度特征匹配，通過KNN (k-nearest neighbors)找到近鄰并用于近鄰嵌入。在NE的基礎(chǔ)上，一些方法進(jìn)行了改進(jìn)并取得了良好的結(jié)果，例如2007年Chan等人用邊緣檢測和特征選擇提高了低分辨塊的表示效率，2012年Zhang等人提出了用梯度直方圖構(gòu)造特征并選擇稀疏鄰域嵌入。然而該類方法仍存在一些不足，主要包括兩個問題:所提取的特征不能夠有效地表示圖像特性，從而影響圖像的重構(gòu)質(zhì)量；大量的圖像塊可能存在與多個流形上并且位于同一流形不同位置的圖像塊應(yīng)有不同數(shù)目的近鄰嵌入表示，因此以往的近鄰嵌入的流形假設(shè)并不滿足。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服上述基于鄰域嵌入方法所存在的缺點，提出一種有效的基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，通過簡單中高頻特征提取以及新的多流形假設(shè)與嵌入，實現(xiàn)更好的近鄰嵌入。該發(fā)明能夠達(dá)到較好的圖像重構(gòu)效果，效率高，所需參數(shù)少，視覺效果明顯。其關(guān)鍵步驟就是對圖像提取中高頻特征進(jìn)行特征匹配以及稀疏鄰域的搜索。
[0005]為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，包括如下步驟:[0006]步驟101:開始基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法；
[0007]步驟102:選取具有代表性和多樣性的幾十幅包括動植物以及場景的高分辨率圖像作為訓(xùn)練圖像；
[0008]步驟103:開始構(gòu)造訓(xùn)練特征庫，對高分辨率的訓(xùn)練圖像YS通過模糊下采樣得到低分辨圖XS，至此得到了多幅一一對應(yīng)的高、低分辨訓(xùn)練圖。通過濾波提取訓(xùn)練圖像的中頻
和高頻特征對
【權(quán)利要求】
1.基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，包括如下步驟:步驟101:開始基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法；步驟102:選取具有代表性和多樣性的幾十幅包括動植物以及場景的高分辨率圖像作為訓(xùn)練圖像；步驟103:開始構(gòu)造訓(xùn)練特征庫，對高分辨率的訓(xùn)練圖像YS通過模糊下采樣得到相應(yīng)的低分辨圖XS，至此得到了多幅——對應(yīng)的高、低分辨訓(xùn)練圖。將XS放大到與YS相同大小，對該插值放大的低分辨圖像通過濾波提取中頻和高頻分量并進(jìn)行重疊分塊操作，將每個塊拉成列向量按順序排放，便得到訓(xùn)練圖像的中頻和高頻特征對Χ8={ρ^}^和YS 二 {pW^，其中Ρ:和均為特征列向量，Ν為該特征向量的個數(shù)；在此假設(shè)多樣的訓(xùn)練塊分布于多個流形，將得到的中頻和高頻特征對進(jìn)行聚類，每個聚類對應(yīng)于一個流形，至此訓(xùn)練特征庫構(gòu)造結(jié)束；步驟104:輸入需要測試的低分辨圖像\，用與提取訓(xùn)練中頻特征相同的方法對\提取中頻特征向量χτ=κχ，其中xU是輸入測試圖像的中頻特征向量，Μ為其總個數(shù)；步驟105:對測試圖像每個中頻特征在訓(xùn)練特征庫中選擇最相近的類別；在所選的類別中通過稀疏問題的優(yōu)化求解對中頻進(jìn)行稀疏鄰域搜索，找到與輸入塊位于同一流形的近鄰位置；所選到的中頻鄰域位置相對應(yīng)的高頻鄰域就是最終找到的高頻嵌入近鄰； 步驟106:通過最小二乘法嵌入高頻近鄰，然后按順序依次合并高頻塊，得到高頻圖，將其與插值放大的低分辨圖相加便得到初始估計的高分辨圖像Χο，最后對Χο進(jìn)行迭代反向投影(IBP)以及全變差去模糊(TV)后處理，從而得到最終的高分辨圖像；步驟107:結(jié)束基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法。
2.根據(jù)權(quán)利要求1所述的基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，所述的步驟103，包括如下步驟:步驟201:開始依次對訓(xùn)練圖像提取特征；步驟202:對原始高分辨率訓(xùn)練圖像YS進(jìn)行模糊下采樣得到所對應(yīng)的低分辨圖像XS，對其進(jìn)行插值放大記為mag，認(rèn)為其中只包含低頻和中頻分量；步驟203:提取高頻特征:高頻分量HF=YS-mag ;對得到的高頻圖按順序重疊分塊，并拉成列向量，從而得到高頻特征YS = (PotI'm ；對插值放大的mag經(jīng)高斯低通濾波得到magi,其中只包含低頻分量，則中頻分量MF=mag-magl ;對得到的中頻圖按順序重疊分塊，并拉成列向量，從而得到中頻特征xs二{piff}Μ ;步驟204:將中、高頻特征按對應(yīng)位置放好，從而得到中頻和高頻特征對；步驟205:對中頻特征向量進(jìn)行K-means聚類，得到K個聚類中心和類{Cl? C,.，CK) C, = {p, I j e ak,k = 1,2，-..，Κ}，其中 0,表示由第 k 類中的中頻特征向量組成的子集。根據(jù)聚類索引將對應(yīng)的高頻特征劃分為不同的類，從而得到了由中高頻特征對構(gòu)成的多個類；步驟206:訓(xùn)練特征庫構(gòu)造結(jié)束。
3.根據(jù)權(quán)利要求1所述的基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，所述的步驟.105，包括如下步驟:步驟301:開始找稀疏近鄰；步驟302:第k個聚類中心用μ k表示，對測試圖的每個中頻特征在訓(xùn)練特征庫中通過計算
4.根據(jù)權(quán)利要求3所述的基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，所述的步驟所述步驟303，包括如下步驟:步驟401:開始進(jìn)行稀疏近鄰求解；步驟402:不同的圖像塊可能有不同的流形結(jié)構(gòu)，那么在相應(yīng)的特征空間也是如此。在進(jìn)行稀疏求解的過程中，為了找到更加準(zhǔn)確的近鄰，我們用特征來代替圖像塊本身。在稀疏問題建模前，采用這樣一個假設(shè):對于來自流形％的一個測試塊，用其中頻特征XMF表示，設(shè)NBi表示fMF在訓(xùn)練集中的鄰域，在那些由來自于訓(xùn)練集且與XU的誤差達(dá)到ε的近鄰子集在測試塊附近張成的所有低維仿射子空間中，維度最低設(shè)為屯的那個是由來自于與測試塊相同的流形Mi的屯+1個訓(xùn)練塊特征所張成，可以寫成下式:
5.根據(jù)權(quán)利要求1所述的基于稀疏多流形嵌入的超分辨率圖像重構(gòu)方法，所述的步驟106，包括如下步驟:步驟501:開始近鄰嵌入并合成最終結(jié)果；步驟502:將對應(yīng)于(^非零位置的訓(xùn)練高頻塊取出作為稀疏高頻近鄰，它們來自于同一流形，并可以通過線性組合來表示輸入低分辨塊的高頻分量；步驟503:對所得到的高頻近鄰進(jìn)行局部線性嵌入(LLE)，最小二乘法通過求解
【文檔編號】G06T5/50GK103714526SQ201310733234
【公開日】2014年4月9日 申請日期:2013年12月24日 優(yōu)先權(quán)日:2013年12月24日
【發(fā)明者】楊淑媛, 焦李成, 張遼, 馬晶晶, 馬文萍, 劉芳, 劉紅英, 熊濤 申請人:西安電子科技大學(xué)