專利名稱：利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，特別是一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法。
背景技術(shù)：
在遙感成像、醫(yī)學(xué)成像和視頻監(jiān)控成像等領(lǐng)域中，由于成像設(shè)備的物理性限制，一般很難獲取清晰的高分辨率圖像。在實際應(yīng)用中，通過提高成像設(shè)備的分辨率級別獲取清晰的高分辨率圖像的方法花費的代價太大且很難滿足實際應(yīng)用。因此，通過超分辨率圖像重構(gòu)后處理的方法來增強圖像的空間分辨率無疑是更好地選擇。超分辨圖像重構(gòu)的方法就是從一幅或多幅低分辨圖像重構(gòu)出高分辨圖像。具有代表性的超分辨重構(gòu)方法有:Takeda 等在 “H.Takeda, S.Farsiu, and P.Milanfar, “Kernelregression for image processing and reconstruction, ”IEEE Trans.1mageProcess., vol.16, n0.2, pp.349 - 366, Feb.2007.”提出可操縱核函數(shù)回歸(SteeringKernel Regression ；SKR)的非均勻插值方法,該方法同時考慮了圖像灰度與結(jié)構(gòu)信息,較好地保持了圖像邊緣，但是不能很好地恢復(fù)圖像紋理?？紤]到自然圖像包含了許多結(jié)構(gòu)相似的圖像塊，Protter 等在“M.Protter,M.Elad, H.Takeda, and P.Milanfar, “Generalizingthe nonlocal-means to super-resolution reconstruction, ” IEEE Trans.1mage Process., vol.18, n0.1, pp.36-51，Jan.2009.，，提出了 非局部均值(Nonlocal-means ；NLM)超分辨重構(gòu)的方法，該方法利用了圖像結(jié)構(gòu)重復(fù)性信息，能較好地恢復(fù)圖像紋理。Yang 等在 “J.Yang, J.Wright, T.Huang, Y.Ma.“Image super-resolution via sparserepresentation.，，IEEE Transactions on Image Processingl9 (11) (2010)2861 - 2873.，，中提出基于稀疏表示(Sparse representation; SR)的方法實現(xiàn)單幅圖像的超分辨重建，該方法首先將低分辨圖像按照分塊準(zhǔn)則，將圖像分成圖像塊，每個圖像塊都能利用通過學(xué)習(xí)得到的過完備字典中的幾個原子進(jìn)行線性表示；然后對輸入的低分辨圖像塊進(jìn)行稀疏表示，將得到的稀疏系數(shù)與高分辨的字典相乘得到高分辨圖像塊；最后將圖像塊按照重疊區(qū)域取平均值的方法進(jìn)行聚合，得到輸出的高分辨圖像。隨后，楊淑媛等發(fā)明了一種基于KSVD字典學(xué)習(xí)的多任務(wù)超分辨率圖像重構(gòu)方法(專利號:201010267446.2)。該方法利用K均值的方法將訓(xùn)練的圖像塊進(jìn)行分類，再利用KSVD字典學(xué)習(xí)的方法學(xué)習(xí)分類的過完備字典，最后利用多任務(wù)算法和學(xué)習(xí)的分類字典對低分辨圖像塊進(jìn)行超分辨重構(gòu)，將重構(gòu)的高分辨圖像塊進(jìn)行組合得到輸出的高分辨圖像。然而，該類方法重構(gòu)的高分辨圖像雖然在一定程度上保持了圖像邊緣和紋理信息，但是重構(gòu)的結(jié)果會出現(xiàn)失真和塊效應(yīng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，提高了超分辨重構(gòu)圖像的邊緣與紋理的保持效果，并且使重構(gòu)圖像更加接近于真實圖像。
實現(xiàn)本發(fā)明目的的技術(shù)解決方案為:一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，包括字典學(xué)習(xí)階段和圖像超分辨重構(gòu)階段，其中在字典學(xué)習(xí)階段，首先構(gòu)建高分辨與低分辨圖像塊配對的訓(xùn)練集，再對訓(xùn)練集的圖像塊對進(jìn)行分類，通過字典學(xué)習(xí)的方法對分類的圖像塊對進(jìn)行學(xué)習(xí)，生成分類的過完備字典對；在圖像超分辨重構(gòu)階段，首先對輸入的彩色低分辨圖像的亮度分量進(jìn)行分塊操作，利用分類稀疏表示的方法進(jìn)行超分辨重構(gòu)，得到初始化的高分辨圖像塊；其次對高分辨圖像塊按照重疊區(qū)域取平均值方法進(jìn)行聚合，其公式為:
權(quán)利要求
1.一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于包括字典學(xué)習(xí)階段和圖像超分辨重構(gòu)階段，其中在字典學(xué)習(xí)階段，首先構(gòu)建高分辨與低分辨圖像塊配對的訓(xùn)練集，再對訓(xùn)練集的圖像塊對進(jìn)行分類，通過字典學(xué)習(xí)的方法對分類的圖像塊對進(jìn)行學(xué)習(xí)，生成分類的過完備字典對； 在圖像超分辨重構(gòu)階段，首先對輸入的彩色低分辨圖像的亮度分量進(jìn)行分塊操作，利用分類稀疏表示的方法進(jìn)行超分辨重構(gòu)，得到初始化的高分辨圖像塊；其次對高分辨圖像塊按照重疊區(qū)域取平均值方法進(jìn)行聚合，其公式為: ^=^0+\ΣΝ:^ ;[Σ<X.]，從而得到初始估計的高分辨亮度分量X;然后利用可操縱核回歸的方法計算初始估計的高分辨亮度分量X局部的權(quán)值矩陣Α，同時利用非局部均值的方法計算初始估計的高分辨亮度分量X全局的權(quán)值矩陣B，將計算得到局部的權(quán)值矩陣A和全局的權(quán)值矩陣B進(jìn)行圖像塊聚合，通過交替更新高分辨亮度分量X、矩陣A和矩陣B，直至滿足收斂條件則停止更新，否則，則對上述計算矩陣A和矩陣B的步驟進(jìn)行循環(huán)；最后將亮度分量i與利用雙立方插值放大的色度分量進(jìn)行色彩融合，由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，得到輸出的彩色高分辨圖像。
2.根據(jù)權(quán)利要求1所述的利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于構(gòu)建高分辨與低分辨圖像塊配對的訓(xùn)練集，具體過程為: Ia)收集M幅高分辨圖像Xh，如果是彩色圖像，則將其轉(zhuǎn)換成灰度圖像，然后通過已知的模糊濾波器H和下采樣算子S得到低分辨圖像Y1,公式為=Y1 = SHXh ； Ib)對低分辨圖像進(jìn)行雙立方插值生成與原圖大小一樣的圖像X1,并將差分圖像Eh =Xh-X1作為細(xì)節(jié)圖像； Ic)將濾波器 = [-1，O, l],f2 = fj, f3 = [I, 0，-2，0，l],f4 = f3T 分別與圖像 X1 進(jìn)行卷積，生成特征圖像 ，其中T代表轉(zhuǎn)置； Id)訓(xùn)練的高分辨圖像塊Ph和低分辨圖像塊P1分別從細(xì)節(jié)圖像和特征圖像中抽取，得到N對像素位置一致的高分辨和低分辨圖像塊對集合P = {ph，P1I。
3.根據(jù)權(quán)利要求1所述的利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于M的取值范圍為[10，100]，N的取值范圍為[104，IO5]。
4.根據(jù)權(quán)利要求1所述的利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于過完備字典對的生產(chǎn)過程為:利用K均值的方法對訓(xùn)練集的圖像塊對集合P進(jìn)行分類，得到K類的圖像塊對們匕和K個聚類中心.，再利用K-SVD方法通過聯(lián)合學(xué)習(xí)的方法得到K對過完備的子字典對。
5.根據(jù)權(quán)利要求1所述的利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于基于分類稀疏表示的高分辨亮度分量圖像塊重構(gòu)，具體過程為: 3a)輸入彩色低分辨圖像，利用雙立方插值的方法對彩色低分辨圖像進(jìn)行放大，將放大的圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間，其中亮度分量Y作為初始的插值圖像Xtl ； 3b)首先利用濾波器 = [-1，O, I], f2 = fj, f3 = [I, 0，-2，0，I], f4 = f3T 提取初始的插值圖像\的特征圖像+ ,然后利用塊抽取算子Ri將特征圖像劃分成像素大小為wXw重疊的圖像塊，得到低分辨亮度分量圖像塊y,.=RiY^3c)根據(jù)
6.根據(jù)權(quán)利要求1所述的利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于利用非局部均值的方法計算初始估計的高分辨亮度分量X全局的權(quán)值矩陣B的具體過程為:6a)將高分辨亮度分量X分成像素大小為wXw重疊的圖像塊Xi，Xi是以第i個像素Xi為中心的圖像塊，然后根據(jù)兩個圖像塊Xi和的歐氏距離判斷中心像素Xi和中心像素Xj的相似度，距離公式為
7.根據(jù)權(quán)利要求1所述的利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，其特征在于交替更新高分辨圖像亮度分量X、矩陣A和矩陣B的公式為:
全文摘要
本發(fā)明公開了一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，首先對訓(xùn)練集的圖像塊對進(jìn)行分類，通過學(xué)習(xí)得到分類的高分辨與低分辨的字典對；然后對低分辨圖像塊進(jìn)行分類稀疏表示超分辨重構(gòu)，得到高分辨圖像塊；最后對圖像塊進(jìn)行自適應(yīng)聚合得到輸出的高分辨圖像。本發(fā)明能夠有效地對各類自然圖像進(jìn)行超分辨重構(gòu)，顯著地提高了邊緣清晰度與紋理細(xì)節(jié)的恢復(fù)程度。
文檔編號G06T5/50GK103150713SQ20131003312
公開日2013年6月12日 申請日期2013年1月29日 優(yōu)先權(quán)日2013年1月29日
發(fā)明者黃偉, 肖亮, 韋志輝 申請人:南京理工大學(xué)