專利名稱：圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理與顯示技術(shù)領(lǐng)域，特別是一種圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法。
背景技術(shù)：
在圖像處理和圖像顯示領(lǐng)域，經(jīng)常需要在不同分辨率顯示設(shè)備上顯示圖像，或者需要通過圖像放大顯示圖像的局部細(xì)節(jié)，因此圖像上采樣是一種常用的技術(shù)。又例如在圖像壓縮和編碼領(lǐng)域，為了減少圖像的傳輸碼率，一種有效做法是對(duì)圖像先經(jīng)下采樣降低圖像分辨率，后使用傳統(tǒng)的視頻編碼技術(shù)壓縮，而在解碼端對(duì)解碼圖像進(jìn)行上采樣操作恢復(fù)到原始分辨率圖像。這種方法可以大大減少傳輸碼率，但必須精心設(shè)計(jì)下采樣濾波器和上采樣重建濾波器以最大限度地提高壓縮質(zhì)量。
針對(duì)特定的應(yīng)用，目前一般的圖像上采樣方法是基于圖像內(nèi)插和線性濾波的方法,這些方法已經(jīng)集中在商業(yè)軟件Photoshop，ENVI等，常用方法包括最近鄰域方法(Nearest Neighbor),雙線性插值(Bilinear),雙三次插值(Bicubic)等。這些方法速度較快，但是存在如下不足1)在圖像進(jìn)行大比例放大時(shí)容易導(dǎo)致圖像在邊緣附近的鋸齒現(xiàn)象；2)當(dāng)圖像存在噪聲時(shí)，容易放大噪聲。如何提高圖像上采樣過程中圖像的邊緣清晰度，減少鋸齒效應(yīng)和噪聲，是圖像上采樣方法需要解決的重要問題。中國授權(quán)發(fā)明專利[200680008665. O] “用于圖像上采樣的方法和系統(tǒng)”，發(fā)明了使用直接內(nèi)插進(jìn)行圖像上采樣的系統(tǒng)和方法，該發(fā)明的一些實(shí)施例提供了一種被設(shè)計(jì)用于h.264/MPEG-4 AVC的可縮放視頻編碼擴(kuò)展的上采樣過程。中國發(fā)明專利[201010531029. 4] “一種用于三維立體電視的深度視頻壓縮的上采樣方法”利用了深度視頻和彩色視頻之間的關(guān)系，讓恢復(fù)的深度視頻具有更清晰的物體邊緣和更好的局部平滑特性，從而能夠得到更好的三維立體視覺效果。這些方法都是特殊應(yīng)用的上采樣方法，對(duì)于大尺度上采樣情形容易導(dǎo)致圖像的邊緣鋸齒現(xiàn)象嚴(yán)重，同時(shí)容易放大噪聲。目前，基于稀疏表示的(Sparse Representation)的圖像超分辨技術(shù)為上采樣邊緣清晰度提升提供新的思路，文獻(xiàn)[Jianchao Yang, John Wright, Thomas Huang, and YiMa. Image Super-resolution via Sparse Representation. IEEE Transactions on ImageProcessing, 2010，19 (11) : 2861-2873]在基于字典學(xué)習(xí)構(gòu)造稀疏表示下的圖像超分辨算法，提供了上采樣邊緣清晰度改善方法，但是需要同時(shí)學(xué)習(xí)高分辨和低分辨的兩個(gè)字典。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種圖像上采樣邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，充分利用圖像內(nèi)部塊的非局部相似性及其塊內(nèi)信號(hào)的稀疏性，較好地解決了圖像上采樣過程的邊緣鋸齒效應(yīng)和噪聲抑制、同時(shí)可克服圖像上采樣中物體對(duì)象邊緣模糊和細(xì)節(jié)丟失等，能夠大幅度提1 圖像的邊緣清晰度。本發(fā)明解決其技術(shù)問題所釆用的技術(shù)方案為一種圖像上釆樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，對(duì)圖像進(jìn)行上采樣處理，對(duì)上采樣圖像進(jìn)行重疊分塊，為每個(gè)圖像塊搜索非局部相似塊，將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池，并行方式對(duì)數(shù)據(jù)池中的數(shù)據(jù)流進(jìn)行稀疏域殘差補(bǔ)償修正迭代處理，當(dāng)?shù)K止時(shí)，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像，取出數(shù)據(jù)池中所有的圖像塊將最終更新的圖像塊整合為一幅高分辨圖像。本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)充分利用圖像內(nèi)部塊的非局部相似性及其圖像塊內(nèi)的稀疏性，較好地解決了圖像上采樣過程的邊緣鋸齒效應(yīng)和噪聲抑制、同時(shí)可克服圖像上采樣中物體對(duì)象邊緣模糊和細(xì)節(jié)丟失等，能夠大幅度提高圖像的邊緣清晰度。本發(fā)明在基于高分辨圖像顯示的娛樂、虛擬現(xiàn)實(shí)、3D重建、3D監(jiān)控、博覽展示、醫(yī)療、教育等場(chǎng)合都有廣泛的應(yīng)用前景，同時(shí)也為超分辨重建提供了新的思路。下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。



圖I是本發(fā)明整體結(jié)構(gòu)圖。圖2是本發(fā)明在中第i個(gè)數(shù)據(jù)流的殘差補(bǔ)償修正迭代修正處理流程。圖3是本發(fā)明在I. 5并行式稀疏域殘差補(bǔ)償修正單元中步驟2的數(shù)據(jù)流程。圖4是本發(fā)明在I. 5并行式稀疏域殘差補(bǔ)償修正單元中步驟3的數(shù)據(jù)流程。圖5是本發(fā)明在I. 5并行式稀疏域殘差補(bǔ)償修正單元中步驟4的數(shù)據(jù)流程。圖6是本發(fā)明與各種對(duì)比算法對(duì)遙感圖像處理結(jié)果。圖7是本發(fā)明與Bicubic算法對(duì)一幅”蝴蝶”圖像上采樣結(jié)果(a)下采樣圖像，(b)Bicubic上采樣方法，(c)本發(fā)明方法。圖8是本發(fā)明與Bicubic算法對(duì)一幅”植物”圖像上采樣結(jié)果(a)下采樣圖像，(b)Bicubic上采樣方法，(c)本發(fā)明方法。圖9是本發(fā)明與Bicubic算法對(duì)一幅”鸚鵡”圖像上采樣結(jié)果(a)下采樣圖像，(b)Bicubic上采樣方法，(c)本發(fā)明方法。
具體實(shí)施例方式結(jié)合圖1，本發(fā)明圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，對(duì)圖像進(jìn)行上采樣處理，對(duì)上采樣圖像進(jìn)行重疊分塊，為每個(gè)圖像塊搜索非局部相似塊，將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池，并行方式對(duì)數(shù)據(jù)池中的數(shù)據(jù)流進(jìn)行稀疏域殘差補(bǔ)償修正迭代處理，當(dāng)?shù)K止時(shí)，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像，取出數(shù)據(jù)池中所有的圖像塊將最終更新的圖像塊整合為一幅高分辨圖像，具體實(shí)施過程包括如下步驟I. I對(duì)圖像進(jìn)行上采樣處理對(duì)一幅(M/S) X (N/S2)大小的圖像J進(jìn)行上采樣處理獲得MXN的初始高分辨圖像X ;其中M表示圖像像素點(diǎn)的行數(shù)、N表示圖像像素點(diǎn)的列數(shù)A和S2表示圖像行方向和列方向的下采樣率，S1彡2，S2彡2 ;I. 2圖像重疊分塊對(duì)圖像X按照逐行掃描對(duì)圖像的每一個(gè)像素，以此像素為分塊的左上角的第I個(gè)像素，抽取一個(gè)大小為WXW的塊，W取值范圍為區(qū)間[6，20]中的整數(shù)，合計(jì)抽取(M-ff+1) X (N-W+1)個(gè)大小為 WXW 的塊。
W W同樣對(duì)原始圖像I按照同樣的方式抽取(M-W+l) X (N-W+1)個(gè)大小為的塊。其抽取關(guān)系表示為Xi = RiX, Yi = RiY, i = I, 2,.....(M-ff+1) X (N-ff+1)其中=Ri (·)表示第i塊的抽取算子。I. 3非局部相似塊搜索
對(duì)每一個(gè)分塊Xi,在圖像塊集合{xj
i = 1,2. . . . (M-W+l) X (N-W+1) 中搜索與Xi最相似的T個(gè)
塊，其中T的取值范圍為區(qū)間[10，20]中的整數(shù)，記為Xu ;建立與Xi的相似塊Xu的索引表Ci,索引表Ci中存儲(chǔ)相似塊的索引值。圖像塊間的相似度通過圖像塊與圖像塊之間的歐式距離h - X,,I；度量，距離越小相似度越大。I. 4數(shù)據(jù)池建立將初始上采樣圖像的所有分塊{xji= 1,2....(M-W)X(N-W)以及對(duì)應(yīng)原始圖像的分塊{yj
i = 1,2. . . . (M-W) X (N-W)，
各分塊的相似塊索引表Ci看作數(shù)據(jù)流{xi; Yi, CJ
i = 1,2. . . . (M-W) X (N-W)， 形成大
小為(M-W+l) X (N-W+1)個(gè)數(shù)據(jù)流的數(shù)據(jù)池。1.5分塊并行稀疏域殘差補(bǔ)償修正將CPU分為(M-W+l) X (Ν-ff+l)個(gè)計(jì)算線程，并行的對(duì)數(shù)據(jù)池中的(M-ff+1) X (N-W+1)個(gè)數(shù)據(jù)流進(jìn)行處理。其中，對(duì)第i (I彡i彡(M-ff+1) X (Ν-ff+l))個(gè)數(shù)據(jù)流的處理過程如圖2所示，具體包括如下步驟步驟I :對(duì)每塊進(jìn)行稀疏表示，迭代初始設(shè)置從數(shù)據(jù)池中取出第i個(gè)數(shù)據(jù)流。將第i塊圖像Xi進(jìn)行稀疏表示，得到的稀疏表示系數(shù)矩陣，記為a i = D1Xi ;對(duì)低分辨率圖像塊Ii計(jì)算稀疏表示系數(shù)矩陣氣=DTy,，其中DT( ·)表示稀疏表示變換。稀疏表示變換可以采取經(jīng)典離散余弦變換，小波變換，框架，也可以采取稀疏表示字典。并設(shè)《P為第k步(k> I)迭代的稀疏表示系數(shù)矩陣，第k步迭代的第i個(gè)圖像塊為xf，第k步迭代第i個(gè)圖像塊的稀疏域非局部均值信息Mn，然后初始化數(shù)據(jù)a1 ) =α,= xf=α,;迭代系統(tǒng)參數(shù)，η ^ 80,0 < Y < I/η ,尺度參數(shù) h > O,迭代閾值參數(shù)A/n ^ O，當(dāng)前迭代次數(shù)k=l ；步驟2 :稀疏域殘差收縮如圖3所示，該步驟的詳細(xì)過程為將第k次迭代的第i個(gè)圖像塊進(jìn)行下采樣得到^〃，對(duì)下采樣塊進(jìn)行變換得到稀疏表示系數(shù)矩陣皮&卩< 進(jìn)
一步與初始圖像塊的稀疏表示系數(shù)矩陣作差，然后進(jìn)行閾值收縮。其計(jì)算關(guān)系為
(k, ay - DrSxf}Ir ml
r/ =I^~-^―^-omax(|gyt -D Sxij -1///,0), i =其中S( ·)表示下采樣處理，DT( ·)表示稀疏表示變換。步驟3 :稀疏域非局部均值信息修正如圖4所示，該步驟的詳細(xì)過程為利用與第i個(gè)圖像塊的非局部相似塊信息進(jìn)行加權(quán)計(jì)算得到第k次迭代第i個(gè)圖像塊的非局部均值信息μΡ ;然后將非局部均值信息對(duì)稀疏表示系數(shù)矩陣《,W:進(jìn)行進(jìn)一步修正得到，其計(jì)算關(guān)系為
權(quán)利要求
1.一種圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于對(duì)圖像進(jìn)行上采樣處理，對(duì)上采樣圖像進(jìn)行重疊分塊，為每個(gè)圖像塊搜索非局部相似塊，將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池，并行方式對(duì)數(shù)據(jù)池中的數(shù)據(jù)流進(jìn)行稀疏域殘差補(bǔ)償修正迭代處理，當(dāng)?shù)K止時(shí)，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像，取出數(shù)據(jù)池中所有的圖像塊IxJi = HLxfrw),將最終更新的圖像塊整合為一幅高分辨圖像。
2.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于對(duì)于圖像上采樣處理過程為，對(duì)一幅(MziS1)X(NziS2)大小的圖像y進(jìn)行上采樣處理獲得MXN的初始高分辨圖像X ;其中M表示圖像像素點(diǎn)的行數(shù)、N表示圖像像素點(diǎn)的列數(shù)A1和S2表示圖像行方向和列方向的上采樣率，S1≥2，S2≥2。
3.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于圖像重疊分塊過程為，對(duì)圖像X按照逐行掃描對(duì)圖像的每一個(gè)像素，以此像素為分塊的左上角的第I個(gè)像素，抽取一個(gè)大小為WXW的塊，W的取值范圍為區(qū)間[6，20]中的整數(shù)，合計(jì)抽取(M-W+l) X (N-W+1)個(gè)大小為WXW的塊； 同樣對(duì)原始圖像y按照同樣的方式抽取(M-W+l) X (N-W+1)個(gè)大小為
4.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于非局部相似塊搜索過程為，對(duì)每一個(gè)分塊Xi，在圖像塊集合IxJi =1，2.…(M-W+1) X (N-W+1) 中搜索與Xi最相似的T個(gè)塊，記為Xi, P其中T的取值范圍為區(qū)間[10，20]中的整數(shù)；建立與Xi的相似塊Xu的索引表Ci,索引表Ci中存儲(chǔ)相似塊的索引值；圖像塊間的相似度通過圖像塊與圖像塊之間的歐式距離In,I度量，距離越小相似度越大。
5.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于數(shù)據(jù)池建立過程為，將初始上采樣圖像的所有分塊=以及對(duì)應(yīng)原始圖像的分塊{7山=1，2....0 )><(1 )，各分塊的相似塊索引表(；看作數(shù)據(jù)流{xi; YilCJi= U.... OH)XM，形成大小為(M-W+l) X (N-W+1)個(gè)數(shù)據(jù)流的數(shù)據(jù)池。
6.根據(jù)權(quán)利要求I所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于分塊并行稀疏域殘差補(bǔ)償修正過程為，將CPU分為(M-W+l) X (Ν-ff+l)個(gè)計(jì)算線程，并行的對(duì)數(shù)據(jù)池中的(M-W+l) X (Ν-ff+l)個(gè)數(shù)據(jù)流進(jìn)行處理。
7.根據(jù)權(quán)利要求6所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于分塊并行稀疏域殘差補(bǔ)償修正過程中，對(duì)第i個(gè)數(shù)據(jù)流的處理如下，其中 (M-ff+1) X (N-W+1) 步驟I迭代初始設(shè)置從數(shù)據(jù)池中取出第i個(gè)數(shù)據(jù)流，將第i個(gè)圖像塊Xi進(jìn)行稀疏表示，得到的稀疏表示系數(shù)矩陣記為a i = D1Xi ;對(duì)低分辨率圖像塊yi計(jì)算稀疏表示系數(shù)矩陣aJi = ■-，其中dt( ·)表示稀疏表示變換，d( ·)表示稀疏表示反變換； 并設(shè)Aw為第k步迭代的稀疏表示系數(shù)矩陣，1，第k步迭代的第i個(gè)圖像塊為々，第k步迭代第i個(gè)圖像塊的稀疏域非局部均值信息舊.然后初始化數(shù)據(jù)《P= ,，
8.根據(jù)權(quán)利要求7所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于步驟2中稀疏域殘差收縮的計(jì)算關(guān)系為
9.根據(jù)權(quán)利要求7所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于步驟4中殘差補(bǔ)償?shù)挠?jì)算關(guān)系為
10.根據(jù)權(quán)利要求7所述的圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，其特征在于步驟5中的參數(shù)調(diào)整方法如下1)閾值更新，首先計(jì)算然后計(jì)算標(biāo)準(zhǔn)差'P ，定義
全文摘要
本發(fā)明公開了一種圖像上采樣中邊緣清晰度提升的稀疏域殘差補(bǔ)償修正方法，包括對(duì)圖像進(jìn)行上采樣處理；對(duì)上采樣圖像進(jìn)行重疊分塊；為每個(gè)圖像塊搜索非局部相似塊；將圖像塊和非局部相似塊索引值作為數(shù)據(jù)流，建立數(shù)據(jù)池；并行方式對(duì)數(shù)據(jù)池中的數(shù)據(jù)流進(jìn)行稀疏域殘差補(bǔ)償修正迭代處理；當(dāng)?shù)K止時(shí)，更新數(shù)據(jù)池，將圖像塊整合為一幅高分辨圖像。本發(fā)明利用圖像塊間的非局部相似性及塊內(nèi)信號(hào)的稀疏性，較好克服了圖像上采樣過程的邊緣鋸齒效應(yīng)、噪聲細(xì)節(jié)丟失等，能夠大幅度提高圖像的邊緣清晰度。
文檔編號(hào)G06T5/50GK102842123SQ20121024048
公開日2012年12月26日 申請(qǐng)日期2012年7月12日 優(yōu)先權(quán)日2012年7月12日
發(fā)明者肖亮, 黃麗麗, 李恒, 唐松澤 申請(qǐng)人:南京理工大學(xué)