本發(fā)明涉及圖像超分辨率和圖像壓縮技術，具體涉及一種結合超分辨率和殘差編碼技術的圖像壓縮框架，屬于圖像通信領域。

背景技術：

圖像是人類生產和生活當中不可或缺的信息載體，相關科技和產業(yè)的發(fā)展對圖像的質量提出了愈加苛刻的需求。高質量圖像往往占用大量的存儲空間，在網(wǎng)絡傳輸過程中同樣需要耗費龐大的數(shù)據(jù)流量，造成信道帶寬不足的問題。對此，經(jīng)典的圖像壓縮技術，如jpeg、jpeg2000能夠在盡可能保證圖像質量的前提下最大限度地壓縮數(shù)據(jù)量。然而隨著高清和超高清圖像的出現(xiàn)，伴隨著網(wǎng)絡帶寬和存儲介質的局限，客觀上對圖像壓縮技術提出了更加苛刻的需求。jpeg和jpeg2000等主流壓縮標準的編碼性能盡管已經(jīng)被越來越多的后起之秀所超越，然而由于多媒體領域大量系統(tǒng)和設備依然對其保持著強烈的依賴性，短時間之內還不可能被完全取代。

為了適應現(xiàn)有主流圖像壓縮標準，本發(fā)明設計出一種圖像壓縮框架。該框架可仍然保留使用現(xiàn)有的主流編解碼器(如jpeg/jpeg2000)，同時引入超分辨率技術和殘差反饋技術，定位于提升對該編解碼器在低碼率段的率失真性能。

技術實現(xiàn)要素：

本發(fā)明提出的一種結合超分辨率和殘差編碼技術的圖像壓縮框架，該壓縮框架可利用現(xiàn)有經(jīng)典的圖像壓縮編碼標準作為第三方編碼器并提升其性能。以經(jīng)典的jpeg2000壓縮標準為例，本發(fā)明所提框架在低碼率段能有效提升其率失真性能；在相同解碼圖像質量的需求下，本發(fā)明所提框架能實現(xiàn)更高的壓縮率。

本發(fā)明所提出的一種結合超分辨率和殘差編碼技術的圖像壓縮框架，主要包括以下操作步驟：

(1)對原始待壓縮圖像迭代反投影下采樣，得到采樣后的小圖；

(2)在編碼端將小圖通過jpeg2000標準壓縮，將碼流和去噪邊信息一并傳輸?shù)浇獯a端；

(3)在解碼端得到解碼小圖，并將小圖通過基于碼率分類的超分辨率重建成解碼大圖；

(4)結合去噪邊信息抑制解碼大圖中的壓縮噪聲，提升解碼大圖的質量；

(5)在編碼端計算解碼大圖與原始待壓縮圖像的殘差，并通過殘差編碼技術傳輸?shù)浇獯a端；

(6)在解碼端得到解碼殘差圖，并與解碼大圖疊加，恢復出最終的解碼圖像。

附圖說明

圖1是本發(fā)明結合超分辨率和殘差編碼技術的圖像壓縮框架流程圖

圖2是殘差圖像的樹狀結構分割示意圖

圖3是本發(fā)明和jpeg2000壓縮算法對‘leaves’測試圖像的率失真性能比較

圖4是本發(fā)明及jpeg2000壓縮算法對‘butterfly’測試圖像的率失真性能比較

圖5是‘lena’原圖在碼率為0.1bpp時，jpeg2000及本發(fā)明的解碼圖像的視覺效果比較

圖6是‘butterfy’原圖在碼率為0.6bpp時，jpeg2000及本發(fā)明的解碼圖像的視覺效果比較

具體實施方式

下面結合附圖對本發(fā)明作進一步說明：

圖1中，一種結合超分辨率和殘差編碼技術的圖像壓縮框架，包括以下步驟:

(1)對原始待壓縮圖像迭代反投影下采樣，得到采樣后的小圖；

(2)在編碼端將小圖通過jpeg2000標準壓縮，將碼流和去噪邊信息一并傳輸?shù)浇獯a端；

(3)在解碼端得到解碼小圖，并將小圖通過基于碼率分類的超分辨率重建成解碼大圖；

(4)結合去噪邊信息抑制解碼大圖中的壓縮噪聲，提升解碼大圖的質量；

(5)在編碼端計算解碼大圖與原始待壓縮圖像的殘差，并將殘差通過殘差編碼技術傳輸?shù)浇獯a端；

(6)在解碼端得到解碼殘差圖，并與解碼大圖疊加，恢復出最終的解碼圖像。

具體地，所述步驟(1)中，我們首先將待壓縮的圖像通過迭代反投影下采樣方法↓得到小圖。該采樣方法↓得到的采樣圖像x通過超分辨率方法↑重建到原始大小之后，與原始輸入圖像y的誤差盡可能小，其數(shù)學模型即滿足公式(1)。同時為實現(xiàn)快速收斂，↓可具體定義為雙三次下采樣，↑可具體定義為簡單的雙三次插值。

x＝argmin||y-↑x||(1)

所述步驟(2)中，在編碼端通過jpeg2000對小圖壓縮成碼碼流傳輸?shù)浇獯a端。同時，在編碼端執(zhí)行與步驟(3)同樣的解碼和重建過程，然后對重建出的圖像通過去噪技術抑制壓縮噪聲。由于去噪強度可調，因此可在此過程中計算出最優(yōu)的去噪系數(shù)，該系數(shù)將傳輸?shù)浇獯a端用于協(xié)助解碼圖像的質量提升。

所述步驟(3)中，使用基于碼率分類的a+(anchoredneighborhoodregression)算法對解碼小圖超分辨重建成原始大小。a+算法本身是純粹的超分辨率算法，其字典學習模型與基于稀疏表示的字典學習頗為相似，本質上仍然是學習高低分辨率圖像之間的對應關系。因此準確地把握圖像降質模型尤為重要。在本框架中，輸入圖像y經(jīng)歷了兩次降質過程：(1)自適應下采樣↓；(2)jpeg2000壓縮損失j。并且，jpeg2000在不同碼率時信息損失程度不一樣。因此本節(jié)提出，對碼率進行間隔為0.1bpp的分類，并對每一類訓練出轉換關系pi滿足公式(2)，從而構建出融合迭代反投影下采樣損失和壓縮損失的“一對多”映射模型。

pi＝argmin|y-(↓jy)*pi||(2)

所述步驟(4)中，從碼流中分離出的去噪邊信息，獲取到對于當前解碼大圖的最優(yōu)去噪系數(shù)。使用該系數(shù)控制去噪強度，從而最大限度地抑制解碼大圖的壓縮噪聲，提升解碼大圖的質量。

所述步驟(5)中，通過在編碼端模擬解碼、重建及去噪過程，可以計算出解碼大圖，將該解碼大圖與原始待壓縮圖像相減從而構建成閉環(huán)反饋回路。由于壓縮過程和采樣過程必然會造成圖像信息的大量損失，這部分損失信息被定義為解碼圖像與原圖之間的殘差。通過閉環(huán)反饋回路得到的殘差圖像通常不具備自然圖像的普遍特征，因此我們利用針對性的殘差編碼技術壓縮成碼流并傳輸?shù)浇獯a端。殘差圖像編碼采用樹狀結構編碼模式，即圖像被分割為大小為16×16的宏塊分別處理。根據(jù)其紋理復雜等特征，每個宏塊可以4種方式分割：一個16×16；兩個16×8；兩個8×16；四個8×8；對于8×8的子宏塊同樣可以進行相似的劃分。這樣的分割方法充分考慮了各圖像數(shù)據(jù)塊之間的相關性。如圖2，樹狀結構編碼中，細節(jié)比較豐富的區(qū)域劃分較為細致，而平滑區(qū)域則采用較大的編碼單元。這種自適應的編碼方法，能夠高效率地壓縮殘差圖像信息。同時，由于分塊一定程度上會導致解碼圖像出現(xiàn)塊效應，殘差編碼中采用環(huán)路濾波的方法抑制塊效應的產生。最后將殘差編碼碼流傳輸?shù)浇獯a端。

所述步驟(6)中，在解碼端分離出殘差碼流可得到解碼殘差圖，并通過環(huán)路濾波的方法抑制塊效應。解碼殘差圖與開環(huán)框架得到的解碼大圖疊加，可得到最終的解碼圖像。

在測試圖像庫中隨機選擇出兩幅圖像‘leaves’，‘butterfly’，用上述步驟對其進行測試，并與jpeg2000比較率失真性能。率失真比較如圖3及圖4所示，其中橫軸是碼率，單位是bpp；縱軸是峰值信噪比(psnr)，單位是db。在相同的碼率下，psnr越高，率失真性能越好。圖5表示在碼率為0.1bpp時，jpeg2000與本發(fā)明對‘lena’壓縮結果的視覺效果對比。圖6表示碼率為0.6pp時，jpeg2000與本發(fā)明對‘leaves’壓縮結果的視覺效果對比。實驗結果對于其他圖像具有普適性。