一種基于圖像超分辨率的視頻編解碼方法及裝置制造方法
【專利摘要】本申請?zhí)峁┑幕趫D像超分辨率的視頻編解碼方法及裝置，本申請方法在對待編碼和待編碼的視頻圖像進行預測前，先對待編碼/待解碼視頻圖像進行超分辨率插值處理，可以對待編碼/待解碼圖像進行放大及進行細節(jié)信息恢復，從而，在對待編碼/待解碼圖像進行預測得到預測塊時，相比現(xiàn)有技術利用線性插值對視頻圖像進行預測的方法，更能有效還原原圖像，避免出現(xiàn)現(xiàn)有技術中預測塊邊緣模糊的問題，從而提升視頻圖像預測的準確性，進而提升視頻圖像的編碼效率。
【專利說明】一種基于圖像超分辨率的視頻編解碼方法及裝置

【技術領域】
[0001] 本發(fā)明涉及圖像超分辨率【技術領域】，具體涉及一種基于圖像超分辨率的視頻編解 碼方法及裝置。
[0002]

【背景技術】
[0003] 傳統(tǒng)的編碼方法是利用待編碼圖像與視頻自身的信息冗余對視頻圖像進行壓縮 處理的，隨著編碼技術的不斷進步，視頻編碼的冗余度不斷降低，待編碼圖像與視頻自身的 時空域相關性被充分利用。借助待編碼圖像與視頻以外的信息，對待編碼圖像和視頻信息 進行預測，從而降低待編碼圖像與視頻本身的信息量，是大幅度提高圖像與視頻壓縮效率 的新方向。
[0004] 現(xiàn)有技術中，為了提高視頻圖像幀間預測效率，分像素運動補償技術普遍被采用。 為了獲得分像素信息，目前普遍采用線性插值的方法。線性插值方法的優(yōu)點是簡單，但缺點 是難以恢復高分辨率圖像的高頻細節(jié)信息，同時對于邊緣部分造成模糊，從而制約了分像 素運動補償?shù)男省?br> [0005]


【發(fā)明內(nèi)容】

[0006] 本發(fā)明實施例提供的基于圖像超分辨率的視頻編碼方法，包括：利用預訓練的紋 理字典庫對待編碼視頻圖像進行超分辨率插值處理，得到參考圖像，所述紋理字典庫包括： 一組或多組字典基，所述字典基包括：訓練圖像的高分辨率圖像塊以及與所述高分辨率圖 像塊對應的低分辨率圖像塊組合成的映射組，所述超分辨率插值處理包括：進行圖像放大 及圖像的細節(jié)信息恢復；對所述待編碼圖像的各個圖像塊在所述參考圖像上進行運動估計 和運動補償，得到與所述待編碼視頻圖像的各個圖像塊對應的預測塊；將所述待編碼視頻 圖像的圖像塊與對應的所述預測塊相減，得到預測殘差塊；對所述預測殘差塊進行編碼處 理。
[0007] 本發(fā)明實施例提供的基于圖像超分辨率的視頻解碼方法，包括：對獲取的圖像編 碼流信號進行解碼得到預測殘差塊；利用預訓練的紋理字典庫對待解碼視頻圖像進行超分 辨率插值處理，得到參考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基為： 訓練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對應的低分辨率圖像塊組合成的 映射組，所述超分辨率插值處理包括：進行圖像放大及圖像的細節(jié)信息恢復；對所述待解 碼視頻圖像上的各個圖像塊在所述參考圖像上進行運動補償，得到與所述各個圖像塊對應 的預測塊；將所述預測塊與所述預測殘差塊相加得到解碼后的視頻圖像。
[0008] 本發(fā)明實施例提供的基于圖像超分辨率的視頻編碼裝置，包括：超分辨率插值處 理單元，用于利用預訓練的紋理字典庫對待編碼視頻圖像進行超分辨率插值處理，得到參 考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基包括：訓練圖像的高分辨率 圖像塊以及與所述高分辨率圖像塊對應的低分辨率圖像塊組合成的映射組，所述超分辨率 插值處理包括：進行圖像放大及圖像的細節(jié)信息恢復；預測單元，用于對所述待編碼圖像 上的各個圖像塊在參考圖像上進行運動估計和運動補償，得到與所述待編碼視頻圖像的各 個圖像塊對應的預測塊；減法計算單元，用于將所述待編碼視頻圖像的各圖像塊與所述運 動估計單元估計得到的對應的預測塊相減，得到預測殘差塊；編碼單元，用于對所述減法計 算單元計算得到的所述預測殘差塊進行編碼處理。
[0009] 本發(fā)明實施例提供的基于圖像超分辨率的視頻解碼裝置，包括：解碼單元，用于對 獲取的圖像編碼流信號進行解碼得到預測殘差塊；超分辨率插值處理單元，用于利用預訓 練的紋理字典庫對待解碼視頻圖像進行超分辨率插值處理，得到參考圖像，所述紋理字典 庫包括：一組或多組字典基，所述字典基包括：訓練圖像的高分辨率圖像塊以及與所述高 分辨率圖像塊對應的低分辨率圖像塊，所述超分辨率插值處理包括：進行圖像放大及圖像 的細節(jié)信息恢復；預測單元，用于對所述待解碼視頻圖像上的各個圖像塊在所述參考圖像 上進行運動補償，得到與所述各個圖像塊對應的預測塊；加法計算單元，用于將所述運動補 償處理單元得到的所述預測塊與所述解碼單元獲取得到的所述預測殘差塊相加得到解碼 后的視頻圖像。
[0010] 從以上技術方案可以看出，本發(fā)明實施例具有以下優(yōu)點： 本申請?zhí)峁┑幕趫D像超分辨率的視頻編解碼方法及裝置，本申請方法在對待編碼和 待編碼的視頻圖像進行預測前，先對待編碼/待解碼視頻圖像進行超分辨率插值處理，可 以對待編碼/待解碼圖像進行放大及進行細節(jié)信息恢復，從而，在對待編碼/待解碼圖像進 行預測得到預測塊時，相比現(xiàn)有技術利用線性插值對視頻圖像進行預測的方法，更能有效 還原原圖像，避免出現(xiàn)現(xiàn)有技術中預測塊邊緣模糊的問題，從而提升視頻圖像預測的準確 性，進而提升視頻圖像的編碼效率。

【專利附圖】

【附圖說明】
[0011] 本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施方式的描述中將 變得明顯和容易理解，其中 ： 圖1為實施例一的基于圖像超分辨率的視頻編碼方法的流程圖； 圖2a_2c為本申請一種實施例中圖像塊局部紋理結(jié)構(gòu)的特征提取示意圖； 圖3為實施例二的步驟101的一種實施方式的流程圖； 圖4為本實施例三的基于圖像超分辨率的視頻解碼方法流程圖； 圖5為實施例三的的步驟202的一種實施方式的流程圖； 圖6為本申請實施例五的裝置結(jié)構(gòu)示意圖； 圖7為本申請實施例五超分辨率插值處理單元的結(jié)構(gòu)示意圖； 圖8為本申請實施例六的裝置結(jié)構(gòu)示意圖； 圖9為本申請實施例六的超分辨率插值處理單元的結(jié)構(gòu)示意圖。

【具體實施方式】
[0012] 本申請實施例中，提供了一種基于圖像超分辨率的視頻編解碼方法及裝置，可以 恢復圖像的高頻信息，提高圖像的質(zhì)量，從而應用于對視頻圖像的時域預測，提升預測的準 確性，進而提高編解碼效率。
[0013] 下面通過【具體實施方式】結(jié)合附圖對本申請作進一步詳細說明。
[0014] 實施例一： 請參考圖1，圖1為一種實施例中基于圖像超分辨率的視頻編碼方法的流程圖。如圖1 所示，本實施例提供一種基于圖像超分辨率的視頻編碼方法，可以包括以下步驟： 101、利用預訓練的紋理字典庫對待編碼視頻圖像進行超分辨率插值處理。
[0015] 經(jīng)過超分辨率插值處理后，得到參考圖像。所述紋理字典庫包括：一組或多組字典 基，所述字典基為：訓練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對應的低分辨 率圖像塊組合的映射組，所述超分辨率插值處理包括：進行圖像放大及圖像的細節(jié)信息恢 復。
[0016] 102、待編碼視頻圖像上的各個圖像塊在參考圖像上進行運動估計和運動補償，得 到與各個圖像塊對應的的預測塊。
[0017] 其中，所述圖像塊可以按照預設的劃分規(guī)則在視頻圖像上進行劃分，例如：將 2X2個像素劃分為一個圖像塊。本申請對劃分規(guī)則僅作舉例不作具體限定。
[0018] 本實施例步驟中，可以對待編碼視頻圖像上劃分好的各個圖像塊進行在參考圖像 中進行運動估計和運動補償，計算各個圖像塊在參考幀中的位置偏移和對應像素值，從而 得到經(jīng)過運動估計后的與待編碼視頻圖像的各個圖像塊對應的預測塊。
[0019] 103、將所述待編碼視頻圖像的圖像塊與對應的預測塊相減，得到預測殘差塊。
[0020] 104、對預測殘差塊進行編碼處理。
[0021] 本申請實施例一提供的基于圖像超分辨率的視頻編碼方法，利用預訓練的紋理字 典庫對待編碼視頻圖像進行超分辨率插值處理，可以對待編碼圖像進行放大及進行細節(jié)信 息恢復，再對進行超分辨率插值處理后的參考圖像塊進行運動估計，得到對應的預測塊，然 后將預測塊與待編碼視頻圖像相減得到殘差塊，再對殘差塊進行編碼。相比現(xiàn)有技術利用 線性插值對視頻圖像進行預測的方法，本申請方法在對待編碼的視頻圖像進行預測前，先 對待編碼視頻圖像進行超分辨率插值處理，可以對待編碼圖像進行放大及進行細節(jié)信息恢 復，這樣，在對待編碼圖像進行運動估計處理得到預測塊時，避免出現(xiàn)現(xiàn)有技術中預測塊邊 緣模糊的問題，從而提升預測的準確性，進而提高編碼效率。
[0022] -個優(yōu)選的實施例中，紋理字典庫中各字典基按照各訓練圖像的高分辨率圖像塊 的局部特征以及與所述高分辨率圖像塊對應的低分辨率圖像塊的局部特征進行分類，所述 局部特征包括局部二值結(jié)構(gòu)（LBS, Local Binary Structure)和銳利邊緣結(jié)構(gòu)（SES，Sharp Edge Structure)。
[0023] 本實施例中，紋理字典是預先訓練得到的，紋理字典的預訓練可以采取以下實施 方式： S1、從包含若干個訓練圖像的訓練圖像集中選取多個高分辨率局部圖像塊，其中，高分 辨率局部圖像塊由其所在圖像上的至少兩個像素點組成。對訓練圖像進行降采樣處理，獲 取與每個局部圖像塊一一對應的低分辨率局部圖像塊。
[0024] S2、提取高分辨率局部圖像塊的局部特征，得到高分辨率字典樣本Dh(y)，以及，提 取與每個所述局部圖像塊一一對應的低分辨率局部圖像塊的局部特征，得到低分辨率字典 樣本D1 (y)，將所述高分辨率字典樣本與所述低分辨率字典樣本相互映射組合得到一組字 典基樣本，所述局部特征包括LBS和SES。
[0025] S3、對所述多組字典基樣本進行訓練，得到紋理字典庫。
[0026] 下面對本申請實施例一中利用預訓練的紋理字典庫對視頻圖像進行超分辨率插 值處理的過程及原理進行舉例說明。
[0027] 如圖2a、2b和2c所示，A、B、C、D是局部相鄰的四個像素點，圖中，像素點的高度反 應了像素點的灰度值大小。如圖2a所示，A、B、C、D四個像素點組成一塊平坦局部區(qū)域，因 此灰度值大小相等。如圖2b所示，像素點A和B的灰度值比像素點C和D的灰度值高。本 實施例定義LBS-Geometry (LBS_G)區(qū)分這種幾何結(jié)構(gòu)上的不同，LBS-Geometry (LBS_G) 的計算方式如公式（1):

【權(quán)利要求】
1. 一種基于圖像超分辨率的視頻編碼方法，其特征在于，包括： 利用預訓練的紋理字典庫對待編碼視頻圖像進行超分辨率插值處理，得到參考圖像， 所述紋理字典庫包括：一組或多組字典基，所述字典基包括：訓練圖像的高分辨率圖像塊 以及與所述高分辨率圖像塊對應的低分辨率圖像塊組合成的映射組，所述超分辨率插值處 理包括：進行圖像放大及圖像的細節(jié)信息恢復； 對所述待編碼視頻圖像上的各個圖像塊在所述參考圖像上進行運動估計和運動補償， 得到與所述待編碼視頻圖像的各個圖像塊對應的預測塊； 將所述待編碼視頻圖像的圖像塊與對應的所述預測塊相減，得到預測殘差塊； 對所述預測殘差塊進行編碼處理。
2. 如權(quán)利要求1所述的基于圖像超分辨率的視頻編碼方法，其特征在于，所述紋理字 典庫中各字典基按照各訓練圖像的高分辨率圖像塊的局部特征以及與所述高分辨率圖像 塊對應的低分辨率圖像塊的局部特征進行分類，所述局部特征包括局部二值結(jié)構(gòu)和銳利邊 緣結(jié)構(gòu)。
3. 如權(quán)利要求2所述的基于圖像超分辨率的視頻編碼方法，其特征在于，所述利用預 訓練的紋理字典庫對待編碼視頻圖像進行超分辨率插值處理包括： 提取待編碼視頻圖像上各個圖像塊的局部特征； 將所述待編碼視頻圖像中各個圖像塊的局部特征與所述紋理字典庫中各個字典基的 局部特征進行匹對，獲取匹對的字典基； 利用所述匹對的字典基對所述待編碼視頻圖像上對應的圖像塊進行圖像細節(jié)信息恢 復及圖像放大處理。
4. 一種基于圖像超分辨率的視頻解碼方法，其特征在于，包括： 對獲取的圖像編碼流信號進行解碼得到預測殘差塊； 利用預訓練的紋理字典庫對待解碼視頻圖像進行超分辨率插值處理，得到參考圖像， 所述紋理字典庫包括：一組或多組字典基，所述字典基為：訓練圖像的高分辨率圖像塊以 及與所述高分辨率圖像塊對應的低分辨率圖像塊組合成的映射組，所述超分辨率插值處理 包括：進行圖像放大及圖像的細節(jié)信息恢復； 對所述待解碼視頻圖像上的各個圖像塊在所述參考圖像上進行運動補償，得到與所述 各個圖像塊對應的預測塊； 將所述預測塊與所述預測殘差塊相加得到解碼后的視頻圖像。
5. 如權(quán)利要求4所述的基于圖像超分辨率的視頻解碼方法，其特征在于，所述紋理字 典庫中各字典基按照各訓練圖像的高分辨率圖像塊的局部特征以及與所述高分辨率圖像 塊對應的低分辨率圖像塊的局部特征進行分類，所述局部特征包括局部二值結(jié)構(gòu)和銳利 邊緣結(jié)構(gòu)。
6. 如權(quán)利要求5所述的基于圖像超分辨率的視頻解碼方法，其特征在于，所述利用預 訓練的紋理字典庫對待解碼視頻圖像進行超分辨率插值處理包括： 提取所述待解碼視頻圖像各個圖像塊的局部特征； 將所述待解碼視頻圖像中各個圖像塊的的局部特征與所述紋理字典庫中各個字典基 的局部特征進行匹對，獲取匹對的字典基； 利用所述匹對的字典基對所述待解碼視頻圖像進行細節(jié)信息恢復及圖像放大處理。
7. -種基于圖像超分辨率的視頻編碼裝置，其特征在于，包括： 超分辨率插值處理單元，用于利用預訓練的紋理字典庫對待編碼視頻圖像進行超分辨 率插值處理，得到參考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基包括： 訓練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對應的低分辨率圖像塊組合成的 映射組，所述超分辨率插值處理包括：進行圖像放大及圖像的細節(jié)信息恢復； 預測單元，用于對所述待編碼圖像上的各個圖像塊在參考圖像上進行運動估計和運動 補償，得到與所述待編碼視頻圖像的各個圖像塊對應的預測塊； 減法計算單元，用于將所述待編碼視頻圖像的各圖像塊與所述運動估計單元估計得到 的對應的預測塊相減，得到預測殘差塊； 編碼單元，用于對所述減法計算單元計算得到的所述預測殘差塊進行編碼處理。
8. 如權(quán)利要求7所述的基于圖像超分辨率的視頻編碼裝置，其特征在于， 所述紋理字典庫中各字典基按照各訓練圖像的高分辨率圖像塊的局部特征以及與所 述高分辨率圖像塊對應的低分辨率圖像塊的局部特征進行分類，所述局部特征包括局部二 值結(jié)構(gòu)和銳利邊緣結(jié)構(gòu)； 所述超分辨率插值處理單元具體包括： 提取模塊，用于提取待編碼視頻圖像上各圖像塊的局部特征； 匹對模塊，用于將所述提取模塊提取的所述待編碼視頻圖像中各個圖像塊的局部特征 與所述紋理字典庫中各個字典基的局部特征進行匹對，獲取匹對的字典基； 圖像處理模塊，用于利用所述匹對模塊匹對出的所述匹對的字典基對所述待編碼視頻 圖像上對應的圖像塊進行圖像細節(jié)信息恢復及圖像放大處理。
9. 一種基于圖像超分辨率的視頻解碼裝置，其特征在于，包括： 解碼單元，用于對獲取的圖像編碼流信號進行解碼得到預測殘差塊； 超分辨率插值處理單元，用于利用預訓練的紋理字典庫對待解碼視頻圖像進行超分辨 率插值處理，得到參考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基為：訓 練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對應的低分辨率圖像塊組合成的映 射組，所述超分辨率插值處理包括：進行圖像放大及圖像的細節(jié)信息恢復； 預測單元，用于對所述待解碼視頻圖像上的各個圖像塊在所述參考圖像上進行運動補 償，得到與所述各個圖像塊對應的預測塊； 加法計算單元，用于將所述運動補償處理單元得到的所述預測塊與所述解碼單元獲取 得到的所述預測殘差塊相加得到解碼后的視頻圖像。
10. 如權(quán)利要求9所述的基于圖像超分辨率的視頻解碼裝置，其特征在于，所述紋理字 典庫中各字典基按照各訓練圖像的高分辨率圖像塊的局部特征以及與所述高分辨率圖像 塊對應的低分辨率圖像塊的局部特征進行分類，所述局部特征包括局部二值結(jié)構(gòu)和銳利邊 緣結(jié)構(gòu)； 所述超分辨率插值處理單元包括： 提取模塊，用于提取所述待解碼視頻圖像的局部特征； 匹對模塊，用于將所述提取模塊提取的所述待解碼視頻圖像中各個圖像塊的的局部特 征與所述紋理字典庫中各個字典基的局部特征進行匹對，獲取匹對的字典基； 圖像處理模塊，利用所述匹對模塊匹對出的所述匹對的字典基對所述待解碼視頻圖像 進行細節(jié)信息恢復及圖像放大處理。
【文檔編號】H04N19/53GK104244006SQ201410230514
【公開日】2014年12月24日 申請日期:2014年5月28日 優(yōu)先權(quán)日:2014年5月28日
【發(fā)明者】王榮剛, 趙洋, 王振宇, 高文, 王文敏, 董勝富, 黃鐵軍, 馬思偉 申請人:北京大學深圳研究生院