一種邊信息生成方法及裝置制造方法
【專利摘要】本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，公開了一種邊信息生成方法及裝置，以提高生成的邊信息的準(zhǔn)確度。一種邊信息生成方法，包括：獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述關(guān)鍵幀是在所述圖像中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀；獲取所述關(guān)鍵幀中相鄰兩關(guān)鍵幀的前向運(yùn)動(dòng)矢量；對(duì)于任一插值幀，根據(jù)所述插值幀的信息以及所述插值幀的相關(guān)關(guān)鍵幀的前向運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息。
【專利說明】一種邊信息生成方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)，特別是涉及一種邊信息生成方法及裝置。

【背景技術(shù)】
[0002] 分布式視頻編碼框架是一種全新的非對(duì)稱的視頻壓縮框架，該系統(tǒng)在編碼端對(duì)各 視頻幀進(jìn)行獨(dú)立編碼，即幀內(nèi)編碼，在解碼端對(duì)各視頻幀進(jìn)行聯(lián)合解碼，即幀間解碼。
[0003] 在分布式視頻編碼系統(tǒng)中，經(jīng)過有損信源編碼（Wyner-Ziv編碼）得到的信息稱之 為主信息，邊信息（Side information)是在解碼端產(chǎn)生的對(duì)于主信息的一個(gè)估計(jì)。邊信息 在主信息的解碼過程中給解碼器以幫助，輔助解碼器進(jìn)行解碼。
[0004] 系統(tǒng)要獲得優(yōu)異的率失真性能和壓縮效率，最有效的方法就是使產(chǎn)生的邊信息盡 量接近當(dāng)前欲解碼幀的真實(shí)值，因此，邊信息的產(chǎn)生是分布式視頻編碼的一個(gè)研究重點(diǎn)。但 是，在實(shí)現(xiàn)本發(fā)明的過程中發(fā)明人發(fā)現(xiàn)，通過一般的邊信息生成方法所獲得的邊信息會(huì)使 得所求得的邊信息幀中很多塊的運(yùn)動(dòng)矢量出現(xiàn)偏差。因而，邊信息的準(zhǔn)確度不高。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明要解決的技術(shù)問題是提供一種邊信息生成方法及裝置，以提高生成的邊信 息的準(zhǔn)確度。
[0006] 一種邊信息生成方法，包括：
[0007] 獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述關(guān)鍵幀是在所述 圖像中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀；
[0008] 獲取所述關(guān)鍵巾貞中相鄰兩關(guān)鍵巾貞的如向運(yùn)動(dòng)矢量；
[0009] 對(duì)于任一插值幀，根據(jù)所述插值幀的信息以及所述插值幀的相關(guān)關(guān)鍵幀的前向運(yùn) 動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息。
[0010] 其中，所述獲取所述關(guān)鍵巾貞中相鄰兩關(guān)鍵巾貞的如向運(yùn)動(dòng)矢量包括：
[0011] 分別將相鄰兩關(guān)鍵幀劃分成預(yù)定大小的塊；
[0012] 計(jì)算所述相鄰兩關(guān)鍵幀中對(duì)應(yīng)塊之間的絕對(duì)差和；
[0013] 若所述對(duì)應(yīng)塊之間的絕對(duì)差和小于第一預(yù)設(shè)值，將所述相鄰兩關(guān)鍵幀中的前向關(guān) 鍵幀中的像素塊作為備選像素塊，用于替代所述相兩關(guān)鍵幀中間的插值幀的對(duì)應(yīng)像素塊；
[0014] 若所述對(duì)應(yīng)塊之間的絕對(duì)差和大于第二預(yù)設(shè)值，對(duì)所述對(duì)應(yīng)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償；
[0015] 若對(duì)應(yīng)塊之間的絕對(duì)差和大于所述第一預(yù)設(shè)值且小于第二預(yù)設(shè)值，保持所述對(duì)應(yīng) 塊。
[0016] 其中，所述根據(jù)所述插值幀的信息以及所述插值幀的相關(guān)關(guān)鍵幀的前向運(yùn)動(dòng)矢量 進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息包括：
[0017] 將物體的運(yùn)動(dòng)軌跡進(jìn)行水平和堅(jiān)直方向上進(jìn)行分解，利用所述插值幀前兩關(guān)鍵幀 間的前向運(yùn)動(dòng)矢量以及所述插值幀的后兩關(guān)鍵幀間的前向運(yùn)動(dòng)矢量，采用二次函數(shù)對(duì)物體 的運(yùn)動(dòng)軌跡進(jìn)行模擬；
[0018] 根據(jù)模擬結(jié)果，計(jì)算所述插值幀的匹配塊相對(duì)于所述插值幀的前關(guān)鍵幀和后關(guān)鍵 幀的距離，并根據(jù)所述距離調(diào)整所述前關(guān)鍵幀和所述后關(guān)鍵幀在和成插值幀的權(quán)值，生成 邊信息。
[0019] 其中，在所述獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀后，所述方法還 包括：
[0020] 對(duì)所述各關(guān)鍵幀進(jìn)行低通濾波。
[0021] 其中，所述方法還包括：
[0022] 對(duì)生成的邊信息進(jìn)行圖像質(zhì)量評(píng)價(jià)。
[0023] 一種邊信息生成裝置，包括：
[0024] 幀獲取單元，用于獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述 關(guān)鍵幀是在所述圖像中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀；
[0025] 矢量獲取單元，用于獲取所述關(guān)鍵幀中相鄰兩關(guān)鍵幀的前向運(yùn)動(dòng)矢量；
[0026] 生成單元，用于對(duì)于任一插值幀，根據(jù)所述插值幀的信息以及所述插值幀的相關(guān) 關(guān)鍵幀的前向運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息。
[0027] 其中，所述矢量獲取單元包括：
[0028] 塊劃分模塊，用于分別將相鄰兩關(guān)鍵幀劃分成預(yù)定大小的塊；
[0029] 計(jì)算模塊，用于計(jì)算所述相鄰兩關(guān)鍵幀中對(duì)應(yīng)塊之間的絕對(duì)差和；
[0030] 處理模塊，若所述對(duì)應(yīng)塊之間的絕對(duì)差和小于第一預(yù)設(shè)值，將所述相鄰兩關(guān)鍵幀 中的前向關(guān)鍵幀中的像素塊作為備選像素塊，用于替代所述相兩關(guān)鍵幀中間的插值幀的對(duì) 應(yīng)像素塊；若所述對(duì)應(yīng)塊之間的絕對(duì)差和大于第二預(yù)設(shè)值，對(duì)所述對(duì)應(yīng)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償； 若對(duì)應(yīng)塊之間的絕對(duì)差和大于所述第一預(yù)設(shè)值且小于第二預(yù)設(shè)值，保持所述對(duì)應(yīng)塊。
[0031] 其中，所述生成單元包括：
[0032] 模擬模塊，用于將物體的運(yùn)動(dòng)軌跡進(jìn)行水平和堅(jiān)直方向上進(jìn)行分解，利用所述插 值幀前兩關(guān)鍵幀間的前向運(yùn)動(dòng)矢量以及所述插值幀的后兩關(guān)鍵幀間的前向運(yùn)動(dòng)矢量，采用 二次函數(shù)對(duì)物體的運(yùn)動(dòng)軌跡進(jìn)行模擬；
[0033] 生成模塊，用于根據(jù)模擬結(jié)果，計(jì)算所述插值幀的匹配塊相對(duì)于所述插值幀的前 關(guān)鍵幀和后關(guān)鍵幀的距離，并根據(jù)所述距離調(diào)整所述前關(guān)鍵幀和所述后關(guān)鍵幀在和成插值 幀的權(quán)值，生成邊信息。
[0034] 其中，所述幀獲取單元還用于對(duì)所述視頻圖像進(jìn)行低通濾波，獲取所述各關(guān)鍵幀。
[0035] 其中，所述裝置還包括：
[0036] 質(zhì)量評(píng)價(jià)單元，對(duì)生成的邊信息進(jìn)行圖像質(zhì)量評(píng)價(jià)。
[0037] 本發(fā)明取得的有益技術(shù)成果是：
[0038] 本發(fā)明首先獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述關(guān)鍵 幀是在所述圖像中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀，然后獲取 所述關(guān)鍵幀中相鄰兩關(guān)鍵幀的前向運(yùn)動(dòng)矢量，并對(duì)于任一插值幀，根據(jù)所述插值幀的信息 以及所述插值幀的相關(guān)關(guān)鍵幀的前向運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，進(jìn)而生成邊信息。由于本發(fā) 明中采用基于人眼特征獲取的關(guān)鍵幀，根據(jù)所述插值幀的信息以及所述插值幀的相關(guān)關(guān)鍵 幀的前向運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，進(jìn)而生成邊信息，因此，利用本發(fā)明的方法和裝置所獲得 的邊信息準(zhǔn)確度較高。

【專利附圖】

【附圖說明】
[0039] 圖1為本發(fā)明的邊信息生成方法的流程圖；
[0040] 圖2是本方法中運(yùn)動(dòng)矢量選取圖；
[0041] 圖3是本方法中空間平滑濾波示意圖；
[0042] 圖4是本方法中重疊塊運(yùn)動(dòng)補(bǔ)償示意圖；
[0043] 圖5是雙向運(yùn)動(dòng)估計(jì)中本發(fā)明算法和傳統(tǒng)算法對(duì)比示意圖；
[0044] 圖6是本方法中結(jié)構(gòu)相似法（SSIM)方法框圖；
[0045] 圖7是本發(fā)明的邊信息生成裝置的示意圖；
[0046] 圖8是本發(fā)明的邊信息生成裝置的結(jié)構(gòu)圖。

【具體實(shí)施方式】
[0047] 為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具 體實(shí)施例進(jìn)行詳細(xì)描述。
[0048] 在分布式視頻編碼中，視頻序列X由奇數(shù)幀X2k±1(k為整數(shù)）和偶數(shù)幀X 2k(k為整 數(shù)）組成。在本發(fā)明中，假設(shè)奇數(shù)幀為關(guān)鍵幀，偶數(shù)幀為WZ幀（插值幀）。同樣可假設(shè)偶數(shù) 幀為關(guān)鍵幀，奇數(shù)幀為WZ幀，只需保證WZ幀前后均存在關(guān)鍵幀即可。則邊信息主要是通過 對(duì)時(shí)域毗鄰關(guān)鍵幀x 2k±1進(jìn)行運(yùn)動(dòng)補(bǔ)償內(nèi)插來產(chǎn)生。
[0049] 如圖1所示，本發(fā)明的邊信息生成方法包括：
[0050] 步驟11、獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述關(guān)鍵幀是 在所述圖像中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀。
[0051] 在本步驟中，獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀后，還可對(duì)所述 各關(guān)鍵幀進(jìn)行低通濾波。
[0052] 首先，結(jié)合人眼的視覺特性HVS (Human Visual System,人類視覺系統(tǒng)），對(duì)輸入關(guān) 鍵幀進(jìn)行低通濾波處理。人類的視覺有著獨(dú)特的亮度特性、空間頻率特性及時(shí)間頻率特性， 根據(jù)視覺的空間頻率特性，圖像中頻率越高的成分代表圖像的細(xì)節(jié)越小，人眼探測(cè)能力越 低，其中人眼對(duì)3?6CPD的空間頻率分量最為敏感）。其中，低通濾波可以平滑圖像，去除 圖像噪聲，增強(qiáng)運(yùn)動(dòng)矢量的可靠性，使得到的運(yùn)動(dòng)矢量更加接近真實(shí)的矢量場(chǎng)?；緦?shí)現(xiàn)過 程如下：首先對(duì)經(jīng)二維離散富里葉變換（2-DDFT)的原圖像和目標(biāo)圖像頻譜，依據(jù)HVS分別 予以子帶分割，并對(duì)獲取的低頻子帶頻譜進(jìn)行二維富里葉反變換（2-DIDFT)，建立低頻子 帶的圖像。
[0053] 步驟12、獲取所述關(guān)鍵巾貞中相鄰兩關(guān)鍵巾貞的如向運(yùn)動(dòng)矢量。
[0054] 在此步驟中，通過對(duì)步驟11中建立的低頻子帶的圖像進(jìn)行前向運(yùn)動(dòng)估計(jì)。在本發(fā) 明實(shí)施例中主要是利用塊匹配算法在前后關(guān)鍵幀之間進(jìn)行運(yùn)動(dòng)估計(jì)。
[0055] 如圖2所示，設(shè)定搜索窗口為8X8的矩形，搜索范圍為12X12的矩形，步長(zhǎng)為1。 其中搜索窗口是執(zhí)行運(yùn)動(dòng)估計(jì)的基本單位，搜索范圍指的是在參考幀X2k_l (k為整數(shù)）內(nèi) 進(jìn)行搜索的區(qū)域的尺寸，在其范圍內(nèi)搜索和X2k+1 (k為整數(shù)）幀上當(dāng)前塊最相近的塊，步長(zhǎng) 是在關(guān)鍵幀中進(jìn)行搜索時(shí)前后兩個(gè)匹配塊之間的距離。其中，步長(zhǎng)可以降低框架的計(jì)算復(fù) 雜度并且提供一個(gè)真實(shí)矢量場(chǎng)的粗略估計(jì)。
[0056] 塊匹配方法有很多準(zhǔn)則，本發(fā)明使用SAD (Sum of absolute differences,絕對(duì)差 值和）。其基本原理是：對(duì)于一個(gè)mXn塊，使用下式（1)作為運(yùn)動(dòng)矢量失真函數(shù)
[0057]

【權(quán)利要求】
1. 一種邊信息生成方法，其特征在于，包括： 獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述關(guān)鍵幀是在所述圖像 中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀； 獲取所述關(guān)鍵巾貞中相鄰兩關(guān)鍵巾貞的如向運(yùn)動(dòng)矢量； 對(duì)于任一插值幀，根據(jù)所述插值幀的信息以及所述插值幀的相關(guān)關(guān)鍵幀的前向運(yùn)動(dòng)矢 量進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述關(guān)鍵幀中相鄰兩關(guān)鍵幀的 前向運(yùn)動(dòng)矢量包括： 分別將相鄰兩關(guān)鍵幀劃分成預(yù)定大小的塊； 計(jì)算所述相鄰兩關(guān)鍵幀中對(duì)應(yīng)塊之間的絕對(duì)差和； 若所述對(duì)應(yīng)塊之間的絕對(duì)差和小于第一預(yù)設(shè)值，將所述相鄰兩關(guān)鍵幀中的前向關(guān)鍵幀 中的像素塊作為備選像素塊，用于替代所述相兩關(guān)鍵幀中間的插值幀的對(duì)應(yīng)像素塊； 若所述對(duì)應(yīng)塊之間的絕對(duì)差和大于第二預(yù)設(shè)值，對(duì)所述對(duì)應(yīng)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償； 若對(duì)應(yīng)塊之間的絕對(duì)差和大于所述第一預(yù)設(shè)值且小于第二預(yù)設(shè)值，保持所述對(duì)應(yīng)塊。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)于任一插值幀，根據(jù)所述插值幀的 信息以及所述插值幀的相關(guān)關(guān)鍵幀的前向運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息包括： 將物體的運(yùn)動(dòng)軌跡進(jìn)行水平和堅(jiān)直方向上進(jìn)行分解，利用所述插值幀前兩關(guān)鍵幀間的 前向運(yùn)動(dòng)矢量以及所述插值幀的后兩關(guān)鍵幀間的前向運(yùn)動(dòng)矢量，采用二次函數(shù)對(duì)物體的運(yùn) 動(dòng)軌跡進(jìn)行模擬； 根據(jù)模擬結(jié)果，計(jì)算所述插值幀的匹配塊相對(duì)于所述插值幀的前關(guān)鍵幀和后關(guān)鍵幀的 距離，并根據(jù)所述距離調(diào)整所述前關(guān)鍵幀和所述后關(guān)鍵幀在和成插值幀的權(quán)值，生成邊信 息。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取編碼端輸出的視頻圖像中時(shí) 域毗鄰的各關(guān)鍵幀后，所述方法還包括： 對(duì)所述各關(guān)鍵幀視頻圖像進(jìn)行低通濾波。
5. 根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，所述方法還包括： 對(duì)生成的邊信息進(jìn)行圖像質(zhì)量評(píng)價(jià)。
6. -種邊信息生成裝置，其特征在于，包括： 幀獲取單元，用于獲取編碼端輸出的視頻圖像中時(shí)域毗鄰的各關(guān)鍵幀，其中，所述關(guān)鍵 幀是在所述圖像中基于人眼特征獲取的，在所述兩相鄰關(guān)鍵幀中間具有插值幀； 矢量獲取單元，用于獲取所述關(guān)鍵幀中相鄰兩關(guān)鍵幀的前向運(yùn)動(dòng)矢量； 生成單元，用于對(duì)于任一插值幀，根據(jù)所述插值幀的信息以及所述插值幀的相關(guān)關(guān)鍵 幀的前向運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，生成邊信息。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述矢量獲取單元包括： 塊劃分模塊，用于分別將相鄰兩關(guān)鍵幀劃分成預(yù)定大小的塊； 計(jì)算模塊，用于計(jì)算所述相鄰兩關(guān)鍵幀中對(duì)應(yīng)塊之間的絕對(duì)差和； 處理模塊，若所述對(duì)應(yīng)塊之間的絕對(duì)差和小于第一預(yù)設(shè)值，將所述相鄰兩關(guān)鍵幀中的 前向關(guān)鍵幀中的像素塊作為備選像素塊，用于替代所述相兩關(guān)鍵幀中間的插值幀的對(duì)應(yīng)像 素塊；若所述對(duì)應(yīng)塊之間的絕對(duì)差和大于第二預(yù)設(shè)值，對(duì)所述對(duì)應(yīng)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償；若對(duì) 應(yīng)塊之間的絕對(duì)差和大于所述第一預(yù)設(shè)值且小于第二預(yù)設(shè)值，保持所述對(duì)應(yīng)塊。
8. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述生成單元包括： 模擬模塊，用于將物體的運(yùn)動(dòng)軌跡進(jìn)行水平和堅(jiān)直方向上進(jìn)行分解，利用所述插值幀 前兩關(guān)鍵幀間的前向運(yùn)動(dòng)矢量以及所述插值幀的后兩關(guān)鍵幀間的前向運(yùn)動(dòng)矢量，采用二次 函數(shù)對(duì)物體的運(yùn)動(dòng)軌跡進(jìn)行模擬； 生成模塊，用于根據(jù)模擬結(jié)果，計(jì)算所述插值幀的匹配塊相對(duì)于所述插值幀的前關(guān)鍵 幀和后關(guān)鍵幀的距離，并根據(jù)所述距離調(diào)整所述前關(guān)鍵幀和所述后關(guān)鍵幀在和成插值幀的 權(quán)值，生成邊信息。
9. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述幀獲取單元還用于對(duì)所述視頻圖像 進(jìn)行低通濾波，獲取所述各關(guān)鍵幀。
10. 根據(jù)權(quán)利要求6-9任一所述的裝置，其特征在于，所述裝置還包括： 質(zhì)量評(píng)價(jià)單元，對(duì)生成的邊信息進(jìn)行圖像質(zhì)量評(píng)價(jià)。
【文檔編號(hào)】H04N19/56GK104243991SQ201410536223
【公開日】2014年12月24日 申請(qǐng)日期:2014年10月11日 優(yōu)先權(quán)日:2014年10月11日
【發(fā)明者】程德強(qiáng), 姜海龍, 王睿, 李碩, 郭星歌, 鄭珍 申請(qǐng)人:中國(guó)礦業(yè)大學(xué)