圖像預(yù)測方法及相關(guān)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及圖像預(yù)測方法和相關(guān)裝置。
【背景技術(shù)】
[0002] 隨著光電采集技術(shù)的發(fā)展及不斷增長的高清數(shù)字視頻需求，視頻數(shù)據(jù)量越來越 大，有限異構(gòu)的傳輸帶寬、多樣化的視頻應(yīng)用不斷地對視頻編碼效率提出了更高的需求，高 性能視頻編碼（英文：highefficientvideocoding,縮寫：HEVC)標(biāo)準(zhǔn)的制定工作因需啟 動。
[0003] 視頻編碼壓縮的基本原理是利用空域、時域和碼字之間的相關(guān)性，盡可能去除冗 余。目前流行做法是采用基于塊的混合視頻編碼框架，通過預(yù)測（包括幀內(nèi)預(yù)測和幀間預(yù) 測）、變換、量化、熵編碼等步驟實現(xiàn)視頻編碼壓縮。這種編碼框架，顯示了很強(qiáng)的生命力， HEVC也仍沿用這種基于塊的混合視頻編碼框架。
[0004] 在各種視頻編/解碼方案中，運(yùn)動估計/運(yùn)動補(bǔ)償是一種影響編/解碼性能的關(guān) 鍵技術(shù)。其中，在現(xiàn)有的各種各種視頻編/解碼方案中，假設(shè)物體的運(yùn)動總是滿足平動運(yùn) 動，整個物體的各個部分有相同的運(yùn)動?，F(xiàn)有的運(yùn)動估計/運(yùn)動補(bǔ)償算法基本都是建立在 平動模型（英文：translationalmotionmodel)的基礎(chǔ)上的塊運(yùn)動補(bǔ)償算法。然而，現(xiàn)實 世界中運(yùn)動有多樣性，縮放、旋轉(zhuǎn)和拋物線運(yùn)動等非規(guī)則運(yùn)動普遍存在。上世紀(jì)90年代開 始，視頻編碼專家就意識到了非規(guī)則運(yùn)動的普遍性，希望通過引進(jìn)非規(guī)則運(yùn)動模型（即非 平動運(yùn)動模型）來提高視頻編碼效率，但是，現(xiàn)有的基于非平動運(yùn)動模型進(jìn)行圖像預(yù)測的 計算復(fù)雜度通常非常的高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實施例提供一種圖像預(yù)測方法和相關(guān)裝置，以期降低基于非平動運(yùn)動模型 進(jìn)行圖像預(yù)測的計算復(fù)雜度。
[0006] 本發(fā)明第一方面提供一種圖像預(yù)測方法，包括：
[0007] 確定當(dāng)前圖像塊中的K個像素樣本的運(yùn)動矢量預(yù)測值，其中，所述K為大于1的整 數(shù)，所述K個像素樣本包括所述當(dāng)前圖像塊的第一頂角像素樣本，所述第一頂角像素樣本 的運(yùn)動矢量預(yù)測值基于所述當(dāng)前圖像塊的預(yù)設(shè)的第一空域相鄰圖像塊的運(yùn)動矢量得到，所 述第一空域相鄰圖像塊與所述第一頂角像素樣本空域相鄰；
[0008] 基于非平動運(yùn)動模型和所述K個像素樣本的運(yùn)動矢量預(yù)測值對所述當(dāng)前圖像塊 進(jìn)行像素值預(yù)測。
[0009] 結(jié)合第一方面，在第一方面的第一種可能的實施方式中，所述K個像素樣本包括 所述當(dāng)前圖像塊的左上像素樣本、右上像素樣本和左下像素樣本中的至少2個像素樣本；
[0010] 其中，所述當(dāng)前圖像塊的左上像素樣本為所述當(dāng)前圖像塊的左上頂點或所述當(dāng)前 圖像塊中的包含所述當(dāng)前圖像塊的左上頂點的像素塊；所述當(dāng)前圖像塊的左下像素樣本為 所述當(dāng)前圖像塊的左下頂點或所述當(dāng)前圖像塊中的包含所述當(dāng)前圖像塊的左下頂點的像 素塊；所述當(dāng)前圖像塊的右上像素樣本為所述當(dāng)前圖像塊的右上頂點或所述當(dāng)前圖像塊中 的包含所述當(dāng)前圖像塊的右上頂點的像素塊。
[0011] 結(jié)合第一方面的第一種可能的實施方式，在第一方面的第二種可能的實施方式 中，所述第一空域相鄰圖像塊為圖像塊XI、圖像塊X2或圖像塊X3 ;
[0012] 其中，所述當(dāng)前圖像塊的左上像素樣本的運(yùn)動矢量預(yù)測值基于所述圖像塊XI的 運(yùn)動矢量得到，所述圖像塊XI為所述當(dāng)前圖像塊的空域相鄰圖像塊且所述圖像塊XI與所 述當(dāng)前圖像塊的左上像素樣本空域相鄰；
[0013] 所述當(dāng)前圖像塊的右上像素樣本的運(yùn)動矢量預(yù)測值基于所述圖像塊X2的運(yùn)動矢 量得到，所述圖像塊X2為所述當(dāng)前圖像塊的空域相鄰圖像塊且所述圖像塊X2與所述當(dāng)前 圖像塊的右上像素樣本空域相鄰；
[0014] 所述當(dāng)前圖像塊的左下像素樣本的運(yùn)動矢量預(yù)測值基于所述圖像塊X3的運(yùn)動矢 量得到，其中，所述圖像塊X3為所述當(dāng)前圖像塊的空域相鄰圖像塊且所述圖像塊X3與所述 當(dāng)前圖像塊的左下像素樣本空域相鄰。
[0015] 結(jié)合第一方面的第二種可能的實施方式，在第一方面的第三種可能的實施方式 中，
[0016] 所述第一頂角像素樣本為所述當(dāng)前圖像塊的左上像素樣本，所述第一空域相鄰圖 像塊為所述圖像塊XI，其中，所述圖像塊XI為所述當(dāng)前圖像塊的左上的空域相鄰圖像塊。
[0017] 結(jié)合第一方面的第三種可能的實施方式，在第一方面的第四種可能的實施方式 中，
[0018] 所述圖像塊X2為所述當(dāng)前圖像塊的上邊的空域相鄰圖像塊；
[0019] 或者，
[0020] 所述圖像塊X2的運(yùn)動矢量絕對值與所述圖像塊XI的運(yùn)動矢量絕對值之間的差值 的絕對值，大于或等于所述圖像塊X5的運(yùn)動矢量絕對值與所述圖像塊XI的運(yùn)動矢量絕對 值之間的差值的絕對值，所述圖像塊X5為所述當(dāng)前圖像塊的與所述右上頂點空域相鄰的 除所述圖像塊X2之剩余的至少部分空域相鄰圖像塊中的任意一個空域相鄰圖像塊。
[0021] 結(jié)合第一方面的第三種可能的實施方式或第一方面的第四種可能的實施方式，在 第一方面的第五種可能的實施方式中，
[0022] 所述圖像塊X3為所述當(dāng)前圖像塊的左邊的空域相鄰圖像塊；
[0023] 或者，
[0024] 所述圖像塊X3的運(yùn)動矢量絕對值與所述圖像塊XI的運(yùn)動矢量絕對值之間的差值 的絕對值，大于或等于所述圖像塊X6運(yùn)動矢量絕對值與所述圖像塊XI的運(yùn)動矢量絕對值 之間的差值的絕對值，所述圖像塊X6為所述當(dāng)前圖像塊的與所述左下頂點空域相鄰的除 所述圖像塊X3之外剩余的至少部分空域相鄰圖像塊中的任意一個空域相鄰圖像塊。
[0025] 結(jié)合第一方面或第一方面的第一至五種可能的實施方式中的任意一種可能的實 施方式，在第一方面的第六種可能的實施方式中，所述基于非平動運(yùn)動模型和所述K個像 素樣本的運(yùn)動矢量預(yù)測值對所述當(dāng)前圖像塊進(jìn)行像素值預(yù)測，包括：
[0026] 當(dāng)所述K個像素樣本之中的K1個像素樣本的運(yùn)動矢量預(yù)測值對應(yīng)的參考幀不為 參考幀Y1時，將所述K1個像素樣本的運(yùn)動矢量預(yù)測值縮放到所述參考幀Y1上；利用K2 個像素樣本的運(yùn)動矢量預(yù)測值和縮放到所述參考幀Y1上的所述K個像素樣本的運(yùn)動矢量 預(yù)測值，對所述K個像素樣本進(jìn)行運(yùn)動估計以得到所述K個像素樣本的運(yùn)動矢量；利用非平 動運(yùn)動模型和所述K個像素樣本的運(yùn)動矢量對所述當(dāng)前圖像塊進(jìn)行像素值預(yù)測，其中，所 述K2個像素樣本為所述K個像素樣本中除所述K1個像素樣本之外的剩余像素樣本，所述 K1和所述K2為正整數(shù)。
[0027] 結(jié)合第一方面的第六種可能的實施方式，在第一方面的第七種可能的實施方式 中，像素樣本i為所述K個像素樣本中除所述第一頂角像素樣本之外的任意一個像素樣本； 其中，若所述像素樣本i的運(yùn)動矢量預(yù)測值所對應(yīng)的預(yù)測方向，與所述第一頂角像素樣本 的運(yùn)動矢量預(yù)測值對應(yīng)的預(yù)測方向不同，所述像素樣本i的運(yùn)動矢量預(yù)測值對應(yīng)的參考幀 索引為〇。
[0028] 結(jié)合第一方面的第七種可能的實施方式，在第一方面的第八種可能的實施方式 中，所述參考幀Y1為所述第一頂角像素樣本的運(yùn)動矢量預(yù)測值對應(yīng)的參考幀；其中，將像 素樣本i的運(yùn)動矢量預(yù)測值縮放到參考幀Y1上，包括：若所述第一頂角像素樣本與所述像 素樣本i的運(yùn)動矢量預(yù)測值對應(yīng)的參考幀索引不同，將所述像素樣本i的運(yùn)動矢量預(yù)測值 縮放到參考巾貞Y1。
[0029] 結(jié)合第一方面的第六種可能的實施方式或第一方面的第七種可能的實施方式或 第一方面的第八種可能的實施方式，在第一方面的第九種可能的實施方式中，所述利用K2 個像素樣本的運(yùn)動矢量預(yù)測值和縮放到所述參考幀Y1上的所述K個像素樣本的運(yùn)動矢量 預(yù)測值，對所述K個像素樣本進(jìn)行運(yùn)動估計以得到所述K個像素樣本的運(yùn)動矢量，包括：
[0030] 利用K2個像素樣本的運(yùn)動矢量預(yù)測值和縮放到所述參考幀Y1上的所述K個像素 樣本的運(yùn)動矢量預(yù)測值，基于迭代搜索算法對所述K個像素樣本進(jìn)行運(yùn)動估計以得到所述 K個像素樣本的運(yùn)動矢量。
[0031] 結(jié)合第一方面或第一方面的第一至九種可能的實施方式中的任意一種可能的實 施方式，在第一方面的第十種可能的實施方式中，所述非平動運(yùn)動模型為如下模型中的任 意一個：仿射變換模型、拋物線運(yùn)動模型、旋轉(zhuǎn)運(yùn)動模型、透視運(yùn)動模型，剪切運(yùn)動模型和縮 放運(yùn)動模型。
[0032] 結(jié)合第一方面或第一方面的第一至十種可能的實施方式中的任意一種可能的實 施方式，在第一方面的第十一種可能的實施方式中，
[0033] 所述圖像預(yù)測方法應(yīng)用于視頻編碼過程中或所述圖像預(yù)測方法應(yīng)用于視頻解碼 過程中。
[0034] 本發(fā)明第一方面提供一種圖像預(yù)測裝置，包括：
[0035] 確定單元，用于確定當(dāng)前圖像塊中的K個像素樣本的運(yùn)動矢量預(yù)測值，其中，所述 K為大于1的整數(shù)，所述K個像素樣本包括所述當(dāng)前圖像塊的第一頂角像素樣本，所述第一 頂角像素樣本的運(yùn)動矢量預(yù)測值基于所述當(dāng)前圖像塊的預(yù)設(shè)的第一空域相鄰圖像塊的運(yùn) 動矢量得到，所述第一空域相鄰圖像塊與所述第一頂角像素樣本空域相鄰；
[0036] 預(yù)測單元，用于基于非平動運(yùn)動模型和所述K個像素樣本的運(yùn)動矢量預(yù)測值對所 述當(dāng)前圖像塊進(jìn)行像素值預(yù)測。
[0037] 結(jié)合第一方面，在第一方面的第一種可能的實施方式中，所述K個像素樣本包括 所述當(dāng)前圖像塊的左上像素樣本、右上像素樣本和左下像素樣本中的至少2個像素樣本；
[0038] 其中，所述當(dāng)前圖像塊的左上像素樣本為所述當(dāng)前圖像塊的左上頂點或所述當(dāng)前 圖像塊中的包含所述當(dāng)前圖像塊的左上頂點的像素塊；所述當(dāng)前圖像塊的左下像素樣本為 所述當(dāng)前圖像塊的左下頂點或所述當(dāng)前圖像塊中的包含所述當(dāng)前圖像塊的左下頂點的像 素塊；所述當(dāng)前圖像塊的右