一種基于hevc標(biāo)準(zhǔn)的視頻編碼框架的制作方法
【專利摘要】本發(fā)明公開了一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架。在滿足HEVC標(biāo)準(zhǔn)的前提下，先采用模型（編碼復(fù)雜度代價模型和編碼率失真代價模型）定量計算候選編碼模式和編碼參數(shù)，再遍歷擇優(yōu)，既避免了大量復(fù)雜的遍歷擇優(yōu)過程又提高了編碼的率失真性能。本發(fā)明方法可兼容現(xiàn)有提高HEVC視頻編碼性能的研究成果，并在其基礎(chǔ)上進(jìn)一步改善視頻編碼的性能與效率，實現(xiàn)更為高效的HEVC視頻編碼策略。
【專利說明】—種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明屬于視頻編碼和處理領(lǐng)域，具體涉及基于HEVC標(biāo)準(zhǔn)的一種視頻編碼實現(xiàn)框架。
【背景技術(shù)】:
[0002]傳統(tǒng)視頻編碼技術(shù)，如H.264等在高清(1080P)及超高清(2K、4K)視頻編碼需求下，其編碼生成的數(shù)據(jù)率急劇增長，這給視頻數(shù)據(jù)的存儲、網(wǎng)絡(luò)傳輸帶來了巨大沖擊，現(xiàn)有的編碼技術(shù)已經(jīng)難以適應(yīng)。因此具有更好壓縮率的編碼技術(shù)的提出勢在必行。為解決這一問題，JCT-VC (Joint Collaborative Team on Video Coding)工作組制定了具有更高的壓縮效率的新一代視頻壓縮標(biāo)準(zhǔn)HEVC (High Efficiency Video Coding)。與現(xiàn)有編碼標(biāo)準(zhǔn)
H.264/AVC相比，在重建圖像客觀質(zhì)量相同的情況下，HEVC的編碼碼率可以節(jié)省50%左右。
[0003]HEVC標(biāo)準(zhǔn)提供了更好的壓縮效率，但其代價是必須在更多的編碼參數(shù)中進(jìn)行優(yōu)化選擇，才能充分發(fā)揮HEVC的壓縮效率。這使得基于HEVC標(biāo)準(zhǔn)的編碼器可能因編碼復(fù)雜度的大幅提高而阻礙其實際應(yīng)用與推廣。
[0004]另一方面，雖然HEVC與H.264/AVC相比可以節(jié)省50%左右的碼率，但高清視頻圖像的數(shù)據(jù)量仍是普通視頻的2倍以上，且視頻的數(shù)據(jù)量是隨著圖像分辨率的提高而增加的。然而，根據(jù)人眼視覺感知特性，當(dāng)圖像質(zhì)量或分辨率達(dá)到增加到一定程度時，人眼能接收的視覺信息會逐漸趨于飽和。
[0005]對此，從編碼復(fù)雜度與率失真性能優(yōu)化的角度設(shè)計一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，可以最大限度降低HEVC編碼的復(fù)雜度；提高HEVC編碼的率失真性能，從而滿足實用化需求。同時，此框架可以結(jié)合人眼視覺感知特性，在相同編碼條件下進(jìn)一步優(yōu)化高清視頻的主觀質(zhì)量。因此，相關(guān)研究有著廣闊的應(yīng)用前景和巨大的經(jīng)濟(jì)價值。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問題是提供一種編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的基于HEVC標(biāo)準(zhǔn)的視頻編碼框架。
[0007]本發(fā)明采用的技術(shù)方案如下:
[0008]A.建立內(nèi)容自適應(yīng)的編碼復(fù)雜度、編碼失真度和編碼碼率的估計模型，及編碼復(fù)雜度代價模型和編碼率失真代價模型。
[0009]B.利用步驟A的估計模型，對當(dāng)前視頻幀中每個編碼樹單元(CTU)，進(jìn)行編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的空時域預(yù)測；
[0010]C.利用步驟A的估計模型，對步驟B中編碼樹單元(CTU)的預(yù)測殘差，進(jìn)行編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的變換與量化；
[0011]D.利用步驟A的估計模型，以最小化編碼率失真代價為準(zhǔn)則，從步驟B和C的編碼結(jié)果中選擇當(dāng)前CTU的最佳編碼結(jié)果；
[0012]E.對步驟D的最佳編碼結(jié)果，進(jìn)行解碼重建和熵編碼輸出；[0013]F.根據(jù)步驟B和C的編碼結(jié)果，更新步驟A的估計模型。
[0014]所述步驟A的具體方法為:根據(jù)當(dāng)前編碼圖像的空時域特征及編碼參數(shù)，建立內(nèi)容自適應(yīng)的編碼復(fù)雜度T估計模型、編碼失真度D估計模型和編碼碼率R估計模型。并根據(jù)編碼復(fù)雜度-編碼失真度建立編碼復(fù)雜度代價模型Jmt (D, T);根據(jù)編碼失真度-編碼碼率建立編碼率失真代價模型Jdm(D，R)。其中，編碼參數(shù)包括:預(yù)測單元(PU)尺寸、變化單元(TU)尺寸、幀內(nèi)/幀間預(yù)測模式、參考幀數(shù)、運(yùn)動搜索范圍、量化參數(shù)；編碼失真估計模型既可采用常見的MSE、SAD等失真度量模型，也可采用基于人眼視覺感知特性的失真估計模型，如恰可感知失真模型(JND)，結(jié)構(gòu)相似模型(SSIM)等。
[0015]所述步驟B的具體步驟為:1)根據(jù)編碼配置參數(shù)，得到當(dāng)前CTU允許的四叉樹編碼單元(CU)劃分層次和空時域預(yù)測模式；2)采用模型定量計算的方法，以最小化編碼復(fù)雜度代價為準(zhǔn)則，計算當(dāng)前CTU不同CU劃分條件下的候選空時域預(yù)測模式；其中，對于幀間非Skip預(yù)測，計算其運(yùn)動搜索的參考幀數(shù)和搜索范圍；3)按照遍歷擇優(yōu)選擇的方法，以最小化編碼率失真代價為準(zhǔn)則，遍歷步驟2)的候選空時域預(yù)測模式，得到當(dāng)前CTU不同CU劃分條件下的最佳空時域預(yù)測結(jié)果。其中，空時域預(yù)測模式包括:幀內(nèi)預(yù)測模式和幀間預(yù)測模式、預(yù)測單元(PU)劃分；幀間預(yù)測包括:幀間Skip模式和幀間非Skip模式。
[0016]所述步驟C的具體步驟為:a)根據(jù)編碼配置參數(shù)，得到當(dāng)前CTU允許的變換模式；
b)采用模型定量計算的方法，以最小化編碼復(fù)雜度代價準(zhǔn)則，計算當(dāng)前CTU不同CU劃分條件下的候選變換模式；并以最小化編碼率失真代價為準(zhǔn)，計算候選變換模式的量化參數(shù)；
c)按照遍歷擇優(yōu)選擇的方法，以最小化編碼率失真代價為準(zhǔn)，遍歷步驟b)的候選變換模式，得到當(dāng)前CTU不同CU劃分條件下的最佳變換量化結(jié)果；其中，變換模式包括:正弦變換和余弦變換、變換單元(TU)劃分；變換模式選擇和參數(shù)計算時，是基于步驟3)中各CU劃分條件下的最佳空時域預(yù)測圖像。
[0017]所述步驟2)的具體方法為:分別計算每個編碼單元(CU)在不同預(yù)測模式條件下的編碼復(fù)雜度代價Jmt(D, T)，選擇編碼復(fù)雜度代價小于K.T)的預(yù)測模式為當(dāng)前
CU的候選模式。其中，K為大于I的經(jīng)驗閾值；)為候選模式中的最小編碼復(fù)雜
度代價。對于幀間非Skip預(yù)測，根據(jù)最小化編碼復(fù)雜度代價Jmt(D, T)，計算運(yùn)動搜索的參考幀數(shù)和搜索范圍。
[0018]所述步驟b)的具體方法為:分別計算每個編碼單元(CU)在不同變換模式條件下的編碼復(fù)雜度代價Jdw (D, T)，選擇編碼復(fù)雜度代價小于K.J'2 Φ，T)的變換測模式為當(dāng)
前⑶的候選模式。其中，K為大于I的經(jīng)驗閾值；C (Ζλ)為候選模式中的最小編碼復(fù)
雜度代價。根據(jù)最小化編碼率失真代價Jdm (D，R)，計算候選變換模式的量化參數(shù)。
[0019]所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，采用編碼復(fù)雜度代價模型和編碼率失真代價模型，可以提供基于圖像內(nèi)容和人眼視覺感知特性的編碼復(fù)雜度/率失真性能的聯(lián)合優(yōu)化，從而達(dá)到更好的視頻編碼性能。
[0020]所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，在遍歷擇優(yōu)選擇之前，采用模型定量計算候選編碼模式、運(yùn)動搜索參數(shù)和量化參數(shù)，既避免了大量復(fù)雜的遍歷擇優(yōu)過程又提高了編碼的率失真性能。
[0021]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:采用基于模型的編碼模式選擇和編碼參數(shù)定量計算既可以避免大量復(fù)雜的遍歷擇優(yōu)過程又可以提高視頻編碼的率失真性能；編碼失真計算可選擇與人眼視覺感知一致性好的度量模型，在相同編碼條件下，改善視頻圖像的主觀質(zhì)量。同時本發(fā)明方法可兼容現(xiàn)有提高HEVC視頻編碼性能的研究成果，并在其基礎(chǔ)上進(jìn)一步改善視頻編碼的性能與效率，實現(xiàn)更為高效的HEVC視頻編碼策略。
【專利附圖】

【附圖說明】:
[0022]圖1為本發(fā)明的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架。
【具體實施方式】
[0023]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0024]本說明書公開的任一特征，除非特別敘述，均可被其他等效或者具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。
[0025]如圖1所示，一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，具體方法為:
[0026]A.建立內(nèi)容自適應(yīng)的編碼復(fù)雜度、編碼失真度和編碼碼率的估計模型，及編碼復(fù)雜度代價模型和編碼率失真代價模型。
[0027]B.利用步驟A的估計模型，對當(dāng)前視頻幀中每個編碼樹單元(CTU)，進(jìn)行編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的空時域預(yù)測；`
[0028]C.利用步驟A的估計模型，對步驟B中編碼樹單元(CTU)的預(yù)測殘差，進(jìn)行編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的變換與量化；
[0029]D.利用步驟A的估計模型，以最小化編碼率失真代價為準(zhǔn)則，從步驟B和C的編碼結(jié)果中選擇當(dāng)前CTU的最佳編碼結(jié)果；
[0030]E.對步驟D的最佳編碼結(jié)果，進(jìn)行解碼重建和熵編碼輸出；
[0031]F.根據(jù)步驟B和C的編碼結(jié)果，更新步驟A的估計模型。
[0032]所述步驟A的具體方法為:根據(jù)當(dāng)前編碼圖像的空時域特征及編碼參數(shù)，建立內(nèi)容自適應(yīng)的編碼復(fù)雜度T估計模型、編碼失真度D估計模型和編碼碼率R估計模型。并根據(jù)編碼復(fù)雜度-編碼失真度建立編碼復(fù)雜度代價模型Jmt (D, T);根據(jù)編碼失真度-編碼碼率建立編碼率失真代價模型Jdm (D，R)。
[0033]本實施例中，根據(jù)當(dāng)前編碼圖像的空時域相關(guān)性，綜合考慮I3U和TU的尺寸、幀內(nèi)/幀間編碼模式及編碼參數(shù)，建立基于圖像內(nèi)容的編碼復(fù)雜度T的估計模型:
[0034]a.空時域預(yù)測階段的計算復(fù)雜度模式為:
[0035]Tpu — Σ σlntra ' ^Intra (mIntra ? ^PU ) +Σ ^Inter.^lnter (Phnter，^PU，,
mIntramInter
[0036]其中，Tpu表示給定PU的計算復(fù)雜度，計算復(fù)雜度以單個像素點(diǎn)進(jìn)行一次預(yù)測失真計算為基本單位。mIntM和mIntOT表示給定編碼配置時的所有可能的幀內(nèi)預(yù)測模式集和幀間預(yù)測模式集；spu是給定的面積；ref，ms分別表示幀內(nèi)預(yù)測的參考幀個數(shù)和運(yùn)動搜索范圍疋Inta和Flnte分別表示給定PU、模式和編碼參數(shù)的條件下，幀內(nèi)和幀間的計算復(fù)雜度，其值是定值可直接測量；σ Intra和σ Inte是基于空時域相關(guān)性的經(jīng)驗修正值，分別用于表示幀內(nèi)和幀間預(yù)測快速算法對編碼復(fù)雜度的影響。注，Tctu或Tai的計算復(fù)雜度是累加其所有的計算復(fù)雜度
[0037]
【權(quán)利要求】
1.一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，包括如下步驟: A.建立內(nèi)容自適應(yīng)的編碼復(fù)雜度、編碼失真度和編碼碼率的估計模型，以及編碼復(fù)雜度代價模型和編碼率失真代價模型； B.利用步驟A的估計模型，對當(dāng)前視頻幀中每個編碼樹單元CTU，進(jìn)行編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的空時域預(yù)測； C.利用步驟A的估計模型，對步驟B中編碼樹單元的預(yù)測殘差，進(jìn)行編碼復(fù)雜度與率失真性能聯(lián)合優(yōu)化的變換與量化； D.利用步驟A的估計模型，以最小化編碼率失真代價為準(zhǔn)則，從步驟B和C的編碼結(jié)果中選擇當(dāng)前CTU的最佳編碼結(jié)果； E.對步驟D的最佳編碼結(jié)果，進(jìn)行解碼重建和熵編碼輸出； F.根據(jù)步驟B和C的編碼結(jié)果，更新步驟A的估計模型。
2.根據(jù)權(quán)利要求1所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，所述步驟A的具體方法為:根據(jù)當(dāng)前編碼圖像的空時域特征及編碼參數(shù)，建立內(nèi)容自適應(yīng)的編碼復(fù)雜度T估計模型、編碼失真度D估計模型和編碼碼率R估計模型；并根據(jù)編碼復(fù)雜度-編碼失真度建立編碼復(fù)雜度代價模型Jmt (D, T);根據(jù)編碼失真度-編碼碼率建立編碼率失真代價模型Jmr(D，R);其中，編碼參數(shù)包括:預(yù)測單元PU尺寸、變化單元TU尺寸、幀內(nèi)/幀間預(yù)測模式、參考幀數(shù)、運(yùn)動搜索范圍、量化參數(shù)。
3.根據(jù)權(quán)利要求2所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于:編碼失真度估計模型既可采用常見的M SE、SAD等失真度量模型，也可采用基于人眼視覺感知特性的失真估計模型，如恰可感知失真模型JND，結(jié)構(gòu)相似模型SSIM。
4.根據(jù)權(quán)利要求2或3所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于:采用編碼復(fù)雜度代價模型和編碼率失真代價模型，可以提供基于圖像內(nèi)容和人眼視覺感知特性的編碼復(fù)雜度/率失真性能的聯(lián)合優(yōu)化，從而達(dá)到更好的視頻編碼性能。
5.根據(jù)權(quán)利要求1所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，所述步驟B的具體方法為:1)根據(jù)編碼配置參數(shù)，得到當(dāng)前CTU允許的四叉樹編碼單元CU劃分層次和空時域預(yù)測模式；2)采用模型定量計算的方法，以最小化編碼復(fù)雜度代價為準(zhǔn)則，計算當(dāng)前CTU不同⑶劃分條件下的候選空時域預(yù)測模式；其中，對于幀間非Skip預(yù)測，計算其運(yùn)動搜索的參考幀數(shù)和搜索范圍；3)按照遍歷擇優(yōu)選擇的方法，以最小化編碼率失真代價為準(zhǔn)則，遍歷步驟2)的候選空時域預(yù)測模式，得到當(dāng)前CTU不同CU劃分條件下的最佳空時域預(yù)測結(jié)果。
6.根據(jù)權(quán)利要求5所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于:空時域預(yù)測模式包括:幀內(nèi)預(yù)測模式和幀間預(yù)測模式、預(yù)測單元PU劃分；幀間預(yù)測包括:幀間Skip模式和幀間非Skip模式。
7.根據(jù)權(quán)利要求5所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，所述步驟2)的具體方法為:分別計算每個編碼單元CU在不同預(yù)測模式條件下的編碼復(fù)雜度代價Jmt(D, T)，選擇編碼復(fù)雜度代價小于/c.J=.(D，；T)的預(yù)測模式為當(dāng)前⑶的候選模式；其中，K為大于I的經(jīng)驗閾值；J'；2 (DJ)為候選模式中的最小編碼復(fù)雜度代價；對于幀間非Skip預(yù)測，根據(jù)最小化編碼復(fù)雜度代價Jmt (D，T)，計算其運(yùn)動搜索的參考幀數(shù)和搜索范圍。
8.根據(jù)權(quán)利要求1所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，所述步驟C的具體方法為:a)根據(jù)編碼配置參數(shù)，得到當(dāng)前CTU允許的變換模式；b)采用模型定量計算的方法，以最小化編碼復(fù)雜度代價準(zhǔn)則，計算當(dāng)前CTU不同CU劃分條件下的候選變換模式；并以最小化編碼率失真代價為準(zhǔn)，計算候選變換模式的量化參數(shù)；C)按照遍歷擇優(yōu)選擇的方法，以最小化編碼率失真代價為準(zhǔn)，遍歷步驟b)的候選變換模式，得到當(dāng)前CTU不同CU劃分條件下的最佳變換量化結(jié)果。
9.根據(jù)權(quán)利要求8所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，所述步驟C的特征在于:變換模式包括:正弦變換和余弦變換、變換單元(TU)劃分；變換模式選擇和參數(shù)計算時，是基于步驟3)中各CU劃分條件下的最佳空時域預(yù)測圖像。
10.根據(jù)權(quán)利要求8所述的一種基于HEVC標(biāo)準(zhǔn)的視頻編碼框架，其特征在于，所述步驟b)的具體方法為:分別計算每個編碼單元CU在不同變換模式條件下的編碼復(fù)雜度代價Jmt (D, T)，選擇編碼復(fù)雜度代價小于
【文檔編號】H04N19/103GK103888762SQ201410062559
【公開日】2014年6月25日 申請日期:2014年2月24日 優(yōu)先權(quán)日:2014年2月24日
【發(fā)明者】彭強(qiáng), 張蕾, 劉翔凱, 閆川, 任健鵬 申請人:西南交通大學(xué)