用于對視頻進(jìn)行解碼的方法
【專利摘要】公開了一種用于對視頻進(jìn)行解碼的方法，所述方法包括：將當(dāng)前畫面劃分為至少一個最大編碼單元；通過基于與最大編碼單元的區(qū)域被劃分的次數(shù)成比例地加深的深度對至少一個劃分區(qū)域進(jìn)行編碼，來確定用于輸出根據(jù)所述至少一個劃分區(qū)域的最終編碼結(jié)果的編碼深度，其中，通過根據(jù)深度對最大編碼單元的區(qū)域進(jìn)行劃分來獲得所述至少一個劃分區(qū)域；根據(jù)所述至少一個最大編碼單元，輸出構(gòu)成根據(jù)所述至少一個劃分區(qū)域的最終編碼結(jié)果的圖像數(shù)據(jù)，以及關(guān)于編碼深度和預(yù)測模式的編碼信息。
【專利說明】用于對視頻進(jìn)行解碼的方法
[0001] 本申請是向中國知識產(chǎn)權(quán)局提交的申請日為2010年8月13日、申請?zhí)枮?201080036192. 1、發(fā)明名稱為"用于對視頻進(jìn)行編碼的方法和設(shè)備W及用于對視頻進(jìn)行解 碼的方法和設(shè)備"的申請的分案申請。

【技術(shù)領(lǐng)域】
[0002] 示例性實(shí)施例設(shè)及對視頻進(jìn)行編碼和解碼。

【背景技術(shù)】
[0003] 隨著用于再現(xiàn)和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件的開發(fā)和提供，對用于對 高分辨率或高質(zhì)量視頻內(nèi)容進(jìn)行有效地編碼或解碼的視頻編解碼器的需求正在增加。在傳 統(tǒng)的視頻編解碼器中，基于具有預(yù)定大小的宏塊根據(jù)有限的編碼方法對視頻進(jìn)行編碼。


【發(fā)明內(nèi)容】

[0004] 技術(shù)問題
[0005] 示例性實(shí)施例提供了基于各種大小的分層編碼單元對圖像進(jìn)行的編碼和解碼。
[0006] 技術(shù)方案
[0007] 根據(jù)示例性實(shí)施例的一方面，提供了一種對視頻進(jìn)行編碼的方法，所述方法包括： 將當(dāng)前畫面劃分為至少一個最大編碼單元；基于與每個最大編碼單元的區(qū)域被劃分的次數(shù) 成比例地加深的深度，通過對至少一個劃分區(qū)域進(jìn)行編碼來確定用于輸出根據(jù)所述至少一 個劃分區(qū)域的最終編碼結(jié)果的編碼深度，其中，通過根據(jù)深度對所述至少一個最大編碼單 元中的每一個的區(qū)域進(jìn)行劃分來獲得所述至少一個劃分區(qū)域；根據(jù)每個最大編碼單元，輸 出構(gòu)成根據(jù)所述至少一個劃分區(qū)域的最終編碼結(jié)果的圖像數(shù)據(jù)，W及關(guān)于編碼深度和預(yù)測 模式的編碼信息。
[000引有益效果
[0009] 當(dāng)圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量時，可通過使用編碼單元的大小和編碼模 式，有效地解碼并恢復(fù)圖像數(shù)據(jù)，其中，通過使用從編碼器接收的關(guān)于最佳編碼模式的信 息，根據(jù)圖像數(shù)據(jù)的特性自適應(yīng)地確定所述編碼單元的大小和所述編碼模式。

【專利附圖】

【附圖說明】
[0010] 通過參照附圖詳細(xì)地描述本發(fā)明的示例性實(shí)施例，示例性實(shí)施例的W上和其它特 征將變得更清楚，其中：
[0011] 圖1是根據(jù)示例性實(shí)施例的用于對視頻進(jìn)行編碼的設(shè)備的框圖；
[0012] 圖2是根據(jù)示例性實(shí)施例的用于對視頻進(jìn)行解碼的設(shè)備的框圖；
[0013] 圖3是用于描述根據(jù)示例性實(shí)施例的編碼單元的概念的示圖；
[0014] 圖4是根據(jù)示例性實(shí)施例的基于編碼單元的圖像編碼器的框圖；
[0015] 圖5是根據(jù)示例性實(shí)施例的基于編碼單元的圖像解碼器的框圖；
[0016] 圖6是示出根據(jù)示例性實(shí)施例的根據(jù)深度的更深編碼單元w及分區(qū)（partition) 的示圖；
[0017] 圖7是用于描述根據(jù)示例性實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖；
[0018] 圖8是用于描述根據(jù)示例性實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息的 示圖；
[0019] 圖9是根據(jù)示例性實(shí)施例的根據(jù)深度的更深編碼單元的示圖；
[0020] 圖10至圖12是用于描述根據(jù)示例性實(shí)施例的編碼單元、預(yù)測單元和變換單元之 間的關(guān)系的示圖；
[0021] 圖13是用于根據(jù)表1的編碼模式信息描述編碼單元、預(yù)測單元或分區(qū)，和變換單 元之間的關(guān)系的示圖；
[0022] 圖14是示出根據(jù)示例性實(shí)施例對視頻進(jìn)行編碼的方法的流程圖；
[0023] 圖15是示出根據(jù)示例性實(shí)施例對視頻進(jìn)行解碼的方法的流程圖。
[0024] 最佳實(shí)施方式
[0025] 根據(jù)示例性實(shí)施例的一方面，提供了一種對視頻進(jìn)行編碼的方法，所述方法包括： 將當(dāng)前畫面劃分為至少一個最大編碼單元；通過基于與每個最大編碼單元的區(qū)域被劃分的 次數(shù)成比例地加深的深度對至少一個劃分區(qū)域進(jìn)行編碼來確定用于輸出根據(jù)所述至少一 個劃分區(qū)域的最終編碼結(jié)果的編碼深度，其中，通過根據(jù)深度對所述至少一個最大編碼單 元中的每一個的區(qū)域進(jìn)行劃分來獲得所述至少一個劃分區(qū)域；根據(jù)每個最大編碼單元，輸 出構(gòu)成根據(jù)所述至少一個劃分區(qū)域的最終編碼結(jié)果的圖像數(shù)據(jù)，W及關(guān)于編碼深度和預(yù)測 模式的編碼信息。
[0026] 編碼單元可由最大大小和深度來表征。
[0027] 深度指示編碼單元被分層劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的更深編碼 單元可從最大編碼單元被劃分W獲得最小編碼單元。深度從更高深度被加深到更低深度。 隨著深度加深，最大編碼單元被劃分的次數(shù)增加，最大編碼單元被劃分的可能的總次數(shù)相 應(yīng)于最大深度。編碼單元的最大大小和最大深度可被預(yù)先確定。
[002引所述方法還可包括；預(yù)先確定所述至少一個最大編碼單元的最大深度和最大大 小，最大深度指示所述至少一個最大編碼單元的高和寬被分層劃分的總次數(shù)。
[0029] 可針對所述至少一個最大編碼單元中的每一個，基于根據(jù)至少一個深度的更深編 碼單元對圖像數(shù)據(jù)進(jìn)行編碼，隨著深度加深，編碼單元可從每個最大編碼單元被分層劃分。
[0030] 確定編碼深度的步驟可包括：根據(jù)針對每個最大編碼單元的根據(jù)深度的更深編碼 單元，根據(jù)與當(dāng)前深度相應(yīng)的編碼單元W及通過對與當(dāng)前深度相應(yīng)的編碼單元的高和寬中 的至少一個進(jìn)行劃分而獲得的分區(qū)，執(zhí)行預(yù)測編碼。
[0031] 確定編碼深度的步驟可包括；根據(jù)針對最大編碼單元的根據(jù)深度的更深編碼單 元，對具有比與當(dāng)前深度相應(yīng)的編碼單元的高和寬更小的高或?qū)挼臄?shù)據(jù)單元執(zhí)行變換。
[0032] 確定編碼深度的步驟還可包括；通過比較根據(jù)每個最大編碼單元的多個深度進(jìn)行 編碼的結(jié)果，確定具有最小編碼誤差的編碼深度，并且確定W下項(xiàng)中的至少一個；每個與編 碼深度相應(yīng)的編碼單元中執(zhí)行預(yù)測編碼的數(shù)據(jù)單元的分區(qū)類型和預(yù)測模式、與編碼深度相 應(yīng)的編碼單元中執(zhí)行變換的數(shù)據(jù)單元的大小。
[0033] 可根據(jù)與編碼深度相應(yīng)的編碼單元獨(dú)立地確定預(yù)測模式，預(yù)測模式包括帖內(nèi)模 式、帖間模式和跳過模式中的至少一個。
[0034] 關(guān)于編碼模式的信息可包括W下項(xiàng)中的至少一個；針對每個最大編碼單元的編 碼深度、關(guān)于根據(jù)與編碼深度相應(yīng)的編碼單元的執(zhí)行預(yù)測編碼的數(shù)據(jù)單元的分區(qū)類型的信 息、關(guān)于根據(jù)與編碼深度相應(yīng)的編碼單元的分區(qū)的預(yù)測模式的信息、W及關(guān)于根據(jù)與編碼 深度相應(yīng)的編碼單元的執(zhí)行變換的數(shù)據(jù)單元的大小的信息。
[0035] 所述方法還可包括；對劃分信息進(jìn)行編碼，劃分信息指示是否根據(jù)每個最大編碼 單元中的多個深度對更低深度而不是當(dāng)前深度的編碼單元執(zhí)行編碼。所述方法還可包括： 如果基于當(dāng)前深度的劃分信息，對更低深度的編碼單元執(zhí)行編碼，則對通過對與當(dāng)前深度 相應(yīng)的編碼單元進(jìn)行劃分而獲得的每個部分編碼單元重復(fù)執(zhí)行編碼。
[0036] 最大編碼單元的深度可W是最高深度，構(gòu)成根據(jù)深度的劃分區(qū)域的根據(jù)深度的更 深編碼單元可W是通過對更高深度的編碼單元的高和寬劃分兩次而獲得的編碼單元。與當(dāng) 前深度相應(yīng)的分區(qū)可W是通過對與當(dāng)前深度相應(yīng)的數(shù)據(jù)單元的高和寬中的至少一個劃分 兩次而獲得的數(shù)據(jù)單元。
[0037] 可通過使用基于拉格朗日乘子的率失真優(yōu)化方法來測量編碼誤差。
[003引可根據(jù)通過對與當(dāng)前深度相應(yīng)的編碼單元劃分兩次或?qū)εc當(dāng)前深度相應(yīng)的編碼 單元的高和寬中的至少一個劃分兩次而獲得的數(shù)據(jù)單元來執(zhí)行帖內(nèi)模式下的預(yù)測編碼和 帖間模式下的預(yù)測編碼。
[0039] 根據(jù)示例性實(shí)施例的另一方面，提供了一種對視頻進(jìn)行解碼的方法，所述方法包 括；接收并解析編碼視頻的比特流；從比特流提取分配給至少一個最大編碼單元的當(dāng)前畫 面的圖像數(shù)據(jù)W及關(guān)于根據(jù)所述至少一個最大編碼單元的編碼深度和編碼模式的信息；基 于關(guān)于針對每個最大編碼單元的編碼深度和編碼模式的編碼信息，對所述至少一個最大編 碼單元中的每一個中的圖像數(shù)據(jù)進(jìn)行解碼，其中，深度與每個最大編碼單元的區(qū)域被劃分 的次數(shù)成比例地加深，通過在對當(dāng)前畫面進(jìn)行編碼的同時對每個最大編碼單元的至少一個 劃分區(qū)域進(jìn)行編碼，根據(jù)所述至少一個劃分區(qū)域輸出最終編碼結(jié)果的深度被確定為針對每 個最大編碼單元的至少一個編碼深度，其中，通過根據(jù)深度對每個最大編碼單元的區(qū)域進(jìn) 行劃分來獲得所述至少一個劃分區(qū)域。
[0040] 所述方法還可包括；從比特流提取關(guān)于每個最大編碼單元的最大深度的信息和關(guān) 于每個最大編碼單元的最大大小的信息，最大深度指示每個最大編碼單元的高和寬被分層 劃分的總次數(shù)。
[0041] 解碼的步驟可包括；基于提取的關(guān)于每個最大編碼單元的編碼模式的信息中的關(guān) 于編碼深度的信息W及關(guān)于用于執(zhí)行預(yù)測解碼的數(shù)據(jù)單元的分區(qū)類型和預(yù)測模式的信息， 對每個最大編碼單元的與編碼深度相應(yīng)的編碼單元執(zhí)行預(yù)測編碼。
[0042] 解碼的步驟可包括；基于關(guān)于每個最大編碼單元的編碼深度和用于執(zhí)行反變換 的數(shù)據(jù)單元的大小的信息，針對最大編碼單元對每個與編碼深度相應(yīng)的編碼單元執(zhí)行反變 換。
[0043] 所述方法還可包括；從比特流提取劃分信息，劃分信息指示是否根據(jù)每個最大編 碼單元的多個深度對與更低深度而不是當(dāng)前深度相應(yīng)的編碼單元執(zhí)行解碼。
[0044] 根據(jù)示例性實(shí)施例的另一方面，提供了一種用于對視頻進(jìn)行編碼的設(shè)備，所述設(shè) 備包括；最大編碼單元劃分器，用于將當(dāng)前畫面劃分為至少一個最大編碼單元；編碼單元 確定器，用于通過基于與每個最大編碼單元的區(qū)域被劃分的次數(shù)成比例地加深的深度，對 至少一個劃分區(qū)域進(jìn)行編碼來確定用于輸出根據(jù)所述至少一個劃分的區(qū)域的最終編碼結(jié) 果的編碼深度，其中，通過根據(jù)深度對所述至少一個最大編碼單元中的每一個的區(qū)域進(jìn)行 劃分來獲得所述至少一個劃分區(qū)域；輸出單元，根據(jù)每個最大編碼單元，用于輸出構(gòu)成根據(jù) 所述至少一個劃分區(qū)域的最終編碼結(jié)果的圖像數(shù)據(jù)，W及關(guān)于編碼深度和預(yù)測模式的編碼 信息。
[0045] 根據(jù)示例性實(shí)施例的另一方面，提供了一種用于對視頻進(jìn)行解碼的設(shè)備，所述設(shè) 備包括；接收器，用于接收并解析編碼視頻的比特流；圖像數(shù)據(jù)和編碼信息提取器，用于從 比特流提取被分配給至少一個最大編碼單元的當(dāng)前畫面的圖像數(shù)據(jù)W及關(guān)于根據(jù)所述至 少一個最大編碼單元的編碼深度和編碼模式的信息；解碼器，用于基于關(guān)于針對所述至少 一個最大編碼單元中的每一個的編碼深度和編碼模式的信息，對每個最大編碼單元中的圖 像數(shù)據(jù)進(jìn)行解碼，其中，深度與每個最大編碼單元的區(qū)域被劃分的次數(shù)成比例地加深，通過 在對當(dāng)前畫面進(jìn)行編碼的同時對每個最大編碼單元的至少一個劃分區(qū)域進(jìn)行編碼，根據(jù)所 述至少一個劃分區(qū)域輸出最終編碼結(jié)果的深度被確定為針對每個最大編碼單元的至少一 個編碼深度，其中，通過根據(jù)深度對每個最大編碼單元的區(qū)域進(jìn)行劃分來獲得所述至少一 個劃分區(qū)域。
[0046] 根據(jù)示例性實(shí)施例的另一方面，提供了一種計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)可 讀記錄介質(zhì)記錄有用于執(zhí)行對視頻進(jìn)行編碼的方法的程序。
[0047] 根據(jù)示例性實(shí)施例的另一方面，提供了一種計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)可 讀記錄介質(zhì)記錄有用于執(zhí)行對視頻進(jìn)行解碼的方法的程序。

【具體實(shí)施方式】
[0048] W下，將參照附圖更充分地描述示例性實(shí)施例，其中，示例性實(shí)施例在附圖中示 出。在示例性實(shí)施例中，"單元"可表示取決于其上下文的大小的單位，或可不表示取決于其 上下文的大小的單位。
[0049] W下，"編碼單元"是根據(jù)示例性實(shí)施例的編碼數(shù)據(jù)單元（encoding data unit) W 及被編碼的數(shù)據(jù)單元（encoded data unit),其中，圖像數(shù)據(jù)在編碼器側(cè)按照所述編碼數(shù)據(jù) 單元被編碼，被編碼的圖像數(shù)據(jù)在解碼器側(cè)按照被編碼的數(shù)據(jù)單元被解碼。此外，"編碼深 度（coded depth)"指示編碼單元被編碼的深度。
[0050] W下，"圖像"可表示視頻的靜止圖像或運(yùn)動圖像（即，視頻本身）。
[0化1] 圖1是根據(jù)示例性實(shí)施例的視頻編碼設(shè)備100的框圖。
[0化2] 視頻編碼設(shè)備100包括最大編碼單元劃分器110、編碼單元確定器120和輸出單元 130。
[0化3] 最大編碼單元劃分器110可基于針對圖像的當(dāng)前畫面的最大編碼單元對當(dāng)前 畫面進(jìn)行劃分。如果當(dāng)前畫面大于最大編碼單元，則當(dāng)前畫面的圖像數(shù)據(jù)可被劃分為至 少一個最大編碼單元。根據(jù)示例性實(shí)施例的最大編碼單元可W是具有32X32、64X64、 128X128、256X256等大小的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬和高為2的平方的方 形。圖像數(shù)據(jù)可根據(jù)所述至少一個最大編碼單元被輸出到編碼單元確定器120。
[0化4] 根據(jù)示例性實(shí)施例的編碼單元可由最大大小和深度來表征。深度表示編碼單元從 最大編碼單元被空間劃分的次數(shù)。因此，隨著深度加深或增加，根據(jù)深度的更深編碼單元可 從最大編碼單元被劃分為最小編碼單元。最大編碼單元的深度是最高深度，最小編碼單元 的深度是最低深度。由于與每個深度相應(yīng)的編碼單元的大小隨著最大編碼單元的深度加深 而減小，因此，與更高深度相應(yīng)的編碼單元可包括多個與更低深度相應(yīng)的編碼單元。
[0化5] 如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大大小被劃分為最大編碼單 元，所述最大編碼單元中的每一個可包括根據(jù)深度被劃分的更深編碼單元。由于根據(jù)示例 性實(shí)施例的最大編碼單元根據(jù)深度被劃分，因此包括在最大編碼單元中的空間域的圖像數(shù) 據(jù)可根據(jù)深度被分層劃分。
[0化6] 可預(yù)先確定編碼單元的最大深度和最大大小，所述最大深度和最大大小限定最大 編碼單元的高和寬被分層劃分的總次數(shù)。
[0化7] 編碼單元確定器120對通過根據(jù)深度劃分最大編碼單元的區(qū)域而獲得的至少一 個劃分區(qū)域進(jìn)行編碼，并確定用于輸出根據(jù)所述至少一個劃分區(qū)域的最終編碼的圖像數(shù)據(jù) 的深度。換句話說，編碼單元確定器120通過根據(jù)當(dāng)前畫面的最大編碼單元W根據(jù)深度的 更深編碼單元對圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深度。因 此，最終輸出與確定的編碼深度相應(yīng)的編碼單元的編碼圖像數(shù)據(jù)。此外，與編碼深度相應(yīng)的 編碼單元可被視為被編碼的編碼單元。
[0化引確定的編碼深度和根據(jù)確定的編碼深度的編碼圖像數(shù)據(jù)被輸出到輸出單元130。
[0059] 基于與等于或低于最大深度的至少一個深度相應(yīng)的更深編碼單元對最大編碼單 元中的圖像數(shù)據(jù)進(jìn)行編碼，并基于更深編碼單元中的每一個來比較對圖像數(shù)據(jù)進(jìn)行編碼的 結(jié)果。在比較更深編碼單元的編碼誤差之后，可選擇具有最小編碼誤差的深度?？蔀槊總€ 最大編碼單元選擇至少一個編碼深度。
[0060] 隨著編碼單元根據(jù)深度被分層劃分，并隨著編碼單元的數(shù)量增加，最大編碼單元 的大小被劃分。此外，即使在一個最大編碼單元中多個編碼單元相應(yīng)于相同深度，也通過分 別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與相同深度相應(yīng)的編碼單元中 的每一個劃分至更低的深度。因此，即使當(dāng)圖像數(shù)據(jù)被包括在一個最大編碼單元中時，圖像 數(shù)據(jù)也根據(jù)深度被劃分到多個區(qū)域，在一個最大編碼單元中編碼誤差可根據(jù)區(qū)域而不同， 因此，編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，在一個最大編碼單元中可確定一 個或多個編碼深度，并可根據(jù)至少一個編碼深度的編碼單元來劃分最大編碼單元的圖像數(shù) 據(jù)。
[0061] 因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu)的編碼單 元。根據(jù)示例性實(shí)施例的"具有樹結(jié)構(gòu)的編碼單元"包括最大編碼單元中所包括的所有更 深編碼單元中與被確定為編碼深度的深度相應(yīng)的編碼單元。在最大編碼單元的相同區(qū)域 中，編碼深度的編碼單元可根據(jù)深度被分層地確定，在不同的區(qū)域中，編碼深度的編碼單元 可被獨(dú)立地確定。類似地，當(dāng)前區(qū)域中的編碼深度可獨(dú)立于另一區(qū)域中的編碼深度被確定。
[0062] 根據(jù)示例性實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數(shù) 相關(guān)的索引。根據(jù)示例性實(shí)施例的第一最大深度可表示從最大編碼單元到最小編碼單元的 總劃分次數(shù)。根據(jù)示例性實(shí)施例的第二最大深度可表示從最大編碼單元到最小編碼單元的 深度級的總數(shù)。例如，當(dāng)最大編碼單元的深度為0時，最大編碼單元被劃分一次的編碼單元 的深度可被設(shè)置為1，最大編碼單元被劃分兩次的編碼單元的深度可被設(shè)置為2。該里，如 果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度〇、1、2、3和4的5個 深度級，因此，第一最大深度可被設(shè)置為4,第二最大深度可被設(shè)置為5。
[0063] 可根據(jù)最大編碼單元執(zhí)行預(yù)測編碼和變換。還可根據(jù)最大編碼單元，基于根據(jù)等 于或小于最大深度的深度的更深編碼單元來執(zhí)行預(yù)測編碼和變換?？筛鶕?jù)正交變換或整數(shù) 變換的方法來執(zhí)行變換。
[0064] 由于每當(dāng)最大編碼單元根據(jù)深度被劃分時更深編碼單元的數(shù)量增加，因此可針對 隨著深度加深而產(chǎn)生的所有更深編碼單元執(zhí)行包括預(yù)測編碼和變換的編碼。為了便于描 述，現(xiàn)在將基于最大編碼單元中的當(dāng)前深度的編碼單元來描述預(yù)測編碼和變換。
[0065] 視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的大小或 形狀。為了對圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測編碼、變換和滴編碼的操作，此時，可針對所 有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。
[0066] 例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還可 選擇與編碼單元不同的數(shù)據(jù)單元W對編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測編碼。
[0067] 為了在最大編碼單元中執(zhí)行預(yù)測編碼，可基于與編碼深度相應(yīng)的編碼單元（即， 基于不再被劃分為與更低深度相應(yīng)的編碼單元的編碼單元）執(zhí)行預(yù)測編碼。W下，不再被 劃分并且變成用于預(yù)測編碼的基本單元的編碼單元現(xiàn)在將被稱為"預(yù)測單元"。通過對預(yù)測 單元進(jìn)行劃分所獲得的分區(qū)（partition)可包括通過對預(yù)測單元的高和寬中的至少一個 進(jìn)行劃分所獲得的預(yù)測單元或數(shù)據(jù)單元。
[0068] 例如，當(dāng)2NX2N(其中，N是正整數(shù)）的編碼單元不再被劃分，并且變成2NX2N的 預(yù)測單元時，分區(qū)的大小可W是2NX2N、2NXN、NX2N或NXN。分區(qū)類型的示例包括通過 對預(yù)測單元的高或?qū)掃M(jìn)行對稱劃分所獲得的對稱分區(qū)、通過對預(yù)測單元的高或?qū)掃M(jìn)行不對 稱劃分（諸如1 :n或n: 1)所獲得的分區(qū)、通過對預(yù)測單元進(jìn)行幾何劃分所獲得的分區(qū)W及 具有任意形狀的分區(qū)。
[0069] 預(yù)測單元的預(yù)測模式可W是帖內(nèi)模式、帖間模式和跳過模式中的至少一個。例如， 可針對2NX2N、2NXN、NX2N或NXN的分區(qū)執(zhí)行帖內(nèi)模式或帖間模式。此外，可僅針對 2NX2N的分區(qū)執(zhí)行跳過模式。針對編碼單元中的一個預(yù)測單元獨(dú)立地執(zhí)行編碼，從而選擇 具有最小編碼誤差的預(yù)測模式。
[0070] 視頻編碼設(shè)備100還可不僅基于用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還基于不 同于編碼單元的數(shù)據(jù)單元，對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。
[0071] 為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的大小的數(shù)據(jù)單元 來執(zhí)行變換。例如，用于變換的數(shù)據(jù)單元可包括用于帖內(nèi)模式的數(shù)據(jù)單元和用于帖間模式 的數(shù)據(jù)單元。
[0072] 用作變換的基礎(chǔ)的數(shù)據(jù)單元將被稱為"變換單元"。還可在變換單元中設(shè)置指示通 過對編碼單元的高和寬進(jìn)行劃分W達(dá)到變換單元的劃分次數(shù)的變換深度。例如，在2NX2N 的當(dāng)前編碼單元中，當(dāng)變換單元的大小也為2NX 2N時，變換深度可W是0,在當(dāng)前編碼單元 的高和寬中的每一個被劃分為兩等份，總共被劃分為4'1個變換單元，從而變換單元的大 小是NXN時，變換深度可W是1，在當(dāng)前編碼單元的高和寬中的每一個被劃分為四等份，總 共被劃分為4'2個變換單元，從而變換單元的大小是N/2XN/2時，變換深度可W是2。例如， 可根據(jù)分層樹結(jié)構(gòu)來設(shè)置變換單元，其中，根據(jù)變換深度的分層特性，更高變換深度的變換 單元被劃分為四個更低變換深度的變換單元。
[0073] 與編碼單元類似，編碼單元中的變換單元可被遞歸地劃分為大小更小的區(qū)域，從 而可區(qū)域?yàn)閱挝华?dú)立地確定變換單元。因此，可根據(jù)具有根據(jù)變換深度的樹結(jié)構(gòu)的變 換，來劃分編碼單元中的殘差數(shù)據(jù)。
[0074] 根據(jù)與編碼深度相應(yīng)的編碼單元的編碼信息不僅需要關(guān)于編碼深度的信息，還需 要關(guān)于與預(yù)測編碼和變換有關(guān)的信息的信息。因此，編碼單元確定器120不僅確定具有最 小編碼誤差的編碼深度，還確定預(yù)測單元中的分區(qū)類型、根據(jù)預(yù)測單元的預(yù)測模式和用于 變換的變換單元的大小。
[0075] 稍后將參照圖3至圖12詳細(xì)描述根據(jù)示例性實(shí)施例的最大編碼單元中的根據(jù)樹 結(jié)構(gòu)的編碼單元W及確定分區(qū)的方法。
[0076] 編碼單元確定器120可通過使用基于拉格朗日乘子的率失真優(yōu)化來測量根據(jù)深 度的更深編碼單元的編碼誤差。
[0077] 輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)W及關(guān)于根據(jù)編碼深度 的編碼模式的信息，其中，所述圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個編碼 深度被編碼。
[007引通過對圖像的殘差數(shù)據(jù)進(jìn)行編碼來獲得編碼圖像數(shù)據(jù)。
[0079] 關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼深度的信息、關(guān)于預(yù)測單元 中的分區(qū)類型、預(yù)測模式和變換單元的大小的信息。
[0080] 可通過使用根據(jù)深度的劃分信息來定義關(guān)于編碼深度的信息，關(guān)于編碼深度的信 息指示是否針對更低深度而不是當(dāng)前深度的編碼單元來執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng) 前深度是編碼深度，則當(dāng)前編碼單元中的圖像數(shù)據(jù)被編碼并被輸出，因此劃分信息可被定 義為不將當(dāng)前編碼單元劃分至更低深度。可選地，如果當(dāng)前編碼單元的當(dāng)前深度不是編碼 深度，則針對更低深度的編碼單元來執(zhí)行編碼，因此劃分信息可被定義為劃分當(dāng)前編碼單 元W獲得更低深度的編碼單元。
[0081] 如果當(dāng)前深度不是編碼深度，則針對被劃分為更低深度的編碼單元的編碼單元來 執(zhí)行編碼。由于在當(dāng)前深度的一個編碼單元中存在更低深度的至少一個編碼單元，因此針 對更低深度的每個編碼單元重復(fù)執(zhí)行編碼，因此，可針對具有相同深度的編碼單元遞歸地 執(zhí)行編碼。
[0082] 由于針對一個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對編碼深度的編 碼單元確定關(guān)于至少一個編碼模式的信息，因此，可針對一個最大編碼單元確定關(guān)于至少 一個編碼模式的信息。此外，由于圖像數(shù)據(jù)根據(jù)深度被分層劃分，因此最大編碼單元的圖像 數(shù)據(jù)的編碼深度可根據(jù)位置而不同，因此，可針對圖像數(shù)據(jù)設(shè)置關(guān)于編碼深度和編碼模式 的f目息。
[0083] 因此，輸出單元130可將關(guān)于相應(yīng)的編碼深度和編碼模式的編碼信息分配給包括 在最大編碼單元中的編碼單元、預(yù)測單元和最小單元中的至少一個。
[0084] 根據(jù)示例性實(shí)施例的最小單元是通過將構(gòu)成最低深度的最小編碼單元劃分4次 所獲得的矩形數(shù)據(jù)單元?？蛇x地，最小單元可W是最大矩形數(shù)據(jù)單元，所述最大矩形數(shù)據(jù)單 元可包括在最大編碼單元中所包括的所有編碼單元、預(yù)測單元、分區(qū)單元和變換單元中。
[0085] 例如，通過輸出單元130輸出的編碼信息可被分為根據(jù)編碼單元的編碼信息和根 據(jù)預(yù)測單元的編碼信息。根據(jù)編碼單元的編碼信息可包括關(guān)于預(yù)測模式的信息和關(guān)于分區(qū) 的大小的信息。根據(jù)預(yù)測單元的編碼信息可包括關(guān)于帖間模式的估計(jì)方向的信息、關(guān)于帖 間模式的參考圖像索引的信息、關(guān)于運(yùn)動矢量的信息、關(guān)于帖內(nèi)模式的色度分量的信息和 關(guān)于帖內(nèi)模式的插值方法的信息。此外，關(guān)于根據(jù)畫面、像條或GOP定義的編碼單元的最大 大小的信息W及關(guān)于最大深度的信息可被插入比特流的頭或SPS(序列參數(shù)集）中。
[0086] 在視頻編碼設(shè)備100中，更深編碼單元可W是通過將作為上一層的更高深度的編 碼單元的高或?qū)拕澐謨纱嗡@得的編碼單元。換句話說，在當(dāng)前深度的編碼單元的大小為 2NX 2N時，更低深度的編碼單元的大小可W是NXN。此外，具有2NX 2N的大小的當(dāng)前深度 的編碼單元可包括最多4個更低深度的編碼單元。
[0087] 因此，視頻編碼設(shè)備100可通過基于考慮當(dāng)前畫面的特征所確定的最大編碼單元 的大小和最大深度，針對每個最大編碼單元確定具有最佳形狀和最佳大小的編碼單元，來 形成具有樹結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預(yù)測模式和變換中的任意一個來 針對每個最大編碼單元執(zhí)行編碼，因此可考慮各種圖像大小的編碼單元的特征來確定最佳 編碼模式。
[008引因此，如果W現(xiàn)有技術(shù)的宏塊對具有高分辨率或大數(shù)據(jù)量的圖像進(jìn)行編碼，則每 個畫面的宏塊的數(shù)量過度增加。因此，針對每個宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因此難W 發(fā)送壓縮信息并且數(shù)據(jù)壓縮效率降低。然而，通過使用視頻編碼設(shè)備100,在考慮圖像的大 小的同時增加編碼單元的最大大小時，由于在考慮圖像的特征的同時調(diào)整編碼單元，因此 可提高圖像壓縮效率。
[0089] 圖2是根據(jù)示例性實(shí)施例的視頻解碼設(shè)備200的框圖。
[0090] 視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220 W及圖像數(shù)據(jù) 解碼器230。用于視頻解碼設(shè)備200的各種操作的各種術(shù)語（諸如編碼單元、深度、預(yù)測單 元、變換單元和關(guān)于各種編碼模式的信息）的定義與參照圖1和視頻編碼設(shè)備100描述的 那些術(shù)語相同。
[0091] 接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解 析的比特流提取每個編碼單元的編碼圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼 器230,其中，所述編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提 取器220可從關(guān)于當(dāng)前畫面的頭或者SPS中提取關(guān)于當(dāng)前畫面的編碼單元的最大大小的信 息。
[0092] 此外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取關(guān)于具有根據(jù)每個最 大編碼單元的樹結(jié)構(gòu)的編碼單元的編碼深度和編碼模式的信息。提取的關(guān)于編碼深度和編 碼模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說，比特流中的圖像數(shù)據(jù)被劃分為最大 編碼單元，從而圖像數(shù)據(jù)解碼器230針對每個最大編碼單元對圖像數(shù)據(jù)進(jìn)行解碼。
[0093] 可針對關(guān)于與編碼深度相應(yīng)的至少一個編碼單元的信息，來設(shè)置關(guān)于根據(jù)最大編 碼單元的編碼深度和編碼模式的信息，并且關(guān)于編碼模式的信息可包括關(guān)于與編碼深度相 應(yīng)的相應(yīng)編碼單元的分區(qū)類型的信息、關(guān)于預(yù)測模式和變換單元的大小的信息。此外，根據(jù) 深度的劃分信息可被提取作為關(guān)于編碼深度的信息。
[0094] 由圖像數(shù)據(jù)和編碼信息提取器220提取的關(guān)于根據(jù)每個最大編碼單元的編碼深 度和編碼模式的信息是關(guān)于該樣的編碼深度和編碼模式的信息：所述編碼深度和編碼模式 被確定用于當(dāng)編碼器（諸如視頻編碼設(shè)備100)根據(jù)每個最大編碼單元針對根據(jù)深度的每 個更深編碼單元重復(fù)執(zhí)行編碼時產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過根據(jù) 產(chǎn)生最小編碼誤差的編碼深度和編碼模式對圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)圖像。
[0095] 由于關(guān)于編碼深度和編碼模式的編碼信息可被分配給相應(yīng)編碼單元、預(yù)測單元和 最小單元中的預(yù)定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可提取關(guān)于根據(jù)預(yù)定數(shù) 據(jù)單元的編碼深度和編碼模式的信息。被分配有關(guān)于編碼深度和編碼模式的相同信息的預(yù) 定數(shù)據(jù)單元可被推斷是包括在相同最大編碼單元中的數(shù)據(jù)單元。
[0096] 圖像數(shù)據(jù)解碼器230通過基于關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的 信息對每個最大編碼單元中的圖像數(shù)據(jù)進(jìn)行解碼，來恢復(fù)當(dāng)前畫面。換句話說，圖像數(shù)據(jù)解 碼器230可基于提取的關(guān)于包括在每個最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元中的每 個編碼單元的分區(qū)類型、預(yù)測模式和變換單元的信息，來對編碼圖像數(shù)據(jù)進(jìn)行解碼。解碼處 理可包括預(yù)測（所述預(yù)測包括帖內(nèi)預(yù)測和運(yùn)動補(bǔ)償）和反變換?？筛鶕?jù)反正交變換或反整 數(shù)變換的方法來執(zhí)行反變換。
[0097] 圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的預(yù)測單元的分區(qū)類 型和預(yù)測模式的信息，根據(jù)每個編碼單元的分區(qū)和預(yù)測模式執(zhí)行帖內(nèi)預(yù)測或運(yùn)動補(bǔ)償。
[009引此外，圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的變換單元的大 小的信息，根據(jù)編碼單元中的每個變換單元執(zhí)行反變換，從而根據(jù)最大編碼單元執(zhí)行反變 換。
[0099] 圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當(dāng)前最大編碼單元 的至少一個編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度 是編碼深度。因此，圖像數(shù)據(jù)解碼器230可通過使用關(guān)于與編碼深度相應(yīng)的每個編碼單元 的預(yù)測單元的分區(qū)類型、預(yù)測模式和變換單元的大小的信息，對當(dāng)前最大編碼單元中與每 個編碼深度相應(yīng)的至少一個編碼單元的編碼數(shù)據(jù)進(jìn)行解碼，并輸出當(dāng)前最大編碼單元的圖 像數(shù)據(jù)。
[0100] 換句話說，可通過觀察為編碼單元、預(yù)測單元和最小單元中的預(yù)定數(shù)據(jù)單元分配 的編碼信息集來收集包含編碼信息（所述編碼信息包括相同的劃分信息）的數(shù)據(jù)單元，收 集的數(shù)據(jù)單元可被視為是將由圖像數(shù)據(jù)解碼器230 W相同的編碼模式進(jìn)行解碼的一個數(shù) 據(jù)單元。
[0101] 視頻解碼設(shè)備200可獲得關(guān)于當(dāng)針對每個最大編碼單元遞歸執(zhí)行編碼時產(chǎn)生最 小編碼誤差的至少一個編碼單元的信息，并可使用所述信息來對當(dāng)前畫面進(jìn)行解碼。換 句話說，可對每個最大編碼單元中被確定為最佳編碼單元的具有樹結(jié)構(gòu)的編碼單元進(jìn)行解 碼。此外，可考慮分辨率和圖像數(shù)據(jù)量來確定編碼單元的最大大小。
[0102] 因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過使用編碼單元的大小和 編碼模式來對圖像數(shù)據(jù)進(jìn)行有效地解碼和恢復(fù)，其中，通過使用從編碼器接收的關(guān)于最佳 編碼模式的信息，根據(jù)圖像數(shù)據(jù)的特征來自適應(yīng)地確定所述編碼單元的大小和所述編碼模 式。
[0103] 現(xiàn)在將參照圖3至圖13描述根據(jù)示例性實(shí)施例的確定具有樹結(jié)構(gòu)的編碼單元、預(yù) 測單元和變換單元的方法。
[0104] 圖3是用于描述根據(jù)示例性實(shí)施例的編碼單元的概念的示圖。
[01化]編碼單元的大小可被表示為寬X高，并且可w是64X64、32X32、16X16和8X8。 64X64的編碼單元可被劃分為64X64、64X32、32X64或32X32的分區(qū)，32X32的編碼 單元可被劃分為32X32、32X16、16X32或16X16的分區(qū)，16X16的編碼單元可被劃分為 16X16、16X8、8X16或8X8的分區(qū)，8X8的編碼單元可被劃分為8X8、8X4、4X8或4X4 的分區(qū)。
[0106] 在視頻數(shù)據(jù)310中，分辨率為1920X1080,編碼單元的最大大小為64,并且最大深 度為2。在視頻數(shù)據(jù)320中，分辨率為1920X1080,編碼單元的最大大小為64,并且最大深 度為3。在視頻數(shù)據(jù)330中，分辨率為352X288,編碼單元的最大大小為16,并且最大深度 為1。圖3中示出的最大深度指示從最大編碼單元到最小解碼單元的劃分總次數(shù)。
[0107] 如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大大小可W較大，從而不僅提高了編 碼效率，還精確地反映出圖像的特征。因此，具有比視頻數(shù)據(jù)330更高的分辨率的視頻數(shù)據(jù) 310和320的編碼單元的最大大小可W是64。
[0108] 由于第一視頻數(shù)據(jù)310的最大深度是2,因此，由于通過對最大編碼單元劃分兩 次，深度被加深到兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括具有64的長軸大小的最 大編碼單元W及具有32和16的長軸大小的編碼單元。同時，由于視頻數(shù)據(jù)330的最大深 度是1，因此，由于通過對最大編碼單元劃分一次，深度被加深到一層，因此視頻數(shù)據(jù)330的 編碼單元335可包括具有16的長軸大小的最大編碼單元W及具有8的長軸大小的編碼單 J L 〇
[0109] 由于視頻數(shù)據(jù)320的最大深度為3,因此，由于通過對最大編碼單元劃分=次，深 度被加深到3層，因此視頻數(shù)據(jù)320的編碼單元325可包括具有64的長軸大小的最大編碼 單元W及具有32、16和8的長軸大小的編碼單元。隨著深度加深，可精確地表示詳細(xì)信息。
[0110] 圖4是根據(jù)示例性實(shí)施例的基于編碼單元的圖像編碼器400的框圖。
[0111] 圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操作W對圖像數(shù) 據(jù)進(jìn)行編碼。換句話說，帖內(nèi)預(yù)測器410在帖內(nèi)模式下對當(dāng)前帖405中的編碼單元執(zhí)行帖內(nèi) 預(yù)測，運(yùn)動估計(jì)器420和運(yùn)動補(bǔ)償器425在帖間模式下通過使用當(dāng)前帖405和參考帖495， 對當(dāng)前帖405中的編碼單元執(zhí)行帖間估計(jì)和運(yùn)動補(bǔ)償。
[0112] 從帖內(nèi)預(yù)測器410、運(yùn)動估計(jì)器420和運(yùn)動補(bǔ)償器425輸出的數(shù)據(jù)通過變換器430 和量化器440被輸出為量化的變換系數(shù)。量化的變換系數(shù)通過反量化器460和反變換器 470被恢復(fù)為空間域中的數(shù)據(jù)，恢復(fù)的空間域中的數(shù)據(jù)在通過去塊單元480和環(huán)路濾波單 元490進(jìn)行后處理之后被輸出為參考帖495。量化的變換系數(shù)可通過滴編碼器450被輸出 為比特流455。
[0113] 為了將圖像編碼器400應(yīng)用在視頻編碼設(shè)備100中，圖像編碼器400的所有元件 (即，帖內(nèi)預(yù)測器410、運(yùn)動估計(jì)器420、運(yùn)動補(bǔ)償器425、變換器430、量化器440、滴編碼器 450、反量化器460、反變換器470、去塊單元480和環(huán)路濾波單元490)在考慮每個最大編碼 單元的最大深度的同時，基于具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元來執(zhí)行操作。
[0114] 具體地，帖內(nèi)預(yù)測器410、運(yùn)動估計(jì)器420和運(yùn)動補(bǔ)償器425在考慮當(dāng)前最大編碼 單元的最大大小和最大深度的同時，確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū) 和預(yù)測模式，變換器430確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元中的變換單元的大 小。
[0115] 圖5是根據(jù)示例性實(shí)施例的基于編碼單元的圖像解碼器500的框圖。
[0116] 解析器510從比特流505中解析將被解碼的編碼圖像數(shù)據(jù)W及解碼所需要的關(guān)于 編碼的信息。編碼圖像數(shù)據(jù)通過滴解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，反 量化的數(shù)據(jù)通過反變換器540被恢復(fù)為空間域中的圖像數(shù)據(jù)。
[0117] 帖內(nèi)預(yù)測器550針對空間域中的圖像數(shù)據(jù)，在帖內(nèi)模式下對編碼單元執(zhí)行帖內(nèi)預(yù) 巧。，運(yùn)動補(bǔ)償器560通過使用參考帖585在帖間模式下對編碼單元執(zhí)行運(yùn)動補(bǔ)償。
[0118] 經(jīng)過帖內(nèi)預(yù)測器550和運(yùn)動補(bǔ)償器560的空間域中的圖像數(shù)據(jù)可在通過去塊單元 570和環(huán)路濾波單元580進(jìn)行后處理之后被輸出為恢復(fù)的帖595。此外，通過去塊單元570 和環(huán)路濾波單元580進(jìn)行后處理的圖像數(shù)據(jù)可被輸出為參考帖585。
[0119] 為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對圖像數(shù)據(jù)進(jìn)行解碼，圖像解 碼器500可執(zhí)行在解析器510之后執(zhí)行的操作。
[0120] 為了將圖像解碼器500應(yīng)用在視頻解碼設(shè)備200中，圖像解碼器500的所有元件 (即，解析器510、滴解碼器520、反量化器530、反變換器540、帖內(nèi)預(yù)測器550、運(yùn)動補(bǔ)償器 560、去塊單元570和環(huán)路濾波單元580)針對每個最大編碼單元基于具有樹結(jié)構(gòu)的編碼單 元執(zhí)行操作。
[0121] 具體地，帖內(nèi)預(yù)測器550和運(yùn)動補(bǔ)償器560基于具有樹結(jié)構(gòu)的每個編碼單元的分 區(qū)和預(yù)測模式執(zhí)行操作，反變換器540基于每個編碼單元的變換單元的大小執(zhí)行操作。
[0122] 圖6是示出根據(jù)示例性實(shí)施例的根據(jù)深度的更深編碼單元W及分區(qū)的示圖。
[0123] 視頻編碼設(shè)備100和視頻解碼設(shè)備200使用分層編碼單元W考慮圖像的特征?？?根據(jù)圖像的特征自適應(yīng)地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不 同地設(shè)置編碼單元的最大高度、最大寬度和最大深度?？筛鶕?jù)編碼單元的預(yù)定最大大小來 確定根據(jù)深度的更深編碼單元的大小。
[0124] 在根據(jù)示例性實(shí)施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大 寬度均為64,并且最大深度為4。由于深度沿分層結(jié)構(gòu)600的縱軸加深，因此更深編碼單元 的高度和寬度均被劃分。此外，沿分層結(jié)構(gòu)600的橫軸示出作為用于每個更深編碼單元的 預(yù)測編碼的基礎(chǔ)的預(yù)測單元和分區(qū)。
[01巧]換句話說，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度為0,大小 (即，高度乘寬度）為64X64。深度沿縱軸加深，從而存在大小為32X32且深度為1的編 碼單元620、大小為16X 16且深度為2的編碼單元630、大小為8X8且深度為3的編碼單 元640 W及大小為4 X 4且深度為4的編碼單元650。大小為4 X 4且深度為4的編碼單元 650是最小編碼單兀。
[01%] 編碼單元的預(yù)測單元和分區(qū)根據(jù)每個深度沿橫軸排列。換句話說，如果大小為 64X64且深度為0的編碼單元610是預(yù)測單元，則預(yù)測單元可被劃分為包括在編碼單元 610中的分區(qū)，即，大小為64X64的分區(qū)610、大小為64X32的分區(qū)612、大小為32X64的 分區(qū)614或大小為32X32的分區(qū)616。
[0127] 類似地，大小為32 X 32且深度為1的編碼單元620的預(yù)測單元可被劃分為包括在 編碼單元620中的分區(qū)，即，大小為32X32的分區(qū)620、大小為32X16的分區(qū)622、大小為 16X32的分區(qū)624和大小為16X16的分區(qū)626。
[0128] 類似地，大小為16 X 16且深度為2的編碼單元630的預(yù)測單元可被劃分為包括在 編碼單元630中的分區(qū)，即，包括在編碼單元630中的大小為16X16的分區(qū)、大小為16X8 的分區(qū)632、大小為8X 16的分區(qū)634和大小為8X8的分區(qū)636。
[0129] 類似地，大小為8X8且深度為3的編碼單元640的預(yù)測單元可被劃分為包括在編 碼單元640中的分區(qū)，即，包括在編碼單元640中的大小為8X8的分區(qū)、大小為8X4的分 區(qū)642、大小為4X8的分區(qū)634和大小為4X4的分區(qū)646。
[0130] 大小為4X4且深度為4的編碼單元650是最小編碼單元和最低深度的編碼單元。 編碼單元650的預(yù)測單元僅被分配給大小為4X4的分區(qū)。
[0131] 為了確定構(gòu)成最大編碼單元610的編碼單元的至少一個編碼深度，視頻編碼設(shè)備 100的編碼單元確定器120針對包括在最大編碼單元610中的與每個深度相應(yīng)的編碼單元 執(zhí)行編碼。
[0132] 隨著深度加深，W相同范圍中和相同大小包括數(shù)據(jù)的根據(jù)深度的更深編碼單元的 數(shù)量增加。例如，覆蓋包括在一個與深度1相應(yīng)的編碼單元中的數(shù)據(jù)需要四個與深度2相 應(yīng)的編碼單元。因此，為了比較相同數(shù)據(jù)的根據(jù)深度的編碼結(jié)果，與深度1相應(yīng)的編碼單元 和四個與深度2相應(yīng)的編碼單元均被編碼。
[0133] 為了針對深度中的當(dāng)前深度執(zhí)行編碼，可通過沿分層結(jié)構(gòu)600的橫軸，針對與當(dāng) 前深度相應(yīng)的編碼單元中的每個預(yù)測單元執(zhí)行編碼，來針對當(dāng)前深度選擇最小編碼誤差。 可選地，可通過隨著深度沿分層結(jié)構(gòu)600的縱軸加深針對每個深度執(zhí)行編碼來比較根據(jù)深 度的最小編碼誤差，從而捜索最小編碼誤差。編碼單元610中具有最小編碼誤差的深度和 分區(qū)可被選為編碼單元610的編碼深度和分區(qū)類型。
[0134] 圖7是用于描述根據(jù)示例性實(shí)施例的編碼單元710和變換單元720之間的關(guān)系的 示圖。
[01巧]視頻編碼設(shè)備100或200針對每個最大編碼單元，根據(jù)具有小于或等于最大編碼 單元的大小的編碼單元來對圖像進(jìn)行編碼或解碼?？苫诓淮笥谙鄳?yīng)編碼單元的數(shù)據(jù)單元 來選擇編碼期間用于變換的變換單元的大小。
[0136] 例如，在視頻編碼設(shè)備100或200中，如果編碼單元710的大小是64X64,則可通 過使用大小為32X32的變換單元720來執(zhí)行變換。
[0137] 此外，可通過對小于64X 64的大小為32 X 32、16 X 16、8 X 8和4X 4的變換單元中 的每一個執(zhí)行變換，來對大小為64X64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，隨后可選擇具有 最小編碼誤差的變換單元。
[0138] 圖8是用于描述根據(jù)示例性實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息的 示圖。
[0139] 視頻編碼設(shè)備100的輸出單元130可對用于與編碼深度相應(yīng)的每個編碼單元的關(guān) 于分區(qū)類型的信息800、關(guān)于預(yù)測模式的信息810和關(guān)于變換單元的大小的信息820進(jìn)行編 碼和發(fā)送，作為關(guān)于編碼模式的信息。
[0140] 信息800指示關(guān)于通過對當(dāng)前編碼單元的預(yù)測單元進(jìn)行劃分而獲得的分區(qū)的形 狀的信息，其中，所述分區(qū)是用于對當(dāng)前編碼單元進(jìn)行預(yù)測編碼的數(shù)據(jù)單元。例如，大小為 2NX2N的當(dāng)前編碼單元CU_0可被劃分為大小為2NX2N的分區(qū)802、大小為2NXN的分區(qū) 804、大小為NX 2N的分區(qū)806和大小為NXN的分區(qū)808中的任意一個。該里，關(guān)于分區(qū)類 型的信息800被設(shè)置為指示大小為2NXN的分區(qū)804、大小為NX 2N的分區(qū)806和大小為 NXN的分區(qū)808之一。
[0141] 信息810指示每個分區(qū)的預(yù)測模式。例如，信息810可指示對由信息800指示的 分區(qū)執(zhí)行的預(yù)測編碼的模式，即，帖內(nèi)模式812、帖間模式814或跳過模式816。
[0142] 信息820指示當(dāng)針對當(dāng)前編碼單元執(zhí)行變換時所基于的變換單元。例如，變換單 元可W是第一帖內(nèi)變換單元822、第二帖內(nèi)變換單元824、第一帖間變換單元826或第二帖 內(nèi)變換單元828。
[0143] 視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個更深編碼單元提 取和使用用于解碼的信息800、810和820。
[0144] 圖9是根據(jù)示例性實(shí)施例的根據(jù)深度的更深編碼單元的示圖。
[0145] 劃分信息可被用于指示深度的改變。劃分信息指示當(dāng)前深度的編碼單元是否被劃 分為更低深度的編碼單元。
[0146] 用于對深度為0且大小為2N_0X2N_0的編碼單元900進(jìn)行預(yù)測編碼的預(yù)測單元 910可包括W下分區(qū)類型的分區(qū)；大小為2N_0X2N_0的分區(qū)類型912、大小為2N_0XN_0的 分區(qū)類型914、大小為N_0X2N_0的分區(qū)類型916、大小為N_0XN_0的分區(qū)類型918。圖9 僅示出通過對預(yù)測單元910進(jìn)行對稱劃分而獲得的分區(qū)類型910至918,但分區(qū)類型不限于 此，預(yù)測單元910的分區(qū)可包括不對稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。
[0147] 根據(jù)每個分區(qū)類型，對一個大小為2N_0X2N_0的分區(qū)、兩個大小為2N_0XN_0的 分區(qū)、兩個大小為N_0X2N_0的分區(qū)和四個大小為N_0XN_0的分區(qū)重復(fù)執(zhí)行預(yù)測編碼。可 對大小為2N_0 X 2N_0、N_0 X 2N_0、2N_0 XN_0和N_0 XN_0的分區(qū)執(zhí)行帖內(nèi)模式和帖間模式 下的預(yù)測編碼?？蓛H對大小為2N_0X2N_0的分區(qū)執(zhí)行跳過模式下的預(yù)測編碼。
[0148] 比較包括分區(qū)類型912至918中的預(yù)測編碼的編碼的誤差，在分區(qū)類型中確定最 小編碼誤差。如果在分區(qū)類型912至916之一中編碼誤差最小，則預(yù)測單元910可不被劃 分到更低深度。
[0149] 如果在分區(qū)類型918中編碼誤差最小，則深度從0改變到1 W在操作920對分區(qū) 類型918進(jìn)行劃分，對深度為2且大小為N_0XN_0的編碼單元930重復(fù)執(zhí)行編碼，W捜索 最小編碼誤差。
[0150] 用于對深度為1且大小為2N_1X2N_1 ( = N_0XN_0)的編碼單元930進(jìn)行預(yù)測編 碼的預(yù)測單元940可包括W下分區(qū)類型的分區(qū)；大小為2N_1X2N_1的分區(qū)類型942、大小 為2N_1XN_1的分區(qū)類型944、大小為N_1X2N_1的分區(qū)類型946、大小為N_1XN_1的分區(qū) 類型948。
[015U 如果在分區(qū)類型948中編碼誤差最小，則深度從1改變到2 W在操作950對分區(qū) 類型948進(jìn)行劃分，對深度為2且大小為N_2XN_2的編碼單元960重復(fù)執(zhí)行編碼，W捜索 最小編碼誤差。
[0152] 當(dāng)最大深度為d時，根據(jù)每個深度的劃分操作可被執(zhí)行，直到深度變?yōu)閐-1時，并 且劃分信息可被編碼直到深度為0到d-2中的一個。換句話說，當(dāng)編碼被執(zhí)行直到在操作 970中與深度d-2相應(yīng)的編碼單元被劃分之后深度為d-1時，用于對深度為d-1且大小為 2N_(d-1) X2N_(d-1)的編碼單元980進(jìn)行預(yù)測編碼的預(yù)測單元990可包括W下分區(qū)類型的 分區(qū)；大小為2N_(d-l) X2N_(d-l)的分區(qū)類型992、大小為2N_(d-l) XN_(d-l)的分區(qū)類 型994、大小為N_(d-1) X2N_(d-l)的分區(qū)類型996、大小為N_(d-1) XN_(d-l)的分區(qū)類型 998。
[015引 可在分區(qū)類型992至998中對一個大小為2N_(d-l) X2N_(d-l)的分區(qū)、兩個大 小為2N_(d-l) XN_(d-l)的分區(qū)、兩個大小為N_(d-1) X2N_(d-l)的分區(qū)、四個大小為N_ (d-1) XN_(d-l)的分區(qū)重復(fù)執(zhí)行預(yù)測編碼，W捜索具有最小編碼誤差的分區(qū)類型。
[0154] 即使分區(qū)類型998具有最小編碼誤差，但由于最大深度為山因此深度為d-1的編 碼單元CU_(d-1)不再被劃分到更低深度，用于構(gòu)成當(dāng)前最大編碼單元900的編碼單元的編 碼深度被確定為d-1，當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_(d-1) XN_(d-l)。 此外，由于最大深度為d，并且具有最低深度d-1的最小編碼單元980不再被劃分到更低深 度，因此不設(shè)置用于最小編碼單元980的劃分信息。
[0155] 數(shù)據(jù)單元999可W是針對當(dāng)前最大編碼單元的"最小單元"。根據(jù)示例性實(shí)施例的 最小單元可W是通過對最小編碼單元980劃分4次而獲得的矩形數(shù)據(jù)單元。通過重復(fù)執(zhí)行 編碼，視頻編碼設(shè)備100可通過比較根據(jù)編碼單元900的深度的編碼誤差來選擇具有最小 編碼誤差的深度，W確定編碼深度，并將相應(yīng)的分區(qū)類型和預(yù)測模式設(shè)置為編碼深度的編 碼模式。
[0156] 該樣，在1至d的所有深度中比較根據(jù)深度的最小編碼誤差，具有最小編碼誤差的 深度可被確定為編碼深度。編碼深度、預(yù)測單元的分區(qū)類型和預(yù)測模式可作為關(guān)于編碼模 式的信息而被編碼和發(fā)送。此外，由于編碼單元從深度0被劃分到編碼深度，因此僅編碼深 度的劃分信息被設(shè)置為0,除了編碼深度之外的深度的劃分信息被設(shè)置為1。
[0157] 視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關(guān)于編碼單元 900的編碼深度和預(yù)測單元的信息，W對分區(qū)912進(jìn)行解碼。視頻解碼設(shè)備200可通過使用 根據(jù)深度的劃分信息來將劃分信息為0的深度確定為編碼深度，并使用關(guān)于相應(yīng)深度的編 碼模式的信息W進(jìn)行解碼。
[0158] 圖10至圖12是用于描述根據(jù)示例性實(shí)施例的編碼單元1010、預(yù)測單元1060和變 換單元1070之間的關(guān)系的示圖。
[0159] 編碼單元1010是最大編碼單元中與由視頻編碼設(shè)備100確定的編碼深度相應(yīng)的 具有樹結(jié)構(gòu)的編碼單元。預(yù)測單元1060是編碼單元1010中的每一個的預(yù)測單元的分區(qū)， 變換單元1070是編碼單元1010中的每一個的變換單元。
[0160] 當(dāng)編碼單元1010中的最大編碼單元的深度是0時，編碼單元1012和1054的深度 是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2,編碼單元 1020、1022、1024、 1026、1030、1032和1048的深度是3,編碼單元1040、1042、1044和1046的深度是4。
[0161] 在預(yù)測單元1060中，通過對編碼單元1010中的編碼單元進(jìn)行劃分來獲得某些編 碼單元 1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說，編碼單元 1014、1022、 1050和1054中的分區(qū)類型具有2NXN的大小，編碼單元1016U048和1052中的分區(qū)類型 具有NX 2N的大小，編碼單元1032的分區(qū)類型具有NXN的大小。編碼單元1010的預(yù)測單 元和分區(qū)小于或等于每個編碼單元。
[0162] 對小于編碼單元1052的數(shù)據(jù)單元中的變換單元1070中的編碼單元1052的圖像 數(shù)據(jù)執(zhí)行變換或反變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、 1050和1052在大小和形狀方面與預(yù)測單元1060中的編碼單元1014、1016、1022、1032、 1048U050和1052不同。換句話說，視頻編碼設(shè)備100和視頻解碼設(shè)備200可對相同編碼 單元中的數(shù)據(jù)單元分別執(zhí)行帖內(nèi)預(yù)測、運(yùn)動估計(jì)、運(yùn)動補(bǔ)償、變換和反變換。
[0163] 因此，對最大編碼單元的每個區(qū)域中具有分層結(jié)構(gòu)的編碼單元中的每一個遞歸地 執(zhí)行編碼，W確定最佳編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括 關(guān)于編碼單元的劃分信息、關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的 大小的信息。表1示出可由視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。
[0164] 表 1 [01 妨I

【權(quán)利要求】
1. 一種對視頻進(jìn)行解碼的方法，所述方法包括： 從接收到的編碼視頻的比特流提取關(guān)于編碼單元的尺寸的信息和指示當(dāng)前深度的編 碼單元是否被劃分為更低深度的編碼單元的劃分信息； 基于提取的劃分信息確定樹結(jié)構(gòu)的編碼單元，其中，樹結(jié)構(gòu)的編碼單元包括從最大編 碼單元劃分的編碼單元之中不再被劃分的編碼單元； 基于最大編碼單元中的確定的樹結(jié)構(gòu)的編碼單元，對圖像進(jìn)行解碼， 其中，所述圖像根據(jù)提取的關(guān)于編碼單元的最大尺寸的信息被劃分為多個最大編碼單 元， 根據(jù)所述劃分信息，最大編碼單元被分層劃分為多個深度的一個或更多個編碼單元， 其中，所述多個深度包括當(dāng)前深度和更低深度中的至少一個。
2. 如權(quán)利要求1所述的方法，其中，提取關(guān)于編碼單元的最大尺寸的信息和所述劃分 信息的步驟包括：從所述比特流提取關(guān)于所述圖像的編碼單元的編碼信息。
3. 如權(quán)利要求2所述的方法，其中，基于最大編碼單元中的確定的樹結(jié)構(gòu)的編碼單元 對所述圖像進(jìn)行解碼的步驟還包括： 基于提取的關(guān)于確定的樹結(jié)構(gòu)的編碼單元的編碼信息，確定用于當(dāng)前編碼單元的至少 一個預(yù)測單元的分區(qū)類型和預(yù)測模式； 基于確定的分區(qū)類型確定對當(dāng)前編碼單元的高度和寬度中的至少一個進(jìn)行劃分而成 的所述至少一個預(yù)測單元，并基于確定的預(yù)測模式對確定的預(yù)測單元執(zhí)行幀內(nèi)預(yù)測或幀間 預(yù)測。
4. 如權(quán)利要求1所述的方法，其中，提取關(guān)于編碼單元的尺寸的信息和所述劃分信息 的步驟包括：從所述比特流還提取關(guān)于指示允許最大編碼單元被分層劃分的總次數(shù)的最大 深度的信息。
【文檔編號】H04N19/96GK104486622SQ201510002762
【公開日】2015年4月1日 申請日期:2010年8月13日 優(yōu)先權(quán)日:2009年8月14日
【發(fā)明者】陳建樂, 千岷洙, 李再出, 閔正惠, 鄭海慶, 金壹求, 李相來, 李教爀 申請人:三星電子株式會社