對(duì)圖像編碼的方法和設(shè)備及對(duì)圖像解碼的方法和設(shè)備的制作方法
【專利摘要】提供了一種對(duì)圖像編碼的方法和設(shè)備及對(duì)圖像解碼的方法和設(shè)備。對(duì)圖像進(jìn)行編碼的方法，所述方法包括：將當(dāng)前畫(huà)面劃分為至少一個(gè)最大編碼單位；通過(guò)基于根據(jù)深度的較深編碼單位對(duì)所述至少一個(gè)最大編碼單位的圖像數(shù)據(jù)進(jìn)行編碼，確定所述至少一個(gè)最大編碼單位的劃分結(jié)構(gòu)和每個(gè)編碼單位的預(yù)測(cè)模式和分塊；根據(jù)每個(gè)編碼單位設(shè)置跳過(guò)信息和關(guān)于包括每個(gè)編碼單位的上級(jí)深度的編碼單位的劃分的劃分信息；對(duì)根據(jù)每個(gè)編碼單位設(shè)置的劃分信息和跳過(guò)信息進(jìn)行編碼。
【專利說(shuō)明】對(duì)圖像編碼的方法和設(shè)備及對(duì)圖像解碼的方法和設(shè)備
[0001] 本申請(qǐng)是申請(qǐng)日為2010年07月23日，申請(qǐng)?zhí)枮?201080034035. 7"，標(biāo)題為"對(duì) 圖像編碼的方法和設(shè)備及對(duì)圖像解碼的方法和設(shè)備"的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及對(duì)圖像進(jìn)行編碼和解碼。

【背景技術(shù)】
[0003] 圖像預(yù)測(cè)編碼方法的示例包括幀內(nèi)預(yù)測(cè)方法和幀間預(yù)測(cè)方法。幀內(nèi)預(yù)測(cè)方法是一 種基于單個(gè)幀中的相鄰像素的相關(guān)性的預(yù)測(cè)方法。幀間預(yù)測(cè)方法是一種經(jīng)由運(yùn)動(dòng)預(yù)測(cè)和補(bǔ) 償來(lái)預(yù)測(cè)與從相鄰幀編碼的數(shù)據(jù)相似的區(qū)域的方法。
[0004] 通常，一個(gè)塊的運(yùn)動(dòng)矢量與相鄰塊的運(yùn)動(dòng)矢量具有緊密相關(guān)性。因此，通過(guò)從相鄰 塊預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)矢量，并僅對(duì)當(dāng)前塊的運(yùn)動(dòng)矢量與預(yù)測(cè)運(yùn)動(dòng)矢量之間的差別運(yùn)動(dòng)矢量 進(jìn)行編碼，可減少在編碼期間產(chǎn)生的比特量。
[0005] 跳過(guò)模式是在宏塊的運(yùn)動(dòng)矢量與通過(guò)使用相鄰塊的運(yùn)動(dòng)矢量預(yù)測(cè)的預(yù)測(cè)運(yùn)動(dòng)矢 量相同時(shí)并且預(yù)測(cè)錯(cuò)誤足夠小時(shí)選擇的模式。當(dāng)跳過(guò)模式被選擇作為宏塊的預(yù)測(cè)模式時(shí)， 編碼器僅發(fā)送關(guān)于宏塊的跳過(guò)模式的信息，且不發(fā)送殘差數(shù)據(jù)。解碼器可通過(guò)使用從與宏 塊相鄰的塊預(yù)測(cè)的預(yù)測(cè)運(yùn)動(dòng)矢量對(duì)以跳過(guò)模式編碼的宏塊執(zhí)行運(yùn)動(dòng)補(bǔ)償來(lái)恢復(fù)所述宏塊。
[0006] 技術(shù)問(wèn)題
[0007] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種用于對(duì)圖像進(jìn)行編碼和解碼的方法和設(shè) 備，其中，所述方法和設(shè)備有效地發(fā)送關(guān)于基于不同大小的分層編碼單位而編碼的圖像的 劃分結(jié)構(gòu)的信息以及關(guān)于每個(gè)編碼單位的跳過(guò)模式的信息。
[0008] 技術(shù)方案
[0009] 本發(fā)明提供了一種用于對(duì)圖像進(jìn)行編碼和解碼的方法和設(shè)備，其中，所述方法和 設(shè)備有效地發(fā)送關(guān)于基于不同大小的分層編碼單位而編碼的圖像的劃分結(jié)構(gòu)的信息以及 關(guān)于每個(gè)編碼單位的跳過(guò)模式的信息。
[0010] 有益效果
[0011] 本發(fā)明可提供用于對(duì)圖像進(jìn)行編碼和解碼的方法和設(shè)備，其中，所述方法和設(shè)備 有效地發(fā)送關(guān)于基于不同大小的分層編碼單位而編碼的圖像的劃分結(jié)構(gòu)的信息以及關(guān)于 每個(gè)編碼單位的跳過(guò)模式的信息。

【專利附圖】

【附圖說(shuō)明】
[0012] 圖1是根據(jù)本發(fā)明的實(shí)施例的用于對(duì)圖像編碼的設(shè)備的框圖；
[0013] 圖2是根據(jù)本發(fā)明的實(shí)施例的用于對(duì)圖像解碼的設(shè)備的框圖；
[0014] 圖3是用于描述根據(jù)本發(fā)明的實(shí)施例的分層編碼單位的概念的示圖；
[0015] 圖4是根據(jù)本發(fā)明的實(shí)施例的基于編碼單位的圖像編碼器的框圖；
[0016] 圖5是根據(jù)本發(fā)明的實(shí)施例的基于編碼單位的圖像解碼器的框圖；
[0017] 圖6是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深編碼單位以及預(yù)測(cè)單位的示 圖；
[0018]圖7是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單位和變換單位之間的關(guān)系的示圖；
[0019] 圖8是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單位的編碼信息 的示圖；
[0020] 圖9是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深編碼單位的示圖；
[0021] 圖10至圖12是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單位、預(yù)測(cè)單位和頻率變換 單位之間的關(guān)系的示圖；
[0022]圖13是用于描述根據(jù)本發(fā)明的實(shí)施例的在編碼單位、預(yù)測(cè)單位或分塊與變換單 位之間的關(guān)系的示圖；
[0023]圖14是根據(jù)本發(fā)明的實(shí)施例的基于較深編碼單位而確定的最大編碼單位的劃分 結(jié)構(gòu)的示圖；
[0024] 圖15是用于描述圖14的具有深度2的編碼單位的劃分信息的示圖；
[0025] 圖16是用于描述圖14的具有深度3的編碼單位的劃分信息的示圖；
[0026] 圖17是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單位的處理順序的示圖；
[0027] 圖18是示出根據(jù)本發(fā)明的實(shí)施例的對(duì)圖像進(jìn)行編碼的方法的流程圖；
[0028] 圖19是示出根據(jù)本發(fā)明的另一實(shí)施例的對(duì)圖像進(jìn)行編碼的方法的流程圖；
[0029] 圖20是示出根據(jù)本發(fā)明的實(shí)施例的對(duì)圖像進(jìn)行解碼的方法的流程圖；
[0030]圖21是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)對(duì)圖像進(jìn)行解碼的方法，對(duì)最大解碼單 位進(jìn)行劃分的處理以及對(duì)跳躍信息進(jìn)行解碼的處理的流程圖；
[0031] 圖22是示出根據(jù)本發(fā)明的另一實(shí)施例的對(duì)圖像進(jìn)行解碼的方法的流程圖；
[0032] 圖23是示出根據(jù)本發(fā)明的另一實(shí)施例的根據(jù)對(duì)圖像進(jìn)行解碼的方法，對(duì)最大解 碼單位進(jìn)行劃分的處理以及對(duì)跳躍信息進(jìn)行解碼的處理的流程圖。
[0033] 最佳方式
[0034] 根據(jù)本發(fā)明的一方面，提供了一種對(duì)圖像進(jìn)行編碼的方法，所述方法包括：將當(dāng)前 畫(huà)面劃分為至少一個(gè)最大編碼單位；通過(guò)基于隨著深度加深而分層劃分的根據(jù)深度的較深 編碼單位對(duì)所述至少一個(gè)最大編碼單位的圖像數(shù)據(jù)進(jìn)行編碼，確定所述至少一個(gè)最大編碼 單位的劃分結(jié)構(gòu)和每個(gè)編碼單位的預(yù)測(cè)模式；根據(jù)每個(gè)編碼單位設(shè)置關(guān)于包括每個(gè)編碼單 位的上級(jí)深度的編碼單位的劃分的劃分信息；根據(jù)每個(gè)編碼單位設(shè)置表示確定的預(yù)測(cè)信息 是否是跳過(guò)模式的跳過(guò)信息；對(duì)根據(jù)每個(gè)編碼單位設(shè)置的劃分信息和跳過(guò)信息進(jìn)行編碼。
[0035] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行編碼的方法，所述方法包括：將當(dāng) 前畫(huà)面劃分為至少一個(gè)最大編碼單位；通過(guò)基于隨著深度加深而分層劃分的根據(jù)深度的較 深編碼單位對(duì)所述至少一個(gè)最大編碼單位的圖像數(shù)據(jù)進(jìn)行編碼，來(lái)確定所述至少一個(gè)最大 編碼單位的劃分結(jié)構(gòu)和每個(gè)編碼單位的預(yù)測(cè)模式；根據(jù)每個(gè)編碼單位設(shè)置表示每個(gè)編碼單 位的預(yù)測(cè)模式和包括每個(gè)編碼單位的上級(jí)深度的預(yù)測(cè)模式中的每一個(gè)是否是跳過(guò)模式的 跳過(guò)信息；根據(jù)每個(gè)編碼單位設(shè)置關(guān)于包括每個(gè)編碼單位的上級(jí)深度的編碼單位的劃分的 劃分信息；對(duì)根據(jù)每個(gè)編碼單位設(shè)置的劃分信息和跳過(guò)信息進(jìn)行編碼。
[0036] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行解碼的方法，所述方法包括：從圖 像數(shù)據(jù)提取關(guān)于包括將被解碼的當(dāng)前解碼單位的上級(jí)深度的解碼單位的劃分的劃分信息， 其中，基于隨著深度加深而分層劃分的根據(jù)深度的較深編碼單位，根據(jù)最大編碼單位對(duì)所 述圖像數(shù)據(jù)進(jìn)行編碼；從圖像數(shù)據(jù)提取表示當(dāng)前解碼單位的預(yù)測(cè)模式是否是跳過(guò)模式的跳 過(guò)信息；根據(jù)劃分信息確定包括當(dāng)前解碼單位的最大解碼單位的劃分結(jié)構(gòu)；根據(jù)跳過(guò)信息 確定當(dāng)前解碼單位的預(yù)測(cè)模式是否是跳過(guò)模式。
[0037] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行解碼的方法，所述方法包括：從圖 像數(shù)據(jù)提取表示將被解碼的當(dāng)前解碼單位的預(yù)測(cè)模式和包括當(dāng)前解碼單位的上級(jí)深度的 解碼單位的預(yù)測(cè)模式中的每一個(gè)是否是跳過(guò)模式的跳過(guò)信息，其中，基于隨著深度加深而 分層劃分的根據(jù)深度的較深編碼單位，根據(jù)最大編碼單位對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼；提取 關(guān)于包括當(dāng)前解碼單位的上級(jí)深度的解碼單位的劃分的劃分信息；根據(jù)提取的跳過(guò)信息確 定當(dāng)前解碼單位的預(yù)測(cè)模式和上級(jí)深度的解碼單位的預(yù)測(cè)模式中的每一個(gè)是否是跳過(guò)模 式；根據(jù)劃分信息確定包括當(dāng)前解碼單位的最大解碼單位的劃分結(jié)構(gòu)。
[0038] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行編碼的設(shè)備，所述設(shè)備包括：最大 編碼單位劃分器，將當(dāng)前畫(huà)面劃分為至少一個(gè)最大編碼單位；編碼深度確定器，通過(guò)基于隨 著深度加深而分層劃分的根據(jù)深度的較深編碼單位對(duì)所述至少一個(gè)最大編碼單位的圖像 數(shù)據(jù)進(jìn)行編碼，確定所述至少一個(gè)最大編碼單位的劃分結(jié)構(gòu)和每個(gè)編碼單位的預(yù)測(cè)模式； 編碼信息編碼單元，根據(jù)每個(gè)編碼單位設(shè)置關(guān)于包括每個(gè)編碼單位的上級(jí)深度的編碼單位 的劃分的劃分信息，根據(jù)每個(gè)編碼單位設(shè)置表示確定的預(yù)測(cè)信息是否是跳過(guò)模式的跳過(guò)信 息，并對(duì)設(shè)置的劃分信息和跳過(guò)信息進(jìn)行編碼。
[0039] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行編碼的設(shè)備，所述設(shè)備包括：最大 編碼單位劃分器，將當(dāng)前畫(huà)面劃分為至少一個(gè)最大編碼單位；編碼深度確定器，通過(guò)基于 隨著深度加深而分層劃分的根據(jù)深度的較深編碼單位對(duì)所述至少一個(gè)最大編碼單位的圖 像數(shù)據(jù)進(jìn)行編碼，來(lái)確定所述至少一個(gè)最大編碼單位的劃分結(jié)構(gòu)和每個(gè)編碼單位的預(yù)測(cè)模 式；編碼信息編碼單元，根據(jù)每個(gè)編碼單位設(shè)置表示每個(gè)編碼單位的預(yù)測(cè)模式和包括每個(gè) 編碼單位的上級(jí)深度的預(yù)測(cè)模式中的每一個(gè)是否是跳過(guò)模式的跳過(guò)信息；根據(jù)每個(gè)編碼單 位設(shè)置關(guān)于包括每個(gè)編碼單位的上級(jí)深度的編碼單位的劃分的劃分信息；對(duì)設(shè)置的劃分信 息和跳過(guò)彳目息進(jìn)彳丁編碼。
[0040] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行解碼的設(shè)備，所述設(shè)備包括：編碼 信息提取器，從圖像數(shù)據(jù)提取關(guān)于包括將被解碼的當(dāng)前解碼單位的上級(jí)深度的解碼單位的 劃分的劃分信息和表示當(dāng)前解碼單位的預(yù)測(cè)模式是否是跳過(guò)模式的跳過(guò)信息，其中，基于 隨著深度加深而分層劃分的根據(jù)深度的較深編碼單位，根據(jù)最大編碼單位對(duì)所述圖像數(shù)據(jù) 進(jìn)行編碼；解碼單元，根據(jù)劃分信息確定包括當(dāng)前解碼單位的最大解碼單位的劃分結(jié)構(gòu)并 根據(jù)跳過(guò)信息確定當(dāng)前解碼單位的預(yù)測(cè)模式是否是跳過(guò)模式。
[0041] 根據(jù)本發(fā)明的另一方面，提供了一種對(duì)圖像進(jìn)行解碼的設(shè)備，所述設(shè)備包括：編碼 信息提取器，從圖像數(shù)據(jù)提取表示將被解碼的當(dāng)前解碼單位的預(yù)測(cè)模式和包括當(dāng)前解碼單 位的上級(jí)深度的解碼單位的預(yù)測(cè)模式中的每一個(gè)是否是跳過(guò)模式的跳過(guò)信息和關(guān)于包括 當(dāng)前解碼單位的上級(jí)深度的解碼單位的劃分的劃分信息，其中，基于隨著深度加深而分層 劃分的根據(jù)深度的較深編碼單位，根據(jù)最大編碼單位對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼；解碼單元， 根據(jù)提取的跳過(guò)信息確定當(dāng)前解碼單位的預(yù)測(cè)模式和上級(jí)深度的解碼單位的預(yù)測(cè)模式中 的每一個(gè)是否是跳過(guò)模式，并根據(jù)劃分信息確定包括當(dāng)前解碼單位的最大解碼單位的劃分 結(jié)構(gòu)。

【具體實(shí)施方式】
[0042] 在下文中，將參照附圖更充分地描述本發(fā)明，在附圖中示出本發(fā)明的示例性實(shí)施 例。
[0043] 圖1是根據(jù)本發(fā)明的實(shí)施例的圖像編碼設(shè)備100的框圖。
[0044] 參照?qǐng)D1，根據(jù)當(dāng)前實(shí)施例的圖像編碼設(shè)備100包括最大編碼單位劃分器110、編 碼深度確定器120、圖像數(shù)據(jù)編碼單元130和編碼信息編碼單元140。
[0045] 最大編碼單位劃分器110可基于最大編碼單位對(duì)當(dāng)前畫(huà)面（picture)或當(dāng)前像條 (slice)進(jìn)行劃分。當(dāng)前畫(huà)面或當(dāng)前像條被劃分為至少一個(gè)最大編碼單位。根據(jù)本發(fā)明的 實(shí)施例的最大編碼單位可以是具有32X32、64X64、128X128、256X256等的大小的數(shù)據(jù) 單位，其中，所述數(shù)據(jù)單位的結(jié)構(gòu)是具有2的平方的寬度和長(zhǎng)度的正方形，所述寬度和長(zhǎng)度 大于8。根據(jù)至少一個(gè)最大編碼單位，圖像數(shù)據(jù)可被輸出到編碼深度確定器120。
[0046] 根據(jù)本發(fā)明的實(shí)施例的編碼單位可由最大編碼單位和深度來(lái)表現(xiàn)。最大編碼單位 表示當(dāng)前畫(huà)面的編碼單位中具有最大大小的編碼單位，所述深度表示從最大編碼單位空間 劃分編碼單位的次數(shù)。隨著深度加深，根據(jù)深度的較深編碼單位（deepercodingunit)可 從最大編碼單位被劃分為最小編碼單位。最大編碼單位的深度是最上的深度，最小編碼單 位的深度是最下的深度。由于與每個(gè)深度相應(yīng)的編碼單位的大小隨著最大編碼單位的深度 的加深而減小，因此與上級(jí)深度相應(yīng)的編碼單位可包括與下級(jí)深度相應(yīng)的多個(gè)編碼單位。
[0047] 如上所述，當(dāng)前畫(huà)面的圖像數(shù)據(jù)根據(jù)編碼單位的最大大小被劃分為最大編碼單 位，最大編碼單位的每一個(gè)可包括根據(jù)深度而劃分的較深編碼單位。由于根據(jù)本發(fā)明的實(shí) 施例的最大編碼單位根據(jù)深度被劃分，因此可根據(jù)深度對(duì)包括在最大編碼單位中的空域的 圖像數(shù)據(jù)分層地分類。
[0048] 限制最大編碼單位的高度和寬度被分層劃分的總次數(shù)的編碼單位的最大深度和 最大大小可被預(yù)先確定。這樣的最大編碼單位和最大深度可以以畫(huà)面或像條單位被設(shè)置。 換句話說(shuō)，可針對(duì)每個(gè)畫(huà)面或像條設(shè)置不同的最大編碼單位和不同的編碼深度，并且包括 在最大編碼單位中的最小編碼單位的大小可根據(jù)最大深度而被不同的設(shè)置。這樣，通過(guò)根 據(jù)畫(huà)面或像條不同地設(shè)置最大編碼單位和最大深度，可通過(guò)使用最大編碼單位對(duì)平坦區(qū)域 的圖像進(jìn)行編碼來(lái)提高編碼效率，并且可通過(guò)使用具有比最大編碼單位更小的大小的編碼 單位對(duì)具有高復(fù)雜度的圖像進(jìn)行編碼來(lái)提高圖像的壓縮效率。
[0049]編碼單位確定器120根據(jù)最大編碼單位確定深度?？苫诼适д妫≧-D)成本計(jì)算 來(lái)確定所述深度。詳細(xì)地，編碼深度確定器120對(duì)通過(guò)根據(jù)深度對(duì)最大編碼單位的區(qū)域進(jìn) 行劃分而獲得的至少一個(gè)劃分區(qū)域進(jìn)行編碼，并根據(jù)所述至少一個(gè)劃分區(qū)域來(lái)確定用于輸 出最終編碼的圖像數(shù)據(jù)的深度。換句話說(shuō)，編碼深度確定器120通過(guò)根據(jù)當(dāng)前畫(huà)面的最大 編碼單位，對(duì)根據(jù)深度的較深編碼單位中的圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼錯(cuò)誤 的深度來(lái)確定編碼深度。確定的最大深度被輸出到編碼信息編碼單元140,并且根據(jù)最大編 碼單位的圖像數(shù)據(jù)被輸出到圖像數(shù)據(jù)編碼單元130。
[0050] 基于與等于或小于最大深度的至少一個(gè)深度相應(yīng)的較深編碼單位來(lái)對(duì)最大編碼 單位中的圖像數(shù)據(jù)進(jìn)行編碼，并基于較深編碼單位中的每一個(gè)來(lái)比較對(duì)圖像數(shù)據(jù)進(jìn)行編碼 的結(jié)果。在對(duì)較深編碼單位的編碼錯(cuò)誤進(jìn)行比較之后可選擇具有最小編碼錯(cuò)誤的深度?？?針對(duì)每個(gè)最大編碼單位選擇至少一個(gè)編碼深度。
[0051] 隨著編碼單位根據(jù)深度被分層劃分并且隨著編碼單位的數(shù)量增加，最大編碼單位 的大小被劃分。另外，通過(guò)單獨(dú)測(cè)量圖像數(shù)據(jù)的編碼錯(cuò)誤，一個(gè)最大編碼單位中與相同深度 相應(yīng)的編碼單位可被劃分為下級(jí)深度的編碼單位。因此，即使圖像數(shù)據(jù)被包括在一個(gè)最大 編碼單位中，編碼錯(cuò)誤也會(huì)根據(jù)所述一個(gè)最大編碼單位中的區(qū)域而不同，因此編碼深度會(huì) 根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。換句話說(shuō)，最大編碼單位可被劃分為根據(jù)不同深度具有不 同大小的編碼單位。因此，在一個(gè)最大編碼單位中可確定一個(gè)或多個(gè)編碼深度，并且可根據(jù) 至少一個(gè)編碼深度的編碼單位來(lái)劃分最大編碼單位的圖像數(shù)據(jù)。
[0052] 因此，根據(jù)本發(fā)明的實(shí)施例的編碼單位確定器120可確定包括在最大編碼單位中 的具有樹(shù)形結(jié)構(gòu)的編碼單位。根據(jù)本發(fā)明的實(shí)施例的"具有樹(shù)形結(jié)構(gòu)的編碼單位"包括所 述最大編碼單位中所包括的所有較深編碼單位中與被確定為編碼深度的深度相應(yīng)的編碼 單位?？稍谧畲缶幋a單位的相同區(qū)域中根據(jù)深度來(lái)分層確定編碼深度的編碼單位，并且可 在不同區(qū)域中獨(dú)立確定編碼深度的編碼單位。類似地，當(dāng)前區(qū)域中的編碼深度可與另一區(qū) 域中的編碼深度被相互獨(dú)立地確定。
[0053] 根據(jù)本發(fā)明的實(shí)施例的最大深度是與從最大編碼單位到最小編碼單位的劃分次 數(shù)相關(guān)的索引。根據(jù)本發(fā)明的實(shí)施例的第一最大深度可表示從最大編碼單位到最小編碼單 位的總劃分次數(shù)。根據(jù)本發(fā)明的實(shí)施例的第二最大深度可表示從最大編碼單位到最小編碼 單位的深度級(jí)（depthlevel)的總數(shù)。例如，當(dāng)最大編碼單位的深度為0時(shí)，最大編碼單位 被劃分一次的編碼單位的深度可被設(shè)置為1，并且最大編碼單位被劃分兩次的編碼單位的 深度可被設(shè)置為2。這里，如果最小編碼單位是最大編碼單位被劃分四次的編碼單位，則存 在深度0、1、2、3和4的5個(gè)深度級(jí)，因此，第一最大深度可被設(shè)置為4,第二最大深度可被設(shè) 置為5。
[0054] 還可根據(jù)最大編碼單位，基于根據(jù)等于或小于最大深度的深度的較深編碼單位來(lái) 執(zhí)行最大編碼單位的預(yù)測(cè)編碼和頻率變換。換句話說(shuō)，圖像編碼設(shè)備100可不同地選擇用 于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單位的大小和結(jié)構(gòu)。為了對(duì)圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù) 測(cè)、頻率變換和熵編碼的操作，并且同時(shí)可針對(duì)所有操作使用相同的數(shù)據(jù)單位或者針對(duì)每 個(gè)操作使用不同的數(shù)據(jù)單位。
[0055] 例如，圖像編碼設(shè)備100可選擇與編碼單位不同的數(shù)據(jù)單位，以預(yù)測(cè)編碼單位。為 了以最大編碼單位執(zhí)行預(yù)測(cè)編碼，可基于與編碼深度相應(yīng)的編碼單位（即，基于不再被劃 分為與下級(jí)深度相應(yīng)的編碼單位的編碼單位）來(lái)執(zhí)行預(yù)測(cè)編碼。在下文中，變?yōu)橛糜陬A(yù)測(cè) 的基本單位的編碼單位現(xiàn)在將被稱為"預(yù)測(cè)單位"。通過(guò)對(duì)預(yù)測(cè)單位進(jìn)行劃分獲得的分塊 (partition)可包括通過(guò)對(duì)預(yù)測(cè)單位的高度和寬度中的至少一個(gè)進(jìn)行劃分而獲得的預(yù)測(cè)單 位或數(shù)據(jù)單位。
[0056] 例如，當(dāng)2NX2N的編碼單位（其中N是正整數(shù)）不再被劃分并變?yōu)?NX2N的預(yù) 測(cè)單位時(shí)，分塊的大小可以是2NX2N、2NXN、NX2N或NXN。分塊類型的示例可包括：通過(guò) 對(duì)預(yù)測(cè)單位的高度或?qū)挾冗M(jìn)行對(duì)稱劃分而獲得的對(duì)稱分塊、通過(guò)對(duì)預(yù)測(cè)單位的高度或?qū)挾?進(jìn)行非對(duì)稱劃分（諸如l:n或n:l)而獲得的分塊、通過(guò)對(duì)預(yù)測(cè)單位進(jìn)行幾何劃分而獲得的 分塊、以及具有任意結(jié)構(gòu)的分塊。
[0057] 預(yù)測(cè)單位的預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳過(guò)模式中的至少一個(gè)。例如， 可對(duì)2NX2N、2NXN、NX2N或NXN的分塊執(zhí)行幀內(nèi)模式或幀間模式。另外，可僅對(duì)2NX2N 的預(yù)測(cè)單位執(zhí)行跳過(guò)模式。如果編碼單位包括多個(gè)預(yù)測(cè)單位，則對(duì)編碼單位中的每個(gè)預(yù)測(cè) 單位獨(dú)立地執(zhí)行編碼，從而選擇具有最小編碼錯(cuò)誤的預(yù)測(cè)模式。
[0058] 可選擇地，圖像編碼設(shè)備100可基于具有與編碼單位不同大小的數(shù)據(jù)單位來(lái)頻率 變換圖像數(shù)據(jù)。為了頻率變換編碼單位，可基于具有小于或等于編碼單位的大小的數(shù)據(jù)單 位來(lái)執(zhí)行頻率變換。在下文中，用作頻率變換的基的數(shù)據(jù)單位現(xiàn)在將被稱為"變換單位"。 與編碼單位相似，編碼單位中的變換單位可被遞歸地劃分為較小大小的變換單位，因此，可 根據(jù)具有根據(jù)變換深度的樹(shù)形結(jié)構(gòu)的變換來(lái)對(duì)編碼單位中的殘差數(shù)據(jù)進(jìn)行劃分。
[0059] 還可在變換單位中設(shè)置根據(jù)本發(fā)明的實(shí)施例的變換深度，其中，所述變換深度指 示通過(guò)對(duì)編碼單位的高度和寬度進(jìn)行劃分以達(dá)到變換單位的劃分次數(shù)。例如，在當(dāng)前的 2NX2N的編碼單位中，當(dāng)變換單位的大小也是2NX2N時(shí)，變換深度可以是0 ;當(dāng)變換單位的 大小是NXN時(shí)，變換深度可以是1 ;當(dāng)變換單位的大小是N/2XN/2時(shí)，變換深度可以是2。 換句話說(shuō)，具有根據(jù)變換深度的樹(shù)形結(jié)構(gòu)的變換單位可被設(shè)置。根據(jù)編碼深度的編碼信息 不僅需要關(guān)于編碼深度的信息、還需要關(guān)于與預(yù)測(cè)編碼和頻率變換相關(guān)的信息的信息。因 此，編碼深度確定器120不僅確定具有最小編碼錯(cuò)誤的編碼深度，還確定用于將預(yù)測(cè)單位 劃分到分塊的分塊類型、根據(jù)預(yù)測(cè)單位的預(yù)測(cè)模式以及用于頻率變換的變換單位的大小。
[0060] 編碼深度確定器120可通過(guò)使用基于拉格朗日乘法（Lagrangianmultiplier)的 率失真最優(yōu)化，測(cè)量根據(jù)深度的較深編碼單位的編碼錯(cuò)誤，以確定具有最優(yōu)編碼錯(cuò)誤的最 大編碼單位的劃分結(jié)構(gòu)。換句話說(shuō)，編碼深度確定器120可確定將從最大編碼單位劃分的 編碼單位的結(jié)構(gòu)，其中，編碼單位的大小根據(jù)深度而不同。
[0061] 圖像數(shù)據(jù)編碼單元130以比特流輸出最大編碼單位的圖像數(shù)據(jù)，其中，基于由編 碼深度確定器120確定的至少一個(gè)編碼深度對(duì)最大編碼單元的圖像數(shù)據(jù)進(jìn)行編碼。由于已 通過(guò)編碼深度確定器120執(zhí)行了編碼來(lái)測(cè)量最小編碼錯(cuò)誤，因此可通過(guò)使用最小編碼錯(cuò)誤 來(lái)輸出編碼的數(shù)據(jù)流。
[0062] 編碼信息編碼單元140以比特流輸出關(guān)于根據(jù)編碼深度的編碼模式的信息，其 中，基于由編碼深度確定器120確定的至少一個(gè)編碼深度對(duì)根據(jù)編碼深度的編碼模式的信 息進(jìn)行編碼。關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼模式的信息、關(guān)于用于 將預(yù)測(cè)單位劃分至分塊的分塊類型的信息、根據(jù)預(yù)測(cè)單位的預(yù)測(cè)模式以及變換單位的大 小。
[0063] 可通過(guò)使用根據(jù)深度的劃分信息來(lái)定義關(guān)于編碼深度的信息，其中，所述根據(jù)深 度的劃分信息指示是否對(duì)下級(jí)深度而非當(dāng)前深度的編碼單位執(zhí)行編碼。如果當(dāng)前編碼單位 的當(dāng)前深度是編碼深度，則當(dāng)前編碼單位中的圖像數(shù)據(jù)被編碼并被輸出，因此劃分信息可 被定義為不將當(dāng)前編碼單位劃分到下級(jí)深度?？蛇x擇地，如果當(dāng)前編碼單位的當(dāng)前深度不 是編碼深度，則對(duì)下級(jí)深度的編碼單位執(zhí)行編碼，因此劃分信息可被定義為將當(dāng)前編碼單 位劃分至下級(jí)深度的編碼單位。
[0064] 如果當(dāng)前深度不是編碼深度，則對(duì)被劃分為下級(jí)深度的編碼單位的編碼單位執(zhí)行 編碼。由于在當(dāng)前深度的一個(gè)編碼單位中存在至少一個(gè)下級(jí)深度的編碼單位，因此對(duì)下級(jí) 深度的每個(gè)編碼單位重復(fù)執(zhí)行編碼，從而可對(duì)具有相同深度的編碼單位遞歸地執(zhí)行編碼。
[0065] 由于具有樹(shù)形結(jié)構(gòu)的編碼單位被確定用于一個(gè)最大編碼單位，并且關(guān)于至少一個(gè) 編碼模式的信息被確定用于編碼深度的編碼單位，因此關(guān)于至少一個(gè)編碼模式的信息可被 確定用于一個(gè)最大編碼單位。另外，最大編碼單位的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不 同，這是因?yàn)楦鶕?jù)深度對(duì)圖像數(shù)據(jù)進(jìn)行分層劃分，從而關(guān)于編碼深度以及編碼模式的信息 可被設(shè)置用于圖像數(shù)據(jù)。
[0066] 因此，根據(jù)本發(fā)明的實(shí)施例的編碼信息編碼單元140可將關(guān)于相應(yīng)的編碼深度和 編碼模式的編碼信息分配給最大編碼單位所包括的編碼單位、預(yù)測(cè)單位和最小單位中的至 少一個(gè)。
[0067] 根據(jù)本發(fā)明的實(shí)施例的最小單位是通過(guò)將組成最低深度的最小編碼單位劃分為4 份而獲得的矩形數(shù)據(jù)單位。可選擇地，最小單位可以是可包括在最大編碼單位所包括的所 有編碼單位、預(yù)測(cè)單位、分塊單位和變換單位中的最大矩形數(shù)據(jù)單位。例如，通過(guò)編碼信息 編碼單元140輸出的編碼信息可被分類為根據(jù)編碼單位的編碼信息和根據(jù)預(yù)測(cè)單位的編 碼信息。根據(jù)編碼單位的編碼信息可包括關(guān)于預(yù)測(cè)模式的信息以及關(guān)于分塊的大小的信 息。根據(jù)預(yù)測(cè)單位的編碼信息可包括關(guān)于幀間模式的估計(jì)方向的信息、關(guān)于幀間模式的參 考圖像索引的信息、關(guān)于運(yùn)動(dòng)矢量的信息、關(guān)于幀內(nèi)模式的色度分量的信息、以及關(guān)于幀內(nèi) 模式的插值方法的信息。另外，關(guān)于根據(jù)畫(huà)面、像條或GOP定義的編碼單位的最大大小的信 息以及關(guān)于最大深度的信息可被插入SPS(序列參數(shù)集合）或比特流的頭。
[0068] 在圖像編碼設(shè)備100中，較深編碼單位可以是通過(guò)將上級(jí)深度的編碼單位（上一 層）的高度或?qū)挾瘸?獲得的編碼單位。換句話說(shuō)，在當(dāng)前深度k的編碼單位的大小是 2NX2N時(shí)，下級(jí)深度k+1的編碼單位的大小是NXN。因此，當(dāng)前深度的具有2NX2N的大小 的編碼單位可包括最多4個(gè)NXN的下級(jí)深度的編碼單位。
[0069] 因此，根據(jù)本發(fā)明的實(shí)施例的圖像編碼設(shè)備100可基于考慮當(dāng)前畫(huà)面的特性而確 定的最大編碼單位的大小和最大深度，通過(guò)針對(duì)每個(gè)最大編碼單位確定具有最優(yōu)解構(gòu)和最 優(yōu)大小的編碼單位，來(lái)形成具有樹(shù)形結(jié)構(gòu)的編碼單位。另外，由于可通過(guò)使用各種預(yù)測(cè)模式 和頻率變換中的任意一個(gè)來(lái)對(duì)每個(gè)最大編碼單位執(zhí)行編碼，因此可考慮各種圖像大小的編 碼單位的特性來(lái)確定最優(yōu)編碼模式。
[0070] 如果在具有16X16的大小的傳統(tǒng)宏塊中對(duì)具有高分辨率或大數(shù)據(jù)量的圖像進(jìn)行 編碼，則每幅畫(huà)面的宏塊的數(shù)量急劇增加。因此，針對(duì)每個(gè)宏塊產(chǎn)生的壓縮信息的條數(shù)增 加，從而難以發(fā)送壓縮信息并且數(shù)據(jù)壓縮效率降低。然而，通過(guò)使用圖像編碼設(shè)備100,由于 在考慮圖像的大小的情況下增加編碼單位的最大大小的同時(shí)，考慮圖像的特性來(lái)調(diào)整編碼 單位，因此圖像壓縮效率會(huì)增加。
[0071] 圖2是根據(jù)本發(fā)明的實(shí)施例的圖像解碼設(shè)備200的框圖。
[0072] 參照?qǐng)D2,圖像解碼設(shè)備200包括圖像數(shù)據(jù)獲得器210、編碼信息提取器220和圖 像數(shù)據(jù)解碼單元230。針對(duì)圖像解碼設(shè)備200的各種操作的各種術(shù)語(yǔ)（諸如編碼單位、深 度、預(yù)測(cè)單位、變換單位和關(guān)于各種編碼模式的信息）的定義與參照?qǐng)D1和圖像編碼設(shè)備 100所描述的那些相同。圖像數(shù)據(jù)獲得器210接收由圖像解碼設(shè)備200接收的比特流并對(duì) 所述比特流進(jìn)行解析來(lái)獲得根據(jù)最大編碼單位的圖像數(shù)據(jù)，并將所述圖像數(shù)據(jù)輸出到圖像 數(shù)據(jù)解碼單元230。圖像數(shù)據(jù)獲得器210可從關(guān)于當(dāng)前畫(huà)面或像條的頭提取關(guān)于當(dāng)前畫(huà)面 或像條的最大編碼單位的信息。根據(jù)本發(fā)明的實(shí)施例的圖像解碼設(shè)備200根據(jù)最大編碼單 位對(duì)圖像數(shù)據(jù)解碼。
[0073] 另外，編碼信息提取器220通過(guò)對(duì)由圖像解碼設(shè)備200接收的比特流進(jìn)行解析，提 取關(guān)于根據(jù)每個(gè)最大編碼單位的，用于具有樹(shù)形結(jié)構(gòu)的編碼單位的編碼深度和編碼模式的 信息。提取的關(guān)于編碼深度和編碼模式的信息被輸出到圖像數(shù)據(jù)解碼單元230。
[0074] 關(guān)于根據(jù)最大編碼單位的編碼深度和編碼模式的信息可被設(shè)置用于關(guān)于與編碼 深度相應(yīng)的至少一個(gè)編碼單位的信息，并且關(guān)于編碼模式的信息可包括：關(guān)于與編碼深度 相應(yīng)的相應(yīng)編碼單位的分塊類型的信息、關(guān)于預(yù)測(cè)模式的信息以及變換單位的大小。另外， 根據(jù)深度的劃分信息可被提取作為關(guān)于編碼深度的信息。
[0075] 由編碼信息提取器220提取的關(guān)于根據(jù)每個(gè)最大編碼單位的編碼深度和編碼模 式的信息是關(guān)于被確定為當(dāng)編碼器（諸如圖像編碼設(shè)備100)根據(jù)每個(gè)最大編碼單位針對(duì) 根據(jù)深度的每個(gè)較深編碼單位重復(fù)執(zhí)行編碼時(shí)產(chǎn)生最小編碼錯(cuò)誤的編碼深度和編碼模式 的信息。因此，圖像解碼設(shè)備200可通過(guò)根據(jù)產(chǎn)生最小編碼錯(cuò)誤的編碼模式對(duì)圖像數(shù)據(jù)進(jìn) 行解碼，來(lái)恢復(fù)圖像。
[0076] 由于關(guān)于編碼深度和編碼模式的編碼信息可被分配給相應(yīng)編碼單位、預(yù)測(cè)單位和 最小單位中的預(yù)定數(shù)據(jù)單位，因此編碼信息提取器220可根據(jù)所述預(yù)定數(shù)據(jù)單位提取關(guān)于 編碼深度和編碼模式的信息。如果根據(jù)預(yù)定數(shù)據(jù)單位記錄關(guān)于相應(yīng)最大編碼單位的編碼深 度和編碼模式的信息，則分配有相同的關(guān)于編碼深度和編碼模式的信息的預(yù)定數(shù)據(jù)單位可 被推斷為是包括在同一最大編碼單位中的數(shù)據(jù)單位。
[0077] 圖像數(shù)據(jù)解碼單元230通過(guò)基于由編碼信息提取器220提取的關(guān)于根據(jù)最大編碼 單位的編碼深度和編碼模式的信息對(duì)每個(gè)最大編碼單位中的圖像數(shù)據(jù)進(jìn)行解碼，來(lái)恢復(fù)當(dāng) 前畫(huà)面。換句話說(shuō)，圖像數(shù)據(jù)解碼單元230可基于所提取的針對(duì)每個(gè)最大編碼單位中所包 括的具有樹(shù)形結(jié)構(gòu)的編碼單位中的每個(gè)編碼單位的關(guān)于分塊類型、預(yù)測(cè)模式以及變換單位 的信息，對(duì)已編碼的圖像數(shù)據(jù)進(jìn)行解碼。解碼處理可包括幀內(nèi)預(yù)測(cè)處理、包括運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn) 動(dòng)預(yù)測(cè)處理以及逆變換處理。
[0078] 圖像數(shù)據(jù)解碼單元230可基于關(guān)于根據(jù)編碼深度的編碼單位的預(yù)測(cè)單位的預(yù)測(cè) 模式和分塊類型的信息，根據(jù)每個(gè)編碼單位的分塊和預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償。 另外，圖像數(shù)據(jù)解碼單元230可基于關(guān)于根據(jù)編碼深度的編碼單位的變換單位的大小的信 息，根據(jù)編碼單位中的每個(gè)變換單位來(lái)執(zhí)行逆變換，以根據(jù)最大編碼單位執(zhí)行逆變換。
[0079] 圖像數(shù)據(jù)解碼單元230可通過(guò)使用根據(jù)深度的劃分信息，確定當(dāng)前最大編碼單位 的編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度不再被劃分，則當(dāng)前深度是編碼深度。 因此，圖像數(shù)據(jù)解碼單元230可通過(guò)使用關(guān)于預(yù)測(cè)單位的分塊類型、預(yù)測(cè)模式和變換單位 的大小的信息，對(duì)當(dāng)前最大編碼單位中的已編碼的數(shù)據(jù)的當(dāng)前深度的編碼單位進(jìn)行解碼。 換句話說(shuō)，可通過(guò)觀測(cè)為編碼單位、預(yù)測(cè)單位和最小單位中的預(yù)定數(shù)據(jù)單位分配的編碼信 息集合來(lái)收集包含編碼信息的數(shù)據(jù)單位，其中，所述編碼信息包括相同的劃分信息，收集的 數(shù)據(jù)單位可被認(rèn)為是將由圖像數(shù)據(jù)解碼單元230以相同的編碼模式解碼的一個(gè)數(shù)據(jù)單位。
[0080] 圖像解碼設(shè)備200可獲得關(guān)于當(dāng)對(duì)每個(gè)最大編碼單位遞歸執(zhí)行編碼時(shí)產(chǎn)生最小 編碼單位錯(cuò)誤的編碼單位的信息，并且可使用所述信息以對(duì)當(dāng)前畫(huà)面進(jìn)行解碼。換句話說(shuō)， 被確定為每個(gè)最大編碼單位中的最優(yōu)編碼單位的具有樹(shù)形結(jié)構(gòu)的編碼單位可被解碼。因 此，即使圖像數(shù)據(jù)具有高分辨率和大量數(shù)據(jù)，也可通過(guò)使用編碼單位的大小和編碼模式來(lái) 對(duì)所述圖像數(shù)據(jù)進(jìn)行有效解碼，其中，通過(guò)使用從編碼器接收的關(guān)于最優(yōu)編碼模式的信息， 根據(jù)圖像數(shù)據(jù)的特性來(lái)自適應(yīng)地確定編碼單位的大小和編碼模式。
[0081] 圖3是用于描述根據(jù)本發(fā)明的實(shí)施例的分層編碼單位的概念的示圖。
[0082] 參照?qǐng)D3,可以以寬度X高度來(lái)表現(xiàn)編碼單位的大小，并且編碼單位的大小可以 是 64X64、32X32、16X16 和 8X8。64X64 的編碼單位可被劃分為 64X64、64X32、32X64 或32X32的分塊，32X32的編碼單位可被劃分為32X32、32X16、16X32或16X16的分 塊，16X16的編碼單位可被劃分為16X16、16X8、8X16或8X8的分塊，8X8的編碼單位 可被劃分為8X8、8X4、4X8或4X4的分塊。
[0083] 在視頻數(shù)據(jù)310中，分辨率是1920X1080,編碼單位的最大大小是64并且最大深 度是2。在視頻數(shù)據(jù)320中，分辨率是1920X1080,編碼單位的最大大小是64并且最大深 度是3。在視頻數(shù)據(jù)330中，分辨率是352X288,編碼單位的最大大小是16并且編碼深度 是1。圖3中示出的最大深度是從最大編碼單位到最小編碼單位的劃分總次數(shù)。
[0084] 如果分辨率高或者數(shù)據(jù)量大，則編碼單位的最大大小可以較大，從而不僅提高編 碼效率，還準(zhǔn)確地反映圖像的特性。因此，具有比視頻數(shù)據(jù)330更高分辨率的視頻數(shù)據(jù)310 和320的編碼單位的最大大小可以是64。
[0085] 由于視頻數(shù)據(jù)310的最大深度是2,因此視頻數(shù)據(jù)310的編碼單位315可包括具 有64的縱軸大小的最大編碼單位以及具有32和16的縱軸大小的編碼單位（這是因?yàn)橥?過(guò)對(duì)最大編碼單位劃分兩次，深度被加深至兩層）。同時(shí)，由于視頻數(shù)據(jù)330的最大深度是 1，因此視頻數(shù)據(jù)330的編碼單位335可包括具有16的縱軸大小的最大編碼單位以及具有 8的縱軸大小的編碼單位（這是因?yàn)橥ㄟ^(guò)對(duì)最大編碼單位劃分一次，深度被加深至一層）。
[0086] 由于視頻數(shù)據(jù)320的最大深度是3,因此視頻數(shù)據(jù)320的編碼單位325可包括具 有64的縱軸大小的最大編碼單位以及具有32、16和8的縱軸大小的編碼單位（這是因?yàn)?通過(guò)對(duì)最大編碼單位劃分三次，深度被加深至3層）。隨著深度加深，可精確地表現(xiàn)出詳細(xì) 的信息。
[0087] 圖4是根據(jù)本發(fā)明實(shí)施例的基于編碼單位的圖像編碼器400的框圖。
[0088] 根據(jù)本發(fā)明實(shí)施例的圖像編碼器400執(zhí)行圖像編碼設(shè)備100的編碼深度確定器 120的操作，以編碼圖像數(shù)據(jù)。
[0089] 參照?qǐng)D4,幀內(nèi)預(yù)測(cè)器410對(duì)當(dāng)前幀405中的幀內(nèi)模式的預(yù)測(cè)單位執(zhí)行幀內(nèi)預(yù)測(cè)， 運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425通過(guò)使用當(dāng)前幀405以及參考幀495對(duì)幀間模式的預(yù)測(cè) 單位執(zhí)行幀間估計(jì)和運(yùn)動(dòng)補(bǔ)償。
[0090] 基于從幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425輸出的預(yù)測(cè)單位產(chǎn)生殘 差值，產(chǎn)生的殘差值經(jīng)由頻率變換器430和量化器440作為量化的變換系數(shù)而輸出。
[0091] 通過(guò)逆量化器460和頻率逆變換器470將量化的變換系數(shù)恢復(fù)為殘差值，恢復(fù)的 殘差值在通過(guò)解塊單元480和環(huán)路濾波單元490被后處理后被輸出作為參考幀495?？赏?過(guò)熵編碼器450輸出量化的變換系數(shù)作為比特流455。
[0092] 為了根據(jù)依照本發(fā)明實(shí)施例的圖像編碼方法執(zhí)行編碼，圖像編碼器400的所有部 件（即，幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420、運(yùn)動(dòng)補(bǔ)償器425、頻率變換器430、量化器440、熵 編碼器450、逆量化器460、頻率逆變換器470、解塊單元480和環(huán)路濾波單元490)在考慮每 個(gè)最大編碼單位的最大深度的同時(shí)基于具有樹(shù)結(jié)構(gòu)的編碼單位中的每個(gè)編碼單位執(zhí)行圖 像編碼操作。具體地，幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425在考慮當(dāng)前最大 編碼單位的最大大小和最大深度的同時(shí)確定具有樹(shù)結(jié)構(gòu)的編碼單位中的每個(gè)編碼單位的 預(yù)測(cè)模式以及分塊，頻率變換器430確定具有樹(shù)結(jié)構(gòu)的編碼單位中的每個(gè)編碼單位中的變 換單位的大小。
[0093] 圖5是根據(jù)本發(fā)明實(shí)施例的基于編碼單位的圖像解碼器500的框圖。
[0094] 參照?qǐng)D5,解析器510從比特流解析將被解碼的圖像數(shù)據(jù)以及關(guān)于解碼所需的編 碼的信息。編碼的圖像數(shù)據(jù)經(jīng)由熵解碼器520和逆量化器530作為逆量化的數(shù)據(jù)而輸出， 逆量化的數(shù)據(jù)通過(guò)頻率逆變換器540被恢復(fù)為殘差值。通過(guò)將殘差值與幀內(nèi)預(yù)測(cè)器550的 幀內(nèi)預(yù)測(cè)結(jié)果或運(yùn)動(dòng)補(bǔ)償器560的運(yùn)動(dòng)補(bǔ)償結(jié)果相加，來(lái)根據(jù)編碼單位恢復(fù)殘差值?；謴?fù) 的殘差值通過(guò)解塊單元570和環(huán)路濾波單元580以用于預(yù)測(cè)隨后的編碼單位或畫(huà)面。
[0095] 為了根據(jù)依照本發(fā)明實(shí)施例的圖像解碼方法執(zhí)行解碼，圖像解碼器500的所有部 件（即，解析器510、熵解碼器520、逆量化器530、頻率逆變換器540、幀內(nèi)預(yù)測(cè)器550、運(yùn)動(dòng) 補(bǔ)償器560、解塊單元570和環(huán)路濾波單元580)基于最大編碼單位、根據(jù)深度的編碼單位、 預(yù)測(cè)單位以及變換單位來(lái)執(zhí)行圖像解碼處理。具體地，幀內(nèi)預(yù)測(cè)器550和運(yùn)動(dòng)補(bǔ)償器560 通過(guò)考慮編碼單位的最大大小和深度來(lái)確定編碼單位的預(yù)測(cè)單位和預(yù)測(cè)模式，并且頻率逆 變換器540通過(guò)考慮編碼單位的最大大小和深度來(lái)確定變換單位的大小。
[0096] 圖6是根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的較深編碼單位以及預(yù)測(cè)單位的框圖。
[0097]圖像編碼設(shè)備100和圖像解碼設(shè)備200使用分層編碼單位，以考慮圖像的特性。編 碼單位的最大高度、最大寬度和最大深度可根據(jù)圖像的特性被適應(yīng)性地確定，或可被用戶 不同地設(shè)置。根據(jù)深度的較深編碼單位的大小可根據(jù)編碼單位的預(yù)定最大大小被確定。
[0098] 在根據(jù)本發(fā)明實(shí)施例的編碼單位的分層結(jié)構(gòu)600中，編碼單位的最大高度和最大 寬度均為64,最大深度為4。由于深度沿著分層結(jié)構(gòu)600的豎直軸加深，所以較深編碼單位 的高度和寬度均被劃分。另外，沿著分層結(jié)構(gòu)600的水平軸示出了預(yù)測(cè)單位和分塊，預(yù)測(cè)單 位和分塊是每個(gè)較深編碼單位的預(yù)測(cè)編碼的基礎(chǔ)。
[0099] 編碼單位610是分層結(jié)構(gòu)600中的最大編碼單位，其中，深度為0,大?。锤叨?乘以寬度）為64X64。深度沿著豎直軸加深，存在大小為32X32且深度為1的編碼單位 620、大小為16X16且深度為2的編碼單位630、大小為8X8且深度為3的編碼單位640以 及大小為4X4且深度為4的編碼單位650。大小為4X4且深度為4的編碼單位650是最 小編碼單位。
[0100] 此外，參照?qǐng)D6,根據(jù)每個(gè)深度沿著水平軸布置編碼單位的預(yù)測(cè)單位和分塊。換句 話說(shuō)，如果大小為64X64且深度為0的編碼單位610是預(yù)測(cè)單位，則預(yù)測(cè)單位可被劃分為 包括在編碼單位610中的分塊，S卩，大小為64X64的分塊610、大小為64X32的分塊612、 大小為32X64的分塊614以及大小為32X32的分塊616。
[0101] 類似地，大小為32X32且深度為1的編碼單位620的預(yù)測(cè)單位可被劃分為包括在 編碼單位620中的分塊，S卩，大小為32X32的分塊620、大小為32X16的分塊622、大小為 16X32的分塊624以及大小為16X16的分塊626〇
[0102] 大小為16X16且深度為2的編碼單位630的預(yù)測(cè)單位可被劃分為包括在編碼單 位630中的分塊，S卩，包括在編碼單位630中的大小為16X16的分塊630、大小為16X8的 分塊632、大小為8X16的分塊634以及大小為8X8的分塊636。
[0103]大小為8X8且深度為3的編碼單位640的預(yù)測(cè)單位可被劃分為包括在編碼單位 640中的分塊，S卩，包括在編碼單位640中的大小為8X8的分塊640、大小為8X4的分塊 642、大小為4X8的分塊644以及大小為4X4的分塊646。
[0104]大小為4X4且株度為4的編碼單位650是最小編碼單位，并且是最下級(jí)株度（the lowermostdepth)的編碼單位。編碼單位650的預(yù)測(cè)單位僅被分配給大小為4X4的分塊。
[0105]為了確定構(gòu)成最大編碼單位610的編碼單位的至少一個(gè)編碼深度，圖像編碼設(shè)備 100的編碼深度確定器120對(duì)于與包括在最大編碼單位610中的每個(gè)深度對(duì)應(yīng)的編碼單位 執(zhí)行編碼。
[0106] 包括相同范圍和相同大小的數(shù)據(jù)的根據(jù)深度的較深編碼單位的數(shù)量隨著深度加 深而增大。例如，需要與深度2對(duì)應(yīng)的四個(gè)編碼單位來(lái)覆蓋包括在與深度1對(duì)應(yīng)的一個(gè)編 碼單位中的數(shù)據(jù)。因此，為了根據(jù)深度比較相同數(shù)據(jù)的編碼結(jié)果，與深度1對(duì)應(yīng)的編碼單位 以及與深度2對(duì)應(yīng)的四個(gè)編碼單位均被編碼。
[0107]為了對(duì)深度中的當(dāng)前深度執(zhí)行編碼，可通過(guò)沿著分層結(jié)構(gòu)600的水平軸對(duì)于與當(dāng) 前深度對(duì)應(yīng)的編碼單位中的每個(gè)預(yù)測(cè)單位執(zhí)行編碼，來(lái)為當(dāng)前深度選擇最小編碼錯(cuò)誤?；?者，可通過(guò)隨著深度沿分層結(jié)構(gòu)600的豎直軸加深而對(duì)每個(gè)深度執(zhí)行編碼，通過(guò)根據(jù)深度 比較最小編碼錯(cuò)誤，來(lái)搜索最小編碼錯(cuò)誤?？蛇x擇編碼單位610中的具有最小編碼錯(cuò)誤的 深度和分塊作為編碼單位610的編碼深度和分塊類型。
[0108] 圖7是描述根據(jù)本發(fā)明實(shí)施例的編碼單位710和變換單位720之間的關(guān)系的示 圖。
[0109] 圖像編碼設(shè)備100或圖像解碼設(shè)備200對(duì)于每個(gè)最大編碼單位根據(jù)具有小于或等 于最大編碼單位的編碼單位對(duì)圖像編碼或解碼，所述編碼單位的大小小于或等于最大編碼 單位的大小?？苫诓淮笥谙鄳?yīng)編碼單位的數(shù)據(jù)單位來(lái)選擇用于編碼期間的頻率變換的變 換單位的大小。例如，如果編碼單位710的大小為64X64,則可使用大小為32X32的變換 單位720執(zhí)行頻率變換。另外，可通過(guò)對(duì)具有32X32、16X16、8X8以及4X4大小的每個(gè)變 換單位執(zhí)行頻率變換來(lái)對(duì)具有64X64大小的編碼單位710的數(shù)據(jù)執(zhí)行編碼（大小32X32、 16X16、8X8以及4X4小于64X64)，然后可選擇具有最小編碼錯(cuò)誤的變換單位。
[0110] 圖8是描述根據(jù)本發(fā)明實(shí)施例的與編碼深度對(duì)應(yīng)的編碼單位的編碼信息的示圖。
[0111] 根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備1〇〇的圖像數(shù)據(jù)編碼單位130可針對(duì)與編碼深 度對(duì)應(yīng)的每個(gè)編碼單位將關(guān)于分塊類型的信息800、關(guān)于預(yù)測(cè)模式的信息810以及關(guān)于變 換單位的大小的信息820編碼為關(guān)于編碼模式的信息，并將其發(fā)送。
[0112] 信息800指示關(guān)于通過(guò)劃分當(dāng)前編碼單位的預(yù)測(cè)單位而獲得的分塊結(jié)構(gòu)的信息， 其中，分塊是用于對(duì)當(dāng)前編碼單位進(jìn)行預(yù)測(cè)編碼的數(shù)據(jù)單位。例如，大小為2NX2N的當(dāng)前 編碼單位CU_0可被劃分為大小為2NX2N的分塊802、大小為2NXN的分塊804、大小為 NX2N的分塊806以及大小為NXN的分塊808中的任何一個(gè)。這里，關(guān)于分塊類型的信息 800被設(shè)置為指示大小為2NX2N的分塊802、大小為2NXN的分塊804、大小為NX2N的分 塊806以及大小為NXN的分塊808中的一個(gè)。
[0113] 信息810指示每個(gè)分塊的預(yù)測(cè)模式。例如，信息810可指示對(duì)由信息800所指示 的分塊執(zhí)行預(yù)測(cè)編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過(guò)模式816。
[0114] 信息820指示當(dāng)對(duì)當(dāng)前編碼單位執(zhí)行頻率變換時(shí)所基于的變換單位的大小。例 如，變換單位可以是第一幀內(nèi)變換單位822、第二幀內(nèi)變換單位824、第一幀間變換單位826 或第二幀間變換單位828。
[0115] 圖像解碼設(shè)備200的編碼信息提取器220可根據(jù)每個(gè)較深編碼單位提取并使用用 于解碼的信息800、810和820。
[0116] 圖9是根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的較深編碼單位的示圖。
[0117] 劃分信息可用于指示深度的變化。劃分信息指示當(dāng)前深度的編碼單位是否被劃分 為下級(jí)深度的編碼單位。
[0118] 用于對(duì)深度為0且大小為2N_0X2N_0的編碼單位900進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單位 910可包括大小為2N_0X2N_0的分塊類型912、大小為2N_0XN_0的分塊類型914、大小為 N_0X2N_0的分塊類型916以及大小為N_0XN_0的分塊類型918的分塊。圖9僅示出了通 過(guò)對(duì)稱地劃分預(yù)測(cè)單位910而獲得的分塊類型912至918,但是分塊類型不限于此，預(yù)測(cè)單 位910的分塊可包括非對(duì)稱分塊、具有預(yù)定結(jié)構(gòu)的分塊以及具有幾何結(jié)構(gòu)的分塊。
[0119] 根據(jù)每個(gè)分塊類型，對(duì)大小為2N_0X2N_0的一個(gè)分塊、大小為2N_0XN_0的兩個(gè) 分塊、大小為N_0X2N_0的兩個(gè)分塊以及大小為N_0XN_0的四個(gè)分塊重復(fù)執(zhí)行預(yù)測(cè)編碼。 可對(duì)大小為2N_0X2N_0、N_0X2N_0、2N_0XN_0和N_0XN_0的分塊執(zhí)行幀內(nèi)模式和幀間模 式的預(yù)測(cè)編碼。僅對(duì)大小為2N_0X2N_0的分塊執(zhí)行跳過(guò)模式的預(yù)測(cè)編碼。如果在分塊類 型912至916中的一個(gè)中編碼錯(cuò)誤最小，則可不將預(yù)測(cè)單位910劃分為下級(jí)深度。
[0120] 如果在分塊類型918中編碼錯(cuò)誤最小，則在操作920中深度從0變?yōu)?以劃分分 塊類型918,并且對(duì)深度為2且大小為N_0XN_0的編碼單位930重復(fù)執(zhí)行編碼，以搜索最小 編碼錯(cuò)誤。
[0121] 用于對(duì)深度為1且大小為2N_1X2N_1 ( =N_0XN_0)的編碼單位930進(jìn)行預(yù)測(cè)編 碼的預(yù)測(cè)單位940可包括大小為2N_1X2N_1的分塊類型942、大小為2N_1XN_1的分塊類 型944、大小為N_1X2N_1的分塊類型946以及大小為N_1XN_1的分塊類型948的分塊。
[0122] 如果在分塊類型948中編碼錯(cuò)誤最小，則在操作950中深度從1變?yōu)?以劃分分 塊類型948,并且對(duì)深度為2且大小為N_2XN_2的編碼單位960重復(fù)執(zhí)行編碼，以搜索最小 編碼錯(cuò)誤。
[0123] 當(dāng)最大深度為d時(shí)，根據(jù)每個(gè)深度的劃分操作可被執(zhí)行直到深度變?yōu)閐-1，并且 劃分信息可被編碼直到深度為〇至d-2中的一個(gè)。換句話說(shuō)，在操作970將與深度d-2 對(duì)應(yīng)的編碼單位劃分之后，當(dāng)執(zhí)行編碼直到深度為d-1時(shí)，用于對(duì)深度為d-1且大小為 2N_ (d-1)X2N_ (d-1)的編碼單位980進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單位990可包括大小為2N_ (d-1)X2N_(d-l)的分塊類型992、大小為2N_(d-l)XN_(d-l)的分塊類型994、大小為N_ (d-1)X2N_ (d-1)的分塊類型996以及大小為N_ (d-1)XN_ (d-1)的分塊類型998的分塊。
[0124] 可對(duì)分塊類型992至998中的大小為2N_(d-l)X2N_(d-l)的一個(gè)分塊、大小 為2N_(d-l)XN_(d-l)的兩個(gè)分塊、大小SN_(d-l)X2N_(d-l)的兩個(gè)分塊、大小為[ (d-1)XN_(d-1)的四個(gè)分塊重復(fù)執(zhí)行預(yù)測(cè)編碼，以搜索具有最小編碼錯(cuò)誤的分塊類型。即 使當(dāng)分塊類型998具有最小編碼錯(cuò)誤時(shí)，由于最大深度為d，所以深度為d-1的編碼單位 CU_(d-1)不再被劃分為下級(jí)深度，構(gòu)成當(dāng)前最大編碼單位900的編碼單位的編碼深度被確 定為d-1，并且最大編碼單位900的分塊類型被確定為N_ (d-1)XN_ (d-1)。此外，由于最大 深度為d，并且最低深度為d-1的最小編碼單位980不再被劃分為下級(jí)深度，所以不設(shè)置最 小編碼單位980的劃分信息。
[0125] 數(shù)據(jù)單位999可以是用于當(dāng)前最大編碼單位的"最小單位"。根據(jù)本發(fā)明實(shí)施例的 最小單位可以是通過(guò)將最小編碼單位980劃分為4部分而獲得的矩形數(shù)據(jù)單位。通過(guò)重復(fù) 地執(zhí)行編碼，圖像編碼設(shè)備100可通過(guò)比較根據(jù)編碼單位900的深度的編碼錯(cuò)誤來(lái)選擇具 有最小編碼錯(cuò)誤的深度以確定編碼深度，并且可將相應(yīng)的分塊類型和預(yù)測(cè)模式設(shè)置為編碼 深度的編碼模式。
[0126] 因此，在所有深度1至d中比較根據(jù)深度的最小編碼錯(cuò)誤，并且具有最小編碼錯(cuò)誤 的深度可被確定為編碼深度。預(yù)測(cè)單位的分塊類型、編碼深度和預(yù)測(cè)模式可作為關(guān)于編碼 模式的信息被編碼和發(fā)送。此外，由于從深度〇至編碼深度來(lái)劃分編碼單位，所以只有編碼 深度的劃分信息被設(shè)置為0,并且除了編碼深度之外的深度的劃分信息被設(shè)置為1。
[0127] 根據(jù)本發(fā)明實(shí)施例的圖像解碼設(shè)備200的編碼信息提取器220可提取并使用關(guān)于 編碼單位900的編碼深度以及預(yù)測(cè)單位的信息，以對(duì)編碼單位900解碼。根據(jù)本發(fā)明實(shí)施 例的圖像解碼設(shè)備200可通過(guò)使用根據(jù)深度的劃分信息將劃分信息為0的深度確定為編碼 深度，并且可使用關(guān)于相應(yīng)深度的編碼模式的信息進(jìn)行解碼。
[0128] 圖10至圖12是描述根據(jù)本發(fā)明實(shí)施例的編碼單位1010、預(yù)測(cè)單位1060和頻率變 換單位1070之間的關(guān)系的示圖。
[0129] 編碼單位1010是最大編碼單位中的與由圖像編碼設(shè)備100確定的編碼深度對(duì)應(yīng) 的編碼單位。預(yù)測(cè)單位1060是每個(gè)編碼單位1010的預(yù)測(cè)單位的分塊，變換單位1070是每 個(gè)編碼單位1010的變換單位。
[0130] 當(dāng)最大編碼單位的深度為0時(shí)，編碼單位1012和1054的深度為1，編碼單位1014、 1016、1018、1028、1050 和 1052 的深度為 2,編碼單位 1020、1022、1024、1026、1030、1032 和 1048的深度為3,編碼單位1040、1042、1044和1046的深度為4。
[0131] 在預(yù)測(cè)單位1060中，通過(guò)在編碼單位1010中劃分編碼單位來(lái)獲得一些編碼單 位 1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說(shuō)，編碼單位 1014、1022、1050 和1054中的分塊類型的大小為2NXN，編碼單位1016、1048和1052的分塊類型的大小為 NX2N，編碼單位1032的分塊類型的大小為NXN。編碼單位1010的預(yù)測(cè)單位和分塊小于或 等于每個(gè)編碼單位。
[0132] 以小于編碼單位1052和1054的數(shù)據(jù)單位對(duì)變換單位1070中的編碼單位1052和 1054的圖像數(shù)據(jù)執(zhí)行頻率變換和頻率逆變換。另外，變換單位1070中的編碼單位1014、 1016、1022、1032、1048、1050、1052 和 1054 與預(yù)測(cè)單位 1060 中的編碼單位 1014、1016、 1022、1032、1048、1050、1052和1054在大小和結(jié)構(gòu)上不同。換句話說(shuō)，視頻編碼設(shè)備100和 視頻解碼設(shè)備200可基于各個(gè)數(shù)據(jù)單位對(duì)相同的編碼單位執(zhí)行預(yù)測(cè)、頻率變換和頻率逆變 換。因此，對(duì)每個(gè)編碼單位遞歸地執(zhí)行編碼以確定最佳編碼單位，因此可獲得具有遞歸樹(shù)結(jié) 構(gòu)的編碼單位。
[0133] 編碼信息可包括關(guān)于編碼單位的信息、關(guān)于分塊類型的信息、關(guān)于預(yù)測(cè)模式的信 息以及關(guān)于變換單位的大小的信息。表1示出了可由圖像編碼設(shè)備100和圖像解碼設(shè)備 200設(shè)置的編碼信息。
[0134][表1]
[0135]

【權(quán)利要求】
1. 一種對(duì)圖像進(jìn)行解碼的方法，所述方法包括： 從比特流提取指示是否將上級(jí)深度的編碼單位劃分為較深深度的編碼單位的劃分信 息； 根據(jù)劃分信息確定最大編碼單位的劃分結(jié)構(gòu)； 從比特流提取指示當(dāng)前編碼單位的預(yù)測(cè)模式是否是跳過(guò)模式的跳過(guò)信息； 當(dāng)跳過(guò)信息指示當(dāng)前編碼單位的預(yù)測(cè)模式是跳過(guò)模式時(shí)，將當(dāng)前編碼單位確定為預(yù)測(cè) 模式是跳過(guò)模式的一預(yù)測(cè)單元； 當(dāng)跳過(guò)信息指示當(dāng)前編碼單位的預(yù)測(cè)模式不是跳過(guò)模式時(shí)，從當(dāng)前編碼單位獲得一個(gè) 或更多個(gè)預(yù)測(cè)單元， 其中，確定最大編碼單位的劃分結(jié)構(gòu)的步驟包括： 當(dāng)劃分信息指示對(duì)當(dāng)前深度的當(dāng)前編碼單位的劃分時(shí)，通過(guò)對(duì)當(dāng)前深度的編碼單位進(jìn) 行劃分來(lái)獲得較深深度的四個(gè)編碼單位。
【文檔編號(hào)】H04N19/119GK104506864SQ201410840826
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2010年7月23日 優(yōu)先權(quán)日:2009年7月24日
【發(fā)明者】鄭海慶, 千岷洙, 閔正惠, 金壹求 申請(qǐng)人:三星電子株式會(huì)社