圖像編碼方法及裝置以及其解碼方法及裝置制造方法
【專利摘要】公開一種生成針對將要編碼的當(dāng)前編碼單位的第一預(yù)測編碼單位，且利用構(gòu)成第一預(yù)測編碼單位的各像素和至少一個周邊像素來變更各像素的像素值，由此生成第二預(yù)測編碼單位，并且對當(dāng)前編碼單位與第二預(yù)測解碼單位的差值進行編碼，由此提高預(yù)測效率的圖像編碼方法及裝置、以及其解碼方法及裝置。
【專利說明】圖像編碼方法及裝置以及其解碼方法及裝置
[0001] 本申請是申請日為2009年7月2日、申請?zhí)枮?00980134680. 3發(fā)明名稱為"圖像 編碼方法及裝置以及其解碼方法及裝置"的發(fā)明專利申請的分案申請。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及通過被預(yù)測的圖像數(shù)據(jù)的后處理來提高圖像壓縮效率的圖像編碼方 法及裝置以及其解碼方法及裝置。

【背景技術(shù)】
[0003] 在如 MPEG-1，MPEG-2, MPEG-4, H. 264/MPEG-4AVC (Advanced Video Coding)的圖 像壓縮方式中，為了對圖像進行編碼，將一個圖片分為宏塊。并且，在可應(yīng)用于幀間預(yù)測 (inter prediction)和巾貞內(nèi)預(yù)測（intra prediction)的所有編碼模式中對每個宏塊進行 編碼之后，根據(jù)宏塊的編碼所需的比特率和原宏塊與經(jīng)解碼的宏塊之間的失真度來選擇一 個編碼模式，以對宏塊進行編碼。
[0004] 隨著對可再現(xiàn)、存儲高分辨率或高畫質(zhì)視頻內(nèi)容的硬件的開發(fā)和普及，對高分辨 率或者高畫質(zhì)視頻內(nèi)容進行編碼或解碼的視頻編解碼器（Codec)的需求性逐漸變大。根據(jù) 現(xiàn)有的視頻編解碼器，視頻根據(jù)基于預(yù)定大小的宏塊而被限制的預(yù)測模式被編碼。

【專利附圖】

【附圖說明】
[0005] 圖1為根據(jù)本發(fā)明一實施例的圖像編碼裝置的方框圖；
[0006] 圖2示出根據(jù)本發(fā)明一實施例的圖像解碼裝置的方塊圖；
[0007] 圖3示出根據(jù)本發(fā)明一實施例的層級編碼單位；
[0008] 圖4示出根據(jù)本發(fā)明一實施例的基于編碼單位的圖像編碼部的方塊圖；
[0009] 圖5示出根據(jù)本發(fā)明一實施例的基于編碼單位的圖像解碼部的方塊圖；
[0010] 圖6為示出根據(jù)本發(fā)明一實施例的按深度（deeper)的編碼單位和預(yù)測單位； [0011] 圖7示出根據(jù)本發(fā)明一實施例的編碼單位以及變換單位的關(guān)系；
[0012] 圖8示出根據(jù)本發(fā)明一實施例的按深度的編碼信息；
[0013] 圖9示出根據(jù)本發(fā)明一實施例的按深度的編碼單位；
[0014] 圖10a和圖10b示出根據(jù)本發(fā)明一實施例的編碼單位、預(yù)測單位以及頻率變換單 位的關(guān)系；
[0015] 圖11示出根據(jù)本發(fā)明一實施例的按編碼單位的編碼信息；
[0016] 圖12為示出根據(jù)本發(fā)明一實施例的幀內(nèi)預(yù)測部1200的結(jié)構(gòu)的方框圖；
[0017] 圖13為根據(jù)本發(fā)明一實施例的基于編碼單位的大小的幀內(nèi)預(yù)測模式的數(shù)量；
[0018] 圖14a至圖14c為用于說明根據(jù)本發(fā)明一實施例的適用于預(yù)定大小的編碼單位的 幀內(nèi)預(yù)測模式的一例的圖；
[0019] 圖15為用于說明根據(jù)本發(fā)明一實施例的適用于預(yù)定大小的編碼單位的幀內(nèi)預(yù)測 模式的另一例的圖；
[0020] 圖16為用于說明根據(jù)本發(fā)明一實施例的具有多種方向性的幀內(nèi)預(yù)測模式的參照 圖；
[0021] 圖17為用于說明根據(jù)本發(fā)明一實施例的雙線性模式的參照圖；
[0022] 圖18為用于說明根據(jù)本發(fā)明一實施例的第一預(yù)測編碼單位的后處理動作的參照 圖；
[0023] 圖19為用于說明根據(jù)本發(fā)明一實施例的后處理部1220的動作的參照圖；
[0024] 圖20為用于根據(jù)本發(fā)明一實施例的在后處理部1220中所利用的周邊像素的參照 圖；
[0025] 圖21為示出根據(jù)本發(fā)明一實施例的圖像編碼方法的流程圖；
[0026] 圖22為示出根據(jù)本發(fā)明一實施例的圖像解碼方法的流程圖。


【發(fā)明內(nèi)容】

[0027] 技術(shù)問題
[0028] 本發(fā)明所要解決的問題在于提供一種提高圖像壓縮效率的圖像編碼方法及裝置 以及其解碼方法及裝置。
[0029] 技術(shù)方案
[0030] 根據(jù)本發(fā)明一實施例，通過對預(yù)測塊進行后處理來變更預(yù)測塊內(nèi)部的各像素的像 素值，由此生成新的預(yù)測塊。
[0031] 有益效果
[0032] 根據(jù)本發(fā)明一實施例，由于通過對預(yù)測塊進行后處理來變更預(yù)測塊內(nèi)部的各像素 的像素值，由此生成新的預(yù)測塊，因此能夠提高圖像的壓縮效率。
[0033] 最佳實施方式
[0034] 根據(jù)本發(fā)明一實施例的圖像編碼方法包含：生成針對將要編碼的當(dāng)前編碼單位的 第一預(yù)測編碼單位的步驟；利用構(gòu)成所述第一預(yù)測編碼單位的各像素和至少一個周邊像素 來變更所述各像素的像素值，由此生成第二預(yù)測編碼單位的步驟；以及對所述當(dāng)前編碼單 位與所述第二預(yù)測解碼單位的差值進行編碼的步驟。
[0035] 根據(jù)本發(fā)明一實施例的圖像編碼裝置包含：預(yù)測部，生成針對將要編碼的當(dāng)前編 碼單位的第一預(yù)測編碼單位；后處理部，利用構(gòu)成所述第一預(yù)測編碼單位的各像素和至少 一個周邊像素來變更所述各像素的像素值，由此生成第二預(yù)測編碼單位；以及編碼部，對所 述當(dāng)前編碼單位與所述第二預(yù)測解碼單位的差值進行編碼。
[0036] 根據(jù)本發(fā)明一實施例的圖像解碼方法包含：從接收的比特流提取將要被解碼的當(dāng) 前解碼單位的預(yù)測模式信息的步驟；基于被提取的所述預(yù)測模式信息生成關(guān)于所述當(dāng)前解 碼單位的第一預(yù)測解碼單位的步驟；從所述比特流提取利用構(gòu)成所述第一預(yù)測解碼單位的 各像素和所述各像素的周邊像素的運算信息的步驟；基于所述被提取的運算信息，利用構(gòu) 成所述第一預(yù)測解碼單位的各像素和所述各像素的周邊像素變更所述各像素的像素值，由 此生成第二預(yù)測解碼單位；通過從所述比特流提取相當(dāng)于所述當(dāng)前解碼單位和所述第二預(yù) 測解碼單位的差值的剩余誤差值來進行復(fù)原的步驟；以及對所述剩余誤差和所述第二預(yù)測 解碼單位進行加法運算，以對所述當(dāng)前解碼單位進行解碼。
[0037] 根據(jù)本發(fā)明一實施例的圖像解碼裝置包含：熵解碼器，從接收的比特流提取將要 被解碼的當(dāng)前解碼單位的預(yù)測模式信息以及利用構(gòu)成針對所述當(dāng)前解碼單位的所述第一 預(yù)測解碼單位的各像素和所述各像素的周邊像素的運算信息；預(yù)測部；基于被提取的所述 預(yù)測模式信息生成第一預(yù)測解碼單位；后處理部，基于被提取的所述運算信息，利用構(gòu)成所 述第一預(yù)測解碼單位的各像素和所述各像素的周邊像素變更所述各像素的像素值，由此生 成第二預(yù)測解碼單位；逆變換以及逆量化部，通過從所述比特流提取相當(dāng)于所述當(dāng)前解碼 單位和所述第二預(yù)測解碼單位的差值的剩余誤差來進行復(fù)原；以及加法運算部，對所述剩 余誤差和所述第二預(yù)測解碼單位進行加法運算，以對所述當(dāng)前解碼單位進行解碼。

【具體實施方式】
[0038] 以下參照【專利附圖】

【附圖說明】根據(jù)本發(fā)明優(yōu)選實施例的圖像編碼裝置及圖像解碼裝置，以及 圖像編碼方法和圖像解碼方法。
[0039] 圖1為根據(jù)本發(fā)明一實施例的圖像編碼裝置的方框圖。
[0040] 參照圖1，根據(jù)本發(fā)明一實施例的圖像編碼裝置100包含最大編碼單位分割部 110、編碼深度確定部120、圖像數(shù)據(jù)編碼部130以及編碼信息編碼部140。
[0041] 最大編碼單位分割部110基于作為大小最大的編碼單位的最大編碼單位來分割 當(dāng)前圖片或片段。當(dāng)前圖片或當(dāng)前片段以至少一個最大編碼單位被分割。被分割的圖像數(shù) 據(jù)可按照至少一個最大編碼單位輸出到編碼深度確定部120。
[0042] 根據(jù)本發(fā)明一實施例，可利用最大編碼單位和深度來表示編碼單位。最大編碼單 位表示當(dāng)前圖片的編碼單位中大小最大的編碼單位，深度表示編碼單位按層級縮小的子編 碼單位的大小。深度變大的同時，編碼單位可以從最大編碼單位縮小至最小編碼單位，且最 大編碼單位的深度可定義為最小深度，而最小編碼單位的深度可定義為最大深度。由于最 大編碼單位隨著深度變大，按深度的編碼單位的大小變小，因此深度為K的子編碼單位可 包含具有深度為K+1以上的多個子編碼單位。
[0043] 如上所述，根據(jù)編碼單位的最大大小，將當(dāng)前圖片的圖像數(shù)據(jù)以最大編碼單位進 行分割，而且每個最大編碼單位可包含按深度縮小的編碼單位。由于根據(jù)本發(fā)明一實施例 的最大編碼單位按深度縮小，因此包含于最大編碼單位的空間域（spatial domain)的圖像 數(shù)據(jù)可根據(jù)深度按層級分類。
[0044] 從最大編碼單位至最上位編碼單位為止，限制將當(dāng)前編碼單位的高度和寬度按層 級縮小的總次數(shù)的最大深度和編碼單位的最大大小可以事先被設(shè)定。這種最大編碼單位和 最大深度可以以圖片或片段單位進行設(shè)定。即，每個圖片或片段都可具有不同的最大編碼 單位和最大深度，并且可根據(jù)最大深度可變地設(shè)定包含于最大圖像編碼單位的最小編碼單 位的大小。如此，使每個圖片或片段都能夠可變地設(shè)定最大編碼單位和最大深度，因此對于 平坦的區(qū)域的圖像可利用較大的最大編碼單位來進行編碼，由此提高壓縮率，而對于復(fù)雜 度較高的圖像可利用大小較小的編碼單位，由此提高圖像的壓縮效率。
[0045] 編碼深度確定部120對每個最大編碼單位確定不同的最大深度。最大深度可基于 率失真代價（Rate-Distortion Cost)計算來確定。所確定的最大深度輸出至編碼信息編 碼部140,而每個最大編碼單位的圖像數(shù)據(jù)輸出至圖像數(shù)據(jù)編碼部130。
[0046] 最大編碼單位內(nèi)的圖像數(shù)據(jù)根據(jù)最大深度以下的至少一個深度，基于按深度的編 碼單位而進行編碼，并且基于各個按深度的編碼單位的編碼結(jié)果將進行比較。按深度的編 碼單位的編碼誤差的比較結(jié)果，可選擇編碼誤差最小的深度。每個最大編碼單位都可確定 至少一個編碼深度。
[0047] 最大編碼單位的大小隨著深度增加，編碼單位按層級分割而縮小，且編碼單位的 數(shù)量增加。并且，即便是包含于一個最大編碼的相同深度的編碼單位，也測出針對各個數(shù)據(jù) 的編碼誤差，并確定是否縮小至上位深度。因此，即便是包含于一個最大編碼單位的數(shù)據(jù)， 按深度的編碼誤差根據(jù)位置也不相同，因此編碼深度根據(jù)位置而確定為不同。也就是說，可 根據(jù)不同的深度以不同大小的子編碼單位分割最大編碼單位。對于一個最大編碼單位，可 設(shè)定一個以上的編碼深度，并且可根據(jù)一個以上的編碼深度的編碼單位而分割最大編碼單 位的數(shù)據(jù)。
[0048] 并且，包含于最大編碼單位的不同大小的子編碼單位，基于不同大小的處理單位 而被預(yù)測或頻率變換。也就是說，圖像編碼裝置100可基于各種大小和各種形態(tài)的處理單 位進行用于圖像編碼的多個處理步驟。為了對圖像數(shù)據(jù)進行編碼，會經(jīng)過預(yù)測、頻率變換、 熵編碼等處理步驟，但是在所有步驟中，可利用相同大小的處理單位，也可以按步驟利用不 同大小的處理單位。
[0049] 例如，圖像編碼裝置100為了預(yù)測編碼單位，可選擇與編碼單位不同的處理單位。 作為一例，編碼單位的大小為2NX 2N(N為正整數(shù)）時，用于預(yù)測的處理單位可以是2NX 2N、 2NXN、NX 2N、NXN。也就是說，也可以基于將編碼單位的高度或?qū)挾戎械闹辽僖粋€分為一 半的形態(tài)的處理單位進行運動預(yù)測。以下，成為預(yù)測的基礎(chǔ)的數(shù)據(jù)單位稱作"預(yù)測單位"。
[0050] 預(yù)測模式可以是幀內(nèi)模式、幀間模式以及跳躍模式中的至少一個，特定預(yù)測模式 僅可以對特定大小或形態(tài)的預(yù)測單位進行。跳躍模式僅可以對2NX2N大小的預(yù)測單位進 行。如果編碼單位內(nèi)部具有多個預(yù)測單位，則可通過對每個預(yù)測單位進行預(yù)測而選擇編碼 誤差最小的預(yù)測模式。
[0051] 并且，圖像編碼裝置100可基于大小不同于編碼單位的處理單位對圖像數(shù)據(jù)進行 頻率變換。為了編碼單位的頻率變換，可基于大小小于或相同于編碼單位的數(shù)據(jù)單位來進 行頻率變換。以下，成為頻率變換的基礎(chǔ)的處理單位稱作"變換單位"。
[0052] 編碼深度確定部120可利用基于拉格朗日乘數(shù)（Lagrangian Multiplier)的率失 真優(yōu)化算法（Rate-Distortion Optimization)來測定按深度的編碼單位的編碼誤差，以確 定具有最佳編碼誤差的最大編碼單位的分割形態(tài)。也就是說，編碼深度確定部120能夠確 定最大編碼單位以何種形態(tài)的多個子編碼單位被分割，在此，多個子編碼單位根據(jù)深度而 大小不同。
[0053] 圖像數(shù)據(jù)編碼部130基于在編碼深度確定部120被確定的至少一個編碼深度對最 大編碼單位的圖像數(shù)據(jù)進行編碼，由此輸出比特流。在編碼深度確定部120為了測出最小 編碼誤差而已經(jīng)進行了編碼，因此也可輸出據(jù)此被編碼的數(shù)據(jù)流。
[0054] 編碼信息編碼部140基于在編碼深度確定部120所確定的至少一個編碼深度，每 個最大編碼單位都對關(guān)于按深度的編碼模式的信息進行編碼，由此輸出比特流。關(guān)于按深 度的編碼模式的信息可包含編碼深度信息、編碼深度的編碼單位的預(yù)測單位的分割方式信 息、按預(yù)測單位的預(yù)測模式信息、變換單位的大小信息等。
[0055] 編碼深度信息利用表示是否不以當(dāng)前深度進行編碼，而是以上位深度的編碼單位 進行編碼的按深度的縮小信息來被定義。若當(dāng)前編碼單位的當(dāng)前深度為編碼深度，則由于 當(dāng)前編碼單位以當(dāng)前深度的編碼單位進行編碼，因此當(dāng)前深度的縮小信息可被定義為不再 縮小至上位深度。相反，若當(dāng)前編碼單位的當(dāng)前深度不是編碼深度，則由于需要試圖進行利 用上位深度的編碼單位的編碼，因此當(dāng)前深度的縮小信息可被定義為縮小至上位深度的編 碼單位。
[0056] 若當(dāng)前深度不是編碼深度，則對縮小為上位深度的編碼單位的編碼單位進行編 碼。由于在當(dāng)前深度的編碼單位內(nèi)存在一個以上的上位深度的編碼單位，因此對每個上位 深度的編碼單位都反復(fù)進行編碼，可使每個相同深度的編碼單位進行遞歸（recursive)編 碼。
[0057] -個最大編碼單位內(nèi)至少需要確定一個編碼深度，且每個編碼深度至少需要確定 一個關(guān)于編碼模式的信息，因此，對于一個最大編碼單位可確定有至少一個關(guān)于編碼模式 的信息。并且，最大編碼單位的數(shù)據(jù)根據(jù)深度按層級分割，從而編碼深度根據(jù)位置可能不 同，因此可對數(shù)據(jù)設(shè)定編碼深度以及關(guān)于編碼模式的信息。
[0058] 因此，根據(jù)一實施例的編碼信息編碼部140可對包含于最大編碼單位的每個最小 編碼單位都設(shè)定相關(guān)編碼信息。即，編碼深度的編碼單位包含具有相同編碼信息的一個以 上的最小編碼單位。據(jù)此，當(dāng)鄰近的最小編碼單位具有相同的按深度的編碼信息時，可能是 包含于相同的最大編碼單位的最小編碼單位。
[0059] 根據(jù)圖像編碼裝置100的最簡單形態(tài)的實施例，按深度的編碼單位是將一層下位 深度的編碼單位的高度和寬度分為一半的大小的編碼單位。即，如果當(dāng)前深度（K)的編碼 單位的大小為2NX2N，則上位深度（K+1)的編碼單位的大小為NXN。2NX2N大小的當(dāng)前編 碼單位最多可包含NXN大小的四個上位深度編碼單位。
[0060] 因此，根據(jù)一實施例的圖像編碼裝置100基于考慮到當(dāng)前圖片的特性而確定的最 大編碼單位的大小和最大深度，對每個最大編碼單位都可以確定最佳形態(tài)的分割形態(tài)。并 且，每個最大編碼單位都可以利用各種預(yù)測模式、頻率變換方式等進行編碼，因此可通過考 慮各種圖像大小的編碼單位的圖像特性來確定最佳的編碼模式。
[0061] 如果圖像分辨率非常高或數(shù)據(jù)量非常大的圖像以現(xiàn)有的16X16大小的宏塊單位 進行編碼，則每個圖像的宏塊的數(shù)量會過多。據(jù)此，每個宏塊所生成的壓縮信息變多，從而 導(dǎo)致壓縮信息的傳送負(fù)擔(dān)變大，數(shù)據(jù)壓縮效率降低。因此，根據(jù)本發(fā)明一實施例的圖像編碼 裝置，可通過考慮圖像大小來使得編碼單位的最大大小增加，并通過考慮圖像特性來調(diào)節(jié) 編碼單位，因此可增大圖像壓縮效率。
[0062] 圖2示出根據(jù)本發(fā)明一實施例的圖像解碼裝置的方塊圖。
[0063] 參照圖2,根據(jù)本發(fā)明一實施例的圖像解碼裝置200包含圖像數(shù)據(jù)獲取部210、編 碼信息提取部220以及圖像數(shù)據(jù)解碼部230。
[0064] 圖像數(shù)據(jù)獲取部210通過解析圖像解碼裝置200所接收的位串，按最大編碼單位 獲取圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)輸出至圖像解碼部230。圖像數(shù)據(jù)獲取部210能夠從關(guān)于當(dāng) 前圖片或片段的幀頭（header)提取關(guān)于當(dāng)前圖片或片段的最大編碼單位的信息。根據(jù)本 發(fā)明一實施例的圖像解碼裝置200按最大編碼單位對圖像數(shù)據(jù)進行解碼。
[0065] 編碼信息提取部220通過解析圖像解碼裝置200所接收的位串，從關(guān)于當(dāng)前圖片 的幀頭（header)提取按最大編碼單位的編碼深度和關(guān)于編碼模式的信息。所提取的編碼 深度和關(guān)于編碼模式的信息被輸出至圖像數(shù)據(jù)解碼部230。
[0066] 按最大編碼單位的編碼深度和關(guān)于編碼模式的信息，可對一個以上的編碼深度信 息進行設(shè)定，關(guān)于按編碼深度的編碼模式的信息可包含按編碼單位的預(yù)測單位的分割方式 信息、預(yù)測模式信息以及變換單位的大小信息等。并且，也可以提取作為編碼深度信息的按 深度的縮小信息。
[0067] 關(guān)于最大編碼單位的分割形態(tài)的信息可根據(jù)包含于最大編碼單位的深度而包含 關(guān)于不同大小的子編碼單位的信息，關(guān)于編碼模式的信息可包含關(guān)于按子編碼單位的預(yù)測 單位的信息、關(guān)于預(yù)測模式的信息以及關(guān)于變換單位的信息。
[0068] 圖像數(shù)據(jù)解碼部230基于從編碼信息提取部提取的信息，對每個最大編碼單位的 圖像數(shù)據(jù)進行解碼，以復(fù)原當(dāng)前圖片?；陉P(guān)于最大編碼單位的分割形態(tài)的信息，圖像數(shù)據(jù) 解碼部230可以對包含于最大編碼單位的子編碼單位進行解碼。解碼過程可包含具備有幀 內(nèi)預(yù)測和運動補償?shù)倪\動預(yù)測過程、以及頻率逆變換過程。
[0069] 圖像數(shù)據(jù)解碼部230基于按最大編碼單位的編碼深度和關(guān)于編碼模式的信息，對 各最大編碼單位的圖像數(shù)據(jù)進行解碼，以復(fù)原當(dāng)前圖片?；诎醋畲缶幋a單位的編碼深度 信息，圖像數(shù)據(jù)解碼部230可對至少一個編碼深度的每個編碼單位進行圖像數(shù)據(jù)的解碼。 解碼過程可包含具備有幀內(nèi)預(yù)測和運動補償?shù)念A(yù)測過程和逆變換過程。
[0070] 圖像數(shù)據(jù)解碼部230為了按編碼單位進行預(yù)測，可基于按編碼深度的編碼單位的 預(yù)測單位的分割方式信息和預(yù)測模式信息，對每個編碼單以各預(yù)測單位和預(yù)測模式進行幀 內(nèi)預(yù)測或運動補償。并且，為了按最大編碼單位進行逆變換，圖像數(shù)據(jù)編碼部230可基于每 個編碼深度的編碼單位的變換單位的大小信息，對每個編碼單位都以各個變換單位進行逆 變換。
[0071] 圖像數(shù)據(jù)解碼部230可確定利用按深度的縮小信息的當(dāng)前最大編碼單位的編碼 深度。如果縮小信息表示以當(dāng)前深度進行編碼，則當(dāng)前深度即為編碼深度。因此，圖像數(shù)據(jù) 解碼部230對于當(dāng)前最大編碼單位的圖像數(shù)據(jù)，可利用預(yù)測單位的分割方式、預(yù)測模式以 及變換單位大小信息對當(dāng)前深度的編碼單位進行解碼。即，可通過觀察對最小編碼單位設(shè) 定的編碼信息，聚集具有包含相同縮小信息的編碼信息的最小編碼單位，解碼成一個數(shù)據(jù) 單位。
[0072] 根據(jù)一實施例的圖像解碼裝置200在編碼過程中對每個最大編碼單位都遞歸地 進行編碼，以獲取關(guān)于產(chǎn)生最小編碼誤差的編碼單位的信息，從而可應(yīng)用于對當(dāng)前圖片的 編碼。即，每個最大編碼單位都能夠以最佳編碼單位進行圖像數(shù)據(jù)的編碼。因此，即使是高 分辨率的圖像或數(shù)據(jù)量過多的圖像，可利用從編碼端傳送的關(guān)于最佳編碼模式的信息，根 據(jù)圖像特性適應(yīng)性確定的編碼單位的大小和編碼模式而有效地解碼并復(fù)原圖像數(shù)據(jù)。
[0073] 圖3示出根據(jù)本發(fā)明一實施例的層級編碼單位。
[0074] 參照圖3,根據(jù)本發(fā)明的層級編碼單位可從寬度X高度為64X64的編碼單位，涵 蓋32X32、16X16、8X8、4X4。除了正四邊形形狀的編碼單位之外，還可存在寬度X高度 為 64X32、32X64、32X16、16X32、16X8、8X16、8X4、4X8 的編碼單位。
[0075] 在圖3中，對于視頻數(shù)據(jù)310而言，設(shè)定為分辨率為1920X1080、最大編碼單位的 大小為64、最大深度為2。并且，對于視頻數(shù)據(jù)320而言。設(shè)定為分辨率為1920X1080、 編碼單位的最大大小為64、最大深度為4。并且，對于視頻數(shù)據(jù)330而言，設(shè)定為分辨率為 352X288、編碼單位的最大大小為16、最大深度為2。
[0076] 當(dāng)分辨率高或者數(shù)據(jù)量多時，為了提高壓縮率的同時正確反映圖像特性，優(yōu)選地 使編碼大小的最大大小相對較大。因此，相比視頻數(shù)據(jù)330,分辨率高的視頻數(shù)據(jù)310、320 可選擇編碼大小的最大大小為64。
[0077] 最大深度表示層級編碼單位中的總層數(shù)。因此，由于視頻數(shù)據(jù)310的最大深度為 2,從而視頻數(shù)據(jù)310的編碼單位315可包括從長軸大小為64的最大編碼單位至深度增加 兩層而長軸大小為32、16的編碼單位。相反，由于視頻數(shù)據(jù)330的最大深度為2,從而視頻 數(shù)據(jù)330的編碼單位335可包括從長軸大小為16的編碼單位至深度增加兩層而長軸大小 為8、4的編碼單位。
[0078] 由于視頻數(shù)據(jù)320的最大深度為4,從而視頻數(shù)據(jù)320的編碼單位可包括從長軸大 小為64的編碼單位至深度增加四層而長軸大小為32、16、8、4的編碼單位。深度越是增加 越會基于更小的子編碼單位對圖像進行編碼，因此適合對包含有更加細(xì)致的場景的圖像進 行編碼。
[0079] 圖4示出根據(jù)本發(fā)明一實施例的基于編碼單位的圖像編碼部的方塊圖。
[0080] 參照圖4,幀內(nèi)預(yù)測部410對當(dāng)前幀405中幀內(nèi)模式的預(yù)測單位進行幀內(nèi)預(yù)測，運 動估計部420以及運動補償部425利用當(dāng)前幀405和參照幀495對幀間模式的預(yù)測單位進 行幀間預(yù)測和運動補償。
[0081] 基于從幀內(nèi)預(yù)測部410、運動估計部420以及運動補償部425輸出的預(yù)測單位生 成剩余誤差值，所生成的剩余誤差值經(jīng)過頻率變換部430和量化部440而輸出為被量化的 變換系數(shù)。尤其，如參照圖12后述的根據(jù)本發(fā)明一實施例的幀內(nèi)預(yù)測部410進行利用其周 邊像素變更經(jīng)幀內(nèi)預(yù)測的編碼單位的各像素的后處理，并且作為經(jīng)后處理的編碼單位與原 編碼單位的差值的剩余誤差值經(jīng)過頻率變換部430和量化部440而輸出為被量化的變換系 數(shù)。
[0082] 被量化的變換系數(shù)通過逆量化部460、頻率逆變換部470重新復(fù)原為剩余誤差值， 被復(fù)原的剩余誤差值經(jīng)過去塊（deblocking)部480以及環(huán)路濾波（loop filtering)部490 而輸出為參照幀495。被量化的變換系數(shù)經(jīng)過熵（entropy)編碼部450而輸出為比特流 455。
[0083] 為了根據(jù)本發(fā)明一實施例的圖像編碼方法進行編碼，作為圖像編碼部400的構(gòu)成 要素的幀內(nèi)預(yù)測部410、運動估計部420、運動補償部425、頻率變換部430、量化部440、熵 編碼部450、逆量化部460、頻率逆變換部470、去塊部480、以及環(huán)路濾波部490等全部都基 于最大編碼單位、根據(jù)深度的子編碼單位、預(yù)測單位以及變換單位而處理圖像編碼過程。尤 其，幀內(nèi)預(yù)測部410、運動估計部420以及運動補償部425通過考慮編碼單位的最大大小和 深度而確定編碼單位內(nèi)的預(yù)測單位和預(yù)測模式，頻率變換部430通過考慮編碼單位的最大 大小和深度來考慮變換單位的大小。
[0084] 圖5示出根據(jù)本發(fā)明一實施例的基于編碼單位的圖像解碼部的方塊圖。
[0085] 參照圖5,比特流505經(jīng)過解析部510,從而作為解碼對象的被編碼的圖像數(shù)據(jù)和 為解碼而所需的編碼信息被解析。被編碼的圖像數(shù)據(jù)經(jīng)過熵解碼部520和逆量化部530輸 出為被逆量化的數(shù)據(jù)，并經(jīng)過頻率逆變換部540復(fù)原為剩余誤差值。剩余誤差值與幀內(nèi)預(yù) 測部550的幀內(nèi)預(yù)測的結(jié)果或運動補償560的運動補償結(jié)果進行加法運算，從而按編碼單 位被復(fù)原。被復(fù)原的編碼單位經(jīng)過去塊部570和環(huán)路濾波部580,被應(yīng)用于下次編碼單位或 下次圖片的預(yù)測。
[0086] 為了根據(jù)本發(fā)明一實施例的圖像解碼方法進行解碼，作為圖像解碼部500的構(gòu)成 要素的解析部510、熵解碼部520、逆量化部530、頻率逆變換部540、幀內(nèi)預(yù)測部550、運動 補償部560、去塊部570以及環(huán)路濾波部580全部都基于最大編碼單位、根據(jù)深度的子編碼 單位、預(yù)測單位以及變換單位而處理圖像編碼過程。尤其，幀內(nèi)預(yù)測部510、運動補償部560 通過考慮編碼單位的最大大小和深度而確定編碼單位內(nèi)的預(yù)測單位和預(yù)測模式，頻率逆變 換部540通過考慮編碼單位的最大大小和深度來考慮變換單位的大小。
[0087] 圖6為示出根據(jù)本發(fā)明一實施例的按深度（deeper)的編碼單位和預(yù)測單位。
[0088] 根據(jù)一實施例的圖像編碼裝置100以及根據(jù)一實施例的圖像解碼裝置200為了考 慮圖像特性而使用層級編碼單位。編碼單位的最大高度及寬度、最大深度根據(jù)圖像特性而 可適應(yīng)性地確定，也可以根據(jù)用戶的要求設(shè)定為各種各樣。按深度的編碼單位的大小也可 以根據(jù)事先設(shè)定的編碼單位的最大大小來確定。
[0089] 根據(jù)本發(fā)明一實施例的編碼單位的層級結(jié)構(gòu)600示出的是編碼單位的最大高度 和寬度為64,最大深度為4的情況。由于深度沿著根據(jù)一實施例的編碼單位的層級結(jié)構(gòu)600 的堅軸增加，因此按深度的編碼單位的高度和寬度分別被縮小。并且，沿著編碼單位的層級 結(jié)構(gòu)600的橫軸示出成為各個按深度的編碼單位的預(yù)測基礎(chǔ)的作為部分?jǐn)?shù)據(jù)單位的預(yù)測 單位。
[0090] 最大編碼單位610作為編碼單位的層級結(jié)構(gòu)600中的最大編碼單位，深度為0,且 編碼單位的大小，即高度和寬度為64X64。深度沿著堅軸增加，且存在有大小為32X32且 深度為1的編碼單位620、大小為16X 16且深度為2的編碼單位630、大小為8X8且深度 為3的編碼單位640、大小為4X4且深度為4的編碼單位650。大小為4X4且深度為4的 編碼單位650為最小編碼單位。
[0091] 并且，參照圖6,按各個深度沿橫軸示出作為編碼單位的預(yù)測單位的部分?jǐn)?shù)據(jù)單 位。即，深度為〇且大小為64X64的最大編碼單位610的預(yù)測單位可以是包含于大小為 64X64的編碼單位610的大小為64X64的部分?jǐn)?shù)據(jù)單位610、大小為64X32的部分?jǐn)?shù)據(jù) 單位612、大小為32X64的部分?jǐn)?shù)據(jù)單位614、大小為32X32的部分?jǐn)?shù)據(jù)單位616。
[0092] 深度為1且大小為32X32的編碼單位620的預(yù)測單位可以是包含于大小為 32X32的編碼單位620的大小為32X32的部分?jǐn)?shù)據(jù)單位620、大小為32X16的部分?jǐn)?shù)據(jù) 單位622、大小為16X32的部分?jǐn)?shù)據(jù)單位624、大小為16X16的部分?jǐn)?shù)據(jù)單位626。
[0093] 深度為2且大小為16X16的編碼單位630的預(yù)測單位可以是包含于大小為 16 X 16的編碼單位630的大小為16 X 16的部分?jǐn)?shù)據(jù)單位630、大小為16X8的部分?jǐn)?shù)據(jù)單 位632、大小為8X 16的部分?jǐn)?shù)據(jù)單位634、大小為8X8的部分?jǐn)?shù)據(jù)單位636。
[0094] 深度為3且大小為8 X 8的編碼單位640的預(yù)測單位可以是包含于大小為8 X 8的 編碼單位640的大小為8X8的部分?jǐn)?shù)據(jù)單位640、大小為8X4的部分?jǐn)?shù)據(jù)單位642、大小 為4X8的部分?jǐn)?shù)據(jù)單位644、大小為4X4的部分?jǐn)?shù)據(jù)單位636。
[0095] 最后，深度為4且大小為4X4的編碼單位650是最小編碼單位，且是最上位深度 的編碼單位，相關(guān)預(yù)測單位也是大小為4X4的數(shù)據(jù)單位650。
[0096] 根據(jù)一實施例的圖像編碼裝置的編碼深度確定部120為了確定最大編碼單位610 的編碼深度，需要對包含于最大編碼單位610的各深度的編碼單位都需要進行編碼。
[0097] 對于用于包含相同范圍和大小的數(shù)據(jù)的按深度的編碼單位的數(shù)量而言，隨著深度 增加，按深度的編碼單位的數(shù)量也增加。例如，對于包含有一個深度為1的編碼單位的數(shù) 據(jù)，深度為2的編碼單位需要四個。因此，為了按深度比較相同的數(shù)據(jù)的編碼結(jié)果，需要利 用一個深度為1的編碼單位和四個深度為2的編碼單位分別進行編碼。
[0098] 為了按各個深度進行編碼，沿著編碼單位的層級結(jié)構(gòu)600的橫軸，對每個按深度 的編碼單位的預(yù)測單元都進行編碼，從而能夠在相關(guān)深度中選擇作為最小編碼誤差的代表 編碼誤差。并且，沿著編碼單位的層級結(jié)構(gòu)600的堅軸增加深度，并且對每個深度都進行編 碼，由此比較按照深度的代表編碼誤差，以檢索出最小編碼誤差。最大編碼單位610中發(fā)生 最小編碼誤差的深度可被選為最大編碼單位610的編碼深度以及分割方式。
[0099] 圖7示出根據(jù)本發(fā)明一實施例的編碼單位以及變換單位的關(guān)系。
[0100] 根據(jù)本發(fā)明一實施例的圖像編碼裝置1〇〇及圖像解碼裝置200每個最大編碼單位 都以小于或相同于最大編碼單位的大小的編碼單位分割圖像，以進行編碼或解碼。在編碼 過程中，用于頻率變換的變換單位的大小可基于不大于每個編碼單位的數(shù)據(jù)單位而選擇。 例如，當(dāng)前編碼單位710為64X64大小時，可利用32X32大小的變換單位720來進行頻率 變換。并且，64 X 64大小的編碼單位710的數(shù)據(jù)分別以64 X 64大小以下的32 X 32、16 X 16、 8X8、4X4大小的變換單位進行頻率變換而進行編碼之后，可選擇出與原始狀態(tài)之間誤差 最小的變換單位。
[0101] 圖8根據(jù)本發(fā)明一實施例示出按深度的編碼信息。
[0102] 根據(jù)本發(fā)明一實施例的圖像編碼裝置100的編碼信息編碼部，針對各個編碼深度 的每個編碼單位，編碼關(guān)于分割方式的信息800、關(guān)于預(yù)測模式的信息810、關(guān)于變換單位 大小的信息820而傳送，以作為關(guān)于編碼模式的信息。
[0103] 關(guān)于分割方式的信息800是用于當(dāng)前編碼單位的運動預(yù)測的預(yù)測單位，表示關(guān)于 當(dāng)前編碼單位被分割的方式的信息。例如，深度為〇且大小為2NX2N的當(dāng)前編碼單位CU_0 分割成大小為2NX2N的預(yù)測單位802、大小為2NXN的預(yù)測單位804、大小為NX2N的預(yù)測 單位806、大小為NXN的預(yù)測單位808中的一個方式，以用作預(yù)測單位。此時，關(guān)于當(dāng)前編碼 單位的分割方式的信息800設(shè)定成能夠表示大小為2NX2N的預(yù)測單位802、大小為2NXN 的預(yù)測單位804、大小為NX2N的預(yù)測單位806以及大小為NXN的預(yù)測單位808中的一個 預(yù)測單位。
[0104] 關(guān)于預(yù)測模式的信息810表示各個預(yù)測單位的運動預(yù)測模式。例如，可通過關(guān)于 預(yù)測模式的信息810設(shè)定關(guān)于分割方式的信息800所表示的預(yù)測單位是否用幀內(nèi)模式812、 幀間模式814以及跳躍模式816中的一個進行運動預(yù)測。
[0105] 并且，關(guān)于變換單位大小的信息820表示基于哪種變換單位對當(dāng)前編碼單位進行 頻率變換。例如，變換單位可以是第一幀內(nèi)變換單位大小822、第二幀內(nèi)變換單位大小824、 第一幀間變換單位大小826、第二幀間變換單位大小828中的一個。
[0106] 根據(jù)本發(fā)明一實施例的圖像解碼裝置200的編碼信息提取部，針對各個按深度的 編碼單位，提取關(guān)于分割方式的信息800、關(guān)于預(yù)測模式的信息810、關(guān)于變換單位大小的 信息820,以用于解碼。
[0107] 圖9示出根據(jù)本發(fā)明一實施例的按深度的編碼單位。
[0108] 為了表示深度增加與否，可應(yīng)用縮小信息?？s小信息表示當(dāng)前深度的編碼單位是 否縮小為上位深度的編碼單位。
[0109] 用于運動預(yù)測深度為0且2N_0X2N_0大小的編碼單位的預(yù)測單位910可包含 2N_0X2N_0大小的分割方式912、2N_0XN_0大小的分割方式914、N_0X2N_0大小的分割 方式916、N_0XN_0大小的分割方式918。
[0110] 每個分割方式中，對每個的一個2N_0X2N_0大小的預(yù)測單位、兩個2N_0XN_0大 小的預(yù)測單位、兩個N_0X2N_0大小的預(yù)測單位、四個Ν_0ΧΝ_0大小的預(yù)測單位都要進行 根據(jù)反復(fù)運動預(yù)測的編碼。對于大小為2N_0XN_0以及大小為Ν_0ΧΝ_0的預(yù)測單位，可以 以幀內(nèi)模式以及幀間模式進行運動預(yù)測，大小為N_0X2N_0以及大小為Ν_0ΧΝ_0的預(yù)測單 位僅可以以幀間模式進行運動預(yù)測。跳躍模式僅可以對大小為2N_0XN_0的預(yù)測單位進 行。
[0111] 如果根據(jù)大小為Ν_0ΧΝ_0的分割方式918的編碼誤差最小，則將深度0增加為深 度1，并對深度為1且大小為Ν_0ΧΝ_0的分割方式的編碼單位922、924、926、928反復(fù)檢索 最小編碼誤差。
[0112] 由于對相同深度的編碼單位922、924、926、928反復(fù)進行編碼，因此舉其中一個 為例說明深度為1的編碼單位的編碼。用于運動預(yù)測深度為1且大小為2N_1X2N_1(= Ν_0ΧΝ_0)的編碼單位的預(yù)測單位930可包含大小為2N_1X2N_1的分割方式932、大小為 2N_1XN_1的分割方式934、大小為N_1X2N_1的分割方式936、大小為N_1XN_1的分割方 式938。每個分割方式，對每個的一個2N_1 X 2N_1大小的預(yù)測單位、兩個2N_1 XN_1大小的 預(yù)測單位、兩個N_1X2N_1大小的預(yù)測單位、四個N_1XN_1大小的預(yù)測單位都要進行根據(jù) 反復(fù)運動預(yù)測的編碼。
[0113] 并且，如果根據(jù)大小為N_1XN_1的分割方式938的編碼誤差最小，則將深度1增 加為深度2 (940)，并對深度為2且大小為N_1 XN_1的編碼單位942、944、946、948反復(fù)檢索 最小編碼誤差。
[0114] 如果最大深度為d，則按深度的縮小信息可被設(shè)定至深度為d-Ι為止。即，用于運 動預(yù)測深度為d-Ι且大小為2N_(d-l) X2N_(d-l)的編碼單位的預(yù)測單位950可包含大小 為2N_(d-l) X2N_(d-l)的分割方式952、大小為2N_(d-l) XN_(d-l)的分割方式954、大小 SN_(d-l)X2N_(d-l)的分割方式 956、大小為 N_(d-l)XN_(d-l)的分割方式 958。
[0115] 每個分割方式，對每個的一個2N_(d-l) X2N_(d-l)大小的預(yù)測單位、兩個2N_ (d-1) X N_ (d-ι)大小的預(yù)測單位、兩個N_ (d-1) X 2N_ (d-ι)大小的預(yù)測單位、四個N_ (d-l)XN_(d-l)大小的預(yù)測單位都要進行根據(jù)反復(fù)運動預(yù)測的編碼。由于最大深度為d， 因此深度為d-1的編碼單位952不會再進行縮小過程。
[0116] 根據(jù)本發(fā)明一實施例的圖像編碼裝置100為了確定針對編碼單位912的編碼深 度，通過比較按深度的編碼誤差來選擇發(fā)生最小編碼誤差的深度。例如，針對深度為0的編 碼單位的編碼誤差，對每個分割方式912、914、916、918都進行運動預(yù)測而進行編碼之后確 定發(fā)生最小編碼誤差的預(yù)測單位。相同地，每個深度〇、1.....d-Ι都能夠檢索出編碼誤差 最小的預(yù)測單位。在深度d中，通過基于大小為2N_dX2N_d的編碼單位的預(yù)測單位960的 運動預(yù)測來確定編碼誤差。如此，通過比較深度為〇、1.....d-1、d的所有按深度的最小編 碼誤差，從而選擇誤差最小的深度，以確定為編碼深度。編碼深度以及相關(guān)深度的預(yù)測單位 將作為與編碼模式有關(guān)的信息而被編碼之后被傳送。并且，編碼單位從深度〇至編碼深度 為止應(yīng)縮小，因此，應(yīng)當(dāng)僅使編碼深度的縮小信息被設(shè)定為"0"，而除了編碼深度的按深度 的縮小信息應(yīng)被設(shè)定為"1"。
[0117] 根據(jù)本發(fā)明一實施例的圖像解碼裝置200的編碼信息提取部220可用于通過提取 關(guān)于編碼單位912的編碼深度和關(guān)于預(yù)測單位的信息來對編碼單位912進行解碼。根據(jù)一 實施例的圖像解碼裝置200可利用按深度的縮小信息將縮小信息為"0"的深度確定為編碼 深度，并可利用關(guān)于相關(guān)深度的編碼模式的信息來用于解碼。
[0118] 圖10a和圖10b示出根據(jù)本發(fā)明一實施例的編碼單位、預(yù)測單位以及頻率變換單 位的關(guān)系。
[0119] 編碼單位1010為由根據(jù)一實施例的圖像編碼裝置100對最大編碼單位1000所確 定的按編碼深度的編碼單位。預(yù)測單位1060是編碼單位1010中的各個按編碼深度的編碼 單位的預(yù)測單位，變換單位1070是各個按編碼深度的編碼單位的變換單位。
[0120] 對于按深度的編碼單位1010,如果最大編碼單位1000的深度為0,則編碼單位 1012U054的深度為1，編碼單位1014、1016、1018、1028、1050、1052的深度為2,編碼單位 1020、1022、1024、1026、1030、1032、1048 的深度為 3,編碼單位 1040、1042、1044、1046 的深 度為4。
[0121] 預(yù)測單元 1060 中的一部分 1014、1016、1022、1032、1048、1050、1052、1054 是編碼 單位分割的方式。即，預(yù)測單元1014、1022、1050、1054為2NXN的分割方式，預(yù)測單位1016、 1048U052為NX2N的分割方式，預(yù)測單元1032為NXN的分割方式。即，按深度的編碼單 元1010的預(yù)測單元相比各編碼單位小或者相同。
[0122] 對于變換單位1070中的一部分1052、1054的圖像數(shù)據(jù)，以小于編碼單位的大小 的數(shù)據(jù)單位進行頻率變換或者頻率逆變換。并且，變換單位1014、1016、1022、1032、1048、 1050、1052、1054與預(yù)測單位1060中的相應(yīng)預(yù)測單位進行相比，是大小或形態(tài)相互不同的 數(shù)據(jù)單位。即，根據(jù)本發(fā)明一實施例的圖像編碼裝置100和圖像解碼裝置200即便是對相 同編碼單位的預(yù)測以及頻率變換/逆變換的動作，也可以分別基于不同的數(shù)據(jù)單位進行。
[0123] 圖11示出根據(jù)本發(fā)明一實施例的按編碼單位的編碼信息。
[0124] 根據(jù)本發(fā)明一實施例的圖像編碼裝置100的編碼信息編碼部140對按編碼單位的 編碼信息進行編碼，根據(jù)本發(fā)明一實施例的圖像解碼裝置200的編碼信息提取部220可提 取按編碼單位的編碼信息。
[0125] 編碼信息可以包含關(guān)于編碼單位的縮小信息、分割方式信息、預(yù)測模式信息、變換 單位大小信息。圖11所示的編碼信息僅為能夠由根據(jù)本發(fā)明一實施例的圖像編碼裝置100 和圖像解碼裝置200設(shè)定的一例，但并不限定于如圖所示的情況。
[0126] 縮小信息可以表示相關(guān)編碼單位的編碼深度。即，根據(jù)縮小信息不再縮小的深度 為編碼深度，因此，可對編碼深度定義分割方式信息、預(yù)測模式、變換單位大小信息。當(dāng)根據(jù) 縮小信息，需要再縮小一層時，每個被縮小的四個上位深度的編碼單位需要獨立進行編碼。
[0127] 分割方式信息可將編碼深度的編碼單位的變換單位的分割方式由2NX2N、2NXN、 NX2N以及NXN中的一個來表示。預(yù)測模式可將運動預(yù)測模式由幀內(nèi)模式、幀間模式以及 跳躍模式中的一個來表示。幀內(nèi)模式僅可以在分割方式為2NX2N以NXN中被定義，跳躍 模式僅可以在分割方式為2NX2N中被定義。變換單位大小在幀內(nèi)模式中可以被設(shè)定為兩 種類型的大小，在幀間模式中可以被設(shè)定為兩種類型的大小。
[0128] 每個編碼單位內(nèi)的最小編碼單位，都可以按所屬的編碼深度的編碼單位收集編碼 信息。因此，如果確認(rèn)相鄰的最小編碼單位之間分別所具有的編碼信息，則可以確認(rèn)是否包 含于相同編碼深度的編碼單位。并且，如果利用最小編碼單位所具有的編碼信息，則可以確 認(rèn)相關(guān)編碼深度的編碼單位，由此可以類推最大編碼單位內(nèi)的編碼深度的分布。
[0129] 以下，對在根據(jù)圖4的本發(fā)明一實施例的圖像編碼裝置100的幀內(nèi)預(yù)測部410和 根據(jù)圖5的圖像解碼裝置200的幀內(nèi)預(yù)測部550中進行的幀內(nèi)預(yù)測進行具體的說明。在以 下說明中，編碼單位為在圖像的編碼步驟中所稱的術(shù)語，而在圖像解碼步驟中，編碼單位可 被定義為解碼單位。即，所謂編碼單位和解碼單位的術(shù)語，區(qū)別僅在于在圖像編碼步驟和解 碼步驟中的哪個步驟中所稱，編碼步驟中的編碼單位在解碼步驟中可以被稱為解碼單位。 為了統(tǒng)一術(shù)語，除了特殊情況，在編碼步驟和解碼步驟中統(tǒng)一稱為編碼單位。
[0130] 圖12為示出根據(jù)本發(fā)明一實施例的幀內(nèi)預(yù)測部1200的結(jié)構(gòu)的方框圖。
[0131] 參照圖12,根據(jù)本發(fā)明一實施例的幀內(nèi)預(yù)測部1200包含預(yù)測部210和后處理部 1220。預(yù)測部1210適用根據(jù)當(dāng)前編碼單位的大小而定的幀內(nèi)預(yù)測模式進行對當(dāng)前編碼單 位的幀內(nèi)預(yù)測，并輸出第一預(yù)測編碼單位。后處理部1220進行利用構(gòu)成第一預(yù)測編碼單位 的各像素的周邊像素來變更第一預(yù)測編碼單位的各像素的像素值的后處理，以輸出經(jīng)后處 理的第二預(yù)測編碼單位。
[0132] 圖13為根據(jù)本發(fā)明一實施例的基于編碼單位的大小的幀內(nèi)預(yù)測模式的數(shù)量。
[0133] 基于根據(jù)本發(fā)明一實施例的編碼單位（在解碼步驟中為解碼單位）的大小，可多 樣地設(shè)定適用于編碼單位的幀內(nèi)預(yù)測模式的數(shù)量。作為一例，參照圖13,當(dāng)進行幀內(nèi)預(yù)測的 編碼單位的大小為 NXN 時，對于各個 2X2、4X4、8X8、16X16、32X32、64X64、128X128 大小的編碼單位，實際進行的幀內(nèi)預(yù)測模式的數(shù)量分別可設(shè)定為5、9、9、17、33、5、5個（例2 的情況）。如此，基于編碼單位的大小而差別化實際進行的幀內(nèi)預(yù)測模式的數(shù)量的理由為， 用于根據(jù)編碼單位大小對預(yù)測模式信息進行編碼的開銷（overhead)不同。也就是說，如果 是較小大小的編碼單位，即使在整個圖像中所占的部分較小，也可能使得用于傳送這種較 小的編碼單位的預(yù)測模式等附加信息的開銷增加，因此，當(dāng)用較多的預(yù)測模式對較小的編 碼單位進行編碼時，有可能導(dǎo)致比特量增加而降低壓縮效率。并且，具有較大大小的的編碼 單位、例如具有64X64以上的大小的編碼單位一般被選擇為圖像的平坦區(qū)域的編碼單位 的情況較多，因此對這種平坦區(qū)域進行編碼時選擇較多的較大大小的編碼單位用過多的預(yù) 測模式進行編碼，仍然會降低壓縮效率。
[0134] 因此，根據(jù)本發(fā)明一實施例，編碼單位大體分為N1XN1(2<N1 <8，N1為整數(shù)）、 N2XN2(16 < N2 < 32，N2為整數(shù)）、N3XN3(64 < N3，N3為整數(shù)）的至少三種類型的大小， 當(dāng)將每個具有N1 XN1大小的編碼單位都進行的幀內(nèi)預(yù)測模式的數(shù)量為A1 (A1為正整數(shù)）， 每個具有N2XN2大小的編碼單位都進行的幀內(nèi)預(yù)測模式的數(shù)量為A2 (A2為正整數(shù)），每個 具有N3 XN3大小的編碼單位都進行的幀內(nèi)預(yù)測模式的數(shù)量為A3 (A3為正整數(shù)）時，優(yōu)選地 設(shè)定基于各編碼單位的大小而要進行的幀內(nèi)預(yù)測模式的數(shù)量，以滿足A3 < Al < A2的關(guān) 系。即，若當(dāng)前圖片大體分為小尺寸的編碼單位，中間尺寸的編碼單位、大尺寸的編碼單位， 優(yōu)選地設(shè)定中間尺寸的編碼單位具有最多數(shù)量的預(yù)測模式，小尺寸的編碼單位及大尺寸的 編碼單位具有相對較少數(shù)量的預(yù)測模式。但是，并不限定于此，對于小尺寸和大尺寸的編碼 單位也可以設(shè)定為具有更多數(shù)量的預(yù)測模式。基于圖13所示的各編碼單位的大小的預(yù)測 模式的數(shù)量僅是一個實施例，基于各編碼單位的大小的預(yù)測模式的數(shù)量可以變更。
[0135] 圖14a為用于說明根據(jù)本發(fā)明一實施例的適用于預(yù)定大小的編碼單位的幀內(nèi)預(yù) 測模式的一例的圖。
[0136] 參照13和圖14a，作為一例，在進行具有4X4大小的編碼單位的幀內(nèi)預(yù)測時，可 具有垂直（Vertical)模式（模式0)、水平（Horizontal)模式（模式1)、直流（DC，Direct Current)模式（模式2)、對角線左側(cè)（Diagonal Down-Left)模式（模式3)、對角線右側(cè) (Diagonal Down-Right)模式（模式 4)、垂直右側(cè)（Vertical-Right)模式（模式 5)、水平 下側(cè)（Horizontal-Down)模式（模式6)、垂直左側(cè)（Vertical-Left)模式（模式7)以及水 平上側(cè)（Horizontal-Up)模式（模式8)。
[0137] 圖14b為示出圖14a的幀內(nèi)預(yù)測模式的方向的圖。圖14b中箭頭端部的數(shù)表示當(dāng) 沿其方向進行預(yù)測時的相關(guān)模式值。在此，模式2為沒有方向性的DC預(yù)測模式，其沒有在 圖中示出。
[0138] 圖14c為示出對于圖14a所示的編碼單位的幀內(nèi)預(yù)測方法的圖。
[0139] 參照圖14c，基于根據(jù)編碼單位的大小確定的可利用的幀內(nèi)模式，利用作為當(dāng)前編 碼單位的周邊像素的A-Μ來生成預(yù)測編碼單位。例如，基于圖14a的模式0,即垂直模式說 明對4X4大小的當(dāng)前編碼單位進行預(yù)測編碼的動作。首先將臨近于4X4大小的當(dāng)前編碼 單位的上側(cè)的像素A至D的像素值預(yù)測為4X4當(dāng)前編碼單位的像素值。即，將像素A的值 預(yù)測為包含于4X4大小的當(dāng)前編碼單位的第一列的4個像素值，將像素B的值預(yù)測為包含 于4X4大小的當(dāng)前編碼單位的第二列的4個像素值，將像素C的值預(yù)測為包含于4X4大 小的當(dāng)前編碼單位的第三列的4個像素值，將像素D的值預(yù)測為包含于4X4大小的當(dāng)前編 碼單位的第四列的4個像素值。然后，使利用所述像素A至D所預(yù)測的4X4大小的當(dāng)前編 碼單位與包含于原來的4X4大小的當(dāng)前編碼單位的像素的實際值進行減法運算，求出誤 差值，并對其誤差值進行編碼。
[0140] 圖15為用于說明根據(jù)本發(fā)明一實施例的適用于預(yù)定大小的編碼單位的幀內(nèi)預(yù)測 模式的另一例的圖。
[0141] 參照圖13和圖15,作為一例，在進行具有2X2大小的編碼單位的幀內(nèi)預(yù)測時，可 存在垂直模式、水平模式、直流（DC, Direct Current)、平面（plane)模式以及對角線右側(cè) 模式，總共五個模式。
[0142] 另外，當(dāng)如圖13所示具有32X32大小的編碼單位具有三十三個幀內(nèi)預(yù)測模式時， 需要設(shè)定三十三個幀內(nèi)預(yù)測模式的方向。根據(jù)本發(fā)明一實施例，除了如圖14和圖15所示的 幀內(nèi)預(yù)測模式之外，為了設(shè)定多種方向的幀內(nèi)預(yù)測模式，以編碼單位內(nèi)的像素為中心，利用 dx、dy參數(shù)來設(shè)定用于選擇將被用作參照像素的周邊像素的預(yù)測方向。作為一例，當(dāng)三十三 個預(yù)測模式分別定義為模式N (N為從0至32的整數(shù)）時，模式0設(shè)定為垂直模式，模式1為 水平模式，模式2為直流模式，模式3為平面模式，而模式4?模式31利用表不為如下表1 所示出的（1，-1)、（1，1)、（1，2)、（2, 1)、（1，-2)、（2, 1)、（1，-2)、（2, -1)、（2, -11)、（5, -7)、 (10，-7)、（11，3)、（4,3)、（1，11)、（1，-1)、（12，-3)、（1，-11)、（1，-7)、（3，-10)、（5，-6)、 (7, -6)、（7, -4)、（11，1)、（6, 1)、（8, 3)、（5, 3)、（5, 7)、（2, 7)、（5, -7)、（4, -3)中的一個值 的（dx，dy)被定義為具有tarTHdy/dx)的方向性的預(yù)測模式。
[0143] 【表一】
[0144]

【權(quán)利要求】
1. 一種用于對圖像進行解碼的設(shè)備，所述設(shè)備包括： 熵解碼器，從比特流獲得分割信息； 分割器，通過根據(jù)分割信息分割最大編碼單位，來確定包括在最大編碼單位中的至少 一個編碼單位，并通過將當(dāng)前編碼單位分割至至少一個預(yù)測單位來確定當(dāng)前編碼單位的預(yù) 測單位； 預(yù)測器，通過使用當(dāng)前預(yù)測單位的相鄰像素來獲得當(dāng)前預(yù)測單位的第一預(yù)測值，并通 過使用獲得的第一預(yù)測值和至少一個相鄰像素，來獲得位于當(dāng)前預(yù)測單位的上側(cè)邊界和左 側(cè)邊界的當(dāng)前預(yù)測單位的像素的第二預(yù)測值； 其中，通過使用獲得的第一預(yù)測值和所述至少一個相鄰像素的權(quán)重值，而獲得當(dāng)前預(yù) 測單位的第二預(yù)測值； 其中，圖像根據(jù)關(guān)于編碼單位的最大尺寸的信息而被分割為多個最大編碼單位， 最大編碼單位根據(jù)分割信息被層級分割為一個或更多個深度的編碼單位， 當(dāng)前深度的編碼單位是從上位深度的編碼單位分割的矩形數(shù)據(jù)單位之一， 當(dāng)分割信息指示針對當(dāng)前深度的分割時，當(dāng)前深度的編碼單位與相鄰編碼單位獨立地 被分割至下位深度的編碼單位， 當(dāng)分割信息指示不分割下位深度時，從下位深度的編碼單位獲得至少一個預(yù)測單位。
【文檔編號】H04N19/593GK104113755SQ201410202315
【公開日】2014年10月22日 申請日期:2009年7月2日 優(yōu)先權(quán)日:2008年7月2日
【發(fā)明者】埃琳娜·阿爾辛娜, 亞歷山大·阿爾辛, 范迪姆·謝廖金, 尼古拉·斯利亞科夫, 馬克西姆·高羅替夫 申請人:三星電子株式會社