通過(guò)使用用于統(tǒng)一參考可能性的檢查處理的幀內(nèi)預(yù)測(cè)的視頻編碼方法、視頻解碼方法及 ...的制作方法
【專利摘要】一種幀內(nèi)預(yù)測(cè)方法，包括：從圖像的塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊；檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊是否也僅參考按照幀內(nèi)模式恢復(fù)的塊；基于檢查結(jié)果確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K。
【專利說(shuō)明】通過(guò)使用用于統(tǒng)一參考可能性的檢查處理的幀內(nèi)預(yù)測(cè)的視頻編碼方法、視頻解碼方法及其裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及使用幀內(nèi)預(yù)測(cè)對(duì)視頻進(jìn)行編碼和解碼。
【背景技術(shù)】
[0002]隨著用于再現(xiàn)和存儲(chǔ)高清晰度或高質(zhì)量視頻內(nèi)容的硬件正被開發(fā)和提供，對(duì)用于對(duì)高清晰度或高質(zhì)量視頻內(nèi)容進(jìn)行有效編碼或解碼的視頻編解碼器的需要正在增加。在傳統(tǒng)視頻編解碼器中，根據(jù)基于具有預(yù)定尺寸的宏塊的受限編碼方法來(lái)對(duì)視頻進(jìn)行編碼。
[0003]通過(guò)使用頻率變換將空間域中的圖像數(shù)據(jù)變換為頻域中的系數(shù)。視頻編解碼器通過(guò)將圖像數(shù)據(jù)分割為具有預(yù)定尺寸的塊并對(duì)每個(gè)塊執(zhí)行離散余弦變換(DCT)來(lái)根據(jù)塊單元對(duì)頻率系數(shù)進(jìn)行編碼，以快速地計(jì)算頻率變換。頻域中的系數(shù)比空間域中的圖像數(shù)據(jù)更容易被壓縮。具體地，由于通過(guò)視頻編解碼器的幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)將空間域的圖像像素值表達(dá)為預(yù)測(cè)誤差，因此當(dāng)對(duì)預(yù)測(cè)誤差執(zhí)行頻率變換時(shí)，許多數(shù)據(jù)可能被變換為O。視頻編解碼器通過(guò)使用具有小尺寸的數(shù)據(jù)代替重復(fù)產(chǎn)生的數(shù)據(jù)來(lái)節(jié)省數(shù)據(jù)量。

【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]本發(fā)明提供了一種使用幀內(nèi)預(yù)測(cè)的用于幀內(nèi)模式的預(yù)測(cè)編碼的視頻編碼方法和設(shè)備以及視頻解碼方法和設(shè)備。
[0006]技術(shù)方案
[0007]根據(jù)本發(fā)明的一方面，提供了一種幀內(nèi)預(yù)測(cè)方法，包括:從圖像的塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊；檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是組合幀內(nèi)預(yù)測(cè)(CIP)模式，其中，在CIP模式中僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊；基于檢查結(jié)果確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K；通過(guò)使用被確定為可用塊的參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0008]有益效果
[0009]為了對(duì)當(dāng)前塊進(jìn)行幀內(nèi)預(yù)測(cè)，當(dāng)當(dāng)前塊處于CIP模式時(shí)搜索幀內(nèi)參考?jí)K的處理以及當(dāng)當(dāng)前塊不處于CIP模式時(shí)搜索幀內(nèi)參考?jí)K的處理不必分開?？山y(tǒng)一搜索當(dāng)前塊的幀內(nèi)參考?jí)K的處理，從而降低處理復(fù)雜度。另外，即使當(dāng)幀內(nèi)參考?jí)K的部分區(qū)域偏離圖像的邊界時(shí)，由于與邊界鄰近的可用像素的采樣值被填充(pad)到偏離圖像的邊界的參考區(qū)域而無(wú)論當(dāng)前塊是否不處于CIP模式，故當(dāng)前塊處于CIP模式的情況下的幀內(nèi)預(yù)測(cè)結(jié)果可以與當(dāng)前塊不處于CIP模式的情況下的幀內(nèi)預(yù)測(cè)結(jié)果相同。
【專利附圖】

【附圖說(shuō)明】
[0010]圖1是示出根據(jù)本發(fā)明實(shí)施例的幀內(nèi)預(yù)測(cè)設(shè)備的框圖；
[0011]圖2A和圖2B是用于描述根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)操作的示圖；[0012]圖3是示出根據(jù)CIP模式的確定可用性的傳統(tǒng)處理的流程圖；
[0013]圖4是示出確定可用性而無(wú)論CIP模式如何的處理的流程圖；
[0014]圖5是示出根據(jù)本發(fā)明實(shí)施例的幀內(nèi)預(yù)測(cè)方法的流程圖；
[0015]圖6A是示出根據(jù)本發(fā)明實(shí)施例的包括幀內(nèi)預(yù)測(cè)的視頻編碼方法的流程圖；
[0016]圖6B是示出根據(jù)本發(fā)明實(shí)施例的包括幀內(nèi)預(yù)測(cè)的視頻解碼方法的流程圖；
[0017]圖7是根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元對(duì)視頻進(jìn)行編碼的設(shè)備的框圖；
[0018]圖8是根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元對(duì)視頻進(jìn)行解碼的設(shè)備的框圖；
[0019]圖9是用于描述根據(jù)本發(fā)明實(shí)施例的編碼單元的概念的示圖；
[0020]圖10是根據(jù)本發(fā)明實(shí)施例的基于編碼單元的圖像編碼器的框圖；
[0021]圖11是根據(jù)本發(fā)明實(shí)施例的基于解碼單元的圖像解碼器的框圖；
[0022]圖12是示出根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的更深編碼單元和分區(qū)的示圖；
[0023]圖13是用于描述根據(jù)本發(fā)明實(shí)施例的編碼單元與變換單元之間的關(guān)系的示圖；
[0024]圖14是用于描述根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的編碼信息的示圖；
[0025]圖15是根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的更深編碼單元的示圖；
[0026]圖16至圖18是用于描述根據(jù)本發(fā)明實(shí)施例的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的不圖；
[0027]圖19是用于描述根據(jù)表I的編碼模式信息的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示圖。
【具體實(shí)施方式】
[0028]最優(yōu)實(shí)施方式
[0029]根據(jù)本發(fā)明的一方面，提供了一種幀內(nèi)預(yù)測(cè)方法，包括:從圖像的塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊；檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是組合幀內(nèi)預(yù)測(cè)(CIP)模式，其中，在CIP模式中僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊；基于檢查結(jié)果確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K；通過(guò)使用被確定為可用塊的參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0030]所述搜索鄰近塊的步驟可包括在確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，所述檢查的步驟可包括檢查找到的鄰近塊中的每一個(gè)是否按照幀內(nèi)模式恢復(fù)以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式。
[0031]所述執(zhí)行幀內(nèi)預(yù)測(cè)的步驟可包括當(dāng)參考?jí)K偏離圖像的邊界時(shí)，使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域。
[0032]所述執(zhí)行幀內(nèi)預(yù)測(cè)的步驟可包括當(dāng)參考?jí)K偏離圖像的邊界時(shí)，使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域，而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式。
[0033]根據(jù)本發(fā)明的另一方面，提供了一種幀內(nèi)預(yù)測(cè)設(shè)備，包括:幀內(nèi)參考?jí)K確定器，用于從圖像的塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，基于檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊的組合幀內(nèi)預(yù)測(cè)(CIP)模式的結(jié)果來(lái)確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K；幀內(nèi)預(yù)測(cè)器，用于通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0034]根據(jù)本發(fā)明的另一方面，提供了一種視頻解碼設(shè)備，包括:解析器，用于通過(guò)對(duì)從接收的比特流解析的比特串執(zhí)行熵解碼來(lái)恢復(fù)采樣；逆變換器，用于通過(guò)對(duì)來(lái)自恢復(fù)的采樣的量化的變換系數(shù)執(zhí)行反量化和逆變換來(lái)恢復(fù)采樣；幀內(nèi)預(yù)測(cè)器，用于搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，基于檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊的組合幀內(nèi)預(yù)測(cè)(CIP)模式的結(jié)果來(lái)確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K，并通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)，從而對(duì)采樣中處于幀內(nèi)模式的當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)；運(yùn)動(dòng)補(bǔ)償器，用于對(duì)采樣中處于幀間預(yù)測(cè)模式的塊執(zhí)行運(yùn)動(dòng)補(bǔ)償；恢復(fù)器，用于通過(guò)使用由幀間預(yù)測(cè)器或幀內(nèi)預(yù)測(cè)器恢復(fù)的塊來(lái)恢復(fù)圖像。
[0035]根據(jù)本發(fā)明的另一方面，提供了一種視頻編碼設(shè)備，包括:幀內(nèi)預(yù)測(cè)器，用于搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，基于檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊的組合幀內(nèi)預(yù)測(cè)(CIP)模式的結(jié)果來(lái)確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K，并通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)，從而對(duì)視頻的塊中處于幀內(nèi)模式的當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)；幀間預(yù)測(cè)器，用于對(duì)塊中處于幀間預(yù)測(cè)模式的塊執(zhí)行幀間預(yù)測(cè)；變換器和量化器，用于對(duì)執(zhí)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)的結(jié)果執(zhí)行變換和量化；輸出單元，用于輸出通過(guò)對(duì)包括作為變換和量化的結(jié)果而產(chǎn)生的量化的變換系數(shù)的采樣執(zhí)行熵編碼而產(chǎn)生的比特流。
[0036]根據(jù)本發(fā)明的另一方面，提供了一種記錄有用于執(zhí)行幀內(nèi)預(yù)測(cè)方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)。
[0037]發(fā)明實(shí)施方式
[0038]以下，根據(jù)本發(fā)明的實(shí)施例，參照?qǐng)D1至圖5公開了用于根據(jù)統(tǒng)一處理中的幀內(nèi)模式確定可用性的幀內(nèi)預(yù)測(cè)方法和幀內(nèi)預(yù)測(cè)設(shè)備。另外，根據(jù)本發(fā)明的實(shí)施例，參照?qǐng)D6A和圖6B公開了包括幀內(nèi)預(yù)測(cè)的視頻編碼方法和視頻解碼方法。另外，根據(jù)本發(fā)明的實(shí)施例，參照?qǐng)D7至圖19公開了基于具有樹結(jié)構(gòu)的編碼單元并包括幀內(nèi)預(yù)測(cè)的視頻編碼方法和視頻解碼方法。以下，“圖像”可以是靜止圖像或視頻的運(yùn)動(dòng)圖像，即，視頻本身。
[0039]以下，根據(jù)本發(fā)明的實(shí)施例，參照?qǐng)D1至圖5公開了用于根據(jù)統(tǒng)一處理中的幀內(nèi)模式確定可用性的幀內(nèi)預(yù)測(cè)方法和幀內(nèi)預(yù)測(cè)設(shè)備。另外，公開了根據(jù)本發(fā)明的實(shí)施例的包括幀內(nèi)預(yù)測(cè)方法的視頻編碼方法和視頻解碼方法。
[0040]圖1是示出根據(jù)本發(fā)明實(shí)施例的幀內(nèi)預(yù)測(cè)設(shè)備10的框圖。
[0041]幀內(nèi)預(yù)測(cè)設(shè)備10包括幀內(nèi)參考?jí)K確定器12和幀內(nèi)預(yù)測(cè)器14。
[0042]幀內(nèi)預(yù)測(cè)設(shè)備10基于圖像塊對(duì)視頻進(jìn)行編碼。塊的類型可以是正方形、矩形或任意幾何形狀，而不限于具有預(yù)定尺寸的數(shù)據(jù)單元。根據(jù)本發(fā)明實(shí)施例的塊可以是具有樹結(jié)構(gòu)的編碼單元中的最大編碼單元、編碼單元、預(yù)測(cè)單元或變換單元。后面將參照?qǐng)D7至圖19來(lái)描述基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼和解碼方法。
[0043]幀內(nèi)參考?jí)K確定器12從與當(dāng)前塊鄰近的鄰近塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊。可通過(guò)參考在當(dāng)前塊之前恢復(fù)的鄰近塊來(lái)對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0044]根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)可僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊。幀內(nèi)參考?jí)K確定器12確定預(yù)恢復(fù)的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式。換句話說(shuō)，幀內(nèi)參考?jí)K確定器12可在確定當(dāng)前塊的幀內(nèi)模式是否是CIP模式之前搜索在當(dāng)前塊之前恢復(fù)的鄰近塊。幀內(nèi)參考?jí)K確定器12可在搜索在當(dāng)前塊之前恢復(fù)的鄰近塊之后確定鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊是否也是CIP模式的塊。
[0045]幀內(nèi)參考?jí)K確定器12可基于確定找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊是否也處于CIP模式來(lái)確定找到的鄰近塊是否是當(dāng)前塊的幀內(nèi)預(yù)測(cè)可用的參考?jí)K。
[0046]例如，如果找到的鄰近塊是按照幀內(nèi)模式恢復(fù)的塊，并且當(dāng)前塊處于CIP模式，則幀內(nèi)參考?jí)K確定器12可確定找到的鄰近塊是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K。
[0047]另外，如果找到的鄰近塊不是按照幀內(nèi)模式恢復(fù)的塊，或者當(dāng)前塊不處于CIP模式，則幀內(nèi)參考?jí)K確定器12可確定找到的鄰近塊不是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K。
[0048]幀內(nèi)預(yù)測(cè)器14可通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。當(dāng)參考?jí)K偏離圖像的邊界時(shí)，幀內(nèi)預(yù)測(cè)器14可將參考?jí)K的像素中與邊界內(nèi)部鄰近的像素的采樣值填充到偏離圖像的邊界的區(qū)域。換句話說(shuō)，偏離圖像的邊界的區(qū)域可被填充有鄰近像素的采樣值。
[0049]當(dāng)參考?jí)K偏離圖像的邊界時(shí)，幀內(nèi)預(yù)測(cè)器14可將參考?jí)K的像素中與邊界內(nèi)部鄰近的像素的采樣值填充到偏離圖像的邊界的區(qū)域，而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式。
[0050]幀內(nèi)預(yù)測(cè)器14可通過(guò)參考填充的區(qū)域來(lái)對(duì)當(dāng)前塊進(jìn)行幀內(nèi)預(yù)測(cè)。
[0051]幀內(nèi)預(yù)測(cè)設(shè)備10還可包括用于合作地控制幀內(nèi)參考?jí)K確定器12和幀內(nèi)預(yù)測(cè)器14的中央處理(未示出)?？蛇x擇地，幀內(nèi)參考?jí)K確定器12和幀內(nèi)預(yù)測(cè)器14中的每一個(gè)可通過(guò)它們自身的處理器(未示出)而被操作，并且處理器可有組織地操作以合作操作幀內(nèi)預(yù)測(cè)設(shè)備10?？蛇x擇地，幀內(nèi)預(yù)測(cè)設(shè)備10的外部處理器(未示出)可控制幀內(nèi)參考?jí)K確定器12和幀內(nèi)預(yù)測(cè)器14。
[0052]幀內(nèi)預(yù)測(cè)設(shè)備10還可包括用于存儲(chǔ)幀內(nèi)參考?jí)K確定器12和幀內(nèi)預(yù)測(cè)器14的輸入和輸出數(shù)據(jù)的至少一個(gè)數(shù)據(jù)存儲(chǔ)單元(未示出)。幀內(nèi)預(yù)測(cè)設(shè)備10還可包括用于控制至少一個(gè)數(shù)據(jù)存儲(chǔ)單元的數(shù)據(jù)輸入和輸出的存儲(chǔ)器控制器(未示出)。
[0053]根據(jù)幀內(nèi)預(yù)測(cè)設(shè)備10，由于不考慮當(dāng)前塊是否處于CIP模式而確定鄰近塊是否是在當(dāng)前塊之前恢復(fù)的塊，故(I)當(dāng)當(dāng)前塊處于CIP模式時(shí)搜索幀內(nèi)參考?jí)K的處理以及(2)當(dāng)當(dāng)前塊不處于CIP模式時(shí)搜索幀內(nèi)參考?jí)K的處理不必分開，因此可統(tǒng)一搜索當(dāng)前塊的幀內(nèi)參考?jí)K的處理，從而降低處理復(fù)雜度。
[0054]另外，即使當(dāng)幀內(nèi)參考?jí)K的部分區(qū)域偏離圖像的邊界時(shí)，由于與邊界鄰近的可用像素的采樣值被填充到偏離圖像的邊界的參考區(qū)域而不論當(dāng)前塊的幀內(nèi)模式是否處于CIP模式，故當(dāng)前塊處于CIP模式的情況下的幀內(nèi)預(yù)測(cè)結(jié)果可以與當(dāng)前塊不處于CIP模式的情況下的幀內(nèi)預(yù)測(cè)結(jié)果相同。
[0055]圖2A和圖2B是用于描述根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)操作的示圖。
[0056]當(dāng)前塊20的示例是作為用于對(duì)具有樹結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè)的數(shù)據(jù)單元的預(yù)測(cè)單元PU。后面可參照?qǐng)D7至圖19來(lái)描述具有樹結(jié)構(gòu)的編碼單元和預(yù)測(cè)單元。雖然在后面公開預(yù)測(cè)單元PU的幀內(nèi)預(yù)測(cè)，但是使用另一形狀的塊的幀內(nèi)預(yù)測(cè)也是可能的?？赏ㄟ^(guò)參考與當(dāng)前塊20鄰近的左、上、左下和右上中的采樣28和23來(lái)對(duì)當(dāng)前塊20執(zhí)行幀內(nèi)預(yù)測(cè)。因此，為了確定當(dāng)前塊20的幀內(nèi)預(yù)測(cè)的參考采樣，可從與當(dāng)前塊20鄰近的采樣中搜索已經(jīng)恢復(fù)和可用的采樣28和23。
[0057]當(dāng)在CIP模式下對(duì)當(dāng)前塊20執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，確定具有作為最小塊的最小預(yù)測(cè)單元的尺寸22的每個(gè)采樣是否可用于幀內(nèi)預(yù)測(cè)。當(dāng)在非CIP模式下對(duì)當(dāng)前塊20執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，確定具有作為當(dāng)前塊20的預(yù)測(cè)單元的尺寸21的每個(gè)采樣是否可用于幀內(nèi)預(yù)測(cè)。
[0058]因此，根據(jù)在CIP模式還是非CIP模式下對(duì)當(dāng)前塊20執(zhí)行幀內(nèi)預(yù)測(cè)，在當(dāng)前塊20的右上中的采樣23的可用性可變化。
[0059]當(dāng)當(dāng)前塊20處于非CIP模式時(shí)，即使按照幀內(nèi)模式來(lái)恢復(fù)右上采樣23，也不能夠進(jìn)行參考偏離圖像邊界25的外部區(qū)域26的幀內(nèi)預(yù)測(cè)。
[0060]當(dāng)當(dāng)前塊20處于非CIP模式時(shí)，由于確定了與當(dāng)前塊尺寸21相應(yīng)的所有右上采樣23的可用性，故即使圖像邊界25內(nèi)部的內(nèi)部區(qū)域24已經(jīng)被恢復(fù)采樣，也不可參考偏離圖像邊界25的外部區(qū)域26，從而確定所有右上采樣23是不可被參考的采樣。在這種情況下，由可用采樣中與右上采樣23最鄰近的采樣27來(lái)代替所有右上采樣23。
[0061]當(dāng)當(dāng)前塊20處于CIP模式時(shí)，可對(duì)右上采樣23中的與最小塊尺寸22相應(yīng)的區(qū)域(即，內(nèi)部區(qū)域24和外部區(qū)域26)確定可用性。即使偏離圖像邊界25的外部區(qū)域26是不可被參考的區(qū)域，也可將內(nèi)部區(qū)域24確定為可用采樣。在這種情況下，可由內(nèi)部區(qū)域24中的與外部區(qū)域26最鄰近的采樣29來(lái)代替外部區(qū)域26。
[0062]因此，根據(jù)當(dāng)前塊20處于CIP模式還是非CIP模式，用于確定當(dāng)前塊20的幀內(nèi)預(yù)測(cè)的可用性的鄰近采樣22、24、26和28的尺寸21和22改變，并且偏離圖像邊界25的外部區(qū)域26的填充方法也改變。因此，根據(jù)當(dāng)前塊20處于CIP模式還是非CIP模式，幀內(nèi)預(yù)測(cè)方法可改變，從而幀內(nèi)預(yù)測(cè)結(jié)果也改變。
[0063]圖3是示出根據(jù)CIP模式的確定可用性的傳統(tǒng)處理30的流程圖。
[0064]在操作31，確定當(dāng)前塊的幀內(nèi)模式是否是CIP模式。在視頻解碼中，可基于從圖像頭中解析的“Constrained_intra_pred”信息來(lái)確定包括在當(dāng)前圖像中的塊的巾貞內(nèi)模式是否是CIP模式。例如,可從圖像參數(shù)集(PPS沖解析出當(dāng)前圖像的“Constrained_intra_pred”信息。在視頻編碼中，“Constrained_intra_pred”信息可被插入到PPS中并被發(fā)送?？苫凇癈onstrained_intra_pred”信息來(lái)確定相應(yīng)圖像的巾貞內(nèi)塊是否按照CIP模式被預(yù)測(cè)。
[0065]如果在操作31確定當(dāng)前塊處于CIP模式，則傳統(tǒng)處理30進(jìn)行到操作35(“Available_check_for_cip () ”)以確定CIP模式的可用性，如果在操作31確定當(dāng)前塊不處于CIP模式，則傳統(tǒng)處理30進(jìn)行到操作37 (“Available_check_intra() ”)以確定非CIP模式的可用性。
[0066]這里，在圖3和圖4的流程圖中，索引i表示鄰近塊的索引，“Is_intra(i)”表示確定具有索引i的鄰近塊是否處于幀內(nèi)模式的操作，“available(i)”表示確定具有索引i的鄰近塊是否是在當(dāng)前塊之前恢復(fù)的塊的操作。另外，“avail_intra_pred[i] ”是指示具有索引i的鄰近塊是否是當(dāng)前塊的巾貞內(nèi)參考?jí)K的變量。另外，“max_cand_block_cip”和“max_cancLblock”分別表示CIP模式的幀內(nèi)預(yù)測(cè)和非CIP模式的幀內(nèi)預(yù)測(cè)的候選參考?jí)K的最大數(shù)量。[0067]現(xiàn)將詳細(xì)描述根據(jù)傳統(tǒng)處理30的確定可用性的操作。在操作35 (“Available—check_for_cip() ”)，按照索引i的順序來(lái)確定鄰近塊是否是幀內(nèi)參考?jí)K。在操作351，鄰近塊索引被初始化(i=0)，在操作352，確定鄰近塊i是否是在當(dāng)前塊之前恢復(fù)的幀內(nèi)塊(Is_intra (i) Mavailable (i) ?)。
[0068]如果在操作352確定鄰近塊i是在當(dāng)前塊之前恢復(fù)的幀內(nèi)塊，則在操作353，將鄰近塊i確定為當(dāng)前塊的幀內(nèi)參考?jí)K(avail_intra_pred[i]=TRUE)。如果在操作352確定鄰近塊i不是在當(dāng)前塊之前恢復(fù)的幀內(nèi)塊，則在操作354，不將鄰近塊i確定為當(dāng)前塊的幀內(nèi)參考?jí)K(avail_intra_pred[i] =FALSE)。
[0069]在操作355，塊索引i增加以確定下一鄰近塊的可用性。如果在操作356塊索引i小于根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)的候選參考?jí)K的最大數(shù)量(max_cand_block_cip),則操作35返回到操作352以確定下一鄰近塊的可用性,在操作356如果塊索引i等于max_cand_block_cip,則操作35結(jié)束。
[0070]相似地，在操作37 (“Available_check_intra() ”)，執(zhí)行與操作35相似的操作。在操作371，鄰近塊索引被初始化(i=0)，在操作372，確定鄰近塊i是否是在當(dāng)前塊之前恢復(fù)的幀內(nèi)塊(available (i)?)。然而，與操作352不同，在操作372中，不確定是否已在幀內(nèi)模式中恢復(fù)鄰近塊i?；诓僮?72的結(jié)果，在操作373和374確定鄰近塊i是否是當(dāng)前塊的幀內(nèi)參考?jí)K。
[0071]在操作375，塊索引i增加，根據(jù)用于確定塊索引i是否小于幀內(nèi)預(yù)測(cè)的候選參考?jí)K的最大數(shù)量(max_cand_block)的操作376,再次確定下一鄰近塊的可用性,或者操作37結(jié)束。
[0072]因此，即使操作35和操作37實(shí)際上幾乎相同，但是由于相似的操作在確定當(dāng)前塊是否處于CIP模式之后被分別執(zhí)行，故幀內(nèi)預(yù)測(cè)操作的效率會(huì)降低。
[0073]另外，在完成操作35和37之后，分別執(zhí)行用于非可用區(qū)域的填充的操作38和39。
[0074]如上所述，當(dāng)參考?jí)K的特定區(qū)域偏離圖像邊界時(shí)，參考?jí)K中的圖像邊界的外部區(qū)域的填充方法根據(jù)CIP模式的情況和非CIP的情況而改變。換句話說(shuō)，在操作38，對(duì)于根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)，可使用與參考?jí)K的邊界內(nèi)部區(qū)域中的圖像邊界最鄰近的采樣來(lái)填充邊界外部區(qū)域。同時(shí)，在操作39，可使用與特定區(qū)域偏離圖像邊界的第一參考?jí)K最鄰近的第二參考?jí)K的采樣來(lái)填充第一參考?jí)K的采樣，其中，第二參考?jí)K的所有采樣是可用的。
[0075]因此，由于靠近圖像邊界的參考?jí)K的填充方法根據(jù)當(dāng)前塊是否是處于CIP模式的塊而改變，故幀內(nèi)預(yù)測(cè)結(jié)果也可改變。
[0076]同時(shí)，幀內(nèi)預(yù)測(cè)設(shè)備10可確定鄰近塊和幀內(nèi)參考?jí)K的可用性而不論CIP模式如何。圖4是確定可用性而不論CIP模式如何的處理(Available_check_intra() )40的流程圖。
[0077]根據(jù)處理(么￥3；[131316_011601^_；[111:以0)40,當(dāng)前塊的幀內(nèi)參考?jí)K可開始而不論CIP模式如何。
[0078]在操作41，鄰近塊索引被初始化(i=0)，在操作42，確定鄰近塊i是否是在當(dāng)前塊之前恢復(fù)的塊(available (i) ?)。
[0079]如果在操作42確 定鄰近塊i不是在當(dāng)前塊之前恢復(fù)的塊，則在操作45，不將鄰近塊i確定為當(dāng)前塊的幀內(nèi)參考?jí)K(avail_intra_pred[i]=FALSE)。[0080]如果在操作42確定鄰近塊i是在當(dāng)前塊之前恢復(fù)的塊，則在操作43確定鄰近塊i是否不是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式(！(Is_intra(i))&&Constrained_intra_pred?)。
[0081 ] 如果在操作43確定鄰近塊i不是幀內(nèi)塊并且當(dāng)前塊處于CIP模式，則在操作45確定鄰近塊i不是當(dāng)前塊的幀內(nèi)參考?jí)K(avail_intra_pred[i]=FALSE)。在其它情況下，即，如果在操作43確定鄰近塊i是幀內(nèi)塊而當(dāng)前塊不處于CIP模式，則在操作44確定鄰近塊i是當(dāng)前塊的幀內(nèi)參考?jí)K(avail_intra_pred[i]=TRUE)。換句話說(shuō)，當(dāng)當(dāng)前塊不處于CIP模式而不論鄰近塊i是否是幀內(nèi)塊時(shí)，鄰近塊i可以是當(dāng)前塊的幀內(nèi)參考?jí)K。另外，即使在當(dāng)前塊不處于CIP模式的情況下鄰近塊i是幀內(nèi)塊時(shí)，也可將鄰近塊i確定為當(dāng)前塊的幀內(nèi)參考?jí)K。
[0082]在操作46，塊索引i增加以確定下一鄰近塊的可用性。在操作47如果塊索引i小于根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)的候選參考?jí)K的最大數(shù)量(max_cand_block_cip),則處理40返回操作42以確定下一鄰近塊的可用性,在操作47如果塊索引i等于max_cand_block_cip,則處理40結(jié)束。
[0083]另外，在完成處理40之后，執(zhí)行用于填充非可用區(qū)域的操作49。如上所述，當(dāng)參考?jí)K的特定區(qū)域偏離圖像邊界時(shí)，可將與參考?jí)K的邊界內(nèi)部區(qū)域中的圖像邊界最鄰近的采樣填充到圖像邊界的外部區(qū)域。
[0084]因此，當(dāng)參照?qǐng)D3和圖4將傳統(tǒng)處理30與處理40進(jìn)行比較時(shí)，幀內(nèi)預(yù)測(cè)設(shè)備10確定鄰近塊是否是在當(dāng)前塊之前恢復(fù)的塊而不論當(dāng)前塊是否處于CIP模式，從而從鄰近塊搜索幀內(nèi)參考?jí)K的處理不必根據(jù)當(dāng)前塊是否處于CIP模式而分開。因此，即使根據(jù)CIP模式的幀內(nèi)預(yù)測(cè)被選擇性地執(zhí)行，幀內(nèi)預(yù)測(cè)設(shè)備10也可在CIP模式的情況下和非CIP模式的情況下執(zhí)行確定鄰近塊 的可用性和搜索幀內(nèi)參考?jí)K的統(tǒng)一處理。
[0085]另外，即使當(dāng)幀內(nèi)預(yù)測(cè)塊的特定區(qū)域偏離圖像邊界，由于將與圖像邊界鄰近的可用像素的采樣值填充到偏離圖像邊界的參考區(qū)域而不論當(dāng)前塊是否處于CIP模式，故當(dāng)前塊處于CIP模式的情況和當(dāng)前塊不處于CIP模式的情況的幀內(nèi)預(yù)測(cè)結(jié)果可以相同。
[0086]圖5是示出根據(jù)本發(fā)明實(shí)施例的幀內(nèi)預(yù)測(cè)方法的流程圖。
[0087]在操作51，搜索在當(dāng)前塊之前恢復(fù)的鄰近塊以對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。在操作53，確定找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊是否也處于CIP模式。
[0088]在確定當(dāng)前塊的幀內(nèi)模式是否是CIP模式之前，在操作51搜索在當(dāng)前塊之前恢復(fù)的鄰近塊。在操作53可檢查在操作51找到的鄰近塊中的每一個(gè)是否是幀內(nèi)塊以及當(dāng)前塊是否也處于CIP模式。
[0089]在操作55，基于操作52的檢查結(jié)果確定在操作51找到的鄰近塊是否是當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K。
[0090]在操作57，通過(guò)使用在操作55確定的參考?jí)K的采樣值作為可用塊對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0091]當(dāng)參考?jí)K偏離圖像的邊界時(shí)，可將參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值填充到偏離圖像的邊界的區(qū)域。具體地，不論當(dāng)前塊是否處于CIP模式，可將參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值填充到偏離圖像的邊界的區(qū)域。
[0092]圖6A是示出根據(jù)本發(fā)明實(shí)施例的包括幀內(nèi)預(yù)測(cè)的視頻編碼方法的流程圖。[0093]在操作61，從視頻的塊中搜索在當(dāng)前塊之前恢復(fù)的塊的鄰近塊，以根據(jù)基于本發(fā)明的實(shí)施例的幀內(nèi)預(yù)測(cè)方法對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0094]另外，檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的幀內(nèi)塊以及當(dāng)前塊是否也處于CIP模式。另外，基于檢查找到的鄰近塊是否是在當(dāng)前塊之前恢復(fù)的幀內(nèi)塊以及當(dāng)前塊是否也處于CIP模式的結(jié)果，確定找到的鄰近塊是否是當(dāng)前塊的幀內(nèi)參考?jí)K。另外，通過(guò)使用幀內(nèi)參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0095]在操作62，通過(guò)對(duì)視頻的塊中處于幀間預(yù)測(cè)模式的預(yù)測(cè)塊執(zhí)行幀間預(yù)測(cè)來(lái)產(chǎn)生殘差信息。在操作63，通過(guò)對(duì)執(zhí)行幀內(nèi)或幀間預(yù)測(cè)的結(jié)果執(zhí)行變換和量化來(lái)產(chǎn)生量化的變換系數(shù)。在操作65，輸出通過(guò)對(duì)包括在操作63產(chǎn)生的量化的變換系數(shù)的采樣執(zhí)行熵解碼而產(chǎn)生的比特流。
[0096]具體地，在操作61執(zhí)行的幀內(nèi)預(yù)測(cè)中，可在確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前搜索在當(dāng)前塊之前恢復(fù)的鄰近塊。在當(dāng)前塊處于CIP模式時(shí)，可檢查在當(dāng)前塊之前恢復(fù)的鄰近塊中的每一個(gè)是否是幀內(nèi)塊。
[0097]另外，在操作61執(zhí)行的幀內(nèi)預(yù)測(cè)中，當(dāng)參考?jí)K偏離圖像的邊界而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式時(shí)，可將參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值填充到圖像的邊界的外部區(qū)域以用作參考采樣。
[0098]執(zhí)行根據(jù)圖6A的實(shí)施例的視頻編碼方法的視頻編碼設(shè)備可包括幀內(nèi)預(yù)測(cè)設(shè)備
10。包括幀內(nèi)預(yù)測(cè)設(shè)備10的視頻編碼設(shè)備可通過(guò)執(zhí)行每個(gè)圖像塊的幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)、變換和量化來(lái)產(chǎn)生采樣，并通過(guò)對(duì)產(chǎn)生的采樣執(zhí)行熵編碼來(lái)輸出比特流。包括幀內(nèi)預(yù)測(cè)設(shè)備10的視頻編碼設(shè)備可通過(guò)將幀內(nèi)預(yù)測(cè)設(shè)備10鏈接到包括在視頻編碼設(shè)備中的視頻編碼處理器或外部視頻編碼處理器來(lái)執(zhí)行包括變換的視頻編碼操作，以輸出視頻編碼結(jié)果。包括在視頻編碼設(shè)備中的視頻編碼處理器還可包括這樣的情況:不僅單獨(dú)的處理器而且視頻編碼設(shè)備、中央處理單元(CPU)或包括編碼處理模塊的圖形計(jì)算設(shè)備執(zhí)行基本視頻編碼操作。
[0099]圖6B是示出根據(jù)本發(fā)明實(shí)施例的包括幀內(nèi)預(yù)測(cè)的視頻解碼方法的流程圖。
[0100]在操作65，通過(guò)對(duì)從接收的比特流解析的比特串執(zhí)行熵編碼來(lái)恢復(fù)采樣。在操作66，通過(guò)對(duì)采樣中的量化的變換系數(shù)執(zhí)行反量化和逆變換來(lái)恢復(fù)采樣。在操作67，對(duì)處于幀內(nèi)模式的采樣執(zhí)行幀內(nèi)預(yù)測(cè)，在操作68，對(duì)處于幀間模式的采樣執(zhí)行運(yùn)動(dòng)補(bǔ)償。在操作69，通過(guò)使用由操作68的幀間預(yù)測(cè)或操作67的幀內(nèi)預(yù)測(cè)恢復(fù)的塊來(lái)恢復(fù)圖像。
[0101]在操作67，對(duì)在當(dāng)前塊之前恢復(fù)的鄰近塊進(jìn)行搜索以對(duì)處于幀內(nèi)模式的當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0102]另外，可檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的幀內(nèi)塊以及當(dāng)前塊是否也處于CIP模式。另外，基于檢查找到的鄰近塊是否是在當(dāng)前塊之前恢復(fù)的幀內(nèi)塊以及當(dāng)前塊是否也處于CIP模式的結(jié)果，確定找到的鄰近塊是否是當(dāng)前塊的幀內(nèi)參考?jí)K。另外，通過(guò)使用幀內(nèi)參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
[0103]在操作67，基于在操作65從比特流解析的當(dāng)前圖像的CIP模式信息，可確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式。另外，在確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，可搜索在當(dāng)前塊之前恢復(fù)的鄰近塊。另外，在當(dāng)前塊處于CIP模式時(shí)，可檢查在當(dāng)前塊之前恢復(fù)的鄰近塊中的每一個(gè)是否是幀內(nèi)塊。[0104]另外，在操作67的幀內(nèi)預(yù)測(cè)中，當(dāng)參考?jí)K偏離圖像的邊界而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式時(shí)，參考?jí)K的像素中的與邊界的內(nèi)測(cè)鄰近的像素的采樣值可被填充到圖像的邊界的外部區(qū)域。
[0105]用于執(zhí)行根據(jù)圖6B的實(shí)施例的視頻解碼方法的視頻解碼設(shè)備可包括幀內(nèi)預(yù)測(cè)設(shè)備10。包括幀內(nèi)預(yù)測(cè)設(shè)備10的視頻解碼設(shè)備可通過(guò)對(duì)來(lái)自比特流的編碼的采樣進(jìn)行解析并執(zhí)行每個(gè)圖像塊的反量化、逆變換、幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償來(lái)恢復(fù)采樣。視頻解碼設(shè)備可通過(guò)將幀內(nèi)預(yù)測(cè)設(shè)備10鏈接到包括在視頻解碼設(shè)備中的視頻解碼處理器或外部視頻解碼處理器來(lái)執(zhí)行包括逆變換和估計(jì)/補(bǔ)償?shù)囊曨l解碼操作，以輸出視頻解碼結(jié)果。包括在視頻解碼設(shè)備中的視頻解碼處理器還可包括這種情況:不僅單獨(dú)的處理器而且包括編碼處理模塊的視頻解碼設(shè)備、CPU或圖形計(jì)算設(shè)備執(zhí)行基本視頻解碼操作。
[0106]在幀內(nèi)預(yù)測(cè)設(shè)備10中，如上所述，視頻數(shù)據(jù)被分割的塊可被分割為具有樹結(jié)構(gòu)的編碼單元，預(yù)測(cè)單元可被用于編碼單元的幀內(nèi)預(yù)測(cè)。以下，現(xiàn)將參照?qǐng)D7至圖19來(lái)公開根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元和變換單元的視頻編碼方法和設(shè)備以及視頻解碼方法和設(shè)備。
[0107]圖7是根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的框圖。
[0108]根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行視頻預(yù)測(cè)的視頻編碼設(shè)備100包括最大編碼單元分割器110、編碼單元確定器120和輸出單元130。以下，為了描述方便，根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行視頻預(yù)測(cè)的視頻編碼設(shè)備100被簡(jiǎn)稱為視頻編碼設(shè)備100。
[0109]最大編碼單元分割器110可基于圖像的當(dāng)前畫面的最大編碼單元來(lái)分割當(dāng)前畫面。如果當(dāng)前畫面大于最大編碼單元，則當(dāng)前畫面的圖像數(shù)據(jù)可被分割為至少一個(gè)最大編碼單元。根據(jù)本發(fā)明實(shí)施例的最大編碼單元可以是具有尺寸32X32、64X64、128X128、256 X 256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是具有2的平方的寬度和長(zhǎng)度的正方形。圖像數(shù)據(jù)可根據(jù)至少一個(gè)最大編碼單元而被輸出到編碼單元確定器120。
[0110]根據(jù)本發(fā)明的實(shí)施例的編碼單元可以由最大尺寸和深度來(lái)描述特征。深度表示編碼單元從最大編碼單元空間地分割的次數(shù)，隨著深度加深，根據(jù)深度的更深編碼單元可從最大編碼單元分割為最小編碼單元。最大編碼單元的深度是最高深度，最小編碼單元的深度是最低深度。由于與每個(gè)深度相應(yīng)的編碼單元的尺寸隨著最大編碼單元加深而減少，故與更高深度相應(yīng)的編碼單元可包括與更低深度相應(yīng)的多個(gè)編碼單元。
[0111]如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被分割為最大編碼單元，并且每個(gè)最大編碼單元可包括根據(jù)深度分割的更深編碼單元。由于根據(jù)本發(fā)明的實(shí)施例的最大編碼單元根據(jù)深度被分割，故包括在最大編碼單元中的空間域的圖像數(shù)據(jù)可根據(jù)深度被分層分類。
[0112]可預(yù)確定編碼單元的最大深度和最大尺寸,所述最大深度和最大尺寸限定最大編碼單元的高度和寬度被分層分割的總次數(shù)。
[0113]編碼單元確定器120對(duì)通過(guò)分割根據(jù)深度的最大編碼單元的區(qū)域而獲得的至少一個(gè)分割區(qū)域進(jìn)行編碼，并確定用于輸出根據(jù)至少一個(gè)分割區(qū)域的最終編碼結(jié)果的深度。換句話說(shuō)，編碼單元確定器120通過(guò)根據(jù)當(dāng)前畫面的最大編碼單元對(duì)根據(jù)深度的更深編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼并選擇具有最小編碼誤差的深度，來(lái)確定編碼深度。確定的編碼深度和根據(jù)最大編碼單元的圖像數(shù)據(jù)被輸出到輸出單元130。
[0114]基于與等于或低于最大深度的至少一個(gè)深度相應(yīng)的更深編碼單元對(duì)最大編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼，并基于每個(gè)更深編碼單元來(lái)比較對(duì)圖像數(shù)據(jù)進(jìn)行編碼的結(jié)果。在比較更深編碼單元的編碼結(jié)果之后，可選擇具有最小編碼誤差的深度。可針對(duì)每個(gè)最大編碼單元來(lái)選擇至少一個(gè)編碼深度。
[0115]隨著編碼單元根據(jù)深度被分層分割，并隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被分割。另外，即使編碼單元與一個(gè)最大編碼單元中的相同深度相應(yīng)，也可通過(guò)分別測(cè)量每個(gè)編碼單元的圖像數(shù)據(jù)的編碼誤差來(lái)確定是否將與相同深度相應(yīng)的編碼單元中的每一個(gè)分割為更低深度。因此，即使當(dāng)圖像數(shù)據(jù)包括在一個(gè)最大編碼單元中，編碼誤差也可根據(jù)一個(gè)最大編碼單元中的區(qū)域而不同，從而編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，可在一個(gè)最大編碼單元中確定一個(gè)或多個(gè)編碼深度，并且可根據(jù)至少一個(gè)編碼深度的編碼單元來(lái)劃分最大編碼單元的圖像數(shù)據(jù)。
[0116]因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元。根據(jù)本發(fā)明實(shí)施例的“具有樹結(jié)構(gòu)的編碼單元”包括在最大編碼單元中包括的所有更深編碼單元中的與確定為編碼深度的深度相應(yīng)的編碼單元。可根據(jù)最大編碼單元的相同區(qū)域中的深度來(lái)分層地確定編碼深度的編碼單元，并可在不同區(qū)域中獨(dú)立地確定編碼深度的編碼單元。相似地，可從另一區(qū)域中的編碼深度獨(dú)立地確定當(dāng)前區(qū)域中的編碼深度。
[0117]根據(jù)本發(fā)明的實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元的分割次數(shù)有關(guān)的索引。根據(jù)本發(fā)明的實(shí)施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總分割次數(shù)。根據(jù)本發(fā)明的實(shí)施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度級(jí)的總數(shù)量。例如，當(dāng)最大編碼單元的深度是0時(shí)，可將最大編碼單元被分割一次的編碼單元的深度設(shè)置為1，并可將最大編碼單元被分割兩次的編碼單元的深度設(shè)置為2。這里，如果最小編碼單元是最大編碼單元被分割四次的編碼單元，則存在5個(gè)深度級(jí)的深度0、1、2、3和4，從而可將第一最大深度設(shè)置為4，并可將第二最大深度設(shè)置為5。
[0118]可根據(jù)最大編碼單元來(lái)執(zhí)行預(yù)測(cè)編碼和變換。還基于根據(jù)等于或小于根據(jù)最大編碼單元的最大深度的深度的更深編碼單元來(lái)執(zhí)行預(yù)測(cè)編碼和變換。
[0119]由于只要最大編碼單元根據(jù)深度被分割，更深編碼單元的數(shù)量就增加，故針對(duì)隨著深度加深而產(chǎn)生的所有更深編碼單元執(zhí)行包括預(yù)測(cè)編碼和變換的編碼。為了描述方便，現(xiàn)將基于在至少一個(gè)最大編碼單元中的當(dāng)前深度的編碼單元來(lái)描述預(yù)測(cè)編碼和變換。
[0120]視頻編碼設(shè)備100可不同地選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對(duì)圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測(cè)編碼、變換和熵編碼的操作，此時(shí)，相同數(shù)據(jù)單元可用于所有操作或不同數(shù)據(jù)單元可用于每個(gè)操作。
[0121]例如，視頻編碼設(shè)備100可不僅選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還選擇與編碼單元不同的數(shù)據(jù)單元，以針對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測(cè)編碼。
[0122]為了在最大編碼單元中執(zhí)行預(yù)測(cè)編碼，可基于與編碼深度相應(yīng)的編碼單元(S卩，基于不再被分割的編碼單元)執(zhí)行預(yù)測(cè)編碼。這里，現(xiàn)將不再被分割并成為用于預(yù)測(cè)編碼的基礎(chǔ)單元的編碼單元稱為“預(yù)測(cè)單元”。通過(guò)分割預(yù)測(cè)單元而獲得的分區(qū)可包括通過(guò)分割預(yù)測(cè)單元的高度和寬度中的至少一個(gè)而獲得的預(yù)測(cè)單元或數(shù)據(jù)單元。分區(qū)可以是通過(guò)按照編碼單元分割預(yù)測(cè)單元而獲得的數(shù)據(jù)單元，并且預(yù)測(cè)單元可以是具有與編碼單元相同尺寸的分區(qū)。
[0123]例如，當(dāng)2NX2N (其中，N是正整數(shù))的編碼單元不再被分割時(shí)，編碼單元成為2NX2N的預(yù)測(cè)單元，并且分區(qū)的尺寸可以是2NX2N、2NXN、NX2N或NXN。分區(qū)類型的示例包括通過(guò)對(duì)稱分割預(yù)測(cè)單元的高度或?qū)挾全@得的對(duì)稱分區(qū)、通過(guò)非對(duì)稱分割預(yù)測(cè)單元的高度或?qū)挾?諸如，l:n或n:1)獲得的分區(qū)、通過(guò)幾何分割預(yù)測(cè)單元獲得的分區(qū)以及具有任意形狀的分區(qū)。
[0124]預(yù)測(cè)單元的預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳過(guò)模式中的至少一種。例如，可對(duì)2N X 2N、2N X N、N X 2N或N X N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。另外，可僅對(duì)2N X 2N的分區(qū)執(zhí)行跳過(guò)模式。針對(duì)編碼單元中的一個(gè)預(yù)測(cè)單元獨(dú)立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預(yù)測(cè)模式。
[0125]視頻編碼設(shè)備100還可不僅基于用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還基于與編碼單元不同的數(shù)據(jù)單元，來(lái)針對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元執(zhí)行變換。例如，變換單元可包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的數(shù)據(jù)單元。
[0126]與根據(jù)本發(fā)明實(shí)施例的具有樹結(jié)構(gòu)的編碼單元類似，可將編碼單元中的變換單元遞歸地分割為更小尺寸的變換單元。因此，可基于根據(jù)變換深度的具有樹結(jié)構(gòu)的變換單元來(lái)劃分編碼單元中的殘差數(shù)據(jù)。
[0127]還可在變換單元中設(shè)置指示通過(guò)分割變換單元的高度和寬度達(dá)到變換單元的分割次數(shù)的變換深度。例如，在2NX 2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸也是2NX 2N時(shí)，變換深度可以是0，當(dāng)變換單元的尺寸是NXN時(shí)，變換深度可以是1，當(dāng)變換單元的尺寸是N/2XN/2時(shí)，變換深度可以是2。例如，可基于根據(jù)變換深度的樹結(jié)構(gòu)來(lái)設(shè)置變換單元。
[0128]根據(jù)編碼深度的編碼信息不僅需要關(guān)于編碼深度的信息，還需要與預(yù)測(cè)編碼和變換有關(guān)的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，還確定用于將預(yù)測(cè)單元分割為分區(qū)的分區(qū)類型、根據(jù)預(yù)測(cè)單元的預(yù)測(cè)模式以及用于變換的變換單元的尺寸。
[0129]后面將參照?qǐng)D7至圖19詳細(xì)描述根據(jù)本發(fā)明的實(shí)施例的最大編碼單元中的根據(jù)樹結(jié)構(gòu)的編碼單元以及確定預(yù)測(cè)單元/分區(qū)和變換單元的方法。
[0130]編碼單元確定器120可通過(guò)使用基于拉格朗日乘子的率失真優(yōu)化來(lái)測(cè)量根據(jù)深度的更深編碼單元的編碼誤差。
[0131]輸出單元130在比特流中輸出基于由編碼單元確定器120確定的至少一個(gè)編碼深度而編碼的最大編碼單元的圖像數(shù)據(jù)以及關(guān)于根據(jù)編碼深度的編碼模式的信息。
[0132]可通過(guò)對(duì)圖像的殘差數(shù)據(jù)進(jìn)行編碼來(lái)獲得編碼的圖像數(shù)據(jù)。
[0133]關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼深度的信息、關(guān)于預(yù)測(cè)單元中的分區(qū)類型、預(yù)測(cè)模式和變換單元的尺寸的信息。
[0134]可通過(guò)使用根據(jù)深度的分割信息來(lái)定義關(guān)于編碼深度的信息，其中，所述分割信息指示是否針對(duì)更低深度而不是當(dāng)前深度的編碼單元來(lái)執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是編碼深度，則按照當(dāng)前深度的編碼單元對(duì)當(dāng)前編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼，從而可將當(dāng)前深度的分割信息定義為不將當(dāng)前編碼單元分割為更低深度的編碼單元?？蛇x擇地，如果當(dāng)前編碼單元的當(dāng)前深度不是編碼深度，則對(duì)更低深度的編碼單元執(zhí)行編碼，從而可將當(dāng)前深度的分割信息定義為將當(dāng)前編碼單元分割為更低深度的編碼單元。
[0135]如果當(dāng)前深度不是編碼深度，則對(duì)分割為更低深度的編碼單元執(zhí)行編碼。由于更低深度的至少一個(gè)編碼單元存在在當(dāng)前深度的一個(gè)編碼單元中，故對(duì)更低深度的每個(gè)編碼單元重復(fù)地執(zhí)行編碼，從而可針對(duì)具有相同深度的編碼單元遞歸地執(zhí)行編碼。
[0136]由于針對(duì)一個(gè)最大編碼單元來(lái)確定具有樹結(jié)構(gòu)的編碼單元，故針對(duì)編碼深度的編碼單元來(lái)確定關(guān)于至少一個(gè)編碼模式的信息，可針對(duì)一個(gè)最大編碼單元來(lái)確定關(guān)于至少一個(gè)編碼模式的信息。另外，由于圖像數(shù)據(jù)根據(jù)深度而被分層劃分，故最大編碼單元的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不同，從而可針對(duì)圖像數(shù)據(jù)來(lái)設(shè)置關(guān)于編碼深度和編碼模式的信息。
[0137]因此，輸出單元130可將關(guān)于相應(yīng)的編碼深度和編碼模式的編碼信息分配給最大編碼單元中包括的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。
[0138]根據(jù)本發(fā)明實(shí)施例的最小單元是通過(guò)將構(gòu)成最低編碼深度的最小編碼單元分割為4而獲得的矩形數(shù)據(jù)單元?？蛇x擇地，最小單元可以是可包括在編碼單元、預(yù)測(cè)單元、分區(qū)單元和變換單元的所有中的最大矩形數(shù)據(jù)單元，其中，編碼單元、預(yù)測(cè)單元、分區(qū)單元和變換單元包括在最大編碼單元中。
[0139]例如，通過(guò)輸出單元130輸出的編碼信息可被分類為根據(jù)更深編碼單元的編碼信息以及根據(jù)預(yù)測(cè)單元的編碼信息。根據(jù)更深編碼單元的編碼信息可包括關(guān)于預(yù)測(cè)模式的信息和關(guān)于分區(qū)的尺寸的信息。根據(jù)預(yù)測(cè)單元的編碼信息可包括關(guān)于幀間模式的估計(jì)方向的信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運(yùn)動(dòng)矢量的信息、關(guān)于幀內(nèi)模式的色度分量的信息以及關(guān)于幀內(nèi)模式的插值方法的信息。另外，可將關(guān)于根據(jù)畫面、條帶或畫面組(GOP)定義的編碼單元的最大尺寸的信息以及關(guān)于最大深度的信息插入到比特流的頭、序列參數(shù)集(SPS)或畫面參數(shù)集(PPS)。
[0140]另外，可使用比特流的頭、SPS或PPS來(lái)輸出當(dāng)前視頻允許的關(guān)于變換單元的最大尺寸的信息和關(guān)于變換單元的最小尺寸的信息。輸出單元130可對(duì)已參照?qǐng)D1至圖6描述的以下信息進(jìn)行編碼和輸出:與預(yù)測(cè)有關(guān)的參考信息、預(yù)測(cè)信息、單方向預(yù)測(cè)信息、包括第四條帶類型的條帶類型信息等。
[0141]在視頻編碼設(shè)備100的最簡(jiǎn)單的示例中，更深編碼單元可以是通過(guò)將作為一層以上的更高深度的編碼單元的高度和寬度中的每一個(gè)分割為二而獲得的編碼單元。換句話說(shuō)，當(dāng)當(dāng)前深度的編碼單元的尺寸是2NX 2N時(shí)，更低深度的編碼單元的尺寸是NXN。另外，具有2NX2N的尺寸的當(dāng)前深度的編碼單元可包括具有NXN的尺寸的更低深度的最多4個(gè)編碼單元。
[0142]因此，視頻編碼設(shè)備100可基于考慮當(dāng)前圖像的特征確定的最大編碼單元的尺寸和最大深度，通過(guò)針對(duì)每個(gè)最大編碼單元確定具有最佳形狀和最佳尺寸的編碼單元來(lái)形成具有樹結(jié)構(gòu)的編碼單元。另外，由于可通過(guò)使用各種預(yù)測(cè)模式和變換方案中的任意一個(gè)來(lái)對(duì)每個(gè)最大編碼單元執(zhí)行編碼，故可考慮各種圖像尺寸的編碼單元的圖像特征來(lái)確定最優(yōu)編碼模式。
[0143]因此，如果按照傳統(tǒng)宏塊單元對(duì)具有高清晰度或大數(shù)據(jù)量的圖像進(jìn)行編碼，則每幅畫面的宏塊的數(shù)量極大地增加。因此，針對(duì)每個(gè)宏塊產(chǎn)生的壓縮信息的條數(shù)增加，從而難以發(fā)送壓縮信息，并且數(shù)據(jù)壓縮效率降低。然而，通過(guò)使用視頻編碼設(shè)備100，由于在通過(guò)考慮圖像的尺寸來(lái)增加編碼單元的最大尺寸的同時(shí)考慮圖像的特征來(lái)調(diào)節(jié)編碼單元，故可提高圖像壓縮效率。
[0144]圖7的視頻編碼設(shè)備100可執(zhí)行上面參照?qǐng)D1描述的幀內(nèi)預(yù)測(cè)設(shè)備10的操作。
[0145]編碼單元確定器120可執(zhí)行幀內(nèi)預(yù)測(cè)設(shè)備10的操作。針對(duì)每個(gè)最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元，編碼單元確定器120可確定幀內(nèi)預(yù)測(cè)的編碼單元并按照預(yù)測(cè)單元來(lái)執(zhí)行幀內(nèi)預(yù)測(cè)。
[0146]具體地，在幀內(nèi)預(yù)測(cè)中，在確定當(dāng)前預(yù)測(cè)單元的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，可搜索在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元(最小單元、預(yù)測(cè)單元、編碼單元等)。也就是說(shuō)，可在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元中的每一個(gè)處于幀內(nèi)模式時(shí)確定當(dāng)前塊是否處于CIP模式。
[0147]另外，在幀內(nèi)預(yù)測(cè)中，當(dāng)參考數(shù)據(jù)單元偏離圖像的邊界而不論當(dāng)前預(yù)測(cè)單元是否處于CIP模式時(shí)，可將參考數(shù)據(jù)單元的像素中的與邊界的內(nèi)部鄰近的像素的采樣值填充到畫面的邊界的外部區(qū)域?？赏ㄟ^(guò)參考該填充的區(qū)域來(lái)執(zhí)行當(dāng)前預(yù)測(cè)單元的幀內(nèi)預(yù)測(cè)。
[0148]輸出單元130可在比特流中輸出通過(guò)對(duì)產(chǎn)生為幀內(nèi)預(yù)測(cè)的結(jié)果的差分?jǐn)?shù)據(jù)進(jìn)行編碼而產(chǎn)生的采樣。例如,可輸出諸如差分?jǐn)?shù)據(jù)的量化的變換系數(shù)和幀內(nèi)模式信息的采樣。
[0149]另外，輸出單元130可輸出PPS，其中，指示CIP模式的CIP信息根據(jù)畫面被插入或不被插入到PPS。
[0150]圖8是根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備200的框圖。
[0151]根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行視頻預(yù)測(cè)的視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。以下，為了描述方便，根據(jù)本發(fā)明實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行視頻預(yù)測(cè)的視頻解碼設(shè)備200被簡(jiǎn)稱為視頻解碼設(shè)備200。
[0152]針對(duì)視頻解碼設(shè)備200的各種解碼操作的各種術(shù)語(yǔ)(諸如，編碼單元、深度、預(yù)測(cè)單元、變換單元和關(guān)于各種編碼模式的信息)的定義與參照?qǐng)D7和視頻編碼設(shè)備100描述的那些術(shù)語(yǔ)相同。
[0153]接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取每個(gè)編碼單元的編碼的圖像數(shù)據(jù)，其中，編碼單元具有根據(jù)每個(gè)最大編碼單元的樹結(jié)構(gòu)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230。圖像數(shù)據(jù)和編碼信息提取器220可從關(guān)于當(dāng)前畫面、SPS或PPS的頭中提取關(guān)于當(dāng)前畫面的編碼單元的最大尺寸的信息。
[0154]另外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取具有樹結(jié)構(gòu)的編碼單元的關(guān)于編碼深度和編碼模式的信息。提取的關(guān)于編碼深度和編碼模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說(shuō)，比特流中的圖像數(shù)據(jù)被分割為最大編碼單元，從而圖像數(shù)據(jù)解碼器230對(duì)每個(gè)最大編碼單元的圖像數(shù)據(jù)進(jìn)行解碼。
[0155]可針對(duì)關(guān)于至少一個(gè)編碼深度的信息來(lái)設(shè)置根據(jù)最大編碼單元的關(guān)于編碼深度和編碼模式的信息，并且根據(jù)編碼深度的關(guān)于編碼模式的信息可包括關(guān)于相應(yīng)的編碼單元的分區(qū)類型的信息、關(guān)于預(yù)測(cè)模式的信息以及關(guān)于變換單元的尺寸的信息。另外，根據(jù)深度的分割信息可被提取為關(guān)于編碼深度的信息。
[0156]由圖像數(shù)據(jù)和編碼信息提取器220提取的根據(jù)每個(gè)最大編碼單元的關(guān)于編碼深度和編碼模式的信息是當(dāng)編碼器(諸如，視頻編碼設(shè)備100)根據(jù)每個(gè)最大編碼單元針對(duì)每個(gè)根據(jù)深度的更深編碼單元重復(fù)地執(zhí)行編碼時(shí)確定的用于產(chǎn)生最小編碼誤差的關(guān)于編碼深度和編碼模式的信息。因此，視頻解碼設(shè)備200可通過(guò)根據(jù)產(chǎn)生最小編碼誤差的編碼模式對(duì)圖像數(shù)據(jù)進(jìn)行解碼來(lái)恢復(fù)圖像。
[0157]由于關(guān)于編碼深度和編碼模式的編碼信息可被分配給相應(yīng)編碼單元、預(yù)測(cè)單元和最小單元中的預(yù)定數(shù)據(jù)單元，故圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預(yù)定數(shù)據(jù)單元來(lái)提取關(guān)于編碼深度和編碼模式的編碼信息。分配有相同的關(guān)于編碼深度和編碼模式的信息的預(yù)定數(shù)據(jù)單元可被推斷為是包括在相同最大編碼單元中的數(shù)據(jù)單元。
[0158]圖像數(shù)據(jù)解碼器230通過(guò)基于根據(jù)最大編碼單元的關(guān)于編碼深度和編碼模式的信息對(duì)每個(gè)最大編碼單元中的圖像數(shù)據(jù)進(jìn)行解碼來(lái)恢復(fù)當(dāng)前畫面。換句話說(shuō)，圖像數(shù)據(jù)解碼器230可基于提取的關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測(cè)模式的信息以及關(guān)于包括在每個(gè)最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元的變換單元的信息來(lái)對(duì)編碼的圖像數(shù)據(jù)進(jìn)行解碼。解碼處理可包括預(yù)測(cè)和逆變換，所述預(yù)測(cè)包括幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償。
[0159]圖像數(shù)據(jù)解碼器230可基于根據(jù)編碼深度的關(guān)于編碼單元的預(yù)測(cè)單元的分區(qū)類型和預(yù)測(cè)模式的信息，根據(jù)每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式來(lái)執(zhí)行幀內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償。
[0160]另外，圖像數(shù)據(jù)解碼器230可通過(guò)讀取根據(jù)編碼單元的關(guān)于具有樹結(jié)構(gòu)的變換單元的信息，來(lái)基于每個(gè)編碼單元中的變換單元執(zhí)行逆變換，以根據(jù)最大編碼單元執(zhí)行逆變換。可通過(guò)執(zhí)行逆變換來(lái)恢復(fù)空間域中的編碼單元的像素值。
[0161]圖像數(shù)據(jù)解碼器230可通過(guò)使用根據(jù)深度的分割信息確定當(dāng)前最大編碼單元的編碼深度。如果分割信息指示圖像數(shù)據(jù)在當(dāng)前深度下不再被分割，則當(dāng)前深度是編碼深度。因此，圖像數(shù)據(jù)解碼器230可通過(guò)使用關(guān)于預(yù)測(cè)單元的分區(qū)類型、預(yù)測(cè)模式和變換單元的尺寸的信息對(duì)當(dāng)前最大編碼單元中的與當(dāng)前深度相應(yīng)的編碼單元的圖像數(shù)據(jù)進(jìn)行解碼。
[0162]換句話說(shuō)，可通過(guò)觀察針對(duì)編碼單元、預(yù)測(cè)單元和最小單元中的預(yù)定的數(shù)據(jù)單元設(shè)置的編碼信息來(lái)收集包含包括相同分割信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù)據(jù)單元可被認(rèn)為是將由圖像數(shù)據(jù)解碼器230以相同的編碼模式解碼的一個(gè)數(shù)據(jù)單元。相似地，可通過(guò)獲取關(guān)于確定的編碼單元的編碼模式的信息來(lái)對(duì)當(dāng)前編碼單元的圖像數(shù)據(jù)進(jìn)行解碼。
[0163]圖8的視頻解碼設(shè)備200還可執(zhí)行以上參照?qǐng)D1描述的幀內(nèi)預(yù)測(cè)設(shè)備10的操作。
[0164]圖像數(shù)據(jù)和編碼信息提取器220可從比特流恢復(fù)產(chǎn)生為編碼結(jié)果的采樣。例如，可恢復(fù)諸如通過(guò)預(yù)測(cè)產(chǎn)生的微分?jǐn)?shù)據(jù)的量化的變換系數(shù)和幀內(nèi)模式信息的采樣。另外，圖像數(shù)據(jù)和編碼信息提取器220可基于從PPS解析的CIP信息根據(jù)畫面恢復(fù)CIP模式。
[0165]圖像數(shù)據(jù)解碼器230可執(zhí)行幀內(nèi)預(yù)測(cè)設(shè)備10的操作。圖像數(shù)據(jù)解碼器230可確定幀內(nèi)預(yù)測(cè)的預(yù)測(cè)單元并針對(duì)每個(gè)最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元按照每個(gè)預(yù)測(cè)單元執(zhí)行幀內(nèi)預(yù)測(cè)。
[0166]具體地，在幀內(nèi)預(yù)測(cè)中，在確定當(dāng)前預(yù)測(cè)單元的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，可搜索在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元(最小單元、預(yù)測(cè)單元、編碼單元等)。也就是說(shuō)，可在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元的每一個(gè)處于幀內(nèi)模式時(shí)確定當(dāng)前塊是否處于CIP模式。
[0167]另外，在幀內(nèi)預(yù)測(cè)中，當(dāng)參考數(shù)據(jù)單元偏離圖像的邊界而不論當(dāng)前預(yù)測(cè)單元是否是CIP模式時(shí)，可將參考數(shù)據(jù)單元的像素中的與邊界的內(nèi)部鄰近的像素的采樣值填充到畫面的邊界的外部區(qū)域?？赏ㄟ^(guò)參考該填充的區(qū)域來(lái)執(zhí)行當(dāng)前預(yù)測(cè)單元的幀內(nèi)預(yù)測(cè)。
[0168]視頻解碼設(shè)備200可獲得關(guān)于當(dāng)針對(duì)每個(gè)最大編碼單元遞歸地執(zhí)行編碼時(shí)產(chǎn)生最小編碼誤差的編碼單元的信息，并可使用該信息對(duì)當(dāng)前圖像進(jìn)行解碼。換句話說(shuō)，可對(duì)每個(gè)最大編碼單元中的確定為最佳的編碼單元的具有樹結(jié)構(gòu)的編碼單元的編碼的圖像數(shù)據(jù)進(jìn)行解碼。
[0169]因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過(guò)使用從編碼器接收的關(guān)于最佳編碼模式的信息，基于根據(jù)圖像數(shù)據(jù)的特征自適應(yīng)地確定的編碼單元的尺寸和編碼模式對(duì)圖像數(shù)據(jù)有效解碼和恢復(fù)。
[0170]圖9是用于描述根據(jù)本發(fā)明實(shí)施例的編碼單元的概念的示圖。
[0171]可按照寬度X高度來(lái)表述編碼單元的尺寸，并且編碼單元的尺寸可包括64X64、32X32、16X16 和 8X8。64X64 的編碼單元可被分割為 64X64、64X32、32X64 或 32X32的分區(qū)，32X32的編碼單元可被分割為32X32、32X16、16X32或16X16的分區(qū)，16X16的編碼單元可被分割為16X16、16X8、8X16或8X8的分區(qū)，并且8X8的編碼單元可被分割為8X8、8X4、4X8或4X4的分區(qū)。
[0172]在視頻數(shù)據(jù)310中，分辨率是1920 X 1080，編碼單元的最大尺寸是64，最大深度是
2。在視頻數(shù)據(jù)320中，分辨率是1920 X 1080，編碼單元的最大尺寸是64，最大深度是3。在視頻數(shù)據(jù)330中，分辨率是352X288，編碼單元的最大尺寸是16，最大深度是I。圖9中示出的最大深度表示從最大編碼單元分割到最小編碼單元的總次數(shù)。
[0173]如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可以大，從而不僅增加編碼效率還更準(zhǔn)確地反應(yīng)圖像的特征。因此，具有比視頻數(shù)據(jù)330更高分辨率的視頻數(shù)據(jù)310和320的編碼單元的最大尺寸可以是64。
[0174]由于視頻數(shù)據(jù)310的最大深度是2，故視頻數(shù)據(jù)310的編碼單元315可包括具有長(zhǎng)軸尺寸64的最大編碼單元，并且由于通過(guò)將最大編碼單元分割兩次而使深度加深兩層，故編碼單元具有長(zhǎng)軸尺寸32和16。同時(shí)，由于視頻數(shù)據(jù)330的最大深度是1，故視頻數(shù)據(jù)330的編碼單元335可包括具有長(zhǎng)軸尺寸16的最大編碼單元，并且由于通過(guò)將最大編碼單元分割一次而使深度加深一層，故編碼單元具有長(zhǎng)軸尺寸8。
[0175]由于視頻數(shù)據(jù)320的最大深度是3，故視頻數(shù)據(jù)320的編碼單元325可包括具有長(zhǎng)軸尺寸64的最大編碼單元，并且由于通過(guò)將最大編碼單元分割三次而使深度加深三層，故編碼單元具有長(zhǎng)軸尺寸32、16和8。隨著深度加深，可精確地表述詳細(xì)信息。
[0176]圖10是根據(jù)本發(fā)明實(shí)施例的基于編碼單元的圖像編碼器400的框圖。
[0177]圖像編碼器400執(zhí)行用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的視頻編碼設(shè)備100的編碼單元確定器120的操作。換句話說(shuō)，幀內(nèi)預(yù)測(cè)器410對(duì)當(dāng)前幀405中處于幀內(nèi)模式的編碼單元執(zhí)行幀內(nèi)預(yù)測(cè)，并且運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425通過(guò)使用當(dāng)前幀405和參考幀495對(duì)處于幀內(nèi)模式的編碼單元執(zhí)行幀間估計(jì)和運(yùn)動(dòng)補(bǔ)償。
[0178]從幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425輸出的數(shù)據(jù)通過(guò)變換器430和量化器440被輸出為量化的變換系數(shù)。量化的變換系數(shù)通過(guò)反量化器460和逆變換器470被恢復(fù)為空間域中的數(shù)據(jù)，并且恢復(fù)的空間域中的數(shù)據(jù)在通過(guò)去塊單元480和環(huán)路濾波單元490后處理之后被輸出為參考幀495。量化的變換系數(shù)可通過(guò)熵編碼器450被輸出為比特流455。
[0179]為了使圖像編碼器400應(yīng)用于視頻編碼設(shè)備100，圖像編碼器400的所有元件(SP，幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420、運(yùn)動(dòng)補(bǔ)償器425、變換器430、量化器440、熵編碼器450、反量化器460、逆變換器470、去塊單元480和環(huán)路濾波單元490)在考慮每個(gè)最大編碼單元的最大深度的同時(shí)基于具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元執(zhí)行操作。
[0180]具體地，幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度的同時(shí)確定具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式，并且變換器430確定具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元中的變換單元的尺寸。
[0181]具體地，在確定當(dāng)前預(yù)測(cè)單元的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，幀內(nèi)預(yù)測(cè)器410可搜索在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元。也就是說(shuō)，在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元中的每一個(gè)處于幀內(nèi)模式時(shí)，可確定當(dāng)前塊是否處于CIP模式。另外，當(dāng)參考數(shù)據(jù)單元偏離圖像的邊界時(shí)，可使用參考數(shù)據(jù)單元的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充畫面的邊界的外部區(qū)域而不論當(dāng)前預(yù)測(cè)單元是否處于CIP模式，并且可以參考填充的采樣以用于當(dāng)前預(yù)測(cè)單元的幀內(nèi)預(yù)測(cè)。
[0182]圖11是根據(jù)本發(fā)明實(shí)施例的基于編碼單元的圖像解碼器500的框圖。
[0183]解析器510對(duì)來(lái)自比特流505的將被解碼的編碼的圖像數(shù)據(jù)和用于解碼所需的關(guān)于編碼的信息進(jìn)行解析。編碼的圖像數(shù)據(jù)通過(guò)熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，并且反量化的數(shù)據(jù)通過(guò)逆變換器540被恢復(fù)為空間域中的圖像數(shù)據(jù)。
[0184]幀內(nèi)預(yù)測(cè)器550針對(duì)空間域的圖像數(shù)據(jù)對(duì)幀內(nèi)模式的編碼單元執(zhí)行幀內(nèi)預(yù)測(cè)，并且運(yùn)動(dòng)補(bǔ)償器560通過(guò)使用參考幀585對(duì)幀間模式的編碼單元執(zhí)行運(yùn)動(dòng)補(bǔ)償。
[0185]通過(guò)幀內(nèi)預(yù)測(cè)器550和運(yùn)動(dòng)補(bǔ)償器560的空間域的圖像數(shù)據(jù)可在通過(guò)去塊單元570和環(huán)路濾波單元580后處理之后被輸出為恢復(fù)的幀595。另外，通過(guò)去塊單元570和環(huán)路濾波單元580后處理的圖像數(shù)據(jù)可被輸出為參考幀585。
[0186]為了對(duì)視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中的圖像數(shù)據(jù)進(jìn)行解碼，圖像解碼器500可執(zhí)行在解析器510之后執(zhí)行的操作。
[0187]為了使圖像解碼器500應(yīng)用于視頻解碼設(shè)備200，圖像解碼器500的所有元件(SP，解析器510、熵解碼器520、反量化器530、逆變換器540、幀內(nèi)預(yù)測(cè)器550、運(yùn)動(dòng)補(bǔ)償器560、去塊單元570和環(huán)路濾波單元580)針對(duì)每個(gè)最大編碼單元基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行操作。
[0188]具體地，幀內(nèi)預(yù)測(cè)器550和運(yùn)動(dòng)補(bǔ)償器560確定具有樹結(jié)構(gòu)的編碼單元中的每一個(gè)的分區(qū)和預(yù)測(cè)模式，并且逆變換器540確定每個(gè)編碼單元的變換單元的尺寸。
[0189]具體地，在確定當(dāng)前預(yù)測(cè)單元的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，幀內(nèi)預(yù)測(cè)器550可搜索在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元。也就是說(shuō)，在當(dāng)前預(yù)測(cè)單元之前恢復(fù)的鄰近數(shù)據(jù)單元中的每一個(gè)處于幀內(nèi)模式時(shí)，可確定當(dāng)前塊是否處于CIP模式。另外，當(dāng)參考數(shù)據(jù)單元偏離圖像的邊界時(shí)，可使用參考數(shù)據(jù)單元的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充畫面的邊界的外部區(qū)域而不論當(dāng)前預(yù)測(cè)單元是否處于CIP模式，并且可以參考填充的采樣以用于當(dāng)前預(yù)測(cè)單元的幀內(nèi)預(yù)測(cè)。
[0190]圖12是示出根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的更深編碼單元和分區(qū)的示圖。
[0191]視頻編碼設(shè)備100和視頻解碼設(shè)備200使用分層編碼單元以考慮圖像的特征。可根據(jù)圖像的特征自適應(yīng)地確定編碼單元的最大高度、最大寬度和最大深度，或者可由用戶不同地設(shè)置編碼單元的最大高度、最大寬度和最大深度。可根據(jù)編碼單元的預(yù)定最大尺寸來(lái)確定根據(jù)深度的更深編碼單元的尺寸。
[0192]在根據(jù)本發(fā)明實(shí)施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均是64，并且最大深度是4。最大深度指示從最大編碼單元到最小編碼單元分割的總次數(shù)。由于深度沿著分層結(jié)構(gòu)600的縱軸加深，故更深編碼單元的高度和寬度均被分割。另夕卜，沿著分層結(jié)構(gòu)600的橫軸示出作為用于每個(gè)更深編碼單元的預(yù)測(cè)編碼的基礎(chǔ)的預(yù)測(cè)單元和分區(qū)。
[0193]換句話說(shuō)，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度是0，尺寸(即，高度乘寬度)是64X64。深度沿著縱軸加深，存在具有尺寸32X32并且深度I的編碼單元620、具有尺寸16X16并且深度2的編碼單元630、具有尺寸8X8并且深度3的編碼單元640以及具有尺寸4X4并且深度4的編碼單元650。具有尺寸4X4并且深度4的編碼單兀650是最小編碼單兀。
[0194]編碼單元的預(yù)測(cè)單元和分區(qū)根據(jù)每個(gè)深度沿著橫軸排列。換句話說(shuō)，如果具有尺寸64X64并且深度0的編碼單元610是預(yù)測(cè)單元，則預(yù)測(cè)單元可被分割為包括在編碼單元610中的分區(qū)，即，具有尺寸64X64的分區(qū)610、具有尺寸64X32的分區(qū)612、具有尺寸32X64的分區(qū)614或具有尺寸32X32的分區(qū)616。
[0195]相似地，具有尺寸32X32并且深度I的編碼單元620的預(yù)測(cè)單元可被分割為包括在編碼單元620中的分區(qū)，即，具有尺寸32X32的分區(qū)620、具有尺寸32X 16的分區(qū)622、具有尺寸16X32的分區(qū)624和具有尺寸16X16的分區(qū)626。
[0196]相似地，具有尺寸16 X 16并且深度2的編碼單元630的預(yù)測(cè)單元可被分割為包括在編碼單元630中的分區(qū)，即，具有尺寸16X16的分區(qū)630、具有尺寸16X8的分區(qū)632、具有尺寸8X16的分區(qū)634和具有尺寸8X8的分區(qū)636。
[0197]相似地，具有尺寸8X8并且深度3的編碼單元640的預(yù)測(cè)單元可被分割為包括在編碼單元640中的分區(qū)，即，具有尺寸8X8的分區(qū)640、具有尺寸8X4的分區(qū)642、具有尺寸4X8的分區(qū)644和具有尺寸4X4的分區(qū)646。
[0198]具有尺寸4X4并且深度4的編碼單元650是最小編碼單元和最低深度的編碼單元。編碼單元650的預(yù)測(cè)單元僅被分配給具有尺寸4X4的分區(qū)650。
[0199]為了確定最大編碼單元610的編碼深度，視頻編碼設(shè)備100的編碼單元確定器120針對(duì)包括在最大編碼單元610中的與每個(gè)深度相應(yīng)的編碼單元執(zhí)行編碼。
[0200]隨著深度加深，包括相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的若干更深編碼單元增加。例如，需要與深度2相應(yīng)的四個(gè)編碼單元以覆蓋包括在與深度I相應(yīng)的一個(gè)編碼單元中的數(shù)據(jù)。因此，為了比較根據(jù)深度的相同數(shù)據(jù)的編碼結(jié)果，與深度I相應(yīng)的編碼單元和與深度2相應(yīng)的四個(gè)編碼單元均被編碼。
[0201]為了執(zhí)行用于深度的編碼，沿著分層結(jié)構(gòu)600的橫軸，可通過(guò)針對(duì)與每個(gè)深度相應(yīng)的編碼單元中的每個(gè)預(yù)測(cè)單元執(zhí)行編碼來(lái)選擇作為相應(yīng)深度的最小編碼誤差的代表性編碼誤差。可選擇地，可隨著深度沿著分層結(jié)構(gòu)600的縱軸加深通過(guò)針對(duì)每個(gè)深度執(zhí)行編碼，通過(guò)比較根據(jù)深度的代表性編碼誤差來(lái)搜索最小編碼誤差?？蓪⒕幋a單元610中的具有最小編碼誤差的深度和分區(qū)選擇為編碼單元610的編碼深度和分區(qū)類型。
[0202]圖13是用于描述根據(jù)本發(fā)明實(shí)施例的編碼單元710與變換單元720之間的關(guān)系的示圖。
[0203]視頻編碼設(shè)備100或視頻解碼設(shè)備200針對(duì)每個(gè)最大編碼單元對(duì)根據(jù)具有小于或等于最大編碼單元的編碼單元的的圖像進(jìn)行編碼或解碼?？苫诓淮笥谙鄳?yīng)的編碼單元的數(shù)據(jù)單元來(lái)選擇在編碼期間用于變換的變換單元的尺寸。
[0204]例如，在視頻編碼設(shè)備100或視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64 X 64，則可通過(guò)使用具有尺寸32X32的變換單元720來(lái)執(zhí)行變換。
[0205]另外，可通過(guò)對(duì)具有小于尺寸64X 64的尺寸32 X 32、16 X 16、8 X 8和4X 4的變換單元中的每一個(gè)執(zhí)行變換來(lái)對(duì)具有尺寸64 X 64的變換單元710進(jìn)行編碼，隨后可選擇具有最小編碼誤差的變換單元。
[0206]圖14是用于描述根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的編碼信息的示圖。
[0207]視頻編碼設(shè)備100的輸出單元130可將以下信息作為關(guān)于編碼模式的信息來(lái)進(jìn)行編碼并發(fā)送:針對(duì)與編碼深度相應(yīng)的每個(gè)編碼單元的關(guān)于分區(qū)類型的信息800、關(guān)于預(yù)測(cè)模式的信息810和關(guān)于變換單元的尺寸的信息820。
[0208]信息800指示關(guān)于通過(guò)分割當(dāng)前編碼單元的預(yù)測(cè)單元而獲得的分區(qū)的形狀的信息，其中，分區(qū)是用于當(dāng)前編碼單元的預(yù)測(cè)編碼的數(shù)據(jù)單元。例如，具有尺寸2NX2N的當(dāng)前編碼單元CU_0可被分割為具有尺寸2NX2N的分區(qū)802、具有尺寸2NXN的分區(qū)804、具有尺寸NX 2N的分區(qū)806和具有尺寸NXN的分區(qū)808中的任意一個(gè)。這里，關(guān)于當(dāng)前編碼單元的分區(qū)類型的信息800被設(shè)置為指示具有尺寸2NX2N的分區(qū)802、具有尺寸2NXN的分區(qū)804、具有尺寸NX 2N的分區(qū)806和具有尺寸NXN的分區(qū)808中的一個(gè)。
[0209]信息810指示每個(gè)分區(qū)的預(yù)測(cè)模式。例如，信息810可指示對(duì)由信息800指示的分區(qū)執(zhí)行的預(yù)測(cè)編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過(guò)模式816。
[0210]信息820指示當(dāng)對(duì)當(dāng)前編碼單元執(zhí)行變換時(shí)將基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀間變換單元828。
[0211]視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個(gè)更深編碼單元提取并使用用于解碼的信息800、810和820。
[0212]圖15是根據(jù)本發(fā)明實(shí)施例的根據(jù)深度的更深編碼單元的示圖。
[0213]分割信息可用于指示深度的改變。分割信息指示當(dāng)前深度的編碼單元是否被分割為更低深度的編碼單元。
[0214]用于具有深度0和尺寸2N_0X2N_0的編碼單元900的預(yù)測(cè)編碼的預(yù)測(cè)單元910可包括以下分區(qū)類型的分區(qū):具有尺寸2N_0X2N_0的分區(qū)類型912、具有尺寸2N_0XN_0的分區(qū)類型914、具有尺寸N_0X2N_0的分區(qū)類型916和具有尺寸N_0XN_0的分區(qū)類型918。圖15僅示出通過(guò)對(duì)稱地分割預(yù)測(cè)單元910而獲得的分區(qū)類型912至918，但是分區(qū)類型不限于此，預(yù)測(cè)單元910的分區(qū)類型可包括非對(duì)稱分區(qū)、具有預(yù)定形狀的分區(qū)以及具有幾何形狀的分區(qū)。[0215]根據(jù)每個(gè)分區(qū)類型對(duì)具有尺寸2N_0X2N_0的一個(gè)分區(qū)、具有尺寸2N_0XN_0的兩個(gè)分區(qū)、具有尺寸N_0X2N_0的兩個(gè)分區(qū)以及具有尺寸N_0XN_0的四個(gè)分區(qū)重復(fù)地執(zhí)行預(yù)測(cè)編碼。可對(duì)具有尺寸2N_0X2N_0、N_0X2N_0、2N_0XN_0和N_0XN_0的分區(qū)執(zhí)行按照幀內(nèi)模式和幀間模式進(jìn)行的預(yù)測(cè)編碼。僅對(duì)具有尺寸2N_0X2N_0的分區(qū)執(zhí)行按照跳過(guò)模式進(jìn)行的預(yù)測(cè)編碼。
[0216]如果在分區(qū)類型912至916的一個(gè)中編碼誤差最小，則可不將預(yù)測(cè)單元910分割到更低深度。
[0217]如果在分區(qū)類型918中編碼誤差最小，則在操作920深度從0改變?yōu)镮以分割分區(qū)類型918，并對(duì)具有深度2和尺寸N_0XN_0的編碼單元930重復(fù)地執(zhí)行編碼以搜索最小
編碼誤差。
[0218]用于具有深度I和尺寸2N_1X2N_1 (=N_0XN_0)的編碼單元930的預(yù)測(cè)編碼的預(yù)測(cè)單元940可包括以下分區(qū)類型的分區(qū):具有尺寸2N_1X2N_1的分區(qū)類型942、具有尺寸2N_1XN_1的分區(qū)類型944、具有尺+N_1X2N_1的分區(qū)類型946和具有尺寸N_1XN_1的分區(qū)類型948。
[0219]如果在分區(qū)類型948中編碼誤差最小，則在操作950深度從I改變?yōu)?以分割分區(qū)類型948，并對(duì)具有深度2和尺寸N_2XN_2的編碼單元960重復(fù)地執(zhí)行編碼以搜索最小
編碼誤差。
[0220]當(dāng)最大深度是d時(shí)，當(dāng)深度變?yōu)閐-1時(shí)可設(shè)置根據(jù)每個(gè)深度的更深編碼單元，并且當(dāng)深度變?yōu)閐-2時(shí)可設(shè)置分割信息。換句話說(shuō)，當(dāng)在操作970在與深度d-2相應(yīng)的編碼單元被分割之后深度變?yōu)閐-1時(shí)執(zhí)行編碼時(shí)，用于對(duì)具有深度d-1和尺寸2N_(d-l) X2N_(d-l)的編碼單元980進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元990可包括以下分區(qū)類型的分區(qū):具有尺寸2N_(d-1) X2N_(d-l)的分區(qū)類型992、具有尺寸2N_(d-l) XN_(d_l)的分區(qū)類型994、具有尺寸N_(d-1) X2N_(d-l)的分區(qū)類型996和具有尺寸N_(d-1) XN_(d_l)的分區(qū)類型998。
[0221]可對(duì)分區(qū)類型992至998中的具有尺寸2N_ (d-1) X 2N_ (d-1)的一個(gè)分區(qū)、具有尺寸2N_(d-l)XN_(d-l)的兩個(gè)分區(qū)、具有尺寸N_(d-1) X2N_(d-l)的兩個(gè)分區(qū)以及具有尺+ N_(d-l)XN_(d-l)的四個(gè)分區(qū)重復(fù)地執(zhí)行預(yù)測(cè)編碼，以搜索具有最小編碼誤差的分區(qū)類型。
[0222]即使當(dāng)分區(qū)類型998具有最小編碼誤差時(shí)，由于最大深度是d，故不再將具有深度d-1的編碼單元CU_(d-l)劃分到更低深度，并且當(dāng)前最大編碼單元900的編碼深度被確定為d-1，當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_(d-1) XN_(d-l)。另外，由于最大深度是d，故不設(shè)置具有最低深度d-1的編碼單元952的分割信息。
[0223]數(shù)據(jù)單元999可以是當(dāng)前最大編碼單元的“最小單元”。根據(jù)本發(fā)明實(shí)施例的最小單元可以是通過(guò)將具有最低編碼深度的最小編碼單元分割為4而獲得的矩形數(shù)據(jù)單元。通過(guò)重復(fù)地執(zhí)行編碼，視頻編碼設(shè)備100可通過(guò)比較根據(jù)編碼單元900的深度的編碼誤差來(lái)選擇具有最小編碼誤差的深度以確定編碼深度，并將相應(yīng)的分區(qū)類型和預(yù)測(cè)模式設(shè)置為編碼深度的編碼模式。
[0224]這樣，在所有深度0至d中比較根據(jù)深度的最小編碼誤差，并且可將具有最小編碼誤差的深度確定為編碼深度。預(yù)測(cè)單元的分區(qū)類型和預(yù)測(cè)模式可作為關(guān)于編碼模式的信息被編碼并被發(fā)送。另外，由于編碼單元從深度0被分割為編碼深度，故僅將編碼深度的分割信息設(shè)置為O，并且將除編碼深度之外的深度的分割信息設(shè)置為I。
[0225]視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關(guān)于編碼單元900的編碼深度和預(yù)測(cè)單元的信息來(lái)對(duì)編碼單元(分區(qū))912進(jìn)行解碼。視頻解碼設(shè)備200可通過(guò)使用根據(jù)深度的分割信息將分割信息是0的深度確定為編碼深度，并使用關(guān)于相應(yīng)深度的編碼模式的信息用于解碼。
[0226]圖16至圖18是用于描述根據(jù)本發(fā)明實(shí)施例的編碼單元1010、預(yù)測(cè)單元1060與變換單元1070之間的關(guān)系的示圖。
[0227]編碼單元1010是在最大編碼單元中與由視頻編碼設(shè)備100確定的編碼深度相應(yīng)的編碼單元。預(yù)測(cè)單元1060是編碼單元1010的每個(gè)中的預(yù)測(cè)單元的分區(qū)，變換單元1070是編碼單元1010的每個(gè)中的變換單元。
[0228]當(dāng)在編碼單元1010中最大編碼單元的深度是0時(shí)，編碼單元1012和1054的深度是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2，編碼單元 1020、1022、1024、1026、1030、1032和1048的深度是3，編碼單元1040、1042、1044和1046的深度是4。
[0229]在預(yù)測(cè)單元1060 中，一些編碼單元(分區(qū))1014、1016、1022、1032、1048、1050、1052和1054被分割。換句話說(shuō)，在編碼單元1014、1022、1050和1054中的分區(qū)類型具有尺寸2NXN,在編碼單元1016、1048和1052中的分區(qū)類型具有尺寸NX 2N，編碼單元1032的分區(qū)類型具有尺寸NXN。編碼單元1010的預(yù)測(cè)單元和分區(qū)小于或等于每個(gè)編碼單元。
[0230]在小于編碼單元1052的數(shù)據(jù)單元中對(duì)變換單元1070中的編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或逆變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052在尺寸和形狀方面不同于預(yù)測(cè)單元1060中的編碼單元1014、1016、1022、1032、1048、1050和1052。換句話說(shuō)，視頻編碼設(shè)備100和視頻解碼設(shè)備200可對(duì)相同編碼單元中的數(shù)據(jù)單元單獨(dú)地執(zhí)行幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、變換和逆變換。
[0231]因此，在最大編碼單元的每個(gè)區(qū)域中對(duì)具有分層結(jié)構(gòu)的編碼單元的每個(gè)遞歸地執(zhí)行編碼以確定最佳編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于編碼單元的分割信息、關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測(cè)模式的信息和關(guān)于變換單元的尺寸的信息。表I示出可由視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。
[0232]表I
[0233]
【權(quán)利要求】
1.一種幀內(nèi)預(yù)測(cè)方法，包括: 從圖像的塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊； 檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是組合幀內(nèi)預(yù)測(cè)(CIP)模式，其中，在CIP模式中僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊； 基于檢查結(jié)果確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K；以及 通過(guò)使用被確定為可用塊的參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
2.如權(quán)利要求1所述的幀內(nèi)預(yù)測(cè)方法，其中，所述搜索鄰近塊的步驟包括:在確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，搜索在當(dāng)前塊之前恢復(fù)的鄰近塊， 所述檢查的步驟包括檢查找到的鄰近塊中的每一個(gè)是否按照幀內(nèi)模式恢復(fù)以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式。
3.如權(quán)利要求1所述的幀內(nèi)預(yù)測(cè)方法，其中，所述執(zhí)行幀內(nèi)預(yù)測(cè)的步驟包括:當(dāng)參考?jí)K偏離圖像的邊界時(shí)，使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域。
4.如權(quán)利要求3所述的幀內(nèi)預(yù)測(cè)方法，其中，所述執(zhí)行幀內(nèi)預(yù)測(cè)的步驟包括:當(dāng)參考?jí)K偏離圖像的邊界時(shí)，使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域，而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式。
5.一種幀內(nèi)預(yù)測(cè)設(shè)備，包括: 幀內(nèi)參考?jí)K確定器，用于從圖像的塊中搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，基于檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)`的塊以及當(dāng)前塊的幀內(nèi)模式是否也是僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊的組合幀內(nèi)預(yù)測(cè)(CIP)模式的結(jié)果來(lái)確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K；以及 幀內(nèi)預(yù)測(cè)器，用于通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。
6.如權(quán)利要求5所述的幀內(nèi)預(yù)測(cè)設(shè)備，其中，幀內(nèi)參考?jí)K確定器在確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，并檢查找到的鄰近塊中的每一個(gè)是否按照幀內(nèi)模式恢復(fù)以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式。
7.如權(quán)利要求5所述的幀內(nèi)預(yù)測(cè)設(shè)備，其中，當(dāng)參考?jí)K偏離圖像的邊界時(shí)，幀內(nèi)預(yù)測(cè)器使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域。
8.如權(quán)利要求7所述的幀內(nèi)預(yù)測(cè)設(shè)備，其中，當(dāng)參考?jí)K偏離圖像的邊界時(shí)，幀內(nèi)預(yù)測(cè)器使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域，而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式。
9.一種視頻解碼設(shè)備，包括: 解析器，用于通過(guò)對(duì)從接收的比特流解析的比特串執(zhí)行熵解碼來(lái)恢復(fù)采樣； 逆變換器，用于通過(guò)對(duì)來(lái)自恢復(fù)的采樣的量化的變換系數(shù)執(zhí)行反量化和逆變換來(lái)恢復(fù)采樣； 幀內(nèi)預(yù)測(cè)器，用于搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，基于檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊的組合幀內(nèi)預(yù)測(cè)(CIP)模式的結(jié)果來(lái)確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K，并通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)，從而對(duì)采樣中處于幀內(nèi)模式的當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)；運(yùn)動(dòng)補(bǔ)償器，用于對(duì)采樣中處于幀間預(yù)測(cè)模式的塊執(zhí)行運(yùn)動(dòng)補(bǔ)償；以及 恢復(fù)器，用于通過(guò)使用由幀間預(yù)測(cè)器或幀內(nèi)預(yù)測(cè)器恢復(fù)的塊來(lái)恢復(fù)圖像。
10.如權(quán)利要求9所述的視頻解碼設(shè)備，其中，幀內(nèi)預(yù)測(cè)器在基于從比特流解析的當(dāng)前圖像的CIP模式信息確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，并檢查找到的鄰近塊中的每一個(gè)是否按照幀內(nèi)模式恢復(fù)以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式。
11.如權(quán)利要求9所述的視頻解碼設(shè)備，其中，當(dāng)參考?jí)K偏離圖像的邊界時(shí)，幀內(nèi)預(yù)測(cè)器使用參考?jí)K的像素中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域，而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式。
12.一種視頻編碼設(shè)備，包括: 幀內(nèi)預(yù)測(cè)器，用于搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，基于檢查找到的鄰近塊是否是按照幀內(nèi)模式恢復(fù)的塊以及當(dāng)前塊的幀內(nèi)模式是否也是僅參考按照幀內(nèi)模式預(yù)恢復(fù)的塊的組合幀內(nèi)預(yù)測(cè)(CIP)模式的結(jié)果來(lái)確定找到的鄰近塊是否是可用于當(dāng)前塊的幀內(nèi)預(yù)測(cè)的參考?jí)K，并通過(guò)使用參考?jí)K的采樣值對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)，從而對(duì)視頻的塊中處于幀內(nèi)模式的當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)； 幀間預(yù)測(cè)器，用于對(duì)塊中處于幀間預(yù)測(cè)模式的塊執(zhí)行幀間預(yù)測(cè)； 變換器和量化器，用于對(duì)執(zhí)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)的結(jié)果執(zhí)行變換和量化；以及 輸出單元，用于輸出通過(guò)對(duì)包括作為變換和量化的結(jié)果而產(chǎn)生的量化的變換系數(shù)的采樣執(zhí)行熵編碼而產(chǎn)生的比特流。
13.如權(quán)利要求12所述的視頻編碼設(shè)備，其中，幀內(nèi)預(yù)測(cè)器在基于從比特流解析的當(dāng)前圖像的CIP模式信息確定當(dāng)前塊的預(yù)測(cè)模式是否是CIP模式的幀內(nèi)模式之前，搜索在當(dāng)前塊之前恢復(fù)的鄰近塊，并檢查找到的鄰近塊中的每一個(gè)是否按照幀內(nèi)模式恢復(fù)以及當(dāng)前塊的幀內(nèi)模式是否也是CIP模式。
14.如權(quán)利要求12所述的視頻編碼設(shè)備，其中，當(dāng)參考?jí)K偏離圖像的邊界時(shí)，幀內(nèi)預(yù)測(cè)器使用參考?jí)K的像素 中的與邊界的內(nèi)部鄰近的像素的采樣值來(lái)填充偏離圖像的邊界的區(qū)域，而不論當(dāng)前塊的幀內(nèi)模式是否是CIP模式。
15.一種記錄有用于執(zhí)行權(quán)利要求1的幀內(nèi)預(yù)測(cè)方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)。
【文檔編號(hào)】H04N19/70GK103782595SQ201280042780
【公開日】2014年5月7日 申請(qǐng)日期:2012年7月2日 優(yōu)先權(quán)日:2011年7月1日
【發(fā)明者】楊喜喆, 郭榮珍, 崔光杓 申請(qǐng)人:三星電子株式會(huì)社