本公開(kāi)涉及一種層間視頻編碼方法和層間視頻解碼方法。

背景技術(shù)：

隨著用于再現(xiàn)和存儲(chǔ)高分辨率或高質(zhì)量視頻內(nèi)容的硬件正被開(kāi)發(fā)和提供，對(duì)于用于有效地對(duì)高分辨率或高質(zhì)量視頻內(nèi)容進(jìn)行編碼或解碼的視頻編解碼器的需求正在增加。根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的宏塊，根據(jù)受限的編碼方法來(lái)對(duì)視頻進(jìn)行編碼。

空間域的圖像數(shù)據(jù)經(jīng)由頻率變換被變換為頻域的系數(shù)。根據(jù)視頻編解碼器，將圖像劃分為具有預(yù)定尺寸的塊，對(duì)每個(gè)塊執(zhí)行離散余弦變換(DCT)，并按照塊單元對(duì)頻率系數(shù)進(jìn)行編碼，以進(jìn)行頻率變換的快速計(jì)算。與空間域的圖像數(shù)據(jù)相比，頻域的系數(shù)容易被壓縮。具體地，由于根據(jù)經(jīng)由視頻編解碼器的幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)的預(yù)測(cè)誤差來(lái)表示空間域的圖像像素值，因此當(dāng)對(duì)預(yù)測(cè)誤差執(zhí)行頻率變換時(shí)，大量數(shù)據(jù)可能被變換為0。根據(jù)視頻編解碼器，可通過(guò)使用小規(guī)模的數(shù)據(jù)來(lái)代替連續(xù)并重復(fù)產(chǎn)生的數(shù)據(jù)，從而減少數(shù)據(jù)量。

多層視頻編解碼器對(duì)第一層視頻和至少一個(gè)第二層視頻進(jìn)行編碼和解碼。通過(guò)去除時(shí)間/空間冗余以及第一層視頻和第二層視頻的層冗余，可減少第一層視頻和第二層視頻的數(shù)據(jù)量。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問(wèn)題

當(dāng)基于子塊的層間預(yù)測(cè)被執(zhí)行時(shí)，根據(jù)子塊執(zhí)行對(duì)運(yùn)動(dòng)信息的預(yù)測(cè)并且因此可執(zhí)行更加準(zhǔn)確的預(yù)測(cè)，但是由于根據(jù)子塊執(zhí)行預(yù)測(cè)以及編碼/解碼處理，因此運(yùn)算復(fù)雜度會(huì)增加。

技術(shù)方案

根據(jù)實(shí)施例，提供了一種用于使用子塊執(zhí)行層間預(yù)測(cè)的更簡(jiǎn)單的預(yù)測(cè)方法，從而降低了編碼/解碼設(shè)備的運(yùn)算復(fù)雜度。

本公開(kāi)的技術(shù)方案不限于上述特征，其它未描述的技術(shù)方案基于以下描述對(duì)于本領(lǐng)域普通技術(shù)人員而言會(huì)變得清楚。

根據(jù)本公開(kāi)的一方面，提供了一種層間視頻解碼方法，包括：從比特流獲得運(yùn)動(dòng)繼承信息；當(dāng)運(yùn)動(dòng)繼承信息指示第一層的與第二層的當(dāng)前塊相應(yīng)的塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息時(shí)，確定第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用；當(dāng)確定包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息；基于獲得的第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的所述子塊的運(yùn)動(dòng)信息。

附圖說(shuō)明

圖1a是根據(jù)實(shí)施例的層間視頻編碼設(shè)備的框圖。

圖1b是根據(jù)實(shí)施例的層間視頻編碼方法的流程圖。

圖2a是根據(jù)實(shí)施例的層間視頻解碼設(shè)備的框圖。

圖2b是根據(jù)實(shí)施例的層間視頻解碼方法的流程圖。

圖3a是根據(jù)實(shí)施例的層間預(yù)測(cè)結(jié)構(gòu)的示圖。

圖3b示出根據(jù)實(shí)施例的多層視頻。

圖3c示出實(shí)施例的包括多層視頻的編碼數(shù)據(jù)的網(wǎng)絡(luò)抽象層(NAL)單元。

圖4a示出根據(jù)實(shí)施例的確定運(yùn)動(dòng)繼承候選的處理。

圖4b是用于描述根據(jù)實(shí)施例的通過(guò)視點(diǎn)間預(yù)測(cè)的視點(diǎn)間候選以及用于視點(diǎn)間預(yù)測(cè)的視差矢量的示圖。

圖4c示出根據(jù)實(shí)施例的包括在合并候選列表中的空間候選。

圖4d示出根據(jù)實(shí)施例的包括在合并候選列表中的時(shí)間候選。

圖5a和圖5b是用于描述根據(jù)實(shí)施例的基于子塊的層間運(yùn)動(dòng)預(yù)測(cè)的示圖。

圖6a至圖6c示出根據(jù)實(shí)施例的通過(guò)使用層間候選來(lái)形成合并候選列表的處理。

圖7a示出根據(jù)實(shí)施例的序列參數(shù)集(SPS)多視點(diǎn)擴(kuò)展信息。

圖7b是形成合并候選列表的處理的語(yǔ)法表的示例。

圖8是根據(jù)實(shí)施例的基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖。

圖9是根據(jù)實(shí)施例的基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖。

圖10是用于描述根據(jù)本公開(kāi)的各種實(shí)施例的編碼單元的概念的示圖。

圖11是根據(jù)本公開(kāi)的各種實(shí)施例的基于編碼單元的圖像編碼器的框圖。

圖12是根據(jù)本公開(kāi)的各種實(shí)施例的基于編碼單元的圖像解碼器的框圖。

圖13是示出根據(jù)本公開(kāi)的各種實(shí)施例的編碼單元以及分區(qū)的示圖。

圖14是用于描述根據(jù)本公開(kāi)的各種實(shí)施例的編碼單元與變換單元之間的關(guān)系的示圖。

圖15是用于描述根據(jù)本公開(kāi)的實(shí)施例的編碼信息的示圖。

圖16是根據(jù)本公開(kāi)的各種實(shí)施例的編碼單元的示圖。

圖17至圖19是用于描述根據(jù)本公開(kāi)的各種實(shí)施例的編碼單元、預(yù)測(cè)單元和變換單元之間的關(guān)系的示圖。

圖20是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測(cè)單元、和變換單元之間的關(guān)系的示圖。

圖21是根據(jù)各種實(shí)施例的存儲(chǔ)程序的盤(pán)的物理結(jié)構(gòu)的示圖。

圖22是通過(guò)使用盤(pán)來(lái)記錄和讀取程序的盤(pán)驅(qū)動(dòng)器的示圖。

圖23是提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的示圖。

圖24和圖25分別是根據(jù)各種實(shí)施例的應(yīng)用了視頻編碼方法和視頻解碼方法的移動(dòng)電話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)的示圖。

圖26是根據(jù)本公開(kāi)的應(yīng)用了通信系統(tǒng)的數(shù)字廣播系統(tǒng)的示圖。

圖27是示出根據(jù)本公開(kāi)的各種實(shí)施例的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)的示圖。

最佳模式

根據(jù)本公開(kāi)的一方面，提供了一種層間視頻解碼方法，包括：從比特流獲得運(yùn)動(dòng)繼承信息；當(dāng)運(yùn)動(dòng)繼承信息指示第一層的與第二層的當(dāng)前塊相應(yīng)的塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息時(shí)，確定第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用；當(dāng)確定包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息；基于獲得的第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。

所述預(yù)定位置處的像素可以是位于第一層的所述塊的中心的像素。

獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息的步驟可包括：獲得包括在第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊之中的具有可用運(yùn)動(dòng)信息的子塊的運(yùn)動(dòng)信息。

確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息的步驟可包括：當(dāng)?shù)谝粚拥乃鰤K的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息可用時(shí)，基于第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。

確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息的步驟可包括：當(dāng)?shù)谝粚拥乃鰤K的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息不可用時(shí)，基于包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。

運(yùn)動(dòng)信息可包括參考列表、參考畫(huà)面索引以及運(yùn)動(dòng)矢量預(yù)測(cè)值。

獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息的步驟還可包括：基于包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用，確定包括作為合并候選的第一層的所述塊的合并候選列表，其中，第一層的所述塊包括第一層的所述塊的與當(dāng)前塊的所述子塊相應(yīng)的子塊。

確定合并候選列表的步驟可包括：當(dāng)包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息與包括在合并候選列表中且處于另一模式的合并候選的運(yùn)動(dòng)信息不同時(shí)，確定包括作為合并候選的第一層的所述塊的合并候選列表。

確定合并候選列表的步驟可包括：當(dāng)包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息與當(dāng)前塊的鄰近塊的運(yùn)動(dòng)信息不同時(shí)，確定包括作為合并候選的所述鄰近塊的合并候選列表。

層間視頻可包括多個(gè)視點(diǎn)的深度圖像和紋理圖像，并且第二層可以是深度圖像，第一層可以是與深度圖像相應(yīng)的紋理圖像。

層間視頻可包括多個(gè)視點(diǎn)的紋理圖像，并且第二層可以是所述多個(gè)視點(diǎn)的紋理圖像之中的一個(gè)視點(diǎn)的紋理圖像，第一層是所述多個(gè)視點(diǎn)的紋理圖像之中的與第二層的視點(diǎn)不同的另一視點(diǎn)的紋理圖像。

根據(jù)本公開(kāi)的另一方面，提供了一種層間視頻解碼設(shè)備，包括：獲得器，被配置為從比特流獲得運(yùn)動(dòng)繼承信息；解碼器，被配置為當(dāng)運(yùn)動(dòng)繼承信息指示第一層的與第二層的當(dāng)前塊相應(yīng)的塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息時(shí)，確定第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用；當(dāng)確定包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息；基于獲得的第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。

根據(jù)本公開(kāi)的另一方面，提供了一種層間視頻編碼方法，包括：確定第一層的塊的與第二層的當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用；當(dāng)確定包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息；基于獲得的第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息；將指示第一層的所述塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息的運(yùn)動(dòng)繼承信息添加到比特流。

根據(jù)本公開(kāi)的另一方面，提供了一種層間視頻編碼設(shè)備，包括：編碼器，被配置為確定第一層的塊的與第二層的當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用；當(dāng)確定包括第一層的所述塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，獲得第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息；基于獲得的第一層的所述塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息；比特流產(chǎn)生器，被配置為將指示第一層的所述塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息的運(yùn)動(dòng)繼承信息添加到比特流。

根據(jù)本公開(kāi)的另一方面，提供了一種記錄有程序的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述程序在被計(jì)算機(jī)執(zhí)行時(shí)執(zhí)行所述層間視頻解碼方法。

具體實(shí)施方式

在下文中，將參照?qǐng)D1a至圖7b描述根據(jù)實(shí)施例的用于執(zhí)行基于子塊的預(yù)測(cè)的層間視頻編碼技術(shù)和層間視頻解碼技術(shù)。此外，將參照?qǐng)D8至圖20描述適用于層間視頻編碼和解碼技術(shù)的根據(jù)實(shí)施例的基于具有樹(shù)結(jié)構(gòu)的編碼單元的視頻編碼技術(shù)和視頻解碼技術(shù)。此外，將參照?qǐng)D21至圖27描述視頻編碼方法和視頻解碼方法適用的一個(gè)或更多個(gè)實(shí)施例。

在下文中，“圖像”可表示靜止圖像或視頻的運(yùn)動(dòng)圖像，或者表示視頻本身。

在下文中，“樣點(diǎn)”表示被分配給圖像的采樣位置并且將被處理的數(shù)據(jù)。例如，空間域的圖像中的像素值或塊的殘差可以是樣點(diǎn)。

在下文中，“當(dāng)前塊”可表示將被編碼或解碼的圖像的塊。

在下文中，“鄰近塊”表示與當(dāng)前塊鄰近的至少一個(gè)編碼塊或解碼塊。例如，鄰近塊可位于當(dāng)前塊的頂部、右上側(cè)、左側(cè)、或左上側(cè)。此外，鄰近塊可以是空間鄰近塊或時(shí)間鄰近塊。例如，時(shí)間鄰近塊可包括參考畫(huà)面中與當(dāng)前塊相同位置的塊，或該相同位置的塊的鄰近塊。

在下文中，“層圖像”表示特定視點(diǎn)或相同類型的圖像。在多視點(diǎn)視頻中，一個(gè)層圖像表示在特定視點(diǎn)輸入的紋理圖像或深度圖像。例如，在3維(3D)視頻中，左視點(diǎn)紋理圖像、右視點(diǎn)紋理圖像以及深度圖像均形成一個(gè)層圖像。換句話說(shuō)，左視點(diǎn)紋理圖像可形成第一層圖像，右視點(diǎn)紋理圖像可形成第二層圖像，并且深度圖像可形成第三層圖像。

首先，將參照?qǐng)D1a至圖7b描述根據(jù)實(shí)施例的用于執(zhí)行基于子塊的預(yù)測(cè)的層間視頻解碼設(shè)備和方法以及層間視頻編碼設(shè)備和方法。

圖1a是根據(jù)實(shí)施例的層間視頻編碼設(shè)備10的框圖。圖1b是根據(jù)實(shí)施例的層間視頻編碼方法的流程圖。

參照?qǐng)D1a，層間視頻編碼設(shè)備10可包括編碼器12和比特流產(chǎn)生器18。編碼器12可包括第一層編碼器14和第二層編碼器16。

根據(jù)實(shí)施例的層間視頻編碼設(shè)備10可根據(jù)可伸縮視頻編碼方案，根據(jù)層對(duì)多個(gè)圖像序列進(jìn)行分類并對(duì)每個(gè)圖像序列進(jìn)行編碼，并可輸出包括根據(jù)層編碼的數(shù)據(jù)的單獨(dú)的流。層間視頻編碼設(shè)備10可將第一層圖像序列和第二層圖像序列編碼到不同的層。

第一層編碼器14可對(duì)第一層圖像進(jìn)行編碼，并可輸出包括第一層圖像的編碼數(shù)據(jù)的第一層流。

第二層編碼器16可對(duì)第二層圖像進(jìn)行編碼，并可輸出包括第二層圖像的編碼數(shù)據(jù)的第二層流。

例如，根據(jù)基于空間可伸縮性的可伸縮視頻編碼方法，低分辨率圖像可被編碼為第一層圖像，高分辨率圖像可被編碼為第二層圖像。第一層圖像的編碼結(jié)果被輸出為第一層流，第二層圖像的編碼結(jié)果被輸出為第二層流。

根據(jù)實(shí)施例的層間視頻編碼設(shè)備10可通過(guò)復(fù)用器將第一層流和第二層流表示并編碼為一個(gè)比特流。

作為另一示例，多視點(diǎn)視頻可根據(jù)可伸縮視頻編碼方案而被編碼。左視點(diǎn)圖像可被編碼為第一層圖像，右視點(diǎn)圖像可被編碼為第二層圖像?？蛇x擇地，中心視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像均可被編碼，其中，中心視點(diǎn)圖像被編碼為第一層圖像，左視點(diǎn)圖像被編碼為第二層圖像，右視點(diǎn)圖像被編碼為第三層圖像?？蛇x擇地，中心視點(diǎn)紋理圖像、中心視點(diǎn)深度圖像、左視點(diǎn)紋理圖像、左視點(diǎn)深度圖像、右視點(diǎn)紋理圖像和右視點(diǎn)深度圖像可被分別編碼為第一層圖像、第二層圖像、第三層圖像、第四層圖像、第五層圖像和第六層圖像。作為另一示例，中心視點(diǎn)紋理圖像、中心視點(diǎn)深度圖像、左視點(diǎn)深度圖像、左視點(diǎn)紋理圖像、右視點(diǎn)深度圖像和右視點(diǎn)紋理圖像可被分別編碼為第一層圖像、第二層圖像、第三層圖像、第四層圖像、第五層圖像和第六層圖像。

作為另一示例，可伸縮視頻編碼方法可根據(jù)基于時(shí)間可伸縮性的時(shí)間分層預(yù)測(cè)而被執(zhí)行。包括通過(guò)對(duì)基本幀率的圖像進(jìn)行編碼而產(chǎn)生的編碼信息的第一層流可被輸出。可根據(jù)幀率對(duì)時(shí)間級(jí)別進(jìn)行分類，并可根據(jù)層對(duì)每個(gè)時(shí)間級(jí)別進(jìn)行編碼。通過(guò)參考基本幀率的圖像對(duì)更高幀率的圖像進(jìn)行進(jìn)一步編碼，包括高速幀率的編碼信息的第二層流可被輸出。

此外，可對(duì)第一層以及多個(gè)擴(kuò)展層(第二層至第K層)執(zhí)行可伸縮視頻編碼。在存在至少三個(gè)擴(kuò)展層時(shí)，第一層圖像至第K層圖像可被編碼。因此，第一層圖像的編碼結(jié)果可被輸出為第一層流，第一層圖像至第K層圖像的編碼結(jié)果可分別被輸出為第一層流至第K層流。

根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10可執(zhí)行參考單個(gè)層的圖像以預(yù)測(cè)當(dāng)前圖像的幀間預(yù)測(cè)。通過(guò)執(zhí)行幀間預(yù)測(cè)，可從與第一層(基本層)相應(yīng)的區(qū)域預(yù)測(cè)出指示當(dāng)前圖像和參考圖像之間的運(yùn)動(dòng)信息的運(yùn)動(dòng)矢量以及當(dāng)前圖像和參考圖像之間的殘差。

詳細(xì)地講，在形成多視點(diǎn)圖像的每個(gè)層的圖像之間存在高相關(guān)性。例如，由于相同視點(diǎn)的紋理圖像和深度圖像是在顏色和深度方面被分別表現(xiàn)的相同時(shí)間相同視點(diǎn)的圖像，因此相同視點(diǎn)的紋理圖像和深度圖像之間存在相關(guān)性。此外，在同時(shí)輸入的不同視點(diǎn)的紋理圖像或不同視點(diǎn)的深度圖像之間可能存在相關(guān)性。在不同時(shí)間輸入的不同視點(diǎn)的紋理圖像和深度圖像之間也可能存在相關(guān)性。因此，在多視點(diǎn)圖像中，存在各種類型的可用參考圖像，并且可經(jīng)由各種方法執(zhí)行幀間預(yù)測(cè)。

換句話說(shuō)，幀間預(yù)測(cè)不僅在一般單視點(diǎn)圖像的幀間預(yù)測(cè)期間沿時(shí)間方向被執(zhí)行，幀間預(yù)測(cè)可在多視點(diǎn)圖像的幀間預(yù)測(cè)期間在具有不同視點(diǎn)的層之間沿視點(diǎn)方向被執(zhí)行。此外，由于在彼此相應(yīng)的紋理圖像和深度圖像之間存在相關(guān)性，因此可通過(guò)彼此參照來(lái)對(duì)紋理圖像和深度圖像進(jìn)行幀間預(yù)測(cè)。一般而言，由于包括在紋理圖像中的信息量高，因此可通過(guò)參照紋理圖像來(lái)對(duì)深度圖像進(jìn)行幀間預(yù)測(cè)。

因此，層間視頻編碼設(shè)備10可通過(guò)使用運(yùn)動(dòng)參數(shù)繼承(MPI)編碼和解碼方法來(lái)執(zhí)行層間預(yù)測(cè)。此外，層間視頻編碼設(shè)備10可經(jīng)由視點(diǎn)間運(yùn)動(dòng)矢量預(yù)測(cè)來(lái)執(zhí)行層間預(yù)測(cè)。

MPI編碼和解碼方法是一種在對(duì)深度圖像進(jìn)行編碼和解碼的同時(shí)通過(guò)從相同視點(diǎn)的紋理圖像預(yù)測(cè)運(yùn)動(dòng)信息來(lái)對(duì)深度圖像進(jìn)行編碼和解碼的方法。例如，紋理圖像中的與深度圖像的當(dāng)前塊位于相同點(diǎn)的參考?jí)K的運(yùn)動(dòng)信息可被預(yù)測(cè)為所述當(dāng)前塊的運(yùn)動(dòng)信息，以便執(zhí)行MPI編碼和解碼方法。視點(diǎn)間運(yùn)動(dòng)矢量預(yù)測(cè)方法是視點(diǎn)間編碼參數(shù)預(yù)測(cè)方法的代表性方法，并可通過(guò)從一個(gè)視點(diǎn)的已被編碼的紋理圖像的運(yùn)動(dòng)信息預(yù)測(cè)另一視點(diǎn)的紋理圖像的運(yùn)動(dòng)信息來(lái)執(zhí)行。

根據(jù)MPI編碼和解碼方法的MPI候選以及根據(jù)視點(diǎn)間運(yùn)動(dòng)矢量預(yù)測(cè)方法的視點(diǎn)間候選可包括在合并模式下所使用的合并候選中。

合并模式是一種分別從在幀間預(yù)測(cè)期間在當(dāng)前塊之前已被處理的先前塊的參考列表、參考畫(huà)面索引以及運(yùn)動(dòng)矢量預(yù)測(cè)因子(MVP)來(lái)推導(dǎo)當(dāng)前塊的參考列表、參考畫(huà)面索引以及MVP的技術(shù)?？苫谠诤喜⒛Ｊ较峦茖?dǎo)出的MVP來(lái)確定運(yùn)動(dòng)矢量值。圖2a的編碼器12和解碼器44可通過(guò)搜索鄰近塊的運(yùn)動(dòng)信息來(lái)形成合并候選。編碼器12可對(duì)指示被選為搜索鄰近塊的運(yùn)動(dòng)信息的結(jié)果的合并候選塊的合并索引進(jìn)行編碼。

此外，層間視頻編碼設(shè)備10除了可使用MPI編碼和解碼方法和視點(diǎn)間預(yù)測(cè)方法之外，還可使用通過(guò)參照不同層的塊來(lái)預(yù)測(cè)運(yùn)動(dòng)信息的各種預(yù)測(cè)方法。

運(yùn)動(dòng)信息可以是包括參考列表、參考畫(huà)面索引以及MVP中的至少一項(xiàng)的信息。此外，運(yùn)動(dòng)信息可以是包括關(guān)于層間預(yù)測(cè)中的視差矢量的信息的信息。

此外，當(dāng)根據(jù)實(shí)施例的層間視頻編碼設(shè)備10允許至少三個(gè)層(即，第一層至第三層)時(shí)，可根據(jù)多層預(yù)測(cè)結(jié)構(gòu)執(zhí)行第一層圖像和第三層圖像之間的層間預(yù)測(cè)以及第二層圖像和第三層圖像之間的層間預(yù)測(cè)。

在層間預(yù)測(cè)中，在當(dāng)前圖像的層的視點(diǎn)與參考圖像的層的視點(diǎn)不同時(shí)，當(dāng)前圖像和與當(dāng)前圖像的層不同的層的參考圖像之間的視差矢量可被獲得，并且作為當(dāng)前圖像和通過(guò)使用該不同的層的參考圖像而產(chǎn)生的預(yù)測(cè)圖像之間的差分量的殘差可被產(chǎn)生。

稍后將參照?qǐng)D3a描述層間預(yù)測(cè)結(jié)構(gòu)。

根據(jù)實(shí)施例的層間視頻編碼設(shè)備10可根據(jù)層基于視頻的每個(gè)圖像的塊執(zhí)行編碼。塊可具有正方形形狀、矩形形狀或任意幾何形狀，并且不限于具有預(yù)定尺寸的數(shù)據(jù)單元。塊可以是根據(jù)樹(shù)結(jié)構(gòu)的編碼單元之中的最大編碼單元、編碼單元、預(yù)測(cè)單元或變換單元。包括樹(shù)結(jié)構(gòu)的編碼單元的最大編碼單元(LCU)可被不同地稱為諸如編碼樹(shù)單元、編碼塊樹(shù)、塊樹(shù)、根塊樹(shù)、編碼樹(shù)、編碼根或樹(shù)干。稍后將參照?qǐng)D8至圖20描述基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻編碼和解碼方法。

可基于諸如編碼單元、預(yù)測(cè)單元或變換單元的數(shù)據(jù)單元執(zhí)行幀間預(yù)測(cè)和層間預(yù)測(cè)。

根據(jù)實(shí)施例的第一層編碼器14可通過(guò)對(duì)第一層圖像執(zhí)行包括幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)的源編碼操作來(lái)產(chǎn)生符號(hào)數(shù)據(jù)。符號(hào)數(shù)據(jù)表示每個(gè)編碼參數(shù)的值以及殘差的樣值。

例如，編碼器12可通過(guò)對(duì)第一層圖像的數(shù)據(jù)單元的樣點(diǎn)執(zhí)行幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)、變換和量化來(lái)產(chǎn)生符號(hào)數(shù)據(jù)，并通過(guò)對(duì)符號(hào)數(shù)據(jù)執(zhí)行熵編碼來(lái)產(chǎn)生第一層流。

第二層編碼器16可基于樹(shù)結(jié)構(gòu)的編碼單元對(duì)第二層圖像進(jìn)行編碼。第二層編碼器16可通過(guò)對(duì)第二層圖像的編碼單元的樣點(diǎn)執(zhí)行幀間/幀內(nèi)預(yù)測(cè)、變換和量化來(lái)產(chǎn)生符號(hào)數(shù)據(jù)，并通過(guò)對(duì)符號(hào)數(shù)據(jù)執(zhí)行熵編碼來(lái)產(chǎn)生第二層流。

根據(jù)實(shí)施例的第二層編碼器16可通過(guò)使用第一層圖像的預(yù)測(cè)信息來(lái)執(zhí)行預(yù)測(cè)第二層圖像的層間預(yù)測(cè)。為了通過(guò)層間預(yù)測(cè)結(jié)構(gòu)對(duì)來(lái)自第二層圖像序列的第二層原始圖像進(jìn)行編碼，第二編碼器16可通過(guò)使用第一層重建圖像的運(yùn)動(dòng)信息確定第二層當(dāng)前圖像的運(yùn)動(dòng)信息，并通過(guò)基于確定的運(yùn)動(dòng)信息產(chǎn)生第二層預(yù)測(cè)圖像以對(duì)第二層原始圖像和第二層預(yù)測(cè)圖像之間的預(yù)測(cè)誤差進(jìn)行編碼。

同時(shí)，第二層編碼器16可通過(guò)根據(jù)編碼單元或預(yù)測(cè)單元對(duì)第二層圖像執(zhí)行層間預(yù)測(cè)來(lái)確定第一層圖像之中的將被第二層圖像的塊參考的塊。例如，第一層圖像之中的位置與第二層圖像中的當(dāng)前塊的位置相應(yīng)的重建塊可被確定。第二層編碼器16可使用與第二層塊相應(yīng)的第一層重建塊作為第二層預(yù)測(cè)塊。這里，第二層編碼器16可通過(guò)使用位于與第二層塊相應(yīng)的點(diǎn)處的第一層重建塊來(lái)確定第二層預(yù)測(cè)塊。

第二層編碼器16可將通過(guò)根據(jù)層間預(yù)測(cè)塊使用第一層重建塊而確定的第二層預(yù)測(cè)塊用作用于第二層原始?jí)K的層間預(yù)測(cè)的參考圖像。第二層編碼器16可通過(guò)使用第一層重建圖像對(duì)第二層預(yù)測(cè)塊的樣值和第二層原始?jí)K的樣值之間的誤差(即，根據(jù)層間預(yù)測(cè)的殘差)進(jìn)行變換和量化來(lái)執(zhí)行熵編碼。

同時(shí)，當(dāng)上述層間視頻編碼設(shè)備10對(duì)多視點(diǎn)視頻進(jìn)行編碼時(shí)，被編碼的第二層圖像可以是深度圖像，第一層圖像可以與第二層圖像具有相同視點(diǎn)的紋理圖像。

可選擇地，將被編碼的第二層圖像可以是第二視點(diǎn)視頻，第一層圖像可以是第一視點(diǎn)視頻。由于這樣的多視點(diǎn)圖像被同時(shí)獲得，因此根據(jù)視點(diǎn)的圖像之間的相似度高。

然而，由于拍攝角度、亮度和拍攝裝置(相機(jī)和鏡頭)的特性根據(jù)視點(diǎn)而不同，因此多視點(diǎn)圖像可能具有視差。在視頻編碼和解碼處理期間，該視差可以以視差矢量表示。通過(guò)在不同視點(diǎn)的圖像中搜索與當(dāng)前將被編碼的塊最相似的區(qū)域，可確定視差矢量，并且經(jīng)由視差預(yù)測(cè)可提高編碼效率。

第二層編碼器16可將第二層的當(dāng)前塊劃分為一個(gè)或更多個(gè)子塊并按照子塊單元來(lái)執(zhí)行預(yù)測(cè)。例如，子塊可以是小于或等于當(dāng)前塊的預(yù)測(cè)單元的塊。例如，第二層編碼器16可根據(jù)層來(lái)確定并劃分子塊的尺寸，并按照當(dāng)前塊的子塊單元來(lái)執(zhí)行預(yù)測(cè)。

詳細(xì)地講，第二層編碼器16可基于第一層的塊(在下文中被稱為“第一層塊”)的與第二層的當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用，來(lái)確定是否按照子塊單元來(lái)執(zhí)行預(yù)測(cè)。當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，第二層編碼器16可按照子塊單元來(lái)執(zhí)行當(dāng)前塊的運(yùn)動(dòng)信息預(yù)測(cè)。

包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用可表示存在包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息。例如，當(dāng)通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)對(duì)包括第一層塊的預(yù)定位置處的像素的子塊進(jìn)行了編碼/解碼時(shí)，包括第一層塊的預(yù)定位置處的像素的子塊不具有運(yùn)動(dòng)信息，因此所述運(yùn)動(dòng)信息可能不可用。

運(yùn)動(dòng)信息可以是包括參考列表、參考畫(huà)面索引和MVP的信息。

第二層編碼器16可通過(guò)使用子塊執(zhí)行預(yù)測(cè)來(lái)對(duì)當(dāng)前塊執(zhí)行更加準(zhǔn)確的預(yù)測(cè)。這里，第二層編碼器16可不根據(jù)第一層塊的子塊來(lái)確定運(yùn)動(dòng)信息是否可用，而是可將第一層塊的子塊之中的預(yù)定子塊的運(yùn)動(dòng)信息用作默認(rèn)運(yùn)動(dòng)信息以降低復(fù)雜度。例如，當(dāng)默認(rèn)運(yùn)動(dòng)信息可用時(shí)，第二層的當(dāng)前塊的子塊的運(yùn)動(dòng)信息可基于第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定。

默認(rèn)運(yùn)動(dòng)信息可以是第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息。第二層編碼器16可基于第一層塊的與第二層的當(dāng)前塊的子塊相應(yīng)子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用來(lái)確定是否參考第一層塊的子塊的運(yùn)動(dòng)信息。例如，第一層塊的預(yù)定位置處的像素可以是位于第一層塊的中心的像素。

第二層編碼器16可在第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊經(jīng)由幀間預(yù)測(cè)被編碼/解碼時(shí)，確定包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用。在這種情況下，當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，第二層編碼器16可將指示包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息的可用性的信息(availableFlagIV或availableFlagT)確定為1。例如，當(dāng)通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)對(duì)包括第一層塊的預(yù)定位置處的像素的子塊進(jìn)行了編碼/解碼時(shí)，第二層編碼器16可確定包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息不可用，并且因此將availableFlagIV或availableFlagT確定為0。作為另一示例，當(dāng)由包括第一層塊的預(yù)定位置處的像素的子塊的參考畫(huà)面索引所指示的參考畫(huà)面的位置(PicOrderCnt)與參考畫(huà)面列表中的參考圖像的PicOrderCnt匹配的圖像不在參考列表中時(shí)，第二層編碼器16可確定包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息不可用，并因此將availableFlagIV或availableFlagT確定為0

當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，第二層編碼器16可獲得第一層塊的子塊的運(yùn)動(dòng)信息。第二層編碼器16可基于獲得的第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。換句話說(shuō)，第一層塊可包括第一層塊的分別與包括在第二層的當(dāng)前塊中的子塊相應(yīng)的子塊，并且所述當(dāng)前塊的子塊的運(yùn)動(dòng)信息可基于第一層塊的所述子塊的相應(yīng)運(yùn)動(dòng)信息來(lái)確定。

這里，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，當(dāng)前塊的與所述一個(gè)子塊相應(yīng)的子塊的運(yùn)動(dòng)信息可基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定。例如，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)或更多個(gè)子塊是通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)而被編碼/解碼的時(shí)，通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)而被編碼/解碼的所述一個(gè)或更多個(gè)子塊的運(yùn)動(dòng)信息可能不可用。

當(dāng)默認(rèn)運(yùn)動(dòng)信息可用時(shí)，第二層編碼器16可在第一層塊的子塊的運(yùn)動(dòng)信息之中僅獲得子塊的可用運(yùn)動(dòng)信息，以確定當(dāng)前塊的相應(yīng)子塊的運(yùn)動(dòng)信息。

換句話說(shuō)，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)或更多個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，第二層編碼器16可獲得第一層塊的子塊的可用運(yùn)動(dòng)信息，以確定當(dāng)前塊的相應(yīng)子塊的運(yùn)動(dòng)信息，并基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的與具有不可用運(yùn)動(dòng)信息的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。

第二層編碼器16可通過(guò)使用層間候選來(lái)確定是否形成合并候選。換句話說(shuō)，第二層編碼器16可確定指示與第二層的當(dāng)前塊相應(yīng)的第一層塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息的信息。例如，在合并模式下，指示可用性的信息可包括指示MPI候選的可用性的信息(MpiFlag)或指示視點(diǎn)間候選的可用性的信息(IvMvPredFlag)。指示可用性的信息(MpiFlag或IvMvPredFlag)可由指示關(guān)聯(lián)模式的使用的運(yùn)動(dòng)繼承信息(mpi_flag或iv_mv_pred_flag)來(lái)確定。指示關(guān)聯(lián)模式的使用的運(yùn)動(dòng)繼承信息可在視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)或畫(huà)面參數(shù)集(PPS)的頭部中被定義。例如，當(dāng)在SPS頭部中定義的mpi_flag是1并且允許層間預(yù)測(cè)時(shí)，MpiFlag可被定義為1，并且當(dāng)在SPS頭部中定義的iv_mv_pred_flag為1且允許層間預(yù)測(cè)時(shí)，IvMvPredFlag可被定義為1。

此外，當(dāng)MPI候選可用作合并候選時(shí)，第二層編碼器16可根據(jù)預(yù)定優(yōu)先級(jí)將MPI候選添加到合并候選列表。第二層編碼器16可基于紋理圖像中與深度圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagT)，來(lái)確定是否將MPI候選添加到合并候選列表。

此外，當(dāng)視點(diǎn)間候選可用作合并候選時(shí)，第二層編碼器16可根據(jù)預(yù)定優(yōu)先級(jí)將視點(diǎn)間候選添加到合并候選列表。第二層編碼器16可基于第一視點(diǎn)的紋理圖像中與第二視點(diǎn)的紋理圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagIV)，來(lái)確定是否將視點(diǎn)間候選添加到合并候選列表。

當(dāng)確定合并候選時(shí)，第二層編碼器16可執(zhí)行修剪處理以排除具有相同運(yùn)動(dòng)信息的候選。

修剪處理是用于去除合并候選的運(yùn)動(dòng)信息的冗余的處理，當(dāng)包括在兩個(gè)合并候選的運(yùn)動(dòng)信息中的多條信息經(jīng)過(guò)比較彼此匹配時(shí)，確定所述兩個(gè)合并候選的運(yùn)動(dòng)信息相同。例如，當(dāng)包括在第一合并候選的運(yùn)動(dòng)信息中的參考列表、參考畫(huà)面索引以及MVP中的任意一項(xiàng)與包括在第二合并候選的運(yùn)動(dòng)信息中的參考列表、參考畫(huà)面索引以及MVP不同時(shí)，第一合并候選的運(yùn)動(dòng)信息與第二合并候選的運(yùn)動(dòng)信息可不同。

詳細(xì)地講，當(dāng)將MPI候選添加到合并候選列表時(shí)，第二層編碼器16可將MPI候選的運(yùn)動(dòng)信息和可包括在合并候選列表中的另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，并在它們彼此不同時(shí)將MPI候選添加到合并候選列表。第二層編碼器16可在MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息相同時(shí)，不將MPI候選添加到合并候選列表。

可包括在合并候選列表中的另一模式的合并候選可以是已包括在合并候選列表中的合并候選，或者是尚未包括在合并候選列表中的合并候選。例如，另一模式的合并候選可以是根據(jù)形成合并候選列表的預(yù)定優(yōu)先級(jí)而恰在MPI候選之前或之后的合并候選。此外，另一模式的合并候選可以是根據(jù)形成合并候選列表的預(yù)定優(yōu)先級(jí)而在MPI候選之后的所有合并候選。此外，另一模式的合并候選可以是將被編碼的當(dāng)前塊的鄰近塊。

這里，當(dāng)執(zhí)行修剪處理時(shí)，第二層編碼器16可不需要使用與第二層的當(dāng)前塊相應(yīng)的第一層塊的所有子塊的運(yùn)動(dòng)信息來(lái)將MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較。第二層編碼器16可通過(guò)使用與當(dāng)前塊相應(yīng)的第一層塊的默認(rèn)運(yùn)動(dòng)信息來(lái)將MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，以便簡(jiǎn)化運(yùn)算處理。換句話說(shuō)，當(dāng)包括第一層塊的特定位置處的像素的子塊的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息不同時(shí)，第二層編碼器16可將包括第一層塊的合并候選列表確定為合并候選。

此外，在將層間候選添加到合并候選列表時(shí)，第二層編碼器16可按照與MPI候選相同的方式來(lái)執(zhí)行修剪處理。

例如，第二層編碼器16可將作為視點(diǎn)間候選的運(yùn)動(dòng)信息的默認(rèn)運(yùn)動(dòng)信息與可包括在合并候選列表中的另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，并且當(dāng)它們不同時(shí)，第二層編碼器16可將視點(diǎn)間候選的運(yùn)動(dòng)信息添加到合并候選列表。當(dāng)視點(diǎn)間候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息相同時(shí)，第二層編碼器16可不將視點(diǎn)間候選的運(yùn)動(dòng)信息添加到合并候選列表。例如，與視點(diǎn)間候選進(jìn)行比較的另一模式的合并候選可以是MPI候選或當(dāng)前塊的鄰近塊。

此外，當(dāng)將不包括MPI候選和視點(diǎn)間候選的另一模式的合并候選添加到合并候選列表時(shí)，第二層編碼器16可通過(guò)使用MPI候選或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息來(lái)執(zhí)行修剪處理。這里，第二層編碼器16可將MPI候選或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息用于修剪處理，而不管MPI候選或視點(diǎn)間候選是否包括在合并候選列表中。

例如，當(dāng)將深度圖像的當(dāng)前塊的鄰近塊添加到合并候選列表時(shí)，第二層編碼器16可將所述鄰近塊的運(yùn)動(dòng)信息與MPI候選的默認(rèn)運(yùn)動(dòng)信息進(jìn)行比較，以確定是否添加所述鄰近塊。此外，當(dāng)將第二視點(diǎn)紋理圖像的當(dāng)前塊的鄰近塊添加到合并候選列表時(shí)，第二層編碼器16可將所述鄰近塊的運(yùn)動(dòng)信息與視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息進(jìn)行比較，以確定是否添加所述鄰近塊。默認(rèn)運(yùn)動(dòng)信息可以是包括第一層塊的預(yù)定位置的子塊的運(yùn)動(dòng)信息。

當(dāng)形成了合并候選列表時(shí)，第二層編碼器16可使用包括在合并候選列表中的合并候選以對(duì)第二層的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)，并在合并候選之中確定將被用于當(dāng)前塊的預(yù)測(cè)的合并候選。第二層編碼器16可按照合并候選被添加到合并候選列表的順序?qū)γ總€(gè)合并候選分配合并索引，并確定最優(yōu)合并候選。例如，第二層編碼器16可將具有最小的率失真(RD)代價(jià)值的合并候選確定為最優(yōu)合并候選。

比特流產(chǎn)生器18可產(chǎn)生包括編碼的視頻以及與層間預(yù)測(cè)相關(guān)確定的層間預(yù)測(cè)信息的比特流，并將產(chǎn)生的比特流發(fā)送到解碼設(shè)備。

同時(shí)，比特流產(chǎn)生器18可產(chǎn)生包括指示第一層塊的運(yùn)動(dòng)信息是否可用作第二層的當(dāng)前塊的運(yùn)動(dòng)信息的運(yùn)動(dòng)繼承信息(即，指示MPI候選的可用性的信息(mpi_flag)或指示視點(diǎn)間候選的可用性的信息(iv_mv_pred_flag))的比特流。例如，運(yùn)動(dòng)繼承信息可包括在作為被應(yīng)用在序列單元中的一組參數(shù)的SPS中。

層間視頻編碼設(shè)備10可通過(guò)使用第一層重建圖像對(duì)第二層預(yù)測(cè)塊的樣值與第二層原始圖像的樣值之間的誤差(即，根據(jù)層間預(yù)測(cè)的殘差)執(zhí)行變換和量化來(lái)執(zhí)行熵編碼。此外，還可對(duì)預(yù)測(cè)信息之間的誤差執(zhí)行熵編碼。

如上所述，層間視頻編碼設(shè)備10可通過(guò)經(jīng)由層間預(yù)測(cè)結(jié)構(gòu)參考第一層重建圖像來(lái)對(duì)當(dāng)前層圖像序列進(jìn)行編碼。然而，根據(jù)實(shí)施例的層間視頻編碼設(shè)備10可根據(jù)單層預(yù)測(cè)結(jié)構(gòu)對(duì)第二層圖像序列進(jìn)行編碼，而不必參考其它層樣點(diǎn)。因此，解釋不應(yīng)限于層間視頻編碼設(shè)備10僅執(zhí)行層間預(yù)測(cè)結(jié)構(gòu)的幀間預(yù)測(cè)以便對(duì)第二層圖像序列進(jìn)行編碼。

在下文中，將參照?qǐng)D1b描述用于層間預(yù)測(cè)的層間視頻編碼設(shè)備10的操作。

圖1b是根據(jù)實(shí)施例的多視點(diǎn)視頻編碼方法的流程圖。

在操作11，層間視頻編碼設(shè)備10確定與第二層的當(dāng)前塊相應(yīng)第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用。例如，第二層可以是多視點(diǎn)視頻的圖像之中的深度圖像，第一層可以是與深度圖像相應(yīng)的紋理圖像?？蛇x擇地，第二層可以是第二視點(diǎn)的第二視點(diǎn)紋理圖像，第一層可以是具有與第二視點(diǎn)相應(yīng)的不同視點(diǎn)的第一視點(diǎn)的第一視點(diǎn)紋理圖像。

為了確定是否參考與第二層的當(dāng)前塊相應(yīng)的第一層塊的子塊的運(yùn)動(dòng)信息，層間視頻編碼設(shè)備10可確定第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用。第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可以是默認(rèn)運(yùn)動(dòng)信息。此外，第一層塊的預(yù)定位置處的像素可以是位于第一層塊的中心的像素。

當(dāng)?shù)诙邮巧疃葓D像時(shí)，層間視頻編碼設(shè)備10可將包括與深度圖像相應(yīng)的紋理圖像的塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息確定為默認(rèn)運(yùn)動(dòng)信息，并確定默認(rèn)運(yùn)動(dòng)信息是否可用。

當(dāng)?shù)诙邮羌y理圖像時(shí)，層間視頻編碼設(shè)備10可將包括與第二層紋理圖像相應(yīng)的另一視點(diǎn)的紋理圖像的塊的運(yùn)動(dòng)位置處的像素的子塊的運(yùn)動(dòng)信息確定為默認(rèn)運(yùn)動(dòng)信息，并確定默認(rèn)運(yùn)動(dòng)信息是否可用。

在操作13，當(dāng)確定包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，層間視頻編碼設(shè)備10可獲得第一層塊的子塊的運(yùn)動(dòng)信息。層間視頻編碼設(shè)備10可獲得第一層塊中所包括的子塊的可用運(yùn)動(dòng)信息。

詳細(xì)地講，當(dāng)?shù)谝粚訅K的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息可用時(shí)，層間視頻編碼設(shè)備10可獲得第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息，并使用第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。可選擇地，當(dāng)?shù)谝粚訅K的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息不可用時(shí)，層間視頻編碼設(shè)備10可不獲得第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息，并且使用默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息，其中，所述默認(rèn)運(yùn)動(dòng)信息是包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息。

此外，層間視頻編碼設(shè)備10可根據(jù)預(yù)定優(yōu)先級(jí)將MPI候選和視點(diǎn)間候選添加到合并候選列表。例如，當(dāng)基于指示MPI候選的可用性的信息(MpiFlag)，MPI候選可用作合并候選時(shí)，層間視頻編碼設(shè)備10可基于紋理圖像中的與深度圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagT)來(lái)確定是否將MPI候選添加到合并候選列表。可選擇地，當(dāng)基于指示視點(diǎn)間候選的可用性的信息(IvMvPredFlag)，視點(diǎn)間候選可用作合并候選時(shí)，層間視頻編碼設(shè)備10可基于第一視點(diǎn)的紋理圖像中的與第二視點(diǎn)的紋理圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagIV)來(lái)確定是否將視點(diǎn)間候選添加到合并候選列表。

此外，當(dāng)確定合并候選時(shí)，層間視頻編碼設(shè)備10可執(zhí)行排除具有相同運(yùn)動(dòng)信息的候選的修剪處理。詳細(xì)地講，當(dāng)將MPI候選添加到合并候選列表時(shí)，層間視頻編碼設(shè)備10可將MPI候選的運(yùn)動(dòng)信息與可包括在合并候選列表中的另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，并在它們彼此不同時(shí)將MPI候選的運(yùn)動(dòng)信息添加到合并候選列表。

這里，當(dāng)執(zhí)行修剪處理時(shí)，層間視頻編碼設(shè)備10可不使用與當(dāng)前塊相應(yīng)的第一層塊的所有子塊的運(yùn)動(dòng)信息，而是可使用第一層塊的默認(rèn)運(yùn)動(dòng)信息以將MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，由此提高編碼效率并便簡(jiǎn)化運(yùn)算處理。

此外，在將層間候選添加到合并候選列表時(shí)，層間視頻編碼設(shè)備10可按照與MPI候選相同的方式通過(guò)使用默認(rèn)運(yùn)動(dòng)信息來(lái)執(zhí)行修剪處理。

此外，當(dāng)將可包括在合并候選列表中的另一模式的合并候選添加到合并候選列表時(shí)，層間視頻編碼設(shè)備10可通過(guò)使用MPI候選或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息來(lái)執(zhí)行修剪處理。

在操作15，層間視頻編碼設(shè)備10可基于獲得的第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定第二層的當(dāng)前塊的子塊的運(yùn)動(dòng)信息。

當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)或更多個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，層間視頻編碼設(shè)備10可基于第一層塊的子塊的可用運(yùn)動(dòng)信息，確定當(dāng)前塊的關(guān)聯(lián)子塊的運(yùn)動(dòng)信息，并基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的與具有不可用運(yùn)動(dòng)信息的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。

在操作17，層間視頻編碼設(shè)備10可產(chǎn)生包括指示第一層塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息的運(yùn)動(dòng)繼承信息的比特流。

運(yùn)動(dòng)繼承信息是指示與第二層的當(dāng)前塊相應(yīng)的第一層塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息的信息，并可包括指示MPI候選的可用性的信息(mpi_flag)或指示視點(diǎn)間候選的可用性的信息(iv_mv_pred_flag)。

如上所述，層間視頻編碼設(shè)備10可通過(guò)使用第一層塊的子塊執(zhí)行對(duì)當(dāng)前塊的子塊的運(yùn)動(dòng)信息的預(yù)測(cè)來(lái)執(zhí)行更準(zhǔn)確的預(yù)測(cè)，同時(shí)通過(guò)不根據(jù)第一層塊的子塊確定運(yùn)動(dòng)信息的可用性而是確定并使用第一層塊的子塊之中的預(yù)定子塊的運(yùn)動(dòng)信息作為默認(rèn)運(yùn)動(dòng)信息，來(lái)降低運(yùn)算的復(fù)雜度。

根據(jù)本公開(kāi)的層間視頻編碼設(shè)備10可包括中央處理器(未示出)，其中，該中央處理器總體上控制第一層編碼器14、第二層編碼器16和比特流產(chǎn)生器18。可選擇地，第一層編碼器14、第二層編碼器16和比特流產(chǎn)生器18可由各自的處理器(未示出)操作，并且層間視頻編碼設(shè)備10可在所述各自的處理器系統(tǒng)化操作時(shí)被操作?？蛇x擇地，第一層編碼器14、第二層編碼器16和比特流產(chǎn)生器18可根據(jù)層間視頻編碼設(shè)備10的外部處理器(未示出)的控制而被控制。

層間視頻編碼設(shè)備10可包括至少一個(gè)數(shù)據(jù)存儲(chǔ)單元(未示出)，其中，第一層編碼器14、第二層編碼器16和比特流產(chǎn)生器18的輸入數(shù)據(jù)和輸入數(shù)據(jù)被存儲(chǔ)在所述至少一個(gè)數(shù)據(jù)存儲(chǔ)單元中。層間視頻編碼設(shè)備10可包括管理數(shù)據(jù)存儲(chǔ)單元(未示出)的數(shù)據(jù)輸入和輸出的存儲(chǔ)器控制器(未示出)。

為了輸出視頻編碼結(jié)果，層間視頻編碼設(shè)備10可與安裝在其中的內(nèi)部視頻編碼處理器或外部視頻編碼處理器關(guān)聯(lián)地操作以執(zhí)行包括變換的視頻編碼處理。層間視頻編碼設(shè)備10的內(nèi)部視頻編碼處理器可作為單獨(dú)的處理器執(zhí)行視頻編碼操作。此外，當(dāng)層間視頻編碼設(shè)備10、中央處理設(shè)備或圖形處理設(shè)備包括視頻編碼處理模塊時(shí)，基本視頻編碼操作可被實(shí)現(xiàn)。

圖2a是根據(jù)實(shí)施例的層間視頻解碼設(shè)備的框圖。圖2b是根據(jù)實(shí)施例的層間視頻解碼方法的流程圖。

參照?qǐng)D2a，層間視頻解碼設(shè)備40可包括獲得器42和解碼器44。解碼器44可包括第一層解碼器46和第二層解碼器48。

根據(jù)實(shí)施例的層間視頻解碼設(shè)備40可根據(jù)層從一個(gè)比特流解析符號(hào)。

由層間視頻解碼設(shè)備40接收的比特流的層數(shù)不受限制。然而，為了便于解釋，將描述層間視頻解碼設(shè)備40的第一層解碼器46對(duì)第一層流進(jìn)行解碼，且第二層解碼器48對(duì)第二層流進(jìn)行解碼的實(shí)施例。

例如，基于空間可伸縮性的層間視頻解碼設(shè)備40可接收具有不同分辨率的圖像序列在不同層中被編碼的流?？蓪?duì)第一層流進(jìn)行解碼來(lái)重建具有低分辨率的圖像序列，并可對(duì)第二層流進(jìn)行解碼來(lái)重建具有高分辨率的圖像序列。

作為另一示例，可根據(jù)可伸縮視頻編碼方案對(duì)多視點(diǎn)視頻進(jìn)行解碼。當(dāng)在多個(gè)層中對(duì)立體視頻流進(jìn)行解碼時(shí)，可對(duì)第一層流進(jìn)行解碼以重建左視點(diǎn)圖像?？蛇M(jìn)一步對(duì)第二層流進(jìn)行解碼以重建右視點(diǎn)圖像。

可選擇地，當(dāng)在多個(gè)層中對(duì)多視點(diǎn)視頻流進(jìn)行解碼時(shí)，可對(duì)第一層流進(jìn)行解碼以重建中心視點(diǎn)圖像?？蛇M(jìn)一步對(duì)第二層流進(jìn)行解碼以重建左視點(diǎn)圖像?？蛇M(jìn)一步對(duì)第三層流進(jìn)行解碼以重建右視點(diǎn)圖像。

作為另一示例，基于時(shí)間可伸縮性的可伸縮視頻編碼方法可被執(zhí)行。可對(duì)第一層流進(jìn)行解碼以重建基本幀率圖像。可進(jìn)一步對(duì)第二層流進(jìn)行解碼以重建高幀率圖像。

此外，在存在至少三個(gè)第二層時(shí)，可從第一層流重建第一層圖像，并且當(dāng)通過(guò)參考第一層重建圖像進(jìn)一步對(duì)第二層流進(jìn)行解碼時(shí)，可進(jìn)一步重建第二層圖像。當(dāng)通過(guò)參考第二層重建圖像進(jìn)一步對(duì)第K層流進(jìn)行解碼時(shí)，可進(jìn)一步重建第K層圖像。

層間視頻解碼設(shè)備40可從第一層流和第二層流獲得第一層圖像和第二層圖像的編碼數(shù)據(jù)，此外，層間視頻解碼設(shè)備40還可獲得經(jīng)由幀間預(yù)測(cè)產(chǎn)生的運(yùn)動(dòng)矢量以及經(jīng)由層間預(yù)測(cè)產(chǎn)生的預(yù)測(cè)信息。

例如，層間視頻解碼設(shè)備40可對(duì)每層的幀間預(yù)測(cè)出的數(shù)據(jù)進(jìn)行解碼，并可對(duì)多層之間的層間預(yù)測(cè)出的數(shù)據(jù)進(jìn)行解碼?？苫诰幋a單元或預(yù)測(cè)單元通過(guò)運(yùn)動(dòng)補(bǔ)償和層間視頻解碼來(lái)執(zhí)行重建。

針對(duì)每層流，可通過(guò)參考經(jīng)由對(duì)同一層的幀間預(yù)測(cè)而預(yù)測(cè)出的重建圖像來(lái)執(zhí)行針對(duì)當(dāng)前圖像的運(yùn)動(dòng)補(bǔ)償來(lái)重建圖像。運(yùn)動(dòng)補(bǔ)償是將通過(guò)使用當(dāng)前圖像的運(yùn)動(dòng)矢量而確定的參考圖像與當(dāng)前圖像的殘差進(jìn)行合成來(lái)重建當(dāng)前圖像的重建圖像的操作。

此外，層間視頻解碼設(shè)備40可通過(guò)參考第一層圖像的預(yù)測(cè)信息執(zhí)行層間視頻解碼，以對(duì)經(jīng)由層間預(yù)測(cè)而預(yù)測(cè)出的第二層圖像進(jìn)行解碼。層間視頻解碼是通過(guò)使用不同層的參考?jí)K的預(yù)測(cè)信息來(lái)對(duì)當(dāng)前圖像的運(yùn)動(dòng)信息進(jìn)行重建以確定當(dāng)前圖像的預(yù)測(cè)信息的操作。

根據(jù)實(shí)施例的層間視頻解碼設(shè)備40可執(zhí)行用于重建通過(guò)使用第二層圖像預(yù)測(cè)出的第三層圖像的層間視頻解碼。稍后將參照?qǐng)D3a描述層間預(yù)測(cè)結(jié)構(gòu)。

然而，根據(jù)實(shí)施例的第二層解碼器48可在不必參考第一層圖像序列的情況下對(duì)第二層流進(jìn)行解碼。因此，解釋不應(yīng)限于第二層解碼器48執(zhí)行層間預(yù)測(cè)以對(duì)第二層圖像序列進(jìn)行解碼。

層間視頻解碼設(shè)備40根據(jù)視頻的每個(gè)圖像的塊執(zhí)行解碼。塊可以是根據(jù)樹(shù)結(jié)構(gòu)的編碼單元之中的最大編碼單元、編碼單元、預(yù)測(cè)單元或變換單元。

獲得器42可接收比特流并從接收到的比特流獲得關(guān)于編碼的圖像的信息。

例如，獲得器42可從比特流獲得運(yùn)動(dòng)繼承信息，其中，運(yùn)動(dòng)繼承信息指示第一層塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息(即，指示MPI候選的可用性的信息(mpi_flag)或指示視點(diǎn)間候選的可用性的信息(iv_mv_pred_flag))。通過(guò)使用獲得的運(yùn)動(dòng)繼承信息，指示合并模式下MPI候選的可用性的信息(MpiFlag)或指示合并模式下視點(diǎn)間候選的可用性的信息(IvMvPredFlag)可被確定。

當(dāng)mpi_flag為1并且允許層間預(yù)測(cè)時(shí)，MpiFlag可被確定為1，當(dāng)iv_mv_pred_flag為1并且允許層間預(yù)測(cè)時(shí)，IvMvPredFlag可被確定為1。

第一層解碼器46可通過(guò)使用解析出的第一層圖像的編碼符號(hào)來(lái)對(duì)第一層圖像進(jìn)行解碼。當(dāng)層間視頻解碼設(shè)備40接收基于樹(shù)結(jié)構(gòu)的編碼單元而編碼的流時(shí)，第一層解碼器46可根據(jù)第一層流的最大編碼單元，基于樹(shù)結(jié)構(gòu)的編碼單元來(lái)執(zhí)行解碼。

第一層解碼器46可通過(guò)根據(jù)每個(gè)最大編碼單元執(zhí)行熵解碼來(lái)獲得編碼信息和編碼的數(shù)據(jù)。第一層解碼器46可通過(guò)對(duì)從流獲得的編碼的數(shù)據(jù)執(zhí)行反量化和逆變換以重建殘差。根據(jù)另一示例性實(shí)施例的第一層解碼器46可直接接收量化后的變換系數(shù)的比特流?？赏ㄟ^(guò)對(duì)量化后的變換系數(shù)執(zhí)行反量化和逆變換來(lái)重建圖像的殘差。

第一層解碼器46可經(jīng)由同一層圖像之間的運(yùn)動(dòng)補(bǔ)償確定預(yù)測(cè)圖像，并通過(guò)將預(yù)測(cè)圖像和殘差進(jìn)行組合來(lái)重建第一層圖像。

根據(jù)層間預(yù)測(cè)結(jié)構(gòu)，第二層解碼器48可通過(guò)使用第一層重建圖像的樣點(diǎn)來(lái)產(chǎn)生第二層預(yù)測(cè)圖像。第二層解碼器48可通過(guò)對(duì)第二層流進(jìn)行解碼來(lái)獲得根據(jù)層間預(yù)測(cè)的預(yù)測(cè)誤差。第二層解碼器48可通過(guò)將第二層預(yù)測(cè)圖像與所述預(yù)測(cè)誤差進(jìn)行組合來(lái)產(chǎn)生第二層重建圖像。

第二層解碼器48可通過(guò)使用由第一層解碼器46解碼出的第一層重建圖像來(lái)確定第二層預(yù)測(cè)圖像。根據(jù)層間預(yù)測(cè)結(jié)構(gòu)，第二層解碼器48可確定第一層圖像中的將被第二層圖像的編碼單元或預(yù)測(cè)單元參考的塊。例如，第一層圖像中的位置與第二層圖像中的當(dāng)前塊的位置相應(yīng)的重建塊可被確定。第二層解碼器48可通過(guò)使用與第二層塊相應(yīng)的第一層重建塊來(lái)確定第二層預(yù)測(cè)塊。第二層解碼器48可通過(guò)使用與第二層塊相同位置的第一層重建塊來(lái)確定第二層預(yù)測(cè)塊。

第二層解碼器48可將通過(guò)根據(jù)層間預(yù)測(cè)結(jié)構(gòu)使用第一層重建塊確定的第二層預(yù)測(cè)塊用作用于對(duì)第二層原始?jí)K進(jìn)行層間預(yù)測(cè)的參考圖像。在這種情況下，第二層解碼器48可通過(guò)將使用第一層重建圖像確定的第二層預(yù)測(cè)塊的樣值與根據(jù)層間預(yù)測(cè)的殘差進(jìn)行合成來(lái)重建第二層塊。

同時(shí)，當(dāng)上述層間視頻解碼設(shè)備40對(duì)多視點(diǎn)視頻進(jìn)行解碼時(shí)，將被解碼的第二層圖像可以是第二視點(diǎn)圖像，第一層圖像可以是第一視點(diǎn)圖像。可選擇地，將被解碼的第二層圖像可以是深度圖像，第一層圖像可以是紋理圖像。

當(dāng)從比特流獲得的運(yùn)動(dòng)繼承信息指示與第二層的當(dāng)前塊相應(yīng)的第一層塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息時(shí)，第二層解碼器48可確定第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用。

第二層解碼器48可基于第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用，來(lái)確定是否參考第一層塊的子塊的運(yùn)動(dòng)信息。

如上所述，當(dāng)通過(guò)使用當(dāng)前塊的子塊來(lái)執(zhí)行預(yù)測(cè)時(shí)，第二層解碼器46不根據(jù)第一層塊的子塊確定運(yùn)動(dòng)信息是否可用，而是可確定并使用第一層塊的子塊之中的預(yù)定子塊的運(yùn)動(dòng)信息作為默認(rèn)運(yùn)動(dòng)信息，以降低運(yùn)算的復(fù)雜度。例如，默認(rèn)運(yùn)動(dòng)信息可以是第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息，并且第一層塊的預(yù)定位置處的像素可以是位于第一層塊的中心的像素。

當(dāng)?shù)谝粚訅K的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊通過(guò)執(zhí)行幀間預(yù)測(cè)而被編碼/解碼時(shí)，第二層解碼器48可確定第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用。在這種情況下，當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，第二層解碼器48可將指示該子塊的運(yùn)動(dòng)信息的可用性的信息(availableFlagIV或availableFlagT)確定為1。

例如，當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)被編碼/解碼時(shí)，第二層解碼器46可確定該子塊的運(yùn)動(dòng)信息不可用并將availableFlagIV或availableFlagT確定為0。作為另一示例，當(dāng)由包括第一層塊的預(yù)定位置處的像素的子塊的參考畫(huà)面索引所指示的參考畫(huà)面的位置(PicOrderCnt)與參考畫(huà)面列表中的參考圖像的PicOrderCnt匹配的圖像不在參考列表中時(shí)，第二層解碼器48可確定包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息不可用，并因此將availableFlagIV或availableFlagT確定為0

當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，第二層解碼器48可獲得第一層塊的子塊的運(yùn)動(dòng)信息。第二層解碼器48可基于獲得的第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。換句話說(shuō)，第一層塊可包括第一層塊的分別與包括在第二層的當(dāng)前塊中的子塊相應(yīng)的子塊，并且所述當(dāng)前塊的子塊的運(yùn)動(dòng)信息可基于第一層塊的所述子塊的相應(yīng)運(yùn)動(dòng)信息來(lái)確定。

這里，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，第二層解碼器48可基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的與所述一個(gè)子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。例如，當(dāng)默認(rèn)運(yùn)動(dòng)信息可用時(shí)，第二層解碼器48可僅獲得第一層塊的子塊的運(yùn)動(dòng)信息之中的子塊的可用運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的相應(yīng)子塊的運(yùn)動(dòng)信息。

換句話說(shuō)，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)或更多個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，第二層解碼器48可獲得第一層塊的子塊的可用運(yùn)動(dòng)信息，以確定當(dāng)前塊的相應(yīng)子塊的運(yùn)動(dòng)信息，并基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的與具有不可用運(yùn)動(dòng)信息的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。

第二層解碼器48可通過(guò)使用第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息，并通過(guò)使用所確定的當(dāng)前塊的子塊的運(yùn)動(dòng)信息來(lái)對(duì)當(dāng)前塊進(jìn)行解碼。

同時(shí)，當(dāng)與第二層的當(dāng)前塊相應(yīng)的第一層塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息時(shí)，第二層解碼器48可將層間候選添加到合并候選列表。例如，第二層解碼器48可將MPI候選或視點(diǎn)間候選添加到合并候選列表?？赏ㄟ^(guò)從比特流獲得的運(yùn)動(dòng)繼承信息(mpi_flag或iv_mv_pred_flag)來(lái)確定指示可用性的信息(MpiFlag或IvMvPredFlag)。

當(dāng)MPI候選可用作合并候選時(shí)，第二層解碼器48可根據(jù)預(yù)定優(yōu)先級(jí)將MPI候選添加到合并候選列表。第二層解碼器48可基于紋理圖像中的與深度圖像的當(dāng)前塊相應(yīng)的第一層塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagT)，來(lái)確定是否將MPI候選添加到合并候選列表。

此外，當(dāng)視點(diǎn)間候選可用作合并候選時(shí)，第二層解碼器48可根據(jù)預(yù)定優(yōu)先級(jí)將視點(diǎn)間候選添加到合并候選列表。第二層解碼器48可基于第一視點(diǎn)的紋理圖像中的與第二視點(diǎn)的紋理圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagIV)，來(lái)確定是否將視點(diǎn)間候選添加到合并候選列表。

當(dāng)確定合并候選時(shí)，第二層解碼器48可執(zhí)行修剪處理以排除具有相同運(yùn)動(dòng)信息的候選。

詳細(xì)地講，當(dāng)將MPI候選添加到合并候選列表時(shí)，第二層解碼器48可將MPI候選的運(yùn)動(dòng)信息和可包括在合并候選列表中的另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，并在它們彼此不同時(shí)將MPI候選添加到合并候選列表。第二層解碼器48可在MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息相同時(shí)不將MPI候選添加到合并候選列表。

可包括在合并候選列表中的另一模式的合并候選可以是已包括在合并候選列表中的合并候選，或者是尚未包括在合并候選列表中的合并候選。例如，另一模式的合并候選可以是根據(jù)形成合并候選列表的預(yù)定優(yōu)先級(jí)而恰在MPI候選之前或之后的合并候選。此外，另一模式的合并候選可以是根據(jù)形成合并候選列表的預(yù)定優(yōu)先級(jí)而在MPI候選之后的所有合并候選。此外，另一模式的合并候選可以是將被編碼的當(dāng)前塊的鄰近塊。

這里，當(dāng)執(zhí)行修剪處理時(shí)，第二層解碼器48可不需要使用與第二層的當(dāng)前塊相應(yīng)的第一層塊的所有子塊的運(yùn)動(dòng)信息來(lái)將MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較。第二層解碼器48可通過(guò)使用與當(dāng)前塊相應(yīng)的第一層塊的默認(rèn)運(yùn)動(dòng)信息將MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，以便簡(jiǎn)化運(yùn)算處理。換句話說(shuō)，當(dāng)包括第一層塊的特定位置處的像素的子塊的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息不同時(shí)，第二層解碼器48可將包括第一層塊的合并候選列表確定為合并候選。

此外，在將層間候選添加到合并候選列表時(shí)，第二層解碼器48可按照與MPI候選相同的方式來(lái)執(zhí)行修剪處理。

例如，第二層解碼器48可將作為視點(diǎn)間候選的運(yùn)動(dòng)信息的默認(rèn)運(yùn)動(dòng)信息與可包括在合并候選列表中的另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，并且當(dāng)它們不同時(shí)，第二層解碼器48可將視點(diǎn)間候選的運(yùn)動(dòng)信息添加到合并候選列表。當(dāng)視點(diǎn)間候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息相同時(shí)，第二層解碼器48可不將視點(diǎn)間候選的運(yùn)動(dòng)信息添加到合并候選列表。例如，與視點(diǎn)間候選進(jìn)行比較的另一模式的合并候選可以是MPI合并候選或當(dāng)前塊的鄰近塊。

此外，當(dāng)將不包括MPI候選和視點(diǎn)間候選的另一模式的合并候選添加到合并候選列表時(shí)，第二層解碼器48可通過(guò)使用MPI候選或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息來(lái)執(zhí)行修剪處理。這里，第二層解碼器48可將MPI候選或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息用于修剪處理，而不管MPI候選或視點(diǎn)間候選是否包括在合并候選列表中。

例如，當(dāng)將深度圖像的當(dāng)前塊的鄰近塊添加到合并候選列表時(shí)，第二層解碼器48可將所述鄰近塊的運(yùn)動(dòng)信息與MPI候選的默認(rèn)運(yùn)動(dòng)信息進(jìn)行比較，以確定是否添加所述鄰近塊。此外，當(dāng)將第二視點(diǎn)紋理圖像的當(dāng)前塊的鄰近塊添加到合并候選列表時(shí)，第二層解碼器48可將所述鄰近塊的運(yùn)動(dòng)信息與視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息進(jìn)行比較，以確定是否添加所述鄰近塊。默認(rèn)運(yùn)動(dòng)信息可以是包括第一層塊的預(yù)定位置的子塊的運(yùn)動(dòng)信息。

當(dāng)形成了合并候選列表時(shí)，第二層解碼器48可通過(guò)使用從層間視頻編碼設(shè)備10接收到的合并索引來(lái)確定包括在合并候選列表中的合并候選之中的將被用于當(dāng)前塊的預(yù)測(cè)的合并候選。

當(dāng)通過(guò)使用合并索引確定的合并候選是MPI候選時(shí)，第二層解碼器48可通過(guò)使用經(jīng)由MPI預(yù)測(cè)確定的運(yùn)動(dòng)信息來(lái)對(duì)第二層的當(dāng)前塊進(jìn)行解碼。

在下文中，現(xiàn)在將參照?qǐng)D2b描述用于層間預(yù)測(cè)的層間視頻解碼設(shè)備40的操作。

圖2b是根據(jù)實(shí)施例的層間視頻解碼方法的流程圖。

在操作21，層間視頻解碼設(shè)備40可從比特流獲得運(yùn)動(dòng)繼承信息。運(yùn)動(dòng)繼承信息是指示第一層塊的運(yùn)動(dòng)信息是否可用作第二層的運(yùn)動(dòng)信息的信息，并可包括指示MPI候選的可用性的信息(mpi_flag)或指示視點(diǎn)間候選的可用性的信息(iv_mv_pred_flag)。

在操作23，當(dāng)運(yùn)動(dòng)繼承信息指示與第二層的當(dāng)前塊相應(yīng)的第一層塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息時(shí)，層間視頻解碼設(shè)備40可確定第一層塊的與第二層的當(dāng)前塊的子塊相應(yīng)的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息是否可用。

當(dāng)通過(guò)使用子塊來(lái)預(yù)測(cè)當(dāng)前塊時(shí)，層間視頻解碼設(shè)備40可不根據(jù)第一層塊的子塊確定運(yùn)動(dòng)信息是否可用，而是可確定并使用第一層塊的子塊之中的預(yù)定子塊的運(yùn)動(dòng)信息作為默認(rèn)運(yùn)動(dòng)信息，由此降低運(yùn)算的復(fù)雜度。例如，默認(rèn)運(yùn)動(dòng)信息可以是第一層塊的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息，并且第一層塊的預(yù)定位置處的像素可以是位于第一層塊的中心的像素。

當(dāng)?shù)谝粚訅K的子塊之中的包括第一層塊的預(yù)定位置處的像素的子塊通過(guò)執(zhí)行幀間預(yù)測(cè)而被編碼/解碼時(shí)，層間視頻解碼設(shè)備40可確定該子塊的運(yùn)動(dòng)信息可用。在這種情況下，當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，層間視頻解碼設(shè)備40可將指示該子塊的運(yùn)動(dòng)信息的可用性的信息(availableFlagIV或availableFlagT)確定為1。當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)被編碼/解碼時(shí)，層間視頻解碼設(shè)備40可確定該子塊的運(yùn)動(dòng)信息不可用并將availableFlagIV或availableFlagT確定為0。

在操作25，當(dāng)包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息可用時(shí)，層間視頻解碼設(shè)備40可獲得第一層塊的子塊的運(yùn)動(dòng)信息。層間視頻解碼設(shè)備40可獲得包括在第一層塊的子塊之中的具有可用運(yùn)動(dòng)信息的子塊的運(yùn)動(dòng)信息。

詳細(xì)地講，當(dāng)?shù)谝粚訅K的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息可用時(shí)，層間視頻解碼設(shè)備40可獲得第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息，并使用第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息?？蛇x擇地，當(dāng)?shù)谝粚訅K的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息不可用時(shí)，層間視頻解碼設(shè)備40可不獲得第一層塊的與當(dāng)前塊的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息，并且使用默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息，其中，所述默認(rèn)運(yùn)動(dòng)信息是包括第一層塊的預(yù)定位置處的像素的子塊的運(yùn)動(dòng)信息。

此外，層間視頻解碼設(shè)備40可根據(jù)預(yù)定優(yōu)先級(jí)將層間候選添加到合并候選列表。例如，當(dāng)基于指示MPI候選的可用性的信息(MpiFlag)，MPI候選可用作合并候選時(shí)，層間視頻解碼設(shè)備40可基于紋理圖像中的與深度圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagT)來(lái)確定是否將MPI候選添加到合并候選列表。可選擇地，當(dāng)基于指示視點(diǎn)間候選的可用性的信息(IvMvPredFlag)，視點(diǎn)間候選可用作合并候選時(shí)，層間視頻解碼設(shè)備40可基于第一視點(diǎn)的紋理圖像中的與第二視點(diǎn)的紋理圖像的當(dāng)前塊相應(yīng)的塊的默認(rèn)運(yùn)動(dòng)信息是否可用(availableFlagIV)來(lái)確定是否將視點(diǎn)間候選添加到合并候選列表。

此外，當(dāng)確定合并候選時(shí)，層間視頻解碼設(shè)備40可執(zhí)行排除具有相同運(yùn)動(dòng)信息的候選的修剪處理。詳細(xì)地講，當(dāng)將MPI候選添加到合并候選列表時(shí)，層間視頻解碼設(shè)備40可將MPI候選的運(yùn)動(dòng)信息與可包括在合并候選列表中的另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，并在它們彼此不同時(shí)將MPI候選的運(yùn)動(dòng)信息添加到合并候選列表。

這里，當(dāng)執(zhí)行修剪處理時(shí)，層間視頻解碼設(shè)備40可不使用與當(dāng)前塊相應(yīng)的第一層塊的所有子塊的運(yùn)動(dòng)信息，而是可使用第一層塊的默認(rèn)運(yùn)動(dòng)信息來(lái)將MPI候選的運(yùn)動(dòng)信息與另一模式的合并候選的運(yùn)動(dòng)信息進(jìn)行比較，由此提高編碼效率并便簡(jiǎn)化運(yùn)算處理。

此外，在將層間候選添加到合并候選列表時(shí)，層間視頻解碼設(shè)備40可按照與MPI候選相同的方式通過(guò)使用默認(rèn)運(yùn)動(dòng)信息來(lái)執(zhí)行修剪處理。

此外，當(dāng)將可包括在合并候選列表中的另一模式的合并候選添加到合并候選列表時(shí)，層間視頻解碼設(shè)備40可通過(guò)使用MPI候選或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息來(lái)執(zhí)行修剪處理。

在操作27，層間視頻解碼設(shè)備40可基于獲得的第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息。

這里，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，層間視頻解碼設(shè)備40可基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的與所述一個(gè)子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。

換句話說(shuō)，當(dāng)?shù)谝粚訅K的子塊之中的一個(gè)或更多個(gè)子塊的運(yùn)動(dòng)信息不可用時(shí)，層間視頻解碼設(shè)備40可基于子塊的可用運(yùn)動(dòng)信息確定當(dāng)前塊的關(guān)聯(lián)子塊的運(yùn)動(dòng)信息，并基于默認(rèn)運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的與具有不可用運(yùn)動(dòng)信息的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。

層間視頻解碼設(shè)備40可通過(guò)使用第一層塊的子塊的運(yùn)動(dòng)信息來(lái)確定當(dāng)前塊的子塊的運(yùn)動(dòng)信息，并通過(guò)使用所確定的當(dāng)前塊的子塊的運(yùn)動(dòng)信息來(lái)對(duì)當(dāng)前塊進(jìn)行解碼。

在下文中，將參照?qǐng)D3a描述根據(jù)實(shí)施例的可在層間視頻編碼設(shè)備10中執(zhí)行的層間預(yù)測(cè)結(jié)構(gòu)。

圖3a是根據(jù)實(shí)施例的層間預(yù)測(cè)結(jié)構(gòu)的示圖。

根據(jù)實(shí)施例的層間視頻編碼設(shè)備10可根據(jù)圖3a的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50來(lái)對(duì)基本視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像進(jìn)行預(yù)測(cè)編碼。

基于根據(jù)現(xiàn)有技術(shù)的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50，相同視點(diǎn)的圖像被布置在水平方向上。因此，由“左”指示的左視點(diǎn)圖像按行被布置在水平方向上，由“中心”指示的基本視點(diǎn)圖像按行被布置在水平方向上，由“右”指示的右視點(diǎn)圖像按行被布置在水平方向上。相對(duì)于左視點(diǎn)圖像/右視點(diǎn)圖像，基本視點(diǎn)圖像可以是中心視點(diǎn)圖像。

此外，具有相同POC順序的圖像被布置在垂直方向上。圖像的POC順序指示形成視頻的圖像的再現(xiàn)順序。多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50中指示的“POC X”指示相應(yīng)列中的圖像的相對(duì)再現(xiàn)順序，其中，當(dāng)X的值低時(shí)，再現(xiàn)順序靠前，當(dāng)X的值高時(shí)，再現(xiàn)順序靠后。

因此，基于根據(jù)現(xiàn)有技術(shù)的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50，由“左”指示的左視點(diǎn)圖像根據(jù)POC順序(再現(xiàn)順序)被布置在水平方向上，由“中心”指示的基本視點(diǎn)圖像根據(jù)POC順序(再現(xiàn)順序)被布置在水平方向上，并且由“右”指示的右視點(diǎn)圖像根據(jù)POC順序(再現(xiàn)順序)被布置在水平方向上。此外，與基本視點(diǎn)圖像位于相同的列的左視點(diǎn)圖像和右視點(diǎn)圖像具有不同的視點(diǎn)但具有相同的POC順序(再現(xiàn)順序)。

四個(gè)連續(xù)圖像形成根據(jù)視點(diǎn)的一個(gè)畫(huà)面組(GOP)。每個(gè)GOP包括連續(xù)錨畫(huà)面(anchor picture)之間的圖像和一個(gè)錨畫(huà)面(關(guān)鍵畫(huà)面)。

錨畫(huà)面是隨機(jī)訪問(wèn)點(diǎn)，并且當(dāng)在再現(xiàn)視頻的同時(shí)從根據(jù)再現(xiàn)順序(即，POC順序)布置的圖像任意選擇了再現(xiàn)位置時(shí)，根據(jù)POC順序最接近再現(xiàn)位置的錨畫(huà)面被再現(xiàn)?；緦訄D像包括基本層錨畫(huà)面51至55，左視點(diǎn)圖像包括左視點(diǎn)錨畫(huà)面131至135，右視點(diǎn)圖像包括右視點(diǎn)錨畫(huà)面231至235。

可根據(jù)GOP順序再現(xiàn)并預(yù)測(cè)(重建)多視點(diǎn)圖像。首先，根據(jù)多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50，根據(jù)視點(diǎn)，包括在GOP 0中的圖像可被再現(xiàn)，隨后包括在GOP 1中的圖像可被再現(xiàn)。換句話說(shuō)，可按照GOP 0、GOP 1、GOP2和GOP 3的順序來(lái)再現(xiàn)包括在每個(gè)GOP中的圖像。此外，根據(jù)多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的編碼順序，根據(jù)視點(diǎn)，包括在GOP 0中的圖像可被預(yù)測(cè)(重建)，并且隨后包括在GOP 1中的圖像可被預(yù)測(cè)(重建)。換句話說(shuō)，可按照GOP 0、GOP 1、GOP 2和GOP 3的順序來(lái)預(yù)測(cè)(重建)包括在每個(gè)GOP中的圖像。

根據(jù)多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50，可對(duì)圖像執(zhí)行視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))和幀間預(yù)測(cè)。在多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)中，箭頭開(kāi)始的圖像是參考圖像，箭頭結(jié)束的圖像是通過(guò)使用參考圖像被預(yù)測(cè)的圖像。

基本視點(diǎn)圖像的預(yù)測(cè)結(jié)果可被編碼，并隨后以基本視點(diǎn)圖像流的形式被輸出，并且附加視點(diǎn)圖像的預(yù)測(cè)結(jié)果可被編碼，并隨后以層比特流的形式被輸出。此外，左視點(diǎn)圖像的預(yù)測(cè)編碼結(jié)果可被輸出為第一層比特流，右視點(diǎn)圖像的預(yù)測(cè)編碼結(jié)果可被輸出為第二層比特流。

對(duì)基本視點(diǎn)圖像僅執(zhí)行幀間預(yù)測(cè)。換句話說(shuō)，I畫(huà)面類型的基本層錨畫(huà)面51至55不參考其它圖像，而B(niǎo)畫(huà)面類型和b畫(huà)面類型的其余圖像通過(guò)參考其它基本視點(diǎn)圖像而被預(yù)測(cè)。B畫(huà)面類型的圖像通過(guò)參考根據(jù)POC順序在B畫(huà)面類型的圖像之前的I畫(huà)面類型的錨畫(huà)面以及之后的I畫(huà)面類型的錨畫(huà)面而被預(yù)測(cè)。b畫(huà)面類型的圖像通過(guò)參照根據(jù)POC順序在b畫(huà)面類型的圖像之前的I類型的錨畫(huà)面以及之后的B畫(huà)面類型的圖像，或者通過(guò)參考根據(jù)POC順序在b畫(huà)面類型的圖像之前的B畫(huà)面類型的圖像以及之后的I畫(huà)面類型的錨畫(huà)面而被預(yù)測(cè)。

對(duì)左視點(diǎn)圖像和右視點(diǎn)圖像中的每一個(gè)執(zhí)行參考不同視點(diǎn)圖像的視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))和參考相同視點(diǎn)圖像的幀間預(yù)測(cè)。

可通過(guò)分別參考具有相同POC順序的基本視點(diǎn)錨畫(huà)面51至55對(duì)左視點(diǎn)錨畫(huà)面131至135執(zhí)行視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))?？赏ㄟ^(guò)分別參照具有相同POC順序的基本視點(diǎn)錨畫(huà)面51至55或左視點(diǎn)錨畫(huà)面131至135對(duì)右視點(diǎn)錨畫(huà)面231至235執(zhí)行視點(diǎn)間預(yù)測(cè)。此外，可通過(guò)參考具有相同POC的其它視點(diǎn)圖像對(duì)除了左視點(diǎn)圖像131至135和右視點(diǎn)圖像231至235之外的其余圖像執(zhí)行視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))。

左視點(diǎn)圖像和右視點(diǎn)圖像之中的除了錨畫(huà)面131至135以及231至235之外的其余圖像可通過(guò)參考相同視點(diǎn)圖像而被預(yù)測(cè)。

然而，左視點(diǎn)圖像和右視點(diǎn)圖像中的每個(gè)圖像可不通過(guò)參考相同視點(diǎn)的附加視點(diǎn)圖像之中的具有在前再現(xiàn)順序的錨畫(huà)面而被預(yù)測(cè)。換句話說(shuō)，為了對(duì)當(dāng)前左視點(diǎn)圖像執(zhí)行幀間預(yù)測(cè)，可參考除了再現(xiàn)順序在當(dāng)前左視點(diǎn)圖像之前的左視點(diǎn)錨畫(huà)面之外的左視點(diǎn)圖像。類似地，為了對(duì)當(dāng)前右視點(diǎn)圖像執(zhí)行幀間預(yù)測(cè)，可參考除了再現(xiàn)順序在當(dāng)前右視點(diǎn)圖像之前的右視點(diǎn)錨畫(huà)面之外的右視點(diǎn)圖像。

此外，為了對(duì)當(dāng)前左視點(diǎn)圖像執(zhí)行幀間預(yù)測(cè)，可通過(guò)參考屬于當(dāng)前GOP但是將在當(dāng)前左視點(diǎn)圖像之前被重建的左視點(diǎn)圖像，而不是參考屬于當(dāng)前左視點(diǎn)圖像的當(dāng)前GOP之前的GOP的左視點(diǎn)圖像，來(lái)執(zhí)行預(yù)測(cè)。相同的方法被應(yīng)用于右視點(diǎn)圖像。

根據(jù)實(shí)施例的層間視頻解碼設(shè)備40可根據(jù)圖3a的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的再現(xiàn)順序50來(lái)對(duì)基本視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像進(jìn)行重建。

可經(jīng)由參考基本視點(diǎn)圖像的視點(diǎn)間視差補(bǔ)償和參考左視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償來(lái)重建左視點(diǎn)圖像?？山?jīng)由參考基本視點(diǎn)圖像和左視點(diǎn)圖像的視點(diǎn)間視差補(bǔ)償和參考右視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償來(lái)重建右視點(diǎn)圖像。參考圖像可被首先重建以用于對(duì)左視點(diǎn)圖像和右視點(diǎn)圖像的視差補(bǔ)償和運(yùn)動(dòng)補(bǔ)償。

為了對(duì)左視點(diǎn)圖像進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，可經(jīng)由參考重建的左視點(diǎn)參考圖像的幀間運(yùn)動(dòng)補(bǔ)償來(lái)重建左視點(diǎn)圖像。為了對(duì)右視點(diǎn)圖像進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，可經(jīng)由參考重建的右視點(diǎn)參考圖像的幀間運(yùn)動(dòng)補(bǔ)償來(lái)重建右視點(diǎn)圖像。

此外，為了對(duì)當(dāng)前左視點(diǎn)圖像進(jìn)行幀間運(yùn)動(dòng)補(bǔ)償，可僅參考屬于當(dāng)前左視點(diǎn)圖像的當(dāng)前GOP但將在當(dāng)前左視點(diǎn)圖像之前被重建的左視點(diǎn)圖像，而不是參考屬于在當(dāng)前GOP之前的GOP的左視點(diǎn)圖像。相同的方法被應(yīng)用于右視點(diǎn)圖像。

此外，根據(jù)實(shí)施例的層間視頻解碼設(shè)備40可不僅執(zhí)行視差補(bǔ)償(或?qū)娱g預(yù)測(cè)補(bǔ)償)以對(duì)多視點(diǎn)圖像進(jìn)行編碼或解碼，還可經(jīng)由視點(diǎn)間運(yùn)動(dòng)矢量預(yù)測(cè)來(lái)執(zhí)行圖像之間的運(yùn)動(dòng)補(bǔ)償(或?qū)娱g運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償)。

圖3b示出根據(jù)實(shí)施例的多層視頻。

為了在各種網(wǎng)絡(luò)環(huán)境和各種終端中提供最優(yōu)服務(wù)，層間視頻編碼設(shè)備10可通過(guò)對(duì)具有各種空間分辨率、各種質(zhì)量、各種幀率以及不同視點(diǎn)的多層圖像序列進(jìn)行編碼來(lái)輸出可伸縮比特流。換句話說(shuō)，層間視頻編碼設(shè)備10可通過(guò)根據(jù)各種可伸縮類型對(duì)輸入圖像進(jìn)行編碼來(lái)產(chǎn)生并輸出可伸縮視頻比特流?？缮炜s性包括時(shí)間可伸縮性、空間可伸縮性、質(zhì)量可伸縮性、多視點(diǎn)可伸縮性以及它們的組合。這樣的可伸縮性可根據(jù)類型而被分類。此外，可伸縮性可被分類為每種類型中的維度標(biāo)識(shí)符。

例如，可伸縮性與時(shí)間可伸縮性、空間可伸縮性、質(zhì)量可伸縮性以及多視點(diǎn)可伸縮性具有相同的可伸縮性類型。此外，可伸縮性可根據(jù)類型而被分類為可伸縮性維度標(biāo)識(shí)符。例如，當(dāng)可伸縮性不同時(shí)，可伸縮性可具有不同的維度標(biāo)識(shí)符。例如，針對(duì)可伸縮性類型，高可伸縮性維度可被分配給高維度的可伸縮性。

當(dāng)比特流可劃分為有效子流時(shí)，比特流可伸縮?？臻g可伸縮比特流包括各種分辨率的子流。為了區(qū)分相同可伸縮類型中的不同可伸縮性，可伸縮性維度被使用?？缮炜s性維度可由可伸縮性維度標(biāo)識(shí)符來(lái)表示。

例如，空間可伸縮比特流可被劃分為具有不同分辨率(諸如QVGA、VGA和WVGA)的子流。例如，可通過(guò)使用維度標(biāo)識(shí)符來(lái)區(qū)分具有不同分辨率的層。例如，QVGA子流可具有作為空間可伸縮性維度標(biāo)識(shí)符值的0，VGA子流可具有作為空間可伸縮性維度標(biāo)識(shí)符值的1，并且WVGA子流可具有作為空間可伸縮性維度標(biāo)識(shí)符值的2。

時(shí)間可伸縮比特流包括具有不同幀率的子流。例如，時(shí)間可伸縮比特流可被劃分為具有7.5Hz的幀率、15Hz的幀率、30Hz的幀率以及60Hz的幀率的子流。質(zhì)量可伸縮比特流可根據(jù)粗粒度可伸縮性(CGS)方法、中間粒度可伸縮性(MGS)方法以及細(xì)粒度可伸縮性(FGS)方法而被劃分為具有不同質(zhì)量的子流。也可根據(jù)不同幀率基于不同維度來(lái)區(qū)分時(shí)間可伸縮性，并且也可根據(jù)不同方法基于不同維度來(lái)區(qū)分質(zhì)量可伸縮性。

多視點(diǎn)可伸縮比特流在一個(gè)比特流中包括不同視點(diǎn)的子流。例如，在立體圖像中，比特流包括左圖像和右圖像。此外，可伸縮比特流可包括與多視點(diǎn)圖像以及深度圖的編碼數(shù)據(jù)相關(guān)的子流。也可根據(jù)不同視點(diǎn)基于不同維度來(lái)區(qū)分視點(diǎn)可伸縮性。

不同的可伸縮擴(kuò)展類型可彼此組合。換句話說(shuō)，可伸縮視頻比特流可包括包含多個(gè)圖像的多層的圖像序列被編碼的子流，其中，在這些子流中，時(shí)間可伸縮性、空間可伸縮性、質(zhì)量可伸縮性和多視點(diǎn)可伸縮性中的至少一個(gè)彼此不同。

圖3b示出具有不同可伸縮擴(kuò)展類型的圖像序列3010至3030。第一層的圖像序列3010、第二層的圖像序列3020以及第n層(n是整數(shù))的圖像序列3030可以是分辨率、質(zhì)量和視點(diǎn)中的至少一個(gè)彼此不同的圖像序列。此外，第一層的圖像序列3010、第二層的圖像序列3020以及第n層的圖像序列3030中的一個(gè)圖像序列可以是基本層的圖像序列，其它圖像序列可以是增強(qiáng)層的圖像序列。

例如，第一層的圖像序列3010可包括第一視點(diǎn)的圖像，第二層的圖像序列3020可包括第二視點(diǎn)的圖像，第n層的圖像序列3030可包括第n視點(diǎn)的圖像。作為另一示例，第一層的圖像序列3010可以是基本層的左視點(diǎn)圖像，第二層的圖像序列3020可以是基本層的右視點(diǎn)圖像，第n層的圖像序列3030可以是增強(qiáng)層的右視點(diǎn)圖像。然而，實(shí)施例不限于此，具有不同可伸縮擴(kuò)展類型的圖像序列3010至3030可以是具有不同圖像屬性的圖像序列。

圖3c示出根據(jù)實(shí)施例的包括多層視頻的編碼數(shù)據(jù)的網(wǎng)絡(luò)抽象層(NAL)單元。

如上所述，比特流產(chǎn)生器18輸出包括編碼的多層視頻數(shù)據(jù)和附加信息的NAL單元。視頻參數(shù)集(VPS)包括應(yīng)用于多層視頻中所包括的多層圖像序列3120至3140的信息。包括關(guān)于VPS的信息的NAL單元被稱為VPS NAL單元3110。

VPS NAL單元3110包括由多層圖像序列3120至3140共享的共同語(yǔ)法元素、關(guān)于用于停止不必要信息的傳輸?shù)牟僮鼽c(diǎn)的信息以及關(guān)于會(huì)話協(xié)商期間所需的操作點(diǎn)的不可缺信息(諸如型(profile)或級(jí)(level)等)。具體地講，根據(jù)實(shí)施例的VPS NAL單元3110包括與用于在多層視頻中實(shí)現(xiàn)可伸縮性的可伸縮性標(biāo)識(shí)符相關(guān)的可伸縮性信息。可伸縮性信息是用于確定被應(yīng)用于包括在多層視頻中的多層圖像序列3120至3140的可伸縮性的信息。

可伸縮性信息包括關(guān)于可伸縮性類型以及被應(yīng)用于包括在多層視頻中的多層圖像序列3120至3140的可伸縮性維度的信息。在根據(jù)本公開(kāi)的第一實(shí)施例的編碼方法和解碼方法中，可直接從包括在NAL單元頭中的分層標(biāo)識(shí)符的值獲得可伸縮性信息。分層標(biāo)識(shí)符是用于區(qū)分包括在VPS中的多個(gè)層的標(biāo)識(shí)符。VPS可通過(guò)VPS擴(kuò)展用信號(hào)傳輸每層的分層標(biāo)識(shí)符。VPS的每層的層標(biāo)識(shí)符可通過(guò)被包括在VPS NAL單元中而被用信號(hào)傳輸。例如，屬于VPS的特定層的NAL單元的分層標(biāo)識(shí)符可包括在VPS NAL單元中。例如，屬于VPS的NAL單元的分層標(biāo)識(shí)符可通過(guò)VPS擴(kuò)展而被用信號(hào)傳輸。因此，在根據(jù)各種實(shí)施例的編碼方法和解碼方法中，可通過(guò)使用屬于VPS的NAL單元的分層標(biāo)識(shí)符值來(lái)獲得關(guān)于所述NAL單元的層的可伸縮性信息。

在下文中，將參照?qǐng)D4a至圖4c描述層間運(yùn)動(dòng)預(yù)測(cè)。

圖4a示出根據(jù)實(shí)施例的確定運(yùn)動(dòng)繼承候選的處理。

參照?qǐng)D4a，可通過(guò)使用與第二層的當(dāng)前塊相應(yīng)的第一層塊來(lái)執(zhí)行層間預(yù)測(cè)。例如，第二層可以是深度圖像1419，第一層可以是與深度圖像1410具有相同視點(diǎn)的關(guān)聯(lián)紋理圖像1420。

作為關(guān)聯(lián)紋理圖像1420中的與深度圖像1410的當(dāng)前塊1411相應(yīng)的相同位置塊的第一層塊1421可被包括在用于對(duì)當(dāng)前塊1411進(jìn)行編碼/解碼的合并候選中。如上所述，可通過(guò)MpiFlag來(lái)確定是否繼承與當(dāng)前塊相同位置且被包括在另一層中的第一層塊的運(yùn)動(dòng)信息以將第一層塊添加到合并候選。

當(dāng)MPI候選被使用時(shí)，可將MPI候選添加到合并候選列表，并且視點(diǎn)間候選、空間候選、視差候選、時(shí)間候選以及視點(diǎn)合成預(yù)測(cè)候選可根據(jù)預(yù)定優(yōu)先級(jí)被進(jìn)一步添加到合并候選列表。這樣的合并候選列表添加處理可被執(zhí)行，直到包括在合并候選列表中的合并候選的數(shù)量變?yōu)楹喜⒑蜻x的預(yù)設(shè)最大數(shù)量為止。除了MPI候選以外，可選擇性地使用其他模式的合并候選。

當(dāng)MPI候選未被使用時(shí)，視點(diǎn)間候選、空間候選、視差候選、時(shí)間候選和視點(diǎn)合成預(yù)測(cè)候選可根據(jù)預(yù)設(shè)優(yōu)先級(jí)被添加到合并候選列表，而不包括MPI候選。

圖4b是用于描述根據(jù)實(shí)施例的通過(guò)視點(diǎn)間預(yù)測(cè)的視點(diǎn)間候選和用于視點(diǎn)間預(yù)測(cè)的視差矢量的示圖。

在對(duì)多視點(diǎn)視頻進(jìn)行編碼/解碼期間，可執(zhí)行使用不同視點(diǎn)的在相同時(shí)間輸入的視點(diǎn)方向的參考畫(huà)面的幀間預(yù)測(cè)。

例如，在圖4b中，第二層可以是多視點(diǎn)視頻的多個(gè)視點(diǎn)的紋理圖像之中的一個(gè)視點(diǎn)的紋理圖像，第二層可以是與第二層不同的另一視點(diǎn)的紋理圖像。

參照?qǐng)D4b，層間視頻解碼設(shè)備40可通過(guò)使用視差矢量DV來(lái)確定第一層的參考畫(huà)面1440中所包括的與第二層的當(dāng)前畫(huà)面1430中所包括的當(dāng)前塊1431相應(yīng)的參考?jí)K1441。參考畫(huà)面1440可以是在與當(dāng)前畫(huà)面1430相同的時(shí)間輸入的另一視點(diǎn)(ViewID＝n-1)的畫(huà)面。層間視頻解碼設(shè)備40可通過(guò)使用所確定的參考?jí)K1441來(lái)執(zhí)行層間預(yù)測(cè)。

詳細(xì)地說(shuō)，層間視頻解碼設(shè)備40可針對(duì)層間運(yùn)動(dòng)預(yù)測(cè)獲得從當(dāng)前塊1431開(kāi)始由視差矢量DV所指示的參考?jí)K1441的參考運(yùn)動(dòng)矢量mv_ref，并通過(guò)使用獲得的參考運(yùn)動(dòng)矢量mv_ref來(lái)預(yù)測(cè)當(dāng)前塊1431的運(yùn)動(dòng)矢量mv_cur。在這種情況下，層間視頻解碼設(shè)備40可通過(guò)使用預(yù)測(cè)出的運(yùn)動(dòng)矢量mv_cur來(lái)執(zhí)行第二層當(dāng)前塊1431的運(yùn)動(dòng)補(bǔ)償。

這里，參考位置可以是從當(dāng)前塊1401的中心像素開(kāi)始由視差矢量DV所指示的位置，或者是從當(dāng)前塊1401的左上像素開(kāi)始由視差矢量DV所指示的位置。

如上所述，為了通過(guò)參考不同的視點(diǎn)圖像來(lái)執(zhí)行預(yù)測(cè)，需要視差矢量。視差矢量可作為單獨(dú)的信息通過(guò)比特流從編碼設(shè)備被發(fā)送到解碼設(shè)備，或者可基于深度圖像或當(dāng)前塊的鄰近塊來(lái)預(yù)測(cè)。換句話說(shuō)，預(yù)測(cè)出的視差矢量可以是鄰近塊視差矢量(NBDV)和深度導(dǎo)向的NBDV(DoNBDV)。

當(dāng)從鄰近塊候選獲得了視差矢量(層間方向的運(yùn)動(dòng)矢量)時(shí)，NBDV可表示通過(guò)使用獲得的視差矢量預(yù)測(cè)出的當(dāng)前塊的視差矢量。

同時(shí)，當(dāng)深度圖像在不同層圖像之中被編碼和解碼時(shí)，與當(dāng)前塊相應(yīng)的深度塊可通過(guò)使用NBDV來(lái)確定。這里，在包括在確定的深度塊中的深度值之中確定代表性深度值，并且通過(guò)使用相機(jī)參數(shù)將確定的深度值轉(zhuǎn)換為視差矢量。DoNBDV可表示通過(guò)使用從深度值轉(zhuǎn)換得到的視差矢量預(yù)測(cè)出的視差矢量。

圖4c示出根據(jù)實(shí)施例的包括在合并候選列表中的空間候選。

參照?qǐng)D4c，位于當(dāng)前塊1500的左側(cè)底部的鄰近塊A0 1510、位于當(dāng)前塊1500的左側(cè)的鄰近塊A1 1520、位于當(dāng)前塊1500的右側(cè)頂部的鄰近塊B01530、位于當(dāng)前塊1500的頂部的鄰近塊B1 1540以及位于當(dāng)前塊1500的左側(cè)頂部的鄰近塊B2 1550可被用作空間合并候選。當(dāng)形成合并候選列表時(shí)，按照陳述的順序找出A1 1520、B1 1540、B0 1530、A0 1510和B2 1550，并且具有運(yùn)動(dòng)信息的鄰近塊可被依次添加到合并候選列表。

當(dāng)鄰近塊是幀邊界或被幀內(nèi)預(yù)測(cè)并因此不存在運(yùn)動(dòng)信息時(shí)，所述鄰近塊可不被包括在合并候選列表中。可被包括在合并候選列表中的鄰近塊的位置、編號(hào)和搜索順序不限于上述示例，并且可改變。同時(shí)，當(dāng)前塊可以是根據(jù)HEVC的編碼單元或預(yù)測(cè)單元。

圖4d示出根據(jù)實(shí)施例的包括在合并候選列表中的時(shí)間候選。

參照?qǐng)D4c，為了層間視頻解碼設(shè)備40對(duì)包括在當(dāng)前畫(huà)面4000中的當(dāng)前塊1500執(zhí)行幀間預(yù)測(cè)，包括在參考畫(huà)面4100中并與當(dāng)前塊1500相同位置的塊Col 1560以及相同位置的塊1560的鄰近塊中的至少一個(gè)塊可被包括在時(shí)間鄰近塊候選中。例如，相同位置的塊Col 1560的右側(cè)底部塊BR 1570可包括在時(shí)間預(yù)測(cè)候選中。同時(shí)，用于時(shí)間預(yù)測(cè)候選確定的塊可以是編碼單元或預(yù)測(cè)單元。

圖5a和圖5b是用于描述根據(jù)實(shí)施例的基于子塊的層間運(yùn)動(dòng)預(yù)測(cè)的示圖。

在下文中，在圖5a和圖5b中，假設(shè)運(yùn)動(dòng)繼承信息指示與第二層的當(dāng)前塊相應(yīng)的第一層塊的運(yùn)動(dòng)信息可用作第二層的運(yùn)動(dòng)信息。

在圖5a和圖5b中，包括當(dāng)前塊5100的第二層是深度圖像，包括與當(dāng)前塊5100相應(yīng)的第一層塊5200的第一層是與深度圖像相應(yīng)的紋理圖像。在這種情況下，不存在視差矢量DV，并且第一層塊5200可以是第一層中的與第二層的當(dāng)前塊5100相應(yīng)的塊。

可選擇地，包括當(dāng)前塊5100的第二層可以是第二視點(diǎn)的紋理圖像，并且包括與當(dāng)前塊5100相應(yīng)的第一層塊5200的第一層可以是第一視點(diǎn)的紋理圖像。在這種情況下，第一層塊5200可以是從當(dāng)前塊5100開(kāi)始由視差矢量DV所指示的位置處的塊。

在下文中，將參照?qǐng)D5a描述基于第一層塊5200的運(yùn)動(dòng)信息確定第二層的當(dāng)前塊5100的運(yùn)動(dòng)信息的方法。

可通過(guò)參考第一層塊5200的運(yùn)動(dòng)信息來(lái)確定第二層的當(dāng)前塊5100的運(yùn)動(dòng)信息。此外，第二層的當(dāng)前塊5100可被劃分為一個(gè)或更多個(gè)子塊5101至5104，并且可通過(guò)分別參考第一層塊5200的子塊5201至5204來(lái)確定子塊5101至5104的運(yùn)動(dòng)信息。

這里，默認(rèn)運(yùn)動(dòng)信息5210可被用于確定是否可根據(jù)子塊5101至5104來(lái)預(yù)測(cè)當(dāng)前塊5100的運(yùn)動(dòng)矢量。換句話說(shuō)，層間視頻解碼設(shè)備40不確定第一層塊5200的與當(dāng)前塊5100的子塊5101至5104相應(yīng)的子塊5201至5204的運(yùn)動(dòng)信息是否可用，但確定默認(rèn)運(yùn)動(dòng)信息5210是否可用以確定是否可根據(jù)子塊5101至5104來(lái)預(yù)測(cè)當(dāng)前塊5100的運(yùn)動(dòng)信息，其中，默認(rèn)運(yùn)動(dòng)信息5210是子塊5201至5204之中的預(yù)定子塊的運(yùn)動(dòng)信息。

當(dāng)?shù)谝粚訅K5200的默認(rèn)運(yùn)動(dòng)信息可用時(shí)，層間視頻解碼設(shè)備40可根據(jù)子塊5101至5104預(yù)測(cè)當(dāng)前塊5100的運(yùn)動(dòng)信息。默認(rèn)運(yùn)動(dòng)信息5210可以是第一層塊5200的子塊之中包括第一層塊5200的預(yù)定位置處的像素的子塊5204的運(yùn)動(dòng)信息。例如，第一層塊5200的預(yù)定位置處的像素可以是位于第一層塊5200的中心的像素。例如，所述預(yù)定位置處的像素可根據(jù)(xPb+((nPBW/nSbW)/2)*nSbW,yPb+((nPBH/nSbH)/2)*nSbH)來(lái)確定。(xPb,yPb)可表示當(dāng)前塊5100的位置，nPbW和nPbH可分別表示當(dāng)前塊5100的寬度和高度，并且nSbW和nSbH可分別表示當(dāng)前塊5100的子塊的寬度和高度。

在當(dāng)前塊5100的運(yùn)動(dòng)信息可根據(jù)子塊5101至5104預(yù)測(cè)時(shí)，可通過(guò)參考第一層塊5200的分別與當(dāng)前塊5100的子塊5101至5104相應(yīng)的子塊5201至5204來(lái)確定所述運(yùn)動(dòng)信息。

例如，當(dāng)前塊5100的子塊5101可與第一層塊5200的子塊5201相應(yīng)，當(dāng)前塊5100的子塊5102可與第一層塊5200的子塊5202相應(yīng)，當(dāng)前塊5100的子塊5103可與第一層塊5200的子塊5203相應(yīng)，并且當(dāng)前塊5100的子塊5104可與第一層塊5200的子塊5204相應(yīng)。

詳細(xì)地講，層間視頻解碼設(shè)備40可通過(guò)使用索引(xBlk和yBlk)來(lái)獲得第一層塊5200的與當(dāng)前塊5100的子塊5101至5104分別相應(yīng)的子塊5201至5204的運(yùn)動(dòng)信息。

例如，為了確定當(dāng)前塊5100的子塊5101至5104的運(yùn)動(dòng)信息，層間視頻解碼設(shè)備40可參考第一層塊5200的與當(dāng)前塊5100的位置(xPb+xBlk*nSbW,yPb+yBlk*nSbH)處的子塊相應(yīng)的子塊的運(yùn)動(dòng)信息。作為特定子塊的寬度索引的xBlk可具有從0到nPbW/nSbW？1的值，作為特定子塊的高度索引的yBlk可具有從0到nPbH/nSbH？1的值。(xPb,yPb)可表示當(dāng)前塊5100的位置，nPbW和nPbH可分別表示當(dāng)前塊5100的寬度和高度，nSbW和nSbH可分別表示當(dāng)前塊5100的子塊的寬度和高度。

在下文中，將參照?qǐng)D5b描述當(dāng)?shù)谝粚訅K5200的子塊5201至5204之中的子塊5205和5203的運(yùn)動(dòng)信息不可用時(shí)確定第二層的當(dāng)前塊5100的運(yùn)動(dòng)信息的方法。

例如，當(dāng)與當(dāng)前塊5100相應(yīng)的第一層塊5200的子塊5201至5204之中的子塊5205和5203通過(guò)執(zhí)行幀內(nèi)預(yù)測(cè)被編碼/解碼時(shí)，子塊5202和5203的運(yùn)動(dòng)信息可能不可用。

當(dāng)子塊5202和5203的運(yùn)動(dòng)信息不可用時(shí)，當(dāng)前塊5100的與第一層塊5200的子塊5202和5203相應(yīng)的子塊5102和5103可不參考子塊5202和5203的運(yùn)動(dòng)信息，這是因?yàn)榈谝粚訅K5200的子塊5202和5203的運(yùn)動(dòng)信息不存在。

此時(shí)，層間視頻解碼設(shè)備40可通過(guò)使用默認(rèn)運(yùn)動(dòng)信息5210來(lái)確定當(dāng)前塊5100的子塊5102和5103的運(yùn)動(dòng)信息。因此，層間視頻解碼設(shè)備40不需要執(zhí)行確定將被再次參考的第一層塊5200的子塊并獲得所確定的子塊的運(yùn)動(dòng)信息以便確定子塊5102和5103的運(yùn)動(dòng)信息的處理。

在當(dāng)前塊5100的子塊5101至5104之中，層間視頻解碼設(shè)備40可基于第一層塊5200的子塊5201和5204的運(yùn)動(dòng)信息來(lái)確定能夠使用第一層塊5200的子塊5101至5104的運(yùn)動(dòng)信息的子塊5101和5104的運(yùn)動(dòng)信息，并基于默認(rèn)運(yùn)動(dòng)信息5210來(lái)確定不能夠使用第一層塊5200的子塊5101至5104的運(yùn)動(dòng)信息的子塊5102和5103的運(yùn)動(dòng)信息。

默認(rèn)運(yùn)動(dòng)信息5210可以是第一層塊5200的子塊5201至5204之中的包括第一層塊5200的預(yù)定位置處的像素的子塊5204的運(yùn)動(dòng)信息。例如，第一層塊5200的預(yù)定位置處的像素可以是位于第一層塊5200的中心的像素。

圖6a至圖6c示出根據(jù)實(shí)施例的通過(guò)使用層間候選來(lái)形成合并候選列表的處理。

圖6a示出用于對(duì)多視點(diǎn)視頻圖像進(jìn)行編碼/解碼的合并候選列表的示例。

合并候選列表可包括根據(jù)預(yù)定優(yōu)先級(jí)的預(yù)定數(shù)量的合并候選。層間視頻編碼設(shè)備10和層間視頻解碼設(shè)備40可通過(guò)按照相同的方式形成合并候選列表來(lái)確定相同的合并候選列表。

例如，層間視頻解碼設(shè)備40可根據(jù)預(yù)定優(yōu)先級(jí)從具有高優(yōu)先級(jí)的合并候選確定合并候選的可用性，并可將可用合并候選添加到合并候選列表?？蛇x擇地，當(dāng)用于多視點(diǎn)視頻圖像的合并候選列表被形成時(shí)，層間視頻解碼設(shè)備40可基于針對(duì)現(xiàn)有的單視點(diǎn)視頻圖像的合并候選列表，將針對(duì)多視點(diǎn)視頻圖像的另外的合并候選添加到根據(jù)預(yù)定優(yōu)先級(jí)的多個(gè)位置。

針對(duì)多視點(diǎn)視頻圖像的合并候選列表可包括以下候選之一。

(1)運(yùn)動(dòng)參數(shù)繼承(MPI)候選、(2)視點(diǎn)間候選、(3)空間候選、(4)時(shí)間候選、(5)視差候選、(6)視點(diǎn)合成預(yù)測(cè)(VSP)候選。

這樣的合并候選可如圖6a中所示根據(jù)預(yù)定順序被包括在合并候選列表中。這里，(1)MPI候選、(3)空間候選以及(5)視差候選可以是包括在與當(dāng)前塊相同或不同的視點(diǎn)的層圖像中的先前塊。(2)視點(diǎn)間候選、(4)時(shí)間候選以及(6)VSP候選可以是包括在與當(dāng)前塊不同的視點(diǎn)的層圖像中的先前塊。包括在合并候選列表中的合并候選的類型、數(shù)量和優(yōu)先級(jí)不限于此，并可改變。

圖6b示出形成合并候選列表的處理的示例。

層間視頻解碼設(shè)備40可根據(jù)預(yù)定優(yōu)先級(jí)從具有高優(yōu)先級(jí)的合并候選確定合并候選的可用性，并將可用合并候選添加到合并候選列表。例如，層間視頻解碼設(shè)備40可將MPI候選和視點(diǎn)間候選依次添加到合并候選列表?？蛇x擇地，層間視頻解碼設(shè)備40可在當(dāng)前解碼的第二層圖像是深度圖像時(shí)將MPI候選添加到合并候選列表，并在第二層圖像是紋理圖像時(shí)將視點(diǎn)間候選添加到合并候選列表。

當(dāng)將合并候選添加到合并候選列表時(shí)，層間視頻解碼設(shè)備40可執(zhí)行排除具有相同運(yùn)動(dòng)信息的候選的修剪處理。

修剪處理是用于去除合并候選的運(yùn)動(dòng)信息的冗余的處理，當(dāng)包括在兩個(gè)合并候選的運(yùn)動(dòng)信息中的多條信息經(jīng)過(guò)比較彼此匹配時(shí)，確定所述兩個(gè)合并候選的運(yùn)動(dòng)信息相同。例如，當(dāng)包括在第一合并候選的運(yùn)動(dòng)信息中的參考列表、參考畫(huà)面索引以及MVP中的任意一項(xiàng)與包括在第二合并候選的運(yùn)動(dòng)信息中的參考列表、參考畫(huà)面索引以及MVP不同時(shí)，第一合并候選的運(yùn)動(dòng)信息與第二合并候選的運(yùn)動(dòng)信息可不同。

例如，在圖6b中，當(dāng)MPI候選可用作合并候選時(shí)，層間視頻解碼設(shè)備40可基于作為MPI候選的第一層塊的默認(rèn)運(yùn)動(dòng)信息是否可用，將MPI候選添加到合并候選列表。

當(dāng)MPI候選被添加到合并候選列表時(shí)，層間視頻解碼設(shè)備40可確定是否將根據(jù)預(yù)定優(yōu)先級(jí)的具有在后的優(yōu)先級(jí)的視點(diǎn)間候選添加到合并候選列表。

這里，層間視頻解碼設(shè)備40可基于作為視點(diǎn)間候選的第一層塊的默認(rèn)運(yùn)動(dòng)信息是否可用，將視點(diǎn)間候選添加到合并候選列表。此外，層間視頻解碼設(shè)備40可通過(guò)對(duì)視點(diǎn)間候選執(zhí)行修剪處理來(lái)確定是否將視點(diǎn)間候選添加到合并候選列表。

這里，在修剪處理期間被比較的視點(diǎn)間候選的運(yùn)動(dòng)信息可以是作為視點(diǎn)間候選的第一層塊的默認(rèn)運(yùn)動(dòng)信息。例如，層間視頻解碼設(shè)備40可將視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息與MPI候選的默認(rèn)運(yùn)動(dòng)信息進(jìn)行比較，并在它們不同時(shí)將視點(diǎn)間候選添加到合并候選列表。層間視頻解碼設(shè)備40可通過(guò)將視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息與可包括在合并候選列表中的另一模式的候選塊(諸如當(dāng)前塊的鄰近塊候選的運(yùn)動(dòng)信息)進(jìn)行比較來(lái)執(zhí)行修剪處理。

當(dāng)對(duì)視點(diǎn)間候選執(zhí)行了修剪處理時(shí)，層間視頻解碼設(shè)備40可通過(guò)將視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息與MPI候選的默認(rèn)運(yùn)動(dòng)信息進(jìn)行比較來(lái)執(zhí)行修剪處理，而不管MPI候選是否包括在合并候選列表中。

層間視頻解碼設(shè)備40甚至可在對(duì)作為鄰近塊候選的空間候選或時(shí)間候選執(zhí)行修剪處理時(shí)使用MPI候選的默認(rèn)運(yùn)動(dòng)信息或視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息。例如，層間視頻解碼設(shè)備40可在當(dāng)前解碼的第二層圖像是深度圖像時(shí)通過(guò)將MPI候選的默認(rèn)運(yùn)動(dòng)信息與鄰近塊候選的運(yùn)動(dòng)信息進(jìn)行比較來(lái)執(zhí)行修剪處理，并可在第二層圖像是紋理圖像時(shí)通過(guò)將視點(diǎn)間候選的默認(rèn)運(yùn)動(dòng)信息與鄰近塊候選的運(yùn)動(dòng)信息進(jìn)行比較來(lái)執(zhí)行修剪處理。

圖6c示出形成合并候選列表的處理的另一示例。

當(dāng)針對(duì)多視點(diǎn)視頻圖像的合并候選列表被形成時(shí)，層間視頻解碼設(shè)備40可基于針對(duì)已有的單視點(diǎn)視頻圖像的合并候選列表，將針對(duì)多視點(diǎn)視頻圖像的另外的合并候選添加到根據(jù)預(yù)定優(yōu)先級(jí)的多個(gè)位置。

例如，圖6c示出針對(duì)已有的單視點(diǎn)視頻圖像的合并候選列表(圖6c的(a))以及針對(duì)多視點(diǎn)視頻的另外的合并候選(圖6c的(b))。

為了確定是否將MPI候選添加到合并候選列表，層間視頻解碼設(shè)備40可確定MPI候選的默認(rèn)運(yùn)動(dòng)信息是否可用，并當(dāng)可用時(shí)執(zhí)行將MPI候選的默認(rèn)運(yùn)動(dòng)信息與另一候選的運(yùn)動(dòng)信息進(jìn)行比較的修剪處理。這里，層間視頻解碼設(shè)備40可通過(guò)將MPI候選的默認(rèn)運(yùn)動(dòng)信息與針對(duì)單視點(diǎn)視頻圖像的合并候選列表(圖6c的(a))的所有候選的運(yùn)動(dòng)信息進(jìn)行比較來(lái)執(zhí)行修剪處理。

例如，當(dāng)MPI的默認(rèn)運(yùn)動(dòng)信息可用并且MPI候選的默認(rèn)運(yùn)動(dòng)信息與針對(duì)單視點(diǎn)視頻圖像的合并候選列表(圖6c的(a))的所有候選的運(yùn)動(dòng)信息不同時(shí)，層間視頻解碼設(shè)備40可將MPI候選添加到合并候選列表作為根據(jù)預(yù)定優(yōu)先級(jí)的候選。

圖7a示出根據(jù)實(shí)施例的序列參數(shù)集(SPS)多視點(diǎn)擴(kuò)展信息。

與單視點(diǎn)視頻的編碼相關(guān)的信息可通過(guò)SPS信息被發(fā)送，并且與形成多視點(diǎn)視頻的每層圖像的編碼相關(guān)的信息可通過(guò)被包括在SPS多視點(diǎn)擴(kuò)展信息(sps_3d_extension)中而被發(fā)送到解碼器。

參照?qǐng)D7a描述與本公開(kāi)的實(shí)施例相關(guān)的語(yǔ)法，iv_mv_pred_flag[d]710可指示在當(dāng)前層的圖像的解碼處理期間是否使用視點(diǎn)間運(yùn)動(dòng)參數(shù)預(yù)測(cè)。當(dāng)iv_mv_pred_flag[d]710為0時(shí)，視點(diǎn)間運(yùn)動(dòng)參數(shù)預(yù)測(cè)在相應(yīng)層中不被執(zhí)行。當(dāng)iv_mv_pred_flag[d]710為1時(shí)，視點(diǎn)間參數(shù)預(yù)測(cè)可在相應(yīng)層中被使用。.

mpi_flag[d]720可指示使用與當(dāng)前層圖像相應(yīng)的另一層圖像的運(yùn)動(dòng)信息的運(yùn)動(dòng)參數(shù)繼承是否被執(zhí)行。如上所述，mpi_flag[d]720針對(duì)使用MPI候選的層圖像可具有值1，并且mpi_flag[d]720針對(duì)不使用MPI候選的層圖像可具有值0。

在解碼器中，當(dāng)從SPS獲得了mpi_flag[d]720，并且包括在當(dāng)前層圖像中的塊之中的在合并模式下預(yù)測(cè)的塊被解碼時(shí)，MPI候選在mpi_flag[d]720具有值0的情況下被添加到合并候選列表，并且如果mpi_flag[d]720具有值0，則不包括MPI候選的合并候選列表可被確定。

圖7b是形成合并候選列表的處理的語(yǔ)法表的示例。

參照?qǐng)D7b，層間視頻解碼設(shè)備40可將MPI候選(T)、視點(diǎn)間候選(IV)、空間候選(A1和B1)、VSP候選(VSP)、空間候選(B0)、視差補(bǔ)償候選(DI)以及空間候選(A0和B2)依次添加到合并候選列表(extMergeCandList)。

此外，層間視頻解碼設(shè)備40可將通過(guò)基于塊尺寸等對(duì)視點(diǎn)間候選(IV)以及視差補(bǔ)償候選(DI)進(jìn)行移位而獲得的移位視點(diǎn)間候選(IVShift)以及移位視差合并候選(DIShift)進(jìn)一步添加到合并候選列表(extMergeCandList)。

層間視頻解碼設(shè)備40可通過(guò)參考availableFlag來(lái)確定是否將每個(gè)合并候選添加到合并候選列表(extMergeCandList)，其中，availableFlag是指示每個(gè)合并候選塊是否可用作合并候選的信息。

此外，層間視頻解碼設(shè)備40可通過(guò)添加合并候選直到包括在合并候選列表中的合并候選的數(shù)量達(dá)到最大數(shù)量(MaxNumMergeCand)來(lái)確定合并候選列表(extMergeCandList)。

如上所述，根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10和根據(jù)各種實(shí)施例的層間視頻解碼設(shè)備40可將視頻數(shù)據(jù)的塊劃分為具有樹(shù)結(jié)構(gòu)的編碼單元，并且編碼單元、預(yù)測(cè)單元和變換單元可用于編碼單元的層間預(yù)測(cè)或幀間預(yù)測(cè)。在下文中，將參照?qǐng)D8至圖20描述根據(jù)各種實(shí)施例的基于具有樹(shù)結(jié)構(gòu)的編碼單元和變換單元的視頻編碼方法、視頻編碼設(shè)備、視頻解碼方法和視頻解碼設(shè)備。

原則上，在用于多層視頻的編碼和解碼處理期間，單獨(dú)地執(zhí)行對(duì)第一層圖像的編碼和解碼處理以及對(duì)第二層圖像的編碼和解碼處理。換句話說(shuō)，當(dāng)對(duì)多層視頻執(zhí)行層間預(yù)測(cè)時(shí)，單層視頻的編碼和解碼結(jié)果可被互相參考，但根據(jù)單層視頻執(zhí)行單獨(dú)的編碼和解碼處理。

因此，由于為了便于描述而在下面參照?qǐng)D8至圖20描述的基于具有樹(shù)結(jié)構(gòu)的編碼單元的視頻編碼和解碼處理是對(duì)單層視頻進(jìn)行處理的視頻編碼處理和解碼處理，因此僅執(zhí)行幀間預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償。然而，如參照?qǐng)D1a至圖7b所描述的，為了對(duì)視頻流進(jìn)行編碼和解碼，對(duì)基本層圖像和第二層圖像執(zhí)行層間預(yù)測(cè)和補(bǔ)償。

因此，為了使根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10的編碼器12基于具有樹(shù)結(jié)構(gòu)的編碼單元對(duì)多層視頻進(jìn)行編碼，層間視頻編碼設(shè)備10可包括與多層視頻的層數(shù)一樣多的圖8的視頻編碼設(shè)備100以根據(jù)每個(gè)單層視頻執(zhí)行視頻編碼，由此控制每個(gè)視頻編碼設(shè)備100對(duì)被分配的單層視頻進(jìn)行編碼。此外，層間視頻編碼設(shè)備10可通過(guò)使用每個(gè)視頻編碼設(shè)備100的單獨(dú)的單視點(diǎn)的編碼結(jié)果來(lái)執(zhí)行視點(diǎn)間預(yù)測(cè)。因此，層間視頻編碼設(shè)備10的編碼器12可產(chǎn)生包括根據(jù)層的編碼結(jié)果的基本視點(diǎn)視頻流和第二層視頻流。

類似地，為了使根據(jù)各種實(shí)施例的層間視頻解碼設(shè)備40的解碼器44基于具有樹(shù)結(jié)構(gòu)的編碼單元對(duì)多層視頻進(jìn)行解碼，層間視頻解碼設(shè)備40可包括與多層視頻的層數(shù)一樣多的圖9的視頻解碼設(shè)備200，以便針對(duì)接收到的第一層視頻流和接收到的第二層視頻流根據(jù)層執(zhí)行視頻解碼，從而控制每個(gè)視頻解碼設(shè)備200對(duì)被分配的單層視頻進(jìn)行解碼。此外，層間視頻解碼設(shè)備40可通過(guò)使用每個(gè)視頻解碼設(shè)備200的單獨(dú)的單層的解碼結(jié)果來(lái)執(zhí)行層間補(bǔ)償。因此，層間視頻解碼設(shè)備40的解碼器44可產(chǎn)生根據(jù)層而被重建的第一層圖像和第二層圖像。

圖8是根據(jù)本公開(kāi)的實(shí)施例的基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的框圖。

涉及基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻預(yù)測(cè)的根據(jù)實(shí)施例的視頻編碼設(shè)備100包括編碼單元確定器120和輸出單元130。在下文中，為便于描述，涉及基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻預(yù)測(cè)的根據(jù)實(shí)施例的視頻編碼設(shè)備100將被簡(jiǎn)稱為“視頻編碼設(shè)備100”。

編碼單元確定器120可基于圖像的當(dāng)前畫(huà)面的最大編碼單元來(lái)劃分當(dāng)前畫(huà)面，其中，最大編碼單元是具有最大尺寸的編碼單元。如果當(dāng)前畫(huà)面大于最大編碼單元，則可將當(dāng)前畫(huà)面的圖像數(shù)據(jù)劃分為至少一個(gè)最大編碼單元。根據(jù)各種實(shí)施例的最大編碼單元可以是尺寸為32×32、64×64、128×128、256×256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長(zhǎng)度為2的若干次方的正方形。

根據(jù)各種實(shí)施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度為最低深度。由于隨著最大編碼單元的深度加深，與每個(gè)深度相應(yīng)的編碼單元的尺寸減小，因此與更高深度相應(yīng)的編碼單元可包括多個(gè)與更低深度相應(yīng)的編碼單元。

如上所述，當(dāng)前畫(huà)面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單元，并且每個(gè)最大編碼單元可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對(duì)根據(jù)各種實(shí)施例的最大編碼單元進(jìn)行劃分，因此可根據(jù)深度對(duì)包括在最大編碼單元中的空間域的圖像數(shù)據(jù)進(jìn)行分層分類。

可預(yù)先確定編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大編碼單元的高度和寬度被分層劃分的總次數(shù)。

編碼單元確定器120對(duì)通過(guò)根據(jù)深度對(duì)最大編碼單元的區(qū)域進(jìn)行劃分而獲得的至少一個(gè)劃分區(qū)域進(jìn)行編碼，并且根據(jù)所述至少一個(gè)劃分區(qū)域來(lái)確定用于輸出最終編碼的圖像數(shù)據(jù)的深度。換句話說(shuō)，編碼單元確定器120通過(guò)根據(jù)當(dāng)前畫(huà)面的最大編碼單元以根據(jù)深度的較深層編碼單元對(duì)圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼誤差的深度，來(lái)確定最終深度。將確定的最終深度和根據(jù)確定的編碼深度的編碼的圖像數(shù)據(jù)輸出到輸出單元130。

基于與等于或低于最大深度的至少一個(gè)深度相應(yīng)的較深層編碼單元，對(duì)最大編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼，并且基于每個(gè)較深層編碼單元比較對(duì)圖像數(shù)據(jù)進(jìn)行編碼的結(jié)果。在對(duì)較深層編碼單元的編碼誤差進(jìn)行比較之后，可選擇具有最小編碼誤差的深度。可針對(duì)每個(gè)最大編碼單元選擇至少一個(gè)最終深度。

隨著編碼單元根據(jù)深度而被分層地劃分并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被劃分。此外，即使在一個(gè)最大編碼單元中編碼單元與同一深度相應(yīng)，仍通過(guò)分別測(cè)量每個(gè)編碼單元的圖像數(shù)據(jù)的編碼誤差來(lái)確定是否將與同一深度相應(yīng)的每個(gè)編碼單元?jiǎng)澐值礁蜕疃?。因此，即使?dāng)圖像數(shù)據(jù)被包括在一個(gè)最大編碼單元中時(shí)，在該一個(gè)最大編碼單元中，編碼誤差仍可根據(jù)區(qū)域而不同，因此在圖像數(shù)據(jù)中，最終深度可根據(jù)區(qū)域而不同。因此，可在一個(gè)最大編碼單元中確定一個(gè)或更多個(gè)最終深度，并且可根據(jù)至少一個(gè)最終深度的編碼單元來(lái)對(duì)最大編碼單元的圖像數(shù)據(jù)進(jìn)行劃分。

因此，根據(jù)各種實(shí)施例的編碼單元確定器120可確定包括在最大編碼單元中的具有樹(shù)結(jié)構(gòu)的編碼單元。根據(jù)各種實(shí)施例的“具有樹(shù)結(jié)構(gòu)的編碼單元”包括最大編碼單元中包括的所有較深層編碼單元之中的與確定為最終深度的深度相應(yīng)的編碼單元。在最大編碼單元的同一區(qū)域中的，可根據(jù)深度來(lái)分層地確定最終深度的編碼單元，并可在不同區(qū)域中獨(dú)立地確定最終深度的編碼單元。類似地，可與另一區(qū)域中的最終深度獨(dú)立地確定當(dāng)前區(qū)域中的最終深度。

根據(jù)各種實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數(shù)相關(guān)的索引。根據(jù)各種實(shí)施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。根據(jù)各種實(shí)施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級(jí)的總數(shù)。例如，當(dāng)最大編碼單元的深度是0時(shí)，對(duì)最大編碼單元?jiǎng)澐忠淮蔚木幋a單元的深度可被設(shè)置為1，對(duì)最大編碼單元?jiǎng)澐謨纱蔚木幋a單元的深度可被設(shè)置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度0、1、2、3和4的深度等級(jí)，并且因此第一最大深度可被設(shè)置為4，第二最大深度可被設(shè)置為5。

可根據(jù)最大編碼單元執(zhí)行預(yù)測(cè)編碼和變換。根據(jù)最大編碼單元，還基于根據(jù)等于或小于最大深度的深度的較深層編碼單元來(lái)執(zhí)行預(yù)測(cè)編碼和變換。

由于每當(dāng)根據(jù)深度對(duì)最大編碼單元進(jìn)行劃分時(shí)，較深層編碼單元的數(shù)量增加，因此對(duì)隨著深度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預(yù)測(cè)編碼和變換的編碼。為了便于描述，在最大編碼單元中，現(xiàn)在將基于當(dāng)前深度的編碼單元來(lái)描述預(yù)測(cè)編碼和變換。

根據(jù)各種實(shí)施例的視頻編碼設(shè)備100可不同地選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對(duì)圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測(cè)編碼、變換和熵編碼的操作，此時(shí)，可針對(duì)所有操作使用相同的數(shù)據(jù)單元，或者可針對(duì)每個(gè)操作使用不同的數(shù)據(jù)單元。

例如，視頻編碼設(shè)備100不僅可選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還可選擇不同于編碼單元的數(shù)據(jù)單元，以便對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測(cè)編碼。

為了在最大編碼單元中執(zhí)行預(yù)測(cè)編碼，可基于根據(jù)各種實(shí)施例的與最終深度相應(yīng)的編碼單元(即，基于不再被劃分為與更低深度相應(yīng)的編碼單元的編碼單元)來(lái)執(zhí)行預(yù)測(cè)編碼。在下文中，不再被劃分且成為用于預(yù)測(cè)編碼的基本單元的編碼單元現(xiàn)在將被稱為“預(yù)測(cè)單元”。通過(guò)劃分預(yù)測(cè)單元而獲得的分區(qū)可包括預(yù)測(cè)單元或通過(guò)對(duì)預(yù)測(cè)單元的高度和寬度中的至少一個(gè)進(jìn)行劃分而獲得的數(shù)據(jù)單元。分區(qū)是編碼單元的預(yù)測(cè)單元被劃分的數(shù)據(jù)單元，并且預(yù)測(cè)單元可以是與編碼單元具有相同的尺寸的分區(qū)。

例如，當(dāng)2N×2N(其中，N是正整數(shù))的編碼單元不再被劃分并成為2N×2N的預(yù)測(cè)單元時(shí)，分區(qū)的尺寸可以是2N×2N、2N×N、N×2N或N×N。根據(jù)各種實(shí)施例的分區(qū)模式的示例包括通過(guò)對(duì)預(yù)測(cè)單元的高度或?qū)挾冗M(jìn)行對(duì)稱地劃分而獲得的對(duì)稱分區(qū)、通過(guò)對(duì)預(yù)測(cè)單元的高度或?qū)挾冗M(jìn)行非對(duì)稱地劃分(諸如，1：n或n:1)而獲得的分區(qū)、通過(guò)對(duì)預(yù)測(cè)單元進(jìn)行幾何地劃分而獲得的分區(qū)、以及具有任意形狀的分區(qū)。

預(yù)測(cè)單元的預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳過(guò)模式中的至少一個(gè)。例如，可對(duì)2N×2N、2N×N、N×2N或N×N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。此外，可僅對(duì)2N×2N的分區(qū)執(zhí)行跳過(guò)模式?？蓪?duì)編碼單元中的一個(gè)預(yù)測(cè)單元獨(dú)立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預(yù)測(cè)模式。

根據(jù)各種實(shí)施例的視頻編碼設(shè)備100不僅可基于用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元還可基于與編碼單元不同的數(shù)據(jù)單元，來(lái)對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來(lái)執(zhí)行變換。例如，變換單元可包括幀內(nèi)模式的數(shù)據(jù)單元和幀間模式的變換單元。

根據(jù)各種實(shí)施例，以與編碼單元根據(jù)樹(shù)結(jié)構(gòu)被劃分的方式類似的方式，編碼單元中的變換單元可被遞歸地劃分為更小尺寸的區(qū)域。因此，可基于根據(jù)變換深度的具有樹(shù)結(jié)構(gòu)的變換單元，對(duì)編碼單元中的殘差數(shù)據(jù)進(jìn)行劃分。

還可在根據(jù)各種實(shí)施例的變換單元中設(shè)置變換深度，其中，變換深度指示通過(guò)對(duì)編碼單元的高度和寬度進(jìn)行劃分而達(dá)到變換單元的劃分次數(shù)。例如，在2N×2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸是2N×2N時(shí)，變換深度可以是0，當(dāng)變換單元的尺寸是N×N時(shí)，變換深度可以是1，當(dāng)變換單元的尺寸是N/2×N/2時(shí)，變換深度可以是2。換句話說(shuō)，還可根據(jù)變換深度設(shè)置具有樹(shù)結(jié)構(gòu)的變換單元。

根據(jù)深度的劃分信息不僅需要關(guān)于深度的信息，還需要關(guān)于與預(yù)測(cè)編碼和變換相關(guān)的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的深度，還確定將預(yù)測(cè)單元?jiǎng)澐譃榉謪^(qū)的分區(qū)模式、根據(jù)預(yù)測(cè)單元的預(yù)測(cè)模式以及用于變換的變換單元的尺寸。

稍后將參照?qǐng)D9至圖19詳細(xì)描述根據(jù)各種實(shí)施例的最大編碼單元中的根據(jù)樹(shù)結(jié)構(gòu)的編碼單元以及確定預(yù)測(cè)單元/分區(qū)和變換單元的方法。

編碼單元確定器120可通過(guò)使用基于拉格朗日乘數(shù)的率失真優(yōu)化來(lái)測(cè)量根據(jù)深度的較深層編碼單元的編碼誤差。

輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)和根據(jù)深度的劃分信息，其中，所述最大編碼單元的圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個(gè)深度而被編碼。

可通過(guò)對(duì)圖像的殘差數(shù)據(jù)進(jìn)行編碼來(lái)獲得編碼的圖像數(shù)據(jù)。

根據(jù)深度的劃分信息可包括關(guān)于深度的信息、關(guān)于預(yù)測(cè)單元中的分區(qū)模式的信息、關(guān)于預(yù)測(cè)模式的信息和關(guān)于變換單元的劃分的信息。

可通過(guò)使用根據(jù)深度的劃分信息來(lái)定義關(guān)于最終深度的信息，其中，根據(jù)深度的劃分信息指示是否對(duì)更低深度而不是當(dāng)前深度的編碼單元執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是深度，則對(duì)當(dāng)前編碼單元進(jìn)行編碼，因此可將劃分信息定義為不將當(dāng)前編碼單元?jiǎng)澐值礁蜕疃?。可選擇地，如果當(dāng)前編碼單元的當(dāng)前深度不是深度，則對(duì)更低深度的編碼單元執(zhí)行編碼，并因此可將劃分信息定義為對(duì)當(dāng)前編碼單元進(jìn)行劃分以獲得更低深度的編碼單元。

如果當(dāng)前深度不是深度，則對(duì)被劃分到更低深度的編碼單元的編碼單元執(zhí)行編碼。由于更低深度的至少一個(gè)編碼單元存在于當(dāng)前深度的一個(gè)編碼單元中，因此對(duì)更低深度的每個(gè)編碼單元重復(fù)執(zhí)行編碼，并因此可對(duì)具有相同深度的編碼單元遞歸地執(zhí)行編碼。

由于針對(duì)一個(gè)最大編碼單元確定具有樹(shù)結(jié)構(gòu)的編碼單元，并且針對(duì)具有深度的編碼單元確定劃分信息，因此可針對(duì)一個(gè)最大編碼單元確定至少一條劃分信息。此外，由于根據(jù)深度對(duì)最大編碼單元的圖像數(shù)據(jù)進(jìn)行分層劃分，因此最大編碼單元的圖像數(shù)據(jù)的深度可根據(jù)位置而不同，因此可針對(duì)圖像數(shù)據(jù)設(shè)置深度和劃分信息。

因此，根據(jù)各種實(shí)施例的輸出單元130可將相應(yīng)深度和關(guān)于編碼模式的編碼信息分配給包括在最大編碼單元中的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。

根據(jù)各種實(shí)施例的最小單元是通過(guò)將構(gòu)成最低深度的最小編碼單元?jiǎng)澐譃?份而獲得的正方形數(shù)據(jù)單元?？蛇x擇地，根據(jù)各種實(shí)施例的最小單元可以是可包括在最大編碼單元中所包括的所有編碼單元、預(yù)測(cè)單元、分區(qū)單元和變換單元中的最大正方形數(shù)據(jù)單元。

例如，通過(guò)輸出單元130輸出的編碼信息可被分類為根據(jù)較深層編碼單元的編碼信息和根據(jù)預(yù)測(cè)單元的編碼信息。根據(jù)較深層編碼單元的編碼信息可包括關(guān)于預(yù)測(cè)模式的信息和關(guān)于分區(qū)尺寸的信息。根據(jù)預(yù)測(cè)單元的編碼信息可包括關(guān)于幀間模式的估計(jì)方向的信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運(yùn)動(dòng)矢量的信息、關(guān)于幀內(nèi)模式的色度分量的信息、以及關(guān)于幀內(nèi)模式的插值方法的信息。

根據(jù)畫(huà)面、條帶或GOP定義的關(guān)于編碼單元的最大尺寸的信息和關(guān)于最大深度的信息可被插入到比特流的頭、序列參數(shù)集或畫(huà)面參數(shù)集中。

還可通過(guò)比特流的頭、序列參數(shù)集或畫(huà)面參數(shù)集來(lái)輸出關(guān)于針對(duì)當(dāng)前視頻允許的變換單元的最大尺寸的信息、以及關(guān)于變換單元的最小尺寸的信息。輸出單元130可對(duì)與預(yù)測(cè)相關(guān)的參考信息、運(yùn)動(dòng)信息和條帶類型信息進(jìn)行編碼，并輸出這些信息。

在根據(jù)最簡(jiǎn)單的實(shí)施例的視頻編碼設(shè)備100中，較深層編碼單元可以是通過(guò)將更高深度(更高一層)的編碼單元的高度或?qū)挾葎澐殖蓛煞荻@得的編碼單元。換句話說(shuō)，在當(dāng)前深度的編碼單元的尺寸是2N×2N時(shí)，更低深度的編碼單元的尺寸是N×N。此外，尺寸為2N×2N的具有當(dāng)前深度的編碼單元可包括最多4個(gè)具有更低深度的編碼單元。

因此，視頻編碼設(shè)備100可基于考慮當(dāng)前畫(huà)面的特征而確定的最大編碼單元的尺寸和最大深度，通過(guò)針對(duì)每個(gè)最大編碼單元確定具有最優(yōu)形狀和最優(yōu)尺寸的編碼單元來(lái)形成具有樹(shù)結(jié)構(gòu)的編碼單元。此外，由于可通過(guò)使用各種預(yù)測(cè)模式和變換中的任意一個(gè)對(duì)每個(gè)最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特征來(lái)確定最優(yōu)編碼模式。

因此，如果以傳統(tǒng)宏塊對(duì)具有高分辨率或大數(shù)據(jù)量的圖像進(jìn)行編碼，則每個(gè)畫(huà)面的宏塊的數(shù)量極度增加。因此，針對(duì)每個(gè)宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因此難以發(fā)送壓縮的信息，并且數(shù)據(jù)壓縮效率降低。然而，通過(guò)使用根據(jù)各種實(shí)施例的視頻編碼設(shè)備100，由于在考慮圖像的尺寸的同時(shí)增加編碼單元的最大尺寸，并且在考慮圖像的特征的同時(shí)調(diào)整編碼單元，因此可提高圖像壓縮效率。

以上參照?qǐng)D1a描述的層間視頻編碼設(shè)備10可包括與層數(shù)一樣多的視頻編碼設(shè)備100，以便根據(jù)多層視頻中的層對(duì)單層圖像進(jìn)行編碼。例如，第一層編碼器14可包括一個(gè)視頻編碼設(shè)備100，第二層編碼器16可包括第二層的數(shù)量一樣多的視頻編碼設(shè)備100。

當(dāng)視頻編碼設(shè)備100對(duì)第一層圖像進(jìn)行編碼時(shí)，編碼單元確定器120可針對(duì)每個(gè)最大編碼單元根據(jù)具有樹(shù)結(jié)構(gòu)的編碼單元確定用于幀間預(yù)測(cè)的預(yù)測(cè)單元，并可根據(jù)預(yù)測(cè)單元執(zhí)行幀間預(yù)測(cè)。

即使在視頻編碼設(shè)備100對(duì)第二層圖像進(jìn)行編碼時(shí)，編碼單元確定器120可針對(duì)每個(gè)最大編碼單元確定具有樹(shù)結(jié)構(gòu)的編碼單元和預(yù)測(cè)單元，并可根據(jù)預(yù)測(cè)單元執(zhí)行幀間預(yù)測(cè)。

視頻編碼設(shè)備100可對(duì)第一層圖像和第二層圖像之間的亮度差進(jìn)行編碼，以便補(bǔ)償亮度差。然而，可根據(jù)編碼單元的編碼模式確定是否執(zhí)行亮度補(bǔ)償。例如，可僅對(duì)尺寸為2N×2N的預(yù)測(cè)單元執(zhí)行亮度補(bǔ)償。

圖9是根據(jù)各種實(shí)施例的基于根據(jù)樹(shù)結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備200的框圖。

涉及基于具有樹(shù)結(jié)構(gòu)的編碼單元的視頻預(yù)測(cè)的根據(jù)實(shí)施例的視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。為了便于描述，涉及基于具有樹(shù)結(jié)構(gòu)的編碼單元的視頻預(yù)測(cè)的根據(jù)實(shí)施例的視頻解碼設(shè)備200將被簡(jiǎn)稱為“視頻編碼設(shè)備200”。

用于根據(jù)各種實(shí)施例的視頻解碼設(shè)備200的解碼操作的各種術(shù)語(yǔ)(諸如編碼單元、深度、預(yù)測(cè)單元、變換單元和各種劃分信息)的定義與參照?qǐng)D8和視頻編碼設(shè)備100描述的定義相同。

接收器210接收并解析編碼的視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流針對(duì)每個(gè)編碼單元提取編碼的圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230，其中，編碼單元具有根據(jù)每個(gè)最大編碼單元的樹(shù)結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提取器220可從關(guān)于當(dāng)前畫(huà)面的頭、序列參數(shù)集或畫(huà)面參數(shù)集提取關(guān)于當(dāng)前畫(huà)面的編碼單元的最大尺寸的信息。

此外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流根據(jù)每個(gè)最大編碼單元提取具有樹(shù)結(jié)構(gòu)的編碼單元的最終深度和劃分信息。提取的最終深度和劃分信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說(shuō)，比特流中的圖像數(shù)據(jù)被劃分為最大編碼單元，使得圖像數(shù)據(jù)解碼器230針對(duì)每個(gè)最大編碼單元對(duì)圖像數(shù)據(jù)進(jìn)行解碼。

可針對(duì)至少一條深度信息設(shè)置根據(jù)最大編碼單元的深度和劃分信息，所述劃分信息可包括關(guān)于相應(yīng)編碼單元的分區(qū)模式的信息、關(guān)于預(yù)測(cè)模式的信息和關(guān)于變換單元的劃分的信息。此外，根據(jù)深度的劃分信息可被提取為關(guān)于深度的信息。

由圖像數(shù)據(jù)和編碼信息提取器220提取的根據(jù)每個(gè)最大編碼單元的深度和劃分信息是這樣的深度和劃分信息：所述深度和劃分信息被確定為在編碼器(諸如，根據(jù)各種實(shí)施例的視頻編碼設(shè)備100)根據(jù)每個(gè)最大編碼單元對(duì)根據(jù)深度的每個(gè)較深層編碼單元重復(fù)地執(zhí)行編碼時(shí)產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過(guò)根據(jù)產(chǎn)生最小編碼誤差的編碼深度和編碼模式對(duì)圖像數(shù)據(jù)進(jìn)行解碼來(lái)重建圖像。

由于根據(jù)各種實(shí)施例的關(guān)于深度和編碼模式的編碼信息可被分配給相應(yīng)的編碼單元、預(yù)測(cè)單元和最小單元之中的預(yù)定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預(yù)定數(shù)據(jù)單元提取深度和劃分信息。如果相應(yīng)最大編碼單元的深度和劃分信息根據(jù)預(yù)定數(shù)據(jù)單元被記錄，則可將被分配相同的深度和相同的劃分信息的預(yù)定數(shù)據(jù)單元推斷為是包括在同一最大編碼單元中的數(shù)據(jù)單元。

圖像數(shù)據(jù)解碼器230可通過(guò)基于根據(jù)最大編碼單元的深度和劃分信息對(duì)每個(gè)最大編碼單元中的圖像數(shù)據(jù)進(jìn)行解碼來(lái)重建當(dāng)前畫(huà)面。換句話說(shuō)，圖像數(shù)據(jù)解碼器230可基于提取出的關(guān)于包括在每個(gè)最大編碼單元中的具有樹(shù)結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元的分區(qū)模式、預(yù)測(cè)模式和變換單元的信息，對(duì)編碼的圖像數(shù)據(jù)進(jìn)行解碼。解碼處理可包括預(yù)測(cè)(包含幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償)和逆變換。

圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)深度的編碼單元的預(yù)測(cè)單元的分區(qū)模式和預(yù)測(cè)模式的信息，根據(jù)每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償。

此外，圖像數(shù)據(jù)解碼器230可針對(duì)每個(gè)編碼單元讀取關(guān)于根據(jù)樹(shù)結(jié)構(gòu)的變換單元的信息，以便基于每個(gè)編碼單元的變換單元執(zhí)行逆變換，以針對(duì)每個(gè)最大編碼單元來(lái)進(jìn)行逆變換。經(jīng)過(guò)逆變換，可重建編碼單元的空間域的像素值。

圖像數(shù)據(jù)解碼器230可通過(guò)使用根據(jù)深度的劃分信息來(lái)確定當(dāng)前最大編碼單元的深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度是深度。因此，圖像數(shù)據(jù)解碼器230可通過(guò)使用關(guān)于預(yù)測(cè)單元的分區(qū)模式的信息、關(guān)于預(yù)測(cè)模式的信息和關(guān)于變換單元的尺寸的信息，對(duì)當(dāng)前最大編碼單元中的編碼的數(shù)據(jù)進(jìn)行解碼。

換句話說(shuō)，可通過(guò)觀察被分配用于編碼單元、預(yù)測(cè)單元和最小單元之中的預(yù)定數(shù)據(jù)單元的編碼信息集來(lái)收集包含包括相同劃分信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù)據(jù)單元可被認(rèn)為是將由圖像數(shù)據(jù)解碼器230以相同編碼模式進(jìn)行解碼的一個(gè)數(shù)據(jù)單元。因此，可通過(guò)獲得關(guān)于每個(gè)編碼單元的編碼模式的信息來(lái)對(duì)當(dāng)前編碼單元進(jìn)行解碼。

以上參照?qǐng)D2a描述的層間視頻解碼設(shè)備40可包括與視點(diǎn)數(shù)一樣多的視頻解碼設(shè)備200，以便通過(guò)對(duì)接收到的第一層圖像流和接收到第二層圖像流進(jìn)行解碼來(lái)重建第一層圖像和第二層圖像。

當(dāng)?shù)谝粚訄D像流被接收時(shí)，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù)據(jù)和編碼信息提取器220從第一層圖像流提取的第一層圖像的樣點(diǎn)劃分為具有樹(shù)結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼器230可通過(guò)對(duì)通過(guò)劃分第一層圖像的樣點(diǎn)而獲得的具有樹(shù)結(jié)構(gòu)的編碼單元執(zhí)行用于幀間預(yù)測(cè)的根據(jù)預(yù)測(cè)單元的運(yùn)動(dòng)補(bǔ)償，重建第一層圖像。

當(dāng)?shù)诙訄D像流被接收時(shí)，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù)據(jù)和編碼信息提取器220從第二層圖像流提取的第二層圖像的樣點(diǎn)劃分為具有據(jù)樹(shù)結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼器230可通過(guò)對(duì)通過(guò)劃分第二層圖像的樣點(diǎn)而獲得的編碼單元執(zhí)行用于幀間預(yù)測(cè)的根據(jù)預(yù)測(cè)單元的運(yùn)動(dòng)補(bǔ)償，重建第二層圖像。

提取器220可從比特流獲得與亮度誤差相關(guān)的信息，以便補(bǔ)償?shù)谝灰晫訄D像和第二層圖像之間的亮度差。然而，可根據(jù)編碼單元的編碼模式確定是否執(zhí)行亮度補(bǔ)償。例如，可僅對(duì)尺寸為2N×2N的預(yù)測(cè)單元執(zhí)行亮度補(bǔ)償。

因此，視頻解碼設(shè)備200可獲得與在對(duì)每個(gè)最大編碼單元遞歸地執(zhí)行編碼時(shí)產(chǎn)生最小編碼誤差的至少一個(gè)編碼單元有關(guān)的信息，并可使用所述信息來(lái)對(duì)當(dāng)前畫(huà)面進(jìn)行解碼。換句話說(shuō)，可對(duì)每個(gè)最大編碼單元中的被確定為最優(yōu)編碼單元的具有樹(shù)結(jié)構(gòu)的編碼單元進(jìn)行解碼。

因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過(guò)使用通過(guò)使用編碼單元的尺寸和編碼模式來(lái)有效地對(duì)圖像數(shù)據(jù)進(jìn)行解碼和重建，其中，所述編碼單元的尺寸和編碼模式是通過(guò)使用從編碼器接收的最優(yōu)劃分信息，根據(jù)圖像數(shù)據(jù)的特性而被自適應(yīng)地確定的。

圖10是用于描述根據(jù)各種實(shí)施例的編碼單元的構(gòu)思的示圖。

編碼單元的尺寸可由寬度×高度來(lái)表示，并且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可被劃分為64×64、64×32、32×64或32×32的分區(qū)，32×32的編碼單元可被劃分為32×32、32×16、16×32或16×16的分區(qū)，16×16的編碼單元可被劃分為16×16、16×8、8×16或8×8的分區(qū)，8×8的編碼單元可被劃分為8×8、8×4、4×8或4×4的分區(qū)。

在視頻數(shù)據(jù)310中，分辨率為1920×1080，編碼單元的最大尺寸為64，最大深度為2。在視頻數(shù)據(jù)320中，分辨率為1920×1080，編碼單元的最大尺寸為64，最大深度為3。在視頻數(shù)據(jù)330中，分辨率為352×288，編碼單元的最大尺寸為16，最大深度為1。圖10中示出的最大深度表示從最大編碼單元到最小解碼單元的劃分總次數(shù)。

如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可能較大，從而不僅提高編碼效率，而且準(zhǔn)確地反映圖像的特征。因此，具有比視頻數(shù)據(jù)330更高分辨率的視頻數(shù)據(jù)310和320的編碼單元的最大尺寸可以是64。

由于視頻數(shù)據(jù)310的最大深度是2，因此由于通過(guò)對(duì)最大編碼單元?jiǎng)澐謨纱?，深度加深至兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括長(zhǎng)軸尺寸為64的最大編碼單元和長(zhǎng)軸尺寸為32和16的編碼單元。由于視頻數(shù)據(jù)330的最大深度是1，因此由于通過(guò)對(duì)最大編碼單元?jiǎng)澐忠淮?，深度加深至一層，因此視頻數(shù)據(jù)330的編碼單元335可包括長(zhǎng)軸尺寸為16的最大編碼單元和長(zhǎng)軸尺寸為8的編碼單元。

由于視頻數(shù)據(jù)320的最大深度是3，因此由于通過(guò)對(duì)最大編碼單元?jiǎng)澐秩?，深度加深?層，因此視頻數(shù)據(jù)320的編碼單元325可包括長(zhǎng)軸尺寸為64的最大編碼單元和長(zhǎng)軸尺寸為32、16和8的編碼單元。隨著深度加深，可準(zhǔn)確地表達(dá)詳細(xì)信息。

圖11是根據(jù)各種實(shí)施例的基于編碼單元的圖像編碼器400的框圖。

根據(jù)一些實(shí)施例的圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120對(duì)圖像數(shù)據(jù)進(jìn)行編碼的操作。換句話說(shuō)，幀內(nèi)預(yù)測(cè)器420在當(dāng)前幀405中根據(jù)每個(gè)預(yù)測(cè)單元對(duì)幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預(yù)測(cè)，幀間預(yù)測(cè)器415根據(jù)每個(gè)預(yù)測(cè)單元通過(guò)使用當(dāng)前圖像405和由恢復(fù)畫(huà)面緩沖器410獲得的參考圖像對(duì)幀間模式下的編碼單元執(zhí)行幀間預(yù)測(cè)。當(dāng)前畫(huà)面405可被劃分為最大編碼單元，然后最大編碼單元可被順序編碼。在這方面，可對(duì)從最大編碼單元按照樹(shù)結(jié)構(gòu)劃分的編碼單元執(zhí)行編碼。

通過(guò)從與將被編碼的當(dāng)前圖像405的數(shù)據(jù)減去從幀內(nèi)預(yù)測(cè)器420或幀間預(yù)測(cè)器415輸出的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)來(lái)產(chǎn)生殘差數(shù)據(jù)，并且所述殘差數(shù)據(jù)根據(jù)每個(gè)變換單元通過(guò)變換器425和量化器430被輸出為量化后的變換系數(shù)。量化后的變換系數(shù)通過(guò)反量化器445和逆變換器450被恢復(fù)為空間域中的殘差數(shù)據(jù)。空間域中的殘差數(shù)據(jù)被添加到從幀內(nèi)預(yù)測(cè)器420或幀間預(yù)測(cè)器415輸出的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)，從而被恢復(fù)為當(dāng)前圖像405的編碼單元的空間域中的數(shù)據(jù)。空間域中的數(shù)據(jù)通過(guò)去塊器455和樣點(diǎn)自適應(yīng)偏移(SAO)執(zhí)行器460，因此恢復(fù)的圖像被產(chǎn)生。恢復(fù)的圖像被存儲(chǔ)在恢復(fù)畫(huà)面緩沖器410中。恢復(fù)畫(huà)面緩沖器410中存儲(chǔ)的恢復(fù)的圖像可被用作用于另一圖像的幀間預(yù)測(cè)的參考圖像。通過(guò)變換器425和量化器430獲得的量化的變換系數(shù)可通過(guò)熵編碼器435被輸出為比特流440。

為了將根據(jù)一些實(shí)施例的圖像編碼器400應(yīng)用于視頻編碼設(shè)備100，圖像編碼器400的組件(即，幀間預(yù)測(cè)器415、幀內(nèi)預(yù)測(cè)器420、變換器425、量化器430、熵編碼器435、反量化器445、逆變換器450、去塊單元455和SAO執(zhí)行器460)根據(jù)每個(gè)最大編碼單元基于具有樹(shù)結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元執(zhí)行操作。

具體地，幀內(nèi)預(yù)測(cè)器420和幀間預(yù)測(cè)器415可在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度的同時(shí)確定具有樹(shù)結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式，變換器425可確定是否在具有樹(shù)結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元中根據(jù)四叉樹(shù)劃分變換單元。

圖12是根據(jù)各種實(shí)施例的基于編碼單元的圖像解碼器500的框圖。

熵解碼器515從比特流505解析將被解碼的編碼圖像數(shù)據(jù)和解碼所需的編碼信息。編碼圖像數(shù)據(jù)是量化后的變換系數(shù)，并且反量化器520和逆變換器525從所述量化后的變換系數(shù)恢復(fù)殘差數(shù)據(jù)。

幀內(nèi)預(yù)測(cè)器540根據(jù)預(yù)測(cè)單元對(duì)幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)器通過(guò)使用由恢復(fù)畫(huà)面緩沖器530獲得的參考圖像，根據(jù)預(yù)測(cè)單元對(duì)來(lái)自當(dāng)前圖像的幀間模式下的編碼單元執(zhí)行幀間預(yù)測(cè)。

通過(guò)經(jīng)由幀內(nèi)預(yù)測(cè)器和幀間預(yù)測(cè)器535將殘差數(shù)據(jù)和每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)相加，當(dāng)前圖像的編碼單元的空間域中的數(shù)據(jù)被恢復(fù)，并且空間域中的數(shù)據(jù)可通過(guò)去塊單元545和SAO執(zhí)行器550被輸出為恢復(fù)的圖像?；謴?fù)畫(huà)面緩沖器530中存儲(chǔ)的恢復(fù)的圖像可被輸出為參考圖像。

為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對(duì)圖像數(shù)據(jù)進(jìn)行解碼，可執(zhí)行根據(jù)一些實(shí)施例的圖像解碼器500的熵解碼器515之后的操作。

為了將圖像解碼器500應(yīng)用于根據(jù)一些實(shí)施例的視頻解碼設(shè)備200，圖像解碼器500的組件(即，熵解碼器515、反量化器520、逆變換器525、幀內(nèi)預(yù)測(cè)器540、幀間預(yù)測(cè)器535、去塊單元545和SAO執(zhí)行器550)可針對(duì)每個(gè)最大編碼單元基于具有樹(shù)結(jié)構(gòu)的編碼單元執(zhí)行操作。

具體地，幀內(nèi)預(yù)測(cè)器540和幀間預(yù)測(cè)器535根據(jù)具有樹(shù)結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元確定分區(qū)模式和預(yù)測(cè)模式，逆變換器525可針對(duì)每個(gè)編碼單元確定是否根據(jù)四叉樹(shù)結(jié)構(gòu)劃分變換單元。

圖10的編碼操作和圖11的解碼操作分別是單層中的視頻流編碼操作和視頻流解碼操作。因此，當(dāng)圖1a的編碼器12對(duì)至少兩層的視頻流進(jìn)行編碼時(shí)，圖1a的視頻編碼設(shè)備100可包括與層數(shù)一樣多的圖像編碼器400。類似地，當(dāng)圖2a的解碼器44對(duì)至少兩層的視頻流進(jìn)行解碼時(shí)，圖2a的視頻解碼設(shè)備40可包括與層數(shù)一樣多的圖像解碼器500。

圖13是示出根據(jù)各種實(shí)施例的編碼單元以及分區(qū)的示圖。

根據(jù)各種實(shí)施例的視頻編碼設(shè)備100和根據(jù)各種實(shí)施例的視頻解碼設(shè)備200使用分層編碼單元以考慮圖像的特征?？筛鶕?jù)圖像的特征自適應(yīng)地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不同地設(shè)置編碼單元的最大高度、最大寬度和最大深度?？筛鶕?jù)編碼單元的預(yù)定最大尺寸來(lái)確定根據(jù)深度的較深層編碼單元的尺寸。

在根據(jù)各種實(shí)施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均是64，最大深度是3。在此情況下，最大深度是指編碼單元從最大編碼單元到最小編碼單元被劃分的總次數(shù)。由于深度沿著根據(jù)各種實(shí)施例的編碼單元的分層結(jié)構(gòu)600的垂直軸加深，因此較深層編碼單元的高度和寬度均被劃分。此外，預(yù)測(cè)單元和分區(qū)沿著分層結(jié)構(gòu)600的水平軸被示出，其中，所述預(yù)測(cè)單元和分區(qū)是對(duì)每個(gè)較深層編碼單元進(jìn)行預(yù)測(cè)編碼的基礎(chǔ)。

換句話說(shuō)，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64×64。深度沿著垂直軸加深，存在尺寸為32×32且深度為1的編碼單元620、尺寸為16×16且深度為2的編碼單元630、尺寸為8×8且深度為3的編碼單元640。尺寸為8×8和深度為3的編碼單元640是最小編碼單元。

編碼單元的預(yù)測(cè)單元和分區(qū)根據(jù)每個(gè)深度沿著水平軸被排列。換句話說(shuō)，如果尺寸為64×64且深度為0的編碼單元610是預(yù)測(cè)單元，則可將預(yù)測(cè)單元?jiǎng)澐殖砂ㄔ诰幋a單元610中的分區(qū)，即，尺寸為64×64的分區(qū)610、尺寸為64×32的分區(qū)612、尺寸為32×64的分區(qū)614或尺寸為32×32的分區(qū)616。

類似地，可將尺寸為32×32且深度為1的編碼單元620的預(yù)測(cè)單元?jiǎng)澐殖砂ㄔ诰幋a單元620中的分區(qū)，即，尺寸為32×32的分區(qū)620、尺寸為32×16的分區(qū)622、尺寸為16×32的分區(qū)624和尺寸為16×16的分區(qū)626。

類似地，可將尺寸為16×16且深度為2的編碼單元630的預(yù)測(cè)單元?jiǎng)澐殖砂ㄔ诰幋a單元630中的分區(qū)，即，包括在編碼度單元630中的尺寸為16×16的分區(qū)、尺寸為16×8的分區(qū)632、尺寸為8×16的分區(qū)634和尺寸為8×8的分區(qū)636。

類似地，可將尺寸為8×8且深度為3的編碼單元640的預(yù)測(cè)單元?jiǎng)澐殖砂ㄔ诰幋a單元640中的分區(qū)，即，包括在編碼單元640中的尺寸為8×8的分區(qū)、尺寸為8×4的分區(qū)642、尺寸為4×8的分區(qū)644和尺寸為4×4的分區(qū)646。

為了確定最大編碼單元610的深度，根據(jù)各種實(shí)施例的視頻編碼設(shè)備100的編碼單元確定器120對(duì)包括在最大編碼單元610中的與每個(gè)深度相應(yīng)的編碼單元執(zhí)行編碼。

隨著深度加深，包括具有相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的較深層編碼單元的數(shù)量增加。例如，需要四個(gè)與深度2相應(yīng)的編碼單元來(lái)覆蓋包括在與深度1相應(yīng)的一個(gè)編碼單元中的數(shù)據(jù)。因此，為了根據(jù)深度比較對(duì)相同數(shù)據(jù)進(jìn)行編碼的結(jié)果，與深度1相應(yīng)的編碼單元和四個(gè)與深度2相應(yīng)的編碼單元均被編碼。

為了針對(duì)多個(gè)深度之中的當(dāng)前深度執(zhí)行編碼，可沿著分層結(jié)構(gòu)600的水平軸，通過(guò)對(duì)與當(dāng)前深度相應(yīng)的編碼單元中的每個(gè)預(yù)測(cè)單元執(zhí)行編碼，來(lái)針對(duì)當(dāng)前深度選擇最小編碼誤差?？蛇x擇地，隨著深度沿著分層結(jié)構(gòu)600的垂直軸加深，可通過(guò)針對(duì)每個(gè)深度執(zhí)行編碼來(lái)比較根據(jù)深度的最小編碼誤差，以搜索最小編碼誤差。最大編碼單元610中的具有最小編碼誤差的深度和分區(qū)可被選為最大編碼單元610的深度和分區(qū)模式。

圖14是用于描述根據(jù)各種實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖。

根據(jù)各種實(shí)施例的視頻編碼設(shè)備100或根據(jù)各種實(shí)施例的視頻解碼設(shè)備200針對(duì)每個(gè)最大編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元對(duì)圖像進(jìn)行編碼或解碼?？苫诓淮笥谙鄳?yīng)編碼單元的數(shù)據(jù)單元來(lái)選擇用于在編碼期間進(jìn)行變換的變換單元的尺寸。

例如，在根據(jù)各種實(shí)施例的視頻編碼設(shè)備100或根據(jù)各種實(shí)施例的視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64×64，則可通過(guò)使用尺寸為32×32的變換單元720來(lái)執(zhí)行變換。

此外，可通過(guò)對(duì)小于64×64的尺寸為32×32、16×16、8×8和4×4的變換單元中的每一個(gè)執(zhí)行變換，來(lái)對(duì)尺寸為64×64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，然后可選擇具有最小編碼誤差的變換單元。

圖15是用于描述根據(jù)各種實(shí)施例的編碼信息的示圖。

根據(jù)各種實(shí)施例的視頻編碼設(shè)備100的輸出單元130可對(duì)與深度相應(yīng)的每個(gè)編碼單元的關(guān)于分區(qū)模式的信息800、關(guān)于預(yù)測(cè)模式的信息810以及關(guān)于變換單元的尺寸的信息820進(jìn)行編碼，并將信息800、信息810以及信息820作為劃分信息來(lái)發(fā)送。

信息800指示關(guān)于通過(guò)劃分當(dāng)前編碼單元的預(yù)測(cè)單元而獲得的分區(qū)的形狀的信息，其中，分區(qū)是用于對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)編碼的數(shù)據(jù)單元。例如，可將尺寸為2N×2N的當(dāng)前編碼單元CU_0劃分成以下分區(qū)中的任意一個(gè)：尺寸為2N×2N的分區(qū)802、尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806和尺寸為N×N的分區(qū)808。這里，關(guān)于分區(qū)類型的信息800被設(shè)置為指示以下分區(qū)之一：尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806和尺寸為N×N的分區(qū)808。

信息810指示每個(gè)分區(qū)的預(yù)測(cè)模式。例如，信息810可指示對(duì)由信息800指示的分區(qū)執(zhí)行的預(yù)測(cè)編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過(guò)模式816。

信息820指示當(dāng)對(duì)當(dāng)前編碼單元執(zhí)行變換時(shí)所基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀間變換單元828。

根據(jù)各種實(shí)施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個(gè)較深層編碼單元，提取并使用用于解碼的信息800、信息810和信息820。

圖16是根據(jù)各種實(shí)施例的根據(jù)深度的較深層編碼單元的示圖。

劃分信息可用來(lái)指示深度的改變。劃分信息指示當(dāng)前深度的編碼單元是否被劃分成更低深度的編碼單元。

用于對(duì)深度為0且尺寸為2N_0×2N_0的編碼單元900進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元910可包括以下分區(qū)模式的分區(qū)：尺寸為2N_0×2N_0的分區(qū)模式912、尺寸為2N_0×N_0的分區(qū)模式914、尺寸為N_0×2N_0的分區(qū)模式916和尺寸為N_0×N_0的分區(qū)模式918。圖9僅示出了通過(guò)對(duì)稱地劃分預(yù)測(cè)單元而獲得的分區(qū)912至918，但是分區(qū)模式不限于此，并且預(yù)測(cè)單元的分區(qū)可包括非對(duì)稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。

根據(jù)每種分區(qū)模式，對(duì)尺寸為2N_0×2N_0的一個(gè)分區(qū)、尺寸為2N_0×N_0的兩個(gè)分區(qū)、尺寸為N_0×2N_0的兩個(gè)分區(qū)和尺寸為N_0×N_0的四個(gè)分區(qū)重復(fù)地執(zhí)行預(yù)測(cè)編碼。可對(duì)尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分區(qū)執(zhí)行幀內(nèi)模式和幀間模式下的預(yù)測(cè)編碼。僅對(duì)尺寸為2N_0×2N_0的分區(qū)執(zhí)行跳過(guò)模式下的預(yù)測(cè)編碼。

如果在分區(qū)模式912至916中的一個(gè)分區(qū)模式中編碼誤差最小，則可不將預(yù)測(cè)單元910劃分到更低深度。

如果在分區(qū)模式918中編碼誤差最小，則深度從0改變到1以在操作920中對(duì)分區(qū)模式918進(jìn)行劃分，并對(duì)深度為2且尺寸為N_0×N_0的編碼單元930重復(fù)地執(zhí)行編碼來(lái)搜索最小編碼誤差。

用于對(duì)深度為1且尺寸為2N_1×2N_1(＝N_0×N_0)的編碼單元930進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元940可包括以下分區(qū)模式的分區(qū)：尺寸為2N_1×2N_1的分區(qū)模式942、尺寸為2N_1×N_1的分區(qū)模式944、尺寸為N_1×2N_1的分區(qū)模式946以及尺寸為N_1×N_1的分區(qū)模式948。

如果在分區(qū)模式948中編碼誤差最小，則深度從1改變到2以在操作950中對(duì)分區(qū)模式948進(jìn)行劃分，并對(duì)深度為2且尺寸為N_2×N_2的編碼單元960重復(fù)執(zhí)行編碼來(lái)搜索最小編碼誤差。

當(dāng)最大深度是d時(shí)，根據(jù)每個(gè)深度的劃分操作可被執(zhí)行直到深度變成d-1時(shí)，并且劃分信息可被編碼直到深度是0到d-2之一時(shí)。換句話說(shuō)，當(dāng)編碼被執(zhí)行直到在與d-2的深度相應(yīng)的編碼單元在操作970中被劃分之后深度是d-1時(shí)，用于對(duì)深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元990可包括以下分區(qū)模式的分區(qū)：尺寸為2N_(d-1)×2N_(d-1)的分區(qū)模式992、尺寸為2N_(d-1)×N_(d-1)的分區(qū)模式994、尺寸為N_(d-1)×2N_(d-1)的分區(qū)模式996和尺寸為N_(d-1)×N_(d-1)的分區(qū)模式998。

可對(duì)分區(qū)模式之中的尺寸為2N_(d-1)×2N_(d-1)的一個(gè)分區(qū)、尺寸為2N_(d-1)×N_(d-1)的兩個(gè)分區(qū)、尺寸為N_(d-1)×2N_(d-1)的兩個(gè)分區(qū)、尺寸為N_(d-1)×N_(d-1)的四個(gè)分區(qū)重復(fù)地執(zhí)行預(yù)測(cè)編碼，以搜索具有最小編碼誤差的分區(qū)模式。

即使當(dāng)分區(qū)模式998具有最小編碼誤差時(shí)，由于最大深度是d，因此深度為d-1的編碼單元CU_(d-1)不再被劃分到更低深度，用于構(gòu)成當(dāng)前最大編碼單元900的編碼單元的深度被確定為d-1，并且當(dāng)前最大編碼單元900的分區(qū)模式可被確定為N_(d-1)×N_(d-1)。此外，由于最大深度是d，因此不設(shè)置針對(duì)深度為d-1的編碼單元952的劃分信息。

數(shù)據(jù)單元999可以是用于當(dāng)前最大編碼單元的“最小單元”。根據(jù)各種實(shí)施例的最小單元可以是通過(guò)將具有最低深度的最小編碼單元?jiǎng)澐殖?份而獲得的正方形數(shù)據(jù)單元。通過(guò)重復(fù)地執(zhí)行編碼，根據(jù)各種實(shí)施例的視頻編碼設(shè)備100可通過(guò)比較根據(jù)編碼單元900的深度的編碼誤差來(lái)選擇具有最小編碼誤差的深度以確定深度，并將相應(yīng)分區(qū)模式和預(yù)測(cè)模式設(shè)置為深度的編碼模式。

這樣，在所有深度1至d中對(duì)根據(jù)深度的最小編碼誤差進(jìn)行比較，并且具有最小編碼誤差的深度可被確定為深度。該深度、預(yù)測(cè)單元的分區(qū)模式和預(yù)測(cè)模式可作為劃分信息被編碼并被發(fā)送。此外，由于編碼單元從0的深度被劃分到該深度，因此僅將該深度的劃分信息設(shè)置為0，并且將除了該深度以外的深度的劃分信息設(shè)置為1。

根據(jù)各種實(shí)施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關(guān)于編碼單元900的深度和預(yù)測(cè)單元的信息，以對(duì)分區(qū)912進(jìn)行解碼。根據(jù)各種實(shí)施例的視頻解碼設(shè)備200可通過(guò)使用根據(jù)深度的劃分信息，將劃分信息為0的深度確定為深度，并且使用相應(yīng)深度的劃分信息來(lái)進(jìn)行解碼。

圖17至圖19是用于描述根據(jù)各種實(shí)施例的在編碼單元、預(yù)測(cè)單元和變換單元之間的關(guān)系的示圖。

編碼單元1010是最大編碼單元中的根據(jù)由根據(jù)各種實(shí)施例的視頻編碼設(shè)備100確定的深度的具有樹(shù)結(jié)構(gòu)的編碼單元。預(yù)測(cè)單元1060是根據(jù)深度的每個(gè)編碼單元的預(yù)測(cè)單元的分區(qū)，變換單元1070是根據(jù)深度的每個(gè)編碼單元的變換單元。

當(dāng)在編碼單元1010中最大編碼單元的深度是0時(shí)，編碼單元1012和1054的深度是1，編碼單元1014、1016、1018、1028、1050和1052的深度是2，編碼單元1020、1022、1024、1026、1030、1032和1048的深度是3，編碼單元1040、1042、1044和1046的深度是4。

在預(yù)測(cè)單元1060中，通過(guò)劃分編碼單元1010中的編碼單元來(lái)獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052和1054。換句話說(shuō)，編碼單元1014、1022、1050和1054中的分區(qū)模式的尺寸是2N×N，編碼單元1016、1048和1052中的分區(qū)模式的尺寸是N×2N，編碼單元1032的分區(qū)模式的尺寸為N×N。編碼單元1010的預(yù)測(cè)單元和分區(qū)小于或等于每個(gè)編碼單元。

在小于編碼單元1052的數(shù)據(jù)單元中的變換單元1070中，對(duì)編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或逆變換。此外，在尺寸和形狀方面，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052不同于預(yù)測(cè)單元1060中的編碼單元1014、1016、1022、1032、1048、1050和1052。換句話說(shuō)，根據(jù)各種實(shí)施例的視頻編碼設(shè)備100和視頻解碼設(shè)備200可對(duì)同一編碼單元中的數(shù)據(jù)單元獨(dú)立地執(zhí)行幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、變換和逆變換。

因此，對(duì)最大編碼單元的每個(gè)區(qū)域中的具有分層結(jié)構(gòu)的每個(gè)編碼單元遞歸地執(zhí)行編碼來(lái)確定最優(yōu)編碼單元，從而可獲得具有遞歸樹(shù)結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于編碼單元的劃分信息、關(guān)于分區(qū)模式的信息、關(guān)于預(yù)測(cè)模式的信息和關(guān)于變換單元的尺寸的信息。表1示出可由根據(jù)各種示例性實(shí)施例的視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。

[表1]

根據(jù)各種實(shí)施例的視頻編碼設(shè)備100的輸出單元130可輸出關(guān)于具有樹(shù)結(jié)構(gòu)的編碼單元的編碼信息，根據(jù)各種實(shí)施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可從接收到的比特流提取關(guān)于具有樹(shù)結(jié)構(gòu)的編碼單元的編碼信息。

劃分信息指示是否將當(dāng)前編碼單元?jiǎng)澐殖筛蜕疃鹊木幋a單元。如果當(dāng)前深度d的劃分信息是0，則當(dāng)前編碼單元不再被劃分成更低深度的深度是深度，從而可針對(duì)深度來(lái)定義關(guān)于分區(qū)模式、預(yù)測(cè)模式和變換單元的尺寸的信息。如果當(dāng)前編碼單元根據(jù)劃分信息被進(jìn)一步劃分，則對(duì)更低深度的四個(gè)劃分編碼單元獨(dú)立地執(zhí)行編碼。

預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳過(guò)模式中的一種?？稍谒蟹謪^(qū)模式中定義幀內(nèi)模式和幀間模式，可僅在尺寸為2N×2N的分區(qū)模式中定義跳過(guò)模式。

關(guān)于分區(qū)模式的信息可指示通過(guò)對(duì)稱地劃分預(yù)測(cè)單元的高度或?qū)挾榷@得的尺寸為2N×2N、2N×N、N×2N和N×N的對(duì)稱分區(qū)模式，以及通過(guò)非對(duì)稱地劃分預(yù)測(cè)單元的高度或?qū)挾榷@得的尺寸為2N×nU、2N×nD、nL×2N和nR×2N的非對(duì)稱分區(qū)模式?？赏ㄟ^(guò)按1:3和3:1來(lái)劃分預(yù)測(cè)單元的高度來(lái)分別獲得尺寸為2N×nU和2N×nD的非對(duì)稱分區(qū)模式，可通過(guò)按1:3和3:1來(lái)劃分預(yù)測(cè)單元的寬度來(lái)分別獲得尺寸為nL×2N和nR×2N的非對(duì)稱分區(qū)模式。

可將變換單元的尺寸設(shè)置成幀內(nèi)模式下的兩種類型和幀間模式下的兩種類型。換句話說(shuō)，如果變換單元的劃分信息是0，則變換單元的尺寸可以是2N×2N，即當(dāng)前編碼單元的尺寸。如果變換單元的劃分信息是1，則可通過(guò)對(duì)當(dāng)前編碼單元進(jìn)行劃分來(lái)獲得變換單元。此外，如果尺寸為2N×2N的當(dāng)前編碼單元的分區(qū)模式是對(duì)稱分區(qū)模式，則變換單元的尺寸可被設(shè)置為N×N，如果當(dāng)前編碼單元的分區(qū)類型是非對(duì)稱分區(qū)模式，則變換單元的尺寸可以是N/2×N/2。

根據(jù)各種實(shí)施例，關(guān)于具有樹(shù)結(jié)構(gòu)的編碼單元的編碼信息可包括與深度相應(yīng)的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。與深度相應(yīng)的編碼單元可包括包含相同編碼信息的預(yù)測(cè)單元和最小單元中的至少一個(gè)。

因此，通過(guò)比較鄰近數(shù)據(jù)單元的編碼信息來(lái)確定鄰近數(shù)據(jù)單元是否被包括在與深度相應(yīng)的同一編碼單元中。此外，通過(guò)使用數(shù)據(jù)單元的編碼信息來(lái)確定與深度相應(yīng)的相應(yīng)編碼單元，并因此可確定最大編碼單元中的深度的分布。

因此，如果基于鄰近數(shù)據(jù)單元的編碼信息來(lái)對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)，則可直接參考并使用與當(dāng)前編碼單元鄰近的較深層編碼單元中的數(shù)據(jù)單元的編碼信息。

可選擇地，如果基于鄰近數(shù)據(jù)單元的編碼信息來(lái)對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)，則使用數(shù)據(jù)單元的編碼信息來(lái)搜索與當(dāng)前編碼單元鄰近的數(shù)據(jù)單元，并可參考搜索到的鄰近編碼單元來(lái)對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)。

圖20是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測(cè)單元和變換單元之間的關(guān)系的示圖。

最大編碼單元1300包括多個(gè)深度的編碼單元1302、1304、1306、1312、1314、1316和1318。這里，由于編碼單元1318是具有深度的編碼單元，因此劃分信息可被設(shè)置成0?？蓪㈥P(guān)于尺寸為2N×2N的編碼單元1318的分區(qū)模式的信息設(shè)置成以下分區(qū)模式中的一種：尺寸為2N×2N的分區(qū)模式1322、尺寸為2N×N的分區(qū)模式1324、尺寸為N×2N的分區(qū)模式1326、尺寸為N×N的分區(qū)模式1328、尺寸為2N×nU的分區(qū)模式1332、尺寸為2N×nD的分區(qū)模式1334、尺寸為nL×2N的分區(qū)模式1336和尺寸為nR×2N的分區(qū)模式1338。

變換單元的劃分信息(TU尺寸標(biāo)記)是一種類型的變換索引。與變換索引相應(yīng)的變換單元的尺寸可根據(jù)編碼單元的預(yù)測(cè)單元類型或分區(qū)模式而改變。

例如，當(dāng)分區(qū)模式被設(shè)置為對(duì)稱(即，分區(qū)模式1322、1324、1326或1328)時(shí)，如果變換單元的TU尺寸標(biāo)記是0，則設(shè)置尺寸為2N×2N的變換單元1342，如果TU尺寸標(biāo)記是1，則設(shè)置尺寸為N×N的變換單元1344。

當(dāng)分區(qū)模式被設(shè)置成非對(duì)稱(即，分區(qū)模式1332、1334、1336或1338)時(shí)，如果TU尺寸標(biāo)記是0，則設(shè)置尺寸為2N×2N的變換單元1352，如果TU尺寸標(biāo)記是1，則設(shè)置尺寸為N/2×N/2的變換單元1354。

參照?qǐng)D19，TU尺寸標(biāo)記是具有值0或1的標(biāo)志，但是根據(jù)一些示例性實(shí)施例的TU尺寸標(biāo)記不限于1比特，并且變換單元可在TU尺寸標(biāo)記從0增加時(shí)被分層劃分為具有樹(shù)結(jié)構(gòu)。變換單元的劃分信息(TU尺寸標(biāo)記)可以是變換索引的示例。

在這種情況下，可通過(guò)使用根據(jù)各種實(shí)施例的變換單元的TU尺寸標(biāo)記以及變換單元的最大尺寸和最小尺寸來(lái)表示實(shí)際上已使用的變換單元的尺寸。根據(jù)各種實(shí)施例的視頻編碼設(shè)備100能夠?qū)ψ畲笞儞Q單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記進(jìn)行編碼。對(duì)最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記進(jìn)行編碼的結(jié)果可被插入SPS。根據(jù)各種實(shí)施例的視頻解碼設(shè)備200可通過(guò)使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記來(lái)對(duì)視頻進(jìn)行解碼。

例如，(a)如果當(dāng)前編碼單元的尺寸是64×64并且最大變換單元尺寸是32×32，則(a-1)當(dāng)TU尺寸標(biāo)記為0時(shí)，變換單元的尺寸可以是32×32，(a-2)當(dāng)TU尺寸標(biāo)記為1時(shí)，變換單元的尺寸可以是16×16，(a-3)當(dāng)TU尺寸標(biāo)記為2時(shí)，變換單元的尺寸可以是8×8。

作為另一示例，(b)如果當(dāng)前編碼單元的尺寸是32×32并且最小變換單元尺寸是32×32，則(b-1)當(dāng)TU尺寸標(biāo)記為0時(shí)，變換單元的尺寸可以是32×32。這里，由于變換單元的尺寸不能夠小于32×32，因此TU尺寸標(biāo)記不能夠被設(shè)置為除了0以外的值。

作為另一示例，(c)如果當(dāng)前編碼單元的尺寸是64×64并且最大TU尺寸標(biāo)記為1，則TU尺寸標(biāo)記可以是0或1。這里，TU尺寸標(biāo)記不能夠被設(shè)置為除了0或1以外的值。

因此，如果定義最大TU尺寸標(biāo)記為“MaxTransformSizeIndex”，最小變換單元尺寸為“MinTransformSize”，并且當(dāng)TU尺寸標(biāo)記為0時(shí)的變換單元尺寸為“RootTuSize”，則可通過(guò)等式(1)來(lái)定義可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”：

CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))

…(1)

與可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”相比，當(dāng)TU尺寸標(biāo)記為0時(shí)的變換單元尺寸“RootTuSize”可指示可在系統(tǒng)中選擇的最大變換單元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”指示當(dāng)TU尺寸標(biāo)記為0時(shí)，變換單元尺寸“RootTuSize”被劃分了與最大TU尺寸標(biāo)記相應(yīng)的次數(shù)時(shí)的變換單元尺寸，“MinTransformSize”指示最小變換尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中較小的值可以是可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”。

根據(jù)各種實(shí)施例，最大變換單元尺寸RootTuSize可根據(jù)預(yù)測(cè)模式的類型而改變。

例如，如果當(dāng)前預(yù)測(cè)模式是幀間模式，則可通過(guò)使用以下的等式(2)來(lái)確定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大變換單元尺寸，“PUSize”指示當(dāng)前預(yù)測(cè)單元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize)……(2)

也就是說(shuō)，如果當(dāng)前預(yù)測(cè)模式是幀間模式，則當(dāng)TU尺寸標(biāo)記為0時(shí)的變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前預(yù)測(cè)單元尺寸中較小的值。

如果當(dāng)前分區(qū)單元的預(yù)測(cè)模式是幀內(nèi)模式，則可通過(guò)使用以下的等式(3)來(lái)確定“RootTuSize”。在等式(3)中，“PartitionSize”指示當(dāng)前分區(qū)單元的尺寸：

RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)

也就是說(shuō)，如果當(dāng)前預(yù)測(cè)模式是幀內(nèi)模式，則當(dāng)TU尺寸標(biāo)記為0時(shí)的變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸之中較小的值。

然而，根據(jù)分區(qū)單元中的預(yù)測(cè)模式的類型而改變的當(dāng)前最大變換單元尺寸“RootTuSize”僅是示例，并且本公開(kāi)不限于此。

根據(jù)參照?qǐng)D8至圖20描述的基于具有樹(shù)結(jié)構(gòu)的編碼單元的視頻編碼方法，可針對(duì)樹(shù)結(jié)構(gòu)的每個(gè)編碼單元對(duì)空間域的圖像數(shù)據(jù)進(jìn)行編碼。根據(jù)基于具有樹(shù)結(jié)構(gòu)的編碼單元的視頻解碼方法，對(duì)每個(gè)最大編碼單元執(zhí)行解碼來(lái)重建空間域的圖像數(shù)據(jù)。因此，畫(huà)面和作為畫(huà)面序列的視頻可被重建。重建的視頻可由再現(xiàn)設(shè)備來(lái)再現(xiàn)，可存儲(chǔ)在存儲(chǔ)介質(zhì)中，或可通過(guò)網(wǎng)絡(luò)來(lái)發(fā)送。

根據(jù)本公開(kāi)的實(shí)施例可被編寫(xiě)為計(jì)算機(jī)程序，并可實(shí)現(xiàn)在使用計(jì)算機(jī)可讀記錄介質(zhì)執(zhí)行程序的通用數(shù)字計(jì)算機(jī)中。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤(pán)、硬盤(pán)等)和光學(xué)記錄介質(zhì)(例如，CD-ROM或DVD)等。

為便于描述，以上參照?qǐng)D1a至圖20描述的層間視頻編碼方法和/或視頻編碼方法將被統(tǒng)稱為“本公開(kāi)的視頻編碼方法”。此外，以上參照?qǐng)D1a至圖20描述的層間視頻解碼方法和/或視頻解碼方法將被稱為“本公開(kāi)的視頻解碼方法”。

此外，已參照?qǐng)D1a至圖20描述的包括層間視頻編碼設(shè)備10、視頻編碼設(shè)備100或圖像編碼器400的視頻編碼設(shè)備將被稱為“本公開(kāi)的視頻編碼設(shè)備”。此外，已參照?qǐng)D1a至圖20描述的包括層間視頻解碼設(shè)備40、視頻解碼設(shè)備200或圖像解碼器500的視頻解碼設(shè)備將被稱為“本公開(kāi)的視頻解碼設(shè)備”。

現(xiàn)在將詳細(xì)描述根據(jù)各種實(shí)施例的存儲(chǔ)程序的計(jì)算機(jī)可讀記錄介質(zhì)(例如，盤(pán)26000)。

圖21是根據(jù)各種實(shí)施例的存儲(chǔ)程序的盤(pán)26000的物理結(jié)構(gòu)的示圖。作為存儲(chǔ)介質(zhì)的盤(pán)26000可以是硬盤(pán)驅(qū)動(dòng)器、致密盤(pán)只讀存儲(chǔ)器(CD-ROM)盤(pán)、藍(lán)光盤(pán)或數(shù)字多功能盤(pán)(DVD)。盤(pán)26000包括多個(gè)同心磁道Tr，每個(gè)同心磁道Tr沿盤(pán)26000的圓周方向被劃分成特定數(shù)量的扇區(qū)Se。在根據(jù)各種實(shí)施例的盤(pán)26000的特定區(qū)域中，可分配并存儲(chǔ)執(zhí)行以上所描述的量化參數(shù)確定方法、視頻編碼方法和視頻解碼方法的程序。

現(xiàn)在將參照?qǐng)D22來(lái)描述使用存儲(chǔ)用于執(zhí)行如上所述的視頻編碼方法和視頻解碼方法的程序的存儲(chǔ)介質(zhì)來(lái)實(shí)現(xiàn)的計(jì)算機(jī)系統(tǒng)。

圖22是通過(guò)使用盤(pán)26000來(lái)記錄并讀取程序的盤(pán)驅(qū)動(dòng)器26800的示圖。計(jì)算機(jī)系統(tǒng)27000可經(jīng)由盤(pán)驅(qū)動(dòng)器26800將執(zhí)行本公開(kāi)的視頻編碼方法和視頻解碼方法中的至少一個(gè)的程序存儲(chǔ)在盤(pán)26000中。為了在計(jì)算機(jī)系統(tǒng)27000中運(yùn)行存儲(chǔ)在盤(pán)26000中的程序，可通過(guò)使用盤(pán)驅(qū)動(dòng)器27000從盤(pán)26000讀取程序并將程序發(fā)送到計(jì)算機(jī)系統(tǒng)26700。

執(zhí)行本公開(kāi)的視頻編碼方法和視頻解碼方法中的至少一個(gè)的程序不僅可被存儲(chǔ)在圖21或圖22中示出的盤(pán)26000中，還可被存儲(chǔ)在存儲(chǔ)卡、ROM卡帶或固態(tài)驅(qū)動(dòng)器(SSD)中。

以下將描述應(yīng)用以上所描述的視頻編碼方法和視頻解碼方法的系統(tǒng)。

圖23是用于提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)11000的整體結(jié)構(gòu)的示圖。將通信系統(tǒng)的服務(wù)區(qū)域劃分成預(yù)定尺寸的小區(qū)，并將無(wú)線基站11700、11800、11900和12000分別安裝在這些小區(qū)中。

內(nèi)容供應(yīng)系統(tǒng)11000包括多個(gè)獨(dú)立裝置。例如，諸如計(jì)算機(jī)12100、個(gè)人數(shù)字助理(PDA)12200、視頻相機(jī)12300和移動(dòng)電話12500的多個(gè)獨(dú)立裝置經(jīng)由互聯(lián)網(wǎng)服務(wù)提供器11200、通信網(wǎng)絡(luò)11400和無(wú)線基站11700、11800、11900和12000連接到互聯(lián)網(wǎng)11100。

然而，內(nèi)容供應(yīng)系統(tǒng)11000不限于如圖24中所示，并且裝置可選擇性地被連接到內(nèi)容供應(yīng)系統(tǒng)11000。多個(gè)獨(dú)立裝置可不經(jīng)由無(wú)線基站11700、11800、11900和12000而直接連接到通信網(wǎng)絡(luò)11400。

視頻相機(jī)12300是能夠捕捉視頻圖像的成像裝置，例如，數(shù)字視頻相機(jī)。移動(dòng)電話12500可利用各種協(xié)議(例如，個(gè)人數(shù)字通信(PDC)、碼分多址(CDMA)、寬帶碼分多址(W-CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)和個(gè)人手持電話系統(tǒng)(PHS))中的至少一種通信方法。

視頻相機(jī)12300可經(jīng)由無(wú)線基站11900和通信網(wǎng)絡(luò)11400連接到流服務(wù)器11300。流服務(wù)器11300允許經(jīng)由視頻相機(jī)12300從用戶接收到的內(nèi)容經(jīng)由實(shí)時(shí)廣播被流傳輸?？墒褂靡曨l相機(jī)12300或流服務(wù)器11300來(lái)對(duì)從視頻相機(jī)12300接收到的內(nèi)容進(jìn)行編碼。通過(guò)視頻相機(jī)12300捕捉到的視頻數(shù)據(jù)可經(jīng)由計(jì)算機(jī)12100被發(fā)送到流服務(wù)器11300。

通過(guò)相機(jī)12600捕捉到的視頻數(shù)據(jù)也可經(jīng)由計(jì)算機(jī)12100被發(fā)送到流服務(wù)器11300。與數(shù)碼相機(jī)類似，相機(jī)12600是能夠捕捉靜止圖像和視頻圖像兩者的成像裝置?？墒褂孟鄼C(jī)12600或計(jì)算機(jī)12100對(duì)通過(guò)相機(jī)12600捕捉到的視頻數(shù)據(jù)進(jìn)行編碼。可將對(duì)視頻執(zhí)行編碼和解碼的軟件可存儲(chǔ)在可由計(jì)算機(jī)12100訪問(wèn)的計(jì)算機(jī)可讀記錄介質(zhì)(例如，CD-ROM盤(pán)、軟盤(pán)、硬盤(pán)驅(qū)動(dòng)器、SSD或存儲(chǔ)卡)中。

如果視頻數(shù)據(jù)通過(guò)內(nèi)置在移動(dòng)電話12500中的相機(jī)被捕捉到，則可從移動(dòng)電話12500接收視頻數(shù)據(jù)。

還可通過(guò)安裝在視頻相機(jī)12300、移動(dòng)電話12500或相機(jī)12600中的大規(guī)模集成電路(LSI)系統(tǒng)來(lái)對(duì)視頻數(shù)據(jù)進(jìn)行編碼。

根據(jù)各種實(shí)施例的內(nèi)容供應(yīng)系統(tǒng)11000可對(duì)由用戶使用視頻相機(jī)12300、相機(jī)12600、移動(dòng)電話12500或另一成像裝置所記錄的內(nèi)容數(shù)據(jù)(例如，在音樂(lè)會(huì)期間記錄的內(nèi)容)進(jìn)行編碼，并將編碼后的內(nèi)容數(shù)據(jù)發(fā)送到流服務(wù)器11300。流服務(wù)器11300可將流傳輸內(nèi)容的類型的編碼后的內(nèi)容數(shù)據(jù)發(fā)送到請(qǐng)求內(nèi)容數(shù)據(jù)的其它客戶端。

客戶端是能夠?qū)幋a后的內(nèi)容數(shù)據(jù)進(jìn)行解碼的裝置，例如，計(jì)算機(jī)12100、PDA 12200、視頻相機(jī)12300或移動(dòng)電話12500。因此，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收并再現(xiàn)編碼后的內(nèi)容數(shù)據(jù)。此外，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端實(shí)時(shí)接收編碼后的內(nèi)容數(shù)據(jù)并對(duì)編碼后的內(nèi)容數(shù)據(jù)進(jìn)行解碼和再現(xiàn)，從而能夠進(jìn)行個(gè)人廣播。

包括在內(nèi)容供應(yīng)系統(tǒng)11000中的多個(gè)獨(dú)立裝置的編碼和解碼操作可類似于本公開(kāi)的視頻編碼設(shè)備和視頻解碼設(shè)備的編碼和解碼操作。

現(xiàn)在將參照?qǐng)D24和圖25更加詳細(xì)地描述包括在根據(jù)實(shí)施例的內(nèi)容供應(yīng)系統(tǒng)11000中的移動(dòng)電話12500。

圖24示出根據(jù)各種實(shí)施例的應(yīng)用本公開(kāi)的視頻編碼方法和視頻解碼方法的移動(dòng)電話12500的外部結(jié)構(gòu)。移動(dòng)電話12500可以是智能電話，所述智能電話的功能不受限，并且所述智能電話的大多數(shù)功能可被改變或擴(kuò)展。

移動(dòng)電話12500包括可與圖21的無(wú)線基站12000交換射頻(RF)信號(hào)的內(nèi)部天線12510，并包括用于顯示由相機(jī)12530捕捉到的圖像或經(jīng)由天線12510接收到的并被解碼的圖像的顯示屏12520(例如，液晶顯示器(LCD)或有機(jī)發(fā)光二極管(OLED)屏幕)。移動(dòng)電話12500包括包含有控制按鈕和觸摸面板的操作面板12540。如果顯示屏12520是觸摸屏，則操作面板12540還包括顯示屏12520的觸摸感測(cè)面板。移動(dòng)電話12500包括用于輸出語(yǔ)音和聲音的揚(yáng)聲器12580或另一類型的聲音輸出單元、以及用于輸入語(yǔ)音和聲音的麥克風(fēng)12550或另一類型的聲音輸入單元。移動(dòng)電話12500還包括用于捕捉視頻和靜止圖像的相機(jī)12530，諸如電荷耦合器件(CCD)相機(jī)。移動(dòng)電話12500還可包括：存儲(chǔ)介質(zhì)12570，用于存儲(chǔ)編碼/解碼數(shù)據(jù)(例如，通過(guò)相機(jī)12530捕捉到的、經(jīng)由電子郵件接收到的、或根據(jù)各種方式獲得的視頻或靜止圖像)；插槽12560，存儲(chǔ)介質(zhì)12570經(jīng)由插槽12560被裝入移動(dòng)電話12500中。存儲(chǔ)介質(zhì)12570可以是閃存，例如，包括在塑料殼中的安全數(shù)字(SD)卡或電可擦除可編程只讀存儲(chǔ)器(EEPROM)。

圖25示出移動(dòng)電話12500的內(nèi)部結(jié)構(gòu)。為了系統(tǒng)地控制包括顯示屏12520和操作面板12540的移動(dòng)電話12500的部件，供電電路12700、操作輸入控制器12640、圖像編碼單元12720、相機(jī)接口12630、LCD控制器12620、圖像解碼單元12690、復(fù)用器/解復(fù)用器12680、記錄/讀取單元12670、調(diào)制/解調(diào)單元12660和聲音處理器12650經(jīng)由同步總線12730被連接到中央控制器12710。

如果用戶操作電源按鈕，并從“電源關(guān)閉”狀態(tài)設(shè)置為“電源開(kāi)啟”狀態(tài)，則供電電路12700從電池組向移動(dòng)電話12500的所有部件供電，從而將移動(dòng)電話12500設(shè)置為處于操作模式。

中央控制器12710包括中央處理器(CPU)、ROM和RAM。

在移動(dòng)電話12500將通信數(shù)據(jù)發(fā)送到外部的同時(shí)，在中央控制器12710的控制下，由移動(dòng)電話12500產(chǎn)生數(shù)字信號(hào)。例如，聲音處理器12650可產(chǎn)生數(shù)字聲音信號(hào)，圖像編碼單元12720可產(chǎn)生數(shù)字圖像信號(hào)，并且消息的文本數(shù)據(jù)可經(jīng)由操作面板12540和操作輸入控制器12640被產(chǎn)生。當(dāng)數(shù)字信號(hào)在中央控制器12710的控制下被發(fā)送到調(diào)制/解調(diào)單元12660時(shí)，調(diào)制/解調(diào)單元12660對(duì)數(shù)字信號(hào)的頻帶進(jìn)行調(diào)制，并且通信電路12610對(duì)頻帶調(diào)制后的數(shù)字聲音信號(hào)執(zhí)行數(shù)模轉(zhuǎn)換(DAC)和頻率轉(zhuǎn)換。從通信電路12610輸出的發(fā)送信號(hào)可經(jīng)由天線12510被發(fā)送到語(yǔ)音通信基站或無(wú)線基站12000。

例如，當(dāng)移動(dòng)電話12500處于通話模式時(shí)，在中央控制器12710的控制下，經(jīng)由麥克風(fēng)12550獲得的聲音信號(hào)通過(guò)聲音處理器12650被變換成數(shù)字聲音信號(hào)。數(shù)字聲音信號(hào)可經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610被變換成變換信號(hào)，并可經(jīng)由天線12510被發(fā)送。

當(dāng)文本消息(例如，電子郵件)在數(shù)據(jù)通信模式下被發(fā)送時(shí)，文本消息的文本數(shù)據(jù)經(jīng)由操作面板12540被輸入，并經(jīng)由操作輸入控制器12640被發(fā)送到中央控制器12610。在中央控制器12610的控制下，文本數(shù)據(jù)經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610被變換成發(fā)送信號(hào)，并經(jīng)由天線12510被發(fā)送到無(wú)線基站12000。

為了在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)，由相機(jī)12530捕捉到的圖像數(shù)據(jù)經(jīng)由相機(jī)接口12630被提供給圖像編碼單元12720。捕捉到的圖像數(shù)據(jù)可經(jīng)由相機(jī)接口12630和LCD控制器12620被直接顯示在顯示屏12520上。

圖像編碼單元12720的結(jié)構(gòu)可與上述視頻編碼設(shè)備100的結(jié)構(gòu)相應(yīng)。圖像編碼單元12720可根據(jù)上述視頻編碼方法，將從相機(jī)12530接收到的圖像數(shù)據(jù)變換為壓縮和編碼后的圖像數(shù)據(jù)，并隨后將編碼后的圖像數(shù)據(jù)輸出到復(fù)用器/解復(fù)用器12680。在相機(jī)12530的記錄操作期間，由移動(dòng)電話12500的麥克風(fēng)12550獲得的聲音信號(hào)可經(jīng)由聲音處理器12650被變換成數(shù)字聲音數(shù)據(jù)，并且數(shù)字聲音數(shù)據(jù)可被發(fā)送到復(fù)用器/解復(fù)用器12680。

復(fù)用器/解復(fù)用器12680對(duì)從圖像編碼單元12720接收到的編碼后的圖像數(shù)據(jù)與從聲音處理器12650接收到的聲音數(shù)據(jù)一起進(jìn)行復(fù)用。對(duì)數(shù)據(jù)進(jìn)行復(fù)用的結(jié)果可經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610被變換成發(fā)送信號(hào)，然后可經(jīng)由天線12510被發(fā)送。

當(dāng)移動(dòng)電話12500從外部接收到通信數(shù)據(jù)時(shí)，可對(duì)經(jīng)由天線12510接收到的信號(hào)執(zhí)行頻率恢復(fù)和ADC以將信號(hào)變換成數(shù)字信號(hào)。調(diào)制/解調(diào)單元12660對(duì)數(shù)字信號(hào)的頻帶進(jìn)行調(diào)制。根據(jù)頻帶調(diào)制后的數(shù)字信號(hào)的類型，將所述數(shù)字信號(hào)發(fā)送到視頻解碼單元12690、聲音處理器12650或LCD控制器12620。

在通話模式下，移動(dòng)電話12500對(duì)經(jīng)由天線12510接收到的信號(hào)進(jìn)行放大，并通過(guò)對(duì)放大后的信號(hào)執(zhí)行頻率轉(zhuǎn)換和ADC來(lái)獲得數(shù)字聲音信號(hào)。在中央控制器12710的控制下，接收到的數(shù)字聲音信號(hào)經(jīng)由調(diào)制/解調(diào)單元12660和聲音處理器12650被變換成模擬聲音信號(hào)，并且模擬聲音信號(hào)經(jīng)由揚(yáng)聲器12580被輸出。

當(dāng)在數(shù)據(jù)通信模式下時(shí)，接收在互聯(lián)網(wǎng)網(wǎng)站上訪問(wèn)的視頻文件的數(shù)據(jù)，經(jīng)由調(diào)制/解調(diào)單元12660將經(jīng)由天線12510從無(wú)線基站12000接收到的信號(hào)輸出為復(fù)用數(shù)據(jù)，并將復(fù)用數(shù)據(jù)發(fā)送到復(fù)用器/解復(fù)用器12680。

為了對(duì)經(jīng)由天線12510接收到的復(fù)用數(shù)據(jù)進(jìn)行解碼，復(fù)用器/解復(fù)用器12680將復(fù)用數(shù)據(jù)解復(fù)用成編碼后的視頻數(shù)據(jù)流和編碼后的音頻數(shù)據(jù)流。經(jīng)由同步總線12730，編碼后的視頻數(shù)據(jù)流和編碼后的音頻數(shù)據(jù)流分別被提供給視頻解碼單元12690和聲音處理器12650。

圖像解碼單元12690的結(jié)構(gòu)可與上述視頻解碼設(shè)備200的結(jié)構(gòu)相應(yīng)。圖像解碼單元12690可根據(jù)由上述視頻解碼設(shè)備200或圖像解碼器500采用的視頻解碼方法，對(duì)編碼后的視頻數(shù)據(jù)進(jìn)行解碼來(lái)獲得重建的視頻數(shù)據(jù)，并經(jīng)由LCD控制器12620將重建的視頻數(shù)據(jù)提供給顯示屏12520。

因此，可將在互聯(lián)網(wǎng)網(wǎng)站上訪問(wèn)的視頻文件的數(shù)據(jù)顯示在顯示屏12520上。同時(shí)，聲音處理器12650可將音頻數(shù)據(jù)變換成模擬聲音信號(hào)，并將模擬聲音信號(hào)提供給揚(yáng)聲器12580。因此，也可經(jīng)由揚(yáng)聲器12580再現(xiàn)在互聯(lián)網(wǎng)網(wǎng)站上訪問(wèn)的視頻文件中包含的音頻數(shù)據(jù)。

移動(dòng)電話12500或另一類型的通信終端可以是包括本公開(kāi)的視頻編碼設(shè)備和視頻解碼設(shè)備兩者的收發(fā)終端，可以是僅包括視頻編碼設(shè)備的收發(fā)終端，或者可以是僅包括視頻解碼設(shè)備的收發(fā)終端。

根據(jù)本公開(kāi)的通信系統(tǒng)不限于以上參照?qǐng)D24描述的通信系統(tǒng)。例如，圖26示出根據(jù)各種實(shí)施例的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。根據(jù)各種實(shí)施例的圖26的數(shù)字廣播系統(tǒng)可通過(guò)使用本公開(kāi)的視頻編碼設(shè)備和視頻解碼設(shè)備來(lái)接收經(jīng)由衛(wèi)星或地面網(wǎng)絡(luò)發(fā)送的數(shù)字廣播。

具體地，廣播站12890通過(guò)使用無(wú)線電波將視頻數(shù)據(jù)流發(fā)送到通信衛(wèi)星或廣播衛(wèi)星12900。廣播衛(wèi)星12900發(fā)送廣播信號(hào)，廣播信號(hào)經(jīng)由家用天線12860被發(fā)送到衛(wèi)星廣播接收器。在每個(gè)房屋中，可通過(guò)TV接收器12810、機(jī)頂盒12870或其它裝置對(duì)編碼后的視頻流進(jìn)行解碼和再現(xiàn)。

當(dāng)本公開(kāi)的視頻解碼設(shè)備被實(shí)現(xiàn)在再現(xiàn)設(shè)備12830中時(shí)，再現(xiàn)設(shè)備12830可對(duì)記錄在存儲(chǔ)介質(zhì)12820(諸如盤(pán)或存儲(chǔ)卡)上的編碼后的視頻流進(jìn)行解析和解碼，以重建數(shù)字信號(hào)。因此，可在例如監(jiān)視器12840上再現(xiàn)重建的視頻信號(hào)。

在被連接到用于衛(wèi)星/地面廣播的天線12860或用于接收有線電視(TV)廣播的有線天線12850的機(jī)頂盒12870中，可安裝本公開(kāi)的視頻解碼設(shè)備。從機(jī)頂盒12870輸出的數(shù)據(jù)也可被再現(xiàn)在TV監(jiān)視器12880上。

作為另一示例，可將本公開(kāi)的視頻解碼設(shè)備安裝在TV接收器12810中，而不是機(jī)頂盒12870中。

具有合適的天線12910的汽車12920可接收從圖23的衛(wèi)星12900或無(wú)線基站11700發(fā)送的信號(hào)?？稍诎惭b在汽車12920中的汽車導(dǎo)航系統(tǒng)12930的顯示屏上再現(xiàn)解碼后的視頻。

視頻信號(hào)可由本公開(kāi)的視頻編碼設(shè)備來(lái)編碼，然后可被存儲(chǔ)在存儲(chǔ)介質(zhì)中。具體地，可由DVD記錄器將圖像信號(hào)存儲(chǔ)在DVD盤(pán)12960中，或可由硬盤(pán)記錄器12950將圖像信號(hào)存儲(chǔ)在硬盤(pán)中。作為另一示例，可將視頻信號(hào)存儲(chǔ)在SD卡12970中。如果硬盤(pán)記錄器12950包括根據(jù)各種實(shí)施例的本公開(kāi)的視頻解碼設(shè)備，則記錄在DVD盤(pán)12960、SD卡12970或另一存儲(chǔ)介質(zhì)上的視頻信號(hào)可在TV監(jiān)視器12880上被再現(xiàn)。汽車導(dǎo)航系統(tǒng)12930可不包括圖26的相機(jī)12530、相機(jī)接口12630和圖像編碼單元12720。例如，計(jì)算機(jī)12100和TV接收器12810可不包括在圖26的相機(jī)12530、相機(jī)接口12630和圖像編碼單元12720中。

圖27是示出根據(jù)各種實(shí)施例的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)的示圖。

云計(jì)算系統(tǒng)可包括云計(jì)算服務(wù)器14000、用戶數(shù)據(jù)庫(kù)(DB)14100、多個(gè)計(jì)算資源14200和用戶終端。

響應(yīng)于來(lái)自用戶終端的請(qǐng)求，云計(jì)算系統(tǒng)經(jīng)由數(shù)據(jù)通信網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))提供多個(gè)計(jì)算資源14200的點(diǎn)播外包服務(wù)。在云計(jì)算環(huán)境下，服務(wù)提供商通過(guò)使用虛擬化技術(shù)組合位于不同的物理位置的數(shù)據(jù)中心處的計(jì)算資源，為用戶提供想要的服務(wù)。服務(wù)用戶不必將計(jì)算資源(例如，應(yīng)用、存儲(chǔ)器、操作系統(tǒng)(OS)和安全軟件)安裝在他/她自己的終端中以使用它們，但可在想要的時(shí)間點(diǎn)在通過(guò)虛擬化技術(shù)產(chǎn)生的虛擬空間中從服務(wù)中選擇和使用想要的服務(wù)。

指定的服務(wù)用戶的用戶終端經(jīng)由包括互聯(lián)網(wǎng)和移動(dòng)電信網(wǎng)絡(luò)的數(shù)據(jù)通信網(wǎng)絡(luò)被連接到云計(jì)算服務(wù)器14000?？蓮脑朴?jì)算服務(wù)器14000向用戶終端提供云計(jì)算服務(wù)，特別是視頻再現(xiàn)服務(wù)。用戶終端可以是能夠被連接到互聯(lián)網(wǎng)的各種類型的電子裝置，例如，桌上型PC 14300、智能TV 14400、智能電話14500、筆記本計(jì)算機(jī)14600、便攜式多媒體播放器(PMP)14700、平板PC14800等。

云計(jì)算服務(wù)器14000可組合分布在云網(wǎng)絡(luò)中的多個(gè)計(jì)算資源14200，并向用戶終端提供組合的結(jié)果。所述多個(gè)計(jì)算資源14200可包括各種數(shù)據(jù)服務(wù)，并可包括從用戶終端上傳的數(shù)據(jù)。如上所述，云計(jì)算服務(wù)器14000可通過(guò)根據(jù)虛擬化技術(shù)組合分布在不同區(qū)域中的視頻數(shù)據(jù)庫(kù)來(lái)向用戶終端提供想要的服務(wù)。

將關(guān)于已經(jīng)訂購(gòu)云計(jì)算服務(wù)的用戶的用戶信息存儲(chǔ)在用戶DB 14100中。用戶信息可包括用戶的登陸信息、地址、姓名和個(gè)人信用信息。用戶信息還可包括視頻的索引。這里，所述索引可包括已經(jīng)被再現(xiàn)的視頻的列表、正在被再現(xiàn)的視頻的列表、之前正在被再現(xiàn)的視頻的暫停點(diǎn)等。

可在用戶裝置之間共享存儲(chǔ)在用戶DB 14100中的關(guān)于視頻的信息。例如，當(dāng)響應(yīng)于來(lái)自筆記本計(jì)算機(jī)14600的請(qǐng)求將視頻服務(wù)提供給筆記本計(jì)算機(jī)14600時(shí)，視頻服務(wù)的再現(xiàn)歷史被存儲(chǔ)在用戶DB 14100中。當(dāng)從智能電話14500接收到對(duì)于再現(xiàn)此視頻服務(wù)的請(qǐng)求時(shí)，云計(jì)算服務(wù)器14000基于用戶DB 14100搜索并再現(xiàn)此視頻服務(wù)。當(dāng)智能電話14500從云計(jì)算服務(wù)器14000接收到視頻數(shù)據(jù)流時(shí)，通過(guò)對(duì)視頻數(shù)據(jù)流進(jìn)行解碼來(lái)再現(xiàn)視頻的處理與以上參照?qǐng)D24描述的移動(dòng)電話12500的操作類似。

云計(jì)算服務(wù)器14000可參考存儲(chǔ)在用戶DB 14100中的想要的視頻服務(wù)的再現(xiàn)歷史。例如，云計(jì)算服務(wù)器14000從用戶終端接收對(duì)于再現(xiàn)存儲(chǔ)在用戶DB 14100中的視頻的請(qǐng)求。如果此視頻被再現(xiàn)過(guò)，則由云計(jì)算服務(wù)器14000執(zhí)行的對(duì)此視頻進(jìn)行流傳輸?shù)姆椒筛鶕?jù)來(lái)自用戶終端的請(qǐng)求(即，根據(jù)是將從視頻的起點(diǎn)還是從視頻的暫停點(diǎn)開(kāi)始再現(xiàn)視頻)而不同。例如，如果用戶終端請(qǐng)求從視頻的起點(diǎn)開(kāi)始再現(xiàn)視頻，則云計(jì)算服務(wù)器14000將從視頻的第一幀開(kāi)始的視頻的流數(shù)據(jù)發(fā)送到用戶終端。如果用戶終端請(qǐng)求從視頻的暫停點(diǎn)開(kāi)始再現(xiàn)視頻，則云計(jì)算服務(wù)器14000將從與暫停點(diǎn)相應(yīng)的幀開(kāi)始的視頻的流數(shù)據(jù)發(fā)送到用戶終端。

在此情況下，用戶終端可包括以上參照?qǐng)D1a至圖20描述的本公開(kāi)的視頻解碼設(shè)備。作為另一示例，用戶終端可包括以上參照?qǐng)D1a至圖20描述的本公開(kāi)的視頻編碼設(shè)備?？蛇x擇地，用戶終端可包括以上參照?qǐng)D1a至圖20描述的本公開(kāi)的視頻解碼設(shè)備和視頻編碼設(shè)備兩者。

以上參照?qǐng)D21至圖27描述了以上參照?qǐng)D1a至圖20描述的根據(jù)各種實(shí)施例的視頻編碼方法、視頻解碼方法、視頻編碼設(shè)備和視頻解碼設(shè)備的各種應(yīng)用。然而，根據(jù)各種實(shí)施例的將視頻編碼方法和視頻解碼方法存儲(chǔ)在存儲(chǔ)介質(zhì)中的方法或者將視頻編碼設(shè)備和視頻解碼設(shè)備實(shí)現(xiàn)在裝置中的方法不限于以上參照?qǐng)D21至圖27描述的實(shí)施例。

本領(lǐng)域的普通技術(shù)人員將理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可作出形式和細(xì)節(jié)上的各種改變。實(shí)施例應(yīng)僅被看作描述性意義，而不是限制的目的。因此，本發(fā)明的范圍不由本發(fā)明的詳細(xì)描述來(lái)限定，而由權(quán)利要求來(lái)限定，在所述范圍內(nèi)的所有不同將被解釋為包括在本公開(kāi)中。