使用亮度補償?shù)膶娱g視頻編碼方法及其裝置、以及視頻解碼方法及其裝置的制造方法
【專利摘要】提供了一種層間視頻解碼方法。所述層間視頻解碼方法包括：獲得指示第二層當(dāng)前塊是否執(zhí)行亮度補償?shù)牧炼妊a償信息；基于亮度補償信息是否指示亮度補償被執(zhí)行以及第二層當(dāng)前塊的候選是否執(zhí)行時間方向幀間預(yù)測來確定第二層當(dāng)前塊的候選是否可用作合并候選；基于確定的結(jié)果來產(chǎn)生包括至少一個合并候選的合并候選列表；通過使用所述至少一個合并候選中的一個合并候選的運動信息來確定第二層當(dāng)前塊的運動信息。
【專利說明】
使用亮度補償?shù)膶娱g視頻編碼方法及其裝置、以及視頻解碼 方法及其裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種層間視頻編碼方法和解碼方法，更具體地講，涉及一種基于當(dāng)前 塊是否執(zhí)行亮度補償來產(chǎn)生當(dāng)前塊的合并候選列表的方法。
【背景技術(shù)】
[0002] 隨著用于再現(xiàn)和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件正被開發(fā)和提供，對于用 于有效地對高分辨率或高質(zhì)量視頻內(nèi)容進行編碼或解碼的視頻編解碼器的需求正在增加。 根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的編碼單元，根據(jù)受限的編碼方法來對視頻 進行編碼。
[0003] 空間域的圖像數(shù)據(jù)經(jīng)由頻率變換被變換為頻域的系數(shù)。根據(jù)視頻編解碼器，將圖 像劃分為具有預(yù)定尺寸的塊，對每個塊執(zhí)行離散余弦變換(DCT)，并按照塊單元對頻率系數(shù) 進行編碼，以進行頻率變換的快速計算。與空間域的圖像數(shù)據(jù)相比，頻域的系數(shù)容易被壓 縮。具體地，由于根據(jù)經(jīng)由視頻編解碼器的幀間預(yù)測或幀內(nèi)預(yù)測的預(yù)測誤差來表示空間域 的圖像像素值，因此當(dāng)對預(yù)測誤差執(zhí)行頻率變換時，大量數(shù)據(jù)可能被變換為〇。根據(jù)視頻編 解碼器，可通過使用更少量的數(shù)據(jù)來代替連續(xù)并重復(fù)產(chǎn)生的數(shù)據(jù)，從而減少數(shù)據(jù)量。
[0004] 在多層視頻編解碼器中，第一層視頻和至少一個第二層視頻被編碼和解碼。通過 去除時間/空間冗余以及第一層視頻和第二層視頻的層冗余，可減少第一層視頻和第二層 視頻的數(shù)據(jù)量。

【發(fā)明內(nèi)容】

[0005] 技術(shù)問題
[0006] 本發(fā)明的一個或更多個實施例包括一種基于當(dāng)前塊是否執(zhí)行亮度補償來有效產(chǎn) 生當(dāng)前塊的合并候選列表的方法。此外，本發(fā)明的一個或更多個實施例包括一種用于降低 運算復(fù)雜度的層間視頻編碼方法和設(shè)備以及一種層間視頻解碼方法。
[0007] 解決方案
[0008] 根據(jù)本發(fā)明的一個或更多個實施例，一種層間視頻解碼方法包括:獲得指示第二 層當(dāng)前塊是否執(zhí)行亮度補償?shù)牧炼妊a償信息；當(dāng)亮度補償信息指示亮度補償未被執(zhí)行時， 基于與所述當(dāng)前塊相應(yīng)的第一層候選塊是否執(zhí)行幀間預(yù)測來確定指示第一層候選塊是否 可用作合并候選的合并候選可能性信息;基于合并候選可能性信息來產(chǎn)生包括至少一個合 并候選塊的合并候選列表;通過使用所述至少一個合并候選塊中的一個合并候選塊的運動 信息來確定所述當(dāng)前塊的運動信息。
[0009] 有益效果
[0010]通過基于當(dāng)前塊是否執(zhí)行亮度補償有效地產(chǎn)生當(dāng)前塊的合并候選列表，在執(zhí)行層 間視頻編碼/解碼的同時降低了運算的復(fù)雜度。
【附圖說明】
[0011] 圖la是根據(jù)各種實施例的層間視頻編碼設(shè)備10的框圖。
[0012] 圖lb是根據(jù)各種實施例的層間視頻編碼方法的流程圖。
[0013] 圖2a是根據(jù)各種實施例的層間視頻解碼設(shè)備的框圖。
[0014] 圖2b是根據(jù)各種實施例的層間視頻解碼方法的流程圖。
[0015] 圖3用于描述由根據(jù)各種實施例的層間視頻解碼設(shè)備20基于當(dāng)前塊是否執(zhí)行亮度 補償來確定合并候選可能性信息的方法的流程圖。
[0016] 圖4是用于描述根據(jù)各種實施例的與第二層當(dāng)前塊相應(yīng)的第一層候選塊的示例的 示圖。
[0017]圖5示出根據(jù)各種實施例的當(dāng)前塊的空間候選塊。
[0018] 圖6示出根據(jù)實施例的在幀間預(yù)測模式下使用的時間預(yù)測候選。
[0019] 圖7是用于描述根據(jù)各種實施例的基于當(dāng)前塊是否執(zhí)行亮度補償而不將視差矢量 的垂直分量設(shè)置為0的方法的流程圖。
[0020] 圖8是根據(jù)實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖。
[0021] 圖9是根據(jù)實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖。
[0022] 圖10是用于描述根據(jù)實施例的編碼單元的概念的示圖。
[0023] 圖11是根據(jù)實施例的基于編碼單元的圖像編碼器的框圖。
[0024] 圖12是根據(jù)實施例的基于編碼單元的圖像解碼器的框圖。
[0025] 圖13是示出根據(jù)實施例的編碼單元以及分區(qū)的示圖。
[0026] 圖14是用于描述根據(jù)實施例的編碼單元與變換單元之間的關(guān)系的示圖。
[0027] 圖15是用于描述根據(jù)實施例的編碼信息的示圖。
[0028] 圖16是根據(jù)實施例的編碼單元的示圖。
[0029] 圖17至圖19是用于描述根據(jù)實施例的編碼單元、預(yù)測單元和變換單元之間的關(guān)系 的示圖。
[0030] 圖20是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的不圖。
[0031 ]圖21是根據(jù)實施例的存儲程序的盤的物理結(jié)構(gòu)的示圖。
[0032] 圖22是通過使用盤來記錄和讀取程序的盤驅(qū)動器的示圖。
[0033] 圖23是提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的示圖。
[0034] 圖24和圖25分別是根據(jù)實施例的應(yīng)用了本發(fā)明的視頻編碼方法和視頻解碼方法 的移動電話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)的示圖。
[0035] 圖26是根據(jù)本發(fā)明的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)的示圖。
[0036] 圖27是示出根據(jù)實施例的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計算系統(tǒng)的網(wǎng) 絡(luò)結(jié)構(gòu)的示圖。
[0037]最佳模式
[0038]本發(fā)明的一個或更多個實施例包括一種基于當(dāng)前塊是否執(zhí)行亮度補償來有效地 產(chǎn)生當(dāng)前塊的合并候選列表的方法。此外，本發(fā)明的一個或更多個實施例包括一種能夠降 低運算復(fù)雜度的層間視頻編碼方法和設(shè)備以及層間視頻解碼方法。
[0039] 根據(jù)本發(fā)明的一個或更多個實施例，一種層間視頻解碼方法包括:獲得指示第二 層當(dāng)前塊是否執(zhí)行亮度補償?shù)牧炼妊a償信息;基于亮度補償信息是否指示亮度補償被執(zhí)行 以及第二層當(dāng)前塊的候選是否執(zhí)行時間方向幀間預(yù)測來確定第二層當(dāng)前塊的候選是否可 用作合并候選;基于確定的結(jié)果來產(chǎn)生包括至少一個合并候選的合并候選列表;通過使用 所述至少一個合并候選中的一個合并候選的運動信息來確定第二層當(dāng)前塊的運動信息。
[0040] 當(dāng)?shù)诙赢?dāng)前塊的亮度補償信息指示亮度補償被執(zhí)行并且第二層當(dāng)前塊的候選 執(zhí)行時間方向幀間預(yù)測時，不包括第二層當(dāng)前塊的候選的合并候選列表可被產(chǎn)生。
[0041] 第二層當(dāng)前塊的候選可基于由第二層當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視 差矢量所指示的相應(yīng)塊的運動信息。
[0042] 第二層當(dāng)前塊的候選可基于由第二層當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視 差矢量所指示的相應(yīng)塊的右下塊的運動信息。
[0043] 當(dāng)亮度補償信息指示亮度補償被執(zhí)行時，具有與第二層當(dāng)前塊的候選的運動信息 之中的運動矢量和參考索引相同的運動矢量和相同的參考索引的其他候選中的一些候選 或全部候選可不被包括在合并候選列表中。
[0044] 當(dāng)亮度補償信息指示亮度補償被執(zhí)行時，具有與第二層當(dāng)前塊的候選的運動信息 之中的相同的參考索引的其他候選中的一些候選或全部候選可不被包括在合并候選列表 中。
[0045] 第二層當(dāng)前塊的候選可基于與第二層當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視 差矢量相應(yīng)的塊的運動信息，所述層間視頻解碼方法還可包括：當(dāng)亮度補償信息指示亮度 補償未被執(zhí)行時，將所述視差矢量的垂直分量確定為〇。
[0046] 根據(jù)本發(fā)明的一個或更多個實施例，一種層間視頻編碼方法包括:確定第二層當(dāng) 前塊是否執(zhí)行亮度補償;基于第二層當(dāng)前塊是否執(zhí)行亮度補償以及第二層當(dāng)前塊的候選是 否執(zhí)行時間方向幀間預(yù)測來確定第二層當(dāng)前塊的候選是否可用作合并候選;基于確定的結(jié) 果來產(chǎn)生包括至少一個合并候選的合并候選列表;通過使用所述至少一個合并候選中的一 個合并候選的運動信息來確定第二層當(dāng)前塊的運動信息。
[0047] 當(dāng)?shù)诙赢?dāng)前塊執(zhí)行亮度補償并且第二層當(dāng)前塊的候選執(zhí)行時間方向幀間預(yù)測 時，不包括第二層當(dāng)前塊的候選的合并候選列表可被產(chǎn)生。
[0048] 第二層當(dāng)前塊的候選可基于由第二層當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視 差矢量所指示的相應(yīng)塊的運動信息。
[0049]第二層當(dāng)前塊的候選可基于由第二層當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視 差矢量所指示的相應(yīng)塊的右下塊的運動信息。
[0050] 當(dāng)?shù)诙赢?dāng)前塊執(zhí)行亮度補償時，具有與第二層當(dāng)前塊的候選的運動信息之中的 運動矢量和參考索引相同的運動矢量和相同的參考索引的其他候選中的一些候選或全部 候選可不被包括在合并候選列表中。
[0051] 當(dāng)亮度補償信息指示亮度補償被執(zhí)行時，具有與第二層當(dāng)前塊的候選的運動信息 之中的相同的參考索引的其他候選中的一些候選或全部候選可不被包括在合并候選列表 中。
[0052]第二層當(dāng)前塊的候選可基于與第二層當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視 差矢量相應(yīng)的塊的運動信息，所述層間視頻解碼方法還可包括：當(dāng)亮度補償信息指示亮度 補償未被執(zhí)行時，將所述視差矢量的垂直分量確定為0。
[0053] 根據(jù)本發(fā)明的一個或更多個實施例，一種記錄有程序的非暫時性計算機可讀記錄 介質(zhì)，其中，當(dāng)所述程序被計算機執(zhí)行時，所述程序執(zhí)行所述層間視頻解碼方法。
[0054] 根據(jù)本發(fā)明的一個或更多個實施例，一種記錄有程序的非暫時性計算機可讀記錄 介質(zhì)，其中，當(dāng)所述程序被計算機執(zhí)行時，所述程序執(zhí)行所述層間視頻編碼方法。
【具體實施方式】
[0055] 在下文中，參照圖la至圖7建議根據(jù)各種實施例的基于亮度補償是否被執(zhí)行的層 間視頻編碼技術(shù)和層間視頻解碼技術(shù)。此外，參照圖8至圖20建議適用于層間視頻編碼技術(shù) 和解碼技術(shù)的根據(jù)各種實施例的基于樹結(jié)構(gòu)的編碼單元的視頻編碼技術(shù)和視頻解碼技術(shù)。 此外，參照圖21至圖27建議視頻編碼方法和視頻解碼方法適用的各種實施例。
[0056] 在下文中，"圖像"可表示靜止圖像或視頻的運動圖像，或表示視頻本身。
[0057]在下文中，"樣本"表示被分配給圖像的采樣位置并且將被處理的數(shù)據(jù)。例如，空間 域的圖像中的像素可以是樣本。
[0058] 首先，將參照圖la至圖7描述根據(jù)實施例的層間視頻編碼設(shè)備和層間視頻編碼方 法以及層間視頻編碼設(shè)備和層間視頻解碼方法。
[0059] 圖la是根據(jù)各種實施例的層間視頻編碼設(shè)備10的框圖。圖lb是根據(jù)各種實施例的 層間視頻編碼方法的流程圖。
[0060] 根據(jù)各種實施例的層間視頻編碼設(shè)備10可包括亮度補償確定器12、合并候選列表 產(chǎn)生器14和運動信息確定器16。
[0061] 根據(jù)各種實施例的層間視頻編碼設(shè)備10可根據(jù)層對多個圖像序列進行分類，并根 據(jù)可伸縮視頻編碼方法對圖像序列中的每一個圖像序列進行編碼，并輸出包括根據(jù)層編碼 的數(shù)據(jù)的單獨的流。層間視頻編碼設(shè)備10可將第一層圖像序列和第二層圖像序列編碼為不 同的層。
[0062] 例如，根據(jù)基于空間可伸縮性的可伸縮視頻編碼方法，低分辨率圖像可被編碼為 第一層圖像，并且高分辨率圖像可被編碼為第二層圖像。第一層圖像的編碼結(jié)果被輸出為 第一層流，第二層圖像的編碼結(jié)果被輸出為第二層流。
[0063] 根據(jù)實施例的層間視頻編碼設(shè)備10可通過復(fù)用器將第一層流和第二層流表示并 編碼為一個流。
[0064] 作為另一示例，可根據(jù)可伸縮視頻編碼方法對多視點視頻進行編碼。在這種情況 下，左視點圖像可被編碼為第一層圖像，右視點圖像可被編碼為第二層圖像。可選擇地，中 心視點圖像、左視點圖像和右視點圖像均可被編碼，其中，中心視點圖像被編碼為第一層圖 像、左視點圖像被編碼為第二層圖像并且右視點圖像被編碼為第三層圖像?？蛇x擇地，中心 視點彩色圖像、中心視點深度圖像、左視點彩色圖像、左視點深度圖像、右視點彩色圖像和 右視點深度圖像可被分別編碼為第一層圖像、第二層圖像、第三層圖像、第四層圖像、第五 層圖像和第六層圖像。作為另一示例，中心視點彩色圖像、中心視點深度圖像、左視點深度 圖像、左視點彩色圖像、右視點深度圖像和右視點彩色圖像可被分別編碼為第一層圖像、第 二層圖像、第三層圖像、第四層圖像、第五層圖像和第六層圖像。
[0065] 作為另一示例，可根據(jù)基于時間可伸縮性的時間分層預(yù)測來執(zhí)行可伸縮視頻編碼 方法。包括通過對基本幀率的圖像進行編碼而產(chǎn)生的編碼信息的第一層流可被輸出。時間 層級可根據(jù)幀率而被分類，并且每個時間層級可根據(jù)層而被編碼。通過參照基本幀率的圖 像對更高幀率的圖像進行進一步編碼，包括高幀率的編碼信息的第二層流可被輸出。
[0066] 此外，可對第一層和多個擴展層(第二層至第K層)執(zhí)行可伸縮視頻編碼。當(dāng)存在至 少三個擴展層時，第一層圖像和第K層圖像可被編碼。因此，第一層圖像的編碼結(jié)果可被輸 出為第一層流，并且第一層圖像至第K層圖像的編碼結(jié)果可被分別輸出為第一層流至第K層 流。
[0067] 根據(jù)各種實施例的層間視頻編碼設(shè)備10可執(zhí)行參考單層圖像的幀間預(yù)測以便預(yù) 測當(dāng)前圖像。通過執(zhí)行幀間預(yù)測，可從與第一層(基本層)相應(yīng)的區(qū)域預(yù)測出指示當(dāng)前圖像 和參考圖像之間的運動信息的運動矢量以及當(dāng)前圖像和參考圖像之間的殘差。
[0068] 此外，層間視頻編碼設(shè)備10可執(zhí)行參考第一層圖像的預(yù)測信息的層間預(yù)測以便預(yù) 測第二層圖像的預(yù)測信息。
[0069]此外，當(dāng)根據(jù)實施例的層間視頻編碼設(shè)備10允許至少三層（即，第一層至第三層） 時，第一層圖像和第三層圖像之間的層間預(yù)測以及第二層圖像和第三層圖像之間的層間預(yù) 測可根據(jù)多層預(yù)測結(jié)構(gòu)而被執(zhí)行。
[0070] 在層間預(yù)測中，當(dāng)前圖像和與當(dāng)前圖像的層不同的層的參考圖像之間的視差矢量 可被推導(dǎo)出，并且作為當(dāng)前圖像和通過使用不同層的參考圖像而產(chǎn)生的預(yù)測圖像之間的差 分量的殘差可被產(chǎn)生。
[0071] 根據(jù)各種實施例的層間視頻編碼設(shè)備10可根據(jù)層，基于視頻的每個圖像塊執(zhí)行編 碼。塊可具有正方形狀、矩形形狀或任意幾何形狀，并且不限于具有預(yù)定尺寸的數(shù)據(jù)單元。 塊可以是根據(jù)樹結(jié)構(gòu)的編碼單元之中的最大編碼單元、編碼單元、預(yù)測單元或變換單元。包 括樹結(jié)構(gòu)的編碼單元的最大編碼單元可被不同地命名，諸如編碼樹單元、編碼塊樹、塊樹、 根塊樹、編碼樹、編碼根或樹干。稍后將參照圖8至圖20描述基于根據(jù)樹結(jié)構(gòu)的編碼單元的 視頻編碼和解碼方法。
[0072] 可基于諸如編碼單元、預(yù)測單元或變換單元的數(shù)據(jù)單元執(zhí)行幀間預(yù)測和層間預(yù) 測。
[0073] 根據(jù)各種實施例的層間視頻編碼設(shè)備10可通過對第一層圖像執(zhí)行包括幀間預(yù)測 或幀內(nèi)預(yù)測的源編碼操作以產(chǎn)生符號數(shù)據(jù)。符號數(shù)據(jù)表示每個編碼參數(shù)值和殘差的樣值。
[0074] 例如，層間視頻編碼設(shè)備10可通過對第一層圖像的數(shù)據(jù)單元的樣本上的樣本執(zhí)行 幀間預(yù)測或幀內(nèi)預(yù)測、變換和量化來產(chǎn)生符號數(shù)據(jù)，并可通過對符號數(shù)據(jù)執(zhí)行熵編碼來產(chǎn) 生第一層流。
[0075] 此外，層間視頻編碼設(shè)備10可基于樹結(jié)構(gòu)的編碼單元對第二層圖像進行編碼。第 二層編碼器可通過對第二層圖像的編碼單元的樣本執(zhí)行幀間/幀內(nèi)預(yù)測、變換和量化來產(chǎn) 生符號數(shù)據(jù)，并通過對符號數(shù)據(jù)執(zhí)行熵編碼來產(chǎn)生第二層流。
[0076] 根據(jù)各種實施例的第二層編碼器可通過使用第一層圖像的預(yù)測信息來執(zhí)行對第 二層圖像進行預(yù)測的層間預(yù)測。為了通過層間預(yù)測結(jié)構(gòu)對第二層圖像序列之中的第二層原 始圖像進行編碼，第二層編碼器可通過使用第一層重建圖像的預(yù)測信息來確定第二層當(dāng)前 圖像的預(yù)測信息，并通過基于確定的預(yù)測信息產(chǎn)生第二層預(yù)測圖像來對第二層原始圖像和 第二層預(yù)測圖像之間的預(yù)測誤差進行編碼。
[0077] 層間視頻編碼設(shè)備10可根據(jù)塊(諸如編碼單元或預(yù)測單元)對第二層圖像執(zhí)行幀 間預(yù)測。換句話說，可確定第一層圖像中的將由第二層圖像的塊參考的塊。例如，可確定第 一層圖像中的位置與第二層圖像中的當(dāng)前塊的位置相應(yīng)的重建塊。層間視頻編碼設(shè)備10可 通過使用與第二層塊相應(yīng)的第一層重建塊來確定第二層預(yù)測塊。
[0078] 為了執(zhí)行幀間預(yù)測，層間視頻編碼設(shè)備10可首先執(zhí)行運動估計以在從第一層和第 二層重建的重建塊中搜索與第二層原始塊具有高相關(guān)性的預(yù)測塊。然后，找出的預(yù)測塊的 運動信息可被發(fā)送到層間視頻解碼設(shè)備20。這里，運動信息可包括根據(jù)運動估計的結(jié)果對 參考畫面列表0和參考畫面列表1進行分類的參考方向信息、對參考列表中的參考畫面進行 分類的索引、以及運動矢量。
[0079] 同時，為了減少與根據(jù)預(yù)測單元發(fā)送的運動信息相關(guān)的數(shù)據(jù)量，層間視頻編碼設(shè) 備10可使用用于基于空間/時間鄰近塊或沿層間方向的相應(yīng)塊的運動信息來設(shè)置當(dāng)前塊的 運動信息的合并模式。
[0080] 層間視頻編碼設(shè)備10可同樣地形成用于在編碼設(shè)備和解碼設(shè)備中預(yù)測運動信息 的合并候選列表，并將所述列表中的候選選擇信息發(fā)送到解碼設(shè)備以便有效減少運動相關(guān) 數(shù)據(jù)的量。
[0081] 合并候選列表可包括基于以下項而產(chǎn)生的候選:基于空間鄰近塊的運動信息的空 間候選、基于時間鄰近塊的運動信息的時間候選、以及基于層間方向的相應(yīng)塊的運動信息 的層間候選。層間視頻編碼設(shè)備10可確定空間候選、時間候選以及層間候選是否可用作合 并候選。此外，層間視頻編碼設(shè)備10可根據(jù)預(yù)設(shè)順序確定是否將空間候選、時間候選、層間 候選以及基于上述候選而產(chǎn)生的候選添加到合并候選列表。
[0082] 層間候選塊表示包括在與當(dāng)前塊中所包括的圖像的層不同的層的圖像中的候選 塊。例如，層間候選塊可包括第一層重建圖像中的由從第二層當(dāng)前塊的位置開始的當(dāng)前塊 的視差矢量所指示的第一層相應(yīng)塊、以及第一層相應(yīng)塊的右下塊。
[0083] 層間候選是在當(dāng)前塊的幀間預(yù)測期間可使用的合并候選，并且在當(dāng)前塊的相應(yīng)塊 執(zhí)行了幀內(nèi)編碼時，層間候選塊可不被包括在合并候選列表中，所述相應(yīng)塊的運動信息不 是當(dāng)前塊在同一時間可參考的參考畫面。
[0084] 根據(jù)實施例，層間候選可僅允許時間方向的運動信息，并且在這種情況下，層間視 頻編碼設(shè)備10可確定當(dāng)前塊的幀間預(yù)測的方向是層方向，且不推導(dǎo)層間候選的合并候選可 能性信息。合并候選可能性信息是指示候選是否可用作合并候選的信息。
[0085] 例如，當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，亮度補償總是在層間方向的預(yù)測中被執(zhí)行， 因此層間視頻編碼設(shè)備10可不推導(dǎo)僅允許時間方向的運動信息的層間候選的合并候選可 能性信息。
[0086] 當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，層間視頻編碼設(shè)備10不推導(dǎo)層間候選塊的合并候 選可能性信息，因此提高了視頻編碼效率。
[0087] 層間視頻編碼設(shè)備10可通過使用第一層重建圖像對第二層預(yù)測塊的樣值與第二 層原始塊的樣值之間的誤差(即，根據(jù)層間預(yù)測的殘差)進行變換和量化來執(zhí)行熵編碼。
[0088] 如上所述，層間視頻編碼設(shè)備10可通過層間預(yù)測結(jié)構(gòu)，通過參考第一層重建圖像 來對當(dāng)前層圖像序列進行編碼。然而，根據(jù)各種實施例的層間視頻編碼設(shè)備10可根據(jù)單層 預(yù)測結(jié)構(gòu)對第二層圖像序列進行編碼，而不必參考其它層樣本。因此，理解不應(yīng)限于層間視 頻編碼設(shè)備10僅執(zhí)行層間預(yù)測結(jié)構(gòu)的幀間預(yù)測以便對第二層圖像序列進行編碼。
[0089] 同時，當(dāng)層間視頻編碼設(shè)備10對多視點視頻進行編碼時，已被編碼的第一層圖像 可以是第一視點視頻，并且第二層圖像可以是第二視點視頻?？赏ㄟ^使用不同的相機或不 同的鏡頭來捕捉根據(jù)多個視點的多個視頻?？蛇x擇地，在3D圖形圖像中，可通過捕捉不同的 投影視圖來獲得根據(jù)多個視點的多個視頻。
[0090] 在下文中，將參照圖lb描述層間視頻編碼設(shè)備10確定增強幀間預(yù)測候選列表的詳 細操作。
[0091] 圖lb是根據(jù)各種實施例的層間視頻編碼方法的流程圖。
[0092] 在操作11，亮度補償確定器12可確定第二層當(dāng)前塊是否執(zhí)行亮度補償。
[0093] 例如，亮度補償確定器12可基于當(dāng)前塊的預(yù)測模式來確定當(dāng)前塊是否執(zhí)行亮度補 償。
[0094] 此外，亮度補償確定器12可產(chǎn)生亮度補償信息。亮度補償信息表示指示當(dāng)前塊是 否執(zhí)行亮度補償?shù)男畔?。例如，亮度補償信息可包括"ic_flag"。此外，亮度補償確定器12可 設(shè)置亮度補償信息的值。
[0095]例如，亮度補償確定器12可在當(dāng)前塊執(zhí)行亮度補償時將"ic_flag"的值設(shè)置為1。 此外，亮度補償確定器12可在當(dāng)前塊不執(zhí)行亮度補償時將"ic_flag"的值設(shè)置為0。
[0096] 層間視頻編碼設(shè)備10可對亮度補償信息進行編碼。例如，層間視頻編碼設(shè)備10可 對"i c_f lag"進行編碼并將"i c_f lag"添加到比特流。
[0097] 在操作13,合并候選列表產(chǎn)生器14可基于當(dāng)前塊是否執(zhí)行亮度補償以及當(dāng)前塊的 候選是否執(zhí)行時間方向幀間預(yù)測來確定當(dāng)前塊的候選是否可用作當(dāng)前塊的合并候選。
[0098] 根據(jù)實施例，當(dāng)前塊的合并候選可包括時間候選、空間候選以及層間候選。
[0099] 根據(jù)本發(fā)明的實施例，合并候選列表產(chǎn)生器14可確定當(dāng)前塊的候選。例如，合并候 選列表產(chǎn)生器14可將與從第二層當(dāng)前塊的位置開始的視差矢量相應(yīng)的第一層塊確定為當(dāng) 前塊的候選。
[0100]此外，合并候選列表產(chǎn)生器14可將由從第二層當(dāng)前塊的位置開始的視差矢量所指 示的第一層塊的右下塊確定為當(dāng)前塊的候選。
[0101] 合并候選列表產(chǎn)生器14可經(jīng)由各種方法中的任意一種方法來確定用于確定當(dāng)前 塊的層間候選的視差矢量。
[0102] 例如，合并候選列表產(chǎn)生器14可從當(dāng)前塊的鄰近塊推導(dǎo)當(dāng)前塊的視差矢量。
[0103] 作為另一示例，合并候選列表產(chǎn)生器14可通過使用從第二層當(dāng)前塊的鄰近塊推導(dǎo) 出的視差矢量來檢測與第一層當(dāng)前塊相應(yīng)的深度塊，選擇所述深度塊的多個值中的一個 值，并通過使用相機參數(shù)將選擇的值轉(zhuǎn)換為視差矢量來推導(dǎo)視差矢量。
[0104]此外，當(dāng)未對當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器14可將具有當(dāng)前塊的 視差矢量作為運動信息的合并候選的視差矢量的垂直分量設(shè)置為〇。
[0105]此外，當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，合并候選列表產(chǎn)生器14可不將具有當(dāng)前塊 的視差矢量作為運動信息的合并候選的視差矢量的垂直分量設(shè)置為〇,但可使用推導(dǎo)出的 值。
[0106]根據(jù)本發(fā)明的各種實施例，在當(dāng)前塊的層間相應(yīng)塊執(zhí)行了幀內(nèi)編碼時，層間候選 塊可不被包括在合并候選列表中。
[0107] 此外，在當(dāng)前塊的層間相應(yīng)塊的運動信息不是時間與當(dāng)前塊可參考的時間相同的 參考畫面時，層間候選塊可不被包括在合并候選列表中。
[0108] 根據(jù)本發(fā)明的各種實施例，合并候選列表產(chǎn)生器14可基于當(dāng)前塊的特定候選是否 執(zhí)行幀間預(yù)測來確定當(dāng)前塊的所述特定候選的合并候選可能性信息。
[0109] 例如，在當(dāng)前塊不執(zhí)行亮度補償，但當(dāng)前塊的候選執(zhí)行時間方向幀間預(yù)測時，合并 候選列表產(chǎn)生器14可將當(dāng)前塊的候選的合并候選可能性信息的值確定為1。
[0110]此外，在當(dāng)前塊不執(zhí)行亮度補償并且與當(dāng)前塊相應(yīng)的第一層候選不執(zhí)行時間方向 幀間預(yù)測時，合并候選列表產(chǎn)生器14可將當(dāng)前塊的候選的合并候選可能性信息的值確定為 0〇
[0111] 合并候選可能性信息是指示當(dāng)前塊的候選是否可用作合并候選的信息，并可包括 "availableFlaglvMC(指示基于與當(dāng)前塊的視差矢量相應(yīng)的塊的右下塊的運動信息的候選 是否可用作合并候選的信息)"和/或"availableFlaglvMCShift (指示基于與當(dāng)前塊的視差 矢量相應(yīng)的塊的右下塊的運動信息的候選是否可用的信息)"。
[0112] 根據(jù)本發(fā)明的各種實施例，當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，合并候選列表產(chǎn)生器 14可不將執(zhí)行時間方向預(yù)測的候選用作合并候選。
[0113] 例如，在當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器14可確定當(dāng)前塊的候選之 中的執(zhí)行時間方向幀間預(yù)測的候選不可用作合并候選。
[0114] 此外，在第二層當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器14可不確定當(dāng)前塊 的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選可能性信息。
[0115] 例如，在第二層當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器14可不確定當(dāng)前塊 的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選可能性信息，并可將當(dāng)前塊的候選 之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選可能性信息保持為預(yù)設(shè)值。
[0116]候選的合并候選可能性信息的預(yù)設(shè)值可以是0。例如，"availableFlaglvMC"和 "availableFlaglvMCShift"中的每一個的預(yù)設(shè)值可以是0。
[0117] 合并候選列表產(chǎn)生器14不確定候選的合并候選可能性信息，因此提高了視頻編碼 效率。
[0118] 此外，當(dāng)?shù)诙赢?dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器14可不執(zhí)行對當(dāng)前 塊的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選的推導(dǎo)處理，并可不將所述執(zhí)行 時間方向幀間預(yù)測的候選添加到合并候選列表。
[0119] 例如，在當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器14可不執(zhí)行通過使用當(dāng)前 塊的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的運動矢量來推導(dǎo)執(zhí)行時間方向幀間預(yù)測 的候選的合并可能性信息的處理。
[0120] 在操作15,合并候選列表產(chǎn)生器14可基于所述確定的結(jié)果來產(chǎn)生包括當(dāng)前塊的候 選的合并候選列表。
[0121] 合并候選列表產(chǎn)生器14可基于所述確定的結(jié)果來產(chǎn)生包括至少一個合并候選的 合并候選列表。例如，合并候選列表產(chǎn)生器14可基于合并候選可能性信息的值來確定是否 將當(dāng)前塊的候選添加到當(dāng)前塊的合并候選列表。
[0122] 例如，當(dāng)候選的合并候選可能性信息的值為1時，合并候選列表產(chǎn)生器14可將當(dāng)前 塊的候選添加到第二層當(dāng)前塊的合并候選列表。
[0123] 此外，當(dāng)候選的合并候選可能性信息的值為0時，合并候選列表產(chǎn)生器14可不將當(dāng) 前塊的候選添加到第二層當(dāng)前塊的合并候選列表。
[0124] 此外，合并候選列表產(chǎn)生器14可通過進一步考慮當(dāng)前候選的運動矢量是否與被添 加到合并候選列表的另一候選的運動矢量相同來產(chǎn)生合并候選列表。
[0125] 例如，即使在當(dāng)前候選的合并候選可能性信息的值為1時，如果被添加到合并候選 列表的所述另一候選的運動矢量與當(dāng)前候選的時間方向運動矢量相同，貝合并候選列表產(chǎn) 生器14也可不將當(dāng)前候選添加到合并候選列表。
[0126] 在操作17,運動信息確定器16可通過使用包括在合并候選列表中的所述至少一個 合并候選之一的運動信息來確定當(dāng)前塊的運動信息。
[0127] 運動信息確定器16可選擇包括在合并候選列表中的合并候選之一。此外，運動信 息確定器16可將選擇的合并候選的運動信息設(shè)置為當(dāng)前塊的運動信息。
[0128] 例如，運動信息確定器16可通過使用包括在合并候選列表中的每個合并候選的運 動信息對第二層當(dāng)前塊執(zhí)行幀間預(yù)測來產(chǎn)生每個合并候選的第二層預(yù)測圖像。此外，運動 信息確定器16可獲得第二層當(dāng)前原始圖像與第二層預(yù)測圖像之間的誤差，并選擇誤差最小 的合并候選。運動信息確定器16可將選擇的合并候選的運動信息設(shè)置為當(dāng)前塊的運動信 息。
[0129] 此外，層間視頻編碼設(shè)備10可通過基于對當(dāng)前塊設(shè)置的運動信息對第二層當(dāng)前塊 執(zhí)行幀間預(yù)測來產(chǎn)生第二層預(yù)測圖像，并可對第二層當(dāng)前原始圖像與第二層預(yù)測圖像之間 的誤差進行編碼。此外，層間視頻編碼設(shè)備10可對指示選擇的合并候選的合并索引進行編 碼。
[0130] 根據(jù)各種實施例的層間視頻編碼設(shè)備10可包括總體控制亮度補償確定器12、合并 候選列表產(chǎn)生器14以及運動信息確定器16的中央處理器(未示出）?？蛇x擇地，亮度補償確 定器12、合并候選列表產(chǎn)生器14以及運動信息確定器16可由單獨的處理器(未示出）操作， 并且層間視頻編碼設(shè)備10可作為系統(tǒng)化操作的單獨處理器而被操作?？蛇x擇地，亮度補償 確定器12、合并候選列表產(chǎn)生器14以及運動信息確定器16可根據(jù)層間視頻編碼設(shè)備10的外 部處理器(未示出）的控制而被控制。
[0131] 層間視頻編碼設(shè)備10可包括至少一個數(shù)據(jù)存儲單元(未示出），其中，亮度補償確 定器12、合并候選列表產(chǎn)生器14以及運動信息確定器16的輸入和輸出數(shù)據(jù)被存儲在所述至 少一個數(shù)據(jù)存儲單元中。層間視頻編碼設(shè)備10可包括用于管理數(shù)據(jù)存儲單元(未示出）的數(shù) 據(jù)輸入和輸出的存儲器控制器(未示出）。
[0132] 為了輸出視頻編碼結(jié)果，層間視頻編碼設(shè)備10可與安裝在層間視頻編碼設(shè)備10中 的內(nèi)部視頻編碼處理器或外部視頻編碼處理器協(xié)作操作，以便執(zhí)行包括變換的視頻編碼操 作。層間視頻編碼設(shè)備10的內(nèi)部視頻編碼處理器可作為單獨的處理器執(zhí)行視頻編碼操作。 此外，基本視頻編碼操作可被實現(xiàn)為包括視頻編碼處理模塊的層間視頻編碼設(shè)備10、中央 處理設(shè)備或圖形處理設(shè)備。
[0133] 圖2a是根據(jù)各種實施例的層間視頻解碼設(shè)備的框圖。
[0134] 根據(jù)各種實施例的層間視頻解碼設(shè)備20可包括亮度補償信息獲得器22、合并候選 列表產(chǎn)生器24以及運動信息確定器26。
[0135] 根據(jù)各種實施例的層間視頻解碼設(shè)備20可經(jīng)由可伸縮編碼方法根據(jù)層接收比特 流。由層間視頻解碼設(shè)備20接收的比特流的層的數(shù)量不受限制。然而，為了便于解釋，將描 述層間視頻解碼設(shè)備20接收第一層流并對第一層流進行解碼并且接收第二層流并對第二 層流進行解碼的實施例。
[0136] 例如，基于空間可伸縮性的層間視頻解碼設(shè)備20可接收具有不同分辨率的圖像序 列按照不同層被編碼的流。可對第一層流進行解碼來重建具有低分辨率的圖像序列，可對 第二層流進行解碼來重建具有高分辨率的圖像序列。
[0137] 作為另一示例，可根據(jù)可伸縮視頻編碼方法來對多視點視頻進行解碼。當(dāng)以多個 層接收到立體視頻流時，第一層流可被解碼以重建左視點圖像。第二層流可被進一步解碼 以重建右視點圖像。
[0138] 可選擇地，當(dāng)以多個層接收到多視點視頻流時，第一層流可被解碼以重建中間視 點圖像。第二層流可被進一步解碼以重建左視點圖像。第三層流可被進一步解碼以重建右 視點圖像。
[0139] 作為另一示例，可執(zhí)行基于時間可伸縮性的可伸縮視頻編碼方法。第一層流可被 解碼以重建基本幀率圖像。第二層流可被進一步解碼以重建高幀率圖像。
[0140]此外，在存在至少三個第二層時，可從第一層流重建第一層圖像，并且當(dāng)通過參考 第一層重建圖像來進一步對第二層流進行解碼時，第二層圖像可被進一步重建。當(dāng)通過參 考第二層重建圖像來進一步對第K層流進行解碼時，第K層圖像可被進一步重建。
[0141] 層間視頻解碼設(shè)備20可從第一層流和第二層流獲得第一層圖像和第二層圖像的 編碼數(shù)據(jù)，并且此外，可進一步獲得通過幀間預(yù)測產(chǎn)生的運動矢量和通過層間預(yù)測產(chǎn)生的 預(yù)測信息。
[0142] 例如，層間視頻解碼設(shè)備20可按照每層對幀間預(yù)測的數(shù)據(jù)進行解碼，并可對多個 層之間的層間預(yù)測的數(shù)據(jù)進行解碼。可基于編碼單元或預(yù)測單元經(jīng)由運動補償和層間解碼 來執(zhí)行重建。
[0143] 針對每層流，通過參考經(jīng)由相同層的幀間預(yù)測而預(yù)測出的重建圖像來執(zhí)行對當(dāng)前 圖像的運動補償，可重建圖像。運動補償是將通過使用當(dāng)前圖像的運動矢量確定的參考圖 像和當(dāng)前圖像的殘差進行合成來重建當(dāng)前圖像的重建圖像的操作。
[0144] 此外，層間視頻解碼設(shè)備20可通過參照第一層圖像的預(yù)測信息來執(zhí)行層間解碼以 對經(jīng)由層間預(yù)測而被預(yù)測出的第二層圖像進行解碼。層間解碼包括通過使用不同層的參考 塊的預(yù)測信息來重建當(dāng)前圖像的預(yù)測信息以便確定當(dāng)前圖像的預(yù)測信息的操作。
[0145] 根據(jù)實施例的層間視頻解碼設(shè)備20可執(zhí)行用于重建通過參考第二層圖像而預(yù)測 出的第三層圖像的層間解碼。
[0146] 然而，根據(jù)各種實施例的層間視頻解碼設(shè)備20可在不必參考第一層圖像序列的情 況下對第二層流進行解碼。因此，解釋不應(yīng)限于層間視頻解碼設(shè)備20執(zhí)行層間預(yù)測以對第 二層圖像序列進行解碼。
[0147] 層間視頻解碼設(shè)備20根據(jù)視頻的每個圖像的塊執(zhí)行解碼。塊可以是根據(jù)樹結(jié)構(gòu)的 編碼單元之中的最大編碼單元、編碼單元、預(yù)測單元或變換單元。
[0148] 層間視頻解碼設(shè)備20可通過使用解析出的第一層圖像的編碼符號來對第一層圖 像進行解碼。當(dāng)層間視頻解碼設(shè)備20接收基于樹結(jié)構(gòu)的編碼單元而被編碼的流時，層間視 頻解碼設(shè)備20可根據(jù)第一層流的最大編碼單元，基于樹結(jié)構(gòu)的編碼單元來執(zhí)行解碼。
[0149] 層間視頻解碼設(shè)備20可通過根據(jù)每個最大編碼單元執(zhí)行熵解碼來獲得編碼信息 和編碼的數(shù)據(jù)。層間視頻解碼設(shè)備20可通過對從流獲得的編碼的數(shù)據(jù)執(zhí)行反量化和逆變換 來重建殘差。根據(jù)另一實施例的層間視頻解碼設(shè)備20可直接接收量化后的變換系數(shù)的比特 流。可通過對量化后的變換系數(shù)執(zhí)行反量化和逆變換來重建圖像的殘差。
[0150] 層間視頻解碼設(shè)備20可經(jīng)由相同層圖像之間的運動補償來確定預(yù)測圖像，并可通 過將預(yù)測圖像和殘差進行組合來重建第一層圖像。
[0151] 根據(jù)層間預(yù)測結(jié)構(gòu)，層間視頻解碼設(shè)備20可通過使用第一層重建圖像的樣本來產(chǎn) 生第二層預(yù)測圖像。層間視頻解碼設(shè)備20可根據(jù)層間預(yù)測通過對第二層流進行解碼來獲得 預(yù)測誤差。層間視頻解碼設(shè)備20可通過將第二層預(yù)測圖像和預(yù)測誤差進行組合來產(chǎn)生第二 層重建圖像。
[0152] 層間視頻解碼設(shè)備20可通過使用解碼的第一層重建圖像來確定第二層預(yù)測圖像。 根據(jù)層間預(yù)測結(jié)構(gòu)，層間視頻解碼設(shè)備20可根據(jù)塊(諸如第二層圖像的編碼單元或預(yù)測單 元)執(zhí)行幀間預(yù)測。換句話說，層間視頻解碼設(shè)備20確定將被第二層圖像的塊參考的第一層 圖像的塊。例如，位置與第二層圖像中的當(dāng)前塊的位置相應(yīng)的第一層圖像的重建塊可被確 定。層間視頻解碼設(shè)備20可通過使用與第二層塊相應(yīng)的第一層重建塊來確定第二層預(yù)測 塊。
[0153] 同時，為了減少與根據(jù)預(yù)測單元發(fā)送的運動信息相關(guān)的數(shù)據(jù)量，層間視頻解碼設(shè) 備20可使用用于基于空間/時間鄰近塊或?qū)娱g方向的相應(yīng)塊的運動信息來設(shè)置當(dāng)前塊的運 動信息的合并模式。
[0154] 層間視頻解碼設(shè)備20可同樣地形成用于在編碼設(shè)備和解碼設(shè)備中預(yù)測運動信息 的合并候選列表，并可將所述列表中的候選選擇信息發(fā)送到解碼設(shè)備以便有效減少運動相 關(guān)數(shù)據(jù)的量。
[0155] 合并候選列表可包括基于以下項而產(chǎn)生的候選:基于空間鄰近塊的運動信息的空 間候選、基于時間鄰近塊的運動信息的時間候選、以及基于層間方向的相應(yīng)塊的運動信息 的層間候選。層間視頻解碼設(shè)備20可確定空間候選、時間候選和層間候選是否可用作合并 候選。此外，層間視頻解碼設(shè)備20可根據(jù)預(yù)設(shè)順序來確定是否將空間候選、時間候選、層間 候選以及基于上述候選而產(chǎn)生的候選添加到合并候選列表。
[0156] 層間候選塊表示包括在與當(dāng)前塊中所包括的圖像的層不同的層的圖像中的候選 塊。例如，層間候選塊可包括第一層重建圖像中的由當(dāng)前塊的從第二層當(dāng)前塊的位置開始 的視差矢量所指示的第一層相應(yīng)塊、以及第一層相應(yīng)塊的右下塊。
[0157] 層間候選是在當(dāng)前塊的幀間預(yù)測期間可使用的合并候選，并且在當(dāng)前塊的相應(yīng)塊 執(zhí)行了幀內(nèi)編碼時，層間候選塊可不包括在合并候選列表中，所述相應(yīng)塊的運動信息不是 當(dāng)前塊在同一時間可參考的參考畫面。
[0158] 根據(jù)實施例，層間候選可僅允許時間方向的運動信息，在這種情況下，層間視頻解 碼設(shè)備20可將當(dāng)前塊的幀間預(yù)測的方向確定為層方向，并且不推導(dǎo)層間候選的合并候選可 能性信息。合并候選可能性信息是指示候選是否可用作合并候選的信息。
[0159] 例如，當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，亮度補償總是在層間方向中的預(yù)測中被執(zhí) 行，因此，層間視頻編碼設(shè)備10可不推導(dǎo)僅允許時間方向的運動信息的層間候選的合并候 選可能性信息。
[0160] 層間視頻解碼設(shè)備20可將根據(jù)層間預(yù)測結(jié)構(gòu)通過使用第一層重建塊而確定的第 二層預(yù)測塊用作用于第二層原始塊的層間預(yù)測的參考圖像。層間視頻解碼設(shè)備20可通過將 通過使用第一層重建圖像而確定的第二層預(yù)測塊的樣值與根據(jù)層間預(yù)測的殘差進行合成 來重建第二層塊。
[0161] 根據(jù)空間可伸縮視頻編碼方法，當(dāng)層間視頻解碼設(shè)備20重建了分辨率與第二層圖 像不同的第一層圖像時，層間視頻解碼設(shè)備20可對第一層重建圖像進行內(nèi)插以便將第一層 重建圖像的尺寸調(diào)整為與第二層原始圖像相同的分辨率。經(jīng)過內(nèi)插的第一層重建圖像可被 確定為用于層間預(yù)測的第二層預(yù)測圖像。
[0162] 因此，層間視頻解碼設(shè)備20可通過對第一層流進行解碼來重建第一層圖像序列， 并通過對第二層流進行解碼來重建第二層圖像序列。
[0163] 同時，當(dāng)層間視頻解碼設(shè)備20對多視點視頻進行解碼時，已被解碼的第一層圖像 可以是第一視點視頻，并且第二層圖像可以是第二視點視頻?？赏ㄟ^使用不同的相機或不 同的鏡頭來捕捉根據(jù)多個視點的多個視頻。
[0164] 圖2b是根據(jù)各種實施例的層間視頻解碼方法的流程圖。
[0165] 在操作21，亮度補償信息獲得器22可獲得指示第二層當(dāng)前塊是否執(zhí)行亮度補償?shù)?亮度補償信息。
[0166] 例如，亮度補償信息獲得器22可從比特流獲得亮度補償信息。例如，亮度補償信息 獲得器22可從比特流獲得"ic_f lag"。
[0167] 在操作23,合并候選列表產(chǎn)生器24可基于亮度補償信息是否指示亮度補償?shù)膱?zhí)行 以及當(dāng)前塊的候選是否執(zhí)行時間方向幀間預(yù)測來確定當(dāng)前塊的候選是否可用作合并候選。
[0168] 根據(jù)實施例，當(dāng)前塊的合并候選可包括時間候選、空間候選以及層間候選。
[0169] 根據(jù)本發(fā)明的實施例，合并候選列表產(chǎn)生器24可確定當(dāng)前塊的候選。例如，合并候 選列表產(chǎn)生器24可將與從第二層當(dāng)前塊的位置開始的視差矢量相應(yīng)的第一層塊確定為當(dāng) 前塊的候選。
[0170]此外，合并候選列表產(chǎn)生器24可將由從第二層當(dāng)前塊的位置開始的視差矢量所指 示的第一層塊的右下塊確定為當(dāng)前塊的候選。
[0171] 合并候選列表產(chǎn)生器24可經(jīng)由各種方法中的任意一種方法來確定用于確定當(dāng)前 塊的層間候選的視差矢量。
[0172] 例如，合并候選列表產(chǎn)生器24可從當(dāng)前塊的鄰近塊推導(dǎo)當(dāng)前塊的視差矢量。
[0173] 作為另一示例，合并候選列表產(chǎn)生器24可通過使用從第二層當(dāng)前塊的鄰近塊推導(dǎo) 出的視差矢量來檢測與第一層當(dāng)前塊相應(yīng)的深度塊，選擇所述深度塊的多個值中的一個 值，并通過使用相機參數(shù)將選擇的值轉(zhuǎn)換為視差矢量來推導(dǎo)視差矢量。
[0174]此外，當(dāng)未對當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器24可將具有當(dāng)前塊的 視差矢量作為運動信息的合并候選的視差矢量的垂直分量設(shè)置為0。
[0175] 此外，當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，合并候選列表產(chǎn)生器24可不將具有當(dāng)前塊 的視差矢量作為運動信息的合并候選的視差矢量的垂直分量設(shè)置為〇,但可使用推導(dǎo)出的 值。
[0176] 根據(jù)本發(fā)明的各種實施例，在當(dāng)前塊的層間相應(yīng)塊執(zhí)行了幀內(nèi)編碼時，層間候選 塊可不被包括在合并候選列表中。
[0177] 此外，在當(dāng)前塊的層間相應(yīng)塊的運動信息不是時間與當(dāng)前塊可參考的時間相同的 參考畫面時，層間候選塊可不被包括在合并候選列表中。
[0178] 根據(jù)本發(fā)明的各種實施例，合并候選列表產(chǎn)生器24可基于當(dāng)前塊的特定候選是否 執(zhí)行幀間預(yù)測來確定當(dāng)前塊的所述特定候選的合并候選可能性信息。
[0179] 例如，在當(dāng)前塊不執(zhí)行亮度補償，但當(dāng)前塊的候選執(zhí)行時間方向幀間預(yù)測時，合并 候選列表產(chǎn)生器24可將當(dāng)前塊的候選的合并候選可能性信息的值確定為1。
[0180]此外，在當(dāng)前塊不執(zhí)行亮度補償并且與當(dāng)前塊相應(yīng)的第一層候選不執(zhí)行時間方向 幀間預(yù)測時，合并候選列表產(chǎn)生器24可將當(dāng)前塊的候選的合并候選可能性信息的值確定為 0〇
[0181]合并候選可能性信息是指示當(dāng)前塊的候選是否可用作合并候選的信息，并可包括 "availableFlaglvMC(指示基于與當(dāng)前塊的視差矢量相應(yīng)的塊的右下塊的運動信息的候選 是否可用作合并候選的信息)"和/或"availableFlaglvMCShift (指示基于與當(dāng)前塊的視差 矢量相應(yīng)的塊的右下塊的運動信息的候選是否可用的信息)"。
[0182] 根據(jù)本發(fā)明的各種實施例，當(dāng)對當(dāng)前塊執(zhí)行了亮度補償時，合并候選列表產(chǎn)生器 24可不將執(zhí)行時間方向預(yù)測的候選用作合并候選。
[0183] 例如，在當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器24可確定當(dāng)前塊的候選之 中的執(zhí)行時間方向幀間預(yù)測的候選不可用作合并候選。
[0184] 此外，在第二層當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器24可不確定當(dāng)前塊 的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選可能性信息。
[0185] 例如，在第二層當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器24可不確定當(dāng)前塊 的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選可能性信息，并可將當(dāng)前塊的候選 之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選可能性信息保持為預(yù)設(shè)值。
[0186] 候選的合并候選可能性信息的預(yù)設(shè)值可以是0。例如，"availableFlaglvMC"和 "availableFlaglvMCShift"中的每一個的預(yù)設(shè)值可以是0。
[0187] 合并候選列表產(chǎn)生器24不確定候選的合并候選可能性信息，因此提高了視頻編碼 效率。
[0188] 此外，當(dāng)?shù)诙赢?dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器24可不執(zhí)行對當(dāng)前 塊的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的合并候選的推導(dǎo)處理，并可不將所述執(zhí)行 時間方向幀間預(yù)測的候選添加到合并候選列表。
[0189] 例如，在當(dāng)前塊執(zhí)行亮度補償時，合并候選列表產(chǎn)生器24可不執(zhí)行通過使用當(dāng)前 塊的候選之中的執(zhí)行時間方向幀間預(yù)測的候選的運動矢量來推導(dǎo)執(zhí)行時間方向幀間預(yù)測 的候選的合并可能性信息的處理。
[0190]在操作25,合并候選列表產(chǎn)生器24可基于所述確定的結(jié)果來產(chǎn)生包括當(dāng)前塊的候 選的合并候選列表。
[0191] 合并候選列表產(chǎn)生器24可基于所述確定的結(jié)果來產(chǎn)生包括至少一個合并候選的 合并候選列表。例如，合并候選列表產(chǎn)生器24可基于合并候選可能性信息的值來確定是否 將當(dāng)前塊的候選添加到當(dāng)前塊的合并候選列表。
[0192] 例如，當(dāng)候選的合并候選可能性信息的值為1時，合并候選列表產(chǎn)生器24可將當(dāng)前 塊的候選添加到第二層當(dāng)前塊的合并候選列表。
[0193] 此外，當(dāng)候選的合并候選可能性信息的值為0時，合并候選列表產(chǎn)生器24可不將當(dāng) 前塊的候選添加到第二層當(dāng)前塊的合并候選列表。
[0194] 此外，合并候選列表產(chǎn)生器24可通過進一步考慮當(dāng)前候選的運動矢量是否與被添 加到合并候選列表的另一候選的運動矢量相同來產(chǎn)生合并候選列表。
[0195] 例如，即使在當(dāng)前候選的合并候選可能性信息的值為1時，如果被添加到合并候選 列表的所述另一候選的運動矢量與當(dāng)前候選的時間方向運動矢量相同，貝合并候選列表產(chǎn) 生器24也可不將當(dāng)前候選添加到合并候選列表。
[0196] 在操作27,運動信息確定器26可通過使用包括在合并候選列表中的所述至少一個 合并候選之一的運動信息來確定當(dāng)前塊的運動信息。
[0197] 運動信息確定器26可選擇包括在合并候選列表中的合并候選之一。此外，運動信 息確定器26可將選擇的合并候選的運動信息設(shè)置為當(dāng)前塊的運動信息。
[0198] 例如，運動信息確定器26可通過使用包括在合并候選列表中的每個合并候選的運 動信息對第二層當(dāng)前塊執(zhí)行幀間預(yù)測來產(chǎn)生每個合并候選的第二層預(yù)測圖像。此外，運動 信息確定器26可獲得第二層當(dāng)前原始圖像與第二層預(yù)測圖像之間的誤差，并選擇誤差最小 的合并候選。運動信息確定器26可將選擇的合并候選的運動信息設(shè)置為當(dāng)前塊的運動信 息。
[0199] 此外，層間視頻解碼設(shè)備20可通過基于對當(dāng)前塊設(shè)置的運動信息對第二層當(dāng)前塊 執(zhí)行幀間預(yù)測來產(chǎn)生第二層預(yù)測圖像，并可通過將從比特流獲得的殘差數(shù)據(jù)與預(yù)測圖像的 樣值進行合成來重建當(dāng)前塊。
[0200] 根據(jù)各種實施例的層間視頻解碼設(shè)備20可包括至少一個數(shù)據(jù)存儲單元(未示出）， 其中，亮度補償信息獲得器22、合并候選列表產(chǎn)生器24以及運動信息確定器26的輸入和輸 出數(shù)據(jù)被存儲在所述至少一個數(shù)據(jù)存儲單元中。層間視頻解碼設(shè)備20可包括用于管理數(shù)據(jù) 存儲單元(未示出）的數(shù)據(jù)輸入和輸出的存儲器控制器(未示出）。
[0201] 為了經(jīng)由視頻解碼重建視頻，根據(jù)各種實施例的層間視頻解碼設(shè)備20可與安裝在 層間視頻解碼設(shè)備20中的內(nèi)部視頻編碼處理器或外部視頻編碼處理器協(xié)作操作，以便執(zhí)行 包括變換的視頻解碼操作。層間視頻解碼設(shè)備20的內(nèi)部視頻編碼處理器可以是單獨的處理 器，或者可選擇地，層間視頻解碼設(shè)備20、中央處理設(shè)備或圖形處理設(shè)備可包括視頻解碼處 理模塊來執(zhí)行基本視頻解碼操作。
[0202] 圖3是用于描述由根據(jù)各種實施例的層間視頻解碼設(shè)備20基于當(dāng)前塊是否執(zhí)行亮 度補償來確定合并候選可能性信息的方法的流程圖。
[0203]層間視頻解碼設(shè)備20可將當(dāng)前塊的層間候選的合并候選可能性信息設(shè)置為0。層 間候選是包括在與包括當(dāng)前塊的圖像的層不同的層的圖像中的候選。例如，層間候選可包 括第一層圖像中的由當(dāng)前塊的從第二層當(dāng)前塊起的視差矢量所指示的第一層塊、以及第一 層塊的右下塊。
[0204] 在操作31，層間視頻解碼設(shè)備20可將"&￥&11&1316?1 &81￥1(："的值設(shè)置為1。 "availableFlaglvMC"指示由當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視差矢量所指示的第 一層候選的合并候選可能性信息。
[0205]在操作32,層間視頻解碼設(shè)備20可確定獲得的亮度補償信息的值是否為0。例如， 層間視頻解碼設(shè)備20可確定獲得的"ic_flag"的值是否為0。
[0206] 在操作33,當(dāng)獲得的亮度補償信息的值為0時，層間視頻解碼設(shè)備20可推導(dǎo) "availableFlaglvMC"的值。層間視頻解碼設(shè)備20可基于由當(dāng)前塊的從第二層當(dāng)前塊的位 置開始的視差矢量所指示的第一層候選是否執(zhí)行了時間方向預(yù)測來推導(dǎo) "avai 1 ab 1 eF 1 ag 1 vM(T的值。此外，推導(dǎo)出的值可被確定為"avai 1 ab 1 eF 1 ag 1 vM(T的值。
[0207] 例如，當(dāng)由當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視差矢量所指示的第一層塊執(zhí) 行時間方向預(yù)測時，層間視頻解碼設(shè)備20可將"avai 1 ab 1 eF 1 ag 1 vM(T的值推導(dǎo)為1。此外，推 導(dǎo)出的值可被確定為"avai 1 ab 1 eF 1 ag 1 vM(T的值。
[0208] 參考操作34,當(dāng)獲得的亮度補償信息的值不為0時，層間視頻解碼設(shè)備20可不推導(dǎo) "availableFlaglvMC"的值。例如，當(dāng)"ic_flag"的值為1時，層間視頻解碼設(shè)備20可不推導(dǎo) "&￥8；[1313]^]^]^0''的值，而是將"3￥3；[1313]^]^]^0''的值保持為預(yù)設(shè)的0。
[0209] 此外，當(dāng)獲得的"ic_f lag"的值為1時，層間視頻解碼設(shè)備20可通過考慮與當(dāng)前塊 相應(yīng)的第一層候選的時間方向的運動信息來確定是否將各種類型的候選添加到合并候選 列表。
[0210] 例如，當(dāng)?shù)诙赢?dāng)前塊的空間候選的運動矢量和與第二層當(dāng)前塊相應(yīng)的第一層候 選的運動矢量相同時，合并候選列表產(chǎn)生器24可不將所述空間候選添加到合并候選列表。
[0211] 此外，當(dāng)?shù)诙赢?dāng)前塊的空間候選的參考索引和與第二層當(dāng)前塊相應(yīng)的第一層候 選的參考索引相同時，合并候選列表產(chǎn)生器24可不將所述空間候選添加到合并候選列表， 而不管所述空間候選的運動矢量和第一層候選的時間方向的運動矢量是否相同。
[0212]從操作31到操作23的處理可被同樣地應(yīng)用于第一層圖像中的由從第二層當(dāng)前塊 的位置開始的視差矢量所指示的第一層候選的右下候選。在這種情況下，第一層候選的右 下候選的合并候選可能性信息可由"avai 1 ab 1 eF 1 agI vMCShif t" "指示。
[0213] 圖4是用于描述根據(jù)各種實施例的與第二層當(dāng)前塊相應(yīng)的第一層候選塊的示例的 示圖。
[0214] 層間視頻編碼設(shè)備10可使用利用鄰近塊和當(dāng)前塊之間的運動信息的相關(guān)性的合 并模式。
[0215] 當(dāng)層間視頻編碼設(shè)備10使用合并模式時，層間視頻編碼設(shè)備10可同樣地形成用于 在編碼設(shè)備和解碼設(shè)備中推導(dǎo)運動信息的合并候選列表，并可將所述列表中的候選選擇信 息發(fā)送到解碼設(shè)備，因此有效地減少了運動相關(guān)數(shù)據(jù)的量。
[0216] 層間視頻編碼設(shè)備10可將層間候選塊添加到用于幀間預(yù)測的合并候選列表。層間 候選塊是包括在與包括當(dāng)前塊的圖像的層不同的層的圖像中的候選塊。
[0217]參照圖4,層間候選塊可包括由當(dāng)前塊的從包括在第二層畫面41中的當(dāng)前塊42的 位置開始的視差矢量43所指示的塊45。
[0218]此外，層間候選塊可包括由當(dāng)前塊的從包括在第二層畫面41中的當(dāng)前塊42的位置 開始的視差矢量43所指示的塊45的右下塊46。
[0219] 以上描述的層間候選僅是本發(fā)明的實施例。除了上述塊以外，層間候選塊可還包 括各種塊，其中，所述各種塊包括在與包括當(dāng)前塊的圖像的層不同的層的圖像中。
[0220] 圖5示出根據(jù)各種實施例的當(dāng)前塊的空間候選塊。
[0221] 參照圖5,將被參照以從當(dāng)前畫面50預(yù)測當(dāng)前塊51的運動信息的候選塊可以是與 當(dāng)前塊51空間鄰近的預(yù)測單元。
[0222] 例如，位于當(dāng)前塊51的左側(cè)底部樣本的左側(cè)底部之外的鄰近塊AO 52、位于當(dāng)前塊 51的左側(cè)底部樣本的左側(cè)之外的鄰近塊A1 53、位于當(dāng)前塊51的右側(cè)頂部樣本的右側(cè)頂部 之外的鄰近塊B0 54、鄰近于當(dāng)前塊51的右側(cè)頂部樣本的頂部之外的鄰近塊B1 55、以及位 于當(dāng)前塊51的左側(cè)頂部樣本的左側(cè)頂部之外的鄰近塊B2 56可以是當(dāng)前塊51的空間候選 塊。
[0223] 層間視頻解碼設(shè)備20可確定是否將空間候選塊添加到合并候選列表。例如，層間 視頻解碼設(shè)備20可考慮當(dāng)前塊51是否執(zhí)行亮度補償以及與當(dāng)前塊51相應(yīng)的第一層候選塊 的時間方向的運動信息來確定是否將空間候選塊添加到合并候選列表。
[0224]例如，當(dāng)層間視頻解碼設(shè)備20確定對第二層當(dāng)前塊51執(zhí)行了亮度補償，并且作為 第二層當(dāng)前塊51的空間候選塊之一的A0 52的時間方向運動矢量和與第二層當(dāng)前塊51相應(yīng) 的第一層候選塊的時間方向運動矢量相同時，合并候選列表產(chǎn)生器24可不將A0 52添加到 合并候選列表。
[0225] 此外，當(dāng)層間視頻解碼設(shè)備20確定對第二層當(dāng)前塊51執(zhí)行了亮度補償并且作為第 二層當(dāng)前塊51的空間候選塊之一的A0 52的參考索引和與第二層當(dāng)前塊51相應(yīng)的第一層候 選塊的參考索引相同時，層間視頻解碼設(shè)備20可不將A0 52添加到合并候選列表，而不管A0 52的運動矢量和第一層候選塊的時間方向運動矢量是否相同。
[0226] 圖6示出根據(jù)實施例的在幀間預(yù)測模式中使用的時間預(yù)測候選。
[0227] 參照圖6,對于包括在當(dāng)前畫面50中的當(dāng)前塊51的幀間預(yù)測，當(dāng)前塊51的包括在參 考畫面57中的共同定位塊59以及所述共同定位塊59的鄰近塊中的至少一個鄰近塊可被包 括在時間預(yù)測候選中。例如，共同定位塊54的右下塊59可包括在時間預(yù)測候選中。同時，用 于確定時間預(yù)測候選的塊可以是編碼單元或預(yù)測單元。
[0228] 層間視頻解碼設(shè)備20可確定是否將時間候選塊添加到合并候選列表。例如，層間 視頻解碼設(shè)備20可考慮當(dāng)前塊51是否執(zhí)行亮度補償以及與當(dāng)前塊51相應(yīng)的第一層候選塊 的時間方向的運動信息來確定是否將時間候選塊添加到合并候選列表。
[0229]例如，當(dāng)層間視頻解碼設(shè)備20確定對第二層當(dāng)前塊51執(zhí)行了亮度補償，并且作為 第二層當(dāng)前塊51的時間候選塊之一的共同定位塊的時間方向運動矢量以及與第二層當(dāng)前 塊51相應(yīng)的第一層候選塊的時間方向運動矢量相同時，層間視頻解碼設(shè)備20可不將所述共 同定位塊添加到合并候選列表。
[0230]此外，當(dāng)層間視頻解碼設(shè)備20確定對第二層當(dāng)前塊51執(zhí)行了亮度補償，并且作為 第二層當(dāng)前塊51的時間候選塊之一的共同定位塊的參考索引以及與第二層當(dāng)前塊51相應(yīng) 的第一層候選塊的參考索引相同時，層間視頻解碼設(shè)備20可不將所述共同定位塊添加到合 并候選列表，而不管所述共同定位塊的運動矢量以及第一層候選塊的時間方向運動矢量是 否相同。
[0231]圖7是用于描述根據(jù)各種實施例的基于當(dāng)前塊是否執(zhí)行亮度補償而不將視差矢量 的垂直分量設(shè)置為0的方法的流程圖。
[0232] 層間視頻解碼設(shè)備20可確定層間候選塊。例如，合并候選列表產(chǎn)生器24可將由從 第二層當(dāng)前塊的位置開始的視差矢量所指示的第一層塊確定為與當(dāng)前塊相應(yīng)的層間候選 塊。
[0233] 層間視頻解碼設(shè)備20可基于當(dāng)前塊是否執(zhí)行亮度補償來確定用于確定層間候選 塊所需的視差矢量。
[0234] 例如，參照圖7的操作71，當(dāng)獲得的ic_flag為0時，層間視頻解碼設(shè)備20可將當(dāng)前 塊的視差矢量的垂直分量設(shè)置為0。
[0235] 此外，參照圖7的操作72,當(dāng)獲得的ic_flag為0時，層間視頻解碼設(shè)備20可不將當(dāng) 前塊的視差矢量的垂直分量設(shè)置為〇。同時，以上參照圖3至圖7描述的操作由層間視頻解碼 設(shè)備20執(zhí)行，但對本領(lǐng)域普通技術(shù)人員而言將顯而易見的是，所述操作還可由層間視頻編 碼設(shè)備10執(zhí)行。
[0236] 如上所述，根據(jù)實施例的層間視頻編碼設(shè)備10和根據(jù)實施例的層間視頻解碼設(shè)備 20可將視頻數(shù)據(jù)的塊劃分為具有樹結(jié)構(gòu)的編碼單元，并且編碼單元、預(yù)測單元和變換單元 可用于編碼單元的層間預(yù)測或幀間預(yù)測。在下文中，將參照圖8至圖20描述根據(jù)實施例的基 于具有樹結(jié)構(gòu)的編碼單元和變換單元的視頻編碼方法、視頻編碼設(shè)備、視頻解碼方法和視 頻解碼設(shè)備。
[0237] 原則上，在用于多層視頻的編碼和解碼處理期間，單獨地執(zhí)行對第一層圖像的編 碼和解碼處理以及對第二層圖像的編碼和解碼處理。換句話說，當(dāng)對多層視頻執(zhí)行了層間 預(yù)測時，單層視頻的編碼和解碼結(jié)果可被互相參考，但是根據(jù)單層視頻執(zhí)行單獨的編碼和 解碼處理。
[0238] 因此，由于為了便于描述而在下面參照圖8至圖20描述的基于具有樹結(jié)構(gòu)的編碼 單元的視頻編碼處理和視頻解碼處理是對單層視頻進行處理的視頻編碼處理和視頻解碼 處理，因此僅執(zhí)行幀間預(yù)測和運動補償。然而，如參照圖la至圖7所描述的，為了對視頻流進 行編碼和解碼，對基本層圖像和第二層圖像執(zhí)行層間預(yù)測和補償。
[0239] 因此，為了根據(jù)實施例的層間視頻編碼設(shè)備10的編碼器基于具有樹結(jié)構(gòu)的編碼單 元對多層視頻進行編碼，層間視頻編碼設(shè)備10可包括與多層視頻的層數(shù)一樣多的圖8的視 頻編碼設(shè)備1〇〇,以便根據(jù)每個單層視頻執(zhí)行視頻編碼，由此控制每個視頻編碼設(shè)備1〇〇對 被分配的單層視頻進行編碼。此外，層間視頻編碼設(shè)備10可通過使用每個視頻編碼設(shè)備100 的單獨的單視點的編碼結(jié)果來執(zhí)行視點間預(yù)測。因此，層間視頻編碼設(shè)備10的編碼器可產(chǎn) 生包括根據(jù)層的編碼結(jié)果的基本視點視頻流和第二層視頻流。
[0240]類似地，為了根據(jù)實施例的層間視頻解碼設(shè)備20的解碼器基于具有樹結(jié)構(gòu)的編碼 單元對多層視頻進行解碼時，層間視頻解碼設(shè)備20可包括與多層視頻的層數(shù)一樣多的圖9 的視頻解碼設(shè)備200,以便針對接收到的第一層視頻流和接收到的第二層視頻流根據(jù)層執(zhí) 行視頻解碼，從而控制每個視頻解碼設(shè)備200對被分配的單層視頻進行解碼。此外，層間視 頻解碼設(shè)備20可通過使用每個視頻解碼設(shè)備200的單獨的單層的解碼結(jié)果來執(zhí)行層間補 償。因此，層間視頻解碼設(shè)備20的解碼器可產(chǎn)生根據(jù)層而被重建的第一層圖像和第二層圖 像。
[0241] 圖8是根據(jù)本發(fā)明的實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的 框圖。
[0242] 涉及基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的根據(jù)實施例的視頻編碼設(shè)備100包 括編碼單元確定器120和輸出單元130。在下文中，為便于描述，涉及基于根據(jù)樹結(jié)構(gòu)的編碼 單元的視頻預(yù)測的根據(jù)實施例的視頻編碼設(shè)備100將被簡稱為"視頻編碼設(shè)備100"。
[0243] 編碼單元確定器120可基于圖像的當(dāng)前畫面的最大編碼單元來劃分當(dāng)前畫面，其 中，最大編碼單元是具有最大尺寸的編碼單元。如果當(dāng)前畫面大于最大編碼單元，則可將當(dāng) 前畫面的圖像數(shù)據(jù)劃分為至少一個最大編碼單元。根據(jù)實施例的最大編碼單元可以是尺寸 為32 X 32、64 X 64、128 X 128、256 X 256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長度 為2的若干次方的正方形。
[0244] 根據(jù)實施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼 單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單 元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度為最低 深度。由于隨著最大編碼單元的深度加深，與每個深度相應(yīng)的編碼單元的尺寸減小，因此與 更高深度相應(yīng)的編碼單元可包括多個與更低深度相應(yīng)的編碼單元。
[0245] 如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單 元，并且每個最大編碼單元可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對根 據(jù)實施例的最大編碼單元進行劃分，因此可根據(jù)深度對包括在最大編碼單元中的空間域的 圖像數(shù)據(jù)進行分層分類。
[0246] 可預(yù)先確定編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大編碼單元的高度和寬度被分層劃分的總次數(shù)。
[0247] 編碼單元確定器120對通過根據(jù)深度對最大編碼單元的區(qū)域進行劃分而獲得的至 少一個劃分區(qū)域進行編碼，并且根據(jù)所述至少一個劃分區(qū)域來確定用于輸出最終編碼的圖 像數(shù)據(jù)的深度。換句話說，編碼單元確定器120通過根據(jù)當(dāng)前畫面的最大編碼單元以根據(jù)深 度的較深層編碼單元對圖像數(shù)據(jù)進行編碼，并選擇具有最小編碼誤差的深度，來確定最終 深度。將確定的最終深度和根據(jù)確定的編碼深度的編碼的圖像數(shù)據(jù)輸出到輸出單元130。
[0248] 基于與等于或低于最大深度的至少一個深度相應(yīng)的較深層編碼單元，對最大編碼 單元中的圖像數(shù)據(jù)進行編碼，并且基于每個較深層編碼單元比較對圖像數(shù)據(jù)進行編碼的結(jié) 果。在對較深層編碼單元的編碼誤差進行比較之后，可選擇具有最小編碼誤差的深度?？舍?對每個最大編碼單元選擇至少一個最終深度。
[0249] 隨著編碼單元根據(jù)深度而被分層地劃分并且隨著編碼單元的數(shù)量增加，最大編碼 單元的尺寸被劃分。此外，即使在一個最大編碼單元中編碼單元與同一深度相應(yīng)，仍通過分 別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與同一深度相應(yīng)的每個編碼單 元劃分到更低深度。因此，即使當(dāng)圖像數(shù)據(jù)被包括在一個最大編碼單元中時，編碼誤差仍可 根據(jù)所述一個最大編碼單元中的區(qū)域而不同，因此最終深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不 同。因此，可在一個最大編碼單元中確定一個或更多個最終深度，并且可根據(jù)至少一個最終 深度的編碼單元來對最大編碼單元的圖像數(shù)據(jù)進行劃分。
[0250] 因此，根據(jù)實施例的編碼單元確定器120可確定包括在最大編碼單元中的具有樹 結(jié)構(gòu)的編碼單元。根據(jù)實施例的"具有樹結(jié)構(gòu)的編碼單元"包括最大編碼單元中所包括的所 有較深層編碼單元之中的與確定為最終深度的深度相應(yīng)的編碼單元。可根據(jù)最大編碼單元 的同一區(qū)域中的深度來分層地確定最終深度的編碼單元，并可在不同區(qū)域中獨立地確定最 終深度的編碼單元。類似地，可與另一區(qū)域中的最終深度相獨立地確定當(dāng)前區(qū)域中的最終 深度。
[0251] 根據(jù)實施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數(shù)相關(guān)的 索引。根據(jù)實施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。 根據(jù)實施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級的總數(shù)。例 如，當(dāng)最大編碼單元的深度是0時，對最大編碼單元劃分一次的編碼單元的深度可被設(shè)置為 1，對最大編碼單元劃分兩次的編碼單元的深度可被設(shè)置為2。這里，如果最小編碼單元是最 大編碼單元被劃分四次的編碼單元，則存在深度〇、1、2、3和4的深度等級，并且因此第一最 大深度可被設(shè)置為4，第二最大深度可被設(shè)置為5。
[0252] 可根據(jù)最大編碼單元執(zhí)行預(yù)測編碼和變換。根據(jù)最大編碼單元，基于根據(jù)等于或 小于最大深度的深度的較深層編碼單元來執(zhí)行預(yù)測編碼和變換。
[0253] 由于每當(dāng)根據(jù)深度對最大編碼單元進行劃分時，較深層編碼單元的數(shù)量增加，因 此對隨著深度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預(yù)測編碼和變換的編碼。為了便 于描述，在最大編碼單元中，現(xiàn)在將基于當(dāng)前深度的編碼單元來描述預(yù)測編碼和變換。
[0254] 根據(jù)實施例的視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進行編碼的數(shù)據(jù)單 元的尺寸或形狀。為了對圖像數(shù)據(jù)進行編碼，執(zhí)行諸如預(yù)測編碼、變換和熵編碼的操作，此 時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。
[0255] 例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進行編碼的編碼單元，還可選 擇不同于編碼單元的數(shù)據(jù)單元，以便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測編碼。
[0256] 為了在最大編碼單元中執(zhí)行預(yù)測編碼，可基于根據(jù)實施例的與最終深度相應(yīng)的編 碼單元（即，基于不再被劃分為與更低深度相應(yīng)的編碼單元的編碼單元)來執(zhí)行預(yù)測編碼。 在下文中，不再被劃分且成為用于預(yù)測編碼的基本單元的編碼單元現(xiàn)在將被稱為"預(yù)測單 元"。通過劃分預(yù)測單元而獲得的分區(qū)可包括預(yù)測單元或通過對預(yù)測單元的高度和寬度中 的至少一個進行劃分而獲得的數(shù)據(jù)單元。分區(qū)是編碼單元的預(yù)測單元被劃分的數(shù)據(jù)單元， 并且預(yù)測單元可以是與編碼單元具有相同的尺寸的分區(qū)。
[0257] 例如，當(dāng)2NX2N(其中，N是正整數(shù)）的編碼單元不再被劃分并成為2NX2N的預(yù)測單 元時，分區(qū)的尺寸可以是2NX2N、2NXN、NX 2N或NXN。根據(jù)實施例的分區(qū)模式的示例包括 通過對預(yù)測單元的高度或?qū)挾冗M行對稱地劃分而獲得的對稱分區(qū)、通過對預(yù)測單元的高度 或?qū)挾冗M行非對稱地劃分(諸如，l:n或η: 1)而獲得的分區(qū)、通過對預(yù)測單元進行幾何地劃 分而獲得的分區(qū)、以及具有任意形狀的分區(qū)。
[0258] 預(yù)測單元的預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個。例如， 可對2Ν X 2Ν、2Ν X Ν、Ν X 2Ν或Ν X Ν的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。此外，可僅對2Ν X 2Ν的 分區(qū)執(zhí)行跳過模式。可對編碼單元中的一個預(yù)測單元獨立地執(zhí)行編碼，從而選擇具有最小 編碼誤差的預(yù)測模式。
[0259] 根據(jù)實施例的視頻編碼設(shè)備100不僅可基于用于對圖像數(shù)據(jù)進行編碼的編碼單元 還可基于與編碼單元不同的數(shù)據(jù)單元，來對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編碼 單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來執(zhí)行變換。例如，變 換單元可包括幀內(nèi)模式的數(shù)據(jù)單元和幀間模式的變換單元。
[0260] 根據(jù)實施例，以與編碼單元根據(jù)樹結(jié)構(gòu)被劃分的方式類似的方式，編碼單元中的 變換單元可被遞歸地劃分為更小尺寸的區(qū)域。因此，可基于根據(jù)變換深度的具有樹結(jié)構(gòu)的 變換單元，對編碼單元中的殘差數(shù)據(jù)進行劃分。
[0261 ]還可在根據(jù)實施例的變換單元中設(shè)置變換深度，其中，變換深度指示通過對編碼 單元的高度和寬度進行劃分而達到變換單元的劃分次數(shù)。例如，在2ΝΧ2Ν的當(dāng)前編碼單元 中，當(dāng)變換單元的尺寸是2NX2N時，變換深度可以是0,當(dāng)變換單元的尺寸是NXN時，變換深 度可以是1，當(dāng)變換單元的尺寸是N/2XN/2時，變換深度可以是2。換句話說，還可根據(jù)變換 深度設(shè)置具有樹結(jié)構(gòu)的變換單元。
[0262] 根據(jù)深度的劃分信息不僅需要關(guān)于深度的信息，還需要關(guān)于與預(yù)測編碼和變換相 關(guān)的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的深度，還確定用于將預(yù) 測單元劃分為分區(qū)的分區(qū)模式、根據(jù)預(yù)測單元的預(yù)測模式以及用于變換的變換單元的尺 寸。
[0263] 稍后將參照圖9至圖19詳細描述根據(jù)實施例的最大編碼單元中的根據(jù)樹結(jié)構(gòu)的編 碼單元以及確定預(yù)測單元/分區(qū)和變換單元的方法。
[0264] 編碼單元確定器120可通過使用基于拉格朗日乘數(shù)的率失真優(yōu)化來測量根據(jù)深度 的較深層編碼單元的編碼誤差。
[0265] 輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)和根據(jù)深度的劃分信息， 其中，所述最大編碼單元的圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個深度而被 編碼。
[0266] 可通過對圖像的殘差數(shù)據(jù)進行編碼來獲得編碼的圖像數(shù)據(jù)。
[0267] 根據(jù)深度的劃分信息可包括關(guān)于深度的信息、關(guān)于預(yù)測單元中的分區(qū)模式的信 息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的劃分的信息。
[0268] 可通過使用根據(jù)深度的劃分信息來定義關(guān)于最終深度的信息，其中，根據(jù)深度的 劃分信息指示是否對更低深度而不是當(dāng)前深度的編碼單元執(zhí)行編碼。如果當(dāng)前編碼單元的 當(dāng)前深度是深度，則對當(dāng)前編碼單元進行編碼，因此可將劃分信息定義為不將當(dāng)前編碼單 元劃分到更低深度?？蛇x擇地，如果當(dāng)前編碼單元的當(dāng)前深度不是深度，則對更低深度的編 碼單元執(zhí)行編碼，并因此可將劃分信息定義為對當(dāng)前編碼單元進行劃分以獲得更低深度的 編碼單元。
[0269] 如果當(dāng)前深度不是深度，則對被劃分到更低深度的編碼單元的編碼單元執(zhí)行編 碼。由于更低深度的至少一個編碼單元存在于當(dāng)前深度的一個編碼單元中，因此對更低深 度的每個編碼單元重復(fù)執(zhí)行編碼，并因此可對具有相同深度的編碼單元遞歸地執(zhí)行編碼。
[0270] 由于針對一個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對具有深度的編 碼單元確定劃分信息，因此可針對一個最大編碼單元確定至少一條劃分信息。此外，由于根 據(jù)深度對最大編碼單元的圖像數(shù)據(jù)進行分層劃分，因此最大編碼單元的圖像數(shù)據(jù)的深度可 根據(jù)位置而不同，因此可針對圖像數(shù)據(jù)設(shè)置深度和劃分信息。
[0271] 因此，根據(jù)實施例的輸出單元130可將相應(yīng)深度和關(guān)于編碼模式的編碼信息分配 給包括在最大編碼單元中的編碼單元、預(yù)測單元和最小單元中的至少一個。
[0272] 根據(jù)實施例的最小單元是通過將構(gòu)成最低深度的最小編碼單元劃分為4份而獲取 的正方形數(shù)據(jù)單元。可選擇地，根據(jù)實施例的最小單元可以是可包括在最大編碼單元中所 包括的所有編碼單元、預(yù)測單元、分區(qū)單元和變換單元中的最大正方形數(shù)據(jù)單元。
[0273] 例如，通過輸出單元130輸出的編碼信息可被分類為根據(jù)較深層編碼單元的編碼 信息和根據(jù)預(yù)測單元的編碼信息。根據(jù)較深層編碼單元的編碼信息可包括關(guān)于預(yù)測模式的 信息和關(guān)于分區(qū)尺寸的信息。根據(jù)預(yù)測單元的編碼信息可包括關(guān)于幀間模式的估計方向的 信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運動矢量的信息、關(guān)于幀內(nèi)模式的色度分 量的信息、以及關(guān)于幀內(nèi)模式的插值方法的信息。
[0274] 根據(jù)畫面、條帶或G0P定義的關(guān)于編碼單元的最大尺寸的信息和關(guān)于最大深度的 信息可被插入到比特流的頭、序列參數(shù)集或畫面參數(shù)集中。
[0275] 還可通過比特流的頭、序列參數(shù)集或畫面參數(shù)集來輸出關(guān)于針對當(dāng)前視頻允許的 變換單元的最大尺寸的信息、以及關(guān)于變換單元的最小尺寸的信息。輸出單元130可對與預(yù) 測相關(guān)的參考信息、預(yù)測信息和條帶類型信息進行編碼并輸出。
[0276] 在根據(jù)最簡單的實施例的視頻編碼設(shè)備100中，較深層編碼單元可以是通過將更 高深度(更高一層）的編碼單元的高度或?qū)挾葎澐殖蓛煞荻@取的編碼單元。換句話說，在 當(dāng)前深度的編碼單元的尺寸是2NX2N時，更低深度的編碼單元的尺寸是NXN。此外，尺寸為 2NX2N的具有當(dāng)前深度的編碼單元可包括最多4個具有更低深度的編碼單元。
[0277] 因此，視頻編碼設(shè)備100可基于考慮當(dāng)前畫面的特征而確定的最大編碼單元的尺 寸和最大深度，通過針對每個最大編碼單元確定具有最優(yōu)形狀和最優(yōu)尺寸的編碼單元來形 成具有樹結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預(yù)測模式和變換中的任意一個對每 個最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特征來確定最優(yōu)編碼模 式。
[0278] 因此，如果以傳統(tǒng)宏塊對具有高分辨率或大數(shù)據(jù)量的圖像進行編碼，則每個畫面 的宏塊的數(shù)量極度增加。因此，針對每個宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因此難以發(fā)送壓 縮的信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用根據(jù)實施例的視頻編碼設(shè)備1〇〇,由于在 考慮圖像的尺寸的同時增加編碼單元的最大尺寸，并且在考慮圖像的特征的同時調(diào)整編碼 單元，因此可提高圖像壓縮效率。
[0279] 以上參照圖la描述的層間視頻編碼設(shè)備10可包括與層數(shù)一樣多的視頻編碼設(shè)備 1〇〇,以便根據(jù)多層視頻中的層對單層圖像進行編碼。例如，第一層編碼器可包括一個視頻 編碼設(shè)備100,第二層編碼器可包括與第二層的數(shù)量一樣多的視頻編碼設(shè)備100。
[0280] 當(dāng)視頻編碼設(shè)備100對第一層圖像進行編碼時，編碼單元確定器120可針對每個最 大編碼單元根據(jù)具有樹結(jié)構(gòu)的編碼單元確定用于幀間預(yù)測的預(yù)測單元，并可根據(jù)預(yù)測單元 執(zhí)行幀間預(yù)測。
[0281] 即使在視頻編碼設(shè)備100對第二層圖像進行編碼時，編碼單元確定器120可針對每 個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元和預(yù)測單元，并可根據(jù)預(yù)測單元執(zhí)行幀間預(yù) 測 。
[0282] 視頻編碼設(shè)備100可對第一層圖像和第二層圖像之間的亮度差進行編碼，以便補 償亮度差。然而，可根據(jù)編碼單元的編碼模式確定是否執(zhí)行亮度補償。例如，可僅對尺寸為 2Nx2N的預(yù)測單元執(zhí)行亮度補償。
[0283] 圖9是根據(jù)本發(fā)明的各種實施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備 200的框圖。
[0284] 涉及基于具有樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的根據(jù)實施例的視頻解碼設(shè)備200包 括接收器210、圖像數(shù)據(jù)和編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。為了便于描述，涉 及基于具有樹結(jié)構(gòu)的編碼單元的視頻預(yù)測的根據(jù)實施例的視頻解碼設(shè)備200將被簡稱為 "視頻解碼設(shè)備200"。
[0285] 用于根據(jù)實施例的視頻解碼設(shè)備200的解碼操作的各種術(shù)語(諸如編碼單元、深 度、預(yù)測單元、變換單元和各種劃分信息）的定義與參照圖8和視頻編碼設(shè)備100描述的定義 相同。
[0286] 接收器210接收并解析編碼的視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解 析的比特流針對每個編碼單元提取編碼的圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù) 解碼器230，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提 取器220可從關(guān)于當(dāng)前畫面的頭、序列參數(shù)集或畫面參數(shù)集提取關(guān)于當(dāng)前畫面的編碼單元 的最大尺寸的信息。
[0287] 此外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流根據(jù)每個最大編碼單元提 取具有樹結(jié)構(gòu)的編碼單元的最終深度和劃分信息。提取的最終深度和劃分信息被輸出到圖 像數(shù)據(jù)解碼器230。換句話說，比特流中的圖像數(shù)據(jù)被劃分為最大編碼單元，使得圖像數(shù)據(jù) 解碼器230針對每個最大編碼單元對圖像數(shù)據(jù)進行解碼。
[0288] 可針對至少一條深度信息設(shè)置根據(jù)最大編碼單元的深度和劃分信息，所述劃分信 息可包括關(guān)于相應(yīng)編碼單元的分區(qū)模式的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的劃 分的信息。此外，根據(jù)深度的劃分信息可被提取為關(guān)于深度的信息。
[0289] 由圖像數(shù)據(jù)和編碼信息提取器220提取的根據(jù)每個最大編碼單元的深度和劃分信 息是這樣的深度和劃分信息:所述深度和劃分信息被確定為在編碼器(諸如，根據(jù)實施例的 視頻編碼設(shè)備1〇〇)根據(jù)每個最大編碼單元對根據(jù)深度的每個較深層編碼單元重復(fù)地執(zhí)行 編碼時產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過根據(jù)產(chǎn)生最小編碼誤差的編碼深 度和編碼模式對圖像數(shù)據(jù)進行解碼來重建圖像。
[0290] 由于根據(jù)實施例的關(guān)于深度和編碼模式的編碼信息可被分配給相應(yīng)的編碼單元、 預(yù)測單元和最小單元之中的預(yù)定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預(yù) 定數(shù)據(jù)單元提取深度和劃分信息。如果相應(yīng)最大編碼單元的深度和劃分信息根據(jù)預(yù)定數(shù)據(jù) 單元被記錄，則可將被分配相同的深度和相同的劃分信息的預(yù)定數(shù)據(jù)單元推斷為是包括在 同一最大編碼單元中的數(shù)據(jù)單元。
[0291] 圖像數(shù)據(jù)解碼器230可基于根據(jù)最大編碼單元的深度和劃分信息，通過對每個最 大編碼單元中的圖像數(shù)據(jù)進行解碼來重建當(dāng)前畫面。換句話說，圖像數(shù)據(jù)解碼器230可基于 提取出的關(guān)于包括在每個最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元之中的每個編碼單元 的分區(qū)模式、預(yù)測模式和變換單元的信息，對編碼的圖像數(shù)據(jù)進行解碼。解碼處理可包括預(yù) 測(包含幀內(nèi)預(yù)測和運動補償)和逆變換。
[0292] 圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)深度的編碼單元的預(yù)測單元的分區(qū)模式和預(yù) 測模式的信息，根據(jù)每個編碼單元的分區(qū)和預(yù)測模式執(zhí)行幀內(nèi)預(yù)測或運動補償。
[0293] 此外，圖像數(shù)據(jù)解碼器230可針對每個編碼單元讀取關(guān)于根據(jù)樹結(jié)構(gòu)的變換單元 的信息，以便基于每個編碼單元的變換單元執(zhí)行逆變換，以針對每個最大編碼單元來進行 逆變換。經(jīng)過逆變換，可重建編碼單元的空間域的像素值。
[0294] 圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當(dāng)前最大編碼單元的 深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度是深度。因此，圖 像數(shù)據(jù)解碼器230可通過使用關(guān)于預(yù)測單元的分區(qū)模式的信息、關(guān)于預(yù)測模式的信息和關(guān) 于變換單元的尺寸的信息，對當(dāng)前最大編碼單元中的編碼的數(shù)據(jù)進行解碼。
[0295] 換句話說，可通過觀察被分配用于編碼單元、預(yù)測單元和最小單元之中的預(yù)定數(shù) 據(jù)單元的編碼信息集來收集包含包括相同劃分信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù) 據(jù)單元可被認為是將由圖像數(shù)據(jù)解碼器230以相同編碼模式進行解碼的一個數(shù)據(jù)單元。這 樣，可通過獲得關(guān)于每個編碼單元的編碼模式的信息來對當(dāng)前編碼單元進行解碼。
[0296]以上參照圖2a描述的多層視頻解碼設(shè)備20可包括與視點數(shù)一樣多的視頻解碼設(shè) 備200,以便通過對接收的第一層圖像流和接收的第二層圖像流進行解碼，從而重建第一層 圖像和第二層圖像。
[0297] 當(dāng)?shù)谝粚訄D像流被接收時，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù) 據(jù)和編碼信息提取器220從第一層圖像流提取的第一層圖像的樣本劃分為具有樹結(jié)構(gòu)的編 碼單元。圖像數(shù)據(jù)解碼器230可通過對通過劃分第一層圖像的樣本而獲得的具有樹結(jié)構(gòu)的 編碼單元執(zhí)行用于幀間預(yù)測的根據(jù)預(yù)測單元的運動補償，重建第一層圖像。
[0298] 當(dāng)?shù)诙訄D像流被接收時，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù) 據(jù)和編碼信息提取器220從第二層圖像流提取的第二層圖像的樣本劃分為具有據(jù)樹結(jié)構(gòu)的 編碼單元。圖像數(shù)據(jù)解碼器230可通過對通過劃分第二層圖像的樣本而獲得的編碼單元執(zhí) 行用于幀間預(yù)測的根據(jù)預(yù)測單元的運動補償，重建第二層圖像。
[0299] 提取器220可從比特流獲得與亮度誤差相關(guān)的信息，以便補償?shù)谝粚訄D像和第二 層圖像之間的亮度差。然而，可根據(jù)編碼單元的編碼模式確定是否執(zhí)行亮度補償。例如，可 僅對尺寸為2Nx2N的預(yù)測單元執(zhí)行亮度補償。
[0300] 因此，視頻解碼設(shè)備200可獲得與在對每個最大編碼單元遞歸地執(zhí)行編碼時產(chǎn)生 最小編碼誤差的至少一個編碼單元有關(guān)的信息，并可使用所述信息來對當(dāng)前畫面進行解 碼。換句話說，可對每個最大編碼單元中的被確定為最優(yōu)編碼單元的具有樹結(jié)構(gòu)的編碼單 元進行解碼。
[0301] 因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過使用通過使用編碼單元 的尺寸和編碼模式來有效地對圖像數(shù)據(jù)進行解碼和重建，其中，所述編碼單元的尺寸和編 碼模式是通過使用從編碼器接收的最優(yōu)劃分信息，根據(jù)圖像數(shù)據(jù)的特性而被自適應(yīng)地確定 的。
[0302] 圖10是用于描述根據(jù)各種實施例的編碼單元的概念的示圖。
[0303] 編碼單元的尺寸可被表示為寬度X高度，并且可以是64 X 64、32 X 32、16 X 16和8 X 8。64 X 64的編碼單元可被劃分為64 X 64、64 X 32、32 X 64或32 X 32的分區(qū)，32 X 32的編碼 單元可被劃分為32 X 32、32 X 16、16 X 32或16 X 16的分區(qū)，16 X 16的編碼單元可被劃分為16 X 16、16 X 8、8 X 16或8 X 8的分區(qū)，8 X 8的編碼單元可被劃分為8 X 8、8 X 4、4 X 8或4 X 4的分 區(qū)。
[0304]在視頻數(shù)據(jù)310中，分辨率為1920 X 1080，編碼單元的最大尺寸為64，最大深度為 2。在視頻數(shù)據(jù)320中，分辨率為1920 X 1080，編碼單元的最大尺寸為64，最大深度為3。在視 頻數(shù)據(jù)330中，分辨率為352 X 288,編碼單元的最大尺寸為16,最大深度為1。圖10中示出的 最大深度表示從最大編碼單元到最小解碼單元的劃分總次數(shù)。
[0305]如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可能較大，從而不僅提高編碼 效率，而且準確地反映圖像的特征。因此，具有比視頻數(shù)據(jù)330更高分辨率的視頻數(shù)據(jù)310和 320的編碼單元的最大尺寸可以是64。
[0306]由于視頻數(shù)據(jù)310的最大深度是2,因此由于通過對最大編碼單元劃分兩次，深度 加深至兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元和長軸 尺寸為32和16的編碼單元。由于視頻數(shù)據(jù)330的最大深度是1，因此由于通過對最大編碼單 元劃分一次，深度加深至一層，因此視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最 大編碼單元和長軸尺寸為8的編碼單元。
[0307]由于視頻數(shù)據(jù)320的最大深度是3，因此由于通過對最大編碼單元劃分三次，深度 加深至3層，因此視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元和長軸 尺寸為32、16和8的編碼單元。隨著深度加深，可準確地表達詳細信息。
[0308]圖11是根據(jù)各種實施例的基于編碼單元的圖像編碼器400的框圖。
[0309] 根據(jù)實施例的圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120對圖像 數(shù)據(jù)進行編碼的操作。換句話說，幀內(nèi)預(yù)測器420在當(dāng)前幀405中根據(jù)每個預(yù)測單元對幀內(nèi) 模式下的編碼單元執(zhí)行幀內(nèi)預(yù)測，幀間預(yù)測器415根據(jù)每個預(yù)測單元通過使用當(dāng)前圖像405 和由恢復(fù)畫面緩存器410獲得的參考圖像對幀間模式下的編碼單元執(zhí)行幀間預(yù)測。當(dāng)前圖 像405可被劃分為最大編碼單元，然后最大編碼單元可被順序編碼。這里，可對從最大編碼 單元按照樹結(jié)構(gòu)劃分的編碼單元執(zhí)行編碼。
[0310] 通過從將被編碼的當(dāng)前圖像405的數(shù)據(jù)減去從幀內(nèi)預(yù)測器420或幀間預(yù)測器415輸 出的每個模式的編碼單元的預(yù)測數(shù)據(jù)來產(chǎn)生殘差數(shù)據(jù)，并且所述殘差數(shù)據(jù)根據(jù)每個變換單 元通過變換器425和量化器430被輸出為量化后的變換系數(shù)。量化后的變換系數(shù)通過反量化 器445和逆變換器450被恢復(fù)為空間域中的殘差數(shù)據(jù)?？臻g域中的殘差數(shù)據(jù)被添加到從幀內(nèi) 預(yù)測器420或幀間預(yù)測器輸出的每個模式的編碼單元的預(yù)測數(shù)據(jù)，從而被恢復(fù)為當(dāng)前圖像 405的編碼單元的空間域中的數(shù)據(jù)。空間域中的數(shù)據(jù)通過去塊單元455和樣本自適應(yīng)偏移 (SA0)執(zhí)行器460,因此恢復(fù)的圖像被產(chǎn)生?；謴?fù)的圖像被存儲在恢復(fù)畫面緩存器410中?；?復(fù)畫面緩存器410中存儲的恢復(fù)的圖像可被用作用于另一圖像的幀間預(yù)測的參考圖像。通 過變換器425和量化器430獲得的量化的變換系數(shù)可通過熵編碼器435被輸出為比特流440。
[0311] 為了將根據(jù)實施例的圖像編碼器400應(yīng)用于視頻編碼設(shè)備100,圖像編碼器400的 組件（即，幀間預(yù)測器415、幀內(nèi)預(yù)測器420、變換器425、量化器430、熵編碼器435、反量化器 445、逆變換器450、去塊單元455和SA0執(zhí)行器460)根據(jù)每個最大編碼單元基于具有樹結(jié)構(gòu) 的編碼單元之中的每個編碼單元執(zhí)行操作。
[0312]具體地，幀內(nèi)預(yù)測器420和幀間預(yù)測器415可在考慮當(dāng)前最大編碼單元的最大尺寸 和最大深度的同時確定具有樹結(jié)構(gòu)的編碼單元之中的每個編碼單元的分區(qū)和預(yù)測模式，變 換器425可確定是否在具有樹結(jié)構(gòu)的編碼單元之中的每個編碼單元中劃分根據(jù)四叉樹的變 換單元。
[0313]圖12是根據(jù)各種實施例的基于編碼單元的圖像解碼器500的框圖。
[0314]熵解碼器515從比特流505解析將被解碼的編碼圖像數(shù)據(jù)和解碼所需的編碼信息。 編碼圖像數(shù)據(jù)是量化后的變換系數(shù)，并且反量化器520和逆變換器525從所述量化后的變換 系數(shù)恢復(fù)殘差數(shù)據(jù)。
[0315] 幀內(nèi)預(yù)測器540根據(jù)預(yù)測單元對幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預(yù)測。幀間預(yù)測 器535通過使用由恢復(fù)畫面緩存器530獲得的參考圖像，根據(jù)預(yù)測單元對來自當(dāng)前圖像的幀 間模式下的編碼單元執(zhí)行幀間預(yù)測。
[0316] 通過經(jīng)由幀內(nèi)預(yù)測器和幀間預(yù)測器535將殘差數(shù)據(jù)和每個模式的編碼單元的預(yù)測 數(shù)據(jù)相加，當(dāng)前圖像的編碼單元的空間域中的數(shù)據(jù)被恢復(fù)，并且空間域中的數(shù)據(jù)可通過去 塊單元545和SAO執(zhí)行器550被輸出為恢復(fù)的圖像。另外，恢復(fù)畫面緩存器530中存儲的恢復(fù) 的圖像可被輸出為參考圖像。
[0317]為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對圖像數(shù)據(jù)進行解碼，可執(zhí)行根 據(jù)實施例的圖像解碼器500的熵解碼器515之后的操作。
[0318]為了將圖像解碼器500應(yīng)用于根據(jù)實施例的視頻解碼設(shè)備200,圖像解碼器500的 組件（即，熵解碼器515、反量化器520、逆變換器525、幀內(nèi)預(yù)測器540、幀間預(yù)測器535、去塊 單元545和SA0執(zhí)行器550)可針對每個最大編碼單元基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行操作。 [0319]具體地，幀內(nèi)預(yù)測器540和幀間預(yù)測器535根據(jù)具有樹結(jié)構(gòu)的編碼單元中的每個編 碼單元確定分區(qū)模式和預(yù)測模式，逆變換器525可針對每個編碼單元確定是否劃分根據(jù)四 叉樹結(jié)構(gòu)的變換單元。
[0320]圖10的編碼操作和圖11的解碼操作分別是單層中的視頻流編碼操作和視頻流解 碼操作。因此，當(dāng)圖la的編碼器16對至少兩層的視頻流進行編碼時，圖la的視頻編碼設(shè)備 100可包括與層數(shù)一樣多的圖像編碼器400。類似地，當(dāng)圖2a的解碼器22對至少兩層的視頻 流進行解碼時，圖2a的視頻解碼設(shè)備200可包括與層數(shù)一樣多的圖像解碼器500。
[0321] 圖13是示出根據(jù)本發(fā)明的各種實施例的編碼單元以及分區(qū)的示圖。
[0322] 根據(jù)實施例的視頻編碼設(shè)備100和根據(jù)實施例的視頻解碼設(shè)備200使用分層編碼 單元以考慮圖像的特征?？筛鶕?jù)圖像的特征自適應(yīng)地確定編碼單元的最大高度、最大寬度 和最大深度，或可由用戶不同地設(shè)置編碼單元的最大高度、最大寬度和最大深度?？筛鶕?jù)編 碼單元的預(yù)定最大尺寸來確定根據(jù)深度的較深層編碼單元的尺寸。
[0323] 在根據(jù)實施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均 是64，最大深度是3。在此情況下，最大深度是指編碼單兀從最大編碼單兀到最小編碼單兀 被劃分的總次數(shù)。由于深度沿著根據(jù)實施例的編碼單元的分層結(jié)構(gòu)600的垂直軸加深，因此 較深層編碼單元的高度和寬度均被劃分。此外，預(yù)測單元和分區(qū)沿著分層結(jié)構(gòu)600的水平軸 被示出，其中，所述預(yù)測單元和分區(qū)是對每個較深層編碼單元進行預(yù)測編碼的基礎(chǔ)。
[0324] 換句話說，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度為0,尺寸 (即，高度乘寬度)為64 X 64。深度沿著垂直軸加深，存在尺寸為32 X 32且深度為1的編碼單 元620、尺寸為16X16且深度為2的編碼單元630、尺寸為8X8且深度為3的編碼單元640。尺 寸為8 X 8和深度為3的編碼單兀640是最小編碼單兀。
[0325] 編碼單元的預(yù)測單元和分區(qū)根據(jù)每個深度沿著水平軸被排列。換句話說，如果尺 寸為64 X 64且深度為0的編碼單元610是預(yù)測單元，則可將預(yù)測單元劃分成包括在編碼單元 610中的分區(qū)，即，尺寸為64X64的分區(qū)610、尺寸為64X32的分區(qū)612、尺寸為32X64的分區(qū) 614或尺寸為32X32的分區(qū)616。
[0326] 類似地，可將尺寸為32X32且深度為1的編碼單元620的預(yù)測單元劃分成包括在編 碼單元620中的分區(qū)，即，尺寸為32X32的分區(qū)620、尺寸為32X16的分區(qū)622、尺寸為16X32 的分區(qū)624和尺寸為16 X 16的分區(qū)626。
[0327] 類似地，可將尺寸為16X16且深度為2的編碼單元630的預(yù)測單元劃分成包括在編 碼單元630中的分區(qū)，即，包括在編碼度單元630中的尺寸為16 X 16的分區(qū)、尺寸為16X8的 分區(qū)632、尺寸為8X16的分區(qū)634和尺寸為8X8的分區(qū)636。
[0328] 類似地，可將尺寸為8X8且深度為3的編碼單元640的預(yù)測單元劃分成包括在編碼 單元640中的分區(qū)，即，包括在編碼單元640中的尺寸為8X8的分區(qū)、尺寸為8X4的分區(qū)642、 尺寸為4 X 8的分區(qū)644和尺寸為4 X 4的分區(qū)646。
[0329] 為了確定最大編碼單元610的深度，根據(jù)實施例的視頻編碼設(shè)備100的編碼單元確 定器120對包括在最大編碼單元610中的與每個深度相應(yīng)的編碼單元執(zhí)行編碼。
[0330] 隨著深度加深，包括具有相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的較深層編碼單 元的數(shù)量增加。例如，需要四個與深度2相應(yīng)的編碼單元來覆蓋包括在與深度1相應(yīng)的一個 編碼單元中的數(shù)據(jù)。因此，為了根據(jù)深度比較對相同數(shù)據(jù)進行編碼的結(jié)果，與深度1相應(yīng)的 編碼單元和四個與深度2相應(yīng)的編碼單元均被編碼。
[0331] 為了針對多個深度之中的當(dāng)前深度執(zhí)行編碼，可沿著分層結(jié)構(gòu)600的水平軸，通過 對與當(dāng)前深度相應(yīng)的編碼單元中的每個預(yù)測單元執(zhí)行編碼，來針對當(dāng)前深度選擇最小編碼 誤差?？蛇x擇地，隨著深度沿著分層結(jié)構(gòu)600的垂直軸加深，可通過針對每個深度執(zhí)行編碼 來比較根據(jù)深度的最小編碼誤差，以搜索最小編碼誤差。最大編碼單元610中的具有最小編 碼誤差的深度和分區(qū)可被選為最大編碼單元610的深度和分區(qū)模式。
[0332] 圖14是用于描述根據(jù)各種實施例的編碼單元和變換單元之間的關(guān)系的示圖。
[0333] 根據(jù)實施例的視頻編碼設(shè)備100或根據(jù)實施例的視頻解碼設(shè)備200針對每個最大 編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元對圖像進行編碼或解碼。 可基于不大于相應(yīng)編碼單元的數(shù)據(jù)單元來選擇用于在編碼期間進行變換的變換單元的尺 寸。
[0334] 例如，在根據(jù)實施例的視頻編碼設(shè)備100或根據(jù)實施例的視頻解碼設(shè)備200中，如 果編碼單元710的尺寸是64X64,則可通過使用尺寸為32X32的變換單元720來執(zhí)行變換。
[0335] 此外，可通過對小于64 X 64的尺寸為32 X 32、16 X 16、8 X 8和4 X 4的變換單元中的 每一個執(zhí)行變換，來對尺寸為64 X 64的編碼單元710的數(shù)據(jù)進行編碼，然后可選擇具有最小 編碼誤差的變換單元。
[0336] 圖15是用于描述根據(jù)各種實施例的編碼信息的示圖。
[0337] 根據(jù)實施例的視頻編碼設(shè)備100的輸出單元130可對與深度相應(yīng)的每個編碼單元 的關(guān)于分區(qū)模式的信息800、關(guān)于預(yù)測模式的信息810以及關(guān)于變換單元的尺寸的信息820 進行編碼，并將信息800、信息810以及信息820作為劃分信息來發(fā)送。
[0338] 信息800指示關(guān)于通過劃分當(dāng)前編碼單元的預(yù)測單元而獲得的分區(qū)的形狀的信 息，其中，分區(qū)是用于對當(dāng)前編碼單元進行預(yù)測編碼的數(shù)據(jù)單元。例如，可將尺寸為2NX2N 的當(dāng)前編碼單元CU_0劃分成以下分區(qū)中的任意一個:尺寸為2NX2N的分區(qū)802、尺寸為2NX N的分區(qū)804、尺寸為NX2N的分區(qū)806和尺寸為NXN的分區(qū)808。這里，關(guān)于分區(qū)類型的信息 800被設(shè)置為指示以下分區(qū)之一:尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806和尺寸為 NXN的分區(qū)808。
[0339]信息810指示每個分區(qū)的預(yù)測模式。例如，信息810可指示對由信息800指示的分區(qū) 執(zhí)行的預(yù)測編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過模式816。
[0340]信息820指示當(dāng)對當(dāng)前編碼單元執(zhí)行變換時所基于的變換單元。例如，變換單元可 以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀間變換 單元828。
[0341] 根據(jù)實施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個較 深層編碼單元，提取并使用用于解碼的信息800、信息810和信息820。
[0342] 圖16是根據(jù)各種實施例的根據(jù)深度的較深層編碼單元的示圖。
[0343] 劃分信息可用來指示深度的改變。劃分信息指示當(dāng)前深度的編碼單元是否被劃分 成更低深度的編碼單元。
[0344] 用于對深度為0且尺寸為2N_0X2N_0的編碼單元900進行預(yù)測編碼的預(yù)測單元910 可包括以下分區(qū)模式的分區(qū)：尺寸為2N_0 X 2N_0的分區(qū)模式912、尺寸為2N_0 X N_0的分區(qū) 模式914、尺寸為N_0 X 2N_0的分區(qū)模式916和尺寸為N_0 X N_0的分區(qū)模式918。圖9僅示出了 通過對稱地劃分預(yù)測單元而獲得的分區(qū)912至918,但是分區(qū)模式不限于此，并且預(yù)測單元 的分區(qū)可包括非對稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。
[0345] 根據(jù)每種分區(qū)模式，對尺寸為2N_0 X 2N_0的一個分區(qū)、尺寸為2Ν_0 ΧΝ_0的兩個分 區(qū)、尺寸為N_0 X 2N_0的兩個分區(qū)和尺寸為Ν_0 ΧΝ_0的四個分區(qū)重復(fù)地執(zhí)行預(yù)測編碼?？蓪?尺寸為2N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0和N_0 X N_0的分區(qū)執(zhí)行幀內(nèi)模式和幀間模式下 的預(yù)測編碼。僅對尺寸為2N_0X2N_0的分區(qū)執(zhí)行跳過模式下的預(yù)測編碼。
[0346] 如果在分區(qū)模式912至916中的一個分區(qū)模式中編碼誤差最小，則可不將預(yù)測單元 910劃分到更低深度。
[0347] 如果在分區(qū)模式918中編碼誤差最小，則深度從0改變到1以在操作920中對分區(qū)模 式918進行劃分，并對深度為2且尺寸為Ν_0ΧΝ_0的編碼單元930重復(fù)地執(zhí)行編碼來搜索最 小編碼誤差。
[0348] 用于對深度為1且尺寸為211\211(=1〇\1〇)的編碼單元930進行預(yù)測編碼 的預(yù)測單元940可包括以下分區(qū)模式的分區(qū)：尺寸為2N_1X2N_1的分區(qū)模式942、尺寸為2N_ 1XN_1的分區(qū)模式944、尺寸為N_1X2N_1的分區(qū)模式946以及尺寸為N_lXNj的分區(qū)模式 948 〇
[0349] 如果在分區(qū)模式948中編碼誤差最小，則深度從1改變到2以在操作950中對分區(qū)模 式948進行劃分，并對深度為2且尺寸為~_2 X N_2的編碼單元960重復(fù)執(zhí)行編碼來搜索最小 編碼誤差。
[0350] 當(dāng)最大深度是d時，根據(jù)每個深度的劃分操作可被執(zhí)行直到深度變成d-Ι時，并且 劃分信息可被編碼直到深度是〇到d-2之一時。換句話說，當(dāng)編碼被執(zhí)行直到在與d-2的深度 相應(yīng)的編碼單元在操作970中被劃分之后深度是d-Ι時，用于對深度為d-Ι且尺寸為2N_(d-l)X2N_(d-l)的編碼單元980進行預(yù)測編碼的預(yù)測單元990可包括以下分區(qū)模式的分區(qū)：尺 寸為21((1-1)\21((1-1)的分區(qū)模式992、尺寸為21((1-1)\1((1-1)的分區(qū)模式994、尺寸 為N_(d-1) X 2N_(d-l)的分區(qū)模式996和尺寸為N_(d-1) X N_(d-1)的分區(qū)模式998。
[0351] 可對分區(qū)模式之中的尺寸為21((1-1)\21((1-1)的一個分區(qū)、尺寸為21((1-1)\ N_(d-1)的兩個分區(qū)、尺寸為N_(d-1) X 2N_(d-l)的兩個分區(qū)、尺寸為N_(d-1) XN_(d-1)的 四個分區(qū)重復(fù)地執(zhí)行預(yù)測編碼，以搜索具有最小編碼誤差的分區(qū)模式。
[0352] 即使當(dāng)分區(qū)模式998具有最小編碼誤差時，由于最大深度是d，因此深度為d-Ι的編 碼單元CU_(d-l)不再被劃分到更低深度，用于構(gòu)成當(dāng)前最大編碼單元900的編碼單元的深 度被確定為d-Ι，并且當(dāng)前最大編碼單元900的分區(qū)模式可被確定SN_(d-l) XN_(d-l)。此 外，由于最大深度是d，因此不設(shè)置針對深度為d-Ι的編碼單元952的劃分信息。
[0353] 數(shù)據(jù)單元999可以是用于當(dāng)前最大編碼單元的"最小單元"。根據(jù)實施例的最小單 元可以是通過將具有最低深度的最小編碼單元劃分成4份而獲得的正方形數(shù)據(jù)單元。通過 重復(fù)地執(zhí)行編碼，根據(jù)實施例的視頻編碼設(shè)備1〇〇可通過比較根據(jù)編碼單元900的深度的編 碼誤差來選擇具有最小編碼誤差的深度以確定深度，并將相應(yīng)分區(qū)模式和預(yù)測模式設(shè)置為 該深度的編碼模式。
[0354] 這樣，在所有深度1至d中對根據(jù)深度的最小編碼誤差進行比較，并且具有最小編 碼誤差的深度可被確定為d深度。該深度、預(yù)測單元的分區(qū)模式和預(yù)測模式可作為劃分信息 被編碼并被發(fā)送。此外，由于編碼單元從深度〇被劃分到深度，因此僅將該深度的劃分信息 設(shè)置為〇,并且將除了該深度以外的深度的劃分信息設(shè)置為1。
[0355] 根據(jù)實施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用 關(guān)于編碼單元900的深度和預(yù)測單元的信息，以對分區(qū)912進行解碼。根據(jù)實施例的視頻解 碼設(shè)備200可通過使用根據(jù)深度的劃分信息，將劃分信息為0的深度確定為深度，并且使用 相應(yīng)深度的劃分信息來進行解碼。
[0356] 圖17至圖19是用于描述根據(jù)各種實施例的在編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的不圖。
[0357] 編碼單元1010是最大編碼單元中的根據(jù)由根據(jù)實施例的視頻編碼設(shè)備100確定的 深度的具有樹結(jié)構(gòu)的編碼單元。預(yù)測單元1060是根據(jù)深度的每個編碼單元的預(yù)測單元的分 區(qū)，變換單元1070是根據(jù)深度的每個編碼單元的變換單元。
[0358]當(dāng)在編碼單兀1010中最大編碼單兀的深度是0時，編碼單兀1012和1054的深度是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2,編碼單元 1020、1022、1024、 1026、1030、1032和1048的深度是3,編碼單元1040、1042、1044和1046的深度是4。
[0359] 在預(yù)測單元1060中，通過劃分編碼單元1010中的編碼單元來獲得一些編碼單元 1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說，編碼單元 1014、1022、1050 和 1054中的分區(qū)模式的尺寸是2NXN，編碼單元1016、1048和1052中的分區(qū)模式的尺寸是NX 2N，編碼單元1032的分區(qū)模式的尺寸為NXN。編碼單元1010的預(yù)測單元和分區(qū)小于或等于 每個編碼單元。
[0360] 在小于編碼單元1052的數(shù)據(jù)單元中的變換單元1070中，對編碼單元1052的圖像數(shù) 據(jù)執(zhí)行變換或逆變換。此外，在尺寸和形狀方面，變換單元1070中的編碼單元1014、1016、 1022、1032、1048、1050 和 1052 不同于預(yù)測單元 1060 中的編碼單元 1014、1016、1022、1032、 1048、1050和1052。換句話說，根據(jù)各種實施例的視頻編碼設(shè)備100和視頻解碼設(shè)備200可對 同一編碼單元中的數(shù)據(jù)單元獨立地執(zhí)行幀內(nèi)預(yù)測、運動估計、運動補償、變換和逆變換。
[0361] 因此，對最大編碼單元的每個區(qū)域中的具有分層結(jié)構(gòu)的每個編碼單元遞歸地執(zhí)行 編碼來確定最優(yōu)編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于 編碼單元的劃分信息、關(guān)于分區(qū)模式的信息、關(guān)于預(yù)測模式的信息和關(guān)于變換單元的尺寸 的信息。表1示出可由根據(jù)實施例的視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。
[0362] [表1]
[0364] 根據(jù)實施例的視頻編碼設(shè)備100的輸出單元130可輸出關(guān)于具有樹結(jié)構(gòu)的編碼單 元的編碼信息，根據(jù)實施例的視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可從接收 到的比特流提取關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼信息。
[0365] 劃分信息指示是否將當(dāng)前編碼單元劃分成更低深度的編碼單元。如果當(dāng)前深度d 的劃分信息是〇，則當(dāng)前編碼單元不再被劃分成更低深度的深度是深度，從而可針對深度來 定義關(guān)于分區(qū)模式、預(yù)測模式和變換單元的尺寸的信息。如果當(dāng)前編碼單元根據(jù)劃分信息 被進一步劃分，則對更低深度的四個劃分編碼單元獨立地執(zhí)行編碼。
[0366] 預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的一種?？稍谒蟹謪^(qū)模式中 定義幀內(nèi)模式和幀間模式，可僅在尺寸為2N X 2N的分區(qū)模式中定義跳過模式。
[0367] 關(guān)于分區(qū)模式的信息可指示通過對稱地劃分預(yù)測單元的高度或?qū)挾榷@得的尺 寸為2N X 2N、2N X N、N X 2N和N X N的對稱分區(qū)模式，以及通過非對稱地劃分預(yù)測單元的高度 或?qū)挾榷@得的尺寸為2~父111]、2~\11〇、1^\2~和111?\2~的非對稱分區(qū)模式。可通過按1 :3 和3:1來劃分預(yù)測單元的高度來分別獲得尺寸為2NXnU和2NXnD的非對稱分區(qū)模式，可通 過按1:3和3:1來劃分預(yù)測單元的寬度來分別獲得尺寸為nLX2N和nRX2N的非對稱分區(qū)模 式。
[0368] 可將變換單元的尺寸設(shè)置成幀內(nèi)模式下的兩種類型和幀間模式下的兩種類型。換 句話說，如果變換單元的劃分信息是〇,則變換單元的尺寸可以是2NX2N，即當(dāng)前編碼單元 的尺寸。如果變換單元的劃分信息是1，則可通過對當(dāng)前編碼單元進行劃分來獲得變換單 元。此外，如果尺寸為2NX2N的當(dāng)前編碼單元的分區(qū)模式是對稱分區(qū)模式，則變換單元的尺 寸可以是NXN，如果當(dāng)前編碼單元的分區(qū)模式是非對稱分區(qū)模式，則變換單元的尺寸可以 是 N/2XN/2。
[0369] 根據(jù)實施例，關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼信息可包括與深度相應(yīng)的編碼單 元、預(yù)測單元和最小單元中的至少一個。與深度相應(yīng)的編碼單元可包括包含相同編碼信息 的預(yù)測單元和最小單元中的至少一個。
[0370] 因此，通過比較鄰近數(shù)據(jù)單元的編碼信息來確定鄰近數(shù)據(jù)單元是否被包括在與深 度相應(yīng)的同一編碼單元中。此外，通過使用數(shù)據(jù)單元的編碼信息來確定與深度相應(yīng)的相應(yīng) 編碼單元，并因此可確定最大編碼單元中的深度的分布。
[0371] 因此，如果基于鄰近數(shù)據(jù)單元的編碼信息來對當(dāng)前編碼單元進行預(yù)測，則可直接 參考并使用與當(dāng)前編碼單元鄰近的較深層編碼單元中的數(shù)據(jù)單元的編碼信息。
[0372] 可選擇地，如果基于鄰近數(shù)據(jù)單元的編碼信息來對當(dāng)前編碼單元進行預(yù)測，則使 用數(shù)據(jù)單元的編碼信息來搜索與當(dāng)前編碼單元鄰近的數(shù)據(jù)單元，并可參考搜索到的鄰近編 碼單元來對當(dāng)前編碼單元進行預(yù)測。
[0373] 圖20是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的不圖。
[0374] 最大編碼單元1300包括多個深度的編碼單元1302、1304、1306、1312、1314、1316和 1318。這里，由于編碼單元1318是具有深度的編碼單元，因此劃分信息可被設(shè)置成0?？蓪㈥P(guān) 于尺寸為2NX2N的編碼單元1318的分區(qū)模式的信息設(shè)置成以下分區(qū)模式中的一種:尺寸為 2NX2N的分區(qū)模式1322、尺寸為2NXN的分區(qū)模式1324、尺寸為NX 2N的分區(qū)模式1326、尺寸 為NXN的分區(qū)模式1328、尺寸為2NXnU的分區(qū)模式1332、尺寸為2NXnD的分區(qū)模式1334、尺 寸為nLX2N的分區(qū)模式1336和尺寸為nRX2N的分區(qū)模式1338。
[0375] 變換單元的劃分信息(TU尺寸標(biāo)志)是一種類型的變換索引。與變換索引相應(yīng)的變 換單元的尺寸可根據(jù)編碼單元的預(yù)測單元類型或分區(qū)模式而改變。
[0376] 例如，當(dāng)分區(qū)模式被設(shè)置為對稱（即，分區(qū)模式1322、1324、1326或1328)時，如果變 換單元的TU尺寸標(biāo)志是0，則設(shè)置尺寸為2N X 2N的變換單元1342，如果TU尺寸標(biāo)志是1，則設(shè) 置尺寸為NXN的變換單元1344。
[0377] 當(dāng)分區(qū)模式被設(shè)置成非對稱（即，分區(qū)模式1332、1334、1336或1338)時，如果TU尺 寸標(biāo)志是0，則設(shè)置尺寸為2NX 2N的變換單元1352，如果TU尺寸標(biāo)志是1，則設(shè)置尺寸為N/2 XN/2的變換單元1354。
[0378 ] 參照圖19，T U尺寸標(biāo)志是具有值0或1的標(biāo)志，但是根據(jù)實施例的T U尺寸標(biāo)志不限 于1比特，并且變換單元可在TU尺寸標(biāo)志從0增加時被分層劃分具有樹結(jié)構(gòu)。變換單元的劃 分信息(TU尺寸標(biāo)志)可以是變換索引的示例。
[0379]在這種情況下，可通過使用根據(jù)實施例的變換單元的TU尺寸標(biāo)志以及變換單元的 最大尺寸和最小尺寸來表示實際上已使用的變換單元的尺寸。根據(jù)實施例的視頻編碼設(shè)備 100能夠?qū)ψ畲笞儞Q單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)志進行編碼。對 最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)志進行編碼的結(jié)果可被插 入SPS。根據(jù)實施例的視頻解碼設(shè)備200可通過使用最大變換單元尺寸信息、最小變換單元 尺寸信息和最大TU尺寸標(biāo)志來對視頻進行解碼。
[0380]例如，（a)如果當(dāng)前編碼單元的尺寸是64X64并且最大變換單元尺寸是32X32,則 (a-Ι)當(dāng)TU尺寸標(biāo)志為0時，變換單元的尺寸可以是32 X 32，（a-2)當(dāng)TU尺寸標(biāo)志為1時，變換 單元的尺寸可以是16X 16,（a-3)當(dāng)TU尺寸標(biāo)志為2時，變換單元的尺寸可以是8X8。
[0381]作為另一示例，（b)如果當(dāng)前編碼單元的尺寸是32X32并且最小變換單元尺寸是 32 X 32，則(b-Ι)當(dāng)TU尺寸標(biāo)志為0時，變換單元的尺寸可以是32 X 32。這里，由于變換單元 的尺寸不能夠小于32 X 32，因此TU尺寸標(biāo)志不能夠被設(shè)置為除了 0以外的值。
[0382]作為另一示例，（c)如果當(dāng)前編碼單元的尺寸是64X64并且最大TU尺寸標(biāo)志為1， 則TU尺寸標(biāo)志可以是0或1。這里，TU尺寸標(biāo)志不能夠被設(shè)置為除了 0或1以外的值。
[0383] 因此，如果定義最大TU尺寸標(biāo)志為"MaxTransformSizelndex"，最小變換單元尺寸 為"MinTransformSize"，并且當(dāng)TU尺寸標(biāo)志為0時的變換單元尺寸為"RootTuSize"，貝lj可通 過等式(1)來定義可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸"CurrMinTuSize" ：
[0384] CurrMinTuSize = max(MinTransformSize ,RootTuSize / (2' MaxTransformSizelndex)) ---(1)
[0385]
[0386] 與可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸"CurrMinTuSize"相比，當(dāng) TU尺寸標(biāo)志為0時的變換單元尺寸"RootTuSize"可指示可在系統(tǒng)中選擇的最大變換單元尺 寸。在等式（1)中，"RootTuSize/(2~MaxTransformSizeIndex)" 指不當(dāng)TU尺寸標(biāo)志為0時，變 換單元尺寸"RootTuSize"被劃分了與最大TU尺寸標(biāo)志相應(yīng)的次數(shù)時的變換單元尺寸， "MinTransformSize" 指不最小變換尺寸。因此，"RootTuSize / (2~ MaxTransformSizelndex)"和"MinTransformSize"中較小的值可以是可在當(dāng)前編碼單元中 確定的當(dāng)前最小變換單元尺寸"CurrMinTuSize"。
[0387] 根據(jù)實施例，最大變換單元尺寸RootTuSize可根據(jù)預(yù)測模式的類型而改變。
[0388] 例如，如果當(dāng)前預(yù)測模式是幀間模式，則可通過使用以下的等式（2)來確定 "RootTuSize"。在等式（2)中，"MaxTransformSize"指不最大變換單元尺寸，"PUSize"指不 當(dāng)前預(yù)測單元尺寸。
[0389] RootTuSize=min(MaxTransformSize ,PUSize)......(2)
[0390] 也就是說，如果當(dāng)前預(yù)測模式是幀間模式，則當(dāng)TU尺寸標(biāo)志為0時的變換單元尺寸 "RootTuSize"可以是最大變換單元尺寸和當(dāng)前預(yù)測單元尺寸中較小的值。
[0391] 如果當(dāng)前分區(qū)單元的預(yù)測模式是幀內(nèi)模式，則可通過使用以下的等式(3)來確定 "RootTuSize"。在等式(3)中，"PartitionSize"指示當(dāng)前分區(qū)單元的尺寸：
[0392] RootTuSize=min(MaxTransformSize ,PartitionSize)......(3)
[0393] 也就是說，如果當(dāng)前預(yù)測模式是幀內(nèi)模式，則當(dāng)TU尺寸標(biāo)志為0時的變換單元尺寸 "RootTuSize"可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸之中較小的值。
[0394] 然而，根據(jù)分區(qū)單元中的預(yù)測模式的類型而改變的當(dāng)前最大變換單元尺寸 "RootTuSize"僅是示例，并且本發(fā)明不限于此。
[0395] 根據(jù)以上參照圖8至圖20描述的基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼方法，可 針對樹結(jié)構(gòu)的每個編碼單元對空間域的圖像數(shù)據(jù)進行編碼。根據(jù)基于具有樹結(jié)構(gòu)的編碼單 元的視頻解碼方法，對每個最大編碼單元執(zhí)行解碼來重建空間域的圖像數(shù)據(jù)。因此，畫面和 作為畫面序列的視頻可被重建。重建的視頻可由再現(xiàn)設(shè)備來再現(xiàn)，可存儲在存儲介質(zhì)中，或 可通過網(wǎng)絡(luò)來發(fā)送。
[0396] 根據(jù)本發(fā)明的實施例可被編寫為計算機程序，并可實現(xiàn)在使用計算機可讀記錄介 質(zhì)執(zhí)行程序的通用數(shù)字計算機中。計算機可讀記錄介質(zhì)的示例包括磁存儲介質(zhì)(例如，R0M、 軟盤、硬盤等)和光學(xué)記錄介質(zhì)(例如，CD-ROM或DVD)等。
[0397] 為便于描述，以上參照圖la至圖20描述的層間視頻編碼方法和/或視頻編碼方法 將被統(tǒng)稱為"本發(fā)明的視頻編碼方法"。此外，以上參照圖la至圖20描述的層間視頻解碼方 法和/或視頻解碼方法將被稱為"本發(fā)明的視頻解碼方法"。
[0398] 此外，已參照圖la至圖20描述的包括層間編碼設(shè)備10、視頻編碼設(shè)備100或圖像編 碼器400的視頻編碼設(shè)備將被稱為"本發(fā)明的視頻編碼設(shè)備"。此外，已參照圖la至圖20描述 的包括層間視頻解碼設(shè)備20、視頻解碼設(shè)備200或圖像解碼器500的視頻解碼設(shè)備將被稱為 "本發(fā)明的視頻解碼設(shè)備"。
[0399] 現(xiàn)在將詳細描述根據(jù)實施例的存儲程序的計算機可讀記錄介質(zhì)(例如，盤26000)。
[0400] 圖21是根據(jù)各種實施例的存儲程序的盤26000的物理結(jié)構(gòu)的示圖。作為存儲介質(zhì) 的盤26000可以是硬盤驅(qū)動器、致密盤只讀存儲器（CD-ROM)盤、藍光盤或數(shù)字多功能盤 (DVD)。盤26000包括多個同心磁道Tr，每個同心磁道Tr沿盤26000的圓周方向被劃分成特定 數(shù)量的扇區(qū)Se。在根據(jù)實施例的盤26000的特定區(qū)域中，可分配并存儲執(zhí)行以上所描述的量 化參數(shù)確定方法、視頻編碼方法和視頻解碼方法的程序。
[0401] 現(xiàn)在將參照圖22來描述使用存儲用于執(zhí)行如上所述的視頻編碼方法和視頻解碼 方法的程序的存儲介質(zhì)來實現(xiàn)的計算機系統(tǒng)。
[0402]圖22是通過使用盤26000來記錄并讀取程序的盤驅(qū)動器26800的示圖。計算機系統(tǒng) 27000可經(jīng)由盤驅(qū)動器26800將執(zhí)行本發(fā)明的視頻編碼方法和視頻解碼方法中的至少一個 的程序存儲在盤26000中。為了在計算機系統(tǒng)27000中運行存儲在盤26000中的程序，可通過 使用盤驅(qū)動器27000從盤26000讀取程序并將程序發(fā)送到計算機系統(tǒng)26700。
[0403] 執(zhí)行本發(fā)明的視頻編碼方法和視頻解碼方法中的至少一個的程序不僅可被存儲 在圖21或圖22中示出的盤26000中，還可被存儲在存儲卡、ROM卡帶或固態(tài)驅(qū)動器(SSD)中。
[0404] 以下將描述應(yīng)用以上所描述的視頻編碼方法和視頻解碼方法的系統(tǒng)。
[0405] 圖23是用于提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)11000的整體結(jié)構(gòu)的示圖。將通信 系統(tǒng)的服務(wù)區(qū)域劃分成預(yù)定尺寸的小區(qū)，并將無線基站11700、11800、11900和12000分別安 裝在這些小區(qū)中。
[0406] 內(nèi)容供應(yīng)系統(tǒng)11000包括多個獨立裝置。例如，諸如計算機12100、個人數(shù)字助理 (PDA) 12200、視頻相機12300和移動電話12500的多個獨立裝置經(jīng)由互聯(lián)網(wǎng)服務(wù)提供器 11200、通信網(wǎng)絡(luò)11400和無線基站11700、11800、11900和12000連接到互聯(lián)網(wǎng)11100。
[0407]然而，內(nèi)容供應(yīng)系統(tǒng)11000不限于如圖24中所示，并且裝置可選擇性地被連接到內(nèi) 容供應(yīng)系統(tǒng)11000。多個獨立裝置可不經(jīng)由無線基站11700、11800、11900和12000而直接連 接到通信網(wǎng)絡(luò)11400。
[0408]視頻相機12300是能夠捕捉視頻圖像的成像裝置，例如，數(shù)字視頻相機。移動電話 12500可利用各種協(xié)議（例如，個人數(shù)字通信（PDC)、碼分多址（CDMA)、寬帶碼分多址(W-CDMA)、全球移動通信系統(tǒng)(GSM)和個人手持電話系統(tǒng)(PHS))中的至少一種通信方法。
[0409] 視頻相機12300可經(jīng)由無線基站11900和通信網(wǎng)絡(luò)11400連接到流服務(wù)器11300。流 服務(wù)器11300允許經(jīng)由視頻相機12300從用戶接收到的內(nèi)容經(jīng)由實時廣播被流傳輸。可使用 視頻相機12300或流服務(wù)器11300來對從視頻相機12300接收到的內(nèi)容進行編碼。通過視頻 相機12300捕捉到的視頻數(shù)據(jù)可經(jīng)由計算機12100被發(fā)送到流服務(wù)器11300。
[0410] 通過相機12600捕捉到的視頻數(shù)據(jù)也可經(jīng)由計算機12100被發(fā)送到流服務(wù)器 11300。與數(shù)碼相機類似，相機12600是能夠捕捉靜止圖像和視頻圖像兩者的成像裝置?？墒?用相機12600或計算機12100對通過相機12600捕捉到的視頻數(shù)據(jù)進行編碼?？蓪σ曨l執(zhí) 行編碼和解碼的軟件存儲在可由計算機12100訪問的計算機可讀記錄介質(zhì)（例如，CD-ROM 盤、軟盤、硬盤驅(qū)動器、SSD或存儲卡）中。
[0411] 如果視頻數(shù)據(jù)通過內(nèi)置在移動電話12500中的相機被捕捉到，則可從移動電話 12500接收視頻數(shù)據(jù)。
[0412] 還可通過安裝在視頻相機12300、移動電話12500或相機12600中的大規(guī)模集成電 路(LSI)系統(tǒng)來對視頻數(shù)據(jù)進行編碼。
[0413] 根據(jù)實施例的內(nèi)容供應(yīng)系統(tǒng)11000可對由用戶使用視頻相機12300、相機12600、移 動電話12500或另一成像裝置所記錄的內(nèi)容數(shù)據(jù)(例如，在音樂會期間記錄的內(nèi)容)進行編 碼，并將編碼后的內(nèi)容數(shù)據(jù)發(fā)送到流服務(wù)器11300。流服務(wù)器11300可將編碼后的內(nèi)容數(shù)據(jù) 以流傳輸內(nèi)容的類型發(fā)送到請求內(nèi)容數(shù)據(jù)的其它客戶端。
[0414] 客戶端是能夠?qū)幋a后的內(nèi)容數(shù)據(jù)進行解碼的裝置，例如，計算機12100、PDA 12200、視頻相機12300或移動電話12500。因此，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收并再現(xiàn) 編碼后的內(nèi)容數(shù)據(jù)。此外，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端實時接收編碼后的內(nèi)容數(shù)據(jù)并對 編碼后的內(nèi)容數(shù)據(jù)進行解碼和再現(xiàn)，從而能夠進行個人廣播。
[0415] 包括在內(nèi)容供應(yīng)系統(tǒng)11000中的多個獨立裝置的編碼和解碼操作可類似于本發(fā)明 的視頻編碼設(shè)備和視頻解碼設(shè)備的編碼和解碼操作。
[0416] 現(xiàn)在將參照圖24和圖25更加詳細地描述包括在根據(jù)實施例的內(nèi)容供應(yīng)系統(tǒng)11000 中的移動電話12500。
[0417] 圖24示出根據(jù)各種實施例的應(yīng)用本發(fā)明的視頻編碼方法和視頻解碼方法的移動 電話12500的外部結(jié)構(gòu)。移動電話12500可以是智能電話，所述智能電話的功能不受限，并且 所述智能電話的大多數(shù)功能可被改變或擴展。
[0418] 移動電話12500包括可與圖21的無線基站12000交換射頻(RF)信號的內(nèi)部天線 12510,并包括用于顯示由相機12530捕捉到的圖像或經(jīng)由天線12510接收到的并被解碼的 圖像的顯示屏12520(例如，液晶顯示器(LCD)或有機發(fā)光二極管（0LED)屏幕）。移動電話 12500包括包含有控制按鈕和觸摸面板的操作面板12540。如果顯示屏12520是觸摸屏，則操 作面板12540還包括顯示屏12520的觸摸感測面板。移動電話12500包括用于輸出語音和聲 音的揚聲器12580或另一類型的聲音輸出單元、以及用于輸入語音和聲音的麥克風(fēng)12550或 另一類型的聲音輸入單元。移動電話12500還包括用于捕捉視頻和靜止圖像的相機12530， 諸如電荷耦合器件(CXD)相機。移動電話12500還可包括:存儲介質(zhì)12570,用于存儲通過相 機12530捕捉到的、經(jīng)由電子郵件接收到的、或根據(jù)各種方式獲得的編碼/解碼數(shù)據(jù)(例如， 視頻或靜止圖像）；插槽12560,存儲介質(zhì)12570經(jīng)由插槽12560被裝入移動電話12500中。存 儲介質(zhì)12570可以是閃存，例如，包括在塑料殼中的安全數(shù)字(SD)卡或電可擦除可編程只讀 存儲器(EEPR0M)。
[0419]圖25示出移動電話12500的內(nèi)部結(jié)構(gòu)。為了系統(tǒng)地控制包括顯示屏12520和操作面 板12540的移動電話12500的部件，供電電路12700、操作輸入控制器12640、圖像編碼單元 12720、相機接口 12630、LCD控制器12620、圖像解碼單元12690、復(fù)用器/解復(fù)用器12680、記 錄/讀取單元12670、調(diào)制/解調(diào)單元12660和聲音處理器12650經(jīng)由同步總線12730被連接到 中央控制器12710。
[0420] 如果用戶操作電源按鈕，并從"電源關(guān)閉"狀態(tài)設(shè)置為"電源開啟"狀態(tài)，則供電電 路12700從電池組向移動電話12500的所有部件供電，從而將移動電話12500設(shè)置為處于操 作模式。
[0421] 中央控制器12710包括中央處理單元(CPU)、R0M和RAM。
[0422] 在移動電話12500將通信數(shù)據(jù)發(fā)送到外部的同時，在中央控制器12710的控制下， 由移動電話12500產(chǎn)生數(shù)字信號。例如，聲音處理器12650可產(chǎn)生數(shù)字聲音信號，圖像編碼單 元12720可產(chǎn)生數(shù)字圖像信號，并且消息的文本數(shù)據(jù)可經(jīng)由操作面板12540和操作輸入控制 器12640被產(chǎn)生。當(dāng)數(shù)字信號在中央控制器12710的控制下被傳送到調(diào)制/解調(diào)單元12660 時，調(diào)制/解調(diào)單元12660對數(shù)字信號的頻帶進行調(diào)制，并且通信電路12610對頻帶調(diào)制后的 數(shù)字聲音信號執(zhí)行數(shù)模轉(zhuǎn)換(DAC)和頻率轉(zhuǎn)換。從通信電路12610輸出的發(fā)送信號可經(jīng)由天 線12510被發(fā)送到語音通信基站或無線基站12000。
[0423] 例如，當(dāng)移動電話12500處于通話模式時，在中央控制器12710的控制下，經(jīng)由麥克 風(fēng)12550獲得的聲音信號通過聲音處理器12650被變換成數(shù)字聲音信號。數(shù)字聲音信號可經(jīng) 由調(diào)制/解調(diào)單元12660和通信電路12610被變換成發(fā)送信號，并可經(jīng)由天線12510被發(fā)送。
[0424] 當(dāng)文本消息（例如，電子郵件)在數(shù)據(jù)通信模式下被發(fā)送時，文本消息的文本數(shù)據(jù) 經(jīng)由操作面板12540被輸入，并經(jīng)由操作輸入控制器12640被發(fā)送到中央控制器12610。在中 央控制器12610的控制下，文本數(shù)據(jù)經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610被變換成發(fā) 送信號，并經(jīng)由天線12510被發(fā)送到無線基站12000。
[0425] 為了在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)，由相機12530捕捉到的圖像數(shù)據(jù)經(jīng)由相機 接口 12630被提供給圖像編碼單元12720。捕捉到的圖像數(shù)據(jù)可經(jīng)由相機接口 12630和LCD控 制器12620被直接顯示在顯示屏12520上。
[0426] 圖像編碼單元12720的結(jié)構(gòu)可與上述視頻編碼設(shè)備100的結(jié)構(gòu)相應(yīng)。圖像編碼單元 12720可根據(jù)上述視頻編碼方法，將從相機12530接收到的圖像數(shù)據(jù)變換為壓縮和編碼后的 圖像數(shù)據(jù)，并隨后將編碼后的圖像數(shù)據(jù)輸出到復(fù)用器/解復(fù)用器12680。在相機12530的記錄 操作期間，由移動電話12500的麥克風(fēng)12550獲得的聲音信號可經(jīng)由聲音處理器12650被變 換成數(shù)字聲音數(shù)據(jù)，并且數(shù)字聲音數(shù)據(jù)可被發(fā)送到復(fù)用器/解復(fù)用器12680。
[0427] 復(fù)用器/解復(fù)用器12680對從圖像編碼單元12720接收到的編碼后的圖像數(shù)據(jù)與從 聲音處理器12650接收到的聲音數(shù)據(jù)一起進行復(fù)用。對數(shù)據(jù)進行復(fù)用的結(jié)果可經(jīng)由調(diào)制/解 調(diào)單元12660和通信電路12610被變換成發(fā)送信號，然后可經(jīng)由天線12510被發(fā)送。
[0428] 當(dāng)移動電話12500從外部接收到通信數(shù)據(jù)時，可對經(jīng)由天線12510接收到的信號執(zhí) 行頻率恢復(fù)和ADC以將信號變換成數(shù)字信號。調(diào)制/解調(diào)單元12660對數(shù)字信號的頻帶進行 調(diào)制。根據(jù)頻帶調(diào)制后的數(shù)字信號的類型，將所述數(shù)字信號發(fā)送到視頻解碼單元12690、聲 音處理器12650或LCD控制器12620。
[0429] 在通話模式下，移動電話12500對經(jīng)由天線12510接收到的信號進行放大，并通過 對放大后的信號執(zhí)行頻率轉(zhuǎn)換和ADC來獲得數(shù)字聲音信號。在中央控制器12710的控制下， 接收到的數(shù)字聲音信號經(jīng)由調(diào)制/解調(diào)單元12660和聲音處理器12650被變換成模擬聲音信 號，并且模擬聲音信號經(jīng)由揚聲器12580被輸出。
[0430] 當(dāng)在數(shù)據(jù)通信模式下時，接收在互聯(lián)網(wǎng)網(wǎng)站上訪問的視頻文件的數(shù)據(jù)，經(jīng)由調(diào)制/ 解調(diào)單元12660將經(jīng)由天線12510從無線基站12000接收到的信號輸出為復(fù)用數(shù)據(jù)，并將復(fù) 用數(shù)據(jù)發(fā)送到復(fù)用器/解復(fù)用器12680。
[0431] 為了對經(jīng)由天線12510接收到的復(fù)用數(shù)據(jù)進行解碼，復(fù)用器/解復(fù)用器12680將復(fù) 用數(shù)據(jù)解復(fù)用成編碼后的視頻數(shù)據(jù)流和編碼后的音頻數(shù)據(jù)流。經(jīng)由同步總線12730,編碼后 的視頻數(shù)據(jù)流和編碼后的音頻數(shù)據(jù)流分別被提供給視頻解碼單元12690和聲音處理器 12650。
[0432]圖像解碼單元12690的結(jié)構(gòu)可與上述視頻解碼設(shè)備200的結(jié)構(gòu)相應(yīng)。圖像解碼單元 12690可根據(jù)由上述視頻解碼設(shè)備200或圖像解碼器500采用的視頻解碼方法，對編碼后的 視頻數(shù)據(jù)進行解碼來獲得重建的視頻數(shù)據(jù)，并經(jīng)由LCD控制器12620將重建的視頻數(shù)據(jù)提供 給顯示屏12520。
[0433] 因此，可將在互聯(lián)網(wǎng)網(wǎng)站上訪問的視頻文件的數(shù)據(jù)顯示在顯示屏12520上。同時， 聲音處理器12650可將音頻數(shù)據(jù)變換成模擬聲音信號，并將模擬聲音信號提供給揚聲器 12580。因此，也可經(jīng)由揚聲器12580再現(xiàn)在互聯(lián)網(wǎng)網(wǎng)站上訪問的視頻文件中包含的音頻數(shù) 據(jù)。
[0434] 移動電話12500或另一類型的通信終端可以是包括本發(fā)明的視頻編碼設(shè)備和視頻 解碼設(shè)備兩者的收發(fā)終端，可以是僅包括視頻編碼設(shè)備的收發(fā)終端，或者可以是僅包括視 頻解碼設(shè)備的收發(fā)終端。
[0435] 根據(jù)本發(fā)明的通信系統(tǒng)不限于以上參照圖24描述的通信系統(tǒng)。例如，圖26示出根 據(jù)實施例的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。根據(jù)各種實施例的圖26的數(shù)字廣播系統(tǒng)可通過 使用本發(fā)明的視頻編碼設(shè)備和視頻解碼設(shè)備來接收經(jīng)由衛(wèi)星或地面網(wǎng)絡(luò)發(fā)送的數(shù)字廣播。 [0436]具體地，廣播站12890通過使用無線電波將視頻數(shù)據(jù)流發(fā)送到通信衛(wèi)星或廣播衛(wèi) 星12900。廣播衛(wèi)星12900發(fā)送廣播信號，廣播信號經(jīng)由家用天線12860被發(fā)送到衛(wèi)星廣播接 收器。在每個房屋中，可通過TV接收器12810、機頂盒12870或其它裝置對編碼后的視頻流進 行解碼和再現(xiàn)。
[0437]當(dāng)本發(fā)明的視頻解碼設(shè)備被實現(xiàn)在再現(xiàn)設(shè)備12830中時，再現(xiàn)設(shè)備12830可對記錄 在存儲介質(zhì)12820(諸如盤或存儲卡)上的編碼后的視頻流進行解析和解碼，以重建數(shù)字信 號。因此，可在例如監(jiān)視器12840上再現(xiàn)重建的視頻信號。
[0438]在被連接到用于衛(wèi)星/地面廣播的天線12860或用于接收有線電視(TV)廣播的有 線天線12850的機頂盒12870中，可安裝本發(fā)明的視頻解碼設(shè)備。從機頂盒12870輸出的數(shù)據(jù) 也可被再現(xiàn)在TV監(jiān)視器12880上。
[0439]作為另一示例，可將本發(fā)明的視頻解碼設(shè)備安裝在TV接收器12810中，而不是機頂 盒12870中。
[0440] 具有合適的天線12910的汽車12920可接收從圖23的衛(wèi)星12900或無線基站11700 發(fā)送的信號?？稍诎惭b在汽車12920中的汽車導(dǎo)航系統(tǒng)12930的顯示屏上再現(xiàn)解碼后的視 頻。
[0441]視頻信號可由本發(fā)明的視頻編碼設(shè)備來編碼，然后可被存儲在存儲介質(zhì)中。具體 地，可由DVD記錄器將圖像信號存儲在DVD盤12960中，或可由硬盤記錄器12950將圖像信號 存儲在硬盤中。作為另一示例，可將視頻信號存儲在SD卡12970中。如果硬盤記錄器12950包 括根據(jù)實施例的本發(fā)明的視頻解碼設(shè)備，則記錄在DVD盤12960、SD卡12970或另一存儲介質(zhì) 上的視頻信號可在TV監(jiān)視器12880上被再現(xiàn)。
[0442]汽車導(dǎo)航系統(tǒng)12930可不包括圖26的相機12530、相機接口 12630和圖像編碼單元 12720。例如，計算機12100和TV接收器12810可不包括在圖26的相機12530、相機接口 12630 和圖像編碼單元12720中。
[0443]圖27是示出根據(jù)各種實施例的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計算系統(tǒng) 的網(wǎng)絡(luò)結(jié)構(gòu)的示圖。
[0444] 云計算系統(tǒng)可包括云計算服務(wù)器14000、用戶數(shù)據(jù)庫（DB) 14100、多個計算資源 14200和用戶終端。
[0445] 響應(yīng)于來自用戶終端的請求，云計算系統(tǒng)經(jīng)由數(shù)據(jù)通信網(wǎng)絡(luò)（例如，互聯(lián)網(wǎng)）提供 多個計算資源14200的點播外包服務(wù)。在云計算環(huán)境下，服務(wù)提供商通過使用虛擬化技術(shù)組 合位于不同的物理位置的數(shù)據(jù)中心處的計算資源，為用戶提供想要的服務(wù)。服務(wù)用戶不必 將計算資源(例如，應(yīng)用、存儲器、操作系統(tǒng)(0S)和安全軟件)安裝在他/她自己的終端中以 使用它們，但可在想要的時間點在通過虛擬化技術(shù)產(chǎn)生的虛擬空間中從服務(wù)中選擇和使用 想要的服務(wù)。
[0446] 指定的服務(wù)用戶的用戶終端經(jīng)由包括互聯(lián)網(wǎng)和移動電信網(wǎng)絡(luò)的數(shù)據(jù)通信網(wǎng)絡(luò)被 連接到云計算服務(wù)器14000?？蓮脑朴嬎惴?wù)器14000向用戶終端提供云計算服務(wù)，特別是 視頻再現(xiàn)服務(wù)。用戶終端可以是能夠被連接到互聯(lián)網(wǎng)的各種類型的電子裝置，例如，桌上型 PC 14300、智能TV 14400、智能電話14500、筆記本計算機14600、便攜式多媒體播放器(PMP) 14700、平板 PC14800 等。
[0447] 云計算服務(wù)器14000可組合分布在云網(wǎng)絡(luò)中的多個計算資源14200,并向用戶終端 提供組合的結(jié)果。所述多個計算資源14200可包括各種數(shù)據(jù)服務(wù)，并可包括從用戶終端上傳 的數(shù)據(jù)。如上所述，云計算服務(wù)器14000可通過根據(jù)虛擬化技術(shù)組合分布在不同區(qū)域中的視 頻數(shù)據(jù)庫來向用戶終端提供想要的服務(wù)。
[0448]將關(guān)于已經(jīng)訂購云計算服務(wù)的用戶的用戶信息存儲在用戶DB 14100中。用戶信息 可包括用戶的登陸信息、地址、姓名和個人信用信息。用戶信息還可包括視頻的索引。這里， 所述索引可包括已經(jīng)被再現(xiàn)的視頻的列表、正在被再現(xiàn)的視頻的列表、之前正在被再現(xiàn)的 視頻的暫停點等。
[0449]可在用戶裝置之間共享存儲在用戶DB 14100中的關(guān)于視頻的信息。例如，當(dāng)響應(yīng) 于來自筆記本計算機14600的請求將視頻服務(wù)提供給筆記本計算機14600時，視頻服務(wù)的再 現(xiàn)歷史被存儲在用戶DB 14100中。當(dāng)從智能電話14500接收到用于再現(xiàn)此視頻服務(wù)的請求 時，云計算服務(wù)器14000基于用戶DB 14100搜索并再現(xiàn)此視頻服務(wù)。當(dāng)智能電話14500從云 計算服務(wù)器14000接收到視頻數(shù)據(jù)流時，通過對視頻數(shù)據(jù)流進行解碼來再現(xiàn)視頻的處理與 以上參照圖24描述的移動電話12500的操作類似。
[0450] 云計算服務(wù)器14000可參考存儲在用戶DB 14100中的想要的視頻服務(wù)的再現(xiàn)歷 史。例如，云計算服務(wù)器14000從用戶終端接收用于再現(xiàn)存儲在用戶DB 14100中的視頻的請 求。如果此視頻被再現(xiàn)過，則由云計算服務(wù)器14000執(zhí)行的對此視頻進行流傳輸?shù)姆椒筛?據(jù)來自用戶終端的請求（即，根據(jù)是將從視頻的起點還是從視頻的暫停點開始再現(xiàn)視頻)而 不同。例如，如果用戶終端請求從視頻的起點開始再現(xiàn)視頻，則云計算服務(wù)器14000將從視 頻的第一幀開始的視頻的流數(shù)據(jù)發(fā)送到用戶終端。如果用戶終端請求從視頻的暫停點開始 再現(xiàn)視頻，則云計算服務(wù)器14000將從與暫停點相應(yīng)的幀開始的視頻的流數(shù)據(jù)發(fā)送到用戶 終端。
[0451] 在此情況下，用戶終端可包括以上參照圖la至圖20描述的本發(fā)明的視頻解碼設(shè) 備。作為另一示例，用戶終端可包括以上參照圖la至圖20描述的本發(fā)明的視頻編碼設(shè)備?？?選擇地，用戶終端可包括以上參照圖la至圖20描述的本發(fā)明的視頻解碼設(shè)備和視頻編碼設(shè) 備兩者。
[0452] 以上參照圖21至圖27描述了以上參照圖la至圖20描述的根據(jù)各種實施例的視頻 編碼方法、視頻解碼方法、視頻編碼設(shè)備和視頻解碼設(shè)備的各種應(yīng)用。然而，根據(jù)各種實施 例的將視頻編碼方法和視頻解碼方法存儲在存儲介質(zhì)中的方法或者將視頻編碼設(shè)備和視 頻解碼設(shè)備實現(xiàn)在裝置中的方法不限于以上參照圖21至圖27描述的實施例。
[0453]本領(lǐng)域的普通技術(shù)人員將理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍 的情況下，可作出形式和細節(jié)上的各種改變。實施例應(yīng)僅被看作描述性意義，而不是限制的 目的。因此，本發(fā)明的范圍不由本發(fā)明的詳細描述來限定，而由權(quán)利要求來限定，在所述范 圍內(nèi)的所有不同將被解釋為包括在本發(fā)明中。
【主權(quán)項】
1. 一種層間視頻解碼方法，包括： 獲得指示第二層當(dāng)前塊是否執(zhí)行亮度補償?shù)牧炼妊a償信息； 基于亮度補償信息是否指示亮度補償被執(zhí)行以及第二層當(dāng)前塊的候選是否執(zhí)行時間 方向幀間預(yù)測來確定第二層當(dāng)前塊的候選是否可用作合并候選； 基于確定的結(jié)果來產(chǎn)生包括至少一個合并候選的合并候選列表； 通過使用所述至少一個合并候選中的一個合并候選的運動信息來確定第二層當(dāng)前塊 的運動信息。2. 如權(quán)利要求1所述的層間視頻解碼方法，其中，當(dāng)?shù)诙赢?dāng)前塊的亮度補償信息指示 亮度補償被執(zhí)行并且第二層當(dāng)前塊的候選執(zhí)行時間方向幀間預(yù)測時，不包括第二層當(dāng)前塊 的候選的合并候選列表被產(chǎn)生。3. 如權(quán)利要求1所述的層間視頻解碼方法，其中，第二層當(dāng)前塊的候選基于由第二層當(dāng) 前塊的從第二層當(dāng)前塊的位置開始的視差矢量所指示的相應(yīng)塊的運動信息。4. 如權(quán)利要求1所述的層間視頻解碼方法，其中，第二層當(dāng)前塊的候選基于由第二層當(dāng) 前塊的從第二層當(dāng)前塊的位置開始的視差矢量所指示的相應(yīng)塊的右下塊的運動信息。5. 如權(quán)利要求1所述的層間視頻解碼方法，其中，當(dāng)亮度補償信息指示亮度補償被執(zhí)行 時，具有與第二層當(dāng)前塊的候選的運動信息之中的運動矢量和參考索引相同的運動矢量和 相同的參考索引的其他候選中的一些候選或全部候選不被包括在合并候選列表中。6. 如權(quán)利要求1所述的層間視頻解碼方法，其中，當(dāng)亮度補償信息指示亮度補償被執(zhí)行 時，具有與第二層當(dāng)前塊的候選的運動信息之中的相同的參考索引的其他候選中的一些候 選或全部候選不被包括在合并候選列表中。7. 如權(quán)利要求1所述的層間視頻解碼方法，其中，第二層當(dāng)前塊的候選基于與第二層當(dāng) 前塊的從第二層當(dāng)前塊的位置開始的視差矢量相應(yīng)的塊的運動信息， 所述層間視頻解碼方法還包括：當(dāng)亮度補償信息指示亮度補償不被執(zhí)行時，將所述視 差矢量的垂直分量確定為0。8. -種層間視頻編碼方法，包括： 確定第二層當(dāng)前塊是否執(zhí)行亮度補償； 基于第二層當(dāng)前塊是否執(zhí)行亮度補償以及第二層當(dāng)前塊的候選是否執(zhí)行時間方向幀 間預(yù)測來確定第二層當(dāng)前塊的候選是否可用作合并候選； 基于確定的結(jié)果來產(chǎn)生包括至少一個合并候選的合并候選列表； 通過使用所述至少一個合并候選中的一個合并候選的運動信息來確定第二層當(dāng)前塊 的運動信息。9. 如權(quán)利要求8所述的層間視頻編碼方法，其中，當(dāng)?shù)诙赢?dāng)前塊執(zhí)行亮度補償并且第 二層當(dāng)前塊的候選執(zhí)行時間方向幀間預(yù)測時，不包括第二層當(dāng)前塊的候選的合并候選列表 被產(chǎn)生。10. 如權(quán)利要求8所述的層間視頻編碼方法，其中，第二層當(dāng)前塊的候選基于由第二層 當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視差矢量所指示的相應(yīng)塊的運動信息。11. 如權(quán)利要求8所述的層間視頻解碼方法，其中，第二層當(dāng)前塊的候選基于由第二層 當(dāng)前塊的從第二層當(dāng)前塊的位置開始的視差矢量所指示的相應(yīng)塊的右下塊的運動信息。12. 如權(quán)利要求8所述的層間視頻解碼方法，其中，當(dāng)?shù)诙赢?dāng)前塊執(zhí)行亮度補償時，具 有與第二層當(dāng)前塊的候選的運動信息之中的運動矢量和參考索引相同的運動矢量和相同 的參考索引的其他候選中的一些候選或全部候選不被包括在合并候選列表中。13. -種層間視頻解碼設(shè)備，包括： 亮度補償信息獲得器，被配置為獲得指示第二層當(dāng)前塊是否執(zhí)行亮度補償?shù)牧炼妊a償 信息； 合并候選列表產(chǎn)生器，被配置為基于亮度補償信息是否指示亮度補償被執(zhí)行以及第二 層當(dāng)前塊的候選是否執(zhí)行時間方向幀間預(yù)測來確定第二層當(dāng)前塊的候選是否可用作合并 候選，并基于確定的結(jié)果來產(chǎn)生包括至少一個合并候選的合并候選列表； 運動信息確定器，被配置為通過使用所述至少一個合并候選中的一個合并候選的運動 信息來確定第二層當(dāng)前塊的運動信息。14. 一種層間視頻編碼設(shè)備，包括： 亮度補償確定器，被配置為確定第二層當(dāng)前塊是否執(zhí)行亮度補償； 合并候選列表產(chǎn)生器，被配置為基于第二層當(dāng)前塊是否執(zhí)行亮度補償以及第二層當(dāng)前 塊的候選是否執(zhí)行時間方向幀間預(yù)測來確定第二層當(dāng)前塊的候選是否可用作合并候選，并 基于確定的結(jié)果來產(chǎn)生包括至少一個合并候選的合并候選列表； 運動信息確定器，被配置為通過使用所述至少一個合并候選中的一個合并候選的運動 信息來確定第二層當(dāng)前塊的運動信息。15. -種記錄有程序的非暫時性計算機可讀記錄介質(zhì)，其中，當(dāng)所述程序被計算機執(zhí)行 時，所述程序執(zhí)行權(quán)利要求1的層間視頻解碼方法。
【文檔編號】H04N19/186GK106031175SQ201480076092
【公開日】2016年10月12日
【申請日】2014年12月22日
【發(fā)明人】樸慜祐, 李振榮
【申請人】三星電子株式會社