用于補(bǔ)償亮度差的層間視頻編碼方法和設(shè)備以及層間視頻解碼方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及層間視頻編碼和解碼方法，更具體地說，涉及一種補(bǔ)償層間圖像之間 的亮度差的方法。
【背景技術(shù)】
[0002] 隨著用于再現(xiàn)和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件正被開發(fā)和提供，對于用 于有效地對高分辨率或高質(zhì)量視頻內(nèi)容進(jìn)行編碼或解碼的視頻編解碼器的需求正在增加。 根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的編碼單元，根據(jù)受限的編碼方法來對視頻 進(jìn)行編碼。
[0003] 空間域的圖像數(shù)據(jù)經(jīng)由頻率變換被變換為頻域的系數(shù)。根據(jù)視頻編解碼器，將圖 像劃分為具有預(yù)定尺寸的塊，對每個塊執(zhí)行離散余弦變換（DCT)，并在塊單元中對頻率系數(shù) 進(jìn)行編碼，以進(jìn)行頻率變換的快速計(jì)算。與空間域的圖像數(shù)據(jù)相比，頻域的系數(shù)容易被壓 縮。具體地，由于根據(jù)經(jīng)由視頻編解碼器的幀間預(yù)測或幀內(nèi)預(yù)測的預(yù)測誤差來表示空間域 的圖像像素值，因此當(dāng)對預(yù)測誤差執(zhí)行頻率變換時，大量數(shù)據(jù)可被變換為〇。根據(jù)視頻編解 碼器，可通過使用小量數(shù)據(jù)來代替連續(xù)并重復(fù)產(chǎn)生的數(shù)據(jù)，從而減少數(shù)據(jù)量。
[0004] 多層視頻編解碼器對第一層視頻和各種第二層視頻進(jìn)行編碼和解碼以去除第一 層視頻和第二層視頻的時間和空間冗余以及層之間的冗余，從而減少第一層視頻和第二層 視頻的數(shù)據(jù)量。

【發(fā)明內(nèi)容】

[0005] 技術(shù)問題
[0006] 如果在每個視點(diǎn)的視頻之間亮度不相同，則由于層間預(yù)測誤差量進(jìn)一步增加，因 此編碼效率會降低。因此，考慮到視點(diǎn)之間的亮度不一致，層間視頻編碼設(shè)備10的亮度補(bǔ) 償確定器14可對每個視點(diǎn)的視頻的亮度差進(jìn)行補(bǔ)償和編碼。例如，可對由第一層編碼器12 編碼的第一視點(diǎn)圖像和由第二層編碼器16編碼的第二視點(diǎn)圖像之間的亮度差進(jìn)行編碼。 由于第二視點(diǎn)圖像相對于第一視點(diǎn)圖像的亮度差被編碼，因此當(dāng)?shù)诙泳幋a器16對第二 視點(diǎn)視頻進(jìn)行編碼時可對亮度進(jìn)行補(bǔ)償。然而，為了能夠?qū)α炼冗M(jìn)行補(bǔ)償而會增加復(fù)雜度。
[0007] 技術(shù)方案
[0008] 根據(jù)本公開的實(shí)施例，一種層間視頻解碼方法包括：基于從第一層比特流獲得的 編碼信息對第一層圖像進(jìn)行重建；通過使用從第二層比特流獲得的層間預(yù)測信息和第一層 重建圖像中的與在第二層中將被重建的當(dāng)前塊相應(yīng)的第一層參考塊，對被確定為預(yù)定分區(qū) 模式和預(yù)測模式的第二層當(dāng)前塊進(jìn)行重建；對處于第二層當(dāng)前塊不被劃分的分區(qū)模式的第 二層當(dāng)前塊確定是否執(zhí)行亮度補(bǔ)償；根據(jù)是否執(zhí)行亮度補(bǔ)償來對第二層當(dāng)前塊的亮度進(jìn)行 補(bǔ)償，并對包括亮度被補(bǔ)償?shù)牡诙赢?dāng)前塊的第二層圖像進(jìn)行重建。
[0009] 有益效果
[0010] 根據(jù)本發(fā)明的實(shí)施例，多層圖像的亮度補(bǔ)償應(yīng)用范圍被適當(dāng)?shù)叵拗?，從而保持?碼效率并降低復(fù)雜度。
【附圖說明】
[0011] 從以下結(jié)合附圖進(jìn)行的對實(shí)施例的描述，這些和/或其它方面將變得明顯并更易 于理解，其中：
[0012] 圖la是根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備的框圖。
[0013] 圖lb是根據(jù)各種實(shí)施例的層間視頻編碼方法的流程圖。
[0014] 圖2a是根據(jù)各種實(shí)施例的層間視頻解碼設(shè)備的框圖。
[0015] 圖2b是根據(jù)各種實(shí)施例的層間視頻解碼方法的流程圖。
[0016] 圖3示出根據(jù)實(shí)施例的層間預(yù)測結(jié)構(gòu)。
[0017] 圖4是根據(jù)實(shí)施例的層間視頻解碼設(shè)備執(zhí)行亮度補(bǔ)償?shù)姆椒ǖ牧鞒虉D。
[0018] 圖5示出根據(jù)實(shí)施例的用于基于當(dāng)前塊的分區(qū)（partition)模式執(zhí)行亮度補(bǔ)償?shù)?語法的示例。
[0019] 圖6示出根據(jù)實(shí)施例的用于基于當(dāng)前塊的分區(qū)模式執(zhí)行亮度補(bǔ)償?shù)恼Z法的另一 示例。
[0020] 圖7是根據(jù)實(shí)施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖。
[0021] 圖8是根據(jù)實(shí)施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖。
[0022] 圖9是用于描述根據(jù)實(shí)施例的編碼單元的概念的示圖。
[0023] 圖10是根據(jù)實(shí)施例的基于編碼單元的圖像編碼器的框圖。
[0024] 圖11是根據(jù)實(shí)施例的基于編碼單元的圖像解碼器的框圖。
[0025] 圖12是示出根據(jù)實(shí)施例的較深層編碼單元以及分區(qū)的示圖。
[0026] 圖13是用于描述根據(jù)實(shí)施例的編碼單元與變換單元之間的關(guān)系的示圖。
[0027] 圖14是用于描述根據(jù)實(shí)施例的編碼單元的編碼信息的示圖。
[0028] 圖15是根據(jù)實(shí)施例的較深層編碼單元的示圖。
[0029] 圖16至圖18是用于描述根據(jù)實(shí)施例的編碼單元、預(yù)測單元和變換單元之間的關(guān) 系的不圖。
[0030] 圖19是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元、和變換單元之 間的關(guān)系的不圖。
[0031] 圖20是根據(jù)實(shí)施例的存儲程序的盤的物理結(jié)構(gòu)的示圖。
[0032] 圖21是通過使用盤來記錄和讀取程序的盤驅(qū)動器的示圖。
[0033] 圖22是提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的示圖。
[0034] 圖23和圖24分別是根據(jù)實(shí)施例的應(yīng)用了視頻編碼方法和視頻解碼方法的移動電 話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)的示圖。
[0035] 圖25是根據(jù)實(shí)施例的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)的示圖。
[0036] 圖26是示出根據(jù)實(shí)施例的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng) 絡(luò)結(jié)構(gòu)的示圖。
[0037] 最佳實(shí)施方式
[0038] 根據(jù)本發(fā)明的實(shí)施例的一方面，一種層間視頻解碼方法包括：基于從第一層比特 流獲得的編碼信息對第一層圖像進(jìn)行重建；通過使用從第二層比特流獲得的層間預(yù)測信息 和第一層重建圖像中的與在第二層中將被重建的當(dāng)前塊相應(yīng)的第一層參考塊，對被確定為 預(yù)定分區(qū)模式和預(yù)測模式的第二層當(dāng)前塊進(jìn)行重建；對處于第二層當(dāng)前塊不被劃分的分區(qū) 模式的第二層當(dāng)前塊確定是否執(zhí)行亮度補(bǔ)償；根據(jù)是否執(zhí)行亮度補(bǔ)償來對第二層當(dāng)前塊的 亮度進(jìn)行補(bǔ)償，并對包括亮度被補(bǔ)償?shù)牡诙赢?dāng)前塊的第二層圖像進(jìn)行重建。
[0039] 當(dāng)?shù)诙赢?dāng)前塊的尺寸為2NX2N時，第二層當(dāng)前塊不被劃分的分區(qū)模式是 2NX2N分區(qū)模式。
[0040] 確定是否執(zhí)行亮度補(bǔ)償?shù)牟襟E包括：從第二層比特流獲得第二層塊的分區(qū)模式信 息和預(yù)測模式信息；當(dāng)分區(qū)模式信息是第二層當(dāng)前塊不被劃分的分區(qū)模式，并且預(yù)測模式 信息不是幀內(nèi)預(yù)測模式時，從第二層比特流獲得針對第二層塊的亮度補(bǔ)償信息；基于針對 第二層塊的亮度補(bǔ)償信息確定是否對第二層當(dāng)前塊執(zhí)行亮度補(bǔ)償。
[0041] 確定是否執(zhí)行亮度補(bǔ)償?shù)牟襟E包括：當(dāng)預(yù)測模式信息不是幀內(nèi)預(yù)測模式時，從第 二層比特流獲得亮度補(bǔ)償信息。
[0042] 確定是否執(zhí)行亮度補(bǔ)償?shù)牟襟E包括：獲得針對包括在基于預(yù)測模式信息被確定為 使用亮度補(bǔ)償?shù)臈l帶中的當(dāng)前塊的亮度補(bǔ)償信息。
[0043] 省略對除了被解碼為第二層當(dāng)前塊不被劃分的分區(qū)模式的塊之外的第二層塊確 定是否執(zhí)行亮度補(bǔ)償?shù)牟僮?，并且不對該第二層塊執(zhí)行亮度補(bǔ)償。
[0044] 確定的預(yù)測模式是合并模式或先進(jìn)運(yùn)動矢量預(yù)測（AMVP)模式。
[0045] 根據(jù)本發(fā)明的實(shí)施例的一方面，一種層間視頻編碼方法包括：產(chǎn)生第一層比特流， 其中，第一層比特流包括通過對第一層圖像進(jìn)行編碼而產(chǎn)生的編碼信息；根據(jù)預(yù)定分區(qū)模 式和預(yù)測模式，通過使用第一層重建圖像之中的與將被重建的第二層當(dāng)前塊相應(yīng)的第一層 參考塊，對第二層當(dāng)前塊進(jìn)行重建；對處于第二層當(dāng)前塊不被劃分的分區(qū)模式的第二層當(dāng) 前塊確定是否執(zhí)行亮度補(bǔ)償；產(chǎn)生第二層比特流，其中，第二層比特流包括根據(jù)是否執(zhí)行亮 度補(bǔ)償而確定亮度的第二層當(dāng)前塊與第一層參考塊之間的層間預(yù)測信息。
[0046] 當(dāng)?shù)诙赢?dāng)前塊的尺寸為2NX2N時，第二層當(dāng)前塊不被劃分的分區(qū)模式是 2NX2N分區(qū)模式。
[0047] 確定是否執(zhí)行亮度補(bǔ)償?shù)牟襟E包括：確定第二層塊的分區(qū)模式信息和預(yù)測模式信 息；當(dāng)分區(qū)模式信息是第二層當(dāng)前塊不被劃分的分區(qū)模式，并且預(yù)測模式信息不是幀內(nèi)預(yù) 測模式時，確定指示是否對第二層塊執(zhí)行亮度補(bǔ)償?shù)牧炼妊a(bǔ)償信息；產(chǎn)生第二層流的步驟 包括：產(chǎn)生包括分區(qū)模式信息、預(yù)測模式信息和亮度補(bǔ)償信息的第二層流。
[0048] 確定是否執(zhí)行亮度補(bǔ)償?shù)牟襟E包括：當(dāng)預(yù)測模式信息不是幀內(nèi)預(yù)測模式時，確定 指示是否對第二層塊執(zhí)行亮度補(bǔ)償?shù)牧炼妊a(bǔ)償信息。
[0049] 確定是否執(zhí)行亮度補(bǔ)償?shù)牟襟E包括：針對包括在基于分區(qū)模式信息被確定為使用 亮度補(bǔ)償?shù)臈l帶中的當(dāng)前塊，確定亮度補(bǔ)償信息。
[0050] 省略對除了被解碼為第二層當(dāng)前塊不被劃分的分區(qū)模式的塊之外的第二層塊確 定是否執(zhí)行亮度補(bǔ)償?shù)牟僮?，并且不對該第二層塊執(zhí)行亮度補(bǔ)償。
[0051] 確定的預(yù)測模式是合并模式或先進(jìn)運(yùn)動矢量預(yù)測（AMVP)模式。
[0052] 根據(jù)本發(fā)明的實(shí)施例的一方面，一種層間視頻解碼設(shè)備包括：第一層解碼器，用于 基于從第一層比特流獲得的編碼信息對第一層圖像進(jìn)行重建；第二層解碼器，用于通過使 用從第二層比特流獲得的層間預(yù)測信息并使用第一層重建圖像中的與在第二層中將被重 建的當(dāng)前塊相應(yīng)的第一層參考塊，對被確定為預(yù)定分區(qū)模式和預(yù)測模式的第二層當(dāng)前塊進(jìn) 行重建；亮度補(bǔ)償確定器，用于對處于第二層當(dāng)前塊不被劃分的分區(qū)模式的第二層當(dāng)前塊 確定是否執(zhí)行亮度補(bǔ)償，其中，第二層解碼器根據(jù)是否執(zhí)行亮度補(bǔ)償來對第二層當(dāng)前塊的 亮度進(jìn)行補(bǔ)償，并對包括亮度被補(bǔ)償?shù)牡诙赢?dāng)前塊的第二層圖像進(jìn)行重建。
[0053] 根據(jù)本發(fā)明的實(shí)施例的一方面，一種層間視頻編碼設(shè)備包括：第一層編碼器，用于 產(chǎn)生第一層比特流，其中，第一層比特流包括通過對第一層圖像進(jìn)行編碼而產(chǎn)生的編碼信 息；第二層編碼器，用于根據(jù)預(yù)定分區(qū)模式和預(yù)測模式，通過使用第一層重建圖像之中的 與將被重建的第二層當(dāng)前塊相應(yīng)的第一層參考塊，對第二層當(dāng)前塊進(jìn)行重建；亮度補(bǔ)償確 定器，用于對處于第二層當(dāng)前塊不被劃分的分區(qū)模式的第二層當(dāng)前塊確定是否執(zhí)行亮度補(bǔ) 償，其中，第二層編碼器產(chǎn)生第二層比特流，其中，第二層比特流包括根據(jù)是否執(zhí)行亮度補(bǔ) 償而確定亮度的第二層當(dāng)前塊與第一層參考塊之間的層間預(yù)測信息。
[0054] 根據(jù)本發(fā)明的實(shí)施例的另一方面，提供一種記錄有用于執(zhí)行所述方法的計(jì)算機(jī)程 序的非暫時性計(jì)算機(jī)可讀記錄介質(zhì)。
【具體實(shí)施方式】
[0055] 以下，將參照圖la至圖6描述根據(jù)各種實(shí)施例的基于塊特征確定是否執(zhí)行亮度補(bǔ) 償?shù)膶娱g視頻編碼方法和層間視頻解碼方法。將參照圖7至圖19描述可應(yīng)用到層間視頻 編碼方法和層間視頻解碼方法的根據(jù)各種實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻編 碼方法和視頻解碼方法。另外，將參照圖20至圖26描述視頻編碼方法和視頻解碼方法應(yīng) 用到的各種實(shí)施例。
[0056] 以下，"圖像"可以指靜止圖像或視頻的運(yùn)動圖像，或者視頻本身。
[0057] 以下，作為被分配到圖像的采樣位置的數(shù)據(jù)的"樣點(diǎn)"可表示作為處理目標(biāo)的數(shù) 據(jù)。例如，空間區(qū)的圖像中的像素可以是樣點(diǎn)。
[0058] 現(xiàn)在將參照圖la至圖7描述根據(jù)實(shí)施例的層間視頻編碼設(shè)備和方法以及層間視 頻解碼設(shè)備和方法。
[0059] 圖la是根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10的框圖。圖lb是根據(jù)各種實(shí)施 例的層間視頻編碼方法的流程圖。
[0060] 根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10可包括第一層編碼器12、亮度補(bǔ)償確定 器14和第二層編碼器16。亮度補(bǔ)償確定器14可被包括在第二層編碼器16中。亮度補(bǔ)償 確定器14可位于第二層編碼器16的外部。
[0061] 根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10可根據(jù)可伸縮視頻編碼針對每個層對多 個圖像序列進(jìn)行分類和編碼，并可輸出包括針對每個層編碼的數(shù)據(jù)的單獨(dú)的流。層間視頻 編碼設(shè)備10可根據(jù)不同的層對第一層圖像序列和第二層圖像序列進(jìn)行編碼。
[0062] 第一層編碼器12可對第一層圖像進(jìn)行編碼，并輸出包括第一層圖像的編碼數(shù)據(jù) 的第一層流。
[0063] 第二層編碼器16可對第二層圖像進(jìn)行編碼，并輸出包括第二層圖像的編碼數(shù)據(jù) 的第二層流。
[0064] 例如，根據(jù)基于空間可伸縮性的可伸縮視頻編碼，低分辨率圖像可被編碼為第一 層圖像，高分辨率圖像可被編碼為第二層圖像。第一層圖像的編碼結(jié)果可在第一層流中被 輸出。第二層圖像的編碼結(jié)果可在第二層流中被輸出。
[0065] 作為另一示例，可根據(jù)可伸縮視頻編碼對多視點(diǎn)視頻進(jìn)行編碼。在這種情況下，中 間視點(diǎn)圖像可被編碼為第一層圖像，左視點(diǎn)圖像和右視點(diǎn)圖像可被編碼為參考第一層圖像 的第二層圖像?？蛇x地，當(dāng)層間視頻編碼設(shè)備10允許三層或更多層（諸如第一層、第二層 和第三層）時，中間視點(diǎn)圖像可被編碼為第一層圖像，左視點(diǎn)圖像可被編碼為第二層圖像， 右視點(diǎn)圖像可被編碼為第三層圖像。然而，本發(fā)明不必要受限于此。中間視點(diǎn)圖像、左視點(diǎn) 圖像和右視點(diǎn)圖像被編碼和參考的層可被改變。
[0066] 作為另一示例，可根據(jù)基于時間可伸縮性的時間分層預(yù)測來執(zhí)行可伸縮視頻編 碼?？奢敵霭ㄍㄟ^對基本幀率的圖像進(jìn)行編碼而產(chǎn)生的編碼信息的第一層流。時間級可 針對每個幀率被分類并可在層中被分別編碼?？赏ㄟ^進(jìn)一步參照基本幀率的圖像對高幀率 的圖像進(jìn)行編碼來輸出包括高速幀率的編碼信息的第二層流。
[0067] 可對第一層和多個第二層執(zhí)行可伸縮視頻編碼。在存在三個或更多個第二層的 情況下，可對第一層圖像、第一第二層圖像、第二第二層圖像、…、第K第二層圖像進(jìn)行編 碼。因此，第一層圖像的編碼結(jié)果可在第一層流中被輸出，第一第二層圖像、第二第二層圖 像、…、第K第二層圖像的編碼結(jié)果可分別在第一第二層流、第二第二層流、…、第K第二 層流中被輸出。
[0068] 根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10可通過參考單個層的圖像來執(zhí)行對當(dāng)前 圖像進(jìn)行預(yù)測的幀間預(yù)測。通過幀間預(yù)測可產(chǎn)生指示當(dāng)前圖像和參考圖像之間的運(yùn)動信息 的運(yùn)動矢量以及當(dāng)前圖像和參考圖像之間的殘差。
[0069] 層間視頻編碼設(shè)備10可通過參考第一層圖像的預(yù)測信息來執(zhí)行對第二層圖像的 預(yù)測信息進(jìn)行預(yù)測的層間預(yù)測。
[0070] 當(dāng)根據(jù)實(shí)施例的層間視頻編碼設(shè)備10允許三層或更多層（諸如第一層、第二層、 第三層等）時，層間視頻編碼設(shè)備10可根據(jù)多層預(yù)測結(jié)構(gòu)執(zhí)行第一層圖像和第三層圖像之 間的層間預(yù)測以及第二層圖像和第三層圖像之間的層間預(yù)測。
[0071] 通過層間預(yù)測可產(chǎn)生當(dāng)前圖像和不同層的參考圖像之間的位置差分量以及當(dāng)前 圖像和不同層的參考圖像之間的殘差。
[0072] 稍后將參照圖3詳細(xì)描述層間預(yù)測結(jié)構(gòu)。
[0073] 根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10根據(jù)每個層針對各個塊對每個視頻圖像 進(jìn)行編碼。塊可具有正方形形狀、矩形形狀或任意幾何形狀，并且不限于具有預(yù)定尺寸的數(shù) 據(jù)單元。塊可以是根據(jù)樹結(jié)構(gòu)的編碼單元之中的最大編碼單元、編碼單元、預(yù)測單元、變換 單元等。包括具有樹結(jié)構(gòu)的編碼單元的最大編碼單元被不同地稱為編碼塊單元、塊樹、根塊 樹、編碼樹、編碼根或樹干?，F(xiàn)在將參照圖8至圖20描述基于具有樹結(jié)構(gòu)的編碼單元的視 頻編碼和解碼方法。
[0074] 可基于編碼單元、預(yù)測單元或變換單元的數(shù)據(jù)單元執(zhí)行幀間預(yù)測和層間預(yù)測。
[0075] 根據(jù)各種示例性實(shí)施例的第一層編碼器12可對第一層圖像執(zhí)行包括幀間預(yù)測或 幀內(nèi)預(yù)測的源編碼操作以產(chǎn)生符號數(shù)據(jù)。符號數(shù)據(jù)表示每個編碼參考的樣值和殘差的樣 值。
[0076] 例如，第一層編碼器12可按照第一層圖像的數(shù)據(jù)單元對樣點(diǎn)執(zhí)行幀間預(yù)測或幀 內(nèi)預(yù)測、變換和量化，產(chǎn)生符號數(shù)據(jù)，對符號數(shù)據(jù)執(zhí)行熵編碼，并產(chǎn)生第一層流。
[0077] 第二層編碼器16可基于具有樹結(jié)構(gòu)的編碼單元對第二層圖像進(jìn)行編碼。第二層 編碼器16可按照第二層圖像的數(shù)據(jù)單元對樣點(diǎn)執(zhí)行幀間/幀內(nèi)預(yù)測、變換和量化，產(chǎn)生符 號數(shù)據(jù)，對符號數(shù)據(jù)執(zhí)行熵編碼，并產(chǎn)生第二層流。
[0078] 根據(jù)各種實(shí)施例的第二層編碼器16可通過使用第一層圖像的預(yù)測信息執(zhí)行對第 二層圖像進(jìn)行預(yù)測的層間預(yù)測。為了通過層間預(yù)測結(jié)構(gòu)對第二層圖像序列之中的第二層原 始圖像進(jìn)行編碼，第二層編碼器16可通過使用第一層重建圖像的預(yù)測信息確定第二層當(dāng) 前圖像的預(yù)測信息，并基于確定的預(yù)測信息產(chǎn)生第二層預(yù)測圖像以對第二層原始圖像和第 二層預(yù)測圖像之間的預(yù)測誤差進(jìn)行編碼。
[0079] 第二層編碼器16可針對每個塊（諸如編碼單元或預(yù)測單元）對第二層圖像執(zhí)行 層間預(yù)測，并確定第一層圖像之中的將由第二層圖像的塊參考的塊。例如，可確定第一層圖 像之中的位置與第二層圖像中的當(dāng)前塊的位置相應(yīng)的重建塊。第二層編碼器16可通過使 用與第二層塊相應(yīng)的第一層重建塊來確定第二層預(yù)測塊。
[0080] 第二層編碼器16可將通過使用第一層重建塊確定的第二層預(yù)測塊用作對第二層 原始塊進(jìn)行層間預(yù)測的參考圖像。第二層編碼器16可使用第一層重建圖像，對第二層預(yù)測 塊的樣值和第二層原始塊的樣值之間的誤差（即，根據(jù)層間預(yù)測的殘差）執(zhí)行熵編碼。
[0081] 如上所述，層間視頻編碼設(shè)備10可通過層間預(yù)測結(jié)構(gòu)參照第一層重建圖像來對 當(dāng)前層圖像序列進(jìn)行編碼。然而，根據(jù)各種實(shí)施例的層間視頻編碼設(shè)備10可在不參考不同 層樣點(diǎn)的情況下，根據(jù)單層預(yù)測結(jié)構(gòu)對第二層圖像序列進(jìn)行編碼。因此，不限于第二層編碼 器16僅執(zhí)行層間預(yù)測以對第二層圖像序列進(jìn)行編碼的解釋。
[0082] 如上所述，當(dāng)層間視頻編碼設(shè)備10對多視點(diǎn)視頻進(jìn)行編碼時，第一層編碼器12可 對第一視點(diǎn)視頻進(jìn)行編碼，第二層編碼器16可對第二視點(diǎn)視頻進(jìn)行編碼。針對每個視點(diǎn)的 視頻可通過不同的相機(jī)被捕捉，或者可使用不同的鏡頭被獲得。由于針對每個視點(diǎn)的捕捉 角度、照明或成像工具（相機(jī)、鏡頭等）的特征可以是不同的，因此可能發(fā)生針對每個視點(diǎn) 獲得的視頻之間的亮度不同的現(xiàn)象。這樣的亮度失配現(xiàn)象可能與針對每個視點(diǎn)的視頻之間 的樣值差有關(guān)。
[0083] 如果針對每個視點(diǎn)的視頻之間的亮度不同，則會因?yàn)閷娱g預(yù)測誤差量的進(jìn)一步增 大而使編碼效率降低。因此，考慮到視點(diǎn)之間的亮度不一致，層間視頻編碼設(shè)備10的亮度 補(bǔ)償確定器14可對每個視點(diǎn)的視頻的亮度差進(jìn)行補(bǔ)償并編碼。例如，可對由第一層編碼 器12編碼的第一視點(diǎn)圖像和由第二層編碼器16編碼的第二視點(diǎn)圖像之間的亮度差進(jìn)行編 碼。由于第二視點(diǎn)圖像相對于第一視點(diǎn)圖像的亮度差被編碼，因此當(dāng)?shù)诙泳幋a器16對第 二層視點(diǎn)視頻進(jìn)行編碼時可對亮度進(jìn)行補(bǔ)償。
[0084] 根據(jù)實(shí)施例，預(yù)定參數(shù)可被用于對第一層塊和第二層塊之間的亮度差進(jìn)行補(bǔ)償。 例如，如下面的等式1所示，縮放因子a和偏移值b可被用于通過對與不同層相應(yīng)的當(dāng)前塊 的像素P的亮度進(jìn)行補(bǔ)償來獲得結(jié)果P'。
[0085] [等式 1]
[0086] P' = aXP+b
[0087] 用于以塊為單位對亮度差進(jìn)行補(bǔ)償?shù)膮?shù)可通過被包括在比特流中而被發(fā)送，或 者可通過利用第二層當(dāng)前塊的周圍像素值和與該當(dāng)前塊相應(yīng)的第一層重建塊的周圍像素 值而被推導(dǎo)出。
[0088] 同時，由于在層間預(yù)測結(jié)構(gòu)中，在層之間預(yù)測殘差，因此，對層之間的亮度差進(jìn)行 預(yù)測的編碼操作會增加算術(shù)運(yùn)算量。因此，根據(jù)各種實(shí)施例的亮度補(bǔ)償確定器14可考慮預(yù) 定數(shù)據(jù)單元（諸如當(dāng)前圖像的條帶或塊）的特征而確定是否執(zhí)行亮度補(bǔ)償。
[0089] 下面將參照圖lb描述考慮亮度的補(bǔ)償?shù)膶娱g視頻編碼設(shè)備10的詳細(xì)操作。
[0090] 圖lb是根據(jù)各種實(shí)施例的層間視頻編碼方法的流程圖。
[0091] 在操作11，第一層編碼器12可對第一層圖像進(jìn)行編碼，并產(chǎn)生包括產(chǎn)生的編碼信 息的樣值的第一層比特流。
[0092] 在操作13,第二層編碼器16可對第二層圖像進(jìn)行編碼，并重建被確定是預(yù)定分區(qū) 模式和預(yù)測模式的第二層當(dāng)前塊，以產(chǎn)生包括產(chǎn)生的編碼信息的樣值的第二層比特流。也 就是說，第二層編碼器16可根據(jù)預(yù)定分區(qū)模式和預(yù)測模式，使用第一層重建圖像之中的與 將被重建的第二層當(dāng)前塊相應(yīng)的第一層參考塊，對第二層當(dāng)前塊進(jìn)行重建。這可以解釋為 如果層間視頻編碼設(shè)備10對多視點(diǎn)視頻進(jìn)行編碼，則第一層圖像與第一視點(diǎn)圖像相應(yīng)，第 二層圖像與第二視點(diǎn)圖像相應(yīng)。第一層編碼器12和第二層編碼器16可將每個圖像劃分為 塊，并針對各個塊對每個圖像進(jìn)行編碼。
[0093] 在操作15,亮度補(bǔ)償確定器14可對處于第二層當(dāng)前塊不被劃分的分區(qū)模式的第 二層當(dāng)前塊確定是否執(zhí)行亮度補(bǔ)償。在這點(diǎn)上，第二層當(dāng)前塊不被劃分的分區(qū)模式是指在 當(dāng)前塊的尺寸是2NX2N時當(dāng)前塊的分區(qū)模式是2NX2N分區(qū)模式。
[0094] 在操作17,第二層編碼器16可產(chǎn)生第二層比特流，其中，第二層比特流包括根據(jù) 是否執(zhí)行亮度補(bǔ)償而確定亮度的第二層當(dāng)前塊與第一層參考塊之間的層間預(yù)測信息。
[0095] 例如，第二層編碼器16可產(chǎn)生這樣的第二層流：該第二層流包括針對第二層當(dāng)前 塊不被劃分的分區(qū)模式和除了幀內(nèi)預(yù)測模式之外的預(yù)測模式的第二層重建塊的分區(qū)模式 信息、預(yù)測模式信息和亮度補(bǔ)償信息。第二層編碼器16可執(zhí)行對第一層圖像和第二層圖像 之間的誤差進(jìn)行編碼的層間預(yù)測，因此第二層圖像的塊（第二層塊）和第一層圖像之中的 與第二層圖像的塊相應(yīng)的參考塊（第一層參考塊）之間的殘差可被編碼。因此，第二層比 特流可包括指示層間編碼方法的各條層間預(yù)測信息以及層間殘差。
[0096] 現(xiàn)在將更詳細(xì)地描述操作13和15。
[0097] 第二層編碼器16可確定指示第二層