用于編碼和解碼可伸縮視頻的方法以及使用其的設(shè)備的制作方法
【專(zhuān)利摘要】本發(fā)明涉及用于層間幀內(nèi)預(yù)測(cè)的方法和設(shè)備，并且根據(jù)本發(fā)明的用于層間幀內(nèi)預(yù)測(cè)的方法包括步驟：判斷是否對(duì)增強(qiáng)層應(yīng)用層間預(yù)測(cè)；和當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，基于從參考層的解碼的參考畫(huà)面所歸納和生成的參考信息，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
【專(zhuān)利說(shuō)明】用于編碼和解碼可伸縮視頻的方法以及使用其的設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像信息的處理，并更具體地，涉及使用可伸縮視頻編碼(SVC)的視頻編碼方法和視頻解碼方法以及使用其的設(shè)備。
【背景技術(shù)】
[0002]最近，已根據(jù)多媒體環(huán)境的建立而使用各種終端和網(wǎng)絡(luò)，并且與此相符合，用戶(hù)需求也已經(jīng)多元化。
[0003]例如，隨著終端性能和計(jì)算能力多元化，裝置支持各種性能。而且，經(jīng)由其傳送信息的網(wǎng)絡(luò)也已經(jīng)在諸如傳送信息的形式、信息的數(shù)量和速度等的功能上、以及在諸如有線(xiàn)/無(wú)線(xiàn)網(wǎng)絡(luò)的外部結(jié)構(gòu)上多元化。用戶(hù)可根據(jù)期望的功能選擇要使用的終端和網(wǎng)絡(luò)，并且企業(yè)向用戶(hù)提供各種系列(spectrum)終端和網(wǎng)絡(luò)。
[0004]關(guān)于這一點(diǎn)，最近，已在全世界以及全國(guó)廣泛提供具有高清晰度分辨率的廣播，大量用戶(hù)正變得習(xí)慣于高分辨率、高畫(huà)面圖像。由此，許多與圖像服務(wù)相關(guān)的組織或機(jī)構(gòu)已施加開(kāi)發(fā)下一代圖像顯示裝置的刺激。
[0005]而且，除了 HDTV之外，隨著對(duì)于具有等于或大于HDTV4倍的分辨率的超高清晰度(UHD)的興趣正增加，對(duì)于壓縮和處理具有高分辨率和高畫(huà)面質(zhì)量的圖像的技術(shù)的需求在增長(zhǎng)。
[0006]為了壓縮和處理圖像，可使用用于從時(shí)間上在前和/或在后的畫(huà)面來(lái)預(yù)測(cè)當(dāng)前畫(huà)面中包括的像素值的幀間預(yù)測(cè)技術(shù)、用于通過(guò)使用當(dāng)前畫(huà)面中的像素信息來(lái)預(yù)測(cè)當(dāng)前畫(huà)面中包括的不同像素值的幀內(nèi)預(yù)測(cè)技術(shù)、以及用于向具有高頻率的碼元分配短代碼并向具有低頻率的碼元分配長(zhǎng)代碼的熵編碼技術(shù)等。
[0007]如上所述，考慮到其每一個(gè)支持不同功能和多元化的用戶(hù)需求的終端和網(wǎng)絡(luò)，所支持的圖像的質(zhì)量、尺寸、幀等需要多元化。
[0008]由此，由于具有各種功能的異類(lèi)通信網(wǎng)絡(luò)和各類(lèi)終端，所以可變地支持畫(huà)面質(zhì)量、分辨率、尺寸、幀頻等的可伸縮性是視頻格式化的重要功能。
[0009]由此，為了基于高效率視頻編碼方法在各種環(huán)境中提供用戶(hù)需要的服務(wù)，需要提供在時(shí)間、空間、畫(huà)面質(zhì)量等方面允許有效視頻編碼和解碼的可伸縮性功能。

【發(fā)明內(nèi)容】

[0010][技術(shù)問(wèn)題]
[0011]本發(fā)明的一個(gè)方面提供了能夠有效執(zhí)行視頻編碼和視頻解碼的方法和設(shè)備。
[0012]本發(fā)明的另一方面提供了能夠在各種環(huán)境中提供各種視頻服務(wù)的方法和設(shè)備。
[0013]本發(fā)明的另一方面提供了能夠根據(jù)用戶(hù)需求或目的在時(shí)間、空間、和/或畫(huà)面質(zhì)量方面提供各種視頻服務(wù)的方法和設(shè)備。
[0014]本發(fā)明的另一方面提供了能夠在與同時(shí)廣播(聯(lián)播)相比獲得比特率增加的同時(shí)、提供具有各種畫(huà)面質(zhì)量、分辨率、尺寸和/或幀頻的視頻服務(wù)的方法和設(shè)備。[0015][技術(shù)方案]
[0016](I)在本發(fā)明的實(shí)施例中，一種層間預(yù)測(cè)方法包括:確定是否對(duì)增強(qiáng)層應(yīng)用層間預(yù)測(cè)；和當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，基于從參考層的解碼后參考畫(huà)面生成的歸納參考信息，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0017](2)在(I)中，是否對(duì)增強(qiáng)層應(yīng)用層間預(yù)測(cè)可基于指示層間預(yù)測(cè)的標(biāo)記信息來(lái)確定。
[0018](3)在(I)中，該歸納參考信息可根據(jù)增強(qiáng)層的畫(huà)面尺寸而被上采樣。
[0019](4)在(I)中，該歸納參考信息可以是基于參考層的解碼后畫(huà)面生成的歸納參考畫(huà)面，并且在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，可使用該歸納參考畫(huà)面作為當(dāng)前塊的參考畫(huà)面。
[0020](5)在(4)中，該歸納參考畫(huà)面可被包括在針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表中，并被用作針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。
[0021](6)在(4)中，可向該歸納參考畫(huà)面應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)。
[0022](7)在(4)中，該歸納參考畫(huà)面可以是基本層的解碼后畫(huà)面、通過(guò)對(duì)基本層的解碼后畫(huà)面進(jìn)行上采樣而獲得的畫(huà)面、基于基本層的解碼后畫(huà)面和殘差信息生成的畫(huà)面、或通過(guò)對(duì)基本層的解碼后畫(huà)面和殘差信息進(jìn)行上采樣而獲得的畫(huà)面。
[0023](8)在(I)中，當(dāng)該歸納參考信息是基于參考層的解碼后畫(huà)面而生成的歸納參考?jí)K時(shí)，可以在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，將該歸納參考?jí)K設(shè)置為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)塊。
[0024](9)在(8)中，該歸納參考?jí)K可以是已向其應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)的塊。
[0025](10)在(I)中，當(dāng)該歸納參考信息是基于參考層的解碼后畫(huà)面生成的歸納參考畫(huà)面時(shí)，可以在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，使用該歸納參考畫(huà)面作為針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。
[0026](11)在(10)中，該歸納參考畫(huà)面可以被包括在針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表中，并被用作針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。
[0027](12)在(10)中，可以向該歸納參考畫(huà)面應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)。
[0028](13)在(10)中，該歸納參考畫(huà)面可以是基本層的解碼后畫(huà)面、通過(guò)對(duì)基本層的解碼后畫(huà)面進(jìn)行上采樣而獲得的畫(huà)面、基于基本層的解碼后畫(huà)面和殘差信息而生成的畫(huà)面、或通過(guò)對(duì)基本層的解碼后畫(huà)面和殘差信息進(jìn)行上采樣而獲得的畫(huà)面。
[0029](14)在(I)中，當(dāng)該歸納參考信息是基于參考層的解碼后畫(huà)面生成的歸納參考畫(huà)面時(shí)，可以在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，將該歸納參考?jí)K設(shè)置為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)塊。
[0030](15)在(14)中，該歸納參考?jí)K可以是已向其應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)的塊。
[0031](16)在本發(fā)明的另一實(shí)施例中，一種可伸縮編碼設(shè)備包括:基本層編碼單元，被配置為對(duì)基本層的輸入圖像執(zhí)行預(yù)測(cè)；增強(qiáng)層編碼單元，被配置為對(duì)增強(qiáng)層的輸入圖像執(zhí)行預(yù)測(cè)；和層間預(yù)測(cè)單元，被配置為生成歸納參考信息，以對(duì)增強(qiáng)層的輸入圖像執(zhí)行預(yù)測(cè)，其中當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，該層間預(yù)測(cè)單元從該基本層的解碼后信息生成歸納參考信息，并且該增強(qiáng)層編碼單元基于該歸納參考信息對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0032](17)在本發(fā)明的另一實(shí)施例中，一種可伸縮解碼設(shè)備包括:基本層解碼單元，被配置為對(duì)基本層的圖像執(zhí)行預(yù)測(cè)；增強(qiáng)層解碼單元，被配置為對(duì)增強(qiáng)層的圖像執(zhí)行預(yù)測(cè)；和增強(qiáng)層預(yù)測(cè)單元，被配置為生成歸納參考信息，以對(duì)增強(qiáng)層的圖像執(zhí)行預(yù)測(cè)，其中當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，該層間預(yù)測(cè)單元從該基本層的解碼后信息生成歸納參考信息，并且該增強(qiáng)層解碼單元基于該歸納參考信息對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0033][有利效果]
[0034]根據(jù)本發(fā)明的實(shí)施例，能夠在各種環(huán)境中有效提供各種視頻服務(wù)。
[0035]根據(jù)本發(fā)明的實(shí)施例，能夠根據(jù)各種需求或使用目的在時(shí)間、空間、和/或畫(huà)面質(zhì)量方面提供各種視頻服務(wù)。
[0036]根據(jù)本發(fā)明的實(shí)施例，能夠有效執(zhí)行能在各種環(huán)境中提供各種服務(wù)的可伸縮視頻編碼。
[0037]根據(jù)本發(fā)明的實(shí)施例，能夠提供在與同時(shí)廣播(聯(lián)播)相比獲得比特率增加的同時(shí)、具有各種畫(huà)面質(zhì)量、分辨率、尺寸和/或幀頻的視頻服務(wù)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0038]圖1是圖示了根據(jù)本發(fā)明的實(shí)施例的編碼設(shè)備的基本配置的框圖。
[0039]圖2是圖示了根據(jù)本發(fā)明的實(shí)施例的解碼設(shè)備的基本配置的框圖。
[0040]圖3是示意性圖示了幀內(nèi)預(yù)測(cè)模式的示例的圖。
[0041]圖4是示意性示出了基于單層編碼的轉(zhuǎn)換代碼(transcoding)的示例的圖。
[0042]圖5是示意性圖示了其中使用基于多層編碼的可伸縮視頻編碼的示例作為采用SVC的示例的圖。
[0043]圖6是示意性圖示了采用SVC的編碼設(shè)備的示例的圖。
[0044]圖7是示意性圖示了采用SVC的解碼設(shè)備的示例的圖。
[0045]圖8是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層編碼設(shè)備的圖。
[0046]圖9是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層編碼設(shè)備的圖。
[0047]圖10是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層編碼設(shè)備的圖。
[0048]圖11是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層解碼設(shè)備的圖。
[0049]圖12是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層解碼設(shè)備的圖。
[0050]圖13是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層解碼設(shè)備的圖。
[0051]圖14是示意性圖示了在本發(fā)明所應(yīng)用到的層間預(yù)測(cè)單元中歸納的參考畫(huà)面生成單元的配置的示例的圖。
[0052]圖15是示意性圖示了在本發(fā)明所應(yīng)用到的層間預(yù)測(cè)單元中歸納的參考?jí)K生成單元的配置的示例的圖。
[0053]圖16是圖示了根據(jù)本發(fā)明實(shí)施例執(zhí)行的層間預(yù)測(cè)的流程圖。
【具體實(shí)施方式】
[0054]其后，將參考附圖來(lái)詳細(xì)描述本發(fā)明的實(shí)施例。在描述本發(fā)明時(shí)，如果認(rèn)為相關(guān)已知功能或構(gòu)造的詳細(xì)解釋不必要地偏離本發(fā)明的要義，則這樣的解釋將被省略但是將被本領(lǐng)域技術(shù)人員理解。
[0055]當(dāng)組件被稱(chēng)作“連接”或“接入”另一組件時(shí)，這可意味著其直接連接或接入所述另一組件，但是將理解的是，其間可存在另一組件。另一方面，當(dāng)組件被稱(chēng)作“直接連接”或“直接接入”另一組件時(shí)，將理解的是，其間不存在其他組件。
[0056]盡管可使用諸如“第一”和“第二”等術(shù)語(yǔ)來(lái)描述各種組件，但是這樣的組件不能被理解為限于以上術(shù)語(yǔ)。以上術(shù)語(yǔ)僅用來(lái)將組件彼此區(qū)分。例如，第一組件可被稱(chēng)為第二組件，而不脫離本發(fā)明的權(quán)利的范圍，并且類(lèi)似地，第二組件可被稱(chēng)為第一組件。
[0057]而且，本發(fā)明的實(shí)施例的元件被獨(dú)立圖示，以示出不同特性功能，并且這不意味著將每一元件配置為分離的硬件或單一軟件組件。即，為了解釋的目的，各個(gè)元件被安排為包括，并且各個(gè)元件中的至少兩個(gè)可以被合并在單一元件中，或者單一元件可以被劃分為多個(gè)元件以執(zhí)行功能，并且各個(gè)元件的集成實(shí)施例和劃分實(shí)施例被包括在本發(fā)明的范圍中，除非其偏離本發(fā)明的本質(zhì)。
[0058]圖1是圖示了根據(jù)本發(fā)明的實(shí)施例的編碼設(shè)備的基本配置的框圖。
[0059]參考圖1，編碼設(shè)備100包括幀間預(yù)測(cè)單元110、幀內(nèi)預(yù)測(cè)單元120、開(kāi)關(guān)125、減法器130、變換單元135、量化單元140、熵編碼單元150、逆量化單元160、逆變換單元170、加法器175、濾波器單元180、和畫(huà)面緩沖器190。
[0060]編碼設(shè)備100可按照幀內(nèi)模式或幀間模式來(lái)對(duì)輸入圖像執(zhí)行編碼并輸出比特流。在幀內(nèi)模式的情況下，開(kāi)關(guān)125切換到幀內(nèi)，而在幀間模式的情況下，開(kāi)關(guān)125切換到幀間。編碼設(shè)備100可生成針對(duì)輸入圖像的輸入塊的預(yù)測(cè)塊，并編碼輸入塊和預(yù)測(cè)塊之間的差。
[0061]在幀內(nèi)模式中，幀內(nèi)預(yù)測(cè)單元120可通過(guò)使用與當(dāng)前塊相鄰的先前編碼的塊的像素值執(zhí)行空間預(yù)測(cè)，來(lái)生成預(yù)測(cè)塊。
[0062]在幀間模式中，幀間預(yù)測(cè)單元110可在運(yùn)動(dòng)預(yù)測(cè)處理中從畫(huà)面緩沖器190中存儲(chǔ)的參考圖像中搜索與輸入塊對(duì)應(yīng)的區(qū)域，以獲得運(yùn)動(dòng)向量。幀間預(yù)測(cè)單元110可通過(guò)使用運(yùn)動(dòng)向量和畫(huà)面緩沖器190中存儲(chǔ)的參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償，來(lái)生成預(yù)測(cè)塊。
[0063]減法器130可根據(jù)輸入塊和生成的預(yù)測(cè)塊之間的差，來(lái)生成殘差塊。變換單元135可對(duì)殘差塊執(zhí)行變換以輸出變換系數(shù)。量化單元140可根據(jù)量化參數(shù)來(lái)對(duì)輸入變換系數(shù)進(jìn)行量化，并輸出量化后的系數(shù)。
[0064]熵編碼單元150基于量化單元140所計(jì)算的值、在編碼處理期間計(jì)算的編碼參數(shù)值等，根據(jù)概率分布，來(lái)對(duì)量化后的系數(shù)進(jìn)行熵編碼，以輸出比特流。
[0065]量化后的系數(shù)可以由逆量化單元160進(jìn)行逆量化并由逆變換單元170進(jìn)行逆變換。逆量化和逆變換后的系數(shù)可通過(guò)加法器175被添加到預(yù)測(cè)塊，以生成重構(gòu)塊。[0066]重構(gòu)塊經(jīng)過(guò)濾波器單元180，并且濾波器單元180可向重構(gòu)塊或重構(gòu)畫(huà)面應(yīng)用解塊濾波器、樣本自適應(yīng)偏移(SA0)、和自適應(yīng)環(huán)形濾波器(ALF)中的一個(gè)或多個(gè)。已經(jīng)過(guò)濾波器單元180的重構(gòu)塊可被存儲(chǔ)在畫(huà)面緩沖器190中。
[0067]圖2是圖示了根據(jù)本發(fā)明的實(shí)施例的解碼設(shè)備的基本配置的框圖。
[0068]參考圖2，解碼設(shè)備200包括熵解碼單元210、逆量化單元220、逆變換單元230、幀內(nèi)預(yù)測(cè)單元240、幀間預(yù)測(cè)單元250、濾波器單元260、和畫(huà)面緩沖器270。
[0069]解碼設(shè)備200可接收從編碼設(shè)備輸出的比特流，按照幀內(nèi)模式或幀間模式對(duì)其執(zhí)行解碼，并輸出重新配置的圖像，即，重構(gòu)的圖像。在幀內(nèi)模式的情況下，開(kāi)關(guān)可切換到幀內(nèi)，而在幀間模式的情況下，開(kāi)關(guān)可切換到幀間。
[0070]解碼設(shè)備200可從輸入比特流獲得重構(gòu)的殘差塊，生成預(yù)測(cè)塊，并將重構(gòu)的殘差塊與預(yù)測(cè)塊相加，以生成重新配置的塊，即，重構(gòu)塊。
[0071]熵解碼單元210根據(jù)概率分布對(duì)輸入比特流進(jìn)行熵解碼。通過(guò)熵解碼，可生成量化(變換)的系數(shù)。
[0072]量化的系數(shù)由逆量化單元220逆量化并由逆變換單元230逆變換，并且結(jié)果，可生成重構(gòu)的殘差塊。
[0073]在幀內(nèi)模式的情況下，幀內(nèi)預(yù)測(cè)塊240可通過(guò)使用與當(dāng)前塊相鄰的先前編碼的塊的像素值來(lái)執(zhí)行空間預(yù)測(cè)。在幀間模式的情況下，幀間預(yù)測(cè)塊250可通過(guò)使用運(yùn)動(dòng)向量和畫(huà)面緩沖器中存儲(chǔ)的參考圖像，來(lái)執(zhí)行運(yùn)動(dòng)補(bǔ)償。
[0074]加法器255將重構(gòu)的殘差塊與預(yù)測(cè)塊相加，并且相加后的塊經(jīng)過(guò)濾波器單元260。濾波器單元260可向重構(gòu)塊或重構(gòu)畫(huà)面應(yīng)用解塊濾波器、SAOjP ALF中的至少一個(gè)。濾波器單元260輸出重新配置的圖像，即，重構(gòu)的圖像。重構(gòu)的圖像可被存儲(chǔ)在畫(huà)面緩沖器270中以便用于幀間預(yù)測(cè)。
[0075]如上所述，編碼設(shè)備/解碼設(shè)備對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)用于視頻編碼/解碼。
[0076]可在編碼設(shè)備/解碼設(shè)備(特別是，編碼設(shè)備/解碼設(shè)備的預(yù)測(cè)單元)中執(zhí)行預(yù)測(cè)。編碼設(shè)備的預(yù)測(cè)單元可包括例如幀間預(yù)測(cè)單元110、幀內(nèi)預(yù)測(cè)單元120等。解碼設(shè)備的預(yù)測(cè)單元可包括例如巾貞內(nèi)預(yù)測(cè)單元240、巾貞間預(yù)測(cè)單元250等。
[0077]當(dāng)當(dāng)前塊的預(yù)測(cè)模式是幀內(nèi)預(yù)測(cè)模式時(shí)，預(yù)測(cè)單元可根據(jù)當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式，基于已先前編碼的當(dāng)前畫(huà)面中的像素(參考樣本)，來(lái)對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)。預(yù)測(cè)單元可執(zhí)行幀內(nèi)預(yù)測(cè)，以從參考樣本生成針對(duì)當(dāng)前塊的預(yù)測(cè)塊。
[0078]圖3是示意性圖示了幀內(nèi)預(yù)測(cè)模式的示例的圖。在幀內(nèi)預(yù)測(cè)中，預(yù)測(cè)模式可包括三十三個(gè)定向預(yù)測(cè)模式和兩個(gè)或更多非定向模式。在圖3的示例中，圖示了從2到34的三十三個(gè)定向預(yù)測(cè)模式。非定向模式可以包括DC預(yù)測(cè)模式、平面模式等。
[0079]在幀內(nèi)預(yù)測(cè)中，可通過(guò)向參考樣本應(yīng)用濾波器來(lái)生成預(yù)測(cè)塊。這里，可根據(jù)幀內(nèi)預(yù)測(cè)模式和/或當(dāng)前塊的尺寸來(lái)確定是否向參考樣本應(yīng)用濾波器。
[0080]當(dāng)針對(duì)當(dāng)前塊的預(yù)測(cè)模式是幀間預(yù)測(cè)模式時(shí)，預(yù)測(cè)單元可設(shè)置當(dāng)前畫(huà)面的先前畫(huà)面或隨后畫(huà)面中的至少一個(gè)作為參考畫(huà)面，并基于參考畫(huà)面對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)。用于當(dāng)前塊的預(yù)測(cè)的圖像被稱(chēng)為參考畫(huà)面或參考幀?？赏ㄟ^(guò)使用指示參考畫(huà)面的參考畫(huà)面索引ref Idx、運(yùn)動(dòng)向量等,來(lái)指示參考畫(huà)面內(nèi)的區(qū)域。
[0081 ] 在幀間預(yù)測(cè)的情況下，預(yù)測(cè)單元可選擇參考畫(huà)面和參考畫(huà)面中與當(dāng)前塊對(duì)應(yīng)的參考?jí)K，以生成針對(duì)當(dāng)前塊的預(yù)測(cè)塊。預(yù)測(cè)單元可生成預(yù)測(cè)塊，從而使得針對(duì)當(dāng)前塊的殘差信號(hào)最小化以及運(yùn)動(dòng)向量尺寸最小化。
[0082]為了使用參考畫(huà)面的信息，可使用關(guān)于當(dāng)前塊的相鄰塊的信息。例如，可通過(guò)跳躍模式、合并模式、先進(jìn)運(yùn)動(dòng)向量預(yù)測(cè)(AMVP)等，基于關(guān)于相鄰塊的信息來(lái)生成針對(duì)當(dāng)前塊的預(yù)測(cè)塊。
[0083]解碼設(shè)備的預(yù)測(cè)單元可通過(guò)從編碼設(shè)備接收的跳躍標(biāo)記、合并標(biāo)記等，來(lái)檢查當(dāng)前塊的幀間預(yù)測(cè)所需的諸如關(guān)于運(yùn)動(dòng)向量、參考畫(huà)面索引等的信息的運(yùn)動(dòng)信息，并可執(zhí)行對(duì)應(yīng)感應(yīng)(inducing)。
[0084]執(zhí)行預(yù)測(cè)的處理單元、預(yù)測(cè)方法、用于確定特定內(nèi)容的處理單元可彼此不同。例如，預(yù)測(cè)模式可通過(guò)PU來(lái)確定，這樣預(yù)測(cè)可通過(guò)來(lái)執(zhí)行，或者預(yù)測(cè)模式可通過(guò)來(lái)確定并且?guī)瑑?nèi)預(yù)測(cè)可通過(guò)TU來(lái)執(zhí)行。
[0085]針對(duì)當(dāng)前畫(huà)面，可利用用于預(yù)測(cè)的畫(huà)面來(lái)配置參考畫(huà)面列表，并且參考畫(huà)面索引可指示參考畫(huà)面列表上的特定參考畫(huà)面。
[0086]P畫(huà)面是可通過(guò)使用至少一個(gè)運(yùn)動(dòng)向量和參考畫(huà)面索引、利用幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)、而編碼或解碼的畫(huà)面，以便預(yù)測(cè)每一塊的樣本值。B畫(huà)面是可通過(guò)使用至少兩個(gè)運(yùn)動(dòng)向量和參考畫(huà)面索引、利用幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)、而編碼或解碼的畫(huà)面，以便預(yù)測(cè)每一塊的樣本值。除了 P畫(huà)面和B畫(huà)面之外，存在幀內(nèi)預(yù)測(cè)要應(yīng)用到的I畫(huà)面。
[0087]在幀間預(yù)測(cè)中，在跳躍模式的情況下，預(yù)測(cè)單元可對(duì)于當(dāng)前塊原樣使用關(guān)于相鄰塊的信息。由此，在跳躍模式的情況下，除了指示哪一塊的運(yùn)動(dòng)信息要用作當(dāng)前塊的運(yùn)動(dòng)信息的信息之外，編碼設(shè)備不傳送諸如殘差等的語(yǔ)法信息。
[0088]而且，在合并模式的情況下，預(yù)測(cè)單元可通過(guò)原樣使用相鄰塊的運(yùn)動(dòng)信息，而生成針對(duì)當(dāng)前塊的預(yù)測(cè)塊。編碼設(shè)備可向解碼設(shè)備傳送關(guān)于是否應(yīng)用合并模式的信息、關(guān)于要使用哪一塊的運(yùn)動(dòng)信息的信息、殘差信息等。解碼設(shè)備可通過(guò)將預(yù)測(cè)塊和從編碼設(shè)備傳送的殘差相加，來(lái)重構(gòu)當(dāng)前塊。
[0089]在A(yíng)MVP的情況下，編碼設(shè)備可通過(guò)使用相鄰塊的運(yùn)動(dòng)信息來(lái)預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)向量，并向解碼設(shè)備傳送(I)關(guān)于使用其相鄰塊的運(yùn)動(dòng)信息的信息、(2)當(dāng)前塊的運(yùn)動(dòng)向量和預(yù)測(cè)的運(yùn)動(dòng)向量之間的差、(3)指示參考畫(huà)面的參考畫(huà)面索引等。解碼設(shè)備可基于感應(yīng)的運(yùn)動(dòng)向量和從編碼設(shè)備接收的參考畫(huà)面索引信息，來(lái)生成針對(duì)當(dāng)前塊的預(yù)測(cè)塊。
[0090]其間，根據(jù)通信和視頻技術(shù)的開(kāi)發(fā)，基于每一不同性能來(lái)使用各種使用視頻信息的裝置。諸如移動(dòng)電話(huà)等的裝置基于比特流來(lái)再現(xiàn)具有相對(duì)低分辨率的視頻。作為比較，諸如個(gè)人計(jì)算機(jī)(PC)等的裝置可能夠再現(xiàn)具有相對(duì)高分辨率的視頻。
[0091]由此，需要考慮用于向具有各種性能的裝置提供最佳視頻服務(wù)的方法。這些方案之一是可伸縮視頻編碼(SVC)。
[0092]一般，在SVC中，還可以通過(guò)視頻比特流的一部分來(lái)配置可用于再現(xiàn)有效視頻圖像的子比特流。這里，子比特流是針對(duì)對(duì)應(yīng)內(nèi)容的基本流，并且可通過(guò)該子比特流來(lái)重構(gòu)比整個(gè)比特流所重構(gòu)的圖像具有更小或更低質(zhì)量、尺寸、和/或幀頻的圖像。
[0093]圖4是示意性示出了基于單層編碼的代碼轉(zhuǎn)換的示例的圖。單層編碼表示不提供可伸縮性功能的視頻序列的編碼。
[0094]在圖4的示例中，原始內(nèi)容410由每一編碼器/代碼轉(zhuǎn)換器根據(jù)質(zhì)量和分辨率進(jìn)行單層編碼。例如，高質(zhì)量?jī)?nèi)容從高質(zhì)量編碼器/代碼轉(zhuǎn)換器420傳送，低質(zhì)量?jī)?nèi)容從低質(zhì)量編碼器/代碼轉(zhuǎn)換器430傳送，而具有低分辨率的內(nèi)容從低分辨率編碼器/代碼轉(zhuǎn)換器440傳送。
[0095]接收和使用高質(zhì)量?jī)?nèi)容的終端1450可以是諸如HD TV、UHD TV等的TV裝置。接收和使用低質(zhì)量?jī)?nèi)容的終端2460可比TV或具有比TV的信息處理速度更低的信息處理速度的低性能PC等具有更小屏幕。接收和使用具有低分辨率的內(nèi)容的終端3470可以是具有更小屏幕的移動(dòng)電話(huà)等?？筛鶕?jù)每一終端的性能來(lái)接收和使用與前述示例的內(nèi)容不同的內(nèi)容。
[0096]其間，編碼的比特流可包括多層。
[0097]可伸縮編碼允許解碼器選擇性地僅解碼比特流的一部分。編碼的比特流可以被安排為多層，其可包括基本層以及一個(gè)或多個(gè)增強(qiáng)層。
[0098]圖5是示意性圖示了其中使用基于多層編碼的可伸縮視頻編碼的示例作為采用SVC的示例的圖。
[0099]多層編碼通過(guò)編碼具有多層的視頻序列，來(lái)提供可伸縮性。在可伸縮系統(tǒng)中，具有擁有最低或基本質(zhì)量的視頻數(shù)據(jù)的層被稱(chēng)為基本層。而且，具有擁有較高質(zhì)量的視頻數(shù)據(jù)的層被稱(chēng)為增強(qiáng)層。
[0100]一般可伸縮性包括時(shí)間可伸縮性、空間可伸縮性、和質(zhì)量可伸縮性。時(shí)間可伸縮性是關(guān)于幀頻的可伸縮性?？臻g可伸縮性是關(guān)于畫(huà)面尺寸或分辨率的可伸縮性。而且，質(zhì)量可伸縮性可涉及圖像的保真度。
[0101]在圖5的示例中，原始內(nèi)容510由可伸縮編碼器520編碼。
[0102]可伸縮編碼器520支持前述時(shí)間、空間和質(zhì)量可伸縮性?？缮炜s編碼器520編碼原始內(nèi)容510以生成具有多層的比特流530。
[0103]比特流530的多層可包括包含基本圖像信息的基本層、以及包含關(guān)于比基本層具有更好質(zhì)量(即，精度、尺寸和/或幀頻等)的圖像的信息的增強(qiáng)層。
[0104]當(dāng)終端的解碼設(shè)備接收基本層并解碼圖像時(shí)，對(duì)基本圖像進(jìn)行解碼。例如，對(duì)具有基本尺寸、基本質(zhì)量和/或基本幀頻的圖像進(jìn)行解碼。
[0105]當(dāng)終端的解碼設(shè)備接收增強(qiáng)層連同基本層并解碼圖像時(shí)，它可解碼具有較大尺寸、較好質(zhì)量和/或較高幀頻的圖像。例如，在支持空間可伸縮性的情況下，當(dāng)終端的解碼設(shè)備接收并解碼增強(qiáng)層連同基本層時(shí)，它可獲得具有更高分辨率或更大尺寸的圖像。在支持時(shí)間可伸縮性的情況下，當(dāng)終端的解碼設(shè)備接收并解碼增強(qiáng)層連同基本層時(shí)，它可獲得具有較高幀頻的圖像。在支持質(zhì)量可伸縮性的情況下，當(dāng)終端的解碼設(shè)備接收并解碼增強(qiáng)層連同基本層時(shí)，它可獲得具有高保真度的圖像。
[0106]參考圖5，可伸縮編碼器520輸出包括其中安排的多層(第I層、第2層、第3層)的比特流530。提取器540根據(jù)來(lái)自每一終端或網(wǎng)絡(luò)的請(qǐng)求來(lái)從比特流530提取需要的層，并傳送它。
[0107]假設(shè)第I層是基本層。當(dāng)終端3570是諸如移動(dòng)電話(huà)等處理具有基本質(zhì)量的圖像的終端時(shí)，終端3570可接收并解碼僅包括第I層的流。
[0108]當(dāng)終端2560和終端1550是諸如TV、PC等可能能夠處理具有高質(zhì)量的圖像的終端時(shí)，終端2560和終端1550可根據(jù)支持的性能和期望的圖像類(lèi)型，來(lái)接收并解碼增強(qiáng)層(第2層和第3層)連同基本層(第I層)中的至少一個(gè)。
[0109]通過(guò)使用較低層(參考層)來(lái)確定或預(yù)測(cè)增強(qiáng)層的數(shù)據(jù)值的方法被稱(chēng)為層間預(yù)測(cè)。這里，用作預(yù)測(cè)的基礎(chǔ)的層被稱(chēng)為參考層。
[0110]在層間預(yù)測(cè)中，通過(guò)利用關(guān)于諸如基本層的較低層的信息到最大級(jí)別，來(lái)預(yù)測(cè)關(guān)于增強(qiáng)層的信息。由此，用于增強(qiáng)層的預(yù)測(cè)所傳送或處理的信息的數(shù)量能顯著降低。例如，當(dāng)較低層和較高層中處理的畫(huà)面尺寸不同時(shí)，對(duì)重構(gòu)層的信息進(jìn)行上采樣，以用來(lái)重構(gòu)較高層(例如，增強(qiáng)層)的信息。
[0111]層間預(yù)測(cè)方法包括層間紋理、層間運(yùn)動(dòng)預(yù)測(cè)、層間殘差預(yù)測(cè)等。
[0112]圖6是不意性圖不了米用SVC的編碼設(shè)備的不例的圖。參考圖6, SVC編碼設(shè)備600包括基本層編碼器300、層間預(yù)測(cè)單元650、和增強(qiáng)層編碼器670。
[0113]將用于編碼對(duì)應(yīng)層的視頻流610和620分別輸入到基本層編碼器630和增強(qiáng)層編碼器670。將具有低分辨率的視頻流610輸入到基本層編碼器630，并將具有高分辨率的視頻流620輸入到增強(qiáng)層編碼器670。
[0114]基本層編碼器630可根據(jù)上面參考圖1描述的編碼方法對(duì)基本層執(zhí)行編碼。將關(guān)于基本層編碼器630執(zhí)行的編碼的信息傳遞(640)到層間預(yù)測(cè)單元650。
[0115]如上所述，層間預(yù)測(cè)單元650可對(duì)基本層編碼器630重構(gòu)的視頻信息進(jìn)行上采樣，并將其傳遞(660)到增強(qiáng)層編碼器670。
[0116]增強(qiáng)層編碼器670還可以根據(jù)上面參考圖1描述的編碼方法對(duì)增強(qiáng)層執(zhí)行編碼。然而，增強(qiáng)層編碼器670可基于具有高分辨率的視頻序列信息以及從層間預(yù)測(cè)單元650傳遞的關(guān)于基本層的信息，來(lái)對(duì)增強(qiáng)層執(zhí)行編碼。
[0117]基于關(guān)于基本層的信息的上采樣可由增強(qiáng)層編碼器670或?qū)娱g預(yù)測(cè)單元650執(zhí)行。
[0118]這里，已描述了向基本層編碼器630輸入的視頻流是具有低分辨率的視頻流以及向增強(qiáng)層編碼器670輸入的視頻流是具有高分辨率的視頻流。然而，本發(fā)明不限于此，并且向基本層編碼器630輸入的視頻流可以是在分辨率、保真度、和/或幀頻等方面具有高質(zhì)量的視頻流，并且向增強(qiáng)層編碼器670輸入的視頻流可以是在分辨率、保真度、和/或幀頻等方面具有低質(zhì)量或基本質(zhì)量的視頻流。
[0119]圖7是示意性圖示了采用SVC的解碼設(shè)備的示例的圖。參考圖7，SVC解碼設(shè)備700包括基本層解碼器740、層間預(yù)測(cè)單元760、和增強(qiáng)層解碼器780。
[0120]從編碼設(shè)備傳送的比特流710包括具有擁有低分辨率的視頻信息的比特流720作為針對(duì)基本層解碼器740的比特流、以及具有擁有高分辨率的視頻信息的比特流730作為針對(duì)增強(qiáng)層解碼器780的比特流。
[0121]用于解碼對(duì)應(yīng)層的比特流720和730被分別輸入到基本層解碼器740和增強(qiáng)層解碼器780。即，針對(duì)具有低分辨率的視頻的比特流720被輸入到基本層解碼器740，而針對(duì)具有高分辨率的視頻的比特流730被輸入到增強(qiáng)層解碼器780。
[0122]基本層解碼器740可根據(jù)上面參考圖2描述的方法來(lái)對(duì)基本層執(zhí)行解碼。將基本層解碼器740所重構(gòu)的基本層視頻信息傳遞(750)到層間預(yù)測(cè)單元760。
[0123]如上所述，層間預(yù)測(cè)單元760可對(duì)基本層解碼器740重構(gòu)的視頻信息進(jìn)行上采樣，并將其傳遞(770)到增強(qiáng)層解碼器780。[0124]在應(yīng)用多環(huán)路方案的情況下，通過(guò)層間預(yù)測(cè)單元760傳遞的關(guān)于基本層的信息可以是參考層(基本層)的解碼后的圖像信息(紋理信息)。
[0125]增強(qiáng)層解碼器780還可以根據(jù)上面參考圖2描述的解碼方法對(duì)基本層執(zhí)行解碼。然而，增強(qiáng)層780可基于從層間預(yù)測(cè)單元760傳遞的關(guān)于基本層的信息以及具有高分辨率的視頻序列信息，來(lái)對(duì)增強(qiáng)層執(zhí)行解碼。
[0126]基于關(guān)于基本層的信息的上采樣可由層間預(yù)測(cè)單元760執(zhí)行。
[0127]這里，已描述了向基本層解碼器740輸入的視頻流是具有低分辨率的視頻流以及向增強(qiáng)層解碼器780輸入的視頻流是具有高分辨率的視頻流。然而，本發(fā)明不限于此，并且向基本層解碼器740輸入的視頻流可以是在分辨率、保真度、和/或幀頻等方面具有高質(zhì)量的視頻流，并且向增強(qiáng)層解碼器780輸入的視頻流可以是在分辨率、保真度、和/或幀頻等方面具有低質(zhì)量或基本質(zhì)量的視頻流。
[0128]在圖6和7中，已描述了其中將這些層配置為基本層和增強(qiáng)層的示例，但是本公開(kāi)中描述的方法和設(shè)備不限于此，并可應(yīng)用到其中增強(qiáng)層包括較高層和較低層作為多個(gè)測(cè)量層的情況。在該情況下，針對(duì)較高層的編碼設(shè)備和解碼設(shè)備可基于關(guān)于較低層的信息來(lái)對(duì)較高層執(zhí)行編碼和解碼。
[0129]在圖6和7中，已描述了作為從基本層編碼器和基本層解碼器向?qū)娱g預(yù)測(cè)單元傳遞的信息、以及從層間預(yù)測(cè)單元向增強(qiáng)層編碼器和增強(qiáng)層解碼器傳遞的信息，而傳送單一信息。這是為了便于解釋?zhuān)⑶以趫D6的情況下，可以根據(jù)支持的可伸縮性，在基本層編碼器、層間預(yù)測(cè)單元、增強(qiáng)層編碼器內(nèi)的支持對(duì)應(yīng)可伸縮性的處理單元之間傳遞用于支持特定可伸縮性的信息。例如，在圖6的基本層編碼器、層間預(yù)測(cè)單元、增強(qiáng)層編碼器內(nèi)，在用于處理時(shí)間可伸縮性的單元之間傳送和接收用于處理時(shí)間可伸縮性的信息，在用于處理空間可伸縮性的單元之間傳送和接收用于處理空間可伸縮性的信息，并在用于處理質(zhì)量可伸縮性的單元之間傳送和接收用于處理質(zhì)量可伸縮性的信息。每一信息的部分或全部可被傳送到收集信息或綜合處理信息的單元，并且每一信息可從收集信息或綜合處理信息的單元集中或單獨(dú)傳送。
[0130]而且，在圖7的情況下，可根據(jù)支持的可伸縮性，在基本層解碼器、層間預(yù)測(cè)單元、增強(qiáng)層解碼器內(nèi)的支持對(duì)應(yīng)可伸縮性的處理單元之間傳遞用于支持特定可伸縮性的信息。例如，在圖7的基本層解碼器、層間預(yù)測(cè)單元、增強(qiáng)層解碼器內(nèi)，在用于處理時(shí)間可伸縮性的單元之間傳送和接收用于處理時(shí)間可伸縮性的信息，在用于處理空間可伸縮性的單元之間傳送和接收用于處理空間可伸縮性的信息，并在用于處理質(zhì)量可伸縮性的單元之間傳送和接收用于處理質(zhì)量可伸縮性的信息。每一信息的部分或全部可被傳送到收集信息或綜合處理信息的單元，并且每一信息可從收集信息或綜合處理信息的單元集中或單獨(dú)傳送。
[0131]其間，層間預(yù)測(cè)包括單環(huán)路預(yù)測(cè)方法和多環(huán)路預(yù)測(cè)方法。
[0132]在單環(huán)路預(yù)測(cè)方法的情況下，在解碼所編碼的多層比特流時(shí)，編碼設(shè)備/解碼設(shè)備不對(duì)除了要解碼的當(dāng)前層(或作為解碼的目標(biāo))之外的較低層之中的參考可用層進(jìn)行完全解碼。編碼設(shè)備/解碼設(shè)備僅解碼和使用用于解碼當(dāng)前層的解碼目標(biāo)塊(當(dāng)前塊)或解碼目標(biāo)畫(huà)面(當(dāng)前畫(huà)面)而可參考的較低層(參考層)的編碼信息(運(yùn)動(dòng)信息、幀內(nèi)模式信息)、以及殘差信號(hào)(殘差信息)。這里，被解碼以便參考的編碼信息可包括諸如運(yùn)動(dòng)向量(VM)、參考畫(huà)面索引、運(yùn)動(dòng)信息預(yù)測(cè)候選索引、運(yùn)動(dòng)信息綜合候選索引、以及幀間預(yù)測(cè)模式的運(yùn)動(dòng)信肩、O
[0133]在多環(huán)路預(yù)測(cè)方法的情況下，在解碼所編碼的多層比特流時(shí)，編碼設(shè)備/解碼設(shè)備對(duì)包括要解碼的當(dāng)前層(或作為解碼的目標(biāo)的當(dāng)前層)的較低層之中的參考可用層進(jìn)行完全解碼。編碼設(shè)備/解碼設(shè)備基于通過(guò)完全解碼(多個(gè))參考層而獲得的紋理信息來(lái)對(duì)參考可用較低層進(jìn)行完全解碼，并基于解碼的信息對(duì)當(dāng)前層的解碼目標(biāo)塊(當(dāng)前塊)或解碼目標(biāo)畫(huà)面(當(dāng)前畫(huà)面)進(jìn)行解碼。
[0134]使用單環(huán)路預(yù)測(cè)方法降低了復(fù)雜度，但是可用信息或可用層間預(yù)測(cè)是有限的。例如，在采用單環(huán)路預(yù)測(cè)方法的情況下，當(dāng)通過(guò)幀間預(yù)測(cè)編碼當(dāng)前塊的位于同一地點(diǎn)(co-located)的塊時(shí),存在的難度在于應(yīng)該解碼對(duì)應(yīng)塊所參考的參考畫(huà)面的參考?jí)K、以便解碼該對(duì)應(yīng)塊。由此，當(dāng)對(duì)較低層(參考層)的塊進(jìn)行幀間預(yù)測(cè)時(shí)，通過(guò)僅使用某些編碼信息(運(yùn)動(dòng)向量、參考畫(huà)面索引、AMVP候選索引、合并候選索引、幀內(nèi)預(yù)測(cè)模式等)和殘差信號(hào)，來(lái)對(duì)當(dāng)前層執(zhí)行層間預(yù)測(cè)。
[0135]例如，在單環(huán)路類(lèi)型層間預(yù)測(cè)中，不對(duì)當(dāng)前塊執(zhí)行運(yùn)動(dòng)估計(jì)(ME)，并且可基于與當(dāng)前畫(huà)面對(duì)應(yīng)的畫(huà)面中的位于同一地點(diǎn)的塊的運(yùn)動(dòng)信息(運(yùn)動(dòng)向量、殘差信息、參考畫(huà)面索弓1、AMVP候選索引、合并候選索引等)，來(lái)對(duì)當(dāng)前塊執(zhí)行估計(jì)。這里，編碼設(shè)備可考慮到RDO來(lái)選擇最可能的模式。
[0136]與單環(huán)路方案不同，在采用多環(huán)路方案的情況下，可通過(guò)解碼較低層之中的能參考的所有層，而使用對(duì)應(yīng)層的信息。由此，與單環(huán)路不同，在多環(huán)路層間預(yù)測(cè)的情況下，對(duì)于使用的信息或可用層間預(yù)測(cè)方法沒(méi)有或基本沒(méi)有限制。
[0137]在基于多環(huán)路方案的層間預(yù)測(cè)的情況下，可處理比基于單環(huán)路方案的層間預(yù)測(cè)的圖像具有更高質(zhì)量的圖像。
[0138]其后，將參考附圖來(lái)詳細(xì)描述使用多環(huán)路預(yù)測(cè)方法的層間預(yù)測(cè)。
[0139]圖8是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層編碼設(shè)備的圖。在圖8中，圖示了多層編碼設(shè)備中的針對(duì)基本層的編碼設(shè)備的示例。
[0140]圖8的變換單元810、幀間預(yù)測(cè)單元820、幀內(nèi)預(yù)測(cè)單元830、量化單元840、逆量化單元850、逆變換單元860、熵編碼單元870、濾波器單元880、和畫(huà)面緩沖器890可充當(dāng)上面參考圖1描述的編碼設(shè)備的相應(yīng)組件。
[0141]例如，變換單元810可對(duì)輸入圖像以及幀間預(yù)測(cè)單元820或幀內(nèi)預(yù)測(cè)單元830所預(yù)測(cè)的像素的差值(即，殘差信號(hào)(殘差塊))執(zhí)行DST或離散余弦變換(DCT)。量化單元840對(duì)已被DST或DCT的像素的差值(即，殘差信號(hào)(殘差塊))進(jìn)行量化。逆量化單元850對(duì)量化單元840所量化的值進(jìn)行逆量化。逆變換單元860對(duì)通過(guò)IDCT (逆DCT)或IDST (逆DST)逆量化的值進(jìn)行逆變換。熵編碼單元870通過(guò)使用CABAC、CAVLC等對(duì)量化單元840所量化的值進(jìn)行熵編碼。
[0142]當(dāng)編碼設(shè)備800按照幀間模式執(zhí)行編碼時(shí)，幀間預(yù)測(cè)單元820基于畫(huà)面緩沖器890中存儲(chǔ)的參考畫(huà)面來(lái)對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)(幀間預(yù)測(cè))。當(dāng)編碼設(shè)備800按照幀內(nèi)模式執(zhí)行編碼時(shí)，幀內(nèi)預(yù)測(cè)單元830基于當(dāng)前畫(huà)面中的相鄰塊來(lái)對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)(幀內(nèi)預(yù)測(cè))。上面已參考圖1描述了幀間預(yù)測(cè)單元執(zhí)行的幀間預(yù)測(cè)和幀內(nèi)預(yù)測(cè)單元執(zhí)行的幀內(nèi)預(yù)測(cè)的細(xì)節(jié)。
[0143]畫(huà)面緩沖器890存儲(chǔ)解碼后的圖像，并且在將圖像存儲(chǔ)在畫(huà)面緩沖器890中之前，濾波器單元880可對(duì)圖像應(yīng)用環(huán)內(nèi)濾波器。[0144]參考圖8，將針對(duì)基本層在編碼設(shè)備800中處理的圖像信息傳送到層間預(yù)測(cè)單元。在解碼后重構(gòu)的圖像信息@可經(jīng)過(guò)濾波器單元880中的環(huán)內(nèi)濾波器(解塊濾波器、SA0、ALF等)中的至少一個(gè)，并然后可傳遞到層間預(yù)測(cè)單元。在該情況下，圖像信可被傳遞到層間預(yù)測(cè)單元，而不經(jīng)過(guò)環(huán)內(nèi)濾波器。
[0145]圖9是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層編碼設(shè)備的圖。在圖9中，圖示了多層編碼設(shè)備的層間預(yù)測(cè)單元的示例。
[0146]層間預(yù)測(cè)單元910包括歸納參考畫(huà)面生成單元910、歸納參考?jí)K生成單元920、和預(yù)測(cè)單元925。預(yù)測(cè)單元925可包括紋理預(yù)測(cè)單元930和空間擴(kuò)大尺寸(upsizing)單元940。
[0147]作為輸入到層間預(yù)測(cè)單元910的信息的圖9中圖示的圖像信息?與作為從基本層編碼設(shè)備傳送的信息的圖8中圖示的@相同。
[0148]層間預(yù)測(cè)單元基于輸入信息適)生成用于層間預(yù)測(cè)所需要的預(yù)測(cè)信息。
[0149]詳細(xì)來(lái)說(shuō)，紋理預(yù)測(cè)單元930可基于從基本層編碼設(shè)備傳輸?shù)膱D像信肩@通過(guò)紋理預(yù)測(cè)獲得與增強(qiáng)層(當(dāng)前層)的編碼目標(biāo)塊對(duì)應(yīng)的參考層塊的解碼后的紋理信息。
[0150]紋理預(yù)測(cè)是從與增強(qiáng)層(當(dāng)前層)的當(dāng)前塊對(duì)應(yīng)的參考層(基本層)的塊獲得像素值的處理。通過(guò)紋理預(yù)測(cè)，紋理預(yù)測(cè)單元930可獲得與當(dāng)前塊對(duì)應(yīng)的基本層(參考層)塊的像素值。
[0151]空間擴(kuò)大尺寸單元940可根據(jù)增強(qiáng)層(當(dāng)前層)的尺寸，來(lái)對(duì)從紋理預(yù)測(cè)單元930獲得的參考層塊的解碼后的紋理信息進(jìn)行擴(kuò)大尺寸(例如，上采樣)。
[0152]歸納參考畫(huà)面生成單元910可基于預(yù)測(cè)單元925生成的基本層的圖像信息、以及從增強(qiáng)層編碼設(shè)備的畫(huà)面緩沖器傳輸?shù)脑鰪?qiáng)層的解碼后的圖像信息①，來(lái)生成歸納參考畫(huà)面。如上所述，預(yù)測(cè)單元925可從基本層獲得紋理信息運(yùn))，并且如果必要，預(yù)測(cè)單元925對(duì)其執(zhí)行空間擴(kuò)大尺寸，并將其傳遞到歸納參考畫(huà)面生成單元910。
[0153]在應(yīng)用多環(huán)路的情況下，歸納參考畫(huà)面可以是由參考層的解碼后的紋理信號(hào)(殘差信號(hào)和預(yù)測(cè)信號(hào)之和)組成的畫(huà)面。例如，歸納參考畫(huà)面可以是沒(méi)有向其應(yīng)用環(huán)內(nèi)濾波器的重構(gòu)畫(huà)面、或者向其應(yīng)用環(huán)內(nèi)濾波器(解塊濾波器、SAO和ALF)中的至少一個(gè)的重構(gòu)畫(huà)面。而且，通過(guò)對(duì)由參考層的解碼后的紋理信號(hào)組成的畫(huà)面執(zhí)行畫(huà)面增強(qiáng)而獲得的畫(huà)面可被確定為歸納參考畫(huà)面。
[0154]歸納參考畫(huà)面可被添加到針對(duì)增強(qiáng)層(當(dāng)前層)的當(dāng)前編碼目標(biāo)畫(huà)面(塊)的參考畫(huà)面列表，以便用于編碼目標(biāo)畫(huà)面(塊)的幀間預(yù)測(cè)。而且，歸納參考畫(huà)面可被指定為針對(duì)增強(qiáng)層(當(dāng)前層)的編碼目標(biāo)畫(huà)面(塊)的參考畫(huà)面，以便于使用，而不是被添加到參考畫(huà)面列表。
[0155]歸納參考?jí)K生成單元920可基于預(yù)測(cè)單元925生成的基本層的紋理信息來(lái)生成歸納參考?jí)K。如上所述，預(yù)測(cè)單元925可從基本層獲得紋理信息⑧，并且如果必要，預(yù)測(cè)單元925對(duì)其執(zhí)行空間擴(kuò)大尺寸，并將其傳遞到歸納參考?jí)K生成單元。
[0156]在應(yīng)用多環(huán)路的情況下，歸納參考?jí)K可以是由參考層的解碼后的紋理信號(hào)(殘差信號(hào)和預(yù)測(cè)信號(hào)之和)組成的塊。例如，歸納參考?jí)K可以是在參考層中重構(gòu)的并且沒(méi)有向其應(yīng)用環(huán)內(nèi)濾波器的畫(huà)面的塊、或者是由參考層重構(gòu)的并且向其應(yīng)用環(huán)內(nèi)濾波器(解塊濾波器、SAO和ALF)中的至少一個(gè)的畫(huà)面的塊。而且，通過(guò)對(duì)由參考層的解碼后的紋理信號(hào)組成的畫(huà)面執(zhí)行畫(huà)面增強(qiáng)而獲得的畫(huà)面的塊可被確定為歸納參考?jí)K。
[0157]歸納參考?jí)K可用作針對(duì)增強(qiáng)層(當(dāng)前層)的編碼目標(biāo)塊的預(yù)測(cè)信號(hào)。當(dāng)當(dāng)前層的編碼目標(biāo)塊的尺寸是NXN時(shí)，歸納參考?jí)K生成單元920可獲得從解碼后的參考層的畫(huà)面生成的具有NXN尺寸的塊作為歸納參考?jí)K。增強(qiáng)層的編碼設(shè)備可通過(guò)使用該歸納參考?jí)K作為針對(duì)該當(dāng)前塊的預(yù)測(cè)塊，來(lái)編碼與增強(qiáng)層的原始?jí)K的差(殘差信號(hào))。
[0158]歸納參考畫(huà)面生成單元910所生成的歸納參考畫(huà)面信息②以及歸納參考?jí)K生成單元920所生成的歸納參考?jí)K信息③和④被傳輸?shù)皆鰪?qiáng)層編碼設(shè)備。從歸納參考?jí)K生成單兀920輸出的參考?jí)K信息③和④可以是同一信息。
[0159]圖10是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層編碼設(shè)備的圖。在圖10中，圖示了多層編碼設(shè)備中的增強(qiáng)層編碼設(shè)備的示例。
[0160]增強(qiáng)層編碼設(shè)備100包括變換單元1010、幀內(nèi)預(yù)測(cè)單元1020、幀間預(yù)測(cè)單元1030、量化單元1040、逆量化單元1050、逆變換單元1060、濾波器單元1070、畫(huà)面緩沖器1080、和熵編碼單元1090。
[0161]圖10的變換單元1010、幀間預(yù)測(cè)單元1020、幀內(nèi)預(yù)測(cè)單元1030、量化單元1040、逆量化單元1050、逆變換單元1060、濾波器單元1070、畫(huà)面緩沖器1080、和熵編碼單元1090
可充當(dāng)上面參考圖8描述的編碼設(shè)備的相應(yīng)組件。
[0162]例如，變換單元1010可對(duì)輸入圖像以及幀間預(yù)測(cè)單元1020或幀內(nèi)預(yù)測(cè)單元1030所預(yù)測(cè)的像素的差值(即，殘差信號(hào)(殘差塊))執(zhí)行DST或離散余弦變換(DCT)。輸入到增強(qiáng)層編碼設(shè)備1000的輸入圖像可以是由整個(gè)圖像流的部分或全部組成的圖像流，作為關(guān)于比輸入到基本層編碼設(shè)備800的輸入圖像具有更高畫(huà)面質(zhì)量、更大尺寸、更高分辨率和/或更高幀頻的圖像的信息。量化單元1040對(duì)已被DST或DCT的像素的差值(B卩，殘差信號(hào)(殘差塊))進(jìn)行量化。逆量化單元1050對(duì)量化單元1040所量化的值進(jìn)行逆量化。逆變換單元1060對(duì)通過(guò)IDCT (逆DCT)或IDST (逆DST)逆量化的值進(jìn)行逆變換。熵編碼單元1090通過(guò)使用CABAC、CAVLC等對(duì)量化單元1040所量化的值進(jìn)行熵編碼。
[0163]畫(huà)面緩沖器1080存儲(chǔ)解碼后的圖像，并且在將圖像存儲(chǔ)在畫(huà)面緩沖器1080中之前，濾波器單元1070可對(duì)圖像應(yīng)用環(huán)內(nèi)濾波器。
[0164]當(dāng)編碼設(shè)備1000按照幀內(nèi)模式執(zhí)行編碼時(shí)，幀內(nèi)預(yù)測(cè)單元1020基于當(dāng)前畫(huà)面中的相鄰塊來(lái)對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)(幀內(nèi)預(yù)測(cè))。當(dāng)編碼設(shè)備1000按照幀間模式執(zhí)行編碼時(shí)，幀間預(yù)測(cè)單元1030基于參考畫(huà)面來(lái)對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)(幀間預(yù)測(cè))。上面已參考圖1描述了幀間預(yù)測(cè)單元執(zhí)行的幀間預(yù)測(cè)和幀內(nèi)預(yù)測(cè)單元執(zhí)行的幀內(nèi)預(yù)測(cè)的細(xì)節(jié)。
[0165]參考圖10，在針對(duì)基本層的編碼設(shè)備中處理的圖像信息通過(guò)層間預(yù)測(cè)單元被傳送到針對(duì)增強(qiáng)層的編碼設(shè)備1000。例如，關(guān)于層間預(yù)測(cè)單元的歸納參考畫(huà)面生成單元所生成的歸納參考畫(huà)面的信息②被傳遞到畫(huà)面緩沖器1080。關(guān)于層間預(yù)測(cè)單元的歸納參考?jí)K生成單元所生成的歸納參考?jí)K的信息③和④被傳輸?shù)綆瑑?nèi)預(yù)測(cè)單元1020和幀間預(yù)測(cè)單元1030。
[0166]當(dāng)應(yīng)用多環(huán)路方案時(shí)，幀內(nèi)預(yù)測(cè)單元1020可使用從層間預(yù)測(cè)單元傳送的歸納參考?jí)K③作為當(dāng)前塊的預(yù)測(cè)信號(hào)。而且，如上所述，幀內(nèi)預(yù)測(cè)單元1020可通過(guò)使用增強(qiáng)層中的當(dāng)前塊的相鄰參考樣本，來(lái)對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。而且，幀內(nèi)預(yù)測(cè)單元1020可通過(guò)使用已從層間預(yù)測(cè)單元傳遞并在畫(huà)面緩沖器1080中存儲(chǔ)的參考畫(huà)面，來(lái)對(duì)增強(qiáng)層(當(dāng)前層)的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。
[0167]如圖示的，幀間預(yù)測(cè)單元1030可使用從層間預(yù)測(cè)單元傳送的歸納參考?jí)K④作為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)信號(hào)。而且，幀間預(yù)測(cè)單元1030可通過(guò)使用畫(huà)面緩沖器1080中存儲(chǔ)的基本層的圖像信息②和增強(qiáng)層的參考畫(huà)面，來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)。
[0168]這里，已描述了對(duì)增強(qiáng)層的輸入圖像執(zhí)行幀間預(yù)測(cè)的幀間預(yù)測(cè)單元1030和對(duì)增強(qiáng)層的輸入圖像執(zhí)行一致的(even)幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)單元1020基于從增強(qiáng)層編碼設(shè)備1000中的層間預(yù)測(cè)單元傳輸?shù)男畔?lái)執(zhí)行預(yù)測(cè)，但是本發(fā)明不限于此。例如，除了幀間預(yù)測(cè)單元1030和/或幀內(nèi)預(yù)測(cè)單元1020之外，增強(qiáng)層編碼設(shè)備可包括額外預(yù)測(cè)單元，并且額外預(yù)測(cè)單元可基于從層間預(yù)測(cè)單元傳送的信息③和④，來(lái)執(zhí)行預(yù)測(cè)。在該情況下，向或從幀間預(yù)測(cè)單元1030、幀內(nèi)預(yù)測(cè)單元1020、和額外預(yù)測(cè)單元輸入或輸出的信息可通過(guò)安裝開(kāi)關(guān)來(lái)選擇。
[0169]圖11是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層解碼設(shè)備的圖。在圖11中，圖示了多層解碼設(shè)備中的基本層解碼設(shè)備的示例。
[0170]參考圖11，基本層解碼設(shè)備1100包括熵解碼單元1110、逆量化單元1120、逆變換單元1130、濾波器單元1140、畫(huà)面緩沖器1150、幀間預(yù)測(cè)單元1160、和幀內(nèi)預(yù)測(cè)單元1170。
[0171]熵解碼單元1110、逆量化單元1120、逆變換單元1130、濾波器單元1140、畫(huà)面緩沖器1150、幀間預(yù)測(cè)單元1160、和幀內(nèi)預(yù)測(cè)單元1170可充當(dāng)上面參考圖2描述的解碼設(shè)備的各個(gè)組件。
[0172]例如，熵解碼單元1110可接收比特流，并通過(guò)諸如CABAC、CAVLC等方法對(duì)其執(zhí)行熵解碼。逆量化單元1120可對(duì)從熵解碼單元1110獲得的量化后的變換系數(shù)進(jìn)行逆量化。逆變換單元1130根據(jù)向量化后的變換系數(shù)應(yīng)用的變換方法來(lái)執(zhí)行逆量化。例如，當(dāng)量化后的變換系數(shù)基于DCT時(shí)，逆變換單元1130可通過(guò)使用IDCT來(lái)執(zhí)行逆量化，并且當(dāng)量化后的變換系數(shù)基于DST時(shí)，逆變換單元1130可通過(guò)使用IDST來(lái)執(zhí)行逆量化。
[0173]畫(huà)面緩沖單元1150可存儲(chǔ)解碼后的圖像信息，并且濾波器單元1140可向在畫(huà)面緩沖器1150中存儲(chǔ)之前的重構(gòu)圖像(畫(huà)面)應(yīng)用環(huán)內(nèi)濾波器。
[0174]當(dāng)解碼設(shè)備1100對(duì)當(dāng)前塊執(zhí)行幀間預(yù)測(cè)時(shí)，幀間預(yù)測(cè)單元1160基于畫(huà)面緩沖單元1150中存儲(chǔ)的參考畫(huà)面來(lái)執(zhí)行幀間預(yù)測(cè)。當(dāng)解碼設(shè)備1100對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，幀內(nèi)預(yù)測(cè)單元1170基于關(guān)于相鄰塊的信息來(lái)對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)和幀內(nèi)預(yù)測(cè)的細(xì)節(jié)與上述相同。
[0175]參考圖11，在針對(duì)基本層的解碼設(shè)備1100中處理的圖像信息被傳送到層間預(yù)測(cè)單元。例如，已解碼并重構(gòu)的圖像信息?可經(jīng)過(guò)濾波器單元1140中的環(huán)內(nèi)濾波器(解塊濾波器、SAO、ALF等)中的至少一個(gè)，并然后被傳輸?shù)綄娱g預(yù)測(cè)單元。這里，圖像信息(B可被傳輸?shù)綄娱g預(yù)測(cè)單元，而不在濾波器單元1140中濾波。
[0176]圖12是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層解碼設(shè)備的圖。在圖12中，圖示了多層解碼設(shè)備中的層間預(yù)測(cè)單元的示例。
[0177]多層解碼設(shè)備的層間預(yù)測(cè)單元1200包括歸納參考?jí)K生成單元1210、歸納參考畫(huà)面生成單元1220、和預(yù)測(cè)單元1225。預(yù)測(cè)單元1225可包括紋理預(yù)測(cè)單元1230和空間尺寸擴(kuò)大單元1240。
[0178]作為輸入到層間預(yù)測(cè)單元900的信息的圖12中圖示的信息?與作為從基本層解碼設(shè)備傳送的信息的圖11中圖示的信息(B相同。
[0179]層間預(yù)測(cè)單元基于輸入信肩?生成層間預(yù)測(cè)所需要的預(yù)測(cè)信息。
[0180]詳細(xì)來(lái)說(shuō)，紋理預(yù)測(cè)單元1230可基于從基本層編碼設(shè)備傳遞的圖像信息?，通過(guò)紋理預(yù)測(cè)，來(lái)獲得與增強(qiáng)層(當(dāng)前層)的解碼目標(biāo)塊對(duì)應(yīng)的參考層塊的解碼后的紋理信息。
[0181]紋理預(yù)測(cè)是從與增強(qiáng)層(當(dāng)前層)的當(dāng)前塊對(duì)應(yīng)的參考層(基本層)的塊獲得像素值的處理。通過(guò)紋理預(yù)測(cè)，紋理預(yù)測(cè)單元1230可獲得與當(dāng)前塊對(duì)應(yīng)的基本層(參考層)塊的像素值。
[0182]空間尺寸擴(kuò)大單元1240可根據(jù)增強(qiáng)層(當(dāng)前層)的尺寸，來(lái)對(duì)從紋理預(yù)測(cè)單元1230獲得的參考層塊的解碼后的紋理信息進(jìn)行尺寸擴(kuò)大(例如，上采樣)。
[0183]歸納參考畫(huà)面生成單元1210基于預(yù)測(cè)單元1225生成的某木層的紋理信息，來(lái)生成歸納參考?jí)K。如上所述，預(yù)測(cè)單元1225可從基本層獲得紋理信I ?并且如果必要，則預(yù)測(cè)單元1225對(duì)其執(zhí)行空間尺寸擴(kuò)大，并將其傳遞到歸納參考?jí)K生成早兀1220。
[0184]如上所述，在應(yīng)用多環(huán)路的情況下，歸納參考?jí)K可以是包括參考層的解碼后的紋理信號(hào)(殘差信號(hào)和預(yù)測(cè)信號(hào)之和)的塊。例如，歸納參考?jí)K可以是在參考層中重構(gòu)并且不對(duì)其應(yīng)用環(huán)內(nèi)濾波器的畫(huà)面的塊、或者是由參考層重構(gòu)并且對(duì)其應(yīng)用環(huán)內(nèi)濾波器(解塊濾波器、SAOjPALF)中的至少一個(gè)的畫(huà)面的塊。而且，通過(guò)對(duì)包括參考層的解碼后的紋理信號(hào)的畫(huà)面執(zhí)行畫(huà)面增強(qiáng)而獲得的畫(huà)面的塊可被確定為歸納參考?jí)K。
[0185]歸納參考?jí)K可被用作針對(duì)增強(qiáng)層(當(dāng)前層)的解碼目標(biāo)塊的預(yù)測(cè)信號(hào)。當(dāng)當(dāng)前層的編碼目標(biāo)塊的尺寸是NXN時(shí)，歸納參考?jí)K生成單元920可獲得從解碼的參考層的畫(huà)面生成的具有尺寸NXN的塊，作為歸納參考?jí)K。增強(qiáng)層的解碼設(shè)備可通過(guò)將殘差信號(hào)和歸納參考?jí)K相加，來(lái)重構(gòu)增強(qiáng)層的原始?jí)K。
[0186]歸納參考畫(huà)面生成單元1220基于從預(yù)測(cè)單元1225生成的基本層的圖像信息和從增強(qiáng)層解碼設(shè)備的畫(huà)面緩沖器傳輸?shù)慕獯a后的增強(qiáng)層的圖像信息⑧，來(lái)生成歸納參考畫(huà)面。如上所述，預(yù)測(cè)單元1225可獲得紋理信息〔b),并且如果必要，預(yù)測(cè)單元1225對(duì)其執(zhí)行空間尺寸擴(kuò)大，并將其傳遞到歸納參考畫(huà)面生成單元1220。
[0187]在應(yīng)用多環(huán)路的情況下，歸納參考畫(huà)面可以是包括參考層的解碼后的紋理信號(hào)(殘差信號(hào)和預(yù)測(cè)信號(hào)之和)的畫(huà)面。例如，歸納參考畫(huà)面可以是不對(duì)其應(yīng)用環(huán)內(nèi)濾波器的重構(gòu)畫(huà)面、或者是對(duì)其應(yīng)用環(huán)內(nèi)濾波器(解塊濾波器、SAOjP ALF)中的至少一個(gè)的重構(gòu)畫(huà)面。而且，通過(guò)對(duì)包括參考層的解碼后的紋理信號(hào)的畫(huà)面執(zhí)行畫(huà)面增強(qiáng)而獲得的畫(huà)面可被確定為歸納參考畫(huà)面。
[0188]歸納參考畫(huà)面可被添加到針對(duì)增強(qiáng)層(當(dāng)前層)的當(dāng)前解碼目標(biāo)畫(huà)面(塊)的參考畫(huà)面列表，以便用于解碼目標(biāo)畫(huà)面(塊)的幀間預(yù)測(cè)。而且，歸納參考畫(huà)面可被指定為針對(duì)增強(qiáng)層(當(dāng)前層)的編碼目標(biāo)畫(huà)面(塊)的參考畫(huà)面以便使用，而不是添加到參考畫(huà)面列表。
[0189]歸納參考畫(huà)面生成單元1220所生成的歸納參考畫(huà)面信息⑦以及歸納參考?jí)K生成單元1210所生成的歸納參考?jí)K信息⑤和⑥被傳輸?shù)皆鰪?qiáng)層解碼設(shè)備。
[0190]圖13是示意性圖示了根據(jù)本發(fā)明實(shí)施例的用于執(zhí)行層間預(yù)測(cè)的多層解碼設(shè)備的圖。在圖13中，圖示了多層解碼設(shè)備中的增強(qiáng)層解碼設(shè)備的示例。
[0191]參考圖13，增強(qiáng)層解碼設(shè)備1300包括熵解碼單元1310、逆量化單元1320、逆變換單元1330、濾波器單元1340、畫(huà)面緩沖器1350、幀間預(yù)測(cè)單元1360、和幀內(nèi)預(yù)測(cè)單元1370。
[0192]熵解碼單元1310、逆量化單元1320、逆變換單元1330、濾波器單元1340、畫(huà)面緩沖器1350、幀間預(yù)測(cè)單元1360、和幀內(nèi)預(yù)測(cè)單元1370也可充當(dāng)上面參考圖2描述的解碼設(shè)備的各個(gè)組件。
[0193]例如，熵解碼單元1110可接收比特流并通過(guò)諸如CABAC、CAVLC等方法對(duì)其執(zhí)行熵解碼。輸入到增強(qiáng)層解碼設(shè)備1300的比特流可以是包括整個(gè)比特流的部分或全部的比特流，作為關(guān)于比輸入到基本層解碼設(shè)備的比特流具有更高畫(huà)面質(zhì)量、更大尺寸、更高分辨率和/或更高幀頻的圖像的信息。逆量化單元1320可對(duì)從熵解碼單元1310獲得的量化后的變換系數(shù)進(jìn)行逆量化。逆變換單元1330根據(jù)向量化后的變換系數(shù)應(yīng)用的變換方法來(lái)執(zhí)行逆量化。例如，當(dāng)量化后的變換系數(shù)基于DCT時(shí)，逆變換單元1330可通過(guò)使用IDCT來(lái)執(zhí)行逆量化，并且當(dāng)量化后的變換系數(shù)基于DST時(shí)，逆變換單元1330可通過(guò)使用IDST來(lái)執(zhí)行逆量化。
[0194]畫(huà)面緩沖單元1350可存儲(chǔ)解碼后的圖像信息，并且濾波器單元1340可向在畫(huà)面緩沖器1350中存儲(chǔ)之前的重構(gòu)圖像(畫(huà)面)應(yīng)用環(huán)內(nèi)濾波器。
[0195]當(dāng)解碼設(shè)備1300對(duì)當(dāng)前塊執(zhí)行幀間預(yù)測(cè)時(shí)，幀間預(yù)測(cè)單元1360基于畫(huà)面緩沖單元1350中存儲(chǔ)的參考畫(huà)面來(lái)執(zhí)行幀間預(yù)測(cè)。當(dāng)解碼設(shè)備1300對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，幀內(nèi)預(yù)測(cè)單元1370基于關(guān)于相鄰塊的信息來(lái)對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)和幀內(nèi)預(yù)測(cè)的細(xì)節(jié)與上述相同。
[0196]參考圖13，針對(duì)基本層在解碼設(shè)備1100中處理的圖像信息通過(guò)層間預(yù)測(cè)單元1200被傳送到增強(qiáng)層解碼設(shè)備1300。例如，關(guān)于層間預(yù)測(cè)單元的歸納參考畫(huà)面生成單元所生成的歸納參考畫(huà)面的信息⑦被傳輸?shù)疆?huà)面緩沖器1350。而且，關(guān)于層間預(yù)測(cè)單元的歸納參考?jí)K生成單元所生成的歸納參考?jí)K的信息⑤和⑥被傳輸?shù)綆瑑?nèi)預(yù)測(cè)單元1370和幀間預(yù)測(cè)單元1360。
[0197]當(dāng)應(yīng)用多環(huán)路方案時(shí)，幀內(nèi)預(yù)測(cè)單元1370可使用從幀間預(yù)測(cè)單元傳送的歸納參考?jí)K⑤作為當(dāng)前塊的預(yù)測(cè)信號(hào)。而且，如上所述，幀內(nèi)預(yù)測(cè)單元1370可通過(guò)使用增強(qiáng)層中的當(dāng)前塊的相鄰參考樣本來(lái)對(duì)當(dāng)前塊執(zhí)行幀內(nèi)預(yù)測(cè)。而且，幀內(nèi)預(yù)測(cè)單元1370可通過(guò)使用已從幀間預(yù)測(cè)單元傳遞并在畫(huà)面緩沖器1350中存儲(chǔ)的參考畫(huà)面，來(lái)對(duì)增強(qiáng)層(當(dāng)前層)的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。
[0198]可基于從編碼設(shè)備傳送的指示或信息，來(lái)確定是否使用歸納參考?jí)K或是否執(zhí)行當(dāng)前層中的幀內(nèi)預(yù)測(cè)。
[0199]如圖示的，幀間預(yù)測(cè)單元1360可使用從層間預(yù)測(cè)單元傳送的歸納參考?jí)K⑥作為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)信號(hào)。而且，幀間預(yù)測(cè)單元1360可通過(guò)使用畫(huà)面緩沖器1350中存儲(chǔ)的基本層的圖像信息⑦和增強(qiáng)層的參考畫(huà)面，來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)?；谀膫€(gè)信息來(lái)預(yù)測(cè)當(dāng)前塊可在編碼設(shè)備/解碼設(shè)備之間先前確定，或者可由編碼設(shè)備命令。
[0200]這里，已描述了對(duì)增強(qiáng)層的輸入圖像執(zhí)行幀間預(yù)測(cè)的幀間預(yù)測(cè)單元1360和對(duì)增強(qiáng)層的輸入圖像執(zhí)行一致的幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)單元1370基于從增強(qiáng)層解碼設(shè)備1300中的層間預(yù)測(cè)單元傳輸?shù)男畔?lái)執(zhí)行預(yù)測(cè)，但是本發(fā)明不限于此。例如，除了幀間預(yù)測(cè)單元1360和/或幀內(nèi)預(yù)測(cè)單元1370之外，增強(qiáng)層解碼設(shè)備可包括額外預(yù)測(cè)單元，并且該額外預(yù)測(cè)單元可基于從層間預(yù)測(cè)單元傳送的信息⑤和⑥，來(lái)執(zhí)行預(yù)測(cè)。在該情況下，向或從幀間預(yù)測(cè)單元1360、幀內(nèi)預(yù)測(cè)單元1370、和額外預(yù)測(cè)單元輸入或輸出的信息可通過(guò)安裝開(kāi)關(guān)來(lái)選擇。
[0201]圖14是示意性圖示了在本發(fā)明所應(yīng)用到的層間預(yù)測(cè)單元中歸納的參考畫(huà)面生成單元的配置的示例的圖。如上所述，當(dāng)應(yīng)用多環(huán)路方案時(shí)，歸納參考畫(huà)面生成單元接收預(yù)測(cè)單元(圖9中的925和圖12中的1225)所獲得的紋理信息，并生成歸納的參考信號(hào)。
[0202]參考圖14，歸納參考畫(huà)面生成單元1400包括畫(huà)面增強(qiáng)單元1410。
[0203]畫(huà)面增強(qiáng)單元1410執(zhí)行處理(畫(huà)面增強(qiáng))，以使得輸入畫(huà)面或塊與增強(qiáng)層(當(dāng)前層)的輸入原始畫(huà)面或輸入原始?jí)K相同或相似。
[0204]例如，在采用多環(huán)路方案的歸納參考畫(huà)面生成單元1400中，畫(huà)面增強(qiáng)單元1410接收基本層的圖像信息(紋理信息)以及增強(qiáng)層的畫(huà)面緩沖器1420中存儲(chǔ)的圖像信息，并基于增強(qiáng)層的畫(huà)面緩沖器1420中存儲(chǔ)的圖像信息來(lái)對(duì)輸入圖像信息(紋理信息)執(zhí)行畫(huà)面增強(qiáng)。在該情況下，作為畫(huà)面增強(qiáng)的基礎(chǔ)的增強(qiáng)層的畫(huà)面緩沖器1420中存儲(chǔ)的圖像信息可以是增強(qiáng)層的原始圖像。
[0205]作為增強(qiáng)畫(huà)面的方法之一，畫(huà)面增強(qiáng)單元1410可應(yīng)用輸入圖像信息(紋理信息)、自適應(yīng)環(huán)路濾波器(ALF)、和樣本自適應(yīng)偏移(SAO)中的至少一個(gè)。在解碼設(shè)備的情況下，畫(huà)面增強(qiáng)單元1410中應(yīng)用的畫(huà)面增強(qiáng)方法、濾波系數(shù)等可在編碼設(shè)備中確定并用信號(hào)通知。
[0206]其間，當(dāng)不應(yīng)用畫(huà)面增強(qiáng)時(shí)，向歸納參考畫(huà)面生成單元1400輸入的紋理信息可被用作歸納參考畫(huà)面。
[0207]圖15是示意性圖示了在本發(fā)明所應(yīng)用到的層間預(yù)測(cè)單元中歸納的參考?jí)K生成單元的配置的示例的圖。
[0208]參考圖15，歸納參考?jí)K生成單元1500包括畫(huà)面增強(qiáng)單元1510。
[0209]畫(huà)面增強(qiáng)單元1510執(zhí)行處理(畫(huà)面增強(qiáng))，以使得輸入畫(huà)面或塊與增強(qiáng)層(當(dāng)前層)的輸入原始畫(huà)面或輸入原始?jí)K相同或相似。
[0210]例如，在采用多環(huán)路方案的歸納參考畫(huà)面生成單元1500中，畫(huà)面增強(qiáng)單元1510接收基本層的圖像信息(紋理信息)以及增強(qiáng)層的畫(huà)面緩沖器1520中存儲(chǔ)的圖像信息，并基于增強(qiáng)層的畫(huà)面緩沖器1520中存儲(chǔ)的圖像信息，來(lái)對(duì)輸入圖像信息(紋理信息)執(zhí)行畫(huà)面增強(qiáng)。在該情況下，作為畫(huà)面增強(qiáng)的基礎(chǔ)的增強(qiáng)層的畫(huà)面緩沖器1520中存儲(chǔ)的圖像信息可以是增強(qiáng)層的原始圖像。
[0211]作為增強(qiáng)畫(huà)面的方法之一，畫(huà)面增強(qiáng)單元1510可應(yīng)用輸入圖像信息(紋理信息)、自適應(yīng)環(huán)路濾波器(ALF)、和樣本自適應(yīng)偏移(SAO)中的至少一個(gè)。在解碼設(shè)備的情況下，畫(huà)面增強(qiáng)單元1510中應(yīng)用的畫(huà)面增強(qiáng)方法、濾波系數(shù)等可在編碼設(shè)備中確定并用信號(hào)通知。
[0212]歸納參考?jí)K生成單元1500向增強(qiáng)層(當(dāng)前層)的幀間預(yù)測(cè)單元1530或幀內(nèi)預(yù)測(cè)單元1540傳送該歸納參考?jí)K。
[0213]其間，當(dāng)不應(yīng)用畫(huà)面增強(qiáng)時(shí)，向歸納參考畫(huà)面生成單元1500輸入的紋理信息可被用作歸納參考畫(huà)面。[0214]圖16是圖示了根據(jù)本發(fā)明實(shí)施例執(zhí)行的層間預(yù)測(cè)的流程圖。
[0215]這里，為了便于解釋?zhuān)枋隽硕鄬泳幋a設(shè)備和多層解碼設(shè)備(其后，稱(chēng)為“編碼設(shè)備/解碼設(shè)備”)確定針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)方法。
[0216]參考圖16，編碼設(shè)備/解碼設(shè)備確定是否對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行層間預(yù)測(cè)(Sieio)0在該情況下，編碼設(shè)備可確定是否考慮到PDO和/或數(shù)據(jù)傳送成本等來(lái)執(zhí)行層間預(yù)測(cè)、或者是否執(zhí)行增強(qiáng)層內(nèi)的單層預(yù)測(cè)。編碼設(shè)備可向解碼設(shè)備傳送指示是否執(zhí)行層間預(yù)測(cè)或是否執(zhí)行單層預(yù)測(cè)的標(biāo)記。
[0217]解碼設(shè)備可根據(jù)從編碼設(shè)備接收的標(biāo)記的指示，來(lái)確定是否對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行層間預(yù)測(cè)或者是否執(zhí)行單層預(yù)測(cè)。例如，當(dāng)指示層間預(yù)測(cè)的執(zhí)行的標(biāo)記是interLayerPred_flag并且interLayerPred_flag的值是I時(shí)，解碼設(shè)備可執(zhí)行單層預(yù)測(cè)，并且當(dāng)interLayerPred_flag的值是O時(shí),解碼設(shè)備可執(zhí)行單層預(yù)測(cè)。這里,描述了具有值I的標(biāo)記指示層間預(yù)測(cè)，但是當(dāng)然，其可被設(shè)置為使得具有值O的標(biāo)記指示層間預(yù)測(cè)。
[0218]當(dāng)不執(zhí)行層間預(yù)測(cè)時(shí)，可針對(duì)增強(qiáng)層的當(dāng)前塊在增強(qiáng)層中執(zhí)行預(yù)測(cè)(S1620)。例如，當(dāng)包括增強(qiáng)層的當(dāng)前塊的片段類(lèi)型是幀內(nèi)片段(I片段)時(shí)，可基于位于作為當(dāng)前編碼和解碼的目標(biāo)的塊(當(dāng)前塊)附近的重構(gòu)參考?jí)K(相鄰塊)來(lái)執(zhí)行幀內(nèi)預(yù)測(cè)，由此對(duì)當(dāng)前塊執(zhí)行預(yù)測(cè)。這里，可向增強(qiáng)層的當(dāng)前塊應(yīng)用的幀內(nèi)預(yù)測(cè)方法的示例與上面參考圖3描述的相同。編碼設(shè)備/解碼設(shè)備可通過(guò)使用定向預(yù)測(cè)模式或非定向預(yù)測(cè)模式中的任一個(gè)，來(lái)對(duì)增強(qiáng)層執(zhí)行幀內(nèi)預(yù)測(cè)。
[0219]編碼設(shè)備向解碼設(shè)備傳送關(guān)于要用于增強(qiáng)層的當(dāng)前塊的幀內(nèi)預(yù)測(cè)模式的信息，并且解碼設(shè)備可根據(jù)由從編碼設(shè)備接收的信息指示的幀內(nèi)預(yù)測(cè)模式，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0220]而且，當(dāng)包括增強(qiáng)層的當(dāng)前塊的片段類(lèi)型是幀間片段(P片段、B片段等)并且在增強(qiáng)層內(nèi)執(zhí)行單層預(yù)測(cè)時(shí)，編碼設(shè)備/解碼設(shè)備可基于同一增強(qiáng)層內(nèi)的參考畫(huà)面，來(lái)對(duì)當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。這里，編碼設(shè)備/解碼設(shè)備可通過(guò)上述諸如跳躍模式、合并模式、AMVP等的幀間預(yù)測(cè)方法中的任一個(gè)，來(lái)對(duì)當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。
[0221]編碼設(shè)備可傳送關(guān)于要用于增強(qiáng)層的當(dāng)前塊的幀間預(yù)測(cè)方法的信息，并且解碼設(shè)備可根據(jù)由從編碼設(shè)備接收的信息指示的幀間預(yù)測(cè)模式，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0222]其間，當(dāng)執(zhí)行幀間預(yù)測(cè)時(shí)，編碼設(shè)備/解碼設(shè)備可基于從參考層(基本層)生成的歸納參考畫(huà)面或歸納參考?jí)K，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)(S1630)。為了便于解釋?zhuān)瑢⒚枋龈鶕?jù)片段類(lèi)型執(zhí)行層間預(yù)測(cè)的方法。
[0223]*在增強(qiáng)層的片段類(lèi)型或基本層的片段類(lèi)型是幀內(nèi)片段(I片段)并且應(yīng)用層間預(yù)測(cè)的情況下
[0224]編碼設(shè)備/解碼設(shè)備可基于通過(guò)使用參考層(基本層)的解碼后的畫(huà)面信息而生成的歸納參考畫(huà)面或歸納參考?jí)K，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0225]這里，當(dāng)層的畫(huà)面尺寸不同時(shí)，參考層的解碼后的畫(huà)面可被獲得，并然后根據(jù)增強(qiáng)層的畫(huà)面尺寸而被上采樣，以由此生成歸納參考畫(huà)面或歸納參考?jí)K。上采樣可例如在如上面參考圖9或12描述的層間預(yù)測(cè)單元中執(zhí)行。
[0226]上采樣可通過(guò)使用利用固定濾波系數(shù)的固定類(lèi)型濾波器、以及根據(jù)片段、畫(huà)面、和塊而自適應(yīng)地具有不同濾波系數(shù)的自適應(yīng)濾波器中的至少一個(gè)來(lái)執(zhí)行。[0227]在使用歸納參考畫(huà)面的情況下
[0228]當(dāng)增強(qiáng)層的片段或基本層的片段是幀內(nèi)片段并且通過(guò)使用歸納參考畫(huà)面執(zhí)行層間預(yù)測(cè)時(shí)，編碼設(shè)備/解碼設(shè)備可配置包括歸納參考畫(huà)面(參考層的上采樣的解碼后畫(huà)面或參考層的還沒(méi)有上采樣的解碼后畫(huà)面)的針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表。編碼設(shè)備/解碼設(shè)備可通過(guò)使用針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表中包括的歸納參考畫(huà)面作為參考畫(huà)面，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。
[0229]在通過(guò)使用歸納參考畫(huà)面對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的情況下，可使用諸如AMVP、合并模式、跳躍模式等的幀間預(yù)測(cè)方法。
[0230]在執(zhí)行層間預(yù)測(cè)的情況下，可使用歸納參考畫(huà)面作為針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面，甚至不向參考畫(huà)面列表添加歸納參考畫(huà)面(參考層的上采樣的解碼后畫(huà)面或參考層的還沒(méi)有上采樣的解碼后畫(huà)面)。當(dāng)使用歸納參考畫(huà)面作為當(dāng)前塊的參考畫(huà)面時(shí)，編碼設(shè)備可向解碼設(shè)備傳送指示作為針對(duì)當(dāng)前塊的參考畫(huà)面的該歸納參考畫(huà)面的信息。當(dāng)解碼設(shè)備從編碼設(shè)備接收到指示針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面是該歸納參考畫(huà)面的信息時(shí)，解碼設(shè)備可通過(guò)使用該歸納參考畫(huà)面來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。
[0231]這里，為了便于解釋?zhuān)瑢⒃摎w納參考畫(huà)面描述為參考層的上采樣的解碼后畫(huà)面或參考層的還沒(méi)有上采樣的解碼后畫(huà)面，但是如圖14中所示，可通過(guò)對(duì)基本層的解碼后畫(huà)面執(zhí)行畫(huà)面增強(qiáng)，來(lái)生成歸納參考畫(huà)面。
[0232]畫(huà)面增強(qiáng)是用于使得用作參考畫(huà)面的解碼后畫(huà)面和原始畫(huà)面之間的差最小化的方法。換言之，畫(huà)面增強(qiáng)可以使得基于參考層生成的歸納參考畫(huà)面和原始畫(huà)面之間的差最小化。這里，原始畫(huà)面可表示增強(qiáng)層的向編碼設(shè)備輸入的畫(huà)面。
[0233]例如，編碼設(shè)備計(jì)算能夠使得原始畫(huà)面和歸納參考畫(huà)面之間的差最小化的濾波系數(shù)，并然后向從參考層獲得的上采樣的解碼后畫(huà)面或還沒(méi)有上采樣的解碼后畫(huà)面應(yīng)用具有濾波系數(shù)的濾波器，以生成該歸納參考畫(huà)面。編碼設(shè)備可向解碼設(shè)備傳送關(guān)于計(jì)算的濾波系數(shù)的信息。解碼設(shè)備可通過(guò)向從參考層獲得的上采樣的解碼后畫(huà)面或還沒(méi)有上采樣的解碼后畫(huà)面應(yīng)用從編碼設(shè)備接收的濾波系數(shù)，來(lái)生成歸納參考畫(huà)面。
[0234]在使用歸納參考?jí)K的情況下
[0235]在增強(qiáng)層的片段類(lèi)型或基本層的片段類(lèi)型是幀內(nèi)片段并且通過(guò)使用歸納參考?jí)K執(zhí)行層間預(yù)測(cè)時(shí)，編碼設(shè)備/解碼設(shè)備可從基于基本層(參考層)的解碼后畫(huà)面生成的歸納參考?jí)K獲得針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)信號(hào)(預(yù)測(cè)塊)。
[0236]這里，當(dāng)參考層(基本層)和增強(qiáng)層的畫(huà)面的尺寸不同時(shí)，可對(duì)從參考層獲得的解碼后畫(huà)面執(zhí)行上采樣?？梢匀缟厦鎱⒖紙D9或12描述的那樣在層間預(yù)測(cè)單元中執(zhí)行上采樣。
[0237]上采樣可通過(guò)使用利用固定濾波系數(shù)的固定類(lèi)型濾波器、以及根據(jù)片段、畫(huà)面、和塊而自適應(yīng)地具有不同濾波系數(shù)的自適應(yīng)濾波器中的至少一個(gè)來(lái)執(zhí)行。
[0238]在執(zhí)行層間預(yù)測(cè)時(shí)，從與增強(qiáng)層的當(dāng)前塊對(duì)應(yīng)的參考層(基本層)的歸納參考?jí)K獲得的像素值可被確定為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)信號(hào)(預(yù)測(cè)塊)。這里，歸納參考?jí)K可以是通過(guò)對(duì)從參考層(基本層)獲得的解碼后畫(huà)面進(jìn)行上采樣而獲得的塊，或者可以是沒(méi)有經(jīng)過(guò)上采樣而獲得的塊。
[0239]增強(qiáng)層的當(dāng)前塊可以根據(jù)四叉樹(shù)結(jié)構(gòu)被編碼/解碼以具有各種塊尺寸。例如，增強(qiáng)層的當(dāng)前塊可以通過(guò)CU、PU和TU中的任一個(gè)被編碼/解碼、預(yù)測(cè)或變換。在該情況下，歸納參考?jí)K可包括參考層(基本層)的像素以便對(duì)應(yīng)于增強(qiáng)層的當(dāng)前塊的尺寸，或者可被上采樣以便對(duì)應(yīng)于增強(qiáng)層的當(dāng)前塊的尺寸。
[0240]還可以對(duì)從參考層(基本層)獲得的解碼后圖像附加執(zhí)行畫(huà)面增強(qiáng)，使得歸納參考?jí)K能更接近增強(qiáng)層的要編碼/解碼的目標(biāo)塊(當(dāng)前塊)的原始?jí)K。在該情況下，畫(huà)面增強(qiáng)可以使得基于參考層生成的歸納參考?jí)K和增強(qiáng)層的當(dāng)前塊(原始?jí)K)之間的差最小化。
[0241]編碼設(shè)備可計(jì)算可能使得原始畫(huà)面和歸納參考?jí)K之間的差最小化的濾波系數(shù)，并然后向從參考層獲得的上采樣的解碼后塊或還沒(méi)有上采樣的解碼后塊應(yīng)用具有該濾波系數(shù)的濾波器，以生成歸納參考?jí)K。
[0242]而且，編碼設(shè)備可向解碼設(shè)備傳送關(guān)于計(jì)算的濾波系數(shù)的信息。解碼設(shè)備可通過(guò)向從參考層獲得的上采樣的解碼后塊或還沒(méi)有上采樣的解碼后塊應(yīng)用具有該濾波系數(shù)的濾波器，以生成歸納參考?jí)K。
[0243]一在增強(qiáng)層的片段類(lèi)型或基本層的片段類(lèi)型是幀間片段(P片段、B片段等)并且應(yīng)用層間預(yù)測(cè)的情況下
[0244]編碼設(shè)備/解碼設(shè)備還可以基于參考層(基本層)的解碼后畫(huà)面、或通過(guò)使用解碼后畫(huà)面的信息而生成的歸納參考畫(huà)面或歸納參考?jí)K，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0245]當(dāng)層(例如，基本層(參考層)和增強(qiáng)層之間)的畫(huà)面的尺寸不同時(shí)，編碼設(shè)備/解碼設(shè)備可根據(jù)增強(qiáng)層的畫(huà)面尺寸對(duì)參考層的解碼后畫(huà)面進(jìn)行上采樣。這里，上采樣可通過(guò)使用利用固定濾波系數(shù)的固定類(lèi)型濾波器、以及根據(jù)片段、畫(huà)面、和塊而自適應(yīng)地具有不同濾波系數(shù)的自適應(yīng)濾波器中的至少一個(gè)來(lái)執(zhí)行。
[0246]在使用歸納參考畫(huà)面的情況下
[0247]如上所述，編碼設(shè)備/解碼設(shè)備可基于參考層的解碼后圖像、以及基于解碼后圖像信息而生成的歸納參考畫(huà)面，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0248]參考層的解碼后圖像或通過(guò)對(duì)參考層的解碼后圖像進(jìn)行上采樣而獲得的畫(huà)面可被用作層間預(yù)測(cè)的歸納參考畫(huà)面。如上所述，可執(zhí)行上采樣，以便將基本層(參考層)的畫(huà)面調(diào)整為增強(qiáng)層的畫(huà)面。例如，當(dāng)參考層(基本層)的畫(huà)面尺寸與增強(qiáng)層的畫(huà)面尺寸不同時(shí)，編碼設(shè)備/解碼設(shè)備可對(duì)基本層的畫(huà)面執(zhí)行上采樣，以便調(diào)整畫(huà)面尺寸。
[0249]可通過(guò)配置包括歸納參考畫(huà)面的針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行層間預(yù)測(cè)。當(dāng)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)時(shí)，參考畫(huà)面列表中包括的歸納參考畫(huà)面可被用作參考畫(huà)面。
[0250]在該情況下，可使用諸如AMVP、合并模式、跳躍模式等的前述幀間預(yù)測(cè)方法，可對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
[0251]當(dāng)參考畫(huà)面列表中包括歸納參考畫(huà)面時(shí)，可用歸納參考畫(huà)面替代針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表上的某一參考畫(huà)面。而且，可將歸納參考畫(huà)面簡(jiǎn)單添加到針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表上。
[0252]此外，代替將歸納參考畫(huà)面添加到參考畫(huà)面列表上，可將歸納參考畫(huà)面用作針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。當(dāng)將歸納參考畫(huà)面用作當(dāng)前塊的參考畫(huà)面時(shí)，編碼設(shè)備可向解碼設(shè)備傳送指示該歸納參考畫(huà)面是針對(duì)當(dāng)前塊的參考畫(huà)面的信息。當(dāng)解碼設(shè)備從編碼設(shè)備接收到指示針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面是該歸納參考畫(huà)面的信息時(shí)，解碼設(shè)備可通過(guò)使用該歸納參考畫(huà)面來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行幀間預(yù)測(cè)。
[0253]在使用歸納參考?jí)K的情況下
[0254]在增強(qiáng)層的片段類(lèi)型或基本層的片段類(lèi)型是幀間片段并且通過(guò)使用歸納參考?jí)K執(zhí)行層間預(yù)測(cè)時(shí)，編碼設(shè)備/解碼設(shè)備可從通過(guò)使用參考層(基本層)的解碼后畫(huà)面生成的歸納參考?jí)K，獲得針對(duì)增強(qiáng)層的編碼或解碼目標(biāo)塊(當(dāng)前塊)的預(yù)測(cè)信號(hào)(預(yù)測(cè)塊)。
[0255]編碼設(shè)備/解碼設(shè)備可使用從與增強(qiáng)層的當(dāng)前塊對(duì)應(yīng)的參考層(基本層)的由上采樣畫(huà)面生成的歸納參考?jí)K或由還沒(méi)有上采樣的畫(huà)面生成的歸納參考?jí)K而獲得的像素值，作為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)信號(hào)。
[0256]增強(qiáng)層的當(dāng)前塊可以根據(jù)四叉樹(shù)結(jié)構(gòu)被編碼/解碼以具有各種塊尺寸。例如，增強(qiáng)層的當(dāng)前塊可以通過(guò)CU、PU和TU中的任一個(gè)被編碼/解碼、預(yù)測(cè)或變換。在該情況下，歸納參考?jí)K可包括參考層(基本層)的像素以便對(duì)應(yīng)于增強(qiáng)層的當(dāng)前塊的尺寸，或者可被上采樣以便對(duì)應(yīng)于增強(qiáng)層的當(dāng)前塊的尺寸。
[0257]編碼設(shè)備/解碼設(shè)備可使用該歸納參考?jí)K作為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)塊。
[0258]如上所述，編碼設(shè)備/解碼設(shè)備可基于針對(duì)增強(qiáng)層的當(dāng)前塊的單層預(yù)測(cè)或?qū)娱g預(yù)測(cè)的結(jié)果，來(lái)重構(gòu)或編碼增強(qiáng)層的當(dāng)前畫(huà)面(S1650)。
[0259]如上所述，編碼設(shè)備可基于預(yù)測(cè)結(jié)果對(duì)生成的殘差塊(殘差信號(hào))進(jìn)行變換、量化和熵編碼，并將其傳送到解碼設(shè)備。這里，編碼設(shè)備可通過(guò)使用多路復(fù)用器對(duì)從基本層編碼設(shè)備和增強(qiáng)層編碼設(shè)備輸出的比特流進(jìn)行多路復(fù)用，并傳送它。
[0260]如上所述，解碼設(shè)備還可以基于通過(guò)預(yù)測(cè)生成的預(yù)測(cè)塊(預(yù)測(cè)信號(hào))和殘差塊(殘差信號(hào))，來(lái)重構(gòu)具有增強(qiáng)層支持的高畫(huà)面質(zhì)量、高分辨率、大尺寸和/或高幀頻的畫(huà)面(或視頻)。輸入到編碼設(shè)備的比特流可由解多路復(fù)用器劃分為基本層和增強(qiáng)層，并分別輸入到基本層編碼設(shè)備和增強(qiáng)層編碼設(shè)備。
[0261]在以上描述中，在多層編碼/解碼中將基本層描述為參考層并將增強(qiáng)層描述為編碼或解碼目標(biāo)層，但是為了便于解釋?zhuān)@僅基于包括兩層的多層的編碼/解碼的假設(shè)。即，這僅是示意性的，并且本發(fā)明不限于雙層配置。在本發(fā)明的實(shí)施例中，編碼或解碼目標(biāo)層可通過(guò)使用目標(biāo)層自己的較低層中的至少一個(gè)作為參考層而被層間預(yù)測(cè)，或者可以在編碼或解碼目標(biāo)層中被單層預(yù)測(cè)。
[0262]在以上描述中，為了執(zhí)行SVC，從較低層獲得的信息在尺寸上被上采樣，但是這僅為了便于解釋?zhuān)⑶铱砂凑障嗤绞缴踔翆?duì)于畫(huà)面質(zhì)量、分辨率、和幀頻、以及畫(huà)面尺寸，執(zhí)行與上采樣類(lèi)似的、根據(jù)較高層的視頻信息的較低層的視頻信息的增強(qiáng)。
[0263]在以上描述中，分開(kāi)描述了使用歸納參考畫(huà)面的情況和使用歸納參考?jí)K的情況，但是這僅是為了便于解釋?？梢黄鹗褂脷w納參考畫(huà)面和歸納參考?jí)K用于層間預(yù)測(cè)，或者可僅單獨(dú)使用其中的任何一個(gè)。當(dāng)使用歸納參考畫(huà)面和歸納參考?jí)K中的任一個(gè)時(shí)，編碼設(shè)備/解碼設(shè)備可僅包括歸納參考?jí)K生成單元和歸納參考畫(huà)面生成單元中的需要的元件。
[0264]而且，在上述示范系統(tǒng)中，盡管通過(guò)順序步驟或塊基于流程圖描述了這些方法，但是本發(fā)明不限于這些步驟的次序，并且步驟與另一步驟可按照與上述不同的次序執(zhí)行，或者可同時(shí)執(zhí)行。而且，前述實(shí)施例包括各個(gè)示范實(shí)施例。例如，各個(gè)實(shí)施例的組合也應(yīng)被理解為本發(fā)明的實(shí)施例。
【權(quán)利要求】
1.一種層間預(yù)測(cè)方法，包括: 確定是否對(duì)增強(qiáng)層應(yīng)用層間預(yù)測(cè)；和 當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，基于從參考層的解碼后參考畫(huà)面生成的歸納參考信息，來(lái)對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
2.根據(jù)權(quán)利要求1的方法，其中是否對(duì)增強(qiáng)層應(yīng)用層間預(yù)測(cè)基于指示層間預(yù)測(cè)的標(biāo)記信息來(lái)確定。
3.根據(jù)權(quán)利要求1的方法，其中該歸納參考信息根據(jù)增強(qiáng)層的畫(huà)面尺寸而被上采樣。
4.根據(jù)權(quán)利要求1的方法，其中該歸納參考信息是基于參考層的解碼后畫(huà)面而生成的歸納參考畫(huà)面，并且在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，使用該歸納參考畫(huà)面作為當(dāng)前塊的參考畫(huà)面。
5.根據(jù)權(quán)利要求4的方法，其中該歸納參考畫(huà)面被包括在針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表中，并被用作針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。
6.根據(jù)權(quán)利要求4的方法，其中向該歸納參考畫(huà)面應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)。
7.根據(jù)權(quán)利要求4的方法，其中該歸納參考畫(huà)面是基本層的解碼后畫(huà)面、通過(guò)對(duì)基本層的解碼后畫(huà)面進(jìn)行上采樣而獲得的畫(huà)面、基于基本層的解碼后畫(huà)面和殘差信息生成的畫(huà)面、或通過(guò)對(duì)基本層的解碼后畫(huà)面和殘差信息進(jìn)行上采樣而獲得的畫(huà)面。
8.根據(jù)權(quán)利要求1的方法，其中該歸納參考信息是基于參考層的解碼后畫(huà)面而生成的歸納參考?jí)K，并且在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，將該歸納參考?jí)K設(shè)置為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)塊。
9.根據(jù)權(quán)利要求8的方法，其中該歸納參考?jí)K是已向其應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)的塊。
10.根據(jù)權(quán)利要求1的方法，其中該歸納參考信息是基于參考層的解碼后畫(huà)面生成的歸納參考畫(huà)面，并且在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，使用該歸納參考畫(huà)面作為針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。
11.根據(jù)權(quán)利要求10的方法，其中該歸納參考畫(huà)面被包括在針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面列表中，并被用作針對(duì)增強(qiáng)層的當(dāng)前塊的參考畫(huà)面。
12.根據(jù)權(quán)利要求10的方法，其中向該歸納參考畫(huà)面應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)。
13.根據(jù)權(quán)利要求10的方法，其中該歸納參考畫(huà)面是基本層的解碼后畫(huà)面、通過(guò)對(duì)基本層的解碼后畫(huà)面進(jìn)行上采樣而獲得的畫(huà)面、基于基本層的解碼后畫(huà)面和殘差信息而生成的畫(huà)面、或通過(guò)對(duì)基本層的解碼后畫(huà)面和殘差信息進(jìn)行上采樣而獲得的畫(huà)面。
14.根據(jù)權(quán)利要求1的方法，其中該歸納參考信息是基于參考層的解碼后畫(huà)面生成的歸納參考?jí)K，并且在所述對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)的步驟中，將該歸納參考?jí)K設(shè)置為針對(duì)增強(qiáng)層的當(dāng)前塊的預(yù)測(cè)塊。
15.根據(jù)權(quán)利要求14的方法，其中該歸納參考?jí)K是已向其應(yīng)用基于增強(qiáng)層和參考層的畫(huà)面之間的差的增強(qiáng)的塊。
16.—種可伸縮編碼設(shè)備,包括: 基本層編碼單元，被配置為對(duì)基本層的輸入圖像執(zhí)行預(yù)測(cè)；增強(qiáng)層編碼單元，被配置為對(duì)增強(qiáng)層的輸入圖像執(zhí)行預(yù)測(cè)；和 層間預(yù)測(cè)單元，被配置為生成歸納參考信息，以對(duì)增強(qiáng)層的輸入圖像執(zhí)行預(yù)測(cè)， 其中當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，該層間預(yù)測(cè)單元從該基本層的解碼后信息生成歸納參考信息，并且該增強(qiáng)層編碼單元基于該歸納參考信息對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
17.一種可伸縮解碼設(shè)備，包括: 基本層解碼單元，被配置為對(duì)基本層的圖像執(zhí)行預(yù)測(cè)； 增強(qiáng)層解碼單元，被配置為對(duì)增強(qiáng)層的圖像執(zhí)行預(yù)測(cè)；和 增強(qiáng)層預(yù)測(cè)單元，被配置為生成歸納參考信息，以對(duì)增強(qiáng)層的圖像執(zhí)行預(yù)測(cè)， 其中當(dāng)應(yīng)用層間預(yù)測(cè)時(shí)，該層間預(yù)測(cè)單元從該基本層的解碼后信息生成歸納參考信息，并且該增強(qiáng)層解碼單元基于該歸納參考信息對(duì)增強(qiáng)層的當(dāng)前塊執(zhí)行預(yù)測(cè)。
【文檔編號(hào)】H04N19/53GK103765899SQ201280039873
【公開(kāi)日】2014年4月30日 申請(qǐng)日期:2012年6月15日 優(yōu)先權(quán)日:2011年6月15日
【發(fā)明者】李河賢, 姜晶媛, 崔振秀, 金鎮(zhèn)雄, 沁東圭, 崔孝敏, 南廷學(xué) 申請(qǐng)人:韓國(guó)電子通信研究院, 光云大學(xué)校 產(chǎn)學(xué)協(xié)力團(tuán)