可以存儲由濾波器單元190或191計算的重建的塊或畫 面，并且存儲在存儲器中的重建的塊和畫面可以在執(zhí)行幀內(nèi)預測時被提供至預測單元120 和 125。
[0102] 從下層的熵編碼單元l〇〇b輸出的信息以及從上層的熵編碼單元100a輸出的信息 通過多路復用器MUX197多路復用，并且然后可以采用比特流的形式被輸出。
[0103] MUX197可以包括在上層的編碼單元100a或下層的編碼單元100b中，或者可以實現(xiàn) 為與編碼單元100不同的單獨的裝置或模塊。
[0104] 圖2為示意性地示出根據(jù)本發(fā)明的實施方式的解碼裝置的框圖。
[0? 05] 如圖2所示，解碼裝置200包括上層的解碼單元200a和下層的解碼單元200b。
[0106] 上層的解碼單元200a可以包括熵解碼單元210、重新布置單元220、解量化單元 230、 逆變換單元245、預測單元250、濾波器單元260和存儲器270。
[0107]下層的解碼單元200b可以包括熵解碼單元211、重新布置單元221、解量化單元 231、 逆變換單元241、預測單元251、濾波器單元261和存儲器271。
[0108] 當對來自編碼裝置的包括多個層的比特流進行傳輸時，解多路復用器(DEMUX)280 對與每一層對應的信息進行解復用，并且將結(jié)果傳輸至每一層的解碼單元200a或200b?？?以通過作為編碼裝置的處理的反轉(zhuǎn)的處理而對輸入比特流進行解碼。
[0109] 熵解碼單元210和211中的每個可以通過由編碼裝置的熵編碼單元執(zhí)行的熵編碼 處理的反轉(zhuǎn)來執(zhí)行熵解碼。在通過熵解碼單元210和211解碼的信息片段中，需要用來生成 預測塊的信息被提供至預測單元250和251，并且通過熵解碼單元進行熵解碼的殘差可以被 輸入至重新布置單元220和221。
[0110] 像熵編碼單元160和161-樣，熵解碼單元210和211中的每個可以使用CABAC和 CAVLC中的至少一個。
[0111] 熵解碼單元210和211中的每個可以對與由編碼裝置執(zhí)行的幀內(nèi)預測和幀間預測 有關的信息進行解碼。熵解碼單元210和211中的每個包括碼字映射單元，其具有用于根據(jù) 所接收的碼字來生成幀內(nèi)預測模式數(shù)目的碼字映射表?？梢灶A先存儲碼字映射表，或者可 以適應性地生成碼字映射表。當使用碼號映射表時，用于執(zhí)行碼號映射的碼號映射單元可 以被另外布置。
[0112] 重新布置單元220和221中的每個可以基于編碼單元所使用的布置方法來對通過 熵解碼單元210或211進行熵解碼的比特流進行重新布置。以一維矢量形式表示的系數(shù)可以 通過被重建而被重新布置為兩維塊型系數(shù)。重新布置單元220和221中的每個接收與由編碼 單元執(zhí)行的系數(shù)掃描方法有關的信息，并且可以使用基于由編碼單元執(zhí)行的掃描順序來執(zhí) 行逆掃描的方法對系數(shù)進行重新布置。
[0113]解量化單元230和231中的每個可以基于由編碼裝置提供的量化參數(shù)和塊的重新 布置的系數(shù)來執(zhí)行解量化。
[0114] 逆變換單元240和241中的每個可以對由編碼裝置執(zhí)行的量化的結(jié)果執(zhí)行逆DCT或 逆DST，其中，逆DCT和逆DST對應于由相應的變換單元130或131執(zhí)行的DCT和DST?？梢栽谟?編碼裝置確定的傳輸單元中執(zhí)行逆變換。在編碼裝置的變換單元中，可以根據(jù)多個信息片 段(如預測方法、當前塊的大小和預測方向等）而選擇性地執(zhí)行DCT和DST。解碼裝置的逆變 換單元240或241可以基于與由編碼裝置的變換單元執(zhí)行的變換有關的信息來執(zhí)行逆變換。 可以基于編碼塊而非變換塊來執(zhí)行變換。
[0115] 預測單元250和251中的每個可以基于以下來生成預測塊：由熵解碼單元210和211 提供的與預測塊的生成有關的信息以及從相應的存儲器270或271提供的與先前解碼的塊 或畫面有關的信息。
[0116] 預測單元250和251中的每個可以包括預測單元確定單元、幀間預測單元和幀內(nèi)預 測單元。
[0117] 預測單元確定單元接收各種信息，將預測塊與當前編碼塊分開并且確定預測塊是 執(zhí)行幀內(nèi)預測還是幀間預測，其中，所述各種信息包括從熵解碼單元輸入的預測單元信息、 與幀內(nèi)預測方法有關的預測模式信息以及與幀間預測方法有關的運動預測信息等。
[0118] 幀間預測單元可以使用對于由編碼裝置提供的當前預測塊的幀間預測而言所需 的信息、基于包括在當前畫面(其包括當前預測塊)之前的畫面和當前畫面之后的畫面中的 至少一個中的信息來執(zhí)行對當前預測塊的幀間預測。為了執(zhí)行幀間預測，可以確定基于對 應的編碼塊而用作包括在編碼塊中的預測塊的運動預測方法的方法為跳過模式、合并模式 或使用運動矢量預測器(MVP)的模式(AMVP模式）。
[0119] 幀內(nèi)預測單元可以基于與當前畫面中的重建的像素有關的信息來生成預測塊。當 預測塊為被執(zhí)行幀內(nèi)預測的預測塊時，可以基于由編碼裝置提供的與預測塊有關的幀內(nèi)預 測模式信息而執(zhí)行幀內(nèi)預測。幀內(nèi)預測單元可以包括:MDIS濾波器，其用于對當前塊的參考 像素執(zhí)行濾波;參考像素插值單元，其用于通過對參考像素進行插值來以小于單像素的單 位生成參考像素；以及DC濾波器，其用于在當前塊的預測模式為DC模式時通過濾波來生成 預測塊。
[0120]上層的解碼單元200a的預測單元250可以進一步包括用于執(zhí)行層間預測的層間預 測單元，其中，在層間預測中，使用與下層有關的信息來對上層進行預測。
[0121] 層間預測單元可以通過使用幀內(nèi)預測模式信息、運動信息等來執(zhí)行層間預測。
[0122] 層間預測以下述方式來實現(xiàn):使得通過采用下層畫面作為參考畫面并且使用與下 層(參考層)的畫面相關的運動信息來執(zhí)行上層的當前塊的預測。
[0123] 在層間預測中，可以適當?shù)貙Ρ挥米鲄⒖籍嬅娴膮⒖紝拥漠嬅孢M行采樣以用于當 前層的分辨率。另外，運動信息可以包括運動矢量和參考索引。在這一點上，用于參考層畫 面的運動矢量值可以被設置為(〇,〇)。
[0124] 作為層間預測的示例，描述了使用下層畫面作為參考畫面的預測方法，但是層間 預測不限于此。層間預測單元123可以另外地執(zhí)行層間紋理預測、層間運動預測、層間語法 預測和層間殘差預測等。
[0125] 層間紋理預測可以基于參考層的紋理來得出當前層的紋理?？梢赃m當?shù)貙⒖紝?的紋理進行采樣以用于當前層的分辨率，并且層間預測單元可以基于經(jīng)采樣的紋理來預測 當前層的紋理。層間運動預測可以基于參考層的運動矢量來得出當前層的運動矢量。在此， 參考層的運動矢量可以被適當?shù)乜s放以用于當前層的分辨率。在層間語法預測中，可以基 于參考層的語法來預測當前層的語法。例如，層間預測單元123可以使用參考層的語法作為 當前層的語法。此外，在層間殘差預測中，可以使用在重建的參考層的圖像與重建的當前層 的圖像之間的殘差來重建當前層的畫面。
[0126] 重建的塊或畫面可以被提供至濾波器單元260和261中的每個。濾波器單元260和 261中的每個可以包括解塊濾波器和偏移校正單元。
[0127] 可以從編碼裝置接收以下信息:與解塊濾波器是否被應用于對應的塊或畫面有關 的信息；以及在應用解塊濾波器時濾波器為強濾波器或弱濾波器的信息。解碼裝置的解塊 濾波器可以接收與由編碼裝置提供的解塊濾波器有關的信息，并且解碼裝置可以對相應的 塊執(zhí)行解塊濾波。
[0128] 偏移校正單元可以基于在編碼時應用于圖像的偏移值信息以及偏移校正的類型 來對重建的圖像執(zhí)行偏移校正。
[0129] 存儲器270和271中的每個可以存儲重建的畫面或塊，使得重建的畫面或塊能夠被 用作參考畫面或參考塊，并且還可以將重建的畫面輸出。
[0130] 編碼設備和解碼設備可以對二層或更多層 而非兩層 執(zhí)行編碼，在這種情 況下，用于上層的編碼單元和解碼單元可以設置有在數(shù)目上與上層的數(shù)目相對應的多個。
[0131] 在用于支持多層結(jié)構(gòu)的可擴展視頻編碼(SVC)中，在層之間存在關聯(lián)性。當通過使 用這個關聯(lián)性來執(zhí)行預測時，可以移除數(shù)據(jù)復制元件并且可以改進圖像編碼性能。
[0132] 因此，當預測待編碼/解碼的當前層（即增強層）的畫面（即圖像)時，可以執(zhí)行通過 使用另一層的信息的層間預測以及使用當前層的信息的幀間預測或幀內(nèi)預測。
[0133] 當執(zhí)行層間預測層時，可以通過使用用于層間預測的參考層的解碼畫面作為參考 畫面來生成用于當前層的預測采樣。
[0134] 在這種情況下，因為空間分辨率、時間分辨率和圖像質(zhì)量中的至少一個可能在當 前層與參考層之間不相同（這是由于在層之間的可擴展性的差別），所以參考層的解碼畫面 被重新采樣以適應當前層的可擴展性，并且然后可以被用作當前層的層間預測的參考畫 面。"重新采樣"指對參考層畫面的采樣進行上采樣或下采樣，以匹配當前層畫面的畫面大 小。
[0135] 在本說明書中，當前層為被執(zhí)行編碼或解碼的層，并且可以是增強層或上層。參考 層為被參考用于當前層的層間預測的層，并且可以是基本層或下層?？梢詫⒂糜诋斍皩拥?層間預測的參考層的畫面(即參考畫面)稱為層間參考畫面或?qū)又g的參考畫面。
[0136] 圖3為示出根據(jù)應用本發(fā)明的實施方式使用參考層的相應畫面來執(zhí)行當前層的幀 間預測的過程的流程圖。
[0137] 參考圖3,可以確定要用于當前層中的當前畫面的層間預測的參考層的相應畫面 (S300)〇
[0138] 參考層可以指其分辨率低于基本層或當前層的分辨率的另一增強層。相應的畫面 可以指位于與當前層的當前畫面同一時隙的畫面。
[0139] 例如，相應的畫面可以是具有與當前層的當前畫面相同的畫面順序計數(shù)(P0C)信 息的畫面。相應的畫面可以屬于與當前層的當前畫面相同的訪問單元(AU)。相應的畫面可 以具有與當前層的當前畫面相同的時間級標識符(TemporallD)。此處，時間級標識符可以 指用于指定可以根據(jù)時間分辨率進行可擴展編碼的多個層中的每個層的標識符。
[0140] 可以允許當前塊使用一個或更多個參考層的相應畫面來執(zhí)行層間預測。后面將參 照圖4至圖11來描述用于指定這樣的相應畫面的方法。
[0141] 層間參考畫面可以通過對在步驟S300處確定的相應畫面進行上采樣來生成 (S310)〇
[0142] 此處，層間參考畫面可以用作用于當前畫面的層間預測的參考畫面。
[0143] 更具體地，層間參考畫面可以包括第一層間參考畫面和第二層間參考畫面中的至 少一個。第一層間參考畫面可以指在其整數(shù)位置上對其執(zhí)行濾波的參考畫面，并且第二層 間參考畫面可以指在其整數(shù)位置上不對其執(zhí)行濾波的參考畫面。
[0144] 此處，整數(shù)位置可以指經(jīng)上采樣的相應畫面的整數(shù)像素?？商孢x地，整數(shù)位置可以 指當在上采樣過程中以小于或等于整數(shù)像素的像素為單位執(zhí)行插值一一亦即，以1/n個像 素為單位執(zhí)行插值一一然后生成η個相位時，具有0相位的位置(即在插值后對應于η倍整數(shù) 像素的位置）。可以使用相鄰的整數(shù)位置來執(zhí)行對整數(shù)位置的濾波。相鄰的整數(shù)位置可以位 于與當前濾波的整數(shù)位置相同的行或列中。相鄰的整數(shù)位置可以包括屬于相同行或列的多 個整數(shù)位置。此處，多個整數(shù)位置可以順序地布置在相同的列或行中。后面將參照圖12來描 述詳細的上采樣方法。
[0145] 可以生成包括在步驟S310處生成的層間參考畫面和臨時參考畫面的參考畫面列 表(S320)〇
[0146] 首先，參考畫面列表可以包括與當前畫面屬于同一層的參考畫面(在下文中稱為 "臨時參考畫面"）。臨時參考畫面可以指具有與當前畫面的輸出順序不同的輸出順序(如畫 面順序計數(shù)P0C)的畫面。稍后將參照圖13至圖15描述用于生成由臨時參考畫面組成的參考 畫面列表的方法。
[0147] 同時，當執(zhí)行當前畫面的層間預測時，參考畫面列表可以進一步包括層間參考畫 面。亦即，在多層結(jié)構(gòu)(如在可擴展視頻編碼或多視點視頻編碼）中，不僅同一層的參考層可 以被用作增強層的參考畫面，而且另一層的參考畫面也可以被用作增強層的參考畫面。
[0148] 更具體地，屬于參考層的畫面可以被用作參考畫面。在此，參考層可以通過參考層 標識符(RefPiclayerld)來識別。參考層標識符可以基于片頭的語法inter_layer_pred_ layer_idC(在下文中稱為"層間指示"）導出。層間指示可以指當前層所使用以執(zhí)行層間預 測的畫面的層。如此，可以生成參考層標識符所指定的包括參考層的層間參考畫面的參考 畫面列表。稍后將參照圖16至圖18描述這個操作。
[0149] 同時，如在步驟S310處所述，層間參考畫面可以包括第一層間參考畫面和第二層 間參考畫面中的至少一個。因此，可以生成包括第一層間參考畫面和第二層間參考畫面中 的任一個的參考畫面列表或者包括第一層間參考畫面和第二層間參考畫面兩者的參考畫 面列表。
[0150] 為了選擇性地使用第一層間參考畫面和第二層間參考畫面，可以基于畫面來選擇 是使用第一層間參考畫面和第二層間參考畫面兩者還是使用第一層間參考畫面和第二層 間參考畫面中的任一個。此外，在選擇并使用第一層間參考