跳過模式的情況下,省略該編碼單位信息⑶中的PT信息PTI。另外,跳過標(biāo)志SKIP在I切片的情況下被省略。
[0075][CU預(yù)測類型信息]
[0076]CU預(yù)測類型信息Pred_type包含CU預(yù)測方式信息PredMode以及PU分割類型信息 PartMode。
[0077]⑶預(yù)測方式信息PredMode是作為關(guān)于對象⑶中所包含的各PU的預(yù)測圖像生成方法,指定使用幀內(nèi)預(yù)測(幀內(nèi)CU)、以及幀間預(yù)測(幀間CU)中的哪種方法的信息。另外,以下將對象CU中的、跳過、幀內(nèi)預(yù)測、以及幀間預(yù)測的類別稱作CU預(yù)測模式。
[0078]PU分割類型信息PartMode是指定對象編碼單位(CU)分割為各I3U的圖案即I3U分割類型的信息。以下,將如此按PU分割類型將對象編碼單位(CU)分割為各的情形稱作PU分割。
[0079]另外,可選擇的PU分割類型根據(jù)⑶預(yù)測方式和⑶尺寸而不同。此外,進(jìn)一步說,能選擇的PU分割類型在幀間預(yù)測以及幀內(nèi)預(yù)測的各自的情況下不同。此外,關(guān)于分割類型的詳情將在后面敘述。
[0080][PT 信息]
[0081]PT信息PTI是與對象⑶中所包含的PT相關(guān)的信息。換言之,PT信息PTI是與PT中所包含的I個或者多個PU的每一個相關(guān)的信息的集合。如上所述,因為以PU為單位來進(jìn)行預(yù)測圖像的生成,所以PT信息PTI是在由運(yùn)動圖像解碼裝置I生成預(yù)測圖像之際被參考的。如圖3 (e)所示,PT信息PTI包含各I3U中的含預(yù)測信息等的I3U信息PUI1' ΡΠ np(NP為對象PT中所包含的I3U的總數(shù))。
[0082]預(yù)測信息ΡΠ根據(jù)預(yù)測類型信息Predjnode指定何種預(yù)測方法來包含幀內(nèi)預(yù)測信息或者幀間預(yù)測信息。以下,將適用幀內(nèi)預(yù)測的PU也稱呼為幀內(nèi)PU,將適用幀間預(yù)測的PU也稱呼為幀間W。
[0083]幀間預(yù)測信息包含在運(yùn)動圖像解碼裝置I通過幀間預(yù)測來生成幀間預(yù)測圖像之際被參考的運(yùn)動補(bǔ)償參數(shù)。
[0084]作為運(yùn)動補(bǔ)償參數(shù),例如列舉合并標(biāo)志(merge_flag)、合并索引(merge_idx)、估計運(yùn)動向量索引(mvp_idx)、參考圖像索引(ref_idx)、幀間預(yù)測標(biāo)志(inter_pred_flag)、以及運(yùn)動向量殘差(mvd)。
[0085]幀內(nèi)預(yù)測信息包含在運(yùn)動圖像解碼裝置I通過幀內(nèi)預(yù)測來生成幀內(nèi)預(yù)測圖像之際被參考的編碼參數(shù)。
[0086]作為幀內(nèi)預(yù)測參數(shù),例如列舉估計預(yù)測模式標(biāo)志、估計預(yù)測模式索引、以及殘余預(yù)測模式索引。
[0087][TT 信息]
[0088]TT信息TTI是與⑶中所包含的TT相關(guān)的信息。換言之,TT信息TTI是與TT中所包含的I個或者多個TU的每一個相關(guān)的信息的集合,在由運(yùn)動圖像解碼裝置I解碼殘差數(shù)據(jù)之際被參考。另外,以下,也有時將TU稱作變換塊。
[0089]如圖3 (e)所示,TT信息TTI包含指定對象⑶分割為各變換塊的分割圖案的TT分割信息SP_TU、以及TU信息TUI1' ??Ι NT (NT為對象⑶中所包含的塊的總數(shù))。
[0090]TT分割信息SP_TU具體是用于決定對象CU中所包含的各TU的形狀、尺寸、以及在對象CU內(nèi)的位置的信息。例如,TT分割信息SP_TU能夠根據(jù)表示是否進(jìn)行成為對象的節(jié)點(diǎn)的分割的信息(split_transform_flag)、和表示其分割的深度的信息(trafoDepth)來實現(xiàn)。
[0091]此外,例如在⑶的尺寸為64X64的情況下,通過分割而獲得的各TU可獲得從32 X 32像素至4 X 4像素的尺寸。
[0092]TU信息TUI1' ??Ι NT是與TT中所包含的I個或者多個TU的每一個相關(guān)的個別的信息。例如,TU信息??Ι包含量化預(yù)測殘差。
[0093]各量化預(yù)測殘差是運(yùn)動圖像編碼裝置2對處理對象的塊即對象塊實施以下的處理I?3而生成的編碼數(shù)據(jù)。
[0094]處理1:對從編碼對象圖像之中減去預(yù)測圖像后的預(yù)測殘差進(jìn)行DCT變換(Discrete Cosine Transform ;離散余弦變換);
[0095]處理2:對通過處理I而獲得的變換系數(shù)進(jìn)行量化;
[0096]處理3:對通過處理2而量化后的變換系數(shù)進(jìn)行可變長編碼;
[0097]另外,上述的量化參數(shù)qp表征運(yùn)動圖像編碼裝置2對變換系數(shù)進(jìn)行量化之際所使用的量化步幅QP的大小(QP = 2qp/6)。
[0098]〔運(yùn)動圖像解碼裝置〕
[0099]以下,參考圖1?圖16來說明本實施方式所涉及的運(yùn)動圖像解碼裝置I的構(gòu)成。
[0100](運(yùn)動圖像解碼裝置的概要)
[0101]運(yùn)動圖像解碼裝置I按照每個來生成預(yù)測圖像,通過對所生成的預(yù)測圖像、和根據(jù)編碼數(shù)據(jù)#1解碼后的預(yù)測殘差進(jìn)行相加,由此來生成解碼圖像#2’并將所生成的解碼圖像#2輸出至外部。
[0102]在此,參考通過對編碼數(shù)據(jù)#1進(jìn)行解碼而獲得的編碼參數(shù),來進(jìn)行預(yù)測圖像的生成。所謂編碼參數(shù),是指為了生成預(yù)測圖像而被參考的參數(shù)。在編碼參數(shù)中,除了在畫面間預(yù)測中被參考的運(yùn)動信息(例如,運(yùn)動向量、參考圖像、參考圖像列表選擇信息、運(yùn)動補(bǔ)償方法選擇信息)、在畫面內(nèi)預(yù)測中被參考的預(yù)測模式等的預(yù)測參數(shù)之外,還包含PU的尺寸及形狀、塊的尺寸及形狀、以及原始圖像和預(yù)測圖像的殘差數(shù)據(jù)等。
[0103]此外,以下,將成為解碼的對象的圖片(幀)、切片、CTB、塊、以及PU分別稱作對象圖片、對象切片、對象CTB、對象塊、以及對象I3U。
[0104](運(yùn)動圖像解碼裝置的構(gòu)成)
[0105]參考圖2來說明運(yùn)動圖像解碼裝置I的示意構(gòu)成,如下所述。圖2是關(guān)于運(yùn)動圖像解碼裝置I的示意構(gòu)成進(jìn)行了表示的功能框圖。
[0106]如圖2所示,運(yùn)動圖像解碼裝置I具備:報頭解碼部10、圖片解碼部11、解碼圖片緩沖器12、參考圖片集導(dǎo)出部14、以及參考圖片列表導(dǎo)出部15。報頭解碼部10在內(nèi)部具備參考圖片信息解碼部13。
[0107][報頭解碼部]
[0108]報頭解碼部10根據(jù)由運(yùn)動圖像編碼裝置2提供的編碼數(shù)據(jù)#1,以序列單位、圖片單位、或者切片單位來解碼在解碼中被利用的信息。解碼出的信息被輸出至包含圖片解碼部11的運(yùn)動圖像解碼裝置I的構(gòu)成要素。
[0109]報頭解碼部10基于既定的語法定義來對編碼數(shù)據(jù)#1中所包含的SPS進(jìn)行路徑設(shè)定,以序列單位來解碼在解碼中被利用的信息。例如,根據(jù)SPS來解碼與解碼圖像的圖像尺寸關(guān)聯(lián)的?目息。
[0110]此外,報頭解碼部10基于既定的語法定義來對編碼數(shù)據(jù)#1中所包含的切片報頭進(jìn)行路徑設(shè)定,以切片單位來解碼在解碼中被利用的信息。例如,根據(jù)切片報頭來解碼切片類型。
[0111][參考圖片信息解碼部]
[0112]參考圖片信息解碼部是報頭解碼部10的構(gòu)成要素,根據(jù)編碼數(shù)據(jù)#1來解碼與參考圖片相關(guān)的信息。在與參考圖片相關(guān)的信息中包含參考圖片集信息(以下記為RPS信息)、以及參考圖片列表修正信息(以下記為RPL修正信息)。
[0113]參考圖片集(RPS !Reference Picture Set)表征在對象圖片或者按照解碼順序繼對象圖片之后的圖片中有可能被作為參考圖片利用的圖片的集合。RPS信息是根據(jù)SPS、切片報頭被解碼的信息,是用于導(dǎo)出在各圖片解碼時被設(shè)定的參考圖片集的信息。
[0114]參考圖片列表(RPL:Reference Picture List)是在進(jìn)行運(yùn)動補(bǔ)償預(yù)測之際要參考的參考圖片的候選列表。參考圖片列表也可以存在2個以上。在本實施方式中,假設(shè)使用LO參考圖片列表(L0參考列表)和LI參考圖片列表(LI參考列表)。RPL修正信息是根據(jù)SPS、切片報頭被解碼的信息,表示參考圖片列表內(nèi)的參考圖片的順序。
[0115]在運(yùn)動補(bǔ)償預(yù)測中,利用的是在參考圖像列表上被記錄在參考圖像索引(refldx)的位置的參考圖片。例如,在refldx的值為O的情況下,參考圖像列表的O的位置、即參考圖像列表的排頭的參考圖片被用于運(yùn)動補(bǔ)償預(yù)測。
[0116]另外,由于參考圖片信息解碼部13所進(jìn)行的RPS信息以及RPL修正信息的解碼處理是本實施方式中的重要處理,因此將在后面詳細(xì)進(jìn)行說明。
[0117]在此,參考圖4來說明參考圖片集和參考圖片列表的示例。圖4(a)是按照顯示順序排列構(gòu)成運(yùn)動圖像的圖片來進(jìn)行圖示的圖,圖中的數(shù)字表征與各圖片對應(yīng)的POC。POC如在解碼圖片緩沖器的說明中后面敘述的那樣,按照輸出順序以成為升序的方式分配給各圖片。示出為“curr”的POC為9的圖片是當(dāng)前解碼的對象圖片。
[0118]圖4(b)表示應(yīng)用于對象圖片的RPS信息的示例。對象圖片中的參考圖片集(當(dāng)前RPS)基于該RPS信息而被導(dǎo)出。在RPS信息中包含長期RPS信息和短期RPS信息。作為長期RPS信息,直接示出當(dāng)前RPS中包含的圖片的POC。在圖4 (b)所示的例子中,長期RPS信息表示將POC = I的圖片包含在當(dāng)前RPS中。在短期RPS信息中,當(dāng)前RPS中包含的圖片以相對于對象圖片的POC的差分來記錄。圖中的示出為“Before,dPOC = I”的短期RPS信息表示將相對于對象圖片的POC小I的POC的圖片包含在當(dāng)前RPS中。同樣地,圖中的“Before,dPOC = 4”表示將小4的POC的圖片包含在當(dāng)前RPS中,“After,dPOC = I”表示將大I的POC的圖片包含在當(dāng)前RPS中。另外,“Before”表示對象圖片的前方、即顯示順序比對象圖片早的圖片。此外,“After”表示對象圖片的后方、即顯示順序比對象圖片晚的圖片。
[0119]圖4 (C)表示在對象圖片的POC為O的情況下適用了圖4 (b)所例示的RPS信息時被導(dǎo)出的當(dāng)前RPS的示例。包含由長期RPS信息所表示的POC= I的圖片。此外,包含由短期RPS信息所表示的、具有比對象圖片(P0C = 9)小I的POC的圖片、SP POC = 8的圖片。同樣地,包含由短期RPS信息所表示的、POC = 5和POC = 10的圖片。
[0120]圖4(d)以及(e)表示根據(jù)當(dāng)前RPS中所包含的參考圖片所生成的參考圖片列表的示例。對于參考圖片列表的各要素賦予索引(參考圖片索引)(在圖中記載為idx)。圖4(d)表示LO參考列表的示例。在LO參考列表中,具有5、8、10、I的POC的當(dāng)前RPS中所包含的參考圖片按照該順序進(jìn)行包含。圖4(e)表示LI參考列表的示例。在LI參考列表中,具有10、5、8的POC的當(dāng)前RPS中所包含的參考圖片按照該順序進(jìn)行包含。另外,如LI參考列表的示例所示,無需在參考圖片列表中包含當(dāng)前RPS所包含的所有參考圖片(可參考圖片)。但是,參考圖片列表的要素數(shù)最大成為當(dāng)前RPS中所包含的參考圖片的數(shù)量。換言之,參考圖片列表的長度為當(dāng)前圖片可參考的圖片數(shù)以下。
[0121]其次,參考圖5來說明參考圖片列表修正的示例。圖5例示在特定的參考圖片列表中對于(圖5(a))適用了 RPL修正信息(圖5(b))的情況下獲得的修正后的參考圖片列表(圖5(c))。圖5(a)所示的修正前LO參考列表與在圖4(d)中說明過的LO參考列表相同。圖5(b)所示的RPL修正信息成為將參考圖片索引的值作為要素的列表,從排頭起按照順序依次保存有0、2、1、3的值。該RPL修正信息表示將修正前參考列表中所包含的0、2、1、3的參考圖片索引所表示的參考圖片按該順序作為修正后LO參考列表的參考圖片。圖5(c)表示修正后LO參考列表,POC為5、10、8、1的圖片按照該順序來包含。
[0122][圖片解碼部]
[0123]圖片解碼部11基于編碼數(shù)據(jù)#1、由報頭解碼部10輸入的報頭信息、記錄在解碼圖片緩沖器12中的參考圖片、以及由參考圖片列表導(dǎo)出部15輸入的參考圖片列表,來生成各圖片的局部解碼圖像并記錄至解碼圖片緩沖器12。
[0124]圖片解碼部11中的、特定的圖片(對象圖片)的解碼過程的概略如下所述。
[0125](SlOl)將構(gòu)成對象圖片的CTB依次設(shè)定為對象CTB。對于各CTB執(zhí)行S102?S106的處理。然后,執(zhí)行S107的處理。
[0126](S102)根據(jù)編碼數(shù)據(jù)#1來解碼與對象CTB相關(guān)的CTB分割信息。
[0127](S103)將構(gòu)成對象CTB的⑶依次設(shè)定為對象⑶,執(zhí)行以下的S104?SI 106的處理。
[0128](S104)解碼對象⑶的⑶預(yù)測類型信息以及I3U分割信息。在對象⑶為幀間⑶或者跳過⑶的情況下,執(zhí)行S104al?S104a5。另一方面,在對象⑶為幀內(nèi)⑶的情況下,執(zhí)行 S104bl。
[0129](S104al)將構(gòu)成對象⑶的I3U依次設(shè)定為對象PU,執(zhí)行以下的處理。
[0130](S104a2)解碼對象I3U的運(yùn)動信息。
[0131](S104a3)在對象I3U利用LO預(yù)測的情況下,在LO參考列表中將LO參考索引所表示的位置的參考圖片設(shè)定為對象PU的參考圖片?;贚O運(yùn)動向量所表示的該參考圖片的解碼像素值來生成LO預(yù)測圖像。
[0132](S104a4)在對象I3U利用LI預(yù)測的情況下,在LI參考列表中將LI參考索引所表示的位置的參考圖片設(shè)定為對象PU的參考圖片?;谠搮⒖紙D片上的LI運(yùn)動向量所表示的位置的像素值來生成LI預(yù)測圖像。
[0133](S104a5)在對象PU僅利用LO預(yù)測的情況下,將LO預(yù)測圖像設(shè)為對象I3U的預(yù)測圖像。另一方面,在對象PU僅利用LI預(yù)測的情況下,將LI預(yù)測圖像設(shè)為對象的預(yù)測圖像。另一方面,在對象PU利用LO預(yù)測和LI預(yù)測雙方的情況下(利用雙預(yù)測的情況下),將LO預(yù)測圖像和LI預(yù)測圖像的加權(quán)平均設(shè)為對象的預(yù)測圖像。
[0134](S104bl)解碼與構(gòu)成對象CU的各PU對應(yīng)的幀內(nèi)預(yù)測模式,并基于與各幀內(nèi)預(yù)測模式對應(yīng)的幀內(nèi)預(yù)測方法來生成預(yù)測圖像。
[0135](S105)解碼對象⑶的TT信息。在構(gòu)成對象⑶的各TU中,解碼變換系數(shù)。此外,對于該變換系數(shù)應(yīng)用逆量化以及逆變換來生成預(yù)測殘差。
[0136](S106)在預(yù)測圖像上相加預(yù)測殘差,來生成對象⑶的濾波器應(yīng)用前的局部解碼圖像。
[0137](S107)對于對象圖片的濾波器應(yīng)用前的局部解碼圖像應(yīng)用自適應(yīng)截止濾波器以及去塊濾波器,作為對象圖片的局部解碼圖像。
[0138][解碼圖片緩沖器]
[0139]在解碼圖片緩沖器12中,由圖片解碼部解碼后的各圖片的局部解碼圖像與該圖片的POC(Picture Order Count、圖片順序信息)建立關(guān)聯(lián)地記錄。解碼圖片緩沖器12在給定的輸出定時決定輸出對象的P0C。然后,將與該P(yáng)OC對應(yīng)的局部解碼圖像作為構(gòu)成解碼圖像#2的圖片的一個而輸出至外部。
[0140][參考圖片集設(shè)定部]
[0141]參考圖片集設(shè)定部14基于由參考圖片信息解碼部13解碼后的RPS信息、以及記錄在解碼圖片緩沖器12中的局部解碼圖像和POC的信息,來構(gòu)建參考圖片集RPS并輸出至參考圖片列表導(dǎo)出部15。另外,參考圖片集設(shè)定部14的詳情將在后面敘述。
[0142][參考圖片列表導(dǎo)出部]
[0143]參考圖片列表導(dǎo)出部15基于由參考圖片信息解碼部13解碼后的RPL修正信息、以及從參考圖片集設(shè)定部14輸入的參考圖片集RPS來生成參考圖片列表RPL,并輸出至圖片解碼部11。另外,參考圖片列表導(dǎo)出部15的詳情將在后面敘述。
[0144](運(yùn)動圖像解碼處理過程)
[0145]運(yùn)動圖像解碼裝置I根據(jù)輸入編碼數(shù)據(jù)#1來生成解碼圖像#2的過程如下所述。
[0146](Sll)報頭解碼部10根據(jù)編碼數(shù)據(jù)#1來解碼SPS。
[0147](S12)報頭解碼部10根據(jù)編碼數(shù)據(jù)#1來解碼PPS。
[0148](S13)將編碼數(shù)據(jù)#1所表示的圖片依次設(shè)定為對象圖片。對于各對象圖片執(zhí)