專利名稱：運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置。
背景技術(shù)：
近年來，ITU— T 與 IS0/IEC 共同地，推薦了 ITU — T REC. H. 264 及 ISO/IEC14496 - 10 (以下，稱為“H. 264”)作為使編碼效率大幅提高的運(yùn)動(dòng)圖像編碼方法。在H. 264中，不依賴于預(yù)測(cè)處理方法，就能進(jìn)行使用離散余弦變換的正交變換 逆正交變換處理。例如，專利文獻(xiàn)I及非專利文獻(xiàn)I中公開了，將H. 264的正交變換 逆正交變換擴(kuò)展，按作為幀內(nèi)預(yù)測(cè)模式而確定了的9種預(yù)測(cè)方向中的每種，對(duì)發(fā)生了的預(yù)測(cè)誤差進(jìn)行正交變換時(shí)，保有使變換后的系數(shù)飽和度變高的變換基底，并通過正交變換 逆正交變換，提高編碼效率的方法?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)I :國際公開號(hào)W02008157431號(hào)公開文本非專利文獻(xiàn)I :M. Karczewicz, “Improved intra coding”，ITU-TSG16/Q. 6，VCEGDocument, VCEG-AF15, April 2007.

發(fā)明內(nèi)容
但是，在上述專利文獻(xiàn)I及非專利文獻(xiàn)I所記載的方法中，需要針對(duì)每個(gè)幀內(nèi)預(yù)測(cè)模式不同的正交變換處理，在考慮了用硬件實(shí)現(xiàn)的情況下，除了札264中需要的離散余弦變換 逆離散余弦變換用的專用硬件之外，還必須通過追加構(gòu)成進(jìn)行8種不同的正交變換 逆正交變換的專用硬件，電路規(guī)模將增大。本發(fā)明的目的在于提供一種運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置，能夠在提高正交變換后的系數(shù)飽和度的同時(shí)，削減正交變換以及逆正交變換中的硬件實(shí)現(xiàn)時(shí)的電路規(guī)模。本發(fā)明的一方面的運(yùn)動(dòng)圖像編碼裝置的特征在于，具備預(yù)測(cè)部，使用依據(jù)多個(gè)幀內(nèi)預(yù)測(cè)模式中的選擇模式的幀內(nèi)預(yù)測(cè)，求出編碼對(duì)象的預(yù)測(cè)誤差信號(hào)；幀內(nèi)預(yù)測(cè)分類部，將所述選擇模式分類為表示是具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第I預(yù)測(cè)模式、和表示是不具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第2預(yù)測(cè)模式；第I正交變換部，在所述選擇模式被分類到所述第I預(yù)測(cè)模式的情況下，使用預(yù)先確定為使變換后的系數(shù)飽和度比變換前變高的第I變換基底，對(duì)所述預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換而得到變換系數(shù);第2正交變換部，在所述選擇模式被分類到所述第2預(yù)測(cè)模式的情況下，對(duì)所述預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換而得到變換系數(shù)；系數(shù)順序控制部，按照對(duì)于所述多個(gè)幀內(nèi)預(yù)測(cè)模式中的各個(gè)預(yù)先確定的掃描順序中與所述選擇模式對(duì)應(yīng)的掃描順序，對(duì)所述變換系數(shù)重新排序；以及熵編碼部，對(duì)表示所述選擇模式的信息和所述重新排序后的變換系數(shù)進(jìn)行編碼。本發(fā)明的一方面的運(yùn)動(dòng)圖像解碼裝置的特征在于，具備熵解碼部，根據(jù)編碼數(shù)據(jù)取得預(yù)測(cè)模式和變換系數(shù)；幀內(nèi)預(yù)測(cè)圖像生成部，按照所述預(yù)測(cè)模式，生成預(yù)測(cè)圖像信號(hào)；幀內(nèi)預(yù)測(cè)分類部，將所述預(yù)測(cè)模式分類為表示是具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第I預(yù)測(cè)模式、和表示是不具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第2預(yù)測(cè)模式；系數(shù)順序控制部，按照對(duì)于多個(gè)幀內(nèi)預(yù)測(cè)模式的各個(gè)預(yù)先確定的掃描順序中與所述預(yù)測(cè)模式對(duì)應(yīng)的掃描順序，對(duì)所述變換系數(shù)進(jìn)行重新排序；第I逆正交變換部，在所述預(yù)測(cè)模式被分類到所述第I預(yù)測(cè)模式的情況下，使用與所述第I預(yù)測(cè)模式對(duì)應(yīng)的第I變換基底，對(duì)所述重新排序后的變換系數(shù)進(jìn)行逆正交變換，得到預(yù)測(cè)誤差信號(hào)；第2逆正交變換部，在所述預(yù)測(cè)模式被分類到所述第2預(yù)測(cè)模式的情況下，對(duì)所述重新排序后的變換系數(shù)進(jìn)行逆正交變換，得到所述第2預(yù)測(cè)模式的預(yù)測(cè)誤差信號(hào)；以及加法器，對(duì)所述預(yù)測(cè)誤差信號(hào)和所述預(yù)測(cè)圖像信號(hào)進(jìn)行加法運(yùn)算，生成解碼圖像信號(hào)。


圖I是第I、第2及第3實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置的框圖。圖2A是示出作為編碼或解碼的對(duì)象的像素塊和編碼處理方向的圖。圖2B是示出意味著編碼或解碼的處理塊單位的16x16像素塊的圖。圖3A是示出幀內(nèi)預(yù)測(cè)的預(yù)測(cè)模式和預(yù)測(cè)方向的圖。圖3B是示出參照像素和編碼對(duì)象像素的配置的圖。圖3C是示出水平預(yù)測(cè)時(shí)的預(yù)測(cè)例的圖。圖3D是示出垂直預(yù)測(cè)時(shí)的預(yù)測(cè)例的圖。圖4A是示出表示使用了系數(shù)順序控制部中的鋸齒掃描的2D - ID變換時(shí)的2D數(shù)據(jù)的位置和掃描順序的圖。圖4B是示出使用系數(shù)順序控制部中的鋸齒掃描進(jìn)行2D - ID變換時(shí)的ID數(shù)據(jù)的圖。圖4C是使用兩種指標(biāo)表示系數(shù)順序控制部中的鋸齒掃描的圖。圖5是第I及第2實(shí)施方式的正交變換部的框圖。圖6是第I、第2、第5及第6實(shí)施方式的逆正交變換部的框圖。圖7A是示出幀內(nèi)預(yù)測(cè)模式與正交變換序號(hào)的對(duì)應(yīng)的圖。圖7B是說明正交變換序號(hào)和名稱的圖。圖8是系數(shù)順序控制部的框圖。圖9是使用兩種指標(biāo)表示系數(shù)順序控制部中的針對(duì)幀內(nèi)預(yù)測(cè)的每種預(yù)測(cè)方向不同的掃描順序的圖。圖IOA是示出對(duì)第I實(shí)施方式的編碼對(duì)象像素塊進(jìn)行編碼時(shí)的處理的流程的流程圖的圖。圖IOB是示出接著圖IOA的流程圖的圖。圖11是示出第I至第8實(shí)施方式中的語法構(gòu)造的圖。圖12是示出第I至第8實(shí)施方式中片段頭語法所包含的信息的圖。圖13是示出第I至第8的實(shí)施方式中的宏塊層語法所包含的信息的圖。圖14是示出第2及第6實(shí)施方式中的幀內(nèi)預(yù)測(cè)圖像生成部的框圖。圖15是示出第2及第6實(shí)施方式中的雙方向幀內(nèi)預(yù)測(cè)與單方向的預(yù)測(cè)模式序號(hào)、以及變換序號(hào)的關(guān)系的圖。圖16是示出第2及第6實(shí)施方式中的片段頭語法所包含的信息的圖。圖17是示出第2及第6的實(shí)施方式中的宏塊層語法所包含的信息的圖。圖18是示出第3實(shí)施方式中的正交變換部的塊的圖。圖19A是示出第3及第7實(shí)施方式中的預(yù)測(cè)模式序號(hào)和變換序號(hào)的關(guān)系的圖。圖19B是示出第3及第7實(shí)施方式中的變換序號(hào)和名稱的圖。圖20是示出第3及第7實(shí)施方式中的逆正交變換的框圖。圖21是示出第5至第8實(shí)施方式中的運(yùn)動(dòng)圖像解碼裝置的框圖。
圖22是示出第5至第8實(shí)施方式中的系數(shù)順序控制部的框圖。圖23是第4實(shí)施方式中的正交變換部的框圖。圖24是第4及第8實(shí)施方式中的逆正交變換部的框圖。圖25A是示出第4及第8實(shí)施方式中的預(yù)測(cè)模式序號(hào)和變換序號(hào)的關(guān)系的圖。圖25B是示出第4及第8實(shí)施方式中的變換序號(hào)和名稱的圖。圖26A是示出第4及第8實(shí)施方式中的一維的變換序號(hào)和二維的變換序號(hào)的圖。圖26B是示出第4及第8實(shí)施方式中的垂直方向中的一維的變換序號(hào)和矩陣的名稱的圖。圖26C是示出第4及第8實(shí)施方式中的水平方向中的一維的變換序號(hào)和矩陣的名稱的圖。附圖標(biāo)記說明100 :運(yùn)動(dòng)圖像編碼裝置；101 :減法器；102 :正交變換部；103 :量化部；104 :逆量化部；105 :逆正交變換部；106 :加法器；107 :參照?qǐng)D像存儲(chǔ)器；108 :幀內(nèi)預(yù)測(cè)圖像生成部；109 :幀間預(yù)測(cè)圖像生成部；110 :預(yù)測(cè)選擇部；111 :預(yù)測(cè)選擇開關(guān)；112 :幀內(nèi)預(yù)測(cè)分類部；113 :系數(shù)順序控制部；114 :熵編碼部；115 :輸出緩沖器；116 :編碼控制部；117 :量化變換系數(shù)列；118 :輸入圖像信號(hào)；119 :預(yù)測(cè)誤差信號(hào)；120 :變換系數(shù)；121 :量化變換系數(shù)；122 :逆量化變換系數(shù)；123 :還原預(yù)測(cè)誤差信號(hào)；124 :解碼圖像信號(hào)；125 :參照?qǐng)D像信號(hào)；126 :預(yù)測(cè)信息；127 :預(yù)測(cè)圖像信號(hào)；128 :預(yù)測(cè)模式；129 :變換基底選擇信息；130 :編碼數(shù)據(jù)；501 :第一正交變換部；502 :第二正交變換部；503 :基底選擇開關(guān)；601 :第一逆正交變換部；602 :第二逆正交變換部；603 :基底選擇開關(guān)；801 :預(yù)測(cè)模式選擇開關(guān)；802 810 :2D — ID變換部；1100 :語法；1101 :高級(jí)語法；1102 :片段級(jí)語法；1103 :宏塊級(jí)語法；1104 :序列參數(shù)組語法；1105 :圖片參數(shù)組語法；1106 :片段頭語法；1107 :片段數(shù)據(jù)語法；1108 :宏塊層語法；1109 :宏塊預(yù)報(bào)語法；1401 :單方向幀內(nèi)預(yù)測(cè)圖像生成部；1402 :雙方向幀內(nèi)預(yù)測(cè)圖像生成部；1403 :預(yù)測(cè)模式生成部；1404 :預(yù)測(cè)選擇開關(guān)；1801 :第三正交變換部；1802 :第二正交變換部；2001 :第三逆正交變換部；2002 :第二逆正交變換部；2100 :運(yùn)動(dòng)圖像解碼裝置；2101 :輸入緩沖器；2102 :熵解碼部；2103 :系數(shù)順序控制部；2104 :逆量化部；2105 :逆正交變換部；2106 :加法器；2107 :參照?qǐng)D像存儲(chǔ)器；2108 :幀內(nèi)預(yù)測(cè)圖像生成部；2109 :幀間預(yù)測(cè)圖像生成部；2110 :預(yù)測(cè)選擇開關(guān)；2111 :幀內(nèi)預(yù)測(cè)分類部；2112 :輸出緩沖器；2113 :解碼控制部；2114 :編碼數(shù)據(jù)；2115 :量化變換系數(shù)列；2116 :量化變換系數(shù)；2117 :逆量化變換系數(shù)；2118 :還原預(yù)測(cè)誤差信號(hào)；2119 :解碼圖像信號(hào)；2120 :參照?qǐng)D像信號(hào)；2121 :預(yù)測(cè)模式；2122 :變換基底選擇信息；2123 :預(yù)測(cè)圖像信號(hào)；2124 :預(yù)測(cè)信息；2201 :預(yù)測(cè)模式選擇開關(guān)；2202 2210 1D 一 2D變換部；2301 :第一正交變換部；2302 :第二正交變換部；2303 :第三正交變換部；2304 :第四正交變換部；2401 :第一逆正交變換部；2402 :第二逆正交變換部；2403 :第三逆正交變換部；2404 :第四逆正交變換部。
具體實(shí)施例方式以下，參照附圖詳細(xì)地說明本發(fā)明的實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置。另外，在以下的實(shí)施方式中，對(duì)附以同一序號(hào)的部分，作為進(jìn)行同樣動(dòng)作的部分，省略重復(fù)的說明。以下，根據(jù)

第I實(shí)施方式至第8實(shí)施方式。第I實(shí)施方式、第2實(shí)施方式、第3實(shí)施方式及第4實(shí)施方式是基于運(yùn)動(dòng)圖像編碼裝置的實(shí)施方式，第5實(shí)施方式、第6實(shí)施方式、第7實(shí)施方式及第8實(shí)施方式是基于運(yùn)動(dòng)圖像解碼裝置的實(shí)施方式。在以下的實(shí)施方式中說明的運(yùn)動(dòng)圖像編碼裝置，是將構(gòu)成輸入圖像信號(hào)的各個(gè)幀 分割為多個(gè)像素塊，對(duì)這些分割后的像素塊進(jìn)行編碼處理而進(jìn)行壓縮編碼，輸出符號(hào)列的
>J-U裝直。首先，說明與運(yùn)動(dòng)圖像編碼裝置相關(guān)的第I至第4實(shí)施方式。[第I實(shí)施方式]參照?qǐng)DI說明實(shí)現(xiàn)使用本實(shí)施方式的編碼方法的運(yùn)動(dòng)圖像編碼裝置100。圖I的運(yùn)動(dòng)圖像編碼裝置100，根據(jù)從編碼控制部116輸入的編碼參數(shù)，進(jìn)行針對(duì)輸入圖像信號(hào)118的幀內(nèi)預(yù)測(cè)(畫面內(nèi)預(yù)測(cè)、或幀之內(nèi)預(yù)測(cè))或者幀間預(yù)測(cè)(畫面間預(yù)測(cè)、或幀之間預(yù)測(cè))編碼處理，生成預(yù)測(cè)圖像信號(hào)127，對(duì)輸入圖像信號(hào)118與預(yù)測(cè)圖像信號(hào)127的差分信號(hào)進(jìn)行正交變換 量化，進(jìn)行熵編碼，輸出編碼數(shù)據(jù)130。運(yùn)動(dòng)圖像編碼裝置100，將運(yùn)動(dòng)圖像或靜止圖像的輸入圖像信號(hào)118分割為像素塊單位、例如宏塊單位而輸入。輸入圖像信號(hào)118是包括幀及場這兩者的進(jìn)行一個(gè)編碼的處理單位。另外，本實(shí)施方式中，說明將幀作為進(jìn)行一個(gè)編碼的處理單位的例子。運(yùn)動(dòng)圖像編碼裝置100進(jìn)行基于塊尺寸、或預(yù)測(cè)圖像信號(hào)127的生成方法不同的多個(gè)預(yù)測(cè)模式的編碼。預(yù)測(cè)圖像信號(hào)127的生成方法，具體而言，大致分為僅在編碼對(duì)象的幀內(nèi)生成預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)(幀之內(nèi)預(yù)測(cè)或畫面內(nèi)預(yù)測(cè))、和使用在時(shí)間上不同的多個(gè)參照幀進(jìn)行預(yù)測(cè)的幀間預(yù)測(cè)(幀之間預(yù)測(cè)或畫面間預(yù)測(cè))。本實(shí)施方式中，詳細(xì)說明使用幀內(nèi)預(yù)測(cè)生成預(yù)測(cè)圖像信號(hào)的例子。第I實(shí)施方式至第4實(shí)施方式中，為了簡化說明，如圖2A所示，設(shè)為從左上向右下進(jìn)行編碼處理的方式。圖2A中，在進(jìn)行編碼處理的編碼幀f中，與作為編碼對(duì)象的塊c相比位于左及上的塊是編碼完成塊P。第I實(shí)施方式至第4實(shí)施方式中,將宏塊設(shè)為編碼處理的基本處理塊尺寸。宏塊，典型地為例如圖2B所示的16X 16像素塊，但也可以是32X 32像素塊單位、8X8像素塊單位。并且宏塊的形狀也不必是正方格子。以下，將輸入圖像信號(hào)118的編碼對(duì)象塊或者宏塊僅稱為“預(yù)測(cè)對(duì)象塊”。運(yùn)動(dòng)圖像編碼裝置100具有減法器101、正交變換部102、量化部103、逆量化部104、逆正交變換部105、加法器106、參照?qǐng)D像存儲(chǔ)器107、幀內(nèi)預(yù)測(cè)圖像生成部108、幀間預(yù)測(cè)圖像生成部109、預(yù)測(cè)選擇部110、預(yù)測(cè)選擇開關(guān)111、幀內(nèi)預(yù)測(cè)分類部112、系數(shù)順序控制部113、熵編碼部114。運(yùn)動(dòng)圖像編碼裝置100與編碼控制部116連接。接下來，說明運(yùn)動(dòng)圖像編碼裝置100中的編碼的流程。首先，將輸入圖像信號(hào)118輸入減法器101。還向減法器101輸入從預(yù)測(cè)選擇開關(guān)111輸出的與各個(gè)預(yù)測(cè)模式對(duì)應(yīng)的預(yù)測(cè)圖像信號(hào)127。減法器101，算出從輸入圖像信號(hào)118中減去預(yù)測(cè)圖像信號(hào)127的預(yù)測(cè)誤差信號(hào)119。向正交變換部102輸入預(yù)測(cè)誤差信號(hào)119。正交變換部102具有對(duì)預(yù)測(cè)誤差信號(hào)119實(shí)施例如離散余弦變換(DCT)那樣的正交變換的功能。按照從幀內(nèi)預(yù)測(cè)分類部112輸入的變換基底選擇信息129，進(jìn)行正交變換，生成變換系數(shù)120。向量化部103輸入所生成的變換系數(shù)120。這里示出了使用DCT的例子，但也可以使用阿達(dá)瑪變換(Hadamard Transformation)、后述的K-L變換(Karhunen-LoeveTransformation)、離散正弦變換等正交變換。在量化部103中，按照由編碼控制部116提供的表示量化的精度的量化參數(shù)、按每個(gè)變換系數(shù)的分量對(duì)量化的精度加權(quán)的量化矩陣等所代表的量化信息，對(duì)變換系數(shù)120進(jìn)行量化。量化部103，將量化變換系數(shù)121向系數(shù)順 序控制部113輸出，還向逆量化部104輸出。系數(shù)順序控制部113具有根據(jù)從預(yù)測(cè)選擇部110輸出的預(yù)測(cè)信息126所包含的預(yù)測(cè)模式128將量化變換系數(shù)121的二維數(shù)據(jù)變換為一維數(shù)據(jù)的功能。作為代表性的掃描順序，能例舉鋸齒掃描等。變換為一維數(shù)據(jù)的量化變換系數(shù)121，作為量化變換系數(shù)列117，向熵編碼部114輸入。熵編碼部114，對(duì)量化變換系數(shù)列117進(jìn)行熵編碼、例如哈弗曼編碼、算術(shù)編碼等。熵編碼部114還對(duì)從預(yù)測(cè)選擇部110輸出的預(yù)測(cè)信息126、從編碼控制部116輸出的量化信息、將對(duì)象塊編碼時(shí)所用的各種各樣的編碼參數(shù)進(jìn)行熵編碼。由此，生成編碼數(shù)據(jù)130。另外，編碼參數(shù)，是預(yù)測(cè)信息、與變換系數(shù)相關(guān)的信息、與量化相關(guān)的信息等解碼時(shí)所需的參數(shù)。另外，預(yù)測(cè)對(duì)象塊的編碼參數(shù)，在編碼控制部116的內(nèi)部存儲(chǔ)器(未圖示)中保持，在預(yù)測(cè)對(duì)象塊作為其它像素塊的鄰接塊而使用時(shí)被利用。由熵編碼部114生成的編碼數(shù)據(jù)130，從運(yùn)動(dòng)圖像編碼裝置100輸出，經(jīng)過復(fù)用等而暫時(shí)蓄積在輸出緩沖器115中后，按照編碼控制部116管理的恰當(dāng)?shù)妮敵龆〞r(shí)，作為編碼數(shù)據(jù)130而輸出。編碼數(shù)據(jù)130，例如，向未圖示的蓄積系統(tǒng)(蓄積介質(zhì))或傳送系統(tǒng)(通信線路)送出。逆量化部104，對(duì)從量化部103輸出的量化變換系數(shù)121進(jìn)行逆量化處理。此處，從編碼控制部116的內(nèi)部存儲(chǔ)器加載與量化部103中使用的量化信息對(duì)應(yīng)的量化信息，而進(jìn)行逆量化處理。另外，量化信息，例如是上述的量化參數(shù)、上述的量化矩陣等所代表的參數(shù)。實(shí)施了逆量化處理后的量化變換系數(shù)121，變?yōu)槟媪炕儞Q系數(shù)122，而向逆正交變換部105輸入。逆正交變換部105中，對(duì)逆量化變換系數(shù)122，按照從幀內(nèi)預(yù)測(cè)分類部112輸入的變換基底選擇信息129，施加逆正交變換，從而再生還原預(yù)測(cè)誤差信號(hào)123。逆正交變換部105，在例如正交變換部102中進(jìn)行了 DCT的情況下，實(shí)施逆離散余弦變換(IDCT)這樣的逆正交變換。這里，示出了使用IDCT的例子，但在正交變換部102中使用了阿達(dá)瑪變換、后述的K-L變換、離散正弦變換等正交變換的情況下，使用它們的正交變換基底進(jìn)行逆變換。向加法器106輸入還原預(yù)測(cè)誤差信號(hào)123。在加法器106中，通過將還原預(yù)測(cè)誤差信號(hào)123和從預(yù)測(cè)選擇開關(guān)111輸出的預(yù)測(cè)圖像信號(hào)127進(jìn)行加法運(yùn)算，生成解碼圖像信號(hào)124。解碼圖像信號(hào)124是局部解碼圖像信號(hào)。解碼圖像信號(hào)124作為參照?qǐng)D像信號(hào)125而蓄積于參照?qǐng)D像存儲(chǔ)器107。參照?qǐng)D像存儲(chǔ)器107中蓄積的參照?qǐng)D像信號(hào)125向幀內(nèi)預(yù)測(cè)圖像生成部108、幀間預(yù)測(cè)圖像生成部109等輸出，并在預(yù)測(cè)時(shí)等進(jìn)行參照。參照?qǐng)D像存儲(chǔ)器107中儲(chǔ)存的參照?qǐng)D像信號(hào)125，向幀內(nèi)預(yù)測(cè)圖像生成部108輸出。幀內(nèi)預(yù)測(cè)圖像生成部108中，具有利用所輸入的參照?qǐng)D像信號(hào)125進(jìn)行幀內(nèi)預(yù)測(cè)的功能。例如，在H. 264中，利用與預(yù)測(cè)對(duì)象塊鄰接的已經(jīng)編碼完成的參照像素值，順著垂直方向、水平方向等預(yù)測(cè)方向進(jìn)行像素填補(bǔ)，從而生成預(yù)測(cè)圖像。圖3A示出H. 264中的幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方向。此外，圖3B示出H. 264中的參照像素與編碼對(duì)象像素的配置。進(jìn)而圖3C及圖3D示出水平預(yù)測(cè)以及正交右下預(yù)測(cè)的預(yù)測(cè)例。進(jìn)而圖7A及圖7B示出H. 264中的預(yù)測(cè)模式與預(yù)測(cè)名稱的關(guān)系。另外，也可以在使用預(yù)先確定的插值 方法對(duì)像素值進(jìn)行插值之后，在預(yù)先確定的預(yù)測(cè)方向上復(fù)制插值像素值。幀間預(yù)測(cè)圖像生成部109中具有根據(jù)預(yù)測(cè)對(duì)象塊和參照?qǐng)D像信號(hào)125進(jìn)行塊匹配處理而算出運(yùn)動(dòng)的偏移量(運(yùn)動(dòng)向量)，根據(jù)該運(yùn)動(dòng)向量進(jìn)行插值處理而生成預(yù)測(cè)圖像信號(hào)的功能。H. 264中，能夠進(jìn)行到1/4像素精度的插值圖像處理。算出的運(yùn)動(dòng)向量，作為預(yù)測(cè)信息126而進(jìn)行熵編碼。預(yù)測(cè)選擇開關(guān)111具有按照預(yù)測(cè)信息126對(duì)幀內(nèi)預(yù)測(cè)圖像生成部108的輸出端和幀間預(yù)測(cè)圖像生成部109的輸出端進(jìn)行選擇的功能。在預(yù)測(cè)信息126所示的信息為幀內(nèi)預(yù)測(cè)的情況下，將開關(guān)與幀內(nèi)預(yù)測(cè)圖像生成部108連接。而在預(yù)測(cè)信息126為幀間預(yù)測(cè)的情況下，將開關(guān)與幀間預(yù)測(cè)圖像生成部109連接。另外，預(yù)測(cè)信息126的例子后述。向預(yù)測(cè)選擇開關(guān)111輸出所生成的預(yù)測(cè)圖像信號(hào)127。此外，在生成預(yù)測(cè)圖像信號(hào)127時(shí)所利用的預(yù)測(cè)模式128，由編碼控制部116控制。例如，幀內(nèi)預(yù)測(cè)圖像生成部108中進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，從編碼控制部116向幀內(nèi)預(yù)測(cè)圖像生成部108提供預(yù)測(cè)模式128，根據(jù)其的值生成預(yù)測(cè)圖像信號(hào)127。例如，在進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，編碼控制部116，可以從序號(hào)小的預(yù)測(cè)模式128開始順序地進(jìn)行幀內(nèi)預(yù)測(cè)，也可以從序號(hào)大的開始進(jìn)行預(yù)測(cè)，也可以按照輸入圖像的特性對(duì)預(yù)測(cè)模式進(jìn)行限定。此外，也可以不必對(duì)全部的預(yù)測(cè)模式生成預(yù)測(cè)圖像信號(hào)127，而是按照輸入圖像的特性對(duì)預(yù)測(cè)模式進(jìn)行限定，對(duì)于編碼對(duì)象塊生成至少一個(gè)預(yù)測(cè)圖像信號(hào)127。預(yù)測(cè)選擇部110，具有按照編碼控制部116控制的預(yù)測(cè)模式，設(shè)定預(yù)測(cè)信息126的功能。作為預(yù)測(cè)模式，能夠選擇幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)，也可以針對(duì)各個(gè)存在多個(gè)模式。如果更具體地說明預(yù)測(cè)模式的判定，則使用下式那樣的損失(cost)決定預(yù)測(cè)信息126(或者預(yù)測(cè)模式128)。使用將與選擇該預(yù)測(cè)模式128時(shí)所需的預(yù)測(cè)信息126相關(guān)的編碼量(例如運(yùn)動(dòng)向量的編碼量、預(yù)測(cè)塊尺寸的編碼量等)設(shè)為0H、將輸入圖像信號(hào)118和預(yù)測(cè)圖像信號(hào)127的差分絕對(duì)和(意味著預(yù)測(cè)誤差信號(hào)119的絕對(duì)累積和)設(shè)為SAD的、以下的判定式。數(shù)IK = SAD+入 XOH (I)這里，K表示損失，A表示常數(shù)。\是根據(jù)量化參數(shù)的值決定的拉格朗日乘數(shù)。本判定式中，作為最佳預(yù)測(cè)模式，選擇提供損失K最小的值的模式。代替式(1)，可以僅使用(a)預(yù)測(cè)信息、(b) SAD來決定預(yù)測(cè)信息126，也可以利用對(duì)(b)施加阿達(dá)瑪變換等后的值、或與其近似的值。進(jìn)而作為其它例子，也可以準(zhǔn)備臨時(shí)編碼單元，使用對(duì)由臨時(shí)編碼單元在某種預(yù)測(cè)模式下生成的預(yù)測(cè)誤差信號(hào)119進(jìn)行實(shí)際編碼的情況下的編碼量、輸入圖像信號(hào)118和解碼圖像信號(hào)124之間的二乘誤差，決定預(yù)測(cè)信息126。這種情況下的判定式，如下。數(shù)2J = D+ 入 X R (2)這里，J是編碼損失，D是表示輸入圖像信號(hào)118與解碼圖像信號(hào)124之間的二乘誤差的編碼失真。而R表示通過臨時(shí)編碼而估計(jì)的編碼量。 如果使用式(2)的編碼損失J，則針對(duì)每種預(yù)測(cè)模式均需要臨時(shí)編碼和局部解碼處理，所以電路規(guī)模或運(yùn)算量將增大。相反地，由于使用更準(zhǔn)確的編碼量和編碼失真，能夠維持高的編碼效率。也可以代替式(2)，僅使用R或僅使用D來算出損失，或使用近似于R 或D的值生成損失函數(shù)。幀內(nèi)預(yù)測(cè)分類部112具有根據(jù)輸入的預(yù)測(cè)模式128，生成正交變換中使用的變換基底選擇信息129的功能。以上是本發(fā)明的本實(shí)施方式中的運(yùn)動(dòng)圖像編碼裝置100的概略。接下來，使用圖
5、圖6進(jìn)行正交變換部102和逆正交變換部105的詳細(xì)說明，使用圖7進(jìn)行幀內(nèi)預(yù)測(cè)分類部112的詳細(xì)說明。進(jìn)而，使用圖8對(duì)系數(shù)順序控制部113進(jìn)行詳細(xì)說明。圖5的正交變換部102具有第一正交變換部501以及第二正交變換部502、基底選擇開關(guān)503。圖5是運(yùn)動(dòng)圖像編碼裝置100具有的正交變換部102的框圖。首先，對(duì)基底選擇開關(guān)503進(jìn)行說明。基底選擇開關(guān)503具有按照所輸入的變換基底選擇信息129選擇減法器101的輸出端的功能。在變換基底選擇信息129為第一正交變換的情況下，基底選擇開關(guān)503將開關(guān)與第一正交變換部501與連接。而在變換基底選擇信息129為第二正交變換的情況下，基底選擇開關(guān)503將輸出端與第二正交變換部502連接。另外，變換基底選擇信息129的例子如后述的圖7B所示。接下來，對(duì)第一正交變換部501的處理具體進(jìn)行說明。采用了 H. 264等的幀內(nèi)預(yù)測(cè)，將與編碼對(duì)象塊鄰接的參照像素在預(yù)測(cè)方向上復(fù)制，所以在所生成的預(yù)測(cè)誤差信號(hào)119中產(chǎn)生方向依賴性。根據(jù)本實(shí)施方式，針對(duì)每種預(yù)測(cè)模式?jīng)Q定了預(yù)測(cè)方向，所以通過預(yù)先設(shè)計(jì)變換基底而使對(duì)針對(duì)每個(gè)預(yù)測(cè)方向發(fā)生的預(yù)測(cè)誤差進(jìn)行正交變換時(shí)的變換后的系數(shù)飽和度比變換前高，從而能夠提高變換效率。例如，二維的分離型正交變換如下式所示。數(shù)3Y = AXBt (3)A、Bt分別是表示矩陣的變換矩陣，T意味著轉(zhuǎn)置矩陣。X是變換前的輸入矩陣，Y是變換后的輸出矩陣。如果將圖像信號(hào)設(shè)為NxN的矩陣，則A、Bt分別為NxN的變換矩陣。這里，也可以為了以整數(shù)精度進(jìn)行正交變換，而進(jìn)行變換矩陣的整數(shù)化。這時(shí)的正交變換為下式。數(shù)4Y= (CXDt) S(4)這里，C、Dt是整數(shù)化后的變換矩陣，S是用于縮放的歸一化矩陣。此處，下面的符號(hào)是進(jìn)行矩陣的要素彼此的乘法的運(yùn)算符。數(shù)5
(5)例如，將編碼對(duì)象塊設(shè)為水平預(yù)測(cè)(模式1)，而生成預(yù)測(cè)圖像信號(hào)127，將所生成的預(yù)測(cè)誤差信號(hào)119作為輸入樣本來設(shè)計(jì)變換矩陣A的情況下，使用該變換矩陣，對(duì)相同的輸入樣本進(jìn)行正交變換時(shí)的系數(shù)飽和度，與DCT等相比較變高。第一正交變換部501中，對(duì)于所輸入的預(yù)測(cè)誤差信號(hào)119，使用在例如水平方向(模式I)中設(shè)計(jì)的變換矩陣而進(jìn)行正交變換。預(yù)測(cè)誤差信號(hào)119，在第一正交變換部501中進(jìn)行正交變換而成為變換系數(shù)120，向量化部103輸入。將采用以這種方法設(shè)計(jì)的正交變換的方法，稱為考慮方向型正交變換。接下來，對(duì)第二正交變換部502進(jìn)行說明。第二正交變換部502使用例如DCT進(jìn)行正交變換。預(yù)測(cè)誤差信號(hào)119，經(jīng)正交變換而變?yōu)樽儞Q系數(shù)120，向量化部103輸入。此夕卜，也可以采用使用垂直預(yù)測(cè)(模式0)等而設(shè)計(jì)的變換基底，進(jìn)行正交變換。 圖6的逆正交變換部105具有第一逆正交變換部601和第二逆正交變換部602、基底選擇開關(guān)603。首先，對(duì)基底選擇開關(guān)603進(jìn)行說明?；走x擇開關(guān)603具有按照所輸入的變換基底選擇信息129選擇逆量化部104的輸出端的功能。在變換基底選擇信息129為第一正交變換的情況下，將開關(guān)與第一逆正交變換部601連接。而在變換基底選擇信息129為第二正交變換的情況下，將輸出端與第二逆正交變換部602連接。接下來，對(duì)第一逆正交變換部601的處理具體進(jìn)行說明。例如，二維的分離型逆正交變換如下式所示。數(shù)6X = BtYA (6)這里，為了以整數(shù)精度進(jìn)行逆正交變換，也可以進(jìn)行變換矩陣的整數(shù)化。這時(shí)的逆正交變換變?yōu)橄率健?b>數(shù)7X= (Dt (Y S) C)(7)第一逆正交變換部601中，采用第一正交變換部501中利用的變換矩陣，對(duì)逆量化變換系數(shù)122，使用式(6)或者式(7)進(jìn)行逆正交變換處理。例如，采用使用水平預(yù)測(cè)(模式I)而設(shè)計(jì)的變換矩陣進(jìn)行逆正交變換處理。實(shí)施逆正交變換后的逆量化變換系數(shù)122，成為還原預(yù)測(cè)誤差信號(hào)123,而向加法器106輸入。接下來，說明第二逆正交變換部602。第二逆正交變換部602中，采用第二正交變換部502中利用的變換矩陣，對(duì)逆量化變換系數(shù)122使用式(6)或者式(7)進(jìn)行逆正交變換處理。該逆正交變換例如可以是IDCT。此外，第二正交變換部502中，采用使用垂直預(yù)測(cè)(模式0)等設(shè)計(jì)的變換矩陣進(jìn)行了正交變換的情況下，在第二逆正交變換部602中也采用相同的變換矩陣。接下來，對(duì)幀內(nèi)預(yù)測(cè)分類部112進(jìn)行說明。幀內(nèi)預(yù)測(cè)分類部112具有根據(jù)所輸入的預(yù)測(cè)模式128生成正交變換中所用的變換基底選擇信息129的功能。幀內(nèi)預(yù)測(cè)分類部112中，根據(jù)從預(yù)測(cè)選擇部110輸出的預(yù)測(cè)信息126所包含的預(yù)測(cè)模式128，生成變換基底選擇信息129。此處，使用圖7A及圖7B所示的分類表，將預(yù)測(cè)模式分為兩類，按分類后的每種預(yù)測(cè)模式，設(shè)定TransformIdx中出現(xiàn)的變換基底選擇信息129。另外，圖7A及圖7B是示出運(yùn)動(dòng)圖像編碼裝置100所具有的幀內(nèi)預(yù)測(cè)分類部112的分類方法的圖。這里，表中所示的IntraNxNPredMdeIndex表示預(yù)測(cè)模式128。此外，N是表示塊尺寸的指標(biāo),4x4像素塊中為4，8x8像素塊中為8，16x16像素塊中為16。此外的塊尺寸也同樣。此處，示出由NxN所示的正方塊的例子，但很容易作為MxN而擴(kuò)展到矩形塊。TransformIdx表示0的情況下,意味著使用第一正交變換以及第一逆正交變換。而在TransformIdx表示I的情況下,意味著使用第二正交變換以及第二逆正交變換。這里，在像素塊是由MxN表現(xiàn)的矩形塊的情況下，作為進(jìn)行正交變換的塊尺寸使用MxN。在這里，僅對(duì)DC預(yù)測(cè)(與預(yù)測(cè)模式2對(duì)應(yīng))將TransformIdx設(shè)為1，對(duì)于具有此外的空間預(yù)測(cè)方向的預(yù)測(cè)模式將TransformIdx設(shè)為O。接下來，說明系數(shù)順序控制部113。圖8的系數(shù)順序控制部113具有預(yù)測(cè)模式選擇開關(guān)801和9種2D — ID變換部802 810。預(yù)測(cè)模式選擇開關(guān)801，根據(jù)圖7A的左側(cè)所示的預(yù)測(cè)模式的模式指標(biāo)序號(hào)將來自量化部103的輸出端與2D - ID變換部連接。例如， 在輸入了預(yù)測(cè)模式0的情況下，預(yù)測(cè)模式選擇開關(guān)801將輸出端與垂直2D - ID變換部802連接。預(yù)測(cè)模式與2D - ID變換部一一對(duì)應(yīng)，與預(yù)測(cè)模式對(duì)應(yīng)的2D - ID變換部始終連接。預(yù)測(cè)模式與9種2D — ID變換部802 810 —一對(duì)應(yīng)，按每個(gè)預(yù)測(cè)模式選擇輸出端。9種2D — ID變換部802 810具有將在量化部103中量化處理后的量化變換系數(shù)121的二維數(shù)據(jù)變換為一維數(shù)據(jù)的功能。例如，H. 264中，使用鋸齒掃描將二維數(shù)據(jù)變換為一維數(shù)據(jù)。將4x4塊的二維數(shù)據(jù)通過鋸齒掃描而變換為一維數(shù)據(jù)的例子在圖4A及圖4B中示出。這里示出了將4x4尺寸的塊所包含的量化變換系數(shù)121通過鋸齒掃描而變換為一維數(shù)據(jù)的例子。如果將圖4A及圖4B中的量化變換系數(shù)121的分量用cij表示，則使用鋸齒掃描的2D - ID變換由圖4C表示。這里，idx是2D — ID變換后的一維數(shù)據(jù)的指標(biāo)。這里，9種2D — ID變換部802 810使用針對(duì)每個(gè)預(yù)測(cè)模式128不同的掃描順序。圖9示出4x4像素塊中的預(yù)測(cè)模式和掃描順序的關(guān)系。根據(jù)圖7A的IntraNxNPredMdeIndex的序號(hào)，選擇不同的掃描順序。這里，示出了 4x4像素塊中的例子，但對(duì)于8x8像素塊、16x16像素塊，也同樣地能夠選擇針對(duì)每個(gè)預(yù)測(cè)模式不同的掃描順序。此外，在像素塊是由MxN表現(xiàn)的矩形塊的情況下，作為進(jìn)行2D — ID變換的塊尺寸，也可以采用MxN。在這種情況，與矩形塊對(duì)應(yīng)地，針對(duì)每種預(yù)測(cè)模式準(zhǔn)備圖9所示的掃描順序表即可。以上是本實(shí)施方式中的運(yùn)動(dòng)圖像編碼裝置100的概要。圖IOA及圖IOB是示出運(yùn)動(dòng)圖像編碼裝置100的編碼對(duì)象塊(宏塊)的處理的流程圖。圖IOA及圖IOB中所示的各處理中、提供相同指標(biāo)的處理示出相同的處理內(nèi)容。如果輸入編碼對(duì)象塊的輸入圖像，則開始像素塊的編碼處理(S1001)。首先，使用參照?qǐng)D像存儲(chǔ)器107所保持的參照?qǐng)D像信號(hào)125，在幀內(nèi)預(yù)測(cè)圖像生成部108及幀間預(yù)測(cè)圖像生成部109中生成預(yù)測(cè)圖像信號(hào)127 (S1002)。根據(jù)到底是在哪一個(gè)預(yù)測(cè)圖像生成部中生成了預(yù)測(cè)圖像，編碼控制部116生成預(yù)測(cè)信息126 (包含預(yù)測(cè)模式128)而對(duì)預(yù)測(cè)選擇部110設(shè)定，并且預(yù)測(cè)選擇部110，將預(yù)測(cè)信息126向預(yù)測(cè)選擇開關(guān)111輸出，并且向熵編碼部114輸出(S1003)。預(yù)測(cè)選擇開關(guān)111，判斷預(yù)測(cè)信息126是否為幀內(nèi)預(yù)測(cè)(S1004)，在所述信息是幀內(nèi)預(yù)測(cè)的情況下(YES)，將開關(guān)的輸出端與幀內(nèi)預(yù)測(cè)圖像生成部108連接。而在所述信息是幀間預(yù)測(cè)的情況下(NO)，將開關(guān)的輸出端與幀間預(yù)測(cè)圖像生成部109連接。
首先對(duì)預(yù)測(cè)信息126是幀內(nèi)預(yù)測(cè)的情況進(jìn)行說明。幀內(nèi)預(yù)測(cè)圖像生成部108中生成的預(yù)測(cè)圖像信號(hào)127，在減法器101中與輸入圖像信號(hào)相減，生成預(yù)測(cè)誤差信號(hào)119(S1005)。同時(shí)，預(yù)測(cè)選擇部110，將由編碼控制部116設(shè)定的預(yù)測(cè)信息126向熵編碼部114輸出，并且將預(yù)測(cè)信息126中包含的預(yù)測(cè)模式128向幀內(nèi)預(yù)測(cè)分類部112輸出(S1006)。幀內(nèi)預(yù)測(cè)分類部112中，根據(jù)所輸入的預(yù)測(cè)模式128，從預(yù)測(cè)分類表(圖7A)所示的表中生成變換基底選擇信息129 (S1007)。所生成的變換基底選擇信息129，向正交變換部102輸入，并判斷基底選擇開關(guān)503根據(jù)該信息將開關(guān)的輸出端連接到哪里(S1008)。在所述信息為YES (TransformIdx為I)的情況下，基底選擇開關(guān)503將輸出端與第二正交變換部502連接(S1009)。所述信息為NO的情形下(TransformIdx為0),基底選擇開關(guān)503將輸出端與第一正交變換部501連接(S1010)。預(yù)測(cè)誤差信號(hào)119向正交變換部102輸入，通過所連接的輸出端而在第一正交變換部501或者第二正交變換部502中，進(jìn)行正交變換處理，生成變換系數(shù)120 (SlOll)0正
交變換后的變換系數(shù)120向量化部103輸入。量化部103，進(jìn)行量化處理，生成量化變換系數(shù)121(S1012)。量化變換系數(shù)121向系數(shù)順序控制部113輸入。系數(shù)順序控制部113中，根據(jù)所輸入的預(yù)測(cè)模式128，按照?qǐng)D7A將預(yù)測(cè)模式選擇開關(guān)801的輸出端與2D — ID變換部802 810中的某一個(gè)連接(S1013)。2D - ID變換部802 810中，針對(duì)每個(gè)預(yù)測(cè)模式，使用圖9所示的表進(jìn)行2D —ID變換處理，生成量化變換系數(shù)列117 (S1014)o量化變換系數(shù)列117向熵編碼部114輸入，實(shí)施熵編碼之后，在編碼控制部116所管理的恰當(dāng)定時(shí)向運(yùn)動(dòng)圖像編碼裝置100外輸出(S1015)。另一方面，量化變換系數(shù)121向逆量化部104輸入，進(jìn)行逆量化處理，生成逆量化變換系數(shù)122 (S1016)。逆正交變換部105，根據(jù)變換基底選擇信息129，判斷將基底選擇開關(guān)603的輸出端連接到哪里(S1017)。在所述信息為YES(TransformIdx為I)的情況下,基底選擇開關(guān)603將輸出端與第二逆正交變換部602連接(S1018)。所述信息為NO的情況下(TransformIdx為0)，基底選擇開關(guān)603將輸出端與第一逆正交變換部601連接(S1019)。向逆正交變換部105輸入逆量化變換系數(shù)122，通過所連接的輸出端，在第一逆正交變換部601或者第二逆正交變換部602，進(jìn)行逆正交變換處理，生成還原預(yù)測(cè)誤差信號(hào)123 (S1020)。還原預(yù)測(cè)誤差信號(hào)123與幀內(nèi)預(yù)測(cè)圖像生成部108中生成的預(yù)測(cè)圖像信號(hào)127在加法器106中進(jìn)行加法運(yùn)算，變?yōu)榻獯a圖像信號(hào)124，而向參照?qǐng)D像存儲(chǔ)器107輸入，并保存(S1021)。根據(jù)以上的處理，對(duì)一個(gè)編碼對(duì)象像素塊進(jìn)行幀內(nèi)編碼(S1022)。接下來，對(duì)預(yù)測(cè)信息126為幀間預(yù)測(cè)的情況進(jìn)行說明。幀間預(yù)測(cè)圖像生成部109中生成的預(yù)測(cè)圖像信號(hào)127，在減法器101中與輸入圖像相減，生成預(yù)測(cè)誤差信號(hào)119(S1005)。預(yù)測(cè)誤差信號(hào)119向正交變換部102輸入。這里，在預(yù)測(cè)方法為幀間預(yù)測(cè)的情況下，正交變換部102的基底選擇開關(guān)503始終將開關(guān)的輸出端與第二正交變換部502連接。所輸入的預(yù)測(cè)誤差信號(hào)119，在第二正交變換部502中進(jìn)行正交變換(例如DCT)，生成變換系數(shù) 120 (SlOll)0向量化部103輸入正交變換后的變換系數(shù)120。在量化部103中進(jìn)行量化處理，生成量化變換系數(shù)121 (S1012)。向系數(shù)順序控制部113輸入量化變換系數(shù)121。在系數(shù)順序控制部113中，預(yù)測(cè)方法為幀間預(yù)測(cè)的情況下，將預(yù)測(cè)模式選擇開關(guān)801的輸出端始終與DCT用2D — ID變換部804連接。2D — ID變換部804中，使用圖4C中所示的鋸齒掃描或者圖9的Intra_NxN_DC所示的掃描順序中的某一個(gè)，進(jìn)行2D — ID變換處理，生成量化變換系數(shù)列117 (S1014).將量化變換系數(shù)列117輸入熵編碼部114，并施加熵編碼之后后，在編碼控制部116管理的恰當(dāng)?shù)亩〞r(shí)，向運(yùn)動(dòng)圖像編碼裝置100外輸出(S1015)。另一方面，將量化變換系數(shù)121向逆量化部104輸入，并進(jìn)行逆量化處理，生成逆量化變換系數(shù)122 (S1016)。逆量化變換系數(shù)122向逆正交變換部105輸入。這里，在預(yù)測(cè)方法為幀間預(yù)測(cè)的情況下，逆正交變換部105的基底選擇開關(guān)603，將開關(guān)的輸出端始終與第二逆正交變換部602連接。逆量化變換系數(shù)122向逆正交變換部105輸入，通過連接的輸出端而在第二逆正交變換部602中，進(jìn)行逆正交變換處理(例如IDCT)，并生成還原預(yù)測(cè)誤差信號(hào)123 (S1020)。還原預(yù)測(cè)誤差信號(hào)123與在幀間預(yù)測(cè)圖像生成部109中生成的預(yù)測(cè)圖像信號(hào)127在加法器106中進(jìn)行加法運(yùn)算，成為解碼圖像信號(hào)124而向參照?qǐng)D像存儲(chǔ)器107輸入，并保存(S1021)。根據(jù)以上的處理，對(duì)一個(gè)編碼對(duì)象像素塊進(jìn)行幀間編碼(S1022)。以上是本發(fā)明的本實(shí)施方式中的運(yùn)動(dòng)圖像編碼裝置100的處理流程圖。一般而言，式(3)、(4)所示的正交變換矩陣是固定矩陣，所以在考慮硬件實(shí)現(xiàn)的情況下，多是不使用乘法器而由硬線邏輯器構(gòu)成。例如，也可以按H. 264中規(guī)定的9種預(yù)測(cè)模式中的每一個(gè)，準(zhǔn)備考慮了預(yù)測(cè)方向的正交變換。但是，9種預(yù)測(cè)模式的每個(gè)中，固定系數(shù)組不同，所以除了 H. 264中所需的DCT用的專用硬件之外，必須以追加的方式構(gòu)成8種專用硬件，電路規(guī)模將增大。此外，由于運(yùn)動(dòng)圖像編碼裝置中使用的信號(hào)為二維的圖像數(shù)據(jù)，所以如式(3)、式
(4)所示，施加二維的正交變換。這里，為了去除垂直方向與水平方向的相關(guān)，如果準(zhǔn)備兩種分離型的正交變換基底，則追加地需要16種一維的正交變換矩陣，硬件實(shí)現(xiàn)時(shí)的電路規(guī)模將增大。另一方面，在本實(shí)施方式中，能夠構(gòu)成為作為正交變換部僅具有考慮了幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方向的第一正交變換、和例如DCT那樣的第二正交變換這兩種正交變換部，所以能夠防止電路規(guī)模的增加。在使用考慮了預(yù)測(cè)方向的正交變換的情況下，對(duì)實(shí)施了正交變換后的變換系數(shù)120實(shí)施量化處理后得到的量化變換系數(shù)121，具有偏向塊內(nèi)的變?yōu)榉橇愕淖儞Q系數(shù)的發(fā)生傾向的性質(zhì)。該非零變換系數(shù)的發(fā)生傾向具有對(duì)每個(gè)幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方向不同的性質(zhì)。但是，對(duì)不同影像編碼時(shí)在相同的預(yù)測(cè)方向上的非零變換系數(shù)的發(fā)生傾向具有相似的性質(zhì)。2D — ID變換時(shí)，從非零變換系數(shù)發(fā)生概率高的位置的變換系數(shù)開始優(yōu)先地進(jìn)行熵編碼，從而能夠削減變換系數(shù)進(jìn)行編碼的信息。因此，根據(jù)表示預(yù)測(cè)方向的預(yù)測(cè)模式128，預(yù)先學(xué)習(xí)非零變換系數(shù)的發(fā)生概率，并確定9種2D — ID變換方法，從而與例如H. 264相比較，能夠不引起運(yùn)算量的增加地，削減變換系數(shù)的編碼量。此外，向本發(fā)明的本實(shí)施方式那樣，作為正交變換部，分為考慮了幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方向的第一正交變換、和例如DCT那樣的第二正交變換的兩種正交變換部的情況下，將DC預(yù)測(cè)以外的預(yù)測(cè)方向強(qiáng)制地分配給第一正交變換，所以在使用a 264中所用的鋸齒掃描順序時(shí)的電力集中度未必變高。因此，利用非零變換系數(shù)的發(fā)生傾向針對(duì)預(yù)測(cè)模式相似的性質(zhì)，在2D — ID變換時(shí)，從非零變換系數(shù)的發(fā)生概率高的位置的變換系數(shù)開始優(yōu)先地進(jìn)行熵、編碼，由此能夠削減變換系數(shù)進(jìn)行編碼的信息。接下來，對(duì)式(3)及式(4)中的正交變換矩陣的設(shè)計(jì)方法進(jìn)行說明。H. 264的4x4像素塊以及8x8像素塊中，分別定義了 9種預(yù)測(cè)模式，在16x16像素塊中定義了 4種預(yù)測(cè)模式。其中，對(duì)除了 DC預(yù)測(cè)的預(yù)測(cè)模式，設(shè)計(jì)考慮了預(yù)測(cè)方向的方向變換矩陣。準(zhǔn)備多個(gè)訓(xùn)練圖像，生成以各個(gè)預(yù)測(cè)模式進(jìn)行預(yù)測(cè)時(shí)的預(yù)測(cè)誤差信號(hào)119。生成將其按每個(gè)預(yù)測(cè)模式累積的K個(gè)訓(xùn)練向量。例如4x4像素塊的訓(xùn)練向量存在K個(gè)4x4尺寸的訓(xùn)練向量。對(duì)于該訓(xùn)練向量，進(jìn)行奇異值分解，生成表不行與列的歸一正交基底。數(shù)8M = UEVt (8)此處，M表示NxN尺寸的訓(xùn)練向量，U表示N行N列的酉矩陣,矩陣2表示N行N 列中對(duì)角分量以外為O、對(duì)角分量為非負(fù)的奇異值矩陣。Vt為N行N列的酉矩陣V的伴隨矩陣(復(fù)數(shù)共軛且為轉(zhuǎn)置矩陣)。這里，模擬逆矩陣由下式所定義。數(shù)9M，=UE’Vt (9)M’表示模擬逆變換后的輸出向量，2’是將I的對(duì)角分量的倒數(shù)作為分量的矩陣的轉(zhuǎn)置。對(duì)于K個(gè)訓(xùn)練向量，采用線性最小二乘法設(shè)計(jì)式(8)和式(9)中所示的正交變換前后的二乘誤差變?yōu)樽钚〉木仃嘦和矩陣V。這樣設(shè)計(jì)的矩陣U以及Vt作為式(3)中的變換矩陣而使用。另外，設(shè)計(jì)后的矩陣U以及Vt的各要素變?yōu)閷?shí)數(shù)所以通過進(jìn)行整數(shù)化，能夠作為式(4)中的變換矩陣而使用。這里，示出了 4x4像素塊中的設(shè)計(jì)例，但也能夠同樣地進(jìn)行8x8像素塊以及16x16像素塊的變換矩陣的設(shè)計(jì)。接下來，對(duì)圖9所示的系數(shù)掃描順序的設(shè)計(jì)方法進(jìn)行說明。系數(shù)掃描順序，根據(jù)量化部103中所生成的量化變換系數(shù)121而進(jìn)行設(shè)計(jì)。例如，在4x4像素塊的系數(shù)掃描順序的設(shè)計(jì)中，準(zhǔn)備多個(gè)訓(xùn)練圖像，生成以9種預(yù)測(cè)模式進(jìn)行預(yù)測(cè)后的預(yù)測(cè)誤差信號(hào)119。對(duì)于該預(yù)測(cè)誤差信號(hào)119，進(jìn)行式(3)或式(4)中所示的正交變換，并對(duì)變換系數(shù)120進(jìn)行量化處理。對(duì)于量化后的量化變換系數(shù)121，對(duì)4x4像素塊內(nèi)的各要素的非零變換系數(shù)進(jìn)行累積加法運(yùn)算。將其對(duì)全部的訓(xùn)練圖像進(jìn)行，并按4x4像素塊的16個(gè)要素中的每個(gè)生成非零變換系數(shù)的直方圖。根據(jù)該直方圖，從發(fā)生頻度高的要素開始按升序提供指標(biāo)0 15。這樣提供的指標(biāo)與ID中的掃描順序相當(dāng)。通過針對(duì)每個(gè)預(yù)測(cè)模式設(shè)計(jì)上述的指標(biāo)，能夠設(shè)計(jì)系數(shù)掃描順序。此處，示出了 4x4像素塊中的設(shè)計(jì)例，但8x8像素塊以及16x16像素塊的系數(shù)掃描順序設(shè)計(jì)也能夠同樣地進(jìn)行。接下來，對(duì)運(yùn)動(dòng)圖像編碼裝置100中的語法構(gòu)造進(jìn)行說明。圖11是示出語法1100的結(jié)構(gòu)的圖。語法表示了對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行編碼時(shí)的編碼數(shù)據(jù)的構(gòu)造。對(duì)該編碼數(shù)據(jù)解碼時(shí)，以具有相同語法構(gòu)造的解碼裝置進(jìn)行語法解釋。如圖11所示，語法1100主要具有三部分。高級(jí)語法1101，針對(duì)表現(xiàn)幀或場所包含的矩形區(qū)域或者連續(xù)區(qū)域的片段，具有與其相比上層的語法信息。片段級(jí)語法1102，針對(duì)每個(gè)片段具有進(jìn)行解碼所需的信息，宏塊級(jí)語法1103，針對(duì)每個(gè)宏塊具有進(jìn)行解碼所需要的信息。各部分由更詳細(xì)的語法構(gòu)成。高級(jí)語法1101，包含序列參數(shù)組語法1104和圖片參數(shù)組語法1105等、序列以及圖片級(jí)的語法。片段級(jí)語法1102包含片段頭語法1106、片段數(shù)據(jù)語法1107等。宏塊級(jí)語法1103包含宏塊層語法1108、宏塊預(yù)報(bào)語法1109等。
圖12是示出與本發(fā)明的本實(shí)施方式相關(guān)的片段頭語法1106的例子的圖。圖12中所示的slice_uni_directional_transform_flag,是表示是否對(duì)該片段應(yīng)用考慮方向型正交變換的語法要素。在slice_uni_directional_transform_flag為0的情況下,在正交變換部102以及逆正交變換部105中，能夠利用第一正交變換部501以及第一逆正交變換部601。這種情況下，無論變換基底選擇信息129如何，基底選擇開關(guān)503都將開關(guān)的輸出端與第二正交變換部502連接，并且基底選擇開關(guān)603都將開關(guān)的輸出端與第二逆正交變換部602連接。此外，在這種情況下，系數(shù)順序控制部113中，不能使用DCT用2D — ID變換部804以外的部件。這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)模式選擇開關(guān)801均將開關(guān)的輸出端與DCT用2D — ID變換部804連接。另一方面，在slice_uni_directional_transform_flag為 I 的情況下，按照?qǐng)D IOA及圖IOB中所說明的編碼流程圖進(jìn)行編碼處理。即，在正交變換部102及逆正交變換部105中，能夠按照變換基底選擇信息129，選擇第一正交變換部501和第二正交變換部502，并且按照變換基底選擇信息129，選擇第一逆正交變換部601和第二逆正交變換部602。此外，預(yù)測(cè)模式選擇開關(guān)801，能夠按照預(yù)測(cè)模式128將開關(guān)的輸出端與2D - ID變換部802 810連接。 作為其它實(shí)施方式，圖13示出與本發(fā)明的其它實(shí)施方式相關(guān)的宏塊層語法1108的例子。圖13中示出的mb_uni_directional_transform_flag是表示是否在該宏塊中應(yīng)用考慮方向型正交變換的語法要素。此外，圖13中所示的mb_type表示該編碼宏塊的編碼類型。I_NxN表示編碼類型為幀內(nèi)預(yù)測(cè)編碼、預(yù)測(cè)塊尺寸為NxN尺寸。N從4、8、16開始，包括 32、64 等。mb_uni_directional_transform_flag 僅在 slice_uni_directional_transform_flag為I、宏塊的編碼類型為巾貞內(nèi)預(yù)測(cè)時(shí)進(jìn)行編碼。在mb_uni_directional_transform_flag為0的情況下，在正交變換部102以及逆正交變換部105中，不能利用第一正交變換部501以及第一逆正交變換部601。在這種情況下，無論變換基底選擇信息129如何，基底選擇開關(guān)503都將開關(guān)的輸出端與第二正交變換部502連接，并且基底選擇開關(guān)603都將開關(guān)的輸出端與第二逆正交變換部602連接。此外，在這種情況下，在系數(shù)順序控制部113中，不能使用DCT用2D — ID變換部804以外的部件。在這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)模式選擇開關(guān)801均將開關(guān)的輸出端與DCT用2D — ID變換部804連接。另一方面，在mb_uni_directional_transform_flag 為 I 的情況下，按照?qǐng)D IOA 及圖IOB中所說明的編碼流程圖進(jìn)行編碼處理。即，在正交變換部102以及逆正交變換部105中，根據(jù)變換基底選擇信息129，選擇第一正交變換部501和第二正交變換部502，并且能夠按照變換基底選擇信息129，選擇第一逆正交變換部601與第二逆正交變換部602。此外，預(yù)測(cè)模式選擇開關(guān)801，能夠按照預(yù)測(cè)模式128將開關(guān)的輸出端與2D - ID變換部802 810連接。通過在宏塊層將表示是否應(yīng)用上述考慮方向型正交變換的標(biāo)識(shí)進(jìn)行編碼，與變換的選擇相關(guān)的信息量增加，但能夠針對(duì)圖像的每個(gè)局部區(qū)域?qū)嵤┳罴训恼蛔儞Q。另外，即可以在圖12至圖13所示的語法的表中的行間，插入在本實(shí)施方式中未規(guī)定的語法要素，也可以包含與其它條件分支相關(guān)的描述。此外，也可以將語法表分割為多個(gè)表，或整合多個(gè)語法表。此外，未必需要使用同一用語，也可以根據(jù)利用的方式任意地進(jìn)行改變。
根據(jù)以上的第I實(shí)施方式，與預(yù)測(cè)誤差的相關(guān)對(duì)應(yīng)地，將幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)方向進(jìn)行分類，而實(shí)施正交變換 逆正交變換，從而能夠使變換后的系數(shù)飽和度比變換前升高，并且削減硬件實(shí)現(xiàn)時(shí)的電路規(guī)模。[第2實(shí)施方式]接下來，對(duì)第2實(shí)施方式進(jìn)行說明。第2實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)，與第I實(shí)施方式是同一的，但幀內(nèi)預(yù)測(cè)圖像生成部108的內(nèi)部構(gòu)造不同。另外，對(duì)與第I實(shí)施方式具有相同功能的塊、語法附以同一符號(hào)，在此省略說明。此處，使用圖14說明幀內(nèi)預(yù)測(cè)圖像生成部108。圖14是表示幀內(nèi)預(yù)測(cè)圖像生成部108的框圖。與本實(shí)施方式相關(guān)的幀內(nèi)預(yù)測(cè)圖像生成部108，具有單方向幀內(nèi)預(yù)測(cè)圖像生 成部1401、雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402、預(yù)測(cè)模式生成部1403、預(yù)測(cè)選擇開關(guān)1404。第I實(shí)施方式的幀內(nèi)預(yù)測(cè)圖像生成部108，在圖14中不存在雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402和預(yù)測(cè)選擇開關(guān)1404。此處，單方向幀內(nèi)預(yù)測(cè)圖像生成部1401已經(jīng)在圖3、圖4及第I實(shí)施方式中描述了處理內(nèi)容，所以省略說明。雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402中，通過生成兩個(gè)單方向的幀內(nèi)預(yù)測(cè)圖像信號(hào)，并對(duì)它們實(shí)施加權(quán)平均，從而生成預(yù)測(cè)圖像信號(hào)127。例如，說明采用了圖3C及圖3D所示的水平預(yù)測(cè)和正交右下預(yù)測(cè)的雙方向預(yù)測(cè)。首先，分別生成單方向的預(yù)測(cè)圖像信號(hào)。此處，如果將水平預(yù)測(cè)設(shè)為Pl [1，7]，將正交右下預(yù)測(cè)設(shè)為？2 [x，y]，則雙方向預(yù)測(cè)的預(yù)測(cè)圖像信號(hào)P [x,y]由下式表示。數(shù)10P[x，y] = (ff[x, y]*Pl[x, y] + (128-ff[x, y])*P2[x, y]+64) >>7 (10)此處，W [x, y]表示加權(quán)表，是取0 128的值的矩陣。雙方向幀內(nèi)預(yù)測(cè)的預(yù)測(cè)序號(hào)、兩個(gè)單方向的組合、和變換基底信息在圖15中示出。此處，IntraNxNPredModeIndexLO表示雙方向巾貞內(nèi)預(yù)測(cè)中的第一單方向中貞內(nèi)預(yù)測(cè)的模式序號(hào)，IntraNxNPredModeIndexLl表示雙方向巾貞內(nèi)預(yù)測(cè)中的第二單方向幀內(nèi)預(yù)測(cè)的模式序號(hào)。分別追加附記了 L0、LI，但都是與圖3A對(duì)應(yīng)的預(yù)測(cè)模式。IntraNxNBiPredModeIndex表不雙方向巾貞內(nèi)預(yù)測(cè)的模式序號(hào)。此外，bipred_intra_f lag,是表示是否應(yīng)用雙方向幀內(nèi)預(yù)測(cè)的的語法要素，對(duì)其后述。接下來，說明預(yù)測(cè)模式生成部1403的功能。在雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402中，在根據(jù)從編碼控制部116輸入的信息生成基于雙方向幀內(nèi)預(yù)測(cè)的預(yù)測(cè)圖像信號(hào)的情況下，預(yù)測(cè)模式生成部1403，按照?qǐng)D15所示的表導(dǎo)出預(yù)測(cè)模式128，并輸出。S卩，預(yù)測(cè)模式128 包含bipred_intra_flag、 IntraNxNBiPredModeIndex> IntraNxNPredModeIndexLO、IntraNxNPredModeIndexLl。預(yù)測(cè)選擇開關(guān)1404，按照輸入的預(yù)測(cè)模式128，將開關(guān)的輸出端與兩個(gè)幀內(nèi)預(yù)測(cè)圖像生成部1401、1402中的某個(gè)輸出端連接。此處,在bipred_intra_flag為0的情況下，開關(guān)將輸出端與單方向巾貞內(nèi)預(yù)測(cè)圖像生成部連1401接。在bipred_intra_flag為I的情況下，開關(guān)將輸出端向雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402輸出。通過使用式(10)所示的雙方向預(yù)測(cè)，與單純的單方向預(yù)測(cè)相比較，能夠?qū)︻A(yù)測(cè)方向線性地施加變化，生成與自然圖像等中的漸變等亮度變化對(duì)應(yīng)的預(yù)測(cè)圖像信號(hào)，從而能夠進(jìn)行更接近輸入圖像的預(yù)測(cè)。此處，不例了以相對(duì)于 IntraNxNPredModeIndexLl, IntraNxNPredModeIndexLO必須變小的方式制作表的例子。一般而言，IntraNxNPredModeIndex中所示的序號(hào)，對(duì)選擇概率高的預(yù)測(cè)模式提供小序號(hào)。因此，通過按照IntraNxNPredModeIndexLO所示的預(yù)測(cè)模式來設(shè)計(jì)TransformIdx,從而能夠提高變換效率。另一方面，也可以替換IntraNxNPredModeIndexLO 與 IntraNxNPredModeIndexLl。在這種情況下，TransformIdx 也能夠按照序號(hào)小的來設(shè)定。此外，在圖15的表中，除了 9種單方向預(yù)測(cè)模式以外，示出了追加18種雙方向預(yù)測(cè)的組合的例子，也可以對(duì)組合數(shù)進(jìn)行增減，使用相同規(guī)則設(shè)定TransformIdx即可。以上是與本發(fā)明的本實(shí)施方式相關(guān)的幀內(nèi)預(yù)測(cè)圖像生成部108的說明。接下來，說明幀內(nèi)預(yù)測(cè)分類部112。幀內(nèi)預(yù)測(cè)分類部112具有根據(jù)輸入的預(yù)測(cè)模 式128來生成正交變換中所用的變換基底選擇信息129的功能。幀內(nèi)預(yù)測(cè)分類部112中，根據(jù)輸入的預(yù)測(cè)模式128來生成變換基底選擇信息129。這里，使用圖7A及圖15所示的分類表，將預(yù)測(cè)模式分為兩類，針對(duì)分類后的每種預(yù)測(cè)模式，設(shè)定Transformldx中表現(xiàn)的變換基底選擇信息129。在圖15中,在兩個(gè)巾貞內(nèi)預(yù)測(cè)模式中，IntraNxNPredModeIndexLO中所示的幀內(nèi)預(yù)測(cè)模式變?yōu)? (DC預(yù)測(cè))的情況下將TransformIdx設(shè)為1，在這以外的方向預(yù)測(cè)的情況下設(shè)為O。例如，IntraNxNPredModeIndexLl中所示的巾貞內(nèi)預(yù)測(cè)模式為2的情況下，既可以將TransformIdx設(shè)為1，也可以按照在各個(gè)方向預(yù)測(cè)中所生成的預(yù)測(cè)圖像信號(hào)的生成方向而區(qū)分情況。更具體地進(jìn)行說明的話，在例如IntraNxNPredModeIndexLO為O、IntraNxNPredModeIndexLl為I的情況下,兩個(gè)預(yù)測(cè)方向所成的角度變?yōu)?0度。這樣,在預(yù)測(cè)方向所成的角過大的情況下，還能準(zhǔn)備將TransformIdx設(shè)為I的、這種組合。接下來，說明系數(shù)順序控制部113。在輸入的預(yù)測(cè)模式128中，按照 IntraNxNPredModeIndexLO 所不的模式序號(hào)，確定 Transformldx。IntraNxNPredModeIndexLO,表示單方向的巾貞內(nèi)預(yù)測(cè)模式,提供9種預(yù)測(cè)模式。此處，9種2D — ID變換部802 810使用針對(duì)每種預(yù)測(cè)模式128不同的掃描順序。圖9示出4x4像素塊中的預(yù)測(cè)模式與掃描順序的關(guān)系。與圖15的IntraNxNPredMdeIndexLO的序號(hào)對(duì)應(yīng)地，選擇不同的掃描順序。此處，示出了 4x4像素塊的例子，但對(duì)8x8像素塊、16x16像素塊也同樣地選擇針對(duì)每個(gè)預(yù)測(cè)模式不同的掃描順序。此外，在像素塊為以MxN表現(xiàn)的矩形塊的情況下，作為進(jìn)行2D — ID變換的塊尺寸，可以使用MxN。這種情況下，與矩形塊對(duì)應(yīng)地，針對(duì)每個(gè)預(yù)測(cè)模式準(zhǔn)備圖9所示的掃描順序表即可。以上為本發(fā)明的本實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置100的概要。接下來，對(duì)本發(fā)明的本實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置100中的語法構(gòu)造進(jìn)行說明。圖16是示出與本發(fā)明的本實(shí)施方式相關(guān)的片段頭語法1106的例子的圖。圖中所示的slice_uni_directional_transform_flag,是表示是否對(duì)該片段應(yīng)用考慮方向型正交變換的語法要素，由于與第I實(shí)施方式同一而省略說明。圖16中示出的slice_bipred_intra_flag是表示是否對(duì)該片段應(yīng)用雙方向巾貞內(nèi)預(yù)測(cè)的語法要素，在slice_bipred_intra_flag為0的情況下,在巾貞內(nèi)預(yù)測(cè)圖像生成部108中不能利用雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。在這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)選擇開關(guān)1404將開關(guān)的輸出端與單方向幀內(nèi)預(yù)測(cè)圖像生成部1401連接。另一方面,在slice_bipred_intra_flag為I的情況下，在巾貞內(nèi)預(yù)測(cè)圖像生成部108內(nèi)的預(yù)測(cè)選擇開關(guān)1404中，能夠按照預(yù)測(cè)模式128選擇單方向幀內(nèi)預(yù)測(cè)圖像生成部1401和雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。圖17示出與本發(fā)明的實(shí)施方式相關(guān)的宏塊層語法1108的例子。圖中所示的bipred_intra_flag是表示在該宏塊中是否應(yīng)用雙方向巾貞內(nèi)預(yù)測(cè)的語法要素。bipred_intra_flag僅在slice_bipred_intra_flag為I而宏塊的編碼類型為巾貞內(nèi)預(yù)測(cè)時(shí)進(jìn)行編碼。在bipred_intra_flag為0的情況下,在該宏塊的巾貞內(nèi)預(yù)測(cè)圖像生成部108中，不能利用雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)選擇開關(guān)1404都將開關(guān)的輸出端與單方向幀內(nèi)預(yù)測(cè)圖像生成部1401連接。另一方面,在bipred_intra_flag為I的情況下,在該宏塊中的巾貞內(nèi)預(yù)測(cè)圖像生成部108內(nèi)的預(yù)測(cè)選擇開關(guān)1404中，能夠按照預(yù)測(cè)模式128選擇單方向幀內(nèi)預(yù)測(cè)圖像生成部1401和雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。 基于以上的第2實(shí)施方式，除了第I實(shí)施方式的效果以外，通過使用雙方向預(yù)測(cè)，與單純的單方向預(yù)測(cè)相比較能向預(yù)測(cè)方向加入線性的變化，通過生成與自然圖像等中的漸變等的亮度變化對(duì)應(yīng)的預(yù)測(cè)圖像信號(hào)，能夠進(jìn)行更接近輸入圖像的預(yù)測(cè)。[第3實(shí)施方式]接下來，對(duì)第3實(shí)施方式進(jìn)行說明。第3實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)與第I實(shí)施方式同一，但正交變換部102以及逆正交變換部105的內(nèi)部構(gòu)造不同。另外，對(duì)于第I實(shí)施方式具有相同功能的塊、語法附以同一符合，在此處省略說明。在此處，使用圖18、圖20說明正交變換部102和逆正交變換部105。圖18是示出正交變換部102的框圖。與本實(shí)施方式相關(guān)的正交變換部102，除了圖5中示出的各處理塊夕卜，還具有第三正交變換部1801。在此處，第一正交變換部501與第二正交變換部1802進(jìn)行在式(3)、式(4)所表示的考慮了預(yù)測(cè)方向的正交變換。而第三正交變換部1801進(jìn)行例如DCT0這時(shí)的變換基底選擇信息129在圖19A、圖19B中示出。在Transformldx為0的情況下，基底選擇開關(guān)503將開關(guān)的輸出端與第一正交變換部501連接。在Transformldx為I的情況下，基底選擇開關(guān)503將開關(guān)的輸出端與第二正交變換部1802連接。在Transformldx為2的情況下，基底選擇開關(guān)503將開關(guān)的輸出端與第三正交變換部1801連接。在此處，作為例子，假定對(duì)垂直方向的預(yù)測(cè)模式(圖3A中的模式0)設(shè)計(jì)第一正交變換部501的正交變換基底，對(duì)水平方向(圖3A中的模式I)的預(yù)測(cè)模式設(shè)計(jì)第二正交變換部1802的正交變換基底。在此處，將垂直方向的預(yù)測(cè)模式設(shè)為在第I基準(zhǔn)方向時(shí)相對(duì)于垂直方向的預(yù)測(cè)模式預(yù)測(cè)方向所成的角小的預(yù)測(cè)模式，對(duì)于模式6、模式8將Transformldx設(shè)為了 O。此外，將水平方向的預(yù)測(cè)模式設(shè)為在第2基準(zhǔn)方向時(shí)相對(duì)于水平方向的預(yù)測(cè)模式預(yù)測(cè)方向所成的角小的預(yù)測(cè)模式，對(duì)于模式5、模式7將Transformldx設(shè)為I。對(duì)于相對(duì)于對(duì)兩個(gè)基準(zhǔn)方向所成的角相等的模式3、模式4和無法定義預(yù)測(cè)方向的模式2(DC預(yù)測(cè))，將Transformldx 設(shè)為 2。幀內(nèi)預(yù)測(cè)分類部112，比較幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)方向與第I基準(zhǔn)方向(垂直方向)所成的第I角度、和幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)方向與第2基準(zhǔn)方向(水平方向)所成的第2角度，當(dāng)?shù)贗角度為第2角度以下時(shí)將預(yù)測(cè)模式分類到垂直方向的預(yù)測(cè)模式，在第I角度大于第2角度時(shí)將預(yù)測(cè)模式分類到水平方向的預(yù)測(cè)模式。此外，圖20是示出逆正交變換部105的框圖。與本實(shí)施方式相關(guān)的逆正交變換部105，除了圖6中所示的各處理塊以外，還具有第三逆正交變換部2001。在此處，第一逆正交變換部601與第二逆正交變換部2002，進(jìn)行如式(6)、式(7)所示那樣的考慮了預(yù)測(cè)方向的正交變換。第三逆正交變換部2001進(jìn)行例如IDCT。此時(shí)的變換基底選擇信息129如圖19A、圖19B所示。在Transformldx為0的情況下，基底選擇開關(guān)603將開關(guān)的輸出端與第一逆正交變換部601連接。在Transformldx為I的情況下，基底選擇開關(guān)603將開關(guān)的輸出端與第二逆正交變換部2002連接。Transformldx為2時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第三逆正交變換部2001連接。在實(shí)施方式中使用三個(gè)正交變換。其中在第一正交變換部和第二正交變換部中使用考慮方向型的正交變換基底進(jìn)行正交變換。作為預(yù)測(cè)模式的基準(zhǔn)方向，準(zhǔn)備形成90度角
度的垂直預(yù)測(cè)模式和水平預(yù)測(cè)模式，將與它們分別所成的角不足45度的預(yù)測(cè)模式分類到使用同一正交變換的類。這樣，通過使用空間方向相關(guān)而分類正交變換，從而能進(jìn)行使考慮方向型正交變換的系數(shù)飽和度升高的編碼。另外，到此為止，說明了將本發(fā)明的本實(shí)施方式中，按照對(duì)第一正交變換、第二正交變換、第三正交變換這3種正交變換和第一逆正交變換、第二逆正交變換、第三逆正交變換這3種逆正交變換進(jìn)行分別分類的每個(gè)預(yù)測(cè)模式進(jìn)行切換的方式進(jìn)行了說明，但也可以增加它們的數(shù)量。這種情況下，需要不同的正交變換 逆正交變換的硬件等，但選擇取得電路規(guī)模與編碼效率的平衡的組合即可。此外，也可以是組合了第2實(shí)施方式與第3實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)?；谝陨系牡?實(shí)施方式，除了第I實(shí)施方式的效果以外，作為預(yù)測(cè)模式的基準(zhǔn)方向，準(zhǔn)備成90度角度的垂直預(yù)測(cè)模式和水平預(yù)測(cè)模式，將與它們分別所成的角不足45度的預(yù)測(cè)模式分類為使用同一正交變換的類。這樣，通過使用空間方向相關(guān)來分類正交變換，能夠進(jìn)行使考慮方向型正交變換的系數(shù)飽和度升高的編碼。[第4實(shí)施方式]接下來，對(duì)第4實(shí)施方式進(jìn)行說明。第4實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)與第I實(shí)施方式同一，但正交變換部102以及逆正交變換部105的內(nèi)部構(gòu)造不同。另外，對(duì)與第I實(shí)施方式具有相同功能的塊、語法附以同一符號(hào)，在此處省略說明。在此處，利用圖23、圖24說明正交變換部102和逆正交變換部105。圖23是示出正交變換部102的框圖。與本實(shí)施方式相關(guān)的正交變換部102，相對(duì)于圖5所示的各處理塊，改變了第一正交變換部2301、第二正交變換部2302，具有第三正交變換部2303、第四正交變換部2304。在此處，第一正交變換部2301 第四正交變換部2304進(jìn)行式(3)、式(4)所示的那樣的考慮了與預(yù)測(cè)方向相應(yīng)地生成的預(yù)測(cè)誤差的正交變換。在此處，可以將這些第一正交變換部2301 第四正交變換部2304中的某一個(gè)置換為DCT等。這時(shí)的變換基底選擇信息129在圖25A、圖25B中示出。圖25A的表，根據(jù)與預(yù)測(cè)方向相應(yīng)地生成的預(yù)測(cè)誤差的傾向，進(jìn)行了分類。此時(shí)，根據(jù)在幀內(nèi)預(yù)測(cè)中進(jìn)行參照的像素線，將預(yù)測(cè)模式分為4類。例如，對(duì)不能定義預(yù)測(cè)方向的DC預(yù)測(cè)(預(yù)測(cè)模式2)定義Transformldx = 3,對(duì)僅使用縱方向的參照像素線的預(yù)測(cè)模式0、3、7定義Transformldx = I,對(duì)僅使用橫方向的參照像素線的預(yù)測(cè)模式I、8定義Transformldx = 2,對(duì)使用縱、橫兩個(gè)參照像素線的預(yù)測(cè)模式4、5、6定義 Transformldx = O。在Transformldx為0的情況下,基底選擇開關(guān)503將開關(guān)的輸出端與第一正交變換部2301連接。在Transformldx為I的情況下,基底選擇開關(guān)503將開關(guān)的輸出端與第二正交變換部2302連接。在Transformldx為2的情況下，基底選擇開關(guān)503將開關(guān)的輸出端與第三正交變換部2303連接。在Transformldx為3的情況下，基底選擇開關(guān)503將開關(guān)的輸出端與第四正交變換部2304連接。在此處,根據(jù)分類后的預(yù)測(cè)模式4、5、6的預(yù)測(cè)誤差,設(shè)計(jì)Transformldx = 0的正交變換基底，根據(jù)預(yù)測(cè)模式0、3、7的預(yù)測(cè)殘差，設(shè)計(jì)Transformldx = I的正交變換基底，根據(jù)預(yù)測(cè)模式1、8的預(yù)測(cè)殘差，設(shè)計(jì)Transformldx = 2的正交變換基底，根據(jù)DC預(yù)測(cè)(預(yù)測(cè)模式2)的預(yù)測(cè)殘差,設(shè)計(jì)Transformldx = 3的正交變換基底。另外，在此處，示出了與Transformldx = 3對(duì)應(yīng)的第四正交變換部2304進(jìn)行基于DCT的正交變換的例子。此外，圖24是示出逆正交變換部105的框圖。與本實(shí)施方式相關(guān)的逆正交變換部 105，對(duì)于圖6中所示的各處理塊，改變了第一逆正交變換部2401、第二逆正交變換部2402，具有第三逆正交變換部2403、第四逆正交變換部2404。在此處，第一逆正交變換部2401 第四逆正交變換部2404，進(jìn)行考慮了與式(6)、式(7)所示的那樣的預(yù)測(cè)方向?qū)?yīng)地生成的預(yù)測(cè)誤差的正交變換。在此處，這些第一逆正交變換部2401 第四逆正交變換部2404的任意一個(gè)可以置換為IDCT等。這時(shí)的變換基底選擇信息129如圖25A、圖25B所示。在Transformldx為0的情況，基底選擇開關(guān)603將開關(guān)的輸出端與第一逆正交變換部2401連接。在Transformldx為I的情況下，基底選擇開關(guān)603將開關(guān)的輸出端與第二逆正交變換部2402連接。在Transformldx為2情況下，基底選擇開關(guān)603將開關(guān)的輸出端與第三逆正交變換部2403連接。在Transformldx為3的情況下,基底選擇開關(guān)603將開關(guān)的輸出端與第四逆正交變換部2404連接。在本實(shí)施方式中，使用四個(gè)正交變換。其中，第一正交變換部和第四正交變換部中，采用考慮了與預(yù)測(cè)方向相應(yīng)地生成的預(yù)測(cè)誤差的相關(guān)的正交變換基底而進(jìn)行正交變換。這時(shí)，通過與生成預(yù)測(cè)像素的參照像素線相應(yīng)地來分類正交變換，能夠進(jìn)行使正交變換的變換系數(shù)的飽和度升高的編碼。另外，說明了將本發(fā)明的本實(shí)施方式中，按照對(duì)第一正交變換、第二正交變換、第三正交變換、第四正交變換這4種正交變換和第一逆正交變換、第二逆正交變換、第三逆正交變換、第四逆正交變換這3種逆正交變換進(jìn)行分別分類的每個(gè)預(yù)測(cè)模式進(jìn)行切換的方式進(jìn)行了說明，但也可以增加或減少它們的數(shù)量。這種情況下，需要不同的正交變換 逆正交變換的硬件等，但選擇取得了電路規(guī)模與編碼效率的平衡的組合即可。此外，也能是將第2實(shí)施方式和第4實(shí)施方式組合而成的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)。此外，在本發(fā)明的第4實(shí)施方式中說明了針對(duì)將4種正交變換和4種逆正交變換分別分類的每種預(yù)測(cè)模式進(jìn)行切換的方式，但也能夠通過對(duì)進(jìn)行該變換 逆變換時(shí)的正交變換矩陣進(jìn)行共有化，進(jìn)一步削減硬件實(shí)現(xiàn)時(shí)的電路規(guī)模。例如，式(3)、式(4)所示的二維的分離型的變換中的矩陣A、B或者矩陣C、D能夠按不同預(yù)測(cè)模式循環(huán)使用。在圖26A、圖26B、圖26C中示出其一例。在此處，明示了與式(3)中的矩陣A對(duì)應(yīng)的一維變換和與矩陣B對(duì)應(yīng)的一維變換的組合(與式(4)中的矩陣C對(duì)應(yīng)的一維變換和與矩陣D對(duì)應(yīng)的一維變換也同樣)。例如，在Transformldx = 0的情況下,意味著對(duì)式(3)的矩陣A、B,使用共通的IDTransform Matrix a。通過對(duì)變換矩陣的共有化，能夠削減針對(duì)每個(gè)正交變換部或者逆正交變換部而需要2類的變換矩陣數(shù)。例如，本發(fā)明的本實(shí)施方式中，保持了 4種(逆)正交變換部，所以需要8種變換矩陣，但也能僅以兩種變換矩陣進(jìn)行4種(逆)正交變換。另外，在式(6)、(7)的逆變換中也能進(jìn)行同樣的共有化。基于以上的第4實(shí)施方式，除了第I實(shí)施方式的效果以外，通過進(jìn)行考慮了與預(yù)測(cè)方向?qū)?yīng)地生成的預(yù)測(cè)誤差的相關(guān)的、4種正交變換基底，能夠進(jìn)行進(jìn)一步提高系數(shù)飽和度并削減了硬件實(shí)現(xiàn)時(shí)的電路規(guī)模的正交變換 逆正交變換。此外，向本發(fā)明的本實(shí)施方式那樣，作為正交變換部，考慮幀內(nèi)的預(yù)測(cè)方向而使用4種正交變換的情況下,將預(yù)測(cè)模式4、5、6強(qiáng)制地分配了 Transformldx = 0,所以在使用H. 264中所用的鋸齒掃描順序時(shí)的電力集中度未必變高。因此，利用非零變換系數(shù)的發(fā)生傾向針對(duì)每種預(yù)測(cè)模式相似的性質(zhì)，在2D — ID變換時(shí)，從非零變換系數(shù)的發(fā)生概率高的位置的變換系數(shù)開始優(yōu)先地進(jìn)行熵編碼，由此能夠削減變換系數(shù)進(jìn)行編碼的信息。
接下來，對(duì)與運(yùn)動(dòng)圖像解碼裝置相關(guān)的第5至第8實(shí)施方式進(jìn)行敘述。[第5實(shí)施方式]圖21示出依照第5實(shí)施方式的運(yùn)動(dòng)圖像解碼裝置。圖21的運(yùn)動(dòng)圖像解碼裝置2100例如對(duì)由依第I實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置所生成的編碼數(shù)據(jù)進(jìn)行解碼。圖21的運(yùn)動(dòng)圖像解碼裝置2100對(duì)輸入緩沖器2101儲(chǔ)存的編碼數(shù)據(jù)2114進(jìn)行解碼，并將解碼圖像信號(hào)2119向輸出緩沖器2112輸出。編碼數(shù)據(jù)2114是例如從運(yùn)動(dòng)圖像編碼裝置100等被送出，經(jīng)過未圖示的蓄積系統(tǒng)或傳送系統(tǒng)輸送，暫時(shí)儲(chǔ)存在輸入緩沖器2101并進(jìn)行復(fù)用的編碼數(shù)據(jù)。運(yùn)動(dòng)圖像解碼裝置2100具有熵解碼部2102、系數(shù)順序控制部2103、逆量化部2104、逆正交變換部2105、加法器2106、參照?qǐng)D像存儲(chǔ)器2107、幀內(nèi)預(yù)測(cè)圖像生成部2108、幀間預(yù)測(cè)圖像生成部2109、預(yù)測(cè)選擇開關(guān)2110、以及幀內(nèi)預(yù)測(cè)分類部2111。運(yùn)動(dòng)圖像解碼裝置2100，此外，與輸入緩沖器2101、輸出緩沖器2112、以及、解碼控制部2113連接。熵解碼部2102按每I幀或I場根據(jù)語法對(duì)編碼數(shù)據(jù)2114進(jìn)行基于句法解析的解讀。熵解碼部2102順次對(duì)各語法的符號(hào)列進(jìn)行熵解碼，生成預(yù)測(cè)信息2124、量化變換系數(shù)列2115以及編碼對(duì)象塊的編碼參數(shù)等。所謂編碼參數(shù)，包含與預(yù)測(cè)相關(guān)的信息、與量化相關(guān)的信息等的解碼時(shí)所需的全部參數(shù)。熵解碼部2102中進(jìn)行解讀后的量化變換系數(shù)列2115向系數(shù)順序控制部2103輸入。此外，預(yù)測(cè)信息2124所包含的預(yù)測(cè)模式2121向系數(shù)順序控制部2103輸入。系數(shù)順序控制部2103具有將作為一維數(shù)據(jù)的量化變換系數(shù)列2115變換為二維數(shù)據(jù)的功能。系數(shù)順序控制部2103中進(jìn)行變換后的量化變換系數(shù)列2115，變?yōu)榱炕儞Q系數(shù)2116而輸入到逆量化部2104。逆量化部2104中，根據(jù)與解讀后的量化相關(guān)的信息進(jìn)行逆量化，而還原變換系數(shù)。逆量化部2104中進(jìn)行還原后的量化變換系數(shù)2116，變?yōu)槟媪炕儞Q系數(shù)2117而輸入到逆正交變換部2105。逆正交變換部2105的功能后述，但根據(jù)從幀內(nèi)預(yù)測(cè)分類部2111輸入的變換基底選擇信息2122，進(jìn)行例如逆離散余弦變換(IDCT)。由逆正交變換部2105施加逆正交變換，生成的還原預(yù)測(cè)誤差信號(hào)2118向加法器2106輸入。加法器2106，對(duì)還原預(yù)測(cè)誤差信號(hào)2118和后述的從預(yù)測(cè)選擇開關(guān)2110輸出的預(yù)測(cè)圖像信號(hào)2123進(jìn)行加法運(yùn)算，生成解碼圖像信號(hào)2119。所生成的解碼圖像信號(hào)2119向參照?qǐng)D像存儲(chǔ)器2107輸入。參照?qǐng)D像存儲(chǔ)器2107中將輸入的解碼圖像信號(hào)2119向輸出緩沖器2112輸出，并且將解碼圖像信號(hào)2119作為參照?qǐng)D像信號(hào)2120保持于內(nèi)部存儲(chǔ)器，在后述的預(yù)測(cè)圖像信號(hào)生成處理中利用。從參照?qǐng)D像存儲(chǔ)器2107輸出的解碼圖像信號(hào)2119，從運(yùn)動(dòng)圖像解碼裝置2100輸出，在輸出緩沖器2112中暫時(shí)蓄積后，按照解碼控制部2113管理的輸出定時(shí)進(jìn)行輸出。參照?qǐng)D像信號(hào)2120，從參照?qǐng)D像存儲(chǔ)器2107中，順次按每幀或者每場被讀出，并向幀內(nèi)預(yù)測(cè)圖像生成部2108或者幀間預(yù)測(cè)圖像生成部2109輸入。另外，圖21的幀內(nèi)預(yù)測(cè)圖像生成部2108具有圖I中示出的運(yùn)動(dòng)圖像編碼裝置100中的幀內(nèi)預(yù)測(cè)圖像生成部108所示的同名的各部和同一功能及結(jié)構(gòu)。由此，省略本部分的說明。另外，圖21的幀間預(yù)測(cè)圖像生成部2109具有與圖I中示出的幀間預(yù)測(cè)圖像生成部109所示的同名的各部同一功能及結(jié)構(gòu)。由此，本部分的說明省略。接下來，對(duì)系數(shù)順序控制部2103的詳細(xì)進(jìn)行說明。圖22中示出系數(shù)順序控制部2103的框圖。圖22的系數(shù)順序控制部2103具有預(yù)測(cè)模式選擇開關(guān)2201和9種ID — 2D變換部2202 2210。預(yù)測(cè)模式選擇開關(guān)2201與圖7A的左側(cè)示出的預(yù)測(cè)模式的模式序號(hào)對(duì)應(yīng)地，將開關(guān)的輸出端與ID - 2D變換部連接。例如，在輸入預(yù)測(cè)模式0的情況下，預(yù)測(cè)模式選擇開關(guān)2201將輸出端與垂直ID - 2D變換部2202連接。預(yù)測(cè)模式與ID — 2D變換部一一對(duì)應(yīng)，始終連接到與預(yù)測(cè)模式對(duì)應(yīng)的ID - 2D變換部。預(yù)測(cè)模式與9種ID — 2D變換部2202 2210——對(duì)應(yīng)，針對(duì)每個(gè)預(yù)測(cè)模式選擇輸出端。9種ID — 2D變換部2202 2210具有將解碼后的量化變換系數(shù)列2115的一維數(shù)據(jù)變換為二維數(shù)據(jù)的功能。例如，在H. 264中，采用逆鋸齒掃描，將一維數(shù)據(jù)變換到二維數(shù)據(jù)。將4x4塊的一維數(shù)據(jù)通過逆鋸齒掃描變換為二維數(shù)據(jù)的例子在圖4B及圖4A中示出。這里，示出了通過對(duì)解讀后的量化變換系數(shù)列2115 (與圖4B對(duì)應(yīng))進(jìn)行逆鋸齒掃描，從而變換為二維數(shù)據(jù)(與圖4A對(duì)應(yīng))的例子。如果用cij表示圖中的量化變換系數(shù)2116的分量，則采用逆鋸齒掃描的ID - 2D變換在圖4C中示出。這里，idx是ID — 2D變換前的一維數(shù)據(jù)的指標(biāo)。在此處，9種ID - 2D變換部2202 2210，使用針對(duì)每個(gè)預(yù)測(cè)模式2121而不同的掃描順序。圖9示出4x4像素塊中的預(yù)測(cè)模式和掃描順序的關(guān)系。根據(jù)圖7A的IntraNxNPredMdeIndex的序號(hào),選擇不同的掃描順序。在此處,示出了 4x4像素塊中的例子，但對(duì)于8x8像素塊或16x16像素塊，也同樣地，能夠選擇針對(duì)每個(gè)預(yù)測(cè)模式不同的掃描順序。此外，在像素塊為以MxN表現(xiàn)的矩形塊的情況下，作為進(jìn)行ID - 2D變換的塊尺寸，可以采用MxN。在這種情況下，與矩形塊對(duì)應(yīng)地，針對(duì)每個(gè)預(yù)測(cè)模式準(zhǔn)備圖9所示的掃描順序表即可。接下來，說明幀內(nèi)預(yù)測(cè)分類部2111。幀內(nèi)預(yù)測(cè)分類部2111具有根據(jù)熵解碼部2102中解讀的預(yù)測(cè)信息2124所包含的預(yù)測(cè)模式2121生成逆正交變換中使用的變換基底選擇信息2122的功能。在此處，使用圖7A及圖7B所示的分類表將預(yù)測(cè)模式分為兩類，按照每個(gè)分類后的預(yù)測(cè)模式，設(shè)定由Transformldx表現(xiàn)的變換基底選擇信息2122。在此處，表中所、示的IntraNxNPredMdeIndex表示預(yù)測(cè)模式2121。此外，N是表示塊尺寸的指標(biāo),在4x4像素塊中為4，在8x8像素塊中為8，在16x16像素塊中中為16。此外，這以外的塊尺寸中也同樣。在此處，示出了關(guān)于以NxN表示的正方塊的例子，但也容易作為MxN擴(kuò)展到矩形塊。在Transformldx示出0的情況下，意味著采用第一逆正交變換。而在Transformldx示出I的情況下,意味著第二逆正交變換被采用。在此處，在像素塊為由MxN表現(xiàn)的矩形塊的情況下，作為進(jìn)行逆正交變換的塊尺寸，也可以使用MxN。在此處，僅對(duì)DC預(yù)測(cè)(與預(yù)測(cè)模式2對(duì)應(yīng))將Transformldx設(shè)為1，對(duì)于具有除此以外的空間預(yù)測(cè)方向的預(yù)測(cè)模式，將Transformldx設(shè)為O。逆正交變換部2105具有與圖6的逆正交變換部 105同樣的功能。在此處，圖6中的逆量化變換系數(shù)122、變換基底選擇信息129、還原預(yù)測(cè)誤差信號(hào)123，在圖21中分別對(duì)應(yīng)于逆量化變換系數(shù)2117、變換基底選擇信息2122、還原預(yù)測(cè)誤差信號(hào)2118。圖6所示的逆正交變換部105和圖21所示的逆正交變換部2105為同功能，所以在此處省略詳細(xì)說明。在逆正交變換部2105的第一逆正交變換部中，對(duì)于逆量化變換系數(shù)2117，使用式
(6)或式(7)進(jìn)行逆正交變換處理。例如，使用用水平預(yù)測(cè)(模式I)設(shè)計(jì)的變換矩陣，進(jìn)行逆正交變換處理。逆正交變換部2105的第二逆正交變換部中，對(duì)于逆量化變換系數(shù)2117，使用式(6)或式(7)進(jìn)行逆正交變換處理。該逆正交變換可以是例如IDCT。無論如何，使用與第I實(shí)施方式中使用的正交變換對(duì)應(yīng)的變換矩陣，進(jìn)行逆正交變換。以上是第5實(shí)施方式中所示的運(yùn)動(dòng)圖像解碼裝置2100的處理的概要。接下來，對(duì)運(yùn)動(dòng)圖像解碼裝置2100進(jìn)行解碼的編碼數(shù)據(jù)的語法構(gòu)造進(jìn)行說明。運(yùn)動(dòng)圖像解碼裝置2100所解碼的編碼數(shù)據(jù)2114優(yōu)選具有與運(yùn)動(dòng)圖像編碼裝置100同一的語法構(gòu)造。在此處，設(shè)為采用與圖12至圖13同一的語法，省略詳細(xì)的說明。圖12是示出與本發(fā)明的本實(shí)施方式相關(guān)的片段頭語法1106的例子的圖。圖12中所示的slice_uni_directional_transform_flag是表示是否對(duì)該片段應(yīng)用考慮方向型正交變換的語法要素。slice_uni_directional_transform_f lag為0時(shí)，在正交變換部102以及逆正交變換部105中，不能利用第一正交變換部501以及第一逆正交變換部601。這種情況下，無論變換基底選擇信息129如何，基底選擇開關(guān)503都將開關(guān)的輸出端與第二正交變換部502連接，并且基底選擇開關(guān)603將開關(guān)的輸出端與第二逆正交變換部602連接。此外，這種情況下，在系數(shù)順序控制部113中，不能使用DCT用2D - ID變換部804以外的部件。這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)模式選擇開關(guān)801將開關(guān)的輸出端與DCT用2D — ID變換部804連接。另一方面，slice_uni_directional_transform_flag為 I 時(shí)，根據(jù)圖 IOA 及圖 IOB中說明的編碼流程圖，進(jìn)行編碼處理。即，在正交變換部102以及逆正交變換部105中，能夠按照變換基底選擇信息129，選擇第一正交變換部501和第二正交變換部502，并且能夠按照變換基底選擇信息129，選擇第一逆正交變換部601和第二逆正交變換部602。此外，預(yù)測(cè)模式選擇開關(guān)801，能夠按照預(yù)測(cè)模式128將開關(guān)的輸出端與2D - ID變換部802 810連接。作為其它實(shí)施方式，圖13示出與本發(fā)明的其它實(shí)施方式相關(guān)的宏塊層語法1108的例子。圖13中示出的mb_uni_directional_transform_flag是表示是否在該宏塊中應(yīng)用考慮方向型正交變換的語法要素。此外，圖13中示出的mb_type表示該編碼宏塊的編碼類型。I_NxN表示編碼類型為幀內(nèi)預(yù)測(cè)編碼、預(yù)測(cè)塊尺寸為NxN尺寸。N中除了 4、8、16外還包含 32、64 等。mb_uni_direction al_transform_flag,僅在 slice_uni_directional_transform_flag為I且宏塊的編碼類型為巾貞內(nèi)預(yù)測(cè)時(shí)，進(jìn)行編碼。mb_uni_directional_transform_f lag為O的情況下，在正交變換部102以及逆正交變換部105中，不能利用第一正交變換部501以及第一逆正交變換部601。在這種情況下，無論變換基底選擇信息129，基底選擇開關(guān)503將開關(guān)的輸出端與第二正交變換部502連接，并且基底選擇開關(guān)603將開關(guān)的輸出端與第二逆正交變換部602連接。此外，在這種情況下，在系數(shù)順序控制部113中，不能用DCT用2D - ID變換部804以外的部件。在這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)模式選擇開關(guān)801都將開關(guān)的輸出端與DCT用2D — ID變換部804連接。另一方面，mb_uni_directional_transform_flag為 I 時(shí)，按照?qǐng)D IOA 及圖 IOB 中說明的編碼流程圖，進(jìn)行編碼處理。即，在正交變換部102以及逆正交變換部105中，能夠按照變換基底選擇信息129，選擇第一正交變換部501和第二正交變換部502，并且能夠按照變換基底選擇信息129，選擇第一逆正交變換部601和第二逆正交變換部602。此外，預(yù)測(cè)模式選擇開關(guān)801，能夠按照預(yù)測(cè)模式128將開關(guān)的輸出端與2D - ID變換部802 810連接。 通過對(duì)表示在宏塊層中是否應(yīng)用上述考慮方向型正交變換的標(biāo)識(shí)進(jìn)行編碼，與變換的選擇相關(guān)的信息量增加，但能夠針對(duì)圖片的每個(gè)局部區(qū)域?qū)嵤┳罴训恼蛔儞Q。另外，在圖12至圖13所示的語法的表中的行間，既可以插入在本實(shí)施方式中為規(guī)定的語法要素，也可以包含與其它條件分支相關(guān)的記述。此外，可以將語法表分割為多個(gè)表，或?qū)Χ鄠€(gè)語法表進(jìn)行整合。此外，未必需要采用同一用語，也可以根據(jù)利用的方式進(jìn)行任意改變。根據(jù)以上的第5實(shí)施方式，通過對(duì)幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)方向與預(yù)測(cè)誤差的相關(guān)相應(yīng)地進(jìn)行分類并施加逆正交變換，從而使變換后的系數(shù)飽和度升高，并且能夠削減硬件實(shí)現(xiàn)時(shí)的電路規(guī)模。[第6實(shí)施方式]接下來，對(duì)第6實(shí)施方式進(jìn)行說明。第6實(shí)施方式中的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)與第5實(shí)施方式同一。依第6實(shí)施方式的運(yùn)動(dòng)圖像解碼裝置2100，對(duì)例如由第2實(shí)施方式中的運(yùn)動(dòng)圖像編碼裝置而生成的編碼數(shù)據(jù)進(jìn)行解碼。另外，對(duì)與第5實(shí)施方式具有相同功能的塊、語法附以同一符號(hào)，在這里省略說明。第6實(shí)施方式中，僅幀內(nèi)預(yù)測(cè)圖像生成部2108的內(nèi)部構(gòu)造與第5實(shí)施方式不同。在此處，使用圖14說明幀內(nèi)預(yù)測(cè)圖像生成部2108。圖14是示出幀內(nèi)預(yù)測(cè)圖像生成部2108 (108)的框圖。圖14中的預(yù)測(cè)模式128、預(yù)測(cè)圖像信號(hào)127、參照?qǐng)D像信號(hào)125，與圖21中的預(yù)測(cè)模式2121、預(yù)測(cè)圖像信號(hào)2123、參照?qǐng)D像信號(hào)2120分別對(duì)應(yīng)。與本實(shí)施方式相關(guān)的幀內(nèi)預(yù)測(cè)圖像生成部2108 (108)，具有單方向幀內(nèi)預(yù)測(cè)圖像生成部1401、雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402、預(yù)測(cè)模式生成部1403、預(yù)測(cè)選擇開關(guān)1404。第I實(shí)施方式中的幀內(nèi)預(yù)測(cè)圖像生成部108，在圖14中，不存在雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402和預(yù)測(cè)選擇開關(guān)1404。在此處，單方向幀內(nèi)預(yù)測(cè)圖像生成部1401，已經(jīng)在圖
3、圖4及第I實(shí)施方式中記述了處理內(nèi)容，所以省略說明。雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402中，生成兩個(gè)單方向的幀內(nèi)預(yù)測(cè)圖像信號(hào)，并對(duì)它們施加加權(quán)平均而生成預(yù)測(cè)圖像信號(hào)127。例如，說明采用了圖3C及圖3D所示的水平預(yù)測(cè)和正交右下預(yù)測(cè)的雙方向預(yù)測(cè)。首先，分別生成單方向的預(yù)測(cè)圖像信號(hào)。這里，如果將水平預(yù)測(cè)設(shè)為Pl [17]，將正交右下預(yù)測(cè)設(shè)為？2 [x，y]，則雙方向預(yù)測(cè)的預(yù)測(cè)圖像信號(hào)P[x，y]由式(10)表示。將雙方向幀內(nèi)預(yù)測(cè)的預(yù)測(cè)序號(hào)、兩個(gè)單方向的組合、和變換基底信息在圖15中示出。接下來，說明預(yù)測(cè)模式生成部1403的功能。在熵解碼部2102中解讀的預(yù)測(cè)信息2124，在解碼控制部2113中進(jìn)行保持、控制。在此處，作為預(yù)測(cè)信息2124中包含的預(yù)測(cè)信息，在選擇雙方向幀內(nèi)預(yù)測(cè)的情況下，預(yù)測(cè)模式生成部1403按照?qǐng)D15中示出的表導(dǎo)出雙方向幀內(nèi)預(yù)測(cè)中的預(yù)測(cè)模式2121并輸出。預(yù)測(cè)選擇開關(guān)1404，按輸入來的預(yù)測(cè)模式2121將開關(guān)的輸出端與兩個(gè)巾貞內(nèi)預(yù)測(cè)圖像生成部1401、1402的輸出端進(jìn)行連接。在此處，bipred_intra_flag為0時(shí)開關(guān)將輸出端與單方向巾貞內(nèi)預(yù)測(cè)圖像生成部1401連接。bipred_intra_flag為I時(shí)，開關(guān)將輸出端向雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402輸出。以上是與本發(fā)明的本實(shí)施方式相關(guān)的幀內(nèi)預(yù)測(cè)圖像生成部2108 (108)的說明。
接下來，說明幀內(nèi)預(yù)測(cè)分類部2111。圖21的幀內(nèi)預(yù)測(cè)分類部2111與第2實(shí)施方式的幀內(nèi)預(yù)測(cè)分類部112具有同一功能。具有根據(jù)所輸入的預(yù)測(cè)模式2121生成逆正交變換中所用的變換基底選擇信息2122的功能。幀內(nèi)預(yù)測(cè)分類部2111中，根據(jù)從幀內(nèi)預(yù)測(cè)圖像生成部2108輸入的預(yù)測(cè)模式2121，生成變換基底選擇信息2122。在此處，使用圖7A及圖15所示的分類表，將預(yù)測(cè)模式分為兩類，按照分類后的每個(gè)預(yù)測(cè)模式對(duì)由Transformldx表現(xiàn)的變換基底選擇信息129進(jìn)行設(shè)定。接下來，說明系數(shù)順序控制部2103。在所輸入的預(yù)測(cè)模式2121中，按照IntraNxNPredModeIndexLO所不的模式序號(hào)來確定Transformldx。IntraNxNPredModeIndexLO表示單方向的巾貞內(nèi)預(yù)測(cè)模式,提供9種預(yù)測(cè)模式。在此處，9種ID — 2D變換部2202 2210使用針對(duì)每個(gè)預(yù)測(cè)模式2121不同的掃描順序。圖9中示出4x4像素塊中的預(yù)測(cè)模式與掃描順序的關(guān)系。與圖15的IntraNxNPredMdeIndexLO的序號(hào)相應(yīng)地選擇不同的掃描順序。在此處,示出了 4x4像素塊中的例子，但對(duì)于8x8像素塊或16x16像素塊，也能夠同樣地選擇針對(duì)每個(gè)預(yù)測(cè)模式不同的掃描順序。此外，在像素塊為由MxN表現(xiàn)的矩形塊的情況下，作為進(jìn)行2D — ID變換的塊尺寸，也可以采用MxN。在這種情況下，與矩形塊對(duì)應(yīng)地，按每個(gè)預(yù)測(cè)模式準(zhǔn)備圖9所示那樣的掃描順序表即可。圖16是示出本發(fā)明的本實(shí)施方式的片段頭語法1106的例子的圖。圖中所示的slice_uni_directional_transform_flag是表示是否對(duì)該片段應(yīng)用考慮方向型正交變換的語法要素，由于與第I實(shí)施方式同一，所以省略說明。圖16中所示的slice_bipred_intra_flag是表示對(duì)該片段是否應(yīng)用雙方向巾貞內(nèi)預(yù)測(cè)的語法要素。slice_bipred_intra_flag為0時(shí),在巾貞內(nèi)預(yù)測(cè)圖像生成部108中，不能利用雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。在這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)選擇開關(guān)1404均將開關(guān)的輸出端與單方向幀內(nèi)預(yù)測(cè)圖像生成部1401連接。另一方面,slice_bipred_intra_flag為I時(shí),在巾貞內(nèi)預(yù)測(cè)圖像生成部108內(nèi)的預(yù)測(cè)選擇開關(guān)1404中，能夠按照預(yù)測(cè)模式128，選擇單方向幀內(nèi)預(yù)測(cè)圖像生成部1401和雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。
圖17示出本發(fā)明的實(shí)施方式的宏塊層語法1108的例子。圖中所示的bipred_intra_flag是表示是否在該宏塊中應(yīng)用雙方向巾貞內(nèi)預(yù)測(cè)的語法要素。bipred_intra_flag僅在slice_bipred_intra_flag為I且宏塊的編碼類型為巾貞內(nèi)預(yù)測(cè)時(shí)進(jìn)行編碼。bipred_intra_f lag為0時(shí),在該宏塊的巾貞內(nèi)預(yù)測(cè)圖像生成部108中，不能利用雙方向巾貞內(nèi)預(yù)測(cè)圖像生成部1402。在這種情況下，無論預(yù)測(cè)模式128如何，預(yù)測(cè)選擇開關(guān)1404都將開關(guān)的輸出端與單方向幀內(nèi)預(yù)測(cè)圖像生成部1401連接。另一方面,在bipred_intra_flag為I的情況下,在該宏塊中的巾貞內(nèi)預(yù)測(cè)圖像生成部108內(nèi)的預(yù)測(cè)選擇開關(guān)1404中，能夠按照預(yù)測(cè)模式128，選擇單方向幀內(nèi)預(yù)測(cè)圖像生成部1401和雙方向幀內(nèi)預(yù)測(cè)圖像生成部1402。根據(jù)以上的第6實(shí)施方式，除了第5實(shí)施方式的效果以外，能夠?qū)τ梢赖?實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置而生成的編碼數(shù)據(jù)進(jìn)行解碼。[第7實(shí)施方式]接下來，對(duì)第7實(shí)施方式進(jìn)行說明。第7實(shí)施方式的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)，與第5實(shí)施方式同一。依第7實(shí)施方式的運(yùn)動(dòng)圖像解碼裝置2100，對(duì)由例如依第3實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置而生成的編碼數(shù)據(jù)進(jìn)行解碼。另外，對(duì)與第5實(shí)施方式具有相同功能的塊、語法附以同一符號(hào)，并在這里省略說明。第7實(shí)施方式中，僅逆正交變換部2105的內(nèi)部構(gòu)造與第5實(shí)施方式不同。
中的逆正交變換部2105具有同一功能。圖20中，逆量化變換系數(shù)122、變換基底選擇信息129、還原預(yù)測(cè)誤差信號(hào)123與圖21中的逆量化變換系數(shù)2117、變換基底選擇信息2122、還原預(yù)測(cè)誤差信號(hào)2118分別對(duì)應(yīng)。圖20是示出逆正交變換部2105 (105)的框圖。本實(shí)施方式的逆正交變換部2105
(105)，除了圖6中所示的各處理塊，具有第三逆正交變換部2001。在此處，第一逆正交變換部601和第二逆正交變換部602，進(jìn)行式(6)、式(7)中所示那樣的考慮了預(yù)測(cè)方向的逆正交變換。而第三逆正交變換部2001例如進(jìn)行IDCT。這種情況下的變換基底選擇信息2122在圖19A、圖19B中所示。Transformldx為0時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第一逆正交變換部601連接。Transformldx為I時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第二逆正交變換部602連接。Transformldx為2時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第三逆正交變換部2001連接。另外，也能夠是將第6實(shí)施方式和第7實(shí)施方式組合而成的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)?；谝陨系牡?實(shí)施方式，除了第5實(shí)施方式的效果以外，還能對(duì)由依第3實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置生成的編碼數(shù)據(jù)進(jìn)行解碼。[第8實(shí)施方式]接下來，對(duì)第8實(shí)施方式進(jìn)行說明。第8實(shí)施方式的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)與第5實(shí)施方式同一。依第8實(shí)施方式的運(yùn)動(dòng)圖像解碼裝置2100，由例如依第4實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置而生成的編碼數(shù)據(jù)進(jìn)行解碼。另外，對(duì)與第5實(shí)施方式具有相同功能的的塊、語法附以同一符號(hào)，在此處省略說明。第8實(shí)施方式中僅逆正交變換部2105的內(nèi)部構(gòu)造與第5實(shí)施方式不同。
在此處，用圖24說明逆正交變換部2105。圖24中的逆正交變換部105，與圖21中的逆正交變換部2105具有同一功能。圖20中，逆量化變換系數(shù)122、變換基底選擇信息129、還原預(yù)測(cè)誤差信號(hào)123與圖21中的逆量化變換系數(shù)2117、變換基底選擇信息2122、還原預(yù)測(cè)誤差信號(hào)2118分別對(duì)應(yīng)。圖24是示出逆正交變換部2105 (105)的框圖。與本實(shí)施方式相關(guān)的逆正交變換部2105 (105)，除了圖6所示的各處理塊以外，改變了第一逆正交變換部2401、第二逆正交變換部2402，具有第三逆正交變換部2403、第四逆正交變換部2404。在此處，第一逆正交變換部2401 第四逆正交變換部2404進(jìn)行考慮了與式(6)、式(7)中示出那樣的預(yù)測(cè)方向相應(yīng)地生成的預(yù)測(cè)誤差的逆正交變換。在此處，這些第一逆正交變換部2401 第四逆正交變換部2404中的某個(gè)可以置換為IDCT等。這時(shí)的變換基底選擇信息129在圖25A、圖25B中示出。Transformldx為0時(shí)，基
底選擇開關(guān)603將開關(guān)的輸出端與第一逆正交變換部2401連接。Transformldx為I時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第二逆正交變換部2402連接。Transformldx為2時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第三逆正交變換部2403連接。Transformldx為3時(shí)，基底選擇開關(guān)603將開關(guān)的輸出端與第四逆正交變換部2404連接。本實(shí)施方式中，用四個(gè)逆正交變換。其中，在第一逆正交變換部和第四逆正交變換部中，使用考慮了根據(jù)預(yù)測(cè)方向而生成的預(yù)測(cè)誤差的相關(guān)的正交變換基底進(jìn)行逆正交變換。這時(shí)，通過根據(jù)生成預(yù)測(cè)像素的參照像素線對(duì)逆正交變換進(jìn)行分類，從而能夠進(jìn)行使變換系數(shù)的飽和度升高的編碼。另外，在將本發(fā)明的本實(shí)施方式中，說明了按照每個(gè)對(duì)第一逆正交變換、第二逆正交變換、第三逆正交變換、第四逆正交變換這四種逆正交變換分別分類的每個(gè)預(yù)測(cè)模式進(jìn)行切換的方式進(jìn)行了說明，但也可以增加它們的數(shù)量。這種情況下，需要不同的正交變換 逆正交變換的硬件等，但選擇取得電路規(guī)模與編碼時(shí)的編碼效率的平衡的組合即可。此外，還能夠是將第6實(shí)施方式與第8實(shí)施方式進(jìn)行組合的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)。此外，在本發(fā)明的第8實(shí)施方式中說明了針對(duì)將4種逆正交變換分別分類的每種預(yù)測(cè)模式進(jìn)行切換的方式，但通過對(duì)進(jìn)行該逆變換時(shí)的正交變換矩陣進(jìn)行共有化，能夠進(jìn)一步削減硬件實(shí)現(xiàn)時(shí)的電路規(guī)模。例如，式(6)、式(7)所示的二維的分離型的變換中的矩陣A、B或者矩陣C、D也能按不同的預(yù)測(cè)模式循環(huán)使用。在圖26A、圖26B、圖26C中示出其一例。在此處，明示了與式(6)中的矩陣A對(duì)應(yīng)的一維變換和與矩陣B對(duì)應(yīng)的一維變換的組合(與式(7)中的矩陣C對(duì)應(yīng)的一維變換和與矩陣D對(duì)應(yīng)的一維變換也同樣)。例如，在Transformldx = 0的情況下，意味著對(duì)式(6)的矩陣A、B,使用共通的ID TransformMatrixa。通過進(jìn)行這樣的變換矩陣的共有化，能夠削減針對(duì)每個(gè)逆正交變換部而需要兩類的變換矩陣數(shù)。例如，本發(fā)明的本實(shí)施方式中，保持了 4種逆正交變換部，所以需要8種變換矩陣，但也能僅以兩種變換矩陣進(jìn)行4種逆正交變換。根據(jù)以上的第8實(shí)施方式，除了第5實(shí)施方式的效果以外，還能對(duì)由依第4實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置而生成的編碼數(shù)據(jù)進(jìn)行解碼。(第I至第8實(shí)施方式的變形例)(I)在圖12、圖13、圖16、圖17所示語法的表中的行間，既可以插入在本實(shí)施方式中未規(guī)定的語法要素，也可以包含與其它條件分支相關(guān)的記述。此外，也可以將語法表分割為多個(gè)表，或整合多個(gè)語法表。此外，未必需要使用同一用語，也可以根據(jù)利用的方式任意地改變。(2)第I至第8實(shí)施方式中，說明了將處理對(duì)象幀分割為16X 16像素尺寸等的矩塊，并如圖2A所示地從畫面左上的塊向右下順序進(jìn)行編碼/解碼的情況，但編碼順序及解碼順序不限于此。例如，既可以從右下向左上順序進(jìn)行編碼及解碼，也可以從畫面中央向著螺旋狀順序地進(jìn)行編碼及解碼。進(jìn)而，也可以從右上向左下順序進(jìn)行編碼及解碼，或者也可以進(jìn)行從畫面的周邊部向中心部順序進(jìn)行編碼及解碼。(3)第I至第8實(shí)施方式中，將塊尺寸設(shè)為4X4像素塊、8 X 8像素塊、16 X 16像素塊進(jìn)行了說明，但預(yù)測(cè)對(duì)象塊不需設(shè)為均勻的塊形狀，也可以是16X8像素塊、8X16像素塊、8X4像素塊、4X8像素塊等任意的塊尺寸。此外，即使在一個(gè)宏塊內(nèi)，也不需要使全部的塊，也可以使不同尺寸的塊混合存在。在這種情況下，如果分割數(shù)增加，則用于將分割信 息進(jìn)行編碼或解碼的編碼量增加。因此，考慮變換系數(shù)的編碼量與局部解碼圖像或解碼圖像之間的平衡，而選擇塊尺寸即可。(4)第I至第8實(shí)施方式中，不分亮度信號(hào)和色差信號(hào)，作為對(duì)一種色信號(hào)分量進(jìn)行限定的例子，進(jìn)行了記述。但是，預(yù)測(cè)處理在亮度信號(hào)和色差信號(hào)中不同的情況下，既可以采用不用的預(yù)測(cè)方法，也可以使用同一預(yù)測(cè)方法。在使用不同的預(yù)測(cè)方法的情況下，將對(duì)色差信號(hào)選擇的預(yù)測(cè)方法以與亮度信號(hào)同樣的方法進(jìn)行編碼或解碼。(5)第I至第8實(shí)施方式中，不分割亮度信號(hào)和色差信號(hào)，而是作為一方的色信號(hào)分量進(jìn)行了限定的例子進(jìn)行了記述。但是，正交變換處理，在亮度信號(hào)和色差信號(hào)上不同的情況下，既可以使用分別不同的正交變換方法，也可以使用同一正交變換方法。在使用不同的正交變換方法的情況下，對(duì)色差信號(hào)以所選擇的正交變換方法是與亮度信號(hào)同樣的方法進(jìn)行編碼或解碼?；谝陨系膶?shí)施方式，使幀內(nèi)預(yù)測(cè)編碼中的正交變換后的系數(shù)飽和度升高，并且削減硬件實(shí)現(xiàn)時(shí)的電路規(guī)模。即，在由硬件實(shí)現(xiàn)正交變換時(shí)，不使利用與預(yù)測(cè)方向?qū)?yīng)的專用硬件的電路規(guī)模大幅增加，而使正交變換后的系數(shù)飽和度升高，從而起到在使編碼效率提高的同時(shí)也提高主觀畫質(zhì)這樣的效果。此外，上述的實(shí)施方式中所述的處理順序所示的指示能夠根據(jù)作為軟件的程序而被執(zhí)行。通用的計(jì)算機(jī)系統(tǒng)，將該程序預(yù)先存儲(chǔ)起來并讀入該程序，從而得到與上述的實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置帶來的效果同樣的效果。上述的實(shí)施方式中記述的指示，作為能使計(jì)算機(jī)執(zhí)行的程序，記錄于磁盤(軟盤、硬盤等)、光盤(CD - ROM、CD — R、CD — RW、DVD — R0M、DVD±R、DVD±RW等)、半導(dǎo)體存儲(chǔ)器、或與此類似的記錄媒質(zhì)。如果是計(jì)算機(jī)或者嵌入式系統(tǒng)可讀取的記錄媒質(zhì)，則其存儲(chǔ)形式可以是任意方式。計(jì)算機(jī)，如果從該記錄媒質(zhì)讀入程序，并根據(jù)該程序?qū)⒊绦蛩浭龅闹甘驹贑PU中執(zhí)行，則能夠?qū)崿F(xiàn)與上述的實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置同樣的動(dòng)作。當(dāng)然，計(jì)算機(jī)取得或者讀入程序時(shí)也可以通過網(wǎng)絡(luò)來進(jìn)行取得或者讀入。此外，也可以根據(jù)從記錄媒質(zhì)向計(jì)算機(jī)或嵌入式系統(tǒng)安裝的程序的指示，由在計(jì)算機(jī)上運(yùn)轉(zhuǎn)的OS (操作系統(tǒng))、數(shù)據(jù)庫管理軟件、網(wǎng)絡(luò)等的MW (中間件)等來執(zhí)行用于實(shí)現(xiàn)本實(shí)施方式的各處理的一部分。
進(jìn)而，本申請(qǐng)發(fā)明中的記錄媒質(zhì)，不限于與計(jì)算機(jī)或者嵌入式系統(tǒng)獨(dú)立的媒質(zhì)，也可以包含下載通過LAN或互聯(lián)網(wǎng)等傳送的程序而進(jìn)行存儲(chǔ)或臨時(shí)存儲(chǔ)的記錄媒質(zhì)。此外，記錄媒質(zhì)不限于一個(gè)，在從多個(gè)媒質(zhì)執(zhí)行本實(shí)施方式中的處理的情況下，包含在本發(fā)明的記錄媒質(zhì)中，媒質(zhì)的結(jié)構(gòu)可以是任意的結(jié)構(gòu)。另外，本申請(qǐng)發(fā)明中的計(jì)算機(jī)或嵌入式系統(tǒng)，為用于根據(jù)記錄媒質(zhì)所存儲(chǔ)的程序來執(zhí)行本實(shí)施方式中的各處理的，可以是有個(gè)人電腦、微型電腦等之一構(gòu)成的裝置、網(wǎng)絡(luò)連接多個(gè)裝置的系統(tǒng)等任意結(jié)構(gòu)。此外，所謂本申請(qǐng)發(fā)明的實(shí)施方式中的計(jì)算機(jī)，不限于個(gè)人電腦，也包含信息處理設(shè)備中包括的運(yùn)算處理裝置、微型電腦等，統(tǒng)稱為通過程序能夠?qū)崿F(xiàn)本發(fā)明的實(shí)施方式中的功能的設(shè)備、裝置。對(duì)本發(fā)明的若干實(shí)施方式進(jìn)行了說明，但這些實(shí)施方式是作為例子而進(jìn)行提示的記載，并不意圖要對(duì)發(fā)明的范圍進(jìn)行限定。這些新穎的實(shí)施方式，能夠通過其他各種各樣的 方式來實(shí)施，在不脫離發(fā)明的要旨的范圍內(nèi)，能夠進(jìn)行各種的省略、置換、改變。這些實(shí)施方式及其變形，包含在發(fā)明的范圍及要旨內(nèi)，并且包含在權(quán)利要求書所記載的發(fā)明及與其等同的范圍內(nèi)。
權(quán)利要求
1.一種運(yùn)動(dòng)圖像編碼裝置，其特征在于，具備 預(yù)測(cè)部，使用依據(jù)多個(gè)幀內(nèi)預(yù)測(cè)模式中的選擇模式的幀內(nèi)預(yù)測(cè)，求出編碼對(duì)象的預(yù)測(cè)誤差號(hào)； 幀內(nèi)預(yù)測(cè)分類部，將所述選擇模式分類為表示是具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第I預(yù)測(cè)模式、和表示是不具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第2預(yù)測(cè)模式； 第I正交變換部，在所述選擇模式被分類到所述第I預(yù)測(cè)模式的情況下，使用預(yù)先確定為使變換后的系數(shù)飽和度比變換前變高的第I變換基底，對(duì)所述預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換而得到變換系數(shù)； 第2正交變換部，在所述選擇模式被分類到所述第2預(yù)測(cè)模式的情況下，對(duì)所述預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換而得到變換系數(shù)； 系數(shù)順序控制部，按照對(duì)于所述多個(gè)幀內(nèi)預(yù)測(cè)模式中的各個(gè)預(yù)先確定的掃描順序中與所述選擇模式對(duì)應(yīng)的掃描順序，對(duì)所述變換系數(shù)重新排序；以及 熵編碼部，對(duì)表示所述選擇模式的信息和所述重新排序后的變換系數(shù)進(jìn)行編碼。
2.一種運(yùn)動(dòng)圖像編碼裝置，其特征在于，具備 預(yù)測(cè)部，使用依據(jù)多個(gè)幀內(nèi)預(yù)測(cè)模式中的選擇模式的幀內(nèi)預(yù)測(cè)，求出編碼對(duì)象的預(yù)測(cè)誤差號(hào)； 幀內(nèi)預(yù)測(cè)分類部，根據(jù)與所述多個(gè)幀內(nèi)預(yù)測(cè)模式中的各個(gè)預(yù)測(cè)圖像生成方法相應(yīng)地預(yù)先確定的關(guān)系，將所述選擇模式分類到4個(gè)組中的某一個(gè)，得到表示按每個(gè)所述組預(yù)先確定的正交變換基底的變換基底選擇信息； 正交變換部，使用所述變換基底選擇信息表示的正交變換基底，對(duì)所述預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換，得到變換系數(shù)； 系數(shù)順序控制部，按照對(duì)所述多個(gè)幀內(nèi)預(yù)測(cè)模式中的各個(gè)預(yù)先確定的掃描順序中與所述選擇模式對(duì)應(yīng)的掃描順序，對(duì)所述變換系數(shù)重新排序；以及 熵編碼部，對(duì)表示所述選擇模式的信息和所述重新排序后的變換系數(shù)進(jìn)行編碼。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 所述正交變換部，以分離型的二維正交變換作為特征，使使用4種正交變換基底中的各個(gè)對(duì)所述預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換時(shí)的正交變換矩陣共有化。
4.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 所述預(yù)測(cè)部包含雙方向幀內(nèi)預(yù)測(cè)圖像生成部，從所述多個(gè)幀內(nèi)預(yù)測(cè)模式中選擇兩種幀內(nèi)預(yù)測(cè)模式，并將與這些幀內(nèi)預(yù)測(cè)模式對(duì)應(yīng)的兩個(gè)預(yù)測(cè)圖像信號(hào)根據(jù)預(yù)測(cè)方向進(jìn)行加權(quán)加法運(yùn)算，從而生成預(yù)測(cè)圖像信號(hào)， 所述幀內(nèi)預(yù)測(cè)分類部，分類為在所述兩種幀內(nèi)預(yù)測(cè)模式中，表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方向的模式序號(hào)小的第I預(yù)測(cè)模式、和表示該預(yù)測(cè)方向以外的第2預(yù)測(cè)模式。
5.根據(jù)權(quán)利要求I所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 所述第I正交變換部，將所述第I預(yù)測(cè)模式設(shè)為水平方向并對(duì)所述第I差分信號(hào)進(jìn)行正交變換時(shí)，使用所述第I變換基底，對(duì)該第I差分信號(hào)進(jìn)行正交變換， 所述第2正交變換部，使用離散余弦變換，對(duì)所述第2差分信號(hào)進(jìn)行正交變換。
6.根據(jù)權(quán)利要求I所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 所述幀內(nèi)預(yù)測(cè)分類部，對(duì)分類到所述第I預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)方向與第I基準(zhǔn)方向所成的第I角度、和該預(yù)測(cè)方向與第2基準(zhǔn)方向所成的第2角度進(jìn)行比較，在第I角度為第2角度以下的情況下，將第I預(yù)測(cè)模式分類到第3預(yù)測(cè)模式，在第I角度大于第2角度的情況下，將第I預(yù)測(cè)模式分類到第4預(yù)測(cè)模式， 所述第I正交變換部，在對(duì)所述輸入圖像信號(hào)和按照所述第3預(yù)測(cè)模式由所述幀內(nèi)預(yù)測(cè)圖像生成部生成的預(yù)測(cè)圖像信號(hào)的第3差分信號(hào)進(jìn)行正交變換時(shí)，使用預(yù)先設(shè)計(jì)為使變換后的系數(shù)飽和度比變換前高的第3變換基底，對(duì)該第3差分信號(hào)進(jìn)行正交變換，在對(duì)所述輸入圖像信號(hào)和按照所述第4預(yù)測(cè)模式由所述幀內(nèi)預(yù)測(cè)圖像生成部生成的預(yù)測(cè)圖像信號(hào)的第4差分信號(hào)進(jìn)行正交變換時(shí)，使用預(yù)先設(shè)計(jì)為使變換后的系數(shù)飽和度比變換前高的第4變換基底，對(duì)該第4差分信號(hào)進(jìn)行正交變換。
7.根據(jù)權(quán)利要求6所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 還具有系數(shù)順序控制部，在對(duì)使用了所述第3變換基底以及所述第4變換基底的正交變換后的所述變換系數(shù)進(jìn)行編碼時(shí)，以使對(duì)變換系數(shù)進(jìn)行編碼時(shí)的信息量變得比編碼前少的方式，使用按照非零的變換系數(shù)的發(fā)生概率的大小預(yù)先設(shè)計(jì)的固定掃描順序，按照每個(gè) 所述預(yù)測(cè)模式對(duì)所述變換系數(shù)進(jìn)行重新排序。
8.—種運(yùn)動(dòng)圖像解碼裝置，其特征在于，具備 熵解碼部，根據(jù)編碼數(shù)據(jù)取得預(yù)測(cè)模式和變換系數(shù)； 幀內(nèi)預(yù)測(cè)圖像生成部，按照所述預(yù)測(cè)模式，生成預(yù)測(cè)圖像信號(hào)； 幀內(nèi)預(yù)測(cè)分類部，將所述預(yù)測(cè)模式分類為表示是具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第I預(yù)測(cè)模式、和表示是不具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第2預(yù)測(cè)模式； 系數(shù)順序控制部，按照對(duì)于多個(gè)幀內(nèi)預(yù)測(cè)模式的各個(gè)預(yù)先確定的掃描順序中與所述預(yù)測(cè)模式對(duì)應(yīng)的掃描順序，對(duì)所述變換系數(shù)進(jìn)行重新排序； 第I逆正交變換部，在所述預(yù)測(cè)模式被分類到所述第I預(yù)測(cè)模式的情況下，使用與所述第I預(yù)測(cè)模式對(duì)應(yīng)的第I變換基底，對(duì)所述重新排序后的變換系數(shù)進(jìn)行逆正交變換，得到預(yù)測(cè)誤差信號(hào)； 第2逆正交變換部，在所述預(yù)測(cè)模式被分類到所述第2預(yù)測(cè)模式的情況下，對(duì)所述重新排序后的變換系數(shù)進(jìn)行逆正交變換，得到所述第2預(yù)測(cè)模式的預(yù)測(cè)誤差信號(hào)；以及 加法器，對(duì)所述預(yù)測(cè)誤差信號(hào)和所述預(yù)測(cè)圖像信號(hào)進(jìn)行加法運(yùn)算，生成解碼圖像信號(hào)。
9.一種運(yùn)動(dòng)圖像解碼裝置，其特征在于，具備 熵解碼部，根據(jù)編碼數(shù)據(jù)取得預(yù)測(cè)模式和變換系數(shù)； 幀內(nèi)預(yù)測(cè)圖像生成部，按照所述預(yù)測(cè)模式生成預(yù)測(cè)圖像信號(hào)； 幀內(nèi)預(yù)測(cè)分類部，根據(jù)與多個(gè)幀內(nèi)預(yù)測(cè)模式的各自的預(yù)測(cè)圖像生成方法相應(yīng)地預(yù)先確定的關(guān)系，將所述預(yù)測(cè)模式分類到4個(gè)組中的某一個(gè)，得到表示針對(duì)每個(gè)所述組而預(yù)先確定的正交變換基底的變換基底選擇信息； 系數(shù)順序控制部，按照對(duì)于所述多個(gè)幀內(nèi)預(yù)測(cè)模式的各個(gè)預(yù)先確定的掃描順序中、與所述預(yù)測(cè)模式對(duì)應(yīng)的掃描順序，對(duì)所述變換系數(shù)進(jìn)行重新排序； 逆正交變換部，使用與所述變換基底選擇信息對(duì)應(yīng)的正交變換基底，對(duì)所述重新排序后的變換系數(shù)進(jìn)行逆正交變換，得到預(yù)測(cè)誤差信號(hào)；以及 加法器，對(duì)所述預(yù)測(cè)誤差信號(hào)和所述預(yù)測(cè)圖像信號(hào)進(jìn)行加法運(yùn)算，生成解碼圖像信號(hào)。
10.根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于，所述逆正交變換部，以分離型的二維逆正交變換作為特征，使使用4種正交變換基底中的各個(gè)對(duì)所解讀的變換系數(shù)進(jìn)行逆正交變換時(shí)的正交變換矩陣共有化。
11.根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 所述幀內(nèi)預(yù)測(cè)圖像生成部包含雙方向幀內(nèi)預(yù)測(cè)圖像生成部，從所述解碼后的預(yù)測(cè)模式中選擇兩種幀內(nèi)預(yù)測(cè)模式，并將與這些預(yù)測(cè)模式對(duì)應(yīng)的兩個(gè)預(yù)測(cè)圖像信號(hào)根據(jù)預(yù)測(cè)方向進(jìn)行加權(quán)加法運(yùn)算，從而生成預(yù)測(cè)圖像信號(hào)， 所述幀內(nèi)預(yù)測(cè)分類部，分類為在所述兩種幀內(nèi)預(yù)測(cè)模式中表示幀內(nèi)預(yù)測(cè)的預(yù)測(cè)方向的模式序號(hào)小的第I預(yù)測(cè)模式、和表示該預(yù)測(cè)方向以外的第2預(yù)測(cè)模式。
12.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 所述第I逆正交變換部，將所述第I預(yù)測(cè)模式設(shè)為水平方向，使用所述第I變換基底，對(duì)所述解讀后的變換系數(shù)進(jìn)行逆正交變換， 所述第2逆正交變換部，將所述第2預(yù)測(cè)模式設(shè)為DC預(yù)測(cè)，使用逆離散余弦變換，對(duì)所述解讀后的變換系數(shù)進(jìn)行逆正交變換。
13.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 所述幀內(nèi)預(yù)測(cè)分類部，對(duì)分類到所述第I預(yù)測(cè)模式的預(yù)測(cè)模式的預(yù)測(cè)方向與第I基準(zhǔn)方向所成的第I角度、和該預(yù)測(cè)方向與第2基準(zhǔn)方向所成的第2角度進(jìn)行比較，在第I角度為第2角度以下的情況下，將第I預(yù)測(cè)模式分類到第3預(yù)測(cè)模式，在第I角度大于第2角度的情況下，將第I預(yù)測(cè)模式分類到第4預(yù)測(cè)模式， 所述第I逆正交變換部，使用與所述第3預(yù)測(cè)模式對(duì)應(yīng)的第3變換基底，對(duì)所述解讀的變換系數(shù)進(jìn)行逆正交變換，得到第3差分信號(hào)，使用與所述第4預(yù)測(cè)模式對(duì)應(yīng)的第4變換基底，對(duì)所述解讀的變換系數(shù)進(jìn)行逆正交變換，得到第4差分信號(hào)， 所述加法器，對(duì)所述第3差分信號(hào)以及第4差分信號(hào)、和在與該差分信號(hào)對(duì)應(yīng)的預(yù)測(cè)模式下生成的預(yù)測(cè)圖像信號(hào)進(jìn)行加法運(yùn)算，生成解碼圖像信號(hào)。
14.根據(jù)權(quán)利要求13所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 還具有系數(shù)順序控制部，在使用所述第3變換基底以及所述第4變換基底對(duì)所述解讀后的變換系數(shù)進(jìn)行編碼時(shí)，以使對(duì)變換系數(shù)進(jìn)行編碼時(shí)的信息量變得比編碼前少的方式，使用按照非零的變換系數(shù)的發(fā)生概率的大小預(yù)先設(shè)計(jì)的固定掃描順序，按照每個(gè)所述預(yù)測(cè)模式對(duì)所述變換系數(shù)進(jìn)行重新排序。
全文摘要
具備預(yù)測(cè)部，使用依據(jù)多個(gè)幀內(nèi)預(yù)測(cè)模式中的選擇模式的幀內(nèi)預(yù)測(cè)，求出編碼對(duì)象的預(yù)測(cè)誤差信號(hào)；幀內(nèi)預(yù)測(cè)分類部，將選擇模式分類為表示是具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第1預(yù)測(cè)模式、和表示是不具有預(yù)測(cè)方向的幀內(nèi)預(yù)測(cè)的第2預(yù)測(cè)模式；第1正交變換部，在選擇模式被分類到第1預(yù)測(cè)模式的情況下，使用預(yù)先確定為使變換后的系數(shù)飽和度比變換前變高的第1變換基底，對(duì)預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換而得到變換系數(shù)；第2正交變換部，在選擇模式被分類到第2預(yù)測(cè)模式的情況下，對(duì)預(yù)測(cè)誤差信號(hào)進(jìn)行正交變換而得到變換系數(shù)；系數(shù)順序控制部，按照對(duì)于多個(gè)幀內(nèi)預(yù)測(cè)模式中的各個(gè)預(yù)先確定的掃描順序中與選擇模式對(duì)應(yīng)的掃描順序，對(duì)變換系數(shù)重新排序；以及熵編碼部，對(duì)表示選擇模式的信息和重新排序后的變換系數(shù)進(jìn)行編碼。
文檔編號(hào)H04N7/32GK102763416SQ201080060758
公開日2012年10月31日 申請(qǐng)日期2010年9月24日 優(yōu)先權(quán)日2010年1月7日
發(fā)明者中條健, 山口潤, 鹽寺太一郎, 谷沢昭行 申請(qǐng)人:株式會(huì)社東芝