本發(fā)明涉及一種允許非正方形塊的編碼的、靜態(tài)圖像或者視頻的編碼裝置以及解碼裝置。

背景技術：

在以h.264和h.265為代表的視頻編碼方式中，幀內(nèi)預測將已被編碼/解碼的相鄰塊的像素作為參考像素，以正方形塊為單位預測該塊內(nèi)的像素值。在將像素值和幀內(nèi)預測值的殘差信號進行正交變換/量化之后，應用系數(shù)掃描進行熵編碼，從而生成比特流。

在非專利文獻1、3和專利文獻1中，提出了如下方法：在以往的國際標準編碼方式上追加非正方形塊，將像素值和幀內(nèi)預測值的殘差信號進行非正方形正交變換/量化之后，將其系數(shù)重新排列成正方形，應用對于以往的正方形塊的系數(shù)掃描進行熵編碼。

另外，在非專利文獻2中，提出了基于幀內(nèi)預測模式的方向自適應殘差變換(direction-adaptiveresidualtransform，以下適當簡稱為dart)來代替以往的分離型dct。

現(xiàn)有技術文獻

專利文獻

專利文獻1：國際公開2013/063245號

非專利文獻

非專利文獻1：yuanyuan,xiaozhenzheng,lingzhiliu,xiaorancaoandyunhe,"non-squarequadtreetransformstructureforhevc",2012picturecodingsymposium,may7-9,2012,krakow,poland.

非專利文獻2：roberta.cohen,svenklomp,anthonyvetro,andhuifangsun,"direction-adaptivetransformsforcodingpredictionresiduals",ieeeinternationalconferenceonimageprocessing2010(icip2010).

非專利文獻3：xiaorancao,xiulianpeng,changcailai,yunfeiwang,yongbinglin,jizhengxu,lingzhiliu,jianhuazheng,yunhe,haopingyuandfengwu,"ce6.breportonshortdistanceintrapredictionmethod",doc.jct-vcd299,4thmeeting:daegu,kr,20-28january,2011.

技術實現(xiàn)要素：

發(fā)明所要解決的問題

以下，關于處理非正方形塊的現(xiàn)有技術，參照圖1至圖4說明該現(xiàn)有技術的概要，關于dart，參照圖5、圖6說明該現(xiàn)有技術的概要。

圖1以及圖2分別是進行在非專利文獻3中提出的幀內(nèi)預測的編碼裝置以及解碼裝置的功能框圖。圖3以及圖4均使用于該非專利文獻3，是用于說明非專利文獻1、3中提出的四叉樹分割正交變換的圖。

編碼裝置300具有如圖1所示的各功能部，分別如下發(fā)揮作用。

模式選擇部301的輸入是編碼對象的輸入圖像和保存在已編碼塊緩沖區(qū)343的參考像素。在模式選擇部301中，基于速率失真優(yōu)化算法確定塊分割(是正方形還是非正方形、塊大小)和預測模式。模式選擇部301的輸出是塊的分割類型和該被分割的各個塊(正方形或者非正方形塊)中的預測模式，并向模式信息緩沖區(qū)302以及正方形(非正方形)幀內(nèi)預測部311(321)輸出。

另外，在構成輸入圖像的像素中，向正方形幀內(nèi)預測部311輸出通過模式選擇部301的確定結果被分割成正方形塊的像素，向非正方形幀內(nèi)預測部321輸出該確定結果被分割成非正方形塊的像素。

由此，如圖1所示，在現(xiàn)有技術中，通過以正方形塊和非正方形塊區(qū)分情況進行處理，從而能夠處理非正方形塊，提高了編碼效率。開關340根據(jù)該區(qū)分情況切換正方形/非正方形的像素信號。

即，如圖所示，當正方形塊時，在正方形幀內(nèi)預測部311、差分器312、正方形dct(離散余弦變換，discretecosinetransformation)部313、量化部332、熵編碼部333、逆量化部334、開關340、正方形idct(逆離散余弦變換，inversediscretecosinetransformation)部351、加法器341、已編碼塊緩沖區(qū)343中依次進行處理。該正方形塊的情況的處理與h.264和h.265的一般的幀內(nèi)預測的情況相同。

另外，如圖所示，當非正方形塊時，在非正方形幀內(nèi)預測部321、差分器322，非正方形dct部323、正方形化部324、量化部332、熵編碼部333、逆量化部334、開關340、非正方形化部350、非正方形idct部352、加法器342、已編碼塊緩沖區(qū)343中依次完成處理。

因此，即便是在非正方形塊的情況下，關于位于正方形化部324以及非正方形化部350之間的量化部332以及逆量化部334或者熵編碼部333，也進行與正方形塊共同的處理。這是因為在該處非正方形塊被重新排列成正方形塊。

另外，當非正方形塊時，經(jīng)過稱作正方形化部324以及非正方形化部350的構成的處理來進行重新排列在形式上與正方形塊時不同，除此之外的處理在形式上具有與正方形塊時并列地對應的關系。例如，正方形塊由正方形幀內(nèi)預測部311來進行處理，在非正方形塊時由非正方形幀內(nèi)預測部321進行對應的處理。以下，通過利用括號將附圖標記和其他一并記載，從而并列地說明具有這種對應關系的處理。

在正方形(非正方形)幀內(nèi)預測部311(321)中，輸入是預測模式和輸入圖像和保存在已編碼塊緩沖區(qū)343的參考像素。基于將正方形(非正方形)塊作為對象的速率失真優(yōu)化算法，生成根據(jù)最優(yōu)預測方法的預測值。正方形(非正方形)幀內(nèi)預測部311(321)的輸出是預測值，向差分器312(322)以及加法器341(342)輸出。

在差分器312(322)中，將正方形(非正方形)幀內(nèi)預測部311(321)所輸出的預測值和編碼對象的輸入圖像中應用了該預測的塊的像素的差分作為預測殘差而求出，將該預測殘差向正方形(非正方形)dct部313(323)輸出。

作為正方形dct部313，輸入是差分器312所輸出的輸入圖像和預測值的預測殘差。輸出是進行了二維正方形dct(離散余弦變換)正交變換的系數(shù)，并向量化部332輸出。

作為非正方形dct部323，輸入是差分器322所輸出的輸入圖像和預測值的預測殘差，在非正方形dct部323中應用二維非正方形dct正交變換。輸出是進行了二維非正方形dct正交變換的系數(shù)，向正方形化部324輸出。

應當指出的是，正方形(非正方形)dct部313(323)的處理在形式上能夠通過以下式(1)統(tǒng)一地表示。bn×m為大小n×m塊的預測殘差，cn×m為進行了dct變換的系數(shù)，tm以及tn分別為大小m×m以及n×n的變換基數(shù)。在式(1)中，正方形dct為n＝m的情況。在除此之外的情況(n≠m的情況)下，式(1)表示非正方形dct的處理。

cn×m＝tm×bn×m×tn^t(1)

為了在非正方形的正交變換系數(shù)中也使用以往的量化表，由正方形化部324對非正方形正交變換之后的非正方形系數(shù)塊應用其重新排列操作。由此，作為正方形化部324的輸入，輸入非正方形dct部323所輸出的非正方形塊的正交變換系數(shù)。作為輸出，將重新排列后的變換系數(shù)的正方形塊向量化部332輸出。

在此，有如下的課題。即，由于在正交變換之后重新排列成正方形，因此，正交變換系數(shù)的能量壓縮性能具有改善空間。

在量化部332中，對變換系數(shù)進行量化。作為量化部332的輸入，輸入正方形dct部313或者正方形化部324所輸出的正方形塊的系數(shù)。作為輸出，將該正方形塊系數(shù)被量化的等級值向逆量化部334以及熵編碼部333輸出。

在熵編碼部333中，對等級值進行熵編碼而生成比特流。作為熵編碼部333的輸入，輸入量化部332所輸出的等級值和保存在模式信息緩沖區(qū)302的模式信息。作為輸出，輸出被熵編碼的比特流。該輸出成為圖2的解碼裝置400的輸入。

在逆量化部334中，對等級值進行逆量化。作為逆量化部334的輸入，輸入量化部332所輸出的等級值。作為輸出，向開關340輸出正方形塊的系數(shù)。

在開關340中，根據(jù)保存在模式信息緩沖區(qū)302的對于該塊的分割類型，判斷是否需要重新排列成非正方形。當該塊的分割類型為正方形時，判斷為無需重新排列，向正方形idct部351輸出逆量化部334所輸出的正方形塊的系數(shù)。另一方面，當該塊的分割類型為非正方形時，判斷為需要重新排列，向非正方形化部350輸出逆量化部334所輸出的正方形塊的系數(shù)。

在非正方形化部350中，應用從正方形向非正方形的重新排列操作之后，向非正方形idct部352輸出該非正方形塊系數(shù)。

在正方形idct(逆離散余弦變換)部351中，進行二維正方形dct逆正交變換。作為正方形idct(逆離散余弦變換)部351的輸入，輸入通過開關340送出的正方形塊的系數(shù)。作為輸出，向加法器341輸出重構的預測殘差。

在非正方形idct部352中，將非正方形塊作為對象進行二維非正方形dct逆正交變換。作為非正方形idct部352的輸入，輸入非正方形化部350所輸出的非正方形塊的系數(shù)。作為輸出，向加法器342輸出被重構的預測殘差。

在加法器341(342)中，將正方形(非正方形)idct部351(352)所輸出的預測殘差和正方形(非正方形)幀內(nèi)預測部311(321)所輸出的預測值進行相加而得出重構信號，并將該重構信號保存到已編碼塊緩沖區(qū)343。

以上，由于說明了圖1的編碼裝置300，因此將對與此對應的圖2的解碼裝置400進行說明。

在圖2的熵解碼部433中，從比特流對分割類型和預測模式和等級值進行解碼。作為熵解碼部433的輸入，輸入圖1的熵編碼部333所輸出的比特流。作為輸出，向模式信息緩沖區(qū)402以及預測值生成部444輸出分割類型和預測模式和等級值。

模式信息緩沖區(qū)402輸入分割類型和預測模式，并向預測值生成部444以及開關440輸出。

逆量化部434對熵解碼部433所輸出的等級值進行與圖1的逆量化部334相同的處理，并向開關440輸出正方形塊的系數(shù)。

由于圖2的開關440、正方形idct部451、加法器441、非正方形化部450、非正方形化idct部452、加法器442、存儲器443的處理與分別承擔圖1的重構側(cè)的處理的開關340、正方形idct部351、加法器341、非正方形化部350、非正方形化idct部352、加法器342、已編碼塊緩沖區(qū)343的處理相同，所以賦予對應的附圖標記(圖1中300系列，圖2中400系列，后兩位相同)，因此，省略重復說明。由此，根據(jù)被解碼的塊的分割類型為正方形還是非正方形來區(qū)分情況而進行處理。

即，如果在模式信息緩沖區(qū)402中該塊的分割類型為正方形時，則開關440將逆量化部434的輸出向正方形idct451輸出，如果是非正方形，則將逆量化部434的輸出向非正方形化部450輸出。

另外，作為與編碼裝置側(cè)不同的構成，預測值生成部444生成向加法器441、442發(fā)送的該塊的預測值。此時，根據(jù)熵解碼部433所輸出的預測模式，通過參照保存在存儲器443的解碼像素，生成預測值。由此，由預測值生成部444生成與圖1的正方形幀內(nèi)預測部311或者非正方形幀內(nèi)預測部321所生成的預測值相同的預測值。

以上，說明了圖2的解碼裝置400。以下，詳細說明圖1的模式選擇部301。

圖3以及圖4是用于說明分別在水平分割時和垂直分割時通過模式選擇部301選擇的分割塊(四叉樹分割正交變換)的圖。

在圖3的水平方向的分割方法中，如果在等級0中在2n×2n的塊中水平方向的相關性(以水平方向分割的子塊之間的相關性)高，則當以水平方向分割為非正方形塊時，殘差信號的能量變小。因此，如等級1所示，分割成多個非正方形2n×hn塊。在等級1中示出了被分割為四個h＝0.5的例。進一步，如果包括更細的圖案(texture)，則如等級2所示，將各2n×hn子塊分割為更小的子塊n×qn。在等級2中示出了被分割為四個q＝0.25的例。

圖4示出了以垂直方向?qū)嵤┡c圖3同樣的分割的例。圖4的分割在2n×2n的塊中垂直方向的相關性(以垂直方向分割的子塊之間的相關性)高時，減小殘差信號的能量。

應當指出的是，除了如圖3和圖4所示的四分割以外，也可以進行各種規(guī)定大小的分割，該塊分割可由圖形結構(樹結構)表示，但在分割成非正方形塊時，由于必須確定為分成四個子塊，從而能夠簡單地表現(xiàn)樹結構。

例如，在非專利文獻1和專利文獻1中公開的非正方形塊大小，當進行子塊分割時，基于必須分為四個子塊的設定而示出了以下例舉的類型，通過進一步繼續(xù)圖3和圖4的分割，還能夠分割成像這樣越來越細的非正方形塊。

(非正方形塊大小的例)

32x8、8x32、32x2、2x32、16x4、4x16、16x1、1x16、8x2、2x8

應當指出的是，向如上述的非正方形塊的分割模式的候選設定規(guī)定候選。具體而言，如此前所述，在編碼裝置300的模式選擇功能部301中將各預測應用于各分割候選而嘗試編碼之后，通過速率失真優(yōu)化算法從一系列的結果中確定要應用哪一個分割以及預測。

圖5、圖6是用于說明非專利文獻2提出的dart的圖。

具體而言，在dart中，專注于以下的性質(zhì)。即，是n×n大小(正方形)的幀內(nèi)預測殘差信號塊在預測模式的方向上相關系數(shù)也高的性質(zhì)。并且，專注于該性質(zhì)而進行如下的兩個階段的一維dct。

作為第一階段，以水平、垂直、傾斜中的一個方向作為主路徑(預測模式的方向)進行一維dct。圖5示出了在該主路徑進行的dct的方向(將垂直下方作為基準0°)為0°、45°、135°的情況。如圖所示的方向0、4、12分別表示預測方向的數(shù)量。各個箭頭所示的c0，c1，…，cm/2，…，cm-1等是成為dct系數(shù)的計算對象的主路徑。應當指出的是，當dct的方向為0°時，正方形大小n＝m，當dct的方向為45°以及135°時，正方形大小n＝m/2。

作為第二階段，僅對在所述第一階段輸出的dc系數(shù)作為輔路徑而應用進一步的一維dct。圖6的0°以及45°分別表示與圖5的0°以及45°對應的輔路徑。就圖6的0°而言，在圖5的0°的主路徑c0，c1，…，cm-1中的m個dc分量構成輔路徑s。就圖6的45°而言，在圖5的45°的主路徑cm-1中的m個dc分量構成輔路徑s。

以上的第一階段以及第二階段的結果，根據(jù)dart在n×n塊中輸出的系數(shù)的類型和個數(shù)如下。

·一個dc系數(shù)(輔路徑的輸出)

·各個主路徑和輔路徑的輸出ac系數(shù)

因此，基于dart的二維正交變換的系數(shù)成為1個dc系數(shù)和n²-1個ac系數(shù)，以在形式上與以往的分離型dct相同。然而，如所述ac系數(shù)的類型分為兩種。在此，主路徑輸出的ac系數(shù)是在輔路徑中的dct的對象之外。

以上，一般而言，dart的方法在塊的相關性高的方向和在主路徑進行的dct的方向相同時有效。

以上，說明了各種現(xiàn)有技術，然而在這些中存在如下的課題。

首先，在h.264和h.265所代表的視頻編碼方式中，由于隨著正方形的塊大小變大，參考像素和編碼對象像素的距離變長，相關也降低，從而存在預測性能下降，編碼性能也會下降的課題。

另外，在通過允許非正方形塊的情況而應對了如上所述的相關下降的圖1、2的方式中，存在以下(1)、(2)的課題。

(1)由于使用非正方形的分離型正交變換，導致在非正方形塊中的水平和垂直中的任一方向上，對像素數(shù)量少的塊應用了dct。其結果，在像素數(shù)量少的方向(非正方形塊的長邊以及短邊中的短邊方向)上，能量壓縮性能(使能量向dc分量和低頻分量集中的性能)下降，編碼效率下降。

(2)分離型正交變換由于沒有利用幀內(nèi)殘差信號的方向性，因此能量壓縮性能變低。

進一步，在非專利文獻2中提出的dart由于使用傾斜方向dct，因此，與所述(1)相同地，仍然存在對像素數(shù)量少的塊一定會產(chǎn)生dct，能量壓縮性能下降，編碼效率下降的課題。

例如，在圖5的45°的情況下，相當于中央的主路徑cm/2由n個(n是塊的大小)的多個像素數(shù)量構成，然而越接近端部像素數(shù)量變?yōu)樵缴佟Ｓ绕?，在兩端上的主路徑c0、cm-1的像素數(shù)量為1，從而不能期望能量壓縮性能。

解決問題的技術方案

根據(jù)本發(fā)明的一方面，編碼裝置包括：模式選擇單元，從編碼對象的輸入圖像和已編碼像素確定塊分割類型以及在被分割的各塊中的幀內(nèi)預測模式；正方形幀內(nèi)預測單元，當被確定的所述塊為正方形時，應用正方形幀內(nèi)預測來求出預測值；非正方形幀內(nèi)預測單元，當被確定的所述塊為非正方形時，應用非正方形幀內(nèi)預測來求出預測值；差分單元，用于求出作為所述預測值和對應的編碼對象的輸入圖像的差分的預測殘差；正方形化單元，用于將當被確定的所述塊為非正方形時的預測殘差重新排列成正方形；變換單元，通過對被重新排列成所述正方形的預測殘差或者被確定的所述塊為正方形時的預測殘差應用正交變換來求出變換系數(shù)；量化單元，通過量化所述變換系數(shù)來求出等級值；熵編碼單元，對所述等級值、被確定的所述塊分割類型以及被分割的各塊中的幀內(nèi)預測模式進行編碼；逆量化/逆變換單元，求出對所述等級值進行逆量化以及逆變換而被重構的預測殘差；非正方形化單元，當被重構的所述預測殘差的塊與非正方形對應時，重新排列成非正方形；以及加法單元，通過在被重新排列成所述非正方形的被重構的預測殘差或者被確定的所述塊為正方形時的被重構的預測殘差上加上所述預測值，來重構所述已編碼像素。

另外，根據(jù)本發(fā)明的一方面，解碼裝置包括：熵解碼單元，通過對已編碼的比特流進行解碼，從而對塊分割類型以及在被分割的各塊中的幀內(nèi)預測模式和各塊的等級值進行解碼；預測值生成單元，基于已解碼像素和被解碼的所述塊分割類型以及在被分割的各塊中的幀內(nèi)預測模式來生成解碼對象塊的預測值；逆量化/逆變換單元，求出通過對所述等級值進行逆量化以及逆變換而被解碼的預測殘差；非正方形化單元，當被解碼的所述塊分割類型表示被解碼的所述預測殘差是對于非正方形的預測殘差時，將該預測殘差從正方形重新排列成非正方形；以及加法單元，通過將被解碼的所述塊分割類型表示被解碼的所述預測殘差是對于正方形的預測殘差時的預測殘差或者被重新排列的所述預測殘差與所述預測值相加而生成所述已解碼像素。

通過參照附圖的以下說明會更加清楚本發(fā)明的其他特征以及優(yōu)點。應當指出的是，附圖中，對相同或者同樣的構成賦予了相同的附圖標記。

附圖說明

圖1是根據(jù)現(xiàn)有技術的編碼裝置的功能框圖。

圖2是根據(jù)現(xiàn)有技術的解碼裝置的功能框圖。

圖3是用于說明四叉樹分割正交變換的圖。

圖4是用于說明四叉樹分割正交變換的圖。

圖5是表示在方向自適應型殘差變換中的主路徑的例的圖。

圖6是表示在方向自適應型殘差變換中的輔路徑的例的圖。

圖7是根據(jù)一實施方式的編碼裝置的功能框圖。

圖8是根據(jù)一實施方式1的解碼裝置的功能框圖。

圖9是表示與預測方向?qū)闹匦屡帕械睦膱D。

圖10是表示垂直方向的交錯掃描的圖。

圖11是表示水平方向的交錯掃描的圖。

圖12是表示重新排列為正方形的其他實施方式的例的圖。

具體實施方式

圖7是根據(jù)一實施方式的編碼裝置的功能框圖。編碼裝置100包括模式選擇部101、模式信息緩沖區(qū)102、正方形幀內(nèi)預測部111、非正方形幀內(nèi)預測部121、差分器112、122、正方形化部123、變換部131、量化部132、熵編碼部133、逆量化/逆變換部134、開關140、非正方形化部135、加法器141、142以及已編碼塊緩沖區(qū)143。

圖7的編碼裝置100作為在編碼時的大的構架，與圖1的編碼裝置300相同地，選擇性地對待正方形塊和非正方形塊進行編碼，以賦予與其各部對應的名稱。但是，為了避免作為現(xiàn)有技術的課題的對于像素數(shù)量少的塊的dct而提高編碼效率，尤其在編碼裝置100中，采取了以下措施。

即，在處理非正方形塊時，由非正方形幀內(nèi)預測部121求出其預測值，在差分器122中將其設為預測殘差之后，通過正方形化部123對非正方形塊在與預測模式相同的方向上掃描預測殘差像素值來生成矢量(將殘差值排列成1列)，并根據(jù)該矢量的排列順序，進行正方形化。

因此，即便是在非正方形塊的情況下，由變換部131實施dct的對象也成為被重新排列的正方形塊，能夠避免對于像素數(shù)量少的塊的dct。此外，為了實施該dct而重新排列時，通過進行考慮了應用于原來的非正方形塊的預測的方向的重新排列，能夠提高編碼效率。

以下，說明圖7的編碼裝置100的各部。應當指出的是，在進行該說明時，與圖1的編碼裝置300的說明的情況相同地，關于在正方形塊的情況和非正方形塊的情況下對應的處理和功能部的說明，通過適當?shù)赜美ㄌ柪ㄉ系葋磉M行并列地說明。

模式選擇部101具有與圖1的模式選擇部301相同的功能(但是，非正方形塊時的具體編碼的形成方法如以下說明那樣不同)，將編碼對象的輸入圖像和保存在已編碼塊緩沖區(qū)143的已重構的參考像素作為輸入，將應用于編碼對象塊的塊分割類型(是正方形還是非正方形、塊大小)和對于各分割塊的預測模式輸出到模式信息緩沖區(qū)102。應當指出的是，在圖1的模式選擇部301中，通過四分割進行了說明，然而分割方法還可以是每次進行一分為二的方法等，可使用任意的分割方法。即，只要是能夠分割的最終的一個塊的像素數(shù)量達到(2n)²(其中，n是整數(shù))，即，只要是偶數(shù)的二次方即可。

該被輸出的塊分割類型和預測模式可基于速率失真優(yōu)化算法確定。

在模式信息緩沖區(qū)102中，保持該塊分割類型以及應用的各預測模式的信息，由開關140實施根據(jù)該信息的信號分離(根據(jù)正方形塊時和非正方形塊時的區(qū)分情況的分離)，并向熵編碼部133提供，以對該信息進行編碼。

當應用于輸入圖像的分割塊為正方形塊時，該塊的像素被輸入到正方形幀內(nèi)預測111，當非正方形塊時，該塊的像素被輸入到非正方形幀內(nèi)預測部121。

正方形幀內(nèi)預測111(非正方形幀內(nèi)預測部121)根據(jù)模式選擇部101所輸出的幀內(nèi)預測模式，參照已編碼塊緩沖區(qū)143的已重構像素，對如上所述輸入的正方形塊(非正方形塊)的像素求出其預測值，并向差分器112(差分器122)輸出。

在差分器112(差分器122)中，求出由正方形幀內(nèi)預測部111(非正方形幀內(nèi)預測部121)輸入的預測信號與該編碼對象塊的輸入像素的差分，并將其作為預測殘差，向變換部131(正方形化部123)輸出。

在正方形化部123中，將作為該非正方形塊而排列的預測殘差重新排列為作為正方形塊的預測殘差之后，向變換部131輸出。后述有對正方形化部123詳細說明。

變換部131對差分器112或者正方形化部123所輸出的正方形塊形式的預測殘差實施正交變換，并向量化部132輸出變換系數(shù)。在此，正交變換可使用一般的分離型dct，關于正方形化部123所輸出的正方形塊形式的預測殘差，可通過如后述的其詳細的方法，應用所述的非專利文獻2中的dart。

量化部132對變換部131所輸出的變換系數(shù)進行量化并將其作為等級值，向熵編碼部133以及逆量化/逆變換部134輸出。

熵編碼部133對量化部132所輸出的等級值和保存在模式信息緩沖區(qū)102的應用于該編碼對象塊的塊分割類型的信息以及預測模式的信息進行熵編碼而輸出比特流。該輸出的比特流向后述的圖8的解碼裝置200的熵解碼部233輸入。

逆量化/逆變換部134對量化部132輸出的等級值進行量化部132的量化的逆處理(逆量化)，使其成為變換系數(shù)，進而，對該變換系數(shù)進行變換部131的逆處理(逆變換)，使其成為以正方形塊的形式排列的預測殘差，并向開關140輸出。

在開關140中，通過參照模式信息緩沖區(qū)102，當逆量化/逆變換部134所輸出的預測殘差經(jīng)由正方形幀內(nèi)預測部111(從初始就符合正方形塊)時，將該預測殘差向加法器141輸出，另一方面，當該預測殘差經(jīng)由非正方形幀內(nèi)預測部121(初始是非正方形塊，然而在正方形化部123重新排列成正方形)時，將該預測殘差向非正方形化部135輸出。

非正方形化部135將通過開關140輸出的正方形塊形式的預測殘差重新排列成初始的非正方形塊的形式之后向加法器142輸出。應當指出的是，在該重新排列時，與開關140參照的相同地，通過根據(jù)保存在模式信息緩沖區(qū)102的塊分割類型的信息來重新排列，在非正方形化部135中進行正方形化部123中的重新排列的逆處理。

在加法器141(加法器142)中，將開關140(非正方形化部135)輸出的預測殘差和正方形幀內(nèi)預測部111(非正方形幀內(nèi)預測部121)輸出的預測值進行相加而得到該塊的重構信號，并將該重構信號向已編碼塊緩沖區(qū)143輸出。

在已編碼塊緩沖區(qū)143中保持該重構信號，并將其用于模式選擇部101、正方形幀內(nèi)預測部111以及非正方形幀內(nèi)預測部121中的參照。

圖8是根據(jù)一實施方式的解碼裝置200的功能框圖。解碼裝置200包括熵解碼部233、模式信息緩沖區(qū)202、逆量化/逆變換部234、開關240、非正方形化部235、加法器241、242、存儲器243以及預測值生成部244。

通過具有該構成，在解碼裝置200中進行與圖7的編碼裝置100的重構處理大致對應的處理，將所編碼的比特流依次解碼。每個部分，具體如下。

熵解碼部233通過對圖7的熵編碼部133所輸出的比特流進行熵解碼，得到在該解碼對象塊中的塊分割類型以及預測模式的信息和等級值。該被解碼的塊分割類型以及預測模式的信息向模式信息緩沖區(qū)202輸出并被保持，且向預測值生成部244輸出，另外，等級值向逆量化/逆變換部234輸出。

逆量化/逆變換部234通過進行與圖7的逆量化/逆變換部134相同的處理，對等級值進行逆量化而使其成為變換系數(shù)的同時，對變換系數(shù)進行逆變換而使其成為以正方形塊形式排列的預測殘差，并向開關240輸出。

在開關240中，進行與圖7的開關140相同的處理，參照在保存于模式信息緩沖區(qū)202的該解碼對象塊中的塊分割類型的信息，如果該塊為正方形，則將逆量化/逆變換部234所輸出的預測殘差向加法器241輸出，如果該塊為非正方形，則將該預測殘差向非正方形化部235輸出。

在非正方形化部235中，進行與圖7的非正方形化部135相同的處理，根據(jù)保存在模式信息緩沖區(qū)202的該非正方形塊的信息，將通過該正方形塊形式排列的預測殘差重新排列成初始的非正方形塊形式之后，向加法器242輸出。

在加法器241(加法器242)中，將開關240(非正方形化部235)輸出的預測殘差和與該預測殘差對應的通過預測值生成部244生成的預測值進行相加，獲得該塊的解碼信號，并向存儲器243輸出并保存。在存儲器243中將該解碼信號作為輸出圖像而輸出的同時，將其用于從預測值生成部244的參照。

在預測值生成部244中，通過根據(jù)保存在模式信息緩沖區(qū)202(或者由熵解碼部233解碼)的預測模式的信息來參照存儲器243的解碼像素，生成該解碼對象塊的預測值，如果該解碼對象塊為正方形塊時，將該預測值向加法器241輸出，或者，如果該解碼對象塊為非正方形塊時，將該預測值向加法器242輸出。

以下，對在圖7的正方形化部123中的預測殘差從非正方形重新排列成正方形的處理進行詳細的說明。應當指出的是，圖7的非正方形化部135以及圖8的非正方形化部235通過進行與所述說明的正方形化部123的相反的重新排列，從而將預測殘差從正方形重新排列成非正方形。

在非正方形化部123中，可通過與非正方形塊的大小(n×m)對應的規(guī)定規(guī)則，重新排列成正方形。能夠設為該規(guī)定規(guī)則與對該非正方形塊在非正方形幀內(nèi)預測部121中應用的預測模式中的預測方向?qū)?/p>

通過重新排列的規(guī)定規(guī)則這樣確定為與非正方形塊的大小和預測模式對應，無需由熵編碼部133對重新排列的信息進行編碼。即，在圖8的解碼裝置200的非正方形化部235中，由于根據(jù)被解碼的非正方形塊的大小的信息和預測模式的信息，能夠唯一地確定從正方形向非正方形重新排列的方式的信息，因此，無需對重新排列信息進行編碼。但是，在解碼裝置200中，需要預先保存與非正方形塊的大小和預測模式對應的重新排列的規(guī)定規(guī)則的信息。

圖9是表示與預測方向?qū)闹匦屡帕械睦膱D。在此，圖9的預測方向9a～9h表示非正方形塊的大小為橫2×豎8時的各預測方向，作為s1～s16表示用于重新排列的一維的掃描順序。另外，圖9的附圖標記9i表示根據(jù)預測方向9a～9h中分別示出的掃描順序s1～s16重新排列成大小4×4的正方形的順序。

應當指出的是，需要根據(jù)非正方形塊的大小而設定各種規(guī)定的重新排列(例如，“32×8→16×16”、“32×2→8×8”、“8×2→4×4”、其他等)，但能夠由與圖9(以及后述的圖10、圖11)的例同樣的方針設定規(guī)定順序。

另外，在圖9中，示出了8種預測方向的情況的例，然而，當更細致地定義有8種以上的預測方向時，可以用同樣的方針設定規(guī)定順序，也可以以該例示的8種預測方向中最近的方向為代表。例如，如果預測方向為5°或10°，則由于圖9的預測方向9b的垂直(0°)為最近方向，從而可以應用預測方向9b的重新排列。

在圖9的各預測方向中的掃描順序s1～s16的例所示，一維的掃描順序優(yōu)選通過在非正方形塊中重復與預測方向一致或者盡可能靠近預測方向的單位掃描(反映了預測方向的單位掃描)而構成。該單位掃描在圖9中用大小橫2×豎8的各像素位置處以灰色表示。

在此，為了說明單位掃描，將圖9的橫2×豎8的非正方形塊的像素位置作為指定的格子點(整數(shù))坐標，使用將最左上作為(0，0)、最右下作為(1，7)的坐標。(應當指出的是，該坐標在后述的圖10中也會同樣地使用。)

例如，如預測方向9a所示，如果預測方向為水平(90°)，則單位掃描變?yōu)榛疑摹皊1→s2”或同樣地重復的“s3→s4”、“s5→s6”等，全部位移(δx，δy)＝(+1，0)，與水平(90°)的方向一致。在預測方向9b中，預測方向為垂直(0°)，灰色的單位掃描是“s1→s2→…s8”，位移(δx，δy)＝(0，+7)，與垂直(0°)方向一致。

如預測方向9c所示，如果預測方向為22.5°，則單位掃描是灰色的“s3→s4→s5→s6”等，具有與如圖所示的預測方向22.5°大致一致的方向d3。該方向d3的位移是(δx，δy)＝(+1，+3)。或者，在預測方向9c中，掃描s1、s2以及s15、s16相當于為了設置該單位掃描的重復結構而在兩端多余的部分。另外，如預測方向9h所示，在預測方向為157.5°時，單位掃描也是灰色的“s3→s4→s5→s6”等，該方向d8的位移是(δx，δy)＝(-1，+3)，變?yōu)槭诡A測方向9c的掃描在x軸方向上反轉(zhuǎn)的掃描。如預測方向9d所示，如果預測方向為45°，則單位掃描是灰色的“s2→s3”或同樣的“s4→s5”等，該方向d4的位移是(δx，δy)＝(+1，+1)，與預測方向45°一致?；蛘撸陬A測方向9d中，掃描s1、s16相當于在兩端多余的部分。另外，如預測方向9g所示，當預測方向為135°時，單位掃描也是灰色的“s2→s3”或同樣的“s4→s5”等，該方向d7的位移是(δx，δy)＝(+1，-1)，變?yōu)榕c預測方向9d的掃描對應的掃描。

如預測方向9e所示，如果預測方向為67.5°，則單位掃描是灰色的“s1→s2→s3”或同樣的“s5→s6→s7”等，該方向d3的位移是(δx，δy)＝(+1，+1)，預測方向為靠近67.5°的方向。另外，在預測方向9e中，該單位掃描途中的s4、s8等相當于用于設定該單位掃描的重復結構的途中通過部分。另外，如預測方向9f所示，預測方向為112.5°時單位掃描也是灰色的“s1→s2→s3”或同樣的“s5→s6→s7”等，該方向d6的位移是(δx，δy)＝(-1，+1)，變?yōu)槭诡A測方向9e的掃描在x軸方向上反轉(zhuǎn)的掃描。

以上，按照與如圖9所示的各預測方向?qū)囊?guī)定的掃描順序s1～s16進行一維掃描，通過如附圖標記9i所示那樣根據(jù)該順序以水平方向進行4次掃描，能夠重新排列成正方形。

對附圖標記9i所示出的被重新排列的正方形的預測殘差，在圖7的變換部131中可應用非專利文獻2中所說明的dart。此時，可將第一階段的主路徑適以水平方向應用，可將第二階段的輔路徑以垂直方向應用。通過對該水平以及垂直方向?qū)嵤┮痪Sdct，排除在減少如圖5、圖6中所說明的dct系數(shù)的個數(shù)的傾斜方向上應用一維dct，從而可期待提高編碼效率。

應當指出的是，由于在圖9的附圖標記9i所示例中將在水平方向上排列僅重復相當于垂直方向的次數(shù)，所以將主路徑作為水平方向，將輔路徑作為垂直方向。與此相對，可通過將在垂直方向上排列僅重復相當于水平方向的次數(shù)，從而重新排列成正方形，然而，在這種情況下，可將主路徑作為垂直方向，可將輔路徑作為水平方向。

應當指出的是，作為在正方形化部123中的重新排列的其他的實施方式，當作為預測方向9c以及9h示出的預測方向為22.5°以及157.5°時，可應用作為公知方式的隔行掃描方式(垂直方向的交錯掃描)。

圖10是表示該應用的垂直方向的交錯掃描的圖，對2×8大小的4個分割塊分別應用同大小2×8的部分b1～b4的掃描即可。在這種情況下，在該示出的8×8正方形塊的全體中應用掃描。例如在塊b1的途中有對b2而言“飛行”的地方(2，0)以及(2，1)，可按照該順序掃描b2的地方(2，0)以及(2，1)即可。即，并不是連續(xù)掃描b1全體。

同樣地，作為在正方形化部123中的重新排列的其他實施方式，當作為預測方向圖9e以及圖9f示出了預測方向為67.5°以及112.5°時，可應用作為公知方式的隔行掃描方式(水平方向的交錯掃描)。

圖11是表示該應用的水平方向的交錯掃描的圖，對2×8大小的4個分割塊分別應用相同大小2×8的部分b11～b14的掃描即可。此時，與在圖10中說明的內(nèi)容相同地，在該示出的8×8的正方形塊的全體中應用掃描。

此外，作為在正方形化部123中的重新排列的其他實施方式，可如下進行。即，雖然在圖9中，按照與各預測方向?qū)膾呙桧樞騺硪痪S排列成s1～s16之后，不依賴預測方向而一律如附圖標記9i所示那樣排列成正方形，但也可以取而代之，在排列成正方形時也可以應用與預測方向?qū)闹匦屡帕小?/p>

尤其，可應用正方形的各邊(附圖標記9i的例中橫方向的邊)在單位掃描的開始地方開始的重新排列。此時，可將根據(jù)如下的基準的規(guī)定規(guī)則作為重新排列的規(guī)則來使用。即，是使正方形的各邊的開始地方(圖像坐標(x，y)中將橫方向x的值中的最小地方作為“開始地方”。如果是附圖標記9i的例，則s1、s5、s9、s13的地方)盡可能多個與單位掃描的開始地方一致，且使一維掃描s1～s16的排列盡可能不被改變(當對被重新排列的正方形應用光柵掃描時，從排列s1～s16的改變盡可能少)的基準。

根據(jù)該基準，通過正方形的各邊的開始地方盡可能多個與單位掃描的開始地方一致，從而能夠提高正交變換時的能量壓縮性能，因此，能夠提高編碼效率。這是因為單位掃描與預測方向一致或者排列成靠近預測方向。

圖12中作為根據(jù)該基準的例，示出了重新排列成正方形的其他實施方式的例。

在圖12的附圖標記12a示出的例中，示出了當預測方向為22.5°以及157.5°時(預測方向9c以及9h的情況)，重新排列成正方形的橫方向的邊在作為單位掃描的“s3、s4、s5、s6”等開始的例。即，將正方形的第1～3行(將橫方向的邊稱作“行”)作為單位掃描的“s3～s6”、“s7～s10”、“s11～s14”來構成，將第4行由接著第3行的“s15、s16”以及相當于所述“多余部分”的“s1、s2”構成。

另外，在圖12的附圖標記12b示出的例中，示出了當預測方向為45°以及135°時(預測方向9d以及9g的情況)，重新排列成正方形的橫方向的邊在作為單位掃描的“s2、s3”和“s6、s7”等開始的例。即，將正方形的第1～3行作為單位掃描的“s2、s3以及s4、s5”、“s6、s7以及s8、s9”、“s10、s11以及s12、s13”來構成，將第4行由作為單位掃描的“s14、s15”、接續(xù)其的“s16”以及相當于所述“多余部分”的“s1”構成。

應當指出的是，在應用圖12的重新排列時，對預測方向9a、9b、9e、9f情況，也只要應用圖9的附圖標記9i的排列即可。在此，當預測方向9e(67.5°)、預測方向9f(112.5°)時，s4、s8、s12、s16相當于用于重復單位掃描s1～s3等的所述“途中通過部分”，然而，根據(jù)將一維掃描s1～s16的排列盡可能不改變的基準，按照其原有的形式繼續(xù)排列在單位掃描中，應用圖9的附圖標記9i示出的排列。

以上，根據(jù)本發(fā)明，通過導入在正交變換之前基于預測殘差信號的相關性而從非正方形重新排列成正方形的操作，能夠提高正交變換后的系數(shù)的能量壓縮性能，提高編碼效率。另外，由于通過重新排列成正方形，正交變換之后的處理能夠在正方形塊/非正方形塊中是共同的，從而能夠高速化處理。另外，由于無需發(fā)送用于重新排列的掃描信息(無需編碼/解碼)，且塊內(nèi)像素數(shù)量也不變化，因此，也能夠應用于將以往的正方形塊作為單位的編碼裝置、解碼裝置。本發(fā)明可應用于圖像(靜態(tài)圖像或者視頻(動態(tài)圖像)內(nèi)的圖像)的編碼以及解碼。

本發(fā)明可作為使計算機作為編碼裝置100以及/或者解碼裝置200的全部或者其任意一部分發(fā)揮功能的程序來提供。在該計算機中，可應用cpu(中央運算裝置)、存儲器以及各種i/f的公知的硬件結構，cpu執(zhí)行與編碼裝置100以及/或者解碼裝置200的各部的功能對應的指令。

本發(fā)明不限定于所述實施方式，在不脫離本發(fā)明的思想以及范圍，能夠做出各種變更以及變形。因此，為了公開本發(fā)明的范圍，添加了下面的權利要求。

本申請基于申請?zhí)枮?015-038593、申請日為2015年2月27日提出的日本專利申請?zhí)岢霾⒁髢?yōu)先權，該日本專利申請的全部內(nèi)容引入本申請作為參照。