專利名稱：影像編碼裝置、影像解碼裝置、影像編碼方法及影像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及影像壓縮編碼技術(shù)、壓縮影像數(shù)據(jù)傳送技術(shù)等中使用的影像編碼裝置、影像解碼裝置、影像編碼方法及影像解碼方法。
背景技術(shù)：
以往，在MPEG、ITU-T H. 26x等國際標(biāo)準(zhǔn)影像編碼方式中，將輸入影像幀分割成由 16X16像素塊構(gòu)成的宏塊的單位而進(jìn)行壓縮處理。另一方面，近年來，期待如下技術(shù)對具有與HDTV (High Definition Television (高清晰度電視)，1920X1080像素)的4倍相當(dāng)?shù)目臻g分辨率的4KX2K像素的影像格式、進(jìn)而相當(dāng)于其4倍的8KX4K像素的影像格式、或者增加顏色信號(hào)的采樣數(shù)來提高顏色再現(xiàn)性的4:4:4影像信號(hào)格式等高清晰/高質(zhì)量影像進(jìn)行壓縮編碼。在對這樣的高清晰/高質(zhì)量影像進(jìn)行壓縮編碼的情況下，在16 X 16像素的宏塊中無法進(jìn)行充分利用了圖像信號(hào)相關(guān)的編碼，難以實(shí)現(xiàn)高的壓縮率。為了對應(yīng)于這樣的課題，例如提出了如下技術(shù)將以往的16 X 16像素宏塊的大小如非專利文獻(xiàn)1那樣擴(kuò)展為32 X 32像素塊，增大運(yùn)動(dòng)矢量的分配單位來削減預(yù)測所需的參數(shù)的符號(hào)量，或者增大預(yù)測誤差信號(hào)的變換編碼的塊尺寸(block size)來有效地去除信號(hào)的像素間相關(guān)。圖12是示出非專利文獻(xiàn)1的編碼裝置的結(jié)構(gòu)的框圖。在非專利文獻(xiàn)1的編碼中， 首先，在塊分割部1002中將成為編碼對象的輸入影像信號(hào)1001分割成宏塊(與亮度信號(hào)相當(dāng)且32像素X32線(line)的矩形塊)的單位，并作為編碼影像信號(hào)1003而輸入到預(yù)測部1004。在預(yù)測部1004中，在幀內(nèi)/幀間預(yù)測宏塊內(nèi)的各顏色分量的圖像信號(hào)，得到預(yù)測誤差信號(hào)1005。特別是，在幀間進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測的情況下，以宏塊自身或者將宏塊進(jìn)一步細(xì)分而得到的子塊為單位，搜索運(yùn)動(dòng)矢量，并根據(jù)運(yùn)動(dòng)矢量來生成運(yùn)動(dòng)補(bǔ)償預(yù)測圖像，取得與編碼影像信號(hào)1003之間的差分，從而得到預(yù)測誤差信號(hào)1005。另外，在非專利文獻(xiàn)3中提出了如下方法針對以往的宏塊，在將宏塊的大小固定為16X16像素的狀態(tài)下，使運(yùn)動(dòng)預(yù)測區(qū)域的分割形狀多樣化。壓縮部1006針對預(yù)測誤差信號(hào)1005，根據(jù)運(yùn)動(dòng)矢量的分配單位區(qū)域的大小，一邊變更塊尺寸一邊實(shí)施DCT(離散余弦變換)處理而去除了信號(hào)相關(guān)之后，進(jìn)行量化而得到壓縮數(shù)據(jù)1007。壓縮數(shù)據(jù)1007被可變長編碼部1008熵編碼后作為比特流1009而輸出，并且被發(fā)送到局部解碼部1010，得到解碼預(yù)測誤差信號(hào)1011。將該解碼預(yù)測誤差信號(hào)1011與預(yù)測誤差信號(hào)1005的生成中使用的預(yù)測信號(hào)1012 進(jìn)行相加后作為解碼信號(hào)1013而輸入到環(huán)路濾波器1014。解碼信號(hào)1013在由環(huán)路濾波器1014實(shí)施了去除塊失真的處理之后，作為用于生成以后的預(yù)測信號(hào)1012的參照圖像信號(hào)1015而被保存到存儲(chǔ)器1016中。另外，為了得到預(yù)測信號(hào)1012而在預(yù)測部1004中決定的預(yù)測信號(hào)生成用參數(shù)1017被發(fā)送到可變長編碼部1008，復(fù)用到比特流1009而輸出。此處，在預(yù)測信號(hào)生成用參數(shù)1017中，例如包括表示如何進(jìn)行幀內(nèi)的空間預(yù)測的幀內(nèi)預(yù)測模式、表示幀間的運(yùn)動(dòng)量的運(yùn)動(dòng)矢量等信息。在以往的MPEG、ITU-T H. 26x等國際標(biāo)準(zhǔn)影像編碼方式中采用16X 16像素塊作為宏塊尺寸，與此相對，在非專利文獻(xiàn)1中，使用32X32像素塊的宏塊尺寸(超宏塊SMB)。 圖13示出針對每個(gè)MXM像素宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測時(shí)的運(yùn)動(dòng)矢量分配區(qū)域的分割形狀的樣子，圖13的(a)是非專利文獻(xiàn)1的SMB,圖13的(b)是以往的MPEG-4AVC/H. 264(參照非專利文獻(xiàn)2、的宏塊。將SMB設(shè)為像素?cái)?shù)M = 32而增大每個(gè)運(yùn)動(dòng)矢量所覆蓋的運(yùn)動(dòng)預(yù)測區(qū)域的面積，與此相對，以往的宏塊使用了像素?cái)?shù)M/2 = 16。由此，在SMB中作為畫面整體所需的運(yùn)動(dòng)矢量的信息量與像素?cái)?shù)M/2 = 16相比變少，所以可以抑制應(yīng)作為比特流來傳送的運(yùn)動(dòng)矢量符號(hào)量。另外，在非專利文獻(xiàn)1中，在分割形狀的尺寸大于(M/2) X (M/2)的情況下，將DCT 塊尺寸設(shè)定為16X16像素，一并去除廣泛的區(qū)域的圖像間相關(guān)。由此，提高了預(yù)測誤差信號(hào)的壓縮效率。非專利文獻(xiàn)1 :Siwei Ma and C. -C. Jay Kuo, “ High-definition Video Coding with Super-macroblocks" , Proc. SPIE, Vol. 6508,650816(2007)非專利文獻(xiàn)2 :MPEG-4AVC(IS0/IEC 14496-10)/ITU-TH. 264 規(guī)格非專利文獻(xiàn) 3 :S. Kondo and H. Sasai, " A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding" ,VCIP 2005,July 200
發(fā)明內(nèi)容
如上所述，在非專利文獻(xiàn)1的以往方式中，擴(kuò)展宏塊的大小，增大運(yùn)動(dòng)矢量的分配單位來削減預(yù)測所需的參數(shù)的符號(hào)量，或者去除信號(hào)的像素間相關(guān)來提高預(yù)測誤差信號(hào)的壓縮效率。另一方面，當(dāng)應(yīng)用大的DCT塊尺寸時(shí)存在如下問題由于伴隨著在表現(xiàn)變換系數(shù)時(shí)所需的有效位數(shù)的增加，所以導(dǎo)致系數(shù)表現(xiàn)比特?cái)?shù)的增加。本發(fā)明是為了解決上述那樣的問題而完成的，其目的在于提供一種實(shí)現(xiàn)安裝負(fù)荷平衡良好且根據(jù)成為編碼對象的影像信號(hào)的統(tǒng)計(jì)和局部性質(zhì)更良好地去除信號(hào)相關(guān)來進(jìn)行高效的信息壓縮的影像編碼方法、從而為了超高清晰影像信號(hào)的編碼而提高了最佳性的影像編碼裝置及其方法、以及影像解碼裝置及其方法。本發(fā)明的影像編碼裝置具備塊分割部，將所輸入的運(yùn)動(dòng)圖像信號(hào)的各幀分割為規(guī)定尺寸的宏塊并作為宏塊圖像而輸出；幀存儲(chǔ)器，儲(chǔ)存參照圖像；幀間預(yù)測部，根據(jù)幀存儲(chǔ)器的參照圖像和宏塊圖像進(jìn)行幀間預(yù)測來生成預(yù)測圖像，并且將用于確定該幀間預(yù)測的方法的信息作為幀間預(yù)測信息而輸出；預(yù)測部，從宏塊圖像減去預(yù)測圖像，生成預(yù)測誤差信號(hào)；下采樣處理部，對預(yù)測誤差信號(hào)進(jìn)行下采樣(down sampling)，生成縮小預(yù)測誤差信號(hào)； 第一量化變換部，對縮小預(yù)測誤差信號(hào)進(jìn)行變換和量化，生成量化變換系數(shù)；第一逆量化變換部，對量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理部， 對解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣(up sampling)，生成解碼預(yù)測誤差信號(hào)；加法部，將解碼預(yù)測誤差信號(hào)與預(yù)測圖像進(jìn)行相加而生成局部解碼圖像，并將該局部解碼圖像作為參照圖像而輸出到幀存儲(chǔ)器；以及熵編碼部，對量化變換系數(shù)和幀間預(yù)測信息進(jìn)行熵編碼，輸出編碼數(shù)據(jù)。本發(fā)明的影像解碼裝置具備熵解碼部，對所輸入的編碼數(shù)據(jù)進(jìn)行熵解碼，輸出該編碼數(shù)據(jù)中包含的幀間預(yù)測信息以及量化變換系數(shù)；幀存儲(chǔ)器，儲(chǔ)存參照圖像；第一逆量化變換部，對量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理部，對解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)；預(yù)測部，按照幀間預(yù)測信息，根據(jù)幀存儲(chǔ)器的參照圖像生成預(yù)測圖像；以及加法部，將解碼預(yù)測誤差信號(hào)與預(yù)測圖像進(jìn)行相加而生成解碼圖像，并將該解碼圖像作為參照圖像而輸出到幀存儲(chǔ)器。本發(fā)明的影像編碼方法具備塊分割步驟，將所輸入的運(yùn)動(dòng)圖像信號(hào)的各幀分割為規(guī)定尺寸的宏塊并作為宏塊圖像而輸出；幀間預(yù)測步驟，根據(jù)幀存儲(chǔ)器中儲(chǔ)存的參照圖像和宏塊圖像進(jìn)行幀間預(yù)測而生成預(yù)測圖像，并且將用于確定該幀間預(yù)測的方法的信息作為幀間預(yù)測信息而輸出；預(yù)測步驟，從宏塊圖像減去預(yù)測圖像，生成預(yù)測誤差信號(hào)；下采樣處理步驟，對預(yù)測誤差信號(hào)進(jìn)行下采樣，生成縮小預(yù)測誤差信號(hào)；第一量化變換步驟，對縮小預(yù)測誤差信號(hào)進(jìn)行變換和量化，生成量化變換系數(shù)；第一逆量化變換步驟，對量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理步驟，對解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)；加法步驟，將解碼預(yù)測誤差信號(hào)與預(yù)測圖像進(jìn)行相加而生成局部解碼圖像，并將該局部解碼圖像作為參照圖像而輸出到幀存儲(chǔ)器；以及熵編碼步驟，對量化變換系數(shù)和幀間預(yù)測信息進(jìn)行熵編碼，輸出編碼數(shù)據(jù)。本發(fā)明的影像解碼方法具備熵解碼步驟，對所輸入的編碼數(shù)據(jù)進(jìn)行熵解碼，輸出該編碼數(shù)據(jù)中包含的幀間預(yù)測信息以及量化變換系數(shù)；第一逆量化變換步驟，對量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理步驟，對解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)；預(yù)測步驟，按照幀間預(yù)測信息，根據(jù)幀存儲(chǔ)器中儲(chǔ)存的參照圖像生成預(yù)測圖像；以及加法步驟，將解碼預(yù)測誤差信號(hào)與預(yù)測圖像進(jìn)行相加而生成解碼圖像，并將該解碼圖像作為參照圖像而輸出到幀存儲(chǔ)器。根據(jù)本發(fā)明，對預(yù)測誤差信號(hào)進(jìn)行下采樣以及變換和量化而生成量化變換系數(shù)， 并且對量化變換系數(shù)進(jìn)行上采樣以及逆量化和逆變換而生成解碼預(yù)測誤差信號(hào)，所以可以低成本地提供如下的影像編碼裝置及其方法、以及影像解碼裝置及其方法實(shí)現(xiàn)安裝負(fù)荷平衡良好、且根據(jù)成為編碼對象的影像信號(hào)的統(tǒng)計(jì)和局部性質(zhì)更好地去除信號(hào)相關(guān)來進(jìn)行高效的信息壓縮的影像編碼方法，為了 4:4:4格式的超高清晰影像信號(hào)的編碼而提高了最適合性。


圖1是示出本發(fā)明的實(shí)施方式1的影像編碼裝置以及影像解碼裝置為處理對象的 4:4:4格式的圖。圖2是示出實(shí)施方式1的影像編碼裝置的結(jié)構(gòu)的框圖。圖3是示出圖2所示的塊分割部生成的基準(zhǔn)塊的說明圖。圖4是示出由圖2所示的預(yù)測部按照基本塊單位將運(yùn)動(dòng)預(yù)測單位塊進(jìn)行了分割的形狀例的說明圖。圖5是示出圖2所示的預(yù)測部的動(dòng)作的流程圖。圖6是用于說明預(yù)測部的成本J的計(jì)算方法的圖。
圖7是示出預(yù)測部的運(yùn)動(dòng)預(yù)測模式mcjiiodel 4的預(yù)測矢量PMV的計(jì)算例的圖。圖8是示出圖2所示的壓縮部的內(nèi)部結(jié)構(gòu)的框圖。圖9是示出圖2所示的局部解碼部的內(nèi)部結(jié)構(gòu)的框圖。圖10是示出比特流的數(shù)據(jù)排列的說明圖。圖11是示出實(shí)施方式1的影像解碼裝置的結(jié)構(gòu)的框圖。圖12是示出非專利文獻(xiàn)1的編碼裝置的結(jié)構(gòu)的框圖。圖13是示出在非專利文獻(xiàn)1的編碼裝置中針對每個(gè)宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測時(shí)的運(yùn)動(dòng)矢量分配區(qū)域的分割形狀的樣子的圖。
具體實(shí)施例方式以下，為了更詳細(xì)地說明本發(fā)明，按照附圖來說明用于實(shí)施本發(fā)明的方式。實(shí)施方式1.在本實(shí)施方式中，關(guān)于進(jìn)行以4 4 4格式輸入的數(shù)字影像信號(hào)的壓縮解壓縮的影像編碼裝置以及影像解碼裝置，敘述適應(yīng)于各顏色分量的信號(hào)的狀態(tài)而進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測處理的影像編碼裝置以及影像解碼裝置。此處，圖1示出實(shí)施方式1的影像編碼裝置以及影像解碼裝置作為輸入所使用的 4:4:4格式。4:4:4格式如圖1的(a)所示，是指構(gòu)成彩色運(yùn)動(dòng)圖像的3個(gè)信號(hào)分量C0、C1、 C2的像素?cái)?shù)全部相同的格式。3個(gè)信號(hào)分量的顏色空間既可以是RGB或者XYZ，也可以是亮度和色差(YUV、YCbCr、或者YPbPr)。相對于4:4:4格式，圖1的(b)所示的4:2:0格式是指，顏色空間是YUV、YCbCr或者YPbPr、且色差信號(hào)分量(例如如果是YCbCr則是Cb、Cr) 相對于亮度Y的像素?cái)?shù)在水平W和垂直H分別成為二分之一的格式。在以下的說明中，特別是限定于4:4:4格式的顏色空間是YUV、YCbCr或者YPbPr、 且將各顏色分量視作與亮度分量相當(dāng)而進(jìn)行處理的方式，說明影像編碼裝置以及影像解碼裝置。但是，在以4:2:0格式的影像信號(hào)為對象的影像編碼裝置以及影像解碼裝置中，當(dāng)然也可以對其亮度信號(hào)直接應(yīng)用以下說明的動(dòng)作。另外，針對4 2 0格式的色差信號(hào)，也可以通過使各自的尺寸成為一半來進(jìn)行應(yīng)用。1.影像編碼裝置圖2是示出實(shí)施方式1的影像編碼裝置的結(jié)構(gòu)的框圖。圖2所示的影像編碼裝置將4:4:4格式的輸入影像幀分割為MmaxXMmax像素塊(以下，稱為“基準(zhǔn)塊”)，以該基準(zhǔn)塊為單位進(jìn)行運(yùn)動(dòng)預(yù)測，對預(yù)測誤差信號(hào)進(jìn)行壓縮編碼。首先，成為編碼對象的輸入影像信號(hào)(運(yùn)動(dòng)圖像信號(hào))1在塊分割部2中被分割成基準(zhǔn)塊(M像素XM線(line)的矩形塊)的單位，作為編碼信號(hào)(宏塊圖像)3輸入到預(yù)測部4。圖3示出塊分割部2生成的基準(zhǔn)塊。如圖3所示，基準(zhǔn)塊構(gòu)成為將由MmaxXMmax像素構(gòu)成的矩形的塊進(jìn)行匯總而得到的單位的基準(zhǔn)塊數(shù)據(jù)。按照幀或序列、或者GOP(Group Of Pictures,圖片組)等的上位層數(shù)據(jù)等級，決定并編碼基準(zhǔn)塊尺寸Mmax，這在后面詳細(xì)進(jìn)行敘述。另外，雖然也可以構(gòu)成為在幀內(nèi)變更基準(zhǔn)塊尺寸Mmax，但在該情況下，按照將切片等的多個(gè)宏塊進(jìn)行匯總而得到的單位，指定基準(zhǔn)塊尺寸Mmax?；鶞?zhǔn)塊數(shù)據(jù)進(jìn)一步被分割為LiXMi像素塊(i 顏色分量標(biāo)識(shí)符)的“運(yùn)動(dòng)預(yù)測單位塊”，以運(yùn)動(dòng)預(yù)測單位塊為基礎(chǔ)進(jìn)行運(yùn)動(dòng)預(yù)測、編碼。圖3的(a)中的運(yùn)動(dòng)預(yù)測單位塊的
8圖案(pattern)是L0 = Mmax/2、M0 = Mmax/2，圖3的(b)中的運(yùn)動(dòng)預(yù)測單位塊的圖案是L0 = Mmax/2、MQ = Mmax，圖3的(a)、(b)都是L1 = M1 = L2 = M2 = Mmax0另外，在以下的說明中，關(guān)于4:4:4格式的各顏色分量的基準(zhǔn)塊，在3個(gè)顏色分量CO、Cl、C2中設(shè)為相同，在變更基準(zhǔn)塊的尺寸的情況下，關(guān)于3個(gè)顏色分量的全部，變更為同一基準(zhǔn)塊的尺寸。另外，也可以構(gòu)成為關(guān)于運(yùn)動(dòng)預(yù)測單位塊的尺寸LiJi的各個(gè)，可以針對顏色分量C0、C1、C2的每一個(gè)進(jìn)行選擇，能夠按照序列、G0P、幀、基準(zhǔn)塊等單位進(jìn)行變更。通過采用這樣的結(jié)構(gòu)，不用變更基準(zhǔn)塊尺寸，而可以根據(jù)每個(gè)顏色分量的信號(hào)的性質(zhì)的差異，靈活地決定運(yùn)動(dòng)預(yù)測單位塊尺寸。 另外，基準(zhǔn)塊的尺寸不會(huì)動(dòng)態(tài)地變更，所以可以實(shí)現(xiàn)考慮了以基準(zhǔn)塊為單位的編碼和解碼處理的并行化和流水線化的有效的安裝。在預(yù)測部(幀間預(yù)測部)4中，對基準(zhǔn)塊內(nèi)的各顏色分量的圖像信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測，生成預(yù)測信號(hào)(預(yù)測圖像)12，并且從編碼信號(hào)3減去存儲(chǔ)器(幀存儲(chǔ)器)16保持的參照圖像信號(hào)而得到預(yù)測誤差信號(hào)5。關(guān)于該預(yù)測部4的更詳細(xì)的動(dòng)作，將在后面敘述。壓縮部6在對預(yù)測誤差信號(hào)5實(shí)施DCT處理等變換處理而去除了信號(hào)相關(guān)之后，進(jìn)行量化而得到預(yù)測誤差壓縮數(shù)據(jù)7。此時(shí)，在壓縮部6中具有多個(gè)可以適用于預(yù)測誤差信號(hào)5的變換處理的模式，從它們中選擇最佳的模式進(jìn)行編碼處理，所選擇的模式作為變換處理模式信息32而輸出到可變長編碼部8。另外，關(guān)于壓縮部6的動(dòng)作，由于是本實(shí)施方式1的影像編碼裝置的特征，所以在后面詳細(xì)敘述?？勺冮L編碼部(熵編碼部)8對預(yù)測誤差壓縮數(shù)據(jù)7進(jìn)行熵編碼而作為比特流9 輸出。局部解碼部10從預(yù)測誤差壓縮數(shù)據(jù)7得到解碼預(yù)測誤差信號(hào)11。該解碼預(yù)測誤差信號(hào)11與預(yù)測誤差信號(hào)5的生成中使用的預(yù)測信號(hào)12在加法部中被加法而成為解碼信號(hào)(局部解碼圖像)13，并被輸入到環(huán)路濾波器14。另外，為了得到預(yù)測信號(hào)12而在預(yù)測部4中決定的預(yù)測信號(hào)生成用參數(shù)(幀間預(yù)測信息)17被發(fā)送到可變長編碼部8，并作為比特流9輸出。預(yù)測信號(hào)生成用參數(shù)17被發(fā)送到可變長編碼部8，并作為比特流9輸出。關(guān)于預(yù)測信號(hào)生成用參數(shù)17的內(nèi)容，與預(yù)測部4的說明一起在后面詳細(xì)敘述。環(huán)路濾波器14對重疊了伴隨著壓縮部6中的變換系數(shù)量化而產(chǎn)生的塊失真的解碼信號(hào)13，使用預(yù)測信號(hào)生成用參數(shù)17以及量化參數(shù)19進(jìn)行塊失真校正。在非專利文獻(xiàn)1 3等的影像編碼方式中，在將基準(zhǔn)塊作為宏塊的情況下，一般采用一邊按照宏塊的單位來選擇幀內(nèi)編碼、幀間預(yù)測編碼一邊進(jìn)行編碼的方法。這是因?yàn)?，在幀間的運(yùn)動(dòng)預(yù)測不充分的情況下，在利用幀內(nèi)的相關(guān)時(shí)，編碼有時(shí)更高效。以下，在本實(shí)施方式1的影像編碼裝置中，在說明發(fā)明的要點(diǎn)時(shí)，在文中不會(huì)記載關(guān)于幀內(nèi)編碼的記述及其選擇性使用，但只要沒有特別說明，就可以選擇性地使用以基準(zhǔn)塊為單位的幀內(nèi)編碼。在本實(shí)施方式1的影像編碼裝置中，也可以將基準(zhǔn)塊定義為宏塊，但為了說明運(yùn)動(dòng)預(yù)測，在以后也使用基準(zhǔn)塊這樣的用語。以下，說明本實(shí)施方式1的特征之一即預(yù)測部4的詳細(xì)動(dòng)作。本實(shí)施方式1的預(yù)測部4的特征是以下的2點(diǎn)。(1)基準(zhǔn)塊和運(yùn)動(dòng)預(yù)測單位塊的尺寸與運(yùn)動(dòng)預(yù)測中使用的分割形狀的連動(dòng)適應(yīng)化。(2)與各顏色分量的性質(zhì)對應(yīng)的運(yùn)動(dòng)預(yù)測模式、運(yùn)動(dòng)矢量的決定。
關(guān)于上述(1)，預(yù)測部4首先結(jié)合各顏色分量的信號(hào)的性質(zhì)，將基準(zhǔn)塊分割為 LiXMi像素的運(yùn)動(dòng)預(yù)測單位塊，進(jìn)而將運(yùn)動(dòng)預(yù)測單位塊分割為由IiXmi像素的組合構(gòu)成的多個(gè)形狀。然后，預(yù)測部4對各分割區(qū)域分別分配固有的運(yùn)動(dòng)矢量來進(jìn)行預(yù)測，將預(yù)測效率最優(yōu)良的形狀選擇為運(yùn)動(dòng)預(yù)測模式，使用作為其結(jié)果得到的運(yùn)動(dòng)矢量來進(jìn)行針對各分割區(qū)域的運(yùn)動(dòng)預(yù)測，得到預(yù)測誤差信號(hào)5。運(yùn)動(dòng)預(yù)測單位塊內(nèi)的分割形狀采用由1 Xm像素組成的“基本塊”的組合所構(gòu)成的形狀。在本實(shí)施方式1的影像編碼裝置中，在M與m、L與1之間設(shè)置“m = M/2”、“l(fā) = L/2” 這樣的限制。圖4示出根據(jù)這個(gè)條件決定的基本塊的分割形狀。圖4是示出由預(yù)測部4按照基本塊單位將運(yùn)動(dòng)預(yù)測單位塊進(jìn)行了分割的形狀例的說明圖。以下，在本實(shí)施方式1的影像編碼裝置中，圖4所示的分割形狀的圖案(分割圖案)針對3個(gè)顏色分量既可以是共同的，也可以獨(dú)立地決定。另外，以下將該分割圖案mcjiiodeO 7稱為“運(yùn)動(dòng)預(yù)測模式”。在非專利文獻(xiàn)1、2的影像編碼方式中，運(yùn)動(dòng)預(yù)測應(yīng)用區(qū)域的形狀限定于矩形，無法使用圖4那樣的矩形以外的對角分割。與此相對，在本實(shí)施方式1中，通過使應(yīng)用圖4那樣的運(yùn)動(dòng)預(yù)測的區(qū)域的形狀多樣化，從而在動(dòng)物體的輪廓部分等在基準(zhǔn)塊內(nèi)包括復(fù)雜的運(yùn)動(dòng)的情況下，可以按照比矩形分割還少的運(yùn)動(dòng)矢量個(gè)數(shù)來進(jìn)行運(yùn)動(dòng)預(yù)測。非專利文獻(xiàn)3針對以往的宏塊公開了運(yùn)動(dòng)預(yù)測應(yīng)用區(qū)域的分割形狀的多樣化方法。在該非專利文獻(xiàn)3中， 通過進(jìn)行宏塊分割的線段與其塊邊界的交點(diǎn)位置來表現(xiàn)分割形狀。但是，該方法是在使像素?cái)?shù)M固定的狀態(tài)下使基準(zhǔn)塊內(nèi)的分割圖案增加的方法，存在以下的問題。問題 1 用于對基準(zhǔn)塊的分割圖案進(jìn)行記述的符號(hào)量增加。通過允許成為Mmax mod m = 0 的任意的m，從而使基準(zhǔn)塊內(nèi)的分割圖案增加，需要將用于指定該圖案的信息作為開銷信息進(jìn)行編碼。分割圖案越增加，產(chǎn)生某特定的分割圖案的概率越分散，所以無法高效進(jìn)行分割圖案的熵編碼，成為作為符號(hào)量的開銷，作為總體編碼的性能有極限。問題 2:由于分割圖案增加，在編碼時(shí)為了選擇最佳的分割而所需的運(yùn)算量增大。運(yùn)動(dòng)預(yù)測是占據(jù)編碼處理負(fù)荷的大半的高負(fù)荷處理，在分割圖案盲目地增加的算法中，不得不將影像編碼裝置設(shè)計(jì)成從其中僅驗(yàn)證并利用特定的分割圖案。因此，影像編碼裝置有時(shí)無法最大限度地發(fā)揮算法具有的本來的性能。與此相對，在本實(shí)施方式1的影像編碼裝置中的圖4的方法中，首先，通過1)可以根據(jù)編碼的條件、影像信號(hào)的分辨率、性質(zhì)而以幀等上位等級來變更Mmax的值、幻可以結(jié)合每個(gè)顏色分量Ci的特性而將MmaxXMmax的像素塊分割成基本塊LiXMi像素、幻將基本塊的分割條件限定為滿足成為“m = M/2”、“l(fā) = L/2”的限制的分割形狀之后確保分割的變化的這3個(gè)辦法，來解決上述問題?；緣K的尺寸Mmax的值在幀、切片內(nèi)不會(huì)局部地變更， 而僅能夠在幀等級或者幀列(序列、G0P)等上位數(shù)據(jù)結(jié)構(gòu)等級中變更。這個(gè)結(jié)構(gòu)可以實(shí)現(xiàn)與基準(zhǔn)塊內(nèi)包含的圖像信號(hào)圖案的意思的差異對應(yīng)的適應(yīng)化。例如，在小的分辨率(Video Graphics Array(視頻圖形陣列)，VGA等)的影像和大的分辨率(HDTV等)的影像中，相同的IaxXMfflax像素塊內(nèi)的信號(hào)圖案所表現(xiàn)的意思不同。在預(yù)測同一被攝體的情況下，在小的分辨率的影像中，能捕捉與被攝體的構(gòu)造接近的信號(hào)圖案，但在大的分辨率的影像中，即使使用與小的分辨率時(shí)相同的塊尺寸，也僅能捕捉被攝體的更局部的部位的信號(hào)圖案。因此，在基準(zhǔn)塊的尺寸不依賴于分辨率而相同的情況下，隨著分辨率變高，基準(zhǔn)塊內(nèi)的信號(hào)圖案的噪聲分量的要素變大，可以提高作為圖案匹配技術(shù)的運(yùn)動(dòng)預(yù)測的性能。因此，僅能夠在上位數(shù)據(jù)結(jié)構(gòu)等級中變更基準(zhǔn)塊尺寸Mmax的值，從而可以抑制基準(zhǔn)塊尺寸Mmax的值的信號(hào)傳輸所需的符號(hào)量，并且能夠根據(jù)影像的分辨率、場景變換、畫面整體的活動(dòng)變化等狀況，在運(yùn)動(dòng)預(yù)測的意義上使基準(zhǔn)塊中包含的信號(hào)圖案最佳化。除了這個(gè)結(jié)構(gòu)以外，還可以如圖3那樣針對每個(gè)顏色分量來變更運(yùn)動(dòng)預(yù)測單位塊內(nèi)的分割圖案，從而可以根據(jù)各顏色分量的信號(hào)特性而使運(yùn)動(dòng)預(yù)測的處理單位最佳化。而且，通過向運(yùn)動(dòng)預(yù)測單位塊內(nèi)如圖4那樣提供分割圖案的限定性自由度，可以抑制運(yùn)動(dòng)預(yù)測單位塊內(nèi)的分割圖案表現(xiàn)所需的符號(hào)量，并且改善運(yùn)動(dòng)預(yù)測的整體的效率。另外，如果高效地進(jìn)行以幀等級來決定基準(zhǔn)塊尺寸Iax的值的處理，則在以后可以將在基準(zhǔn)塊內(nèi)應(yīng)檢查的分割圖案的變化抑制得比現(xiàn)有技術(shù)少，可以減小編碼處理的負(fù)荷。在決定基準(zhǔn)塊尺寸Mmax的值的方法中，例如有以下那樣的方法。(1)根據(jù)編碼對象影像的分辨率來決定。在同一 Mmax值的情況、分辨率大的情況下，基準(zhǔn)塊內(nèi)的圖像信號(hào)圖案具有更接近噪聲分量的含義，運(yùn)動(dòng)矢量難以捕捉圖像信號(hào)圖案。在這樣的情況下增大L值，使得能夠捕捉圖像信號(hào)圖案。(2)將幀間的差分值的大小視作活動(dòng)，在活動(dòng)大的情況下以小的Mmax值進(jìn)行運(yùn)動(dòng)預(yù)測，在活動(dòng)小的情況下以大的Mmax值進(jìn)行運(yùn)動(dòng)預(yù)測。另外，根據(jù)編碼對象影像的幀頻 (frame rate)來決定此時(shí)的大小控制。幀頻越高，幀間相關(guān)越大，運(yùn)動(dòng)矢量自身的動(dòng)態(tài)范圍變小，其符號(hào)量變小，所以考慮如下等的方法設(shè)定成即使活動(dòng)稍微小也不使Iax值過大， 從而連細(xì)微的運(yùn)動(dòng)也可以預(yù)測。(3)通過加權(quán)來組合⑴和(2)的方法而進(jìn)行判斷。在決定了基準(zhǔn)塊尺寸Mmax的值之后，針對每個(gè)顏色分量，決定運(yùn)動(dòng)預(yù)測單位塊的尺寸、M”例如，在輸入影像信號(hào)1是在YUV(或者YCbCr等)的顏色空間中定義的信號(hào)的情況下，作為顏色信號(hào)的U/V分量與亮度信號(hào)Y分量相比，信號(hào)頻帶更窄。因此，塊內(nèi)分散與亮度相比變小。據(jù)此，考慮對于U/V分量的尺寸LpMi采用比亮度信號(hào)Y分量的尺寸‘ Mi更大的值這樣的判斷基準(zhǔn)的例子(參照圖3)。將作為進(jìn)行這些判斷的結(jié)果而得到的各塊尺寸MmaxIiJi的值，作為基準(zhǔn)塊尺寸信息18而通知給塊分割部2、預(yù)測部4、可變長編碼部8。另外，如圖3那樣，如果針對Mmax將 L” Mi設(shè)定為通過簡單的運(yùn)算能夠?qū)С龅闹?，則不用將L” Mi作為獨(dú)立的值進(jìn)行編碼而對計(jì)算式的標(biāo)識(shí)符進(jìn)行編碼即可，所以可以抑制基準(zhǔn)塊尺寸信息18所需的符號(hào)量。另外，在圖2中雖然沒有特別圖示，但影像編碼裝置也可以構(gòu)成為具備用于決定 Mfflax, Li^ Mi的值并通知給各部的基準(zhǔn)塊尺寸決定部，而決定基準(zhǔn)塊尺寸信息18。預(yù)測部4根據(jù)從基準(zhǔn)塊尺寸信息18導(dǎo)出的運(yùn)動(dòng)預(yù)測單位塊尺寸L” Mi,執(zhí)行使用圖3、圖4的分割圖案的運(yùn)動(dòng)檢測處理。圖5是示出預(yù)測部4的動(dòng)作的流程圖。預(yù)測部4以 LiXMi像素的運(yùn)動(dòng)預(yù)測單位塊為單位，對該幀的Ci分量進(jìn)行運(yùn)動(dòng)預(yù)測?；旧?，在該過程中，針對圖4的mcjiiode 0 7的各個(gè)分割圖案，在所指定的運(yùn)動(dòng)搜索范圍中檢測每個(gè)分割區(qū)域的最佳運(yùn)動(dòng)矢量，決定最終針對該運(yùn)動(dòng)預(yù)測單位塊使用mcjiiode 0 7中的哪一個(gè)運(yùn)動(dòng)預(yù)測模式時(shí)預(yù)測效率最佳。利用根據(jù)運(yùn)動(dòng)預(yù)測單位塊內(nèi)的運(yùn)動(dòng)矢量的總符號(hào)量R、以及應(yīng)用該運(yùn)動(dòng)矢量而從保存在存儲(chǔ)器16內(nèi)的參照圖像所生成的預(yù)測信號(hào)12與輸入影像信號(hào)1之間的預(yù)測誤差量 D而導(dǎo)出的下述成本J，來定義預(yù)測效率。預(yù)測部4輸出該成本J最小的運(yùn)動(dòng)預(yù)測模式和運(yùn)
動(dòng)矢量。J = D+λR(λ常數(shù))⑴因此，預(yù)測部4首先針對各運(yùn)動(dòng)預(yù)測模式，進(jìn)行成本J的計(jì)算(步驟STl)。在圖6 中，以mcjiiode 5的情形為例來說明成本J的計(jì)算方法。此時(shí)，幀F(xiàn)(t)內(nèi)的被預(yù)測對象的運(yùn)動(dòng)預(yù)測單位塊由2個(gè)分割區(qū)域Bc^B1構(gòu)成。另外，在存儲(chǔ)器16內(nèi)，保存有2個(gè)編碼和局部解碼完畢的參照圖像F’(t-l)、F’(t-2)，可以使用這2個(gè)參照圖像F’(t-l)、F’(t_2)對分割區(qū)域BpB1進(jìn)行運(yùn)動(dòng)預(yù)測。在圖6中，在分割區(qū)域~中，使用參照圖像F’ (t-2)來檢測運(yùn)動(dòng)矢量MVm(Bci),在分割區(qū)域B1中，使用參照圖像F’ (t-Ι)來檢測運(yùn)動(dòng)矢量MVw(B1)15 如果將B設(shè)為分割區(qū)域、將設(shè)為第η幀的畫面內(nèi)位置χ = (i，j)處的像素值、將ν設(shè)為運(yùn)動(dòng)矢量，則可以使用差分絕對值和(Sum of Absolute Difference，SAD)，利用下式(2) 來計(jì)算分割區(qū)域B的預(yù)測誤差量D。
權(quán)利要求
1.一種影像編碼裝置，具備塊分割部，將所輸入的運(yùn)動(dòng)圖像信號(hào)的各幀分割為規(guī)定尺寸的宏塊并作為宏塊圖像而輸出；幀存儲(chǔ)器，儲(chǔ)存參照圖像；幀間預(yù)測部，根據(jù)所述幀存儲(chǔ)器的參照圖像和所述宏塊圖像進(jìn)行幀間預(yù)測來生成預(yù)測圖像，并且將用于確定該幀間預(yù)測的方法的信息作為幀間預(yù)測信息而輸出； 預(yù)測部，從所述宏塊圖像減去所述預(yù)測圖像，生成預(yù)測誤差信號(hào)； 下采樣處理部，對所述預(yù)測誤差信號(hào)進(jìn)行下采樣，生成縮小預(yù)測誤差信號(hào)； 第一量化變換部，對所述縮小預(yù)測誤差信號(hào)進(jìn)行變換和量化，生成量化變換系數(shù)； 第一逆量化變換部，對所述量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理部，對所述解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)； 加法部，將所述解碼預(yù)測誤差信號(hào)與所述預(yù)測圖像進(jìn)行相加而生成局部解碼圖像，并將該局部解碼圖像作為參照圖像而輸出到所述幀存儲(chǔ)器；以及熵編碼部，對所述量化變換系數(shù)和所述幀間預(yù)測信息進(jìn)行熵編碼，輸出編碼數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的影像編碼裝置，其特征在于，具備第二量化變換部，不經(jīng)由下采樣處理部而對預(yù)測誤差信號(hào)直接進(jìn)行變換和量化，生成量化變換系數(shù)；第二逆量化變換部，不經(jīng)由上采樣處理部而對所述量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼預(yù)測誤差信號(hào)；以及變換選擇用開關(guān)，用于選擇是使用所述下采樣處理部、第一量化變換部、第一逆量化變換部以及所述上采樣處理部、還是使用所述第二量化變換部以及所述第二逆量化變換部， 其中，熵編碼部把表示所述變換選擇用開關(guān)的選擇結(jié)果的變換處理模式信息加在一起進(jìn)行熵編碼。
3.一種影像解碼裝置，具備熵解碼部，對所輸入的編碼數(shù)據(jù)進(jìn)行熵解碼，輸出該編碼數(shù)據(jù)中包含的幀間預(yù)測信息以及量化變換系數(shù)；幀存儲(chǔ)器，儲(chǔ)存參照圖像；第一逆量化變換部，對所述量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理部，對所述解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)； 預(yù)測部，按照所述幀間預(yù)測信息，根據(jù)所述幀存儲(chǔ)器的參照圖像生成預(yù)測圖像；以及加法部，將所述解碼預(yù)測誤差信號(hào)與所述預(yù)測圖像進(jìn)行相加而生成解碼圖像，并將該解碼圖像作為參照圖像而輸出到所述幀存儲(chǔ)器。
4.根據(jù)權(quán)利要求3所述的影像解碼裝置，其特征在于，具備第二逆量化變換部，不經(jīng)由上采樣處理部而對量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼預(yù)測誤差信號(hào)；以及變換選擇用開關(guān)，用于選擇是使用第一逆量化變換部以及所述上采樣處理部、還是使用所述第二逆量化變換部，其中，熵解碼部把編碼數(shù)據(jù)中包含的表示所述變換選擇用開關(guān)的選擇的變換處理模式信息加在一起進(jìn)行熵解碼，所述變換選擇用開關(guān)根據(jù)所述變換處理模式信息而被切換。
5.一種影像編碼方法，具備塊分割步驟，將所輸入的運(yùn)動(dòng)圖像信號(hào)的各幀分割為規(guī)定尺寸的宏塊并作為宏塊圖像而輸出；幀間預(yù)測步驟，根據(jù)幀存儲(chǔ)器中儲(chǔ)存的參照圖像和所述宏塊圖像進(jìn)行幀間預(yù)測而生成預(yù)測圖像，并且將用于確定該幀間預(yù)測的方法的信息作為幀間預(yù)測信息而輸出； 預(yù)測步驟，從所述宏塊圖像減去所述預(yù)測圖像，生成預(yù)測誤差信號(hào)； 下采樣處理步驟，對所述預(yù)測誤差信號(hào)進(jìn)行下采樣，生成縮小預(yù)測誤差信號(hào)； 第一量化變換步驟，對所述縮小預(yù)測誤差信號(hào)進(jìn)行變換和量化，生成量化變換系數(shù)； 第一逆量化變換步驟，對所述量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理步驟，對所述解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)；加法步驟，將所述解碼預(yù)測誤差信號(hào)與所述預(yù)測圖像進(jìn)行相加而生成局部解碼圖像， 并將該局部解碼圖像作為參照圖像而輸出到所述幀存儲(chǔ)器；以及熵編碼步驟，對所述量化變換系數(shù)和所述幀間預(yù)測信息進(jìn)行熵編碼，輸出編碼數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的影像編碼方法，其特征在于，具備變換選擇步驟，選擇是否經(jīng)由下采樣處理步驟以及上采樣處理步驟； 第二量化變換步驟，在所述變換選擇步驟中選擇了不經(jīng)由所述下采樣處理步驟的情況下，對預(yù)測誤差信號(hào)直接進(jìn)行變換和量化，生成量化變換系數(shù)；以及第二逆量化變換步驟，在所述變換選擇步驟中選擇了不經(jīng)由所述上采樣處理步驟的情況下，對所述量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼預(yù)測誤差信號(hào)，其中，在所述變換選擇步驟中選擇了經(jīng)由所述下采樣處理步驟以及所述上采樣處理步驟的情況下，進(jìn)行所述下采樣處理步驟、第一量化變換步驟、第一逆量化變換步驟以及所述上采樣處理步驟，在所述變換選擇步驟中選擇了不經(jīng)由所述下采樣處理步驟以及所述上采樣處理步驟的情況下，進(jìn)行所述第二量化變換步驟以及所述第二逆量化變換步驟，在熵編碼步驟中，把表示所述變換選擇用步驟的選擇結(jié)果的變換處理模式信息加在一起進(jìn)行熵編碼。
7.一種影像解碼方法，具備熵解碼步驟，對所輸入的編碼數(shù)據(jù)進(jìn)行熵解碼，輸出該編碼數(shù)據(jù)中包含的幀間預(yù)測信息以及量化變換系數(shù)；第一逆量化變換步驟，對所述量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼縮小預(yù)測誤差信號(hào)；上采樣處理步驟，對所述解碼縮小預(yù)測誤差信號(hào)進(jìn)行上采樣，生成解碼預(yù)測誤差信號(hào)；預(yù)測步驟，按照所述幀間預(yù)測信息，根據(jù)幀存儲(chǔ)器中儲(chǔ)存的參照圖像生成預(yù)測圖像；以及加法步驟，將所述解碼預(yù)測誤差信號(hào)與所述預(yù)測圖像進(jìn)行相加而生成解碼圖像，并將該解碼圖像作為參照圖像而輸出到所述幀存儲(chǔ)器。
8.根據(jù)權(quán)利要求7所述的影像解碼方法，其特征在于，具備 變換選擇步驟，選擇是否經(jīng)由上采樣處理步驟；以及第二逆量化變換步驟，在所述變換選擇步驟中選擇了不經(jīng)由所述上采樣處理步驟的情況下，對量化變換系數(shù)進(jìn)行逆量化和逆變換，生成解碼預(yù)測誤差信號(hào)，其中，在熵解碼步驟中，把編碼數(shù)據(jù)中包含的表示所述變換選擇用步驟的選擇的變換處理模式信息加在一起進(jìn)行熵解碼，在所述變換選擇步驟中，根據(jù)所述變換處理模式信息選擇了經(jīng)由所述上采樣處理步驟的情況下，進(jìn)行第一逆量化變換步驟以及所述上采樣處理步驟，在所述變換選擇步驟中，根據(jù)所述變換處理模式信息選擇了不經(jīng)由所述上采樣處理步驟的情況下，進(jìn)行所述第二逆量化變換步驟。
9.根據(jù)權(quán)利要求2所述的影像編碼裝置，其特征在于，變換選擇用開關(guān)通過比較試行經(jīng)由第一量化變換部的編碼單元與經(jīng)由第二量化變換部的編碼單元而得到的結(jié)果，選擇編碼效率高的編碼單元。
10.根據(jù)權(quán)利要求6所述的影像編碼方法，其特征在于，在變換選擇步驟中，通過比較試行經(jīng)由第一量化變換步驟的編碼方法和經(jīng)由第二量化變換步驟的編碼方法而得到的結(jié)果，選擇編碼效率高的編碼方法。
全文摘要
在影像編碼裝置的壓縮部6中，變換處理決定部31選擇是否在通過下采樣處理部36對預(yù)測誤差信號(hào)5進(jìn)行縮小變換之后進(jìn)行變換和量化，而生成量化系數(shù)數(shù)據(jù)7a、7b中的某一個(gè)。在生成了量化系數(shù)數(shù)據(jù)7b的情況下，繼續(xù)通過局部解碼部對量化系數(shù)數(shù)據(jù)7b進(jìn)行逆量化和逆變換之后，通過上采樣處理部進(jìn)行擴(kuò)大變換，生成解碼預(yù)測誤差信號(hào)。
文檔編號(hào)H04N7/32GK102450018SQ20108002389
公開日2012年5月9日 申請日期2010年5月27日 優(yōu)先權(quán)日2009年5月29日
發(fā)明者伊谷裕介, 關(guān)口俊一, 山岸秀一, 峯澤彰, 杉本和夫 申請人:三菱電機(jī)株式會(huì)社