專利名稱：圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像壓縮編碼技術(shù)、壓縮圖像數(shù)據(jù)傳送技術(shù)等中使用的圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法。
背景技術(shù)：
例如，在MPEG (Moving Picture Experts Group,運動圖像專家組)、“ITU — T
H.26x”等國際標準影像編碼方式中，采用了將集中亮度信號16X16像素、和與該亮度信號16X16像素對應(yīng)的色差信號8X8像素而得到的塊數(shù)據(jù)(以下稱為“宏塊”)作為一個單位，根據(jù)運動補償技術(shù)、正交變換/變換系數(shù)量化技術(shù)來壓縮的方法。運動補償技術(shù)是利用在視頻幀之間存在的高的相關(guān)針對每個宏塊削減時間方向 的信號的冗長度的技術(shù)。S卩，在運動補償技術(shù)中，將編碼已經(jīng)完成的已編碼幀作為參照圖像積蓄到存儲器，在該存儲器中積蓄的參照圖像內(nèi)的規(guī)定的搜索范圍內(nèi)，搜索與作為運動補償預(yù)測的對象塊的當(dāng)前宏塊相比差分功率最小的塊區(qū)域。然后，將差分功率最小的塊區(qū)域的空間位置與當(dāng)前宏塊的空間位置的變位作為運動矢量進行編碼。上述運動矢量不僅表示預(yù)測的效率，而且還表示視頻幀之間的各塊中的局部性的運動的情況也多，所以近年來，開發(fā)了利用該運動矢量的信息，以增加影像的每單位時間的鏡頭數(shù)(幀頻)的目的，生成插值圖像的技術(shù)。作為最簡單的模型，例如，有在時間上在視頻幀之間的正中間生成插值圖像時，將使運動矢量的值成為一半而得到的值用作插值圖像的運動矢量，并使用該運動矢量，根據(jù)前后的幀補償運動這樣的方法。其是假設(shè)了視頻幀之間的運動是線性的情況的模型，視頻幀的間隔越短，上述假設(shè)越成立，并且該運動矢量越小，上述假設(shè)越成立，所以能夠制作某種程度的插值圖像。但是，對于運動矢量，如上所述，表示視頻幀之間的各塊中的局部性的運動的情況較多，但實際上搜索差分功率最小的塊區(qū)域而求出，故也有不表示局部性的運動的情況。在這樣的情況下，在插值圖像中發(fā)生紊亂，且該紊亂變得非常醒目的情況較多，所以如何判定“未能正確地表現(xiàn)運動的運動矢量”并將它們?nèi)コ耐瑫r能夠?qū)⒈緛淼倪\動正確地推測到何種程度變得重要。例如，在以下的非專利文獻I、專利文獻I中，公開了以從通過通用的影像編碼方式得到的比特流抽出運動參數(shù)，并依賴于該運動參數(shù)，使接收側(cè)的再生運動圖像的幀頻虛擬地增加為目的的幀插值技術(shù)。專利文獻I :日本特開2009 - 188996號公報非專利文獻I :H. Sasai, S. Kondoh, and S. Kadono, “Frame — rate Up —conversion using Reliable Analysis of Transmitted Motion Information，，·IEEEInternational Conference on Acoustic,Speech and Signal ProcessingCICASSP)2004,ITT — LI. 5，May 2004.

發(fā)明內(nèi)容
以往的圖像編碼裝置如以上那樣構(gòu)成，所以通過在接收側(cè)虛擬地增加再生運動圖像的幀頻，能夠在某種程度上提高再生運動圖像的質(zhì)量。但是，由于并非以在編碼處理的過程中得到充分的編碼質(zhì)量的方式，實施最佳的編碼控制，所以在接收側(cè)得到的再生運動圖像的質(zhì)量提高中存在限度，存在無法保證再生運動圖像的質(zhì)量的最佳性的課題。本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠提高接收側(cè)的再生圖像的質(zhì)量的圖像編碼裝置以及圖像編碼方法。另外，本發(fā)明的目的在于得到一種能夠根據(jù)從圖像編碼裝置發(fā)送的編碼數(shù)據(jù)再生質(zhì)量高的圖像的圖像解碼裝置以及圖像解碼方法。本發(fā)明的圖像編碼裝置，具備運動檢測單元，檢測塊的運動矢量;第I預(yù)測圖像生成單元，使用由運動檢測單元檢測出的運動矢量來生成第I預(yù)測圖像；存儲器，保持由運動檢測單元檢測出的運動矢量；活動矢量生成單元，根據(jù)所述存儲器中保持的活動矢量，生成編碼對象的塊的活動矢量;第2預(yù)測圖像生成單元，使用由所述活動矢量生成單元生成的活動矢量，生成第2預(yù)測圖像；編碼單元，對由第I預(yù)測圖像生成單元生成的第I預(yù)測圖像與編碼對象的塊的差分圖像進行編碼，并且對第I預(yù)測圖像的生成中使用的運動矢量進行編碼；局部解碼單元，生成該差分圖像的局部解碼圖像，將該局部解碼圖像加到第I預(yù)測圖像，從而生成局部解碼圖像；以及過濾單元，對由第2預(yù)測圖像生成單元生成的第2預(yù)測圖像，進行針對塊邊界的平滑化處理，將由局部解碼單元得到的塊的第I局部解碼圖像、和通過過濾單元得到的圖像中的某一個選擇為由I個或者多個塊構(gòu)成的規(guī)定圖像區(qū)域內(nèi)的局部解碼圖像，將該選擇結(jié)果復(fù)用到比特流來進行編碼傳送。根據(jù)本發(fā)明，具備運動檢測單元，檢測塊的運動矢量；第I預(yù)測圖像生成單元，使用由運動檢測單元檢測出的運動矢量來生成第I預(yù)測圖像；存儲器，保持由運動檢測單元檢測出的運動矢量；活動矢量生成單元，根據(jù)所述存儲器中保持的活動矢量，生成編碼對象的塊的活動矢量；第2預(yù)測圖像生成單元，使用由所述活動矢量生成單元生成的活動矢量，生成第2預(yù)測圖像；編碼單元，對由第I預(yù)測圖像生成單元生成的第I預(yù)測圖像與編碼對象的塊的差分圖像進行編碼，并且對第I預(yù)測圖像的生成中使用的運動矢量進行編碼；局部解碼單元，生成該差分圖像的局部解碼圖像，將該局部解碼圖像加到第I預(yù)測圖像，從而生成局部解碼圖像；以及過濾單元，對由第2預(yù)測圖像生成單元生成的第2預(yù)測圖像，進行針對塊邊界的平滑化處理，將由局部解碼單元得到的塊的第I局部解碼圖像、和通過過濾單元得到的圖像中的某一個選擇為由I個或者多個塊構(gòu)成的規(guī)定圖像區(qū)域內(nèi)的局部解碼圖像，將該選擇結(jié)果復(fù)用到比特流來進行編碼傳送，所以具有能夠提高接收側(cè)的再生圖像的質(zhì)量的效果。


圖I是示出本發(fā)明的實施方式I的圖像編碼裝置的結(jié)構(gòu)圖。圖2是示出可根據(jù)圖片類型選擇的運動預(yù)測模式的一個例子的說明圖。
圖3是示出時間直接模式下的直接矢量的計算方法的示意圖。圖4是示出空間直接模式下的運動矢量的推測方法的示意圖。圖5是示出重疊運動補償處理的說明圖。圖6是不出從可變長編碼部11輸出的比特流的說明圖。圖7是示出本發(fā)明的實施方式I的圖像解碼裝置的結(jié)構(gòu)圖。圖8是示出本發(fā)明的實施方式I的圖像編碼裝置的處理內(nèi)容的流程圖。圖9是示出本發(fā)明的實施方式I的圖像解碼裝置的處理內(nèi)容的流程圖。圖10是示出由運動補償預(yù)測部2執(zhí)行的預(yù)測圖像B的生成處理(針對已編碼圖片F(xiàn)t —i、Ft + 1將處于時間上正中間的圖片F(xiàn)t作為跳躍圖片而進行編碼的情況的生成處理)的 一個例子的說明圖。圖11是示出宏塊X的運動矢量df (X，t)的推測內(nèi)容的說明圖。圖12是示出根據(jù)宏塊內(nèi)的各像素位置定義的權(quán)重參數(shù)的說明圖。圖13是示出根據(jù)宏塊內(nèi)的各像素位置定義的權(quán)重參數(shù)的說明圖。(符號說明)I :運動參數(shù)存儲器；2 :運動補償預(yù)測部(預(yù)測圖像生成單元、運動檢測單元、第I預(yù)測圖像生成單元、運動矢量生成單元、第2預(yù)測圖像生成單元)；3 :減法器(差分圖像選擇單元、編碼單元);4 :編碼模式判定部(差分圖像選擇單元、編碼單元);5 :壓縮部(量化單元)；6 :局部解碼部(參照圖像生成單元、局部解碼單元)；7 :選擇開關(guān)(參照圖像生成單元、局部解碼單元)；8 :加法器(參照圖像生成單元、局部解碼單元)；9 :環(huán)路過濾器(參照圖像生成單元、過濾單元);10 :幀存儲器；11 :可變長編碼部(可變長編碼單元、編碼單元);21 :運動參數(shù)存儲器；22 :可變長解碼部(可變長解碼單元、第I預(yù)測圖像生成單元、解碼單元)；23 :預(yù)測誤差解碼部(逆量化單元、解碼單元)；24 :運動補償部(預(yù)測圖像生成單元、第I預(yù)測圖像生成單元、運動矢量生成單元、第2預(yù)測圖像生成單元)；25 :選擇開關(guān)(解碼圖像生成單元)；26 :加法器(解碼圖像生成單元、加法單元);27 :環(huán)路過濾器(解碼圖像生成單元、過濾單元)；28 :幀存儲器。
具體實施例方式以下，參照附圖，詳細說明本發(fā)明的實施方式。實施方式I.圖I是示出本發(fā)明的實施方式I的圖像編碼裝置的結(jié)構(gòu)圖。在圖I的圖像編碼裝置中，將輸入圖像分割為宏塊單位(或者分割宏塊而得到的子宏塊單位)，將宏塊單位(或者子宏塊單位)的輸入圖像輸入到運動補償預(yù)測部2以及減法器3。設(shè)為針對每個宏塊執(zhí)行編碼處理，在構(gòu)成輸入圖像的所有宏塊的編碼處理結(jié)束了的時亥IJ，該輸入圖像的編碼處理結(jié)束。以下，在該實施方式I中，為便于說明，設(shè)為將宏塊單位的輸入圖像被輸入到運動補償預(yù)測部2以及減法器3而進行說明。在向運動補償預(yù)測部2以及減法器3的輸入成為子宏塊單位的情況下，將“宏塊”更換為“子宏塊”，設(shè)為I個宏塊的處理是通過其內(nèi)部的所有子宏塊的處理結(jié)束而結(jié)束的。另外，在圖I的圖像編碼裝置中，將表示“針對每個宏塊進行伴隨運動參數(shù)、預(yù)測殘差信息的編碼的通常的圖片編碼”、還是“進行跳躍圖片編碼”的圖片編碼方法控制信息(控制信息)輸入到運動補償預(yù)測部2、編碼模式判定部4、選擇開關(guān)7、環(huán)路過濾器9以及可變長編碼部11。在圖I中，運動參數(shù)存儲器I是例如保存已編碼宏塊的預(yù)測參數(shù)(運動預(yù)測模式、運動矢量、參照圖像的識別編號)等的例如RAM等記錄介質(zhì)。運動補償預(yù)測部2實施如下處理從幀存儲器10中保存的I幀以上的運動補償預(yù)測用的參照圖像中，選擇實際上在預(yù)測中使用的參照圖像，以構(gòu)成輸入圖像的宏塊的單位，實施運動補償預(yù)測處理，從而生成預(yù)測圖像。在運動補償預(yù)測部2中，作為生成預(yù)測圖像時的預(yù)測圖像生成方式，具備第I預(yù)測圖像生成方式(“運動預(yù)測模式A”下的預(yù)測圖像生成方式)、和第2預(yù)測圖像生成方式(“運動預(yù)測模式B”下的預(yù)測圖像生成方式)，通過運動預(yù)測模式A和運動預(yù)測模式B分別生成預(yù)測圖像。

在運動預(yù)測模式A的情況下，選擇幀存儲器10中保存的I幀以上的參照圖像中的某一個，在該選擇出的參照圖像中，確定以成為運動補償預(yù)測的對象的宏塊的畫面內(nèi)位置為起點而平行移動變位了的位置中的、將對象宏塊的圖像圖案最佳地表現(xiàn)的塊，從而作為該畫面內(nèi)變位量，求出I個運動矢量。即，對于運動矢量，由于與其計算中使用的參照圖像成對地規(guī)定，所以通過參照圖像識別編號指定使用幀存儲器10中保存的I幀以上的參照圖像中的哪一個參照圖像來計算。在針對成為運動補償預(yù)測的對象的宏塊分配2個以上的運動矢量的情況下，個別地通過參照圖像識別編號指定分別使用哪一個參照圖像來得到各個運動矢量。另外，在針對成為運動補償預(yù)測的對象的宏塊使用2個以上的運動矢量的情況下，既可以表示分別不同的參照圖像識別編號，也可以是其中的幾個相同的參照圖像識別編號。使用所得到的運動矢量以及參照圖像識別編號來生成預(yù)測圖像A (使用從成為運動補償預(yù)測的對象的宏塊的畫面內(nèi)位置移動了該運動矢量的量的位置的圖像區(qū)域，來生成預(yù)測圖像A)。在運動預(yù)測模式B的情況下，生成運動參數(shù)存儲器I中保存的已編碼宏塊的預(yù)測參數(shù)編碼對象的宏塊的推測矢量，實施使用該推測矢量的運動補償預(yù)測處理來生成預(yù)測圖像B。其中，在運動補償預(yù)測部2中，如果圖片編碼方法控制信息表示“進行通常的圖片編碼”意思，則通過運動預(yù)測模式A和運動預(yù)測模式B，分別生成預(yù)測圖像，但如果表示“進行跳躍圖片編碼”意思，則不使用運動預(yù)測模式A，而僅通過運動預(yù)測模式B來生成預(yù)測圖像。另外，運動補償預(yù)測部2構(gòu)成了預(yù)測圖像生成單元。減法器3實施如下處理求出編碼對象的宏塊的圖像與由運動補償預(yù)測部2通過運動預(yù)測模式A生成的預(yù)測圖像A的差分來計算差分圖像A，并且求出編碼對象的宏塊的圖像與由運動補償預(yù)測部2通過運動預(yù)測模式B生成的預(yù)測圖像B的差分來計算差分圖像B0但是，在圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思的情況下，不生成預(yù)測圖像A，所以不進行求出編碼對象的宏塊的圖像與通過運動預(yù)測模式A生成的預(yù)測圖像A的差分來計算差分圖像A的處理。
編碼模式判定部4實施如下處理評價編碼對象的宏塊的圖像與通過運動預(yù)測模式A生成的預(yù)測圖像A之間的差分圖像A的編碼效率，并且評價編碼對象的宏塊與通過運動預(yù)測模式B生成的預(yù)測圖像B之間的差分圖像B的編碼效率，選擇編碼效率最高的差分圖像。另外，編碼模式判定部4實施如下處理將表示編碼效率最高的差分圖像的預(yù)測差分信號輸出到壓縮部5，并且將與該差分圖像相關(guān)的預(yù)測圖像的生成中使用的預(yù)測參數(shù)(運動預(yù)測模式(預(yù)測圖像識別信息)、運動矢量(或者直接矢量)、參照圖像的識別編號)保存到運動參數(shù)存儲器1，并且，將該預(yù)測參數(shù)(運動預(yù)測模式(預(yù)測圖像識別信息)、運動矢量(僅限于選擇了差分圖像A的情況，將運動矢量包含在預(yù)測參數(shù)，在選擇了差分圖像B的情況下，不將運動矢量包含于預(yù)測參數(shù))、參照圖像的識別編號)輸出到可變長編碼部11。但是，在圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思的情況下，不生成預(yù)測圖像A，所以不進行評價差分圖像A的編碼效率的處理。另外，由減法器3以及編碼模式判定部4構(gòu)成了差分圖像選擇單元。 壓縮部5實施如下處理通過針對從編碼模式判定部4輸出的預(yù)測差分信號實施DCT (離散余弦變換)處理，計算DCT系數(shù)，并且對該DCT系數(shù)進行量化，將作為量化后的DCT系數(shù)的壓縮數(shù)據(jù)輸出到局部解碼部6以及可變長編碼部11。另外，壓縮部5構(gòu)成了量化單元。局部解碼部6實施如下處理對從壓縮部5輸出的壓縮數(shù)據(jù)進行逆量化來求出DCT系數(shù)，并針對該DCT系數(shù)實施逆DCT (逆離散余弦變換)處理，從而計算與從編碼模式判定部4輸出的預(yù)測差分信號相當(dāng)?shù)木植拷獯a預(yù)測差分信號。選擇開關(guān)7實施如下處理如果圖片編碼方法控制信息表示“進行通常的圖片編碼”意思，則選擇由局部解碼部6計算出的局部解碼預(yù)測差分信號并輸出到加法器8，如果該圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思，則選擇全零值并輸出到加法器8。加法器8實施如下處理通過將由選擇開關(guān)7選擇出的局部解碼預(yù)測差分信號或者全零值加到表示由運動補償預(yù)測部2生成的預(yù)測圖像(與編碼效率最高的差分圖像相關(guān)的預(yù)測圖像)的預(yù)測信號，生成表示局部解碼圖像的局部解碼圖像信號。在環(huán)路過濾器9中，如果圖片編碼方法控制信息表示“進行通常的圖片編碼”意思，則實施使用針對DCT塊邊界的塊失真去除過濾器(解塊過濾器)，對由加法器8生成的局部解碼圖像中包含的編碼失真進行補償?shù)氖д嫜a償處理，如果該圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思，則實施對預(yù)測圖像的運動矢量分配區(qū)域中發(fā)生的塊邊界(在運動預(yù)測模式B下，宏塊邊界)的不連續(xù)性進行緩和的運動塊邊界平滑化處理。另外，由局部解碼部6、選擇開關(guān)7、加法器8以及環(huán)路過濾器9構(gòu)成了參照圖像生成單元。幀存儲器10是將從環(huán)路過濾器9輸出的環(huán)路過濾器圖像(過濾處理后的局部解碼圖像)保存為參照圖像的RAM等記錄介質(zhì)?？勺冮L編碼部11實施如下處理對從壓縮部5輸出的壓縮數(shù)據(jù)(包括對DCT系數(shù)進行量化時的量化參數(shù))、從編碼模式判定部4輸出的預(yù)測參數(shù)以及圖片編碼方法控制信息進行熵編碼，生成表示其編碼結(jié)果的比特流(編碼數(shù)據(jù))，并輸出該比特流。另外，可變長編碼部11構(gòu)成了可變長編碼單元。
在圖I中，假設(shè)作為圖像編碼裝置的構(gòu)成要素的運動補償預(yù)測部2、減法器3、編碼模式判定部4、壓縮部5、局部解碼部6、選擇開關(guān)7、加法器8、環(huán)路過濾器9以及可變長編碼部11的各個由專用的硬件(例如，安裝了 CPU的半導(dǎo)體集成電路、或者單片機等)構(gòu)成的例子，但在圖像編碼裝置由計算機構(gòu)成的情況下，也可以將記述了運動補償預(yù)測部2、減法器3、編碼模式判定部4、壓縮部5、局部解碼部6、選擇開關(guān)7、加法器8、環(huán)路過濾器9以及可變長編碼部11的處理內(nèi)容的程序保存到該計算機的存儲器，并使該計算機的CPU執(zhí)行該存儲器中保存的程序。圖8是示出本發(fā)明的實施方式I的圖像編碼裝置的處理內(nèi)容的流程圖。圖7是示出本發(fā)明的實施方式I的圖像解碼裝置的結(jié)構(gòu)圖。設(shè)為針對每個宏塊執(zhí)行解碼處理，并設(shè)為在構(gòu)成解碼圖像的所有宏塊的解碼處理結(jié)束了的時刻，該解碼圖像的解碼處理結(jié)束。進而，在I個宏塊由多個子宏塊構(gòu)成的情況下，設(shè)為I個宏塊的解碼處理是通過其內(nèi)部的所有子宏塊的解碼處理結(jié)束而結(jié)束的。以下，為便于說明，與編碼裝置側(cè)合并地將“宏塊”作為處理單位而進行說明，但能夠通過將“宏塊”變更為“子宏塊”而說明為針 對子宏塊的解碼處理。在圖7中，運動參數(shù)存儲器21是保存例如已解碼宏塊(或者已解碼子宏塊)的預(yù)測參數(shù)(運動預(yù)測模式、運動矢量、參照圖像的識別編號)等的例如RAM等記錄介質(zhì)?？勺冮L解碼部22實施如下處理輸入從圖I的圖像編碼裝置輸出的比特流(編碼數(shù)據(jù))，從該比特流，對壓縮數(shù)據(jù)(包括對DCT系數(shù)進行量化時的量化參數(shù))、預(yù)測參數(shù)(運動預(yù)測模式(預(yù)測圖像識別信息)、運動矢量(在由圖I的編碼模式判定部4選擇了差分圖像A的情況下，將運動矢量包含于預(yù)測參數(shù)，但在選擇了差分圖像B的情況下，不將運動矢量包含于預(yù)測參數(shù))、參照圖像的識別編號)以及圖片編碼方法控制信息進行熵解碼，并將該壓縮數(shù)據(jù)輸出到預(yù)測誤差解碼部23，將該預(yù)測參數(shù)輸出到運動補償部24，將該圖片編碼方法控制信息輸出到運動補償部24、選擇開關(guān)25以及環(huán)路過濾器27。另外，可變長解碼部22構(gòu)成了可變長解碼單元。預(yù)測誤差解碼部23實施如下處理對從可變長解碼部22輸出的壓縮數(shù)據(jù)進行逆量化而求出DCT系數(shù)，并針對該DCT系數(shù)實施逆DCT處理，從而計算表示差分圖像的預(yù)測誤差信號解碼值(與從圖I的編碼模式判定部4輸出的預(yù)測差分信號相當(dāng)?shù)男盘?。另外，預(yù)測誤差解碼部23構(gòu)成了逆量化單元。運動補償部24實施如下處理從幀存儲器28中保存的I幀以上的參照圖像中，讀出從可變長解碼部22輸出的預(yù)測參數(shù)內(nèi)的識別編號表示的參照圖像，如果從可變長解碼部22輸出的圖片編碼方法控制信息表示“進行通常的圖片編碼”意思，則實施使用從可變長解碼部22輸出的預(yù)測參數(shù)內(nèi)的運動預(yù)測模式以及運動矢量和上述參照圖像的運動補償處理，從而生成預(yù)測圖像A。另一方面，實施如下處理如果從可變長解碼部22輸出的圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思，則根據(jù)運動參數(shù)存儲器21中保存的已解碼宏塊的運動矢量，生成解碼對象的宏塊的推測矢量，實施使用該推測矢量的運動補償處理來生成預(yù)測圖像B。另外，運動補償部24構(gòu)成了預(yù)測圖像生成單元。選擇開關(guān)25實施如下處理如果從可變長解碼部22輸出的圖片編碼方法控制信息表示“進行通常的圖片編碼”意思，則選擇由預(yù)測誤差解碼部23計算出的預(yù)測誤差信號解碼值并輸出到加法器26，如果該圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思，則選擇全零值并輸出到加法器26。加法器26實施如下處理通過將由選擇開關(guān)25選擇出的局部解碼預(yù)測差分信號或者全零值加到表示由運動補償部24生成的預(yù)測圖像的預(yù)測信號，生成表示解碼圖像的解碼圖像信號。在環(huán)路過濾器27中，如果從可變長解碼部22輸出的圖片編碼方法控制信息表示“進行通常的圖片編碼”意思，則使用針對DCT塊邊界的塊失真去除過濾器(解塊過濾器)，實施對由加法器26生成的解碼圖像中包含的編碼失真進行補償?shù)氖д嫜a償處理，如果該圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思，則實施對預(yù)測圖像的運動矢量分配區(qū)域中發(fā)生的塊邊界(在運動預(yù)測模式B下，宏塊邊界)的不連續(xù)性進行緩和的運動塊邊界平滑化處理。 另外，由選擇開關(guān)25、加法器26以及環(huán)路過濾器27構(gòu)成了解碼圖像生成單元。幀存儲器28是將從環(huán)路過濾器27輸出的再生圖像(過濾處理后的解碼圖像)保存為參照圖像的RAM等記錄介質(zhì)。在圖7中，假設(shè)了作為圖像解碼裝置的構(gòu)成要素的可變長解碼部22、預(yù)測誤差解碼部23、運動補償部24、選擇開關(guān)25、加法器26以及環(huán)路過濾器27的各個由專用的硬件(例如，安裝了 CPU的半導(dǎo)體集成電路、或者單片機等)構(gòu)成的例子，但在圖像解碼裝置由計算機構(gòu)成的情況下，也可以將記述了可變長解碼部22、預(yù)測誤差解碼部23、運動補償部24、選擇開關(guān)25、加法器26以及環(huán)路過濾器27的處理內(nèi)容的程序保存到該計算機的存儲器，并使該計算機的CPU執(zhí)行該存儲器中保存的程序。圖9是示出本發(fā)明的實施方式I的圖像解碼裝置的處理內(nèi)容的流程圖。接下來，說明動作。首先，說明圖像編碼裝置的處理內(nèi)容。運動補償預(yù)測部2針對可根據(jù)指定的圖片類型選擇的所有運動預(yù)測模式(宏塊或者子塊內(nèi)的運動矢量分配圖案)，分別生成預(yù)測圖像。圖2是示出可根據(jù)圖片類型選擇的運動預(yù)測模式的一個例子的說明圖。在圖2中，mc_mode0是針對宏塊(MXL像素塊)的整體，分配I個運動矢量的模式。mc_model是在水平方向上對宏塊進行等分割，并針對分割出的左右的子塊，分別分配不同的運動矢量的模式。mc_mode2是在垂直方向上對宏塊進行等分割，并針對分割出的上下的子塊，分別分配不同的運動矢量的模式。mc_mode3是對宏塊進行4分割，并針對分割出的4個子塊，分別分配不同的運動矢量的模式。對mC_m0de3中的宏塊進行4分割而得到的單位成為子宏塊，對于子宏塊，進而能夠進行mc_mode(Tmc_mode3那樣的分割來進行運動矢量分配。在宏塊的大小充分大的情況下(例如，32 X 32像素塊、64 X 64像素塊等)，子宏塊對應(yīng)于16X16像素塊，所以也可以通過將其更細致地分割，而采用樹構(gòu)造的層次分割構(gòu)造。本實施方式I的編碼裝置/解碼裝置還能夠應(yīng)對這樣的子宏塊構(gòu)造。其中，在該實施方式I中，說明在運動補償預(yù)測部2中，作為生成預(yù)測圖像時的預(yù)測圖像生成方式，限定于針對宏塊分配I個運動矢量的圖2的mcjnodeO相當(dāng)?shù)那樾危褂眠\動預(yù)測模式A下的預(yù)測圖像生成方式、和運動預(yù)測模式B的例子。在對應(yīng)于上述那樣的子宏塊的層次分割構(gòu)造的情況下，對各個運動矢量分配單位塊應(yīng)用運動預(yù)測模式A、運動預(yù)測模式B即可。在運動補償預(yù)測部2中，如果輸入的圖片編碼方法控制信息表示“進行通常的圖片編碼”意思(圖8的步驟STl )，則通過運動預(yù)測模式A生成預(yù)測圖像A，并且通過運動預(yù)測模式B生成預(yù)測圖像B (步驟ST2)。另一方面，如果圖片編碼方法控制信息表示“進行跳躍圖片編碼”意思(步驟ST1)，則在運動預(yù)測模式A下不生成預(yù)測圖像A，而通過運動預(yù)測模式B生成預(yù)測圖像B (步驟ST3)。(I)通過運動預(yù)測模式A生成預(yù)測圖像A
運動補償預(yù)測部2從幀存儲器10中保存的I幀以上的運動補償預(yù)測用的參照圖像中選擇I幀的參照圖像，在編碼對象的宏塊與參照圖像之間搜索運動矢量(在參照圖像上的規(guī)定的運動搜索范圍內(nèi)搜索運動矢量)。然后，實施使用該運動矢量的運動補償預(yù)測處理來生成預(yù)測圖像A(使用從編碼對象的宏塊的畫面內(nèi)位置移位了該運動矢量的量的位置的圖像區(qū)域，生成預(yù)測圖像A)。(2)通過運動預(yù)測模式B生成預(yù)測圖像B運動補償預(yù)測部2根據(jù)由運動參數(shù)存儲器I保存的已編碼宏塊的運動矢量，生成編碼對象的宏塊的推測矢量，實施使用該推測矢量的運動補償預(yù)測處理，來生成預(yù)測圖像B0作為運動預(yù)測模式B，例如，能夠利用在MPEG — 4視覺(IS0/IEC14496 — 2)、MPEG - 4AVC/ITU -TH. 264 (以下，稱為“AVC”)等標準編碼方式中采用的利用直接預(yù)測的預(yù)測圖像生成方式。對于AVC的利用直接預(yù)測的預(yù)測圖像生成方式，能夠利用B圖片，該B圖片能夠針對可分配I個運動矢量的塊進行使用了最大2個運動矢量的預(yù)測，準備了時間直接模式和空間直接模式這2種。在時間直接模式下，參照已編碼的其他圖片的運動矢量，根據(jù)已編碼圖片與編碼對象圖片之間的時間差，進行運動矢量的縮放(scaling)處理，從而計算在編碼對象的宏塊種使用的運動矢量(直接矢量)。另一方面，在空間直接模式下，參照位于編碼對象的宏塊的周圍的至少I個以上的已編碼宏塊的運動矢量，計算在編碼對象的宏塊中使用的運動矢量(直接矢量)。在AVC的直接預(yù)測中，按照片斷(slice)單位選擇時間直接模式和者空間直接模式中的某一方。此處，圖3是示出時間直接模式下的直接矢量的計算方法的示意圖。在圖3中，“P”表示P圖片，“B”表示B圖片。P圖片是能夠進行針對可分配I個運動矢量的塊使用I個運動矢量的預(yù)測的圖片。另外，數(shù)字O — 3表示圖片的顯示順序，表示是時間TC、Tl、T2、T3的顯示圖像。設(shè)為圖片的編碼處理是按照P0、P3、B1、B2的順序進行的。例如，假設(shè)通過時間直接模式對圖片B2中的宏塊MBl進行編碼的情況。
在該情況下，使用處于圖片B2的時間軸上后方的已編碼圖片中的、最接近圖片B2的圖片P3的運動矢量、且與宏塊MBl在空間上處于相同的位置的宏塊MB2的運動矢量MV。對于該運動矢量MV，參照圖片PO(運動矢量MV是將圖片PO作為參照圖像而搜索的結(jié)果的運動矢量)，通過以下的式(I)來求出對宏塊MBl進行編碼時使用的運動矢量MVL0、MVLl。
權(quán)利要求
1.一種圖像編碼裝置，針對每個規(guī)定的塊使用運動補償預(yù)測來對輸入圖像進行壓縮編碼，其特征在于，具備 運動檢測單元，檢測所述塊的運動矢量； 第I預(yù)測圖像生成單元，使用由所述運動檢測單元檢測出的運動矢量來生成第I預(yù)測圖像； 存儲器，保持由所述運動檢測單元檢測出的運動矢量； 運動矢量生成單元，根據(jù)所述存儲器中保持的運動矢量，生成編碼對象的塊的運動矢量; 第2預(yù)測圖像生成單元，使用由所述運動矢量生成單元生成的運動矢量，生成第2預(yù)測圖像； 編碼單元，對由所述第I預(yù)測圖像生成單元生成的第I預(yù)測圖像與編碼對象的塊的差分圖像進行編碼，并且對所述第I預(yù)測圖像的生成中使用的運動矢量進行編碼； 局部解碼單元，生成所述差分圖像的局部解碼圖像，將所述局部解碼圖像加到所述第I預(yù)測圖像，從而生成局部解碼圖像；以及 過濾單元，對由所述第2預(yù)測圖像生成單元生成的第2預(yù)測圖像，進行針對塊邊界的平滑化處理， 將由所述局部解碼單元得到的所述塊的第I局部解碼圖像、和由所述過濾單元得到的圖像中的某一個選擇為由I個或者多個所述塊構(gòu)成的規(guī)定圖像區(qū)域內(nèi)的局部解碼圖像，將該選擇的結(jié)果復(fù)用到比特流來進行編碼傳送。
2.一種圖像編碼裝置，其特征在于，具備 預(yù)測圖像生成單元，具備第I預(yù)測圖像生成方式和第2預(yù)測圖像生成方式，在該第I預(yù)測圖像生成方式中，針對構(gòu)成輸入圖像的每個塊，在編碼對象的塊與參照圖像之間搜索運動矢量，實施使用所述運動矢量的運動補償預(yù)測處理來生成預(yù)測圖像，在該第2預(yù)測圖像生成方式中，根據(jù)已編碼塊的運動矢量，生成編碼對象的塊的直接矢量，實施使用所述直接矢量的運動補償預(yù)測處理來生成預(yù)測圖像； 差分圖像選擇單元，評價編碼對象的塊和由所述預(yù)測圖像生成單元通過第I預(yù)測圖像生成方式生成的預(yù)測圖像之間的差分圖像的編碼效率，并且評價編碼對象的塊和由所述預(yù)測圖像生成單元通過第2預(yù)測圖像生成方式生成的預(yù)測圖像之間的差分圖像的編碼效率，選擇所述編碼效率高的一方的差分圖像； 量化單元，對由所述差分圖像選擇單元選擇出的差分圖像進行量化，輸出所述差分圖像的量化系數(shù)；以及 可變長編碼單元，對從所述量化單元輸出的量化系數(shù)以及表示與由所述差分圖像選擇單元選擇出的差分圖像相關(guān)的預(yù)測圖像是通過第I預(yù)測圖像生成方式生成的預(yù)測圖像、還是通過第2預(yù)測圖像生成方式生成的預(yù)測圖像的預(yù)測圖像識別信息進行可變長編碼，并且在由所述差分圖像選擇單元選擇出的差分圖像是與通過第I預(yù)測圖像生成方式生成的預(yù)測圖像相關(guān)的差分圖像的情況下，對由所述預(yù)測圖像生成單元搜索出的運動矢量進行可變長編碼而生成編碼數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于， 預(yù)測圖像生成單元在被輸入了指示使用第I預(yù)測圖像生成方式和第2預(yù)測圖像生成方式這雙方的控制信息的情況下，通過第I預(yù)測圖像生成方式生成預(yù)測圖像，并且通過第2預(yù)測圖像生成方式生成預(yù)測圖像，在被輸入了指示僅使用第2預(yù)測圖像生成方式的控制信息的情況下，不通過第I預(yù)測圖像生成方式生成預(yù)測圖像，而僅通過第2預(yù)測圖像生成方式生成預(yù)測圖像。
4.根據(jù)權(quán)利要求3所述的圖像編碼裝置，其特征在于， 在被輸入了指示僅使用第2預(yù)測圖像生成方式的控制信息的情況下，差分圖像選擇單元將表示編碼對象的塊與由預(yù)測圖像生成單元通過第2預(yù)測圖像生成方式生成的預(yù)測圖像之間的差分圖像的預(yù)測誤差信號置換為零值。
5.根據(jù)權(quán)利要求4所述的圖像編碼裝置，其特征在于， 在被輸入了指示僅使用第2預(yù)測圖像生成方式的控制信息的情況下，量化單元不進行針對表示由差分圖像選擇單元選擇出的差分圖像的預(yù)測誤差信號的量化處理，將零值的預(yù)測誤差信號輸出到可變長編碼單元。
6.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于， 具備參照圖像生成單元，該參照圖像生成單元對從量化單元輸出的量化系數(shù)進行逆量化，相加該逆量化結(jié)果表示的差分圖像和由預(yù)測圖像生成單元生成的預(yù)測圖像而生成局部解碼圖像，將所述局部解碼圖像作為參照圖像而保存到幀存儲器， 在通過第I預(yù)測圖像生成方式生成了所述預(yù)測圖像的情況下，實施對所述局部解碼圖像中包含的編碼失真進行補償?shù)氖д嫜a償處理，在通過第2預(yù)測圖像生成方式生成了所述預(yù)測圖像的情況下，所述參照圖像生成單元實施對塊的邊界中存在的不連續(xù)性進行緩和的塊邊界平滑化處理。
7.根據(jù)權(quán)利要求6所述的圖像編碼裝置，其特征在于， 在被輸入了指示僅使用第2預(yù)測圖像生成方式的控制信息的情況下，參照圖像生成單元不進行針對從量化單元輸出的量化系數(shù)的逆量化處理，將由預(yù)測圖像生成單元生成的預(yù)測圖像處理為局部解碼圖像。
8.一種圖像解碼裝置，將針對每個規(guī)定的塊使用運動補償預(yù)測對圖像進行壓縮編碼而得到的比特流作為輸入，針對每個所述塊進行解碼擴展處理，其特征在于，具備 第I預(yù)測圖像生成單元，針對每個所述塊根據(jù)比特流對運動矢量進行解碼，使用該運動矢量來生成第I預(yù)測圖像； 解碼單元，針對每個所述塊，根據(jù)比特流對運動補償預(yù)測的差分圖像的編碼數(shù)據(jù)進行解碼，根據(jù)該編碼數(shù)據(jù)生成解碼差分圖像； 加法單元，相加所述第I預(yù)測圖像和所述解碼差分圖像而得到解碼圖像； 存儲器，保持根據(jù)所述比特流解碼出的運動矢量； 運動矢量生成單元，根據(jù)所述存儲器中保持的運動矢量，生成解碼對象的塊的運動矢量; 第2預(yù)測圖像生成單元，使用由所述運動矢量生成單元生成的運動矢量，生成第2預(yù)測圖像；以及 過濾單元，對由所述第2預(yù)測圖像生成單元生成的第2預(yù)測圖像，進行針對塊邊界的平滑化處理， 按照由I個或者多個所述塊構(gòu)成的規(guī)定圖像區(qū)域的單位，根據(jù)比特流解碼出識別信息，根據(jù)所述識別信息生成最終解碼圖像，其中該識別信息表示在該圖像區(qū)域中的所有所述塊中從所述加法單元輸出的解碼圖像、和從所述過濾單元輸出的圖像的哪一個為最終的解碼圖像。
9.一種圖像解碼裝置，其特征在于，具備 可變長解碼單元，根據(jù)編碼數(shù)據(jù)，解碼出量化系數(shù)、和表示在圖像編碼裝置中通過第I預(yù)測圖像生成方式生成了預(yù)測圖像、還是通過第2預(yù)測圖像生成方式生成了預(yù)測圖像的預(yù)測圖像識別信息，并且在通過第I預(yù)測圖像生成方式生成了預(yù)測圖像的情況下，根據(jù)編碼數(shù)據(jù)解碼出運動矢量； 逆量化單元，對由所述可變長解碼單元解碼出的量化系數(shù)進行逆量化； 預(yù)測圖像生成單元，在由所述可變長解碼單元解碼出的預(yù)測圖像識別信息表示在圖像編碼裝置中通過第I預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，實施使用由所述可變長解碼單元解碼出的運動矢量的運動補償預(yù)測處理來生成預(yù)測圖像，在由所述可變長解碼單元解碼出的預(yù)測圖像識別信息表示在所述圖像編碼裝置側(cè)通過第2預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，根據(jù)已解碼塊的運動矢量，生成解碼對象的塊的直接矢量，實施使用所述直接矢量的運動補償預(yù)測處理來生成預(yù)測圖像；以及 解碼圖像生成單元，相加由所述預(yù)測圖像生成單元生成的預(yù)測圖像與所述逆量化單元的逆量化結(jié)果表示的差分圖像，生成與所述圖像編碼裝置的輸入圖像相當(dāng)?shù)慕獯a圖像。
10.根據(jù)權(quán)利要求9所述的圖像解碼裝置，其特征在于， 解碼圖像生成單元在由可變長解碼單元解碼出的預(yù)測圖像識別信息表示在圖像編碼裝置側(cè)通過第2預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，將由預(yù)測圖像生成單元生成的預(yù)測圖像處理為解碼圖像。
11.根據(jù)權(quán)利要求9所述的圖像解碼裝置，其特征在于， 在由可變長解碼單元解碼出的預(yù)測圖像識別信息表示在圖像編碼裝置側(cè)通過第I預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，實施對解碼圖像中包含的編碼失真進行補償?shù)氖д嫜a償處理，在由所述可變長解碼單元解碼出的預(yù)測圖像識別信息表示在圖像編碼裝置側(cè)通過第2預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，解碼圖像生成單元實施對塊的邊界中存在的不連續(xù)性進行緩和的塊邊界平滑化處理。
12.—種圖像編碼方法，其特征在于，具備 第I預(yù)測圖像生成處理步驟，預(yù)測圖像生成單元實施第I預(yù)測圖像生成方式，在該第I預(yù)測圖像生成方式中，針對構(gòu)成輸入圖像的每個塊，在編碼對象的塊與參照圖像之間搜索運動矢量，實施使用所述運動矢量的運動補償預(yù)測處理來生成預(yù)測圖像； 第2預(yù)測圖像生成處理步驟，所述預(yù)測圖像生成單元實施第2預(yù)測圖像生成方式，在該第2預(yù)測圖像生成方式中，根據(jù)已編碼塊的運動矢量生成編碼對象的塊的直接矢量，實施使用所述直接矢量的運動補償預(yù)測處理來生成預(yù)測圖像； 差分圖像選擇處理步驟，差分圖像選擇單元評價編碼對象的塊與在所述第I預(yù)測圖像生成處理步驟中生成的預(yù)測圖像之間的差分圖像的編碼效率，并且評價編碼對象的塊與在所述第2預(yù)測圖像生成處理步驟中生成的預(yù)測圖像之間的差分圖像的編碼效率，選擇所述編碼效率高的一方的差分圖像； 量化處理步驟，量化單元對在所述差分圖像選擇處理步驟中選擇出的差分圖像進行量化，輸出所述差分圖像的量化系數(shù)；以及 可變長編碼處理步驟，可變長編碼單元對在所述量化處理步驟中輸出的量化系數(shù)以及表示與在所述差分圖像選擇處理步驟中選擇出的差分圖像相關(guān)的預(yù)測圖像是通過第I預(yù)測圖像生成方式生成的預(yù)測圖像、還是通過第2預(yù)測圖像生成方式生成的預(yù)測圖像的預(yù)測圖像識別信息進行可變長編碼，并且在由所述差分圖像選擇單元選擇出的差分圖像是與通過第I預(yù)測圖像生成方式生成的預(yù)測圖像相關(guān)的差分圖像的情況下，對在所述第I預(yù)測圖像生成處理步驟中搜索出的運動矢量進行可變長編碼來生成編碼數(shù)據(jù)。
13.一種圖像解碼方法，其特征在于，具備 可變長解碼處理步驟，可變長解碼單元根據(jù)編碼數(shù)據(jù)，解碼出量化系數(shù)、和表示在圖像編碼裝置中通過第I預(yù)測圖像生成方式生成了預(yù)測圖像、還是通過第2預(yù)測圖像生成方式生成了預(yù)測圖像的預(yù)測圖像識別信息，并且在通過第I預(yù)測圖像生成方式生成了預(yù)測圖像的情況下，根據(jù)編碼數(shù)據(jù)解碼出運動矢量； 逆量化處理步驟，逆量化單元對在所述可變長解碼處理步驟中解碼出的量化系數(shù)進行逆量化； 預(yù)測圖像生成處理步驟，預(yù)測圖像生成單元在所述可變長解碼處理步驟中解碼出的預(yù)測圖像識別信息表示在圖像編碼裝置中通過第I預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，實施使用在所述可變長解碼處理步驟中解碼出的運動矢量的運動補償預(yù)測處理來生成預(yù)測圖像，在所述可變長解碼處理步驟中解碼出的預(yù)測圖像識別信息表示在所述圖像編碼裝置中通過第2預(yù)測圖像生成方式生成了預(yù)測圖像的意思的情況下，根據(jù)已解碼塊的運動矢量，生成解碼對象的塊的直接矢量，實施使用所述直接矢量的運動補償預(yù)測處理來生成預(yù)測圖像；以及 解碼圖像生成處理步驟，解碼圖像生成單元相加在所述預(yù)測圖像生成處理步驟中生成的預(yù)測圖像和所述逆量化處理步驟中的逆量化結(jié)果表示的差分圖像，生成與所述圖像編碼裝置的輸入圖像相當(dāng)?shù)慕獯a圖像。
全文摘要
具備評價編碼對象的宏塊的圖像與由運動補償預(yù)測部(2)通過運動預(yù)測模式(A)生成的預(yù)測圖像(A)之間的差分圖像(A)的編碼效率，并且評價編碼對象的宏塊的圖像與由運動補償預(yù)測部(2)通過運動預(yù)測模式(B)生成的預(yù)測圖像(B)之間的差分圖像(B)的編碼效率，選擇編碼效率高的一方的差分圖像的編碼模式判定部(4)。
文檔編號H04N7/32GK102823250SQ20118001649
公開日2012年12月12日 申請日期2011年3月7日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者關(guān)口俊一, 伊谷裕介, 杉本和夫, 山田悅久 申請人:三菱電機株式會社