圖像編碼方法以及圖像編碼裝置制造方法
【專利摘要】一種圖像解碼方法，其特征在于，具備：從具有運(yùn)動(dòng)信息的解碼完畢的像素塊中選擇至少一個(gè)運(yùn)動(dòng)參照塊的步驟；從所述運(yùn)動(dòng)參照塊中選擇至少一個(gè)可利用塊的步驟，所述可利用塊是具有應(yīng)用于解碼對(duì)象塊的運(yùn)動(dòng)信息的候選的像素塊，且具有相互不同的運(yùn)動(dòng)信息；參照根據(jù)所述可利用塊的數(shù)量而預(yù)先設(shè)定的代碼表，對(duì)所輸入的編碼數(shù)據(jù)進(jìn)行解碼，從而求出用于確定選擇塊的選擇信息的步驟；按照所述選擇信息，從所述可利用塊中選擇一個(gè)選擇塊的步驟；使用所述選擇塊的運(yùn)動(dòng)信息生成所述解碼對(duì)象塊的預(yù)測(cè)圖像的步驟；根據(jù)所述編碼數(shù)據(jù)對(duì)所述解碼對(duì)象塊的預(yù)測(cè)誤差進(jìn)行解碼的步驟；以及根據(jù)所述預(yù)測(cè)圖像和所述預(yù)測(cè)誤差求出解碼圖像的步驟。
【專利說(shuō)明】圖像編碼方法以及圖像編碼裝置
[0001]本發(fā)明是2013年4月23日遞交的申請(qǐng)?zhí)枮椤?01310142052.8”、發(fā)明名稱為“圖像解碼方法以及圖像解碼裝置”的申請(qǐng)的分案申請(qǐng)，其原始母案為2012年10月08日進(jìn)入中國(guó)國(guó)家階段的、國(guó)家申請(qǐng)?zhí)枮椤?01080066017.7”、發(fā)明名稱為“圖像編碼方法以及圖像解碼方法”的申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及用于運(yùn)動(dòng)圖像以及靜止圖像的編碼以及解碼方法。
【背景技術(shù)】
[0003]近年來(lái)，在ITU-T 和 IS0/IEC 中，都作為 ITU-T Rec.H.264 以及 IS0/IEC14496-10(以下，稱為H.264)而建議了大幅度提高編碼效率的運(yùn)動(dòng)圖像編碼方法。在H.264中，預(yù)測(cè)處理、變換處理以及熵編碼處理以矩形塊單位(例如，16X16像素塊單位、8X8像素塊單位等)進(jìn)行。在預(yù)測(cè)處理中，針對(duì)編碼對(duì)象的矩形塊(編碼對(duì)象塊)，進(jìn)行參照已經(jīng)編碼完畢的幀(參照幀)而進(jìn)行時(shí)間方向的預(yù)測(cè)的運(yùn)動(dòng)補(bǔ)償。在這樣的運(yùn)動(dòng)補(bǔ)償中，需要對(duì)包括運(yùn)動(dòng)矢量的運(yùn)動(dòng)信息進(jìn)行編碼并發(fā)送到解碼側(cè)，該運(yùn)動(dòng)矢量是作為編碼對(duì)象塊與在參照幀內(nèi)所參照的塊之間的空間上的位移信息的矢量。另外，在使用多個(gè)參照幀進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，需要對(duì)運(yùn)動(dòng)信息和參照幀號(hào)碼一起進(jìn)行編碼。因此，與運(yùn)動(dòng)信息以及參照幀號(hào)碼有關(guān)的編碼量有時(shí)增大。
[0004]在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)中作為求出運(yùn)動(dòng)矢量的方法的一例，有根據(jù)分配給已經(jīng)編碼完畢的塊的運(yùn)動(dòng)矢量導(dǎo)出應(yīng)該分配給編碼對(duì)象塊的運(yùn)動(dòng)矢量，并根據(jù)所導(dǎo)出的運(yùn)動(dòng)矢量生成預(yù)測(cè)圖像的直接模式(參照專利文獻(xiàn)I以及專利文獻(xiàn)2)。在直接模式中，因?yàn)椴粚?duì)運(yùn)動(dòng)矢量進(jìn)行編碼，所以能夠減少運(yùn)動(dòng)信息的編碼量。直接模式例如被H.264/AVC采用。
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本專利第4020789號(hào)
[0007]專利文獻(xiàn)2:米國(guó)專利第7233621號(hào)

【發(fā)明內(nèi)容】

[0008]在直接模式中，利用根據(jù)與編碼對(duì)象塊鄰接的編碼完畢的塊的運(yùn)動(dòng)矢量的中央值計(jì)算運(yùn)動(dòng)矢量的固定的方法來(lái)預(yù)測(cè)生成編碼對(duì)象塊的運(yùn)動(dòng)矢量。因此，運(yùn)動(dòng)矢量計(jì)算的自由度低。
[0009]為了提高計(jì)算運(yùn)動(dòng)矢量的自由度，提出有從多個(gè)編碼完畢塊中選擇一個(gè)并對(duì)編碼對(duì)象塊分配運(yùn)動(dòng)矢量的方法。在該方法中，必須總是發(fā)送確定所選擇的塊的選擇信息，以使解碼側(cè)能夠確定所選擇的編碼完畢的塊。因此，當(dāng)從多個(gè)編碼完畢塊中選擇一個(gè)并決定應(yīng)該分配給編碼對(duì)象塊的運(yùn)動(dòng)矢量時(shí)，存在增加了與選擇信息有關(guān)的編碼量的問(wèn)題。
[0010]本發(fā)明是為了解決上述問(wèn)題而作出的，目的在于提供編碼效率高的圖像編碼方法以及圖像解碼方法。[0011]本發(fā)明的一實(shí)施方式的圖像編碼方法具備以下步驟:從具有運(yùn)動(dòng)信息的編碼完畢的像素塊中選擇至少一個(gè)運(yùn)動(dòng)參照塊的第I步驟；從上述運(yùn)動(dòng)參照塊中選擇至少一個(gè)可利用塊的第2步驟，該可利用塊是具有適用于編碼對(duì)象塊的運(yùn)動(dòng)信息的候選的像素塊，且具有相互不同的運(yùn)動(dòng)信息；從上述可利用塊中選擇一個(gè)選擇塊的第3步驟；使用上述選擇塊的運(yùn)動(dòng)信息生成上述編碼對(duì)象塊的預(yù)測(cè)圖像的第4步驟；對(duì)上述預(yù)測(cè)圖像與原圖像之間的預(yù)測(cè)誤差進(jìn)行編碼的第5步驟；以及參照根據(jù)上述可利用塊的數(shù)量而預(yù)先設(shè)定的代碼表，對(duì)確定上述選擇塊的選擇信息進(jìn)行編碼的第6步驟。
[0012]本發(fā)明的另一實(shí)施方式的圖像解碼方法具備以下步驟:從具有運(yùn)動(dòng)信息的解碼完畢的像素塊中選擇至少一個(gè)運(yùn)動(dòng)參照塊的第I步驟；從上述運(yùn)動(dòng)參照塊中選擇至少一個(gè)可利用塊的第2步驟，該可利用塊是具有適用于解碼對(duì)象塊的運(yùn)動(dòng)信息的候選的像素塊，且具有相互不同的運(yùn)動(dòng)信息；參照根據(jù)上述可利用塊的數(shù)量而預(yù)先設(shè)定的代碼表，對(duì)所輸入的編碼數(shù)據(jù)進(jìn)行解碼，從而求出用于確定選擇塊的選擇信息的第3步驟；按照上述選擇信息，從上述可利用塊中選擇一個(gè)選擇塊的第4步驟；使用上述選擇塊的運(yùn)動(dòng)信息生成上述解碼對(duì)象塊的預(yù)測(cè)圖像的第5步驟；根據(jù)上述編碼數(shù)據(jù)解碼上述解碼對(duì)象塊的預(yù)測(cè)誤差的第6步驟；以及根據(jù)上述預(yù)測(cè)圖像和上述預(yù)測(cè)誤差求出解碼圖像的第7步驟。
[0013]根據(jù)本發(fā)明，能夠提高編碼效率。
【專利附圖】

【附圖說(shuō)明】
[0014]圖1是概略地示出第I實(shí)施方式的圖像編碼裝置的結(jié)構(gòu)的框圖。
[0015]圖2A是示出圖1所示的圖像解碼部的編碼的處理單位即微塊的大小的一例的圖。
[0016]圖2B是圖1所示的圖像解碼部的編碼的處理單位即微塊的大小的另一例的圖。
[0017]圖3是示出圖1所示的圖像編碼部對(duì)編碼對(duì)象幀內(nèi)的像素塊進(jìn)行編碼的順序的圖。
[0018]圖4是示出圖1所示的運(yùn)動(dòng)信息存儲(chǔ)器所保持的運(yùn)動(dòng)信息幀的一例的圖。
[0019]圖5是示出處理圖1的輸入圖像信號(hào)的順序的一例的流程圖。
[0020]圖6A是示出圖1的運(yùn)動(dòng)補(bǔ)償部所執(zhí)行的交互預(yù)測(cè)處理的一例的圖。
[0021]圖6B是示出圖1的運(yùn)動(dòng)補(bǔ)償部所執(zhí)行的交互預(yù)測(cè)處理的另一例的圖。
[0022]圖7A是示出交互預(yù)測(cè)處理所使用的運(yùn)動(dòng)補(bǔ)償塊的大小的一例的圖。
[0023]圖7B是示出交互預(yù)測(cè)處理所使用的運(yùn)動(dòng)補(bǔ)償塊的大小的另一例的圖。
[0024]圖7C是示出交互預(yù)測(cè)處理所使用的運(yùn)動(dòng)補(bǔ)償塊的大小的另一其它例的圖。
[0025]圖7D是示出交互預(yù)測(cè)處理所使用的運(yùn)動(dòng)補(bǔ)償塊的大小的另一例的圖。
[0026]圖8A是示出空間方向以及時(shí)間方向運(yùn)動(dòng)參照塊的配置的一例的圖。
[0027]圖8B是示出空間方向運(yùn)動(dòng)參照塊的配置的另一例的圖。
[0028]圖SC是示出空間方向運(yùn)動(dòng)參照塊相對(duì)于圖SB所示的編碼對(duì)象塊的相對(duì)位置的圖。
[0029]圖8D是示出時(shí)間方向運(yùn)動(dòng)參照塊的配置的另一例的圖。
[0030]圖8E是示出時(shí)間方向運(yùn)動(dòng)參照塊的配置的另一其它例的圖。
[0031]圖8F是示出時(shí)間方向運(yùn)動(dòng)參照塊的配置的另一其它例的圖。
[0032]圖9是示出圖1的可利用塊取得部從運(yùn)動(dòng)參照塊中選擇可利用塊的方法的一例的流程圖。
[0033]圖10是示出按照?qǐng)D9的方法從圖8所示的運(yùn)動(dòng)參照塊中選擇的可利用塊的一例的圖。
[0034]圖11是示出圖1的可利用塊取得部輸出的可利用塊信息的一例的圖。
[0035]圖12A是示出由圖1的可利用塊取得部進(jìn)行的塊間的運(yùn)動(dòng)信息的同一性判定的一例的圖。
[0036]圖12B是示出由圖1的可利用塊取得部進(jìn)行的塊間的運(yùn)動(dòng)信息的同一性判定的另一例的圖。
[0037]圖12C是示出由圖1的可利用塊取得部進(jìn)行的塊間的運(yùn)動(dòng)信息的同一性判定的另一其它例的圖。
[0038]圖12D是示出由圖1的可利用塊取得部進(jìn)行的塊間的運(yùn)動(dòng)信息的同一性判定的另一例的圖。
[0039]圖12E是示出由圖1的可利用塊取得部進(jìn)行的塊間的運(yùn)動(dòng)信息的同一性判定的另一其它例的圖。
[0040]圖12F是示出由圖1的可利用塊取得部進(jìn)行的塊間的運(yùn)動(dòng)信息的同一性判定的另一例的圖。
[0041]圖13是概略地示出圖1的預(yù)測(cè)部的結(jié)構(gòu)的框圖。
[0042]圖14是示出圖13的時(shí)間方向運(yùn)動(dòng)信息取得部所輸出的運(yùn)動(dòng)信息的組的圖。
[0043]圖15是說(shuō)明可利用在基于圖13的運(yùn)動(dòng)補(bǔ)償部的運(yùn)動(dòng)補(bǔ)償處理中的少數(shù)像素精度的插補(bǔ)處理的說(shuō)明圖。
[0044]圖16是示出圖13的預(yù)測(cè)部的動(dòng)作的一例的流程圖。
[0045]圖17是示出圖13的運(yùn)動(dòng)補(bǔ)償部將時(shí)間方向運(yùn)動(dòng)參照塊的運(yùn)動(dòng)信息拷貝到編碼對(duì)象塊的情況的圖。
[0046]圖18是概略地示出圖1的可變長(zhǎng)度編碼部的結(jié)構(gòu)的框圖。
[0047]圖19是根據(jù)可利用塊信息生成語(yǔ)法(syntax)的例子的圖。
[0048]圖20是示出與可利用塊信息對(duì)應(yīng)的選擇塊信息語(yǔ)法的2值化的例的圖。
[0049]圖21是說(shuō)明運(yùn)動(dòng)信息的比例縮放(scaling)的說(shuō)明圖。
[0050]圖22是按照實(shí)施方式的語(yǔ)法構(gòu)造的圖。
[0051]圖23A是按照第I實(shí)施方式的微塊層語(yǔ)法的一例的圖。
[0052]圖23B是按照第I實(shí)施方式的微塊層語(yǔ)法的另一例的圖。
[0053]圖24A是示出與H.264中的B切片時(shí)的mb_type以及mb_type對(duì)應(yīng)的代碼表的圖。
[0054]圖24B是示出實(shí)施方式的代碼表的一例的圖。
[0055]圖24C是示出與H.264中的P切片時(shí)的mb_type以及mb_type對(duì)應(yīng)的代碼表的圖。
[0056]圖24D是示出實(shí)施方式的代碼表的另一例的圖。
[0057]圖25A是示出按照實(shí)施方式、與B切片中的mb_type以及mb_type對(duì)應(yīng)的代碼表的一例的圖。
[0058]圖25B是示出按照實(shí)施方式、與P切片中的mb_type以及mb_type對(duì)應(yīng)的代碼表的另一例的圖。
[0059]圖26是概略地示出第2實(shí)施方式的圖像編碼裝置的結(jié)構(gòu)的框圖。[0060]圖27是概略地示出圖26的預(yù)測(cè)部的結(jié)構(gòu)的框圖。
[0061]圖28是概略地示出圖27的第2預(yù)測(cè)部的結(jié)構(gòu)的框圖。
[0062]圖29是概略地示出圖26的可變長(zhǎng)度編碼部的結(jié)構(gòu)的框圖。
[0063]圖30A是示出按照第2實(shí)施方式的微塊層語(yǔ)法的一例的圖。
[0064]圖30B是示出按照第2實(shí)施方式的微塊層語(yǔ)法的另一例的圖。
[0065]圖31是概略地示出第3實(shí)施方式的圖像解碼裝置的框圖。
[0066]圖32是更詳細(xì)地示出圖31所示的編碼列解碼部的框圖。
[0067]圖33是更詳細(xì)地示出圖31所示的預(yù)測(cè)部的框圖。
[0068]圖34是概略地示出第4實(shí)施方式的圖像解碼裝置的框圖。
[0069]圖35是更詳細(xì)地示出圖33所示的編碼列解碼部的框圖。
[0070]圖36是更詳細(xì)地示出圖33所示的預(yù)測(cè)部的框圖。
[0071]附圖標(biāo)記的說(shuō)明
[0072]10:輸入圖像信號(hào)；11:預(yù)測(cè)圖像信號(hào)；12:預(yù)測(cè)誤差圖像信號(hào)；13:量子化變換系數(shù)；14:編碼數(shù)據(jù)；15:解碼預(yù)測(cè)誤差信號(hào)；16:局部解碼圖像信號(hào)；17:參照?qǐng)D像信號(hào)；18:運(yùn)動(dòng)信息；20:比特流；21:運(yùn)動(dòng)信息；25，26:信息幀；30:可利用塊信息；31:選擇塊信息；32:預(yù)測(cè)切換信息；33:變換系數(shù)信息；34:預(yù)測(cè)誤差信號(hào)；35:預(yù)測(cè)圖像信號(hào)；36:解碼圖像信號(hào)；37:參照?qǐng)D像信號(hào)；38:運(yùn)動(dòng)信息；39:參照運(yùn)動(dòng)信息；40:運(yùn)動(dòng)信息；50:編碼控制信息；51:反饋信息；60:可利用塊信息；61:選擇塊信息；62:預(yù)測(cè)切換信息；70:解碼控制信息；71:控制信息；80:編碼數(shù)據(jù)；100:圖像編碼部；101:預(yù)測(cè)部；102:減法器；103:變換.量子化部；104:可變長(zhǎng)度編碼部；105:逆量子化.逆變換部；106:加法器；107:幀存儲(chǔ)器；108:信息存儲(chǔ)器；109:可利用塊取得部；110:空間方向運(yùn)動(dòng)信息取得部；111:時(shí)間方向運(yùn)動(dòng)信息取得部；112:信息切換開(kāi)關(guān)；113:運(yùn)動(dòng)補(bǔ)償部；114:參數(shù)編碼部；115:變換系數(shù)編碼部；116:選擇塊編碼部；117:多路復(fù)用部；118:運(yùn)動(dòng)信息選擇部；120:輸出緩存器；150:編碼控制部；200:圖像編碼部；201:預(yù)測(cè)部；202:第2預(yù)測(cè)部；203:預(yù)測(cè)方法切換開(kāi)關(guān)；204:可變長(zhǎng)度編碼部；205:運(yùn)動(dòng)信息取得部；216:選擇塊編碼部；217:運(yùn)動(dòng)信息編碼部；300:圖像解碼部；301:編碼列解碼部；301:編碼列解碼部；302:逆量子化.逆變換部；303:加法器；304:幀存儲(chǔ)器；305:預(yù)測(cè)部；306:信息存儲(chǔ)器；307:可利用塊取得部；308:輸出緩存器；310:空間方向運(yùn)動(dòng)信息取得部；311:時(shí)間方向運(yùn)動(dòng)信息取得部；312:運(yùn)動(dòng)信息切換開(kāi)關(guān)；313:運(yùn)動(dòng)補(bǔ)償部；314:信息選擇部；320:分離部；321:參數(shù)解碼部；322:變換系數(shù)解碼部；323:選擇塊解碼部；350:解碼控制部；400:圖像解碼部；401:編碼列解碼部；405:預(yù)測(cè)部；410:第2預(yù)測(cè)部；411:預(yù)測(cè)方法切換開(kāi)關(guān)；423:選擇塊解碼部；424:信息解碼部；901:高級(jí)語(yǔ)法；902:序列參數(shù)組語(yǔ)法；903:圖形參數(shù)組語(yǔ)法；904:切片級(jí)語(yǔ)法；905:切片頭語(yǔ)法；906:切片數(shù)據(jù)語(yǔ)法；907:微塊級(jí)語(yǔ)法；908:微塊層語(yǔ)法；909:微塊預(yù)測(cè)語(yǔ)法
【具體實(shí)施方式】
[0073]以下，根據(jù)需要，參照附圖對(duì)本發(fā)明的實(shí)施方式的圖像編碼以及圖像解碼的方法以及裝置進(jìn)行說(shuō)明。另外，在以下的實(shí)施方式中，關(guān)于賦予同一編號(hào)的部分設(shè)為進(jìn)行同樣的動(dòng)作的部分，省略了重復(fù)的說(shuō)明。[0074](第I實(shí)施方式)
[0075]圖1概略地示出本發(fā)明的第I實(shí)施方式的圖像編碼裝置的結(jié)構(gòu)。如圖1所示，該圖像編碼裝置具備有圖像編碼部100、編碼控制部150以及輸出緩存器120。該圖像編碼裝置既可以通過(guò)LSI芯片等硬件來(lái)實(shí)現(xiàn)，或者也可以設(shè)為通過(guò)使計(jì)算機(jī)執(zhí)行圖像編碼程序來(lái)實(shí)現(xiàn)。
[0076]在圖像編碼部100中，例如以分割了原圖像的像素塊單位輸入作為運(yùn)動(dòng)圖像或靜止圖像的原圖像(輸入圖像信號(hào))10。如之后所詳述的那樣，圖像編碼部100對(duì)輸入圖像信號(hào)10進(jìn)行壓縮編碼而生成編碼數(shù)據(jù)14。所生成的編碼數(shù)據(jù)14暫時(shí)保存到輸出緩存器120，在編碼控制部150管理的輸出定時(shí)，向未圖示的存儲(chǔ)系統(tǒng)(存儲(chǔ)介質(zhì))或傳輸系統(tǒng)(通信線路)送出。
[0077]編碼控制部150控制產(chǎn)生編碼量的反饋控制、量子化控制、預(yù)測(cè)模式控制以及熵編碼控制這樣的圖像編碼部100的全部的編碼處理。具體而言，編碼控制部150將編碼控制信息50提供給圖像編碼部100，從圖像編碼部100適當(dāng)?shù)亟邮辗答佇畔?1。編碼控制信息50包括預(yù)測(cè)信息、運(yùn)動(dòng)信息18以及量子化參數(shù)信息等。預(yù)測(cè)信息包括預(yù)測(cè)模式信息以及塊大小信息。運(yùn)動(dòng)信息18包括運(yùn)動(dòng)矢量、參照幀號(hào)碼以及預(yù)測(cè)方向(單方向預(yù)測(cè)、雙方向預(yù)測(cè))。量子化參數(shù)信息包括量子化寬度(量子化步進(jìn)大小)等量子化參數(shù)以及量子化矩陣。反饋信息51包括基于圖像編碼部100的產(chǎn)生編碼量，例如，在決定量子化參數(shù)時(shí)使用。
[0078]圖像編碼部100以分割原圖像得到的的像素塊(例如，微塊、子塊、I像素等)為單位，對(duì)輸入圖像信號(hào)10進(jìn)行編碼。因此，輸入圖像信號(hào)10以分割了原圖像的像素塊單位被依次輸入到圖像編碼部100。在本實(shí)施方式中，將編碼的處理單位設(shè)為微塊，將與輸入圖像信號(hào)10對(duì)應(yīng)的、作為編碼對(duì)象的像素塊(微塊)僅稱作編碼對(duì)象塊。另外，將包括編碼對(duì)象塊的圖像幀、即編碼對(duì)象的圖像幀稱作編碼對(duì)象幀。
[0079]這樣的編碼對(duì)象塊，例如，既可以是圖2A所示那樣的16X 16像素塊，也可以圖2B所示那樣的64X64像素塊。另外，編碼對(duì)象塊也可以是32X32像素塊、8X8像素塊等。另外，微塊的形狀不限于圖2A以及圖2B所示那樣的正方形狀的例子，也可以設(shè)為矩形形狀等任意形狀。另外，上述處理單位不限于微塊那樣的像素塊，也可以是幀或字段。
[0080]另外，針對(duì)編碼對(duì)象幀內(nèi)的各像素塊的編碼處理可以以任意的順序執(zhí)行。在本實(shí)施方式中，為了簡(jiǎn)化說(shuō)明，如圖3所示，設(shè)為從編碼對(duì)象幀的左上的像素塊向右下的像素塊逐行、即按照光柵掃描順序，對(duì)像素塊執(zhí)行編碼處理。
[0081]圖1所示的圖像編碼部100具備:預(yù)測(cè)部101、減法器102、變換.量子化部103、可變長(zhǎng)度編碼部104、逆量子化?逆變換部105、加法器106、幀存儲(chǔ)器107、運(yùn)動(dòng)信息存儲(chǔ)器108以及可利用塊取得部109。
[0082]在圖像編碼部100中，輸入圖像信號(hào)10被輸入到預(yù)測(cè)部101以及減法器102。減法器102接收輸入圖像信號(hào)10，并且從后述的預(yù)測(cè)部101接收預(yù)測(cè)圖像信號(hào)11。減法器102計(jì)算輸入圖像信號(hào)10與預(yù)測(cè)圖像信號(hào)11的差分，生成預(yù)測(cè)誤差圖像信號(hào)12。
[0083]變換.量子化部103從減法器102接收預(yù)測(cè)誤差圖像信號(hào)12，對(duì)接收的預(yù)測(cè)誤差圖像信號(hào)12實(shí)施變換處理，生成變換系數(shù)。變換處理，例如，是離散余弦變換(DCT:Discrete Cosine Transform)等正交變換。在另一實(shí)施方式中，變換?量子化部103也可以替代離散余弦變換而利用小波變換以及獨(dú)立分量解析等方法來(lái)生成變換系數(shù)。另外，變換.量子化部103根據(jù)由編碼控制部150提供的量子化參數(shù)對(duì)所生成的變換系數(shù)進(jìn)行量子化。被量子化后的變換系數(shù)(變換系數(shù)信息)13輸出給可變長(zhǎng)度編碼部104以及逆量子化.逆變換部105。
[0084]逆量子化?逆變換部105按照由編碼控制部150提供的量子化參數(shù)、即與變換?量子化部103相同的量子化參數(shù)，對(duì)量子化后的變換系數(shù)13進(jìn)行逆量子化。接著，逆量子化?逆變換部105對(duì)逆量子化后的變換系數(shù)實(shí)施逆變換，生成解碼預(yù)測(cè)誤差信號(hào)15?；谀媪孔踊?逆變換部105的逆變換處理與基于變換.量子化部103的變換處理的逆變換處理一致。例如，逆變換處理是逆離散余弦變換(IDCT:1nverse Discrete Cosine Transform)或逆小波變換等。
[0085]加法器106從逆量子化?逆變換部105接收解碼預(yù)測(cè)誤差信號(hào)15，另外，從預(yù)測(cè)部101接收預(yù)測(cè)圖像信號(hào)11。加法器106將解碼預(yù)測(cè)誤差信號(hào)15和預(yù)測(cè)圖像信號(hào)11相加而生成局部解碼圖像信號(hào)16。所生成的局部解碼圖像信號(hào)16在幀存儲(chǔ)器107中被保存為參照?qǐng)D像信號(hào)17。幀存儲(chǔ)器107所保存的參照?qǐng)D像信號(hào)17，在對(duì)其后的編碼對(duì)象塊進(jìn)行編碼時(shí)，由預(yù)測(cè)部101讀出并參照。
[0086]預(yù)測(cè)部101從幀存儲(chǔ)器107接收參照?qǐng)D像信號(hào)17，并且從后述的可利用塊取得部109接收可利用塊信息30。另外，預(yù)測(cè)部101從后述的運(yùn)動(dòng)信息存儲(chǔ)器108接收參照運(yùn)動(dòng)信息19。預(yù)測(cè)部101根據(jù)參照?qǐng)D像信號(hào)17、參照運(yùn)動(dòng)信息19以及可利用塊信息30生成編碼對(duì)象塊的預(yù)測(cè)圖像信號(hào)11、運(yùn)動(dòng)信息18以及選擇塊信息31。具體而言，預(yù)測(cè)部101具備:根據(jù)可利用塊信息30以及參照運(yùn)動(dòng)信息19生成運(yùn)動(dòng)信息18以及選擇塊信息31的運(yùn)動(dòng)信息選擇部118 ;以及根據(jù)運(yùn)動(dòng)信息18生成預(yù)測(cè)圖像信號(hào)11的運(yùn)動(dòng)補(bǔ)償部113。預(yù)測(cè)圖像信號(hào)11被送給減法器102以及加法器106。運(yùn)動(dòng)信息18被保存于運(yùn)動(dòng)信息存儲(chǔ)器108，以用于針對(duì)其后的編碼對(duì)象塊的預(yù)測(cè)處理。另外，選擇塊信息31被送給可變長(zhǎng)度編碼部104。關(guān)于預(yù)測(cè)部101在后詳細(xì)說(shuō)明。
[0087]運(yùn)動(dòng)信息存儲(chǔ)器`108中臨時(shí)保存運(yùn)動(dòng)信息18而作為參照運(yùn)動(dòng)信息19。圖4示出運(yùn)動(dòng)信息存儲(chǔ)器108的結(jié)構(gòu)的一例。如圖4所示，運(yùn)動(dòng)信息存儲(chǔ)器108以幀單位保持有參照運(yùn)動(dòng)信息19，參照運(yùn)動(dòng)信息19形成有運(yùn)動(dòng)信息幀25。與編碼完畢的塊有關(guān)的運(yùn)動(dòng)信息18被依次輸入運(yùn)動(dòng)信息存儲(chǔ)器108，其結(jié)果是，運(yùn)動(dòng)信息存儲(chǔ)器108保持編碼時(shí)間不同的多個(gè)運(yùn)動(dòng)信息幀25。
[0088]參照運(yùn)動(dòng)信息19以所定的塊單位(例如，4X4像素塊單位)保持在運(yùn)動(dòng)信息幀25內(nèi)。圖4所示的運(yùn)動(dòng)矢量塊28表示與編碼對(duì)象塊、可利用塊以及選擇塊等相同大小的像素塊,例如,是16X16像素塊。運(yùn)動(dòng)矢量塊28中，例如針對(duì)每4X4像素塊分配有運(yùn)動(dòng)矢量。將利用了運(yùn)動(dòng)矢量塊的交互預(yù)測(cè)處理稱作運(yùn)動(dòng)矢量塊預(yù)測(cè)處理。在生成運(yùn)動(dòng)信息18時(shí)，運(yùn)動(dòng)信息存儲(chǔ)器108所保持的參照運(yùn)動(dòng)信息19由預(yù)測(cè)部101讀出。后述那樣的可利用塊具有的運(yùn)動(dòng)信息18是指在運(yùn)動(dòng)信息存儲(chǔ)器108中的可利用塊所位于的區(qū)域保持的參照運(yùn)動(dòng)信息19。
[0089]另外，運(yùn)動(dòng)信息存儲(chǔ)器108不限于以4X4像素塊單位保持參照運(yùn)動(dòng)信息19的例子，也可以以其它像素塊單位保持參照運(yùn)動(dòng)信息19。例如，與參照運(yùn)動(dòng)信息19有關(guān)的像素塊單位既可以是I像素，也可以是2X2像素塊。另外，與參照運(yùn)動(dòng)信息19有關(guān)的像素塊的形狀不限于正方形狀的例子，能夠設(shè)為任意形狀。[0090]圖1的可利用塊取得部109從運(yùn)動(dòng)信息存儲(chǔ)器108取得參照運(yùn)動(dòng)信息19，根據(jù)取得的參照運(yùn)動(dòng)信息19，從已經(jīng)編碼完成的多個(gè)塊中選擇能夠在預(yù)測(cè)部101的預(yù)測(cè)處理中利用的可利用塊。所選擇的可利用塊被作為可利用塊信息30而送給預(yù)測(cè)部101以及可變長(zhǎng)度編碼部104。將成為用于選擇可利用塊的候選的編碼完畢的塊稱作運(yùn)動(dòng)參照塊。關(guān)于運(yùn)動(dòng)參照塊以及可利用塊的選擇方法，在后詳細(xì)地進(jìn)行說(shuō)明。
[0091]可變長(zhǎng)度編碼部104除了變換系數(shù)信息13以外，還從預(yù)測(cè)部101接收選擇塊信息31，從編碼控制部150接收預(yù)測(cè)信息以及量子化參數(shù)等的編碼參數(shù)，從可利用塊取得部109接收可利用塊信息30?？勺冮L(zhǎng)度編碼部104對(duì)量子化后的變換系數(shù)13、選擇塊信息31、可利用塊信息30以及編碼參數(shù)進(jìn)行熵編碼(例如，等長(zhǎng)編碼、哈夫曼編碼或算術(shù)編碼等)，生成編碼數(shù)據(jù)14。編碼參數(shù)包括選擇塊信息31以及預(yù)測(cè)信息，并且包括與變換系數(shù)有關(guān)的信息、與量子化有關(guān)的信息等在解碼所需要的所有的參數(shù)。所生成的編碼數(shù)據(jù)14被臨時(shí)保存在輸出緩存器120,并被送給未圖不的存儲(chǔ)系統(tǒng)或傳輸系統(tǒng)。
[0092]圖5示出輸入圖像信號(hào)10的處理程序。如圖5所示，首先，通過(guò)預(yù)測(cè)部101生成預(yù)測(cè)圖像信號(hào)11 (步驟S501)。在步驟S501的預(yù)測(cè)圖像信號(hào)11的生成中，將后述的可利用塊中的一個(gè)可利用塊選擇為選擇塊，并使用選擇塊信息31、選擇塊所具有的運(yùn)動(dòng)信息以及參照?qǐng)D像信號(hào)17制作預(yù)測(cè)圖像信號(hào)11。通過(guò)減法器102計(jì)算預(yù)測(cè)圖像信號(hào)11和輸入圖像信號(hào)10的差分，生成預(yù)測(cè)誤差圖像信號(hào)12 (步驟S502)。
[0093]接著，通過(guò)變換.量子化部103對(duì)預(yù)測(cè)誤差圖像信號(hào)12實(shí)施正交變換以及量子化，生成變換系數(shù)信息13(步驟S503)。變換系數(shù)信息13以及選擇塊信息31被送給可變長(zhǎng)度編碼部104，被實(shí)施可變長(zhǎng)度編碼，并生成編碼數(shù)據(jù)14 (步驟S504)。另外，在步驟S504中，根據(jù)選擇塊信息31來(lái)切換代碼表，以使在代碼表中具有與可利用塊的數(shù)量相等數(shù)量的條目，并對(duì)選擇塊信息31進(jìn)行可變長(zhǎng)度編碼。編碼數(shù)據(jù)的比特流20被送給未圖示的存儲(chǔ)系統(tǒng)統(tǒng)或者傳輸路徑。
[0094]在步驟S503中所生成的變換系數(shù)信息13由逆量子化?逆變換部105進(jìn)行逆量子化，并被實(shí)施逆變換處理，成為解碼預(yù)測(cè)誤差信號(hào)15(步驟S505)。將解碼預(yù)測(cè)誤差信號(hào)15加到在步驟S501中使用的參照?qǐng)D像信號(hào)17上，成為局部解碼圖像信號(hào)16 (步驟S506)，并作為參照?qǐng)D像信號(hào)而被存儲(chǔ)到幀存儲(chǔ)器107 (步驟S507)。
[0095]接著，對(duì)上述的圖像編碼部100的各結(jié)構(gòu)進(jìn)行更詳細(xì)的說(shuō)明。
[0096]圖1的圖像編碼部100預(yù)先準(zhǔn)備有多個(gè)預(yù)測(cè)模式，各預(yù)測(cè)模式的預(yù)測(cè)圖像信號(hào)11的生成方法以及運(yùn)動(dòng)補(bǔ)償塊大小相互不同的。作為預(yù)測(cè)部101生成預(yù)測(cè)圖像信號(hào)11的方法，具體而言，大致劃分的話，有使用與編碼對(duì)象幀(或者字段)有關(guān)的參照?qǐng)D像信號(hào)17生成預(yù)測(cè)圖像的內(nèi)預(yù)測(cè)(幀內(nèi)預(yù)測(cè))、和使用與一個(gè)以上的編碼完畢的參照幀(參照字段)有關(guān)的參照?qǐng)D像信號(hào)17生成預(yù)測(cè)圖像的交互預(yù)測(cè)(幀間預(yù)測(cè))。預(yù)測(cè)部101選擇性地切換內(nèi)預(yù)測(cè)以及交互預(yù)測(cè)，生成編碼對(duì)象塊的預(yù)測(cè)圖像信號(hào)11。
[0097]圖6A示出由運(yùn)動(dòng)補(bǔ)償部113進(jìn)行的交互預(yù)測(cè)的一例。在交互預(yù)測(cè)中，如圖6A所示，根據(jù)作為已經(jīng)編碼 完成的I幀前的參照幀內(nèi)的塊且與編碼對(duì)象塊相同位置的塊(也稱預(yù)測(cè)塊)23，使用與根據(jù)運(yùn)動(dòng)信息18所包括的運(yùn)動(dòng)矢量18a而空間地位移了的位置的塊24有關(guān)的參照?qǐng)D像信號(hào)17，生成預(yù)測(cè)圖像信號(hào)11。即，在預(yù)測(cè)圖像信號(hào)11的生成中，使用編碼對(duì)象塊的位置(坐標(biāo))、以及與通過(guò)運(yùn)動(dòng)信息18所包括的運(yùn)動(dòng)矢量18a確定的參照幀內(nèi)的塊24有關(guān)的參照?qǐng)D像信號(hào)17。在交互預(yù)測(cè)中，能夠進(jìn)行少數(shù)像素精度(例如，1/2像素精度或1/4像素精度)的運(yùn)動(dòng)補(bǔ)償，通過(guò)對(duì)參照?qǐng)D像信號(hào)17進(jìn)行濾波處理，生成插補(bǔ)像素的值。例如，在H.264中，能夠?qū)α炼刃盘?hào)進(jìn)行到1/4像素精度為止的插補(bǔ)處理。在進(jìn)行1/4像素精度的運(yùn)動(dòng)補(bǔ)償?shù)那闆r下，運(yùn)動(dòng)信息18的信息量成為整數(shù)像素精度的4倍。
[0098]另外，在交互預(yù)測(cè)中，不限于使用圖6A所示那樣的I幀前的參照幀的例子，如圖6B所示，可以使用任意的編碼完畢的參照幀。在保持有與時(shí)間位置不同的多個(gè)參照幀有關(guān)的參照?qǐng)D像信號(hào)17的情況下，表示根據(jù)哪個(gè)時(shí)間位置的參照?qǐng)D像信號(hào)17生成了預(yù)測(cè)圖像信號(hào)11的信息通過(guò)參照幀號(hào)碼來(lái)示出。參照幀號(hào)碼包含于運(yùn)動(dòng)信息18。參照幀號(hào)碼能夠以區(qū)域單位(圖形、塊單位等)進(jìn)行變更。即，能夠針對(duì)每個(gè)像素塊使用不同的參照幀。作為一例，當(dāng)預(yù)測(cè)中使用了編碼完畢的I幀前的參照幀的情況下，該區(qū)域的參照幀號(hào)碼被設(shè)定為
O,當(dāng)預(yù)測(cè)中使用了編碼完畢的2幀前的參照幀的情況下，該區(qū)域的參照幀號(hào)碼被設(shè)定為I。作為其它例，當(dāng)幀存儲(chǔ)器107中保持有I幀量的參照?qǐng)D像信號(hào)17 (參照幀的數(shù)量為I)情況下，參照幀號(hào)碼總是被設(shè)定為O。
[0099]另外，在交互預(yù)測(cè)中，能夠從多個(gè)運(yùn)動(dòng)補(bǔ)償塊之中選擇適于編碼對(duì)象塊的塊大小。即，也可以將編碼對(duì)象塊分割為多個(gè)小像素塊，并針對(duì)每個(gè)小像素塊進(jìn)行運(yùn)動(dòng)補(bǔ)償。圖7A至圖7C示出微塊單位的運(yùn)動(dòng)補(bǔ)償塊的大小，圖7D示出子塊(8X8像素以下的像素塊)單位的運(yùn)動(dòng)補(bǔ)償塊的大小。如圖7A所示，當(dāng)編碼對(duì)象塊為64X64像素的情況下，作為運(yùn)動(dòng)補(bǔ)償塊，能夠選擇64X64像素塊、64X32像素塊、32X64像素塊或32X32像素塊等。另外，如圖7B所示，當(dāng)編碼對(duì)象塊為32X32像素的情況下，作為運(yùn)動(dòng)補(bǔ)償塊能夠選擇32X32像素塊、32X 16像素塊、16X 32像素塊或16X16像素塊等。另外，如圖7C所示，當(dāng)編碼對(duì)象塊為16 X 16像素的情況下，能夠?qū)⑦\(yùn)動(dòng)補(bǔ)償塊設(shè)定為16 X 16像素塊、16 X 8像素塊、8 X 16像素塊或8 X 8像素塊等。另外，如圖7D所示，當(dāng)編碼對(duì)象塊為8 X 8像素的情況下，運(yùn)動(dòng)補(bǔ)償塊能夠選擇8X8像素塊、8X4像素塊、4X8像素塊或4X4像素塊等。
[0100]如上所述，在交互預(yù)測(cè)中使用的參照幀內(nèi)的小像素塊(例如，4X4像素塊)具有運(yùn)動(dòng)信息18，所以能夠按照輸入圖像信號(hào)10的局部的性質(zhì)來(lái)利用最佳的運(yùn)動(dòng)補(bǔ)償塊的形狀以及運(yùn)動(dòng)矢量。另外，圖7A至圖7D的微塊以及子微塊能夠任意地組合。當(dāng)編碼對(duì)象塊為圖7A所示那樣的64 X 64像素塊的情況下，針對(duì)分割64 X 64像素塊得到的4個(gè)32 X 32像素塊的每一個(gè)來(lái)選擇圖7B所示的各塊大小，從而能夠階段性地利用64X64?16X 16像素的塊。同樣地，在能夠選擇到圖7D所示的塊大小的情況下，能夠階段性地利用64X64?4X4的塊大小。
[0101]接著，參照?qǐng)D8A至圖8F來(lái)說(shuō)明運(yùn)動(dòng)參照塊。
[0102]運(yùn)動(dòng)參照塊是按照?qǐng)D1的圖像編碼裝置以及后述的圖像解碼裝置的雙方協(xié)定的方法從編碼對(duì)象幀以及參照幀內(nèi)的編碼完畢的區(qū)域(塊)中選擇的。圖8A示出根據(jù)編碼對(duì)象塊的位置而選擇的運(yùn)動(dòng)參照塊的配置的一例。在圖8A的例子中，從編碼對(duì)象幀以及參照幀內(nèi)的編碼完畢的區(qū)域選擇9個(gè)運(yùn)動(dòng)參照塊A?D以及TA?TE。具體而言，從編碼對(duì)象幀中，選擇與編碼對(duì)象塊的左、上、右上、左上鄰接的4個(gè)塊A，B, C，D作為運(yùn)動(dòng)參照塊，從參照幀中選擇與編碼對(duì)象塊同一位置的塊TA、以及與該塊TA的右、下、左以及上鄰接的4個(gè)像素塊TB，TC，TD, TE作為運(yùn)動(dòng)參照塊。在本實(shí)施方式中，將從編碼對(duì)象幀中選擇的運(yùn)動(dòng)參照塊稱作空間方向運(yùn)動(dòng)參照塊，將從參照幀中選擇的運(yùn)動(dòng)參照塊稱作時(shí)間方向運(yùn)動(dòng)參照塊。賦予圖8A的各運(yùn)動(dòng)參照塊的編碼p表示運(yùn)動(dòng)參照塊的索引。該索引被按照時(shí)間方向、空間方向的運(yùn)動(dòng)參照塊的順序而編號(hào)，但不限與此，只要索引不重復(fù)，不需要必須按照該順序。例如，時(shí)間方向以及空間方向的運(yùn)動(dòng)參照塊也可以順序凌亂地編號(hào)。
[0103]另外，空間方向運(yùn)動(dòng)參照塊不限于圖8A所示的例子，也可以如圖SB所示的那樣地是與編碼對(duì)象塊鄰接的像素a，b，c，d所屬的塊(例如，微塊或子微塊等)。在這種情況下，從編碼對(duì)象塊內(nèi)的左上像素e到各像素a，b，c，d的相對(duì)位置(dx，dy)被設(shè)定為圖8C所示。在此，在圖8A以及圖8B所示的例子中，微塊示出為NXN像素塊。
[0104]另外，如圖8D所示，也可以將與編碼對(duì)象塊鄰接的全部的塊Al?A4，BI，B2, C，D選擇為空間方向運(yùn)動(dòng)參照塊。在圖8D的例子中，空間方向運(yùn)動(dòng)參照塊的數(shù)量為8。
[0105]另外，時(shí)間方向運(yùn)動(dòng)參照塊既可以圖SE所示地各塊TA?TE的一部分重疊，也可以如圖8F所示地各塊TA?TE分離配置。在圖SE中，以斜線示出時(shí)間方向運(yùn)動(dòng)參照塊TA以及TB重疊的部分。另外，時(shí)間方向運(yùn)動(dòng)參照塊不限于必須是與編碼對(duì)象塊對(duì)應(yīng)的位置(Collocate位置)的塊以及位于其周圍的塊的例子，也可以配置在參照幀內(nèi)的任意位置的塊。例如，可以將通過(guò)參照塊的位置以及與編碼對(duì)象塊鄰接的任意的編碼完畢的塊所具有的運(yùn)動(dòng)信息18確定的、參照幀內(nèi)的塊選擇為中心塊(例如,塊TA)，并將該中心塊以及其周圍的塊選擇為時(shí)間方向運(yùn)動(dòng)參照塊。另外，時(shí)間方向參照塊也可以從中心塊不等間隔地配置。
[0106]在上述任意的情況下，如果編碼裝置以及解碼裝置中預(yù)先協(xié)定了空間方向以及時(shí)間方向運(yùn)動(dòng)參照塊的數(shù)量以及位置，則運(yùn)動(dòng)參照塊的數(shù)量以及位置可以任意地設(shè)置。另外，運(yùn)動(dòng)參照塊的大小不需要必須與編碼對(duì)象塊相同大小。例如，如圖8D所示，運(yùn)動(dòng)參照塊的大小既可以比編碼對(duì)象塊大，也可以比編碼對(duì)象塊小。另外，運(yùn)動(dòng)參照塊不限于正方形狀，也可以設(shè)定為長(zhǎng)方形形狀等任意形狀。另外，運(yùn)動(dòng)參照塊也可以設(shè)定為任何大小。
[0107]另外，運(yùn)動(dòng)參照塊以及可利用塊也可以僅配置在時(shí)間方向以及空間方向的某一方。另外，也可以按照P切片、B切片這些切片的種類來(lái)配置時(shí)間方向的運(yùn)動(dòng)參照塊以及可利用塊，并且也可以配置空間方向的運(yùn)動(dòng)參照塊以及可利用塊。
[0108]圖9示出可利用塊取得部109從運(yùn)動(dòng)參照塊中選擇可利用塊的方法?？衫脡K是能夠?qū)幋a對(duì)象塊應(yīng)用運(yùn)動(dòng)信息的塊，且具有相互不同的運(yùn)動(dòng)信息?？衫脡K取得部109參照參照運(yùn)動(dòng)信息19，按照?qǐng)D9所示的方法，判定運(yùn)動(dòng)參照塊各自是否是可利用塊，并輸出可利用塊信息30。
[0109]如圖9所示，首先，選擇索引P為O的運(yùn)動(dòng)參照塊(S800)。在圖9的說(shuō)明中，假想按照索引P從O到M-1 (M表示運(yùn)動(dòng)參照塊的數(shù)量。)的順序處理運(yùn)動(dòng)參照塊的情況。另外，設(shè)針對(duì)索引P從O到p-Ι的運(yùn)動(dòng)參照塊的可利用判定處理結(jié)束、并且成為判定是否可利用的對(duì)象的運(yùn)動(dòng)參照塊的索引為P進(jìn)行說(shuō)明。
[0110]可利用塊取得部109判定運(yùn)動(dòng)參照塊P是否具有運(yùn)動(dòng)信息18，即是否被分配有至少一個(gè)運(yùn)動(dòng)矢量(S801)。當(dāng)運(yùn)動(dòng)參照塊P不具有運(yùn)動(dòng)矢量的情況下，即時(shí)間方向運(yùn)動(dòng)參照塊P是不具有運(yùn)動(dòng)信息的I切片內(nèi)的塊、或者時(shí)間方向運(yùn)動(dòng)參照塊P內(nèi)的全部的小像素塊被內(nèi)預(yù)測(cè)編碼了的情況下，進(jìn)入步驟S805。在步驟S805中，運(yùn)動(dòng)參照塊P被判定為不可利用塊。
[0111]在步驟S801中判定為運(yùn)動(dòng)參照塊P具有運(yùn)動(dòng)信息的情況下，進(jìn)入步驟S802?？衫脡K取得部109選定已經(jīng)被選擇為可利用塊的運(yùn)動(dòng)參照塊q (可利用塊q)。在此，q是比P小的值。接著，可利用塊取得部109對(duì)運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息18和可利用塊q的運(yùn)動(dòng)信息18進(jìn)行比較，判定是否具有同一運(yùn)動(dòng)信息(S803)。當(dāng)判定為運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息18和被選擇為可利用塊的運(yùn)動(dòng)參照塊q的運(yùn)動(dòng)信息18相同的情況下，進(jìn)入步驟S805，判定為運(yùn)動(dòng)參照塊P為不可利用塊。
[0112]當(dāng)針對(duì)滿足q〈p的全部的可利用塊q，在步驟S803中判定為運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息18和可利用塊q的運(yùn)動(dòng)信息18不相同的情況下，進(jìn)入步驟S804。在步驟S804中，可利用塊取得部109將運(yùn)動(dòng)參照塊P判定為可利用塊。
[0113]如果運(yùn)動(dòng)參照塊P被判定為可利用塊或不可利用塊，則可利用塊取得部109判定是否針對(duì)全部的運(yùn)動(dòng)參照塊執(zhí)行了可利用判定(S806)。在存在未被執(zhí)行可利用判定的運(yùn)動(dòng)參照塊的情況下，例如，在P〈M_1的情況下，進(jìn)入步驟S807。接著，可利用塊取得部109將索引P加I (步驟S807)，并再次執(zhí)行步驟S801至步驟S806。當(dāng)在步驟S806中判定為針對(duì)全部的運(yùn)動(dòng)參照塊執(zhí)行了可利用判定時(shí)，結(jié)束可利用判定處理。
[0114]通過(guò)執(zhí)行上述的可利用判定處理，判定各運(yùn)動(dòng)參照塊是可利用塊還是不可利用塊。可利用塊取得部109生成包括與可利用塊有關(guān)的信息的可利用塊信息30。由此，通過(guò)從運(yùn)動(dòng)參照塊中選擇可利用塊，與可利用塊信息30有關(guān)的信息量降低，作為結(jié)果，能夠降低編碼數(shù)據(jù)14的量。
[0115]圖10示出針對(duì)圖8A所示的運(yùn)動(dòng)參照塊執(zhí)行了可利用判定處理的結(jié)果的一例。在圖10中，判定為2個(gè)空間方向運(yùn)動(dòng)參照塊(p=0，I)以及2個(gè)時(shí)間方向運(yùn)動(dòng)參照塊(p=5，8)為可利用塊。圖11示出與圖10的例子有關(guān)的可利用塊信息30的一例。如圖11所示，可利用塊信息30包括運(yùn)動(dòng)參照塊的索引、可利用性以及運(yùn)動(dòng)參照塊名稱。在圖11的例子中，索引p=0，l，5，8為可利用塊，可利用塊數(shù)為4。預(yù)測(cè)部101從這些可利用塊中選擇最佳的一個(gè)可利用塊作為選擇塊，并輸出與選擇塊有關(guān)的信息(選擇塊信息)31。選擇塊信息31包括可利用塊的數(shù)量以及所選擇的可利用塊的索引值。例如，當(dāng)可利用塊的數(shù)量為4的情況下，使用最大的條目為4的代碼表，通過(guò)可變長(zhǎng)度編碼部104對(duì)相應(yīng)的選擇塊信息31進(jìn)行編碼。
[0116]另外，在圖9的步驟S801中，當(dāng)時(shí)間方向運(yùn)動(dòng)參照塊P內(nèi)的塊中的至少一個(gè)是被內(nèi)預(yù)測(cè)編碼了的塊的情況下，可利用塊取得部109也可以將運(yùn)動(dòng)參照塊P判定為不可利用塊。即，也可以設(shè)為僅在時(shí)間方向運(yùn)動(dòng)參照塊P內(nèi)的全部的塊被以交互預(yù)測(cè)進(jìn)行編碼的情況下，進(jìn)入步驟S802。
[0117]圖12A至圖12E示出在步驟S803的運(yùn)動(dòng)信息18的比較中，判定為運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息18和可利用塊q的運(yùn)動(dòng)信息18相同的例子。圖12A至圖12E中示出有分別帶斜線的多個(gè)塊和2個(gè)涂白的塊。圖12A至圖12E中，為了簡(jiǎn)化說(shuō)明，假設(shè)不考慮帶斜線的塊而比較這2個(gè)涂白的塊的運(yùn)動(dòng)信息18。2個(gè)涂白的塊的一個(gè)是運(yùn)動(dòng)參照塊P，另一個(gè)是已經(jīng)判定為可利用的運(yùn)動(dòng)參照塊q (可利用塊q)。特別地，只要沒(méi)有特別說(shuō)明，2個(gè)白色塊的任意一個(gè)都可以是運(yùn)動(dòng)參照塊P。
[0118]圖12A示出運(yùn)動(dòng)參照塊P以及可利用塊q的雙方為空間方向的塊的例子。在圖12A的例子中，如果塊A以及B的運(yùn)動(dòng)信息18相同，則判定為運(yùn)動(dòng)信息18相同。此時(shí)，不需要塊A以及B的大小相同。[0119]圖12B示出運(yùn)動(dòng)參照塊p以及可利用塊q的一個(gè)是空間方向的塊A，另一個(gè)是時(shí)間方向的塊TB的例子。在圖12B中，在時(shí)間方向的塊TB內(nèi)有一個(gè)具有運(yùn)動(dòng)信息的塊。如果時(shí)間方向的塊TB的運(yùn)動(dòng)信息18和空間方向的塊A的運(yùn)動(dòng)信息18相同，則判定為運(yùn)動(dòng)信息18相同。此時(shí)，不需要塊A以及TB的大小相同。
[0120]圖12C示出運(yùn)動(dòng)參照塊P以及可利用塊q的一個(gè)是空間方向的塊A，另一個(gè)是時(shí)間方向的塊TB的另一例子。圖12C示出將時(shí)間方向的塊TB分割為多個(gè)小塊，且存在多個(gè)具有運(yùn)動(dòng)信息18的小塊情況。在圖12C的例子中，具有運(yùn)動(dòng)信息18的全部的塊具有相同的運(yùn)動(dòng)信息18，如果該運(yùn)動(dòng)信息18與空間方向的塊A的運(yùn)動(dòng)信息18相同，則判定為運(yùn)動(dòng)信息18相同。此時(shí)，不需要塊A以及TB的大小相同。
[0121]圖12D示出運(yùn)動(dòng)參照塊P以及可利用塊q都是時(shí)間方向的塊的例子。在這種情況下，如果塊TB以及TE的運(yùn)動(dòng)信息18，則判定為運(yùn)動(dòng)信息18相同。
[0122]圖12E示出運(yùn)動(dòng)參照塊P以及可利用塊q都為時(shí)間方向的塊的另一例子。圖12E示出將時(shí)間方向的塊TB以及TE分別分割為多個(gè)小塊，而各自存在多個(gè)具有運(yùn)動(dòng)信息18的小塊的情況。在這種情況下，針對(duì)塊內(nèi)的每個(gè)小塊比較運(yùn)動(dòng)信息18，如果針對(duì)全部的小塊運(yùn)動(dòng)信息18相同，則判定為塊TB的運(yùn)動(dòng)信息18與塊TE的運(yùn)動(dòng)信息18相同。
[0123]圖12F示出運(yùn)動(dòng)參照塊P以及可利用塊q都為時(shí)間方向的塊的另一例子。圖12F示出時(shí)間方向的塊TE被分割為多個(gè)小塊、且塊TE中存在多個(gè)具有運(yùn)動(dòng)信息18的小塊的情況。在塊TE的全部的運(yùn)動(dòng)信息18是相同的運(yùn)動(dòng)信息18、并且與塊TD的運(yùn)動(dòng)信息18相同的情況下，判定為塊TD與TE的運(yùn)動(dòng)信息18相同。
[0124]由此，在步驟S803中，判定運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息18和可利用塊q的運(yùn)動(dòng)信息18是否相同。在圖12A至圖12F的例子中，設(shè)為與運(yùn)動(dòng)參照塊P進(jìn)行比較的可利用塊q的數(shù)量為I進(jìn)行了說(shuō)明，但在可利用塊q的數(shù)量為2以上的情況下，也可以將運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息18與各個(gè)可利用塊q的運(yùn)動(dòng)信息18進(jìn)行比較。另外，在應(yīng)用后述的比例縮放的情況下，比例縮放后的運(yùn)動(dòng)信息18成為上述說(shuō)明的運(yùn)動(dòng)信息18。
[0125]另外，運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息和可利用塊q的運(yùn)動(dòng)信息相同的判定不限于運(yùn)動(dòng)信息所包含的各運(yùn)動(dòng)矢量完全一致的情況。例如，只要2個(gè)運(yùn)動(dòng)矢量的差的范數(shù)(norm)在規(guī)定的范圍內(nèi)，都可以看作運(yùn)動(dòng)參照塊P的運(yùn)動(dòng)信息與可利用塊q的運(yùn)動(dòng)信息實(shí)質(zhì)上相同。
[0126]圖13示出預(yù)測(cè)部101的更詳細(xì)的結(jié)構(gòu)。如上所述，該預(yù)測(cè)部101輸入可利用塊信息30、參照運(yùn)動(dòng)信息19以及參照?qǐng)D像信號(hào)17，輸出預(yù)測(cè)圖像信號(hào)11、運(yùn)動(dòng)信息18以及選擇塊信息31。如圖13所示，運(yùn)動(dòng)信息選擇部118具備空間方向運(yùn)動(dòng)信息取得部110、時(shí)間方向運(yùn)動(dòng)信息取得部111以及運(yùn)動(dòng)信息切換開(kāi)關(guān)112。
[0127]空間方向運(yùn)動(dòng)信息取得部110中輸入可利用塊信息30、以及與空間方向運(yùn)動(dòng)參照塊有關(guān)的參照運(yùn)動(dòng)信息19?？臻g方向運(yùn)動(dòng)信息取得部110輸出包括位于空間方向的各可利用塊所具有的運(yùn)動(dòng)信息以及可利用塊的索引值的運(yùn)動(dòng)信息18A。當(dāng)作為可利用塊信息30而輸入圖11所示的信息的情況下，空間方向運(yùn)動(dòng)信息取得部110生成2個(gè)運(yùn)動(dòng)信息輸出18A，各運(yùn)動(dòng)信息輸出18A包括可利用塊以及該可利用塊所具有的運(yùn)動(dòng)信息19。
[0128]時(shí)間方向運(yùn)動(dòng)信息取得部111中輸入可利用塊信息30以及與時(shí)間方向運(yùn)動(dòng)參照塊有關(guān)的參照運(yùn)動(dòng)信息19。時(shí)間方向運(yùn)動(dòng)信息取得部111，輸出利用可利用塊信息30確定的可利用的時(shí)間方向運(yùn)動(dòng)參照塊所具有的運(yùn)動(dòng)信息19以及可利用塊的索引值而作為運(yùn)動(dòng)信息18B。時(shí)間方向運(yùn)動(dòng)參照塊被分割為多個(gè)小像素塊，各小像素塊具有運(yùn)動(dòng)信息19。如圖14所示，時(shí)間方向運(yùn)動(dòng)信息取得部111所輸出的運(yùn)動(dòng)信息18B包括可利用塊內(nèi)的各小像素塊所具有的運(yùn)動(dòng)信息19的組。當(dāng)運(yùn)動(dòng)信息18B包括運(yùn)動(dòng)信息19的組的情況下，能夠以分割編碼對(duì)象塊得到的小像素塊單位對(duì)編碼對(duì)象塊執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。當(dāng)作為可利用塊信息30而輸入圖11所示的信息的情況下，時(shí)間方向運(yùn)動(dòng)信息取得部111生成2個(gè)運(yùn)動(dòng)信息輸出18B，各運(yùn)動(dòng)信息輸出包括可利用塊以及該可利用塊所具有的運(yùn)動(dòng)信息19的組。
[0129]另外，時(shí)間方向運(yùn)動(dòng)信息取得部111也可以求出各像素小塊所具有的運(yùn)動(dòng)信息19所包含的運(yùn)動(dòng)矢量的平均值或代表值，并將運(yùn)動(dòng)矢量的平均值或代表值作為運(yùn)動(dòng)信息18B而輸出。
[0130]圖13的運(yùn)動(dòng)信息切換開(kāi)關(guān)112根據(jù)從空間方向運(yùn)動(dòng)信息取得部110以及時(shí)間方向運(yùn)動(dòng)信息取得部111輸出的運(yùn)動(dòng)信息18A以及18B，選擇一個(gè)合適的可利用塊作為選擇塊，并將與選擇塊對(duì)應(yīng)的運(yùn)動(dòng)信息18 (或運(yùn)動(dòng)信息18的組)輸出到運(yùn)動(dòng)補(bǔ)償部113。另外，運(yùn)動(dòng)信息切換開(kāi)關(guān)112輸出與選擇塊有關(guān)的選擇塊信息31。選擇塊信息31包括索引P或運(yùn)動(dòng)參照塊的名稱等，也被簡(jiǎn)單地稱作選擇信息。選擇塊信息31不限定為索引P以及運(yùn)動(dòng)參照塊的名稱，只要能夠確定選擇塊的位置，也可以是任意的信息。
[0131]運(yùn)動(dòng)信息切換開(kāi)關(guān)112，例如將通過(guò)下述式I所示的成本式導(dǎo)出的編碼成本為最小的可利用塊選擇為選擇塊。
[0132][數(shù)I]
[0133]J = D+λ XR (I)
[0134]在此，J表示編碼成本，D示出表示輸入圖像信號(hào)10與參照?qǐng)D像信號(hào)17之間的平方誤差和的編碼失真。另外，R表示通過(guò)虛擬編碼而估算的編碼量，λ表示通過(guò)量子化寬度等規(guī)定的拉格朗日(Lagrange)未定系數(shù)。既可以替代式1，而僅使用編碼量R或編碼失真D來(lái)計(jì)算編碼成本J，也可以使用對(duì)編碼量R或編碼失真D進(jìn)行近似得到的值來(lái)制作式I的成本函數(shù)。另外，編碼失真D不限于平方誤差和，也可以是預(yù)測(cè)誤差的絕對(duì)值和(SAD:SumSof absolute difference:差分絕對(duì)值和)。編碼量R,也可以僅使用與運(yùn)動(dòng)信息18有關(guān)的編碼量。另外，不限于將編碼成本為最小的可利用塊選擇為選擇塊的例子，也可以將編碼成本具有最小的值以上的某個(gè)范圍內(nèi)的值的一個(gè)可利用塊選擇為選擇塊。
[0135]運(yùn)動(dòng)補(bǔ)償部113根據(jù)運(yùn)動(dòng)信息選擇部118所選擇的選擇塊所具有的運(yùn)動(dòng)信息(或運(yùn)動(dòng)信息的組)，導(dǎo)出作為預(yù)測(cè)圖像信號(hào)11而取出參照?qǐng)D像信號(hào)17的像素塊的位置。當(dāng)對(duì)運(yùn)動(dòng)補(bǔ)償部113輸入了運(yùn)動(dòng)信息的組的情況下，運(yùn)動(dòng)補(bǔ)償部113將作為預(yù)測(cè)圖像信號(hào)11而取出參照?qǐng)D像信號(hào)17的像素塊分割為小像素塊(例如，4X4像素塊)，并且，對(duì)這些小像素塊的各個(gè)應(yīng)用對(duì)應(yīng)的運(yùn)動(dòng)信息18，從而根據(jù)參照?qǐng)D像信號(hào)17取得預(yù)測(cè)圖像信號(hào)11。取得預(yù)測(cè)圖像信號(hào)11的塊的位置，例如如圖4A所示，成為對(duì)應(yīng)于運(yùn)動(dòng)信息18所包含的運(yùn)動(dòng)矢量18a而從小像素塊在空間方向位移了的位置。
[0136]針對(duì)編碼對(duì)象塊的運(yùn)動(dòng)補(bǔ)償處理能夠使用和H.264的運(yùn)動(dòng)補(bǔ)償處理同樣的處理。在此，作為一例，具體說(shuō)明1/4像素精度的插補(bǔ)方法。在1/4像素精度的插補(bǔ)中，當(dāng)運(yùn)動(dòng)矢量的各分量為4的倍數(shù)時(shí)，運(yùn)動(dòng)矢量指示整數(shù)像素位置。除此以外的情況下，運(yùn)動(dòng)矢量指示與分?jǐn)?shù)精度的插補(bǔ)位置對(duì)應(yīng)的預(yù)測(cè)位置。
[0137][數(shù)2]
【權(quán)利要求】
1.一種圖像編碼方法，其特征在于，具有: 第I步驟，從具有運(yùn)動(dòng)信息的編碼完畢的像素塊中選擇多個(gè)運(yùn)動(dòng)參照塊； 第2步驟，從所述多個(gè)運(yùn)動(dòng)參照塊中選擇至少一個(gè)可利用塊，所述至少一個(gè)可利用塊是具有應(yīng)用于編碼對(duì)象塊的運(yùn)動(dòng)信息的候選的像素塊，且具有相互不同的運(yùn)動(dòng)信息； 第3步驟，從所述可利用塊中選擇一個(gè)選擇塊； 第4步驟，使用所述選擇塊的運(yùn)動(dòng)信息生成所述編碼對(duì)象塊的預(yù)測(cè)圖像； 第5步驟，對(duì)所述預(yù)測(cè)圖像與原圖像之間的預(yù)測(cè)誤差進(jìn)行編碼；以及第6步驟，基于根據(jù)所述可利用塊的數(shù)量而預(yù)先設(shè)定的代碼規(guī)則，對(duì)用于確定所述選擇塊的選擇信息進(jìn)行編碼， 所述多個(gè)運(yùn)動(dòng)參照塊包括與所述編碼對(duì)象塊相同的幀的多個(gè)塊、以及與所述編碼對(duì)象塊不同的幀的多個(gè)塊。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于， 在所述第2步驟中，在所述運(yùn)動(dòng)參照塊具有運(yùn)動(dòng)信息、并且該運(yùn)動(dòng)信息與對(duì)應(yīng)于已經(jīng)被判定為可利用的運(yùn)動(dòng)參照塊的運(yùn)動(dòng)信息不一致的情況下，判定為可利用塊。
3.一種圖像編碼裝置，其特征在于，具備: 可利用塊取得部，從具有運(yùn)動(dòng)信息的編碼完畢的像素塊中選擇多個(gè)運(yùn)動(dòng)參照塊，從所述多個(gè)運(yùn)動(dòng)參照塊中選擇至少一個(gè)可利用塊，所述至少一個(gè)可利用塊是具有應(yīng)用于編碼對(duì)象塊的運(yùn)動(dòng)信息的候選的像素塊，且具有相互不同的運(yùn)動(dòng)信息； 選擇部，從所述可利用塊中選擇一個(gè)選擇塊； 預(yù)測(cè)部，使用所述選擇塊的運(yùn)動(dòng)信息生成所述編碼對(duì)象塊的預(yù)測(cè)圖像； 第I編碼部，對(duì)所述預(yù)測(cè)圖像與原圖像之間的預(yù)測(cè)誤差進(jìn)行編碼；以及第2編碼部，基于根據(jù)所述可利用塊的數(shù)量而預(yù)先設(shè)定的代碼規(guī)則，對(duì)用于確定所述選擇塊的選擇信息進(jìn)行編碼， 所述多個(gè)運(yùn)動(dòng)參照塊包括與所述編碼對(duì)象塊相同的幀的多個(gè)塊、以及與所述編碼對(duì)象塊不同的幀的多個(gè)塊。
4.根據(jù)權(quán)利要求3所述的圖像編碼裝置，其特征在于， 在所述可利用塊取得部中，在所述運(yùn)動(dòng)參照塊具有運(yùn)動(dòng)信息、并且該運(yùn)動(dòng)信息與對(duì)應(yīng)于已經(jīng)被判定為可利用的運(yùn)動(dòng)參照塊的運(yùn)動(dòng)信息不一致的情況下，判定為可利用塊。
【文檔編號(hào)】H04N19/176GK103813168SQ201410051150
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2010年4月8日 優(yōu)先權(quán)日:2010年4月8日
【發(fā)明者】鹽寺太一郎, 淺香沙織, 谷沢昭行, 中條健 申請(qǐng)人:株式會(huì)社東芝