專利名稱：動(dòng)圖像編碼方法和動(dòng)圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有分級(jí)數(shù)據(jù)結(jié)構(gòu)的動(dòng)圖像編碼方法以及動(dòng)圖像編碼裝置，特別是涉及即使在低頻帶，對(duì)于畫(huà)面中的重要區(qū)域也能夠保持較高圖像品質(zhì)的動(dòng)圖像編碼方法和動(dòng)圖像編碼裝置。
背景技術(shù)：
由已往的影像傳輸系統(tǒng)傳輸?shù)挠跋駭?shù)據(jù)，可在某一定的傳輸頻帶傳輸，通常，利用H.261方式或MPEG(Moving Picture Experts Group)方式等將其壓縮編碼到固定頻帶以下，已編碼的影像數(shù)據(jù)，即使傳輸頻帶改變，也不會(huì)改變影像質(zhì)量。
但是，隨著近年來(lái)的網(wǎng)絡(luò)多樣化，傳輸線路的頻帶變動(dòng)很大，在多個(gè)頻帶可傳輸平衡質(zhì)量影像的影像數(shù)據(jù)是必要的，與此相適應(yīng)，可以對(duì)應(yīng)于具有分級(jí)結(jié)構(gòu)的多個(gè)頻帶的分級(jí)編碼方式已被標(biāo)準(zhǔn)化。在這種分級(jí)編碼方式中，特別是關(guān)于頻帶選擇的自由度高的方式的MPEG-4FGS(ISO/IEC14496-2 Amendment 4)現(xiàn)在也已被標(biāo)準(zhǔn)化。按照MPEG-4FGS編碼的影像數(shù)據(jù)，由作為能按單元解碼的動(dòng)圖像數(shù)據(jù)流的一個(gè)基本層，以及作為用于提高基本層的解碼動(dòng)圖像質(zhì)量的動(dòng)圖像數(shù)據(jù)流的至少一個(gè)以上擴(kuò)展層構(gòu)成?；緦釉诘皖l帶是低圖像品質(zhì)的影像數(shù)據(jù)，通過(guò)按照頻帶在其中增加擴(kuò)展層，則可實(shí)現(xiàn)自由度高的高圖像品質(zhì)化。
在MPEG-4FGS，由于具有通過(guò)控制分配的擴(kuò)展層數(shù)，可按任意規(guī)模分割在基本層增加的擴(kuò)展層的總數(shù)據(jù)規(guī)模的特征，則基本層的頻帶固定，控制擴(kuò)展層的總數(shù)據(jù)規(guī)模，可以適應(yīng)傳輸頻帶。例如，根據(jù)可能接收的頻帶，選擇基本層和多個(gè)擴(kuò)展層進(jìn)行接收，則可接收與頻帶相應(yīng)的品質(zhì)的影像。并且，擴(kuò)展層即使在傳輸線路損失，雖然是低圖像品質(zhì)，但也可僅以基本層再生影像。
這樣，MPEG-4FGS隨著頻帶變高，通過(guò)在基本層增加大規(guī)模的擴(kuò)展層或多個(gè)擴(kuò)展層，可以使整個(gè)畫(huà)面順利地高圖像品質(zhì)化，然而對(duì)于頻帶較低的狀況，整個(gè)畫(huà)面為低圖像品質(zhì)。特別是MPEG-4FGS的擴(kuò)展層由于采用了未利用時(shí)間連續(xù)的幀間相關(guān)性的幀內(nèi)編碼方式，與利用幀間相關(guān)性的幀間編碼相比較，壓縮效率下降了。特別是在低頻帶，對(duì)于用戶來(lái)說(shuō)存在重要區(qū)域變?yōu)榈蛨D像品質(zhì)的問(wèn)題。
因此，用于提高擴(kuò)展層的編碼效率的現(xiàn)有技術(shù)，在擴(kuò)展層的位平面VLC(Variable Length Coding可變長(zhǎng)編碼)，不是按照從左上向右下的順序進(jìn)行編碼，在基本層中使用的量化值按照從大的宏塊的順序進(jìn)行編碼(例如，參照特開(kāi)2001-268568號(hào)公報(bào))。
圖1是表示已有影像編碼裝置構(gòu)成的一例的圖。該影像編碼裝置10具有影像輸入部12，基本級(jí)編碼部14，基本層解碼部16，基本層輸出部18，差分圖像生成部20，DCT部22，存儲(chǔ)順序控制部24，位平面VLC部26，擴(kuò)展層輸出部28。
影像輸入部12，在每1畫(huà)面將輸入的影像信號(hào)輸出到基本層編碼部14和差分圖像生成部20?；緦泳幋a部14，對(duì)于從影像輸入部12輸入的影像信號(hào)，進(jìn)行利用了動(dòng)態(tài)補(bǔ)償·DCT(Discrete Cosine Transform離散余弦變換)·量化的MPEG編碼，將編碼數(shù)據(jù)輸出到基本層輸出部18和基本層解碼部16，同時(shí)將用于由16×16像素構(gòu)成的宏塊(由16×16像素構(gòu)成的正方格子狀像素集合)的量化的量化值輸出到存儲(chǔ)順序控制部24?；緦咏獯a部16，將對(duì)基本層的編碼數(shù)據(jù)進(jìn)行逆量化·逆DCT·動(dòng)態(tài)補(bǔ)償?shù)玫降慕獯a數(shù)據(jù)輸出到差分圖像生成部20。
差分圖像生成部20，在從影像輸入部12輸入的非壓縮影像信號(hào)和從基本層解碼部16輸入的基本層編碼·解碼后的解碼圖像數(shù)據(jù)之間進(jìn)行差分處理，生成差分圖像，將差分圖像輸出到DCT部22。DCT部22，對(duì)從差分圖像生成部20輸入的全體差分圖像，以8×8像素單位按順序進(jìn)行DCT變換，將圖像內(nèi)的全DCT系數(shù)輸出到存儲(chǔ)順序控制部24。存儲(chǔ)順序控制部24，對(duì)從DCT部22輸入的全DCT系數(shù)，以宏塊為單位進(jìn)行并列替換，將宏塊的存儲(chǔ)順序信息輸出到擴(kuò)展層輸出部28，同時(shí)將并列替換的全DCT系數(shù)輸出到位平面VLC部26。
在存儲(chǔ)順序控制部24的宏塊的并列替換，利用從基本層編碼部14輸入的每個(gè)宏塊的量化值進(jìn)行，從量化值大的宏塊開(kāi)始按順序從左上向右下存儲(chǔ)。位平面VLC部26，對(duì)從存儲(chǔ)順序控制部24輸入的全畫(huà)面DCT系數(shù)，用2進(jìn)制數(shù)表示各DCT系數(shù)后，用屬于各位位置的位構(gòu)成位平面，按從上級(jí)位平面到下級(jí)位平面的順序分別進(jìn)行可變長(zhǎng)編碼(VLC)。在各位平面，從左上的宏塊向右下進(jìn)行可變長(zhǎng)編碼(VLC)，按照從上級(jí)位平面開(kāi)始的順序在位數(shù)據(jù)流從最前面開(kāi)始并列進(jìn)行，生成擴(kuò)展層的位數(shù)據(jù)流，輸出到擴(kuò)展層輸出部28。由位平面VLC部26生成的擴(kuò)散級(jí)的位數(shù)據(jù)流，其構(gòu)造為上級(jí)位平面的數(shù)據(jù)存儲(chǔ)在最前面，繼續(xù)按順序存儲(chǔ)下級(jí)位平面的數(shù)據(jù)，在各位平面先存儲(chǔ)量化值大的宏塊的數(shù)據(jù)。擴(kuò)展層輸出部28，將宏塊的存儲(chǔ)順序信息和擴(kuò)展層位數(shù)據(jù)流復(fù)用并輸出到外部。
這樣，在影像編碼裝置10，通過(guò)在各位平面從宏塊量化值大的開(kāi)始按順序進(jìn)行位平面VLC處理，可在各位平面從預(yù)想量化誤差大的宏塊開(kāi)始，先作為擴(kuò)展層存儲(chǔ)數(shù)據(jù)。因此，由于在基本層圖像品質(zhì)惡化可能性大的區(qū)域，在各位平面內(nèi)存儲(chǔ)在上級(jí)擴(kuò)展層，所以與同一位平面相比較時(shí)，在僅使用上級(jí)擴(kuò)展層的低頻帶，可以先將圖像品質(zhì)惡化大的部分高圖像品質(zhì)化。
然而，已往的動(dòng)圖像編碼方法，當(dāng)在位平面內(nèi)改變宏塊的存儲(chǔ)順序時(shí)，若觀察各位平面的內(nèi)部，可從圖像品質(zhì)惡化大的宏塊開(kāi)始先進(jìn)行高圖像品質(zhì)化，與按位平面單位相比較時(shí)，每個(gè)宏塊的圖像品質(zhì)就沒(méi)有差別。也就是，在每個(gè)位平面分割擴(kuò)展層進(jìn)行接收的狀況下，沒(méi)有任何優(yōu)點(diǎn)。
特別是在低頻帶，對(duì)于用戶來(lái)說(shuō)希望使重要區(qū)域優(yōu)先高圖像品質(zhì)化，在重要區(qū)域以外量化值大的情況下，使這些重要區(qū)域以外的區(qū)域也優(yōu)先高圖像品質(zhì)化。已往的方法中，使用量化值改變編碼順序，在低頻帶不可能優(yōu)先使重要區(qū)域高圖像品質(zhì)化。例如，使用已有的方法即使對(duì)重要區(qū)域改變位平面內(nèi)的數(shù)據(jù)存儲(chǔ)順序，也不可能在限定的同一位平面實(shí)施局部?jī)?yōu)先處理。
因此，已往的影像編碼方法，不是限定的同一位平面內(nèi)，在頻帶低的情況下不可能優(yōu)先使重要區(qū)域高圖像品質(zhì)化。為此，當(dāng)前強(qiáng)烈希望實(shí)現(xiàn)在低頻帶重要區(qū)域的高圖像品質(zhì)的影像編碼方式。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種即使在低頻帶，重要區(qū)域是高圖像品質(zhì)，可以使頻帶較高的外圍區(qū)域分階段地進(jìn)行高圖像品質(zhì)化的動(dòng)圖像編碼方法和動(dòng)圖像編碼裝置。
本發(fā)明的要點(diǎn)是從重要區(qū)域開(kāi)始優(yōu)先進(jìn)行擴(kuò)展層編碼，例如，在終端移動(dòng)中，頻帶降低的情況下也能較高地維持重要區(qū)域的質(zhì)量。
按照本發(fā)明，動(dòng)圖像編碼方法是一種將動(dòng)圖像分割為一個(gè)基本層和至少一個(gè)擴(kuò)展層進(jìn)行編碼的動(dòng)圖像編碼方法，具有提取動(dòng)圖像各區(qū)域的重要度的提取步驟，以及從重要度大的區(qū)域開(kāi)始按順序?qū)⒏鲄^(qū)域的編碼數(shù)據(jù)分配在擴(kuò)展層的分配步驟。
按照本發(fā)明，動(dòng)圖像編碼裝置具有輸入動(dòng)畫(huà)面原圖像的圖像輸入部；從上述動(dòng)畫(huà)面原圖像提取一個(gè)基本層并進(jìn)行編碼的基本層編碼部；將由上述基本層編碼部編碼的基本層解碼并進(jìn)行再構(gòu)成的基本層解碼部；生成由上述基本層解碼部再構(gòu)成的再構(gòu)成圖像與上述動(dòng)畫(huà)面原圖像的差分圖像的差分圖像生成部；從上述動(dòng)畫(huà)面原圖像提取重要區(qū)域的重要區(qū)域提取部；根據(jù)由上述重要區(qū)域提取部提取的重要區(qū)域的重要度，分階段設(shè)定位移動(dòng)值的階段移動(dòng)圖生成部；將由上述差分圖像生成部生成的差分圖像進(jìn)行DCT變換的DCT部；根據(jù)由上述階段移動(dòng)圖生成部得到的位移動(dòng)值，將由上述DCT部得到的DCT系數(shù)進(jìn)行位移動(dòng)的位移動(dòng)部；在每個(gè)由上述位移動(dòng)部進(jìn)行位移動(dòng)的位平面，進(jìn)行VLC處理的位平面VLC部；將由上述位平面VLC部進(jìn)行VLC處理的動(dòng)圖像數(shù)據(jù)流作為擴(kuò)展層至少分割為一個(gè)以上的擴(kuò)展層分割部。
本發(fā)明所述的和其他的目的和特征將在與以下實(shí)施例的附圖一起的描述中，充分顯現(xiàn)出來(lái)。


圖1是表示已有影像編碼裝置結(jié)構(gòu)的例圖。
圖2是表示應(yīng)用了本發(fā)明實(shí)施例1的動(dòng)圖像編碼方法的影像編碼裝置結(jié)構(gòu)的方框圖。
圖3是表示應(yīng)用了本發(fā)明實(shí)施例1的動(dòng)圖像編碼方法的影像編碼裝置結(jié)構(gòu)的方框圖。
圖4是表示對(duì)應(yīng)于實(shí)施例1的影像編碼裝置動(dòng)作的流程圖。
圖5是表示在圖2的重要區(qū)域檢測(cè)部的檢測(cè)結(jié)果的例圖。
圖6是表示階段移動(dòng)圖的例圖。
圖7是表示圖4的階段移動(dòng)圖生成處理順序的例圖。
圖8A是表示位移動(dòng)的例圖，特別表示階段移動(dòng)圖的圖。
圖8B是表示位移動(dòng)的例圖，特別表示MB1的DCT系數(shù)。
圖8C是表示位移動(dòng)的例圖，特別是移動(dòng)前的位平面的概念圖。
圖8D是表示位移動(dòng)的例圖，特別是移動(dòng)后的位平面的概念圖。
圖9是位平面VLC的概念圖。
圖10是擴(kuò)展層位數(shù)據(jù)流的結(jié)構(gòu)圖。
圖11A是表示重要區(qū)域的檢測(cè)結(jié)果的例圖。
圖11B是表示對(duì)應(yīng)于圖11A的檢測(cè)結(jié)果的階段移動(dòng)圖的例圖。
圖12是表示對(duì)應(yīng)于圖11A的檢測(cè)結(jié)果的位移動(dòng)結(jié)果的例圖。
圖13是表示對(duì)應(yīng)于實(shí)施例1的影像解碼裝置動(dòng)作的流程圖。
圖14是表示適應(yīng)于本發(fā)明實(shí)施例2的動(dòng)圖像編碼方法的影像編碼裝置結(jié)構(gòu)的方框圖。
圖15是表示在圖14的階段移動(dòng)圖生成部的階段移動(dòng)圖生成處理順序的流程圖。
圖16是表示圖16的階段移動(dòng)圖更新處理順序的流程圖。
具體實(shí)施例方式
以下，參照附圖詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。
(實(shí)施例1)本實(shí)施例中，將對(duì)應(yīng)用了在低頻帶能優(yōu)先地使重要區(qū)域進(jìn)行高圖像品質(zhì)化，并且高頻帶的外圍區(qū)域也能分階段地進(jìn)行高圖像品質(zhì)化的動(dòng)圖像編碼方法的影像編碼裝置和影像解碼裝置予以說(shuō)明。
圖2是表示應(yīng)用了本發(fā)明實(shí)施例1的動(dòng)圖像編碼方法的影像編碼裝置結(jié)構(gòu)的方框圖。
圖2所示影像編碼裝置100具有生成基本層的基本層編碼器110；生成擴(kuò)展層的擴(kuò)展層編碼器120；設(shè)定基本層頻帶的基本層頻帶設(shè)定部140；設(shè)定擴(kuò)展層的分割頻帶寬度的擴(kuò)展層分割寬度設(shè)定部150。
基本層編碼器110具有對(duì)每1圖像輸入圖像(原圖像)的圖像輸入部112；進(jìn)行基本層的壓縮編碼的基本層編碼部114；進(jìn)行基本層的輸出的基本層輸出部116；進(jìn)行基本層的解碼的基本層解碼部118。
擴(kuò)散級(jí)編碼器120具有進(jìn)行重要區(qū)域的檢測(cè)的重要區(qū)域檢測(cè)部122；根據(jù)重要區(qū)域的信息生成階段移動(dòng)圖的階段移動(dòng)圖生成部124；生成輸入圖像與基本層解碼圖像(再構(gòu)成圖像)的差分圖像的差分圖像生成部126；進(jìn)行DCT變換的DCT部128；根據(jù)從階段移動(dòng)圖生成部124輸出的位移圖，進(jìn)行DCT系數(shù)的位移動(dòng)的位移動(dòng)部130；對(duì)于DCT系數(shù)，在每個(gè)位平面進(jìn)行可變長(zhǎng)編碼(VLC)的位平面VLC部132；用從擴(kuò)展層分割寬度設(shè)定部150輸入的分割寬度對(duì)已進(jìn)行了VLC編碼的擴(kuò)展層進(jìn)行數(shù)據(jù)分割處理的擴(kuò)展層分割部134。
圖3是表示應(yīng)用了本發(fā)明實(shí)施例1的動(dòng)圖像編碼方法的影像解碼裝置結(jié)構(gòu)的方框圖。
圖3所示影像解碼裝置200具有對(duì)基本層進(jìn)行解碼的基本層解碼器210；對(duì)擴(kuò)展層進(jìn)行解碼的擴(kuò)展層解碼器220。
基本層解碼器210具有輸入基本層的基本層輸入部212；進(jìn)行已輸入的基本層的解碼處理的基本層解碼部214。
擴(kuò)散級(jí)解碼器220具有合成并輸入分割的多個(gè)擴(kuò)展層的擴(kuò)展層合成輸入部222；對(duì)擴(kuò)展層進(jìn)行位平面VLD(Variable Length Decoding可變長(zhǎng)解碼)處理的位平面VLD部224；進(jìn)行位移動(dòng)的位移動(dòng)部226；進(jìn)行逆DCT處理的逆DCT部228；將基本層解碼圖像和擴(kuò)展層解碼圖像相加的圖像相加部230；輸出再構(gòu)成圖像的再構(gòu)成圖像輸出部232。
以下，對(duì)具有上述構(gòu)成的影像編碼裝置100的動(dòng)作，也就是對(duì)影像編碼裝置100的影像信號(hào)的處理順序，利用圖4所示流程圖予以說(shuō)明。圖4所示流程作為控制程序被存儲(chǔ)在影像編碼裝置100的未圖示的存儲(chǔ)裝置(例如ROM或快速擦寫(xiě)存儲(chǔ)器等)中，由未圖示的CPU實(shí)行。
首先，在步驟S1000，進(jìn)行輸入影像信號(hào)的影像輸入處理。具體地說(shuō)，在圖像輸入部112，從輸入的影像信號(hào)檢測(cè)同步信號(hào)，將構(gòu)成影像信號(hào)的原圖像的每1畫(huà)面輸出到基本層編碼部114、差分圖像生成部126以及重要區(qū)域檢測(cè)部122。接著，基本層頻帶設(shè)定部140，將對(duì)于基本層的頻帶值輸出到基本層編碼部114，擴(kuò)展層分割寬度設(shè)定部150，將擴(kuò)展層的分割大小輸出到擴(kuò)展層分割部134。
然后，在步驟S1100，將影像信號(hào)作為基本層進(jìn)行編碼/解碼的基本層編碼解碼處理。具體地說(shuō)，在基本層編碼部114，對(duì)于從圖像輸入部112輸入的原圖像，如成為從基本層頻帶設(shè)定部140輸入的頻帶那樣，進(jìn)行利用動(dòng)態(tài)補(bǔ)償·DCT·量化·可變長(zhǎng)編碼處理等的MPEG編碼，生成基本層數(shù)據(jù)流，將生成的數(shù)據(jù)流輸出到基本層輸出部116和基本層解碼部118。接著，在基本層輸出部116，將從基本層編碼部114輸入的基本層數(shù)據(jù)流輸出到外部。并且，在基本層解碼部118，對(duì)于從基本層編碼部114輸入的基本層數(shù)據(jù)流進(jìn)行MPEG解碼，生成解碼圖像(再構(gòu)成圖像)，將生成的解碼圖像輸出到差分圖像生成部126。
在步驟S1200，進(jìn)行算出差分圖像的差分圖像生成處理。具體地說(shuō)，在差分圖像生成部126，對(duì)于從圖像輸入部112輸入的原圖像，對(duì)每個(gè)像素進(jìn)行提取與從基本層解碼部118輸入的解碼圖像的差分的差分處理，生成差分圖像，將生成的差分圖像輸出到DCT部128。
在步驟S1300，對(duì)差分圖像進(jìn)行DCT變換的DCT處理。具體地說(shuō)，在DCT部128，對(duì)于從差分圖像生成部126輸入的差分圖像，對(duì)圖像全體按照8×8像素單位施行離散余弦變換(DCT)，算出圖像全體的DCT系數(shù)，將得到的DCT系數(shù)輸出到位移動(dòng)部130。
在步驟S1400，進(jìn)行檢測(cè)重要區(qū)域的重要區(qū)域檢測(cè)處理。具體地說(shuō)，在重要區(qū)域檢測(cè)部122，對(duì)于從圖像輸入部112輸入的1畫(huà)面的圖像數(shù)據(jù)，例如，檢測(cè)與平均容貌圖像等預(yù)先存儲(chǔ)的圖像數(shù)據(jù)的相關(guān)性高的區(qū)域。例如，根據(jù)相關(guān)程度，相對(duì)地決定重要度的大小。將相關(guān)性最高的區(qū)域(即重要度最大的區(qū)域)作為重要區(qū)域，把該檢測(cè)結(jié)果輸出到階段移動(dòng)圖生成部124。
圖5是表示在重要區(qū)域檢測(cè)部122的檢測(cè)結(jié)果的例圖。這里，例如，當(dāng)作為檢測(cè)結(jié)果輸出矩形區(qū)域時(shí)，輸出重要區(qū)域的重心座標(biāo)(cx，cy)和起始于重心G的水平垂直方向的半徑(rx，ry)等4個(gè)值。
在重要區(qū)域檢測(cè)部122的檢測(cè)結(jié)果的輸出方法，并不限定于此，可以是能夠指定區(qū)域的任何輸出方法。并且，重要區(qū)域的檢測(cè)方法，也不限定利用與圖像的相關(guān)值，可以是能夠進(jìn)行區(qū)域檢測(cè)的任何方法。并且，重要區(qū)域檢測(cè)部122，并不限定檢測(cè)容貌區(qū)域的方法，可以是檢測(cè)或指定對(duì)用戶來(lái)說(shuō)的重要區(qū)域的任何方法。例如，作為重要區(qū)域的檢測(cè)方法，除了動(dòng)圖像中的容貌以外，還可以同時(shí)或有選擇地檢測(cè)運(yùn)動(dòng)物體。因此，可以更有效地設(shè)定重要度。
在步驟S1500，進(jìn)行生成階段移動(dòng)圖的階段移動(dòng)圖生成處理。具體地說(shuō)，在階段移動(dòng)圖生成部124，利用從重要區(qū)域檢測(cè)部122輸入的區(qū)域重心座標(biāo)(cx，cy)和半徑(rx，ry)等4個(gè)信息，生成具有階段移動(dòng)值的階段移動(dòng)圖，將生成的階段移動(dòng)圖輸出到位移動(dòng)部130。階段移動(dòng)圖是以每個(gè)16×16正方像素的宏塊1個(gè)值表示圖像的圖。
圖6是表示階段移動(dòng)圖的例圖。圖6所示階段移動(dòng)圖160，將圖像劃分為宏塊162，在各宏塊162都有1個(gè)移動(dòng)值。如圖6所示，移動(dòng)值的階段數(shù)為“0”～“4”的5階段，由重要區(qū)域檢測(cè)部122檢測(cè)的檢測(cè)區(qū)域164具有最大的移動(dòng)值，隨著向外圍區(qū)域，移動(dòng)值逐漸減小。
圖7是表示圖4的階段移動(dòng)圖生成處理順序的流程圖。該階段的移動(dòng)圖生成處理，如圖7所示，由最大移動(dòng)區(qū)域算出處理(步驟S1510)、區(qū)域擴(kuò)大步長(zhǎng)算出處理(步驟S1520)、區(qū)域擴(kuò)大處理(步驟S1530)、移動(dòng)值設(shè)定處理(步驟S1540)等4個(gè)處理構(gòu)成。
首先，在步驟S1510，進(jìn)行最大移動(dòng)區(qū)域算出處理。具體地說(shuō)，在階段移動(dòng)圖生成部124，將由包含從重要區(qū)域檢測(cè)部122輸入的區(qū)域的宏塊構(gòu)成的宏塊區(qū)域作為最大位移區(qū)域166(參照?qǐng)D6)，對(duì)該最大位移區(qū)域166內(nèi)的全部宏塊設(shè)定移動(dòng)值的最大值，對(duì)以外的區(qū)域設(shè)定“0”。在圖6的示例中，移動(dòng)值為“0”～“4”，所以最大位移區(qū)域166的內(nèi)部，表示最大值的“4”。以下將移動(dòng)值設(shè)定為“0”以外的區(qū)域稱為“非零位移區(qū)域”。
然后，在步驟S1520，進(jìn)行區(qū)域擴(kuò)大步長(zhǎng)算出處理。具體地說(shuō)，在階段移動(dòng)圖生成部124，利用從重要區(qū)域檢測(cè)部122輸入的重要區(qū)域的半徑(rx，ry)，算出在從特定重要區(qū)域向外圍區(qū)域擴(kuò)大區(qū)域并設(shè)定較小移動(dòng)值時(shí)使用的區(qū)域擴(kuò)大步長(zhǎng)。區(qū)域擴(kuò)大步長(zhǎng)的算出，利用以下(式1)、(式2)進(jìn)行，即dx=rx2*macroblock_size......]]>(式1)dy=ry2*macroblock_size......]]>(式2)(式1)中，dx是橫方向的擴(kuò)大步長(zhǎng)(宏塊單位)，rx是檢測(cè)區(qū)域164的橫半徑(像素單位)，macroblock_size是宏塊的橫寬度(像素單位)。(式2)中，dy是縱方向的擴(kuò)大步長(zhǎng)(宏塊單位)，ry是檢測(cè)區(qū)域164的縱半徑(像素單位)。
在步驟S1530，進(jìn)行區(qū)域擴(kuò)大處理。具體地說(shuō)，在階段移動(dòng)圖生成部124，利用由上式(式1)、(式2)算出的區(qū)域擴(kuò)大步長(zhǎng)dx、dy，對(duì)于現(xiàn)在的非零移動(dòng)區(qū)域，以重心G為共同點(diǎn)，在左右分別擴(kuò)大dx個(gè)宏塊列，在上下分別擴(kuò)大dy個(gè)宏塊行。但是，在該擴(kuò)大處理中，對(duì)于擴(kuò)大后的區(qū)域在畫(huà)面外的方向，停止該擴(kuò)大處理。
在步驟S1540，進(jìn)行移動(dòng)值設(shè)定處理。具體地說(shuō)，在階段移動(dòng)圖生成部124，對(duì)于在步驟S1530的區(qū)域擴(kuò)大處理中擴(kuò)大部分的區(qū)域，設(shè)定從非零移動(dòng)區(qū)域內(nèi)的最小移動(dòng)值減“1”的值。
在步驟S1550，判斷是否結(jié)束階段移動(dòng)圖生成處理。具體地說(shuō)，判斷在步驟S1540設(shè)定的移動(dòng)值是否是“0”。當(dāng)該判斷結(jié)果是在步驟S1540設(shè)定的移動(dòng)值是“0”時(shí)(S1550YES)，返回圖4的流程，當(dāng)在步驟S1540設(shè)定的位移值不是“0”時(shí)(S1550NO)，返回到步驟S1530。也就是，重復(fù)步驟S1530(區(qū)域擴(kuò)大處理)和步驟S1540(移動(dòng)值設(shè)定處理)，直到在步驟S1540設(shè)定的位移值為“0”，結(jié)束階段移動(dòng)圖生成處理。然后，將得到的階段移動(dòng)圖輸出到位移動(dòng)部130。
階段移動(dòng)圖的生成方法，并不限定于利用檢測(cè)區(qū)域164的半徑順序擴(kuò)大的方法，可以是從重要區(qū)域向外圍區(qū)域移動(dòng)值具有分階段減小傾向的任何生成方法。
在步驟S1600，對(duì)DCT系數(shù)進(jìn)行位移動(dòng)的位移動(dòng)處理。具體地說(shuō)，在位移動(dòng)部130，對(duì)于從DCT部128輸入的DCT系數(shù)，根據(jù)從階段移動(dòng)圖生成部124輸入的階段移動(dòng)圖內(nèi)的移動(dòng)值，對(duì)每個(gè)宏塊進(jìn)行位移動(dòng)。例如，對(duì)于移動(dòng)值是“4”的宏塊，將宏塊內(nèi)的所有DCT系數(shù)在各上級(jí)位方向進(jìn)行4位移動(dòng)。
圖8A～圖8D是表示位移動(dòng)的例圖。圖8A是表示階段移動(dòng)的圖，圖8B是表示MB1的DCT系數(shù)的圖，圖8C是移動(dòng)前的位平面概念圖，圖8D是移動(dòng)后的位平面概念圖。
圖8A所示階段移動(dòng)圖是具有相對(duì)于5×4個(gè)宏塊的移動(dòng)值的階段移動(dòng)圖，MB1表示宏塊1的移動(dòng)值，MB2表示宏塊2的移動(dòng)值，MB3表示宏塊3的移動(dòng)值。圖8B所示MB1的DCT系數(shù)是用2進(jìn)制數(shù)表示包含在宏塊1(MB1)中的DCT系數(shù)。圖8C所示移動(dòng)前的位平面概念圖，對(duì)于MB1～MB3所包含的全部DCT系數(shù)，將縱軸作為位平面，將橫軸作為DCT系數(shù)的位置進(jìn)行排列并圖表化。圖8D所示位移后的位平面概念圖，根據(jù)圖8A的階段移動(dòng)圖所示移動(dòng)值，表示對(duì)每個(gè)宏塊在向上級(jí)方向進(jìn)行位移動(dòng)后的DCT系數(shù)。
這樣，在位移動(dòng)處理中，根據(jù)在步驟S1500生成的階段移動(dòng)圖，將DCT系數(shù)進(jìn)行位移動(dòng)后，把位移動(dòng)后的DCT系數(shù)輸出到位平面VLC部132。
在步驟S1700，在每個(gè)位平面進(jìn)行VLC處理的位平面VLC處理。具體地說(shuō)，在位平面VLC部132，對(duì)從階段移動(dòng)圖生成部124輸入的階段移動(dòng)圖進(jìn)行可變長(zhǎng)編碼，再對(duì)從位移動(dòng)部130輸入的DCT系數(shù)，在每個(gè)位平面進(jìn)行可變長(zhǎng)編碼。
圖9是位平面VLC的概念圖，對(duì)應(yīng)于圖8D所示移動(dòng)后的位平面概念圖。圖9中，第1位平面是在按位平面順序排列畫(huà)面內(nèi)的全部DCT系數(shù)時(shí)，將存在于最上級(jí)位(MSBMost Significant Bit)的位置的位集中的平面，第2位平面是將存在于MSB下面的上級(jí)位位置的位集中的平面，第3位平面是將存在于第2位平面下面的上級(jí)位位置的位集中的平面，第N位平面是將存在于最下級(jí)位(LSBLeast Significant Bit)的位置的位集中的平面。
圖10是擴(kuò)展層位數(shù)據(jù)流的結(jié)構(gòu)圖。圖10所示擴(kuò)展層位數(shù)據(jù)流的結(jié)構(gòu)是按照第1位平面(bp1)、第2位平面(bp2)、......、第N位平面(bpN)的順序，存儲(chǔ)將各位平面進(jìn)行可變長(zhǎng)編碼并生成的位數(shù)據(jù)流。
在位平面VLC部132，首先，對(duì)全圖像中存在于第1位平面的位串進(jìn)行可變長(zhǎng)編碼，將生成的位數(shù)據(jù)流配置在擴(kuò)展層的最前面位置(bp1)。然后，對(duì)第2位平面進(jìn)行可變長(zhǎng)編碼，配置在與第1位平面的位數(shù)據(jù)流相接的位置(bp2)。接著，重復(fù)同樣的處理，最后對(duì)第N位平面進(jìn)行可變長(zhǎng)編碼，配置在位數(shù)據(jù)流的最后位置(bpN)。并且，由位移動(dòng)發(fā)生的下級(jí)位都作為“0”處理。這樣，以較大值進(jìn)行位移動(dòng)的宏塊在上級(jí)位平面的可變長(zhǎng)編碼，存儲(chǔ)在構(gòu)成擴(kuò)展層的動(dòng)圖像數(shù)據(jù)流內(nèi)接近最前面的地方。
這樣，在位平面VLC處理中，進(jìn)行位平面VLC生成構(gòu)成擴(kuò)展層的動(dòng)圖像數(shù)據(jù)流。生成的動(dòng)圖像數(shù)據(jù)流輸出到擴(kuò)展層分割部134。
圖11A是表示重要區(qū)域的檢測(cè)結(jié)果的例圖，圖11B是表示對(duì)應(yīng)的階段移動(dòng)圖的例圖。圖12是表示對(duì)應(yīng)的位移動(dòng)結(jié)果的例圖。
圖11B所示階段移動(dòng)圖像是對(duì)每個(gè)宏塊162具有移動(dòng)值的例圖，在包含重要區(qū)域164的宏塊設(shè)定最大的移動(dòng)值“2”，在外面區(qū)域，位移值分階段地變小，設(shè)定為“1”、“0”。
圖12所示位移動(dòng)結(jié)果，是用以x軸、y軸、位平面為軸的3維表現(xiàn)1畫(huà)面全體DCT系數(shù)，對(duì)于各宏塊表示利用階段位移圖所示移動(dòng)值進(jìn)行位移動(dòng)的結(jié)果。在該位移動(dòng)結(jié)果中，重要區(qū)域164位于最上級(jí)的位平面，外圍區(qū)域位于以下的位平面，所以在從上級(jí)位平面開(kāi)始進(jìn)行的可變長(zhǎng)編碼處理中，按照從重要區(qū)域164向外圍區(qū)域的順序進(jìn)行可變長(zhǎng)編碼，從構(gòu)成擴(kuò)展層的動(dòng)圖像數(shù)據(jù)流內(nèi)的最前面開(kāi)始存儲(chǔ)。圖12中，為了簡(jiǎn)化，畫(huà)面內(nèi)的DCT系數(shù)的上級(jí)位都位于同一位平面內(nèi)。
在步驟S1800，進(jìn)行將擴(kuò)展層分割為多個(gè)的擴(kuò)展層分割處理。具體地說(shuō)，在擴(kuò)展層分割部134，對(duì)從位平面VLC部132輸入的擴(kuò)展層，利用從擴(kuò)展層分割寬度設(shè)定部150輸入的分割大小從最前面開(kāi)始進(jìn)行數(shù)據(jù)分割，將分割的多個(gè)擴(kuò)展層輸出到外部。被分割的擴(kuò)展層，由于與傳輸頻帶配合從最前面部分開(kāi)始將多個(gè)部分合成為1個(gè)進(jìn)行傳輸，所以可以控制影像數(shù)據(jù)的頻帶。
在步驟S1900，進(jìn)行結(jié)束判定處理。具體地說(shuō)，判斷在圖像輸入部112中影像信號(hào)的輸入是否停止了。當(dāng)該判斷結(jié)果是在圖像輸入部112中影像信號(hào)的輸入停止時(shí)(S1900YES)，判定編碼結(jié)束，則終止一系列的編碼處理，當(dāng)在圖像輸入部112中影像信號(hào)的輸入未停止時(shí)(S1900NO)，則返回到步驟S1000。也就是，重復(fù)進(jìn)行步驟S1000～步驟S1800的一系列處理，直到在圖像輸入部112影像信號(hào)的輸入停止。
下面，對(duì)具有上述結(jié)構(gòu)的影像解碼裝置200的動(dòng)作，也就是對(duì)影像解碼裝置200的位數(shù)據(jù)流的處理順序，利用圖13所示流程圖予以說(shuō)明。圖13所示流程圖，作為控制程序存儲(chǔ)在影像解碼裝置200的未圖示的存儲(chǔ)裝置(例如，ROM和快速擦寫(xiě)存儲(chǔ)器等)中，由未圖示的CPU實(shí)行。
首先，在步驟S2000，對(duì)每個(gè)圖像進(jìn)行開(kāi)始影像解碼的解碼開(kāi)始處理。具體地說(shuō)，在基本層輸入部212，開(kāi)始基本層的輸入處理，在擴(kuò)展層合成輸入部222，開(kāi)始擴(kuò)展層的輸入處理。
然后，在步驟S2100，進(jìn)行輸入基本層的基本層輸入處理。具體地說(shuō)，在基本層輸入部212，對(duì)每1畫(huà)面取出基本層的數(shù)據(jù)流，輸出到基本層解碼部214。
在步驟S2200，進(jìn)行解碼基本層的基本層解碼處理。具體地說(shuō)，在基本層解碼部214，對(duì)從基本層輸入部212輸入的基本層數(shù)據(jù)流，利用VLD·逆量化·逆DCT·動(dòng)態(tài)補(bǔ)償處理等進(jìn)行MPEG解碼處理，生成基本層解碼圖像，將生成的基本層解碼圖像輸出到圖像相加部230。
另一方面，在步驟S2300，進(jìn)行合成并輸入多個(gè)擴(kuò)展層的擴(kuò)展層合成輸入處理。具體地說(shuō)，在擴(kuò)展層合成輸入部222，將分割的擴(kuò)展層從最前面開(kāi)始合成為1個(gè)，把合成的擴(kuò)展層的數(shù)據(jù)流輸出到位平面VLD部224。分割的擴(kuò)展層的個(gè)數(shù)隨傳輸頻帶等條件而變化。
在步驟S2400，進(jìn)行對(duì)每個(gè)位平面進(jìn)行VLD處理的位平面VLD處理。具體地說(shuō)，在位平面VLD部224，對(duì)從擴(kuò)展層合成輸入部222輸入的擴(kuò)展層的位數(shù)據(jù)流進(jìn)行可變長(zhǎng)解碼(VLD)處理，算出畫(huà)面全體的DCT系數(shù)和階段移動(dòng)圖，將算出結(jié)果輸出到位移動(dòng)部226。
在步驟S2500，對(duì)VLD后的DCT系數(shù)進(jìn)行位移動(dòng)的位移動(dòng)處理。具體地說(shuō)，在位移動(dòng)部226，對(duì)從位平面VLD部224輸入的DCT系數(shù)，根據(jù)階段移動(dòng)圖所示的移動(dòng)值，對(duì)每個(gè)宏塊進(jìn)行向下級(jí)位方向的位移動(dòng)，將位移動(dòng)后的DCT系數(shù)輸出到逆DCT部228。
在步驟S2600，進(jìn)行逆DCT處理。具體地說(shuō)，在逆DCT部228，對(duì)從位移動(dòng)部226輸入的DCT系數(shù)施行逆DCT處理，生成擴(kuò)散級(jí)的解碼圖像，將生成的擴(kuò)展層解碼圖像輸出到圖像相加部230。
在步驟S2700，進(jìn)行將基本層的解碼圖像和擴(kuò)展層的解碼圖像相加的圖像相加處理。具體地說(shuō)，在圖像相加部230，對(duì)每個(gè)像素將從基本層解碼部214輸入的基本層的解碼圖像和從逆DCT部228輸入的擴(kuò)展層的解碼圖像相加，生成再構(gòu)成圖像，將生成的再構(gòu)成圖像輸出到再構(gòu)成圖像輸出部232。在再構(gòu)成圖像輸出部232，將從圖像相加部230輸入的再構(gòu)成圖像輸出到外部。
在步驟S2800，進(jìn)行結(jié)束判定處理。具體地說(shuō)，判斷在基本層輸入部212基本層的數(shù)據(jù)流輸入是否停止了。當(dāng)該判斷結(jié)果是在基本層輸入部212基本層的數(shù)據(jù)流輸入停止時(shí)(S2800YES)，則判定解碼結(jié)束，終止一系列的解碼處理，當(dāng)在基本層輸入部212基本層的數(shù)據(jù)流輸入未停止時(shí)(S2800NO)，則返回到步驟S2000。也就是，重復(fù)進(jìn)行步驟S2000～步驟S2700的一系列處理，直到在基本層輸入部212基本層的數(shù)據(jù)流輸入停止。
這樣，按照本實(shí)施例，影像編碼裝置100具有自動(dòng)檢測(cè)畫(huà)面內(nèi)重要區(qū)域的重要區(qū)域檢測(cè)部122；從重要區(qū)域向外圍區(qū)域生成位移值分階段減小的階段移動(dòng)圖的階段移動(dòng)圖生成部124；根據(jù)階段位移圖將DCT系數(shù)進(jìn)行位移動(dòng)的位移動(dòng)部130，因此，能夠?qū)⒂兄谥匾獏^(qū)域高圖像品質(zhì)化的DCT系數(shù)優(yōu)先地存儲(chǔ)在擴(kuò)展層的最前面部分，即使在擴(kuò)展層的數(shù)據(jù)量較少的低頻帶，也可以優(yōu)先地使重要區(qū)域高圖像品質(zhì)化。
按照本實(shí)施例，與重要區(qū)域的距離越近的區(qū)域，可以將有助于高圖像品質(zhì)化的DCT系數(shù)存儲(chǔ)在接近擴(kuò)展層最前面的部分，在增加擴(kuò)展層的數(shù)據(jù)量提升頻帶時(shí)，可以將有利于更廣的外圍區(qū)域高圖像品質(zhì)化的DCT系數(shù)包含在擴(kuò)展層中，因此，分階段地?cái)U(kuò)大高圖像品質(zhì)化的區(qū)域是可能的。因此，隨著頻帶的擴(kuò)大，以重要區(qū)域?yàn)橹行模蛉慨?huà)面的方向上使更大的區(qū)域高圖像品質(zhì)化是可能的。
按照本實(shí)施例，在基本層的編碼·解碼中采用了MPEG方式，在擴(kuò)展層的編碼·解碼中采用了MPEG-4FGS方式，但并不限定于此，只要是使用位平面編碼，也可以采用其他編碼·解碼方式。
按照本實(shí)施例，非同步進(jìn)行基本層·擴(kuò)展層的編碼和影像數(shù)據(jù)的傳送，然而，通過(guò)使編碼和傳送同步，對(duì)于直播影像，可以將用戶指定的重要區(qū)域優(yōu)先編碼，高效率地傳送。
(實(shí)施例2)本實(shí)施例中，將對(duì)應(yīng)用了在低頻帶能使基本層的圖像品質(zhì)惡化大的部分且重要區(qū)域高圖像品質(zhì)化，高頻帶的外圍區(qū)域也能分階段地高圖像品質(zhì)化的動(dòng)圖像編碼方法的影像編碼裝置予以說(shuō)明。
圖14是表示應(yīng)用了本發(fā)明實(shí)施例2的動(dòng)圖像編碼方法的影像編碼裝置結(jié)構(gòu)的方框圖。該影像編碼裝置300具有與圖2所示影像編碼裝置100同樣的基本構(gòu)結(jié)構(gòu)，對(duì)同一結(jié)構(gòu)要素附與相同符號(hào)，省略其說(shuō)明。
本實(shí)施例的特征是擴(kuò)展層編碼器120a具有后述的附加功能。也就是，影像編碼裝置300與圖2所示影像編碼裝置100一樣，具有在基本層和擴(kuò)展層對(duì)影像信號(hào)進(jìn)行編碼，根據(jù)重要區(qū)域信息生成階段移動(dòng)圖的階段移動(dòng)圖生成部124a；生成輸入圖像與基本層解碼圖像的差分圖像的差分圖像生成部126a，由差分圖像生成部126a生成的差分圖像輸出到階段移動(dòng)圖生成部124a。
差分圖像生成部126a，對(duì)于從圖像輸入部112輸入的原圖像，對(duì)每個(gè)像素進(jìn)行與從基本層解碼部118輸入的解碼圖像(再構(gòu)成圖像)的差分處理，生成差分圖像，將生成的差分圖像添加到DCT部128并輸出到階段移動(dòng)圖生成部124a。
階段移動(dòng)圖生成部124a，利用從重要區(qū)域檢測(cè)部122輸入的區(qū)域的重心座標(biāo)(cx，cy)和半徑(Dx，ry)等4個(gè)信息、以及從差分圖像生成部126a輸入的差分圖像，生成具有階段移動(dòng)值的階段移動(dòng)圖。
圖15是表示在階段移動(dòng)圖生成部124a的階段移動(dòng)圖生成處理順序的流程圖。如圖15所示，將步驟S1545插入到圖7所示流程中。
步驟S1510～步驟S1540，與圖7所示流程的各步驟一樣，省略其說(shuō)明。
在步驟S1545，對(duì)于經(jīng)步驟S1510～步驟S1540的處理算出的階段移動(dòng)圖，利用差分圖像更新其移動(dòng)值。也就是，在階段移動(dòng)圖生成部124a，經(jīng)步驟S1510～步驟S1540的處理算出階段移動(dòng)圖，然后，利用差分圖像更新階段移動(dòng)圖的移動(dòng)值。
圖16是表示圖15的階段移動(dòng)圖更新處理順序的流程圖。該階段移動(dòng)圖更新處理，如圖16所示，由差分絕對(duì)和算出處理(步驟S3000)、優(yōu)先宏塊算出處理(步驟S3100)、移動(dòng)圖更新處理(步驟S3200)等3個(gè)處理構(gòu)成。
首先，在步驟S3000，進(jìn)行差分絕對(duì)和算出處理。具體地說(shuō)，在階段位移圖生成部124a，利用從差分圖像生成部126a輸入的差分圖像，對(duì)各宏塊i求出宏塊內(nèi)像素的絕對(duì)值的和SUM(i)。差分絕對(duì)和的算出，可用以下(式3)進(jìn)行，即SUM(i)=Σj=1N|DIFF(j)|......]]>(式3)這里，i表示宏塊的位置，SUM(i)表示宏塊內(nèi)像素的絕對(duì)值之和，j表示宏塊內(nèi)像素的位置，N表示宏塊內(nèi)的總像素?cái)?shù)，DIFF(j)表示像素j的像素值。
然后，在步驟S3100，進(jìn)行優(yōu)先宏塊算出處理。具體地說(shuō)，在階段移動(dòng)圖生成部124a，首先，在階段移動(dòng)圖中，對(duì)每個(gè)具有同一移動(dòng)值shift的區(qū)域，算出差分絕對(duì)和SUM(i)的平均值A(chǔ)VR(shift)。然后，在階段移動(dòng)圖中，對(duì)每個(gè)具有同一移動(dòng)值shft的區(qū)域，進(jìn)行各宏塊i的差分絕對(duì)和SUM(i)與平均值A(chǔ)VR(shift)的比較。當(dāng)該比較結(jié)果是宏塊的差分絕對(duì)和SUM(i)比平均值A(chǔ)VR(shift)大時(shí)，將該宏塊作為優(yōu)先宏塊。
這里平均值A(chǔ)VR(shift)的算出，可用以下(式4)進(jìn)行，即AVR(shift)=Σj=1MSUM_shift(k)M......]]>(式4)(式4)中，AVR(shift)表示在階段移動(dòng)圖中移動(dòng)值是“shift”的宏塊的差分絕對(duì)和的平均值，M表示在階段移動(dòng)圖中移動(dòng)值是“shift”的宏塊個(gè)數(shù)，SUM_shift(k)表示在階段移動(dòng)圖中移動(dòng)值是“shift”的宏塊k的差分絕對(duì)和。
優(yōu)先宏塊的算出，可用以下(式5)進(jìn)行，即If(SUM_shift(i)＞AVR(shift))then MBi＝“優(yōu)先宏塊”......(式5)MBi表示宏塊i。
優(yōu)先宏塊的算出方法，并不限定于(式5)，只要是將差分絕對(duì)和大的宏塊作為優(yōu)先宏塊的方法，任何方法都可以。
在步驟S3200，進(jìn)行位移圖更新處理。具體地說(shuō)，在階段移動(dòng)圖生成部124a，對(duì)于在步驟S3100的優(yōu)先宏塊算出處理中算出的優(yōu)先宏塊，在階段移動(dòng)圖所示的移動(dòng)值加“1”后，返回圖15的流程圖。
移動(dòng)圖的更新方法，并不限定于在優(yōu)先宏塊的位移值加“1”的方法，只要是使位移值加大的方法，任何方法都可以。
在步驟S1550，與圖7所示流程圖的步驟一樣，省略其說(shuō)明。
這樣，在階段移動(dòng)圖生成部124a，進(jìn)行階段移動(dòng)圖更新處理，將得到的階段移動(dòng)圖輸出到位移動(dòng)部130。
這樣按照本實(shí)施例，在階段移動(dòng)圖生成部124a的階段移動(dòng)圖更新處理中，由于差分圖像的絕對(duì)和越大的宏塊位移值更大，所以在基本層圖像品質(zhì)惡化越大的宏塊可以優(yōu)先進(jìn)行位平面VLC，在低頻帶，特別是對(duì)于重要區(qū)域中圖像品特別質(zhì)惡化的部分，能夠進(jìn)一步優(yōu)先進(jìn)行高圖像品質(zhì)化。
如上所述，按照本發(fā)明，即使在低頻帶，重要區(qū)域也是高圖像品質(zhì)，并可以分階段使較高頻帶的外圍區(qū)域高圖像品質(zhì)化。
也就是，本發(fā)明的動(dòng)圖像編碼方法是一種將動(dòng)圖像分割為一個(gè)基本層和至少一個(gè)擴(kuò)展層進(jìn)行編碼的動(dòng)圖像編碼方法，具有提取動(dòng)圖像各區(qū)域的重要度的提取步驟；從重要度大的區(qū)域開(kāi)始按照順序，將各區(qū)域的編碼數(shù)據(jù)分配到擴(kuò)展層的分割步驟。
按照該方法，即使傳輸頻帶是低頻帶的接收終端，也能夠傳輸優(yōu)先解碼重要度高的區(qū)域的動(dòng)圖像編碼，即使在低頻帶，重要區(qū)域也是高圖像品質(zhì)，可以分階段地使較高頻帶的外圍區(qū)域高圖像品質(zhì)化。
本發(fā)明的動(dòng)圖像編碼方法，在上述方法中將重要度最大的區(qū)域作為重要區(qū)域，從該重要區(qū)域開(kāi)始沿周邊減小重要度的值。
按照該方法，通過(guò)優(yōu)先解碼對(duì)用戶來(lái)說(shuō)的重要信息，可以提供將對(duì)用戶重要的信息更有效的編碼的數(shù)據(jù)。
本發(fā)明的動(dòng)圖像編碼方法，在上述方法中重要度的提取，通過(guò)檢測(cè)動(dòng)圖像中容貌區(qū)域或運(yùn)動(dòng)物體來(lái)進(jìn)行。
按照該方法，可以更有效地設(shè)定重要度。
本發(fā)明的動(dòng)圖像編碼方法，在上述方法中對(duì)于在重要區(qū)域內(nèi)部基本層解碼動(dòng)圖像與原動(dòng)圖像的差分值大的部分，將進(jìn)一步加大重要度的值。
按照該方法，即使在重要區(qū)域中，將變化劇烈的區(qū)域優(yōu)先地存儲(chǔ)在擴(kuò)展層，在重要區(qū)域內(nèi)部，可優(yōu)先使基本層的圖像品質(zhì)惡化大的區(qū)域高圖像品質(zhì)化，能夠提供更有效的編碼數(shù)據(jù)。
本發(fā)明的動(dòng)圖像編碼方法，在上述方法中上述分配步驟按照重要度設(shè)定移動(dòng)值，根據(jù)對(duì)應(yīng)各區(qū)域編碼數(shù)據(jù)的移動(dòng)值進(jìn)行位移動(dòng)，將各區(qū)域的編碼數(shù)據(jù)分配在擴(kuò)展層。
按照該方法，按照根據(jù)重要度的優(yōu)先度，可以形成擴(kuò)展層。
本發(fā)明的動(dòng)圖像編碼方法，在上述方法中重要度越大，設(shè)定更大的移動(dòng)值。
按照該方法，可以將重要度大的數(shù)據(jù)存儲(chǔ)在上級(jí)擴(kuò)展層，解碼時(shí)優(yōu)先使重要度大的區(qū)域高圖像品質(zhì)化。
本發(fā)明的動(dòng)圖像傳輸方法，將使用上述任一項(xiàng)記載的動(dòng)圖像編碼方法的動(dòng)畫(huà)面編碼和動(dòng)畫(huà)面?zhèn)魉拖嗷ネ竭M(jìn)行。
按照該方法，可以有效地使動(dòng)畫(huà)面編碼和傳送同步進(jìn)行。
本申請(qǐng)發(fā)明的動(dòng)圖像編碼裝置的構(gòu)成是具有輸入動(dòng)畫(huà)面原圖像的圖像輸入部；從上述動(dòng)畫(huà)面原圖像提取一個(gè)基本層并進(jìn)行編碼的基本層編碼部；對(duì)由上述基本層編碼部編碼的基本層進(jìn)行解碼并再構(gòu)成的基本層解碼部；生成由上述基本層解碼部再構(gòu)成的再構(gòu)成圖像與上述動(dòng)畫(huà)面原圖像的差分圖像的差分圖像生成部；從上述動(dòng)畫(huà)面原圖像提取重要區(qū)域的重要區(qū)域提取部；根據(jù)由上述重要區(qū)域提取部提取的重要區(qū)域的重要度，分階段設(shè)定位移動(dòng)值的階段位移圖生成部；對(duì)由上述差分圖像生成部生成的差分圖像進(jìn)行DCT變換的DCT部；根據(jù)由上述階段位移圖生成部得到位移動(dòng)值，對(duì)由上述DCT部得到的DCT系數(shù)進(jìn)行位移動(dòng)的位移動(dòng)部；對(duì)每個(gè)由上述位移動(dòng)部進(jìn)行位移動(dòng)的位平面進(jìn)行VLC處理的位平面VLC部；將由上述位平面VLC部進(jìn)行VLC處理的動(dòng)圖像數(shù)據(jù)流作為擴(kuò)展層分割為至少一個(gè)以上的擴(kuò)展層分割部。
按照該構(gòu)成，即使傳輸頻帶是低頻帶的接收終端，也可以傳輸可優(yōu)先解碼重要度高的區(qū)域的動(dòng)圖像編碼，在低頻帶重要區(qū)域是高圖像品質(zhì)，并能夠分階段地使較高頻帶的外圍區(qū)域高圖像品質(zhì)化。
本申請(qǐng)發(fā)明的動(dòng)圖像編碼程序是用于在計(jì)算機(jī)實(shí)行上述記載的動(dòng)圖像編碼方法的程序。
按照該程序，即使傳輸頻帶是低頻帶的接收終端，能傳輸可優(yōu)先解碼重要度高的區(qū)域的動(dòng)圖像編碼，在低頻帶重要區(qū)域是高圖像品質(zhì)，并能夠分階段地使較高頻帶的外圍區(qū)域高圖像品質(zhì)化。
本發(fā)明并不限定于上述實(shí)施例，在不超出本發(fā)明的范圍內(nèi)，各種變化和修改都是可能的。
本申請(qǐng)是基于2002年10月9日的日本專利申請(qǐng)NO.2002-295620，其全部?jī)?nèi)容已作為參考結(jié)合到本發(fā)明中。
權(quán)利要求
1.一種動(dòng)圖像編碼方法，將動(dòng)圖像分割為一個(gè)基本層和至少一個(gè)擴(kuò)展層并進(jìn)行編碼，其特征在于具有以下步驟提取動(dòng)圖像各區(qū)域的重要度的提取步驟；從重要度大的區(qū)域開(kāi)始按順序在擴(kuò)展層分配各區(qū)域的編碼數(shù)據(jù)的分配步驟。
2.權(quán)利要求1記載的動(dòng)圖像編碼方法，其特征在于將重要度最大的區(qū)域作為重要區(qū)域，從該重要區(qū)域開(kāi)始沿周邊減小重要度的值。
3.權(quán)利要求1記載的動(dòng)圖像編碼方法，其特征在于重要度的提取，通過(guò)檢測(cè)動(dòng)圖像中的容貌區(qū)域或運(yùn)動(dòng)物體來(lái)進(jìn)行。
4.權(quán)利要求2記載的動(dòng)圖像編碼方法，其特征在于在重要區(qū)域內(nèi)部，對(duì)于基本層解碼動(dòng)圖像與原動(dòng)圖像的差分值大的部分，進(jìn)一步加大重要度的值。
5.權(quán)利要求1記載的動(dòng)圖像編碼方法，其特征在于上述分配步驟，根據(jù)重要度設(shè)定移動(dòng)值，根據(jù)對(duì)應(yīng)各區(qū)域的編碼數(shù)據(jù)的移動(dòng)值進(jìn)行位移動(dòng)，在擴(kuò)展層分配各區(qū)域的編碼數(shù)據(jù)。
6.權(quán)利要求5記載的動(dòng)圖像編碼方法，其特征在于重要度越大，設(shè)定更大的移動(dòng)值。
7.一種動(dòng)圖像傳輸方法，其特征在于將使用權(quán)利要求1記載的動(dòng)圖像編碼方法的動(dòng)畫(huà)面編碼和動(dòng)畫(huà)面?zhèn)魉拖嗷ネ竭M(jìn)行。
8.一種動(dòng)圖像編碼裝置，具有輸入動(dòng)畫(huà)面原圖像的圖像輸入部；從上述動(dòng)畫(huà)面原圖像提取一個(gè)基本層并進(jìn)行編碼的基本層編碼部；解碼由上述基本層編碼部編碼的基本層并進(jìn)行再構(gòu)成的基本層解碼部；生成由上述基本層解碼部再構(gòu)成的再構(gòu)成圖像與上述動(dòng)畫(huà)面原圖像的差分圖像的差分圖像生成部；從上述動(dòng)畫(huà)面原圖像提取重要區(qū)域的重要區(qū)域提取部；根據(jù)由上述重要區(qū)域提取部提取的重要區(qū)域的重要度，分階段設(shè)定移動(dòng)值的階段移動(dòng)圖生成部；將由上述差分圖像生成部生成的差分圖像進(jìn)行DCT變換的DCT部；根據(jù)由上述階段移動(dòng)圖生成部得到的位移動(dòng)值，使由上述DCT部得到的DCT系數(shù)位移動(dòng)的位移動(dòng)部；對(duì)每個(gè)由上述位移動(dòng)部進(jìn)行位移動(dòng)的位平面，進(jìn)行VLC處理的位平面VLC部；將由上述位平面VLC部進(jìn)行VLC處理的動(dòng)圖像數(shù)據(jù)流作為擴(kuò)展層分割為至少一個(gè)以上的擴(kuò)展層分割部。
9.一種用于在計(jì)算機(jī)實(shí)行權(quán)利要求1記載的動(dòng)圖像編碼方法的動(dòng)圖像編碼程序。
全文摘要
本發(fā)明提供一種即使在低頻帶重要區(qū)域也是高圖像品質(zhì)，并能夠分階段地使較高頻帶外圍區(qū)域高圖像品質(zhì)化的動(dòng)圖像編碼方法。本方法中，重要區(qū)域檢測(cè)部(122)自動(dòng)檢測(cè)畫(huà)面內(nèi)的重要區(qū)域，階段移動(dòng)圖生成部(124)生成從重要區(qū)域向外圍區(qū)域分階段地減小移動(dòng)值的階段移動(dòng)圖。位移動(dòng)部(130)根據(jù)階段移動(dòng)圖使DCT系數(shù)進(jìn)行位移動(dòng)。這樣，有利于重要區(qū)域高圖像品質(zhì)化的DCT系數(shù)優(yōu)先較多地存儲(chǔ)在擴(kuò)展層的最前面部分。
文檔編號(hào)H04N7/26GK1497983SQ20031011962
公開(kāi)日2004年5月19日 申請(qǐng)日期2003年10月9日 優(yōu)先權(quán)日2002年10月9日
發(fā)明者本田義雅, 上野山努, 努 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社