專利名稱：運動圖像編碼裝置、方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對由時間序列的輸入圖像構(gòu)成的運動圖像進(jìn)行編碼的運動圖像編碼裝置等，特別涉及削減為了運動預(yù)測編碼而存儲的參照圖像數(shù)據(jù)量的技術(shù)。
背景技術(shù)：
近年來，除了攝像機以外，數(shù)字靜像照相機及帶照相機的便攜式電話廣泛普及，能夠簡單地處理圖像。隨著壓縮技術(shù)的發(fā)展，數(shù)據(jù)量比靜止圖像多的運動圖像的處理也變得容易，不僅是以往的攝像機，在數(shù)字靜像照相機及帶照相機的便攜式電話中，也能夠拍攝并記錄運動圖像。
以往，為了將由時間序列的幀圖像構(gòu)成的運動圖像高度地壓縮，通常是如在以例如MPEG-2(Moving Picture Experts Group)、H.264為代表的各種編碼規(guī)格中規(guī)定的那樣，并用基于幀圖像間的運動預(yù)測的壓縮和幀圖像內(nèi)的壓縮。
圖1是表示以往的典型的圖像編碼裝置的結(jié)構(gòu)例的功能框圖。圖像編碼裝置300是并用基于幀圖像間的運動預(yù)測的壓縮和幀圖像內(nèi)的壓縮，對構(gòu)成運動圖像的每個幀的輸入圖像進(jìn)行編碼的編碼裝置，大體上包括輸入圖像緩存301、幀間編碼部313、幀內(nèi)編碼部306、參照圖像生成部314、參照圖像存儲部303、速率控制部311、以及量子化寬度設(shè)定部312。
輸入圖像緩存301保存輸入圖像。
幀間編碼部313是通過用基于輸入圖像和存儲在參照圖像存儲部303中的作為基準(zhǔn)的其他幀圖像(所謂的參照圖像)之間的運動預(yù)測的差分來表示該輸入圖像，以進(jìn)行幀間壓縮的單元，包括運動矢量搜索存儲器304、運動矢量搜索部305、以及差分圖像生成部302。
運動矢量搜索部305將上述輸入圖像分割為稱作微塊的矩形小區(qū)域，利用矢量搜索存儲器304對每個微塊求出表示與該微塊的相關(guān)成為極大的參照圖像中的部分的運動矢量。在該處理中，采用例如稱作塊匹配的公知技術(shù)。差分圖像生成部302求出該微塊與由運動矢量表示的參照圖像部分的幀間差分。
幀內(nèi)編碼部306是對上述幀間差分或一些幀不進(jìn)行運動預(yù)測而對輸入圖像本身進(jìn)行編碼，來進(jìn)行幀內(nèi)壓縮的單元，包括頻率變換部307、量子化部308、以及熵編碼部309。
頻率變換部307對每個微塊通過例如離散余弦變換求出包含在該微塊中的多個空間頻率成分的量。
量子化部308對易被人的眼睛感知的低頻率的成分量進(jìn)行較細(xì)的量子化，對不易被感知的高頻率的成分量進(jìn)行較粗的量子化。量子化部308對這樣的每個頻率成分的量子化寬度，再賦予用于控制從速率控制部311及量子化寬度設(shè)定部312提供的代碼速率(即壓縮率)的量子化寬度，進(jìn)行量子化。
并且，熵編碼部309將頻率成分量的量子化值按規(guī)定順序排列，利用對發(fā)生頻率越高的數(shù)據(jù)分配越短的代碼的熵編碼，具體而言利用哈夫曼代碼、算術(shù)代碼等進(jìn)行可變長度編碼。
參照圖像生成部314是對通過上述幀內(nèi)壓縮得到的代碼進(jìn)行解碼來獲得參照圖像的單元，由局部解碼部310構(gòu)成。
考慮到上述熵編碼是可逆編碼，局部解碼部310通過對上述量子化值進(jìn)行解碼，得到與由再現(xiàn)裝置獲得的參照圖像相同內(nèi)容的參照圖像。為了不產(chǎn)生誤差造成的像質(zhì)劣化，利用與再現(xiàn)時相同的參照圖像進(jìn)行編碼是很重要的。
參照圖像存儲部303存儲上述得到的參照圖像，供下一個輸入圖像的編碼使用。
圖像編碼裝置300對每個幀進(jìn)行這樣的處理，得到表示運動圖像的代碼。
在上述的幀間編碼中，輸入圖像的微塊和取差分的參照圖像的部分的相關(guān)性越高，用于表示差分的代碼量越小，可得到高的壓縮率。
因此，已知有如下的技術(shù)(例如參照專利文獻(xiàn)1)以往，在參照圖像的規(guī)定范圍內(nèi)沒有發(fā)現(xiàn)表示與輸入圖像的微塊具有足夠高的相關(guān)性的部分時，通過在縮小后的輸入圖像和縮小后的參照圖像之間重新搜索運動矢量，利用與最初的搜索相同量的運動矢量搜索存儲器304，從更寬的參照圖像的范圍搜索表示更高相關(guān)性的部分。
專利文獻(xiàn)1日本特開2004-140794號公報但是，根據(jù)以往的運動圖像編碼裝置，即使在利用縮小的參照圖像來擴大運動矢量的搜索范圍的情況下，為了取得與輸入圖像的差分，在參照圖像存儲部中存儲原來大小的參照圖像?？梢灶A(yù)想今后處理的圖像尺寸還會變大，在處理HDTV(high definition television，高清晰度電視)水平的運動圖像的情況下，為了保存參照圖像而需要的存儲器量的增大、以及對應(yīng)于存儲器業(yè)務(wù)量的消耗電力的增加，在硬件規(guī)模及電源容量容易受限制的數(shù)字照相機這樣的便攜式設(shè)備中實現(xiàn)運動圖像時，會成為很大的問題。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而做出的，其目的在于提供一種運動圖像編碼裝置，謀求為了運動預(yù)測編碼而存儲的參照圖像的數(shù)據(jù)量的削減，使參照圖像的處理最佳化。
為了解決上述課題，本發(fā)明的運動圖像編碼裝置是對由時間序列的輸入圖像構(gòu)成的運動圖像進(jìn)行編碼的運動圖像編碼裝置，其具備局部解碼單元，對表示第1輸入圖像的第1代碼進(jìn)行解碼，得到參照圖像；參照圖像縮小單元，將上述參照圖像縮小，得到縮小參照圖像；參照圖像存儲單元，存儲上述縮小參照圖像；編碼單元，根據(jù)將第2輸入圖像縮小而得到的縮小第2輸入圖像和從上述參照圖像存儲單元取得的上述縮小參照圖像之間的運動預(yù)測，求出表示上述第2輸入圖像的第2代碼。
此外，還可以是，上述編碼單元具有輸入圖像縮小部，將上述第2輸入圖像縮小，得到縮小第2輸入圖像；粗運動矢量搜索部，求出表示在上述縮小第2輸入圖像與上述縮小參照圖像之間關(guān)性成為極大的對應(yīng)部分的粗運動矢量；參照圖像復(fù)原部，將從上述參照圖像存儲單元取得的上述縮小參照圖像放大，求出復(fù)原參照圖像；差分圖像生成部，生成與上述第2輸入圖像和上述復(fù)原參照圖像的、由上述粗運動矢量表示的對應(yīng)部分相關(guān)的差分圖像；將上述差分圖像編碼為上述第2代碼。
此外，也可以是，上述編碼單元還具有精運動矢量搜索部，該精運動矢量搜索部求出表示在上述第2輸入圖像與上述復(fù)原參照圖像之間相關(guān)性成為極大的對應(yīng)部分的精運動矢量；上述差分圖像生成部生成由上述精運動矢量表示的對應(yīng)部分的差分圖像。
此外，也可以是，上述編碼單元還具有頻率變換部，求出包含在上述差分圖像中的多個空間頻率各自的成分量；量子化部，對求出的成分量進(jìn)行量子化；將上述量子化的結(jié)果編碼為上述第2代碼。
根據(jù)該結(jié)構(gòu)，存儲將參照圖像縮小而得到的縮小參照圖像，并且在上述第2輸入圖像的編碼中使用，所以能夠削減為了運動預(yù)測編碼而存儲的參照圖像的數(shù)據(jù)量。
此外，還可以是，上述運動圖像編碼裝置還具備參照圖像放大單元，將上述縮小參照圖像放大為上述參照圖像的大小，得到對照圖像；以及誤差計算單元，對每個對應(yīng)像素計算上述參照圖像與上述對照圖像的誤差；上述參照圖像存儲單元將上述誤差同上述縮小參照圖像一起存儲；上述參照圖像復(fù)原部將從上述參照圖像存儲單元取得的上述縮小參照圖像放大為上述參照圖像的大小，再加上從上述參照圖像存儲單元取得的上述誤差，求出上述復(fù)原參照圖像。
根據(jù)該結(jié)構(gòu)，可得到與原來的參照圖像相同的復(fù)原參照圖像，所以不會帶來使像質(zhì)劣化的新的原因，還能夠以較高的概率削減為了表示參照圖像而需要的數(shù)據(jù)。
此外，也可以是，上述運動圖像編碼裝置還具備數(shù)據(jù)量判斷單元，該數(shù)據(jù)量判斷單元判斷將上述縮小參照圖像與上述誤差合起來的數(shù)據(jù)量是否比上述參照圖像的數(shù)據(jù)量多；在上述數(shù)據(jù)量判斷單元做出肯定判斷的情況下，上述參照圖像存儲單元存儲上述參照圖像，以代替上述縮小參照圖像和上述誤差，上述編碼單元求出表示在上述第2輸入圖像與從上述參照圖像存儲單元取得的上述參照圖像之間相關(guān)性成為極大的對應(yīng)部分的運動矢量，將由上述運動矢量表示的對應(yīng)部分的差分編碼為上述第2代碼。
根據(jù)該結(jié)構(gòu)，能夠可靠地避免為了表示參照圖像而需要的數(shù)據(jù)量在最差的情況下比以往增加的不良狀況。
此外，還可以是，上述誤差計算單元進(jìn)行忽略預(yù)先設(shè)定的閾值以下的誤差的核化。
此外，也可以是，上述編碼單元還具有頻率變換部，求出包含在上述差分中的多個頻率成分的各自成分量；以及量子化部，對求出的成分量進(jìn)行量子化；將上述量子化的結(jié)果編碼為上述第2代碼；在上述核化中，上述誤差計算單元忽略根據(jù)上述量子化的量子化寬度設(shè)定的閾值以下的誤差。
根據(jù)該結(jié)構(gòu)，通過進(jìn)行核化，提高了將縮小參照圖像和誤差合起來的數(shù)據(jù)量比原來的參照圖像的數(shù)據(jù)量小的可能性。特別是，通過確定對應(yīng)于量子化寬度的閾值而用在核化中，能夠進(jìn)行實質(zhì)上不發(fā)生像質(zhì)劣化的核化。
此外，本發(fā)明不僅能夠作為這樣的運動圖像編碼裝置來實現(xiàn)，也可以作為以由這樣的運動圖像編碼裝置所具備的特征單元執(zhí)行的處理為步驟的運動圖像編碼方法來實現(xiàn)，或者也可以作為運動圖像編碼處理用的集成電路裝置來實現(xiàn)。
根據(jù)本發(fā)明的運動圖像編碼裝置，由于將縮小了參照圖像而得到的縮小參照圖像和與原來的參照圖像的誤差一起存儲，所以能夠以較高的概率削減為了表示參照圖像而需要的數(shù)據(jù)量，可期待用于存儲參照圖像的存儲器量的削減、以及存儲器業(yè)務(wù)量的削減所帶來的消耗電力的削減。
此外，通過處理縮小參照圖像，能夠擴大利用與處理不縮小的參照圖像時相同容量的作業(yè)存儲器來搜索運動矢量的范圍，能夠進(jìn)行HDTV對應(yīng)等，對于圖像尺寸的放大，能夠提高運動矢量搜索的能力。


圖1是表示以往的典型的圖像編碼裝置的結(jié)構(gòu)例的功能框圖。
圖2是表示實施方式涉及的數(shù)字照相機的圖像處理系統(tǒng)的功能結(jié)構(gòu)一例的方框圖。
圖3是詳細(xì)地表示圖像編碼部的功能結(jié)構(gòu)一例的方框圖。
圖4是與圖像編碼部處理輸入圖像的1個微塊的動作有關(guān)的數(shù)據(jù)流程圖。
具體實施例方式
下面參照

本發(fā)明的實施方式。
(整體結(jié)構(gòu))圖2是表示本發(fā)明的實施方式涉及的數(shù)字照相機中的圖像處理系統(tǒng)的功能結(jié)構(gòu)一例的方框圖。在該結(jié)構(gòu)中，圖像編碼部407是本發(fā)明的運動圖像編碼裝置的一例。
該圖像處理系統(tǒng)中，除了圖像編碼部407是本發(fā)明的運動圖像編碼裝置這一點以外，其他是一般的圖像處理系統(tǒng)，包括圖像傳感器401、TG(Timing Generator，同步定時發(fā)生器)402、AFE(Analog FrontEnd，模擬前端)403、AD轉(zhuǎn)換器404、照相機圖像處理部405、存儲器412、存儲卡413、以及顯示部414。
圖像傳感器401由例如CCD(Charge Coupled Device，電荷藕合器件)等實現(xiàn)，輸出按照由TG402生成的驅(qū)動信號對從未圖示的光學(xué)系統(tǒng)提供的入射光進(jìn)行光電變換而得到的電信號，AFE403對該電信號實施規(guī)定的模擬處理，AD轉(zhuǎn)換器404將模擬處理后的電信號變換為數(shù)字信號，向照相機圖像處理部405輸出。
照相機圖像處理部405是對由上述數(shù)字信號表示的圖像進(jìn)行顯示、或編碼并存儲的單元，包括照相機信號處理部406、圖像編碼部407、顯示控制部408、存儲卡控制部409、存儲器控制器410、CPU411。
照相機信號處理部406將上述數(shù)字信號變換為亮度信號和顏色信號，圖像編碼部407將該亮度信號和顏色信號進(jìn)行數(shù)據(jù)壓縮并編碼。圖像編碼部407可以對一個個的圖像作為靜止圖像進(jìn)行數(shù)據(jù)壓縮并編碼，還可以對由時間序列的圖像構(gòu)成的運動圖像進(jìn)行數(shù)據(jù)壓縮并編碼。
存儲卡控制部409將由圖像編碼部407得到的表示靜止圖像的代碼及表示運動圖像的代碼保存在非易失性的存儲卡413中。存儲卡413例如由閃存、FeRAM(Ferroelectric Random Access Memory，鐵電隨機訪問存儲器)等實現(xiàn)。
顯示控制部408將圖像顯示在顯示部414。顯示部414例如由液晶面板等實現(xiàn)。
存儲器控制器410將通過照相機信號處理部406、圖像編碼部407、存儲卡控制部409、及顯示控制部408的處理產(chǎn)生的作業(yè)用數(shù)據(jù)暫時存儲在存儲器412中，并且通過存儲器412進(jìn)行上述各單元間的數(shù)據(jù)交換。存儲器412例如由SDRAM(Synchronous Dynamic RAM，同步動態(tài)隨機訪問存儲器)等實現(xiàn)。
CPU411控制這些結(jié)構(gòu)的整部處理。
(圖像編碼部的詳細(xì)情況)圖3是詳細(xì)地表示圖像編碼部407的功能結(jié)構(gòu)一例的方框圖。圖像編碼部407同以往的圖像編碼裝置300(參照圖1)相比，在以下幾點上不同(1)參照圖像存儲部303存儲在參照圖像生成部314a中將參照圖像縮小而得到的縮小參照圖像；(2)幀間編碼部313a利用從參照圖像存儲部303讀取的縮小參照圖像，首先搜索粗運動矢量之后，按照以往的參照圖像的作用來使用從該縮小參照圖像復(fù)原的復(fù)原參照圖像進(jìn)行編碼。
這里，參照圖像存儲部303實際上是圖2所示的存儲器412。在對參照圖像存儲部303的存取、來自照相機信號處理部406的輸入、以及向存儲卡控制部409的輸出中，存儲器控制器410都參與，但是在圖3中省略該記載。
以下，對于與圖像編碼裝置300相同的結(jié)構(gòu)要素付與相同的標(biāo)記并省略說明，對于追加的結(jié)構(gòu)要素進(jìn)行詳細(xì)說明。
在參照圖像生成部314a中，追加了參照圖像縮小部213、參照圖像放大部214、誤差計算部215、核化控制部217、誤差核化部216、數(shù)據(jù)量判斷部218、選擇結(jié)果存儲器220、以及選擇器219。
此外，在幀間編碼部313a中，追加了輸入圖像縮小部201、參照圖像縮小部204、選擇器205、粗運動矢量搜索部207、粗運動矢量搜索存儲器206、參照圖像放大部208、誤差加算部209、選擇器210。
在圖3中，幀間編碼部313a與幀內(nèi)編碼部306是編碼單元的一例。此外，參照圖像放大部208和誤差加法部209是參照圖像復(fù)原部的一例。此外，運動矢量搜索部305是精運動矢量搜索部的一例。此外，誤差計算部215、核化控制部217和誤差核化部216是誤差計算單元的一例。
首先，在參照圖像生成部314a中，參照圖像縮小部213將由局部解碼部310得到的參照圖像縮小而生成縮小參照圖像。參照圖像放大部214將該縮小參照圖像放大到縮小前的大小而生成對照圖像，誤差計算部215對每個像素計算原來的參照圖像與其對照圖像的誤差。
這里，所謂的放大縮小是指增減用于表示圖像的像素數(shù)，具體而言，是利用像素內(nèi)插、像素間隔剔除、以及伴隨這些處理的濾波處理的公知技術(shù)進(jìn)行的。
考慮到通過量子化會舍棄比量子化寬度小的誤差，核化控制部217決定與由量子化寬度設(shè)定部312賦予的量子化寬度對應(yīng)的閾值。誤差核化部216進(jìn)行忽略所決定的閾值以下誤差的核化。誤差的表現(xiàn)形式是，例如期待核化的數(shù)據(jù)量的削減，而優(yōu)選為僅對有誤差的像素用像素坐標(biāo)與誤差的組來表現(xiàn)的形式。根據(jù)該形式，核化后的誤差不包含在數(shù)據(jù)量中。
數(shù)據(jù)量判斷部比較判斷將縮小參照圖像與誤差合起來的數(shù)據(jù)量是否比原來的參照圖像的數(shù)據(jù)量多，將該判斷結(jié)果記錄在選擇結(jié)果存儲器220。選擇器219在肯定判斷的情況下選擇原尺寸的參照圖像，在否定判斷的情況下選擇縮小參照圖像與誤差，參照圖像存儲部303存儲由選擇器219選擇的數(shù)據(jù)。
該數(shù)據(jù)量的判斷可以是對1幀進(jìn)行1次地對整個圖像進(jìn)行，或者，如果考慮局部解碼是以微塊單位進(jìn)行的，則對1幀以微塊單位進(jìn)行與微塊相同數(shù)量的次數(shù)。
本實施方式作為后者，在參照圖像存儲部303，將1幀的參照圖像按每個微塊以縮小參照圖像及誤差的形式或者原尺寸的參照圖像的形式存儲。以后，將參照圖像的微塊簡稱作參照塊。
接著，在幀間編碼部313a中，為了粗運動矢量搜索，輸入圖像縮小部201將輸入圖像縮小而生成縮小輸入圖像。縮小輸入圖像的生成例如是以作為運動矢量搜索處理對象的輸入圖像的微塊單位進(jìn)行的。
為了粗運動矢量搜索，參照圖像縮小部204對于以原尺寸的參照圖像的形式存儲的參照塊，將該參照圖像縮小而得到縮小參照圖像。從存儲在選擇結(jié)果存儲器220中的數(shù)據(jù)量的比較判斷結(jié)果，能夠得知按各個參照塊的記錄形式。
對于處在粗運動矢量的搜索范圍內(nèi)的多個參照塊，選擇器205根據(jù)各自的記錄形式，從參照圖像存儲部303或參照圖像縮小部204中選擇參照圖像。
粗運動矢量搜索部207利用粗運動矢量搜索存儲器206進(jìn)行基于縮小圖像的粗運動矢量搜索。該粗運動矢量搜索例如可利用所謂的塊匹配的公知技術(shù)進(jìn)行。如已知那樣，通過基于縮小圖像進(jìn)行運動矢量搜索，能夠用相同量的搜索存儲器進(jìn)行更大范圍的搜索。并且，通過將搜索到的粗運動矢量的規(guī)定附近設(shè)定為基于原尺寸圖像的運動矢量的搜索范圍，能夠從有限的范圍高效地求得高精度的運動矢量。
為了基于原尺寸圖像的運動矢量搜索，參照圖像放大部208對于以縮小參照圖像及誤差的形式存儲的參照塊，將該縮小參照圖像放大為原來的大小，誤差加法部209加上其誤差而得到復(fù)原參照圖像。通過加上誤差，可得到與原來的參照圖像相同的復(fù)原參照圖像。由此，成為利用了與原來的參照圖像、即在再現(xiàn)時使用的參照圖像相同的復(fù)原參照圖像進(jìn)行的編碼，所以防止了因復(fù)原參照圖像與在再現(xiàn)時使用的參照圖像不一致而造成的像質(zhì)劣化。
對于處在基于原尺寸圖像的運動矢量的搜索范圍內(nèi)的參照塊，選擇器210根據(jù)各自的存儲形式將存儲在參照圖像存儲部303的參照圖像、或者由誤差加法部209得到的復(fù)原參照圖像選擇為原尺寸的參照圖像。
運動矢量搜索部305、運動矢量搜索存儲器304、以及差分圖像生成部302利用這樣得到的原尺寸的參照圖像和輸入圖像，進(jìn)行與以往同樣的幀間編碼。
(動作)下面，說明圖像編碼部407的動作。
圖4是與圖像編碼部407處理輸入圖像的1個微塊的動作有關(guān)的數(shù)據(jù)流圖，與數(shù)據(jù)流一起，表示了引發(fā)數(shù)據(jù)流的各個處理。通過在輸入圖像的各微塊中進(jìn)行該動作，完成輸入圖像的編碼。
以下，在圖4左上的輸入圖像已經(jīng)被輸入圖像緩存301取得、并且圖4右上的參照圖像按每個參照塊以原尺寸的參照圖像的形式或縮小參照圖像與誤差的形式已經(jīng)存儲在參照圖像存儲部303中的狀態(tài)下進(jìn)行說明。
此外，為了說明幀間編碼部313a的動作，假設(shè)輸入圖像是基于與參照圖像的運動預(yù)測而進(jìn)行了幀間編碼的圖像。另外，在輸入圖像是分別自身獨力地編碼的圖像(例如MPEG的I圖像)的情況下，幀間編碼部313a不工作。
輸入圖像縮小部201將輸入圖像的微塊(簡稱為輸入塊)縮小而生成縮小輸入塊(S01)。選擇器205根據(jù)存儲的數(shù)據(jù)形式分配處于粗運動矢量的搜索范圍中的各個參照塊(S02)，參照圖像縮小部204將原尺寸的參照圖像縮小而生成縮小參照塊(S03)。作為一例，粗運動矢量的搜索范圍設(shè)定為與縮小輸入塊在圖像內(nèi)的位置關(guān)系相同的縮小參照塊及其周圍的縮小參照塊。
對于存儲有原尺寸的參照圖像的參照塊，粗運動矢量搜索部207利用由參照圖像縮小部204得到的縮小參照塊，而對于存儲有縮小參照圖像和誤差的參照塊，粗運動矢量搜索部207直接利用所存儲的縮小參照圖像，來搜索粗運動矢量(S04)。
參照圖像放大部208將處于由搜索到的粗運動矢量表示的位置的參照塊及其周圍的參照塊，設(shè)定為基于原尺寸的運動矢量的搜索范圍，對處于該范圍中的參照塊中的、存儲有縮小參照圖像和誤差的參照塊，將其縮小參照圖像放大，誤差加法部209再加上其誤差，來得到復(fù)原參照塊(S05)。
對于存儲有原尺寸的參照圖像的參照塊，運動矢量搜索部305直接利用所存儲的參照圖像，而對于存儲有縮小參照圖像和誤差的參照塊，運動矢量搜索部305利用由誤差加法部209得到的復(fù)原參照塊，來搜索運動矢量。并且，差分圖像生成部302同樣地利用所存儲的參照圖像和復(fù)原參照塊，來生成差分圖像。
在頻率變換部307及量子化部308，同以往同樣地，差分圖像被變換為空間頻率成分量的量子化數(shù)據(jù)(S06)。在熵編碼部309，量子化數(shù)據(jù)被熵編碼為代碼數(shù)據(jù)(S07)。
另外，也可以省略運動矢量搜索部305進(jìn)行的基于原尺寸圖像的運動矢量搜索。在此情況下，可以將粗運動矢量換算為原尺寸來使用。雖然得不到表示最佳相關(guān)性的部分而可能使壓縮率變低一些，但通過省略基于原尺寸圖像的運動矢量搜索，能夠?qū)崿F(xiàn)高速化，并減小裝置化時的電路規(guī)模。
局部解碼部310對量子化數(shù)據(jù)進(jìn)行解碼，求出參照塊(S08)。參照圖像縮小部將參照塊縮小，求出縮小參照塊(S09)，參照圖像放大部將縮小參照塊放大為縮小前的大小、即與參照塊相同的大小，來求出對照塊(S10)。
誤差計算部215對每個像素計算參照塊與對照塊的誤差，誤差核化部216進(jìn)行誤差數(shù)據(jù)的核化(S11)。
數(shù)據(jù)量判斷部218比較判斷將縮小參照塊與誤差合起來的數(shù)據(jù)量是否比參照塊的數(shù)據(jù)量多，選擇器219在肯定判斷的情況下選擇參照塊，在否定判斷的情況下選擇縮小參照塊與誤差，參照圖像存儲部303將由選擇器219選擇的數(shù)據(jù)作為應(yīng)該與下一個輸入圖像進(jìn)行對比的下次參照圖像的參照塊進(jìn)行存儲(S12)。
如前面所述，通過在輸入圖像的各微塊中進(jìn)行這樣的動作，完成一個輸入圖像的編碼。進(jìn)而，通過進(jìn)行構(gòu)成運動圖像的各輸入圖像的編碼，來完成運動圖像的編碼。
(總結(jié))如以上說明，根據(jù)圖像編碼部407，參照圖像存儲部303存儲在參照圖像生成部314a將參照圖像縮小而得到的縮小參照圖像，幀間編碼部313a利用從參照圖像存儲部303讀取的縮小參照圖像，首先搜索粗運動矢量之后，按照以往的參照圖像的作用來使用從該縮小參照圖像復(fù)原的復(fù)原參照圖像進(jìn)行編碼，所以與以往相比，削減了在運動預(yù)測編碼中使用的參照圖像的數(shù)據(jù)量。
根據(jù)在參照圖像存儲部303中將誤差和縮小參照圖像一起存儲、將該縮小參照圖像放大后、再加上誤差來得到復(fù)原參照圖像的結(jié)構(gòu)，由于能夠得到與原來的參照圖像相同的復(fù)原參照圖像，所以不會帶來使像質(zhì)劣化的新的原因，并且為了表示參照圖像，能夠以較高的概率削減所需的數(shù)據(jù)量。
根據(jù)利用數(shù)據(jù)量判斷部218對將縮小參照圖像與誤差合起來的數(shù)據(jù)量、和原來的參照圖像的數(shù)據(jù)量進(jìn)行比較判斷、將不多的數(shù)據(jù)存儲在參照圖像存儲部303的結(jié)構(gòu)，能夠可靠地避免為了表示參照圖像所需的數(shù)據(jù)量在最差的情況下比以往增加的不良狀況。
根據(jù)利用誤差核化部216對誤差進(jìn)行核化的結(jié)構(gòu)，提高了將縮小參照圖像與誤差合起來的數(shù)據(jù)量比原來的參照圖像的數(shù)據(jù)量小的可能性。在此情況下，通過由核化控制部217決定對應(yīng)于量子化寬度的閾值并在核化中使用，能夠進(jìn)行實質(zhì)上不發(fā)生像質(zhì)劣化的核化。
(變形例)圖像編碼部407例如可以作為半導(dǎo)體集成電路來實現(xiàn)。在此情況下，圖3所示的圖像編碼部407的各單元作為發(fā)揮對應(yīng)功能的電路模塊來實現(xiàn)。
此外，圖像編碼部407也可以作為計算機的軟件功能來實現(xiàn)。在此情況下，圖像編碼部407在實體上由處理器、及存儲有由處理器執(zhí)行的程序的存儲器等構(gòu)成，圖3所示的圖像編碼部407的各單元表示使處理器執(zhí)行對應(yīng)功能的程序模塊。該處理器可以從CPU、DSP(Digital Signal Processor，數(shù)字信號處理器)等中適當(dāng)選擇。
再者，包含圖2所示的圖像編碼部407的照相機圖像處理部405整體也可以安裝在半導(dǎo)體集成電路中。
在采用這些中的任一種安裝的情況下，也能夠得到以較高的概率削減為了運動預(yù)測編碼而存儲的參照圖像的數(shù)據(jù)量的本發(fā)明的特有效果。
工業(yè)實用性本發(fā)明涉及的運動圖像編碼裝置利用于運動圖像錄像裝置中，特別適合于在數(shù)字照相機及便攜式電話這樣的硬件規(guī)模及電源容量比較容易受限制的設(shè)備中實現(xiàn)運動圖像錄像功能的情況。
權(quán)利要求
1.一種運動圖像編碼裝置，對由時間序列的輸入圖像構(gòu)成的運動圖像進(jìn)行編碼，其特征在于，具備局部解碼單元，對表示第1輸入圖像的第1代碼進(jìn)行解碼，得到參照圖像；參照圖像縮小單元，將上述參照圖像縮小，得到縮小參照圖像；參照圖像存儲單元，存儲上述縮小參照圖像；編碼單元，根據(jù)將第2輸入圖像縮小而得到的縮小第2輸入圖像和從上述參照圖像存儲單元取得的上述縮小參照圖像之間的運動預(yù)測，求出表示上述第2輸入圖像的第2代碼。
2.如權(quán)利要求1所述的運動圖像編碼裝置，其特征在于，上述編碼單元具有輸入圖像縮小部，將上述第2輸入圖像縮小，得到縮小第2輸入圖像；粗運動矢量搜索部，求出表示在上述縮小第2輸入圖像與上述縮小參照圖像之間關(guān)性成為極大的對應(yīng)部分的粗運動矢量；參照圖像復(fù)原部，將從上述參照圖像存儲單元取得的上述縮小參照圖像放大，求出復(fù)原參照圖像；差分圖像生成部，生成與上述第2輸入圖像和上述復(fù)原參照圖像的、由上述粗運動矢量表示的對應(yīng)部分相關(guān)的差分圖像；將上述差分圖像編碼為上述第2代碼。
3.如權(quán)利要求2所述的運動圖像編碼裝置，其特征在于，上述編碼單元還具有精運動矢量搜索部，該精運動矢量搜索部求出表示在上述第2輸入圖像與上述復(fù)原參照圖像之間相關(guān)性成為極大的對應(yīng)部分的精運動矢量；上述差分圖像生成部生成由上述精運動矢量表示的對應(yīng)部分的差分圖像。
4.如權(quán)利要求2所述的運動圖像編碼裝置，其特征在于，上述編碼單元還具有頻率變換部，求出包含在上述差分圖像中的多個空間頻率各自的成分量；量子化部，對求出的成分量進(jìn)行量子化；將上述量子化的結(jié)果編碼為上述第2代碼。
5.如權(quán)利要求2所述的運動圖像編碼裝置，其特征在于，上述運動圖像編碼裝置還具備參照圖像放大單元，將上述縮小參照圖像放大為上述參照圖像的大小，得到對照圖像；以及誤差計算單元，對每個對應(yīng)像素計算上述參照圖像與上述對照圖像的誤差；上述參照圖像存儲單元將上述誤差同上述縮小參照圖像一起存儲；上述參照圖像復(fù)原部將從上述參照圖像存儲單元取得的上述縮小參照圖像放大為上述參照圖像的大小，再加上從上述參照圖像存儲單元取得的上述誤差，求出上述復(fù)原參照圖像。
6.如權(quán)利要求5所述的運動圖像編碼裝置，其特征在于，上述運動圖像編碼裝置還具備數(shù)據(jù)量判斷單元，該數(shù)據(jù)量判斷單元判斷將上述縮小參照圖像與上述誤差合起來的數(shù)據(jù)量是否比上述參照圖像的數(shù)據(jù)量多；在上述數(shù)據(jù)量判斷單元做出肯定判斷的情況下，上述參照圖像存儲單元存儲上述參照圖像，以代替上述縮小參照圖像和上述誤差，上述編碼單元求出表示在上述第2輸入圖像與從上述參照圖像存儲單元取得的上述參照圖像之間相關(guān)性成為極大的對應(yīng)部分的運動矢量，將由上述運動矢量表示的對應(yīng)部分的差分編碼為上述第2代碼。
7.如權(quán)利要求5或6所述的運動圖像編碼裝置，其特征在于，上述誤差計算單元進(jìn)行忽略預(yù)先設(shè)定的閾值以下的誤差的核化。
8.如權(quán)利要求7所述的運動圖像編碼裝置，其特征在于，上述編碼單元還具有頻率變換部，求出包含在上述差分中的多個頻率成分的各自的成分量；以及量子化部，對求出的成分量進(jìn)行量子化；將上述量子化的結(jié)果編碼為上述第2代碼；在上述核化中，上述誤差計算單元忽略根據(jù)上述量子化的量子化寬度設(shè)定的閾值以下的誤差。
9.一種運動圖像編碼方法，對由時間序列的輸入圖像構(gòu)成的運動圖像進(jìn)行編碼，其特征在于，包括局部解碼步驟，對表示第1輸入圖像的第1代碼進(jìn)行解碼，得到參照圖像；參照圖像縮小步驟，將上述參照圖像縮小，得到縮小參照圖像；參照圖像存儲步驟，存儲上述縮小參照圖像；編碼步驟，根據(jù)將第2輸入圖像縮小而得到的縮小第2輸入圖像和在上述參照圖像存儲步驟存儲的上述縮小參照圖像之間的運動預(yù)測，求出表示上述第2輸入圖像的第2代碼。
10.一種程序，是用于對由時間序列的輸入圖像構(gòu)成的運動圖像進(jìn)行編碼的計算機可執(zhí)行的程序，其特征在于，使計算機執(zhí)行以下步驟局部解碼步驟，對表示第1輸入圖像的第1代碼進(jìn)行解碼，得到參照圖像；參照圖像縮小步驟，將上述參照圖像縮小，得到縮小參照圖像；參照圖像存儲步驟，存儲上述縮小參照圖像；編碼步驟，根據(jù)將第2輸入圖像縮小而得到的縮小第2輸入圖像和在上述參照圖像存儲步驟存儲的上述縮小參照圖像之間的運動預(yù)測，求出表示上述第2輸入圖像的第2代碼。
全文摘要
提供一種運動圖像編碼裝置，謀求為了運動預(yù)測編碼而存儲的參照圖像的數(shù)據(jù)量的削減，使參照圖像的處理最佳化。該運動圖像編碼裝置具備局部解碼部(310)，對表示第1輸入圖像的第1代碼進(jìn)行解碼，得到參照圖像；參照圖像縮小部(213)，將上述參照圖像縮小，得到縮小參照圖像；參照圖像存儲部(303)，存儲上述縮小參照圖像；幀間編碼部(313a)，生成第2輸入圖像與將從上述參照圖像存儲部(303)取得的上述縮小參照圖像放大而得到的復(fù)原參照圖像的差分圖像；幀內(nèi)編碼部(306)，對差分圖像進(jìn)行編碼。
文檔編號H04N7/50GK1905680SQ20061010806
公開日2007年1月31日 申請日期2006年7月27日 優(yōu)先權(quán)日2005年7月27日
發(fā)明者豬熊一行 申請人:松下電器產(chǎn)業(yè)株式會社