專利名稱：動畫圖像編碼方法、動畫圖像編碼裝置及解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及輸入動畫圖像后進(jìn)行編碼的方法及裝置以及對編碼的動畫圖像進(jìn)行解碼的裝置。
圖27是第一現(xiàn)有技術(shù)，是表示基于ITU-T的建議H.263的動畫圖像編碼裝置的結(jié)構(gòu)框圖。圖中，1是輸入數(shù)字圖像信號(以下簡稱為輸入圖像)，101是差分器，102是預(yù)測信號，103是預(yù)測誤差信號，104是編碼單元，105是編碼數(shù)據(jù)，106是解碼單元，107是解碼的預(yù)測誤差信號，108是加法器，109是局部解碼圖像信號，110是存儲器，111是預(yù)測單元，112是運動向量。
首先將應(yīng)編碼的輸入圖像1輸入差分器101。差分器101取輸入圖像1與預(yù)測信號102的差分，將其作為預(yù)測誤差信號103輸出。編碼單元104對原信號即輸入圖像1或預(yù)測誤差信號103進(jìn)行編碼后，輸出編碼數(shù)據(jù)105。作為編碼單元104中的編碼方法，在上述建議中，采用了使用一種正交變換即離散余弦變換(DCT)將預(yù)測誤差信號103從空間區(qū)域變換成頻域來對所得的變換系數(shù)進(jìn)行線性量化的方法。
編碼數(shù)據(jù)105向兩個方向分支。一方是向接收側(cè)的圖像解碼裝置(未圖示)送出，另一方是輸入到本裝置的解碼單元106。解碼單元106進(jìn)行和編碼單元104相反的動作，從編碼數(shù)據(jù)105生成解碼預(yù)測誤差信號107后輸出。加法器108將解碼預(yù)測誤差信號107和預(yù)測信號102相加，將其作為解碼圖像信號109輸出。預(yù)測單元111使用輸入圖像1和存儲器110中存儲的1幀前的解碼圖像信號109進(jìn)行動補(bǔ)償預(yù)測，輸出預(yù)測信號102和動向量112。此時，動補(bǔ)償以稱為宏塊的由16×16象素構(gòu)成的固定大小的塊單位進(jìn)行。對于運動劇烈的區(qū)中的塊，作為可選功能，也可以用將宏塊分成四份的8×8象素的子塊單位來進(jìn)行動補(bǔ)償預(yù)測。將所求的動向量112向圖像解碼裝置送出，將預(yù)測信號102向差分器101和加法器108送出。利用該裝置，通過使用動補(bǔ)償預(yù)測，能夠一面維持圖像質(zhì)量一面壓縮動畫圖像的數(shù)據(jù)量。
圖28是與第二先有技術(shù)有關(guān)的圖像編碼裝置的構(gòu)成圖。該裝置是基于L.C.Real等在《基于向量量化的低位速率視頻編碼器》(A VeryLow Bit Rate Video Coder Based on Vector Quantization)(IEEE會刊圖像處理，Vol.5，No.2，1996)中提案的編碼方法的。圖中，113是區(qū)域分割單元，114是預(yù)測單元，115是區(qū)域確定單元，116是包括幀間編碼/幀內(nèi)編碼信息的編碼方式信息，117是動向量，118是編碼單元，119是編碼數(shù)據(jù)。
在該裝置中，首先由區(qū)域分割單元113將輸入圖像1分割成多個區(qū)域。區(qū)域分割單元113根據(jù)動補(bǔ)償誤差確定區(qū)域大小。區(qū)域分割單元113使用與幀間信號的分散有關(guān)的閾值，從預(yù)先準(zhǔn)備的十種塊大小4×4、4×8、8×4、8×8、8×16、16×8、16×16、16×32、32×16、32×32中進(jìn)行判斷，在運動大的區(qū)域中分配小的塊，在后臺等運動小的區(qū)域中分配大的塊，具體地說，對于由預(yù)測單元114得到的預(yù)測誤差信號，由區(qū)域確定單元115計算其分散值，據(jù)此來確定塊的大小。在該時刻確定區(qū)域形狀信息和編碼方式等屬性信息及運動向量117。因而，由編碼單元118利用編碼方式信息對預(yù)測誤差信號或原信號進(jìn)行編碼，得到編碼數(shù)據(jù)119。此后的處理和第一現(xiàn)有技術(shù)相同。
在第一現(xiàn)有技術(shù)中，將編碼單位的區(qū)域形狀限定為2種。并且，它們都是正方形。因而，對適應(yīng)于圖像的體系結(jié)構(gòu)或圖像特征的編碼自然會有限制。例如，只想對運動大的被寫體提高編碼量時，盡量定義與其被寫體相同形狀的區(qū)域，但在現(xiàn)有技術(shù)中是困難的。
在準(zhǔn)備多種大小的塊這一點上，第二現(xiàn)有技術(shù)比第一現(xiàn)有技術(shù)具有更多的處理的靈活性。因而，即使在該裝置中，結(jié)果各區(qū)域還是限于正方形。然而，即使是十種大小的正方形，在對任意形狀的圖像區(qū)域的適應(yīng)性方面，也還有改善的余地。
本發(fā)明系鑒于這樣的問題而提案的，其目的在于根據(jù)處理的圖像狀況提供進(jìn)行更靈活處理的動畫圖像編碼技術(shù)。本發(fā)明的更具體的目的在于提供使用能夠與各種圖像結(jié)構(gòu)可靠地對應(yīng)的區(qū)域分割技術(shù)的動畫圖像編碼技術(shù)。本發(fā)明的另一目的在于根據(jù)各種觀點提供為了編碼而分割區(qū)域時的分割標(biāo)準(zhǔn)。本發(fā)明的其他目的在于提供對分割成各種形狀的區(qū)域的編碼數(shù)據(jù)正確地進(jìn)行解碼的技術(shù)。
本發(fā)明的動畫圖像編碼方法包括根據(jù)規(guī)定的是否可分割的判斷標(biāo)準(zhǔn)，將輸入圖像分割成多個區(qū)域的步驟；對分割的多個區(qū)域，分別根據(jù)規(guī)定的是否可綜合的判斷標(biāo)準(zhǔn)來將該區(qū)域與其鄰近區(qū)域進(jìn)行綜合的步驟。還有，還包括在綜合后分別對所剩的區(qū)域進(jìn)行圖像信號編碼的步驟。
對某一區(qū)域，上述是否可分割判斷標(biāo)準(zhǔn)與分割該區(qū)域時和不分割該區(qū)域時的編碼好壞的比較結(jié)果相關(guān)連。
對某一區(qū)域，上述是否可綜合判斷標(biāo)準(zhǔn)與將該區(qū)域與其鄰近區(qū)域綜合和不將該區(qū)域與其鄰近區(qū)域綜合時編碼好壞的比較結(jié)果相關(guān)連。
另一方面，本發(fā)明的動畫圖像編碼裝置包括區(qū)域分割單元和編碼單元。區(qū)域分割單元包括分割處理單元及綜合處理單元，分割處理單元根據(jù)規(guī)定的是否可分割的判斷標(biāo)準(zhǔn)將輸入圖像分割成多個區(qū)域，綜合處理單元根據(jù)規(guī)定的是否可綜合的判斷標(biāo)準(zhǔn)，對由分割處理單元分割的多個區(qū)域進(jìn)行該區(qū)域與其鄰近區(qū)域的綜合。編碼單元對由綜合處理單元綜合后所剩的各區(qū)域進(jìn)行圖像信號的編碼。
上述綜合處理單元包括暫時編碼單元、解碼單元、編碼失真計算單元和評價值計算單元，暫時編碼單元對每一區(qū)域?qū)D像進(jìn)行預(yù)編碼，解碼單元對由暫時編碼部編碼的圖像進(jìn)行解碼，編碼失真計算單元使用由解碼單元解碼的圖像計算編碼失真，評價值計算單元邊考慮編碼量和編碼失真，邊計算用于判斷編碼好壞的評價值，對各區(qū)域，根據(jù)與鄰近區(qū)域綜合時所得的評價值與不綜合時所得的評價值的比較結(jié)果來確定區(qū)域是否可綜合。
上述分割處理單元包括活動度計算單元和分割判斷單元，活動度計算單元將伴隨各區(qū)域的動補(bǔ)償預(yù)測的預(yù)測誤差功率作為該區(qū)域的活動度計算，分割判斷單元將計算的活動度同預(yù)設(shè)定的標(biāo)準(zhǔn)值進(jìn)行比較，比較的結(jié)果，活動度大于標(biāo)準(zhǔn)值時，將該區(qū)域進(jìn)一步分割成小的區(qū)域。
另外，上述分割處理單元包括活動度計算單元和分割判斷單元，活動度計算單元計算各區(qū)域的原信號的邊緣強(qiáng)度，將其作為該區(qū)域的活動度，分割判斷單元將計算的活動度同預(yù)設(shè)定的標(biāo)準(zhǔn)值進(jìn)行比較，比較的結(jié)果，活動度大于標(biāo)準(zhǔn)值時，將該區(qū)域進(jìn)一步分割成小的區(qū)域。
另外，上述分割處理單元包括活動度計算單元和分割判斷單元，活動度計算單元對各區(qū)域計算表示該區(qū)域圖像特性的多個數(shù)值的線性和，將其作為該區(qū)域的活動度，分割判斷單元將計算的活動度同預(yù)設(shè)定的標(biāo)準(zhǔn)值進(jìn)行比較；比較的結(jié)果，活動度大于標(biāo)準(zhǔn)值時，將該區(qū)域分割成更小的區(qū)域。
此時，上述多個數(shù)值也可以包括伴隨動補(bǔ)償預(yù)測的各區(qū)域的運動參數(shù)的編碼量和預(yù)測誤差功率。
還有，上述多個數(shù)值也可以包括各區(qū)域的運動參數(shù)的編碼量、伴隨動補(bǔ)償?shù)念A(yù)測誤差功率、原信號的分散值、邊緣強(qiáng)度及各區(qū)域的運動參數(shù)的大小。
上述分割處理單元還包括作為等級確定各區(qū)域的重要度的等級識別單元，從上述活動度和等級兩方面判斷各區(qū)域是否可分割。
上述等級識別單元跨過多個區(qū)域的被寫體結(jié)構(gòu)，確定各區(qū)域的等級。
此時，上述被寫體結(jié)構(gòu)也可以根據(jù)區(qū)域的原信號分散，邊緣強(qiáng)度及鄰近區(qū)域的邊緣的連接程度來判斷。
還有，上述等級識別單元注視圖像的特征量進(jìn)行被寫體的檢測，根據(jù)該結(jié)果確定各區(qū)域的等級。
此時，上述等級識別單元也可以按照可預(yù)料為包括在圖像中的被寫體，預(yù)先保存包括該被寫體的圖像的特征量，根據(jù)各區(qū)域的圖像的特征量與保存的被寫體的特征量的一致度來確定各區(qū)域的等級。
上述分割處理單元包括暫時編碼單元、解碼單元、編碼失真計算單元和評價值計算單元，暫時編碼單元對每一區(qū)域?qū)D像進(jìn)行預(yù)編碼，同時計算其編碼量，解碼單元對由暫時編碼單元編碼的圖像進(jìn)行解碼，編碼失真計算單元使用解碼單元解碼的圖像計算編碼失真，評價值計算單元邊考慮編碼量和編碼失真，邊計算判斷編碼好壞的評價值；對各區(qū)域，根據(jù)將其分割為更小區(qū)域時所得的評價值與不分割時的評價值的比較結(jié)果，確定區(qū)域是否分割。
還有，伴隨動補(bǔ)償預(yù)測的預(yù)測誤差信號的量化參數(shù)在上述暫時編碼單元中設(shè)定為可變，上述評價值計算單元邊改變量化參數(shù)，邊計算評價值。
進(jìn)一步，也可以將伴隨動補(bǔ)償預(yù)測的各區(qū)域的運動參數(shù)的編碼量和預(yù)測誤差功率的線性和作為評價值計算的評價值計算單元設(shè)置在上述暫時編碼單元的前級，上述暫時編碼單元根據(jù)該評價值檢測運動參數(shù)。
另一方面，本發(fā)明的動畫圖像解碼裝置是在分割給多個區(qū)域后將編碼的圖像的編碼數(shù)據(jù)輸入后進(jìn)行解碼的裝置，包括區(qū)域形狀解碼單元和圖像數(shù)據(jù)解碼單元，區(qū)域形狀解碼單元根據(jù)編碼數(shù)據(jù)中所含的區(qū)域形狀信息，對編碼時分割的各區(qū)域的形狀進(jìn)行恢復(fù)，圖像數(shù)據(jù)解碼單元除根據(jù)恢復(fù)的各區(qū)域的形狀來確定對區(qū)域編碼的順序外，還從編碼數(shù)據(jù)去解碼各區(qū)域的圖像。
此時，上述區(qū)域形狀信息包括在編碼時與進(jìn)行區(qū)域分割及綜合時的處理過程有關(guān)的信息，上述區(qū)域形狀解碼單元通過根據(jù)該信息再現(xiàn)與編碼裝置相同的處理來掌握區(qū)域的分割狀態(tài)。


圖1是與實施例有關(guān)的動畫圖像編碼裝置整體的構(gòu)成圖。
圖2是表示圖1的編碼裝置的動作的流程圖。
圖3是圖1的區(qū)域分割單元的內(nèi)部結(jié)構(gòu)圖。
圖4是圖3的分割處理單元的內(nèi)部結(jié)構(gòu)圖。
圖5是表示圖4的分割處理單元的動作的流程圖。
圖6是表示圖4的分割處理單元的均勻分割結(jié)果的例子的圖。
圖7是表示圖4的分割處理單元的初次初始分割的結(jié)果的圖。
圖8是表示圖4的分割處理單元的初始分割的最終結(jié)果的圖。
圖9是圖3的綜合處理單元的內(nèi)部結(jié)構(gòu)圖。
圖10是表示圖9的綜合處理單元的動作的流程圖。
圖11是表示圖9的綜合處理單元的區(qū)域的帶標(biāo)志的例子的圖。
圖12是表示圖9的綜合處理單元的鄰近區(qū)域的設(shè)定例的圖。
圖13是表示圖10的S19的順序的流程圖。
圖14是圖3的分割處理單元的其他實施例的內(nèi)部結(jié)構(gòu)圖。
圖15是表示圖14的分割處理單元的初始分割的最終結(jié)果的圖。
圖16是圖3的分割處理單元的其他實施例的內(nèi)部結(jié)構(gòu)圖。
圖17是表示圖16的分割處理單元的動作的流程圖。
圖18是表示圖16的等級識別單元的其他實施例的圖。
圖19是表示利用塊匹配法進(jìn)行動補(bǔ)償預(yù)測的圖。
圖20是圖3的分割處理單元的其他實施例的內(nèi)部構(gòu)成圖。
圖21是表示圖20的分割處理單元的動作的流程圖。
圖22是圖3的綜合處理單元的其他實施例的內(nèi)部構(gòu)成圖。
圖23是表示圖22的綜合處理單元的動作的流程圖。
圖24是圖3的綜合處理單元的其他實施例的內(nèi)部構(gòu)成圖。
圖25是與實施例有關(guān)的動畫圖像解碼裝置的內(nèi)部構(gòu)成圖。
圖26是表示圖22的解碼裝置的動作的流程圖。
圖27是表示與第一現(xiàn)有技術(shù)有關(guān)的動畫圖像解碼裝置的圖。
圖28是表示與第二現(xiàn)有技術(shù)有關(guān)的動畫圖像解碼裝置的圖。
實施例1圖1是表示與本實施例有關(guān)的動畫圖像編碼裝置的構(gòu)成的框圖。該裝置能用于例如電視電話和電視會議等圖像通信用的便攜或固置型設(shè)備中。還有，能夠作為數(shù)字VTR、視頻服務(wù)器等的圖像存儲及記錄裝置中的動畫圖像編碼裝置使用。進(jìn)一步，該裝置的處理順序也能以軟件或DSP(數(shù)字信號處理機(jī))的固件的形式安裝的動畫圖像編碼程序使用。
圖1中，1是輸入圖像，2是區(qū)域分割部，3是區(qū)域形狀信息，4是區(qū)域圖像信號，5是區(qū)域運動信息，6是區(qū)域?qū)傩孕畔ⅲ?是編碼單元，8是局部解碼圖像，9是存儲器，10是參考圖像，11是編碼位流。圖2是表示本裝置的動作的流程圖。首先，根據(jù)圖1和圖2說明裝置整體的動作。
將輸入圖像1輸入到區(qū)域分割單元2(S1)，在這里分割成多個區(qū)域。區(qū)域分割單元2進(jìn)行后述那樣的初始分割(S2)和鄰近區(qū)域綜合(S3)的兩個系統(tǒng)的處理。區(qū)域分割單元2對分割結(jié)果所得的各區(qū)域，將形狀信息3、圖像信號4、運動信息5、各區(qū)域的編碼方式等屬性信息6送給編碼單元7。在編碼單元7，根據(jù)規(guī)定的編碼方法，將這些信息進(jìn)行位模式變換及多重化，作為編碼位流11輸出(S4，S5)。將各區(qū)域的編碼為到最終區(qū)域為止(S6，S7)。并且，根據(jù)動補(bǔ)償預(yù)測，為進(jìn)行區(qū)域分割及編碼，在編碼單元7，對每一區(qū)域生成局部解碼圖像8，將其存儲在存儲器9中。區(qū)域分割單元2及編碼單元7將存儲器9中存儲的局部解碼圖像作為參考圖像10取出，進(jìn)行動補(bǔ)償預(yù)測。
圖3是區(qū)域分割單元2的詳細(xì)構(gòu)成圖。圖中，12是分割處理單元，13是初始分割形狀信息，14是綜合處理單元。(1)初始分割在分割處理單元2進(jìn)行相當(dāng)于圖2的S2的初始分割。所謂初始分割是指在綜合前進(jìn)行的分割，分割的合計次數(shù)依賴于圖像的狀態(tài)即圖像的特征或特性。
圖4示出了分割處理單元12的內(nèi)部構(gòu)成。圖中，15是均勻分割單元，16是活動度計算單元，17是活動度，18是分割判斷單元，19是分割狀態(tài)指示信號。所謂活動度是為判斷圖像的特征或特性而與規(guī)定的性質(zhì)有關(guān)的數(shù)值化了的數(shù)據(jù)。這里，作為活動度，采用伴隨區(qū)域的動補(bǔ)償預(yù)測的預(yù)測誤差功率。
圖19示出了利用塊匹配法進(jìn)行動補(bǔ)償預(yù)測的方法。在塊匹配法中，給出下面表達(dá)式來作為被預(yù)測區(qū)域S的運動向量取向量V?！脖磉_(dá)式1〕Dmin=minv∈R(ΣS[fs(x+vx,y+vy,r-1)-fs(x,y,t)])]]>其中，在被預(yù)測區(qū)域S的時刻t的(x，y)上的象素值為fs(x，y，t)、在時刻t-1的(x，y)上的象素值為fs(x，y，t-1)、使位置(x，y，t-1)僅進(jìn)行向量V的位移的位置的象素值為fs(x+vx’，y+vy’，t-1)。還有，R表示運動向量檢索范圍。
利用由該結(jié)果所得的向量，由fs(x+vx’，y+vy’，t-1)提供預(yù)測圖像，預(yù)測誤差功率即活動度成為Dmin。通過由該方法定義活動度，能夠按圖像局部運動的復(fù)雜程度進(jìn)行區(qū)域分割。可進(jìn)行運動劇烈的部分密、運動弱的部分粗的編碼等控制。另外，也可以使用計算仿射運動參數(shù)的仿射動補(bǔ)償、檢測三維運動的透視動補(bǔ)償?shù)取?br> 圖5是表示分割處理單元12的動作的流程圖。如圖，首先，由均勻分割單元15無條件地進(jìn)行均勻塊分割(S8)。此時，例如如圖6那樣將1幀分割成32×32象素的塊。將該分割處理稱為第0分割級。在第0分割級生成的塊數(shù)記為No，將各塊記為Bon(1≤n≤N0)。
接著，對各Bon個別地判斷是否還進(jìn)行塊分割及怎樣進(jìn)行塊分割(S9)。因此在活動度計算單元16中計算各Bon的活動度17。分割判斷單元18將預(yù)設(shè)定的閾值TH0與各塊的活動度進(jìn)行比較，在活動度17比TH0還大時，將Bon進(jìn)一步分割為4份(S10)。將其進(jìn)行到最終塊為止(S11，S12)。這就是第1分割級。
圖7是第1分割級結(jié)束時刻的圖像的分割狀態(tài)。將新生成的16×16象素塊數(shù)記為N1，將各塊記為B1n(1≤n≤N1)。之后，計算各B1n的活動度，使用閾值TH1進(jìn)行第2分割級。下面，將閾值THj應(yīng)用于第j分割級生成的塊Bjn，執(zhí)行第j+1分割級(S13～S16)。j到達(dá)規(guī)定的上限值時，結(jié)束初始分割，這里，為便于說明，用第2分割級結(jié)束分割。在這種情況下，最終生成圖8所示的塊。塊的大小為8×8象素～32×32象素。將初始分割結(jié)束時刻的塊數(shù)記為M0，將各塊記為初始區(qū)域Son。Son的形狀信息作為初始分割形狀信息13，送到綜合處理單元14。(2)鄰近區(qū)域的綜合接著，在綜合處理單元14中，對各Son進(jìn)行與鄰近區(qū)域的綜合。圖9示出了綜合處理單元14的內(nèi)部構(gòu)成圖。圖中，20是標(biāo)志單元，21是鄰近區(qū)域設(shè)定單元，22是暫時編碼單元，23是解碼單元，24是編碼失真計算單元，25是評價值計算單元，26是評價值計算單元所用的常數(shù)，27是綜合判斷單元，28是綜合處理反復(fù)指示信號。
圖10是表示綜合處理單元14的動作的流程圖。如圖所示，根據(jù)固定的規(guī)則，首先，在標(biāo)志單元20，向初始區(qū)域Son給編號即標(biāo)志(S17)。例如，邊以象素單位從左上角向右下角水平地掃描圖像幀，邊順序向區(qū)域提供編號。圖11示出了帶標(biāo)志的簡單例。如圖所示，以在掃描線上出現(xiàn)的順序，在區(qū)域上給標(biāo)志[1][2]…。此時，區(qū)域的大小不限。下面，將區(qū)域Skn的標(biāo)志值記為1(Skn)。還有，k與后述第k綜合級對應(yīng)，在初始狀態(tài)為k＝0。
接著，在鄰近區(qū)域設(shè)定單元21，利用標(biāo)志定義各區(qū)域的“鄰近區(qū)域”(S18)。圖12是鄰近區(qū)域的例子。圖中，根據(jù)圖11的標(biāo)志示出了區(qū)域Son的鄰近區(qū)域。即，將對象區(qū)域A與邊相連、并且將比對象區(qū)域的標(biāo)志值大的區(qū)域B、C、D定義為鄰近區(qū)域。
接著，按照區(qū)域判斷區(qū)域與其鄰近區(qū)域可否綜合。因此，在暫時編碼單元22、解碼單元23、編碼失真計算單元24、評價值計算單元25，計算用于綜合的評價值(S19)。評價值是下面表達(dá)式所示的編碼量，即失真成本L(Skn)。
L(Skn)＝D(Skn)+λ(Skn) (表達(dá)式1)這里，D(Skn)是Skn的編碼失真即平方誤差總和，R(Skn)是Skn的編碼量、λ是常數(shù)26。綜合沿L(Skn)減少的方向進(jìn)行。L(Skn)變小相當(dāng)于在規(guī)定的編碼量的范圍內(nèi)以給定的常數(shù)λ減少編碼失真。通過減少幀內(nèi)的L(Skn)的總和，能夠減少使用同一編碼量時的編碼失真。
圖13是S19的詳細(xì)流程圖。首先，在暫時編碼單元22對Skn預(yù)編碼(S22)。該編碼的目的在于準(zhǔn)備計算編碼量R(Skn)和導(dǎo)出編碼失真D(Skn)。在本實施例中，暫時編碼單元22使用參考圖像進(jìn)行動補(bǔ)償預(yù)測。編碼的數(shù)據(jù)包括圖像數(shù)據(jù)，即預(yù)測誤差信號或原信號，用于確定預(yù)測圖像的運動信息和編碼方式等屬性信息，這些編碼量的總和是R(Skn)。預(yù)測誤差信號作為區(qū)域Skn的原信號和預(yù)測圖像的差而得到。
另一方面，在解碼單元23，使用暫時編碼單元22所得的編碼數(shù)據(jù)生成Skn的局部解碼圖像(S23)。接著，在編碼失真計算單元24計算局部解碼圖像和原圖像的失真D(S24)。評價值計算單元25根據(jù)R(Skn)和D(Skn)計算編碼量失真成本L(Skn)(S25)。
在工序S19，對全部區(qū)域，用三種種類實施上述評價值計算。
1.各區(qū)域Skn本身…L(Skn)2.Skn的鄰近區(qū)域Ni[Sknl…L(Ni[Skn])3.Skn與Ni(Skn)臨時的區(qū)域…L(Skn+Ni[Skn])這里，Ni(Skn)表示Skn的鄰近區(qū)域，i表示用于區(qū)別多個鄰近區(qū)域的編號。
接著，在綜合判斷單元27中，在圖像幀內(nèi)，搜索使DL＝L(Skn)+L(Ni[Skn])-L(Skn+Ni[Skn])最大的地方，將其Skn與Ni(Skn)綜合(S20)。這是第k綜合級。之后，綜合判斷單元27通過綜合處理反復(fù)指示信號28，對標(biāo)志單元20指示標(biāo)志的更新。標(biāo)志單元20用標(biāo)志1(Skn)置換標(biāo)志1(Ni[Skn])，在鄰近區(qū)域設(shè)定單元21，對鄰近區(qū)域再設(shè)定。以此，得到新區(qū)域Sk+1n與鄰近區(qū)域Ni[Sk+1n]，求取L(Sk+1n)、L(Ni[Sk+1n]、L(Sk+1n+Ni[Sk+1n])。在沒有將DL的值組合為正的時刻，綜合判斷單元27向標(biāo)志單元20停止指示，結(jié)束綜合處理(S21)。
以上，結(jié)束了與區(qū)域的分割和綜合有關(guān)的處理，最終將表示輸入圖像1的區(qū)域分割狀態(tài)的信息3、各區(qū)域的圖像數(shù)據(jù)4、運動信息5和屬性信息6輸出到編碼單元7。之后，用規(guī)定的編碼方法進(jìn)行編碼。
在本實施例中，不只進(jìn)行分割，也進(jìn)行綜合。因此，最終，各區(qū)域能夠用各種大小的正方形塊的集合來表現(xiàn)。例如，能夠?qū)D像中運動大的被寫體綜合到與其輪廓線相近形狀的一個區(qū)中。結(jié)果，根據(jù)被寫體改變量化參數(shù)控制編碼量等，能夠與實際圖像結(jié)構(gòu)靈活地對應(yīng)。另外，在提供的編碼量的制約下，實現(xiàn)了使編碼失真最小的最佳區(qū)域分割。因而，與現(xiàn)有普通動畫圖像編碼裝置相比，容易以更小的編碼量實現(xiàn)更高的圖像質(zhì)量。
還有，在本實施例中，是用第2分割級結(jié)束初始分割，但當(dāng)然也可以在其他分割級結(jié)束。例如，在圖像整體運動小的情況下，可以在第1級結(jié)束，在相反的情況下，也可以增大級數(shù)。還有，在本實施例中，是將圖像幀作為編碼對象，但對由外接四角形所圍的矩形圖像數(shù)據(jù)等，圖像幀中的任意形狀的被寫體同樣可以應(yīng)用。
在本實施例中，對編碼單元7和暫時編碼單元22，由DCT和線性量化組合來進(jìn)行區(qū)域Skn的編碼，但也可使用其他編碼方法，如向量量化、子帶編碼、小波編碼等。也可以準(zhǔn)備多種編碼方法、選擇使用編碼效率最高的方法的結(jié)構(gòu)。
在本實施例中，作為活動度采用了預(yù)測誤差功率，但作為與此不同的例，可考慮有如下所述例。
第一例是區(qū)域內(nèi)的分散值，分散值表示區(qū)域的象素分布的復(fù)雜度，在包括邊緣等象素值急劇變化的圖像的區(qū)域，分散值變大。將區(qū)域S內(nèi)的象素值作為fs(x，y，t)，將區(qū)域S內(nèi)的象素值的平均值作為μs時，分散值σs由下面表達(dá)式給出?！脖磉_(dá)式2〕σs=1NΣs(fs(x,y,t)-μs)2]]>如果采用該活動度，則能夠根據(jù)圖像的局部結(jié)構(gòu)的復(fù)雜度分割區(qū)域，也可進(jìn)行對象素值變化劇烈的部化密編碼，對象素值變化少的部分粗編碼的控制。
第二例是區(qū)域內(nèi)的邊緣強(qiáng)度。邊緣強(qiáng)度例如能由G.Robinson的“Edge detection by compass gradient masks”(Journal of ComputerGraphics and Image Processing，Vol.6，No.5，Oct.1977)記載的Sobel運算符計算，作為邊緣上分布的象素數(shù)(邊緣分布面積)求得。在這種方法的情況下，能夠根據(jù)圖像的邊緣結(jié)構(gòu)分割區(qū)域，可進(jìn)行對存在邊緣的部分密編碼、對不存在邊緣的部分粗編碼的控制。
第三例根據(jù)區(qū)域的動補(bǔ)償預(yù)測參數(shù)的大小。動補(bǔ)償預(yù)測的結(jié)果是計算運動參數(shù)。在塊匹配法的情況下，向量V即為此。根據(jù)該方法，能夠根據(jù)圖像運動的程度分割區(qū)域，進(jìn)行對被寫體區(qū)等產(chǎn)生對運動大的部分局部地進(jìn)行密編碼、對后臺區(qū)域等不太產(chǎn)生運動的部分進(jìn)行粗編碼的控制。
第四例是基于區(qū)域動補(bǔ)償預(yù)測的運動參數(shù)的編碼量與預(yù)測誤差功率的線性和。用下面表達(dá)式定義這種情況下的評價值。
Lmc＝Dmc+λRmc(表達(dá)式2)這里，Dmc是運動參數(shù)檢測過程中計算的預(yù)測誤差功率，λ是常數(shù)，Rmc是運動參數(shù)的編碼量。計算將Lmc處理成最小的運動參數(shù)，將其時的評價值作為活動度。根據(jù)該方法，能夠?qū)^(qū)域分割為根據(jù)圖像運動的復(fù)雜度使包括信息量和運動參數(shù)的信息量的全部編碼成本小，可用少的信息量進(jìn)行區(qū)域編碼。
第五例是至此所述的活動度的值的線性和。通過適量地疊加到各活動度上，可與各種圖像相對應(yīng)。實施例2本實施例涉及將實施例1的區(qū)域分割單元2進(jìn)行部分變形的裝置。圖14是本實施例的區(qū)域分割單元2的內(nèi)部構(gòu)成圖。如圖所示，實施例2的區(qū)域分割單元2是將圖3的分割處理單元12置換成均勻分割單元15的形式。在該構(gòu)成中，如圖15所示，在初始分割處理中不進(jìn)行活動度的閾值判斷，而是無條件地均勻分割成區(qū)域的最小面積的正方形塊。也可以設(shè)定最小的區(qū)域面積。
在本實施例中不需要進(jìn)行閾值設(shè)定，只將編碼量失真成本作為評價值來進(jìn)行區(qū)域分割。因而，除不需要與閾值設(shè)定有關(guān)的手續(xù)外，還不需要計算活動度、進(jìn)行比較判斷等處理。因此，在謀求減輕與這些處理有關(guān)的計算負(fù)載時，能利用本實施例來替代實施例1。實施例3在本實施例的分割處理中，不只是活動度，還判斷是否進(jìn)行包含表示區(qū)域的重要度的指標(biāo)(下稱等級)的分割。最好對重要度高的區(qū)域進(jìn)行密編碼來減少區(qū)域面積。使重要度低的區(qū)域盡可能大，減少每一象素的編碼量。
活動度例如是在區(qū)域內(nèi)所包圍的局部統(tǒng)計量。另一方面，本實施例的等級基于橫跨區(qū)域間的圖像的特征。在本實施例中，根據(jù)起因于橫跨區(qū)域的被寫體結(jié)構(gòu)的、人注視該區(qū)域的程度即人的注視度來定義等級。例如，在某一區(qū)域的邊緣分布跨過寬范圍、人與鄰近區(qū)域的連接強(qiáng)時，該區(qū)域位于某一被寫體邊界的可能性變高。
圖16是本實施例的分割處理單元12的內(nèi)部構(gòu)成圖。此外的結(jié)構(gòu)和實施例1相同，主要說明與實施例1不同的部分。圖中，29是等級識別單元，30是等級，31是分割判斷單元。圖17是表示圖16所示分割處理單元12的動作的流程圖。
如圖17所示，首先進(jìn)行均勻分割(S26)。之后，在等級識別單元29確定各區(qū)域的等級30(S27)。等級識別單元29評價區(qū)域內(nèi)分散的大小α、區(qū)域內(nèi)邊緣分布狀態(tài)β(包括邊緣方向、分布面積等)、邊緣與鄰近區(qū)域的連接性γ，確定等級。例如，將區(qū)域內(nèi)分散α比規(guī)定值還小的區(qū)域作為低等級(等級C)，對α大的區(qū)域進(jìn)一步計算區(qū)域內(nèi)邊緣分布β。β的定量化能夠例如由上述Sobel運算符等進(jìn)行。在β比規(guī)定值小的情況下，將該區(qū)域視為具有比被寫體邊界更獨立的邊緣的小區(qū)域，作為中等程度的等級(等級B)。β增大某一程度時，評價連接性γ，γ大時，分類為最重要等級(等級A)。
等級分類后，在活動度計算單元16中，計算活動度17，在分割判斷單元31中，首先進(jìn)行與活動度有關(guān)的閾值判斷(S28)。這里，對判斷為應(yīng)分割的區(qū)域，根據(jù)等級30判斷是否允許分割(S29)。因此，分割判斷單元31可以將各等級的區(qū)域分割成某一程度大小的區(qū)域，或具有預(yù)定的標(biāo)準(zhǔn)。如果允許與等級有關(guān)的分割，就分割該區(qū)域(S30)。對全部區(qū)域進(jìn)行該分割處理，進(jìn)一步分割，對新生成的區(qū)域，也進(jìn)行相同的分割處理(S33～S38)。
根據(jù)本實施例，能夠考慮跨過多個區(qū)的圖像的特征、特別是被寫體的輪廓線進(jìn)行圖像編碼。對注視度低的區(qū)域進(jìn)行粗編碼，減少信息量，可進(jìn)行將該部分充作注視度高的區(qū)域的信息量的控制。實施例4在實施例3中，在等級確定中使用人的注視度。在本實施例中、使用圖像的特征量。在本實施例中，應(yīng)保持某已知圖像的特征量，根據(jù)它和由各區(qū)域計算的特征量的一致程度來確定等級。
例如，至今已對人臉圖像進(jìn)行了許多研究，提案了用特征量將臉的結(jié)構(gòu)數(shù)值化的種種方法。若保持該特征量，則能夠從圖像中檢測出人臉(概括地講，重要度高)。還有，對其他被寫體，能夠根據(jù)亮度和紋理信息利用特征量進(jìn)行描述的情況也很多。如果鮮明地表現(xiàn)人臉的話，則將具有與人臉特征量相符合的特征量的區(qū)域作為最重要等級A，將此外的區(qū)域作為普通重要度等級B等等。
圖18是本實施例的等級識別單元29的結(jié)構(gòu)圖。其他部分和實施例3相同。圖18中，32是特征量存儲器，33是特征一致度計算單元，34是等級確定單元。
將與被寫體有關(guān)的特征量按等級分類后，按照被寫體保持在特征量存儲器32中。特征一致度計算單元33分別計算輸入圖像1與按各等級分類的被寫體的特征量的一致度。一致度例如作為輸入圖像1的特征量和特征量存儲器32中的特征量的誤差而求得。接著，等級確定單元34檢測一致度最高的被寫體，將該區(qū)域分類為該被寫體所屬的等級。
以上，根據(jù)本實施例，可以說，可利用圖像的特征量進(jìn)行被寫體的識別或檢測。而且，能夠?qū)λ璧谋粚戵w提高圖像質(zhì)量?？梢园凑张c人的注視度有關(guān)的特征量進(jìn)行被寫體的分級等，在這種情況下，可以考慮人對圖像的視覺特性進(jìn)行編碼。實施例5在實施例1中，在綜合處理時考慮編碼失真。在本實施例中，在分割處理階段考慮編碼失真。
圖20是本實施例的分割處理單元12的內(nèi)部構(gòu)成圖。圖中，35是分割判斷單元，36是分割處理反復(fù)指示信號。圖21是表示圖20的分割處理單元12的動作的流程圖。
本實施例的分割處理單元12使用在實施例1導(dǎo)入的表達(dá)式1。利用該表達(dá)式，在使幀內(nèi)的L(Skn)的總和減少的方向進(jìn)行初始分割處理，能夠減少使用相同編碼量時的編碼失真。
如圖21所示，首先在均勻分割單元15中，例如如圖6的狀態(tài)那樣進(jìn)行均勻塊分割(S39)。這相當(dāng)于第0分割級。將這時所得的塊數(shù)記為N0，將各塊記為Bon(1≤n≤Bon)。對各Bon，判斷是否進(jìn)一步進(jìn)行塊分割。將與Bon有關(guān)的L(Bon)和將Bon分割成四份所得的各子塊SBon(i)(1≤i≤4)有關(guān)的L(SBon)的總和進(jìn)行比較，如果后者小就允許分割。
每當(dāng)計算編碼量失真成本時，就首先在暫時編碼單元22中進(jìn)行Bon和SBon(i)的編碼。接著，在解碼單元23中，由暫時編碼單元22所得的編碼數(shù)據(jù)生成Bon和SBon(i)的局部解碼圖像。接著，在編碼失真計算單元24計算局部解碼圖像與原圖像間的失真D(Bon)、D(SBon(i))。評價值計算單元25根據(jù)編碼量R(Bon)、R(SBon(i))、編碼失真D(Bon)、D(SBon(i))計算L(Bon)、L(SBon(i))(S40、S41)。
分割判斷單元35將L(Bon)和四個子塊L(SBon(i)(i＝1，2，3，4)的總和進(jìn)行比較(S42)，如果后者小，就將Bon分割成四個SBon(i)(S43)。這相當(dāng)于第1分割級。將作為SBon分割的塊新記為B1n(1≤n≤N1)，對B1n進(jìn)行同樣的分割判斷(S46～S51)。下面，進(jìn)行規(guī)定次數(shù)的同樣的分割處理。最終，例如實現(xiàn)圖8所示的分割狀態(tài)。
以上，由于在本實施例中不進(jìn)行與活動度有關(guān)的運算，故在重視降低運算量的情況下特別有用。實施例6說明實施例1的圖9所示的綜合處理單元14的其他例。圖22是本實施例的綜合處理單元14的內(nèi)部構(gòu)成圖。圖中，37是量化參數(shù)設(shè)定單元，38是量化參數(shù)，39是暫時編碼單元。該綜合處理單元14的動作基本上和圖10相同，僅S19不同。
圖23是表示相當(dāng)于S19的評價值計算的處理的流程圖。評價值計算由暫時編碼單元39、解碼單元23、編碼失真計算單元24和評價值計算單元25來進(jìn)行。
首先，在量化參數(shù)設(shè)定單元37中設(shè)定初始參數(shù)值，輸出到暫時編碼單元39(S52)。接著，在暫時編碼單元39中進(jìn)行區(qū)域Skn的編碼(S53)。編碼時，使用設(shè)定的量化參數(shù)進(jìn)行量化。
在解碼單元23，從這樣得到的編碼數(shù)據(jù)生成Skn的局部解碼圖像(S54)。接著，由編碼失真計算單元24計算局部解碼圖像與原圖像間的失真D(Skn)(S55)。評價值計算單元25根據(jù)編碼量R(Skn)和編碼失真D(Sdn)計算L(Skn)(S56)。將最初計算所得的成本值作為Lmin保持，之后，改變量化參數(shù)，進(jìn)行同樣的成本計算。通過改變量化參數(shù)，由于編碼量和失真的平衡發(fā)生變化，所以，采用使編碼量失真成本最小時的參數(shù)，作為最終的區(qū)域Skn的編碼量失真成本L(Skn)(S57～S60)。以下的處理和實施例1相同。
根據(jù)本實施例，考慮量化參數(shù)來實現(xiàn)最佳綜合處理。并且，加入量化參數(shù)的方法也能夠應(yīng)用于根據(jù)實施例5所述的編碼量失真成本的分割處理。實施例7在本實施例中，進(jìn)一步說明實施例6的其他例。圖24是本實施例的綜合處理單元14的內(nèi)部構(gòu)成圖。圖中，40是動補(bǔ)償預(yù)測成本計算單元，41是動補(bǔ)償預(yù)測成本，42是暫時編碼單元。
暫時編碼單元42使用基于動補(bǔ)償預(yù)測的編碼確定運動參數(shù)。這時，使用實施例1所述的動補(bǔ)償預(yù)測成本(式2)。即，確定暫時編碼時的運動參數(shù)，以便通過動補(bǔ)償實現(xiàn)使匹配失真和運動參數(shù)的編碼量平衡，成本最低。具體地說，在利用暫時編碼單元42的編碼中，根據(jù)動補(bǔ)償預(yù)測成本計算單元40計算的成本值確定運動參數(shù)。以下的處理和實施例6相同。
根據(jù)本實施例，邊由給定的常數(shù)λ使從動補(bǔ)償?shù)骄幋a間的編碼量失真成本最小化，邊可確定區(qū)域形狀。結(jié)果，能夠由規(guī)定的編碼量降低編碼失真。實施例8在本實施例中，說明將由至此所述的各種動畫圖像編碼裝置生成的編碼位流解碼的動畫圖像解碼裝置。圖25示出了解碼裝置的構(gòu)成。圖中，43是位流解析單元，44是區(qū)域形狀解碼單元，45是屬性信息解碼單元，46是圖像數(shù)據(jù)解碼單元，47是運動信息解碼單元，48是運動參數(shù)，49是動補(bǔ)償單元，50是預(yù)測圖像，51是圖像恢復(fù)單元，52是外部存儲器，53是再生圖像。
該解碼裝置解碼包括表示與圖像幀或圖像幀中的部分圖像(下稱“圖像幀等”)有關(guān)的區(qū)域分割狀態(tài)的區(qū)域形狀信息、利用規(guī)定的方法編碼的各區(qū)域的圖像數(shù)據(jù)、各區(qū)域的屬性信息和各區(qū)域的運動信息的編碼位流，恢復(fù)區(qū)域圖像，再生圖像幀等。
本實施例的情況，由于在編碼過程中產(chǎn)生正方形以外的區(qū)域，所以，區(qū)域形狀信息的描述方法和先有一般的方法不同。在本實施例采用的方法有(i)寫明各區(qū)域的頂點坐標(biāo)，(ii)寫明在編碼時對區(qū)域進(jìn)行分割及綜合時的處理過程等。在方法(ii)的情況下，例如對任意的i、j，描述在第i分割級分割的區(qū)域的編號及在第j綜合級綜合的區(qū)域的編號。在解碼裝置中，與編碼裝置相同，首先進(jìn)行如圖6所示的第0分割級，以后，能夠按照與編碼裝置完全相同的順序恢復(fù)最終的分割狀態(tài)。在方法(ii)的情況下，數(shù)據(jù)量一般比直接描述坐標(biāo)數(shù)據(jù)還少。
圖26是表示解碼裝置的動作的流程圖。首先把編碼位流11輸入到位流解析單元43，進(jìn)行從位串向編碼數(shù)據(jù)的變換(S61)。在編碼數(shù)據(jù)中，在區(qū)域形狀解碼單元44中將碼區(qū)域形狀信息解碼，用上述方法恢復(fù)圖像幀等的區(qū)域分割狀態(tài)(S62)。通過恢復(fù)區(qū)域，確定在下面的位流中編碼的區(qū)域信息的編碼順序。將各區(qū)域作為Sn。
接著，按照編碼順序，從位流依次解碼各區(qū)域的數(shù)據(jù)。首先，由屬性信息解碼單元45解碼區(qū)域Sn的屬性信息，解碼區(qū)域的編碼方式信息等(S63)。這里，如果是內(nèi)部方式(幀間編碼方式)，即如果是預(yù)測誤差信號編碼的方式(S64)，就在運動信息解碼單元47中解碼運動參數(shù)48(S65)。將運動參數(shù)48送到動補(bǔ)償單元49。動補(bǔ)償單元49據(jù)此計算相當(dāng)于外部存儲器52中存儲的參考圖像中的預(yù)測圖像的存儲器地址，從外部存儲器52中取出預(yù)測圖像50(S66)。接著，在圖像數(shù)據(jù)46中解碼區(qū)域Sn的圖像數(shù)據(jù)(S67)。在內(nèi)部方式時，通過將解碼的圖像數(shù)據(jù)和預(yù)測圖像50相加，得到最終的區(qū)域Sn的再生圖像。
另一方面，在內(nèi)部方式(幀內(nèi)編碼方式)的情況下，將解碼的圖像數(shù)據(jù)仍舊作為最終的區(qū)域Sn的再生圖像53。Sn再生圖像作為以后預(yù)測圖像生成的參考圖像使用，所以，寫入外部存儲器52。在圖像恢復(fù)單元51進(jìn)行這些判斷和再生圖像的恢復(fù)(S68)。
在對圖像幀等所含的整個區(qū)域進(jìn)行的時刻結(jié)束一連串的處理。對之后的其他圖像幀等，也可進(jìn)行相同的處理。
根據(jù)本發(fā)明的動畫圖像編碼方法，由于不僅進(jìn)行區(qū)域分割，還可進(jìn)行區(qū)域綜合，所以，實現(xiàn)了可與圖像結(jié)構(gòu)靈活對應(yīng)的編碼。
在使用與不分割區(qū)域時的編碼好壞的比較結(jié)果相關(guān)連的可否分割的判斷標(biāo)準(zhǔn)的情況下，能夠在良好編碼的方向上可靠進(jìn)行所需的分割。
在使用與不綜合區(qū)域時的編碼好壞的比較結(jié)果相關(guān)連的可否綜合的判斷標(biāo)準(zhǔn)的情況下，能夠在良好編碼的方向上可靠進(jìn)行所需的綜合。
另一方面，本發(fā)明的動畫圖像編碼裝置包括區(qū)域分割單元和編碼單元，區(qū)域分割單元包括分割處理單元和綜合處理單元。結(jié)果，由于不但進(jìn)行區(qū)域分割，而且可進(jìn)行綜合，所以，實現(xiàn)了與圖像結(jié)構(gòu)靈活對應(yīng)的編碼。
在綜合處理單元包括暫時編碼單元、解碼單元、編碼失真計算單元、評價值計算單元的情況下，在提供的編碼量制約下，能夠使編碼的失真最小化。
在分割處理單元作為活動度使用預(yù)測誤差功率的情況下，能夠進(jìn)一步分割預(yù)測誤差大的區(qū)域，即一般說來運動大的區(qū)域。
在分割處理單元作為活動度使用各區(qū)域的原信號的邊緣強(qiáng)度的情況下，能夠獲得與圖像的邊緣結(jié)構(gòu)對應(yīng)的區(qū)域形狀，能夠?qū)⒈粚戵w的輪廓部分等、容易受主觀圖像質(zhì)量影響的區(qū)域進(jìn)一步分割。
在分割處理單元作為活動度使用表示圖像特性和的多個數(shù)值的線性的情況下，能夠根據(jù)多個觀點或標(biāo)準(zhǔn)進(jìn)一步分割區(qū)域。
還有，若上述多個數(shù)值包括伴隨動補(bǔ)償預(yù)測的各區(qū)域的運動參數(shù)的編碼量與預(yù)測誤差功率，則能夠進(jìn)行區(qū)域分割，以便使包括圖像運動的復(fù)雜度的信息量和運動參數(shù)的信息量的標(biāo)題的編碼成本減少，如果是同等的失真，則能夠以少的信息量進(jìn)行編碼。
還有，若上述多個數(shù)值包括各區(qū)域的運動參數(shù)的編碼量、伴隨動補(bǔ)償?shù)念A(yù)測誤差功率、原信號的分散值、邊緣強(qiáng)度及各區(qū)域的運動參數(shù)的大小，則得到了綜合考慮各種標(biāo)準(zhǔn)的最佳區(qū)域形狀。
在分割處理單元包括等級識別單元的情況下，增加區(qū)域重要度進(jìn)行分割就變得容易。
標(biāo)志識別單元在注視跨過多個區(qū)域的被寫體結(jié)構(gòu)的情況下，容易進(jìn)行適合被寫體的形狀的區(qū)域分割。
還有，若被寫體結(jié)構(gòu)根據(jù)區(qū)域的原信號分散、邊緣強(qiáng)度及鄰近區(qū)域的邊緣的連接程度進(jìn)行判斷，則能夠得到與原圖像信號的復(fù)雜度和被寫體結(jié)構(gòu)相適應(yīng)的區(qū)域形狀。特別是，能夠?qū)⑴c被寫體的輪廓結(jié)構(gòu)有關(guān)的區(qū)域進(jìn)行詳細(xì)分割。
在注視圖像的特征量的情況下，等級識別單元容易將區(qū)域例如因人臉等被寫體不同而進(jìn)行詳細(xì)分割。因而，能夠獲得與人的注視度等相對應(yīng)的特定模式和與具有圖案的圖像區(qū)域的重要度等相對應(yīng)的區(qū)域形狀。
此時，若按照依被寫體保持的圖像的特征量和實際圖像的特征量的一致度確定各區(qū)域的級別，被寫體的識別率提高，實現(xiàn)更可靠地區(qū)域分割。
在分割處理單元包括暫時編碼單元、解碼單元、編碼失真計算單元、評價值計算單元的情況下，能夠在給出的編碼量的制約下，使編碼失真最小。
在評價值計算單元邊改變量化參數(shù)邊計算評價值的情況下，能夠同時實現(xiàn)區(qū)域編碼中的量化參數(shù)的最佳化和區(qū)域形狀的最佳化，能夠提高編碼效率。
在暫時編碼單元的前級設(shè)置將伴隨動補(bǔ)償預(yù)測的各區(qū)域的運動參數(shù)的編碼量和預(yù)測誤差功率的線性和作為評價值而計算的評價值計算單元，能夠邊選擇使編碼成本最小的運動參數(shù)邊使區(qū)域分割最佳，能夠進(jìn)行使包括量化參數(shù)最佳的區(qū)域的總編碼成本降低的區(qū)域分割。
另一方面，由于本發(fā)明的動畫圖像解碼裝置包括區(qū)域形狀解碼單元和圖像數(shù)據(jù)解碼單元，所以，即使在編碼裝置生成各種形狀的區(qū)域也能夠?qū)?yīng)。因而，與本發(fā)明的動畫圖像編碼裝置的組合變得容易。
在區(qū)域形狀信息包括與在編碼時分割及綜合區(qū)域時的處理過程有關(guān)的信息時，可以少量的信息量恢復(fù)區(qū)域形狀。
權(quán)利要求
1.一種動畫圖像編碼方法，其特征在于，包括根據(jù)規(guī)定的是否可分割的判斷標(biāo)準(zhǔn)，將輸入圖像分割成多個區(qū)域的步驟；對分割的多個區(qū)域，分別根據(jù)規(guī)定的是否可綜合的判斷標(biāo)準(zhǔn)來將該區(qū)域與其鄰近區(qū)域進(jìn)行綜合的步驟；在綜合后分別對所剩的區(qū)域進(jìn)行圖像信號編碼的步驟。
2.權(quán)利要求1記載的動畫圖像編碼方法，其特征在于對某一區(qū)域，上述是否可分割的判斷標(biāo)準(zhǔn)與分割該區(qū)域時和不分割該區(qū)域時的編碼好壞的比較結(jié)果相關(guān)連。
3.權(quán)利要求1或2記載的動畫圖像編碼方法，其特征在于對某一區(qū)域，上述是否可綜合判斷標(biāo)準(zhǔn)與將該區(qū)域與其鄰近區(qū)域綜合和不將該區(qū)域與其鄰近區(qū)域綜合時的編碼好壞的比較結(jié)果相關(guān)連。
4.一種動畫圖像編碼裝置，其特征在于，包括區(qū)域分割單元和編碼單元；區(qū)域分割單元包括分割處理單元及綜合處理單元，分割處理單元根據(jù)規(guī)定的是否可分割的判斷標(biāo)準(zhǔn)將輸入圖像分割成多個區(qū)域，綜合處理單元根據(jù)規(guī)定的是否可綜合的判斷標(biāo)準(zhǔn)對由分割處理單元分割的多個區(qū)域進(jìn)行該區(qū)域與其鄰近區(qū)域的綜合；編碼單元對由綜合處理單元綜合后所剩的各區(qū)域進(jìn)行圖像信號的編碼。
5.權(quán)利要求4記載的動畫圖像編碼裝置，其特征在于上述綜合處理單元包括暫時編碼單元、解碼單元、編碼失真計算單元和評價值計算單元，暫時編碼單元對每一區(qū)域?qū)D像進(jìn)行預(yù)編碼，解碼單元對由暫時編碼單元編碼的圖像進(jìn)行解碼，編碼失真計算單元使用在解碼單元解碼的圖像計算編碼失真，評價值計算單元邊考慮編碼量和編碼失真，邊計算用于判斷編碼好壞的評價值；對各區(qū)域，根據(jù)與鄰近區(qū)域綜合時所得的評價值與不綜合時所得的評價值的比較結(jié)果來確定區(qū)域是否可綜合。
6.權(quán)利要求4記載的動畫圖像編碼裝置，其特征在于上述分割處理單元包括活動度計算單元和分割判斷單元，活動度計算單元將伴隨各區(qū)域的動補(bǔ)償預(yù)測的預(yù)測誤差功率作為該區(qū)域的活動度計算，分割判斷單元將計算的活動度同預(yù)設(shè)定的標(biāo)準(zhǔn)值進(jìn)行比較；比較的結(jié)果，活動度大于標(biāo)準(zhǔn)值時，將該區(qū)域進(jìn)一步分割成小的區(qū)域。
7.權(quán)利要求4記載的動畫圖像編碼裝置，其特征在于上述分割處理單元包括活動度計算單元和分割判斷單元，活動度計算單元計算各區(qū)域的原信號的邊緣強(qiáng)度，將其作為該區(qū)域的活動度，分割判斷單元將計算的活動度同預(yù)設(shè)定的標(biāo)準(zhǔn)值進(jìn)行比較；比較的結(jié)果，活動度大于標(biāo)準(zhǔn)值時，將該區(qū)域進(jìn)一步分割成小的區(qū)域。
8.權(quán)利要求4記載的動畫圖像編碼裝置，其特征在于上述分割處理單元包括活動度計算單元和分割判斷單元，活動度計算單元對各區(qū)域計算表示該區(qū)域圖像特性的多個數(shù)值的線性和，將其作為該區(qū)域的活動度，分割判斷單元將計算的活動度同預(yù)設(shè)定的標(biāo)準(zhǔn)值進(jìn)行比較；比較的結(jié)果，活動度大于標(biāo)準(zhǔn)值時，將該區(qū)域進(jìn)一步分割成更小的區(qū)域。
9.權(quán)利要求6～8任一記載的動畫圖像編碼裝置，其特征在于上述分割處理單元進(jìn)一步包括作為等級確定各區(qū)域的重要度的等級識別單元，從上述活動度和等級兩方面判斷各區(qū)域是否可分割。
10.權(quán)利要求9記載的動畫圖像編碼裝置，其特征在于上述等級識別部單元注視跨過多個區(qū)域的被寫體結(jié)構(gòu)，確定各區(qū)域的等級。
11.權(quán)利要求9記載的動畫圖像編碼裝置，其特征在于上述等級識別單元注視圖像的特征量，進(jìn)行被寫體的檢測，按照該結(jié)果確定各區(qū)域的等級。
12.權(quán)利要求4記載的動畫圖像編碼裝置，其特征在于上述分割處理單元包括暫時編碼單元、解碼單元、編碼失真計算單元和評價值計算單元，暫時編碼單元對每一區(qū)域?qū)D像進(jìn)行預(yù)編碼，同時計算其編碼量，解碼單元對由暫時編碼單元編碼的圖像進(jìn)行解碼，編碼失真計算單元使用解碼單元解碼的圖像計算編碼失真，評價值計算單元邊考慮編碼量和編碼失真，邊計算判斷編碼好壞的評價值；對各區(qū)域，根據(jù)將其分割為更小區(qū)域時所得的評價值與不分割時的評價值的比較結(jié)果，確定區(qū)域是否可分割。
13.權(quán)利要求5或12記載的動畫圖像編碼裝置，其特征在于伴隨動補(bǔ)償預(yù)測的預(yù)測誤差信號的量化參數(shù)在上述暫時編碼單元中設(shè)定為可變，上述評價值計算單元邊改變量化參數(shù)，邊計算評價值。
14.一種動畫圖像解碼裝置，在將分割給多個區(qū)域后編碼的圖像的編碼數(shù)據(jù)輸入后進(jìn)行解碼，其特征在于包括區(qū)域形狀解碼單元和圖像數(shù)據(jù)解碼單元，區(qū)域形狀解碼單元根據(jù)編碼數(shù)據(jù)中所含的區(qū)域形狀信息，對編碼時分割的各區(qū)域的形狀進(jìn)行解碼，圖像數(shù)據(jù)解碼單元根據(jù)解碼的各區(qū)域的形狀來確定區(qū)域編碼的順序，從編碼數(shù)據(jù)進(jìn)行各區(qū)域的圖像的解碼。
15.權(quán)利要求14記載的動畫圖像解碼裝置，其特征在于上述區(qū)域形狀信息包括與編碼時的區(qū)域分割及綜合時的處理過程有關(guān)的信息，上述區(qū)域形狀解碼單元通過根據(jù)該信息再現(xiàn)與編碼裝置相同的處理來掌握區(qū)域的分割狀態(tài)。
全文摘要
一種動畫圖像編碼裝置,具有:區(qū)域分割單元1、編碼單元7及用于動補(bǔ)償預(yù)測的存儲器9。區(qū)域分割單元1包括分割處理單元和綜合處理單元。分割處理單元根據(jù)與可否分割有關(guān)的標(biāo)準(zhǔn)來分割輸入圖像。綜合處理單元根據(jù)與可否綜合有關(guān)的標(biāo)準(zhǔn)來相互綜合鄰近區(qū)域。然后,進(jìn)行各區(qū)域編碼。依據(jù)綜合處理,區(qū)域的形狀富有多樣性。
文檔編號G06T9/20GK1197250SQ9810523
公開日1998年10月28日 申請日期1998年2月26日 優(yōu)先權(quán)日1997年4月24日
發(fā)明者關(guān)口俊一, 井須芳美, 淺井光太郎 申請人:三菱電機(jī)株式會社