專利名稱：運動圖象編碼方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一運動圖象編碼系統(tǒng)，更具體地涉及利用變換編碼技術(shù)的運動圖象編碼方法及其裝置。本申請以韓國申請No.59425/1995為基礎(chǔ)，并將其納入本文作為參考。
已有很多方法對運動圖象進行編碼，在這些方法中每一幀運動圖象被分成很多四邊形對象，運動被每一四邊形對象單元跟蹤，并利用圖象扭曲(warping)來實現(xiàn)運動補償。這些方法以下列題目發(fā)表的“一種采用數(shù)字圖象扭曲并基于臨時預(yù)測的視頻編碼圖(A Novel Video Coding Scheme Based onTemporal Prediction using Digital Image Warping)”(J.Neiweglowski，G.Gambell，and P.Haavisto，pp.14 1-150，IEEE Trans.on Consumer Electronics，August，1993)(文件1)和“活動網(wǎng)格-一種搜索和跟蹤圖象順序代表圖的特性(ActiveMesh-A Feature Seeking and Tracking Image Sequence RepresentationSeheme)”(Y.Wang and O.Lee，pp.610-624.IEEE Trans.on Image ProcessingSeptember，1994)(文件2)。
這些方法的基本結(jié)構(gòu)示于

圖1中。
一初始網(wǎng)格發(fā)生器2將一運動圖象的每一幀分成很多正方形初始網(wǎng)格(或?qū)ο?。一對象變換器4將該初始正方形對象變換成任意四邊形。一運動跟蹤器6用作跟蹤由對象變換器4產(chǎn)生的該任意四邊形對象每一個角相對于時間軸的運動。一運動補償和幀預(yù)測器8在假設(shè)的運動矢量基礎(chǔ)上通過圖象扭曲由前一幀預(yù)測一當(dāng)前幀。一預(yù)測誤差編碼器10用來得到由運動補償和幀預(yù)測器8預(yù)測的幀和當(dāng)前幀之前的誤差并按照該誤差去編碼一誤差信號。
現(xiàn)在參照圖1結(jié)構(gòu)來說明該運動圖象編碼方法。
這里指出根據(jù)運動圖象輸入的一時間序列要進行當(dāng)前編碼的輸入幀稱作當(dāng)前幀而與該當(dāng)前幀正好相鄰的幀稱作前一幀。該前一幀意味著是一已完成編碼和解碼并已存在于編碼器的和解碼器的幀。
當(dāng)一當(dāng)前待編碼的當(dāng)前幀輸入時，已解碼的前一幀在初始網(wǎng)格發(fā)生器2內(nèi)被分成具有N×N大小的初始正方形對象(或網(wǎng)格)。該初始正方形對象由圖2A所示的四個角來表示，并且表示該正方形對象的每一個角的位置按每一幀的空間或時間復(fù)雜性被遷移。在各個角被遷移時在每一個角的每一位置上的一象素值的空間和時間變化率用以確定該個角的運動的程度和定位。該正方形對象通過代表正方形對象的每一個角的位置的遷移被變換成一任意四邊形，如圖2B所示。相對于對象變換器4產(chǎn)生的任意正方形對象，該正方形對象每一個角在時間軸上的運動被運動跟蹤器6跟蹤。為了跟蹤每一個角的運動矢量，有利用象素值的空間和時間變化率的跟蹤方法和利用一修正的一般模塊匹配技術(shù)的跟蹤方法。該運動矢量在一范圍內(nèi)被跟蹤，其中由該運動矢量變換的正方形形狀不破壞方形的基本結(jié)構(gòu)。當(dāng)該正方形對象的每一個角的運動矢量在該運動跟蹤器6內(nèi)被跟蹤時，該當(dāng)前幀由前一幀通過在該運動補償和幀預(yù)測器8內(nèi)的圖象扭曲而得到預(yù)測。該圖象扭曲是通過利用文件2建議的線性內(nèi)插以及利用文件1建議的在將四邊形分成兩個三角形后仿射(affine)變換的方法來進行的。
通過得到當(dāng)前幀與前一幀的每一四邊形各個角的運動矢量所預(yù)測得的幀之間的差這一過程，在預(yù)測誤差所形成一誤差幀后在該預(yù)測誤差編碼器10內(nèi)對一誤差信號進行編碼。為了將該誤差幀編碼，每一誤差幀被分成具有K×K大小的很多規(guī)則的正方形塊并且自適應(yīng)地利用一諸如離散余弦變換(DCT)的變換編碼技術(shù)按照誤差的程度對該塊進行編碼。
在利用上述的現(xiàn)有圖象扭曲技術(shù)的運動圖象編碼技術(shù)中，該前一幀被分成很多四邊形對象并且相對于每一正方形各角的運動矢量利用跟蹤和扭曲作運動補償。這樣，為運動補償形成的預(yù)測幀通過任意四邊形對象來表示而該預(yù)測誤差也是由一任意四邊形對象(或塊)單元來形成的。在現(xiàn)有技術(shù)中該預(yù)測誤差幀是在前一幀的面積上形成的，而預(yù)測誤差是將預(yù)測誤差幀再次分成規(guī)則的正方形對象來利用諸如DCT的變換編碼技術(shù)而進行編碼的。然而，在采用扭曲來預(yù)測的情況下，由于每一任意四邊形對象呈現(xiàn)它獨立的特性，因此將預(yù)測誤差幀再次分成規(guī)則正方形對象的現(xiàn)有預(yù)測誤差編碼方法不能反映預(yù)測誤差的這種特性。相應(yīng)地，現(xiàn)有技術(shù)的編碼方法在預(yù)測誤差編碼中的效率很低。
在利用圖象扭曲或活動網(wǎng)格的運動圖象編碼算法中，按照運動預(yù)測和補償?shù)念A(yù)測誤差具有與四邊形對象無關(guān)的特性。由于本發(fā)明能獨立地編碼一四邊形對象，因此編碼效率得到改進，從而在與現(xiàn)有技術(shù)的編碼算法有同樣的比特率下提供優(yōu)良的運動圖象質(zhì)量。
為了克服上述問題，本發(fā)明的一目的是提供一種改進預(yù)測誤差編碼效率的運動圖象編碼方法及其裝置。
本發(fā)明的另一目的是提供一方法將以任意四邊形形式表示的一對象變換成一規(guī)則正方形對象并對于變換后的規(guī)則正方形利用一般的變換編碼算法對該對象進行編碼。
根據(jù)本發(fā)明的其他目的可以由一運動圖象編碼方法來實現(xiàn)，該運動圖象編碼方法的包括步驟為(a)將所述運動圖象的前一幀分成任意的四邊形對象；(b)由每一四邊形對象單元通過運動跟蹤和預(yù)測得到一預(yù)測誤差；(c)將根據(jù)步驟(b)的每一四邊形的單元所代表的所述預(yù)測誤差轉(zhuǎn)成一具有K×K大小，其中K為一整數(shù)的規(guī)則正方形對象，由此來對每一四邊形對象獨立地編碼。
參照下列詳細說明和附圖本發(fā)明及其附帶的諸優(yōu)點的更完整的評價將顯而易見并變得更好理解，附圖中同樣的符號表示同一或相似部分，其中圖1是運動圖象編碼的現(xiàn)有技術(shù)的方塊圖；圖2A和2B是展示現(xiàn)有技術(shù)的四邊形對象空間變換的圖；圖3是為運動圖象編碼的本發(fā)明的方塊圖；圖4是展示按照本發(fā)明從一具有一預(yù)測誤差的任意四邊形對象變換成一規(guī)則正方形對象的過程的圖。
圖3中由虛線方框指示的一初始網(wǎng)格發(fā)生器2、一對象變換器4、一運動跟蹤器6和一運動補償和幀預(yù)測器8是與現(xiàn)有技術(shù)中相同的各部件。然而在本發(fā)明中加入了一預(yù)測誤差形成單元20和一對象重新形成單元22。該預(yù)測誤差形成單元20用以由形成一預(yù)測對象的一四邊形單元來計算一預(yù)測誤差并用以產(chǎn)生四邊形形式的一預(yù)測誤差信號。該對象重新形成單元22用以將任意四邊形形式的預(yù)測誤差信號重新形成為一規(guī)則正方形形式的預(yù)測誤差信號。一預(yù)測誤差編碼器24用以將在對象重新形成單元22中變換后的規(guī)則正方形形式的預(yù)測誤差信號利用變換編碼方法進行編碼。
現(xiàn)在來詳細說明具有如此結(jié)構(gòu)的本發(fā)明的工作情況。
編碼后的前一幀在初始網(wǎng)格發(fā)生器2內(nèi)被分成規(guī)則正方形形式的初始網(wǎng)格(或?qū)ο?。該初始正方形網(wǎng)格在對象變換單元4內(nèi)被變換成任意四邊形。相對于由對象變換單元4產(chǎn)生的任意四邊形對象的每一四邊形對象沿時間軸上的運動被跟蹤。根據(jù)在該運動補償和幀預(yù)測器8中所跟蹤的運動矢量由該前一幀的該四邊形對象通過圖象扭曲而形成一預(yù)測對象。
該預(yù)測誤差形成單元20由每一四邊形為單元產(chǎn)生預(yù)測誤差信號。即該預(yù)測誤差存在于該任意四邊形對象內(nèi)而該對象重新形成單元22將限于四邊形形式的該預(yù)測誤差信號轉(zhuǎn)換到具有K×K大小的規(guī)則正方形對象內(nèi)。
對象重新形成單元22的工作過程參照圖4來詳細說明。
在圖4中相對于限于任意矩形形式的預(yù)測誤差，假設(shè)該四邊形對象各個角的坐標(biāo)為P1，P2，P3和P4，各個角通過一對象重新形成算法被映射成為規(guī)則正方形對象的各個角
和
。根據(jù)上述映射規(guī)則，位于四邊形對象內(nèi)的所有各個點被轉(zhuǎn)換成位于規(guī)則正方形對象內(nèi)的各點。轉(zhuǎn)換是由該對象重新形成算法來完成的，由該對象重新形成算法可將一任意四邊形對象轉(zhuǎn)換成一規(guī)則正方形對象。
在說明該算法前，定義圖4的四邊形對象的各坐標(biāo)如下。
該四邊形對象的各個角的空間位置定義為P1＝(x1，y1)，P2＝(x2，y2)，P3＝(x3，y3)和P4＝(x4，y4)(這里P1表示四個角中最左邊的一個點)。具有K×K大小的規(guī)則正方形對象各個角的空間位置定義為
(x3，y3)和
。該對象的各個角依次連接形成一封閉周線。在規(guī)則正方形中，
表示左上端的點，
表示右上端的點，
為右下端點而
為左下端點。
該對象重新形成算法由下列四個步驟組成。
<第一步，設(shè)置起始點>
該四邊形對象各個角中最左面的角P1被選來設(shè)置為規(guī)則正方形對象的起始點
<第二步，映射四邊形對象的各個角>
在該起始點
有兩個相鄰角
和
比較各個鄰角在y方向上的位置在y方向上有較大值的相鄰角被映射到
而在y方向上有最小值的相鄰點被映射到
。在起始點P1對角位置上的四邊形對象的角自動地被映射成
<第三步，在四邊形對象各個角上計算變換矢量>
在第三步驟中四邊形對象各個角的映射被確定時，一指示映射程度的變換矢量di被計算如下
i＝1，2，3，4<第四步，內(nèi)插>
位于四邊形對象內(nèi)各個點的變換矢量利用該四邊形對象各個角的變換矢量由線性內(nèi)插來確定。
于是當(dāng)通過這樣的對象重新形成算法以將一四邊形對象映射成一規(guī)則正方形對象的變換矢量被確定時該四邊形對象內(nèi)的各個點都被移入該規(guī)則正方形內(nèi)。相應(yīng)地該規(guī)則正方形內(nèi)每一點的誤差信號值可以由線性內(nèi)插方法確定。
于是在該預(yù)測誤差編碼器24內(nèi)，限于規(guī)則正方形對象的該誤差信號利用K×K的兩維DCT進行變換以進行編碼。利用兩維DCT的編碼方法將K×K的誤差信號進行變換而DCT的系數(shù)在變換域內(nèi)被量化并且采用一可變長度編碼技術(shù)進行編碼。
在解碼器中上述過程的各步驟反過來進行，由接收一可變長度的已編碼比特流來完成一可變長度的解碼，通過逆量化和逆DCT，一K×K大小的誤差信號被存儲起來。該K×K大小的誤差信號在對象變換算法的逆過程中重新形成四邊形對象并存儲由該四邊形對象表示的誤差信號。
在本發(fā)明中是將四邊形對象各個角的變換矢量作線性內(nèi)插的方法作為將任意四邊形對象變換成規(guī)則正方形對象的一種技術(shù)。然而也可采用將四邊形對象分為兩個三解形對象的仿射變換方法或者也可采用高階的內(nèi)插法。
在本發(fā)明中一兩維DCT的變換編碼方法被用來對由限于四邊形對象的誤差信號變換成K×K大小誤差信號所產(chǎn)生的K×K大小誤差信號進行編碼。其他算法也能被用作此目的。即可采用K×K大小的矢量量化方法以及該K×K誤差信號可再次被分解以進行編碼。
另外，在本發(fā)明中，內(nèi)部值是被當(dāng)作四邊形對象的一誤差信號的，然而該對象變換算法可被用來對具有一般灰度值的信號進行編碼。
在采用圖象扭曲或活動網(wǎng)格的運動圖象編碼算法中，按運動預(yù)測和補償?shù)念A(yù)測誤差具有獨立于四邊形對象的特性。因此由于本發(fā)明能獨立地對一四邊形對象進行編碼，所以編碼效率提高了從而在與現(xiàn)有編碼算法相同的比特率情況下提供優(yōu)良的質(zhì)量的運動圖象。
因此必須理解本發(fā)明并不限于此處作為實施本發(fā)明最好模式所揭示的特殊實施例，本發(fā)明除了在權(quán)利要求中所規(guī)定的外也不限于在本說明書中敘述的具體實施例。
權(quán)利要求
1.一運動圖象編碼方法，包括步驟(a)將所述運動圖象的前一幀分成任意的四邊形對象；(b)通過運動跟蹤和預(yù)測由每一四邊形對象單元得到一預(yù)測誤差。(c)將根據(jù)步驟(b)的每一四邊形單元所表示的該預(yù)測誤差轉(zhuǎn)成一具有K×K大小的規(guī)則正方形對象，其中K為一整數(shù)，由此來對每一四邊形對象獨立地編碼。
2.一運動圖象編碼方法，包括步驟(a)將一解碼后的前一幀分成規(guī)則正方形形式的初始網(wǎng)格；(b)將所述正方形初始網(wǎng)格變換成任意四邊形；(c)相對于在所述步驟(b)中形成的所述任意四邊形對象對每一四邊形對象在時間軸上的運動進行跟蹤；(d)從所述前一幀的四邊形對象通過基于所述被跟蹤運動矢量的圖象扭曲來形成一預(yù)測對象；(e)從所述預(yù)測對象由每一四邊形單元來產(chǎn)生一預(yù)測誤差。(f)將限于一四邊形形式的所述誤差信號轉(zhuǎn)換到一具有K×K大小的規(guī)則正方形對象內(nèi)。(g)將限于規(guī)則正方形對象的所述誤差信號利用一預(yù)定的變換編碼方法進行編碼。
3.權(quán)利如要求2所述的一運動圖象編碼方法，其中所述步驟(f)包括下列步驟(h)選擇一四邊形對象各個角中最左邊的一個角P1并設(shè)置所選該點為一規(guī)則正方形對象的起始點
(i)比較所述起始點P1的兩個相鄰角P2和P4在y方向上的位置，將在y方向上具有較大值的相鄰角映射成P2、在y方向上具有最小值的相鄰角映射成
，同時將在所述起始點P1的對角位置的四邊形對象的角映射成
(j)當(dāng)所述四邊形對象各個角的映射被確定時，計算所述四邊形對象各個角處的變換矢量；(k)利用所述四邊形對象每一個角的所述變換矢量由線性內(nèi)插來確定所述四邊形對象內(nèi)各個位置的所述變換矢量。
4.如權(quán)利要求3所述的運動圖象編碼方法，其中所述步驟(j)使用
i＝1，2，3，4其中di是表示映射程度的一變換矢量。
5.一運動圖象編碼裝置，包括將解碼后的前一幀分成正方形的各初始網(wǎng)格的一初始網(wǎng)格發(fā)生器；將所述初始正方形對象變換成任意四邊形的一對象變換器；用于跟蹤每一四邊形對象相對于由該對象變換器產(chǎn)生的任意四邊形對象在時間軸上的運動的運動跟蹤器；用于在假定的運動矢量基礎(chǔ)上通過圖象扭曲從所述前一幀的所述四邊形對象形成一預(yù)測對象的一運動補償和幀預(yù)測器；由每個四邊形單元從所述形成的預(yù)測對象中產(chǎn)生一預(yù)測誤差信號的一預(yù)測誤差形成單元；將限于一四邊形形式的所述預(yù)測誤差信號轉(zhuǎn)換到一具有K×K大小的規(guī)則正方形內(nèi)的一對象重新形成單元；以及將限于一規(guī)則正方形對象的所述預(yù)測誤差信號利用一預(yù)定的變換編碼方法來進行編碼的一預(yù)測誤差編碼器。
全文摘要
一改進了預(yù)測誤差編碼效率的運動圖象編碼方法及其裝置。該運動圖象編碼方法包括下列步驟(a)將運動圖象的前一幀分成任意的四邊形對象；(b)由每一四邊形對象單元通過運動跟蹤和預(yù)測得到一預(yù)測誤差；以及(c)將在根據(jù)步驟(b)中的每一四邊形單元所表示的該預(yù)測誤差轉(zhuǎn)成一具有K×K大小，其中K為一整數(shù)的規(guī)則正方形對象，由此來對每一四邊形對象獨立地編碼。
文檔編號G06T9/00GK1158057SQ9611671
公開日1997年8月27日 申請日期1996年12月27日 優(yōu)先權(quán)日1995年12月27日
發(fā)明者千罡旭 申請人:三星電子株式會社