專利名稱：以可選擇的圖像分辨率進(jìn)行視頻編碼和解碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在一個(gè)第一分辨率方式下參考具有所述第一分辨率的一個(gè)參考圖像編碼圖像的視頻編碼器以及方法。本發(fā)明還涉及解碼這種圖像的相應(yīng)的視頻解碼器和方法。
背景技術(shù)：
在開頭段落中定義的預(yù)測(cè)視頻編碼器和解碼器在視頻壓縮領(lǐng)域中是公知的。例如，MPEG視頻壓縮標(biāo)準(zhǔn)指定P圖像(P-picture)作為參考該序列的先前圖像被編碼的圖像。先前的圖像可以是一個(gè)I圖像(I-picture)，即一個(gè)被自動(dòng)編碼而不參考序列中其它圖像，或其它P圖像的圖像。先前的圖像存儲(chǔ)在存儲(chǔ)器中。
MPEG標(biāo)準(zhǔn)還指定B圖像(B-picture)作為參考先前圖像以及后繼圖像編碼的圖像。B圖像編碼比P圖像更高效。然而，編碼B圖像需要編碼器具有兩倍的存儲(chǔ)器容量和基本兩倍的存儲(chǔ)器帶寬。類似的考慮應(yīng)用于相應(yīng)的解碼器。
于是，設(shè)計(jì)一個(gè)MPEG編碼器是平衡電路復(fù)雜性和存儲(chǔ)器容量(亦即芯片面積)對(duì)壓縮效率的事情。鑒于此，菲立普公司在市場(chǎng)上引入一個(gè)集成電路，它只允許I和P編碼。該電路產(chǎn)生具有分辨率為720×576像素的圖像的IPPP序列，該分辨率通常稱為‘601’或‘D1’分辨率。
發(fā)明目的及概述本發(fā)明的一個(gè)目的是提供一個(gè)更靈活的視頻編碼器和解碼器。
為此目的，按照本發(fā)明的視頻編碼器的特征在于，該視頻編碼器包括控制設(shè)備，用于在一個(gè)第二、較低分辨率方式下參考兩個(gè)具有所述第二分辨率的參考圖像可選擇地編碼所述圖像，和在所述存儲(chǔ)器中存儲(chǔ)所述兩個(gè)具有該第二分辨率的參考圖像。從而實(shí)現(xiàn)同樣的視頻編碼器可以在較低分辨率方式下用同樣的資源特別是存儲(chǔ)器產(chǎn)生B圖像。較低的分辨率優(yōu)選是第一分辨率方式的一半，例如352×576像素，通常稱為‘1/2D1’分辨率。
視頻編碼器通常包括一個(gè)運(yùn)動(dòng)估算電路，它在第一分辨率方式下應(yīng)用一個(gè)預(yù)定的檢索策略來檢索表示在輸入圖像和參考圖像之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量。在本發(fā)明的一個(gè)實(shí)施例中，所述運(yùn)動(dòng)估算電路對(duì)兩個(gè)參考圖像在第二分辨率方式下應(yīng)用所述檢索策略。該實(shí)施例基于認(rèn)識(shí)到，在第一分辨率方式下可用于檢索運(yùn)動(dòng)矢量的時(shí)間允許在較低分辨率方式下兩次檢索這種運(yùn)動(dòng)矢量(以同樣的幀速率)。在一個(gè)MPEG編碼器中，其中B圖像參考一個(gè)先前的圖像以及一個(gè)后繼的圖像，因此運(yùn)動(dòng)估算電路用于在較低分辨率方式下檢索向前和向后的兩種運(yùn)動(dòng)矢量。
視頻編碼器的另外一個(gè)實(shí)施例基于認(rèn)識(shí)到，為編碼P圖像(亦即參考一個(gè)單一參考幀編碼的圖象)與編碼B圖像相比可使用兩倍的時(shí)間量。據(jù)此，安排運(yùn)動(dòng)估算電路在第一次遍歷中應(yīng)用檢索策略以檢索具有第一精度的運(yùn)動(dòng)矢量，和應(yīng)用所述檢索策略在第二次遍歷中來改進(jìn)在第一次遍歷中找到的運(yùn)動(dòng)矢量的精度。從而實(shí)現(xiàn)，與P圖像關(guān)聯(lián)的運(yùn)動(dòng)矢量比與B圖像關(guān)聯(lián)的運(yùn)動(dòng)矢量更精確。這一點(diǎn)特別具有吸引力，因?yàn)镻圖像通常比B圖像彼此離開更遠(yuǎn)。
附圖的簡(jiǎn)要描述

圖1表示根據(jù)本發(fā)明的視頻編碼器的一個(gè)原理圖。
圖2和3是兩個(gè)示意圖，說明視頻編碼器的操作。
圖4A-4C表示幾個(gè)圖像，說明由在圖1中表示的運(yùn)動(dòng)估算和補(bǔ)償電路執(zhí)行的兩次遍歷運(yùn)動(dòng)矢量檢索過程。
實(shí)施例的詳細(xì)描述現(xiàn)在參考一個(gè)MPEG編碼器說明本發(fā)明，該編碼器用于產(chǎn)生D1分辨率的IPPP序列和1/2D1分辨率的IBBP序列。也就是說，該編碼器在D1分辨率方式下產(chǎn)生I和P圖像，和在1/2D1分辨率方式下產(chǎn)生I、B和P圖像。然而，本發(fā)明不限于遵從MPEG標(biāo)準(zhǔn)的視頻編碼器或者解碼器?；痉矫媸窃谝环N分辨率方式下參考一個(gè)參考圖像來預(yù)測(cè)編碼圖像和在一種較低分辨率方式下參考兩個(gè)參考圖像預(yù)測(cè)編碼圖像。
圖1表示按照本發(fā)明的一個(gè)MPEG視頻編碼器的原理圖。一般布局在本技術(shù)中公知。該編碼器包括一個(gè)減法器1，一個(gè)正交變換(例如DCT)電路2，一個(gè)量化器3，一個(gè)可變長(zhǎng)編碼器4，一個(gè)逆量化器5，一個(gè)逆變換電路6，一個(gè)加法器7，一個(gè)存儲(chǔ)器單元8，和一個(gè)運(yùn)動(dòng)估算和補(bǔ)償電路9。
存儲(chǔ)器單元8包括具有為存儲(chǔ)具有高分辨率例如720×576像素(通常稱為D1)的參考圖像的容量的存儲(chǔ)器81。同樣的存儲(chǔ)器可以存儲(chǔ)具有基本為所述分辨率的一半亦即360×576像素(通常稱為1/2D1)的兩個(gè)參考圖像。這在圖中用具有參考號(hào)碼81a和81b的兩個(gè)存儲(chǔ)器部分以符號(hào)表示。存儲(chǔ)器單元進(jìn)一步包括用戶可操作開關(guān)82a和82b，為可選擇地切換編碼器到高分辨率編碼方式或低分辨率方式。
在高分辨率編碼方式下，具有D1分辨率的圖像寫入存儲(chǔ)器81和從其中讀出，此時(shí)開關(guān)82a和82b在用H指示的位置。因?yàn)樵诖朔直媛氏乱淮沃荒艽鎯?chǔ)一個(gè)圖像，因此，該MPEG編碼器只能產(chǎn)生I圖像或P圖像。如同在視頻編碼技術(shù)中一般公知的，I圖像是自主編碼的圖像，不參考先前編碼的圖像。減法器1閑置。I圖像本地解碼并存儲(chǔ)在存儲(chǔ)器81中。P圖像參考先前的I或P圖像被預(yù)測(cè)編碼。減法器1是活動(dòng)的。減法器1從輸入圖像Xi減去運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像Xp，以便編碼和傳輸其差。加法器7把本地解碼的圖像加到預(yù)測(cè)圖像上，以便更新存儲(chǔ)的參考圖像。
在低分辨率方式下，具有1/2D1分辨率的圖像寫入存儲(chǔ)器81a和81b和從其中讀出，此時(shí)開關(guān)82a和82b在用L指示的位置。在這一編碼方式下，操作另外兩個(gè)開關(guān)83和84，開關(guān)83控制運(yùn)動(dòng)估算器讀哪一個(gè)存儲(chǔ)器，開關(guān)84控制本地解碼的圖像存儲(chǔ)在哪一個(gè)存儲(chǔ)器中。注意，存儲(chǔ)器單元8中的開關(guān)在本編碼器的實(shí)際實(shí)施例中作為軟件控制的存儲(chǔ)器尋址操作實(shí)現(xiàn)。
在低分辨率方式下，編碼器如下操作。I圖像再次編碼，減法器1不運(yùn)行。把本地解碼的I圖像寫入存儲(chǔ)器81a(開關(guān)84在位置a)。第一P圖像參考存儲(chǔ)的I圖像預(yù)測(cè)編碼(開關(guān)83在位置a)，它的本地解碼版本寫入存儲(chǔ)器81b(開關(guān)84在位置b)。隨后P圖像被交替從存儲(chǔ)器81a和81b中讀出和寫入，使得存儲(chǔ)器8在任何時(shí)候保存最后兩個(gè)I或P圖像。這允許在低分辨率方式下雙向預(yù)測(cè)編碼圖像(B圖像)。
參考一個(gè)先前和一個(gè)隨后的I或P圖像編碼B圖像。注意，這需要圖像的編碼順序與顯示順序不同，其電路在本技術(shù)中公知，而在圖中未表示。運(yùn)動(dòng)估算和補(bǔ)償電路9現(xiàn)在訪問存儲(chǔ)器81a和81b兩者以產(chǎn)生前向運(yùn)動(dòng)矢量(參考先前的圖像)和后向運(yùn)動(dòng)矢量(參考隨后的圖像)。為此目的，開關(guān)83在位置a和位置b之間切換。加法器7在B編碼期間不操作。
圖2表示一個(gè)時(shí)序示意圖以總結(jié)編碼器的操作。該示意圖表示開關(guān)83和84在為編碼一個(gè)IBBPBBP序列的連續(xù)幀期間的位置。通過編碼類型(I，B，P)和顯示順序識(shí)別幀。I1是第一幀，B2是第二幀，B3是第三幀，P4是第五幀，等。為簡(jiǎn)單起見，在逐幀基礎(chǔ)上表示在B編碼方式下開關(guān)在兩個(gè)存儲(chǔ)器之間切換。在實(shí)踐中，在宏塊層次上進(jìn)行切換。
運(yùn)動(dòng)估算電路執(zhí)行一個(gè)給定的運(yùn)動(dòng)矢量檢索過程。所述過程在低分辨率方式下需要以給定次數(shù)例如N次讀各存儲(chǔ)器。在高分辨率方式下同樣的過程每一幀需要2N次存儲(chǔ)器訪問。如圖2所示，編碼B圖像在低分辨率方式下每幀期間需要2N次存儲(chǔ)器訪問。相應(yīng)地，存儲(chǔ)器的帶寬需求在高分辨率方式下和在低分辨率方式下基本相同。因此在低分辨率方式下的B編碼的特征不需要另外的硬件或軟件資源。這是本發(fā)明的一個(gè)有意義的優(yōu)點(diǎn)。
圖2另外揭示了矢量檢索過程在P編碼方式下每幀需要N次存儲(chǔ)器訪問，而有2N次訪問可用。這一認(rèn)識(shí)在本發(fā)明的另外的方面得以利用。為此目的，運(yùn)動(dòng)矢量檢索過程對(duì)于P圖像以兩次遍歷執(zhí)行。在第一次遍歷中，用一個(gè)‘標(biāo)準(zhǔn)’精度尋找運(yùn)動(dòng)矢量。在第二次遍歷中，繼續(xù)該檢索過程，進(jìn)一步改進(jìn)在第一次遍歷中找到的運(yùn)動(dòng)矢量的精度。圖3中表示出兩次遍歷操作，改進(jìn)遍歷用a’或b’指示，視情況而定。再次注意，在實(shí)踐中兩次遍歷操作在逐個(gè)宏塊基礎(chǔ)上執(zhí)行。
圖4A-4C表示一個(gè)圖像的幾部分，進(jìn)一步說明兩次遍歷運(yùn)動(dòng)估算過程。圖4A表示一個(gè)要被預(yù)測(cè)編碼的當(dāng)前圖像400。該圖像被分為多個(gè)宏塊(macroblock)。一個(gè)要被編碼的當(dāng)前宏塊包括一個(gè)對(duì)象401。參考號(hào)碼41、42、43和44指示在編碼相鄰宏塊期間已經(jīng)找到的運(yùn)動(dòng)矢量。圖4B和4C表示存儲(chǔ)在存儲(chǔ)器81a和81b其中一個(gè)中的先前的I或P圖像402，視具體情況而定。在先前的參考圖像中，對(duì)象(現(xiàn)在用403指示)在不同位置并具有稍微不同的形狀。在該例中，運(yùn)動(dòng)估算器從一些候選運(yùn)動(dòng)矢量中檢索最好的運(yùn)動(dòng)矢量。本技術(shù)中公知為選擇合適的候選運(yùn)動(dòng)矢量的各種策略。這里假定對(duì)于當(dāng)前宏塊圖4A中用41、42、43和44指示的運(yùn)動(dòng)矢量在候選運(yùn)動(dòng)矢量中間。圖4B表示第一運(yùn)動(dòng)矢量檢索過程遍歷的結(jié)果。看起來候選運(yùn)動(dòng)矢量43在輸入圖像的當(dāng)前宏塊和參考圖像的一個(gè)相等大小塊404之間提供最好的匹配。
在第二次遍歷中，對(duì)不同候選矢量應(yīng)用運(yùn)動(dòng)矢量檢索。更特別是，在第一次遍歷中找到的運(yùn)動(dòng)矢量是一個(gè)候選運(yùn)動(dòng)矢量。其它的候選矢量是進(jìn)一步的改進(jìn)。這在圖4C中表示，這里43是在第一次遍歷中找到的運(yùn)動(dòng)矢量，而8個(gè)點(diǎn)45表示新候選運(yùn)動(dòng)矢量的端點(diǎn)。它們與運(yùn)動(dòng)矢量43差一個(gè)(或半個(gè))像素。現(xiàn)在對(duì)新候選矢量執(zhí)行檢索算法。在該例中似乎塊45最相似當(dāng)前的宏塊。相應(yīng)地，運(yùn)動(dòng)矢量46是用于產(chǎn)生運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像Xp的運(yùn)動(dòng)矢量。為P圖像的兩次遍歷操作特別有吸引力，因?yàn)樗鼘?duì)相距更遠(yuǎn)的圖像比B圖像提供更準(zhǔn)確的運(yùn)動(dòng)矢量。
應(yīng)該注意，兩次遍歷運(yùn)動(dòng)矢量檢索也可以在更低分辨率方式下(SIF，352×288像素)應(yīng)用于B圖像。使用可用存儲(chǔ)器和運(yùn)動(dòng)估算電路在更低分辨率下來增強(qiáng)圖像質(zhì)量或減少位速率的發(fā)明思想也可以應(yīng)用于視頻編碼器的其它資源。例如，圖1中的變換電路2、6，量化器3、5和可變長(zhǎng)編碼器4的“過容量”允許兩次遍歷編碼，其中使用第一次遍歷作為分析圖像復(fù)雜性的一個(gè)步驟，而第二次遍歷用于實(shí)際編碼。
另外要注意本發(fā)明也可以應(yīng)用于多分辨率視頻解碼器。因?yàn)槿缟纤?，解碼器相應(yīng)于編碼器的本地解碼回路，因此不需要對(duì)其單獨(dú)說明。
本發(fā)明可以總結(jié)如下。一般設(shè)計(jì)一個(gè)視頻編碼器在給定分辨率下具有給定性能。例如，公知MPEG2編碼器在‘601’分辨率(720×576像素)下的壓縮視頻成IPPP序列使用2MB RAM。本發(fā)明提供在較低分辨率方式下可選擇(82a，82b)編碼圖像的特征。在低分辨率方式下的多余資源容量(例如存儲(chǔ)器容量和存儲(chǔ)器帶寬)用于改善性能(例如更高的圖像質(zhì)量，更低的位速率)。更特別說，安排(83，84)在高分辨率方式下為產(chǎn)生P圖像需要的RAM(81)和運(yùn)動(dòng)估算器(9)來產(chǎn)生低分辨率方式下的B圖像。
權(quán)利要求
1.一種用于在第一分辨率方式下參考具有所述第一分辨率的參考圖像編碼圖像的視頻編碼器，該編碼器包括存儲(chǔ)器，它具有為存儲(chǔ)具有所述第一分辨率的所述參考圖像的容量，其特征在于，該視頻編碼器包括控制設(shè)備，用于在一個(gè)第二、較低分辨率方式下參考具有所述第二分辨率的兩個(gè)參考圖像可選擇地編碼所述圖像，和在所述存儲(chǔ)器中存儲(chǔ)具有第二分辨率的所述兩個(gè)參考圖像。
2.如權(quán)利要求1所述視頻編碼器，還包括一個(gè)運(yùn)動(dòng)估算電路，它在第一分辨率方式下應(yīng)用一個(gè)預(yù)定的檢索策略來檢索表示在輸入圖像和參考圖像之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量，安排所述運(yùn)動(dòng)估算電路在第二分辨率方式下將所述檢索策略應(yīng)用于兩個(gè)參考圖像。
3.如權(quán)利要求2所述視頻編碼器，其中，選擇的圖像在第二分辨率方式下相對(duì)于所述參考圖像中的一個(gè)編碼，安排運(yùn)動(dòng)估算電路在第一次遍歷中應(yīng)用檢索策略以第一精度檢索運(yùn)動(dòng)矢量，在第二次遍歷中應(yīng)用所述檢索策略改進(jìn)在第一次遍歷中找到的運(yùn)動(dòng)矢量的精度。
4.如權(quán)利要求2所述視頻編碼器，還安排在第三、更低分辨率方式下參考具有所述第三分辨率的兩個(gè)參考圖像可選擇編碼圖像，安排所述運(yùn)動(dòng)估算電路在第三分辨率方式下應(yīng)用所述檢索策略到兩個(gè)參考圖像，在第一次遍歷中為每一參考圖像應(yīng)用檢索策略以第一精度檢索運(yùn)動(dòng)矢量，在第二次遍歷中應(yīng)用所述檢索策略改進(jìn)在第一次遍歷中找到的運(yùn)動(dòng)矢量的精度。
5.如權(quán)利要求1到4中任何一個(gè)權(quán)利要求所述視頻編碼器，其中，所述具有第一分辨率的參考圖像是圖像序列的一個(gè)先前的圖像，具有第二分辨率的一個(gè)參考圖像是所述序列的一個(gè)先前的圖像，具有第二分辨率的另一個(gè)參考圖像是所述序列的一個(gè)后繼的圖像。
6.一種在第一分辨率方式下參考具有所述第一分辨率的參考圖像編碼圖像的方法，包括在存儲(chǔ)器中存儲(chǔ)具有所述第一分辨率的所述參考圖像的步驟，所述存儲(chǔ)器具有為存儲(chǔ)所述圖像的容量，其特征在于，該方法包括在一個(gè)第二、較低分辨率方式下參考具有所述第二分辨率的兩個(gè)參考圖像可選擇地編碼所述圖像，和在所述存儲(chǔ)器中存儲(chǔ)具有第二分辨率的所述兩個(gè)參考圖像的步驟。
7.如權(quán)利要求6所述方法，另外包括在第一分辨率方式下檢索表示在輸入圖像和參考圖像之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量的步驟，所述檢索在第二分辨率方式下應(yīng)用于兩個(gè)參考圖像。
8.如權(quán)利要求7所述方法，其中，選擇的圖像在第二分辨率方式下相對(duì)于所述參考圖像中的一個(gè)而被編碼，在第一次遍歷中應(yīng)用檢索步驟以第一精度檢索運(yùn)動(dòng)矢量，在第二次遍歷中改進(jìn)在第一次遍歷中找到的運(yùn)動(dòng)矢量的精度。
9.如權(quán)利要求7所述方法，另外安排在第三、更低分辨率方式下參考具有所述第三分辨率的兩個(gè)參考圖像可選擇編碼圖像，所述檢索步驟在第三分辨率方式下應(yīng)用到兩個(gè)參考圖像，在第一次遍歷中以第一精度檢索運(yùn)動(dòng)矢量，在第二次遍歷中改進(jìn)在第一次遍歷中找到的運(yùn)動(dòng)矢量的精度。
10.如權(quán)利要求6到9中任何一個(gè)權(quán)利要求所述方法，其中，所述具有第一分辨率的參考圖像是圖像序列的一個(gè)先前的圖像，具有第二分辨率的一個(gè)參考圖像是所述序列的一個(gè)先前的圖像，具有第二分辨率的另一個(gè)參考圖像是所述序列的一個(gè)后繼的圖像。
11.一種在第一分辨率方式下參考具有所述第一分辨率的參考圖像而解碼圖像的視頻解碼器，該解碼器包括具有為存儲(chǔ)具有所述第一分辨率的所述參考圖像的容量的存儲(chǔ)器，其特征在于，該視頻解碼器包括控制設(shè)備，用于在一個(gè)第二、較低分辨率方式下參考具有所述第二分辨率的兩個(gè)參考圖像解碼所述圖像，和用于在所述存儲(chǔ)器中存儲(chǔ)具有第二分辨率的所述兩個(gè)參考圖像。
12.一種在第一分辨率方式下參考具有所述第一分辨率的參考圖像而解碼圖像的方法，包括在一個(gè)存儲(chǔ)器中存儲(chǔ)具有所述第一分辨率的所述參考圖像的步驟，所述存儲(chǔ)器具有為存儲(chǔ)所述圖像的容量，其特征在于，該方法包括在一個(gè)第二、較低分辨率方式下參考具有所述第二分辨率的兩個(gè)參考圖像解碼所述圖像，和在所述存儲(chǔ)器中存儲(chǔ)具有第二分辨率的所述兩個(gè)參考圖像的步驟。
全文摘要
視頻編碼器通常設(shè)計(jì)為在給定分辨率下具有給定性能。例如,公知MPEG2編碼器壓縮在‘601’分辨率(720×576像素)下的視頻為IPPP序列使用2MB RAM。本發(fā)明提供在較低分辨率方式下可選擇地(82a,82b)編碼圖像的特征。在低分辨率方式下的多余資源容量(例如存儲(chǔ)器容量和存儲(chǔ)器帶寬)用于改善性能(例如更高的圖像質(zhì)量,更低的位速率)。更特別說,安排(83,84)在高分辨率方式下為產(chǎn)生P圖像需要的RAM(81)和運(yùn)動(dòng)估算器(9)來產(chǎn)生低分辨率方式下的B圖像。
文檔編號(hào)H04N7/26GK1363188SQ01800164
公開日2002年8月7日 申請(qǐng)日期2001年1月15日 優(yōu)先權(quán)日2000年2月1日
發(fā)明者W·H·A·布呂爾斯, E·W·薩洛蒙斯 申請(qǐng)人:皇家菲利浦電子有限公司