專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領域：
本技術(shù)涉及一種圖像處理裝置和圖像處理方法。具體地，該技術(shù)提供了一種甚至在使用具有擴展大小的宏塊時也可以實現(xiàn)高編碼效率的圖像處理裝置和圖像處理方法。
背景技術(shù)：
近年來，將圖像信息處置為數(shù)字信息并且在這樣做時實現(xiàn)高效信息傳送和累積的設備或者符合用于通過如離散余弦變換的正交變換和運動補償進行壓縮的標準(諸如MPEG)的設備已在廣播站和一般家庭中得以普及。具體地，MPEG2 (IS0/IEC13818-2)被定義為通用的圖像編碼技術(shù)，并且當前用于針對專業(yè)人士和一般消費者的各種應用。通過使用MPEG2壓縮技術(shù)，例如，將4Mbps至8Mbps的比特率分配給具有720X480個像素的標準分辨率隔行掃描圖像(interlaced image)。另外，將18Mbps至22Mbps的比特率分配給具有1920X 1088個像素的高分辨率交織圖像。通過這樣的比特率分配，可以實現(xiàn)高壓縮率和極好的圖像質(zhì)量。盡管在編碼和解碼中需要比諸如MPEG2的傳統(tǒng)編碼技術(shù)的計算量大的計算量，但是在增強壓縮視頻編碼的聯(lián)合模型的名義下進行了用于實現(xiàn)高編碼效率的標準化，其中該聯(lián)合模型已成為作為H.264和MPEG PartlO (下文中稱為“H.264/AVC (高級視頻編碼)”)的國際標準。 如圖1所示，在H.264/AVC中，將由16X 16個像素形成的宏塊分割為16X16、16X8、8X 16或8X8像素的運動補償塊，這些運動補償塊可以具有相互獨立的運動矢量信息。如圖1所示，每個8X8像素子宏塊可以進一步被分割成8X8、8X4、4X8或4X4像素的運動補償塊，這些運動補償塊可以具有相互獨立的運動矢量信息。在MPEG-2中，運動預測/補償操作中的單位在幀運動補償模式下為16 X 16個像素，并且在場運動補償模式下在第一場和第二場的每個場中均為16X8個像素。在H.264/AVC中，執(zhí)行這種運動預測/補償操作。結(jié)果，生成大量的運動矢量信息，并且按原樣對運動矢量信息進行編碼將導致編碼效率的降低。為了解決該問題，在H.264/AVC中使用下述的中值預測，并且實現(xiàn)了編碼運動矢
量信息量的減小。在圖2中，塊E是要編碼的運動補償塊，并且塊A至D是與運動補償塊E相鄰的編碼后運動補償塊。這里，X是A、B、C、D或E，并且mvX表示關于運動補償塊X的運動矢量信息。通過使用關于運動補償塊A、B和C的運動矢量信息，根據(jù)等式(I )、通過中值預測來生成關于運動補償塊E的預測運動矢量信息pmvE。pmvE=med (mvA, mvB, mvC)…(I)如果由于塊C位于圖像幀的角落等處而無法獲得關于相鄰運動補償塊C的信息，則替代地使用關于相鄰運動補償塊D的信息。在壓縮圖像信息中，根據(jù)等式(2)，通過使用pmvE來生成要被編碼為關于運動補償塊E的運動矢量信息的數(shù)據(jù)mvdE。mvdE=mvE-pmvE...(2)在實際操作中，對相互獨立的運動矢量信息的水平分量和垂直分量執(zhí)行處理。另外，在H.264/AVC中，指定多參考幀技術(shù)?，F(xiàn)在參照圖3，描述了在H.264/AVC中定義的多參考幀技術(shù)。在MPEG2等中，在P畫面的情況下，通過參考存儲在幀存儲器中的僅一個參考幀來執(zhí)行運動預測/補償操作 。然而，在H.264/AVC中，多于一個參考幀存儲在存儲器中，以使得對于每個塊可以參考不同的存儲器，如圖3所示。盡管B畫面中的運動矢量信息量非常大，但是在H.264/AVC中存在稱為直接模式的預定模式。在直接模式中，運動矢量信息沒有包含在壓縮圖像信息中，并且解碼裝置從關于周圍塊或錨點塊(同位塊)的運動矢量信息中提取關于塊的運動矢量信息。錨點塊是在參考圖像中具有與正被編碼的運動補償塊相同的χ-y坐標的塊。直接模式包括空間直接模式和時間直接模式，并且可以針對每個切片(slice)來選擇這兩種模式中的一種。在空間直接模式下，通過中值預測所生成的運動矢量信息pmvE用作要用于塊的運動矢量信息mvE,如等式(3)所示。mvE=pmvE...(3)現(xiàn)在參照圖4描述時間直接模式。在圖4中，在LO參考畫面中位于與塊相同的空間地址的塊是錨點塊，并且關于錨點塊的運動矢量信息是運動“mvcol”。另外，“TDB”表示在時間軸上畫面與LO參考畫面之間的距離，并且“TDD”表示在時間軸上LO參考畫面與LI參考畫面之間的距離。在該情況下，根據(jù)等式(4)和(5)來計算畫面中的LO運動矢量信息mvLO和LI運動矢量信息mvLl。mvLO= (TDB/TDD) mvco I...(4)mvLl=((TDD-TDB)/TDD)mvcol...(5)在壓縮圖像信息中，不存在表示時間軸上的距離的信息，因此根據(jù)等式(4)和(5)的計算使用POC (畫面序列號)。在AVC壓縮圖像信息中，直接模式可以以16X16像素宏塊為單位或以8X8像素子宏塊為單位來定義。同時，非專利文獻I已提出了對如圖2所示的使用中值預測的運動矢量編碼的改進。根據(jù)非專利文獻1，可以自適應地使用時間預測運動矢量信息或時空預測運動矢量信息以及通過中值預測而獲得的空間預測運動矢量信息。S卩，在圖5中，運動矢量信息mvcol是關于相對于運動補償塊的錨點塊的運動矢量 目息。另外，運動矢量 目息mvtk (k=0至8)是關于周圍塊的運動矢量彳目息。時間預測運動矢量信息mvtm是通過使用等式(6)根據(jù)五條運動矢量信息而生成的。替選地，可通過使用等式(7)根據(jù)九條運動矢量信息來生成時間預測運動矢量信息mvtm οmvtm5=med (mvcol, mvtO,…mvt3)...(6)mvtm9=med (mvcol, mvtO,…mvt7)...(7)時空預測運動矢量信息mvspt是通過使用等式(8)根據(jù)五條運動矢量信息而生成的。mvspt=med (mvcol, mvcol, mvA, mvB, mvC)…(8)在對圖像信息進行編碼的圖像處理裝置中，通過使用關于各個塊的預測運動矢量信息來計算各個塊的成本函數(shù)值，并且選擇最優(yōu)的預測運動矢量信息。通過壓縮圖像信息，針對每個塊傳送表示關于使用了哪個預測運動矢量信息的信息的標志。另外，對于以較高壓縮率進行編碼以便壓縮4000X2000個像素的圖像等或者在當今傳送容量有限的環(huán)境中(如在因特網(wǎng)中)分發(fā)高清圖像的需求日益增加。鑒于此，非專利文獻2公開了在層級結(jié)構(gòu)中使用宏塊的大小比MPEG2或H.264/AVC中的宏塊的大小更大的擴展宏塊。S卩，在擴展宏塊中，16 X 16像素塊和更小的塊與H.264/AVC中的宏塊兼容。作為這些塊的超集，定義諸如32X32像素宏塊的更大塊。引用列表非專利文獻非專利文獻1:"Motion Vector Coding with Optimal PMV Selection" (VideoCoding Experts Group (VCEG), Study Group 16, ITU, VCEG-AI22, 2008 年 7 月)非專利文獻2:〃Video Coding Using Extended Block Sizes" (Study Group 16, Contributionl23, ITU, C0M16-C123-E, 2009 年 I 月)

發(fā)明內(nèi)容
本發(fā)明要解決的問題如圖6所示，當正被編碼的運動補償塊和左側(cè)相鄰的運動補償塊是16X 16像素塊并且上部相鄰和右上相鄰的運動補償塊是4X4像素塊時，假設運動補償塊的上端為隨機運動區(qū)域與靜止圖像區(qū)域之間的邊界。然而，在H.264/AVC中，當對運動矢量信息進行編碼時沒有考慮出現(xiàn)在運動邊界的不連續(xù)性。結(jié)果，通過使用關于隨機運動區(qū)域和靜止圖像區(qū)域中的相鄰運動補償塊的運動矢量信息來執(zhí)行中值預測，并且存在無法生成用于實現(xiàn)高編碼效率的預測運動矢量的可能性。此外，當使用如非專利文獻2中所公開的擴展宏塊時，存在如下情況:例如，通過減小隨機運動區(qū)域中的運動補償塊大小并且增大靜止圖像區(qū)域中的運動補償塊大小來提高編碼效率。在這樣的情況下，在位于運動邊界上的編碼當前運動補償塊和經(jīng)過運動邊界的與編碼當前運動補償塊相鄰的相鄰運動補償塊之間的運動矢量信息差甚至變得更大。因此，使用通過中值預測而生成的預測運動矢量將導致實現(xiàn)高編碼效率的難度增加。鑒于此，本技術(shù)的目的是提供一種可以實現(xiàn)高編碼效率的圖像處理裝置和圖像處理方法。問題的解決方案本技術(shù)的第一方 面在于一種圖像處理裝置，該圖像處理裝置通過使用以層級結(jié)構(gòu)定義的運動補償塊來執(zhí)行編碼或解碼。該圖像處理裝置包括:塊選擇處理單元，根據(jù)正經(jīng)受編碼或解碼的當前運動補償塊的塊大小和與當前運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，從相鄰運動補償塊中選擇塊；以及預測運動矢量信息生成單元，通過使用關于由塊選擇處理單元選擇的塊的運動矢量信息，生成要用在對關于當前運動補償塊的運動矢量信息的編碼操作或解碼操作中的預測運動矢量信息。
根據(jù)該技術(shù)，根據(jù)正被編碼或解碼的當前運動補償塊的塊大小和與當前運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，僅選擇以與當前運動補償塊相同的層級的塊大小所編碼的相鄰運動補償塊。此外，基于關于所選擇的相鄰運動補償塊的運動矢量信息，生成預測運動矢量信息。當已以不同層級的塊大小對相對于當前運動補償塊位于右上位置的相鄰運動補償塊進行了編碼時，使用左上相鄰運動補償塊來替代右上相鄰運動補償塊。當已以與當前運動補償塊相同的層級的塊大小對要用在中值預測中的三個相鄰運動補償塊的全部三個都進行了編碼時，通過使用關于這三個相鄰運動補償塊的運動矢量信息來執(zhí)行中值預測，以生成預測運動矢量信息。當已以同一層級的塊大小對兩個塊進行了編碼時，計算由與屬于同一層級的兩個相鄰運動補償塊相關的運動矢量信息表示的運動矢量的平均值，并且將表示平均值的運動矢量信息或關于兩個相鄰運動補償塊之一的運動矢量信息設置為預測運動矢量信息。此外，當已以同一層級的塊大小對一個塊進行了編碼時，將與屬于相同層級的一個相鄰運動補償塊相關的運動矢量信息設置為預測運動矢量信息。當不存在屬于同一層級的相鄰運動補償塊時，預測運動矢量信息表示零矢量。當與當前運動補償塊在時間上相鄰的相鄰運動補償塊具有同一分辨率的大小時，關于時間相鄰運動補償塊的運動矢量信息被設置為時間預測運動矢量信息，并且基于與要用在中值預測中的三個相鄰運動補償塊相關的運動矢量信息而生成的時間預測運動矢量信息或空間預測運動矢量信息用作預測運動矢量信息。當僅可以生成空間預測運動矢量信息時，或者當僅可以生成時間預測運動矢量信息時，可以生成的信息用作預測運動矢量信息。此外，當既不能生成空間預測運動矢量信息又不能生成時間預測運動矢量信息時，表示零矢量的信息用作預測運動矢量信息。該技術(shù)的第二方面在于一種圖像處理裝置中的圖像處理方法，該圖像處理方法用于通過使用以層級結(jié)構(gòu)定義的運動補償塊來執(zhí)行編碼或解碼。該圖像處理方法包括以下步驟:根據(jù)正經(jīng)受編碼或解碼的當前運動補償塊的塊大小和與當前運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，從相鄰運動補償塊中選擇塊；以及通過使用關于所選擇的塊的運動矢量信息，生成要用在對關于當前運動補償塊的運動矢量信息的編碼操作或解碼操作中的預測運動矢量信息。本發(fā)明的效果根據(jù)該技術(shù)，根據(jù)正被編碼或解碼的當前運動補償塊的塊大小和與當前運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，從相鄰運動補償塊中選擇塊。另外，通過使用關于所選擇的塊的運動矢量信息，生成關于正被處理的當前運動補償塊的預測運動矢量信息。即，通過根據(jù)正被處理的當前運動補償塊和相鄰運動補償塊的塊大小自適應地使用關于相鄰運動補償塊的運動矢量信息來生成預測運動矢量信息。因此，可以根據(jù)對出現(xiàn)在運動邊界的不連續(xù)性的檢測結(jié)果來生成預測運動矢量信息，并且可以實現(xiàn)高編碼效率。


圖1是示出H.264/AVC中的運動補償塊的圖。圖2是用于說明中值預測的圖。圖3是用于說明多參考幀技術(shù)的圖。
圖4是用于說明時間直接模式的圖。圖5是用于說明時間預測運動矢量信息和時空預測運動矢量信息的圖。圖6是示出正被編碼的運動補償塊和編碼后相鄰運動補償塊的示例大小的圖。圖7是示出圖像編碼裝置的結(jié)構(gòu)的圖。圖8是示出運動預測/補償單元和預測運動矢量生成單元的結(jié)構(gòu)的圖。圖9是用于說明具有1/4像素精度的運動預測/補償操作的圖。圖10示出了宏塊大小被擴展的層級結(jié)構(gòu)。圖11是示出圖像編碼裝置的操作的流程圖。圖12是示出預測操作的流程圖。圖13是示出幀內(nèi)預測操作的流程圖。圖14是示出幀間預測操作的流程圖。圖15是示出預測運動矢量信息生成操作的流程圖。圖16是示出不僅使用空間塊而且使用時間塊的預測運動矢量信息生成操作的流程圖。圖17是示出圖像解碼裝置的結(jié)構(gòu)的圖。圖18是示出運動補償單元和預測運動矢量生成單元的結(jié)構(gòu)的圖。圖19是示出圖像解碼裝置的操作的流程圖。圖20是示出預測圖像生成操作的流程圖。圖21是示出幀間預測圖像生成操作的流程圖。圖22是示意性地示出計算機裝置的示例結(jié)構(gòu)的圖。圖23是示意性地示出電視機設備的示例結(jié)構(gòu)的圖。圖24是示意性地示出便攜式電話裝置的示例結(jié)構(gòu)的圖。圖25是示意性地示出記錄/再現(xiàn)設備的示例結(jié)構(gòu)的圖。圖26是示意性地示出成像設備的示例結(jié)構(gòu)的圖。
具體實施例方式以下是用于實現(xiàn)本技術(shù)的實施例的描述。將按以下順序進行說明。1.圖像編碼裝置的結(jié)構(gòu)2.圖像編碼裝置的操作3.圖像解碼裝置的結(jié)構(gòu)4.圖像解碼裝置的操作5.軟件處理6.對電子設備的應用[1.圖像編碼裝置的結(jié)構(gòu)]圖7示出了執(zhí)行圖像編碼的圖像處理裝置(下文中稱為“圖像編碼裝置”)的結(jié)構(gòu)。圖像編碼裝置10包括模擬/數(shù)字轉(zhuǎn)換器(A/D轉(zhuǎn)換器)11、屏幕重排緩沖器12、減法單元13、正交變換單元14、量化單元15、無損編碼單元16、累積緩沖器17和速率控制單元18。圖像編碼裝置10還包括逆量化單元21、逆正交變換單元22、加法單元23、去塊濾波器24、幀存儲器25、幀內(nèi)預測單元31、運動預測/補償單元32、塊選擇處理單元33、預測運動矢量信息生成單元34和預測圖像/最優(yōu)模式選擇單元35。A/D轉(zhuǎn)換器11將模擬圖像信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)輸出到屏幕重排緩沖器12。屏幕重排緩沖器12對從A/D轉(zhuǎn)換器11輸出的圖像數(shù)據(jù)的幀進行重排。屏幕重排緩沖器12根據(jù)與編碼操作有關的GOP (畫面組)結(jié)構(gòu)對幀進行重排，并且將重排后的圖像數(shù)據(jù)輸出到減法單元13、幀內(nèi)預測單元31和運動預測/補償單元32。減法單元13接收從屏幕重排緩沖器12輸出的圖像數(shù)據(jù)和由稍后描述的預測圖像/最優(yōu)模式選擇單元35選擇的預測圖像數(shù)據(jù)。減法單元13計算作為從屏幕重排緩沖器12輸出的圖像數(shù)據(jù)與從預測圖像/最優(yōu)模式選擇單元15提供的預測圖像數(shù)據(jù)之間的差的預測誤差數(shù)據(jù)，并且將預測誤差數(shù)據(jù)輸出到正交變換單元14。正交變換單元14對從減法單元13輸出的預測誤差數(shù)據(jù)執(zhí)行諸如離散余弦變換(DCT)或卡洛變換(Karhunen-Loeve transform)的正交變換操作。正交變換單元14將通過執(zhí)行正交變換操作而獲得的變換系數(shù)數(shù)據(jù)輸出到量化單元15。量化單元15接收從正交變換單元14輸出的變換系數(shù)數(shù)據(jù)和從稍后描述的速率控制單元18提供的速率控制信號。量化單元15對變換系數(shù)數(shù)據(jù)進行量化，并且將量化數(shù)據(jù)輸出到無損編碼單元16和逆量化單元21?；趶乃俾士刂茊卧?8提供的速率控制信號，量化單元15切換量化系數(shù)(量化位階)，以改變量化數(shù)據(jù)的比特率。無損編碼單元16接收從量化單元15輸出的量化數(shù)據(jù)、從稍后描述的幀內(nèi)預測單元31提供的預測模式信息和從運動預測/補償單元32提供的預測模式信息、差運動矢量信息等。另外，從預測圖像/最優(yōu)模式選擇單元35提供表示最優(yōu)模式是幀內(nèi)預測還是幀間預測的信息。根據(jù)預測模式是幀內(nèi)預測還是幀間預測，預測模式信息包含表示預測模式的信息、關于運動補償塊的塊大小信息等。無損編碼單元16通過可變長編碼或算術(shù)編碼等對量化數(shù)據(jù)執(zhí)行無損編碼操作，以生成壓縮圖像信息并將其輸出到累積緩沖器17。當最優(yōu)模式是幀內(nèi)預測時，無損編碼單元16對從幀內(nèi)預測單元31提供的預測模式信息執(zhí)行無損編碼。當最優(yōu)模式是幀間預測時，無損編碼單元16對從運動預測/補償單元32提供的預測模式信息、差運動矢量信息等執(zhí)行無損編碼。此外，無損編碼單元16將經(jīng)受了無損編碼的信息并入壓縮圖像信息中。例如，無損編碼單元16將信息添加到作為壓縮圖像信息的編碼流中的報頭信息中。累積緩沖器17存儲從無損編碼單元16提供的壓縮圖像信息。累積緩沖器17還以根據(jù)傳送路徑的傳送速率輸出所存儲的壓縮圖像信息。速率控制單元18監(jiān)視累積緩沖器17中的自由空間，根據(jù)自由空間生成速率控制信號，并且將速率控制信號輸出到量化單元15。速率控制單元18例如從累積緩沖器17獲得表示自由空間的信息。當剩余的自由空間較小時，速率控制單元18通過速率控制信號降低量化數(shù)據(jù)的比特率。當累積緩沖器17中的剩余自由空間足夠大時，速率控制單元18通過速率控制信號增加量化數(shù)據(jù)的比特率。逆量化單元21對從量化單元15提供的量化數(shù)據(jù)進行逆量化。逆量化單元21將通過執(zhí)行逆量化而獲得的變換系數(shù)數(shù)據(jù)輸出到逆正交變換單元22。逆正交變換單元22對從逆量化單元21提供的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換操作，并且將所得到的數(shù)據(jù)輸出到加法單元23。
加法單元23將從逆正交變換單元22提供的數(shù)據(jù)與從預測圖像/最優(yōu)模式選擇單元35提供的預測圖像數(shù)據(jù)相加，以生成解碼圖像數(shù)據(jù)。然后，加法單元23將解碼圖像數(shù)據(jù)輸出到去塊濾波器24和幀存儲器25。解碼圖像數(shù)據(jù)用作參考圖像的圖像數(shù)據(jù)。去塊濾波器24執(zhí)行濾波操作以減少在圖像編碼時發(fā)生的塊失真。去塊濾波器24執(zhí)行濾波操作以從由加法單元23提供的解碼圖像數(shù)據(jù)去除塊失真，并且將濾波后的解碼圖像數(shù)據(jù)輸出到幀存儲器25。幀存儲器25存儲尚未經(jīng)受濾波操作并且已從加法單元23提供的解碼圖像數(shù)據(jù)以及已經(jīng)受濾波操作并且已從去塊濾波器24提供的解碼圖像數(shù)據(jù)。存儲在幀存儲器25中的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)經(jīng)由選擇器26而被提供到幀內(nèi)預測單元31或運動預測/補償單元32。當在幀內(nèi)預測單元31處執(zhí)行幀內(nèi)預測時，選擇器26將尚未經(jīng)受去塊濾波操作并且存儲在幀存儲器25中的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供到幀內(nèi)預測單元31。當在運動預測/補償單元32處執(zhí)行幀間預測時，選擇器26將已經(jīng)受去塊濾波操作并且存儲在幀存儲器25中的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供到運動預測/補償單元32。使用從屏幕重排緩沖器12提供的編碼目標圖像的輸入圖像數(shù)據(jù)和從幀存儲器25提供的參考圖像數(shù)據(jù)，幀內(nèi)預測單元31以所有候選幀內(nèi)預測模式執(zhí)行預測以確定最優(yōu)幀內(nèi)預測模式。幀內(nèi)預測單元31計算例如每種幀內(nèi)預測模式下的成本函數(shù)值，并且基于所算出的成本函數(shù)值設置作為具有最高編碼效率的幀內(nèi)預測模式的最優(yōu)幀內(nèi)預測模式。幀內(nèi)預測單元31將在最優(yōu)幀內(nèi)預測模式下生成的預測圖像數(shù)據(jù)和最優(yōu)幀內(nèi)預測模式下的成本函數(shù)值輸出到預測圖像/最優(yōu)模式選擇單元35。幀內(nèi)預測單元31還將表示最優(yōu)幀內(nèi)預測模式的預測模式信息輸出到無損編碼單元16。使用從屏幕重排緩沖器12提供的編碼目標圖像的輸入圖像數(shù)據(jù)和從幀存儲器25提供的參考圖像數(shù)據(jù)，運動預測/補償單元32以所有候選幀間預測模式執(zhí)行預測以確定最優(yōu)幀間預測模式。運動預測/補償單元32計算例如每種幀間預測模式下的成本函數(shù)值，并且基于所算出的成本函數(shù)值設置作為具有最高編碼效率的幀間預測模式的最優(yōu)幀間預測模式。運動預測/補償單元32將在最優(yōu)幀間預測模式下生成的預測圖像數(shù)據(jù)和最優(yōu)幀間預測模式下的成本函數(shù)值輸出到預測圖像/最優(yōu)模式選擇單元35。運動預測/補償單元32還將關于最優(yōu)幀間預測模式的預測模式信息輸出到無損編碼單元16。運動預測/補償單元12還使用由預測運動矢量信息生成單元34生成的預測運動矢量信息來生成差運動矢量信息，并且確定當使用差運動矢量信息時具有最高編碼效率的幀間預測模式。塊選擇處理單元33根據(jù)正被編碼的運動補償塊的塊大小和與該運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，從相鄰運動補償塊中選擇塊。塊選擇處理單元33僅選擇已以與正被編碼的運動補償塊相同的層級的大小進行了編碼的相鄰運動補償塊，并且將塊選擇結(jié)果輸出到預測運動矢量信息生成單元34。預測運動矢量信息生成單元34使用關于由塊選擇處理單元33選擇的塊的運動矢量信息，生成要用于對關于正被編碼的運動補償塊的運動矢量信息進行編碼的預測運動矢量信息。預測運動矢量信息輸出單元34還將所生成的預測運動矢量信息輸出到運動預測/補償單元32。圖8示出了運動預測/補償單元32和預測運動矢量信息生成單元34的結(jié)構(gòu)。運動預測/補償單元32包括運動搜索單元321、成本函數(shù)值計算單元322、模式確定單元323、運動補償處理單元324和運動矢量/塊大小信息緩沖器325。從屏幕重排緩沖器12提供的重排后的輸入圖像數(shù)據(jù)和從幀存儲器25讀取的參考圖像數(shù)據(jù)被提供到運動搜索單元321。運動搜索單元321以所有候選幀間預測模式進行運動搜索，以檢測運動矢量。運動搜索單元321將表示所檢測的運動矢量的運動矢量信息連同對于已檢測到運動矢量的情況的輸入圖像數(shù)據(jù)和參考圖像數(shù)據(jù)一起輸出到成本函數(shù)值計算單元322。運動矢量信息、輸入圖像數(shù)據(jù)和參考圖像數(shù)據(jù)從運動搜索單元321提供到成本函數(shù)值計算單元322，并且預測運動矢量信息從預測運動矢量信息生成單元34提供到成本函數(shù)值計算單元322。使用運動矢量信息、輸入圖像數(shù)據(jù)、參考圖像數(shù)據(jù)和預測運動矢量信息，成本函數(shù)值計算單元322計算所有候選幀間預測模式下的成本函數(shù)值。如作為H.264/AVC中的參考軟件的JM (聯(lián)合模型)中所指定的，通過高復雜度模式或低復雜度模式的技術(shù)來計算成本函數(shù)值。具體地，在高復雜度模式下，以每種候選預測模式臨時執(zhí)行以無損編碼操作結(jié)束的操作，以計算在每種預測模式下由以下等式(9)表示的成本函數(shù)值:Cost (Mode e Ω ) =D+ λ.R…(9)這里，Ω表示用于對運動補償塊的圖像進行編碼的候選預測模式的全體集合。D表示在以預測模式執(zhí)行編碼的情況下解碼圖像與輸入圖像之間的能量差(失真)。R表示包括正交變換系數(shù)和預測模式信息的比特生成率，并且λ表示作為量化參數(shù)QP的函數(shù)而給出的拉格朗日乘數(shù)。即，為了在高復 雜度模式下執(zhí)行編碼，需要以所有候選預測模式執(zhí)行臨時編碼操作以計算以上參數(shù)D和R，因此，需要較大計算量。另一方面，在低復雜度模式下，以所有候選預測模式生成預測圖像、包含差運動矢量信息和預測模式信息的報頭比特(header bit)等，以計算由以下等式(10)表示的成本函數(shù)值:Cost (Mode e Ω ) =D+QP2Quant (QP).Header-BiI^H(IO)這里，Ω表示用于對運動補償塊的圖像進行編碼的候選預測模式的全體集合。D表示在以預測模式執(zhí)行編碼的情況下解碼圖像與輸入圖像之間的能量差(失真)。Header,Bit表示與預測模式對應的報頭比特，并且QP2Quant是作為量化參數(shù)QP的函數(shù)而給出的函數(shù)。S卩，在低復雜度模式下，需要以每種預測模式執(zhí)行預測操作，但是不需要任何解碼圖像。因此，計算量可以小于高復雜度模式下所需的計算量。如上所述，成本函數(shù)值計算單元322將差運動矢量信息納入考慮來計算成本函數(shù)值，該差運動矢量信息表示由從運動搜索單元321提供的運動矢量信息所表示的運動矢量與由預測運動矢量信息表示的預測運動矢量之間的差。成本函數(shù)值計算單元322將所算出的成本函數(shù)值輸出到模式確定單元323。模式確定單元323將具有最小成本函數(shù)值的模式確定為最優(yōu)幀間預測模式。模式確定單元323還將表示所確定的最優(yōu)幀間預測模式的預測模式信息以及與最優(yōu)幀間預測模式有關的運動矢量信息和差運動矢量信息等輸出到運動補償處理單元324。這里，預測模式信息包含關于運動補償塊的塊大小信息等?；谧顑?yōu)幀間預測模式信息和運動矢量信息，運動補償處理單元324對從幀存儲器25讀取的參考圖像數(shù)據(jù)執(zhí)行運動補償，生成預測圖像數(shù)據(jù)，并且將預測圖像數(shù)據(jù)輸出到預測圖像/最優(yōu)模式選擇單元35。運動補償處理單元324還將關于最優(yōu)幀間預測的預測模式信息、該模式下的差運動矢量信息等輸出到無損編碼單元16。運動矢量/塊大小信息緩沖器325存儲關于最優(yōu)幀間預測模式的運動矢量信息和關于運動補償塊的塊大小信息。運動矢量/塊大小信息緩沖器325還將關于與正被編碼的運動補償塊相鄰的編碼后運動補償塊的運動矢量信息(下文中稱為“相鄰運動矢量信息”)和相應的塊大小信息(下文中稱為“相鄰塊大小信息”)輸出到預測運動矢量信息生成單元34。運動預測/補償單元32執(zhí)行例如在H.264/AVC中指定的具有1/4像素精度的運動預測/補償操作。圖9是用于說明具有1/4像素精度的運動預測/補償操作的圖。在圖9中，位置“A”表示存儲在幀存儲器25中的每個整數(shù)精度像素的位置，位置“b”、“c”和“d”表示1/2像素精度的像素的位置，位置“el”、“e2”和“e3”表示1/4像素精度的像素的位置。在下文中，Clipl O如等式(11)中所示的那樣來定義。[數(shù)學式I]
權(quán)利要求
1.一種圖像處理裝置，用于通過使用以層級結(jié)構(gòu)定義的運動補償塊來執(zhí)行編碼或解碼， 所述圖像處理裝置包括: 塊選擇處理單元，被配置成根據(jù)正經(jīng)受編碼或解碼的當前運動補償塊的塊大小和與所述當前運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，從相鄰運動補償塊中選擇塊；以及 預測運動矢量信息生成單元，被配置成通過使用關于由所述塊選擇處理單元選擇的塊的運動矢量信息，生成要用在對關于所述當前運動補償塊的運動矢量信息的編碼操作或解碼操作中的預測運動矢量信息。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述塊選擇處理單元僅選擇以與所述當前運動補償塊相同的層級的塊大小所編碼的相鄰運動補償塊。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，當已以不同層級的塊大小對要用在中值預測中的三個空間相鄰運動補償塊當中的、相對于所述當前運動補償塊位于右上位置的相鄰運動補償塊進行了編碼時，所述塊選擇處理單元使用左上相鄰運動補償塊來替代右上相鄰運動補償塊。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 當已以與所述當前運動補償塊相同的層級的塊大小對全部所述三個相鄰運動補償塊都進行了編碼時，所述塊選擇處理單元選擇所述三個相鄰運動補償塊，并且 所述預測運動矢量信息生成單元通過使用關于所選擇的三個相鄰運動補償塊的運動矢量信息來執(zhí)行所述中值預 測，以生成所述預測運動矢量信息。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 當已以與所述當前運動補償塊相同的層級的塊大小對所述三個相鄰運動補償塊中的兩個進行了編碼時，所述塊選擇處理單元選擇具有同一層級的塊大小的兩個相鄰運動補償塊，并且 替代執(zhí)行所述中值預測，所述預測運動矢量信息生成單元通過將由關于所選擇的兩個相鄰運動補償塊的運動矢量信息表示的運動矢量的平均值用作預測運動矢量來生成所述預測運動矢量信息。
6.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 當已以與所述當前運動補償塊相同的層級的塊大小對所述三個相鄰運動補償塊中的兩個進行了編碼時，所述塊選擇處理單元選擇具有同一層級的塊大小的兩個相鄰運動補償塊，并且 替代執(zhí)行所述中值預測，所述預測運動矢量信息生成單元選擇關于所選擇的兩個相鄰運動補償塊的運動矢量信息中的一個作為所述預測運動矢量信息，并且連同所述預測運動矢量信息生成用于識別選擇了關于所述兩個相鄰運動補償塊的運動矢量信息中的哪個運動矢量信息的標識信息。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，還包括: 無損解碼單元，被配置成從壓縮圖像信息中提取所述標識信息， 其中，當已以與所述當前運動補償塊相同的層級的塊大小對所述三個相鄰運動補償塊中的兩個進行了編碼時，所述塊選擇處理單元選擇具有同一層級的塊大小的兩個相鄰運動補償塊，并且 所述預測運動矢量信息生成單元基于所提取的標識信息而從關于所選擇的兩個相鄰運動補償塊的運動矢量信息中選擇運動矢量信息，并且將所選擇的運動矢量信息設置為所述預測運動矢量信息。
8.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 當已以與所述當前運動補償塊相同的層級的塊大小對所述三個相鄰運動補償塊之一進行了編碼時，所述塊選擇處理單元選擇具有相同層級的塊大小的一個相鄰運動補償塊，并且 替代執(zhí)行所述中值預測，所述預測運動矢量信息生成單元將關于所選擇的一個相鄰運動補償塊的運動矢量信息設置為所述預測運動矢量信息。
9.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 當沒有以與所述當前運動補償塊相同的層級的塊大小對所述三個相鄰運動補償塊中的任一個進行編碼時，所述塊選擇處理單元不執(zhí)行塊選擇，并且 當沒有選擇任何相鄰運動補償塊時，替代執(zhí)行所述中值預測，所述預測運動矢量信息生成單元將表示零矢量的信息設置為所述預測運動矢量信息。
10.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述塊選擇處理單元選擇以與所述當前運動補償塊相同的層級的塊大小所編碼的時間相鄰運動補償塊，并且 所述預測運動矢量信息生成單元將關于所述時間相鄰運動補償塊的運動矢量信息設置為所述預測運動矢量信息。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中， 所述塊選擇處理單元從要用在中值預測中的空間相鄰運動補償塊和所述時間相鄰運動補償塊中選擇以與所述當前運動補償塊相同的層級的塊大小所編碼的相鄰運動補償塊，并且 所述預測運動矢量信息生成單元選擇空間預測運動矢量信息或時間預測運動矢量信息，并且將所選擇的預測運動矢量信息設置為所述預測運動矢量信息，所述空間預測運動矢量信息是基于關于所述空間相鄰運動補償塊的運動矢量信息而生成的，所述時間預測運動矢量信息是關于所述時間相鄰運動補償塊的運動矢量信息。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，當僅生成了所述空間預測運動矢量信息時，所述預測運動矢量信息生成單元將所述空間預測運動矢量信息設置為所述預測運動矢量信息，而當僅生成了所述時間預測運動矢量信息時，所述預測運動矢量信息生成單元將所述時間預測運動矢量信息設置為所述預測運動矢量信息。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中，當既沒有生成所述空間預測運動矢量信息也沒有生成所述時間預測運動矢量信息時，所述預測運動矢量信息生成單元將表示零矢量的信息設置為所述預測運動矢量信息。
14.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，所述預測運動矢量信息生成單元生成用于標識選擇了所述空間預測運動矢量信息和所述時間預測運動矢量信息中的哪一個的標識信息。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，還包括:無損解碼單元，被配置成從壓縮圖像信息中提取所述標識信息， 其中，所述塊選擇處理單元從所述時間相鄰運動補償塊和所述空間相鄰運動補償塊中選擇以與所述當前運動補償塊相同的層級的塊大小所編碼的相鄰運動補償塊，并且 當所提取的標識信息表示選擇了所述空間預測運動矢量信息時，所述預測運動矢量信息生成單元將所述空間預測運動矢量信息設置為所述預測運動矢量信息，而當所提取的標識信息表示選擇了所述時間預測運動矢量信息時，所述預測運動矢量信息生成單元將關于所述時間相鄰運動補償塊的運動矢量信息設置為所述預測運動矢量信息，所述空間預測運動矢量信息是基于關于所述空間相鄰運動補償塊的運動矢量信息而生成的。
16.一種圖像處理裝置中的圖像處理方法，用于通過使用以層級結(jié)構(gòu)定義的運動補償塊來執(zhí)行編碼或解碼， 所述圖像處理方法包括以下步驟: 根據(jù)正經(jīng)受編碼或解碼的當前運動補償塊的塊大小和與所述當前運動補償塊相鄰的編碼后相鄰運動補償塊的塊大小，從相鄰運動補償塊中選擇塊；以及 通過使用關于所選擇的塊的運動矢量信息，生成要用在對關于所述當前運動補償塊的運動矢量信息的編碼操 作或解碼操作中的預測運動矢量信息。
全文摘要
本發(fā)明使得可以實現(xiàn)高編碼效率。塊選擇處理單元(33)根據(jù)要被處理用于編碼的運動補償塊的塊大小和已被編碼的相鄰運動補償塊的塊大小，從與該運動補償塊相鄰的相鄰運動補償塊中選擇塊。預測運動矢量信息生成單元(34)通過使用所選擇的塊的運動矢量信息，生成關于要編碼的運動補償塊的預測運動矢量信息。運動預測/補償單元(32)通過使用由預測運動矢量信息生成單元(34)生成的預測運動矢量信息，進行幀間預測并生成預測圖像數(shù)據(jù)。
文檔編號H04N7/32GK103168471SQ201180050298
公開日2013年6月19日 申請日期2011年10月17日 優(yōu)先權(quán)日2010年10月25日
發(fā)明者佐藤數(shù)史 申請人:索尼公司