專利名稱：圖像處理裝置、方法和程序的制作方法
技術領域：
本發(fā)明涉及一種圖像處理裝置、方法和程序，更具體地，涉及能夠在使用了相鄰像素的預測處理中執(zhí)行流水線處理(pipeline processing)的圖像處理裝置、方法和程序。
背景技術：
近年來，如下裝置已得到廣泛應用其通過采用將圖像信息處理為數字信號并且利用圖像信息所特有的冗余性、目標在于實時傳輸和存儲高效信息的編碼系統(tǒng)，使圖像經受壓縮編碼，以通過諸如離散余弦變換等的正交變換以及運動補償來壓縮圖像。該編碼方法的示例包括MPEG (運動圖像專家組)等。具體地，MPEG2(IS0/IEC 13818-2)被定義為通用圖像編碼格式，并且是包括隔行掃描圖像與逐行掃描圖像、以及標準分辨率圖像與高清晰度圖像的標準。例如，現(xiàn)在大范圍的應用已將MPEG2廣泛用于專業(yè)用途和消費用途。通過采用MPEG2壓縮格式，在具有例如 720X480像素的標準分辨率的隔行掃描圖像的情況下，分配4Mbps至8Mbps的代碼量(位速率)。通過采用MPEG2壓縮格式，在具有例如1920X 1088像素的高清晰度的隔行掃描圖像的情況下，分配18Mbps至22Mbps的代碼量(位速率)。因而，可以實現(xiàn)高壓縮率和極好的圖像質量。對于MPEG2，主要將適于廣播用途的高圖像質量編碼作為目標，但不處理比 MPEGl (即，具有更高壓縮率的編碼格式)的代碼量低的代碼量(位速率)。由于個人數字助理變得廣泛，已預期從現(xiàn)在起對這樣的編碼格式的需求將增加，并且響應于此，已標準化MPEG4編碼格式。對于圖像編碼格式，其規(guī)范已在1998年12月被確認為如IS0/IEC 14496-2相同的國際標準。另外，近年來，對用作H. ^L(ITU-T Q6/16VCEG)的標準的標準化已隨著將用于電視會議用途的圖像編碼當作目標而取得進展。對于H. ^L，眾所周知，與諸如MPEG2或MPEG4 的傳統(tǒng)編碼格式相比，盡管要求更大的計算量來進行編碼和解碼，但是實現(xiàn)了更高的編碼效率。此外，當前，作為MPEG 4的活動的一部分，已執(zhí)行通過將該H. 26L作為基礎來利用 H. 26L不支持的功能以實現(xiàn)更高的編碼效率的標準化來作為增強壓縮視頻編碼的聯(lián)合模型。對于標準化的進度，H/264和MPEG-4第10部分(高級視頻編碼，下文中稱為H. 264/ AVC)已在2003年3月成為國際標準。另外，作為其擴展，在2005年2月完成了 FRExt (保真度范圍擴展)(包括諸如RGB、 4:2:2、4:4:4等操作所需的編碼工具、以及MEPG-2規(guī)定的SxSDCT和量化矩陣)的標準化。 因此，獲得了能夠使用H. 264/AVC很好地表現(xiàn)包括在電影中的影片噪聲的編碼格式，并且將其用在諸如藍光盤(注冊商標)的廣泛應用中。然而，近來，對更高壓縮編碼(諸如用以壓縮為高清圖像的像素的四倍的約 4000X2000像素的圖像、或者諸如用以在諸如因特網的具有有限傳輸容量的環(huán)境下分發(fā)高清圖像)的需求在增加。因此，上述的ITU-T下的VCEG(=視頻編碼專家組)在繼續(xù)進行與提高編碼效率相關的研究。
與傳統(tǒng)MPEG2格式等相比，可以給出的H/^64/AVC格式實現(xiàn)更高編碼效率的一個因素是幀內預測處理。對于HA64/AVC格式，針對以塊增量為單位的亮度信號幀內預測模式，存在九種類型的4X4像素和8X8像素塊增量預測模式以及四種類型的16X 16像素宏塊增量預測模式，并且對于色差信號幀內預測模式，存在四種類型的8X8像素塊增量預測模式?？梢耘c亮度信號幀內預測模式分開地設置色差信號幀內預測模式。此外，關于亮度信號4X4像素和8X8像素幀內預測模式，針對各4X4像素和 8X8像素亮度信號塊定義一種幀內預測模式。對于亮度信號16X16像素幀內預測模式和色差信號幀內預測模式，針對每個宏塊定義一種預測模式。近年來，在例如NPL 1中提出了用于進一步提高利用H. ^4/AVC格式的幀內預測的效率的方法。參照圖1，將描述作為NPL 1中所提出的幀內預測方法的幀內模板匹配方法。在圖 1中的示例中，示出了在要編碼的當前幀上的4X4像素當前塊A、以及在當前幀內僅由已被編碼的像素構成的預定搜索范圍E。由已被編碼的像素構成的模板區(qū)域B與當前塊A相鄰。例如，在以光柵掃描順序執(zhí)行編碼處理的情況下，模板區(qū)域B是位于當前塊的左側和上側的區(qū)域，并且是解碼圖像存儲在幀存儲器中的區(qū)域，如圖1所示。對于幀內模板匹配方法，在當前幀中的預定搜索范圍E內，使用模板區(qū)域B執(zhí)行例如用于最小化諸如SAD (絕對差和)的代價函數值的匹配處理。結果，搜索與模板區(qū)域B的像素值的相關性最大的區(qū)域B’，并且通過將與所搜索的區(qū)域B’對應的塊A’作為當前塊A 的預測圖像來搜索關于當前塊A的運動矢量。因此，根據幀內模板匹配方法的運動矢量搜索處理將解碼圖像用于模板匹配處理。相應地，通過預先設置預定搜索范圍E，可以在解碼側執(zhí)行與編碼側相同的處理，所以不需要將運動矢量信息發(fā)送至解碼側。因此，提高了幀內預測的效率?，F(xiàn)在，對于根據H. 264/AVC的運動預測補償，如下提高預測效率。例如，對于MEPG2格式，通過線性內插處理執(zhí)行半像素精度運動預測/補償處理。 另一方面，對于H. 264/AVC格式，使用6抽頭FIR(有限脈沖響應濾波器)執(zhí)行四分之一像素精度運動預測/補償處理。此外，對于MEPG2格式，在幀運動補償模式的情況下，通過將16 X 16像素作為增量來執(zhí)行運動預測/補償處理。在場運動補償模式的情況下，通過將16X8個像素作為第一場和第二場中的每場的增量來執(zhí)行運動預測/補償處理。另一方面，對于H. 264/AVC格式，可以以可變塊大小執(zhí)行運動預測/補償處理。 也就是說，對于H. ^4/AVC格式，可以將由16X16個像素組成的一個宏塊劃分成16X16、 16X8、8X16或8X8中的任一分區(qū)，其中，每一個均具有獨立的運動矢量信息。此外，可以將8X8分區(qū)劃分成8X8、8X4、4X8或4X4中的任一子分區(qū)，其中，每一個均具有獨立的
運動矢量信息。然而，對于H. 264/AVC格式，執(zhí)行上述四分之一像素精度和可變塊運動預測/補償處理造成生成大量運動矢量信息，這在按原樣對其編碼的情況下會導致編碼效率的劣化。因此，已提出了通過如下方法來抑制編碼效率的劣化通過使用相鄰塊的運動矢量信息的中值運算(median operation)，生成現(xiàn)在要編碼的當前塊的預測運動矢量信息?，F(xiàn)在，即使對于中值預測，運動矢量信息在圖像壓縮信息中的百分比也不小。因此，已提出了 NPL 2中所述的幀間模板匹配方法。該方法是如下方法其從解碼圖像中搜索關于作為解碼圖像的一部分的模板區(qū)域中的解碼圖像具有大相關性的、并且以預定位置關系與要編碼的圖像的區(qū)域相鄰的圖像的區(qū)域，并且基于與所搜索的區(qū)域的預定位置關系執(zhí)行預測。將參照圖2描述NPL 2中所提出的幀間模板匹配方法。對于圖2中的示例，示出了要編碼的當前幀(圖片)和在搜索運動矢量時參考的參考幀。在當前幀中示出了要編碼的當前塊A以及與當前塊A相鄰且由已被編碼的像素組成的模板區(qū)域B。例如，在以光柵掃描順序執(zhí)行編碼處理的情況下，模板區(qū)域B是位于當前塊A的左側和上側的區(qū)域，并且是解碼圖像存儲在幀存儲器中的區(qū)域。對于幀間模板匹配方法，在當前幀的預定搜索范圍E內執(zhí)行將例如SAD等作為代價函數值的模板匹配處理，并且搜索與模板區(qū)域B的像素值的相關性最大的區(qū)域B’。將與所搜索的區(qū)域B’對應的塊A’當作當前塊A的預測圖像，并且搜索關于當前塊A的運動矢量P。對于該幀間模板匹配方法，使用解碼圖像來進行匹配，因此，通過預先設置搜索范圍，可以在解碼側執(zhí)行與編碼側相同的處理。也就是說，通過也在解碼側執(zhí)行如上所述的相同預測/補償處理，不需要將運動矢量信息保持(hold)在來自編碼側的壓縮信息中，因此， 可以抑制編碼效率的劣化?，F(xiàn)在，也將宏塊大小定義為具有H. 264/AVC格式的16像素X 16像素，但16X 16 像素的宏塊大小對于諸如具有作為下一代編碼格式的目標的UHD(超高分辨率；4000像素X4000像素)的大圖像幀而言不是最佳的。因此，NPL 3等中提出了使宏塊大小為例如32像素X 32像素。引用列表非專利文獻NPL 1 ‘‘ Intra Prediction by Template Matching ‘‘ , Τ. K. Tan et al, ICIP2006"NPL 2 " Inter Frame Coding with Template Matching Averaging" , Y. Suzuki et al, ICIP2007NPL 3 “ Video Coding Using Extended Block Sizes “ ， Study Group 16 Contribution 123, ITU,January 2009

發(fā)明內容
技術問題現(xiàn)在，參照圖3，考慮在幀內或幀間模板匹配預測處理中以4X4像素塊增量執(zhí)行處理的情況。對于圖3的示例，示出了 16X16像素宏塊，其中，所示出的由8X8個像素構成的子宏塊在宏塊內位于宏塊的左上部。該子宏塊由左上塊0、右上塊1、左下塊2和右下塊3 構成，每個塊均由4X4個像素構成。
在例如塊1處執(zhí)行模板匹配預測處理的情況下，需要包括在與塊1在左上部和上部相鄰的左上部和上部模板區(qū)域Pl中的像素和在左部相鄰的左部模板區(qū)域P2中的像素的
像素值。注意，已獲得包括在左上部和上部模板區(qū)域Pl中的像素作為解碼圖像，但為了獲得包括在左部模板區(qū)域P2中的像素的像素值，需要關于塊0的解碼圖像。也就是說，難以在對塊0的模板匹配預測處理、差分處理、正交變換處理、量化處理、逆量化處理、逆正交變換處理等結束以前開始關于塊1的處理。因此，對于傳統(tǒng)的模板匹配預測處理，很難在塊0和塊1處執(zhí)行流水線處理。這不僅適用于模板匹配預測處理，而且同樣適用于作為使用相鄰像素進行預測處理的以H. 264/AVC為格式的幀內預測處理。本發(fā)明是鑒于這一情況而作出的，本發(fā)明使得能夠在使用了相鄰像素的預測處理中執(zhí)行流水線處理。問題的解決方案根據本發(fā)明的一方面的圖像處理裝置包括預測部件，被配置成使用與構成圖像預定塊的塊相鄰的相鄰像素來執(zhí)行所述塊的預測；以及相鄰像素設置部件，被配置成在所述相鄰像素屬于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。在所述相鄰像素存在于所述預定塊之外的情況下，所述相鄰像素設置部件可以把所述相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素。在所述塊的位置在所述預定塊內的左上位置處的情況下，在所述相鄰像素當中， 可以把存在于所述預定塊之外的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的解碼圖像設置為要用于所述預測的所述相鄰像素。在所述塊的位置在所述預定塊內的右上位置處的情況下，在所述相鄰像素當中， 把存在于所述預定塊之外的上方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中，可以把屬于所述預定塊內的左方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。在所述塊的位置在所述預定塊內的左下位置處的情況下，在所述相鄰像素當中， 把存在于所述預定塊之外的左方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中，可以把屬于所述預定塊內的上方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。在所述塊的位置在所述預定塊內的右下位置處的情況下，在所述相鄰像素當中， 可以把屬于所述預定塊內的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的預測圖像設置為要用于所述預測的所述相鄰像素。在由上方和下方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的上位置處的情況下，在所述相鄰像素當中，可以把存在于所述預定塊之外的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的解碼圖像設置為要用于所述預測的所述相鄰像素。在由上方和下方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的下位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的左方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中，可以把屬于所述預定塊內的上方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。在由左方和右方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的左位置處的情況下，可以把存在于所述預定塊之外的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的解碼圖像設置為要用于所述預測的所述相鄰像素。在由左方和右方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的右位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的上方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中，可以把屬于所述預定塊內的左方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。所述預測部件可以使用所述相鄰像素作為模板以通過所述模板的匹配來執(zhí)行關于所述塊的所述預測。所述預測部件可以使用所述相鄰像素作為模板以通過所述模板的匹配來執(zhí)行也關于所述塊的色差信號的所述預測。所述預測部件可以使用所述相鄰像素執(zhí)行幀內預測作為關于所述塊的所述預測。圖像處理裝置可以進一步包括解碼部件，被配置成對編碼塊的圖像進行解碼； 其中，在所述預測部件使用所述相鄰像素的預測圖像執(zhí)行所述預定塊的預測處理時，所述解碼部件對包括所述相鄰像素的預測圖像的塊的圖像進行解碼。根據本發(fā)明的一方面的圖像處理方法包括以下步驟使用與構成圖像預定塊的塊相鄰的相鄰像素來執(zhí)行所述塊的預測的圖像處理裝置執(zhí)行處理以在所述相鄰像素存在于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素；以及使用已被設置的所述相鄰像素執(zhí)行所述塊的預測。根據本發(fā)明的一方面的程序使得使用與構成圖像預定塊的塊相鄰的相鄰像素來執(zhí)行所述塊的預測的圖像處理裝置的計算機執(zhí)行包括以下步驟的處理在所述相鄰像素存在于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素；以及使用已被設置的所述相鄰像素執(zhí)行所述塊的預測。根據本發(fā)明的一方面，塊的預測，使用相鄰像素執(zhí)行塊的預測的圖像處理裝置執(zhí)行處理以在與構成圖像的編碼預定塊的塊相鄰的相鄰像素屬于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。使用已被設置的所述相鄰像素執(zhí)行所述塊的預測。注意，每個上述圖像處理裝置可以是獨立的裝置，或者可以是構成單個圖像編碼裝置或圖像解碼裝置的內部塊。發(fā)明的有利效果根據本發(fā)明的一方面，可對圖像進行解碼。而且，根據本發(fā)明的一方面，可利用使用了相鄰像素的預測處理來執(zhí)行流水線處理。


圖1是描述幀內模板匹配方法的圖。
圖2是描述幀間模板匹配方法的圖。圖3是描述傳統(tǒng)模板的圖。圖4是示出應用了本發(fā)明的圖像編碼裝置的實施例的配置的框圖。圖5是用于描述可變塊大小運動預測和補償處理的圖。圖6是用于描述具有1/4像素精度的運動預測和補償處理的圖。圖7是用于描述多參考幀的運動預測和補償方法的圖。圖8是用于描述運動矢量信息生成方法的示例的圖。圖9是示出幀內模板運動預測/補償的詳細配置示例的框圖。圖10是示出用于預測當前塊的模板的圖。圖11是示出在由2X2個塊構成的宏塊中的當前塊的示例的圖。圖12是示出由上下兩個塊構成的宏塊中的當前塊的示例的圖。圖13是示出由左右兩個塊構成的宏塊中的當前塊的示例的圖。圖14是用于描述圖2中的圖像編碼裝置的編碼處理的流程圖。圖15是用于描述圖14中的步驟S21的預測處理的流程圖。圖16是用于描述在16X 16像素幀內預測模式的情況下的處理序列的圖。圖17是示出亮度信號的4X4像素幀內預測模式的種類的圖。圖18是示出亮度信號的4X4像素幀內預測模式的種類的圖。圖19是用于描述4X4像素幀內預測的方向的圖。圖20是用于描述4 X 4像素幀內預測的圖。圖21是用于描述對亮度信號的4X4像素幀內預測模式的編碼的圖。圖22是示出亮度信號的8X8像素幀內預測模式的種類的圖。圖23是示出亮度信號的8X8像素幀內預測模式的種類的圖。圖M是示出亮度信號的16X 16像素幀內預測模式的種類的圖。圖25是示出亮度信號的16X 16像素幀內預測模式的種類的圖。圖沈是用于描述16X 16像素幀內預測的圖。圖27是示出色差信號的幀內預測模式的種類的圖。圖28是用于描述圖15的步驟S31中的幀內預測處理的流程圖。圖四是用于描述圖15的步驟S32中的幀間運動預測處理的流程圖。圖30是用于描述圖15的步驟S33中的幀內模板運動預測處理的流程圖。圖31是用于描述圖15的步驟S35中的幀間模板運動預測處理的流程圖。圖32是用于描述圖30的步驟S61中或圖31的步驟S71中的模板像素設置處理的流程圖。圖33是用于描述模板像素設置的優(yōu)點的圖。圖34是示出應用了本發(fā)明的圖像解碼裝置的實施例的配置示例的框圖。圖35是用于描述圖34中的圖像解碼裝置的解碼處理的流程圖。圖36是用于描述圖35的步驟S138中的預測處理的流程圖。圖37是示出應用了本發(fā)明的圖像編碼裝置的另一實施例的配置的框圖。圖38是示出幀內預測單元的詳細配置示例的框圖。圖39是用于描述圖14的步驟S21中的預測處理的另一示例的流程圖。
圖40是用于描述圖39的步驟S201中的幀內預測處理的流程圖。圖41是示出應用了本發(fā)明的圖像解碼裝置的另一實施例的配置示例的框圖。圖42是用于描述圖35的步驟S138中的預測處理的另一示例的流程圖。圖43是示出計算機的硬件的配置示例的框圖。
具體實施例方式現(xiàn)在將參照附圖描述本發(fā)明的實施例。注意，將按以下順序進行描述。1.第一實施例(相鄰像素設置模板匹配預測的示例)2.第二實施例(相鄰像素設置幀內預測的示例)<1.第一實施例>[圖像編碼裝置的配置示例]圖4示出用作應用了本發(fā)明的圖像處理裝置的圖像編碼裝置的實施例的配置。除非特別另外聲明外，圖像編碼裝置1對具有H. 264和MPEG-4第10部分(高級視頻編碼)(下文中寫為HJ64/AVC)格式的圖像進行壓縮編碼。也就是說，在實踐中，對于圖像編碼裝置1，也使用以上利用圖1或圖2描述的模板匹配方法，因此，除了其他模板匹配方法外，以H. 264/AVC格式進行圖像壓縮編碼。在圖4的示例中，圖像編碼裝置1包括A/D轉換器11、畫面重排緩沖器12、計算單元13、正交變換單元14、量化單元15、無損編碼單元16、存儲緩沖器17、逆量化單元18、逆正交變換單元19、計算單元20、去塊(deblocking)濾波器21、幀存儲器22、開關23、幀內預測單元對、幀內模板運動預測/補償單元25、運動預測/補償單元沈、幀間模板運動預測/ 補償單元27、模板像素設置單元觀、預測圖像選擇單元四和速率控制單元30。注意，以下將幀內模板運動預測/補償單元25和幀間模板運動預測/補償單元27 各自稱為幀內TP運動預測/補償單元25和幀間TP運動預測/補償單元27。A/D轉換器11執(zhí)行輸入圖像的A/D轉換，并且輸出到畫面重排緩沖器12以將其存儲。畫面重排緩沖器12對所存儲的顯示順序的幀的圖像按照用于根據GOP(圖片組)編碼的幀的順序進行重排。計算單元13將從自畫面重排緩沖器12讀出的圖像減去預測圖像選擇單元四所選的、來自幀內預測單元M的預測圖像或來自運動預測/補償單元26的預測圖像，并且將其差異信息輸出到正交變換單元14。正交變換單元14對來自計算單元13的差異信息執(zhí)行諸如離散余弦變換或卡亨南-洛維(Karhimen-Lc^ve)變換等的正交變換，并且輸出其變換系數。量化單元15對正交變換單元14輸出的變換系數進行量化。從量化單元15輸出的量化后的變換系數被輸入到無損編碼單元16，在該無損編碼單元中，對這些變換系數進行諸如可變長編碼、算術編碼等的無損編碼并壓縮。無損編碼單元16從幀內預測單元M獲得表示幀內預測和幀內模板預測的信息， 并且從運動預測/補償單元沈獲得表示幀間預測和幀間模板預測的信息。注意，下文中還將表示幀內預測和幀內模板預測的信息稱為幀內預測模式信息和幀內模板預測模式信息。 此外，下文中還將表示幀間預測和幀間模板預測的信息稱為幀間預測模式信息和幀間模板預測模式信息。無損編碼單元16對量化后的變換系數進行編碼，并且還對表示幀內預測和幀內模板預測的信息、表示幀間預測和幀間模板預測的信息等進行編碼，并且使其成為壓縮圖像的報頭信息的一部分。無損編碼單元16將編碼數據提供到存儲緩沖器17以將其存儲。例如，利用無損編碼單元16，執(zhí)行無損編碼處理，諸如，可變長編碼或算術編碼等。 可變長編碼的示例包括由H. 264/AVC格式等規(guī)定的CAVLC(上下文自適應的可變長編碼)。 算術編碼的示例包括CABAC (上下文自適應的二進制算術編碼)。存儲緩沖器17將從無損編碼單元16提供的數據作為按H. 264/AVC格式編碼的壓縮圖像輸出到例如未示出的下游記錄裝置或傳輸路徑等。此外，從量化單元15輸出的、量化后的變換系數還被輸入到逆量化單元18并被逆量化，并且接著在逆正交變換單元19處進一步經受了逆正交變換。計算單元20將經受了逆正交變換的輸出與從預測圖像選擇單元四提供的預測圖像相加，并且將其改變成局部解碼圖像。去塊濾波器21去除解碼圖像中的塊噪聲，并且接著將其提供給幀存儲器22以進行存儲。幀存儲器22還接收在去塊濾波器21進行去塊濾波處理之前提供的圖像，并將其存儲。開關23將存儲在幀存儲器22中的參考圖像輸出到運動預測/補償單元沈或幀內預測單元對。對于圖像編碼裝置1，例如，來自畫面重排緩沖器12的I圖片、B圖片以及P圖片作為用于幀內預測(也稱為幀內處理)的圖像被提供給幀內預測單元M。另外，將從畫面重排緩沖器12讀出的B圖片和P圖片作為用于幀間預測(也稱為幀間處理)的圖像提供給運動預測/補償單元沈。幀內預測單元對基于從畫面重排緩沖器12讀出的用于幀內預測的圖像以及從幀存儲器22提供的參考圖像，執(zhí)行對全部候選幀內預測模式的幀內預測處理，并且生成預測圖像。此外，幀內預測單元M將從畫面重排緩沖器12讀出的用于幀內預測的圖像和用于預測的塊的信息(地址)提供給幀內TP運動預測/補償單元25。幀內預測單元M針對全部候選幀內預測模式計算代價函數值。幀內預測單元M 將給出所算出的代價函數值和幀內TP運動預測/補償單元25針對幀內模板預測模式而計算出的代價函數值中的最小值的預測模式確定為最佳幀內預測模式。幀內預測單元M將在最佳幀內預測模式下所生成的預測圖像和該最佳幀內預測模式的代價函數值提供給預測圖像選擇單元四。在預測圖像選擇單元四選擇了在最佳幀內預測模式下所生成的預測圖像的情況下，幀內預測單元M將與最佳幀內預測模式相關的信息(幀內預測模式信息或幀內模板預測模式信息)提供給無損編碼單元16。無損編碼單元16對該信息進行編碼以使其成為壓縮圖像中的報頭信息的一部分。對幀內TP運動預測/補償單元25輸入來自幀內預測單元M的用于幀內預測的圖像和當前塊的地址。幀內TP運動預測/補償單元25根據當前塊的地址計算與要用作模板的當前塊相鄰的相鄰像素的地址，并且將該信息提供給模板像素設置單元觀。幀內TP運動預測/補償單元25使用幀存儲器22中的參考圖像，以利用這些圖像執(zhí)行幀內模板預測模式下的運動預測和補償處理，并且生成預測圖像。此時，在幀內TP運動預測/補償單元25處使用由模板像素設置單元觀以解碼圖像或預測圖像之一設置的相鄰像素構成的模板。然后，幀內TP運動預測/補償單元25針對幀內模板預測模式計算代價函數值，并且將所算出的代價函數值和預測圖像提供給幀內預測單元24。
運動預測/補償單元沈針對全部候選幀間預測模式執(zhí)行運動預測和補償處理。也就是說，經由開關23向運動預測/補償單元沈提供從畫面重排緩沖器12讀出的用于幀內處理的圖像和從幀存儲器22提供的參考圖像?；谟糜趲瑑忍幚淼膱D像和參考圖像，幀間 TP運動預測/補償單元沈檢測全部候選幀間預測模式的運動矢量，基于運動矢量使參考圖像經受補償處理，并且生成預測圖像。此外，運動預測/補償單元沈將從畫面重排緩沖器 12讀出的用于幀內處理的圖像和用于預測的塊的信息(地址)提供給幀間TP運動預測/ 補償單元27。運動預測/補償單元沈針對全部候選幀間預測模式計算代價函數值。運動預測/ 補償單元沈將給出幀間預測模式的代價函數值和來自幀間TP運動預測/補償單元27的幀間模板預測模式的代價函數值中的最小值的預測模式確定為最佳幀間預測模式。運動預測/補償單元沈將通過最佳幀間預測模式生成的預測圖像和該最佳幀間預測模式的代價函數值提供給預測圖像選擇單元四。在預測圖像選擇單元四選擇了在最佳幀間預測模式下所生成的預測圖像的情況下，將表示最佳幀間預測模式的信息(幀間預測模式信息或幀間模板預測模式信息)輸出到無損編碼單元16。注意，如果需要，還將運動矢量信息、標記信息、參考幀信息等輸出到無損編碼單元16。無損編碼單元16還使來自運動預測/補償單元沈的信息經受諸如可變長編碼、算術編碼等無損編碼，并且將其插入壓縮圖像的報頭部分。幀間TP運動預測/補償單元27被輸入有來自運動預測/補償單元沈的用于幀間預測的圖像和當前塊的地址。幀間TP預測/補償單元27根據當前塊的地址計算與要用作模板的當前塊相鄰的相鄰像素的地址，并且將該信息提供給模板像素設置單元觀。此外，幀間TP運動預測/補償單元27使用來自幀存儲器22的參考圖像來執(zhí)行模板預測模式下的運動預測和補償處理，并且生成預測圖像。此時，幀間TP運動預測/補償單元27使用由模板像素設置單元觀以解碼圖像和預測圖像之一設置的相鄰像素構成的模板。然后，幀間TP運動預測/補償單元27針對幀間模板預測模式計算代價函數值，并且將所算出的代價函數值和預測圖像提供給運動預測/補償單元26。模板像素設置單元觀設置要將相鄰像素的解碼像素或相鄰像素的預測像素中的哪一個用作用于當前塊的模板匹配預測的模板的相鄰像素。根據當前塊的相鄰像素是否屬于宏塊(或子宏塊)，在模板像素設置單元觀處設置要使用哪些相鄰像素。注意，當前塊的相鄰像素是否屬于宏塊根據當前塊在宏塊內的位置而不同。也就是說，模板像素設置單元觀根據當前塊在宏塊內的位置設置要使用哪些相鄰像素。已設置的模板的相鄰像素的信息被提供給幀內TP運動預測/補償單元25或幀間 TP運動運動預測/補償單元27。預測圖像選擇單元四基于從幀內預測單元M或運動預測/補償單元沈輸出的代價函數值，從最佳幀內預測模式和最佳幀間預測模式中確定最佳預測模式。預測圖像選擇單元四接著選擇已被確定的最佳預測模式的預測圖像，并且將其提供給計算單元13和 20。此時，預測圖像選擇單元四將預測圖像的選擇信息提供給幀內預測單元M或運動預測/補償單元26。速率控制單元30基于存儲在存儲緩沖器17中的壓縮圖像，控制量化單元15的量化操作的速率，以使得不發(fā)生上溢或下溢。
[H. 264/AVC 的描述]圖5是根據H. ^4/AVC格式的運動預測/補償中的塊大小的示例的圖。對于 H. 264/AVC格式，以可變塊大小執(zhí)行運動預測/補償處理。在圖5中的上排(tier)，從左開始按順序示出了由被劃分成16X16像素、16X8 像素、8X16像素以及8X8像素的分區(qū)的16X16個像素構成的宏塊。另外，在圖5中的下排，從左開始按順序示出了由被劃分成8X8像素、8X4像素、4X8像素以及4X4像素的子分區(qū)的8X8像素構成的分區(qū)。也就是說，對于H. 264/AVC格式，宏塊可以被劃分成16 X 16像素、16 X 8像素、 8X16像素或8X8像素中的任一種的分區(qū)，其中每個分區(qū)具有獨立的運動矢量信息。另外， 8X8像素分區(qū)可以被劃分成8X8像素、8X4像素、4X8像素以及4X4像素中的任一種的子分區(qū)，其中每個子分區(qū)具有獨立的運動矢量信息。圖6是用于描述利用H. 264/AVC格式的四分之一像素精度預測/補償處理的圖。 對于H. 264/AVC格式，使用6抽頭FIR(有限脈沖響應濾波器)濾波器執(zhí)行四分之一像素精度預測/補償處理。在圖6的示例中，位置A表示整數精度像素位置，位置b、c和d表示半像素精度位置，位置el、e2和e3表示四分之一像素精度位置。首先，在下文中，如以下表達式(1)那樣定義ClipO。[數學表達式1]0;如果(&<0)Clipl (a) = a ；其他—(1)max_pix ；如果(a > max_pix)注意，在輸入圖像具有8位精度的情況下，max_pix的值為255。使用6抽頭FIR濾波器如以下表達式( 那樣生成位置b和d處的像素值。[數學表達式2]F = Α_2-5 · Α_!+20 · A0+20 · A「5 · A2+A3b, d = Clipl ((F+16) >> 5)— (2)在水平方向和豎直方向上使用6抽頭HR濾波器，如以下表達式C3)那樣生成位置c處的像素值。[數學表達式3]
F = b_2-5 · b_!+20 · b0+20 · b「5 · b2+b3或者F = d_2_5 · c^+20 · d0+20 · d「5 · d2+d3c = Clipl ((F+512) >> 10)...(3)注意，在執(zhí)行了水平方向和豎直方向上的乘積和(product-sum)處理之后，最后僅執(zhí)行Clip處理一次。如以下表達式(4)那樣，通過線性內插生成位置el至e3。[數學表達式4]θι = (A+b+1) >> 1e2 = (b+d+1) >> 1
13
e3 = (b+c+1) >> 1 ... (4)圖7是描述H. 264/AVC格式的多參考幀的運動預測/補償處理的圖。H. 264/AVC 格式規(guī)定多參考幀(Multi-Reference Frame)的運動預測/補償方法。在圖7的示例中，示出了要從現(xiàn)在起編碼的當前幀而和已編碼的幀而-5，…， 而-1。幀而-1是在當前幀1 之前的第一個幀，幀而-2是在當前幀1 之前的第二個幀， 幀而_3是在當前幀1 之前的第三個幀。此外，幀而-4是在當前幀1 之前的第四個幀，幀 Fn-5是在當前幀1 之前的第五個幀。通常，在時軸上幀越靠近當前幀而，所附的參考圖片號(ref_id)就越小。也就是說，參考圖片號對于幀而-1而言最小，此后，參考圖片號按 Fn-2，…，F(xiàn)n-5的順序越來越小。在當前幀1 中顯示了塊Al和塊A2，其中，對于塊Al，由于與向后兩個幀而_2中的塊Al’的相關性，得到了運動矢量VI。此外，對于塊A2，由于與向后四個幀而-4中的塊 Al’的相關性，得到了運動矢量V2。如上所述，對于H. 254/AVC格式，多參考幀存儲在存儲器中，并且對于一個幀(圖片)，可以參考不同的參考幀。即，一幅圖片中的每個塊均可以具有獨立的參考幀信息(參考圖片號(ref_id))，例如，諸如參考幀而-2的塊Al、參考幀而-4的塊A2等。對于H. 264/AVC格式，如以上參照圖5至圖7所描述的那樣執(zhí)行運動預測/補償處理，造成了產生大量運動矢量信息，這導致如果按原樣編碼的情況下編碼效率的劣化。相反，對于H. 264/AVC格式，利用圖8所示的方法實現(xiàn)運動矢量的編碼信息的減少。圖8是描述利用H. 2M/AVC格式的運動矢量信息生成方法的圖。圖8的示例示出了從現(xiàn)在起要編碼的當前塊E以及已被編碼且與當前塊E相鄰的塊A至D。也就是說，塊D位于與當前塊E的左上部相鄰之處，塊B位于與當前塊E的上部相鄰之處，塊C位于與當前塊E的右上部相鄰之處，塊A位于與當前塊E的左部相鄰之處。注意，未將塊A至D分割的原因在于為了表現(xiàn)它們是以上在圖5中所描述的16X16像素至 4X4像素的構成之一的塊。例如，將關于X( = A，B，C，D，E)的運動矢量信息表達為mvx。首先，使用與塊A、B 和C相關的運動矢量信息，如以下表達式(5)中所示的那樣生成關于當前塊E的預測運動矢量信息(運動矢量的預測值)pmvE。pmvE = med (mvA, mvB，mvc)... (5)在與塊C相關的運動矢量信息由于諸如在圖像幀的邊緣處或者還未被編碼等原因而不能使用(不可用)的情況下，用與塊D相關的運動矢量信息來取代與塊C相關的運
動矢量信息。使用pmvE，如以下表達式(6)那樣生成要與壓縮圖像的報頭部分相加的數據mvdE， 作為關于當前塊E的運動矢量信息。mvdE = mvE-pmvE…(6)注意，實際上，針對運動矢量信息的水平方向和豎直方向的各分量獨立地執(zhí)行處理。因此，可以通過如下操作減少運動矢量信息生成預測運動矢量信息，并且將根據與相鄰塊的相關性生成的預測運動矢量信息與運動矢量信息之間的差與壓縮圖像的報頭部分相加。
現(xiàn)在，即使對于中值預測，運動矢量信息在圖像壓縮信息中的百分比也不小。因此，對于圖像編碼裝置1，使用了由以預定位置關系與要編碼的圖像的區(qū)域相鄰的像素組成的模板，因此還針對不需要將運動矢量發(fā)送至解碼側的模板預測模式來執(zhí)行運動預測補償處理。此時，在圖像編碼裝置1處設置要用于模板的像素。[幀內TP運動預測/補償單元的詳細配置示例]圖9是示出幀內TP運動預測/補償單元的詳細配置示例的框圖。在圖9的示例中，幀內TP運動預測/補償單元25由當前塊地址緩沖器41、模板地址計算單元42和模板匹配預測補償單元43構成。來自幀內預測單元M的當前塊地址被提供給當前塊地址緩沖器41。盡管圖中未示出，但是來自幀內預測單元M的用于幀內預測的圖像被提供給模板匹配預測補充單元 43。當前塊地址緩沖器41存儲已從幀內預測單元M提供的用于預測的當前塊地址。 模板地址計算單元42使用存儲在當前塊地址緩沖器41中的當前塊地址來計算組成模板的相鄰像素的地址。模板地址計算單元42將所算出的相鄰像素地址作為模板地址提供給模板像素設置單元觀和模板匹配預測補償單元43。模板像素設置單元觀基于來自模板地址計算單元42的模板地址，確定解碼圖像和預測圖像中的哪種將用于模板的相鄰像素，并且將該信息提供給模板匹配預測補償單元 43。模板匹配預測補償單元43讀出存儲在當前塊地址緩沖器41中的當前塊地址。對模板匹配預測補償單元43提供來自幀內預測單元M的用于幀內預測的圖像、來自模板地址計算單元42的模板地址和來自模板像素設置單元觀的相鄰像素的信息。模板匹配預測補償單元43從幀存儲器22讀出參考圖像，并且使用通過模板像素設置單元觀已設置的相鄰像素的模板來執(zhí)行模板預測模式運動預測，并且生成預測圖像。 該預測圖像被存儲在未示出的內部緩沖器中。具體地，模板匹配預測補償單元43參考模板地址，并且從幀存儲器22讀出模板像素設置單元觀已設置為使用解碼像素的模板的相鄰像素的像素值。此外，模板匹配預測補償單元43參考模板地址，并且從內部緩沖器讀出模板像素設置單元觀已設置為使用預測像素的模板的相鄰像素的像素值。然后，模板匹配預測補償單元43在從幀存儲器22讀出的參考圖像中搜索從幀存儲器22或內部緩沖器讀出的相鄰像素之中與模板模式存在相關性的區(qū)域。另外，通過將與所搜索的區(qū)域相鄰的塊作為與要進行預測的塊對應的塊來獲得預測圖像。此外，模板匹配預測補償單元43使用來自幀內預測單元M的用于幀內預測的圖像來計算模板預測模式的代價函數值，并且將其與預測圖像一起提供給幀內預測單元M。盡管將省略對其的描述，但是幀間TP運動預測/補償單元27基本上以與圖9所示的幀內TP運動預測/補償單元25相同的方式配置。因此，圖9的功能塊將同樣用于描述幀間TP運動預測/補償單元27。S卩，與幀內TP運動預測/補償單元25相同的方式，幀間TP運動預測/補償單元 27由當前塊地址緩沖器41、模板地址計算單元42和模板匹配預測補償單元43構成。[相鄰像素設置處理的示例]
圖10示出用于預測當前塊的模板的示例。在圖10的模板的情況下，示出了由 16X 16個像素組成的宏塊MB，宏塊MB由8X8像素的四個子宏塊SBO至SB3組成。每個子宏塊SMB均由以4 X 4個像素組成的四個塊BO至B3構成。注意，按子宏塊SBO至SB3的順序(光柵掃描順序)執(zhí)行在該情況下的宏塊MB的處理，并且在每個子宏塊SMB處，按塊BO至B3的順序(光柵掃描順序)執(zhí)行處理。注意，用于預測當前塊的模板由與當前塊以預定位置關系相鄰的區(qū)域組成，并且包括在該區(qū)域中的像素的像素值用于預測。例如，這是當前塊的上部、左上部和左部等，并且以下將描述被劃分成上部區(qū)域U、左上部區(qū)域LU和左部區(qū)域L這三個區(qū)域的模板。在圖10的模板中，示出了子宏塊SMBO的塊Bl是作為預測對象的塊的情況以及子宏塊SMB3的塊Bl是作為預測對象的塊的情況。在子宏塊SMBO的塊Bl是作為預測對象的塊的情況下，在與子宏塊SMBO的塊Bl相鄰的模板之中，上部區(qū)域U和左上部區(qū)域LU存在于宏塊MB和子宏塊SMBO外。也就是說， 已生成包括在上部區(qū)域U和左上部區(qū)域LU中的相鄰像素的解碼圖像，所以模板像素設置單元觀設置使用解碼圖像作為包括在上部區(qū)域U和左上部區(qū)域LU中的相鄰像素。相反，左部區(qū)域L屬于宏塊MB和子宏塊SMBO內。也就是說，未處理包括在左部區(qū)域L中的相鄰像素的解碼圖像，所以模板像素設置單元觀使用預測圖像作為包括在左部區(qū)域L中的相鄰像素。因而，模板像素設置單元觀根據是否屬于當前宏塊(子宏塊)內，設置要使用解碼圖像或預測圖像中的哪一個作為相鄰像素。也就是說，對于圖像編碼裝置1的模板預測模式，如果需要，不僅使用解碼圖像作為組成用于當前塊的模板的相鄰像素，而且還使用預測圖像作為組成用于當前塊的模板的相鄰像素。具體地，在相鄰像素屬于當前宏塊(子宏塊)的情況下，使用預測圖像。因此，在子宏塊SMBO處，甚至可以在無需等待補償處理的情況下開始對塊Bl的處理，其中，該補償處理是生成塊BO的解碼圖像的處理。注意，在子宏塊SMB3的塊Bl是用于預測的塊的情況下，在與子宏塊SMB3的塊Bl 相鄰的模板之中，上部區(qū)域U和左上部區(qū)域LU存在于子宏塊SMB3外。然而，這些上部區(qū)域 U和左上部區(qū)域LU存在于宏塊MB內。在這種情況下，可使用解碼像素作為相鄰像素，或者可使用預測像素作為相鄰像素。在后一種情況下，可以開始對子宏塊SMB3的處理而無需等待對子宏塊SMBl的補償處理結束，所以可以更快地執(zhí)行處理。注意，下文中，將描述由當前塊組成的塊作為宏塊，但還將包括子宏塊的情況。圖11是示出根據當前塊在宏塊中的位置的模板的示例的圖。對于圖11中的示例A，示出了按光柵掃描順序處于第一位置處的塊BO是當前塊的情況的示例。也就是說，存在當前塊位于宏塊的左上部的情況。在這種情況下，解碼圖像可以用于包括在關于當前塊BO的模板之中的上部區(qū)域U、左上部區(qū)域LU和左部區(qū)域L中的全部相鄰像素。對于圖11中的示例B，示出了按光柵掃描順序處于第二位置處的塊Bl是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的右上部的情況。在這種情況下，將解碼圖像設置為用于包括在關于當前塊Bl的模板的上部區(qū)域U和左上部區(qū)域LU中的相鄰像素。此外，將預測圖像設置為用于包括在關于當前塊Bl的模板的左部區(qū)域L中的相鄰像素。對于圖11的示例C，示出了按光柵掃描順序處于第三位置處的塊B2是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的左下部的情況。在這種情況下，將解碼圖像設置為用于包括在關于當前塊B2的模板的左上部區(qū)域LU和左部區(qū)域L中的相鄰像素。此外，將預測圖像設置為用于包括在關于當前塊B2的模板的上部區(qū)域U中的相鄰像素。對于圖11中的示例D，示出了按光柵掃描順序處于第四位置處的塊B3是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的右下部的情況。在這種情況下，將預測圖像設置為用于包括在關于當前塊B3的模板的上部區(qū)域U左上部區(qū)域LU和左部區(qū)域L中的全部相鄰像素?，F(xiàn)在，盡管以上關于宏塊(或子宏塊)被劃分為四個的示例進行了描述，但是該布置不限于此。以與將宏塊(或子宏塊)劃分成例如兩個的情況相同的方式根據解碼圖像或預測圖像設置組成模板的像素。圖12是示出宏塊由上下兩個塊構成的宏塊的情況的示例的圖。在圖12的示例中， 示出了 16X16像素宏塊，其中，該宏塊由上下兩個由8X16個像素組成的塊構成。在圖12的示例A中，示出了在宏塊中按光柵掃描順序處于第一位置處的塊BO是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的頂部的情況。在這種情況下，將解碼圖像設置為用于包括在關于當前塊BO的模板的上部區(qū)域U、左上部區(qū)域LU和左部區(qū)域L 中的全部相鄰像素。在圖12的示例B中，示出了在宏塊中按光柵掃描順序處于第二位置處的塊Bl是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的底部的情況。在這種情況下，將解碼圖像設置為用于包括在關于當前塊Bl的模板的左部區(qū)域L和左上部區(qū)域LU中的相鄰像素。此外，將預測圖像設置為用于包括在關于當前塊Bl的模板的上部區(qū)域U中的相鄰像素。圖13是示出宏塊由上下兩個塊構成的情況的示例的圖。在圖13的示例中，示出了 16X16像素宏塊，其中，宏塊由左右兩個由16X8個像素組成的塊BO和Bl構成。在圖13的示例A中，示出了在宏塊中按光柵掃描順序處于第一位置處的塊BO是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的左部的情況。在這種情況下，將解碼圖像設置為用于包括在關于當前塊BO的模板的上部區(qū)域U、左上部區(qū)域LU和左部區(qū)域L 中的全部相鄰像素。在圖13的示例B中，示出了在宏塊中按光柵掃描順序處于第二位置處的塊Bl是當前塊的情況的示例。也就是說，這是當前塊位于宏塊的右部的情況。在這種情況下，將解碼圖像設置為用于包括在關于當前塊Bl的模板的上部區(qū)域U和左上部區(qū)域LU中的相鄰像素。此外，將預測圖像設置為用于包括在關于當前塊Bl的模板的左部區(qū)域L中的相鄰像素。因而，根據相鄰像素是否屬于宏塊，設置要使用解碼圖像或預測圖像中哪一個作為用于當前塊的預測的相鄰像素。因此，可以通過流水線處理實現(xiàn)對宏塊內的塊的處理，并且提高處理效率。稍后將參照圖33描述其優(yōu)點的詳情。[編碼處理的描述]接下來，將參照圖14的流程圖描述圖像編碼裝置1的編碼處理。在步驟Sll中，A/D轉換器11執(zhí)行輸入圖像的A/D轉換。在步驟S12中，畫面重排緩沖器12存儲從A/D轉換器11提供的圖像，并且將圖片從顯示順序重排為編碼順序。
在步驟S13中，計算單元13計算在步驟S12中所重排的圖像與預測圖像之間的差異。在執(zhí)行幀間預測情況下將預測圖像從運動預測/補償單元沈經由預測圖像選擇單元 29提供給計算單元13，并且在執(zhí)行幀內預測的情況下將預測圖像從從幀內預測單元M經由預測圖像選擇單元四提供給計算單元13。與原始圖像數據的數據量相比，差異數據的數據量更小。因此，與按原樣對圖像進行編碼的情況相比，可以壓縮數據量。在步驟S14中，正交變換單元14對從計算單元13提供的差異信息執(zhí)行正交變換。 具體地，執(zhí)行諸如離散余弦變換、卡亨南-洛維變換等正交變換，并輸出變換系數。在步驟 S15中，量化單元15對變換系數執(zhí)行量化。如對稍后描述的步驟S25中的處理所述的那樣， 針對該量化控制速率。如下對如上所述那樣量化的差異信息進行局部解碼。也就是說，在步驟S16中，逆量化單元18對經量化單元15量化的變換系數執(zhí)行逆量化，其中，屬性對應于量化單元15 的屬性。在步驟S17中，逆正交變換單元19對在逆量化單元18處經受了逆量化的變換系數執(zhí)行逆正交變換，其中，屬性對應于正交變換單元14的屬性。在步驟S18中，計算單元20將經由預測圖像選擇單元四輸入的預測圖像與局部解碼后的差異信息相加，并且生成局部解碼圖像(與至計算單元13的輸入對應的圖像)。 在步驟S19中，去塊濾波器21對從計算單元20輸出的圖像執(zhí)行濾波。因此，去除了塊噪聲。 在步驟S20中，幀存儲器20存儲經濾波的圖像。注意，未經受去塊濾波器21的濾波處理的圖像也被從計算單元20提供給幀存儲器22并且被存儲。在步驟S21中，幀內預測單元24、幀內TP運動預測/補償單元25、運動預測/補償單元沈和幀間TP運動預測/補償單元27執(zhí)行其各自的圖像預測處理。也就是說，在步驟S21中，幀內預測單元M執(zhí)行幀內預測模式下的幀內預測處理，并且?guī)瑑萒P運動預測/ 補償單元25執(zhí)行幀內模板預測模式下的運動預測/補償處理。此外，運動預測/補償單元 26執(zhí)行幀間預測模式下的運動預測/補償處理，并且?guī)gTP運動預測/補償單元27執(zhí)行幀間模板預測模式下的運動預測/補償處理。注意，此時，對于幀內TP運動預測/補償單元25和幀間TP運動預測/補償單元27，使用模板像素設置單元觀設置的模板。盡管稍后將參照圖15詳細描述步驟S21中的預測處理的詳情，但是對于該處理， 在全部候選預測模式中的每個候選預測模式下執(zhí)行預測處理，并且在全部候選預測模式下均計算代價函數值。然后，從基于所算出的代價函數值，從幀內預測模式和幀內模板預測模式選擇最佳幀內預測模式，并且將通過最佳幀內預測模式下的幀內預測所生成的預測圖像和代價函數值提供給預測圖像選擇單元29。此外，基于所算出的代價函數值，從幀間預測模式和幀間模板預測模式中選擇最佳幀間預測模式，并且將利用最佳幀間預測模式所生成的預測圖像及其代價函數值提供給預測圖像選擇單元四。在步驟S22中，預測圖像選擇單元四基于從幀內預測單元M和運動預測/補償單元26輸出的各個代價函數值，將最佳幀內預測模式和最佳幀間預測模式之一確定為最佳預測模式。然后，預測圖像選擇單元四選擇所確定的最佳預測模式的預測圖像，并且將此提供給計算單元13和20。如上所述，預測圖像用于步驟S13和S18中的計算。注意，預測圖像的選擇信息被提供給幀內預測單元M或運動預測/補償單元26。 在選擇了最佳幀內預測模式的預測圖像的情況下，幀內預測單元M將與最佳幀內預測模式(即，幀內預測模式信息或幀內模板預測模式信息)相關的信息提供給無損編碼單元16。在選擇了最佳幀間預測模式的預測圖像的情況，運動預測/補償單元沈將與最佳幀間預測模式相關的信息以及(如果需要)與最佳幀間預測模式對應的信息輸出到無損編碼單元16。與最佳幀間預測模式對應的信息的示例包括運動矢量信息、標記信息、參考幀信息等。更具體地，在選擇利用幀間預測模式的預測圖像作為最佳幀間預測模式的情況下，運動預測/補償單元26將幀間預測模式信息、運動矢量信息和參考幀信息輸出到無損編碼單元16。另一方面，在選擇利用幀間模板預測模式的預測圖像作為最佳幀間預測模式的情況下，運動預測/補償單元沈僅將幀間模板預測模式輸出到無損編碼單元16。也就是說， 在利用幀間模板預測模式信息進行編碼的情況下，不必將運動矢量信息或預測模式信息發(fā)送至解碼側，并且相應地，也不將其輸出到無損編碼單元16。因此，可以減少壓縮圖像中的
運動矢量信息。在步驟S23中，無損編碼單元16對從量化單元15輸出的量化后的變換系數進行編碼。也就是說，使差異圖像經受諸如可變長編碼、算術編碼等無損編碼，并且對其進行壓縮。此時，在步驟S22中輸入到無損編碼單元16的、來自幀內預測單元M的與最佳幀內預測模式相關的信息或來自運動預測/補償單元26的與最佳幀間預測模式相關的信息等也被編碼并與報頭信息相加。在步驟SM中，存儲緩沖器17存儲差異圖像作為壓縮圖像。存儲在存儲緩沖器17 中的壓縮圖像被適當地讀出，并且經由傳輸路徑被傳送到解碼側。在步驟S25中，速率控制單元30基于存儲在存儲緩沖器17中的壓縮圖像，控制量化單元15的量化操作的速率，以使得不會發(fā)生上溢或下溢。[預測處理的描述]接下來，將參照圖15中的流程圖描述圖14的步驟S21中的預測處理。在從畫面重排緩沖器12提供的要處理的圖像是用于幀內處理的塊圖像的情況下，從幀存儲器22讀出要參考的解碼圖像，并且將其經由開關23提供給幀內預測單元M。 基于這些圖像，在步驟S31中，幀內預測單元M針對全部候選幀內預測模式對要處理的塊的像素執(zhí)行幀內預測。注意，對于要參考的解碼圖像，使用未經受去塊濾波器21的去塊濾波的像素。在稍后將參照圖28描述步驟S31中的幀內預測處理的詳情時，由于該處理，在全部候選幀內預測模式下執(zhí)行幀內預測，并且針對全部候選幀內預測模式計算代價函數值。 然后，基于所算出的代價函數值從全部幀內預測模式中選擇一種幀內預測模式作為最佳幀內預測模式。在從畫面重排緩沖器12提供的要處理的圖像是用于幀間處理的圖像的情況下， 從幀存儲器22讀出要參考的圖像，并且將其經由開關23提供給運動預測/補償單元26。 在步驟S32中，運動預測/補償單元沈基于這些圖像執(zhí)行運動預測/補償處理。也就是說， 運動預測/補償單元26參考從幀存儲器22提供的圖像，并且針對全部候選幀間預測模式執(zhí)行運動預測處理。在稍后將參照圖四描述步驟S32中的幀間運動預測處理的詳情時，由于該處理， 針對全部候選幀間預測模式執(zhí)行預測處理，并且針對全部候選幀間預測模式計算代價函數值。此外，在從畫面重排緩沖器12提供的要處理的圖像是用于幀間處理的塊圖像的情況下，幀內預測單元M將已從畫面重排緩沖器12讀出的用于幀內預測的圖像提供給幀內TP運動預測/補償單元25。此時，用于預測的塊的信息(地址)也被提供給幀內TP運動預測/補償單元25。因此，在步驟S33中，幀內TP運動預測/補償單元25執(zhí)行幀內模板預測模式下的幀內模板運動預測處理。在稍后將參照圖30描述步驟S33中的幀內模板運動預測處理的詳情時，由于該處理，設置模板的相鄰像素。使用所設置的模板，以使得在幀內模板預測模式下執(zhí)行運動預測處理，并且關于幀內模板預測模式計算代價函數值。然后，將通過幀內模板預測模式的運動預測處理所生成的預測圖像和該幀內模板預測模式的代價函數值提供給幀內預測單元M。在步驟S34中，幀內預測單元對將在步驟S31中所選的關于幀內預測模式的代價函數值與關于在步驟S33中所選的幀內模板預測模式而計算出的代價函數值進行比較。然后，幀內預測單元M將給出最小值的預測模式確定為最佳幀內預測模式，并且將在最佳幀內預測模式下所生成的預測圖像和該最佳幀內預測模式的代價函數值提供給預測圖像選擇單元四。另外，在從畫面重排緩沖器12提供的要處理的圖像是用于幀間處理的圖像的情況下，運動預測/補償單元沈將已從畫面重排緩沖器12讀出的用于幀間預測的圖像提供給幀間TP運動預測/補償單元27。此時，用于預測的塊的信息(地址)也被提供給幀間 TP運動補償/補償單元27。因此，幀間TP運動預測/補償單元27執(zhí)行步驟S35中的幀間模板預測模式下的幀間模板預測處理。在稍后將參照圖31描述步驟S35中的幀間模板運動預測處理的詳情時，由于該處理，設置模板的相鄰像素，使用所設置的模板在幀間模板預測模式下執(zhí)行運動預測處理，并且計算關于幀間模板預測模式的代價函數值。然后，將通過幀間模板預測模式下的運動預測處理所生成的預測圖像和該幀間模板預測模式的代價函數值提供給運動預測/補償單元26。在步驟S36中，運動預測/補償單元26將在步驟S32中所選的關于最佳幀間預測模式的代價函數值與在步驟S35中關于幀間模板預測模式所算出的代價函數值進行比較。 然后，運動預測/補償單元沈將給出最小值的預測模式確定為最佳幀間預測模式，并且運動預測/補償單元26將在最佳幀間預測模式下生成的預測圖像和最佳幀間預測模式的代價函數值提供給預測圖像選擇單元四。[利用H.264/AVC格式的幀內預測處理的描述]接下來，將描述在H. 265/AVC格式中所規(guī)定的幀內預測模式。首先，將描述關于亮度信號的幀內預測模式。亮度信號幀內預測模式包括以4X4 個像素為增量的九種類型的預測模式以及以16X16個像素為宏塊增量的四種增量模式。在圖16的示例中，賦予各塊的數字-1至25代表位流中的各塊的順序(在解碼側的處理順序)。對于亮度信號，將宏塊劃分成4X4像素，并且針對4X4像素執(zhí)行DCT。另外，在16X 16像素的幀內預測模式的情況下，采集每個塊的直流分量并生成4X4矩陣，并且使該矩陣進一步經受正交變換，如塊-1所示?，F(xiàn)在，對于色差信號，將宏塊劃分成4X4像素，并且針對4X4像素執(zhí)行DCT。接著采集每個塊的直流分量并生成2 X 2矩陣，并且使該矩陣進一步經受正交變換，如塊16和 17所示。此外，對于High Profile,關于第8階DCT塊規(guī)定8 X 8像素塊增量的預測模式，該方法依據接下來所述的4X4像素幀內預測模式方法。圖17和圖18是示出九種類型的亮度信號4X4像素幀內預測模式(Intra_4X4_ pred_mode)的圖。除表示平均值(DC)預測的模式2之外的八種模式各自對應于圖19中以 0、1、3至8表示的方向。將參照圖20描述九種類型的intra_4X4_pred_mode。在圖20中的示例中，像素 a至ρ代表要經受幀內處理的當前塊，并且像素值A至M代表屬于相鄰塊的像素的像素值。 也就是說，像素a至ρ是從畫面重排緩沖器12讀出的要處理的圖像，并且像素值A至M是已從幀存儲器72讀出的要參考的解碼圖像的像素值。在圖17和圖18中的各幀內預測模式的情況下，使用屬于相鄰塊的像素的像素值 A至M，按下面那樣生成像素a至ρ的預測像素值。注意，在像素值“可用”的情況下，這代表像素是可用的，而沒有諸如位于圖像幀的邊緣或者尚未被編碼的原因。另一方面，在像素值“不可用”的情況下，這代表像素由于諸如位于圖像幀的邊緣或者尚未被編碼的原因而不可用。模式0是豎直預測模式，并且僅在像素值A至D “可用”的情況下應用。在該情況下，如以下表達式(7)那樣生成像素a至ρ的預測值。像素a、e、i、m的預測像素值=A像素b、f、j、η的預測像素值=B像素c、g、k、ο的預測像素值=C像素d、h、l、p的預測像素值=D- (7)模式1是水平預測模式，并且僅在像素值I至L “可用”的情況下應用。在該情況下，如以下表達式(8)那樣生成像素a至ρ的預測值。
像素a、b、c、d的預測像素值=I 像素e、f、g、h的預測像素值=J 像素i、j、k、l的預測像素值=K像素m、η、ο、ρ的預測像素值=L- (8)模式2是DC預測模式，并且在像素值A、B、C、D、I、J、K、L都“可用”的情況下，如以下表達式(9)那樣生成預測像素值。(A+B+C+D+I+J+K+L+4) >> 3... (9)另外，在像素值A、B、C、D都“不可用”的情況下，如以下表達式(10)那樣生成預測
像素值。(I+J+K+L+2) >> 2— (10)另外，在像素值I、J、K、L都“不可用”的情況下，如以下表達式(11)那樣生成預測
像素值。(A+B+C+D+2) >> 2... (11)此外，在像素值々、8、(、0、1、、1(、1^都“不可用”的情況下，生成1 作為預測像素值。
模式3是對角_下_左預測模式，并且僅在像素值A、B、C、D、I、J、K、L、M “可用” 的情況下生成預測像素值。在該情況下，如以下表達式(1 那樣生成像素a至P的預測像素值。像素a的預測像素值=(A+2B+C+2) >> 2像素b、e的預測像素值=(B+2C+D+2) >> 2像素c、f、i 的預測像素值=(C+2D+E+2) >>2像素d、g、j、m 的預測像素值=(D+2E+F+2) >>2像素h、k、η 的預測像素值=(E+2F+G+2) >> 2像素1、ο的預測像素值=(F+2G+H+2) >> 2像素ρ的預測像素值=(G+3H+2) >> 2…(12)模式4是對角_下_右預測模式，并且僅在像素值A、B、C、D、I、J、K、L、M “可用” 的情況下生成預測像素值。在該情況下，如以下表達式(1 那樣生成像素a至P的預測像素值。像素m的預測像素值=(J+2K+L+2) >> 2像素i、η的預測像素值=(I+2J+K+2) >> 2像素e、j、ο 的預測像素值=(M+2I+J+2) >> 2像素a、f、k、ρ 的預測像素值=(A+2M+I+2) >>2像素b、g和1的預測像素值=(M+2A+B+2) >>2像素c、h的預測像素值=(A+2B+C+2) >>2像素d的預測像素值=(B+2C+D+2) >> 2…(13)模式5是對角_豎直_右預測模式，并且僅在像素值A、B、C、D、I、J、K、L、M “可用”的情況下生成預測像素值。在該情況下，如以下表達式(14)那樣生成像素a至ρ的像素值。像素a、j的預測像素值=(M+A+1) >> 1像素b、k的預測像素值=(A+B+1) >> 1像素C、1的預測像素值=(B+C+1) >> 1像素d的預測像素值=(C+D+1) >> 1像素e、η的預測像素值=(I+2M+A+2) >>2像素f、ο的預測像素值=(M+2A+B+2) >>2像素g、ρ的預測像素值=(A+2B+C+2) >> 2像素h的預測像素值=(B+2C+D+2) >> 2像素i的預測像素值=(M+2I+J+2) >> 2像素m的預測像素值=(I+2J+K+2) >> 2··· (14)模式6是水平_下預測模式，并且僅在像素值A、B、C、D、I、J、K、L、M “可用，，的情
況下生成預測像素值。在該情況下，如以下表達式(1 那樣生成像素a至P的像素值。像素a、g的預測像素值=(M+I+1) >> 1
像素b、h的預測像素值=(I+2M+A+2) >>2像素c的預測像素值=(M+2A+B+2) >>2像素d的預測像素值=(A+2B+C+2) >> 2像素e、k的預測像素值=(I+J+1) >> 1像素f、1的預測像素值=(M+2I+J+2) >> 2像素i、ο的預測像素值=(J+K+1) >> 1像素j、ρ的預測像素值=(I+2J+K+2) >> 2像素m的預測像素值=(K+L+1) >> 1像素η的預測像素值=(J+2K+L+2) >> 2…(15)模式7是豎直_左預測模式，并且僅在像素值Α、B、C、D、I、J、K、L、M “可用，，的情況下生成預測像素值。在該情況下，如以下表達式(16)那樣生成像素a至ρ的像素值。像素a的預測像素值=(A+B+1) >> 1像素b、i的預測像素值=(B+C+1) >> 1像素c、j的預測像素值=(C+D+1) >> 1像素d、k的預測像素值=(D+E+1) >> 1像素1的預測像素值=(E+F+1) >> 1像素e的預測像素值=(A+2B+C+2) >> 2像素f、m的預測像素值=(B+2C+D+2) >>2像素g、η的預測像素值=(C+2D+E+2) >> 2像素h、ο的預測像素值=(D+2E+F+2) >>2像素ρ的預測像素值=(E+2F+G+2) >> 2…(16)模式8是水平_上預測模式，并且僅在像素值A、B、C、D、I、J、K、L、M “可用，，的情況下生成預測像素值。在該情況下，如以下表達式(17)那樣生成像素a至ρ的像素值。像素a的預測像素值=(I+J+1) >> 1像素b的預測像素值=(I+2J+K+2) >> 2像素c、e的預測像素值=(J+K+1) >> 1像素d、f的預測像素值=(J+2K+L+2) >> 2像素g、i的預測像素值=(K+L+1) >> 1像素h、j的預測像素值=(K+3L+2) >> 2像素k、l、m、n、o、p的預測像素值=L…(17)接下來，將參照圖21描述用于4X4像素亮度信號的幀內預測模式(Intra_4X4_ pred_mode)編碼方法。在圖21的示例中，示出了由4X4個像素組成的要進行編碼的當前塊C，并且示出了由4X4個像素組成并與當前塊C相鄰的塊A和塊B。在該情況下，認為當前塊C中的htra_4 X 4_pred_mode以及塊A和塊B中的 htra_4X4_pred_mode具有高相關性。使用該相關性執(zhí)行如下編碼處理使得可以實現(xiàn)更高的編碼效率。
也就是說，在圖21的示例中(其中，將塊A和塊B中的htra_4 X 4_pred_mode分別作為 Intra_4X4_pred_modeA 禾口 Intra_4X4_pred_modeB) ,MostProbableMode 被定義為以下表達式(18)。MostProbableMode = Min(Intra_4X4_pred_modeA, Intra_4X4_pred_modeB) …(18)也就是說，在塊A和塊B當中，分配有較小的mode_number的塊被作為 MostProbableMode ο在位流內存在被定義為關于當前塊C的參數的preV_intra4 X 4_pred_mode_ flag[luma4X4BlkIdx]禾口 rem_intra4X4_pred_mode_flag[luma4X4BLkIdx]的兩個值， 其中，通過基于以下表達式(19)中示出的偽代碼的處理來執(zhí)行解碼處理，因此可以獲得關于當前塊 C 的 Intra_4X4_pred_mode、Intra4X 4PredMode [luma4X 4BlkIdx]的值。
if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
Intra4x4PredMode[luma4x4BlkIdx] 二 MostProbableMode
else
if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
Intra4x4PredMode [luma4x4BlkIdx]= rem—intra4x4_pred—mode[luma4x4BlkIdx] else
Intra4x4PredMode[luma4x4BlkIdx]=
rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1
…(19)接下來，將描述8 X 8像素幀內預測模式。圖22和圖23是示出用于亮度信號的九種8X8像素幀內預測模式antra_8X8_pred_mode)的圖。將當前8X8塊中的像素值作為ρ[x，y] (O ^ χ ^ 7 ；0 ^ y ^ 7),并且將相鄰塊的像素值表示為 P[-1，-1]，…，p[-l，15]，p[-l，0]，…，[p-l，7]。對于8X8像素幀內預測模式，使相鄰像素在生成預測值之前經受低通濾波處理。 現(xiàn)在，將低通濾波前的像素值以P[-1，-1]，…，p[-l，15]，P[-1，0]，…，P[-1，7]表示，并且將在處理后的像素值以 P' [-1,-1], -,P' [-1,15], ρ' [-1,0], -,ρ' [_1，7]表
7J\ ο首先，在p[_l，-1]是“可用”的情況下如以下表達式(20)那樣計算ρ' [O, -1]， 并且在“不可用”的情況下如以下表達式那樣計算P'
。p'
= (p[-l,-l]+2*p
+p[l,-l]+2) >> 2-(20)ρ'
= (3*p
+p[l,-l]+2) >>2— (21)如以下表達式02)那樣計算ρ' [χ,-l](x = O, -,7) 0
ρ' [X，-1] = (p[x-l，-l]+2*p[x，-l]+p[x+l，_1]+2) >> 2... (22)在p[x，-l](x = 8，-,15) “可用”的情況下，如以下表達式03)那樣計算 P' [x，-l] (X = 8，-,15) Oρ' [χ，-1] = (p[x-l，-l]+2*p[x，-l]+p[x+l，-l]+2) >> 2ρ' [15,-1] = (p[14,-l]+3*p[15,-l]+2) >>2— (23)在p[_l，-1] “可用”的情況下，如下計算p' [-1,-1]。具體地，在p
和 P[_1，0]兩者都“可用”的情況下，如表達式(24)那樣計算ρ' [_1，-1]，并且在p[_l，0]“不可用”的情況下，如表達式(25)那樣計算ρ' [-1，-1]。此外，在p
“不可用”的情況下，如表達式06)那樣計算ρ' [_1，-1]。p' [-1,-1] = (p
+2*p[-l,-l]+p[-l,0]+2) >>2- (24)ρ' [-1,-1] = (3*ρ[-1,-1]+ρ
+2) >>2— (25)ρ' [-1,-1] = (3*p[-1,-1]+ρ[-1,0]+2) >> 2-(26)當P[-I，y](y = 0，…，7) “可用”時，如下計算 ρ' [_l，y](y = 0，…，7)。具體地，首先，在P[_l，-I] “可用”的情況下，如以下表達式(27)那樣計算ρ' [_1，0]，并且在 “不可用”的情況下，如表達式08)那樣計算p' [-l,0]oρ' [_1，0] = (p[-l，-l]+2*p[-l，0]+p[_l，l]+2) >> 2... (27)ρ' [-1,0] = (3*p[-l,0]+p[-l, 1]+2) >> 2—(28)此外，如以下表達式09)那樣計算ρ' [_l，y](y=l，…，6)，并且如在表達式 (30)中那樣計算ρ' [_1，7]。ρ [-1，y] = (ρ [_1，y_l] +2*p [-1，y] +ρ [-1，y+1] +2) > > 2... (29)ρ' [-1,7] = (p[-l，6]+3*p[_l，7]+2) >> 2... (30)使用這樣算出的ρ'按下面那樣生成圖22和圖23中所示的幀內預測模式下的預測值。模式0是豎直預測模式，并且僅在ρ[χ，-1](χ = 0，…，7) “可用”時應用。如以下表達式(31)那樣生成預測值pred8X&[X，y]。pred8X8L[x, y] = ρ' [χ, -1]χ, y = 0, ...,7...(31)模式1是水平預測模式，并且僅在ρ[_1，y] (y = 0，…，7) “可用”時應用。如以下表達式(32)那樣生成預測值pred8X&[X，y]。pred8X8L[x, y] = ρ' [_l，y]x，y = 0，—,7— (32)模式2是DC預測模式，并且按下面那樣生成預測值pred8X&[x，y]。具體地，在 p[x,-IKx = O,…，7)和p[_l，y](y = 0，…，7)這兩者“可用”的情況下，如以下表達式 (33)那樣生成預測值pred8X8L[x, y]。[數學表達式5]
Pred8x8L[x, y] = (^Ρ'[χ',-1] +χΡ ,Υ]+8) 4 …(33)
χ·-0y'^0在ρ[χ，-1] (χ = 0，…，7) “可用”但 p[_l，y] (y = 0，…，7) “不可用”的情況下， 如以下表達式(34)那樣生成預測值pred8X&[X，y]。[數學表達式6]
權利要求
1.一種圖像處理裝置，包括預測部件，被配置成使用與構成圖像預定塊的塊相鄰的相鄰像素來執(zhí)行所述塊的預測；以及相鄰像素設置部件，被配置成在所述相鄰像素屬于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。
2.如權利要求1所述的圖像處理裝置，其中，在所述相鄰像素存在于所述預定塊之外的情況下，所述相鄰像素設置部件把所述相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素。
3.如權利要求2所述的圖像處理裝置，其中，在所述塊的位置在所述預定塊內的左上位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的解碼圖像設置為要用于所述預測的所述相鄰像ο
4.如權利要求2所述的圖像處理裝置，其中，在所述塊的位置在所述預定塊內的右上位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的上方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中， 把屬于所述預定塊內的左方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。
5.如權利要求2所述的圖像處理裝置，其中，在所述塊的位置在所述預定塊內的左下位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的左方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中， 把屬于所述預定塊內的上方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。
6.如權利要求2所述的圖像處理裝置，其中，在所述塊的位置在所述預定塊內的右下位置處的情況下，在所述相鄰像素當中，把屬于所述預定塊內的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的預測圖像設置為要用于所述預測的所述相鄰像素。
7.如權利要求2所述的圖像處理裝置，其中，在由上方和下方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的上位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的解碼圖像設置為要用于所述預測的所述相鄰像素。
8.如權利要求2所述的圖像處理裝置，其中，在由上方和下方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的下位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的左方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中，把屬于所述預定塊內的上方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。
9.如權利要求2所述的圖像處理裝置，其中，在由左方和右方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的左位置處的情況下，把存在于所述預定塊之外的左方相鄰像素、上方相鄰像素和左上方相鄰像素中的所有像素的解碼圖像設置為要用于所述預測的所述相鄰像素。
10.如權利要求2所述的圖像處理裝置，其中，在由左方和右方兩個所述塊構成的所述預定塊中，在所述塊的位置在所述預定塊內的右位置處的情況下，在所述相鄰像素當中，把存在于所述預定塊之外的上方相鄰像素和左上方相鄰像素的解碼圖像設置為要用于所述預測的所述相鄰像素，且在所述相鄰像素當中，把屬于所述預定塊內的左方相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素。
11.如權利要求1所述的圖像處理裝置，其中，所述預測部件使用所述相鄰像素作為模板以通過所述模板的匹配來執(zhí)行關于所述塊的所述預測。
12.如權利要求1所述的圖像處理裝置，其中，所述預測部件還使用所述相鄰像素作為模板以通過所述模板的匹配來執(zhí)行關于所述塊的色差信號的所述預測。
13.如權利要求1所述的圖像處理裝置，其中，所述預測部件使用所述相鄰像素執(zhí)行幀內預測作為關于所述塊的所述預測。
14.如權利要求1所述的圖像處理裝置，進一步包括解碼部件，被配置成對編碼塊的圖像進行解碼；其中，在所述預測部件使用所述相鄰像素的預測圖像執(zhí)行所述預定塊的預測處理時， 所述解碼部件對包括所述相鄰像素的預測圖像的塊的圖像進行解碼。
15.一種圖像處理方法，包括以下步驟使用與構成圖像預定塊的塊相鄰的相鄰像素來執(zhí)行所述塊的預測的圖像處理裝置執(zhí)行處理以在所述相鄰像素存在于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素；以及使用所設置的所述相鄰像素執(zhí)行所述塊的預測。
16.一種程序，用于使得使用與構成圖像預定塊的塊相鄰的相鄰像素來執(zhí)行所述塊的預測的圖像處理裝置的計算機執(zhí)行包括以下步驟的處理在所述相鄰像素存在于所述預定塊內的情況下，把所述相鄰像素的預測圖像設置為要用于所述預測的所述相鄰像素；以及使用所設置的所述相鄰像素執(zhí)行所述塊的預測。
全文摘要
公開了一種圖像處理裝置、方法和程序，其使得能夠提高處理效率。當子宏塊(SMB0)中的塊(B1)是要預測的塊時，與子宏塊(SMB0)中的塊(B1)相鄰的模板當中的上部區(qū)域(U)和左上部區(qū)域(LU)中所包含的相鄰像素的像素值被設置成使用解碼圖像的像素值。另一方面，與子宏塊(SMB0)中的塊(B1)相鄰的模板當中的左部區(qū)域(L)中所包含的相鄰像素的像素值被設置成使用預測圖像的像素值。本發(fā)明適用于例如通過H.264/AVC系統(tǒng)執(zhí)行編碼的圖像編碼裝置。
文檔編號H04N7/32GK102422643SQ20108002065
公開日2012年4月18日 申請日期2010年5月7日 優(yōu)先權日2009年5月15日
發(fā)明者佐藤數史 申請人:索尼公司