專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及ー種圖像處理設(shè)備及其方法，更具體地，涉及能夠減少幀內(nèi)預(yù)測所需的存儲量的圖像處理設(shè)備及其方法。
背景技術(shù)：
在標(biāo)準(zhǔn)圖像編碼系統(tǒng)(諸如，ITU-T(國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)H. 264和MPEG4(運(yùn)動圖像專家組4)-AVC (高級視頻編碼))中，傳統(tǒng)上采用了幀內(nèi)預(yù)測(內(nèi)預(yù)測)編碼作為圖片內(nèi)預(yù)測編碼。在ITU-T H. 264和MPEG4-AVC中的幀內(nèi)預(yù)測中，使用在重構(gòu)像素值當(dāng)中與要處理的塊相鄰的相鄰像素的像素值，其中重構(gòu)像素值是在應(yīng)用解塊濾波器之前與要處理的塊相 鄰的塊的像素?cái)?shù)據(jù)。相應(yīng)地，將每個(gè)幀內(nèi)預(yù)測模式下的預(yù)測像素值和剩余成分相加，并且保存在解碼塊的右端處的ー個(gè)像素列和底端處的ー個(gè)像素行作為重構(gòu)像素值，以對下一塊進(jìn)行幀內(nèi)預(yù)測。這些重構(gòu)像素值被保存在與在向其施加了解塊濾波器之后的解碼像素值的區(qū)域不同的區(qū)域中，其中解碼像素值是完成了解碼的像素?cái)?shù)據(jù)。同時(shí)，提出了擴(kuò)展在宏塊的水平方向和垂直方向上的像素?cái)?shù)量作為下一代圖像編碼標(biāo)準(zhǔn)的基本技術(shù)(例如，參見非專利文獻(xiàn)I)。根據(jù)該提議，還提出了除了例如MEPG1、MPEG2、ITU-T H. 264或MEPG4-AVC中所指定的16X 16像素的宏塊大小外，還使用例如32X32像素的宏塊和64X64像素的宏塊。另外，要編碼和解碼的圖像的大小近來已年復(fù)一年地増大。引用列表非專利文獻(xiàn)非專利文獻(xiàn)I :Peisong Chenn, Yan Ye, Marta Karczewicz, “Video Coding UsingExtended Block Sizes，，，C0M16-C 123-E，Qualcomm Inc

發(fā)明內(nèi)容
本發(fā)明要解決的問題然而，采用傳統(tǒng)方法，由于為了處理宏塊要保存的相鄰重構(gòu)像素的數(shù)量隨著宏塊的垂直方向上的像素的大小而增加，因此，保存相鄰重構(gòu)像素值所需的容量可能不利地增カロ。此外，由于需要保持與作為在要處理的宏塊之上的一個(gè)宏塊的宏塊的一條線相對應(yīng)的底部像素行作為相鄰像素值，因此，圖像的水平大小的増加可能不利地使保存相鄰重構(gòu)像素值所需的容量増加。例如，將需要對于彩色標(biāo)準(zhǔn)為4:2:0、8比特以及大小在水平方向上為4096個(gè)像素的漸進(jìn)圖像為6千字節(jié)以及對于考慮宏塊自適應(yīng)幀/場解碼的交錯圖像為12千字節(jié)的存儲區(qū)或線緩沖器(line buffer)0當(dāng)在水平方向上的像素的數(shù)量為7680吋，將分別需要11. 5千字節(jié)和23千字節(jié)。鑒于這樣的情況而實(shí)現(xiàn)了本公開內(nèi)容，并且其目的在于以更小的存儲量實(shí)現(xiàn)幀內(nèi)預(yù)測。解決問題的技術(shù)方案本公開內(nèi)容的一方面是ー種圖像處理設(shè)備，包括采樣單元，根據(jù)要被編碼的圖像在水平方向上的大小或者通過分割該圖像所獲得的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；重構(gòu)單元，通過使用采樣單元采樣的像素值來執(zhí)行內(nèi)插，以重構(gòu)相鄰像素；預(yù)測圖像生成単元，通過使用重構(gòu)單元重構(gòu)的相鄰像素來執(zhí)行幀內(nèi)預(yù)測，以生成預(yù)測圖像；以及編碼單元，通過使用預(yù)測圖像生成単元生成的預(yù)測圖像來對圖像進(jìn)行編碼。圖像處理設(shè)備還包括確定單元，確定是否執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素 的像素值稀疏化的采樣，其中采樣單元可在確定單元確定執(zhí)行采樣時(shí)執(zhí)行采樣。確定單元可根據(jù)圖像的內(nèi)容或者在對圖像編碼時(shí)的圖片類型來確定是否執(zhí)行采樣。圖像處理設(shè)備還包括采樣方法確定單元，當(dāng)確定單元確定執(zhí)行采樣時(shí)，根據(jù)圖像在水平方向上的大小或區(qū)域在垂直方向上的大小確定采樣的方法，其中采樣單元可通過采樣方法確定單元確定的方法執(zhí)行采樣。采樣方法確定單元可根據(jù)圖像的內(nèi)容確定采樣的方法。采樣方法確定單元可根據(jù)在對圖像編碼時(shí)的圖片類型確定采樣的方法。采樣方法確定單元可確定內(nèi)插的方法，并且重構(gòu)單元可通過采樣方法確定單元確定的內(nèi)插方法來執(zhí)行內(nèi)插以重構(gòu)相鄰像素。采樣單元可對圖像被分割而成的每個(gè)區(qū)域中的最下像素行的一部分和最右像素列的一部分進(jìn)行采樣。采樣單元可對圖像被分割而成的每個(gè)區(qū)域中的最下像素行的一部分進(jìn)行采樣。圖像處理設(shè)備還包括特征量提取單元，提取圖像的特征量，其中確定單元可根據(jù)特征量提取單元提取作為圖像的特征量的、圖像在水平方向上的大小或者區(qū)域在垂直方向上的大小來確定是否執(zhí)行采樣。編碼單元可傳送預(yù)測圖像生成単元生成的預(yù)測圖像、通過對來自圖像的每個(gè)區(qū)域的差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)、以及表示采樣單元是否執(zhí)行采樣的信息。編碼單元可傳送通過對差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)以及表示采樣單元執(zhí)行的采樣的方法的信息。本公開內(nèi)容的一方面是ー種用于圖像處理設(shè)備的圖像處理方法，包括由采樣單元根據(jù)要被編碼的圖像在水平方向上的大小或者圖像被分割而成的矩陣中的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中用作相鄰像素的像素值稀疏化的采樣；由重構(gòu)單元通過使用采樣后的像素值來執(zhí)行內(nèi)插，以重構(gòu)相鄰像素；由預(yù)測圖像生成単元通過使用重構(gòu)后的相鄰像素來執(zhí)行幀內(nèi)預(yù)測，以生成預(yù)測圖像；以及由編碼單元通過使用所生成的預(yù)測圖像來對圖像進(jìn)行編碼。本公開內(nèi)容的另一方面是ー種圖像處理設(shè)備，包括解碼單元，對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼；采樣單元，根據(jù)通過解碼單元對編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；重構(gòu)單元，通過使用采樣單元采樣的像素值來執(zhí)行內(nèi)插，以重構(gòu)相鄰像素；以及預(yù)測圖像生成単元，通過使用重構(gòu)單元重構(gòu)的相鄰像素來執(zhí)行幀內(nèi)預(yù)測，以生成預(yù)測圖像。圖像處理設(shè)備還包括確定單元，確定是否執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；以及采樣方法確定單元，當(dāng)確定單元確定執(zhí)行采樣時(shí)，根據(jù)圖像在水平方向上的大小或區(qū)域在垂直方向上的大小確定采樣的方法，其中采樣單元可在確定單元確定執(zhí)行采樣時(shí)，通過采樣方法確定單元確定的方法來執(zhí)行采樣。采樣單元可對圖像被分割而成的每個(gè)區(qū)域中的最下像素行的一部分和最右像素列的一部分進(jìn)行采樣。采樣單元可對圖像被分割而成的每個(gè)區(qū)域中的最下像素行的一部分進(jìn)行采樣。
解碼單元可獲取所傳送的、通過對預(yù)測圖像與圖像的每個(gè)區(qū)域之間的差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)以及表示采樣單元是否執(zhí)行采樣的信息。解碼單元可獲取所傳送的、通過對差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)以及表示采樣單元執(zhí)行的采樣方法的信息。本公開內(nèi)容的一方面是ー種用于圖像處理設(shè)備的圖像處理方法，包括由解碼單元對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼；由采樣單元根據(jù)通過解碼單元對編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中用作相鄰像素的像素值稀疏化的采樣；由重構(gòu)單元通過使用采樣后的像素值來執(zhí)行內(nèi)插，以重構(gòu)相鄰像素；以及由預(yù)測圖像生成単元通過使用重構(gòu)后的相鄰像素來執(zhí)行幀內(nèi)預(yù)測，以生成預(yù)測圖像。根據(jù)本公開內(nèi)容的一方面，確定是否根據(jù)要被編碼的圖像在水平方向上的大小或者在圖像被分割而成的矩陣中的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；當(dāng)確定執(zhí)行采樣時(shí)，對像素值進(jìn)行采樣；從存儲采樣后的像素值的存儲單元讀出采樣后的像素值；執(zhí)行內(nèi)插以重構(gòu)相鄰像素；以及使用重構(gòu)后的相鄰像素執(zhí)行幀內(nèi)預(yù)測，以生成預(yù)測圖像。根據(jù)本公開內(nèi)容的另一方面，對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼；根據(jù)通過對編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；以及使用采樣后的像素值執(zhí)行內(nèi)插以生成預(yù)測圖像。本發(fā)明的效果根據(jù)本公開內(nèi)容，可以執(zhí)行對圖像數(shù)據(jù)的編碼或?qū)幋a后的圖像數(shù)據(jù)的解碼。特別地，可以減少幀內(nèi)預(yù)測所需的存儲量。


圖I是示出圖像編碼設(shè)備的主要配置的示例的框圖。圖2是示出宏塊的分割示例的圖。圖3是說明幀內(nèi)4 X 4預(yù)測模式的圖。
圖4是說明幀內(nèi)8 X 8預(yù)測模式的圖。圖5是說明幀內(nèi)16 X 16預(yù)測模式的圖·圖6是說明關(guān)于色度分量的幀內(nèi)預(yù)測模式的圖。圖7是說明處理宏塊的順序的圖。圖8是示出圖I中的幀內(nèi)預(yù)測單元的配置示例的框圖。圖9是說明采樣方法的示例的圖。圖10是說明采樣方法的另ー示例的圖。圖11是說明采樣方法的又一示例的圖。

圖12是說明采樣方法的又一示例的圖。圖13是說明編碼處理的流程示例的流程圖。圖14是說明預(yù)測處理的流程示例的流程圖。圖15是說明幀內(nèi)預(yù)測處理的流程示例的流程圖。圖16是說明重構(gòu)像素存儲處理的流程示例的流程圖。圖17是示出圖像解碼設(shè)備的主要配置的示例的框圖。圖18是示出圖16中的幀內(nèi)預(yù)測單元的主要配置的示例的框圖。圖19是說明解碼處理的流程示例的流程圖。圖20是說明預(yù)測處理的流程示例的流程圖。圖21是說明幀內(nèi)預(yù)測處理的流程示例的流程圖。圖22是示出宏塊的其他示例的圖。圖23是示出個(gè)人計(jì)算機(jī)的主要配置的示例的框圖。圖24是示出電視機(jī)接收器的主要配置的示例的框圖。圖25是示出移動電話的主要配置的示例的框圖。圖26是示出硬盤記錄器的主要配置的示例的框圖。圖27是示出攝像裝置的主要配置的示例的框圖。
具體實(shí)施例方式以下將描述用于實(shí)現(xiàn)本技術(shù)的模式(下文中，被稱為實(shí)施例)。將按以下順序進(jìn)行描述I.第一實(shí)施例(圖像編碼設(shè)備)；2.第二實(shí)施例(圖像解碼設(shè)備)；3.第三實(shí)施例(個(gè)人計(jì)算機(jī));4.第四實(shí)施例(電視機(jī)接收器)5.第五實(shí)施例(移動電話)；6.第六實(shí)施例(硬盤記錄器)；以及7.第七實(shí)施例(攝像裝置)?！碔.第一實(shí)施例>[圖像編碼設(shè)備]圖I示出根據(jù)作為圖像處理設(shè)備的圖像編碼設(shè)備的實(shí)施例的配置。圖I中所示的圖像編碼設(shè)備100是以例如H. 264和MPEG (運(yùn)動圖像專家組)4部分10 (AVC (高級視頻編碼))(下文中，稱為H. 264/AVC)格式對圖像進(jìn)行編碼的編碼設(shè)備。應(yīng)注意，圖像編碼設(shè)備100通過預(yù)定方法對在幀內(nèi)預(yù)測(幀內(nèi)預(yù)測)中要使用的相鄰像素進(jìn)行采樣(稀疏化)，并且存儲采樣后的相鄰像素。然后，圖像編碼設(shè)備100根據(jù)預(yù)定方法對采樣后的相鄰像素進(jìn)行內(nèi)插，然后使用所內(nèi)插的相鄰像素來進(jìn)行幀內(nèi)預(yù)測。在圖I的示例中，圖像編碼設(shè)備100包括A/D (模數(shù))轉(zhuǎn)換單元101、幀重排緩沖器102、計(jì)算單元103、正交變換單元104、量化單元105、無損編碼單元106和累積緩沖器107。圖像編碼設(shè)備100還包括逆量化單元108、逆正交變換單元109和計(jì)算單元110。圖像編碼設(shè)備100還包括解塊濾波器111和幀存儲器112。另外，圖像編碼設(shè)備100包括幀內(nèi)預(yù)測單元114、運(yùn)動預(yù)測/補(bǔ)償單元115和選擇單元116。此外，圖像編碼設(shè)備100還包括比率控制單元117。另外，圖像編碼設(shè)備100包括特征量提取單元121、采樣執(zhí)行確定單元122和采樣方法確定單元123。
A/D轉(zhuǎn)換單元101對輸入圖像數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換，將轉(zhuǎn)換后的圖像數(shù)據(jù)輸出到并存儲在幀重排緩沖器102中。幀重排緩沖器102根據(jù)GOP (圖片組)結(jié)構(gòu)將所存儲的、具有按顯示順序的幀的圖像重排成按編碼順序的幀。幀重排緩沖器102將具有重排后的幀的圖像提供給計(jì)算単元103、幀內(nèi)預(yù)測單元114和運(yùn)動預(yù)測/補(bǔ)償單元115。計(jì)算單元103從自幀重排緩沖器102讀出的圖像減去從選擇單元116提供的預(yù)測圖像，并將所得到的差異信息輸出到正交變換單元104。在例如要經(jīng)受幀內(nèi)編碼的圖像的情況下，計(jì)算單元103將從幀內(nèi)預(yù)測圖像114提供的預(yù)測圖像與從幀重排緩沖器102讀出的圖像相加。此外，在例如要經(jīng)受幀間編碼的圖像的情況下，計(jì)算單元103將從運(yùn)動預(yù)測/補(bǔ)償單元115提供的預(yù)測圖像與從幀重排緩沖器102讀出的圖像相加。正交變換單元104對來自計(jì)算單元103的差異信息執(zhí)行正交變換(諸如，離散余弦變換和卡洛變換(Karhunen-Loeve transform)),并將其變換系數(shù)提供給量化單元105。量化単元105對正交變換單元104輸出的變換系數(shù)進(jìn)行量化。量化単元105將量化后的變換系數(shù)提供給無損編碼單元106。無損編碼單元106對量化后的變換系數(shù)執(zhí)行無損編碼(諸如，可變長編碼和算木編碼)。無損編碼單元106從幀內(nèi)預(yù)測單元114獲取表示幀內(nèi)預(yù)測的信息等并從運(yùn)動預(yù)測/補(bǔ)償單元115獲取表示幀間預(yù)測模式的信息等。應(yīng)注意，下文中還將表示幀內(nèi)預(yù)測的信息稱為幀內(nèi)預(yù)測模式信息。此外，下文中還將表示指示幀間預(yù)測的信息模式的信息稱為幀間預(yù)測模式信息。無損編碼單元106對量化后的變化系數(shù)進(jìn)行編碼，并使得(多路復(fù)用)濾波器系數(shù)、幀內(nèi)預(yù)測模式信息、幀間預(yù)測模式信息、量化參數(shù)等作為編碼數(shù)據(jù)的報(bào)頭信息的一部分。無損編碼単元106將通過編碼所獲得的編碼數(shù)據(jù)提供給累積緩沖器107并存儲在累積緩沖器107 中。例如，在無損編碼單元106中，執(zhí)行諸如可變長編碼或算術(shù)編碼的無損編碼?？勺冮L編碼的示例包括以H. 264/AVC格式定義的CAVLC (上下文自適應(yīng)可變長編碼)。算木編碼的示例包括CABAC (上下文自適應(yīng)ニ進(jìn)制算術(shù)編碼)。累積緩沖器107臨時(shí)保存從無損編碼單元106提供的編碼數(shù)據(jù)，并在預(yù)定定時(shí)將編碼數(shù)據(jù)作為以H. 264/AVC格式編碼的編碼圖像輸出到未示出的下游存儲裝置或下游傳送通道。另外，量化単元105還將量化后的變換系數(shù)提供給逆量化単元108。逆量化単元108通過與量化単元105進(jìn)行的量化對應(yīng)的方法來對量化后的變換系數(shù)進(jìn)行逆量化，并將所得到的變換系數(shù)提供給逆正交變換單元109。逆正交變換單元109通過與正交變換單元104進(jìn)行的正交變換對應(yīng)的方法來對所提供的變換系數(shù)執(zhí)行逆正交變換。由逆正交變換產(chǎn)生的輸出被提供給計(jì)算単元110。計(jì)算單元110將從選擇單元116提供的預(yù)測圖像與從逆正交變換單元109提供的逆正交變換結(jié)果(即，恢復(fù)后的差異信息)相加，以獲得局部解碼后的圖像(解碼圖像)。當(dāng)差異信息對應(yīng)于例如要經(jīng)受幀內(nèi)編碼的圖像時(shí)，計(jì)算単元110將從幀內(nèi)預(yù)測單元114提供的預(yù)測圖像與差異信息相加。替選地，當(dāng)差異信息對應(yīng)于例如要經(jīng)受幀間編碼的圖像時(shí)，計(jì)算単元110將從運(yùn)動預(yù)測/補(bǔ)償單元115提供的預(yù)測圖像與差異信息相加。
相加結(jié)果被提供給解塊濾波器111或幀內(nèi)預(yù)測單元114。解塊濾波器111通過按需要執(zhí)行解塊濾波來去除解碼圖像的塊失真，并且通過按需要使用例如維納(Wiener)濾波器執(zhí)行環(huán)路濾波來改進(jìn)圖像質(zhì)量。解塊濾波器111將像素分類為各類別，并對每種類別執(zhí)行適當(dāng)濾波。解塊濾波器111將濾波結(jié)果提供給幀存儲器 112。幀存儲器112在預(yù)定定時(shí)將存儲在其中的參考圖像輸出到運(yùn)動預(yù)測/補(bǔ)償單元115。幀內(nèi)預(yù)測單元114執(zhí)行幀內(nèi)預(yù)測(幀內(nèi)預(yù)測)以通過使用幀內(nèi)的像素值來生成預(yù)測圖像。幀內(nèi)預(yù)測單元114以多種模式(幀內(nèi)預(yù)測模式)執(zhí)行幀內(nèi)預(yù)測。幀內(nèi)預(yù)測模式包括基于從計(jì)算單元HO提供的局部解碼圖像生成預(yù)測圖像的模式。應(yīng)注意，局部解碼圖像是不經(jīng)受解塊濾波的圖像。在以下描述中，將解塊濾波前的局部解碼圖像的像素值稱為重構(gòu)像素值，以與經(jīng)受解塊濾波器111的解塊濾波并存儲在幀存儲器112中的像素值區(qū)分。即，重構(gòu)像素值存儲在幀內(nèi)預(yù)測單元114中。在幀內(nèi)預(yù)測單元114中為了對另一宏塊的預(yù)測處理而將重構(gòu)像素值部分地用作相鄰像素值。更具體地，將在以宏塊為單位提供給幀內(nèi)預(yù)測單元114的重構(gòu)像素值當(dāng)中的關(guān)于最下像素行和關(guān)于最右像素列的像素值用作相鄰像素值。因此，幀內(nèi)預(yù)測單元114保存以宏塊為單位從計(jì)算單元110提供的重構(gòu)像素值當(dāng)中的關(guān)于最下像素行和關(guān)于最右像素列的像素值。幀內(nèi)預(yù)測單元114對于具有一行或多行的宏塊(一個(gè)或多個(gè)宏塊行)以該方式存儲ー些重構(gòu)像素值。幀內(nèi)預(yù)測單元114使用所存儲的重構(gòu)像素值作為相鄰像素值，對后續(xù)的宏塊執(zhí)行幀內(nèi)預(yù)測。應(yīng)注意，與重構(gòu)像素值相對比，經(jīng)受了解塊濾波器111的解塊濾波且存儲在幀存儲器112中的局部解碼圖像的像素值被稱為解碼像素值。解碼像素值作為參考圖像被提供給運(yùn)動預(yù)測/補(bǔ)償單元115。幀內(nèi)預(yù)測單元114在全部幀內(nèi)預(yù)測模式下生成預(yù)測圖像，評價(jià)預(yù)測圖像，并選擇最佳模式。在選擇最佳幀內(nèi)預(yù)測模式之后，幀內(nèi)預(yù)測單元114將在最佳模式下所生成的預(yù)測圖像經(jīng)由選擇單元116提供給計(jì)算単元103和計(jì)算單元110。
此外，如上所述，幀內(nèi)預(yù)測單元114按需要將表示所采用的幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測模式信息等提供給無損編碼單元106。運(yùn)動預(yù)測/補(bǔ)償單元115通過使用從幀重排緩沖器102提供的輸入圖像和從幀存儲器112提供的參考圖像(解碼像素值)，針對要經(jīng)受幀間編碼的圖像而計(jì)算運(yùn)動矢量。運(yùn)動預(yù)測/補(bǔ)償單元115根據(jù)所算出的運(yùn)動矢量執(zhí)行運(yùn)動補(bǔ)償，以生成預(yù)測圖像(幀間預(yù)測圖像イM息)。運(yùn)動預(yù)測/補(bǔ)償單元115在全部候選幀間預(yù)測模式下執(zhí)行幀間預(yù)測，以生成預(yù)測圖像。運(yùn)動預(yù)測/補(bǔ)償單元115將所生成的預(yù)測圖像經(jīng)由選擇單元116提供給計(jì)算単元103和計(jì)算單兀110。運(yùn)動預(yù)測/補(bǔ)償單元115將表示所采用的幀間預(yù)測模式的幀間預(yù)測模式信息和表示所算出的運(yùn)動矢量的運(yùn)動矢量信息提供給無損編碼單元106。 選擇單元116針對要經(jīng)受幀內(nèi)編碼的圖像而將幀內(nèi)預(yù)測單元114的輸出提供給計(jì)算單元103，并針對要經(jīng)受幀間編碼的圖像而將運(yùn)動預(yù)測/補(bǔ)償單元115的輸出提供給計(jì)算單元103。比率控制單元117基于累積緩沖器107中所累積的壓縮圖像而控制量化単元105的量化操作的比率，以不引起上溢或下溢。特征量提取單元121提取從A/D轉(zhuǎn)換單元101輸出的圖像數(shù)據(jù)的特征量。例如，特征量提取單元121參考圖像數(shù)據(jù)的報(bào)頭信息并分析真實(shí)數(shù)據(jù)，以確定圖像的水平大小或宏塊的垂直大小中的至少ー個(gè)。特征量提取單元121提取的圖像的特征的內(nèi)容可以是任意內(nèi)容。例如，特征量提取単元121可分析圖像的內(nèi)容(諸如，紋理圖案或復(fù)雜度)并生成表示該內(nèi)容的信息。替選地，例如，特征量提取單元121可確定圖像的圖片類型(I圖片、P圖片或B圖片)或者掃描方法。不必說，特征量提取單元121可提取除了上述外的參數(shù)作為特征量，并且可提取多種類型的特征量。特征量提取單元121將所提取的特征量(表示圖像的特征的信息)提供給采樣執(zhí)行確定單元122。采樣執(zhí)行確定單元122根據(jù)所提供的圖像的特征，確定是否在存儲前對幀內(nèi)預(yù)測単元114要用作相鄰像素值的重構(gòu)像素值進(jìn)行采樣(稀疏化)，并且生成控制是否對重構(gòu)像素值進(jìn)行采樣的控制信息。采樣執(zhí)行確定單元122將所生成的控制信息與圖像的特征量(表示圖像的特征的信息)一起提供給采樣方法確定單元123。采樣方法確定單元123基于控制信息確定是否執(zhí)行采樣，在要執(zhí)行采樣時(shí)確定用于采樣的方法(采樣方法)，并生成指定采樣方法的控制信息。采樣方法確定單元123將所生成的各種控制信息等與圖像的特征量(表示圖像的特征的信息)一起提供給幀內(nèi)預(yù)測單元 114。幀內(nèi)預(yù)測單元114根據(jù)從采樣方法確定單元123提供的控制信息執(zhí)行重構(gòu)像素值的采樣。[宏塊]針對亮度分量，定義H. 264/AVC中對宏塊中的系數(shù)數(shù)據(jù)的兩種類型的塊分割，即，如圖2的A所示的以4 X 4像素(4 X 4塊)為單位的塊分割以及如圖2的B所示的以8 X 8像素(8X8塊)為單位的塊分割。圖2中所示的正方形表示塊(4X4塊或8X8塊)，以及塊中的數(shù)字表示宏塊中的塊掃描順序。應(yīng)注意，針對色度分量僅定義以4X4像素為單位的塊分割。[幀內(nèi)預(yù)測模式]在H. 264/AVC的幀內(nèi)預(yù)測中，定義以4X4塊、8X8塊和宏塊為單位的幀內(nèi)預(yù)測方法。圖3是說明作為以4 X 4塊為單位的幀內(nèi)預(yù)測的幀內(nèi)4 X 4預(yù)測的預(yù)測模式的圖。在這種情況下，針對要處理的4X4塊，可將左像素、左上像素、上像素和右上像素這13個(gè)像素的相鄰重構(gòu)像素值用于幀內(nèi)預(yù)測。圖4是說明作為以8X8塊為單位的幀內(nèi)預(yù)測的幀內(nèi)8X8預(yù)測的預(yù)測模式的圖。 在這種情況下，針對要處理的8 X 8塊，可將左像素、左上像素、上像素和右上像素這25個(gè)像素的相鄰重構(gòu)像素值用于幀內(nèi)預(yù)測。應(yīng)注意，在幀內(nèi)8X8預(yù)測中，作為在根據(jù)相鄰重構(gòu)像素生成預(yù)測圖像之前的處理，對每個(gè)像素執(zhí)行平滑濾波。根據(jù)濾波之后的相鄰重構(gòu)像素計(jì)算預(yù)測圖像的生成。圖5示出作為以宏塊為單位的幀內(nèi)預(yù)測的幀內(nèi)16X16預(yù)測的預(yù)測模式和用于預(yù)測的相鄰重構(gòu)像素。在這種情況下，針對16X 16塊，可將左像素、左上像素、上像素和右上像素這33個(gè)像素的相鄰重構(gòu)像素值用于幀內(nèi)預(yù)測。對于色度分量，以宏塊為單位提供了預(yù)測模式，而與亮度分量無關(guān)。圖6示出在色度格式為4:2:0時(shí)用于色度分量的幀內(nèi)預(yù)測的相鄰重構(gòu)像素。在圖4至圖6中的每幅圖中，由白色正方形表示的像素是要處理的宏塊中要預(yù)測的像素。相反，由灰色正方形表示的圖像是執(zhí)行其幀內(nèi)預(yù)測所需的相鄰像素(重構(gòu)像素)。即，幀內(nèi)預(yù)測單元114需要存儲圖4至圖6中以灰色呈現(xiàn)的像素值。因此，隨著圖像的水平大小或宏塊大小増加，幀內(nèi)預(yù)測單元114必須存儲的重構(gòu)像素值的數(shù)據(jù)量可能不利地増加。[宏塊編碼順序]當(dāng)以H. 264/AVC對交錯圖像編碼時(shí)執(zhí)行宏塊自適應(yīng)幀/場編碼時(shí)，對宏塊解碼的順序改變，這使保存所需的像素?cái)?shù)量増加。例如，在除宏塊自適應(yīng)幀/場編碼以外的編碼中處理宏塊的順序是如圖7的A所示的光柵掃描順序。相反，在宏塊自適應(yīng)幀/場編碼中處理深黑塊的順序是如圖7的B所示的順序。因此，在這種情況下，需要將兩條線的像素值作為宏塊對保存在存儲區(qū)或線緩沖器中，以對在正下方的宏塊對進(jìn)行幀內(nèi)預(yù)測。類似地，由于編碼按宏塊對進(jìn)行，因此需要為ー個(gè)右端像素的像素值保存32 (其是該數(shù)量的兩倍)個(gè)像素值。如上所述，幀內(nèi)預(yù)測單元114必須處理的重構(gòu)像素值的數(shù)據(jù)量還可能根據(jù)例如掃描方法(宏塊處理順序)不利地増加。而且，采樣對解碼圖像的影響量會根據(jù)例如圖像的內(nèi)容(諸如有無邊緣和紋理復(fù)雜度)以及圖片類型而變化。因此，采樣執(zhí)行確定單元122根據(jù)圖像的特征確定是否使幀內(nèi)預(yù)測單元114執(zhí)行對要存儲的重構(gòu)像素值的采樣。例如，當(dāng)要編碼的圖像在水平方向上的大小(水平大小)大于預(yù)定閾值吋，采樣執(zhí)行確定單元122確定執(zhí)行對重構(gòu)像素值的采樣，以抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另ー方面，當(dāng)圖像的水平大小等于或小于預(yù)定閾值吋，采樣執(zhí)行確定單元122確定執(zhí)行對重構(gòu)像素值的采樣以抑制不必要的圖像質(zhì)量劣化，并且生成表示確定結(jié)果的控制信息。此外，例如，當(dāng)宏塊在垂直方向上的大小(垂直方向上的宏塊大小)大于預(yù)定閾值(在例如擴(kuò)展宏塊的情況下)時(shí)，采樣執(zhí)行確定單元122確定對重構(gòu)像素值的采樣，以抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另一方面，當(dāng)垂直方向上的宏塊大小等于或小于預(yù)定閾值時(shí)(在16X16個(gè)像素或更小的宏塊的情況下)，采樣執(zhí)行確定單元122確定不執(zhí)行對重構(gòu)像素值的采樣，以抑制不必要的圖像質(zhì)量劣化，并且生成表示確定結(jié)果的控制信息。另外，當(dāng)宏塊的處理順序例如不是光柵掃描順序時(shí)，采樣執(zhí)行確定單元122確定 執(zhí)行對重構(gòu)像素值的采樣以抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另ー方面，當(dāng)宏塊的處理順序是光柵掃描順序吋，采樣執(zhí)行確定單元122確定不執(zhí)行對重構(gòu)像素值的采樣以抑制不必要的圖像質(zhì)量劣化，并且生成表示確定結(jié)果的控制信息。另外，當(dāng)包括在圖像中的邊緣分量、紋理復(fù)雜度、紋理的改變頻率等等于或超過例如預(yù)定水平吋，采樣執(zhí)行確定單元122確定執(zhí)行對重構(gòu)像素值的采樣以抑制要由幀內(nèi)預(yù)測単元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另ー方面，當(dāng)多個(gè)邊緣分量包括在圖像中、紋理較復(fù)雜或者紋理的改變頻率高于預(yù)定水平吋，采樣執(zhí)行確定單元122確定不執(zhí)行對重構(gòu)像素值的采樣以抑制不必要的圖像質(zhì)量劣化，并且生成表示確定結(jié)果的控制信息。另外，當(dāng)圖片類型例如是P圖片或B圖片時(shí)，采樣對解碼圖像的視覺影響相對小，因此，采樣執(zhí)行確定單元122確定執(zhí)行對重構(gòu)像素值的采樣，以抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另ー方面，當(dāng)圖片類型是I圖片吋，采樣對解碼圖像的視覺影響相對大，因此，采樣執(zhí)行確定單元122確定不執(zhí)行對重構(gòu)像素值的采樣，并且生成表示確定結(jié)果的控制信息。不必說，采樣執(zhí)行確定單元122可根據(jù)除上述之外的準(zhǔn)則確定是否執(zhí)行采樣。類似地，采樣方法確定單元123根據(jù)圖像的特征來確定幀內(nèi)預(yù)測單元114以多少比率對要存儲的重構(gòu)像素值進(jìn)行采樣。例如，當(dāng)要編碼的圖像在水平方向上的大小(水平大小)較大時(shí)，采樣方法確定單元123確定減少要采樣的像素?cái)?shù)量(増加要稀疏化的像素?cái)?shù)量)以更大程度地抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。此外，例如，當(dāng)宏塊在垂直方向上的大小(垂直方向上的宏塊大小)較大時(shí)，采樣方法確定單元123確定減少要采樣的像素?cái)?shù)量(増加要稀疏化的像素?cái)?shù)量)以更大程度地抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另外，當(dāng)宏塊的處理順序不是例如光柵掃描順序時(shí)，采樣方法確定單元123確定減少要采樣的像素?cái)?shù)量(増加要稀疏化的像素?cái)?shù)量)以更大程度地抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另ー方面，當(dāng)宏塊的處理順序是光柵掃描順序時(shí)，采樣方法確定單元123確定增加要采樣的像素?cái)?shù)量(減少要稀疏化的像素?cái)?shù)量)以盡可能地抑制不必要的圖像質(zhì)量劣化，并且生成表示確定結(jié)果的控制信息。另外，例如，當(dāng)包括在圖像中的邊緣分量的數(shù)量較大時(shí)，當(dāng)紋理較復(fù)雜時(shí)，或者當(dāng)紋理的改變頻率較高時(shí)，采樣方法確定單元123確定減少要采樣的像素?cái)?shù)量(増加要稀疏化的像素?cái)?shù)量)以更大程度地抑制要由幀內(nèi)預(yù)測單元114存儲的數(shù)據(jù)量的増加，并且生成表示確定結(jié)果的控制信息。另外，當(dāng)圖片類型例如是P圖片或B圖片時(shí)，采樣對解碼圖像的視覺影響相對小，因此，采樣方法確定單元123確定減少要采樣的像素?cái)?shù)量(増加要稀疏化的像素?cái)?shù)量)，并且生成表示確定結(jié)果的控制信息。另ー方面，當(dāng)圖片類型是I圖片時(shí)，采樣對解碼圖像的視覺影響相對大，并且采樣方法確定單元123確定增加要采樣的像素?cái)?shù)量(減少要稀疏化的像素?cái)?shù)量)以盡可能地抑制不必要的圖像質(zhì)量劣化，而且生成表示確定結(jié)果的控制信息。不必說，采樣方法確定單元123可根據(jù)除了上述之外的準(zhǔn)則確定采樣比率。 應(yīng)注意，除了采樣方法(稀疏化的程度)外，采樣方法確定單元123還確定采樣后的重構(gòu)像素值(相鄰像素值)的內(nèi)插方法(方式)，生成表示內(nèi)插方法的控制信息，并且將控制信息提供給幀內(nèi)預(yù)測單元114。幀內(nèi)預(yù)測單元114在內(nèi)插稀疏化后的像素值之后使用采樣后的重構(gòu)像素值。任何方法都可用作內(nèi)插方法。采樣方法確定單元123根據(jù)例如圖像的內(nèi)容或者設(shè)備的呑吐量來確定內(nèi)插方法。[幀內(nèi)預(yù)測單元的配置]圖8是示出圖I中的幀內(nèi)預(yù)測單元114的主要配置的示例的框圖。如圖8所示，幀內(nèi)預(yù)測單元114包括采樣單元151、重構(gòu)像素存儲單元152、相鄰像素重構(gòu)單元153以及預(yù)測圖像生成単元154。幀內(nèi)預(yù)測單元114還包括成本函數(shù)計(jì)算單元155和模式確定單元156。采樣單元151獲取從采樣方法確定單元123提供的表示是否執(zhí)行采樣的控制信息以及表示采樣方法的控制信息，并且根據(jù)控制信息對在從計(jì)算單元110提供的重構(gòu)像素值當(dāng)中作為相鄰像素要用于處理后續(xù)宏塊的像素值執(zhí)行采樣(稀疏化)。采樣單元151將基于控制信息所采樣的重構(gòu)像素值(在通過采樣単元151稀疏化之后剰余的重構(gòu)像素值)或者不是基于控制信息采樣的重構(gòu)像素值提供給重構(gòu)像素存儲單元152。重構(gòu)像素存儲單元152存儲從采樣單元151提供的重構(gòu)像素值。相鄰像素重構(gòu)單元153從重構(gòu)像素存儲單元152讀出要處理的宏塊的相鄰像素的像素值。當(dāng)所讀取的像素值是經(jīng)采樣單元151采樣后的像素值時(shí)，相鄰像素重構(gòu)單元153通過由從采樣方法確定單元123提供的控制信息指定的內(nèi)插方法對所讀取的像素值執(zhí)行內(nèi)插，以恢復(fù)稀疏化后的像素值。相鄰像素重構(gòu)單元153在必要時(shí)將這樣內(nèi)插的相鄰像素值提供給預(yù)測圖像生成單元154。預(yù)測圖像生成単元154通過使用所提供的相鄰像素值來生成要處理的宏塊的預(yù)測圖像，并且將預(yù)測圖像提供給成本函數(shù)計(jì)算單元155。預(yù)測圖像生成単元154在全部幀內(nèi)預(yù)測模式下生成預(yù)測圖像。相鄰像素重構(gòu)單元153在必要時(shí)從重構(gòu)像素存儲單元152讀出重構(gòu)像素，并將重構(gòu)像素作為相鄰像素值提供給預(yù)測圖像生成単元154。
成本函數(shù)計(jì)算單元155針對預(yù)測圖像生成単元154生成的預(yù)測圖像，對于4X4像素、8X8像素和16X 16像素的各個(gè)預(yù)測模式來計(jì)算成本函數(shù)值。應(yīng)注意，成本函數(shù)值基于高復(fù)雜度模式或低復(fù)雜度模式任一的技木。在作為參考軟件的JM (聯(lián)合模型)中以H. 264/AVC格式定義這些模式。成本函數(shù)計(jì)算單元155將如上所述所算出的成本函數(shù)值提供給模式確定單元156。模式確定單元156基于所提供的成本函數(shù)值選擇最佳幀內(nèi)預(yù)測模式。具體地，在幀內(nèi)預(yù)測模式當(dāng)中選擇成本函數(shù)值最小的模式作為最佳幀內(nèi)預(yù)測模式。模式確定單元156在必要時(shí)將被選擇作為最佳幀內(nèi)預(yù)測模式的預(yù)測模式下的預(yù)測圖像經(jīng)由選擇單元116提供給計(jì)算単元103和計(jì)算單元110。另外，模式確定單元156在必要時(shí)將預(yù)測模式的信息提供給無損編碼單元106。[采樣的示例和內(nèi)插的示例]
接下來，將描述采樣方法和內(nèi)插方法的示例。在提供給幀內(nèi)預(yù)測單元114的每個(gè)宏塊的重構(gòu)像素當(dāng)中被用作用于針對后續(xù)宏塊而生成預(yù)測圖像的相鄰像素的像素是宏塊的最下像素行和最右像素列。采樣方法的第一示例是以每兩個(gè)像素I個(gè)像素的比率使宏塊的最下像素行和最右像素列稀疏化(每隔ー個(gè)像素進(jìn)行采樣)的方法。圖9示出了將通過第一示例的方法采樣的重構(gòu)像素用作相鄰像素的示例。圖9中所示的白色正方形表示宏塊被分割而成的塊。也就是說，每個(gè)正方形表示塊，而正方形群的外框表不要處理的宏塊。正方形中的數(shù)字表不宏塊內(nèi)的處理順序(塊號)。灰色正方形表不為了預(yù)測首先要處理的具有塊號O的塊而要使用的相鄰像素的示例。相鄰像素是根據(jù)上述的第一示例的方法來采樣的。圖9的A示出在幀內(nèi)4X4預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。圖9的B示出在幀內(nèi)8X8預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。圖9的C示出在幀內(nèi)16X16預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。圖9的D示出對要處理的宏塊(色度分量的Cb)進(jìn)行幀內(nèi)預(yù)測的示例。如圖9所示，要幀內(nèi)預(yù)測的宏塊的水平方向被表示為X軸，其垂直方向被表示為y軸，以及宏塊的左上端點(diǎn)被表示為原點(diǎn)?？梢匀缭谝韵碌仁?I)至(4)中那樣表示在對第一塊的幀內(nèi)預(yù)測中要用作相鄰像素的、被保存而未被稀疏化的重構(gòu)像素的位置P (X，y)。應(yīng)注意，等式(I)對應(yīng)于圖9的A，等式(2)對應(yīng)于圖9的B，等式(3)對應(yīng)于圖9的C，以及等式
(4)對應(yīng)于圖9的D。P (2n-l, —I) n=0. . 4, p (_1，2m-1) m=0. . 2. . . (I)p (2n-l, —I) n=0. . 8, p (—1，2m-1) m=0. . 4. . . (2)p (2n-l, —I) n=0. . 8, p (—1，2m-1) m=0. . 8. . . (3)p (2n-l, —I) n=0. . 4, p (—1，2m-1) m=0. . 4. . . (4)具體地，在對第一塊的幀內(nèi)預(yù)測中，相鄰像素重構(gòu)單元153根據(jù)幀內(nèi)預(yù)測模式從重構(gòu)像素存儲單元152讀出由如上所述的等式(I)至(4)之一表示的位置處的重構(gòu)像素作為相鄰像素。相鄰像素重構(gòu)單元153通過例如由以下等式(5)至(8)表示的方法，對所讀取的相鄰像素執(zhí)行內(nèi)插。
對于x=2n, n=0, 1,2..,p，(x, -l) = {p (x-1, -I)+p (x+1, -I)}/2. . . (5)否則，p，(X，-I) =P (X，-I). . . (6)對于y=2n, n=0, 1，2. ·， p’ (-1, y) = {p (-1, y-l)+p (-1, y+l)}/2. . . (7)否則，p，(-1, y) =p (—1，y). . . (8)應(yīng)注意，由以下等式(9)至(12)表示的方法還可以當(dāng)作內(nèi)插方法的另ー示例。采用這樣的方法，減少了計(jì)算量，并且降低了內(nèi)插處理負(fù)荷。對于x=2n, n=0, 1,2..,p' (x, -I) =ρ (χ-1, -I). . . (9)否則，ρ’(X，-1)=ρ(χ,-I). · · (10)對于y=2n, η=0, 1，2· ·，ρ’ (-1, y) = {p (-1, y-1). . . (11)否則，ρ，(-1, y) =ρ (-1，y) · · · (12)不必說，可使用除了上述外的內(nèi)插，只要該方法是由采樣方法確定單元123確定的即可。應(yīng)注意，在宏塊內(nèi)，為了預(yù)測后續(xù)塊而將每個(gè)塊的幀內(nèi)預(yù)測結(jié)果當(dāng)中的最下像素行和最右像素列用作相鄰像素。例如，在具有塊號O的塊的預(yù)測結(jié)果當(dāng)中的最下像素行在對具有塊號2的塊的幀內(nèi)預(yù)測中被用作相鄰像素。此外，在具有塊號O的塊的預(yù)測結(jié)果當(dāng)中的最右像素列在對例如具有塊號I的塊的幀內(nèi)預(yù)測中被用作相鄰像素。然而，由于這些像素值的數(shù)量小且這些像素被保存的時(shí)間短(僅在處理宏塊期間)，因此，采樣単元151不對這些像素進(jìn)行采樣(稀疏化)。采樣方法的第二示例是以每兩個(gè)像素I個(gè)像素的比率僅對宏塊的最下像素行進(jìn)行稀疏化(每隔ー個(gè)像素進(jìn)行采樣)的方法。圖10中示出了將通過第二示例的方法采樣的重構(gòu)像素用作相鄰像素并且在幀內(nèi)4X4預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。在這種情況下，可以如在以下等式(13)中那樣表示在對第一塊的幀內(nèi)預(yù)測中要用作相鄰像素的、被保存而未被稀疏化的重構(gòu)像素的位置P (X，y)。ρ (2n-l, -I) n=0. . 4, ρ (_1，m_l) m=0. . 4. . . (13)在對具有塊號O的塊的幀內(nèi)預(yù)測中，使用如圖10的A中所示的位置處的相鄰像素。在這種情況下，如圖10的A中所示，與要處理的塊(具有塊號O的塊)的左邊相鄰的、布置在垂直方向上的相鄰像素是相鄰宏塊的重構(gòu)像素，其在圖9的示例中被稀疏化而該示例中未被稀疏化。因此，相鄰像素重構(gòu)單元153僅需要對上部相鄰像素進(jìn)行內(nèi)插。在終止對具有塊號O的塊的預(yù)測之后，接下來執(zhí)行對塊號I的幀內(nèi)預(yù)測，如圖10的B中所示。
在對具有塊號I的塊的幀內(nèi)預(yù)測中，使用在如圖10的B中所示的位置處的相鄰像素。如圖10的B中所示，不對具有塊號O的塊的預(yù)測結(jié)果進(jìn)行稀疏化。因此，相鄰像素重構(gòu)單元153僅需要內(nèi)插上部相鄰像素。在終止對具有塊號I的塊的預(yù)測之后，接下來執(zhí)行塊號2的幀內(nèi)預(yù)測，如圖10的C所示。在具有塊號2的塊的幀內(nèi)預(yù)測中，使用如圖10的C中所示的位置處的相鄰像素。具體地，由于將具有塊號O的塊的預(yù)測結(jié)果的最下行和具有塊號I的塊的預(yù)測結(jié)果的最下像素行用作相鄰像素，因此，不對這些像素進(jìn)行稀疏化。另外，類似于圖10的A中的情況，不對與要處理的塊(具有塊號2的塊)的左邊相鄰的、布置在垂直方向上的相鄰像素進(jìn)行稀疏化。因此，相鄰像素重構(gòu)單元153不執(zhí)行對相鄰像素的內(nèi)插。圖10中的D和圖10中的E分別示出塊號4的幀內(nèi)預(yù)測的情況和塊號5的幀內(nèi)預(yù) 測的情況。在這些情況下，由于相鄰像素的位置與在圖10中的A的情況和圖10中的B的情況下的位置相同，因此，相鄰像素重構(gòu)單元153僅需要內(nèi)插上部相鄰像素。圖11是示出在幀內(nèi)8X8預(yù)測模式下的幀內(nèi)預(yù)測的情況的圖。在如圖11的A中所示那樣執(zhí)行對具有塊號O的塊的預(yù)測之后，如圖11的B中所示那樣執(zhí)行對具有塊號I的塊的預(yù)測，然后如圖11的C中所示那樣執(zhí)行對具有塊號2的塊的預(yù)測，并且最終，如圖11的D中所示那樣執(zhí)行對具有塊號3的塊的預(yù)測。在這種情況下，如圖11的A和圖11的B所示，相鄰像素重構(gòu)單元153在塊號O和塊號I的預(yù)測中僅內(nèi)插上部相鄰像素。相反，如圖11的C和圖11的D所示，相鄰像素重構(gòu)単元153在塊號2和塊號3的預(yù)測中不執(zhí)行相鄰像素的內(nèi)插。采用該方法，圖像編碼設(shè)備100可以減少存儲區(qū)或線緩沖器的容量以保存宏塊的最下面的一條線，并且還通過保存數(shù)量與用于其他像素的傳統(tǒng)方法相同的相鄰重構(gòu)像素來抑制圖像質(zhì)量的劣化。采樣方法的第三示例是以每四個(gè)像素三個(gè)像素的比率僅對宏塊的最下像素行進(jìn)行稀疏化(每隔四個(gè)像素進(jìn)行采樣)的方法。圖12中示出了使用通過第三示例的方法采樣的重構(gòu)像素的示例。圖12的A示出在幀內(nèi)4X4預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。圖12的B示出在幀內(nèi)8X8預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。圖12的C示出在幀內(nèi)16X16預(yù)測模式下對要處理的宏塊(亮度分量)進(jìn)行幀內(nèi)預(yù)測的示例。如圖12所示，可以如以下等式(14)至(17)中ー樣表示在對第一塊的幀內(nèi)預(yù)測中要用作相鄰像素的、被保存但未被稀疏化的重構(gòu)像素的位置P (X，y)。注意，等式(14)對應(yīng)于圖12的A，等式(15)對應(yīng)于圖12的B，以及等式(16)對應(yīng)于圖12的C。ρ (4η_1, _1)η=0· · 2，ρ (-1，4m_l)m=0，I. · · (14)ρ (4n-l, -I) n=0. . 4, p (—1，4m-1) m=0. . 2. . . (15)p (4n_l, _l)n=0. · 4，p (-1，4m-l)m=0. · 4. · · (16)p (4n_l, _l)n=0. · 2，p (-1，4m-l)m=0. · 2. · · (17)在這種情況下，相鄰像素重構(gòu)單元153如由例如以下等式(18)至(25)表示的那樣內(nèi)插稀疏化后的相鄰像素。
對于x=4n, n=0, I, 2· ·，p’(X，-1) = {ρ (χ-1, -I) X 3+ρ (χ+3, _1)}/4· . . (18)對于χ=4η+1, η=0, I, 2· ·，ρ，(X，-I) = {ρ (χ_2,-I)+ρ (χ+2,-I)}/2. · · (19)對于χ=4η+2, η=0, I, 2· ·，ρ，(X，-I) = {ρ (χ_3,-I)+ρ (χ+1,-I) X 3}/2. · · (20)否則，
ρ’(X，-I) =ρ (X，-I). . . (21)對于y=4n, η=0, 1，2· ·，ρ’ (-1, y) = {ρ (—1，y-1) X 3+ρ (—1，y+3) }/4. . . (22)對于y=4n+l, η=0, 1,2··，ρ’ (-1，y) = {p(-l, y-2)+p(_l, _y+2)}/2. · · (23)對于y=4n+2, n=0, 1,2..,p’ (-1, y) = {p (—1，y_3) +p (—1，y+1) X 3} /4. · · (24)否則，p，(-1, y) =p (-1，y). . . (25)根據(jù)該方法，由于稀疏化后的像素的量大但可以極大地減小保存相鄰像素所需的存儲區(qū)或線緩沖器的容量，因此，相比于上述方法，可降低編碼效率。如上所述，僅當(dāng)存儲在重構(gòu)像素存儲單元152中的重構(gòu)像素被稀疏化時(shí)，相鄰像素重構(gòu)單元153才通過適當(dāng)?shù)姆椒▋?nèi)插相鄰像素。因此，預(yù)測圖像生成単元154可以適當(dāng)?shù)厣深A(yù)測圖像，無論使用哪種方法來對重構(gòu)像素進(jìn)行采樣。[編碼處理]接下來，將描述由如上所述的圖像編碼設(shè)備100執(zhí)行的處理的流程。首先，將參照圖13的流程圖描述編碼處理的流程示例。在步驟SlOl中，A/D轉(zhuǎn)換單元101對輸入圖像進(jìn)行A/D轉(zhuǎn)換。在步驟S102中，特征量提取単元121提取A/D轉(zhuǎn)換后的圖像的特征量。在步驟S103中，采樣執(zhí)行単元122基于被提取作為圖像的特征量的、圖像的水平大小和垂直方向上的宏塊大小中的至少ー個(gè)來確定是否執(zhí)行重構(gòu)像素值的采樣。在步驟S104中，如果在步驟S103中確定執(zhí)行采樣，則采樣方法確定單元123基于被提取作為圖像的特征量的、圖像的水平大小和垂直方向上的宏塊大小中的至少ー個(gè)來確定其采樣方法。在步驟S105中，幀重排緩沖器102存儲從A/D轉(zhuǎn)換單元101提供的圖像，并且將圖片從顯示順序重排成編碼順序。在步驟S106中，幀內(nèi)預(yù)測單元114和運(yùn)動預(yù)測/補(bǔ)償單元115中的每個(gè)執(zhí)行圖像的預(yù)測。具體地，在步驟S106中，幀內(nèi)預(yù)測單元114以幀內(nèi)預(yù)測模式執(zhí)行幀內(nèi)預(yù)測處理。運(yùn)動預(yù)測/補(bǔ)償單元115以幀間預(yù)測模式執(zhí)行運(yùn)動預(yù)測/補(bǔ)償處理。在步驟S107中，選擇單元116基于從幀內(nèi)預(yù)測單元114和運(yùn)動預(yù)測/補(bǔ)償單元115輸出的成本函數(shù)值來確定最佳預(yù)測模式。具體地，選擇單元116選擇幀內(nèi)預(yù)測單元114生成的預(yù)測圖像和運(yùn)動預(yù)測/補(bǔ)償單元115生成的預(yù)測圖像中的任ー個(gè)。
然后，將預(yù)測圖像的選擇信息提供給幀內(nèi)預(yù)測單元114或運(yùn)動預(yù)測/補(bǔ)償單元115。當(dāng)選擇最佳幀內(nèi)預(yù)測模式下的預(yù)測圖像時(shí)，幀內(nèi)預(yù)測單元114將表示最佳幀內(nèi)預(yù)測模式的信息(即，幀內(nèi)預(yù)測模式信息)提供給無損編碼單元106。注意，當(dāng)要在幀內(nèi)預(yù)測中執(zhí)行重構(gòu)像素的采樣時(shí)，幀內(nèi)預(yù)測單元114將包含要執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定的信息提供給無損編碼單元106。當(dāng)選擇最佳幀間預(yù)測模式下的預(yù)測圖像時(shí)，運(yùn)動預(yù)測/補(bǔ)償單元115在必要時(shí)將表示最佳幀間預(yù)測模式的信息和根據(jù)最佳幀間預(yù)測模式的信息輸出到無損編碼單元106。根據(jù)最佳幀間預(yù)測模式的信息的示例包括運(yùn)動矢量信息、標(biāo)志信息和參考幀信息。在步驟S108中，計(jì)算單元103計(jì)算在步驟S105中通過重排獲得的圖像與在步驟S106中通過預(yù)測處理獲得的預(yù)測圖像之間的差。在任ー情況下，經(jīng)由選擇單元116，在執(zhí)行幀間預(yù)測時(shí)將預(yù)測圖像從運(yùn)動預(yù)測/補(bǔ)償單元115提供給計(jì)算単元103，或者在執(zhí)行幀內(nèi)預(yù)測時(shí)將預(yù)測圖像從幀內(nèi)預(yù)測單元114提供給計(jì)算単元103。
與原始圖像數(shù)據(jù)的數(shù)據(jù)量相比，差異數(shù)據(jù)的數(shù)據(jù)量減少。因此，與在沒有任何改變的情況下對圖像編碼的情況相比，可以壓縮數(shù)據(jù)量。在步驟S109中，正交變換單元104對從計(jì)算單元103提供的差異信息執(zhí)行正交變換。具體地，執(zhí)行諸如離散余弦變換或卡洛變換的正交變換，并且輸出變換系數(shù)。在步驟SllO中，量化単元105對變換系數(shù)進(jìn)行量化。在步驟Slll中，無損編碼單元106對從量化単元105輸出的量化后的變換系數(shù)進(jìn)行編碼。具體地，對差異圖像(在幀間的情況下為第二差異圖像)執(zhí)行諸如可變長編碼或算術(shù)編碼的無損編碼。注意，無損編碼單元106對與在步驟S104的處理中選擇的預(yù)測圖像的預(yù)測模式相關(guān)的信息進(jìn)行編碼，并且將編碼后的信息添加到通過對差異圖像進(jìn)行編碼獲得的編碼數(shù)據(jù)的報(bào)頭信息。也就是說，無損編碼單元106還對從幀內(nèi)預(yù)測單元114提供的幀內(nèi)預(yù)測模式信息或從運(yùn)動預(yù)測/補(bǔ)償單元115提供的根據(jù)最佳幀間預(yù)測模式的信息進(jìn)行編碼，并且將編碼后的信息添加到報(bào)頭信息。另外，當(dāng)從幀內(nèi)預(yù)測單元114提供要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等時(shí)，無損編碼單元106還將這樣的信息添加到編碼數(shù)據(jù)的報(bào)頭信息
坐寸ο在步驟SI 12中，累積緩沖器107累積從無損編碼單元106輸出的編碼數(shù)據(jù)。在適當(dāng)時(shí)讀出累積在累積緩沖器107中的編碼數(shù)據(jù)，并且將其經(jīng)由傳送通道傳送到解碼側(cè)。在步驟S113中，比率控制單元117基于累積在累積緩沖器107中的壓縮圖像來控制量化單元105的量化比率，以不引起上溢或下溢。另外，如下對在步驟SllO的處理中量化的差異信息進(jìn)行局部解碼。具體地，在步驟S114中，逆量化単元108利用與量化単元105的特性對應(yīng)的特性，對量化単元105量化后的變換系數(shù)進(jìn)行逆量化。在步驟S115中，逆正交變換單元109利用與正交變換單元104的特性對應(yīng)的特性，對逆量化単元108逆量化后的變換系數(shù)執(zhí)行逆正交變換。在步驟S116中，計(jì)算單元110將經(jīng)由選擇單元116輸入的預(yù)測圖像與局部解碼后的差異信息相加，以生成作為局部解碼圖像(與計(jì)算單元103的輸入對應(yīng)的圖像)的重構(gòu)像素。
在步驟S117中，幀內(nèi)預(yù)測單元114存儲在步驟S116中生成的重構(gòu)像素。在步驟S118中，解塊濾波器111對從計(jì)算單元110輸出的圖像進(jìn)行濾波。結(jié)果，去除了塊失真。在步驟S119中，幀存儲器112存儲濾波后的圖像。[預(yù)測處理]接下來，將參照圖14的流程圖描述在圖13的步驟S106中執(zhí)行的預(yù)測處理的流程示例。在步驟S131中，幀內(nèi)預(yù)測單元114以所有候選幀內(nèi)預(yù)測模式對要處理的塊的像素進(jìn)行幀內(nèi)預(yù)測。當(dāng)從幀重排緩沖器102提供的要處理的圖像是要進(jìn)行幀間處理的圖像吋，從幀存儲器112讀出要參考的圖像，并且將其提供給運(yùn)動預(yù)測/補(bǔ)償單元115。在步驟S132中，運(yùn)動預(yù)測/補(bǔ)償單元115基于這些圖像執(zhí)行幀間運(yùn)動預(yù)測處理。具體地，運(yùn)動預(yù)測/補(bǔ)償單 元115參考從幀存儲器112提供的圖像，并且以所有候選幀間預(yù)測模式執(zhí)行運(yùn)動預(yù)測處理。在步驟S133中，運(yùn)動預(yù)測/補(bǔ)償單元115將提供在步驟S132中算出的幀間預(yù)測模式的成本函數(shù)值當(dāng)中的最小成本函數(shù)值的預(yù)測模式確定為最佳幀間預(yù)測模式。然后，運(yùn)動預(yù)測/補(bǔ)償單元115將在要進(jìn)行幀間處理的圖像與以最佳幀間預(yù)測模式生成的第二差異信息之間的差以及最佳幀間預(yù)測模式的成本函數(shù)值提供給選擇単元116。[幀內(nèi)預(yù)測處理]圖15是說明在圖14的步驟S131中執(zhí)行的幀內(nèi)預(yù)測處理的流程示例的流程圖。當(dāng)開始幀內(nèi)預(yù)測處理時(shí)，相鄰像素重構(gòu)單元153在步驟S151中根據(jù)采樣方法確定單元123的指定而確定內(nèi)插方法。在步驟S152中，預(yù)測圖像生成單元154從未處理的預(yù)測模式中選擇要執(zhí)行的預(yù)測模式。在步驟S153中，相鄰像素重構(gòu)單元153根據(jù)在步驟S152中選擇的預(yù)測模式從重構(gòu)像素存儲單元152讀出相鄰像素。在步驟S154中，相鄰像素重構(gòu)單元153在必要時(shí)對所讀取的相鄰像素執(zhí)行內(nèi)插處理，以重構(gòu)要用于預(yù)測的相鄰像素。在步驟S155中，預(yù)測圖像生成単元154通過使用在步驟S154中重構(gòu)的相鄰像素來生成預(yù)測圖像。在步驟S156中，預(yù)測圖像生成単元154確定是否在所有預(yù)測模式下都生成了預(yù)測圖像，并且如果確定存在沒有生成預(yù)測圖像的預(yù)測模式，則處理返回到步驟S152并且重復(fù)后續(xù)的處理。也就是說，作為重復(fù)從步驟S152至步驟S156的處理的結(jié)果，預(yù)測圖像生成単元154以所有預(yù)測模式生成預(yù)測圖像。如果在步驟S156中確定生成了所有預(yù)測模式下的預(yù)測圖像，則預(yù)測圖像生成単元154使處理進(jìn)行到步驟S157。在步驟S157中，成本函數(shù)計(jì)算單元155計(jì)算關(guān)于各個(gè)預(yù)測模式的成本函數(shù)值。在步驟S158中，模式確定單元156基于在步驟S157的處理中算出的各個(gè)模式的成本函數(shù)值，確定各幀內(nèi)預(yù)測模式中的最佳模式。在步驟S159中，模式確定單元156基于在步驟S157的處理中算出的各個(gè)模式的成本函數(shù)值，選擇最佳幀內(nèi)預(yù)測模式。模式確定單元156將在被選擇作為最佳幀內(nèi)預(yù)測模式的模式下生成的預(yù)測圖像提供給計(jì)算単元103和計(jì)算單元110。模式確定單元156還將表示所選擇的預(yù)測模式的信息、要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等提供給無損編碼單元106。
在步驟S159中的處理終止之后，幀內(nèi)預(yù)測單元114將處理返回到圖14并且執(zhí)行步驟S132和后續(xù)的步驟中的處理。[重構(gòu)像素存儲處理]接下來，將參照圖16的流程圖描述在圖13的步驟S117中執(zhí)行的重構(gòu)像素存儲處理的流程示例。當(dāng)開始重構(gòu)像素存儲處理時(shí)，采樣單元151在步驟S171中基于從采樣方法確定單元123提供的通知，確定是否對要存儲在重構(gòu)像素存儲單元152中的重構(gòu)像素執(zhí)行采樣。如果確定執(zhí)行采樣，則采樣單元151使處理進(jìn)行到步驟S172。在步驟S172中，采樣單元151基于從采樣方法確定單元123提供的通知，確定對于重構(gòu)像素的采樣方法。在步驟S173中，采樣單元151對宏塊的重構(gòu)像素當(dāng)中的、每個(gè)所提供的宏塊的右端和底部的像素進(jìn)行采樣。 在步驟S174中，重構(gòu)像素存儲單元152存儲在步驟S173中所采樣的重構(gòu)像素(在稀疏化之后的剩余重構(gòu)像素)。在步驟S174中的處理終止之后，幀內(nèi)預(yù)測單元114終止重構(gòu)像素存儲處理，將處理返回到圖13中的步驟S117并且使處理進(jìn)行到步驟S118。如果在圖16的步驟S171中確定不執(zhí)行采樣，則采樣單元151使處理進(jìn)行到步驟S175。在步驟S175中，重構(gòu)像素存儲單元152存儲宏塊的重構(gòu)像素當(dāng)中的、每個(gè)所提供的宏塊的右端和底部的所有像素。在步驟S175中的處理終止之后，幀內(nèi)預(yù)測單元114終止重構(gòu)像素存儲處理，將處理返回到圖13中的步驟S117并且使處理進(jìn)行到步驟S118。如上所述，圖像編碼設(shè)備100可以通過對要用于幀內(nèi)預(yù)測的重構(gòu)像素進(jìn)行采樣來以較小存儲量實(shí)現(xiàn)幀內(nèi)預(yù)測。結(jié)果，圖像編碼設(shè)備100可以實(shí)現(xiàn)較小尺寸的設(shè)備以及成本和功耗的減小。注意，上述塊的大小僅是示例性的，并且大小可以是除上述大小之外的大小。另夕卜，盡管要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等如上所述被復(fù)用到編碼數(shù)據(jù)的報(bào)頭信息作為用于傳送這樣的信息的方法，但是該信息可存儲在任何地方。例如，信息可存儲在諸如SEI (補(bǔ)充增強(qiáng)信息)的參數(shù)集(例如，序列或圖片的報(bào)頭)中。替選地，信息可與編碼數(shù)據(jù)分開(作為單獨(dú)文件)從圖像編碼設(shè)備傳送到圖像解碼設(shè)備。注意，可以以任意處理單位來執(zhí)行對是否執(zhí)行采樣的控制和對其方法的控制等。例如，控制可以以圖片為單位或者以序列為單位來執(zhí)行。不必說，控制可以以除這些單位之外的處理單位來執(zhí)行。〈2.第二實(shí)施例>[圖像解碼設(shè)備]由在第一實(shí)施例中描述的圖像編碼設(shè)備100編碼的編碼數(shù)據(jù)經(jīng)由預(yù)定的傳送通道傳送到與圖像編碼設(shè)備100相關(guān)聯(lián)的圖像解碼設(shè)備并被解碼。以下將描述圖像解碼設(shè)備。圖17是示出圖像解碼設(shè)備的主要配置的示例的框圖。如圖17所示，圖像解碼設(shè)備200包括累積緩沖器201、無損解碼單元202、逆量化單元203、逆正交變換單元204、計(jì)算單元205、解塊濾波器206、幀重排緩沖器207和D/A轉(zhuǎn)換單元208。另外，圖像解碼設(shè)備200還包括幀存儲器209、幀內(nèi)預(yù)測單元211、運(yùn)動預(yù)測/補(bǔ)償單元212和選擇單元213。累積緩沖器201累積所傳送的編碼數(shù)據(jù)。編碼數(shù)據(jù)是圖像編碼設(shè)備100所編碼的數(shù)據(jù)。無損解碼單元202以與圖I中的無損編碼單元106的編碼方法對應(yīng)的方法，在預(yù)定定時(shí)對從累積緩沖器201讀出的編碼數(shù)據(jù)進(jìn)行解碼。逆量化単元203以與圖I中的量化単元105的量化方法對應(yīng)的方法，對通過無損解碼單元202的解碼所獲得的系數(shù)數(shù)據(jù)進(jìn)行逆量化。逆量化単元203將逆量化后的系數(shù)數(shù)據(jù)提供給逆正交變換單元204。逆正交變換單元204以與圖I中的正交變換單元104的正交變換方法對應(yīng)的方法，對系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，以獲得與在圖像編碼設(shè)備100中執(zhí)行正交變換之前的剰余數(shù)據(jù)對應(yīng)的解碼剩余數(shù)據(jù)。通過執(zhí)行逆正交變換所獲得的解碼剩余數(shù)據(jù)被提供給計(jì)算単元205。另外，預(yù)測圖像還經(jīng)由選擇單元213從幀內(nèi)預(yù)測單元211或運(yùn)動預(yù)測/補(bǔ)償單元212被提供給計(jì)算単元205。計(jì)算單元205將解碼剰余數(shù)據(jù)和預(yù)測圖像相加，以獲得與圖像編碼設(shè)備100的計(jì) 算單元103減去預(yù)測圖像之前的圖像數(shù)據(jù)對應(yīng)的解碼圖像數(shù)據(jù)。計(jì)算單元205將解碼圖像數(shù)據(jù)提供給幀內(nèi)預(yù)測單元211和解塊濾波器206。解塊濾波器206去除解碼圖像的塊失真并且然后將解碼圖像提供給并累積在幀存儲器209中，并且還將解碼圖像提供給幀重排緩沖器207。幀重排緩沖器207執(zhí)行圖像的重排。具體地，由圖I的幀重排緩沖器102以編碼順序重排的幀被以原始顯示順序來重排。D/A轉(zhuǎn)換單元208對從幀重排緩沖器207提供的圖像進(jìn)行D/A轉(zhuǎn)換，將轉(zhuǎn)換后的圖像輸出到未示出的顯示器，并且在其上顯示該圖像。通過對報(bào)頭信息進(jìn)行解碼所獲得的表示幀內(nèi)預(yù)測模式的信息、要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等在適當(dāng)時(shí)從無損解碼單元202提供給幀內(nèi)預(yù)測單元211。幀內(nèi)預(yù)測單元211基于這樣的信息，在必要時(shí)執(zhí)行相鄰像素的內(nèi)插，生成預(yù)測圖像并且將所生成的預(yù)測圖像提供給選擇単元213。運(yùn)動預(yù)測/補(bǔ)償單元212獲得通過對來自無損解碼單元202的報(bào)頭信息進(jìn)行解碼而獲得的信息(預(yù)測模式信息、運(yùn)動矢量信息、參考幀信息)。當(dāng)提供表示幀間預(yù)測模式的信息時(shí)，運(yùn)動預(yù)測/補(bǔ)償單元212基于來自無損解碼單元202的幀間運(yùn)動矢量信息而從幀存儲器209獲得參考幀，通過使用參考圖像和運(yùn)動矢量信息生成預(yù)測圖像，并且將所生成的預(yù)測圖像提供給選擇単元213。 選擇單元213選擇運(yùn)動預(yù)測/補(bǔ)償單元212或幀內(nèi)預(yù)測單元211生成的預(yù)測圖像，并且將所選擇的預(yù)測圖像提供給計(jì)算単元205。[幀內(nèi)預(yù)測單元]圖18是示出圖17中的幀內(nèi)預(yù)測單元211的主要配置的示例的框圖。如圖18所示，幀內(nèi)預(yù)測單元211包括控制單元231、采樣單元232、重構(gòu)像素存儲單元233、相鄰像素重構(gòu)單元234和預(yù)測圖像生成單元235?？刂茊卧?31基于從無損解碼單元202提供的預(yù)測模式、要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等，控制從采樣單元232到預(yù)測圖像生成単元235的各個(gè)單元，并且與圖像編碼設(shè)備100的幀內(nèi)預(yù)測單元114的情況類似地執(zhí)行重構(gòu)像素的采樣和內(nèi)插。采樣單元232具有與采樣單元151基本上相同的配置并且執(zhí)行基本上相同的處理。也就是說，采樣單元232根據(jù)控制單元231的控制，在必要時(shí)對從計(jì)算單元205提供的重構(gòu)像素執(zhí)行采樣，并且將所采樣的重構(gòu)像素值(在采樣單元232進(jìn)行稀疏化之后剰余的重構(gòu)像素值)或者不是基于控制信息所采樣的重構(gòu)像素值提供給重構(gòu)像素存儲單元233。重構(gòu)像素存儲單元233具有與重構(gòu)像素存儲單元152基本上相同的配置并且執(zhí)行基本上相同的處理。也就是說，重構(gòu)像素存儲單元233由控制單元231控制并且存儲從采樣單元232提供的重構(gòu)像素值。相鄰像素重構(gòu)單元234具有與相鄰像素重構(gòu)單元153基本上相同的配置并且執(zhí)行基本上相同的處理。也就是說，相鄰像素重構(gòu)單元234由控制單元231控制，并且從重構(gòu)像素存儲單元233讀出要處理的宏塊的相鄰像素的像素值。當(dāng)所讀取的像素值是采樣單元232采樣的像素值時(shí)，相鄰像素重構(gòu)單元234以經(jīng)由控制單元231提供的控制信息指定的內(nèi)插方法對所讀取的像素值執(zhí)行內(nèi)插，以恢復(fù)稀疏化后的像素值。相鄰像素重構(gòu)單元234在必要時(shí)將如此內(nèi)插的相鄰像素值提供給預(yù)測圖像生成単元235。預(yù)測圖像生成単元235具有與預(yù)測圖像生成単元154基本上相同的配置并且執(zhí)行基本上相同的處理。也就是說，預(yù)測圖像生成単元235由控制單元231控制，通過使用從相 鄰像素重構(gòu)單元234提供的相鄰像素值來生成要處理的宏塊的預(yù)測圖像，并且將預(yù)測圖像提供給計(jì)算単元205。預(yù)測圖像生成単元235以此方式以所有幀內(nèi)預(yù)測模式生成預(yù)測圖像。相鄰像素重構(gòu)單元234在必要時(shí)從重構(gòu)像素存儲單元233讀出重構(gòu)像素，并且將所讀取的重構(gòu)像素作為相鄰像素值提供給預(yù)測圖像生成単元235。因此，與圖像編碼設(shè)備100的幀內(nèi)預(yù)測單元114執(zhí)行的幀內(nèi)預(yù)測類似的幀內(nèi)預(yù)測也由圖像解碼設(shè)備200的幀內(nèi)預(yù)測單元211來執(zhí)行，并且與幀內(nèi)預(yù)測單元114的情況類似地，幀內(nèi)預(yù)測單元211在必要時(shí)對在幀內(nèi)預(yù)測中要用作相鄰像素的重構(gòu)像素執(zhí)行采樣(稀疏化)。在該處理中，圖像解碼設(shè)備200的幀內(nèi)預(yù)測單元211基于從圖像編碼設(shè)備100提供的信息(諸如要執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定)，執(zhí)行與在圖像編碼設(shè)備100中執(zhí)行的采樣和內(nèi)插類似的采樣和內(nèi)插。結(jié)果，圖像解碼設(shè)備200可以減少幀內(nèi)預(yù)測所需的存儲量。[解碼處理]接下來，將描述由如上所述的圖像解碼設(shè)備200執(zhí)行的處理的流程。首先，將參照圖19的流程圖描述解碼處理的流程示例。當(dāng)解碼處理開始吋，累積緩沖器201累積在步驟S201中傳送的編碼數(shù)據(jù)。在步驟S202中，無損解碼單元202對從累積緩沖器201提供的編碼數(shù)據(jù)進(jìn)行解碼。具體地，對圖I中的無損編碼單元106編碼的I圖片、P圖片和B圖片進(jìn)行解碼。在該處理中，還對運(yùn)動矢量信息、參考幀信息、預(yù)測模式信息(幀內(nèi)預(yù)測模式或幀間預(yù)測模式)、標(biāo)志信息、要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等進(jìn)行解碼。具體地，當(dāng)預(yù)測模式信息是幀內(nèi)預(yù)測模式信息時(shí)，將預(yù)測模式信息提供給幀內(nèi)預(yù)測單元211。當(dāng)預(yù)測模式信息是幀間預(yù)測模式信息時(shí)，將與預(yù)測模式信息相關(guān)聯(lián)的運(yùn)動矢量信息提供給運(yùn)動預(yù)測/補(bǔ)償單元212。另外，將諸如要執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定的信息提供給幀內(nèi)預(yù)測單元211。在步驟S203中，逆量化單元203利用與圖I中的量化單元105的特性對應(yīng)的特性，對無損解碼單元202解碼后的變換系數(shù)進(jìn)行逆量化。在步驟S204中，逆正交變換單元204利用與圖I中的正交變換單元104的特性對應(yīng)的特性，對逆量化単元203逆量化后的變換系數(shù)執(zhí)行逆正交變換。結(jié)果，對與圖I中的正交變換單元104的輸入(計(jì)算單元103的輸出)對應(yīng)的差異信息進(jìn)行解碼。在步驟S205中，幀內(nèi)預(yù)測單元211或運(yùn)動預(yù)測/補(bǔ)償單元212均根據(jù)從無損解碼単元202提供的預(yù)測模式信息來執(zhí)行圖像的預(yù)測。具體地，當(dāng)從無損解碼單元202提供幀內(nèi)預(yù)測模式信息時(shí)，幀內(nèi)預(yù)測單元211以幀內(nèi)預(yù)測模式執(zhí)行幀內(nèi)預(yù)測處理。另外，當(dāng)還從無損解碼単元202提供要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等時(shí)，幀內(nèi)預(yù)測單元211通過使用信息來執(zhí)行幀內(nèi)預(yù)測處理(包括重構(gòu)像素的采樣、內(nèi)插等的幀內(nèi)預(yù)測)。當(dāng)從無損解碼單元202提供幀間預(yù)測模式信息時(shí)，運(yùn)動預(yù)測/補(bǔ)償單元212以幀間預(yù)測模式執(zhí)行運(yùn)動預(yù)測處理。 在步驟S206中，選擇單元213選擇預(yù)測圖像。具體地，將幀內(nèi)預(yù)測單元211生成的預(yù)測圖像或運(yùn)動預(yù)測/補(bǔ)償單元212生成的預(yù)測圖像提供給選擇単元213。選擇單元213選擇這些預(yù)測圖像的任ー個(gè)。將所選擇的預(yù)測圖像提供給計(jì)算単元205。在步驟S207中，計(jì)算單元205將在步驟S206的處理中選擇的預(yù)測圖像與在步驟S204的處理中獲得的差異信息相加。結(jié)果，恢復(fù)了原始圖像數(shù)據(jù)。在步驟S208中，幀內(nèi)預(yù)測單元211存儲作為在步驟S207中恢復(fù)的圖像數(shù)據(jù)的重
構(gòu)像素。在步驟S209中，解塊濾波器206對從計(jì)算單元205提供的解碼圖像數(shù)據(jù)進(jìn)行濾波。結(jié)果，去除了塊失真。在步驟S210中，幀存儲器209存儲濾波后的解碼圖像數(shù)據(jù)。在步驟S211中，幀重排緩沖器207重排解碼圖像數(shù)據(jù)的幀。具體地，將解碼圖像數(shù)據(jù)的幀從編碼順序重排成用于顯示的原始順序，其中該編碼順序是圖像編碼設(shè)備100的幀重排緩沖器102 (圖I)對幀進(jìn)行重排的順序。在步驟S212中，D/A轉(zhuǎn)換單元208對具有幀重排緩沖器207重排后的幀的解碼圖像數(shù)據(jù)進(jìn)行D/A轉(zhuǎn)換。將解碼圖像數(shù)據(jù)輸出到未示出的顯示器，并且顯示其圖像。[預(yù)測處理]接下來，將參照圖20的流程圖描述在圖19的步驟S205中執(zhí)行的預(yù)測處理的流程示例。當(dāng)預(yù)測處理開始時(shí)，無損解碼單元202基于幀內(nèi)預(yù)測模式信息確定圖像是否是幀內(nèi)編碼的。如果確定圖像是幀內(nèi)編碼的，則無損解碼單元202將幀內(nèi)預(yù)測模式信息提供給幀內(nèi)預(yù)測單元211，并且使處理進(jìn)行到步驟S232。注意，當(dāng)存在要執(zhí)行采樣的通知、采樣方法和內(nèi)插方法的指定等時(shí)，無損解碼單元202還將這樣的信息提供給幀內(nèi)預(yù)測單元211。在步驟S232中，幀內(nèi)預(yù)測單元211執(zhí)行幀內(nèi)預(yù)測處理。當(dāng)幀內(nèi)預(yù)測處理終止時(shí)，圖像解碼設(shè)備200將處理返回到圖19中的步驟S205，并且執(zhí)行步驟S206和后續(xù)步驟中的處理。另ー方面，如果在步驟S231中確定圖像是幀間編碼的，則無損解碼單元202將幀間預(yù)測模式信息提供給運(yùn)動預(yù)測/補(bǔ)償單元212，并且使處理進(jìn)行到步驟S233。在步驟S233中，運(yùn)動預(yù)測/補(bǔ)償單元212執(zhí)行幀間運(yùn)動預(yù)測/補(bǔ)償處理。當(dāng)幀間運(yùn)動預(yù)測/補(bǔ)償處理終止吋，圖像解碼設(shè)備200將處理返回到圖19中的步驟S205，并且執(zhí)行步驟S206和后續(xù)步驟中的處理。[幀內(nèi)預(yù)測處理]接下來，將參照圖21的流程圖描述在圖20的步驟S232中執(zhí)行的幀內(nèi)預(yù)測處理的流程示例。當(dāng)幀內(nèi)預(yù)測處理開始時(shí)，相鄰像素重構(gòu)單元234根據(jù)控制單元231的控制來確定內(nèi)插方法。在步驟S252中，預(yù)測圖像生成単元235根據(jù)控制単元231的控制來確定預(yù)測模式。在步驟S253中，相鄰像素重構(gòu)單元234根據(jù)在步驟S252中確定的預(yù)測模式讀出相鄰像素。
在步驟S254中，相鄰像素重構(gòu)單元234根據(jù)在步驟S251中確定的內(nèi)插方法來重構(gòu)相鄰像素。在步驟S255中，預(yù)測圖像生成単元235通過使用重構(gòu)的相鄰像素來生成預(yù)測圖像。在步驟S255中的處理終止之后，控制單元231終止幀內(nèi)預(yù)測處理，將處理返回到圖20中的步驟S232，并且執(zhí)行后續(xù)處理。由于與圖16的流程圖中示出的情況類似地執(zhí)行在圖19的步驟S208中執(zhí)行的重構(gòu)像素存儲處理，因此將不再重復(fù)其描述。如上所述，圖像解碼設(shè)備200可以減少幀內(nèi)預(yù)測所需的存儲量。注意，可替代上述正交變換和逆正交變換而使用阿達(dá)馬(Hadamard)變換等。此外，上述塊的大小僅是示例性的。在以上描述中，將表示在圖像編碼設(shè)備100中是否執(zhí)行采樣的信息以及表示在圖像編碼設(shè)備100中使用的采樣方法和內(nèi)插方法的信息從圖像編碼設(shè)備100傳送到圖像解碼設(shè)備200，并且圖像解碼設(shè)備200基于這些信息與圖像編碼設(shè)備100中的采樣和內(nèi)插類似地執(zhí)行采樣和內(nèi)插。然而，采樣和內(nèi)插不限于此，并且圖像解碼設(shè)備200可與圖像編碼設(shè)備100類似地提取圖像的特征量，并且基于所提取的特征量執(zhí)行采樣和內(nèi)插。在該情況下，可以省略表示是否執(zhí)行采樣的信息、表示在圖像編碼設(shè)備100中使用的采樣方法和內(nèi)插方法的信息等的傳送。圖像編碼設(shè)備200可從編碼數(shù)據(jù)的報(bào)頭信息等提取圖像的特征量或者可通過分析解碼圖像數(shù)據(jù)來提取特征量。[宏塊]盡管以上已描述了 16X16或更小的宏塊，但是宏塊的大小可大于16X16。本技術(shù)可以應(yīng)用于例如如圖22所示的任意大小的宏塊。例如，除了 16X16個(gè)像素的正常宏塊之外，本技術(shù)還可以應(yīng)用于被擴(kuò)展到32X32個(gè)像素的這種宏塊(擴(kuò)展宏塊)。在圖22的頂部行中，按從左開始的順序示出了被分割成32 X 32個(gè)像素、32 X 16個(gè)像素、16X 32個(gè)像素以及16X16個(gè)像素的塊(分區(qū))的、由32X 32個(gè)像素構(gòu)成的宏塊。另夕卜，在中部行中，按從左開始的順序示出了被分割成16X 16個(gè)像素、16X8個(gè)像素、8X 16個(gè)像素以及8X8個(gè)像素的塊的、由16X16個(gè)像素構(gòu)成的宏塊。此外，在底部行中，按從左開始的順序示出了被分割成8X8個(gè)像素、8X4個(gè)像素、4X8個(gè)像素以及4X4個(gè)像素的塊的、由8X8個(gè)像素構(gòu)成的宏塊。因此，可以以如頂部行所示的32 X 32個(gè)像素、32 X 16個(gè)像素、16 X 32個(gè)像素以及16X16個(gè)像素的塊對32X32個(gè)像素的宏塊進(jìn)行處理。
與H. 264/AVC格式類似地，可以以如中部行所示的16 X 16個(gè)像素、16 X 8個(gè)像素、8X16個(gè)像素以及8X8個(gè)像素的塊對頂部行的右側(cè)示出的16X 16個(gè)像素的塊進(jìn)行處理。與H. 264/AVC格式類似地，可以以如底部行所示的8X8個(gè)像素、8X4個(gè)像素、4X8個(gè)像素以及4X4個(gè)像素的塊對中部行的右側(cè)示出的8X8個(gè)像素的塊進(jìn)行處理。這些塊可以被分類成以下三個(gè)層次。具體地，圖20的頂部行示出的32X32個(gè)像素、32 X 16個(gè)像素以及16X32個(gè)像素的塊被稱為第一層次。頂部行的右側(cè)示出的16X16個(gè)像素的塊以及中部行示出的16X 16個(gè)像素、16X8個(gè)像素以及8X 16個(gè)像素的塊被稱為第二層次。中部行的右側(cè)示出的8X8個(gè)像素的塊以及在底部行示出的8X8個(gè)像素、8X4個(gè)像素、4X8個(gè)像素以及4X4個(gè)像素的塊被稱為第三層次。這樣的層級結(jié)構(gòu)的采用允許對于16X16或更小的塊以及要定義為其超集的更大
的塊，維持與H. 264/AVC格式的兼容性。<3.第三實(shí)施例>[個(gè)人計(jì)算機(jī)]上述系列處理可以由硬件或由軟件來實(shí)現(xiàn)。在該情況下，這可被配置為例如如圖23所示的個(gè)人計(jì)算機(jī)。在圖23中，個(gè)人計(jì)算機(jī)500的CPU 501根據(jù)存儲在ROM (只讀存儲器)502中的程序或從存儲單元513加載到RAM (隨機(jī)存取存儲器)503的程序而執(zhí)行各種處理。RAM 503還適當(dāng)?shù)卦谄渲写鎯PU 501執(zhí)行各種處理所需的數(shù)據(jù)。CPU 50KROM 502和RAM 503經(jīng)由總線504相互連接。輸入/輸出接ロ 510也連接到總線504。輸入/輸出接ロ 510與輸入單元511 (包括鍵盤、鼠標(biāo)等)、輸出單元512 (包括諸如CRT (陰極射線管)或IXD (液晶顯示器)的顯示器、揚(yáng)聲器等)、存儲單元513 (包括硬盤等)以及通信単元514 (包括調(diào)制解調(diào)器等)連接。通信単元514經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信。輸入/輸出接ロ 510在必要時(shí)還與驅(qū)動器515連接，諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器的可拆卸介質(zhì)521在適當(dāng)時(shí)與其附接，并且從其讀出的計(jì)算機(jī)程序在必要時(shí)安裝在存儲單元513上。當(dāng)上述系列處理要由軟件來執(zhí)行時(shí)，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成該軟件的程序。除了可拆卸介質(zhì)521 (諸如磁盤(包括軟盤)、光盤(包括⑶-ROM (光盤-只讀存儲器)、DVD (數(shù)字通用盤))、磁光盤(包括MD (迷你盤))或半導(dǎo)體存儲器)之外，記錄介質(zhì)還包括其上記錄有程序的并且以嵌入在設(shè)備中的狀態(tài)分發(fā)給用戶的ROM 502、包括在存儲單元513中的硬盤等，其中程序記錄在可拆卸介質(zhì)521上并且可拆卸介質(zhì)521被分發(fā)給用戶以與例如圖23所的設(shè)備分開分發(fā)程序。注意，要由計(jì)算機(jī)執(zhí)行的程序可以是按本說明書中描述的順序以時(shí)間序列執(zhí)行處理所根據(jù)的程序，或者可以是并行地或在必要的定時(shí)(當(dāng)調(diào)用程序時(shí)等)執(zhí)行處理所根據(jù)的程序。此外，在本說明書中描述要記錄在記錄介質(zhì)上的程序的步驟顯然包括按上述順序以時(shí)間序列執(zhí)行的處理，并且還包括不一定以時(shí)間序列執(zhí)行的、并行地或獨(dú)立地執(zhí)行的處理。
此外，在本說明書中，系統(tǒng)指的是包括多個(gè)裝置的整個(gè)設(shè)備。另外，以上描述為ー個(gè)裝置(或處理單元)的配置可被分割成多個(gè)裝置(或處理單元)。相反，以上描述為多個(gè)裝置(或處理單元)的配置可集成為ー個(gè)裝置(或處理單元)。另夕卜，除上述配置之外的配置顯然可添加到裝置(或處理單元)的配置。此外，裝置(或處理單元)的配置的一部分可包括在另ー裝置(或另一處理單元)的配置中，只要系統(tǒng)的配置和操作整體上基本相同即可。也就是說，本技術(shù)的實(shí)施例不限于上述實(shí)施例，并且在不背離本技術(shù)的主g的情況下可以進(jìn)行各種修改。例如，任意電子裝置可應(yīng)用于上述圖像編碼設(shè)備100和圖像解碼設(shè)備200。以下將描述其示例。
〈4.第四實(shí)施例〉[電視接收器]圖24是示出使用圖像解碼設(shè)備200的電視接收器的主要配置示例的框圖。圖24所示的電視接收器1000包括地面調(diào)諧器1013、視頻解碼器1015、視頻信號處理單元1018、圖形生成電路1019、面板驅(qū)動電路1020以及顯示面板1021。地面調(diào)諧器1013經(jīng)由天線接收用于地面模擬廣播的廣播波信號，對信號進(jìn)行解調(diào)，獲得視頻信號并將視頻信號提供給視頻解碼器1015。視頻解碼器1015對從地面調(diào)諧器1013提供的視頻信號執(zhí)行解碼，并且將所得到的數(shù)字分量信號提供給視頻信號處理電路 1018。視頻信號處理電路1018對從視頻解碼器1015提供的視頻數(shù)據(jù)執(zhí)行諸如去噪的預(yù)定處理，并且將所得到的視頻數(shù)據(jù)提供給圖形生成電路1019。圖形生成電路1019生成要顯示在顯示面板1021上的表演的視頻數(shù)據(jù)、根據(jù)基于經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用程序的處理的圖像數(shù)據(jù)等，并且將所生成的視頻數(shù)據(jù)或圖像數(shù)據(jù)提供給面板驅(qū)動電路1020。圖形生成電路1019還執(zhí)行如下處理諸如，在必要時(shí)將通過生成用于顯示用于供用戶選擇項(xiàng)目的畫面的視頻數(shù)據(jù)(圖形)以及將該數(shù)據(jù)疊加在表演的圖像數(shù)據(jù)上而獲得的視頻數(shù)據(jù)提供給面板驅(qū)動電路1020。面板驅(qū)動電路1020基于從圖形生成電路1019提供的數(shù)據(jù)而驅(qū)動顯示面板1021，并且在顯示面板1021上顯示如上所述的表演的視頻和各種畫面。顯示面板1021可包括IXD (液晶顯示器)等，并根據(jù)面板驅(qū)動電路1020的控制而顯不表演的視頻等。電視接收器1000還包括音頻A/D (模擬/數(shù)字)轉(zhuǎn)換電路1014、音頻信號處理電路1022、回聲消除/語音合成電路1023、音頻放大電路1024以及揚(yáng)聲器1025。地面調(diào)諧器1013通過對所接收的廣播波信號進(jìn)行解調(diào)，除視頻信號之外還獲得音頻信號。地面調(diào)諧器1013將所獲得的音頻信號提供給音頻A/D轉(zhuǎn)換電路1014。音頻A/D轉(zhuǎn)換電路1014對從地面調(diào)諧器1013提供的音頻信號執(zhí)行A/D轉(zhuǎn)換，并且將所得到的數(shù)字音頻信號提供給音頻信號處理電路1022。音頻信號處理電路1022對從音頻A/D轉(zhuǎn)換電路1014提供的音頻數(shù)據(jù)執(zhí)行諸如去噪的預(yù)定處理，并且將所得到的音頻數(shù)據(jù)提供給回聲消除/語音合成電路1023。回聲消除/語音合成電路1023將從音頻信號處理電路1022提供的音頻數(shù)據(jù)提供給音頻放大電路1024。
音頻放大電路1024對從回聲消除/語音合成電路1023提供的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換和放大，將音量調(diào)整至預(yù)定水平，并且然后通過揚(yáng)聲器1025輸出音頻。電視接收器1000還包括數(shù)字調(diào)諧器1016和MPEG解碼器1017。數(shù)字調(diào)諧器1016經(jīng)由天線接收用于數(shù)字廣播(地面數(shù)字廣播、BS (廣播衛(wèi)星)/CS(通信衛(wèi)星)數(shù)字廣播)的廣播波信號，對信號進(jìn)行解調(diào)，獲得MPEG-TS (運(yùn)動圖片專家組-輸送流)，并且將MPEG-TS提供給MPEG解碼器1017。MPEG解碼器1017對從數(shù)字調(diào)諧器1016提供的MPEG-TS進(jìn)行解擾，并且提取包含要再現(xiàn)(要觀看)的表演數(shù)據(jù)的流。MPEG解碼器1017對所提取的流中包括的音頻分組進(jìn)行解碼并將所得到的音頻數(shù)據(jù)提供給音頻信號處理電路1022，并且還對流中包括的視頻分組進(jìn)行解碼并將所得到的視頻數(shù)據(jù)提供給視頻信號處理電路1018。另外，MPEG解碼器1017將從MPEG-TS提取的EPG (電子節(jié)目指南)數(shù)據(jù)經(jīng)由未示出的路徑提供給CPU 1032。 電視接收器1000使用上述圖像解碼設(shè)備200作為以此方式對視頻分組進(jìn)行解碼的MPEG解碼器1017。注意，廣播站等傳送的MPEG-TS是由圖像編碼設(shè)備100編碼的。與圖像解碼設(shè)備200的情況類似地，MPEG解碼器1017通過使用從自廣播站(圖像編碼設(shè)備100)提供的編碼數(shù)據(jù)提取的信息(諸如是否在廣播站(圖像編碼設(shè)備100)中執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定)來在必要時(shí)執(zhí)行相鄰像素的采樣和內(nèi)插，通過使用相鄰像素生成預(yù)測圖像，并且通過使用預(yù)測圖像根據(jù)剩余信息生成解碼圖像數(shù)據(jù)。因此，MPEG解碼器1017可以減少幀內(nèi)預(yù)測所需的存儲量。與從視頻解碼器1015提供的視頻數(shù)據(jù)的情況類似地，從MPEG解碼器1017提供的視頻數(shù)據(jù)在視頻信號處理電路1018中經(jīng)受預(yù)定處理，在必要時(shí)在圖形生成電路1019中與疊加在其上的所生成的視頻數(shù)據(jù)組合，并且經(jīng)由面板驅(qū)動電路1020被提供給顯示面板1021，并且顯示其圖像。與從音頻A/D轉(zhuǎn)換電路1014提供的音頻數(shù)據(jù)的情況類似地，從MPEG解碼器1017提供的音頻數(shù)據(jù)在音頻信號處理電路1022中經(jīng)受預(yù)定處理，經(jīng)由回聲消除/語音合成電路1023被提供給音頻放大電路1024，并且經(jīng)受D/A轉(zhuǎn)換和放大。結(jié)果，通過揚(yáng)聲器1025輸出被調(diào)整至預(yù)定音量的音頻。電視接收器1000還包括麥克風(fēng)1026和A/D轉(zhuǎn)換電路1027。A/D轉(zhuǎn)換電路1027接收通過設(shè)置在電視接收器1000中用于音頻會話的麥克風(fēng)1026取得的用戶語音信號，對所接收的語音信號執(zhí)行A/D轉(zhuǎn)換，并且將所得到的數(shù)字音頻數(shù)據(jù)提供給回聲消除/語音合成電路1023。當(dāng)從A/D轉(zhuǎn)換電路1027提供電視接收器1000的用戶(用戶A)的語音信號時(shí)，回聲消除/語音合成電路1023經(jīng)由音頻放大電路1024通過揚(yáng)聲器1025輸出通過對用戶A的語音數(shù)據(jù)執(zhí)行回聲消除并組合該語音數(shù)據(jù)與其它語音數(shù)據(jù)而獲得的語音數(shù)據(jù)。此外，電視接收器1000還包括音頻編解碼器1028、內(nèi)部總線1029、SDRAM (同步動態(tài)隨機(jī)存取存儲器)1030、閃存1031、CPU 1032,USB (通用串行總線)I/F 1033以及網(wǎng)絡(luò)I/F 1034。A/D轉(zhuǎn)換電路1027接收通過設(shè)置在電視接收器1000中用于音頻會話的麥克風(fēng)1026取得的用戶語音信號，對所接收的語音信號執(zhí)行A/D轉(zhuǎn)換，并且將所得到的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器1028。
音頻編解碼器1028將從A/D轉(zhuǎn)換電路1027提供的音頻數(shù)據(jù)轉(zhuǎn)換成預(yù)定格式的用于經(jīng)由網(wǎng)絡(luò)傳送的數(shù)據(jù)，并且經(jīng)由內(nèi)部總線1029將數(shù)據(jù)提供給網(wǎng)絡(luò)I/F 1034。網(wǎng)絡(luò)I/F 1034經(jīng)由附接到網(wǎng)絡(luò)端子1035的線纜而連接到網(wǎng)絡(luò)。網(wǎng)絡(luò)I/F 1034例如將從音頻編解碼器1028提供的音頻數(shù)據(jù)傳送到連接到網(wǎng)絡(luò)的另ー裝置。網(wǎng)絡(luò)I/F 1034還例如經(jīng)由網(wǎng)絡(luò)端子1035接收從連接到網(wǎng)絡(luò)的另ー裝置傳送的音頻數(shù)據(jù)，并且經(jīng)由內(nèi)部總線1029將數(shù)據(jù)提供給音頻編解碼器1028。音頻編解碼器1028將從網(wǎng)絡(luò)I/F 1034提供的音頻數(shù)據(jù)轉(zhuǎn)換成預(yù)定格式的數(shù)據(jù)，并且將該數(shù)據(jù)提供給回聲消除/語音合成電路1023。
回聲消除/語音合成電路1023經(jīng)由音頻放大電路1024通過揚(yáng)聲器1025輸出通過對從音頻編解碼器1028提供的音頻數(shù)據(jù)執(zhí)行回聲消除并且組合該音頻數(shù)據(jù)與其它音頻數(shù)據(jù)而獲得的音頻數(shù)據(jù)。SDRAM 1030存儲CPU 1032執(zhí)行處理所需的各種數(shù)據(jù)。閃存1031存儲要由CPU 1032執(zhí)行的程序。存儲在閃存1031中的程序由CPU 1032在預(yù)定定時(shí)(諸如在啟動電視接收器1000吋)讀取。閃存1031還在其中存儲通過數(shù)字廣播獲取的EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)從預(yù)定服務(wù)器獲取的數(shù)據(jù)等。例如，閃存1031在其中存儲包括根據(jù)CPU 1032的控制經(jīng)由網(wǎng)絡(luò)從預(yù)定服務(wù)器獲取的內(nèi)容數(shù)據(jù)的MPEG-TS。閃存1031例如根據(jù)CPU 1032的控制經(jīng)由內(nèi)部總線1029將MPEG-TS提供給MPEG解碼器1017。MPEG解碼器1017與從數(shù)字調(diào)諧器1016提供的MPEG-TS的情況類似地對MPEG-TS進(jìn)行處理。如上所述，電視接收器1000可以經(jīng)由網(wǎng)絡(luò)接收包含視頻、音頻等的內(nèi)容數(shù)據(jù)，通過使用MPEG解碼器1017對數(shù)據(jù)進(jìn)行解碼，顯示其視頻并輸出其音頻。電視接收器1000還包括接收從遙控器1051傳送的紅外信號的光接收單元1037。光接收單元1037從遙控器1051接收紅外光，對紅外光進(jìn)行解調(diào)，并且將表示用戶操作的所得到的控制碼輸出到CPU 1032。CPU 1032執(zhí)行存儲在閃存1031中的程序，并且根據(jù)從光接收單元1037提供的控制碼等而控制電視接收器1000的總體操作。CPU 1032和電視接收器1000的各個(gè)部件經(jīng)由未示出的路徑而連接。USB I/F 1033將數(shù)據(jù)傳送到電視接收器1000外部的裝置/從這些裝置接收數(shù)據(jù)，這些裝置經(jīng)由附接到USB端子1036的USB線纜而連接。網(wǎng)絡(luò)I/F 1034經(jīng)由附接到網(wǎng)絡(luò)端子1035的線纜而連接到網(wǎng)絡(luò)，并且還將除音頻數(shù)據(jù)之外的數(shù)據(jù)傳送到連接到網(wǎng)絡(luò)的各種裝置/從這些裝置接收除音頻數(shù)據(jù)之外的數(shù)據(jù)。電視接收器1000可以通過使用圖像解碼設(shè)備200作為MPEG解碼器1017來減少幀內(nèi)預(yù)測所需的存儲量。結(jié)果，電視接收器1000可以減少經(jīng)由天線接收的廣播波信號和經(jīng)由網(wǎng)絡(luò)獲取的內(nèi)容數(shù)據(jù)的幀內(nèi)預(yù)測所需的存儲量，并且以較低成本實(shí)現(xiàn)實(shí)時(shí)處理。<5.第五實(shí)施例>[移動電話]圖25是示出使用圖像編碼設(shè)備100和圖像解碼設(shè)備200的移動電話的主要配置示例的框圖。圖25所示的移動電話1100包括被配置成總體上控制各個(gè)部件的主控制單元1150、供電電路單元1151、操作輸入控制單元1152、圖像編碼器1153、攝像裝置I/F單元1154、IXD控制單元1155、圖像解碼器1156、解復(fù)用單元1157、記錄/再現(xiàn)單元1162、調(diào)制/解調(diào)單元1158以及音頻編解碼器1159。這些經(jīng)由總線1160相互連接。移動電話1100還包括操作鍵1119、(XD (電荷稱合器件)攝像裝置1116、液晶顯示器1118、存儲單元1123、傳送/接收電路單元1163、天線1114、麥克風(fēng)(MIC)1121以及揚(yáng)聲器 1117。當(dāng)通過用戶的操作接通清除和電源鍵時(shí)，供電電路單元1151將電力從電池組供應(yīng)給各個(gè)部件，以啟動移動電話1100進(jìn)入可操作狀態(tài)。移動電話1100根據(jù)包括CPU、ROM、RAM等的主控制單元1150的控制，以各種模式(諸如語音呼叫模式和數(shù)據(jù)通信模式)執(zhí)行各種操作，諸如音頻信號的傳送/接收、電子郵件和圖像數(shù)據(jù)的傳送/接收、成像以及數(shù)據(jù)記錄。例如，在語音呼叫模式，移動電話1100通過音頻編解碼器1159將麥克風(fēng)(MIC)·1121收集的音頻信號轉(zhuǎn)換成數(shù)字音頻數(shù)據(jù)，通過調(diào)制/解調(diào)電路單元1158對數(shù)字音頻數(shù)據(jù)進(jìn)行頻譜擴(kuò)展，并且通過傳送/接收電路單元1163對音頻數(shù)據(jù)執(zhí)行數(shù)字到模擬轉(zhuǎn)換和頻率轉(zhuǎn)換。移動電話1100經(jīng)由天線1114將通過轉(zhuǎn)換獲得的用于傳送的信號傳送到未示出的基站。傳送到基站的、用于傳送的信號(音頻信號)經(jīng)由公共電話網(wǎng)被提供給其他方的移動電話。另外，例如，在語音呼叫模式中，移動電話1100對由傳送/接收電路單元1163在天線1114處接收的接收信號進(jìn)行放大，并且還對其執(zhí)行頻率轉(zhuǎn)換和模數(shù)轉(zhuǎn)換，由調(diào)制/解調(diào)電路單元1158執(zhí)行逆頻譜擴(kuò)展，并且還由音頻編解碼器1159將信號轉(zhuǎn)換為模擬音頻信號。移動電話1100通過揚(yáng)聲器1117輸出通過轉(zhuǎn)換獲得的模擬音頻信號。此外，當(dāng)例如要在數(shù)據(jù)通信模式中傳送電子郵件時(shí)，移動電話1100在操作輸入控制單元1152處接收通過操作鍵1119的操作而輸入的電子郵件的文本數(shù)據(jù)。移動電話1100通過主控制單元1150對文本數(shù)據(jù)進(jìn)行處理，并且經(jīng)由IXD控制單元1155在液晶顯示器1118上顯示為圖像。移動電話1100還基于操作輸入控制單元1152接收的文本數(shù)據(jù)、用戶指令等而通過主控制單元1150生成電子郵件數(shù)據(jù)。移動電話1100通過調(diào)制/解調(diào)電路單元1158對電子郵件數(shù)據(jù)進(jìn)行頻譜擴(kuò)展，并且通過傳送/接收電路單元1163對其執(zhí)行數(shù)模轉(zhuǎn)換和頻率轉(zhuǎn)換。移動電話1100經(jīng)由天線1114將通過轉(zhuǎn)換獲得的用于傳送的信號傳送到未示出的基站。傳送到基站的用于傳送的信號(電子郵件)經(jīng)由網(wǎng)絡(luò)以及主服務(wù)器等被提供給預(yù)定目的地。另外，當(dāng)例如要在數(shù)據(jù)通信模式中接收電子郵件時(shí)，移動電話1100經(jīng)由天線1114通過傳送/接收電路單元1163接收從基站傳送的信號，對信號進(jìn)行放大并且進(jìn)一步對其執(zhí)行頻率轉(zhuǎn)換和模數(shù)轉(zhuǎn)換。移動電話1100通過調(diào)制/解調(diào)電路單元1158對所接收的信號執(zhí)行逆頻譜擴(kuò)展，以恢復(fù)原始電子郵件數(shù)據(jù)。移動電話1100經(jīng)由LCD控制單元1155在液晶顯示器1118上顯示恢復(fù)后的電子郵件數(shù)據(jù)。注意，移動電話1100還可以經(jīng)由記錄/再現(xiàn)單元1162將所接收的電子郵件數(shù)據(jù)記錄(存儲)在存儲單元1123中。 存儲單元1123是任意可重寫存儲介質(zhì)。存儲單元1123可以是諸如RAM和內(nèi)置閃存的半導(dǎo)體存儲器，或者可以是硬盤，或者可以是可拆卸介質(zhì)，諸如磁盤、磁光盤、光盤、USB存儲器和存儲卡。不必說，存儲單元1123可以是除上述以外的存儲介質(zhì)。此外，當(dāng)例如要在數(shù)據(jù)通信模式中傳送圖像數(shù)據(jù)時(shí)，移動電話1100通過利用CXD攝像裝置1116進(jìn)行成像來生成圖像數(shù)據(jù)。CXD攝像裝置1116包括諸如透鏡和光圈的光學(xué)裝置以及作為光電轉(zhuǎn)換元件的CCD，對對象進(jìn)行成像，將所接收光的強(qiáng)度轉(zhuǎn)換成電信號并且生成對象圖像的圖像數(shù)據(jù)。C⑶攝像裝置1116經(jīng)由攝像裝置I/F 1154利用圖像編碼器1153對圖像數(shù)據(jù)進(jìn)行編碼，以將圖像數(shù)據(jù)轉(zhuǎn)換成編碼圖像數(shù)據(jù)。移動電話1100使用上述圖像編碼設(shè)備1100作為執(zhí)行這樣處理的圖像編碼器1153。類似于圖像編碼設(shè)備100的情況，圖像編碼器1153基于從圖像數(shù)據(jù)提取的特征量來關(guān)于是否對相鄰采樣進(jìn)行確定以及關(guān)于執(zhí)行采樣時(shí)的采樣方法和內(nèi)插方法進(jìn)行確定，在必要時(shí)對相鄰像素進(jìn)行采樣并且存儲像素。圖像編碼器1153讀出執(zhí)行幀內(nèi)預(yù)測時(shí)的相鄰像素，并且在必要時(shí)內(nèi)插像素以重構(gòu)相鄰像素。圖像編碼器1153然后通過使用重構(gòu)的相鄰像素來生成預(yù)測圖像，并且通過使用預(yù)測圖像根據(jù)剩余信息生成編碼數(shù)據(jù)。圖像編碼器1153 因此可以減少幀內(nèi)預(yù)測所需的存儲量。注意，同時(shí)，移動電話1100對在C⑶攝像裝置1116進(jìn)行成像期間由麥克風(fēng)(MIC)1121收集的音頻執(zhí)行模數(shù)轉(zhuǎn)換，并且由音頻編解碼器1159對音頻進(jìn)行編碼。移動電話1100通過解復(fù)用單元1157根據(jù)預(yù)定方法對從圖像編碼器1153提供的編碼圖像數(shù)據(jù)和從音頻編解碼器1159提供的數(shù)字音頻數(shù)據(jù)進(jìn)行復(fù)用。移動電話1100通過調(diào)制/解調(diào)電路單元1158對所得到的復(fù)用數(shù)據(jù)執(zhí)行頻譜擴(kuò)展，并且通過傳送/接收電路單元1163對其執(zhí)行數(shù)模轉(zhuǎn)換和頻率轉(zhuǎn)換。移動電話1100經(jīng)由天線1114將通過轉(zhuǎn)換獲得的用于傳送的信號傳送到未示出的基站。傳送到基站的用于傳送的信號(圖像數(shù)據(jù))經(jīng)由網(wǎng)絡(luò)等被提供給其他方。注意，如果不傳送圖像數(shù)據(jù)，則移動電話1100也可以經(jīng)由IXD控制單元1155在液晶顯示器1118上顯示CXD攝像裝置1116生成的圖像數(shù)據(jù)而不用圖像編碼器1153。另外，當(dāng)例如要在數(shù)據(jù)通信模式中接收鏈接到簡單網(wǎng)站等的運(yùn)動圖片文件的數(shù)據(jù)時(shí)，移動電話1100經(jīng)由天線1114通過傳送/接收電路單元1163接收從基站傳送的信號，對信號進(jìn)行放大并且進(jìn)一步對其執(zhí)行頻率轉(zhuǎn)換和模數(shù)轉(zhuǎn)換。移動電話1100通過調(diào)制/解調(diào)電路單元1158對所接收的信號執(zhí)行逆頻譜擴(kuò)展以恢復(fù)原始復(fù)用數(shù)據(jù)。移動電話1100通過解復(fù)用單元1157對復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，以將數(shù)據(jù)分割成編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。移動電話1100通過圖像解碼器1156對編碼圖像數(shù)據(jù)進(jìn)行解碼以生成再現(xiàn)運(yùn)動圖片數(shù)據(jù)，并且經(jīng)由IXD控制單元1155在液晶顯示器1118上顯示再現(xiàn)數(shù)據(jù)。結(jié)果，例如在液晶顯示器1118上顯示鏈接到簡單網(wǎng)站的運(yùn)動圖片文件中包括的運(yùn)動圖片數(shù)據(jù)。移動電話1100使用如上所述的圖像解碼設(shè)備200作為執(zhí)行這樣處理的圖像解碼器1156。也就是說，類似于圖像解碼設(shè)備200的情況，圖像解碼器1156通過使用從自其它裝置的圖像編碼器1153 (圖像編碼設(shè)備100)提供的編碼數(shù)據(jù)提取的信息(諸如是否在另一裝置的圖像編碼器1153 (圖像編碼設(shè)備100)中執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定)來在必要時(shí)執(zhí)行相鄰像素的采樣和內(nèi)插，通過使用相鄰像素生成預(yù)測圖像，并且通過使用預(yù)測圖像來根據(jù)剩余信息生成解碼圖像數(shù)據(jù)。因此，圖像解碼器1156可以減少幀內(nèi)預(yù)測所需的存儲量。
在該處理中，同時(shí)，移動電話1100通過音頻編解碼器1159將數(shù)字音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號，并且通過揚(yáng)聲器1117輸出模擬音頻信號。結(jié)果，例如再現(xiàn)鏈接到簡單網(wǎng)站的運(yùn)動圖片文件中包括的音頻數(shù)據(jù)。類似于電子郵件的情況，移動電話1100還可以經(jīng)由記錄/再現(xiàn)單元1162將鏈接到簡單網(wǎng)站等的接收數(shù)據(jù)記錄(存儲)在存儲單元1123中。移動電話1100還可以通過主控制單元1150來分析由(XD攝像裝置1116所成像
和獲得的二維碼，并且獲得記錄在二維碼中的信息。此外，移動電話1100可以借助于紅外光通過紅外通信單元1181與外部裝置通信。移動電話1100可以減少在傳送例如C⑶攝像裝置1116生成的圖像數(shù)據(jù)時(shí)的幀內(nèi)預(yù)測所需的存儲量，并且通過使用圖像編碼設(shè)備100作為圖像編碼器1153而以較低成本實(shí)現(xiàn)實(shí)時(shí)處理。 移動電話1100還可以減少例如在對鏈接到簡單網(wǎng)站的運(yùn)動圖片文件的數(shù)據(jù)(編碼數(shù)據(jù))解碼時(shí)的幀內(nèi)預(yù)測所需的存儲量，并且通過使用圖像解碼設(shè)備200作為圖像解碼器1156而以較低成本實(shí)現(xiàn)實(shí)時(shí)處理。盡管以上將移動電話1100描述為在其中使用C⑶攝像裝置1116，但是可替代CXD攝像裝置1116而使用利用CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器(CMOS圖像傳感器)。在該情況下，類似于使用C⑶攝像裝置1116的情況，移動電話1100還可以對對象進(jìn)行成像并且生成對象圖像的圖像數(shù)據(jù)。此外，盡管以上描述了移動電話1100的情況，但是類似于移動電話1100的情況，圖像編碼設(shè)備100和圖像解碼設(shè)備200可以應(yīng)用于具有如移動電話1100的那些功能的成像功能和通信功能的任意裝置，諸如PDA (個(gè)人數(shù)字助理)、智能電話、UMPC (超級移動個(gè)人計(jì)算機(jī))、上網(wǎng)本以及膝上個(gè)人計(jì)算機(jī)。<6.第六實(shí)施例>[硬盤記錄器]圖26是示出使用圖像編碼設(shè)備100和圖像解碼設(shè)備200的硬盤記錄器的主要配置示例的框圖。圖26所示的硬盤記錄器(HDD記錄器)1200是保存從地上的衛(wèi)星或天線傳送的并且由內(nèi)置硬盤中的調(diào)諧器接收的廣播波信號中包括的廣播節(jié)目中的音頻數(shù)據(jù)和視頻數(shù)據(jù)的設(shè)備，并且在根據(jù)用戶的指令的定時(shí)向用戶提供所保存的數(shù)據(jù)。硬盤記錄器1200可以例如從廣播波信號提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，在適當(dāng)時(shí)對數(shù)據(jù)解碼，并且將數(shù)據(jù)存儲在內(nèi)置硬盤中。硬盤記錄器1200還可以例如經(jīng)由網(wǎng)絡(luò)從另一裝置獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)，在適當(dāng)時(shí)對數(shù)據(jù)進(jìn)行解碼并且將數(shù)據(jù)存儲在內(nèi)置硬盤中。此外，硬盤記錄器1200可以例如對記錄在內(nèi)置硬盤上的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼，將解碼后的數(shù)據(jù)提供給監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像，并且通過監(jiān)視器1260的揚(yáng)聲器輸出其音頻。另外，硬盤記錄器1200還可以例如對從經(jīng)由調(diào)諧器獲取的廣播波信號提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)或經(jīng)由網(wǎng)絡(luò)從另一裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼，將解碼后的數(shù)據(jù)提供給監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像并且通過監(jiān)視器1260的揚(yáng)聲器輸出其音頻。不必說，其它操作也是可能的。
如圖26所示，硬盤記錄器1200包括接收單元1221、解調(diào)單元1222、解復(fù)用器1223、音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。硬盤記錄器1200還包括EPG數(shù)據(jù)存儲器1227、程序存儲器1228、工作存儲器1229、顯示轉(zhuǎn)換器1230、OSD (在屏顯示)控制單元1231、顯示控制單元1232、記錄/再現(xiàn)單元1233、D/A轉(zhuǎn)換器1234和通信單元1235。顯示轉(zhuǎn)換器1230包括視頻編碼器1241。記錄/再現(xiàn)單元1233包括編碼器1251和解碼器1252。接收單元1221從遙控器(未示出)接收紅外信號，將信號轉(zhuǎn)換成電信號，并且將電信號輸出到記錄器控制單元1226。記錄器控制單元1226例如可包括微處理器等，并且根據(jù)存儲在程序存儲器1228中的程序而執(zhí)行各種處理。記錄器控制單元1226在該情況下在必要時(shí)使用工作存儲器1229。 通信單元1235連接到網(wǎng)絡(luò)，并且經(jīng)由網(wǎng)絡(luò)與其它裝置執(zhí)行通信。例如，通信單元1235由記錄器控制單元1226控制，與調(diào)諧器(未示出)通信，并且主要將調(diào)諧控制信號輸出到調(diào)諧器。解調(diào)單元1222對從調(diào)諧器提供的信號進(jìn)行解調(diào)并且將解調(diào)后的信號輸出到解復(fù)用器1223。解復(fù)用器1223將從解調(diào)單元1222提供的數(shù)據(jù)分割成音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并且分別將音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)輸出到音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。音頻解碼器1224對輸入的音頻數(shù)據(jù)進(jìn)行解碼，并且將解碼后的音頻數(shù)據(jù)輸出到記錄/再現(xiàn)單元1233。視頻解碼器1225對輸入的視頻數(shù)據(jù)進(jìn)行解碼，并且將解碼后的視頻數(shù)據(jù)輸出到顯示轉(zhuǎn)換器1230。記錄器控制單元1226將輸入的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲器1227并且在其中存儲EPG數(shù)據(jù)。顯示轉(zhuǎn)換器1230通過視頻編碼器1241將視頻解碼器1225或記錄器控制單元1226提供的視頻數(shù)據(jù)編碼成例如NTSC (美國電視標(biāo)準(zhǔn)委員會)格式的視頻數(shù)據(jù)，并且將編碼后的視頻數(shù)據(jù)輸出到記錄/再現(xiàn)單元1233。另外，顯示轉(zhuǎn)換器1230將視頻解碼器1225或記錄器控制單元1226提供的視頻數(shù)據(jù)的屏幕的大小轉(zhuǎn)換為與監(jiān)視器1260的大小對應(yīng)的大小，通過視頻編碼器1241將視頻數(shù)據(jù)轉(zhuǎn)換成NTSC格式的視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成模擬信號并且將模擬信號輸出到顯示控制單元1232。顯示控制單元1232在記錄器控制單元1226的控制下，將OSD (在屏顯示)控制單元1231輸出的OSD信號疊加在顯示轉(zhuǎn)換器1230輸入的視頻信號上，并且將所得到的信號輸出并顯示在監(jiān)視器1260的顯示器上。監(jiān)視器1260還提供有音頻解碼器1224輸出的并被D/A轉(zhuǎn)換器1234轉(zhuǎn)換成模擬信號的音頻數(shù)據(jù)。監(jiān)視器1260通過內(nèi)置揚(yáng)聲器輸出音頻信號。記錄/再現(xiàn)單元1233包括硬盤作為用于記錄視頻數(shù)據(jù)、音頻數(shù)據(jù)等的存儲介質(zhì)。記錄/再現(xiàn)單元1233通過例如編碼器1251對音頻解碼器1224提供的音頻數(shù)據(jù)進(jìn)行編碼。另外，記錄/再現(xiàn)單元1233通過編碼器1251對顯示轉(zhuǎn)換器1230的視頻編碼器1241提供的視頻數(shù)據(jù)進(jìn)行編碼。記錄/再現(xiàn)單元1233通過復(fù)用器組合音頻數(shù)據(jù)的編碼數(shù)據(jù)和視頻數(shù)據(jù)的編碼數(shù)據(jù)。記錄/再現(xiàn)單元1233通過其信道編碼而放大組合后的數(shù)據(jù)，并且利用記錄頭將數(shù)據(jù)寫入硬盤中。
記錄/再現(xiàn)單元1233利用再現(xiàn)頭再現(xiàn)記錄在硬盤上的數(shù)據(jù)，放大數(shù)據(jù)，并且通過解復(fù)用器將數(shù)據(jù)分割成音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233通過解碼器1252對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。記錄/再現(xiàn)單元1233對解碼后的音頻數(shù)據(jù)進(jìn)行D/A轉(zhuǎn)換，并且將轉(zhuǎn)換后的音頻數(shù)據(jù)輸出到監(jiān)視器1260的揚(yáng)聲器。記錄/再現(xiàn)單元1233還對解碼后的視頻數(shù)據(jù)進(jìn)行D/A轉(zhuǎn)換并且將轉(zhuǎn)換后的視頻數(shù)據(jù)輸出到監(jiān)視器1260的顯示器。記錄器控制單元1226基于經(jīng)由接收單元1221從遙控器接收的紅外信號表示的用戶指令，從EPG數(shù)據(jù)存儲器1227讀出最新的EPG數(shù)據(jù)并且將所讀取的EPG數(shù)據(jù)提供給OSD控制單元1231。OSD控制單元1231生成與輸入的EPG數(shù)據(jù)相關(guān)聯(lián)的圖像數(shù)據(jù)，并且將所生成的圖像數(shù)據(jù)輸出到顯示控制單元1232。顯示控制單元1232將OSD控制單元1231輸入的視頻數(shù)據(jù)輸出并顯示到監(jiān)視器1260的顯示器。結(jié)果，EPG (電子節(jié)目指南)顯示在監(jiān)視器1260的顯示器上。硬盤記錄器1200還可以經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)獲取從其它裝置提供的諸如視頻 數(shù)據(jù)、音頻數(shù)據(jù)或EPG數(shù)據(jù)的各種數(shù)據(jù)。通信單元1235由記錄器控制單元1226控制，獲取經(jīng)由網(wǎng)絡(luò)從其它裝置傳送的諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)的編碼數(shù)據(jù)，并且將編碼數(shù)據(jù)提供給記錄器控制單元1226。記錄器控制單元1226例如將所獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供給記錄/再現(xiàn)單元1233，并且將編碼數(shù)據(jù)存儲在硬盤中。在該情況下，記錄器控制單元1226和記錄/再現(xiàn)單元1233可在必要時(shí)執(zhí)行諸如重編碼的處理。記錄器控制單元1226還對所獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，并且將所得到的視頻數(shù)據(jù)提供給顯示轉(zhuǎn)換器1230。與從視頻解碼器1225提供的視頻數(shù)據(jù)類似，顯示轉(zhuǎn)換器1230對從記錄器控制單元1226提供的視頻數(shù)據(jù)進(jìn)行處理，經(jīng)由顯示控制單元1232將視頻數(shù)據(jù)提供給監(jiān)視器1260，并且顯示其圖像。對于圖像的顯示，記錄器控制單元1226可經(jīng)由D/A轉(zhuǎn)換器1234將解碼后的音頻數(shù)據(jù)提供給監(jiān)視器1260，并且通過揚(yáng)聲器輸出其音頻。此外，記錄器控制單元1226對所獲取的EPG數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，并且將解碼后的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲器1227。如上所述的硬盤記錄器1200使用圖像解碼設(shè)備200作為內(nèi)置于視頻解碼器1225、解碼器1252和記錄器控制單元1226中的解碼器。也就是說，與圖像解碼設(shè)備200的情況類似，內(nèi)置于視頻解碼器1225、解碼器1252或記錄器控制單元1226中的解碼器通過使用從自圖像編碼設(shè)備100提供的編碼數(shù)據(jù)提取的信息(諸如是否在圖像編碼設(shè)備100中執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定)來在必要時(shí)執(zhí)行相鄰像素的采樣和內(nèi)插，通過使用相鄰像素生成預(yù)測圖像，并且通過使用預(yù)測圖像根據(jù)剩余信息生成解碼圖像數(shù)據(jù)。因此，內(nèi)置于視頻解碼器1225、解碼器1252或記錄器控制單元1226中的解碼器可以減少幀內(nèi)預(yù)測所需的存儲量。硬盤記錄器1200因此可以例如減少在對調(diào)諧器和通信單元1235接收的視頻數(shù)據(jù)(編碼數(shù)據(jù))和要由記錄/再現(xiàn)單元1233再現(xiàn)的視頻數(shù)據(jù)(編碼數(shù)據(jù))進(jìn)行解碼時(shí)的幀內(nèi)預(yù)測所需的存儲量，并且以較低成本實(shí)現(xiàn)實(shí)時(shí)處理。硬盤記錄器1200還使用圖像編碼設(shè)備100作為編碼器1251。因此,與圖像編碼設(shè)備100的情況類似，編碼器1251基于從圖像數(shù)據(jù)提取的特征量關(guān)于是否對相鄰像素進(jìn)行采樣執(zhí)行確定以及關(guān)于執(zhí)行采樣時(shí)的采樣方法和內(nèi)插方法進(jìn)行確定，在必要時(shí)對相鄰像素進(jìn)行采樣并且存儲像素。編碼器1251讀出在執(zhí)行幀內(nèi)預(yù)測時(shí)的相鄰像素，并且在必要時(shí)內(nèi)插像素以重構(gòu)相鄰像素。編碼器1251然后通過使用重構(gòu)后的相鄰像素生成預(yù)測圖像，并且通過使用預(yù)測圖像根據(jù)剩余信息生成編碼數(shù)據(jù)。編 碼器1251因此可以減少幀內(nèi)預(yù)測所需的
存儲量。硬盤記錄器1200因此可以例如計(jì)算減少生成要記錄在硬盤上的編碼數(shù)據(jù)時(shí)的幀內(nèi)預(yù)測所需的存儲量，并且以較低成本實(shí)現(xiàn)實(shí)時(shí)處理。盡管以上描述了將視頻數(shù)據(jù)和音頻數(shù)據(jù)記錄在硬盤上的硬盤記錄器1200，但是記錄介質(zhì)明顯可以是任意介質(zhì)。例如，圖像編碼設(shè)備100和圖像解碼設(shè)備200可應(yīng)用于與上述硬盤記錄器1200的情況類似的、應(yīng)用了除硬盤以外的記錄介質(zhì)(諸如閃存、光盤或錄像帶)的記錄器。<7.第七實(shí)施例>[攝像裝置]圖27是示出使用圖像編碼設(shè)備100和圖像解碼設(shè)備200的攝像裝置的主要配置示例的框圖。圖27所示的攝像裝置1300對對象進(jìn)行成像，在IXD 1316上顯示對象圖像，并將圖像作為圖像數(shù)據(jù)記錄在記錄介質(zhì)1333上。透鏡組件1311使得光(B卩，對象的視頻)進(jìn)入CCD/CM0S 1312。CCD/CM0S 1312是使用CCD或CMOS的圖像傳感器，其將所接收的光的強(qiáng)度轉(zhuǎn)換成電信號并且將電信號提供給攝像裝置信號處理單元1313。攝像裝置信號處理單元1313將從(XD/CM0S 1312提供的電信號轉(zhuǎn)換成Y、Cr和Cb的色度信號，并且將色度信號提供給圖像信號處理單元1314。圖像信號處理單元1314在控制器1321的控制下，對從攝像裝置信號處理單元1313提供的圖像信號執(zhí)行預(yù)定的圖像處理并且通過編碼器1341對圖像信號進(jìn)行編碼。圖像信號處理單元1314將通過對圖像信號進(jìn)行編碼生成的編碼數(shù)據(jù)提供給解碼器1315。此外，圖像信號處理單元1314獲得通過在屏顯示器(OSD) 1320生成的用于顯示的數(shù)據(jù)，并且將該數(shù)據(jù)提供給解碼器1315。在上述處理中，攝像裝置信號處理單元1313在適當(dāng)時(shí)使用經(jīng)由總線1317連接的DRAM (動態(tài)隨機(jī)存取存儲器)1318并且使得圖像數(shù)據(jù)、通過對圖像數(shù)據(jù)進(jìn)行編碼獲得的編碼數(shù)據(jù)等保持在DRAM 1318中。解碼器1315對從圖像信號處理單元1314提供的編碼數(shù)據(jù)進(jìn)行解碼，并且將所得到的圖像數(shù)據(jù)(解碼圖像數(shù)據(jù))提供給LCD 1316。另外，解碼器1315將從圖像信號處理單元1314提供的用于顯示的數(shù)據(jù)提供給IXD1316。IXD 1316適當(dāng)?shù)亟M合從解碼器1315提供的解碼圖像數(shù)據(jù)的圖像與用于顯示的數(shù)據(jù)的圖像，并且顯示組合后的圖像。在屏顯示器1320在控制器1321的控制下經(jīng)由總線1317將用于顯示的數(shù)據(jù)(諸如包括符號、字符或圖形的菜單畫面和圖標(biāo))輸出到圖像信號處理單元1314?？刂破?321基于表示用戶通過使用操作單元1322做出的指令的信號而執(zhí)行各種處理，并且經(jīng)由總線1317控制圖像信號處理單元1314、DRAM1318、外部接口 1319、在屏顯示器1320、介質(zhì)驅(qū)動器1323等。控制器1321執(zhí)行各種處理所需的程序和數(shù)據(jù)存儲在閃速ROM 1324 中。
例如，控制器1321可以取代圖像信號處理單元1314和解碼器1315而對存儲在DRAM 1318中的圖像數(shù)據(jù)進(jìn)行編碼并對存儲在DRAM 1318中的編碼數(shù)據(jù)進(jìn)行解碼。在該情況下，控制器1321可利用與圖像信號處理單元1314和解碼器1315的編碼方法和解碼方法相同的方法來執(zhí)行編碼和解碼，或者可利用圖像信號處理單元1314和解碼器1315不支持的方法來執(zhí)行編碼和解碼。另外，當(dāng)例如通過操作單元1322指示開始圖像的打印時(shí)，控制器1321從DRAM1318讀出圖像數(shù)據(jù)，并且將所讀取的圖像數(shù)據(jù)提供給與經(jīng)由總線1317連接的外部接口1319連接的打印機(jī)1334以進(jìn)行打印。此外，當(dāng)例如通過操作單元1322指示記錄圖像時(shí)，控制器1321從DRAM 1318讀出編碼數(shù)據(jù)，并且將所讀取的數(shù)據(jù)提供到并存儲在經(jīng)由總線1317附接到介質(zhì)驅(qū)動器1323的記錄介質(zhì)1333。記錄介質(zhì)1333是任意讀取/寫入可拆卸介質(zhì)，諸如磁盤、磁光盤、光盤或半導(dǎo)體存儲器。記錄介質(zhì)1333顯然可以是作為可拆卸介質(zhì)的任意類型，并且可以是磁帶裝置、盤或 存儲卡。記錄介質(zhì)1333當(dāng)然可以是無接觸式IC卡等。替選地，介質(zhì)驅(qū)動器1323和記錄介質(zhì)1333可集成并且可被配置為諸如內(nèi)置硬盤驅(qū)動器和SSD (固態(tài)驅(qū)動器)的非便攜式存儲介質(zhì)。外部接口 1319例如是USB輸入/輸出端子，并且連接到用于打印圖像的打印機(jī)1334。外部接口 1319在必要時(shí)還與驅(qū)動器1331連接，諸如磁盤、光盤或磁光盤的可拆卸介質(zhì)1332在適當(dāng)時(shí)與其附接，并且在必要時(shí)將從其讀出的計(jì)算機(jī)程序安裝到閃速ROM 1324中。此外，外部接口 1319包括連接到諸如LAN和因特網(wǎng)的預(yù)定網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。控制器1321可以根據(jù)例如來自操作單元1322的指令，從DRAM1318讀出編碼數(shù)據(jù)，并且通過外部接口 1319將所讀取的編碼數(shù)據(jù)提供給經(jīng)由網(wǎng)絡(luò)連接的其它裝置。另外，控制器1321可以通過外部接口 1319經(jīng)由網(wǎng)絡(luò)獲取從其它裝置提供的編碼數(shù)據(jù)和圖像數(shù)據(jù)，并且將所獲取的數(shù)據(jù)保持在DRAM 1318中或者將所獲取的數(shù)據(jù)提供給圖像信號處理單元1314。如上所述的攝像裝置1300使用圖像解碼設(shè)備200作為解碼器1315。也就是說，與圖像解碼設(shè)備200的情況類似，解碼器1315通過使用從自圖像編碼設(shè)備100提供的編碼數(shù)據(jù)提取的信息(諸如是否在圖像編碼設(shè)備100中執(zhí)行采樣的通知以及采樣方法和內(nèi)插方法的指定)在必要時(shí)執(zhí)行相鄰像素的采樣和內(nèi)插，通過使用相鄰像素生成預(yù)測圖像，并且通過使用預(yù)測圖像根據(jù)剩余信息生成解碼圖像數(shù)據(jù)。因此，解碼器1315可以減少幀內(nèi)預(yù)測所需的存儲量。攝像裝置1300因此可以例如減少在對(XD/CM0S 1312生成的圖像數(shù)據(jù)、從DRAM1318或記錄介質(zhì)1333讀出的視頻數(shù)據(jù)的編碼數(shù)據(jù)或經(jīng)由網(wǎng)絡(luò)獲取的視頻數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼時(shí)的幀內(nèi)預(yù)測所需的存儲量，并且以較低成本實(shí)現(xiàn)實(shí)時(shí)處理。攝像裝置1300還使用圖像編碼設(shè)備100作為編碼器1341。與圖像編碼設(shè)備100的情況類似，編碼器1341基于從圖像數(shù)據(jù)提取的特征量關(guān)于是否對相鄰像素進(jìn)行采樣執(zhí)行確定，以及關(guān)于執(zhí)行采樣時(shí)的采樣方法和內(nèi)插方法進(jìn)行確定，在必要時(shí)對相鄰像素進(jìn)行采樣，并且存儲像素。編碼器1341讀出執(zhí)行幀內(nèi)預(yù)測時(shí)的相鄰像素，并且在必要時(shí)內(nèi)插像素以重構(gòu)相鄰像素。編碼器1341然后通過使用重構(gòu)的相鄰像素生成預(yù)測圖像，并且通過使用預(yù)測圖像根據(jù)剩余信息生成編碼數(shù)據(jù)。編碼器1341因此可以減少幀內(nèi)預(yù)測所需的存儲量。因此，攝像裝置1300可以例如減少在生成要記錄在DRAM 1318和記錄介質(zhì)1333上的編碼數(shù)據(jù)和要提供到其它裝置的編碼數(shù)據(jù)時(shí)的幀內(nèi)預(yù)測所需的存儲量，并且可以以較小成本實(shí)現(xiàn)實(shí)時(shí)處理。注意，用于圖像解碼設(shè)備200的解碼方法可應(yīng)用于控制器1321執(zhí)行的解碼。類似地，用于圖像編碼設(shè)備100的編碼方法可應(yīng)用于控制器1321執(zhí)行的編碼。此外，攝像裝置1300獲取的圖像數(shù)據(jù)可以是運(yùn)動圖像或靜止圖像。
不必說，圖像編碼設(shè)備100和圖像解碼設(shè)備200也可以應(yīng)用于除上述之外的設(shè)備或系統(tǒng)。注意，本技術(shù)還可以具有如下配置。(I) 一種圖像處理設(shè)備，包括采樣單元，根據(jù)要被編碼的圖像在水平方向上的大小或者通過分割所述圖像所獲得的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；重構(gòu)單元，通過使用所述采樣單元采樣的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素；預(yù)測圖像生成單元，通過使用所述重構(gòu)單元重構(gòu)的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像；以及編碼單元，通過使用所述預(yù)測圖像生成單元生成的預(yù)測圖像來對所述圖像進(jìn)行編碼。(2)根據(jù)(I)所述的圖像處理設(shè)備，還包括確定單元，確定是否執(zhí)行所述使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣，其中，所述采樣單元在所述確定單元確定執(zhí)行所述采樣時(shí)執(zhí)行所述采樣。 ( 3 )根據(jù)(2 )所述的圖像處理設(shè)備，其中，所述確定單元根據(jù)所述圖像的內(nèi)容或者在對所述圖像編碼時(shí)的圖片類型來確定是否執(zhí)行所述采樣。(4)根據(jù)(2)所述的圖像處理設(shè)備，還包括采樣方法確定單元，當(dāng)所述確定單元確定執(zhí)行所述采樣時(shí)，根據(jù)所述圖像在水平方向上的大小或所述區(qū)域在垂直方向上的大小確定所述采樣的方法，其中，所述采樣單元通過所述采樣方法確定單元確定的方法執(zhí)行所述采樣。( 5 )根據(jù)(4 )所述的圖像處理設(shè)備，其中，所述采樣方法確定單元根據(jù)所述圖像的內(nèi)容確定所述采樣的方法。( 6 )根據(jù)(4 )所述的圖像處理設(shè)備，其中，所述采樣方法確定單元根據(jù)在對所述圖像編碼時(shí)的圖片類型來確定所述采樣的方法。(7)根據(jù)(4)至(6)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述采樣方法確定單元確定所述內(nèi)插的方法，以及
所述重構(gòu)單元通過所述采樣方法確定單元確定的所述內(nèi)插的方法執(zhí)行所述內(nèi)插，以重構(gòu)所述相鄰像素。(8)根據(jù)(I)至(7)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分和最右像素列的一部分進(jìn)行采樣。(9)根據(jù)(I)至(7)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分進(jìn)行采樣。(10)根據(jù)(I)至(9)中任一項(xiàng)所述的圖像處理設(shè)備，還包括特征量提取單元，提取所述圖像的特征量，其中， 所述確定單元根據(jù)所述特征量提取單元提取作為所述圖像的特征量的、所述圖像在水平方向上的大小或者所述區(qū)域在垂直方向上的大小來確定是否執(zhí)行所述采樣。(11)根據(jù)(I)至(10)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述編碼單元傳送所述預(yù)測圖像生成單元生成的預(yù)測圖像、通過對來自所述圖像的每個(gè)所述區(qū)域的差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)、以及表示所述采樣單元是否執(zhí)行所述采樣的信息。(12 )根據(jù)(11)所述的圖像處理設(shè)備，其中，所述編碼單元傳送通過對所述差異信息進(jìn)行編碼所獲得的所述編碼數(shù)據(jù)以及表示所述采樣單元執(zhí)行的采樣的方法的信息。(13) 一種用于圖像處理設(shè)備的圖像處理方法，包括由采樣單元根據(jù)要被編碼的圖像在水平方向上的大小或者所述圖像被分割而成的矩陣中的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中用作相鄰像素的像素值稀疏化的采樣；由重構(gòu)單元通過使用采樣后的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素；由預(yù)測圖像生成單元通過使用重構(gòu)后的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像；以及由編碼單元通過使用所生成的預(yù)測圖像來對所述圖像進(jìn)行編碼。(14) 一種圖像處理設(shè)備，包括解碼單元，對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼；采樣單元，根據(jù)通過所述解碼單元對所述編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者所述圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；重構(gòu)單元，通過使用所述采樣單元采樣的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素；以及預(yù)測圖像生成單元，通過使用所述重構(gòu)單元重構(gòu)的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像。(15)根據(jù)(14)所述的圖像處理設(shè)備，還包括確定單元，確定是否執(zhí)行所述使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；以及
采樣方法確定單元，當(dāng)所述確定單元確定執(zhí)行所述采樣時(shí)，根據(jù)所述圖像在水平方向上的大小或所述區(qū)域在垂直方向上的大小確定所述采樣的方法，其中，所述采樣單元在所述確定單元確定執(zhí)行所述采樣時(shí)，通過所述采樣方法確定單元確定的方法來執(zhí)行所述采樣。(16)根據(jù)(14)或(15)所述的圖像處理設(shè)備，其中，所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分和最右像素列的一部分進(jìn)行采樣。(17)根據(jù)(14)或(15)所述的圖像處理設(shè)備，其中，所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分進(jìn)行采樣。
(18)根據(jù)(14)至(17)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述解碼單元獲取所傳送的、通過對所述預(yù)測圖像與所述圖像的每個(gè)所述區(qū)域之間的差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)以及表示所述采樣單元是否執(zhí)行所述采樣的信
肩、O(19)根據(jù)(18)所述的圖像處理設(shè)備，其中，所述解碼單元獲取所傳送的、通過對所述差異信息進(jìn)行編碼所獲得的所述編碼數(shù)據(jù)以及表示所述采樣單元執(zhí)行的采樣的方法的信息。(20) 一種用于圖像處理設(shè)備的圖像處理方法，包括由解碼單元對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼；由采樣單元根據(jù)通過對所述編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者所述圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中用作相鄰像素的像素值稀疏化的采樣；由重構(gòu)單元通過使用采樣后的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素；以及由預(yù)測圖像生成單元通過使用重構(gòu)后的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像。附圖標(biāo)記列表100圖像編碼設(shè)備114幀內(nèi)預(yù)測單元121特征量提取單元122采樣執(zhí)行確定單元123采樣方法確定單元151采樣單元152重構(gòu)像素存儲單元153相鄰像素重構(gòu)單元154預(yù)測圖像生成單元200圖像解碼設(shè)備211幀內(nèi)預(yù)測單元231控制單元232采樣單元
233重構(gòu)像素存儲單元
234相鄰像素重構(gòu)單元235預(yù)測圖像生成單元
權(quán)利要求
1.一種圖像處理設(shè)備，包括 采樣單元，根據(jù)要被編碼的圖像在水平方向上的大小或者通過分割所述圖像所獲得的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣； 重構(gòu)單元，通過使用所述采樣單元采樣的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素； 預(yù)測圖像生成單元，通過使用所述重構(gòu)單元重構(gòu)的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像；以及 編碼單元，通過使用所述預(yù)測圖像生成單元生成的預(yù)測圖像來對所述圖像進(jìn)行編碼。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，還包括 確定單元，確定是否執(zhí)行所述使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣，其中 所述采樣單元在所述確定單元確定執(zhí)行所述采樣時(shí)執(zhí)行所述采樣。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 所述確定單元根據(jù)所述圖像的內(nèi)容或者在對所述圖像編碼時(shí)的圖片類型來確定是否執(zhí)行所述采樣。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括 采樣方法確定單元，當(dāng)所述確定單元確定執(zhí)行所述采樣時(shí)，根據(jù)所述圖像在水平方向上的大小或所述區(qū)域在垂直方向上的大小確定所述采樣的方法，其中 所述采樣單元通過所述采樣方法確定單元確定的方法執(zhí)行所述采樣。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中， 所述采樣方法確定單元根據(jù)所述圖像的內(nèi)容確定所述采樣的方法。
6.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中， 所述采樣方法確定單元根據(jù)在對所述圖像編碼時(shí)的圖片類型來確定所述采樣的方法。
7.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中， 所述采樣方法確定單元確定所述內(nèi)插的方法，以及 所述重構(gòu)單元通過所述采樣方法確定單元確定的所述內(nèi)插的方法執(zhí)行所述內(nèi)插，以重構(gòu)所述相鄰像素。
8.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中， 所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分和最右像素列的一部分進(jìn)行采樣。
9.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中， 所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分進(jìn)行采樣。
10.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，還包括 特征量提取單元，提取所述圖像的特征量，其中， 所述確定單元根據(jù)所述特征量提取單元提取作為所述圖像的特征量的、所述圖像在水平方向上的大小或者所述區(qū)域在垂直方向上的大小來確定是否執(zhí)行所述采樣。
11.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中， 所述編碼單元傳送所述預(yù)測圖像生成單元生成的預(yù)測圖像、通過對來自所述圖像的每個(gè)所述區(qū)域的差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)、以及表示所述采樣單元是否執(zhí)行所述采樣的信息。
12.根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中， 所述編碼單元傳送通過對所述差異信息進(jìn)行編碼所獲得的所述編碼數(shù)據(jù)以及表示所述采樣單元執(zhí)行的采樣的方法的信息。
13.一種用于圖像處理設(shè)備的圖像處理方法，包括 由采樣單元根據(jù)要被編碼的圖像在水平方向上的大小或者所述圖像被分割而成的矩陣中的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中用作相鄰像素的像素值稀疏化的采樣； 由重構(gòu)單元通過使用采樣后的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素； 由預(yù)測圖像生成單元通過使用重構(gòu)后的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像；以及 由編碼單元通過使用所生成的預(yù)測圖像來對所述圖像進(jìn)行編碼。
14.一種圖像處理設(shè)備，包括 解碼單元，對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼； 采樣單元，根據(jù)通過所述解碼單元對所述編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者所述圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣； 重構(gòu)單元，通過使用所述采樣單元采樣的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素；以及 預(yù)測圖像生成單元，通過使用所述重構(gòu)單元重構(gòu)的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像。
15.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，還包括 確定單元，確定是否執(zhí)行所述使在幀內(nèi)預(yù)測中要用作相鄰像素的像素值稀疏化的采樣；以及 采樣方法確定單元，當(dāng)所述確定單元確定執(zhí)行所述采樣時(shí)，根據(jù)所述圖像在水平方向上的大小或所述區(qū)域在垂直方向上的大小確定所述采樣的方法，其中， 所述采樣單元在所述確定單元確定執(zhí)行所述采樣時(shí)，通過所述采樣方法確定單元確定的方法來執(zhí)行所述采樣。
16.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中， 所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分和最右像素列的一部分進(jìn)行采樣。
17.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中， 所述采樣單元對所述圖像被分割而成的每個(gè)所述區(qū)域中的最下像素行的一部分進(jìn)行采樣。
18.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中， 所述解碼單元獲取所傳送的、通過對所述預(yù)測圖像與所述圖像的每個(gè)所述區(qū)域之間的差異信息進(jìn)行編碼所獲得的編碼數(shù)據(jù)以及表示所述采樣單元是否執(zhí)行所述采樣的信息。
19.根據(jù)權(quán)利要求18所述的圖像處理設(shè)備，其中， 所述解碼單元獲取所傳送的、通過對所述差異信息進(jìn)行編碼所獲得的所述編碼數(shù)據(jù)以及表示所述采樣單元執(zhí)行的采樣的方法的信息。
20.一種用于圖像處理設(shè)備的圖像處理方法，包括 由解碼單元對通過對圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)進(jìn)行解碼； 由采樣單元根據(jù)通過對所述編碼數(shù)據(jù)進(jìn)行解碼所獲得的圖像在水平方向上的大小或者所述圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行使在幀內(nèi)預(yù)測中用作相鄰像素的像素值稀疏化的采樣； 由重構(gòu)單元通過使用采樣后的像素值來執(zhí)行內(nèi)插，以重構(gòu)所述相鄰像素；以及 由預(yù)測圖像生成單元通過使用重構(gòu)后的相鄰像素來執(zhí)行所述幀內(nèi)預(yù)測，以生成預(yù)測圖像。
全文摘要
公開了一種能夠減少在幀內(nèi)預(yù)測時(shí)所需的存儲量的圖像處理設(shè)備和方法。該設(shè)備被設(shè)置有采樣單元，根據(jù)編碼圖像在水平方向上的大小或者上述圖像被分割而成的區(qū)域在垂直方向上的大小，執(zhí)行采集在幀內(nèi)預(yù)測中用作相鄰像素的像素值的采樣；重構(gòu)單元，使用由上述采樣單元采樣的上述像素值來執(zhí)行內(nèi)插處理，并重構(gòu)上述相鄰像素；預(yù)測圖像生成單元，使用由上述重構(gòu)單元重構(gòu)的上述相鄰像素來執(zhí)行上述幀內(nèi)預(yù)測，并且生成預(yù)測圖像；以及編碼單元，使用由上述預(yù)測圖像生成單元生成的上述預(yù)測圖像來對上述圖像進(jìn)行編碼。本技術(shù)可以例如應(yīng)用在圖像處理設(shè)備中。
文檔編號H04N7/32GK102823254SQ20118001757
公開日2012年12月12日 申請日期2011年3月31日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者小川一哉 申請人:索尼公司