本發(fā)明申請(qǐng)是申請(qǐng)日期為2011年3月11日、申請(qǐng)?zhí)枮椤?01180015616.0”、發(fā)明名稱為“圖像處理設(shè)備和方法”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

本發(fā)明涉及一種圖像處理設(shè)備和方法，具體地，涉及一種能夠?qū)崿F(xiàn)較高的編碼效率的圖像處理設(shè)備和方法。

背景技術(shù)：

近年來，已廣泛地使用如下設(shè)備：這些設(shè)備利用作為圖像信息的特征的冗余，通過采用將圖像信息處置為數(shù)字信號(hào)的編碼格式來使圖像經(jīng)歷壓縮編碼，并且此時(shí)通過諸如離散余弦變換等的正交變換和運(yùn)動(dòng)補(bǔ)償來壓縮圖像，以便執(zhí)行極為高效的信息傳送和存儲(chǔ)。該編碼方法的示例包括mpeg(運(yùn)動(dòng)圖片專家組)等。

特別地，mpeg2(iso/iec13818-2)被定義為通用圖像編碼格式，并且是涵蓋隔行掃描圖像和順序掃描圖像、以及標(biāo)準(zhǔn)分辨率圖像和高清圖像兩者的標(biāo)準(zhǔn)。例如，現(xiàn)在范圍廣泛的用于專業(yè)用途以及用于消費(fèi)者用途的應(yīng)用已廣泛采用mpeg2。通過采用mpeg2壓縮格式，在例如具有720×480個(gè)像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像的情況下，分配4至8mbps的碼量(位率)。通過采用mpeg2壓縮格式，在例如具有1920×1088個(gè)像素的高分辨率的隔行掃描圖像的情況下，分配18至22mbps的碼量(位率)。因此，可以實(shí)現(xiàn)高壓縮率和出色的圖像質(zhì)量。

mpeg2主要針對(duì)適于廣播用途的高圖像質(zhì)量編碼，但是未處置比mpeg1的碼量低的碼量(位率)，即具有較高壓縮率的編碼格式。由于個(gè)人數(shù)字助理的普及，預(yù)見到對(duì)這種編碼格式的需求將從現(xiàn)在開始增加，并且作為響應(yīng)，已執(zhí)行mpeg4編碼格式的標(biāo)準(zhǔn)化。對(duì)于圖像編碼格式，其規(guī)范在1998年12月被確認(rèn)為國際標(biāo)準(zhǔn)iso/iec14496-2。

此外，近年來，被稱為h.26l(itu-tq6/16vceg)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已在進(jìn)行，其目的在于用于電視會(huì)議用途的圖像編碼。對(duì)于h.26l，已知較之諸如mpeg2或mpeg4的傳統(tǒng)的編碼格式，盡管需要較大的計(jì)算量用于其編碼和解碼，但是實(shí)現(xiàn)了較高的編碼效率。再者，當(dāng)前，作為mpeg4活動(dòng)的一部分，以該h.26l為基礎(chǔ)利用h.26l不支持的功能以實(shí)現(xiàn)更高的編碼效率的標(biāo)準(zhǔn)化已被執(zhí)行，作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型。作為標(biāo)準(zhǔn)化的進(jìn)程，h.264和mpeg4part10(高級(jí)視頻編碼，以下稱為h.264/avc)在2003年3月成為國際標(biāo)準(zhǔn)。

此外，作為其擴(kuò)展，在2005年2月完成了frext(保真度范圍擴(kuò)展)的標(biāo)準(zhǔn)化，其包括諸如rgb、4:2:2或4:4:4的操作所需的編碼工具以及由mpeg-2規(guī)定的8×8dct和量化矩陣。因此，獲得了能夠使用h.264/avc來良好地表達(dá)電影中包括的影片噪聲的編碼格式，并且該編碼格式將用于廣泛的應(yīng)用，諸如藍(lán)光盤(注冊(cè)商標(biāo))。

然而，最近，對(duì)更高壓縮比編碼的需要增加，以諸如壓縮約4000×2000個(gè)像素的圖像，這是高畫質(zhì)(hi-vision)圖像的像素?cái)?shù)目的四倍，或者諸如對(duì)在諸如互聯(lián)網(wǎng)的具有有限的傳送容量的環(huán)境中分送高畫質(zhì)圖像的需求。因此，在itu-t下的vceg(＝視頻編碼專家組)繼續(xù)進(jìn)行關(guān)于提高編碼效率的研究。

順便提及，例如，對(duì)于mpeg2格式，通過線性內(nèi)插處理執(zhí)行具有1/2像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。另一方面，對(duì)于h.264/avc格式，使用6抽頭fir(有限脈沖響應(yīng)濾波器)濾波器作為內(nèi)插濾波器來執(zhí)行具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。

圖1是用于描述根據(jù)h.264/avc格式的具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的示圖。對(duì)于h.264/avc格式，使用6抽頭fir(有限脈沖響應(yīng)濾波器)濾波器執(zhí)行具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。

對(duì)于圖1中的示例，位置a指示整數(shù)精度像素的位置，并且位置b、c和d指示具有1/2像素精度的位置，并且位置e1、e2和e3指示具有1/4像素精度的位置。首先，在下文中通過下式(1)定義clip()。

[數(shù)學(xué)式1]

注意，在輸入圖像具有8位精度的情況下，max_pix的值是255。

使用6抽頭fir濾波器通過下式(2)生成位置b和d的像素值。

[數(shù)學(xué)式2]

f＝a-2-5·a-1+20·a0+20·a1-5·a2+a3

b,d＝clip1((f+16)>>5)…(2)

通過在水平方向和豎直方向上應(yīng)用6抽頭fir濾波器通過下式(3)生成位置c的像素值。

[數(shù)學(xué)式3]

f＝b-2-5·b-1+20·b0+20·b1-5·b2+b3

或者

f＝d-2-5·d-1+20·d0+20·d1-5·d2+d3

c＝clip1((f+512)>>10)…(3)

注意，在水平方向和豎直方向兩者上執(zhí)行積和處理之后，最后執(zhí)行僅一次clip處理。

如下式(4)中所示通過線性內(nèi)插生成位置e1至e3。

[數(shù)學(xué)式4]

e1＝(a+b+1)>>1

e2＝(b+d+1)>>1

e3＝(b+c+1)>>1...(4)

再者，對(duì)于mpeg2格式，在幀運(yùn)動(dòng)補(bǔ)償模式的情況下，按16×16個(gè)像素的增量執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理，并且在場(chǎng)運(yùn)動(dòng)補(bǔ)償模式的情況下，按16×8個(gè)像素的增量針對(duì)每個(gè)第一場(chǎng)和第二場(chǎng)執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。

另一方面，對(duì)于h.264/avc格式的運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償，宏塊尺寸是16×16個(gè)像素，但是可以利用可變的塊尺寸來執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償。

圖2是圖示根據(jù)h.264/avc格式的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償?shù)膲K尺寸的示例的示圖。

在圖2中在上層按左起的順序示出了被分成16×16像素、16×8像素、8×16像素和8×8像素分區(qū)的16×16個(gè)像素構(gòu)成的宏塊。在圖2中在下層按左起的順序示出了被分成8×8像素、8×4像素、4×8像素和4×4像素子分區(qū)的8×8像素分區(qū)。

就是說，對(duì)于h.264/avc格式，一個(gè)宏塊可以被分成16×16像素、16×8像素、8×16像素和8×8像素分區(qū)之一，每個(gè)分區(qū)具有獨(dú)立的運(yùn)動(dòng)向量信息。再者，8×8像素分區(qū)可以被分成8×8像素、8×4像素、4×8像素和4×4像素子分區(qū)之一，每個(gè)子分區(qū)具有獨(dú)立的運(yùn)動(dòng)向量信息。

再者，對(duì)于h.264/avc格式，還執(zhí)行多個(gè)參考幀的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。

圖3是用于描述根據(jù)h.264/avc格式的多參考幀的預(yù)測(cè)/補(bǔ)償處理的示圖。對(duì)于h.264/avc格式，規(guī)定了多參考幀(multi-referenceframe)的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償方法。

對(duì)于圖3中的示例，示出了從現(xiàn)在起待編碼的當(dāng)前幀fn，以及編碼幀fn-5至fn-1。在時(shí)間軸上，幀fn-1是在當(dāng)前幀fn之緊鄰的先前個(gè)幀的幀，幀fn-2是在當(dāng)前幀fn之前兩個(gè)幀的幀，并且?guī)琭n-3是在當(dāng)前幀fn之前三個(gè)幀的幀。相似地，幀fn-4是在當(dāng)前幀fn之前四個(gè)幀的幀，并且?guī)琭n-5是在當(dāng)前幀fn之前五個(gè)幀的幀。通常，幀在時(shí)間軸上距當(dāng)前幀fn越近，則將加上的參考圖片碼數(shù)(ref_id)就越小。具體地，幀fn-1具有最小的參考圖片碼數(shù)，并且隨后，參考圖片碼數(shù)按fn-2,…,fn-5的順序是小的。

對(duì)于當(dāng)前幀fn，示出了塊a1和塊a2，通過假設(shè)塊a1與在當(dāng)前幀fn之前兩個(gè)幀的幀fn-2的塊a1'相關(guān)來搜索運(yùn)動(dòng)向量v1。相似地，通過假設(shè)塊a2與在當(dāng)前幀fn之前四個(gè)幀的幀fn-4的塊a1'相關(guān)來搜索運(yùn)動(dòng)向量v2。

如上文所述，對(duì)于h.264/avc格式，可以通過存儲(chǔ)器中存儲(chǔ)的多個(gè)參考幀在一個(gè)幀(圖片)中參考不同的參考幀。就是說，可以針對(duì)一個(gè)圖片中的每個(gè)塊提供獨(dú)立參考幀信息(參考圖片碼數(shù)(ref_id))，使得例如塊a1參考幀fn-2，并且塊a2參考幀fn-4。

這里，塊指示參照?qǐng)D2描述的16×16像素、16×8像素、8×16像素和8×8像素分區(qū)。8×8像素子塊分區(qū)內(nèi)的參考幀必須一致。

如上文所述，對(duì)于h.264/avc格式，通過執(zhí)行上文參照?qǐng)D1描述的1/4像素運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理，以及上文參照?qǐng)D2和圖3描述的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理，生成了大量的運(yùn)動(dòng)向量信息，并且如果這些信息在不變的情況下被編碼，則引起編碼效率的劣化。與此響應(yīng)，對(duì)于h.264/avc格式，根據(jù)圖4中所示的方法已實(shí)現(xiàn)了運(yùn)動(dòng)向量編碼信息的減少。

圖4是用于描述根據(jù)h.264/avc格式的運(yùn)動(dòng)向量信息生成方法的示圖。

對(duì)于圖4中的示例，示出了從現(xiàn)在起待編碼的當(dāng)前塊e(例如16×16個(gè)像素)，以及與當(dāng)前塊e相鄰的已被編碼的塊a至d。

就是說，塊d與當(dāng)前塊e的左上側(cè)相鄰，塊b與當(dāng)前塊e的上側(cè)相鄰，塊c與當(dāng)前塊e的右上側(cè)相鄰，并且塊a與當(dāng)前塊e的左側(cè)相鄰。注意，塊a至d未被分開的原因在于每個(gè)塊表示具有上文參照?qǐng)D2描述的16×16個(gè)像素至4×4個(gè)像素的一個(gè)結(jié)構(gòu)的塊。

例如，假設(shè)針對(duì)x(＝a,b,c,d,e)的運(yùn)動(dòng)向量信息由mvx表示。首先，使用關(guān)于塊a、b和c的運(yùn)動(dòng)向量信息通過中值預(yù)測(cè)通過下式(5)生成針對(duì)當(dāng)前塊e的預(yù)測(cè)運(yùn)動(dòng)向量信息pmve。

pmve＝med(mva,mvb,mvc)...(5)

由于諸如處于圖像幀的邊緣處、仍未被編碼等的原因，關(guān)于塊c的運(yùn)動(dòng)向量信息可能是無用的(可能不可用)。在該情況下，使用關(guān)于塊d的運(yùn)動(dòng)向量信息替代關(guān)于塊c的運(yùn)動(dòng)向量信息。

使用pmve通過下式(6)生成用作針對(duì)當(dāng)前塊e的運(yùn)動(dòng)向量信息的、將添加到壓縮圖像的報(bào)頭部分的數(shù)據(jù)mvde。

mvde＝mve-pmve...(6)

注意，事實(shí)上，針對(duì)運(yùn)動(dòng)向量信息的水平方向和豎直方向上的分量獨(dú)立地執(zhí)行處理。

通過這種方式，生成了預(yù)測(cè)運(yùn)動(dòng)向量信息，作為基于與相鄰塊的相關(guān)性生成的預(yù)測(cè)運(yùn)動(dòng)向量信息和運(yùn)動(dòng)向量信息之間的差的差運(yùn)動(dòng)向量信息被添加到壓縮圖像的報(bào)頭部分，從而減少了運(yùn)動(dòng)向量信息。

再者，盡管關(guān)于b圖片的運(yùn)動(dòng)向量信息的信息量是巨大的，但是對(duì)于h.264/avc格式，準(zhǔn)備了被稱為直接模式的模式。在直接模式中，運(yùn)動(dòng)向量信息未存儲(chǔ)在壓縮圖像中。

就是說，在解碼側(cè)，通過當(dāng)前塊周圍的運(yùn)動(dòng)向量信息，或者參考圖片，從并置塊的運(yùn)動(dòng)向量信息提取當(dāng)前塊的運(yùn)動(dòng)向量信息，該并置塊是具有與當(dāng)前塊相同的坐標(biāo)的塊。因此，運(yùn)動(dòng)向量信息不必傳送到解碼側(cè)。

該直接模式包括兩種類型，即空間直接模式(spatialdirectmode)和時(shí)間直接模式(temporaldirectmode)?？臻g直接模式是主要利用空間方向上(圖片內(nèi)的水平和豎直二維空間)的運(yùn)動(dòng)信息的相關(guān)性的模式，并且通常在圖像包括運(yùn)動(dòng)速度變化的相似運(yùn)動(dòng)的情況下具有優(yōu)勢(shì)。另一方面，時(shí)間直接模式是主要利用時(shí)間方向上的運(yùn)動(dòng)信息的相關(guān)性的模式，并且通常在圖像包括運(yùn)動(dòng)速度恒定的不同運(yùn)動(dòng)的情況下具有優(yōu)勢(shì)。

使用這些空間直接模式和時(shí)間直接模式中的哪個(gè)模式可以針對(duì)每個(gè)切片進(jìn)行切換。

再次參照?qǐng)D4，將描述根據(jù)h.264/avc格式的空間直接模式。對(duì)于圖4中的示例，如上文所述，示出了從現(xiàn)在起待編碼的當(dāng)前塊e(例如，16×16個(gè)像素)以及與當(dāng)前塊e相鄰的已被編碼的塊a至d。再者，例如，針對(duì)x(＝a,b,c,d,e)的運(yùn)動(dòng)向量信息由mvx表示。

使用關(guān)于塊a、b和c的運(yùn)動(dòng)向量信息通過中值預(yù)測(cè)通過上述式(5)生成針對(duì)當(dāng)前塊e的預(yù)測(cè)運(yùn)動(dòng)向量信息pmve。再者，通過下式(7)表示空間直接模式中的針對(duì)當(dāng)前塊e的運(yùn)動(dòng)向量信息mve。

mve＝pmve...(7)

就是說，在空間直接模式中，通過中值預(yù)測(cè)生成的預(yù)測(cè)運(yùn)動(dòng)向量被取作當(dāng)前塊的運(yùn)動(dòng)向量信息。就是說，根據(jù)編碼塊的運(yùn)動(dòng)向量信息生成當(dāng)前塊的運(yùn)動(dòng)向量信息。因此，也可以在解碼側(cè)根據(jù)空間直接模式生成運(yùn)動(dòng)向量，并且因此，運(yùn)動(dòng)向量信息不必傳送到解碼側(cè)。

接下來，將參照?qǐng)D5描述根據(jù)h.264/avc格式的時(shí)間直接模式。

對(duì)于圖5中的示例，時(shí)間軸t表示時(shí)間的消逝，從左起按順序示出了l0(list0)參考圖片、從現(xiàn)在起待編碼的當(dāng)前圖片以及l(fā)1(list1)參考圖片。注意，對(duì)于h.264/avc格式，l0參考圖片、當(dāng)前圖片和l1參考圖片的排列不限于該順序。

當(dāng)前圖片的當(dāng)前塊包括在例如b切片中。因此，對(duì)于當(dāng)前圖片的當(dāng)前塊，針對(duì)l0參考圖片和l1參考圖片計(jì)算基于時(shí)間直接模式的l0運(yùn)動(dòng)向量信息mvl0和l1運(yùn)動(dòng)向量信息mvl1。

再者，對(duì)于l0參考圖片，基于l0參考圖片和l1參考圖片計(jì)算并置塊中的運(yùn)動(dòng)向量信息mvcol，該并置塊是位于與從現(xiàn)在起待編碼的當(dāng)前塊相同的空間地址(坐標(biāo))的塊。

現(xiàn)在，假設(shè)當(dāng)前圖片和l0參考圖片之間的在時(shí)間軸上的距離被取作tdb，并且l0參考圖片和l1參考圖片之間的在時(shí)間軸上的距離被取作tdd。在該情況下，可以通過下式(8)計(jì)算當(dāng)前圖片中的l0運(yùn)動(dòng)向量信息mvl0和當(dāng)前圖片中的l1運(yùn)動(dòng)向量信息mvl1。

[數(shù)學(xué)式5]

注意，對(duì)于h.264/avc格式，不存在針對(duì)壓縮圖像中的當(dāng)前圖片的等同于時(shí)間軸t上的距離tdb和tdd的信息。因此，使用poc(圖片順序計(jì)數(shù))作為距離tdb和tdd的實(shí)際值，poc是指示圖片的輸出序列的信息。

再者，對(duì)于h.264/avc格式，可以按16×16像素宏塊或者8×8像素塊的增量來定義直接模式。

現(xiàn)在，參照?qǐng)D4，非專利文獻(xiàn)1提出了如下的使用中值預(yù)測(cè)來改進(jìn)運(yùn)動(dòng)向量編碼的方法。

就是說，提出了自適應(yīng)地使用通過上述式(5)獲得的空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)，時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)以及將參照?qǐng)D6描述的空間-時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間-時(shí)間預(yù)測(cè)器)中的一個(gè)，作為預(yù)測(cè)運(yùn)動(dòng)向量信息。

對(duì)于圖6中的示例，示出了作為待編碼的當(dāng)前幀的幀n，以及作為執(zhí)行運(yùn)動(dòng)向量的搜索時(shí)參考的參考幀的幀n-1。

在幀n中，現(xiàn)將編碼的當(dāng)前塊具有針對(duì)當(dāng)前塊指示的運(yùn)動(dòng)向量信息mv，以及與當(dāng)前塊相鄰的已編碼塊，每個(gè)已編碼塊具有針對(duì)各個(gè)塊的運(yùn)動(dòng)向量信息mva、mvb、mvc和mvd。

具體地，在左上側(cè)與當(dāng)前塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvd，并且在上側(cè)與當(dāng)前塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvb。在右上側(cè)與當(dāng)前塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvc，并且在左側(cè)與當(dāng)前塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mva。

在幀n-1中，與當(dāng)前塊對(duì)應(yīng)的塊(并置塊)具有針對(duì)對(duì)應(yīng)塊指示的運(yùn)動(dòng)向量信息mvcol。這里注意，對(duì)應(yīng)塊是與當(dāng)前幀不同的已編碼幀(位于之前或之后的幀)中的塊，并且是與當(dāng)前塊對(duì)應(yīng)的位置處的塊。

再者，在幀n-1中，與對(duì)應(yīng)塊相鄰的塊具有針對(duì)每個(gè)塊分別指示的運(yùn)動(dòng)向量信息mvt4、mvt0、mvt7、mvt1、mvt3、mvt5、mvt2和mvt6。

具體地，在左上側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt4，并且在上側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt0。在右上側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt7，并且在左側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt1。在右側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt3，并且在左下側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt5。在下側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt2，并且在右下側(cè)與對(duì)應(yīng)塊相鄰的塊具有對(duì)應(yīng)于該塊指示的運(yùn)動(dòng)向量信息mvt6。

再者，盡管上述式(5)中的預(yù)測(cè)運(yùn)動(dòng)向量信息pmv是借助與當(dāng)前塊相鄰的塊的運(yùn)動(dòng)向量信息而生成的，但是通過下式(9)和(10)定義各個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息pmvtm5、pmvtm9和pmvspt。注意在這些信息中，pmvtm5和pmvtm9是時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息，并且pmvspt是空間-時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息。

時(shí)間預(yù)測(cè)器：

pmvtm5＝med(mvcol,mvt0,···,mvt3)

pmvtm9＝med(mvcol,mvt0,···,mvt7)...(9)

空間-時(shí)間預(yù)測(cè)器：

pmvspt＝med(mvcol,mvcol,mva,mvb,mvc)...(10)

對(duì)于使用每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的情況計(jì)算成本函數(shù)值，并且因此選擇使用式(5)、式(9)和式(10)中的哪個(gè)的預(yù)測(cè)運(yùn)動(dòng)向量信息。指示關(guān)于哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息已被用于每個(gè)塊的信息的標(biāo)志隨后被傳送到解碼側(cè)。

注意，上述附圖和式也將被適當(dāng)?shù)赜迷诒旧暾?qǐng)的描述中。

引用文獻(xiàn)列表

非專利文獻(xiàn)1："motionvectorcodingwithoptimalpmvselection",vceg-ai22,itu-telecommunicationsstandardizationsectorstudygroup16question6,july2008

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

順便提及，利用根據(jù)上述非專利文獻(xiàn)1的建議，針對(duì)哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息分配哪個(gè)碼數(shù)是固定的。

現(xiàn)在，對(duì)于h.264/avc格式，規(guī)定了無損編碼，諸如可變長(zhǎng)度編碼，如cavlc(上下文自適應(yīng)可變長(zhǎng)度編碼)，或者算術(shù)編碼，如cabac(上下文自適應(yīng)二值算術(shù)編碼)。

在這兩種cavlc格式和cabac格式的情況下，具有較高的出現(xiàn)頻率的預(yù)測(cè)運(yùn)動(dòng)向量信息應(yīng)被分配較小的碼數(shù)，并且對(duì)于每個(gè)序列和位率，每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的出現(xiàn)頻率應(yīng)是不同的。然而，這些是固定的，可能干擾編碼效率的提高。

考慮到該情況進(jìn)行了本公開，并且本公開使得能夠?qū)崿F(xiàn)較高的編碼效率。

對(duì)問題的解決方案

公開了一種能夠?qū)崿F(xiàn)較高的編碼效率的圖像處理設(shè)備和方法。預(yù)測(cè)運(yùn)動(dòng)向量生成單元(76)使用所提供的附近區(qū)域的運(yùn)動(dòng)向量信息來生成多種類型的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且向運(yùn)動(dòng)估計(jì)/補(bǔ)償單元(75)提供預(yù)測(cè)運(yùn)動(dòng)向量信息和由碼數(shù)分配單元(77)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)的每個(gè)集合。碼數(shù)分配單元(77)向預(yù)測(cè)運(yùn)動(dòng)向量生成單元(76)和可逆編碼單元(66)提供關(guān)于將哪個(gè)碼數(shù)分配給哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配信息。該技術(shù)能夠應(yīng)用于例如以h.264/avc方法為基礎(chǔ)進(jìn)行編碼的圖像編碼設(shè)備中。

本公開的一個(gè)方面是一種圖像處理設(shè)備，其包括：碼數(shù)分配單元，配置成根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及預(yù)測(cè)運(yùn)動(dòng)向量生成單元，配置成使用作為待處理的當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息的外圍運(yùn)動(dòng)信息來生成區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且依據(jù)由碼數(shù)分配單元已決定的分配碼數(shù)的方式，將碼數(shù)分配給已生成的預(yù)測(cè)運(yùn)動(dòng)向量信息。

碼數(shù)分配單元可以針對(duì)預(yù)測(cè)處理的每個(gè)遞增區(qū)域，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

在區(qū)域是靜止區(qū)域的情況下，碼數(shù)分配單元可以控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息。

在區(qū)域是靜止區(qū)域的情況下，預(yù)測(cè)運(yùn)動(dòng)向量生成單元可以僅生成時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息，并且向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息分配由碼數(shù)分配單元決定的碼數(shù)。

在區(qū)域是移動(dòng)區(qū)域的情況下，碼數(shù)分配單元可以控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息。

圖像處理設(shè)備可以進(jìn)一步包括：靜止區(qū)域確定單元，配置成確定當(dāng)前區(qū)域是否是靜止區(qū)域，碼數(shù)分配單元依據(jù)靜止區(qū)域確定單元的確定結(jié)果，控制將碼數(shù)分配給當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

靜止區(qū)域確定單元可以使用當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息來確定當(dāng)前區(qū)域是否是靜止區(qū)域。

在當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息的水平分量和運(yùn)動(dòng)信息的豎直分量的絕對(duì)值在預(yù)定閾值內(nèi)的情況下，并且還在參考索引是0，應(yīng)用ref_picr_reordering，或者參考索引具有指示緊鄰的先前圖片的poc值的情況下，靜止區(qū)域確定單元可以將當(dāng)前區(qū)域確定為靜止區(qū)域。

碼數(shù)分配單元可以根據(jù)用戶設(shè)定控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

碼數(shù)分配單元可以控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便提高編碼效率。

碼數(shù)分配單元可以控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便使主觀圖像質(zhì)量最優(yōu)化。

碼數(shù)分配單元可以針對(duì)每個(gè)切片控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

圖像處理設(shè)備可以進(jìn)一步包括：標(biāo)志生成單元，配置成生成指示其中分配碼數(shù)的方式能夠改變的可變模式的標(biāo)志。

預(yù)測(cè)運(yùn)動(dòng)向量生成單元可以針對(duì)每個(gè)預(yù)測(cè)模式生成多個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息；圖像處理設(shè)備進(jìn)一步包括：差運(yùn)動(dòng)向量生成單元，配置成針對(duì)每個(gè)預(yù)測(cè)模式，從預(yù)測(cè)運(yùn)動(dòng)向量生成單元生成的多個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息中選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息，并且生成作為針對(duì)當(dāng)前區(qū)域的運(yùn)動(dòng)向量的差的差運(yùn)動(dòng)向量；模式確定單元，配置成從各預(yù)測(cè)模式中確定最優(yōu)預(yù)測(cè)模式；以及傳送單元，配置成傳送模式確定單元確定的預(yù)測(cè)模式的差運(yùn)動(dòng)向量信息，以及預(yù)測(cè)模式的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。

圖像處理設(shè)備可以進(jìn)一步包括：編碼單元，配置成對(duì)模式確定單元確定的預(yù)測(cè)模式的差運(yùn)動(dòng)向量信息，以及預(yù)測(cè)模式的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)進(jìn)行編碼；傳送單元傳送編碼單元編碼的差運(yùn)動(dòng)向量信息，以及預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。

本公開的一個(gè)方面也是一種圖像處理設(shè)備的圖像處理方法，該方法包括：碼數(shù)分配單元根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及預(yù)測(cè)運(yùn)動(dòng)向量生成單元使用作為待處理的當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息的外圍運(yùn)動(dòng)信息來生成區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且依據(jù)已決定的分配碼數(shù)的方式，將碼數(shù)分配給已生成的預(yù)測(cè)運(yùn)動(dòng)向量信息。

本公開的另一方面是一種圖像處理設(shè)備，其包括：碼數(shù)分配單元，配置成根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及預(yù)測(cè)運(yùn)動(dòng)向量重建單元，配置成獲得待處理的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且依據(jù)由碼數(shù)分配單元已決定的分配碼數(shù)的方式，根據(jù)碼數(shù)重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

碼數(shù)分配單元可以針對(duì)預(yù)測(cè)處理的每個(gè)遞增區(qū)域，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

在區(qū)域是靜止區(qū)域的情況下，碼數(shù)分配單元可以控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息。

在區(qū)域是移動(dòng)區(qū)域的情況下，碼數(shù)分配單元可以控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息。

圖像處理設(shè)備可以進(jìn)一步包括：靜止區(qū)域確定單元，配置成確定當(dāng)前區(qū)域是否是靜止區(qū)域；碼數(shù)分配單元依據(jù)靜止區(qū)域確定單元的確定結(jié)果，控制將碼數(shù)分配給當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

靜止區(qū)域確定單元可以使用當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息來確定當(dāng)前區(qū)域是否是靜止區(qū)域。

在當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息的水平分量和運(yùn)動(dòng)信息的豎直分量的絕對(duì)值在預(yù)定閾值內(nèi)的情況下，并且還在參考索引是0，應(yīng)用ref_picr_reordering，或者參考索引具有指示緊鄰的先前圖片的poc值的情況下，靜止區(qū)域確定單元可以將當(dāng)前區(qū)域確定為靜止區(qū)域。

碼數(shù)分配單元可以根據(jù)用戶設(shè)定控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

碼數(shù)分配單元可以控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便提高編碼效率。

碼數(shù)分配單元可以控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便使主觀圖像質(zhì)量最優(yōu)化。

碼數(shù)分配單元可以針對(duì)每個(gè)切片控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

圖像處理設(shè)備可以進(jìn)一步包括：標(biāo)志獲得單元，配置成獲得指示其中分配碼數(shù)的方式能夠改變的可變模式的標(biāo)志；并且在標(biāo)志獲得單元獲得的標(biāo)志指示可變模式的情況下，碼數(shù)分配單元可以控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

本發(fā)明的另一方面也是一種圖像處理設(shè)備的圖像處理方法，該方法包括：碼數(shù)分配單元根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及預(yù)測(cè)運(yùn)動(dòng)向量重建單元獲得待處理的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且依據(jù)已決定的分配碼數(shù)的方式，根據(jù)碼數(shù)重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

對(duì)于本發(fā)明的一個(gè)方面，根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式，使用作為待處理的當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息的外圍運(yùn)動(dòng)信息來生成區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且依據(jù)由碼數(shù)分配單元已決定的分配碼數(shù)的方式，將碼數(shù)分配給已生成的預(yù)測(cè)運(yùn)動(dòng)向量信息。

對(duì)于本發(fā)明的另一方面，根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式，獲得待處理的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且依據(jù)由碼數(shù)分配單元已決定的分配碼數(shù)的方式，根據(jù)碼數(shù)重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

本發(fā)明的另一方面是一種圖像處理設(shè)備，其包括：碼數(shù)獲得單元，其獲得根據(jù)針對(duì)空間預(yù)測(cè)運(yùn)動(dòng)向量和時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量的出現(xiàn)而分配給空間預(yù)測(cè)運(yùn)動(dòng)向量和時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量的碼數(shù)；以及預(yù)測(cè)運(yùn)動(dòng)向量重建單元，其使用由碼數(shù)獲得單元獲得到的碼數(shù)，來重建作為圖像的處理對(duì)象的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量。

本發(fā)明的另一方面是一種圖像處理方法，包括：獲得根據(jù)針對(duì)空間預(yù)測(cè)運(yùn)動(dòng)向量和時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量的出現(xiàn)而分配給空間預(yù)測(cè)運(yùn)動(dòng)向量和時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量的碼數(shù)，使用碼數(shù)來重建作為圖像的處理對(duì)象的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量。

注意，上述圖像處理設(shè)備可以均為獨(dú)立的設(shè)備，或者可以是構(gòu)成單個(gè)圖像編碼設(shè)備或圖像解碼設(shè)備的內(nèi)部塊。

本發(fā)明的有利效果

根據(jù)本公開，可以提高編碼效率和主觀圖像質(zhì)量。再者，根據(jù)本公開，可以實(shí)現(xiàn)較高的編碼效率。

附圖說明

圖1是用于描述具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的示圖。

圖2是用于描述具有可變塊尺寸的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的示圖。

圖3是用于描述多參考幀的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的示圖。

圖4是用于描述運(yùn)動(dòng)向量信息生成方法的示例的示圖。

圖5是用于描述時(shí)間直接模式的示圖。

圖6是描述用于生成預(yù)測(cè)運(yùn)動(dòng)向量信息的方法示例的示圖。

圖7是圖示圖像編碼設(shè)備的實(shí)施例的配置的框圖。

圖8是用于描述指數(shù)哥倫布編碼的示圖。

圖9是用于描述語法元素和無符號(hào)碼數(shù)之間的相關(guān)性關(guān)系的示圖。

圖10是表示執(zhí)行cabac編碼的無損編碼單元的配置示例的框圖。

圖11是用于描述cabac編碼的示圖。

圖12是圖示二值表的示圖。

圖13是圖示本技術(shù)的優(yōu)點(diǎn)的示圖。

圖14是用于描述切片報(bào)頭語法的示圖。

圖15是圖示圖7中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的配置示例的框圖。

圖16是用于描述圖7中的圖像編碼設(shè)備的編碼處理的流程圖。

圖17是用于描述圖16中的步驟s21中的幀內(nèi)預(yù)測(cè)處理的流程圖。

圖18是用于描述圖16中的步驟s22中的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程圖。

圖19是用于描述圖18中的步驟s53中的預(yù)測(cè)運(yùn)動(dòng)向量確定處理的流程圖。

圖20是圖示圖像解碼設(shè)備的實(shí)施例的配置的框圖。

圖21是圖示圖20中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的配置示例的框圖。

圖22是用于描述圖20中的圖像解碼設(shè)備的解碼處理的流程圖。

圖23是用于描述圖22中的步驟s138中的預(yù)測(cè)處理的流程圖。

圖24是圖示圖像編碼設(shè)備的另一實(shí)施例的框圖。

圖25是圖示擴(kuò)展宏塊尺寸的示例的示圖。

圖26是圖示計(jì)算機(jī)硬件的配置示例的框圖。

圖27是圖示電視接收器的主要配置示例的框圖。

圖28是圖示蜂窩電話的主要配置示例的框圖。

圖29是圖示硬盤記錄器的主要配置示例的框圖。

圖30是圖示攝像裝置的主要配置示例的框圖。

圖31是圖示編碼單元的配置示例的示圖。

圖32是圖示圖像編碼設(shè)備的另一配置示例的框圖。

圖33是用于描述相鄰區(qū)域的示例的示圖。

圖34是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元和運(yùn)動(dòng)向量編碼單元的主要配置示例的框圖。

圖35是用于描述幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程示例的流程圖。

圖36是圖示圖像解碼設(shè)備的另一配置示例的框圖。

圖37是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元和運(yùn)動(dòng)向量解碼單元的主要配置示例的框圖。

圖38是用于描述預(yù)測(cè)處理的流程的示例的流程圖。

圖39是用于描述幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程的示例的流程圖。

具體實(shí)施方式

在下文中，將參照附圖描述本技術(shù)的實(shí)施例。

[圖像編碼設(shè)備的配置示例]

圖7表示用作圖像處理設(shè)備的圖像編碼設(shè)備的實(shí)施例的配置。

該圖像編碼設(shè)備51使用例如h.264和mpeg-4part10(高級(jí)視頻編碼)(以下稱為h.264/avc)格式為基礎(chǔ)使圖像經(jīng)歷壓縮編碼。就是說，對(duì)于圖像編碼設(shè)備51，使用h.264/avc格式中規(guī)定的運(yùn)動(dòng)補(bǔ)償塊模式。

對(duì)于圖7中的示例，圖像編碼設(shè)備51由a/d轉(zhuǎn)換單元61、屏幕重排緩沖器62、計(jì)算單元63、正交變換單元64、量化單元65、無損編碼單元66、存儲(chǔ)緩沖器67、逆量化單元68、逆正交變換單元69、計(jì)算單元70、解塊濾波器71、幀存儲(chǔ)器72、開關(guān)73、幀內(nèi)預(yù)測(cè)單元74、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75、預(yù)測(cè)運(yùn)動(dòng)向量生成單元76、碼數(shù)分配單元77、預(yù)測(cè)圖像選擇單元78、和速率控制單元79構(gòu)成。

a/d轉(zhuǎn)換單元61執(zhí)行輸入圖像的a/d轉(zhuǎn)換，并且輸出到屏幕重排緩沖器62用于存儲(chǔ)。屏幕重排緩沖器62根據(jù)gop(圖片組)將以顯示的順序存儲(chǔ)的幀的圖像重新排列成用于編碼的幀順序。

計(jì)算單元63從自屏幕重排緩沖器62讀出的圖像中減去由預(yù)測(cè)圖像選擇單元78選擇的、來自幀內(nèi)預(yù)測(cè)單元74的預(yù)測(cè)圖像或者來自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75的預(yù)測(cè)圖像，并且它們的差信息輸出到正交變換單元64。正交變換單元64使來自計(jì)算單元63的差信息經(jīng)歷諸如離散余弦變換、karhunen-loéve(卡洛南-洛伊)變換等的正交變換，并且輸出其變換系數(shù)。量化單元65對(duì)正交變換單元64輸出的變換系數(shù)進(jìn)行量化。

作為量化單元65的輸出的量化的變換系數(shù)被輸入到無損編碼單元66，并且經(jīng)歷諸如可變長(zhǎng)度編碼、算術(shù)編碼等的無損編碼并且被壓縮。

無損編碼單元66從幀內(nèi)預(yù)測(cè)單元74獲得指示幀內(nèi)預(yù)測(cè)的信息，并且從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75獲取指示幀間預(yù)測(cè)模式等的信息。注意，在下文中，指示幀內(nèi)預(yù)測(cè)的信息和指示幀間預(yù)測(cè)的信息將被分別稱為幀內(nèi)預(yù)測(cè)模式信息和幀間預(yù)測(cè)模式信息。

無損編碼單元66對(duì)量化的變換系數(shù)進(jìn)行編碼，并且還對(duì)指示幀內(nèi)預(yù)測(cè)的信息、指示幀間預(yù)測(cè)模式的信息等進(jìn)行編碼，并且將這些信息取作壓縮圖像中的報(bào)頭信息的一部分。無損編碼單元66將編碼數(shù)據(jù)提供給存儲(chǔ)緩沖器67用于存儲(chǔ)。

例如，通過無損編碼單元66，執(zhí)行諸如可變長(zhǎng)度編碼、算術(shù)編碼等的無損編碼處理。可變長(zhǎng)度編碼的示例包括h.264/avc格式確定的cavlc(上下文自適應(yīng)可變長(zhǎng)度編碼)。算術(shù)編碼的示例包括cabac(上下文自適應(yīng)二值算術(shù)編碼)。

存儲(chǔ)緩沖器67將從無損編碼單元66提供的數(shù)據(jù)作為通過h.264/avc格式編碼的壓縮圖像輸出到例如圖中未示出的下游圖像解碼設(shè)備、存儲(chǔ)設(shè)備或傳送路徑等。

再者，從量化單元65輸出的量化的變換系數(shù)還被輸入到逆量化單元68，經(jīng)歷逆量化，并且隨后進(jìn)一步在逆正交變換單元69處經(jīng)歷逆正交變換。計(jì)算單元70使經(jīng)逆正交變換的輸出與從預(yù)測(cè)圖像選擇單元78提供的預(yù)測(cè)圖像相加，并且變?yōu)榫植拷獯a圖像。解塊濾波器71從解碼圖像中去除塊失真，并且隨后提供給幀存儲(chǔ)器72用于存儲(chǔ)。在解塊濾波器71執(zhí)行解塊濾波器處理之前的圖像也被提供給幀存儲(chǔ)器72用于存儲(chǔ)。

開關(guān)73將幀存儲(chǔ)器72中存儲(chǔ)的參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75或幀內(nèi)預(yù)測(cè)單元74。

利用該圖像編碼設(shè)備51，例如，來自屏幕重排緩沖器62的i圖片、b圖片和p圖片作為將經(jīng)歷幀內(nèi)預(yù)測(cè)(還被稱為幀內(nèi)處理)的圖像被提供給幀內(nèi)預(yù)測(cè)單元74。再者，從屏幕重排緩沖器62讀出的b圖片和p圖片作為將經(jīng)歷幀間預(yù)測(cè)(還被稱為幀間處理)的圖像被提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。

幀內(nèi)預(yù)測(cè)單元74基于從屏幕重排緩沖器62讀出的將經(jīng)歷幀內(nèi)預(yù)測(cè)的圖像以及從幀存儲(chǔ)器72提供的參考圖像，執(zhí)行用作候選者的所有幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理，以生成預(yù)測(cè)圖像。此時(shí)，幀內(nèi)預(yù)測(cè)單元74針對(duì)用作候選者的所有幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值，并且選擇計(jì)算的成本函數(shù)值提供最小值的幀內(nèi)預(yù)測(cè)模式作為最優(yōu)幀內(nèi)預(yù)測(cè)模式。

幀內(nèi)預(yù)測(cè)單元74將在最優(yōu)幀內(nèi)預(yù)測(cè)模式中生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。在最優(yōu)幀內(nèi)預(yù)測(cè)模式中生成的預(yù)測(cè)圖像已被預(yù)測(cè)圖像選擇單元78選擇的情況下，幀內(nèi)預(yù)測(cè)單元74將指示最優(yōu)幀內(nèi)預(yù)測(cè)模式的信息提供給無損編碼單元66。無損編碼單元66對(duì)該信息進(jìn)行編碼，并且將其取作壓縮圖像中的報(bào)頭信息的一部分。

從屏幕重排緩沖器62讀出的將經(jīng)歷幀間處理的圖像以及經(jīng)由開關(guān)73來自幀存儲(chǔ)器72的參考圖像被提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75執(zhí)行所有候選幀間預(yù)測(cè)模式的運(yùn)動(dòng)搜索(預(yù)測(cè))，使用搜索的運(yùn)動(dòng)向量使參考圖像經(jīng)歷補(bǔ)償處理，并且生成預(yù)測(cè)圖像。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75針對(duì)所有候選幀間預(yù)測(cè)模式使用搜索的運(yùn)動(dòng)向量來計(jì)算成本函數(shù)值。此時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75使用由預(yù)測(cè)運(yùn)動(dòng)向量生成單元76生成的多種類型的預(yù)測(cè)運(yùn)動(dòng)向量信息以及分配給它們的碼數(shù)來計(jì)算成本函數(shù)值。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75在候選幀間預(yù)測(cè)模式的每個(gè)塊中選擇產(chǎn)生成本函數(shù)值的最小值的預(yù)測(cè)運(yùn)動(dòng)向量信息。此外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75借助于針對(duì)每個(gè)塊選擇的預(yù)測(cè)運(yùn)動(dòng)向量信息對(duì)作為候選者的幀間預(yù)測(cè)模式的成本函數(shù)值進(jìn)行比較，從而將產(chǎn)生最小值的幀間預(yù)測(cè)模式確定為最優(yōu)幀間預(yù)測(cè)模式。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75隨后將在最優(yōu)幀間預(yù)測(cè)模式中生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。

在預(yù)測(cè)圖像選擇單元78選擇了在最優(yōu)幀間預(yù)測(cè)模式中生成的預(yù)測(cè)圖像的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將指示最優(yōu)幀間預(yù)測(cè)模式的信息(幀間預(yù)測(cè)模式信息)輸出到無損編碼單元66。

此時(shí)，作為運(yùn)動(dòng)向量信息和預(yù)測(cè)運(yùn)動(dòng)向量信息之間的差的差運(yùn)動(dòng)向量信息、關(guān)于該預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)等，也被輸出到無損編碼單元66。無損編碼單元66還使來自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75的信息經(jīng)歷諸如可變長(zhǎng)度編碼、算術(shù)編碼等的無損編碼處理，并且插入到壓縮圖像的報(bào)頭信息中。

從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75向預(yù)測(cè)運(yùn)動(dòng)向量生成單元76提供已通過作為對(duì)象的塊的外圍塊獲得的運(yùn)動(dòng)向量信息。注意，外圍塊不僅包括在空間上處于外圍的塊，而且包括在空間-時(shí)間上處于外圍的塊，即在時(shí)間上在當(dāng)前幀的緊鄰的先前個(gè)幀中的在空間上處于外圍的塊。

預(yù)測(cè)運(yùn)動(dòng)向量生成單元76通過上述式(5)、式(9)和式(10)等，使用所提供的外圍運(yùn)動(dòng)向量信息來生成多種類型的預(yù)測(cè)運(yùn)動(dòng)向量信息。預(yù)測(cè)運(yùn)動(dòng)向量生成單元76隨后將每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息以及由碼數(shù)分配單元77分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。

碼數(shù)分配單元77通過借助于未示出的操作輸入單元等的用戶設(shè)定，或者根據(jù)應(yīng)用設(shè)定，向每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息分配碼數(shù)。碼數(shù)分配單元77隨后向預(yù)測(cè)運(yùn)動(dòng)向量生成單元76和無損編碼單元66提供指示預(yù)測(cè)運(yùn)動(dòng)向量信息和碼數(shù)之間的相關(guān)性，即哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息已被分配哪個(gè)碼數(shù)的碼數(shù)分配信息。再者，碼數(shù)分配單元77生成指示處于其中針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配能夠改變的可變模式還是其中使用缺省設(shè)定的固定模式的標(biāo)志信息，并且將生成的標(biāo)志信息提供給無損編碼單元66。

預(yù)測(cè)圖像選擇單元78基于從幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75輸出的成本函數(shù)值確定最優(yōu)幀內(nèi)預(yù)測(cè)模式和最優(yōu)幀間預(yù)測(cè)模式中的最優(yōu)預(yù)測(cè)模式。預(yù)測(cè)圖像選擇單元78隨后選擇已確定的最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像，并且將其提供給計(jì)算單元63和70。此時(shí)，預(yù)測(cè)圖像選擇單元78將預(yù)測(cè)圖像的選擇信息提供給幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。

速率控制單元79基于存儲(chǔ)緩沖器67中存儲(chǔ)的壓縮圖像控制量化單元65的量化操作的速率，使得不會(huì)發(fā)生上溢或下溢。

[h.264/avc格式的描述]

首先，除了上文描述的關(guān)于背景技術(shù)的內(nèi)容之外，將針對(duì)圖像編碼設(shè)備51所基于的h.264/avc格式進(jìn)行進(jìn)一步的描述。

如上文針對(duì)圖7所述，對(duì)于h.264/avc格式，可以將cavlc和cabac之一用作可變長(zhǎng)度編碼。

首先，將描述cavlc格式。對(duì)于cavlc，根據(jù)附近塊中的正交變換系數(shù)的出現(xiàn)切換的vlc表格被用于正交變換系數(shù)的編碼。圖8中所示的指數(shù)哥倫布(exponentialgolomb)編碼用于其他語法元素的編碼。

對(duì)于圖8中的指數(shù)哥倫布編碼，例如，碼數(shù)(codenumber)0和碼字(codewords)1對(duì)應(yīng)，碼數(shù)1和碼字010對(duì)應(yīng)，并且碼數(shù)2和碼字011對(duì)應(yīng)。再者，碼數(shù)3和碼字00100對(duì)應(yīng)，碼數(shù)4和碼字00101對(duì)應(yīng)，碼數(shù)5和碼字00110對(duì)應(yīng)，并且碼數(shù)6和碼字00111對(duì)應(yīng)。

再者，對(duì)于諸如運(yùn)動(dòng)向量的語法元素，存在出現(xiàn)負(fù)值的可能性。因此，在存在出現(xiàn)負(fù)值的可能性的語法元素的情況下，這些語法元素被基于圖9中所示的相關(guān)關(guān)系的沒有符號(hào)的碼數(shù)替換，并且在被替換為沒有符號(hào)的碼數(shù)之后，圖8中的指數(shù)哥倫布編碼用于其編碼。

圖9圖示了碼數(shù)和語法元素v之間的相關(guān)關(guān)系。就是說，通過基于該相關(guān)關(guān)系，例如，語法元素v＝0被替換為碼數(shù)0，語法元素v＝1被替換為碼數(shù)1，并且語法元素v＝-1被替換為碼數(shù)2。再者，語法元素v＝2被替換為碼數(shù)3，語法元素v＝-2被替換為碼數(shù)4，并且語法元素v＝3被替換為碼數(shù)5。

接下來，將描述根據(jù)cavlc的正交變換系數(shù)的編碼處理。

首先，從高頻向低頻掃面被轉(zhuǎn)換成一維數(shù)據(jù)的正交變換系數(shù)。其次，對(duì)numcoef(不為零的系數(shù)數(shù)目)和t1s(當(dāng)從高頻向低頻掃描時(shí)為±1的系數(shù)數(shù)目，最大值是3)進(jìn)行編碼。此時(shí)，根據(jù)外圍塊中的numcoef切換vlc表格。

第三，執(zhí)行l(wèi)evel(dct系數(shù)值)的編碼。例如，對(duì)于t1s，僅對(duì)正/負(fù)進(jìn)行編碼。其他系數(shù)被分配碼數(shù)(codenumber)并且被編碼。此時(shí)，根據(jù)幀內(nèi)/幀間、量化參數(shù)qp和最后編碼的級(jí)別來切換vlc表格。

第四，執(zhí)行run的編碼。此時(shí)，根據(jù)numcoef在totalzero的編碼中切換vlc表格。再者，依次執(zhí)行run_before(非0系數(shù)之前持續(xù)的0的數(shù)目)的編碼。對(duì)于該編碼，根據(jù)zerosleft(保留的非0系數(shù)的數(shù)目)切換vlc表格。在zerosleft＝0時(shí)，編碼處理結(jié)束。

接下來，將描述cabac格式。

圖10圖示了執(zhí)行cabac編碼的無損編碼單元的配置示例。在圖10中所示的示例中，無損編碼單元由上下文建模單元81、二值化單元82以及包括概率估計(jì)單元83a和編碼引擎83b的自適應(yīng)二值算術(shù)編碼單元83構(gòu)成。

與壓縮圖像的任意語法元素相關(guān)，上下文建模單元81首先根據(jù)過去的歷史將語法元素的符號(hào)(symbol)轉(zhuǎn)換成適當(dāng)?shù)纳舷挛哪Ｐ?。在cabac編碼中，使用不同的上下文對(duì)不同的語法元素進(jìn)行編碼。再者，根據(jù)附近的塊或宏塊的編碼信息，甚至使用不同的上下文對(duì)相同的語法元素進(jìn)行編碼。

例如，將參照?qǐng)D11描述作為示例的標(biāo)志mb_skip_frag，但是這對(duì)于針對(duì)其他語法元素的處理也是相同的。

在圖11中所示的示例中，示出了將被編碼的目標(biāo)宏塊c以及已被編碼并且與目標(biāo)宏塊c相鄰的相鄰宏塊a和b。將假設(shè)標(biāo)志mb_skip_frag是針對(duì)每個(gè)宏塊x(x＝a,b,c)定義的并且是下式(11)。

[數(shù)學(xué)式6]

就是說，在宏塊x是使用參考幀中的空間對(duì)應(yīng)位置處的像素的跳過宏塊的情況下，設(shè)定f(x)＝1，否則，設(shè)定f(x)＝0。

此時(shí)，作為左相鄰宏塊a的f(a)和上相鄰宏塊b的f(b)的和，如下式(12)中的那樣，計(jì)算關(guān)于當(dāng)前宏塊c的上下文context(c)。

context(c)＝f(a)+f(b)...(12)

就是說，關(guān)于目標(biāo)宏塊c的上下文context(c)根據(jù)相鄰宏塊a和b的標(biāo)志mb_skip_frag，具有值0、1和2中的一個(gè)。就是說，使用對(duì)于0、1和2中的一個(gè)不同的編碼引擎83b對(duì)關(guān)于目標(biāo)宏塊c的標(biāo)志mb_skip_frag進(jìn)行編碼。

例如，如同幀內(nèi)預(yù)測(cè)模式，使用圖12中所示的表格，二值化單元82執(zhí)行作為關(guān)于語法的非二值數(shù)據(jù)的元素的符號(hào)轉(zhuǎn)換。

圖12中的表格中圖示了，在碼符號(hào)是0的情況下，碼符號(hào)被二值化為0，如果碼符號(hào)是1，則二值化為10，并且如果碼符號(hào)是2，則二值化為110。再者，在碼符號(hào)是3的情況下，這被二值化為1110，如果碼符號(hào)是4，則二值化為11110，并且如果碼符號(hào)是5，則二值化為111110。

由下游的自適應(yīng)二值算術(shù)編碼單元83對(duì)通過諸如上述表格的二值化表格進(jìn)行二值化的語法元素進(jìn)行編碼。

返回圖10，在自適應(yīng)二值算術(shù)編碼單元83處，概率估計(jì)單元83a執(zhí)行關(guān)于二值化符號(hào)的概率估計(jì)，并且由編碼引擎83b執(zhí)行基于概率估計(jì)的二值算術(shù)編碼。此時(shí)，在切片的起點(diǎn)處初始化“0”和“1”的概率，并且每當(dāng)執(zhí)行1bin(碼片)的編碼時(shí)更新其概率表格。就是說，在執(zhí)行二值算術(shù)編碼處理之后更新相關(guān)模型，因此每個(gè)模型可以執(zhí)行與實(shí)際圖像壓縮信息的統(tǒng)計(jì)數(shù)據(jù)對(duì)應(yīng)的編碼處理。

在上述這兩種cavlc格式和cabac格式的情況下，具有較高出現(xiàn)頻率的預(yù)測(cè)運(yùn)動(dòng)向量信息應(yīng)被分配較小的碼數(shù)，并且每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的出現(xiàn)頻率對(duì)于每個(gè)序列和位率應(yīng)不同。然而，對(duì)于非專利文獻(xiàn)1中的建議，將分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)是固定的。

[本技術(shù)的概述]

因此，對(duì)于圖7中的圖像編碼設(shè)備51，用戶或應(yīng)用可以借助于碼數(shù)分配單元77改變針對(duì)缺省的預(yù)測(cè)運(yùn)動(dòng)向量的碼數(shù)分配，使得主觀圖像質(zhì)量的編碼效率是最優(yōu)的。

就是說，對(duì)于圖像編碼設(shè)備51，生成多個(gè)候選預(yù)測(cè)運(yùn)動(dòng)向量信息，并且此外，生成關(guān)于每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的成本函數(shù)值。隨后，產(chǎn)生其最小值的預(yù)測(cè)運(yùn)動(dòng)向量信息被取作關(guān)于待處理塊的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且使用其執(zhí)行編碼，此時(shí)由碼數(shù)分配單元77分配給每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量的碼數(shù)用于成本函數(shù)值生成和編碼。

例如，假設(shè)利用缺省設(shè)定，在上述式(5)中將碼數(shù)＝0分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)，并且上述式(10)中將碼數(shù)＝1分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)。

通常，在待編碼內(nèi)容包括大量靜止圖像區(qū)域的情況下，出于編碼效率或主觀圖像質(zhì)量的觀點(diǎn)，時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息比空間預(yù)測(cè)運(yùn)動(dòng)向量信息更優(yōu)選。

然而，在特別地低位率(即高量化參數(shù)qp)的情況下，被分配碼數(shù)＝0的預(yù)測(cè)運(yùn)動(dòng)向量信息具有表達(dá)預(yù)測(cè)運(yùn)動(dòng)向量信息所需的較少的位，并且因此更容易被選擇，這是不合需要的。

因此，對(duì)于圖像編碼設(shè)備51，可以相對(duì)缺省設(shè)定改變針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量的碼數(shù)分配。因此，在該情況下，進(jìn)行改變，使得例如，碼數(shù)＝0被分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息，并且碼數(shù)＝1被分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息。因此，可以提高編碼效率或主觀圖像質(zhì)量。

[本技術(shù)的優(yōu)點(diǎn)]

接下來，將參照?qǐng)D13描述本技術(shù)的優(yōu)點(diǎn)。在圖13中的示例中，示出了參考幀和攝像裝置固定的移動(dòng)圖像的當(dāng)前幀。在該移動(dòng)圖像中，將假設(shè)橢圓物體正在以速度v向右移動(dòng)。攝像裝置是固定的，因此橢圓物體以外的背景是靜止區(qū)域。

在當(dāng)前幀中，示出了當(dāng)前塊x以及在左側(cè)、頂側(cè)和右上側(cè)與當(dāng)前塊x相鄰的相鄰塊a、b和c，并且在參考幀中示出了當(dāng)前塊x的對(duì)應(yīng)塊(并置塊)y。注意，對(duì)應(yīng)塊是與當(dāng)前幀不同的已編碼幀(位于之前或之后的幀)中的塊，并且是與當(dāng)前塊對(duì)應(yīng)的位置處的塊。

現(xiàn)在，假設(shè)mvk是關(guān)于塊k的運(yùn)動(dòng)向量信息，并且median(mva,mvb,mvc)被分配給碼數(shù)＝0，并且mvy被分配給碼數(shù)＝1。

在該情況下，對(duì)于特別地低位率，具有表達(dá)預(yù)測(cè)運(yùn)動(dòng)向量信息所需的較少的位的median(mva,mvb,mvc)更易于被選擇。

然而，對(duì)于圖13中的示例，塊x、相鄰塊a和對(duì)應(yīng)塊y是靜止圖像區(qū)域中的塊，并且相鄰塊b和c是橢圓物體上的塊。因此，當(dāng)針對(duì)相鄰塊的媒體預(yù)測(cè)進(jìn)行觀看時(shí)，下式(13)成立，并且編碼效率明顯是不好的。

median(mva,mvb,mvc)＝median(v,v,0)＝v...(13)

另一方面，考慮對(duì)應(yīng)塊y，下式(14)成立，因此通過向mvy分配碼數(shù)＝0可以實(shí)現(xiàn)較高的編碼效率以便更易于被選擇。

mvy＝0...(14)

注意，對(duì)于本公開，針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配例如按切片的增量執(zhí)行。

就是說，首先，mv_predictor_definition_flag被編碼到切片報(bào)頭。mv_predictor_definition_flag是指示處于其中將分配缺省碼數(shù)的固定模式還是其中分配能夠改變(即改變)的碼數(shù)被分配的可變模式的標(biāo)志信息。注意，對(duì)于該標(biāo)志信息，成為允許識(shí)別處于能夠改變的可變模式還是固定模式，即處于可變模式還是固定模式的信息是足夠的。

在mv_predictor_definition_flag＝0的情況下，應(yīng)用缺省定義的針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。在mv_predictor_definition_flag＝1的情況下，將應(yīng)用碼數(shù)分配單元77分配的針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。因此，在該情況下，mv_predictor_definition_flag＝1跟隨碼數(shù)分配單元77的針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配的描述。

具體地，在mv_predictor_definition_flag＝1的情況下，諸如圖14中所示的語法元素將被插入在切片報(bào)頭中。

對(duì)于圖14中的示例，mv_predictor_definition_flag＝1的描述跟隨有如下空間：該空間被設(shè)置用于描述哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息將被分配碼數(shù)0(code_number_for_predictor_0；)并且將被分配碼數(shù)1(code_number_for_predictor_1；)。

注意，根據(jù)本公開的關(guān)于碼數(shù)分配的語法描述不限于圖14中的示例。在序列參數(shù)集合或圖片參數(shù)集合中，提供與碼數(shù)分配相關(guān)的語法。在切片報(bào)頭處mv_predictor_definition_flag＝0的情況下，可以使用緊鄰的先前現(xiàn)有序列參數(shù)集合或圖片參數(shù)集合中定義的任何分配。當(dāng)然，這可以僅被提供給序列參數(shù)集合或圖片參數(shù)集合。

如上文所述，通過使得能夠改變碼數(shù)分配，在例如移動(dòng)物體穿過諸如背景的靜止區(qū)域的情況下，可以將較小的碼數(shù)分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)。因此，這可以避免由于靜止區(qū)域受移動(dòng)物體的運(yùn)動(dòng)的影響而引起的圖像劣化，并且可以提高編碼效率和主觀圖像質(zhì)量。

因此，可以實(shí)現(xiàn)較高的編碼效率。

注意，盡管上文作為具體示例，描述了例如其中移動(dòng)物體穿過諸如背景等的靜止區(qū)域的示例，但是這不限于該示例，并且例如通過將較小的碼數(shù)分配給具有較高的出現(xiàn)頻率(率)的預(yù)測(cè)運(yùn)動(dòng)向量信息也可以提高編碼效率和主觀圖像質(zhì)量。

再者，用戶或應(yīng)用可以設(shè)定針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配，使得提高編碼效率和主觀圖像質(zhì)量。

下文將進(jìn)行更詳細(xì)的描述。

[運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的配置示例]

圖15是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75的詳細(xì)配置示例的框圖。注意已從圖15中略去圖7中的開關(guān)73。

在圖15中的示例中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75由運(yùn)動(dòng)搜索單元91、成本函數(shù)計(jì)算單元92、最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元93、模式確定單元94、運(yùn)動(dòng)補(bǔ)償單元95和運(yùn)動(dòng)向量緩沖器96構(gòu)成。注意，在圖中僅有針對(duì)運(yùn)動(dòng)搜索單元91的輸入被圖示為來自屏幕重排緩沖器62的輸入圖像像素值，但是實(shí)際上，還存在針對(duì)計(jì)算成本函數(shù)值的成本函數(shù)計(jì)算單元92和運(yùn)動(dòng)補(bǔ)償單元95的輸入。

來自屏幕重排緩沖器62的輸入圖像像素值和來自幀存儲(chǔ)器72的參考圖像像素值被輸入到運(yùn)動(dòng)搜索單元91。運(yùn)動(dòng)搜索單元91在圖2中所示的所有幀間預(yù)測(cè)模式中執(zhí)行運(yùn)動(dòng)搜索處理，使用搜索的運(yùn)動(dòng)向量信息對(duì)參考圖像執(zhí)行補(bǔ)償處理，并且生成預(yù)測(cè)圖像。運(yùn)動(dòng)搜索單元91將針對(duì)每個(gè)幀間預(yù)測(cè)模式搜索的運(yùn)動(dòng)向量信息以及所生成的預(yù)測(cè)圖像提供給成本函數(shù)計(jì)算單元92。

向成本函數(shù)計(jì)算單元92提供來自屏幕重排緩沖器62的輸入圖像像素值、來自運(yùn)動(dòng)搜索單元91的關(guān)于幀間預(yù)測(cè)模式的運(yùn)動(dòng)向量信息和預(yù)測(cè)圖像、以及來自預(yù)測(cè)運(yùn)動(dòng)向量生成單元76的每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息和分配給其的碼數(shù)。成本函數(shù)計(jì)算單元92通過取得運(yùn)動(dòng)向量信息和每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的差來計(jì)算差運(yùn)動(dòng)向量信息。

成本函數(shù)計(jì)算單元92隨后使用提供給其的信息，諸如差運(yùn)動(dòng)向量信息、分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)、預(yù)測(cè)圖像等，來計(jì)算關(guān)于每個(gè)幀間預(yù)測(cè)模式中的每個(gè)塊的每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量的成本函數(shù)值。成本函數(shù)計(jì)算單元92將關(guān)于每個(gè)幀間預(yù)測(cè)模式的預(yù)測(cè)圖像、差運(yùn)動(dòng)向量信息、預(yù)測(cè)運(yùn)動(dòng)向量信息以及相應(yīng)的碼數(shù)和成本函數(shù)值提供給最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元93。

最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元93基于成本函數(shù)值選擇關(guān)于每個(gè)預(yù)測(cè)模式中的每個(gè)塊的最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。由此選擇的最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息連同關(guān)于每個(gè)幀間預(yù)測(cè)模式的預(yù)測(cè)圖像、成本函數(shù)值、差運(yùn)動(dòng)向量信息、最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息和分配給其的碼數(shù)一起，被提供給模式確定單元94。

模式確定單元94使用關(guān)于每個(gè)幀間預(yù)測(cè)模式的成本函數(shù)值來確定哪個(gè)幀間預(yù)測(cè)模式使用起來是最優(yōu)的，并且將具有最小成本函數(shù)值的幀間預(yù)測(cè)模式取作最優(yōu)預(yù)測(cè)模式。模式確定單元94隨后將最優(yōu)預(yù)測(cè)模式、相關(guān)的差運(yùn)動(dòng)向量信息、以及最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息和分配給其的碼數(shù)提供給運(yùn)動(dòng)補(bǔ)償單元95。

運(yùn)動(dòng)補(bǔ)償單元95根據(jù)差運(yùn)動(dòng)向量信息和最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息獲得運(yùn)動(dòng)向量，并且使用所獲得的運(yùn)動(dòng)向量對(duì)來自幀存儲(chǔ)器72的參考圖像執(zhí)行補(bǔ)償，從而生成最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像。再者，來自屏幕重排緩沖器62的輸入圖像像素值也被提供給運(yùn)動(dòng)補(bǔ)償單元95，并且運(yùn)動(dòng)補(bǔ)償單元95再次從所提供的信息獲得最優(yōu)預(yù)測(cè)模式的成本函數(shù)值，并且將最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。

在預(yù)測(cè)圖像選擇單元78選擇最優(yōu)幀間模式的預(yù)測(cè)圖像的情況下，從預(yù)測(cè)圖像選擇單元78提供針對(duì)該效果的信號(hào)。作為響應(yīng)，運(yùn)動(dòng)補(bǔ)償單元95將最優(yōu)幀間模式信息、該模式的差運(yùn)動(dòng)向量信息以及與預(yù)測(cè)運(yùn)動(dòng)向量信息對(duì)應(yīng)的碼數(shù)提供給無損編碼單元66。再者，此時(shí)，運(yùn)動(dòng)補(bǔ)償單元95將從差運(yùn)動(dòng)向量信息獲得的運(yùn)動(dòng)向量信息和最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息存儲(chǔ)在運(yùn)動(dòng)向量緩沖器96中。注意，在預(yù)測(cè)圖像選擇單元78未選擇最優(yōu)幀間模式的預(yù)測(cè)圖像的情況下(即，在選擇幀內(nèi)預(yù)測(cè)圖像的情況下)，0向量被存儲(chǔ)在運(yùn)動(dòng)向量緩沖器96中作為運(yùn)動(dòng)向量信息。

運(yùn)動(dòng)向量緩沖器96存儲(chǔ)關(guān)于最優(yōu)預(yù)測(cè)模式中的每個(gè)塊的運(yùn)動(dòng)塊信息。所存儲(chǔ)的運(yùn)動(dòng)向量信息作為外圍塊的外圍運(yùn)動(dòng)向量信息被提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元76，以便生成關(guān)于下一塊的預(yù)測(cè)運(yùn)動(dòng)向量信息。

如非專利文獻(xiàn)1中所述，預(yù)測(cè)運(yùn)動(dòng)向量生成單元76使用從運(yùn)動(dòng)向量緩沖器96提供的、與當(dāng)前塊空間-時(shí)間相鄰的塊的外圍運(yùn)動(dòng)向量信息，生成多個(gè)候選預(yù)測(cè)運(yùn)動(dòng)向量信息。然而，注意，與非專利文獻(xiàn)1的不同之處在于，碼數(shù)分配單元77已分配針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。

就是說，通過預(yù)測(cè)運(yùn)動(dòng)向量生成單元76，針對(duì)當(dāng)前塊，根據(jù)上述式(5)生成空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)，并且根據(jù)上述式(9)生成時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)。再者，針對(duì)當(dāng)前塊，根據(jù)上述式(10)生成空間-時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間-時(shí)間預(yù)測(cè)器)。每個(gè)生成的候選預(yù)測(cè)運(yùn)動(dòng)向量信息以及分別分配給其的碼數(shù)被提供給成本函數(shù)計(jì)算單元92。

再者，在執(zhí)行編碼處理之前，根據(jù)例如未示出的操作輸入單元處的用戶操作，關(guān)于向哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息分配哪個(gè)碼數(shù)的信息被輸入到碼數(shù)分配單元77。碼數(shù)分配單元77根據(jù)輸入信息針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息設(shè)定碼數(shù)的分配，并且還生成指示模式是碼數(shù)分配可變模式的標(biāo)志信息。

碼數(shù)分配單元77將碼數(shù)分配信息提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元76。再者，碼數(shù)分配單元77向無損編碼單元66發(fā)送所生成的標(biāo)志信息和碼數(shù)分配信息。在無損編碼單元66處，在切片報(bào)頭處執(zhí)行這些信息的編碼處理。

[圖像編碼設(shè)備的編碼處理的描述]

接下來，將參照?qǐng)D16中的流程圖描述圖7中的圖像編碼設(shè)備51的編碼處理。

在步驟s11中，a/d轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換成數(shù)字。在步驟s12中，屏幕重排緩沖器62存儲(chǔ)從a/d轉(zhuǎn)換單元61提供的圖像，并且執(zhí)行從用于顯示圖片的序列到用于編碼的序列的重新排列。

在步驟s13中，計(jì)算單元63計(jì)算在步驟s12中重新排列的圖像和預(yù)測(cè)圖像之間的差。經(jīng)由預(yù)測(cè)圖像選擇單元78，在執(zhí)行幀間預(yù)測(cè)的情況下從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75向計(jì)算單元63提供預(yù)測(cè)圖像，并且在執(zhí)行幀內(nèi)預(yù)測(cè)的情況下從幀內(nèi)預(yù)測(cè)單元74向計(jì)算單元63提供預(yù)測(cè)圖像。

較之原始圖像數(shù)據(jù)，差數(shù)據(jù)的數(shù)據(jù)量較小。因此，較之沒有改變地對(duì)原始圖像編碼的情況，可以壓縮數(shù)據(jù)量。

在步驟s14中，正交變換單元64使從計(jì)算單元63提供的差信息經(jīng)歷正交變換。具體地，執(zhí)行諸如離散余弦變換、karhunen-loéve變換等的正交變換，并且輸出變換系數(shù)。在步驟s15中，量化單元65對(duì)變換系數(shù)進(jìn)行量化。在該量化時(shí)，諸如后面描述的步驟s26中的處理，對(duì)速率進(jìn)行控制。

對(duì)這樣量化的差信息進(jìn)行如下的局部解碼。就是說，在步驟s16中，逆量化單元68使用與量化單元65的性質(zhì)對(duì)應(yīng)的性質(zhì)，使量化單元65量化的變換系數(shù)經(jīng)歷逆量化。在步驟s17中，逆正交變換單元69使用與正交變換單元64的性質(zhì)對(duì)應(yīng)的性質(zhì)，使經(jīng)歷逆量化單元68的逆量化的變換系數(shù)經(jīng)歷逆正交變換。

在步驟s18中，計(jì)算單元70使經(jīng)由預(yù)測(cè)圖像選擇單元78輸入的預(yù)測(cè)圖像與局部解碼的差信息相加，并且生成局部解碼圖像(與針對(duì)計(jì)算單元63的輸入對(duì)應(yīng)的圖像)。在步驟s19中，解塊濾波器71使從計(jì)算單元70輸出的圖像經(jīng)歷濾波。因此，去除了塊失真。在步驟s20中，幀存儲(chǔ)器72存儲(chǔ)經(jīng)歷濾波的圖像。注意，未經(jīng)歷解塊濾波器71的濾波處理的圖像也從計(jì)算單元70提供給幀存儲(chǔ)器72用于存儲(chǔ)。

在從屏幕重排緩沖器62提供的待處理圖像是用于幀內(nèi)處理的塊的圖像的情況下，從幀存儲(chǔ)器72讀出待參考的解碼圖像，并且經(jīng)由開關(guān)73將其提供給幀內(nèi)預(yù)測(cè)單元74。

在步驟s21中，幀內(nèi)預(yù)測(cè)單元74基于這些圖像在所有候選幀內(nèi)預(yù)測(cè)模式中對(duì)待處理的塊的像素執(zhí)行幀內(nèi)預(yù)測(cè)。注意，對(duì)于將參考的解碼像素，使用未經(jīng)歷解塊濾波器71的解塊濾波的像素。

盡管后面將參照?qǐng)D17描述步驟s21中的預(yù)測(cè)處理的細(xì)節(jié)，但是由于該處理，在所有候選幀內(nèi)預(yù)測(cè)模式中執(zhí)行幀內(nèi)預(yù)測(cè)，并且針對(duì)所有候選幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值?；谟?jì)算的成本函數(shù)值選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式，并且最優(yōu)幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)生成的預(yù)測(cè)圖像及其成本函數(shù)值被提供給預(yù)測(cè)圖像選擇單元78。

在從屏幕重排緩沖器62提供的待處理圖像是將被幀間處理的圖像的情況下，從幀存儲(chǔ)器72讀出參考圖像，并且經(jīng)由開關(guān)73將其提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。在步驟s22中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75基于這些圖像執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)處理。

后面將參照?qǐng)D18描述步驟s22中的預(yù)測(cè)處理的細(xì)節(jié)。根據(jù)該處理，在所有候選幀內(nèi)預(yù)測(cè)模式中執(zhí)行運(yùn)動(dòng)搜索處理，計(jì)算所有候選幀內(nèi)預(yù)測(cè)模式中的成本函數(shù)值，并且選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。此外，基于針對(duì)所有幀間預(yù)測(cè)模式計(jì)算的成本函數(shù)值，選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式。在最優(yōu)幀內(nèi)預(yù)測(cè)模式中生成的預(yù)測(cè)圖像及其成本函數(shù)值被提供給預(yù)測(cè)圖像選擇單元78。

此時(shí)，例如，利用提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75和無損編碼單元66的碼數(shù)分配信息，將碼數(shù)分配給每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息。因此，在運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75處，使用所分配的碼數(shù)計(jì)算成本函數(shù)值。再者，碼數(shù)分配單元77生成指示模式是否是其中碼數(shù)分配能夠改變的可變模式的標(biāo)志信息，其被提供給無損編碼單元66。

在步驟s23中，預(yù)測(cè)圖像選擇單元78基于從幀內(nèi)預(yù)測(cè)單元74和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75輸出的成本函數(shù)值，將最優(yōu)幀內(nèi)預(yù)測(cè)模式和最優(yōu)幀間預(yù)測(cè)模式中的一個(gè)確定為最優(yōu)預(yù)測(cè)模式。預(yù)測(cè)圖像選擇單元78隨后選擇所確定的最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像，并且提供給計(jì)算單元63和70。如上文所述，該預(yù)測(cè)圖像用于步驟s13和s18中的計(jì)算。

注意，該預(yù)測(cè)圖像的選擇信息被提供給幀內(nèi)預(yù)測(cè)單元74或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。在已選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)圖像的情況下，幀內(nèi)預(yù)測(cè)單元74將指示最優(yōu)幀內(nèi)預(yù)測(cè)模式的信息(即，幀內(nèi)預(yù)測(cè)模式信息)提供給無損編碼單元76。

在已選擇最優(yōu)幀間預(yù)測(cè)模式的預(yù)測(cè)圖像的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75向無損編碼單元77輸出指示最優(yōu)幀間預(yù)測(cè)模式的信息，并且根據(jù)需要，輸出根據(jù)最優(yōu)幀間預(yù)測(cè)模式的信息。根據(jù)最優(yōu)幀間預(yù)測(cè)模式的信息的示例包括諸如關(guān)于每個(gè)塊的運(yùn)動(dòng)向量信息和預(yù)測(cè)運(yùn)動(dòng)向量信息之間的差運(yùn)動(dòng)向量信息、分配給每個(gè)塊的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)等的信息。再者，注意，此時(shí)運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75的運(yùn)動(dòng)補(bǔ)償單元95將根據(jù)差運(yùn)動(dòng)向量信息和預(yù)測(cè)運(yùn)動(dòng)向量信息獲得的運(yùn)動(dòng)向量信息存儲(chǔ)在運(yùn)動(dòng)向量緩沖器96中。

在步驟s24中，無損編碼單元66對(duì)從量化單元65輸出的量化的變換系數(shù)編碼。具體地，差圖像經(jīng)歷諸如可變長(zhǎng)度編碼、算術(shù)編碼等的無損編碼，并且被壓縮。此時(shí)，在上述步驟s21中輸入到無損編碼單元66的、來自幀內(nèi)預(yù)測(cè)單元74的幀內(nèi)預(yù)測(cè)模式信息，或者在步驟s22中的根據(jù)來自運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75的最優(yōu)幀間預(yù)測(cè)模式的信息等，也被編碼，并且被添加到報(bào)頭信息。再者，來自碼數(shù)分配單元77的標(biāo)志信息和碼數(shù)分配信息也被添加到報(bào)頭信息。

例如，針對(duì)每個(gè)宏塊對(duì)指示幀間預(yù)測(cè)模式的信息進(jìn)行編碼。按每個(gè)當(dāng)前塊對(duì)針對(duì)差運(yùn)動(dòng)向量信息和預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)進(jìn)行編碼。此外，按每個(gè)切片對(duì)來自碼數(shù)分配單元77的標(biāo)志信息和碼數(shù)分配信息進(jìn)行編碼。

在步驟s25中，存儲(chǔ)緩沖器67將差圖像存儲(chǔ)為壓縮圖像。適當(dāng)?shù)刈x出存儲(chǔ)緩沖器67中存儲(chǔ)的壓縮圖像，并且經(jīng)由傳送路徑將其傳送到解碼側(cè)。

在步驟s26中，速率控制單元79基于存儲(chǔ)緩沖器67中存儲(chǔ)的壓縮圖像來控制量化單元65的量化操作速率以便不致引起上溢或下溢。

[幀內(nèi)預(yù)測(cè)處理的描述]

接下來，將參照?qǐng)D17中的流程圖描述圖16中的步驟s21中的幀內(nèi)預(yù)測(cè)處理。注意，在圖17中的示例中，作為示例將描述亮度信號(hào)的情況。

在步驟s41中，幀內(nèi)預(yù)測(cè)單元74針對(duì)4×4個(gè)像素、8×8個(gè)像素和16×16個(gè)像素的每個(gè)幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)。

對(duì)于按塊增量的亮度信號(hào)幀內(nèi)預(yù)測(cè)模式，存在九種4×4像素和8×8像素塊增量的預(yù)測(cè)模式，以及四種16×16像素宏塊增量的預(yù)測(cè)模式，并且對(duì)于色差信號(hào)的幀內(nèi)預(yù)測(cè)模式，存在四種8×8像素塊增量的預(yù)測(cè)模式。色差信號(hào)的幀內(nèi)預(yù)測(cè)模式的設(shè)定可以與亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式無關(guān)。對(duì)于亮度信號(hào)的4×4個(gè)像素的幀內(nèi)預(yù)測(cè)模式和8×8個(gè)像素的幀內(nèi)預(yù)測(cè)模式，針對(duì)每個(gè)4×4像素和8×8像素的亮度信號(hào)塊定義一個(gè)幀內(nèi)預(yù)測(cè)模式。對(duì)于亮度信號(hào)的16×16個(gè)像素的幀內(nèi)預(yù)測(cè)模式以及色差信號(hào)的幀內(nèi)預(yù)測(cè)模式，針對(duì)每個(gè)宏塊定義一個(gè)預(yù)測(cè)模式。

具體地，幀內(nèi)預(yù)測(cè)單元74參考從幀存儲(chǔ)器72讀出的并且經(jīng)由開關(guān)73提供給幀內(nèi)預(yù)測(cè)單元74的解碼圖像，并且對(duì)待處理的塊的像素執(zhí)行幀內(nèi)預(yù)測(cè)。在每個(gè)幀內(nèi)預(yù)測(cè)模式中執(zhí)行該幀內(nèi)預(yù)測(cè)處理導(dǎo)致了在每個(gè)幀內(nèi)預(yù)測(cè)模式中生成預(yù)測(cè)圖像。注意，未經(jīng)歷解塊濾波器71的解塊濾波的像素被用作將參考的解碼像素。

在步驟s42中，幀內(nèi)預(yù)測(cè)單元74針對(duì)4×4個(gè)像素、8×8個(gè)像素和16×16個(gè)像素的幀內(nèi)預(yù)測(cè)模式計(jì)算成本函數(shù)值。這里，對(duì)于用于獲得成本函數(shù)值的成本函數(shù)，使用采用h.264/avc格式的成本函數(shù)。

對(duì)于h.264/avc格式，使用例如如下方法：其中進(jìn)行jm中規(guī)定的高復(fù)雜度模式和低復(fù)雜度模式的兩種模式確定方法的選擇。在該方法的情況下，此兩者均計(jì)算與各個(gè)預(yù)測(cè)模式mode相關(guān)的成本函數(shù)值，并且選擇產(chǎn)生最小值的預(yù)測(cè)模式作為關(guān)于當(dāng)前塊或宏塊的最優(yōu)模式。

在高復(fù)雜度模式中，通過下式(15)計(jì)算成本函數(shù)值。

cost(mode∈ω)＝d+λ×r...(15)

在式(15)中，ω是用于對(duì)當(dāng)前塊至宏塊進(jìn)行編碼的候選模式的整個(gè)集合。再者，d是在通過當(dāng)前預(yù)測(cè)模式mode進(jìn)行編碼的情況下解碼圖像和輸入圖像之間的差能量。此外，λ是作為量化參數(shù)的函數(shù)給出的拉格朗日乘子。再者，r是在通過當(dāng)前模式mode進(jìn)行編碼的情況下的總碼量，其包括正交變換系數(shù)。

就是說，為了通過高復(fù)雜度模式執(zhí)行編碼，需要利用所有候選模式mode執(zhí)行一次試驗(yàn)編碼處理以便計(jì)算以上參數(shù)d和r，這需要較大的計(jì)算量。

另一方面，可以如下式(16)中所示獲得低復(fù)雜度模式中的成本函數(shù)值。

cost(mode∈ω)＝d+qp2quant(qp)×headerbit...(16)

在式(16)中，不同于高復(fù)雜度模式的情況，d是預(yù)測(cè)圖像和輸入圖像之間的差能量。再者，qp2quant(qp)是作為量化參數(shù)qp的函數(shù)給出的。此外，headerbit是關(guān)于諸如運(yùn)動(dòng)向量和模式的、屬于不包括正交變換系數(shù)的報(bào)頭的信息的碼量。

就是說，在低復(fù)雜度模式中，需要執(zhí)行關(guān)于每個(gè)候選模式mode的預(yù)測(cè)處理，但是不需要一直對(duì)解碼圖像執(zhí)行該處理，因此不需要一直執(zhí)行解碼處理。因此，較之高復(fù)雜度模式，能夠以較小的計(jì)算量實(shí)現(xiàn)。

在步驟s43中，幀內(nèi)預(yù)測(cè)單元74針對(duì)4×4個(gè)像素、8×8個(gè)像素和16×16個(gè)像素的幀內(nèi)預(yù)測(cè)模式確定最優(yōu)模式。就是說，如上文所述，在幀內(nèi)4×4預(yù)測(cè)模式和幀內(nèi)8×8預(yù)測(cè)模式的情況下，預(yù)測(cè)模式類型的數(shù)目是九，并且在幀內(nèi)16×16預(yù)測(cè)模式的情況下，預(yù)測(cè)模式類型的數(shù)目是四。因此，幀內(nèi)預(yù)測(cè)單元74基于在步驟s42中計(jì)算的成本函數(shù)值，在這些預(yù)測(cè)模式中確定最優(yōu)幀內(nèi)4×4預(yù)測(cè)模式、最優(yōu)幀內(nèi)8×8預(yù)測(cè)模式和最優(yōu)幀內(nèi)16×16預(yù)測(cè)模式。

在步驟s44中，幀內(nèi)預(yù)測(cè)單元74基于在步驟s42中計(jì)算的成本函數(shù)值，在針對(duì)4×4個(gè)像素、8×8個(gè)像素和16×16個(gè)像素的幀內(nèi)預(yù)測(cè)模式確定的最優(yōu)模式中選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式，就是說，幀內(nèi)預(yù)測(cè)單元74在針對(duì)4×4個(gè)像素、8×8個(gè)像素和16×16個(gè)像素確定的最優(yōu)模式中，選擇成本函數(shù)值是最小值的模式作為最優(yōu)幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元74隨后將在最優(yōu)幀內(nèi)預(yù)測(cè)模式中生成的預(yù)測(cè)圖像及其成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。

[運(yùn)動(dòng)預(yù)測(cè)處理的描述]

接下來，將參照?qǐng)D18中的流程圖描述圖16中的步驟s22中的幀間運(yùn)動(dòng)預(yù)測(cè)處理。

在步驟s51中，運(yùn)動(dòng)搜索單元91針對(duì)上文參照?qǐng)D2描述的由16×16個(gè)像素至4×4個(gè)像素構(gòu)成的八種幀間預(yù)測(cè)模式中的每個(gè)，確定運(yùn)動(dòng)向量和參考圖像。

在步驟s52中，運(yùn)動(dòng)搜索單元91針對(duì)每個(gè)幀間預(yù)測(cè)模式，基于所確定的運(yùn)動(dòng)向量使參考圖像經(jīng)歷補(bǔ)償處理并且生成預(yù)測(cè)圖像。運(yùn)動(dòng)搜索單元91將基于每個(gè)幀間預(yù)測(cè)模式搜索的運(yùn)動(dòng)向量信息和所生成的預(yù)測(cè)圖像提供給成本函數(shù)計(jì)算單元92。

在步驟s53中，預(yù)測(cè)運(yùn)動(dòng)向量生成單元76和成本函數(shù)計(jì)算單元92執(zhí)行預(yù)測(cè)運(yùn)動(dòng)向量確定處理。后面將參照?qǐng)D19描述該預(yù)測(cè)運(yùn)動(dòng)向量確定處理。

根據(jù)步驟s53中的處理，生成了多種類型的預(yù)測(cè)運(yùn)動(dòng)向量信息。對(duì)于每個(gè)幀間預(yù)測(cè)模式中的每個(gè)塊，針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量，使用所生成的預(yù)測(cè)運(yùn)動(dòng)向量信息和分別分配的碼數(shù)來計(jì)算成本函數(shù)值，并且選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。

針對(duì)每個(gè)幀間預(yù)測(cè)模式，這樣選擇的最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息連同預(yù)測(cè)圖像、成本函數(shù)值、差運(yùn)動(dòng)向量信息以及最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息和分配給其的碼數(shù)一起，被提供給模式確定單元94。

在步驟s54中，模式確定單元94確定最優(yōu)幀間預(yù)測(cè)模式。就是說，模式確定單元94使關(guān)于每個(gè)幀間預(yù)測(cè)模式中的所有塊的最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量的成本函數(shù)值相加，比較所有候選幀間預(yù)測(cè)模式的成本函數(shù)值，并且將具有最小成本函數(shù)值的幀間預(yù)測(cè)模式確定為最優(yōu)幀間預(yù)測(cè)模式。最優(yōu)幀間預(yù)測(cè)模式連同最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息和分配給最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量的碼數(shù)一起被提供給運(yùn)動(dòng)補(bǔ)償單元95。

在步驟s55中，運(yùn)動(dòng)補(bǔ)償單元95基于最優(yōu)幀間預(yù)測(cè)模式的運(yùn)動(dòng)向量對(duì)來自幀存儲(chǔ)器72的參考圖像執(zhí)行補(bǔ)償處理，并且生成預(yù)測(cè)圖像。再者，運(yùn)動(dòng)補(bǔ)償單元95再次從所提供的信息獲得最優(yōu)預(yù)測(cè)模式的成本函數(shù)值，并且將預(yù)測(cè)圖像和最優(yōu)預(yù)測(cè)模式的成本函數(shù)值提供給預(yù)測(cè)圖像選擇單元78。

[預(yù)測(cè)運(yùn)動(dòng)向量確定處理的描述]

接下來，將參照?qǐng)D19中的流程圖描述圖18中的步驟s53中的預(yù)測(cè)運(yùn)動(dòng)向量確定處理。注意，例如，下面的步驟s71至s74是針對(duì)每個(gè)切片執(zhí)行的處理，并且步驟s75至s77是針對(duì)每個(gè)塊執(zhí)行的處理。

在步驟s71中，碼數(shù)分配單元77確定用戶是否已定義針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。例如，在從未示出的操作輸入單元已輸入關(guān)于將哪個(gè)碼數(shù)分配給哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的信息，并且該信息不是缺省信息的情況下，在步驟s71中，確定用戶已定義針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配，并且處理前往步驟s72。

在步驟s72中，碼數(shù)分配單元77設(shè)定mv_predictor_definition_flag＝1，并且將該標(biāo)志信息提供給無損編碼單元66。在步驟s73中，碼數(shù)分配單元77隨后基于關(guān)于將哪個(gè)碼數(shù)分配給哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的信息，確定針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。所確定的碼數(shù)分配被提供給無損編碼單元66和預(yù)測(cè)運(yùn)動(dòng)向量生成單元76。

另一方面，例如，在從未示出的操作輸入單元已輸入關(guān)于將哪個(gè)碼數(shù)分配給哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的信息，并且該信息是缺省信息的情況下，在步驟s71中，確定用戶未定義針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配，并且處理前往步驟s74。

在步驟s74中，碼數(shù)分配單元77設(shè)定mv_predictor_definition_flag＝0，并且將該標(biāo)志信息提供給無損編碼單元66。在該情況下，將缺省碼數(shù)分配信息提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元76。

在步驟s75中，預(yù)測(cè)運(yùn)動(dòng)向量生成單元76使用來自運(yùn)動(dòng)向量緩沖器96的空間-時(shí)間外圍塊的外圍運(yùn)動(dòng)向量信息，來生成關(guān)于當(dāng)前塊的所有候選預(yù)測(cè)運(yùn)動(dòng)向量信息。預(yù)測(cè)運(yùn)動(dòng)向量生成單元76隨后將其連同所生成的多個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息一起提供給成本函數(shù)計(jì)算單元92，其中每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息被分別分配了碼數(shù)。

在步驟s76中，成本函數(shù)計(jì)算單元92使用所提供的信息，通過上述式(15)或式(16)，在每個(gè)幀間預(yù)測(cè)模式中的每個(gè)塊處，計(jì)算每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量的成本函數(shù)值。成本函數(shù)計(jì)算單元92使用所提供的信息，諸如差運(yùn)動(dòng)向量信息、分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)和預(yù)測(cè)圖像等，在每個(gè)幀間預(yù)測(cè)模式中的每個(gè)塊處，計(jì)算每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量的成本函數(shù)值。

在步驟s77中，最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元93基于成本函數(shù)值針對(duì)每個(gè)預(yù)測(cè)模式中的每個(gè)塊選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。以這種方式選擇的最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息連同預(yù)測(cè)圖像、成本函數(shù)值、差運(yùn)動(dòng)向量信息以及預(yù)測(cè)運(yùn)動(dòng)向量信息和分配給其的碼數(shù)一起，被提供給模式確定單元94。

如上文所述，這樣碼數(shù)分配是能夠改變的，因此例如，針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配可以改變，使得提高了編碼效率和主觀圖像質(zhì)量。

例如，可以向具有較高出現(xiàn)頻率(率)的預(yù)測(cè)運(yùn)動(dòng)向量信息分配較小的碼數(shù)，因此可以提高編碼效率和主觀圖像質(zhì)量。

編碼的壓縮圖像經(jīng)由預(yù)定的傳送路徑傳送，并且由圖像解碼設(shè)備解碼。

[圖像解碼設(shè)備的配置示例]

圖20呈現(xiàn)了用作已被應(yīng)用本發(fā)明的圖像處理設(shè)備的圖像解碼設(shè)備的實(shí)施例的配置。

圖像解碼設(shè)備101由存儲(chǔ)緩沖器111、無損解碼單元112、逆量化單元113、和逆正交變換單元114、計(jì)算單元115、解塊濾波器116、屏幕重排緩沖器117、d/a轉(zhuǎn)換單元118、幀存儲(chǔ)器119、開關(guān)120、幀內(nèi)預(yù)測(cè)單元121、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122、碼數(shù)分配緩沖器123、預(yù)測(cè)運(yùn)動(dòng)向量生成單元124和開關(guān)125構(gòu)成。

存儲(chǔ)緩沖器111存儲(chǔ)所傳送的壓縮圖像。無損解碼單元112使用與圖7中的無損編碼單元66的編碼格式對(duì)應(yīng)的格式對(duì)從存儲(chǔ)緩沖器111提供的并且由無損編碼單元66編碼的信息解碼。逆量化單元113使用與圖7中的量化單元65的量化格式對(duì)應(yīng)的格式使無損解碼單元112解碼的圖像經(jīng)歷逆量化。逆正交變換單元114使用與圖7中的正交變換單元64的正交變換格式對(duì)應(yīng)的格式使逆量化單元113的輸出經(jīng)歷逆正交變換。

計(jì)算單元115通過使經(jīng)歷逆正交變換的輸出與從開關(guān)125提供的預(yù)測(cè)圖像相加來進(jìn)行解碼。解塊濾波器116去除解碼圖像的塊噪聲，隨后提供給幀存儲(chǔ)器119用于存儲(chǔ)，并且還輸出到屏幕重排緩沖器117。

屏幕重排緩沖器117執(zhí)行圖像的重新排列。具體地，由圖7中的屏幕重排緩沖器62針對(duì)編碼順序重新排列的的幀序列被重新排列成原始顯示序列。d/a轉(zhuǎn)換單元118執(zhí)行從屏幕重排緩沖器117提供的圖像的d/a轉(zhuǎn)換，并且輸出到未示出的顯示器用于顯示。

開關(guān)120從幀存儲(chǔ)器119讀出將經(jīng)歷幀間處理的圖像以及將參考的圖像，輸出到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122，并且還從幀存儲(chǔ)器119讀出將用于幀內(nèi)預(yù)測(cè)的圖像，并且提供給幀內(nèi)預(yù)測(cè)單元121。

通過對(duì)報(bào)頭信息解碼獲得的指示幀內(nèi)預(yù)測(cè)模式的信息從無損解碼單元112提供給幀內(nèi)預(yù)測(cè)單元121。幀內(nèi)預(yù)測(cè)單元121基于該信息生成預(yù)測(cè)圖像，并且將生成的預(yù)測(cè)圖像輸出到開關(guān)125。

在通過對(duì)報(bào)頭信息解碼獲得的信息中，幀間預(yù)測(cè)模式信息、差運(yùn)動(dòng)向量信息、針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)、參考幀信息等從無損解碼單元112提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122。針對(duì)每個(gè)宏塊傳送幀間預(yù)測(cè)模式信息。針對(duì)每個(gè)當(dāng)前塊傳送針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)和參考幀信息。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122將從無損解碼單元112提供的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元124，并且據(jù)此獲得由預(yù)測(cè)運(yùn)動(dòng)向量生成單元124生成的預(yù)測(cè)運(yùn)動(dòng)向量信息。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122使用從無損解碼單元112提供的差運(yùn)動(dòng)向量信息和來自預(yù)測(cè)運(yùn)動(dòng)向量生成單元124的預(yù)測(cè)運(yùn)動(dòng)向量信息來生成當(dāng)前塊的運(yùn)動(dòng)向量信息。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122使用所生成的運(yùn)動(dòng)向量信息對(duì)從幀存儲(chǔ)器119提供的參考圖像執(zhí)行補(bǔ)償處理，并且在從無損解碼單元112提供的幀間預(yù)測(cè)模式信息指示的預(yù)測(cè)模式中，針對(duì)每個(gè)當(dāng)前塊生成預(yù)測(cè)圖像的像素值。

碼數(shù)分配緩沖器123存儲(chǔ)作為指示缺省(在固定模式的情況下)預(yù)測(cè)運(yùn)動(dòng)向量信息和碼數(shù)之間的相關(guān)性的信息的碼數(shù)分配信息。再者，碼數(shù)分配緩沖器123從無損解碼單元112接收指示模式是否是其中對(duì)于每個(gè)切片針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配能夠改變的可變模式，或者指示模式是否是其中使用缺省設(shè)定的固定模式的標(biāo)志信息。在該標(biāo)志信息指示可變模式的情況下，碼數(shù)分配緩沖器123連同標(biāo)志信息一起，接收與預(yù)測(cè)運(yùn)動(dòng)向量信息對(duì)應(yīng)的碼數(shù)分配，即，預(yù)測(cè)運(yùn)動(dòng)向量信息和碼數(shù)之間的相關(guān)性的信息。碼數(shù)分配緩沖器123隨后存儲(chǔ)指示可變模式的情況下的預(yù)測(cè)運(yùn)動(dòng)向量信息和碼數(shù)的相關(guān)性的碼數(shù)分配信息，并且將其提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元124。

對(duì)于每個(gè)塊，從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122向預(yù)測(cè)運(yùn)動(dòng)向量生成單元124提供關(guān)于每個(gè)塊的與預(yù)測(cè)運(yùn)動(dòng)向量信息對(duì)應(yīng)的碼數(shù)，以及空間-時(shí)間外圍塊的運(yùn)動(dòng)向量信息。再者，對(duì)于每個(gè)切片，從碼數(shù)分配緩沖器123向預(yù)測(cè)運(yùn)動(dòng)向量生成單元124提供缺省的或者編碼側(cè)設(shè)定的碼數(shù)分配。

預(yù)測(cè)運(yùn)動(dòng)向量生成單元124通過上述式(5)、式(9)和式(10)中的相應(yīng)的式，使用提供給其的信息來生成關(guān)于每個(gè)塊的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且將所生成的預(yù)測(cè)運(yùn)動(dòng)向量信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122。

開關(guān)125選擇運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122或幀內(nèi)預(yù)測(cè)單元121生成的預(yù)測(cè)圖像，并且提供給計(jì)算單元115。

注意，對(duì)于圖7中所示的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75和預(yù)測(cè)運(yùn)動(dòng)向量生成單元76，需要生成關(guān)于所有候選模式的預(yù)測(cè)圖像，生成多個(gè)候選預(yù)測(cè)運(yùn)動(dòng)向量信息，計(jì)算成本函數(shù)值，并且執(zhí)行預(yù)測(cè)運(yùn)動(dòng)向量信息的選擇和模式確定。

相反，對(duì)于圖20中所示的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122和預(yù)測(cè)運(yùn)動(dòng)向量生成單元124，從壓縮圖像的報(bào)頭接收與當(dāng)前塊對(duì)應(yīng)的模式信息、針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)以及差運(yùn)動(dòng)向量信息，并且僅執(zhí)行使用這些信息的運(yùn)動(dòng)補(bǔ)償處理。注意，此時(shí)使用指示針對(duì)關(guān)于每個(gè)切片發(fā)送的預(yù)測(cè)運(yùn)動(dòng)向量信息的、關(guān)于碼數(shù)分配信息的可變模式或固定模式的標(biāo)志信息，以及針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配，來生成預(yù)測(cè)運(yùn)動(dòng)向量信息，其也用于運(yùn)動(dòng)補(bǔ)償處理。

[運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的配置示例]

圖21是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122的詳細(xì)配置示例的框圖。注意，在圖17中，圖20中的開關(guān)120被略去。

在圖21中的示例中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122由差向量緩沖器131、塊級(jí)碼數(shù)緩沖器132、運(yùn)動(dòng)向量生成單元133、運(yùn)動(dòng)向量緩沖器134和運(yùn)動(dòng)補(bǔ)償單元135構(gòu)成。

從無損解碼單元112向差向量緩沖器131提供關(guān)于每個(gè)塊的差運(yùn)動(dòng)向量信息。差向量緩沖器131存儲(chǔ)提供給其的差運(yùn)動(dòng)向量信息并且將該信息提供給運(yùn)動(dòng)向量生成單元133。

指示哪個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息用于哪個(gè)塊的信息的碼數(shù)從無損解碼單元112提供給塊級(jí)碼數(shù)緩沖器132。塊級(jí)碼數(shù)緩沖器132存儲(chǔ)關(guān)于每個(gè)塊的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元124。

來自差向量緩沖器131的差運(yùn)動(dòng)向量信息以及由預(yù)測(cè)運(yùn)動(dòng)向量生成單元124生成的關(guān)于每個(gè)塊的預(yù)測(cè)運(yùn)動(dòng)向量信息被提供給運(yùn)動(dòng)向量生成單元133。運(yùn)動(dòng)向量生成單元133使當(dāng)前塊的預(yù)測(cè)運(yùn)動(dòng)向量信息與當(dāng)前塊的差運(yùn)動(dòng)向量信息相加，從而生成當(dāng)前塊的運(yùn)動(dòng)向量信息。運(yùn)動(dòng)向量生成單元133將所生成的運(yùn)動(dòng)向量信息提供給運(yùn)動(dòng)向量緩沖器134和運(yùn)動(dòng)補(bǔ)償單元135。

運(yùn)動(dòng)向量緩沖器134存儲(chǔ)來自運(yùn)動(dòng)向量生成單元133的關(guān)于每個(gè)塊的運(yùn)動(dòng)向量信息，作為用于生成下一塊的預(yù)測(cè)運(yùn)動(dòng)向量信息的外圍運(yùn)動(dòng)向量信息。所存儲(chǔ)的外圍運(yùn)動(dòng)向量信息被提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元124。

運(yùn)動(dòng)補(bǔ)償單元135使用來自運(yùn)動(dòng)向量生成單元133的運(yùn)動(dòng)向量信息，使來自幀存儲(chǔ)器119的參考圖像在預(yù)測(cè)模式信息指示的預(yù)測(cè)模式中經(jīng)歷補(bǔ)償處理，從而生成預(yù)測(cè)圖像。

[圖像解碼設(shè)備的解碼處理的描述]

接下來，將參照?qǐng)D22中的流程圖描述圖像解碼設(shè)備101執(zhí)行的解碼處理。

在步驟s131中，存儲(chǔ)緩沖器111存儲(chǔ)傳送的圖像。在步驟s132中，無損解碼單元112對(duì)從存儲(chǔ)緩沖器111提供的壓縮圖像解碼。具體地，由圖7中的無損編碼單元66編碼的i圖片、p圖片和b圖片被解碼。

此時(shí)，差運(yùn)動(dòng)向量信息、參考幀信息、針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配的標(biāo)志信息(mv_predictor_definition_flag)、在可用的情況下指示其關(guān)系的碼數(shù)分配信息、以及預(yù)測(cè)模式信息(指示幀內(nèi)預(yù)測(cè)模式或幀間預(yù)測(cè)模式的信息)等也被解碼。

就是說，在預(yù)測(cè)模式信息是幀內(nèi)預(yù)測(cè)模式信息的情況下，預(yù)測(cè)模式信息被提供給幀內(nèi)預(yù)測(cè)單元51。在預(yù)測(cè)模式信息是幀間預(yù)測(cè)模式信息的情況下，與預(yù)測(cè)模式信息對(duì)應(yīng)的差運(yùn)動(dòng)向量信息和參考幀信息被提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122。再者，針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配的標(biāo)志信息以及在可用的情況下的碼數(shù)分配，被提供給碼數(shù)分配緩沖器123。

在步驟s133中，逆量化單元113使用與圖7中的量化單元65的性質(zhì)對(duì)應(yīng)的性質(zhì)對(duì)無損解碼單元112解碼的變換系數(shù)進(jìn)行逆量化。在步驟s134中，逆正交變換單元114使用與圖7中的正交變換單元64的性質(zhì)對(duì)應(yīng)的性質(zhì)，使逆量化單元113逆量化的變換系數(shù)經(jīng)歷逆正交變換。這意味著與圖7中的正交變換單元64的輸入(計(jì)算單元63的輸出)對(duì)應(yīng)的差信息被解碼。

在步驟s135中，計(jì)算單元115使在后面描述的步驟s139中的處理中選擇的并且經(jīng)由開關(guān)125輸入的預(yù)測(cè)圖像與差信息相加。因此，原始圖像被解碼。在步驟s136中，解塊濾波器116使從計(jì)算單元115輸出的圖像經(jīng)歷濾波。因此，去除了塊失真。在步驟s137中，幀存儲(chǔ)器119存儲(chǔ)經(jīng)歷濾波的圖像。

在步驟s138中，幀內(nèi)預(yù)測(cè)單元121或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122響應(yīng)于從無損解碼單元112提供的預(yù)測(cè)模式信息執(zhí)行相應(yīng)的圖像預(yù)測(cè)處理。

就是說，在已從無損解碼單元112提供幀內(nèi)預(yù)測(cè)模式信息的情況下，幀內(nèi)預(yù)測(cè)單元121執(zhí)行幀內(nèi)預(yù)測(cè)模式中的幀內(nèi)預(yù)測(cè)處理。在已從無損解碼單元112提供幀間預(yù)測(cè)模式信息的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122執(zhí)行幀間預(yù)測(cè)模式中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。此時(shí)，針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的與關(guān)于碼數(shù)分配的標(biāo)志信息對(duì)應(yīng)的碼數(shù)分配信息被用于生成預(yù)測(cè)運(yùn)動(dòng)向量信息，通過該信息還有差運(yùn)動(dòng)向量信息，生成了運(yùn)動(dòng)向量信息。隨后所生成的運(yùn)動(dòng)向量信息被用于執(zhí)行關(guān)于參考圖像的補(bǔ)償處理，從而在幀內(nèi)預(yù)測(cè)模式中生成預(yù)測(cè)圖像。

盡管后面將參照?qǐng)D23描述步驟s138中的預(yù)測(cè)處理的細(xì)節(jié)，但是根據(jù)該處理，幀內(nèi)預(yù)測(cè)單元121生成的預(yù)測(cè)圖像或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122生成的預(yù)測(cè)圖像被提供給開關(guān)125。

在步驟s139中，開關(guān)125選擇預(yù)測(cè)圖像。具體地，提供幀內(nèi)預(yù)測(cè)單元121生成的預(yù)測(cè)圖像或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122生成的預(yù)測(cè)圖像。因此，所提供的預(yù)測(cè)圖像被選擇，提供給計(jì)算單元115，并且如上文所述，在步驟s135中與逆正交變換單元114的輸出相加。

在步驟s140中，屏幕重排緩沖器117執(zhí)行重新排列。具體地，圖像編碼設(shè)備51的屏幕重排緩沖器62重新排列的用于編碼的幀序列被重新排列成原始顯示序列。

在步驟s141中，d/a轉(zhuǎn)換單元118執(zhí)行來自屏幕重排緩沖器117的圖像的d/a轉(zhuǎn)換。該圖像被輸出到未示出的顯示器，并且顯示該圖像。[圖像解碼設(shè)備的預(yù)測(cè)處理的描述]

接下來，將參照?qǐng)D23中的流程圖描述圖22中的步驟s138中的預(yù)測(cè)處理。

在步驟s171中碼數(shù)分配緩沖器123接收來自無損解碼單元112的切片報(bào)頭中的mv_predictor_definition_flag。碼數(shù)分配緩沖器123隨后在步驟s172中確定mv_predictor_definition_flag是否指示1。

在步驟s172中確定mv_predictor_definition_flag指示1的情況下，這是其中針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配能夠改變的可變模式。因此，在步驟s173中碼數(shù)分配緩沖器123接收來自無損解碼單元112的切片報(bào)頭中的針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配信息，并且臨時(shí)存儲(chǔ)該信息。碼數(shù)分配緩沖器123隨后向預(yù)測(cè)運(yùn)動(dòng)向量生成單元124提供所存儲(chǔ)的碼數(shù)分配。

再者，在步驟s172中確定mv_predictor_definition_flag指示0的情況下，這是關(guān)于針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配的固定模式，因此步驟s173被跳過。在該情況下，碼數(shù)分配緩沖器123將所存儲(chǔ)的缺省碼數(shù)分配信息提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元124。

在步驟s174中，幀內(nèi)預(yù)測(cè)單元121確定當(dāng)前塊是否已經(jīng)歷幀內(nèi)預(yù)測(cè)。在從無損解碼單元112向幀內(nèi)預(yù)測(cè)單元121提供幀內(nèi)預(yù)測(cè)模式信息之后，在步驟s174中幀內(nèi)預(yù)測(cè)單元121確定當(dāng)前塊已經(jīng)歷幀內(nèi)編碼，并且處理前往步驟s175。

在步驟s175中，幀內(nèi)預(yù)測(cè)單元121獲得幀內(nèi)預(yù)測(cè)模式信息，并且在步驟s176中執(zhí)行幀內(nèi)預(yù)測(cè)。

就是說，在待處理圖像是將經(jīng)歷幀內(nèi)處理的圖像的情況下，從幀存儲(chǔ)器119讀出所需的圖像，并且經(jīng)由開關(guān)120將其提供給幀內(nèi)預(yù)測(cè)單元121。在步驟s176中，幀內(nèi)預(yù)測(cè)單元121根據(jù)在步驟s175中獲得的幀內(nèi)預(yù)測(cè)模式信息來執(zhí)行幀內(nèi)預(yù)測(cè)以生成預(yù)測(cè)圖像。所生成的預(yù)測(cè)圖像被輸出到開關(guān)125。

另一方面，在步驟s174中確定未執(zhí)行幀內(nèi)編碼的情況下，處理前往步驟s177。

在待處理圖像是將被幀間處理的圖像的情況下，從無損解碼單元112向運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122關(guān)于每個(gè)塊的幀間預(yù)測(cè)模式信息，還有關(guān)于每個(gè)塊的參考幀信息、差運(yùn)動(dòng)向量信息和針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。

在步驟s178中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122獲得幀間預(yù)測(cè)模式、參考幀信息、差運(yùn)動(dòng)向量信息以及針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。所獲得的差運(yùn)動(dòng)向量信息被存儲(chǔ)在差向量緩沖器131中。針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)被存儲(chǔ)在塊級(jí)碼數(shù)緩沖器132中。幀間預(yù)測(cè)模式信息和參考幀信息被提供給運(yùn)動(dòng)向量生成單元133，盡管在圖21中的示例中沒有示出。

在步驟s178中，運(yùn)動(dòng)向量生成單元133和預(yù)測(cè)運(yùn)動(dòng)向量生成單元124執(zhí)行運(yùn)動(dòng)向量信息的重建。就是說，預(yù)測(cè)運(yùn)動(dòng)向量生成單元124基于來自碼數(shù)分配緩沖器123的碼數(shù)分配信息和來自塊級(jí)碼數(shù)緩沖器132的關(guān)于每個(gè)塊的分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，獲得預(yù)測(cè)運(yùn)動(dòng)向量信息的類型。預(yù)測(cè)運(yùn)動(dòng)向量生成單元124隨后使用來自運(yùn)動(dòng)向量緩沖器134的外圍運(yùn)動(dòng)向量信息，通過上述式(5)、式(9)和式(19)中的相應(yīng)的式來生成關(guān)于每個(gè)塊的預(yù)測(cè)運(yùn)動(dòng)向量信息。所生成的預(yù)測(cè)運(yùn)動(dòng)向量信息被提供給運(yùn)動(dòng)向量生成單元133。

運(yùn)動(dòng)向量生成單元133使來自預(yù)測(cè)運(yùn)動(dòng)向量生成單元124的當(dāng)前塊的預(yù)測(cè)運(yùn)動(dòng)向量信息與來自差向量緩沖器131的差運(yùn)動(dòng)向量信息相加，并且生成當(dāng)前塊的運(yùn)動(dòng)向量信息。所生成的運(yùn)動(dòng)向量信息連同幀間預(yù)測(cè)模式信息一起被提供給運(yùn)動(dòng)補(bǔ)償單元135。再者，運(yùn)動(dòng)向量信息也被提供給運(yùn)動(dòng)向量緩沖器134并且被存儲(chǔ)。

在步驟s179中，運(yùn)動(dòng)補(bǔ)償單元135使用來自運(yùn)動(dòng)向量生成單元133的運(yùn)動(dòng)向量信息，使來自幀存儲(chǔ)器119的參考圖像經(jīng)歷預(yù)測(cè)模式信息指示的預(yù)測(cè)模式中的補(bǔ)償處理。所生成的預(yù)測(cè)圖像被提供給開關(guān)125。

如上文所述，對(duì)于圖像編碼設(shè)備51和圖像解碼設(shè)備101，提供了其中針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配能夠改變的可變模式，因此針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配可以改變。

因此，用戶或應(yīng)用可以改變針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配，使得提高編碼效率和主觀圖像質(zhì)量。結(jié)果，可以提高編碼效率和主觀圖像質(zhì)量，從而實(shí)現(xiàn)較高的編碼效率。

[圖像編碼設(shè)備的另一配置示例]

圖24圖示了用作圖像處理設(shè)備的圖像編碼設(shè)備的另一實(shí)施例的配置。

圖24中的圖像編碼設(shè)備151與圖7中的圖像編碼設(shè)備51的共同之處在于具有a/d轉(zhuǎn)換單元61、屏幕重排緩沖器62、計(jì)算單元63、正交變換單元64、量化單元65、存儲(chǔ)緩沖器67、逆量化單元68、逆正交變換單元69、計(jì)算單元70、解塊濾波器71、幀存儲(chǔ)器72、開關(guān)73、幀內(nèi)預(yù)測(cè)單元74、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75、預(yù)測(cè)運(yùn)動(dòng)向量生成單元76、預(yù)測(cè)圖像選擇單元78、和速率控制單元79。再者，圖24中的圖像編碼設(shè)備151與圖7中的圖像編碼設(shè)備51的不同之處在于碼數(shù)分配單元77和無損編碼單元66已分別被碼數(shù)分配單元161和無損編碼單元162替換，并且已添加最優(yōu)碼數(shù)分配確定單元。

就是說，對(duì)于圖7中的圖像編碼設(shè)備51，由用戶或應(yīng)用設(shè)定作為預(yù)測(cè)運(yùn)動(dòng)向量信息和碼數(shù)之間的相關(guān)性的、針對(duì)每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。相反地，對(duì)于圖24中的圖像編碼設(shè)備151，生成對(duì)于當(dāng)前圖片或切片可能的每個(gè)碼數(shù)分配信息。使用每個(gè)碼數(shù)分配信息生成關(guān)于當(dāng)前圖片或切片的所有編碼信息(壓縮圖像)，并且將這些信息臨時(shí)存儲(chǔ)在無損編碼單元162中。

這些編碼信息均被提供給最優(yōu)碼數(shù)分配確定單元163。最優(yōu)碼數(shù)分配確定單元163針對(duì)每個(gè)分配生成成本函數(shù)值，將值最小的碼數(shù)分配取作針對(duì)當(dāng)前圖片或切片的最優(yōu)分配，并且將該信息提供給無損編碼單元162。

在與存儲(chǔ)的每個(gè)碼數(shù)分配相關(guān)的編碼信息(壓縮圖像)中，無損編碼單元162僅向存儲(chǔ)緩沖器67輸出與最優(yōu)分配相關(guān)的信息。

與該圖像編碼設(shè)備151對(duì)應(yīng)的解碼側(cè)設(shè)備基本上具有與圖20中的圖像解碼設(shè)備101相同的配置，并且因此將省略其描述。

如上文所述，針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配不限于由用戶或應(yīng)用來設(shè)定，并且可以進(jìn)行其中根據(jù)圖像編碼設(shè)備處的針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配對(duì)最優(yōu)碼數(shù)分配進(jìn)行解碼的布置，以便提高編碼效率和主觀圖像質(zhì)量。

注意，上文已進(jìn)行了關(guān)于使用時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息、空間預(yù)測(cè)運(yùn)動(dòng)向量信息和空間-時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息作為候選預(yù)測(cè)運(yùn)動(dòng)向量信息的描述，但是毋庸置疑，其他預(yù)測(cè)運(yùn)動(dòng)向量信息也可以被用作候選者。

[預(yù)測(cè)運(yùn)動(dòng)向量信息]

盡管上文使用非專利文獻(xiàn)1中描述的方法作為預(yù)測(cè)運(yùn)動(dòng)向量信息生成方法的示例進(jìn)行了描述，但是不限于此，可以應(yīng)用例如如下方法。

例如，在上述非專利文獻(xiàn)1中說明的方法的情況下，作為用作候選者的預(yù)測(cè)運(yùn)動(dòng)向量信息的候選預(yù)測(cè)運(yùn)動(dòng)向量信息的數(shù)目越大，則處理量計(jì)算量越大。再者，對(duì)于當(dāng)前的gop，例如提高諸如p圖片的參考圖片的圖像質(zhì)量也提高了參考其的b圖片的圖像質(zhì)量。

因此，可以進(jìn)行如下布置：其中運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75使用關(guān)于參考圖片(例如，p圖片等)的數(shù)目較大的候選運(yùn)動(dòng)向量信息來執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償(編碼處理)。再者，可以進(jìn)行如下布置：其中運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75使用關(guān)于未被參考的圖片(例如，b圖片等)的數(shù)目較小的候選運(yùn)動(dòng)向量信息來執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償(編碼處理)，或者執(zhí)行如同avc的運(yùn)動(dòng)向量編碼，而非執(zhí)行諸如非專利文獻(xiàn)1中說明的處理。

例如，在處理另一圖片時(shí)對(duì)參考圖片編碼的情況下，較之處理另一圖片時(shí)對(duì)未被參考的圖片編碼的情況，使預(yù)測(cè)運(yùn)動(dòng)向量生成單元76生成較多的候選運(yùn)動(dòng)向量信息。就是說，在該情況下，最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元93從數(shù)目較大的候選運(yùn)動(dòng)向量信息中選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。

再者，在處理另一圖片時(shí)對(duì)未被參考的圖片編碼的情況下，較之處理另一圖片時(shí)對(duì)參考圖片編碼的情況，使預(yù)測(cè)運(yùn)動(dòng)向量生成單元76生成較少的候選運(yùn)動(dòng)向量信息，或者替選地，如同avc生成單個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息。就是說，在該情況下，最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元93從數(shù)目較小的候選運(yùn)動(dòng)向量信息中選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息，或者將單個(gè)生成的預(yù)測(cè)運(yùn)動(dòng)向量信息取作最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。

因此，該圖像編碼設(shè)備可以通過較小的計(jì)算量提高編碼效率。

在該情況下，圖像編碼設(shè)備也在每個(gè)切片報(bào)頭或圖片參數(shù)集合中存儲(chǔ)關(guān)于使用哪個(gè)候選預(yù)測(cè)運(yùn)動(dòng)向量的信息(例如，這些信息被傳送到解碼設(shè)備側(cè))。

[宏塊]

再者，在以上描述中，已針對(duì)16×16個(gè)像素的情況描述了宏塊尺寸，但是本技術(shù)也可以應(yīng)用于擴(kuò)展宏塊尺寸。

圖25是圖示擴(kuò)展宏塊尺寸的示例的示圖。

在圖25中的上層，按左起的順序示出了被分成32×32個(gè)像素、32×16個(gè)像素、16×32個(gè)像素和16×16個(gè)像素的塊(分區(qū))的、由32×32個(gè)像素構(gòu)成的宏塊。在圖25中的中層，按左起的順序示出了被分成16×16個(gè)像素、16×8個(gè)像素、8×16個(gè)像素和8×8個(gè)像素的塊的、由16×16個(gè)像素構(gòu)成的塊。再者，在圖25中的下層，按左起的順序示出了被分成8×8個(gè)像素、8×4個(gè)像素、4×8個(gè)像素和4×4個(gè)像素的塊的、由8×8個(gè)像素構(gòu)成的塊。

換言之，32×32個(gè)像素的宏塊可以通過圖25中的上層示出的32×32個(gè)像素、32×16個(gè)像素、16×32個(gè)像素和16×16個(gè)像素的塊進(jìn)行處理。

再者，上層右側(cè)示出的16×16個(gè)像素的塊可以按照與h.264/avc格式相同的方式，通過中層示出的16×16個(gè)像素、16×8個(gè)像素、8×16個(gè)像素和8×8個(gè)像素的塊進(jìn)行處理。

此外，中層右側(cè)示出的8×8個(gè)像素的塊可以按照與h.264/avc格式相同的方式，通過下層示出的8×8個(gè)像素、8×4個(gè)像素、4×8個(gè)像素和4×4個(gè)像素的塊進(jìn)行處理。

對(duì)于擴(kuò)展宏塊尺寸，通過采用該分級(jí)結(jié)構(gòu)，對(duì)于16×16像素塊或者更小的塊，在維持與h.264/avc格式的兼容性的同時(shí)，更大的塊被定義為其超集。

本技術(shù)也被應(yīng)用于如上文提出的擴(kuò)展宏塊尺寸。在將本技術(shù)也應(yīng)用于擴(kuò)展宏塊尺寸的情況下，例如在正常宏塊和擴(kuò)展宏塊之間將不同的碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息，例如正常宏塊由16×16個(gè)像素構(gòu)成，并且擴(kuò)展宏塊由32×32個(gè)像素構(gòu)成。

到目前為止以h.264/avc格式為基礎(chǔ)用作編碼格式進(jìn)行了描述，但是不限于此。就是說，本技術(shù)可以應(yīng)用于執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償并且進(jìn)一步使用多個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息用于運(yùn)動(dòng)向量信息的編碼的其他編碼格式/解碼格式。

[編碼單位]

現(xiàn)今，16×16個(gè)像素的宏塊尺寸對(duì)于將由下一代編碼格式處置的諸如uhd(超高分辨率；4000×2000個(gè)像素)的大圖像幀不是最優(yōu)的。

因此，用作itu-t(國際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組織)和iso(國際標(biāo)準(zhǔn)組織)/iec之間的標(biāo)準(zhǔn)化協(xié)作組織的jctvc(聯(lián)合協(xié)作團(tuán)隊(duì)視頻編碼)當(dāng)前已推進(jìn)被稱為hevc(高效視頻編碼)的編碼格式的標(biāo)準(zhǔn)化，其目標(biāo)在于進(jìn)一步提高編碼效率。

對(duì)于avc，如圖2中所示，規(guī)定了宏塊和子宏塊的分級(jí)結(jié)構(gòu)，如圖31中所示，對(duì)于hevc規(guī)定了編碼單位(cu(codingunit))。

編碼單位(cu)還被稱為編碼樹塊(ctb)，并且作為圖像的圖片增量中的部分區(qū)域，承擔(dān)與avc中的宏塊相同的任務(wù)。后者被固定到16×16個(gè)像素的尺寸，而前者的尺寸不是固定的，并且在各個(gè)序列中的圖像壓縮信息內(nèi)指定。

例如，在待輸出的編碼數(shù)據(jù)中包括的序列參數(shù)集合中規(guī)定了具有最大尺寸的cu(lcu(最大編碼單位))和具有最小尺寸的cu(scu(最小編碼單位))。

在每個(gè)lcu中，在不小于scu的尺寸的范圍內(nèi)通過設(shè)定split_flag＝1，可以劃分成較小尺寸的cu。在圖31中的示例中，lcu的尺寸是128，并且最大分級(jí)深度是5。當(dāng)split_flag的值是"1"時(shí)，具有2n×2n的尺寸的cu被分成具有n×n的尺寸的cu，該具有n×n的尺寸的cu變?yōu)榻狄患?jí)的層級(jí)水平。

此外，cu被分成作為用作幀內(nèi)或幀間預(yù)測(cè)增量的區(qū)域的預(yù)測(cè)單位(predictionunit(pu))，并且還被分成用作作為正交變換的處理增量的區(qū)域(圖像的圖片增量中的部分區(qū)域)的變換單位(transformunit(tu))。當(dāng)前，對(duì)于hevc編碼格式，除了4×4和8×8之外，可以采用16×16和32×32正交變換。

如同上述hevc，在其中定義cu并且cu用作執(zhí)行各種類型的處理的增量的編碼格式的情況下，avc中的宏塊可以被視為等同于lcu。然而，注意，cu具有如圖31中所示的分級(jí)結(jié)構(gòu)，因此最高分級(jí)層級(jí)的lcu的尺寸通常被設(shè)定為例如大于avc宏塊，諸如128×128個(gè)像素。

本技術(shù)還可以應(yīng)用于使用這些cu、pu、tu等而非宏塊的編碼格式。就是說，預(yù)測(cè)處理的處理增量可以是可選的區(qū)域。

再者，碼數(shù)的切換控制可以被布置為按可選的處理增量執(zhí)行，并且可以針對(duì)諸如cu、pu等的預(yù)測(cè)處理單位的每個(gè)區(qū)域執(zhí)行，而非僅針對(duì)序列、圖片和切片執(zhí)行。在該情況下，根據(jù)待處理區(qū)域的運(yùn)動(dòng)特征，更具體地，根據(jù)待處理區(qū)域(當(dāng)前區(qū)域)是由靜止圖像構(gòu)成的區(qū)域(靜止區(qū)域)還是由移動(dòng)物體的圖像構(gòu)成的區(qū)域(移動(dòng)區(qū)域)，來控制該區(qū)域中的針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配的方式。就是說，在該情況下，對(duì)于每個(gè)區(qū)域區(qū)分是否是靜止區(qū)域。

[圖像編碼設(shè)備]

圖32是圖示該情況下的圖像編碼設(shè)備的主要配置示例的框圖。

圖32中示出的圖像編碼設(shè)備700具有與圖7中的圖像編碼設(shè)備51基本上相同的配置，并且對(duì)圖像數(shù)據(jù)編碼。如參照?qǐng)D31描述的，假設(shè)圖像編碼設(shè)備700針對(duì)每個(gè)預(yù)測(cè)單位(pu)執(zhí)行幀間處理。

如圖32中所示，圖像編碼設(shè)備700由a/d轉(zhuǎn)換單元701、屏幕重排緩沖器702、計(jì)算單元703、正交變換單元704、量化單元705、無損編碼單元706和存儲(chǔ)緩沖器707構(gòu)成。再者，圖像編碼設(shè)備700具有逆量化單元708、逆正交變換單元709、計(jì)算單元710、環(huán)路濾波器711、幀存儲(chǔ)器712、選擇單元713、幀內(nèi)預(yù)測(cè)單元714、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715、預(yù)測(cè)圖像選擇單元716、和速率控制單元717。

圖像編碼設(shè)備700進(jìn)一步具有靜止區(qū)域確定單元721和運(yùn)動(dòng)向量編碼單元722。

a/d轉(zhuǎn)換單元701執(zhí)行輸入圖像的a/d轉(zhuǎn)換，并且將轉(zhuǎn)換之后的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))提供給屏幕重排緩沖器702用于存儲(chǔ)。屏幕重排緩沖器702根據(jù)gop將以顯示的順序存儲(chǔ)的幀的圖像重新排列成用于編碼的幀順序，并且將幀順序已被重新排列的圖像提供給計(jì)算單元703。再者，屏幕重排緩沖器702將幀順序已被重新排列的圖像提供給幀內(nèi)預(yù)測(cè)單元714和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715。

計(jì)算單元703從自屏幕重排緩沖器702讀出的圖像中減去經(jīng)由預(yù)測(cè)圖像選擇單元716的從幀內(nèi)預(yù)測(cè)單元714或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715提供的預(yù)測(cè)圖像，并且將它們的差信息輸出到正交變換單元704。

例如，在將對(duì)其執(zhí)行幀間編碼的圖像的情況下，計(jì)算單元703從自屏幕重排緩沖器702讀出的圖像中減去從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715提供的預(yù)測(cè)圖像。

正交變換單元704使來自計(jì)算單元703的差信息經(jīng)歷諸如離散余弦變換、karhunen-loéve變換等的正交變換。這里的正交變換方法是可選的。正交變換單元704將其變換系數(shù)輸出到量化單元705。

量化單元705對(duì)從正交變換單元704提供的變換系數(shù)進(jìn)行量化。量化單元705設(shè)定關(guān)于從速率控制單元717提供的碼量的目標(biāo)值的量化參數(shù)，并且執(zhí)行量化。注意，用于該量化的方法是可選的。量化單元705將量化的變換系數(shù)提供給無損編碼單元706。

無損編碼單元706通過可選的編碼方法對(duì)在量化單元705處量化的變換系數(shù)進(jìn)行編碼。在速率控制單元717的控制下對(duì)系數(shù)數(shù)據(jù)進(jìn)行量化，并且因此其碼量是由速率控制單元717設(shè)定的目標(biāo)值(或者接近目標(biāo)值)。

再者，無損編碼單元706從幀內(nèi)預(yù)測(cè)單元714獲得指示幀內(nèi)預(yù)測(cè)的信息，并且從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715獲取指示幀間預(yù)測(cè)模式等的信息。此外，無損編碼單元706獲得在環(huán)路濾波器711處使用的濾波器系數(shù)等。

無損編碼單元706對(duì)這些各種類型的信息進(jìn)行編碼，并且將這些取作編碼數(shù)據(jù)的報(bào)頭信息的一部分(復(fù)用)。無損編碼單元706將編碼數(shù)據(jù)提供給存儲(chǔ)緩沖器707用于存儲(chǔ)。

對(duì)于無損編碼單元706，無損編碼處理的示例包括諸如可變長(zhǎng)度編碼、算術(shù)編碼等。可變長(zhǎng)度編碼的示例包括h.264/avc格式規(guī)定的cavlc(上下文自適應(yīng)可變長(zhǎng)度編碼)等。算術(shù)編碼的示例包括cabac(上下文自適應(yīng)二值算術(shù)編碼)等。

存儲(chǔ)緩沖器707臨時(shí)保存從無損編碼單元706提供的編碼數(shù)據(jù)。存儲(chǔ)緩沖器707將其中保存的數(shù)據(jù)輸出到例如在圖中未示出的下游的存儲(chǔ)設(shè)備(記錄介質(zhì))或傳送路徑等。

再者，從量化單元705輸出的量化的變換系數(shù)還被輸入到逆量化單元708。逆量化單元708利用與量化單元705的量化對(duì)應(yīng)的方法，執(zhí)行量化的變換系數(shù)的逆量化。任何方法將足以用于該逆量化方法，只要與量化單元705的量化處理對(duì)應(yīng)。逆量化單元708將獲得的變換系數(shù)提供給逆正交變換單元709。

逆正交變換單元709利用與正交變換單元704的正交變換處理對(duì)應(yīng)的方法，執(zhí)行從逆量化單元708提供的變換系數(shù)的逆正交變換。任何方法將足以用于該逆正交變換方法，只要與正交變換單元704的正交變換處理對(duì)應(yīng)。經(jīng)歷逆正交變換的輸出(恢復(fù)的差信息)被提供給計(jì)算單元710。

計(jì)算單元710使從逆正交變換單元709提供的逆正交變換結(jié)果，即恢復(fù)的差信息，與經(jīng)由預(yù)測(cè)圖像選擇單元716從幀內(nèi)預(yù)測(cè)單元714或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715提供的預(yù)測(cè)圖像相加，以便獲得局部解碼圖像(解碼圖像)。解碼圖像被提供給環(huán)路濾波器711或幀存儲(chǔ)器712。

環(huán)路濾波器711包括解塊濾波器和自適應(yīng)環(huán)路濾波器等，并且對(duì)從計(jì)算單元710提供的解碼圖像執(zhí)行適當(dāng)?shù)臑V波處理。例如，環(huán)路濾波器711通過對(duì)解碼圖像執(zhí)行解塊濾波器處理來去除解碼圖像的塊噪聲。再者，例如，環(huán)路濾波器711通過使用wiener濾波器(wienerfilter)執(zhí)行環(huán)路濾波器處理來對(duì)解塊濾波器處理結(jié)果(經(jīng)歷塊噪聲去除的解碼圖像)執(zhí)行圖像質(zhì)量提高。

注意，可以進(jìn)行如下布置：其中環(huán)路濾波器711對(duì)解碼圖像執(zhí)行可選的濾波器處理。再者，可以進(jìn)行如下布置：其中環(huán)路濾波器711按照需要向無損編碼單元706提供濾波器處理中使用的諸如濾波器系數(shù)等的信息，以便對(duì)其編碼。

環(huán)路濾波器711向幀存儲(chǔ)器712提供濾波器處理結(jié)果(濾波器處理之后的解碼圖像)。注意，如上文所述，從計(jì)算單元710輸出的解碼圖像可以被提供給幀存儲(chǔ)器712而不通過環(huán)路濾波器711。就是說，可以省略環(huán)路濾波器711的濾波器處理。

幀存儲(chǔ)器712存儲(chǔ)提供給其的圖像，并且在預(yù)定的定時(shí)將所存儲(chǔ)的解碼圖像提供給選擇單元713作為參考圖像。

選擇單元713選擇從幀存儲(chǔ)器712提供的參考圖像的提供目標(biāo)。例如，在幀間預(yù)測(cè)的情況下，選擇單元713將從幀存儲(chǔ)器712提供的參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715。

幀內(nèi)預(yù)測(cè)單元714使用作為經(jīng)由選擇單元713從幀存儲(chǔ)器712提供的參考圖像的待處理圖片內(nèi)的像素值，基本上按pu的處理增量執(zhí)行幀內(nèi)預(yù)測(cè)(屏幕內(nèi)預(yù)測(cè))以生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元714在預(yù)先準(zhǔn)備的多個(gè)模式(幀內(nèi)預(yù)測(cè)模式)中執(zhí)行該幀內(nèi)預(yù)測(cè)。幀內(nèi)預(yù)測(cè)單元714不限于avc編碼格式規(guī)定的模式，并且也可以利用其他可選的模式來執(zhí)行該幀內(nèi)預(yù)測(cè)。

幀內(nèi)預(yù)測(cè)單元714在所有候選幀內(nèi)預(yù)測(cè)模式中生成預(yù)測(cè)圖像，使用從屏幕重排緩沖器702提供的輸入圖像來評(píng)估預(yù)測(cè)圖像的成本函數(shù)值，并且選擇最優(yōu)模式。在選擇最優(yōu)幀內(nèi)預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)單元714將利用該最優(yōu)模式生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元716。

再者，如上文所述，幀內(nèi)預(yù)測(cè)單元714向無損編碼單元706適當(dāng)?shù)靥峁┲甘疽驯徊捎玫膸瑑?nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式信息等。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715使用從屏幕重排緩沖器702提供的輸入圖像以及經(jīng)由選擇單元713從幀存儲(chǔ)器712提供的參考圖像，基本上按pu的處理增量執(zhí)行運(yùn)動(dòng)預(yù)測(cè)(幀間預(yù)測(cè))，并且根據(jù)檢測(cè)到的運(yùn)動(dòng)向量執(zhí)行運(yùn)動(dòng)補(bǔ)償處理，從而生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715在預(yù)先準(zhǔn)備的多個(gè)模式(幀間預(yù)測(cè)模式)中執(zhí)行該幀間預(yù)測(cè)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715不限于avc編碼格式規(guī)定的模式，并且也可以利用其他可選的模式執(zhí)行該幀間預(yù)測(cè)。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715在所有候選幀間預(yù)測(cè)模式中生成預(yù)測(cè)圖像，評(píng)估預(yù)測(cè)圖像的成本函數(shù)值，并且選擇最優(yōu)模式。在選擇最優(yōu)幀間預(yù)測(cè)模式之后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715將在該最優(yōu)模式中生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元716。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715向無損編碼單元706提供指示已被采用的幀間預(yù)測(cè)模式的信息，以及在對(duì)編碼數(shù)據(jù)解碼時(shí)在該幀間預(yù)測(cè)模式中執(zhí)行處理所需的信息等，以便進(jìn)行編碼。

預(yù)測(cè)圖像選擇單元716選擇將提供給計(jì)算單元703和710的預(yù)測(cè)圖像的提供源。例如，在幀間編碼的情況下，預(yù)測(cè)圖像選擇單元716選擇運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715作為預(yù)測(cè)圖像的提供源，并且將從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715提供的預(yù)測(cè)圖像提供給計(jì)算單元703和710。

速率控制單元717基于在存儲(chǔ)緩沖器707中存儲(chǔ)的編碼數(shù)據(jù)的碼量，控制量化單元705的量化操作的速率，使得不致發(fā)生上溢或下溢。

靜止區(qū)域確定單元721區(qū)分當(dāng)前區(qū)域是否是靜止區(qū)域(靜止區(qū)域確定)。靜止區(qū)域確定單元721向運(yùn)動(dòng)向量編碼單元722提供關(guān)于是否是靜止區(qū)域的確定結(jié)果。

運(yùn)動(dòng)向量編碼單元722基于從靜止區(qū)域確定單元721提供的關(guān)于是否是靜止區(qū)域的確定結(jié)果，在mv競(jìng)爭(zhēng)模式中控制針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。

更具體地，運(yùn)動(dòng)向量編碼單元722使用當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息來生成關(guān)于所有幀間預(yù)測(cè)模式的所有預(yù)測(cè)運(yùn)動(dòng)向量信息，并且利用基于靜止區(qū)域確定結(jié)果的方法為每個(gè)生成的預(yù)測(cè)運(yùn)動(dòng)向量信息分配碼數(shù)。此外，運(yùn)動(dòng)向量編碼單元722確定最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息，并且生成最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息和當(dāng)前區(qū)域的運(yùn)動(dòng)信息(運(yùn)動(dòng)向量)之間的差(差運(yùn)動(dòng)信息)。運(yùn)動(dòng)向量編碼單元722將生成的差運(yùn)動(dòng)信息和預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715。

[靜止區(qū)域確定和碼數(shù)分配]

首先，將更詳細(xì)地碼數(shù)靜止區(qū)域確定單元721的靜止區(qū)域確定。

如圖33中所示，例如，在處理當(dāng)前區(qū)域時(shí)，使用關(guān)于已被處理的參考圖片上的并置區(qū)域的運(yùn)動(dòng)信息(已被計(jì)算的運(yùn)動(dòng)信息)來執(zhí)行靜止區(qū)域確定單元721的靜止區(qū)域確定。在圖33的情況下，當(dāng)前區(qū)域是在圖33中的右側(cè)示出的pucurr，并且其并置區(qū)域是在圖33中的左側(cè)示出的參考圖片的pucol。靜止區(qū)域確定單元721使用作為該并置區(qū)域pucurr的運(yùn)動(dòng)向量信息的水平分量和豎直分量的(mvhcol,mvvcol)，來執(zhí)行當(dāng)前區(qū)域pucurr的靜止區(qū)域確定

就是說，在其中下式(17)和式(18)成立，并且以θ為閾值，式(19)也成立的情況下，在其中應(yīng)用ref_picr_reordering(參考圖片重新排序)的情況下，或者在其中參考索引refcol具有指示緊鄰的先前圖片的poc值的情況下，靜止區(qū)域確定單元721將當(dāng)前區(qū)域pucurr確定為靜止區(qū)域。

|mvhcol|≤θ...(17)

|mvvcol|≤θ...(18)

refcol＝0...(19)

通過在式(19)中為0的參考索引refcol的值，靜止區(qū)域確定單元721確定參考圖片中的并置區(qū)域的參考區(qū)域pucol幾乎毫無疑問地由靜止圖像構(gòu)成。再者，如果輸入圖像和參考圖像兩者自身均為沒有編碼失真的原始圖像，則式(17)和式(18)中的θ的值應(yīng)為0。然而，事實(shí)上，盡管輸入圖像自身是原始圖像，但是參考圖像是解碼圖像并且通常包括編碼失真。因此，即使在靜止圖像的情況下，0作為θ的值不一定適當(dāng)。

因此，在運(yùn)動(dòng)向量具有1/4像素精度的情況下，靜止區(qū)域確定單元721設(shè)定θ＝4。就是說，在運(yùn)動(dòng)向量的精度在整數(shù)像素精度的1.0內(nèi)時(shí)，靜止區(qū)域確定單元721確定這是靜止區(qū)域。

接下來，將更詳細(xì)地描述運(yùn)動(dòng)向量編碼單元722的針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。在下文中，假設(shè)預(yù)測(cè)單位pux的運(yùn)動(dòng)向量信息是mvpux。

非專利文獻(xiàn)1和joeljung、guillaumelaroche的"competition-basedschemeformotionvectorselectionandcoding",vceg-ac06,itu-telecommunicationsstandardizationsectorstudygroup16question6videocodingexpertsgroup(vceg)29thmeeting:klagenfurt,austria,17-18july,2006(以下稱為非專利文獻(xiàn)2)提出了一種如下方法：除了通過上述式(5)獲得的空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)之外，自適應(yīng)地使用參照?qǐng)D6描述的時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)和空間-時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間-時(shí)間預(yù)測(cè)器)中的一個(gè)作為預(yù)測(cè)運(yùn)動(dòng)向量信息。

對(duì)于非專利文獻(xiàn)2，最大碼數(shù)被分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)。就是說，在該方法的情況下，對(duì)于碼數(shù)(codenumber)“y”為pmvy的預(yù)測(cè)運(yùn)動(dòng)向量信息，在圖33中的示例的情況下，如同下式(20)至(23)那樣分配碼數(shù)。

pmv0＝mvpua...(20)

pmv1＝mvpub...(21)

pmv2＝mvpuc...(22)

pmv3＝mvpucol...(23)

如上文所述，在通過rd最優(yōu)化執(zhí)行模式確定的情況下，具有分配給其的較小碼數(shù)的模式較易于被選擇，特別是具有較低的位率，并且因此，對(duì)于非專利文獻(xiàn)2中描述的方法，在移動(dòng)區(qū)域和靜止區(qū)域之間將容易觀察到劣化。

就是說，如上文參照?qǐng)D13描述的，存在如下考慮：在與移動(dòng)區(qū)域相鄰的靜止區(qū)域中在空間方向上使用運(yùn)動(dòng)相關(guān)性將導(dǎo)致移動(dòng)區(qū)域的運(yùn)動(dòng)向量信息傳播到靜止區(qū)域并且引起圖像質(zhì)量劣化。然而，對(duì)于非專利文獻(xiàn)2中描述的方法，易于被選擇的小的碼數(shù)總是被分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)，因此在移動(dòng)區(qū)域和靜止區(qū)域之間將容易觀察到劣化。

如上文所述，運(yùn)動(dòng)向量編碼單元722還使用待處理的當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息。在圖33中的示例的情況下，當(dāng)前圖片的pucurr是當(dāng)前區(qū)域，pua、pub和puc是在空間上位于當(dāng)前區(qū)域外圍的區(qū)域，并且pucol是在時(shí)間上位于當(dāng)前區(qū)域外圍的區(qū)域。

在下文中，因此在空間或時(shí)間上(空間-時(shí)間)處于外圍的區(qū)域?qū)⒈环Q為外圍區(qū)域。就是說，將pua、pub和puc稱為pucurr的空間外圍區(qū)域，并且將pucol稱為pucurr的時(shí)間外圍區(qū)域。

運(yùn)動(dòng)向量編碼單元722將碼數(shù)分配給這些外圍區(qū)域的運(yùn)動(dòng)信息，并且此時(shí)，控制根據(jù)靜止區(qū)域確定結(jié)果分配碼數(shù)的方式。更具體地，在其中上述式(17)和式(18)成立，并且式(19)也成立的情況下，在其中應(yīng)用ref_picr_reordering的情況下，或者在其中參考索引refcol具有指示緊鄰的先前圖片的poc值的情況下，在靜止區(qū)域確定中靜止區(qū)域確定單元721如下式(24)至(27)中的那樣改變碼數(shù)分配。

pmv0＝mvpucol...(24)

pmv1＝mvpua...(25)

pmv2＝mvpub...(26)

pmv3＝mvpuc...(27)

就是說，對(duì)于靜止區(qū)域，將最小碼數(shù)分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)，以便抑制移動(dòng)區(qū)域中的運(yùn)動(dòng)向量的傳播。因此，運(yùn)動(dòng)向量編碼單元722可以提高預(yù)測(cè)運(yùn)動(dòng)向量信息的預(yù)測(cè)精度，并且可以提高編碼效率。

注意，靜止區(qū)域確定單元721仍針對(duì)每個(gè)預(yù)測(cè)單位執(zhí)行區(qū)域確定，因此運(yùn)動(dòng)向量編碼單元722在靜止區(qū)域確定單元721的確定之后執(zhí)行碼數(shù)分配使得進(jìn)一步提高了預(yù)測(cè)運(yùn)動(dòng)向量信息的預(yù)測(cè)精度，并且使得進(jìn)一步提高了編碼效率。

注意，在確定為靜止區(qū)域的情況下分配碼數(shù)的方式可以不同于式(24)至(27)。就是說，在確定靜止區(qū)域的情況下，至少較之確定由移動(dòng)物體的圖像構(gòu)成的移動(dòng)區(qū)域的情況，向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)分配較小的碼數(shù)是足夠的。例如，運(yùn)動(dòng)向量編碼單元722可以向mvpucol分配pmv1或pmv2。

再者，可以進(jìn)行如下布置：運(yùn)動(dòng)向量編碼單元722可以根據(jù)靜止區(qū)域確定的精度(準(zhǔn)確性)改變將分配的碼數(shù)。例如，可以進(jìn)行如下布置：其中靜止區(qū)域確定是軟確定，并且準(zhǔn)確性越高，則運(yùn)動(dòng)向量編碼單元722分配的碼數(shù)越小。

此外，上文針對(duì)pua、pub、puc和pucol作為向其分配碼數(shù)的外圍區(qū)域的示例進(jìn)行了描述，但是可以進(jìn)行如下布置：其中其他可選的區(qū)域是外圍區(qū)域，并且也針對(duì)這些外圍區(qū)域的運(yùn)動(dòng)向量信息執(zhí)行碼數(shù)分配。就是說，不僅針對(duì)其執(zhí)行碼數(shù)分配的外圍區(qū)域的位置是可選的，而且其數(shù)目(即，將分配的碼數(shù)的數(shù)目)也是可選的。

再者，上文已描述了：向空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)分配較小的碼數(shù)的方式是初始狀態(tài)，并且在靜止區(qū)域確定單元721確定當(dāng)前區(qū)域是靜止區(qū)域的情況下，分配方式改變以便向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)分配較小的碼數(shù)，然而，不限于此，可以進(jìn)行如下布置：其中向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)分配較小的碼數(shù)的方式是初始狀態(tài)，并且在靜止區(qū)域確定單元721確定當(dāng)前區(qū)域是靜止區(qū)域的情況下，分配方式改變以便向空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)分配較小的碼數(shù)。

再者，上文已描述了：在靜止區(qū)域確定單元721確定當(dāng)前區(qū)域是靜止區(qū)域的情況下，運(yùn)動(dòng)向量編碼單元722向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)分配較小的碼數(shù)，但是可以進(jìn)行如下布置：其中時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)被強(qiáng)制地選擇為預(yù)測(cè)運(yùn)動(dòng)向量信息(僅時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(mvpucol)被生成作為候選預(yù)測(cè)運(yùn)動(dòng)向量信息)。

因此，運(yùn)動(dòng)向量編碼單元722可以以更確定的方式將時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)選擇為靜止區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息。因此，運(yùn)動(dòng)向量編碼單元722可以以更確定的方式抑制移動(dòng)區(qū)域中的運(yùn)動(dòng)向量傳播到靜止區(qū)域。然而，在存在在靜止區(qū)域確定中出現(xiàn)錯(cuò)誤終止的可能性的情況下，優(yōu)選地使用成本函數(shù)值等以傳統(tǒng)方式選擇預(yù)測(cè)運(yùn)動(dòng)向量信息。

再者，上文以pua、pub和puc作為pucurr的空間外圍區(qū)域，并且以pucol作為pucurr的時(shí)間外圍區(qū)域進(jìn)行了描述，但是空間外圍區(qū)域和時(shí)間外圍區(qū)域不限于此，并且可以是任何區(qū)域，只要在將當(dāng)前區(qū)域取作處理對(duì)象時(shí)已生成了運(yùn)動(dòng)信息。

[運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元、靜止區(qū)域確定單元和運(yùn)動(dòng)向量編碼單元]

圖34是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715、靜止區(qū)域確定單元721和運(yùn)動(dòng)向量編碼單元722的主要配置示例的框圖。

如圖34中所示，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715具有運(yùn)動(dòng)搜索單元731、成本函數(shù)計(jì)算單元732、模式確定單元733、運(yùn)動(dòng)補(bǔ)償單元734和運(yùn)動(dòng)信息緩沖器735。

再者，運(yùn)動(dòng)向量編碼單元722具有碼數(shù)分配單元741、預(yù)測(cè)運(yùn)動(dòng)向量生成單元742和差運(yùn)動(dòng)向量生成單元743。

運(yùn)動(dòng)搜索單元731接收來自屏幕重排緩沖器702的輸入圖像像素值和來自幀存儲(chǔ)器712的參考圖像像素值的輸入。運(yùn)動(dòng)搜索單元731對(duì)所有幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)搜索處理，并且生成包括運(yùn)動(dòng)向量和參考索引的運(yùn)動(dòng)信息。運(yùn)動(dòng)搜索單元731將運(yùn)動(dòng)信息提供給運(yùn)動(dòng)向量編碼單元722的預(yù)測(cè)運(yùn)動(dòng)向量生成單元742。

再者，靜止區(qū)域確定單元721獲得作為運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715的運(yùn)動(dòng)信息緩沖器735中存儲(chǔ)的外圍區(qū)域的運(yùn)動(dòng)信息的外圍運(yùn)動(dòng)信息，并且根據(jù)外圍運(yùn)動(dòng)信息確定待處理區(qū)域(當(dāng)前區(qū)域)是否是靜止區(qū)域。

例如，對(duì)于時(shí)間外圍區(qū)域pucol，在其中上述式(17)和式(18)成立，并且式(19)也成立的情況下，在其中應(yīng)用ref_picr_reordering的情況下，或者在其中參考索引refcol具有指示緊鄰的先前圖片的poc值的情況下，靜止區(qū)域確定單元721確定當(dāng)前區(qū)域pucurr是靜止區(qū)域。靜止區(qū)域確定單元721將該靜止區(qū)域確定結(jié)果提供給運(yùn)動(dòng)向量編碼單元722的碼數(shù)分配單元741。

運(yùn)動(dòng)向量編碼單元722的碼數(shù)分配單元741從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715的運(yùn)動(dòng)信息緩沖器735獲得外圍運(yùn)動(dòng)信息，并且還從靜止區(qū)域確定單元721獲得靜止區(qū)域確定結(jié)果。碼數(shù)分配單元741確定針對(duì)每個(gè)相鄰運(yùn)動(dòng)信息分配碼數(shù)的方式，并且將該分配方式提供給預(yù)測(cè)運(yùn)動(dòng)向量生成單元742，其控制碼數(shù)分配控制信號(hào)。

在從運(yùn)動(dòng)搜索單元731獲得關(guān)于當(dāng)前pu的每個(gè)幀間預(yù)測(cè)模式的運(yùn)動(dòng)信息之后，預(yù)測(cè)運(yùn)動(dòng)向量生成單元742從運(yùn)動(dòng)信息緩沖器735獲得與每個(gè)運(yùn)動(dòng)信息對(duì)應(yīng)的外圍運(yùn)動(dòng)信息。如非專利文獻(xiàn)2中所述，預(yù)測(cè)運(yùn)動(dòng)向量生成單元742使用該外圍運(yùn)動(dòng)信息生成多個(gè)候選預(yù)測(cè)運(yùn)動(dòng)向量信息。然而，注意，不同于非專利文獻(xiàn)2中描述的方法，碼數(shù)分配單元741設(shè)定的碼數(shù)被分配給每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息。

就是說，預(yù)測(cè)運(yùn)動(dòng)向量生成單元742根據(jù)上述式(5)針對(duì)當(dāng)前pu生成空間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間預(yù)測(cè)器)。再者，預(yù)測(cè)運(yùn)動(dòng)向量生成單元742根據(jù)上述式(9)針對(duì)當(dāng)前pu生成時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)。此外，預(yù)測(cè)運(yùn)動(dòng)向量生成單元742根據(jù)上述式(10)針對(duì)當(dāng)前pu生成空間-時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(空間-時(shí)間預(yù)測(cè)器)。預(yù)測(cè)運(yùn)動(dòng)向量生成單元742將碼數(shù)分配單元741設(shè)定的碼數(shù)分配給每個(gè)獲得的預(yù)測(cè)運(yùn)動(dòng)向量信息。

預(yù)測(cè)運(yùn)動(dòng)向量生成單元742隨后將從運(yùn)動(dòng)搜索單元731獲得的運(yùn)動(dòng)信息、每個(gè)生成的候選預(yù)測(cè)運(yùn)動(dòng)向量信息以及分別分配給每個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，提供給差運(yùn)動(dòng)向量生成單元743。

差運(yùn)動(dòng)向量生成單元743針對(duì)每個(gè)幀間預(yù)測(cè)模式，從提供給其的預(yù)測(cè)運(yùn)動(dòng)向量信息中選擇最優(yōu)的一個(gè)，并且生成差運(yùn)動(dòng)向量信息，其包括運(yùn)動(dòng)向量信息及其預(yù)測(cè)運(yùn)動(dòng)向量信息之間的差值。差運(yùn)動(dòng)向量生成單元743將在每個(gè)幀間預(yù)測(cè)模式中生成的差運(yùn)動(dòng)向量信息、所選擇的幀間預(yù)測(cè)模式的預(yù)測(cè)運(yùn)動(dòng)向量信息及其碼數(shù)，提供給成本函數(shù)計(jì)算單元732或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715。

再者，運(yùn)動(dòng)搜索單元731使用搜索的運(yùn)動(dòng)向量信息來對(duì)參考圖像執(zhí)行補(bǔ)償處理，并且因此生成預(yù)測(cè)圖像。此外，運(yùn)動(dòng)搜索單元731計(jì)算預(yù)測(cè)圖像和輸入圖像之間的差(差像素值)，并且將差像素值提供給成本函數(shù)計(jì)算單元732。

成本函數(shù)計(jì)算單元732使用從運(yùn)動(dòng)搜索單元731提供的每個(gè)幀間預(yù)測(cè)模式的差像素值，并且計(jì)算每個(gè)幀間預(yù)測(cè)模式中的成本函數(shù)值。成本函數(shù)計(jì)算單元732將已計(jì)算的每個(gè)幀間預(yù)測(cè)模式中的成本函數(shù)值、每個(gè)幀間預(yù)測(cè)模式中的差運(yùn)動(dòng)信息、每個(gè)幀間預(yù)測(cè)模式中的預(yù)測(cè)運(yùn)動(dòng)向量信息及其碼數(shù)，提供給模式確定單元733。

模式確定單元733使用關(guān)于幀間預(yù)測(cè)模式的成本函數(shù)值來確定使用哪個(gè)幀間預(yù)測(cè)模式，并且將具有最小成本函數(shù)值的幀間預(yù)測(cè)模式取作最優(yōu)預(yù)測(cè)模式。模式確定單元733將作為與其最優(yōu)預(yù)測(cè)模式相關(guān)的信息的最優(yōu)模式信息以及被選擇為最優(yōu)預(yù)測(cè)模式的幀間預(yù)測(cè)模式的差運(yùn)動(dòng)信息、預(yù)測(cè)向量信息和碼數(shù)，提供給運(yùn)動(dòng)補(bǔ)償單元734。

運(yùn)動(dòng)補(bǔ)償單元734從所提供的最優(yōu)預(yù)測(cè)模式的差運(yùn)動(dòng)信息和預(yù)測(cè)運(yùn)動(dòng)向量信息獲得運(yùn)動(dòng)向量，并且使用獲得的運(yùn)動(dòng)向量執(zhí)行來自幀存儲(chǔ)器712的參考圖像的補(bǔ)償，從而生成最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像。

在預(yù)測(cè)圖像選擇單元716已選擇幀間預(yù)測(cè)的情況下，從預(yù)測(cè)圖像選擇單元716提供指示這一點(diǎn)的信號(hào)。作為對(duì)其的響應(yīng)，運(yùn)動(dòng)補(bǔ)償單元734將最優(yōu)預(yù)測(cè)模式信息、該模式的差運(yùn)動(dòng)向量信息、還有該模式的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，提供給無損編碼單元706。

再者，運(yùn)動(dòng)補(bǔ)償單元734在運(yùn)動(dòng)信息緩沖器735中存儲(chǔ)從被選擇為最優(yōu)預(yù)測(cè)模式的模式的差運(yùn)動(dòng)向量信息和預(yù)測(cè)運(yùn)動(dòng)向量信息獲得的信息，即，最優(yōu)預(yù)測(cè)模式的運(yùn)動(dòng)信息。注意，在預(yù)測(cè)圖像選擇單元716未選擇幀間預(yù)測(cè)的情況下(即，在選擇幀內(nèi)預(yù)測(cè)圖像的情況下)，在運(yùn)動(dòng)信息緩沖器735中存儲(chǔ)0向量作為運(yùn)動(dòng)向量信息。

運(yùn)動(dòng)信息緩沖器735存儲(chǔ)過去處理的區(qū)域的最優(yōu)預(yù)測(cè)模式的運(yùn)動(dòng)信息。在針對(duì)在處理時(shí)間上晚于該區(qū)域的區(qū)域的處理中，所存儲(chǔ)的運(yùn)動(dòng)信息作為外圍運(yùn)動(dòng)信息，被提供給靜止區(qū)域確定單元721、碼數(shù)分配單元741和預(yù)測(cè)運(yùn)動(dòng)向量生成單元742。

如上文所述，靜止區(qū)域確定單元721針對(duì)每個(gè)預(yù)測(cè)處理單位，執(zhí)行是否是靜止區(qū)域的確定。運(yùn)動(dòng)向量編碼單元722隨后基于靜止區(qū)域確定結(jié)果控制碼數(shù)分配，并且在靜止區(qū)域的情況下，向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息(時(shí)間預(yù)測(cè)器)分配最小碼數(shù)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715隨后對(duì)運(yùn)動(dòng)向量編碼單元722生成的差運(yùn)動(dòng)信息和預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)進(jìn)行編碼。因此，圖像編碼設(shè)備700可以提高預(yù)測(cè)運(yùn)動(dòng)向量信息的預(yù)測(cè)精度，并且可以提高編碼效率。

[處理流程]

接下來，將描述圖像編碼設(shè)備700處執(zhí)行的處理流程?；旧习凑张c參照?qǐng)D16和圖17描述的流程圖相同的方式執(zhí)行編碼處理和幀內(nèi)預(yù)測(cè)處理。就是說，執(zhí)行與圖像編碼設(shè)備51執(zhí)行處理的情況相同的處理。因此，將省略這些處理的描述。

接下來，將參照?qǐng)D35中的流程圖描述圖16的步驟s22中執(zhí)行的幀間運(yùn)動(dòng)預(yù)測(cè)處理的示例。

在步驟s701中開始幀間運(yùn)動(dòng)預(yù)測(cè)處理之后，在該情況下，運(yùn)動(dòng)搜索單元731執(zhí)行關(guān)于每個(gè)幀間預(yù)測(cè)模式的運(yùn)動(dòng)搜索，并且生成運(yùn)動(dòng)信息和差像素值。

在步驟s702中，靜止區(qū)域確定單元721獲得作為時(shí)間外圍區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息。在步驟s703中，靜止區(qū)域確定單元721基于并置區(qū)域的運(yùn)動(dòng)信息確定當(dāng)前區(qū)域是否是靜止區(qū)域。

在步驟s704中，碼數(shù)分配單元741根據(jù)靜止區(qū)域確定結(jié)果確定針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)分配。

在步驟s705中，預(yù)測(cè)運(yùn)動(dòng)向量生成單元742生成所有候選預(yù)測(cè)運(yùn)動(dòng)向量信息。

在步驟s706中，差運(yùn)動(dòng)向量生成單元743確定關(guān)于每個(gè)幀間預(yù)測(cè)模式的最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息。再者，差運(yùn)動(dòng)向量生成單元743生成包括差運(yùn)動(dòng)向量的差運(yùn)動(dòng)信息，其是預(yù)測(cè)運(yùn)動(dòng)向量信息和運(yùn)動(dòng)信息的運(yùn)動(dòng)向量之間的差。

在步驟s707中，成本函數(shù)計(jì)算單元732計(jì)算每個(gè)幀間預(yù)測(cè)模式的成本函數(shù)值。

在步驟s708中，模式確定單元733使用在步驟s707中計(jì)算的成本函數(shù)值，確定作為最優(yōu)幀間預(yù)測(cè)模式的最優(yōu)幀間預(yù)測(cè)模式(還被稱為最優(yōu)預(yù)測(cè)模式)。

在步驟s709中，運(yùn)動(dòng)補(bǔ)償單元734在最優(yōu)幀間預(yù)測(cè)模式中執(zhí)行運(yùn)動(dòng)補(bǔ)償。在步驟s710中，運(yùn)動(dòng)補(bǔ)償單元734經(jīng)由預(yù)測(cè)圖像選擇單元716將在步驟s709中通過運(yùn)動(dòng)補(bǔ)償獲得的預(yù)測(cè)圖像提供給計(jì)算單元703和計(jì)算單元710，并且生成差圖像信息和解碼圖像。再者，在步驟s711中，運(yùn)動(dòng)補(bǔ)償單元734將諸如最優(yōu)預(yù)測(cè)模式信息的關(guān)于最優(yōu)幀間預(yù)測(cè)模式的信息、差運(yùn)動(dòng)信息和預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)等，提供給無損編碼單元706，以便進(jìn)行編碼。

在步驟s712中，運(yùn)動(dòng)信息緩沖器735存儲(chǔ)在最優(yōu)幀間預(yù)測(cè)模式中選擇的運(yùn)動(dòng)信息。在存儲(chǔ)運(yùn)動(dòng)信息之后，運(yùn)動(dòng)信息緩沖器735結(jié)束幀間運(yùn)動(dòng)預(yù)測(cè)處理。

通過執(zhí)行上述處理，圖像編碼設(shè)備700可以提高預(yù)測(cè)運(yùn)動(dòng)向量信息的預(yù)測(cè)精度，并且可以提高編碼效率。

[圖像解碼設(shè)備]

圖36是圖示與圖32中的圖像編碼設(shè)備700對(duì)應(yīng)的圖像解碼設(shè)備的主要配置示例的框圖。

圖36中所示的圖像解碼設(shè)備800具有與圖20中的圖像解碼設(shè)備101基本上相同的配置。圖像解碼設(shè)備800通過與圖像編碼設(shè)備700的編碼方法對(duì)應(yīng)的解碼方法，對(duì)圖像編碼設(shè)備700生成的編碼數(shù)據(jù)進(jìn)行解碼。再者，假設(shè)圖像解碼設(shè)備800按照與圖像編碼設(shè)備700相同的方式，針對(duì)每個(gè)預(yù)測(cè)單位(pu)執(zhí)行幀間預(yù)測(cè)。

如圖36中所示，圖像解碼設(shè)備800包括存儲(chǔ)緩沖器801、無損解碼單元802、逆量化單元803、逆正交變換單元804、計(jì)算單元805、環(huán)路濾波器806、屏幕重排緩沖器807以及d/a轉(zhuǎn)換單元808。再者，圖像解碼設(shè)備800包括幀存儲(chǔ)器809、選擇單元810、幀內(nèi)預(yù)測(cè)單元811、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812和選擇單元813。

此外，圖像解碼設(shè)備800包括靜止區(qū)域確定單元821和運(yùn)動(dòng)向量解碼單元822。

存儲(chǔ)緩沖器801存儲(chǔ)傳送給其的編碼數(shù)據(jù)，并且在預(yù)定的定時(shí)將編碼數(shù)據(jù)提供給無損解碼單元802。無損解碼單元802通過與圖32中的無損編碼單元706的編碼格式對(duì)應(yīng)的格式，對(duì)存儲(chǔ)緩沖器801提供的無損編碼單元706已編碼的信息進(jìn)行解碼。無損解碼單元802將通過解碼獲得的差圖像的量化系數(shù)數(shù)據(jù)提供給逆量化單元803。再者，無損解碼單元802確定對(duì)于最優(yōu)預(yù)測(cè)模式已選擇幀內(nèi)預(yù)測(cè)模式還是已選擇幀間預(yù)測(cè)模式，并且將關(guān)于該最優(yōu)模式的信息提供給已確定被選擇的模式的幀內(nèi)預(yù)測(cè)單元811和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812中的一個(gè)。

就是說，例如，在幀間預(yù)測(cè)模式已在圖像編碼設(shè)備700處被選擇為最優(yōu)預(yù)測(cè)模式的情況下，關(guān)于最優(yōu)預(yù)測(cè)模式的信息被提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812。

逆量化單元803利用與圖32中的量化單元705的量化格式對(duì)應(yīng)的格式，執(zhí)行通過無損解碼單元802的解碼獲得的量化系數(shù)數(shù)據(jù)的逆量化，并且將獲得的系數(shù)數(shù)據(jù)提供給逆正交變換單元804。

逆正交變換單元804利用與圖32中的正交變換單元704的正交變換格式對(duì)應(yīng)的格式，對(duì)從逆量化單元803提供的系數(shù)數(shù)據(jù)執(zhí)行逆正交變換。逆正交變換單元804通過該逆正交變換處理，獲得了與在圖像編碼設(shè)備700處經(jīng)歷正交變換之前的殘差數(shù)據(jù)對(duì)應(yīng)的解碼殘差數(shù)據(jù)。

通過經(jīng)歷正交變換獲得的殘差數(shù)據(jù)被提供給計(jì)算單元805。再者，經(jīng)由選擇單元813，從幀內(nèi)預(yù)測(cè)單元811或者運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812將預(yù)測(cè)圖像提供給計(jì)算單元805。

計(jì)算單元805使解碼殘差數(shù)據(jù)和預(yù)測(cè)圖像相加，以便獲得與圖像編碼設(shè)備700的計(jì)算單元703減去預(yù)測(cè)圖像之前的圖像數(shù)據(jù)對(duì)應(yīng)的解碼圖像數(shù)據(jù)。計(jì)算單元805將解碼圖像數(shù)據(jù)提供給環(huán)路濾波器806。

環(huán)路濾波器806使所提供的解碼圖像適當(dāng)?shù)亟?jīng)歷解塊濾波器處理和包括自適應(yīng)環(huán)路濾波器處理等的環(huán)路濾波器處理，并且將這些提供給屏幕重排緩沖器807。

環(huán)路濾波器806包括解塊濾波器和自適應(yīng)環(huán)路濾波器等，并且對(duì)從計(jì)算單元705提供的解碼圖像適當(dāng)?shù)貓?zhí)行濾波處理。例如，環(huán)路濾波器806通過對(duì)解碼圖像執(zhí)行解塊濾波器處理來去除解碼圖像的塊噪聲。再者，例如，環(huán)路濾波器806通過使用wiener濾波器(wienerfilter)執(zhí)行環(huán)路濾波器處理來對(duì)解塊濾波器處理結(jié)果(經(jīng)歷塊噪聲去除的解碼圖像)執(zhí)行圖像質(zhì)量提高。

注意，可以進(jìn)行如下布置：其中環(huán)路濾波器806對(duì)解碼圖像執(zhí)行可選的濾波器處理。再者，可以進(jìn)行如下布置：其中環(huán)路濾波器806使用從圖32中的圖像編碼設(shè)備700提供的濾波器系數(shù)來執(zhí)行濾波器處理。

環(huán)路濾波器806將濾波器處理結(jié)果(濾波器處理之后的解碼圖像)提供給屏幕重排緩沖器807和幀存儲(chǔ)器809。注意，從計(jì)算單元805輸出的解碼圖像可以被提供給屏幕重排緩沖器807和幀存儲(chǔ)器809而不通過環(huán)路濾波器806。就是說，可以省略環(huán)路濾波器806的濾波器處理。

屏幕重排緩沖器807重新排列圖像。就是說，由圖32中的屏幕重排緩沖器702針對(duì)編碼序列重新排列的的幀序列被重新排列成原始顯示序列。d/a轉(zhuǎn)換單元808執(zhí)行從屏幕重排緩沖器807提供的圖像的d/a轉(zhuǎn)換，并且輸出到未示出的顯示器用于顯示。

幀存儲(chǔ)器809存儲(chǔ)提供給其的解碼圖像，并且在預(yù)定的定時(shí)或者基于來自幀內(nèi)預(yù)測(cè)單元811或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812等的外部請(qǐng)求，將所存儲(chǔ)的解碼圖像作為參考圖像提供給選擇單元810。

選擇單元810選擇從幀存儲(chǔ)器809提供的參考圖像的提供目標(biāo)。在對(duì)經(jīng)歷幀內(nèi)編碼的圖像解碼的情況下，選擇單元810將從幀存儲(chǔ)器809提供的參考圖像提供給幀內(nèi)預(yù)測(cè)單元811。再者，在對(duì)經(jīng)歷幀間編碼的圖像解碼的情況下，選擇單元810將從幀存儲(chǔ)器809提供的參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812。

從無損解碼單元802向幀內(nèi)預(yù)測(cè)單元811提供通過對(duì)報(bào)頭信息解碼獲得的指示幀內(nèi)預(yù)測(cè)模式的信息。幀內(nèi)預(yù)測(cè)單元811使用在圖32中的幀內(nèi)預(yù)測(cè)單元714處在幀內(nèi)預(yù)測(cè)模式中使用的從幀存儲(chǔ)器809獲得的參考圖像來執(zhí)行幀內(nèi)預(yù)測(cè)，從而生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元811將所生成的預(yù)測(cè)圖像提供給選擇單元813。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812獲得通過對(duì)來自無損解碼單元802的報(bào)頭信息(最優(yōu)預(yù)測(cè)模式信息、差信息和預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)等)解碼而獲得的信息。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812在圖32中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715使用的相同的幀間預(yù)測(cè)模式中，使用從幀存儲(chǔ)器809獲得的參考圖像來執(zhí)行幀間預(yù)測(cè)，因此生成預(yù)測(cè)圖像。就是說，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812可以按照與圖32中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元715相同的方式，在除了avc編碼格式規(guī)定的模式以外的可選模式中執(zhí)行該幀間預(yù)測(cè)。

靜止區(qū)域確定單元821執(zhí)行與靜止區(qū)域確定單元721基本上相同的處理，并且確定當(dāng)前區(qū)域是否是靜止區(qū)域。就是說，在其中式(17)和式(18)成立，并且式(19)也成立的情況下，在其中應(yīng)用ref_picr_reordering的情況下，或者在其中參考索引refcol具有指示緊鄰的先前圖片的poc值的情況下，根據(jù)當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息，靜止區(qū)域確定單元821將當(dāng)前區(qū)域pucurr確定為靜止區(qū)域。

靜止區(qū)域確定單元821按預(yù)測(cè)處理單位執(zhí)行該靜止區(qū)域確定，并且將靜止區(qū)域確定結(jié)果提供給運(yùn)動(dòng)向量解碼單元822。

運(yùn)動(dòng)向量解碼單元822依據(jù)從靜止區(qū)域確定單元821提供的靜止區(qū)域確定結(jié)果來控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式，在該控制下分析從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812提供的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

就是說，通過利用與圖32的靜止區(qū)域確定單元721相同的方法，依據(jù)靜止區(qū)域確定單元821確定的靜止區(qū)域確定結(jié)果來控制碼數(shù)分配方式，運(yùn)動(dòng)向量解碼單元822可以正確地復(fù)制圖32中的運(yùn)動(dòng)向量編碼單元722的分配碼數(shù)的方式。因此，通過正確地復(fù)制運(yùn)動(dòng)向量編碼單元722的分配碼數(shù)的方式，運(yùn)動(dòng)向量解碼單元822可以正確地分析從圖像編碼設(shè)備700提供的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且正確地重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

運(yùn)動(dòng)向量解碼單元822將重建的預(yù)測(cè)運(yùn)動(dòng)向量信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812使用該預(yù)測(cè)運(yùn)動(dòng)向量信息重建運(yùn)動(dòng)向量信息，使用該運(yùn)動(dòng)向量信息執(zhí)行運(yùn)動(dòng)補(bǔ)償，并且因此生成預(yù)測(cè)圖像。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812將生成的預(yù)測(cè)圖像提供給選擇單元813。

選擇單元813選擇提供給計(jì)算單元805的預(yù)測(cè)圖像的提供源。就是說，選擇單元813將運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812或幀內(nèi)預(yù)測(cè)單元811生成的預(yù)測(cè)圖像提供給計(jì)算單元805。

因此，通過基于靜止區(qū)域確定單元821按預(yù)測(cè)處理單位的靜止區(qū)域確定的確定結(jié)果來控制分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，運(yùn)動(dòng)向量解碼單元822可以正確地復(fù)制在圖像編碼設(shè)備700處分配碼數(shù)的方式。因此，運(yùn)動(dòng)向量解碼單元822可以正確地分析從圖像編碼設(shè)備700提供的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且正確地重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

因此，圖像解碼設(shè)備800可以正確地對(duì)圖像編碼設(shè)備700已編碼的編碼數(shù)據(jù)進(jìn)行解碼，并且實(shí)現(xiàn)編碼效率的提高。

[運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元、靜止區(qū)域確定單元和運(yùn)動(dòng)向量解碼單元]

圖37是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812、靜止區(qū)域確定單元821和運(yùn)動(dòng)向量解碼單元822的主要配置示例的框圖。

如圖37中所示，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812具有差運(yùn)動(dòng)信息緩沖器831、預(yù)測(cè)運(yùn)動(dòng)向量信息緩沖器832、運(yùn)動(dòng)信息重建單元833、運(yùn)動(dòng)補(bǔ)償單元834和運(yùn)動(dòng)信息緩沖器835。

再者，運(yùn)動(dòng)向量解碼單元822具有碼數(shù)分配單元841和預(yù)測(cè)運(yùn)動(dòng)向量重建單元842。

差運(yùn)動(dòng)信息緩沖器831存儲(chǔ)從無損解碼單元802提供的差運(yùn)動(dòng)信息。該差運(yùn)動(dòng)信息是從圖像編碼設(shè)備700提供的、被選擇為最優(yōu)預(yù)測(cè)模式的幀間預(yù)測(cè)模式的差運(yùn)動(dòng)信息。差運(yùn)動(dòng)信息緩沖器831在預(yù)定的定時(shí)或者基于來自運(yùn)動(dòng)信息重建單元833的外部請(qǐng)求，將所存儲(chǔ)的差運(yùn)動(dòng)信息提供給運(yùn)動(dòng)信息重建單元833。

預(yù)測(cè)運(yùn)動(dòng)向量信息緩沖器832存儲(chǔ)從無損解碼單元802提供的預(yù)測(cè)運(yùn)動(dòng)向量信息。已從圖像編碼設(shè)備700提供該預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且該碼數(shù)是分配給被選擇為最優(yōu)預(yù)測(cè)模式的幀間預(yù)測(cè)模式的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。預(yù)測(cè)運(yùn)動(dòng)向量信息緩沖器832在預(yù)定的定時(shí)或者基于來自預(yù)測(cè)運(yùn)動(dòng)向量重建單元842的外部請(qǐng)求，將所存儲(chǔ)的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)提供給運(yùn)動(dòng)向量解碼單元822的預(yù)測(cè)運(yùn)動(dòng)向量重建單元842。

再者，靜止區(qū)域確定單元821針對(duì)預(yù)測(cè)處理單位中的每個(gè)區(qū)域，從運(yùn)動(dòng)信息緩沖器835獲得并置區(qū)域的運(yùn)動(dòng)信息，并且執(zhí)行靜止區(qū)域確定。靜止區(qū)域確定單元921將確定結(jié)果(靜止區(qū)域確定結(jié)果)提供給運(yùn)動(dòng)向量解碼單元822的碼數(shù)分配單元841。

運(yùn)動(dòng)向量解碼單元822的碼數(shù)分配單元841依據(jù)從靜止區(qū)域確定單元921提供的靜止區(qū)域確定結(jié)果，針對(duì)預(yù)測(cè)處理單位中的每個(gè)區(qū)域，控制碼數(shù)分配方式，并且將碼數(shù)分配控制信號(hào)提供給預(yù)測(cè)運(yùn)動(dòng)向量重建單元842。

預(yù)測(cè)運(yùn)動(dòng)向量重建單元842使用來自碼數(shù)分配單元841的針對(duì)預(yù)測(cè)處理單位中的每個(gè)區(qū)域指定的碼數(shù)分配方式，分析從預(yù)測(cè)運(yùn)動(dòng)向量信息緩沖器832獲得的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。預(yù)測(cè)運(yùn)動(dòng)向量重建單元842識(shí)別與所分析的碼數(shù)對(duì)應(yīng)的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且重建該預(yù)測(cè)運(yùn)動(dòng)向量信息。就是說，預(yù)測(cè)運(yùn)動(dòng)向量重建單元842從運(yùn)動(dòng)信息緩沖器835獲得與該碼數(shù)對(duì)應(yīng)的外圍區(qū)域的外圍運(yùn)動(dòng)信息，并且將外圍運(yùn)動(dòng)信息取作預(yù)測(cè)運(yùn)動(dòng)向量信息。

預(yù)測(cè)運(yùn)動(dòng)向量重建單元842將重建的預(yù)測(cè)運(yùn)動(dòng)向量信息提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812的運(yùn)動(dòng)信息重建單元833。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812的運(yùn)動(dòng)信息重建單元833使從預(yù)測(cè)運(yùn)動(dòng)向量重建單元842獲得的預(yù)測(cè)運(yùn)動(dòng)向量信息與從差運(yùn)動(dòng)信息緩沖器831獲得的差運(yùn)動(dòng)信息相加，并且重建當(dāng)前區(qū)域(當(dāng)前pu)的運(yùn)動(dòng)信息。運(yùn)動(dòng)信息重建單元833將重建的當(dāng)前區(qū)域的運(yùn)動(dòng)信息提供給運(yùn)動(dòng)補(bǔ)償單元834。

運(yùn)動(dòng)補(bǔ)償單元834使用當(dāng)前區(qū)域的運(yùn)動(dòng)信息對(duì)從幀存儲(chǔ)器809獲得的參考圖像像素值執(zhí)行運(yùn)動(dòng)補(bǔ)償，并且生成預(yù)測(cè)圖像。運(yùn)動(dòng)補(bǔ)償單元834經(jīng)由選擇單元813將參考圖像像素值提供給計(jì)算單元805。

再者，運(yùn)動(dòng)信息重建單元833還將已重建的當(dāng)前區(qū)域的運(yùn)動(dòng)信息提供給運(yùn)動(dòng)信息緩沖器835。

運(yùn)動(dòng)信息緩沖器835存儲(chǔ)從運(yùn)動(dòng)信息重建單元833提供的當(dāng)前區(qū)域的運(yùn)動(dòng)信息。在針對(duì)在處理時(shí)間上晚于當(dāng)前區(qū)域的其他區(qū)域的處理中，運(yùn)動(dòng)信息緩沖器835將該運(yùn)動(dòng)信息作為外圍運(yùn)動(dòng)信息提供給靜止區(qū)域確定單元821和預(yù)測(cè)運(yùn)動(dòng)向量重建單元842。

通過每個(gè)部件執(zhí)行如上文所述的處理，圖像解碼設(shè)備800可以正確地對(duì)圖像編碼設(shè)備700編碼的編碼數(shù)據(jù)進(jìn)行解碼，并且可以實(shí)現(xiàn)提高的編碼效率。

[處理流程]

接下來，將描述該圖像解碼設(shè)備800執(zhí)行的處理流程。圖像解碼設(shè)備800按照與參照?qǐng)D22中的流程圖描述的方式相同的方式執(zhí)行對(duì)編碼數(shù)據(jù)解碼的解碼處理。就是說，圖像解碼設(shè)備800按照與圖像解碼設(shè)備101的情況基本上相同的方式執(zhí)行解碼。然而，注意，如下執(zhí)行圖22中的步驟s138中的預(yù)測(cè)處理。

將參照?qǐng)D38中的流程圖描述關(guān)于圖像解碼設(shè)備800的情況的圖22中的步驟s138中執(zhí)行的預(yù)測(cè)處理的流程的示例。

在開始預(yù)測(cè)處理之后，在步驟s801中，無損解碼單元802基于從圖像編碼設(shè)備700提供的關(guān)于最優(yōu)預(yù)測(cè)模式的信息，確定待處理的編碼數(shù)據(jù)是否已被幀內(nèi)編碼。在確定這已被幀內(nèi)編碼的情況下，無損解碼單元802使處理前往步驟s802。

在步驟s802中，幀內(nèi)預(yù)測(cè)單元811獲得幀內(nèi)預(yù)測(cè)模式信息。在步驟s803中，幀內(nèi)預(yù)測(cè)單元811使用在步驟s802中獲得的幀內(nèi)預(yù)測(cè)模式信息來執(zhí)行幀內(nèi)預(yù)測(cè)以生成預(yù)測(cè)圖像。在生成預(yù)測(cè)圖像之后，幀內(nèi)預(yù)測(cè)單元811結(jié)束預(yù)測(cè)處理，并且使處理返回圖22。

再者，在步驟s801中確定已執(zhí)行幀間編碼的情況下，無損解碼單元802使處理前往步驟s804。

在步驟s804中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812執(zhí)行幀間運(yùn)動(dòng)預(yù)測(cè)處理。在幀間運(yùn)動(dòng)預(yù)測(cè)處理結(jié)束之后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812結(jié)束預(yù)測(cè)處理，并且使處理返回圖22。

接下來，將參照?qǐng)D39中的流程圖描述圖38中的步驟s804中執(zhí)行的幀間運(yùn)動(dòng)預(yù)測(cè)處理的流程示例。

在開始幀間運(yùn)動(dòng)預(yù)測(cè)處理之后，在步驟s821中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元812獲得關(guān)于針對(duì)當(dāng)前區(qū)域的運(yùn)動(dòng)預(yù)測(cè)的信息。例如，預(yù)測(cè)運(yùn)動(dòng)向量信息緩沖器832獲得預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且差運(yùn)動(dòng)信息緩沖器831獲得差運(yùn)動(dòng)信息。

在步驟s822中，靜止區(qū)域確定單元821從運(yùn)動(dòng)信息緩沖器835獲得并置區(qū)域的運(yùn)動(dòng)信息。在步驟s823中，如上文所述，靜止區(qū)域確定單元821基于該信息確定當(dāng)前區(qū)域是否是靜止區(qū)域。

在步驟s824中，碼數(shù)分配單元841根據(jù)步驟s823中的靜止區(qū)域確定結(jié)果來決定針對(duì)預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。在步驟s825中，預(yù)測(cè)運(yùn)動(dòng)向量重建單元842依據(jù)在步驟s824中決定的分配來分析預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

在步驟s826中，運(yùn)動(dòng)信息重建單元833使用在步驟s825中重建的預(yù)測(cè)運(yùn)動(dòng)向量信息以及在步驟s821中獲得的差運(yùn)動(dòng)信息來重建當(dāng)前區(qū)域的運(yùn)動(dòng)信息。

在步驟s827中，運(yùn)動(dòng)補(bǔ)償單元834利用在步驟s826中重建的運(yùn)動(dòng)信息，對(duì)幀存儲(chǔ)器809獲得的參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。

在步驟s828中，運(yùn)動(dòng)補(bǔ)償單元834經(jīng)由選擇單元813將通過步驟s827中的處理生成的預(yù)測(cè)圖像提供給計(jì)算單元805，以便生成預(yù)測(cè)圖像。在步驟s829中，運(yùn)動(dòng)信息緩沖器835存儲(chǔ)在步驟s826中重建的運(yùn)動(dòng)信息。該運(yùn)動(dòng)信息被用作在時(shí)間上在以后執(zhí)行的針對(duì)其他區(qū)域的處理中的外圍信息。

在存儲(chǔ)運(yùn)動(dòng)信息之后，運(yùn)動(dòng)信息緩沖器835結(jié)束幀間運(yùn)動(dòng)預(yù)測(cè)處理，并且使處理返回圖38。

通過執(zhí)行如上文所述的每個(gè)處理，圖像解碼設(shè)備800可以正確地對(duì)圖像編碼設(shè)備700編碼的編碼數(shù)據(jù)進(jìn)行解碼，并且可以實(shí)現(xiàn)提高的編碼效率。

注意，本技術(shù)可以應(yīng)用于如下圖像編碼設(shè)備和圖像解碼設(shè)備：其用于經(jīng)由諸如衛(wèi)星廣播、有線電視、互聯(lián)網(wǎng)、蜂窩電話等的網(wǎng)絡(luò)介質(zhì)，如同mpeg、h.26x等，接收通過諸如離散余弦變換等的正交變換以及運(yùn)動(dòng)補(bǔ)償而壓縮的圖像信息(位流)。再者，本技術(shù)可以應(yīng)用于如下圖像編碼設(shè)備和圖像解碼設(shè)備：其用于處理諸如光盤、磁盤和閃速存儲(chǔ)器的存儲(chǔ)介質(zhì)上的圖像信息。此外，本發(fā)明可以應(yīng)用于在這些圖像編碼設(shè)備和圖像解碼設(shè)備中包括的運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償設(shè)備等。

上述系列處理可以由硬件執(zhí)行，或者可以由軟件執(zhí)行。在通過軟件執(zhí)行該系列處理的情況下，構(gòu)成其軟件的程序被安裝在計(jì)算機(jī)中。這里，計(jì)算機(jī)的示例包括內(nèi)建于專用硬件中的計(jì)算機(jī)，通用個(gè)人計(jì)算機(jī)，由此各個(gè)功能可以由安裝到通用個(gè)人計(jì)算機(jī)的各種類型的程序等執(zhí)行。

[個(gè)人計(jì)算機(jī)的配置示例]

圖26是圖示使用程序執(zhí)行上述系列處理的計(jì)算機(jī)的硬件的配置示例的框圖。

對(duì)于計(jì)算機(jī)，cpu(中央處理單元)201、rom(只讀存儲(chǔ)器)202和ram(隨機(jī)存取存儲(chǔ)器)203通過總線204相互連接。

此外，輸入/輸出接口205連接到總線204。輸入單元206、輸出單元207、存儲(chǔ)單元208、通信單元209以及驅(qū)動(dòng)器210連接到輸入/輸出接口205。

輸入單元206由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成。輸出單元207由顯示器、揚(yáng)聲器等構(gòu)成。存儲(chǔ)單元208由硬盤、非易失性存儲(chǔ)器等構(gòu)成。通信單元209由網(wǎng)絡(luò)接口等構(gòu)成。驅(qū)動(dòng)器210驅(qū)動(dòng)諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等的可移除介質(zhì)211。

對(duì)于這樣配置的計(jì)算機(jī)，例如，cpu201經(jīng)由輸入/輸出接口205和總線204將存儲(chǔ)單元208中存儲(chǔ)的程序加載到ram203，并且執(zhí)行該程序，并且因此，執(zhí)行上述系列處理。

可以通過將計(jì)算機(jī)(cpu201)執(zhí)行的程序記錄在例如用作封裝介質(zhì)等的可移除介質(zhì)211中來提供該程序。再者，可以經(jīng)由諸如局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字廣播的有線或無線傳送介質(zhì)來提供程序。

對(duì)于計(jì)算機(jī)，可以通過將可移除介質(zhì)211安裝在驅(qū)動(dòng)器210上經(jīng)由輸入/輸出接口205將程序安裝在存儲(chǔ)單元208中。再者，可以經(jīng)由有線或無線傳送介質(zhì)由通信單元209接收程序并且將該程序安裝在存儲(chǔ)單元208中。另外，可以將程序預(yù)先安裝在rom202或存儲(chǔ)單元208中。

注意，計(jì)算機(jī)執(zhí)行的程序可以是其中沿本說明書中描述的次序按時(shí)間次序執(zhí)行處理的程序，或者可以是其中并行地或者在需要的定時(shí)(諸如當(dāng)執(zhí)行調(diào)用時(shí))執(zhí)行處理的程序。

本發(fā)明的實(shí)施例不便于上述實(shí)施例，并且在不偏離本發(fā)明的實(shí)質(zhì)內(nèi)容的情況下可以進(jìn)行各種修改。

例如，上述圖像編碼設(shè)備和圖像解碼設(shè)備可以應(yīng)用于可選的電設(shè)備。在下文中，將描述電設(shè)備的示例。

[電視接收器的配置示例]

圖27是圖示使用已被應(yīng)用本發(fā)明的圖像解碼設(shè)備的電視接收器的主要配置示例的框圖。

圖27中所示的電視接收器300包括地面調(diào)諧器313、視頻解碼器315、視頻信號(hào)處理電路318、圖形生成電路319、面板驅(qū)動(dòng)電路320、和顯示面板321。

地面調(diào)諧器313經(jīng)由天線接收地面模擬廣播的廣播波信號(hào)，進(jìn)行解調(diào)，獲得視頻信號(hào)，并且將它們提供給視頻解碼器315。視頻解碼器315使從地面調(diào)諧器313提供的視頻信號(hào)經(jīng)歷解碼處理，并且將獲得的數(shù)字分量信號(hào)提供給視頻信號(hào)處理電路318。

視頻信號(hào)處理電路318使從視頻解碼器315提供的視頻數(shù)據(jù)經(jīng)歷諸如噪聲去除等的預(yù)定處理，并且將獲得的視頻數(shù)據(jù)提供給圖形生成電路319。

圖形生成電路319生成將顯示在顯示面板321上的節(jié)目的視頻數(shù)據(jù)，或者將經(jīng)由網(wǎng)絡(luò)提供的、由基于應(yīng)用的處理得到的圖像數(shù)據(jù)等，并且將生成的視頻數(shù)據(jù)或圖像數(shù)據(jù)提供給面板驅(qū)動(dòng)電路320。再者，圖形生成電路319還執(zhí)行諸如如下處理：將通過生成關(guān)于用戶的、顯示用于選擇項(xiàng)目等的屏幕的視頻數(shù)據(jù)(圖形)并且將其疊加在節(jié)目的視頻數(shù)據(jù)上而獲得的視頻數(shù)據(jù)適當(dāng)?shù)靥峁┙o面板驅(qū)動(dòng)電路320。

面板驅(qū)動(dòng)電路320基于從圖形生成電路319提供的數(shù)據(jù)來驅(qū)動(dòng)顯示面板321，以在顯示面板321上顯示節(jié)目的視頻或者上述各種屏幕。

顯示面板321由lcd(液晶顯示器)等構(gòu)成，并且根據(jù)面板驅(qū)動(dòng)電路320的控制來顯示節(jié)目的視頻等。

再者，電視接收器300還包括音頻a/d(模擬/數(shù)字)轉(zhuǎn)換電路314、音頻信號(hào)處理電路322、回聲消除/音頻合成電路323、音頻放大器電路324、和揚(yáng)聲器325。

地面調(diào)諧器313對(duì)接收到的廣播波信號(hào)解調(diào)，從而不僅獲得視頻信號(hào)，還獲得音頻信號(hào)。地面調(diào)諧器313將獲得的音頻信號(hào)提供給音頻a/d轉(zhuǎn)換電路314。

音頻a/d轉(zhuǎn)換電路314使從地面調(diào)諧器313提供的音頻信號(hào)經(jīng)歷a/d轉(zhuǎn)換處理，并且將獲得的數(shù)字音頻信號(hào)提供給音頻信號(hào)處理電路322。

音頻信號(hào)處理電路322使從音頻a/d轉(zhuǎn)換電路314提供的音頻數(shù)據(jù)經(jīng)歷諸如噪聲去除等的預(yù)定處理，并且將獲得的音頻數(shù)據(jù)提供給回聲消除/音頻合成電路323。

回聲消除/音頻合成電路323將從音頻信號(hào)處理電路322提供的音頻數(shù)據(jù)提供給音頻放大器電路324。

音頻放大器電路324使從回聲消除/音頻合成電路323提供的音頻數(shù)據(jù)經(jīng)歷d/a轉(zhuǎn)換處理，經(jīng)歷放大器處理以調(diào)整到預(yù)定音量，并且隨后從揚(yáng)聲器325輸出音頻。

此外，電視接收器300還包括數(shù)字調(diào)諧器316和mpeg解碼器317。

數(shù)字調(diào)諧器316經(jīng)由天線接收數(shù)字廣播(地面數(shù)字廣播、bs(廣播衛(wèi)星)/cs(通信衛(wèi)星)數(shù)字廣播)的廣播波信號(hào)，進(jìn)行解調(diào)以獲得mpeg-ts(運(yùn)動(dòng)圖片專家組-輸送流)，并且將其提供給mpeg解碼器317。

mpeg解碼器317對(duì)加到從數(shù)字調(diào)諧器316提供的mpeg-ts的擾動(dòng)進(jìn)行解擾，并且提取包括用作播放對(duì)象(觀看對(duì)象)的節(jié)目的數(shù)據(jù)的流。mpeg解碼器317對(duì)構(gòu)成所提取的流的音頻分組解碼，將獲得的音頻數(shù)據(jù)提供給音頻信號(hào)處理電路322，并且還對(duì)構(gòu)成流的視頻分組解碼，并且將獲得的視頻數(shù)據(jù)提供給視頻信號(hào)處理電路318。再者，mpeg解碼器317經(jīng)由未示出的路徑將從mpeg-ts提取的epg(電子節(jié)目指南)數(shù)據(jù)提供給cpu332。

電視接收器300使用上述圖像解碼設(shè)備作為用于以這種方式對(duì)視頻分組解碼的mpeg解碼器317。因此，mpeg解碼器317可以按照與上述圖像解碼設(shè)備的情況相同的方式實(shí)現(xiàn)較高的編碼效率。

從mpeg解碼器317提供的視頻數(shù)據(jù)按照與從視頻解碼器315提供的視頻數(shù)據(jù)的情況相同的方式，在視頻信號(hào)處理電路318處經(jīng)歷預(yù)定處理。經(jīng)歷預(yù)定處理的視頻數(shù)據(jù)隨后在圖形生成電路319處被適當(dāng)?shù)丿B加在生成的視頻數(shù)據(jù)等上，經(jīng)由面板驅(qū)動(dòng)電路320被提供給顯示面板321，并且在顯示面板321上顯示其圖像。

從mpeg解碼器317提供的音頻數(shù)據(jù)按照與從音頻a/d轉(zhuǎn)換電路314提供的音頻數(shù)據(jù)的情況相同的方式，在音頻信號(hào)處理電路322處經(jīng)歷預(yù)定處理，經(jīng)由回聲消除/音頻合成電路323被提供給音頻放大器電路324，并且經(jīng)歷d/a轉(zhuǎn)換處理和放大器處理。作為其結(jié)果，從揚(yáng)聲器325輸出按預(yù)定音量調(diào)整的音頻。

再者，電視接收器300還包括麥克風(fēng)326和a/d轉(zhuǎn)換電路327。

a/d轉(zhuǎn)換電路327接收用作音頻交談的、提供給電視接收器300的由麥克風(fēng)326收集的用戶的音頻信號(hào)，使接收到的音頻信號(hào)經(jīng)歷a/d轉(zhuǎn)換處理，并且將獲得的數(shù)字音頻數(shù)據(jù)提供給回聲消除/音頻合成電路323。

在已從a/d轉(zhuǎn)換電路327提供電視接收器300的用戶(用戶a)的音頻數(shù)據(jù)的情況下，回聲消除/音頻合成電路323對(duì)于用戶(用戶a)的音頻數(shù)據(jù)執(zhí)行回聲消除，并且經(jīng)由音頻放大器電路324從揚(yáng)聲器325輸出通過與其他音頻數(shù)據(jù)等合成而獲得的音頻數(shù)據(jù)。

此外，電視接收器300還包括音頻編解碼器328、內(nèi)部總線329、sdram(同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)330、閃速存儲(chǔ)器331、cpu332、usb(通用串行總線)i/f333、和網(wǎng)絡(luò)i/f334。

a/d轉(zhuǎn)換電路327接收用作音頻交談的、提供給電視接收器300的由麥克風(fēng)326收集的用戶的音頻信號(hào)，使接收到的音頻信號(hào)經(jīng)歷a/d轉(zhuǎn)換處理，并且將獲得的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器328。

音頻編解碼器328將從a/d轉(zhuǎn)換電路327提供的音頻數(shù)據(jù)轉(zhuǎn)換成用于經(jīng)由網(wǎng)絡(luò)傳送的預(yù)定格式的數(shù)據(jù)，并且經(jīng)由內(nèi)部總線329提供給網(wǎng)絡(luò)i/f334。

網(wǎng)絡(luò)i/f334經(jīng)由安裝在網(wǎng)絡(luò)端子335上的線纜連接到網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)i/f334將從音頻編解碼器328提供的音頻數(shù)據(jù)傳送到連接到其網(wǎng)絡(luò)的另一設(shè)備。再者，例如，網(wǎng)絡(luò)i/f334經(jīng)由網(wǎng)絡(luò)端子335接收從經(jīng)由網(wǎng)絡(luò)與其連接的另一設(shè)備傳送的音頻數(shù)據(jù)，并且經(jīng)由內(nèi)部總線329將其提供給音頻編解碼器328。

音頻編解碼器328將從網(wǎng)絡(luò)i/f334提供的音頻數(shù)據(jù)轉(zhuǎn)換成預(yù)定格式的數(shù)據(jù)，并且將其提供給回聲消除/音頻合成電路323。

回聲消除/音頻合成電路323以從音頻編解碼器328提供的音頻數(shù)據(jù)為對(duì)象執(zhí)行回聲消除，并且經(jīng)由音頻放大器電路324從揚(yáng)聲器325輸出通過合成音頻數(shù)據(jù)和其他音頻數(shù)據(jù)等而獲得的音頻的數(shù)據(jù)。

sdram330存儲(chǔ)cpu332執(zhí)行處理所需的各種類型的數(shù)據(jù)。

閃速存儲(chǔ)器331存儲(chǔ)將由cpu332執(zhí)行的程序。cpu332在預(yù)定定時(shí)，諸如當(dāng)激活電視接收器300等時(shí)，讀出閃速存儲(chǔ)器331中存儲(chǔ)的程序。經(jīng)由數(shù)字廣播獲得的epg數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)從預(yù)定服務(wù)器獲得的數(shù)據(jù)等也存儲(chǔ)在閃速存儲(chǔ)器331中。

例如，包括通過cpu332的控制經(jīng)由網(wǎng)絡(luò)從預(yù)定服務(wù)器獲得的內(nèi)容數(shù)據(jù)的mpeg-ts被存儲(chǔ)在閃速存儲(chǔ)器331中。例如，閃速存儲(chǔ)器331通過cpu332的控制經(jīng)由內(nèi)部總線329將其mpeg-ts提供給mpeg解碼器317。

mpeg解碼器317按照與從數(shù)字調(diào)諧器316提供的mpeg-ts的情況相同的方式處理其mpeg-ts。這樣，電視接收器300經(jīng)由網(wǎng)絡(luò)接收由視頻、音頻等構(gòu)成的內(nèi)容數(shù)據(jù)，使用mpeg解碼器317進(jìn)行解碼，從而可以顯示其視頻，并且可以輸出其音頻。

再者，電視接收器300還包括光接收單元337，用于接收從遙控器351傳送的紅外信號(hào)。

光接收單元337從遙控器351接收紅外線，并且向cpu332輸出通過解調(diào)獲得的表示用戶操作的內(nèi)容的控制碼。

cpu332執(zhí)行閃速存儲(chǔ)器331中存儲(chǔ)的程序，以根據(jù)從光接收單元337等提供的控制碼來控制電視接收器300的整體操作。cpu332和電視接收器300的各單元經(jīng)由未示出的路徑連接。

usbi/f333針對(duì)經(jīng)由安裝在usb端子336上的usb線纜連接的電視接收器300的外部設(shè)備執(zhí)行數(shù)據(jù)的傳送/接收。網(wǎng)絡(luò)i/f334經(jīng)由安裝在網(wǎng)絡(luò)端子335上的線纜連接到網(wǎng)絡(luò)，還針對(duì)連接到網(wǎng)絡(luò)的各種設(shè)備執(zhí)行音頻數(shù)據(jù)以外的數(shù)據(jù)的傳送/接收。

電視接收器300可以通過使用上述圖像解碼設(shè)備作為mpeg解碼器317來提高編碼效率。作為其結(jié)果，電視接收器300可以從經(jīng)由天線接收的廣播信號(hào)或者經(jīng)由網(wǎng)絡(luò)獲得的內(nèi)容數(shù)據(jù)獲得并顯示較高圖像質(zhì)量的解碼圖像。

[蜂窩電話的配置示例]

圖28是圖示使用已被應(yīng)用本發(fā)明的圖像編碼設(shè)備和圖像解碼設(shè)備的蜂窩電話的主要配置示例的框圖。

圖28中所示的蜂窩電話400包括被配置成整體地控制各單元的主控制單元450、電源電路單元451、操作輸入控制單元452、圖像編碼器453、攝像裝置i/f單元454、lcd控制單元455、圖像解碼器456、復(fù)用/分離單元457、記錄/播放單元462、調(diào)制/解調(diào)電路單元458、和音頻編解碼器459。這些單元經(jīng)由總線460相互連接。

再者，蜂窩電話400包括操作鍵419、ccd(電荷耦合器件)攝像裝置416、液晶顯示器418、存儲(chǔ)單元423、傳送/接收電路單元463、天線414、麥克風(fēng)(mic)421、和揚(yáng)聲器417。

在呼叫結(jié)束并且通過用戶操作接通電源鍵時(shí)，電源電路單元451通過從電池組向各單元供電在操作狀態(tài)下激活蜂窩電話400。

蜂窩電話400基于由cpu、rom、ram等構(gòu)成的主控制單元450的控制，在諸如語音呼叫模式、數(shù)據(jù)通信模式等的各種模式中，執(zhí)行諸如音頻信號(hào)的傳送/接收、電子郵件和圖像數(shù)據(jù)的傳送/接收、圖像拍攝、數(shù)據(jù)記錄等的各種操作。

例如，在語音呼叫模式中，蜂窩電話400通過音頻編解碼器459將麥克風(fēng)(話筒)421收集的音頻信號(hào)轉(zhuǎn)換成數(shù)字音頻數(shù)據(jù)，在調(diào)制/解調(diào)電路單元458處使其經(jīng)歷擴(kuò)頻處理，并且在傳送/接收電路單元463處使其經(jīng)歷數(shù)字/模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。蜂窩電話400經(jīng)由天線414將通過其轉(zhuǎn)換處理獲得的用于傳送的信號(hào)傳送到未示出的基站。傳送到基站的用于傳送的信號(hào)(音頻信號(hào))經(jīng)由公共電話網(wǎng)絡(luò)被提供給另一方的蜂窩電話。

再者，例如，在語音呼叫模式中，蜂窩電話400對(duì)在天線414處、傳送/接收電路單元463處接收到的接收信號(hào)進(jìn)行放大，進(jìn)一步經(jīng)歷頻率轉(zhuǎn)換處理和模擬/數(shù)字轉(zhuǎn)換處理，在調(diào)制/解調(diào)電路單元458處經(jīng)歷解擴(kuò)處理，并且通過音頻編解碼器459轉(zhuǎn)換成模擬音頻信號(hào)。蜂窩電話400從揚(yáng)聲器417輸出其經(jīng)轉(zhuǎn)換的和所獲得的模擬音頻信號(hào)。

此外，例如，在數(shù)據(jù)通信模式中傳送電子郵件的情況下，蜂窩電話400接受在操作輸入控制單元452處通過操作鍵419的操作而輸入的電子郵件的文本數(shù)據(jù)。蜂窩電話400在主控制單元450處處理其文本數(shù)據(jù)，并且經(jīng)由lcd控制單元455將其作為圖像顯示在液晶顯示器418上。

再者，蜂窩電話400基于操作輸入控制單元452接受的文本數(shù)據(jù)、用戶指令等，在主控制單元450處生成電子郵件數(shù)據(jù)。蜂窩電話400使其電子郵件數(shù)據(jù)在調(diào)制/解調(diào)電路單元458處經(jīng)歷擴(kuò)頻處理，并且在傳送/接收電路單元463處經(jīng)歷數(shù)字/模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。蜂窩電話400經(jīng)由天線414將通過其轉(zhuǎn)換處理獲得的用于傳送的信號(hào)傳送到未示出的基站。傳送到基站的用于傳送的信號(hào)(電子郵件)經(jīng)由網(wǎng)絡(luò)、郵件服務(wù)器等被提供給預(yù)定目標(biāo)。

再者，例如，在數(shù)據(jù)通信模式中接收電子郵件的情況下，蜂窩電話400通過傳送/接收電路單元463經(jīng)由天線414接收從基站傳送的信號(hào)，進(jìn)行放大，并且進(jìn)一步經(jīng)歷頻率轉(zhuǎn)換處理和模擬/數(shù)字轉(zhuǎn)換處理。蜂窩電話400使其接收信號(hào)在調(diào)制/解調(diào)電路單元458處經(jīng)歷解擴(kuò)處理以恢復(fù)原始的電子郵件數(shù)據(jù)。蜂窩電話400經(jīng)由lcd控制單元455在液晶顯示器418上顯示恢復(fù)的電子郵件數(shù)據(jù)。

注意，蜂窩電話400可以經(jīng)由記錄/播放單元462將接收到的電子郵件數(shù)據(jù)記錄(存儲(chǔ))在存儲(chǔ)單元423中。

該存儲(chǔ)單元423是可選的可重寫記錄介質(zhì)。存儲(chǔ)單元423可以是諸如ram、內(nèi)建閃速存儲(chǔ)器等的半導(dǎo)體存儲(chǔ)器，可以是硬盤，或者可以是諸如磁盤、磁光盤、光盤、usb存儲(chǔ)器、存儲(chǔ)器卡等的可移除介質(zhì)。毋庸置疑，存儲(chǔ)單元423可以是不同于這些設(shè)備的設(shè)備。

此外，例如，在數(shù)據(jù)通信模式中傳送圖像數(shù)據(jù)的情況下，蜂窩電話400通過在ccd攝像裝置416處進(jìn)行成像來生成圖像數(shù)據(jù)。ccd攝像裝置416包括ccd，其用作諸如透鏡、光圈等的光學(xué)器件，并且用作光電轉(zhuǎn)換器件，該ccd對(duì)物體成像，將接收到的光的強(qiáng)度轉(zhuǎn)換成電信號(hào)，并且生成物體的圖像的圖像數(shù)據(jù)。ccd攝像裝置416經(jīng)由攝像裝置i/f單元454在圖像編碼器453處按例如諸如mpeg2或mpeg4等的預(yù)定編碼格式執(zhí)行圖像數(shù)據(jù)的壓縮編碼，并且轉(zhuǎn)換成編碼圖像數(shù)據(jù)。

蜂窩電話400采用上述圖像編碼設(shè)備作為用于執(zhí)行該處理的圖像編碼器453。因此，按照與上述圖像編碼設(shè)備相同的方式，圖像編碼器453能夠?qū)崿F(xiàn)較高的編碼效率。

注意，與此同時(shí)，在通過ccd攝像裝置416拍攝的同時(shí)，蜂窩電話400在音頻編解碼器459處將在麥克風(fēng)(話筒)421處收集的音頻從模擬轉(zhuǎn)換成數(shù)字，并且進(jìn)一步對(duì)其編碼。

蜂窩電話400使用預(yù)定方法在復(fù)用/分離單元457處復(fù)用從圖像編碼器453提供的編碼圖像數(shù)據(jù)以及從音頻編解碼器459提供的數(shù)字音頻數(shù)據(jù)。蜂窩電話400使作為其結(jié)果獲得的復(fù)用數(shù)據(jù)在調(diào)制/解調(diào)電路單元458處經(jīng)歷擴(kuò)頻處理，并且在傳送/接收電路單元463處經(jīng)歷數(shù)字/模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。蜂窩電話400經(jīng)由天線414將通過其轉(zhuǎn)換處理獲得的用于傳送的信號(hào)傳送到未示出的基站。傳送到基站的用于傳送的信號(hào)(圖像數(shù)據(jù))經(jīng)由網(wǎng)絡(luò)等被提供給另一方。

注意，在未傳送圖像數(shù)據(jù)的情況下，蜂窩電話400還可以經(jīng)由lcd控制單元455而非圖像編碼器453在液晶顯示器418上顯示在ccd攝像裝置416處生成的圖像數(shù)據(jù)。

再者，例如，在數(shù)據(jù)通信模式中接收鏈接到簡(jiǎn)單網(wǎng)站等的運(yùn)動(dòng)圖像文件的數(shù)據(jù)的情況下，蜂窩電話400經(jīng)由天線414在傳送/接收電路單元463處接收從基站傳送的信號(hào)，進(jìn)行放大，并且進(jìn)一步經(jīng)歷頻率轉(zhuǎn)換處理和模擬/數(shù)字轉(zhuǎn)換處理。蜂窩電話400使接收的信號(hào)在調(diào)制/解調(diào)電路單元458處經(jīng)歷解擴(kuò)處理以恢復(fù)原始的復(fù)用數(shù)據(jù)。蜂窩電話400在復(fù)用/分離單元457處將其復(fù)用數(shù)據(jù)分離成編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。

蜂窩電話400利用與諸如mpeg2、mpeg4等的預(yù)定編碼格式對(duì)應(yīng)的解碼格式在圖像解碼器456處對(duì)編碼圖像數(shù)據(jù)解碼，由此生成播放運(yùn)動(dòng)圖像數(shù)據(jù)，并且經(jīng)由lcd控制單元455將其顯示在液晶顯示器418上。因此，鏈接到簡(jiǎn)單網(wǎng)站的運(yùn)動(dòng)圖像文件中包括的運(yùn)動(dòng)圖像數(shù)據(jù)被顯示在例如液晶顯示器418上。

蜂窩電話400使用上述圖像解碼設(shè)備作為用于執(zhí)行該處理的圖像解碼器456。因此，按照與上述圖像解碼設(shè)備相同的方式，圖像解碼器456能夠?qū)崿F(xiàn)較高的編碼效率。

與此同時(shí)，蜂窩電話400在音頻編解碼器459處將數(shù)字音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號(hào)，并且從揚(yáng)聲器417將其輸出。因此，例如播放鏈接到簡(jiǎn)單網(wǎng)站的運(yùn)動(dòng)圖像文件中包括的音頻數(shù)據(jù)。

注意，按照與電子郵件的情況相同的方式，蜂窩電話400可以經(jīng)由記錄/播放單元462將接收到的鏈接到簡(jiǎn)單網(wǎng)站等的數(shù)據(jù)記錄(存儲(chǔ))在存儲(chǔ)單元423中。

再者，蜂窩電話400在主控制單元450處分析由ccd攝像裝置416獲得的成像二維碼，由此可以獲得二維碼中記錄的信息。

此外，蜂窩電話400可以使用紅外線在紅外通信單元481處與外部設(shè)備通信。

蜂窩電話400采用上述圖像編碼設(shè)備作為圖像編碼器453，由此可以提高編碼效率。結(jié)果，蜂窩電話400可以向另一設(shè)備提供具有良好的編碼效率的編碼數(shù)據(jù)(圖像數(shù)據(jù))。

再者，蜂窩電話400采用上述圖像解碼設(shè)備作為圖像解碼器456，由此可以提高編碼效率。作為其結(jié)果，蜂窩電話400可以獲得并顯示來自例如鏈接到簡(jiǎn)單網(wǎng)站等的運(yùn)動(dòng)圖像文件的較高清晰度的解碼圖像。

注意，到此為止已進(jìn)行了其中蜂窩電話400采用ccd攝像裝置416的描述，但是蜂窩電話400可以采用使用cmos(互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器(cmos圖像傳感器)替代該ccd攝像裝置416。在該情況下，蜂窩電話400也可以按照與采用ccd攝像裝置416的情況相同的方式，對(duì)物體成像并且生成物體的圖像的圖像數(shù)據(jù)。

再者，到此為止已進(jìn)行了關(guān)于蜂窩電話400的描述，但是上述圖像編碼設(shè)備和上述圖像解碼設(shè)備可以按照與蜂窩電話400的情況相同的方式應(yīng)用于任何類型的設(shè)備，只要該設(shè)備具有與蜂窩電話400相同的成像功能和通信功能即可，例如諸如pda(個(gè)人數(shù)字助理)、智能電話、umpc(超級(jí)移動(dòng)個(gè)人計(jì)算機(jī))、上網(wǎng)本、筆記本大小的個(gè)人計(jì)算機(jī)等。

[硬盤記錄器的配置示例]

圖29是圖示使用已被應(yīng)用本發(fā)明的圖像編碼設(shè)備和圖像解碼設(shè)備的硬盤記錄器的主要配置示例的框圖。

圖29中所示的硬盤記錄器(hdd記錄器)500是如下設(shè)備，其在內(nèi)建硬盤中存儲(chǔ)由調(diào)諧器接收的并且從衛(wèi)星或地面天線等傳送的廣播波信號(hào)(電視信號(hào))中包括的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)，并且在根據(jù)用戶指令的定時(shí)將存儲(chǔ)的數(shù)據(jù)提供給用戶。

例如，硬盤記錄器500可以從廣播波信號(hào)提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，適當(dāng)?shù)貙?duì)它們解碼，并且存儲(chǔ)在內(nèi)建硬盤中。再者，例如，硬盤記錄器500還可以經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲得音頻數(shù)據(jù)和視頻數(shù)據(jù)，適當(dāng)?shù)貙?duì)它們解碼，并且存儲(chǔ)在內(nèi)建硬盤中。

此外，例如，硬盤記錄器500可以對(duì)內(nèi)建硬盤中記錄的音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼，將其提供給監(jiān)視器560，在監(jiān)視器560的屏幕上顯示其圖像，并且從監(jiān)視器560的揚(yáng)聲器輸出其音頻。

例如，硬盤記錄器500可以對(duì)從經(jīng)由調(diào)諧器獲得的廣播信號(hào)提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)，或者經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲得的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼，將其提供給監(jiān)視器560，在監(jiān)視器560的屏幕上顯示其圖像，并且從監(jiān)視器560的揚(yáng)聲器輸出其音頻。

當(dāng)然，可以執(zhí)行這些操作以外的操作。

如圖29中所示，硬盤記錄器500包括接收單元521、解調(diào)單元522、解復(fù)用器523、音頻解碼器524、視頻解碼器525、和記錄器控制單元526。硬盤記錄器500進(jìn)一步包括epg數(shù)據(jù)存儲(chǔ)器527、程序存儲(chǔ)器528、工作存儲(chǔ)器529、顯示轉(zhuǎn)換器530、osd(屏幕上顯示)控制單元531、顯示控制單元532、記錄/播放單元533、d/a轉(zhuǎn)換器534、和通信單元535。

再者，顯示轉(zhuǎn)換器530包括視頻編碼器541。記錄/播放單元533包括編碼器551和解碼器552。

接收單元521從遙控器(未示出)接收紅外信號(hào)，轉(zhuǎn)換成電信號(hào)、并且輸出到記錄器控制單元526。記錄器控制單元526由例如微處理器等構(gòu)成，并且根據(jù)程序存儲(chǔ)器528中存儲(chǔ)的程序執(zhí)行各種類型的處理。此時(shí)，記錄器控制單元526根據(jù)需要使用工作存儲(chǔ)器529。

連接到網(wǎng)絡(luò)的通信單元535經(jīng)由網(wǎng)絡(luò)執(zhí)行與另一設(shè)備的通信處理。例如，記錄器控制單元526控制通信單元535與調(diào)諧器(未示出)通信，并且通信單元535主要向調(diào)諧器輸出頻道選擇控制信號(hào)。

解調(diào)單元522對(duì)從調(diào)諧器提供的信號(hào)解調(diào)，并且輸出到解復(fù)用器523。解復(fù)用器523將從解調(diào)單元522提供的數(shù)據(jù)分離成音頻數(shù)據(jù)、視頻數(shù)據(jù)和epg數(shù)據(jù)，并且分別輸出到音頻解碼器524、視頻解碼器525和記錄器控制單元526。

音頻解碼器524例如利用mpeg格式對(duì)輸入的音頻數(shù)據(jù)解碼，并且輸出到記錄/播放單元533。視頻解碼器525例如利用mpeg格式對(duì)輸入的視頻數(shù)據(jù)解碼，并且輸出到顯示轉(zhuǎn)換器530。記錄器控制單元526將輸入的epg數(shù)據(jù)提供給epg數(shù)據(jù)存儲(chǔ)器527用于存儲(chǔ)。

顯示轉(zhuǎn)換器530使用視頻編碼器541，將從視頻解碼器525或記錄器控制單元526提供的視頻數(shù)據(jù)編碼成例如符合ntsc(美國電視標(biāo)準(zhǔn)委員會(huì))格式的視頻數(shù)據(jù)，并且輸出到記錄/播放單元533。再者，顯示轉(zhuǎn)換器530將從視頻解碼器525或記錄器控制單元526提供的視頻數(shù)據(jù)的屏幕尺寸轉(zhuǎn)換成與監(jiān)視器560的尺寸對(duì)應(yīng)的尺寸，使用視頻編碼器541將屏幕尺寸已被轉(zhuǎn)換的視頻數(shù)據(jù)轉(zhuǎn)換成符合ntsc格式的視頻數(shù)據(jù)，轉(zhuǎn)換成模擬信號(hào)，并且輸出到顯示控制單元532。

顯示控制單元532在記錄器控制單元526的控制下，將從osd(屏幕上顯示)控制單元531輸出的osd信號(hào)疊加在從顯示轉(zhuǎn)換器530輸入的視頻信號(hào)上，并且輸出到監(jiān)視器560的顯示器用于顯示。

再者，已使用d/a轉(zhuǎn)換器534將從音頻解碼器524輸出的音頻數(shù)據(jù)轉(zhuǎn)換成模擬信號(hào)，并且將其提供給監(jiān)視器560。監(jiān)視器560從內(nèi)建揚(yáng)聲器輸出該音頻信號(hào)。

記錄/播放單元533包括作為其中記錄視頻數(shù)據(jù)、音頻數(shù)據(jù)等的記錄介質(zhì)的硬盤。

記錄/播放單元533通過編碼器551利用mpeg格式對(duì)從音頻解碼器524提供的音頻數(shù)據(jù)編碼。再者，記錄/播放單元533通過編碼器551利用mpeg格式對(duì)從顯示轉(zhuǎn)換器530的視頻編碼器541提供的視頻數(shù)據(jù)編碼。記錄/播放單元533使用復(fù)用器合成其音頻數(shù)據(jù)的編碼數(shù)據(jù)以及其視頻數(shù)據(jù)的編碼數(shù)據(jù)。記錄/播放單元533通過信道編碼對(duì)其合成數(shù)據(jù)進(jìn)行放大，并且經(jīng)由記錄頭將其數(shù)據(jù)寫入硬盤。

記錄/播放單元533經(jīng)由播放頭播放硬盤中記錄的數(shù)據(jù)，進(jìn)行放大，并且使用解復(fù)用器分離成音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/播放單元533使用mpeg格式通過解碼器552對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼。記錄/播放單元533將解碼的音頻數(shù)據(jù)從數(shù)字轉(zhuǎn)換成模擬，并且輸出到監(jiān)視器560的揚(yáng)聲器。再者，記錄/播放單元533將解碼的視頻數(shù)據(jù)從數(shù)字轉(zhuǎn)換成模擬，并且輸出到監(jiān)視器560的顯示器。

記錄器控制單元526基于經(jīng)由接收單元521接收的、來自遙控器的紅外信號(hào)所指示的用戶指令，從epg數(shù)據(jù)存儲(chǔ)器527讀出最新的epg數(shù)據(jù)，并且提供給osd控制單元531。osd控制單元531生成與輸入epg數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)，并且輸出到顯示控制單元532。顯示控制單元532將從osd控制單元531輸入的視頻數(shù)據(jù)輸出到監(jiān)視器560的顯示器用于顯示。因此epg(電子節(jié)目指南)顯示在監(jiān)視器560的顯示器上。

再者，硬盤記錄器500可以經(jīng)由諸如互聯(lián)網(wǎng)等的網(wǎng)絡(luò)，獲得從另一設(shè)備提供的諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)、epg數(shù)據(jù)等的各種類型的數(shù)據(jù)。

由記錄器控制單元526控制通信單元535以經(jīng)由網(wǎng)絡(luò)獲得從另一設(shè)備傳送的諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)、epg數(shù)據(jù)等的編碼數(shù)據(jù)，并且將其提供給記錄器控制單元526。記錄器控制單元526將獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供給記錄/播放單元533，并且存儲(chǔ)在例如硬盤中。此時(shí)，記錄器控制單元526和記錄/播放單元533可以根據(jù)需要執(zhí)行諸如重新編碼等的處理。

再者，記錄器控制單元526對(duì)獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，并且將獲得的視頻數(shù)據(jù)提供給顯示轉(zhuǎn)換器530。顯示轉(zhuǎn)換器530按照與從視頻解碼器525提供的視頻數(shù)據(jù)相同的方式，處理從記錄器控制單元526提供的視頻數(shù)據(jù)，經(jīng)由顯示控制單元532提供給監(jiān)視器560用于顯示其圖像。

替選地，可以進(jìn)行如下布置：其中根據(jù)該圖像顯示，記錄器控制單元526經(jīng)由d/a轉(zhuǎn)換器534向監(jiān)視器560提供解碼的音頻數(shù)據(jù)，并且從揚(yáng)聲器輸出其音頻。

此外，記錄器控制單元526對(duì)獲得的epg數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，并且將解碼的epg數(shù)據(jù)提供給epg數(shù)據(jù)存儲(chǔ)器527。

因此硬盤記錄器500采用上述圖像解碼設(shè)備作為視頻解碼器525、解碼器552以及容納在記錄器控制單元526中的解碼器。因此，按照與上述圖像解碼設(shè)備相同的方式，視頻解碼器525、解碼器552以及容納在記錄器控制單元526中的解碼器能夠?qū)崿F(xiàn)較高的編碼效率。

因此，硬盤記錄器500可以生成較高清晰度的預(yù)測(cè)圖像。作為其結(jié)果，硬盤記錄器500可以從經(jīng)由調(diào)諧器接收的視頻數(shù)據(jù)的編碼數(shù)據(jù)、從記錄/播放單元533的硬盤讀出的視頻數(shù)據(jù)的編碼數(shù)據(jù)、以及經(jīng)由網(wǎng)絡(luò)獲得的視頻數(shù)據(jù)的編碼數(shù)據(jù)，獲得較高清晰度的解碼圖像，并且顯示在例如監(jiān)視器560上。

再者，硬盤記錄器500采用上述圖像編碼設(shè)備作為編碼器551。因此，按照與上述圖像編碼設(shè)備的情況相同的方式，編碼器551能夠提高編碼效率。

因此，硬盤記錄器500可以實(shí)現(xiàn)處理速度的增加，并且還提高了將被記錄在例如硬盤中的編碼數(shù)據(jù)的編碼效率。作為其結(jié)果，硬盤記錄器500可以更高效地使用硬盤的存儲(chǔ)區(qū)域。

注意，到此為止已進(jìn)行了關(guān)于用于將視頻數(shù)據(jù)和音頻數(shù)據(jù)記錄在硬盤中的硬盤記錄器500的描述，但是毋庸置疑，可以采用任何類型的記錄介質(zhì)。例如，即使對(duì)于被應(yīng)用除了硬盤以外的、諸如閃速存儲(chǔ)器、光盤、錄像帶等的記錄介質(zhì)的記錄器，仍可以按照與上述硬盤記錄器500的情況相同的方式，對(duì)其應(yīng)用上述圖像編碼設(shè)備和圖像解碼設(shè)備。

[攝像裝置的配置示例]

圖30是圖示使用已被應(yīng)用本發(fā)明的圖像編碼設(shè)備和圖像解碼設(shè)備的攝像裝置的主要配置示例的框圖。

圖30中所示的攝像裝置600對(duì)物體成像，將物體的圖像顯示在lcd616上，并且將其作為圖像數(shù)據(jù)記錄在記錄介質(zhì)633中。

透鏡模塊611將光(即，物體的圖片)輸入到ccd/cmos612。ccd/cmos612是采用ccd或cmos的圖像傳感器，其將接收到的光的強(qiáng)度轉(zhuǎn)換成電信號(hào)，并且提供給攝像裝置信號(hào)處理單元613。

攝像裝置信號(hào)處理單元613將從ccd/cmos612提供的電信號(hào)轉(zhuǎn)換成y、cr和cb的色差信號(hào)，并且提供給圖像信號(hào)處理單元614。圖像信號(hào)處理單元614在控制器621的控制下，使從攝像裝置信號(hào)處理單元613提供的圖像信號(hào)經(jīng)歷預(yù)定的圖像處理，或者使用例如mpeg格式通過編碼器641對(duì)其圖像信號(hào)進(jìn)行編碼。圖像信號(hào)處理單元614將通過對(duì)圖像信號(hào)編碼生成的編碼數(shù)據(jù)提供給解碼器615。此外，圖像信號(hào)處理單元614獲得在屏幕上顯示(osd)620處生成的關(guān)于顯示的數(shù)據(jù)，并且將其提供給解碼器615。

對(duì)于上述處理，攝像裝置信號(hào)處理單元613適當(dāng)?shù)乩媒?jīng)由總線617連接的dram(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)618，以根據(jù)需要將圖像數(shù)據(jù)、根據(jù)其圖像數(shù)據(jù)編碼的編碼數(shù)據(jù)等保存在其dram618中。

解碼器615對(duì)從圖像信號(hào)處理單元614提供的編碼數(shù)據(jù)進(jìn)行解碼，并且將獲得的圖像數(shù)據(jù)(解碼的圖像數(shù)據(jù))提供給lcd616。再者，解碼器615將從圖像信號(hào)處理單元614提供的關(guān)于顯示的數(shù)據(jù)提供給lcd616。lcd616適當(dāng)?shù)睾铣蓮慕獯a器615提供的解碼的圖像數(shù)據(jù)的圖像以及關(guān)于顯示的數(shù)據(jù)的圖像，并且顯示其合成圖像。

屏幕上顯示620在控制器621的控制下，經(jīng)由總線617向圖像信號(hào)處理單元614輸出關(guān)于顯示的數(shù)據(jù)，諸如由符號(hào)、字符或圖形構(gòu)成的菜單屏幕或圖標(biāo)等。

基于指示用戶使用操作單元622命令的內(nèi)容的信號(hào)，控制器621執(zhí)行各種類型的處理，并且還經(jīng)由總線617控制圖像信號(hào)處理單元614、dram618、外部接口619、屏幕上顯示620、介質(zhì)驅(qū)動(dòng)器623等?？刂破?21執(zhí)行各種類型的處理所需的程序、數(shù)據(jù)等存儲(chǔ)在閃速rom624中。

例如，控制器621可以對(duì)dram618中存儲(chǔ)的圖像數(shù)據(jù)進(jìn)行編碼，或者對(duì)存儲(chǔ)在dram618中的編碼數(shù)據(jù)進(jìn)行解碼，而不是由圖像信號(hào)處理單元614和解碼器615進(jìn)行這些操作。此時(shí)，控制器621可以使用與圖像信號(hào)處理單元614和解碼器615的編碼/解碼格式相同的格式來執(zhí)行編碼/解碼處理，或者可以使用圖像信號(hào)處理單元614和解碼器615均不能處置的格式來執(zhí)行編碼/解碼處理。

再者，例如，在從操作單元622已指令開始圖像打印的情況下，控制器621從dram618讀出圖像數(shù)據(jù)，并且經(jīng)由總線617將其提供給連接到外部接口619的打印機(jī)634用于打印。

此外，例如，在從操作單元622已指令圖像記錄的情況下，控制器621從dram618讀出編碼數(shù)據(jù)，并且經(jīng)由總線617將其提供給安裝在介質(zhì)驅(qū)動(dòng)器623上的記錄介質(zhì)633用于存儲(chǔ)。

記錄介質(zhì)633是可選的可讀/可寫可移除介質(zhì)，例如諸如磁盤、磁光盤、光盤、半導(dǎo)體存儲(chǔ)器等。毋庸置疑，記錄介質(zhì)633對(duì)于可移除介質(zhì)的類型也是可選的，并且因此可以是磁帶設(shè)備，或者可以是盤片，或者可以是存儲(chǔ)器卡。毋庸置疑，記錄介質(zhì)633可以是非接觸ic卡等。

替選地，介質(zhì)驅(qū)動(dòng)器623和記錄介質(zhì)633可以被配置成集成到非便攜記錄介質(zhì)中，例如諸如內(nèi)建的硬盤驅(qū)動(dòng)器、ssd(固態(tài)驅(qū)動(dòng)器)等。

外部接口619由例如usb輸入/輸出端子等構(gòu)成，并且在執(zhí)行圖像打印的情況下連接到打印機(jī)634。再者，驅(qū)動(dòng)器631根據(jù)需要連接到外部接口619，諸如磁盤、光盤或磁光盤的可移除介質(zhì)632適當(dāng)?shù)匕惭b在該驅(qū)動(dòng)器631上，并且從其中讀出的計(jì)算機(jī)程序根據(jù)需要安裝在閃速rom624中。

此外，外部接口619包括網(wǎng)絡(luò)接口，以連接到諸如lan、互聯(lián)網(wǎng)等的預(yù)定網(wǎng)絡(luò)。例如，根據(jù)來自操作單元622的指令，控制器621可以從dram618讀出編碼數(shù)據(jù)，并且將其從外部接口619提供給經(jīng)由網(wǎng)絡(luò)連接的另一設(shè)備。再者，控制器621可以經(jīng)由外部接口619獲得從另一設(shè)備經(jīng)由網(wǎng)絡(luò)提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并且將其保存在dram618中，或者將其提供給圖像信號(hào)處理單元614。

這樣配置的攝像裝置600采用上述圖像解碼設(shè)備作為解碼器615。因此，按照與上述圖像解碼設(shè)備相同的方式，解碼器615能夠?qū)崿F(xiàn)較高的編碼效率。

因此，攝像裝置600可以生成具有高精度的預(yù)測(cè)圖像。作為其結(jié)果，攝像裝置600可以從例如在ccd/cmos612處生成的圖像數(shù)據(jù)、從dram618或記錄介質(zhì)633讀出的視頻數(shù)據(jù)的編碼數(shù)據(jù)、以及經(jīng)由網(wǎng)絡(luò)獲得的視頻數(shù)據(jù)的編碼數(shù)據(jù)，獲得較高清晰度的解碼圖像，并且顯示在lcd616上。

再者，攝像裝置600采用上述圖像編碼設(shè)備作為編碼器641。因此，按照與上述圖像編碼設(shè)備相同的方式，編碼器641能夠?qū)崿F(xiàn)較高的編碼效率。

因此，攝像裝置600可以提高將被記錄在例如硬盤中的編碼數(shù)據(jù)的編碼效率。作為其結(jié)果，攝像裝置600可以更高效地使用dram618或記錄介質(zhì)633的存儲(chǔ)區(qū)域。

注意，上述圖像解碼設(shè)備的解碼方法可以應(yīng)用于控制器621執(zhí)行的解碼處理。同樣地，上述圖像編碼設(shè)備的編碼方法可以應(yīng)用于控制器621執(zhí)行的編碼處理。

再者，攝像裝置600拍攝的圖像數(shù)據(jù)可以是運(yùn)動(dòng)圖像或者可以是靜止圖像。

毋庸置疑，上述圖像編碼設(shè)備和圖像解碼設(shè)備可以應(yīng)用于上述設(shè)備以外的設(shè)備或系統(tǒng)。

注意，本技術(shù)也可以采用如下配置。

(1)一種圖像處理設(shè)備，包括：

碼數(shù)分配單元，配置成根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及

預(yù)測(cè)運(yùn)動(dòng)向量生成單元，配置成使用作為待處理的當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息的外圍運(yùn)動(dòng)信息來生成區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且依據(jù)由碼數(shù)分配單元已決定的分配碼數(shù)的方式，將碼數(shù)分配給已生成的預(yù)測(cè)運(yùn)動(dòng)向量信息。

(2)根據(jù)(1)的圖像處理設(shè)備，其中碼數(shù)分配單元針對(duì)預(yù)測(cè)處理的每個(gè)遞增區(qū)域，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(3)根據(jù)(2)的圖像處理設(shè)備，其中在區(qū)域是靜止區(qū)域的情況下，碼數(shù)分配單元控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息。

(4)根據(jù)(3)的圖像處理設(shè)備，其中在區(qū)域是靜止區(qū)域的情況下，預(yù)測(cè)運(yùn)動(dòng)向量生成單元僅生成時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息，并且向時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息分配由碼數(shù)分配單元決定的碼數(shù)。

(5)根據(jù)(2)至(4)中任一個(gè)的圖像處理設(shè)備，其中在區(qū)域是移動(dòng)區(qū)域的情況下，碼數(shù)分配單元控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息。

(6)根據(jù)(2)至(5)中任一個(gè)的圖像處理設(shè)備，進(jìn)一步包括：

靜止區(qū)域確定單元，配置成確定當(dāng)前區(qū)域是否是靜止區(qū)域；

其中碼數(shù)分配單元依據(jù)靜止區(qū)域確定單元的確定結(jié)果，控制將碼數(shù)分配給當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(7)根據(jù)(6)的圖像處理設(shè)備，其中靜止區(qū)域確定單元使用當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息來確定當(dāng)前區(qū)域是否是靜止區(qū)域。

(8)根據(jù)(7)的圖像處理設(shè)備，其中在當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息的水平分量和運(yùn)動(dòng)信息的豎直分量的絕對(duì)值在預(yù)定閾值內(nèi)的情況下，并且還在參考索引是0，應(yīng)用ref_picr_reordering，或者參考索引具有指示緊鄰的先前圖片的poc值的情況下，靜止區(qū)域確定單元將當(dāng)前區(qū)域確定為靜止區(qū)域。

(9)根據(jù)(1)至(8)中任一個(gè)的圖像處理設(shè)備，其中碼數(shù)分配單元根據(jù)用戶設(shè)定控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(10)根據(jù)(1)至(9)中任一個(gè)的圖像處理設(shè)備，其中碼數(shù)分配單元控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便提高編碼效率。

(11)根據(jù)(1)至(10)中任一個(gè)的圖像處理設(shè)備，其中碼數(shù)分配單元控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便使主觀圖像質(zhì)量最優(yōu)化。

(12)根據(jù)(1)的圖像處理設(shè)備，其中碼數(shù)分配單元針對(duì)每個(gè)切片控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(13)根據(jù)(1)至(12)中任一個(gè)的圖像處理設(shè)備，進(jìn)一步包括：

標(biāo)志生成單元，配置成生成指示其中分配碼數(shù)的方式能夠改變的可變模式的標(biāo)志。

(14)根據(jù)(1)至(13)中任一個(gè)的圖像處理設(shè)備，其中預(yù)測(cè)運(yùn)動(dòng)向量生成單元針對(duì)每個(gè)預(yù)測(cè)模式生成多個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息；

并且進(jìn)一步包括：

差運(yùn)動(dòng)向量生成單元，配置成針對(duì)每個(gè)預(yù)測(cè)模式，從預(yù)測(cè)運(yùn)動(dòng)向量生成單元生成的多個(gè)預(yù)測(cè)運(yùn)動(dòng)向量信息中選擇最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量信息，并且生成作為針對(duì)當(dāng)前區(qū)域的運(yùn)動(dòng)向量的差的差運(yùn)動(dòng)向量；

模式確定單元，配置成從各預(yù)測(cè)模式中確定最優(yōu)預(yù)測(cè)模式；以及

傳送單元，配置成傳送模式確定單元確定的預(yù)測(cè)模式的差運(yùn)動(dòng)向量信息，以及預(yù)測(cè)模式的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。

(15)根據(jù)(14)的圖像處理設(shè)備，進(jìn)一步包括：

編碼單元，配置成對(duì)模式確定單元確定的預(yù)測(cè)模式的差運(yùn)動(dòng)向量信息，以及預(yù)測(cè)模式的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)進(jìn)行編碼；

其中傳送單元傳送編碼單元編碼的差運(yùn)動(dòng)向量信息，以及預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)。

(16)一種圖像處理設(shè)備的圖像處理方法，該方法包括：

碼數(shù)分配單元根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及

預(yù)測(cè)運(yùn)動(dòng)向量生成單元使用作為待處理的當(dāng)前區(qū)域的外圍區(qū)域的運(yùn)動(dòng)信息的外圍運(yùn)動(dòng)信息來生成區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息，并且依據(jù)已決定的分配碼數(shù)的方式，將碼數(shù)分配給已生成的預(yù)測(cè)運(yùn)動(dòng)向量信息。

(17)一種圖像處理設(shè)備，包括：

碼數(shù)分配單元，配置成根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及

預(yù)測(cè)運(yùn)動(dòng)向量重建單元，配置成獲得待處理的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且依據(jù)由碼數(shù)分配單元已決定的分配碼數(shù)的方式，根據(jù)碼數(shù)重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

(18)根據(jù)(17)的圖像處理設(shè)備，其中碼數(shù)分配單元針對(duì)預(yù)測(cè)處理的每個(gè)遞增區(qū)域，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(19)根據(jù)(18)的圖像處理設(shè)備，其中在區(qū)域是靜止區(qū)域的情況下，碼數(shù)分配單元控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給時(shí)間預(yù)測(cè)運(yùn)動(dòng)向量信息。

(20)根據(jù)(18)或(19)的圖像處理設(shè)備，其中在區(qū)域是移動(dòng)區(qū)域的情況下，碼數(shù)分配單元控制分配碼數(shù)的方式，使得小的碼數(shù)被分配給空間預(yù)測(cè)運(yùn)動(dòng)向量信息。

(21)根據(jù)(18)至(20)中任一個(gè)的圖像處理設(shè)備，進(jìn)一步包括：

靜止區(qū)域確定單元，配置成確定當(dāng)前區(qū)域是否是靜止區(qū)域；

其中碼數(shù)分配單元依據(jù)靜止區(qū)域確定單元的確定結(jié)果，控制將碼數(shù)分配給當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(22)根據(jù)(21)的圖像處理設(shè)備，其中靜止區(qū)域確定單元使用當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息來確定當(dāng)前區(qū)域是否是靜止區(qū)域。

(23)根據(jù)(22)的圖像處理設(shè)備，其中在當(dāng)前區(qū)域的并置區(qū)域的運(yùn)動(dòng)信息的水平分量和運(yùn)動(dòng)信息的豎直分量的絕對(duì)值在預(yù)定閾值內(nèi)的情況下，并且還在參考索引是0，應(yīng)用ref_picr_reordering，或者參考索引具有指示緊鄰的先前圖片的poc值的情況下，靜止區(qū)域確定單元將當(dāng)前區(qū)域確定為靜止區(qū)域。

(24)根據(jù)(17)至(23)中任一個(gè)的圖像處理設(shè)備，其中碼數(shù)分配單元根據(jù)用戶設(shè)定控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(25)根據(jù)(17)至(24)中任一個(gè)的圖像處理設(shè)備，其中碼數(shù)分配單元控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便提高編碼效率。

(26)根據(jù)(17)至(25)中任一個(gè)的圖像處理設(shè)備，其中碼數(shù)分配單元控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式以便使主觀圖像質(zhì)量最優(yōu)化。

(27)根據(jù)(17)的圖像處理設(shè)備，其中碼數(shù)分配單元針對(duì)每個(gè)切片控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(28)根據(jù)(16)至(27)中任一個(gè)的圖像處理設(shè)備，進(jìn)一步包括：

標(biāo)志獲得單元，配置成獲得指示其中分配碼數(shù)的方式能夠改變的可變模式的標(biāo)志；

其中在標(biāo)志獲得單元獲得的標(biāo)志指示可變模式的情況下，碼數(shù)分配單元控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式。

(29)一種圖像處理設(shè)備的圖像處理方法，該方法包括：

碼數(shù)分配單元根據(jù)圖像的運(yùn)動(dòng)特征，控制將碼數(shù)分配給預(yù)測(cè)運(yùn)動(dòng)向量信息的方式；以及

預(yù)測(cè)運(yùn)動(dòng)向量重建單元獲得待處理的當(dāng)前區(qū)域的預(yù)測(cè)運(yùn)動(dòng)向量信息的碼數(shù)，并且依據(jù)已決定的分配碼數(shù)的方式，根據(jù)碼數(shù)重建預(yù)測(cè)運(yùn)動(dòng)向量信息。

附圖標(biāo)記列表

51圖像編碼設(shè)備

66無損編碼單元

74幀內(nèi)預(yù)測(cè)單元

75運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元

76預(yù)測(cè)運(yùn)動(dòng)向量生成單元

77碼數(shù)分配單元

91運(yùn)動(dòng)搜索單元

92成本函數(shù)計(jì)算單元

93最優(yōu)預(yù)測(cè)運(yùn)動(dòng)向量選擇單元

94模式確定單元

95運(yùn)動(dòng)補(bǔ)償單元

101圖像解碼設(shè)備

112無損解碼單元

121幀內(nèi)預(yù)測(cè)單元

122運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元

123碼數(shù)分配緩沖器

124預(yù)測(cè)運(yùn)動(dòng)向量生成單元

131差向量緩沖器

132塊級(jí)碼數(shù)緩沖器

133運(yùn)動(dòng)向量生成單元

134運(yùn)動(dòng)向量緩沖器

135運(yùn)動(dòng)補(bǔ)償單元

151圖像解碼設(shè)備

161碼數(shù)分配單元

162無損編碼單元

163最優(yōu)碼數(shù)分配確定單元