專(zhuān)利名稱(chēng)：編碼裝置、編碼方法、解碼裝置和解碼方法
技術(shù)領(lǐng)域：
本技術(shù)涉及一種編碼裝置、編碼方法、解碼裝置和解碼方法，更具體地，涉及一種能夠根據(jù)與現(xiàn)有模式兼容的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼的編碼裝置、編碼方法、解碼裝置和解碼方法。
背景技術(shù)：
當(dāng)前，作為3D圖像觀看模式，一般地，存在通過(guò)佩戴在顯示兩視點(diǎn)圖像中的一個(gè)圖像時(shí)左眼快門(mén)打開(kāi)并且在顯示另一圖像時(shí)右眼快門(mén)打開(kāi)的眼鏡而看到交替顯示的兩視點(diǎn)圖像的模式(下文中稱(chēng)為兩視點(diǎn)模式)。然而，在這樣的兩視點(diǎn)模式下，除了 3D圖像顯示裝置之外，觀看者還需要購(gòu)買(mǎi)眼鏡，因此，觀看者的購(gòu)買(mǎi)意愿下降。另外，由于觀看者需要佩戴用于觀看的眼鏡，因此這使得觀看者煩惱。因此，對(duì)于可以在不佩戴眼鏡的情況下觀看3D圖像的觀看模式(下文中稱(chēng)為多視點(diǎn)模式)的需求增加。在多視點(diǎn)模式下，多視點(diǎn)圖像被顯示為使得可觀看角度對(duì)于每個(gè)視點(diǎn)是不同的，并且用左眼和右眼觀看任意兩個(gè)視點(diǎn)的圖像的觀看者可以看到3D圖像而無(wú)需佩戴眼鏡。提供多視點(diǎn)模式的觀看的顯示裝置例如基于用于兩視點(diǎn)模式的兩個(gè)視點(diǎn)的圖像而生成用于多視點(diǎn)模式的多視點(diǎn)圖像，并且顯示所生成的多視點(diǎn)圖像。更具體地，顯示裝置使用圖像視差估計(jì)技術(shù)(深度估計(jì))來(lái)獲取用于兩視點(diǎn)模式的兩視點(diǎn)圖像的視差(深度)。然后，顯示裝置使用利用兩個(gè)視點(diǎn)的圖像之間的視差的多視點(diǎn)圖像生成技術(shù)(視圖生成)和合成技術(shù)(視圖合成)來(lái)生成鄰近于與用于兩視點(diǎn)模式的兩個(gè)視點(diǎn)的圖像對(duì)應(yīng)的視點(diǎn)的多視點(diǎn)圖像的合成圖像，并且顯示該合成圖像?，F(xiàn)有 編碼模式包括高級(jí)視頻編碼(AVC)模式和多視圖視頻編碼(MVC)模式。圖1是示出根據(jù)AVC模式對(duì)2D圖像進(jìn)行編碼并且對(duì)編碼圖像進(jìn)行解碼的圖像處理系統(tǒng)的示例的圖。圖1所示的圖像處理系統(tǒng)10由成像單元11、AVC編碼器12和AVC解碼器13構(gòu)成。圖像處理系統(tǒng)10的成像單元11捕獲預(yù)定視點(diǎn)的圖像A并且將所捕獲的圖像提供到AVC編碼器12。AVC編碼器12根據(jù)AVC模式對(duì)從成像單元11提供的圖像A進(jìn)行編碼并且將編碼圖像提供到AVC解碼器13。AVC解碼器13根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)從AVC編碼器12提供的編碼后的圖像A進(jìn)行解碼。AVC解碼器13輸出作為解碼處理的結(jié)果而獲取的圖像A，從而顯示該圖像。以此方式，觀看者可以看到2D圖像。圖2是示出根據(jù)AVC模式對(duì)兩個(gè)視點(diǎn)的圖像進(jìn)行編碼并且對(duì)該圖像進(jìn)行解碼的圖像處理系統(tǒng)的示例的圖。圖2所示的圖像處理系統(tǒng)20由成像單元21A、成像單元21B、AVC編碼器22和AVC解碼器23構(gòu)成。成像單元21A捕獲預(yù)定視點(diǎn)的圖像A，將該圖像的分辨率減半，并且將所得到的圖像作為畫(huà)面的左半部分圖像提供到AVC編碼器22。另外，成像單元21B捕獲與圖像A的視點(diǎn)不同的視點(diǎn)的圖像B，將該圖像的分辨率減半，并且將所得到的圖像作為畫(huà)面的右半部分圖像提供到AVC編碼器22。AVC編碼器22根據(jù)AVC模式對(duì)左半部分由分辨率已被減半的圖像A (下文中稱(chēng)為1/2分辨率圖像A)構(gòu)成而右半部分由分辨率已被減半的圖像B (下文中稱(chēng)為1/2分辨率圖像B)構(gòu)成的圖像進(jìn)行編碼，并且將編碼圖像提供到AVC解碼器23。AVC解碼器23根據(jù)與aVC模式對(duì)應(yīng)的模式對(duì)從AVC編碼器22提供的編碼后的圖像進(jìn)行解碼。AVC解碼器23輸出作為解碼處理的結(jié)果而獲取的圖像并且交替地顯示1/2分辨率圖像A和B。此時(shí)，觀看者例如佩戴在顯示1/2分辨率圖像A時(shí)左眼快門(mén)打開(kāi)并且在顯示1/2分辨率圖像B時(shí)右眼快門(mén)打開(kāi)的眼鏡，僅用左眼觀看1/2分辨率圖像A，并且僅用右眼觀看1/2分辨率圖像B。以此方式，觀看者可以看到3D圖像。圖3是示出根據(jù)MVC模式對(duì)兩個(gè)視點(diǎn)的圖像進(jìn)行編碼并且對(duì)編碼圖像進(jìn)行解碼的圖像處理系統(tǒng)的圖。圖3所示的圖像處理系統(tǒng)30由成像單元31A、成像單元31B、MVC編碼器32和MVC解碼器33構(gòu)成。成像單元31A捕獲預(yù)定視點(diǎn)的圖像A并且將所捕獲的圖像提供到MVC編碼器32。另外，成像單元31B捕獲與圖像A的視點(diǎn)不同的視點(diǎn)的圖像B，并且將所捕獲的圖像提供到MVC編碼器32。MVC編碼器32根據(jù)AVC模式對(duì)從成像單元31A提供的作為基本圖像的圖像A進(jìn)行編碼，并且根據(jù)MVC模式對(duì)從成像單元3IB提供的作為從屬圖像(dependent image)的圖像B進(jìn)行編碼。MVC編碼器32將編碼后的圖像A和B提供到MVC解碼器33。MVC解碼器33根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)從MVC編碼器32提供的編碼后的圖像A和B進(jìn)行解碼。MVC解碼器33輸出作為解碼處理的結(jié)果而獲取的圖像A和B，并且交替地顯示這些圖像。此時(shí)，觀看者例如佩戴在顯示圖像A時(shí)左眼快門(mén)打開(kāi)并且在顯示圖像B時(shí)右眼快門(mén)打開(kāi)的眼鏡，僅用左眼觀看圖像A，并且僅用右眼觀看圖像B。以此方式，觀看者可以看到3D圖像。圖4是示出通過(guò)根據(jù)MVC模式對(duì)兩個(gè)視點(diǎn)的圖像進(jìn)行編碼并且對(duì)圖像進(jìn)行解碼來(lái)生成多視點(diǎn)圖像的圖像處理系統(tǒng)的示例的圖。圖4所示的圖像處理系統(tǒng)40由成像單元31A和31B、MVC編碼器32、MVC解碼器33、視差檢測(cè)單元41和圖像生成單元42構(gòu)成。在圖4中，相同的附圖標(biāo)記被賦予與圖3所示的配置相同的配置，并且將適當(dāng)?shù)厥÷云涿枋觥?作為由MVC解碼器33執(zhí)行的解碼的結(jié)果而獲取的圖像A和B被提供到圖像處理系統(tǒng)40的視差檢測(cè)單元41。視差檢測(cè)單元41使用圖像A和B檢測(cè)圖像A和B的每個(gè)像素的視差。視差檢測(cè)單元41生成表示圖像A的每個(gè)像素的視差的視差圖像A’和表示圖像B的每個(gè)像素的視差的視差圖像B’，并且將所生成的視差圖像提供到圖像生成單元42。圖像生成單元42通過(guò)使用作為MVC解碼器33執(zhí)行的解碼的結(jié)果而獲取的圖像A和B以及從圖像生成單元42提供的視差圖像A’和B’來(lái)生成數(shù)量與圖中未示出的顯示裝置對(duì)應(yīng)的多視點(diǎn)的圖像。然后，圖像生成單元42將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成分辨率的“1/視點(diǎn)數(shù)量”，對(duì)圖像進(jìn)行合成，并且輸出合成圖像以進(jìn)行顯示。此時(shí)，合成之后的多視點(diǎn)圖像被顯示為使得觀看角度對(duì)于每個(gè)視點(diǎn)是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像而無(wú)需佩戴眼鏡。同時(shí)，還已想出了用于對(duì)多視點(diǎn)圖像進(jìn)行編碼的模式(例如，參見(jiàn)專(zhuān)利文獻(xiàn)I)。引用列表專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)1:日本專(zhuān)利申請(qǐng)?jiān)缙诠_(kāi)第2008-182669號(hào)

發(fā)明內(nèi)容
本發(fā)明要解決的問(wèn)題然而，沒(méi)有與用于兩個(gè)以下視點(diǎn)的圖像的現(xiàn)有編碼模式具有兼容性的、用于對(duì)多視點(diǎn)圖像進(jìn)行編碼的模式。本技術(shù)是鑒于這樣的情形而發(fā)明的并且實(shí)現(xiàn)了以與現(xiàn)有模式具有兼容性的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼和解碼。問(wèn)題的解決方案根據(jù)本技術(shù)的第一方面，提供了一種編碼裝置，其包括:兼容圖像編碼單元，通過(guò)在多視點(diǎn)圖像之中指定兼容圖像并對(duì)所指定的兼容圖像進(jìn)行編碼來(lái)生成第一編碼流；圖像轉(zhuǎn)換單元，對(duì)在從兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換；輔助圖像編碼單元，通過(guò)對(duì)經(jīng)圖像轉(zhuǎn)換單元轉(zhuǎn)換的輔助圖像進(jìn)行編碼來(lái)生成第二編碼流；設(shè)置單元，設(shè)置指定兼容圖像的兼容圖像指定信息；以及傳送單元，傳送兼容圖像編碼單元生成的第一編碼流、輔助圖像編碼單元生成的第二編碼流以及設(shè)置單元設(shè)置的兼容圖像指定信肩、O根據(jù)本技術(shù)的第一方面的編碼方法對(duì)應(yīng)于根據(jù)本技術(shù)的第一方面的編碼裝置。在本技術(shù)的第一方面，通過(guò)在多視點(diǎn)圖像之中指定兼容圖像并對(duì)所指定的兼容圖像進(jìn)行編碼來(lái)生成第一編碼流，通過(guò)對(duì)在從兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換并且對(duì)分辨率經(jīng)轉(zhuǎn)換的輔助圖像進(jìn)行編碼來(lái)生成第二編碼流，設(shè)置指定兼容圖像的兼容圖像指定信息，以及傳送第一編碼流、第二編碼流和兼容圖像指定信息。根據(jù)本技術(shù)的第二方面，提供了一種解碼裝置，其包括:接收單元，接收作為對(duì)在多視點(diǎn)圖像之中指定的兼容圖像進(jìn)行編碼的結(jié)果而獲取的第一編碼流、作為對(duì)在從兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換并對(duì)輔助圖像進(jìn)行編碼的結(jié)果而獲取的第二編碼流、以及指定兼容圖像的兼容圖像指定信息；兼容圖像解碼單元，基于兼容圖像指定信息識(shí)別第一編碼流并且對(duì)第一編碼流進(jìn)行解碼；輔助圖像解碼單元，對(duì)第二編碼流進(jìn)行解碼；以及圖像轉(zhuǎn)換單元，對(duì)作為輔助圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換。根據(jù)本技術(shù)的第二方面的解碼方法對(duì)應(yīng)于根據(jù)本技術(shù)的第二方面的解碼裝置。在本技術(shù)的第二方面，接收作為對(duì)在多視點(diǎn)圖像之中指定的兼容圖像進(jìn)行編碼的結(jié)果而獲取的第一編碼流、作為對(duì)在從兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換并對(duì)輔助圖像進(jìn)行編碼的結(jié)果而獲取的第二編碼流、以及指定兼容圖像的兼容圖像指定信息，基于兼容圖像指定信息識(shí)別第一編碼流，對(duì)第一編碼流進(jìn)行解碼，對(duì)第二編碼流進(jìn)行解碼，并且對(duì)作為解 碼的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換。
另外，可通過(guò)使得計(jì)算機(jī)執(zhí)行程序來(lái)實(shí)現(xiàn)根據(jù)第一方面的編碼裝置和根據(jù)第二方面的解碼裝置。此外，由計(jì)算機(jī)執(zhí)行以便實(shí)現(xiàn)根據(jù)第一方面的編碼裝置和根據(jù)第二方面的解碼裝置的程序可在通過(guò)傳送介質(zhì)來(lái)傳送或者記錄在記錄介質(zhì)上的情況下來(lái)提供。本發(fā)明的效果根據(jù)本技術(shù)的第一方面，可以以與現(xiàn)有模式具有兼容性的模式對(duì)多視點(diǎn)圖像進(jìn)行編碼。另外，根據(jù)本技術(shù)的第二方面，可以以與現(xiàn)有模式具有兼容性的模式對(duì)多視點(diǎn)圖像進(jìn)行解碼。


圖1是示出根據(jù)AVC模式對(duì)2D圖像進(jìn)行編碼并且對(duì)編碼圖像進(jìn)行解碼的圖像處理系統(tǒng)的示例的圖。圖2是示出根據(jù)AVC模式對(duì)兩個(gè)視點(diǎn)的圖像進(jìn)行編碼并且對(duì)編碼圖像進(jìn)行解碼的圖像處理系統(tǒng)的示例的圖。圖3是示出根據(jù)MVC模式對(duì)兩個(gè)視點(diǎn)的圖像進(jìn)行編碼并且對(duì)編碼圖像進(jìn)行解碼的圖像處理系統(tǒng)的示例的圖。圖4是示出通過(guò)根據(jù)MVC模式對(duì)兩個(gè)視點(diǎn)的圖像進(jìn)行編碼并且對(duì)編碼圖像進(jìn)行解碼來(lái)生成多視點(diǎn)圖像的圖像處理系統(tǒng)的示例的圖。圖5是示出根據(jù)本技術(shù)的第一實(shí)施例的編碼裝置的配置示例的框圖。圖6是示出兼容性信息和視差圖像信息的描述示例的圖。圖7是示出兼容性信息的詳細(xì)描述示例的圖。圖8是示出視差圖像信息的詳細(xì)描述示例的圖。圖9是示出視點(diǎn)間距離信息的描述示例的圖。圖10是示出圖5所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖11是示出圖5所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖12是示出與圖5所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖13是示出圖12所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖14是示出根據(jù)本技術(shù)的第二實(shí)施例的編碼裝置的配置示例的框圖。圖15是示出圖14所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖16是示出圖14所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖17是示出與圖14所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖18是示出圖17所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖19是示出根據(jù)本技術(shù)的第三實(shí)施例的編碼裝置的配置示例的框圖。圖20是示出圖19所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖21是示出圖19所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖22是示出與圖19所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖23是示出圖22所示的解碼裝置執(zhí)行的解碼處理的流程圖。

圖24是示出兼容性信息和視差圖像信息的另一描述示例的圖。
圖25是示出兼容性信息的另一詳細(xì)描述示例的圖。圖26是示出視差圖像信息的另一詳細(xì)描述示例的圖。圖27是示出視點(diǎn)間距離信息的另一描述示例的圖。圖28是示出根據(jù)本技術(shù)的第四實(shí)施例的編碼裝置的配置示例的框圖。圖29是示出視差圖像信息的又一描述示例的圖。圖30是示出圖28所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖31是示出圖28所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖32是示出與圖28所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖33是示出圖32所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖34是示出視差圖像信息的又一描述示例的圖。圖35是示出根據(jù)本技術(shù)的第五實(shí)施例的編碼裝置的配置示例的框圖。圖36是示出視差圖像信息的詳細(xì)描述示例的圖。圖37是示出視差圖像信息的詳細(xì)描述示例的圖。圖38是示出圖35所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖39是示出圖35所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖40是示出與圖35所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖41是示出圖40所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖42是示出根據(jù)本技術(shù)的第六實(shí)施例的編碼裝置的配置示例的框圖。圖43是示出圖42所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖44是示出圖42所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖45是示出與圖42所示的編碼裝置對(duì)應(yīng)的解碼裝置的配置示例的圖。圖46是示出圖45所示的解碼裝置執(zhí)行的解碼處理的流程圖。圖47是示出編碼目標(biāo)的復(fù)用圖案的示例的圖。圖48是示出根據(jù)復(fù)用的效果的特征的圖。圖49是示出編碼目標(biāo)的復(fù)用圖案的其它示例的圖。圖50是示出編碼目標(biāo)的復(fù)用圖案的另外其它示例的圖。圖51是示出根據(jù)本技術(shù)的第七實(shí)施例的編碼裝置的配置示例的框圖。圖52是示出圖51所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖53是示出圖51所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖54是示出圖51所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖55是示出圖54所示的編碼裝置執(zhí)行的編碼處理的流程圖。圖56是示出比特流的配置示例的圖。圖57是示出圖56所示的用于視差圖像的根據(jù)3DV模式的子集SPS(Subset SPS)的描述示例的圖。 圖58是示出圖57所示的用于視差圖像的擴(kuò)展信息的描述示例的圖。圖59是示出圖57所示的用于視差圖像的VUI擴(kuò)展信息的描述示例的圖。圖60是示出根據(jù)3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭的描述示例的圖。圖61是示出圖60所示的視差圖像報(bào)頭擴(kuò)展信息的描述示例的圖。圖62是示出圖56所示的根據(jù)3DV模式的SEI的描述示例的圖。
圖63是示出比特流的另一配置示例的圖。圖64是示出圖63所示的用于圖像的根據(jù)3DV模式的子集SPS的描述示例的圖。圖65是示出3DV模式是與HEVC模式相符的模式的情況下的比特流的配置示例的圖。圖66是示出圖65所示的SPS的描述示例的圖。圖67是示出圖66所示的子集SPS的描述示例的圖。圖68是示出圖67所示的子集SPS的VUI信息的描述示例的圖。圖69是示出圖65所示的根據(jù)3DV模式的SEI的描述示例的圖。圖70是示出根據(jù)實(shí)施例的計(jì)算機(jī)的配置示例的圖。圖71是示出根據(jù)本技術(shù)的電視機(jī)設(shè)備的示意性配置的圖。圖72是示出根據(jù)本技術(shù)的便攜式電話(huà)(celluar phone)的示意性配置的圖。圖73是示出根據(jù)本技術(shù)的記錄和再現(xiàn)裝置的示意性配置的圖。圖74是示出根據(jù)本技術(shù)的成像設(shè)備的示意性配置的圖。
具體實(shí)施例方式〈第一實(shí)施例〉[根據(jù)第一實(shí)施例的編碼裝置的配置示例]圖5是示出根據(jù)本技術(shù)的第一實(shí)施例的編碼裝置的配置示例的框圖。圖5所示的編碼裝置50由成像單元51A至51C、圖像轉(zhuǎn)換單元52、視差圖像生成單元53、圖像信息生成單元54、兼容性信息生成單元55、視點(diǎn)間距離信息生成單元56、視差圖像信息生成單元57、編碼器58和復(fù)用單元59構(gòu)成。編碼裝置50根據(jù)現(xiàn)有編碼模式對(duì)作為2D圖像的多視點(diǎn)圖像中所包括的一個(gè)視點(diǎn)的圖像進(jìn)行編碼，從而確保與對(duì)2D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。在下文中，在多視點(diǎn)圖像之中，以現(xiàn)有編碼模式進(jìn)行編碼以便確保與現(xiàn)有編碼裝置的兼容性的圖像將被稱(chēng)為兼容圖像，并且用于使用兼容圖像生成視點(diǎn)比兼容圖像的視點(diǎn)數(shù)量多的圖像的圖像將被稱(chēng)為輔助圖像。在編碼裝置50中，成像單元51A捕獲預(yù)定視點(diǎn)的HD (高清)圖像作為圖像Al，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元52、視差圖像生成單元53和視點(diǎn)間距離信息生成單元56。成像單元51B在與成像單元51A在水平方向上隔開(kāi)距離Λ dlAB的位置處捕獲與圖像Al的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像BI，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元52、視差圖像生成單元53和視點(diǎn)間距離信息生成單元56。成像單元51C在與成像單元51A在水平方向上隔開(kāi)距離AdlAC的、與成像單元51B相對(duì)的位置處捕獲與圖像Al和BI的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像Cl，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元52、視差圖像生成單元53和視點(diǎn)間距離信息生成單元56。與圖像BI和Cl對(duì)應(yīng)的視點(diǎn)是可以被識(shí)別為3D圖像的圖像的視點(diǎn)之中的位于外側(cè)的視點(diǎn)。以此方式，與編碼裝置50對(duì)應(yīng)的解碼裝置可以通過(guò)使用圖像Al至Cl對(duì)位于比圖像BI和Cl的視點(diǎn)更遠(yuǎn)的內(nèi)側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插來(lái)生成多視點(diǎn)圖像。結(jié)果，與使用位于內(nèi)側(cè)的視點(diǎn)的圖像對(duì)位于外側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插的情況相比，可以以更高精度來(lái)生成多視點(diǎn)圖像。距離八(1^和 Λ (11&可被配置為固定的或者每次均改變。
圖像轉(zhuǎn)換單元52將從成像單元51A至51C之中在水平方向上的位置位于內(nèi)側(cè)的成像單元51A提供的圖像Al確定為兼容圖像。圖像轉(zhuǎn)換單元52把將圖像Al指定為兼容圖像的信息提供到兼容性信息生成單元55。然后，圖像轉(zhuǎn)換單元52直接將作為兼容圖像的圖像Al提供到編碼器58。另外，圖像轉(zhuǎn)換單元52將除圖像Al之外的圖像BI和Cl設(shè)置為輔助圖像，并且根據(jù)預(yù)定復(fù)用模式對(duì)圖像BI和Cl進(jìn)行復(fù)用。更具體地，例如，在復(fù)用模式是并排模式的情況下，圖像轉(zhuǎn)換單元52 (圖像轉(zhuǎn)換單元)將圖像BI和Cl中的每一個(gè)的分辨率減半。然后，圖像轉(zhuǎn)換單元52 (復(fù)用單元)對(duì)分辨率已減半的圖像BI (下文中稱(chēng)為1/2分辨率圖像BI)和分辨率已被減半的圖像Cl (下文中稱(chēng)為1/2分辨率圖像Cl)進(jìn)行復(fù)用，以使得1/2分辨率圖像BI變成畫(huà)面的左半部分圖像，并且1/2分辨率圖像Cl變成畫(huà)面的右半部分圖像。圖像轉(zhuǎn)換單元52將作為復(fù)用處理的結(jié)果而獲取的復(fù)用圖像提供到編碼器58，并且將表示輔助圖像的復(fù)用模式的信息提供到圖像信息生成單元54。視差圖像生成單元53使用從成像單元51A至51C提供的圖像Al至Cl來(lái)檢測(cè)圖像Al至Cl的每個(gè)像素的視差。視差圖像生成單元53生成表示作為兼容圖像的圖像Al的每個(gè)像素的視差的視差圖像Al’，并且將所生成的視差圖像提供到編碼器58。另外，視差圖像生成單元53 (復(fù)用單元)生成表示作為輔助圖像的圖像BI的每個(gè)像素的視差的視差圖像BI’和表示作為輔助圖像的圖像Cl的每個(gè)像素的視差的視差圖像Cl’，并且根據(jù)預(yù)定復(fù)用模式對(duì)所生成的視差圖像進(jìn)行復(fù)用。視差圖像生成單元53將作為復(fù)用處理的結(jié)果而獲取的復(fù)用圖像提供到編碼器58。另外，視差圖像生成單元53將表示輔助圖像的視差圖像的復(fù)用模式的信息提供到視差圖像信息生成單元57。圖像信息生成單元54基于從圖像轉(zhuǎn)換單元52提供的信息，生成表示輔助圖像的復(fù)用模式的信息等作為圖像信息，并且將所生成的圖像信息提供到編碼器58，其中該圖像信息是與兼容圖像和輔助圖像相關(guān)的信息。兼容性信息生成單元55 (設(shè)置單元)基于從圖像轉(zhuǎn)換單元52提供的信息，生成指定兼容圖像、兼容模式等的信息作為兼容性信息，并且將所生成的兼容性信息提供到編碼器58，其中該兼容性信息是與兼容性相關(guān)的信息。這里，兼容模式是表示對(duì)兼容圖像進(jìn)行編碼的方法的模式。作為兼容模式的示例，存在表示根據(jù)AVC模式對(duì)一個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼的編碼方法的單一模式(monomode)、表示根據(jù)AVC模式對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行復(fù)用和編碼的編碼方法的幀打包模式(frame packing mode)以及表示根據(jù)MVC模式對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼的編碼方法的立體模式。視點(diǎn)間距離信息生成單元56 (設(shè)置單元)使用從成像單元51A至51C提供的圖像Al至Cl來(lái)檢測(cè)圖像Al至Cl之中的兩個(gè)圖像之間的各視點(diǎn)間的距離(下文中稱(chēng)為視點(diǎn)間距離)。例如，視點(diǎn)間距離信息生成單元56檢測(cè)成像單元51A和51B之間的水平方向上的距離AdlAB和成像單元51A和51C之間的水平方向上的距離AdlAC作為視點(diǎn)間距離。視點(diǎn)間距離信息生成單元56生成表示視點(diǎn)間距離的信息等作為視點(diǎn)間距離信息，并且將所生成的視點(diǎn)間距離信息提供到編碼器58，其中該視點(diǎn)間距離信息是與視點(diǎn)間距離相關(guān)的信息。視差圖像信息生成單元 57基于從視差圖像生成單元53提供的信息，生成表示輔助圖像的視差圖像的復(fù)用模式的信息等作為視差圖像信息，并且將所生成的視差圖像信息提供到編碼器58，其中該視差圖像信息是與視差圖像相關(guān)的信息。編碼器58由兼容編碼器61和輔助編碼器62構(gòu)成。兼容編碼器61 (兼容圖像編碼單元)根據(jù)從圖像轉(zhuǎn)換單元52提供的兼容圖像和輔助圖像的復(fù)用圖像指定作為兼容圖像的圖像Al，根據(jù)現(xiàn)有AVC模式對(duì)圖像Al進(jìn)行編碼，將各種信息添加到編碼圖像，并且將作為其結(jié)果而獲取的編碼流作為兼容流(第一編碼流)提供到復(fù)用單元59。輔助編碼器62 (輔助圖像編碼單元和視差圖像編碼單元)根據(jù)預(yù)定模式對(duì)從圖像轉(zhuǎn)換單元52提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元53提供的兼容圖像的視差圖像Al’與輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。作為輔助編碼器62采用的編碼模式，可以使用AVC模式、MVC模式、MPEG2 (運(yùn)動(dòng)圖像專(zhuān)家組階段2)等。另外，輔助編碼器62將從圖像信息生成單元54提供的圖像信息、從兼容性信息生成單元55提供的兼容性信息、從視點(diǎn)間距離信息生成單元56提供的視點(diǎn)間距離信息、從視差圖像信息生成單元57提供的視差圖像信息等添加到作為編碼處理的結(jié)果而獲取的編碼圖像(第二流、第一視差編碼流和第二視差編碼流)，從而生成編碼流。輔助編碼器62將編碼流作為輔助流提供到復(fù)用單元59。復(fù)用單元59分別根據(jù)從兼容編碼器61提供的兼容流和從輔助編碼器62提供的輔助流生成TS (傳輸流)，并且對(duì)所生成的TS進(jìn)行復(fù)用。復(fù)用單元59 (傳送單元)傳送作為復(fù)用處理的結(jié)果而獲取的復(fù)用流。[輔助流中包括的信息的描述示例]圖6至8是示出在使用AVC模式或MVC模式作為編碼模式的情況下輔助流所包括的兼容性信息和視差圖像信息的描述示例的圖。如圖6所示，兼容性信息(3DV_view_structure)和視差圖像信息(depth_map_structure)布置在輔助流所包括的SEI (補(bǔ)充增強(qiáng)信息)中。作為兼容性信息(3DV_view_structure)，如圖7所示，描述了作為編碼目標(biāo)的圖像的視點(diǎn)(視圖)的數(shù)量(num_of_views)、兼容模式、指定兼容圖像的信息(compatible—view)等。另外，作為視差圖像信息(depth_map_structure )，如圖8所示，描述了視差圖像(depth map )的數(shù)量(num_of_depth_map )、表示視差圖像是否被復(fù)用的標(biāo)志(i s_frame_packing)>視差圖像的復(fù)用系統(tǒng)(frame_packing_mode )、指定被復(fù)用的視差圖像的信息(comb_frame_packing_views)等。作為復(fù)用模式，存在并排模式(SBS)、上下模式(top-and-bottom mode, Τ0Β)等。這里,上下模式是要復(fù)用的兩個(gè)圖像之中的一個(gè)圖像被設(shè)置作為屏幕的上部圖像并且另一圖像被設(shè)置作為屏幕的下部圖像的模式。除了圖像信息是兼容圖像和輔助圖像的信息而不是視差圖像的信息之外，圖像信息與視差圖像信息類(lèi)似，因此在圖中未示出。圖9是示出在使用AVC模式或MVC模式作為編碼模式的情況下輔助流中包括的視點(diǎn)間距離信息的描述示例的圖。如圖9所示，與兼容性信息、視差圖像信息和圖像信息類(lèi)似，視點(diǎn)間距離信息(3DV_view_info)布置在輔助流中所包括的SEI中。作為視點(diǎn)間距離信息 (3DV_vieW_inf0)，如圖9所示，描述了作為編碼目標(biāo)的圖像的視點(diǎn)的數(shù)量(num_o f_v i e w s )、所檢測(cè)的視點(diǎn)間距離的數(shù)量(num_o f_v iew_distance)、與視點(diǎn)間距離對(duì)應(yīng)的兩個(gè)圖像的組合(view
)、與該組合對(duì)應(yīng)的視點(diǎn)間距離(view_distance [view_distance_id])等。[編碼裝置的處理的描述]圖10和11是示出圖5所示的編碼裝置50執(zhí)行的編碼處理的流程圖。該編碼處理例如在從成像單元51A至51C輸出圖像Al至Cl時(shí)開(kāi)始。在圖10所示的步驟Sll中，視點(diǎn)間距離信息生成單元56使用從成像單元51A至51C提供的圖像Al至Cl來(lái)檢測(cè)距離Adlffi和AdlAC作為視點(diǎn)間距離。在步驟S12中，視點(diǎn)間距離信息生成單元56生成表示在步驟Sll中檢測(cè)的視點(diǎn)間距離的信息等作為視點(diǎn)間距離信息，并且將所生成的視點(diǎn)間距離信息輸入到編碼器58。在步驟S13中，圖像轉(zhuǎn)換單元52將從成像單元51A至51C之中在水平方向上的位置位于內(nèi)側(cè)的成像單元51A提供的圖像Al確定為兼容圖像并且確定輔助圖像的復(fù)用模式。圖像轉(zhuǎn)換單元52把將圖像Al指定為兼容圖像的信息提供到兼容性信息生成單元55，并且將輔助圖像的復(fù)用模式提供到圖像信息生成單元54。在步驟S14中，兼容性信息生成單元55基于從圖像轉(zhuǎn)換單元52提供的信息生成將圖像Al指定為兼容圖像的信息、作為兼容模式的單一模式等作為兼容圖像，并且將所生成的兼容性信息輸入到編碼器58。在步驟S15中，圖像信 息生 成單元54基于從圖像轉(zhuǎn)換單元52提供的信息而生成表示輔助圖像的復(fù)用模式的信息等作為圖像信息，并且將所生成的圖像信息輸入到編碼器58。在步驟S16中，圖像轉(zhuǎn)換單元52將除圖像Al之外的圖像BI和Cl設(shè)置為輔助圖像，并且基于在步驟S13中確定的輔助圖像的復(fù)用模式對(duì)輔助圖像進(jìn)行復(fù)用，從而獲取輔助圖像的復(fù)用圖像。在步驟S17中，圖像轉(zhuǎn)換單元52將作為兼容圖像的圖像Al與輔助圖像的復(fù)用圖像輸入到編碼器58。在圖11所示的步驟S18中，視差圖像生成單元53使用從成像單元51A至51C提供的圖像Al至Cl來(lái)檢測(cè)圖像Al至Cl的每個(gè)像素的視差，并且生成視差圖像Al’至Cl’。在步驟S19中，視差圖像生成單元53確定輔助圖像的視差圖像的復(fù)用模式，并且將表示復(fù)用模式的信息提供到視差圖像信息生成單元57。在步驟S20中，視差圖像信息生成單元57基于從視差圖像生成單元53提供的信息而生成表示輔助圖像的視差圖像的復(fù)用模式的信息等作為視差圖像信息，并且將所生成的視差圖像信息輸入到編碼器58。在步驟S21中，視差圖像生成單元53基于在步驟S19中確定的輔助圖像的視差圖像的復(fù)用模式而對(duì)輔助圖像的視差圖像進(jìn)行復(fù)用，從而獲取輔助圖像的視差圖像的復(fù)用圖像。在步驟S22中，視差圖像生成單元53將兼容圖像的視差圖像Al’和輔助圖像的視差圖像的復(fù)用圖像輸入到編碼器58。在步驟S23中，編碼器58的兼容編碼器61根據(jù)現(xiàn)有的AVC模式對(duì)從圖像轉(zhuǎn)換單元52提供的作為兼容圖像的圖像Al進(jìn)行編碼，并且將作為其結(jié)果而獲取的編碼流作為兼容流提供到復(fù)用單元59。
在步驟S24中，輔助編碼器62根據(jù)預(yù)定模式，對(duì)從圖像轉(zhuǎn)換單元52提供的輔助圖像的復(fù)用圖像、從視差圖像生成單元53提供的兼容圖像的視差圖像Al’和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。在步驟S25中，輔助編碼器62將從圖像信息生成單元54提供的圖像信息、從兼容性信息生成單元55提供的兼容性信息、從視點(diǎn)間距離信息生成單元56提供的視點(diǎn)間距離信息、從視差圖像信息生成單元57提供的視差圖像信息等添加到作為通過(guò)步驟S24的處理進(jìn)行的編碼處理的結(jié)果而獲取的編碼圖像，從而生成編碼流。輔助編碼器62將編碼流作為輔助流提供到復(fù)用單元59。在步驟S26中，復(fù)用單元59分別根據(jù)從兼容編碼器61提供的兼容流和從輔助編碼器62提供的輔助流生成TS，對(duì)所生成的TS進(jìn)行復(fù)用，并且傳送所得到的流。然后，處理結(jié)束。如上所述，由于編碼裝置50在多視點(diǎn)圖像中包括的一個(gè)視點(diǎn)的圖像被設(shè)置為兼容圖像的情況下根據(jù)現(xiàn)有編碼模式執(zhí)行編碼，因此可以確保與對(duì)2D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。換言之，編碼裝置50可以根據(jù)與現(xiàn)有編碼模式具有兼容性的模式對(duì)多視點(diǎn)圖像執(zhí)行編碼。另外，由于編碼裝置50對(duì)三個(gè)視點(diǎn)的圖像Al至Cl進(jìn)行編碼，因此與編碼裝置50對(duì)應(yīng)的解碼裝置可以從三個(gè)視點(diǎn)的圖像Al至Cl生成多視點(diǎn)圖像。以此方式，根據(jù)該解碼裝置，與從兩個(gè)視點(diǎn)的圖像生成多視點(diǎn)圖像的情況相比，可以生成的圖像的視點(diǎn)不受限制，并且可以生成具有相對(duì)高精度的多視點(diǎn)圖像。此外，由于編碼裝置50在輔助圖像的分辨率降低的情況下對(duì)圖像進(jìn)行編碼，因此與在不降低分辨率的情況下執(zhí)行編碼的情況相比，編碼處理和解碼處理的處理成本可以較低。例如，在對(duì)兩個(gè)視點(diǎn)的輔助圖像進(jìn)行編碼而不降低其分辨率的情況下，盡管編碼處理和解碼處理的處理成本與對(duì)于兩個(gè)HD圖像的編碼處理和解碼處理的處理成本相同，但是由編碼裝置50執(zhí)行的對(duì)于兩個(gè)視點(diǎn)的輔助圖像的編碼處理的處理成本與對(duì)于一個(gè)HD圖像的編碼處理或解碼處理的處理成本相同。結(jié)果，可以防止解碼裝置執(zhí)行的解碼處理的性能極大地影響多視點(diǎn)圖像的圖像質(zhì)量。此外，當(dāng)如稍后將描述的那樣合成多視點(diǎn)圖像時(shí)，與編碼裝置50對(duì)應(yīng)的解碼裝置以多視點(diǎn)圖像的視點(diǎn)數(shù)量的倒數(shù)的比率降低分辨率，由此編碼裝置50執(zhí)行的降低輔助圖像的分辨率不會(huì)影響合成之后的多視點(diǎn)圖像的圖像質(zhì)量。另外，由于編碼裝置50在輔助圖像的分辨率被減半的情況下執(zhí)行編碼并且在被減半的情況下對(duì)輔助圖像的視差圖像進(jìn)行編碼，因此編碼目標(biāo)的信息量可以被配置成大約為與AVC模式中的4個(gè)HD圖像(1080i X4)對(duì)應(yīng)的量。這里，全面地考慮顯示多視點(diǎn)圖像的當(dāng)前顯示裝置和與其相應(yīng)的解碼裝置的處理速度、相對(duì)于功耗的處理性能、傳送數(shù)據(jù)速率、傳送帶寬、存儲(chǔ)器的帶寬、存儲(chǔ)器存取速度等，作為解碼裝置可以處理的信息量的適當(dāng)值被認(rèn)為是與MVC模式的當(dāng)前狀態(tài)下的HD圖像對(duì)應(yīng)的量的大約兩倍，即，與AVC模式中的4個(gè)HD圖像對(duì)應(yīng)的量。因此，與編碼目標(biāo)的信息量大約是與AVC模式中的4個(gè)HD圖像(1080iX4)對(duì)應(yīng)的量的編碼裝置50對(duì)應(yīng)的解碼裝置(解碼方法)可以通過(guò)合理的方法以合理的處理成本來(lái)實(shí)現(xiàn)。

另外，根據(jù)編碼裝置50，編碼目標(biāo)的信息量被減小到與AVC模式中的大約4個(gè)HD圖像(1080iX4)對(duì)應(yīng)的量，因此，編碼裝置可以容易地作為具有可用帶寬的限制的BD或廣播應(yīng)用來(lái)操作。此外，由于編碼裝置50生成視差圖像并且在視差圖像包括在編碼流的情況下傳送視差圖像，因此與編碼裝置50對(duì)應(yīng)的解碼裝置不需要生成用于生成多視點(diǎn)圖像的視差圖像，相應(yīng)地，可以減少解碼裝置的處理負(fù)荷。結(jié)果，可以降低解碼裝置的成本。另外，可以防止解碼裝置的視差檢測(cè)性能極大地影響多視點(diǎn)圖像的圖像質(zhì)量?？紤]到如上所述的顯示裝置和解碼裝置的狀況，本技術(shù)的主要目的是在考慮到有效處理成本和合理實(shí)現(xiàn)技術(shù)的前提下，通過(guò)使用各種信息(諸如兼容性信息)來(lái)高效地實(shí)現(xiàn)具有改進(jìn)的圖像質(zhì)量的多視點(diǎn)圖像的生成，同時(shí)確保與現(xiàn)有格式的兼容性。[解碼裝置的配置示例]圖12是示出對(duì)從圖5所示的編碼裝置50傳送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。圖12所示的解碼裝置120由分離單元121、解碼器122、圖像信息獲取單元123、視點(diǎn)間距離信息獲取單元124、視差圖像信息獲取單元125、兼容性信息獲取單元126和圖像生成單元127構(gòu)成。解碼裝置120對(duì)從編碼裝置50傳送的復(fù)用流進(jìn)行解碼，生成一個(gè)視點(diǎn)的圖像或多個(gè)視點(diǎn)的圖像，并且在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置120的分離單元121 (接收單元)接收從編碼裝置50傳送的復(fù)用流并且分離每個(gè)TS。分離單元121從所分離的TS提取兼容流和輔助流，并且將所提取的流提供到解碼器122。
解碼器122由兼容解碼器131和輔助解碼器132構(gòu)成。解碼器122的兼容解碼器131 (兼容圖像解碼單元)基于從輔助解碼器132提供的用于指定兼容流的信息，在從分離單元121提供的兼容流和輔助流之中識(shí)別兼容流。兼容解碼器131根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)兼容流中包括的編碼后的兼容圖像進(jìn)行解碼，并且將作為其結(jié)果而獲取的圖像Al提供到圖像生成單元127。輔助解碼器132基于從分離單元121提供的輔助流中包括的兼容性信息來(lái)將用于指定兼容流的信息提供到兼容解碼器131。輔助解碼器132基于兼容性信息而在從分離單元121提供的兼容流和輔助流之中識(shí)別輔助流。輔助解碼器132 (輔助圖像解碼單元)根據(jù)與圖5所示的輔助編碼器62對(duì)應(yīng)的模式，對(duì)從分離單元121提供的輔助流中包括的被編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像Al’和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行解碼。輔助解碼器132將作為解碼處理的結(jié)果而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像Al’和輔助圖像的視差圖像的復(fù)用圖像提供到圖像生成單元127。另外，輔助解碼器132將輔助流中包括的圖像信息提供到圖像信息獲取單元123，并且將視點(diǎn)間距離信息提供到視點(diǎn)間距離信息獲取單元124。此外，輔助解碼器132將輔助流中包括的視差圖像信息提供到視差圖像信息獲取單元125，并且將兼容性信息提供到兼容性信息獲取單元
126。圖像信息獲取單元123獲取從輔助解碼器132提供的圖像信息并將所獲取的圖像信息提供到圖像生成單元127。視點(diǎn)間距離信息獲取單元124獲取從輔助解碼器132提供的視點(diǎn)間距離信息，并且將所獲取的視點(diǎn)間距離信息提供到圖像生成單元127。
視差圖像信息獲取單元125獲取從輔助解碼器132提供的視差圖像信息，并且將所獲取的視差圖像信息提供到圖像生成單元127。兼容性信息獲取單元126獲取從輔助解碼器132提供的兼容性信息并將所獲取的兼容性信息提供到圖像生成單元127。圖像生成單元127根據(jù)從觀看者提供的指令輸出圖像，并且在圖中未示出的顯示裝置上顯示該圖像。更具體地，圖像生成單元127 (生成單元)根據(jù)觀看者的用于顯示多視點(diǎn)的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像來(lái)生成與圖中未示出的顯示裝置對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。更具體地，圖像生成單元127 (分離單元)基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的、表示輔助圖像的視差圖像的復(fù)用模式的信息，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像。另外，圖像生成單元127基于從圖像信息獲取單元123提供的圖像信息中包括的、表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像。此外，圖像生成單元127基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元127通過(guò)使用兼容圖像、每個(gè)輔助圖像、兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像，生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元127將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)數(shù)量”的分辨率，對(duì)圖像進(jìn)行合成，并且在圖中未示出的顯示裝置上顯示合成圖像。此時(shí)，合成之后的多視點(diǎn)圖像被顯示為使得觀看角度對(duì)于每個(gè)視點(diǎn)是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像而無(wú)需佩戴眼鏡。另外，圖像生成單元127根據(jù)觀看者的用于顯示2D圖像的指令而輸出從解碼器122的兼容解碼器131提供的作為兼容圖像的圖像Al，從而在圖中未示出的顯示裝置上顯不該圖像。因此，觀看者可以觀看2D圖像。[解碼裝置的處理的描述]圖13是示出圖12所示的解碼裝置120執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖5所示的編碼裝置50傳送的復(fù)用流被輸入到解碼裝置120時(shí)開(kāi)始。在圖13所示的步驟S31中，解碼裝置120的分離單元121接收從編碼裝置50傳送的復(fù)用流并且分離每個(gè)TS。分離單元121從所分離的TS提取兼容流和輔助流，并且將所提取的流提供到解碼器122。解碼器122的輔助解碼器132基于從分離單元121提供的輔助流中包括的兼容性信息來(lái)將用于指定兼容流的信息提供到兼容解碼器131。在步驟S32中，兼容解碼器131基于從輔助解碼器132提供的用于指定兼容流的信息，在從分離單元121提供的兼容流和輔助流之中識(shí)別兼容流。在步驟S33中，兼容解碼器131根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)兼容流中包括的兼容圖像進(jìn)行解碼，并且將作為 解碼處理的結(jié)果而獲取的圖像Al提供到圖像生成單元127。
在步驟S34中，圖像生成單元127確定觀看者是否作出了用于顯示2D圖像的指令。在步驟S34中確定觀看者尚未作出用于顯示2D圖像的指令的情況下，也就是說(shuō)，在觀看者作出了用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，輔助解碼器132基于兼容性信息在從分離單元121提供的兼容流和輔助流之中識(shí)別輔助流。在步驟S35中，輔助解碼器132根據(jù)與圖5所示的輔助編碼器62對(duì)應(yīng)的模式，對(duì)輔助流中包括的被編碼的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像Al’和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行解碼。輔助解碼器132將作為解碼處理的結(jié)果而獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像Al’和輔助圖像的視差圖像的復(fù)用圖像提供到圖像生成單元127。另外，輔助解碼器132將輔助流中包括的圖像信息提供到圖像信息獲取單元123，并且將視點(diǎn)間距離信息提供到視點(diǎn)間距離信息獲取單元124。此外，輔助解碼器132將輔助流中包括的視差圖像信息提供到視差圖像信息獲取單元25，并且將兼容性信息提供到兼容性信息獲取單元126。在步驟S36中，圖像信息獲取單元123獲取從輔助解碼器132提供的圖像信息并且將圖像信息輸入到圖像生成單元127。在步驟S37中，視點(diǎn)間距離信息獲取單元124獲取從輔助解碼器132提供的視點(diǎn)間距離信息，并且將視點(diǎn)間距離信息輸入到圖像生成單元127。在步驟S38中，視差圖像信息獲取單元125獲取從輔助解碼器132提供的視差圖像信息，并且將視差圖像信息輸入到圖像生成單元127。在步驟S39中，兼容性信息獲取單元126獲取從輔助解碼器132提供的兼容性信息，并且將兼容性信息輸入到圖像生成單元
127。在步驟S40中，圖像生成單元127基于從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。例如，在視點(diǎn)間距離信息中包括的視點(diǎn)間距離較短的情況下，圖像生成單元127還將位于圖像BI和Cl的視點(diǎn)的外側(cè)的視點(diǎn)的位置確定為要生成的多視點(diǎn)3D圖像的視點(diǎn)的位置。另一方面，在視點(diǎn)間距離信息中包括的視點(diǎn)間距離較長(zhǎng)的情況下，圖像生成單元127僅將位于圖像BI和Cl的內(nèi)側(cè)的視點(diǎn)的位置確定為要生成的多視點(diǎn)3D圖像的視點(diǎn)的位置。在步驟S41中，圖像生成單元127基于在步驟S40中所確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像來(lái)生成每一個(gè)均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率的視點(diǎn)的圖像。在步驟S42中，圖像生成單元127將在步驟S41中所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“I/視點(diǎn)數(shù)量”的分辨率，并且基于視點(diǎn)的位置對(duì)轉(zhuǎn)換后的各視點(diǎn)的圖像進(jìn)行合成。在步驟S43中，圖像生成單元127將通過(guò)步驟S42的處理所獲取的合成后的多視點(diǎn)圖像輸出到圖中未示出的顯示裝置，從而顯示多視點(diǎn)圖像以使得觀看角度對(duì)于每個(gè)視點(diǎn)而言是不同的。然后，處理結(jié)束。另一方面，在步 驟S34中確定觀看者作出了用于顯示2D圖像的指令的情況下，在步驟S44中，圖像生成單元127將作為從兼容解碼器131提供的兼容圖像的圖像Al輸出到圖中未示出的顯示裝置，從而顯示該圖像。然后，處理結(jié)束。在僅可以對(duì)與解碼裝置120具有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽略輔助流的TS，并且僅執(zhí)行步驟S33和S44的處理。如上所述，解碼裝置120可以對(duì)由編碼裝置50根據(jù)與現(xiàn)有模式具有兼容性的模式所編碼的兼容流和輔助流進(jìn)行解碼。另外，由于解碼裝置120使用一個(gè)視點(diǎn)的兼容圖像和兩個(gè)視點(diǎn)的輔助圖像來(lái)生成多視點(diǎn)圖像，因此編碼裝置50可除了捕獲一個(gè)視點(diǎn)圖像的兼容圖像的現(xiàn)有成像單元51A之外僅準(zhǔn)備兩個(gè)成像單元51B和51C作為生成多視點(diǎn)圖像的成像單元。因此，可以以低成本、以容易的方式執(zhí)行用于生成多視點(diǎn)圖像的成像單元的安裝。<第二實(shí)施例>[根據(jù)第二實(shí)施例的編碼裝置的配置示例]圖14是示出根據(jù)本技術(shù)的第二實(shí)施例的編碼裝置的配置示例的框圖。在圖14所示的配置中，相同的附圖標(biāo)記被賦予與圖5所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖14所示的編碼裝置140的配置與圖5所示的配置的主要不同之處在于，替代成像單元51A至51C、圖像轉(zhuǎn)換單元52、視差圖像生成單元53、視點(diǎn)間距離信息生成單元56和編碼器58，設(shè)置了成像單元141A至141D、圖像轉(zhuǎn)換單元142、視差圖像生成單元143、視點(diǎn)間距離信息生成單元144和編碼 器145。編碼裝置140在多視點(diǎn)圖像之中的兩個(gè)視點(diǎn)的圖像被設(shè)置為兼容圖像的情況下根據(jù)AVC模式執(zhí)行編碼，從而確保與對(duì)兩個(gè)視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的
兼容性。更具體地，編碼裝置140的成像單元141A捕獲預(yù)定視點(diǎn)的HD圖像作為圖像A2，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元142、視差圖像生成單元143和視點(diǎn)間距離信息生成單元144。成像單元141B在與成像單元141A在水平方向上隔開(kāi)距離Λ d2AB的位置處捕獲與圖像A2的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像B2，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元142、視差圖像生成單元143和視點(diǎn)間距離信息生成單元144。成像單元141C在與成像單元141B在水平方向上隔開(kāi)距離八(12^的、與成像單元141A相對(duì)的位置處捕獲與圖像A2和B2的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像C2，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元142、視差圖像生成單元143和視點(diǎn)間距離信息生成單元144。成像單元141D在與成像單元141A在水平方向上隔開(kāi)距離八(1241)的、與成像單元141B相對(duì)的位置處捕獲與圖像A2至C2的視點(diǎn)不同的視點(diǎn)的HD圖像作為圖像D2，并且將所捕獲的圖像提供到圖像轉(zhuǎn)換單元142、視差圖像生成單元143和視點(diǎn)間距離信息生成單元 144ο與圖像C2和D2對(duì)應(yīng)的視點(diǎn)是可以被識(shí)別為3D圖像的圖像的視點(diǎn)之中的位于外側(cè)的視點(diǎn)。以此方式，與編碼裝置140對(duì)應(yīng)的解碼裝置可以通過(guò)使用圖像Α2至D2對(duì)相比于圖像C2和D2的視點(diǎn)位于更遠(yuǎn)的內(nèi)側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插來(lái)生成多視點(diǎn)圖像。結(jié)果，與使用位于內(nèi)側(cè)的視點(diǎn)的圖像來(lái)對(duì)位于外側(cè)的視點(diǎn)的圖像進(jìn)行內(nèi)插的情況相比，可以以更高的精度來(lái)生成多視點(diǎn)圖像。距離八(12^和Λ C^ad可被配置成為固定的或者每次均改變。圖像轉(zhuǎn)換單元142將從成像單元141A至141D之中的在水平方向上的位置位于內(nèi)側(cè)的成像單元141A提供的圖像A2和從成像單元141B提供的圖像B2確定為兼容圖像。然后，圖像轉(zhuǎn)換單元142根據(jù)預(yù)定復(fù)用模式對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用，并且將復(fù)用圖像提供到編碼器145。另外，圖像轉(zhuǎn)換單元142把將圖像A2和B2指定為兼容圖像的信息提供到兼容性信息生成單元55。另外，圖像轉(zhuǎn)換單元142將除圖像A2和B2之外的圖像C2和D2設(shè)置為輔助圖像，并且根據(jù)預(yù)定復(fù)用模式對(duì)圖像C2和D2進(jìn)行復(fù)用。圖像轉(zhuǎn)換單元142將作為復(fù)用處理的結(jié)果而獲取的復(fù)用圖像提供到編碼器145。圖像轉(zhuǎn)換單元142將表示兼容圖像和輔助圖像的復(fù)用模式的信息提供到圖像信息生成單元54。視差圖像生成單元143使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)圖像A2至D2的每個(gè)像素的視差。視差圖像生成單元143生成表示作為兼容圖像的圖像A2的每個(gè)像素的視差的視差圖像A2’和表示圖像B2的每個(gè)像素的視差的視差圖像B2’，并且根據(jù)預(yù)定復(fù)用模式對(duì)視差圖像A2’和B2’進(jìn)行復(fù)用。視差圖像生成單元143將作為其結(jié)果而獲取的復(fù)用圖像提供到編碼器145。另外，視差圖像生成單元143生成表示作為輔助圖像的圖像C2的每個(gè)像素的視差的視差圖像C2’和表示作為輔助圖像的圖像D2的每個(gè)像素的視差的視差圖像D2’，并且根據(jù)預(yù)定復(fù)用模式對(duì)視差圖像C2’和D2’進(jìn)行復(fù)用。視差圖像生成單元143將作為其結(jié)果而獲取的復(fù)用圖像提供到編碼器145。視差圖像生成單元143將表示兼容圖像和輔助圖像的視差圖像的復(fù)用模式的信息提供到視差圖像信息生成單元57。視點(diǎn)間距離信息生成單元144使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)圖像A2至D2之間的各視點(diǎn)間距離。例如，視點(diǎn)間距離信息生成單元144檢測(cè)成像單元141A和141B之間的水平方向上的距離Λ C^ab、成像單元141Β和141C之間的水平方向上的距離Ad2BC以及成像單元141Α和141D之間的水平方向上的距離Ad2AD作為視點(diǎn)間距離。視點(diǎn)間距離信息生成單元144生成表示視點(diǎn)間距離的信息等作為視點(diǎn)間距離信息，并且將所生成的視點(diǎn)間距離信息提供到編碼器145。編碼器145由兼容編碼器151和輔助編碼器152構(gòu)成。兼容編碼器151在從圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像之中指定兼容圖像的復(fù)用圖像，根據(jù)現(xiàn)有的AVC模式對(duì)兼容圖像的復(fù)用圖像進(jìn)行編碼，向其添加各種信息，并且將所獲取的作為結(jié)果得到的編碼流作為兼容流提供到復(fù)用單元59。輔助編碼器152根據(jù)預(yù)定模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元143提供的兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。作為輔助編碼器152采用的編碼模式，例如，可以使用AVC模式、MVC模式等。另外，輔助編碼器152將從圖像信息生成單元54提供的圖像信息、從兼容性信息生成單元55提供的兼容性信息、從視點(diǎn)間距離信息生成單元144提供的視點(diǎn)間距離信息、從視差圖像信息生成單元57提供的視差圖像信息等添加到作為編碼處理的結(jié)果而獲取的編碼圖像，從而生成編碼流。輔助編碼器152將編碼流作為輔助流提供到復(fù)用單元59。

[編碼裝置的處理的描述]
圖15和16是示出圖14所示的編碼裝置140執(zhí)行的編碼處理的流程圖。該編碼處理例如在從成像單元141A至141D輸出圖像A2至D2時(shí)開(kāi)始。在圖15所示的步驟S51中，視點(diǎn)間距離信息生成單元144使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)距離Δ d2AB, Δ d2BC和Δ d2AD作為視點(diǎn)間距離。在 步驟S52中，視點(diǎn)間距離信息生成單元144生成表示在步驟S51中檢測(cè)到的視點(diǎn)間距離的信息等作為視點(diǎn)間距離信息，并且將所生成的視點(diǎn)間距離信息輸入到編碼器145。在步驟S53中，圖像轉(zhuǎn)換單元142將從成像單元141A至141D之中的在水平方向上的位置位于內(nèi)側(cè)的成像單元141A提供的圖像A2和從成像單元141B提供的圖像B2確定為兼容圖像，并且確定兼容圖像和輔助圖像的復(fù)用模式。圖像轉(zhuǎn)換單元142把將圖像A2和B2指定為兼容圖像的信息提供到兼容性信息生成單元55，并且將兼容圖像和輔助圖像的復(fù)用模式提供到圖像信息生成單元54。在步驟S54中，兼容性信息生成單元55基于從圖像轉(zhuǎn)換單元142提供的信息而生成將圖像A2和B2指定為兼容圖像的信息、作為兼容模式的幀打包模式等作為兼容性信息，并且將所生成的兼容性信息輸入到編碼器145。在步驟S55中，圖像轉(zhuǎn)換單元142基于在步驟S53中確定的兼容圖像的復(fù)用模式對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用，并且將復(fù)用圖像提供到編碼器145。在步驟S56中，圖像信息生成單元54基于從圖像轉(zhuǎn)換單元142提供的信息而生成表示兼容圖像和輔助圖像的復(fù)用模式的信息等作為圖像信息，并且將所生成的圖像信息輸入到編碼器145。在步驟S57中，圖像轉(zhuǎn)換單元142將除圖像A2和B2之外的圖像C2和D2設(shè)置為輔助圖像，并且基于在步驟S53中確定的輔助圖像的復(fù)用模式對(duì)輔助圖像進(jìn)行復(fù)用，從而獲取輔助圖像的復(fù)用圖像。在步驟S58中，圖像轉(zhuǎn)換單元142將兼容圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像輸入到編碼器145。在圖16所示的步驟S59中，視差圖像生成單元143使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)圖像A2至D2的每個(gè)像素的視差，并且生成視差圖像A2 ’至D2 ’。在步驟S60中，視差圖像生成單元143確定兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用模式，并且將表示復(fù)用模式的信息提供到視差圖像信息生成單元57。在步驟S61中，視差圖像信息生成單元57基于從視差圖像生成單元143提供的信息而生成表示兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用模式的信息等作為視差圖像信息，并且將所生成的視差圖像信息輸入到編碼器145。在步驟S62中，視差圖像生成單元143基于在步驟S60中所確定的兼容圖像的視差圖像的復(fù)用模式而對(duì)兼容圖像的視差圖像A2’和B2’進(jìn)行復(fù)用，并且基于輔助圖像的視差圖像的復(fù)用模式而對(duì)輔助圖像的視差圖像C2’和D2’進(jìn)行復(fù)用。在步驟S63中，視差圖像生成單元143將作為在步驟S62中所示的復(fù)用處理的結(jié)果而獲取的兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像輸入到編碼器145。在步驟S64中，編碼器145的兼容編碼器151根據(jù)現(xiàn)有的AVC模式對(duì)從轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像進(jìn)行編碼，并且將作為其結(jié)果而獲取的編碼流作為兼容流提供到復(fù)用單元59。在步驟S65中，輔助編碼器152根據(jù)預(yù)定模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元53提供的兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。然后，處理進(jìn)行到步驟S66。步驟S66和S67的處理與圖11所示的步驟S25和S26的處理相同，因此，將省略對(duì)其的描述。如上所述，由于編碼裝置140根據(jù)現(xiàn)有的編碼模式對(duì)多視點(diǎn)圖像之中作為兼容圖像的兩個(gè)視點(diǎn)的圖像進(jìn)行編碼，因此可以確保與對(duì)兩視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。另外，由于編碼裝置140對(duì)四個(gè)視點(diǎn)的圖像A2至D2進(jìn)行編碼，因此與編碼裝置140對(duì)應(yīng)的解碼裝置可以從四個(gè)視點(diǎn)的圖像A2至D2生成多視點(diǎn)圖像。以此方式，根據(jù)解碼裝置，與從兩個(gè)視點(diǎn)的圖像生成多視點(diǎn)圖像的情況相比，可以生成的圖像的視點(diǎn)不受限制，并且可以生成具有相對(duì)高精度的多視點(diǎn)圖像。[解碼裝置的配置示例]圖17是示出對(duì)從圖14所示的編碼裝置140傳送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖17所示的配置中，相同的附圖標(biāo)記被賦予與圖12所示的配置相同的配置。在適當(dāng)時(shí)將省略重復(fù)描述。圖17所示的解碼裝置 170的配置與圖12所示的配置的主要不同之處在于，替代圖像生成單元127而設(shè)置了圖像生成單元171。解碼裝置170通過(guò)對(duì)從編碼裝置140傳送的復(fù)用流進(jìn)行解碼來(lái)生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并且在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置170的圖像生成單元171根據(jù)從觀看者提供的顯示指令而輸出圖像，從而在顯示裝置(未示出)上顯示圖像。當(dāng)更具體地描述時(shí)，圖像生成單元171根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像來(lái)生成與顯示裝置(未示出)對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。更具體地，圖像生成單元171基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的、表示輔助圖像的視差圖像的復(fù)用模式的信息，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像。另外，圖像生成單元171基于視差圖像信息中包括的、表示兼容圖像的視差圖像的復(fù)用模式的信息，從兼容圖像的視差圖像的復(fù)用圖像中分離每個(gè)兼容圖像的視差圖像。此外，圖像生成單元171基于從圖像信息獲取單元123提供的圖像信息中包括的、表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離各輔助圖像。另外，圖像生成單元171基于圖像信息中包括的、表示兼容圖像的復(fù)用模式的信息，從兼容圖像的復(fù)用圖像中分離各兼容圖像。此外，圖像生成單元m基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元171通過(guò)使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像，生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元171將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)數(shù)量”的分辨率，對(duì)圖像進(jìn)行合成，并且在未示出的顯示裝置上顯示合成圖像。此時(shí)，合成后的多視點(diǎn)圖像被顯示為使得觀看角度對(duì)于每個(gè)視點(diǎn)而言是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像而無(wú)需佩戴眼鏡。另外，圖像生成單元171根據(jù)從觀看者提供的用于顯示兩視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息，將從解碼器122提供的兼容圖像的復(fù)用圖像分離成分辨率為兼容圖像的分辨率的一半的圖像A2和B2。然后，圖像生成單元171交替地輸出分辨率為兼容圖像的分辨率的一半的分離后的圖像A2和B2，從而在圖中未示出的顯示裝置上顯示分離后的圖像。此時(shí)，觀看者可以通過(guò)佩戴在顯示圖像A2時(shí)左眼快門(mén)和右眼快門(mén)之一打開(kāi)并且在顯示圖像B2時(shí)另一快門(mén)打開(kāi)的眼鏡并且觀看交替地顯示在顯示裝置上的圖像A2和B2來(lái)觀看3D圖像。[解碼裝置的處理的描述]圖18是示出圖17所示的解碼裝置170執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖14所示的編碼裝置140傳送的復(fù)用流輸入到解碼裝置170時(shí)開(kāi)始。圖18所示的步驟S81至S83的處理與圖13所示的步驟S31至S33的處理相同，因此將不省略對(duì)其的描述。在步驟S83的處理之后，在步驟S84中，圖像生成單元171確定觀看者是否作出了用于顯示兩視點(diǎn)模式的3D圖像的指令。在步驟S84中確定觀看者尚未作出用于顯示兩視點(diǎn)模式的3D圖像的指令的情況下，也就是說(shuō)，在作出了用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理進(jìn)行到步驟S85。步驟S85至S93的處理與圖13所示的步驟S35至S43的處理相同，因此將省略對(duì)其的描述。另一方面，在步驟S84中確定觀看者作出了用于顯示兩視點(diǎn)模式的3D圖像的指令的情況下，處理進(jìn)行到步驟S94。在步驟S94中，圖像生成單元171基于從圖像信息獲取單元123提供的圖像信息中包括的、表示兼容圖像的復(fù)用模式的信息，分離作為由兼容解碼器131執(zhí)行的解碼處理的結(jié)果而獲取的兼容圖像的復(fù)用圖像。在步驟S95中，圖像生成單元171將作為兼容圖像的、分辨率為分離后的兼容圖像的分辨率的一半的圖像A2和B2交替地輸出到圖中未示出的顯示裝置，從而顯示圖像。然后，處理結(jié)束。另外，在僅可以對(duì)與解碼裝置170具有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽略輔助流的TS，并且僅執(zhí)行步驟S83、S94和S95的處理。然而，在這樣的情況下，在步驟S94的處理中，不是基于圖像 信息中包括的兼容圖像的復(fù)用模式而是基于預(yù)先確定的兼容圖像的復(fù)用模式來(lái)分離兼容圖像的復(fù)用圖像。
如上所述，解碼裝置170可以對(duì)由編碼裝置140根據(jù)與現(xiàn)有模式具有兼容性的模式所編碼的兼容流和輔助流進(jìn)行解碼。另外，由于解碼裝置170使用兩個(gè)視點(diǎn)的兼容圖像和兩個(gè)視點(diǎn)的輔助圖像來(lái)生成多視點(diǎn)圖像，因此編碼裝置140可除捕獲兩個(gè)視點(diǎn)的兼容圖像的現(xiàn)有成像單元141A和141B之外僅準(zhǔn)備兩個(gè)成像單元141C和141D，作為用于生成多視點(diǎn)圖像的成像單元。因此，可以以低成本容易地執(zhí)行用于生成多視點(diǎn)圖像的成像單元的安裝。<第三實(shí)施例>[根據(jù)第三實(shí)施例的編碼裝置的配置示例]圖19是示出根據(jù)本技術(shù)的第三實(shí)施例的編碼裝置的配置示例的框圖。在圖19所示的配置中，相同的附圖標(biāo)記被賦予與圖5或14所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖19所示的編碼裝置180的配置與圖14所示的配置的主要不同之處在于，替代圖像轉(zhuǎn)換單元142和編碼器145，布置了圖像轉(zhuǎn)換單元181和編碼器182。編碼裝置180通過(guò)根據(jù)MVC模式將多視點(diǎn)圖像之中的兩個(gè)視點(diǎn)的圖像編碼為兼容圖像，確保了與對(duì)兩視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。更具體地，與圖14所示的圖像轉(zhuǎn)換單元142類(lèi)似，編碼裝置180的圖像轉(zhuǎn)換單元181將從成像單元141A至141D中的、在水平方向上的位置位于內(nèi)側(cè)的成像單元141A提供的圖像A2和從成像單元141B提供的圖像B2確定為兼容圖像。然后，圖像轉(zhuǎn)換單元181將作為兼容圖像的圖像A2和B2直接提供到編碼器182。另外，與圖像轉(zhuǎn)換單元142類(lèi)似，圖像轉(zhuǎn)換單元181把將圖像A2和B2指定為兼容圖像的信息提供到兼容性信息生成單元55。

另外，與圖像轉(zhuǎn)換單元142類(lèi)似，圖像轉(zhuǎn)換單元181將除圖像A2和B2之外的圖像C2和D2設(shè)置為輔助圖像，并且根據(jù)預(yù)定復(fù)用模式對(duì)輔助圖像進(jìn)行復(fù)用。圖像轉(zhuǎn)換單元181將作為復(fù)用處理的結(jié)果而獲取的復(fù)用圖像提供到編碼器182，并且將表示輔助圖像的復(fù)用模式的信息提供到圖像信息生成單元54。編碼器182由兼容編碼器191和輔助編碼器152構(gòu)成。編碼器182的兼容編碼器191在從圖像轉(zhuǎn)換單元181提供的兼容圖像和輔助圖像的復(fù)用圖像當(dāng)中指定兼容圖像并根據(jù)現(xiàn)有的AVC模式對(duì)兼容圖像之中作為基本圖像的圖像A2進(jìn)行編碼，并且根據(jù)現(xiàn)有的MVC模式對(duì)作為從屬圖像的圖像B2進(jìn)行編碼。兼容編碼器191通過(guò)將各種信息添加到作為編碼處理的結(jié)果而獲取的編碼圖像來(lái)生成編碼流，并且將編碼流作為兼容流提供到復(fù)用單元59。[編碼裝置的處理的描述]圖20和21是示出由圖19所示的編碼裝置180執(zhí)行的編碼處理的流程圖。該編碼處理例如在圖像A2至D2從成像單元141A至141D輸出時(shí)開(kāi)始。圖20所示的步驟Slll和SI 12的處理與圖15所示的步驟S51和S52的處理相同，因此將省略對(duì)其的描述。在步驟S112的處理之后，在步驟S113中，圖像轉(zhuǎn)換單元181將從成像單元141A至141D之中的、在水平方向上的位置位于內(nèi)側(cè)的成像單元141A提供的圖像A2和從成像單元141B提供的圖像B2確定為兼容圖像，并且確定輔助圖像的復(fù)用模式。圖像轉(zhuǎn)換單元181把將圖像A2和B2指定為兼容圖像的信息提供到兼容性信息生成單元55，并且將輔助圖像的復(fù)用模式提供到圖像信息生成單元54。然后，處理進(jìn)行到步驟S114。步驟SI 14至SI 17的處理與圖10所示的步驟S14至S17的處理相同，因此將省略對(duì)其的描述。步驟SI 18至S122的處理與圖16所示的步驟S59至S63的處理相同，因此將省略對(duì)其的描述。在步驟S122的處理之后，在步驟S123中，編碼器182的兼容編碼器191根據(jù)現(xiàn)有的AVC模式對(duì)從圖像轉(zhuǎn)換單元181提供的兼容圖像之中作為基本圖像的圖像A2進(jìn)行編碼，并且根據(jù)現(xiàn)有的MVC模式對(duì)作為從屬圖像的圖像B2進(jìn)行編碼。兼容編碼器191通過(guò)將各種信息添加到作為編碼處理的結(jié)果而獲取的編碼圖像來(lái)生成編碼流，并且將編碼流作為兼容流提供到復(fù)用單元59。然后，處理進(jìn)行到步驟S124。步驟S124至S126的處理與圖16所示的步驟S65至S67的處理相同，因此將省略對(duì)其的描述。如上所述，由于編碼裝置180根據(jù)現(xiàn)有的編碼模式對(duì)多視點(diǎn)圖像之中作為兼容圖像的兩個(gè)視點(diǎn)的圖像進(jìn)行編碼，因此可以確保與對(duì)兩視點(diǎn)模式的3D圖像進(jìn)行編碼的現(xiàn)有編碼裝置的兼容性。[解碼裝置的配置示例]圖22是示出對(duì)從圖19所示的編碼裝置180傳送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖22所示的配置中，相同的附圖標(biāo)記被賦予與圖12所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖22所示的解碼裝置200的配置與圖12所示的配置的主要不同之處在于，替代解碼器122和圖像生成單元127，布置了解碼器201和圖像生成單元202。解碼裝置200通過(guò)對(duì)從編碼裝置180傳送的復(fù)用流進(jìn)行解碼來(lái)生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并且在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置200的解碼器201由兼容解碼器211和輔助解碼器132構(gòu)成。與圖12所示的兼容解碼器131類(lèi)似，解碼器201的兼容解碼器211基于從輔助解碼器132提供的用于指定兼容流的信息，在從分離單元121提供的兼容流和輔助流之中識(shí)別兼容流。兼容解碼器211根據(jù)與MVC模式對(duì)應(yīng)的模式對(duì)兼容流中包括的編碼后的兼容圖像進(jìn)行解碼，并且將作為解碼處理的結(jié)果而獲取的圖像A2和B2提供到圖像生成單元202。圖像生成單元202根據(jù)從觀看者提供的顯示指令而輸出圖像，從而在圖中未示出的顯示裝置上顯示圖像。更詳細(xì)地描述，圖像生成單元202根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像來(lái)生成與圖中未示出的顯示裝置對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。更具體地，圖像生成單元202基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的、表示輔助圖像的視差圖像的復(fù)用模式的信息，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視 差圖像。另外，圖像生成單元202基于視差圖像信息中包括的、表示兼容圖像的視差圖像的復(fù)用模式的信息，從兼容圖像的視差圖像的復(fù)用圖像中分離每個(gè)兼容圖像的視差圖像。此外，圖像生成單元202基于從圖像信息獲取單元123提供的圖像信息中包括的、表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離各輔助圖像。另外，圖像生成單元202基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的視點(diǎn)的位置。然后，圖像生成單元202通過(guò)使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像來(lái)生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，與圖像生成單元127類(lèi)似，圖像生成單元202將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“I/視點(diǎn)數(shù)量”的分辨率，對(duì)轉(zhuǎn)換后的圖像進(jìn)行合成，并且在圖中未示出的顯示裝置上顯示合成圖像。此時(shí)，合成后的多視點(diǎn)圖像被顯示為使得觀看角度對(duì)于每個(gè)視點(diǎn)是不同的，并且觀看者可以通過(guò)利用他的/她的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像而無(wú)需佩戴眼鏡。另外，圖像生成單元202根據(jù)從觀看者提供的用于顯示兩視點(diǎn)模式的3D圖像的指令，交替地輸出從解碼器122提供的作為兼容圖像的圖像A2和B2，從而在圖中未示出的顯示裝置上顯示圖像。此時(shí)，觀看者可以通過(guò)佩戴在顯示圖像A2時(shí)左眼快門(mén)和右眼快門(mén)中的一個(gè)打開(kāi)并在顯示圖像B2時(shí)另一快門(mén)打開(kāi)的眼鏡并觀看交替地顯示在顯示裝置上的圖像A2和B2來(lái)觀看3D圖像。[解碼裝置的處理的描述]圖23是示出由圖22所示的解碼裝置200執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖19所示的編碼裝置180傳送的復(fù)用流被輸入到解碼裝置200時(shí)開(kāi)始。圖23中所示的步驟 S141至S153的處理與圖18中所示的步驟S81至S93的處理，因而，將省略對(duì)其的描述。在步驟S144中確定觀看者作出了用于顯示兩視點(diǎn)模式的3D圖像的指令的情況下，處理進(jìn)行至步驟S154。在步驟S154中，圖像生成單元202將圖像A2和B2交替地輸出到圖中未示出的顯示裝置，從而顯示這些圖像，其中圖像A2和B2是作為兼容解碼器211執(zhí)行的解碼處理的結(jié)果而獲取的兼容圖像。在僅可以對(duì)與解碼裝置200具有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽視輔助流的TS，并且僅執(zhí)行步驟S143和S154的處理。如上所述，解碼裝置200可以對(duì)由編碼裝置180根據(jù)與現(xiàn)有模式具有兼容性的模式編碼的兼容流和輔助流進(jìn)行解碼。<兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息的其他布置信息>在以上給出的描述中，盡管已描述兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息包括在輔助流中，但是上述信息也可包括在TS中。在這樣的情況下，例如，在輔助流的TS的分組(packet)內(nèi)的PMT (節(jié)目映射表)或SIT (選擇信息表)的描述符中描述了兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息。圖24至圖26是示出在PMT的描述符中描述了兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息的情況下對(duì)兼容性信息和視差圖像信息的描述示例的圖。如圖24所示，在PMT的描述符中描述了兼容性信息和視差圖像信息的情況下，作為PMT的描述符,設(shè)置了布置有兼容性信息的描述符(3DV_view_structure_descriptor)和布置有視差圖像信息的描述符(depth_map_structure_descriptor)。在 描述符(3DV_view_structure_descriptor)中，如圖25所不，在描述符標(biāo)記(descriptor_tag)和描述符長(zhǎng)度(descriptor_length)之后,作為兼容性信息,描述了作為編碼目標(biāo)的圖像的視點(diǎn)數(shù)量(num_o f_v iews)、兼容模式(compatibl e_mode )、指定兼容圖像的信息(compatible_view)。另外，在描述符(depth_map_structure_descriptor)中，如圖26所不，在描述符標(biāo)記和描述符長(zhǎng)度之后，視差圖像的數(shù)量(num_0f_cbpth_map)、表示視差圖像是否被復(fù)用的標(biāo)志(is_frame_packing)、視差圖像的復(fù)用模式(frame_packing_mode)、指定被復(fù)用的視差圖像的信息(comb_frame_packing_views)等被描述為視差圖像信息。另外，除了圖像信息不是視差圖像的信息而是兼容圖像和輔助圖像的信息之外，圖像信息與視差圖像信息相同，因而，在圖中并未示出。圖27是示出在PMT的描述符中描述了兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息的情況下對(duì)視點(diǎn)間距離信息的描述示例的圖。如圖27所示，在PMT的描述符中描述了視點(diǎn)間距離信息的情況下，作為PMT的描述符，設(shè)置了布置有視點(diǎn)間距離信息的描述符(3DV_view_info_descriptor)。在描述符(3DV_view_info_descriptor)中，在描述符標(biāo)記和描述符長(zhǎng)度之后，作為視點(diǎn)間距離信息，描述了作為編碼目標(biāo)的圖像的視點(diǎn)數(shù)量(num_0f_VieWS)、所檢測(cè)的視點(diǎn)間距離的數(shù)量(num_of_view_di stance )、對(duì)應(yīng)于視點(diǎn)間距離的兩個(gè)圖像的組合(view
)、對(duì)應(yīng)于該組合的視點(diǎn)間距離(view_distance [view_distance_id])等。例如，根據(jù)本技術(shù)的解碼裝置可以應(yīng)用于顯示裝置或再現(xiàn)裝置，諸如電視接收器?？山M合根據(jù)第一至第三實(shí)施例的編碼裝置和解碼裝置。在這樣的情況下，解碼裝置根據(jù)兼容性信息中包括的兼容模式來(lái)選擇兼容解碼器。另外，在第一至第三實(shí)施例中，盡管降低了輔助圖像和視差圖像的分辨率并且對(duì)這些圖像進(jìn)行復(fù)用，但是可在不對(duì)這些圖像進(jìn)行復(fù)用的情況下降低其分辨率。此外，可以不降低視差圖像的分辨率。另外，可在與編碼流的系統(tǒng)不同的系統(tǒng)中傳送圖像信息、視點(diǎn)間距離信息、視差圖像信息和兼容性信息而不對(duì)這些信息編碼。此外，可在與編碼流的系統(tǒng)不同的系統(tǒng)中對(duì)圖像信息、視點(diǎn)間距離信息、視差圖像信息和兼容性信息進(jìn)行編碼并傳送。另外，可在除上述編碼流的區(qū)域以外的區(qū)域(報(bào)頭、用戶(hù)數(shù)據(jù)等)中描述圖像信息、視點(diǎn)間距離信息、視差圖像信息和兼容性信息而不對(duì)其編碼，并且可在編碼流的預(yù)定區(qū)域中對(duì)圖像信息、視點(diǎn)間距離信息、視差圖像信息和兼容性信息進(jìn)行編碼和描述。此外，可將圖像信息、視點(diǎn)間距離信息、視差圖像信息和兼容性信息作為與編碼流不同的輔助信息來(lái)傳送?！吹谒膶?shí)施例〉[根據(jù)第四實(shí)施例的編碼裝置的配置示例]圖28是示出根據(jù)本技術(shù)的第四實(shí)施例的編碼裝置的配置示例的框圖。在圖28所示的配置中，相同的附圖標(biāo)記被賦予與圖5所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。
圖28所示的編碼裝置300的配置與圖5所示的配置的主要不同之處在于，替代圖像轉(zhuǎn)換單元52、視差圖像生成單元53、圖像信息生成單元54和視差圖像信息生成單元57，布置了圖像轉(zhuǎn)換單元301、視差圖像生成單元302、圖像信息生成單元303和視差圖像信息生成單元304。編碼裝置300在不將與復(fù)用有關(guān)的信息而是將與分辨率降低處理有關(guān)的信息包括在圖像信息和視差圖像信息中的情況下傳送圖像信息和視差圖像信息。更具體地，類(lèi)似于圖5所示的圖像轉(zhuǎn)換單元52，編碼裝置300的圖像轉(zhuǎn)換單元301將從成像單元51A提供的圖像Al確定為兼容圖像。類(lèi)似于圖像轉(zhuǎn)換單元52，圖像轉(zhuǎn)換單元301把將圖像Al指定為兼容圖像的信息提供到兼容性信息生成單元55。然后，類(lèi)似于圖像轉(zhuǎn)換單元52，圖像轉(zhuǎn)換單元301直接將作為兼容圖像的圖像Al提供到編碼器58。另外，圖像轉(zhuǎn)換單元301將除圖像Al以外的圖像BI和Cl設(shè)置為輔助圖像，根據(jù)水平1/2模式降低圖像的分辨率，并且對(duì)圖像進(jìn)行復(fù)用，從而獲取分辨率與兼容圖像的分辨率相同的復(fù)用圖像。這里，水平1/2模式是將水平方向上的分辨率設(shè)置為兼容圖像的分辨率的一半的模式。圖像轉(zhuǎn)換單元301將輔助圖像的復(fù)用圖像提供到編碼器58，并且將表示輔助圖像的分辨率的轉(zhuǎn)換模式的信息提供到圖像信息生成單元303。類(lèi)似于圖5所示的視差圖像生成單元53，視差圖像生成單元302通過(guò)使用從成像單元51A至51C提供的圖像Al至Cl來(lái)檢測(cè)圖像Al至Cl的每個(gè)像素的視差。類(lèi)似于視差圖像生成單元53，視差圖像生成單元302生成視差圖像Al’并將所生成的視差圖像直接提供到編碼器58。另外，視差圖像生成單元302生成視差圖像BI’和Cl’，并根據(jù)水平1/2模式降低視差圖像的分辨率。然后，視差圖像生成單元302對(duì)分辨率被降低的視差圖像BI’和Cl’進(jìn)行復(fù)用，從而獲取分辨率與兼容圖像相同的復(fù)用圖像。視差圖像生成單元302將作為其結(jié)果所獲取的復(fù)用圖像提供到編碼器58，并將表示輔助圖像的視差圖像的分辨率的轉(zhuǎn)換模式的信息提供到視差圖像生成單元304。圖像信息生成單元303基于從圖像轉(zhuǎn)換單元301提供的信息來(lái)生成表示輔助圖像的分辨率的轉(zhuǎn)換模式的信息等作為圖像信息。圖像信息生成單元303將圖像信息提供到編碼器58。視差圖像信息生成單元304基于從視差圖像生成單元302提供的信息來(lái)生成表示輔助圖像的視差圖像的分辨率的轉(zhuǎn)換模式的信息等作為視差圖像信息。視差圖像信息生成單元304將視差圖像信息提供到編碼器58。[視差圖像信息的描述示例]圖29是示出圖28所示的編碼裝置300中的、在將與AVC模式或MVC模式相符的模式用作編碼模式的情況下的輔助流中所包括的視差圖像信息的描述示例的圖。如圖29所示，作為視差圖像信息(depth_map_structure )，描述了視差圖像的數(shù)量(num_of_depth_map )、表示視差圖像的分辨率是否已被降低的低分辨率標(biāo)志(i s_decimated)、視差圖像的分辨率的轉(zhuǎn)換模式(decimation_mode)(轉(zhuǎn)換模式信息)、指定分辨率已被降低的視差圖像的信息(comb_decimated_views)等。作為分辨率轉(zhuǎn)換模式，除了水平1/2模式外，還存在垂直方向上的分辨率減半的垂直1/2模式、水平方向上的分辨率和垂直方向上的分辨率減半的水平垂直1/4模式等。另外，在編碼裝置300中，除圖像信息不是視差圖像的信息而是兼容圖像和輔助圖像的信息以外，圖像信息與 視差圖像信息相同，因而，將省略對(duì)其的描述。
[編碼裝置的處理的描述]圖30和圖31是示出由圖28所示的編碼裝置300執(zhí)行的編碼處理的流程圖。該編碼處理例如在從成像單元51A至51C輸出圖像Al至Cl時(shí)開(kāi)始。除了替代復(fù)用模式而確定分辨率轉(zhuǎn)換模式、并且包括轉(zhuǎn)換模式的與分辨率降低處理有關(guān)的信息包括在圖像信息和視差圖像信息中以外，圖30和圖31所示的編碼處理與圖10和圖11所示的編碼處理相同。更具體地，圖30中所示的步驟S211和S212的處理與圖10中所示的步驟Sll和步驟S12的處理相同，并且在步驟S213中，圖像轉(zhuǎn)換單元301將從成像單元51A提供的圖像Al確定為兼容圖像，并且確定輔助圖像的分辨率的轉(zhuǎn)換模式。圖像轉(zhuǎn)換單元301把將圖像Al指定為兼容圖像的信息提供到兼容性信息生成單元55，并且將輔助圖像的分辨率的轉(zhuǎn)換模式提供到圖像信息生成單元303。步驟S214和S215的處理與圖10中所示的步驟S14和S15的處理相同。在步驟S216中，圖像轉(zhuǎn)換單元301將除了圖像Al外的圖像BI和Cl設(shè)置為輔助圖像，并且基于在步驟S213中確定的輔助圖像的分辨率的轉(zhuǎn)換模式來(lái)降低輔助圖像的分辨率并對(duì)所得到的輔助圖像進(jìn)行復(fù)用。步驟S217和S218 (圖31)的處理與步驟S17和S18 (圖11)的處理，并且在步驟S219中，視差圖像生成單元302確定輔助圖像的視差圖像的分辨率的轉(zhuǎn)換模式，并將表示轉(zhuǎn)換模式的信息提供到視差圖像信息生成單元304。步驟S220(圖31)的處理與圖11中所示的步驟S20的處理相同，并且在步驟S221中，視差圖像生成單元302基于在步驟S219中確定的輔助圖像的視差圖像的分辨率的轉(zhuǎn)換模式來(lái)降低輔助圖像的視差圖像的分辨率，并且對(duì)所得到的視差圖像進(jìn)行復(fù)用。步驟S222和S226 的處理與圖11中所示的步驟S22至S26的處理相同。如上所述，由于編碼裝置300降低了輔助圖像和視差圖像的分辨率，因此可以抑制編碼結(jié)果的信息量而不提高兼容圖像的壓縮率。結(jié)果，防止了對(duì)兼容圖像的壓縮應(yīng)變效果由于壓縮率的提高而增大，從而可以將兼容圖像的圖像質(zhì)量保持為較高。這類(lèi)似地適用于編碼裝置50、140和180。[解碼裝置的配置示例]圖32是示出對(duì)圖28中所示的編碼裝置300傳送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖32所示的配置中，相同的附圖標(biāo)記被賦予與圖12所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖32所示的解碼裝置320的配置與圖12所示的配置的主要不同之處在于，替代圖像生成單元127，設(shè)置了圖像生成單元321。解碼裝置320對(duì)從編碼裝置300傳送的復(fù)用流進(jìn)行解碼，并且生成一個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并且在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置320的圖像生成單元321根據(jù)觀看者作出的指令來(lái)輸出圖像，從而在圖中未示出的顯示裝置上顯示圖像。更具體地，圖像生成單元321根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像來(lái)生成與圖中未示出的顯示裝置相對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有與兼容圖像或輔助圖像的分辨率相同的分辨率。詳細(xì)描述，圖像生成單元321 (分離單元和圖像轉(zhuǎn)換單元)基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的分辨率的轉(zhuǎn)換模式，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像并提高其分辨率。結(jié)果，圖像生成單元321獲取具有與兼容圖像的分辨率相同的分辨率的每個(gè)輔助圖像的視差圖像。另外，圖像生成單元321基于從圖像信息獲取單元123提供的圖像信息中包括的分辨率的轉(zhuǎn)換模式，從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像，提高其分辨率，并且獲取具有與兼容圖像的分辨率相同的分辨率的每個(gè)輔助圖像。此外，圖像生成單元321基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置相對(duì)應(yīng)的視點(diǎn)數(shù)量來(lái)確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元321通過(guò)使用兼容圖像、分辨率與兼容圖像的分辨率相同的每個(gè)輔助圖像、兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像來(lái)生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元321將所生成的每個(gè)視點(diǎn)的圖像的分辨率轉(zhuǎn)換成為輔助圖像的兼容圖像的分辨率的“I/視點(diǎn)數(shù)量”的分辨率，對(duì)轉(zhuǎn)換后的圖像進(jìn)行合成，并且在圖中未示出的顯示裝置上顯示所得到的圖像。此時(shí)，合成后的多視點(diǎn)圖像被顯示成使得觀看角度對(duì)于每個(gè)視點(diǎn)而言是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像，而不用戴眼鏡。另外，圖像生成單元321根據(jù)從觀看者提供的用于顯示2D圖像的指令來(lái)輸出作為從解碼器122的兼容解碼器131提供的兼容圖像的圖像Al，從而在圖中未示出的顯示裝置上顯示圖像。因此，觀看者可以觀看2D圖像。

[解碼裝置的處理描述]圖33是示出由圖32所示的解碼裝置320執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖28所示的編碼裝置300傳送的復(fù)用流輸入到解碼裝置320時(shí)開(kāi)始。除了基于包括在輔助流中的圖像信息和視差圖像信息來(lái)提高輔助圖像的分辨率和輔助圖像的視差圖像的分辨率外，圖33所示的解碼處理與圖13所示的解碼處理相同。更具體地，圖33中所示的步驟S231至S239的處理與圖13所示的步驟S31至S39的處理相同，并且在步驟S240中，圖像生成單元321基于從圖像信息獲取單元123提供的圖像信息中包括的分辨率的轉(zhuǎn)換模式來(lái)分離輔助圖像的復(fù)用圖像，并提高分離后的輔助圖像的分辨率。以此方式，圖像生成單元321獲取作為分辨率與兼容圖像相同的輔助圖像的圖像BI和Cl。在步驟S241中，圖像生成單元321基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的分辨率的轉(zhuǎn)換模式來(lái)分離輔助圖像的視差圖像的復(fù)用圖像，并提供分離后的復(fù)用圖像的分辨率。以此方式，圖像生成單元321獲取作為分辨率與兼容圖像相同的輔助圖像的視差圖像的圖像BI’和Cl’。

步驟S242的處理與圖13中所示的步驟S40的處理相同，并且在步驟S243中，圖像生成單元321基于在步驟S242中確定的每個(gè)視點(diǎn)的位置、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像、分辨率與兼容圖像的分辨率相同的輔助圖像、兼容圖像的視差圖像和輔助圖像的視差圖像來(lái)生成分辨率與兼容圖像或輔助圖像的分辨率相同的每個(gè)視點(diǎn)的圖像。步驟S244至S246的處理與圖13中所示的步驟S42至S44的處理相同。在僅可以對(duì)與解碼裝置320具有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽視輔助流的TS，并且僅執(zhí)行步驟S233和S246的處理。如上所述，解碼裝置320可以對(duì)由編碼裝置300根據(jù)與現(xiàn)有模式具有兼容性的模式編碼的兼容流和輔助流進(jìn)行解碼。[視差圖像信息的布置的另一示例]在以上給出的描述中，在第四實(shí)施例中，盡管兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息包括在輔助流中，但是類(lèi)似于第一至第三實(shí)施例，這樣的信息也可包括在TS中。在這樣的情況下，例如，在包括在輔助流的TS的分組中的PMT或SIT的描述符中，描述了兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息。圖34是示出在PMT的描述符中描述了兼容性信息、視差圖像信息、圖像信息和視點(diǎn)間距離信息的情況下對(duì)布置有視差圖像信息的描述符(depth_map_structure_descriptor)的描述示例的圖。如圖34所不，在描述符(depth_map_structure_descriptor)中，在描述符標(biāo)記和描述符長(zhǎng)度之后，作為視差圖像信息，描述了視差圖像的數(shù)量(num_0f_cbpth_map)、低分辨率標(biāo)志(is_decimated)、視差圖像的分辨率的轉(zhuǎn)換模式(decimation_mode)、指定分辨率已降低的視差圖像的信息(comb_decimated_views)等。 在第四實(shí)施例中，盡管在根據(jù)第一實(shí)施例的圖像信息和視差圖像信息中不包括與復(fù)用有關(guān)的信息而是包括與分辨率降低有關(guān)的信息，但是在根據(jù)第二和第三實(shí)施例的圖像信息和視差圖像中，也可以不包括與復(fù)用有關(guān)的信息而是包括與分辨率降低有關(guān)的信息。<第五實(shí)施例>[根據(jù)第五實(shí)施例的編碼裝置的配置示例]圖35是示出根據(jù)本技術(shù)的第五實(shí)施例的編碼裝置的配置示例的框圖。在圖35所示的配置中，相同的附圖標(biāo)記被賦予與圖14所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖35所示的編碼裝置440的配置與圖14所示的配置的主要不同之處在于，替代視差圖像生成單元143和編碼器145，布置了視差圖像生成單元441和編碼器442。編碼裝置440不是在空間方向上對(duì)兼容圖像的視差圖像進(jìn)行復(fù)用而是在時(shí)間方向上對(duì)兼容圖像的視差圖像進(jìn)行復(fù)用，并且對(duì)復(fù)用后的視差圖像進(jìn)行編碼。更具體地，編碼裝置440的視差圖像生成單元441使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)圖像A2至D2的每個(gè)像素的視差。視差圖像生成單元441基于檢測(cè)結(jié)果生成作為兼容圖像的、圖像A2的視差圖像A2’和圖像B2的視差圖像B2’以及作為輔助圖像的、圖像C2的視差圖像C2’和圖像D2的視差圖像D2’。另外，類(lèi)似于圖1 4所示的視差圖像生成單元143，視差圖像生成單元441根據(jù)預(yù)定的復(fù)用模式來(lái)在空間方向上對(duì)視差圖像C2’和D2’進(jìn)行復(fù)用。另外，視差圖像生成單元441 (復(fù)用單元)在時(shí)間方向上對(duì)視差圖像A2’和B2’以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。視差圖像生成單元441將作為其結(jié)果所獲取的、在一幀時(shí)間內(nèi)對(duì)應(yīng)于一幀的視差圖像A2’和B2’以及輔助圖像的視差圖像的復(fù)用圖像存在的復(fù)用圖像作為時(shí)間復(fù)用圖像提供到編碼器442。另外，視差圖像生成單元441將表示輔助圖像的視差圖像的復(fù)用模式以及作為兼容圖像和輔助圖像的視差圖像的復(fù)用模式的在時(shí)間方向上的復(fù)用模式(下文中，稱(chēng)為幀序列模式)的信息提供到視差圖像信息生成單元57。編碼器442由兼容編碼器151和輔助編碼器451構(gòu)成。編碼器442的輔助編碼器451根據(jù)3DV模式對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像和從視差圖像生成單元441提供的時(shí)間復(fù)用圖像進(jìn)行編碼。這里，3DV模式是用于根據(jù)與AVC模式或MVC模式相符的多視點(diǎn)模式來(lái)對(duì)顯示圖像進(jìn)行編碼的模式。輔助編碼器451將作為編碼處理的結(jié)果而獲取的編碼流作為輔助流提供到復(fù)用單元443。復(fù)用單元443通過(guò)使用從兼容編碼器151提供的兼容流、從輔助編碼器451提供的輔助流、從圖像信息生成單元54提供的圖像信息、從兼容性信息生成單元55提供的兼容性信息、從視點(diǎn)間距離信息生成單元56提供的視點(diǎn)間距離信息、從視差圖像信息生成單元57提供的視差圖像信息等來(lái)生成TS。復(fù)用單元443對(duì)所生成的TS進(jìn)行復(fù)用，并且傳送作為復(fù)用處理的結(jié)果而獲取的復(fù)用流。下文中，將圖像信息、兼容性信息、視點(diǎn)間距離信息和視差圖像信息統(tǒng)稱(chēng)為輔助信息。[視差圖像信息的描述示例]圖36是示出圖35所示的編碼裝置中的、在PMT的描述符中描述了輔助信息的情況下的對(duì)視差圖像信息的描述示例的圖。如圖36所示，在布置有視差圖像信息的描述符(cbpth_map_structure_descriptior)的中，類(lèi)似于圖25的情況,在描述符標(biāo)記(descriptor_tag)和描述符長(zhǎng)度(descriptor_length)之后，描述了視差圖像信息。另外，作為視差圖像信息，類(lèi)似于圖25的情況，描述了視差圖像的數(shù)量(num_0f_cbpth_map)、表示視差圖像是否被復(fù)用的標(biāo)志(is_frame_packing)、視差圖像的復(fù)用模式(frame_packing_mode)、指定被復(fù)用的視差圖像的信息(comb_frame_packing_view)等。然而,作為視差模式的復(fù)用模式,不僅描述了并排模式(SBS )或上下模式(TOB )，而且描述了幀序列模式。在圖35所示的編碼裝置440中，盡管輔助信息包括在TS中，但是輔助信息也可包括在輔助流中。圖37是示出在輔助信息包括在輔助流中的情況下的對(duì)包括在輔助流中的視差圖像信息的描述示例的圖。在這樣的情況下，如圖6所示，視差圖像信息(d印th_map_structure)例如布置在輔助流中所包括的SEI中。另外，作為視差圖像信息(cbpth_map_structure)，如圖37所示，描述了視差圖像(深度圖)的數(shù)量(num_of_depth_map )、表示視差圖像是否被復(fù)用的標(biāo)志(i s_frame_packing )、視差圖像的復(fù)用系統(tǒng)(frame_packing_mode )、指定被復(fù)用的視差圖像的信息(comb_frame_packing_views)等。然而,作為復(fù)用模式,類(lèi)似于圖36的情況,不僅描述了并排模式(SBS )或上下模式(TOB )，而且描述了幀序列模式。盡管圖中未示出，但是除了圖像信息不是視差圖像而是兼容圖像和輔助圖像的信息以外，圖像信息與視差圖像信息相同。[編碼裝置的處理的描述]圖38和圖39是示出由圖35所示的編碼裝置440執(zhí)行的編碼處理的流程圖。該編碼處理例如在從成像單元141A至141D輸出圖像A2至D2時(shí)開(kāi)始。圖38和圖39中所示的步驟S451至S455的處理與圖15和圖16中所示的步驟S51至S55的處理相同，因而，將省略對(duì)其的描述。在步驟S456中，圖像信息生成單元54基于從圖像轉(zhuǎn)換單元142提供的信息來(lái)生成表示兼容圖像和輔助圖像的復(fù)用模式的信息等作為圖像信息，并且將所生成的圖像信息輸入到復(fù)用單元443。然后，處理進(jìn)行至步驟S457。步驟S457至S459的處理與圖15和圖16中所示的步驟S57至S59的處理相同，從而，將省略對(duì)其的描述。在圖39所示的步驟S460中，視差圖像生成單元441確定輔助圖像的視差圖像的復(fù)用模式以及兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像的復(fù)用模式，并將表示這些復(fù)用模式的信息提供到視差圖像信息生成單元57。在步驟S461中，視差圖像信息生成單元57基于從視差圖像生成單元441提供的信息來(lái)生成表示輔助圖像的視差圖像的復(fù)用模式以及兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像的復(fù)用模式的信息等作為視差圖像信息，并將所生成的視差圖像信息輸入到復(fù)用單元443。在步驟S462中，視差圖像生成單元441基于在步驟S460中確定的復(fù)用模式，在空間方向上對(duì)輔助圖像的視差圖像C2’和D2’的進(jìn)行復(fù)用，并在時(shí)間方向上對(duì)兼容圖像的視差圖像A2’和B2’以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。在步驟S463中，視差圖像生成單元441將作為步驟S462的復(fù)用處理的結(jié)果而獲取的時(shí)間復(fù)用圖像輸入到編碼器442。在步驟S464中，編碼器442的兼容編碼器151根據(jù)現(xiàn)有的AVC模式來(lái)對(duì)從圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像進(jìn)行編碼，并且將作為其結(jié)果所獲取的編碼流作為兼容流提供到復(fù)用單元443。在步驟S465中，輔助編碼器451根據(jù)3DV模式來(lái)對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像和從視差圖像生成單元提供的時(shí)間復(fù)用圖像進(jìn)行編碼。輔助編碼器451將作為編碼處理的結(jié)果而獲取的編碼流作為輔助流提供到復(fù)用單元443。在步驟S466中，復(fù)用單元443根據(jù)從兼容編碼器151提供的兼容流以及從輔助編碼器451提供的輔助流和輔助信息來(lái)生成TS，對(duì)其執(zhí)行復(fù)用處理，并傳送作為其結(jié)果所獲取的復(fù)用流。該復(fù)用流例如記錄在BD等上或者作為廣播流來(lái)傳送。然后，處理結(jié)束。[解碼裝置的配置示例]圖40是示出對(duì)從圖35所示的編碼裝置440傳送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。在圖40所示的配置 中，相同的附圖標(biāo)記被賦予與圖17所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。
圖40所示的解碼裝置460的配置與圖17所示的配置的主要不同之處在于，替代分離單元121、解碼器122和圖像生成單元171，設(shè)置了分離單元461、解碼器462和圖像生成單元463。解碼裝置460通過(guò)對(duì)從編碼裝置440傳送的復(fù)用流進(jìn)行解碼來(lái)生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并且在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置460的分離單元461接收從編碼裝置440傳送的復(fù)用流，并分離各TS。分離單元461從分離后的TS中提取兼容流和輔助流，并將所提取的流提供到解碼器462。另外，分離單元461提取包括在TS中的輔助信息，將包括在輔助信息中的圖像信息提供到圖像信息獲取單元123，并將視點(diǎn)距離信息提供到視點(diǎn)間距離信息獲取單元124。此夕卜，分離單元461將包括在輔助信息中的視差圖像信息提供到視差圖像信息獲取單元125，并將兼容性信息提供到兼容性信息獲取單元126和解碼器462。解碼器462由兼容解碼器471和輔助解碼器472構(gòu)成。解碼器462的兼容解碼器471基于從分離單元461提供的兼容性信息來(lái)識(shí)別從分離單元461提供的兼容流和輔助流之中的兼容流。兼容解碼器471根據(jù)對(duì)應(yīng)于AVC模式的模式來(lái)對(duì)包括在兼容流中的編碼后的兼容圖像進(jìn)行解碼，并且將作為解碼處理的結(jié)果而獲取的兼容圖像的復(fù)用圖像提供到圖像生成單元463。輔助解碼器472基于從分離單元461提供的兼容性信息來(lái)識(shí)別從分離單元461提供的兼容流和輔助流之中的輔助流。輔助解碼器472根據(jù)與圖35所示的輔助編碼器451對(duì)應(yīng)的模式，對(duì)從分離單元提供的輔助流中包括的、被編碼的輔助圖像的復(fù)用圖像和時(shí)間復(fù)用圖像的進(jìn)行解碼。輔助解碼器472將作為解碼處理的結(jié)果而獲取的輔助圖像的復(fù)用圖像和時(shí)間復(fù)用圖像提供到圖像生成單元463。圖像生成單元463根據(jù)從觀看者提供的指令輸出圖像并在圖中未示出的顯示裝置上顯示該圖像。更詳細(xì)地描述，圖像生成單元463根據(jù)觀看者的用于顯示多視點(diǎn)圖像的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信 息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像和時(shí)間復(fù)用圖像來(lái)生成與圖中未示出的顯示裝置對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。更詳細(xì)地描述，圖像生成單元463 (分離單元)基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的、表示作為兼容圖像的視差圖像和輔助圖像的視差圖像的復(fù)用圖像的復(fù)用模式的幀序列模式的信息，從時(shí)間復(fù)用圖像中分離作為兼容圖像的視差圖像的視差圖像A2’和B2’以及輔助圖像的視差圖像的復(fù)用圖像。然后，圖像生成單元463基于視差圖像信息中包括的輔助圖像的視差圖像的復(fù)用模式，從輔助圖像的視差圖像的復(fù)用圖像中分離視差圖像C2’和D2’。另外，類(lèi)似于圖17所示的圖像生成單元171，圖像生成單元463基于從圖像信息獲取單元123提供的圖像信息中包括的表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像。此外，類(lèi)似于圖像生成單元171，圖像生成單元463基于表示圖像信息中包括的兼容圖像的復(fù)用模式的信息，從兼容圖像的復(fù)用圖像中分離每個(gè)兼容圖像。此外，類(lèi)似于圖像生成單元171，圖像生成單元463基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量來(lái)確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，類(lèi)似于圖像生成單元171，圖像生成單元463通過(guò)使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像來(lái)生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，類(lèi)似于圖像生成單元171，圖像生成單元463將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)數(shù)量”的分辨率，對(duì)這些圖像進(jìn)行合成，并在圖中未示出的顯示裝置上顯示合成圖像。此時(shí)，合成后的多視點(diǎn)圖像被顯示成使得觀看角度對(duì)于每個(gè)視點(diǎn)而言是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像，而無(wú)需戴眼鏡。另外，類(lèi)似于圖像生成單元171，圖像生成單元463根據(jù)從觀看者提供的用于顯示兩視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息來(lái)將從解碼器462提供的兼容圖像的復(fù)用圖像分離成分辨率為兼容圖像的分辨率的一半的圖像A2和B2。然后，類(lèi)似于圖像生成單元171，圖像生成單元463交替地輸出分辨率為兼容圖像的分辨率的一半的分離后的圖像A2和B2，從而在圖中未示出的顯示裝置上顯示分離后的圖像。此時(shí)，觀看者可以通過(guò)佩戴在顯示圖像A2時(shí)左眼快門(mén)和右眼快門(mén)中的一個(gè)打開(kāi)而在顯示圖像B2時(shí)另一個(gè)打開(kāi)的眼鏡并觀看在顯示裝置上交替顯示的圖像A2和B2來(lái)觀看3D圖像。[解碼處理的描述]圖41是示出由圖40所示的解碼裝置460執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖35所示的編碼裝置440傳送的復(fù)用流輸入到解碼裝置460時(shí)開(kāi)始。在圖41所示的步驟S471中，解碼裝置460的分離單元461接收從編碼裝置50傳送的復(fù)用流并分離每個(gè)TS。分離單元461將包括在所分離的TS中的兼容流和輔助流提供到解碼器462。另外，分離單元461提取TS中包括的輔助信息，將輔助信息中包括的圖像信息提供到圖像信息獲取單元123，并將視點(diǎn)距離信息提供到視點(diǎn)間距離信息獲取單元124。此外，分離單元461將輔助信息中包括的視差圖像信息提供到視差圖像信息獲取單元125，并將兼容性信息提供到兼容性信息獲取單元126和解碼器462。在步驟S472中，兼容解碼器471基于從分離單元461提供的兼容性信息來(lái)識(shí)別從分離單元461提供的兼容流和輔助流之中的兼容流。在步驟S473中，兼容解碼器471根據(jù)對(duì)應(yīng)于AVC模式的模式來(lái)對(duì)兼容流中包括的兼容圖像進(jìn)行解碼，并將作為解碼處理的結(jié)果而獲取的兼容圖像的復(fù)用圖像提供到圖像生成單元463。 在步驟S474中，圖像生成單元463確定用戶(hù)是否作出了用于顯示兩視點(diǎn)模式的3D圖像的指令。在步驟S474中確定觀看者尚未作出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，也就是說(shuō)，在作出了用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，輔助解碼器472基于兼容性信息來(lái)識(shí)別從分離單元461提供的兼容流和輔助流之中的輔助流。然后，在步驟S475中，輔助解碼器472從輔助流中提取被編碼的、輔助圖像的復(fù)用圖像和時(shí)間復(fù)用圖像，并且根據(jù)對(duì)應(yīng)于圖2所示的輔助編碼器62的模式來(lái)對(duì)所提取的復(fù)用圖像進(jìn)行解碼。輔助解碼器472將作為解碼處理的結(jié)果而獲取的輔助圖像的復(fù)用圖像和時(shí)間復(fù)用圖像提供到圖像生成單元127，并且處理進(jìn)行至步驟S476。在步驟S476中， 圖像信息獲取單元123獲取從分離單元461提供的圖像信息并將所獲取的圖像信息輸入到圖像生成單元463。在步驟S477中，視點(diǎn)間距離信息獲取單元124獲取從分離單元461提供的視點(diǎn)間距離信息，并將所獲取的視點(diǎn)間距離信息輸入到圖像生成單元463。在步驟S478中，視差圖像信息獲取單元125獲取從分離單元461提供的視差圖像信息，并將所獲取的視差圖像信息輸入到圖像生成單元463。在步驟S479中，兼容性信息獲取單元126獲取從分離單元461提供的兼容性信息，并將所獲取的兼容性信息輸入到圖像生成單元463。在步驟S480中，圖像生成單元463基于從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。在 步驟S481中，圖像生成單元463基于在步驟S480中所確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像和時(shí)間復(fù)用圖像來(lái)生成各視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。步驟S482和S483與圖18所示的步驟S92和S93相同，因此，將省略對(duì)其的描述。在步驟S474中確定觀看者作出了用于顯示兩視點(diǎn)模式的3D圖像的指令的情況下，圖像信息獲取單元123獲取從分離單元461提供的圖像信息，并將所獲取的圖像信息輸入到圖像生成單元463。步驟S485和S486的處理與圖18中所示的步驟S94和S95的處理相同，因而，將省略對(duì)其的描述。另外，在僅可以對(duì)與解碼裝置460具有兼容性的兼容流進(jìn)行解碼的解碼裝置中，忽視輔助流，并且僅執(zhí)行步驟S473、S484和S485的處理。然后，在這種情況下，在步驟S484的處理中，基于預(yù)先確定的復(fù)用模式分離兼容圖像的復(fù)用圖像?！吹诹鶎?shí)施例〉[根據(jù)第六實(shí)施例的編碼裝置的配置示例]圖42是示出根據(jù)本技術(shù)的第六實(shí)施例的編碼裝置的配置示例的框圖。在圖42所示的配置中，相同的附圖標(biāo)記被賦予與圖35所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖42所示的編碼裝置480的配置與圖35所示的配置的主要不同之處在于，替代視差圖像生成單元143、編碼器145和視差圖像信息生成單元57，設(shè)置了視差圖像生成單元481、編碼器482和視差圖像信息生成單元483。編碼裝置480對(duì)表示為兼容圖像和輔助圖像的共有視差圖像所共有的視差值的共有視差圖像進(jìn)行編碼。更具體地，編碼裝置480的視差圖像生成單元481使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)圖像A2與B2之間的每個(gè)像素的視差和圖像C2與D2之間的每個(gè)像素的視差。視差圖像生成單元481生成由表示圖像A2與B2之間的每個(gè)像素的視差的視差值組成的視差圖像作為兼容圖像的共有視差圖像AB2’，并將所生成的共有視差圖像提供到編碼器482。另外，視差圖像生成單元481生成由表示圖像C2與D2之間的每個(gè)像素的視差的視差值組成的視差圖像作為輔助圖像的共有視差圖像CD2’，并將所生成的共有視差圖像提供到編碼器482。此外，視差圖像生成單元481將表示兼容圖像和輔助圖像的視差圖像是共有視差圖像的信息提供到視差圖像信息生成單元483。編碼器482由兼容編碼器151和輔助編碼器491構(gòu)成。輔助編碼器491根據(jù)3DV模式，對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元481提供的兼容圖像的共有視差圖像AB’和輔助圖像的共有視差圖像CD2’進(jìn)行編碼。輔助編碼器491將作為其結(jié)果所獲取的編碼流作為輔助流提供到復(fù)用單元443。視差圖像信息生成單元483基于從視差圖像生成單元53提供的信息來(lái)生成表示兼容圖像和輔助圖像的視差圖像是共有視差圖像的信息等作為視差圖像信息，并將所生成的視差圖像信息提供到復(fù)用單元443。[編碼裝置的處理描述]圖43和圖44示出由圖42所示的編碼裝置480執(zhí)行的編碼處理的流程圖。該編碼處理例如在從成像單元141A至141D輸出圖像A2至D2時(shí)開(kāi)始。圖43中所示的步驟S491至S498的處理類(lèi)似于圖38中所示的步驟S451至S458的處理，因而，將省略對(duì)其的描述。在圖44所示的步驟S499中，視差圖像生成單元481使用從成像單元141A至141D提供的圖像A2至D2來(lái)檢測(cè)圖像A2與B2之間的每個(gè)像素的視差和圖像C2與D2之間的每個(gè)像素的視差。然后，視差圖像生成單元481生成由表示圖像A2與B2之間的每個(gè)像素的視差的視差值構(gòu)成的共有視差圖像AB2’以及由表示圖像C2與D2之間的每個(gè)像素的視差的視差值組成的共有視差圖像⑶2’。在步驟S500中， 視差圖像信息生成單元483基于從視差圖像生成單元481提供的信息來(lái)生成表示兼容圖像和輔助圖像的視差圖像是共有視差圖像的信息等作為視差圖像信息，并將所生成的視差圖像信息輸入到復(fù)用單元443。在步驟S501中，視差圖像生成單元481將在步驟S499中生成的、輔助圖像的共有視差圖像⑶2’和兼容圖像的共有視差圖像AB2’輸入到編碼器482。在步驟S502中，編碼器482的兼容編碼器151根據(jù)現(xiàn)有的AVC模式來(lái)對(duì)從圖像轉(zhuǎn)換單元142提供的兼容圖像的復(fù)用圖像進(jìn)行編碼，并將作為其結(jié)果所獲取的編碼流作為兼容流提供到復(fù)用單元443。在步驟S503中，輔助編碼器491根據(jù)3DV模式來(lái)對(duì)從圖像轉(zhuǎn)換單元142提供的輔助圖像的復(fù)用圖像以及從視差圖像生成單元481提供的兼容圖像的共有視差圖像和輔助圖像的共有視差圖像進(jìn)行編碼。輔助編碼器491將作為編碼處理的結(jié)果而獲取的編碼流作為輔助流提供到復(fù)用單元443。在步驟S504中，復(fù)用單元443根據(jù)從兼容編碼器151提供的兼容流以及從輔助編碼器491提供的輔助流和輔助信息來(lái)生成TSjf TS執(zhí)行復(fù)用處理，并傳送作為其結(jié)果而獲取的復(fù)用流。該復(fù)用流例如記錄在BD等上或者作為廣播流來(lái)傳送。然后，處理結(jié)束。[解碼裝置的配置示例]圖45是示出對(duì)從圖42所示的編碼裝置48傳送的復(fù)用流進(jìn)行解碼的解碼裝置的配置示例的圖。 在圖45所示的配置中，相同的附圖標(biāo)記被賦予與圖40所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖45所示的解碼裝置500的配置與圖40所示的配置的主要不同之處在于，替代解碼器122和圖像生成單元171，設(shè)置了解碼器501和圖像生成單元502。解碼裝置500通過(guò)對(duì)從編碼裝置480傳送的復(fù)用流進(jìn)行解碼來(lái)生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置500的解碼器501由兼容解碼器471和輔助解碼器511構(gòu)成。解碼器501的輔助解碼器511基于從分離單元461提供的兼容性信息來(lái)識(shí)別從分離單元461提供的兼容流和輔助流之中的兼容流。另外，輔助解碼器511根據(jù)與圖42所示的輔助編碼器491對(duì)應(yīng)的模式來(lái)對(duì)輔助流中包括的輔助圖像的復(fù)用圖像、兼容圖像的共有視差圖像AB2’和輔助圖像的共有視差圖像⑶2’進(jìn)行解碼。輔助解碼器511將作為解碼處理的結(jié)果而獲取的輔助圖像的復(fù)用圖像以及共有視差圖像AB2’和⑶2’提供到圖像生成單元502。圖像生成單元502根據(jù)從觀看者提供的指令來(lái)輸出圖像并在圖中未示出的顯示裝置上顯示該圖像。當(dāng)更詳細(xì)地描述時(shí)，圖像生成單元502根據(jù)觀看者的用于顯示多視點(diǎn)模式的3D圖像的指令、基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像以及共有視差圖像AB2’和⑶2’來(lái)生成與圖中未示出的顯示裝置對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。更詳細(xì)地描述，圖像生成單元502基于表示兼容圖像和輔助圖像的視差圖像是從視差圖像信息獲取單元125提供的視差圖像信息中包括的共有視差圖像的信息來(lái)保持共有視差圖像AB2’和⑶2’而不進(jìn)行改變。另外，類(lèi)似于圖17所示的圖像生成單元171，圖像生成單元502基于從圖像信息獲取單元123提供的圖像信息中包括的、表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像。此外，類(lèi)似于圖像生成單元171，圖像生成單元502基于圖像信息中包括的表示兼容圖像的復(fù)用模式的信息，從兼容圖像的復(fù)用圖像中分離每個(gè)兼容圖像。此外，類(lèi)似于圖像生成單元171，圖像生成單元502基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量來(lái)確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，圖像生成單元502通過(guò)使用每個(gè)兼容圖像、每個(gè)輔助圖像、共有視差圖像AB2’和共有視差圖像⑶2’來(lái)生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，類(lèi)似于圖像生成單元171，圖像生成單元502將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“ I/視點(diǎn)數(shù)量”的分辨率，對(duì)這些圖像進(jìn)行合成，并且在圖中未示出的顯示裝置上顯示合成圖像。此時(shí)，合成后的多視點(diǎn)圖像被顯示成使得觀看角度對(duì)于每個(gè)視點(diǎn)而言是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像，而無(wú)需佩戴眼鏡。另外，類(lèi)似于圖像生成單元171，圖像生成單元502根據(jù)從觀看者提供的用于顯示兩視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息來(lái)將從解碼器501提供的兼容圖像的復(fù)用圖像分離成分辨率為兼容圖像的分辨率的一半的圖像A2和B2。然后，類(lèi)似于圖像生成 單元171，圖像生成單元502交替地輸出分辨率為兼容圖像的分辨率的一半的分離后的圖像A2和B2，從而在圖中未示出的顯示裝置上顯示分離后的圖像。此時(shí)，觀看者可以通過(guò)佩戴在顯示圖像A2時(shí)左眼快門(mén)和右眼快門(mén)中的一個(gè)打開(kāi)而在顯示圖像B2時(shí)另一個(gè)打開(kāi)的眼鏡并觀看在顯示裝置上交替地顯示的圖像A2和B2來(lái)觀看3D圖像。[解碼裝置的處理描述] 圖46是示出由圖45所示的解碼裝置500執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖42所示的編碼裝置480傳送的復(fù)用流輸入到解碼裝置500時(shí)開(kāi)始。圖46所示的步驟S511至S514的處理類(lèi)似于圖41所示的步驟S471至S474的處理，因而，將省略對(duì)其的描述。在步驟S515中，輔助解碼器511提取被編碼的、輔助圖像的復(fù)用圖像、兼容圖像的共有視差圖像AB2’和輔助圖像的共有視差圖像⑶2’，并且根據(jù)與圖42所示的輔助編碼器491對(duì)應(yīng)的模式來(lái)對(duì)所提取的圖像進(jìn)行解碼。輔助解碼器511將作為解碼處理的結(jié)果而獲取的輔助圖像的復(fù)用圖像、共有視差圖像AB2’和共有視差圖像CD2’提供到圖像生成單元502。步驟S516至S520的處理類(lèi)似于圖41所示的步驟S476至S480的處理，因而，省略對(duì)其的描述。在步驟S520的處理之后，在步驟S521中，圖像生成單元502基于在步驟S519中確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息和從兼容性信息獲取單元126提供的兼容性信息等，通過(guò)使用兼容圖像、輔助圖像的復(fù)用圖像、共有視差圖像AB2’和共有視差圖像CD2’來(lái)生成分辨率為兼容圖像或輔助圖像的分辨率的一半的每個(gè)視點(diǎn)的圖像。

步驟S522至S526的處理類(lèi)似于圖41所示的步驟S482至S486的處理，因而，將省略對(duì)其的描述。盡管類(lèi)似于編碼裝置140,編碼裝置440和480對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行復(fù)用和編碼，但是類(lèi)似于圖19所示的編碼裝置180，編碼裝置440和480可對(duì)兩個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼而不對(duì)其進(jìn)行復(fù)用。另外，類(lèi)似于圖5所示的編碼裝置50，編碼裝置440和480可對(duì)一個(gè)視點(diǎn)的兼容圖像進(jìn)行編碼。另外，編碼裝置140和180可對(duì)兼容圖像和輔助圖像的視差圖像進(jìn)行編碼而不對(duì)上述視差圖像進(jìn)行復(fù)用。此外，編碼裝置50可對(duì)輔助圖像的視差圖像進(jìn)行編碼而不對(duì)上述視差圖像進(jìn)行復(fù)用。<編碼目標(biāo)的復(fù)用圖案的示例>圖47是示出在兼容圖像的視點(diǎn)數(shù)量為兩個(gè)且輔助圖像的視點(diǎn)數(shù)量為兩個(gè)的情況下的編碼目標(biāo)的復(fù)用圖案的示例的圖。如圖47的(I)中所示，圖14所示的編碼裝置140在空間方向上對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用，并根據(jù)AVC模式對(duì)復(fù)用圖像進(jìn)行編碼。另外，編碼裝置140在空間方向上對(duì)作為輔助圖像的圖像C2和D2、作為兼容圖像的視差圖像的視差圖像A2 ’和B2 ’以及作為輔助圖像的視差圖像的視差圖像C2’和D2’進(jìn)行復(fù)用，并且根據(jù)與MVC模式相符的3DV模式對(duì)復(fù)用圖像進(jìn)行編碼。此外，如圖47的(2)中所示，編碼裝置140可根據(jù)與MVC模式相符的3DV模式來(lái)對(duì)視差圖像A2’至D2’進(jìn)行編碼，而不對(duì)視差圖像進(jìn)行復(fù)用。另外，如圖47的(3)中所示，圖42所示的編碼裝置480可對(duì)共有視差圖像AB2’進(jìn)行編碼而不是作為兼容圖像的視差圖像的視差圖像A2’和B2’，并且對(duì)共有視差圖像⑶2’進(jìn)行編碼而不是作為輔助圖像的視差圖像的視差圖像C2’和D2’。此外，如圖47的(4)中所示，圖35所示的編碼裝置440根據(jù)幀序列模式來(lái)在空間方向上對(duì)視差圖像A2’和B2’以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用，而不對(duì)作為兼容圖像的視差圖像的視差圖像A2’和B2’進(jìn)行復(fù)用，并且根據(jù)與MVC模式相符的3DV模式對(duì)復(fù)用圖像進(jìn)行編碼。如圖47的(5)中所示，圖19所示的編碼裝置180根據(jù)AVC模式來(lái)對(duì)圖像A2進(jìn)行編碼，并且在圖像A2被設(shè)置為基本視圖的情況下根據(jù)MVC模式來(lái)對(duì)圖像B2進(jìn)行編碼，而不對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用。另外，編碼裝置180在空間方向上對(duì)作為輔助圖像的圖像C2和D2、作為兼容圖像的視差圖像的視差圖像A2’和B2’、以及作為輔助圖像的視差圖像的視差圖像C2’和D2’進(jìn)行編碼，并且根據(jù)與MVC模式相符的3DV模式對(duì)所得到的復(fù)用圖像進(jìn)行編碼。另外，如圖47的(6)中所示，編碼裝置180可根據(jù)與MVC模式相符的3DV模式對(duì)視差圖像A2’至D2’進(jìn)行編碼而不對(duì)其進(jìn)行復(fù)用。此外，如圖47的(7)中所示，類(lèi)似于編碼裝置480，編碼裝置180可對(duì)共有視差圖像AB2’進(jìn)行編碼而不是視差圖像A2’和B2’，并且對(duì)共有視差圖像⑶2’進(jìn)行編碼而不是視差圖像C2’和D2’。此外，如圖47的(8)中所示，類(lèi)似于編碼裝置440，編碼裝置180可根據(jù)幀序列模式來(lái)對(duì)視差圖像A2’和B2’以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用，并且根據(jù)與MVC模式相符的3DV模式來(lái)對(duì)所得到的復(fù)用圖像進(jìn)行編碼，而不在空間方向上對(duì)視差圖像A2’和B2’進(jìn)行復(fù)用。另外，復(fù)用圖案不限于圖47所示的示例。例如，可根據(jù)幀序列模式進(jìn)一步對(duì)輔助圖像的復(fù)用圖像、兼容圖像 的視差圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。圖48是示出以圖47的(I)至(8)中所示的復(fù)用圖案進(jìn)行復(fù)用的效果的特征的圖。在圖48所示的表中，布置了效果項(xiàng)目“兼容性”、“圖像質(zhì)量”和“數(shù)據(jù)量”，并且表示了關(guān)于圖47的(I)至(8)中所示的復(fù)用圖案的各項(xiàng)目的效果的程度。在圖48所表示的表中，圓圈表不存在效果，而雙圓圈表不顯著的效果。在使用圖47的(I)中所示的復(fù)用圖案來(lái)執(zhí)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式相同，從而確保了兼容性。另外，由于類(lèi)似于兼容圖像，例如在空間方向上對(duì)視差圖像進(jìn)行復(fù)用，因此可以使用在解碼裝置側(cè)準(zhǔn)備的、分離兼容圖像的分離單元來(lái)分離視差圖像。相應(yīng)地，確保了可以在解碼裝置側(cè)分離視差圖像。因此，在這種情況下，存在對(duì)兼容性的顯著效果，并且與圖48所示的項(xiàng)目“兼容性”相對(duì)應(yīng)地描述了雙圓圈。在使用圖47的(2)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，兼容圖像的復(fù)用模式和兼容模式與現(xiàn)有模式相同，從而確保了兼容性。另外，由于視差圖像的分辨率與被復(fù)用之前的圖像的分辨率相同，因此精確度高。結(jié)果，在解碼裝置中，改善了使用視差圖像生成的預(yù)定視點(diǎn)的圖像的精確度。因此，在這種情況下，對(duì)使用視差圖像生成的圖像的兼容性和圖像質(zhì)量存在效果，相應(yīng)地，與圖48中所表示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相對(duì)應(yīng)地描述圓圈。
在使用圖47的(3)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式相同，從而確保了兼容性。另外，每一個(gè)均具有與被復(fù)用之前的圖像的分辨率相同的分辨率的兼容圖像和輔助圖像的視差圖像的數(shù)據(jù)量減小為兩個(gè)視點(diǎn)的視差圖像的數(shù)據(jù)量。相應(yīng)地，在這種情況下，由于對(duì)兼容性和數(shù)據(jù)量存在效果，因此與圖48中所示的項(xiàng)目“兼容性”和“數(shù)據(jù)量”相對(duì)應(yīng)地描述圓圈。在使用圖47的(4)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式相同，從而確保了兼容性。另外，由于在時(shí)間方向上對(duì)視差圖像進(jìn)行復(fù)用，因此在每個(gè)時(shí)間處的視差圖像的數(shù)據(jù)量小于圖47的(3)的情況的數(shù)據(jù)量，從而可以傳送的數(shù)據(jù)量增加。相應(yīng)地，即使在不存在用于傳送分辨率與復(fù)用之前的圖像相同的視差圖像的傳送帶寬的余裕(room)的情況下，可以傳送分辨率與復(fù)用之前的圖像的分辨率相同的視差圖像，從而改善了在解碼裝置中使用視差圖像生成的預(yù)定視點(diǎn)的圖像的精確度。相應(yīng)地，在這種情況下，對(duì)使用視差圖像生成的圖像的兼容性和圖像質(zhì)量存在效果，并且對(duì)數(shù)據(jù)量存在顯著效果。因此，與圖48中所示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相對(duì)應(yīng)地描述圓圈，并且與“數(shù)據(jù)量”相對(duì)應(yīng)地描述雙圓圈。使用圖47的(I)至(4)中所示的復(fù)用圖案來(lái)執(zhí)行復(fù)用處理，例如，在用于廣播、與廣播相符的IP (互聯(lián)網(wǎng)協(xié)議)、ATSC (高級(jí)電視制式委員會(huì))2.0規(guī)范等、作為融合廣播的下一代廣播或互聯(lián)網(wǎng)傳遞應(yīng)用的圖像被設(shè)置為編碼目標(biāo)時(shí)。在使用圖47的(5)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，兼容圖像的復(fù)用模式和編碼模式與現(xiàn)有模式相同，從而確保了兼容性。另外，由于每個(gè)視差圖像分辨率為圖像的分辨率的一半，因此兼容圖像和輔助圖像的視差圖像的數(shù)據(jù)量減少為兩個(gè)視點(diǎn)的視差圖像的數(shù)據(jù)量。相應(yīng)地，在這種情況下，對(duì)兼容性和數(shù)據(jù)量存在效果，并且與圖48中所示的項(xiàng)目“兼容性”和“數(shù)據(jù)量”相對(duì)應(yīng)地描述圓圈。在使用圖47的(6)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，類(lèi)似于圖47的(2)的情況，確保了兼容性，并且改善了在解碼裝置中使用視差圖像來(lái)生成的預(yù)定視點(diǎn)的圖像的精確度。相應(yīng)地，在這種情況下，對(duì)使用視差圖像來(lái)生成的圖像的兼容性和圖像質(zhì)量存在效果，并且與圖48中所示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相對(duì)應(yīng)地描述圓圈。在使用圖47的(7)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，類(lèi)似于圖47的(3)的情況，確保了兼容性，并且視差圖像的數(shù)據(jù)量減少。相應(yīng)地，在這種情況下，對(duì)兼容性和數(shù)據(jù)量存在效果，并且與圖48中所示的項(xiàng)目“兼容性”和“數(shù)據(jù)量”相對(duì)應(yīng)地描述圓圈。在使用圖47的(8)中所示的復(fù)用圖案來(lái)進(jìn)行復(fù)用的情況下，類(lèi)似于圖47的(4)的情況，確保了兼容性。另外，類(lèi)似于圖47的(4)的情況，在每個(gè)時(shí)間處的視差圖像的數(shù)據(jù)量小于圖47的(7)的情況的數(shù)據(jù)量，結(jié)果，改善了在解碼裝置中使用視差圖像來(lái)生成的預(yù)定視點(diǎn)的圖像的精確度。相應(yīng)地，在這種情況下，對(duì)使用視差圖像來(lái)生成的圖像的兼容性和圖像質(zhì)量存在效果，并且對(duì)數(shù)據(jù)量具有顯著效果。因此，與圖48中所示的項(xiàng)目“兼容性”和“圖像質(zhì)量”相對(duì)應(yīng)地描述圓圈，并且與“數(shù)據(jù)量”相對(duì)應(yīng)地描述雙圓圈。使用圖47的(5)、(7)和(8)中所示的復(fù)用圖案來(lái)執(zhí)行復(fù)用處理,例如,在用于BD、廣播、下一代廣播或互聯(lián)網(wǎng)傳遞的應(yīng)用的圖像被設(shè)置為編碼目標(biāo)時(shí)。另外，使用圖47的(6)中所示的復(fù)用圖案來(lái)執(zhí)行 復(fù)用處理，例如，在用于BD、下一代廣播或互聯(lián)網(wǎng)傳遞的應(yīng)用的圖像被設(shè)置為編碼目標(biāo)時(shí)。
圖49是示出在兼容圖像的視點(diǎn)數(shù)量為一個(gè)且輔助圖像的視點(diǎn)數(shù)量為兩個(gè)的情況下的、編碼目標(biāo)的復(fù)用圖案的示例的圖。如圖49的(I)中所示，圖5所示的編碼裝置50根據(jù)AVC模式來(lái)對(duì)作為兼容圖像的圖像Al進(jìn)行編碼。另外，編碼裝置50在時(shí)間方向上對(duì)作為輔助圖像的圖像BI和Cl以及作為輔助圖像的視差圖像的視差圖像BI’和Cl’進(jìn)行復(fù)用。然后，編碼裝置50根據(jù)與MVC模式相符的3DV模式來(lái)對(duì)作為兼容圖像的視差圖像的視差圖像Al’、輔助圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。如圖49的(2)中所示，編碼裝置50可根據(jù)與MVC模式相符的3DV模式對(duì)視差圖像Al’至Cl’進(jìn)行編碼，而不對(duì)視差圖像進(jìn)行復(fù)用。另外，如圖49的(3)中所示，類(lèi)似于編碼裝置480，編碼裝置50可對(duì)作為輔助圖像的圖像B和C的共有視差圖像BC1’進(jìn)行編碼而不是輔助圖像的視差圖像的復(fù)用圖像。另外，如圖49的(4)所示，類(lèi)似于編碼裝置440，編碼裝置50可根據(jù)幀序列模式對(duì)視差圖像Al’至Cl’進(jìn)行復(fù)用，并且根據(jù)與MVC模式相符的3DV模式來(lái)對(duì)所得到的復(fù)用圖像進(jìn)行編碼，而無(wú)需在空間方向上對(duì)視差圖像BI’和Cl’進(jìn)行復(fù)用。使用 圖49的(I)至(4)中所示的復(fù)用圖案的復(fù)用處理的效果和在使用這些復(fù)用圖案執(zhí)行復(fù)用處理時(shí)的編碼目標(biāo)與使用圖47的(5)至(8)中所示的復(fù)用圖案的復(fù)用處理的效果和編碼目標(biāo)相同。然而，在使用圖49的(I)中所示的復(fù)用圖案的復(fù)用處理中，由于兼容圖像的視差圖像的分辨率與兼容圖像的分辨率相同，因此作為該復(fù)用處理的效果的、視差圖像的數(shù)據(jù)量的減少是僅對(duì)于輔助圖像的視差圖像的效果。圖50是示出在兼容圖像的視點(diǎn)數(shù)量為兩個(gè)且輔助圖像的視點(diǎn)數(shù)量為零的情況下的、編碼目標(biāo)的復(fù)用圖案的示例的圖。在兼容圖像的視點(diǎn)數(shù)量為兩個(gè)且輔助圖像的視點(diǎn)數(shù)量為零的情況下，如圖50的(O中所示，類(lèi)似于圖14所示的編碼裝置140的情況，在空間方向上對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用并且根據(jù)AVC模式對(duì)其進(jìn)行編碼。另外，在空間方向上對(duì)作為兼容圖像的視差圖像的視差圖像A2’和B2’進(jìn)行復(fù)用并根據(jù)與AVC模式相符的3DV模式來(lái)對(duì)其進(jìn)行編碼。如圖50的(2)中所示，可根據(jù)與MVC模式相符的3DV模式對(duì)視差圖像A2’和B2’進(jìn)行編碼而不對(duì)其進(jìn)行復(fù)用。另外，如圖50的(3)中所示，類(lèi)似于編碼裝置480的情況，替代視差圖像A2’和B2’，可對(duì)共有視差圖像AB2’進(jìn)行編碼。此外，如圖50的(4)所示，類(lèi)似于編碼裝置440的情況，可以幀序列模式對(duì)視差圖像A2’和B2’進(jìn)行復(fù)用并對(duì)其進(jìn)行編碼，而不在時(shí)間方向上對(duì)其進(jìn)行復(fù)用。另外，如圖50的(5)中所示，類(lèi)似于編碼裝置180的情況，其可被配置成使得根據(jù)AVC模式對(duì)圖像A2進(jìn)行編碼，并以將圖像A2設(shè)置為基本視圖的MVC模式對(duì)圖像B2進(jìn)行編碼，而不對(duì)作為兼容圖像的圖像A2和B2進(jìn)行復(fù)用。在這種情況下，如圖50的(6)中所示，類(lèi)似于圖50的(2)的情況，可對(duì)視差圖像進(jìn)行編碼而不對(duì)其進(jìn)行復(fù)用，或者如圖50的(7)所示，類(lèi)似于圖50的(3)的情況，可對(duì)共有視差圖像AB2’進(jìn)行編碼。另外，如圖50的(8)中所示，類(lèi)似于圖50中所示的(4)的情況，可根據(jù)幀序列模式對(duì)兼容圖像的視差圖像進(jìn)行復(fù)用并對(duì)其進(jìn)行編碼。另外，使用圖49的(I)至(8)中所示的復(fù)用圖案的復(fù)用處理的效果和在使用這些復(fù)用圖案執(zhí)行復(fù)用處理時(shí)的編碼目標(biāo)與使用圖47的(I)至(8)中所示的復(fù)用圖案的復(fù)用處理的效果和編碼目標(biāo)相同。在以上給出的描述中，盡管描述了根據(jù)幀序列模式來(lái)復(fù)用的視差圖像的分辨率與復(fù)用處理之前的圖像的分辨率相同，但是分辨率可低于復(fù)用處理之前的圖像的分辨率。另夕卜，類(lèi)似于視差圖像，還可根據(jù)幀序列模式對(duì)輔助圖像進(jìn)行復(fù)用。此外，在以上給出的描述中，盡管描述了在編碼裝置中傳送表示圖像的復(fù)用模式的信息和表示視差圖像的復(fù)用模式的信息，但是可傳送用于識(shí)別圖47、圖49和圖50中所示的復(fù)用圖案的信息。另外，編碼裝置可傳送用于識(shí)別與作為編碼目標(biāo)的圖像對(duì)應(yīng)的應(yīng)用的標(biāo)志。<第七實(shí)施例>[根據(jù)第七實(shí)施例的編碼裝置的配置示例]圖51是示出根據(jù)本技術(shù)的第七實(shí)施例的編碼裝置的配置示例的框圖。在圖51所示的配置中，相同的附圖標(biāo)記被賦予與圖35所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖51所示的編碼裝置520的配置與圖35所示的配置的主要不同之處在于，替代編碼器145和復(fù)用單元443，設(shè)置了編碼器523和傳送單元524，并且新設(shè)置了復(fù)用單元521和復(fù)用信息生成單元522。編碼裝置520根據(jù)幀序列模式對(duì)兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用，并對(duì)所得到的復(fù)用圖像進(jìn)行編碼。 更具體地，編碼裝置520的復(fù)用單元521根據(jù)幀序列模式，對(duì)作為圖像轉(zhuǎn)換單元142執(zhí)行的復(fù)用處理的結(jié)果而獲取的兼容圖像與輔助圖像的復(fù)用圖像以及作為視差圖像生成單元143執(zhí)行的復(fù)用處理的結(jié)果而獲取的兼容圖像與輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。然后，復(fù)用單元521將如下復(fù)用圖像作為時(shí)間方向復(fù)用圖像提供到編碼器523，在該復(fù)用圖像中，在一幀時(shí)間內(nèi)可以作為復(fù)用處理的結(jié)果而獲取的兼容圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像和輔助圖像的視差圖像的復(fù)用圖像可以順序地存在。另外，復(fù)用單元521將如下信息提供到復(fù)用信息生成單元522和編碼器523，該信息表示根據(jù)幀序列模式對(duì)兼容圖像與輔助圖像的復(fù)用圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用且表示時(shí)間復(fù)用圖像內(nèi)的圖像的布置順序。復(fù)用信息生成單元522基于從復(fù)用單元521提供的信息，生成該信息等作為與對(duì)兼容圖像和輔助圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用的全體復(fù)用信息，并將所生成的全體復(fù)用信息提供到傳送單元524。編碼器523由兼容編碼器531和輔助編碼器532構(gòu)成，編碼器523基于從復(fù)用單元521提供的信息來(lái)指定從復(fù)用單元521提供的時(shí)間復(fù)用圖像中包括的兼容圖像的復(fù)用圖像，并且將兼容圖像的復(fù)用圖像提供到兼容編碼器531。另外，編碼器523基于從復(fù)用單元521提供的信息，將時(shí)間復(fù)用圖像中包括的輔助圖像的復(fù)用圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用圖像提供到輔助編碼器532。
編碼器523的兼容編碼器531根據(jù)現(xiàn)有的AVC模式對(duì)時(shí)間復(fù)用圖像中包括的兼容圖像的復(fù)用圖像進(jìn)行編碼。輔助編碼器532根據(jù)3DV模式對(duì)時(shí)間復(fù)用圖像中包括的輔助圖像的復(fù)用圖像以及兼容圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。此時(shí)，通過(guò)參考兼容圖像的復(fù)用圖像來(lái)對(duì)輔助圖像的復(fù)用圖像進(jìn)行編碼，并且通過(guò)參考兼容圖像的視差圖像的復(fù)用圖像來(lái)對(duì)輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。編碼器523將由作為兼容編碼器531或輔助編碼器532執(zhí)行的編碼處理的結(jié)果而獲取的時(shí)間復(fù)用圖像的編碼數(shù)據(jù)組成的比特流提供到傳送單元524.。傳送單元524使用從編碼器523提供的比特流、從圖像信息生成單元54提供的圖像信息、從兼容性信息生成單元55提供的兼容性信息、從視點(diǎn)間距離信息生成單元144提供的視點(diǎn)間距離信息、從視差圖像信息生成單元57提供的視差圖像信息、從復(fù)用信息生成單元522提供的全體復(fù)用信息等來(lái)生成TS。復(fù)用單元443傳送所生成的TS。[編碼裝置的處理的描述]圖52和圖53是示出由圖51所示的編碼裝置520執(zhí)行的編碼處理的流程圖。該編碼處理例如在從成像單元141A至141D輸出圖像A2至D2時(shí)開(kāi)始。圖52中所示的步驟S531至S537的處理與圖38中所示的步驟S451至S457的處理相同，因而將省略對(duì)其的描述。在步驟S537的處理之后，在步驟S538中，圖像轉(zhuǎn)換單元142將兼容圖像的復(fù)用圖像和輔助圖像的復(fù)用圖像輸入到復(fù)用單元521，并且處理進(jìn)行至圖53中所示的步驟S539。圖53中所示的步驟S539至S542的處理與圖39中所示的步驟S459至S462的處理相同，因而，將省略對(duì)其的描述。在步驟S543的處理之后，在步驟S544中，復(fù)用單元521根據(jù)幀序列模式，對(duì)作為由圖像轉(zhuǎn)換單元142執(zhí)行的復(fù)用處理的結(jié)果而獲取的兼容圖像和輔助圖像的復(fù)用圖像以及作為由視差圖像生成單元143執(zhí)行的復(fù)用處理的結(jié)果而獲取的兼容圖像和輔助圖像的視差圖像的復(fù)用圖像進(jìn)行復(fù)用。復(fù)用單元521將作為復(fù)用處理的結(jié)果而獲取的復(fù)用圖像作為時(shí)間方向復(fù)用圖像提供到編碼器523。另外，復(fù)用單元521將表示根據(jù)幀序列模式對(duì)兼容圖像和輔助圖像的復(fù)用圖像以及視差圖像的復(fù)用圖像進(jìn)行復(fù)用且表示時(shí)間復(fù)用圖像內(nèi)的圖像的布置順序的信息提供到復(fù)用 目息生成單兀522和編碼器523。在步驟S545中，復(fù)用信息生成單元522基于從復(fù)用單元521提供的信息，生成該信息等作為全體復(fù)用信息，并將所生成的全體復(fù)用信息提供到傳送單元524。在步驟S546中，兼容編碼器531根據(jù)現(xiàn)有的AVC模式，對(duì)編碼器523基于從復(fù)用單元521提供的信息而輸入的、時(shí)間復(fù)用圖像中包括的兼容圖像的復(fù)用圖像進(jìn)行編碼。在步驟S547中，輔助編碼器532根據(jù)3DV模式，對(duì)編碼器523基于從復(fù)用單元521提供的信息而輸入的、時(shí)間復(fù)用圖像中包括的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、以及輔助圖像的視差圖像的復(fù)用圖像進(jìn)行編碼。編碼器523將由作為步驟S546和S547的編碼處理的結(jié)果而獲取的時(shí)間復(fù)用圖像的編碼數(shù)據(jù)組成的比特流提供到傳送單元524。在步驟S548中，傳送單元524根據(jù)從編碼器523提供的比特流、輔助信息以及從復(fù)用信息生成單元522提供的 全體復(fù)用信息來(lái)生成TS，并傳送所生成的TS。該TS例如記錄在BD等上或者作為廣播流來(lái)傳送。然后，處理結(jié)束。如上所述，編碼裝置520根據(jù)兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)來(lái)生成一個(gè)比特流。相應(yīng)地，包括可以?xún)H對(duì)一個(gè)比特流進(jìn)行解碼的解碼器的解碼裝置可以對(duì)由編碼裝置520生成的比特流進(jìn)行解碼。在以上給出的描述中，盡管描述了根據(jù)與兼容圖像的編碼模式相符的3DV模式來(lái)對(duì)兼容圖像的視差圖像、輔助圖像以及輔助圖像的視差圖像進(jìn)行編碼，但是可根據(jù)與兼容圖像的編碼模式不相符的MPEG2 (運(yùn)動(dòng)圖像專(zhuān)家組階段2)等來(lái)對(duì)這些圖像進(jìn)行編碼。[解碼裝置的配置示例]圖54是示出對(duì)從圖51所示的編碼裝置520傳送的TS進(jìn)行解碼的解碼裝置的配置示例的圖。在圖54所示的配置中，相同的附圖標(biāo)記被賦予與圖40所示的配置相同的配置。將適當(dāng)?shù)厥÷灾貜?fù)描述。圖54所示的解碼裝置540的配置與圖40所示的配置的主要不同之處在于，替代分離單元121、解碼器122和圖像生成單元171，設(shè)置了接收單元541、解碼器542和圖像生成單元544，并且新設(shè)置了復(fù)用信息獲取單元543。解碼裝置540對(duì)從編碼裝置520傳送的TS中包括的時(shí)間復(fù)用圖像的比特流進(jìn)行解碼，生成兩個(gè)視點(diǎn)的圖像或多視點(diǎn)圖像，并且在圖中未示出的顯示裝置上顯示所生成的圖像。更具體地，解碼裝置540的接收單元541接收從編碼裝置520傳送的TS。接收單元541提取TS中包括的時(shí)間復(fù)用圖像的比特流并將該比特流提供到解碼器542。另外，接收單元541提取TS中包括 的輔助信息，并且將輔助信息中包括的圖像信息提供到圖像信息獲取單元123并將視點(diǎn)距離信息提供到視點(diǎn)間距離信息獲取單元124。此外，接收單元541將輔助信息中包括的視差圖像信息提供到視差圖像信息獲取單元125，并且將兼容性信息提供到兼容性信息獲取單元126和解碼器501。另外，接收單元541提取TS中包括的全體復(fù)用信息，并將所提取的全體復(fù)用信息提供到復(fù)用信息獲取單元543。解碼器542由兼容解碼器551和輔助解碼器552構(gòu)成。解碼器542的兼容解碼器551基于從分離單元461提供的兼容性信息，從自接收單元541提供的比特流中提取兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)。兼容解碼器551根據(jù)與AVC模式對(duì)應(yīng)的模式來(lái)對(duì)所提取的兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼，并將解碼后的數(shù)據(jù)提供到圖像生成單元544。輔助解碼器552基于從分離單元461提供的兼容性信息，從自接收單元541提供的比特流中提取輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)。輔助解碼器552根據(jù)與圖51所示的輔助編碼器532的解碼模式對(duì)應(yīng)的模式，對(duì)所提取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)進(jìn)行解碼，并將解碼后的數(shù)據(jù)提供到圖像生成單元544。復(fù)用信息獲取單元543獲取從接收單元541提供的全體復(fù)用信息，并將所獲取的全體復(fù)用信息提供到圖像生成單元544。圖像生成單元544根據(jù)觀看者的顯示指令來(lái)輸出圖像，從而在圖中未示出的顯示裝置上顯示圖像。更具體地，圖像生成單元544根據(jù)觀看者的用于顯示多視點(diǎn)系統(tǒng)的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息、從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息、從復(fù)用信息獲取單元543提供的全體復(fù)用信息等，通過(guò)使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像來(lái)生成與圖中未示出的顯示裝置對(duì)應(yīng)的三個(gè)以上視點(diǎn)的圖像，每個(gè)圖像均具有為兼容圖像或輔助圖像的分辨率的一半的分辨率。更詳細(xì)描述，圖像生成單元544基于從復(fù)用信息獲取單元543提供的全體復(fù)用信息，識(shí)別從輔助解碼器552提供的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像。另外，類(lèi)似于圖17所示的圖像生成單元171，圖像生成單元544基于從視差圖像信息獲取單元125提供的視差圖像信息中包括的、表示輔助圖像的視差圖像的復(fù)用模式的信息，從輔助圖像的視差圖像的復(fù)用圖像中分離每個(gè)輔助圖像的視差圖像。此外，類(lèi)似于圖像生成單元171，圖像生成單元544基于視差圖像信息中包括的、表示兼容圖像的視差圖像的復(fù)用模式的信息，從兼容圖像的視差圖像的復(fù)用圖像中分離每個(gè)兼容圖像的視差圖像。此外，類(lèi)似于圖像生成單元171，圖像生成單元544基于從圖像信息獲取單元123提供的圖像信息中包括的、表示輔助圖像的復(fù)用模式的信息，從輔助圖像的復(fù)用圖像中分離每個(gè)輔助圖像。另外，類(lèi)似于圖像生成單元171，圖像生成單元544基于圖像信息中包括的、表示兼容圖像的復(fù)用模式的信息，從兼容圖像的復(fù)用圖像中分離每個(gè)兼容圖像。另外，類(lèi)似于圖像生成單元171，圖像生成單元544基于視點(diǎn)間距離信息和與圖中未示出的顯示裝置對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。然后，類(lèi)似于圖像生成單元171，圖像生成單元544通過(guò)使用每個(gè)兼容圖像、每個(gè)輔助圖像、每個(gè)兼容圖像的視差圖像和每個(gè)輔助圖像的視差圖像來(lái)生成位置被確定的每個(gè)視點(diǎn)的圖像。然后，圖像生成單元544將所生成的多視點(diǎn)圖像的分辨率轉(zhuǎn)換成為兼容圖像或輔助圖像的分辨率的“I/視點(diǎn)數(shù)量”的分辨率，對(duì)轉(zhuǎn)換后的圖像進(jìn)行合成，并在圖中未示出的顯示裝置上顯示合成圖像。此時(shí)，合成后的多視點(diǎn)圖像被顯示成使得觀看角度對(duì)于每個(gè)視點(diǎn)而言是不同的，并且觀看者可以通過(guò)用他的左眼和右眼看任意兩個(gè)視點(diǎn)的圖像來(lái)觀看3D圖像，而無(wú)需佩戴眼鏡。另外，類(lèi)似于圖像生成單元171，圖像生成單元544根據(jù)從觀看者提供的用于顯示兩視點(diǎn)模式的3D圖像的指令，基于從圖像信息獲取單元123提供的圖像信息來(lái)將從解碼器542提供的兼容圖像的復(fù)用圖像分離成分辨率為兼容圖像的分辨率的一半的圖像A2和B2。然后，類(lèi)似于圖像生成單元171，圖像生成單元544交替地輸出分辨率為兼容圖像的分辨率的一半的分離后的圖像A2和B2，從而在圖中未示出的顯示裝置上顯示分離后的圖像。此時(shí)，觀看者可以通過(guò)佩戴在顯示圖像A2時(shí)左眼快門(mén)和右眼快門(mén)中的一個(gè)打開(kāi)而在顯示圖像B2時(shí)另一個(gè)打開(kāi)的眼鏡并觀看在顯示裝置上交替地顯示的圖像A2和B2，來(lái)觀看3D圖像。[解碼裝置的處理的描述]圖55是示出由圖54所示的解碼裝置540執(zhí)行的解碼處理的流程圖。該解碼處理例如在從圖51所示的編碼裝 置520傳送的TS輸入到解碼裝置540時(shí)開(kāi)始。
在圖55所示的步驟S551中，解碼裝置540的接收單元541接收從編碼裝置520傳送的TS。接收單元541提取TS中包括的比特流，并將所提取的比特流提供到解碼器542。另外，接收單元541提取TS中包括的輔助信息，將輔助信息中包括的圖像信息提供到圖像信息獲取單元123，并將視點(diǎn)距離信息提供到視點(diǎn)間距離信息獲取單元124。此外，接收單元541將輔助信息中包括的視差圖像信息提供到視差圖像信息獲取單元125，并將兼容性信息提供到兼容性信息獲取單元126。另外，接收單元541提取TS中包括的全體復(fù)用信息，并將所提取的全體復(fù)用信息提供到復(fù)用信息獲取單元543。在步驟S552中，類(lèi)似于圖41中所示的步驟S474的處理，圖像生成單元544確定觀看者是否作出了用于顯示雙視點(diǎn)模式的3D圖像的指令。在步驟S552中確定觀看者尚未作出用于顯示雙視點(diǎn)模式的3D圖像的指令的情況下，也就是說(shuō)，在作出了用于顯示多視點(diǎn)模式的3D圖像的指令的情況下，處理進(jìn)行至步驟S553。在步驟S553中，解碼器542的兼容解碼器551基于從接收單元541提供的兼容性信息來(lái)從比特流中提取兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)，并且以與AVC模式相對(duì)應(yīng)的模式對(duì)所提取的編碼數(shù)據(jù)進(jìn)行解碼。然后，兼容解碼器551將作為解碼處理的結(jié)果而獲取的兼容圖像的復(fù)用圖像提供到圖像生成單元544。在步驟S554中，輔助解碼器552基于從接收單元541提供的兼容性信息，從比特流中提取輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像、以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)，并且以與圖51所示的輔助編碼器532對(duì)應(yīng)的模式對(duì)所提取的編碼數(shù)據(jù)進(jìn)行解碼。輔助解碼器552將作為解碼處理的結(jié)果所獲取的輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像提供到圖像生成單元544，并且處理進(jìn)行到步驟S555。步驟S555至S558的處理與圖41中所示的步驟S476至S479的處理相同，因而，將省略對(duì)其的描述。在步驟S558的處 理之后，在步驟S559中，復(fù)用信息獲取單元543獲取從接收單元541提供的全體復(fù)用信息，并將所獲取的全體復(fù)用信息輸入到圖像生成單元544。在步驟S560中，類(lèi)似于圖41中所示的步驟S480的處理，圖像生成單元544基于從視點(diǎn)間距離信息獲取單元124提供的視點(diǎn)間距離信息和與圖中未示出的顯示裝置相對(duì)應(yīng)的視點(diǎn)數(shù)量，確定要生成的多視點(diǎn)圖像的每個(gè)視點(diǎn)的位置。在步驟S561中，圖像生成單元544基于在步驟S560中所確定的每個(gè)視點(diǎn)的位置、從圖像信息獲取單元123提供的圖像信息、從視差圖像信息獲取單元125提供的視差圖像信息、從兼容性信息獲取單元126提供的兼容性信息、從復(fù)用信息獲取單元543提供的全體復(fù)用信息等，通過(guò)使用兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像來(lái)生成分辨率為兼容圖像或輔助圖像的分辨率的一半的每個(gè)視點(diǎn)的圖像。然后，處理進(jìn)行至步驟S562。步驟S562和S563的處理與圖41中的步驟S482和S483的處理相同，因而，將省略對(duì)其的描述。在步驟S552中確定觀看者作出了用于顯示兩視點(diǎn)模式的3D圖像的指令的情況下，兼容解碼器551基于從接收單元541提供的兼容性信息來(lái)從比特流中提取兼容圖像的復(fù)用圖像的編碼數(shù)據(jù)，并且根據(jù)與AVC模式對(duì)應(yīng)的模式對(duì)所提取的編碼數(shù)據(jù)進(jìn)行解碼。然后，兼容解碼器551將作為解碼處理的結(jié)果而獲取的兼容圖像的復(fù)用圖像提供到圖像生成單元544。步驟S565至S567的處理與圖41中所示的步驟S484至S486的處理相同，因而，將省略對(duì)其的描述。另外，在可以 僅對(duì)與解碼裝置540具有兼容性的兼容圖像進(jìn)行解碼的解碼裝置中，忽視除了可以處理的兼容圖像的編碼數(shù)據(jù)外的編碼數(shù)據(jù)，并且執(zhí)行步驟S564、S566和S567的處理。然而，在這樣的情況下，在步驟S566的處理中，根據(jù)預(yù)先確定的復(fù)用模式來(lái)分離兼容圖像的復(fù)用圖像。如上所述，解碼裝置540可以對(duì)根據(jù)兼容圖像的復(fù)用圖像、輔助圖像的復(fù)用圖像、兼容圖像的視差圖像的復(fù)用圖像以及輔助圖像的視差圖像的復(fù)用圖像的編碼數(shù)據(jù)生成的一個(gè)比特流進(jìn)行解碼。 <根據(jù)該實(shí)施例的比特流>[比特流的配置示例]圖56是示出根據(jù)該實(shí)施例生成的以訪問(wèn)單位為單位的比特流(編碼流)的配置示例的圖。在圖56所示的示例中，兼容圖像是1920 X 1080像素的L圖像和R圖像，以及輔助圖像是1920X1080像素的O圖像。另外，L視差圖像、R視差圖像和O視差圖像的大小是960 X 1080像素。此外，根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼，根據(jù)MVC模式對(duì)R圖像進(jìn)行編碼，以及根據(jù)3DV模式對(duì)O圖像、L視差圖像和R視差圖像和O視差圖像進(jìn)行編碼。另外，L圖像、R圖像、O圖像、L視差圖像、R視差圖像和O視差圖像的視圖1D分別為O、1、2、3、4和5。這里，視圖1D是每個(gè)視點(diǎn)的圖像和視差圖像所特有的ID。如圖56所示，在以訪問(wèn)單位為單位的比特流中，例如，訪問(wèn)單位定界符(AUD)、SPS(序列參數(shù)集)、用于圖像的根據(jù)MVC模式的子集SPS (Subset SPSl)、用于視差圖像的根據(jù)3DV模式的子集SPS (Subset SPS2)、PPS (畫(huà)面參數(shù)集)、根據(jù)AVC模式的SE1、根據(jù)MVC模式的SE1、根據(jù)3DV模式的SEI以及編碼數(shù)據(jù)的NAL (網(wǎng)絡(luò)抽象層)單位從開(kāi)頭按順序布置。訪問(wèn)單位定界符的NAL單位是表示訪問(wèn)單位的邊界的NAL單位。SPS的NAL單位是包括表示在根據(jù)AVC模式定義的輪廓之中的L圖像的輪廓的profile_idec (在圖56所示的示例中為100)的SPS的NAL單位。用于圖像的子集SPS的NAL單位是包括表示根據(jù)MVC模式定義的輪廓之中的R圖像和O圖像的輪廓的profile_idc (在圖56所示的示例中為128)的子集SPS的NAL單位。用于視差圖像的子集SPS的NAL單位是包括表示根據(jù)3DV模式被定義為用于視差圖像的輪廓之中的、L視差圖像、R視差圖像和O視差圖像的輪廓的profile_idc (在圖56的示例中為138)的子集SPS的NAL單位。根據(jù)AVC模式的SEI的NAL單位是L圖像的SEI的NAL單位。根據(jù)MVC模式的SEI的NAL單位是L圖像和R圖像的SEI的NAL單位。3DV模式的SEI的NAL單位是L圖像、R圖像、O圖像、L視差圖像、R視差圖像或O視差圖像的SEI的NAL單位。作為編碼數(shù)據(jù)的NAL單位，L圖像的編碼數(shù)據(jù)、定界符(MVC DD)、R圖像的編碼數(shù)據(jù)、定界符(3DV DD)、O圖像的編碼數(shù)據(jù)、定界符(3DVDD)、L視差圖像的編碼數(shù)據(jù)、定界符(3DV DD)、R視差圖像的編碼數(shù)據(jù)、定界符(3DV DD)、O視差圖像的編碼數(shù)據(jù)的NAL單位從開(kāi)頭起按順序布置。
在L圖像的編碼數(shù)據(jù)的NAL單位中，添加了包括表示根據(jù)AVC模式的畫(huà)面的I或
5作為NAL單位的類(lèi)型的NAL報(bào)頭。另外，定界符(MVCDD)的NAL單位是表示MVC模式的編碼數(shù)據(jù)的開(kāi)頭的NAL單位。在R圖像的編碼數(shù)據(jù)的NAL單位中，添加了包括表示根據(jù)MVC模式的編碼數(shù)據(jù)的20作為NAL單位的類(lèi)型的NAL報(bào)頭。另外，定界符(3DV DD)的NAL單位是表示3DV模式的編碼數(shù)據(jù)的開(kāi)頭的NAL單位。此外，在O圖像、L視差圖像、R視差圖像和O視差圖像的NAL單位中，添加了包括表示根據(jù)3DV模式的編碼數(shù)據(jù)的21作為NAL單位的類(lèi)型的NAL報(bào)頭。[根據(jù)用于視差圖像的3DV模式的子集SPS的描述示例]圖57是示出圖56所示的用于視差圖像的根據(jù)3DV模式的子集SPS的描述示例的圖。如圖57所示，在用于視差圖像的根據(jù)3DV模式的子集SPS中，描述了包括表示L視差圖像、R視差圖像和O視差圖像的輪廊的profile_idc (在圖57所不的不例中為138)的SPS (seq_parameter_set_data)以及根據(jù)3DV模式定義的關(guān)于每個(gè)profile_idc的信
肩、O更具體地，在用于視差圖像的3DV模式的子集SPS中，作為在profile_idc為138時(shí)的信息，描述了用于視差圖像的擴(kuò)展信息(seq_parameter_set_depth_extension)、表示是否包括用于視差圖像的WI擴(kuò)展信息的用于視差圖像的WI信息標(biāo)志(cbpth_vui_parameters_present_flag)。另外，在用于視差圖像的VUI信息標(biāo)志表示包括用于視差圖像的VUI擴(kuò)展信息的情況下，也描述了用于視差圖像的VUI擴(kuò)展信息(cbpth_Vui_parameters_extension)0另外，在解碼處理中參考用于視差圖像的3DV模式的子集SPS的情況下，也就是說(shuō)，在對(duì)L視差圖像、R視差 圖像和O視差圖像進(jìn)行解碼的情況下，類(lèi)似于對(duì)IDR畫(huà)面進(jìn)行解碼的情況，重設(shè)參考圖像。圖58是示出圖57中所示的用于視差圖像的擴(kuò)展信息的描述示例的圖。如圖58所示，類(lèi)似于MVC模式的子集SPS內(nèi)的擴(kuò)展信息(seq_parameter_set_mvc_extension)，用于視差信息的擴(kuò)展信息由所描述的信息和與每個(gè)視差圖像相對(duì)應(yīng)的圖像的視圖1D (ref_view_id)組成。在圖58中，類(lèi)似于在MVC模式的子集SPS內(nèi)的擴(kuò)展信息，所描述的信息被擴(kuò)展并包括在用于視差圖像的擴(kuò)展信息中。相應(yīng)地，可以針對(duì)每個(gè)視差圖像來(lái)一起描述每個(gè)視差圖像的視圖1D (view_id)和與每個(gè)視差圖像相對(duì)應(yīng)的圖像的視圖1D。也就是說(shuō)，描述了表示視差圖像的數(shù)量的信息(num_ViewS_minUSl)，并且可以進(jìn)行用于讀出視差圖像的視圖1D和與視差圖像對(duì)應(yīng)的圖像的視圖1D的描述與該數(shù)量一樣多的次數(shù)。與此相反，類(lèi)似于MVC模式的子集SPS內(nèi)的擴(kuò)展信息，在所描述的信息不被擴(kuò)展且包括在用于視差圖像的擴(kuò)展信息中的情況下，除了用于視差圖像的擴(kuò)展信息外，描述了表示視差圖像的數(shù)量的信息，并且需要進(jìn)行用于讀出與視差圖像對(duì)應(yīng)的圖像的視圖1D的描述與該數(shù)量一樣多的次數(shù)。結(jié)果，表示視差圖像的數(shù)量的信息的描述和次數(shù)與該數(shù)量一樣多的用于讀出信息的描述彼此重復(fù)。相應(yīng)地，如圖58所示，在所描述的信息被擴(kuò)展且包括在用于視差圖像的擴(kuò)展信息中的情況下，類(lèi)似于MVC模式的子集SPS內(nèi)的擴(kuò)展信息，用于視差圖像的擴(kuò)展信息的數(shù)據(jù)量可以小于信息沒(méi)有被擴(kuò)展且包括在用于視差圖像的擴(kuò)展信息中的情況的數(shù)據(jù)量。圖59是示出圖57中所示的用于視差圖像的VUI擴(kuò)展信息的描述示例的圖。如圖59所示，除了以下各點(diǎn)外，以與MVC模式的VUI擴(kuò)展信息(mvc_vui_parameters—extension)相同的方式描述用于視差圖像的VUI擴(kuò)展信息。也就是說(shuō)，在用于視差圖像的WI信息中，對(duì)于視差圖像的每個(gè)像素，包括了表示是否包括表示與視差圖像對(duì)應(yīng)的圖像的位置的類(lèi)型的位置類(lèi)型的位置類(lèi)型標(biāo)志(depth_loc_info_present_flag)以及表示是否包括表示分辨率轉(zhuǎn)換之前的視差圖像的大小的轉(zhuǎn)換前大小信息的轉(zhuǎn)換前大小信息標(biāo)志(video_src_info_present_flag)。另外,在位置類(lèi)型標(biāo)志表示包括位置類(lèi)型的情況下，位置類(lèi)型也包括在用于視差圖像的VUI信息中，而在轉(zhuǎn)換前大小信息標(biāo)志表示包括轉(zhuǎn)換前大小信息的情況下，轉(zhuǎn)換前大小信息也包括在用于視差圖像的VUI信息中。位置類(lèi)型由頂場(chǎng)位置類(lèi)型(depth_sample_loc_type_top_field)和底場(chǎng)位置類(lèi)型(depth_sample_loc_type_bottom_field)組成。類(lèi)似于MVC模式的VUI擴(kuò)展信息中包括的頂場(chǎng)位置信息(chroma_sampIe_loc_type_top_f ield)和底場(chǎng)位置類(lèi)型(chroma_sampIe_loc_type_bottom_field),描述了頂場(chǎng)位置類(lèi)型和底場(chǎng)位置類(lèi)型。另外，轉(zhuǎn)換前大小信息由表示水平方向上的分辨率轉(zhuǎn)換前的視差圖像的宏塊數(shù)量的信息(pic_width_in_mbs_minusl)、表示垂直方向上的宏塊數(shù)量的信息(pic_height_in_mbs_minusl)、表示是否包括表示縱橫比的縱橫信息的縱橫比標(biāo)志(aspect_ratio_info_present_flag)等構(gòu)成。在縱橫比標(biāo)志表示包括了縱橫信息的情況下，縱橫信息也包括在轉(zhuǎn)換前大小信息中?？v橫信息由作為縱橫比所特有的ID的縱橫比ID(aspect_ratio_idc)等組成。該縱橫比ID不僅被分配給預(yù)先定義的縱橫比而且被分配給未定義的所有縱橫比。在包括在縱橫信息中的縱橫比ID是被賦予未定義的所有縱橫比的縱橫比ID (ExtendecLSAR)的情況下，在水平方向和垂直方向上的分辨率轉(zhuǎn)換前的視差圖像的縱橫比的值(sar_width和sar_height)也包括在縱橫信息中。[3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭的描述示例]圖60是示出包括21作為NAL單位的類(lèi)型的、根據(jù)3DV模式的編碼數(shù)據(jù)的NAL單位的NAL報(bào)頭的描述示例的圖。如圖60所示，在根據(jù)3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭中，作為在NAL單位的類(lèi)型為21時(shí)的信息，描述了表示是否包括視差圖像報(bào)頭擴(kuò)展信息的視差圖像報(bào)頭擴(kuò)展信息標(biāo)志(depth_extension_flag)等。這里,在根據(jù)3DV模式的視差圖像的編碼數(shù)據(jù)的NAL報(bào)頭中也描述了視差圖像報(bào)頭擴(kuò)展信息。在視差圖像報(bào)頭擴(kuò)展信息標(biāo)志表示包括了視差圖像報(bào)頭擴(kuò)展信息的情況下，在3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭中，也描述了視差圖像報(bào)頭擴(kuò)展信息(nal_unit_header_cbpth_extenSi0n)。另一方面，在視差圖像報(bào)頭擴(kuò)展信息標(biāo)志表示不包括視差圖像報(bào)頭擴(kuò)展信息的情況下，在3DV模式的編碼數(shù)據(jù)的NAL報(bào)頭中，也描述了 MVC模式報(bào)頭擴(kuò)展信息(nal_unit_header_mvc_extension)0圖61是示出圖60所示的視差圖像報(bào)頭擴(kuò)展信息的描述示例的圖。如圖61所示，視差圖像報(bào)頭擴(kuò)展信息被配置成除了包括與視差圖像對(duì)應(yīng)的圖像的視圖1D (ref_view_id)外 與MVC模式報(bào)頭信息相同。
[根據(jù)3DV模式的SEI的描述示例]圖62是示出圖56所示的根據(jù)3DV模式的SEI的描述示例的圖。如圖62所示，類(lèi)似于根據(jù)MVC模式的SEI，在根據(jù)3DV模式的SEI中，描述了 SEI的消息。也就是說(shuō)，在根據(jù)3DV模式的SEI中，描述了表示是否指定了操作點(diǎn)的操作點(diǎn)標(biāo)志(operation_point_flag),并且在操作點(diǎn)標(biāo)志表示尚未指定操作點(diǎn)的情況下,描述了表示是否將SEI的消息適應(yīng)于訪問(wèn)單位內(nèi)的所有圖像和視差圖像的全成分標(biāo)志(all_view_components_in_au_flag)。另一方面,在全成分標(biāo)志表示不將SEI的消息適應(yīng)于訪問(wèn)單位內(nèi)的所有圖像和視差圖像的情況下，描述了 SEI的消息所適應(yīng)的圖像和視差圖像的視圖1D數(shù)量(num_view_components_minusl))和視圖1D (sei_view_id)。另一方面，在操作點(diǎn)標(biāo)志表示指定了操作點(diǎn)的情況下，在SEI的消息所適應(yīng)的操作點(diǎn)之中，描述了作為適應(yīng)目標(biāo)的圖像和視差圖像的視圖1D (sei_op_view_id)以及操作點(diǎn)的數(shù)量(sei_op_temporal_id)。然后,描述了 SEI的消息(sei_rbsp)。另外,在根據(jù)3DV模式的SEI中，可以描述SEI的多個(gè)消息。在圖56所示的示例中，盡管假設(shè)R圖像和O圖像的輪廓相同，但是R圖像和O圖像的輪廓可以彼此不同。[比特流的另一配置示例]圖63是示出在圖56所示的R圖像和O圖像的輪廓彼此不同的情況下的、以訪問(wèn)單位為單位的比特流的配置示例的圖。圖63所示的比特流的配置與圖56所示的比特流的配置不同之處在于，布置了除了用于圖像的根據(jù)MVC模式的子集SPS和用于視差圖像的根據(jù)3DV模式的子集SPS外的用于圖像的根據(jù)3DV模式的子集SPS。用于圖像的根據(jù)MVC模式的子集SPS的NAL單位(Subset SPS1)是包括表示以MVC模式定義的輪廓之中的R圖像的輪廓的profile_idc(在圖63所示的示例中為128)的子集SPS的NAL單位。用于圖像的根據(jù)3DV模式的子集SPS (Subset SPS2)的NAL單位是包括表示在以3DV模式定義為用于圖像的輪廓的輪廓之中的O圖像的輪廓的profile_idc(在圖63所示的示例中為148)的子集SPS的NAL單位。用于視差圖像的子集SPS (SubsetSPS3)的NAL單位是包括表示在以3DV模式定義為用于視差圖像的輪廓的輪廓之中的L視差圖像、R視差圖像和O視差圖像的輪廓的profile_idc (在圖63所示的示例中為138)的子集SPS的NAL單位。[根據(jù)用于圖像的3DV模式的子集SPS的描述示例]圖64是示出圖63中所示的用于圖像的根據(jù)3DV模式的子集SPS的描述示例的圖。如圖64所示，在用于圖像的根據(jù)3DV模式的子集SPS中，描述了包括表示圖像O的輪廓的 profile_idc (在圖 64 所不的不例中為 148)的 SPS (seq_parameter_set_data)和以3DV模式定義的關(guān)于每個(gè)profile_idc的信息。更具體地，在用于圖像的根據(jù)3DV模式的子集SPS中，類(lèi)似于根據(jù)MVC模式的子集SPS,作為在profile_idc為148時(shí)的信息，描述了根據(jù)MVC模式的擴(kuò)展信息(seq_parameter_set_mvc_ex tension)、表示是否包括根據(jù)MVC模式的VUI擴(kuò)展信息的根據(jù)MVC模式的VUI信息標(biāo)志(mvc_vui_parameters_present_flag)等。另外，在根據(jù)MVC模式的VUI信息標(biāo)志表示包括根據(jù)MVC模式的VUI擴(kuò)展信息的情況下，還描述了根據(jù)MVC模式的VUI 擴(kuò)展信息(mvc_vui_parameters_extension)。此外，作為了在 profile_idc 為 138 時(shí)的信息，描述了與圖57所示的信息類(lèi)似的信息。這里，3DV模式可以是用于根據(jù)與不同于AVC模式和MVC模式的HEVC (高效率視頻編碼)模式相符的多視點(diǎn)模式對(duì)顯示圖像進(jìn)行編碼的模式。這樣的情況的比特流將描述如下。在本說(shuō)明書(shū)中，假設(shè)HEVC模式基于HEVC工作草案:Thomas ffiegand, Woo-jinHan, Benjamin Bross, Jens-Rainer Ohm, Gary J.Sullivian, iiWDS:Working Draft3 ofHigh-Efficiency Video Coding”，JCTVc_E603_d5 (version5)，于 2011 年 5 月 20 日撰寫(xiě)。<在3DV模式是與HEVC模式相符的模式的情況下的比特流>[比特流的配置示例]圖65是示出在3DV模式是與HEVC模式相符的模式下的、以訪問(wèn)單位為單位的比特流的配置示例的圖。在圖65所示的示例中，假設(shè)如在圖56所示的示例中的L視點(diǎn)圖像、R視點(diǎn)圖像和O視點(diǎn)圖像是編碼目標(biāo)，則根據(jù)AVC模式對(duì)L圖像進(jìn)行編碼，并且根據(jù)3DV模式對(duì)L視點(diǎn)圖像、R視點(diǎn)圖像和O視點(diǎn)圖像進(jìn)行編碼。圖65所示的比特流與圖56所示的比特流的不同之處在于，可以在SPS內(nèi)描述用于圖像的根據(jù)3DV模式的子集SPS (Subset SPSl)和用于視差圖像的根據(jù)3DV模式的子集SPS (Subset SPS2)，并且包括NAL單位的相互不同的類(lèi)型的NAL報(bào)頭被添加到根據(jù)HEVC模式的SEI和根據(jù)3DV模式的SEI的NAL單位中。在圖65所示的比特流中，用于圖像的根據(jù)3DV模式的子集SPS和用于視差圖像的根據(jù)3DV模式的子集SPS可僅在SPS內(nèi)描述，可與SPS分開(kāi)地描述，或者可在SPS中描述并與SPS與分開(kāi)地描述。這里 ，用于圖像的根據(jù)3DV模式的子集SPS和與SPS分開(kāi)的用于視差圖像的根據(jù)3DV模式的子集SPS的描述與BD標(biāo)準(zhǔn)相符，并且適合于生成根據(jù)HEVC模式的編碼數(shù)據(jù)和根據(jù)3DV模式的編碼數(shù)據(jù)來(lái)作為彼此不同的ES (基本流)的情況。在圖65所示的比特流中，由于添加到根據(jù)HEVC模式的SEI的NAL單位和根據(jù)3DV模式的SEI的NAL單位的NAL報(bào)頭中包括的NAL單位的類(lèi)型彼此不同，因此，可以在解碼處理中容易地提取根據(jù)HEVC模式的SEI或根據(jù)3DV模式的SEI的NAL單位。[SPS的描述示例]圖66是示出圖65所示的SPS的描述示例的圖。除了描述了表示是否包括子集SPS的信息的子集SPS信息標(biāo)志(subset_seq_present_flag),以及在子集SPS信息標(biāo)志表示包括子集SPS的信息的情況下描述了子集SPS的信息之外，圖66所示的SPS的描述與與根據(jù)HEVC模式的SPS的描述相同。如圖66所示，子集SPS的信息包括子集SPS的數(shù)量(num_subset_seq)以及表示是否包括子集SPS的子集SPS標(biāo)志(subset_seq_info_present_flag)。另外,在子集SPS標(biāo)志表示包括子集SPS的情況下，子集SPS (subset_seq_parameter_set_data)也包括在子集SPS的信息中。如上所述，由于子集SPS的數(shù)量被描述作為子集SPS的信息，因此，可以通過(guò)在解碼處理中僅讀出SPS的描述來(lái)識(shí)別是否存在子集SPS。另外，由于描述了子集SPS標(biāo)志，因此，子集SPS可以與SPS分開(kāi)地描述而不在SPS內(nèi)描述，從而可以防止對(duì)子集SPS的描述的重復(fù)。[子集SPS的描述示例]圖67是示出圖66所示的子集SPS的描述示例的圖。除了描述了子集SPS所適應(yīng)的圖像、視差圖像的視圖1D的數(shù)量(num_subset_seq_views)、表示子集SPS的適應(yīng)目標(biāo)是否為視差圖像的視差圖像標(biāo)志(depth_extension_flag)、以及表示在適應(yīng)子集SPS時(shí)SPS是否無(wú)效的無(wú)效標(biāo)志(seq_param_override_flag)之外，圖67所示的子集SPS的描述與根據(jù)HEVC模式的SPS的描述相同。在視差圖像標(biāo)志表示子集SPS的適應(yīng)目標(biāo)是視差圖像的情況下，在子集SPS中描述了與作為適應(yīng)目標(biāo)的視差圖像對(duì)應(yīng)的圖像的視圖1D(ref_view_id)。另外，在無(wú)效標(biāo)志表示在適應(yīng)子集SPS時(shí)SPS無(wú)效的情況下，在子集SPS中描述了表示輪廓等的信息(subset_seq profile idc)。在子集SPS的描述之中，作為與SPS的描述類(lèi)似的描述，例如，存在表示適應(yīng)的圖像和視差圖像是否被裁剪的信息(subset_seq_frame_cropping_flag)、表示是否包括VUI 信息(subset_seq_vui_parameters)的 VUI 信息標(biāo)志(subset_seq_vui_parameters_preSent_flag)等。在VUI信息標(biāo)志表示包括VUI信息的情況下，類(lèi)似于SPS，也描述了 VUI信息。另一方面，在VUI信息標(biāo)志表不不包括VUI信息的情況下,類(lèi)似于SPS,沒(méi)有描述VUI信息。在這樣的情況下，作為VUI信息，SPS的VUI信息被適應(yīng)。[子集SPS的VUI信息的描述示例]圖68是示出圖67所示的子集SPS的VUI信息的描述示例的圖。除了描述了表示是否包括作為適應(yīng)目標(biāo)的轉(zhuǎn)換前大小信息的轉(zhuǎn)換前大小信息標(biāo)志(video_src_info_pr esent_flag)外，圖68所示的子集SPS的VUI信息的描述與根據(jù)HEVC模式的SPS的VUI信息的描述相同。在轉(zhuǎn)換前大小信息標(biāo)志表示包括適應(yīng)目標(biāo)的轉(zhuǎn)換前大小信息的情況下，在圖68所示的VUI信息中描述轉(zhuǎn)換前大小信息。也就是說(shuō)，描述了表示水平方向上的分辨率轉(zhuǎn)換前的適應(yīng)目標(biāo)的宏塊數(shù)量的信息(src_pic_width_in_mbs_minusl)、表示垂直方向上的宏塊數(shù)量的信息(src_pic_height_in_mbs_minusl )、表示是否包括表示縱橫比的縱橫信息的縱橫比標(biāo)志(src_aspect_ratio_info_present_f lag)等。在縱橫比標(biāo)志表示包括縱橫信息的情況下，由縱橫比ID(src_aspect_ratio_idc)等組成的縱橫信息也包括在轉(zhuǎn)換前大小信息中。在包括在縱橫信息中的縱橫比ID是賦予未被定義的所有縱橫比的縱橫比ID (Extended_SAR)的情況下，水平方向和垂直方向上的分辨率轉(zhuǎn)換前的適應(yīng)目標(biāo)的縱橫比的值(sar_width和sar_height)也包括在縱橫信息中。另外，在圖68所示的子集SPS的VUI信息中，可描述不同于SPS的VUI信息的要點(diǎn)。在這樣的情況下，對(duì)于在子集SPS的VUI信息中沒(méi)有描述的信息，SPS的VUI信息中包括的信息適用。[SEI的描述示例]圖69是示出圖65所示的根據(jù)3DV模式的SEI的描述示例的圖。除了描述了 SEI消息的類(lèi)型(nesting_type)、全成分標(biāo)志(all_view_components_in_au_flag)等以外，圖69所示的根據(jù)3DV模式的SEI的描述與SEI消息的類(lèi)型的SEI消息的描述相同。
作為SEI消息的類(lèi)型，存在根據(jù)MVC模式的SEI消息、根據(jù)3DV模式的SEI消息、用戶(hù)定義的SEI消息等。在全成分標(biāo)志表示不適應(yīng)訪問(wèn)單位內(nèi)的所有圖像和視差圖像的情況下，在根據(jù)3DV模式的SEI中也描述了 SEI消息所適應(yīng)的圖像和視差圖像的視圖1D的數(shù)量(num_view_components_minusl)和與該數(shù)量對(duì)應(yīng)的視圖1D (nesting_sei_view_id)?！吹诎藢?shí)施例〉[應(yīng)用了本技術(shù)的計(jì)算機(jī)的描述]接下來(lái)，上述的一系列處理可由硬件或軟件來(lái)執(zhí)行。在這系列處理由軟件執(zhí)行的情況下，構(gòu)成軟件的程序安裝于通用計(jì)算機(jī)等。圖70示出根據(jù)實(shí)施例的安裝了執(zhí)行上述系列處理的程序的計(jì)算機(jī)的配置示例。程序可預(yù)先記錄在內(nèi)置于計(jì)算機(jī)中的作為記錄介質(zhì)的存儲(chǔ)單元808或ROM (只讀存儲(chǔ)器)802中。替選地，程序可存儲(chǔ)(記錄)在可移動(dòng)介質(zhì)811上。這樣的可移動(dòng)介質(zhì)811可作為所謂的封裝軟件來(lái)提供。這里，可移動(dòng)介質(zhì)811的示例包括軟盤(pán)、致密盤(pán)只讀存儲(chǔ)器(⑶-ROM)、磁光(MO)盤(pán)、數(shù)字通用盤(pán)(DVD)、磁盤(pán)和半導(dǎo)體存儲(chǔ)器。除了通過(guò)驅(qū)動(dòng)器810將程序從如上所述的可移動(dòng)介質(zhì)811安裝在計(jì)算機(jī)上以外，還可將程序通過(guò)通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)下載到計(jì)算機(jī)中并安裝于內(nèi)置于其中的存儲(chǔ)單元808中。也就是說(shuō)，可將程序例如從下載站點(diǎn)通過(guò)用于數(shù)字衛(wèi)星廣播的衛(wèi)星以無(wú)線(xiàn)方式傳送到計(jì)算機(jī)或者通過(guò)諸如局域網(wǎng)(LAN)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)以有線(xiàn)方式傳送到計(jì)算機(jī)。計(jì)算機(jī)包括在其中的CPU (中央處理單元)801，并且輸入/輸出接口 805通過(guò)總線(xiàn)804連接至CPU801。當(dāng)通過(guò)操作輸入 單元806，從用戶(hù)通過(guò)輸入/輸出接口 805輸入指令時(shí)，CPU801根據(jù)指令執(zhí)行存儲(chǔ)在R0M802中的程序。替選地，CPU801將存儲(chǔ)在存儲(chǔ)單元808中的程序加載到RAM (隨機(jī)存取存儲(chǔ)器)803中并執(zhí)行該程序。相應(yīng)地，CPU801執(zhí)行根據(jù)上述流程圖的處理或通過(guò)上述框圖的配置執(zhí)行的處理。然后，CPU801例如通過(guò)輸入/輸出接口 805從輸出單元807輸出處理結(jié)果，從通信單元809傳送處理結(jié)果，或者按照需要將處理結(jié)果記錄在存儲(chǔ)單元808中。這里，輸入單元806由鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等構(gòu)成。另外，輸出單元807由IXD (液晶顯示器)、揚(yáng)聲器等構(gòu)成。這里，在該說(shuō)明書(shū)中，計(jì)算機(jī)根據(jù)程序執(zhí)行的處理不必一定根據(jù)流程圖中所述的順序、按時(shí)序執(zhí)行。也就是說(shuō)，計(jì)算機(jī)根據(jù)程序執(zhí)行的處理包括以并行方式或以單獨(dú)方式執(zhí)行的處理(例如，并行處理或使用對(duì)象的處理)。另外，程序可由一臺(tái)計(jì)算機(jī)(處理器)來(lái)處理或者可由多臺(tái)計(jì)算機(jī)以分布方式來(lái)處理。此外，程序可傳送至遠(yuǎn)程計(jì)算機(jī)并被執(zhí)行。本技術(shù)可以應(yīng)用于在通過(guò)諸如衛(wèi)星廣播、有線(xiàn)TV (電視機(jī))、互聯(lián)網(wǎng)或便攜式電話(huà)接收數(shù)據(jù)或者在諸如光盤(pán)、磁盤(pán)或閃存的存儲(chǔ)介質(zhì)上處理數(shù)據(jù)時(shí)所使用的編碼裝置和解碼
>J-U ρ α裝直。另外，上述的編碼裝置和解碼裝置可以應(yīng)用于任意電子設(shè)備。下文中，將描述其示例。<第九實(shí)施例>
[電視機(jī)設(shè)備的配置示例]圖71示出作為示例的根據(jù)本技術(shù)的電視機(jī)設(shè)備的示意性配置。電視機(jī)設(shè)備900包括天線(xiàn)901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理單元905、顯示單元906、音頻信號(hào)處理單元907、揚(yáng)聲器908和外部接口單元909。另外，電視機(jī)設(shè)備900包括控制單元910、用戶(hù)接口單元911等。調(diào) 諧器902從由天線(xiàn)901接收到的廣播信號(hào)當(dāng)中選擇期望頻道，對(duì)相應(yīng)的廣播信號(hào)進(jìn)行解調(diào)，并且將所獲取的編碼比特流輸出到解復(fù)用器903。解復(fù)用器903從編碼比特流中提取作為觀看目標(biāo)的節(jié)目的視頻和音頻的分組，并將所提取的分組的數(shù)據(jù)輸出到解碼器904。另外，解復(fù)用器903將諸如EPG(電子節(jié)目指南)的數(shù)據(jù)的分組提供到控制單元910。此外，在執(zhí)行加擾的情況下，通過(guò)解復(fù)用器取消加擾。解碼器904執(zhí)行分組的解碼處理，將通過(guò)解碼處理而生成的視頻數(shù)據(jù)輸出到視頻信號(hào)處理單元905，并且將音頻數(shù)據(jù)輸出到音頻信號(hào)處理單元907。視頻信號(hào)處理單元905根據(jù)用戶(hù)對(duì)視頻數(shù)據(jù)的設(shè)置來(lái)執(zhí)行噪聲消除或視頻處理。視頻信號(hào)處理單元905生成要顯示在顯示單元906上的節(jié)目的視頻數(shù)據(jù)、通過(guò)基于通過(guò)網(wǎng)絡(luò)提供的應(yīng)用的處理而獲取的圖像數(shù)據(jù)等。另外，視頻信號(hào)處理單元905生成用于顯示項(xiàng)目選擇等的菜單屏幕的視頻數(shù)據(jù)，并將所生成的視頻數(shù)據(jù)疊加在節(jié)目的視頻數(shù)據(jù)上。視頻信號(hào)處理單元905基于如上所述的所生成的視頻數(shù)據(jù)來(lái)生成驅(qū)動(dòng)信號(hào)，并且驅(qū)動(dòng)顯示單元906。顯示單元906基于從視頻信號(hào)處理單元905提供的驅(qū)動(dòng)信號(hào)來(lái)驅(qū)動(dòng)顯示裝置(例如，液晶顯示裝置等)，從而顯示節(jié)目的視頻等。音頻信號(hào)處理單元907對(duì)音頻數(shù)據(jù)執(zhí)行諸如噪聲消除的預(yù)定處理，對(duì)處理后的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換處理或放大處理，并且將所得到的音頻數(shù)據(jù)提供到揚(yáng)聲器908，從而執(zhí)行音頻輸出處理。外部接口單元909是用于與外部裝置或網(wǎng)絡(luò)連接的接口，并且對(duì)視頻數(shù)據(jù)、音頻數(shù)據(jù)等執(zhí)行數(shù)據(jù)發(fā)送或數(shù)據(jù)接收。用戶(hù)接口單元911連接至控制單元910。用戶(hù)接口單元911由操作開(kāi)關(guān)、遠(yuǎn)程控制信號(hào)接收單元等構(gòu)成，并且將根據(jù)用戶(hù)的操作的操作信號(hào)提供到控制單元910?？刂茊卧?10由CPU (中央處理單元)、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)CPU執(zhí)行的程序或者CPU執(zhí)行處理所需的各種數(shù)據(jù)、EPG數(shù)據(jù)、通過(guò)網(wǎng)絡(luò)獲取的數(shù)據(jù)等。存儲(chǔ)在存儲(chǔ)器中的程序由CPU在諸如電視機(jī)設(shè)備900啟動(dòng)的預(yù)定定時(shí)讀出并執(zhí)行。CPU控制每個(gè)單元以使得電視機(jī)設(shè)備900能夠通過(guò)執(zhí)行程序來(lái)根據(jù)用戶(hù)的操作執(zhí)行操作。另外，在電視機(jī)設(shè)備900中，總線(xiàn)912被設(shè)置為將調(diào)諧器902、解復(fù)用器903、視頻信號(hào)處理單元905、音頻信號(hào)處理單元907、外部接口單元909等與控制單元910彼此連接。
在如上所配置的電視機(jī)設(shè)備中，根據(jù)該應(yīng)用的解碼裝置(解碼方法)的功能設(shè)置在解碼器904中。相應(yīng)地，可以根據(jù)與現(xiàn)有模式具有兼容性的模式來(lái)對(duì)多視點(diǎn)圖像進(jìn)行解碼。<第十實(shí)施例>[便攜式電話(huà)的配置示例]圖72示出根據(jù)本技術(shù)的便攜式電話(huà)的示意性配置。便攜式電話(huà)920包括通信單元922、音頻編解碼器923、攝像單元926、圖像處理單元927、解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931。這些都通過(guò)總線(xiàn)933來(lái)互連。另外，天線(xiàn)921連接至通信單元922，并且揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923。此外，操作單元923連接至控制單元931。便攜式電話(huà)920在諸如語(yǔ)音電話(huà)模式和數(shù)據(jù)通信模式的各種模式下執(zhí)行各種操作，諸如音頻信號(hào)的發(fā)送和接收、電子郵件或圖像數(shù)據(jù)的發(fā)送和接收、圖像捕獲以及數(shù)據(jù)記錄。在語(yǔ)音電話(huà)模式下，麥克風(fēng)925生成的音頻信號(hào)被轉(zhuǎn)換成音頻數(shù)據(jù)并被音頻編解碼器923壓縮，并且所得到的音頻數(shù)據(jù)被提供到通信單元922。通信單元922對(duì)音頻數(shù)據(jù)執(zhí)行調(diào)制處理、頻率轉(zhuǎn)換處理等，從而生成發(fā)送信號(hào)。另外，通信單元922將發(fā)送信號(hào)提供到天線(xiàn)921，從而將發(fā)送信號(hào)發(fā)送至圖中未示出的基站。此外，通信單元922對(duì)由天線(xiàn)921接收到的接收信號(hào)執(zhí)行放大處理、頻率轉(zhuǎn)換處理、解調(diào)處理等，并將所獲取的音頻數(shù)據(jù)提供到音頻編解碼器923。音頻編解碼器923對(duì)音頻數(shù)據(jù)執(zhí)行數(shù)據(jù)解壓縮，將音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號(hào)，并將音頻信號(hào)輸出到揚(yáng)聲器924。在數(shù)據(jù)通信模式下，在執(zhí)行郵件發(fā)送的情況下，控制單元931接收通過(guò)操作單元932的操作而輸入的字符數(shù)據(jù)，并在顯示單元930上顯示所輸入的字符。另外，控制單元931基于從操作單元932提供的用戶(hù)指令等來(lái)生成郵件數(shù)據(jù)，并且將所生成的郵件數(shù)據(jù)提供到通信單元922。通信單元922對(duì)郵件數(shù)據(jù)執(zhí)行調(diào)制處理、頻率轉(zhuǎn)換處理等，并從天線(xiàn)921發(fā)送獲取的發(fā)送信號(hào)。另外，通信單元922對(duì)天線(xiàn)921接收到的接收信號(hào)執(zhí)行放大處理、頻率轉(zhuǎn)換處理、解調(diào)處理等，從而恢復(fù)郵件數(shù)據(jù)。該郵件數(shù)據(jù)被提供到顯示單元930，從而顯示郵件的內(nèi)容。另外，便攜式電話(huà)920可通過(guò)使用記錄/再現(xiàn)單元929來(lái)將所接收到的郵件數(shù)據(jù)記錄在存儲(chǔ)介質(zhì)上。該存儲(chǔ)介質(zhì)是任意的可寫(xiě)入存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)是半導(dǎo)體存儲(chǔ)器(諸如，RAM或內(nèi)置型閃存)或者可移動(dòng)介質(zhì)(諸如，硬盤(pán)、磁盤(pán)、磁光盤(pán)、光盤(pán)、USB存儲(chǔ)器或存儲(chǔ)卡)。在數(shù)據(jù)通信模式下發(fā)送圖像數(shù)據(jù)的情況下，攝像單元926生成的圖像數(shù)據(jù)被提供到圖像處理單元927。圖像處理單元927對(duì)圖像數(shù)據(jù)執(zhí)行編碼處理，從而生成編碼數(shù)據(jù)。解調(diào)單元928在預(yù)定模式下對(duì)圖像處理單元927生成的編碼數(shù)據(jù)和從音頻編解碼器923提供的音頻數(shù)據(jù)進(jìn)行復(fù)用，并將復(fù)用數(shù)據(jù)提供到通信單元922。通信單元922對(duì)復(fù)用數(shù)據(jù)執(zhí)行調(diào)制處理、頻率轉(zhuǎn)換處理等，并從天線(xiàn)921發(fā)送獲取的發(fā)送信號(hào)。另外，通信單元922對(duì)天線(xiàn)921接收到的接收信號(hào)執(zhí)行放大處理、頻率轉(zhuǎn)換處理、解調(diào)處理等，從而恢復(fù)復(fù)用數(shù)據(jù)。該復(fù)用數(shù)據(jù)被提供到解復(fù)用單元928。解復(fù)用單元928對(duì)復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用，將編碼數(shù)據(jù)提供到圖像處理單元927，并將音頻數(shù)據(jù)提供到音頻編解碼器923。圖像處理單元927對(duì)編碼數(shù)據(jù)進(jìn)行解碼，從而生成圖像數(shù)據(jù)。該圖像數(shù)據(jù)被提供到顯示單元930，并顯示所接收到的圖像。音頻編解碼器923將音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號(hào)，并將模擬音頻信號(hào)提供到揚(yáng)聲器924，從而輸出所接收到的音頻。在如上配置的便攜式電話(huà)中，根據(jù)該應(yīng)用的解碼裝置(解碼方法)的功能被設(shè)置在圖像處理單元927中。相應(yīng)地，在圖像數(shù)據(jù)的通信中，當(dāng)通過(guò)對(duì)編碼流進(jìn)行解碼來(lái)生成解碼后的圖像數(shù)據(jù)時(shí)，可以根據(jù)與現(xiàn)有模式具有兼容性的模式來(lái)對(duì)多視點(diǎn)圖像進(jìn)行解碼。<第H^一實(shí) 施例>
[記錄和再現(xiàn)裝置的配置示例]圖73示出根據(jù)本技術(shù)的記錄和再現(xiàn)裝置的示意性配置。記錄和再現(xiàn)裝置940例如將接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄在記錄介質(zhì)上，并且在根據(jù)用戶(hù)指令的定時(shí)將所記錄的數(shù)據(jù)提供到用戶(hù)。另外，記錄和再現(xiàn)裝置940例如可從另一裝置獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)，并將數(shù)據(jù)記錄在記錄介質(zhì)上。此外，記錄和再現(xiàn)裝置940對(duì)記錄在記錄介質(zhì)上的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼并輸出，從而可以在監(jiān)視器裝置等中執(zhí)行圖像顯示或音頻輸出。記錄和再現(xiàn)裝置940包括調(diào)諧器941、外部接口單元942、編碼器943、HDD(硬盤(pán)驅(qū)動(dòng)器)單元944、磁盤(pán)驅(qū)動(dòng)器945、選擇器946、解碼器947、0SD (屏幕上顯示)單元948、控制單元949和用戶(hù)接口單元950。調(diào)諧器941從圖中未示出的天線(xiàn)接收到的廣播信號(hào)當(dāng)中選擇期望頻道。調(diào)諧器941將通過(guò)對(duì)期望頻道的接收信號(hào)進(jìn)行解調(diào)而獲取的編碼比特流輸出到選擇器946。外部接口單元942被配置為IEEE1394接口、網(wǎng)絡(luò)接口單元、USB接口、閃存接口等中的至少一個(gè)。外部接口單元942是用于與外部裝置、網(wǎng)絡(luò)、存儲(chǔ)卡等連接的接口，并且對(duì)要記錄的視頻數(shù)據(jù)、音頻數(shù)據(jù)等執(zhí)行數(shù)據(jù)接收。當(dāng)不對(duì)從外部接口單元942提供的視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼時(shí)，編碼器943根據(jù)預(yù)定模式對(duì)數(shù)據(jù)進(jìn)行編碼，并將編碼比特流輸出到選擇器946。HDD單元944將諸如視頻和音頻的內(nèi)容數(shù)據(jù)、各種程序和其他數(shù)據(jù)記錄在內(nèi)置硬盤(pán)上，并在再現(xiàn)數(shù)據(jù)等時(shí)從硬盤(pán)讀出數(shù)據(jù)。磁盤(pán)驅(qū)動(dòng)器945執(zhí)行對(duì)所安裝的光盤(pán)的信號(hào)記錄和信號(hào)再現(xiàn)。光盤(pán)的示例包括DVD 盤(pán)(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+Rff 等)、藍(lán)光盤(pán)等。

選擇器946在記錄視頻或音頻時(shí)選擇從調(diào)諧器941或編碼器943提供的編碼比特流之一，并將該編碼比特流提供到HDD單元944和磁盤(pán)驅(qū)動(dòng)器945之一。另外，選擇器946在再現(xiàn)視頻或音頻時(shí)將從HDD單元944或磁盤(pán)驅(qū)動(dòng)器945輸出的編碼比特流提供到解碼器947。解碼器947對(duì)編碼比特流執(zhí)行解碼處理。解碼器947將通過(guò)執(zhí)行解碼處理而生成的視頻數(shù)據(jù)提供到OSD單元948。另外，解碼器947輸出通過(guò)執(zhí)行解碼處理而生成的音頻數(shù)據(jù)。OSD單元948生成用于顯示項(xiàng)目選擇等的菜單屏幕的視頻數(shù)據(jù)，并將所生成的視頻數(shù)據(jù)在將其疊加在從解碼器947輸出的視頻數(shù)據(jù)上的同時(shí)輸出。用戶(hù)接口單元950連接至控制單元949。用戶(hù)接口單元950由操作開(kāi)關(guān)、遠(yuǎn)程控制信號(hào)接收單元等構(gòu)成，并將根據(jù)用戶(hù)的操作的操作信號(hào)提供到控制單元949。控制單元949由CPU、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)由CPU執(zhí)行的程序或CPU執(zhí)行處理所需的各種數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)器中的程序由CPU在諸如記錄和再現(xiàn)裝置940啟動(dòng)的預(yù)定定時(shí)讀出并執(zhí)行。CPU控制每個(gè)單元以使得記錄和再現(xiàn)裝置940通過(guò)執(zhí)行程序來(lái)執(zhí)行與用戶(hù)的操作相應(yīng)的操作。在如上配置的記錄和再現(xiàn)裝置中，根據(jù)該應(yīng)用的編碼裝置(編碼方法)的功能配置在編碼器943中。相應(yīng)地，當(dāng)通過(guò)對(duì)編碼流進(jìn)行解碼來(lái)生成解碼后的圖像數(shù)據(jù)時(shí)，可以根據(jù)與現(xiàn)有模式具有兼容性的模式來(lái)對(duì)多視點(diǎn)圖像進(jìn)行編碼。
<第十二實(shí)施例>[成像設(shè)備的配置示例]圖74是示出根據(jù)本技術(shù)的成像設(shè)備的示意性配置的圖。成像設(shè)備960使對(duì)象成像，在顯示單元上顯示對(duì)象的圖像或者將該圖像作為圖像數(shù)據(jù)記錄在記錄介質(zhì)上。成像設(shè)備960包括光學(xué)塊961、成像單元962、攝像裝置信號(hào)處理單元963、圖像數(shù)據(jù)處理單元964、顯示單元965、外部接口單元966、存儲(chǔ)單元967、介質(zhì)驅(qū)動(dòng)器968、0SD單元989和控制單元970。另外，用戶(hù)接口單元971連接至控制單元970。此外，圖像數(shù)據(jù)處理單元964、外部接口單元966、存儲(chǔ)單元967、介質(zhì)驅(qū)動(dòng)器968、0SD單元969、控制單元970等通過(guò)總線(xiàn)972相連。光學(xué)塊961是通過(guò)使用聚焦透鏡、光圈機(jī)構(gòu)等來(lái)構(gòu)成的。光學(xué)塊961在成像單元962的成像面上形成對(duì)象的光學(xué)圖像。成像單元962是通過(guò)使用CXD或CMOS圖像傳感器來(lái)配置的，通過(guò)光電轉(zhuǎn)換來(lái)根據(jù)光學(xué)圖像生成電信號(hào)，并將電信號(hào)提供到攝像裝置信號(hào)處理單元963。攝像裝置信號(hào)處理單元963對(duì)從成像單元962提供的電信號(hào)執(zhí)行各種攝像裝置信號(hào)處理，諸如膝蓋校正、伽馬校正和顏色校正。攝像裝置信號(hào)處理單元963將攝像裝置信號(hào)處理后的圖像數(shù)據(jù)提供到圖像數(shù)據(jù)處理單元964。圖像數(shù)據(jù)處理單元964對(duì)從攝像裝置信號(hào)處理單元963提供的圖像數(shù)據(jù)執(zhí)行編碼處理。圖像數(shù)據(jù)處理單元964將通過(guò)執(zhí)行編碼處理而生成的編碼數(shù)據(jù)提供到外部接口單元966或介質(zhì)驅(qū)動(dòng)器968。另外，圖像數(shù)據(jù)處理單元964對(duì)從外部接口單元966或介質(zhì)驅(qū)動(dòng)器968提供的編碼數(shù)據(jù)執(zhí)行解碼處理。圖像數(shù)據(jù)處理單元964將通過(guò)執(zhí)行解碼處理而生成的圖像數(shù)據(jù)提供到顯示單元965。另外，圖像數(shù)據(jù)處理單元964將通過(guò)將從攝像裝置信號(hào)處理單元963提供的圖像數(shù)據(jù)提供到顯示單元965的處理而獲取的或者從OSD單元969獲取的顯示數(shù)據(jù)在將其疊加在圖像數(shù)據(jù)上的同時(shí)提供到顯示單元965。OSD單元969生成由符號(hào)、字符或圖形組成的菜單屏幕、圖標(biāo)等的顯示數(shù)據(jù)，并將顯示數(shù)據(jù)輸出到圖像數(shù)據(jù)處理單元964。外部接口單元966例如由USB輸入/輸出端子等來(lái)構(gòu)成，并且在打印圖像的情況下連接至打印機(jī)。另外，驅(qū)動(dòng)器在必要時(shí)連接至外部接口單元966，諸如磁盤(pán)或光盤(pán)的可移動(dòng)介質(zhì)適當(dāng)?shù)匕惭b在其中，并且從可移動(dòng)介質(zhì)讀取的計(jì)算機(jī)程序在必要時(shí)被安裝。另外，夕卜部接口單元966包括連接至諸如LAN或互聯(lián)網(wǎng)的預(yù)定網(wǎng)絡(luò)的網(wǎng)絡(luò)接口?？刂茊卧?70可以例如根據(jù)從用戶(hù)接口單元971提供的指令來(lái)從存儲(chǔ)單元967讀取編碼數(shù)據(jù)，并將編碼數(shù)據(jù)從外部接口單元966提供到通過(guò)網(wǎng)絡(luò)連接的另一裝置。另外，控制單元970可以通過(guò)外部接口單元966獲取通過(guò)網(wǎng)絡(luò)從另一裝置提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并將該數(shù)據(jù)提供到圖像數(shù)據(jù)處理單元964。作為由介質(zhì)驅(qū)動(dòng)器968驅(qū)動(dòng)的記錄介質(zhì)，例如，使用了任意可讀寫(xiě)的可移動(dòng)介質(zhì)，諸如磁盤(pán)、磁光盤(pán)、光盤(pán)或半導(dǎo)體存儲(chǔ)器。另外，作為可移動(dòng)介質(zhì)的記錄介質(zhì)的類(lèi)型是任意的，并且可以是磁帶裝置、磁盤(pán)裝置或存儲(chǔ)卡。此外，記錄介質(zhì)可以是非接觸式IC卡等。另外，介質(zhì)驅(qū)動(dòng)器968和記錄介質(zhì)可被集成在一起，并由諸如內(nèi)置型硬盤(pán)驅(qū)動(dòng)器或SSD (固態(tài)驅(qū)動(dòng)器)的非便攜式記錄介質(zhì)構(gòu)成?？刂茊卧?70由 CPU、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)CPU執(zhí)行的程序或CPU執(zhí)行處理所需的各種數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)器中的程序由CPU在諸如成像設(shè)備960啟動(dòng)的預(yù)定定時(shí)讀出并執(zhí)行。CPU控制每個(gè)單元以使得成像設(shè)備960通過(guò)執(zhí)行程序來(lái)執(zhí)行與用戶(hù)的操作相應(yīng)的操作。在如上配置的成像設(shè)備中，根據(jù)本應(yīng)用的解碼裝置(解碼方法)的功能設(shè)置在圖像數(shù)據(jù)處理單元964中。相應(yīng)地，當(dāng)通過(guò)對(duì)記錄在存儲(chǔ)單元967、記錄介質(zhì)等中的編碼數(shù)據(jù)進(jìn)行解碼來(lái)生成解碼后的圖像數(shù)據(jù)時(shí)，可以根據(jù)與現(xiàn)有模式具有兼容性的模式來(lái)對(duì)多視點(diǎn)圖像進(jìn)行解碼。另外，本技術(shù)的實(shí)施例不限于上述實(shí)施例，并且可以在不背離本技術(shù)的構(gòu)思的范圍內(nèi)進(jìn)行各種改變。附圖標(biāo)記50編碼裝置52圖像轉(zhuǎn)換單元53視差圖像生成單元55兼容性信息生成單元56視點(diǎn)間距離信息生成單元59復(fù)用單元61兼容編碼器

62輔助編碼器120解碼裝置121分離單元127圖像生成單元131兼容解碼器132輔助解碼器140編碼裝置142圖像轉(zhuǎn)換單元143視差圖像生成單元144視點(diǎn)間距離信息生成單元151兼容編碼器152輔助編碼器170解碼裝置171圖像生成單元180編碼裝置181圖像轉(zhuǎn)換單元191兼容編碼器200解碼裝置202圖像生成單元211兼容解碼器
權(quán)利要求
1.一種編碼裝置，包括: 兼容圖像編碼單元，通過(guò)在多視點(diǎn)圖像之中指定兼容圖像并對(duì)所指定的兼容圖像進(jìn)行編碼來(lái)生成第一編碼流； 圖像轉(zhuǎn)換單元，對(duì)在從所述兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換； 輔助圖像編碼單元，通過(guò)對(duì)所述圖像轉(zhuǎn)換單元轉(zhuǎn)換的所述輔助圖像進(jìn)行編碼來(lái)生成第二編碼流； 設(shè)置單元，設(shè)置指定所述兼容圖像的兼容圖像指定信息；以及傳送單元，傳送所述兼容圖像編碼單元生成的所述第一編碼流、所述輔助圖像編碼單元生成的所述第二編碼流以及所述設(shè)置單元設(shè)置的所述兼容圖像指定信息。
2.根據(jù)權(quán)利要求1所述的編碼裝置，還包括:視差圖像編碼單元，通過(guò)對(duì)作為所述兼容圖像的視差圖像的兼容視差圖像進(jìn)行編碼來(lái)生成第一視差編碼流，并且通過(guò)對(duì)作為所述輔助圖像的視差圖像的輔助視差圖像進(jìn)行編碼來(lái)生成第二視差編碼流， 其中，所述傳送單元傳送所述視差圖像編碼單元生成的所述第一視差編碼流和所述第二視差編碼流。
3.根據(jù)權(quán)利要求2所述的編碼裝置， 其中，所述圖像轉(zhuǎn)換單元轉(zhuǎn)換所述輔助視差圖像的分辨率，以及所述視差圖像編碼單元對(duì)分辨率經(jīng)所述圖像轉(zhuǎn)換單元轉(zhuǎn)換的所述輔助視差圖像進(jìn)行編碼。
4.根據(jù)權(quán)利要求3所述的編碼裝置，還包括:復(fù)用單元，對(duì)分辨率經(jīng)所述圖像轉(zhuǎn)換單元轉(zhuǎn)換的所述輔助視差圖像進(jìn)行復(fù)用， 其中，所述設(shè)置單元設(shè)置表示所述輔助視差圖像的復(fù)用模式的復(fù)用模式信息， 所述視差圖像編碼單元對(duì)經(jīng)所述復(fù)用單元復(fù)用后的所述輔助視差圖像進(jìn)行編碼，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述復(fù)用模式信息。
5.根據(jù)權(quán)利要求3所述的編碼裝置， 其中，所述設(shè)置單元設(shè)置表示所述輔助視差圖像的分辨率的轉(zhuǎn)換模式的轉(zhuǎn)換模式信息，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述轉(zhuǎn)換模式信息。
6.根據(jù)權(quán)利要求3所述的編碼裝置，還包括:復(fù)用單元，在時(shí)間方向上對(duì)所述兼容視差圖像進(jìn)行復(fù)用， 其中，所述設(shè)置單元設(shè)置表示所述兼容視差圖像的復(fù)用模式的復(fù)用模式信息， 所述視差圖像編碼單元對(duì)經(jīng)所述復(fù)用單元在所述時(shí)間方向上復(fù)用后的所述兼容視差圖像進(jìn)行編碼，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述復(fù)用模式信息。
7.根據(jù)權(quán)利要求6所述的編碼裝置， 其中，所述復(fù)用單元在空間方向上對(duì)所述輔助視差圖像進(jìn)行復(fù)用， 所述設(shè)置單元設(shè)置所述兼容 視差圖像和所述輔助視差圖像的所述復(fù)用模式信息，所述視差圖像編碼單元對(duì)經(jīng)所述復(fù)用單元在所述時(shí)間方向上復(fù)用后的所述兼容視差圖像和在所述空間方向上復(fù)用后的所述輔助視差圖像進(jìn)行編碼，以及所述傳送單元傳送所述設(shè)置單元設(shè)置的所述復(fù)用模式信息。
8.根據(jù)權(quán)利要求2所述的編碼裝置，其中，所述兼容視差圖像是為所述兼容圖像共有的視差圖像。
9.根據(jù)權(quán)利要求2所述的編碼裝置，還包括:復(fù)用單元，在時(shí)間方向上對(duì)所述輔助圖像和所述兼容視差圖像進(jìn)行復(fù)用， 其中，所述設(shè)置單元設(shè)置表示所述復(fù)用單元的復(fù)用模式的復(fù)用模式信息， 所述輔助圖像編碼單元對(duì)經(jīng)所述復(fù)用單元復(fù)用后的所述輔助圖像進(jìn)行編碼， 所述視差圖像編碼單元對(duì)經(jīng)所述復(fù)用單元復(fù)用后的所述兼容視差圖像進(jìn)行編碼，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述復(fù)用模式信息。
10.根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述設(shè)置單元設(shè)置表示所述兼容圖像和所述輔助圖像的視點(diǎn)之間的距離的距離信息，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述距離信息。
11.根據(jù)權(quán)利要求1所述的編碼裝置， 其中，所述圖像轉(zhuǎn)換單元對(duì)分辨率經(jīng)轉(zhuǎn)換的所述輔助圖像進(jìn)行復(fù)用， 所述設(shè)置單元設(shè)置表示所 述輔助圖像的復(fù)用模式的輔助圖像復(fù)用模式信息， 所述輔助圖像編碼單元對(duì)經(jīng)所述圖像轉(zhuǎn)換單元復(fù)用后的所述輔助圖像進(jìn)行編碼，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述輔助圖像復(fù)用模式信息。
12.根據(jù)權(quán)利要求11所述的編碼裝置， 其中，所述設(shè)置單元設(shè)置表示所述輔助圖像的分辨率的轉(zhuǎn)換模式的輔助圖像分辨率轉(zhuǎn)換模式信息，以及 所述傳送單元傳送所述設(shè)置單元設(shè)置的所述輔助圖像分辨率轉(zhuǎn)換模式信息。
13.一種由編碼裝置執(zhí)行的編碼方法，所述編碼方法包括: 兼容圖像編碼步驟，通過(guò)在多視點(diǎn)圖像之中指定兼容圖像并對(duì)所指定的兼容圖像進(jìn)行編碼來(lái)生成第一編碼流； 圖像轉(zhuǎn)換步驟，轉(zhuǎn)換在從所述兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率； 輔助圖像編碼步驟，通過(guò)對(duì)在所述圖像轉(zhuǎn)換步驟的處理中轉(zhuǎn)換的所述輔助圖像進(jìn)行編碼來(lái)生成第二編碼流； 設(shè)置步驟，設(shè)置指定所述兼容圖像的兼容圖像指定信息；以及傳送步驟，傳送在所述兼容圖像編碼步驟的處理中生成的所述第一編碼流、在所述輔助圖像編碼步驟的處理中生成的所述第二編碼流以及在所述設(shè)置步驟的處理中設(shè)置的所述兼容圖像指定信息。
14.一種解碼裝置，包括: 接收單元，接收作為對(duì)在多視點(diǎn)圖像之中指定的兼容圖像進(jìn)行編碼的結(jié)果而獲取的第一編碼流、作為對(duì)在從所述兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換并對(duì)所述輔助圖像進(jìn)行編碼的結(jié)果而獲取的第二編碼流以及指定所述兼容圖像的兼容圖像指定信息； 兼容圖像解碼單元，基于所述兼容圖像指定信息識(shí)別所述第一編碼流并對(duì)所述第一編碼流進(jìn)行解碼；輔助圖像解碼單元，對(duì)所述第二編碼流進(jìn)行解碼；以及 圖像轉(zhuǎn)換單元，對(duì)作為所述輔助圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換的所述輔助圖像的分辨率進(jìn)行轉(zhuǎn)換。
15.根據(jù)權(quán)利要求14所述的解碼裝置，還包括:視差圖像解碼單元，對(duì)作為對(duì)兼容視差圖像進(jìn)行編碼的結(jié)果而獲取的第一視差編碼流和作為對(duì)輔助視差圖像進(jìn)行編碼的結(jié)果而獲取的第二視差編碼流進(jìn)行解碼，所述兼容視差圖像是所述兼容圖像的視差圖像，并且所述輔助視差圖像是所述輔助圖像的視差圖像， 其中，所述接收單元接收所述第一視差編碼流和所述第二視差編碼流。
16.根據(jù)權(quán)利要求15所述的解碼裝置， 其中，所述第二視差編碼流是作為對(duì)分辨率經(jīng)轉(zhuǎn)換的所述輔助視差圖像進(jìn)行編碼的結(jié)果而獲取的，以及 所述圖像轉(zhuǎn)換單元對(duì)作為所述視差圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換的所述輔助視差圖像的分辨率進(jìn)行轉(zhuǎn)換。
17.根據(jù)權(quán)利要求16所述的解碼裝置，還包括:分離單元，分離復(fù)用后的所述輔助視差圖像， 其中，所述第二視差編碼流是作為對(duì)分辨率經(jīng)轉(zhuǎn)換且被復(fù)用的所述輔助視差圖像進(jìn)行編碼的結(jié)果而獲取的， 所述接收單元接收表示所述輔助視差圖像的復(fù)用模式的復(fù)用模式信息， 所述分離單元基于所述接收單元接收到的所述復(fù)用模式信息，對(duì)作為所述視差圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換且被復(fù)用的所述輔助視差圖像進(jìn)行分離，以及 所述圖像轉(zhuǎn)換單元將作為所述分離單元進(jìn)行分離的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換的所述輔助視差圖像的分辨率進(jìn)行轉(zhuǎn)換。
18.根據(jù)權(quán)利要求16所述的解碼裝置， 其中，所述接收單元接收表示所述輔助視差圖像的分辨率的轉(zhuǎn)換模式的轉(zhuǎn)換模式信息，以及 所述圖像轉(zhuǎn)換單元基于所述接收單元接收到的所述轉(zhuǎn)換模式信息，對(duì)分辨率經(jīng)轉(zhuǎn)換的所述輔助視差圖像的分辨率進(jìn)行轉(zhuǎn)換。
19.根據(jù)權(quán)利要求16所述的解碼裝置，還包括:分離單元，分離在時(shí)間方向上復(fù)用的所述兼容視差圖像， 其中，所述第一視差編碼流是作為對(duì)在所述時(shí)間方向上復(fù)用的所述兼容視差圖像進(jìn)行編碼的結(jié)果而獲取的， 所述接收單元接收表示所述兼容視差圖像的復(fù)用模式的復(fù)用模式信息，以及 所述分離單元基于所述接收單元接收到的所述復(fù)用模式信息，對(duì)作為所述視差圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的、在所述時(shí)間方向上復(fù)用的所述兼容視差圖像進(jìn)行分離。
20.根據(jù)權(quán)利要求19所述的解碼裝置， 其中，所述第二視差編碼流是 作為對(duì)分辨率經(jīng)轉(zhuǎn)換的、在空間方向上復(fù)用的所述輔助視差圖像進(jìn)行編碼的結(jié)果而獲取的， 所述接收單元接收所述兼容視差圖像和所述輔助視差圖像的復(fù)用模式信息，所述分離單元對(duì)在所述時(shí)間方向上復(fù)用的所述兼容視差圖像進(jìn)行分離，并且對(duì)分辨率經(jīng)轉(zhuǎn)換的、在所述空間方向上復(fù)用的所述輔助視差圖像進(jìn)行分離，其中所述兼容視差圖像是作為所述視差圖像解碼單元基于所述接收單元接收到的所述兼容視差圖像的復(fù)用模式信息進(jìn)行解碼的結(jié)果而獲取的，所述輔助視差圖像是作為所述視差圖像解碼單元基于所述接收單元接收到的所述輔助視差圖像的復(fù)用模式信息進(jìn)行解碼的結(jié)果而獲取的，以及 所述圖像轉(zhuǎn)換單元將所述分離單元分離的、分辨率經(jīng)轉(zhuǎn)換的所述輔助視差圖像的分辨率進(jìn)行轉(zhuǎn)換。
21.根據(jù)權(quán)利要求15所述的解碼裝置，其中，所述兼容視差圖像是為所述兼容圖像共有的視差圖像。
22.根據(jù)權(quán)利要求15所述的解碼裝置，還包括:分離單元，分離在時(shí)間方向上復(fù)用的所述輔助圖像和所述兼容視差圖像， 其中，所述第二編碼流是作為對(duì)在所述時(shí)間方向上復(fù)用的、分辨率經(jīng)轉(zhuǎn)換的所述輔助圖像進(jìn)行編碼的結(jié)果而獲取的， 所述第一視差編碼流是作為對(duì)在所述時(shí)間方向上復(fù)用的所述兼容視差圖像進(jìn)行編碼的結(jié)果而獲取的， 所述接收單元接收表示所述輔助圖像和所述兼容視差圖像的復(fù)用模式的復(fù)用模式信息， 所述分離單元基于所述復(fù)用模式信息對(duì)分辨率經(jīng)轉(zhuǎn)換的、在所述時(shí)間方向上復(fù)用的且作為所述輔助圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的所述輔助圖像進(jìn)行分離，并且對(duì)在所述時(shí)間方向上復(fù)用的且作為所述視差圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的所述兼容視差圖像進(jìn)行分離，以及 所述圖像轉(zhuǎn)換單元對(duì)分辨率經(jīng)轉(zhuǎn)換的、由所述分離單元分離的所述輔助圖像的分辨率進(jìn)行轉(zhuǎn)換。
23.根據(jù)權(quán)利要求14所述的解碼裝置，還包括:生成單元，使用作為所述兼容圖像解碼單元進(jìn)行解碼的結(jié)果而獲取的所述兼容圖像和分辨率經(jīng)所述圖像轉(zhuǎn)換單元轉(zhuǎn)換的所述輔助圖像來(lái)生成所述多視點(diǎn)圖像， 其中，所述接收單元接收表示所述兼容圖像和所述輔助圖像的視點(diǎn)之間的距離的距離 目息，以及 所述生成單元通過(guò)使用所述兼容圖像、所述輔助圖像以及所述接收單元接收到的所述距離信息來(lái)生成所述多視點(diǎn)圖像。
24.根據(jù)權(quán)利要求14所述的解碼裝置，還包括:分離單元，對(duì)復(fù)用后的輔助圖像進(jìn)行分離， 其中，所述第二編碼流是作為對(duì)分辨率經(jīng)轉(zhuǎn)換的所述復(fù)用后的輔助圖像進(jìn)行編碼的結(jié)果而獲取的， 所述接收單元接收表示所述輔助圖像的復(fù)用模式的輔助圖像復(fù)用模式信息， 所述分離單元對(duì)分辨率經(jīng)轉(zhuǎn)換的、作為所述輔助圖像解碼單元基于所述接收單元接收到的所述輔助圖像復(fù)用模式信息進(jìn)行解碼的結(jié)果而獲取的所述復(fù)用后的輔助圖像進(jìn)行分離，以及 所述圖像轉(zhuǎn)換單元對(duì)分辨率經(jīng)轉(zhuǎn)換的、由所述分離單元分離的所述輔助圖像的分辨率進(jìn)行轉(zhuǎn)換。
25.根據(jù)權(quán)利要求24所述的解碼裝置， 其中，所述接收單元接收表示所述輔助圖像的分辨率的轉(zhuǎn)換模式的輔助圖像分辨率轉(zhuǎn)換模式信息，以及 所述圖像轉(zhuǎn)換單元基于所述接收單元接收到的所述輔助圖像分辨率轉(zhuǎn)換模式信息來(lái)對(duì)分辨率經(jīng)轉(zhuǎn)換的所述輔助圖像的分辨率進(jìn)行轉(zhuǎn)換。
26.一種由解碼裝置執(zhí)行的解碼方法，所述解碼方法包括: 接收步驟，接收作為對(duì)從多視點(diǎn)圖像中指定的兼容圖像進(jìn)行編碼的結(jié)果而獲取的第一編碼流、作為對(duì)在從所述兼容圖像生成多視點(diǎn)圖像時(shí)所使用的輔助圖像的分辨率進(jìn)行轉(zhuǎn)換并對(duì)所述輔助圖像進(jìn)行編碼的結(jié)果而獲取的第二編碼流以及指定所述兼容圖像的兼容圖像指定信息； 兼容圖像解碼步驟，基于所述兼容圖像指定信息識(shí)別所述第一編碼流，并對(duì)所述第一編碼流進(jìn)行解碼； 輔助圖像解碼步驟，對(duì)所述第二編碼流進(jìn)行解碼；以及 圖像轉(zhuǎn)換步驟，對(duì)作為在所述輔助圖像解碼步驟的處理中進(jìn)行解碼的結(jié)果而獲取的、分辨率經(jīng)轉(zhuǎn)換的所述輔助圖像的分 辨率進(jìn)行轉(zhuǎn)換。
全文摘要
本發(fā)明涉及一種編碼裝置、編碼方法、解碼裝置和解碼方法，其使用與當(dāng)前方法兼容的方法來(lái)實(shí)現(xiàn)對(duì)多視點(diǎn)圖像的編碼和解碼。兼容編碼器對(duì)作為兼容圖像的圖像(A1)進(jìn)行編碼并生成兼容流。圖像轉(zhuǎn)換器對(duì)作為輔助圖像的圖像(B1)和圖像(C1)的分辨率進(jìn)行轉(zhuǎn)換。輔助編碼器對(duì)分辨率已被轉(zhuǎn)換的輔助圖像進(jìn)行編碼并且生成編碼輔助圖像流。兼容性數(shù)據(jù)生成單元生成將圖像(A1)指定作為兼容圖像的數(shù)據(jù)作為兼容性數(shù)據(jù)。復(fù)用單元傳送兼容流、編碼輔助圖像流和兼容數(shù)據(jù)。本發(fā)明可以應(yīng)用于例如對(duì)多視點(diǎn)3D圖像進(jìn)行編碼的編碼裝置。
文檔編號(hào)H04N7/26GK103081479SQ20118004074
公開(kāi)日2013年5月1日 申請(qǐng)日期2011年8月31日 優(yōu)先權(quán)日2010年9月3日
發(fā)明者服部忍, 高橋良知, 米滿(mǎn)潤(rùn) 申請(qǐng)人:索尼公司