本申請是申請日為2012年3月9日、發(fā)明名稱為“圖像處理設(shè)備和圖像處理方法”以及申請?zhí)枮?01280012933.1的發(fā)明專利申請的分案申請。

本技術(shù)涉及一種圖像處理設(shè)備和圖像處理方法，更具體地，涉及一種能夠使用預(yù)定視點(diǎn)的彩色圖像和深度圖像來生成顯示視點(diǎn)的彩色圖像的圖像處理設(shè)備和圖像處理方法。

背景技術(shù)：

近年來，3d圖像引起了注意。用于觀看3d圖像的常用方法是使得人佩戴在顯示兩個(gè)視點(diǎn)的圖像之一期間打開左眼快門并且在顯示另一圖像期間打開右眼快門的眼鏡，并且人觀看交替顯示的兩個(gè)視點(diǎn)的圖像(下文中稱為“使用眼鏡的方法”)。

然而，對于這種使用眼鏡的方法，除了3d圖像顯示裝置之外，觀看者需要購買眼鏡，這降低了購買的欲望。另外，觀看者需要在觀看期間佩戴眼鏡，這是麻煩的。因此，需要用于在不佩戴眼鏡的情況下觀看3d圖像的觀看方法(下文中稱為“不用眼鏡的方法”)。

在不用眼鏡的方法中，以使得可觀看角度對每個(gè)視點(diǎn)不同的方式來顯示三個(gè)或更多個(gè)視點(diǎn)的圖像，并且當(dāng)觀看者利用右眼和左眼看到兩個(gè)視點(diǎn)的圖像時(shí)，觀看者可以在不佩戴眼鏡的情況下看到3d圖像。

以下方法已成為根據(jù)不用眼鏡的方法的3d圖像顯示方法。在該方法中，獲得預(yù)定視點(diǎn)的彩色圖像和深度圖像，并且使用彩色圖像和深度圖像，生成并顯示多個(gè)視點(diǎn)的彩色圖像，這多個(gè)視點(diǎn)是包括除預(yù)定視點(diǎn)之外的視點(diǎn)的顯示視點(diǎn)。應(yīng)注意，“多個(gè)視點(diǎn)”表示三個(gè)或更多個(gè)視點(diǎn)。

作為用于對多個(gè)視點(diǎn)的彩色圖像和深度圖像進(jìn)行編碼的方法，提出了用于對彩色圖像和深度圖像分開進(jìn)行編碼的方法(例如，參見專利文獻(xiàn)1)。

引用列表

非專利文獻(xiàn)

非專利文獻(xiàn)1：internationalorganisationforstandardisationorganisationinternationaledenormalisationiso/iecjtc1/sc29/wg11codingofmovingpicturesandaudio,廣州,中國,2010年10月

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的問題

在傳統(tǒng)的編碼標(biāo)準(zhǔn)等中，沒有考慮適合于根據(jù)不用眼鏡的方法的3d圖像顯示的信息傳送。因此，在傳統(tǒng)編碼標(biāo)準(zhǔn)中，傳送大量信息，這對于使用預(yù)定視點(diǎn)的彩色圖像和作為與視差有關(guān)的圖像(深度圖像)的視差相關(guān)圖像(諸如深度圖像)生成多個(gè)視點(diǎn)的彩色圖像是不必要的，并且此外，傳送所需信息，這多個(gè)視點(diǎn)是包括除預(yù)定視點(diǎn)之外的視點(diǎn)的顯示視點(diǎn)。

結(jié)果，接收側(cè)無法使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像。

本技術(shù)是鑒于這樣的情形而做出的，并且允許使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像生成顯示視點(diǎn)的彩色圖像。

問題的解決方案

提供了一種圖像處理設(shè)備，其包括：傳送單元，被配置成傳送一個(gè)或更多個(gè)預(yù)定視點(diǎn)的第一彩色圖像、一個(gè)或更多個(gè)預(yù)定視點(diǎn)的視差相關(guān)圖像以及視點(diǎn)生成信息，視點(diǎn)生成信息是用于生成除一個(gè)或更多個(gè)預(yù)定視點(diǎn)以外的視點(diǎn)的第二彩色圖像的信息并且至少包括在一個(gè)或更多個(gè)預(yù)定視點(diǎn)處的圖像捕獲信息。

還提供了一種圖像處理方法，其包括：傳送步驟，用于傳送一個(gè)或更多個(gè)預(yù)定視點(diǎn)的第一彩色圖像、一個(gè)或更多個(gè)預(yù)定視點(diǎn)的視差相關(guān)圖像以及視點(diǎn)生成信息，視點(diǎn)生成信息是用于生成除一個(gè)或更多個(gè)預(yù)定視點(diǎn)以外的視點(diǎn)的第二彩色圖像的信息并且至少包括在一個(gè)或更多個(gè)預(yù)定視點(diǎn)處的圖像捕獲信息。

還提供了一種存儲(chǔ)有程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該程序在由處理器執(zhí)行時(shí)使處理器執(zhí)行以下操作：傳送一個(gè)或更多個(gè)預(yù)定視點(diǎn)的第一彩色圖像、一個(gè)或更多個(gè)預(yù)定視點(diǎn)的視差相關(guān)圖像以及視點(diǎn)生成信息，視點(diǎn)生成信息是用于生成除一個(gè)或更多個(gè)預(yù)定視點(diǎn)以外的視點(diǎn)的第二彩色圖像的信息并且至少包括在一個(gè)或更多個(gè)預(yù)定視點(diǎn)處的圖像捕獲信息。

根據(jù)本技術(shù)的第一方面的圖像處理設(shè)備是包括如下單元的圖像處理設(shè)備：編碼單元，用于通過對視點(diǎn)的彩色圖像和該視點(diǎn)的深度圖像進(jìn)行編碼而生成位流；生成單元，用于根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點(diǎn)的彩色圖像的生成方法，生成用于生成顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息；傳送單元，用于傳送編碼單元生成的位流和生成單元生成的視點(diǎn)生成信息。

根據(jù)本技術(shù)的第一方面的圖像處理方法對應(yīng)于根據(jù)本技術(shù)的第一方面的圖像處理設(shè)備。

在本技術(shù)的第一方面，通過對視點(diǎn)的彩色圖像和該視點(diǎn)的深度圖像進(jìn)行編碼來生成位流，并且根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點(diǎn)的彩色圖像的生成方法，生成用于生成顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息，并且傳送位流和視點(diǎn)生成信息。

根據(jù)本技術(shù)的第二方面的圖像處理設(shè)備是包括如下單元的圖像處理設(shè)備：接收單元，用于接收作為對視點(diǎn)的彩色圖像和該視點(diǎn)的深度圖像進(jìn)行編碼的結(jié)果而獲得的位流以及用于生成顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息，該視點(diǎn)生成信息是根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點(diǎn)的彩色圖像的生成方法所生成的；解碼單元，用于通過對接收單元接收的位流進(jìn)行解碼而生成彩色圖像和深度圖像；以及生成單元，用于通過使用解碼單元生成的彩色圖像和深度圖像以及接收單元接收的視點(diǎn)生成信息執(zhí)行翹曲處理而生成顯示視點(diǎn)的彩色圖像。

根據(jù)本技術(shù)的第二方面的圖像處理方法對應(yīng)于根據(jù)本技術(shù)的第二方面的圖像處理設(shè)備。

在本技術(shù)的第二方面，接收作為對視點(diǎn)的彩色圖像和該視點(diǎn)的深度圖像進(jìn)行編碼的結(jié)果而獲得的位流以及用于生成顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息，該視點(diǎn)生成信息是根據(jù)通過使用彩色圖像和深度圖像執(zhí)行翹曲處理而獲得的顯示視點(diǎn)的彩色圖像的生成方法所生成的，并且通過對在接收步驟的處理中接收的位流進(jìn)行解碼而生成彩色圖像和深度圖像，并通過使用彩色圖像和深度圖像以及視點(diǎn)生成信息執(zhí)行翹曲處理而生成顯示視點(diǎn)的彩色圖像。

根據(jù)第一和第二方面的圖像處理設(shè)備可以通過使得計(jì)算機(jī)執(zhí)行程序來實(shí)現(xiàn)。

為了實(shí)現(xiàn)根據(jù)第一和第二方面的圖像處理設(shè)備，可以通過經(jīng)由傳送介質(zhì)傳送程序或?qū)⒊绦蛴涗浀接涗浗橘|(zhì)來提供計(jì)算機(jī)執(zhí)行的程序。

本發(fā)明的效果

根據(jù)本技術(shù)的第一方面，可以傳送用于使用預(yù)定視點(diǎn)的彩色圖像和深度圖像生成顯示視點(diǎn)的彩色圖像的必要信息。

根據(jù)本技術(shù)的第二方面，可以使用預(yù)定視點(diǎn)的彩色圖像和深度圖像生成顯示視點(diǎn)的彩色圖像。

附圖說明

圖1是示出多視點(diǎn)獲取信息sei的語法的圖。

圖2是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的編碼裝置的第一實(shí)施例的配置示例的框圖。

圖3是示出編碼位流的訪問單位的配置示例的圖。

圖4是示出sei的一部分的描述示例的圖。

圖5是說明圖2的編碼裝置的編碼處理的流程圖。

圖6是說明圖5的多視點(diǎn)編碼處理的細(xì)節(jié)的流程圖。

圖7是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的解碼裝置的第一實(shí)施例的配置示例的框圖。

圖8是說明深度圖像的翹曲處理的圖。

圖9是說明圖7的解碼裝置的解碼處理的流程圖。

圖10是說明圖9的多視點(diǎn)解碼處理的細(xì)節(jié)的流程圖。

圖11是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的編碼裝置的第二實(shí)施例的配置示例的框圖；

圖12是說明視點(diǎn)生成信息的視差相關(guān)最大值和視差相關(guān)最小值的圖。

圖13是說明視點(diǎn)生成信息的視差精度參數(shù)的圖。

圖14是說明視點(diǎn)生成信息的攝像裝置間距離的圖。

圖15是示出圖11的多視點(diǎn)圖像編碼單元的配置示例的框圖。

圖16是示出編碼位流的配置示例的圖。

圖17是示出圖16的pps的語法示例的圖。

圖18是示出切片報(bào)頭的語法示例的圖。

圖19是示出切片報(bào)頭的語法示例的圖。

圖20是說明圖11的編碼裝置的編碼處理的流程圖。

圖21是說明圖20的多視點(diǎn)編碼處理的流程圖。

圖22是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的解碼裝置的第二實(shí)施例的配置示例的框圖。

圖23是示出圖22的多視點(diǎn)圖像解碼單元的配置示例的框圖。

圖24是說明圖22的多視點(diǎn)圖像解碼單元的多視點(diǎn)解碼處理的流程圖。

圖25是說明視差和深度的圖。

圖26是示出計(jì)算機(jī)的實(shí)施例的配置示例的框圖。

圖27是示出應(yīng)用本技術(shù)的電視機(jī)裝置的示意配置示例的圖。

圖28是示出應(yīng)用本技術(shù)的便攜式電話的示意配置示例的圖。

圖29是示出應(yīng)用本技術(shù)的記錄/再現(xiàn)裝置的示意配置示例的圖。

圖30是示出應(yīng)用本技術(shù)的圖像捕獲裝置的示意配置示例的圖。

具體實(shí)施方式

<本說明書中關(guān)于深度圖像(視差相關(guān)圖像)的說明>

圖25是說明視差和深度的圖。

如圖25所示，當(dāng)由設(shè)置在位置c1處的攝像裝置c1和設(shè)置在位置c2處的攝像裝置c2來捕獲主體m的彩色圖像時(shí)，作為在深度方向上距攝像裝置c1(攝像裝置c2)的距離的、主體m的深度z由以下表達(dá)式(a)來定義。

z＝(l/d)×f…(a)

應(yīng)注意，l表示在水平方向上位置c1與位置c2之間的距離(下文中稱為攝像裝置間距離)。變量d表示通過從由攝像裝置c1捕獲的彩色圖像上的對象m的位置在水平方向上距彩色圖像的中心的距離u1減去由攝像裝置c2捕獲的彩色圖像上的對象m的位置在水平方向上距彩色圖像的中心的距離u2而獲得的值。更具體地，d表示視差。此外，f表示攝像裝置c1的焦距。在表達(dá)式(a)中，攝像裝置c1和攝像裝置c2的焦距是相同的。

如表達(dá)式(a)所示，視差d和深度z可以被唯一地轉(zhuǎn)換。因此，在該說明書中，表示由攝像裝置c1和攝像裝置c2獲取的兩個(gè)視點(diǎn)的彩色圖像的視差d的視差圖像和表示深度z的深度圖像被共同稱為深度圖像(視差相關(guān)圖像)。

應(yīng)注意，深度圖像(視差相關(guān)圖像)可以是表示視差d或深度z的圖像，并且深度圖像(視差相關(guān)圖像)的像素值可以不是視差d或深度z本身。例如，可采用通過對視差d進(jìn)行歸一化而獲得的值或者通過對深度z的倒數(shù)1/z進(jìn)行歸一化而獲得的值。

可以根據(jù)以下表達(dá)式(b)獲得通過以8位(0至255)對視差d進(jìn)行歸一化而獲得的值i。視差d的歸一化位數(shù)不限于八位?？梢允侵T如10位和12位的位數(shù)。

[數(shù)學(xué)式4]

在表達(dá)式(b)中，dmax是視差d的最大值，dmin是視差d的最小值。最大值dmax和最小值dmin可以以畫面為單位來設(shè)置，或者可以以多個(gè)畫面為單位來設(shè)置。

可以根據(jù)以下表達(dá)式(c)獲得通過以8位(0至255)對深度z的倒數(shù)1/z進(jìn)行歸一化而獲得的值y。深度z的倒數(shù)1/z的歸一化位數(shù)不限于8位。可以是諸如10位和12位的其它位數(shù)。

[數(shù)學(xué)式5]

在表達(dá)式(c)中，zfar表示深度z的最大值，并且znear表示深度z的最小值。最大值zfar和最小值znear可以以畫面為單位來設(shè)置，或者可以以多個(gè)畫面為單位來設(shè)置。

如上所述，在該說明書中，由于視差d和深度z可以唯一地來轉(zhuǎn)換，因此通過對視差d進(jìn)行歸一化而獲得的值i是像素值的視差圖像和通過對深度z的倒數(shù)1/z進(jìn)行歸一化而獲得的值y是像素值的深度圖像被共同稱為深度圖像(視差相關(guān)圖像)。在該情況下，深度圖像(視差相關(guān)圖像)的顏色格式是yuv420或yuv400，但是可以是其它顏色格式。

當(dāng)值i或值y沒有用作深度圖像(視差相關(guān)圖像)的像素值并且注意值i或值y本身的信息時(shí)，值i或值y被用作深度信息。此外，通過映射值i或值y所獲得的將稱為深度圖。

<第一實(shí)施例>

[編碼裝置的第一實(shí)施例的配置示例]

圖2是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的編碼裝置的第一實(shí)施例的配置示例的框圖。

圖2的編碼裝置10包括多視點(diǎn)彩色圖像圖像捕獲單元11、多視點(diǎn)彩色圖像校正單元12、多視點(diǎn)視差相關(guān)圖像生成單元13、視點(diǎn)生成信息生成單元14和多視點(diǎn)圖像編碼單元15。

編碼裝置10對預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像進(jìn)行編碼，并且使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，以添加和傳送作為用于生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像的信息的視點(diǎn)生成信息。

編碼裝置10的多視點(diǎn)彩色圖像圖像捕獲單元11捕獲多個(gè)視點(diǎn)的彩色圖像，并且將其作為多視點(diǎn)彩色圖像提供到多視點(diǎn)彩色圖像校正單元12。多視點(diǎn)彩色圖像圖像捕獲單元11生成關(guān)于圖像捕獲的信息(諸如彩色圖像的視點(diǎn)數(shù)量、外部參數(shù)和范圍信息)作為圖像捕獲信息，并且將該信息提供到視點(diǎn)生成信息生成單元14。

應(yīng)注意，外部參數(shù)是用于定義多視點(diǎn)彩色圖像圖像捕獲單元11在水平方向上的位置的參數(shù)。

當(dāng)多視點(diǎn)視差相關(guān)圖像生成單元13生成的視差相關(guān)圖像是深度圖像時(shí)，范圍信息包括將出現(xiàn)在多視點(diǎn)視差相關(guān)圖像(多視點(diǎn)深度圖像)中的深度方向上的位置處的世界坐標(biāo)值的最小值(最小值znear)和最大值(最大值zfar)。最小值和最大值在下文中將分別被稱為深度最小值和深度最大值。另一方面，當(dāng)多視點(diǎn)視差相關(guān)圖像生成單元13生成的視差相關(guān)圖像是視差圖像時(shí)，范圍信息包括將出現(xiàn)在多視點(diǎn)視差相關(guān)圖像中的世界坐標(biāo)的視差的最小值(最小值dmin)和最大值(最大值dmax)并且還有用于標(biāo)識用作當(dāng)獲得視差值時(shí)的基點(diǎn)的視點(diǎn)的彩色圖像的信息。最小值和最大值在下文中將分別被稱為視差最小值和視差最大值。

多視點(diǎn)彩色圖像校正單元12對從多視點(diǎn)彩色圖像圖像捕獲單元11提供的多視點(diǎn)彩色圖像執(zhí)行顏色校正、亮度校正、失真校正等。因此，在校正后的多視點(diǎn)彩色圖像中，多視點(diǎn)彩色圖像圖像捕獲單元11在水平方向(x方向)上的焦距在所有視點(diǎn)都相同。多視點(diǎn)彩色圖像校正單元12將校正后的多視點(diǎn)彩色圖像作為多視點(diǎn)校正彩色圖像提供到多視點(diǎn)視差相關(guān)圖像生成單元13和多視點(diǎn)圖像編碼單元15。多視點(diǎn)彩色圖像校正單元12生成關(guān)于多視點(diǎn)校正彩色圖像的信息(諸如內(nèi)部參數(shù))作為彩色圖像信息，并且將該信息提供到視點(diǎn)生成信息生成單元14。

內(nèi)部參數(shù)包括在多視點(diǎn)校正彩色圖像中對所有視點(diǎn)都相同的、多視點(diǎn)彩色圖像圖像捕獲單元11在水平方向上的焦距、以及作為圖像中心的主點(diǎn)(即，透鏡的光學(xué)中心在水平方向上的位置)。主點(diǎn)在水平方向上的位置對于各個(gè)視點(diǎn)可以不同。

多視點(diǎn)視差相關(guān)圖像生成單元13根據(jù)從多視點(diǎn)彩色圖像校正單元12提供的多視點(diǎn)校正彩色圖像而生成多個(gè)視點(diǎn)的視差相關(guān)圖像。然后，多視點(diǎn)視差相關(guān)圖像生成單元13將所生成的多個(gè)視點(diǎn)的視差相關(guān)圖像作為多視點(diǎn)視差相關(guān)圖像提供到多視點(diǎn)圖像編碼單元15。

多視點(diǎn)視差相關(guān)圖像生成單元13生成關(guān)于多視點(diǎn)視差相關(guān)圖像的信息(諸如多視點(diǎn)視差相關(guān)圖像的視點(diǎn)數(shù)量、指示多視點(diǎn)視差相關(guān)圖像是深度圖像還是視差圖像的圖像類型信息(深度圖像標(biāo)識信息))作為視差相關(guān)圖像信息(深度圖像信息)。然后，多視點(diǎn)視差相關(guān)圖像生成單元13將視差相關(guān)圖像信息提供到視點(diǎn)生成信息生成單元14。

視點(diǎn)生成信息生成單元14用作生成單元，并且使用多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像來根據(jù)用于生成其它視點(diǎn)的彩色圖像的預(yù)定方法而生成視點(diǎn)生成信息。更具體地，視點(diǎn)生成信息生成單元14基于從多視點(diǎn)彩色圖像圖像捕獲單元11提供的彩色圖像的視點(diǎn)數(shù)量和從多視點(diǎn)視差相關(guān)圖像生成單元13提供的視差相關(guān)圖像的視點(diǎn)數(shù)量而生成彩色圖像標(biāo)識信息和視差相關(guān)圖像標(biāo)識信息(深度圖像標(biāo)識信息)。應(yīng)注意，彩色圖像標(biāo)識信息是用于標(biāo)識彩色圖像的信息，并且視差相關(guān)圖像標(biāo)識信息是用于標(biāo)識視差相關(guān)圖像的信息。

視點(diǎn)生成信息生成單元14基于由多視點(diǎn)彩色圖像圖像捕獲單元11提供的圖像捕獲信息中包括的外部參數(shù)而生成指示與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)處的外部參數(shù)的存在/不存在的內(nèi)部參數(shù)標(biāo)志。此外，視點(diǎn)生成信息生成單元14基于多視點(diǎn)彩色圖像校正單元12提供的彩色圖像信息中包括的內(nèi)部參數(shù)而生成指示與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)處的內(nèi)部參數(shù)的存在/不存在的內(nèi)部參數(shù)標(biāo)志。然后，視點(diǎn)生成信息生成單元14根據(jù)彩色圖像標(biāo)識信息、視差相關(guān)圖像標(biāo)識信息、外部參數(shù)標(biāo)志、內(nèi)部參數(shù)標(biāo)志、圖像捕獲信息、彩色圖像信息和視差相關(guān)圖像信息而生成視點(diǎn)生成信息。視點(diǎn)生成信息由彩色圖像標(biāo)識信息、視差相關(guān)圖像標(biāo)識信息、外部參數(shù)信息、內(nèi)部參數(shù)學(xué)習(xí)、彩色圖像的視點(diǎn)數(shù)量、范圍信息、視差相關(guān)圖像的視點(diǎn)數(shù)量和圖像類型信息構(gòu)成。應(yīng)注意，外部參數(shù)信息由外部參數(shù)標(biāo)志和與多視點(diǎn)視差相關(guān)圖像對應(yīng)的視點(diǎn)的外部參數(shù)構(gòu)成，并且內(nèi)部參數(shù)信息由內(nèi)部參數(shù)標(biāo)志和與多視點(diǎn)視差相關(guān)圖像對應(yīng)的視點(diǎn)的內(nèi)部參數(shù)構(gòu)成。視點(diǎn)生成信息生成單元14將所生成的視點(diǎn)生成信息提供到多視點(diǎn)圖像編碼單元15。

多視點(diǎn)圖像編碼單元15用作編碼單元，并且根據(jù)與mvc(多視點(diǎn)視頻編碼)方法相同的方法，對多視點(diǎn)彩色圖像校正單元12提供的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像生成單元13提供的多視點(diǎn)視差相關(guān)圖像進(jìn)行編碼，并且添加視點(diǎn)生成信息生成單元14提供的視點(diǎn)生成信息。多視點(diǎn)圖像編碼單元15用作傳送單元，并且傳送作為結(jié)果獲得的位流作為編碼位流。

[編碼位流的配置示例]

圖3是示出圖2的編碼裝置10生成的編碼位流的訪問單位的配置示例的圖。

如圖3所示，編碼位流的訪問單位由sps(序列參數(shù)集)、子集sps(subsetsps)、pps(圖片參數(shù)集)、sei和切片構(gòu)成。

在圖3的示例中，多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像的視點(diǎn)數(shù)量是兩個(gè)。作為兩個(gè)視點(diǎn)的多視點(diǎn)校正彩色圖像的視點(diǎn)之一的校正彩色圖像a被編碼作為基本視圖。另一視點(diǎn)的校正彩色圖像b、與彩色圖像a對應(yīng)的視差相關(guān)圖像a以及與彩色圖像b對應(yīng)的視差相關(guān)圖像b被編碼作為非基本視圖。

結(jié)果，切片例如以以下順序來布置：被編碼作為基本視圖的彩色圖像a的切片、被編碼作為非基本視圖的視差相關(guān)圖像a的切片以及彩色圖像b的切片、然后是視差相關(guān)圖像b的切片。在每個(gè)切片的報(bào)頭部分中，描述用于標(biāo)識pps的信息。

sps是包括關(guān)于基本視圖的編碼的信息的報(bào)頭。子集sps是包括關(guān)于基本視圖和非基本視圖的編碼的信息的擴(kuò)展報(bào)頭。pps是包括指示整個(gè)圖片的編碼模式的信息和用于標(biāo)識sps和子集sps的信息的報(bào)頭。sei是進(jìn)行解碼不必須的附加信息，并且包括視點(diǎn)生成信息等。

在被編碼作為基本視圖的彩色圖像a的解碼期間，基于在彩色圖像a的報(bào)頭部分中描述的用于標(biāo)識pps的信息而查找pps，并且基于在pps中描述的用于標(biāo)識sps的信息而查找sps。

另一方面，在被編碼作為非基本視圖的視差相關(guān)圖像a的解碼期間，基于在視差相關(guān)圖像a的報(bào)頭中描述的用于標(biāo)識pps的信息而查找pps。基于在pps中描述的用于標(biāo)識子sps的信息而查找子sps。在被編碼作為非基本視圖的彩色圖像b和視差相關(guān)圖像b的解碼期間，與視差相關(guān)圖像a的解碼期間一樣，同樣查找pps并且同樣查找子sps。

[sei的一部分的描述示例]

圖4是示出sei的一部分的描述示例的圖。

在圖4的sei的左側(cè)從頂部開始的第二行中，描述了彩色圖像的視點(diǎn)數(shù)量(num_color_view_minus_1)。在第三行中，描述了視差相關(guān)圖像的視點(diǎn)數(shù)量(num_depth_view_minus_1)。

在圖4的左側(cè)從頂部開始的第五行中，描述了作為各個(gè)視點(diǎn)的彩色圖像的彩色圖像標(biāo)識信息的、彩色圖像的視圖id(color_view_id)。在第七行中，描述了作為各個(gè)視點(diǎn)的視差相關(guān)圖像的視差相關(guān)圖像標(biāo)識信息的、視差相關(guān)圖像的視圖id(depth_view_id)。在圖4的左側(cè)從頂部開始的第八行中，描述了對于與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)的內(nèi)部參數(shù)信息中的內(nèi)部參數(shù)標(biāo)志。在第九行中，描述了對于與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)的外部參數(shù)信息中的外部參數(shù)標(biāo)志。

在圖4的左側(cè)從頂部開始的第11行以及第13行至第15行中，描述了內(nèi)部參數(shù)中的水平方向上的焦距。

在圖4的sei中，實(shí)數(shù)x被描述為由以下表達(dá)式(1)定義的使用精確值(precvalue)、符號值(signvalue)、指數(shù)值(exponentvalue)和尾數(shù)值(mantissavalue)的浮點(diǎn)數(shù)。

當(dāng)e＝0成立時(shí)，

v＝max(0,prec-30)

x＝(-1)^s·2^-(30+v)·n

當(dāng)0<e≤62成立時(shí)，

x＝(-1)^s·2^e-31·(1+n/2^v)

…(1)

在表達(dá)式(1)中，prec表示精確值，s表示符號值，e表示指數(shù)值，并且n表示尾數(shù)值。因此，符號值、指數(shù)值、尾數(shù)值分別表示實(shí)數(shù)x的符號、指數(shù)、尾數(shù)。

如上所述，實(shí)數(shù)x被描述為浮點(diǎn)數(shù)，因此，在圖4的左側(cè)從頂部開始的第11行以及第13行至第15行中，分別描述了水平方向上的焦距的精確值(prec_focal_length)、符號值(sign_focal_length_x)、指數(shù)值(exponent_focal_length_x)、尾數(shù)值(mantissa_focal_length_x)。

在圖4的左側(cè)從頂部開始的第12行中，描述了作為主點(diǎn)在水平方向上的位置處的精確值(prec_principal_point)的、對與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)共同的值。在圖4的左側(cè)從頂部開始的第17行至第19行中，描述了對于與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)，主點(diǎn)在水平方向上的位置處的符號值(sign_principal_point_x)、指數(shù)值(exponent_principal_point_x)、尾數(shù)值(mantissa_principal_point_x)。

在圖4的右側(cè)從頂部開始的第2行中，描述了作為外部參數(shù)的精確值(prec_translation_param)的、對與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)共同的值。在圖4的右側(cè)從頂部開始的第4行至第6行中，描述了對于與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)的外部參數(shù)，即，符號值(sign_translation_x)、指數(shù)值(exponent_translation_x)、尾數(shù)值(mantissa_translation_x)。

在圖4的右側(cè)從頂部開始的第9行中，描述了圖像類型信息(depth_map_flag)。在圖4的右側(cè)從頂部開始的第11行至第12行中，當(dāng)圖像類型信息指示深度圖像時(shí)，在范圍信息中描述了對與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)共同的深度最小值(depth_nearest)和深度最大值(depth_farthest)。

此外，在圖4的右側(cè)從頂部開始的第16行至第18行中，描述了圖像類型信息指示視差圖像的范圍信息。更具體地，在第16行和第17行中，分別描述了視差最小值(disparity_minimum)和視差最大值(disparity_maximum)。視差最小值和視差最大值根據(jù)視點(diǎn)而不同，因此，針對各個(gè)視點(diǎn)來生成并描述視差最小值和視差最大值。

在第18行中，描述了對于與多視點(diǎn)視差相關(guān)圖像對應(yīng)的各個(gè)視點(diǎn)，作為用于標(biāo)識被用作推出視差值時(shí)的基點(diǎn)的視點(diǎn)的彩色圖像的信息的、彩色圖像的視圖id(reference_depth_view)。

[關(guān)于編碼裝置的處理的說明]

圖5是說明圖2的編碼裝置10的編碼處理的流程圖。

在圖5的步驟s10中，編碼裝置10的多視點(diǎn)彩色圖像圖像捕獲單元11捕獲多個(gè)視點(diǎn)的彩色圖像，并且將其作為多視點(diǎn)彩色圖像提供到多視點(diǎn)彩色圖像校正單元12。

在步驟s11中，多視點(diǎn)彩色圖像圖像捕獲單元11生成圖像捕獲信息，并且將其提供到視點(diǎn)生成信息生成單元14。

在步驟s12中，多視點(diǎn)彩色圖像校正單元12對從多視點(diǎn)彩色圖像圖像捕獲單元11提供的多視點(diǎn)彩色圖像執(zhí)行顏色校正、亮度校正、失真校正等。多視點(diǎn)彩色圖像校正單元12將校正后的多視點(diǎn)彩色圖像作為多視點(diǎn)校正彩色圖像提供到多視點(diǎn)視差相關(guān)圖像生成單元13和多視點(diǎn)圖像編碼單元15。

在步驟s13中，多視點(diǎn)彩色圖像校正單元12生成彩色圖像信息，并且將其提供到視點(diǎn)生成信息生成單元14。

在步驟s14中，多視點(diǎn)視差相關(guān)圖像生成單元13根據(jù)從多視點(diǎn)彩色圖像校正單元12提供的多視點(diǎn)校正彩色圖像生成多個(gè)視點(diǎn)的視差相關(guān)圖像。然后，多視點(diǎn)視差相關(guān)圖像生成單元13將所生成的多個(gè)視點(diǎn)的視差相關(guān)圖像作為多視點(diǎn)視差相關(guān)圖像提供到多視點(diǎn)圖像編碼單元15。

在步驟s15中，多視點(diǎn)視差相關(guān)圖像生成單元13生成視差相關(guān)圖像信息，并且將其提供到視點(diǎn)生成信息生成單元14。

在步驟s16中，視點(diǎn)生成信息生成單元14基于圖像捕獲信息、彩色圖像信息和視差相關(guān)圖像信息而生成彩色圖像標(biāo)識信息、視差相關(guān)圖像標(biāo)識信息、內(nèi)部參數(shù)標(biāo)志和外部參數(shù)標(biāo)志。

在步驟s17中，視點(diǎn)生成信息生成單元14生成視點(diǎn)生成信息。更具體地，視點(diǎn)生成信息生成單元14生成彩色圖像標(biāo)識信息、視差相關(guān)圖像標(biāo)識信息、彩色圖像的視點(diǎn)數(shù)量、外部參數(shù)信息、內(nèi)部參數(shù)信息、范圍信息、視差相關(guān)圖像的視點(diǎn)數(shù)量和圖像類型信息作為視點(diǎn)生成信息。視點(diǎn)生成信息生成單元14將所生成的視點(diǎn)生成信息提供到多視點(diǎn)圖像編碼單元15。

在步驟s18中，多視點(diǎn)圖像編碼單元15執(zhí)行用于對多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像進(jìn)行編碼并且添加視點(diǎn)生成信息等的多視點(diǎn)編碼處理。將參照稍后說明的圖6說明多視點(diǎn)編碼處理的細(xì)節(jié)。

在步驟s19中，多視點(diǎn)圖像編碼單元15傳送作為步驟s18的結(jié)果而生成的編碼位流，并且終止處理。

圖6是說明圖5的步驟s18中的多視點(diǎn)編碼處理的細(xì)節(jié)的流程圖。該多視點(diǎn)編碼處理例如以切片為單位來進(jìn)行。在圖6的多視點(diǎn)編碼處理中，要進(jìn)行編碼的圖像是彩色圖像a、彩色圖像b、視差相關(guān)圖像a和視差相關(guān)圖像b。

在圖6的步驟s31中，多視點(diǎn)圖像編碼單元15生成作為處理目標(biāo)切片的目標(biāo)切片的sps，并且給出對sps唯一的id。在步驟s32中，多視點(diǎn)圖像編碼單元15生成目標(biāo)切片的子集sps，并且給出對子集sps唯一的id。

在步驟s33中，多視點(diǎn)圖像編碼單元15生成包括在步驟s31和s32中給出的id的目標(biāo)切片的pps，并且給出對pps唯一的id。在步驟s34中，多視點(diǎn)圖像編碼單元15生成包括目標(biāo)切片的視點(diǎn)生成信息的sei。

在步驟s35中，多視點(diǎn)圖像編碼單元15對作為基本視圖的彩色圖像a的目標(biāo)切片進(jìn)行編碼，并且添加包括在步驟s33中給出的id的報(bào)頭部分。在步驟s36中，多視點(diǎn)圖像編碼單元15對作為非基本視圖的視差相關(guān)圖像a的目標(biāo)切片進(jìn)行編碼，并且添加包括在步驟s33中給出的id的報(bào)頭部分。

在步驟s37中，多視點(diǎn)圖像編碼單元15對作為非基本視圖的彩色圖像b的目標(biāo)切片進(jìn)行編碼，并且添加包括在步驟s33中給出的id的報(bào)頭部分。在步驟s38中，多視點(diǎn)圖像編碼單元15對作為非基本視圖的視差相關(guān)圖像b的目標(biāo)切片進(jìn)行編碼，并且添加包括在步驟s33中給出的id的報(bào)頭部分。

然后，多視點(diǎn)圖像編碼單元15通過按順序布置如此生成的sps、子集sps、pps、sei、彩色圖像a的目標(biāo)切片、視差相關(guān)圖像a的目標(biāo)切片、彩色圖像b的目標(biāo)切片和視差相關(guān)圖像b的目標(biāo)切片而生成編碼位流。然后，再次執(zhí)行圖5的步驟s18中的處理，隨后執(zhí)行步驟s19。

在圖6的多視點(diǎn)編碼處理中，為了進(jìn)行說明，以切片為單位來生成sps，但是在當(dāng)前目標(biāo)切片的sps與先前目標(biāo)切片的sps相同時(shí)，不生成這樣的sps。這同樣可以適用于子集sps、pps和sei。

如上所述，編碼裝置10使用多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像來根據(jù)用于生成其它視點(diǎn)的彩色圖像的預(yù)定方法而生成視點(diǎn)生成信息，并且將該視點(diǎn)生成信息連同預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像一起進(jìn)行傳送。因此，稍后說明的解碼裝置可以使用預(yù)定視點(diǎn)的彩色圖像、視差相關(guān)圖像和視點(diǎn)生成信息來生成與預(yù)定視點(diǎn)不同的視點(diǎn)的彩色圖像。

[解碼裝置的第一實(shí)施例的配置示例]

圖7是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的解碼裝置的第一實(shí)施例的配置示例的框圖，該解碼裝置對從圖2的編碼裝置10傳送的編碼位流進(jìn)行解碼。

圖7的解碼裝置30由多視點(diǎn)圖像解碼單元31、視點(diǎn)合成單元32和多視點(diǎn)圖像顯示單元33構(gòu)成。

解碼裝置30的多視點(diǎn)圖像解碼單元31用作接收單元，并且接收從圖2的編碼裝置10傳送的編碼位流。多視點(diǎn)圖像解碼單元31從所接收的編碼位流的sei提取視點(diǎn)生成信息，并且將視點(diǎn)生成信息提供到視點(diǎn)合成單元32。多視點(diǎn)圖像解碼單元31用作解碼單元，并且根據(jù)與圖2的多視點(diǎn)圖像編碼單元15的編碼方法對應(yīng)的解碼方法對編碼位流進(jìn)行解碼，并且生成多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像。多視點(diǎn)圖像解碼單元31將多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像提供到視點(diǎn)合成單元32。

視點(diǎn)合成單元32對于數(shù)量與對應(yīng)于多視點(diǎn)圖像顯示單元33的視點(diǎn)數(shù)量相同的顯示視點(diǎn)，使用多視點(diǎn)圖像解碼單元31提供的視點(diǎn)生成信息來對多視點(diǎn)圖像解碼單元31提供的多視點(diǎn)視差相關(guān)圖像執(zhí)行翹曲處理(稍后將說明其細(xì)節(jié))。

更具體地，視點(diǎn)合成單元32基于包括在視點(diǎn)生成信息中的視差相關(guān)圖像標(biāo)識信息，從多視點(diǎn)圖像解碼單元31提供的多視點(diǎn)視差相關(guān)圖像和多視點(diǎn)校正彩色圖像中標(biāo)識視點(diǎn)數(shù)量與視差相關(guān)圖像的視點(diǎn)數(shù)量相同的多視點(diǎn)視差相關(guān)圖像。然后，當(dāng)包括在視點(diǎn)生成信息中的內(nèi)部參數(shù)標(biāo)志指示內(nèi)部參數(shù)存在時(shí)，視點(diǎn)合成單元32從視點(diǎn)生成信息獲得內(nèi)部參數(shù)。然后，當(dāng)包括在視點(diǎn)生成信息中的外部參數(shù)標(biāo)志指示外部參數(shù)存在時(shí)，視點(diǎn)合成單元32從視點(diǎn)生成信息獲得外部參數(shù)。然后，視點(diǎn)合成單元32基于如此獲得的內(nèi)部參數(shù)和外部參數(shù)以及包括在視點(diǎn)生成信息中的圖像類型信息和范圍信息，對多視點(diǎn)視差相關(guān)圖像執(zhí)行翹曲處理以根據(jù)顯示視點(diǎn)對多視點(diǎn)視差相關(guān)圖像進(jìn)行翹曲。

翹曲處理是用于將特定視點(diǎn)的圖像在幾何上轉(zhuǎn)換為其它視點(diǎn)的圖像的處理。顯示視點(diǎn)包括除了與多視點(diǎn)彩色圖像對應(yīng)的視點(diǎn)之外的視點(diǎn)。

視點(diǎn)合成單元32使用視點(diǎn)生成信息和作為翹曲處理的結(jié)果而獲得的顯示視點(diǎn)的視差相關(guān)圖像，對多視點(diǎn)圖像解碼單元31提供的多視點(diǎn)校正彩色圖像執(zhí)行翹曲處理以根據(jù)顯示視點(diǎn)對其進(jìn)行翹曲。更具體地，視點(diǎn)合成單元32基于包括在視點(diǎn)生成信息中的彩色圖像標(biāo)識信息，從多視點(diǎn)圖像解碼單元31提供的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像中標(biāo)識視點(diǎn)數(shù)量與彩色圖像的視點(diǎn)數(shù)量相同的多視點(diǎn)彩色圖像。然后，視點(diǎn)合成單元32使用作為翹曲處理的結(jié)果而獲得的顯示視點(diǎn)的視差相關(guān)圖像對多視點(diǎn)校正彩色圖像執(zhí)行翹曲處理以根據(jù)顯示視點(diǎn)對其進(jìn)行翹曲。

視點(diǎn)合成單元32將作為結(jié)果獲得的顯示視點(diǎn)的彩色圖像作為多視點(diǎn)合成彩色圖像提供到多視點(diǎn)圖像顯示單元33。

多視點(diǎn)圖像顯示單元33以使得可視角度對每個(gè)視點(diǎn)不同的方式來顯示視點(diǎn)合成單元32提供的多視點(diǎn)合成彩色圖像。觀看者利用其右眼和左眼看到兩個(gè)給定視點(diǎn)的圖像，從而在不佩戴眼鏡的情況下從多個(gè)視點(diǎn)看到3d圖像。

[關(guān)于深度圖像的翹曲處理的說明]

圖8是說明深度圖像的翹曲處理的圖。

在深度圖像的翹曲處理中，首先，如圖8所示，經(jīng)由三維空間使得處理目標(biāo)位置t(tx,ty,tz)處的視點(diǎn)的深度圖像的每個(gè)像素的位置m(x,y,z)與翹曲處理后的位置t'(t'x,t'y,t'z)處的顯示視點(diǎn)的深度圖像的位置m'(x',y',z')相關(guān)聯(lián)。

更具體地，根據(jù)以下表達(dá)式(2)獲得與畫面上的位置m(x,y,z)對應(yīng)的世界坐標(biāo)上的位置m(x,y,z)，其中，位置m(x,y,z)的像素的深度值(值y)是與位置t(tx,ty,tz)處的視點(diǎn)的深度圖像中的世界坐標(biāo)的深度方向上的位置z(深度z)對應(yīng)的值，并且獲得與位置m(x,y,z)對應(yīng)的、位置t'(t'x,t'y,t'z)處的顯示視點(diǎn)的深度圖像的畫面上的位置m'(x',y',z')。

(x,y,z)^t＝ra^-1(x,y,1)^tz+(tx,ty,tz)^t

s(x',y',1)^t＝a’r'^-1[(x,y,z)^t-(t'x,t'y,t'z)^t]

…(2)

在表達(dá)式(2)中，r是用于將多視點(diǎn)彩色圖像圖像捕獲單元11上的坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)的旋轉(zhuǎn)矩陣，并且是預(yù)先確定的固定矩陣。r’是用于將用于捕獲與翹曲處理后的深度圖像對應(yīng)的彩色圖像的虛擬圖像捕獲單元上的坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)的旋轉(zhuǎn)矩陣。

在表達(dá)式(2)中，a是用于將多視點(diǎn)彩色圖像圖像捕獲單元11上的坐標(biāo)轉(zhuǎn)換成畫面上的坐標(biāo)的矩陣，并且由以下表達(dá)式(3)來表示。

[數(shù)學(xué)式1]

在表達(dá)式(3)中，focal_length_x、focal_length_y分別表示多視點(diǎn)彩色圖像圖像捕獲單元11在水平方向和垂直方向(y方向)上的焦距。應(yīng)注意，principal_point_x、principal_point_y分別表示多視點(diǎn)彩色圖像圖像捕獲單元11的主點(diǎn)在水平方向和垂直方向上的位置。radial_distortion表示半徑方向上的應(yīng)變系數(shù)。

然而，視點(diǎn)合成單元32不使用表達(dá)式(3)中的垂直方向上的焦距和主點(diǎn)在垂直方向上的位置。多視點(diǎn)彩色圖像校正單元12進(jìn)行校正以使得半徑方向上的應(yīng)變系數(shù)變?yōu)榱恪?/p>

a’是以與a相同的方式表示的、用于將用于捕獲與翹曲處理后的深度圖像對應(yīng)的彩色圖像的虛擬圖像捕獲單元的坐標(biāo)轉(zhuǎn)換為畫面上的坐標(biāo)的矩陣，并且是預(yù)先確定的。在表達(dá)式(2)中，s是比例因數(shù)，并且是預(yù)先確定的固定值。在該情況下，ty和tz是預(yù)先確定的固定值。

因此，除深度圖像之外將位置m(x,y,z)與位置m'(x',y',z')相關(guān)聯(lián)所需的信息是水平方向上的焦距、主點(diǎn)在水平方向上的位置、多視點(diǎn)彩色圖像圖像捕獲單元11在水平方向上的位置以及將深度值轉(zhuǎn)換為位置z所需的深度最小值和深度最大值。這樣的信息包括在視點(diǎn)生成信息中。

在如上所述進(jìn)行關(guān)聯(lián)之后，基于與每個(gè)像素的位置m(x,y,z)對應(yīng)的位置m'(x',y',z')而確定與處理目標(biāo)的深度圖像的每個(gè)像素對應(yīng)的、已經(jīng)受了翹曲處理的深度圖像的像素。然后，采用處理目標(biāo)的深度圖像的每個(gè)像素的深度值作為與該像素對應(yīng)的翹曲處理后的深度圖像的像素的深度值。

應(yīng)注意，除了以視差值(值i)替換深度值(值y)之外，以與對深度圖像執(zhí)行的翹曲處理相同的方式來進(jìn)行對視差圖像的翹曲處理。

[關(guān)于解碼裝置的處理的說明]

圖9是說明圖7的解碼裝置30的解碼處理的流程圖。該解碼處理例如在從圖2的編碼裝置10傳送編碼位流時(shí)開始。

在圖9的步驟s51中，解碼裝置30的多視點(diǎn)圖像解碼單元31接收從圖2的編碼裝置10傳送的編碼位流。

在步驟s52中，多視點(diǎn)圖像解碼單元31對所接收的編碼位流進(jìn)行解碼，并且執(zhí)行用于提取視點(diǎn)生成信息的多視點(diǎn)解碼處理。將參照稍后說明的圖10來說明多視點(diǎn)解碼處理的細(xì)節(jié)。

在步驟s53中，視點(diǎn)合成單元32用作生成單元，并且使用多視點(diǎn)圖像解碼單元31提供的視點(diǎn)生成信息、多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像而生成多視點(diǎn)合成彩色圖像。

在步驟s54中，多視點(diǎn)圖像顯示單元33以使得可視角度對每個(gè)視點(diǎn)不同的方式顯示視點(diǎn)合成單元32提供的多視點(diǎn)合成彩色圖像，并且終止處理。

圖10是說明圖9的步驟s52中的多視點(diǎn)解碼處理的細(xì)節(jié)的流程圖。該多視點(diǎn)解碼處理例如以切片為單位來進(jìn)行。在圖10的多視點(diǎn)解碼處理中，解碼目標(biāo)的圖像是彩色圖像a、彩色圖像b、視差相關(guān)圖像a和視差相關(guān)圖像b。

在圖10的步驟s71中，多視點(diǎn)圖像解碼單元31從所接收的編碼位流提取sps。在步驟s72中，多視點(diǎn)圖像解碼單元31從編碼位流提取子集sps。在步驟s73中，多視點(diǎn)圖像解碼單元31從編碼位流提取pps。

在步驟s74中，多視點(diǎn)圖像解碼單元31從編碼位流提取sei，并且將包括在sei中的視點(diǎn)生成信息提供到視點(diǎn)合成單元32。

在步驟s75中，基于包括在彩色圖像a的目標(biāo)切片的報(bào)頭中的pps的id，多視點(diǎn)圖像解碼單元31激活給出了id的pps。在步驟s76中，基于在步驟s75中激活的pps中所包括的sps的id，多視點(diǎn)圖像解碼單元31激活給出了id的sps。

在步驟s77中，多視點(diǎn)圖像解碼單元31查找所激活的pps和sps，并且對作為基本視圖的彩色圖像a的目標(biāo)切片進(jìn)行解碼，并將其提供到視點(diǎn)合成單元32。

在步驟s78中，基于激活的pps中所包括的子集sps的id，多視點(diǎn)圖像解碼單元31激活給出了id的子集sps。在步驟s79中，多視點(diǎn)圖像解碼單元31查找所激活的pps和子集sps，并且對作為非基本視圖的視差相關(guān)圖像a的目標(biāo)切片進(jìn)行解碼，并將其提供到視點(diǎn)合成單元32。

在步驟s80中，多視點(diǎn)圖像解碼單元31查找所激活的pps和子集sps，并且對作為非基本視圖的彩色圖像b的目標(biāo)切片進(jìn)行解碼，并將其提供到視點(diǎn)合成單元32。在步驟s81中，多視點(diǎn)圖像解碼單元31查找所激活的pps和子集sps，并且對作為非基本視圖的視差相關(guān)圖像b的目標(biāo)切片進(jìn)行解碼，并將其提供到視點(diǎn)合成單元32。然后，再次執(zhí)行圖9的步驟s52中的處理，并且隨后執(zhí)行步驟s53。

在圖10的多視點(diǎn)解碼處理中，為了進(jìn)行說明，sps、子集sps、pps和sei被認(rèn)為是針對所有切片生成的，并且被配置成對于每個(gè)切片始終被提取，但是當(dāng)存在沒有生成sps、子集sps、pps和sei的切片時(shí)，跳過用于提取sps、子集sps、pps和sei的處理。

如上所述，解碼裝置30從編碼裝置10接收預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像以及視點(diǎn)生成信息。因此，解碼裝置30可以使用預(yù)定視點(diǎn)的彩色圖像、視差相關(guān)圖像和視點(diǎn)生成信息來生成與預(yù)定視點(diǎn)不同的視點(diǎn)的彩色圖像。

相反，根據(jù)作為傳統(tǒng)編碼方法的mvc方法所編碼的位流不包括用于使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像來生成與預(yù)定視點(diǎn)不同的視點(diǎn)的圖像的必要信息。更具體地，其不包括用于標(biāo)識彩色圖像和視差相關(guān)圖像的信息、用于標(biāo)識視差圖像和深度圖像的信息以及范圍信息。

如圖1所示的多視點(diǎn)獲取信息sei包括攝像裝置的內(nèi)部和攝像裝置的外部的參數(shù)，但是包括除視點(diǎn)生成信息之外的較多不必要的信息。此外，在多視點(diǎn)獲取信息sei中，針對所有視點(diǎn)或者僅針對特定視點(diǎn)描述攝像裝置的內(nèi)部的參數(shù)，而與參數(shù)類型無關(guān)。因此，當(dāng)針對所有視點(diǎn)描述攝像裝置的內(nèi)部的參數(shù)時(shí)，其包括較多冗余信息，而當(dāng)僅針對特定視點(diǎn)描述該參數(shù)時(shí)，這樣的信息是不夠的。在多視點(diǎn)獲取信息sei中，針對所有視點(diǎn)描述攝像裝置的外部的參數(shù)，因此，包括較多冗余信息。

在編碼裝置10中，根據(jù)多視點(diǎn)校正彩色圖像生成多視點(diǎn)視差相關(guān)圖像，但是多視點(diǎn)視差相關(guān)圖像可在多視點(diǎn)彩色圖像的圖像捕獲期間通過傳感器檢測視差值和深度值來生成。這適用于稍后說明的編碼裝置50。

視點(diǎn)生成信息可包括彩色圖像標(biāo)識信息和視差相關(guān)圖像標(biāo)識信息中的任一個(gè)。在該情況下，解碼裝置30將多視點(diǎn)彩色圖像和多視點(diǎn)視差相關(guān)圖像中的未標(biāo)識的一個(gè)圖像標(biāo)識為未標(biāo)識的圖像。例如，視點(diǎn)生成信息僅包括彩色圖像標(biāo)識信息，解碼裝置30基于彩色圖像標(biāo)識信息而標(biāo)識多視點(diǎn)彩色圖像，并且確定除此之外的圖像是多視點(diǎn)視差相關(guān)圖像。

在第一實(shí)施例中，在sei中傳送視點(diǎn)生成信息。替選地，視點(diǎn)生成信息可包括在vcl(視頻編碼層)、nal(網(wǎng)絡(luò)抽象層)的sps(序列參數(shù)集)和pps(圖片參數(shù)集)等中。

<第二實(shí)施例>

[編碼裝置的第二實(shí)施例的配置示例]

圖11是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的編碼裝置的第二實(shí)施例的配置示例的框圖。

圖11的編碼裝置50包括多視點(diǎn)彩色圖像圖像捕獲單元51、多視點(diǎn)彩色圖像校正單元52、多視點(diǎn)視差相關(guān)圖像生成單元53、視點(diǎn)生成信息生成單元54和多視點(diǎn)圖像編碼單元55。編碼裝置50傳送視點(diǎn)生成信息的一部分作為關(guān)于編碼的信息(編碼參數(shù))。

更具體地，編碼裝置10的多視點(diǎn)彩色圖像圖像捕獲單元51捕獲多個(gè)視點(diǎn)的彩色圖像，并且將其作為多視點(diǎn)彩色圖像提供到多視點(diǎn)彩色圖像校正單元52。多視點(diǎn)彩色圖像圖像捕獲單元51生成外部參數(shù)、視差相關(guān)最大值(深度最大值)和視差相關(guān)最小值(深度最小值)(稍后將說明其細(xì)節(jié))。多視點(diǎn)彩色圖像圖像捕獲單元51將外部參數(shù)、視差相關(guān)最大值和視差相關(guān)最小值提供到視點(diǎn)生成信息生成單元54，并且將視差相關(guān)最大值和視差相關(guān)最小值提供到多視點(diǎn)視差相關(guān)圖像生成單元53。

當(dāng)多視點(diǎn)視差相關(guān)圖像生成單元53生成的視差相關(guān)圖像是深度圖像時(shí)，視差相關(guān)最大值是深度最大值，而當(dāng)其是視差圖像時(shí)，視差相關(guān)最大值是視差最大值。當(dāng)多視點(diǎn)視差相關(guān)圖像生成單元53生成的視差相關(guān)圖像是深度圖像時(shí)，視差相關(guān)最小值是深度最小值，而當(dāng)其是視差圖像時(shí)，視差相關(guān)最小值是視差最小值。

多視點(diǎn)彩色圖像校正單元52對從多視點(diǎn)彩色圖像圖像捕獲單元51提供的多視點(diǎn)彩色圖像執(zhí)行顏色校正、亮度校正、失真校正等。因此，在校正后的多視點(diǎn)彩色圖像中多視點(diǎn)彩色圖像圖像捕獲單元51在水平方向(x方向)上的焦距在所有視點(diǎn)都相同。多視點(diǎn)彩色圖像校正單元52將校正后的多視點(diǎn)彩色圖像作為多視點(diǎn)校正彩色圖像提供到多視點(diǎn)視差相關(guān)圖像生成單元53和多視點(diǎn)圖像編碼單元55。

基于從多視點(diǎn)彩色圖像圖像捕獲單元51提供的視差相關(guān)最大值和視差相關(guān)最小值，多視點(diǎn)視差相關(guān)圖像生成單元53根據(jù)從多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像而生成多個(gè)視點(diǎn)的視差相關(guān)圖像。更具體地，多視點(diǎn)視差相關(guān)圖像生成單元53針對多個(gè)視點(diǎn)中的每個(gè)視點(diǎn)從多視點(diǎn)校正彩色圖像獲得在每個(gè)像素處尚未歸一化的視差相關(guān)值(深度z的倒數(shù)1/z或視差d)，并且基于視差相關(guān)最大值和視差相關(guān)最小值對尚未歸一化的視差相關(guān)值進(jìn)行歸一化。然后，多視點(diǎn)視差相關(guān)圖像生成單元53針對多個(gè)視點(diǎn)中的每個(gè)視點(diǎn)生成歸一化后的每個(gè)像素的視差相關(guān)值(值y，值i)是視差相關(guān)圖像的像素的像素值的視差相關(guān)圖像。

然后，多視點(diǎn)視差相關(guān)圖像生成單元53將所生成的多個(gè)視點(diǎn)的視差相關(guān)圖像作為多視點(diǎn)視差相關(guān)圖像提供到多視點(diǎn)圖像編碼單元55。此外，多視點(diǎn)視差相關(guān)圖像生成單元53生成表示多視點(diǎn)視差相關(guān)圖像的像素值的精度的視差精度參數(shù)(深度精度參數(shù))，并且將視差精度參數(shù)提供到視點(diǎn)生成信息生成單元54。

視點(diǎn)生成信息生成單元54用作生成單元，并且使用多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像來根據(jù)用于生成其它視點(diǎn)的彩色圖像的預(yù)定方法而生成視點(diǎn)生成信息。更具體地，視點(diǎn)生成信息生成單元54基于多視點(diǎn)彩色圖像圖像捕獲單元51提供的外部參數(shù)而獲得攝像裝置間距離。攝像裝置間距離是當(dāng)多視點(diǎn)彩色圖像圖像捕獲單元51捕獲多視點(diǎn)視差相關(guān)圖像的各個(gè)視點(diǎn)處的彩色圖像時(shí)多視點(diǎn)彩色圖像圖像捕獲單元51在水平方向上的位置與當(dāng)多視點(diǎn)彩色圖像圖像捕獲單元51捕獲具有與關(guān)于如此捕獲的彩色圖像的視差相關(guān)圖像對應(yīng)的視差的彩色圖像時(shí)多視點(diǎn)彩色圖像圖像捕獲單元51在水平方向上的位置之間的距離。

視點(diǎn)生成信息生成單元54采用多視點(diǎn)彩色圖像圖像捕獲單元51提供的視差相關(guān)最大值和視差相關(guān)最小值、攝像裝置間距離和多視點(diǎn)視差相關(guān)圖像生成單元53提供的視差精度參數(shù)作為視點(diǎn)生成信息。視點(diǎn)生成信息生成單元54將所生成的視點(diǎn)生成信息提供到多視點(diǎn)圖像編碼單元55。

多視點(diǎn)圖像編碼單元55用作編碼單元，并且根據(jù)依照hevc(高效視頻編碼)方法的方法對多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像生成單元53提供的多視點(diǎn)視差相關(guān)圖像進(jìn)行編碼。在2011年8月，thomaswiegand,woo-jinhan,benjaminbross,jens-rainerohm,garyj.sullivian,"wd3:workingdraft3ofhigh-efficiencyvideocoding",jctvc-e603_d5(version5),may20,2011被發(fā)布作為關(guān)于hevc方法的草案。

多視點(diǎn)圖像編碼單元55對視點(diǎn)生成信息生成單元54提供的視點(diǎn)生成信息中的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離執(zhí)行差分編碼，并且使得這樣的信息包括關(guān)于多視點(diǎn)視差相關(guān)圖像的編碼的信息。然后，多視點(diǎn)圖像編碼單元55傳送包括被編碼的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像、被差分編碼的視差相關(guān)最大值和視差相關(guān)最小值、包括攝像裝置間距離的關(guān)于編碼的信息、視點(diǎn)生成信息生成單元54提供的視差精度參數(shù)等的位流作為編碼位流。

如上所述，多視點(diǎn)圖像編碼單元55對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離進(jìn)行差分編碼并進(jìn)行傳送，因此可以減少視點(diǎn)生成信息的代碼量。為了提供舒服的3d圖像，可以不大大改變圖片之間的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離，因此，差分編碼對于減少代碼量是有效的。

[關(guān)于視點(diǎn)生成信息的說明]

圖12是說明視點(diǎn)生成信息的視差相關(guān)最大值和視差相關(guān)最小值的圖。

在圖12中，水平軸表示未歸一化的視差相關(guān)值，并且垂直軸表示視差相關(guān)圖像的像素值(深度信息)。

如圖12所示，多視點(diǎn)視差相關(guān)圖像生成單元53使用視差相關(guān)最小值dmin和視差相關(guān)最大值dmax，將每個(gè)像素的未歸一化視差相關(guān)值(深度z的倒數(shù)1/z或視差d)歸一化為例如0至255的值。然后，多視點(diǎn)視差相關(guān)圖像生成單元53生成作為0至255中的任一個(gè)值的每個(gè)像素的歸一化視差相關(guān)值(深度信息)是像素值的視差相關(guān)圖像。

更具體地，如上所述，視差相關(guān)圖像中的每個(gè)像素的像素值i由使用該像素的未歸一化視差相關(guān)值d(視差d)、視差相關(guān)最小值dmin和視差相關(guān)最大值dmax的以下表達(dá)式(4)來表示。

[數(shù)學(xué)式2]

因此，在稍后說明的解碼裝置中，需要根據(jù)使用視差相關(guān)最小值dmin和視差相關(guān)最大值dmax的以下表達(dá)式(5)，從視差相關(guān)圖像中的每個(gè)像素的像素值i恢復(fù)未歸一化視差相關(guān)值d。

[數(shù)學(xué)式3]

更具體地，如上所述，視差相關(guān)圖像中的每個(gè)像素的像素值y由使用該像素的非歸一化視差相關(guān)值z(視差z)、視差相關(guān)最小值znear和視差相關(guān)最大值zfar的表達(dá)式(c)來表示。因此，在稍后說明的解碼裝置中，需要使用視差相關(guān)最小值znear和視差相關(guān)最大值zfar來從視差相關(guān)圖像中的每個(gè)像素的像素值y恢復(fù)視差相關(guān)值z。因此，視差相關(guān)最小值和視差相關(guān)最大值被傳送到解碼裝置。

圖13是說明視點(diǎn)生成信息的視差精度參數(shù)的圖。

如圖13的上段所示，當(dāng)每個(gè)歸一化視差相關(guān)值(深度信息)的非歸一化視差相關(guān)值(深度z的倒數(shù)1/z或視差d)是0.5時(shí)，視差精度參數(shù)表示0.5，其是歸一化視差相關(guān)值(深度信息)的精度。如圖13的下段所示，當(dāng)每個(gè)歸一化視差相關(guān)值的非歸一化視差相關(guān)值是1時(shí)，視差精度參數(shù)表示1.0，其是視差相關(guān)值的精度。

在圖13的示例中，第一視點(diǎn)的視點(diǎn)#1處的非歸一化視差相關(guān)值是1.0，并且第二視點(diǎn)的視點(diǎn)#2處的非歸一化視差相關(guān)值是0.5。因此，盡管視差相關(guān)值的精度是0.5或1.0，但是視點(diǎn)#1的歸一化視差相關(guān)值是1.0。另一方面，盡管視差相關(guān)值的精度是0.5，但是視點(diǎn)#2的視差相關(guān)值是0.5，并且盡管視差相關(guān)值的精度是1.0，但是視點(diǎn)#2的視差相關(guān)值是0。

圖14是說明視點(diǎn)生成信息的攝像裝置間距離的圖。

如圖14所示，相對于視點(diǎn)#2的視點(diǎn)#1的視差相關(guān)圖像的攝像裝置間距離是由視點(diǎn)#1的外部參數(shù)表示的位置與由視點(diǎn)#2的外部參數(shù)表示的位置之間的距離。

[多視點(diǎn)圖像編碼單元的配置示例]

圖15是示出圖11的多視點(diǎn)圖像編碼單元55的配置示例的框圖。

圖15的多視點(diǎn)圖像編碼單元55包括切片編碼單元61、切片報(bào)頭編碼單元62、pps編碼單元63和sps編碼單元64。

多視點(diǎn)圖像編碼單元55的切片編碼單元61以切片為單位，根據(jù)依照hevc方法的方法，對多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像生成單元53提供的多視點(diǎn)視差相關(guān)圖像進(jìn)行編碼。切片編碼單元61將作為編碼結(jié)果獲得的以切片為單位的編碼數(shù)據(jù)提供給切片報(bào)頭編碼單元62。

切片報(bào)頭編碼單元62確定視點(diǎn)生成信息生成單元54提供的視點(diǎn)生成信息中的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離是當(dāng)前處理目標(biāo)的切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離，并且保持它們。

切片報(bào)頭編碼單元62還確定當(dāng)前處理目標(biāo)的切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離與關(guān)于該切片按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離相同，并且以給出同一pps的單位(下文中稱為同一pps單位)進(jìn)行該確定。

然后，當(dāng)確定構(gòu)成同一pps單位的切片的所有視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離與按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離相同時(shí)，切片報(bào)頭編碼單元62添加除了該切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離之外的關(guān)于編碼的信息作為構(gòu)成同一pps單位的每個(gè)切片的編碼數(shù)據(jù)的切片報(bào)頭，并且將該信息提供到pps編碼單元63。切片報(bào)頭編碼單元62將指示對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的傳送不存在的傳送標(biāo)志提供給pps編碼單元63。

另一方面，當(dāng)確定構(gòu)成同一pps單位的至少一個(gè)切片的所有視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離與按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離不同時(shí)，切片報(bào)頭編碼單元62將包括該切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的關(guān)于編碼的信息作為切片報(bào)頭添加到幀內(nèi)類型切片的編碼數(shù)據(jù)，并且將該信息提供到pps編碼單元63。

切片報(bào)頭編碼單元62對幀間類型切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離執(zhí)行差分編碼。更具體地，切片報(bào)頭編碼單元62從幀間類型切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離分別減去關(guān)于該切片按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離，并且獲得差分編碼結(jié)果。然后，切片報(bào)頭編碼單元62將包括對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的關(guān)于編碼的信息作為切片報(bào)頭添加到幀間類型切片的編碼數(shù)據(jù)，并且將該信息提供到pps編碼單元63。

在該情況下，切片報(bào)頭編碼單元62將指示對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的傳送存在的傳送標(biāo)志提供給pps編碼單元63。

pps編碼單元63生成包括從切片報(bào)頭編碼單元62提供的傳送標(biāo)志和從圖11的視點(diǎn)生成信息生成單元54提供的視點(diǎn)生成信息中的視差精度參數(shù)的pps。pps編碼單元63以同一pps單位將pps添加到以切片為單位的添加了從切片報(bào)頭編碼單元62提供的切片報(bào)頭的編碼數(shù)據(jù)，并且將其提供到sps編碼單元64。

sps編碼單元64生成sps。然后，sps編碼單元64以序列為單位將sps添加到添加了從pps編碼單元63提供的pps的編碼數(shù)據(jù)。sps編碼單元64傳送作為結(jié)果獲得的位流作為編碼位流。

[編碼位流的配置示例]

圖16是示出編碼位流的配置示例的圖。

在圖16中，為了進(jìn)行說明，僅描述了多視點(diǎn)視差相關(guān)圖像的切片的編碼數(shù)據(jù)。但是實(shí)際上，編碼位流還布置有多視點(diǎn)彩色圖像的切片的編碼數(shù)據(jù)。

在圖16的示例中，構(gòu)成作為第0個(gè)pps的pps#0的同一pps單位的兩個(gè)幀間類型切片和一個(gè)幀內(nèi)類型切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離分別與按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離不同。因此，pps#0包括指示傳送存在的傳送標(biāo)志“1”。在圖16的示例中，構(gòu)成pps#0的同一pps單位的切片的視差精度是0.5，并且pps#0包括表示視差精度0.5的“1”作為視差精度參數(shù)。

此外，在圖16的示例中，構(gòu)成pps#0的同一pps單位的幀內(nèi)類型切片的視差相關(guān)最小值是10，并且其視差相關(guān)最大值是50，且其攝像裝置間距離是100。因此，切片的切片報(bào)頭包括視差相關(guān)最小值“10”、視差相關(guān)最大值“50”和攝像裝置間距離“100”。

在圖16的示例中，構(gòu)成pps#0的同一pps單位的第一幀間類型切片的視差相關(guān)最小值是9，并且其視差相關(guān)最大值是48，且其攝像裝置間距離是105。因此，切片的切片報(bào)頭包括通過從切片的視差相關(guān)最小值“9”減去按編碼順序布置在該切片之前的幀內(nèi)類型切片的視差相關(guān)最小值“10”而獲得的差“-1”作為視差相關(guān)最小值的差分編碼結(jié)果。同樣，視差相關(guān)最大值的差“-2”被包括作為視差相關(guān)最大值的差分編碼結(jié)果，并且攝像裝置間距離的差“5”被包括作為攝像裝置間距離的差分編碼結(jié)果。

此外，在圖16的示例中，構(gòu)成pps#0的同一pps單位的第二幀間類型切片的視差相關(guān)最小值是7，并且其視差相關(guān)最大值是47，且其攝像裝置間距離是110。因此，切片的切片報(bào)頭包括通過從該切片的視差相關(guān)最小值“7”減去按編碼順序布置在該切片之前的第一幀間類型切片的視差相關(guān)最小值“9”而獲得的差“-2”作為視差相關(guān)最小值的差分編碼結(jié)果。同樣，視差相關(guān)最大值的差“-1”被包括作為視差相關(guān)最大值的差分編碼結(jié)果，并且攝像裝置間距離的差“5”被包括作為攝像裝置間距離的差分編碼結(jié)果。

在圖16的示例中，構(gòu)成作為第1個(gè)pps的pps#1的同一pps單位的兩個(gè)幀間類型切片和一個(gè)幀內(nèi)類型切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離分別與按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離相同。更具體地，構(gòu)成作為第1個(gè)pps的pps#1的同一pps單位的兩個(gè)幀間類型切片和一個(gè)幀內(nèi)類型切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離分別是“7”、“47”和“110”，其與構(gòu)成pps#0的同一pps單位的第二幀間類型切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離相同。因此，pps#1包括指示傳送不存在的傳送標(biāo)志“0”。在圖16的示例中，構(gòu)成pps#1的同一pps單位的切片的視差精度是0.5，并且pps#1包括表示視差精度0.5的“1”作為視差精度參數(shù)。

[pps的語法示例]

圖17是示出圖16的pps的語法示例的圖。

如圖17所示，pps包括視差精度參數(shù)(disparity_precision)和傳送標(biāo)志(dsiparity_pic_same_flag)。例如，當(dāng)指示視差精度(深度信息的精度)1時(shí)，視差精度參數(shù)是“0”，而當(dāng)指示視差精度(深度信息的精度)0.25時(shí)，視差精度參數(shù)是“2”。如上所述，當(dāng)指示視差精度(深度信息的精度)0.5時(shí)，視差精度參數(shù)是“1”。如上所述，當(dāng)指示傳送存在時(shí)，傳送標(biāo)志是“1”，而當(dāng)指示傳送不存在時(shí)，傳送標(biāo)志是“0”。

[切片報(bào)頭的語法示例]

圖18和圖19是示出切片報(bào)頭的語法示例的圖。

如圖19所示，當(dāng)傳送標(biāo)志是1并且切片類型是幀內(nèi)類型時(shí)，切片報(bào)頭包括視差相關(guān)最小值(minimum_disparity)、視差相關(guān)最大值(maximum_disparity)和攝像裝置間距離(translation_x)。

另一方面，當(dāng)傳送標(biāo)志是1并且切片類型是幀間類型時(shí)，切片報(bào)頭包括視差相關(guān)最小值的差分編碼結(jié)果(delta_minimum_disparity)、視差相關(guān)最大值的差分編碼結(jié)果(delta_maximum_disparity)和攝像裝置間距離的差分編碼結(jié)果(delta_translation_x)。

[關(guān)于編碼裝置的處理的說明]

圖20是說明圖11的編碼裝置50的編碼處理的流程圖。

在圖20的步驟s111中，編碼裝置50的多視點(diǎn)彩色圖像圖像捕獲單元51捕獲多個(gè)視點(diǎn)的彩色圖像，并且將其作為多視點(diǎn)彩色圖像提供到多視點(diǎn)彩色圖像校正單元52。

在步驟s112中，多視點(diǎn)彩色圖像圖像捕獲單元51生成視差相關(guān)最大值、視差相關(guān)最小值和外部參數(shù)。多視點(diǎn)彩色圖像圖像捕獲單元51將視差相關(guān)最大值、視差相關(guān)最小值和外部參數(shù)提供到視點(diǎn)生成信息生成單元54，并且將視差相關(guān)最大值和視差相關(guān)最小值提供到多視點(diǎn)視差相關(guān)圖像生成單元53。

在步驟s113中，多視點(diǎn)彩色圖像校正單元52對從多視點(diǎn)彩色圖像圖像捕獲單元51提供的多視點(diǎn)彩色圖像執(zhí)行顏色校正、亮度校正、失真校正等。因此，校正后的多視點(diǎn)彩色圖像中多視點(diǎn)彩色圖像圖像捕獲單元51在水平方向(x方向)上的焦距在所有視點(diǎn)都相同。多視點(diǎn)彩色圖像校正單元52將校正后的多視點(diǎn)彩色圖像作為多視點(diǎn)校正彩色圖像提供到多視點(diǎn)視差相關(guān)圖像生成單元53和多視點(diǎn)圖像編碼單元55。

在步驟s114中，基于從多視點(diǎn)彩色圖像圖像捕獲單元51提供的視差相關(guān)最大值和視差相關(guān)最小值，多視點(diǎn)視差相關(guān)圖像生成單元53根據(jù)從多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像而生成多個(gè)視點(diǎn)的視差相關(guān)圖像。然后，多視點(diǎn)視差相關(guān)圖像生成單元53將所生成的多個(gè)視點(diǎn)的視差相關(guān)圖像作為多視點(diǎn)視差相關(guān)圖像提供到多視點(diǎn)圖像編碼單元55。

在步驟s115中，多視點(diǎn)視差相關(guān)圖像生成單元53生成視差精度參數(shù)，并且將視差精度參數(shù)提供到視點(diǎn)生成信息生成單元54。

在步驟s116中，視點(diǎn)生成信息生成單元54基于多視點(diǎn)彩色圖像圖像捕獲單元51提供的外部參數(shù)而獲得攝像裝置間距離。

在步驟s117中，視點(diǎn)生成信息生成單元54生成多視點(diǎn)彩色圖像圖像捕獲單元51提供的視差相關(guān)最大值和視差相關(guān)最小值、攝像裝置間距離和多視點(diǎn)視差相關(guān)圖像生成單元53提供的視差精度參數(shù)作為視點(diǎn)生成信息。視點(diǎn)生成信息生成單元54將所生成的視點(diǎn)生成信息提供到多視點(diǎn)圖像編碼單元55。

在步驟s118中，多視點(diǎn)圖像編碼單元55根據(jù)依照hevc方法的方法，執(zhí)行用于對多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像生成單元53提供的多視點(diǎn)視差相關(guān)圖像進(jìn)行編碼的多視點(diǎn)編碼處理。將參照稍后說明的圖21來說明多視點(diǎn)編碼處理的細(xì)節(jié)。

在步驟s119中，多視點(diǎn)圖像編碼單元55傳送作為多視點(diǎn)編碼處理的結(jié)果而獲得的編碼位流，并且終止處理。

圖21是說明圖20的步驟s118中的多視點(diǎn)編碼處理的流程圖。

在圖21的步驟s131中，多視點(diǎn)圖像編碼單元55(圖15)的切片編碼單元61以切片為單位，根據(jù)依照hevc方法的方法，對多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像生成單元53提供的多視點(diǎn)視差相關(guān)圖像進(jìn)行編碼。切片編碼單元61將作為編碼結(jié)果獲得的以切片為單位的編碼數(shù)據(jù)提供給切片報(bào)頭編碼單元62。

在步驟s132中，切片報(bào)頭編碼單元62確定視點(diǎn)生成信息生成單元54提供的視點(diǎn)生成信息中的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離是當(dāng)前處理目標(biāo)的切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離，并且保持它們。

在步驟s133中，切片報(bào)頭編碼單元62確定構(gòu)成同一pps單位的所有切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離是否與關(guān)于該切片按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離相同。

當(dāng)在步驟s133中確定攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值相同時(shí)，切片報(bào)頭編碼單元62生成指示對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的傳送不存在的傳送標(biāo)志，并且在步驟s134中將其提供到pps編碼單元63。

在步驟s135中，切片報(bào)頭編碼單元62將除該切片的攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值之外的關(guān)于編碼的信息作為切片報(bào)頭添加到構(gòu)成作為步驟s133的處理目標(biāo)的同一pps單位的各個(gè)切片的編碼數(shù)據(jù)。然后，切片報(bào)頭編碼單元62將作為結(jié)果獲得的構(gòu)成同一pps單位的各個(gè)切片的編碼數(shù)據(jù)提供給pps編碼單元63，并且進(jìn)行到步驟s140中的處理。

另一方面，當(dāng)在步驟s133中確定攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值不同時(shí)，切片報(bào)頭編碼單元62生成指示對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的傳送存在的傳送標(biāo)志，并且在步驟s136中將其提供到pps編碼單元63。對構(gòu)成作為步驟s133的處理目標(biāo)的同一pps單位的各個(gè)切片執(zhí)行稍后說明的步驟s137至s139中的處理。

在步驟s137中，切片報(bào)頭編碼單元62確定構(gòu)成作為步驟s133的處理目標(biāo)的同一pps單位的切片的類型是否是幀內(nèi)類型。當(dāng)在步驟s137中確定切片的類型是幀內(nèi)類型時(shí)，在步驟s138中，切片報(bào)頭編碼單元62將包括該切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的關(guān)于編碼的信息作為切片報(bào)頭添加到該切片的編碼數(shù)據(jù)。然后，切片報(bào)頭編碼單元62將作為結(jié)果獲得的以切片為單位的編碼數(shù)據(jù)提供給pps編碼單元63，并且進(jìn)行到步驟s140中的處理。

另一方面，當(dāng)在步驟s137中確定切片的類型不是幀內(nèi)類型時(shí)，更具體地，當(dāng)確定切片的類型是幀間類型時(shí)，執(zhí)行步驟s139中的處理。在步驟s139中，切片報(bào)頭編碼單元62對該切片的攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值執(zhí)行差分編碼，并且將包括差分編碼結(jié)果的關(guān)于編碼的信息作為切片報(bào)頭添加到該切片的該編碼數(shù)據(jù)。然后，切片報(bào)頭編碼單元62將作為結(jié)果獲得的以切片為單位的編碼數(shù)據(jù)提供給pps編碼單元63，并且進(jìn)行到步驟s140中的處理。

在步驟s140中，pps編碼單元63生成包括從切片報(bào)頭編碼單元62提供的傳送標(biāo)志和從圖11的視點(diǎn)生成信息生成單元54提供的視點(diǎn)生成信息中的視差精度參數(shù)的pps。

在步驟s141中，pps編碼單元63以同一pps單位將pps添加到以切片為單位的添加了從切片報(bào)頭編碼單元62提供的切片報(bào)頭的編碼數(shù)據(jù)，并且將其提供到sps編碼單元64。

在步驟s142中，sps編碼單元64生成sps。

在步驟s143中，sps編碼單元64以序列為單位將sps添加到添加了從pps編碼單元63提供的pps的編碼數(shù)據(jù)，并且生成編碼位流。

如上所述，編碼裝置50將切片報(bào)頭中的攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值布置為關(guān)于編碼的信息。因此，例如，攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值可以用于編碼。

[解碼裝置的第二實(shí)施例的配置示例]

圖22是示出用作應(yīng)用本技術(shù)的圖像處理設(shè)備的解碼裝置的第二實(shí)施例的配置示例的框圖，該解碼裝置對從圖11的編碼裝置50傳送的編碼位流進(jìn)行解碼。

在如圖22所示的配置中，與圖7的配置相同的配置以相同的附圖標(biāo)記來表示。根據(jù)需要省略重復(fù)的說明。

圖22的解碼裝置80的配置與圖7的配置的不同之處在于，取代多視點(diǎn)圖像解碼單元31和視點(diǎn)合成單元32，解碼裝置80包括多視點(diǎn)圖像解碼單元81和視點(diǎn)合成單元82。解碼裝置80基于從編碼裝置50傳送的視點(diǎn)生成信息而顯示多視點(diǎn)合成彩色圖像。

更具體地，解碼裝置80的多視點(diǎn)圖像解碼單元81用作接收單元，并且接收從圖11的編碼裝置50傳送的編碼位流。多視點(diǎn)圖像解碼單元81從包括在所接收的編碼位流中的pps提取視差精度參數(shù)和傳送標(biāo)志。多視點(diǎn)圖像解碼單元81根據(jù)傳送標(biāo)志從編碼位流的切片報(bào)頭提取攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值。多視點(diǎn)圖像解碼單元81生成包括視差精度參數(shù)、攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值的視點(diǎn)生成信息，并且將其提供到視點(diǎn)合成單元82。

多視點(diǎn)圖像解碼單元81用作解碼單元，并且根據(jù)與圖11的多視點(diǎn)圖像編碼單元15的編碼方法對應(yīng)的方法對包括在編碼位流中的以切片為單位的編碼數(shù)據(jù)進(jìn)行解碼，并且生成多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像。多視點(diǎn)圖像解碼單元81將多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像提供到視點(diǎn)合成單元82。

視點(diǎn)合成單元82使用多視點(diǎn)圖像解碼單元81提供的視點(diǎn)生成信息來對多視點(diǎn)圖像解碼單元81提供的多視點(diǎn)視差相關(guān)圖像執(zhí)行翹曲處理，以根據(jù)顯示視點(diǎn)對圖像進(jìn)行翹曲。更具體地，視點(diǎn)合成單元82基于包括在視點(diǎn)生成信息中的攝像裝置間距離、視差相關(guān)最大值、視差相關(guān)最小值等，以與視差精度參數(shù)對應(yīng)的精度對多視點(diǎn)視差相關(guān)圖像執(zhí)行翹曲處理，以根據(jù)顯示視點(diǎn)對圖像進(jìn)行翹曲。視點(diǎn)合成單元82使用作為翹曲處理的結(jié)果而獲得的顯示視點(diǎn)的視差相關(guān)圖像來對多視點(diǎn)圖像解碼單元81提供的多視點(diǎn)校正彩色圖像執(zhí)行翹曲處理，以根據(jù)顯示視點(diǎn)對其進(jìn)行翹曲。視點(diǎn)合成單元82將作為結(jié)果獲得的顯示視點(diǎn)的彩色圖像作為多視點(diǎn)合成彩色圖像提供到多視點(diǎn)圖像顯示單元33。

如上所述，視點(diǎn)合成單元82基于視差精度參數(shù)，以與視點(diǎn)精度參數(shù)對應(yīng)的精度對多視點(diǎn)視差相關(guān)圖像執(zhí)行翹曲處理，以根據(jù)顯示視點(diǎn)對其進(jìn)行翹曲，因此，視點(diǎn)合成單元82不需要浪費(fèi)以高精度來執(zhí)行翹曲處理。

另外，視點(diǎn)合成單元82對多視點(diǎn)視差相關(guān)圖像執(zhí)行翹曲處理以根據(jù)攝像裝置間距離對其進(jìn)行翹曲，因此，當(dāng)與已經(jīng)受了翹曲處理的多視點(diǎn)視差相關(guān)圖像的視差相關(guān)值對應(yīng)的視差不在適當(dāng)范圍中時(shí)，可以基于攝像裝置間距離將視差相關(guān)值校正為與適當(dāng)范圍中的視差對應(yīng)的值。

[多視點(diǎn)圖像解碼單元的配置示例]

圖23是示出圖22的多視點(diǎn)圖像解碼單元81的配置示例的框圖。

圖23的多視點(diǎn)圖像解碼單元81包括sps解碼單元101、pps解碼單元102、切片報(bào)頭解碼單元103和切片解碼單元104。

多視點(diǎn)圖像解碼單元81的sps解碼單元101接收從圖11的編碼裝置50傳送的編碼位流，并且提取編碼位流中的sps。sps解碼單元101將除sps之外的編碼位流和所提取的sps提供給pps解碼單元102。

pps解碼單元102從由sps解碼單元101提供的除sps之外的編碼位流提取pps。pps解碼單元102將除sps和pps之外的編碼位流以及所提取的pps和sps提供給切片報(bào)頭解碼單元103。

切片報(bào)頭解碼單元103從由pps解碼單元102提供的除sps和pps之外的編碼位流提取切片報(bào)頭。當(dāng)包括在pps解碼單元102提供的pps中的傳送標(biāo)志是指示傳送存在的“1”時(shí)，切片報(bào)頭解碼單元103保持包括在切片報(bào)頭中的攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值，或者基于攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值的差分編碼結(jié)果而更新其中保持的攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值。切片報(bào)頭解碼單元103根據(jù)所保持的攝像裝置間距離、視差相關(guān)最大值和視差相關(guān)最小值以及包括在pps中的視差精度參數(shù)而生成視點(diǎn)生成信息，并且將其提供到視點(diǎn)合成單元82。此外，切片報(bào)頭解碼單元103將作為除sps、pps和切片報(bào)頭之外的編碼位流的以切片為單位的編碼數(shù)據(jù)以及sps、pps和切片報(bào)頭提供給切片解碼單元104。

切片解碼單元104基于從切片報(bào)頭解碼單元103提供的sps、pps和切片報(bào)頭，根據(jù)與切片編碼單元61(圖15)的編碼方法對應(yīng)的方法而對以切片為單位的編碼數(shù)據(jù)進(jìn)行解碼。切片報(bào)頭解碼單元103將作為解碼結(jié)果獲得的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像提供給圖22的視點(diǎn)合成單元82。

[關(guān)于解碼裝置的處理的說明]

除了圖9的步驟s52中的多視點(diǎn)解碼處理之外，圖22的解碼裝置80的解碼處理以相同的方式來進(jìn)行，因此，在以下說明中，將僅說明多視點(diǎn)解碼處理。

圖24是說明圖22的解碼裝置80的多視點(diǎn)圖像解碼單元81的多視點(diǎn)解碼處理的流程圖。

在圖24的步驟s161中，多視點(diǎn)圖像解碼單元81(圖23)的sps解碼單元101從所接收的編碼位流提取sps。sps解碼單元101將除sps之外的編碼位流和所提取的sps提供給pps解碼單元102。

在步驟s162中，pps解碼單元102從由sps解碼單元101提供的除sps之外的編碼位流提取pps。pps解碼單元102將除sps和pps之外的編碼位流以及所提取的pps和sps提供給切片報(bào)頭解碼單元103。

在步驟s163中，切片報(bào)頭解碼單元103將包括在從pps解碼單元102提供的pps中的視差精度參數(shù)作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。

在步驟s164中，切片報(bào)頭解碼單元103確定包括在pps解碼單元102提供的pps中的傳送標(biāo)志是否是指示傳送存在的“1”。應(yīng)注意，以切片為單位進(jìn)行步驟s165至s174中的隨后處理。

當(dāng)在步驟s164中確定傳送標(biāo)志是指示傳送存在的“1”時(shí)，隨后執(zhí)行步驟s165中的處理。在步驟s165中，切片報(bào)頭解碼單元103從由pps解碼單元102提供的除sps和pps之外的編碼位流提取包括視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離或者視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的切片報(bào)頭。

在步驟s166中，切片報(bào)頭解碼單元103確定切片的類型是否是幀內(nèi)類型。當(dāng)在步驟s166中確定切片的類型是幀內(nèi)類型時(shí)，隨后執(zhí)行步驟s167中的處理。

在步驟s167中，切片報(bào)頭解碼單元103保持在步驟s165中提取的切片報(bào)頭中所包括的視差相關(guān)最小值，并且將其作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。

在步驟s168中，切片報(bào)頭解碼單元103保持在步驟s165中提取的切片報(bào)頭中所包括的視差相關(guān)最大值，并且將其作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。

在步驟s169中，切片報(bào)頭解碼單元103保持在步驟s165中提取的切片報(bào)頭中所包括的攝像裝置間距離，并且將其作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。然后，執(zhí)行步驟s175中的處理。

另一方面，在步驟s166中確定切片的類型不是幀內(nèi)類型時(shí)，更具體地，當(dāng)確定切片的類型是幀間類型時(shí)，執(zhí)行步驟s170中的處理。

在步驟s170中，切片報(bào)頭解碼單元103將在步驟s165中提取的切片報(bào)頭中所包括的視差相關(guān)最小值的差分編碼結(jié)果添加到所保持的視差相關(guān)最小值。切片報(bào)頭解碼單元103將通過添加操作而恢復(fù)的視差相關(guān)最小值作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。

在步驟s171中，切片報(bào)頭解碼單元103將在步驟s165中提取的切片報(bào)頭中所包括的視差相關(guān)最大值的差分編碼結(jié)果添加到所保持的視差相關(guān)最大值。切片報(bào)頭解碼單元103將通過添加操作而恢復(fù)的視差相關(guān)最大值作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。

在步驟s172中，切片報(bào)頭解碼單元103將在步驟s165中提取的切片報(bào)頭中所包括的攝像裝置間距離的差分編碼結(jié)果添加到所保持的攝像裝置間距離。切片報(bào)頭解碼單元103將通過添加操作而恢復(fù)的攝像裝置間距離作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82。然后，執(zhí)行步驟s175中的處理。

當(dāng)在步驟s164中確定傳送標(biāo)志不是指示傳送存在的“1”時(shí)，即，當(dāng)確定傳送標(biāo)志是指示傳送不存在的“0”時(shí)，隨后執(zhí)行步驟s173中的處理。

在步驟s173中，切片報(bào)頭解碼單元103從由pps解碼單元102提供的除sps和pps之外的編碼位流提取不包括視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離以及視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離的差分編碼結(jié)果的切片報(bào)頭。

在步驟s174中，切片報(bào)頭解碼單元103確定所保持的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離(即，按編碼順序的先前切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離)是處理目標(biāo)的切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離，從而恢復(fù)處理目標(biāo)的切片的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離。然后，切片報(bào)頭解碼單元103將如此恢復(fù)的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離作為視點(diǎn)生成信息的一部分提供到視點(diǎn)合成單元82，并且進(jìn)行到步驟s175中的處理。

在步驟s175中，切片解碼單元104基于從切片報(bào)頭解碼單元103提供的sps、pps和切片報(bào)頭，根據(jù)與切片編碼單元61(圖15)的編碼方法對應(yīng)的方法對以切片為單位的編碼數(shù)據(jù)進(jìn)行解碼。切片報(bào)頭解碼單元103將作為解碼結(jié)果獲得的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差相關(guān)圖像提供給圖22的視點(diǎn)合成單元82。

如上所述，解碼裝置80可以對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離被布置為切片報(bào)頭中的關(guān)于編碼的信息的編碼位流進(jìn)行解碼。因此，例如，可以對視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離用于編碼的編碼位流進(jìn)行解碼。

在第二實(shí)施例中，視點(diǎn)生成信息中的視差相關(guān)最大值、視差相關(guān)最小值和攝像裝置間距離包括在切片報(bào)頭中，但是可在sps、pps、sei等中描述。在第二實(shí)施例中，視點(diǎn)生成信息還可包括彩色圖像標(biāo)識信息、視差相關(guān)圖像標(biāo)識信息、外部參數(shù)信息、內(nèi)部參數(shù)信息、彩色圖像的視點(diǎn)數(shù)量、用于標(biāo)識用作用于獲得視差值的基點(diǎn)的視點(diǎn)的彩色圖像的信息、視差相關(guān)圖像的視點(diǎn)數(shù)量、圖像類型信息等。

<第三實(shí)施例>

[關(guān)于應(yīng)用本技術(shù)的計(jì)算機(jī)的說明]

隨后，上述系列處理可由硬件或軟件來執(zhí)行。當(dāng)該系列處理由軟件執(zhí)行時(shí)，構(gòu)成該軟件的程序安裝在通用計(jì)算機(jī)等中。

圖26是安裝了用于執(zhí)行上述系列處理的程序的計(jì)算機(jī)的實(shí)施例的示例性配置。

程序可預(yù)先存儲(chǔ)在用作并入計(jì)算機(jī)中的記錄介質(zhì)的存儲(chǔ)單元808和rom(只讀存儲(chǔ)器)802中。

替選地，程序可被存儲(chǔ)(記錄)到可拆卸介質(zhì)811。該可拆卸介質(zhì)811可被提供作為所謂的封裝軟件。在該情況下，可拆卸介質(zhì)811的示例包括例如軟盤、cd-rom(致密盤只讀存儲(chǔ)器)、mo(磁光)盤、dvd(數(shù)字通用盤)、磁盤、半導(dǎo)體存儲(chǔ)器等。

程序可以使用驅(qū)動(dòng)器810從如上所述的可拆卸介質(zhì)811安裝到計(jì)算機(jī)。替選地，程序可經(jīng)由通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)而被下載到計(jì)算機(jī)，或者程序可以被安裝到其中設(shè)置的存儲(chǔ)單元808。更具體地，程序可以例如經(jīng)由用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星而無線地從下載站點(diǎn)傳遞到計(jì)算機(jī)，或者可經(jīng)由有線(即，諸如lan(局域網(wǎng))和因特網(wǎng)的網(wǎng)絡(luò))而被傳遞到計(jì)算機(jī)。

計(jì)算機(jī)具有cpu(中央處理單元)801。cpu801經(jīng)由總線804連接到輸入/輸出接口805。

當(dāng)用戶經(jīng)由輸入/輸出接口805操作輸入單元806以將命令輸入到cpu801時(shí)，cpu801響應(yīng)于該命令而執(zhí)行存儲(chǔ)在rom802中的程序。替選地，cpu801將存儲(chǔ)在存儲(chǔ)單元808中的程序加載到ram(隨機(jī)存取存儲(chǔ)器)803并執(zhí)行該程序。

因此，cpu801執(zhí)行根據(jù)以上流程圖的處理或者利用如上所述的框圖中的配置執(zhí)行的處理。然后，根據(jù)需要，cpu801經(jīng)由輸入/輸出接口805從輸出單元807輸出其處理結(jié)果，從通信單元809傳送其處理結(jié)果，或者將其處理結(jié)果記錄到例如存儲(chǔ)單元808。

輸入單元806由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成。輸出單元807由lcd(液晶顯示器)、揚(yáng)聲器等構(gòu)成。

在該情況下，在該說明書中，由計(jì)算機(jī)根據(jù)程序執(zhí)行的處理可以不一定根據(jù)流程圖中描述的順序以時(shí)間序列來執(zhí)行。換言之，由計(jì)算機(jī)根據(jù)程序執(zhí)行的處理包括獨(dú)立地或并行地執(zhí)行的處理(例如，關(guān)于對象執(zhí)行的處理或者并行處理)。

程序可由一個(gè)計(jì)算機(jī)(處理器)來處理，或者可由多個(gè)計(jì)算機(jī)作為分布式處理來處理。此外，程序可被傳遞到位于遠(yuǎn)處的計(jì)算機(jī)并且可被執(zhí)行。

本技術(shù)可以應(yīng)用于用于經(jīng)由網(wǎng)絡(luò)介質(zhì)(諸如衛(wèi)星廣播、有線電視(電視機(jī))、因特網(wǎng)和便攜式電話)的通信或者用于對記錄介質(zhì)(諸如光盤、磁盤和閃存)的處理的圖像處理設(shè)備。

以上說明的圖像處理設(shè)備可以應(yīng)用于任意給定電子裝置。在下文中，將說明其示例。

<第四實(shí)施例>

[電視機(jī)裝置的配置示例]

圖27示出了應(yīng)用本技術(shù)的電視機(jī)裝置的示意配置示例。電視機(jī)裝置900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚(yáng)聲器908和外部接口單元909。此外，電視機(jī)裝置900包括控制單元910和用戶接口單元911。

調(diào)諧器902從由天線901接收的廣播信號當(dāng)中調(diào)諧為期望頻道并對該期望信道進(jìn)行解碼，并且將如此獲得的編碼位流輸出到解復(fù)用器903。

解復(fù)用器903從編碼位流提取作為觀看目標(biāo)的節(jié)目的視頻和音頻的分組，并且將所提取的分組的數(shù)據(jù)輸出到解碼器904。解復(fù)用器903還將諸如epg(電子節(jié)目指南)的數(shù)據(jù)分組提供到控制單元910。當(dāng)被加擾時(shí)，解復(fù)用器等執(zhí)行解擾。

解碼器904執(zhí)行分組的解碼處理，并且將通過解碼處理生成的視頻數(shù)據(jù)輸出到視頻信號處理單元905，并將音頻數(shù)據(jù)輸出到音頻信號處理單元907。

視頻信號處理單元905對視頻數(shù)據(jù)執(zhí)行降噪和根據(jù)用戶設(shè)置的視頻處理。視頻信號處理單元905生成例如顯示在顯示單元906上的節(jié)目的視頻數(shù)據(jù)和通過基于經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用的處理而得到的圖像數(shù)據(jù)。視頻信號處理單元905生成用于顯示用于允許選擇項(xiàng)目的菜單畫面等的視頻數(shù)據(jù)，并且將該視頻數(shù)據(jù)疊加在節(jié)目的視頻數(shù)據(jù)上。視頻信號處理單元905基于如此生成的視頻數(shù)據(jù)而生成驅(qū)動(dòng)信號，并且驅(qū)動(dòng)顯示單元906。

顯示單元906通過基于視頻信號處理單元905提供的驅(qū)動(dòng)信號驅(qū)動(dòng)顯示裝置(例如，液晶顯示裝置等)而顯示例如節(jié)目的視頻。

音頻信號處理單元907對音頻數(shù)據(jù)執(zhí)行諸如降噪的預(yù)定處理，并且對已處理后的音頻數(shù)據(jù)執(zhí)行d/a轉(zhuǎn)換處理和放大處理，并將數(shù)據(jù)提供到揚(yáng)聲器908，從而輸出音頻。

外部接口單元909是用于連接外部裝置和網(wǎng)絡(luò)以及交換數(shù)據(jù)(諸如視頻數(shù)據(jù)和音頻數(shù)據(jù))的接口。

控制單元910連接到用戶接口單元911。用戶接口單元911由例如操作開關(guān)和遠(yuǎn)程控制信號接收單元構(gòu)成，并且將根據(jù)用戶操作的操作信號提供到控制單元910。

控制單元910由cpu(中央處理單元)、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)例如cpu執(zhí)行的程序、當(dāng)利用cpu執(zhí)行處理時(shí)所需的各種數(shù)據(jù)、epg數(shù)據(jù)和經(jīng)由網(wǎng)絡(luò)獲得的數(shù)據(jù)。由cpu關(guān)于預(yù)定定時(shí)(諸如在啟動(dòng)電視機(jī)裝置900期間)讀取并執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序。cpu執(zhí)行程序，從而控制各個(gè)單元以使得電視機(jī)裝置900根據(jù)用戶操作而進(jìn)行操作。

電視機(jī)裝置900設(shè)置有用于連接調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口單元909和控制單元910的總線912。

在如上所述配置的電視機(jī)裝置中，解碼器904設(shè)置有本申請的圖像處理設(shè)備(圖像處理方法)的功能。因此，使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，可以生成除該預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像。

<第五實(shí)施例>

[便攜式電話的配置示例]

圖28示出了應(yīng)用本技術(shù)的便攜式電話的示意配置示例。便攜式電話920包括通信單元922、音頻編解碼器923、攝像裝置單元926、圖像處理單元927、解復(fù)用器928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931。它們經(jīng)由總線933彼此連接。

通信單元922連接到天線921，并且音頻編解碼器923連接到揚(yáng)聲器924和麥克風(fēng)925。此外，控制單元931連接到操作單元932。

便攜式電話920以各種模式(諸如音頻電話呼叫模式和數(shù)據(jù)通信模式)執(zhí)行各種操作，諸如音頻信號的傳送和接收、電子郵件和圖像數(shù)據(jù)的傳送和接收、圖像捕獲或者數(shù)據(jù)的記錄。

在音頻電話呼叫模式中，麥克風(fēng)925生成的模擬音頻信號例如由音頻編解碼器923轉(zhuǎn)換為音頻數(shù)據(jù)并被壓縮，并且被提供到通信單元922。通信單元922對音頻數(shù)據(jù)執(zhí)行例如調(diào)制處理和頻率轉(zhuǎn)換處理，并且生成傳送信號。通信單元922將傳送信號提供到天線921，并且將傳送信號傳送到未示出的基站。通信單元922對天線921接收的接收信號執(zhí)行例如放大、頻率轉(zhuǎn)換處理和解調(diào)處理，并且將所獲得的音頻數(shù)據(jù)提供到音頻編解碼器923。音頻編解碼器923執(zhí)行例如音頻數(shù)據(jù)的數(shù)據(jù)擴(kuò)展和到模擬音頻信號的轉(zhuǎn)換，并且將數(shù)據(jù)輸出到揚(yáng)聲器924。

當(dāng)以數(shù)據(jù)通信模式傳送郵件時(shí)，控制單元931接收通過利用操作單元932的操作而輸入的字符數(shù)據(jù)，并且在顯示單元930上顯示所輸入的字符?？刂茊卧?31還基于例如利用操作單元932的用戶指令而生成郵件數(shù)據(jù)，并且將該郵件數(shù)據(jù)提供到通信單元922。通信單元922對郵件數(shù)據(jù)執(zhí)行例如調(diào)制處理和頻率轉(zhuǎn)換處理，并且經(jīng)由天線921傳送所獲得的傳送信號。通信單元922對天線921接收的接收信號執(zhí)行例如放大、頻率轉(zhuǎn)換處理和解調(diào)處理，并且恢復(fù)郵件數(shù)據(jù)。郵件數(shù)據(jù)被提供到顯示單元930，并且顯示郵件的內(nèi)容。

便攜式電話920還可以使用記錄/再現(xiàn)單元929將所接收的郵件數(shù)據(jù)存儲(chǔ)到存儲(chǔ)介質(zhì)。存儲(chǔ)介質(zhì)可以是任意給定的可重寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是諸如ram和內(nèi)部閃存的半導(dǎo)體存儲(chǔ)器、硬盤或可拆卸介質(zhì)(諸如磁盤、磁光盤、光盤、usb存儲(chǔ)器或存儲(chǔ)卡)。

當(dāng)以數(shù)據(jù)通信模式傳送圖像數(shù)據(jù)時(shí)，攝像裝置單元926生成的圖像數(shù)據(jù)被提供到圖像處理單元927。圖像處理單元927執(zhí)行圖像數(shù)據(jù)的編碼處理并且生成編碼數(shù)據(jù)。

解復(fù)用器928根據(jù)預(yù)定方法對圖像處理單元927生成的編碼數(shù)據(jù)和從音頻編解碼器923提供的音頻數(shù)據(jù)進(jìn)行復(fù)用，并且將數(shù)據(jù)提供到通信單元922。通信單元922對復(fù)用后的數(shù)據(jù)執(zhí)行例如調(diào)制處理和頻率轉(zhuǎn)換處理，并且經(jīng)由天線921傳送所獲得的傳送信號。通信單元922對天線921接收的接收信號執(zhí)行例如放大、頻率轉(zhuǎn)換處理和解調(diào)處理，并且恢復(fù)復(fù)用后的數(shù)據(jù)。復(fù)用后的數(shù)據(jù)被提供到解復(fù)用器928。解復(fù)用器928分離復(fù)用后的數(shù)據(jù)，并且將編碼數(shù)據(jù)提供到圖像處理單元927且將音頻數(shù)據(jù)提供到音頻編解碼器923。圖像處理單元927執(zhí)行編碼數(shù)據(jù)的解碼處理并且生成圖像數(shù)據(jù)。圖像數(shù)據(jù)被提供到顯示單元930，并且顯示所接收的圖像。音頻編解碼器923將音頻數(shù)據(jù)轉(zhuǎn)換成模擬音頻信號，并且將模擬音頻信號提供到揚(yáng)聲器924以輸出所接收的音頻。

在如上所述配置的便攜式電話中，圖像處理單元927設(shè)置有本申請的圖像處理設(shè)備(圖像處理方法)的功能。因此，使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，可以傳送生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像所需的信息。使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，可以生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像。

<第六實(shí)施例>

[記錄/再現(xiàn)裝置的配置示例]

圖29示出了應(yīng)用本技術(shù)的記錄/再現(xiàn)裝置的示意配置示例。例如，記錄/再現(xiàn)裝置940將所接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)記錄到記錄介質(zhì)，并且關(guān)于根據(jù)用戶指令的定時(shí)將所記錄的數(shù)據(jù)提供給用戶。例如，記錄/再現(xiàn)裝置940可以從其它裝置獲得音頻數(shù)據(jù)和視頻數(shù)據(jù)，并且可以將其記錄到記錄介質(zhì)。此外，記錄/再現(xiàn)裝置940對記錄在記錄介質(zhì)中的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼并輸出，從而允許利用監(jiān)視器裝置等的圖像顯示和音頻輸出。

記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口單元942、編碼器943、hdd(硬盤驅(qū)動(dòng)器)單元944、磁盤驅(qū)動(dòng)器945、選擇器946、解碼器947、osd(在屏顯示)單元948、控制單元949和用戶接口單元950。

調(diào)諧器941從由未示出的天線接收的廣播信號調(diào)諧到期望信道。調(diào)諧器941將通過對期望信道的接收信號進(jìn)行放大而獲得的編碼位流輸出到選擇器946。

外部接口單元942可由例如ieee1394接口、網(wǎng)絡(luò)接口單元、usb接口、閃存接口等中的任一個(gè)構(gòu)成。外部接口單元942是用于連接到外部裝置、網(wǎng)絡(luò)、存儲(chǔ)卡等的接口，并且接收如此記錄的數(shù)據(jù)(諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)等)。

當(dāng)從外部接口單元942提供的視頻數(shù)據(jù)和音頻數(shù)據(jù)沒有被編碼時(shí)，編碼器943根據(jù)預(yù)定方法執(zhí)行編碼，并且將編碼位流輸出到選擇器946。

hdd單元944將諸如視頻和音頻的內(nèi)容數(shù)據(jù)、各種程序的其它數(shù)據(jù)等記錄到內(nèi)部硬盤，并且在回放等期間從硬盤讀取它們。

磁盤驅(qū)動(dòng)器945將信號記錄到所加載的光盤并且再現(xiàn)來自所加載的光盤的信號。例如，光盤是dvd盤(dvd-視頻、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)、藍(lán)光盤等。

在視頻和音頻的記錄期間，選擇器946從調(diào)諧器941和編碼器943中的任一個(gè)選擇編碼位流，并且將其提供到hdd單元944和磁盤驅(qū)動(dòng)器945中的任一個(gè)。在視頻和音頻的再現(xiàn)期間，選擇器946將從hdd單元944或磁盤驅(qū)動(dòng)器945輸出的編碼位流提供給解碼器947。

解碼器947執(zhí)行編碼位流的解碼處理。解碼器947執(zhí)行解碼處理，從而將所生成的視頻數(shù)據(jù)提供到osd單元948。解碼器947執(zhí)行解碼處理，從而輸出所生成的音頻數(shù)據(jù)。

osd單元948生成用于顯示菜單畫面等(諸如項(xiàng)目選擇)的視頻數(shù)據(jù)，并且將其疊加在從解碼器947輸出的視頻數(shù)據(jù)上并輸出。

控制單元949連接到用戶接口單元950。用戶接口單元950由例如操作開關(guān)和遠(yuǎn)程控制信號接收單元構(gòu)成，并且將根據(jù)用戶操作的操作信號提供到控制單元949。

控制單元949由cpu、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)例如由cpu執(zhí)行的程序、當(dāng)利用cpu執(zhí)行處理時(shí)所需的各種數(shù)據(jù)。cpu關(guān)于預(yù)定定時(shí)(諸如啟動(dòng)記錄/再現(xiàn)裝置940期間)讀取并執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序。cpu執(zhí)行程序，從而控制各個(gè)單元以使得記錄/再現(xiàn)裝置940根據(jù)用戶操作進(jìn)行操作。

在如上所述配置的記錄/再現(xiàn)裝置中，解碼器947設(shè)置有本申請的圖像處理設(shè)備(圖像處理方法)的功能。因此，使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，可以生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像。

<第七實(shí)施例>

[圖像捕獲裝置的配置示例]

圖30示出了應(yīng)用本技術(shù)的圖像捕獲裝置的示意配置示例。圖像捕獲裝置960捕獲主體的圖像，在顯示單元上顯示主體的圖像，并且將圖像數(shù)據(jù)記錄到記錄介質(zhì)。

圖像捕獲裝置960包括光學(xué)組件961、圖像捕獲單元962、攝像裝置信號處理單元963、圖像數(shù)據(jù)處理單元964、顯示單元965、外部接口單元966、存儲(chǔ)器單元967、介質(zhì)驅(qū)動(dòng)器968、osd單元969和控制單元970?？刂茊卧?70連接到用戶接口單元971。此外，圖像數(shù)據(jù)處理單元964、外部接口單元966、存儲(chǔ)器單元967、介質(zhì)驅(qū)動(dòng)器968、osd單元969、控制單元970等經(jīng)由總線972連接。

光學(xué)組件961包括例如聚焦透鏡和光圈機(jī)構(gòu)。光學(xué)組件961使得主體的光學(xué)圖像形成在圖像捕獲單元962的圖像捕獲表面上。圖像捕獲單元962包括ccd或cmos圖像傳感器，并且通過光電轉(zhuǎn)換根據(jù)光學(xué)圖像生成電信號，并且將電信號提供到攝像裝置信號處理單元963。

攝像裝置信號處理單元963對圖像捕獲單元962提供的電信號執(zhí)行各種攝像裝置信號處理，諸如膝點(diǎn)校正、伽馬校正和顏色校正。攝像裝置信號處理單元963將經(jīng)受了攝像裝置信號處理的圖像數(shù)據(jù)提供給圖像數(shù)據(jù)處理單元964。

圖像數(shù)據(jù)處理單元964對從攝像裝置信號處理單元963提供的圖像數(shù)據(jù)執(zhí)行編碼處理。圖像數(shù)據(jù)處理單元964將通過執(zhí)行編碼處理而生成的編碼數(shù)據(jù)提供給外部接口單元966和介質(zhì)驅(qū)動(dòng)器968。圖像數(shù)據(jù)處理單元964對由外部接口單元966和介質(zhì)驅(qū)動(dòng)器968提供的編碼數(shù)據(jù)執(zhí)行解碼處理。圖像數(shù)據(jù)處理單元964將通過執(zhí)行解碼處理而生成的圖像數(shù)據(jù)提供給顯示單元965。圖像數(shù)據(jù)處理單元964執(zhí)行用于將從攝像裝置信號處理單元963提供的圖像數(shù)據(jù)提供給顯示單元965的處理，并且將從osd單元969獲得的顯示數(shù)據(jù)疊加在該圖像數(shù)據(jù)上，并將該數(shù)據(jù)提供到顯示單元965。

osd單元969生成顯示數(shù)據(jù)(諸如菜單畫面和包括符號、字符或圖形的圖標(biāo))，并且將顯示數(shù)據(jù)輸出到圖像數(shù)據(jù)處理單元964。

外部接口單元966由例如usb輸入/輸出端子構(gòu)成，并且當(dāng)打印圖像時(shí)，其連接到打印機(jī)。外部接口單元966還在需要時(shí)連接到驅(qū)動(dòng)器，并且在需要時(shí)加載可拆卸介質(zhì)(諸如磁盤、光盤等)，并且在必要時(shí)安裝從其讀取的計(jì)算機(jī)程序。此外，外部接口單元966包括連接到預(yù)定網(wǎng)絡(luò)(諸如lan或因特網(wǎng))的網(wǎng)絡(luò)接口。例如，控制單元970根據(jù)來自用戶接口單元971的命令而從存儲(chǔ)器單元967讀取編碼數(shù)據(jù)，并且可以從外部接口單元966將數(shù)據(jù)提供到經(jīng)由網(wǎng)絡(luò)連接的其它裝置?？刂茊卧?70經(jīng)由外部接口單元966獲得經(jīng)由網(wǎng)絡(luò)從其它裝置提供的編碼數(shù)據(jù)和圖像數(shù)據(jù)，并且可以將數(shù)據(jù)提供到例如圖像數(shù)據(jù)處理單元964。

由介質(zhì)驅(qū)動(dòng)器968驅(qū)動(dòng)的記錄介質(zhì)可以是可以被讀取和寫入的任意給定可拆卸介質(zhì)，諸如磁盤、光磁盤、光盤或半導(dǎo)體存儲(chǔ)器。記錄介質(zhì)可以是作為可拆卸介質(zhì)的任意類型，并且可以是磁帶裝置、或磁盤、或存儲(chǔ)卡。應(yīng)理解，可以是非接觸ic卡等。

介質(zhì)驅(qū)動(dòng)器968和記錄介質(zhì)可被集成，例如，如內(nèi)部硬盤驅(qū)動(dòng)器和ssd(固態(tài)驅(qū)動(dòng)器)一樣，介質(zhì)驅(qū)動(dòng)器968和記錄介質(zhì)可由不可移動(dòng)存儲(chǔ)介質(zhì)來配置。

控制單元970由cpu、存儲(chǔ)器等構(gòu)成。存儲(chǔ)器存儲(chǔ)例如cpu執(zhí)行的程序、當(dāng)利用cpu執(zhí)行處理時(shí)所需的各種數(shù)據(jù)。cpu關(guān)于預(yù)定定時(shí)(諸如啟動(dòng)圖像捕獲裝置960期間)讀取并執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序。cpu執(zhí)行該程序，從而控制各個(gè)單元以使得圖像捕獲裝置960根據(jù)用戶操作進(jìn)行操作。

在如上所述配置的圖像捕獲裝置中，圖像數(shù)據(jù)處理單元964設(shè)置有本申請的圖像處理設(shè)備(圖像處理方法)的功能。因此，使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，可以傳送生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像所需的信息。使用預(yù)定視點(diǎn)的彩色圖像和視差相關(guān)圖像，可以生成除預(yù)定視點(diǎn)之外的視點(diǎn)的彩色圖像。

更具體地，本技術(shù)的實(shí)施例不限于以上說明的實(shí)施例，并且可以以各種方式進(jìn)行改變，只要在本技術(shù)的主旨內(nèi)即可。

應(yīng)注意，本技術(shù)可如下配置。

(1)一種圖像處理設(shè)備，包括：編碼單元，用于通過對視點(diǎn)的彩色圖像和所述視點(diǎn)的深度圖像進(jìn)行編碼而生成位流；生成單元，用于根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的顯示視點(diǎn)的彩色圖像的生成方法，生成用于生成所述顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息；以及傳送單元，用于傳送所述編碼單元生成的位流和所述生成單元生成的視點(diǎn)生成信息。

(2)根據(jù)(1)所述的圖像處理設(shè)備，其中，所述傳送單元傳送所述視點(diǎn)生成信息作為用于編碼或解碼的編碼參數(shù)。

(3)根據(jù)(1)或(2)所述的圖像處理設(shè)備，其中，所述傳送單元傳送所述深度圖像的視點(diǎn)生成信息與按編碼順序位于所述深度圖像之前的深度圖像的視點(diǎn)生成信息之間的差。

(4)根據(jù)(3)所述的圖像處理設(shè)備，其中，當(dāng)所述位流的切片是幀內(nèi)切片時(shí)，所述傳送單元傳送所述切片的視點(diǎn)生成信息，并且當(dāng)所述切片是幀間切片時(shí)，所述傳送單元傳送所述切片的所述差。

(5)根據(jù)(3)或(4)所述的圖像處理設(shè)備，還包括：設(shè)置單元，用于設(shè)置用于標(biāo)識所述差的存在/不存在的差標(biāo)識信息，其中，所述傳送單元傳送所述設(shè)置單元設(shè)置的差標(biāo)識信息。

(6)根據(jù)(5)所述的圖像處理設(shè)備，其中，所述傳送單元以使得所述差標(biāo)識信息包括在所述位流的圖片參數(shù)集pps中的方式來傳送所述設(shè)置單元設(shè)置的差標(biāo)識信息。

(7)根據(jù)(1)至(6)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述生成單元生成用于標(biāo)識所述彩色圖像的信息或用于標(biāo)識所述深度圖像的信息作為所述視點(diǎn)生成信息。

(8)根據(jù)(1)至(7)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述深度圖像是包括深度值的深度方向圖像，或者是包括視差值的視差圖像，所述深度值表示在所述彩色圖像的每個(gè)像素處主體在深度方向上的位置，所述視差值表示所述彩色圖像的每個(gè)像素與在對應(yīng)于該像素的基點(diǎn)處的彩色圖像的像素之間的距離，以及所述生成單元生成指示所述深度圖像是所述深度方向圖像還是所述視差圖像的深度圖像標(biāo)識信息作為所述視點(diǎn)生成信息。

(9)根據(jù)(8)所述的圖像處理設(shè)備，其中，當(dāng)所述深度圖像是所述深度方向圖像時(shí)，所述生成單元生成指示能夠出現(xiàn)在所述深度圖像中的深度方向上的位置處的世界坐標(biāo)值的最小值和最大值的信息作為所述視點(diǎn)生成信息，以及當(dāng)所述深度圖像是所述視差圖像時(shí)，所述生成單元生成指示在能夠出現(xiàn)在所述視差圖像中的世界坐標(biāo)的視差的最小值和最大值的信息以及用于標(biāo)識所述基點(diǎn)的彩色圖像的信息作為所述視點(diǎn)生成信息。

(10)根據(jù)(1)至(8)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述生成單元生成表示能夠作為所述深度圖像的像素值出現(xiàn)的最小值的深度最小值、表示能夠作為所述深度圖像的像素值出現(xiàn)的最大值的深度最大值和作為對應(yīng)于所述深度圖像的多個(gè)彩色圖像的圖像捕獲位置之間的距離的圖像捕獲位置距離作為所述視點(diǎn)生成信息，以及所述傳送單元傳送所述視點(diǎn)生成信息作為所述位流的切片報(bào)頭。

(11)一種用于圖像處理設(shè)備的圖像處理方法，包括：編碼步驟，用于通過對視點(diǎn)的彩色圖像和所述視點(diǎn)的深度圖像進(jìn)行編碼而生成位流；生成步驟，用于根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的顯示視點(diǎn)的彩色圖像的生成方法，生成用于生成所述顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息；以及傳送步驟，用于傳送在所述編碼步驟的處理中生成的位流和在所述生成步驟的處理中生成的視點(diǎn)生成信息。

(12)一種圖像處理設(shè)備，包括：接收單元，用于接收作為對視點(diǎn)的彩色圖像和所述視點(diǎn)的深度圖像的編碼結(jié)果而獲得的位流以及用于生成顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息，所述視點(diǎn)生成信息是根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的所述顯示視點(diǎn)的彩色圖像的生成方法所生成的；解碼單元，用于通過對所述接收單元接收的位流進(jìn)行解碼而生成所述彩色圖像和所述深度圖像；以及生成單元，用于通過使用所述解碼單元生成的彩色圖像和深度圖像以及所述接收單元接收的所述視點(diǎn)生成信息執(zhí)行翹曲處理而生成所述顯示視點(diǎn)的彩色圖像。

(13)根據(jù)(12)所述的圖像處理設(shè)備，其中，所述接收單元接收所述視點(diǎn)生成信息作為用于編碼或解碼的編碼參數(shù)。

(14)根據(jù)(12)或(13)所述的圖像處理設(shè)備，其中，所述接收單元接收所述深度圖像的視點(diǎn)生成信息與按編碼順序位于所述深度圖像之前的深度圖像的視點(diǎn)生成信息之間的差；所述生成單元使用所述接收單元接收的、所述差和按編碼順序位于對應(yīng)于所述差的深度圖像之前的深度圖像的視點(diǎn)生成信息而恢復(fù)對應(yīng)于所述差的所述深度圖像的視點(diǎn)生成信息，并且使用所恢復(fù)的視點(diǎn)生成信息、所述彩色圖像和所述深度圖像而執(zhí)行翹曲處理，從而生成所述顯示視點(diǎn)的彩色圖像。

(15)根據(jù)(14)所述的圖像處理設(shè)備，其中，當(dāng)所述位流的切片是幀內(nèi)切片時(shí)，所述接收單元接收所述切片的視點(diǎn)生成信息，并且當(dāng)所述切片是幀間切片時(shí)，所述接收單元接收所述切片的所述差。

(16)根據(jù)(14)或(15)所述的圖像處理設(shè)備，其中，所述接收單元接收用于標(biāo)識所述差的存在/不存在的差標(biāo)識信息，以及所述生成單元基于所述接收單元接收的差標(biāo)識信息而恢復(fù)所述視點(diǎn)生成信息。

(17)根據(jù)(16)所述的圖像處理設(shè)備，其中，所述接收單元接收包括在所述位流的圖片參數(shù)集pps中的差標(biāo)識信息。

(18)根據(jù)(12)至(17)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述接收單元接收用于標(biāo)識所述彩色圖像的信息或用于標(biāo)識所述深度圖像的信息作為所述視點(diǎn)生成信息，以及所述生成單元基于所述視點(diǎn)生成信息而標(biāo)識所述接收單元接收的彩色圖像和深度圖像，對所述深度圖像執(zhí)行翹曲處理，并且通過使用已經(jīng)受所述翹曲處理的所述顯示視點(diǎn)的深度圖像對所述彩色圖像執(zhí)行翹曲處理而生成所述顯示視點(diǎn)的彩色圖像。

(19)根據(jù)(12)至(18)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述深度圖像是包括深度值的深度方向圖像，或者是包括視差值的視差圖像，所述深度值表示在所述彩色圖像的每個(gè)像素處主體在深度方向上的位置，所述視差值表示所述彩色圖像的每個(gè)像素與對應(yīng)于該像素的基點(diǎn)處的彩色圖像的像素之間的距離，以及所述接收單元接收指示所述深度圖像是深度方向圖像還是視差圖像的信息作為所述視點(diǎn)生成信息。

(20)根據(jù)(19)所述的圖像處理設(shè)備，其中，當(dāng)所述深度圖像是所述深度方向圖像時(shí)，所述接收單元接收指示能夠出現(xiàn)在所述深度圖像中的所述深度方向上的位置的世界坐標(biāo)值的最小值和最大值的信息作為所述視點(diǎn)生成信息，并且當(dāng)所述深度圖像是所述視差圖像時(shí)，所述接收單元接收能夠出現(xiàn)在所述視差圖像中的世界坐標(biāo)的視差的最小值和最大值的信息以及用于標(biāo)識所述基點(diǎn)的彩色圖像的信息。

(21)根據(jù)(12)至(19)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述接收單元接收包括深度最小值、深度最大值和圖像捕獲位置距離的視點(diǎn)生成信息作為所述位流的切片報(bào)頭，所述深度最小值表示能夠作為所述深度圖像的像素值出現(xiàn)的最小值，所述深度最大值表示能夠作為所述深度圖像的像素值出現(xiàn)的最大值，所述圖像捕獲位置距離是對應(yīng)于所述深度圖像的多個(gè)彩色圖像的圖像捕獲位置之間的距離。

(22)一種用于圖像處理設(shè)備的圖像處理方法，包括：接收步驟，用于接收作為對視點(diǎn)的彩色圖像和所述視點(diǎn)的深度圖像的編碼結(jié)果而獲得的位流以及用于生成顯示視點(diǎn)的彩色圖像的視點(diǎn)生成信息，所述視點(diǎn)生成信息是根據(jù)通過使用所述彩色圖像和所述深度圖像執(zhí)行翹曲處理而獲得的所述顯示視點(diǎn)的彩色圖像的生成方法所生成的；解碼步驟，用于通過對在所述接收步驟的處理中接收的位流進(jìn)行解碼而生成所述彩色圖像和所述深度圖像；以及生成步驟，用于通過使用在所述解碼步驟的處理中生成的彩色圖像和深度圖像以及在所述接收步驟的處理中接收的視點(diǎn)生成信息執(zhí)行翹曲處理而生成所述顯示視點(diǎn)的彩色圖像。

附圖標(biāo)記列表

10編碼裝置，14視點(diǎn)生成信息生成單元，15多視點(diǎn)圖像編碼單元，30解碼裝置，31多視點(diǎn)圖像解碼單元，32視點(diǎn)合成單元。