本發(fā)明涉及視頻編碼方法、視頻解碼方法、視頻編碼裝置、視頻解碼裝置、視頻編碼程序以及視頻解碼程序。本申請基于在2013年12月27日向日本申請的特愿2013-273523號要求優(yōu)先權(quán)，并將其內(nèi)容引用于此。
背景技術(shù)：
：：自由視點視頻是指用戶能夠自由地指定在拍攝空間內(nèi)的攝像機的位置或方向（以下，稱為“視點”。）的視頻。在自由視點視頻中，用戶任意指定視點，因此，不能夠保持來自具有指定的可能性的全部視點的視頻。因此，自由視點視頻由為了生成來自能夠指定的若干個視點的視頻而需要的信息組構(gòu)成。再有，自由視點視頻有時被稱為自由視點電視、任意視點視頻或任意視點電視等。關(guān)于自由視點視頻，使用各種數(shù)據(jù)形式表現(xiàn)，但是，作為最通常的形式，存在使用視頻和與該視頻的幀對應(yīng)的深度圖（距離圖像）的方式（例如，參照非專利文獻1）。深度圖是指按照每個像素表現(xiàn)從攝像機到被攝物的深度（距離）的圖。深度圖表現(xiàn)被攝物的三維的位置。深度在滿足某個條件的情況下與二個攝像機（攝像機對）之間的視差的倒數(shù)成比例。因此，深度有時也被稱為視差圖（視差圖像）。在計算機制圖（computergraphics）的領(lǐng)域中，深度為在Z緩沖器中蓄積的信息，因此，有時也被稱為Z圖像或Z圖。再有，除了從攝像機到被攝物的距離之外，有時也將在表現(xiàn)對象空間上伸展的三維坐標系的Z軸的坐標值（Z值）用作深度。在針對所拍攝的圖像而X軸被確定為水平方向、Y軸被確定為垂直方向的情況下，Z軸與攝像機的方向一致。但是，在針對多個攝像機而使用共同的坐標系的情況下，Z軸有時與攝像機的方向不一致。在以下，在不進行區(qū)別的情況下將距離和Z軸稱為“深度”。此外，將使深度表示為像素值的圖像稱為“深度圖”。但是，嚴格地，在視差圖中，需要設(shè)定成為基準的攝像機對。在將深度表示為像素值時，存在將與物理量對應(yīng)的值直接作為像素值的方法、使用在規(guī)定數(shù)量的區(qū)間中最小值和最大值之間被量化時通過深度的量化而得到的值的方法、以及使用以規(guī)定步長（stepsize）量化根據(jù)深度的最小值的差而得到的值的方法。在限制所表現(xiàn)的范圍的情況下，使用最小值等附加信息更能夠高精度地表現(xiàn)深度。此外，在等間隔地量化物理量的方法中，存在直接量化物理量的方法和量化物理量的倒數(shù)的方法。距離的倒數(shù)為與視差成比例的值，因此，在需要高精度地表現(xiàn)距離的情況下，使用前者的情況較多，在需要高精度地表現(xiàn)視差的情況下，使用后者的情況較多。在以下，與深度的像素值化的方法或量化的方法無關(guān)，將表現(xiàn)了深度的圖像稱為“深度圖”。深度圖表現(xiàn)為按照每個像素具有一個值的圖像，因此，能夠看作灰度（grayscale）圖像。被攝物在實空間上連續(xù)地存在，不能夠向遠離的位置瞬間地移動。因此，深度圖可以說與視頻信號同樣地具有空間的相關(guān)性和時間的相關(guān)性。但是，能夠通過為了對圖像信號進行編碼而使用的圖像編碼方式或者為了對視頻信號進行編碼而使用的視頻編碼方式一邊除去空間的冗余性和時間的冗余性一邊高效地對深度圖或由連續(xù)的深度圖構(gòu)成的視頻進行編碼。在以下，在不進行區(qū)別的情況下將深度圖和由連續(xù)的深度圖構(gòu)成的視頻稱為“深度圖”。對通常的視頻編碼進行說明。在視頻編碼中，為了利用被攝物在空間上和時間上連續(xù)這樣的特征來實現(xiàn)高效的編碼，將視頻的各幀分割為被稱為宏塊的處理單位塊。在視頻編碼中，按照每個宏塊在空間上和時間上預測該視頻信號，對示出其預測方法的預測信息和預測殘差進行編碼。在空間上預測視頻信號的情況下，例如，示出空間的預測的方向的信息為預測信息。在時間上預測視頻信號的情況下，例如，示出參照的幀的信息和示出該幀中的位置的信息為預測信息。在空間上進行的預測為幀內(nèi)的預測，因此，被稱為幀內(nèi)預測（intra-frameprediction）、畫面內(nèi)預測（intra-pictureprediction）或者內(nèi)部預測（intraprediction）。在時間上進行的預測為幀間的預測，因此，被稱為幀間預測（inter-frameprediction）、畫面間預測（inter-pictureprediction）或者時間性預測（interprediction）。此外，在時間上進行的預測對視頻的時間的變化即運動進行補償來進行視頻信號的預測，因此，也被稱為運動補償預測。在對由從多個位置或方向拍攝了相同的場景的視頻構(gòu)成的多視點視頻進行編碼時，對視頻的視點間的變化即視差進行補償來進行視頻信號的預測，因此，使用視差補償預測。在由基于多個視點的視頻和深度圖構(gòu)成的自由視點視頻的編碼中，哪一個都具有空間相關(guān)性和時間相關(guān)性，因此，使用通常的視頻編碼方式來對每一個進行編碼，由此，能夠削減碼量。例如，在使用MPEG-CPart.3來表現(xiàn)多視點視頻和與其對應(yīng)的深度圖的情況下，使用現(xiàn)有的視頻編碼方式來對每一個進行編碼。此外，在將基于多個視點的視頻和深度圖一起編碼的情況下，存在以下方法：通過使用根據(jù)深度圖而得到的視差信息，從而利用在視點間存在的相關(guān)性來實現(xiàn)高效的編碼。例如，在非專利文獻2中記載了如下方法：針對處理對象的區(qū)域，根據(jù)深度圖求取視差矢量，使用該視差矢量，決定已經(jīng)編碼完畢的另外的視點的視頻上的對應(yīng)區(qū)域，將該對應(yīng)區(qū)域中的視頻信號用作處理對象的區(qū)域中的視頻信號的預測值，由此，實現(xiàn)高效的編碼?，F(xiàn)有技術(shù)文獻非專利文獻非專利文獻1：Y.Mori,N.Fukusima,T.Fujii,andM.Tanimoto,“ViewGenerationwith3DWarpingUsingDepthInformationforFTV”,InProceedingsof3DTV-CON2008,pp.229-232,2008年5月；非專利文獻2：G.Tech,K.Wegner,Y.Chen,andS.Yea,“3D-HEVCDraftText1”,JCT-3VDoc.,JCT3V-E1001(version3),2013年9月。技術(shù)實現(xiàn)要素：發(fā)明要解決的課題根據(jù)非專利文獻2所記載的方法，通過變換深度圖的值，從而取得高精度的視差矢量。由此，非專利文獻2所記載的方法能夠?qū)崿F(xiàn)高效率的預測編碼。但是，在非專利文獻2所記載的方法中，假定在將深度向視差矢量變換時，視差與深度的倒數(shù)成比例。更具體地，通過深度的倒數(shù)、攝像機的焦點距離與視點間的距離的積來求取視差。這樣的變換在二個視點具有相同的焦點距離且視點的方向（攝像機的光軸）在三維上平行的情況下提供正確的結(jié)果，但是，在其以外的狀況下提供錯誤的結(jié)果。為了進行正確的變換，如非專利文獻1所記載的那樣，需要在通過將圖像上的點按照深度向三維空間反投影而得到三維點之后通過將該三維點向另外的視點再次投影來計算來自另外的視點的圖像上的點。但是，在這樣的變換中需要復雜的運算，存在運算量增加這樣的問題。也就是說，存在視頻編碼的效率低這樣的問題。鑒于上述情況，本發(fā)明的目的在于提供在將針對多個視點的視頻和深度圖具有為結(jié)構(gòu)要素的自由視點視頻數(shù)據(jù)的編碼中即使在視點的方向不平行的情況下也能夠通過提高根據(jù)深度圖計算的視差矢量的精度來提高視頻編碼的效率的視頻編碼方法、視頻解碼方法、視頻編碼裝置、視頻解碼裝置、視頻編碼程序以及視頻解碼程序。用于解決課題的方案本發(fā)明的一個方式是，一種視頻編碼裝置，在對由多個不同的視點的視頻構(gòu)成的多視點視頻的1幀即編碼對象圖像進行編碼時，使用針對與所述編碼對象圖像的視點不同的參照視點的圖像即參照視點圖像和針對所述多視點視頻中的被攝物的深度圖，按照作為對所述編碼對象圖像進行分割后的區(qū)域的編碼對象區(qū)域的每一個，一邊在不同的視點間進行預測一邊進行編碼，其中，所述視頻編碼裝置具有：代表深度設(shè)定部，根據(jù)所述深度圖來設(shè)定代表深度；變換矩陣設(shè)定部，基于所述代表深度來設(shè)定將所述編碼對象圖像上的位置向所述參照視點圖像上的位置變換的變換矩陣；代表位置設(shè)定部，根據(jù)所述編碼對象區(qū)域內(nèi)的位置來設(shè)定代表位置；視差信息設(shè)定部，使用所述代表位置和所述變換矩陣來設(shè)定針對所述編碼對象區(qū)域的所述編碼對象的所述視點與所述參照視點的視差信息；以及預測圖像生成部，使用所述視差信息來生成針對所述編碼對象區(qū)域的預測圖像。優(yōu)選的是，本發(fā)明的一個方式還具有深度區(qū)域設(shè)定部，所述深度區(qū)域設(shè)定部針對所述編碼對象區(qū)域設(shè)定作為在所述深度圖上的對應(yīng)區(qū)域的深度區(qū)域，所述代表深度設(shè)定部根據(jù)針對所述深度區(qū)域的所述深度圖來設(shè)定所述代表深度。優(yōu)選的是，本發(fā)明的一個方式還具有深度參照視差矢量設(shè)定部，所述深度參照視差矢量設(shè)定部針對所述編碼對象區(qū)域設(shè)定作為針對所述深度圖的視差矢量的深度參照視差矢量，所述深度區(qū)域設(shè)定部將由所述深度參照視差矢量示出的區(qū)域設(shè)定為所述深度區(qū)域。優(yōu)選的是，在本發(fā)明的一個方式中，所述深度參照視差矢量設(shè)定部使用在對與所述編碼對象區(qū)域鄰接的區(qū)域進行編碼時使用的視差矢量來設(shè)定所述深度參照視差矢量。優(yōu)選的是，在本發(fā)明的一個方式中，所述代表深度設(shè)定部將在與所述編碼對象區(qū)域的4頂點的像素對應(yīng)的所述深度區(qū)域內(nèi)的深度之中示出最靠近所述編碼對象圖像的所述視點的深度設(shè)定為所述代表深度。本發(fā)明的一個方式是，一種視頻解碼裝置，在根據(jù)由多個不同的視點的視頻構(gòu)成的多視點視頻的碼數(shù)據(jù)對解碼對象圖像進行解碼時，使用針對與所述解碼對象圖像的視點不同的參照視點的圖像即參照視點圖像和針對所述多視點視頻中的被攝物的深度圖，按照作為對所述解碼對象圖像進行分割后的區(qū)域的解碼對象區(qū)域的每一個，一邊在不同的視點間進行預測一邊進行解碼，其中，所述視頻解碼裝置具有：代表深度設(shè)定部，根據(jù)所述深度圖來設(shè)定代表深度；變換矩陣設(shè)定部，基于所述代表深度來設(shè)定將所述解碼對象圖像上的位置向所述參照視點圖像上的位置變換的變換矩陣；代表位置設(shè)定部，根據(jù)所述解碼對象區(qū)域內(nèi)的位置來設(shè)定代表位置；視差信息設(shè)定部，使用所述代表位置和所述變換矩陣來設(shè)定針對所述解碼對象區(qū)域的所述解碼對象的所述視點與所述參照視點的視差信息；以及預測圖像生成部，使用所述視差信息來生成針對所述解碼對象區(qū)域的預測圖像。優(yōu)選的是，本發(fā)明的一個方式還具有深度區(qū)域設(shè)定部，所述深度區(qū)域設(shè)定部針對所述解碼對象區(qū)域設(shè)定作為在所述深度圖上的對應(yīng)區(qū)域的深度區(qū)域，所述代表深度設(shè)定部根據(jù)針對所述深度區(qū)域的所述深度圖來設(shè)定所述代表深度。優(yōu)選的是，本發(fā)明的一個方式還具有深度參照視差矢量設(shè)定部，所述深度參照視差矢量設(shè)定部針對所述解碼對象區(qū)域設(shè)定作為針對所述深度圖的視差矢量的深度參照視差矢量，所述深度區(qū)域設(shè)定部將由所述深度參照視差矢量示出的區(qū)域設(shè)定為所述深度區(qū)域。優(yōu)選的是，在本發(fā)明的一個方式中，所述深度參照視差矢量設(shè)定部使用在對與所述解碼對象區(qū)域鄰接的區(qū)域進行解碼時使用的視差矢量來設(shè)定所述深度參照視差矢量。優(yōu)選的是，在本發(fā)明的一個方式中，所述代表深度設(shè)定部將在與所述解碼對象區(qū)域的4頂點的像素對應(yīng)的所述深度區(qū)域內(nèi)的深度之中示出最靠近所述解碼對象圖像的所述視點的深度設(shè)定為所述代表深度。本發(fā)明的一個方式是，一種視頻編碼方法，在對由多個不同的視點的視頻構(gòu)成的多視點視頻的1幀即編碼對象圖像進行編碼時，使用針對與所述編碼對象圖像的視點不同的參照視點的圖像即參照視點圖像和針對所述多視點視頻中的被攝物的深度圖，按照作為對所述編碼對象圖像進行分割后的區(qū)域的編碼對象區(qū)域的每一個，一邊在不同的視點間進行預測一邊進行編碼，其中，所述視頻編碼方法具有：代表深度設(shè)定步驟，根據(jù)所述深度圖來設(shè)定代表深度；變換矩陣設(shè)定步驟，基于所述代表深度來設(shè)定將所述編碼對象圖像上的位置向所述參照視點圖像上的位置變換的變換矩陣；代表位置設(shè)定步驟，根據(jù)所述編碼對象區(qū)域內(nèi)的位置來設(shè)定代表位置；視差信息設(shè)置步驟，使用所述代表位置和所述變換矩陣來設(shè)定針對所述編碼對象區(qū)域的所述編碼對象的所述視點與所述參照視點的視差信息；以及預測圖像生成步驟，使用所述視差信息來生成針對所述編碼對象區(qū)域的預測圖像。本發(fā)明的一個方式是，一種視頻解碼方法，在根據(jù)由多個不同的視點的視頻構(gòu)成的多視點視頻的碼數(shù)據(jù)對解碼對象圖像進行解碼時，使用針對與所述解碼對象圖像的視點不同的參照視點的圖像即參照視點圖像和針對所述多視點視頻中的被攝物的深度圖，按照作為對所述解碼對象圖像進行分割后的區(qū)域的解碼對象區(qū)域的每一個，一邊在不同的視點間進行預測一邊進行解碼，其中，所述視頻解碼方法具有：代表深度設(shè)定步驟，根據(jù)所述深度圖來設(shè)定代表深度；變換矩陣設(shè)定步驟，基于所述代表深度來設(shè)定將所述解碼對象圖像上的位置向所述參照視點圖像上的位置變換的變換矩陣；代表位置設(shè)定步驟，根據(jù)所述解碼對象區(qū)域內(nèi)的位置來設(shè)定代表位置；視差信息設(shè)置步驟，使用所述代表位置和所述變換矩陣來設(shè)定針對所述解碼對象區(qū)域的所述解碼對象的所述視點與所述參照視點的視差信息；以及預測圖像生成步驟，使用所述視差信息來生成針對所述解碼對象區(qū)域的預測圖像。本發(fā)明的一個方式是，一種視頻編碼程序，其中，用于使計算機執(zhí)行視頻編碼方法。本發(fā)明的一個方式是，一種視頻解碼程序，其中，用于使計算機執(zhí)行視頻解碼方法。發(fā)明效果根據(jù)本發(fā)明，在將針對多個視點的視頻和深度圖具有為結(jié)構(gòu)要素的自由視點視頻數(shù)據(jù)的編碼中，即使在視點的方向不平行的情況下，也能夠提高根據(jù)深度圖計算的視差矢量的精度，提高視頻編碼的效率。附圖說明圖1是示出本發(fā)明的一個實施方式的視頻編碼裝置的結(jié)構(gòu)的框圖。圖2是示出本發(fā)明的一個實施方式的視頻編碼裝置的工作的流程圖。圖3是示出在本發(fā)明的一個實施方式中視差矢量生成部生成視差矢量的處理（步驟S104）的流程圖。圖4是示出在本發(fā)明的一個實施方式中將編碼對象區(qū)域分割為子區(qū)域來生成視差矢量的處理的流程圖。圖5是示出本發(fā)明的一個實施方式的視頻解碼裝置的結(jié)構(gòu)的框圖。圖6是示出本發(fā)明的一個實施方式的視頻解碼裝置的工作的流程圖。圖7是示出由計算機和軟件程序構(gòu)成本發(fā)明的一個實施方式的視頻編碼裝置的情況下的硬件結(jié)構(gòu)的例子的框圖。圖8是示出由計算機和軟件程序構(gòu)成本發(fā)明的一個實施方式的視頻解碼裝置的情況下的硬件結(jié)構(gòu)的例子的框圖。具體實施方式以下，參照附圖來詳細地說明本發(fā)明的一個實施方式的視頻編碼方法、視頻解碼方法、視頻編碼裝置、視頻解碼裝置、視頻編碼程序以及視頻解碼程序。在以下的說明中，設(shè)想對由2個攝像機（攝像機A和攝像機B）拍攝的多視點視頻進行編碼的情況。攝像機A的視點為參照視點。此外，攝像機B所拍攝的視頻以幀為單位被編碼和解碼。再有，假設(shè)另外提供為了根據(jù)深度得到視差而需要的信息。具體地，該信息只要為表示攝像機A和攝像機B的位置關(guān)系的外部參數(shù)或表示利用攝像機的向圖像平面的投影信息的內(nèi)部參數(shù)等即具有與它們相同的意思的信息，則也可以以另外的形式提供需要的信息。與這些攝像機參數(shù)相關(guān)的詳細的說明例如被記載在文獻“OlivierFaugeras,“Three-DimensionalComputerVision”,pp.33-66,MITPress;BCTC/UFF-006.37F2591993,ISBN:0-262-06158-9.”中。在該文獻中，記載了與示出多個攝像機的位置關(guān)系的參數(shù)、表示利用攝像機的向圖像平面的投影信息的參數(shù)相關(guān)的說明。在以下的說明中，假設(shè)對圖像、視頻幀（圖像幀）或深度圖附加能夠特別指定位置的信息（坐標值或能夠與坐標值相對應(yīng)的索引等），由此，附加有能夠特別指定位置的信息的信息示出在該位置的像素中采樣后的視頻信號或基于其的深度。此外，假設(shè)通過由能夠與坐標值相對應(yīng)的索引值與矢量的相加而得到的值來表示使該坐標錯開矢量的量的位置的坐標值。此外，假設(shè)通過由能夠與塊相對應(yīng)的索引值與矢量的相加而得到的值來表示使該塊錯開矢量的量的位置的塊。首先，對編碼進行說明。圖1是示出本發(fā)明的一個實施方式的視頻編碼裝置的結(jié)構(gòu)的框圖。視頻編碼裝置100具備：編碼對象圖像輸入部101、編碼對象圖像存儲器102、參照視點圖像輸入部103、參照視點圖像存儲器104、深度圖輸入部105、視差矢量生成部106（代表深度設(shè)定部、變換矩陣設(shè)定部、代表位置設(shè)定部、視差信息設(shè)定部、深度區(qū)域設(shè)定部、深度參照視差矢量設(shè)定部）、以及圖像編碼部107（預測圖像生成部）。編碼對象圖像輸入部101按照每個幀將成為編碼對象的視頻輸入到編碼對象圖像存儲器102中。以下，將該成為編碼對象的視頻稱為“編碼對象圖像組”。將被輸入并被編碼的幀稱為“編碼對象圖像”。編碼對象圖像輸入部101按照每個幀從攝像機B所拍攝的編碼對象圖像組輸入編碼對象圖像。以下，將拍攝了編碼對象圖像的視點（攝像機B）稱為“編碼對象視點”。編碼對象圖像存儲器102存儲被輸入的編碼對象圖像。參照視點圖像輸入部103將從與編碼對象圖像不同的視點（攝像機A）拍攝的視頻輸入到參照視點圖像存儲器104中。從與編碼對象圖像不同的視點（攝像機A）拍攝的視頻為在對編碼對象圖像進行編碼時參照的圖像。以下，將在對編碼對象圖像進行編碼時參照的圖像的視點稱為“參照視點”。此外，將來自參照視點的圖像稱為“參照視點圖像”。參照視點圖像存儲器104蓄積被輸入的參照視點圖像。深度圖輸入部105將在求取基于視點間的像素的對應(yīng)關(guān)系的視差矢量（示出視差的信息）時參照的深度圖輸入到視差矢量生成部106中。在此，假設(shè)輸入與編碼對象圖像對應(yīng)的深度圖，但是，也可以是另外的視點（參照視點等）中的深度圖。再有，該深度圖是指按照每個像素表示在編碼對象圖像中顯現(xiàn)的被攝物的三維位置。關(guān)于深度圖，例如，能夠使用從攝像機到被攝物的距離、與圖像平面不平行的軸的坐標值或者針對另外的攝像機（例如，攝像機A）的視差量來表現(xiàn)。在此，假設(shè)以圖像的方式給出深度圖，但是，只要得到同樣的信息，則不以圖像的方式給出深度圖也可。視差矢量生成部106根據(jù)深度圖來生成編碼對象圖像所包含的區(qū)域與該編碼對象圖像所相對應(yīng)的參照視點圖像所包含的區(qū)域的視差矢量。圖像編碼部107基于生成的視差矢量和參照視點圖像來對編碼對象圖像進行預測編碼。接著，對視頻編碼裝置100的工作進行說明。圖2是示出本發(fā)明的一個實施方式的視頻編碼裝置100的工作的流程圖。編碼對象圖像輸入部101將編碼對象圖像Org輸入到編碼對象圖像存儲器102中。編碼對象圖像存儲器102存儲編碼對象圖像Org。參照視點圖像輸入部103將參照視點圖像Ref輸入到參照視點圖像存儲器104中。參照視點圖像存儲器104存儲參照視點圖像Ref（步驟S101）。再有，假設(shè)在此輸入的參照視點圖像與對已經(jīng)編碼完畢的參照視點圖像進行解碼后的參照視點圖像等在解碼側(cè)得到的參照視點圖像相同。這是因為，通過使用與在解碼側(cè)得到的參照視點圖像完全相同的信息，從而抑制漂移（drift）等編碼噪聲的產(chǎn)生。但是，在容許那樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入編碼前的參照視點圖像等僅在編碼側(cè)得到的參照視點圖像。在編碼對象圖像和參照視點圖像的輸入結(jié)束的情況下，將編碼對象圖像分割為預先確定的大小的區(qū)域，按照分割后的每個區(qū)域?qū)幋a對象圖像的視頻信號進行編碼。以下，將對編碼對象圖像進行分割后的區(qū)域稱為“編碼對象區(qū)域”。在通常的編碼中，分割為16像素×16像素的被稱為宏塊的處理單位塊，但是，只要與解碼側(cè)相同，則也可以分割為其他的大小的塊。此外，不以相同的尺寸分割編碼對象圖像的整體，按照每個區(qū)域分割為不同的尺寸的塊也可（步驟S102~S107）。在圖2中，將編碼對象區(qū)域索引表示為“blk”。將編碼對象圖像的1幀中的編碼對象區(qū)域的總數(shù)表示為“numBlks”。以0初始化blk（步驟S102）。在按照每個編碼對象區(qū)域重復的處理中，首先，設(shè)定與編碼對象區(qū)域blk對應(yīng)的深度圖（作為深度圖上的對應(yīng)區(qū)域的深度區(qū)域）（步驟S103）。通過深度圖輸入部105輸入該深度圖。再有，假設(shè)所輸入的深度圖與對已經(jīng)編碼完畢的深度圖進行解碼后的深度圖等在解碼側(cè)得到的深度圖相同。這是因為，通過使用與在解碼側(cè)得到的深度圖相同的深度圖，從而抑制漂移等編碼噪聲的產(chǎn)生。但是，在容許那樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入編碼前的深度圖等僅在編碼側(cè)得到的深度圖。此外，除了對已經(jīng)編碼完畢的深度圖進行解碼后的深度圖以外，也能夠?qū)⑼ㄟ^對針對多個攝像機而解碼后的多視點視頻應(yīng)用立體匹配（stereomatching）等而估計出的深度圖或者使用解碼后的視差矢量或運動矢量等而估計出的深度圖等用作在解碼側(cè)得到相同的深度圖的深度圖。此外，在本實施方式中，假設(shè)按照每個編碼對象區(qū)域輸入與編碼對象區(qū)域?qū)?yīng)的深度圖，但是，通過事先輸入并蓄積在編碼對象圖像的整體中使用的深度圖并且按照每個編碼對象區(qū)域參照所蓄積的深度圖來設(shè)定編碼對象區(qū)域blk中的深度圖也可。關(guān)于編碼對象區(qū)域blk的深度圖，怎樣設(shè)定都可以。例如，在使用與編碼對象圖像對應(yīng)的深度圖的情況下，設(shè)定與編碼對象圖像中的編碼對象區(qū)域blk的位置相同的位置的深度圖也可，設(shè)定錯開預先確定的或另外指定的矢量的量后的位置的深度圖也可。再有，在編碼對象圖像與編碼對象圖像所對應(yīng)的深度圖的分辨率不同的情況下，設(shè)定根據(jù)分辨率比縮放（scaling）后的區(qū)域也可，設(shè)定根據(jù)分辨率比對根據(jù)分辨率比縮放后的區(qū)域進行上采樣（up-sample）而生成的深度圖也可。此外，設(shè)定針對編碼對象視點在過去編碼后的圖像所對應(yīng)的深度圖的與編碼對象區(qū)域相同的位置的深度圖也可。再有，在將與編碼對象視點不同的視點之一設(shè)為深度視點并且使用深度視點中的深度圖的情況下，求取編碼對象區(qū)域blk中的編碼對象視點與深度視點的估計視差PDV（深度參照視差矢量），設(shè)定“blk+PDV”中的深度圖。再有，在編碼對象圖像與深度圖的分辨率不同的情況下，根據(jù)分辨率比進行位置和大小的縮放也可。關(guān)于編碼對象區(qū)域blk中的編碼對象視點與深度視點的估計視差PDV，只要為與解碼側(cè)相同的方法，則使用怎樣的方法來求取都可以。例如，能夠使用在對編碼對象區(qū)域blk的周邊區(qū)域進行編碼時使用的視差矢量、針對編碼對象圖像的整體或包含編碼對象區(qū)域的部分圖像設(shè)定的全局視差矢量或者按照每個編碼對象區(qū)域另外設(shè)定并編碼的視差矢量等。此外，蓄積在不同的編碼對象區(qū)域或在過去編碼后的編碼對象圖像中使用的視差矢量，使用所蓄積的視差矢量也可。接著，視差矢量生成部106使用設(shè)定的深度圖來生成編碼對象區(qū)域blk的視差矢量（步驟S104）。對該處理的細節(jié)在后面進行敘述。圖像編碼部107一邊使用編碼對象區(qū)域blk的視差矢量和在參照視點圖像存儲器104中蓄積的參照視點圖像來進行預測，一邊對編碼對象區(qū)域blk中的編碼對象圖像的視頻信號（像素值）進行編碼（步驟S105）。編碼的結(jié)果得到的位流成為視頻編碼裝置100的輸出。再有，對于編碼的方法，使用怎樣的方法都可以。例如，圖像編碼部107在使用MPEG-2、H.264/AVC等通常的編碼的情況下對編碼對象區(qū)域blk的視頻信號與預測圖像的差分信號依次實施離散余弦變換（DCT：DiscreteCosineTransform）等頻率變換、量化、二值化、熵編碼，由此，進行編碼。圖像編碼部107對blk加上1（步驟S106）。圖像編碼部107判定blk是否不足numBlks（步驟S107）。在blk不足numBlks的情況下（步驟S107：是），圖像編碼部107將處理返回到步驟S103。另一方面，在blk非不足numBlks的情況下（步驟S107：否），圖像編碼部107結(jié)束處理。圖3是示出本發(fā)明的一個實施方式的視差矢量生成部106生成視差矢量的處理（步驟S104）的流程圖。在生成視差矢量的處理中，首先，根據(jù)編碼對象區(qū)域blk的深度圖來設(shè)定代表像素位置pos和代表深度rep（步驟S1403）。使用怎樣的方法來設(shè)定代表像素位置pos和代表深度rep都可以，但是，需要使用與解碼側(cè)相同的方法。作為設(shè)定代表像素位置pos的代表的方法，存在將編碼對象區(qū)域內(nèi)的中央或左上等預先確定的位置設(shè)定為代表像素位置的方法或者在求取代表深度之后將具有與該代表深度相同的深度的編碼對象區(qū)域內(nèi)的像素的位置設(shè)定為代表像素位置的方法。此外，作為另外的方法，存在比較基于預先確定的位置的像素的深度來設(shè)定具有滿足預先確定的條件的深度的像素的位置的方法。具體地，為以下方法：將位于編碼對象區(qū)域內(nèi)的中央的4個像素、位于在編碼對象區(qū)域中確定的4頂點的像素或者位于在編碼對象區(qū)域中確定的4頂點的像素和位于中央的像素作為對象，選擇提供最大的深度、最小的深度或中央值的深度等的像素。作為設(shè)定代表深度rep的代表的方法，存在使用編碼對象區(qū)域blk的深度圖的平均值、中央值、最大值或最小值（根據(jù)深度的定義，示出最靠近編碼對象圖像的視點的深度或示出最遠離編碼對象圖像的視點的深度）等的方法。此外，也可以不使用編碼對象區(qū)域內(nèi)的全部像素而是使用基于一部分的像素的深度值的平均值、中央值、最大值或最小值等。作為一部分像素，也可以使用位于在編碼對象區(qū)域中確定的4頂點的像素或者位于4頂點的像素和位于中央的像素等。進而，也存在使用基于相對于編碼對象區(qū)域左上或中央等預先確定的位置的深度值的方法。在得到代表像素位置pos和代表深度rep的情況下，求取變換矩陣Hrep（步驟S1404）。在此，變換矩陣被稱為單應(yīng)（homography）矩陣，在假定在由代表深度表現(xiàn)的平面中存在被攝物時，提供在視點間的圖像平面上的點的對應(yīng)關(guān)系。再有，變換矩陣Hrep怎樣求取都可以。例如，能夠使用式（1）來求取。[數(shù)式1]。在此，R示出編碼對象視點與參照視點之間的3×3旋轉(zhuǎn)矩陣。t示出編碼對象視點與參照視點之間的平移矢量。Drep示出代表深度。n（Drep）示出編碼對象視點中的代表深度Drep所對應(yīng)的三維平面的法線矢量。d（Drep）示出該三維平面與編碼對象視點和參照視點的視點中心間的距離。此外，右上角的T示出矢量的轉(zhuǎn)置。作為變換矩陣Hrep的另外的求取方法，首先，針對編碼對象圖像中的不同的4點pi（i=1、2、3、4），基于式（2）來求取參照視點的圖像上的對應(yīng)點qi。[數(shù)式2]。在此，Pt和Pr分別示出編碼對象視點和參照視點中的3×4攝像機矩陣。當由A表示攝像機的內(nèi)部參數(shù)、由R表示從世界坐標系（不依賴于攝像機的任意的共同的坐標系）向攝像機坐標系的旋轉(zhuǎn)矩陣、由t表示對從世界坐標系向攝像機坐標系的平移進行表示的列向量時，使用A[R|t]來提供在此的攝像機矩陣（[R|t]為排列R和t來制作的3×4矩陣，被稱為攝像機的外部參數(shù)）。再有，假設(shè)在此的攝像機矩陣P的逆矩陣P-1為利用攝像機矩陣P的變換的逆變換所對應(yīng)的矩陣，由R-1[A-1|-t]表示。dt（pi）示出假設(shè)編碼對象圖像上的點pi處的深度為代表深度時的從編碼對象視點到點pi處的被攝物的光軸上的距離。s為任意的實數(shù)，但是，在沒有攝像機參數(shù)的誤差的情況下，s與從參照視點的圖像上的點qi處的參照視點到點qi處的被攝物的光軸上的距離dr（qi）相等。此外，當按照上述定義計算式（2）時，為下面的式（3）。再有，內(nèi)部參數(shù)A、旋轉(zhuǎn)矩陣R、平移矢量t的附加字表示攝像機，t和r分別表示編碼對象視點和參照視點。[數(shù)式3]。在求取了4個對應(yīng)點的情況下，通過解出按照式（4）得到的齊次方程式，從而得到變換矩陣Hrep。其中，變換矩陣Hrep的（3,3）分量為任意的實數(shù)（例如1）。[數(shù)式4]。關(guān)于變換矩陣Hrep，由于依賴于參照視點和深度，所以，每當求取代表深度時每次求取也可。此外，變換矩陣Hrep在開始每個編碼對象區(qū)域的處理之前按照參照視點和代表深度的組合的每一個求取，在此，從已經(jīng)計算的變換矩陣組之中基于參照視點和代表深度來選擇以及設(shè)定一個變換矩陣也可。在得到基于代表深度的變換矩陣的情況下，基于式（5）來求取參照視點上的位置，生成視差矢量（步驟S1405）。[數(shù)式5]。在此，k示出任意的實數(shù)。cpos示出參照視點上的位置。“cpos-pos”示出所求取的視差矢量。再有，通過對編碼對象視點的位置加上視差矢量而得到的位置示出與該編碼對象視點的位置對應(yīng)的參照視點上的對應(yīng)位置。在通過從編碼對象視點的位置減去視差矢量來表示對應(yīng)位置的情況下，視差矢量為“pos-cpos”。在上述的說明中，對于編碼對象區(qū)域blk的整體生成了視差矢量，但是，將編碼對象區(qū)域blk分割為多個子區(qū)域而按照每個子區(qū)域來生成視差矢量也可。圖4是示出在本發(fā)明的一個實施方式中將編碼對象區(qū)域分割為子區(qū)域來生成視差矢量的處理的流程圖。視差矢量生成部106對編碼對象區(qū)域blk進行分割（步驟S1401）。numSBlks示出編碼對象區(qū)域blk內(nèi)的子區(qū)域數(shù)量。視差矢量生成部106以0初始化子區(qū)域索引“sblk”（步驟S1402）。視差矢量生成部106設(shè)定代表像素位置和代表深度值（步驟S1403）。視差矢量生成部106根據(jù)代表深度值來求取變換矩陣（步驟S1404）。視差矢量生成部106求取針對參照視點的視差矢量。也就是說，視差矢量生成部106根據(jù)子區(qū)域sblk的深度圖來求取視差矢量（步驟S1405）。視差矢量生成部106對sblk加上1（步驟S1406）。視差矢量生成部106判定sblk是否不足numSBlks（步驟S1407）。在sblk不足numSBlks的情況下（步驟S1407：是），視差矢量生成部106將處理返回到步驟S1403。也就是說，視差矢量生成部106按照通過分割而得到的子區(qū)域的每一個重復根據(jù)深度圖來求取視差矢量的“步驟S1403~S1407”。另一方面，在sblk非不足numSBlks的情況下（步驟S1407：否），視差矢量生成部106結(jié)束處理。再有，關(guān)于編碼對象區(qū)域blk的分割，只要為與解碼側(cè)相同的方法，則使用怎樣的方法來分割都可以。例如，分割為預先確定的大?。?像素×4像素或8像素×8像素等）也可，通過解析編碼對象區(qū)域blk的深度圖來分割也可。例如，基于深度圖的值來進行分組（clustering），由此，進行分割也可。例如，使用編碼對象區(qū)域blk的深度圖的值的方差值、平均值、最大值或最小值等來進行分割也可。此外，考慮編碼對象區(qū)域blk內(nèi)的全部像素也可。此外，僅將確定的多個點或中央等特定的像素的集合作為對象來進行解析也可。進而，按照每個編碼對象區(qū)域向相同的數(shù)量的子區(qū)域分割也可，按照每個編碼對象區(qū)域向不同的數(shù)量的子區(qū)域分割也可。接著，對解碼進行說明。圖5是示出本發(fā)明的一個實施方式的視頻解碼裝置200的結(jié)構(gòu)的框圖。視頻解碼裝置200具備：位流輸入部201、位流存儲器202、參照視點圖像輸入部203、參照視點圖像存儲器204、深度圖輸入部205、視差矢量生成部206（代表深度設(shè)定部、變換矩陣設(shè)定部、代表位置設(shè)定部、視差信息設(shè)定部、深度區(qū)域設(shè)定部、深度參照視差矢量設(shè)定部）、以及圖像解碼部207（預測圖像生成部）。位流輸入部201將視頻編碼裝置100編碼后的位流即成為解碼對象的視頻的位流輸入到位流存儲器202中。位流存儲器202存儲成為解碼對象的視頻的位流。在以下，將該成為解碼對象的視頻所包含的圖像稱為“解碼對象圖像”。解碼對象圖像為攝像機B所拍攝的視頻（解碼對象圖像組）所包含的圖像。此外，在以下，將拍攝了解碼對象圖像的攝像機B的視點稱為“解碼對象視點”。參照視點圖像輸入部203將從與解碼對象圖像不同的視點（攝像機A）拍攝的視頻所包含的圖像輸入到參照視點圖像存儲器204中?；谂c解碼對象圖像不同的視點的圖像為在對解碼對象圖像進行解碼時參照的圖像。在以下，將在對解碼對象圖像進行解碼時參照的圖像的視點稱為“參照視點”。將參照視點的圖像稱為“參照視點圖像”。參照視點圖像存儲器204蓄積被輸入的參照視點圖像。深度圖輸入部205將在求取基于視點間的像素的對應(yīng)關(guān)系的視差矢量（示出視差的信息）時參照的深度圖輸入到視差矢量生成部206中。在此，假設(shè)輸入與解碼對象圖像對應(yīng)的深度圖，但是，也可以為另外的視點（參照視點等）中的深度圖。再有，該深度圖是指按照每個像素表示在解碼對象圖像中顯現(xiàn)的被攝物的三維位置。關(guān)于深度圖，例如，能夠使用從攝像機到被攝物的距離、與圖像平面不平行的軸的坐標值或者針對另外的攝像機（例如，攝像機A）的視差量來表現(xiàn)。在此，假設(shè)以圖像的方式給出深度圖，但是，只要得到同樣的信息，則不以圖像的方式給出深度圖也可。視差矢量生成部206根據(jù)深度圖來生成解碼對象圖像所包含的區(qū)域與該解碼對象圖像所相對應(yīng)的參照視點圖像所包含的區(qū)域的視差矢量。圖像解碼部207基于生成的視差矢量和參照視點圖像來根據(jù)位流對解碼對象圖像進行解碼。接著，對視頻解碼裝置200的工作進行說明。圖6是示出本發(fā)明的一個實施方式的視頻解碼裝置200的工作的流程圖。位流輸入部201將對解碼對象圖像進行編碼后的位流輸入到位流存儲器202中。位流存儲器202存儲對解碼對象圖像進行編碼后的位流。參照視點圖像輸入部203將參照視點圖像Ref輸入到參照視點圖像存儲器204中。參照視點圖像存儲器204存儲參照視點圖像Ref（步驟S201）。再有，在此輸入的參照視點圖像為與在編碼側(cè)使用的參照視點圖像相同的參照視點圖像。這是因為，通過使用與在編碼時使用的參照視點圖像完全相同的信息，從而抑制漂移等編碼噪聲的產(chǎn)生。但是，在容許那樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入與在編碼時使用的參照視點圖像不同的參照視點圖像。在位流和參照視點圖像的輸入結(jié)束的情況下，將解碼對象圖像分割為預先確定的大小的區(qū)域，按照分割后的每個區(qū)域根據(jù)位流對解碼對象圖像的視頻信號進行解碼。以下，將對解碼對象圖像進行分割后的區(qū)域稱為“解碼對象區(qū)域”。在通常的解碼中，分割為16像素×16像素的被稱為宏塊的處理單位塊，但是，只要與編碼側(cè)相同，則也可以分割為其他的大小的塊。此外，不以相同的尺寸分割解碼對象圖像的整體，按照每個區(qū)域分割為不同的尺寸的塊也可（步驟S202~S207）。在圖6中，將解碼對象區(qū)域索引表示為“blk”。將解碼對象圖像的1幀中的解碼對象區(qū)域的總數(shù)表示為“numBlks”。以0初始化blk（步驟S202）。在按照每個解碼對象區(qū)域重復的處理中，首先，設(shè)定解碼對象區(qū)域blk的深度圖（步驟S203）。通過深度圖輸入部205輸入該深度圖。再有，所輸入的深度圖為與在編碼側(cè)使用的深度圖相同的深度圖。這是因為，通過使用與在編碼側(cè)使用的深度圖相同的深度圖，從而抑制漂移等編碼噪聲的產(chǎn)生。但是，在容許那樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入與編碼側(cè)不同的深度圖。作為與在編碼側(cè)使用的深度圖相同的深度圖，除了根據(jù)位流另外解碼后的深度圖以外，也能夠使用通過對針對多個攝像機而解碼后的多視點視頻應(yīng)用立體匹配等而估計出的深度圖或者使用解碼后的視差矢量或運動矢量等而估計出的深度圖等。此外，在本實施方式中，假設(shè)按照每個解碼對象區(qū)域輸入與解碼對象區(qū)域?qū)?yīng)的深度圖，但是，通過事先輸入并蓄積在解碼對象圖像的整體中使用的深度圖并且按照每個解碼對象區(qū)域參照所蓄積的深度圖來設(shè)定與解碼對象區(qū)域blk對應(yīng)的深度圖也可。關(guān)于與解碼對象區(qū)域blk對應(yīng)的深度圖，怎樣設(shè)定都可以。例如，在使用與解碼對象圖像對應(yīng)的深度圖的情況下，設(shè)定與解碼對象圖像中的解碼對象區(qū)域blk的位置相同的位置的深度圖也可，設(shè)定錯開預先確定的或另外指定的矢量的量后的位置的深度圖也可。再有，在解碼對象圖像與解碼對象圖像所對應(yīng)的深度圖的分辨率不同的情況下，設(shè)定根據(jù)分辨率比縮放后的區(qū)域也可，設(shè)定根據(jù)分辨率比對根據(jù)分辨率比縮放后的區(qū)域進行上采樣而生成的深度圖也可。此外，設(shè)定針對解碼對象視點在過去解碼后的圖像所對應(yīng)的深度圖的與解碼對象區(qū)域相同的位置的深度圖也可。再有，在將與解碼對象視點不同的視點之一設(shè)為深度視點并且使用深度視點中的深度圖的情況下，求取解碼對象區(qū)域blk中的解碼對象視點與深度視點的估計視差PDV，設(shè)定“blk+PDV”中的深度圖。再有，在解碼對象圖像與深度圖的分辨率不同的情況下，根據(jù)分辨率比進行位置和大小的縮放也可。關(guān)于解碼對象區(qū)域blk中的解碼對象視點與深度視點的估計視差PDV，只要為與編碼側(cè)相同的方法，則使用怎樣的方法來求取都可以。例如，能夠使用在對解碼對象區(qū)域blk的周邊區(qū)域進行解碼時使用的視差矢量、針對解碼對象圖像的整體或包含解碼對象區(qū)域的部分圖像設(shè)定的全局視差矢量或者按照每個解碼對象區(qū)域另外設(shè)定并編碼的視差矢量等。此外，蓄積在不同的解碼對象區(qū)域或在過去解碼后的解碼對象圖像中使用的視差矢量，使用所蓄積的視差矢量也可。接著，視差矢量生成部206生成解碼對象區(qū)域blk中的視差矢量（步驟S204）。關(guān)于該處理，只要將編碼對象區(qū)域替換為解碼對象區(qū)域來看，就與上述的步驟S104相同。圖像解碼部207一邊使用解碼對象區(qū)域blk的視差矢量和在參照視點圖像存儲器204中蓄積的參照視點圖像來進行預測，一邊根據(jù)位流對解碼對象區(qū)域blk中的視頻信號（像素值）進行解碼（步驟S205）。所得到的解碼對象圖像成為視頻解碼裝置200的輸出。再有，在視頻信號的解碼中，使用與在編碼時使用的方法對應(yīng)的方法。圖像解碼部207例如在使用MPEG-2、H.264/AVC等通常的編碼的情況下對位流依次實施熵解碼、逆二值化、逆量化、反離散余弦變換（IDCT：InverseDiscreteCosineTransform）等頻率逆變換，對所得到的二維信號添加預測圖像，最后在像素值的值域中對所得到的值進行剪裁（clipping），由此，根據(jù)位流對視頻信號進行解碼。圖像解碼部207對blk加上1（步驟S206）。圖像解碼部207判定blk是否不足numBlks（步驟S207）。在blk不足numBlks的情況下（步驟S207：是），圖像解碼部207將處理返回到步驟S203。另一方面，在blk非不足numBlks的情況下（步驟S207：否），圖像解碼部207結(jié)束處理。在上述的實施方式中，按照對編碼對象圖像或解碼對象圖像進行分割后的每個區(qū)域進行了視差矢量的生成，但是，針對編碼對象圖像或解碼對象圖像的全部區(qū)域事先生成并蓄積視差矢量而按照每個區(qū)域來參照所蓄積的視差矢量也可。在上述的實施方式中，寫為對圖像整體進行編碼或解碼的處理，但是，也能夠僅對圖像的一部分應(yīng)用處理。在該情況下，對示出是否應(yīng)用處理的標志（flag）進行編碼或解碼也可。此外，使用某些另外的手段來指定示出是否應(yīng)用處理的標志也可。例如，是否應(yīng)用處理表現(xiàn)為示出生成每個區(qū)域的預測圖像的手法的模式之一也可。在上述的實施方式中，總是生成變換矩陣。但是，只要編碼對象視點或解碼對象視點與參照視點的位置關(guān)系或深度的定義（與各深度對應(yīng)的三維平面）不發(fā)生變化，變換矩陣就不發(fā)生變化。因此，在預先求取變換矩陣的集合的情況下，不需要按照每個幀或每個區(qū)域重新計算變換矩陣。也就是說，每當編碼對象圖像發(fā)生變化時，比較由另外提供的攝像機參數(shù)表示的編碼對象視點與參照視點的位置關(guān)系和由稍前的幀中的攝像機參數(shù)表示的編碼對象視點與參照視點的位置關(guān)系。在沒有位置關(guān)系的變化或者位置關(guān)系的變化小時，直接使用在稍前的幀中使用的變換矩陣的集合，僅在其以外的情況下，求取變換矩陣的集合也可。此外，每當解碼對象圖像發(fā)生變化時，比較由另外提供的攝像機參數(shù)表示的解碼對象視點與參照視點的位置關(guān)系和由稍前的幀中的攝像機參數(shù)表示的解碼對象視點與參照視點的位置關(guān)系。在沒有位置關(guān)系的變化或者位置關(guān)系的變化小時，直接使用在稍前的幀中使用的變換矩陣的集合，僅在其以外的情況下，求取變換矩陣的集合也可。再有，在求取變換矩陣的集合時，不是重新求取全部變換矩陣，而是確認基于與稍前的幀比較位置關(guān)系不同的參照視點的變換矩陣和基于定義發(fā)生變化的深度的變換矩陣而僅針對它們重新求取變換矩陣也可。此外，僅在編碼側(cè)對是否需要變換矩陣的再次計算進行檢查并且對其結(jié)果進行編碼來傳輸也可。在該情況下，在解碼側(cè)基于所傳輸來的信息來決定是否再次計算變換矩陣也可。示出是否需要再次計算的信息針對幀整體僅設(shè)定一個也可，按照每個參照視點來設(shè)定也可，或者，按照每個深度來設(shè)定也可。進而，在上述的實施方式中，按照每個深度來生成變換矩陣，但是，按照另外確定的深度值的每個分區(qū)（section）將一個深度值設(shè)定為量化深度，按照該量化深度的每一個來設(shè)定變換矩陣也可。代表深度能夠選取深度的值域的任意的深度值，因此，存在需要針對全部深度值的變換矩陣的情況，但是，通過像這樣做，從而能夠?qū)⑿枰儞Q矩陣的深度值僅限制為與量化深度相同的深度值。再有，在求取代表深度之后求取變換矩陣時，從包含該代表深度的深度值的分區(qū)求取量化深度，使用該量化深度來求取變換矩陣。特別地，在針對深度的值域整體設(shè)定一個量化深度的情況下，變換矩陣針對參照視點成為唯一。再有，只要為與解碼側(cè)相同的方法，則量化的區(qū)間和量化深度怎樣設(shè)定都可以。例如，均等地分割深度的值域，將其中央值設(shè)定為量化深度也可。此外，按照深度圖中的深度的分布來決定區(qū)間和量化深度也可。此外，在使用不能在解碼側(cè)設(shè)定的方法來決定量化深度的情況下，在編碼側(cè)對所決定的量化方法（區(qū)間和量化深度）進行編碼來傳輸，在解碼側(cè)根據(jù)位流解碼來得到量化方法也可。再有，特別地，在針對深度圖整體設(shè)定一個量化深度的情況下等，對量化深度的值進行編碼或解碼來代替量化方法也可。進而，在上述的實施方式中，使用攝像機參數(shù)等即使在解碼側(cè)也生成變換矩陣，但是，對在編碼側(cè)計算而得到的變換矩陣進行編碼來傳輸也可。在該情況下，在解碼側(cè)不會根據(jù)攝像機參數(shù)等生成變換矩陣而通過根據(jù)位流進行解碼來取得變換矩陣。進而，在上述的實施方式中，總是使用變換矩陣，但是，對攝像機參數(shù)進行檢查，如果在視點間方向平行，則生成查找表（look-uptable），按照該查找表進行深度與視差矢量的變換，如果在視點間方向不平行，則使用本申請發(fā)明的手法也可。此外，僅在編碼側(cè)進行檢查并對示出使用哪一個手法的信息進行編碼也可。在該情況下，在解碼側(cè)對該信息進行解碼來決定使用哪一個手法。進而，在上述的實施方式中，按照對編碼對象圖像或解碼對象圖像進行分割后的每個區(qū)域（編碼對象區(qū)域或解碼對象區(qū)域以及它們的子區(qū)域）設(shè)定了一個視差矢量，但是，設(shè)定二個以上的視差矢量也可。例如，針對一個區(qū)域通過選擇多個代表像素或者選擇多個代表深度來生成多個視差矢量也可。特別地，通過設(shè)定最大值和最小值這二個代表深度，從而設(shè)定前景和背景雙方的視差矢量也可。此外，在上述的說明中，使用了單應(yīng)矩陣來作為變換矩陣，但是，只要為能夠?qū)⒕幋a對象圖像或解碼對象圖像的像素位置向參照視點中的對應(yīng)像素位置變換的矩陣，則使用另外的矩陣也可。例如，不使用嚴格的單應(yīng)矩陣而使用簡化后的矩陣也可。此外，使用將仿射（affine）變換矩陣、射影矩陣、多個變換矩陣組合而生成的矩陣等也可。通過使用另外的變換矩陣，從而能夠控制變換的精度或運算量、變換矩陣的更新頻度、傳輸變換矩陣的情況下的碼量等。再有，為了防止編碼噪聲的產(chǎn)生，在編碼時和解碼時使用相同的變換矩陣。接著，說明由計算機和軟件程序構(gòu)成視頻編碼裝置和視頻解碼裝置的情況下的硬件結(jié)構(gòu)的例子。圖7是示出由計算機和軟件程序構(gòu)成本發(fā)明的一個實施方式的視頻編碼裝置100的情況下的硬件結(jié)構(gòu)的例子的框圖。系統(tǒng)具備：CPU（CentralProcessingUnit，中央處理單元）50、存儲器51、編碼對象圖像輸入部52、參照視點圖像輸入部53、深度圖輸入部54、程序存儲裝置55、以及位流輸出部56。各部經(jīng)由總線以能通信的方式連接。CPU50執(zhí)行程序。存儲器51為儲存CPU50訪問的程序或數(shù)據(jù)的RAM（RandomAccessMemory，隨機存取存儲器）等。編碼對象圖像輸入部52將來自攝像機B等的編碼對象的視頻信號輸入到CPU50中。編碼對象圖像輸入部52也可以為存儲視頻信號的磁盤裝置等存儲部。參照視點圖像輸入部53將來自攝像機A等的參照視點的視頻信號輸入到CPU50中。參照視點圖像輸入部53也可以為存儲視頻信號的磁盤裝置等存儲部。深度圖輸入部54將利用深度攝像機等拍攝了被攝物的視點中的深度圖輸入到CPU50中。深度圖輸入部54也可以為存儲深度圖的磁盤裝置等存儲部。程序存儲裝置55儲存有作為使CPU50執(zhí)行視頻像編碼處理的軟件程序的視頻編碼程序551。位流輸出部56經(jīng)由例如網(wǎng)絡(luò)輸出通過CPU50執(zhí)行從程序存儲裝置55被加載到存儲器51中的視頻編碼程序551而生成的位流。位流輸出部56也可以為存儲位流的磁盤裝置等存儲部。編碼對象圖像輸入部101與編碼對象圖像輸入部52對應(yīng)。編碼對象圖像存儲器102與存儲器51對應(yīng)。參照視點圖像輸入部103與參照視點圖像輸入部53對應(yīng)。參照視點圖像存儲器104與存儲器51對應(yīng)。深度圖輸入部105與深度圖輸入部54對應(yīng)。視差矢量生成部106與CPU50對應(yīng)。圖像編碼部107與CPU50對應(yīng)。圖8是示出由計算機和軟件程序構(gòu)成本發(fā)明的一個實施方式的視頻解碼裝置200的情況下的硬件結(jié)構(gòu)的例子的框圖。系統(tǒng)具備：CPU60、存儲器61、位流輸入部62、參照視點圖像輸入部63、深度圖輸入部64、程序存儲裝置65、以及解碼對象圖像輸出部66。各部經(jīng)由總線以能通信的方式連接。CPU60執(zhí)行程序。存儲器61為儲存CPU60訪問的程序或數(shù)據(jù)的RAM等。位流輸入部62將視頻編碼裝置100編碼后的位流輸入到CPU60中。位流輸入部62也可以為存儲位流的磁盤裝置等存儲部。參照視點圖像輸入部63將來自攝像機A等的參照視點的視頻信號輸入到CPU60中。參照視點圖像輸入部63也可以為存儲視頻信號的磁盤裝置等存儲部。深度圖輸入部64將利用深度攝像機等拍攝了被攝物的視點中的深度圖輸入到CPU60中。深度圖輸入部64也可以為存儲深度信息的磁盤裝置等存儲部。程序存儲裝置65儲存有作為使CPU60執(zhí)行視頻解碼處理的軟件程序的視頻解碼程序651。解碼對象圖像輸出部66將通過CPU60執(zhí)行被加載到存儲器61中的視頻解碼程序651來對位流進行解碼而得到的解碼對象圖像輸出到再生裝置等中。解碼對象圖像輸出部66也可以為存儲視頻信號的磁盤裝置等存儲部。位流輸入部201與位流輸入部62對應(yīng)。位流存儲器202與存儲器61對應(yīng)。參照視點圖像輸入部203與參照視點圖像輸入部63對應(yīng)。參照視點圖像存儲器204與存儲器61對應(yīng)。深度圖輸入部205與深度圖輸入部64對應(yīng)。視差矢量生成部206與CPU60對應(yīng)。圖像解碼部207與CPU60對應(yīng)。也可以通過計算機實現(xiàn)上述的實施方式中的視頻編碼裝置100或視頻解碼裝置200。在該情況下，將用于實現(xiàn)該功能的程序記錄在計算機可讀取的記錄介質(zhì)中，使計算機系統(tǒng)讀入記錄在該記錄介質(zhì)中的程序并執(zhí)行，由此，也可以實現(xiàn)。再有，在此所說的“計算機系統(tǒng)”包含OS（OperatingSystem，操作系統(tǒng)）、周圍設(shè)備等硬件。此外，“計算機可讀取的記錄介質(zhì)”是指軟盤、光磁盤、ROM（ReadOnlyMemory，只讀存儲器）、CD（CompactDisc，緊致盤）-ROM等可移動介質(zhì)、內(nèi)置于計算機系統(tǒng)的硬盤等存儲裝置。進而，“計算機可讀取的記錄介質(zhì)”也可以還包含像經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)或電話線路等通信線路來發(fā)送程序的情況下的通信線那樣在短時間的期間動態(tài)地保持程序的記錄介質(zhì)、像該情況下的成為服務(wù)器或客戶端的計算機系統(tǒng)內(nèi)部的易失性存儲器那樣將程序保持固定時間的記錄介質(zhì)。此外，上述程序也可以是用于實現(xiàn)上述的功能的一部分的程序，進而，還可以是能通過與已經(jīng)記錄在計算機系統(tǒng)中的程序的組合來實現(xiàn)上述的功能的程序，此外，視頻編碼裝置100和視頻解碼裝置200也可以是使用FPGA（FieldProgrammableGateArray，現(xiàn)場可編程門陣列）等可編程邏輯器件（programmablelogicdevice）來實現(xiàn)的程序。以上，參照附圖來詳細地敘述了該發(fā)明的實施方式，但是，具體的結(jié)構(gòu)并不限于該實施方式，也包含不偏離該發(fā)明的主旨的范圍的設(shè)計等。產(chǎn)業(yè)上的可利用性本發(fā)明例如能夠應(yīng)用于自由視點視頻的編碼和解碼。根據(jù)本發(fā)明，在將針對多個視點的視頻和深度圖具有為結(jié)構(gòu)要素的自由視點視頻數(shù)據(jù)的編碼中，即使在視點的方向不平行的情況下，也能夠提高根據(jù)深度圖計算的視差矢量的精度，提高視頻編碼的效率。附圖標記的說明50…CPU,51…存儲器,52…編碼對象圖像輸入部,53…參照視點圖像輸入部,54…深度圖輸入部,55…程序存儲裝置,56…位流輸出部,60…CPU,61…存儲器,62…位流輸入部,63…參照視點圖像輸入部,64…深度圖輸入部,65…程序存儲裝置,66…解碼對象圖像輸出部,100…視頻編碼裝置,101…編碼對象圖像輸入部,102…編碼對象圖像存儲器,103…參照視點圖像輸入部,104…參照視點圖像存儲器,105…深度圖輸入部,106…視差矢量生成部,107…圖像編碼部,200…視頻解碼裝置,201…位流輸入部,202…位流存儲器,203…參照視點圖像輸入部,204…參照視點圖像存儲器,205…深度圖輸入部,206…視差矢量生成部,207…圖像解碼部,551…視頻編碼程序,651…視頻解碼程序。當前第1頁1 2 3 當前第1頁1 2 3