本申請(qǐng)是進(jìn)入中國(guó)國(guó)家階段日為2013年4月10日、國(guó)際申請(qǐng)?zhí)枮閜ct/ep2011/063852、發(fā)明名稱為“多視點(diǎn)信號(hào)編解碼器”的pct申請(qǐng)的中國(guó)國(guó)家階段申請(qǐng)的分案申請(qǐng)，該中國(guó)國(guó)家階段申請(qǐng)的申請(qǐng)日為2011年8月11日、申請(qǐng)?zhí)枮?01180049014.7。

本發(fā)明涉及多視點(diǎn)信號(hào)的編碼(coding)。

背景技術(shù)：

在許多應(yīng)用領(lǐng)域中涉及到多視點(diǎn)信號(hào)，比如3d視頻應(yīng)用，包括立體和多視點(diǎn)顯示，自由視點(diǎn)視頻應(yīng)用等。對(duì)于立體、多視點(diǎn)視頻內(nèi)容，已制定出mvc標(biāo)準(zhǔn)[1，2]。該標(biāo)準(zhǔn)對(duì)來(lái)自多臺(tái)相鄰照相機(jī)的視頻序列進(jìn)行壓縮處理。mvc解碼處理僅在原始的照相機(jī)位置再現(xiàn)這些照相機(jī)視點(diǎn)。然而，對(duì)于不同的多視點(diǎn)顯示來(lái)說(shuō)，要求具有不同空間位置的不同數(shù)量的視點(diǎn)，從而需要另外的視點(diǎn)，例如在原始的照相機(jī)位置之間的視點(diǎn)。

處理多視點(diǎn)信號(hào)的難度在于需要大量的數(shù)據(jù)來(lái)傳送包含在多視點(diǎn)信號(hào)中的關(guān)于多視點(diǎn)的信息。在以上提及的使能夠進(jìn)行中間視點(diǎn)提取/合成的要求而言，情況變得甚至更糟，因?yàn)樵谶@種情況下，與各個(gè)視點(diǎn)相關(guān)聯(lián)的視頻可能伴隨有諸如使得能夠?qū)⒏鱾€(gè)視點(diǎn)重投影到另一個(gè)視點(diǎn)，比如中間視點(diǎn)的深度/視差圖數(shù)據(jù)的補(bǔ)充數(shù)據(jù)。由于數(shù)據(jù)量巨大，因此盡可能最大化多視點(diǎn)信號(hào)編解碼的壓縮率是非常重要的。

因此，本發(fā)明的目的在于提供一種使壓縮率更高或率/失真比更好的多視點(diǎn)信號(hào)編解碼。

技術(shù)實(shí)現(xiàn)要素：

本目的通過(guò)未決的獨(dú)立權(quán)利要求的主題實(shí)現(xiàn)。

本申請(qǐng)?zhí)峁┝死冒l(fā)現(xiàn)的實(shí)施方式，根據(jù)此發(fā)現(xiàn)，可通過(guò)根據(jù)用于編碼多視點(diǎn)信號(hào)的第一視點(diǎn)的第一編碼參數(shù)采用或預(yù)測(cè)用于編碼多視點(diǎn)信號(hào)的第二視點(diǎn)的第二編碼參數(shù)來(lái)實(shí)現(xiàn)更高的壓縮率或更好的比率/失真比。換句話說(shuō)，發(fā)明人發(fā)現(xiàn)多視點(diǎn)信號(hào)之間的冗余不限于視點(diǎn)本身，比如視頻信息，而使在并行編碼這些視點(diǎn)的過(guò)程中的編碼參數(shù)具有可利用的相似度，以進(jìn)一步提高編碼率。

本申請(qǐng)的一些實(shí)施方式還利用了一種發(fā)現(xiàn)，根據(jù)此發(fā)現(xiàn)，可利用視頻幀中檢測(cè)到的邊緣作為提示，即，通過(guò)確定wedgelet分隔線以在視頻幀中沿該邊緣延伸，來(lái)確定或預(yù)測(cè)與用于編碼深度/視差圖的某個(gè)視點(diǎn)的視頻的某個(gè)幀相關(guān)聯(lián)的深度/視差圖的分割。盡管邊緣檢測(cè)增加了解碼器側(cè)的復(fù)雜度，但在可接受質(zhì)量下的低傳輸率比起復(fù)雜性問(wèn)題更重要的應(yīng)用情況下，這點(diǎn)缺陷還是可接受的。這樣的情況可以涉及解碼器被實(shí)現(xiàn)為固定器件的廣播應(yīng)用。

進(jìn)一步地，本申請(qǐng)的一些實(shí)施方式還利用了一種發(fā)現(xiàn)，根據(jù)此發(fā)現(xiàn)，如果編碼參數(shù)的采用/預(yù)測(cè)包括根據(jù)空間分辨率之間的比率定標(biāo)這些編碼參數(shù)，則可以以較低的空間分辨率編碼，即，預(yù)測(cè)并殘余校正其編碼參數(shù)從另一個(gè)視點(diǎn)的編碼信息中采用/預(yù)測(cè)的視點(diǎn)，從而節(jié)省編碼位。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種解碼器，被配置為：根據(jù)從數(shù)據(jù)流獲得的第一編碼參數(shù)，通過(guò)從多視點(diǎn)信號(hào)的第一事先重建部分預(yù)測(cè)第一視點(diǎn)的當(dāng)前部分，并利用包含在數(shù)據(jù)流中的第一校正數(shù)據(jù)校正第一視點(diǎn)的當(dāng)前部分的預(yù)測(cè)的預(yù)測(cè)誤差，來(lái)從數(shù)據(jù)流重建多視點(diǎn)信號(hào)的第一視點(diǎn)，多視點(diǎn)信號(hào)的第一事先重建部分在第一視點(diǎn)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建；至少部分根據(jù)第一編碼參數(shù)采用或預(yù)測(cè)第二編碼參數(shù)；以及根據(jù)第二編碼參數(shù)，通過(guò)從多視點(diǎn)信號(hào)的第二事先重建部分預(yù)測(cè)第二視點(diǎn)的當(dāng)前部分，并利用包含在數(shù)據(jù)流中的第二校正數(shù)據(jù)校正第二視點(diǎn)的當(dāng)前部分的預(yù)測(cè)的預(yù)測(cè)誤差，來(lái)從數(shù)據(jù)流重建多視點(diǎn)信號(hào)的第二視點(diǎn)，多視點(diǎn)信號(hào)的第二事先重建部分在第二視點(diǎn)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建。

其中，解碼器被配置為：至少部分根據(jù)第一編碼參數(shù)采用或預(yù)測(cè)第二編碼參數(shù)的第一部分，根據(jù)第二編碼參數(shù)的第一部分，通過(guò)從多視點(diǎn)信號(hào)的第五事先重建部分預(yù)測(cè)第二視點(diǎn)的視頻的當(dāng)前部分，并利用包含在數(shù)據(jù)流中的第二校正數(shù)據(jù)的第一子集校正第二視點(diǎn)的所述視頻的當(dāng)前部分的預(yù)測(cè)的預(yù)測(cè)誤差，來(lái)從數(shù)據(jù)流重建第二視點(diǎn)的視頻，多視點(diǎn)信號(hào)的第五事先重建部分在第二視點(diǎn)的視頻的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，至少部分根據(jù)第一編碼參數(shù)和/或第二編碼參數(shù)的第一部分采用或預(yù)測(cè)第二編碼參數(shù)的第二部分；以及根據(jù)第二編碼參數(shù)的第二部分，通過(guò)從多視點(diǎn)信號(hào)的第六事先重建部分預(yù)測(cè)第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分，并利用第二校正數(shù)據(jù)的第二子集校正第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的預(yù)測(cè)的預(yù)測(cè)誤差，來(lái)從數(shù)據(jù)流重建第二視點(diǎn)的深度/視差圖數(shù)據(jù)，多視點(diǎn)信號(hào)的第六事先重建部分在第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建。

其中，解碼器被配置為：從第二視點(diǎn)的視頻的事先重建部分，或從第一視點(diǎn)的視頻的第二事先重建部分預(yù)測(cè)第二視點(diǎn)的視頻的當(dāng)前部分，第二視點(diǎn)的視頻的事先重建部分在第二視點(diǎn)的視頻的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，第一視點(diǎn)的視頻的第二事先重建部分在第二視點(diǎn)的視頻的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，以及從第二視點(diǎn)的深度/視差圖數(shù)據(jù)的事先重建部分，或從第一視點(diǎn)的深度/視差圖數(shù)據(jù)的第二事先重建部分預(yù)測(cè)第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分，第二視點(diǎn)的深度/視差圖數(shù)據(jù)的事先重建部分在第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，第一視點(diǎn)的深度/視差圖數(shù)據(jù)的第二事先重建部分在第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建。

其中，解碼器被配置為：檢測(cè)第二視點(diǎn)的視頻的當(dāng)前幀中的邊緣并確定楔形波分隔線以沿邊緣延伸，以及在從數(shù)據(jù)流重建第二視點(diǎn)的深度/視差圖數(shù)據(jù)的過(guò)程中，設(shè)定與第二視點(diǎn)的視頻的當(dāng)前幀相關(guān)聯(lián)的第二視點(diǎn)的深度/視差圖數(shù)據(jù)的深度/視差圖的當(dāng)前部分的邊界，以與楔形波分隔線一致。

其中，解碼器被配置為在從數(shù)據(jù)流重建所述第二視點(diǎn)的深度/視差圖數(shù)據(jù)的過(guò)程中，以當(dāng)前部分所屬的區(qū)段為單位利用區(qū)段的不同組的預(yù)測(cè)參數(shù)分段執(zhí)行預(yù)測(cè)。

其中，解碼器被配置為使得楔形波分隔線為直線并且解碼器被配置為沿楔形波分隔線劃分第二視點(diǎn)的深度/視差圖數(shù)據(jù)的預(yù)分割的區(qū)塊，從而使得兩個(gè)相鄰區(qū)段為一起形成預(yù)分割的區(qū)塊的楔形波形區(qū)段。

其中，解碼器被配置為使得第一編碼參數(shù)和第二編碼參數(shù)分別為分別控制第一視點(diǎn)的當(dāng)前部分的預(yù)測(cè)和第二視點(diǎn)的當(dāng)前部分的預(yù)測(cè)的第一預(yù)測(cè)參數(shù)和第二預(yù)測(cè)參數(shù)。

其中，當(dāng)前部分分別為第一視點(diǎn)和第二視點(diǎn)的視頻的幀分割的區(qū)段。

其中，解碼器被配置為通過(guò)以第一空間分辨率對(duì)多視點(diǎn)信號(hào)(10)的第一視點(diǎn)(121)的當(dāng)前部分進(jìn)行預(yù)測(cè)和校正來(lái)從數(shù)據(jù)流重建多視點(diǎn)信號(hào)(10)的第一視點(diǎn)(121)，并被配置為通過(guò)以低于第一空間分辨率的第二空間分辨率對(duì)多視點(diǎn)信號(hào)(10)的第二視點(diǎn)(122)的當(dāng)前部分進(jìn)行預(yù)測(cè)和校正來(lái)從數(shù)據(jù)流重建多視點(diǎn)信號(hào)(10)的第二視點(diǎn)(122)，然后將第二視點(diǎn)的重建的當(dāng)前部分從第二空間分辨率上采樣至第一空間分辨率。

其中，解碼器被配置為，至少部分從第一編碼參數(shù)采用或預(yù)測(cè)第二編碼參數(shù)，根據(jù)第一空間分辨率與第二空間分辨率之比定標(biāo)第一編碼參數(shù)。

附圖說(shuō)明

上文列出的各方面的實(shí)施方式的有利實(shí)現(xiàn)是所附從屬權(quán)利要求的主題。具體地，下面相對(duì)于附圖對(duì)本申請(qǐng)的優(yōu)選實(shí)施方式進(jìn)行描述，其中

圖1示出了根據(jù)實(shí)施方式的編碼器的框圖；

圖2示出了用于說(shuō)明視點(diǎn)之間的信息重用及深度/視差邊界的多視點(diǎn)信號(hào)的一部分的示意圖；

圖3示出了根據(jù)實(shí)施方式的解碼器的框圖；

圖4是兩個(gè)視點(diǎn)和兩個(gè)時(shí)間實(shí)例的示例的多視點(diǎn)編碼中的預(yù)測(cè)結(jié)構(gòu)和運(yùn)動(dòng)/視差矢量；

圖5是通過(guò)相鄰視點(diǎn)之間的視差矢量進(jìn)行的點(diǎn)對(duì)應(yīng)；

圖6是使用定標(biāo)視差矢量通過(guò)視點(diǎn)1和2的場(chǎng)景內(nèi)容投影進(jìn)行的中間視點(diǎn)合成；

圖7是用于在任意觀察位置生成中間視點(diǎn)的分別解碼顏色和補(bǔ)充數(shù)據(jù)的n視點(diǎn)提??；以及

圖8是9視點(diǎn)顯示的兩視點(diǎn)比特流的n視點(diǎn)提取實(shí)例。

具體實(shí)施方式

圖1示出了根據(jù)實(shí)施方式的用于編碼多視點(diǎn)信號(hào)的編碼器。圖1的多視點(diǎn)信號(hào)在10處示例性地表示為包括兩個(gè)視點(diǎn)121及122，盡管圖1的實(shí)施方式對(duì)更多數(shù)量的視點(diǎn)同樣是可行的。此外，根據(jù)圖1的實(shí)施方式，每個(gè)視點(diǎn)121及122都包括視頻14和深度/視差圖數(shù)據(jù)16，盡管如果結(jié)合具有不包括任何深度/視差圖數(shù)據(jù)的視點(diǎn)的多視點(diǎn)信號(hào)使用，則相對(duì)于圖1描述的本實(shí)施方式的許多有利原理同樣是有利的。本發(fā)明的這樣的廣義性下面進(jìn)一步在圖1至圖3的描述之后進(jìn)行描述。

各個(gè)視點(diǎn)121及122的視頻14表示公共場(chǎng)景在不同投影/查看方向上的投影的時(shí)空采樣(spatio-temporalsampling)。優(yōu)選地，視點(diǎn)121及122的視頻14的時(shí)間采樣率彼此相等，盡管不必必須滿足該約束。如圖1所示，優(yōu)選每個(gè)視頻14包括一系列幀，每個(gè)幀與各個(gè)時(shí)間戳t，t-1，t-2，……相關(guān)聯(lián)。在圖1中，視頻幀由vviewnumber,timestampnumber表示。每個(gè)幀vi,t表示在各個(gè)時(shí)間戳t處場(chǎng)景i在各個(gè)查看方向上的空間采樣，并因此包括一個(gè)或多個(gè)樣本陣列，比如，亮度樣本的一個(gè)樣本陣列以及具有色度樣本的兩個(gè)樣本陣列，或僅亮度樣本或其他顏色分量(比如rgb顏色空間的顏色分量等)的樣本陣列。一個(gè)或多個(gè)樣本陣列的空間分辨率在一個(gè)視頻14內(nèi)以及在不同視點(diǎn)121及122的多個(gè)視頻14內(nèi)可以是不同的。

類似地，深度/視差圖數(shù)據(jù)16表示沿視點(diǎn)121及122的各個(gè)查看方向測(cè)量的公共場(chǎng)景的場(chǎng)景目標(biāo)的深度的時(shí)空采樣。深度/視差圖數(shù)據(jù)16的時(shí)間采樣率可以等于如圖1中描述的相同視點(diǎn)的相關(guān)視頻的時(shí)間采樣率，或與其不同。在圖1的情況下，每個(gè)視頻幀v已經(jīng)將各個(gè)視點(diǎn)121及122的深度/視差圖數(shù)據(jù)16的各個(gè)深度/視差圖d與此相關(guān)聯(lián)。換句話說(shuō)，在圖1的實(shí)例中，視點(diǎn)i和時(shí)間戳t的每個(gè)視頻幀vi,t具有與此相關(guān)聯(lián)的深度/視差圖di,t。關(guān)于深度/視差圖d的空間分辨率，這對(duì)上文針對(duì)視頻幀所示的情況同樣適用。也就是說(shuō)，空間分辨率在不同視點(diǎn)的深度/視差圖之間可能會(huì)有所不同。

為了有效地壓縮多視點(diǎn)信號(hào)10，圖1的編碼器并行地將視點(diǎn)121及122編碼為數(shù)據(jù)流18。然而，用于編碼第一視點(diǎn)121的編碼參數(shù)被重新使用，以采用所述編碼參數(shù)作為或預(yù)測(cè)要用于編碼第二視點(diǎn)122的第二編碼參數(shù)。通過(guò)這種措施，圖1的編碼器利用了本發(fā)明人發(fā)現(xiàn)的事實(shí)，據(jù)此，視點(diǎn)121及12的并行編碼使編碼器類似地確定用于這些視點(diǎn)的編碼參數(shù)，從而這些編碼參數(shù)之間的冗余可以被有效利用，以提高壓縮率或比率/失真比(例如，以所測(cè)量的失真作為兩個(gè)視點(diǎn)的平均失真，并以所測(cè)量的比率作為整個(gè)數(shù)據(jù)流18的編碼率)。

具體地，圖1的編碼器一般用參考標(biāo)號(hào)20表示，并包括用于接收多視點(diǎn)信號(hào)10的輸入端以及用于輸出數(shù)據(jù)流18的輸出端。如在圖2中所看到的，圖1的編碼器20的每個(gè)視點(diǎn)121及122包括兩個(gè)編碼支路，即，一個(gè)用于視頻數(shù)據(jù)，另一個(gè)用于深度/視差圖數(shù)據(jù)。相應(yīng)地，編碼器20包括用于視點(diǎn)1的視頻數(shù)據(jù)的編碼支路2v,1，用于視點(diǎn)1的深度視差圖數(shù)據(jù)的編碼支路22d,1，用于第二視點(diǎn)的視頻數(shù)據(jù)的編碼支路22v,2以及用于第二視點(diǎn)的深度/視差圖數(shù)據(jù)的編碼支路22d,2。這些編碼支路22中的每一個(gè)被類似地構(gòu)造。為了描述編碼器20的構(gòu)造和功能，以下描述開始于編碼支路22v,1的構(gòu)造和功能。該功能對(duì)于所有支路22是共用的。之后，討論支路22的各個(gè)特征。

編碼支路22v,1用于編碼多視點(diǎn)信號(hào)12的第一視點(diǎn)121的視頻141，支路22v,1相應(yīng)地具有用于接收視頻141的輸入端。除此之外，支路22v,1包括按照所提及的順序彼此串聯(lián)的減法器24、量化/變換模塊26、重量化(requantization)/逆變換(inverse-transform)模塊28、加法器30、進(jìn)一步的處理模塊32、解碼圖像緩沖器34、相互并聯(lián)的兩個(gè)預(yù)測(cè)模塊36及38以及一方面連接在預(yù)測(cè)模塊36及38的輸出端之間，另一方面連接在減法器24的反相輸入端之間的組合器或選擇器40。組合器40的輸出端還與加法器30的另一個(gè)輸入端連接。減法器24的非反相輸入端接收視頻141。

編碼支路22v,1的元件24-40協(xié)作以編碼視頻141。編碼操作以某些部分的單位對(duì)視頻141進(jìn)行編碼。例如，在編碼視頻141的過(guò)程中，將幀v1,k分割成區(qū)段比如區(qū)塊或其他采樣組。分割可以隨時(shí)間保持不變或在時(shí)間上變化。進(jìn)一步地，分割操作在默認(rèn)情況下對(duì)編碼器和解碼器來(lái)說(shuō)可以是已知的或可以在數(shù)據(jù)流18內(nèi)信號(hào)告知。該分割可以是被分割成區(qū)塊的幀的規(guī)則分割，諸如以行和列的區(qū)塊的非重疊排列，或可以為被分割成不同尺寸的區(qū)塊的基于四叉樹(quad-tree)的分割。輸入減法器24的非反相輸入端的視頻141的當(dāng)前編碼區(qū)段在以下描述中被稱為視頻141的當(dāng)前部分。

預(yù)測(cè)模塊36及38用于預(yù)測(cè)當(dāng)前部分，為此，預(yù)測(cè)模塊36及38具有連接至解碼圖像緩沖器34的輸入端。實(shí)際上，這兩個(gè)預(yù)測(cè)模塊36及38都使用位于解碼圖像緩沖器34中的視頻141的事先重建部分，以預(yù)測(cè)輸入減法器24的非反相輸入端的當(dāng)前部分/區(qū)段。因此，預(yù)測(cè)模塊36用作從視頻141的同一幀的空間上相鄰的已經(jīng)重建的部分空間預(yù)測(cè)視頻141的當(dāng)前部分的幀內(nèi)預(yù)測(cè)子(intrapredictor)，而預(yù)測(cè)模塊38用作從視頻141的事先重建幀時(shí)間上預(yù)測(cè)所述當(dāng)前部分的幀內(nèi)預(yù)測(cè)子(interpredictor)。這兩個(gè)預(yù)測(cè)模塊36及38根據(jù)某些預(yù)測(cè)參數(shù)執(zhí)行它們的預(yù)測(cè)或執(zhí)行由某些預(yù)測(cè)參數(shù)描述的它們預(yù)測(cè)。更確切地說(shuō)，在一些約束(諸如最大比特率)或沒(méi)有限制的情況下用于優(yōu)化一些優(yōu)化目標(biāo)(諸如優(yōu)化比率/失真比)的一些優(yōu)化幀結(jié)構(gòu)中，后者參數(shù)由編碼器20確定。

例如，幀內(nèi)預(yù)測(cè)模塊36可以確定當(dāng)前部分的空間預(yù)測(cè)參數(shù)，比如預(yù)測(cè)方向，視頻141的同一幀的相鄰的已重建的部分的內(nèi)容沿該預(yù)測(cè)方向擴(kuò)展到/復(fù)制到當(dāng)前部分，以預(yù)測(cè)所述當(dāng)前部分。幀間預(yù)測(cè)模塊38可以使用運(yùn)動(dòng)補(bǔ)償來(lái)從事先重建幀預(yù)測(cè)當(dāng)前部分，并且所涉及的幀間預(yù)測(cè)參數(shù)可以包括運(yùn)動(dòng)矢量、參考幀指數(shù)(index)、有關(guān)當(dāng)前部分的運(yùn)動(dòng)預(yù)測(cè)細(xì)分信息、假設(shè)數(shù)量或其任意組合。組合器40可以對(duì)模塊36及38提供的一個(gè)或多個(gè)預(yù)測(cè)進(jìn)行組合或僅選擇其中之一。組合器或選擇器40將當(dāng)前部分所得的預(yù)測(cè)分別轉(zhuǎn)發(fā)給減法器24的插入輸入端以及加法器30的另一輸入端。

在減法器24的輸出端，輸出當(dāng)前部分的預(yù)測(cè)的殘余，量化/變換模塊36配置為通過(guò)量化變換系數(shù)來(lái)變換該殘余信號(hào)。該變換可以是任意頻譜分解變換，比如dct。由于該量化，量化/變換模塊36的處理結(jié)果是不可逆轉(zhuǎn)。也就是說(shuō)，會(huì)發(fā)生編碼損耗。模塊26的輸出端是在數(shù)據(jù)流內(nèi)傳輸?shù)臍堄嘈盘?hào)421。在模塊28中對(duì)殘余信號(hào)421進(jìn)行去量化和反相變換處理以盡可能重建殘余信號(hào)，即，以對(duì)應(yīng)于由減法器24輸出的殘余信號(hào)，盡管存在量化噪聲。加法器30通過(guò)求和將重建殘余信號(hào)和當(dāng)前部分的預(yù)測(cè)組合在一起。其他組合也是可行的。例如，減法器24可以實(shí)施為按比例測(cè)量殘余的除法器，根據(jù)可選的實(shí)施方式，加法器可以實(shí)施為重建當(dāng)前部分的乘法器。加法器30的輸出端由此表示當(dāng)前部分的初步重建。然而，模塊32中的進(jìn)一步處理可以任選以用于增強(qiáng)重建。這樣的進(jìn)一步處理例如可包括解塊、自適應(yīng)濾波等。在解碼圖像緩沖器34中對(duì)目前可用的所有重建進(jìn)行緩沖處理。因此，解碼圖像緩沖器34緩沖視頻141的事先重建幀以及當(dāng)前部分所屬的當(dāng)前幀的事先重建部分。

為了使解碼器能夠從數(shù)據(jù)流18重建多視點(diǎn)信號(hào)，量化/變換模塊26將殘余信號(hào)421轉(zhuǎn)發(fā)至編碼器20的多路復(fù)用器44。同時(shí)，預(yù)測(cè)模塊36將幀內(nèi)預(yù)測(cè)參數(shù)461轉(zhuǎn)發(fā)至多路復(fù)用器44，幀間預(yù)測(cè)模塊38將幀間預(yù)測(cè)參數(shù)481轉(zhuǎn)發(fā)至多路復(fù)用器44，進(jìn)一步處理模塊32將進(jìn)一步處理參數(shù)501轉(zhuǎn)發(fā)至多路復(fù)用器44，該多路復(fù)用器44從而使所有信息多路復(fù)用或?qū)⑵洳迦霐?shù)據(jù)流18。

從以上討論清楚可見(jiàn)，根據(jù)圖1的實(shí)施方式，通過(guò)編碼支路22v,1的視頻141的編碼是獨(dú)立的，在于編碼操作獨(dú)立于深度/視差圖數(shù)據(jù)161和其他視點(diǎn)122中的任何一個(gè)的數(shù)據(jù)。從總體上來(lái)看，編碼支路22v,1可看成是通過(guò)確定編碼參數(shù)，根據(jù)第一編碼參數(shù)從視頻141的事先編碼部分預(yù)測(cè)視頻141的當(dāng)前部分，并確定當(dāng)前部分的預(yù)測(cè)誤差以獲得誤差數(shù)據(jù)(即，上述殘余信號(hào)421)來(lái)將視頻141編碼成數(shù)據(jù)流18，其中，視頻141的事先編碼部分在所述當(dāng)前部分的編碼之前由編碼器20編碼成數(shù)據(jù)流18。將編碼參數(shù)和校正數(shù)據(jù)插入數(shù)據(jù)流18中。

剛才提及的通過(guò)編碼支路22v,1插入數(shù)據(jù)流18的編碼參數(shù)可以包含以下項(xiàng)中的一個(gè)、組合或全部：

-首先，視頻141的編碼參數(shù)可以限定/信號(hào)告知如前面簡(jiǎn)述的視頻141的幀的分割。

-另外，編碼參數(shù)可以包括指示每個(gè)區(qū)段或當(dāng)前部分的編碼模式信息，哪個(gè)編碼模式用于預(yù)測(cè)各個(gè)區(qū)段，比如幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)或其組合。

-編碼參數(shù)還可以包括剛才提及的預(yù)測(cè)參數(shù)，比如用于通過(guò)幀內(nèi)預(yù)測(cè)所預(yù)測(cè)的部分/區(qū)段的幀內(nèi)預(yù)測(cè)參數(shù)，以及用于幀間預(yù)測(cè)部分/區(qū)段的幀間預(yù)測(cè)參數(shù)。

-然而，編碼參數(shù)還可以包括進(jìn)一步處理參數(shù)501，所述參數(shù)向解碼側(cè)信號(hào)告知如何在使用同一處理來(lái)處理視頻141的當(dāng)前或隨后部分進(jìn)行預(yù)測(cè)之前來(lái)對(duì)視頻141的已經(jīng)重建的部分進(jìn)行進(jìn)一步的處理。這些進(jìn)一步處理參數(shù)501可包括指示各個(gè)濾波器、濾波器系數(shù)等的指數(shù)。

-預(yù)測(cè)參數(shù)461，481及進(jìn)一步處理參數(shù)501甚至還可以包括子分割數(shù)據(jù)，以相對(duì)于限定模式選擇的粒度或限定完全獨(dú)立分割的前述分割限定進(jìn)一步子分割，例如，在進(jìn)一步處理中應(yīng)用幀的不同部分的不同自適應(yīng)濾波器。

-編碼參數(shù)還可能會(huì)影響殘余信號(hào)的確定，由此是殘余信號(hào)421的一部分。例如，由量化/變換模塊26輸出的頻譜變換系數(shù)等級(jí)可以看作是校正數(shù)據(jù)，而量化步長(zhǎng)在數(shù)據(jù)流18中可以被信號(hào)告知，從以下提出的描述的意義上講，量化步長(zhǎng)參數(shù)可以看作是編碼參數(shù)。

-編碼參數(shù)還可限定預(yù)測(cè)參數(shù)，所述預(yù)測(cè)參數(shù)限定上文討論的第一預(yù)測(cè)階段的預(yù)測(cè)殘差的第二階段預(yù)測(cè)。因此，可以使用幀內(nèi)/幀間預(yù)測(cè)。

為了提高編碼效率，編碼器20包括編碼信息交換模塊52，該編碼信息交換模塊接收所有編碼參數(shù)以及影響或受模塊36、38、32內(nèi)的處理影響的進(jìn)一步的信息，例如，如由從各個(gè)模塊向下指向編碼信息交換模塊52的垂直延伸的箭頭所示例性指示的。編碼信息交換模塊52用于共享編碼參數(shù)并可選地共享編碼支路22之間的進(jìn)一步的編碼信息，以所述分支可以預(yù)測(cè)或采用彼此的編碼參數(shù)。在圖1的實(shí)施方式中，為了實(shí)現(xiàn)這個(gè)目的，在數(shù)據(jù)實(shí)體之間定義順序，即，多視點(diǎn)信號(hào)10的視點(diǎn)121及122的視頻和深度/視差圖數(shù)據(jù)。具體地，第一視點(diǎn)121的視頻141在第一視點(diǎn)的深度/視差圖數(shù)據(jù)161之前，隨后是第二視點(diǎn)122的視頻142，再后是第二視點(diǎn)122的深度/視差圖數(shù)據(jù)162，以此類推。此處應(yīng)注意的是，多視點(diǎn)信號(hào)10的數(shù)據(jù)實(shí)體之間的嚴(yán)格順序不需要嚴(yán)格適用于整個(gè)多視點(diǎn)信號(hào)10的編碼，但為了更便于討論，假設(shè)在下文中該順序是不變的。數(shù)據(jù)實(shí)體之間的順序自然定義了與此相關(guān)聯(lián)的支路22的順序。

如上所述，另外的編碼支路22比如編碼支路22d,1，22v,2及22d,2操作的方式類似于編碼支路22v,1，以分別編碼各個(gè)輸入161，142及162。然而，由于剛才提到的視點(diǎn)121及122的視頻和深度/視差圖數(shù)據(jù)之間的順序，以及在編碼支路22之間定義的相應(yīng)順序，編碼支路22d,1在預(yù)測(cè)將被用于編碼第一視點(diǎn)121的深度/視差圖數(shù)據(jù)161的當(dāng)前部分的方面具有另外的自由度。這是由于不同視點(diǎn)的視頻和深度/視差圖數(shù)據(jù)之間的前述順序造成的。例如，允許這些實(shí)體中的每一個(gè)利用自身的重建部分以及按照這些數(shù)據(jù)實(shí)體之間的前述順序居先的實(shí)體進(jìn)行編碼。相應(yīng)地，在編碼深度/視差圖數(shù)據(jù)161的過(guò)程中，允許編碼支路22d,1使用從對(duì)應(yīng)視頻141的事先重建部分已知的信息。下面將更詳細(xì)地描述支路22d,1如何利用視頻141的重建部分來(lái)預(yù)測(cè)深度/視差圖數(shù)據(jù)161的某些屬性，所述屬性使深度/視差圖數(shù)據(jù)161的壓縮具有更好的壓縮率。然而，除此之外，編碼支路22d,1能夠預(yù)測(cè)/采用上述編碼視頻141的過(guò)程中所涉及的編碼參數(shù)，以便獲得用于編碼深度/視差圖數(shù)據(jù)161的編碼參數(shù)。在采用的情況下，可以抑制有關(guān)數(shù)據(jù)流18中的深度/視差圖數(shù)據(jù)161的任何編碼參數(shù)的信號(hào)告知。在預(yù)測(cè)的情況下，只有有關(guān)這些編碼參數(shù)的預(yù)測(cè)殘差/校正數(shù)據(jù)才可能需要在數(shù)據(jù)流18中信號(hào)告知。下面將對(duì)編碼參數(shù)的這樣的預(yù)測(cè)/采用的實(shí)例進(jìn)行進(jìn)一步描述。

對(duì)后續(xù)數(shù)據(jù)實(shí)體(即，第二視點(diǎn)122的視頻142和深度/視差圖數(shù)據(jù)161)而言存在另外的預(yù)測(cè)性能。就這些編碼支路而言，幀間預(yù)測(cè)模塊自身不但能夠執(zhí)行時(shí)間預(yù)測(cè)，而且還能執(zhí)行視點(diǎn)間預(yù)測(cè)。對(duì)應(yīng)的幀間預(yù)測(cè)參數(shù)包括與時(shí)間預(yù)測(cè)相比來(lái)說(shuō)相似的信息，即，每視點(diǎn)間預(yù)測(cè)區(qū)段、視差矢量、視點(diǎn)指數(shù)、參考幀指數(shù)和/或多個(gè)假設(shè)的指示，即，通過(guò)求和方式參與形成視點(diǎn)間預(yù)測(cè)的多個(gè)幀間預(yù)測(cè)的指示。這樣的視點(diǎn)間預(yù)測(cè)不但對(duì)于有關(guān)視頻142的支路22v,2是可用的，而且對(duì)于有關(guān)深度/視差圖數(shù)據(jù)162的支路22d,2的幀間預(yù)測(cè)模塊38也是可用的。當(dāng)然，這些視點(diǎn)間預(yù)測(cè)參數(shù)也表示可作為用于可能的第三視點(diǎn)(然而，圖1中未示出)的隨后的視點(diǎn)數(shù)據(jù)的采用/預(yù)測(cè)基礎(chǔ)的編碼參數(shù)。

由于上述措施，進(jìn)一步減少了通過(guò)多路復(fù)用器44插入數(shù)據(jù)流18的數(shù)據(jù)量。具體地，通過(guò)采用前面的編碼支路的編碼參數(shù)或僅經(jīng)由多路復(fù)用器44將與此相關(guān)的預(yù)測(cè)殘差插入數(shù)據(jù)流18，可以大大減少編碼支路22d,1，22v,2及22d,2的編碼參數(shù)的量。由于能夠在時(shí)間預(yù)測(cè)和視點(diǎn)間預(yù)測(cè)之間選擇，因此也可減少編碼支路22v,2及22d,2的殘余數(shù)據(jù)423及424的量。殘余數(shù)據(jù)量的減少以區(qū)分時(shí)間和視點(diǎn)間預(yù)測(cè)模式的方式過(guò)度補(bǔ)償了另外的編碼工作。

參照?qǐng)D2以更詳細(xì)說(shuō)明編碼參數(shù)采用/預(yù)測(cè)的原理。圖2示出了多視點(diǎn)信號(hào)10的示例性部分。圖2示出了被分割成區(qū)段或部分60a，60b及60c的視頻幀v1,t。為了簡(jiǎn)化，只示出了幀v1,t的三個(gè)部分，盡管分割可以無(wú)縫且無(wú)間隙地將幀劃分為多個(gè)區(qū)段/部分。如前所述，視頻幀v1,t的分割可以是固定的，也可以隨時(shí)間變化，并且分割可以在數(shù)據(jù)流中信號(hào)告知或不告知。圖2示出了使用來(lái)自視頻141的任何參考幀(在本情況下為示例性幀v1,t-1)的重建版本的運(yùn)動(dòng)矢量62a及62b時(shí)間地預(yù)測(cè)部分60a及60b。如在本領(lǐng)域中已知的那樣，視頻141的幀之間的編碼順序可能與這些幀之間的呈現(xiàn)順序不一致，因此，參考幀可以按呈現(xiàn)時(shí)間順序接替當(dāng)前幀v1,t。部分60c例如是將幀內(nèi)預(yù)測(cè)參數(shù)插入數(shù)據(jù)流18的幀內(nèi)預(yù)測(cè)部分。

在編碼深度/視差圖d1,t的過(guò)程中，編碼支路22d,1可以通過(guò)在下文中相對(duì)于圖2舉例說(shuō)明的一種或多種方式利用上述可能性。

-例如，在編碼深度/視差圖d1,t的過(guò)程中，編碼支路22d,1可以采用由編碼支路22v,1所使用的視頻幀v1,t的分割。相應(yīng)地，如果視頻幀v1,t的編碼參數(shù)內(nèi)存在分割參數(shù)，則可避免重發(fā)深度/視差圖數(shù)據(jù)d1,t。可選地，通過(guò)經(jīng)由數(shù)據(jù)流18信號(hào)告知相對(duì)于視頻幀v1,t的分割偏差，編碼支路22d,1可以使用視頻幀v1,t的分割作為用于深度/視差圖d1,t的分割的基礎(chǔ)/預(yù)測(cè)。圖2示出了編碼支路22d,1使用視頻幀v1的分割作為深度/視差圖d1,t的預(yù)分割。也就是說(shuō)，編碼支路22d,1采用來(lái)自視頻v1,t的分割的預(yù)分割或從其預(yù)測(cè)所述預(yù)分割。

-此外，編碼支路22d,1可以從分配給視頻幀v1,t中的各個(gè)部分60a，60b及60c的編碼模式采用或預(yù)測(cè)深度/視差圖d1,t的部分66a，66b及66c的編碼模式。在視頻幀v1,t和深度/視差圖d1,t之間的分割不同的情況下，可以對(duì)從視頻幀v1,t采用/預(yù)測(cè)編碼模式進(jìn)行控制，從而使得從視頻幀v1,t分割的協(xié)同定位部分獲得采用/預(yù)測(cè)。協(xié)同定位的適當(dāng)定義如下。深度/視差圖d1,t中的當(dāng)前部分的視頻幀v1,t中的協(xié)同定位部分例如可以是包括深度/視差圖d1,t中的當(dāng)前幀的左上角處的協(xié)同位置的部分。在預(yù)測(cè)編碼模式的情況下，編碼支路22d,1可以信號(hào)告知深度/視差圖d1,t的部分66a-66c的編碼模式相對(duì)于數(shù)據(jù)流18中明確地信號(hào)告知的視頻幀v1,t中的編碼模式的偏差。

-只要涉及預(yù)測(cè)參數(shù)，編碼支路22d,1可自由地空間采用或預(yù)測(cè)用來(lái)對(duì)在同一深度/視差圖d1,t中的相鄰部分進(jìn)行編碼的預(yù)測(cè)參數(shù)，或者從用來(lái)對(duì)視頻幀v1,t的協(xié)同定位部分66a-66c進(jìn)行編碼的預(yù)測(cè)參數(shù)采用/預(yù)測(cè)所述預(yù)測(cè)參數(shù)。例如，圖2示出了深度/視差圖d1,t的部分66a是幀間預(yù)測(cè)部分，并且可以從視頻幀v1,t的協(xié)同定位部分60a的運(yùn)動(dòng)矢量62a來(lái)采用或預(yù)測(cè)對(duì)應(yīng)的運(yùn)動(dòng)矢量68a。在預(yù)測(cè)的情況下，只將運(yùn)動(dòng)矢量差插入數(shù)據(jù)流18，作為幀間預(yù)測(cè)參數(shù)482的一部分。

-就編碼效率而言，使得編碼支路22d,1能夠利用所謂的楔形波分隔線(wedgeletseparationline)70將深度/視差圖d1,t的預(yù)分割區(qū)段進(jìn)行細(xì)分，并將該楔形波分割線70的位置信號(hào)告知數(shù)據(jù)流18中的解碼側(cè)，這對(duì)于編碼支路22d,1來(lái)說(shuō)是有利的。通過(guò)這種措施，在圖2的實(shí)例中，深度/視差圖d1,t的部分66c被細(xì)分為兩個(gè)楔形波形部分72a及72b。編碼支路22d,1可以被配置為分別編碼子區(qū)段72a及72b。就圖2而言，這兩個(gè)子區(qū)段72a及72b都示例性地利用各自的運(yùn)動(dòng)矢量68c及68d進(jìn)行幀間預(yù)測(cè)。在對(duì)這兩個(gè)子區(qū)段72a及72b進(jìn)行幀內(nèi)預(yù)測(cè)(intraprediction)的情況下，通過(guò)外推相鄰因果區(qū)段的dc值來(lái)導(dǎo)算出每個(gè)區(qū)段的dc值，通過(guò)將相應(yīng)細(xì)化的dc值發(fā)送給解碼器作為幀內(nèi)預(yù)測(cè)參數(shù)來(lái)選擇細(xì)化這些導(dǎo)出dc值中的每一個(gè)。存在使解碼器能夠確定由編碼器所用來(lái)細(xì)分深度/視差圖的預(yù)分割的楔形波分隔線的若干可能性。編碼支路22d,1可以被配置為專用這些可能性中的任一個(gè)?？蛇x地，編碼支路22d,1可以自由地選擇以下編碼選項(xiàng)，且將所述選擇作為數(shù)據(jù)流18中的邊信息(sideinformation)信號(hào)告知解碼器。

楔形波分隔線70例如可以是直線。將該線70的位置信號(hào)告知解碼側(cè)可以包括信號(hào)告知沿區(qū)段66c的邊界的交叉點(diǎn)以及傾斜或梯度信息或楔形波分隔線70與區(qū)段66c的邊界的兩個(gè)交叉點(diǎn)的指示。在實(shí)施方式中，楔形波分隔線70可利用楔形波分隔線70與區(qū)段66c的邊界的兩個(gè)交叉點(diǎn)的指示在數(shù)據(jù)流中明確信號(hào)告知，其中表示可能的交叉點(diǎn)的網(wǎng)格的粒度，即，交叉點(diǎn)指示的粒度或分辨率，可以取決于區(qū)段66c的尺寸或編碼參數(shù)，比如量化參數(shù)等。

在利用二進(jìn)方塊通過(guò)基于四叉樹的區(qū)塊劃分給出預(yù)分割的可選實(shí)施方式中，可以以查找表(lut)的形式給出每個(gè)區(qū)塊大小的交叉點(diǎn)的容許集，從而使得每個(gè)交叉點(diǎn)的信號(hào)告知涉及對(duì)應(yīng)的lut索引的信號(hào)告知。

然而，根據(jù)另一種可能性，編碼支路22d,1使用解碼圖像緩沖器34中的視頻幀v1,t的重建部分60c，以便預(yù)測(cè)楔形波分隔線70的位置，并在數(shù)據(jù)流中將實(shí)際用于編碼區(qū)段66c的楔形波分隔線70的偏差(如果有的話)信號(hào)告知解碼器。具體地，模塊52可以在與深度/視差圖d1,t的部分66c的位置對(duì)應(yīng)的位置處對(duì)視頻v1,t執(zhí)行邊緣檢測(cè)。例如，該檢測(cè)對(duì)視頻幀v1,t中的一些定標(biāo)特征比如亮度、亮度分量或色度分量或色度等的空間梯度超過(guò)某一最小閾值的邊緣是敏感。模塊52可基于該邊緣72的位置確定楔形波分隔線70，以便該線沿邊緣72延伸。因?yàn)榻獯a器也訪問(wèn)了重建視頻幀v1,t，解碼器能夠確定楔形波分隔線70以便將部分66c細(xì)分為楔形波形子部分72a及72b。從而節(jié)省了用來(lái)信號(hào)告知楔形波分隔線70的信令容量。具有表示楔形波分隔線位置的部分66c大小相關(guān)的分辨率的方面也適用于通過(guò)邊緣檢測(cè)確定線70的位置的方面并根據(jù)預(yù)測(cè)位置傳送可選偏離。

在編碼視頻142的過(guò)程中，編碼支路22v,2除了可用于編碼支路22v,1的編碼模式選項(xiàng)之外，還具有幀間視點(diǎn)預(yù)測(cè)(inter-viewprediction)選項(xiàng)。

例如，圖2示出了視頻幀v2,t的分割的部分64b是從第一視點(diǎn)視頻141的時(shí)間相應(yīng)視頻幀v1,t利用視差矢量76預(yù)測(cè)得到的幀間視點(diǎn)。

盡管存在差異，編碼支路22v,2還可以利用從視頻幀v1,t和深度/視差圖d1,t編碼為可用的所有信息，比如，特別是，這些編碼中所使用的編碼參數(shù)。因此，編碼支路22v,2可以從時(shí)間對(duì)準(zhǔn)視頻幀v1,t和深度/視差圖d1,t的協(xié)同定位部分60a及66a的運(yùn)動(dòng)矢量62a及68a的任意一個(gè)或組合采用或預(yù)測(cè)包括視頻幀v2,t的時(shí)間幀內(nèi)預(yù)測(cè)部分74a的運(yùn)動(dòng)矢量78的運(yùn)動(dòng)參數(shù)。如果有的話，可以相對(duì)于部分74a的幀間預(yù)測(cè)參數(shù)信號(hào)告知預(yù)測(cè)殘差。因此，應(yīng)該指出，運(yùn)動(dòng)矢量68a可能已經(jīng)根據(jù)運(yùn)動(dòng)矢量62a自身進(jìn)行了預(yù)測(cè)/采用。

相對(duì)于深度/視差圖d1,t的編碼的如上所述的采用/預(yù)測(cè)用于編碼視頻幀v2,t的編碼參數(shù)的其他可能性可用于通過(guò)編碼支路22v,2對(duì)視頻幀v2,t進(jìn)行的編碼，然而，由模塊52分布的可用的共用數(shù)據(jù)會(huì)增加，因?yàn)橐曨l幀v1,t和相應(yīng)深度/視差圖d1,t的編碼參數(shù)都可用。

然后，與編碼支路22d,1編碼深度/視差圖d1,t類似，編碼支路22d,2編碼深度/視差圖d2,t。對(duì)于從相同視點(diǎn)122的視頻幀v2,t的所有編碼參數(shù)采用/預(yù)測(cè)情況來(lái)說(shuō)，這是真的。然而，另外，編碼支路22d,2有機(jī)會(huì)從已用于編碼前面的視點(diǎn)121的深度/視差圖d1,t的編碼參數(shù)采用/預(yù)測(cè)編碼參數(shù)。另外，編碼支路22d,2可以使用相對(duì)于編碼支路22v,2所說(shuō)明的幀間視點(diǎn)預(yù)測(cè)。

就編碼參數(shù)采用/預(yù)測(cè)而言，需要將編碼支路22d,2從多視點(diǎn)信號(hào)10的事先編碼實(shí)體的編碼參數(shù)采用/預(yù)測(cè)其編碼參數(shù)的可能性限制至同一視點(diǎn)122的視頻142及相鄰的事先編碼視點(diǎn)121的深度/視差圖數(shù)據(jù)161，以降低信令開銷，所述信令開銷源自信號(hào)告知數(shù)據(jù)流18中的編碼側(cè)用于度/視差圖d2,t的各個(gè)部分的采用/預(yù)測(cè)來(lái)源的必要性。例如，編碼支路22d,2可以從視頻幀v2,t的協(xié)同定位部分74b的視差矢量76預(yù)測(cè)包括視差矢量82的深度/視差圖d2,t的幀間視點(diǎn)預(yù)測(cè)部分80a的預(yù)測(cè)參數(shù)。在這種情況下，根據(jù)其進(jìn)行了采用/預(yù)測(cè)的數(shù)據(jù)實(shí)體的指示，即，圖2的視頻142，可以被省略，因?yàn)橐曨l142只有可能是深度/視差圖d2,t的視差矢量采用/預(yù)測(cè)的來(lái)源。然而，在采用/預(yù)測(cè)時(shí)間幀間預(yù)測(cè)部分80b的幀間預(yù)測(cè)參數(shù)的過(guò)程中，編碼支路22d,2可以從運(yùn)動(dòng)矢量78，68a及62a中的任何一個(gè)采用/預(yù)測(cè)對(duì)應(yīng)的運(yùn)動(dòng)矢量84，因此，編碼支路22d,2可以被配置為在數(shù)據(jù)流18中信號(hào)告知運(yùn)動(dòng)矢量84的采用/預(yù)測(cè)來(lái)源。因此，將可能的來(lái)源限制到視頻142和深度/視差圖161減少了開銷。

就分隔線而言，編碼支路22d,2除了上文已討論的選項(xiàng)之外還具有以下選項(xiàng)：

為了利用楔形波分隔線編碼視點(diǎn)122的深度/視差圖d2,t，可以比如通過(guò)邊緣檢測(cè)并隱含地推導(dǎo)出相應(yīng)的楔形波分隔線來(lái)使用信號(hào)d1,t的對(duì)應(yīng)的視差補(bǔ)償部分。視差補(bǔ)償然后用于將深度/視差圖d1,t中的檢測(cè)線傳遞給深度/視差圖d2,t。對(duì)于視差補(bǔ)償來(lái)說(shuō)，可以使用沿深度/視差圖d1,t中的各個(gè)檢測(cè)邊緣的前景深度/視差值。

可選地，為了利用楔形波分隔線編碼視點(diǎn)122的深度/視差圖d2,t，可以通過(guò)使用d1,t的視差補(bǔ)償部分中的楔形波分隔線，即，使用用于編碼信號(hào)d1,t的協(xié)同定位部分的楔形波分隔線作為預(yù)測(cè)子(predictor)或采用該分隔線，來(lái)使用信號(hào)d1,t的相應(yīng)視差補(bǔ)償部分。

在描述圖1的編碼器20之后，應(yīng)注意的是，該編碼器可以軟件、硬件或固件，即，可編程硬件實(shí)現(xiàn)。盡管圖1的框圖提出了編碼器20在結(jié)構(gòu)上包括并行編碼支路，即，多視點(diǎn)信號(hào)10一個(gè)編碼支路和深度/視差數(shù)據(jù)一個(gè)編碼支路，但這并不一定如此。例如，分別被配置為執(zhí)行元件24-40的任務(wù)的軟件程序、電路部分或可編程邏輯部分可以被順序用于完成每個(gè)編碼支路的任務(wù)。在并行處理過(guò)程中，可以對(duì)并行處理器核或并行運(yùn)行電路執(zhí)行并行編碼支路的處理。

圖3示出了解碼器的實(shí)例，該解碼器能夠解碼數(shù)據(jù)流18以便從數(shù)據(jù)流18重建與由多視點(diǎn)信號(hào)表示的場(chǎng)景對(duì)應(yīng)的一個(gè)或幾個(gè)視點(diǎn)視頻。在很大程度上，圖3的解碼器的結(jié)構(gòu)和功能類似于圖2的編碼器，從而盡可能重新使用圖1的參考標(biāo)號(hào)來(lái)表示上文相對(duì)于圖1提供的功能描述同樣適用于圖3。

圖3的解碼器一般用參考標(biāo)號(hào)100表示，并包括用于數(shù)據(jù)流18的輸入端以及用于輸出前述一個(gè)或幾個(gè)視點(diǎn)102的重建的輸出端。解碼器100包括解多路復(fù)用器104和用于由數(shù)據(jù)流18表示的多視點(diǎn)信號(hào)10(圖1)的每個(gè)數(shù)據(jù)實(shí)體的一對(duì)解碼支路106以及視點(diǎn)提取器108和編碼參數(shù)交換器110。如與圖1的編碼器的情況一樣，解碼支路106在相同互連中包括相同解碼元件，相應(yīng)地，相對(duì)于負(fù)責(zé)解碼第一視點(diǎn)121的視頻141的解碼支路106v,1代表性地描述所述解碼分支。具體地，每個(gè)編碼支路106包括與多路復(fù)用器104的各個(gè)輸出端連接的輸入端以及與視點(diǎn)提取器108的各個(gè)輸入端連接以便向視點(diǎn)提取器108輸出多視點(diǎn)信號(hào)10的各個(gè)數(shù)據(jù)實(shí)體即，解碼支路106v,1情況下的視頻141的輸出端。其中，每個(gè)編碼支路106都包括串聯(lián)連接在多路復(fù)用器104和視點(diǎn)提取器108之間的去量化/反相變換模塊28、加法器30、進(jìn)一步處理模塊32以及解碼圖像緩沖器34。加法器30、進(jìn)一步處理模塊32以及解碼圖像緩沖器34和跟隨在組合器/選擇器40之后的預(yù)測(cè)模塊36及38(以上述順序)的并聯(lián)(連接在解碼圖像緩沖器34和加法器30的另一輸入端之間)構(gòu)成一個(gè)回路。正如利用圖1的相同參考標(biāo)號(hào)所表示的那樣，解碼支路106的元件28至40的結(jié)構(gòu)和功能與圖1中的編碼支路的相應(yīng)元件的相似之處在于，解碼支路106的元件利用數(shù)據(jù)流18中傳遞的信息模擬編碼過(guò)程的處理。自然，解碼支路106僅相對(duì)于由解碼器20最終選擇的編碼參數(shù)反轉(zhuǎn)編碼程序，而圖1的編碼器20從優(yōu)化程度來(lái)說(shuō)必須找出一組最優(yōu)的編碼參數(shù)，比如優(yōu)化比率/失真成本函數(shù)的編碼參數(shù)，任選要受一定限制，比如最大比特率等。

解多路復(fù)用器104用于向各個(gè)解碼支路106分配數(shù)據(jù)流18。例如，解多路復(fù)用器104為去量化/反相變換模塊28提供殘余數(shù)據(jù)421，為進(jìn)一步處理模塊32提供進(jìn)一步處理參數(shù)501，為幀內(nèi)預(yù)測(cè)模塊36提供幀內(nèi)預(yù)測(cè)參數(shù)461，為幀間預(yù)測(cè)模塊38提供幀間預(yù)測(cè)參數(shù)481。編碼參數(shù)交換器110的作用與圖1中的相應(yīng)模塊52一樣，以便在各個(gè)解碼支路106中分配共用編碼參數(shù)和其他共用數(shù)據(jù)。

視點(diǎn)提取器108接收由并行解碼支路106重建的多視點(diǎn)信號(hào)并從中提取與外部提供的中間視點(diǎn)提取控制數(shù)據(jù)112規(guī)定的視角或視向(viewdirection)對(duì)應(yīng)的一個(gè)或多個(gè)視點(diǎn)102。

由于解碼器100與編碼器20的相應(yīng)部分的構(gòu)造類似，因此可與以上描述類似地簡(jiǎn)單說(shuō)明視點(diǎn)提取器108的接口的功能。

實(shí)際上，解碼支路106v,1和106d,1一起操作以根據(jù)數(shù)據(jù)流18中包含的第一編碼參數(shù)(比如，421中的定標(biāo)參數(shù)、參數(shù)461，481，501、相應(yīng)的未采用的參數(shù)以及第二支路16d1的編碼參數(shù)的預(yù)測(cè)殘差，即參數(shù)462，482，502)，通過(guò)從多視點(diǎn)信號(hào)10的事先重建部分預(yù)測(cè)第一視點(diǎn)121的當(dāng)前部分并利用例如421和422中的，同樣包含在數(shù)據(jù)流18中的第一校正數(shù)據(jù)校正第一視點(diǎn)121的當(dāng)前部分預(yù)測(cè)的預(yù)測(cè)誤差，來(lái)重建數(shù)據(jù)流18的多視點(diǎn)信號(hào)10的第一視點(diǎn)121，其中，所述多視點(diǎn)信號(hào)10的事先重建部分在第一視點(diǎn)121的重建之前從數(shù)據(jù)流18被重建。當(dāng)解碼支路106v,1負(fù)責(zé)解碼視頻141時(shí)，編碼支路106d,1假設(shè)負(fù)責(zé)重建深度/視差圖數(shù)據(jù)161。例如，參見(jiàn)圖2：根據(jù)從數(shù)據(jù)流18讀取的相應(yīng)編碼參數(shù)，即，421中的定標(biāo)參數(shù)、參數(shù)461，481，501，解碼支路106v,1通過(guò)從多視點(diǎn)信號(hào)10的事先重建部分預(yù)測(cè)視頻141的當(dāng)前部分(諸如，60a，60b或60c)并使用從數(shù)據(jù)流18，即從421中的變換系數(shù)等級(jí)獲得的相應(yīng)校正數(shù)據(jù)校正該預(yù)測(cè)的預(yù)測(cè)誤差，來(lái)從數(shù)據(jù)流18重建第一視點(diǎn)121的視頻141。例如，解碼支路106v,1以區(qū)段/部分為單位利用視頻幀之間的編碼順序?qū)σ曨l141進(jìn)行處理，為了編碼幀內(nèi)的區(qū)段，這些幀的區(qū)段之間的編碼順序就像編碼器的相應(yīng)編碼支路所做的那樣。相應(yīng)地，視頻141的所有的事先重建部分都可用于預(yù)測(cè)當(dāng)前部分。用于當(dāng)前部分的編碼參數(shù)可以包括幀內(nèi)預(yù)測(cè)參數(shù)501、幀間預(yù)測(cè)參數(shù)481、用于進(jìn)一步處理模塊32的濾波參數(shù)等中的一個(gè)或多個(gè)。用于校正預(yù)測(cè)誤差的校正數(shù)據(jù)可以由殘余數(shù)據(jù)421中的頻譜變換系數(shù)等級(jí)表示。并非所有這些編碼參數(shù)都需要全部傳送。它們中的一部分可能已經(jīng)從視頻141的相鄰區(qū)段的編碼參數(shù)進(jìn)行了空間預(yù)測(cè)處理。視頻141的運(yùn)動(dòng)矢量例如可以在比特流內(nèi)作為視頻141的相鄰部分/區(qū)段的運(yùn)動(dòng)矢量之間的運(yùn)動(dòng)矢量差而傳送。

只要涉及第二解碼支路106d,1，該第二解碼支路不但對(duì)在數(shù)據(jù)流18中信號(hào)告知的并通過(guò)解多路復(fù)用器104分配給各個(gè)解碼支路106d,1的殘余數(shù)據(jù)422和相應(yīng)的預(yù)測(cè)和濾波參數(shù)，即，不是通過(guò)幀間視點(diǎn)邊界預(yù)測(cè)的編碼參數(shù)，進(jìn)行訪問(wèn)，而且可以間接地對(duì)經(jīng)由解多路復(fù)用器104提供給解碼支路106v,1的編碼參數(shù)和校正數(shù)據(jù)，或由此產(chǎn)生的、經(jīng)由編碼信息交換模塊110分配的任何信息進(jìn)行訪問(wèn)。因此，解碼支路106d,1從經(jīng)由解多路復(fù)用器104轉(zhuǎn)發(fā)至第一視點(diǎn)121的一對(duì)解碼支路106v,1及106d,1的編碼參數(shù)的一部分(其與尤其專用于并轉(zhuǎn)發(fā)至解碼支路106v,1的這些編碼參數(shù)的一部分部分重疊)確定用來(lái)重建深度/視差圖數(shù)據(jù)161的編碼參數(shù)。例如，解碼支路106d,1從在481中明確傳送的運(yùn)動(dòng)矢量62a確定運(yùn)動(dòng)矢量68a，在一方面作為與幀v1,t的另一個(gè)相鄰部分的運(yùn)動(dòng)矢量差，另一方面作為在482中明確傳送的運(yùn)動(dòng)矢量差。另外地或可選地，解碼支路106d,1可以使用上文相對(duì)于楔形波分隔線的預(yù)測(cè)而描述的視頻141的重構(gòu)部分來(lái)預(yù)測(cè)用來(lái)解碼深度/視差圖數(shù)據(jù)161的編碼參數(shù)。

更確切地說(shuō)，解碼支路106d,1通過(guò)使用至少部分地從由解碼支路106v,1所使用的編碼參數(shù)預(yù)測(cè)的和/或從解碼支路106v,1的解碼圖像緩沖器34中的視頻141的重建部分預(yù)測(cè)的編碼參數(shù)來(lái)從數(shù)據(jù)流重建第一視點(diǎn)121的深度/視差圖數(shù)據(jù)141。編碼參數(shù)的預(yù)測(cè)殘差可以經(jīng)由解多路復(fù)用器104從數(shù)據(jù)流18中獲得。用于解碼支路106d,1的其他編碼參數(shù)可以全部在數(shù)據(jù)流108中傳送或相對(duì)于另一個(gè)依據(jù)，即，參照已用于編碼深度/視差圖數(shù)據(jù)161自身的任意事先重建部分的編碼參數(shù)進(jìn)行傳送。基于這些編碼參數(shù)，解碼支路106d,1從深度/視差圖數(shù)據(jù)161的事先重建部分預(yù)測(cè)深度/視差圖數(shù)據(jù)141的當(dāng)前部分，并利用各個(gè)校正數(shù)據(jù)422校正預(yù)測(cè)深度/視差圖數(shù)據(jù)161的當(dāng)前部分的預(yù)測(cè)誤差，其中，所述深度/視差圖數(shù)據(jù)161的事先重建部分在重建深度/視差圖數(shù)據(jù)161的當(dāng)前部分之前由解碼支路106d,1從數(shù)據(jù)流18重建。

因此，數(shù)據(jù)流18可以包括一個(gè)部分，比如深度/視差圖數(shù)據(jù)161的部分66a，如下：

-指示用于當(dāng)前部分的編碼參數(shù)是否或哪一部分從例如視頻141的協(xié)同定位和時(shí)間校準(zhǔn)部分的(或從其他視頻141的特定數(shù)據(jù)，比如重建版本以便預(yù)測(cè)楔形波分隔線)對(duì)應(yīng)的編碼參數(shù)采用或預(yù)測(cè)，

-若是，在預(yù)測(cè)的情況下，則是編碼參數(shù)殘差，

-若否，則是當(dāng)前部分的所有編碼參數(shù)，其中，與深度/視差圖數(shù)據(jù)161的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的所有編碼參數(shù)都可以被信號(hào)告知為預(yù)測(cè)殘差，

-如果并非如上所述的所有編碼參數(shù)都要被預(yù)測(cè)/采用，則是當(dāng)前部分的編碼參數(shù)的剩余部分，其中與深度/視差圖數(shù)據(jù)161的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的編碼參數(shù)的剩余部分可以被信號(hào)告知為預(yù)測(cè)殘差。

例如，如果當(dāng)前部分是幀間預(yù)測(cè)部分，比如部分66a，則運(yùn)動(dòng)矢量68a可以在數(shù)據(jù)流18中被信號(hào)告知為從運(yùn)動(dòng)矢量62a被采用或預(yù)測(cè)。此外，解碼支路106d,1可以根據(jù)如上所述視頻141的重建部分中的檢測(cè)邊緣72預(yù)測(cè)楔形波分隔線70的位置并在數(shù)據(jù)流18中無(wú)信號(hào)告知的情況下或根據(jù)數(shù)據(jù)流18中的各個(gè)應(yīng)用信號(hào)告知應(yīng)用該楔形波分隔線70。換句話說(shuō)，用于當(dāng)前幀的楔形波分割線的應(yīng)用可以通過(guò)數(shù)據(jù)流18中的信號(hào)告知的方式被抑制或允許。甚至換言之，解碼支路106d,1可以有效預(yù)測(cè)深度/視差圖數(shù)據(jù)的當(dāng)前重建部分的外周(circumference)。

與如上文相對(duì)于編碼描述的那樣，第二視點(diǎn)122的一對(duì)解碼支路106v,2及106d,2的功能與第一視點(diǎn)121類似。這兩個(gè)支路協(xié)作以利用自身的編碼參數(shù)從數(shù)據(jù)流18重建多視點(diǎn)信號(hào)10的第二視點(diǎn)122。僅是這些編碼參數(shù)的一部分需要經(jīng)由解多路復(fù)用器104傳輸并分配給這兩個(gè)解碼支路106v,2及106d,2中的任一個(gè)，其沒(méi)有在視點(diǎn)141及142之間的邊界被采用/預(yù)測(cè)，可選地，為視點(diǎn)間預(yù)測(cè)部分的殘差。第二視點(diǎn)122的當(dāng)前部分從多視點(diǎn)信號(hào)10的事先重建部分進(jìn)行預(yù)測(cè)，并由此利用由解多路復(fù)用器104轉(zhuǎn)發(fā)給這對(duì)解碼支路106v,2及106d,2的校正數(shù)據(jù)，即423及424校正預(yù)測(cè)誤差，其中，所述多視點(diǎn)信號(hào)10的事先重建部分在第二視點(diǎn)122的各個(gè)當(dāng)前部分的重建之前通過(guò)解碼支路106中的任一個(gè)從數(shù)據(jù)流18中重建。

解碼支路106v,2被配置為至少部分地從由解碼支路106v,1及106d,1中的任意一個(gè)使用的編碼參數(shù)采用或預(yù)測(cè)其編碼參數(shù)?？梢詫?duì)視頻142的當(dāng)前部分呈現(xiàn)以下有關(guān)編碼參數(shù)的信息：

-指示當(dāng)前部分的編碼參數(shù)是否或哪一部分從例如視頻141或深度/視差數(shù)據(jù)161的協(xié)同定位和時(shí)間校準(zhǔn)部分的對(duì)應(yīng)的編碼參數(shù)被采用或被預(yù)測(cè)，

-若是，在預(yù)測(cè)的情況下，則是編碼參數(shù)殘差，

-若否，則是當(dāng)前部分的所有編碼參數(shù)，其中，與視頻142的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的所有編碼參數(shù)可以被信號(hào)告知為預(yù)測(cè)殘差，

-如果并非如上所述的所有編碼參數(shù)都要被預(yù)測(cè)/采用，則是當(dāng)前部分的編碼參數(shù)的剩余部分，其中，與視頻142的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的編碼參數(shù)的剩余部分可以被信號(hào)告知為預(yù)測(cè)殘差，

-數(shù)據(jù)流18中的信號(hào)告知可以用信號(hào)告知當(dāng)前部分74a是否要從全新的數(shù)據(jù)流中讀取此部分的相應(yīng)編碼參數(shù)，比如運(yùn)動(dòng)矢量78，相應(yīng)編碼參數(shù)是否進(jìn)行空間預(yù)測(cè)或是否根據(jù)第一視點(diǎn)121的視頻141或深度/視差圖數(shù)據(jù)161的協(xié)同定位部分的運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)，并且解碼支路106v,2是否可以相應(yīng)起作用，即，通過(guò)全部從數(shù)據(jù)流18中提取運(yùn)動(dòng)矢量78，采用或預(yù)測(cè)該運(yùn)動(dòng)矢量，在后一種情況下，從數(shù)據(jù)流18中提取有關(guān)當(dāng)前部分74a的編碼參數(shù)的預(yù)測(cè)誤差數(shù)據(jù)。

解碼支路106d,2可以進(jìn)行類似的操作。也就是說(shuō)，解碼支路106d,2可以至少部分地通過(guò)采用/預(yù)測(cè)而從由解碼支路106v,1、106d,1及106v,2中的任一個(gè)所使用的編碼參數(shù)，從第一視點(diǎn)121的重建視頻142和/或重建深度/視差圖數(shù)據(jù)161確定其編碼參數(shù)。例如，數(shù)據(jù)流18可以信號(hào)告知深度/視差圖數(shù)據(jù)162的當(dāng)前部分80b，當(dāng)前部分80b的編碼參數(shù)是否或者哪一部分從視頻141、深度/視差數(shù)據(jù)161以及視頻142或其適當(dāng)子集中的任一個(gè)的協(xié)同定位被采用或被預(yù)測(cè)。這些編碼參數(shù)所關(guān)注的部分可以涉及運(yùn)動(dòng)矢量比如84，或視差矢量比如視差矢量82。此外，其他編碼參數(shù)，比如有關(guān)楔形波分隔線的編碼參數(shù)，可以由解碼支路106d,2利用視頻142中的邊緣檢測(cè)推導(dǎo)出來(lái)?？蛇x地，邊緣檢測(cè)甚至可以通過(guò)應(yīng)用預(yù)定再投影而用于重建深度/視差圖數(shù)據(jù)161，以便將檢測(cè)邊緣在深度/視差圖d1,t中的位置傳遞給深度/視差圖d2,t，從而作為預(yù)測(cè)楔形波分隔線的位置的基礎(chǔ)。

多視點(diǎn)數(shù)據(jù)10的重建部分在任何情況都可到達(dá)視點(diǎn)提取器108，其中包含的視點(diǎn)是新視點(diǎn)(即，與這些新視點(diǎn)相關(guān)聯(lián)的視頻等)的視點(diǎn)提取基礎(chǔ)。該視點(diǎn)提取可以包括或涉及利用與此相關(guān)聯(lián)的深度/視差圖數(shù)據(jù)再投影所述視頻141及142。坦率地說(shuō)，在將視頻再投影到另一個(gè)中間視點(diǎn)的過(guò)程中，視頻的與位于接近觀察者的場(chǎng)景部分對(duì)應(yīng)的部分沿視差方向，即查看方向差矢量的方向的移動(dòng)超過(guò)視頻的與位于遠(yuǎn)離觀察者位置的場(chǎng)景部分對(duì)應(yīng)的部分。下面相對(duì)于圖4至圖6及圖8概述由視點(diǎn)提取器108執(zhí)行的視點(diǎn)提取的實(shí)例。去遮擋處理也可以由視點(diǎn)提取器執(zhí)行。

然而，在描述下文的另外的實(shí)施方式之前，應(yīng)注意的是，可以對(duì)上面列出的實(shí)施方式進(jìn)行幾處修改。例如，多視點(diǎn)信號(hào)10不一定要包括每個(gè)視點(diǎn)的深度/視差圖數(shù)據(jù)。甚至可以是，多視點(diǎn)信號(hào)10中沒(méi)有任何視點(diǎn)具有與此相關(guān)聯(lián)的深度/視差圖數(shù)據(jù)。然而，編碼參數(shù)重新使用或在上面列出的多個(gè)視點(diǎn)之間共享會(huì)使編碼效率得到提高。此外，對(duì)于某些視點(diǎn)來(lái)說(shuō)，可以限制深度/視差圖數(shù)據(jù)在數(shù)據(jù)流中傳送至去遮擋區(qū)域(disocclusionarea)，即，根據(jù)設(shè)定為不確定圖的剩余區(qū)域中的值的多視點(diǎn)信號(hào)的其他視點(diǎn)填充再投影視點(diǎn)中的去遮擋區(qū)域的區(qū)域。

如上所述，多視點(diǎn)信號(hào)10的視點(diǎn)121及122可以具有不同的空間分辨率。也就是說(shuō)，它們可以使用不同的分辨率在數(shù)據(jù)流18中傳輸。甚至換言之，編碼支路22v,1及22d,1執(zhí)行預(yù)測(cè)編碼的空間分辨率可能高于編碼支路22v,2及22d,2按照視點(diǎn)之間的上述順序?qū)^視點(diǎn)121之后的后續(xù)視點(diǎn)122執(zhí)行預(yù)測(cè)編碼的空間分辨率。本發(fā)明的發(fā)明人發(fā)現(xiàn)，在考慮到合成視點(diǎn)102的質(zhì)量時(shí)，該措施還提高了比率/失真比。例如，圖1的編碼器首先以相同的空間分辨率接收視點(diǎn)121和視點(diǎn)122，然而，然后在使第二視點(diǎn)122的視頻142和深度/視差圖數(shù)據(jù)162進(jìn)行由模塊24-40實(shí)現(xiàn)的預(yù)測(cè)編碼程序之前，將第二視點(diǎn)122的視頻142和深度/視差圖數(shù)據(jù)162下采樣為較低的空間分辨率。然而，仍然可通過(guò)根據(jù)源視點(diǎn)和目標(biāo)視點(diǎn)的不同分辨率之間的比來(lái)定標(biāo)形成采用或預(yù)測(cè)基礎(chǔ)的編碼參數(shù)，從而執(zhí)行采用并預(yù)測(cè)視點(diǎn)邊界上的編碼參數(shù)的上述措施。例如，參見(jiàn)圖2。如果編碼支路22v,2意在從運(yùn)動(dòng)矢量62a及68a中的任意一個(gè)采用或預(yù)測(cè)運(yùn)動(dòng)矢量78，則編碼支路22v,2通過(guò)與視點(diǎn)121(即，源視點(diǎn))的高空間分辨率與視點(diǎn)22(即，目標(biāo)視點(diǎn))的低空間分辨率之比對(duì)應(yīng)的值向下定標(biāo)該運(yùn)動(dòng)矢量。自然，這對(duì)于解碼器和解碼支路106都適用。解碼支路106v,2及106d,2可以相對(duì)于解碼支路106v,1及106d,1以低的空間分辨率執(zhí)行預(yù)測(cè)解碼。在重建之后，可使用上采樣方式，以便在深度/視差圖到達(dá)視點(diǎn)提取器108之前將由解碼支路106v,2及106d,2的解碼圖像緩沖器34輸出的重建圖像和深度/視差圖從低空間分辨率轉(zhuǎn)變?yōu)楦呖臻g分辨率。各個(gè)上采樣器可以位于各個(gè)解碼圖像緩沖器和視點(diǎn)提取器108的各個(gè)輸入端之間。如上所述，在一個(gè)視點(diǎn)121或122內(nèi)，視頻及相關(guān)深度/視差圖數(shù)據(jù)可以具有相同的空間分辨率。然而，另外地或可選地，這些對(duì)具有不同的空間分辨率，并在空間分辨率邊界，即深度/視差圖數(shù)據(jù)和視頻之間執(zhí)行上面剛剛描述的措施。此外，根據(jù)另一個(gè)實(shí)施方式，存在包括視點(diǎn)123的三個(gè)視點(diǎn)，為了便于進(jìn)行說(shuō)明在圖1至圖3中未示出，第一視點(diǎn)和第二視點(diǎn)具有相同的空間分辨率，而第三視點(diǎn)123具有較低的空間分辨率。因此，根據(jù)剛才描述的實(shí)施方式，部分后續(xù)視點(diǎn)，比如視點(diǎn)122，在編碼之前進(jìn)行下采樣處理，在解碼之后進(jìn)行上采樣處理。該子采樣或上采樣分別表示解碼/編碼支路的預(yù)處理或后處理，其中用于采用/預(yù)測(cè)任何后續(xù)(目標(biāo))視點(diǎn)的編碼參數(shù)的編碼參數(shù)根據(jù)源視點(diǎn)和目標(biāo)視點(diǎn)的空間分辨率的比進(jìn)行定標(biāo)。如上所述，以較低的質(zhì)量傳輸這些后續(xù)視點(diǎn)(諸如視點(diǎn)122)并沒(méi)有顯著影響中間視點(diǎn)提取器108的中間視點(diǎn)輸出102的質(zhì)量，原因是在中間視點(diǎn)提取器108中進(jìn)行處理。由于再投影到中間視點(diǎn)并且必須對(duì)再投影到中間視點(diǎn)的采樣網(wǎng)格的視頻采樣值進(jìn)行再采樣，因此視點(diǎn)提取器108無(wú)論如何都會(huì)對(duì)視頻141及142執(zhí)行插值/低通濾波。為了探討第一視點(diǎn)121以相對(duì)于相鄰視點(diǎn)122增加的空間分辨率進(jìn)行傳送的事實(shí)，其間的中間視點(diǎn)可以主要從視點(diǎn)121獲得，僅利用低空間分辨率視點(diǎn)122和其視頻142作為輔視點(diǎn)，比如僅用于填充視頻141的再投影版本的去遮擋區(qū)域，或當(dāng)對(duì)視點(diǎn)121和視點(diǎn)122的視頻的再投影版本進(jìn)行平均處理時(shí)僅以減少的加權(quán)因子參與。通過(guò)這一措施，盡管第二視點(diǎn)122的編碼率因以較低空間分辨率傳送而明顯降低，但同樣對(duì)視點(diǎn)122的較低空間分辨率進(jìn)行補(bǔ)償。

還應(yīng)提及的是，就編碼/解碼支路的內(nèi)部結(jié)構(gòu)而言，可以修改所述實(shí)施方式。例如，可能不存在幀內(nèi)預(yù)測(cè)模式，即，無(wú)空間預(yù)測(cè)模式可用。類似地，可以忽略任意幀間視點(diǎn)和時(shí)間預(yù)測(cè)模式。此外，所有進(jìn)一步處理選項(xiàng)都是可選的。另一方面，在解碼支路106的輸出端上可以存在越環(huán)后處理模塊(out-of-looppost-processingmodule)，以便執(zhí)行自適應(yīng)濾波或其他質(zhì)量提高措施和/或上述上采樣。此外，可以不執(zhí)行殘差變換。而是，殘差可以在空間域中而不是在頻域中傳送。就一般意義而言，圖1及圖3中所示的混合編碼/解碼設(shè)計(jì)可以用其他編碼/解碼構(gòu)思，比如基于小波變換的構(gòu)思替換。

還應(yīng)提及的是，解碼器沒(méi)必要包括視點(diǎn)提取器108。而是，可能不存在視點(diǎn)提取器108。在這種情況下，解碼器100僅用于重建視點(diǎn)121及122中的任意一個(gè)，比如其中一個(gè)、幾個(gè)或全部。如果對(duì)各個(gè)視點(diǎn)121及122來(lái)說(shuō)不存在深度/視差數(shù)據(jù)，則視點(diǎn)提取器108可以通過(guò)利用使相鄰視點(diǎn)的相應(yīng)部分彼此相關(guān)的視差矢量來(lái)執(zhí)行中間視點(diǎn)。這些視差矢量作為與相鄰視點(diǎn)的視頻相關(guān)聯(lián)的視差矢量場(chǎng)的支持視差矢量，視點(diǎn)提取器108可以通過(guò)應(yīng)用該視差矢量場(chǎng)從相鄰視點(diǎn)121及122的這樣的視頻來(lái)構(gòu)建中間視點(diǎn)視頻。試想視頻幀v2,t具有視點(diǎn)間預(yù)測(cè)的部分/區(qū)段的50％。也就是說(shuō)，對(duì)于50％的部分/區(qū)段來(lái)說(shuō)，可能存在視差矢量。對(duì)于剩余部分來(lái)說(shuō)，視差矢量可以由視點(diǎn)提取器108通過(guò)內(nèi)插/外推法從空間方面確定。還可以使用將視差矢量用于視頻142的事先重建幀的部分/區(qū)段的時(shí)間插值。然后根據(jù)這些視差矢量使視頻幀v2,t和/或基準(zhǔn)視頻幀v1,t失真，從而產(chǎn)生中間視點(diǎn)。為此，根據(jù)中間視點(diǎn)在第一視點(diǎn)121和第二視點(diǎn)122的視點(diǎn)位置之間的中間視點(diǎn)位置定標(biāo)視差矢量。下面將更詳細(xì)地概述有關(guān)該程序的細(xì)節(jié)。

通過(guò)使用確定楔形波分割線以在視頻的重建的當(dāng)前幀中沿著檢測(cè)的邊緣延伸的上述選項(xiàng)，來(lái)獲得編碼效率增益。因此，如上所述，上述楔形波分隔線位置預(yù)測(cè)可以用于每個(gè)視點(diǎn)，即，全部或僅用于其適當(dāng)?shù)淖蛹?/p>

迄今為止，圖3的上述討論還揭示了一種解碼器，其具有解碼支路106c,1和解碼支路106d,1，解碼支路106c,1被配置為從數(shù)據(jù)流18重建視頻141的當(dāng)前幀v1,t，解碼支路106d,1被配置為檢測(cè)重建當(dāng)前幀v1,t中的邊緣72，確定楔形波分隔線70以便沿邊緣72延伸，并從數(shù)據(jù)流18以深度/視差圖d1,t的分割的區(qū)段66a，66b，72a，72b為單位重建與當(dāng)前幀v1,t相關(guān)聯(lián)的深度/視差圖d1,t，其中，分割的兩個(gè)相鄰區(qū)段72a，72b通過(guò)楔形波分隔線70相互分開。解碼器可以被配置為利用區(qū)段的不同組的預(yù)測(cè)參數(shù)，從與當(dāng)前幀v1,t相關(guān)聯(lián)的深度/視差圖d1,t或與視頻的任意事先解碼幀v1,t-1相關(guān)聯(lián)的深度/視差圖d1,t-1的事先重建區(qū)段來(lái)分段預(yù)測(cè)深度/視差圖d1,t。解碼器可以被配置使得楔形波分隔線70是直線，解碼器被配置為根據(jù)深度/視差圖d1,t的基于區(qū)塊的預(yù)分割，通過(guò)沿楔形波分隔線70劃分預(yù)分割的區(qū)塊66c來(lái)確定分割，以便兩個(gè)相鄰的區(qū)段72a，72b為一起形成預(yù)分割的區(qū)塊66c的楔形波形區(qū)段。

總結(jié)上述一些實(shí)施方式，這些實(shí)施方式使得能夠從共同解碼多視點(diǎn)視頻和補(bǔ)充數(shù)據(jù)進(jìn)行視點(diǎn)提取。術(shù)語(yǔ)“補(bǔ)充數(shù)據(jù)”在下文中用于表示深度/視差圖數(shù)據(jù)。根據(jù)這些實(shí)施方式，多視點(diǎn)視頻和補(bǔ)充數(shù)據(jù)被嵌入在一個(gè)壓縮表示中。補(bǔ)充數(shù)據(jù)可以由逐像素深度圖、視差數(shù)據(jù)或3d線框組成。所提取的視點(diǎn)102與壓縮表示或比特流18中包含的視點(diǎn)121，122的不同之處在于視點(diǎn)數(shù)量和空間位置。之前已經(jīng)通過(guò)編碼器20生成了壓縮表示18，其可以使用補(bǔ)充數(shù)據(jù)來(lái)改善視頻數(shù)據(jù)的編碼。

與當(dāng)前現(xiàn)有技術(shù)的方法相比，執(zhí)行聯(lián)合解碼，其中，通過(guò)共用信息支持并控制視頻和補(bǔ)充數(shù)據(jù)解碼。實(shí)例為一組共用的運(yùn)動(dòng)矢量或視差矢量，用于解碼視頻和補(bǔ)充數(shù)據(jù)。最后，從解碼視頻數(shù)據(jù)、補(bǔ)充數(shù)據(jù)和可能組合數(shù)據(jù)中提取視點(diǎn)，其中，在接收設(shè)備處通過(guò)提取控制對(duì)所提取視點(diǎn)的數(shù)量和位置進(jìn)行控制。

進(jìn)一步地，上文描述的多視點(diǎn)壓縮概念可結(jié)合基于視差的視點(diǎn)合成一起使用?；谝暡畹囊朁c(diǎn)合成的含義如下。如果由多臺(tái)照相機(jī)捕獲場(chǎng)景內(nèi)容，比如視頻141及142，則可以向觀察者呈現(xiàn)該內(nèi)容的三維感知。為此，立體對(duì)必須為左眼和右眼設(shè)置稍微不同的查看方向。由視差矢量表示相等時(shí)間實(shí)例的兩個(gè)視點(diǎn)中的同一內(nèi)容的切換。類似于此，在不同時(shí)間實(shí)例之間的序列中的內(nèi)容切換是運(yùn)動(dòng)矢量，如圖4所示，用于不同時(shí)間實(shí)例的兩個(gè)視點(diǎn)。

通常，直接估計(jì)或以場(chǎng)景深度形式估計(jì)視差，該視差由外部提供或利用專用傳感器或照相機(jī)進(jìn)行記錄。運(yùn)動(dòng)估計(jì)已由標(biāo)準(zhǔn)編碼器執(zhí)行。如果多個(gè)視點(diǎn)被一起編碼，則對(duì)時(shí)間和視點(diǎn)間方向進(jìn)行類似處理，以便在編碼過(guò)程中沿時(shí)間和視點(diǎn)間方向執(zhí)行運(yùn)動(dòng)估計(jì)。這已經(jīng)相對(duì)于圖1和圖2進(jìn)行了描述。在視點(diǎn)間方向上的估計(jì)的運(yùn)動(dòng)矢量是視差矢量。這樣視差矢量在圖2中用82和76示例性地示出。因此，編碼器20還隱式地執(zhí)行視差估計(jì)并且編碼比特流18中包括有視差矢量。這些矢量可以用于在解碼器上，即，在視點(diǎn)提取器108中進(jìn)行額外的中間視點(diǎn)合成。

考慮位置(x1,y1)處的視點(diǎn)1的像素p1(x1,y1)以及位置(x2,y2)處的視點(diǎn)2的像素p2(x2,y2)，它們具有相同亮度值。則，

p1(x1,y1)＝p2(x2,y2)(1)

通過(guò)2d視差矢量連接位置(x1,y1)和(x2,y2)，例如從視點(diǎn)2至視點(diǎn)1，其是具有分量dx,21(x2,y2)和dy,21(x2,y2)的d21(x2,y2)。因此，下面的等式適用：

(x1,y1)＝(x2+dx,21(x2,y2),y2+dy,21(x2,y2))(2)

組合(1)和(2)，

p1(x2+dx,21(x2,y2),y2+dy,21(x2,y2))＝p2(x2,y2)(3)

如圖5所示，右下角的具有相同內(nèi)容的兩個(gè)點(diǎn)可以由視差矢量連接。將該矢量添加到p2的坐標(biāo)得出圖像坐標(biāo)中p1的位置。如果視差矢量d21(x2,y2)現(xiàn)在由因子κ＝[0…1]定標(biāo)，則(x1,y1)和(x2,y2)之間的任何中間位置可以被求出。因此，可以通過(guò)由定標(biāo)視差矢量使視點(diǎn)1和/或視點(diǎn)2的圖像內(nèi)容偏移來(lái)生成中間視點(diǎn)。圖6中示出了中間視點(diǎn)的實(shí)例。

因此，可以利用視點(diǎn)1和視點(diǎn)2之間的任意位置來(lái)生成新的中間視點(diǎn)。

除此之外，還可以利用視差的定標(biāo)因子κ<0和κ>1來(lái)實(shí)現(xiàn)視點(diǎn)外推。

這些定標(biāo)方法還可以應(yīng)用于時(shí)間方向，以便可通過(guò)定標(biāo)運(yùn)動(dòng)矢量來(lái)提取新幀，從而生成更高幀率的視頻序列。

現(xiàn)在，返回上文相對(duì)于圖1和圖3所描述的實(shí)施方式，這些實(shí)施方式尤其描述了具有視頻和補(bǔ)充數(shù)據(jù)比如深度圖的解碼器的并行解碼結(jié)構(gòu)，所述解碼器包含公共信息模塊，即，模塊110。該模塊利用來(lái)自信號(hào)的由編碼器生成的空間信息。常見(jiàn)的例子為在視頻數(shù)據(jù)編碼過(guò)程中提取的例如還用于深度數(shù)據(jù)的一組運(yùn)動(dòng)或視差矢量。在解碼器處，該公共信息用于操縱解碼視頻和深度數(shù)據(jù)并向每個(gè)解碼器支路提供所需的信息，任選用于提取新視點(diǎn)。利用該信息，可以從視頻數(shù)據(jù)中并行提取所有所需視點(diǎn)，例如用于n-視點(diǎn)顯示的視點(diǎn)。要在各個(gè)編碼/解碼支路之間共享的公共信息或編碼參數(shù)的實(shí)例如下：

-例如，來(lái)自同樣用于補(bǔ)充數(shù)據(jù)的視頻數(shù)據(jù)的公共運(yùn)動(dòng)和視差矢量

-例如，來(lái)自同樣用于補(bǔ)充數(shù)據(jù)的視頻數(shù)據(jù)劃分的公共區(qū)塊劃分結(jié)構(gòu)

-預(yù)測(cè)模式

-亮度和/或色度信息中的邊緣和輪廓數(shù)據(jù)，例如，亮度區(qū)塊中的直線。其被用于補(bǔ)充數(shù)據(jù)非矩形區(qū)塊劃分。該劃分被稱為楔形波，并以一定角度和位置由直線將區(qū)塊分為兩個(gè)區(qū)域。

公共信息還可以用作一個(gè)解碼支路的預(yù)測(cè)子(例如，視頻用預(yù)測(cè)子)以便在其他支路中細(xì)化(例如，補(bǔ)充數(shù)據(jù))，反之亦然。這可以包括運(yùn)動(dòng)矢量或視差矢量的細(xì)化，通過(guò)視頻數(shù)據(jù)的區(qū)塊結(jié)構(gòu)初始化補(bǔ)充數(shù)據(jù)中的區(qū)塊結(jié)構(gòu)，從來(lái)自視頻區(qū)塊的亮度或色度邊緣或輪廓信息中提取直線并利用該直線進(jìn)行楔形波分隔線預(yù)測(cè)(以相同的角度但在保持所述角度的對(duì)應(yīng)的深度區(qū)塊中可能不同的位置)。公共信息模塊還將部分重建數(shù)據(jù)從一個(gè)解碼支路轉(zhuǎn)移至另一個(gè)。最后，來(lái)自該模塊的數(shù)據(jù)也可以被傳遞給視點(diǎn)提取模塊，其中，提取用于顯示的所有必要的視點(diǎn)(顯示可以是2d顯示、具有兩個(gè)視點(diǎn)的立體顯示、具有n個(gè)視點(diǎn)的自動(dòng)立體顯示)。

一個(gè)重要方面在于，如果利用上述編碼/解碼結(jié)構(gòu)來(lái)編碼/解碼一個(gè)以上的單對(duì)視點(diǎn)和/深度/補(bǔ)充信號(hào)，則可以考慮必須在每個(gè)時(shí)間點(diǎn)t傳輸一對(duì)彩色視點(diǎn)vcolor_1(t)、vcolor_2(t)以及對(duì)應(yīng)的深度數(shù)據(jù)vdepth_1(t)和vdepth_2(t)的應(yīng)用場(chǎng)景。上述實(shí)施方式建議首先利用傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來(lái)編碼/解碼信號(hào)vcolor_1(t)。然后，在第二步驟中，對(duì)于對(duì)應(yīng)深度信號(hào)vdepth_1(t)的編碼/解碼，可以重新使用來(lái)自編碼/解碼信號(hào)vcolor_1(t)的信息，如上所述。隨后，來(lái)自vcolor_1(t)和vdepth_1(t)的累積信息也可以用于編碼/解碼vcolor_2(t)和/或vdepth_2(t)。因此，通過(guò)共享和重新使用不同視點(diǎn)和/或深度之間的公共信息，可以最大程度地利用冗余。

圖3的解碼和視點(diǎn)提取結(jié)構(gòu)可選地如圖7所示。

如圖所示，圖7的解碼器的結(jié)構(gòu)基于用于顏色和補(bǔ)充數(shù)據(jù)的兩個(gè)并行經(jīng)典視頻解碼結(jié)構(gòu)。另外，其包括公共信息模塊。該模塊可以發(fā)送，處理并接收兩個(gè)解碼結(jié)構(gòu)中的任何模塊的任何共享信息。解碼視頻和補(bǔ)充數(shù)據(jù)最終在視點(diǎn)提取模塊中進(jìn)行組合以便提取所需數(shù)量的視點(diǎn)。這里，還可以使用來(lái)自新模塊的公共信息。通過(guò)圖7的灰框突出顯示了新提出的解碼和視點(diǎn)提取方法的新模塊。

解碼過(guò)程開始于接收共用的壓縮表示或比特流，其包含來(lái)自一個(gè)或多個(gè)視點(diǎn)的視頻數(shù)據(jù)，補(bǔ)充數(shù)據(jù)以及運(yùn)動(dòng)矢量或視差矢量共用的信息，控制信息，區(qū)塊劃分信息，預(yù)測(cè)模式，輪廓數(shù)據(jù)等。

首先，對(duì)比特流應(yīng)用熵解碼以提取視頻和補(bǔ)充數(shù)據(jù)的量化變換系數(shù)，所述系數(shù)被饋送至兩個(gè)獨(dú)立的編碼支路，在圖7中的由虛線灰框突出顯示，標(biāo)記為“視頻數(shù)據(jù)處理”和“補(bǔ)充數(shù)據(jù)處理”。此外，熵解碼還提取共享或共用數(shù)據(jù)并將其饋送至新的公共信息模塊。

兩個(gè)解碼支路在熵解碼之后類似地操作。對(duì)收到的量化變換系數(shù)進(jìn)行定標(biāo)處理并應(yīng)用逆變換來(lái)獲得差分信號(hào)(differencesignal)。為此，添加來(lái)自時(shí)間或相鄰視點(diǎn)的事先解碼數(shù)據(jù)。待添加的信息的類型由專用控制數(shù)據(jù)進(jìn)行控制。在幀內(nèi)編碼視頻或補(bǔ)充數(shù)據(jù)的情況下，沒(méi)有先前或相鄰信息可用，從而使得應(yīng)用幀內(nèi)重建。對(duì)于幀間編碼視頻或補(bǔ)充數(shù)據(jù)來(lái)說(shuō)，來(lái)自時(shí)間上在前面或相鄰的視點(diǎn)的事先解碼數(shù)據(jù)是可用的(圖7中的當(dāng)前切換設(shè)定)。事先解碼數(shù)據(jù)在運(yùn)動(dòng)補(bǔ)償區(qū)塊中偏移相關(guān)的運(yùn)動(dòng)矢量并被添加至差分信號(hào)以生成初始幀。如果事先解碼數(shù)據(jù)屬于相鄰視點(diǎn)，則運(yùn)動(dòng)數(shù)據(jù)表示視差數(shù)據(jù)。通過(guò)區(qū)塊濾波器和可能的增強(qiáng)方法(例如，邊緣平滑處理等)對(duì)這些初始幀或視點(diǎn)進(jìn)行進(jìn)一步處理，以便提高視覺(jué)質(zhì)量。

在改進(jìn)階段之后，重建數(shù)據(jù)被傳遞給解碼圖像緩沖器。該緩沖區(qū)對(duì)解碼數(shù)據(jù)排序并且每次都按照正確的時(shí)間順序輸出解碼圖像。所存儲(chǔ)的數(shù)據(jù)還用于下一處理周期以便作為可定標(biāo)運(yùn)動(dòng)/視差補(bǔ)償?shù)妮斎搿?/p>

除了該單獨(dú)的視頻和補(bǔ)充解碼之外，還可使用公共信息模塊，其可以處理任何數(shù)據(jù)，且對(duì)于視頻和補(bǔ)充數(shù)據(jù)是共用的。公共信息的實(shí)例包括共享運(yùn)動(dòng)/視差矢量，區(qū)塊劃分信息，預(yù)測(cè)模式，輪廓數(shù)據(jù)，控制數(shù)據(jù)，以及公共變換系數(shù)或模式，視點(diǎn)增強(qiáng)數(shù)據(jù)等。在各個(gè)視頻和補(bǔ)充模塊中處理的任何數(shù)據(jù)也可以是公共模塊的一部分。因此，存在至公共模塊連接和從公共模塊至各個(gè)解碼支路的所有部分的連接。同樣，公共信息模塊可以包含足夠數(shù)據(jù)，只有一個(gè)獨(dú)立的解碼支路和公共模塊是必需的以解碼所有視頻和補(bǔ)充數(shù)據(jù)。此實(shí)例為壓縮表示，其中，某些部分僅包含視頻數(shù)據(jù)，其他所有部分包含共用視頻和補(bǔ)充數(shù)據(jù)。這里，視頻數(shù)據(jù)在視頻解碼支路中被解碼，而所有補(bǔ)充數(shù)據(jù)在公共模塊中被處理并被輸出至視點(diǎn)合成。因此，在該實(shí)例中，沒(méi)有使用獨(dú)立的補(bǔ)充支路。同樣，來(lái)自獨(dú)立的解碼支路的模塊的各個(gè)數(shù)據(jù)可以例如以部分解碼數(shù)據(jù)的形式將信息發(fā)回公共信息處理模塊，以在那里使用或被傳輸至其他解碼支路。一個(gè)實(shí)例為解碼視頻數(shù)據(jù)，如傳遞給適當(dāng)?shù)难a(bǔ)充解碼模塊的變換系數(shù)，運(yùn)動(dòng)矢量，模式或設(shè)定。

在解碼之后，重構(gòu)視頻和補(bǔ)充數(shù)據(jù)從獨(dú)立的解碼支路或從公共信息模塊被傳遞至視點(diǎn)提取模塊。在例如圖3中的110的視點(diǎn)提取模塊中，提取用于接收設(shè)備，例如多視點(diǎn)顯示所需的視點(diǎn)。通過(guò)中間視點(diǎn)提取控制來(lái)控制該過(guò)程，所述中間視點(diǎn)提取控制設(shè)定視點(diǎn)序列的所需數(shù)量和位置。視點(diǎn)提取的實(shí)例是視點(diǎn)合成。如果要在兩個(gè)原始視點(diǎn)1和2之間合成新的視點(diǎn)，如圖6所示，來(lái)自視點(diǎn)1的數(shù)據(jù)可以先移至新的位置。然而，該視差偏移對(duì)前景物體和背景物體來(lái)說(shuō)是不同的，因?yàn)樵撈婆c原來(lái)的場(chǎng)景深度(照相機(jī)的前距離)成反比。因此，在視點(diǎn)1中不可見(jiàn)的新的背景區(qū)域在合成視點(diǎn)中變得可見(jiàn)。這里，視點(diǎn)2可以用于填補(bǔ)該信息。此外，可以使用空間相鄰數(shù)據(jù)，例如相鄰的背景信息。

作為一個(gè)實(shí)例，考慮圖8中的設(shè)定。這里，解碼數(shù)據(jù)由具有顏色數(shù)據(jù)vcolor1和vcolor2和深度數(shù)據(jù)vdepth1和vdepth2的兩個(gè)視點(diǎn)序列組成。應(yīng)從該數(shù)據(jù)中提取具有視點(diǎn)vd1，vd2，……，vd9的9視點(diǎn)顯示的視點(diǎn)。該顯示器經(jīng)由中間視點(diǎn)提取控制信號(hào)告知視點(diǎn)的數(shù)量和空間位置。這里，要求9個(gè)視點(diǎn)具有0.25的空間距離，從而使得相鄰顯示視點(diǎn)(例如，vd2和vd3)就空間位置和立體感知而言比比特流中的視點(diǎn)近4倍。因此，這組視點(diǎn)提取因子{κ1,κ2,…,κ9}被設(shè)定為{-0.5,-0.25,0,0.25,0.5,0.75,1,1.25,1.5}。這表明解碼顏色視點(diǎn)vcolor1和vcolor2的空間位置與顯示視點(diǎn)vd3和vd7一致(因?yàn)棣?＝0和κ7＝1)。此外，vd3，vd4及vd5內(nèi)插在vcolor1和vcolor2之間。最后，vd1和vd2以及vd8和vd9外插在比特流對(duì)vcolor1，vcolor2的各側(cè)。根據(jù)視點(diǎn)提取因子的設(shè)定，深度數(shù)據(jù)vdepth1和vdepth2被轉(zhuǎn)換為逐像素位移信息并在視點(diǎn)提取階段相應(yīng)地被定標(biāo)以便獲得解碼顏色數(shù)據(jù)的9個(gè)不同改變版本。

盡管以裝置的上下文描述了某些方面，但顯然，這些方面也表示相應(yīng)方法的描述，其中，區(qū)塊或設(shè)備對(duì)應(yīng)于方法步驟或方法步驟的特征。類似地，以方法步驟上下文描述的方面也表示相應(yīng)區(qū)塊或相應(yīng)裝置的項(xiàng)目或特征。一部分或所有方法步驟可以通過(guò)(或利用)硬件裝置，比如微處理器、可編程計(jì)算機(jī)或電子電路等來(lái)執(zhí)行。在某些實(shí)施方式中，最重要的方法步驟中的一個(gè)或多個(gè)可以利用此裝置來(lái)執(zhí)行。

本發(fā)明解碼多視點(diǎn)信號(hào)可以存儲(chǔ)在數(shù)字存儲(chǔ)介質(zhì)上或可以在傳輸介質(zhì)比如無(wú)線傳輸介質(zhì)或有線傳輸介質(zhì)比如因特網(wǎng)上進(jìn)行傳送。

根據(jù)某些實(shí)現(xiàn)要求，本發(fā)明的實(shí)施方式可以以硬件或軟件來(lái)實(shí)施。所述實(shí)施可以利用其上存儲(chǔ)有電子可讀控制信號(hào)的數(shù)字存儲(chǔ)介質(zhì)，例如，軟盤、dvd、藍(lán)光光盤、cd、rom、prom、eprom、eeprom或閃存來(lái)執(zhí)行，所述電子可讀控制信號(hào)與可編程計(jì)算機(jī)系統(tǒng)協(xié)作(或能夠與此協(xié)作)，從而執(zhí)行各種方法。因此，數(shù)字存儲(chǔ)介質(zhì)可以是計(jì)算機(jī)可讀介質(zhì)。

根據(jù)本發(fā)明的某些實(shí)施方式包括具有電子可讀控制信號(hào)的數(shù)據(jù)載體，所述電子可讀控制信號(hào)能夠與可編程計(jì)算機(jī)系統(tǒng)協(xié)作，以便執(zhí)行本文描述的方法之一。

通常，本發(fā)明的實(shí)施方式可以被實(shí)施為具有程序代碼的計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)，程序代碼可操作為執(zhí)行方法之一。程序代碼例如可以存儲(chǔ)在機(jī)器可讀載體上。

其他實(shí)施方式包括存儲(chǔ)在機(jī)器可讀載體上的用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序。

換句話說(shuō)，本發(fā)明方法的實(shí)施方式由此為一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序具有在該計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)用于執(zhí)行本文描述的方法之一的程序代碼。

因此，本發(fā)明方法的另一個(gè)實(shí)施方式是一種包括記錄在其上的用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序的數(shù)據(jù)載體(或數(shù)字存儲(chǔ)介質(zhì)或計(jì)算機(jī)可讀介質(zhì))。數(shù)據(jù)載體、數(shù)字存儲(chǔ)介質(zhì)或記錄介質(zhì)通常是實(shí)體的和/或非瞬態(tài)的。

因此，本發(fā)明方法的另一個(gè)實(shí)施方式為表示用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序的數(shù)據(jù)流或一系列信號(hào)。數(shù)據(jù)流或一系列信號(hào)例如可以被配置為經(jīng)由數(shù)據(jù)通信連接，例如經(jīng)由因特網(wǎng)進(jìn)行傳輸。

另一個(gè)實(shí)施方式包括處理裝置，例如計(jì)算機(jī)或可編程邏輯器件，被配置為或適于執(zhí)行本文描述的方法之一。

另一個(gè)實(shí)施方式包括其上安裝有用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序的計(jì)算機(jī)。

根據(jù)本發(fā)明的另一個(gè)實(shí)施方式包括裝置或系統(tǒng)，被配置為將用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序傳輸至(例如，電學(xué)地或光學(xué)地)接收器。所述接收器例如可以是計(jì)算機(jī)、移動(dòng)設(shè)備、存儲(chǔ)設(shè)備等。裝置或系統(tǒng)例如可以包括用于將計(jì)算機(jī)程序傳輸至接收器的文件服務(wù)器。

在某些實(shí)施方式中，可編程邏輯器件(例如，現(xiàn)場(chǎng)可編程門陣列)可以用于執(zhí)行本文描述的方法的一部分或全部功能。在某些實(shí)施方式中，現(xiàn)場(chǎng)可編程門陣列可以與微處理器協(xié)作以便執(zhí)行本文描述的方法之一。通常，所述方法優(yōu)選由任意硬件裝置執(zhí)行。

上述實(shí)施方式僅僅用于說(shuō)明本發(fā)明的原理。應(yīng)理解的是，本文描述的配置及細(xì)節(jié)的修改和變形對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。因此，旨在僅由即將實(shí)現(xiàn)的專利權(quán)利要求的范圍的限定，而不受本文的實(shí)施方式的描述和說(shuō)明的方式表示的具體細(xì)節(jié)的限定。