本申請是進(jìn)入中國國家階段日為2013年4月10日、國際申請?zhí)枮閜ct/ep2011/063852、發(fā)明名稱為“多視點(diǎn)信號編解碼器”的pct申請的中國國家階段申請的分案申請，該中國國家階段申請的申請日為2011年8月11日、申請?zhí)枮?01180049014.7。

本發(fā)明涉及多視點(diǎn)信號的編碼(coding)。

背景技術(shù)：

在許多應(yīng)用領(lǐng)域中涉及到多視點(diǎn)信號，比如3d視頻應(yīng)用，包括立體和多視點(diǎn)顯示，自由視點(diǎn)視頻應(yīng)用等。對于立體、多視點(diǎn)視頻內(nèi)容，已制定出mvc標(biāo)準(zhǔn)[1，2]。該標(biāo)準(zhǔn)對來自多臺相鄰照相機(jī)的視頻序列進(jìn)行壓縮處理。mvc解碼處理僅在原始的照相機(jī)位置再現(xiàn)這些照相機(jī)視點(diǎn)。然而，對于不同的多視點(diǎn)顯示來說，要求具有不同空間位置的不同數(shù)量的視點(diǎn)，從而需要另外的視點(diǎn)，例如在原始的照相機(jī)位置之間的視點(diǎn)。

處理多視點(diǎn)信號的難度在于需要大量的數(shù)據(jù)來傳送包含在多視點(diǎn)信號中的關(guān)于多視點(diǎn)的信息。在以上提及的使能夠進(jìn)行中間視點(diǎn)提取/合成的要求而言，情況變得甚至更糟，因?yàn)樵谶@種情況下，與各個視點(diǎn)相關(guān)聯(lián)的視頻可能伴隨有諸如使得能夠?qū)⒏鱾€視點(diǎn)重投影到另一個視點(diǎn)，比如中間視點(diǎn)的深度/視差圖數(shù)據(jù)的補(bǔ)充數(shù)據(jù)。由于數(shù)據(jù)量巨大，因此盡可能最大化多視點(diǎn)信號編解碼的壓縮率是非常重要的。

因此，本發(fā)明的目的在于提供一種使壓縮率更高或率/失真比更好的多視點(diǎn)信號編解碼。

技術(shù)實(shí)現(xiàn)要素：

本目的通過未決的獨(dú)立權(quán)利要求的主題實(shí)現(xiàn)。

本申請?zhí)峁┝死冒l(fā)現(xiàn)的實(shí)施方式，根據(jù)此發(fā)現(xiàn)，可通過根據(jù)用于編碼多視點(diǎn)信號的第一視點(diǎn)的第一編碼參數(shù)采用或預(yù)測用于編碼多視點(diǎn)信號的第二視點(diǎn)的第二編碼參數(shù)來實(shí)現(xiàn)更高的壓縮率或更好的比率/失真比。換句話說，發(fā)明人發(fā)現(xiàn)多視點(diǎn)信號之間的冗余不限于視點(diǎn)本身，比如視頻信息，而使在并行編碼這些視點(diǎn)的過程中的編碼參數(shù)具有可利用的相似度，以進(jìn)一步提高編碼率。

本申請的一些實(shí)施方式還利用了一種發(fā)現(xiàn)，根據(jù)此發(fā)現(xiàn)，可利用視頻幀中檢測到的邊緣作為提示，即，通過確定wedgelet分隔線以在視頻幀中沿該邊緣延伸，來確定或預(yù)測與用于編碼深度/視差圖的某個視點(diǎn)的視頻的某個幀相關(guān)聯(lián)的深度/視差圖的分割。盡管邊緣檢測增加了解碼器側(cè)的復(fù)雜度，但在可接受質(zhì)量下的低傳輸率比起復(fù)雜性問題更重要的應(yīng)用情況下，這點(diǎn)缺陷還是可接受的。這樣的情況可以涉及解碼器被實(shí)現(xiàn)為固定器件的廣播應(yīng)用。

進(jìn)一步地，本申請的一些實(shí)施方式還利用了一種發(fā)現(xiàn)，根據(jù)此發(fā)現(xiàn)，如果編碼參數(shù)的采用/預(yù)測包括根據(jù)空間分辨率之間的比率定標(biāo)這些編碼參數(shù)，則可以以較低的空間分辨率編碼，即，預(yù)測并殘余校正其編碼參數(shù)從另一個視點(diǎn)的編碼信息中采用/預(yù)測的視點(diǎn)，從而節(jié)省編碼位。

根據(jù)本發(fā)明的一個方面，提供了一種解碼器，被配置為：根據(jù)從數(shù)據(jù)流獲得的第一編碼參數(shù)，通過從多視點(diǎn)信號的第一事先重建部分預(yù)測第一視點(diǎn)的當(dāng)前部分，并利用包含在數(shù)據(jù)流中的第一校正數(shù)據(jù)校正第一視點(diǎn)的當(dāng)前部分的預(yù)測的預(yù)測誤差，來從數(shù)據(jù)流重建多視點(diǎn)信號的第一視點(diǎn)，多視點(diǎn)信號的第一事先重建部分在第一視點(diǎn)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建；至少部分根據(jù)第一編碼參數(shù)采用或預(yù)測第二編碼參數(shù)；以及根據(jù)第二編碼參數(shù)，通過從多視點(diǎn)信號的第二事先重建部分預(yù)測第二視點(diǎn)的當(dāng)前部分，并利用包含在數(shù)據(jù)流中的第二校正數(shù)據(jù)校正第二視點(diǎn)的當(dāng)前部分的預(yù)測的預(yù)測誤差，來從數(shù)據(jù)流重建多視點(diǎn)信號的第二視點(diǎn)，多視點(diǎn)信號的第二事先重建部分在第二視點(diǎn)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建。

其中，解碼器被配置為：至少部分根據(jù)第一編碼參數(shù)采用或預(yù)測第二編碼參數(shù)的第一部分，根據(jù)第二編碼參數(shù)的第一部分，通過從多視點(diǎn)信號的第五事先重建部分預(yù)測第二視點(diǎn)的視頻的當(dāng)前部分，并利用包含在數(shù)據(jù)流中的第二校正數(shù)據(jù)的第一子集校正第二視點(diǎn)的所述視頻的當(dāng)前部分的預(yù)測的預(yù)測誤差，來從數(shù)據(jù)流重建第二視點(diǎn)的視頻，多視點(diǎn)信號的第五事先重建部分在第二視點(diǎn)的視頻的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，至少部分根據(jù)第一編碼參數(shù)和/或第二編碼參數(shù)的第一部分采用或預(yù)測第二編碼參數(shù)的第二部分；以及根據(jù)第二編碼參數(shù)的第二部分，通過從多視點(diǎn)信號的第六事先重建部分預(yù)測第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分，并利用第二校正數(shù)據(jù)的第二子集校正第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的預(yù)測的預(yù)測誤差，來從數(shù)據(jù)流重建第二視點(diǎn)的深度/視差圖數(shù)據(jù)，多視點(diǎn)信號的第六事先重建部分在第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建。

其中，解碼器被配置為：從第二視點(diǎn)的視頻的事先重建部分，或從第一視點(diǎn)的視頻的第二事先重建部分預(yù)測第二視點(diǎn)的視頻的當(dāng)前部分，第二視點(diǎn)的視頻的事先重建部分在第二視點(diǎn)的視頻的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，第一視點(diǎn)的視頻的第二事先重建部分在第二視點(diǎn)的視頻的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，以及從第二視點(diǎn)的深度/視差圖數(shù)據(jù)的事先重建部分，或從第一視點(diǎn)的深度/視差圖數(shù)據(jù)的第二事先重建部分預(yù)測第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分，第二視點(diǎn)的深度/視差圖數(shù)據(jù)的事先重建部分在第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建，第一視點(diǎn)的深度/視差圖數(shù)據(jù)的第二事先重建部分在第二視點(diǎn)的深度/視差圖數(shù)據(jù)的當(dāng)前部分的重建之前由解碼器從數(shù)據(jù)流重建。

其中，解碼器被配置為：檢測第二視點(diǎn)的視頻的當(dāng)前幀中的邊緣并確定楔形波分隔線以沿邊緣延伸，以及在從數(shù)據(jù)流重建第二視點(diǎn)的深度/視差圖數(shù)據(jù)的過程中，設(shè)定與第二視點(diǎn)的視頻的當(dāng)前幀相關(guān)聯(lián)的第二視點(diǎn)的深度/視差圖數(shù)據(jù)的深度/視差圖的當(dāng)前部分的邊界，以與楔形波分隔線一致。

其中，解碼器被配置為在從數(shù)據(jù)流重建所述第二視點(diǎn)的深度/視差圖數(shù)據(jù)的過程中，以當(dāng)前部分所屬的區(qū)段為單位利用區(qū)段的不同組的預(yù)測參數(shù)分段執(zhí)行預(yù)測。

其中，解碼器被配置為使得楔形波分隔線為直線并且解碼器被配置為沿楔形波分隔線劃分第二視點(diǎn)的深度/視差圖數(shù)據(jù)的預(yù)分割的區(qū)塊，從而使得兩個相鄰區(qū)段為一起形成預(yù)分割的區(qū)塊的楔形波形區(qū)段。

其中，解碼器被配置為使得第一編碼參數(shù)和第二編碼參數(shù)分別為分別控制第一視點(diǎn)的當(dāng)前部分的預(yù)測和第二視點(diǎn)的當(dāng)前部分的預(yù)測的第一預(yù)測參數(shù)和第二預(yù)測參數(shù)。

其中，當(dāng)前部分分別為第一視點(diǎn)和第二視點(diǎn)的視頻的幀分割的區(qū)段。

其中，解碼器被配置為通過以第一空間分辨率對多視點(diǎn)信號(10)的第一視點(diǎn)(121)的當(dāng)前部分進(jìn)行預(yù)測和校正來從數(shù)據(jù)流重建多視點(diǎn)信號(10)的第一視點(diǎn)(121)，并被配置為通過以低于第一空間分辨率的第二空間分辨率對多視點(diǎn)信號(10)的第二視點(diǎn)(122)的當(dāng)前部分進(jìn)行預(yù)測和校正來從數(shù)據(jù)流重建多視點(diǎn)信號(10)的第二視點(diǎn)(122)，然后將第二視點(diǎn)的重建的當(dāng)前部分從第二空間分辨率上采樣至第一空間分辨率。

其中，解碼器被配置為，至少部分從第一編碼參數(shù)采用或預(yù)測第二編碼參數(shù)，根據(jù)第一空間分辨率與第二空間分辨率之比定標(biāo)第一編碼參數(shù)。

附圖說明

上文列出的各方面的實(shí)施方式的有利實(shí)現(xiàn)是所附從屬權(quán)利要求的主題。具體地，下面相對于附圖對本申請的優(yōu)選實(shí)施方式進(jìn)行描述，其中

圖1示出了根據(jù)實(shí)施方式的編碼器的框圖；

圖2示出了用于說明視點(diǎn)之間的信息重用及深度/視差邊界的多視點(diǎn)信號的一部分的示意圖；

圖3示出了根據(jù)實(shí)施方式的解碼器的框圖；

圖4是兩個視點(diǎn)和兩個時間實(shí)例的示例的多視點(diǎn)編碼中的預(yù)測結(jié)構(gòu)和運(yùn)動/視差矢量；

圖5是通過相鄰視點(diǎn)之間的視差矢量進(jìn)行的點(diǎn)對應(yīng)；

圖6是使用定標(biāo)視差矢量通過視點(diǎn)1和2的場景內(nèi)容投影進(jìn)行的中間視點(diǎn)合成；

圖7是用于在任意觀察位置生成中間視點(diǎn)的分別解碼顏色和補(bǔ)充數(shù)據(jù)的n視點(diǎn)提取；以及

圖8是9視點(diǎn)顯示的兩視點(diǎn)比特流的n視點(diǎn)提取實(shí)例。

具體實(shí)施方式

圖1示出了根據(jù)實(shí)施方式的用于編碼多視點(diǎn)信號的編碼器。圖1的多視點(diǎn)信號在10處示例性地表示為包括兩個視點(diǎn)121及122，盡管圖1的實(shí)施方式對更多數(shù)量的視點(diǎn)同樣是可行的。此外，根據(jù)圖1的實(shí)施方式，每個視點(diǎn)121及122都包括視頻14和深度/視差圖數(shù)據(jù)16，盡管如果結(jié)合具有不包括任何深度/視差圖數(shù)據(jù)的視點(diǎn)的多視點(diǎn)信號使用，則相對于圖1描述的本實(shí)施方式的許多有利原理同樣是有利的。本發(fā)明的這樣的廣義性下面進(jìn)一步在圖1至圖3的描述之后進(jìn)行描述。

各個視點(diǎn)121及122的視頻14表示公共場景在不同投影/查看方向上的投影的時空采樣(spatio-temporalsampling)。優(yōu)選地，視點(diǎn)121及122的視頻14的時間采樣率彼此相等，盡管不必必須滿足該約束。如圖1所示，優(yōu)選每個視頻14包括一系列幀，每個幀與各個時間戳t，t-1，t-2，……相關(guān)聯(lián)。在圖1中，視頻幀由vviewnumber,timestampnumber表示。每個幀vi,t表示在各個時間戳t處場景i在各個查看方向上的空間采樣，并因此包括一個或多個樣本陣列，比如，亮度樣本的一個樣本陣列以及具有色度樣本的兩個樣本陣列，或僅亮度樣本或其他顏色分量(比如rgb顏色空間的顏色分量等)的樣本陣列。一個或多個樣本陣列的空間分辨率在一個視頻14內(nèi)以及在不同視點(diǎn)121及122的多個視頻14內(nèi)可以是不同的。

類似地，深度/視差圖數(shù)據(jù)16表示沿視點(diǎn)121及122的各個查看方向測量的公共場景的場景目標(biāo)的深度的時空采樣。深度/視差圖數(shù)據(jù)16的時間采樣率可以等于如圖1中描述的相同視點(diǎn)的相關(guān)視頻的時間采樣率，或與其不同。在圖1的情況下，每個視頻幀v已經(jīng)將各個視點(diǎn)121及122的深度/視差圖數(shù)據(jù)16的各個深度/視差圖d與此相關(guān)聯(lián)。換句話說，在圖1的實(shí)例中，視點(diǎn)i和時間戳t的每個視頻幀vi,t具有與此相關(guān)聯(lián)的深度/視差圖di,t。關(guān)于深度/視差圖d的空間分辨率，這對上文針對視頻幀所示的情況同樣適用。也就是說，空間分辨率在不同視點(diǎn)的深度/視差圖之間可能會有所不同。

為了有效地壓縮多視點(diǎn)信號10，圖1的編碼器并行地將視點(diǎn)121及122編碼為數(shù)據(jù)流18。然而，用于編碼第一視點(diǎn)121的編碼參數(shù)被重新使用，以采用所述編碼參數(shù)作為或預(yù)測要用于編碼第二視點(diǎn)122的第二編碼參數(shù)。通過這種措施，圖1的編碼器利用了本發(fā)明人發(fā)現(xiàn)的事實(shí)，據(jù)此，視點(diǎn)121及12的并行編碼使編碼器類似地確定用于這些視點(diǎn)的編碼參數(shù)，從而這些編碼參數(shù)之間的冗余可以被有效利用，以提高壓縮率或比率/失真比(例如，以所測量的失真作為兩個視點(diǎn)的平均失真，并以所測量的比率作為整個數(shù)據(jù)流18的編碼率)。

具體地，圖1的編碼器一般用參考標(biāo)號20表示，并包括用于接收多視點(diǎn)信號10的輸入端以及用于輸出數(shù)據(jù)流18的輸出端。如在圖2中所看到的，圖1的編碼器20的每個視點(diǎn)121及122包括兩個編碼支路，即，一個用于視頻數(shù)據(jù)，另一個用于深度/視差圖數(shù)據(jù)。相應(yīng)地，編碼器20包括用于視點(diǎn)1的視頻數(shù)據(jù)的編碼支路2v,1，用于視點(diǎn)1的深度視差圖數(shù)據(jù)的編碼支路22d,1，用于第二視點(diǎn)的視頻數(shù)據(jù)的編碼支路22v,2以及用于第二視點(diǎn)的深度/視差圖數(shù)據(jù)的編碼支路22d,2。這些編碼支路22中的每一個被類似地構(gòu)造。為了描述編碼器20的構(gòu)造和功能，以下描述開始于編碼支路22v,1的構(gòu)造和功能。該功能對于所有支路22是共用的。之后，討論支路22的各個特征。

編碼支路22v,1用于編碼多視點(diǎn)信號12的第一視點(diǎn)121的視頻141，支路22v,1相應(yīng)地具有用于接收視頻141的輸入端。除此之外，支路22v,1包括按照所提及的順序彼此串聯(lián)的減法器24、量化/變換模塊26、重量化(requantization)/逆變換(inverse-transform)模塊28、加法器30、進(jìn)一步的處理模塊32、解碼圖像緩沖器34、相互并聯(lián)的兩個預(yù)測模塊36及38以及一方面連接在預(yù)測模塊36及38的輸出端之間，另一方面連接在減法器24的反相輸入端之間的組合器或選擇器40。組合器40的輸出端還與加法器30的另一個輸入端連接。減法器24的非反相輸入端接收視頻141。

編碼支路22v,1的元件24-40協(xié)作以編碼視頻141。編碼操作以某些部分的單位對視頻141進(jìn)行編碼。例如，在編碼視頻141的過程中，將幀v1,k分割成區(qū)段比如區(qū)塊或其他采樣組。分割可以隨時間保持不變或在時間上變化。進(jìn)一步地，分割操作在默認(rèn)情況下對編碼器和解碼器來說可以是已知的或可以在數(shù)據(jù)流18內(nèi)信號告知。該分割可以是被分割成區(qū)塊的幀的規(guī)則分割，諸如以行和列的區(qū)塊的非重疊排列，或可以為被分割成不同尺寸的區(qū)塊的基于四叉樹(quad-tree)的分割。輸入減法器24的非反相輸入端的視頻141的當(dāng)前編碼區(qū)段在以下描述中被稱為視頻141的當(dāng)前部分。

預(yù)測模塊36及38用于預(yù)測當(dāng)前部分，為此，預(yù)測模塊36及38具有連接至解碼圖像緩沖器34的輸入端。實(shí)際上，這兩個預(yù)測模塊36及38都使用位于解碼圖像緩沖器34中的視頻141的事先重建部分，以預(yù)測輸入減法器24的非反相輸入端的當(dāng)前部分/區(qū)段。因此，預(yù)測模塊36用作從視頻141的同一幀的空間上相鄰的已經(jīng)重建的部分空間預(yù)測視頻141的當(dāng)前部分的幀內(nèi)預(yù)測子(intrapredictor)，而預(yù)測模塊38用作從視頻141的事先重建幀時間上預(yù)測所述當(dāng)前部分的幀內(nèi)預(yù)測子(interpredictor)。這兩個預(yù)測模塊36及38根據(jù)某些預(yù)測參數(shù)執(zhí)行它們的預(yù)測或執(zhí)行由某些預(yù)測參數(shù)描述的它們預(yù)測。更確切地說，在一些約束(諸如最大比特率)或沒有限制的情況下用于優(yōu)化一些優(yōu)化目標(biāo)(諸如優(yōu)化比率/失真比)的一些優(yōu)化幀結(jié)構(gòu)中，后者參數(shù)由編碼器20確定。

例如，幀內(nèi)預(yù)測模塊36可以確定當(dāng)前部分的空間預(yù)測參數(shù)，比如預(yù)測方向，視頻141的同一幀的相鄰的已重建的部分的內(nèi)容沿該預(yù)測方向擴(kuò)展到/復(fù)制到當(dāng)前部分，以預(yù)測所述當(dāng)前部分。幀間預(yù)測模塊38可以使用運(yùn)動補(bǔ)償來從事先重建幀預(yù)測當(dāng)前部分，并且所涉及的幀間預(yù)測參數(shù)可以包括運(yùn)動矢量、參考幀指數(shù)(index)、有關(guān)當(dāng)前部分的運(yùn)動預(yù)測細(xì)分信息、假設(shè)數(shù)量或其任意組合。組合器40可以對模塊36及38提供的一個或多個預(yù)測進(jìn)行組合或僅選擇其中之一。組合器或選擇器40將當(dāng)前部分所得的預(yù)測分別轉(zhuǎn)發(fā)給減法器24的插入輸入端以及加法器30的另一輸入端。

在減法器24的輸出端，輸出當(dāng)前部分的預(yù)測的殘余，量化/變換模塊36配置為通過量化變換系數(shù)來變換該殘余信號。該變換可以是任意頻譜分解變換，比如dct。由于該量化，量化/變換模塊36的處理結(jié)果是不可逆轉(zhuǎn)。也就是說，會發(fā)生編碼損耗。模塊26的輸出端是在數(shù)據(jù)流內(nèi)傳輸?shù)臍堄嘈盘?21。在模塊28中對殘余信號421進(jìn)行去量化和反相變換處理以盡可能重建殘余信號，即，以對應(yīng)于由減法器24輸出的殘余信號，盡管存在量化噪聲。加法器30通過求和將重建殘余信號和當(dāng)前部分的預(yù)測組合在一起。其他組合也是可行的。例如，減法器24可以實(shí)施為按比例測量殘余的除法器，根據(jù)可選的實(shí)施方式，加法器可以實(shí)施為重建當(dāng)前部分的乘法器。加法器30的輸出端由此表示當(dāng)前部分的初步重建。然而，模塊32中的進(jìn)一步處理可以任選以用于增強(qiáng)重建。這樣的進(jìn)一步處理例如可包括解塊、自適應(yīng)濾波等。在解碼圖像緩沖器34中對目前可用的所有重建進(jìn)行緩沖處理。因此，解碼圖像緩沖器34緩沖視頻141的事先重建幀以及當(dāng)前部分所屬的當(dāng)前幀的事先重建部分。

為了使解碼器能夠從數(shù)據(jù)流18重建多視點(diǎn)信號，量化/變換模塊26將殘余信號421轉(zhuǎn)發(fā)至編碼器20的多路復(fù)用器44。同時，預(yù)測模塊36將幀內(nèi)預(yù)測參數(shù)461轉(zhuǎn)發(fā)至多路復(fù)用器44，幀間預(yù)測模塊38將幀間預(yù)測參數(shù)481轉(zhuǎn)發(fā)至多路復(fù)用器44，進(jìn)一步處理模塊32將進(jìn)一步處理參數(shù)501轉(zhuǎn)發(fā)至多路復(fù)用器44，該多路復(fù)用器44從而使所有信息多路復(fù)用或?qū)⑵洳迦霐?shù)據(jù)流18。

從以上討論清楚可見，根據(jù)圖1的實(shí)施方式，通過編碼支路22v,1的視頻141的編碼是獨(dú)立的，在于編碼操作獨(dú)立于深度/視差圖數(shù)據(jù)161和其他視點(diǎn)122中的任何一個的數(shù)據(jù)。從總體上來看，編碼支路22v,1可看成是通過確定編碼參數(shù)，根據(jù)第一編碼參數(shù)從視頻141的事先編碼部分預(yù)測視頻141的當(dāng)前部分，并確定當(dāng)前部分的預(yù)測誤差以獲得誤差數(shù)據(jù)(即，上述殘余信號421)來將視頻141編碼成數(shù)據(jù)流18，其中，視頻141的事先編碼部分在所述當(dāng)前部分的編碼之前由編碼器20編碼成數(shù)據(jù)流18。將編碼參數(shù)和校正數(shù)據(jù)插入數(shù)據(jù)流18中。

剛才提及的通過編碼支路22v,1插入數(shù)據(jù)流18的編碼參數(shù)可以包含以下項(xiàng)中的一個、組合或全部：

-首先，視頻141的編碼參數(shù)可以限定/信號告知如前面簡述的視頻141的幀的分割。

-另外，編碼參數(shù)可以包括指示每個區(qū)段或當(dāng)前部分的編碼模式信息，哪個編碼模式用于預(yù)測各個區(qū)段，比如幀內(nèi)預(yù)測、幀間預(yù)測或其組合。

-編碼參數(shù)還可以包括剛才提及的預(yù)測參數(shù)，比如用于通過幀內(nèi)預(yù)測所預(yù)測的部分/區(qū)段的幀內(nèi)預(yù)測參數(shù)，以及用于幀間預(yù)測部分/區(qū)段的幀間預(yù)測參數(shù)。

-然而，編碼參數(shù)還可以包括進(jìn)一步處理參數(shù)501，所述參數(shù)向解碼側(cè)信號告知如何在使用同一處理來處理視頻141的當(dāng)前或隨后部分進(jìn)行預(yù)測之前來對視頻141的已經(jīng)重建的部分進(jìn)行進(jìn)一步的處理。這些進(jìn)一步處理參數(shù)501可包括指示各個濾波器、濾波器系數(shù)等的指數(shù)。

-預(yù)測參數(shù)461，481及進(jìn)一步處理參數(shù)501甚至還可以包括子分割數(shù)據(jù)，以相對于限定模式選擇的粒度或限定完全獨(dú)立分割的前述分割限定進(jìn)一步子分割，例如，在進(jìn)一步處理中應(yīng)用幀的不同部分的不同自適應(yīng)濾波器。

-編碼參數(shù)還可能會影響殘余信號的確定，由此是殘余信號421的一部分。例如，由量化/變換模塊26輸出的頻譜變換系數(shù)等級可以看作是校正數(shù)據(jù)，而量化步長在數(shù)據(jù)流18中可以被信號告知，從以下提出的描述的意義上講，量化步長參數(shù)可以看作是編碼參數(shù)。

-編碼參數(shù)還可限定預(yù)測參數(shù)，所述預(yù)測參數(shù)限定上文討論的第一預(yù)測階段的預(yù)測殘差的第二階段預(yù)測。因此，可以使用幀內(nèi)/幀間預(yù)測。

為了提高編碼效率，編碼器20包括編碼信息交換模塊52，該編碼信息交換模塊接收所有編碼參數(shù)以及影響或受模塊36、38、32內(nèi)的處理影響的進(jìn)一步的信息，例如，如由從各個模塊向下指向編碼信息交換模塊52的垂直延伸的箭頭所示例性指示的。編碼信息交換模塊52用于共享編碼參數(shù)并可選地共享編碼支路22之間的進(jìn)一步的編碼信息，以所述分支可以預(yù)測或采用彼此的編碼參數(shù)。在圖1的實(shí)施方式中，為了實(shí)現(xiàn)這個目的，在數(shù)據(jù)實(shí)體之間定義順序，即，多視點(diǎn)信號10的視點(diǎn)121及122的視頻和深度/視差圖數(shù)據(jù)。具體地，第一視點(diǎn)121的視頻141在第一視點(diǎn)的深度/視差圖數(shù)據(jù)161之前，隨后是第二視點(diǎn)122的視頻142，再后是第二視點(diǎn)122的深度/視差圖數(shù)據(jù)162，以此類推。此處應(yīng)注意的是，多視點(diǎn)信號10的數(shù)據(jù)實(shí)體之間的嚴(yán)格順序不需要嚴(yán)格適用于整個多視點(diǎn)信號10的編碼，但為了更便于討論，假設(shè)在下文中該順序是不變的。數(shù)據(jù)實(shí)體之間的順序自然定義了與此相關(guān)聯(lián)的支路22的順序。

如上所述，另外的編碼支路22比如編碼支路22d,1，22v,2及22d,2操作的方式類似于編碼支路22v,1，以分別編碼各個輸入161，142及162。然而，由于剛才提到的視點(diǎn)121及122的視頻和深度/視差圖數(shù)據(jù)之間的順序，以及在編碼支路22之間定義的相應(yīng)順序，編碼支路22d,1在預(yù)測將被用于編碼第一視點(diǎn)121的深度/視差圖數(shù)據(jù)161的當(dāng)前部分的方面具有另外的自由度。這是由于不同視點(diǎn)的視頻和深度/視差圖數(shù)據(jù)之間的前述順序造成的。例如，允許這些實(shí)體中的每一個利用自身的重建部分以及按照這些數(shù)據(jù)實(shí)體之間的前述順序居先的實(shí)體進(jìn)行編碼。相應(yīng)地，在編碼深度/視差圖數(shù)據(jù)161的過程中，允許編碼支路22d,1使用從對應(yīng)視頻141的事先重建部分已知的信息。下面將更詳細(xì)地描述支路22d,1如何利用視頻141的重建部分來預(yù)測深度/視差圖數(shù)據(jù)161的某些屬性，所述屬性使深度/視差圖數(shù)據(jù)161的壓縮具有更好的壓縮率。然而，除此之外，編碼支路22d,1能夠預(yù)測/采用上述編碼視頻141的過程中所涉及的編碼參數(shù)，以便獲得用于編碼深度/視差圖數(shù)據(jù)161的編碼參數(shù)。在采用的情況下，可以抑制有關(guān)數(shù)據(jù)流18中的深度/視差圖數(shù)據(jù)161的任何編碼參數(shù)的信號告知。在預(yù)測的情況下，只有有關(guān)這些編碼參數(shù)的預(yù)測殘差/校正數(shù)據(jù)才可能需要在數(shù)據(jù)流18中信號告知。下面將對編碼參數(shù)的這樣的預(yù)測/采用的實(shí)例進(jìn)行進(jìn)一步描述。

對后續(xù)數(shù)據(jù)實(shí)體(即，第二視點(diǎn)122的視頻142和深度/視差圖數(shù)據(jù)161)而言存在另外的預(yù)測性能。就這些編碼支路而言，幀間預(yù)測模塊自身不但能夠執(zhí)行時間預(yù)測，而且還能執(zhí)行視點(diǎn)間預(yù)測。對應(yīng)的幀間預(yù)測參數(shù)包括與時間預(yù)測相比來說相似的信息，即，每視點(diǎn)間預(yù)測區(qū)段、視差矢量、視點(diǎn)指數(shù)、參考幀指數(shù)和/或多個假設(shè)的指示，即，通過求和方式參與形成視點(diǎn)間預(yù)測的多個幀間預(yù)測的指示。這樣的視點(diǎn)間預(yù)測不但對于有關(guān)視頻142的支路22v,2是可用的，而且對于有關(guān)深度/視差圖數(shù)據(jù)162的支路22d,2的幀間預(yù)測模塊38也是可用的。當(dāng)然，這些視點(diǎn)間預(yù)測參數(shù)也表示可作為用于可能的第三視點(diǎn)(然而，圖1中未示出)的隨后的視點(diǎn)數(shù)據(jù)的采用/預(yù)測基礎(chǔ)的編碼參數(shù)。

由于上述措施，進(jìn)一步減少了通過多路復(fù)用器44插入數(shù)據(jù)流18的數(shù)據(jù)量。具體地，通過采用前面的編碼支路的編碼參數(shù)或僅經(jīng)由多路復(fù)用器44將與此相關(guān)的預(yù)測殘差插入數(shù)據(jù)流18，可以大大減少編碼支路22d,1，22v,2及22d,2的編碼參數(shù)的量。由于能夠在時間預(yù)測和視點(diǎn)間預(yù)測之間選擇，因此也可減少編碼支路22v,2及22d,2的殘余數(shù)據(jù)423及424的量。殘余數(shù)據(jù)量的減少以區(qū)分時間和視點(diǎn)間預(yù)測模式的方式過度補(bǔ)償了另外的編碼工作。

參照圖2以更詳細(xì)說明編碼參數(shù)采用/預(yù)測的原理。圖2示出了多視點(diǎn)信號10的示例性部分。圖2示出了被分割成區(qū)段或部分60a，60b及60c的視頻幀v1,t。為了簡化，只示出了幀v1,t的三個部分，盡管分割可以無縫且無間隙地將幀劃分為多個區(qū)段/部分。如前所述，視頻幀v1,t的分割可以是固定的，也可以隨時間變化，并且分割可以在數(shù)據(jù)流中信號告知或不告知。圖2示出了使用來自視頻141的任何參考幀(在本情況下為示例性幀v1,t-1)的重建版本的運(yùn)動矢量62a及62b時間地預(yù)測部分60a及60b。如在本領(lǐng)域中已知的那樣，視頻141的幀之間的編碼順序可能與這些幀之間的呈現(xiàn)順序不一致，因此，參考幀可以按呈現(xiàn)時間順序接替當(dāng)前幀v1,t。部分60c例如是將幀內(nèi)預(yù)測參數(shù)插入數(shù)據(jù)流18的幀內(nèi)預(yù)測部分。

在編碼深度/視差圖d1,t的過程中，編碼支路22d,1可以通過在下文中相對于圖2舉例說明的一種或多種方式利用上述可能性。

-例如，在編碼深度/視差圖d1,t的過程中，編碼支路22d,1可以采用由編碼支路22v,1所使用的視頻幀v1,t的分割。相應(yīng)地，如果視頻幀v1,t的編碼參數(shù)內(nèi)存在分割參數(shù)，則可避免重發(fā)深度/視差圖數(shù)據(jù)d1,t。可選地，通過經(jīng)由數(shù)據(jù)流18信號告知相對于視頻幀v1,t的分割偏差，編碼支路22d,1可以使用視頻幀v1,t的分割作為用于深度/視差圖d1,t的分割的基礎(chǔ)/預(yù)測。圖2示出了編碼支路22d,1使用視頻幀v1的分割作為深度/視差圖d1,t的預(yù)分割。也就是說，編碼支路22d,1采用來自視頻v1,t的分割的預(yù)分割或從其預(yù)測所述預(yù)分割。

-此外，編碼支路22d,1可以從分配給視頻幀v1,t中的各個部分60a，60b及60c的編碼模式采用或預(yù)測深度/視差圖d1,t的部分66a，66b及66c的編碼模式。在視頻幀v1,t和深度/視差圖d1,t之間的分割不同的情況下，可以對從視頻幀v1,t采用/預(yù)測編碼模式進(jìn)行控制，從而使得從視頻幀v1,t分割的協(xié)同定位部分獲得采用/預(yù)測。協(xié)同定位的適當(dāng)定義如下。深度/視差圖d1,t中的當(dāng)前部分的視頻幀v1,t中的協(xié)同定位部分例如可以是包括深度/視差圖d1,t中的當(dāng)前幀的左上角處的協(xié)同位置的部分。在預(yù)測編碼模式的情況下，編碼支路22d,1可以信號告知深度/視差圖d1,t的部分66a-66c的編碼模式相對于數(shù)據(jù)流18中明確地信號告知的視頻幀v1,t中的編碼模式的偏差。

-只要涉及預(yù)測參數(shù)，編碼支路22d,1可自由地空間采用或預(yù)測用來對在同一深度/視差圖d1,t中的相鄰部分進(jìn)行編碼的預(yù)測參數(shù)，或者從用來對視頻幀v1,t的協(xié)同定位部分66a-66c進(jìn)行編碼的預(yù)測參數(shù)采用/預(yù)測所述預(yù)測參數(shù)。例如，圖2示出了深度/視差圖d1,t的部分66a是幀間預(yù)測部分，并且可以從視頻幀v1,t的協(xié)同定位部分60a的運(yùn)動矢量62a來采用或預(yù)測對應(yīng)的運(yùn)動矢量68a。在預(yù)測的情況下，只將運(yùn)動矢量差插入數(shù)據(jù)流18，作為幀間預(yù)測參數(shù)482的一部分。

-就編碼效率而言，使得編碼支路22d,1能夠利用所謂的楔形波分隔線(wedgeletseparationline)70將深度/視差圖d1,t的預(yù)分割區(qū)段進(jìn)行細(xì)分，并將該楔形波分割線70的位置信號告知數(shù)據(jù)流18中的解碼側(cè)，這對于編碼支路22d,1來說是有利的。通過這種措施，在圖2的實(shí)例中，深度/視差圖d1,t的部分66c被細(xì)分為兩個楔形波形部分72a及72b。編碼支路22d,1可以被配置為分別編碼子區(qū)段72a及72b。就圖2而言，這兩個子區(qū)段72a及72b都示例性地利用各自的運(yùn)動矢量68c及68d進(jìn)行幀間預(yù)測。在對這兩個子區(qū)段72a及72b進(jìn)行幀內(nèi)預(yù)測(intraprediction)的情況下，通過外推相鄰因果區(qū)段的dc值來導(dǎo)算出每個區(qū)段的dc值，通過將相應(yīng)細(xì)化的dc值發(fā)送給解碼器作為幀內(nèi)預(yù)測參數(shù)來選擇細(xì)化這些導(dǎo)出dc值中的每一個。存在使解碼器能夠確定由編碼器所用來細(xì)分深度/視差圖的預(yù)分割的楔形波分隔線的若干可能性。編碼支路22d,1可以被配置為專用這些可能性中的任一個?？蛇x地，編碼支路22d,1可以自由地選擇以下編碼選項(xiàng)，且將所述選擇作為數(shù)據(jù)流18中的邊信息(sideinformation)信號告知解碼器。

楔形波分隔線70例如可以是直線。將該線70的位置信號告知解碼側(cè)可以包括信號告知沿區(qū)段66c的邊界的交叉點(diǎn)以及傾斜或梯度信息或楔形波分隔線70與區(qū)段66c的邊界的兩個交叉點(diǎn)的指示。在實(shí)施方式中，楔形波分隔線70可利用楔形波分隔線70與區(qū)段66c的邊界的兩個交叉點(diǎn)的指示在數(shù)據(jù)流中明確信號告知，其中表示可能的交叉點(diǎn)的網(wǎng)格的粒度，即，交叉點(diǎn)指示的粒度或分辨率，可以取決于區(qū)段66c的尺寸或編碼參數(shù)，比如量化參數(shù)等。

在利用二進(jìn)方塊通過基于四叉樹的區(qū)塊劃分給出預(yù)分割的可選實(shí)施方式中，可以以查找表(lut)的形式給出每個區(qū)塊大小的交叉點(diǎn)的容許集，從而使得每個交叉點(diǎn)的信號告知涉及對應(yīng)的lut索引的信號告知。

然而，根據(jù)另一種可能性，編碼支路22d,1使用解碼圖像緩沖器34中的視頻幀v1,t的重建部分60c，以便預(yù)測楔形波分隔線70的位置，并在數(shù)據(jù)流中將實(shí)際用于編碼區(qū)段66c的楔形波分隔線70的偏差(如果有的話)信號告知解碼器。具體地，模塊52可以在與深度/視差圖d1,t的部分66c的位置對應(yīng)的位置處對視頻v1,t執(zhí)行邊緣檢測。例如，該檢測對視頻幀v1,t中的一些定標(biāo)特征比如亮度、亮度分量或色度分量或色度等的空間梯度超過某一最小閾值的邊緣是敏感。模塊52可基于該邊緣72的位置確定楔形波分隔線70，以便該線沿邊緣72延伸。因?yàn)榻獯a器也訪問了重建視頻幀v1,t，解碼器能夠確定楔形波分隔線70以便將部分66c細(xì)分為楔形波形子部分72a及72b。從而節(jié)省了用來信號告知楔形波分隔線70的信令容量。具有表示楔形波分隔線位置的部分66c大小相關(guān)的分辨率的方面也適用于通過邊緣檢測確定線70的位置的方面并根據(jù)預(yù)測位置傳送可選偏離。

在編碼視頻142的過程中，編碼支路22v,2除了可用于編碼支路22v,1的編碼模式選項(xiàng)之外，還具有幀間視點(diǎn)預(yù)測(inter-viewprediction)選項(xiàng)。

例如，圖2示出了視頻幀v2,t的分割的部分64b是從第一視點(diǎn)視頻141的時間相應(yīng)視頻幀v1,t利用視差矢量76預(yù)測得到的幀間視點(diǎn)。

盡管存在差異，編碼支路22v,2還可以利用從視頻幀v1,t和深度/視差圖d1,t編碼為可用的所有信息，比如，特別是，這些編碼中所使用的編碼參數(shù)。因此，編碼支路22v,2可以從時間對準(zhǔn)視頻幀v1,t和深度/視差圖d1,t的協(xié)同定位部分60a及66a的運(yùn)動矢量62a及68a的任意一個或組合采用或預(yù)測包括視頻幀v2,t的時間幀內(nèi)預(yù)測部分74a的運(yùn)動矢量78的運(yùn)動參數(shù)。如果有的話，可以相對于部分74a的幀間預(yù)測參數(shù)信號告知預(yù)測殘差。因此，應(yīng)該指出，運(yùn)動矢量68a可能已經(jīng)根據(jù)運(yùn)動矢量62a自身進(jìn)行了預(yù)測/采用。

相對于深度/視差圖d1,t的編碼的如上所述的采用/預(yù)測用于編碼視頻幀v2,t的編碼參數(shù)的其他可能性可用于通過編碼支路22v,2對視頻幀v2,t進(jìn)行的編碼，然而，由模塊52分布的可用的共用數(shù)據(jù)會增加，因?yàn)橐曨l幀v1,t和相應(yīng)深度/視差圖d1,t的編碼參數(shù)都可用。

然后，與編碼支路22d,1編碼深度/視差圖d1,t類似，編碼支路22d,2編碼深度/視差圖d2,t。對于從相同視點(diǎn)122的視頻幀v2,t的所有編碼參數(shù)采用/預(yù)測情況來說，這是真的。然而，另外，編碼支路22d,2有機(jī)會從已用于編碼前面的視點(diǎn)121的深度/視差圖d1,t的編碼參數(shù)采用/預(yù)測編碼參數(shù)。另外，編碼支路22d,2可以使用相對于編碼支路22v,2所說明的幀間視點(diǎn)預(yù)測。

就編碼參數(shù)采用/預(yù)測而言，需要將編碼支路22d,2從多視點(diǎn)信號10的事先編碼實(shí)體的編碼參數(shù)采用/預(yù)測其編碼參數(shù)的可能性限制至同一視點(diǎn)122的視頻142及相鄰的事先編碼視點(diǎn)121的深度/視差圖數(shù)據(jù)161，以降低信令開銷，所述信令開銷源自信號告知數(shù)據(jù)流18中的編碼側(cè)用于度/視差圖d2,t的各個部分的采用/預(yù)測來源的必要性。例如，編碼支路22d,2可以從視頻幀v2,t的協(xié)同定位部分74b的視差矢量76預(yù)測包括視差矢量82的深度/視差圖d2,t的幀間視點(diǎn)預(yù)測部分80a的預(yù)測參數(shù)。在這種情況下，根據(jù)其進(jìn)行了采用/預(yù)測的數(shù)據(jù)實(shí)體的指示，即，圖2的視頻142，可以被省略，因?yàn)橐曨l142只有可能是深度/視差圖d2,t的視差矢量采用/預(yù)測的來源。然而，在采用/預(yù)測時間幀間預(yù)測部分80b的幀間預(yù)測參數(shù)的過程中，編碼支路22d,2可以從運(yùn)動矢量78，68a及62a中的任何一個采用/預(yù)測對應(yīng)的運(yùn)動矢量84，因此，編碼支路22d,2可以被配置為在數(shù)據(jù)流18中信號告知運(yùn)動矢量84的采用/預(yù)測來源。因此，將可能的來源限制到視頻142和深度/視差圖161減少了開銷。

就分隔線而言，編碼支路22d,2除了上文已討論的選項(xiàng)之外還具有以下選項(xiàng)：

為了利用楔形波分隔線編碼視點(diǎn)122的深度/視差圖d2,t，可以比如通過邊緣檢測并隱含地推導(dǎo)出相應(yīng)的楔形波分隔線來使用信號d1,t的對應(yīng)的視差補(bǔ)償部分。視差補(bǔ)償然后用于將深度/視差圖d1,t中的檢測線傳遞給深度/視差圖d2,t。對于視差補(bǔ)償來說，可以使用沿深度/視差圖d1,t中的各個檢測邊緣的前景深度/視差值。

可選地，為了利用楔形波分隔線編碼視點(diǎn)122的深度/視差圖d2,t，可以通過使用d1,t的視差補(bǔ)償部分中的楔形波分隔線，即，使用用于編碼信號d1,t的協(xié)同定位部分的楔形波分隔線作為預(yù)測子(predictor)或采用該分隔線，來使用信號d1,t的相應(yīng)視差補(bǔ)償部分。

在描述圖1的編碼器20之后，應(yīng)注意的是，該編碼器可以軟件、硬件或固件，即，可編程硬件實(shí)現(xiàn)。盡管圖1的框圖提出了編碼器20在結(jié)構(gòu)上包括并行編碼支路，即，多視點(diǎn)信號10一個編碼支路和深度/視差數(shù)據(jù)一個編碼支路，但這并不一定如此。例如，分別被配置為執(zhí)行元件24-40的任務(wù)的軟件程序、電路部分或可編程邏輯部分可以被順序用于完成每個編碼支路的任務(wù)。在并行處理過程中，可以對并行處理器核或并行運(yùn)行電路執(zhí)行并行編碼支路的處理。

圖3示出了解碼器的實(shí)例，該解碼器能夠解碼數(shù)據(jù)流18以便從數(shù)據(jù)流18重建與由多視點(diǎn)信號表示的場景對應(yīng)的一個或幾個視點(diǎn)視頻。在很大程度上，圖3的解碼器的結(jié)構(gòu)和功能類似于圖2的編碼器，從而盡可能重新使用圖1的參考標(biāo)號來表示上文相對于圖1提供的功能描述同樣適用于圖3。

圖3的解碼器一般用參考標(biāo)號100表示，并包括用于數(shù)據(jù)流18的輸入端以及用于輸出前述一個或幾個視點(diǎn)102的重建的輸出端。解碼器100包括解多路復(fù)用器104和用于由數(shù)據(jù)流18表示的多視點(diǎn)信號10(圖1)的每個數(shù)據(jù)實(shí)體的一對解碼支路106以及視點(diǎn)提取器108和編碼參數(shù)交換器110。如與圖1的編碼器的情況一樣，解碼支路106在相同互連中包括相同解碼元件，相應(yīng)地，相對于負(fù)責(zé)解碼第一視點(diǎn)121的視頻141的解碼支路106v,1代表性地描述所述解碼分支。具體地，每個編碼支路106包括與多路復(fù)用器104的各個輸出端連接的輸入端以及與視點(diǎn)提取器108的各個輸入端連接以便向視點(diǎn)提取器108輸出多視點(diǎn)信號10的各個數(shù)據(jù)實(shí)體即，解碼支路106v,1情況下的視頻141的輸出端。其中，每個編碼支路106都包括串聯(lián)連接在多路復(fù)用器104和視點(diǎn)提取器108之間的去量化/反相變換模塊28、加法器30、進(jìn)一步處理模塊32以及解碼圖像緩沖器34。加法器30、進(jìn)一步處理模塊32以及解碼圖像緩沖器34和跟隨在組合器/選擇器40之后的預(yù)測模塊36及38(以上述順序)的并聯(lián)(連接在解碼圖像緩沖器34和加法器30的另一輸入端之間)構(gòu)成一個回路。正如利用圖1的相同參考標(biāo)號所表示的那樣，解碼支路106的元件28至40的結(jié)構(gòu)和功能與圖1中的編碼支路的相應(yīng)元件的相似之處在于，解碼支路106的元件利用數(shù)據(jù)流18中傳遞的信息模擬編碼過程的處理。自然，解碼支路106僅相對于由解碼器20最終選擇的編碼參數(shù)反轉(zhuǎn)編碼程序，而圖1的編碼器20從優(yōu)化程度來說必須找出一組最優(yōu)的編碼參數(shù)，比如優(yōu)化比率/失真成本函數(shù)的編碼參數(shù)，任選要受一定限制，比如最大比特率等。

解多路復(fù)用器104用于向各個解碼支路106分配數(shù)據(jù)流18。例如，解多路復(fù)用器104為去量化/反相變換模塊28提供殘余數(shù)據(jù)421，為進(jìn)一步處理模塊32提供進(jìn)一步處理參數(shù)501，為幀內(nèi)預(yù)測模塊36提供幀內(nèi)預(yù)測參數(shù)461，為幀間預(yù)測模塊38提供幀間預(yù)測參數(shù)481。編碼參數(shù)交換器110的作用與圖1中的相應(yīng)模塊52一樣，以便在各個解碼支路106中分配共用編碼參數(shù)和其他共用數(shù)據(jù)。

視點(diǎn)提取器108接收由并行解碼支路106重建的多視點(diǎn)信號并從中提取與外部提供的中間視點(diǎn)提取控制數(shù)據(jù)112規(guī)定的視角或視向(viewdirection)對應(yīng)的一個或多個視點(diǎn)102。

由于解碼器100與編碼器20的相應(yīng)部分的構(gòu)造類似，因此可與以上描述類似地簡單說明視點(diǎn)提取器108的接口的功能。

實(shí)際上，解碼支路106v,1和106d,1一起操作以根據(jù)數(shù)據(jù)流18中包含的第一編碼參數(shù)(比如，421中的定標(biāo)參數(shù)、參數(shù)461，481，501、相應(yīng)的未采用的參數(shù)以及第二支路16d,1的編碼參數(shù)的預(yù)測殘差，即參數(shù)462，482，502)，通過從多視點(diǎn)信號10的事先重建部分預(yù)測第一視點(diǎn)121的當(dāng)前部分并利用例如421和422中的，同樣包含在數(shù)據(jù)流18中的第一校正數(shù)據(jù)校正第一視點(diǎn)121的當(dāng)前部分預(yù)測的預(yù)測誤差，來重建數(shù)據(jù)流18的多視點(diǎn)信號10的第一視點(diǎn)121，其中，所述多視點(diǎn)信號10的事先重建部分在第一視點(diǎn)121的重建之前從數(shù)據(jù)流18被重建。當(dāng)解碼支路106v,1負(fù)責(zé)解碼視頻141時，編碼支路106d,1假設(shè)負(fù)責(zé)重建深度/視差圖數(shù)據(jù)161。例如，參見圖2：根據(jù)從數(shù)據(jù)流18讀取的相應(yīng)編碼參數(shù)，即，421中的定標(biāo)參數(shù)、參數(shù)461，481，501，解碼支路106v,1通過從多視點(diǎn)信號10的事先重建部分預(yù)測視頻141的當(dāng)前部分(諸如，60a，60b或60c)并使用從數(shù)據(jù)流18，即從421中的變換系數(shù)等級獲得的相應(yīng)校正數(shù)據(jù)校正該預(yù)測的預(yù)測誤差，來從數(shù)據(jù)流18重建第一視點(diǎn)121的視頻141。例如，解碼支路106v,1以區(qū)段/部分為單位利用視頻幀之間的編碼順序?qū)σ曨l141進(jìn)行處理，為了編碼幀內(nèi)的區(qū)段，這些幀的區(qū)段之間的編碼順序就像編碼器的相應(yīng)編碼支路所做的那樣。相應(yīng)地，視頻141的所有的事先重建部分都可用于預(yù)測當(dāng)前部分。用于當(dāng)前部分的編碼參數(shù)可以包括幀內(nèi)預(yù)測參數(shù)501、幀間預(yù)測參數(shù)481、用于進(jìn)一步處理模塊32的濾波參數(shù)等中的一個或多個。用于校正預(yù)測誤差的校正數(shù)據(jù)可以由殘余數(shù)據(jù)421中的頻譜變換系數(shù)等級表示。并非所有這些編碼參數(shù)都需要全部傳送。它們中的一部分可能已經(jīng)從視頻141的相鄰區(qū)段的編碼參數(shù)進(jìn)行了空間預(yù)測處理。視頻141的運(yùn)動矢量例如可以在比特流內(nèi)作為視頻141的相鄰部分/區(qū)段的運(yùn)動矢量之間的運(yùn)動矢量差而傳送。

只要涉及第二解碼支路106d,1，該第二解碼支路不但對在數(shù)據(jù)流18中信號告知的并通過解多路復(fù)用器104分配給各個解碼支路106d,1的殘余數(shù)據(jù)422和相應(yīng)的預(yù)測和濾波參數(shù)，即，不是通過幀間視點(diǎn)邊界預(yù)測的編碼參數(shù)，進(jìn)行訪問，而且可以間接地對經(jīng)由解多路復(fù)用器104提供給解碼支路106v,1的編碼參數(shù)和校正數(shù)據(jù)，或由此產(chǎn)生的、經(jīng)由編碼信息交換模塊110分配的任何信息進(jìn)行訪問。因此，解碼支路106d,1從經(jīng)由解多路復(fù)用器104轉(zhuǎn)發(fā)至第一視點(diǎn)121的一對解碼支路106v,1及106d,1的編碼參數(shù)的一部分(其與尤其專用于并轉(zhuǎn)發(fā)至解碼支路106v,1的這些編碼參數(shù)的一部分部分重疊)確定用來重建深度/視差圖數(shù)據(jù)161的編碼參數(shù)。例如，解碼支路106d,1從在481中明確傳送的運(yùn)動矢量62a確定運(yùn)動矢量68a，在一方面作為與幀v1,t的另一個相鄰部分的運(yùn)動矢量差，另一方面作為在482中明確傳送的運(yùn)動矢量差。另外地或可選地，解碼支路106d,1可以使用上文相對于楔形波分隔線的預(yù)測而描述的視頻141的重構(gòu)部分來預(yù)測用來解碼深度/視差圖數(shù)據(jù)161的編碼參數(shù)。

更確切地說，解碼支路106d,1通過使用至少部分地從由解碼支路106v,1所使用的編碼參數(shù)預(yù)測的和/或從解碼支路106v,1的解碼圖像緩沖器34中的視頻141的重建部分預(yù)測的編碼參數(shù)來從數(shù)據(jù)流重建第一視點(diǎn)121的深度/視差圖數(shù)據(jù)141。編碼參數(shù)的預(yù)測殘差可以經(jīng)由解多路復(fù)用器104從數(shù)據(jù)流18中獲得。用于解碼支路106d,1的其他編碼參數(shù)可以全部在數(shù)據(jù)流108中傳送或相對于另一個依據(jù)，即，參照已用于編碼深度/視差圖數(shù)據(jù)161自身的任意事先重建部分的編碼參數(shù)進(jìn)行傳送?；谶@些編碼參數(shù)，解碼支路106d,1從深度/視差圖數(shù)據(jù)161的事先重建部分預(yù)測深度/視差圖數(shù)據(jù)141的當(dāng)前部分，并利用各個校正數(shù)據(jù)422校正預(yù)測深度/視差圖數(shù)據(jù)161的當(dāng)前部分的預(yù)測誤差，其中，所述深度/視差圖數(shù)據(jù)161的事先重建部分在重建深度/視差圖數(shù)據(jù)161的當(dāng)前部分之前由解碼支路106d,1從數(shù)據(jù)流18重建。

因此，數(shù)據(jù)流18可以包括一個部分，比如深度/視差圖數(shù)據(jù)161的部分66a，如下：

-指示用于當(dāng)前部分的編碼參數(shù)是否或哪一部分從例如視頻141的協(xié)同定位和時間校準(zhǔn)部分的(或從其他視頻141的特定數(shù)據(jù)，比如重建版本以便預(yù)測楔形波分隔線)對應(yīng)的編碼參數(shù)采用或預(yù)測，

-若是，在預(yù)測的情況下，則是編碼參數(shù)殘差，

-若否，則是當(dāng)前部分的所有編碼參數(shù)，其中，與深度/視差圖數(shù)據(jù)161的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的所有編碼參數(shù)都可以被信號告知為預(yù)測殘差，

-如果并非如上所述的所有編碼參數(shù)都要被預(yù)測/采用，則是當(dāng)前部分的編碼參數(shù)的剩余部分，其中與深度/視差圖數(shù)據(jù)161的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的編碼參數(shù)的剩余部分可以被信號告知為預(yù)測殘差。

例如，如果當(dāng)前部分是幀間預(yù)測部分，比如部分66a，則運(yùn)動矢量68a可以在數(shù)據(jù)流18中被信號告知為從運(yùn)動矢量62a被采用或預(yù)測。此外，解碼支路106d,1可以根據(jù)如上所述視頻141的重建部分中的檢測邊緣72預(yù)測楔形波分隔線70的位置并在數(shù)據(jù)流18中無信號告知的情況下或根據(jù)數(shù)據(jù)流18中的各個應(yīng)用信號告知應(yīng)用該楔形波分隔線70。換句話說，用于當(dāng)前幀的楔形波分割線的應(yīng)用可以通過數(shù)據(jù)流18中的信號告知的方式被抑制或允許。甚至換言之，解碼支路106d,1可以有效預(yù)測深度/視差圖數(shù)據(jù)的當(dāng)前重建部分的外周(circumference)。

與如上文相對于編碼描述的那樣，第二視點(diǎn)122的一對解碼支路106v,2及106d,2的功能與第一視點(diǎn)121類似。這兩個支路協(xié)作以利用自身的編碼參數(shù)從數(shù)據(jù)流18重建多視點(diǎn)信號10的第二視點(diǎn)122。僅是這些編碼參數(shù)的一部分需要經(jīng)由解多路復(fù)用器104傳輸并分配給這兩個解碼支路106v,2及106d,2中的任一個，其沒有在視點(diǎn)141及142之間的邊界被采用/預(yù)測，可選地，為視點(diǎn)間預(yù)測部分的殘差。第二視點(diǎn)122的當(dāng)前部分從多視點(diǎn)信號10的事先重建部分進(jìn)行預(yù)測，并由此利用由解多路復(fù)用器104轉(zhuǎn)發(fā)給這對解碼支路106v,2及106d,2的校正數(shù)據(jù)，即423及424校正預(yù)測誤差，其中，所述多視點(diǎn)信號10的事先重建部分在第二視點(diǎn)122的各個當(dāng)前部分的重建之前通過解碼支路106中的任一個從數(shù)據(jù)流18中重建。

解碼支路106v,2被配置為至少部分地從由解碼支路106v,1及106d,1中的任意一個使用的編碼參數(shù)采用或預(yù)測其編碼參數(shù)?？梢詫σ曨l142的當(dāng)前部分呈現(xiàn)以下有關(guān)編碼參數(shù)的信息：

-指示當(dāng)前部分的編碼參數(shù)是否或哪一部分從例如視頻141或深度/視差數(shù)據(jù)161的協(xié)同定位和時間校準(zhǔn)部分的對應(yīng)的編碼參數(shù)被采用或被預(yù)測，

-若是，在預(yù)測的情況下，則是編碼參數(shù)殘差，

-若否，則是當(dāng)前部分的所有編碼參數(shù)，其中，與視頻142的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的所有編碼參數(shù)可以被信號告知為預(yù)測殘差，

-如果并非如上所述的所有編碼參數(shù)都要被預(yù)測/采用，則是當(dāng)前部分的編碼參數(shù)的剩余部分，其中，與視頻142的事先重建部分的編碼參數(shù)相比，當(dāng)前部分的編碼參數(shù)的剩余部分可以被信號告知為預(yù)測殘差，

-數(shù)據(jù)流18中的信號告知可以用信號告知當(dāng)前部分74a是否要從全新的數(shù)據(jù)流中讀取此部分的相應(yīng)編碼參數(shù)，比如運(yùn)動矢量78，相應(yīng)編碼參數(shù)是否進(jìn)行空間預(yù)測或是否根據(jù)第一視點(diǎn)121的視頻141或深度/視差圖數(shù)據(jù)161的協(xié)同定位部分的運(yùn)動矢量進(jìn)行預(yù)測，并且解碼支路106v,2是否可以相應(yīng)起作用，即，通過全部從數(shù)據(jù)流18中提取運(yùn)動矢量78，采用或預(yù)測該運(yùn)動矢量，在后一種情況下，從數(shù)據(jù)流18中提取有關(guān)當(dāng)前部分74a的編碼參數(shù)的預(yù)測誤差數(shù)據(jù)。

解碼支路106d,2可以進(jìn)行類似的操作。也就是說，解碼支路106d,2可以至少部分地通過采用/預(yù)測而從由解碼支路106v,1、106d,1及106v,2中的任一個所使用的編碼參數(shù)，從第一視點(diǎn)121的重建視頻142和/或重建深度/視差圖數(shù)據(jù)161確定其編碼參數(shù)。例如，數(shù)據(jù)流18可以信號告知深度/視差圖數(shù)據(jù)162的當(dāng)前部分80b，當(dāng)前部分80b的編碼參數(shù)是否或者哪一部分從視頻141、深度/視差數(shù)據(jù)161以及視頻142或其適當(dāng)子集中的任一個的協(xié)同定位被采用或被預(yù)測。這些編碼參數(shù)所關(guān)注的部分可以涉及運(yùn)動矢量比如84，或視差矢量比如視差矢量82。此外，其他編碼參數(shù)，比如有關(guān)楔形波分隔線的編碼參數(shù)，可以由解碼支路106d,2利用視頻142中的邊緣檢測推導(dǎo)出來?？蛇x地，邊緣檢測甚至可以通過應(yīng)用預(yù)定再投影而用于重建深度/視差圖數(shù)據(jù)161，以便將檢測邊緣在深度/視差圖d1,t中的位置傳遞給深度/視差圖d2,t，從而作為預(yù)測楔形波分隔線的位置的基礎(chǔ)。

多視點(diǎn)數(shù)據(jù)10的重建部分在任何情況都可到達(dá)視點(diǎn)提取器108，其中包含的視點(diǎn)是新視點(diǎn)(即，與這些新視點(diǎn)相關(guān)聯(lián)的視頻等)的視點(diǎn)提取基礎(chǔ)。該視點(diǎn)提取可以包括或涉及利用與此相關(guān)聯(lián)的深度/視差圖數(shù)據(jù)再投影所述視頻141及142。坦率地說，在將視頻再投影到另一個中間視點(diǎn)的過程中，視頻的與位于接近觀察者的場景部分對應(yīng)的部分沿視差方向，即查看方向差矢量的方向的移動超過視頻的與位于遠(yuǎn)離觀察者位置的場景部分對應(yīng)的部分。下面相對于圖4至圖6及圖8概述由視點(diǎn)提取器108執(zhí)行的視點(diǎn)提取的實(shí)例。去遮擋處理也可以由視點(diǎn)提取器執(zhí)行。

然而，在描述下文的另外的實(shí)施方式之前，應(yīng)注意的是，可以對上面列出的實(shí)施方式進(jìn)行幾處修改。例如，多視點(diǎn)信號10不一定要包括每個視點(diǎn)的深度/視差圖數(shù)據(jù)。甚至可以是，多視點(diǎn)信號10中沒有任何視點(diǎn)具有與此相關(guān)聯(lián)的深度/視差圖數(shù)據(jù)。然而，編碼參數(shù)重新使用或在上面列出的多個視點(diǎn)之間共享會使編碼效率得到提高。此外，對于某些視點(diǎn)來說，可以限制深度/視差圖數(shù)據(jù)在數(shù)據(jù)流中傳送至去遮擋區(qū)域(disocclusionarea)，即，根據(jù)設(shè)定為不確定圖的剩余區(qū)域中的值的多視點(diǎn)信號的其他視點(diǎn)填充再投影視點(diǎn)中的去遮擋區(qū)域的區(qū)域。

如上所述，多視點(diǎn)信號10的視點(diǎn)121及122可以具有不同的空間分辨率。也就是說，它們可以使用不同的分辨率在數(shù)據(jù)流18中傳輸。甚至換言之，編碼支路22v,1及22d,1執(zhí)行預(yù)測編碼的空間分辨率可能高于編碼支路22v,2及22d,2按照視點(diǎn)之間的上述順序?qū)^視點(diǎn)121之后的后續(xù)視點(diǎn)122執(zhí)行預(yù)測編碼的空間分辨率。本發(fā)明的發(fā)明人發(fā)現(xiàn)，在考慮到合成視點(diǎn)102的質(zhì)量時，該措施還提高了比率/失真比。例如，圖1的編碼器首先以相同的空間分辨率接收視點(diǎn)121和視點(diǎn)122，然而，然后在使第二視點(diǎn)122的視頻142和深度/視差圖數(shù)據(jù)162進(jìn)行由模塊24-40實(shí)現(xiàn)的預(yù)測編碼程序之前，將第二視點(diǎn)122的視頻142和深度/視差圖數(shù)據(jù)162下采樣為較低的空間分辨率。然而，仍然可通過根據(jù)源視點(diǎn)和目標(biāo)視點(diǎn)的不同分辨率之間的比來定標(biāo)形成采用或預(yù)測基礎(chǔ)的編碼參數(shù)，從而執(zhí)行采用并預(yù)測視點(diǎn)邊界上的編碼參數(shù)的上述措施。例如，參見圖2。如果編碼支路22v,2意在從運(yùn)動矢量62a及68a中的任意一個采用或預(yù)測運(yùn)動矢量78，則編碼支路22v,2通過與視點(diǎn)121(即，源視點(diǎn))的高空間分辨率與視點(diǎn)22(即，目標(biāo)視點(diǎn))的低空間分辨率之比對應(yīng)的值向下定標(biāo)該運(yùn)動矢量。自然，這對于解碼器和解碼支路106都適用。解碼支路106v,2及106d,2可以相對于解碼支路106v,1及106d,1以低的空間分辨率執(zhí)行預(yù)測解碼。在重建之后，可使用上采樣方式，以便在深度/視差圖到達(dá)視點(diǎn)提取器108之前將由解碼支路106v,2及106d,2的解碼圖像緩沖器34輸出的重建圖像和深度/視差圖從低空間分辨率轉(zhuǎn)變?yōu)楦呖臻g分辨率。各個上采樣器可以位于各個解碼圖像緩沖器和視點(diǎn)提取器108的各個輸入端之間。如上所述，在一個視點(diǎn)121或122內(nèi)，視頻及相關(guān)深度/視差圖數(shù)據(jù)可以具有相同的空間分辨率。然而，另外地或可選地，這些對具有不同的空間分辨率，并在空間分辨率邊界，即深度/視差圖數(shù)據(jù)和視頻之間執(zhí)行上面剛剛描述的措施。此外，根據(jù)另一個實(shí)施方式，存在包括視點(diǎn)123的三個視點(diǎn)，為了便于進(jìn)行說明在圖1至圖3中未示出，第一視點(diǎn)和第二視點(diǎn)具有相同的空間分辨率，而第三視點(diǎn)123具有較低的空間分辨率。因此，根據(jù)剛才描述的實(shí)施方式，部分后續(xù)視點(diǎn)，比如視點(diǎn)122，在編碼之前進(jìn)行下采樣處理，在解碼之后進(jìn)行上采樣處理。該子采樣或上采樣分別表示解碼/編碼支路的預(yù)處理或后處理，其中用于采用/預(yù)測任何后續(xù)(目標(biāo))視點(diǎn)的編碼參數(shù)的編碼參數(shù)根據(jù)源視點(diǎn)和目標(biāo)視點(diǎn)的空間分辨率的比進(jìn)行定標(biāo)。如上所述，以較低的質(zhì)量傳輸這些后續(xù)視點(diǎn)(諸如視點(diǎn)122)并沒有顯著影響中間視點(diǎn)提取器108的中間視點(diǎn)輸出102的質(zhì)量，原因是在中間視點(diǎn)提取器108中進(jìn)行處理。由于再投影到中間視點(diǎn)并且必須對再投影到中間視點(diǎn)的采樣網(wǎng)格的視頻采樣值進(jìn)行再采樣，因此視點(diǎn)提取器108無論如何都會對視頻141及142執(zhí)行插值/低通濾波。為了探討第一視點(diǎn)121以相對于相鄰視點(diǎn)122增加的空間分辨率進(jìn)行傳送的事實(shí)，其間的中間視點(diǎn)可以主要從視點(diǎn)121獲得，僅利用低空間分辨率視點(diǎn)122和其視頻142作為輔視點(diǎn)，比如僅用于填充視頻141的再投影版本的去遮擋區(qū)域，或當(dāng)對視點(diǎn)121和視點(diǎn)122的視頻的再投影版本進(jìn)行平均處理時僅以減少的加權(quán)因子參與。通過這一措施，盡管第二視點(diǎn)122的編碼率因以較低空間分辨率傳送而明顯降低，但同樣對視點(diǎn)122的較低空間分辨率進(jìn)行補(bǔ)償。

還應(yīng)提及的是，就編碼/解碼支路的內(nèi)部結(jié)構(gòu)而言，可以修改所述實(shí)施方式。例如，可能不存在幀內(nèi)預(yù)測模式，即，無空間預(yù)測模式可用。類似地，可以忽略任意幀間視點(diǎn)和時間預(yù)測模式。此外，所有進(jìn)一步處理選項(xiàng)都是可選的。另一方面，在解碼支路106的輸出端上可以存在越環(huán)后處理模塊(out-of-looppost-processingmodule)，以便執(zhí)行自適應(yīng)濾波或其他質(zhì)量提高措施和/或上述上采樣。此外，可以不執(zhí)行殘差變換。而是，殘差可以在空間域中而不是在頻域中傳送。就一般意義而言，圖1及圖3中所示的混合編碼/解碼設(shè)計(jì)可以用其他編碼/解碼構(gòu)思，比如基于小波變換的構(gòu)思替換。

還應(yīng)提及的是，解碼器沒必要包括視點(diǎn)提取器108。而是，可能不存在視點(diǎn)提取器108。在這種情況下，解碼器100僅用于重建視點(diǎn)121及122中的任意一個，比如其中一個、幾個或全部。如果對各個視點(diǎn)121及122來說不存在深度/視差數(shù)據(jù)，則視點(diǎn)提取器108可以通過利用使相鄰視點(diǎn)的相應(yīng)部分彼此相關(guān)的視差矢量來執(zhí)行中間視點(diǎn)。這些視差矢量作為與相鄰視點(diǎn)的視頻相關(guān)聯(lián)的視差矢量場的支持視差矢量，視點(diǎn)提取器108可以通過應(yīng)用該視差矢量場從相鄰視點(diǎn)121及122的這樣的視頻來構(gòu)建中間視點(diǎn)視頻。試想視頻幀v2,t具有視點(diǎn)間預(yù)測的部分/區(qū)段的50％。也就是說，對于50％的部分/區(qū)段來說，可能存在視差矢量。對于剩余部分來說，視差矢量可以由視點(diǎn)提取器108通過內(nèi)插/外推法從空間方面確定。還可以使用將視差矢量用于視頻142的事先重建幀的部分/區(qū)段的時間插值。然后根據(jù)這些視差矢量使視頻幀v2,t和/或基準(zhǔn)視頻幀v1,t失真，從而產(chǎn)生中間視點(diǎn)。為此，根據(jù)中間視點(diǎn)在第一視點(diǎn)121和第二視點(diǎn)122的視點(diǎn)位置之間的中間視點(diǎn)位置定標(biāo)視差矢量。下面將更詳細(xì)地概述有關(guān)該程序的細(xì)節(jié)。

通過使用確定楔形波分割線以在視頻的重建的當(dāng)前幀中沿著檢測的邊緣延伸的上述選項(xiàng)，來獲得編碼效率增益。因此，如上所述，上述楔形波分隔線位置預(yù)測可以用于每個視點(diǎn)，即，全部或僅用于其適當(dāng)?shù)淖蛹?/p>

迄今為止，圖3的上述討論還揭示了一種解碼器，其具有解碼支路106c,1和解碼支路106d,1，解碼支路106c,1被配置為從數(shù)據(jù)流18重建視頻141的當(dāng)前幀v1,t，解碼支路106d,1被配置為檢測重建當(dāng)前幀v1,t中的邊緣72，確定楔形波分隔線70以便沿邊緣72延伸，并從數(shù)據(jù)流18以深度/視差圖d1,t的分割的區(qū)段66a，66b，72a，72b為單位重建與當(dāng)前幀v1,t相關(guān)聯(lián)的深度/視差圖d1,t，其中，分割的兩個相鄰區(qū)段72a，72b通過楔形波分隔線70相互分開。解碼器可以被配置為利用區(qū)段的不同組的預(yù)測參數(shù)，從與當(dāng)前幀v1,t相關(guān)聯(lián)的深度/視差圖d1,t或與視頻的任意事先解碼幀v1,t-1相關(guān)聯(lián)的深度/視差圖d1,t-1的事先重建區(qū)段來分段預(yù)測深度/視差圖d1,t。解碼器可以被配置使得楔形波分隔線70是直線，解碼器被配置為根據(jù)深度/視差圖d1,t的基于區(qū)塊的預(yù)分割，通過沿楔形波分隔線70劃分預(yù)分割的區(qū)塊66c來確定分割，以便兩個相鄰的區(qū)段72a，72b為一起形成預(yù)分割的區(qū)塊66c的楔形波形區(qū)段。

總結(jié)上述一些實(shí)施方式，這些實(shí)施方式使得能夠從共同解碼多視點(diǎn)視頻和補(bǔ)充數(shù)據(jù)進(jìn)行視點(diǎn)提取。術(shù)語“補(bǔ)充數(shù)據(jù)”在下文中用于表示深度/視差圖數(shù)據(jù)。根據(jù)這些實(shí)施方式，多視點(diǎn)視頻和補(bǔ)充數(shù)據(jù)被嵌入在一個壓縮表示中。補(bǔ)充數(shù)據(jù)可以由逐像素深度圖、視差數(shù)據(jù)或3d線框組成。所提取的視點(diǎn)102與壓縮表示或比特流18中包含的視點(diǎn)121，122的不同之處在于視點(diǎn)數(shù)量和空間位置。之前已經(jīng)通過編碼器20生成了壓縮表示18，其可以使用補(bǔ)充數(shù)據(jù)來改善視頻數(shù)據(jù)的編碼。

與當(dāng)前現(xiàn)有技術(shù)的方法相比，執(zhí)行聯(lián)合解碼，其中，通過共用信息支持并控制視頻和補(bǔ)充數(shù)據(jù)解碼。實(shí)例為一組共用的運(yùn)動矢量或視差矢量，用于解碼視頻和補(bǔ)充數(shù)據(jù)。最后，從解碼視頻數(shù)據(jù)、補(bǔ)充數(shù)據(jù)和可能組合數(shù)據(jù)中提取視點(diǎn)，其中，在接收設(shè)備處通過提取控制對所提取視點(diǎn)的數(shù)量和位置進(jìn)行控制。

進(jìn)一步地，上文描述的多視點(diǎn)壓縮概念可結(jié)合基于視差的視點(diǎn)合成一起使用?；谝暡畹囊朁c(diǎn)合成的含義如下。如果由多臺照相機(jī)捕獲場景內(nèi)容，比如視頻141及142，則可以向觀察者呈現(xiàn)該內(nèi)容的三維感知。為此，立體對必須為左眼和右眼設(shè)置稍微不同的查看方向。由視差矢量表示相等時間實(shí)例的兩個視點(diǎn)中的同一內(nèi)容的切換。類似于此，在不同時間實(shí)例之間的序列中的內(nèi)容切換是運(yùn)動矢量，如圖4所示，用于不同時間實(shí)例的兩個視點(diǎn)。

通常，直接估計(jì)或以場景深度形式估計(jì)視差，該視差由外部提供或利用專用傳感器或照相機(jī)進(jìn)行記錄。運(yùn)動估計(jì)已由標(biāo)準(zhǔn)編碼器執(zhí)行。如果多個視點(diǎn)被一起編碼，則對時間和視點(diǎn)間方向進(jìn)行類似處理，以便在編碼過程中沿時間和視點(diǎn)間方向執(zhí)行運(yùn)動估計(jì)。這已經(jīng)相對于圖1和圖2進(jìn)行了描述。在視點(diǎn)間方向上的估計(jì)的運(yùn)動矢量是視差矢量。這樣視差矢量在圖2中用82和76示例性地示出。因此，編碼器20還隱式地執(zhí)行視差估計(jì)并且編碼比特流18中包括有視差矢量。這些矢量可以用于在解碼器上，即，在視點(diǎn)提取器108中進(jìn)行額外的中間視點(diǎn)合成。

考慮位置(x1,y1)處的視點(diǎn)1的像素p1(x1,y1)以及位置(x2,y2)處的視點(diǎn)2的像素p2(x2,y2)，它們具有相同亮度值。則，

p1(x1,y1)＝p2(x2,y2)(1)

通過2d視差矢量連接位置(x1,y1)和(x2,y2)，例如從視點(diǎn)2至視點(diǎn)1，其是具有分量dx,21(x2,y2)和dy,21(x2,y2)的d21(x2,y2)。因此，下面的等式適用：

(x1,y1)＝(x2+dx,21(x2,y2),y2+dy,21(x2,y2))(2)

組合(1)和(2)，

p1(x2+dx,21(x2,y2),y2+dy,21(x2,y2))＝p2(x2,y2)(3)

如圖5所示，右下角的具有相同內(nèi)容的兩個點(diǎn)可以由視差矢量連接。將該矢量添加到p2的坐標(biāo)得出圖像坐標(biāo)中p1的位置。如果視差矢量d21(x2,y2)現(xiàn)在由因子κ＝[0…1]定標(biāo)，則(x1,y1)和(x2,y2)之間的任何中間位置可以被求出。因此，可以通過由定標(biāo)視差矢量使視點(diǎn)1和/或視點(diǎn)2的圖像內(nèi)容偏移來生成中間視點(diǎn)。圖6中示出了中間視點(diǎn)的實(shí)例。

因此，可以利用視點(diǎn)1和視點(diǎn)2之間的任意位置來生成新的中間視點(diǎn)。

除此之外，還可以利用視差的定標(biāo)因子κ<0和κ>1來實(shí)現(xiàn)視點(diǎn)外推。

這些定標(biāo)方法還可以應(yīng)用于時間方向，以便可通過定標(biāo)運(yùn)動矢量來提取新幀，從而生成更高幀率的視頻序列。

現(xiàn)在，返回上文相對于圖1和圖3所描述的實(shí)施方式，這些實(shí)施方式尤其描述了具有視頻和補(bǔ)充數(shù)據(jù)比如深度圖的解碼器的并行解碼結(jié)構(gòu)，所述解碼器包含公共信息模塊，即，模塊110。該模塊利用來自信號的由編碼器生成的空間信息。常見的例子為在視頻數(shù)據(jù)編碼過程中提取的例如還用于深度數(shù)據(jù)的一組運(yùn)動或視差矢量。在解碼器處，該公共信息用于操縱解碼視頻和深度數(shù)據(jù)并向每個解碼器支路提供所需的信息，任選用于提取新視點(diǎn)。利用該信息，可以從視頻數(shù)據(jù)中并行提取所有所需視點(diǎn)，例如用于n-視點(diǎn)顯示的視點(diǎn)。要在各個編碼/解碼支路之間共享的公共信息或編碼參數(shù)的實(shí)例如下：

-例如，來自同樣用于補(bǔ)充數(shù)據(jù)的視頻數(shù)據(jù)的公共運(yùn)動和視差矢量

-例如，來自同樣用于補(bǔ)充數(shù)據(jù)的視頻數(shù)據(jù)劃分的公共區(qū)塊劃分結(jié)構(gòu)

-預(yù)測模式

-亮度和/或色度信息中的邊緣和輪廓數(shù)據(jù)，例如，亮度區(qū)塊中的直線。其被用于補(bǔ)充數(shù)據(jù)非矩形區(qū)塊劃分。該劃分被稱為楔形波，并以一定角度和位置由直線將區(qū)塊分為兩個區(qū)域。

公共信息還可以用作一個解碼支路的預(yù)測子(例如，視頻用預(yù)測子)以便在其他支路中細(xì)化(例如，補(bǔ)充數(shù)據(jù))，反之亦然。這可以包括運(yùn)動矢量或視差矢量的細(xì)化，通過視頻數(shù)據(jù)的區(qū)塊結(jié)構(gòu)初始化補(bǔ)充數(shù)據(jù)中的區(qū)塊結(jié)構(gòu)，從來自視頻區(qū)塊的亮度或色度邊緣或輪廓信息中提取直線并利用該直線進(jìn)行楔形波分隔線預(yù)測(以相同的角度但在保持所述角度的對應(yīng)的深度區(qū)塊中可能不同的位置)。公共信息模塊還將部分重建數(shù)據(jù)從一個解碼支路轉(zhuǎn)移至另一個。最后，來自該模塊的數(shù)據(jù)也可以被傳遞給視點(diǎn)提取模塊，其中，提取用于顯示的所有必要的視點(diǎn)(顯示可以是2d顯示、具有兩個視點(diǎn)的立體顯示、具有n個視點(diǎn)的自動立體顯示)。

一個重要方面在于，如果利用上述編碼/解碼結(jié)構(gòu)來編碼/解碼一個以上的單對視點(diǎn)和/深度/補(bǔ)充信號，則可以考慮必須在每個時間點(diǎn)t傳輸一對彩色視點(diǎn)vcolor_1(t)、vcolor_2(t)以及對應(yīng)的深度數(shù)據(jù)vdepth_1(t)和vdepth_2(t)的應(yīng)用場景。上述實(shí)施方式建議首先利用傳統(tǒng)的運(yùn)動補(bǔ)償預(yù)測來編碼/解碼信號vcolor_1(t)。然后，在第二步驟中，對于對應(yīng)深度信號vdepth_1(t)的編碼/解碼，可以重新使用來自編碼/解碼信號vcolor_1(t)的信息，如上所述。隨后，來自vcolor_1(t)和vdepth_1(t)的累積信息也可以用于編碼/解碼vcolor_2(t)和/或vdepth_2(t)。因此，通過共享和重新使用不同視點(diǎn)和/或深度之間的公共信息，可以最大程度地利用冗余。

圖3的解碼和視點(diǎn)提取結(jié)構(gòu)可選地如圖7所示。

如圖所示，圖7的解碼器的結(jié)構(gòu)基于用于顏色和補(bǔ)充數(shù)據(jù)的兩個并行經(jīng)典視頻解碼結(jié)構(gòu)。另外，其包括公共信息模塊。該模塊可以發(fā)送，處理并接收兩個解碼結(jié)構(gòu)中的任何模塊的任何共享信息。解碼視頻和補(bǔ)充數(shù)據(jù)最終在視點(diǎn)提取模塊中進(jìn)行組合以便提取所需數(shù)量的視點(diǎn)。這里，還可以使用來自新模塊的公共信息。通過圖7的灰框突出顯示了新提出的解碼和視點(diǎn)提取方法的新模塊。

解碼過程開始于接收共用的壓縮表示或比特流，其包含來自一個或多個視點(diǎn)的視頻數(shù)據(jù)，補(bǔ)充數(shù)據(jù)以及運(yùn)動矢量或視差矢量共用的信息，控制信息，區(qū)塊劃分信息，預(yù)測模式，輪廓數(shù)據(jù)等。

首先，對比特流應(yīng)用熵解碼以提取視頻和補(bǔ)充數(shù)據(jù)的量化變換系數(shù)，所述系數(shù)被饋送至兩個獨(dú)立的編碼支路，在圖7中的由虛線灰框突出顯示，標(biāo)記為“視頻數(shù)據(jù)處理”和“補(bǔ)充數(shù)據(jù)處理”。此外，熵解碼還提取共享或共用數(shù)據(jù)并將其饋送至新的公共信息模塊。

兩個解碼支路在熵解碼之后類似地操作。對收到的量化變換系數(shù)進(jìn)行定標(biāo)處理并應(yīng)用逆變換來獲得差分信號(differencesignal)。為此，添加來自時間或相鄰視點(diǎn)的事先解碼數(shù)據(jù)。待添加的信息的類型由專用控制數(shù)據(jù)進(jìn)行控制。在幀內(nèi)編碼視頻或補(bǔ)充數(shù)據(jù)的情況下，沒有先前或相鄰信息可用，從而使得應(yīng)用幀內(nèi)重建。對于幀間編碼視頻或補(bǔ)充數(shù)據(jù)來說，來自時間上在前面或相鄰的視點(diǎn)的事先解碼數(shù)據(jù)是可用的(圖7中的當(dāng)前切換設(shè)定)。事先解碼數(shù)據(jù)在運(yùn)動補(bǔ)償區(qū)塊中偏移相關(guān)的運(yùn)動矢量并被添加至差分信號以生成初始幀。如果事先解碼數(shù)據(jù)屬于相鄰視點(diǎn)，則運(yùn)動數(shù)據(jù)表示視差數(shù)據(jù)。通過區(qū)塊濾波器和可能的增強(qiáng)方法(例如，邊緣平滑處理等)對這些初始幀或視點(diǎn)進(jìn)行進(jìn)一步處理，以便提高視覺質(zhì)量。

在改進(jìn)階段之后，重建數(shù)據(jù)被傳遞給解碼圖像緩沖器。該緩沖區(qū)對解碼數(shù)據(jù)排序并且每次都按照正確的時間順序輸出解碼圖像。所存儲的數(shù)據(jù)還用于下一處理周期以便作為可定標(biāo)運(yùn)動/視差補(bǔ)償?shù)妮斎搿?/p>

除了該單獨(dú)的視頻和補(bǔ)充解碼之外，還可使用公共信息模塊，其可以處理任何數(shù)據(jù)，且對于視頻和補(bǔ)充數(shù)據(jù)是共用的。公共信息的實(shí)例包括共享運(yùn)動/視差矢量，區(qū)塊劃分信息，預(yù)測模式，輪廓數(shù)據(jù)，控制數(shù)據(jù)，以及公共變換系數(shù)或模式，視點(diǎn)增強(qiáng)數(shù)據(jù)等。在各個視頻和補(bǔ)充模塊中處理的任何數(shù)據(jù)也可以是公共模塊的一部分。因此，存在至公共模塊連接和從公共模塊至各個解碼支路的所有部分的連接。同樣，公共信息模塊可以包含足夠數(shù)據(jù)，只有一個獨(dú)立的解碼支路和公共模塊是必需的以解碼所有視頻和補(bǔ)充數(shù)據(jù)。此實(shí)例為壓縮表示，其中，某些部分僅包含視頻數(shù)據(jù)，其他所有部分包含共用視頻和補(bǔ)充數(shù)據(jù)。這里，視頻數(shù)據(jù)在視頻解碼支路中被解碼，而所有補(bǔ)充數(shù)據(jù)在公共模塊中被處理并被輸出至視點(diǎn)合成。因此，在該實(shí)例中，沒有使用獨(dú)立的補(bǔ)充支路。同樣，來自獨(dú)立的解碼支路的模塊的各個數(shù)據(jù)可以例如以部分解碼數(shù)據(jù)的形式將信息發(fā)回公共信息處理模塊，以在那里使用或被傳輸至其他解碼支路。一個實(shí)例為解碼視頻數(shù)據(jù)，如傳遞給適當(dāng)?shù)难a(bǔ)充解碼模塊的變換系數(shù)，運(yùn)動矢量，模式或設(shè)定。

在解碼之后，重構(gòu)視頻和補(bǔ)充數(shù)據(jù)從獨(dú)立的解碼支路或從公共信息模塊被傳遞至視點(diǎn)提取模塊。在例如圖3中的110的視點(diǎn)提取模塊中，提取用于接收設(shè)備，例如多視點(diǎn)顯示所需的視點(diǎn)。通過中間視點(diǎn)提取控制來控制該過程，所述中間視點(diǎn)提取控制設(shè)定視點(diǎn)序列的所需數(shù)量和位置。視點(diǎn)提取的實(shí)例是視點(diǎn)合成。如果要在兩個原始視點(diǎn)1和2之間合成新的視點(diǎn)，如圖6所示，來自視點(diǎn)1的數(shù)據(jù)可以先移至新的位置。然而，該視差偏移對前景物體和背景物體來說是不同的，因?yàn)樵撈婆c原來的場景深度(照相機(jī)的前距離)成反比。因此，在視點(diǎn)1中不可見的新的背景區(qū)域在合成視點(diǎn)中變得可見。這里，視點(diǎn)2可以用于填補(bǔ)該信息。此外，可以使用空間相鄰數(shù)據(jù)，例如相鄰的背景信息。

作為一個實(shí)例，考慮圖8中的設(shè)定。這里，解碼數(shù)據(jù)由具有顏色數(shù)據(jù)vcolor1和vcolor2和深度數(shù)據(jù)vdepth1和vdepth2的兩個視點(diǎn)序列組成。應(yīng)從該數(shù)據(jù)中提取具有視點(diǎn)vd1，vd2，……，vd9的9視點(diǎn)顯示的視點(diǎn)。該顯示器經(jīng)由中間視點(diǎn)提取控制信號告知視點(diǎn)的數(shù)量和空間位置。這里，要求9個視點(diǎn)具有0.25的空間距離，從而使得相鄰顯示視點(diǎn)(例如，vd2和vd3)就空間位置和立體感知而言比比特流中的視點(diǎn)近4倍。因此，這組視點(diǎn)提取因子{κ1,κ2,…,κ9}被設(shè)定為{-0.5,-0.25,0,0.25,0.5,0.75,1,1.25,1.5}。這表明解碼顏色視點(diǎn)vcolor1和vcolor2的空間位置與顯示視點(diǎn)vd3和vd7一致(因?yàn)棣?＝0和κ7＝1)。此外，vd3，vd4及vd5內(nèi)插在vcolor1和vcolor2之間。最后，vd1和vd2以及vd8和vd9外插在比特流對vcolor1，vcolor2的各側(cè)。根據(jù)視點(diǎn)提取因子的設(shè)定，深度數(shù)據(jù)vdepth1和vdepth2被轉(zhuǎn)換為逐像素位移信息并在視點(diǎn)提取階段相應(yīng)地被定標(biāo)以便獲得解碼顏色數(shù)據(jù)的9個不同改變版本。

盡管以裝置的上下文描述了某些方面，但顯然，這些方面也表示相應(yīng)方法的描述，其中，區(qū)塊或設(shè)備對應(yīng)于方法步驟或方法步驟的特征。類似地，以方法步驟上下文描述的方面也表示相應(yīng)區(qū)塊或相應(yīng)裝置的項(xiàng)目或特征。一部分或所有方法步驟可以通過(或利用)硬件裝置，比如微處理器、可編程計(jì)算機(jī)或電子電路等來執(zhí)行。在某些實(shí)施方式中，最重要的方法步驟中的一個或多個可以利用此裝置來執(zhí)行。

本發(fā)明解碼多視點(diǎn)信號可以存儲在數(shù)字存儲介質(zhì)上或可以在傳輸介質(zhì)比如無線傳輸介質(zhì)或有線傳輸介質(zhì)比如因特網(wǎng)上進(jìn)行傳送。

根據(jù)某些實(shí)現(xiàn)要求，本發(fā)明的實(shí)施方式可以以硬件或軟件來實(shí)施。所述實(shí)施可以利用其上存儲有電子可讀控制信號的數(shù)字存儲介質(zhì)，例如，軟盤、dvd、藍(lán)光光盤、cd、rom、prom、eprom、eeprom或閃存來執(zhí)行，所述電子可讀控制信號與可編程計(jì)算機(jī)系統(tǒng)協(xié)作(或能夠與此協(xié)作)，從而執(zhí)行各種方法。因此，數(shù)字存儲介質(zhì)可以是計(jì)算機(jī)可讀介質(zhì)。

根據(jù)本發(fā)明的某些實(shí)施方式包括具有電子可讀控制信號的數(shù)據(jù)載體，所述電子可讀控制信號能夠與可編程計(jì)算機(jī)系統(tǒng)協(xié)作，以便執(zhí)行本文描述的方法之一。

通常，本發(fā)明的實(shí)施方式可以被實(shí)施為具有程序代碼的計(jì)算機(jī)程序產(chǎn)品，當(dāng)計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時，程序代碼可操作為執(zhí)行方法之一。程序代碼例如可以存儲在機(jī)器可讀載體上。

其他實(shí)施方式包括存儲在機(jī)器可讀載體上的用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序。

換句話說，本發(fā)明方法的實(shí)施方式由此為一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序具有在該計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時用于執(zhí)行本文描述的方法之一的程序代碼。

因此，本發(fā)明方法的另一個實(shí)施方式是一種包括記錄在其上的用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序的數(shù)據(jù)載體(或數(shù)字存儲介質(zhì)或計(jì)算機(jī)可讀介質(zhì))。數(shù)據(jù)載體、數(shù)字存儲介質(zhì)或記錄介質(zhì)通常是實(shí)體的和/或非瞬態(tài)的。

因此，本發(fā)明方法的另一個實(shí)施方式為表示用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序的數(shù)據(jù)流或一系列信號。數(shù)據(jù)流或一系列信號例如可以被配置為經(jīng)由數(shù)據(jù)通信連接，例如經(jīng)由因特網(wǎng)進(jìn)行傳輸。

另一個實(shí)施方式包括處理裝置，例如計(jì)算機(jī)或可編程邏輯器件，被配置為或適于執(zhí)行本文描述的方法之一。

另一個實(shí)施方式包括其上安裝有用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序的計(jì)算機(jī)。

根據(jù)本發(fā)明的另一個實(shí)施方式包括裝置或系統(tǒng)，被配置為將用于執(zhí)行本文描述的方法之一的計(jì)算機(jī)程序傳輸至(例如，電學(xué)地或光學(xué)地)接收器。所述接收器例如可以是計(jì)算機(jī)、移動設(shè)備、存儲設(shè)備等。裝置或系統(tǒng)例如可以包括用于將計(jì)算機(jī)程序傳輸至接收器的文件服務(wù)器。

在某些實(shí)施方式中，可編程邏輯器件(例如，現(xiàn)場可編程門陣列)可以用于執(zhí)行本文描述的方法的一部分或全部功能。在某些實(shí)施方式中，現(xiàn)場可編程門陣列可以與微處理器協(xié)作以便執(zhí)行本文描述的方法之一。通常，所述方法優(yōu)選由任意硬件裝置執(zhí)行。

上述實(shí)施方式僅僅用于說明本發(fā)明的原理。應(yīng)理解的是，本文描述的配置及細(xì)節(jié)的修改和變形對本領(lǐng)域技術(shù)人員來說是顯而易見的。因此，旨在僅由即將實(shí)現(xiàn)的專利權(quán)利要求的范圍的限定，而不受本文的實(shí)施方式的描述和說明的方式表示的具體細(xì)節(jié)的限定。