使用分區(qū)編碼的有效預(yù)測的制作方法
【專利摘要】尤其在編碼樣本陣列諸如深度/視差映射-其中這些樣本陣列的內(nèi)容主要包括通過陡邊彼此分離的相似值的高原或簡單連接的區(qū)域-的情況下，通過將恒定分區(qū)值分配給塊的雙分區(qū)的分區(qū)來預(yù)測當(dāng)前塊的方式是相當(dāng)有效的。然而，這樣的恒定分區(qū)值的傳送需要應(yīng)被避免的相當(dāng)大量的邊信息。如果使用與相應(yīng)分區(qū)關(guān)聯(lián)或鄰接的相鄰樣本的值的平均值作為針對恒定分區(qū)值的預(yù)測器，則可以進(jìn)一步降低該邊信息速率。
【專利說明】使用分區(qū)編碼的有效預(yù)測
[0001] 本發(fā)明涉及使用分區(qū)編碼的樣本陣列編碼。
[0002] 許多編碼方案使用將樣本陣列細(xì)分成塊來壓縮樣本陣列數(shù)據(jù)。樣本陣列可以限定 對紋理的空間采樣即圖片，但是當(dāng)然可以使用相似的編碼技術(shù)諸如深度映射等來壓縮其他 的樣本陣列。由于通過各個(gè)樣本陣列被空間采樣的信息的性質(zhì)不同，所以不同的編碼構(gòu)思 最適合不同種類的樣本陣列。然而，與樣本陣列的種類無關(guān)地，這些編碼構(gòu)思中的許多編碼 構(gòu)思都使用塊細(xì)分（block-subdivisioning)以將單獨(dú)編碼選項(xiàng)分配給樣本陣列的塊，從 而找到一方面為用于對分配給單獨(dú)塊的編碼參數(shù)進(jìn)行編碼的邊信息速率與用于對由于錯(cuò) 誤預(yù)測相應(yīng)塊而產(chǎn)生的預(yù)測殘差進(jìn)行編碼的殘差編碼速率之間的良好權(quán)衡，或在殘差編碼 或無殘差編碼的情況下找到速率/失真意義上的良好組成。
[0003] 通常，塊為矩形或方形形狀。明顯地，有利的是能夠使編碼單位（塊）的形狀適應(yīng) 于待編碼的樣本陣列的內(nèi)容。然而不幸的是，使塊或編碼單位的形狀適應(yīng)于樣本陣列內(nèi)容 涉及花費(fèi)（spend)用于塊分區(qū)傳訊（signal)的另外的邊信息。已發(fā)現(xiàn)對塊的楔形波型分 區(qū)為可能的塊分區(qū)形狀與所涉及的邊信息開銷之間的適當(dāng)折衷。楔形波型分區(qū)導(dǎo)致將塊分 區(qū)成例如可以使用特定編碼參數(shù)的楔形波分區(qū)。
[0004] 然而，甚至對楔形波分區(qū)的約束也導(dǎo)致用于傳訊塊的分區(qū)的大量的另外的開銷， 因此有利的是手頭上具有如下更有效的編碼構(gòu)思：其使得能夠以更高效的方式在樣本陣列 編碼中獲得對塊進(jìn)行分區(qū)的較高自由度。
[0005] 該目的是通過未決的獨(dú)立權(quán)利要求的主題來實(shí)現(xiàn)的。
[0006] 尤其在編碼樣本陣列諸如深度/視差映射-其中這些樣本陣列的內(nèi)容主要包括通 過陡邊彼此分離的相似值的高原或簡單連接的區(qū)域-的情況下，通過將恒定分區(qū)值分配給 塊的雙分區(qū)的分區(qū)來預(yù)測當(dāng)前塊的方式是相當(dāng)有效的。然而，這樣的恒定分區(qū)值的傳送仍 將需要應(yīng)被避免的相當(dāng)大量的邊信息。如果使用與相應(yīng)分區(qū)關(guān)聯(lián)或鄰接的相鄰樣本的值的 平均值作為針對恒定分區(qū)值的預(yù)測器，則可以進(jìn)一步降低該邊信息速率。
[0007] 另外的子方面為從屬權(quán)利要求的主題。
[0008] 下面關(guān)于附圖來對本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行更詳細(xì)的描述，在附圖中：
[0009] 圖1示出了根據(jù)示例的其中可建立本發(fā)明的實(shí)施方式的多視圖編碼器的框圖；
[0010] 圖2示出了用于說明跨視圖和視頻深度/視差邊界再利用信息的多視圖信號(hào)的一 部分的示意圖；
[0011] 圖3示出了適于圖1的解碼器的框圖；
[0012] 圖4示出了方形塊在連續(xù)信號(hào)空間（左）和離散信號(hào)空間（右）中的楔形波分 區(qū)；
[0013] 圖5示出了楔形波塊分區(qū)的六個(gè)不同方位的示意圖；
[0014] 圖6示出了針對塊尺寸為4X4(左）、8X8(中間）以及16X16(右）的楔形波分 區(qū)圖案的示例；
[0015] 圖7示出了使用楔形波模型通過組合分區(qū)信息和CPV(分區(qū)區(qū)域中深度信號(hào)的平 均值）進(jìn)行的深度信號(hào)近似；
[0016] 圖8示出了楔形波分區(qū)圖案的生成；
[0017] 圖9示出了方形塊在連續(xù)信號(hào)空間（左）和離散信號(hào)空間（右）中的輪廓分區(qū)；
[0018] 圖10示出了針對塊尺寸為8X8的輪廓分區(qū)圖案的示例；
[0019] 圖11示出了使用輪廓模型通過組合分區(qū)信息和CPV(分區(qū)區(qū)域中深度信號(hào)的平均 值）進(jìn)行的深度信號(hào)近似；
[0020] 圖12示出了針對上方參考塊是楔形波分區(qū)類型（左）或規(guī)則幀內(nèi)方向類型（右） 的情形的楔形波分區(qū)（藍(lán)色）的幀內(nèi)預(yù)測；
[0021] 圖13示出了根據(jù)紋理亮度參考而對楔形波（藍(lán)色）和輪廓（綠色）分區(qū)信息的 預(yù)測；
[0022] 圖14示出了塊分區(qū)的CPV :根據(jù)相鄰塊的鄰近樣本（左）和塊的橫截面（右）的 CPV預(yù)測，其中示出了不同CPV類型之間的關(guān)系；
[0023] 圖15示出了基于紋理亮度方差的模式預(yù)選；
[0024] 圖16示出了根據(jù)實(shí)施方式的解碼器的框圖；
[0025] 圖17示出了適于圖16的編碼器的框圖；
[0026] 圖18示出了根據(jù)實(shí)施方式的解碼器的框圖；
[0027] 圖19示出了適于圖18的編碼器的框圖；
[0028] 圖20示出了根據(jù)實(shí)施方式的解碼器的框圖；
[0029] 圖21示出了適于圖20的編碼器的框圖；
[0030] 圖22示出了根據(jù)實(shí)施方式的解碼器的框圖；
[0031] 圖23示出了適于圖22的編碼器的框圖；
[0032] 圖24示出了根據(jù)實(shí)施方式的解碼器的框圖；以及
[0033] 圖25示出了適于圖24的編碼器的框圖。
[0034] 本發(fā)明的優(yōu)選實(shí)施方式的下面的描述開始于可有利地使用本發(fā)明的實(shí)施方式的 可能的環(huán)境。具體地，關(guān)于圖1至圖3來描述根據(jù)實(shí)施方式的多視圖編解碼器。然而，應(yīng)當(dāng) 強(qiáng)調(diào)的是，后文中描述的實(shí)施方式不限于多視圖編碼。不過，可以更好地理解以下進(jìn)一步描 述的一些方面，并且這些方面在與多視圖編碼或者更確切地說尤其與深度映射的編碼一起 使用時(shí)具有特殊的協(xié)同作用。因此，在圖1至圖3之后，描述繼續(xù)進(jìn)行對不規(guī)則塊分區(qū)及其 涉及的問題的介紹。該描述參考圖4至圖11并且形成用于此后所描述的本發(fā)明的實(shí)施方 式的描述的基礎(chǔ)。
[0035] 如剛剛所述，以下進(jìn)一步概述的實(shí)施方式在圖像和視頻編碼應(yīng)用中使用非矩形或 不規(guī)則塊分區(qū)和建模函數(shù)，并且特別適用于對諸如用于表示場景的幾何結(jié)構(gòu)的深度映射的 編碼，盡管這些實(shí)施方式也可適用于常規(guī)的圖像和視頻編碼。以下進(jìn)一步概述的實(shí)施方式 還提供了用于在圖像和視頻編碼應(yīng)用中使用非矩形塊分區(qū)和建模函數(shù)的構(gòu)思。這些實(shí)施方 式特別適用于對（用于表示場景的幾何結(jié)構(gòu)）深度映射的編碼，而且還適用于常規(guī)的圖像 和視頻編碼。
[0036] 在多視圖視頻編碼中，將視頻場景的（被多個(gè)攝像機(jī)同時(shí)捕獲到的）兩個(gè)或更多 個(gè)視圖編碼在單個(gè)比特流中。多視圖視頻編碼的主要目標(biāo)是通過提供3d觀看印象來向最 終用戶提供高級多媒體體驗(yàn)。如果對兩個(gè)視圖進(jìn)行編碼，則可以在（具有眼鏡的）常規(guī)立體 顯示器上顯示兩個(gè)重構(gòu)視頻序列。然而，需要使用用于常規(guī)立體顯示器的眼鏡對于用戶而 言常常是麻煩的。使得能夠在無眼鏡情況下實(shí)現(xiàn)高質(zhì)量立體觀看印象是當(dāng)前最重要的研究 和發(fā)展課題。用于這樣的自動(dòng)立體顯示器的有前景的技術(shù)基于雙凸透鏡系統(tǒng)。在原理上， 按照使得同時(shí)顯示視頻場景的多個(gè)視圖的方式在常規(guī)顯示器上安裝柱面透鏡的陣列。每個(gè) 視圖顯示在小椎體中，使得用戶的每只眼睛看見不同的圖像；該效果在無特殊眼鏡的情況 下產(chǎn)生了立體印象。然而，這樣的自動(dòng)立體顯示器通常需要相同視頻場景的10至30個(gè)視 圖（如果進(jìn)一步改進(jìn)技術(shù)則會(huì)需要甚至更多的視圖）。還可以將多于2個(gè)的視圖用于向用 戶提供以交互方式選擇針對視頻場景的視點(diǎn)的可能性。然而，與常規(guī)的單視圖（2d)視頻相 t匕，對視頻場景的多個(gè)視圖的編碼急劇增大所需要的位速率。通常，所需要的位速率隨著編 碼視圖的數(shù)目而以近似線性的方式增大。用于減少自動(dòng)立體顯示器的傳送數(shù)據(jù)量的構(gòu)思包 括：傳送僅小數(shù)目的視圖（或許2至5個(gè)視圖），而且另外傳送所謂的深度映射，所述深度 映射表示用于一個(gè)或更多個(gè)視圖的圖像樣本的深度（真實(shí)世界對象距攝像機(jī)的距離）。鑒 于小數(shù)目的編碼視圖和對應(yīng)的深度映射，可以通過適合的渲染（rendering)技術(shù)在接收機(jī) 側(cè)產(chǎn)生高質(zhì)量中間視圖（位于編碼視圖之間的虛擬視圖）_以及在某種程度上還有相對攝 像機(jī)陣列的一端或兩端的另外的視圖。
[0037] 在圖像和視頻編碼的現(xiàn)有技術(shù)中，通常將圖片或用于圖片的樣本陣列的具體集合 分解成與特定編碼參數(shù)關(guān)聯(lián)的塊。該圖片通常包括多個(gè)樣本陣列（亮度和色度）。另外，圖 片還可以與另外的輔助樣本陣列關(guān)聯(lián)，該另外的輔助樣本陣列可以例如指定透明度信息或 深度映射。通常將每個(gè)圖片或樣本陣列分解成塊。通過圖片間預(yù)測或圖片內(nèi)預(yù)測來預(yù)測所 述塊（或樣本陣列的對應(yīng)塊）。塊可以具有不同的尺寸，并且可以為方形或矩形。將圖片分 區(qū)成塊可以通過語法（syntax)來固定，或者可以（至少部分地）在比特流內(nèi)被傳訊。常常 傳送：傳訊針對預(yù)定尺寸的塊進(jìn)行細(xì)分的語法元素。例如，為了預(yù)測的目的，這樣的語法元 素可以指定是否或如何將塊細(xì)分成更小的塊且與編碼參數(shù)關(guān)聯(lián)。針對塊的所有樣本（或樣 本陣列的對應(yīng)塊），以一定的方式指定對關(guān)聯(lián)的編碼參數(shù)的解碼。在示例中，使用如下預(yù)測 參數(shù)的相同集合來預(yù)測塊中的所有樣本：諸如參考索引（標(biāo)識(shí)已編碼圖片集合中的參考圖 片）、運(yùn)動(dòng)參數(shù)（指定針對塊在參考圖片與當(dāng)前圖片之間的運(yùn)動(dòng)的測量）、用于指定內(nèi)插濾 波器的參數(shù)、幀內(nèi)預(yù)測模式等。運(yùn)動(dòng)參數(shù)可以用具有水平分量或垂直分量的位移矢量或者 用包括六個(gè)分量的高階運(yùn)動(dòng)參數(shù)諸如仿射運(yùn)動(dòng)參數(shù)來表示。還可能的是，具體的預(yù)測參數(shù) (諸如參考索引和運(yùn)動(dòng)參數(shù)）的多于一個(gè)的集合與單個(gè)塊關(guān)聯(lián)。在該情況下，針對這些具體 的預(yù)測參數(shù)的每個(gè)集合，生成用于該塊（或樣本陣列的對應(yīng)塊）的單個(gè)中間預(yù)測信號(hào)，并通 過包括疊加中間預(yù)測信號(hào)的組合來建立最終預(yù)測信號(hào)。對應(yīng)的加權(quán)參數(shù)以及潛在地還有恒 定偏移（該恒定偏移相加至與加權(quán)和）對于圖片、或參考圖片或參考圖片集合可以是被固 定的，或者可以將它們包括在用于對應(yīng)塊的預(yù)測參數(shù)集合中。通常對原始塊（或樣本陣列 的對應(yīng)塊）與它們的預(yù)測信號(hào)之間的差-還稱為殘差信號(hào)-進(jìn)行變換并量化。常常將二維 變換應(yīng)用于殘差信號(hào)（或用于殘差塊的對應(yīng)樣本陣列）。針對變換編碼，還可以在應(yīng)用變換 之前拆分使用了預(yù)定參數(shù)的特定集合的塊。變換塊可以等于或小于用于預(yù)測的塊。還可能 的是，變換塊包括用于預(yù)測的塊中的多于一個(gè)的塊。不同的變換塊可以具有不同的尺寸，并 且變換塊可以表示方形或矩形塊。在變換之后，對所得到的變換系數(shù)進(jìn)行量化，并獲得所謂 的變換系數(shù)水平。對變換系數(shù)水平以及預(yù)測參數(shù)、如果存在的話還有細(xì)分信息進(jìn)行熵編碼。
[0038] 而且，現(xiàn)有技術(shù)的編碼技術(shù)諸如ITU-T Rec.H. 264 |IS0/IEC JTC11449610或用于 HEVC的當(dāng)前運(yùn)行模型還適用于深度映射，還特別設(shè)計(jì)了編碼工具以用于對自然視頻的編 碼。深度映射作為自然視頻序列的圖片具有不同的特性。例如，深度映射包含較少的空間細(xì) 節(jié)。它們主要通過尖銳邊緣（其表示對象邊界）和幾乎恒定或慢變的樣本值的較大區(qū)（其 表示對象區(qū)）來表征。如果通過應(yīng)用被特別設(shè)計(jì)用于利用深度映射性質(zhì)的編碼工具來對深 度映射進(jìn)行更高效地編碼，則可以改進(jìn)使用深度映射的多視圖視頻編碼的總編碼效率。 [0039] 為了用作針對可以有利地使用本發(fā)明的后續(xù)說明的實(shí)施方式的可能編碼環(huán)境的 基礎(chǔ)，以下關(guān)于圖1至圖3來進(jìn)一步描述可能的多視圖編碼構(gòu)思。
[0040] 圖1示出了根據(jù)實(shí)施方式的用于對多視圖信號(hào)進(jìn)行編碼的編碼器。圖1的多視圖 信號(hào)以10示意性地表示為包括兩個(gè)視圖12 1和122，然而圖1的實(shí)施方式使用較高數(shù)目的 視圖也是可行的。此外，根據(jù)圖1的實(shí)施方式，每個(gè)視圖12 1和122包括視頻14和深度/視 差映射數(shù)據(jù)16,然而以下進(jìn)一步描述的實(shí)施方式的有利原理中的許多有利原理在與視圖不 包括任何深度/視差映射數(shù)據(jù)的多視圖信號(hào)結(jié)合使用的情況下也會(huì)是有利的。
[0041] 相應(yīng)視圖121和122的視頻14表示沿著不同投影/觀看方向的共同場景的投影 的時(shí)空采樣。優(yōu)選地，視圖12i和12 2的視頻14的時(shí)間采樣速率彼此相等，然而不是必須 需要滿足該約束。如圖1所示，優(yōu)選地，每個(gè)視頻14包括每個(gè)幀與相應(yīng)的時(shí)間戳t、t-1、 關(guān)聯(lián)的幀序列。在圖1中，用來表示視頻幀。每個(gè)幀vi;t表示在相應(yīng) 的時(shí)間戳t沿著相應(yīng)的觀看方向的場景i的空間采樣，并且由此包括一個(gè)或更多個(gè)樣本陣 列，例如像針對亮度樣本的一個(gè)樣本陣列和關(guān)于色度樣本的兩個(gè)樣本陣列，或僅亮度樣本 或針對其他顏色分量（諸如RGB顏色空間的顏色分量等）的樣本陣列。一個(gè)或更多個(gè)樣本 陣列的空間分辨率既可以在一個(gè)視頻14內(nèi)不同又可以在不同的視圖12i和12 2的視頻14 內(nèi)不同。
[0042] 類似地，深度/視差映射數(shù)據(jù)16表示沿著視圖121和122的相應(yīng)觀看方向測量的、 共同場景的場景對象的深度的時(shí)空采樣。深度/視差映射數(shù)據(jù)16的時(shí)間采樣速率可以等 于或者可以不同于與圖1所描繪的視圖相同的視圖的關(guān)聯(lián)視頻的時(shí)間采樣速率。在圖1的 情況下，每個(gè)視頻幀v已與相應(yīng)視圖12i和12 2的深度/視差映射數(shù)據(jù)16的相應(yīng)深度/視 差映射d相關(guān)聯(lián)。換句話說，在圖1的不例中，視圖i和時(shí)間戮t的每個(gè)視頻巾貞v i;t具有與 其關(guān)聯(lián)的深度/視差映射di;t。關(guān)于深度/視差映射d的空間分辨率，如以上關(guān)于視頻幀所 指出的那樣，同樣可適用。即，空間分辨率可以在不同視圖的深度/視差映射之間不同。
[0043] 為了有效地壓縮多視圖信號(hào)10,圖1的編碼器將視圖12i和122并行地編碼至數(shù) 據(jù)流18中。然而，再利用用于對第一視圖12i進(jìn)行編碼的編碼參數(shù)，以采用與待在對第二 視圖12 2進(jìn)行編碼中使用的第二編碼參數(shù)相同的參數(shù)或預(yù)測所述第二編碼參數(shù)。通過該措 施，圖1的編碼器利用這樣的事實(shí)，根據(jù)所述事實(shí)，視圖12i和12的并行編碼導(dǎo)致編碼器類 似地確定針對這些視圖的編碼參數(shù)，使得可以有效地利用這些編碼參數(shù)之間的冗余以增大 壓縮率或速率/失真比（其中失真被測量為例如兩個(gè)視圖的平均失真，以及速率被測量為 整個(gè)數(shù)據(jù)流18的編碼速率）。
[0044] 具體地，圖1的編碼器總體上用附圖標(biāo)記20來表示，并且包括用于接收多視圖信 號(hào)10的輸入和用于輸出數(shù)據(jù)流18的輸出。如可以在圖2中觀察到的，圖1的編碼器20包 括針對每個(gè)視圖12i和12 2的兩個(gè)編碼分支，即針對視頻數(shù)據(jù)的一個(gè)編碼分支和針對深度/ 視差映射數(shù)據(jù)的另一個(gè)編碼分支。因此，編碼器20包括針對視圖1的視頻數(shù)據(jù)的編碼分支 22Vil、針對視圖1的深度視差映射數(shù)據(jù)的編碼分支22^、針對第二視圖的視頻數(shù)據(jù)的編碼分 支22v，2以及針對第二視圖的深度/視差映射數(shù)據(jù)的編碼分支2242。以相似方式構(gòu)造這些 編碼分支22中的每個(gè)編碼分支。為了描述編碼器20的構(gòu)造和功能，從編碼分支22 Vil的構(gòu) 造和功能開始下面的描述。該功能對于所有分支22是共同的。此后，討論分支22的單獨(dú) 特性。
[0045] 編碼分支22νΛ用于對多視圖信號(hào)12的第一視圖12i的視頻11進(jìn)行編碼，并且因 此分支22 Vil具有用于接收視頻的輸入。除此之外，分支22Vil包括按照提到的順序彼此 串聯(lián)連接的：減法器24、量化/變換模塊26、去量化/逆變換模塊28、加法器30、進(jìn)一步處 理模塊32、解碼圖片緩沖器34、進(jìn)而彼此并聯(lián)連接的兩個(gè)預(yù)測模塊36和38、以及連接在一 方面為預(yù)測模塊36和38的輸出與另一方面為減法器24的反相輸入之間的組合器或選擇 器40。組合器40的輸出還連接至加法器30的另一輸入。減法器24的非反相輸入接收視 頻IV
[0046] 編碼分支22Vil的元件24至40協(xié)作使得對視頻進(jìn)行編碼。該編碼以特定部分 為單位對視頻進(jìn)行編碼。例如，在對視頻進(jìn)行編碼時(shí)，將幀分割成段諸如塊或 其他的樣本組。該分割可以是隨時(shí)間推移而恒定的，或者可以在時(shí)間上變化。此外，該分割 可以為編碼器和解碼器默認(rèn)已知的，或者可以在數(shù)據(jù)流18內(nèi)被傳訊（signal)。該分割可以 是使幀成為塊的規(guī)則分割（諸如按行和列的塊的非重疊布置），或者可以是成為大小變化 的塊的基于四叉樹的分割。在圖1至圖3的下面描述中，在減法器24的非反相輸入處進(jìn)入 的視頻的當(dāng)前編碼段被稱為視頻11的當(dāng)前塊。
[0047] 預(yù)測模塊36和38用于預(yù)測當(dāng)前塊，并且為此目的，預(yù)測模塊36和38使其輸入連 接至解碼圖片緩沖器34。實(shí)際上，預(yù)測模塊36和38二者使用駐留在解碼圖片緩沖器34中 的視頻的先前重構(gòu)部分，以預(yù)測進(jìn)入減法器24的非反相輸入的當(dāng)前塊。在這方面，預(yù)測 模塊36用作根據(jù)視頻的相同幀的空間上相鄰、已重構(gòu)的部分來空間上預(yù)測視頻的 當(dāng)前部分的幀內(nèi)預(yù)測器，而預(yù)測模塊38用作根據(jù)視頻的先前重構(gòu)幀來時(shí)間上預(yù)測當(dāng)前 部分的幀間預(yù)測器。模塊36和38二者執(zhí)行基于特定的預(yù)測參數(shù)或通過特定的預(yù)測參數(shù)描 述的預(yù)測。更確切地說，后者的參數(shù)由編碼器20在一些優(yōu)化架構(gòu)中確定，所述優(yōu)化架構(gòu)用 于在一些約束諸如最大比特率下或無任何約束情況下對一些優(yōu)化目標(biāo)進(jìn)行優(yōu)化，諸如對速 率/失真比進(jìn)行優(yōu)化。
[0048] 例如，幀內(nèi)預(yù)測模塊36可以確定針對當(dāng)前部分的空間預(yù)測參數(shù)，諸如視頻的 相同幀的相鄰的、已重構(gòu)的部分的內(nèi)容被擴(kuò)展/復(fù)制到當(dāng)前部分中以預(yù)測當(dāng)前部分所沿循 的幀內(nèi)預(yù)測方向。
[0049] 幀間預(yù)測模塊38可以使用運(yùn)動(dòng)補(bǔ)償，以使得根據(jù)先前重構(gòu)幀來預(yù)測當(dāng)前部分，與 之相關(guān)的幀間預(yù)測參數(shù)可以包括運(yùn)動(dòng)矢量、參考幀索引、關(guān)于當(dāng)前部分的運(yùn)動(dòng)預(yù)測細(xì)分信 息、假設(shè)數(shù)目或其任意組合。
[0050] 組合器40可以組合由模塊36和38提供的預(yù)測中的一個(gè)或更多個(gè)，或者僅選擇其 中之一。組合器或選擇器40將所得到的當(dāng)前部分的預(yù)測分別轉(zhuǎn)發(fā)至減法器24的反相輸入 和加法器30的另一輸入。
[0051] 在減法器24的輸出處，輸出當(dāng)前部分的預(yù)測的殘差，并且量化/變換模塊36被 配置成通過對變換系數(shù)進(jìn)行量化來變換該殘差信號(hào)。該變換可以為任意譜分解變換，諸如 DCT。由于量化而導(dǎo)致量化/變換模塊26的處理結(jié)果為不可逆的。就是說，產(chǎn)生了編碼損 失。模塊26的輸出為待在數(shù)據(jù)流內(nèi)傳送的殘差信號(hào)42i。不是所有塊都會(huì)經(jīng)歷殘差編碼。 反而，一些編碼模式會(huì)抑制殘差編碼。
[0052] 在模塊28中對殘差信號(hào)42i進(jìn)行去量化和逆變換以盡可能重構(gòu)殘差信號(hào)，S卩，使 得與量化噪聲無關(guān)地對應(yīng)于減法器24所輸出的殘差信號(hào)。加法器30通過求和來將該重構(gòu) 殘差信號(hào)與當(dāng)前部分的預(yù)測進(jìn)行組合。其他的組合也將是可行的。例如，根據(jù)替選方案，減 法器24可以操作為用于按比率測量剩余物的除法器，并且加法器可以被實(shí)現(xiàn)為用于重構(gòu) 當(dāng)前部分的乘法器。因而，加法器30的輸出表示當(dāng)前部分的初步重構(gòu)。然而，模塊32中的 進(jìn)一步處理可以可選地用于增強(qiáng)該重構(gòu)。這樣的進(jìn)一步處理可以例如包括去塊和自適應(yīng)濾 波等。目前為止可得到的所有重構(gòu)被緩存在解碼圖片緩沖器34中。從而，解碼圖片緩沖器 34緩存視頻11的先前重構(gòu)幀、以及當(dāng)前部分所屬的當(dāng)前幀的先前重構(gòu)部分。
[0053] 為了使解碼器能夠根據(jù)數(shù)據(jù)流18重構(gòu)多視圖信號(hào)，量化/變換模塊26將殘差信 號(hào)42i轉(zhuǎn)發(fā)至編碼器20的復(fù)用器44。同時(shí)，預(yù)測模塊36將幀內(nèi)預(yù)測參數(shù)46i轉(zhuǎn)發(fā)至復(fù)用器 44,幀間預(yù)測模塊38將幀間預(yù)測參數(shù)48i轉(zhuǎn)發(fā)至復(fù)用器44,并且進(jìn)一步處理模塊32將進(jìn)一 步處理參數(shù)5(^轉(zhuǎn)發(fā)至復(fù)用器44,復(fù)用器44又對所有這些信息進(jìn)行復(fù)用或?qū)⑵洳迦霐?shù)據(jù)流 18中。
[0054] 如從根據(jù)圖1的實(shí)施方式的以上討論變得清楚的，編碼分支22Vil對視頻的編 碼為自包含式，在于該編碼獨(dú)立于深度/視差映射數(shù)據(jù)16i和其他視圖12 2中的任意視圖的 數(shù)據(jù)。從更一般的觀點(diǎn)來看，編碼分支22νΛ可以被認(rèn)為是通過下述操作將視頻編碼至 數(shù)據(jù)流18中：確定編碼參數(shù)，并且基于第一編碼參數(shù)，根據(jù)在對當(dāng)前部分進(jìn)行編碼之前被 編碼器20編碼至數(shù)據(jù)流18中的、視頻的先前編碼部分來預(yù)測視頻的當(dāng)前部分，并 確定該當(dāng)前部分的預(yù)測的預(yù)測誤差以獲得校正數(shù)據(jù)，即以上提到的殘差信號(hào)42 lt)將編碼參 數(shù)和校正數(shù)據(jù)插入到數(shù)據(jù)流18中。
[0055] 剛剛提到的通過編碼分支22vy插入到數(shù)據(jù)流18中的編碼參數(shù)可以包括以下內(nèi)容 中的一個(gè)、其組合或全部：
[0056] -首先，如之前簡要討論的，針對視頻的編碼參數(shù)可以限定/傳訊對視頻的 中貞的分割。
[0057] -此外，編碼參數(shù)可以包括編碼模式信息，該編碼模式信息表示針對每個(gè)段或當(dāng)前 部分要使用哪個(gè)編碼模式來預(yù)測相應(yīng)段，諸如幀內(nèi)預(yù)測、幀間預(yù)測或其組合。
[0058] -編碼參數(shù)還可以包括剛剛提到的預(yù)測參數(shù)，諸如針對通過幀內(nèi)預(yù)測來預(yù)測的部 分/段的幀內(nèi)預(yù)測參數(shù)和針對幀間預(yù)測部分/段的幀間預(yù)測參數(shù)。
[0059] -然而，編碼參數(shù)可以另外包括進(jìn)一步處理參數(shù)5〇i，該進(jìn)一步處理參數(shù)5〇i向解碼 側(cè)傳訊如何在使用用于預(yù)測視頻的當(dāng)前部分或后續(xù)部分的已重構(gòu)部分之前進(jìn)一步處理 視頻的已重構(gòu)部分。這些進(jìn)一步處理參數(shù)5〇i可以包括標(biāo)引相應(yīng)濾波器或?yàn)V波系數(shù)等 的索引。
[0060] -預(yù)測參數(shù)46i和48i以及進(jìn)一步處理參數(shù)5〇i甚至可以另外包括子分割數(shù)據(jù)，使 得相對于限定模式選擇的粒度或限定完全獨(dú)立分割的前述分割來限定進(jìn)一步子分割，例如 用于在進(jìn)一步處理內(nèi)針對幀的不同部分應(yīng)用不同的自適應(yīng)濾波器。
[0061] -編碼參數(shù)還可以影響對殘差信號(hào)的確定，并且從而為殘差信號(hào)42i的一部分。例 如，由量化/變換模塊26輸出的譜變換系數(shù)水平可以被認(rèn)為是校正數(shù)據(jù)，而同樣可以在數(shù) 據(jù)流18內(nèi)傳訊量化步長，并且量化步長參數(shù)可以被認(rèn)為是編碼參數(shù)。
[0062]-編碼參數(shù)還可以限定下述預(yù)測參數(shù)：所述預(yù)測參數(shù)對以上討論的第一預(yù)測階段 的預(yù)測殘差的第二階段預(yù)測進(jìn)行限定。在這方面可以使用幀內(nèi)/幀間預(yù)測。
[0063] 為了提高編碼效率，編碼器20包括編碼信息交換模塊52,該編碼信息交換模塊52 接收所有編碼參數(shù)和影響模塊36、38和32內(nèi)的處理或受所述處理影響的另外信息，如用 從相應(yīng)的模塊向下指向編碼信息交換模塊52的垂直延伸箭頭所示意性表示的。編碼信息 交換模塊52負(fù)責(zé)在編碼分支22之間共享編碼參數(shù)和可選地另外的編碼信息，使得分支可 以根據(jù)彼此預(yù)測或采用編碼參數(shù)。在圖1的實(shí)施方式中，為此在多視圖信號(hào)10的視圖12i 和1?的數(shù)據(jù)實(shí)體（即視頻和深度/視差映射數(shù)據(jù)）之間限定了順序。具體地，第一視圖 的視頻在第一視圖的深度/視差映射數(shù)據(jù)16i之前，第一視圖的深度/視差映射數(shù) 據(jù)埤之后是第二視圖122的視頻142，并且然后是第二視圖122的深度/視差映射數(shù)據(jù)16 2 等。這里應(yīng)當(dāng)指出，多視圖信號(hào)10的數(shù)據(jù)實(shí)體之間的該嚴(yán)格順序不需要嚴(yán)格應(yīng)用于對整個(gè) 多視圖信號(hào)10的編碼，而為了更便于討論，下面假定該順序?yàn)楹愣ǖ摹Ｗ匀坏?，?shù)據(jù)實(shí)體之 間的順序還限定了與數(shù)據(jù)實(shí)體相關(guān)聯(lián)的分支22之間的順序。
[0064] 如以上已經(jīng)指出的，另外的編碼分支22諸如編碼分支22^22。和22d， 2與編碼分 支22νΛ相似地起作用，使得分別對相應(yīng)的輸入16^142和16 2進(jìn)行編碼。然而，由于剛剛提 到的相應(yīng)地在視圖12i和122的視頻和深度/視差映射數(shù)據(jù)之間的順序以及在編碼分支22 之間限定的對應(yīng)順序，編碼分支22 41例如具有附加的自由來預(yù)測待用于對第一視圖12i的 深度/視差映射數(shù)據(jù)16i的當(dāng)前部分進(jìn)行編碼的編碼參數(shù)。這是因?yàn)椴煌晥D的視頻和深 度/視差映射數(shù)據(jù)之間的前述順序。例如，允許這些實(shí)體中的每個(gè)實(shí)體使用其自身及其在 這些數(shù)據(jù)實(shí)體之中按照前述順序的在前的實(shí)體的已重構(gòu)部分而被編碼。因此，在對深度/ 視差映射數(shù)據(jù)16i進(jìn)行編碼時(shí)，允許編碼分支22 41使用從對應(yīng)的視頻的先前重構(gòu)部分 已知的信息。分支2241如何利用視頻的重構(gòu)部分以預(yù)測深度/視差映射數(shù)據(jù)16i的、 使得能夠獲得對深度/視差映射數(shù)據(jù)16i的壓縮的更好的壓縮率的一些性質(zhì)，在理論上是 不受限制的。編碼分支22 41例如能夠預(yù)測/采用如上所述在對視頻進(jìn)行編碼時(shí)所涉及 的編碼參數(shù)，使得獲得用于對深度/視差映射數(shù)據(jù)16i進(jìn)行編碼的編碼參數(shù)。在采用情況 下，可以抑制在數(shù)據(jù)流18內(nèi)傳訊關(guān)于深度/視差映射數(shù)據(jù)16i的任何編碼參數(shù)。在預(yù)測情 況下，可以在數(shù)據(jù)流18內(nèi)必須傳訊僅關(guān)于這些編碼參數(shù)的預(yù)測殘差/校正數(shù)據(jù)。以下也進(jìn) 一步描述了用于編碼參數(shù)的這樣的預(yù)測/采用的示例。
[0065] 值得注意的是，除了上面關(guān)于模塊36和38所描述的模式之外，編碼分支2241還 可以具有可用于對深度/視差映射16i的塊進(jìn)行編碼的另外的編碼模式。以下進(jìn)一步描述 這樣的另外的編碼模式，并且這樣的另外的編碼模式涉及不規(guī)則塊分區(qū)模式。在可替選視 圖中，如下所述的不規(guī)則分區(qū)可以視作將深度/視差映射細(xì)分成塊/分區(qū)的繼續(xù)。
[0066] 在任何情況下，針對后續(xù)的數(shù)據(jù)實(shí)體即第二視圖122的視頻142和深度/視差映射 數(shù)據(jù)162，存在另外的預(yù)測能力。關(guān)于這些編碼分支，其幀間預(yù)測模塊不僅能夠執(zhí)行時(shí)間預(yù) 測而且能夠執(zhí)行視圖間預(yù)測。與時(shí)間預(yù)測相比，對應(yīng)的幀間預(yù)測參數(shù)包括相似的信息，即每 視圖間預(yù)測段、視差矢量、視圖索引、參考幀索引、和/或假設(shè)數(shù)目的指示，即例如參與通過 求和形成視圖間幀間預(yù)測的幀間預(yù)測的數(shù)目的指示。這樣的視圖間預(yù)測不僅可用于關(guān)于視 頻142的分支22v，2,而且可用于關(guān)于深度/視差映射數(shù)據(jù)16 2的分支22i2的幀間預(yù)測模塊 38。自然地，這些視圖間預(yù)測參數(shù)還表示可以用作用于采用/預(yù)測可能的第三視圖的后續(xù) 視圖數(shù)據(jù)的基礎(chǔ)的編碼參數(shù)，然而圖1中未示出該可能的第三視圖。
[0067] 由于以上措施，進(jìn)一步降低待被復(fù)用器44插入到數(shù)據(jù)流18中的數(shù)據(jù)量。具體地， 可以通過采用在前的編碼分支的編碼參數(shù)或經(jīng)由復(fù)用器44僅將相對于在前的編碼分支的 預(yù)測殘差插入到數(shù)據(jù)流28中，來大大減少編碼分支2241、22ν，2和22 i2的編碼參數(shù)的量。由 于在時(shí)間預(yù)測與視圖間預(yù)測之間選擇的能力，也可以降低編碼分支22v， 2和22d，2的殘差數(shù) 據(jù)423和42 4的量。殘差數(shù)據(jù)量的減少過度補(bǔ)償了區(qū)分時(shí)間預(yù)測模式與視圖間預(yù)測模式時(shí) 的附加的編碼效果。
[0068] 為了更詳細(xì)地說明編碼參數(shù)采用/預(yù)測的原理，參照圖2。圖2示出了多視圖信 號(hào)10的不例性部分。圖2把視頻巾貞v1;t不出為被分割成段或部分60a、60b和60c。為了簡 化，示出了幀Vl，t的僅三個(gè)部分，然而該分割可以無縫且無間隙地將幀分成段/部分。如之 前所提到的，對視頻幀 Vl，t的分割可以在時(shí)間上固定或變化，并且可以在數(shù)據(jù)流內(nèi)傳訊或不 傳訊該分割。圖2示出了使用來自視頻11的任意參考幀的重構(gòu)版本（在本情況下為示例 性幀Vm)的運(yùn)動(dòng)矢量62a和62b來對部分60a和60b進(jìn)行時(shí)間預(yù)測。如現(xiàn)有技術(shù)所已知 的，視頻的幀之間的編碼順序可以不與這些幀之間的呈現(xiàn)順序一致，并且因此，參考幀 可以按照呈現(xiàn)時(shí)間順序64達(dá)到當(dāng)前幀' t。例如，部分60c為幀內(nèi)預(yù)測參數(shù)被插入到數(shù)據(jù) 流18中的幀內(nèi)預(yù)測部分。
[0069] 在對深度/視差映射dlit進(jìn)行編碼時(shí)，編碼分支22^可以按照下面關(guān)于圖2例舉 的以下方式中的一種或更多種利用上述可能性。
[0070] -例如，在對深度/視差映射d1;t進(jìn)行編碼時(shí)，編碼分支22d>1可以米用如編碼分支 22 v，i使用的視頻幀' t的分割。因此，如果在針對視頻幀' t的編碼參數(shù)內(nèi)存在分割參數(shù)， 則可以避免針對深度/視差映射數(shù)據(jù)d1;t再傳送分割參數(shù)。可替選地，編碼分支22 d;1可以 通過經(jīng)由數(shù)據(jù)流18傳訊相對于視頻幀的分割的偏差來使用視頻幀的分割作為針對 待用于深度/視差映射d lit的分割的基礎(chǔ)/預(yù)測。圖2示出了編碼分支2241使用視頻幀Vl 的分割作為深度/視差映射dlit的預(yù)分割的情況。就是說，編碼分支22^根據(jù)視頻't的 分割采用預(yù)分割或根據(jù)該視頻' t的分割來預(yù)測預(yù)分割。
[0071] -此外，編碼分支22d>1可以根據(jù)分配給視頻巾貞v1;t中相應(yīng)的部分60a、60b和60c 的編碼模式來采用或預(yù)測深度/視差映射dlit的部分66a、66b和66c的編碼模式。在視頻 幀' t與深度/視差映射< t之間的分割不同的情況下，可以控制根據(jù)視頻幀't對編碼模 式的采用/預(yù)測，以使得根據(jù)視頻幀的分割的同位部分來獲得該采用/預(yù)測。同位的 適當(dāng)限定如下。針對深度/視差映射d lit中的當(dāng)前部分的視頻幀中的同位部分可以例 如為下述部分：其包括在深度/視差映射d1;t中的當(dāng)前幀的左上角處的同位位置。在預(yù)測 編碼模式的情況下，編碼分支22^可以傳訊相對于在數(shù)據(jù)流18內(nèi)顯式傳訊的視頻幀內(nèi) 的編碼模式的、深度/視差映射dy的部分66a至66c的編碼模式偏差。
[0072] -就關(guān)注預(yù)測參數(shù)而言，編碼分支22^具有空間上采用或預(yù)測用于對相同的深度 /視差映射dlit內(nèi)的相鄰部分進(jìn)行編碼的預(yù)測參數(shù)或者根據(jù)用于對視頻幀的同位部分 60a至6c進(jìn)行編碼的預(yù)測參數(shù)來采用或預(yù)測上述預(yù)測參數(shù)的自由。例如，圖2示出了深度 /視差映射d lit的部分66a為幀間預(yù)測部分，并且可以根據(jù)視頻幀的同位部分60a的運(yùn) 動(dòng)矢量62a來采用或預(yù)測對應(yīng)的運(yùn)動(dòng)矢量68a。在預(yù)測的情況下，僅運(yùn)動(dòng)矢量差作為幀間預(yù) 測參數(shù)482的一部分被插入到數(shù)據(jù)流18中。
[0073] -在編碼效率方面，將有利的是，編碼分支2241具有使用不規(guī)則塊分區(qū)來細(xì)分深 度/視差映射41的預(yù)分割的段的能力。以下進(jìn)一步描述的實(shí)施方式所涉及的一些不規(guī)則 塊分區(qū)模式根據(jù)相同視圖的重構(gòu)圖片導(dǎo)出分區(qū)信息諸如楔形波分隔線70。通過該措 施，深度/視差映射d 1;t的預(yù)分割的塊被細(xì)分。例如，將深度/視差映射d1;t的塊66c細(xì)分 成兩個(gè)楔形波形狀的分區(qū)72a和72b。編碼分支22 41可以被配置成單獨(dú)地對這些子段72a 和72b進(jìn)行編碼。在圖2的情況下，示例性地示出了使用相應(yīng)的運(yùn)動(dòng)矢量68c和68d來幀 間預(yù)測子段72a和72b二者。根據(jù)部分3和4,編碼分支22^可以具有在用于不規(guī)則塊分 區(qū)的若干編碼選項(xiàng)之間進(jìn)行選擇以及將該選擇作為數(shù)據(jù)流18內(nèi)的邊信息傳訊至解碼器的 自由。
[0074] 在對視頻142進(jìn)行編碼時(shí)，除了可用于編碼分支22νΛ的編碼模式選項(xiàng)之外，編碼分 支22 v，2還具有視圖間預(yù)測的選項(xiàng)。
[0075] 圖2示出了例如使用視差矢量76、根據(jù)第一視圖視頻1七的時(shí)間上對應(yīng)的視頻幀 vlit來對視頻幀的分割的部分64b進(jìn)行視圖間預(yù)測。
[0076] 不管該差異如何，編碼分支22v，2可以另外地利用可用于視頻幀和深度/視差 映射d lit的編碼的所有信息，諸如，特別是在這些編碼中所使用的編碼參數(shù)。因此，根據(jù)時(shí)間 上對準(zhǔn)的視頻幀Vy和深度/視差映射dy的同位部分60a和66a的各自的運(yùn)動(dòng)矢量62a 和68a中的任意一個(gè)或其組合，編碼分支22v，2可以采用或預(yù)測包括針對視頻幀v2， t的時(shí)間 上幀間預(yù)測部分74a的運(yùn)動(dòng)矢量78在內(nèi)的運(yùn)動(dòng)參數(shù)。如果有的話，則可以關(guān)于針對部分 74a的幀間預(yù)測參數(shù)來傳訊預(yù)測殘差。在這方面，應(yīng)當(dāng)記得，已經(jīng)根據(jù)運(yùn)動(dòng)矢量62a本身對 運(yùn)動(dòng)矢量68a進(jìn)行了預(yù)測/采用。
[0077] 如以上關(guān)于深度/視差映射dlit的編碼所述采用/預(yù)測用于對視頻幀v2， t進(jìn)行編 碼的編碼參數(shù)的其他可能性也同樣可適用于編碼分支22v，2對視頻幀v 2，t的編碼，然而由于 視頻幀和對應(yīng)的深度/視差映射dlit二者的編碼參數(shù)是可用的，所以增多了模塊52分 發(fā)的可用的共同數(shù)據(jù)。
[0078] 然后，類似于編碼分支22d;1對深度/視差映射d1;t的編碼，編碼分支22 d，2對深度 /視差映射進(jìn)行編碼。例如關(guān)于根據(jù)相同視圖122的視頻幀v 2，t進(jìn)行的所有編碼參數(shù) 采用/預(yù)測的事件，這也是成立的。然而，另外，編碼分支22 42具有還根據(jù)已用于對在前的 視圖12i的深度/視差映射dlit進(jìn)行編碼的編碼參數(shù)采用/預(yù)測編碼參數(shù)的機(jī)會(huì)。另外，編 碼分支22 i2可以使用如關(guān)于編碼分支22v，2說明的視圖間預(yù)測。
[0079] 在描述了圖1的編碼器20之后，應(yīng)當(dāng)指出，可以將該編碼器20實(shí)現(xiàn)為軟件、硬件 或固件，即可編程硬件。盡管圖1的框圖顯示出編碼器20在結(jié)構(gòu)上包括并行編碼分支，即 針對多視圖信號(hào)10的視頻和深度/視差數(shù)據(jù)中每個(gè)存在一個(gè)編碼分支，然而不必是這樣的 情況。例如，被配置成執(zhí)行元件24至40的任務(wù)的軟件例程、電路部分或可編程邏輯部分分 別可以順序地使用以完成針對每個(gè)編碼分支的任務(wù)。在并行處理中，可以在并行處理器核 上或在并行運(yùn)行電路上執(zhí)行并行編碼分支的處理。
[0080] 圖3示出了能夠?qū)?shù)據(jù)流18進(jìn)行解碼以根據(jù)數(shù)據(jù)流18來重構(gòu)與由多視圖信號(hào)表 示的場景對應(yīng)的一個(gè)或若干個(gè)視圖視頻的解碼器的示例。在很大程度上，圖3的解碼器的 結(jié)構(gòu)和功能與圖20的編碼器相似，使得盡可能地再利用圖1的附圖標(biāo)記來表示以上關(guān)于圖 1所提供的功能描述還適用于圖3。
[0081] 圖3的解碼器總體上以附圖標(biāo)記100來表示，并且包括用于數(shù)據(jù)流18的輸入和用 于輸出前述一個(gè)或若干個(gè)視圖102的重構(gòu)的輸出。解碼器100包括解復(fù)用器104和用于由 數(shù)據(jù)流18表示的多視圖信號(hào)10 (圖1)的每個(gè)數(shù)據(jù)實(shí)體的一對解碼分支106、以及視圖提取 器108和編碼參數(shù)交換器110。如圖1的編碼器的情況，解碼分支106包括具有相同互連 的相同解碼元件，因此關(guān)于負(fù)責(zé)第一視圖12i的視頻的解碼的解碼分支106 Vil代表性地 描述所述解碼分支106。具體地，每個(gè)編碼分支106包括與復(fù)用器104的相應(yīng)輸出連接的 輸入、以及與視圖提取器108的相應(yīng)輸入連接的輸出，用以向視圖提取器108輸出多視圖信 號(hào)10的相應(yīng)數(shù)據(jù)實(shí)體，即解碼分支106 νΛ的情況下的視頻。在中間，每個(gè)編碼分支106 包括串聯(lián)連接在復(fù)用器104與視圖提取器108之間的去量化/逆變換模塊28、加法器30、 進(jìn)一步處理模塊32以及解碼圖片緩沖器34。加法器30、進(jìn)一步處理模塊32和解碼圖片緩 沖器34連同后面為組合器/選擇器40的預(yù)測模塊36和38的并聯(lián)連接一起形成環(huán)，預(yù)測 模塊36和38按照提到的順序連接在解碼圖片緩沖器34與加法器30的另一輸入之間。如 通過使用與圖1的情況下的附圖標(biāo)記相同的附圖標(biāo)記所表示的，解碼分支106的元件28至 40的結(jié)構(gòu)和功能與圖1中的編碼分支的對應(yīng)元件的相似之處在于：解碼分支106的元件利 用數(shù)據(jù)流18內(nèi)傳達(dá)的信息來模仿編碼過程的處理。自然地，解碼分支106僅關(guān)于編碼器20 所最終選擇的編碼參數(shù)來逆轉(zhuǎn)（reverse)編碼過程，而圖1的編碼器20必須找到某種優(yōu)化 意義上的編碼參數(shù)的最優(yōu)集合，諸如在可選地進(jìn)行了特定的約束（諸如最大比特率等）的 情況下對速率/失真成本函數(shù)進(jìn)行優(yōu)化的編碼參數(shù)。
[0082] 解復(fù)用器104用于將數(shù)據(jù)流18分發(fā)至各個(gè)解碼分支106。例如，解復(fù)用器104向 去量化/逆變換模塊28提供殘差數(shù)據(jù)42i，向進(jìn)一步處理模塊32提供進(jìn)一步處理參數(shù)5〇i， 向幀內(nèi)預(yù)測模塊36提供幀內(nèi)預(yù)測參數(shù)46i，并向幀間預(yù)測模塊38提供幀間預(yù)測模塊48 lt) 編碼參數(shù)交換器110像圖1中的對應(yīng)模塊52那樣的起作用，使得在各個(gè)解碼分支106之間 分發(fā)共同編碼參數(shù)和其他的共同數(shù)據(jù)。
[0083] 視圖提取器108接收并行解碼分支106重構(gòu)的多視圖信號(hào)，并從該多視圖信號(hào)中 提取與由外部提供的中間視圖提取控制數(shù)據(jù)112規(guī)定的視角或視圖方向?qū)?yīng)的一個(gè)或若 干個(gè)視圖102。
[0084] 由于解碼器100相對于編碼器20的對應(yīng)部分的相似構(gòu)造，以與以上描述相似的方 式來說明解碼器100的直至視圖提取器108的接口的功能。
[0085] 實(shí)際上，解碼分支106νΛ和106^ -起用于通過下述操作根據(jù)數(shù)據(jù)流18重構(gòu)多視 圖信號(hào)10的第一視圖12i :根據(jù)包含在數(shù)據(jù)流18中的第一編碼參數(shù)（諸如42i內(nèi)的定標(biāo)參 數(shù)、參數(shù)46^48^5(^，以及第二分支16^的編碼參數(shù)的對應(yīng)的未采用參數(shù)和預(yù)測殘差，即 42 2、參數(shù)462、482、502)，根據(jù)多視圖信號(hào)10的（在第一視圖12i的當(dāng)前部分的重構(gòu)之前根據(jù) 數(shù)據(jù)流18重構(gòu)的）先前重構(gòu)部分來預(yù)測第一視圖12i的當(dāng)前部分，并使用同樣包含在數(shù)據(jù) 流18中的、即在和42 2內(nèi)的第一校正數(shù)據(jù)來校正第一視圖的當(dāng)前部分的預(yù)測的預(yù) 測誤差。當(dāng)解碼分支106νΛ負(fù)責(zé)對視頻進(jìn)行解碼時(shí)，編碼分支106 41承擔(dān)用于對深度/ 視差映射數(shù)據(jù)16i進(jìn)行重構(gòu)的責(zé)任。參見例如圖2 :解碼分支106Vil通過下述操作根據(jù)數(shù)據(jù) 流18重構(gòu)第一視圖12i的視頻:根據(jù)從數(shù)據(jù)流18讀取的對應(yīng)編碼參數(shù)（即42i內(nèi)的定 標(biāo)參數(shù)、參數(shù)46^48^5(^)，根據(jù)多視圖信號(hào)10的先前重構(gòu)部分來預(yù)測視頻的當(dāng)前部分 諸如60a、60b或60c，并使用從數(shù)據(jù)流18獲得的對應(yīng)校正數(shù)據(jù)即根據(jù)42i內(nèi)的變換系數(shù)水 平來校正該預(yù)測的預(yù)測誤差。例如，解碼分支l〇6 Vil以段/部分為單位使用視頻幀之間的 編碼順序來處理視頻，并且對于對幀內(nèi)的段進(jìn)行編碼，這些幀的段之間的編碼順序如同 編碼器的對應(yīng)編碼分支的情況一樣。因此，視頻的所有先前重構(gòu)部分可用于針對當(dāng)前部 分的預(yù)測。針對當(dāng)前部分的編碼參數(shù)可以包括以下參數(shù)中的一個(gè)或更多個(gè)：幀內(nèi)預(yù)測參數(shù) 5〇i、幀間預(yù)測參數(shù)48i以及用于進(jìn)一步處理模塊32的濾波參數(shù)等。用于校正該預(yù)測誤差的 校正數(shù)據(jù)可以用殘差數(shù)據(jù)42i內(nèi)的譜變換系數(shù)水平來表示。并不需要全部傳送這些編碼參 數(shù)中的所有編碼參數(shù)?？梢愿鶕?jù)視頻的相鄰段的編碼參數(shù)來空間預(yù)測這些編碼參數(shù)中 的一些編碼參數(shù)?？梢詫⒗缬糜谝曨l的運(yùn)動(dòng)矢量作為視頻的相鄰部分/段的運(yùn) 動(dòng)矢量之間的運(yùn)動(dòng)矢量差在比特流內(nèi)傳送。
[0086] 就關(guān)注第二解碼分支106^而言，該第二解碼分支106^不僅訪問如在數(shù)據(jù)流18 內(nèi)傳訊并通過解復(fù)用器104分發(fā)給相應(yīng)的解碼分支106 41的殘差數(shù)據(jù)422以及對應(yīng)的預(yù)測 和濾波參數(shù)，即未通過跨視圖間邊界被預(yù)測的編碼參數(shù)，而且間接訪問經(jīng)由解復(fù)用器104 提供給解碼分支1〇6 νΛ的編碼參數(shù)和校正數(shù)據(jù)、或如經(jīng)由編碼信息交換模塊110分發(fā)的根 據(jù)該編碼參數(shù)和校正數(shù)據(jù)可導(dǎo)出的任何信息。因而，解碼分支1〇6 41根據(jù)經(jīng)由解復(fù)用器104 轉(zhuǎn)發(fā)給針對第一視圖12i的這對解碼分支106νΛ和106^的編碼參數(shù)的一部分來確定其用 于重構(gòu)深度/視差映射數(shù)據(jù)16i的編碼參數(shù)，該編碼參數(shù)的一部分與尤其專用于并轉(zhuǎn)發(fā)給 解碼分支1〇6 νΛ的這些編碼參數(shù)的一部分部分地重疊。例如，解碼分支106^根據(jù)一方面為 在48i內(nèi)顯式傳送的運(yùn)動(dòng)矢量62a，例如作為相對幀 Vl，t的另一個(gè)相鄰部分的運(yùn)動(dòng)矢量差， 以及另一方面為在482內(nèi)顯式傳送的運(yùn)動(dòng)矢量差，來確定運(yùn)動(dòng)矢量68a。另外地或可替選地， 解碼分支1〇6 41可以使用如以上關(guān)于對楔形波分隔線的預(yù)測所描述的視頻的重構(gòu)部分 來導(dǎo)出如以上關(guān)于解碼該深度/視差映射數(shù)據(jù)16i所簡要指出且以下將更詳細(xì)概述的不規(guī) 則塊分區(qū)。
[0087] 更確切地說，解碼分支106^通過利用編碼參數(shù)來根據(jù)數(shù)據(jù)流重構(gòu)第一視圖12i的 深度/視差映射數(shù)據(jù)，所述編碼參數(shù)為至少部分地根據(jù)解碼分支106 Vil所使用的編碼參 數(shù)而預(yù)測（或根據(jù)其而采用）的編碼參數(shù)和/或根據(jù)解碼分支l〇6Vil的解碼圖片緩沖器34 中的視頻的重構(gòu)部分而預(yù)測的編碼參數(shù)?？梢越?jīng)由解復(fù)用器104從數(shù)據(jù)流18獲得編 碼參數(shù)的預(yù)測殘差。可以全部地或關(guān)于另一基礎(chǔ)（即參照用于對深度/視差映射數(shù)據(jù)16i 本身的先前重構(gòu)部分的任意部分進(jìn)行編碼所使用的編碼參數(shù)）在數(shù)據(jù)流108內(nèi)傳送用于解 碼分支1〇6 41的其他編碼參數(shù)。基于這些編碼參數(shù)，解碼分支10641根據(jù)深度/視差映射數(shù) 據(jù)16i的（在深度/視差映射數(shù)據(jù)16i的當(dāng)前部分的重構(gòu)之前由解碼分支106 d;1根據(jù)數(shù)據(jù) 流18而重構(gòu)的）先前重構(gòu)部分來預(yù)測深度/視差映射數(shù)據(jù)的當(dāng)前部分，并且使用相應(yīng) 的校正數(shù)據(jù)42 2來校正深度/視差映射數(shù)據(jù)16i的當(dāng)前部分的預(yù)測的預(yù)測誤差。
[0088] 如以上關(guān)于編碼已描述的，針對第二視圖122的這對解碼分支106v， 2和106d，2的功 能與針對第一視圖12i的功能相似。兩個(gè)分支協(xié)作以利用自己的編碼參數(shù)來根據(jù)數(shù)據(jù)流18 重構(gòu)多視圖信號(hào)10的第二視圖1?。這些編碼參數(shù)中的僅下述部分需要經(jīng)由解復(fù)用器104 被傳送并分發(fā)給這兩個(gè)解碼分支106 v，2和106i2中的任意一個(gè)：其是跨視圖與142之間 的視圖邊界未被采用/預(yù)測，并且可選地為視圖間預(yù)測部分的殘差。根據(jù)多視圖信號(hào)10的 (在第二視圖1?的相應(yīng)當(dāng)前部分的重構(gòu)之前由解碼分支106中的任意一個(gè)根據(jù)數(shù)據(jù)流18 而重構(gòu)的）先前重構(gòu)部分來預(yù)測第二視圖1?的當(dāng)前部分，并因此使用由解復(fù)用器104轉(zhuǎn) 發(fā)給這對解碼分支106v， 2和106d，2的校正數(shù)據(jù)即423和424來校正預(yù)測誤差。
[0089] 解碼分支10642可以至少部分地通過根據(jù)以下內(nèi)容的采用/預(yù)測來確定其編碼參 數(shù)：解碼分支l〇6 v，p 106d l和106v 2中的任何一個(gè)所使用的編碼參數(shù)，重構(gòu)視頻142和/或 第一視圖12i的重構(gòu)深度/視差映射數(shù)據(jù)16i。例如，關(guān)于根據(jù)視頻、深度/視差映射數(shù) 據(jù)16i和視頻14 2或其適當(dāng)子集中的任何一個(gè)的同位部分是否將采用或預(yù)測針對當(dāng)前部分 80b的編碼參數(shù)，以及關(guān)于根據(jù)所述同位部分將采用或預(yù)測針對該當(dāng)前部分80b的編碼參 數(shù)的哪個(gè)部分，數(shù)據(jù)流18可以針對深度/視差映射數(shù)據(jù)16 2的當(dāng)前部分80b進(jìn)行傳訊。這 些編碼參數(shù)中的關(guān)注的部分可以涉及例如運(yùn)動(dòng)矢量諸如84、或視差矢量諸如視差矢量82。 此外，可以通過解碼分支106 d，2導(dǎo)出諸如與不規(guī)則分區(qū)的塊相關(guān)的其他編碼參數(shù)。
[0090] 在任何情況下，多視圖數(shù)據(jù)10的重構(gòu)部分到達(dá)視圖提取器108,其中，在該視圖提 取器108中，包含在其中的視圖為用于新視圖的視圖提取的基礎(chǔ)，即例如與這些新視圖關(guān) 聯(lián)的視頻。該視圖提取可以包括或涉及通過使用與視頻和14 2關(guān)聯(lián)的深度/視差映射 數(shù)據(jù)而對視頻11和142的再投影。坦白講，在將視頻再投影到另一個(gè)中間視圖時(shí)，與該視 頻的對應(yīng)于位置更遠(yuǎn)離觀看者位置的場景部分的部分相比，該視頻的對應(yīng)于位置更接近觀 看者的場景部分的部分沿著視差方向（即觀看方向差矢量的方向）偏移得更多。
[0091] 應(yīng)當(dāng)提到的是，解碼器不必包括視圖提取器108。更確切地講，可以不存在視圖提 取器108。在該情況下，解碼器100僅用于重構(gòu)視圖％和122中的任意一個(gè)，諸如它們中的 一個(gè)、若干個(gè)或全部視圖。在針對單獨(dú)視圖12i和122不存在深度/視差數(shù)據(jù)的情況下，然 而視圖提取器108可以通過利用使相鄰視圖的對應(yīng)部分彼此相關(guān)的視差矢量來執(zhí)行中間 視圖提取。使用這些視差矢量作為與相鄰視圖的視頻關(guān)聯(lián)的視差矢量場的支持視差矢量， 該視圖提取器108可以通過應(yīng)用該視差矢量場根據(jù)相鄰視圖12i和12 2的這樣的視頻來建 立中間視圖視頻。例如，設(shè)想視頻幀v2，t的部分/段的50%被視圖間預(yù)測。就是說，對于該 部分/段的50%，將存在視差矢量。對于剩余部分，可以由視圖提取器108通過空間意義上 的內(nèi)插/外插來確定視差矢量。還可以使用利用針對視頻14 2的先前重構(gòu)幀的部分/段的 視差矢量的時(shí)間內(nèi)插。然后可以根據(jù)這些視差矢量來使視頻幀v2， t和/或參考視頻幀 失真以產(chǎn)生中間視圖。為此，根據(jù)在第一視圖12i的視圖位置與第二視圖1?的視圖位置之 間的該中間視圖的中間視圖位置來定標(biāo)視差矢量。以下更詳細(xì)地概述關(guān)于該過程的細(xì)節(jié)。 [0092] 然而，在考慮僅對包括視頻和對應(yīng)的深度/視差映射數(shù)據(jù)的一個(gè)視圖（諸如以上 概述的實(shí)施方式的第一視圖12^進(jìn)行編碼的情況下，可以有利地在圖1至圖3的架構(gòu)中使 用以下概述的實(shí)施方式。在該情況下，傳送的信號(hào)信息即單個(gè)視圖121可以稱為視圖合成 適應(yīng)信號(hào)，即使得能夠?qū)崿F(xiàn)視圖合成的信號(hào)。視頻連同深度/視差映射數(shù)據(jù)16i使視圖 提取器108能夠通過利用深度/視差映射數(shù)據(jù)16i將視圖12i再投影到相鄰新視圖中來執(zhí) 行某種視圖合成。再有，通過使用不規(guī)則塊分區(qū)來獲得編碼效率增益。從而，可以在獨(dú)立于 上述視圖間編碼信息交換方面的單視圖編碼構(gòu)思內(nèi)使用以下進(jìn)一步描述的不規(guī)則塊分區(qū) 實(shí)施方式。更確切地說，可以將圖1至圖3的以上實(shí)施方式變化至失去分支22、100 vAu和 關(guān)聯(lián)的視圖1?的程度。
[0093] 從而，圖1至圖3示出了針對可以有利地使用后續(xù)說明的不規(guī)則塊分區(qū)的多視圖 編碼構(gòu)思的示例。然而，再次強(qiáng)調(diào)的是，不管樣本陣列是否為深度/視差映射，都還可以結(jié) 合其他種類的樣本陣列編碼來使用以下描述的編碼模式。以下描述的編碼模式中的一些編 碼模式甚至不會(huì)使深度/視差映射與對應(yīng)的紋理映射一起共存是必要的。
[0094] 具體地，以下概述的實(shí)施方式涉及如下的一些編碼模式：通過這些編碼模式，用將 信號(hào)的樣本分成兩個(gè)樣本集合且用恒定樣本值來表示每個(gè)樣本集合的模型來表示塊的信 號(hào)。以下說明的編碼模式中的一些編碼模式可以被用于直接表示塊的信號(hào)，或者可以被用 于生成針對該塊的預(yù)測信號(hào)，然后進(jìn)一步通過對另外的殘差信息（例如變換系數(shù)水平）進(jìn) 行編碼來細(xì)化（refine)該預(yù)測信號(hào)。如果將后續(xù)說明的編碼模式中的一個(gè)編碼模式應(yīng)用于 深度信號(hào)，則除了其他的有利方面之外，還會(huì)由于主要通過慢變區(qū)域和慢變區(qū)域之間的尖 銳邊緣來表征深度信號(hào)的事實(shí)而產(chǎn)生優(yōu)點(diǎn)。雖然可以用變換編碼方法（即，基于DCT)來高 效地表示慢變區(qū)域，但是兩個(gè)幾乎恒定的區(qū)域之間的尖銳邊緣的表示需要大量待編碼的變 換系數(shù)。如關(guān)于以下概述的實(shí)施方式中的一些實(shí)施方式所描述的，可以通過使用將塊分成 兩個(gè)區(qū)域且每個(gè)區(qū)域具有恒定樣本值的模型來更好地表示包含邊緣的這樣的塊。
[0095] 下面，將更詳細(xì)地描述本發(fā)明的不同實(shí)施方式。在部分1和2中，描述了用于將塊 分區(qū)成樣本值恒定的兩個(gè)區(qū)域的基本構(gòu)思。部分3描述了用于具體說明可以如何將塊分區(qū) 成不同區(qū)域以及需要傳送什么參數(shù)以用于表示該分區(qū)以及針對該區(qū)域的樣本值的不同實(shí) 施方式。
[0096] 實(shí)施方式包括如下構(gòu)思：用于獨(dú)立于任何其他塊來傳訊分區(qū)信息的構(gòu)思、用于基 于針對空間上相鄰的塊的傳送數(shù)據(jù)來傳訊分區(qū)信息的構(gòu)思、以及用于基于與待編碼的深度 映射關(guān)聯(lián)的已傳送紋理圖片（常規(guī)的視頻圖片）來傳訊分區(qū)信息的構(gòu)思。從而，部分4關(guān) 于與用于處理不規(guī)則定位塊的一些實(shí)施方式有關(guān)的恒定樣本值、模式信息、和分區(qū)信息的 編碼來描述本發(fā)明的實(shí)施方式。
[0097] 雖然下面的描述主要針對于深度映射的編碼（特別是在多視圖視頻編碼的上下 文中）并且下面的描述基于給定的深度塊，但是針對常規(guī)視頻編碼也可以應(yīng)用本發(fā)明的若 干實(shí)施方式。因此，如果用通用術(shù)語"信號(hào)塊"來替換術(shù)語"深度塊"，則可以將該描述應(yīng)用 于其他信號(hào)類型。此外，下面的描述有時(shí)專注于方形塊，但是本發(fā)明也可以應(yīng)用于矩形塊或 其他連接或簡單連接的樣本集合。
[0098] 1.楔形波
[0099] 在諸如圖1至圖3所示的基于塊的混合視頻編碼中，例如，將幀細(xì)分為矩形塊。通 常，這些塊為方形，并且針對每個(gè)塊的處理遵循相同的功能結(jié)構(gòu)。注意，雖然本部分中的大 多數(shù)示例使用方形塊，但是楔形波塊分區(qū)和所有相關(guān)的方法不限于方形塊，而是可以用于 任何矩形塊尺寸。
[0100] 1.1楔形波塊分區(qū)
[0101] 楔形波塊分區(qū)的基本原理為將塊200的區(qū)分成用線201分隔的兩個(gè)區(qū)域202a、 202b，如圖4所示，其中這兩個(gè)區(qū)域用Pi和P 2來標(biāo)記。通過都定位在塊邊界上的起點(diǎn)S和 終點(diǎn)E來確定該分隔線。有時(shí)，在下面將區(qū)域Pi稱為楔形波分區(qū)202a，而將區(qū)域P 2稱為楔 形波分區(qū)202b。
[0102] 針對連續(xù)信號(hào)空間（參見圖4,左側(cè)），起點(diǎn)位置為S(xs，ys)，并且終點(diǎn)位置為 E (xE, yE)，這二者均限于塊尺寸〇彡義彡113和〇彡7彡713(其中，坐標(biāo)之一必須等于最小值 (0)或最大值（&或^))。根據(jù)這些限定，分隔線的等式如下：
[0103]
【權(quán)利要求】
1. 一種用于根據(jù)數(shù)據(jù)流（304)重構(gòu)樣本陣列（302)的解碼器，所述解碼器被配置成： 導(dǎo)出所述樣本陣列（302)的預(yù)定塊（210)到第一分區(qū)和第二分區(qū)的雙分割； 將所述樣本陣列（302)的鄰接所述預(yù)定塊的相鄰樣本中的每個(gè)相鄰樣本與所述第一 分區(qū)和所述第二分區(qū)中的相應(yīng)分區(qū)進(jìn)行關(guān)聯(lián)，使得每個(gè)相鄰樣本鄰接與其關(guān)聯(lián)的分區(qū)；以 及 通過將與所述第一分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給所述樣本陣列的位 于所述第一分區(qū)內(nèi)的樣本，和/或?qū)⑴c所述第二分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分 配給所述樣本陣列的位于所述第二分區(qū)內(nèi)的樣本，來預(yù)測所述預(yù)定塊（210)。
2. 根據(jù)權(quán)利要求1所述的解碼器，被配置成： 通過對與所述第一分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的所述平均值應(yīng)用所述數(shù)據(jù)流內(nèi)的 細(xì)化信息內(nèi)的第一細(xì)化值，和/或?qū)εc所述第二分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的所述平均 值應(yīng)用所述細(xì)化信息內(nèi)的第二細(xì)化值，使用所述細(xì)化信息來細(xì)化所述預(yù)定塊的預(yù)測。
3. 根據(jù)權(quán)利要求2所述的解碼器，被配置成： 在應(yīng)用所述第一細(xì)化值和/或所述第二細(xì)化值時(shí)，分別將所述第一細(xì)化值和/或所述 第二細(xì)化值與關(guān)聯(lián)于所述第一分區(qū)的所述相鄰樣本的值的所述平均值和/或關(guān)聯(lián)于所述 第二分區(qū)的所述相鄰樣本的值的所述平均值進(jìn)行線性組合。
4. 根據(jù)權(quán)利要求2或3所述的解碼器，被配置成： 在應(yīng)用所述第一細(xì)化值和/或所述第二細(xì)化值時(shí)，從所述數(shù)據(jù)流取出所述第一細(xì)化值 和/或所述第二細(xì)化值，并使用量化步長來定標(biāo)所取出的所述第一細(xì)化值和/或所述第二 細(xì)化值，所述量化步長取決于在所述數(shù)據(jù)流內(nèi)傳送與所述樣本陣列關(guān)聯(lián)的預(yù)定空間采樣分 量所采用的參考量化步長。
5. 根據(jù)權(quán)利要求4所述的解碼器，其中所述樣本陣列為深度映射，并且所述解碼器被 配置成使用所述參考量化步長，以根據(jù)比特流重構(gòu)與所述深度映射關(guān)聯(lián)的紋理樣本陣列。
6. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的解碼器，其中所述解碼器被配置成：在導(dǎo)出所 述樣本陣列的所述預(yù)定塊到第一分區(qū)和第二分區(qū)的所述雙分割時(shí)， 根據(jù)所述預(yù)定塊的相鄰塊的楔形波分隔線來預(yù)測所述樣本陣列的所述預(yù)定塊內(nèi)的楔 形波分隔線的位置，使得在所述預(yù)測位置處的所述楔形波分隔線形成所述相鄰塊的所述楔 形波分隔線至所述預(yù)定塊的擴(kuò)展，以及 使用所述數(shù)據(jù)流內(nèi)的細(xì)化信息來細(xì)化所述楔形波分隔線的所述預(yù)測位置，其中所述預(yù) 定塊的所述楔形波分隔線將所述預(yù)定塊分成所述第一分區(qū)和所述第二分區(qū)。
7. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的解碼器，其中所述解碼器被配置成： 通過下述操作使用幀內(nèi)預(yù)測來預(yù)測所述參考塊：通過將所述樣本陣列的沿著幀內(nèi)預(yù)測 方向與所述第一塊相鄰的樣本的重構(gòu)值復(fù)制到所述參考塊中來填充所述參考塊， 其中所述解碼器被配置成：在導(dǎo)出所述樣本陣列的預(yù)定塊到第一分區(qū)和第二分區(qū)的所 述雙分割時(shí)， 通過根據(jù)所述幀內(nèi)預(yù)測方向設(shè)置所述預(yù)定塊內(nèi)的所述楔形波分隔線的擴(kuò)展方向，來預(yù) 測所述預(yù)定塊內(nèi)的楔形波分隔線的位置，其中所述楔形波分隔線將所述預(yù)定塊分成所述第 一分區(qū)和所述第二分區(qū)。
8. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的解碼器，其中所述樣本陣列是與圖片關(guān)聯(lián)的深 度/視差映射，其中所述解碼器被配置成： 通過在所述圖片的與所述預(yù)定塊同位的參考塊內(nèi)把所述圖片二值化來分割所述圖片 的所述參考塊，以獲得所述參考塊到第一分區(qū)和預(yù)定分區(qū)的雙分割；以及 將所述圖片的所述參考塊的所述雙分割空間轉(zhuǎn)移至所述深度/視差映射的所述預(yù)定 塊上，以獲得所述第一分區(qū)和所述第二分區(qū)。
9. 根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的解碼器，還被配置成在所述解碼器的預(yù)測環(huán)中 使用所述預(yù)定塊作為參考。
10. -種用于將樣本陣列編碼至數(shù)據(jù)流中的編碼器，所述編碼器被配置成： 導(dǎo)出所述樣本陣列的預(yù)定塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述樣本陣列的鄰接所述預(yù)定塊的相鄰樣本中的每個(gè)相鄰樣本與所述第一分區(qū)和 所述第二分區(qū)中的相應(yīng)的分區(qū)進(jìn)行關(guān)聯(lián)，使得每個(gè)相鄰樣本鄰接與其關(guān)聯(lián)的分區(qū)；以及 通過將與所述第一分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給所述樣本陣列的位 于所述第一分區(qū)內(nèi)的樣本并將與所述第二分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給 所述樣本陣列的位于所述第二分區(qū)內(nèi)的樣本，來預(yù)測所述預(yù)定塊。
11. 一種用于根據(jù)數(shù)據(jù)流（304)重構(gòu)樣本陣列（302)的方法，包括： 導(dǎo)出所述樣本陣列（302)的預(yù)定塊（210)到第一分區(qū)和第二分區(qū)的雙分割； 將所述樣本陣列（302)的鄰接所述預(yù)定塊的相鄰樣本中的每個(gè)相鄰樣本與所述第一 分區(qū)和所述第二分區(qū)中的相應(yīng)的分區(qū)進(jìn)行關(guān)聯(lián)，使得每個(gè)相鄰樣本鄰接與其關(guān)聯(lián)的分區(qū)； 以及 通過將與所述第一分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給所述樣本陣列的位 于所述第一分區(qū)內(nèi)的樣本和/或?qū)⑴c所述第二分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分 配給所述樣本陣列的位于所述第二分區(qū)內(nèi)的樣本，來預(yù)測所述預(yù)定塊（210)。
12. -種用于將樣本陣列編碼至數(shù)據(jù)流中的方法，包括： 導(dǎo)出所述樣本陣列的預(yù)定塊到第一分區(qū)和第二分區(qū)的雙分割； 將所述樣本陣列的鄰接所述預(yù)定塊的相鄰樣本中的每個(gè)相鄰樣本與所述第一分區(qū)和 所述第二分區(qū)中的相應(yīng)的分區(qū)進(jìn)行關(guān)聯(lián)，使得每個(gè)相鄰樣本鄰接與其關(guān)聯(lián)的分區(qū)；以及 通過將與所述第一分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給所述樣本陣列的位 于所述第一分區(qū)內(nèi)的樣本并將與所述第二分區(qū)關(guān)聯(lián)的所述相鄰樣本的值的平均值分配給 所述樣本陣列的位于所述第二分區(qū)內(nèi)的樣本，來預(yù)測所述預(yù)定塊。
13. -種具有程序代碼的計(jì)算機(jī)程序，所述程序代碼用于當(dāng)所述程序代碼在計(jì)算機(jī)上 運(yùn)行時(shí)執(zhí)行根據(jù)權(quán)利要求11或12所述的方法。
【文檔編號(hào)】H04N19/196GK104247427SQ201280066926
【公開日】2014年12月24日 申請日期:2012年11月9日 優(yōu)先權(quán)日:2011年11月11日
【發(fā)明者】菲利普·默克勒, 克里斯蒂安·巴特尼克, 哈里希蘭·拉克什曼, 德特勒夫·馬爾佩, 卡斯滕·穆勒, 托馬斯·維甘德, 格哈德·特希 申請人:弗蘭霍菲爾運(yùn)輸應(yīng)用研究公司