專利名稱：深度指示圖的產(chǎn)生的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生深度指示圖。更具體而非窮舉地說，本發(fā)明涉及產(chǎn)生多視像的深度指示圖。
背景技術(shù)：
近幾十年來，隨著數(shù)字信號表示和通信逐漸取代模擬表示和通信，各種源信號的數(shù)字編碼也變得日益重要。目前正在進(jìn)行持續(xù)的研究和開發(fā)來提高可從編碼圖像和視頻序列獲取的質(zhì)量，同時將數(shù)據(jù)速率保持在可接受水平。此外，對圖像和視頻處理的關(guān)注也在增加。除了二維圖像平面之外，還進(jìn)一步考慮圖像的深度方面。例如，三維圖像已成為許多研究和開發(fā)的主題。的確，圖像的三維呈現(xiàn)例如通過3D電視、計算機顯示器等的形式引入消費市場。這些方法通常基于產(chǎn)生提供給用戶的多個視圖。例如，當(dāng)前的許多3D內(nèi)容基于產(chǎn)生立體視圖，其中第一圖像呈現(xiàn)給觀眾的右目艮，第二圖像呈現(xiàn)給觀眾的左眼。有些顯示器能夠提供相對多數(shù)量的視圖，允許針對多個觀看點為觀眾提供適當(dāng)?shù)囊晥D。實際上，此類系統(tǒng)可允許用戶環(huán)視對象，例如，看到中心視點無法看到的被遮擋對象。已經(jīng)提出不同的方法來提供有效的三維場景信息表示。例如，可針對提供給用戶的每個視圖提供單獨圖像。此方法對于其中將預(yù)定圖像呈現(xiàn)給觀眾右眼和左眼的簡單立體系統(tǒng)有效。因此，此方法相對適合于只為用戶提供預(yù)定三維體驗(例如，為觀眾呈現(xiàn)三維電影)的系統(tǒng)。但是，此方法不適合其中需要為觀眾提供較多數(shù)量視圖的更靈活的系統(tǒng)，具體是指不適合其中需要在呈現(xiàn)/表現(xiàn)點上靈活地改變或更改觀眾觀看點的應(yīng)用。此方法同時也是其中深度效應(yīng)不固定而是可以改變的變基線立體圖像應(yīng)用的次優(yōu)選擇。具體而言，需要改變深度效應(yīng)強度，如果沒有不同對象的深度信息，可能很難分別使用用于左右眼的固定圖像實現(xiàn)。實際上，帶有固定左右視圖的立體表示已在BD 3D (藍(lán)光光盤只讀格式第三部分:視聽基本規(guī)范版本2.4)中實現(xiàn)標(biāo)準(zhǔn)化。但是，固定視圖格式的靈活性有限。為實現(xiàn)諸如適應(yīng)不同屏幕大小或?qū)ι疃雀杏X強度的用戶定義的調(diào)整以避免不適感等期望特征，要求傳輸更多的信息。此外，固定左右視圖不提供任何用于實現(xiàn)高級顯示(例如，需要兩個以上視圖的自動立體顯示)的實際規(guī)定。此外，此方法不能輕松支持產(chǎn)生任意視點的視圖。為了解決這些問題，已提出提供具有一個或多個圖像的深度圖。所述深度圖一般可以提供圖像中所有部分的深度信息。因此，深度圖可針對每個像素指示該像素圖像對象的相對深度。深度圖可以顯著增加呈現(xiàn)的靈活性，例如可使圖像適于對應(yīng)于不同的視點。具體而言，視點的移位一般可導(dǎo)致依賴于像素深度的圖像的像素移位。在某些情況下，具有關(guān)聯(lián)深度圖的單個圖像允許產(chǎn)生不同視圖，從而例如允許產(chǎn)生三維圖像。但是，一般提供多個對應(yīng)于不同視圖的圖像來提高性能。例如，可在提供對應(yīng)于視圖左右眼的兩個圖像之時另外提供一個或兩個深度圖。實際上，在許多應(yīng)用中，單個深度圖足以提供基本優(yōu)點。但是，這些方法也包含一些固有的劣勢或缺點。實際上，此方法要求提供適當(dāng)?shù)纳疃葓D。對于新內(nèi)容，具體對于計算機根據(jù)三維模型產(chǎn)生的圖像而言，這相對容易做到。但是，對于創(chuàng)建時未包括深度信息的現(xiàn)有內(nèi)容而言，產(chǎn)生足夠精確的深度圖是一項艱難、繁重的任務(wù)。實際上，多數(shù)產(chǎn)生現(xiàn)有內(nèi)容(例如，現(xiàn)有畫面或電影)深度信息的方法都需要大量人工參與，從而使深度圖產(chǎn)生工作變得耗時、耗成本。另外，包括深度圖本質(zhì)上需要分布和/或存儲額外的數(shù)據(jù)。這樣，含深度像(例如視頻序列)的編碼數(shù)據(jù)據(jù)速率本質(zhì)上高于同一不含深度圖的圖像。因此，有效地對深度圖執(zhí)行編碼和解碼非常重要。所以，需要改進(jìn)的基于深度圖的圖像系統(tǒng)。具體而言，將有利地使用產(chǎn)生、編碼或解碼深度圖的改進(jìn)方法。特別是，有利地使用可增加靈活性、便利實施和/或操作、改進(jìn)和/或便利深度數(shù)據(jù)的編碼、解碼和/或產(chǎn)生、降低編碼數(shù)據(jù)速率和/或提高性能的系統(tǒng)。

發(fā)明內(nèi)容
因此，本發(fā)明旨在優(yōu)選地以單獨形式或任何組合的形式弱化、減輕或消除上述一個或多個缺點。根據(jù)本發(fā)明的一個方面，提供一種編碼與圖像關(guān)聯(lián)的深度指示圖的方法，所述方法包括:接收所述深度指示圖；響應(yīng)于參考圖像和對應(yīng)參考深度指示圖，產(chǎn)生將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及響應(yīng)于所述映射，通過編碼所述深度指示圖產(chǎn)生輸出編碼數(shù)據(jù)流。本發(fā)明可以提供改進(jìn)的編碼。例如，它可以允許深度指示圖的編碼適應(yīng)并面向特定特性。本發(fā)明例如可以提供允許解碼器產(chǎn)生深度指示圖的編碼。具體而言，在許多實施例中，使用基于參考圖像的映射可允許對圖像和/或深度特性進(jìn)行自動和/或改進(jìn)的適應(yīng)，無需針對特定圖像或深度特性開發(fā)或應(yīng)用預(yù)定的規(guī)則或算法。可被視為與組合關(guān)聯(lián)的圖像位置例如可以針對特定輸入集被判定為滿足特定輸入集的圖像空間位置鄰域標(biāo)準(zhǔn)的圖像位置。例如，它可以包括以下圖像位置，其小于距輸入集位置的給定距離，與輸入集的位置屬于同一圖像對象，落在針對輸入集定義的位置范圍內(nèi)等。組合例如可以是將多個色坐標(biāo)值組合為更少值(具體是指組合為單個值)的組合。例如，組合可以將色坐標(biāo)(例如，RGB值)組合為單個亮度值。作為另一實例，組合可以將鄰近像素值組合為單個平均或微分值。在其他實施例中，組合可以替代地或額外地為多個值。例如，組合可以是包括多個鄰近像素中每個像素的像素值的數(shù)據(jù)集。因此，在某些實施例中，組合可以對應(yīng)于一個額外映射維度(即，除了空間維度之外)，在其他實施例中，組合可以對應(yīng)于多個額外映射維度。色坐標(biāo)可以是反映像素視覺特征的任何值，并且具體可以是亮度值、色度值或色差值。組合在某些實施例中可以只包括一個對應(yīng)于輸入集中圖像空間位置的像素值。
所述方法可以包括動態(tài)地產(chǎn)生映射。例如,新映射可針對視頻序列中每個圖像產(chǎn)生，或者針對每一第N個圖像產(chǎn)生，其中N為整數(shù)。所述深度指示圖可以是對應(yīng)于圖像的部分或完整圖。所述深度指示圖可以包括提供圖像深度指示的值，具體可以包括每個像素或像素組的深度指示值。所述深度指示圖的深度指示例如可以是深度(Z)坐標(biāo)或視差值。所述深度指示圖具體可以是深度視差圖或深度圖。在某些實施例中，還可以提供圖像遮擋數(shù)據(jù)。例如，圖像可被表示為分層圖像，其中第一層表示可從圖像的視點看到的對象，并且一個或多個進(jìn)一步的層提供從該視圖無法看到的對象圖像數(shù)據(jù)。深度指示數(shù)據(jù)可以僅針對頂層提供/產(chǎn)生，也可以針對一個或多個遮擋層提供/產(chǎn)生。所述遮擋數(shù)據(jù)可以在不同的比特流層中發(fā)送，即，它可以包括在輸出數(shù)據(jù)流增強層中。根據(jù)本發(fā)明的可選特征，所述方法進(jìn)一步包括接收所述圖像；響應(yīng)于所述映射，根據(jù)所述圖像預(yù)測深度指示圖；響應(yīng)于所述預(yù)測的深度指示圖和所述圖像，產(chǎn)生殘差深度指示圖；編碼所述殘差深度指示圖以產(chǎn)生編碼深度數(shù)據(jù)；以及將所述編碼深度數(shù)據(jù)包括在所述輸出編碼數(shù)據(jù)流中。本發(fā)明可以提供改進(jìn)的深度指示圖編碼。具體而言，可實現(xiàn)根據(jù)圖像對深度指示圖的改進(jìn)預(yù)測，從而允許減少的殘差信號，以便更有效地進(jìn)行編碼。所述深度指示圖編碼數(shù)據(jù)的數(shù)據(jù)速率可以降低，從而能降低整個信號的數(shù)據(jù)速率。所述方法可允許預(yù)測基于對深度指示圖和圖像之間特定關(guān)系的改進(jìn)適應(yīng)和/或自動適應(yīng)。所述方法在許多情況下允許反相兼容僅使用包括輸入圖像編碼的基本層，而深度指示圖數(shù)據(jù)在增強層提供的現(xiàn)有設(shè)備。此外，所述方法可允許低復(fù)雜度實現(xiàn)，從而降低成本、資源要求和使用量，或者便利設(shè)計或制造。所述預(yù)測基本圖像可以具體通過編碼所述輸入以產(chǎn)生編碼數(shù)據(jù)來產(chǎn)生，以及通過解碼所述編碼數(shù)據(jù)來產(chǎn)生所述預(yù)測基本圖像。所述方法可以包括產(chǎn)生所述輸出編碼數(shù)據(jù)流以具有包括所述輸入圖像編碼數(shù)據(jù)的第一層和包括所述殘差深度指示圖編碼數(shù)據(jù)的第二層。所述第二層可以是可選層，具體而言，所述第一層可以是基本層，所述第二層可以是增強層。所述殘差深度指示圖的編碼可以具體地包括通過比較所述輸入深度指示圖和所述預(yù)測的深度指示圖，產(chǎn)生至少部分所述深度指示圖的殘差數(shù)據(jù)；以及通過編碼所述殘差數(shù)據(jù)，產(chǎn)生至少部分所述編碼深度指示圖。根據(jù)本發(fā)明的可選特征，每個輸入集對應(yīng)于每個空間圖像維度的空間區(qū)間和所述組合的至少一個值區(qū)間，并且產(chǎn)生所述映射包括針對所述參考圖像的至少一組圖像位置中的每個圖像位置:判定至少一個匹配輸入集，其具有對應(yīng)于所述每個圖像位置的空間區(qū)間以及對應(yīng)于所述圖像中每個圖像位置組合值的所述組合的值區(qū)間；以及響應(yīng)于所述參考深度指示圖中所述每個圖像位置的深度指示值，判定所述匹配輸入集的輸出深度指示值。 這樣提供一種有效、精確的方法來判定用于產(chǎn)生深度指示圖的適當(dāng)映射。在某些實施例中，所述方法進(jìn)一步包括響應(yīng)于匹配第一輸入集的至少一組圖像位置的所有圖像位置深度指示值的貢獻(xiàn)平均，判定所述第一輸入集的輸出深度指示值。
根據(jù)本發(fā)明的可選特征，所述映射為以下至少一項:空間二次取樣映射；時間二次取樣映射；以及組合值二次取樣映射。這樣可以在許多實施例中提高效率和/或降低數(shù)據(jù)速率或資源需求，同時仍允許執(zhí)行有利的操作。所述時間二次取樣可以包括更新圖像/圖序列中圖像/圖子集的映射。所述組合值二次取樣可以包括對所述組合的一個或多個值應(yīng)用比所述像素值的量化更粗的量化。所述空間二次取樣可以包括涵蓋多個像素位置的每個輸入集。根據(jù)本發(fā)明的可選特征，所述方法進(jìn)一步包括:接收所述圖像；響應(yīng)于所述映射，根據(jù)所述圖像產(chǎn)生所述深度指示圖的預(yù)測；以及響應(yīng)于所述深度指示圖與所述預(yù)測的比較，適應(yīng)所述映射和所述殘差深度指示圖的至少一項。這樣可以改進(jìn)編碼并且可以在許多實施例中針對特定圖像特性適應(yīng)數(shù)據(jù)速率。例如，可動態(tài)適應(yīng)所述數(shù)據(jù)速率以實現(xiàn)可變的最低數(shù)據(jù)速率，從而將所述數(shù)據(jù)速率降為給定質(zhì)量等級所需的水平。在某些實施例中，所述適應(yīng)可以包括判定是否修改部分或全部所述映射。例如，如果所述映射導(dǎo)致預(yù)期的深度指示圖相對于所述輸入深度指示圖偏離給定量，則可以部分或全部地修改所述映射以改進(jìn)預(yù)測。例如，所述適應(yīng)可以包括修改映射針對特定輸入集提供的特定深度指示值。在某些實施例中，所述方法可以包括響應(yīng)于所述輸入深度指示圖與所述預(yù)測的深度指示圖的比較，選擇映射數(shù)據(jù)和殘差深度指示圖數(shù)據(jù)的至少一項的元素以包括在所述輸出編碼數(shù)據(jù)流中。所述映射數(shù)據(jù)和/或殘差深度指示圖數(shù)據(jù)例如可以限于其中所述輸入深度指示圖與所述預(yù)測的深度指示圖之差超過給定閾值的區(qū)域。根據(jù)本發(fā)明的可選特征，所述輸入圖像為所述參考圖像，所述參考深度指示圖為所述深度指示圖。這樣可以在許多實施例中更有效地根據(jù)輸入圖像預(yù)測深度指示圖，并可以在許多情況下提供特別有效的深度指示圖編碼。所述方法可以進(jìn)一步包括映射描述所述輸出編碼數(shù)據(jù)流中至少部分映射的特征的數(shù)據(jù)。根據(jù)本發(fā)明的可選特征，所述方法進(jìn)一步包括對所述圖像進(jìn)行編碼，其中所述圖像和所述深度指示圖聯(lián)合編碼，其中所述圖像的編碼不依賴于所述深度指示圖，并且所述深度指示圖使用來自所述圖像的數(shù)據(jù)進(jìn)行編碼，所述編碼數(shù)據(jù)被分為單獨的數(shù)據(jù)流，其中包括包含所述圖像數(shù)據(jù)的主數(shù)據(jù)流和包含所述深度指示圖數(shù)據(jù)的次數(shù)據(jù)流，其中所述主數(shù)據(jù)流和次數(shù)據(jù)流多路復(fù)用到所述輸出編碼數(shù)據(jù)流，并且為所述主數(shù)據(jù)流和次數(shù)據(jù)流的數(shù)據(jù)提供單獨代碼。這樣可以提供特別有效的數(shù)據(jù)流編碼，這種編碼能改善后向兼容性。所述方法可以組合聯(lián)合編碼與后向兼容性的優(yōu)點。根據(jù)本發(fā)明的一方面，提供一種產(chǎn)生圖像的深度指示圖的方法，所述方法包括:接收所述圖像；提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對應(yīng)參考深度指示圖之間的關(guān)系；以及響應(yīng)于所述圖像和所述映射，產(chǎn)生所述深度指示圖。本發(fā)明可實現(xiàn)用于根據(jù)圖像產(chǎn)生深度指示圖的特別有效的方法。具體而言，所述方法可以減少人工介入需求，并允許根據(jù)參考以及從此類參考中自動提取的信息產(chǎn)生深度指示圖。所述方法可以例如允許產(chǎn)生例如通過人工或自動處理進(jìn)一步細(xì)化的深度指示圖。所述方法具體可以是指對深度指示圖進(jìn)行解碼的方法。所述圖像可作為編碼圖像接收，所述編碼圖像首先進(jìn)行解碼，然后對所述解碼圖像應(yīng)用映射以提供深度指示圖。具體而言，所述圖像可通過對編碼數(shù)據(jù)流的基本層圖像進(jìn)行解碼來產(chǎn)生。所述參考圖像和對應(yīng)參考深度指示圖具體可以是先前解碼的圖像/圖。在某些實施例中，所述圖像可以在編碼數(shù)據(jù)流中接收，所述編碼數(shù)據(jù)流還可以包括描述所述映射和/或所述參考圖像和/或所述參考深度指示圖的特征或識別所述映射和/或所述參考圖像和/或所述參考深度指示圖的數(shù)據(jù)。根據(jù)本發(fā)明的可選特征，產(chǎn)生所述深度指示圖包括針對至少部分預(yù)測的深度指示圖的每個位置，通過以下操作判定至少部分所述預(yù)測的深度指示圖:判定至少一個匹配所述每個位置以及關(guān)聯(lián)于所述每個位置的像素值色坐標(biāo)的第一組合的匹配輸入集；從所述映射中檢索所述至少一個匹配輸入集的至少一個輸出深度指示值；響應(yīng)于所述至少一個輸出深度指示值，判定所述預(yù)測的深度指示圖中所述每個位置的深度指示值；以及響應(yīng)于至少部分所述預(yù)測的深度指示圖，判定所述深度指示圖。這樣可以提供特別有利的深度指示圖產(chǎn)生。在許多實施例中，所述方法允許對深度指示圖進(jìn)行特別有效的編碼。具體而言，可實現(xiàn)根據(jù)圖像自動適應(yīng)和/或有效地產(chǎn)生深度指示圖的預(yù)測。響應(yīng)于至少部分所述預(yù)測的深度指示圖產(chǎn)生所述深度指示圖可以包括直接使用至少部分所述預(yù)測的深度指示圖，或者例如可以包括使用殘差深度指示圖數(shù)據(jù)增強至少部分所述預(yù)測的深度指示圖，所述殘差深度指示圖數(shù)據(jù)可以包括在包含圖像的層以外的編碼
信號層中。根據(jù)本發(fā)明的可選特征，所述圖像為視頻序列中的圖像，并且所述方法包括使用所述視頻序列中的先前圖像作為參考圖像，并使用針對所述先前圖像產(chǎn)生的先前深度指示圖作為所述參考深度指示圖產(chǎn)生所述映射。這樣可允許有效執(zhí)行操作，具體是指可允許對具有對應(yīng)圖像和深度指示圖的視頻序列進(jìn)行有效編碼。例如，所述方法可根據(jù)圖像預(yù)測至少部分深度指示圖，然后基于此預(yù)測實現(xiàn)精確編碼，無需在編碼器和解碼器之間傳輸有關(guān)所應(yīng)用映射的任何信息。 根據(jù)本發(fā)明的可選特征，所述先前深度指示圖進(jìn)一步響應(yīng)于所述先前深度指示圖相對于所述先前圖像的預(yù)測深度數(shù)據(jù)的殘差深度數(shù)據(jù)產(chǎn)生。這樣可以提供特別精確的映射，從而改進(jìn)預(yù)測。根據(jù)本發(fā)明的可選特征，所述圖像為視頻序列中的圖像，并且所述方法進(jìn)一步包括使用所述視頻序列中的至少某些圖像的標(biāo)稱(nominal)映射。這樣可允許特別有效地對許多深度指示圖進(jìn)行編碼，具體是指可以有效地適應(yīng)視頻序列中的不同圖像/圖。例如。標(biāo)稱映射可用于那些沒有適當(dāng)?shù)膮⒖紙D像/圖的深度指示圖，例如，場景改變之后的第一圖像/圖。在某些實施例中，所述視頻序列可作為編碼視頻信號的一部分接收，所述編碼視頻信號進(jìn)一步包括可用參考映射的圖像的參考映射指示。在某些實施例中，所述參考映射指示指示所應(yīng)用的從預(yù)定參考映射集中選擇的參考映射。例如，可預(yù)定編碼器與解碼器之間的N個參考映射，并且所述編碼可以包括有關(guān)所述解碼器應(yīng)該針對特定深度指示圖使用哪個參考映射的指示。根據(jù)本發(fā)明的可選特征，所述組合指示所述圖像空間位置的紋理、梯度和空間像素值變化中的至少一項。這樣可提供特別有利的深度指示圖產(chǎn)生。根據(jù)本發(fā)明的可選特征，所述深度指示圖與多視像中的第一視像關(guān)聯(lián)，所述方法進(jìn)一步包括:響應(yīng)于所述深度指示圖，產(chǎn)生所述多視像中的第二視像的進(jìn)一步的深度指示圖。所述方法可允許特別有效的多視圖深度指示圖產(chǎn)生/解碼，并且可允許將數(shù)據(jù)速率改進(jìn)為質(zhì)量比率和/或便利實現(xiàn)。所述多視像可以是包括多個對應(yīng)于同一場景不同視圖的圖像，并且深度指示圖可與每個視圖關(guān)聯(lián)。所述多視像具體可以是包括左右圖像(例如對應(yīng)于觀眾左右眼的視點)和左右深度指示圖的立體圖像。所述第一視圖深度指示圖具體可用于產(chǎn)生所述第二視圖深度指示圖的預(yù)測。在某些情況下，所述第一視圖深度指示圖可直接用作所述第二視圖深度指示圖的預(yù)測。在某些實施例中，產(chǎn)生所述第二視圖深度指示圖的步驟包括:提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的深度指示值的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映所述第一視圖的參考深度指示圖與所述第二視圖的對應(yīng)參考深度指示圖之間的關(guān)系；以及響應(yīng)于所述第一視圖深度指示圖和所述映射，產(chǎn)生所述第二視圖深度指示圖。這樣可提供根據(jù)所述第一視圖深度指示圖產(chǎn)生所述第二視圖深度指示圖的特別有利的方法。具體而言，它允許根據(jù)參考深度指示圖進(jìn)行精確的映射或預(yù)測。所述第二視圖深度指示圖的產(chǎn)生可以基于自動產(chǎn)生映射，并且例如可以基于先前第二視圖深度指示圖和先前第一視圖深度指示圖。所述方法例如可允許在編碼器和解碼器端獨立地產(chǎn)生映射，從而允許根據(jù)所述映射有效地進(jìn)行編碼器/解碼器預(yù)測，無需將其他任何映射數(shù)據(jù)從所述編碼器傳輸?shù)剿鼋獯a器。根據(jù)本發(fā)明的一方面，提供一種對關(guān)聯(lián)于圖像的深度指示圖進(jìn)行編碼的設(shè)備，所述設(shè)備包括:接收器，用于接收所述深度指示圖；映射產(chǎn)生器，用于響應(yīng)于參考圖像和對應(yīng)參考深度指示圖，產(chǎn)生將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及輸出處理器，用于響應(yīng)于所述映射，對所述深度指示圖進(jìn)行編碼來產(chǎn)生輸出編碼數(shù)據(jù)流。所述設(shè)備例如可以是集成電路或其一部分。根據(jù)本發(fā)明的一方面，提供一種裝置，包括:上一段落所述的設(shè)備；輸入連接構(gòu)件，用于接收包括所述深度指示圖的信號以及將此信號饋入所述設(shè)備；以及輸出連接構(gòu)件，用于從所述設(shè)備輸出所述輸出編碼數(shù)據(jù)流。根據(jù)本發(fā)明的一方面，提供一種產(chǎn)生圖像的深度指示圖的設(shè)備，所述設(shè)備包括:接收器，用于接收所述圖像；映射處理器，用于提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對應(yīng)參考深度指示圖之間的關(guān)系；以及圖像產(chǎn)生器，用于響應(yīng)于所述圖像和所述映射，產(chǎn)生所述深度指示圖。所述設(shè)備例如可以是集成電路或其一部分。
根據(jù)本發(fā)明的一方面，提供一種裝置，包括:上一段落所述的設(shè)備；輸入連接構(gòu)件，用于接收所述圖像以及將此圖像饋入所述設(shè)備；輸出連接構(gòu)件，用于從所述設(shè)備輸出包括所述高深度指示圖的信號。所述裝置例如可以是機頂盒、電視機、計算機監(jiān)視器或其他顯示器、媒體播放器、DVD或BluRay 播放器等。根據(jù)本發(fā)明的一方面，提供一種編碼信號，包括:編碼圖像；以及深度指示圖的殘差深度數(shù)據(jù)，至少部分所述殘差深度數(shù)據(jù)指示所述圖像的所需深度指示圖與向所述編碼圖像應(yīng)用映射導(dǎo)致的預(yù)測深度指示圖之差，其中所述映射將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)，所述映射反映參考圖像與對應(yīng)參考深度指示圖之間的關(guān)系。根據(jù)本發(fā)明的特征，提供一種包括上一段落所述的編碼信號的存儲介質(zhì)。所述存儲介質(zhì)例如可以是諸如DVD或BluRay 盤之類的數(shù)據(jù)載體。可提供一種執(zhí)行本發(fā)明任一方面或特征的方法的計算機程序產(chǎn)品。另外，可以提供包括執(zhí)行本發(fā)明任一方面或特征的方法的可執(zhí)行代碼的存儲介質(zhì)。本發(fā)明的這些和其他方面、特征和優(yōu)點通過下面描述的(多個)實施例將變得顯而易見，并通過這些實施例進(jìn)行闡述。


將參考附圖并僅借助實例描述本發(fā)明的實施例，在所述附圖中:
圖1是根據(jù)本發(fā)明的某些實施例的傳輸系統(tǒng)實例的圖示；
圖2是根據(jù)本發(fā)明的某些實施例的編碼器實例的圖示；
圖3是根據(jù)本發(fā)明的某些實施例的編碼方法實例的圖示；
圖4和5是根據(jù)本發(fā)明的某些實施例的映射實例的圖示；
圖6是根據(jù)本發(fā)明的某些實施例的編碼器實例的圖示；
圖7是根據(jù)本發(fā)明的某些實施例的編碼器實例的圖示；
圖8是根據(jù)本發(fā)明的某些實施例的解碼方法實例的圖示；
圖9是根據(jù)本發(fā)明的某些實施例的高動態(tài)范圍圖像預(yù)測實例的圖示；
圖10是根據(jù)本發(fā)明的某些實施例的映射實例的圖示；
圖11是根據(jù)本發(fā)明的某些實施例的解碼器實例的圖示；
圖12是根據(jù)本發(fā)明的某些實施例的解碼器實例的圖示；
圖13是根據(jù)本發(fā)明的某些實施例可以在編碼器中使用的基本編碼模塊實例的圖示； 圖14-17示出使用圖13中的基本編碼模塊的編碼器的實例；
圖18示出數(shù)據(jù)流多路復(fù)用的實例；
圖19是根據(jù)本發(fā)明的某些實施例可以在解碼器中使用的基本解碼模塊實例的圖示；
以及
圖20-22示出使用圖18中的基本解碼模塊的解碼器的實例。
具體實施例方式下面的描述著重在適用于對視頻序列中的對應(yīng)圖像和深度指示圖進(jìn)行編碼和解碼的本發(fā)明實施例。但是將理解，本發(fā)明不限于此應(yīng)用，可以在其他許多情況下應(yīng)用所述原理。具體而言，所述原理不限于涉及編碼或解碼的深度指示圖產(chǎn)生。圖1示出根據(jù)本發(fā)明的某些實施例傳輸視頻信號的傳輸系統(tǒng)100。傳輸系統(tǒng)100包括通過網(wǎng)絡(luò)105與接收器103相連的發(fā)送器101，網(wǎng)絡(luò)105具體是指因特網(wǎng)，或者諸如數(shù)字電視廣播系統(tǒng)之類的廣播系統(tǒng)。在特定實例中，接收器103為單個播放設(shè)備，但可以理解，在其他實施例中，所述接收器可用于其他應(yīng)用以及其他目的。在特定實例中，接收器103可以是顯示器，例如電視機，也可以是用于產(chǎn)生外部顯示器(例如，計算機監(jiān)視器或電視機)的顯示輸出信號的機頂盒。在特定實例中，發(fā)送器101包括提供圖像和對應(yīng)深度指示圖的視頻序列的單個源107。圖像的深度圖可以包括圖像深度信息。此類深度指示具體可以是z坐標(biāo)(B卩，指示沿垂直于圖像平面(x-y平面)的方向偏移的深度值)、視差值或其他任何提供深度信息的值。深度指示圖可以是涵蓋整個圖像的完整指示圖，也可以是僅提供一個或多個圖像區(qū)域深度指示的局部深度指示圖。深度指示圖具體可以提供整個圖像每個像素或圖像的一個或多個部分的深度值。信號源107本身可以產(chǎn)生圖像和深度指示圖，也可以例如從外部源接收圖像和/或深度指示圖。下面將描述簡單圖像及關(guān)聯(lián)的深度指示圖的實例。但是，在某些實例中，可進(jìn)一步提供圖像的遮擋數(shù)據(jù)，實際上還可以提供遮擋數(shù)據(jù)的深度指示數(shù)據(jù)，例如深度指示圖。信號源107與編碼器109相連，該編碼器繼續(xù)根據(jù)下面將詳細(xì)描述的編碼算法對視頻序列進(jìn)行編碼。具體而言，視頻序列中的圖像可使用傳統(tǒng)編碼標(biāo)準(zhǔn)進(jìn)行編碼，而深度指示圖將使用下面將詳細(xì)描述的基于對應(yīng)圖像的預(yù)測進(jìn)行編碼。編碼器109與網(wǎng)絡(luò)發(fā)送器111相連，該網(wǎng)絡(luò)發(fā)送器接收編碼信號并與通信網(wǎng)絡(luò)105連接。網(wǎng)絡(luò)發(fā)送器可通過通信網(wǎng)絡(luò)105將編碼信號發(fā)送到接收器103。將理解，在許多其他實施例中，可使用其他分發(fā)或通信網(wǎng)絡(luò)，例如陸地或衛(wèi)星廣播系統(tǒng)。接收器103包括接收器113，該接收器與通信網(wǎng)絡(luò)105連接并從發(fā)送器101接收編碼信號。在某些實施例中，接收器113例如可以是因特網(wǎng)接口或無線或衛(wèi)星接收器。接收器113與解碼器115相連。解碼器115被饋入已接收的編碼信號，然后繼續(xù)根據(jù)下面將詳細(xì)描述的解碼算法對編碼信號進(jìn)行解碼。解碼器115具體可以使用傳統(tǒng)解碼算法產(chǎn)生解碼圖像，并且可以使用下面將詳細(xì)描述的根據(jù)解碼圖像的預(yù)測對深度指示圖進(jìn)行解碼。在其中支持信號播放功能的特定實例中，接收器103進(jìn)一步包括信號播放器117，該播放器從解碼器115接收解碼視頻信號(包括深度指示圖)并使用適當(dāng)?shù)墓δ芟蛴脩舫尸F(xiàn)解碼視頻信號。本領(lǐng)域的技術(shù)人員知道，信號播放器117具體可以根據(jù)解碼圖像和深度信息呈現(xiàn)來自不同視圖的圖像。信號播放器117本身可以包括能呈現(xiàn)編碼視頻序列的顯示器。作為替代或補充，信號播放器117可以包括能夠產(chǎn)生針對外部顯示裝置的適當(dāng)驅(qū)動信號的輸出電路。因此，接收器103可以包括接收編碼視頻序列的輸入連接構(gòu)件以及提供顯示器輸出驅(qū)動信號的輸出連接構(gòu)件。圖2示出根據(jù)本發(fā)明的某些實施例的編碼器實例109。圖3示出根據(jù)本發(fā)明的某些實施例的編碼方法實例。編碼器包括用于接收包括輸入圖像的視頻序列的接收器201，以及用于接收對應(yīng)深度指示圖序列的接收器203。首先，編碼器109執(zhí)行步驟301，其中接收視頻序列中的輸入圖像。輸入圖像被饋入圖像編碼器205，該圖像編碼器對視頻序列中的視頻圖像進(jìn)行編碼。將理解，可使用任何適當(dāng)?shù)囊曨l或圖像編碼算法，并且所述編碼具體可以包括本領(lǐng)域的技術(shù)人員已知的運動補償、量化、轉(zhuǎn)換變換等。具體而言，圖像編碼器205可以是H-264/AVC標(biāo)準(zhǔn)編碼器。因此，在步驟301之后執(zhí)行步驟303，其中將輸入圖像進(jìn)行編碼以產(chǎn)生編碼圖像。編碼器109然后繼續(xù)根據(jù)輸入圖像產(chǎn)生預(yù)測的深度指示圖。所述預(yù)測基于預(yù)測基本圖像，所述預(yù)測基本圖像例如可以是輸入圖像本身。但是，在許多實施例中，可以產(chǎn)生預(yù)測基本圖像以對應(yīng)于解碼器通過對編碼圖像進(jìn)行解碼產(chǎn)生的圖像。在圖2的實例中，圖像編碼器205相應(yīng)地與圖像解碼器207相連，該圖像解碼器繼續(xù)通過對圖像的編碼數(shù)據(jù)進(jìn)行解碼產(chǎn)生預(yù)測基本圖像。所述解碼可以是實際輸出數(shù)據(jù)流解碼，也可以是中間數(shù)據(jù)流解碼，例如在最終的無損失熵編碼之前對編碼數(shù)據(jù)流執(zhí)行的解碼。因此，圖像解碼器207執(zhí)行步驟305，其中通過對編碼圖像進(jìn)行解碼來產(chǎn)生預(yù)測基本圖像bas—IMG0圖像解碼器207與預(yù)測器209相連，該預(yù)測器繼續(xù)根據(jù)預(yù)測基本圖像產(chǎn)生預(yù)測的深度指示圖。所述預(yù)測基于映射處理器211提供的映射。因此，在實例中，在步驟305之后執(zhí)行步驟307，其中產(chǎn)生映射，接著執(zhí)行步驟309，其中執(zhí)行預(yù)測以產(chǎn)生預(yù)測的深度指示圖。預(yù)測器209進(jìn)一步與深度編碼器213相連，該深度編碼器進(jìn)一步與深度指示圖接收器203相連。深度編碼器213接收輸入深度指示圖和預(yù)測的深度指示圖，然后繼續(xù)根據(jù)預(yù)測的深度指示圖對輸入深度指示圖進(jìn)行編碼。作為特定低復(fù)雜度實例，深度指示圖的編碼可以基于相對于預(yù)測的深度指示圖產(chǎn)生殘差深度指示圖以及對殘差深度指示圖進(jìn)行編碼。因此，在此實例中，深度編碼器213可以繼續(xù)到執(zhí)行步驟311，其中響應(yīng)于輸入深度指示圖與預(yù)測的深度指示圖之間的比較，產(chǎn)生殘差深度指示圖。具體而言，深度編碼器213可用輸入深度指示圖減去預(yù)測的深度指示圖來產(chǎn)生殘差深度指示圖。因此，殘差深度指示圖表示輸入深度指示圖與根據(jù)對應(yīng)(編碼)圖像預(yù)測的指示圖之間的誤差。在其他實施例中，可進(jìn)行其他比較。例如，可采用深度指示圖除以預(yù)測的深度指示圖的方法。深度編碼器213然后可以執(zhí)行步驟313，其中對殘差深度指示圖進(jìn)行編碼以產(chǎn)生編碼的殘差深度數(shù)據(jù)。將理解，可使用用于對殘差深度指示圖進(jìn)行編碼的任何適當(dāng)編碼原理或算法。實際上，在許多實施例中，預(yù)測的深度指示圖可用作多個預(yù)測中的一個可能的預(yù)測。因此，在某些實施例中，深度編碼器213可被配置為在包括預(yù)測的深度指示圖的多個預(yù)測之間做出選擇。其他預(yù)測可以包括來自同一或不同深度指示圖的空間或時間預(yù)測。所述選擇可以基于對不同預(yù)測的精確度量(例如基于相對于輸入深度指示圖的殘差量)。所述選擇可以針對整個深度指示圖執(zhí)行，也可以例如針對深度指示圖的不同區(qū)域或部分單獨執(zhí)行。例如，深度指示圖編碼器可以使用H264編碼器進(jìn)行編碼，其中深度值被映射到亮度值(luma vlaue)。傳統(tǒng)的H264編碼器可利用不同的預(yù)測，例如時間預(yù)測(幀之間，例如運動補償)或空間預(yù)測(即，根據(jù)圖像的一個區(qū)域預(yù)測另一區(qū)域)。在圖2的方法中，此類預(yù)測可通過根據(jù)圖像產(chǎn)生的深度指示圖預(yù)測來補充。H.264編碼器然后繼續(xù)到在各種可能的預(yù)測之間進(jìn)行選擇。該選擇根據(jù)宏塊執(zhí)行，并且基于選擇導(dǎo)致該宏塊的最低殘差的預(yù)測。具體而言，可執(zhí)行速率失真分析來針對每個宏塊選擇最佳預(yù)測方法。因此，做出局部決定。于是，基于H264的編碼器可針對不同的宏塊使用不同的預(yù)測方法。對于每個宏塊，可產(chǎn)生殘差數(shù)據(jù)并對其進(jìn)行編碼。因此，輸入HDR圖像的編碼數(shù)據(jù)可以包括每個宏塊的殘差數(shù)據(jù)，其中每個宏塊由針對該宏塊的特定選定預(yù)測導(dǎo)致。此外，編碼數(shù)據(jù)可以包括有關(guān)針對每個單獨的宏塊使用哪種預(yù)測方法的指示。因此，深度指示圖預(yù)測所依據(jù)的圖像可以提供可由深度編碼器選擇的其他可能的預(yù)測。對于某些宏塊，此預(yù)測可以導(dǎo)致低于其他預(yù)測的殘差，并因此將針對該宏塊選擇此預(yù)測。該塊的最終殘差深度指示圖然后表示輸入深度指示圖與該塊的預(yù)測的深度指示圖之差。編碼器可以在實例中使用不同預(yù)測方法之間的選擇，而非使用這些方法的組合，因為這樣做會導(dǎo)致不同的預(yù)測經(jīng)常發(fā)生相互干擾。圖像編碼器205和深度編碼器213與輸出處理器215相連，該輸出處理器接收編碼的圖像數(shù)據(jù)和編碼的殘差深度數(shù)據(jù)。輸出處理器215然后繼續(xù)到執(zhí)行步驟315，其中產(chǎn)生輸出編碼數(shù)據(jù)流EDS以包括編碼的圖像數(shù)據(jù)和編碼的殘差深度數(shù)據(jù)。在實例中，所產(chǎn)生的輸出編碼數(shù)據(jù)流為分層數(shù)據(jù)流，并且編碼的圖像數(shù)據(jù)包括在第一層中，編碼的殘差深度數(shù)據(jù)包括在第二層中。所述第二層具體可以是不兼容深度處理的解碼器或設(shè)備能夠放棄的可選層。因此，第一層可以是基本層，第二層可以是可選層，具體而言，第二層可以是增強或可選層。此方法允許在深度處理設(shè)備利用附加深度信息的同時實現(xiàn)后向兼容性。此外，使用預(yù)測和殘差圖像編碼允許針對給定質(zhì)量，以低數(shù)據(jù)速率實現(xiàn)高效編碼。在圖2的實例中，深度指示圖的預(yù)測基于映射。所述映射被配置為從采取圖像空間位置以及與圖像空間位置關(guān)聯(lián)的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)映射到采取深度指示值形式的輸出數(shù)據(jù)。因此，具體可實現(xiàn)為查找表的映射基于由輸入集中組織的大量參數(shù)定義的輸入數(shù)據(jù)。因此，輸入集可被視為包括多個參數(shù)值的多維集合。參數(shù)包括空間維度，具體可以包括二維圖像位置，例如水平維度參數(shù)(范圍)和垂直維度參數(shù)(范圍)。具體而言，映射可將圖像區(qū)域分為多個具有給定橫向和縱向延伸的空間塊。對于每個空間塊，映射然后包括一個或多個根據(jù)像素值色坐標(biāo)產(chǎn)生的參數(shù)。作為簡單實例，除了空間參數(shù)之外，每個輸入集還可以包括單個亮度值。因此，在這種情況下，每個輸入集為具有兩個空間參數(shù)和一個亮度參數(shù)的三維集合。對于各種可能的輸入集，映射提供輸出深度指示值。因此，在具體實例中，映射可以是從三維輸入數(shù)據(jù)到單個深度指示(像素)值的映射。因此，該映射提供到適當(dāng)深度指示值的同時依賴于空間和顏色分量(僅包括亮度分量)的映射。映射處理器211被配置為響應(yīng)于參考圖像和對應(yīng)參考深度指示圖產(chǎn)生映射。因此，映射不是預(yù)定或固定的映射，而是可根據(jù)參數(shù)圖像/深度圖自動和靈活地產(chǎn)生/更新的映射。參考圖像/圖具體可以是視頻序列中的圖像/圖。因此，映射根據(jù)視頻序列中的圖像/圖動態(tài)地產(chǎn)生，從而提供針對特定圖像/圖映射的自動適應(yīng)。作為特定實例，映射可以基于正在編碼的實際圖像和對應(yīng)深度指示圖。在該實例中，可以產(chǎn)生映射以反映輸入與輸入深度指示圖之間的空間和顏色分量關(guān)系。作為特定實例，映射可以產(chǎn)生為由NX X NY X Ni個箱(bin)(輸入集)構(gòu)成的三維網(wǎng)格。這種網(wǎng)格方法在應(yīng)用于三維的量化度方面提供巨大靈活性。在實例中，第三(非空間)維度是僅對應(yīng)于亮度值的強度參數(shù)。在下面的實例中，在宏塊級別上使用28個強度箱(SP，使用8位值)執(zhí)行深度指示圖預(yù)測。對于高清圖像而言，這意味著網(wǎng)格大小為:120x68x256個箱。每個箱對應(yīng)于映射輸入集。對于參考圖像中的處于位置(X，y)和強度K的每個輸入像素，首先確定該位置和強度的匹配箱。在實例中，每個箱對應(yīng)于空間水平區(qū)間，空間垂直區(qū)間和強度區(qū)間。匹配箱(即，輸入集)可通過最近鄰插值判定:
K =[> ],
其中Ix、Iy和I1分別為水平、垂直和強度方向的網(wǎng)格坐標(biāo)，&、Sy和S1為沿這些維度的網(wǎng)格間距(區(qū)間長度)，[]表示最近整數(shù)運算符。因此，在實例中，映射處理器211判定匹配輸入集/箱，該匹配輸入集/箱具有對應(yīng)于像素圖像位置的空間區(qū)間以及對應(yīng)于參考圖像中特定位置上像素強度值的強度值區(qū)間。映射處理器211然后繼續(xù)到響應(yīng)于參考深度指示圖中位置的深度指示值，判定匹配輸入集/箱的輸出深度指示值。具體而言，在構(gòu)造網(wǎng)格期間，深度值D和權(quán)值W均針對所考慮的每個新位置進(jìn)行更新(其中Dk表示參考深度指示圖中某個位置的深度指示值):
電，Iy，Φ D{lx，Iy，Zi)+ Dr (x,y\
計算(evaluate)完參考圖像/圖的所有像素之后，通過權(quán)值對深度指示值進(jìn)行歸一化以導(dǎo)出箱的輸出深度指示值B:
B= D /W,
其中每個值的數(shù)據(jù)值A(chǔ)包含對應(yīng)于特定箱/輸入集的位置和輸入強度的輸出深度指示像素值。因此，網(wǎng)格內(nèi)的位置可以通過參考圖像判定，而網(wǎng)格中存儲的數(shù)據(jù)對應(yīng)于參考深度指示圖。因此，映射輸入集根據(jù)參考圖像判定，映射輸出數(shù)據(jù)根據(jù)參考深度指示圖判定。在特定實例中，已存儲的輸出深度指示值是落入輸入集/箱內(nèi)像素的平均深度指示值，但是將理解，在其他實施例中，可使用其他方法，具體是指更高級的方法。
在實例中，自動產(chǎn)生映射以將深度反映到參考圖像與深度指示圖之間的空間和像素值關(guān)系。這對于在參考與被編碼的圖像和深度指示圖密切相關(guān)之時，根據(jù)圖像預(yù)測深度指示圖尤其有用。如果參考圖像和指示圖實際就是被編碼的圖像和指示圖，則這種深度反映也會特別有用。在這種情況下，所產(chǎn)生的映射自動適應(yīng)輸入圖像與深度指示圖之間的特定關(guān)系。因此，雖然圖像與深度指示圖之間的關(guān)系一般無法提前獲知，但是所述方法可自動適應(yīng)關(guān)系，無需任何現(xiàn)有信息。這樣允許精確的預(yù)測，從而獲得相對于輸入深度指示圖的較小差別，因此產(chǎn)生可被更有效編碼的殘差圖像。在被編碼的輸入圖像/圖直接用于產(chǎn)生映射的實施例中，這些參考一般不能在解碼器端上使用。因此，解碼器自身無法產(chǎn)生映射。因此，在某些實施例中，編碼器可進(jìn)一步被配置為包括描述輸出編碼流中至少部分映射的特征的數(shù)據(jù)。例如，在使用固定和預(yù)定的輸入集間隔(即，固定箱)的·情況下，編碼器可以在輸出編碼流中包括所有箱輸出值，例如作為可選層的一部分。盡管這樣可增加數(shù)據(jù)速率，但由于在產(chǎn)生網(wǎng)格之時執(zhí)行二次取樣，因此開銷相對較低。因此，使用精確的自適應(yīng)預(yù)測方法實現(xiàn)的數(shù)據(jù)簡化可能勝于映射數(shù)據(jù)傳輸導(dǎo)致的任何數(shù)據(jù)速率增加。當(dāng)產(chǎn)生預(yù)測的深度指示圖時，預(yù)測器209可繼續(xù)一次一個像素地逐一掃描解碼圖像。對于每個像素，使用圖像中像素的空間位置和強度值識別映射的特定輸入集/箱。因此，對于每個像素，根據(jù)像素的空間位置和圖像值選擇箱。然后檢索該輸入集/箱的輸出深度指示值，并且在某些實施例中，這些輸出深度指示值可直接用作像素的深度指示值。但是，由于對映射進(jìn)行空間二次取樣可能提供特定的馬賽克(blockiness)，因此在許多實施例中，深度指示值可通過在多個輸入箱的輸出深度指示值之間插值產(chǎn)生。例如，也可提取鄰近箱的值(在空間和非空間兩個方向上)，并且可產(chǎn)生深度指示像素值作為這些值的插值。具體而言，可通過在空間坐標(biāo)和圖像指定的分?jǐn)?shù)位置上劃分網(wǎng)格來構(gòu)建預(yù)測的深度指示圖:
Bb= Fjnt (B (x/S, y/S^ I/S,)),
其中表示適當(dāng)?shù)牟逯颠\算符，例如，最鄰近插值或雙三次插值。在許多情況下，圖像可由多個顏色分量(例如，RGB或YUV)表示。產(chǎn)生映射的實例在圖4和5中提供。在這些實例中，圖像深度映射關(guān)聯(lián)使用圖像和深度訓(xùn)練參考建立，并且映射表中的位置通過圖像中的水平(X)和垂直(y)像素位置以及圖像像素值(例如，圖4實例中的亮度(Y)和圖5實例中的熵(E))組合來判定。如上所述，映射表在指定位置上存儲關(guān)聯(lián)的深度指示訓(xùn)練數(shù)據(jù)。編碼器15因此產(chǎn)生包括編碼圖像的編碼信號。該圖像具體可以包括在編碼比特流的強制或基本層中。此外，包括這樣的數(shù)據(jù)，其允許在解碼器上根據(jù)編碼圖像有效地產(chǎn)生深度圖像。 在某些實施例中，該數(shù)據(jù)可以包括可被解碼器使用的數(shù)據(jù)或采取可被解碼器使用的數(shù)據(jù)形式。但是，在其他實施例中，對于部分或全部圖像，不包括此映射數(shù)據(jù)。相反，解碼器本身可以根據(jù)先前的圖像產(chǎn)生映射數(shù)據(jù)。所產(chǎn)生的編碼信號可進(jìn)一步包括深度指示圖的殘差深度指示數(shù)據(jù)，其中殘差圖像數(shù)據(jù)指示對應(yīng)于圖像的所需深度指示圖與向解碼圖像應(yīng)用映射導(dǎo)致的預(yù)測深度指示圖之差。所需深度指示圖具體為輸入深度指示圖，因此殘差深度數(shù)據(jù)表示可修改解碼器產(chǎn)生的深度指示圖，以使其更接近地對應(yīng)于所需深度指示圖(即，對應(yīng)于對應(yīng)的輸入深度指示圖)的數(shù)據(jù)。在許多實施例中，可以有利地將附加殘差深度數(shù)據(jù)包括在可被適當(dāng)配置的解碼器使用并且被不具備所需功能的舊解碼器忽略的可選層(例如，增強層)中。所述方法例如可允許所描述的基于映射的預(yù)測集成在新的后向兼容視頻格式中。例如，兩個層都可使用傳統(tǒng)的數(shù)據(jù)變換(例如，waVelet、DCT)操作和量化操作進(jìn)行編碼。幀內(nèi)預(yù)測和運動補償幀間預(yù)測可提高編碼效率。在這種方法中，從圖像到深度的層間預(yù)測對其他預(yù)測進(jìn)行了補充并進(jìn)一步提高增強層的編碼效率。信號可以具體為例如可以在圖1實例中的網(wǎng)絡(luò)上分發(fā)或傳輸?shù)谋忍亓?。在某些情況下，信號可存儲在適當(dāng)?shù)拇鎯橘|(zhì)上，例如磁盤/光盤上。例如，信號可以存儲在DVD或BluRay 盤。在上面的實例中，映射信息包括在輸出比特流中，從而允許解碼器根據(jù)已接收的圖像再現(xiàn)預(yù)測。在這種以及其他情況下，使用對映射的二次取樣尤其有利。實際上，可有利地使用空間二次取樣，以便不針對每個單獨的像素存儲單獨的輸出深度值，而是針對像素組，具體是指針對像素區(qū)域存儲。在特定實例中，單獨的輸出值針對每個宏塊存儲。作為替代或補充，可使用輸入非空間維度的二次取樣。在特定實例中，每個輸入集可涵蓋圖像中的多個可能的強度值，從而減少可能的箱數(shù)量。這種二次取樣可對應(yīng)于在產(chǎn)生映射之前應(yīng)用較粗的量化。這種空間或值二次取樣可顯著降低傳輸映射所需的數(shù)據(jù)速率。但是作為替代或補充，它可以顯著減小編碼器(和對應(yīng)的解碼器)的資源需求。例如，它可以顯著減小存儲映射所需的存儲空間。在許多實施例中，它還減少產(chǎn)生映射所需的處理資源。在實例中，映射的產(chǎn)生基于當(dāng)前的圖像和深度指示圖，S卩，基于正被編碼的圖像和對應(yīng)深度指示圖，但是，在其他實施例中，可使用視頻序列中的先前圖像作為參考圖像，以及使用針對先前圖像視頻序列產(chǎn)生的先前深度指示圖作為參考深度指示圖(或在某些情況下，使用對應(yīng)的先前輸入深度指示圖)來產(chǎn)生映射。因此，在某些實施例中，用于當(dāng)前圖像的映射可以基于先前對應(yīng)的圖像和深度指示圖。作為實例，視頻序列可以包括一系列具有相同場景的圖像，因此，連續(xù)圖像之間的差別會很小。因此，適合于一個圖像的映射也極有可能適合于后續(xù)圖像。因此，使用先前圖像和深度指示圖作為參考產(chǎn)生的映射也極有可能適用于當(dāng)前圖像。針對當(dāng)前圖像使用根據(jù)先前圖像的映射的優(yōu)點是:解碼器可單獨產(chǎn)生映射，因為這樣也能使先前的圖像可用(通過對這些圖像進(jìn)行解碼)。因此，無需包括有關(guān)映射的信息，從而進(jìn)一步降低編碼輸出流的數(shù)據(jù)速率。使用此方法的特定編碼器實例在圖6中示出。在該實例中，映射(在特定實例中為查找表，LUT)根據(jù)先前重建的(延遲τ)圖像和先前重建的(延遲τ)深度指示圖在編碼器和解碼器端二者上構(gòu)建。在此情況下，無需將任何映射值從編碼器發(fā)送到解碼器。而是，解碼器僅使用已經(jīng)可用的數(shù)據(jù)復(fù)制深度指示圖預(yù)測過程。雖然層間預(yù)測質(zhì)量可能稍有降低，但是由于視頻序列中的后續(xù)幀之間具有高度的時間相關(guān)性，因此這種降低幅度并不重要。在實例中，針對圖像使用yuv420顏色方案，針對映射使用yuv444/422顏色方案，因此，首先執(zhí)行顏色上轉(zhuǎn)換，然后產(chǎn)生和應(yīng)用LUT (映射)。優(yōu)選地使延遲τ盡可能小，以便提高圖像和深度指示圖盡可能相似的概率。但是，在許多實施例中，最小值可能依賴于所使用的具體編碼結(jié)構(gòu)，因為需要解碼器能夠根據(jù)已解碼的畫面產(chǎn)生映射。因此，最佳延遲可能依賴于所使用的GOP (畫面組)類型，具體是指依賴于所使用的時間預(yù)測(運動補償)。例如，對于IPPPP G0P, τ可以是單個圖像延遲，而根據(jù)IBPBP G0P，它將是至少兩個圖像延遲。在實例中，圖像中的每個位置只對網(wǎng)格的一個輸入集/箱做出貢獻(xiàn)。但是，在其他實施例中，映射處理器可以識別用于產(chǎn)生映射的至少一組圖像位置中的至少一個位置的多個匹配輸入集。然后可以響應(yīng)于參考深度指示圖中的位置的深度指示值，確定所有匹配輸入集的輸出深度指示值。具體而言，不使用最近鄰插值來構(gòu)建網(wǎng)格，單個數(shù)據(jù)也可以遍布于鄰近箱而非僅遍布于單個最佳匹配箱。在這種情況下，每個像素不對單個箱做出貢獻(xiàn)，而是對例如它的所有鄰近箱(在3D網(wǎng)格中，有8個箱)做出貢獻(xiàn)。所述貢獻(xiàn)例如可以與像素與鄰近箱中心之間的三維距離成反比。圖7示出圖2的編碼器的互補解碼器實例115，圖8示出其操作方法的實例。解碼器115包括接收電路701，該接收電路執(zhí)行步驟801，其中從接收器113接收編碼數(shù)據(jù)。在其中圖像編碼數(shù)據(jù)和殘差深度數(shù)據(jù)在不同層編碼的特定實例中，接收電路被配置為提取和分用圖像編碼數(shù)據(jù)和采取殘差深度指示圖數(shù)據(jù)形式的可選層數(shù)據(jù)。在其中已接收的比特流包括映射信息的實施例中，接收電路701可進(jìn)一步提取該數(shù)據(jù)。接收電路701與接收編碼圖像數(shù)據(jù)的圖像解碼器703相連。該圖像解碼器然后繼續(xù)到執(zhí)行步驟803，其中對圖像進(jìn)行解碼。圖像解碼器703將與解碼器109的圖像編碼器205互補并且具體可以是H-264/AVC標(biāo)準(zhǔn)解碼器。圖像解碼器703與接收解碼圖像的解碼預(yù)測器705相連。解碼預(yù)測器705進(jìn)一步與解碼映射處理器707相連，該解碼映射處理器被配置為執(zhí)行步驟805，其中針對解碼預(yù)測器705產(chǎn)生映射。解碼映射處理器707產(chǎn)生的映射對應(yīng)于當(dāng)產(chǎn)生殘差深度數(shù)據(jù)時被編碼器使用的映射。在某些實施例中，解碼映射處理器707可以僅響應(yīng)于在編碼數(shù)據(jù)流中接收的映射數(shù)據(jù)而產(chǎn)生映射。例如，網(wǎng)格中每個箱的輸出數(shù)據(jù)值可以在已接收的編碼數(shù)據(jù)流中提供。解碼預(yù)測器705然后繼續(xù)到執(zhí)行步驟807，其中根據(jù)解碼圖像以及解碼映射處理器707產(chǎn)生的映射產(chǎn)生預(yù)測的深度指示圖。所述預(yù)測可遵循編碼器中使用的同一方法。為了簡潔和清晰起見，該實例將著重描述簡化的實例，其中編碼器僅基于圖像到深度預(yù)測，因此，產(chǎn)生整個圖像到深度指示圖的預(yù)測(因此為整個殘差深度圖)。但是將理解，在其他實施例中，此方法可與諸如時間或空間預(yù)測之類的其他預(yù)測方法一起使用。具體而言，將理解，并非將所述方法應(yīng)用于整個圖像，而是僅將此方法應(yīng)用于個別圖像區(qū)域或塊，其中圖像到深度預(yù)測由編碼器選擇。圖9示出如何執(zhí)行預(yù)測操作的具體實例。在步驟901，選擇深度指示像中的第一像素位置。然后在步驟903，針對該像素位置判定映射的輸入集，即，判定網(wǎng)格中的適當(dāng)輸入箱。例如可通過識別涵蓋位置所落入的空間區(qū)間以及解碼圖像的解碼像素值所落入的強度區(qū)間的網(wǎng)格來執(zhí)行此判定。在步驟903之后執(zhí)行步驟905，其中從映射中檢索輸入集的輸出深度值。例如，可使用所判定的輸入集數(shù)據(jù)定址LUT，并且檢索針對該定址存儲的結(jié)果輸出數(shù)據(jù)。在步驟905之后執(zhí)行步驟907，其中根據(jù)檢索的輸出判定像素深度值。作為簡單實例，可將深度值設(shè)為檢索到的深度指示值。在更復(fù)雜的實施例中，像素深度值可通過在不同輸入集的多個輸出深度值之間插值產(chǎn)生(例如，考慮所有鄰近箱以及匹配箱)。此過程可以針對深度指示圖中的所有位置重復(fù)，從而導(dǎo)致正被產(chǎn)生的預(yù)測的深度指示圖。解碼器115然后將繼續(xù)到根據(jù)預(yù)測的深度指示圖產(chǎn)生輸出深度指示圖。在特定實例中，輸出深度指示圖通過考慮已接收的殘差深度指示數(shù)據(jù)產(chǎn)生。因此，接收電路701與接收殘差深度指示數(shù)據(jù)的殘差解碼器709相連，該殘差解碼器繼續(xù)到執(zhí)行步驟809，其中對殘差深度指示數(shù)據(jù)進(jìn)行解碼以產(chǎn)生解碼的殘差圖像。殘差解碼器709與組合器711相連，該組合器進(jìn)一步與解碼預(yù)測器705相連。組合器711接收預(yù)測的深度指示圖和解碼的殘差深度指示圖并繼續(xù)到執(zhí)行步驟811，其中組合這兩個指示圖以產(chǎn)生輸出深度指示圖。具體而言，該組合器可以逐像素針對兩個圖像添加深度值，從而產(chǎn)生輸出深度指示圖。組合器711與輸出電路713相連，該輸出電路執(zhí)行步驟813，其中產(chǎn)生輸出信號。輸出信號例如可以是能夠驅(qū)動適當(dāng)顯示器(例如，電視機)以呈現(xiàn)圖像或根據(jù)圖像和深度指示圖產(chǎn)生備選圖像的顯示器驅(qū)動信號。例如，可產(chǎn)生對應(yīng)于不同視點的圖像。在特定實例中，映射根據(jù)編碼數(shù)據(jù)流中包括的數(shù)據(jù)判定。但是，在其他實施例中，映射可響應(yīng)于解碼器已接收的先前圖像/圖(例如，視頻序列中的先前圖像和深度指示圖)產(chǎn)生。對于該先前圖像，解碼器將具有通過圖像解碼獲取的解碼圖像并將此圖像用作參考圖像。此外，已通過首先執(zhí)行預(yù)測，然后使用殘差深度指示圖進(jìn)一步校正預(yù)測的深度指示圖產(chǎn)生出深度指示圖。因此，所產(chǎn)生的深度指示圖非常接近地對應(yīng)于編碼器的輸入深度指示圖并可相應(yīng)地用作參考深度指示圖。根據(jù)這兩個參考圖像，解碼器可使用與編碼器完全相同的方法產(chǎn)生映射。因此，該映射將對應(yīng)于編碼器使用的映射，從而導(dǎo)致相同的預(yù)測(因此，殘差深度指示數(shù)據(jù)將精確地反映解碼器預(yù)測的深度指示圖與編碼器端的輸入深度指示圖之差)。因此，此方法提供始于標(biāo)準(zhǔn)圖像編碼的后向兼容深度編碼。此方法根據(jù)可用圖像數(shù)據(jù)使用深度指示圖的預(yù)測，從而減少所需的殘差深度信
肩、O此方法使用從不同圖像值到深度值映射的改進(jìn)特征，自動考慮了圖像/場景的細(xì)節(jié)。所述方法可針對特定局部特征提供特別有效的映射適應(yīng)，并且在許多情況下，可以提供特別精確的預(yù)測。這在圖10的實例中示出，該實例示出圖像Y的亮度與對應(yīng)深度指示圖中的深度D之間的關(guān)系。圖10示出恰好包括三個不同對象元素的特定宏塊的關(guān)系。因此，像素亮度與深度之間的關(guān)聯(lián)(通過多個點指示)位于三個不同的群集1001、1003、1005中。簡單應(yīng)用僅對關(guān)系執(zhí)行線性回歸，從而產(chǎn)生亮度值與深度值之間的線性關(guān)系，例如由直線1007指示的關(guān)系。但是，此方法對于至少某些值(例如，屬于群集1003的圖像對象的值)提供相對較差的映射/預(yù)測。與之相對，上述方法將產(chǎn)生精確得多的映射，例如直線1009指示的映射。該映射更精確地反映所有群集的特征和適當(dāng)映射，從而導(dǎo)致改進(jìn)的映射。實際上，該映射不僅提供與群集對應(yīng)的精確亮度結(jié)果，而且還精確地預(yù)測亮度之間的關(guān)系，例如1011指示的區(qū)間。此類映射可通過插值獲取。此外，可根據(jù)參考圖像/圖(在具體情況下，根據(jù)兩個參考宏塊)執(zhí)行簡單處理以自動判定此類精確映射信息。另外，編碼器和解碼器可根據(jù)先前的圖像獨立地判定精確映射，無需在數(shù)據(jù)流中包括映射信息。這樣可以最小化映射開銷。在上面實例中，此方法針對圖像和深度指示圖用作解碼器的一部分。但是將理解，所述原理可用于許多其他應(yīng)用和情況。例如，此方法可用于僅根據(jù)圖像產(chǎn)生深度指示圖。例如，適當(dāng)?shù)木植繀⒖紙D像和深度指示圖可在局部選擇以用于產(chǎn)生適當(dāng)映射。然后將映射應(yīng)用于圖像以產(chǎn)生深度指示圖(例如，使用插值)。然后使用所獲得的深度指示圖呈現(xiàn)圖像(例如，利用已改變的視點)。另外將理解，在某些實施例中，解碼器不會考慮任何殘差數(shù)據(jù)(因此，編碼器不需要產(chǎn)生殘差數(shù)據(jù))。實際上，在許多實施例中，通過對解碼圖像應(yīng)用映射產(chǎn)生的深度指示圖可直接用作輸出深度指示圖，無需任何進(jìn)一步的修改或增強。所述方法可用于許多不同的應(yīng)用和情況，例如可用于根據(jù)圖像視頻信號動態(tài)地產(chǎn)生實時深度指示圖信號。例如，解碼器115可在機頂盒或其他包含接收視頻信號的輸入接連器以及輸出帶有關(guān)聯(lián)深度指示圖信號的視頻信號的輸出連接器的裝置中實現(xiàn)。作為特定實例，所述視頻信號可存儲在可被Bluray 播放器讀取的Bluray 盤上。Bluray 播放器可通過HDMI線纜連接到機頂盒，所述機頂盒然后產(chǎn)生深度指示圖。所述機頂盒可通過另一 HDMI連接器連接到顯示器(例如電視機)。在某些情況下，解碼器或深度指示圖產(chǎn)生功能可作為信號源的一部分而被包括，例如Bluray 播放器或其他媒體播放器。作為另一備選，此功能可實現(xiàn)為諸如計算機監(jiān)視器或電視機之類的顯示器的一部分。因此，顯示器可接收能修改為根據(jù)局部產(chǎn)生的深度指示圖提供不同圖像的圖像流。因此，可以提供諸如媒體播放器或顯示器(例如提供明顯改善的用戶體驗的計算機監(jiān)視器或電視機)之類的信號源。在特定描述的實例中，映射的輸入數(shù)據(jù)只存在于兩個空間維度和單個像素值維度中，所述像素值維度表示例如可對應(yīng)于該像素亮度值或?qū)?yīng)于顏色通道強度值的強度值。但是更一般地說，映射輸入可以包括圖像像素色坐標(biāo)的組合。每個色坐標(biāo)可以僅對應(yīng)于一個像素值，例如對應(yīng)于RGB信號的R、G和B值之一，或者對應(yīng)于YUV信號的Y、U、V值之一。在某些實施例中，所述組合可以僅對應(yīng)于選擇色坐標(biāo)值之一，即，它可以對應(yīng)于其中所有遠(yuǎn)離選定色坐標(biāo)值的色坐標(biāo)按零權(quán)值加權(quán)的組合。在其他實施例中，所述組合可以是單個像素的多個色坐標(biāo)的組合。具體而言，可以僅組合RGB信號的色坐標(biāo)以產(chǎn)生亮度值。在其他實施例中，可使用更靈活的方法，例如具有以下特征的加權(quán)亮度值:其中考慮所有顏色通道，但是形成網(wǎng)格的顏色通道的權(quán)重大于其他顏色通道。在某些實施例中，所述組合可以考慮多個像素位置上的像素值。例如，可產(chǎn)生單個亮度值，其不僅考慮被處理位置的像素的亮度，也考慮其他像素的亮度。
實際上，在某些實施例中，可產(chǎn)生不僅反映特定像素特征，而且還反映像素位置特征(具體是指反映此類特征如何圍繞像素變化)的組合值。作為實例，亮度或顏色強度梯度分量可包括在組合中。例如，產(chǎn)生組合值時可考慮當(dāng)前像素值亮度與每個周圍像素亮度之差。進(jìn)一步地，可判定與所述周圍像素的外圍像素(即，下一同心層)亮度之差。然后使用加權(quán)求和法對這些差別進(jìn)行求和，其中權(quán)值取決于到當(dāng)前像素的距離。權(quán)值可以進(jìn)一步取決于空間方向，例如通過對相反方向的差別應(yīng)用相反符號。可以將此類基于組合差的值視為指示實施特定像素周圍的可能亮度梯度。因此，應(yīng)用此類空間增強映射可允許根據(jù)圖像產(chǎn)生的深度指示圖考慮空間變化，從而允許其更精確的反映此類空間變化。作為另一實例，可產(chǎn)生組合值以反映包括當(dāng)前像素位置的圖像區(qū)域的紋理特征。此類組合值例如可通過判定小型周圍區(qū)域上的像素值變化產(chǎn)生。作為另一實例，當(dāng)判定組合值時，可檢測到重復(fù)圖案并考慮這些重復(fù)圖案。實際上，在許多實施例中，組合值可以有利地反映當(dāng)前像素值周圍像素值的變化指示。例如，變化可直接判定并用作輸入值。作為另一實例，所述組合可以是局部熵值之類的參數(shù)。所述熵是隨機性的統(tǒng)計度量，例如可用于描述輸入圖像紋理的特征(除該實例之外，可使用其他紋理或?qū)ο笞R別度量，例如對全部可對預(yù)測做出貢獻(xiàn)的鄰邊或鄰角度量求和(需要根據(jù)(粗)方向和與當(dāng)前位置的距離進(jìn)一步整理，例如指示局部點或像素區(qū)域位于鋸齒形邊緣的左側(cè))，無論位于單獨的映射/查找表中還是位于聚合映射/查找表中)。熵值"例如可計算為:
權(quán)利要求
1.一種編碼與圖像關(guān)聯(lián)的深度指示圖的方法，所述方法包括: 接收(301)所述深度指不圖； 響應(yīng)于參考圖像和對應(yīng)參考深度指示圖，產(chǎn)生(307)將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及 響應(yīng)于所述映射，通過編碼所述深度指示圖產(chǎn)生(307-315)輸出編碼數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括: 接收所述圖像； 響應(yīng)于所述映射，根據(jù)所述圖像預(yù)測(309)預(yù)測的深度指示圖； 響應(yīng)于所述預(yù)測的深度指示圖和所述圖像，產(chǎn)生(313)殘差深度指示圖； 編碼所述殘差深度指示圖以產(chǎn)生編碼深度數(shù)據(jù)；以及 將所述編碼深度數(shù)據(jù)包括(315)在所述輸出編碼數(shù)據(jù)流中。
3.根據(jù)權(quán)利要求1或2的方法，其中所述圖像為視頻序列中的圖像，并且所述方法包括使用所述視頻序列中的先前圖像作為參考圖像，并使用針對所述先前圖像產(chǎn)生的先前深度指示圖作為所述參考深度指示圖產(chǎn)生所述映射。
4.根據(jù)權(quán)利要求1、2或3的方法，其中每個輸入集對應(yīng)于每個空間圖像維度的空間區(qū)間和所述組合的至少一個值區(qū)間，并且產(chǎn)生所述映射包括針對所述參考圖像的至少一組圖像位置中的每個圖像位置: 判定至少一個匹配輸入集，其具有對應(yīng)于所述每個圖像位置的空間區(qū)間和對應(yīng)于所述圖像中每個圖像位置組合值的所述組合的值區(qū)間；以及 響應(yīng)于所述參考深度指示圖中所述每個圖像位置的深度指示值，判定所述匹配輸入集的輸出深度指示值。
5.根據(jù)權(quán)利要求1、2、3或4的方法，其中所述映射為以下至少一項: 空間二次取樣映射； 時間二次取樣映射；以及 組合值二次取樣映射。
6.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括: 接收所述圖像； 響應(yīng)于所述映射，根據(jù)所述圖像產(chǎn)生所述深度指示圖的預(yù)測；以及響應(yīng)于所述深度指示圖與所述預(yù)測的比較，適應(yīng)所述映射和所述殘差深度指示圖的至少一項。
7.根據(jù)權(quán)利要求1或2的方法，其中所述圖像為所述參考圖像，所述參考深度指示圖為所述深度指示圖。
8.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括對所述圖像進(jìn)行編碼，其中所述圖像和所述深度指示圖聯(lián)合編碼，其中所述圖像的編碼不依賴于所述深度指示圖，所述深度指示圖使用所述圖像的數(shù)據(jù)進(jìn)行編碼，所述編碼數(shù)據(jù)被分為單獨的數(shù)據(jù)流，其中包括包含所述圖像數(shù)據(jù)的主數(shù)據(jù)流和包含所述深度指示圖數(shù)據(jù)的次數(shù)據(jù)流，其中所述主數(shù)據(jù)流和次數(shù)據(jù)流多路復(fù)用到所述輸出編碼數(shù)據(jù)流，并且為所述主數(shù)據(jù)流和次數(shù)據(jù)流的數(shù)據(jù)提供單獨代碼。
9.一種產(chǎn)生圖像的深度指示圖的方法，所述方法包括:接收(801)所述圖像； 提供(805)將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對應(yīng)參考深度指不圖之間的關(guān)系；以及 響應(yīng)于所述圖像和所述映射，產(chǎn)生(807-813)所述深度指示圖。
10.根據(jù)權(quán)利要求9的方法，其中產(chǎn)生所述深度指示圖包括針對至少部分預(yù)測的深度指示圖的每個位置，通過以下操作判定至少部分所述預(yù)測的深度指示圖: 判定至少一個匹配所述每個位置以及關(guān)聯(lián)于所述每個位置的像素值色坐標(biāo)的第一組合的匹配輸入集； 從所述映射中檢索所述至少一個匹配輸入集的至少一個輸出深度指示值，以及 響應(yīng)于所述至少一個輸出深度指示值，判定所述預(yù)測的深度指示圖中所述每個位置的深度指示值；以及 響應(yīng)于至少部分所述預(yù)測的深度指示圖，判定所述深度指示圖。
11.根據(jù)權(quán)利要求9或10的方法，其中所述圖像為視頻序列中的圖像，并且所述方法包括使用所述視頻序列中的先前圖像作為參考圖像，并使用針對所述先前圖像產(chǎn)生的先前深度指示圖作為所述參考深度指示圖產(chǎn)生所述映射。
12.根據(jù)權(quán)利要求11的方法，其中所述先前深度指示圖進(jìn)一步響應(yīng)于所述先前深度指示圖相對于所述先前圖像的預(yù)測深度數(shù)據(jù)的殘差深度數(shù)據(jù)而產(chǎn)生。
13.根據(jù)權(quán)利要求9或10的方法，其中所述圖像為視頻序列中的圖像，并且所述方法進(jìn)一步包括使用所述視頻序列中的至少某些圖像的標(biāo)稱映射。
14.根據(jù)權(quán)利要求9的方法，其中所述組合指示所述圖像空間位置的紋理、梯度和空間像素值變化中的至少一項。
15.根據(jù)權(quán)利要求9的方法，其中所述深度指示圖與多視像中的第一視像關(guān)聯(lián)，所述方法進(jìn)一步包括: 響應(yīng)于所述深度指示圖，產(chǎn)生所述多視像中的第二視像的進(jìn)一步的深度指示圖。
16.一種對與圖像關(guān)聯(lián)的深度指示圖進(jìn)行編碼的設(shè)備，所述設(shè)備包括: 接收器(203)，用于接收所述深度指示圖； 映射產(chǎn)生器(211)，用于響應(yīng)于參考圖像和對應(yīng)參考深度指示圖，產(chǎn)生將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及 輸出處理器(209、213、215、217)，用于響應(yīng)于所述映射，對所述深度指示圖進(jìn)行編碼來產(chǎn)生輸出編碼數(shù)據(jù)流。
17.一種裝置，包括: 根據(jù)權(quán)利要求16的設(shè)備； 輸入連接構(gòu)件，用于接收包括所述深度指示圖的信號以及將此信號饋入根據(jù)權(quán)利要求16的設(shè)備；以及 輸出連接構(gòu)件，用于從根據(jù)權(quán)利要求16的設(shè)備輸出所述輸出編碼數(shù)據(jù)流。
18.—種產(chǎn)生圖像的深度指示圖的設(shè)備，所述設(shè)備包括:接收器(701)，用于接收所述圖像； 映射處理器(707)，用于提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對應(yīng)參考深度指不圖之間的關(guān)系；以及 圖像產(chǎn)生器(709、711、713)，用于響應(yīng)于所述圖像和所述映射，產(chǎn)生所述深度指示圖。
19.一種裝置,包括: 根據(jù)權(quán)利要求18的設(shè)備； 輸入連接構(gòu)件，用于接收所述圖像以及將此圖像饋入根據(jù)權(quán)利要求18的設(shè)備；以及 輸出連接構(gòu)件，用于從根據(jù)權(quán)利要求18的設(shè)備輸出包括所述深度指示圖的信號。
20.—種編碼信號,包 括: 編碼圖像；以及 深度指示圖的殘差深度數(shù)據(jù)，至少部分所述殘差深度數(shù)據(jù)指示所述圖像的所需深度指示圖與向所述編碼圖像應(yīng)用映射導(dǎo)致的預(yù)測深度指示圖之差，其中所述映射將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)，所述映射反映參考圖像與對應(yīng)參考深度指示圖之間的關(guān)系。
21.一種包括根據(jù)權(quán)利要求20的所述編碼信號的存儲介質(zhì)。
全文摘要
提供一種根據(jù)圖像產(chǎn)生深度指示圖的方法。所述產(chǎn)生使用將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射執(zhí)行。所述映射根據(jù)參考圖像和對應(yīng)參考深度指示圖產(chǎn)生。因此，根據(jù)對應(yīng)參考圖像產(chǎn)生從圖像到深度指示圖的映射。所述方法可用于在編碼器和解碼器中根據(jù)圖像預(yù)測深度指示圖。具體而言，所述方法可用于產(chǎn)生深度指示圖預(yù)測并且用于提供改進(jìn)的深度指示圖編碼，所述深度指示圖允許產(chǎn)生殘差圖像。
文檔編號H04N13/00GK103181171SQ201180053135
公開日2013年6月26日 申請日期2011年10月25日 優(yōu)先權(quán)日2010年11月4日
發(fā)明者W.H.A.布魯伊斯, R.T.J.穆伊斯 申請人:皇家飛利浦電子股份有限公司