重新映射深度圖以用于3d觀看的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及與二維(2D)內(nèi)容圖像相對(duì)應(yīng)的深度圖的重新映射。2D圖像和深度圖形成呈現(xiàn)要在3D顯示器上觀看的三維(3D)圖像的基礎(chǔ)。重新映射將深度圖從輸入深度范圍映射到3D顯示器的輸出深度范圍。
【背景技術(shù)】
[0002]文南犬論文 “Disparity remapping to amel1rate visual comfort ofstereoscopic video，，(Sohn等人，Proc.SPIE 8648 , Stereoscopic Displays andApplicat1ns XXIV，86480Y)描述了一種重新映射視差圖的方法。視差圖是也包括與視差圖相對(duì)應(yīng)的二維(2D)圖像的三維(3D)圖像的一部分。將視差圖重新映射到新的視差圖上，使得可以在3D顯示器上觀看(基于新的視差圖的)3D圖像。如下建立重新映射。首先，該方法建立全局重新映射曲線以用于將視差圖從輸入視察范圍映射到輸出視差范圍(3D顯示器的)。其次，該方法基于在3D顯示器上觀看3D圖像時(shí)導(dǎo)致視覺(jué)不適的視差轉(zhuǎn)變來(lái)識(shí)別局部顯著特征。因此將全局重新映射曲線適配到局部顯著特征以便減小所述視覺(jué)不適。然后根據(jù)所適配的全局重新映射曲線來(lái)重新映射視差圖。
[0003]US2012/0314933公開(kāi)了圖像處理，其包括:估計(jì)立體圖像上被估計(jì)為受到用戶關(guān)注的關(guān)注區(qū)，檢測(cè)立體圖像的視差并生成指示立體圖像的每個(gè)區(qū)的視差的視差圖，基于關(guān)注區(qū)和視差圖來(lái)設(shè)置用于校正立體圖像的視差的轉(zhuǎn)換特性，以及基于轉(zhuǎn)換特性來(lái)校正視差圖?？梢葬槍?duì)關(guān)注區(qū)和背景使用不同的轉(zhuǎn)換函數(shù)。
[0004]US2013/0141422描述了一種用于更改與三維立體圖像的一部分相關(guān)聯(lián)的性質(zhì)的系統(tǒng)。方法包括基于虛擬對(duì)象的一部分的左眼圖像與虛擬圖像的該部分的右眼圖像之間的差異來(lái)確定三維圖像中虛擬對(duì)象的該部分沿著相對(duì)于顯示器的第一軸處于預(yù)定的地點(diǎn)。第一軸垂直于顯示器的平面。
[0005]W02009/034519描述了接收用于圖像數(shù)據(jù)的深度相關(guān)信息，包括接收與在深度相關(guān)信息的生成中使用的映射函數(shù)有關(guān)的元數(shù)據(jù)。
[0006]US2012/0306866描述了用于調(diào)節(jié)深度信息的3D圖像轉(zhuǎn)換。所述轉(zhuǎn)換包括生成關(guān)于輸入圖像的深度信息；檢測(cè)具有超過(guò)預(yù)設(shè)范圍的視差的對(duì)象；以及通過(guò)將檢測(cè)到的對(duì)象的視差調(diào)節(jié)到預(yù)設(shè)范圍內(nèi)來(lái)調(diào)節(jié)對(duì)象的深度信息?？梢苑治隼缌髋苫蛴^看年齡這樣的元數(shù)據(jù)以便將所生成的深度信息調(diào)節(jié)到預(yù)定的范圍內(nèi)。

【發(fā)明內(nèi)容】

[0007]現(xiàn)有技術(shù)的缺點(diǎn)是全局視差重新映射(或“重定目標(biāo)”)對(duì)于局部特征的順應(yīng)性是有限的，因?yàn)橄蚓植刻卣鞯乃羞m配都需要被相同的(經(jīng)適配的)全局重新映射所適應(yīng)。本發(fā)明的目的是通過(guò)提供準(zhǔn)確地選擇并適配圖像中的對(duì)象的深度重新映射而不在圖像的其他部分中適配所述深度重新映射來(lái)克服現(xiàn)有技術(shù)的缺點(diǎn)。
[0008]公開(kāi)了一種圖像處理設(shè)備，其布置用于重新映射三維圖像的深度圖，三維圖像包括深度圖和二維內(nèi)容圖像，深度圖具有在與內(nèi)容圖像中圖像像素的位置相對(duì)應(yīng)的位置處配置在二維陣列中的深度像素，每個(gè)深度像素具有深度值，所述重新映射包括用于將深度圖的深度值映射到深度圖的新深度值的全局重新映射函數(shù)，所述圖像處理設(shè)備包括接收單元，其用于接收包括三維圖像和耦合到三維圖像的元數(shù)據(jù)的信號(hào)，元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素，以及處理單元，其包括:選擇功能，其配置成從元數(shù)據(jù)檢索選擇準(zhǔn)則并使用選擇準(zhǔn)則來(lái)選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素;確定功能，其配置成確定用于將所選擇的深度像素的深度值映射到新深度值的局部重新映射函數(shù)；以及映射功能，其配置成通過(guò)將局部重新映射函數(shù)用于重新映射所選擇的深度像素并將全局重新映射函數(shù)用于除了所選擇的深度像素以外的深度像素來(lái)重新映射深度圖。
[0009 ]三維(3D )圖像包括深度圖和相應(yīng)的內(nèi)容圖像。深度圖包括在沿著X和Y軸的相應(yīng)位置處布置成2D陣列的深度像素，每個(gè)深度像素具有深度值。深度圖的每個(gè)像素對(duì)應(yīng)于內(nèi)容圖像中相應(yīng)位置處的像素。這樣的3D圖像格式通常已知為“圖像加深度”或“2D+Z”。
[0010]重新映射深度圖意味著深度圖的相應(yīng)深度像素的深度值向相應(yīng)新深度值的映射。重新映射至少包括用于重新映射深度圖的全局重新映射函數(shù)。
[0011]選擇功能配置成使用至少基于位置和深度值的選擇準(zhǔn)則來(lái)選擇與三維圖像中的對(duì)象相對(duì)應(yīng)的深度像素。例如，選擇準(zhǔn)則包括在深度和位置方面的邊界，其包括與前景對(duì)象相對(duì)應(yīng)的深度像素:選擇功能通過(guò)選擇處于邊界內(nèi)的深度像素來(lái)選擇與前景對(duì)象相對(duì)應(yīng)的深度像素?；谖恢煤蜕疃戎颠x擇對(duì)象使得能夠?qū)崿F(xiàn)對(duì)象的準(zhǔn)確選擇，從而高百分比的深度像素對(duì)應(yīng)于該對(duì)象，而選擇選擇低百分比的不與該對(duì)象相對(duì)應(yīng)的深度像素。
[0012]可選地，選擇功能包括用于確定3D圖像中的(前景)對(duì)象的自動(dòng)化過(guò)程。
[0013]確定功能配置成確定用于重新映射所選擇的深度像素的局部重新映射函數(shù)。局部重新映射函數(shù)是與全局重新映射函數(shù)不同的重新映射函數(shù)。
[0014]可選地，確定功能配置成從耦合到3D圖像的元數(shù)據(jù)檢索局部重新映射函數(shù)?？蛇x地，確定功能包括用于確定局部重新映射函數(shù)的自動(dòng)化過(guò)程，使得對(duì)象與另一對(duì)象和/或背景之間的深度對(duì)比度改進(jìn)。
[0015]重新映射功能配置成使用局部重新映射函數(shù)和全局重新映射函數(shù)兩者來(lái)重新映射深度圖。局部重新映射函數(shù)用于重新映射所選擇的深度像素，而全局重新映射函數(shù)用于重新映射其余的(未選擇的)深度像素。
[0016]公開(kāi)了一種用于重新映射三維圖像的深度圖的方法，三維圖像包括深度圖和二維內(nèi)容圖像，深度圖具有在與內(nèi)容圖像中圖像像素的位置相對(duì)應(yīng)的位置處配置在二維陣列中的深度像素，每個(gè)深度像素具有深度值，所述重新映射包括用于將深度圖的深度值映射到新深度值的全局重新映射函數(shù)，所述方法包括步驟:接收包括三維圖像和耦合到三維圖像的元數(shù)據(jù)的信號(hào)，元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素;從元數(shù)據(jù)檢索選擇準(zhǔn)則;使用選擇準(zhǔn)則來(lái)選擇與三維圖像中的對(duì)象相對(duì)應(yīng)的深度像素；以及確定用于將所選擇的深度像素的深度值映射到新深度值的局部重新映射函數(shù)；以及通過(guò)將局部重新映射函數(shù)用于重新映射所選擇的深度像素并將全局重新映射函數(shù)用于除了所選擇的深度像素以外的深度像素來(lái)重新映射深度圖。
[0017]公開(kāi)了一種用于在上述圖像處理設(shè)備中使用以用于重新映射深度圖的信號(hào)，所述信號(hào)包括三維圖像和耦合到三維圖像的元數(shù)據(jù)，三維圖像包括深度圖和二維內(nèi)容圖像，深度圖具有配置在二維陣列中的深度像素，每個(gè)深度像素具有深度值并且具有與內(nèi)容圖像中的位置相對(duì)應(yīng)的在二維陣列中的位置，元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素從而將所選擇的深度像素的深度值映射到新深度值。
[0018]公開(kāi)了一種用于生成供在以上信號(hào)中使用的元數(shù)據(jù)的圖像編碼方法，所述方法包括步驟:生成元數(shù)據(jù)，所述元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素從而將所選擇的深度像素的深度值映射到新深度值;以及將元數(shù)據(jù)耦合到三維圖像。
[0019]本發(fā)明不具有現(xiàn)有技術(shù)的所述缺點(diǎn)，因?yàn)橥ㄟ^(guò)使用位置和深度值兩者，元數(shù)據(jù)使得能夠準(zhǔn)確地選擇與對(duì)象相對(duì)應(yīng)的深度像素。對(duì)象的準(zhǔn)確選擇因而使得能夠準(zhǔn)確地向?qū)ο髴?yīng)用局部重新映射而保持全局重新映射用于圖像的其他部分。
[0020]注意術(shù)語(yǔ)“準(zhǔn)確地”在本上下文中是指選擇高百分比的與該對(duì)象相對(duì)應(yīng)的深度像素而選擇低百分比的不與該對(duì)象相對(duì)應(yīng)的深度像素。例如，高百分比是指95-100%，并且低百分比是指0-5%。本發(fā)明的效果是深度重新映射準(zhǔn)確地適配于3D圖像中的(局部)對(duì)象，而同時(shí)保持全局重新映射用于3D圖像的其他部分。
【附圖說(shuō)明】
[0021]本發(fā)明的這些和其他方面從下文描述的實(shí)施例中是顯而易見(jiàn)的，并且將參考下文描述的實(shí)施例來(lái)被闡釋。
[0022]在圖中，
圖1圖示了用于重新映射深度圖的圖像處理設(shè)備，
圖2a圖示了包括兩個(gè)前景對(duì)象和背景的深度圖，
圖2b圖示了用于兩個(gè)前景對(duì)象的深度輪廓，
圖3a圖示了使用多個(gè)形狀的復(fù)雜對(duì)象的選擇，
圖3b圖示了包括多個(gè)較小斷開(kāi)對(duì)象的對(duì)象的選擇，以及圖4圖示了全局重新映射函數(shù)和兩個(gè)局部重新映射函數(shù)。
[0023]應(yīng)注意，不同圖中具有相同附圖標(biāo)記的項(xiàng)目具有相同的結(jié)構(gòu)特征和相同的功能。在已說(shuō)明這樣的項(xiàng)目的功能和/或結(jié)構(gòu)的情況下，在【具體實(shí)施方式】中沒(méi)有必要對(duì)其進(jìn)行重復(fù)說(shuō)明。
[0024]
【具體實(shí)施方式】
[0025]圖1圖示了用于重新映射深度圖MAP101的圖像處理設(shè)備100。深度圖MAP包括深度像素的二維(2D)陣列，其中每個(gè)深度像素具有深度值和在2D陣列中的位置。圖像處理設(shè)備100包括布置成執(zhí)行若干功能110、120和130的處理單元199。選擇功能SELFUN 110使用選擇準(zhǔn)則CRT 111來(lái)選擇深度圖MAP中的深度像素