專利名稱：3d顯示中的串?dāng)_消除的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及3D顯示。本發(fā)明尤其涉及用于消除3D顯示中的串?dāng)_的機(jī)制。
背景技術(shù)：
存在多種可用來向觀看者顯示3D圖像的技術(shù)。這些技術(shù)向觀看者的左眼和右眼呈現(xiàn)單獨(dú)的圖像。這些圖像可以呈現(xiàn)相同場景或?qū)ο蟮牟煌暯?。觀看者的腦合成并解釋左眼圖像和右眼圖像，以感知具有深度感的單個3D圖像。在3D顯示中使用的一些非限制性的示例技術(shù)包括-對左眼圖像和右眼圖像進(jìn)行不同的偏振。觀看者可以佩戴偏振眼鏡，以阻擋右眼觀看左眼圖像，并阻擋左眼觀看右眼圖像；·-以交替的序列顯示左眼圖像和右眼圖像。觀看者可以通過包含受控光閘的眼鏡觀看圖像，該受控光閘隨著圖像的顯示及時地打開和關(guān)閉；-提供具有不同光譜特性的左眼圖像和右眼圖像的技術(shù)。觀看者可以通過包含光譜過濾器的眼鏡觀看圖像，該光譜過濾器使一個圖像通過，但是阻擋另一個圖像；-將不同的圖像導(dǎo)向空間中的不同位置(使得觀看者的眼鏡看到不同的圖像)的多視點(diǎn)(multiview)技術(shù)。3D成像顯示的一個問題是在觀看者的左眼和右眼觀看的圖像之間可能存在串?dāng)_(crosstalk).可以將這些圖像稱為“視圖”?！按?dāng)_”是希望僅由觀看者的一只眼睛觀看的光在某種程度上對觀看者的另一只眼睛也可見的情況。串?dāng)_可能由于很多種原因中的任意一種而發(fā)生。例如，佩戴在觀看者的眼睛中的每個眼睛上的光閘、偏振器或?yàn)V光器不能完全阻止來自希望僅由一只眼睛觀看的圖像的光到達(dá)另一只眼睛，反之亦然。串?dāng)_可能使觀看者在3D圖像中感知到“重影(ghosting)”、看到雙重圖像的效果，尤其是在圖像中的高對比度邊緣處。串?dāng)_可能大大降低感知到的3D圖像質(zhì)量，并且可能妨礙觀看者融合圖像和感知深度。串?dāng)_可能在左眼圖像中的像素非常亮而相應(yīng)的右眼圖像中的相應(yīng)像素非常暗的情況、或在右眼圖像中的像素非常亮而相應(yīng)的左眼圖像中的相應(yīng)像素非常暗的情況下尤其明顯。存在對于用來消除3D顯示中的串?dāng)_的有效并且實(shí)用的方式的需要。

發(fā)明內(nèi)容
提供本概要以介紹下面在說明書中進(jìn)一步描述的簡要形式的本發(fā)明的代表性概念和各方面的選擇。本概要不旨在標(biāo)識要求保護(hù)的主題的關(guān)鍵特征或者必要特征，也不旨在以任何可能限制要求保護(hù)的主題的范圍的方式使用。本發(fā)明提供與對3D圖像進(jìn)行處理和顯示相關(guān)的方法和設(shè)備。一個方面涉及3D圖像中的串?dāng)_的消除?？梢砸苑椒ê驮O(shè)備實(shí)施本發(fā)明。該設(shè)備可以包括獨(dú)立設(shè)備，或者可以與顯示器或用于向顯示器傳送3D圖像數(shù)據(jù)的通道中的其它設(shè)備集成。
本發(fā)明的一個示例方面提供一種用于準(zhǔn)備3D圖像的方法，該3D圖像包括用于顯示的左眼視圖和右眼視圖。該示例方法包括基于圖像數(shù)據(jù)確定為允許完全減法串?dāng)_消除而增大像素值的量；確定該量的最大值；以及通過以基于最大值而在量上進(jìn)行的加法或按比例確定(scaling)中的一個或兩個，全局地增大像素值。3D圖像可以包括視頻序列中的視頻幀。在一些實(shí)施例中，該方法包括對該最大值或者根據(jù)該最大值得出或與該最大值相關(guān)的量應(yīng)用時間低通濾波器。另一示例方面提供一種用于準(zhǔn)備3D視頻圖像的方法，該3D視頻圖像包括用于顯示的一系列幀中的每個幀的左眼視圖和右眼視圖。該方法包括識別視圖中的像素值過小而不允許完全減法串?dāng)_消除的局部區(qū)域；確定加到局部區(qū)域的亮度補(bǔ)丁的強(qiáng)度；對強(qiáng)度進(jìn)行時間低通濾波；以及根據(jù)經(jīng)時間濾波的強(qiáng)度生成亮度補(bǔ)丁。在一些實(shí)施例中，該方法包括對于亮度補(bǔ)丁中的每個，生成用于另一視圖的相應(yīng)亮度補(bǔ)丁。生成相應(yīng)亮度補(bǔ)丁可以包括定位亮度補(bǔ)丁的中心；進(jìn)行塊匹配以估計(jì)視圖之間與局部區(qū)域的中心相對應(yīng)的位置處的不一致；以及將在X方向上偏移了所估計(jì)的不一致·的亮度補(bǔ)丁的副本加到另一視圖上。另一方面提供一種用于準(zhǔn)備3D視頻圖像的示例方法，該3D視頻圖像包括用于顯示的一系列幀中的每個幀的左眼視圖和右眼視圖。該方法包括識別視圖中的像素值過小而不允許完全減法串?dāng)_消除的局部區(qū)域；確定加到局部區(qū)域的亮度補(bǔ)丁的強(qiáng)度；鏈接跨視頻圖像的幀的相應(yīng)局部區(qū)域以提供一個或更多個系列的鏈接局部區(qū)域；識別這些系列的相應(yīng)鏈接局部區(qū)域中的一個系列的第一鏈接局部區(qū)域；以及將與第一鏈接局部區(qū)域相對應(yīng)的淡入亮度補(bǔ)丁加到與第一鏈接局部區(qū)域相對應(yīng)的幀之前的一系列幀。本發(fā)明的其它方面提供如這里所描述的設(shè)備。該設(shè)備可以被配置為和/或能夠進(jìn)行操作以執(zhí)行根據(jù)本發(fā)明的方法。本發(fā)明的其它方面提供計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括承載計(jì)算機(jī)可讀指令的非易失性介質(zhì)，當(dāng)由一個或更多個數(shù)據(jù)處理器執(zhí)行該計(jì)算機(jī)可讀指令時，使數(shù)據(jù)處理器執(zhí)行根據(jù)本發(fā)明的方法。除了上面描述的示例性方面和實(shí)施例之外，通過參考附圖并且通過研究下面的詳細(xì)描述，其它方面和實(shí)施例將變得明顯。


附圖示出了非限制性示例實(shí)施例。圖I是根據(jù)本發(fā)明的一個示例實(shí)施例的方法的流程圖。圖2是示出根據(jù)本發(fā)明的示例實(shí)施例的設(shè)備的框圖。圖3是根據(jù)本發(fā)明的另一示例實(shí)施例的方法的流程圖。圖4是示出亮度補(bǔ)丁(luminance patch)的平滑空間變化的曲線圖。圖5A、5B和5C示出與被添加以增加一個視圖中的底空間(foot room)的亮度補(bǔ)丁相對應(yīng)的另一視圖中的亮度補(bǔ)丁的添加。圖6是示出用于對圖像數(shù)據(jù)進(jìn)行處理以添加淡入(fade in)和淡出(fade out)的亮度補(bǔ)丁以用于減小閃爍的示例方法的流程圖。圖7A和7B對比單獨(dú)針對視頻的每一幀進(jìn)行串?dāng)_消除以及使用于輔助串?dāng)_消除而被添加的亮度隨著時間淡入和淡出的處理。在全部附圖和說明書中，使用相似的附圖標(biāo)記來指示相似的元素。
具體實(shí)施例方式在下面的描述中，敘述具體細(xì)節(jié)以向本領(lǐng)域技術(shù)人員提供更透徹的理解。然而，不示出或詳細(xì)描述公知的元素，以避免不必要地使本公開不明確。相應(yīng)地，說明書和附圖應(yīng)當(dāng)被視為說明性的，而不是限制性的。

例如，假設(shè)左眼圖像對于某顏色通道具有由\(x，y)給出的像素值，而相應(yīng)的右眼圖像對于該顏色通道的具有由VK(x，y)給出像素值。在不對串?dāng)_進(jìn)行補(bǔ)償?shù)那闆r下，觀看者將在觀看者的左眼中看到在該顏色通道中具有如下像素值的圖像Vl(x, y)+AelX Ve(x, y)，而觀看者將在觀看者的右眼中看到在該顏色通道中具有如下像素值的圖像=VliUyhAuiXtUyh這里，A&是來自右眼圖像的光的到達(dá)觀看者左眼的部分，Ale是來自左眼圖像的光的到達(dá)觀看者右眼的部分。在許多情況下，Aui=A1^可以通過對圖像數(shù)據(jù)進(jìn)行處理以減去估計(jì)的串?dāng)_，來消除串?dāng)_。例如，可以基于來自另一視圖中的相應(yīng)像素的預(yù)期串?dāng)_的量，來減小每個像素的強(qiáng)度。因此，在顯示圖像時，串?dāng)_應(yīng)當(dāng)被消除掉，觀看者應(yīng)當(dāng)像沒有串?dāng)_一樣地感知左圖像和右圖像。然而，由于負(fù)光強(qiáng)度是不可能的，因此完全減法串?dāng)_消除需要每個圖像中的像素的值大于預(yù)期串?dāng)_。尤其在一個視圖中的像素暗而另一個視圖中的相應(yīng)像素非常亮的情況下，不會如此?？紤]下面的示例，其中，圖像數(shù)據(jù)針對每個像素包括8位伽馬編碼的紅、綠和藍(lán)值?？梢匀缦碌貙⑦@些值轉(zhuǎn)換為線性值
(I Y1Hn = TTTT
J⑴其中，I8是針對一個顏色通道(紅、綠或藍(lán))的8位伽馬編碼輸入，Y是顯示器伽馬值(通常為2. 2)，而Ilin是按比例確定到0到I的范圍的該顏色通道的線性值。可以將各自包括來自另一個視圖的串?dāng)_的到達(dá)觀看者的眼睛的視圖建模為IL, eye — Il, lin+clR, Iin ⑵以及Ir, eye — Ir, lin+C !L, Iin ⑶其中，IudP IK,lin分別是輸入的左視圖和右視圖的線性值。IL,eye IK,@分別是曝露給觀看者的左眼和右眼的線性值，而c是串?dāng)_的量。減法串?dāng)_消除通過以下方式起作用修正所顯示的左視圖和右視圖的圖像數(shù)據(jù)，使得在加入了串?dāng)_之后，到達(dá)觀看者的信號將是希望的圖像(沒有串?dāng)_)。這例如可以通過這樣的方式進(jìn)行——對圖像數(shù)據(jù)進(jìn)行處理，使得對顯示器的輸入的值由下式給出
I -Cl
J_ 1 LJm U RMfIL’proc ~ I 2
I - C⑷以及
I -cl
j_ 1 RMn viLJitiiRjf0c - " 5
I-C-(5)
其中，下標(biāo)proc指示經(jīng)處理的輸入值。通過將式(4)和(5)的經(jīng)處理的值代替式
(2)和(3)中的Iiuin，可以驗(yàn)證輸出k-和IK，6y6將是沒有串?dāng)_的原始圖像。注意，應(yīng)用式(4)和(5)主要涉及在對所有項(xiàng)應(yīng)用小增益因子l/(l-c2)的情況下，從左圖像中減去右圖像，以及從右圖像中減去左圖像。除非滿足下面兩個條件，否則式(4)或(5)將產(chǎn)生負(fù)結(jié)果
權(quán)利要求
1.一種用于準(zhǔn)備3D圖像的方法，所述3D圖像包括用于顯示的左眼視圖和右眼視圖，所述方法包括 基于圖像數(shù)據(jù)確定為允許完全減法串?dāng)_消除而增大像素值的量； 確定所述量的最大值； 通過以基于所述最大值而在量上進(jìn)行的加法或按比例確定中的一個或兩個，全局地增大所述像素值。
2.根據(jù)權(quán)利要求I所述的方法，其中，所述3D圖像包括視頻序列中的視頻幀，并且所述方法包括對所述最大值或根據(jù)所述最大值得出的量應(yīng)用時間低通濾波器。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述時間濾波器包括雙向?yàn)V波器。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的方法，其中，確定增大像素值的量包括計(jì)算 Rk (x, y) = max (O, F(Ic；K(x, y))-Is；K(x, y)) 其中，Rk是增大位于位置(x，y)的像素的量，F(xiàn)O是串?dāng)_函數(shù)，IS，K是所述圖像的一個視圖中的像素的顏色通道K的值，Iqk是所述圖像的另一視圖中的像素的顏色通道K的值。
5.根據(jù)權(quán)利要求4所述的方法，其中，F(xiàn)O包括與串?dāng)_因子c相乘。
6.根據(jù)權(quán)利要求I至5中任一項(xiàng)所述的方法，其中，全局地增大所述像素值包括對具有單獨(dú)的亮度通道和色度通道的顏色模型中的亮度通道中的值全局地進(jìn)行按比例確定和/或相加。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述顏色模型包括YCbCr顏色模型。
8.一種用于準(zhǔn)備3D視頻圖像的方法，所述3D視頻圖像包括用于顯示的一系列幀中的每個幀的左眼視圖和右眼視圖，所述方法包括 識別視圖中的像素值過小而不允許完全減法串?dāng)_消除的局部區(qū)域； 確定加到所述局部區(qū)域的亮度補(bǔ)丁的強(qiáng)度； 對所述強(qiáng)度進(jìn)行時間低通濾波；以及 根據(jù)經(jīng)時間濾波的強(qiáng)度生成所述亮度補(bǔ)丁。
9.根據(jù)權(quán)利要求8所述的方法，包括對于所述亮度補(bǔ)丁中的每個，生成用于另一視圖的相應(yīng)亮度補(bǔ)丁。
10.根據(jù)權(quán)利要求9所述的方法，其中，生成相應(yīng)亮度補(bǔ)丁包括定位所述亮度補(bǔ)丁的中心；進(jìn)行塊匹配以估計(jì)所述視圖之間在與所述局部區(qū)域的中心相對應(yīng)的位置處的不一致；以及把在X方向上偏移了所估計(jì)的不一致的所述亮度補(bǔ)丁的副本加到所述另一視圖上。
11.根據(jù)權(quán)利要求8所述的方法，包括對與所述亮度補(bǔ)丁相關(guān)聯(lián)的最后一幀之后的幀中的每個亮度補(bǔ)丁加上淡出。
12.根據(jù)權(quán)利要求8所述的方法，包括對與所述亮度補(bǔ)丁相關(guān)聯(lián)的第一幀之前的幀中的每個亮度補(bǔ)丁加上淡入。
13.根據(jù)權(quán)利要求10所述的方法，其中，使用16個像素或更大的塊大小進(jìn)行所述塊匹配。
14.一種用于準(zhǔn)備3D視頻圖像的方法，所述3D視頻圖像包括用于顯示的一系列幀中的每個幀的左眼視圖和右眼視圖，所述方法包括 識別視圖中的像素值過小而不允許完全減法串?dāng)_消除的局部區(qū)域；確定加到所述局部區(qū)域的亮度補(bǔ)丁的強(qiáng)度； 鏈接跨所述視頻圖像的幀的相應(yīng)局部區(qū)域，以提供一個或更多個系列的鏈接局部區(qū)域； 識別所述系列的相應(yīng)鏈接局部區(qū)域中的一個系列的第一鏈接局部區(qū)域；以及把與所述第一鏈接局部區(qū)域相對應(yīng)的淡入亮度補(bǔ)丁加到與所述第一鏈接局部區(qū)域相對應(yīng)的幀之前的一系列幀上。
15.根據(jù)權(quán)利要求14所述的方法，包括識別所述系列的相應(yīng)鏈接局部區(qū)域中的所述一個系列的最后的鏈接局部區(qū)域；以及把與所述最后的鏈接局部區(qū)域相對應(yīng)的淡出亮度補(bǔ)丁加到接在與所述最后的鏈接局部區(qū)域相對應(yīng)的幀之后的一系列幀上。
16.一種非易失性介質(zhì)，其承載一組計(jì)算機(jī)可讀信號，所述計(jì)算機(jī)可讀信號包括指令，當(dāng)被數(shù)據(jù)處理器執(zhí)行時，所述指令使所述數(shù)據(jù)處理器執(zhí)行根據(jù)權(quán)利要求I至15中任一項(xiàng)所述的用于準(zhǔn)備3D圖像的方法。
17.一種用于準(zhǔn)備3D圖像的設(shè)備，所述3D圖像包括用于顯示的左眼視圖和右眼視圖，所述設(shè)備包括 用于對圖像數(shù)據(jù)進(jìn)行處理以確定為允許完全減法串?dāng)_消除而增大像素值的量的裝置； 用于確定所述量的最大值的裝置； 用于通過以基于所述最大值而在量上進(jìn)行的加法或按比例確定中的一個或兩個來全局地增大所述像素值的裝置。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中，所述3D圖像包括視頻序列中的視頻幀，并且所述設(shè)備包括用于對所述最大值或根據(jù)所述最大值得出的量應(yīng)用時間低通濾波器的裝置。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中，所述時間濾波器包括雙向?yàn)V波器。
20.根據(jù)權(quán)利要求17至19中任一項(xiàng)所述的設(shè)備，其中，用于對圖像數(shù)據(jù)進(jìn)行處理以確定增大像素值的量的裝置被配置為計(jì)算 Rk (x, y) = max (O, F(Ic；K(x, y))-Is；K(x, y)) 其中，Rk是增大位于位置(x，y)的像素的量，F(xiàn)O是串?dāng)_函數(shù)，IS，K是所述圖像的一個視圖中的像素的顏色通道K的值，Iqk是所述圖像的另一視圖中的像素的顏色通道K的值。
21.根據(jù)權(quán)利要求20所述的設(shè)備，其中，F(xiàn)O包括與串?dāng)_因子c相乘。
22.根據(jù)權(quán)利要求17至21中任一項(xiàng)所述的設(shè)備，其中，用于全局地增大所述像素值的裝置包括用于對具有單獨(dú)的亮度通道和色度通道的顏色模型中的亮度通道中的值全局地進(jìn)行按比例確定和/或相加的裝置。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其中，所述顏色模型包括YCbCr顏色模型。
24.一種用于準(zhǔn)備3D視頻圖像的設(shè)備，所述3D視頻圖像包括用于顯示的一系列幀中的每個幀的左眼視圖和右眼視圖，所述設(shè)備包括 用于識別視圖中的像素值過小而不允許完全減法串?dāng)_消除的局部區(qū)域的裝置； 用于確定加到所述局部區(qū)域的亮度補(bǔ)丁的強(qiáng)度的裝置； 用于對所述強(qiáng)度進(jìn)行時間低通濾波的裝置；以及 用于根據(jù)經(jīng)時間濾波的強(qiáng)度生成所述亮度補(bǔ)丁的裝置。
25.根據(jù)權(quán)利要求23所述的設(shè)備，其中，用于生成所述亮度補(bǔ)丁的裝置被配置為對于所述亮度補(bǔ)丁中的每個生成用于另一視圖的相應(yīng)亮度補(bǔ)丁。
26.根據(jù)權(quán)利要求24所述的設(shè)備，包括用于定位所述亮度補(bǔ)丁的中心的裝置；用于進(jìn)行塊匹配以估計(jì)所述視圖之間與所述亮度補(bǔ)丁的中心相對應(yīng)的位置處的不一致的裝置；以及用于把在X方向上偏移了所估計(jì)的不一致的所述亮度補(bǔ)丁的副本加到對所述另一視圖上的裝置。
27.根據(jù)權(quán)利要求24所述的設(shè)備，包括用于對與所述亮度補(bǔ)丁相關(guān)聯(lián)的最后一幀之后的幀中的每個亮度補(bǔ)丁加上淡出的裝置。
28.根據(jù)權(quán)利要求24所述的設(shè)備，包括用于對與所述亮度補(bǔ)丁相關(guān)聯(lián)的第一幀之前的幀中的每個亮度補(bǔ)丁加上淡入的裝置。
29.一種用于準(zhǔn)備3D視頻圖像的設(shè)備，所述3D視頻圖像包括用于顯示的一系列幀中的每個幀的左眼視圖和右眼視圖，所述設(shè)備包括 用于識別視圖中的像素值過小而不能進(jìn)行完全減法串?dāng)_消除的局部區(qū)域的裝置； 用于確定加到所述局部區(qū)域的亮度補(bǔ)丁的強(qiáng)度的裝置； 用于鏈接跨所述視頻圖像的幀的相應(yīng)局部區(qū)域以提供一個或更多個系列的鏈接局部區(qū)域的裝置； 用于識別所述系列的相應(yīng)鏈接局部區(qū)域中的一個系列的第一鏈接局部區(qū)域的裝置；以及 用于把與所述第一鏈接局部區(qū)域相對應(yīng)的淡入亮度補(bǔ)丁加到與所述第一鏈接局部區(qū)域相對應(yīng)的幀之前的一系列幀上的裝置。
30.根據(jù)權(quán)利要求29所述的設(shè)備，包括用于識別所述系列的相應(yīng)鏈接局部區(qū)域中的所述一個系列中的最后的鏈接局部區(qū)域并且把與所述最后的鏈接局部區(qū)域相對應(yīng)的淡出亮度補(bǔ)丁加到接在與所述最后的鏈接局部區(qū)域相對應(yīng)的幀之后的一系列幀上的裝置。
31.設(shè)置有根據(jù)權(quán)利要求17至30中任一項(xiàng)所述的設(shè)備的顯示器、圖形卡、3D投影儀、視頻播放器、媒體播放器或3D數(shù)字影院投影儀。
全文摘要
提供了用于準(zhǔn)備3D圖像的方法和設(shè)備。進(jìn)行圖像處理，以便于在3D圖像中進(jìn)行減法串?dāng)_消除。在全局實(shí)施例中，對像素值進(jìn)行壓縮，以提供足夠的底空間用于減法串?dāng)_消除。對于視頻圖像，壓縮的程度可以在幀與幀之間改變?？梢詰?yīng)用時間濾波以降低閃爍。在局部實(shí)施例中，對局部區(qū)域添加亮度和/或在局部區(qū)域中進(jìn)行壓縮，以便于進(jìn)行更完全的減法串?dāng)_消除。添加的亮度或者壓縮的量可以與局部區(qū)域的需要匹配?？梢允固砑拥牧炼群?或壓縮在時間上平滑地或者在空間上平滑地改變。顯示器和其它設(shè)備可以被構(gòu)造為執(zhí)行進(jìn)行部分或完全串?dāng)_消除的方法。
文檔編號H04N13/00GK102790899SQ20121014747
公開日2012年11月21日 申請日期2012年5月11日 優(yōu)先權(quán)日2011年5月14日
發(fā)明者帕諾斯·納西奧普洛斯, 科林·R·杜特 申請人:杜比實(shí)驗(yàn)室特許公司