用于子像素渲染的圖像處理設(shè)備和方法
【專利摘要】本發(fā)明提供了一種用于子像素渲染的圖像處理設(shè)備和方法。具有圖像處理設(shè)備的顯示器可基于與觀看者的眼睛的位置相關(guān)的子像素的位置來調(diào)整子像素的像素值。圖像處理設(shè)備可基于子像素的調(diào)整后的像素值在光場顯示器上顯示三維(3D)圖像。
【專利說明】用于子像素渲染的圖像處理設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001]一個或更多個實(shí)施例涉及一種圖像處理設(shè)備和方法，更具體地，涉及一種可基于觀看者的觀看位置來渲染子像素的圖像處理設(shè)備和方法。
【背景技術(shù)】
[0002]用于針對人類的雙眼顯示不同圖像的三維(3D)圖像顯示設(shè)備分為立體型和自動立體型。立體顯示器通過時間劃分、使用偏振光的圖像劃分、用于區(qū)分原色的波長的波長劃分等來過濾期望的圖像，以便當(dāng)觀看者佩戴著合理設(shè)計的眼鏡時向觀看者提供3D效果，其中，所述眼鏡針對每只眼睛相似地過濾不同地劃分的圖像。立體顯示器可實(shí)現(xiàn)使用視差屏障或柱狀透鏡在預(yù)定空間內(nèi)觀看到不同的圖像。自動立體顯示器具有減輕必須佩戴立體顯示器所必需的眼鏡的不便的優(yōu)點(diǎn)。
[0003]具體地，自動立體顯示器可包括例如再現(xiàn)呈現(xiàn)多個底層光場的一般光場的顯示器，以制造3D效果，其中，所述多個底層光場選擇性地再現(xiàn)可從不同的方向觀察到的不同的圖像。

【發(fā)明內(nèi)容】

[0004]技術(shù)方案
[0005]在一個或更多個實(shí)施例中提供了一種顯示設(shè)備，所述顯示設(shè)備包括:光場確定單元，用于基于觀看將要顯示在顯示器上的內(nèi)容的觀看者的確定的位置來認(rèn)定將要呈現(xiàn)給觀看者的第一光場；光場轉(zhuǎn)換單兀，用于基于觀看者的確定的位置將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
[0006]在一個或更多個實(shí)施例中提供了一種顯示設(shè)備，所述顯示設(shè)備包括:代表射線確定單元，用于基于觀看者的確定的位置來確定包括在顯示器中的子像素的代表射線；參考信息確定單元，用于基于觀看者的確定的位置和子像素的確定的位置來確定參考信息；子像素渲染單元，用于基于代表射線和參考信息來調(diào)整子像素的信號電平。
[0007]在一個或更多個實(shí)施例中提供了一種顯示方法，所述顯示方法包括:基于觀看將要顯示在顯示器上的內(nèi)容的觀看者的確定的位置來認(rèn)定將要呈現(xiàn)給觀看者的第一光場；基于觀看者的確定的位置將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
[0008]在一個或更多個實(shí)施例中提供了一種顯示方法，所述顯示方法包括:基于觀看者的確定的位置來確定包括在顯示器中的子像素的代表射線；基于觀看者的確定的位置和子像素的確定的位置來確定參考信息；基于代表射線和參考信息來調(diào)整子像素的信號電平。
[0009]實(shí)施例的其它方面部分將在隨后的描述中被闡述，部分將從所述描述中變得清楚，或者可通過本公開的實(shí)踐而被獲知。
【專利附圖】

【附圖說明】[0010]通過下面結(jié)合附圖的對實(shí)施例的描述，這些和/或其它方面將變得清楚和更加易于理解，其中:
[0011]圖1示出根據(jù)一個或更多個實(shí)施例的顯示設(shè)備；
[0012]圖2示出根據(jù)一個或更多個實(shí)施例的圖像處理設(shè)備；
[0013]圖3示出根據(jù)一個或更多個實(shí)施例的圖像處理設(shè)備；
[0014]圖4示出根據(jù)一個或更多個實(shí)施例的例如顯示設(shè)備的沿多個方向輸出射線的光場顯不器；
[0015]圖5示出根據(jù)一個或更多個實(shí)施例的從顯示器的兩個3D像素沿水平方向輸出且由觀看者的左眼和右眼觀察到的射線的示例；
[0016]圖6示出根據(jù)一個或更多個實(shí)施例的從顯示器的單個3D像素沿水平方向輸出且由觀看者的左眼和右眼觀察到的射線的示例；
[0017]圖7示出根據(jù)一個或更多個實(shí)施例的使用包括在顯示器中的3D像素例如沿水平方向調(diào)整子像素的信號電平的處理；
[0018]圖8示出根據(jù)一個或更多個實(shí)施例的從子像素輸出的中心射線穿過光學(xué)過濾器的結(jié)果；
[0019]圖9示出根據(jù)一個或更多個實(shí)施例的在從子像素輸出的中心射線之中確定代表射線的處理；
[0020]圖10示出根據(jù)一個或更多個實(shí)施例的例如沿水平方向調(diào)整顯示器的子像素的信號電平的處理；
[0021]圖1la至圖1ld示出根據(jù)一個或更多個實(shí)施例的指示子像素的響應(yīng)特性的可視度圖；
[0022]圖12示出根據(jù)一個或更多個實(shí)施例的指示針對諸如圖1la至圖1ld的可視度圖中的每種顏色的呈現(xiàn)相同顏色的子像素的最大值的可視度圖；
[0023]圖13示出根據(jù)一個或更多個實(shí)施例的指示諸如圖1la至圖1ld的可視度圖中的呈現(xiàn)相同顏色的子像素之中相鄰的子像素的總和的最大值的可視度圖；
[0024]圖14示出根據(jù)一個或更多個實(shí)施例的諸如圖12和圖13的可視度圖中的綠色子像素的建模圖；
[0025]圖15示出根據(jù)一個或更多個實(shí)施例的通過諸如圖14的建模圖的建模圖來調(diào)整子像素的信號電平的處理；
[0026]圖16示出根據(jù)一個或更多個實(shí)施例的圖像處理方法；
[0027]圖17示出根據(jù)一個或更多個實(shí)施例的圖像處理方法。
【具體實(shí)施方式】
[0028]現(xiàn)在將詳細(xì)參照在附圖中示出的一個或更多個實(shí)施例，其中，相似的標(biāo)號始終指示相似的元件。就此而言，本發(fā)明的實(shí)施例可按照許多不同形式實(shí)施，并且不應(yīng)該被解釋為限于在此闡述的實(shí)施例。因此，以下僅通過參照附圖來描述實(shí)施例，以解釋本發(fā)明的各方面。
[0029]雖然自動立體顯示器提供了如上面所討論的超過立體顯示器的優(yōu)點(diǎn)，但是發(fā)現(xiàn)存在對于當(dāng)縮減自動立體顯示器中的分辨率的下降時可拓寬觀看區(qū)域的渲染技術(shù)、以及對于沿所有方向(例如，向前、向后、向左、向右、向上、向下)提供天然視差的選擇性的期望。還發(fā)現(xiàn)自動立體顯示器也具有可能需要大量視點(diǎn)(view)來拓寬觀看區(qū)域且在確定的最佳觀看距離之外的位置圖像的質(zhì)量會顯著降低的缺點(diǎn)。
[0030]在此，在一個或更多個實(shí)施例中，除了可顯示至少三個視點(diǎn)圖像(僅作為示例)的多視點(diǎn)顯示器之外，顯示器可包括可再現(xiàn)一般光場的整體成像顯示器。與從對象的表面上的一點(diǎn)沿各個方向產(chǎn)生或反射光的真實(shí)對象相似，整體成像顯示器可利用時差產(chǎn)生圖像沿各個方向再現(xiàn)光射線或光場。整體成像顯示器可使自然圖像能夠在沒有觀看距離限制的情況下被觀看。然而，發(fā)現(xiàn)存在可包括當(dāng)無法確保足夠量的沿各個方向的光時整體成像顯示器可能無法顯示立體的缺點(diǎn)，且發(fā)現(xiàn)當(dāng)方向之間的間隔不足夠窄時可能難以提供自然運(yùn)動視差。
[0031]還發(fā)現(xiàn)確保觀看區(qū)域可能出現(xiàn)問題。在一個或更多個實(shí)施例中，射線之間的間隔或者射線的場可小于或等于用于在整體成像顯示器中顯示自然場景的預(yù)定水平。然而，發(fā)現(xiàn)用于拓寬觀看區(qū)域和保持間隔的射線數(shù)量的增加可導(dǎo)致分辨率的降低。發(fā)現(xiàn)由于分別沿不同方向顯示不同視點(diǎn)的射線可被在最佳觀看距離或位置外的位置上的觀看者觀看到，多視點(diǎn)顯示器會具有顯示圖像的局限。關(guān)于射線的數(shù)量，還發(fā)現(xiàn)多視點(diǎn)顯示器還會具有下述問題:會期望射線之間的狹窄間隔以用于平滑的圖像轉(zhuǎn)換，且擴(kuò)展觀看區(qū)域所需的若干條射線會導(dǎo)致分辨率的降低。
[0032]圖1示出根據(jù)一個或更多個實(shí)施例的顯示設(shè)備。所述顯示設(shè)備可包括例如傳感器101、圖像處理設(shè)備102和光場顯示器103。在此，根據(jù)實(shí)施例，由于描述的元件可被包括在單個封裝中，也可均與一個或更多個描述的元件被包括在多個封裝中，因此術(shù)語設(shè)備應(yīng)該被認(rèn)為可與術(shù)語系統(tǒng)互換。因此，傳感器101可在圖像處理設(shè)備102內(nèi)部或外部，且相似地，圖像處理設(shè)備102可在包括光場顯示器103的顯示設(shè)備內(nèi)部或外部。
[0033]簡要地，關(guān)于光場顯示器103且僅作為示例，圖4展示了這樣的光場顯示器的輸出。圖4示出根據(jù)一個或更多個實(shí)施例的沿多個方向輸出射線的光場顯示器。以下，將在圖1的討論內(nèi)簡要地討論圖4-圖6和圖8-圖9，以提供下文中所使用的術(shù)語的另外的解釋。
[0034]參照圖4，光場顯示器可包括包括多個子像素的面板401。來自各個子像素的光射線可穿過光學(xué)過濾器402。在此，光學(xué)過濾器402可包括柱狀透鏡、視差屏障、微透鏡陣列等。然而，下面的一個或更多個實(shí)施例不局限于光學(xué)過濾器402，并且可包括可被布置在顯示器前面或后面的所有類型的光學(xué)過濾器。在這種情況下，光學(xué)過濾器402可包括3D像素，從多個子像素中的每一個子像素輸出的射線403穿過所述3D像素。也就是說，當(dāng)光學(xué)過濾器402被布置在顯示器前面時，從多個子像素中的每一個子像素輸出的至少一條射線403可進(jìn)入單個3D像素。在實(shí)施例中，僅作為示例，可存在諸如圖8中所示的多個子像素，所述多個子像素的射線被配置為穿過單個3D像素。從多個子像素中的每一個輸出的射線403可通過3D像素發(fā)射。當(dāng)光學(xué)過濾器403被布置在顯示器后面時，從單個3D像素輸出的射線可進(jìn)入至少一個子像素。穿過至少一個子像素中的每一個的射線可沿預(yù)定方向向外發(fā)射。通過上面描述的處理，光場顯示器可呈現(xiàn)3D圖像。
[0035]例如，射線403可沿15X4個方向從包括在光學(xué)過濾器402中單個3D像素輸出。也就是說，單個3D像素可沿多個方向輸出具有不同信息的射線403，且3D像素可呈現(xiàn)3D空間中的點(diǎn)。在實(shí)施例中，僅作為示例，15個水平方向可呈現(xiàn)15個沿水平方向的潛在的視差，且4個垂直方向可呈現(xiàn)4個沿垂直方向的潛在的視差，注意替代物同樣可用。潛在地，在該實(shí)施例中，可由針對該示例單個3D像素的射線403中的每一條射線投影不同的視差圖像。
[0036]如圖4中所示，射線403可實(shí)際上具有隨著行進(jìn)而擴(kuò)展的各個寬度，使得來自一個或更多個射線403的顯示光前面的空間中的特定點(diǎn)可分別被觀察到具有各個潛在強(qiáng)度，這取決于在哪里進(jìn)行觀察。在光學(xué)過濾器402是柱狀透鏡陣列的示例中，如果具有特定亮度的子像素產(chǎn)生的光束入射到柱狀透鏡陣列的特定透鏡的中心位置，則光束可穿過具有最小的折射的特定透鏡，且保持的亮度比子像素產(chǎn)生的光束入射到特定透鏡的周邊位置的情況下大，其中，特定透鏡的周邊位置會更大幅度地折射子像素產(chǎn)生的光束，且具有較小的保持的亮度。在一個或更多個實(shí)施例中，諸如當(dāng)光學(xué)過濾器是柱狀透鏡時，具有所述最小的亮度損失和/或最小的折射的(僅作為示例)穿過/通過光學(xué)過濾器402的子像素產(chǎn)生的光束可被稱為中心射線，其中，所述光束可代表從子像素輸出的最大光強(qiáng)度。
[0037]此外，使用僅作為示例的圖8，例如當(dāng)光學(xué)過濾器802是柱狀透鏡陣列時，存在示出的可從每個子像素穿過光學(xué)過濾器802的各個透鏡的多個中心射線。在實(shí)施例中，僅作為示例，圖8示出可存在一組12個子像素，所述子像素的光束均可被認(rèn)為能夠穿過特定的單個透鏡或者由光學(xué)透鏡802呈現(xiàn)的3D像素產(chǎn)生中心射線。僅作為示例，圖8還示出來自不同的透鏡或3D像素的中心射線即使是相同的顏色，也可取決于其產(chǎn)生的各個亮度水平而潛在地可被觀看者的眼睛觀察到，這可被用于一個或更多個實(shí)施例，諸如在針對圖15的討論中。
[0038]因此，參照回圖4，可基于光學(xué)過濾器402來預(yù)定從包括在顯示器的面板401中的子像素輸出的中心射線的方向。根據(jù)子像素和可觀察到中心射線的觀看者的眼睛的相對位置，可在方向被預(yù)定的中央射線之中確定哪個中心射線與認(rèn)定的參考信息相同或最相似。在圖4中，當(dāng)從包括在顯示器的面板401中的子像素輸出的中心射線穿過光學(xué)過濾器402的3D像素時，通過3D像素輸出的中心射線中的一條射線可被確定為參考射線或代表射線。在這種情況下,在圖4中，穿過3D像素的射線403可被稱為中心射線，且射線403中的一條射線可基于來自射線403的可觀察光與觀看者的眼睛的最終接近被確定為代表射線。隨后可基于確定的代表射線來執(zhí)行子像素的渲染。
[0039]簡要地，且僅作為另一示例，圖5示出根據(jù)一個或更多個實(shí)施例的從顯示器的兩個3D像素沿水平方向輸出且由觀看者的左眼和右眼觀察到的射線的示例。
[0040]參照圖5，當(dāng)觀看者使用左眼502和右眼503觀看3D空間中的對象501時，3D像素504和3D像素505可產(chǎn)生沿多個方向的射線。通過3D像素504和3D像素505輸出的射線可被左眼502和右眼503觀看到。
[0041 ] 事實(shí)上，在通過3D像素504和3D像素505輸出的射線中，直接到達(dá)觀看者的左眼502或到達(dá)最鄰近于左眼502的位置的射線可被確定為3D像素504和3D像素505的針對左眼502的代表射線。相反地，在通過3D像素504和3D像素505輸出的射線中，直接到達(dá)觀看者的右眼503或到達(dá)最鄰近于右眼503的位置的射線可被確定為3D像素504和3D像素505的針對右眼503的代表射線。
[0042]作為進(jìn)一步的示出，且僅作為示例，圖8示出根據(jù)一個或更多個實(shí)施例的來自子像素的中心射線穿過光學(xué)過濾器的結(jié)果。[0043]參照圖8，中心射線可從包括在顯示器中的子像素801輸出。在從子像素801輸出的射線之中，中心射線可沿可由觀看者觀察到最大亮度水平的方向輸出。也就是說，例如穿過光學(xué)過濾器802的中心射線的最終行進(jìn)方向可指示針對子像素801的最佳觀看方向。在這種情況下，可從子像素801輸出至少一條中心射線。
[0044]從子像素801輸出的中心射線可穿過光學(xué)過濾器802 (例如視差屏障或柱狀透鏡)。穿過光學(xué)透鏡802的中心射線最終可被觀看者的眼睛803感知到。以上描述的3D像素可與中心射線穿過光學(xué)處理器802的位置相應(yīng)。
[0045]在這種情況下，基于觀看者的眼睛的位置，圖像處理設(shè)備可在從包括在顯示器中的子像素801輸出的中心射線之中確定與可由觀看者感知到的中心射線相應(yīng)的代表射線。在此，可基于例如由光學(xué)過濾器802預(yù)確定的預(yù)定中心射線方向再次從中心射線之中確定代表射線。當(dāng)光學(xué)過濾器802未被提供時，可在從子像素801輸出的中心射線之中確定代表射線。可針對每個子像素單獨(dú)地確定代表射線。
[0046]作為進(jìn)一步的示出，且僅作為示例，圖9示出根據(jù)一個或更多個實(shí)施例的在從子像素輸出的中心射線之中確定代表射線的處理。
[0047]參照圖9，可從一組子像素之中的紅色子像素901輸出多個中心射線。在這種情況下，當(dāng)輸出的中心射線穿過顯示器的光學(xué)過濾器802時，可確定所述中心射線行進(jìn)的各個方向。在從紅色子像素901輸出三個中心射線al、a2和a3的情況下，確定將會被觀看者感知到的中心射線可與中心射線a2相應(yīng)。也就是說，從子像素輸出的特定中心射線可被觀察者的眼睛803觀察到，而從子像素輸出的其它中心射線不會被觀看者的眼睛903觀察到。
[0048]如提到的，雖然中心射線a2無法直接到達(dá)觀看者的眼睛903，但是由于中心射線a2的寬度，觀看者可感知到中心射線a2。此外，中心射線可與指示可被觀看者感知到最大亮度水平的射線相應(yīng)，使得雖然中心射線無法直接到達(dá)觀看者的眼睛903，但是由于中心射線的由此產(chǎn)生的寬度，來自具有降低的水平的亮度的中心射線的一些光實(shí)際上可到達(dá)觀看者的眼睛903。
[0049]因此，圖像處理設(shè)備可將中心射線a2認(rèn)定為針對紅色子像素901的代表射線。在此，隨著觀看者移動，觀看者的眼睛903的位置改變，紅色子像素901的代表射線可再次改變。通過上述處理，圖像處理設(shè)備可實(shí)時追蹤觀看者的眼睛903的位置，并且可基于追蹤到的觀看者的眼睛903的位置來針對包括在顯示器中的所有子像素確定代表射線。
[0050]參照回圖1，傳感器101可測量通過光場顯示器103觀看內(nèi)容的觀看者的眼睛的位置。在這種情況下，傳感器101可包括可通過捕捉觀看者的眼睛來計算三維(3D)空間坐標(biāo)(x, Y, ζ)的相機(jī)。例如，相機(jī)可包括至少一個可見光波段相機(jī)、至少一個紅外相機(jī)和至少一個深度相機(jī)中的至少一個。在這種情況下，相機(jī)可被插入光場顯示器103中，或者可與光場顯示器103連接或分離。在一個或更多個實(shí)施例中，作為檢測眼睛的3D位置的結(jié)果，當(dāng)眼睛被確定為處于可檢測到的空間中時，通過自適應(yīng)地渲染在該3D位置將會觀看到的子像素，3D圖像可被自由觀看，而不論最佳觀看距離如何。此外，可防止由與期望的射線鄰近的射線導(dǎo)致的射線之間的串?dāng)_。
[0051]圖像處理設(shè)備102可產(chǎn)生為了 3D效果呈現(xiàn)將要例如同時顯示給觀看者的不同的圖像的多個像素信號/值，和/或調(diào)整所述產(chǎn)生的多個像素信號/值以呈現(xiàn)與適合檢測到的觀看者的眼睛的位置的光場相應(yīng)的視點(diǎn)圖像。[0052]僅作為示例，進(jìn)一步參考圖9，圖像處理設(shè)備可基于代表射線a2和與連接觀看者的眼睛903和紅色子像素901的虛擬線相應(yīng)的參考信息904之間的差值來渲染紅色子像素901。具體的，可基于參考射線a2的角度和連接觀看者的眼睛903和紅色子像素901的虛擬線的角度之間的差值來調(diào)整紅色子像素901的像素值。
[0053]簡要地，且僅作為示例，圖6示出根據(jù)一個或更多個實(shí)施例的從顯示器的單個3D像素沿水平方向輸出且由觀看者的左眼和右眼觀察到的射線。
[0054]參照圖6，當(dāng)從單個3D像素601輸出射線時，與視差主區(qū)域相應(yīng)的部分射線的位置可到達(dá)觀看者的左眼602。在這種情況下，與視差子區(qū)域相應(yīng)的部分射線可達(dá)到觀看者的右眼603。也就是說，圖6示出具有狹窄的主區(qū)域的顯示設(shè)備，使得通過使用與可被形成為重復(fù)地鄰近主區(qū)域的視差子區(qū)域相應(yīng)的射線配置光場，實(shí)際視角得以拓寬。圖6還示出在從單個3D像素601輸出的射線之中，哪條射線可被觀看者的左眼602觀看到，哪條射線可被觀看者的右眼603觀看到。當(dāng)針對包括在顯示器中的所有3D像素確定了可被觀看者的雙眼觀看到的射線時，圖像處理設(shè)備可確定圖像可被觀看者的雙眼觀看到。
[0055]換句話說，當(dāng)觀看者的眼睛的位置被確定時，圖像處理設(shè)備可認(rèn)定觀看者的眼睛可觀看到的射線。圖像處理設(shè)備可基于眼睛的位置對觀看者的眼睛可觀看到的射線指定合適的像素值，以使得觀看者能夠觀看到自然的3D圖像。
[0056]參照回圖1，圖像處理設(shè)備102可認(rèn)定哪個光場與觀看者的眼睛的位置相應(yīng)(即，哪個視點(diǎn)圖像應(yīng)該被觀看者觀看到)。圖像處理設(shè)備102可將認(rèn)定的光場轉(zhuǎn)換為可由光場顯示器103呈現(xiàn)的光場。在這種情況下，轉(zhuǎn)換光場的處理可指示將要執(zhí)行的采樣處理，以使用較少的可由光場顯示器103呈現(xiàn)的光場來呈現(xiàn)較多的光場。在此，在這里的一個或更多個實(shí)施例中討論的調(diào)整多個像素信號/值的處理可被合并到產(chǎn)生多個像素信號/值的步驟中，或者可在對將由光場顯示器顯示以產(chǎn)生3D效果的不同圖像進(jìn)行考慮之前或之后實(shí)現(xiàn)。
[0057]最終,轉(zhuǎn)換的光場可被顯不在光場顯不器103上。觀看者可通過光場顯不器103來觀看期望的3D圖像，而不論觀看位置如何。也就是說，即使觀看者移動到另一位置并觀看內(nèi)容，圖像處理設(shè)備102也可顯示適合觀看者的改變的位置的視點(diǎn)圖像。
[0058]圖2示出根據(jù)一個或更多個實(shí)施例的諸如圖像處理設(shè)備102的圖像處理設(shè)備200。
[0059]參照圖2，圖像處理設(shè)備200可包括例如光場確定單元201和光場轉(zhuǎn)換單元202。
[0060]光場確定單元201可認(rèn)定哪個光場與觀看者的眼睛的位置相應(yīng)(即，哪個視點(diǎn)圖像應(yīng)該被觀看者觀看到)。例如，光場確定單元201可使用代表射線來認(rèn)定光場，其中，如上面所討論的，代表射線與從包括在顯示器中的子像素輸出的中心射線之中基于觀看者的眼睛的位置可被觀看者感知到的中心射線相應(yīng)。在一個或更多個實(shí)施例中，例如，可由諸如圖1的傳感器101對觀看者的眼睛的位置進(jìn)行連續(xù)追蹤。
[0061]因此，中心射線可指示從子像素輸出的射線之中沿用于最佳觀看的方向的射線，且代表射線可指示子像素的中心射線之中基于用戶的位置最有可能被觀看者的眼睛觀察到的中心射線(即使觀看者移動到另一位置)。也就是說，從子像素輸出的至少一條中心射線可指示針對基于觀看者的眼睛的位置確定的代表射線的候選組。當(dāng)由布置在顯示器前面的光學(xué)過濾器預(yù)定了從子像素輸出的中心射線的方向時，可從沿預(yù)定方向輸出的中心射線之中選擇代表射線。當(dāng)基于從布置在顯示器后面的光學(xué)過濾器產(chǎn)生的射線的方向?qū)淖酉袼剌敵龅闹行纳渚€確定為沿至少一個方向輸出時，可從與所述至少一個方向相應(yīng)的中心射線之中選擇代表射線。
[0062]因此，光場轉(zhuǎn)換單元202可基于觀看者的眼睛的位置將認(rèn)定的光場轉(zhuǎn)換為與將要顯示在顯示器上內(nèi)容相關(guān)聯(lián)的光場。例如，光場轉(zhuǎn)換單元202可基于包括在顯示器中的子像素的位置和觀看者的眼睛的位置來產(chǎn)生子像素的參考信息。光場轉(zhuǎn)換單元202可使用參考信息和代表射線將認(rèn)定的光場轉(zhuǎn)換為與將要顯不在顯不器上的內(nèi)容相關(guān)聯(lián)的光場。由于將要物理地顯示在顯示器上的光場會受到限制，因此可期望可由觀看者感知到的認(rèn)定的光場被轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。在這種情況下，可從將要顯示在多個視點(diǎn)圖像中的內(nèi)容之中選擇顯示的光場。
[0063]具體地，光場轉(zhuǎn)換單元202可基于代表射線的角度和參考信息的角度之間的確定的差值，將認(rèn)定的光場轉(zhuǎn)換為與將要顯不在顯不器上的內(nèi)容相關(guān)聯(lián)的光場，其中，參考信息與連接子像素的位置和觀看者的眼睛的位置的虛擬線相應(yīng)。在這種情況下，子像素的參考信息可包括基于子像素的水平位置和觀看者的眼睛的水平位置的參考信息。此外，子像素的參考信息可包括基于子像素的垂直位置和觀看者的眼睛的垂直位置的參考信息。
[0064]在這種情況下，可通過渲染子像素來執(zhí)行轉(zhuǎn)換認(rèn)定的光場的處理。具體地，可基于參考信息的角度和代表射線的角度來執(zhí)行轉(zhuǎn)換認(rèn)定的光場的處理。光場轉(zhuǎn)換單元202可通過將虛擬線的角度和代表射線的角度之間的差值應(yīng)用于針對每個像素設(shè)置的可視度信息來調(diào)整每個像素的亮度值。可參照觀看者的左眼和右眼兩者來實(shí)時執(zhí)行轉(zhuǎn)換認(rèn)定的光場的處理。
[0065]具體地，代表射線可指示從子像素輸出的中心射線中的一條射線，且指示亮度的最佳水平。當(dāng)基于子像素的位置和觀看者的眼睛的位置的參考信息與代表射線不相應(yīng)時，光場轉(zhuǎn)換單元202可通過增大與每個子像素的最大亮度值相應(yīng)的可視度信息來渲染子像素。也就是說，當(dāng)參考信息和代表射線之間的差值增大時，光場轉(zhuǎn)換單元202可增加子像素的亮度值。在此，實(shí)際信號值可在有限的范圍之內(nèi)增加。因此，當(dāng)子像素的亮度值增加至最大值時，
[0066]子像素的原本的亮度值可被保持。當(dāng)子像素的亮度值被增加至小于最大值的值時，子像素的亮度值可與子像素的亮度值被增加至最大值的情況成比例減小。
[0067]根據(jù)一個或更多個實(shí)施例，圖像處理設(shè)備200可校正當(dāng)?shù)谝还鈭霰晦D(zhuǎn)換為有限數(shù)量的第二光場時會發(fā)生的色彩失真。此外，圖像處理設(shè)備200可校正屏幕上的亮度不均勻，例如，亮度摩爾紋以及類似的當(dāng)?shù)谝还鈭霰晦D(zhuǎn)換為有限數(shù)量的第二光場時會發(fā)生的亮度不均勻。
[0068]圖3示出根據(jù)一個或更多個實(shí)施例的圖像處理設(shè)備300。
[0069]參照圖3，圖像處理設(shè)備300可包括例如代表射線確定單元301、參考信息確定單元302和子像素渲染單元303。
[0070]代表射線確定單元301可基于觀看者的眼睛的位置來確定包括在顯示器中的子像素的代表射線。例如，代表射線確定單元301可基于觀看者的眼睛的位置，將通過光學(xué)過濾器從子像素輸出的中心射線之中可被觀看者感知到的中心射線確定為代表射線。
[0071]在此，中心射線可從子像素通過光學(xué)過濾器沿指示亮度的最大水平的方向輸出。代表射線可包括與從子像素的位置到觀看者的眼睛的位置的方向相同或最為鄰近的中心射線(即，即使不是直接入射到觀看者的眼睛，也是最有可能被觀看者的眼睛觀察到的子像素的中心射線)。
[0072]參考信息確定單元302可基于子像素的位置和觀看者的眼睛的位置來確定參考信息。例如，參考信息確定單元302可將連接子像素的位置和觀看者的眼睛的位置的虛擬線確定為參考信息。在這種情況下，參考信息確定單元302可使用連接子像素的水平位置和觀看者的眼睛的水平位置虛擬線、連接子像素的垂直位置和觀看者的眼睛的垂直位置的虛擬線中的至少一個來確定參考信息。
[0073]子像素渲染單元303可使用代表射線和參考信息來調(diào)整子像素的信號電平。例如，子像素渲染單元303可基于代表射線的角度和參考信息的角度之間的差值來調(diào)整子像素的信號電平。子像素渲染單元303可通過將代表射線的角度和與參考信息相應(yīng)的虛擬線的角度之間的差值應(yīng)用于針對每個子像素設(shè)置的可視度信息來調(diào)整每個子像素的亮度值。可針對觀看者的左眼和右眼兩者實(shí)時執(zhí)行渲染子像素的處理。
[0074]子像素渲染單元303可基于通過子像素顯示的內(nèi)容是否可被觀看者的左眼和右眼中的至少一個觀看到，針對觀看者的左眼或觀看者的右眼調(diào)整子像素的信號電平。
[0075]圖7示出根據(jù)一 個或更多個實(shí)施例的使用例如包括在顯示器中的3D像素沿水平方向調(diào)整子像素的信號電平的處理。
[0076]以下將基于3D像素更加詳細(xì)地描述考慮到觀看者的眼睛的位置來渲染子像素的處理。在這種情況下，渲染子像素的處理可指示調(diào)整子像素的信號電平的處理。
[0077]在圖7中，可假設(shè)3D像素701的坐標(biāo)與(?, O)相應(yīng)，且觀看者的右眼702的坐標(biāo)與(x，z)相應(yīng)。在這種情況下，可基于例如下面的等式I來確定連接3D像素701和右眼702的直線的梯度。
[0078]等式1:
X-a,
[0079](Xi =-

Z
[0080]在等式I中，a i指示連接3D像素701和右眼702的直線的梯度。圖像處理設(shè)備可使用梯度a i在從3D像素701輸出的射線之中確定觀看者的右眼702可觀看到的射線。圖像處理設(shè)備可確定呈現(xiàn)觀看者的右眼702可觀看到的射線的子像素。此外，圖像處理設(shè)備可基于梯度a i和可被觀看者的右眼702觀看到的射線的梯度之間差值來確定對子像素指定的值。在此，從3D像素701輸出的射線可以是指示3D像素701中的最大亮度水平的保持的中心射線，并且因此可被觀看者的右眼702觀看到的中心射線可被稱為3D像素701的代表射線。
[0081]圖像處理設(shè)備可基于例如下面的等式2來確定輸出與梯度a i最相似的射線的子
像素Pi。
[0082]等式2:
[0083]Pi = ^(Qi)
[0084]在等式2中，fp指示確定子像素Pi的函數(shù)。
[0085]可基于例如下面的等式3來確定由于梯度a i和從位于(?, O)的3D像素輸出的射線的梯度之間的差值而發(fā)生的調(diào)整子像素Pi的信號電平的程度。
[0086]等式3:
[0087]rj = fr ( a j)[0088]可基于例如下面的等式4來確定基于梯度a i的顯示在顯示器上的內(nèi)容Ci0
[0089]等式4:
[0090]Ci = Kai)
[0091]實(shí)際上，基于例如下面的等式5，可基于調(diào)整子像素Pi的信號電平的程度&以及與子像素Pi在內(nèi)容Ci中的位置相應(yīng)的值來確定包括在顯示器中的子像素Pi。
[0092]等式5:
[0093]V (Pi) = Vc (Ci, Pi, Ti)
[0094]針對顯示器僅可呈現(xiàn)水平視差的情況提供以上描述。當(dāng)顯示器中呈現(xiàn)水平視差和垂直視差兩者時，相似的描述可被應(yīng)用如下。
[0095]可基于例如下面的等式6來確定連接沿垂直方向布置的顯示器中位于(0，bi)位置的3D像素和觀看者的右眼702的直線的梯度β it)
[0096]等式6: [0097]
【權(quán)利要求】
1.一種顯示設(shè)備，包括: 光場確定單元，用于基于觀看將要顯示在顯示器上的內(nèi)容的觀看者的確定的位置來認(rèn)定將要呈現(xiàn)給觀看者的第一光場； 光場轉(zhuǎn)換單元，用于基于觀看者的確定的位置將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
2.如權(quán)利要求1所述的設(shè)備，其中，光場確定單元基于觀看者的確定的位置、基于與從包括在顯示器中的子像素輸出的中心射線之中被觀看者感知到的中心射線相應(yīng)的代表射線來認(rèn)定第一光場。
3.如權(quán)利要求2所述的設(shè)備，其中，中心射線是從子像素沿分別引起輸出最大亮度水平的方向輸出的射線，且代表射線是中心射線之中被確定為最能夠入射到觀看者的確定的位置的中心射線。
4.如權(quán)利要求2所述的設(shè)備，其中，光場轉(zhuǎn)換單元基于子像素的位置和觀看者的位置產(chǎn)生包括在顯不器中的子像素的參考信息，并基于參考信息和代表射線將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
5.如權(quán)利要求4所述的設(shè)備，其中，子像素的參考信息包括基于子像素的水平位置和觀看者的眼睛的水平位置的參考信息以及基于子像素的垂直位置和觀看者的眼睛的垂直位置的參考信息中的至少一個。
6.如權(quán)利要求2所述的設(shè)備，其中，子像素的中心射線通過布置在顯示器前面的光學(xué)過濾器沿預(yù)定方向輸 出。
7.如權(quán)利要求2所述的設(shè)備，其中，子像素的中心射線被預(yù)定為沿基于從布置在顯示器后面的光學(xué)過濾器產(chǎn)生的射線的方向的至少一個方向輸出，以便從與所述至少一個方向相應(yīng)的中心射線之中選擇代表射線。
8.如權(quán)利要求1所述的設(shè)備，其中，光場轉(zhuǎn)換單元通過增大基于針對每個子像素設(shè)置的最大亮度值的可視度信息來渲染子像素。
9.如權(quán)利要求1所述的設(shè)備，其中，當(dāng)子像素的亮度值增大到最大值時，光場轉(zhuǎn)換單元保持子像素的原始亮度值，或者當(dāng)子像素的亮度值增大到小于最大值的值時，光場轉(zhuǎn)換單元與子像素的亮度值增大到最大值的情況成比例地降低子像素的亮度值。
10.一種顯不設(shè)備，包括: 代表射線確定單元，用于基于觀看者的確定的位置來確定包括在顯示器中的子像素的代表射線； 參考信息確定單元，用于基于觀看者的確定的位置和子像素的確定的位置來確定參考信息； 子像素渲染單元，用于基于代表射線和參考信息來調(diào)整子像素的信號電平。
11.如權(quán)利要求10所述的設(shè)備，其中，代表射線確定單元基于觀看者的確定的位置將從子像素通過光學(xué)過濾器輸出的中心射線之中將會被觀看者感知到的中心射線確定為子像素的代表射線。
12.如權(quán)利要求11所述的設(shè)備，其中，中心射線是從子像素沿分別引起輸出最大亮度水平的方向輸出的射線，且代表射線是中心射線之中被確定為最能夠入射到觀看者的確定的位置的中心射線。
13.如權(quán)利要求10所述的設(shè)備，其中，參考信息確定單元將連接子像素的位置和觀看者的確定的位置的虛擬線確定為參考信息。
14.如權(quán)利要求13所述的設(shè)備，其中，參考信息確定單元使用連接子像素的水平位置和觀看者的眼睛的水平位置的虛擬線以及連接子像素的垂直位置和觀看者的眼睛的垂直位置的虛擬線中的至少一個來確定參考信息。
15.如權(quán)利要求10所述的設(shè)備，其中，子像素渲染單元基于代表射線的角度和參考信息的角度之間的差值來調(diào)整子像素的信號電平。
16.如權(quán)利要求10所述的設(shè)備，其中，子像素渲染單元基于通過子像素顯示的內(nèi)容是否能夠被觀看者的左眼和右眼中的至少一個觀看到來針對觀看者的左眼或觀看者的右眼調(diào)整子像素的信號電平。
17.如權(quán)利要求10所述的設(shè)備，其中，子像素的中心射線通過布置在顯示器前面的光學(xué)過濾器沿預(yù)定方向輸出。
18.如權(quán)利要求10所述的設(shè)備，其中，子像素的中心射線被預(yù)定為沿基于從布置在顯示器后面的光學(xué) 過濾器產(chǎn)生的射線的方向的至少一個方向輸出，以便從與所述至少一個方向相應(yīng)的中心射線之中選擇代表射線。
19.如權(quán)利要求10所述的設(shè)備，其中，子像素渲染單元通過增大與針對每個子像素設(shè)置的最大亮度值相應(yīng)的可視度信息來渲染子像素。
20.如權(quán)利要求10所述的設(shè)備，其中，當(dāng)子像素的亮度值增大到最大值時，子像素渲染單元保持子像素的原始亮度值，或者當(dāng)子像素的亮度值增大到小于最大值的值時，子像素渲染單元與子像素的亮度值增大到最大值的情況成比例地降低子像素的亮度值。
21.如權(quán)利要求10所述的設(shè)備，還包括: 光場確定單元，用于基于觀看將要顯示在顯示器上的內(nèi)容的觀看者的確定的位置來認(rèn)定將要呈現(xiàn)給觀看者的第一光場； 光場轉(zhuǎn)換單元，用于基于觀看者的確定的位置將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
22.—種顯不方法,包括: 基于觀看將要顯示在顯示器上的內(nèi)容的觀看者的確定的位置來認(rèn)定將要呈現(xiàn)給觀看者的第一光場； 基于觀看者的確定的位置將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
23.如權(quán)利要求22所述的方法，其中，確定的步驟包括:基于觀看者的確定的位置、基于與從包括在顯示器中的子像素輸出的中心射線之中被觀看者感知到的中心射線相應(yīng)的代表射線來認(rèn)定第一光場。
24.如權(quán)利要求23所述的方法，其中，中心射線從子像素沿分別引起輸出最大亮度水平的方向輸出，且代表射線是中心射線之中被確定為最能夠入射到觀看者的確定的位置的中心射線。
25.如權(quán)利要求23所述的方法，其中，轉(zhuǎn)換的步驟包括:基于子像素的位置和觀看者的位置產(chǎn)生包括在顯示器中的子像素的參考信息； 基于參考信息和代表射線將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯不在顯不器上的內(nèi)容相關(guān)聯(lián)的光場。
26.如權(quán)利要求25所述的方法，其中，子像素的參考信息包括基于子像素的水平位置和觀看者的眼睛的水平位置的參考信息以及基于子像素的垂直位置和觀看者的眼睛的垂直位置的參考信息中的至少一個。
27.如權(quán)利要求22所述的方法，其中，子像素的中心射線通過布置在顯示器前面的光學(xué)過濾器沿預(yù)定方向輸出。
28.如權(quán)利要求22所述的方法，其中，子像素的中心射線被預(yù)定為沿基于從布置在顯示器后面的光學(xué)過濾器產(chǎn)生的射線的方向的至少一個方向輸出，以便從與所述至少一個方向相應(yīng)的中心射線之中選擇代表射線。
29.如權(quán)利要求22所述的方法，其中，轉(zhuǎn)換的步驟包括:通過增大基于針對每個子像素設(shè)置的最大亮度值的可視度信息來渲染子像素。
30.如權(quán)利要求22所述的設(shè)備，其中，轉(zhuǎn)換的步驟包括:當(dāng)子像素的亮度值增大到最大值時，光場轉(zhuǎn)換單元保持子像素的原始亮度值；或者當(dāng)子像素的亮度值增大到小于最大值的值時，光場轉(zhuǎn)換單元與子像素的亮度值增大到最大值的情況成比例地降低子像素的亮度值。
31.一種顯不方法，包括: 基于觀看者的確定的位置來確定包括在顯示器中的子像素的代表射線； 基于觀看者的確定的位置和子像素的確定的位置來確定參考信息； 基于代表射線和參考信息來調(diào)整子像素的信號電平。
32.如權(quán)利要求31所述的方法，其中，確定代表射線的步驟包括:基于觀看者的確定的位置將從子像素通過光學(xué)過濾器輸出的中心射線之中將會被觀看者感知到的中心射線確定為子像素的代表射線。
33.如權(quán)利要求32所述的方法，其中，中心射線是從子像素沿分別引起輸出最大亮度水平的方向輸出的射線，且代表射線是中心射線之中被確定為最能夠入射到觀看者的確定的位置的中心射線。
34.如權(quán)利要求31所述的方法，其中，確定參考信息的步驟包括:將連接子像素的位置和觀看者的確定的位置的虛擬線確定為參考信息。
35.如權(quán)利要求34所述的方法，其中，確定參考信息的步驟包括:使用連接子像素的水平位置和觀看者的眼睛的水平位置的虛擬線以及連接子像素的垂直位置和觀看者的眼睛的垂直位置的虛擬線中的至少一個來確定參考信息。
36.如權(quán)利要求31所述的方法，其中，調(diào)整的步驟包括:基于代表射線的角度和參考信息的角度之間的差值來調(diào)整子像素的信號電平。
37.如權(quán)利要求32所述的方法，其中，調(diào)整的步驟包括:基于通過子像素顯示的內(nèi)容是否能夠被觀看者的左眼和右眼中的至少一個觀看到來針對觀看者的左眼或觀看者的右眼調(diào)整子像素的信號電平。
38.如權(quán)利要求31所述的方法，其中，子像素的中心射線通過布置在顯示器前面的光學(xué)過濾器沿預(yù)定方向輸出。
39.如權(quán)利要求31所述的方法，其中，子像素的中心射線被預(yù)定為沿基于從布置在顯示器后面的光學(xué)過濾器產(chǎn)生的射線的方向的至少一個方向輸出，以便從與所述至少一個方向相應(yīng)的中心射線之中選擇代表射線。
40.如權(quán)利要求31所述的方法，其中，調(diào)整的步驟包括:通過增大與針對每個子像素設(shè)置的最大亮度值相應(yīng)的可視度信息來渲染子像素。
41.如權(quán)利要求31所述的方法，其中，調(diào)整的步驟包括:當(dāng)子像素的亮度值增大到最大值時，保持子像素的原始亮度值；或者當(dāng)子像素的亮度值增大到小于最大值的值時，與子像素的亮度值增大到最大值的情況成比例地降低子像素的亮度值。
42.如權(quán)利要求31所述的方法，還包括: 基于觀看將要顯示在顯示器上的內(nèi)容的觀看者的確定的位置來認(rèn)定將要呈現(xiàn)給觀看者的第一光場； 基于觀看者的確定的位置將認(rèn)定的第一光場轉(zhuǎn)換為與將要顯示在顯示器上的內(nèi)容相關(guān)聯(lián)的光場。
43.一種非暫時性計算機(jī)可讀介質(zhì)，包括:用于控制用于實(shí)現(xiàn)權(quán)利要求22的方法的至少一個處理裝置的計算機(jī)可讀代碼。
44.一種非暫時性計算機(jī)可讀介質(zhì)，包括:用于控制用于實(shí)現(xiàn)權(quán)利要求31的方法的至少一個處理裝置的計 算機(jī)可讀代碼。
【文檔編號】G06T15/00GK103988504SQ201280058535
【公開日】2014年8月13日 申請日期:2012年11月30日 優(yōu)先權(quán)日:2011年11月30日
【發(fā)明者】樸柱容, 南東暻 申請人:三星電子株式會社