使用主動亞像素渲染的高密度多視點(diǎn)圖像顯示系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種使用主動亞像素渲染的高密度多視點(diǎn)圖像顯示系統(tǒng)及方法。所述圖像顯示系統(tǒng)可使用基于用戶的左眼/右眼的位置而變化的視點(diǎn)，來關(guān)于像素單位中的視點(diǎn)圖像執(zhí)行渲染。
【專利說明】使用主動亞像素渲染的高密度多視點(diǎn)圖像顯示系統(tǒng)及方法
[0001]本申請是向中國知識產(chǎn)權(quán)局提交的申請日為2010年11月04日的標(biāo)題為“使用主動亞像素渲染的高密度多視點(diǎn)圖像顯示系統(tǒng)及方法”的第201010543468.7號申請的分案申請。

【技術(shù)領(lǐng)域】
[0002]一個或多個實施例涉及一種使用主動(active)亞像素渲染的高密度多視點(diǎn)圖像顯示系統(tǒng)及方法。

【背景技術(shù)】
[0003]為了有效地實現(xiàn)三維(3D)圖像，具有彼此不同的視點(diǎn)的圖像通?？赡苄枰謩e通過用戶的左眼/右眼觀看。為了在不使用濾波器的情況下實現(xiàn)該3D圖像(例如，無需用戶帶上濾光鏡來觀看3D圖像)，所述3D圖像可能需要基于視點(diǎn)而被空間地劃分，這被稱為自動立體顯示。視點(diǎn)可表示產(chǎn)生的光的觀看方向，從所述觀看方向可看到3D圖像的特定視圖，從而當(dāng)總體地觀看所述圖像時，沿不同視點(diǎn)提供的圖像可彼此不同。這里，例如，因為投射到各個眼睛的光來自沿不同視點(diǎn)投射/觀看的不同圖像，所以左眼可觀看到與右眼不同的圖像。對于相同對象的兩幅不同圖像的總體觀看從而產(chǎn)生3D效果。
[0004]因此，在自動立體顯示中，可使用光學(xué)機(jī)構(gòu)空間地劃分3D圖像，并顯示所述3D圖像。這里，作為光學(xué)機(jī)構(gòu)，可分別使用光學(xué)透鏡或光柵(optical barrier) 0作為光學(xué)透鏡，可使用雙凸透鏡(lenticular lens),通過所述雙凸透鏡,可僅在/從特定方向顯示/觀看各個像素圖像。此外，由于布置在顯示器前表面的物理狹縫(slit)，使用光柵從特定方向僅能觀看到特定像素。在使用透鏡或光柵進(jìn)行自動立體顯示的情況下，可在不同方向基本地顯示單獨(dú)的左視點(diǎn)圖像和右視點(diǎn)圖像(即，兩個視點(diǎn)圖像)，從而導(dǎo)致最佳地點(diǎn)(sweet spot)的產(chǎn)生，在所述最佳地點(diǎn)，兩幅圖像在例如在各自的左眼和右眼的空間上覆蓋。所述最佳地點(diǎn)可具有窄的寬度，并可使用視距和視角來表現(xiàn)。這里，視距可由透鏡的節(jié)距(pitch)或光柵的狹縫確定，視角可基于可表現(xiàn)的視點(diǎn)的數(shù)量。在該示例中，增加顯示視點(diǎn)的數(shù)量來加寬視角的方案可被稱為自動立體多視點(diǎn)顯示。
[0005]可使用所述多視點(diǎn)顯示來創(chuàng)建更寬的3D觀看區(qū)，然而，該方法會導(dǎo)致顯示分辨率的降低。例如，當(dāng)使用能夠顯示全高清(HD)圖像的具有1920X1080像素分辨率的面板來顯示具有九個視點(diǎn)的圖像時，因為沿選擇視點(diǎn)的表現(xiàn)的圖像的分辨率在長度和寬度上分別減少到1/3，所以各個視點(diǎn)圖像的分辨率可能實際僅為640X360。多視點(diǎn)顯示的這種分辨率的降低會明顯地降低3D圖像的質(zhì)量，這會使3D效果失真，造成觀看疲勞。為了實現(xiàn)高質(zhì)量的自動立體顯示，在觀看區(qū)具有較少限制以及較低觀看疲勞的3D圖像顯示會非常重要，因此，在保持高分辨率的同時可能需要顯示具有更多數(shù)量的視點(diǎn)的圖像。然而，這并不容易實現(xiàn)，因為顯示兩個視點(diǎn)的自動立體顯示以及多視點(diǎn)顯示具有上述矛盾的特征。
[0006]此外，多視點(diǎn)顯示可比顯示兩個視點(diǎn)的自動立體顯示提供更寬的視角，然而，這會導(dǎo)致僅在有限視角和特定距離內(nèi)無失真地觀看3D圖像。當(dāng)用戶斜著腦袋或以特定角度躺著觀看顯示器時，多視點(diǎn)顯示也不能使3D圖像被滿意地觀看。與現(xiàn)有的2D顯示相比，這些觀看限制會是明顯的缺點(diǎn)，因此，作為3D顯示，多視點(diǎn)顯示將在商業(yè)化方面遇到困難。


【發(fā)明內(nèi)容】

[0007]根據(jù)一個或多個實施例的一個方面，可提供一種圖像顯示系統(tǒng)，所述圖像顯示系統(tǒng)包括:位置感測單元，感測用戶或用戶的一個或兩個眼睛的位置；視點(diǎn)計算單元，計算與感測的位置對應(yīng)的視點(diǎn)；渲染單元，設(shè)置亞像素以具有來自亞像素的視點(diǎn)圖像的顏色信息，所述亞像素為具有多個亞像素的三維(3D)像素的亞像素，所述亞像素的視點(diǎn)和所述亞像素的視點(diǎn)圖像被確定為與計算的視點(diǎn)對應(yīng)，以及設(shè)置3D像素的至少一個其他亞像素以具有所述亞像素的視點(diǎn)圖像的附加顏色信息，所述至少一個其他亞像素具有與所述亞像素的視點(diǎn)不同的視點(diǎn)；顯示單元，通過所述亞像素顯示顏色信息以及通過所述至少一個其他亞像素顯示附加顏色信息。
[0008]在該示例中，渲染單元可將所述至少一個其他亞像素的顏色分量值轉(zhuǎn)換為與亞像素的視點(diǎn)圖像對應(yīng)的顏色分量值，以便所述亞像素的視點(diǎn)圖像的顏色信息的顏色分量與所述亞像素的視點(diǎn)圖像的附加顏色信息的顏色分量不同。
[0009]此外，顯示單元可顯示三維(3D)像素，按以下方式配置顯示單元:針對相同視點(diǎn)，通過所述3D像素的第一亞像素和另一 3D像素的第一亞像素的光軸以基于沿所述3D像素的垂直方向的N個像素的大小與沿所述3D像素的水平方向的M個亞像素的大小的比率獲得的角度傾斜，其中，N和M是互質(zhì)的整數(shù)。
[0010]此外，視點(diǎn)計算單元計算感測的位置與至少一個3D像素對應(yīng)的方向角度，并比較可用于所述至少一個3D像素的所有視點(diǎn)圖像的各個方向角度與計算的方向角度之間的差，從而將具有最小差的視點(diǎn)圖像的視點(diǎn)確定為計算的視點(diǎn)。
[0011]根據(jù)一個或多個實施例的另一方面，還可提供一種圖像顯示系統(tǒng)，包括:觀看位置驗證單元，基于感測的位置來確定用戶是否在三維(3D)圖像顯示器的最佳觀看位置。
[0012]根據(jù)一個或多個實施例的另一方面，可提供一種圖像顯示方法，包括:感測用戶或用戶的一個或兩個眼睛的位置；計算與感測的位置對應(yīng)的視點(diǎn)；渲染用于三維(3D)像素的亞像素的顏色信息，所述渲染步驟包括設(shè)置3D像素的亞像素來具有來自所述亞像素的視點(diǎn)圖像的顏色信息，所述亞像素的視點(diǎn)和所述亞像素的視點(diǎn)圖像被確定為與計算的視點(diǎn)對應(yīng)，以及設(shè)置3D像素的至少一個其他亞像素以具有所述亞像素的視點(diǎn)圖像的附加顏色信息，所述至少一個其他亞像素具有與所述亞像素的視點(diǎn)不同的視點(diǎn)；通過所述亞像素顯示顏色信息以及通過所述至少一個其他亞像素顯示附加顏色信息。
[0013]根據(jù)一個或多個實施例的另一方面，可提供一種圖像顯示方法，所述方法包括:基于感測的空間位置來確定用戶是否在三維(3D)圖像顯示器的最佳觀看位置。
[0014]根據(jù)一個或多個實施例的另一方面，可提供一種3D顯示系統(tǒng)，所述系統(tǒng)包括:視點(diǎn)計算單元，基于確定的用戶相對于顯示器的可變方位來計算左視點(diǎn)，并基于確定的用戶相對于顯示器的方位來計算右視點(diǎn)；渲染單元，基于左視點(diǎn)來產(chǎn)生左視點(diǎn)圖像，基于右視點(diǎn)來產(chǎn)生右視點(diǎn)圖像，并通過主動亞像素渲染，從具有與左視點(diǎn)不同的視點(diǎn)的一個或多個亞像素產(chǎn)生至少一個附加左視點(diǎn)圖像，和/或從具有與右視點(diǎn)不同的視點(diǎn)的亞像素產(chǎn)生至少一個附加右視點(diǎn)圖像，其中，產(chǎn)生的附加右視點(diǎn)圖像和附加左視點(diǎn)圖像中的至少一個、產(chǎn)生的左視點(diǎn)圖像、產(chǎn)生的右視點(diǎn)圖像的同步顯示將用于包括多個亞像素的三維(3D)像素的3D圖像提供給用戶。
[0015]根據(jù)一個或多個實施例的另一方面，可提供一種3D顯示方法，所述方法包括:基于確定的用戶相對于顯示器的可變方位來計算左視點(diǎn)，并基于確定的用戶相對于顯示器的方位來計算右視點(diǎn)；基于左視點(diǎn)來產(chǎn)生左視點(diǎn)圖像，基于右視點(diǎn)來產(chǎn)生右視點(diǎn)圖像，并通過主動亞像素渲染，從具有與左視點(diǎn)不同的視點(diǎn)的一個或多個亞像素產(chǎn)生至少一個附加左視點(diǎn)圖像，和/或從具有與右視點(diǎn)不同的視點(diǎn)的亞像素產(chǎn)生至少一個附加右視點(diǎn)圖像，其中，產(chǎn)生的附加右視點(diǎn)圖像和附加左視點(diǎn)圖像中的至少一個、產(chǎn)生的左視點(diǎn)圖像、產(chǎn)生的右視點(diǎn)圖像的同步顯示將用于包括多個亞像素的三維(3D)像素的3D圖像提供給用戶。
[0016]根據(jù)一個或多個實施例的另一方面，可提供一種圖像顯示系統(tǒng)，所述系統(tǒng)包括:位置感測單元，感測用戶或用戶的一個或兩個眼睛的位置；視點(diǎn)計算單元，計算關(guān)于感測的位置的至少一個三維(3D)像素的視點(diǎn)；渲染單元，基于計算的視點(diǎn)，通過執(zhí)行主動亞像素渲染來渲染3D圖像，所述主動亞像素渲染包括渲染具有3D像素的多個視點(diǎn)中與計算的視點(diǎn)最接近的視點(diǎn)的3D像素的第一亞像素的顏色信息，以具有為第一亞像素定義的視點(diǎn)圖像的顏色信息，渲染用于3D像素的鄰近于第一亞像素的至少一個亞像素的顏色信息，以具有用于第一亞像素的視點(diǎn)圖像的顏色信息，與第一亞像素鄰近的所述至少一個亞像素具有與第一亞像素的視點(diǎn)不同的視點(diǎn)。
[0017]根據(jù)一個或多個實施例的另一方面，可提供一種圖像顯示方法，所述方法包括:感測用戶或用戶的一個或兩個眼睛的位置；計算關(guān)于感測的位置的至少一個三維(3D)像素的視點(diǎn)；基于計算的視點(diǎn)，通過執(zhí)行主動亞像素渲染來渲染3D圖像，所述主動亞像素渲染包括渲染用于具有3D像素的多個視點(diǎn)中與計算的視點(diǎn)最接近的視點(diǎn)的3D像素的第一亞像素的顏色信息，以具有為第一亞像素定義的視點(diǎn)圖像的顏色信息；渲染用于與第一亞像素的鄰近至少一個亞像素的顏色信息，以具有用于第一亞像素的視點(diǎn)圖像的顏色信息，與第一亞像素鄰近的3D像素的至少一個亞像素具有與第一亞像素的視點(diǎn)不同的視點(diǎn)。
[0018]將在接下來的描述中部分闡述另外的和/或可選擇的方面、特點(diǎn)和/或優(yōu)點(diǎn)，還有一部分通過描述將是清楚的，或可以通過本發(fā)明的實施而得知。

【專利附圖】

【附圖說明】
[0019]通過結(jié)合附圖對實施例進(jìn)行的描述，這些和/或其他方面和優(yōu)點(diǎn)將變得清楚并更易于理解，在附圖中:
[0020]圖1示出根據(jù)一個或多個實施例的基于透鏡的定向視點(diǎn)圖像的顯示；
[0021]圖2示出根據(jù)一個或多個實施例的像素渲染和亞像素渲染中的每個的像素結(jié)構(gòu)；
[0022]圖3示出根據(jù)一個或多個實施例的通過像素渲染和亞像素渲染中的每個產(chǎn)生的視點(diǎn)；
[0023]圖4示出根據(jù)一個或多個實施例的使用用戶跟蹤方案確定觀看視點(diǎn)；
[0024]圖5示出根據(jù)一個或多個實施例的基于觀看視點(diǎn)的主動亞像素渲染；
[0025]圖6示出根據(jù)一個或多個實施例的基于觀看視點(diǎn)的移動的主動亞像素渲染；
[0026]圖7示出根據(jù)一個或多個實施例的用于主動亞像素渲染的像素結(jié)構(gòu)和條件；
[0027]圖8示出根據(jù)一個或多個實施例的用戶的位置和姿勢被改變的情況；
[0028]圖9示出根據(jù)一個或多個實施例的基于用戶的位置和/或姿勢的改變的主動亞像素渲染的應(yīng)用；
[0029]圖10是示出根據(jù)一個或多個實施例的基于用戶的位置和/或姿勢的改變的主動亞像素渲染方法的流程圖；
[0030]圖11是示出根據(jù)一個或多個實施例的主動亞像素渲染方法的流程圖；
[0031]圖12是示出根據(jù)一個或多個實施例的圖像顯示系統(tǒng)的框圖；
[0032]圖13是示出根據(jù)一個或多個實施例的圖像顯示方法的流程圖；
[0033]圖14是示出根據(jù)一個或多個實施例的圖像顯示系統(tǒng)的框圖；
[0034]圖15是示出根據(jù)一個或多個實施例的圖像顯示方法的流程圖。

【具體實施方式】
[0035]現(xiàn)在將詳細(xì)地闡述附圖中示出的一個或多個實施例，其中，相同的標(biāo)號始終是指相同的元件。在這點(diǎn)上，本發(fā)明的實施例可按多種不同的形式被實施，并不應(yīng)被解釋為限于在此闡述的實施例。因此，通過參照附圖僅在下面描述實施例，以解釋本發(fā)明的各方面。
[0036]實施例可能涉及可跟蹤用戶的左眼/右眼位置來確定用戶觀看的圖像的視點(diǎn)信息的圖像顯示系統(tǒng)和方法，在一個或多個實施例中，基于確定的視點(diǎn)信息使用主動亞像素渲染提供了不具有或具有有限的三維(3D)效果的色度亮度干擾或失真的3D圖像。通過執(zhí)行亞像素渲染而非僅執(zhí)行像素渲染，顯示的視點(diǎn)的數(shù)量會基于亞像素的數(shù)量而增加(例如，在一個或多個實施例中，可顯示的/可觀看的視點(diǎn)的數(shù)量等于3D像素中的亞像素的數(shù)量)，并且最優(yōu)的圖像可使用視點(diǎn)信息被渲染以被顯示，由此在亞像素渲染中發(fā)生的3D圖像質(zhì)量的降低不會發(fā)生。
[0037]亞像素渲染。
[0038]僅作為示例，為了在沒有上述濾光鏡的情況下顯示3D圖像，當(dāng)觀看3D圖像時，基于觀看位置具有不同視點(diǎn)的圖像可被顯示并可以是單獨(dú)可見的。例如，可對用戶的左眼和右眼分別顯示單獨(dú)的圖像，從而提供3D效果。為了實現(xiàn)這一效果，從顯示器的每個像素發(fā)射的光可以主要僅從特定方向是可觀察的，這與每個像素信息被顯示到所有方向和從所有方向觀察每個像素信息的2D顯示器相比而言是明顯不同。例如，為了使從每個像素發(fā)射的光僅從特定方向是可觀察的，通?？墒褂猛哥R或光柵。
[0039]圖1示出根據(jù)一個或多個實施例的基于透鏡(例如，前述的雙凸透鏡)的定向視點(diǎn)圖像的顯示。
[0040]如圖1所示，雙凸透鏡120可以被布置在顯示器110的上層/外層。在這樣的實施例中，顯示器可具有多個像素，每個像素具有亞像素(例如，顯示器110內(nèi)示出的顯示的陰影線的紅色(R)亞像素、點(diǎn)狀的綠色(G)亞像素和無標(biāo)記的藍(lán)色(B)亞像素)。當(dāng)雙凸透鏡120的焦點(diǎn)被置于特定像素或亞像素上時,沿透鏡軸121顯示的像素或亞像素值可在從與所述特定像素/亞像素和觀看者的位置對應(yīng)的特定視點(diǎn)被觀看時通過雙凸透鏡被擴(kuò)大。特定雙凸透鏡120的不同軸將光導(dǎo)向不同方向(即，如果雙凸透鏡具有12個軸，則12個不同的觀看方向是可用的)。因此，當(dāng)觀看雙凸透鏡120的方向(觀看方向)被改變時，透鏡軸121可能已移動，從而表示來自例如可被擴(kuò)大的不同圖像的不同像素或亞像素的不同視點(diǎn)。例如，當(dāng)用戶觀看的方向示出為虛線130時，虛線130經(jīng)過的亞像素可通過雙凸透鏡被擴(kuò)大。按這種方式，隨著用戶的觀看方向改變，可顯示其他像素信息，從而可顯示基于用戶觀看方向而變化的其他視點(diǎn)圖像。為了進(jìn)一步的說明目的，圖5的第一部分510演示了如何能夠通過雙凸透鏡的不同軸產(chǎn)生不同觀看方向，如由改變的指示度數(shù)(例如，從雙凸透鏡的中心軸從-10°至+10° )所示。例如,在示出的視點(diǎn)①周圍,雙凸透鏡的對應(yīng)軸沿觀看方向產(chǎn)生正10°的改變。
[0041]為了將視點(diǎn)圖像顯示為像素,可使用像素單位或亞像素單位。如所提到的，亞像素單位可以是具有單條顏色信息的最小像素圖像顯示單位(例如，指示RGB顏色空間中的紅色(R)、綠色(G)和藍(lán)色(B)中的每一個的單位)，并且所述像素單位可以是為通過將亞像素結(jié)合在一起而獲得的像素(例如，R亞像素、G亞像素和B亞像素被總體認(rèn)為共同為單個像素)表現(xiàn)(例如，具有所有顏色分量的信息的)完全的顏色信息的最小圖像顯示單位。圖1的方法被定義為像素渲染。
[0042]圖2示出根據(jù)一個或多個實施例的用于像素渲染和亞像素渲染的每個的像素結(jié)構(gòu)。圖2的部分210和部分220中的每條實線可指示雙凸透鏡的所有透鏡光軸的各個透鏡光軸。部分210示出單個透鏡軸經(jīng)過的所有多個亞像素表示單個視點(diǎn)圖像的情況。例如，對于部分210，在雙凸透鏡的第一軸以下的所選擇的多個亞像素①選擇性地沿第一視點(diǎn)方向被定向，在雙凸透鏡的另一軸以下的所選擇的多個亞像素②選擇性地沿第二視點(diǎn)方向被定向，在雙凸透鏡的又一光軸以下的所選擇的多個亞像素③選擇性地沿第三視點(diǎn)方向被定向，在雙凸透鏡的最后示出的軸以下的所選擇的多個亞像素④選擇性地沿第四視點(diǎn)方向被定向。此外，這將被稱為像素渲染。如部分210所示，特定雙凸透鏡的各個軸都穿過/經(jīng)過(例如，基于各個透鏡軸而產(chǎn)生每個不同的對應(yīng)的視點(diǎn)圖像的)具有所有顏色分量的完全的顏色信息的所有三個R、G和B亞像素。
[0043]部分220示出這樣一種情況:雙凸透鏡的單個透鏡軸穿過/經(jīng)過單個亞像素，針對3D像素的每個亞像素導(dǎo)致不同視點(diǎn)圖像，這可被稱為亞像素渲染。僅作為示例，雙凸透鏡的多個透鏡軸中的每個透鏡軸經(jīng)過/穿過各自的選擇的亞像素，以便基于每個透鏡軸的每個不同的視點(diǎn)表示由所述選擇的亞像素定義的單個顏色分量。如圖2所示，可存在12個不同的視點(diǎn)(即，可基于用戶觀看雙凸透鏡的方向獨(dú)立地觀看所選擇的亞像素)。
[0044]如提到的，在像素渲染中，完全的顏色信息(例如，來自沿相同透鏡軸的各個亞像素的所有R、G和B顏色信息)可關(guān)于單個透鏡軸被共同地表現(xiàn)，從而用三個顏色分量無顏色失真地表現(xiàn)視點(diǎn)圖像。
[0045]不同地，在亞像素渲染的情況下，關(guān)于任意的單個透鏡軸僅可期望地表現(xiàn)單個顏色分量，這會導(dǎo)致顏色失真。然而，如所提到的，當(dāng)使用這樣的亞像素渲染時，與像素渲染相比而言可表現(xiàn)增加數(shù)量的視點(diǎn)圖像，這在表現(xiàn)增加數(shù)量的視點(diǎn)圖像的多視點(diǎn)顯示方面會是一個優(yōu)點(diǎn)。因此，像素渲染和亞像素渲染兩者具有各自的優(yōu)點(diǎn)和缺點(diǎn)。
[0046]圖3示出根據(jù)一個或多個實施例的通過像素渲染和亞像素渲染的每個產(chǎn)生的視點(diǎn)。即，在多視點(diǎn)顯示的情況下，當(dāng)用戶在視點(diǎn)圖像之間觀看多視點(diǎn)顯示時，用戶的眼睛可同時分別觀看兩個視點(diǎn)圖像。在該示例中，在像素渲染的情況下，隨著表現(xiàn)的視點(diǎn)圖像的數(shù)量的減少，視點(diǎn)之間的間隔或間距會增加，而造成視點(diǎn)圖像之間的差更大，因此會明顯地產(chǎn)生視點(diǎn)之間的色度亮度干擾。
[0047]參照圖3，實線可指示通過像素渲染產(chǎn)生的視點(diǎn)(例如，顯示的視點(diǎn)②-⑤可表示使用像素渲染的可用視點(diǎn))。然而，對于亞像素渲染，隨著視點(diǎn)的數(shù)量(例如，針對視點(diǎn)②-⑤之間的視點(diǎn)的可用性)變大，可表現(xiàn)的視點(diǎn)圖像的數(shù)量也相應(yīng)地增加，從而視點(diǎn)之間的間隔或間距會減少，因此產(chǎn)生的任何色度亮度干擾可無關(guān)緊要。參照圖3，虛線可指示通過亞像素渲染產(chǎn)生的視點(diǎn)。在該示例中，還可通過亞像素渲染類似地產(chǎn)生圖3中通過像素渲染產(chǎn)生的視點(diǎn)，所述亞像素渲染提供額外的視點(diǎn)。
[0048]S卩，在像素渲染的情況下，可從準(zhǔn)確的視點(diǎn)表現(xiàn)高質(zhì)量的視點(diǎn)圖像(例如，每個視點(diǎn)圖像具有所有三個顏色分量)，然而，視點(diǎn)之間的視差會相對大，導(dǎo)致產(chǎn)生明顯的色度亮度干擾。在亞像素渲染中，隨著視點(diǎn)的數(shù)量的增加，視點(diǎn)之間的任何可觀察的色度亮度干擾會因此無關(guān)緊要，然而，在每個視點(diǎn)圖像中會出現(xiàn)顏色陰影(ghost)。按這種方法，從與期望的視點(diǎn)不同的位置觀看的圖像的質(zhì)量會對3D顯示器的3D效果有不利的影響并導(dǎo)致眼疲勞。例如，即使左眼被適當(dāng)?shù)刂糜趯?yīng)的視點(diǎn)，但當(dāng)右眼在視點(diǎn)之外時，也會僅在一只眼睛處明顯地發(fā)生色度亮度干擾，從而眼疲勞會增加。
[0049]使用用戶的左眼和右眼的亞像素渲染。
[0050]根據(jù)一個或多個實施例，為了實現(xiàn)在產(chǎn)生增加數(shù)量的視點(diǎn)圖像的同時，在視點(diǎn)之間不發(fā)生色度亮度干擾或顏色陰影的3D圖像，或者在視點(diǎn)之間減少發(fā)生色度亮度干擾或顏色陰影的3D圖像，可跟蹤用戶的左眼和右眼來向用戶表現(xiàn)最合適的視點(diǎn)圖像。在這種情況下，可在用戶的有限固定位置觀看的圖像中使用像素渲染，然而，可在基于用戶的位置變化的視點(diǎn)圖像中使用亞像素渲染。
[0051]圖4示出根據(jù)一個或多個實施例的使用用戶跟蹤方案確定視點(diǎn)。在圖4中，與用戶當(dāng)前觀看的圖像對應(yīng)的視點(diǎn)圖像可通過拍攝用戶來確定，例如，通過使用與顯示多視點(diǎn)圖像的顯示器410集成在一起的相機(jī)420來執(zhí)行拍攝。僅作為示例，顯示器410從而有可能顯示十二個不同的視點(diǎn)圖像。
[0052]圖5示出根據(jù)一個或多個實施例的基于觀看視點(diǎn)的主動亞像素渲染。如圖5所示，對于顯示器上的單個3D像素，各個視點(diǎn)圖像在12個選擇的方向或視點(diǎn)之一中是可觀看的。如上所述，圖5示出每個視點(diǎn)是如何與在不同方向表現(xiàn)的光對應(yīng)，例如，所述不同方向根據(jù)對應(yīng)雙凸透鏡的透鏡軸在±10°之間變化。在本示例中，當(dāng)用戶位于特定最佳地點(diǎn)(即，最佳觀看位置)時，可從相同的地點(diǎn)觀看來自所有3D像素的各自的視點(diǎn)圖像。在這種情況下，可通過亞像素渲染獲得12個方向的每個方向的各自的視點(diǎn)圖像(例如，所述每個視點(diǎn)圖像由單個顏色組成)。在這種情況下，在圖5中示出渲染像素的渲染操作。S卩，如第一部分510中所示，關(guān)于用戶的左眼和右眼的位置(例如，通過使用相機(jī)拍攝用戶確定)，可確定右眼主要沿視點(diǎn)5定位，左眼主要沿視點(diǎn)9定位(即，對于該特定3D像素和對應(yīng)的雙凸透鏡，期望的發(fā)射/觀看方向是根據(jù)用于右眼的視點(diǎn)5和用于左眼的視點(diǎn)9)。
[0053]在該示例中，為了去除由于亞像素渲染產(chǎn)生的上述示例顏色陰影，鄰近視點(diǎn)5的視點(diǎn)圖像(例如，用于右眼的視點(diǎn)圖像4和視點(diǎn)圖像6)可被轉(zhuǎn)換為附加視點(diǎn)圖像5。BP,當(dāng)假設(shè)對于不同的視點(diǎn)圖像，每個亞像素具有R、G和B顏色之一的各自的信息，并且原始的視點(diǎn)圖像5可以是這樣的視點(diǎn)圖像，對所述視點(diǎn)圖像執(zhí)行亞像素渲染來使所述視點(diǎn)圖像僅具有R顏色信息時，視點(diǎn)圖像4和視點(diǎn)圖像6可被分別轉(zhuǎn)換為附加視點(diǎn)圖像5，以具有用于視點(diǎn)圖像5的G顏色信息和B顏色信息，而非用于它們的視點(diǎn)圖像4和視點(diǎn)圖像6的它們各自的顏色信息。因此，根據(jù)實施例，例如，附加視點(diǎn)圖像5仍舊沿視點(diǎn)4和視點(diǎn)6的它們各自的不同方向引導(dǎo)光，但附加視點(diǎn)圖像5將提供與視點(diǎn)5對應(yīng)的圖像的顏色信息，而非提供用于提供給視點(diǎn)4或視點(diǎn)6的圖像的各自的顏色信息。因此，類似地，對于左眼，視點(diǎn)圖像8和視點(diǎn)圖像10可分別被渲染為具有與原始視點(diǎn)圖像9不同的顏色信息的附加視點(diǎn)圖像9。如圖5的部分520所示，使用該主動亞像素渲染，鄰近的視點(diǎn)圖像被轉(zhuǎn)換為與用戶的眼睛對應(yīng)的視點(diǎn)圖像，從而，從用戶的視點(diǎn)來看，執(zhí)行了亞像素渲染的圖像可實際看起來是通過更準(zhǔn)確的像素渲染方案被渲染的。在本說明書中，包括(例如，基于確定的用戶觀看方向)將鄰近視點(diǎn)的視點(diǎn)圖像信息轉(zhuǎn)換為相同的視點(diǎn)圖像的這樣的亞像素渲染方案將被稱為主動亞像素渲染。
[0054]在該示例中，當(dāng)用戶移動時，右眼可移動到與視點(diǎn)4對應(yīng)的位置，左眼可移動到與視點(diǎn)8對應(yīng)的位置。作為示例,這里,視點(diǎn)4可表現(xiàn)原始視點(diǎn)圖像4的G顏色信息,與鄰近的視點(diǎn)3和視點(diǎn)5對應(yīng)的亞像素可分別被轉(zhuǎn)換為視點(diǎn)4的B顏色信息和R顏色信息，或者被控制來分別顯示視點(diǎn)4的B顏色信息和R顏色信息，而非視點(diǎn)3和視點(diǎn)5的顏色信息。顏色信息的轉(zhuǎn)換還可按上述相同的方法適用于視點(diǎn)8。按這樣的方法，關(guān)于用戶的左眼和右眼合適地定位于特定視點(diǎn)的圖像，例如，基于用戶位置的改變，關(guān)于每個3D像素可產(chǎn)生的視點(diǎn)的數(shù)量是十二，并可使用亞像素渲染來獲得。
[0055]圖6示出根據(jù)一個或多個實施例的基于確定的觀看視點(diǎn)的移動的主動亞像素渲染。圖6示出基于當(dāng)用戶的左眼移動到分別與視點(diǎn)4、視點(diǎn)3和視點(diǎn)2對應(yīng)的位置時，以及當(dāng)用戶的右眼移動到分別與視點(diǎn)9、視點(diǎn)8和視點(diǎn)7對應(yīng)的位置時，透鏡上表現(xiàn)的圖像值的變化。這里，圖6示出用于視點(diǎn)4、視點(diǎn)3和視點(diǎn)2以及視點(diǎn)9、視點(diǎn)8和視點(diǎn)7的主動亞像素渲染與基于各個左眼視點(diǎn)4、視點(diǎn)3和視點(diǎn)2的對應(yīng)雙凸透鏡的對應(yīng)軸的闡述(即，每個視點(diǎn)分別用表示雙凸透鏡的對應(yīng)透鏡軸的虛線示出)。
[0056]為了使用上述主動亞像素渲染方案來顯示3D圖像，可能需要合適的像素結(jié)構(gòu)和透鏡排列，并且可能需要確定用戶的左眼和右眼的位置，以及需要執(zhí)行對應(yīng)的亞像素渲染。參照圖1和圖2，僅作為示例，描述了使用透鏡來顯示多視點(diǎn)3D圖像的方法，然而，在一個或多個實施例中，對于高質(zhì)量的主動亞像素渲染，像素結(jié)構(gòu)和透鏡排列可能需要滿足以下條件⑴至⑶:
[0057](I)穿過/經(jīng)過關(guān)于每個視點(diǎn)的3D像素的透鏡軸之間的距離可能需要相同。即，可能需要按預(yù)定的間隔形成3D像素內(nèi)的每個亞像素產(chǎn)生的視點(diǎn)圖像的方向，從而形成高質(zhì)量的多視點(diǎn)圖像。為了形成高質(zhì)量的多視點(diǎn)圖像，雙凸透鏡和對應(yīng)的透鏡軸可能需要以基于單個3D像素中沿垂直方向的N個像素的大小與沿水平方向的M個亞像素的大小的比率而獲得的角度傾斜。在該示例中，N和M是整數(shù)，所述像素和亞像素可指示顯示面板的像素和亞像素?？蛇x擇地，例如，顯示多個視點(diǎn)圖像的顯示單元可能需要顯示組成的3D像素，從而光軸以基于沿垂直方向的N個像素的大小與沿水平方向的M個亞像素的大小的比率而獲得的角度傾斜。
[0058]圖7示出根據(jù)一個或多個實施例的用于主動亞像素渲染的像素結(jié)構(gòu)和條件。參照圖7的第一部分710，作為描述上面的條件⑴的示例，3D像素711的垂直大小可由“y”指示，并可具有顯示面板的垂直像素距離的值的兩倍的值。此外，3D像素711的水平大小可由“X”指示，并當(dāng)3D像素711的水平大小具有與顯示面板的水平像素距離相等的值時，可產(chǎn)生統(tǒng)一的視點(diǎn)圖像。此外，作為滿足上面的條件(I)的像素結(jié)構(gòu)的示例，例如，雙凸透鏡的透鏡軸可能需要具有相對于垂直方向的傾斜角度“ Θ ”，所述“ Θ ”可由以下的等式I確定。
[0059]等式1:
[0060]Θ = tarf1 (x/y) = tarf1 (M/N)
[0061](2)對于主動亞像素渲染，形成3D像素的每個亞像素可能需要形成單獨(dú)的視點(diǎn)圖像。為了形成單獨(dú)的視點(diǎn)圖像，M和N可能需要是互質(zhì)的整數(shù)。例如，與這樣的期望相反，如圖7的部分720所示，當(dāng)3D像素721的大小滿足N = 2和M = 2時，形成單個視點(diǎn)圖像的透鏡軸會穿過兩個亞像素的中心，因此，盡管像素渲染可能是可用的，但亞像素渲染對于一些排列是不可能的。
[0062](3)對于主動亞像素渲染，由鄰近視點(diǎn)圖像顯示的顏色信息可能需要彼此不同。例如，當(dāng)鄰近視點(diǎn)圖像1、2和3的顏色被表現(xiàn)為R、G和G時，關(guān)于視點(diǎn)圖像2執(zhí)行主動亞像素渲染，而未能獲得B顏色。為了獲得由鄰近視點(diǎn)圖像顯示的顏色信息，用于各個顏色信息的顏色可能需要彼此不同。例如，這里，關(guān)于三種顏色，M還可能需要是3的倍數(shù)。
[0063]在圖7的部分730中，示出滿足所有上述條件(I)至(3)的像素結(jié)構(gòu)。在該示例中，3D像素731的大小可滿足N = 2和M = 3 (即，滿足所有上述條件(I)至(3))。在這種情況下，在實施例中，能夠通過主動亞像素渲染產(chǎn)生的視點(diǎn)圖像的最大數(shù)量可以是六。
[0064]關(guān)于通過跟蹤用戶的左眼和右眼實現(xiàn)主動亞像素渲染，參照圖4描述在用戶位于最佳觀看位置的情況。在此將更詳細(xì)地描述當(dāng)用戶沒有位于最佳觀看位置時，或者當(dāng)用戶為傾斜姿勢(tilted posture)時的主動亞像素渲染。
[0065]當(dāng)用戶位于最佳觀看位置時，由各個3D像素產(chǎn)生的相同的視點(diǎn)圖像可集中在單個地點(diǎn)，從而可如圖4所示，可基于僅關(guān)于單個3D像素的視點(diǎn)圖像來執(zhí)行所述亞像素渲染。然而，當(dāng)用戶沒有位于最佳觀看位置時，或者用戶為傾斜姿勢時，可能需要基于來自各個3D像素的每個視點(diǎn)圖像單獨(dú)地執(zhí)行亞像素渲染。
[0066]圖8示出根據(jù)一個或多個實施例的用戶的位置和姿勢改變的情況。第一位置810可以是例如上述最佳觀看位置的一般的位置，并可指定這樣一種情況:用戶的眼睛沿與顯示器的軸相同的軸到顯示器的表面的方向垂直于顯示器表面。在該示例中，示出的第一部分811可以是通過拍攝第一位置810的用戶和對應(yīng)于每個視點(diǎn)的位置而獲得的圖像。第二位置820可指定用戶位于最佳觀看距離之外的情況，第三位置830可指定用戶位于最佳觀看角度之外的情況，第四位置840可指定用戶的頭在最佳觀看位置傾斜的情況，第五位置850可指定用戶在位于最佳觀看距離之外的同時斜瞥地觀看顯示器的情況。示出的第二部分821、第三部分831、第四部分841和第五部分851可指定通過在各自的位置或各自的視點(diǎn)拍攝用戶而獲得的圖像，用戶與各自示出的不同透鏡軸具有覆蓋。在該示例中，根據(jù)一個或多個實施例，基于用戶的左眼和右眼的位置，可關(guān)于來自各個3D像素的所有視點(diǎn)圖像單獨(dú)地執(zhí)行亞像素渲染，從而提供具有高分辨率的高質(zhì)量3D圖像。
[0067]圖9示出根據(jù)一個或多個實施例的基于用戶的位置和/或姿勢的改變的主動亞像素渲染的應(yīng)用。即，在圖9中，將描述在用戶位于最佳觀看位置之外(例如，用戶位于靠前的觀看位置)的情況下的主動亞像素渲染方案。首先，可使用相機(jī)(例如，應(yīng)該注意到，可應(yīng)用另外的和/或可選擇的測量裝置和技術(shù))測量用戶的左眼和/或右眼的3D空間位置。僅作為示例，為了測量3D空間位置，可使用:測量左眼和右眼之間的距離比的方案、使用立體相機(jī)的三角方案、使用深度相機(jī)直接測量距離和方向的方案等。
[0068]接下來，例如，可使用測量的左眼和右眼的空間位置計算每個3D像素與左眼和右眼之間形成的角度。例如，在第一 3D像素與左眼和右眼之間形成的角度可分別是和
Θ,，在第k3D像素與左眼/右眼之間形成的角度可分別是“ Oh ”和“ & ”，可類似地測量
/計算出在第m3D像素與左眼和右眼之間形成的角度。從而可計算出左眼和右眼分別相對于每個3D像素在空間上所在的角度，然后可計算通過分別的左眼和右眼將觀看的來自每個3D像素的視點(diǎn)圖像。當(dāng)獲得與按上述方式將觀看的視點(diǎn)圖像有關(guān)的視點(diǎn)信息時，從而可顯示基于計算的角度的對應(yīng)視點(diǎn)圖像和轉(zhuǎn)換的鄰近視點(diǎn)圖像。僅作為示例，通過像素渲染和/或亞像素渲染，即使用戶的頭部傾斜或者用戶部分地在觀看區(qū)域或觀看角度之外，通過考慮與將被觀看的視點(diǎn)圖像和將被轉(zhuǎn)換的視點(diǎn)圖像有關(guān)的視點(diǎn)信息，仍可將合適的圖像提供給用戶。
[0069]在圖9中，為了方便描述，僅描述了關(guān)于單個平面測量的角度，然而，也可實際測量/計算空間角度，以計算由左眼和右眼觀看的圖像。
[0070]圖10是示出根據(jù)一個或多個實施例的基于用戶的位置和/或姿勢的改變的主動亞像素渲染方法的流程圖。可由例如圖像顯示系統(tǒng)來執(zhí)行所述主動亞像素渲染方法。
[0071]在操作1010，可計算用戶的左眼和右眼相對于可用3D像素的觀看方向。在該示例中，用戶的左眼和右眼的方向可表示為“(4,，O ) 3這里可指定與右眼相對于第
k3D像素對應(yīng)的角度‘見 5可指定與左眼相對于第k3D像素對應(yīng)的角度。盡管這里參考第
k3D像素，但可為每個3D像素確定與左眼和右眼對應(yīng)的各個角度。
[0072]在操作1020，可確定在所有3D像素的每個3D像素中最接近左眼和右眼的觀看角度的視點(diǎn)。在這種情況下，再次使用第k3D像素作為示例，例如，可基于下面的等式2來計算最接近左眼和右眼的視點(diǎn)。
[0073]等式2:

【權(quán)利要求】
1.一種3D顯不系統(tǒng)，所述3D顯不系統(tǒng)包括: 視點(diǎn)計算單元，基于確定的用戶相對于顯示器的可變方位來計算左視點(diǎn)，并基于確定的用戶相對于顯示器的方位來計算右視點(diǎn)； 渲染單元，基于左視點(diǎn)來產(chǎn)生左視點(diǎn)圖像，基于右視點(diǎn)來產(chǎn)生右視點(diǎn)圖像，并通過主動亞像素渲染，從具有與左視點(diǎn)不同的視點(diǎn)的一個或多個亞像素產(chǎn)生至少一個附加左視點(diǎn)圖像，和/或從具有與右視點(diǎn)不同的視點(diǎn)的亞像素產(chǎn)生至少一個附加右視點(diǎn)圖像； 其中，產(chǎn)生的附加右視點(diǎn)圖像和附加左視點(diǎn)圖像中的至少一個、產(chǎn)生的左視點(diǎn)圖像、產(chǎn)生的右視點(diǎn)圖像的同步顯示將用于包括多個亞像素的3D像素的3D圖像提供給用戶。
2.如權(quán)利要求1所述的3D顯示系統(tǒng)，還包括:顯示單元，同步顯示產(chǎn)生的附加右視點(diǎn)圖像和左視點(diǎn)圖像中的至少一個、產(chǎn)生的左視點(diǎn)圖像、產(chǎn)生的右視點(diǎn)圖像。
3.如權(quán)利要求1所述的3D顯示系統(tǒng)，其中，從與左視點(diǎn)鄰近的一個或多個視點(diǎn)產(chǎn)生至少一個附加左視點(diǎn)圖像，并從與右視點(diǎn)鄰近的一個或多個視點(diǎn)產(chǎn)生至少一個附加右視點(diǎn)圖像。
4.一種3D顯示方法,所述3D顯示方法包括: 基于確定的用戶相對于顯示器的可變方位來計算左視點(diǎn)，并基于確定的用戶相對于顯示器的方位來計算右視點(diǎn)； 基于左視點(diǎn)來產(chǎn)生左視點(diǎn)圖像，基于右視點(diǎn)來產(chǎn)生右視點(diǎn)圖像，并通過主動亞像素渲染，從具有與左視點(diǎn)不同的視點(diǎn)的一個或多個亞像素產(chǎn)生至少一個附加左視點(diǎn)圖像，和/或從具有與右視點(diǎn)不同的視點(diǎn)的亞像素產(chǎn)生至少一個附加右視點(diǎn)圖像； 其中，產(chǎn)生的附加右視點(diǎn)圖像和附加左視點(diǎn)圖像中的至少一個、產(chǎn)生的左視點(diǎn)圖像、產(chǎn)生的右視點(diǎn)圖像的同步顯示將用于包括多個亞像素的3D像素的3D圖像提供給用戶。
5.如權(quán)利要求4所述的3D顯示方法，還包括:同步顯示產(chǎn)生的附加右視點(diǎn)圖像和附加左視點(diǎn)圖像中的至少一個、產(chǎn)生的左視點(diǎn)圖像、產(chǎn)生的右視點(diǎn)圖像。
6.如權(quán)利要求4所述的3D顯示方法，其中，在產(chǎn)生附加左視點(diǎn)圖像和附加右視點(diǎn)圖像的步驟中，從與左視點(diǎn)鄰近的一個或多個視點(diǎn)產(chǎn)生所述至少一個附加左視點(diǎn)圖像，并從與右視點(diǎn)鄰近的一個或多個視點(diǎn)產(chǎn)生所述至少一個附加右視點(diǎn)圖像。
【文檔編號】H04N13/00GK104079919SQ201410339461
【公開日】2014年10月1日 申請日期:2010年11月4日 優(yōu)先權(quán)日:2009年11月4日
【發(fā)明者】南東暻, 樸斗植, 成基榮, 金昌容, 金允泰, 樸柱容 申請人:三星電子株式會社