專利名稱：三維圖像顯示裝置和三維圖像顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖像顯示裝置和顯示方法。
背景技術(shù)：
存在各種已知系統(tǒng)用于可顯示運(yùn)動圖像的立體視覺圖像顯示裝置 或所謂的三維顯示裝置。近年來，對不需要眼鏡等任何專用工具的平 板類型裝置的需求日益增加?？梢匀菀椎貙崿F(xiàn)的系統(tǒng)之一是以下的系
統(tǒng)其中用于將來自顯示面板(要素圖像顯示單元)的光線引向觀看 者的光學(xué)板位于像素位置在其中固定的直視型或投影型的液晶顯示裝 置或等離子體顯示裝置等裝置的顯示面板的前面。
光學(xué)板一般被稱作視差遮障(parallax barrier),其控制光線使 得可以在不同角度從光學(xué)板上的同 一位置看到不同圖像。更具體來說， 在只提供橫向視差(水平視差)的情況下，采用狹縫或透鏡板 (lenticular sheet)(柱面透鏡陣列)。在還提供垂直視差的情況下， 采用針孔陣列或透鏡陣列。使用視差遮陣的系統(tǒng)包括雙目(binocular) 系統(tǒng)、多視點(diǎn)系統(tǒng)、超多視點(diǎn)系統(tǒng)(包括非常大量的視點(diǎn)的多視點(diǎn)系 統(tǒng))以及集成照相(integral photography,以下稱為IP)。這些系統(tǒng) 的基本原理與一百年前開發(fā)并用于立體視覺照相的系統(tǒng)的原理基本相 同。
在IP系統(tǒng)或多視點(diǎn)系統(tǒng)中，觀看距離通常受到限制，因此，要顯 示的圖像被形成為使得可以在該觀看距離實際看到透視投影圖像。在 只提供水平視差的IP系統(tǒng)(一維IP系統(tǒng))中，存在平行光線的組合， 其中視差遮障的水平間距等于要素圖像顯示單元的子像素的水平間距 值的整數(shù)倍(在下文中該系統(tǒng)也被稱為平行光線一維IP)。因此，在 垂直方向上在恒定觀看距離處是透視投影圖像而在水平方向上是正投影圖像的圖像被劃分為各自像素列的圖像，并將劃分后的圖像組合以
形成要顯示在顯示平面中的圖像格式的視差交錯(interleaved)圖像。 以這種方式可以獲得正確投影的三維圖像。SID04 Digest 1438 ( 2004 ) 中公開了具體方法。在多視點(diǎn)系統(tǒng)中，通過單一透視投影形成的圖像 被劃分并重新排列，從而獲得正確投影的三維圖像。
很難生產(chǎn)在垂直方向和水平方向之間使用不同投影方法和不同投 影中心距離的圖像拍攝裝置，這是因為尤其是在正投影操作中需要與 要顯示的對象的尺寸相同的照相機(jī)或鏡頭。因此，為了通過圖像拍攝 操作獲得正投影數(shù)據(jù)，對透視投影圖像的圖像拍攝數(shù)據(jù)進(jìn)行轉(zhuǎn)換是更 現(xiàn)實的。例如，用于進(jìn)行使用EPI (epipolar plane,極線平面)插值 的光線空間方法等是眾所周知的。
如SID04 Digest 1438 ( 2004 )中所公開的，平行光線一維IP系統(tǒng) 比雙目系統(tǒng)和多視點(diǎn)系統(tǒng)具有更寬的觀看區(qū)域和更連續(xù)的運(yùn)動視差。 因此，在平行光線一維IP系統(tǒng)中，可以容易地觀看圖像而沒有不舒服 的感覺。
由于雙目系統(tǒng)和多視點(diǎn)系統(tǒng)是最簡單的三維圖像顯示系統(tǒng)，所以 圖像格式也是簡單的，并且所有視點(diǎn)圖像都具有相同的尺寸。雙目情 況下的兩個視差成分圖像和九視點(diǎn)情況下的九個視差成分圖像被劃分 為各自像素列的圖像，并且劃分后的圖像被組合以形成要顯示在要素 圖像顯示單元上的圖像格式的視差交錯圖像(要素圖像陣列)。在平 行光線一維IP系統(tǒng)中，視差成分圖像的數(shù)量大于具有相同分辨率的多 視點(diǎn)系統(tǒng)中的視差成分圖像的數(shù)量，并且視差成分圖像的尺寸(水平 使用范圍)隨視差方向而變化。然而，JP-A 2006-98779 ( KOKAI) 公開了在平行光線一維IP系統(tǒng)中可以僅在必要范圍內(nèi)對適當(dāng)組合的 視差成分圖像有效地進(jìn)行堆砌(tiling)，并且可以將視差成分圖像高 效地轉(zhuǎn)換為在非可逆壓縮時只有很小劣化的格式。
在考慮到預(yù)定的觀看距離和預(yù)定的觀看區(qū)域的情況下，形成該視 差圖像陣列格式。然而，存在這樣的情況由于鏡頭間距誤差、鏡頭 定位誤差、鏡頭位置的移動、虛擬觀看距離的重置等，需要重新調(diào)節(jié)觀看區(qū)域。特別地，在用不同屏幕尺寸的顯示裝置再現(xiàn)針對特定屏幕 尺寸的顯示裝置創(chuàng)建的內(nèi)容的情況下，虛擬觀看距離隨縮放比例而變 化。結(jié)果，在屏幕的左端和右端的小區(qū)域內(nèi)觀看到受損(偽)圖像， 或者觀看到具有一些穿過圖像的垂直線的缺陷圖像。在發(fā)現(xiàn)這種問題 之后再次創(chuàng)建該內(nèi)容導(dǎo)致低效率。
如上所述，在傳統(tǒng)的平行光線一維IP類型的三維圖像顯示裝置 中，除非針對為特定觀看距離和特定觀看區(qū)域創(chuàng)建的內(nèi)容重新調(diào)節(jié)觀 看區(qū)域，否則會引起受損圖像的問題。

發(fā)明內(nèi)容
本發(fā)明是鑒于這些情況作出的，本發(fā)明的目的是提供一種三維圖 像顯示裝置和顯示方法，通過該三維圖像顯示裝置和顯示方法可以在 平行光線一維IP系統(tǒng)中容易地調(diào)節(jié)觀看區(qū)域而不會降低處理速度。
根據(jù)本發(fā)明的第一方面，提供一種三維圖像顯示裝置，包括要 素圖像顯示單元，其具有在顯示平面中以矩陣形式排列的像素，并顯 示要素圖像；光學(xué)板，其被設(shè)置為面對所述要素圖像顯示單元，在垂 直方向上直線延伸，并控制來自所述要素圖像顯示單元的光線，所述 光學(xué)板具有在水平方向上周期排列的光學(xué)開口；以及圖像數(shù)據(jù)轉(zhuǎn)換單 元，其基于輸入圖像數(shù)據(jù)中的要素圖像的平均寬度和要輸出的三維視 頻圖像中的要素圖像的最佳平均寬度轉(zhuǎn)換圖像數(shù)據(jù)，從而用同 一要素 圖像中的相鄰視差成分替換缺失的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的第二方面，提供一種三維圖像顯示方法，用于利用 要素圖像顯示單元和光學(xué)板顯示三維圖像，其中所述要素圖像顯示 單元具有在顯示平面中以矩陣形式排列的像素，并顯示要素圖像；并 且所述光學(xué)板被設(shè)置為面對所述要素圖像顯示單元，在垂直方向上直 線延伸，并控制來自所述要素圖像顯示單元的光線，所述光學(xué)板具有 在水平方向上周期排列的光學(xué)開口 ，該方法包括基于輸入圖像數(shù)據(jù)中 的要素圖像的平均寬度和要輸出的三維視頻圖像中的要素圖像的最佳 平均寬度轉(zhuǎn)換圖像數(shù)據(jù)，從而用同一要素圖像中的相鄰視差成分替換
6缺失的圖像數(shù)據(jù)。


圖l是示出要在根據(jù)一實施例的三維圖像顯示裝置中使用的數(shù)據(jù)
空間的示意圖2A和圖2B是示出由根據(jù)該實施例的三維圖像顯示裝置形成的 三維圖像的概念圖3A和圖3B是示出由作為比較示例的一維IP類型的三維圖像 顯示裝置形成的受損圖像的概念圖4是示出由根據(jù)該實施例的三維圖像顯示裝置設(shè)定的觀看區(qū)域 的示例的概念圖5是示出由根據(jù)該實施例的三維圖像顯示裝置設(shè)定的觀看區(qū)域 的示例的概念圖6示出要由根據(jù)該實施例的三維圖像顯示裝置使用的每個視差 成分圖像；
圖7示出要由根據(jù)該實施例的三維圖像顯示裝置使用的格式； 圖8示出要由根據(jù)該實施例的三維圖像顯示裝置使用的全部圖像 組合格式；
圖9A和圖9B示出要由該三維圖像顯示裝置的圖像數(shù)據(jù)轉(zhuǎn)換單元 進(jìn)行的觀看區(qū)域調(diào)節(jié)操作；
圖IOA和圖IOB是根據(jù)該實施例的光學(xué)板的示意性透視圖11是要用于顯示三維圖像的三維圖像顯示裝置的示意性透視
圖12 (a)、圖12 (b)和圖12 (c)是示出要素圖像間距、視差 遮障間距、視差遮障距離、觀看距離和觀看區(qū)域之間關(guān)系的示意圖13A和圖13B是示出根據(jù)該實施例的視差成分圖像的投影方法 的示意圖14示出視差交錯圖像中視差成分圖像的數(shù)據(jù)范圍和視差成分 圖像的位置；圖15是示出根據(jù)一實施例的三維圖像顯示方法的照相機(jī)配置的
平面圖16是示出根據(jù)該實施例的圖像形成方法的示意圖17是示出三維圖像顯示裝置的要素圖像顯示單元的像素配置 的示意性透視圖18是示出三維圖像顯示裝置的要素圖像顯示單元的像素配置 和視差圖像配置的示意性前視圖19是示出三維圖像顯示裝置的要素圖像顯示單元的像素配置 和視差圖像配置的示意性前視圖20是示出一維IP方法的像素、要素圖像和視差遮障之間的位 置關(guān)系的示意圖21是示出一維IP方法的像素、要素圖像和透鏡板之間的位置 關(guān)系的示意圖；以及
圖22是示出要由三維圖像顯示裝置的要素圖像顯示單元進(jìn)行的 圖像排列方法的示意圖。
具體實施例方式
以下是參照附圖對作為本發(fā)明實施例的三維圖像顯示裝置的說明。
圖1是示出用于說明在根據(jù)本發(fā)明的一實施例的一維IP類型的三 維圖像顯示裝置中使用的圖像轉(zhuǎn)換方法的數(shù)據(jù)空間的概念圖。圖1中 所示的數(shù)據(jù)空間基本等同于通常所知的光場或光線空間(EPI)。在 圖1中，橫坐標(biāo)軸表示每個照相機(jī)圖像的x坐標(biāo)(鏡頭編號(分配給 每個要素圖像的編號))，縱坐標(biāo)軸表示照相機(jī)編號。在縱軸方向的 兩側(cè)分配的編號是視差編號。每一個矩形(在其中心具有點(diǎn))p代表 視差成分圖像(照相機(jī)圖像)的一個像素數(shù)據(jù)。 一個像素數(shù)據(jù)P被示 出為只針對照相機(jī)圖像的垂直方向坐標(biāo)(y坐標(biāo))上的一個值的數(shù)據(jù) 空間。更具體來說，圖1中所示的所有像素數(shù)據(jù)代表同一y坐標(biāo)上的 照相機(jī)圖像。在圖1中，視差數(shù)量是12。在平行光線一維IP類型的
8情況下，使用由代表觀看邊界的兩個實斜線g!和g2限定的平行四邊
形，照相機(jī)的數(shù)量大于12，并且所述照相機(jī)具有彼此不同的x坐標(biāo)范圍。
現(xiàn)在參考圖2A至圖3B說明受損(偽)圖像。圖2A和圖2B是 從觀看區(qū)域的左端和右端看到的由根據(jù)本實施例的一維IP類型的三 維圖像顯示裝置形成的正常三維圖像的概念圖。圖3A和圖3B示出在 圖像的兩端附近看到的受損圖像的示例，其中在不同于預(yù)定觀看距離 的觀看距離處和不同于預(yù)定觀看區(qū)域的觀看區(qū)域中再現(xiàn)或觀察基于預(yù) 定觀看距離和預(yù)定觀看區(qū)域產(chǎn)生的視頻內(nèi)容。在此情況下，在縱向區(qū) 域中出現(xiàn)圖2A和圖2B中所示的原始圖像的部分重疊圖像?？梢詮挠^ 看區(qū)域的中心看到在每個圖像兩端的這種受損圖像。
為了防止在不同于原始條件的條件下再現(xiàn)或觀察原始圖像時出現(xiàn) 受損圖像，應(yīng)該在圖1的數(shù)據(jù)空間中將代表觀看邊界的實斜線g,和g2 改變?yōu)榫哂胁煌谛本€^和g2的傾斜度的斜線g3和g4。代表觀看邊 界的直線的傾斜度與(要素圖像的平均寬度-(視差數(shù)量x子像素寬 度))成比例。然而，在觀看距離和觀看區(qū)域^f皮預(yù)先設(shè)定并且每個照 相機(jī)圖像的數(shù)據(jù)只存在于最小x坐標(biāo)范圍中的情況下，當(dāng)代表觀看邊 界的線被改變時，引起數(shù)據(jù)丟失。在圖1中，黑色像素代表缺失數(shù)據(jù)。 該缺失數(shù)據(jù)用同一要素圖像(在數(shù)據(jù)空間中具有相同的x坐標(biāo)和相同 的透鏡編號)中相鄰照相機(jī)的像素的副本來替換，從而保持觀看區(qū)域 中圖像的連續(xù)性。在此情況下，由于用相鄰視差數(shù)據(jù)替換缺失數(shù)據(jù)， 所以圖像的對應(yīng)部分從三維變成二維。然而，該部分僅是屏幕的觀看 邊界或端部附近很小的區(qū)域，因此，在觀看時沒有不舒服的感覺。
圖4是示出由根據(jù)本實施例的一維IP類型的三維圖像顯示裝置設(shè) 定的觀看區(qū)域的示例的概念圖。在圖4中，觀看區(qū)域381被預(yù)先設(shè)定。 在圖4中，附圖標(biāo)記332表示光學(xué)板(視差遮障)，附圖標(biāo)記429表 示照相機(jī)。圖5是示出由根據(jù)本實施例的一維IP類型的三維圖像顯示 裝置設(shè)定的觀看區(qū)域的示例的概念圖。圖5示出作為光學(xué)板332的透 鏡板的透鏡間距略微變化(如果透鏡板位于要素圖像顯示單元的前方則變短)，并且觀看區(qū)域381和最佳觀看距離(觀看區(qū)域最寬時的觀 看距離)也變化的示例情況。在此，觀看區(qū)域381改變?yōu)橛^看區(qū)域382。 為了將觀看區(qū)域382調(diào)節(jié)為原始觀看區(qū)域381,要素圖像的平均寬度 需要略微小些。因此，在圖1中所示的數(shù)據(jù)空間中，代表觀看邊界的 斜線被移動以略微減小相對于數(shù)據(jù)空間的中心點(diǎn)O的傾斜度，并且用 每列內(nèi)的部分(照相機(jī)編號較為接近觀看區(qū)域中心的部分)替換平行 四邊形中的缺失部分(平行四邊形的左上部分和右下部分)。為了從 較短的觀看距離觀看該圖像而沒有圖4的情況下的受損圖像，要素圖 像的平均寬度需要略微大些。在此情況下，在圖1中所示的數(shù)據(jù)空間 中，代表觀看邊界的斜線被移動以略微增加相對于數(shù)據(jù)空間的中心點(diǎn) O的傾斜度，并且用每列內(nèi)的部分(照相機(jī)編號較為接近觀看區(qū)域中 心的部分)替換平行四邊形中的缺失部分(平行四邊形的右上部分和 左下部分)。如果在屏幕的端部(數(shù)據(jù)空間中的x坐標(biāo)的兩端)附近 引起數(shù)據(jù)缺失，則該缺失數(shù)據(jù)可能是兩個或更多個照相機(jī)的數(shù)據(jù)。在 此情況下，也應(yīng)該用每列內(nèi)的部分(照相機(jī)編號較為接近觀看區(qū)域中 心的部分)替換該缺失數(shù)據(jù)。
圖6示出要由根據(jù)本實施例的一維IP類型的三維圖像顯示裝置使 用的每個視差成分圖像。圖6示出在視差數(shù)量是18并且照相機(jī)數(shù)量是 30的情況下視差成分圖像的使用范圍的形狀的示例。圖6中所示的數(shù) 字是對應(yīng)于各視差成分圖像的視差編號。由實線表示的每個區(qū)域代表 要用于顯示視差成分圖像的三維圖像的數(shù)據(jù)，而由虛線表示的每個區(qū) 域代表將不用于顯示視差成分圖像的三維圖像的數(shù)據(jù)。如在圖1中所 示的示例情況中，其中視差數(shù)量是12,照相機(jī)具有彼此不同的使用范 圍。然而，如果將每兩個下述圖像的使用范圍組合，其中這兩個圖像 被分配有相差了與視差數(shù)量相同值的照相機(jī)編號，則得到如圖7中所 示的18個相同尺寸的圖像。圖7示出要由根據(jù)本實施例的一維IP類 型的三維圖像顯示裝置使用的格式，其中視差成分圖像被組合。例如， 具有個照相機(jī)編號組合(-9， 10)、 (-8， 11)、 (-7,12)、 (-6， 13)、(-5， 14)、 (-4,15)、 (一15，4)、 (-14,5)、 (一13，6)、 (-12， 7)、 (一11，8)和(-lO， 9)中的每一個的圖像的使用范圍將被組合。此外，如圖8中 所示，可以將18個圖像組合為一個格式，從而形成所有視差成分圖像 的組合圖像。該組合圖像具有與要顯示在顯示單元上的要素圖像的最 終圖像相同的尺寸。在JP-A 2006-98779 (KOKAI)中公開了這種組合 視差成分圖像的方法。通過沿著預(yù)定的y坐標(biāo)平面切割與圖7中所示 的數(shù)量與像差數(shù)量相同的組合圖像的組(stack)所獲得的斷面等同于 圖1中所示的圖。
因此，在不調(diào)節(jié)觀看區(qū)域的情況下，圖8中所示的所有圖像的組 合的格式的每個像素被轉(zhuǎn)換為最終顯示格式的像素(視差交錯圖像或 要素圖像陣列)。圖8示出要由根據(jù)本實施例的一維IP類型的三維圖 像顯示裝置使用的全部圖像組合格式，其中全部視差成分圖像都被組 合。然而，如本實施例中，在圖4和圖5中所示的觀看區(qū)域要被調(diào)節(jié) 的情況下，在逐個像素轉(zhuǎn)換(映射)操作中不轉(zhuǎn)換在調(diào)節(jié)之前和之后 存在于觀看邊界之間的像素，但是作為替代，轉(zhuǎn)換同一列上(同一要 素圖像中)的相鄰像素數(shù)據(jù)。以這種方式產(chǎn)生觀看區(qū)域調(diào)節(jié)圖像。在 此，每一個相鄰像素數(shù)據(jù)對應(yīng)于兩個或更多個像素數(shù)據(jù)。本實施例的 三維圖像顯示裝置具有進(jìn)行這種圖像數(shù)據(jù)轉(zhuǎn)換操作的圖像數(shù)據(jù)轉(zhuǎn)換單 元。在利用示出轉(zhuǎn)換之前和之后的像素之間對應(yīng)關(guān)系的映射(轉(zhuǎn)換表) 進(jìn)行逐個像素轉(zhuǎn)換的情況下，當(dāng)該裝置操作從常規(guī)顯示操作改變到觀 看區(qū)域調(diào)節(jié)操作時，只簡單地切換該映射。在這種方式下，觀看區(qū)域 調(diào)節(jié)操作不增加處理負(fù)荷。
圖9A是根據(jù)本實施例的三維圖像顯示裝置的圖像數(shù)據(jù)轉(zhuǎn)換單元 的框圖，圖9B是要由圖像數(shù)據(jù)轉(zhuǎn)換單元進(jìn)行的觀看區(qū)域調(diào)節(jié)操作(顯 示方法)的流程圖。如圖9A和圖9B中所示，由計算要素圖像平均寬 度調(diào)節(jié)值或輸出的三維視頻圖像的要素圖像的最佳平均寬度的要素圖 像寬度調(diào)節(jié)值計算單元73進(jìn)行圖像數(shù)據(jù)轉(zhuǎn)換單元的觀看區(qū)域調(diào)節(jié)操 作(步驟l)?；谟梢貓D像默認(rèn)值保持單元70保持的要素圖像默 認(rèn)值、由溫度檢測單元71在要素圖像顯示單元附近檢測到的溫度以及 由觀看距離檢測單元72檢測到的觀看者的觀看距離來計算該平均寬
ii度調(diào)節(jié)值。圖像轉(zhuǎn)換規(guī)則生成單元74基于計算出的要素圖像平均寬度 調(diào)節(jié)值生成轉(zhuǎn)換規(guī)則(像素對應(yīng)關(guān)系映射或轉(zhuǎn)換表)(步驟S2)。像 素轉(zhuǎn)換單元75根據(jù)該映射等轉(zhuǎn)換輸入圖像的像素(步驟S3 )。具有 最終顯示格式的轉(zhuǎn)換圖像(視差交錯圖像或要素圖像陣列)被發(fā)送到 顯示轉(zhuǎn)換圖像的要素圖像顯示單元76 (步驟S4)。
如上所述，在輸入圖像數(shù)據(jù)中要素圖像的平均寬度不同于本實施 例中要輸出的三維視頻圖像中要素圖像的平均寬度的情況下，進(jìn)行圖 像數(shù)據(jù)轉(zhuǎn)換，使得用同一要素圖像中的相鄰視差成分替換缺失的圖像 數(shù)據(jù)。
在該圖像數(shù)據(jù)轉(zhuǎn)換操作中，不轉(zhuǎn)換輸入的多視點(diǎn)圖像中的 一些像 素，但是進(jìn)行選擇性的轉(zhuǎn)換操作，以在兩個或更多個位置處轉(zhuǎn)換一些 像素。在該方式下，像素被轉(zhuǎn)換為要素圖像顯示單元的顯示格式的圖 像。
此外，在以瓦狀(tile-like)方式排列輸入的多視點(diǎn)圖像的格式下， 一些像素不被轉(zhuǎn)換，但是進(jìn)行選擇性的轉(zhuǎn)換操作，以在兩個或更多個 位置處轉(zhuǎn)換一些像素。在該方式下，像素被轉(zhuǎn)換為要素圖像顯示單元 的顯示格式的圖像。
本實施例的三維視頻顯示的光學(xué)板的光學(xué)開口可以不是垂直的， 而可以具有傾斜、Z字形或臺階狀的形狀。此外，該顯示裝置上的像 素排列可以是德耳塔排列。在任何一種情況下，都可以根據(jù)本實施例 的方法通過筒單的程序來調(diào)節(jié)觀看區(qū)域。
現(xiàn)在參考圖IOA至圖22說明使用IP類型視差圖像排列的三維視 頻顯示操作。結(jié)合已經(jīng)參照圖l至圖9B說明的顯示方法來表達(dá)圖10A 至圖22中所示的三維圖像顯示操作。在此，說明視差數(shù)量是18的示 例情況。
圖10A是作為光學(xué)板的透鏡板334的透視圖，圖IOB是形成光學(xué) 板的狹縫陣列333的透視圖。在圖IOA和圖10B中，Ps表示視差遮 障間距，Pp表示要素圖像顯示單元的像素間距。
圖ll示意性示出三維圖像顯示裝置的結(jié)構(gòu)。在該結(jié)構(gòu)中，如果需要，在要素圖像顯示單元331和透鏡板(光學(xué)板)332之間提供漫射 片301。當(dāng)從標(biāo)準(zhǔn)觀看距離處的視點(diǎn)343觀看時，在由水平觀看角431 和垂直觀看角342限定的范圍內(nèi)觀察三維圖像。然而，視差被限制到 水平方向。
圖12 (a)、圖12 (b)和圖12 (c)是示出利用圖11中所示的 三維圖像顯示裝置的顯示單元，在垂直平面和水平平面中的光線再現(xiàn) 范圍的示意性展開圖。圖12 (a)是要素圖像顯示單元331和視差遮 障332的前視圖。圖12 (b)是示出三維圖像顯示裝置的圖像排列的 平面圖。圖12 (c)是三維圖像顯示裝置的側(cè)視圖。如圖11至圖12 (c)中所示，該三維圖像顯示裝置包括例如液晶顯示裝置的平面圖像 顯示單元(要素圖像顯示單元)331和具有光學(xué)開口的光學(xué)板332。如 圖IOA和圖10B中所示，由在水平方向上以規(guī)則的間隔排列的透鏡板 334或狹縫陣列333形成在垂直方向上直線延伸的光學(xué)開口。在投影 類型顯示單元的情況下，由曲面鏡陣列等形成該光學(xué)開口。
在該三維圖像顯示裝置中，當(dāng)在由水平觀看角341和垂直觀看角 342限定的范圍內(nèi)通過視差遮障332從視點(diǎn)343觀看顯示裝置331時， 可以在光學(xué)板332的前側(cè)和后側(cè)觀察到三維圖像。在此，在一個像素 單位是最小的正方形單位的示例情況下，要素圖像顯示單元331的像 素數(shù)量在橫向上(水平方向)是1920,在縱向上(垂直方向)是1200。 每個最小單位像素包含紅(R)、綠(G)和藍(lán)(B)子像素。
在圖12 (a)、圖12 (b)和圖12 (c)中，視差遮障332和觀看 平面343之間的觀看距離L、視差遮障間距Ps以及視差遮障332和要 素圖像顯示單元331之間的距離d (視差遮障距離)被限定，從而基 于從觀看距離平面343中的視點(diǎn)投影在顯示裝置上的開口中心的間隔 確定要素圖像間距Pe。附圖標(biāo)記346表示連接視點(diǎn)和每個開口中心的 線。觀看區(qū)域?qū)挾萕被設(shè)定為使得要素圖像在顯示單元331的像素平 面上不相互重疊。
通過一維IP方法，直線346不必穿過顯示單元331的顯示面上的 每個子像素的中心。另一方面，通過多視點(diǎn)方法，連接視點(diǎn)和每個開口中心的線穿過每個子像素的中心，并且等同于光線軌跡。在開口的
水平間距Ps是子像素間距Pp的整數(shù)倍的情況下，要素圖像間距Pe 是子像素間距Pp的整數(shù)倍加上一分?jǐn)?shù)。即使開口的水平間距Ps不是 子像素間距Pp的整數(shù)倍，通過一維IP方法，要素圖像間距Pe—般 也是子像素間距Pp的整數(shù)倍加上一分?jǐn)?shù)。另一方面，通過多視點(diǎn)方 法，要素圖像間距Pe是子像素間距Pp的整數(shù)倍。
圖13A和圖13B示出根據(jù)本發(fā)明的一個實施例通過一維IP方法 形成視差成分圖像和三維圖像的方法。要被顯示的對象421被投影在 與三維圖像顯示裝置的光學(xué)板所處的面處于同一位置的投影面422 上。為了獲得沒有失真的三維圖像，如圖13A中所示，沿著向平行于 該投影面的投影中心線423延伸的投影線425投影該圖像，該圖像位 于投影面的前方(在垂直方向的中心)，并存在于觀看距離平面中， 使得在水平方向上進(jìn)行正投影的同時在垂直方向上進(jìn)行透視投影。投 影線425在垂直方向上與投影中心線423相交，而不在水平方向上相 交。通過該投影方法，對象421的圖像424形成在投影面422上。在 三維圖像失真從而強(qiáng)調(diào)立體視覺效果的情況下，如圖13B中所示，該 圖像沿著向一點(diǎn)(照相機(jī)位置)延伸的投影線425投影在平行于投影 面422的投影中心線423上，該圖像位于投影面422的前方(在垂直 方向的中心處)，并且存在于觀看距離平面中，從而進(jìn)行規(guī)則的透視 投影。通過該方法，對象421的圖像形成在投影面422上。在高度地 需要抑制三維圖像的失真而又只能進(jìn)行規(guī)則透視投影的情況下，應(yīng)該 在CG模型變形之后使用該投影方法。在z方向上(深度方向)進(jìn)行 反比例形變，其中對于近區(qū)域(觀察者和最靠近觀察者的光學(xué)板表面 之間的區(qū)域)，在x方向上減??；對于遠(yuǎn)區(qū)域(超出距離觀察者最遠(yuǎn) 的光學(xué)板的表面的區(qū)域)，在x方向上增大。
根據(jù)觀看距離需要有幾十個投影方向。在觀看距離是1000mm并 使用平行光線一維IP方法的情況下，要素圖像寬度是子像素寬度的 18.036倍。在此情況下，照相機(jī)的數(shù)量是30。如圖6和圖14中所示， 投影圖像(視差成分圖像)將只形成在必要范圍內(nèi)的列上。投影方向?qū)?yīng)于視差編號(照相機(jī)編號)。投影方向不以規(guī)則角度排列，但是 在觀看距離平面中以規(guī)則間隔排列。因此，照相機(jī)在投影中心線上以 規(guī)則的間隔平行移動。
圖15示出由三維圖像顯示方法形成的圖像的示意圖?？刂圃谒?方向上以規(guī)則間隔排列的照相機(jī)429以拍攝投影面422的圖像。附圖 標(biāo)記421表示要顯示的對象。在圖15中，L代表觀看距離，P表示照 相機(jī)429的間距，Zn表示在近區(qū)域上的三維圖像顯示范圍，Zf表示 在遠(yuǎn)區(qū)域上的三維圖像顯示范圍。如圖6中所示，透視投影在投影面 422上的各方向的圖像(視差成分圖像)形成在投影面上的各個區(qū)域 中。然而，該圖像被組合成如圖7中所示的組合圖像組，或者如圖8 中所示的總體組合圖像。圖16示出從該格式轉(zhuǎn)換圖像的方法。從視差 交錯圖像的左端向右端從第一列開始每18個子像素設(shè)置包含觀看區(qū) 域右端的照相機(jī)圖像(# - 9)的組合圖像。在垂直方向上混排該組合 圖像中每個像素的三個子像素。從視差交錯圖像的左端向右端從第二 列開始每18個子像素設(shè)置包含照相機(jī)圖像(# -8)并且是從觀看區(qū) 域的右端第二個組合圖像的組合圖像。在垂直方向上混排該組合圖<象 中每個像素的三個子像素。重復(fù)該操作。最后，從視差交錯圖像的左 端向右端從第18列開始每18個子像素設(shè)置包含觀看區(qū)域左端的照相 機(jī)圖像(#9)的組合圖像。在垂直方向上混排該組合圖像中每個像素 的三個子像素。通過該逐一轉(zhuǎn)換操作，在要素圖像顯示面上完成視差 交錯圖像。
圖17示意性示出本實施例的三維圖像顯示裝置的部分結(jié)構(gòu)。在例 如液晶面板的平面要素圖像顯示單元的顯示面的前面上提供由具有在 垂直方向上延伸的光學(xué)開口的柱面透鏡形成的透鏡板334作為光學(xué) 板。該光學(xué)開口可以具有傾斜形狀或臺階形狀。在顯示面上，以矩陣 方式排列縱橫比為3:1的子像素34。在此，沿著水平方向上的直線并 沿著垂直方向上的直線對準(zhǔn)子像素34。此外，將子像素34排列成使 得在同 一行和同 一 列上的水平方向上周期出現(xiàn)紅像素、綠像素和藍(lán)像 素。該顏色排列是通常所知的馬賽克(mosaic)排列。
15圖18示出像素排列的示例平面圖。編號"-9"至"9"是視差編 號，將每兩個相鄰的視差編號分配給兩個相鄰的列。每行中的子像素 的周期數(shù)是每列中的子像素的周期數(shù)三倍大。在圖18中所示的顯示屏 幕上，按18列和6行排列的子像素34構(gòu)成一個有效像素43(在圖17 中用粗線框表示該有效像素43)，或者按18列和3行排列的子像素 34構(gòu)成一個有效像素。利用具有該結(jié)構(gòu)的顯示單元可以顯示在水平方 向上具有18個視差的三維圖像。在多視點(diǎn)結(jié)構(gòu)中采用該顯示結(jié)構(gòu)的情 況下，視點(diǎn)數(shù)量是18，要素圖像間距是18個子像素，并且光學(xué)板的 水平間距小于18個子像素。
在IP類型情況下，以比18個子像素的總寬度稍大的間隔(例如 18.036)形成要素圖像邊界，在這種結(jié)構(gòu)中，視差遮障間距Ps等于18 個子像素并形成平行光線的組合。因此，根據(jù)有效像素在顯示平面中 的位置，有效像素的寬度等于18列或19列。更具體來說，要素圖像 間距的平均值大于18個子像素的總寬度，并且光學(xué)板的水平間距等于 18個子像素的總寬度。圖19示出有效像素的寬度等于19列的示例情 況。
圖20和圖21是三維圖像顯示裝置的顯示單元的示意性水平截面 圖。如圖20和圖21中所示，透鏡板334的狹縫333或透鏡的水平方 向間距Ps (間隔)被設(shè)定為與整數(shù)個的子像素的總寬度相同的值。更 具體來說，穿過狹縫332之間的中心延伸的中心軸351和穿過透鏡之 間的邊界延伸的基準(zhǔn)軸352穿過子像素之間的邊界。在中心軸351之 間的區(qū)域和基準(zhǔn)軸352之間的區(qū)域中提供整數(shù)個的子像素335，并且 將中心軸351和基準(zhǔn)軸352的水平方向間距Ps(間隔)固定為恒定值。 在圖20和圖21中所示的示例中，間距Ps被設(shè)定為與18個子像素的 總寬度相同的值?？紤]到玻璃襯底和透鏡材料的折射率，將要素圖像 顯示單元的顯示面(像素平面)331和視差遮障332和334之間的視 差遮障距離有效地設(shè)定為大約2mm。在圖20和圖21中，附圖標(biāo)記 343表示觀看距離平面，附圖標(biāo)記363表示分配給視差成分圖像的編 號。圖22是根據(jù)本發(fā)明實施例的IP類型三維圖像顯示裝置的要素圖 像顯示單元的概念圖。圖22示出用于說明在要素圖像顯示單元的顯示 平面中排列圖像的方法的顯示單元的前視圖。要素圖像顯示單元的顯 示平面被劃分為對應(yīng)于各開口 (光學(xué)板的開口部分)的要素圖像370。 根據(jù)IP方法，每個要素圖像370由18個或19個子像素列365形成。 可分配視差的子像素列的總數(shù)為5760，并且開口的數(shù)量為320 (在圖 22中，示出開口編號的區(qū)域364包括范圍# -160至# -l和范圍#1 至#160)。開口間距Ps等于18個子像素的總寬度。在圖22中，子 像素列365被提供有示出對應(yīng)視差編號的區(qū)域363 (在該示例情況中 為#見差編號-15至-1和視差編號1至15的30個方向)。開口編號 #1的要素圖像370由視差編號-9至-1和視差編號1至9的18個 視差列形成。開口編號# -159的要素圖像由視差編號-15至-1和 視差編號1至3的18個視差列形成。由于每個要素圖像370的寬度稍 大于18個子像素的總寬度，所以每兩個要素圖像370之間的邊界被調(diào) 節(jié)到最靠近的子像素列邊界(傳統(tǒng)的A-D轉(zhuǎn)換方法)。在此情況下， 對于大多數(shù)開口來說，關(guān)于開口的子像素列的數(shù)量是18。然而， 一些 開口具有19個子像素列(見圖18和圖19)。在具有19個子像素列 的每個開口之外，每個開口的視差編號移位1。分配給具有19個子像 素列的開口的編號為#14、 #42、 #70、 #98、 #125和#153(以及 這些編號的負(fù)編號)(在觀看距離是1000mm的情況下)。
在圖14中，示出了在各方向上視差圖像配置開始和結(jié)束的透鏡編 號(該表中的3-D像素編號)，在該表中，還示出了要素圖像顯示 單元(液晶面板)的對應(yīng)子像素列編號。
如上所述，根據(jù)本發(fā)明，在一維IP結(jié)構(gòu)下，通過調(diào)節(jié)觀看區(qū)域可 以容易地抑制受損圖像的產(chǎn)生而不會增加處理負(fù)荷和減小觀看區(qū)域。
應(yīng)該注意，本發(fā)明不局限于上述實施例，在不偏離本發(fā)明范圍的 情況下，可以對那些實施例的構(gòu)成要素進(jìn)行修改。
此外，還可以組合上述實施例中公開的構(gòu)成要素以形成各種其它 實施例。例如，可以去除上述實施例中公開的一些構(gòu)成要素，或者可以組合不同實施例的構(gòu)成要素。
對于本領(lǐng)域的技術(shù)人員來說，附加的優(yōu)點(diǎn)和修改是容易想到的。
因此，在更寬的方面上，本發(fā)明不局限于這里所示出和描述的特定細(xì) 節(jié)和代表性的實施例。因此，在不偏離由所附權(quán)利要求及其等同物限 定的總的發(fā)明概念的精神或范圍的情況下可以進(jìn)行各種修改。
權(quán)利要求
1.一種三維圖像顯示裝置，包括要素圖像顯示單元，其具有在顯示平面中以矩陣形式排列的像素，并顯示要素圖像；光學(xué)板，其被設(shè)置為面對所述要素圖像顯示單元，在垂直方向上直線延伸，并控制來自所述要素圖像顯示單元的光線，所述光學(xué)板具有在水平方向上周期排列的光學(xué)開口；以及圖像數(shù)據(jù)轉(zhuǎn)換單元，其基于輸入圖像數(shù)據(jù)中的要素圖像的平均寬度和要輸出的三維視頻圖像中的要素圖像的最佳平均寬度轉(zhuǎn)換圖像數(shù)據(jù)，從而用同一要素圖像中的相鄰視差成分替換缺失的圖像數(shù)據(jù)。
2. 根據(jù)權(quán)利要求l所述的裝置，其特征在于，所述圖像數(shù)據(jù)轉(zhuǎn)換 單元具有溫度檢測單元，該溫度檢測單元檢測所述要素圖像顯示單元 附近的溫度，從而確定要輸出的三維視頻圖像的要素圖像的最佳平均 寬度。
3. 根據(jù)權(quán)利要求l所述的裝置，其特征在于，所述圖像數(shù)據(jù)轉(zhuǎn)換 單元具有檢測觀看者距離的距離檢測單元，從而確定要輸出的三維視 頻圖像的要素圖像的最佳平均寬度。
4. 一種三維圖像顯示方法，用于利用要素圖像顯示單元和光學(xué)板 顯示三維圖像，其中所述要素圖像顯示單元具有在顯示平面中以矩 陣形式排列的像素，并顯示要素圖像；所述光學(xué)板被設(shè)置為面對所述 要素圖像顯示單元，在垂直方向上直線延伸，并控制來自所述要素圖 像顯示單元的光線，所述光學(xué)板具有在水平方向上周期排列的光學(xué)開該方法包括基于輸入圖像數(shù)據(jù)中的要素圖像的平均寬度和要輸出 的三維視頻圖像中的要素圖像的最佳平均寬度轉(zhuǎn)換圖像數(shù)據(jù)，從而用同 一要素圖像中的相鄰視差成分替換缺失的圖像數(shù)據(jù)。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，轉(zhuǎn)換圖像數(shù)據(jù)包括 通過選擇性轉(zhuǎn)換操作將所述圖像數(shù)據(jù)轉(zhuǎn)換為所述要素圖像顯示單元的 顯示格式，在所述選擇性轉(zhuǎn)換操作中輸入多視點(diǎn)圖像中的一些像素不 被轉(zhuǎn)換，但是在兩個或更多個位置處轉(zhuǎn)換一些其它像素。
6. 根據(jù)權(quán)利要求4所述的方法，其特征在于，轉(zhuǎn)換圖像數(shù)據(jù)包括 通過選擇性轉(zhuǎn)換操作將所述圖像數(shù)據(jù)轉(zhuǎn)換為所述要素圖像顯示單元的 顯示格式，在所述選擇性轉(zhuǎn)換操作中具有以瓦狀方式排列的輸入多視 點(diǎn)圖像像素的格式的一些像素不被轉(zhuǎn)換，但是在兩個或更多個位置處 轉(zhuǎn)換一些其它像素。
全文摘要
可以提供一種三維圖像顯示裝置，利用該裝置可以容易地調(diào)節(jié)平行光線一維IP系統(tǒng)中的觀看區(qū)域而不降低處理速度。三維圖像顯示裝置包括要素圖像顯示單元，其具有在顯示平面中以矩陣形式排列的像素，并顯示要素圖像；光學(xué)板，其被設(shè)置為面對所述要素圖像顯示單元，在垂直方向上直線延伸，并控制來自所述要素圖像顯示單元的光線，所述光學(xué)板具有在水平方向上周期排列的光學(xué)開口；以及圖像數(shù)據(jù)轉(zhuǎn)換單元，其基于輸入圖像數(shù)據(jù)中的要素圖像的平均寬度和要輸出的三維視頻圖像中的要素圖像的最佳平均寬度轉(zhuǎn)換圖像數(shù)據(jù)，從而用同一要素圖像中的相鄰視差成分替換缺失的圖像數(shù)據(jù)。
文檔編號H04N13/00GK101554060SQ20078002798
公開日2009年10月7日 申請日期2007年8月31日 優(yōu)先權(quán)日2006年9月7日
發(fā)明者最首達(dá)夫, 福島理惠子 申請人:株式會社東芝