專利名稱：立體圖像顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種顯示能作為立體圖像觀察的圖像的立體圖像顯示裝置。
背景技術(shù)：
作為現(xiàn)有的立體圖像顯示裝置，公知如下的立體圖像顯示裝置，即通過(guò)左右2臺(tái) 照相機(jī)拍攝雙眼所對(duì)應(yīng)的2個(gè)圖像，并將這些圖像顯示于2視點(diǎn)型的顯示器。這樣的顯示 裝置，在2臺(tái)照相機(jī)的間隔與人類眼睛的間隔不同的情況下，存在著立體感產(chǎn)生不協(xié)調(diào)的 問(wèn)題。作為解決這樣的問(wèn)題的方法，專利文獻(xiàn)1公開(kāi)了如下的方法，即為使顯示裝置進(jìn) 行顯示時(shí)的圖像的視差量變?yōu)閷?shí)際人類觀察被攝體時(shí)的視差量，針對(duì)利用左右2臺(tái)照相機(jī) 得到的2個(gè)圖像中的一個(gè)圖像，利用這些圖像中的另一個(gè)圖像進(jìn)行修正。在專利文獻(xiàn)1的方法中，提取由左右照相機(jī)拍攝到的2個(gè)圖像的對(duì)應(yīng)點(diǎn)，并根據(jù)該 對(duì)應(yīng)點(diǎn)的像素位置來(lái)計(jì)算距離信息。此時(shí)，在左圖像和右圖像中存在著找不到對(duì)應(yīng)點(diǎn)的像 素位置。由于找不到對(duì)應(yīng)點(diǎn)的像素位置的圖像信息包括在由左右照相機(jī)拍攝到的2個(gè)圖像 中的任意一個(gè)中，因此能夠利用該圖像信息來(lái)修正視差修正后的圖像。根據(jù)這樣的方法，能 夠生成沒(méi)有不協(xié)調(diào)感的立體圖像。專利文獻(xiàn)1 日本特開(kāi)平8-126034號(hào)公報(bào)(參照第
、

段 及圖3 5)在專利文獻(xiàn)1中，前提是左右照相機(jī)的間隔(攝像時(shí)的光軸間隔)比實(shí)際人類觀 察被攝體時(shí)的雙眼的間隔(觀察時(shí)的光軸間隔)大。這種情況下，所生成的圖像的所有像 素位置的圖像信息，包括在由2臺(tái)照相機(jī)拍攝到的圖像中的任意一個(gè)中。對(duì)此，本申請(qǐng)發(fā)明用于解決如下問(wèn)題點(diǎn)，即要利用通過(guò)例如可搭載于便攜式電話 這樣的光軸間隔非常窄的2個(gè)攝像光學(xué)系統(tǒng)所拍攝到的2個(gè)圖像，顯示沒(méi)有不協(xié)調(diào)感的立 體圖像的情況下的問(wèn)題點(diǎn)。在這樣的情況下，為了得到?jīng)]有不協(xié)調(diào)感的立體圖像，需要生成來(lái)自比2個(gè)攝像 光學(xué)系統(tǒng)的光軸間隔寬的間隔的視點(diǎn)的圖像?？墒牵谶@樣的情況下，有時(shí)在攝影時(shí)成為近 距離的被攝體的陰影而看不到的部分，卻要在想要生成的圖像中能夠看到。在想要生成的 圖像中才初次能看到的部分的圖像信息，并沒(méi)有包括在拍攝到的2個(gè)圖像中的任何一個(gè)當(dāng) 中。當(dāng)發(fā)生這樣的圖像信息的缺失時(shí)，觀察者的畫(huà)質(zhì)感會(huì)劣化。

發(fā)明內(nèi)容
本發(fā)明是用于解決上述課題而進(jìn)行的，其主要目的在于提供一種即使利用由光軸 間隔窄的2個(gè)攝像光學(xué)系統(tǒng)所拍攝到的2個(gè)圖像，也可大幅地降低由圖像信息缺失部導(dǎo)致 的觀察者的畫(huà)質(zhì)感的劣化，可得到高畫(huà)質(zhì)且沒(méi)有不協(xié)調(diào)感的立體圖像的立體圖像顯示裝置。本發(fā)明的第1立體圖像顯示裝置，具有圖像生成部，利用由以第1光軸間隔配置的2個(gè)攝像部所拍攝到的第1圖像及第2圖像，來(lái)生成來(lái)自以比所述第1光軸間隔寬的間 隔配置的2個(gè)視點(diǎn)的2個(gè)圖像；和顯示部，按照能用雙眼各自分別觀察的方式來(lái)顯示由所述 圖像生成部生成的2個(gè)圖像，所述圖像生成部具有坐標(biāo)變換部，按照該圖像生成部生成的 2個(gè)圖像所具有的視差量變?yōu)樗?個(gè)視點(diǎn)間的視差量的方式，將所拍攝到的所述第1圖像 及所述第2圖像中的至少一個(gè)圖像的坐標(biāo)按每個(gè)構(gòu)成單位進(jìn)行變換；和圖像插補(bǔ)部，通過(guò) 插補(bǔ)來(lái)生成由所述坐標(biāo)的變換導(dǎo)致圖像信息缺失的像素的圖像信息。在某一實(shí)施方式中，還具有用戶能操作的指示部，所述坐標(biāo)變換部基于來(lái)自所述 指示部的輸入信號(hào)向顯示部輸出坐標(biāo)被變換后的坐標(biāo)變換圖像和坐標(biāo)未被變換的無(wú)坐標(biāo) 變換圖像。在某一實(shí)施方式中，所述顯示部按照能由用戶的優(yōu)勢(shì)眼觀察的方式來(lái)顯示所述無(wú) 坐標(biāo)變換圖像。在某一實(shí)施方式中，所述坐標(biāo)變換部將通過(guò)給所述第1圖像中的各構(gòu)成單位的坐 標(biāo)值附加所述2個(gè)視點(diǎn)間的視差量的值而生成的圖像作為所述坐標(biāo)變換圖像進(jìn)行輸出，將 所述第1圖像作為所述無(wú)坐標(biāo)變換圖像進(jìn)行輸出。在某一實(shí)施方式中，所述坐標(biāo)變換部將通過(guò)給所拍攝到的所述第1圖像中的各構(gòu) 成單位的坐標(biāo)值附加所述2個(gè)視點(diǎn)間的視差量與所述第1圖像及所述第2圖像所具有的視 差量之差的差值而生成的圖像作為所述坐標(biāo)變換圖像進(jìn)行輸出，將所述第2圖像作為所述 無(wú)坐標(biāo)變換圖像進(jìn)行輸出。在某一實(shí)施方式中，所述圖像生成部還具有坐標(biāo)變換切換部，該坐標(biāo)變換切換部 基于來(lái)自所述指示部的輸入信號(hào)，來(lái)切換針對(duì)所拍攝到的所述第1圖像及所述第2圖像的 哪個(gè)進(jìn)行各構(gòu)成單位的坐標(biāo)的變換。在某一實(shí)施方式中，所述坐標(biāo)變換部按照成為左眼觀察的圖像的方式來(lái)初始設(shè)定 所述坐標(biāo)變換圖像。在某一實(shí)施方式中，所述坐標(biāo)變換部執(zhí)行如下變換給所拍攝到的所述第1圖像 及所述第2圖像的雙方圖像的各構(gòu)成單位的坐標(biāo)值，在互逆方向上附加所述2個(gè)視點(diǎn)間的 視差量與所述第1圖像及所述第2圖像所具有的視差量之差的1/2的值。在某一實(shí)施方式中，所述圖像插補(bǔ)部利用具有所述圖像信息缺失的像素的圖像中 的所述像素以外的部分的信息，來(lái)生成用于插補(bǔ)的圖像信息。在某一實(shí)施方式中，所述圖像插補(bǔ)部基于在所述圖像信息缺失的像素的基線方向 的兩側(cè)相鄰的至少一個(gè)像素的強(qiáng)度信息，來(lái)生成用于插補(bǔ)的圖像信息。在某一實(shí)施方式中，所述2個(gè)視點(diǎn)的間隔為60 70mm。本發(fā)明的攝像及顯示裝置，具備本發(fā)明的第1立體圖像顯示裝置；和2個(gè)攝像 部，以第1光軸間隔配置，所述第1圖像及所述第2圖像是由所述2個(gè)攝像部各自所拍攝到 的圖像。本發(fā)明的第2立體圖像顯示裝置，具有圖像生成部，利用由攝像部所拍攝到的1 個(gè)圖像和所拍攝到的被攝體的距離信息，來(lái)生成來(lái)自以規(guī)定的間隔配置的2個(gè)視點(diǎn)的2個(gè) 圖像；和顯示部，按照能由雙眼各自分別觀察的方式來(lái)顯示由所述圖像生成部生成的2個(gè) 圖像，所述圖像生成部具有坐標(biāo)變換部，執(zhí)行給所述拍攝到的1個(gè)圖像中的各構(gòu)成單位的 坐標(biāo)值附加所述2個(gè)視點(diǎn)間的視差量的變換；和圖像插補(bǔ)部，通過(guò)插補(bǔ)來(lái)生成由所述坐標(biāo)
5的變換導(dǎo)致圖像信 息缺失的像素的圖像信息。在某一實(shí)施方式中，所述圖像生成部還具有坐標(biāo)變換切換部，該坐標(biāo)變換切換部 切換給所拍攝到的所述1個(gè)圖像中的各構(gòu)成單位的坐標(biāo)值附加所述2個(gè)視點(diǎn)間的視差量的 方向。在某一實(shí)施方式中，所述圖像生成部還具有輸出部，該輸出部向顯示部輸出坐標(biāo) 被變換后的圖像和坐標(biāo)未被變換的圖像，所述顯示部按照能由用戶的優(yōu)勢(shì)眼觀察的方式來(lái) 顯示坐標(biāo)未被變換的圖像。(發(fā)明效果)根據(jù)本發(fā)明，通過(guò)按照由顯示裝置所顯示的圖像的視差量變?yōu)橐员鹊?光軸間隔 寬的間隔配置的2個(gè)視點(diǎn)間的視差量的方式進(jìn)行坐標(biāo)變換，能夠得到?jīng)]有不協(xié)調(diào)感的立體 圖像。另外，通過(guò)插補(bǔ)由坐標(biāo)變換產(chǎn)生的圖像信息缺失部，能夠防止畫(huà)質(zhì)感的劣化。


圖1是表示第1實(shí)施方式的立體圖像顯示裝置的框圖。圖2 (a)是表示圖像生成部4的具體構(gòu)成的框圖，圖(b)是表示圖像生成部4的處 理流程的流程圖。圖3是用于說(shuō)明在第1實(shí)施方式中被平行配置的2臺(tái)照相機(jī)的視差的圖。圖4是表示第1實(shí)施方式中的視差量提取算法(algorithm)的流程圖。圖5是表示第1實(shí)施方式中的提取攝像視差量Δ的步驟S102的檢測(cè)塊的圖。圖6是表示第1實(shí)施方式中的視差量評(píng)價(jià)值和檢測(cè)塊的移動(dòng)像素?cái)?shù)k之間關(guān)系的 曲線。圖7是用于說(shuō)明第1實(shí)施方式中的坐標(biāo)變換的原理的圖。圖8是表示在第1實(shí)施方式中形成在攝像元件上的圖像的圖。圖9是表示在第1實(shí)施方式中進(jìn)行了坐標(biāo)變換后的結(jié)果的圖。圖10(a)、(b)是用于說(shuō)明第1實(shí)施方式中的圖像信息缺失部的插補(bǔ)的圖。圖11是表示在第1實(shí)施方式中進(jìn)行了圖像信息缺失部的插補(bǔ)后的結(jié)果的圖。圖12是表示第1實(shí)施方式中的立體顯示器的顯示方式的一例的該略圖。圖13是表示僅由一個(gè)圖像生成立體圖像的步驟的流程圖。圖14是用于說(shuō)明第2實(shí)施方式中的坐標(biāo)變換的原理的圖。圖15是表示在第2實(shí)施方式中形成在攝像元件上的圖像的圖。圖16是表示在第2實(shí)施方式中進(jìn)行了坐標(biāo)變換后的結(jié)果的圖。圖17是表示在第2實(shí)施方式中進(jìn)行了圖像信息缺失部的插補(bǔ)后的結(jié)果的圖。符號(hào)說(shuō)明Ia-左照相機(jī)(camera)，Ib-右照相機(jī)，2-圖像輸入部，3a、3b、5_圖像存儲(chǔ)器， 4-圖像生成部，6-圖像輸出部，7-立體顯示器，IOa-左照相機(jī)的攝像元件，IOb-右照相機(jī) 的攝像元件，Ila-左照相機(jī)的光學(xué)系統(tǒng)，lib-右照相機(jī)的光學(xué)系統(tǒng)，13a-左虛擬攝像元件， 13b-右虛擬攝像元件，14a-左虛擬光學(xué)系統(tǒng)，14b-右虛擬光學(xué)系統(tǒng)，20a-觀察者的左眼， 20b-觀察者的右眼，21-視差柵欄，22-液晶顯示器，60a-左圖像50a的被攝體像，61a-左圖 像50a的背景像，60b-右圖像50b的被攝體像，61b_右圖像50b的背景像，101-校準(zhǔn)處理
6部，102-攝像視差量提取部，103-修正視差量計(jì)算部，104-坐標(biāo)變換部，105-圖像插補(bǔ)部， 106-坐標(biāo)變換圖像切換部，109-指示部。
具體實(shí)施例方式(第1實(shí)施方式)以下，參照附圖，對(duì)本發(fā)明的立體圖像顯示裝置(攝像及顯示裝置)的實(shí)施方式進(jìn) 行說(shuō)明。圖1是表示第1實(shí)施方式的立體圖像顯示裝置(攝像及顯示裝置)的構(gòu)成的框圖。 如圖1所示，本實(shí)施方式的立體圖像顯示裝置具備左照相機(jī)Ia ；右照相機(jī)Ib ；與左照相機(jī) la、右照相機(jī)Ib連接的圖像輸入部2 ；與圖像輸入部2連接的圖像存儲(chǔ)器3a、3b ；與圖像存 儲(chǔ)器3a、!3b連接的圖像生成部4 ；與圖像生成部4連接的圖像存儲(chǔ)器5 ；與圖像存儲(chǔ)器5連 接的圖像輸出部6 ；與圖像輸出部6連接的立體顯示器。左照相機(jī)la、右照相機(jī)Ib被配置成各自的光學(xué)系統(tǒng)(透鏡)的光軸以第1光軸 間隔(BO)分離且處于平行。圖像輸入部2將在左照相機(jī)la、右照相機(jī)Ib的每一個(gè)中拍攝 到的圖像的視頻信號(hào)，按照每一幀變換成數(shù)字圖像數(shù)據(jù)。在圖像輸入部2中變換后的圖像數(shù)據(jù)，分別被存儲(chǔ)到圖像存儲(chǔ)器3a、3b中。例如， 由在左照相機(jī)Ia中拍攝到的圖像所生成的圖像數(shù)據(jù)被存儲(chǔ)到圖像存儲(chǔ)器3a中，由在右照 相機(jī)Ib中拍攝到的圖像所生成的圖像數(shù)據(jù)被存儲(chǔ)到圖像存儲(chǔ)器北中。圖像生成部4利用圖像存儲(chǔ)器3a、!3b存儲(chǔ)的圖像數(shù)據(jù)，來(lái)生成已變換成立體顯示 器7的規(guī)格(format)的圖像數(shù)據(jù)。在圖像生成部4中生成的圖像數(shù)據(jù)，被存儲(chǔ)到輸出用的 圖像存儲(chǔ)器5中。圖像輸出部6將圖像存儲(chǔ)器5存儲(chǔ)的數(shù)字圖像數(shù)據(jù)變換成視頻信號(hào)之后 輸出到立體顯示器7中。接著，利用圖2 (a)、(b)，對(duì)第1實(shí)施方式的立體圖像顯示裝置中的圖像生成部4的 處理流程進(jìn)行說(shuō)明。圖2(a)是表示圖像生成部4的構(gòu)成的框圖。圖像生成部4具有校準(zhǔn) (calibration)處理部101、與校準(zhǔn)處理部101連接的攝像視差量提取部102、與攝像視差量 提取部102連接的修正視差量計(jì)算部103、與修正視差量計(jì)算部103連接的坐標(biāo)變換處理部 104、與坐標(biāo)變換處理部連接的像素插補(bǔ)部105、與修正視差量計(jì)算部103及坐標(biāo)變換部104 連接的坐標(biāo)變換切換部106。圖2 (b)是表示圖像生成部4的處理流程的流程圖。在步驟SlOl中，在校準(zhǔn)處理部101中進(jìn)行圖像存儲(chǔ)器3a、!3b保存的2個(gè)圖像的校 準(zhǔn)處理。通過(guò)該處理進(jìn)行2臺(tái)照相機(jī)的焦點(diǎn)距離的修正(圖像倍率的修正)、失真的修正、 平行化、Bayer 插補(bǔ)(Bayer interpolation)等。在步驟S102中，在攝像視差量提取部102中提取2個(gè)圖像的視差量(攝像視差 量)。關(guān)于2個(gè)圖像的攝像視差量提取處理的一例，利用圖3、圖4、圖5、圖6進(jìn)行說(shuō)明。圖3是用于說(shuō)明由左照相機(jī)la、右照相機(jī)Ib拍攝到的2個(gè)圖像間的視差的圖。在 圖3中，χ表示水平方向，y(未圖示)表示垂直方向，ζ表示進(jìn)深方向。左照相機(jī)Ia具有光學(xué)系統(tǒng)(透鏡)Ila及攝像元件10a。右照相機(jī)Ib具有光學(xué)系 統(tǒng)(透鏡)lib及攝像元件10b。光學(xué)系統(tǒng)IlaUlb的光軸沿著與Z方向平行的方向延伸。
左照相機(jī)Ia的光學(xué)系統(tǒng)Ila和右照相機(jī)Ib的光學(xué)系統(tǒng)lib沿著χ方向配置。另 外，光學(xué)系統(tǒng)IlaUlb的光軸與ζ方向平行，光軸間隔為Β0。左照相機(jī)的攝像元件10a、右照相機(jī)的攝像元件10b，被配置在距各自的光學(xué)系統(tǒng) IlaUlb有光學(xué)系統(tǒng)的焦點(diǎn)距離fO的位置處。從前方的被攝體上的物點(diǎn)12出射的光線被光學(xué)系統(tǒng)IlaUlb聚光，分別成像于攝 像元件10a、10b的攝像面。形成于攝像面的像，通過(guò)設(shè)置在攝像元件的攝像面上的光電二 極管被變換成電信號(hào)，然后作為圖像信號(hào)輸出。此時(shí)，由于2臺(tái)照相機(jī)la、lb按照光學(xué)系統(tǒng)的光軸處于平行的方式相互分離地配 置，故在由各自的照相機(jī)la、lb拍攝到的1個(gè)圖像中產(chǎn)生了視差。在圖3的構(gòu)成中，由于2 臺(tái)照相機(jī)的配置僅僅在χ方向上不同，故視差也僅僅在χ方向產(chǎn)生，2個(gè)圖像的對(duì)應(yīng)點(diǎn)的y 坐標(biāo)為相同的值。如果將被攝體上的物點(diǎn)12和照相機(jī)la、lb的透鏡的中心之間的在ζ軸方向上的 距離記為Ζ、將在拍攝到的2個(gè)圖像之間產(chǎn)生的視差量記為Δ (在攝像元件10a、IOb的各自 攝像面上，從光軸的位置到物點(diǎn)12成像的位置為止的χ方向的距離ΔρΔ2的合計(jì))，則下 述式子1成立。其中，在攝像元件IOa的攝像面上，在與光軸的位置相比物點(diǎn)12的成像位 置存在于-χ側(cè)的情況下，距離八工取正值。另外，在攝像元件IOb的攝像面上，在與光軸的 位置相比物點(diǎn)12的成像位置存在于+χ側(cè)的情況下，距離八2取正值。(數(shù)學(xué)式1)Δ = f0 · Β0/Ζ該式子表示所發(fā)生的視差量隨距離Z變化。人類將該視差量作為用于識(shí)別到被攝 體的距離的信息之一來(lái)利用。圖4是表示攝像視差量提取算法的基本流程的流程圖。圖5是表示將圖像存儲(chǔ)器 3a、圖像存儲(chǔ)器北保存的圖像分別進(jìn)行校準(zhǔn)處理后的結(jié)果所得到的左圖像50a、右圖像50b 上的檢測(cè)塊的圖。在視差量提取算法的步驟S201中，將2個(gè)圖像中的左圖像50a分割成多個(gè)塊。塊 尺寸是從4X4像素到64X64像素程度的尺寸，根據(jù)被攝體的大小設(shè)定成任意的大小。此 外，在增大了光學(xué)系統(tǒng)的倍率的情況下，優(yōu)選增大檢測(cè)塊的尺寸。另外，塊尺寸也可以不是 正方形。接著，在步驟S202中，從左圖像50a中的多個(gè)塊之中選擇第1檢測(cè)塊51。而且，在 另一個(gè)右圖像50b的大致相同位置處，也選擇與第1檢測(cè)塊51相同尺寸的第2檢測(cè)塊52。接著，在步驟S203中，計(jì)算用于在右圖像50b上探索與左圖像50a中的第1檢測(cè) 塊51對(duì)應(yīng)的塊的視差量評(píng)價(jià)值。關(guān)于視差量評(píng)價(jià)值計(jì)算的一例，以下進(jìn)行說(shuō)明。在圖5中，將在右圖像50b上最初 設(shè)定的第2檢測(cè)塊52，在χ方向上移動(dòng)k像素(k為任意的整數(shù))。然后，針對(duì)第1檢測(cè)塊 51和第2檢測(cè)塊52，計(jì)算在各檢測(cè)塊內(nèi)所對(duì)應(yīng)的像素的亮度檢測(cè)值的差。將針對(duì)檢測(cè)塊內(nèi) 的所有像素合計(jì)了亮度檢測(cè)值的差之后的值，作為該k值的視差量評(píng)價(jià)值R(k)。S卩、如果將 來(lái)自第1檢測(cè)塊51內(nèi)的距坐標(biāo)(a，b)的像素的亮度檢測(cè)值記為GGl (a，b)、將來(lái)自第2檢 測(cè)塊52內(nèi)的距坐標(biāo)(a+k，b)的像素的亮度檢測(cè)值記為GG2(a+k，b)，則可通過(guò)數(shù)學(xué)式2求 出視差量評(píng)價(jià)值R(k)。此外，在左圖像50a及右圖像50b是以紅(R)、綠(G)、藍(lán)⑶為三原 色的彩色圖像的情況下，亮度檢測(cè)值例如利用綠(G)的亮度進(jìn)行比較即可。
8
該視差量評(píng)價(jià)值R(k)隨著k值一起變化。將從1至η的多個(gè)值代入k中，對(duì)各個(gè) 值進(jìn)行步驟S202及步驟S203的處理，來(lái)計(jì)算視差量評(píng)價(jià)值R(k)。視差量評(píng)價(jià)值R(k)表 示移動(dòng)了 k像素的第2檢測(cè)塊52中的圖像、與第1檢測(cè)塊51中的圖像在多大程度上相關(guān)。 視差量評(píng)價(jià)值R(k)的值越小，表示2個(gè)檢測(cè)塊的圖像越相似。接著，在步驟S204中，從在步驟S203求出的各視差量評(píng)價(jià)值中提取最小值。圖6 是表示視差量評(píng)價(jià)值和第2檢測(cè)塊52的移動(dòng)像素?cái)?shù)k之間關(guān)系的曲線。圖6中的橫軸表 示χ方向的移動(dòng)像素?cái)?shù)(k)，縱軸表示視差量評(píng)價(jià)值R(k)。在圖6中，視差量評(píng)價(jià)值R(k) 在k = kl時(shí)達(dá)最小值。由該結(jié)果可知，在k = kl時(shí)，2個(gè)檢測(cè)塊51、52中的圖像最相似。然后，在步驟S205中，提取得到最小值時(shí)的移動(dòng)像素?cái)?shù)k、即視差量。在將右圖像 50b上的第2檢測(cè)塊52自初始位置起在χ方向移動(dòng)了 kl像素時(shí)，判斷出第2檢測(cè)塊52的 圖像與第1檢測(cè)塊51內(nèi)的圖像一致。由此，移動(dòng)像素?cái)?shù)kl被確定為第1檢測(cè)塊51和第2 檢測(cè)塊52之間的視差量Δ (Δ = kl)。對(duì)在步驟S201分割形成的所有檢測(cè)塊進(jìn)行這樣的一連串處理，然后提取視差量， 給塊內(nèi)的像素分配相同的視差量。從而，根據(jù)以上的處理，計(jì)算左圖像50a相對(duì)于右圖像 50b在全部像素中的視差量。接著，返回至圖2(a)、(b)，在步驟S103中，計(jì)算相當(dāng)于以人類雙眼的間隔拍攝到 的情況的視差量(修正視差量)。該計(jì)算是在圖2 (a)所示的修正視差量計(jì)算部103中進(jìn)行 的。在此，如果將修正視差量記為△’、將人類眼睛的等效焦點(diǎn)距離記為f、將人類雙眼的間 隔(通常為60 70m m)記為B，則通過(guò)數(shù)學(xué)式1的變形而導(dǎo)出下述數(shù)學(xué)式3。(數(shù)學(xué)式3)Δ，= {(f · B) / (f 0 · B0)} Δ該式子表示視差量與觀察時(shí)的基線長(zhǎng)成比例地變化。在步驟S103中，利用數(shù)學(xué)式 3來(lái)計(jì)算修正視差量。此外，因顯示器的大小、像素尺寸、觀察者的眼睛的焦點(diǎn)距離等的不同，觀察者看 到所顯示的圖像時(shí)所感受到的立體感不同。因此，優(yōu)選根據(jù)這些值進(jìn)一步調(diào)整修正視差量 Δ。顯示器的大小及像素尺寸是其顯示裝置所固有的值，因這些因素而必須的調(diào)整(視差 量的變換比率)，不論被攝體如何都是一定的。因此，適合在產(chǎn)品出廠時(shí)確定變換比率并寫(xiě) 入到圖像生成部的存儲(chǔ)器中。在確定變換比率時(shí)，優(yōu)選將由一連串處理制作出的圖像顯示 于立體顯示器并斟酌立體感。另一方面，為了對(duì)應(yīng)于眼睛的焦點(diǎn)距離的個(gè)人差，能夠?qū)⒁暡?量的變換比率寫(xiě)入多種類存儲(chǔ)器中，且可由用戶進(jìn)行變更。通過(guò)該方法，能夠容易顯示適合 各個(gè)用戶的立體圖像。接著，在圖2(a)所示的坐標(biāo)變換部104中，進(jìn)行步驟S104的處理。在該步驟中進(jìn) 行如下處理，即按照左圖像50a及右圖像50b的視差量變?yōu)樵诓襟ES103得到的修正視差量 的方式，將左圖像50a和右圖像50b中的任意一方的坐標(biāo)按每個(gè)構(gòu)成單位變換，來(lái)修正視差 量。在本說(shuō)明書(shū)中，所謂“構(gòu)成單位”是指在成為坐標(biāo)變換的對(duì)象的圖像中進(jìn)行坐標(biāo)變換的 1個(gè)單位，典型地有1像素的尺寸。在此，對(duì)在左圖像50a中進(jìn)行坐標(biāo)變換的情況進(jìn)行說(shuō)明。
9利用圖7，對(duì)本處理進(jìn)行說(shuō)明。在圖7中，對(duì)與圖3相同的部件賦予相同的符號(hào)，并省略其說(shuō)明。本處理是通過(guò)對(duì)攝像元件IOa檢測(cè)到的左圖像50a的各構(gòu)成單位的坐標(biāo)進(jìn)行變換 來(lái)修正視差量，從而再現(xiàn)由虛擬光學(xué)系統(tǒng)Ha形成并由虛擬攝像元件13a檢測(cè)的圖像。此 外，在攝像元件IOa檢測(cè)出的圖像和由虛擬攝像元件13a檢測(cè)的圖像中，假定被攝體的失真 相同。利用圖8，對(duì)基于形成在射線各元件IOa上的左圖像50a來(lái)構(gòu)筑形成在虛擬攝像元 件13a上的圖像的處理進(jìn)行說(shuō)明。圖8是表示作為左圖像50a的一部分的被攝體像60a、背景像61a、和作為右圖像 50b的一部分的被攝體像60b、背景像61b。可知被攝體像的成像位置在2個(gè)圖像之間不同， 且2個(gè)圖像有視差。在步驟S104中，通過(guò)利用在步驟S103計(jì)算出的修正視差量進(jìn)行坐標(biāo) 變換，來(lái)修正2個(gè)圖像所具有的視差量。由此，對(duì)形成在由光軸間距相距B的虛擬攝像元件 13a、虛擬光學(xué)系統(tǒng)1 組成的虛擬照相機(jī)上的圖像進(jìn)行預(yù)測(cè)再現(xiàn)。在此，由于在左圖像50a中相對(duì)于右圖像50b已經(jīng)存在攝影的誤差，因此進(jìn)行給左 圖像50a的各構(gòu)成單位的坐標(biāo)值附加(修正視差量Δ ’ -攝像視差量Δ)的處理。具體的 坐標(biāo)變換式由以下的式子表示。(數(shù)學(xué)式4)
權(quán)利要求
1.一種立體圖像顯示裝置，具有圖像生成部，利用由以第1光軸間隔配置的2個(gè)攝像部所拍攝到的第1圖像及第2圖 像，來(lái)生成來(lái)自以比所述第1光軸間隔寬的間隔配置的2個(gè)視點(diǎn)的2個(gè)圖像；和顯示部，按照能用雙眼各自分別觀察的方式來(lái)顯示由所述圖像生成部生成的2個(gè)圖像，所述圖像生成部具有坐標(biāo)變換部，按照該圖像生成部生成的2個(gè)圖像所具有的視差量變?yōu)樗?個(gè)視點(diǎn)間 的視差量的方式，將所拍攝到的所述第1圖像及所述第2圖像中的至少一個(gè)圖像的坐標(biāo)，按 每個(gè)構(gòu)成單位進(jìn)行變換；和圖像插補(bǔ)部，通過(guò)插補(bǔ)來(lái)生成由所述坐標(biāo)的變換導(dǎo)致圖像信息缺失的像素的圖像信肩、ο
2.根據(jù)權(quán)利要求1所述的立體圖像顯示裝置，其中， 還具有用戶能操作的指示部，所述坐標(biāo)變換部，基于來(lái)自所述指示部的輸入信號(hào)，向顯示部輸出坐標(biāo)被變換后的坐 標(biāo)變換圖像和坐標(biāo)未被變換的無(wú)坐標(biāo)變換圖像。
3.根據(jù)權(quán)利要求2所述的立體圖像顯示裝置，其中，所述顯示部，按照能由用戶的優(yōu)勢(shì)眼觀察的方式來(lái)顯示所述無(wú)坐標(biāo)變換圖像。
4.根據(jù)權(quán)利要求2或3所述的立體圖像顯示裝置，其中，所述坐標(biāo)變換部，將通過(guò)給所述第1圖像中的各構(gòu)成單位的坐標(biāo)值附加所述2個(gè)視點(diǎn) 間的視差量的值而生成的圖像，作為所述坐標(biāo)變換圖像進(jìn)行輸出，將所述第1圖像作為所 述無(wú)坐標(biāo)變換圖像進(jìn)行輸出。
5.根據(jù)權(quán)利要求2或3所述的立體圖像顯示裝置，其中，所述坐標(biāo)變換部，將通過(guò)給所拍攝到的所述第1圖像中的各構(gòu)成單位的坐標(biāo)值附加所 述2個(gè)視點(diǎn)間的視差量與所述第1圖像及所述第2圖像所具有的視差量之差的差值而生成 的圖像，作為所述坐標(biāo)變換圖像進(jìn)行輸出，將所述第2圖像作為所述無(wú)坐標(biāo)變換圖像進(jìn)行 輸出。
6.根據(jù)權(quán)利要求2至5任一項(xiàng)所述的立體圖像顯示裝置，其中，所述圖像生成部還具有坐標(biāo)變換切換部，該坐標(biāo)變換切換部基于來(lái)自所述指示部的輸 入信號(hào)，來(lái)切換針對(duì)所拍攝到的所述第1圖像及所述第2圖像的哪個(gè)進(jìn)行各構(gòu)成單位的坐 標(biāo)的變換。
7.根據(jù)權(quán)利要求2至6任一項(xiàng)所述的立體圖像顯示裝置，其中，所述坐標(biāo)變換部按照成為左眼觀察的圖像的方式來(lái)初始設(shè)定所述坐標(biāo)變換圖像。
8.根據(jù)權(quán)利要求1所述的立體圖像顯示裝置，其中，所述坐標(biāo)變換部執(zhí)行如下變換給所拍攝到的所述第1圖像及所述第2圖像的雙方圖 像的各構(gòu)成單位的坐標(biāo)值，在互逆方向上附加所述2個(gè)視點(diǎn)間的視差量與所述第1圖像及 所述第2圖像所具有的視差量之差的1/2的值。
9.根據(jù)權(quán)利要求1至8任一項(xiàng)所述的立體圖像顯示裝置，其中，所述圖像插補(bǔ)部，利用具有所述圖像信息缺失的像素的圖像中的所述像素以外的部分 的信息，來(lái)生成用于插補(bǔ)的圖像信息。
10.根據(jù)權(quán)利要求1至9任一項(xiàng)所述的立體圖像顯示裝置，其中，所述圖像插補(bǔ)部，基于在所述圖像信息缺失的像素的基線方向的兩側(cè)相鄰的至少一個(gè) 像素的強(qiáng)度信息，來(lái)生成用于插補(bǔ)的圖像信息。
11.根據(jù)權(quán)利要求1至10任一項(xiàng)所述的立體圖像顯示裝置，其中， 所述2個(gè)視點(diǎn)的間隔為60 70mm。
12.—種攝像及顯示裝置，具備權(quán)利要求1至11任一項(xiàng)所述的立體圖像顯示裝置；和 2個(gè)攝像部，以第1光軸間隔配置，所述第1圖像及所述第2圖像是由所述2個(gè)攝像部各自所拍攝到的圖像。
13.—種立體圖像顯示裝置，具有圖像生成部，利用由攝像部所拍攝到的1個(gè)圖像和所拍攝到的被攝體的距離信息，來(lái) 生成來(lái)自以規(guī)定的間隔配置的2個(gè)視點(diǎn)的2個(gè)圖像；和顯示部，按照能由雙眼各自分別觀察的方式來(lái)顯示由所述圖像生成部生成的2個(gè)圖像，所述圖像生成部具有坐標(biāo)變換部，執(zhí)行給所述拍攝到的1個(gè)圖像中的各構(gòu)成單位的坐標(biāo)值附加所述2個(gè)視 點(diǎn)間的視差量的變換；和圖像插補(bǔ)部，通過(guò)插補(bǔ)來(lái)生成由所述坐標(biāo)的變換導(dǎo)致圖像信息缺失的像素的圖像信肩、ο
14.根據(jù)權(quán)利要求13所述的立體圖像顯示裝置，其中，所述圖像生成部還具有坐標(biāo)變換切換部，該坐標(biāo)變換切換部切換給所拍攝到的所述1 個(gè)圖像中的各構(gòu)成單位的坐標(biāo)值附加所述2個(gè)視點(diǎn)間的視差量的方向。
15.根據(jù)權(quán)利要求13或14所述的立體圖像顯示裝置，其中，所述圖像生成部還具有輸出部，該輸出部向顯示部輸出坐標(biāo)被變換后的圖像和坐標(biāo)未 被變換的圖像，所述顯示部按照能由用戶的優(yōu)勢(shì)眼觀察的方式來(lái)顯示坐標(biāo)未被變換的圖像。
全文摘要
本發(fā)明提供一種立體圖像顯示裝置，其具有圖像生成部(4)，利用由以第1光軸間隔配置的2個(gè)攝像部所拍攝到的第1圖像及第2圖像，來(lái)生成來(lái)自以比所述第1光軸間隔寬的間隔配置的2個(gè)視點(diǎn)的2個(gè)圖像；和顯示部(10)，按照能用雙眼各自分別觀察的方式來(lái)顯示由圖像生成部(4)生成的2個(gè)圖像，圖像生成部(4)具有坐標(biāo)變換部，按照?qǐng)D像生成部(4)生成的2個(gè)圖像所具有的視差量變?yōu)?個(gè)視點(diǎn)間的視差量的方式，將所拍攝到的第1圖像及第2圖像中的至少一個(gè)圖像的坐標(biāo)按每個(gè)構(gòu)成單位進(jìn)行變換；和圖像插補(bǔ)部，通過(guò)插補(bǔ)來(lái)生成由坐標(biāo)的變換導(dǎo)致圖像信息缺失的像素的圖像信息。
文檔編號(hào)G09G5/36GK102124749SQ201080002318
公開(kāi)日2011年7月13日 申請(qǐng)日期2010年5月28日 優(yōu)先權(quán)日2009年6月1日
發(fā)明者今田勝巳 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社