專利名稱：圖像攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及圖像攝像裝置的技術(shù)，尤其涉及對(duì)立體圖像進(jìn)行拍攝并顯示的技術(shù)。
背景技術(shù)：
正在開(kāi)發(fā)如下的立體圖像技術(shù)使左眼視認(rèn)左眼用的圖像，使右眼視認(rèn)右眼用的圖像，根據(jù)兩圖像內(nèi)的被拍攝對(duì)象的偏移(視差)而識(shí)別為立體像。存在如下技術(shù)在顯示立體圖像的顯示器中，與用于觀看立體圖像的眼鏡進(jìn)行組合，通過(guò)以時(shí)分方式對(duì)左右的圖像進(jìn)行顯示、或改變偏光方向來(lái)進(jìn)行顯示，從而左右圖像分離地使視聽(tīng)者進(jìn)行視認(rèn)。另外， 作為拍攝立體圖像的攝像機(jī)，具有CMOS (Complementary Metal Oxide Semiconductor :互補(bǔ)金屬氧化半導(dǎo)體)和CCD (Charge Coupled Device :電荷稱合器件)這樣的兩個(gè)固體攝像元件，將在左右配置各攝像元件而拍攝到的圖像分別作為左眼用以及右眼用的圖像。
但是，利用左右配置了兩個(gè)攝像元件的攝像機(jī)無(wú)法進(jìn)行基于縱向位置的立體圖像的拍攝。例如，在圖13中，在進(jìn)行通常的拍攝的情況下，攝像元件的長(zhǎng)邊方向與配置有兩個(gè)攝像元件的方向相同，可拍攝左眼用圖像和右眼用圖像。圖14是將圖11的攝像機(jī)設(shè)置為縱向位置的情況，在上下配置攝像元件，從而無(wú)法作為左右圖像進(jìn)行拍攝。
作為解決該課題的方法，可例舉轉(zhuǎn)動(dòng)攝像元件自身的方法，例如，可例舉專利文獻(xiàn)I。在專利文獻(xiàn)I中，如圖15所示，公開(kāi)有復(fù)眼攝像機(jī)裝置，該復(fù)眼攝像機(jī)裝置具有可由攝像機(jī)王體4轉(zhuǎn)動(dòng)地支持的攝像頭3a、3b ;由攝像頭3a、3b各自支持的多個(gè)攝像透鏡la、lb、 以及攝像元件2a、2b。該復(fù)眼攝像機(jī)裝置在進(jìn)行通常拍攝的情況下是如圖15(A)的狀態(tài)，但進(jìn)行縱向位置拍攝的情況下，設(shè)置為如圖15⑶的狀態(tài)。從圖15㈧到圖15(B)，攝像元件 2a、2b轉(zhuǎn)動(dòng)，攝像元件的短邊方向與配置攝像元件的方向(左右)變得相等，從而能通過(guò)縱向位置拍攝來(lái)拍攝左右圖像。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)I :日本專利特開(kāi)平10-224820號(hào)公報(bào)發(fā)明內(nèi)容
然而，在上述方法中具有如下的問(wèn)題。
在專利文獻(xiàn)I的構(gòu)成中，因?yàn)樾枰晕锢矸绞絹?lái)轉(zhuǎn)動(dòng)攝像元件，所以需要用于轉(zhuǎn)動(dòng)的機(jī)構(gòu)、允許轉(zhuǎn)動(dòng)的空間、以及可承受轉(zhuǎn)動(dòng)的布線，由此造成裝置的大型化、復(fù)雜化、以及高成本化。
本發(fā)明鑒于上述事實(shí)而提出，其目的是提供在不造成裝置的大型化的前提下無(wú)論是縱向位置還是橫向位置都可生成并顯示立體圖像的圖像攝像裝置。
用于解決課題的手段
本發(fā)明的圖像攝像裝置具有兩個(gè)攝像元件、以及生成圖像的圖像處理部。并且，圖像處理部計(jì)算由攝像元件拍攝到的第一圖像與第二圖像的視差，使用計(jì)算出的視差和第一圖像，生成相對(duì)于第一圖像在與攝像元件的排列方向?yàn)檎坏姆较蛏暇哂幸暡畹墓烙?jì)圖像，并根據(jù)估計(jì)圖像來(lái)生成立體圖像。
另外，本發(fā)明的圖像攝像裝置中，圖像處理部切換地進(jìn)行如下兩個(gè)處理，S卩，將根據(jù)在與攝像元件的排列方向?yàn)檎坏姆较蛏暇哂幸暡畹墓烙?jì)圖像而生成的立體圖像作為第一立體圖像來(lái)生成的處理；以及根據(jù)由攝像元件拍攝到的第一圖像以及第二圖像來(lái)生成第二立體圖像、或者從由攝像元件拍攝到的第一圖像以及第二圖像生成在攝像元件的排列方向上具有視差的估計(jì)圖像并根據(jù)在排列方向上具有視差的估計(jì)圖像來(lái)生成第二立體圖像的處理。
另外，本發(fā)明的圖像攝像裝置具有圖像顯示部，對(duì)由圖像處理部生成的立體圖像進(jìn)行顯示；以及光控制部，在圖像顯示部顯示立體圖像時(shí)，對(duì)生成了立體圖像的兩個(gè)圖像各自的圖像光的行進(jìn)進(jìn)行控制。并且，光控制部在顯示第一立體圖像時(shí)和在顯示第二立體圖像時(shí)，根據(jù)各立體圖像，對(duì)圖像光的行進(jìn)的控制進(jìn)行切換。
另外，本發(fā)明的圖像攝像裝置具有對(duì)圖像攝像裝置的姿勢(shì)進(jìn)行檢測(cè)的姿勢(shì)檢測(cè)部。并且圖像處理部根據(jù)由姿勢(shì)檢測(cè)部檢測(cè)出的圖像攝像裝置的姿勢(shì)，對(duì)生成第一立體圖像的處理和生成第二立體圖像的處理進(jìn)行切換。
發(fā)明效果
根據(jù)本發(fā)明，在不造成裝置大型化的前提下，無(wú)論是縱向位置還是橫向位置都可得到立體圖像。另外，具有通過(guò)控制光的行進(jìn)來(lái)實(shí)現(xiàn)立體圖像的視認(rèn)的圖像顯示部，從而可將被拍攝對(duì)象作為立體圖像一邊在圖像顯示部進(jìn)行確認(rèn)一邊進(jìn)行拍攝。進(jìn)而，通過(guò)由姿勢(shì)檢測(cè)部檢測(cè)攝像裝置的姿勢(shì)，從而可自動(dòng)地切換形成立體圖像的左右圖像的朝向。


圖I是示出本發(fā)明的圖像攝像裝置的一實(shí)施例的框圖。
圖2是示出圖I的圖像處理部的構(gòu)成例的圖。
圖3是用于說(shuō)明計(jì)算視差信息的方法的例子的圖。
圖4是用于說(shuō)明基于視差變換的圖像估計(jì)處理的圖。
圖5是示出視差與像素的移動(dòng)量的關(guān)系的設(shè)定例的圖。
圖6是用于說(shuō)明基于視差變換的圖像估計(jì)處理的圖。
圖7是示出與視差屏障對(duì)應(yīng)的立體圖像信息的一例的圖。
圖8是示出與視差屏障對(duì)應(yīng)的立體圖像信息的另一例的圖。
圖9是示出使用了視差屏障的立體顯示器的圖。
圖10是示出與立體圖像相應(yīng)的視差屏障的狀態(tài)的圖。
圖11是示出本發(fā)明的圖像攝像裝置的另一實(shí)施例的框圖。
圖12是示出可適用本發(fā)明的圖像攝像裝置的攝像元件的配置關(guān)系的另一例的圖。
圖13是示出圖像攝像裝置的攝像元件的配置例的圖。
圖14是示出將圖13的攝像元件設(shè)置為縱向位置時(shí)的配置的圖。
圖15是示出日本專利特開(kāi)平10-224820號(hào)公報(bào)所記載的技術(shù)的圖。
具體實(shí)施方式
以下，使用附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。另外，在各圖的表現(xiàn)是為了易于理解而進(jìn)行夸張地記載，存在與實(shí)際不同的情況。
圖I是示出本發(fā)明中的圖像攝像裝置的構(gòu)成例的框圖。圖像攝像裝置具有攝像元件100和攝像元件101的兩個(gè)攝像元件。由攝像元件100以及101所拍攝了的圖像在圖像處理部102進(jìn)行去馬賽克、顏色變換、伽瑪校正等的基本的圖像處理、和后述作為立體圖像所必要的圖像處理。從圖像處理部102輸出的圖像信息由可立體顯示的顯示器(圖像顯示部)103所顯示，由存儲(chǔ)裝置104進(jìn)行記錄。
圖2是示出圖像處理部102的處理塊的圖。被輸入的圖像是在不同的位置所拍攝的兩個(gè)圖像A、B，相當(dāng)于本發(fā)明的第一圖像以及第二圖像。首先，由視差計(jì)算部105計(jì)算視差信息，作為從拍攝圖像所得到的信息。視差由平行配置的攝像機(jī)的間隔(基線長(zhǎng)度)、攝像機(jī)的焦距、以及到被拍攝對(duì)象為止的距離所決定，到被拍攝對(duì)象為止的距離小則視差變大，到被拍攝對(duì)象為止的距離大則視差變小。
在視差的計(jì)算中可應(yīng)用各種各樣的方法，例如可例舉塊匹配的方法。圖3是示出塊匹配的概要的圖，圖3(A)示出由配置在左側(cè)的攝像元件(攝像機(jī))所拍攝的輸入圖像A， 圖3 (B)示出由配置在右側(cè)的攝像元件(攝像機(jī))所拍攝的輸入圖像B，圖3(C)示出根據(jù)輸入圖像A、B計(jì)算出的視差信息。
在這里，在輸入圖像A定義任意的基準(zhǔn)宏塊m，在配置于右側(cè)的攝像元件(攝像機(jī))所拍攝的輸入圖像B定義與基準(zhǔn)宏塊m相同大小的搜索宏塊η。使搜索宏塊η在輸入圖像B內(nèi)移動(dòng)，并且計(jì)算基準(zhǔn)宏塊m與搜索宏塊η的差分絕對(duì)值和，并將差分絕對(duì)值和成為最小時(shí)的輸入圖像A與輸入圖像B的坐標(biāo)之差作為視差。在圖3中，輸入圖像A中的被拍攝對(duì)象X在輸入圖像B中在水平方向上偏移了 24像素的情況下，將被拍攝對(duì)象X的視差作為24。同樣，如果遠(yuǎn)離被拍攝對(duì)象X的被拍攝對(duì)象Y在水平方向上偏移8個(gè)像素，則被拍攝對(duì)象Y的視差成為8。
由視差計(jì)算部105所計(jì)算的視差信息被傳送至視差變換部106。視差變換部106使用所輸入的圖像和視差信息，估計(jì)并生成在與被輸入的圖像不同的位置上所拍攝的圖像。
例如，如圖4所示，根據(jù)與輸入圖像A的各像素對(duì)應(yīng)的視差的大小，使像素值向右方向移動(dòng)。這時(shí)所生成的圖像為A'，視差的值大的被拍攝對(duì)象X較大地移動(dòng)，視差的值小的被拍攝對(duì)象Y輕微移動(dòng)，沒(méi)有視差的背景區(qū)域不進(jìn)行移動(dòng)。這成為對(duì)在從拍攝輸入圖像 A的攝像機(jī)位置起向左方向移動(dòng)了的攝像機(jī)位置上拍攝了的圖像進(jìn)行估計(jì)的情況。同樣， 在將像素的移動(dòng)設(shè)為左方向的情況下，估計(jì)在將攝像機(jī)位置向右移動(dòng)的位置上拍攝了的圖像。并且，在向左方向移動(dòng)了與各像素對(duì)應(yīng)了的視差的量的情況下，估計(jì)在拍攝輸入圖像B 的位置上的拍攝圖像。
對(duì)根據(jù)輸入圖像A和視差信息來(lái)生成圖像A'時(shí)的處理例進(jìn)行說(shuō)明。在這里將視差值的最大值設(shè)為255。作為輸入圖像A的被拍攝對(duì)象，存在Χ、Υ，Χ的視差值為24，Y的視差值為8。
在制作在輸入圖像B的位置上的圖像k'的情況下，被拍攝對(duì)象X的移動(dòng)量為24 則立體圖像的視差為24，被拍攝對(duì)象Y的移動(dòng)量為8則立體圖像的視差為8。
在生成圖像A和圖像B的基線長(zhǎng)度(攝像機(jī)間隔)的1/2的位置的像素A'的情況下，各像素的移動(dòng)量設(shè)置為基線長(zhǎng)度為I時(shí)的1/2即可。例如、被拍攝對(duì)象X的移動(dòng)量為 12則立體圖像的視差為12，被拍攝對(duì)象Y的移動(dòng)量為4則立體圖像的視差為4。
即，通過(guò)根據(jù)各像素的視差值來(lái)移動(dòng)被拍攝對(duì)象，從而可生成圖像k'。
另外，在上述的處理之外，通過(guò)進(jìn)一步將視差的對(duì)比度變大，從而也可設(shè)置為增強(qiáng)了主要被拍攝對(duì)象的立體感的立體圖像。例如，也可以將視差和移動(dòng)量的關(guān)系設(shè)定為不是如上述的線性關(guān)系，而是作為圖5所示的關(guān)系。這種情況下，視差大的前景的被拍攝對(duì)象的移動(dòng)量更大，視差小的背景的移動(dòng)量變得更小，前景和背景的視差的對(duì)比度變大。由此，能得到視差為中間程度的主要被拍攝對(duì)象的立體感被增強(qiáng)了的立體圖像。
另外，為了控制立體圖像的立體感，也可以對(duì)一個(gè)或兩個(gè)圖像附加使其同樣移動(dòng)的處理。例如，在圖3中，在使輸入像素B的所有像素向右移動(dòng)8個(gè)像素時(shí)，對(duì)于輸入圖像A 和輸入圖像B的視差，在被拍攝對(duì)象X成為16，在被拍攝對(duì)象Y成為0，在背景成為-8。此時(shí)，作為立體圖像在顯示器顯示時(shí)，能看到視差的符號(hào)為正的情況下被拍攝對(duì)象從顯示器面突出，視差的符號(hào)為正的情況下被拍攝對(duì)象自顯示器面凹陷。
通過(guò)如上述的處理使被拍攝對(duì)象移動(dòng)，從而可估計(jì)并生成在與輸入的圖像不同的位置上所拍攝了的圖像。
在這里，盡管有會(huì)產(chǎn)生不存在與被拍攝對(duì)象移動(dòng)后對(duì)應(yīng)的像素值的未確定像素的情況，但通過(guò)對(duì)這些區(qū)域以周邊的像素值進(jìn)行插補(bǔ)(補(bǔ)間)，可防止畫(huà)質(zhì)劣化。尤其是，如圖像Λ,所示，在被拍攝對(duì)象向右方向移動(dòng)的情況下，未確定像素在移動(dòng)被拍攝對(duì)象的左側(cè)產(chǎn)生。由于未確定像素左側(cè)的像素值為背景，因此通過(guò)以左側(cè)的像素值進(jìn)行插補(bǔ)可降低畫(huà)質(zhì)劣化，是優(yōu)選的。攝像機(jī)的移動(dòng)方向?yàn)橛业那闆r下左右反轉(zhuǎn)，但同樣可降低畫(huà)質(zhì)劣化。通過(guò)上述的方法，在視差變換部106根據(jù)輸入圖像和視差信息生成變換了輸入圖像的視差的圖像Λ,并輸出。
在輸出圖象生成部107，進(jìn)行用于顯示或保存的圖像處理。在使立體圖像在顯示器 103顯示的情況下，需要生成與顯示器103的顯示方式對(duì)應(yīng)的數(shù)據(jù)。例如，在按照顯示器的每一行使偏光方向變化的方式中，需要逐行插入與左右的圖像對(duì)應(yīng)的兩個(gè)圖像來(lái)作為一張圖像。同時(shí)，在以時(shí)分方式顯示左右的圖像的方式中，需要使與左右的圖像對(duì)應(yīng)的兩個(gè)圖像交替的幀結(jié)構(gòu)。另外，作為圖像數(shù)據(jù)在存儲(chǔ)裝置104中保存的情況下，需要按照與立體圖像對(duì)應(yīng)的文件格式，對(duì)與左右圖像對(duì)應(yīng)的兩個(gè)圖像、或成為基準(zhǔn)的彩色圖像和視差信息等進(jìn)行變換、壓縮。
在這里，關(guān)于被輸入到輸出圖象生成部107的圖像，存在由圖像攝像裝置具有的兩個(gè)攝像元件100、101拍攝到的輸入圖像A、輸入圖像B、以及對(duì)輸入圖像進(jìn)行視差變換后的圖像A'的3種。在將輸入圖像A以及輸入圖像B作為左右圖像而設(shè)置了輸出圖像信息的情況下，成為由兩個(gè)攝像元件100、101拍攝的立體圖像。視差變換后的圖像V相當(dāng)于本發(fā)明的第二估計(jì)圖像，得到的立體圖像相當(dāng)于本發(fā)明的第二立體圖像。
在將輸入圖像B與圖像A'作為左右圖像設(shè)置為輸出圖像信息的情況下，成為對(duì)由兩個(gè)攝像元件拍攝到的圖像的視差進(jìn)行調(diào)整后的立體圖像。此時(shí)，在使圖像A'的視差變換接近拍攝了輸入圖像B的位置這樣的處理被執(zhí)行的情況下，成為被拍攝對(duì)象的視差變小這樣的變換處理，立體圖像的突出(凹陷)量變小。另一方面，在從圖像A'的視差變換從拍攝了輸入圖像B的位置上遠(yuǎn)離這樣的處理被執(zhí)行的情況下，成為被拍攝對(duì)象的視差變大這樣的變換處理，立體圖像的突出(凹陷)量變大。另外，針對(duì)視差信息在圖像的移動(dòng)量上想辦法，例如，如上所述，通過(guò)使主要被拍攝對(duì)象具有的視差、與背景及前景具有的視差的對(duì)比度變大，從而成為主要被拍攝對(duì)象的立體感增強(qiáng)了的立體圖像。左右圖像也可以是輸入圖像A和圖像A'。
以上對(duì)如圖13所示的攝像元件的長(zhǎng)邊方向與兩個(gè)攝像元件的配置方向?yàn)樗降那闆r進(jìn)行了說(shuō)明，而以下對(duì)如圖14所示的攝像元件的長(zhǎng)邊方向與兩個(gè)攝像元件的配置方向?yàn)榇怪钡那闆r，即對(duì)基于縱向位置的拍攝進(jìn)行說(shuō)明。
在對(duì)站立的人物進(jìn)行拍攝等情況下，產(chǎn)生將圖像攝像裝置設(shè)為縱向位置進(jìn)行拍攝的機(jī)會(huì)，但具有兩個(gè)攝像元件的通常的圖像攝像裝置，無(wú)法拍攝立體圖像。這是由于，若從在從左右配置了攝像元件100和攝像元件101的狀態(tài)變?yōu)槿缭趫D6示出的基于縱向位置的拍攝狀態(tài)時(shí)，則要將攝像元件100和攝像元件101在垂直方向進(jìn)行配置。為了以縱向位置的拍攝來(lái)得到立體圖像，在將攝像元件100設(shè)置為左眼用的圖像的情況下，必須有在圖6中的右攝像機(jī)位置上配置了攝像元件的拍攝圖像。
但是，根據(jù)攝像元件100和攝像元件101能夠計(jì)算拍攝圖像的視差。這是因?yàn)橐暡钍歉鶕?jù)到被拍攝對(duì)象為止的距離而變化的值，所以攝像元件100與攝像元件101的視差在縱向產(chǎn)生。因此，即使是縱向位置的拍攝也能夠由視差計(jì)算部105計(jì)算視差信息。
接著，將由攝像兀件100拍攝到的輸入圖像A、以及由攝像兀件100和攝像兀件 101計(jì)算出的視差信息輸入到視差變換部106。在想要通過(guò)縱向位置的攝影來(lái)得到立體圖像的情況下，估計(jì)在與計(jì)算出視差信息的方向成為垂直的方向、即在水平方向的位置上拍攝到的圖像。
作為成為生成估計(jì)圖像的基礎(chǔ)的輸入圖像，可以使用輸入圖像B。此時(shí)的視差信息最好是使用以輸入圖像B為基準(zhǔn)而計(jì)算出的視差信息。由此，使用輸入圖像A或B和視差信息，可在攝像元件的排列方向的垂直方向上生成估計(jì)圖像。
由視差變換部106生成的圖像V被傳送至圖象生成部107，并選擇左右圖像來(lái)作為輸出圖像信息。在橫向位置的拍攝的情況下，將左右圖像中的一個(gè)作為輸入圖像B，將另一個(gè)作為輸入圖像A或圖像A,。在基于縱向位置的拍攝的情況下，將左右圖像設(shè)為輸入圖像A與圖像A'的組合。圖像A'由輸入圖像A產(chǎn)生，但因?yàn)楦鶕?jù)從輸入圖像A和輸入圖像B計(jì)算出的視差信息而以在被拍攝對(duì)象產(chǎn)生視差的方式進(jìn)行了視差變換處理，所以在輸入圖像A和圖像A'之間也產(chǎn)生了視差。因此，以輸入圖像A與圖像A'的組合可生成立體圖像。該立體圖像相當(dāng)于本發(fā)明的第一立體圖像。
通過(guò)以上的方法，可生成在不使攝像元件以物理方式轉(zhuǎn)動(dòng)的前提下、小型且低成本的圖像攝像裝置，并且即使基于縱向位置也能生成立體圖像。并且，可使立體圖像的生成處理在橫向位置和縱向位置間切換來(lái)執(zhí)行。
另一方面，即使將從圖像處理部102輸出的輸出圖像信息在顯示器103顯示的情況下，通過(guò)基于橫向位置的拍攝和基于縱向位置的拍攝，也能使在左右圖像產(chǎn)生的視差的方向也變化。在小型數(shù)碼相機(jī)和附帶攝像機(jī)的便攜式電話等的移動(dòng)設(shè)備中，對(duì)于可立體顯示的顯示器優(yōu)選以用戶不需要佩戴眼鏡的裸眼的立體顯示的方式。
為了能夠以裸眼視認(rèn)立體圖像，在顯示器103中，對(duì)左右圖像的光的行進(jìn)方向進(jìn)行限制，以使左右圖像的光僅到達(dá)各眼。例如，在橫向位置的立體圖像的情況下，如圖7所示，事先將左眼用圖像L和右眼用圖像R按照每列交替地呈L、R、L、R…來(lái)進(jìn)行變換。另外， 在縱向位置的立體圖像的情況下，如圖8所示，也事先將左眼用圖像L和右眼用圖像R以呈交替的方式進(jìn)行變換。
并且，如圖9所出，配置有以左眼用圖像L的像素的光到達(dá)左眼、右眼用圖像R的像素的光到達(dá)右眼的方式對(duì)圖像光的行進(jìn)進(jìn)行控制的光控制部(視差屏障110)。由此可進(jìn)行基于裸眼的立體顯示。在這里，使用液晶作為視差屏障110。例如，利用液晶面板的光快門(mén)效應(yīng)，并通過(guò)對(duì)液晶面板的光透過(guò)區(qū)域進(jìn)行控制，從而可電控制視差屏障110的產(chǎn)生或消失。即，能以同一顯示器103來(lái)電氣地切換二維圖像顯示和立體圖像顯示。
圖10是示出了立體圖像和視差屏障的狀態(tài)的圖。在立體顯示橫向位置的立體圖像(圖10(A))的情況下，視差屏障110通過(guò)設(shè)置為圖10(B)的狀態(tài)，可進(jìn)行立體顯示。另一方面，在對(duì)縱向位置的立體圖像(圖10(C))進(jìn)行立體顯示的情況下，需要控制視差屏障 110的產(chǎn)生。在視差屏障110的狀態(tài)保持為圖10(B)那樣設(shè)置為縱向時(shí)，成為圖10(D)示出的狀態(tài)。在這種狀態(tài)下，無(wú)法將縱向位置立體圖像視認(rèn)為立體圖像。因此，通過(guò)以使視差屏障110構(gòu)成的條紋的方向成為垂直方向的方式來(lái)控制液晶，從而成為如圖10(E)所示的視差屏障110的狀態(tài)。由此，可將縱向位置立體圖像(圖10(C))顯示為立體圖像。
在這里，關(guān)于顯示立體圖像的顯示器，可應(yīng)用時(shí)間分割方式的立體顯示器，并可通過(guò)對(duì)顯示器的顯示與眼鏡進(jìn)行同步控制來(lái)予以實(shí)現(xiàn)。
并且，在本實(shí)施例中，說(shuō)明了通過(guò)以輸入圖像A和圖像A'生成立體圖像而能進(jìn)行基于縱向位置的立體圖像的拍攝的情況，但是也可以使用計(jì)算出的視差信息，使用與圖像 K'不同的從輸入圖像A生成的圖像A"。即，通過(guò)應(yīng)用本發(fā)明，還能根據(jù)從輸入圖像A生成的不同的圖像A'以及圖像A"來(lái)生成立體圖像。通過(guò)該方法，可將隨著被拍攝對(duì)象的移動(dòng)而產(chǎn)生的未確定像素的量劃分到左右圖像。即，通過(guò)使由連續(xù)的未確定像素所形成的面積的最大值減少，可降低畫(huà)質(zhì)劣化。
如以上說(shuō)明，根據(jù)本發(fā)明的圖像攝像裝置，在不使攝像元件以物理方式轉(zhuǎn)動(dòng)的前提下，簡(jiǎn)易、低成本，無(wú)論基于橫向位置、縱向位置都能拍攝立體圖像。進(jìn)而，通過(guò)具有無(wú)論基于橫向位置還是縱向位置都能顯示立體圖像的顯示器，從而可一邊將圖像確認(rèn)為立體圖像一邊進(jìn)行拍攝。
圖11是示出具有對(duì)圖像攝像裝置的姿勢(shì)進(jìn)行檢測(cè)的姿勢(shì)檢測(cè)部的構(gòu)成的圖。在本例中，除了上述的圖像攝像裝置的構(gòu)成之外，還具有檢測(cè)圖像攝像裝置的橫向位置以及縱向位置的姿勢(shì)檢測(cè)部108。圖像處理部102根據(jù)示出由姿勢(shì)檢測(cè)部108檢測(cè)出的圖像攝像裝置的姿勢(shì)(橫向位置或縱向位置)的信息，自動(dòng)地切換拍攝的方向來(lái)生成立體圖像。對(duì)于姿勢(shì)檢測(cè)部108可應(yīng)用加速度傳感器等。另外，通過(guò)以預(yù)覽畫(huà)面旋轉(zhuǎn)的數(shù)碼相機(jī)、附帶旋輪線式的攝像機(jī)的便攜式電話等來(lái)檢測(cè)顯示器103的方向，從而能夠自動(dòng)且適當(dāng)?shù)厍袚Q拍攝的方向。
在這里，在上述的實(shí)施例中，對(duì)攝像元件的長(zhǎng)邊方向與配置兩個(gè)攝像元件的方向相同的情況進(jìn)行了說(shuō)明，但如圖12所示，對(duì)于攝像元件100、101的短方向、與配置兩個(gè)攝像元件100、101的方向相同的情況也可適用本發(fā)明。
視差信息從攝像元件100的拍攝圖像和攝像元件101的拍攝圖像計(jì)算。在想得到基于縱向位置的立體圖像的情況下，將左右圖像中的一個(gè)作為攝像元件101的拍攝圖像， 從攝像元件100的拍攝圖像A、以及對(duì)拍攝圖像A進(jìn)行視差變換后的圖像A'當(dāng)中選擇左右圖像中的另一個(gè)。在想得到基于橫向位置的立體圖像的情況下，通過(guò)將左右圖像設(shè)置為攝像元件100的拍攝圖像A、以及對(duì)拍攝圖像A進(jìn)行了視差變換后的圖像A'，從而可得到立體圖像。
進(jìn)而，在生成立體圖像時(shí)的左右圖像的選擇中，通過(guò)不使用輸入圖像B，且不論縱向位置還是橫向位置都選擇拍攝圖像A、以及對(duì)拍攝圖像A進(jìn)行了視差變換后的圖像A'， 也能得到立體圖像。
但是，在輸入圖像B側(cè)生成立體圖像時(shí)，生成的立體圖像的基線長(zhǎng)度比輸入圖像A 與輸入圖像B的基線長(zhǎng)度的1/2大時(shí)，與對(duì)輸入圖像A進(jìn)行視差變換相比，對(duì)輸入圖像B進(jìn)行視差變換時(shí)像素的移動(dòng)量變小。因此，在處于能使用輸入圖像B的狀態(tài)、且在輸入圖像B 側(cè)生成的立體圖像的基線長(zhǎng)度比輸入圖像A與輸入圖像B的基線長(zhǎng)度的1/2大時(shí)，優(yōu)選使用輸入圖像B。
另外，在對(duì)存儲(chǔ)裝置104中所記錄的圖像進(jìn)行重放時(shí)，為了能夠適當(dāng)?shù)嘏袆e以縱向位置顯示還是以橫向位置顯示，在記錄圖像數(shù)據(jù)時(shí)，優(yōu)選還同時(shí)記錄是以縱向位置拍攝到的圖像還是以橫向位置拍攝到的圖像的附加信息。
另外，本發(fā)明的圖像處理部102可通過(guò)進(jìn)行圖像處理的各種單元來(lái)實(shí)現(xiàn)。例如，無(wú)論是基于CPU的軟件的處理，還是LSI或FPGA這樣的硬件的處理、以及利用這兩者的情況都能夠?qū)崿F(xiàn)。
標(biāo)號(hào)說(shuō)明
la、Ib...攝像透鏡，2a、2b...攝像兀件，3a、3b...攝像頭，100、101...攝像兀件， 102. · ·圖像處理部，103. · ·顯示器，104. · ·存儲(chǔ)裝置，105. · ·視差計(jì)算部，106. · ·視差變換部，107···輸出圖象生成部，IOg...姿勢(shì)檢測(cè)部，110...視差屏障。
權(quán)利要求
1.一種圖像攝像裝置，具有兩個(gè)攝像元件、以及生成圖像的圖像處理部，該圖像攝像裝置的特征在于， 所述圖像處理部計(jì)算由所述攝像元件拍攝到的第一圖像與第二圖像的視差，使用計(jì)算出的該視差和所述第一圖像，生成相對(duì)于該第一圖像在與所述攝像元件的排列方向?yàn)檎坏姆较蛏暇哂幸暡畹墓烙?jì)圖像，并根據(jù)所述估計(jì)圖像來(lái)生成立體圖像。
2.如權(quán)利要求I所述的圖像攝像裝置，其特征在于， 所述圖像處理部切換地進(jìn)行如下兩個(gè)處理，即， 將根據(jù)在與所述攝像元件的排列方向?yàn)檎坏姆较蛏暇哂幸暡畹墓烙?jì)圖像而生成的立體圖像作為第一立體圖像來(lái)生成的處理；以及 根據(jù)由所述攝像元件拍攝到的第一圖像以及第二圖像來(lái)生成第二立體圖像、或者從由所述攝像元件拍攝到的第一圖像以及第二圖像生成在所述攝像元件的排列方向上具有視差的估計(jì)圖像并根據(jù)在該排列方向上具有視差的估計(jì)圖像來(lái)生成第二立體圖像的處理。
3.如權(quán)利要求2所述的圖像攝像裝置，其特征在于， 具有圖像顯示部，對(duì)由所述圖像處理部生成的立體圖像進(jìn)行顯示；以及光控制部，在該圖像顯示部顯示所述立體圖像時(shí)，對(duì)生成了所述立體圖像的兩個(gè)圖像各自的圖像光的行進(jìn)進(jìn)行控制， 該光控制部在顯示所述第一立體圖像時(shí)和在顯示所述第二立體圖像時(shí)，根據(jù)各所述立體圖像，對(duì)所述圖像光的行進(jìn)的控制進(jìn)行切換。
4.如權(quán)利要求2 3任一項(xiàng)所述的圖像攝像裝置，其特征在于， 具有對(duì)所述圖像攝像裝置的姿勢(shì)進(jìn)行檢測(cè)的姿勢(shì)檢測(cè)部， 所述圖像處理部根據(jù)由所述姿勢(shì)檢測(cè)部檢測(cè)出的所述圖像攝像裝置的姿勢(shì)，對(duì)生成所述第一立體圖像的處理和生成所述第二立體圖像的處理進(jìn)行切換。
全文摘要
本發(fā)明提供一種無(wú)論以縱向位置還是橫向位置都能得到立體圖像的圖像攝像裝置。圖像攝像裝置具有兩個(gè)攝像元件(100、101)、以及使用由這些攝像元件拍攝到的圖像來(lái)生成立體圖像的圖像處理部(102)。圖像處理部(102)計(jì)算由攝像元件(100、101)拍攝到的第一圖像與第二圖像的視差，使用計(jì)算出的視差和第一圖像，生成相對(duì)于第一圖像在攝像元件(101、102)的排列方向的正交方向上具有視差的估計(jì)圖像，并根據(jù)估計(jì)圖像來(lái)生成立體圖像。
文檔編號(hào)H04N13/02GK102986233SQ20118003387
公開(kāi)日2013年3月20日 申請(qǐng)日期2011年5月24日 優(yōu)先權(quán)日2010年7月14日
發(fā)明者德井圭, 齋藤榮 申請(qǐng)人:夏普株式會(huì)社