專利名稱：圖像處理裝置和方法、非暫時(shí)性有形介質(zhì)、攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)相應(yīng)于三維觀看的多個(gè)視差圖像執(zhí)行預(yù)定圖像處理的圖像處理裝置、圖像處理方法、具有圖像處理程序的非暫時(shí)性有形介質(zhì)以及攝像裝置。
背景技術(shù)：
近年來，已經(jīng)開發(fā)了改變用于三維觀看的左和右視差圖像(左視差圖像和右視差圖像)之間視差量的圖像處理裝置，例如日本未審查專利申請(qǐng)公開第 H07-167633(H07-167633A)號(hào)中所公開的。視差量相當(dāng)于左和右視差圖像之間在水平方向上的位置差的程度，且立體效果根據(jù)視差量而不同。H07-167633A執(zhí)行圖像處理，其中相當(dāng)于左和右視差圖像之間視差量的左和右視網(wǎng)膜圖雙眼像差(雙眼像差，disparity)被檢測，從而基于檢測到的雙眼像差(更具體地，雙眼像差的平均值)通過在水平方向上移位整個(gè)圖像而改變視差量。顯示圖像的立體效果可通過視差量的這樣的變更控制而改變

發(fā)明內(nèi)容
然而，在H07-167633A的圖像處理方法中，沒有用于確定視差改變控制量的機(jī)構(gòu)， 且改變的控制量是固定的(恒定量)或由觀察者(用戶)手動(dòng)調(diào)整。這里，當(dāng)物體以遠(yuǎn)攝條件(telephoto condition)拍攝時(shí)視差量較大，而當(dāng)物體以廣角條件拍攝時(shí)視差較小。類似地，拍攝近物和拍攝遠(yuǎn)物時(shí)的視差量不同。因此，隨著拍攝圖像條件或“拍攝條件”(如焦距)通過所謂的變焦操作以時(shí)間順序改變，視差量自身改變。因此，當(dāng)對(duì)通過動(dòng)畫圖像的變焦操作拍攝的每個(gè)視差圖像以恒定控制量改變視差量時(shí)，則發(fā)生下面的問題。即，當(dāng)各個(gè)改變的視差圖像是以動(dòng)畫圖像顯示時(shí)，在運(yùn)動(dòng)(變焦操作)過程中，立體效果會(huì)改變，因此圖像顯示不自然。期望提供一種圖像處理裝置、圖像處理方法、具有圖像處理程序的非暫時(shí)性有形介質(zhì)以及攝像裝置，它們能夠控制視差同時(shí)保持所需的立體效果，特別是在作為用于三維觀看的動(dòng)畫圖像拍攝的視差圖像中。根據(jù)本發(fā)明實(shí)施方式的一種圖像處理裝置包括視差控制部，其利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)視差圖像執(zhí)行圖像處理以改變視差量， 其中該多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。根據(jù)本發(fā)明實(shí)施方式的一種圖像處理方法包括利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)視差圖像執(zhí)行圖像處理以改變視差量，其中該多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。根據(jù)本發(fā)明實(shí)施方式的一種非暫時(shí)性有形介質(zhì)具有在其中實(shí)現(xiàn)的計(jì)算機(jī)可讀圖像處理程序，其中計(jì)算機(jī)可讀圖像處理程序被執(zhí)行以實(shí)現(xiàn)這樣的方法，其包括利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)視差圖像執(zhí)行圖像處理以改變視差量，其中該多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。根據(jù)本發(fā)明實(shí)施方式的一種攝像裝置包括攝像透鏡；執(zhí)行透過模式和遮擋模式之間切換的光間，透過模式使沿多個(gè)光路中的每個(gè)的光透過光間，而遮擋模式使沿多個(gè)光路中的每個(gè)的光被光間遮擋；攝像元件，其接收沿每個(gè)光路的透射光，并獲取與通過從多個(gè)彼此不同的視點(diǎn)拍攝而獲得的多個(gè)視差圖像中的每個(gè)相應(yīng)的攝像數(shù)據(jù)；以及視差控制處理部，其利用表示每個(gè)視差圖像的拍攝條件的拍攝信息對(duì)每個(gè)視差圖像執(zhí)行圖像處理以改變視差量。在根據(jù)本發(fā)明實(shí)施方式的圖像處理裝置、圖像處理方法、具有圖像處理程序的非暫時(shí)性有形介質(zhì)以及攝像裝置中，利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息為每個(gè)視差圖像而改變視差量。視差量根據(jù)諸如焦距的拍攝條件而改變。利用拍攝信息， 從而即使拍攝是通過以時(shí)間順序改變拍攝條件而執(zhí)行的，如在執(zhí)行變焦操作的同時(shí)執(zhí)行拍攝，也可以根據(jù)該變化執(zhí)行合適的視差控制。根據(jù)本發(fā)明實(shí)施方式的圖像處理裝置、圖像處理方法、具有圖像處理程序的非暫時(shí)性有形介質(zhì)以及攝像裝置，利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息為每個(gè)視差圖像而改變視差量。因此，即使對(duì)通過以時(shí)間順序改變拍攝條件而獲得的每個(gè)視差圖像，如動(dòng)畫圖像，也能根據(jù)該變化執(zhí)行合適的視差控制。因此，可以執(zhí)行視差控制，同時(shí)維持所需的立體效果，特別是對(duì)于作為三維觀看的動(dòng)畫圖像而拍攝的視差圖像。應(yīng)該理解，上面的一般性說明和下面的詳細(xì)說明是示例性的，且是為了提供對(duì)本發(fā)明技術(shù)的進(jìn)一步解釋。


本說明書包括的附圖是為了提供對(duì)本發(fā)明的進(jìn)一步理解，且包括在本說明書中并構(gòu)成本說明書的一部分。附圖和說明書一起說明了實(shí)施方式，以用來解釋本發(fā)明的原理。圖1示出了根據(jù)本發(fā)明第一實(shí)施方式的攝像裝置的整體結(jié)構(gòu)。圖2是示出了圖1所示的圖像處理部的詳細(xì)結(jié)構(gòu)的功能框圖。圖3是說明利用圖1所示的攝像裝置獲得的左視差圖像中的物體的成像位置的示意圖。圖4是說明利用圖1所示的攝像裝置獲得的右視差圖像中的物體的成像位置的示意圖。圖5是說明利用圖1所示的攝像裝置獲得的左和右視差圖像之間視差的示意圖。圖6是說明視差控制處理操作(視差增大處理)的實(shí)例的示意圖。圖7是示出了執(zhí)行視差控制處理之前圖像中的視差量和視差范圍的示意圖。圖8是示出了執(zhí)行視差控制處理之后圖像中的視差量和視差范圍的示意圖。圖9示出了根據(jù)本發(fā)明第二實(shí)施方式的攝像裝置的整體結(jié)構(gòu)。圖10是說明2D拍攝(不切換光路)中接收光的圖像的示意圖。圖11是說明通過圖9所示的攝像裝置獲得左視差圖像的原理的示意圖。圖12是說明通過圖9所示的攝像裝置獲得右視差圖像的原理的示意圖。圖13是說明通過圖9所示的攝像裝置獲得的左和右視差圖像之間的視差量的示意圖。圖14A和圖14B是說明圖9所示的攝像裝置中的拍攝條件和重心之間距離的示意圖。
圖15是說明根據(jù)第一修改例的視差控制處理(視差減小處理)的示意圖。
具體實(shí)施例方式
下面將參考附圖詳細(xì)說明本發(fā)明的實(shí)施方式。說明順序如下。1.第一實(shí)施方式(基于拍攝信息且使用雙眼式像機(jī)的視差控制處理的實(shí)例)2.第二實(shí)施方式(使用單眼式像機(jī)的實(shí)例)3.第一修改例(視差減小處理的實(shí)例)4.第二修改例(僅焦距用作拍攝信息的實(shí)例)(1.第一實(shí)施方式)(攝像裝置1的整體結(jié)構(gòu))圖1示出了根據(jù)本發(fā)明第一實(shí)施方式的攝像裝置(攝像裝置1)的整體結(jié)構(gòu)。攝像裝置1從彼此不同的多個(gè)觀看方向拍攝物體，從而以時(shí)間順序的方式獲得作為動(dòng)畫圖像 (或靜止圖像)的視差圖像(實(shí)施方式中左和右視差圖像)。攝像裝置1使用所謂雙眼式像機(jī)，該雙眼式像機(jī)在一個(gè)光路中具有攝像透鏡IOal和IOb以接收來自左觀看方向的光線 LL，并在另一光路中具有攝像透鏡10a2和IOb以接收來自右觀看方向的光線LR。攝像透鏡 IOb是用于兩個(gè)光路的公共元件。攝像裝置1還包括用于每個(gè)光路的光閘Ila和11b，以及作為用于兩個(gè)光路的公共元件的圖像傳感器12。攝像裝置1還包括圖像處理部13、透鏡驅(qū)動(dòng)部14、光閘驅(qū)動(dòng)部15、圖像傳感器驅(qū)動(dòng)部16和控制部17。圖像處理部13對(duì)應(yīng)于根據(jù)本發(fā)明一個(gè)實(shí)施方式的“圖像處理裝置”。根據(jù)本發(fā)明一個(gè)實(shí)施方式的圖像處理程序以軟件方式實(shí)現(xiàn)在每個(gè)圖像處理部13中的圖像處理功能。 在該情況下，軟件由一組程序構(gòu)成，以使每個(gè)圖像處理功能由計(jì)算機(jī)執(zhí)行。每個(gè)程序例如可通過在特定硬件中預(yù)先裝入程序或通過從網(wǎng)絡(luò)和記錄介質(zhì)在通用個(gè)人計(jì)算機(jī)等中安裝程序來使用。攝像透鏡IOal和IOb是一組接收左觀看方向光線LL的透鏡，而攝像透鏡10a2和 IOb是一組接收右觀看方向光線LR的透鏡。光閘Ila設(shè)置在攝像透鏡IOal和IOb之間，而光閘lib設(shè)置在攝像透鏡10a2和IOb之間。這里，每個(gè)光閘Ila和lib的配置不限于此， 但優(yōu)選設(shè)置在攝像透鏡組的光瞳面或光圈(未示出)。攝像透鏡IOal和IOb (10a2和IOb) —起用作所謂的變焦透鏡。在攝像透鏡IOal 和10b(10a2和IOb)中，焦距可通過透鏡驅(qū)動(dòng)部14調(diào)整透鏡之間的間隔等而可變。而且， 每組透鏡由一個(gè)以上的透鏡構(gòu)成。關(guān)于攝像透鏡IOal和IOb (10a2和IOb)的變焦操作的信息(如焦距和物距)經(jīng)控制部17輸入到圖像處理部13中作為拍攝信息Df。反射鏡110設(shè)置在攝像透鏡IOal和光閘Ila之間，而反射鏡111設(shè)置在攝像透鏡 10a2和光閘lib之間，并且反射鏡112設(shè)置在光閘Ila和lib之間。反射鏡IlOUll和112 使得光線LL和LR分別在通過光閘Ila和lib之后進(jìn)入攝像透鏡10b。為了通過或遮擋光，光閘Ila和lib分別被控制為對(duì)于左光路和右光路中的每個(gè)切換打開狀態(tài)(光透過狀態(tài))和關(guān)閉狀態(tài)(光遮擋狀態(tài))。光閘Ila和lib可以是任意如上所述切換光路的元件，如機(jī)械光閘和包括液晶光閘的電光閘。圖像傳感器12是光電轉(zhuǎn)換元件，其基于通過攝像透鏡IOal和IOb以及光閘Ila 的光線LL，或通過攝像透鏡10a2和IOb以及光閘lib的光線LR輸出光接收信號(hào)。例如，圖像傳感器12包括多個(gè)以矩陣設(shè)置的光電二極管(光接收像素)，并可以是滾動(dòng)光閘型的攝像元件(如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS))，其以線序方式從光電二極管讀出信號(hào)。進(jìn)一步地，例如，具有預(yù)定顏色配置(未示出)的用于紅(R)、綠(G)和藍(lán)(B)色的濾色片可設(shè)置在圖像傳感器12的光接收側(cè)。(圖像處理部I3的結(jié)構(gòu)) 圖像處理部13基于來自圖像傳感器12的攝像數(shù)據(jù)對(duì)拍攝的圖像(左視差圖像和右視差圖像)執(zhí)行預(yù)定的圖像處理。而且，圖像處理部13包括在處理圖像之前或之后用于存儲(chǔ)攝像數(shù)據(jù)的多種存儲(chǔ)器?？蛇x地，處理的圖像數(shù)據(jù)可輸出到外部顯示器等，而非存儲(chǔ)。圖2示出了圖像處理部13的詳細(xì)結(jié)構(gòu)。圖像處理部13包括視差控制處理部131、 雙眼像差圖(disparity map)生成部133、圖像校正處理部130和132。圖像校正處理部 130和132分別設(shè)置在視差控制處理部131級(jí)之前和之后。視差控制處理部131對(duì)基于從圖像傳感器12輸入的攝像數(shù)據(jù)(左視差圖像數(shù)據(jù)DOL和右視差圖像數(shù)據(jù)DOR)的圖像(左視差圖像Ll和右視差圖像Rl)執(zhí)行視差量的改變控制。雙眼像差圖生成部133基于攝像數(shù)據(jù)(左視差圖像數(shù)據(jù)DOL和右視差圖像數(shù)據(jù) DOR)生成所謂的雙眼像差圖。具體地，雙眼像差圖生成部133計(jì)算每個(gè)像素的左視差圖像和右視差圖像之間的雙眼像差(即，如相位差和相間隙(phase gap))，從而生成圖，其中所計(jì)算的雙眼像差與每個(gè)像素相關(guān)聯(lián)。雖然雙眼像差圖可如上所述為每個(gè)像素生成和保存， 但也可以為每個(gè)由預(yù)定數(shù)目像素構(gòu)成的像素塊獲得雙眼像差，并為每個(gè)像素塊保存獲得的雙眼像差。由雙眼像差圖生成部133生成的雙眼像差圖輸出到視差控制處理部131作為圖 —(map d;at;a)DD0在本發(fā)明中，視差控制處理部131基于如下所述的拍攝信息Df，執(zhí)行將輸入的左視差圖像和右視差圖像之間視差量改變?yōu)樗枰暡盍康母淖兛刂?。例如，即使視差量根?jù)變焦操作的拍攝條件改變，也可合適地執(zhí)行視差控制。立體效果可通過改變(增大或減小) 視差量從而使得物體圖像看起來更近(在更靠近觀察者側(cè))或更深(在遠(yuǎn)離觀察者側(cè))而改變。具體地，在改變(在本實(shí)施方式中為增大)視差量時(shí)，除了視差量，還可以通過利用圖數(shù)據(jù)DD增大視差范圍。如本文所用，術(shù)語“視差量”是指畫面或圖像中水平方向上的位置差(相位差)的量。而且，術(shù)語“視差范圍”是指在畫面或圖像的深度方向上從最靠近觀察者的觀察點(diǎn)到最遠(yuǎn)離觀察者的觀察點(diǎn)的動(dòng)態(tài)范圍。圖像校正處理部130執(zhí)行校正處理，如噪聲降低和去馬賽克(demosaic)處理。圖像校正處理部132執(zhí)行校正處理，如伽馬(gamma)校正處理。透鏡驅(qū)動(dòng)部14是通過沿光軸移位攝像透鏡10al、10a2和IOb的預(yù)定透鏡而改變焦距的致動(dòng)器。光閘驅(qū)動(dòng)部15切換每個(gè)光閘Ila和lib的打開和關(guān)閉狀態(tài)。具體地，當(dāng)光閘Ila 打開時(shí)，光閘驅(qū)動(dòng)部15驅(qū)動(dòng)光閘lib關(guān)閉，且當(dāng)光閘Ila關(guān)閉時(shí)，光閘驅(qū)動(dòng)部15驅(qū)動(dòng)光閘 lib打開。而且，光閘驅(qū)動(dòng)部15分別驅(qū)動(dòng)光閘Ila和11b，從而在獲得作為動(dòng)畫圖像的每個(gè)視差圖像時(shí)，對(duì)于每個(gè)光閘Ila和lib以時(shí)分方式交替切換打開和關(guān)閉狀態(tài)。圖像傳感器驅(qū)動(dòng)部16驅(qū)動(dòng)圖像傳感器12并控制圖像傳感器12的光接收操作。例如，當(dāng)圖像傳感器12是如上述滾動(dòng)光閘型的CMOS圖像傳感器時(shí)，圖像傳感器驅(qū)動(dòng)部16驅(qū)動(dòng)圖像傳感器12，使得曝光和信號(hào)讀出操作均以線序方式操作?？刂撇?7以預(yù)定時(shí)序控制圖像處理部13、透鏡驅(qū)動(dòng)部14、光閘驅(qū)動(dòng)部15和圖像傳感器驅(qū)動(dòng)部16中每個(gè)的操作。例如，微型計(jì)算機(jī)等用作控制部17。(攝像裝置1的功能和效果)
(1.基本操作)在攝像裝置1中，透鏡驅(qū)動(dòng)部14根據(jù)用于預(yù)定變焦操作的拍攝條件驅(qū)動(dòng)攝像透鏡 IOal和10b，且光閘驅(qū)動(dòng)部15根據(jù)控制部17的控制將光閘Ila切換為打開并將光閘lib 切換為關(guān)閉。而且，與此同步，圖像傳感器驅(qū)動(dòng)部16驅(qū)動(dòng)圖像傳感器12執(zhí)行光接收操作。 從而，選擇了左觀看方向的左光路(切換到左光路)，且圖像傳感器12接收基于來自物體的入射光的光線LL的光，從而獲得左視差圖像數(shù)據(jù)D0L。然后，透鏡驅(qū)動(dòng)部14根據(jù)用于預(yù)定變焦操作的拍攝條件驅(qū)動(dòng)攝像透鏡10a2和 10b，且光閘驅(qū)動(dòng)部15將光閘lib切換為打開并將光閘Ila切換關(guān)閉。而且，與此同步，圖像傳感器驅(qū)動(dòng)部16驅(qū)動(dòng)圖像傳感器12執(zhí)行光接收操作。從而，選擇了右觀看方向的右光路(切換到右光路)，且圖像傳感器12接收基于來自物體的入射光的光線LR的光，從而獲得右視差圖像數(shù)據(jù)DOR。在獲取每個(gè)視差圖像時(shí)的變焦操作中拍攝條件(如焦距f和物距S)經(jīng)控制部17 輸入到圖像處理部13 (更具體地，視差控制處理部131)作為拍攝信息Df。通過如上所述以時(shí)分方式交替執(zhí)行攝像透鏡IOal和10a2以及光閘Ila和lib的切換驅(qū)動(dòng)，相應(yīng)于左和右視差圖像的攝像數(shù)據(jù)是以時(shí)序方式交替獲得的，且一對(duì)左和右視差圖像順序輸入到圖像處理部13。圖像處理部13對(duì)基于以上述方式獲得的左視差圖像數(shù)據(jù)DOL和右視差圖像數(shù)據(jù) DOR的拍攝圖像(如下述左視差圖像Ll和右視差圖像Rl)執(zhí)行預(yù)定圖像處理，并例如生成用于三維觀看的左和右視差圖像(如下述左視差圖像L2和右視差圖像R2)。所生成的左和右視差圖像L2和R2存儲(chǔ)在圖像處理部13中或輸出到外部。(獲得視差圖像的原理)下面將參考圖3到圖5，詳細(xì)說明獲取左和右視差圖像的原理。圖3和圖4等同于攝像裝置1的頂視圖，并示出了從物體到圖像傳感器12的傳感器平面S2 (光接收表面)的光線，且為了簡單起見不考慮反射鏡等引起的光路變化。而且除了攝像透鏡IOal和10a2， 省略了結(jié)構(gòu)元件的示出，而且也簡化了攝像透鏡IOal和10a2。圖3和圖4示出了兩個(gè)物體在深度方向上設(shè)置在彼此不同的位置的實(shí)例。具體地，兩個(gè)物體是在攝像透鏡IOal和10a2 的焦平面Sl的物體A(人)以及在比物體A更深位置(攝像透鏡的相反側(cè)上)的物體B(山峰)。(左視差圖像)當(dāng)左和右光路相對(duì)上述位置關(guān)系的物體A和B切換時(shí)，物體A和B在傳感器平面 S2上成像，如下所述。例如，當(dāng)相應(yīng)于左觀看方向的左光路(用于通過到攝像透鏡IOal的入射光的光路)可透過時(shí)，相應(yīng)于右觀看方向的右光路被遮擋，如圖3所示。在該情況下， 物體A的圖像在傳感器平面S2上的位置Ak形成為在其上聚焦(焦點(diǎn)對(duì)準(zhǔn))的圖像，物體 B的圖像在傳感器平面S2上的位置Bl形成為其上散焦(模糊)的圖像。這里的說明假設(shè)每個(gè)物體圖像的重心被用于物體的成像位置(這也適用于下面的說明)。
(右視差圖像)另一方面，當(dāng)相應(yīng)于右觀看方向的右光路(用于通過到攝像透鏡10a2的入射光的光路)可透過時(shí)，左光路被遮擋，如圖4所示。在該情況下，物體A的圖像在傳感器平面S2 上的位置AIk形成為在其上聚焦的圖像，物體B的圖像在傳感器平面S2上的位置BIk形成作為其上散焦的圖像。(左和右視差圖像之間 的視差)以該方式，在攝像裝置1中，左和右視差圖像是通過分別切換相應(yīng)于左和右觀看方向的兩個(gè)光路獲得的。而且，在這樣獲得的左和右視差圖像Ll和Rl中，散焦圖像(物體 B的圖像)位于這樣的位置，其在水平方向上相互移位到聚焦圖像(物體A的圖像)的相反方向，如圖5的㈧和⑶示意所示。然后，通過分別使用預(yù)定的3D顯示方案，如偏光方法、幀序列方法和投影儀方式， 顯示基于視差圖像Ll和Rl的左和右視差圖像L2和R2，觀察者受到如下所述相應(yīng)于觀察圖像中視差量的立體效果。應(yīng)注意，此時(shí)，顯示是這樣執(zhí)行的，即物體A的位置Al和AIk在水平方向上位于相同位置(交疊)。從而，在水平方向上在物體B的位置B^和間生成位置偏移(相位差)，且位置偏移引起左和右的視差。當(dāng)顯示是以這樣的方式執(zhí)行時(shí)，在顯示畫面(基準(zhǔn)平面)上觀察到物體A(人)，因?yàn)闆]有視差，然而，以對(duì)應(yīng)于視差量的立體效果觀察到物體B (山峰)，因?yàn)榫哂腥缟纤龅囊暡?在該實(shí)例中，觀察者看到物體B具有立體效果，如同物體B位于比基準(zhǔn)平面更深的位置)。(視差量和拍攝條件之間的關(guān)系)在具有雙眼式像機(jī)的攝像裝置1中，當(dāng)如所述那樣執(zhí)行顯示從而在基準(zhǔn)平面上觀察到物體A時(shí)，物體B的視差量Wbl等于水平方向上位置Bk和BIk之間的距離。視差量 Wbl可利用拍攝條件以下面的等式(1)定義，其中L是基線長度(攝像透鏡IOal和10a2的光軸之間的距離)，f是攝像透鏡IOal和10a2的焦距(更具體地，攝像透鏡IOal和10b， 以及攝像透鏡10a2和IOb之間的焦距)，S是物距，并且cbp是物體A和B之間的距離。雖然物體B的實(shí)際立體效果受諸如顯示尺寸和觀察者與顯示畫面之間的距離的因素的影響， 物體B相對(duì)同一畫面中的物體A的相對(duì)立體效果由等式(1)確定。Wbl = L- βΡ , -J—
(S + dep) (S-f)(等式1)(2.視差控制處理利用拍攝條件的視差控制)在本實(shí)施方式中，圖像處理部13執(zhí)行如上所述的左和右視差圖像Ll和Rl之間的視差量改變控制(該情況下為增大)。具體地，在圖像處理部13中，圖像校正處理部130對(duì)從圖像傳感器12輸入的左和右視差圖像數(shù)據(jù)DOL和DOR執(zhí)行諸如如上所述的噪聲降低的處理。此后，視差控制處理部131控制受到圖像校正處理部130進(jìn)行的圖像校正處理的圖像數(shù)據(jù)Dl (左視差圖像數(shù)據(jù)DlL和右視差圖像數(shù)據(jù)DlR)，從而使得視差量通過使用拍攝信息Df而增大到所需量。另一方面，雙眼像差圖生成部133基于輸入的左和右視差圖像數(shù)據(jù)DOL和DOR生成雙眼像差圖，該圖在改變后述的視差量和視差范圍時(shí)被使用。具體地，雙眼像差圖生成部 133為每個(gè)像素計(jì)算左和右視差圖像之間的雙眼像差，從而生成由此計(jì)算的雙眼像差與每個(gè)像素相關(guān)聯(lián)并且被保存的圖。應(yīng)注意，對(duì)于雙眼像差圖，也可以為每個(gè)由預(yù)定數(shù)目的像素構(gòu)成的像素塊而獲得雙眼像差，并為每個(gè)像素塊保存這樣獲得的雙眼像差。通過雙眼像差圖生成部133生成的雙眼像差圖被輸出到視差控制處理部131，作為圖數(shù)據(jù)DD。(比較例)下面，將說明根據(jù)本實(shí)施方式的比較例的視差控制處理。在比較例中，當(dāng)物體B的視差控制之后視差量為Wbltltl時(shí)，該視差量Wbltltl通過使用預(yù)定值α而表達(dá)為等式(2)。其中，α是為視差改變控制預(yù)先設(shè)定的固定值(常數(shù))，或是由觀察者手動(dòng)設(shè)定的值。即，在比較例中，物體B的視差量Wbl的改變控制量(例如，增大量)由常數(shù)α唯一設(shè)定。
權(quán)利要求
1.一種圖像處理裝置，包括視差控制處理部，利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)所述視差圖像執(zhí)行圖像處理以改變視差量，其中所述多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述拍攝信息包括用于獲得各個(gè)所述視差圖像的攝像透鏡的焦距和物距。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述拍攝信息與用于獲得各個(gè)所述視差圖像的攝像透鏡的焦距相關(guān)。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括相位差檢測部，其從所述視差圖像檢測所述視差圖像之間的相位差作為所述視差量，所述視差是所謂的雙眼像差。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述視差控制處理部使所述視差圖像之間在水平方向上的視差量基于所述相位差檢測部檢測到的相位差而增大或減小。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述相位差檢測部為每個(gè)像素或?yàn)楦髯园ǘ鄠€(gè)像素的每個(gè)像素塊檢測所述相位差，并為生成雙眼像差圖，該雙眼像差圖保存關(guān)于每個(gè)所述像素或每個(gè)所述像素塊的所檢測出的相位差。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，所述視差控制處理部使所述視差圖像之間在深度方向上的視差量基于由所述相位差檢測部生成的所述雙眼像差圖而增大或減小。
8.一種圖像處理方法，包括利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)所述視差圖像執(zhí)行圖像處理以改變視差量，其中所述多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。
9.一種非暫時(shí)性有形介質(zhì)，具有計(jì)算機(jī)可讀圖像處理程序，所述計(jì)算機(jī)可讀圖像處理程序用于被執(zhí)行以實(shí)現(xiàn)一種方法，所述方法包括利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)所述視差圖像執(zhí)行圖像處理以改變視差量，其中所述多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。
10.一種攝像裝置，包括 攝像透鏡；光閘，執(zhí)行透過模式和遮擋模式之間的切換，所述透過模式使沿多個(gè)光路中的每個(gè)的光通過所述光間，而所述遮擋模式使沿多個(gè)光路中的每個(gè)的光被所述光間遮擋；攝像元件，接收沿每個(gè)所述光路的透過光，并獲取與通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得的多個(gè)視差圖像中的每個(gè)相應(yīng)的攝像數(shù)據(jù)；以及視差控制處理部，利用表示每個(gè)所述視差圖像的拍攝條件的拍攝信息，對(duì)每個(gè)所述視差圖像執(zhí)行圖像處理以改變視差量。
全文摘要
本發(fā)明公開了圖像處理裝置、圖像處理方法、具有圖像處理程序的非暫時(shí)性有形介質(zhì)以及攝像裝置，該圖像處理裝置包括視差控制處理部，利用與多個(gè)視差圖像中的每個(gè)的拍攝條件相關(guān)的拍攝信息，對(duì)每個(gè)視差圖像執(zhí)行圖像處理以改變視差量，其中該多個(gè)視差圖像通過從多個(gè)彼此不同的視點(diǎn)方向拍攝而獲得。
文檔編號(hào)H04N13/00GK102263967SQ20111013278
公開日2011年11月30日 申請(qǐng)日期2011年5月20日 優(yōu)先權(quán)日2010年5月28日
發(fā)明者小林誠司, 田尻真一郎, 菊池啟記 申請(qǐng)人:索尼公司