專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及獲取具有視差的多個(gè)圖像的單眼的3維攝像技術(shù)。
背景技術(shù)：
近年來，利用了(XD、CMOS等固體攝像元件(以下，有時(shí)稱為“攝像元件”)的數(shù)碼相機(jī)、數(shù)碼攝像機(jī)的高功能化、高性能化令人瞠目。特別隨著半導(dǎo)體制造技術(shù)的進(jìn)步，固體攝像元件中的像素構(gòu)造的微細(xì)化進(jìn)一步發(fā)展。其結(jié)果，正在不斷謀求固體攝像元件的像素及驅(qū)動(dòng)電路的高集成化。因此，在僅僅幾年間攝像元件的像素?cái)?shù)從100萬像素左右顯著增加至1000萬像素以上。再有，通過攝像所得到的圖像的質(zhì)量也有飛躍的提高。另一方面，對(duì)于顯示裝置而言，通過基于薄型的液晶、等離子的顯示器，無論場(chǎng)所如何，都能夠進(jìn)行高清晰度且高對(duì)比度的顯示，實(shí)現(xiàn)了較高的性能。這種影像的高品質(zhì)化的潮流從2維圖像正擴(kuò)展至3維圖像。近來，盡管需要偏振眼鏡，但已開始了高畫質(zhì)的3維顯示裝置的開發(fā)。 對(duì)于3維攝像技術(shù)，作為具有簡單構(gòu)成的代表性技術(shù)，存在使用由2個(gè)照相機(jī)構(gòu)成的攝像系統(tǒng)分別獲取右眼用的圖像及左眼用的圖像的技術(shù)。在這種所謂的2眼攝像方式中，由于使用2個(gè)照相機(jī)，因此攝像裝置可能變大，成本也可能變高。為此，正在研究使用I個(gè)照相機(jī)來獲取具有視差的多個(gè)圖像(以下，有時(shí)稱為“多視點(diǎn)圖像”。)的方式(單眼攝像方式)。例如，專利文獻(xiàn)I中公開了一種使用濾色器同時(shí)獲取具有視差的2個(gè)圖像的方式。圖11是示意地表示基于該方式的攝像系統(tǒng)的圖。該技術(shù)中的攝像系統(tǒng)具備透鏡3、透鏡光圈19、配置了透過波段不同的2個(gè)濾色器20a、20b的光束限制板20、感光膠片21。在此，濾色器20a、20b是例如分別使紅色系統(tǒng)、藍(lán)色系統(tǒng)的光透過的濾波器。通過以上的構(gòu)成，入射光透過透鏡3、透鏡光圈19及光束限制板20，并在感光膠片21上成像。此時(shí)，在光束限制板20的2個(gè)濾色器20a、20b中，分別僅使紅色系統(tǒng)、藍(lán)色系統(tǒng)的光透過。其結(jié)果是，在感光膠片21上形成由分別透過這2個(gè)濾色器的光形成的洋紅色系統(tǒng)的顏色成分的像。在此，由于濾色器20a、20b的位置不同，因此在感光膠片21上形成的像中產(chǎn)生視差。在此，根據(jù)感光膠片制作照片，當(dāng)使用分別按照右眼用及左眼用而粘貼了紅色膠片及藍(lán)色膠片的眼鏡時(shí)，能夠看到具有縱深感的圖像。這樣，根據(jù)專利文獻(xiàn)I公開的技術(shù)，能夠使用2個(gè)濾色器來制作多視點(diǎn)圖像。專利文獻(xiàn)I中公開的技術(shù)是在感光膠片上成像來生成具有視差的多個(gè)圖像的技術(shù)，但另一方面，專利文獻(xiàn)2中公開了將具有視差的圖像變換為電信號(hào)來獲取的技術(shù)。圖12是示意地表示該技術(shù)中的光束限制板22的圖。在該技術(shù)中，在與攝像光學(xué)系統(tǒng)的光軸垂直的平面上使用光束限制板22，該光束限制板22設(shè)置有透過紅色光的R區(qū)域22R、透過綠色光的G區(qū)域22G、透過藍(lán)色光的B區(qū)域22B。使用具有對(duì)紅色光進(jìn)行檢測(cè)的R像素、對(duì)綠色光進(jìn)行檢測(cè)的G像素、對(duì)藍(lán)色光進(jìn)行檢測(cè)的B像素的彩色攝像元件來接收透過這些區(qū)域的光，由此獲取由透過各區(qū)域的光形成的圖像。此外，專利文獻(xiàn)3中也公開了使用與圖12同樣的結(jié)構(gòu)來獲取具有視差的多個(gè)圖像的技術(shù)。圖13是示意地表示專利文獻(xiàn)3中公開的光束限制板23的圖。在該技術(shù)中，入射光透過設(shè)置在光束限制板23上的R區(qū)域23R、G區(qū)域23G、B區(qū)域23B，由此能夠制作具有視差的多個(gè)圖像。專利文獻(xiàn)4也同樣地公開了一種使用相對(duì)于光軸對(duì)稱地配置的彼此顏色不同的一對(duì)濾波器來生成具有視差的多個(gè)圖像的技術(shù)。作為一對(duì)濾波器而利用紅色的濾波器及藍(lán)色的濾波器，由此，檢測(cè)紅色光的R像素觀測(cè)透過紅色濾波器的光，檢測(cè)藍(lán)色光的B像素觀測(cè)透過藍(lán)色濾波器的光。由于紅色濾波器和藍(lán)色濾波器的位置不同，因此R像素接收的光的入射方向與B像素接收的光的入射方向彼此不同。其結(jié)果是，通過R像素觀測(cè)的圖像和通過B像素觀測(cè)的圖像成為彼此視點(diǎn)不同的圖像。根據(jù)這些圖像按每個(gè)像素求出對(duì)應(yīng)點(diǎn)，由此能夠計(jì)算視差量。根據(jù)所計(jì)算出的視差量和照相機(jī)的焦點(diǎn)距離信息，求出從照相機(jī)至被攝體的距離。專利文獻(xiàn)5中公開了如下的技術(shù)根據(jù)使用安裝了口徑尺寸彼此不同的2個(gè)濾色器(例如紅色和藍(lán)色)的光圈、或者顏色不同的2個(gè)濾色器相對(duì)于光軸被安裝在左右對(duì)稱的位置處的光圈所獲取的2個(gè)圖像來求出被攝體的距離信息。在該技術(shù)中，當(dāng)觀測(cè)分別透 過了口徑尺寸彼此不同的紅色及藍(lán)色的濾色器的光時(shí)，按每個(gè)顏色觀測(cè)的模糊的程度會(huì)不同。因此，與紅色及藍(lán)色的濾色器分別對(duì)應(yīng)的2個(gè)圖像成為模糊的程度因被攝體的距離而不同的圖像。根據(jù)這些圖像求出對(duì)應(yīng)點(diǎn)，通過比較模糊的程度，來獲得從照相機(jī)至被攝體的距離信息。另一方面，在觀測(cè)分別透過了相對(duì)于光軸被安裝在左右對(duì)稱的位置處的顏色不同的2個(gè)濾色器之后的光時(shí)，按每個(gè)顏色觀測(cè)的入射光的方向會(huì)不同。因此，與紅色及藍(lán)色的濾色器分別對(duì)應(yīng)的2個(gè)圖像成為具有視差的圖像。根據(jù)這些圖像求出對(duì)應(yīng)點(diǎn)，通過求出對(duì)應(yīng)點(diǎn)間的距離，可獲得從照相機(jī)至被攝體的距離信息。根據(jù)上述專利文獻(xiàn)I 5中公開的技術(shù)，通過在光束限制板或者光圈配置RGB系統(tǒng)的濾色器能夠生成具有視差的多個(gè)圖像。但是，由于使用RGB系統(tǒng)的濾色器，因此入射光量大大減少。此外，為了增大視差量，要將多個(gè)濾色器配置在彼此分離的位置，且需要減小濾色器各自的面積。但是，當(dāng)減小濾色器的面積時(shí)，入射光量會(huì)進(jìn)一步減少。相對(duì)于以上的現(xiàn)有技術(shù)，專利文獻(xiàn)6中公開了使用配置有RGB多個(gè)濾色器的光圈能夠獲得具有視差的多個(gè)圖像和光量方面沒有問題的通常圖像的技術(shù)。根據(jù)該技術(shù)，攝像元件在關(guān)閉光圈的狀態(tài)下僅接收透過了 RGB濾色器的光，在打開光圈的狀態(tài)下RGB濾色器區(qū)域會(huì)偏離光路，因此能夠接收全部的入射光。由此，能夠在關(guān)閉光圈的狀態(tài)下獲取多視點(diǎn)圖像，并在打開光圈的狀態(tài)下獲取光利用率高的通常圖像?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)IJP特開平2-171737號(hào)公報(bào)專利文獻(xiàn)2JP特開2002-344999號(hào)公報(bào)專利文獻(xiàn)3JP特開2009-276294號(hào)公報(bào)專利文獻(xiàn)4JP特開2010-38788號(hào)公報(bào)專利文獻(xiàn)5JP特開2010-79298號(hào)公報(bào)專利文獻(xiàn)6JP特開2003-134533號(hào)公報(bào)發(fā)明要解決的技術(shù)問題根據(jù)專利文獻(xiàn)I 5所公開的技術(shù)，盡管能夠獲取多視點(diǎn)圖像，但是由于使用原色(RGB系統(tǒng))的濾色器，因此攝像元件的受光量大大減少。另一方面，根據(jù)專利文獻(xiàn)6所公開的技術(shù)，利用通過機(jī)械性驅(qū)動(dòng)使濾色器從偏離光路的機(jī)構(gòu)能夠獲取光利用率高的通常圖像。但是，在該技術(shù)中為了獲得多視點(diǎn)圖像也要使用原色的濾色器，因此無法獲得光利用率高的多視點(diǎn)圖像。此外，該技術(shù)中還存在招致裝置的大型化及高成本化的這一技術(shù)問題。在現(xiàn)有技術(shù)中，直接利用根據(jù)攝像元件的各像素中入射的光量所生成的光電變換信號(hào)(像素信號(hào))來生成多視點(diǎn)圖像，通過進(jìn)行這些圖像間的對(duì)應(yīng)點(diǎn)匹配等來計(jì)算距離信息。因此，在使用具有原色型的濾色器排列的一般的攝像元件時(shí)，還需要在光束限制板或者光圈設(shè)置原色型的濾色器。在光束限制板或者光圈的濾色器為原色型的情況下，由于各濾色器僅使自身的透過波段中包含的波長的光透過，因此，當(dāng)拍攝有彩色的被攝體時(shí)，透過左右的濾波器的光的量會(huì)出現(xiàn)差異。例如，在拍攝主要反射紅色波段的光的物體時(shí)，由于從物體入射的光雖透過紅色濾波器但幾乎不透過藍(lán)色濾波器，因此攝像元件中的R像素的像素信號(hào)變得大于B像素的像素信號(hào)。即，在根據(jù)R像素的像素信號(hào)生成的圖像和根據(jù)B像素的像素信號(hào)生成的圖像中，即便是在3維空間中表示同一點(diǎn)的對(duì)應(yīng)點(diǎn)，彼此的像素信號(hào)(濃淡)也有很大差異。其結(jié)果，觀察這2個(gè)圖像的眼睛的不適感較強(qiáng)烈，此外，如果被攝體的 顏色不同則對(duì)應(yīng)點(diǎn)處的濃淡不同，因此基于匹配的距離估計(jì)也很難。這樣，在使用配置了多個(gè)原濾色器的光圈或者光束限制板的現(xiàn)有技術(shù)中，在接近于單色光的光入射的情況下，無法獲取視差信息，因此存在應(yīng)用范圍受限的這一技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明提供一種不進(jìn)行機(jī)械性驅(qū)動(dòng)、即便從被攝體入射的光是單色光也能夠獲取多視點(diǎn)圖像、能夠獲取光利用率高的多視點(diǎn)圖像的攝像技術(shù)。解決技術(shù)問題的技術(shù)方案本發(fā)明的3維攝像裝置具備光透過部，其具有透過率的波長依賴性彼此不同的m個(gè)(m為2以上的整數(shù))透過區(qū)域；固體攝像元件，其被配置成接受透過了所述光透過部的光，且具有光感知單元陣列、以及與所述光感知單元陣列對(duì)置配置的透過濾波器陣列，所述光感知單元陣列及所述透過濾波器陣列由多個(gè)單位要素構(gòu)成，各單位要素包括η個(gè)(η為m以上的整數(shù))光感知單元、及與所述η個(gè)光感知單元對(duì)置配置的透過率的波長依賴性彼此不同的η個(gè)透過濾波器；和成像部，其在所述固體攝像元件的攝像面形成像。在將波長設(shè)為λ，將表示所述m個(gè)透過區(qū)域之中的任意2個(gè)透過區(qū)域的透過率的函數(shù)設(shè)為Tcl ( λ )及Tc2 ( λ )，將表示所述η個(gè)透過濾波器之中的任意2個(gè)透過濾波器的透過率的函數(shù)設(shè)為Tdl ( λ )及Td2 ( λ )，并將積分區(qū)間設(shè)定為可見光的整個(gè)波段時(shí)，滿足/ Tcl ( λ ) Tdl ( λ )d λ > O、/ Tcl ( λ ) Td2 ( λ ) d λ > O、/ Tc2 ( λ ) Tdl ( λ ) d λ > O、/ Tc2 ( λ ) Td2 ( λ ) d λ>0、&/TclU)TdlU)cU / Tc2 ( λ ) Td2 ( λ ) d λ ^ / Tc2 ( λ ) Tdl ( λ ) d λ /TclU)Td2 ( λ ) d λ。在某個(gè)實(shí)施方式中，還具備圖像生成部，該圖像生成部利用從所述η個(gè)光感知單元之中至少m個(gè)光感知單元輸出的光電變換信號(hào)來生成基于入射到所述m個(gè)透過區(qū)域中的光的m個(gè)多視點(diǎn)圖像。在某個(gè)實(shí)施方式中，所述圖像生成部通過利用了基于各透過區(qū)域的透過率及各透過濾波器的透過率而決定的η行m列的矩陣的運(yùn)算，來生成所述m個(gè)多視點(diǎn)圖像。
在某個(gè)實(shí)施方式中，m = 2、η = 2,所述圖像生成部利用將f Tcl ( λ )Tdl ( λ )、f Tcl(A)Td2(A)dA , / Tc2U)TdlU)cU、及 / Tc2 ( λ ) Td2 ( λ ) d λ 作為所述矩陣的要素的2行2列的矩陣來生成所述多視點(diǎn)圖像。在某個(gè)實(shí)施方式中，所述m個(gè)透過區(qū)域的至少I個(gè)透過區(qū)域中的透過率以及所述η個(gè)透過濾波器的至少I個(gè)透過濾波器中的透過率被設(shè)計(jì)成在可見光的波段不具有波長依賴性。在某個(gè)實(shí)施方式中，所述m個(gè)透過區(qū)域的至少I個(gè)透過區(qū)域、以及所述η個(gè)透過濾波器的至少I個(gè)透過濾波器是透明的。發(fā)明效果根據(jù)本發(fā)明，不必進(jìn)行機(jī)械性驅(qū)動(dòng)，即便從被攝體入射的光是單色光，也能夠獲取多視點(diǎn)圖像。再有，根據(jù)本發(fā)明的優(yōu)選的實(shí)施方式，能夠獲取光利用率高于以往的多視點(diǎn)圖 像。


圖I是表示實(shí)施方式I中的整體結(jié)構(gòu)的框圖。圖2是表示實(shí)施方式I中的透光板、光學(xué)系統(tǒng)、及攝像元件的概略結(jié)構(gòu)的示意圖。圖3是表示實(shí)施方式I中的透光板的透過區(qū)域的配置的圖。圖4是表示實(shí)施方式I中的攝像元件的透過濾波器的基本構(gòu)成的圖。圖5是表示透光板中的透過濾波器的分光透過率的例子的圖。圖6是表示攝像元件中的透過濾波器的分光透過率的例子的圖。圖7是表示透光板中的透過濾波器的分光透過率的其他例子的圖。圖8是表示攝像元件中的透過濾波器的分光透過率的其他例子的圖。圖9是表示具有m個(gè)透過區(qū)域的透光板的一例的圖。圖10是表示攝像元件的各單位要素中的η個(gè)濾色器的配置的一例的圖。圖11是專利文獻(xiàn)I中的攝像系統(tǒng)的構(gòu)成圖。圖12是專利文獻(xiàn)2中的光束限制板的外觀圖。圖13是專利文獻(xiàn)3中的光束限制板的外觀圖。
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式。在以下的說明中，對(duì)于共同或者對(duì)應(yīng)的要素賦予同一符號(hào)。再者，在本說明書中，將表示圖像的信號(hào)或者信息簡稱為“圖像”。(實(shí)施方式I)圖I是表示本發(fā)明的第I實(shí)施方式中的攝像裝置的整體結(jié)構(gòu)的框圖。本實(shí)施方式的攝像裝置是數(shù)字式的電子照相機(jī)，具備攝像部100、以及基于從攝像部100輸出的信號(hào)來生成表示圖像的信號(hào)(圖像信號(hào))的信號(hào)處理部200。攝像部100具備具有在攝像面上排列的多個(gè)光感知單元(像素)的攝像元件(圖像傳感器)I、具有透過率的波長依賴性(分光透過率)彼此不同的2個(gè)透過區(qū)域的透光板(光透過部)2、用于在攝像元件I的攝像面上形成像的光學(xué)透鏡3、以及紅外截止濾波器4。攝像部100還具備產(chǎn)生用于驅(qū)動(dòng)攝像元件I的基本信號(hào)并且接收來自攝像元件I的輸出信號(hào)而送出至信號(hào)處理部200的信號(hào)產(chǎn)生/接收部5、以及基于由信號(hào)產(chǎn)生/接收部5產(chǎn)生的基本信號(hào)來驅(qū)動(dòng)攝像元件I的元件驅(qū)動(dòng)部6。攝像元件I典型的是(XD或者CMOS傳感器，通過公知的半導(dǎo)體制造技術(shù)進(jìn)行制造。信號(hào)產(chǎn)生/接收部5及元件驅(qū)動(dòng)部30例如由C⑶驅(qū)動(dòng)器等的LSI構(gòu)成。信號(hào)處理部200具備對(duì)從攝像部100輸出的信號(hào)進(jìn)行處理來生成圖像信號(hào)的圖像信號(hào)生成部7、保存用于圖像信號(hào)生成的各種數(shù)據(jù)的存儲(chǔ)器30、以及將所生成的圖像信號(hào)送出至外部的接口(IF)部8。圖像信號(hào)生成部7可通過公知的數(shù)字信號(hào)處理器(DSP)等的硬件與執(zhí)行包含圖像信號(hào)生成處理在內(nèi)的圖像處理的軟件的組合來適當(dāng)?shù)貙?shí)現(xiàn)。存儲(chǔ)器30由DRAM等構(gòu)成。存儲(chǔ)器30記錄從攝像部100得到的信號(hào)，并且暫時(shí)記錄由圖像信號(hào)生成部7生成的圖像數(shù)據(jù)、被壓縮的圖像數(shù)據(jù)。這些圖像數(shù)據(jù)經(jīng)由接口部8被送出至未圖示的記錄介質(zhì)、顯示部等。再者、本實(shí)施方式的攝像裝置可具備電子快門、取景器、電源(電池)、閃光燈等公知的構(gòu)成要素，但由于它們的說明對(duì)于本發(fā)明的理解不是特別必要，因此省略其說明。
接下來，參照?qǐng)D2 4更為詳細(xì)地說明攝像部100的結(jié)構(gòu)。圖2是示意地表示攝像部100中的透光板2、光學(xué)透鏡3、及攝像元件I的配置關(guān)系的圖。再者，圖2中省略了除了透光板2、光學(xué)透鏡3及攝像元件I以外的構(gòu)成要素。透光板2具有分光透過率彼此不同的2個(gè)透過區(qū)域Cl、C2，且使入射光透過。光學(xué)透鏡3是公知的透鏡，對(duì)透過透光板2之后的光進(jìn)行聚光，成像在攝像元件I的攝像面Ia上。透光板2構(gòu)成為透過區(qū)域C1、C2以外的區(qū)域由遮光性部件形成，光在透光板2的透過區(qū)域Cl、C2以外不會(huì)通過。在以下的說明中，如圖2所示，采用將從區(qū)域Cl向C2的方向設(shè)定為X方向、將在與攝像面Ia平行的平面上與X方向垂直的方向設(shè)定為y方向的坐標(biāo)。再者，圖2所示的各構(gòu)成要素的配置關(guān)系僅僅是一例，本發(fā)明并不限定于這種的配置關(guān)系。例如，透鏡3只要能夠在攝像面Ia形成像，則也可以較之透光板2更遠(yuǎn)離攝像元件I地進(jìn)行配置。此夕卜，透鏡3和透光板2也可以構(gòu)成為一體。圖3是本實(shí)施方式中的透光板2的正面圖。本實(shí)施方式中的透光板2的形狀與透鏡3的形狀同樣是圓形的，但也可以是其他形狀。在區(qū)域Cl及C2配置對(duì)于可見光W的波段中包含的任意的波長的光，使至少一部分透過的透過濾波器。任意的透過濾波器都是使可見光的波段中包含的任意波長的光透過，但是由于它們的分光透過率不同，因此在相同的光通過區(qū)域Cl時(shí)和通過區(qū)域C2時(shí)，透過光的明亮度(亮度)彼此不同。關(guān)于各透過區(qū)域的分光透過率的詳細(xì)內(nèi)容在后面敘述。再者，如果各透過濾波器具有以所希望的透過率使光透過的功能，則也可以由任意部件構(gòu)成。各透過濾波器例如可由玻璃、塑料、膠膜(cellophane)等構(gòu)成。再者，在本實(shí)施方式中，在透過區(qū)域C1、C2配置彼此分光透過率不同的透過濾波器，但各區(qū)域如果是具有所期望的分光透過率的部件，則可以任意構(gòu)成。例如，在使一個(gè)透過區(qū)域處于透明的情況下，該區(qū)域可以由空氣代替。在此，所謂“透明”是指在可見光的波段中透過率無波長依賴性、不產(chǎn)生光的吸收或漫射的狀態(tài)。區(qū)域Cl及區(qū)域C2在X方向上隔開一定的距離L進(jìn)行配置。按照根據(jù)透鏡3的尺寸所獲取的圖像具有合適的視差的方式來決定距離L。距離L可設(shè)定為例如幾mm 幾cm。如圖3所示，優(yōu)選透過區(qū)域Cl、C2相對(duì)于光軸在左右(X方向)對(duì)稱地配置，且具有同一面積。通過該構(gòu)成，入射到左右的各區(qū)域C1、C2中的光的量大致相等。再者，透過區(qū)域C1、C2的配置并不限于圖3所示的配置，可根據(jù)用途而適當(dāng)決定。例如，在想要獲取上下(y方向)的視差信息時(shí)，也可以將透過區(qū)域C1、C2排列在y方向上。此外，在透過區(qū)域C1、C2的透過率之差較大的情況下，由于所觀測(cè)的像素值的差變大，因此所獲取的2個(gè)圖像的明亮度中會(huì)出現(xiàn)差異。因此，在透過區(qū)域Cl、C2的透過率之差較大時(shí)，也可以調(diào)整區(qū)域Cl、C2的面積，使得所獲取的2個(gè)圖像的明亮度接近。在圖2所示的攝像元件I的攝像面la，形成2維狀排列的光感知單元陣列及與光感知單元陣列對(duì)置配置的透過濾波器陣列。光感知單元陣列及透過濾波器陣列由多個(gè)單位要素構(gòu)成。在本實(shí)施方式中，各單位要素包括2個(gè)光感知單元以及與它們相對(duì)置的2個(gè)透過濾波器。各光感知單元典型的是包括光電二極管，通過光電變換輸出與各個(gè)受光量相應(yīng)的電信號(hào)(稱為“光電變換信號(hào)”或者“像素信號(hào)”)。各透過濾波器被設(shè)計(jì)成使用公知的顏料、電介質(zhì)多層膜等制作，對(duì)于可見光的波段中包含的任意的波長的光使至少任意一部分透過。圖4是示意地表示本實(shí)施方式中的透過濾波器陣列的一部分的俯視圖。如圖示那樣，在攝像面Ia上多個(gè)透過濾波器110排列成矩陣狀。如上所述，靠近的2個(gè)透過濾波器 110以及與它們對(duì)置的2個(gè)光感知單元120包含在I個(gè)單位要素中。具有各單位要素的2個(gè)透過濾波器Dl、D2都是使可見光的波段中包含的任意波長的光透過，但是透過率的波長依賴性彼此不同。對(duì)于這些透過濾波器D1、D2的透過率的設(shè)定，與透光板2的透過區(qū)域Cl、C2的透過率一并在后面敘述。再者，在圖4所示的例子中，將2個(gè)光感知單元排列在橫向(X方向)，但光感知單元120的排列也可以是其他的任意排列。例如，既可以按縱向(y方向)排列，也可以傾斜排列。此外，I個(gè)單位要素中包含的光感知單元120的個(gè)數(shù)并不限于2個(gè)，也可以是3個(gè)以上。再有，光感知單元120及透過濾波器110也未必沿著X方向及y方向進(jìn)行排列，也可以相對(duì)于X方向及y方向傾斜地排列。通過以上的構(gòu)成，在曝光中入射至攝像裝置的光通過透光板2、透鏡3、紅外截止濾波器4、透過濾波器110而入射至光感知單元120。各光感知單元接收分別透過了透光板2的區(qū)域Cl、C2的光之中的透過了對(duì)置的透過濾波器的光，輸出與接收到的光的量相應(yīng)的光電變換信號(hào)。由各光感知單兀輸出的光電變換信號(hào)通過信號(hào)產(chǎn)生/接收部5被送出至信號(hào)處理部200。信號(hào)處理部200中的圖像信號(hào)生成部7基于從攝像部100送出的信號(hào)來生成多視點(diǎn)圖像。以下，說明從各光感知單元輸出的光電變換信號(hào)。在假定透過區(qū)域Cl、C2及透過濾波器D1、D2的透過率對(duì)于任意波長都為100%的情況下，由Cil表示通過區(qū)域Cl而入射到所關(guān)注的I個(gè)像素的光的強(qiáng)度的信號(hào)，由Ci2表示通過區(qū)域C2而入射到所關(guān)注的I個(gè)像素的光的強(qiáng)度的信號(hào)。此外，作為前提，假定對(duì)I個(gè)單位要素中包含的各光感知單元入射同一強(qiáng)度的光，所入射的光都是可見光。為了簡化說明，忽略入射至區(qū)域C1、C2的光的強(qiáng)度的波長依賴性。即，假定被攝體不是彩色的。此外，將合并透鏡3及紅外截止濾波器4而得到的分光透過率設(shè)為Tw，將區(qū)域Cl的分光透過率設(shè)為Tcl，將區(qū)域C2的分光透過率設(shè)為Tc2。同樣，將攝像元件I中的透過濾波器D1、D2的分光透過率分別表示為Tdl、Td2。在此，由于Tw、Tcl、Tc2、TdU Td2是依賴于入射的光的波長λ的函數(shù)，因此分別表示為Tw ( λ )、Tcl ( λ )、Tc2 ( λ )、Tdl ( λ )、Td2 ( λ )。將表示透過了透過濾波器Dl、D2而被與其對(duì)置的光感知單元所接收的光的強(qiáng)度的信號(hào)分別表示為dl、d2。此外，使用記號(hào)Σ表示可見光的波段中的分光透過率的積分運(yùn)算。例如，將關(guān)于波長λ的積分運(yùn)算/ Tw(A)Tcl(A)Tdl(A)dA等表示為Σ TwTclTdl等。在此，假定積分在可見光的全波段進(jìn)行。于是，dl與相加Cil Σ TwTclTdU Ci2 Σ TwTc2Td2之后的結(jié)果成比例。同樣，d2與相加Cil Σ TwTclTd2,Ci2 Σ TwTc2Td2之后的結(jié)果成比例。如果將這些關(guān)系中的比例系數(shù)設(shè)為1，則dl、d2可分別由以下的式1、2表示。(式l)dl = Cil Σ TwTclTdl+Ci2 Σ TwTc2Tdl(式2)d2 = Cil Σ TwTclTd2+Ci2 Σ TwTc2Td2在式1、2 中，將Σ TwTclTdU Σ TwTc2TdU Σ TwTclTd2、Σ TwTc2Td2 分別表示為Mxll、Mxl2、Mx21、Mx22。于是，式I可利用矩陣而由以下的式3表示。計(jì)算式I
(dl\ ΓΑ&11 iV/xl2 Y C/1 ^(式3)=.
{d2 ) {Mx2\ Mxll 人 t72 J在此，在將由式3中的要素MxlI Mx22構(gòu)成的矩陣的逆矩陣的要素設(shè)為iMll Μ22時(shí)，式3可變形為如下的式4。即，能夠利用光電變換信號(hào)dl、d2示出表示入射至區(qū)域C1、C2的光的強(qiáng)度的信號(hào)Cil、Ci2。計(jì)算式2(式4)
(Ca ) (iMx\ I I MxXl Y dl=
{Ci2 J {iMx21 :她22 人 ￠/2 }通過以上的構(gòu)成，能夠?qū)⒈硎靖飨袼氐娜肷涔饬康男盘?hào)dl、d2(觀測(cè)像素值)變換為分別入射至透過區(qū)域Cl、C2的光的強(qiáng)度信號(hào)Cil、Ci2。圖I所示的圖像信號(hào)生成部7執(zhí)行基于式4的信號(hào)運(yùn)算，按每個(gè)單位要素生成信號(hào)Cil、Ci2。按每單位要素所生成的信號(hào)Cil、Ci2，表示由分別入射至透過區(qū)域Cl、C2的光所形成的2個(gè)圖像。這2個(gè)圖像具有因透過區(qū)域Cl、C2的位置差異引起的視差。這樣，通過基于式4的運(yùn)算能夠生成多視點(diǎn)圖像。在如以往那樣透過區(qū)域Cl、C2僅使特定波長的光透過的情況下(在Cl、C2配置了原色的濾色器的情況等)，當(dāng)區(qū)域Cl、C2的至少一方的透過波段中不包含的波長的單色光從被攝體入射時(shí)，由于dl、d2的至少一方為0，因此無法求出Cil、Ci2。為此，在本實(shí)施方式中，按照通過式4求出的Cil及Ci2滿足Cil > O且Ci2 > O的方式來構(gòu)成透過區(qū)域C1、C2、及透過濾波器D1、D2。由此，從被攝體入射的光即便是單色光，也能夠獲取視差(左右的光的強(qiáng)度信號(hào))。以下，說明本實(shí)施方式的攝像裝置作為對(duì)象的場(chǎng)景、被攝體的條件、及透過區(qū)域Cl、C2、透過濾波器Dl、D2的分光透過率應(yīng)該滿足的條件。<條件1> :觀測(cè)像素值dl、d2的條件在本實(shí)施方式中，如上所述那樣，透光板2的透過區(qū)域Cl、C2的透過率、以及攝像元件I的透過濾波器Dl、D2的透過率，對(duì)于可見光的波段中包含的任意波長的光具有大于O的值。由此，除了在可見光的全波段入射了光量為O的光的情況以外，觀測(cè)像素值始終為正值。因此，觀測(cè)像素值dl、d2都為O的情況僅限于被攝體的顏色為黑色、或者場(chǎng)景較暗的情況。在觀測(cè)像素值為dl = d2 = 0(被攝體或者攝影場(chǎng)景非常黑)的情況下，根據(jù)式4得到Cil = Ci2 = O,因此無法得到多視點(diǎn)圖像。此外，在dl = O且d2關(guān)O的情況下，根據(jù)式 4，得到 Cil = d2iMxl2、Ci2 = d2iMx22, Cil > O 且 Ci2 > O。但是，由于 Cil 為 Ci2 的常數(shù)倍，因此，盡管存在明亮度差異，但是無法得到視差信息。對(duì)于dl古O且d2 = O的情況也同樣。據(jù)此，在本實(shí)施方式的攝像裝置作為對(duì)象的場(chǎng)景中，需要觀測(cè)像素值為dl > O且d2 > O。<條件2> :從觀測(cè)像素值變換為多視點(diǎn)圖像信號(hào)的變換矩陣的條件接下來，說明利用由透光板2的透過區(qū)域Cl、C2及攝像元件I的透過濾波器Dl、D2的分光透過率所規(guī)定的變換矩陣(Mxll、Mxl2、Mx21、Mx22)，根據(jù)觀測(cè)像素值dl、d2來求出多視點(diǎn)圖像信號(hào)Cil、Ci2的條件。作為求出多視點(diǎn)圖像信號(hào)Cil、Ci2的基本的條件，需要能夠從式3變換至式4。在由式3的變量來表示式4時(shí)，得到如下的式5。計(jì)算式3
々:*/1、IfMxJl —Md 2 W
權(quán)利要求
1.一種3維攝像裝置，其具備 光透過部，其具有透過率的波長依賴性彼此不同的m個(gè)透過區(qū)域，其中m為2以上的整數(shù)；固體攝像元件，其被配置成接受透過了所述光透過部的光，且具有光感知單元陣列、以及與所述光感知單元陣列對(duì)置配置的透過濾波器陣列，所述光感知單元陣列及所述透過濾波器陣列由多個(gè)單位要素構(gòu)成，各單位要素包括η個(gè)光感知單元、及與所述η個(gè)光感知單元對(duì)置配置的透過率的波長依賴性彼此不同的η個(gè)透過濾波器，其中η為m以上的整數(shù)；和成像部，其在所述固體攝像元件的攝像面形成像， 在將波長設(shè)為λ，將表示所述m個(gè)透過區(qū)域之中的任意2個(gè)透過區(qū)域的透過率的函數(shù)設(shè)為Tcl ( λ )及Tc2 ( λ )，將表示所述η個(gè)透過濾波器之中的任意2個(gè)透過濾波器的透過率的函數(shù)設(shè)為Tdl ( λ )及Td2 ( λ )，并將積分區(qū)間設(shè)定為可見光的整個(gè)波段時(shí)，滿足/ Tcl (A)TdK λ )dA > O、f Tc l(A)Td2(A)dA >0、f Tc2(A)Tdl(A)dA > 0、f Tc2(A )Td2(A )dA > 0、及f Tcl (A)Tdl( λ )dA f Tc2(A)Td2(A)dA 幸 f Tc2 ( λ ) Tdl ( λ ) d λ f Tcl (λ)Td2 ( λ ) d λ。
2.根據(jù)權(quán)利要求I所述的3維攝像裝置，其中， 所述3維攝像裝置還具備圖像生成部，其利用從所述η個(gè)光感知單元之中至少m個(gè)光感知單元輸出的光電變換信號(hào)來生成基于入射到所述m個(gè)透過區(qū)域中的光的m個(gè)多視點(diǎn)圖像。
3.根據(jù)權(quán)利要求2所述的3維攝像裝置，其中， 所述圖像生成部通過利用了基于各透過區(qū)域的透過率及各透過濾波器的透過率而決定的η行m列的矩陣的運(yùn)算，來生成所述m個(gè)多視點(diǎn)圖像。
4.根據(jù)權(quán)利要求2或3所述的3維攝像裝置，其中， m = 2、η = 2， 所述圖像生成部利用將 f Tcl (X)Tdl (λ)、/ TclU)Td2U)cU、f Tc2 ( λ )TdlU)cU、及/ Tc2(A)Td2(A)dA作為所述矩陣的要素的2行2列的矩陣來生成所述多視點(diǎn)圖像。
5.根據(jù)權(quán)利要求I 4的任一項(xiàng)所述的3維攝像裝置，其中， 所述m個(gè)透過區(qū)域的至少I個(gè)透過區(qū)域中的透過率以及所述η個(gè)透過濾波器的至少I個(gè)透過濾波器中的透過率被設(shè)計(jì)成在可見光的波段不具有波長依賴性。
6.根據(jù)權(quán)利要求5所述的3維攝像裝置，其中， 所述m個(gè)透過區(qū)域的至少I個(gè)透過區(qū)域、以及所述η個(gè)透過濾波器的至少I個(gè)透過濾波器是透明的。
全文摘要
本發(fā)明提供一種3維攝像裝置，其具備具有透過率的波長依賴性彼此不同的m個(gè)(m為2以上的整數(shù))的透過區(qū)域的光透過部(2)、固體攝像元件(1)、在固體攝像元件(1)的攝像面(1a)形成像的成像部(3)。固體攝像元件(1)由多個(gè)單位要素構(gòu)成，各單位要素包括n個(gè)(n為m以上的整數(shù))光感知單元以及與這些光感知單元對(duì)置的n個(gè)透過濾波器。n個(gè)透過濾波器的透過率的波長依賴性彼此不同。在波長設(shè)為λ，將透過區(qū)域(C1、C2)的透過率分別設(shè)為Tc1(λ)、Tc2(λ)，將2個(gè)透過濾波器的透過率設(shè)為Td1(λ)、Td2(λ)，將積分區(qū)間設(shè)定為可見光的整個(gè)波段時(shí)，滿足∫Tc1(λ)Td1(λ)dλ＞0、∫Tc1(λ)Td2(λ)dλ＞0、∫Tc2(λ)Td1(λ)dλ＞0、∫Tc2(λ)Td2(λ)dλ＞0、及∫Tc1(λ)Td1(λ)dλ∫Tc2(λ)Td2(λ)dλ≠∫Tc2(λ)Td1(λ)dλ∫Tc1(λ)Td2(λ)dλ。
文檔編號(hào)G03B11/00GK102823230SQ20118001417
公開日2012年12月12日 申請(qǐng)日期2011年10月19日 優(yōu)先權(quán)日2011年1月17日
發(fā)明者石井育規(guī), 平本政夫 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社