攝像裝置、圖像處理裝置、攝像方法和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像裝置、圖像處理裝置、攝像方法和圖像處理方法等。
【背景技術(shù)】
[0002]此前提出了根據(jù)圖像信息求出距離信息并計(jì)測三維形狀的多種方法。例如，存在如下方法:在光瞳位置插入濾色鏡，根據(jù)顏色成分對左右的光瞳圖像進(jìn)行分離，由此求出相位差信息，通過三角測量的原理進(jìn)行立體計(jì)測。在該方法中，為了對左右光瞳圖像進(jìn)行分離而需要進(jìn)行攝像彩色圖像的分光分離，但是，多數(shù)情況下，針對攝像傳感器的像素，設(shè)置僅使希望分離的波長區(qū)域通過的光學(xué)濾鏡，以光學(xué)方式進(jìn)行分光分離。作為這種方法，例如存在下述文獻(xiàn)所記載的方法。
[0003]在專利文獻(xiàn)1中公開了配置分光透射率特性的平均波長不同的5種以上(包含該值)的濾色鏡的攝像裝置。在專利文獻(xiàn)1中，對應(yīng)于攝像傳感器的像素而設(shè)置6種濾鏡、SP第1藍(lán)色濾鏡、第2藍(lán)色濾鏡、第1綠色濾鏡、第2綠色濾鏡、第1紅色濾鏡和第2紅色濾鏡，能夠同時對多波段的圖像進(jìn)行攝像。
[0004]在專利文獻(xiàn)2中公開了如下方法:在成像光學(xué)系統(tǒng)與攝像傳感器之間設(shè)置分支光學(xué)系統(tǒng)，使用該分支光學(xué)系統(tǒng)分離為4波段以上(包含該值)的波段。在該方法中，分支后的各顏色的圖像在攝像傳感器上的分離后的區(qū)域內(nèi)成像。各顏色的圖像在匯總的區(qū)域內(nèi)生成像，所以，能夠同時對多波段的圖像進(jìn)行攝像。
[0005]在非專利文獻(xiàn)1中公開了如下方法:使用旋轉(zhuǎn)式的多波段濾鏡，依次更換要攝像的圖像的通過波段來進(jìn)行攝像，由此取得多波段的圖像。在該方法中，進(jìn)行使用自然界的被攝體的分光反射率平滑這樣的預(yù)見信息估計(jì)無法取得的波段的信息的處理。
[0006]現(xiàn)有技術(shù)文獻(xiàn)
[0007]專利文獻(xiàn)
[0008]專利文獻(xiàn)1:日本特開2005-286649號公報(bào)
[0009]專利文獻(xiàn)2:日本特開2005-260480號公報(bào)
[0010]非專利文獻(xiàn)
[0011]非專利文獻(xiàn)1:電子信息通信協(xié)會志Vol.88，N0.6，2005,東京工業(yè)大學(xué)

【發(fā)明內(nèi)容】

[0012]發(fā)明要解決的課題
[0013]在上述三維計(jì)測方法中，不使用通常的RGB拍攝，而使用多波段拍攝。在該多波段拍攝中，存在期望實(shí)現(xiàn)攝像系統(tǒng)而不大幅變更現(xiàn)有攝像系統(tǒng)的課題。
[0014]例如，在上述專利文獻(xiàn)1中，使用6種濾色鏡作為攝像元件的濾色鏡。因此，與使用通常的RGB三原色的濾色鏡的情況相比，只能對一種濾色鏡分配一半像素。通過插值處理求出未分配而作為信息丟失的像素值，所以，不可避免分辨率的降低。
[0015]并且，在專利文獻(xiàn)2中，通過分支光學(xué)系統(tǒng)使各顏色的圖像在攝像傳感器上的分離后的區(qū)域內(nèi)成像。因此，與通常的RGB三原色拍攝相比，分配給各顏色的圖像的像素?cái)?shù)較少，分辨率降低。
[0016]并且，在非專利文獻(xiàn)1中，使用旋轉(zhuǎn)式的多波段濾鏡。在運(yùn)動的被攝體的情況下，需要進(jìn)行濾鏡的高速旋轉(zhuǎn)和與其同步的高速拍攝，所以，需要追加特殊的機(jī)構(gòu)。并且，在不拍攝自然界的被攝體而拍攝人工的被攝體的情況下，基于預(yù)見信息的估計(jì)處理可能不成立。
[0017]根據(jù)本發(fā)明的若干個方式，能夠提供能夠?qū)崿F(xiàn)多波段的攝像系統(tǒng)而不大幅變更現(xiàn)有攝像系統(tǒng)的攝像裝置、圖像處理裝置、攝像方法和圖像處理方法等。
[0018]用于解決課題的手段
[0019]本發(fā)明的一個方式涉及一種攝像裝置，該攝像裝置包括:光學(xué)濾鏡，其將攝像光學(xué)系統(tǒng)的光瞳分割成第1光瞳和透射波段與所述第1光瞳不同的第2光瞳；攝像元件，其包括具有第1透射率特性的第1濾色鏡、具有第2透射率特性的第2濾色鏡、具有第3透射率特性的第3濾色鏡；以及多波段估計(jì)部，其根據(jù)構(gòu)成通過所述攝像元件進(jìn)行攝像而得到的圖像的第1顏色、第2顏色和第3顏色的像素值，估計(jì)根據(jù)所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性?第3透射率特性設(shè)定的第1波段?第4波段的成分值。
[0020]并且，在本發(fā)明的一個方式中，也可以是，所述第1波段、第2波段對應(yīng)于所述第1透射率特性的頻帶，所述第2波段、第3波段對應(yīng)于所述第2透射率特性的頻帶，所述第3波段、第4波段對應(yīng)于所述第3透射率特性的頻帶，所述第1光瞳透射所述第2波段、第3波段，所述第2光瞳透射所述第1波段、第4波段。
[0021]并且，在本發(fā)明的一個方式中，也可以是，所述第2波段對應(yīng)于所述第1透射率特性和所述第2透射率特性的重合部分，所述第3波段對應(yīng)于所述第2透射率特性和所述第3透射率特性的重合部分。
[0022]并且，在本發(fā)明的一個方式中，也可以是，所述多波段估計(jì)部根據(jù)對所述第1波段、第2波段的成分值進(jìn)行加法運(yùn)算而得到的值即所述第1顏色的像素值、對所述第2波段、第3波段的成分值進(jìn)行加法運(yùn)算而得到的值即所述第2顏色的像素值、對所述第3波段、第4波段的成分值進(jìn)行加法運(yùn)算而得到的值即所述第3顏色的像素值，求出所述第1波段?第4波段的成分值之間的關(guān)系式，根據(jù)所述關(guān)系式估計(jì)所述第1波段?第4波段的成分值。
[0023]并且，在本發(fā)明的一個方式中，也可以是，所述多波段估計(jì)部將所述第1波段?第4波段的成分值中的任意一方作為未知數(shù)來求出所述關(guān)系式，求出表示由所述關(guān)系式所表示的所述第1波段?第4波段的成分值與所述第1顏色?第3顏色的像素值之間的誤差的誤差評價值，決定使所述誤差評價值最小的所述未知數(shù)，根據(jù)所決定的所述未知數(shù)和所述關(guān)系式?jīng)Q定所述第1波段?第4波段的成分值。
[0024]并且，在本發(fā)明的一個方式中，也可以是，所述多波段估計(jì)部取得根據(jù)所述第1光瞳和所述第2光瞳的透射率特性以及所述第1透射率特性?第3透射率特性設(shè)定的參數(shù)，根據(jù)所述參數(shù)估計(jì)所述第1波段?第4波段的成分值。
[0025]并且，在本發(fā)明的一個方式中，也可以是，所述參數(shù)是所述第2波段中的所述第1透射率特性、第2透射率特性的增益比以及所述第3波段中的所述第2透射率特性、第3透射率特性的增益比。
[0026]并且，在本發(fā)明的一個方式中，也可以是，所述多波段估計(jì)部取得預(yù)先以統(tǒng)計(jì)的方式將所述第1顏色?第3顏色的像素值和所述第1波段?第4波段的成分值對應(yīng)起來而成的已知信息，根據(jù)所述已知信息求出與所述第1顏色?第3顏色的像素值對應(yīng)的所述第1波段?第4波段的成分值，所述第1顏色?第3顏色的像素值構(gòu)成通過所述攝像元件進(jìn)行攝像而得到的所述圖像。
[0027]并且，在本發(fā)明的一個方式中，也可以是，所述攝像裝置包括相位差檢測部，該相位差檢測部根據(jù)由所述第1波段?第4波段中的透射過所述第1光瞳的波段的成分值構(gòu)成的第1圖像以及由所述第1波段?第4波段中的透射過所述第2光瞳的波段的成分值構(gòu)成的第2圖像，檢測所述第1圖像與所述第2圖像的相位差。
[0028]并且，在本發(fā)明的一個方式中，也可以是，所述攝像裝置包括相位差圖像生成部，該相位差圖像生成部通過生成根據(jù)所述相位差對所述第1圖像進(jìn)行移位而得到的第3圖像和根據(jù)所述相位差對所述第2圖像進(jìn)行移位而得到的第4圖像，針對所述第1波段?第4波段的各波段，生成相當(dāng)于透射過所述第1光瞳的情況的圖像和相當(dāng)于透射過所述第2光瞳的情況的圖像。
[0029]并且，在本發(fā)明的一個方式中，也可以是，所述攝像裝置包括顯示圖像生成部，該顯示圖像生成部根據(jù)所述第1波段?第4波段中的透射過所述第1光瞳或所述第2光瞳的波段的成分值，生成顯示圖像。
[0030]并且，本發(fā)明的另一個方式涉及一種攝像裝置，該攝像裝置包括:光學(xué)濾鏡，其將攝像光學(xué)系統(tǒng)的光瞳分割成第1光瞳和透射波段與所述第1光瞳不同的第2光瞳；以及攝像元件，其包括具有第1透射率特性的第1濾色鏡、具有第2透射率特性的第2濾色鏡、具有第3透射率特性的第3濾色鏡，所述第1波段、第2波段對應(yīng)于所述第1透射率特性的頻帶，所述第2波段、第3波段對應(yīng)于所述第2透射率特性的頻帶，所述第3波段、第4波段對應(yīng)于所述第3透射率特性的頻帶，所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
[0031 ] 并且，本發(fā)明的又一個方式涉及一種圖像處理裝置，該圖像處理裝置包括:圖像取得部，其取得通過攝像元件進(jìn)行攝像而得到的圖像，該攝像元件包括具有第1透射率特性的第1濾色鏡、具有第2透射率特性的第2濾色鏡、具有第3透射率特性的第3濾色鏡；以及多波段估計(jì)部，其根據(jù)構(gòu)成所述圖像的第1顏色?第3顏色的像素值估計(jì)第1波段?第4波段的成分值，所述第1波段、第2波段對應(yīng)于所述第1透射率特性的頻帶，所述第2波段、第3波段對應(yīng)于所述第2透射率特性的頻帶，所述第3波段、第4波段對應(yīng)于所述第3透射率特性的頻帶。
[0032]并且，在本發(fā)明的又一個方式中，也可以是，所述圖像取得部取得通過所述攝像元件對光學(xué)濾鏡的透射光進(jìn)行攝像而得到的所述圖像，該光學(xué)濾鏡將攝像光學(xué)系統(tǒng)的光瞳分割成第1光瞳和透射波段與所述第1光瞳不同的第2光瞳，所述第1光瞳透射所述第1波段、第4波段，所述第2光瞳透射所述第2波段、第3波段。
[0033]并且，本發(fā)明的又一個方式涉及一種攝像方法，該攝像方法進(jìn)行以下處理:通過攝像元件對光學(xué)濾鏡的透射光進(jìn)行攝像，所述光學(xué)濾鏡將攝像光學(xué)系統(tǒng)的光瞳分割成第1光瞳和透射波段與所述第1光瞳不同的第2光瞳，所述攝像元件包括具有第1透射率特性的第1濾色鏡、具有第2透射率特性的第2濾色鏡、具有第3透射率特性的第3濾色鏡，根據(jù)構(gòu)成通過所述攝像元件進(jìn)行攝像而得到的圖像的第1顏色?第3顏色的像素值，估計(jì)根據(jù)所述第1光瞳和所述第2光瞳的所述透射波段以及所述第1透射率特性?第3透射率特性設(shè)定的第1波段?第4波段的成分值。
[0034]并且，本發(fā)明的又一個方式涉及一種圖像處理方法，在第1波段和第2波段對應(yīng)于第1透射率特性的頻帶、所述第2波段和第3波段對應(yīng)于第2透射率特性的頻帶、所述第3波段和第4波段對應(yīng)于第3透射率特性的頻帶的情況下，進(jìn)行以下處理:取得通過攝像元件進(jìn)行攝像而得到的圖像，所述攝像元件包括具有所述第1透射率特性的第1濾色鏡、具有所述第2透射率特性的第2濾色鏡、具有所述第3透射率特性的第3濾色鏡，根據(jù)構(gòu)成所述圖像的第1顏色?第3顏色的像素值估計(jì)第1波段?第4波段的成分值。
【附圖說明】
[0035]圖1是攝像裝置的結(jié)構(gòu)例。
[0036]圖2是攝像裝置的基本結(jié)構(gòu)例。
[0037]圖3是與波段分割方法有關(guān)的說明圖。
[0038]圖4是示出邊緣部分中的4波段成分值的變化的示意圖。
[0039]圖5是示出邊緣部分中的RGB像素值的變化的示意圖。
[0040]圖6是與4波段成分值的估計(jì)方法有關(guān)的說明圖。
[0041]圖7是與4波段成分值的估計(jì)方法有關(guān)的說明圖。
[0042]圖8是與第1估計(jì)方法有關(guān)的說明圖。
[0043]圖9是示出4波段成分值與RGB像素值的關(guān)系的圖。
[0044]圖10是與第3估計(jì)方法有關(guān)的說明圖。
[0045]圖11是攝像裝置的詳細(xì)結(jié)構(gòu)例。
[0046]圖12是與攝像裝置分開構(gòu)成的情況下的圖像處理裝置的詳細(xì)結(jié)構(gòu)例。
[0047]圖13是與監(jiān)視器圖像的生成處理有關(guān)的說明圖。
[0048]圖14是與完整4波段相位差圖像的生成處理有關(guān)的說明圖。
[0049]圖15是與完整4波段相位差圖像的生成處理有關(guān)的說明圖。
[0050]圖16是與根據(jù)相位差求出距離的方法有關(guān)的說明圖。
【具體實(shí)施方式】
[0051]下面，對本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)說明。另外，以下說明的本實(shí)施方式并非不當(dāng)?shù)叵薅?quán)利要求書所記載的本發(fā)明的內(nèi)容，本實(shí)施方式中說明的全部結(jié)構(gòu)不一定必須作為本發(fā)明的解決手段。
[0052]1.本實(shí)施方式的概要
[0053]作為高速AF (AF:自動對焦)的代表方法，存在相位差A(yù)F方式。在相位差A(yù)F方式中，以前對攝像光學(xué)路徑進(jìn)行分支，通過相位差檢測用的專用攝像元件來檢測相位差信息，但是，最近提出了不設(shè)置專用攝像元件而僅利用攝像元件來檢測相位差的各種方法。例如，存在在攝像元件自身中搭載相位差檢測功能的方式(圖像內(nèi)相位差方式)；以及在成像光學(xué)系統(tǒng)的左右光瞳位置配置不同波段的濾鏡、根據(jù)顏色差異來取得左右相位差圖像(復(fù)用圖像)并通過運(yùn)算來求出相位差的方式(彩色相位差方式)等。
[0054]但是，在圖像內(nèi)相位差方式中，需要分別接收來自左右光瞳位置的光束的獨(dú)立的像素(相位差檢測用像素)，所以，能夠作為成像圖像使用的像素成為一半，伴有分辨