本發(fā)明涉及一種進行基于可見光的拍攝和基于紅外光的拍攝這兩種拍攝的攝像處理裝置以及攝像處理方法。

背景技術(shù)：

以往，在晝夜連續(xù)進行拍攝的監(jiān)視攝像頭等攝像處理裝置中，夜間檢測紅外光來進行拍攝。作為CCD傳感器、CMOS傳感器的攝像傳感器的受光部的光電二極管能夠接受直至1300nm左右的近紅外的波段的光，因此若為使用這些攝像傳感器的攝像處理裝置，則原理上能夠拍攝直至紅外波段。

另外，人的視覺靈敏度高的光的波段為400nm～700nm，因此當通過攝像傳感器檢測出近紅外光時，通過人的眼睛觀察時影像的紅色增加。因此，在白天或室內(nèi)明亮的場所進行拍攝時，為了使攝像傳感器的靈敏度與人類的視覺靈敏度一致，希望在攝像傳感器的前面設(shè)置用于遮斷紅外波段的光的紅外截止濾波器，來去除波長700nm以上的光。另一方面，在夜間或較暗的場所進行拍攝時，需要不設(shè)置紅外截止濾波器地進行拍攝。

作為這樣的攝像處理裝置，目前已知手動進行紅外截止濾波器的安裝/卸載的攝像處理裝置、自動插拔紅外截止濾波器的攝像處理裝置。并且，在專利文件1中公開了不需要進行上述的紅外截止濾波器的插拔的攝像處理裝置。

因此，提出了具有如下光學濾光片：在可見光波段具有透過特性，在與可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即第2波段具有透過特性(例如，參照專利文獻1)。根據(jù)該濾光片，在可見光波段和可見光波段的長波長側(cè)即紅外側(cè)，離開可見光波段的第2波段這雙方，光能夠透過。例如是如下的光學濾光片：第2波段與紅外照明的波段重疊，能夠進行可見光拍攝和使用紅外光照明的夜間的紅外光拍攝這兩者。以下，將如上述那樣使可見光波段和紅外側(cè)的第2波段的光透過，遮斷其他波段的光的光學濾光片稱作DBPF(雙頻帶通濾波器)。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本專利第5009395號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的課題

然而，在對比文件1的DBPF中，包含在紅外(近紅外)波段中的第2波段的光(包含在紅外波段中的比較狹窄的波段)始終不被遮斷而使光透過。即，與使用切除(cut)使相對于可見光波段的長波長側(cè)的紅外截止濾波器的情況不同，在可見光波段下的拍攝中，受到不少透過了第2波段的紅外光的影響。

作為在可見光波段的拍攝，在進行彩色拍攝的攝像傳感器中使用彩色濾光片。彩色濾光片與攝像傳感器的各像素對應(yīng)地以預定模式配置有紅、綠、藍各顏色的區(qū)域。在這些各顏色的區(qū)域中，基本上在各顏色的波段具有光的透過率的峰值，限制(遮斷)其他顏色波段的光的透過。

但是，在相對于可見光波段的長波長側(cè)，光透過率根據(jù)各顏色的區(qū)域和波長而不同，但基本上使光透過。因此，使用紅外截止濾波器時，相對于可見光波段的長波長側(cè)的光被切除因此不存在問題，但如上述的DBPF那樣，當在紅外側(cè)的第2波段使紅外光透過時，該紅外光透過彩色濾光片后到達攝像傳感器的光電二極管(受光元件)，從而光電二極管中的光電效應(yīng)引起的電子的發(fā)生量變多。

在此，在進行可見光下的彩色拍攝和紅外光照明下的拍攝這兩者時，例如在以預定模式配置了紅、綠、藍各顏色的區(qū)域的彩色濾光片設(shè)置在上述的第2波段具有光透過率的峰值的紅外光用區(qū)域(紅外區(qū)域)。即，彩色濾光片的排列(模式)由紅R、綠G、藍B、紅外IR這4個區(qū)域構(gòu)成。在該情況下，紅外光用區(qū)域遮斷可見光波段的光，主要使第2波段的光透過，因此考慮利用從接受透過了彩色濾光片的紅外光用區(qū)域的光的攝像傳感器輸出的紅外光的圖像信號，從紅、綠、藍各顏色的圖像信號去除紅外光分量的方法。

但是，在該情況下，在校正后的R信號、G信號、B信號中產(chǎn)生誤差。例如，在來自攝像傳感器的各像素的信號中存在超過動態(tài)范圍的部分的情況下，產(chǎn)生成為高亮部的亮度下降等不自然的亮度電平、高亮部中帶顏色即發(fā)生高亮部不成為白色而成為帶有藍色等顏色的狀態(tài)等問題。

本發(fā)明是鑒于上述問題而提出的，其目的是提供一種在代替紅外截止濾波器而使用DBPF的情況下，能夠消除在可見光拍攝時產(chǎn)生的問題的攝像處理裝置和攝像處理方法。

用于解決課題的手段

為了解決上述課題，本發(fā)明的攝像處理裝置的特征在于具備：

攝像傳感器，其對每個像素配置了受光元件；

濾光片，其以預定排列與上述攝像傳感器的上述像素的配置對應(yīng)地配置多種濾光區(qū)域，且各種上述濾光區(qū)域與可見光波段的波長對應(yīng)的透過特性相互不同，并且各種上述濾光區(qū)域相互大致同樣地在相對于上述可見光波段的長波長側(cè)具備使光透過的紅外光透過波段，并且在上述可見光波段與上述紅外光透過波段之間具備遮斷光的光遮斷波段，使可見光的至少一部分和紅外光的至少一部分這兩部分透過；

光學系統(tǒng)，其具有在上述攝像傳感器上成像的鏡頭；以及

信號處理裝置，其對從上述攝像傳感器輸出的信號進行處理后能夠輸出可見圖像信號和紅外圖像信號，

上述信號處理裝置在從包含可見光分量和紅外光分量的上述信號去除上述紅外光分量后輸出上述可見圖像信號時，在上述信號達到上述攝像傳感器的像素飽和電平的情況下，進行調(diào)整使從該信號去除的上述紅外光分量的值下降。

本發(fā)明提供攝像處理裝置的攝像處理方法的特征在于，該攝像處理裝置具備：

攝像傳感器，其對每個像素配置了受光元件；

濾光片，其以預定排列與上述攝像傳感器的上述像素的配置對應(yīng)地配置多種濾光區(qū)域，且各種上述濾光區(qū)域與可見光波段的波長對應(yīng)的透過特性相互不同，并且各種上述濾光區(qū)域相互大致同樣地在相對于上述可見光波段的長波長側(cè)具備使光透過的紅外光透過波段，并且在上述可見光波段與上述紅外光透過波段之間具備遮斷光的光遮斷波段；

光學系統(tǒng)，其具有在上述攝像傳感器上成像的鏡頭；以及

信號處理裝置，其對從上述攝像傳感器輸出的信號進行處理后能夠輸出可見圖像信號和紅外圖像信號，

上述信號處理裝置在從包含可見光分量和紅外光分量的上述信號去除上述紅外光分量后輸出上述可見圖像信號時，在上述信號達到上述攝像傳感器的像素飽和電平的情況下，進行調(diào)整使從該信號去除的上述紅外光分量的值下降。

根據(jù)這些攝像處理裝置和攝像處理方法，在包含紅外光分量的各顏色信號超過動態(tài)范圍而達到像素飽和電平，由此被削波(clip)的狀態(tài)下，尚未超過動態(tài)范圍而未被削波，在從各顏色信號減去輸出電平有可能變高的紅外信號的情況下，各顏色信號被削波后紅外信號的輸出電平變高，從而各顏色信號的輸出電平下降。

由此，在高亮部的亮度下降的情況下，進行為了使從顏色信號減去的紅外信號的值下而校正的控制，由此顏色信號如上述那樣被削波時，能夠防止紅外信號變高，而導致減去紅外信號后的顏色信號的亮度下降。

本發(fā)明的攝像處理裝置優(yōu)選上述濾光片具有：彩色濾光片，其以預定排列在上述攝像傳感器的各像素配置使與上述可見光的多個顏色對應(yīng)的各個波段的光透過的區(qū)域和使與上述紅外光對應(yīng)的波段的光透過的區(qū)域；以及光學濾光片，其在可見光波段具有透過特性，在與上述可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過波段的第2波段具有透過特性，

針對上述彩色濾光片的上述可見光的各顏色的上述區(qū)域透過相對于上述可見光波段的長波長側(cè)的上述紅外光，上述信號處理裝置進行從各顏色信號減去紅外信號的減法運算，并且，在進行上述減法運算時，在上述顏色信號達到像素飽和電平的情況下，進行為了降低作為從該顏色信號減去的上述紅外信號的值而調(diào)整的控制，其中，各顏色信號是與上述可見光的各顏色的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的各信號的顏色信號，紅外信號是與上述紅外光的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的信號的紅外信號。

本發(fā)明的攝像處理裝置的攝像處理方法優(yōu)選，在該攝像處理裝置中，上述濾光片具有：彩色濾光片，其以預定排列在上述攝像傳感器的各像素配置使與上述可見光的多個顏色對應(yīng)的各個波段的光透過的區(qū)域和使與上述紅外光對應(yīng)的波段的光透過的區(qū)域；以及光學濾光片，其在可見光波段具有透過特性，在與上述可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過波段的第2波段具有透過特性，

針對上述彩色濾光片的上述可見光的各顏色的上述區(qū)域透過相對于上述可見光波段的長波長側(cè)的上述紅外光，上述信號處理裝置進行從各顏色信號減去紅外信號的減法運算，并且在進行上述減法運算時，在上述顏色信號達到像素飽和電平的情況下，進行為了使作為從該顏色信號減去的上述紅外信號的值降低而調(diào)整的控制，其中，各顏色信號是與上述可見光的各顏色的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的各信號的顏色信號，紅外信號是與上述紅外光的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的信號的紅外信號。

根據(jù)這樣的結(jié)構(gòu)，在RGB各顏色信號的輸出電平和紅外信號的輸出電平變高時，在包含紅外光分量的RGB各顏色信號的輸出電平首先超過動態(tài)范圍而被削波的狀態(tài)下，大致由紅外光分量構(gòu)成的紅外信號不超過動態(tài)范圍而進一步變高，由此在從顏色信號減去了紅外信號的狀態(tài)情況下，如果未被削波，則在RGB各顏色信號的輸出電平進一步變高的狀態(tài)下，而RGB各顏色信號的輸出電平反而下降，能夠防止發(fā)白那樣的高亮部的亮度下降。

優(yōu)選在本發(fā)明的攝像處理裝置中，作為降低上述紅外信號的值的校正，上述信號處理裝置控制上述紅外信號的上述值不高于根據(jù)上述顏色信號決定的限制值。

優(yōu)選在本發(fā)明的攝像處理方法中，作為降低上述紅外信號的值的校正，上述信號處理裝置控制上述紅外信號的上述值不高于根據(jù)上述顏色信號決定的限制值。

根據(jù)以上那樣的結(jié)構(gòu)，以限制值限制要從顏色信號減去的紅外信號的值，而成為以限制值被削波的狀態(tài)，由此在各顏色信號達到飽和電平而被削波的狀態(tài)下，即使不超過飽和電平的紅外信號的值變高，要從顏色信號減去的值也基本上成為限制值，能夠防止減去紅外信號的顏色信號的輸出電平降低。

優(yōu)選在本發(fā)明的攝像處理裝置中，上述信號處理裝置根據(jù)通過白平衡處理得到的各顏色的增益，對每個上述顏色信號設(shè)定上述紅外信號的上述限制值。

優(yōu)選在本發(fā)明的攝像處理方法中，上述信號處理裝置根據(jù)通過白平衡處理得到的各顏色的增益，對每個上述顏色信號決定上述紅外信號的上述限制值。

根據(jù)以上那樣的結(jié)構(gòu)，在各顏色信號，例如RGB各信號中，能夠分別減去以恰當?shù)南拗浦当幌拗频募t外信號。

優(yōu)選在本發(fā)明的攝像處理裝置中，上述信號處理裝置控制與從上述顏色信號的上述像素飽和電平減去上述紅外信號的上述限制值而得的值對應(yīng)的信號飽和電平在各顏色中大致相同。

優(yōu)選在本發(fā)明的攝像處理方法中，上述信號處理裝置控制與從上述顏色信號的上述像素飽和電平減去上述紅外信號的上述限制值而得的值對應(yīng)的信號飽和電平在各顏色中大致相同。

根據(jù)這樣的結(jié)構(gòu)，在各顏色信號中，輸出電平為最高的情況下，即成為信號飽和電平的情況下，各顏色信號的輸出電平大致相同，由此成為略白，在高亮部不具有藍色等顏色，使高亮部變白，由此能夠維持自然的顏色再現(xiàn)性。信號飽和電平，是指在可見光的各顏色信號以像素飽和電平被削波的狀態(tài)下，減去了以限制值被限制的紅外信號時的值的電平。

優(yōu)選在本發(fā)明的攝像處理裝置中，上述濾光片具有：彩色濾光片，其以預定排列在上述攝像傳感器的各像素配置使與上述可見光的多個顏色對應(yīng)的各個波段的光透過的區(qū)域和使將與多個顏色對應(yīng)的各個波段合并后的波段的光透過的區(qū)域；以及光學濾光片，其在可見光波段具有透過特性，在與上述可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過波段的第2波段具有透過特性，

針對使上述彩色濾光片的上述可見光的各顏色的上述區(qū)域透過相對于上述可見光波段的長波長側(cè)的上述紅外光，上述信號處理裝置根據(jù)與上述區(qū)域?qū)?yīng)的從上述攝像傳感器的上述像素輸出的各信號求出基于相對于上述可見光波段的長波長側(cè)的紅外光的紅外信號，并且在從各顏色信號減去上述紅外信號時，使將與多個上述顏色對應(yīng)的各個波段合并后的波段的光透過的上述區(qū)域所對應(yīng)的上述顏色信號達到上述像素飽和電平的情況下，進行為了降低作為從上述顏色信號減去的上述紅外信號的值而調(diào)整的控制。

優(yōu)選在本發(fā)明的攝像處理方法中，上述濾光片具有：彩色濾光片，其以預定排列在上述攝像傳感器的各像素配置使與上述可見光的多個顏色對應(yīng)的各個波段的光透過的區(qū)域和使與多個顏色對應(yīng)的各個波段合并后的波段的光透過的區(qū)域；以及光學濾光片，其在可見光波段具有透過特性，在與上述可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過波段的第2波段具有透過特性，

針對使上述彩色濾光片的上述可見光的各顏色的上述區(qū)域透過相對于上述可見光波段的長波長側(cè)的上述紅外光，上述信號處理裝置根據(jù)與上述區(qū)域?qū)?yīng)的從上述攝像傳感器的上述像素輸出的各信號求出基于相對于上述可見光波段的長波長側(cè)的紅外光的紅外信號，并且在從各顏色信號減去上述紅外信號時，使將與多個上述顏色對應(yīng)的各個波段合并后的波段的光透過的上述區(qū)域所對應(yīng)的上述顏色信號達到上述像素飽和電平的情況下，進行為了降低作為從上述顏色信號減去的上述紅外信號的值而調(diào)整的控制。

根據(jù)這樣的結(jié)構(gòu)，例如可以代替上述彩色濾光片的紅外光區(qū)域，使用使合并了RGB的光透過的白平衡(W)，即，使可見光波段的大致全部波段透過的透明(C)的區(qū)域。在該情況下，例如，可以通過計算將可見光波段的光量設(shè)為0，來求出紅外光的光量。

在該情況下，W(C)的信號電平接近合并了RGB而得的信號電平，從而容易達到像素飽和電平。此時，RGB的信號電平不會達到像素飽和電平，但如上所述通過計算求出紅外光的情況下，紅外光的信號電平變高，從RGB各信號除紅外光信號的情況下，盡管RGB各信號的信號電平為上升的狀態(tài)，然而有下降的可能性。因此，W信號電平達到飽和時，進行為了使紅外光的信號電平下降而調(diào)整的控制，從而能夠提高顏色再現(xiàn)性。

此外，在本發(fā)明的上述攝像處理裝置中，上述攝像傳感器具備上述信號處理裝置，并且

上述攝像傳感器具備：攝像傳感器本體，其從各像素依次輸出信號；以及上述信號處理裝置，其輸入從上述攝像傳感器本體輸出的上述信號。

發(fā)明效果

根據(jù)本發(fā)明，在能夠同時輸出可見圖像信號和紅外圖像信號的攝像處理裝置中，從包含紅外光分量的可見光圖像除去紅外光分量，能夠?qū)崿F(xiàn)高畫質(zhì)，并且在圖像信號達到像素飽和電平的情況下，能夠防止產(chǎn)生亮度反而下降等問題。

附圖說明

圖1是表示本發(fā)明的第1實施方式的圖，是表示攝像傳感器的概要圖。

圖2是表示本發(fā)明的第1實施方式的上述攝像傳感器的DBPF和彩色濾光片的光譜透過率的圖表。

圖3是表示本發(fā)明的第1實施方式的上述攝像傳感器的DBPF、彩色濾光片的光譜透過率和紅外照明的發(fā)光光譜的圖表。

圖4是表示本發(fā)明的第1實施方式的上述攝像傳感器的DBPF、彩色濾光片的光譜透過率和紅外照明的發(fā)光光譜的圖表。

圖5是用于說明本發(fā)明的第1實施方式的攝像傳感器的彩色濾光片的排列的圖，(a)是表示沒有紅外濾光部的以往的排列的圖，(b)、(c)、(d)是表示具有紅外濾光部的排列的圖。

圖6是表示本發(fā)明的第1實施方式的具有上述攝像傳感器的攝像裝置的概要圖。

圖7是用于說明本發(fā)明的第1實施方式的上述攝像裝置的信號處理部的信號處理的框圖。

圖8是用于說明本發(fā)明的第1實施方式的上述攝像裝置的信號處理中的內(nèi)裝處理的圖。

圖9是表示本發(fā)明的第2實施方式的攝像裝置的概要圖。

圖10是用于說明本發(fā)明的第3實施方式的攝像傳感器的彩色濾光片的排列的圖。

圖11是表示上述攝像傳感器的DBPF和彩色濾光片的光譜透過率的圖表。

圖12是用于說明本發(fā)明的第3實施方式的攝像傳感器的彩色濾光片的排列的圖。

圖13是用于說明本發(fā)明的第3實施方式的彩色濾光片的排列的圖。

圖14是用于說明本發(fā)明的第3實施方式的彩色濾光片的排列的圖。

圖15是用于說明本發(fā)明的第3實施方式的各彩色濾光片的特性的圖。

圖16是用于說明本發(fā)明的第3實施方式的攝像裝置中的信號處理的框圖。

圖17是用于說明本發(fā)明的第4實施方式的彩色濾光片的排列的圖。

圖18是表示本發(fā)明的第4實施方式的上述攝像傳感器的DBPF和彩色濾光片的藍色B的光譜透過率的圖表。

圖19是表示本發(fā)明的第4實施方式的上述攝像傳感器的DBPF和彩色濾光片的綠色G的光譜透過率的圖表。

圖20是表示本發(fā)明的第4實施方式的上述攝像傳感器的DBPF和彩色濾光片的紅色R的光譜透過率的圖表。

圖21是表示本發(fā)明的第4實施方式的上述攝像傳感器的DBPF和彩色濾光片的透明(clear)C的光譜透過率的圖表。

圖22是表示本發(fā)明的第5實施方式的攝像傳感器的框圖。

圖23是表示本發(fā)明的第5實施方式的攝像傳感器的截面圖。

圖24是表示本發(fā)明的第5實施方式的攝像傳感器的其他例子的截面圖。

圖25是用于說明本發(fā)明的第5實施方式的攝像傳感器的2個系統(tǒng)的圖像信號的輸出的圖。

圖26是表示本發(fā)明的第6實施方式的攝像裝置的框圖。

圖27是表示本發(fā)明的第6實施方式的攝像傳感器的概要圖。

圖28是用于說明本發(fā)明的第6實施方式的具有紅外區(qū)域的彩色濾光片的排列模式的圖。

圖29是表示本發(fā)明的第6實施方式的上述攝像傳感器的DBPF和彩色濾光片的光譜透過率的圖表。

圖30是用于說明本發(fā)明的第6實施方式的在高亮部亮度下降的理由的R信號的圖。

圖31是用于說明本發(fā)明的第6實施方式的在高亮部亮度下降的理由的G信號的圖。

圖32是用于說明本發(fā)明的第6實施方式的在高亮部亮度下降的理由的B信號的圖。

圖33是用于說明本發(fā)明的第6實施方式的在高亮部亮度下降的理由的IR信號的圖。

圖34是表示本發(fā)明的第6實施方式的IR信號的與RGB各顏色信號對應(yīng)的削波電平(clip level)的圖。

圖35是用于說明本發(fā)明的第6實施方式的從RGB的各顏色信號減去被削波的IR信號的圖，(a)是表示R信號的情況的圖，(b)表示G信號的情況的圖，(c)是B信號的情況的圖。

圖36是用于說明本發(fā)明的第6實施方式的白平衡處理的圖，(a)表示R-Y信號和B-Y信號的平面中設(shè)定為白色的區(qū)域，(b)是表示設(shè)定為白色的亮度電平的范圍的圖。

圖37是用于說明本發(fā)明的第6實施方式的對IR信號被減去之后的RGB各信號的削波的輸出電平一致的方法的圖。

圖38是表示本發(fā)明的第6實施方式的上述攝像處理裝置的信號處理部的框圖。

圖39是表示本發(fā)明的第6實施方式的作為其他例子的信號處理部的框圖。

圖40是用于說明本發(fā)明的第7實施方式的RGBC的彩色濾光片的飽和電平的圖。

圖41是用于說明本發(fā)明的第7實施方式的通過計算求出的IR信號的信號電平比實際的IR信號高的情況的圖。

圖42是用于說明本發(fā)明的第7實施方式的在高亮部亮度下降的理由的RGBC信號的圖。

圖43是用于說明本發(fā)明的第7實施方式的分離裝置的框圖。

圖44是用于說明本發(fā)明的第7實施方式的削波電平計算裝置的框圖。

圖45是用于說明本發(fā)明的第7實施方式的RGBC信號的削波電平的圖。

圖46是用于說明本發(fā)明的第7實施方式的IR信號的削波電平的圖。

圖47是用于說明本發(fā)明的第7實施方式的RGBC信號的削波電平的圖。

圖48是用于說明本發(fā)明的第7實施方式的分離裝置的框圖。

圖49是用于說明本發(fā)明的第7實施方式的RGBCY信號的削波處理的圖。

圖50是用于說明本發(fā)明的第8實施方式的IR信號的削波電平的圖。

圖51是用于說明本發(fā)明的第8實施方式的RGBCY信號的削波處理的圖。

圖52是用于說明本發(fā)明的第8實施方式的分離裝置的框圖。

圖53是用于說明本發(fā)明的第8實施方式的IR信號生成裝置的框圖。

具體實施方式

以下，參照附圖對本發(fā)明的第1實施方式進行說明。

如圖1所示，本實施方式的攝像傳感器(圖像傳感器)1例如具備：作為CCD(Charge coupled Device：電荷耦合器件)圖像傳感器的傳感器本體2；與傳感器本體2的各像素對應(yīng)，以預定排列配置了紅(R)、綠(G)、藍(B)、紅外(IR)各區(qū)域(各顏色的濾光片)的彩色濾光片3；覆蓋傳感器本體2和彩色濾光片3的玻璃罩4；以及在玻璃罩4上形成的DBPF(Dual Band pass filter，雙頻帶通濾波器)5。

傳感器本體2為CCD圖像傳感器，針對各像素配置有作為受光元件的光電二極管。另外，傳感器本體2也可以是CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)圖像傳感器來代替CCD圖像傳感器。

在傳感器本體2上設(shè)有彩色濾光片3。彩色濾光片3對彩色濾光片3x增加了IR濾光片，該彩色濾光片3x具有以圖5(a)所示的一般的拜耳陣列針對各像素排列的R、G、B這3個濾光片。另外，在拜耳陣列的濾光片中，基本模式由4行(橫向)×4列(縱向)的16個各顏色的濾光部構(gòu)成，例如，通過F、行數(shù)和列數(shù)表示各濾光部時，第1行為F11、F12、F13、F14，第2行為F21、F22、F23、F24，第3行為F31、F32、F33、F34，第4行為F41、F42、F43、F44。

在拜耳陣列中，將F12、F14、F21、F23、F32、F34、F41、F43這8個濾光部設(shè)為G，將F11、F13、F31、F33這4個濾光部設(shè)為R，將F22、F24、F42、F44這4個濾光部設(shè)為B。另外，將G濾光部的數(shù)量設(shè)為R、B濾光部的數(shù)量的2倍是基于人類的眼睛對綠色有高敏感性。另外，即使將敏感性低的一方設(shè)為高分辨率，通過人類的眼睛也有可能無法識別，但是若將敏感性高的一方設(shè)為高分辨率，則能夠通過人類的眼睛識別的可能性高，識別為更高分辨率的圖像。在拜耳陣列中，在行方向(水平方向)和列方向(垂直方向)分別隔著一個配置G濾光片而設(shè)為方格狀，在剩余部分相互不相鄰地配置R濾光部和B濾光部。

與此相對，作為本實施方式的彩色濾光片3，如圖5(b)所示那樣，將拜耳陣列中的8個G濾光部中的4個設(shè)為IR，從而包含R為4個、G為4個、B為4個、IR為4個的彩色濾光片3a。即，在4行4列的基本排列中，R、G、B、IR這4種濾光部分別被配置4個，并且相同種類的濾光部彼此以在行方向和列方向上相互不相鄰的方式分離地被配置，在各列中分別配置1個R、G、B、IR濾光部，隔1行分別配置2個R、G、B、IR濾光部中的2種濾光部。

具體地，將F11、F13、F32、F34這4個濾光部設(shè)為R，將F12、F14、F31、F33這4個濾光部設(shè)為IR，將F21、F23、F42、F44這4個濾光部設(shè)為G，將F32、F34、F41、F42這4個濾光部設(shè)為B。

在該情況下，因G濾光部減少，有可能從人類的眼睛觀察到分辨率變差，但均等地配置了包含IR的各顏色，從而插補(內(nèi)插)處理變得容易。此外，在第1、2行和第3、4行，以各顏色的位置在橫向上錯開一列的方式被配置。換言之，在第1、2行和第3、4行，顏色的配置成為左右反轉(zhuǎn)的配置。

通過這樣設(shè)置，在4×4的配置中，在各列上各顏色被配置1個，隔一行各顏色被配置2個，因此與縱向(垂直方向)相比橫向(水平方向)的分辨率變高，能夠抑制因設(shè)置IR濾光部而導致的水平方向的分辨率的下降。另外，彩色濾光片3a中還包含將圖5(b)所示的彩色濾光片3a的模式左右反轉(zhuǎn)而得的彩色濾光片、將圖5(b)所示的彩色濾光片3a的模式上下反轉(zhuǎn)而得的彩色濾光片、使圖5(b)所示的彩色濾光片3a的模式旋轉(zhuǎn)180度而得的彩色濾光片。此外，也可以包含向順時針方向旋轉(zhuǎn)90度而得的彩色濾光片、向順時針方向旋轉(zhuǎn)270度而得的彩色濾光片。但是，旋轉(zhuǎn)90度和270度而得的彩色濾光片的垂直方向的分辨率變得比水平方向的分辨率高。

此外，在彩色濾光片3中，如圖5(c)所示的彩色濾光片3b那樣，也可以不減少人類的敏感性高的G，而將上述拜耳陣列的彩色濾光片3x的模式的4個B中的2個設(shè)為IR。

該彩色濾光片3b在4行4列的基本排列中配置8個R、G、B、IR這4種濾光部中的G濾光部、4個R濾光部、2個B濾光部和2個IR濾光部，并且以相同種類的濾光部彼此在行方向和列方向上不相鄰地方式分開配置。

具體地，在彩色濾光片3b中，將F12、F14、F21、F23、F32、F34、F41、F43這8個濾光部設(shè)為G，將F11、F13、F31、F33這4個濾光部設(shè)為R，將F22、F44這2個濾光部設(shè)為B，將F24、F42這2個濾光部設(shè)為IR。在該情況下，B的分辨率比拜耳陣列差，但G、R成為與拜耳陣列同樣的分辨率。另外，彩色濾光片3b中還包含將圖5(c)所示的彩色濾光片3b的模式左右反轉(zhuǎn)而得的彩色濾光片、將圖5(c)所示的彩色濾光片3b的模式上下反轉(zhuǎn)而得的彩色濾光片、使圖5(c)所示的彩色濾光片3b的模式旋轉(zhuǎn)180度而得的彩色濾光片。此外，向順時針方向旋轉(zhuǎn)90度而得的彩色濾光片、向順時針方向旋轉(zhuǎn)270度而得的彩色濾光片成為與左右反轉(zhuǎn)而得的彩色濾光片、上下反轉(zhuǎn)而得的彩色濾光片相同的模式。

此外，為了提高IR的分辨率，也可以如圖5(d)所示的彩色濾光片3c那樣不減少G，而將上述拜耳陣列的彩色濾光片3x的模式的4個B中的2個設(shè)為IR，4個R中的2個設(shè)為IR。即，彩色濾光片3c在4行4列的基本排列中配置8個R、G、B、IR這4種濾光部中的G濾光部、4個IR濾光部、2個R濾光部和2個B濾光部，并且以相同種類的濾光部彼此在行方向和列方向上不相鄰地方式分開配置。

具體地，如圖5(d)所示那樣，在彩色濾光片3c中，將F12、F14、F21、F23、F32、F34、F41、F43這8個濾光部設(shè)為G，將F11、F33這2個濾光部設(shè)為R，將F22、F44這2個濾光部設(shè)為B，將F13、F24、F31、F42這4個濾光部設(shè)為IR。在該情況下，R和B的分辨率比拜耳陣列下降，但能夠維持G的分辨率，確保IR的分辨率。另外，彩色濾光片3c中還包含將圖5(d)所示的彩色濾光片3b的模式左右反轉(zhuǎn)而得的彩色濾光片、將圖5(d)所示的彩色濾光片3b的模式上下反轉(zhuǎn)而得的彩色濾光片、使圖5(d)所示的彩色濾光片3b的模式旋轉(zhuǎn)180度而得的彩色濾光片。此外，向順時針方向旋轉(zhuǎn)90度而得的彩色濾光片、向順時針方向旋轉(zhuǎn)270度而得的彩色濾光片成為與左右反轉(zhuǎn)而得的彩色濾光片、上下反轉(zhuǎn)而得的彩色濾光片相同的模式。

彩色濾光片3的R濾光部、G濾光部和B濾光部分別能夠使用已知的濾光片。本實施方式中的R濾光部、G濾光部和B濾光部的光譜透過率如圖2、圖3和圖4的圖表所示。在圖2、圖3和圖4中示出了彩色濾光片3的紅(R)、綠(G)、藍(B)、紅外(IR)各濾光片的光譜透過率，縱軸表示透過率，橫軸表示波長。圖表中的波長的范圍包括可見光波段和近紅外波段的一部分，因此，例如表示300nm～1100nm的波長范圍。

例如，R濾光部如圖表的R(二重線)所示那樣，在波長600nm成為大致最大的透過率，在其長波長側(cè)，即使超過1000nm也會成為透過率維持大致最大的狀態(tài)。

G濾光部如圖表的G(間隔寬的虛線)所示那樣，在波長為540nm左右的部分具有透過率極大的峰值，在其長波長側(cè)的620nm左右的部分具有透過率極小的部分。此外，在G濾光部中，與透過率極小的部分相比長波長側(cè)為上升趨勢，在850nm左右透過率成為大致最大。與其相比在長波長側(cè)，即使超過1000nm也可以成為透過率大致最大的狀態(tài)。B濾光部如圖表的B(間隔窄的虛線)所示那樣，在波長為460nm左右的部分具有透過率極大的峰值，在其長波長側(cè)的630nm左右的部分具有透過率極小的部分。此外，與其相比長波長側(cè)成為上升趨勢，在860nm左右透過率成為大致最大，另外，與其相比在長波長側(cè)，即使超過1000nm也可以成為透過率大致最大的狀態(tài)。IR濾光部遮斷780nm左右至短波長側(cè)的光，遮斷1020nm左右至長波長側(cè)的光，820nm～920nm左右的部分的透過率成為大致最大。

R、G、B、IR各濾光部的光譜透過率并不限定于圖2等所示的光譜透過率，目前，在一般使用的彩色濾光片3中，認為表示與此相近的光譜透過率。另外，表示透過率的橫軸的1并不是表示光100％透過，而是在彩色濾光片3中，例如表示最大的透過率。

玻璃罩4覆蓋并保護傳感器本體2和彩色濾光片3。

在此，DBPF5為在玻璃罩4上成膜而成的光學濾光片。DBPF5是在可見光波段具有透過特性、在與可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性、在上述第1波段內(nèi)的一部分即第2波段具有透過特性的光學濾光片。

即，如圖2的圖表所示，如在圖表中DBPF(實線)所示那樣，DBPF5在由DBPF(VR)所示的可見光波段、相對于可見光波段的長波長側(cè)的稍微遠離的位置的由DBPF(IR)所示的紅外波段(第2波段)這2個波段的透過率變高。此外，作為可見光波段的透過率較高的波段的DBPF(VR)例如為370nm～700nm左右的波段。此外，在紅外側(cè)作為透過率較高的第2波段的DBPF(IR)例如成為830nm～970nm左右的波段。

在本實施方式中，如以下那樣規(guī)定上述彩色濾光片3的各濾光部的光譜透過率與DBPF5的光譜透過率的關(guān)系。

即，成為DBPF5的光譜透過率的透過紅外光的第2波段的DBPF(IR)包含在R濾光部、G濾光部、B濾光部全部成為臉頰最大的透過率而在各濾光部中透過率大致相同的圖2所示的波段A內(nèi)，并且，包含在IR濾光部的以大致最大的透過率透過光的波段B內(nèi)。

在此，將R、G、B各濾光部的透過率大致相同的波段A設(shè)為各濾光部的透過率的差是透過率10％以下的部分。

另外，在相對于該波段A的短波長側(cè)，相對于透過率大致最大的R濾光部，G、B濾光部的透過率變低。在DBPF5中，該R、G、B各濾光部的透過率有差異的部分對應(yīng)于大致遮斷可見光波段的透過率高的部分即DBPF(VR)與紅外光波段的第2波段的透過率高的部分即DBPF(IR)之間的DBPF5的光的透過率為極小的部分。即，在紅外側(cè)，R、G、B各濾光部的透過率的差異變大的部分的光的透過被切除，與其相比在長波長側(cè)各濾光部的透過率大致最大而透過率變得大致相同的波長區(qū)域A，使光透過。

由此，在本實施方式中，在代替紅外光截止濾波器而使用的DBPF5中，不僅在可見光波段，在紅外光側(cè)的第2波段中也存在使光透過的區(qū)域，因此在進行基于可見光的彩色拍攝時，會受到透過了第2波段的光的影響，但如上所述第2波段不會使在R、G、B各濾光部中透過率不同的部分的光透過，僅使各濾光部的透過率變得大致最大，成為大致相同的透過率的波段的光透過。

此外，在DBPF5的第2波段中，使在IR濾光部中透過率成為大致最大的部分的光透過。因此，假定在被照射大致相同的光的極其接近的4個像素上分別設(shè)置R、G、B、IR濾光片的情況下，在第2波段在R濾光部、G濾光部、B濾光部、IR濾光部中大致同樣地使光透過，作為紅外側(cè)的光，通過包含IR的各濾光部大致相同光量的光到達攝像傳感器本體的上述像素的光電二極管。即，從R、G、B各濾光片透過的光中的、在紅外側(cè)的第2波段透過的光的光量成為與從IR濾光部透過的光的光量相同。在如上述那樣假定了的情況下，來自接受基本上透過R、G、B各濾光片的光的傳感器本體2的如上述假定的像素的輸出信號與來自接受透過了IR濾光片的光的傳感器本體2的如上述假定的像素的輸出信號的差值，成為在各R、G、B濾光部透過的切除了紅外側(cè)的光的R、G、B各個可見光部分的輸出信號。

實際上，如彩色濾光片3(3a、3b、3c)的各模式所示的那樣，在傳感器本體2的各像素上配置R、G、B、IR中的任意1個濾光部，向各像素照射的各顏色的光的各自的光量成為不同的光量的可能性高，因此可以針對各像素例如使用公知的內(nèi)插法(插補法)來求出各像素的各顏色的亮度，將該插補后的各像素的R、G、B的亮度與以相同的方法插補后的IR亮度的差值分別設(shè)為R、G、B的亮度。另外，從R、G、B各顏色的亮度去除紅外光分量的圖像處理方法并不限定于此，若最終能夠從R、G、B各亮度去除在第2波段透過的光的影響的方法，則也可以使用任一種方法。在任一種方法中，DBPF5能夠切除在紅外側(cè)R、G、B濾光部的透過率不同于10％的部分，即透過率不同于預定比例的部分，因此針對各像素去除紅外光的影響的處理變得容易。

此外，作為該攝像傳感器1的用途，在能夠進行彩色拍攝和紅外光拍攝這兩者的攝像裝置中，作為攝像傳感器而使用。一般，考慮通過彩色拍攝進行通常的拍攝，在夜間不使用可見光的照明而使用人類難以識別的紅外光的照明來進行紅外拍攝。例如，在各種監(jiān)視攝像頭等中，優(yōu)選在不需要夜間照明或不能進行夜間照明的場所夜間進行拍攝時，考慮使用紅外光照明的基于紅外光的夜間拍攝。此外，也可以在用于觀察野生動物的白天拍攝和夜間拍攝等用途中使用。

將紅外光拍攝用作夜間拍攝的情況下，即使紅外光也與可見光同樣地，在夜間光量不足，因此需要進行紅外光照明。圖3所示的DBPF5的光譜透過率是考慮R、G、B、IR各濾光部的光譜透過率、紅外光照明用光例如照明用紅外光LED的發(fā)光光譜而決定的光譜透過率。在圖3中除了與圖2同樣的各顏色濾光部的光譜透過率R、G、B、IR以及DBPF5的光譜透過率DBPF外，還示出了LED照明的發(fā)光光譜IR-light。

圖3所示的透過DBPF的紅外光的部分即由DBPF(IR)所示的第2波段與圖2所示的DBPF同樣地，被包含在R濾光部、G濾光部、B濾光部這全部成為大致最大的透過率且在各濾光部中透過率大致相同的圖2所示的波長波段A內(nèi)，并且，被包含在IR濾光部的以最大的透過率透過光的波長區(qū)域B內(nèi)。

除此之外，包含在上述波段A和波段B中的成為紅外光照明的發(fā)光光譜的峰值的波段的大致全部被包含在DBPF(IR)的波段內(nèi)。另外，不是在夜間的自然光下而是在紅外光照明下進行紅外光拍攝的情況下，由DBPF(IR)所示的第2波段不需要比紅外光照明的光學光譜的峰值寬度寬，在紅外光照明的光譜被包含于波段A和波段B中的情況下，也可以用與紅外光照明的發(fā)光光譜的例如以860左右為頂點的峰值的峰值寬度大致相同的峰值寬度來設(shè)計由DBPF(IR)所示的DBPF5的透過率的峰值部分作為第2波段。

即，在圖3中，由IR-light(IR-光)所示的紅外光照明的發(fā)光光譜的峰值位于上述波段A和波段B的短波長側(cè)，由DBPF(IR)所示的DBPF的第2波段與波段A和波段B的短波長側(cè)部分的IR-light的發(fā)光光譜的峰值大致重疊。

此外，圖4所示的圖表也與圖3所示的圖表同樣地，在圖2所示的圖表中增加紅外光照明的發(fā)光光譜，并且使DBPF5的光譜透過率的紅外側(cè)的透過率高的部分即由DBPF(IR)所示的第2波段與由上述紅外光照明IR-light所示的發(fā)光光譜的峰值一致。

在圖4中，作為紅外光照明使用與圖3所示的情況相比發(fā)光光譜的峰值的波長較長的光，該峰值包含在上述波段A和波段B中，并且存在于波段A和波段B的長波長側(cè)。與此對應(yīng)，設(shè)計成DBPF5的由DBPF(IR)所示的第2波段在上述波段A和波段B內(nèi)由紅外照明IR-light所示的峰值大致成為傘狀。

另外，DBPF5的第2波段既可以是由圖2、圖3、圖4中的任一個所示的波段，第2波段只要被包含在上述波段A和波段B這兩者中即可。此外，在決定了成為在夜間的紅外光拍攝中使用的紅外光照明的發(fā)光光譜的峰值的波段的情況下，優(yōu)選設(shè)為該波段被包含在上述波段A和波段B這兩個波段中，并且紅外光照明的發(fā)光光譜的峰值與DBPF5的第2波段一致。

在這樣的攝像傳感器中，在DBPF5的紅外側(cè)使光透過的第2波段在R、G、B、IR各濾光部的紅外側(cè)各濾光部的透過率大致成為最大且各濾光部的透過率成為大致相同時被包含的波段A中，并且被包含在IR濾光部的透過率大致成為最大的波段B中。換言之，在相對于可見光波段的長波長側(cè)，R、G、B各濾光片的透過率中僅R濾光部變得大致最大，G、B濾光部的透過率未變?yōu)榇笾伦畲?，因此R、G、B各濾光部的透過率不會變得大致相同，不同部分的光被DBPF5切除。

即，在R、G、B、IR各濾光部中，在紅外側(cè)使第2波段的光透過，因此各濾光部中的紅外側(cè)的透過率全部大致相同，以相同的光量照射成為第2波段的光時，R、G、B、IR各濾光部中的透過光量相同。由此，如上述那樣校正基于來自與R、G、B各濾光部對應(yīng)的像素的輸出信號的顏色，能夠容易得到抑制了彩色拍攝時的顏色受到透過第2波段的紅外光引起的影響的圖像。

此外，通過使第2波段與包含在上述波段A和波段B中的紅外光照明的發(fā)光光譜的峰值對應(yīng)，有效地使用紅外光照明的光，并且使第2波段的寬度變窄，從而在彩色拍攝時能夠使透過第2波段的紅外光的影響變小。

圖6是表示使用本實施方式的攝像傳感器1的攝像裝置10的圖。攝像裝置10具備：拍攝用鏡頭11；具備DBPF5的攝像傳感器1；以及信號處理部(信號處理裝置)12，其對從攝像傳感器1輸出的輸出信號13進行處理，并對圖像信號進行上述的內(nèi)裝處理、去除彩色拍攝時的透過了第2波段的紅外光的影響的圖像處理、伽瑪校正、白平衡、RGB矩陣校正等圖像處理。能夠從圖像處理部輸出可見的彩色圖像的輸出信號14和紅外光圖像的輸出信號15。

鏡頭11是構(gòu)成在攝像裝置10的攝像傳感器1上成像的光學系統(tǒng)的部件。鏡頭11例如由多個透鏡構(gòu)成。

圖7以框圖表示攝像裝置10的信號處理部12中的信號處理。將R、G、B、IR各像素的輸出信號發(fā)送給各內(nèi)裝處理模塊21r、21g、21b、21ir。例如，如圖8所示，為上述的彩色濾光片3b的情況下，在各內(nèi)裝處理模塊21r、21g、21b、21ir中通過內(nèi)插處理(插補處理)，在各幀的圖像數(shù)據(jù)中分別對R、G、B、IR信號進行變換，以便將全部像素設(shè)為由紅色R表示的圖像數(shù)據(jù)20r、將全部像素設(shè)為由綠色G表示的圖像數(shù)據(jù)20g、將全部像素設(shè)為由藍色B表示的圖像數(shù)據(jù)20b、將全部像素設(shè)為由紅外IR表示的圖像數(shù)據(jù)20ir。另外，內(nèi)插處理方法可以使用公知的方法。

接著，在紅外光去除信號生成模塊22r、22g、22b、22ir中，為了去除從上述第2波段接收到的紅外光的影響，根據(jù)IR信號生成要從R、G、B各顏色的信號減去的信號。從R、G、B各顏色的信號減去通過該紅外光去除信號生成模塊22r、22g、22b按R、G、B生成的信號。在該情況下，如上所述對于相同的像素，基本上從R、G、B各信號去除IR信號即可，因此處理變得容易。實際上，各顏色的每個像素的靈敏度根據(jù)各像素的濾光部的特性等而不同，因此按R、G、B各像素，根據(jù)IR信號生成要從R、G、B各信號減去的信號。

接著，R、關(guān)于G、B各信號，在圖像處理模塊23中進行如下的處理：使用行列式對R、G、B各信號進行變換并校正顏色的公知的RGB矩陣處理、在圖像中成為白色的部分R、G、B各信號的輸出值成為相同的值的公知的白平衡處理、用于向顯示器等輸出圖像的校正即公知的伽瑪校正。接著，在亮度矩陣模塊24中，對R、G、B各顏色的信號乘上系數(shù)來生成亮度Y的信號。此外，從藍色B的信號和紅色R的信號除以亮度Y的信號，由此計算出R-Y與B-Y的色差信號，輸出Y、R-Y、B-Y信號。

此外，作為基本上黑白的漸變(graduation)圖像而輸出IR信號。

在這樣的攝像裝置10中，如在上述攝像傳感器1中說明的那樣，能夠容易進行從彩色圖像去除紅外光影響的圖像處理，得到顏色再現(xiàn)性優(yōu)良的可見彩色圖像。此外，能夠降低這樣的攝像裝置的開發(fā)成本。

如上述那樣，通過可見光拍攝中的圖像處理消除透過了第2波段的紅外光的影響時，R、G、B各濾光部相互間透過率變得較大不同的部分物理上被DBPF切除，在圖像處理中，只要在R、G、B各濾光部的紅外側(cè)進行切除透過率大致成為最大的部分的IR光的處理即可。在該情況下，圖像處理變得容易，能夠得到具有與使用以往的紅外光截止濾波器情況相同的顏色再現(xiàn)性的彩色圖像數(shù)據(jù)。

例如，對于透過R、G、B各濾光部后到達光電二極管的光，在R、G、B各濾光部中成為與可見光區(qū)域的透過了各濾光部的可見光相同，并且，在IR濾光部中成為同樣的透過了第2波段的紅外光。因此，從攝像傳感器1的R、G、B的內(nèi)插處理后的各輸出信號例如減去與基于各顏色濾光部的靈敏度特性對應(yīng)地校正的內(nèi)插處理后的IR輸出信號，由此能夠得到與使用紅外截止濾波器的情況相近的顏色再現(xiàn)性。

另外，在使光透過的第2波段中包含R、G、B各濾光部中的透過率中存在大于10％的透過率差的波段時，實質(zhì)上難以求出應(yīng)從透過了各濾光部的光切除的紅外光的量，難以通過圖像處理得到具有與使用紅外光截止濾波器的情況相同的顏色再現(xiàn)性的圖像數(shù)據(jù)。

接著，對本發(fā)明的第2實施方式的攝像裝置進行說明。

如圖9所示，第2實施方式的攝像裝置10a中，在鏡頭11上設(shè)置DPBF，而不是在攝像傳感器1上設(shè)置DBPF5。

攝像裝置10a具備：具備DBPF5的拍攝用鏡頭11；攝像傳感器1；以及信號處理部12，其對從攝像傳感器1輸出的輸出信號13進行處理，并對圖像信號進行上述的內(nèi)裝處理、去除彩色拍攝時的透過了第2波段的紅外光的影響的圖像處理、伽瑪校正、白平衡、RGB矩陣校正等圖像處理。能夠從圖像處理部輸出可見彩色圖像的輸出信號14和紅外光圖像的輸出信號15。

DBPF5和彩色濾光片3與第1實施方式的DBPF5和彩色濾光片3相同，彩色濾光片3的R、G、B、IR各濾光部的透過率與DPBF5的第2波段DBPF(IR)的關(guān)系也與第1實施方式相同。因此，與第1實施方式不同，即使在鏡頭11上設(shè)有DBPF5，也能夠?qū)崿F(xiàn)與第1實施方式的攝像裝置10相同的作用效果。另外，DBPF5被設(shè)在攝像裝置10a的光學系統(tǒng)中，對于到達攝像傳感器1的光，只要能夠使可見光波段(DBPF(VR))和紅外側(cè)的第2波段(DBPF(IR))的光透過，只要在可見光波段的短波長側(cè)、第2波段的長波長側(cè)、可見光波段與第2波段之間的波段遮斷光，DBPF5就可以被設(shè)在任意位置。

接著，對本發(fā)明的第3實施方式的攝像傳感器和攝像裝置進行說明。關(guān)于第3實施方式的攝像傳感器1和攝像裝置，彩色濾光片3的一部分的結(jié)構(gòu)、去除來自RGB各信號的IR分量的方法不同，但其他結(jié)構(gòu)與第1實施方式相同，以下，對彩色濾光片3和IR分量的去除方法進行說明。

在本實施方式中，彩色濾光片3e(RGBC的結(jié)構(gòu)1)例如如圖10所示那樣，將上述拜耳陣列的彩色濾光片3x的模式的4個B中的2個B設(shè)為C，將4個R中的2個R設(shè)為C，將8個G中的4個G設(shè)為C。即，彩色濾光片3e在4行4列的基本排列中配置4個R、G、B、C這4種濾光部中的G濾光部、8個C濾光部、2個R濾光部和2個B濾光部，并且以相同種類的濾光部之間在行方向和列方向上不相鄰地方式分開配置。因此，被配置了8個的C濾光部以方格狀配置。在此，C表示作為透明的濾光部的透明狀態(tài)，基本上成為在可見光波段至近紅外波段具有透過特性，在此，在可見光波段設(shè)為C＝R+G+B。另外，成為透明的C因使RGB這3個顏色透過而能夠被稱為白色光，即白色(W)，成為C＝W＝R+G+B。因此，C對應(yīng)于可見光波段的大致整個波段的光量。

在此，如表示圖11的彩色濾光片3e和DBPF5的光譜透過率(分光透過特性)的圖表所示那樣，在R、G、B各濾光部中在可見光波段的長波長側(cè)具有透過特性，即使在作為透明的濾光部的C濾光部中在可見光波段的長波長側(cè)也使光透過。與此相對，通過使用DBPF5，與第1實施方式同樣地，限制使透過相對于可見光波段的長波長側(cè)的紅外成為第2波段，由此透過R、G、B、C濾光部和DBPF5的光量在R、G、B、C各濾光部中大致相同(近似)，在可見光波段與R、G、B、C各濾光部的波長對應(yīng)的透過特性不同。

另外，在第1和第2實施方式中，也限制使透過相對于可見光波段的長波長側(cè)的紅外成為第2波段，透過R、G、B、IR濾光部和DBPF5的光量在R、G、B、IR各濾光部中大致相同，在可見光波段與R、G、B、IR各濾光部的波長對應(yīng)的透過特性不同。

由此，在第3實施方式中，也能夠高精度地進行各像素的IR校正，能夠生成顏色再現(xiàn)性高的可見圖像。即，如第1實施方式那樣在可見光波段的大致整個波長區(qū)域具有遮斷特性，即使不具備在相對于可見光波段的長波長側(cè)的紅外具有透過特性的上述IR濾光部，通過具備C濾光部，也能夠通過下述式計算出IR信號。

在以下的說明書中，C(W)、R、G、B、IR表示來自攝像傳感器1的輸出信號的電平，C(W)、R、G、B被設(shè)為表示可見光波段的電平，不包含紅外分量。

在此，將彩色濾光片3e設(shè)計為C＝W≈R+G+B，將應(yīng)從RGB各信號去除的IR信號設(shè)為IR’時，成為

IR’＝((R+IR)+(G+IR)+(B+IR)-(C+IR))/2＝IR+(R+G+B-C)/2

IR’≈IR。

另外，IR表示通過測量等求出的實際的值，IR’表示通過計算求出的值。通過從各濾光片減去IR’，能夠進行IR校正。

即，成為

R濾光片(R+IR)：

R’＝(R+IR)-IR’＝R-(R+G+B-C)/2

G濾光片(G+IR)：

G’＝(G+IR)-IR’＝G-(R+G+B-C)/2

B濾光片(B+IR)：

B’＝(B+IR)-IR’＝B-(R+G+B-C)/2

C(＝W)濾光片(W+IR)：

W’＝(C+IR)-IR’＝C-(R+G+B-C)/2。

由此，在彩色濾光片3中，即使代替IR濾光部而使用透明的C濾光部，也能夠通過DBPF5使各濾光部的IR透過率近似，如上所述求出IR分量，從各濾光部的信號去除IR分量，由此能夠提高顏色再現(xiàn)性。

另外，這樣的計算如上所述通過內(nèi)插法，例如在各像素求出R+IR、G+IR、B+IR、C+IR，在各像素進行上述的計算。另外，設(shè)計成C＝W≈R+G+B，但并不一定必須大致準確地與該式一致，只要近似，則即使因誤差或其他原因存在偏差也可以，即例如，也可以存在10％左右的偏差。

此外，對于C，成為R+G+B，從而像素的受光量多，易于飽和，因此在C濾光部中既可以降低可見光波段中的受光量，也可以在包含紅外波段和可見光波段的波段中降低受光量，還可以在構(gòu)成各像素中的像素的元件部中減少對受光量累積的電荷。此時，需要據(jù)此變更上述的式。

另外，圖12表示R、G、B、C彩色濾光片的其他的排列，在2×2的排列中，均等地各配置1個R、G、B、C。

此外，在以往的R、G、B拜耳陣列的情況下，如圖13所示，在2×2的排列中，分別配置1個R、B，并且配置2個G。

此外，將該以往的不包含C或IR的排列中的1個G變更為IR的R、G、B、IR彩色濾光片的2×2排列，如圖14所示，成為分別配置了1個R、G、B、IR的排列。

作為這樣的彩色濾光片，在圖10所示的RGB-C的結(jié)構(gòu)1、圖12所示的RGB-C的結(jié)構(gòu)2、圖13所示的以往的RGB排列(拜耳陣列)、圖14所示的RGB-IR排列的一例中，存在如圖15所示那樣的特性的差異。另外，C不包含RGB等顏色信息，但包含作為光量的亮度信息。

因此，RGB-C(結(jié)構(gòu)1)傳感器通過C的方格配置，亮度分辨率較高，但RGB像素稀疏，并且，成為非對稱性配置，因此分辨率較低，容易生成莫爾紋。但是，顏色信號相對于亮度信號，所求出的分辨率為1/2以下較低，因此沒有問題。此外，靈敏度高。

RGB-C(結(jié)構(gòu)2)與以往的RGB傳感器亮度分辨率、顏色分辨率相同，靈敏度比RGB傳感器高。RGB-IR傳感器設(shè)置有在可見光波段中不具有透過特性的IR，由此相比RGB傳感器，靈敏度變低，亮度的分辨率也變低。

即，相比具有上述的第1實施方式和第2實施方式的IR的彩色濾光片，具有C的彩色濾光片在分辨率、靈敏度上有益的可能性較高。

圖16以框圖表示圖9的信號處理部12中的信號處理。作為攝像傳感器1，具備具有上述的RGB-C的彩色濾光片3e的RGB-C傳感器1，并且具備構(gòu)成光學系統(tǒng)的鏡頭11和DBPF5。

R+IR、G+IR、B+IR、C+IR信號從RGB-C傳感器1進入到進行顏色分離、IR分離、IR校正的分離裝置51，通過內(nèi)插處理和IR校正等，在各像素求出R、G、B、W、IR各信號并輸出。根據(jù)使用上述式的運算，進行該處理。

從分離裝置51輸出的R、G、B、W、IR信號中的R、G、B各信號被發(fā)送到顏色矩陣裝置52，進行公知的RGB矩陣校正等，輸出RGB信號。此外，來自分離裝置51的R、G、B、W、IR信號被發(fā)送給亮度生成裝置53，根據(jù)求出所設(shè)定的亮度的公式，根據(jù)各信號生成亮度信號。

從顏色矩陣裝置輸出的RGB信號被輸入到伽馬處理和色差生成裝置54，被實施公知的伽馬處理，并且作為色差信號例如生成B-Y信號和R-Y信號。此外，從分離裝置51和RGB-C傳感器1輸出的信號經(jīng)由BPF(帶通濾波器)55，作為預定的波段的信號，通過降噪裝置56被降低噪聲后，與從亮度生成裝置53輸出的亮度信號一起通過增強處理裝置57被放大，經(jīng)過伽瑪處理裝置58中的伽馬處理后作為亮度/色差信號的亮度信號(Y信號)而輸出。

此外，從分離裝置51輸出的IR信號經(jīng)由增強處理裝置59、伽瑪處理裝置60后作為IR信號而輸出。另外，在圖像信號的處理中，進行后述的削波處理，對于削波處理在后面進行敘述。

接著，對本發(fā)明的第4實施方式的攝像傳感器和攝像裝置進行說明。第4實施方式是將彩色濾光片的各顏色進行了一般化的方式，表示本發(fā)明的彩色濾光片并不限定于RGB-IR、RGB-C。以下，說明具備具有一般化后的4色濾光部的彩色濾光片的攝像傳感器中的IR分量的去除方法。另外，4色(4種)濾光部基本上與可見光波段中的波長對應(yīng)的透過特性不同，并且，在包含上述DBPF的第2波段的波段中具備與相對于可見光波段的長波長側(cè)的其他濾光部的透過率的差成為10％以下的第3波段，在該第3波段中包含DBPF5的第2波段。由此，在使用彩色濾光片和DPBF5的情況下，在各顏色的濾光部中與可見光波段的紅外側(cè)的波長對應(yīng)的透過特性近似。

并且，在4種像素的濾光片配置中，以下述條件設(shè)計彩色濾光片時，能夠分離IR。

關(guān)于濾光片配置，優(yōu)選在如圖17所示那樣的2×2的配置中，4種濾光部A、B、C、D各具有1個。

此外，優(yōu)選以在可見波長區(qū)域中下述關(guān)系盡可能成立的方式設(shè)計A、B、C、D各濾光部。

即，在可見光波段中成為

KaA+KbB+KcC+KdD≈0。

另外，A、B、C、D表示來自濾光部的可見光波段的攝像傳感器1的輸出信號的電平。

將相對于可見光波段的長波長側(cè)的IR區(qū)域設(shè)為IR透過率在A、B、C、D各濾光部的上述第3波段中大致固定。另外，在A、B、C、D各濾光部中IR透過率也可以成為某IR透過率的大致整倍數(shù)。這樣設(shè)計時(在此，如上述那樣設(shè)IR透過率固定)，

Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR)≈IR(Ka+Kb+Kc+Kd)，

因此，IR信號可以通過

IR’＝(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)

來算出。

通過下述的計算，能夠校正A、B、C、D各像素所包含的IR分量。

A’＝(A+IR)-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝A-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

B’＝B+IR-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝B-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

C’＝C+IR-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝C-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

D’＝D+IR-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝D-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

在此，誤差量為

(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)。

可以在RGB矩陣中，對該誤差量進行校正。

實際上，針對各濾光部的IR分量的透過率多少不同，因此如下述那樣以系數(shù)校正后的信號進行校正。

A’＝A+IR＊KIRa-KIRa(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

B’＝B+IR＊KIRb-KIRb(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

C’＝C+IR＊KIRc-KIRc(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

D’＝D+IR＊KIRd-KIRd(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

另外，使用DBPF時的各濾光片的分光透過特性如圖11所示。另外，作為濾光部的例子，列舉了使用成為R+IR、G+IR、B+IR、C+IR的4種濾光部的例子，但IR部分成為固定或相互整倍數(shù)的關(guān)系，只要以KaA+KbB+KcC+KdD≈0的方式設(shè)計彩色濾光片，各濾光部就并不限定于R+IR、G+IR、B+IR、C+IR。

圖18表示使B濾光部和DBPF5合起來后的分光透過，圖19表示使G濾光部和DBPF5合起來后的分光透過，圖20表示使B濾光部和DBPF5合起來后的分光透過，圖21表示使C(W)濾光部和DBPF5合起來后的分光透過。

各分光透過特性如上述的各式所示那樣成為將可見R透過區(qū)域、可見G透過區(qū)域、可見B透過區(qū)域、IR透過區(qū)域這4個透過率合起來后的特性。因此，能夠根據(jù)4種以上的濾光片的值計算各可見R透過區(qū)域、可見G透過區(qū)域、可見B透過區(qū)域、IR透過區(qū)域的信號值。另外，根據(jù)表示上述各A、B、C、D各分光透過特性的公式來決定分光透過特性，根據(jù)其中的2個濾光片的分光透過特性的組合決定6種分光透過特性。

接著，對本發(fā)明的第5實施方式進行說明。

將輸出可見光波段的信號、相對于可見光波段的長波長側(cè)的紅外信號的攝像傳感器1搭載于智能手機等的情況下，在智能手機側(cè)，處理來自攝像傳感器1的信號的電路位于作為主運算處理裝置發(fā)揮功能的SOC(System on Chip，系統(tǒng)芯片)上的情況下，從攝像傳感器輸出的RGB信號如上述那樣包含IR分量，需要進行去除該IR分量的處理時，有可能不得不變更SOC的設(shè)計。此外，除了SOC以外，還需要在智能手機上設(shè)置進行上述IR校正的電路。在這些情況下，在向智能手機等機器導入能夠輸出可見光和紅外這兩個光的圖像信號的攝像傳感器時，即使攝像傳感器以外的部分成本也會增加。

因此，在本實施方式中，在攝像傳感器中組入使來自攝像傳感器1的從可見光波段輸出的圖像信號成為與以往相同的信號的電路。如圖22所示，攝像傳感器101具備成為與上述攝像傳感器1大致相同的結(jié)構(gòu)的攝像部102、IR校正/分離電路103，從IR校正/分離電路103例如輸出可見RGB信號和IR信號。另外，IR校正/分離電路103包括進行與后述的信號電平的削波相關(guān)的處理的電路。

在該情況下，為了輸出RGB信號和IR信號，攝像傳感器101的管腳數(shù)增加，但通過以CSI-2等串行輸出規(guī)格進行輸出，能夠抑制管腳數(shù)的增加。在此，將可見RGB信號作為RGBG拜耳陣列的攝像傳感器的RAW信號而輸出，或作為YUYV(YCb、YCr)信號而輸出。此外，將IR信號作為單色信號而輸出，由此能夠不變更智能手機、未來手機的SOC，通過RGB-IR傳感器、RGB-C傳感器靈活地進行可見和近紅外的同時攝像。

攝像傳感器101的結(jié)構(gòu)例如如圖23所示那樣成為層壓型堆棧結(jié)構(gòu)，例如，在1個基板110上搭載構(gòu)成IR校正/分離電路103的集成電路的芯片，并且在其之上重疊地配置構(gòu)成攝像部102的芯片。在攝像部102的上面配置有玻璃罩111。在基板110的底面配置有焊錫球115。

此外，如圖24所示那樣，攝像傳感器101的結(jié)構(gòu)也可以成為，上下隔著間隔上下重疊地配置2個基板110，在下面的基板110上配置IR校正/分離電路103的芯片，在上面的基板110上配置攝像部102的芯片，在其之上配置玻璃罩111。

目前，可以通過層壓堆棧結(jié)構(gòu)來實現(xiàn)小型的封裝。即，能夠通過如上那樣地上下層壓IR校正/分離電路103和攝像部102，而形成1個封裝的傳感器。通過該方法也能夠?qū)崿F(xiàn)通過1個封裝內(nèi)置IR校正/分離電路的攝像傳感器101。這樣，即使不內(nèi)置校正分離電路，也能夠?qū)崿F(xiàn)小型可見/近紅外光的同時拍攝，從而能夠?qū)崿F(xiàn)能夠用于智能手機等的小型的傳感器。在智能手機中，可以通過1個傳感器來實現(xiàn)由IR傳感器進行的彩虹認證等生物體認證、具有3D捕捉(capture)等功能且可見動畫/靜止畫的拍攝。

即，在使用紅外傳感器進行生物體認證等的情況下，例如考慮分開設(shè)置紅外傳感器和攝像頭，但認為在該情況下因追加新的紅外傳感器而導致成本上升、空間效率惡化等，但能夠抑制這些問題。

圖25表示通過IR校正+內(nèi)插進行與RGB拜耳配置同樣的信號輸出的示意圖。在水平垂直掃描中，按R、IR、R、IR、…/G、B、G、B、…線順序輸出R/IR和G/B，針對該信號進行IR校正/IR分離，此外，IR像素的位置由近旁的G信號內(nèi)插而生成G’信號，按R、G’、R、G’、…/G、B、G、B、…線順序輸出可見R/G’和G/B信號、以及分離后的IR信號。可見R/G’和G/B信號與以往的RGB拜耳陣列的傳感器的輸出形式相同，因此在信號處理側(cè)，能夠通過與以往相同的信號處理電路進行處理。此外，IR信號保持單色信號，因此在信號處理部中仍可以通過通常的黑白信號的處理進行處理。

通過以上的結(jié)構(gòu)，在以往的信號處理電路中，能夠使處理電路的變更最少地處理RGB-IR傳感器的輸出，此外，在智能手機等中，能夠不增加空間，而安裝通過IR攝像進行的生物體認證、3D捕捉等新功能。

此外，以上對RGB-IR傳感器進行了說明，但在使用RGB-C傳感器的可見/近紅外同時攝像中，通過構(gòu)成為在傳感器內(nèi)內(nèi)置IR校正分離電路為輸出以往的RGB拜耳陣列的傳感器的輸出形式的可見信號和IR信號，能夠得到同樣的效果。

接著，對本發(fā)明的第6實施方式進行說明。

如圖26所示那樣，本實施方式的攝像裝置10具備：作為攝像用光學系統(tǒng)的鏡頭11；具備DBPF5的攝像傳感器1；以及信號處理部(信號處理裝置：減法運算控制裝置)12，其處理從攝像傳感器1輸出的輸出信號13，對圖像信號進行上述的內(nèi)裝處理、去除彩色拍攝時的通過第2波段的紅外光的影響的圖像處理、伽瑪校正、白平衡、RGB矩陣校正等圖像處理?？蓮男盘柼幚聿?2輸出可見彩色圖像的輸出信號14(可見圖像信號)和紅外光圖像的輸出信號15(紅外圖像信號)。

鏡頭11是構(gòu)成在攝像裝置10的攝像傳感器1上成像的光學系統(tǒng)的部件。鏡頭11例如由多個透鏡構(gòu)成。

如圖27所示，攝像傳感器(圖像傳感器)1例如具備作為CCD(Charge coupled Device：電荷耦合器件)圖像傳感器的傳感器本體2、與傳感器本體2的各像素對應(yīng)地以預定排列配置了紅(R)、綠(G)、藍(B)、紅外(IR)的各區(qū)域(各顏色的濾光片)的彩色濾光片3、覆蓋在傳感器本體2和彩色濾光片3上面的玻璃罩4、在玻璃罩4上形成的DBPF(Dual Band pass filter：雙頻帶通濾波器)5。

傳感器本體2為CCD圖像傳感器，針對各像素配置有作為受光元件的光電二極管。另外，傳感器本體2也可以用CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)圖像傳感器來代替CCD圖像傳感器。

在傳感器本體2上設(shè)有彩色濾光片3。在此，有紅色R、綠色G、藍色B各區(qū)域但沒有紅外IR區(qū)域的拜耳排列的彩色濾光片具有成為基本模式的縱4×橫4的16個區(qū)域，將8個區(qū)域設(shè)為G區(qū)域，將4個區(qū)域設(shè)為R，將4個區(qū)域設(shè)為B。與此相對，作為本實施方式的彩色濾光片3，如圖28所示那樣，將拜耳陣列中的8個G區(qū)域中的4個設(shè)為IR區(qū)域，從而R為4個、G為4個、B為4個、IR為4個。另外，包含IR區(qū)域的彩色濾光片并不限定于圖28所示的彩色濾光片3，可以使用各種排列的彩色濾光片。此外，RGB各區(qū)域為一般的RGB濾光片，但在各顏色的波長范圍內(nèi)具備透過率的峰值，并且在近紅外的波長區(qū)域具備透過性，因此在圖28中，將紅色區(qū)域設(shè)為R+IR，將綠色區(qū)域設(shè)為G+IR，將藍色區(qū)域設(shè)為B+IR。

本實施方式中的R區(qū)域、G區(qū)域和B區(qū)域的光譜透過率如圖29的圖表所示。即，示出了彩色濾光片3的紅(R)、綠(G)、藍(B)、紅外(IR)的各濾光片的光譜透過率，縱軸表示透過率，橫軸表示波長。圖表中的波長的范圍包括可見光波段和近紅外波段的一部分，因此，例如表示300nm～1100nm的波長范圍。

例如，R區(qū)域如圖表的R(二重線)所示那樣，在波長600nm成為大致最大的透過率，在其長波長側(cè)，即使超過1000nm也會成為維持透過率大致最大的狀態(tài)。G區(qū)域如圖表的G(間隔寬的虛線)所示那樣，在波長為540nm左右的部分具有透過率極大的峰值，在其長波長側(cè)的620nm左右的部分具有透過率極小的部分。此外，在G區(qū)域中，與透過率極小的部分相比長波長側(cè)成為上升趨勢，在850nm左右透過率成為大致最大。與其相比在長波長側(cè)，即使超過1000nm也可以成為透過率大致最大的狀態(tài)。B區(qū)域如圖表的B(間隔窄的虛線)所示那樣，在波長為460nm左右的部分具有透過率極大的峰值，在其長波長側(cè)的630nm左右的部分具有透過率極小的部分。此外，與其相比長波長側(cè)成為上升趨勢，在860nm左右透過率成為大致最大，與其相比在長波長側(cè)，即使超過1000nm也可以成為透過率大致最大的狀態(tài)。IR區(qū)域遮斷780nm左右至短波長側(cè)的光，遮斷1020nm左右至長波長側(cè)的光，820nm～920nm左右的部分的透過率成為大致最大。

R、G、B、IR各區(qū)域的光譜透過率并不限定于圖29等所示的光譜透過率，目前，認為在一般使用的彩色濾光片3中，表示與此相近的光譜透過率。另外，表示透過率的縱軸的1并不是表示光100％透過，而是表示在彩色濾光片3中，例如最大的透過率。

玻璃罩4覆蓋并保護傳感器本體2和彩色濾光片3。

在此，DBPF5為在玻璃罩4上成膜而成的光學濾光片。DBPF5是在可見光波段具有透過特性、在與可見光波段的長波長側(cè)相鄰的第1波段具有遮斷特性、在上述第1波段內(nèi)的一部分即第2波段具有遮斷特性的光學濾光片。另外，DBPF5的配置位置并不限定于玻璃罩4，也可以配置于攝像傳感器1的其他位置。此外，DBPF5的配置位置并不限定于攝像傳感器1，也可以配置于包含鏡頭11，使像成在攝像傳感器1的光學系統(tǒng)中。

如圖29的圖表所示，如在圖表中DBPF(實線)所示那樣，DBPF5在由DBPF(VR)表示的可見光波段、和相對于可見光波段的長波長側(cè)的稍微遠離的位置的由DBPF(IR)表示的紅外波段(第2波段)這2個頻帶的透過率變高。此外，作為可見光波段透過率較高的頻帶的DBPF(VR)例如成為370nm～700nm左右的波段。此外，在紅外側(cè)作為透過率較高的第2波段的DBPF(IR)例如成為830nm～970nm左右的頻帶。

在本實施方式中，如以下所示那樣規(guī)定上述彩色濾光片3的各區(qū)域的光譜透過率與DBPF5的光譜透過率的關(guān)系。

即，成為DBPF5的光譜透過率的透過紅外光的第2波段的DBPF(IR)包含在R區(qū)域、G區(qū)域、B區(qū)域全部成為臉頰最大的透過率且在各區(qū)域中透過率大致相同的圖29所示的波段A內(nèi)，并且，包含在以IR區(qū)域的大致最大的透過率透過光的波段B內(nèi)。

在此，將R、G、B各區(qū)域的透過率大致相同的波段A設(shè)為各區(qū)域的透過率的差在透過率10％以下的部分。

另外，在相對于該波段A的短波長側(cè)(波段C)，相對于透過率大致最大的R區(qū)域，G、B區(qū)域的透過率變低。在DBPF5中，該R、G、B各區(qū)域的透過率有差異的部分對應(yīng)于成為大致遮斷可見光區(qū)域的透過率高的部分即DBPF(VR)與紅外光區(qū)域的第2波長區(qū)域的透過率高的部分即DBPF(IR)之間的DBPF5的光的透過率極小的部分。即，在紅外側(cè)，R、G、B各區(qū)域的透過率的差異變大的部分的光的透過被切除，與其相比在長波長側(cè)各區(qū)域的透過率大致變大且透過率大致相同的波長區(qū)域A，使光透過。

因此，在本實施方式中，在代替紅外光截止濾波器而使用的DBPF5中，不僅在可見光波段，在紅外光側(cè)的第2波段中也存在使光透過的區(qū)域，因此在進行基于可見光的彩色拍攝時，會受到透過了第2波段的光的影響，但如上所述第2波段不會使在R、G、B各區(qū)域中透過率不同的部分的光透過，僅使各區(qū)域的透過率變得大致最大，且成為大致相同的透過率的波段的光透過。

此外，在DBPF5的第2波段中，使在IR區(qū)域透過率成為大致最大的部分的光透過。因此，在假定在被照射大致相同的光的極其接近的4個像素中分別設(shè)置R、G、B、IR區(qū)域的情況下，在第2波段在R區(qū)域、G區(qū)域、B區(qū)域、IR區(qū)域中大致同樣地使光透過，作為紅外側(cè)的光，在包含IR的各區(qū)域大致相同光量的光到達攝像傳感器本體2的上述像素的光電二極管。即，透過R、G、B各濾光片的光中的、透過紅外側(cè)的第2波段的光的光量與透過IR區(qū)域的光的光量相同。在如上述那樣假定的情況下，來自接受了基本上透過了R、G、B各濾光片的光的傳感器本體2的如上述那樣假定的像素的輸出信號與來自接受了透過了IR濾光片的光的傳感器本體2的如上述那樣假定的像素的輸出信號的差值，成為通過各R、G、B區(qū)域切除了透過了紅外側(cè)的光的R、G、B各個可見光部分的輸出信號。

實際上，如彩色濾光片3(3a、3b、3c)的各模式所示的那樣，在傳感器本體2的每個像素上配置R、G、B、IR中的任意1個區(qū)域，向各像素照射的各顏色的光的各自的光量不同的可能性高，因此可以針對各像素例如使用公知的內(nèi)插法(插補法)來求出各像素的各顏色的亮度，將該插補后的各像素的R、G、B的亮度與以相同的方法插補后的IR亮度的差值分別設(shè)為R、G、B的亮度。另外，從R、G、B各顏色的亮度去除紅外光分量的圖像處理方法并不限定于此，只要最終能夠從R、G、B各亮度去除透過了第2波段的光的影響的方法，就可以使用任一種方法。在任一種方法中，DBPF5能夠去掉在紅外側(cè)R、G、B區(qū)域的透過率不同于10％的部分，即透過率不同于預定比例的部分，因此針對各像素去除紅外光的影響的處理變得容易。

此外，作為該攝像傳感器1的用途，在能夠進行彩色拍攝和紅外光拍攝這兩者的攝像裝置中，作為攝像傳感器而使用。一般，考慮通過彩色拍攝進行通常的拍攝，在夜間不使用可見光的照明而使用人類難以識別的紅外光的照明來進行紅外拍攝。例如，在各種監(jiān)視攝像頭等中，優(yōu)選在不需要夜間照明或不進行夜間照明的場所進行夜間拍攝時，考慮使用紅外光照明的基于紅外光的夜間拍攝。此外，也可以在用于觀察野生動物的白天拍攝和夜間拍攝等用途中使用。

將紅外光拍攝用作夜間拍攝的情況下，即使紅外光也與可見光同樣，在夜間光量不足，因此需要進行紅外光照明。考慮R、G、B、IR各區(qū)域的光譜透過率、紅外光照明用光例如照明用紅外光LED的光譜透過率來決定圖29所示的DBPF5的光譜透過率。

在這樣的攝像傳感器中，在DBPF5的紅外側(cè)使光透過的第2波段被包含在在R、G、B、IR各區(qū)域的紅外側(cè)各區(qū)域的透過率大致最大，且各區(qū)域的透過率大致相同的波段A中，并且，被包含在IR區(qū)域的透過率大致成為最大的波段B中。換言之，在相對于可見光波段長的波長側(cè)，R、G、B各濾光片的透過率中僅R濾光部成為大致最大，G、B區(qū)域的透過率未變?yōu)榇笾伦畲?，由此R、G、B各區(qū)域的透過率未成為大致相同，不同部分的光被DBPF5切除。

即，在R、G、B、IR各區(qū)域中，在紅外側(cè)使第2波段的光透過，因此各區(qū)域中的紅外側(cè)的透過率全部大致相同，以相同的光量照射成為第2波段的光時，R、G、B、IR各區(qū)域中的透過光量相同。由此，如上述那樣校正基于來自與R、G、B各區(qū)域?qū)?yīng)的像素的輸出信號的顏色，能夠容易得到抑制了彩色拍攝時的顏色受到透過第2波段的紅外光引起的影響的圖像。

此外，通過使第2波段與包含在上述波段A和波段B中的紅外光照明的發(fā)光光譜的峰值對應(yīng)，高效地使用紅外光照明的光，并且使第2波段的寬度變窄，從而在彩色拍攝時能夠使透過第2波段的紅外光的影響變小。

即，通過使用DBPF5，從攝像傳感器1的RGB各信號的值分別減去IR信號的值，從而能夠進行高精度的校正。在此，在詳細說明信號處理部12前，對攝像裝置中的攝像處理方法進行說明。

例如，如以下所示那樣，攝像傳感器1的各顏色像素的受光分量成為對各顏色分量加上IR分量的狀態(tài)。

R像素R+IR

G像素G+IR

B像素B+IR

IR像素IR

因此，如以下所示那樣，進行去除IR像素的從RGB各像素的受光分量去除IR分量的IR校正。

R信號(R像素輸出)-(IR像素輸出)＝(R+IR)-IR＝R

G像素(R像素輸出)-(IR像素輸出)＝(G+IR)-IR＝G

B像素(R像素輸出)-(IR像素輸出)＝(B+IR)-IR＝B

由此，能夠從彩色濾光片的IR以外的各顏色區(qū)域排除透過DBPF5且透過彩色濾光片IR分量。

但是，R像素、G像素、B像素針對各光源的靈敏度分別不同，攝像傳感器1的各像素存在動態(tài)范圍，不讀取超過了動態(tài)范圍的電荷，來自攝像傳感器的輸出被削波而成為頂級。即，當輸入的光超過動態(tài)范圍時，輸出的信號被削波而成為被削平的狀態(tài)。

其結(jié)果，如下述那樣，存在如下問題：在校正后的R信號、G信號、B信號中產(chǎn)生誤差、不自然的亮度電平(高亮部的亮度降低)、高亮中帶有顏色等。

圖30～圖32是用于說明在超過了動態(tài)范圍的狀態(tài)下，從各顏色分量減去IR分量時的問題的圖，圖30表示R的情況，圖31表示G的情況，圖32表示B的情況。在圖30～圖32所示的圖表中，縱軸表示來自攝像傳感器1的各顏色像素的信號的輸出電平，橫軸表示攝像傳感器1的1個像素的輸出電平的時間經(jīng)過，或者，表示像素在列上的位置(例如，Y軸上的各像素的位置)。在此，例如將橫軸設(shè)為Y軸上的像素的位置。因此，圖表表示各顏色的各像素的基于Y軸上的位置的信號的輸出電平的變化。圖33是對圖30～圖32所示的各顏色表示IR信號的輸出電平的圖，與上述的各圖表的RGB各像素的情況同樣地表示Y軸上的各像素的位置的輸出電平。

圖30～圖32分別所示的上側(cè)的圖表表示隨著Y軸上的位置的差異超過動態(tài)范圍的狀態(tài)下的信號的輸出電平，即隨著Y軸上的位置向右方向變化，各像素的信號的輸出電平上升之后下降，在去除IR的RGB中，超過動態(tài)范圍而成為被削波的狀態(tài)。另外，在攝像傳感器1的各像素中，僅能夠讀取電荷到像素飽和電平為止，在像素飽和電平以上無法讀取電荷，而成為輸出電平被削波的狀態(tài)。此外，在RGB各像素的信號的輸出電平中包含IR信號的輸出電平，因此分別成為R+IR、G+IR、B+IR，RGB的輸出電平與IR信號的輸出電平相比分別高出不包含RGB的IR的單獨的輸出電平量。因此，容易發(fā)生在IR像素中不超過動態(tài)范圍，而在RGB中超過動態(tài)范圍的狀態(tài)。

在圖30～圖32中，超過像素飽和電平并用虛線表示的圖表表示未被削波的情況下的輸出電平。圖30～圖32所示的下側(cè)的圖表表示從包含上側(cè)的IR的輸出電平減去了IR的輸出電平的情況。在此，在上部成為凸部的部分表示從上述的由虛線所示的沒有被削波的情況下的RGB各信號的輸出電平減去了IR信號的輸出電平的情況。但是，實際上，減去前的RGB各信號為被削波的狀態(tài)，因此此時減去了輸出電平隨著位置的不同而成為山狀的IR輸出電平的情況成為從上部凸起的下側(cè)的圖表變成如箭頭所示那樣下側(cè)凹陷的狀態(tài)的下側(cè)的圖表。

如上所述原本應(yīng)為一列的各像素的中央部的輸出電平高的山狀的輸出電平，但如上所述原本的輸出電平超過動態(tài)范圍而被削波，以像素飽和電平而成為水平的輸出電平減去未超過動態(tài)范圍成為山狀的IR的輸出電平，因此原本輸出電平最高的部分相反成為凹陷的狀態(tài)。

在超過了像素飽和電平的情況下，各顏色像素的圖像信號的輸出電平成為削平狀態(tài)，此時，IR依舊比像素飽和電平低，其他顏色超過像素飽和電平后亮度越變高，IR的輸出電平越變高。即，即使亮度變得更高，RGB各像素的信號的輸出電平被削波而不會變高，而從它們減去的IR輸出信號變高。因此，從RGB各輸出電平減去IR輸出電平而得的輸出電平在亮度變高時反而下降。由此，在輸出電平應(yīng)為最高的部分，輸出電平反而下降，在高亮部亮度降低。此外，RGB各輸出電平全部超過了像素飽和電平的部分應(yīng)成為白色，但RGB分別在下部凸出時的輸出電平中產(chǎn)生差異，高亮部不成為白色，而成為帶有顏色的狀態(tài)。

因此，從RGB各像素的信號的輸出電平減去IR信號的輸出電平時，由于RGB各像素的信號的輸出電平超過動態(tài)范圍，因此在以像素飽和電平被削波的狀態(tài)下，降低要減去的IR的輸出電平后進行減法運算。即，在從RGB各輸出電平被減去的IR信號的輸出電平的值中，如圖33、圖34所示那樣，從RGB各像素的信號的輸出電平被減去的IR信號的輸出電平不超過動態(tài)范圍，即使在像素飽和電平的下側(cè)，也如輸出電平被削波那樣，與RGB各信號(各分量)對應(yīng)地設(shè)定限制值，將成為該限制值以上的輸出電平設(shè)為以所設(shè)定的限制值被削波(限制成削平)的狀態(tài)。

這樣，從RGB各信號減去以對每個RGB設(shè)置的限制值被削波的IR信號的情況下，與圖30～32所示的情況不同，要減去的IR信號以限制值被削波，因此如圖35(a)、(b)、(c)所示那樣，不會出現(xiàn)亮度變高時而RGB各信號的輸出電平反而變低的情形，而成為以減去后的信號飽和電平被削波的狀態(tài)。該信號飽和電平是從RGB各信號的像素飽和電平減去IR信號的與RGB對應(yīng)的各限制值而得的值。因此，不會發(fā)生高亮部亮度下降的現(xiàn)象。另外，RGB各信號的減去IR信號后產(chǎn)生的信號飽和電平在RGB各信號超過動態(tài)范圍的情況下，從像素飽和電平減去IR信號的限制值，從而成為低于像素飽和電平的電平。此外，IR信號減去后的RGB各信號的信號飽和電平如后所述按顏色而不同。

另外，圖34所示的IR信號的輸出電平被削波的位置(IR信號的限制值)根據(jù)被減去的RGB的每個信號而不同，并且根據(jù)狀況而變化。

即，進行各RGB信號的校正時的IR信號的輸出電平的限制值(削波電平)與RGB各顏色對應(yīng)地，根據(jù)攝像傳感器1的分光靈敏度、光源的色溫度、光源的種類，恰當?shù)南鞑娖阶兓?。難以通過計算一律地求出該電平，但通過對各光源(色溫度)測定由傳感器輸出的各RGB信號的輸出電平、IR信號的輸出電平，能夠決定該電平。另外，通過攝像傳感器1決定攝像傳感器1的分光靈敏度。此外，根據(jù)光源的種類大致決定色溫度。因此，需要根據(jù)色溫度求出上述IR的輸出電平被削波的各RGB信號所對應(yīng)的IR信號的值的限制值。

在攝像頭中，根據(jù)光源的色溫度的變化，各RGB信號的電平變化。例如，對于色溫度低的光源，R信號增加，B信號減少。此外，對于色溫度高的光源，B信號增加，R信號減少。其結(jié)果，在色溫度低的情況下，成為略帶紅色的圖像，在色溫度高的情況下，成為略帶藍色的圖像。因此，顏色的再現(xiàn)性根據(jù)光源的色溫度變化而變化。為了使該顏色再現(xiàn)性穩(wěn)定化，進行使RGB信號的電平一定的白平衡處理(WB)。

根據(jù)顏色信號測定光源的色溫度，并調(diào)整RGB各顏色信號的增益來進行白平衡處理。當前，普遍采用根據(jù)圖像信號進行白平衡檢測，根據(jù)檢測出的結(jié)果進行控制的方法。例如，由RGB增益調(diào)整電路(包含于圖38的控制電路21中)和白平衡檢測電路26(圖38圖示)構(gòu)成反饋控制回路，通過白平衡檢測電路26對R-Y信號、B-Y信號、或R、G、B信號進行積分。對R-Y信號、B-Y信號進行積分的情況下，控制成它們的積分值成為0，此外，對R、G、B信號進行積分的情況下，控制各RGB信號的增益使各積分值相同。

此時，能夠根據(jù)各RGB信號的增益，求出R信號、G信號、B信號各自的比例，成為決定光源的色溫度的信息。根據(jù)該信息，來決定IR校正時的IR信號相對于各RGB信號的限制值(削波電平)。

另外，影像信號的構(gòu)成方式有將與三原色對應(yīng)的RGB設(shè)為分量的RGB方式和使用從RGB變換為亮度信號和色差信號的亮度-色差的色差方式。已知的色差方式有使用Y、Cb、Cr的方式、使用Y、Pb、Pr的方式等。Y為亮度，Cb和Pb為對(B(藍色)-Y(亮度))乘上系數(shù)而得的值，Cr和Pr為對(R(紅色)-Y(亮度))乘上系數(shù)而得的值，Cb和Pb為B-Y信號，Cr和Pr為R-Y信號。

例如，對于R、G、B，通過以下的式來表示Y、Cb、Cr。

Y＝0.299＊R+0.587＊G+0.114＊B

Cb＝0.564＊(B-Y)＝-0.169＊R-0.331＊G+0.500＊B

Cr＝0.713＊(R-Y)＝0.500＊R-0.419＊G-0.081＊B

色差方式是對表示明亮的分量(亮度)、以及表示2個顏色信號與亮度信號的差分的分量(色差)重構(gòu)RGB信號的方式，因此即使顏色的分辨率變差人類的眼睛也不會注意到，因此例如在傳輸時將色差的信息量削減為1/2，從而與RGB相比成為2/3的處理量。

以下，使用例子說明該削波電平(限制值)的設(shè)定方法。

首先，說明在白平衡處理中求出RGB各信號的增益的處理。

設(shè)定認為是白色的區(qū)域，并且檢測出所設(shè)定的白色區(qū)域，并在該區(qū)域中進行白平衡檢測。即，在分別對認為是白色的區(qū)域的各像素的色差信號的B-Y信號和R-Y信號進行積分的情況下，調(diào)整B-Y信號和R-Y信號的增益使這些進行積分而得值成為0?；蛘?，調(diào)整各R、G、B信號的增益使分別對RGB各信號進行積分而得的值彼此相等。

圖36(a)、(b)表示白平衡檢測中認為是白色的區(qū)域的一例。如圖36(a)所示，在B-Y、R-Y平面上，在成為白色的點的基于色溫度的移動軌跡的近旁設(shè)定白色檢測區(qū)域。此外，如圖36(b)所示那樣，對亮度信號電平例如設(shè)定白色檢測范圍(例如，白色電平(level)的70％以上且不足105％)。在色差方式中，在白色檢測區(qū)域有色差信號，并且，亮度信號位于白色檢測范圍內(nèi)時，其像素在白色區(qū)域內(nèi)，對該區(qū)域內(nèi)的像素的R、G、B各信號或色差方式的B-Y信號和R-Y信號進行積分。

或者，調(diào)整各R、G、B信號的增益使R、G、B的積分值相等。

例如，調(diào)整了R、G、B信號的增益使R、G、B的積分值相等時的R、G、B的調(diào)整后的各增益成為表示色溫度信息的信息。在白平衡處理中，通過將這樣調(diào)整后的RGB的各增益分別乘以所對應(yīng)的RGB各信號，能夠得到白平衡處理后的RGB各信號。

即，白平衡后的RGB各信號成為

(WB后的R信號)＝(R信號的增益)×(WB前的R信號)

(WB后的G信號)＝(G信號的增益)×(WB前的G信號)

(WB后的B信號)＝(B信號的增益)×(WB前的B信號)。

接著，使用這樣通過白平衡處理調(diào)整后的RGB各增益，說明求出作為要從R(R+IR)、G(G+IR)、B(B+IR)各信號減去的IR信號的值的校正值的限制值的方法。另外，要從R(R+IR)、G(G+IR)、B(B+IR)各信號減去的IR信號的限制值在R(R+IR)、G(G+IR)、B(B+IR)的各顏色信號超過像素飽和電平的狀態(tài)而以像素飽和電平被削波的情況下，是從各顏色信號減去IR信號的值時的成為上限的值。

將像素的飽和電平設(shè)為Lsat、在某色溫度下對白色拍攝時，將R信號相對于IR信號的比設(shè)為Kr、將R信號中的IR信號的限制值(削波電平)設(shè)為Lclip-R時，通過下式來表示IR信號的與RGB各信號對應(yīng)的限制值(削波電平)。

Lsat＝Lclip-R+Kr＊Lclip-R

Lclip-R＝Lsat/(1+Kr)

同樣地，將G信號相對于IR信號的比設(shè)為Kg、B信號相對于IR信號的比設(shè)為Kb，并且將G信號中的IR信號的限制值(削波電平)設(shè)為Lclip-G、將B信號中的IR信號的限制值(削波電平)設(shè)為Lclip-B時，成為

Lclip-G＝Lsat/(1+Kg)

Lclip-B＝Lsat/(1+Kb)。

當前，在對白色進行拍攝時，將G信號相對于R信號的比率設(shè)為Kg/r、B信號相對于R信號的比率設(shè)為Kb/r時，如上所述為

(WB后的R信號)＝(R信號的增益)×(WB前的R信號)

(WB后的G信號)＝(G信號的增益)×(WB前的G信號)

(WB后的B信號)＝(B信號的增益)×(WB前的B信號)

因此，成為

(WB前的R信號)＝(WB后的R信號)/(R信號的增益)

(WB前的G信號)＝(WB后的G信號)/(G信號的增益)

(WB前的B信號)＝(WB后的B信號)/(B信號的增益)。

此外，相對于白色，WB后的R信號、G信號、B信號相等。因此，

Kg/r＝(R信號的增益)/(G信號的增益)

Kb/r＝(R信號的增益)/(B信號的增益)

此外，

Kg＝Kr×Kg/r

Kb＝Kr×Kb/r

因此，成為

Lclip-G＝Lsat/(1+Kr×Kg/r)

Lclip-B＝Lsat/(1+Kr×Kb/r)。

能夠求出IR信號的紅色的削波電平Lclip-R、綠色的削波電平Lclip-G、藍色的削波電平Lclip-B。

此外，Kb/r可以作為表示色溫度的參數(shù)而使用。在各顏色溫度中，測定針對Kb/r的Kr，預先存儲在存儲器等中，由此基于通過白平衡檢測得到的增益和上述的式，根據(jù)Kb/r和針對該Kb/r的Kr，能夠決定各顏色校正用IR信號的削波電平。

此外，如上述那樣進行了IR校正(計算IR信號的削波電平)的情況下，RGB各信號的高亮中的信號飽和電平(從達到像素飽和電平而被削波的RGB各信號減去校正后的IR信號(限制值：削波電平)時的各信號的電平)并不一定相同。這成為高亮帶顏色的原因，成為畫質(zhì)劣化的原因。因此，如圖37(a)、(b)、(c)所示那樣，在白平衡后進行校正使RGB的高亮部分以相同電平(RGB削波電平)被削波。由此，消除高亮中帶顏色、亮度的協(xié)調(diào)不自然。

在圖37中，縱軸表示從RGB(R+IR、G+IR、B+IR)各信號減去了IR信號時的輸出電平，橫軸例如表示攝像傳感器1上的Y軸方向的像素的位置或1個像素的時間經(jīng)過。在圖37的各圖表中，在RGB各信號達到了像素飽和電平的狀態(tài)下，光源的色溫度不變，且如上述那樣求出的RGB各自的削波電平(限制值)固定的情況下，從像素飽和電平的RGB各信號減去了以限制值(削波電平)被限制(被削波)的IR信號的情況下，RGB各信號的像素飽和電平固定，且與RGB分別對應(yīng)的IR信號的各限制值固定，因此減去后的RGB信號成為固定的狀態(tài)，即以信號飽和電平被固定的狀態(tài)。但是，如圖37所示，信號飽和電平根據(jù)RGB而不同，到此為止，在高亮部RGBの信號的輸出電平不同，因此不會成為白色。因此，在RGB各信號中，將信號飽和電平最低的R信號的信號飽和電平設(shè)為共同的RGB削波電平(R信號飽和電平)，使RGB各信號的信號飽和電平與共同的RGB削波電平一致。

即，如圖37(a)所示，從R信號減去設(shè)有與R信號對應(yīng)的削波電平(限制值)的IR信號，由此將在減去后的R信號中產(chǎn)生的信號飽和電平(削波電平)設(shè)為基準。減去IR信號后的RGB各信號的信號飽和電平中，R信號的信號飽和電平最低，因此如上述那樣將R信號設(shè)為基準，使減去IR信號后的G信號的信號飽和電平和B信號的信號飽和電平如圖37(b)和圖37(c)所示那樣與等于R信號的信號飽和電平的RGB削波電平一致地下降，由此使RGB各信號的減去IR信號后的信號飽和電平一致。由此，高亮部的各信號的高電平相同，能夠防止高亮帶顏色。

另外，在以上說明的結(jié)構(gòu)中，設(shè)為對IR信號進行削波后從R信號、G信號、B信號減去的結(jié)構(gòu)，但在IR信號成為上述的R信號、G信號、B信號飽和的電平(上述的IR信號的削波電平)以上時，也可以通過乘法器降低IR信號的增益后從R信號、G信號、B信號減去。這樣，通過構(gòu)成為控制減去量，也可以防止高亮部的R信號、G信號、B信號的亮度協(xié)調(diào)的不自然。此外，在根據(jù)RGB信號生成亮度信號并因RGB信號的信號飽和電平的不同而引起帶顏色的部分以上的電平中，也可以通過使R-Y信號、B-Y信號的增益減少，消除顏色的處理，防止帶顏色。

圖38以框圖表示攝像裝置10(圖26中圖示)的信號處理部12(圖26中圖示)中的信號處理。來自攝像傳感器1的R、G、B、IR各像素的輸出信號(該信號處理中為來自攝像傳感器1的輸入信號)，通常若為RAW輸出，則以線順序或點順序輸出R、G、B、IR，因此例如在來自攝像傳感器1的RAW信號的輸入部設(shè)置各顏色信號的同步化電路(省略圖示)。

在該情況下，在同步化電路中通過內(nèi)插處理(插補處理)，在每個幀的圖像數(shù)據(jù)中分別對R、G、B、IR信號進行變換，以便使全部像素成為由紅色R表示的圖像數(shù)據(jù)、使全部像素成為由綠色G表示的圖像數(shù)據(jù)、使全部像素成為由藍色B表示的圖像數(shù)據(jù)、使全部像素成為由紅外IR表示的圖像數(shù)據(jù)。換言之，在全部像素中，成為輸出R、G、B和IR信號的狀態(tài)。另外，內(nèi)插處理方法可以使用公知的方法。

即，信號處理部12具備未圖示的用于進行R+IR、G+IR、B+IR和IR的傳感器輸出的同步化電路，圖38的R+IR、G+IR、B+IR和IR各傳感器輸出為經(jīng)過了同步化電路后的信號。

信號處理部12中設(shè)有：限幅器20r、20g、20b，其用于以對每個RGB決定的削波電平(限制值)對從RGB信號減去的IR信號進行削波；乘法器22r、22g、22b，其用于對從各限幅器20r、20g、20b輸出的IR信號乘上校正值來進行校正；減法器23r、23g、23b，其從R+IR、G+IR、B+IR各信號減去從乘法器22r、22g、22b輸出的被削波的IR信號；乘法器24r、24g、24b，其對減去IR信號后的RGB各信號乘上白平衡用的RGB各增益；以及限幅器25r、25g、25b，其用于使減去IR信號且進行白平衡后的RGB各信號中的信號飽和電平一致。

此外，信號處理部12具備計算RGB各信號的IR信號的削波電平(限制值)并將其輸出到限幅器20r、20g、20b的控制電路21。此外，控制電路21向乘法器22r、22g、22b輸出校正值，向乘法器24r、24g、24b輸出為了白平衡而計算出的RGB的各增益，向限幅器25r、25g、25b輸出用于使RGB各信號的信號飽和電平一致的RGB削波電平(R信號飽和電平)。此外，信號處理部具備用于根據(jù)來自信號處理部12的RGB的輸出信號求出白平衡用增益的白平衡檢測電路26。

作為IR傳感器輸出的IR信號，被分別發(fā)送到設(shè)置在信號處理部12上的R用限幅器20r、G用限幅器20g、B用限幅器20b，如上所述，以對每個顏色設(shè)定的IR信號用限制值(削波電平)被削波。

此時，通過控制電路21算出的IR信號的上述紅色的削波電平Lclip-R、綠色的削波電平Lclip-G和藍色的削波電平Lclip-B分別被輸出到對應(yīng)的R用限幅器20r、G用限幅器20g、B用限幅器20b，分別成為R用限幅器20r、G用限幅器20g、B用限幅器20b的限幅值。由此，關(guān)于IR信號，通過各限幅器20r、20g、20b，以削波電平對超過削波電平(限制值)的輸出電平進行削波。

此外，從R用限幅器20r、G用限幅器20g、B用限幅器20b輸出的各值為要從RG各信號減去的IR信號，但通過乘法器22r、22g、22b對該IR各信號乘上從控制電路21輸出的校正值。在本結(jié)構(gòu)中，包含在R像素、G像素、B像素中的IR分量大致為與IR像素相同的電平，但由于R像素、G像素、B像素各個的開口差，或者，傳感器內(nèi)部的放大增益的波動等，有可能在信號電平中多少產(chǎn)生誤差。即，從限幅器20r、20g、20b輸出的值，例如有比必要的值稍微大的趨勢，與RGB各信號對應(yīng)地通過乘法器22r、22g、22b乘以校正值來進行校正。

減法器23r、23g、23b從R+IR、G+IR、B+IR各信號減去這樣被削波并被校正后的與RGB對應(yīng)的IR信號。各乘法器24r、24g、24b對從各減法器23r、23g、23b輸出的信號乘上通過白平衡處理算出的RGB的各增益來進行白平衡。向各乘法器24r、24g、24b輸入根據(jù)由白平衡檢測電路26檢測出的各RGB的信號通過控制電路21計算出的RGB各自的增益。此外，從各乘法器24r、24g、24b輸出的RGB各信號減去被削波的IR信號而成為被削波的狀態(tài)。

即，在RGB各信號以像素飽和電平被削波的狀態(tài)下，如上述那樣減去被以限制值限制的IR信號時，以從像素飽和電平減去限制值而得的值即信號飽和電平被削波。當這些RGB各信號的信號飽和電平不同時，在高亮部帶有顏色，因此為了使RGB各信號飽和電平一致，限幅器25r、25g、25b設(shè)置限幅值以便在RGB各信號中成為相同的RGB削波電平。在此，以RGB削波電平為限幅值，使R信號的信號飽和電平與G信號和B信號的削波電平一致。

以R(R+IR)信號為例說明上述那樣的信號處理。將從攝像傳感器1輸出的R信號設(shè)為通過同步化電路被內(nèi)插而在攝像傳感器1中作為圖像而利用的全部像素中的每個像素的R信號。同樣地，G信號、B信號、IR信號也通過同步化電路來處理，并被設(shè)為作為圖像而利用的全部像素中的每個像素的G信號、B信號、IR信號。

將IR信號發(fā)送給限幅器20r。向限幅器20r輸出通過控制電路21如上述那樣算出的R信號用IR信號的限制值即Lclip-R，其成為限幅器20r的限幅值。因此，通過了限幅器20r的IR信號通過限制值被削波以便成為削平。即，超過限制值的IR信號的輸出電平成為限制值。

這樣以限制值被削波的IR信號被發(fā)送到乘法器22r，乘上通過控制電路21算出的(或存儲的)校正值而被校正后發(fā)送倒減法器23r。向減法器23r輸入上述被同步化的R信號，并且輸入如上述那樣被限制且校正后的IR信號，從R信號減去IR信號的值。接著，減去IR信號后的R信號被發(fā)送到乘法器24r。向乘法器24r輸入R信號和通過上述的白平衡檢測電路26和控制電路21求出的R信號的增益，并對R信號乘上增益。

從乘法器24r輸出進行白平衡處理后的R信號。將該R信號輸入到限幅器25r。從控制電路21將上述的RGB削波電平發(fā)送給限幅器25r，將該RGB削波電平設(shè)為限幅值，超過RGB削波電平的R信號被削波。但是，在該信號處理部12中，RGB削波電平與R信號飽和電平相等，減去IR信號后的R信號已是以R信號飽和電平被削波的狀態(tài)，因此關(guān)于R信號，限幅器25r的處理并不是必須的。另外，G信號和B信號在限幅器25g、25b中與R信號的飽和電平相等，將RGB削波電平作為限幅值。而以RGB削波電平被削波。

同樣地，G信號、B信號被處理，處理后的RGB各信號如圖1所示那樣作為可見光的彩色圖像的輸出信號14而被輸出。此外，IR信號經(jīng)過同步化電路后，作為紅外光圖像的輸出信號15而被輸出。另外，作為紅外圖像信號而輸出的IR信號不會以上述的限制值被限制。

圖39所示的框圖是圖38所示的框圖的變形例。圖39所示的框圖與圖38所示的框圖的區(qū)別在于，在圖38所示的框圖中，在白平衡用乘法器24r、24g、24b后配置有用于使減去IR信號后的各RGB信號的信號飽和電平一致的限幅器25r、25g、25b，與此相對，在圖39中，在用于使減去IR信號后的各RGB信號的削波電平一致的限幅器25r、25g、25b后配置有白平衡用乘法器24r、24g、24b。

由此，在圖38中，在進行白平衡后的RGB各信號中使信號飽和電平一致，與此相對，在圖39中，使RGB各信號的信號飽和電平一致后進行白平衡處理。

根據(jù)這樣的攝像處理系統(tǒng)和攝像處理方法，通過使用DBPF5不需要切換紅外截止濾波器的使用、非使用，在能夠進行可見光下的彩色拍攝和紅外光下的拍攝的照相機(攝像裝置)中，如上述那樣，能夠防止高亮部的亮度下降和高亮部不是白色而是成為帶顏色的狀態(tài)。

接著，對第7實施方式進行說明。在上述的第6實施方式中，說明了使用RGB-IR彩色濾光片時的削波電平(控制值)，但在本實施方式中，對RGB-C的削波電平進行說明。

在RFB-IR的攝像傳感器1中，相對于在RGB各信號中包含IR分量，IR信號僅為IR分量，因此即使RGB各信號飽和IR信號也不飽和。在此，RGB信號飽和后去除電平變高的IR分量時，如上述那樣RGB達到飽和后去除IR分量，由此下降至飽和電平以下，并且基本上IR光量越多，則RGB的飽和后的值越低。

與此相對，在RGB-C的攝像傳感器1中，在可見光波段成為C＝R+G+B，因此使RGB與范圍對應(yīng)的情況下，如圖40所示，C像素達到飽和電平。

在該情況下，C像素達到飽和電平時，在可見光波段成為C＜R+G+B。由此，在如上述那樣通過計算求出IR’的情況下，成為IR’＝IR+(R+G+B-C)/2，因此在C達到飽和電平時，(R+G+B-C)大于0，因此如圖41所示，通過計算求出的IR’＞實際的IR。

這樣C達到飽和電平時，從R、G、B、C去除通過計算求出的IR’分量時，關(guān)于C，雖然以飽和電平信號電平成為削平，但IR分量在C達到飽和電平后有可能上升，并且，C飽和后，如圖41所示那樣成為IR’＞IR，因此將其從飽和的C去除時，如圖42所示那樣，實際光量水平變高時信號電平下降。此外，C以外的RGB的信號電平也在飽和后成為IR’＞IR，因此沒有達到C那樣的程度，但是，有可能隨著實際光量水平變高，信號電平下降。

因此，在第7實施方式中，以各信號不成為預定值以上的方式進行削波，并且，從該RGB各信號分離IR信號。

首先，檢測R/G/B/W/IR的信號電平。

接著，如下所示地求出R、G、B、W中的削波電平。

(W削波電平)＝(通過W像素(C像素)的飽和電平算出)

(R削波電平)＝(W削波電平)(R電平+IR電平)/(W電平+IR電平)

(G削波電平)＝(W削波電平)(G電平+IR電平)/(W電平+IR電平)

(B削波電平)＝(W削波電平)(B電平+IR電平)/(W電平+IR電平)

在檢測W的信號電平時，該信號電平成為削平，根據(jù)其以下的飽和電平計算出W削波的電平。通過上述公式算出RGB各削波電平，通過W電平達到飽和電平來計算出削波電平。

在進行這樣的削波處理的情況下，上述的分離裝置51成為如圖43所示那樣的框圖。在顏色分離裝置61中通過內(nèi)插法等，各像素的R、G、B、W的信號電平被分離后發(fā)送給電平檢測/削波電平計算裝置63和削波處理裝置62。在電平檢測/削波電平計算裝置63中，根據(jù)上述的公式和檢測出的R、G、B、W的電平，計算出R、G、B、W的各削波電平。將通過削波電平計算裝置63計算出的R、G、B、W各自的削波電平發(fā)送給削波處理裝置62，在輸入到削波處理裝置62的R、G、B、W的信號電平超過削波電平的情況下進行限幅的處理。將這樣的從削波處理裝置62輸出的R、G、B、W的信號電平輸入到IR校正/IR生成裝置64中。在IR校正/IR生成裝置64中，從R、G、B、W各信號去除IR信號，并且生成IR信號。

如圖44所示那樣，削波電平計算裝置63根據(jù)通過顏色分離裝置61分離后的R、G、B、W的各信號電平，通過IR矩陣裝置66求出IR信號電平，向IR校正裝置67輸入IR信號和包含IR分量的R、G、B、W的各信號電平，進行從R、G、B、W的各信號電平去除IR信號電平的IR校正。

從IR矩陣裝置66向電平檢測裝置68輸入IR的信號電平，從IR校正裝置67向電平檢測裝置68輸入去除IR分量后的R、G、B、W的各信號電平。

通過電平檢測裝置68檢測出的R、G、B、W、IR的各信號電平被輸入到削波電平計算裝置69，在削波電平計算裝置69中如上述那樣計算出R、G、B、W的各信號電平的削波電平。

根據(jù)這樣求出的R、G、B、W的各削波電平，在削波處理裝置62中，在R、G、B、W的各信號電平超過削波電平的情況下，如圖45所示那樣，以削波電平將各信號電平設(shè)為削平。

根據(jù)這樣被削波的R、G、B、W的各信號，與上述的第3實施方式同樣地，求出IR分量，并且從包含IR分量的R、G、B、W信號分離IR分量。此時，如圖46所示那樣通過計算求出的IR信號也以W成為飽和電平時的IR的信號電平被削波而成為削平狀態(tài)。由此，如圖47所示那樣，從R、G、B、W各信號電平去除IR分量后，也成為以IR分量去除后的削波電平被削波的狀態(tài)。

在該情況下，從R、G、B、W各信號電平求出的亮度信號也成為被削波的狀態(tài)。因此，如圖48所示那樣，通過使用進行顏色分離、IR分離、IR校正的分離裝置51的變形例，能夠防止亮度電平被削波，W像素達到飽和電平后也能夠使飽和電平保持協(xié)調(diào)。

在該分離裝置51的變形例中，如圖48所示那樣，在顏色分離裝置61中通過內(nèi)插法等各像素的R、G、B、W的信號電平被分離后，被發(fā)送給電平檢測/削波電平計算/IR信號生成裝置63和削波處理裝置62。在電平檢測/削波電平計算裝置63中，通過上述的公式和檢測出的R、G、B、W的電平，計算出R、G、B、W的各削波電平。將通過削波電平計算裝置63計算出的R、G、B、W各自的削波電平發(fā)送給削波處理裝置62，在輸入到削波處理裝置62的R、G、B、W的信號電平超過削波電平的情況下進行削波的處理。將這樣的從削波處理裝置62輸出的R、G、B、W的信號電平輸入到第1IR校正/IR生成裝置64中。在第1IR校正/IR生成裝置64中，從被削波的R、G、B、W各信號去除IR信號，并且生成IR信號。將通過第1IR校正/IR生成裝置64求出的RGB信號作為顏色信號，例如色差信號而使用。

此外，該變形例具有第2IR校正/IR生成裝置65。從顏色分離裝置61向第2IR校正/IR生成裝置65輸入沒有被削波的R、G、B、W信號，進行IR生成和IR校正，輸出去除IR分量后的RGB信號。在此，RGB信號與W信號相比成為難以達到飽和電平的信號，難以削平。通過在亮度的計算中使用該RGB信號，如圖49所示那樣，能夠防止亮度電平被削波，即使在亮度高的狀態(tài)下雖然亮度多少被削波，但是也能夠保持協(xié)調(diào)。

接著，對第8實施方式進行說明。在第8實施方式中，與第7實施方式同樣地決定R、G、B、W各信號的削波電平。在第8實施方式中，與第7實施方式同樣地不決定R、G、B各信號的削波電平，而決定IR信號和W信號的削波電平，如圖50所示那樣，通過由限幅處理以控制值被削波的IR信號來進行IR校正。

根據(jù)W的飽和電平設(shè)定W的削波電平。

(W削波電平)＝(通過W像素(C像素)的飽和電平計算出)

根據(jù)以下的公式?jīng)Q定IR的削波電平。

(IR削波電平)＝(W削波電平)(IR電平)/(W電平+IR電平)

由此，如圖50所示那樣，W的信號相對于達到飽和電平的W的信號電平略飽和時，在上述那樣去除被削波的IR信號電平的情況下，W的信號電平以低于飽和電平的信號電平被削波。

在進行從RGB各信號電平去除被削波的IR信號的校正的情況下，當設(shè)為RGB各信號電平在使用條件的范圍內(nèi)達不到飽和電平時，如圖51所示那樣，RGB各信號電平在去除IR信號的情況下，IR信號達到削波電平后，RGB的信號電平也可能上升，因此RGB各信號有可能不被削波而上升。

在第8實施方式的圖52所示的分離裝置51中，在顏色分離裝置61中通過內(nèi)插法等各像素的R、G、B、W的信號電平被分離后，向IR信號生成裝置71和IR校正裝置64輸出分離后的R、G、B、W信號。在IR信號生成裝置71中求出生成的IR信號的削波電平，將超過削波電平時被削波的IR信號輸出到IR校正裝置64。在IR校正裝置64中，從R、G、B、W各信號電平去除IR信號。

如圖53所示那樣，在IR信號生成裝置71中，從顏色分離裝置61將R、G、B、W各信號發(fā)送給IR校正裝置72和IR矩陣裝置73，將通過IR矩陣裝置73生成的IR信號輸出到IR校正裝置72和限幅處理裝置74，在IR校正裝置72中進行從R、G、B、W各信號電平去除IR信號的IR校正，將校正后的R、G、B、W信號和IR信號發(fā)送給電平檢測裝置75，將R、G、B、W信號和IR信號發(fā)送給限幅電平計算裝置76，將IR信號的限幅電平(削波電平)輸入到限幅處理裝置74中。從IR矩陣裝置73向限幅處理裝置74輸入IR信號電平，在IR信號電平超過限幅電平的情況下，成為被削波為限幅電平的狀態(tài)。

在這樣的第8實施方式中，與第7實施方式同樣地，能夠防止在R、G、B、W的信號電平上升的狀態(tài)下反而下降的情況，并且即使在W的信號電平飽和的狀態(tài)下，也能夠使RGB各信號電平保持協(xié)調(diào)。此外，由此亮度信號也能夠在W的信號電平飽和的狀態(tài)下保持協(xié)調(diào)。

另外，可以將亮度信號的生成式設(shè)為

Y＝(Kr＊R+Kg＊G+Kb＊B+Kw＊W)+Kir＊IR。

通過改變IR的比率，能夠控制靈敏度。另外，在夜間，在進行IR照明的情況下，沒有可見信號，全部像素是IR信號。在該情況下，關(guān)閉IR校正，從全部像素的信號生成亮度信號，由此能夠以高分辨率生成高靈敏度的亮度信號。在照相機內(nèi)內(nèi)置有IR照明的情況下，與此協(xié)作地切換信號處理。

此時的IR照明時的亮度生成式為

Y＝Kr＊R+Kg＊G+Kb＊B+Kw＊W(關(guān)閉IR校正)。

另外，在各像素中，透過DBPF5的第2波段和各濾光片的紅外照明的光的受光量變得比可見光波段的受光量多，基本上，各像素成為輸出紅外光的信號電平的狀態(tài)。

符號說明

1 攝像傳感器、

2 攝像傳感器本體、

3 彩色濾光片(濾光片)、

3a 彩色濾光片(濾光片)、

3b 彩色濾光片(濾光片)、

3c 彩色濾光片(濾光片)、

5 DBPF(光學濾光片：濾光片)、

A 第3波段、

B 第4波段、

IR 第1波段、

DBPF (IR)第2波段、

DBPF (VR)可見光波段。