專利名稱：備有在可見光和紅外線區(qū)域具有靈敏度的攝像元件的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及備有在可見光和紅外線區(qū)域具有靈敏度的攝像元件的攝像裝置。
背景技術(shù)：
所謂的CCD(Charge Couple Device)和CMOS(Complementally MetalOxide Semiconductor)傳感器的攝像元件，通常不僅對可見光而且對紅外線也具有靈敏度。在使用這種攝像元件而在較暗的環(huán)境下進行攝影的情況下，能夠利用該紅外線成分而得到亮度成分，并能夠?qū)崿F(xiàn)高靈敏度的單色圖像。另一方面，為了得到實現(xiàn)良好的色再現(xiàn)性的彩色圖像，需要除去紅外線成分。
在專利文獻1中，公開了備有攝像元件和紅外線受光元件，并從攝像元件的輸出信號(可見光成分和紅外線成分之和)減算紅外線受光元件的輸出信號(紅外線成分)的方法。
另外，為了得到以上述那樣的攝像元件實現(xiàn)良好的色再現(xiàn)性的彩色圖像，需要除去紅外線成分。另外，在較暗環(huán)境下攝像的情況下，通過攝入紅外線成分而得到亮度成分，由此能夠?qū)で髮崿F(xiàn)高靈敏度的單色圖像。
在專利文獻1中，公開了如下方法即備有攝像元件和紅外線受光元件，在從攝像元件的輸出信號(即可見光成分和紅外線成分之和)中減去紅外線受光元件的輸出信號(即紅外線成分)，且減算結(jié)果不足一定的閾值的情況下，代替減算處理對來自攝像元件的輸出信號進行色抑制，由此能夠從包含紅外線成分的輸出信號抽取亮度成分。由此，對于在較亮的環(huán)境下進行攝像的情況，能夠?qū)υ佻F(xiàn)了良好的色再現(xiàn)性的彩色圖像進行攝像。在較暗的環(huán)境下，能夠?qū)Ω哽`敏度的單色圖像進行攝像。
〔專利文獻1〕特開平6-105319號公報然而，按照專利文獻1所公開的方法，存在如下問題即當攝像元件上設(shè)置的可見光濾光器和在紅外線受光元件上設(shè)置的紅外線濾光器的紅外線區(qū)域中的光譜特性不一致時，不能夠從攝像元件的輸出信號充分除去紅外線成分，并不能得到良好的色再現(xiàn)性。
另外，按照專利文獻1所公開的方法，由于彩色圖像和單色圖像的切換瞬間進行，因此存在對攝像者產(chǎn)生異樣感覺的問題。

發(fā)明內(nèi)容
本發(fā)明針對這種狀況而提出，其目的為提供一種能夠得到色再現(xiàn)性良好的彩色圖像的攝像裝置。并且，本發(fā)明的另一目的在于提供一種能夠在色再現(xiàn)性良好的彩色圖像和感度高的單色圖像之間平滑地進行切換的攝像裝置。
本發(fā)明的一種方式是關(guān)于一種攝像裝置，其中，備有第1像素，其對可見光和紅外線這兩方進行受光；第2像素，其對紅外線進行受光；預(yù)測部，其基于所述第1像素所受光的光的光譜特性和所述第2像素所受光的光的光譜特性，并根據(jù)由所述第2像素所輸出的信號，對由所述第1像素所輸出的信號中所包含的紅外線成分的大小進行預(yù)測；以及減法部，其從由所述第1像素輸出的信號中減去所述預(yù)測所得到的紅外線成分。
按照該方式，即使在由對可見光和紅外線這兩方進行受光的第1像素所受光的光的光譜特性，與由對紅外線進行受光的第2攝像元件所受光的光的光譜特性不同的情況下，也能夠基于各自光譜特性，并根據(jù)由第2像素輸出的信號對從第1像素輸出的信號中所包含的紅外線成分進行大致正確地進行預(yù)測，因此能夠從由第1攝像元件輸出的信號充分地除去紅外線成分。由此，通過該攝像裝置，能夠得到色再現(xiàn)性良好的彩色圖像。
另外，由第1像素和第2像素所受光的光的光譜特性，可以由例如，各個像素上所備置的色濾光器的光譜特性、各個像素所備置的光電變換元件的光譜特性所確定。由此，即使在色濾光器的光譜特性和光電變換元件的光譜特性在第1像素和第2像素中不同的情況下，也能夠?qū)牡?像素輸出的信號中所包含的紅外線成分進行大致正確地進行預(yù)測。
另外，由所述第1像素和所述第2像素所受光的光的光譜特性，也可以由入射到各個像素的光的光譜特性所確定。由此，即使在光源和被拍攝體變化的情況下，也能夠?qū)牡?像素輸出的信號中所包含的紅外線成分大致正確地進行預(yù)測。
在該方式中，第1像素和所述第2像素可以在同一攝像元件上形成。由此，備有一個攝像元件也可以，并且由于不需要用于取出紅外線成分的光學元件，因此能夠謀求攝像裝置的小型化。
本發(fā)明的另一方式，涉及攝像裝置。該裝置，備有第1像素，其對可見光和紅外線這兩方進行受光；第2像素，其對紅外線進行受光；減法部，其從由所述第1像素輸出的信號中，減去在由所述第2像素輸出的信號上乘以系數(shù)后的信號；確定部，其基于由所述第1像素輸出的信號的大小和由所述第2像素所輸出的信號的大小的比率，而對在所述減法部中在由所述第2像素所輸出的信號上所乘算的系數(shù)進行確定。
按照該方式，在從包含可見光成分和紅外線成分的信號中除去紅外線成分時，能夠與紅外線成分的量相對于包含可見光成分和紅外線成分的信號的量的比率相對應(yīng)地，確定減算紅外線成分的比例。例如，在紅外線成分的比率十分小的情況下，將紅外線成分原樣減去，隨著紅外線成分的比率變大，慢慢地降低將紅外線成分減算的比例。并且，在紅外線成分的比率足夠大的情況下，不減算紅外線成分。
由此，由于在紅外線成分的比率足夠小時能夠確實除去紅外線成分，因此能夠得到色再現(xiàn)性良好的彩色圖像，并且在紅外線成分的比率較大時，能夠利用包含于各像素中的紅外線成分而得到感度好的單色圖像。此外，由于與紅外線的比率的大小相對應(yīng)地慢慢變化將紅外線成分減算的比例，因此能夠平滑地進行彩色圖像和單色圖像之間的切換。
在該方式中，也可以是，確定部進一步基于攝像時的照度，而確定在由第2像素輸出的信號上所乘算的系數(shù)。由此，在亮環(huán)境下進行攝影的情況下，即使紅外線成分的比率較大時，若以較多地除去紅外線成分的方式確定系數(shù)，則能夠得到色再現(xiàn)性良好的彩色圖像。
另外，在該方式中，也可以是，減法部按照亮度成分用和色成分用，而分別地從由所述第1像素輸出的信號，減去在由所述第2像素輸出的信號上乘以系數(shù)后的信號。由此，關(guān)于亮度成分，通過將系數(shù)值較小地設(shè)定，能夠借助于將透過可見光濾光器的紅外線成分活化而提高感度。關(guān)于色成分，能夠通過較大地設(shè)定系數(shù)的值而盡可能除去紅外線成分，由此能夠?qū)崿F(xiàn)良好的色再現(xiàn)性。
另外，在該方式中，確定部對用于對所述第1像素的光譜特性和所述第2像素的光譜特性的不同進行校正的另一系數(shù)進行確定，減法部，從由所述第1像素所輸出的信號，減去在由所述第2像素輸出的信號上乘以另一系數(shù)后的信號。由此，即使在第1像素和第2像素中分光特性不同的情況下，也能夠準確地對包含于從第1像素輸出的信號中的紅外線成分確實地進行預(yù)測，并能夠進一步提高色再現(xiàn)性。
另外，在該方式中，第1像素和第2像素，可以在同一攝像元件上形成。由此，若備有一個攝像元件也可以，并且由于不需要用于取出紅外線成分的光學元件，因此能夠謀求攝像裝置的小型化。
另外，在方法、裝置、系統(tǒng)等之間將以上的結(jié)構(gòu)要素的任意的組合、本發(fā)明的構(gòu)成要素或表現(xiàn)相互地進行置換，作為本發(fā)明的方式也是有效的。


圖1是本發(fā)明的實施方式1所涉及的攝像裝置的結(jié)構(gòu)圖。
圖2是表示圖1的攝像元件的色濾光器的排列的圖。
圖3是表示本發(fā)明的實施方式1所涉及的紅色濾光器、綠色濾光器、藍色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。
圖4是本發(fā)明的實施方式2所涉及的攝像裝置的結(jié)構(gòu)圖。
圖5是表示圖4的攝像元件的色濾光器的排列的圖。
圖6是本發(fā)明的實施方式2的變形例2所涉及的攝像裝置的結(jié)構(gòu)圖。
圖7是本發(fā)明的實施方式2的變形例2所涉及的攝像裝置的結(jié)構(gòu)圖。
圖8是本發(fā)明的實施方式2所涉及的、備有紅色濾光器、綠色濾光器、藍色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。
實施方式以下參照優(yōu)選實施方式對本發(fā)明進行描述。這并非是為了限制當前發(fā)明的范圍，而是為了解釋發(fā)明。
以下說明用于實施本發(fā)明的最佳實施方式。
圖1是表示本發(fā)明的實施方式1所涉及的攝像裝置100的結(jié)構(gòu)的圖。該結(jié)構(gòu)，在硬件方面，能夠由任意的計算機的CPU、存儲器、其他的LSI所實現(xiàn)，在軟件方面能夠由載置于存儲器等中的程序所實現(xiàn)，但是這里描述了由它們的聯(lián)合所實現(xiàn)的功能模塊。因此，對于本領(lǐng)域技術(shù)人員來說，這些功能模塊僅由硬件、僅由軟件、或它們的組合以各種各樣的形式實現(xiàn)是可以理解的。
攝像裝置100，備有攝像元件10、模擬/數(shù)字變換單元12、減法單元14、紅外線成分預(yù)測單元16、信號處理單元18。來自被拍攝體光被入射到攝像元件10。
攝像元件10，是由例如CCD(電荷耦合裝置)和CMOS(ComplementaryMetal Oxide Semiconductor)傳感器等所構(gòu)成的器件，并備有以矩陣狀配置的光電二極管，并由各個光電二極管構(gòu)成像素。
另外，攝像元件10中，在每個像素上備有不同色的濾光器，并由該色濾光器進行色分解。攝像元件10上備置的色濾光器包含透過可見光和紅外線的可見光濾光器；以及主要透過紅外線的紅外線濾光器。此外，可見光濾光器，對應(yīng)于透過的色，被分類為紅色濾光器、綠色濾光器、和藍色濾光器。
圖2是表示攝像元件10所備置的色濾光器的排列的圖。攝像元件10的像素20上配置有透過綠色光的綠色濾光器，像素22上配置有透過紅色光的紅色濾光器，像素24上配置有透過藍色光的藍色濾光器。這些綠色濾光器、紅色濾光器、藍色濾光器具有紅外線也透過的特性。并且在像素26上配置主要透過紅外線的紅外線濾光器。并且，這些綠色濾光器、紅色濾光器、藍色濾光器和紅外線濾光器，以縱向兩像素、橫向兩像素為單位重復(fù)配置。
攝像元件10，將透過與每個像素對應(yīng)的色濾光器的光變換為與其強度對應(yīng)的電信號，并將其作為圖像信號每一像素地順次輸出。也就是說，從像素20輸出的圖像信號成為合并綠色光和紅外線成分的量(大きさ)，從像素22輸出的像素信號成為合并紅色光和紅外線成分的量。并且，從像素24輸出的圖像信號成為合并藍色光和紅外線成分的量。另一方面，從像素26輸出的圖像信號，成為與紅外線成分相對應(yīng)的量。
模擬/數(shù)字變換單元12，將從攝像元件10輸出的圖像信號變換為例如10位的數(shù)字信號。變換后的數(shù)字信號，被輸入到減法單元14和紅外線成分預(yù)測單元16。
減法單元14從由攝像元件10的像素20、22和24輸出的圖像信號，即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)，除去由像素26輸出的圖像信號即紅外線成分IR。此時，不是原樣減算由像素26輸出的紅外線成分IR，而是由紅外線成分預(yù)測單元16對綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)的每個分別個別地校正紅外線成分IR而進行減算。
紅外線成分預(yù)測單元16，基于由攝像元件10的各像素所受光的光的光譜特性(分光特性)而對由像素26輸出的紅外線成分IR進行校正，由此預(yù)測疊加于各色成分G+IR、R+IR、B+IR的紅外線成分。例如，求由像素20所受光的光的紅外線區(qū)域和由像素26所受光的光的光譜特性之比，并在像素26的輸出圖像信號即紅外線成分IR上乘算該比，由此對疊加于色成分G+IR的紅外線成分進行預(yù)測。
同樣，紅外線成分預(yù)測單元16，求算由像素22所受光的光的紅外線區(qū)域與由像素26所受光的光，以及由像素24所受光的光的紅外線區(qū)域與由像素26所受光的光的光譜特性之比，進行求算，并通過在紅外線成分IR上乘算該比，由此預(yù)測在色成分R+IR和B+IR疊加的紅外線成分。
由各像素所受光的光的光譜特性，由各個像素所備置的色濾光器的光譜特性、發(fā)光二極管的光譜特性、以及入射到各像素的光的光譜特性所確定。色濾光器的光譜特性和發(fā)光二極管的光譜特性由攝像元件10的各像素的形狀和工藝(process)所確定。紅外線成分預(yù)測單元16，存儲各個像素的色濾光器和發(fā)光二極管的光譜特性。另一方面，各個像素的所入射的光的光譜特性，由紅外線成分預(yù)測單元16對從攝像元件10所輸出的圖像信號進行積分而求算。另外，也可以通過未圖示的控制裝置確定所受光的光譜特性。
紅外線成分預(yù)測單元16，將所預(yù)測的紅外線成分的量傳送到減法單元14。減法單元14，利用對從紅外線成分預(yù)測單元16傳送的色成分的每種進行校正的紅外線成分，從各色成分G+IR、R+IR、B+IR除去紅外線成分。
從減法單元14輸出的信號，由信號處理單元18實施亮度信號和色信號的抽出以及多種圖像處理，由信號處理單元18得到的信號，被發(fā)送到未圖示的顯示裝置和圖像壓縮裝置等。
基于該結(jié)構(gòu)，以下說明圖1所示的攝像裝置100的動作。
輸入到攝像元件10的光，由圖2所示的色濾光器色分解為綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)，以及紅外線成分IR，并變換為電信號。該電信號，從攝像元件10每一像素地作為圖像信號而輸出，并由模擬/數(shù)字變換單元12而變換為數(shù)字信號。
由模擬/數(shù)字變換單元12變換為數(shù)字信號的圖像信號，被輸入到減法單元14和紅外線成分預(yù)測單元16。紅外線成分預(yù)測單元16，在從備有紅外線濾光器的像素輸出的紅外線成分IR上，乘算備有綠色濾光器、紅色濾光器和藍色濾光器的像素分別所受光的光的紅外線區(qū)域的光譜特性與備有紅外線濾光器的像素所受光的光的光譜特性之比，而各自分別地預(yù)測綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)。
在由紅外線成分預(yù)測單元16所預(yù)測的在各色成分上疊加的紅外線成分的量，被傳送到減法單元14。于是，由減法單元14，從綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)，各自分別地減算所預(yù)測的成分。
以下，更具體地說明這些處理。
紅外線成分預(yù)測單元16，確定用于調(diào)整備有色濾光器的像素和備有紅外線的像素之間的光譜特性不同的系數(shù)(LR、LG、LB)的值，并傳遞到減法單元14。減法單元14，從由攝像元件10的像素20、22和24所輸出的圖像信號即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)，除去由像素26輸出的圖像信號即紅外線成分IR。此時，不是原樣減算由像素26輸出的圖像信號即紅外線成分IR，而是減去乘算了系數(shù)(LR、LG、LB)后的值。也就是說，減法單元14由以下的式(1)～(3)計算出紅外光成分R、綠色光成分G、和藍色光成分B。
R＝R+IR-LR·IR ……(1)G＝G+IR-LG·IR ……(2)B＝B+IR-LB·IR ……(3)圖3是備有紅色濾光器、綠色濾光器、藍色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。圖3中，橫軸為波長、縱軸為靈敏度。比邊界線a高的波長的區(qū)域表示紅外線區(qū)域，比邊界線低的波長區(qū)域表示可見光區(qū)域。
備有紅色濾光器的像素的紅外線波長區(qū)域中的靈敏度，比并備有紅外線濾光器的像素的靈敏度相當?shù)卮?。在圖3的特性中，備有紅外線濾光器的像素，在紅外線波長區(qū)域具有備有紅色濾光器的像素的大約1.5倍的靈敏度。因此，將備有紅色濾光器的像素的系數(shù)LR的值設(shè)為1.5。僅將從備有紅外線濾光器的像素輸出的紅外線成分原樣減去，而不從備有紅色濾光器的像素輸出的信號除去紅外線成分。這一點，通過從備有紅外線濾光器的像素輸出的紅外線成分IR上乘算系數(shù)LR而進行校正，而能夠完全除去備有紅色濾光器的像素的輸出信號中所包含的紅外線成分。
備有藍色濾光器的像素的紅外線波長區(qū)域中的靈敏度，為與備有紅外線濾光器的像素的靈敏度相同的程度。備有綠色濾光器的像素的紅外線波長區(qū)域中的靈敏度比備有藍色紅外線濾光器的像素的靈敏度小大約十分之一。因此，將備有藍色濾光器的像素的系數(shù)LR的值設(shè)定為1，將備有綠色濾光器的像素的系數(shù)LR的值設(shè)定為0.9。因此，具有圖3的特性例的攝像元件10中的系數(shù)(LR、LG、LB)的值，成為大約(1.5，0.9，1.0)。
上述的光譜特性，不僅受濾光器的光譜特性，也受光源的光譜特性和被拍攝體的光譜特性的影響。這些特性，因光源和攝像對象而不同，靈敏度不一致，波長的光的強度越強，則越弱。因此，系數(shù)(LR、LG、LB)的值，優(yōu)選為對于每個光源和被拍攝體而切換。
紅外線成分預(yù)測單元16，也可以存儲著對于每種光源的種類所預(yù)先計算出的系數(shù)(LR、LG、LB)的值。例如，對于朝向太陽光、朝向熒光燈、朝向白熾燈分別保持不同的系數(shù)(LR、LG、LB)的值。這些值，由設(shè)計者通過試驗和仿真所求得。紅外線成分預(yù)測單元16，若由用戶選擇光源的模式，則使用與選擇的模式相對應(yīng)的系數(shù)(LR、LG、LB)。
另外，紅外線成分預(yù)測單元16，也可以存儲著對于每種被拍攝體的種類所預(yù)先計算出的系數(shù)(LR、LG、LB)的值。例如，分別對于朝向人、朝向植物、朝向建筑物而保持不同的系數(shù)(LR、LG、LB)的值。若由用戶選擇攝像對象的模式，則紅外線成分預(yù)測單元16使用與所選擇的模式相對應(yīng)的系數(shù)(LR、LG、LB)的值。另外，也可以對于每種光源和被拍攝體的組合保持不同的系數(shù)(LR、LG、LB)的值。
另外，也可以不將與光源和被拍攝體的光譜特性相對應(yīng)的系數(shù)(LR、LG、LB)預(yù)先注冊于紅外線成分預(yù)測單元16，而對于每種攝影，適宜地計算出系數(shù)(LR、LG、LB)。例如，也可以是，紅外線成分預(yù)測單元16通過對從攝像元件10輸出的圖像信號進行積分而在攝影時對入射到各像素的光的光譜特性進行求算。另外，也可以在攝像裝置300上設(shè)置光譜特性傳感器，測定攝影時的光譜特性，而確定系數(shù)(LR、LG、LB)。
信號處理單元18基于減法單元14的輸出信號，實施各種圖像處理，并輸出到外部。
以上，按照本實施方式所涉及的攝像裝置，從由備有可見光濾光器的像素輸出的包含紅外線成分的色成分減算紅外線成分時，能夠在備有紅外線濾光器的像素輸出的紅外線成分上，乘算由備有可見光濾光器的像素所受光的光的紅外線區(qū)域的光譜特性和由備有紅外線濾光器的像素所受光的光的光譜特性之比，由此，對于由備有可見光濾光器的像素所輸出的色成分中所包含的紅外線成分進行預(yù)測。由此，即使在由備有可見光濾光器的像素所受光的光的光譜特性，與備有紅外線濾光器的像素所受光的光的光譜特性不同的情況下，也能夠大致正確地預(yù)測由備有可見光濾光器的像素輸出的色成分中所包含的紅外線成分，并能夠從該色成分中充分除去紅外線成分。因此，通過該攝像裝置，能夠得到色再現(xiàn)性好的彩色圖像。
以上，基于實施方式1說明了本發(fā)明。實施方式1只是例示，在它們的各構(gòu)成要素和各處理程序的組合中可能有各種各樣的變形例，并且那樣的變形例也在本發(fā)明的范圍內(nèi)，這對于本領(lǐng)域技術(shù)人員來說是可以被理解的。
例如，在上述實施方式1中，紅外線成分預(yù)測單元16，在從備有紅外線濾光器的像素輸出的紅外線成分IR上，乘以備有可見光濾光器的像素所受光的光的紅外線區(qū)域的光譜特性與備有紅外線濾光器的像素所受光的光的光譜特性之比，而示出了對紅外線成分進行校正的例子，但是也可以將備有可見光濾光器的像素所受光的光的紅外線區(qū)域的光譜特性，與備有紅外線濾光器的像素所受光的光的光譜特性的差視為偏移量，而在從備有紅外線濾光器的像素輸出的紅外線成分IR上加算該偏移量，而預(yù)測紅外線成分。該方法，在濾光器的特性重疊的紅外線成分作為偏移量而表現(xiàn)的情況下是有效的。
另外，雖然在上述實施方式1中，紅外線成分預(yù)測單元16基于備有可見光濾光器的像素所受光的光的紅外線成分的光譜特性和備有紅外線濾光器的像素所受光的光的光譜特性，而對從備有可見光濾光器的像素輸出的信號中所包含的紅外線成分進行預(yù)測。但是也可以，不僅基于從備有可見光濾光器的像素所受光的光的紅外線領(lǐng)域，而且還基于也包含其他波長的光的一部分的光譜特性和備有紅外線濾光器的像素所受光的光的光譜特性，而對從備有可見光濾光器的像素輸出的信號中所包含的紅外線成分進行預(yù)測。該方法，在紅外線濾光器具有使可見光的一部分透過的特性的情況下是有效的。
另外，在上述實施方式1中，示出了攝像元件10具備備有透過可見光和紅外線的雙方的可見光濾光器的像素，以及備有主要透過紅外線的紅外線濾光器的像素的例子，但是不限于此，也可以具備備有可見光濾光器的攝像元件和備有紅外線濾光器的攝像元件這兩個，并分別使用從各自輸出的圖像信號，也包含在本發(fā)明的攝像裝置中。
另外，在上述實施方式1中，對使用三原色濾光器和紅外線濾光器的攝像元件10進行了說明。這點在本實施例中，也可以適用于使用補充色濾光器和紅外線濾光器的攝像元件10。補充色濾光器色分解為黃色Ye、藍綠(シアン)Cy、和品紅(マゼンダ)Mg?；蛘?，色分解為黃色Ye、藍綠Cy、和綠色Gr；或黃色Ye、藍綠Cy、品紅Mg和綠色Gr。透過各種的色成分的濾光器，與上述3原色濾光器同樣，也透過紅外線成分。
圖4是表示本發(fā)明實施方式2所涉及的攝像裝置2100的結(jié)構(gòu)的圖。該結(jié)構(gòu)，在硬件上，能夠以任意的計算機的CPU、存儲器、其他的LSI所實現(xiàn)，并能夠由軟件上載置于存儲器的程序等所實現(xiàn)，但是這里描述了由它們的聯(lián)合所實現(xiàn)的功能程序。因此，這些功能程序僅是通過硬件、軟件、或它們的組合等各種程序的形式而實現(xiàn)，對于本領(lǐng)域技術(shù)人員來說是可以理解的。
攝像裝置2100，備有攝像元件2010、模擬/數(shù)字變換單元2012、減法單元2014、紅外線除去比例確定單元2016、信號處理單元2018。來自被拍攝體的光被入射到攝像元件2010。
攝像元件2010是由例如CCD(Charge Coupled Devices)和CMOS(complementary Metal Oxide Semiconductor)傳感器等構(gòu)成的器件，備有矩陣狀配置的光電二極管(photo dioide)，并通過各個光電二極管構(gòu)成像素。
另外，攝像元件2010在每個像素上備有色濾光器，并通過該色濾光器進行色分解。備置于攝像元件2010上的色濾光器包含透過可見光和紅外線的可見光濾光器，和主要透過紅外線的紅外線濾光器。并且，可見光濾光器，與透過的色相對應(yīng)地分類為紅色濾光器、綠色濾光器、和藍色濾光器。
圖5是表示攝像元件2010所備置的色濾光器的排列的圖。在攝像元件2010的像素2020上，配置透過綠色光的綠色濾光器，在像素2022上配置透過紅色光的紅色濾光器，在像素2044上配置透過藍色光的藍色濾光器。這些綠色濾光器、紅色濾光器、藍色濾光器具有紅外線也透過的特性。另外，在像素2026上配置主要透過紅外線的紅外線濾光器。于是，這些綠色濾光器、紅色濾光器、藍色濾光器和紅外線濾光器以縱2個像素、橫2個像素為單位重復(fù)排列。
攝像元件2010，將與每個像素相對應(yīng)的、透過色濾光器的光變換為與其強度相對應(yīng)的電信號，并將其作為圖像信號而逐像素地順次輸出。也就是說，從像素2020輸出的像素信號成為合并了綠色光和紅外線成分的量，從像素2022輸出的圖像信號成為合并了紅色光和紅外線成分的量。另外，從像素2024輸出的圖像信號成為合并了藍色光和紅外線成分的量。另一方面，從像素2026輸出的圖像信號，成為對應(yīng)于紅外線成分的量。
模擬/數(shù)字變換單元2012，將從攝像元件2010輸出的圖像信號變換為例如10位的數(shù)字信號。變換后的數(shù)字信號，被輸入到減法單元2014和紅外線除去比例確定單元2016。
減法單元2014從攝像元件2010的像素2020、2022、2024輸出的圖像信號即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)，除去由像素2026所輸出的像素信號即紅外線成分IR。此時，并非原樣減算從像素2026輸出的紅外線成分IR，而是減算在紅外線成分IR上乘以系數(shù)K(0≤K≤1)的值。也就是說，減法單元2014，通過以下的式子計算出紅色光成分R、綠色光成分G、藍色光成分B。
R＝R+IR-K·IR ……(4)G＝G+IR-K·IR ……(5)R＝B+IR-K·IR ……(6)紅外線除去比例確定單元2016，在由減法單元2014除去紅外線成分時，確定在紅外線成分IR上乘以系數(shù)K的值。該系數(shù)K，由紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍色光成分+紅外線成分(B+IR)與紅外線成分IR的比率所求算。
此時，用于式(4)的K可以由紅色光成分+紅外線成分(R+IR)與紅外線成分IR的比率求得，用于式(5)的K可以由綠色光成分+紅外線成分(G+IR)與紅外線成分IR的比率求得，用于式(6)的K可以由藍色光成分+紅外線成分(B+IR)與紅外線成分IR的比率求得?；蛘咭部梢酝ㄟ^紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍色光成分+紅外線成分(B+IR)的其中之一與紅外線成分IR的比率求算用于式(4)～(6)的K。
紅外線除去比例確定單元2016，在紅外線成分IR的比率十分小的情況下將K的值確定為1。由此，能夠從紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、藍色光成分+紅外線成分(B+IR)成分除去紅外線成分IR，因此能夠得到色再現(xiàn)性良好的彩色圖像。
另一方面，在紅外線成分IR的比率足夠大的情況下，紅外線除去比例確定單元2016將K的值確定為0。此時，由于紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、藍色光成分+紅外線成分(B+IR)中所包含的各可見光成分大致為零，因此R+IR、G+IR、B+IR中紅外線成分是支配性的。因此，在減法單元2014中，將K的值置為0，由式(4)～(6)求R、G、B的值，這些值也可以大致認為是紅外線的成分。由此，能夠得到將紅外線成分的量活化的、靈敏度高的單色圖像。另外，上述各種比率和所設(shè)定的系數(shù)K的對應(yīng)關(guān)系，由設(shè)計者實驗和仿真所確定。
另外，在雖然紅外線成分IR的比率不十分大但較多地包含的情況下，隨著該比率的變多，K值以從1到0的方式被設(shè)定。由此，能夠平滑地進行彩色圖像和單色圖像的切換。
從減法單元2014輸出的信號，在信號處理單元2018中實施亮度信號和色信號的抽出、各種圖像處理。在信號處理單元2018中得到的信號，被發(fā)送到未圖示的顯示裝置和圖像壓縮裝置。
基于該結(jié)構(gòu)，以下說明圖4所示的攝像裝置2100的動作。
輸入到攝像元件2010的光，由圖5所示的色濾光器在每個像素上被色分解為紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、藍色光成分+紅外線成分(B+IR)，以及紅外線成分IR，并變換為電信號。該電信號，從攝像元件2010，逐像素地作為圖像信號而輸出，由模擬/數(shù)字變換單元2012變換為數(shù)字信號。
由模擬/數(shù)字變換單元2012變換為數(shù)字信號的圖像信號，被輸入到減法單元2014和紅外線除去比例確定單元2016。紅外線除去比例確定單元2016，由紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍色光成分+紅外線成分(B+IR)，與紅外線成分IR的比率，確定式(4)～(6)的系數(shù)K。也就是說，在紅外線成分IR的比率十分小的情況下，將K設(shè)定為1，并隨著紅外線成分IR的比率變大，將K的值從1設(shè)定為接近于零的值。并且在紅外線成分IR的比率十分大的情況下，將K設(shè)定為0。
由紅外線除去比例確定單元2016所設(shè)定的系數(shù)K的值，被傳遞到運算單元2014。于是，減法單元2014根據(jù)式(4)～(6)，從紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、或藍色光成分+紅外線成分(B+IR)，減算在紅外線成分IR上乘以系數(shù)K的值。
信號處理單元2018基于減法單元2014的輸出信號，實施各種圖像處理，并輸出到外部。
以上，按照本實施方式所涉及的攝像裝置，從包含由攝像元件攝取的可見光成分和紅外線成分的圖像信號除去紅外線成分之時，與紅外線成分的量相對于包含可見光成分和紅外線成分的圖像信號的量的比率相對應(yīng)地，確定減去紅外線成分的比例。也就是說，在紅外線成分的比率較小的情況下，原樣減去紅外線成分，并隨著紅外線成分的比率變大，慢慢地將減算紅外線成分的比例減低。并且，在紅外線成分的比率足夠大的情況下，不減算紅外線成分。由此，在紅外線成分的比率十分小時，能夠確實地除去紅外線成分，因此能夠得到色再現(xiàn)性好的彩色圖像。并且在紅外線成分的比率足夠大時，能夠利用各像素中所包含的紅外線成分而得到靈敏度高的單色圖像。此外，由于與紅外線的比率的量相對應(yīng)地，對紅外線成分進行減算的比例緩緩地變化，因此能夠平滑地進行彩色圖像和單色圖像的切換。
以上，基于實施例2而說明本發(fā)明。實施方式2是列示，在它們的各構(gòu)成要素和各處理程序的組合中能夠進行各種各樣的變形例，這對于本領(lǐng)域技術(shù)人員來說是可以理解的。
例如，也可以設(shè)計為以亮度成分和色成分個別地進行紅外線除去。圖6是表示本發(fā)明的實施方式2的變形例2所涉及的攝像組織2200的結(jié)構(gòu)的圖。該攝像裝置2200，作為圖4的攝像裝置2100的減法單元2014和紅外線除去比例確定單元2016的替代，備有亮度用減法單元2030、亮度用紅外線除去比例確定單元2030、色減法單元2034、色用紅外線除去比例確定單元2036。由此，對于亮度成分將系數(shù)K的值較小地設(shè)定，藉此能夠通過將透過可見光濾光器的紅外線成分活化而提高靈敏度，對于色成分通過較大地設(shè)定系數(shù)K的值，而盡可能地除去紅外線成分，由此能夠?qū)崿F(xiàn)良好的色再現(xiàn)性。
另外，在上述的實施方式2中，為如下方式即與透過可見光濾光器的可見光成分和紅外線成分之和與透過紅外線濾光器的紅外線成分的比率相對應(yīng)地，確定所除去的紅外線成分的比例即系數(shù)K的值，但是也可以考慮攝像時的照度。例如，在亮環(huán)境下進行攝像的情況下，即使紅外線成分的比率較大，通過增大系數(shù)K的值而較多地除去紅外線成分，由此能夠提高色再現(xiàn)性。此時，攝像時的照度，可以由攝像元件2010的曝光時間的長度所確定。也可以通過備有照度傳感器而由照度傳感器所測定。
另外，在上述實施方式2中，示出了攝像元件2010具備如下像素的例子即備有透過可見光和紅外線這兩方的可見光濾光器的像素；以及備有主要透過紅外線的紅外線濾光器的像素。但是并不限定于此，使用備有可見光濾光器的攝像元件以及備有紅外線濾光器的攝像元件這兩個而使用從各自輸出的圖像信號，也包含在本發(fā)明的攝像裝置中。
另外，在上述實施方式2中，確定所除去的紅外線成分的比率時對攝像元件2010的各像素所受光的光的光譜特性沒有考慮。在變形例2中，參照各像素所受光的光的光譜特性，對于每種色，對應(yīng)該從疊加有紅外線成分的各色成分中減去的紅外線成分上所乘算的系數(shù)的值進行調(diào)整。圖7是該本發(fā)明的實施方式2的變形例2所涉及的攝像裝置2300的結(jié)構(gòu)。該攝像裝置2300，是在圖4的攝像裝置2100的結(jié)構(gòu)上添加紅外線成分預(yù)測單元2020的結(jié)構(gòu)。另外，權(quán)利要求中的確定單元，也可以是總稱紅外線除去比例確定單元2016和紅外線成分預(yù)測單元2020的概念。
紅外線成分預(yù)測單元2020，對在從透過各色濾光器的光得到的信號上疊加的紅外線成分進行預(yù)測。也就是說，對疊加于紅色光成分+紅外線成分(R+IR)、綠色光成分+紅外線成分(G+IR)、和藍色光成分+紅外線成分(B+IR)的各個的紅外線成分進行預(yù)測。此時，考慮備有各色濾光器的像素2020、2022、2024和紅外線濾光器的像素2026之間的光譜特性不同。
由各個像素所受光的光的光譜特性，由各個像素上所備置的濾光器的光譜特性和光電二極管的光譜特性、以及入射到備有各個像素的光的光譜特性等所確定。濾光器的光譜特性和光電二極管的光譜特性由攝像元件2010的各像素的形狀和工藝所確定。特別是，由于濾光器的光譜特性和光電二極管的光譜特性不一致，因此在從疊加有紅外線成分的各色成分減去紅外線成分時，通過對于每種色對乘于其紅外線成分上的系數(shù)的值進行變化，能夠提高色再現(xiàn)性。
紅外線成分預(yù)測單元2020，對用于調(diào)整備有色濾光器的像素和備有紅外線濾光器的像素之間的光譜特性的不同的系數(shù)(LR、LG、LB)進行確定，并傳送到減法單元2014。減法單元2014，從攝像元件2010的像素2020、2022、和2024輸出的圖像信號即綠色光成分+紅外線成分(G+IR)、紅色光成分+紅外線成分(R+IR)、藍色光成分+紅外線成分(B+IR)，除去由像素2026所輸出的圖像信號即紅外線成分IR。此時，不是將由像素2026輸出的紅外線成分IR原樣減算，而是在紅外線成分IR上乘以第一系數(shù)K(0≤K≤1)和第二系數(shù)(LR、LG、LB)的值。也就是說，減法單元2014，由以下的式(7)～(9)計算出紅色光成分R、綠色光成分G、和藍色光成分B。這里，第一系數(shù)K是基于由紅外線除去比例確定單元2016所確定的疊加有紅外線成分的各可見光成分和紅外線成分IR的比率的系數(shù)。第2系數(shù)(LR、LG、LB)是基于由紅外線成分預(yù)測單元2020所確定的備有各色濾光器的像素分別所受光的光的紅外線區(qū)域的光譜特性和備有紅外線濾光器的像素所受光的光的光譜特性的比率的系數(shù)。
R＝R+IR-K·LR·IR……(7)G＝G+IR-K·LG·IR……(8)B＝B+IR-K·LB·IR……(9)圖8是表示備有紅色濾光器、綠色濾光器、藍色濾光器和紅外線濾光器的各像素的光譜特性的一例的圖。圖8中橫軸是波長，縱軸是靈敏度。比邊界線a高的波長區(qū)域表示紅外線區(qū)域，比邊界線a低的波長區(qū)域表示可見光區(qū)域。
備有紅色濾光器的像素的紅外線波長區(qū)域中的靈敏度，比備有紅外線濾光器的像素的靈敏度高得多。在圖8的特性例中，備有紅外線濾光器的像素，在紅外線波長區(qū)域中，具有備有紅色濾光器的像素的大約1.5倍的靈敏度。因此，將備有紅色濾光器的像素的第2系數(shù)LR的值設(shè)定為1.5。即使在第1系數(shù)為1的情況下，即完全除去紅外線成分的情況下，也是僅原樣減算從備有紅外線濾光器的像素輸出的紅外線成分IR，而不能從備有紅色濾光器的像素的輸出信號完全除去紅外線成分。這一點，通過在從備有紅外線濾光器的像素的輸出的紅外線成分IR上乘以第2系數(shù)LR而進行校正，由此能夠完全除去備有紅色濾光器的像素的輸出信號中所包含的紅外線成分。
備有藍色濾光器的像素的紅外線波長區(qū)域的靈敏度，與備有紅外線濾光器的像素的靈敏度為相同的程度。備有綠色濾光器的像素的紅外線波長區(qū)域的靈敏度，比備有紅外線濾光器的像素的靈敏度小十分之一。因此，將備有藍色濾光器的像素的第2系數(shù)LR的值設(shè)定為1，將備有綠色濾光器的像素的第2系數(shù)LR的值設(shè)定為0.9。因此，具有圖8的特性例的攝像元件2010中的第2系數(shù)(LR、LG、LB)的值，成為大約(1.5，0.9，1.0)。
上述的光譜特性，不僅受濾光器的光譜特性和光電二極管的光譜特性，而且也受光源的光譜特性和被拍攝體的光譜特性影響。這些特性，因光源和攝影對象而多種多樣，靈敏度不一致的波長的光的強度有強有弱。因此，第2系數(shù)(LR、LG、LB)的值也優(yōu)選為對于每種光源和被拍攝體而切換。
紅外線成分預(yù)測單元2020，也可以對于每種光源種類保持預(yù)先計算出的第2系數(shù)(LR、LG、LB)的值。例如，對于朝向太陽光、朝向熒光燈、朝向白熾燈，保持不同的第2系數(shù)(LR、LG、LB)的值。這些值，由設(shè)計者通過試驗或仿真而求得。若由用戶選擇光源的模式，則紅外線成分預(yù)測單元2020，使用與所選擇的模式相對應(yīng)的第2系數(shù)(LR、LG、LB)。
另外，也可以是，紅外線成分預(yù)測單元2020，對于每種被拍攝體種類保持預(yù)先算出的第2系數(shù)(LR、LG、LB)的值。例如，分別對于朝向人、朝向植物、朝向建筑物而保持不同的第2系數(shù)(LR、LG、LB)的值。若由用戶選擇攝像對象的模式，則紅外線成分預(yù)測單元2020使用與所選擇的模式相對應(yīng)的第2系數(shù)(LR、LG、LB)的值。另外，也可以對于每種光源和被拍攝體的組合保持不同的第2系數(shù)(LR、LG、LB)的值。
另外，也可以不將與光源和被拍攝體的光譜特性相對應(yīng)的第2系數(shù)(LR、LG、LB)預(yù)先注冊于紅外線成分預(yù)測單元2020，而對于每種攝影，適宜地計算出第2系數(shù)(LR、LG、LB)。例如，也可以是，紅外線成分預(yù)測單元2020通過對從攝像元件2010輸出的圖像信號進行積分而在攝影時對入射到各像素的光的光譜特性進行求算。另外，也可以在攝像裝置2300上設(shè)置光譜特性傳感器，測定攝影時的光譜特性，而確定系數(shù)(LR、LG、LB)。
按照變形例2，一邊對備有色濾光器的像素和備有紅外線濾光器的像素間的光譜特性的不同而進行調(diào)整，一邊從疊加有紅外線成分的各色成分中除去紅外線成分，由此能夠確切地預(yù)測疊加于各色成分的紅外線成分，并能夠進一步提高色再現(xiàn)性。并且，也能夠維持色平衡。
另外，在上述實施方式2中，對使用三原色濾光器和紅外線濾光器的攝像元件2010進行了說明。這點在本實施例中，也可以適用于使用補充色濾光器和紅外線濾光器的攝像元件2010。補充色濾光器色分解為黃色Ye、藍綠(シアン)Cy、和品紅(マゼンダ)Mg?；蛘?，色分解為黃色Ye、藍綠Cy、和綠色Gr；或黃色Ye、藍綠Cy、品紅Mg和綠色Gr。透過各種色成分的濾光器，與上述3原色濾光器同樣，也透過紅外線成分。
權(quán)利要求
1.一種攝像裝置，其特征在于，備有第1像素，其對可見光和紅外線這兩方進行受光；第2像素，其對紅外線進行受光；預(yù)測部，其基于所述第1像素所受光的光的光譜特性和所述第2像素所受光的光的光譜特性，并根據(jù)由所述第2像素所輸出的信號，對由所述第1像素所輸出的信號中所包含的紅外線成分的大小進行預(yù)測；以及減法部，其從由所述第1像素輸出的信號中減去所述預(yù)測所得到的紅外線成分。
2.根據(jù)權(quán)利要求1所述攝像裝置，其特征在于，所述第1像素和第2像素所受光的光的光譜特性，由各個像素所備置的色濾光器的光譜特性所確定。
3.根據(jù)權(quán)利要求1所述攝像裝置，其特征在于，由所述第1像素和第2像素所受光的光的光譜特性，由各個像素所備置的光電變換元件的光譜特性所確定。
4.根據(jù)權(quán)利要求1所述攝像裝置，其特征在于，由所述第1像素和所述第2像素所受光的光的光譜特性，由入射到各個像素的光的光譜特性所確定。
5.根據(jù)權(quán)利要求1所述攝像裝置，其特征在于，所述第1像素和所述第2像素在同一攝像元件上形成。
6.一種攝像裝置，其特征在于，備有第1像素，其對可見光和紅外線這兩方進行受光；第2像素，其對紅外線進行受光；減法部，其從由所述第1像素輸出的信號中，減去在由所述第2像素輸出的信號上乘以系數(shù)后的信號；確定部，其基于由所述第1像素輸出的信號的大小和由所述第2像素所輸出的信號的大小的比率，而對在所述減法部中在由所述第2像素所輸出的信號上所乘算的系數(shù)進行確定。
7.根據(jù)權(quán)利要求6所述攝像裝置，其特征在于，所述確定部進一步基于攝像時的照度，而確定在由所述第2像素輸出的信號上所乘算的系數(shù)。
8.根據(jù)權(quán)利要求6所述攝像裝置，其特征在于，所述減法部，按照亮度成分用和色成分用，而分別地從由所述第1像素輸出的信號，減去在由所述第2像素輸出的信號上乘以系數(shù)后的信號。
9.根據(jù)權(quán)利要求7所述攝像裝置，其特征在于，所述減法部，按照亮度成分用和色成分用，而分別地從由所述第1像素輸出的信號，減去在由所述第2像素輸出的信號上乘以系數(shù)后的信號。
10.根據(jù)權(quán)利要求6所述攝像裝置，其特征在于，所述確定部，確定用于對所述第1像素的光譜特性和所述第2像素的光譜特性的不同進行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號，減去在由所述第2像素輸出的信號上再乘以所述另一系數(shù)后的信號。
11.根據(jù)權(quán)利要求7所述攝像裝置，其特征在于，所述確定部，確定用于對所述第1像素的光譜特性和所述第2像素的光譜特性的不同進行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號，減去在由所述第2像素輸出的信號上再乘以所述另一系數(shù)后的信號。
12.根據(jù)權(quán)利要求8所述攝像裝置，其特征在于，所述確定部，確定用于對所述第1像素的光譜特性和所述第2像素的光譜特性的不同進行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號，減去在由所述第2像素輸出的信號上再乘以所述另一系數(shù)后的信號。
13.根據(jù)權(quán)利要求9所述攝像裝置，其特征在于，所述確定部，確定用于對所述第1像素的光譜特性和所述第2像素的光譜特性的不同進行校正的另一系數(shù)，所述減法部，從由所述第1像素所輸出的信號，減去在由所述第2像素輸出的信號上再乘以所述另一系數(shù)的信號。
14.根據(jù)權(quán)利要求6所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
15.根據(jù)權(quán)利要求7所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
16.根據(jù)權(quán)利要求8所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
17.根據(jù)權(quán)利要求9所述攝像裝置，其特征在于，所述第1像素和所述第2像素，在同一攝像元件上形成。
全文摘要
本發(fā)明公開一種攝像裝置，其特征在于，備有第1像素，其對可見光和紅外線這兩方進行受光；第2像素，其對紅外線進行受光；預(yù)測部，其基于第1像素所受光的光的光譜特性和第2像素所受光的光的光譜特性，并根據(jù)第2像素所輸出的信號，對由第1像素所輸出的信號中所包含的紅外線成分的大小進行預(yù)測；以及減法部，其從由第1像素輸出的信號中減去預(yù)測的紅外線成分。
文檔編號H04N1/40GK1992910SQ20061017115
公開日2007年7月4日 申請日期2006年12月25日 優(yōu)先權(quán)日2005年12月27日
發(fā)明者鈴木和博, 加藤桂史 申請人:三洋電機株式會社