專利名稱：成像設(shè)備、處理拍攝圖像的方法以及處理拍攝圖像的程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種配備有能拍攝兩種具有不同色調(diào)的彩色圖像的固態(tài)成像裝置的成像設(shè)備、一種處理拍攝圖像的方法、以及一種用于處理拍攝圖像的程序。
背景技術(shù)：
已提出并使用了各種布置來作為安裝在固態(tài)成像裝置中的濾色器的布置。例如， 下面專利文獻(xiàn)I中公開的一種成像設(shè)備使用了稱作Bayer布置的濾色器布置。在Bayer布置中，R (紅)、G (綠)、和B (藍(lán))三原色的任意一個的濾色器基于預(yù)定規(guī)則以鑲嵌模式布置于各像素中。例如，在安裝紅色濾色器的一個紅色像素中，不能探測到綠色和藍(lán)色信號。因此，對位于紅色像素周圍的、并且其中分別安裝了綠色和藍(lán)色濾色器的各像素的信號執(zhí)行插值計算，由此在該紅色像素位置處獲取了綠色和藍(lán)色信號。
在下面專利文獻(xiàn)2中公開的一種成像裝置中，在斜向上彼此相鄰的每兩個像素為一對，并且RGB三原色之一的濾色器根據(jù)預(yù)定規(guī)則以成對像素為單位按照鑲嵌模式進(jìn)行布置。例如，Gl濾色器和G2濾色器安裝在一對像素上，其中每個像素上分別安裝了綠色濾色器。
例如，將Gl和G2之間的關(guān)系設(shè)置為使得例如通過將它們彼此相加而獲得G顏色。 生產(chǎn)這樣的G濾色器以使540nm的波長被設(shè)置為中心波長，并且獲得在背面和正面每一個中都具有約IOOnm的寬度的鐘形光譜特性。相比之下，例如，Gl和G2被分成兩個濾色器， 以使Gl濾色器探測具有440nm至540nm的波長的顏色,并且G2濾色器探測540nm至640nm 的波長。至于R和B顏色，類似地，Rl和R2濾色器安裝在成對的像素上，BI和B2濾色器安裝在成對的像素上。
如上述所述，當(dāng)與R、G和B三個顏色的情況相比對將要被濾色器分離的各個顏色進(jìn)行更精細(xì)的分離時，可以提高目標(biāo)圖像的顏色再現(xiàn)性。然而，從安裝Rl、Gl和BI濾色器的像素中提取的拍攝圖像與從安裝R2、G2和B2濾色器的像素中提取的拍攝圖像在色調(diào)上彼此不 同。當(dāng)單個地看這些圖像時，這些圖像是具有不自然色調(diào)的彩色圖像。因此，必須執(zhí)行適當(dāng)?shù)膱D像合并處理，以便通過圖像處理獲得具有高顏色再現(xiàn)性的目標(biāo)圖像。
在下面專利文獻(xiàn)3中公開的成像設(shè)備中，每個像素被分成小面積部分和大面積部分。例如，在安裝綠色(G)濾色器的每個像素中，使安裝在小面積部分上的濾色器的厚度大于安裝在大面積部分上的濾色器的厚度，或者減小構(gòu)成光敏二極管的η區(qū)的厚度。
因此，小面積部分實質(zhì)上不能探測某一波長區(qū)域的入射光，而大面積部分可以探測該波長區(qū)域的光。通過使用此布置，成像設(shè)備探測該波長區(qū)域的光是否存在，并且判斷該光源的種類。
引用列表
專利文獻(xiàn)
專利文獻(xiàn)I JP-A-2006-135468
專利文獻(xiàn) 2 JP-A-2009-268078
專利文獻(xiàn)3 JP-A-2004-289728 發(fā)明內(nèi)容
作為可以顯示彩色圖像的傳統(tǒng)顯示設(shè)備，通常使用陰極射線管顯示設(shè)備(CRT)。然而最近，液晶顯示設(shè)備被廣泛用作液晶電視接收機(jī)。因此，例如，普通用戶習(xí)慣于看到色調(diào)上不同于自然彩色圖像的鮮艷的彩色圖像。因此，由數(shù)碼相機(jī)拍攝到的彩色圖像看起來不足的情況在增加。
簡單地發(fā)明出上述用在傳統(tǒng)固態(tài)成像裝置中的彩色濾色器，以便目標(biāo)圖像的顏色再現(xiàn)性能夠具有自然色調(diào)。因此，目標(biāo)的彩色圖像不能被拍攝為鮮艷的彩色圖像。
另外，還存在目標(biāo)的彩色圖像必須被拍攝為鮮艷的彩色圖像的成像場景。強(qiáng)烈需求既可以拍攝鮮艷彩色圖像又可以拍攝自然彩色圖像的成像設(shè)備。
本發(fā)明的目標(biāo)是提供配備有能拍攝兩種具有不同色調(diào)的彩色圖像的固態(tài)成像裝置的成像設(shè)備、處理拍攝圖像的方法、以及用于處理拍攝圖像的程序。
問題的解決方案
本發(fā)明的一種成像設(shè)備，包括
固態(tài)成像裝置，其包括
多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中；
多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行之一的第一像素組上；和
多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和所述偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器；以及
圖像處理部分，其獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于包括所述第一顏色的所述多個濾色器與包括所述第二顏色的所述多個濾色器之間的光譜靈敏度的差別而造成的，并且所述圖像處理部分將通過校正所述電平差而從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像進(jìn)行合并。
一種處理拍攝圖像的方法，其處理由本發(fā)明的固態(tài)成像裝置拍攝到的圖像，所述固態(tài)成像裝置包括
多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中；
多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行中的一個的第一像素組上；以及
多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器，其中
所述方法包括步驟
獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于包括所述第一顏色的所述多個濾色器和包括所述第二顏色的所述多個濾色器之間的光譜靈敏度的差別而造成的；
校正所述電平差；以及
將從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像彼此進(jìn)行合并。
一種用于處理拍攝圖像的程序，其處理由本發(fā)明的固態(tài)成像裝置拍攝到的圖像， 向所述程序提供了執(zhí)行所述處理拍攝圖像的方法的步驟。
發(fā)明的有益效果
根據(jù)本發(fā)明，可以拍攝兩種具有不同色調(diào)的彩色圖像(例如，自然彩色圖像和鮮艷彩色圖像)，并且也可以獲得作為這兩種彩色圖像的組合的圖像。


圖1是本發(fā)明的第一實施例的成像設(shè)備的功能框圖2是圖1所示的固態(tài)成像裝置中的濾色器布置的視圖3是示出用在圖2所示的濾色器布置中的濾色器的光譜靈敏度的視圖4是示出本發(fā)明的第一實施例中的拍攝圖像 處理過程的流程圖5是本發(fā)明的第二實施例的成像設(shè)備的功能框圖6是示出本發(fā)明的第二實施例中的拍攝圖像處理過程的流程圖7是本發(fā)明的第三實施例的成像設(shè)備的功能框圖8是示出在圖像上進(jìn)行邊緣判定的視圖9是示出本發(fā)明的第三實施例中的拍攝圖像處理過程的流程圖10是本發(fā)明的第四實施例的成像設(shè)備的功能框圖11是示出本發(fā)明的第四實施例中的拍攝圖像處理過程的流程圖；以及
圖12是不同于圖2所示實施例的固態(tài)成像裝置中的濾色器布置的視圖。
具體實施方式
在下文中，將參照附圖描述本發(fā)明的實施例。
圖1是本發(fā)明的第一實施例的成像設(shè)備的功能框圖。成像設(shè)備10包括固態(tài)成像裝置11、成像控制部分13、存儲器14、以及CPU 15。成像控制部分13驅(qū)動并控制固態(tài)成像裝置11。此外，成像控制部分13接收從固態(tài)成像裝置11輸出的拍攝圖像信號，執(zhí)行相關(guān)雙采樣處理、增益控制處理、以及A/D (模擬/數(shù)字)轉(zhuǎn)換處理，并且向總線12輸出結(jié)果信號。 存儲器14連接到總線12。CPU 15總體控制整個成像設(shè)備10。CPU 15包含DSP功能，并且對從固態(tài)成像裝置11輸出的拍攝圖像信號執(zhí)行校正處理(補償處理、伽馬校正處理、RGB/ YC轉(zhuǎn)換處理、并行處理等等)以產(chǎn)生目標(biāo)圖像。
成像設(shè)備10進(jìn)一步包括窄光譜像素平均值計算電路17、寬光譜像素平均值計算電路18、顏色再現(xiàn)選擇部分19、校正比率計算部分20、以及乘法器21。窄光譜像素平均值計算電路17和寬光譜像素平均值計算電路18處理從總線12接收的數(shù)字拍攝圖像信號。顏色再現(xiàn)選擇部分19選擇性地控制計算電路17、18的輸出以及從總線12接收的數(shù)字拍攝圖像信號，并且執(zhí)行顏色再現(xiàn)。校正比率計算部分20根據(jù)由顏色再現(xiàn)選擇部分19選擇的計算電路17或18的輸出信號來計算校正比率。乘法器21將由顏色再現(xiàn)選擇部分19根據(jù)從總線12接收的數(shù)字拍攝圖像信號選擇的、且要對其中的電平差進(jìn)行校正的一個像素的信號乘以校正比率計算部分20的輸出信號，并且將乘積返回至總線12。
計算電路17和18、顏色再現(xiàn)選擇部分19、校正比率計算部20、以及乘法器21組成圖像處理部分的一部分。隨后將詳細(xì)描述圖像處理部分的操作。
圖2是固態(tài)成像裝置11的平面圖。在本實施例的固態(tài)成像裝置11中，具有相同光接收面積的多個像素(光敏二極管)以二維陣列布置并形成在半導(dǎo)體襯底中。偶數(shù)像素行布置為相對于奇數(shù)像素行偏移1/2像素間距。當(dāng)只考慮奇數(shù)行像素的布置時,這些像素構(gòu)成方點陣布置。當(dāng)只考慮偶數(shù)行像素的布置時，這些像素構(gòu)成方點陣布置。三原色濾色器R、G、B以Bayer形式布置在奇數(shù)行的各像素(A組像素)中，并且三原色濾色器r、g、b以 Bayer形式布置在偶數(shù)行的各像素(B組像素)中。
雖然沒有示出，但將由各像素探測到的拍攝圖像信號讀出至外部的信號讀出部分形成在半導(dǎo)體襯底的表面部分中。例如，如在JP-A-2005-72966中公開的固態(tài)成像裝置為CCD類型的情況中，該信號讀出部分可以由豎直電荷傳送路徑、水平電荷傳送路徑、以及輸出與信號電荷量相對應(yīng)的電壓值信號作為拍攝圖像信號的放大器配置而成。例如，如在 JP-A-2007-124137和JP-A-2007-81140中公開的固態(tài)成像裝置為CMOS類型的情況中，該信號讀出部分可以由MOS晶體管、豎直掃描電路、水平電路等配置而成。
圖3是示出濾色器RGB和rgb的光譜靈敏度的曲線圖。光的波長由λ表示。堆疊在A組像素上的紅色濾色器R(X)、綠色濾色器G( λ )、以及藍(lán)色濾色器Β( λ )中的每一個的光譜靈敏度具有鐘狀的山形和大寬度(在下文中，此情況稱為寬的)。
相比之下，雖然堆疊在B組像素上的紅色濾色器r ( λ )、綠色濾色器g ( λ )、以及藍(lán)色濾色器Μλ)中的每一個的光譜靈敏度具有鐘狀的山形，但其具有小寬度(在下文中，此情況稱為窄的)。
圖3的曲線圖示出了各種波長的光的光譜靈敏度。如根據(jù)圖2描述，A組像素和B 組像素具有相同的光接收面積。因此，圖3的曲線圖示出了已通過每個像素的濾色器的接收光量的波長相關(guān)性。
紅色濾色器的長波長側(cè)(紅外區(qū)域)的光很難只通過一個濾色器截止。因此通常在數(shù)碼相機(jī)的成像透鏡系統(tǒng)中插入紅外截止濾色器。圖3的曲線圖示出了在只使用沒有插入紅外截止濾色器的紅色濾色器R或紅色濾色器r的情況下的特性。
在圖3的上端部分中，給出了波長λ (nm)的值和顏色之間的關(guān)系。要在A組像素上堆疊的寬的紅色濾色器R實際上被制造為允許橙色光通過并且也允許部分黃色光通過的濾色器。綠色濾色器G被制造為在其長波長側(cè)允許部分黃色和橙色光通過的濾色器。這一特征同樣適用于短波長側(cè)。寬的綠色濾色器G被制造為允許部分藍(lán)色光通過的濾色器， 寬的藍(lán)色濾色器B被制造為允許部分綠色光通過的濾色器。
S卩，安裝G濾色器的各像素和安裝R濾色器的各像素都接收橙色和黃色光，并且安裝G濾色器的各像素和安裝B濾色器的各像素都接收藍(lán)色和綠色邊界附近的部分光。
在基于安裝G濾色器的各像素的探測信號、安裝R濾色器的各像素的探測信號、以及安裝B濾色器的各像素的探測信號而再現(xiàn)目標(biāo)彩色圖像的情況下，各探測信號的重疊部分(在上面描述的橙色和黃色的邊界部分、以及藍(lán)色和綠色的邊界部分)越大，所再現(xiàn)的彩色圖像中綠色和紅色、以及綠色和藍(lán)色混合的比率越大。
S卩，通過寬的濾色器R、G、B獲取的顏色信號R、G、B是不僅包括紅色、綠色和藍(lán)色各自的原始顏色、還包括了其他顏色的顏色信號，并且其中原始顏色的混合分?jǐn)?shù)(混合比率) 較低。然而，在與其他顏色混合的程度適當(dāng)?shù)幕旌媳嚷氏?，可以獲得自然的彩色圖像。
相比之下，重疊部分越小，信號具有越高的原始顏色的混合分?jǐn)?shù)(混合比率)。BP, 通過窄的濾色器r、g、b獲取的顏色信號r、g、b是其中原始顏色的混合分?jǐn)?shù)(混合比率)較高的顏色信號。基于顏色信號r、g、b再現(xiàn)的彩色圖像是鮮艷的彩色圖像。
在某一波長范圍中的顏色并非是相同的，而是逐漸變化的。例如，在圖3的500nm 至570nm的波長范圍中，所有顏色被示出為“綠色”。但是，實際上獲得了藍(lán)色的混合比率隨著進(jìn)一步向圖3的左側(cè)推進(jìn)而逐漸增加的顏色，并獲得了黃色的混合比率隨著進(jìn)一步向圖 3的右側(cè)推進(jìn)而逐漸增加的顏色。上面，例如，綠色情況下的“原始顏色”并不意味著500nm 至570nm的整個范圍中的顏色，而是意味著該范圍一部分中的顏色，例如，以535nm為中心的預(yù)定波長范圍(例如，±25nm)中的顏色。
在將要安裝在本實施例的成像設(shè)備中的固態(tài)成像裝置11中，寬的濾色器R、G、B堆疊在A組像素上，以便可以拍攝目標(biāo)的自然彩色圖像，而窄的濾色器r、g、b堆疊在B組像素上，以便可以拍攝目標(biāo)的鮮艷彩色圖像。
作為寬的濾色器R、G、B，使用了通常存在的、且允許拍攝自然彩色圖像的濾色材料。相比于寬的濾色材料，具有圖3中示例性示出的光譜特性的濾色器r、g、b是由不同于寬的濾色材料的顏料或染料生產(chǎn)的。
在此情況下，當(dāng)寬的濾色器R、G、B的厚度不同于窄的 濾色器r、g、b的厚度時，在固態(tài)成像裝置11表面上形成了不平坦性，并且在其上堆疊微透鏡的步驟是復(fù)雜的。因此為了便于生產(chǎn)以減小生產(chǎn)成本，優(yōu)選地，寬的濾色器R、G、B和窄的濾色器r、g、b具有相同的厚度。
優(yōu)選地，將濾色器R、G、B的峰值靈敏度值設(shè)置為分別與濾色器r、g、b的峰值靈敏度值近似相等，從而由A組像素拍攝的自然彩色圖像的亮度基本上等于由B組像素拍攝的鮮艷彩色圖像的亮度。
在圖3的示例中，在藍(lán)色濾色器B的峰值靈敏度值Bw與藍(lán)色濾色器b的峰值靈敏度值bn之間的誤差在10%以內(nèi)的情況下，將藍(lán)色濾色器B的峰值靈敏度值認(rèn)定為與藍(lán)色濾色器b的峰值靈敏度值相等。載綠色濾色器G的峰值靈敏度值Gw與綠色濾色器g的峰值靈敏度值gn之間的誤差在10%以內(nèi)的情況下，將綠色濾色器G的峰值靈敏度值認(rèn)定為與綠色濾色器g的峰值靈敏度值相等。在紅色濾色器R的峰值靈敏度值Rw與紅色濾色器r的峰值靈敏度值rn之間的誤差在10%以內(nèi)的情況下，將紅色濾色器R的峰值靈敏度值認(rèn)定為與紅色濾色器r的峰值靈敏度值相等。
優(yōu)選地，提供藍(lán)光的峰值靈敏度值Bw的光的波長λ Bff與提供峰值靈敏度值bn的光的波長Xbn是相同的。然而，實際上形成濾色器B的材料不同于形成濾色器b的材料， 因此很難使波長與波長Xbn相同。然而,波長與波長λ bn之間的誤差可以在大約 ±20nm的范圍之內(nèi)。這也類似地適用于其他顏色。
窄的紅色濾色器r的光譜靈敏度的波長范圍完全處于寬的紅色濾色器R的光譜靈敏度的波長范圍之內(nèi)。這也類似地適用于其他顏色(綠色和藍(lán)色)。在可見光的波長范圍(約 380nm 至 650nm)內(nèi)，即,設(shè)定 R(A) >r (A)^G(A) >g(A)^ 以及 B(A)>b(A)0
這是因為通過寬的濾色器R、G、B拍攝的彩色圖像是自然彩色圖像，但是以偏離于濾色器R、G、B的光譜靈敏度的波長范圍的光譜靈敏度拍攝的彩色圖像是具有不自然色調(diào) 的彩色圖像。當(dāng)窄的濾色器r (g、b)的光譜靈敏度的波長范圍完全處于寬的濾色器R (G、 B)的光譜靈敏度的波長范圍之內(nèi)時，通過窄的濾色器r、g、b拍攝的彩色圖像是鮮艷彩色圖 像而不是具有不自然色調(diào)的彩色圖像。在窄的綠色濾色器g的光譜靈敏度的波長范圍被設(shè)置為處于寬的綠色濾色器G的 光譜靈敏度的波長范圍內(nèi)時，優(yōu)選地，窄的綠色濾色器g的光譜靈敏度與寬的綠色濾色器G 的光譜靈敏度的山形的右和左邊緣線分離相等的距離。然而，濾色器g的材料不同于濾色 器G的材料。因此，上述的并非是必要的，窄的綠色濾色器g的光譜靈敏度可以略微地向一 側(cè)偏移。如上所述，從窄的濾色器r、g、b傳送的光中所包含的原始顏色的混合比率(內(nèi)容 比率)高于從寬的濾色器R、G、B傳送的光中所包含的原始顏色的混合比率(內(nèi)容比率)。接 下來，將對其進(jìn)行定量描述。當(dāng)寬的濾色器R、G、B中的原始顏色的混合比率由a表示，并且窄的濾色器r、g、 b中的原始顏色的混合比率由a+A a表示時，優(yōu)選地設(shè)定A a >0。據(jù)此，通過窄的濾色器 r、g、b拍攝的圖像可以被在視覺上鮮艷的看到。主觀地判斷一個圖像是否是鮮艷的。因此，很難量化差值A(chǔ) a的程度。在實施例 中，通過如下方式定義混合比率a。參考圖3，獲得了相對于藍(lán)色濾色器B的峰值靈敏度值 Bw的半值寬度Bd，并且獲得了相對于藍(lán)色濾色器b的峰值靈敏度值bn的半值寬度bd。隨 后，從寬的濾色器B傳送的光中所包含的原始顏色的混合比率(內(nèi)容比率)被定義為Bd/Bw， 從窄的濾色器b傳送的光中所包含的原始顏色的混合比率(內(nèi)容比率)被定義為bd/bn。此 時，確定窄的濾色器b的光譜靈敏度以實現(xiàn)bd/bn〈Bd/Bw。當(dāng)在該表達(dá)式中使用上面的A a時，確定窄的濾色器b的光譜靈敏度以實現(xiàn)bd/bn+A a =Bd/Bw。在圖3的示例的測量值中，bd/bn=53. 75 (%)，且Bd/Bw=64. 7 (%)。因此，A a =約 10(%)。關(guān)于綠色，類似地，確定窄的濾色器g的光譜靈敏度以實現(xiàn)gd/gn〈Gd/Gw。當(dāng)在該表達(dá)式中使用上面的A a時，確定窄的濾色器g的光譜靈敏度以實現(xiàn)gd/gn+A a =Gd/Gw。在圖3的示例的測量值中，gd/gn=63. 75 (%)，且Gd/Gw=95. 12 (%)。因此，A a =約 31(%)。關(guān)于紅色，如上所述，紅外截止濾色器截止長波長側(cè)。因此，只通過使用峰值靈敏 度位置的短波長側(cè)來執(zhí)行判定。確定窄的濾色器r的光譜靈敏度以實現(xiàn)rd/rn〈Rd/Rw。當(dāng)在該表達(dá)式中使用上面的A a時，確定窄的濾色器r的光譜靈敏度以實現(xiàn)rd/rn+A a =Rd/Rw。在圖3 的示例的測量值中，rd/rn=7. 5 (%)，且 Rd/Rw=34 (%)。因此，A a =約 26 (%)。
如上所述，當(dāng)使得從窄的濾色器r、g、b傳送的光中所包含的原始顏色的內(nèi)容比率大于從寬的濾色器R、G、B傳送的光中所包含的原始顏色的內(nèi)容比率時，單個固態(tài)成像裝置 11可以同時拍攝兩種目標(biāo)圖像(從A組像素中獲取的自然彩色圖像和從B組像素中獲取的鮮艷彩色圖像)。在本實施例中，在每一個窄的濾色器r、g、b的光譜靈敏度的半值寬度的波長范圍內(nèi)的顏色被設(shè)定為“原始顏色”，從而使得該原始顏色的內(nèi)容比率大于寬的濾色器R、 G、B的原始顏色的內(nèi)容比率。
如上所述，具有圖2的配置的固態(tài)成像裝置11可以同時拍攝兩種彩色圖像。然而，每個拍攝圖像是使用安裝在固態(tài)成像裝置11上的1/2數(shù)量的像素來拍攝到的圖像，從而還存在使用所有像素來拍攝高清晰度目標(biāo)圖像的需要。然而，A組像素和B組像素具有不同光譜靈敏度的濾色器，因此在所拍攝圖像之間產(chǎn)生了電平差(level difference)(靈敏度比率)。即使當(dāng)通過簡單地將拍攝圖像彼此合并而獲得高清晰度圖像時，該高清晰度圖像也是給人奇怪感覺的圖像。
因此，在下面的實施例中，將描述處理拍攝圖像的方法，其中從具有自然色調(diào)的目標(biāo)彩色圖像的信號和具有鮮艷色調(diào)的目標(biāo)彩色圖像的信號產(chǎn)生不會給人奇怪感覺的高清晰度圖像。
當(dāng)A組像素和B組像素的光譜靈敏度彼此不同時，關(guān)于將要拍攝的(目標(biāo))對象中所包含的相同顏色獲得了不同像素值，并且產(chǎn)生了電平差。此外，如圖3所示，A組像素和B 組像素之間的電平差取決于可見光區(qū)域中的各個顏色(波長)而不同。因此，高度精確的校正不能由一個一致地處理整個屏幕的處理(例如增益處理)來執(zhí)行，而是需要局部優(yōu)化。
因此，在下面的實施例中，通過如下方式校正電平差。圖1中的平均值計算電路 17、18針對每個光譜靈敏度計算相同顏色像素(R和r、G和g、以及B和b)的平均值(例如， 與將要校正的一個像素的顏色相同的相鄰5X5像素的平均值)。校正比率計算部分20計算由顏色再現(xiàn)選擇部分19選擇的光譜(假設(shè)為寬側(cè))的平均值與其他平均值(窄側(cè))的比率。 然后，乘法器21將沒有選擇到的、并且其中將要校正電平差的一個像素的探測信號與由校正比率計算部分20計算的比率相乘。
顏色再現(xiàn)選擇部分19用于選擇將顏色再現(xiàn)設(shè)置為窄側(cè)的鮮艷顏色還是設(shè)置為寬側(cè)的自然顏色。例如，在風(fēng)景圖像的情況下，選擇窄側(cè)，而在人像的情況下，選擇寬側(cè)。
如上所述，當(dāng)使用兩種具有不同光譜靈敏度或者窄的和寬的濾色器時，可以選擇兩種顏色再現(xiàn)中的任意一個。此外，當(dāng)校正未被選擇的顏色再現(xiàn)的光譜靈敏度的電平被校正為與所 選擇的另一顏色再現(xiàn)的光譜靈敏度的電平匹配時，可以通過使用A組像素和B組像素兩者來對RGB (rgb)插值，從而可以產(chǎn)生高分辨率的目標(biāo)圖像。
圖4是示出本發(fā)明第一實施例的用于處理拍攝圖像的方法的處理程序的過程的流程圖。當(dāng)用戶選擇鮮艷彩色圖像時，或者當(dāng)成像場景設(shè)置成風(fēng)景成像時，堆疊了窄的濾色器r、g、b的B組像素的拍攝圖像信號可以被原樣使用，且以此把將要校正的像素設(shè)置成A 組像素(堆疊了寬的濾色器R、G、B的像素)。
首先，計算在將要校正的像素周邊的預(yù)定數(shù)量像素(例如，鄰近將要校正的像素的、且在窄側(cè)的5X5個相同顏色像素)的拍攝圖像信號的平均值(步驟SI)。其次，計算在所述將要校正的像素周邊的、且在寬側(cè)的5X5個相同顏色像素的拍攝圖像信號的平均值(步驟 S2)。
在步驟S3，判定顏色再現(xiàn)是在窄側(cè)還是在寬側(cè)。在本示例中，如上所述，對窄側(cè)執(zhí)行顏色再現(xiàn)，因此處理從步驟S3前進(jìn)至步驟S4以設(shè)定[在步驟SI獲得的平均值]/[在步驟S2獲得的平均值]=校正比率。
在接下來的步驟S5，將要校正的像素(在本示例中是在寬側(cè)的像素)的拍攝圖像信號的值被乘以在步驟S4計算出的校正比率，從而將電平差(靈敏度比率)校正為具有與窄的像素相同的電平。
在步驟S6，判定針對所有將要校正的像素進(jìn)行的校正是否結(jié)束。如果校正還沒有結(jié)束，處理前進(jìn)到步驟S7以將將要校正的像素改變?yōu)橄乱粋€將要校正的像素，并且返回到步驟SI。
當(dāng)用戶選擇自然彩色圖像時，或者當(dāng)成像場景設(shè)置成人像時，堆疊了寬的濾色器 R、G、B的A組像素的拍攝圖像信號可以被原樣使用，且因此把將要校正的像素設(shè)置成B組像素(堆疊了窄的濾色器r、g、b的像素)。
在此情況下，處理前進(jìn)到步驟S1、步驟S2、以及步驟S3，在步驟S3的判定中選擇寬側(cè)，并且處理進(jìn)一步前進(jìn)到步驟S8。在步驟S8，計算校正比率=[在步驟S2獲得的平均值]/ [在步驟SI獲得的平均值]。在接下來的步驟S9，將要校正的像素(在本示例中是在窄側(cè)的像素)的拍攝圖像信號的值被乘以在步驟S8計算出的校正比率，從而將電平差(靈敏度比率)校正為具有與寬的像素相同的電平。
在步驟S9之后，處理前進(jìn)到步驟S6以判定針對所有將要校正的像素進(jìn)行的校正是否結(jié)束。如果針對所有將要校正的像素的校正處理已結(jié)束，則該處理終止。
圖4的校正處理結(jié)束之后，執(zhí)行將由A組像素產(chǎn)生的拍攝圖像與由B組像素產(chǎn)生的拍攝圖像(當(dāng)然，其中由像素組之一所產(chǎn)生的拍攝圖像是一個經(jīng)校正的拍攝圖像)進(jìn)行合并的處理。這也類似地適用于下面的實施例。
圖5是本發(fā)明第二實施例的成像設(shè)備30的功能框圖。第二實施例與圖1所示的第一實施例的不同之處在于，在校正比率計算部分20的后面以及乘法器21的前面布置了校正比率抑制部分23，而在其他要點上與第一實施例相同。校正比率抑制部分23事先設(shè)定關(guān)于校正比率的上限值(例如，相同顏色的光譜靈敏度比率)，并且當(dāng)由校正比率計算部分20 計算出的校正比率超過該上限值(上限校正比率)時，執(zhí)行其中用上限校正比率代替該校正比率的抑制處理，并且將得到的校正比率輸出至乘法器21。
圖6是示出由第二實施例的成像設(shè)備30執(zhí)行的拍攝圖像處理的過程的流程圖。與圖4的流程圖的步驟相同的步驟由相同的步驟數(shù)字表示，并且省略了其詳細(xì)的描述。將只描述不同要點。
在本實施例中，與圖4的流程圖相比，在步驟S4和步驟S5之間設(shè)置了步驟Sll和步驟S12，而且還在步驟S8和步驟S9之間設(shè)置了步驟Sll和步驟S12。
在步驟S11，判定在步驟S4或步驟S8計算出的校正比率是否小于上限校正比率。 如果計算出的校正比率小于上限校正比率(判定結(jié)果為是)，則處理前進(jìn)到步驟S5或步驟 S9以通過使用該計算出的校正比率來執(zhí)行校正。如果步驟Sll的判定結(jié)果為否，即如果在步驟S4或步驟S8計算出的校正比率超過上限校正比率，則處理前進(jìn)到步驟S12以用上限校正比率代替該校正比率，然后前進(jìn)到步驟S5或步驟S9。
根據(jù)本實施例，抑制了校正比率，因此可以抑制在拍攝包含高頻成分的場景的情況下由過校正引起的分辨率的降低。
圖7是本發(fā)明第三實施例的成像設(shè)備40的功能框圖。本實施例的成像設(shè)備40與圖1所示的第一實施例的成像設(shè)備10的不同之處在于，在平均值計算電路17之前設(shè)置了邊緣判定部分25，以及在平均值計算電路18之前設(shè)置了邊緣判定部分26，而在其他配置上與第一實施例相同。邊緣判定部分25判定由窄的像素(B組像素)產(chǎn)生的拍攝圖像中是否存在邊緣。邊緣判定部分26判定由寬的像素(A組像素)產(chǎn)生的拍攝圖像中是否存在邊緣。
邊緣判定部分25基于堆疊有窄的濾色器r、g、b的B組像素的拍攝圖像信號之間的電平差來判定邊緣的存在或不存在。邊緣判定部分26基于堆疊有寬的濾色器R、G、B的 A組像素的拍攝圖像信號之間的電平差來判定邊緣的存在或不存在。
如上所述，平均值計算電路17、18使用將要校正的像素周邊的相同顏色像素的平均值。然而，當(dāng)將要校正的像素周邊的相同顏色像素中包含邊緣部分時，相對于其他像素值電平差較大的一個像素值加入了平均值，由此引起錯誤地執(zhí)行校正的可能性。因此，邊緣判定部分25、26判定邊緣的存在或不存在，并且平均值計算電路17、18計算其中如圖8所示排除了被判定為包含邊緣的邊緣部分的像素的平均值。更具體地，圖8示出的示例中判定未被粗線圍住的右下部分中包含一個邊緣。在排除未被粗線圍住的右下部分的同時，平均值計算電路17、18通過使用其余像素(由粗線圍住的部分中的像素)的拍攝圖像信號來計算平均值。
圖9是第三實施例中處理拍攝圖像的過程的流程圖。圖9的流程圖與圖4的流程圖的不同之處在于，在步驟SI之前設(shè)置了步驟S21、S22、S23，并且在步驟SI與步驟S2之間設(shè)置了步驟S25、S26、S27，而在其他要點上與圖4的流程圖相同。因此，在下文中，將只描述不同要點。
在步驟S21，判定將要校正的像素的拍攝圖像信號與在判定目標(biāo)周邊的像素(窄的像素)的拍攝圖像信號之間的電平差是否小于閾值。如果該電平差小于閾值(在步驟S21的 “是”)，則將在判定目標(biāo)周邊的各像素標(biāo)記為將要用在平均值計算中的各像素(步驟S22)， 然后處理前進(jìn)到步驟S23。
如果在步驟S21的判定結(jié)果中，電平差等于或大于閾值(在步驟S21的“否”)，則處理類似地前進(jìn)到步驟 S23。然后，判定是否對所有周邊像素執(zhí)行了步驟S21的判定(步驟 S23)。如果針對所有周邊像素進(jìn)行的步驟S21的判定還沒有結(jié)束(在步驟S23的“否”)，則改變作為判定目標(biāo)的周邊像素并且處理返回到步驟S21。相反，如果針對所有周邊像素進(jìn)行的步驟S21的判定結(jié)束(在步驟S23的“是”)，則處理前進(jìn)到步驟SI。在步驟SI的平均值計算處理中，計算其中在步驟S22設(shè)置了標(biāo)記的那些周邊像素的平均值。
步驟S25、S26、S27的基本處理分別與步驟S21、S22、S23的處理相同，但不同點在于周邊像素是寬的像素。
根據(jù)本實施例，判定了圖像中的邊緣部分，并且在排除該邊緣部分的同時計算平均值。因此，可以減少由圖像中的邊緣部分引起的錯誤的校正。
圖10是本發(fā)明第四實施例的成像設(shè)備50的功能框圖。該實施例的成像設(shè)備50 是可以將由安裝了寬的濾色器R、G、B的A組像素拍攝的自然彩色圖像與由安裝了窄的濾色器r、g、b的B組像素拍攝的鮮艷彩色圖像進(jìn)行合并、由此產(chǎn)生出一個具有寬動態(tài)范圍的圖像的成像設(shè)備。
在將要產(chǎn)生具有寬動態(tài)范圍的圖像的情況下，執(zhí)行對相同顏色且彼此相鄰的兩個或窄的和寬的像素的相加操作。然而，當(dāng)由于光譜靈敏度比率而造成的在窄的像素和寬的像素之間產(chǎn)生的電平差沒有被適當(dāng)?shù)匦Ｕ龝r，合并操作產(chǎn)生不自然的圖像。
類似于圖1的成像設(shè)備10，本實施例的成像設(shè)備50包括·固態(tài)成像裝置11、總線 12、成像控制部分13、存儲器14、CPU 15、校正比率計算部分20、以及乘法器21。成像設(shè)備 50進(jìn)一步包括對成像控制部分13進(jìn)行控制的D (動態(tài))范圍設(shè)定裝置31，以及由D范圍設(shè)定裝置31控制的曝光差校正量計算裝置32。
成像設(shè)備50進(jìn)一步包括第一顏色再現(xiàn)選擇部分(1)33 ;乘法器34 ;適當(dāng)曝光像素平均值計算電路35 ;欠曝光像素平均值計算電路36 ;以及第二顏色再現(xiàn)選擇部分 (II )37。第一顏色再現(xiàn)選擇部分(1)33接收窄的像素的拍攝圖像信號以及寬的像素的拍攝圖像信號，并且選擇這些信號中的一個。乘法器34將窄的像素的拍攝圖像信號與寬的像素的拍攝圖像信號中的由顏色再現(xiàn)選擇部分33選擇的一個乘以曝光差校正量計算裝置 32的輸出信號。適當(dāng)曝光像素平均值計算電路35計算乘法器34的輸出信號的平均值以作為適當(dāng)曝光像素的平均值。欠曝光像素平均值計算電路36計算窄的像素的拍攝圖像信號與寬的像素的拍攝圖像信號中的另一個的平均值以作為欠曝光像素的平均值。第二顏色再現(xiàn)選擇部分(II )37選擇從總線12接收到的窄的像素的拍攝圖像信號與寬的像素的拍攝圖像信號中的一個，并且向乘法器21輸出所選擇的信號。平均值計算電路35、36的輸出由校正比率計算部分20接收，并且其計算校正比率，然后向乘法器21進(jìn)行輸出。
圖11是示出成像設(shè)備50中執(zhí)行的拍攝圖像處理程序的處理過程的流程圖。首先， 判定由用戶設(shè)定的、或者由成像設(shè)備50自動設(shè)定的D范圍是100%、200%、還是400% (步驟 S31)。
如果D范圍為100%，則處理前進(jìn)到步驟S32以設(shè)定曝光差校正量=1倍。如果D范圍為200%，則處理前進(jìn)到步驟S33以設(shè)定曝光差校正量=1/2倍。如果D范圍為400%，則處理前進(jìn)到步驟S34以設(shè)定曝光差校正量=1/4倍。
曝光差校正量是曝光時間的差。當(dāng)B組像素的曝光時間設(shè)定為與A組像素的曝光時間相等時，D范圍為100%。當(dāng)其中一組像素的曝光時間設(shè)定為另一組像素的曝光時間的 1/2時，D范圍為200%。當(dāng)其中一組像素的曝光時間設(shè)定為另一組像素的曝光時間的1/4 時，D范圍為400%。
根據(jù)顏色再現(xiàn)是在寬側(cè)(自然色調(diào))還是在窄側(cè)(鮮艷色調(diào))而執(zhí)行使哪一個像素組的曝光時間的較小的判定。在下文中，屬于其中曝光時間設(shè)定為小于另一個像素組中的曝光時間的一個像素組(即A組像素或者B組像素)的各像素被稱為欠曝光像素，并且將曝光時間設(shè)定為較小的同時執(zhí)行的成像稱為欠曝光成像。在下文中，屬于其中曝光時間未被設(shè)定為較短的一個像素組的各像素被稱為適當(dāng)曝光像素，并且在此條件下的成像被稱為適當(dāng)曝光成像。
步驟S32、S33、S34之后，處理前進(jìn)到步驟S35以判定顏色再現(xiàn)是在窄側(cè)(獲取鮮艷色調(diào)一側(cè))還是在寬側(cè)(獲取自然色調(diào)一側(cè))。在顏色再現(xiàn)被設(shè)定成窄側(cè)(色調(diào)為鮮艷的一側(cè))的情況下，處理前進(jìn)到步驟S36，在顏色再現(xiàn)側(cè)上的窄的像素(B組像素)經(jīng)歷欠曝光成像，而寬的像素(A組像素)經(jīng)歷適當(dāng)曝光成像。這些成像處理同時進(jìn)行，并且在執(zhí)行適當(dāng)曝光成像時的曝光時間期間執(zhí)行欠曝光成像。
在步驟S37，類似于圖4的步驟SI和S2，獲得在將要校正的像素周邊的相同顏色的預(yù)定數(shù)量的窄的像素的拍攝圖像信號的平均值，并且獲得在將要校正的像素周邊的相同顏色的預(yù)定數(shù)量的寬的像素的拍攝圖像信號的平均值。于是，獲得校正比率
校正比率=[窄的像素的平均值]/[寬的像素的平均值]X曝光差校正量。
在步驟S38，將要校正的像素的拍攝圖像信號(在此情況下為寬的像素)被乘以校正比率，使寬的像素的拍攝圖像信號與窄的像素的光譜靈敏度相匹配，也使曝光差(曝光時間差)相匹配，然后處理結(jié)束。當(dāng)然，對于所有將要校正的像素執(zhí)行上述的處理，但在圖11 的流程圖中省略了圖4的步驟S6和S7的說明。步驟S6和S7可被相繼地設(shè)置在步驟S38 之后，并且步驟S7的返回目的地設(shè)定成步驟S37。
在于步驟S35中將顏色再現(xiàn)設(shè)定成寬側(cè)(色調(diào)為自然的一側(cè))的情況下，處理從步驟S35前進(jìn)到步驟S36。在此情況下，在顏色再現(xiàn)側(cè)的寬的像素(A組像素)經(jīng)歷欠曝光成像，而窄的像素(B組像素)經(jīng)歷適當(dāng)曝光成像。
在步驟S40，獲得在將要校正的像素周邊的相同顏色的預(yù)定數(shù)量的窄的像素的拍攝圖像信號的平均值，并且獲得在將要校正的像素周邊的相同顏色的預(yù)定數(shù)量的寬的像素的拍攝圖像信號的平均值。然后，獲得校正比率
校正比率=[寬的像素的平均值]/[窄的像素的平均值]X曝光差校正量。在步驟S41，將要校正的像素的拍攝圖像信號(在此情況下為窄的像素)被乘以校正比率，使窄的像素的拍攝圖像信號與寬的像素的光譜靈敏度相匹配，也使曝光差(曝光時間差)相匹配，然后處理結(jié)束。當(dāng)然，對于所有將要校正的像素執(zhí)行上述的處理。
在圖11的步驟S36和步驟S39，寫出了欠曝光成像和適當(dāng)曝光成像。然而，在D范圍為100%的情況下，窄的像素的曝光時間等于寬的像素的曝光時間。因此，在不區(qū)分“欠曝光”和“適當(dāng)曝光”的情況下執(zhí)行成像。
上述用于處理拍攝圖像的程序不僅可以在其包含在成像設(shè)備中的情況下執(zhí)行，而且可以在外部個人計算機(jī)中執(zhí)行。該程序可以用在通過將由本實施例的成像設(shè)備拍攝的兩種彩色圖像進(jìn)行合并而產(chǎn)生一個高清晰度彩色圖像的情況中，而且可以用在通過合并而產(chǎn)生一個具有寬動態(tài)范圍的彩色圖像的情況中。用于處理拍攝圖像的程序可以存儲在諸如硬盤或ROM之類的記錄介質(zhì)中，并且當(dāng)CPU或處理器執(zhí)行該程序時，該程序被讀出至RAM等。 可選地，用于處理拍攝圖像的程序可以存儲在諸如CD-ROM之類的記錄介質(zhì)上。
本實施例的固態(tài)成像裝置被描述為其中如圖2所示各像素以格子花圖案布置的固態(tài)成像裝置。像素的布置并不限于該實施例。例如，如圖12所示，所有像素可以按方點陣布置(作為濾色器布置示出)。在圖12的固態(tài)成像裝置22中，三原色的濾色器在奇數(shù)行的像素(A組像素)中以Bayer形式布置，三原色的濾色器在偶數(shù)行的像素(B組像素)中也以Bayer形式布置。
在該實施例的固態(tài)成像裝置22中同樣將寬的濾色器R、G、B堆疊在A組像素上，窄的濾色器r、g、b堆疊在B組像素上，并且通過一個成像操作可以同時拍攝目標(biāo)的自然彩色圖像和該目標(biāo)的鮮艷彩色圖像。
在上述實施例中，示例性地描述了其中安裝了允許拍攝自然彩色圖像的濾色器和允許拍攝鮮艷彩色圖像的濾色器的固態(tài)成像裝置。然而，上述實施例的圖像處理方法并不限于這些濾色器，并且該圖像處理方法可以適用于可以拍攝兩種具有不同色調(diào)的彩色圖像的固態(tài)成像裝置的拍攝圖像。
在上述圖像處理的實施例中，示例性地描述了三原色的濾色器。然而，所述方法也可以類似地適用于補色濾色器(省略了三原色中相應(yīng)一個的濾色器)。即使當(dāng)窄的光譜靈敏度并不完全處于寬的光譜靈敏度之內(nèi)時也可以應(yīng)用上述圖像處理方法。
關(guān)于補色濾色器的窄/寬的關(guān)系如下。紅色(R)的補色為青色(B+G)，藍(lán)色(B)的補色為黃色(G+R)，以及綠色(G)的補色為品紅色(B+R)。這里，青色的窄/寬的關(guān)系如下。 即，組成寬的青色的B和組成窄的青色的B具有窄/寬的關(guān)系，組成寬的青色的G和組成窄的青色的G具有窄/寬的關(guān)系。
這同樣適用于其他顏色或者黃色和品紅色。關(guān)于組成窄的黃色的G和R的光譜靈敏度的半值寬度的波長范圍處在關(guān)于組成寬的黃色的G和R的光譜靈敏度的半值寬度的波長范圍之內(nèi)。此外關(guān)于組成窄的品紅色的B和R的光譜靈敏度的半值寬度的波長范圍處在關(guān)于組成寬的品紅色的B和R的光譜靈敏度的半值寬度的波長范圍之內(nèi)。
此外，假設(shè)各像素具有相同面積的情況下做出了描述。當(dāng)在每個組中的各像素的面積在誤差范圍之內(nèi)彼此相等時，A組像素的面積與B組像素的面積沒有必要在誤差范圍之內(nèi)彼此相等。即使當(dāng)A組像素在面積上不等于B組像素時也可以應(yīng)用上述圖像處理方法。
各實施例所述的成像設(shè)備包括固態(tài)成像裝置，其包括多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中；多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行中的一個的第一像素組上；和多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器；以及圖像處理部分，其獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于所述多個第一顏色濾色器與 所述多個第二顏色濾色器之間的光譜靈敏度的差別而造成的，并且所述圖像處理部分將通過校正所述電平差而從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像進(jìn)行合并。
另外，一種處理拍攝圖像的方法，其處理由各實施例的固態(tài)成像裝置拍攝到的圖像，所述固態(tài)成像裝置包括多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中；多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行中的一個的第一像素組上；以及多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器，其中所述方法包括步驟獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于所述多個第一顏色濾色器和所述多個第二顏色濾色器之間的光譜靈敏度的差別而造成的；校正所述電平差；以及將從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像彼此進(jìn)行合并。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，所述圖像處理部分根據(jù)第一平均值和第二平均值獲取所述電平差，并且校正所述電平差，其中所述第一平均值是在作為校正對象的一個像素周邊的、并且屬于所述第一像素組的預(yù)定數(shù)量的像素的拍攝圖像信號的平均值，所述第二平均值是在所述作為校正對象的像素周邊的、并且屬于所述第二像素組的預(yù)定數(shù)量的像素的拍攝圖像信號的平均值。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，所述圖像處理部分通過如下步驟校正所述電平差設(shè)定所述第一平均值與所述第二平均值的比率以作為校正比率；以及將所述作為校正對象的像素的拍攝圖像信號乘以所述校正比率。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，當(dāng)所述校正比率超過預(yù)設(shè)上限值時，所述圖像處理部分使用所述上限值作為所述校正比率。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，所述圖像處理部分判定指示出目標(biāo)的輪廓部分的邊緣部分的圖像是否包含在所述第一拍攝圖像和所述第二拍攝圖像中，并且在排除所述邊緣部分的情況下獲取所述第一平均值和所述第二平均值。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，所述成像設(shè)備進(jìn)一步包括成像控制部分，其在產(chǎn)生曝光差的同時通過所述第一像素組執(zhí)行成像并且通過所述第二像素組執(zhí)行成像，所述圖像處理部分獲取所述電平差，基于所述電平差和所述曝光差來校正所述第一像素組和所述第二像素組中的一個像素組的各像素的拍攝圖像信號，并且將校正后的各拍攝圖像信號與另一個像素組的各像素的拍攝圖像信號進(jìn)行合并，由此產(chǎn)生一個具有寬動態(tài)范圍的合并圖像。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，所述第一像素組的各像素的光接收面積與所述第二像素組的各像素的光接收面積在誤差范圍之內(nèi)彼此相等。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，包括所述第二顏色的所述多個濾色器的各顏色的光譜靈敏度的半最大值處的全寬度處在包括所述第一顏色的所述多個濾色器的各對應(yīng)顏色的光譜靈敏度的半最大值處的全寬度之內(nèi)。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，包括所述第一顏色的所述多個濾色器的各顏色的光譜靈敏度的峰值與包括所述第二顏色的所述多個濾色器的各顏色的光譜靈敏度的峰值的比率在O. 9到1.1的范圍之內(nèi)。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，包括所述第一顏色的所述多個濾色器是三原色濾色器，包括所述第二顏色的所述多個濾色器是三原色濾色器。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，以所述第一顏色配置的所述多個濾色器是補色濾色器，以所述第二顏色配置的所述多個濾色器是補色濾色器。
另外，在各實施例的成像設(shè)備和處理拍攝圖像的方法中，處理由第一像素組產(chǎn)生的第一拍攝圖像以產(chǎn)生目標(biāo)的自然彩色圖像，處理由第二像素組產(chǎn)生的第二拍攝圖像以產(chǎn)生目標(biāo)的鮮艷彩色圖像。
另外，實施例的一種用于處理拍攝圖像的程序包括執(zhí)行處理拍攝圖像的方法中的一種方法的步驟。
根據(jù)上述實施例，可以同時拍攝兩種具有不同色調(diào)的彩色圖像(例如，自然彩色圖像和鮮艷彩色圖像)，并且在不產(chǎn)生奇怪感覺的情況下可以合并這兩種彩色圖像以產(chǎn)生高清晰度圖像或具有寬動態(tài)范圍的圖像。
工業(yè)實用性
本發(fā)明的成像設(shè)備以及諸如此類配備有新穎的固態(tài)成像裝置，可以同時拍攝兩種具有不同色調(diào)的目標(biāo)彩色圖像，并且可以合并這兩種圖像以產(chǎn)生高清晰度目標(biāo)圖像或具有寬動態(tài)范圍的圖像。因此，當(dāng)其應(yīng)用于諸如數(shù)碼照相機(jī)或數(shù)碼攝像機(jī)之類的廣泛種類的成像裝置、諸如配備相機(jī)的移動電話、PDA或筆記本電腦之類的配置相機(jī)的電子裝置、以及內(nèi)窺鏡時非常有用。
根據(jù)具體的實施例詳細(xì)描述了本發(fā)明，但在不背離本發(fā)明的精神和范圍的情況下對于本領(lǐng)域的技術(shù)人員來說各種改變和修改是顯而易見的。
本申請基于2010年4月20日提交的日本專利申請(第2010-097367號)，并且其公開通過引用并入本文。
參考符號列表
10、20、30、40成像設(shè)備
11、22固態(tài)成像裝置
15CPU
17窄光譜像素平均值計算電路
18寬光譜像素平均值計算電路
19、33、37顏色再現(xiàn)選擇部分
20校正比率計算部分
21乘法器
23校正比率抑制部分
25窄像素邊緣判定部分
26寬像素邊緣判定部分
31D范圍設(shè)定裝置
32曝光差校正量計算裝置
35適當(dāng)曝光像素平均值計算電路
36欠曝光像素平均值計算電路。
權(quán)利要求
1.一種成像設(shè)備，包括 固態(tài)成像裝置，其包括 多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中； 多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行中的一個的第一像素組上；和 多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器；以及 圖像處理部分，其獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于所述多個第一顏色濾色器與所述多個第二顏色濾色器之間的光譜靈敏度的差別而造成的，并且所述圖像處理部分將通過校正所述電平差而從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像進(jìn)行合并。
2.根據(jù)權(quán)利要求1所述的成像設(shè)備,其中 所述圖像處理部分根據(jù)第一平均值和第二平均值獲取所述電平差，并且校正所述電平差，其中所述第一平均值是在作為校正對象的一個像素周邊的、并且屬于所述第一像素組的預(yù)定數(shù)量的像素的拍攝圖像信號的平均值，所述第二平均值是在所述作為校正對象的像素周邊的、并且屬于所述第二像素組的預(yù)定數(shù)量的像素的拍攝圖像信號的平均值。
3.根據(jù)權(quán)利要求2所述的成像設(shè)備，其中 所述圖像處理部分通過如下步驟校正所述電平差設(shè)定所述第一平均值與所述第二平均值的比率以作為校正比率；以及將所述作為校正對象的像素的拍攝圖像信號乘以所述校正比率。
4.根據(jù)權(quán)利要求3所述的成像設(shè)備，其中 當(dāng)所述校正比率超過預(yù)設(shè)上限值時，所述圖像處理部分使用所述上限值作為所述校正比率。
5.根據(jù)權(quán)利要求2至4中任一項所述的成像設(shè)備，其中 所述圖像處理部分判定所述第一拍攝圖像和所述第二拍攝圖像中是否包含指示出目標(biāo)的輪廓部分的邊緣部分的圖像，并且在排除所述邊緣部分的情況下獲取所述第一平均值和所述第二平均值。
6.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中 所述成像設(shè)備進(jìn)一步包括成像控制部分，其在產(chǎn)生曝光差的同時通過所述第一像素組執(zhí)行成像并且通過所述第二像素組執(zhí)行成像，并且 所述圖像處理部分獲取所述電平差，基于所述電平差和所述曝光差來校正所述第一像素組和所述第二像素組中的一個像素組的各像素的拍攝圖像信號，并且將校正后的各拍攝圖像信號與另一個像素組的各像素的拍攝圖像信號進(jìn)行合并，由此產(chǎn)生一個具有寬動態(tài)范圍的合并圖像。
7.根據(jù)權(quán)利要求1至6中任一項所述的成像設(shè)備，其中 所述第一像素組的各像素的光接收面積與所述第二像素組的各像素的光接收面積在誤差范圍之內(nèi)彼此相等。
8.根據(jù)權(quán)利要求1至7中任一項所述的成像設(shè)備，其中 包括所述第二顏色的所述多個濾色器的各顏色的光譜靈敏度的半最大值處的全寬度處在包括所述第一顏色的所述多個濾色器的各對應(yīng)顏色的光譜靈敏度的半最大值處的全寬度之內(nèi)。
9.根據(jù)權(quán)利要求1至8中任一項所述的成像設(shè)備，其中 包括所述第一顏色的所述多個濾色器的各顏色的光譜靈敏度的峰值與包括所述第二顏色所述多個濾色器的各顏色的光譜靈敏度的峰值的比率在O. 9到1.1的范圍之內(nèi)。
10.根據(jù)權(quán)利要求1至9中任一項所述的成像設(shè)備，其中 包括所述第一顏色的所述多個濾色器是三原色濾色器，包括所述第二顏色的所述多個濾色器是三原色濾色器。
11.根據(jù)權(quán)利要求1至9中任一項所述的成像設(shè)備，其中 以所述第一顏色配置的所述多個濾色器是補色濾色器，以所述第二顏色配置的所述多個濾色器是補色濾色器。
12.一種處理拍攝圖像的方法，其處理由固態(tài)成像裝置拍攝到的圖像，所述固態(tài)成像裝置包括 多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中； 多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行中的一個的第一像素組上；以及 多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器，其中 所述方法包括步驟 獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于包括所述第一顏色的多個濾色器與包括所述第二顏色的多個濾色器之間的光譜靈敏度的差別而造成的； 校正所述電平差；以及 將從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像彼此進(jìn)行合并。
13.根據(jù)權(quán)利要求12所述的處理拍攝圖像的方法，其中 根據(jù)第一平均值和第二平均值獲取所述電平差，并且校正所述電平差，其中所述第一平均值是在作為校正對象的一個像素周邊的、并且屬于所述第一像素組的預(yù)定數(shù)量的像素的拍攝圖像信號的平均值，所述第二平均值是在所述作為校正對象的像素周邊的、并且屬于所述第二像素組的預(yù)定數(shù)量的像素的拍攝圖像信號的平均值。
14.根據(jù)權(quán)利要求13所述的處理拍攝圖像的方法，其中 通過如下步驟校正所述電平差設(shè)定所述第一平均值與所述第二平均值的比率以作為校正比率；以及將所述作為校正對象的像素的拍攝圖像信號乘以所述校正比率。
15.根據(jù)權(quán)利要求14所述的處理拍攝圖像的方法，其中 所述方法進(jìn)一步包括當(dāng)所述校正比率超過預(yù)設(shè)上限值時使用所述上限值作為所述校正比率。
16.根據(jù)權(quán)利要求13至15中任一項所述的處理拍攝圖像的方法，其中 所述方法進(jìn)一步包括處理判定所述第一拍攝圖像和所述第二拍攝圖像中是否包含指示出目標(biāo)的輪廓部分的邊緣部分的圖像，以及 在排除所述邊緣部分的情況下獲取所述第一平均值和所述第二平均值。
17.根據(jù)權(quán)利要求12所述的處理拍攝圖像的方法，其中 當(dāng)要對在產(chǎn)生曝光差的同時通過所述第一像素組執(zhí)行成像以及通過所述第二像素組執(zhí)行成像而獲得的拍攝圖像進(jìn)行處理時，獲取所述電平差，基于所述電平差和所述曝光差來校正所述第一像素組和所述第二像素組中的一個像素組的各像素的拍攝圖像信號，并且將校正后的各拍攝圖像信號與另一個像素組的各像素的拍攝圖像信號進(jìn)行合并，由此產(chǎn)生一個具有寬動態(tài)范圍的合并圖像。
18.根據(jù)權(quán)利要求12至17中任一項所述的處理拍攝圖像的方法，其中 所述第一像素組的各像素的光接收面積與所述第二像素組的各像素的光接收面積在誤差范圍之內(nèi)彼此相等。
19.根據(jù)權(quán)利要求12至18中任一項所述的處理拍攝圖像的方法，其中 包括所述第二顏色的所述多個濾色器的各顏色的光譜靈敏度的半最大值處的全寬度處在包括所述第一顏色的所述多個濾色器的各對應(yīng)顏色的光譜靈敏度的半最大值處的全寬度之內(nèi)。
20.根據(jù)權(quán)利要求12至19中任一項所述的處理拍攝圖像的方法，其中 包括所述第一顏色的所述多個濾色器的各顏色的光譜靈敏度的峰值與包括所述第二顏色的所述多個濾色器的各顏色的光譜靈敏度的峰值的比率在O. 9到1.1的范圍之內(nèi)。
21.根據(jù)權(quán)利要求12至20中任一項所述的處理拍攝圖像的方法，其中 包括所述第一顏色的所述多個濾色器是三原色濾色器，包括所述第二顏色的所述多個濾色器是三原色濾色器。
22.根據(jù)權(quán)利要求12至20中任一項所述的處理拍攝圖像的方法，其中 包括所述第一顏色的所述多個濾色器是補色濾色器，包括所述第二顏色的所述多個濾色器是補色濾色器。
23.根據(jù)權(quán)利要求19所述的處理拍攝圖像的方法，其中 處理由所述第一像素組產(chǎn)生的第一拍攝圖像以產(chǎn)生目標(biāo)的自然彩色圖像，處理由所述第二像素組產(chǎn)生的第二拍攝圖像以產(chǎn)生目標(biāo)的鮮艷彩色圖像。
24.一種用于處理拍攝圖像的程序，其處理由權(quán)利要求1中所述的固態(tài)成像裝置拍攝到的圖像，其中 提供了用于執(zhí)行根據(jù)權(quán)利要求12至23中任一項所述的處理拍攝圖像的方法的步驟。
25.一種非臨時性的計算機(jī)可讀記錄介質(zhì)，其存儲用于使計算機(jī)執(zhí)行用于處理由固態(tài)成像裝置拍攝到的圖像的拍攝圖像處理，所述固態(tài)成像裝置包括 多個像素，其以二維陣列布置并形成在半導(dǎo)體襯底中； 多個第一顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括像素的奇數(shù)行和偶數(shù)行中的一個的第一像素組上；以及 多個第二顏色濾色器，它們根據(jù)預(yù)定規(guī)則布置并堆疊在包括所述奇數(shù)行和偶數(shù)行中的另一個的第二像素組上，所述多個第二顏色濾色器在光譜靈敏度上不同于所述多個第一顏色濾色器，其中 在所述圖像處理中， 獲取所述第一像素組的各像素的拍攝圖像信號與所述第二像素組的各像素的拍攝圖像信號之間的電平差，所述電平差是由于包括所述第一顏色的所述多個濾色器與包括所述第二顏色的所述多個濾色器之間的光譜靈敏度的差別而造成的； 校正 所述電平差；并且 將從所述第一像素組獲取的第一拍攝圖像與從所述第二像素組獲取的第二拍攝圖像彼此進(jìn)行合并。
全文摘要
公開了一種成像裝置，其將由能夠拍攝兩種具有不同色調(diào)的彩色圖像的固態(tài)圖像傳感器獲取的兩種類型的彩色圖像進(jìn)行合并。根據(jù)所述固態(tài)圖像傳感器的第一組像素(具有寬的濾色器光譜靈敏度的像素)處理第一拍攝彩色圖像，根據(jù)所述固態(tài)圖像傳感器的第二組像素(具有窄的濾色器光譜靈敏度的像素)處理第二拍攝彩色圖像。關(guān)于寬的和窄的濾色器光譜靈敏度的電平差，使用所述光譜靈敏度導(dǎo)出所述第一像素組中的各像素的拍攝圖像信號與所述第二像素組中的各像素的拍攝圖像信號之間的電平差(步驟S1和S2)，以校正所述電平差，并且將所述第一拍攝彩色圖像與所述第二拍攝彩色圖像進(jìn)行合并。
文檔編號H04N9/04GK103004211SQ20118002024
公開日2013年3月27日 申請日期2011年4月15日 優(yōu)先權(quán)日2010年4月20日
發(fā)明者田中誠二, 蘆田哲郎, 河合智行, 河口武弘, 遠(yuǎn)藤恒史 申請人:富士膠片株式會社