固體攝像裝置以及攝像機模塊的制作方法
【專利摘要】本發(fā)明提供一種固體攝像裝置，其采用具備包括光靈敏度各不相同的多個小像素的小像素組的像素構(gòu)成，能實施有效的高動態(tài)范圍合成。根據(jù)實施方式，固體攝像裝置具有像素陣列以及高動態(tài)范圍（HDR）合成電路。HDR合成電路使用來自像素陣列的圖像信號，實施HDR合成。像素被構(gòu)成為小像素組，HDR合成電路具有有效像素選擇部、靈敏度比校正部以及運算處理部。有效像素選擇部從小像素組中，選擇使HDR合成中的信號值的使用有效的一個或者兩個以上的小像素，作為有效像素。靈敏度比校正部實施對每個小像素的信號值的靈敏度比校正。運算處理部將來自靈敏度比校正部的每個小像素的信號值中的、有效像素的信號值，使用在HDR合成用的運算中。
【專利說明】固體攝像裝置以及攝像機模塊
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明的實施方式涉及固體攝像裝置以及攝像機模塊。
【背景技術(shù)】
[0002]近年來，固體攝像裝置通過像素數(shù)的增加和像素的微細(xì)化，降低了像素的動態(tài)范圍。固體攝像裝置在被拍攝體中的亮度高的部分，容易產(chǎn)生輸出電荷對入射光量的飽和。對于這種輸出電荷的飽和，例如，有時采取輸出增益的減少、電荷積蓄時間的縮短等措施。在這種情況下，能對亮度高的部分降低輸出電荷的飽和，而另一方面，在亮度低的部分獲得最佳的輸出卻是很難的。
[0003]高動態(tài)范圍(high dynamic range ;HDR)合成已知為用于與通常的攝影相比表現(xiàn)出寬度更寬的動態(tài)范圍的攝影技法。作為HDR合成的方法，例如有按每條使像素向水平方向并列而成的水平線，使電荷積蓄時間或輸出增益不同的方法。根據(jù)該方法，由于相對于通常的攝影的情況，會使垂直方向上的分辨率實質(zhì)上減半，所以分辨率的降低是個問題。
[0004]此外，作為HDR合成的其他方法，例如，有將使電荷積蓄時間、輸出增益相互不同而取得的兩個以上的圖像合成的方法。根據(jù)該方法，會相對于影像傳感器的輸出周期，在合成圖像的幀率上產(chǎn)生延遲。因此，特別是在對動態(tài)圖像進(jìn)行攝影的情況下，容易產(chǎn)生被拍攝體圖像的搖晃(運動模糊)便成為課題。此外，由于需要用于對多個圖像使幀定時同時化的幀存儲器，所以由電路 規(guī)模的增大帶來的成本的增加、功耗的增加是個問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的課題是提供一種固體攝像裝置以及攝像機模塊，其采用具備包括光靈敏度各不相同的多個小像素的小像素組的像素構(gòu)成，能實施有效的高動態(tài)范圍合成。
[0006]實施方式的固體攝像裝置的特征在于，具有:像素陣列，具備向水平方向以及垂直方向排列的多個像素，生成與向各像素的入射光量相應(yīng)的信號電荷；以及高動態(tài)范圍合成電路，使用來自所述像素陣列的圖像信號，實施高動態(tài)范圍合成，所述像素分別構(gòu)成為包括能讀出所述信號電荷的多個小像素的小像素組，所述小像素組包括光靈敏度相互不同的兩個以上的所述小像素，所述高動態(tài)范圍合成電路具有:有效像素選擇部，從所述小像素組中，選擇使所述高動態(tài)范圍合成中的信號值的使用有效的一個或者兩個以上的所述小像素，作為有效像素；靈敏度比校正部，對每個所述小像素的信號值，實施與所述小像素彼此的所述光靈敏度之比相應(yīng)的靈敏度比校正；以及運算處理部，使用來自所述靈敏度比校正部的每個所述小像素的信號值中的、所述有效像素的信號值，實施所述高動態(tài)范圍合成用的運算。
[0007]另一實施方式的攝像機模塊的特征在于，具有:攝像光學(xué)系統(tǒng)，取入來自被拍攝體的光，使被拍攝體圖像成像；以及固體攝像裝置，將由所述攝像光學(xué)系統(tǒng)取入的光轉(zhuǎn)換為信號電荷，拍攝所述被拍攝體圖像，所述固體攝像裝置具有:像素陣列，具備向水平方向以及垂直方向排列的多個像素，生成與向各像素的入射光量相應(yīng)的所述信號電荷；以及高動態(tài)范圍合成電路，使用來自所述像素陣列的圖像信號，實施高動態(tài)范圍合成，所述像素分別構(gòu)成為包括能讀出所述信號電荷的多個小像素的小像素組，所述小像素組包括光靈敏度相互不同的兩個以上的所述小像素，所述高動態(tài)范圍合成電路具有:有效像素選擇部，從所述小像素組中，選擇使所述高動態(tài)范圍合成中的信號值的使用有效的一個或者兩個以上的所述小像素，作為有效像素；靈敏度比校正部，對每個所述小像素的信號值，實施與所述小像素彼此的所述光靈敏度之比相應(yīng)的靈敏度比校正；以及運算處理部，使用來自所述靈敏度比校正部的每個所述小像素的信號值中的、所述有效像素的信號值，實施所述高動態(tài)范圍合成用的運算。
[0008]發(fā)明的效果
[0009]根據(jù)上述構(gòu)成的固體攝像裝置以及攝像機模塊，其采用具備包括光靈敏度各不相同的多個小像素的小像素組的像素構(gòu)成，能實施有效的高動態(tài)范圍合成。
【專利附圖】

【附圖說明】 [0010]圖1是表示第一實施方式的固體攝像裝置的概略結(jié)構(gòu)的框圖。
[0011]圖2是表示具備圖1所示的固體攝像裝置的數(shù)字?jǐn)z像機的概略結(jié)構(gòu)的框圖。
[0012]圖3是對像素陣列、像素以及小像素進(jìn)行說明的圖。
[0013]圖4是表示像素陣列中排列的小像素的示意圖。
[0014]圖5是對根據(jù)HDR合成電路的HDR合成進(jìn)行說明的圖。
[0015]圖6是對根據(jù)HDR合成電路的HDR合成進(jìn)行說明的圖。
[0016]圖7是表示HDR合成電路的構(gòu)成的框圖。
[0017]圖8是對有效像素的選擇用的閾值進(jìn)行說明的圖。
[0018]圖9是表示有效像素選擇部的構(gòu)成的框圖。
[0019]圖10是對小像素的輸出特性和HDR合成進(jìn)行說明的圖。
[0020]圖11是表示第二實施方式的固體攝像裝置中包含的HDR合成電路的構(gòu)成的框圖。
[0021]圖12是對小像素的輸出特性和有效像素選擇部中的有效像素的選擇進(jìn)行說明的圖。
[0022]圖13是對會因靈敏度比校正產(chǎn)生的輸出特性的偏移進(jìn)行說明的圖。
[0023]圖14是將圖13的一部分進(jìn)行放大表示的圖。
[0024]圖15是表示輸出判定部的構(gòu)成的框圖。
[0025]圖16是對有效判定單元中的判定進(jìn)行說明的圖。
[0026]圖17是表示有效判定單元的構(gòu)成的框圖。
[0027]圖18是表示運算處理部的構(gòu)成的框圖。
[0028]圖19是表示運算處理部的變形例的框圖。
[0029]圖20是表示有效判定單元的變形例的框圖。
[0030]圖21是表示第三實施方式的固體攝像裝置的概略結(jié)構(gòu)的框圖。
[0031]圖22是表示具備第三實施方式的固體攝像裝置的數(shù)字?jǐn)z像機的概略結(jié)構(gòu)的圖。
[0032]圖23是表示拍攝區(qū)中設(shè)定的區(qū)域的圖。
[0033]圖24是對根據(jù)第二輸出校正部的信號值的校正進(jìn)行說明的圖。
[0034]圖25是表示第三實施方式的固體攝像裝置的變形例的框圖。【具體實施方式】
[0035]以下參照附圖，詳細(xì)說明實施方式的固體攝像裝置。另外，并非是通過這些實施方式來限定本發(fā)明的。
[0036](第一實施方式)
[0037]圖1是表示第一實施方式的固體攝像裝置的概略結(jié)構(gòu)的框圖。圖2是表示具備圖1所示的固體攝像裝置的數(shù)字?jǐn)z像機的概略結(jié)構(gòu)的框圖。
[0038]數(shù)字?jǐn)z像機I具有攝像機模塊2以及后級處理部3。攝像機模塊2具有攝像光學(xué)系統(tǒng)4以及固體攝像裝置5。后級處理部3具有影像信號處理器(image signal processor ；ISP) 6、存儲部7以及顯示部8。攝像機模塊2除了被用于數(shù)字?jǐn)z像機I以外，還被應(yīng)用于例如帶攝像機的便攜式終端等電子設(shè)備中。
[0039]攝像光學(xué)系統(tǒng)4取入來自被拍攝體的光，使被拍攝體圖像成像。固體攝像裝置5拍攝被拍攝體圖像。ISP6實施由在固體攝像裝置5的拍攝獲得的圖像信號的信號處理。存儲部7儲存經(jīng)過了在ISP6的信號處理的圖像。存儲部7根據(jù)用戶的操作等，向顯示部8輸出圖像信號。顯示部8根據(jù)從ISP6或存儲部7輸入的圖像信號，顯示圖像。顯示部8例如是液晶顯示器。
[0040]固體攝像裝置5具備信號處理電路11、以及作為攝像元件的影像傳感器10。影像傳感器 10 例如是 CMOS (Complementary Metal Oxide Semiconductor:互補金屬氧化物半導(dǎo)體)影像傳感器。影像傳感器10除了 CMOS影像傳感器之外，也可以是CXD (chargecoupled device:電荷f禹合器件)。
[0041]影像傳感器10具有:像素陣列12、垂直移位寄存器13、水平移位寄存器14、定時控制部15、相關(guān)二重取樣部(⑶S) 16、自動增益控制部(AGC) 17以及模擬數(shù)字轉(zhuǎn)換部(ADC)18。
[0042]像素陣列12設(shè)置于影像傳感器10的拍攝區(qū)。像素陣列12由向水平方向(行方向)以及垂直方向(列方向)呈陣列狀配置的多個像素構(gòu)成。各像素具備作為光電轉(zhuǎn)換元件的光電二極管。像素陣列12生成與向各像素的入射光量相應(yīng)的信號電荷。
[0043]圖3是對像素陣列、像素以及小像素進(jìn)行說明的圖。像素20構(gòu)成小像素組21。小像素組21由四個小像素22構(gòu)成。在各小像素組21中，小像素22以構(gòu)成向水平方向兩個、向垂直方向兩個的矩陣的方式進(jìn)行配置。各小像素22分別構(gòu)成為能讀出信號電荷。小像素組21包括光靈敏度相互不同的兩個以上的小像素22。
[0044]定時控制部15將指示讀出來自像素陣列12的各小像素22的信號的定時的定時信號，提供給垂直移位寄存器13以及水平移位寄存器14。垂直移位寄存器13根據(jù)來自定時控制部15的定時信號即垂直同步信號，按每行來選擇像素陣列12內(nèi)的小像素22。垂直移位寄存器13向選擇出的行的各小像素22輸出讀出信號。
[0045]從垂直移位寄存器13輸入了讀出信號的小像素22，輸出根據(jù)入射光量積蓄的信號電荷。像素陣列12將來自小像素22的信號，經(jīng)由垂直信號線輸出到⑶S16。垂直移位寄存器13作為選擇像素陣列12中的讀出信號電荷的行的行選擇電路發(fā)揮功能。
[0046]⑶S16對來自像素陣列12的信號，進(jìn)行固定模式噪聲的降低用的相關(guān)二重取樣處理。AGC17對經(jīng)過了⑶S16中的相關(guān)二重取樣處理的信號進(jìn)行放大。ADC18將經(jīng)過了 AGC17中的放大的信號，從模擬方式轉(zhuǎn)換為數(shù)字方式。水平移位寄存器14將在ADC18轉(zhuǎn)換為數(shù)字方式的信號，根據(jù)作為來自定時控制部15的定時信號的水平同步信號，依次進(jìn)行讀出。
[0047]信號處理電路11對由水平移位寄存器14讀出的數(shù)字圖像信號，實施各種信號處理。信號處理電路11具有高動態(tài)范圍(HDR)合成電路19。HDR合成電路19對向信號處理電路11輸入的數(shù)字圖像信號，實施HDR合成。信號處理電路11在實施根據(jù)HDR合成電路19的HDR合成之外，例如，還實施損傷校正、降噪、著色處理校正、白平衡調(diào)整等信號處理。固體攝像裝置5輸出經(jīng)過了在信號處理電路11的信號處理的數(shù)字圖像信號。
[0048]圖4是表示像素陣列中排列的小像素的示意圖。像素陣列12中，例如檢測紅色(R)光的小像素組21R、檢測綠色(G)光的小像素組21G、檢測藍(lán)色(B)光的小像素組21B構(gòu)成了拜耳(beyer)排列。
[0049]構(gòu)成小像素組21的四個小像素22A、22B、22C、22D以使光靈敏度相互不同的方式構(gòu)成。在本實施方式中，四個小像素22A、22B、22C、22D中的小像素22A構(gòu)成最高的光靈敏度。在小像素22A之后，以小像素22B、22C、22D的順序，光靈敏度降低。另外，使光靈敏度相互不同的小像素22A、22B、22C、22D的配置的方式，不限于本實施方式所述那樣的情況，可以是任意的方式。
[0050]各小像素22在光接收面上具備使入射光通過的開口。構(gòu)成小像素組21的四個小像素22A、22B、22C、22D的開口的面積分別不同。各小像素22具有與開口的面積相應(yīng)的光靈敏度。另外，固體攝像裝置5不限于根據(jù)開口的面積使各小像素22的光靈敏度不同的情況。固體攝像裝置5也可以除了根據(jù)開口的面積之外，還例如根據(jù)電子快門時間、模擬增益等，使各小像素22 的光靈敏度不同。
[0051]固體攝像裝置5也可以將開口的面積、電子快門時間、模擬增益等中的兩個以上組合起來，對各小像素22的光靈敏度進(jìn)行調(diào)整。在各小像素22的光靈敏度的設(shè)定中，開口的面積、電子快門時間以及模擬增益分別設(shè)為能單獨地進(jìn)行變更。例如，在固體攝像裝置5的出廠時之前，開口的面積、電子快門時間以及模擬增益分別進(jìn)行調(diào)整。
[0052]圖5以及圖6是對根據(jù)HDR合成電路的HDR合成進(jìn)行說明的圖。在圖5以及圖6所示的圖表中，縱軸表示輸出等級，橫軸表示入射光量。在小像素22A的入射光量成為規(guī)定的飽和光量LI時，在小像素22A產(chǎn)生的信號電荷達(dá)到光電二極管的積蓄容量。如圖5所示那樣，在入射光量比飽和光量LI大時，通過使小像素22k的輸出電荷飽和，從而來自小像素22A的信號SI的輸出等級變?yōu)楹愣ā?br> [0053]在小像素22B的入射光量變?yōu)橐?guī)定的飽和光量L2 (設(shè)L2 > LI)時，在小像素22B產(chǎn)生的信號電荷達(dá)到光電二極管的積蓄容量。在入射光量比飽和光量L2大時，通過使小像素22B的輸出電荷飽和，從而來自小像素22B的信號S2的輸出等級變?yōu)楹愣ā?br> [0054]在小像素22C的入射光量為規(guī)定的飽和光量L3 (設(shè)L3 > L2)時，在小像素22C產(chǎn)生的信號電荷達(dá)到光電二極管的積蓄容量。在入射光量比飽和光量L3大時，通過使小像素22C的輸出電荷飽和，從而來自小像素22C的信號S3的輸出等級變?yōu)楹愣?。來自小像?2D的信號S4的輸出等級在入射光量比小像素22C的飽和光量L3大的情況下，也會與入射光量的增加成比例地提高。
[0055]在此，設(shè)小像素22A、22B、22C、22D的光靈敏度之比SRl:SR2:SR3:SR4為靈敏度t匕。在本實施方式中，設(shè)為SRl > SR2 > SR3 > SR4。HDR合成電路19為了使小像素22A、22B、22C、22D的輸出等級一致，而實施靈敏度比校正。
[0056]HDR合成電路19在入射光量比LI大而且為L2以下時，實施根據(jù)SI和S2的加法運算的HDR合成。在HDR合成時，HDR合成電路19為了使小像素22B的輸出等級與小像素22A的輸出等級一致，而將靈敏度比校正用的校正值M2 (=SRl / SR2)乘以S2。
[0057]HDR合成電路19在入射光量比L2大而且為L3以下時，實施對(SI +M2XS2)加上S3的HDR合成。在HDR合成時，HDR合成電路19為了使小像素22C的輸出等級與小像素22A的輸出等級一致，而將靈敏度比校正用的校正值M3 (= SRl / SR3)乘以S3。
[0058]HDR合成電路19在入射光量比L3大時，實施對(SI +M2XS2 + M3XS3)WiS4的HDR合成。在HDR合成時，HDR合成電路19為了使小像素22D的輸出等級與小像素22A的輸出等級一致，而將靈敏度比校正用的校正值M4 (= SRl / SR4)乘以S4。
[0059]通過以上，HDR合成電路19獲得HDR合成信號。另外，HDR合成電路19在入射光量為LI以下時，不實施HDR合成地輸出SI。設(shè)為對SI的校正值Ml是I。例如，在相對于SRl = 1，設(shè)定為 SR2 = I / 2、SR3 = I / 4、SR4 =1/8 的情況下，變?yōu)?M2 = 2,M3 = 4、M4 = 8。
[0060]固體攝像裝置5能通過在HDR合成電路19的HDR合成，進(jìn)行在寬度寬的動態(tài)范圍的拍攝。通過能使被拍攝體中的亮度低的部分中的曝光不足、以及亮度高的部分中的曝光過多這兩者降低，從而固體攝像裝置5能獲得高質(zhì)量的圖像。通過使用小像素22的HDR合成的實施，固體攝像裝置5能獲得具有與像素陣列12中的像素20同等的分辨率的合成圖像。
[0061]圖7是表示HDR合成電路的構(gòu)成的框圖。HDR合成電路19具有SRAM (staticrandom access memory) 31、觸發(fā)器(FF) 32、33、有效像素選擇部34、靈敏度比校正部35以及運算處理部36。
[0062]SRAM31保持向HDR合成電路19輸入的數(shù)字圖像信號。SRAM31是保持I根水平線的線存儲器。水平線設(shè)為來自使小像素22向水平方向并列而成的行的圖像信號。SRAM31將針對垂直方向的延遲施加給圖像信號。
[0063]FF32、33使每個小像素22的信號依次延遲。FF32、33將針對水平方向的延遲施加給圖像信號。SRAM31以及FF32、33按每個小像素組21，使來自四個小像素22A、22B、22C、22D的信號同時刻化。
[0064]對有效像素選擇部34，輸入同時刻化的四個信號。有效像素選擇部34從小像素組21的四個小像素22A、22B、22C、22D中，選擇一個或者兩個以上的有效像素。有效像素是使HDR合成中的信號值的使用有效的小像素22。
[0065]圖8是對有效像素的選擇用的閾值進(jìn)行說明的圖。隨著入射光量從零增加，小像素22的輸出等級與入射光量大致成比例地增加。在入射光量到達(dá)規(guī)定的飽和光量LL之后，小像素22的輸出等級向恒定值收斂。
[0066]在圖示的圖表中，實線AA表示小像素22的理想的輸出特性。根據(jù)理想的輸出特性，在入射光量從零到LL之間，小像素22的輸出等級與入射光量示出良好的比例關(guān)系。此外，根據(jù)小像素22的理想的輸出特性，在入射光量超過LL的時刻，小像素22的輸出等級直接變?yōu)楹愣ā?br> [0067]在入射光量接近零時，小像素22的輸出等級會較大地受到噪聲成分的影響。因此，小像素22的輸出等級在入射光量接近零時，能引起不能保持與入射光量的足夠的比例關(guān)系、被埋入到噪聲成分中。
[0068]當(dāng)入射光量相對于LL稍小時，與稍超過LL時之間所示的虛線AB表示小像素22的現(xiàn)實的輸出特性。在現(xiàn)實的輸出特性的情況下，設(shè)從比LL小的等級起使入射光量增加。在入射光量到達(dá)比LL稍小的等級之后，在小像素22的輸出等級，會產(chǎn)生相對于比例關(guān)系的直線向低等級側(cè)的偏移。
[0069]小像素22的輸出等級在入射光量到達(dá)LL之后，也是相對于理想的輸出特性保持背離地平緩地增加。在入射光量稍超過LL之后，小像素22的輸出等級變?yōu)楹愣?。相對于理想的輸出特性的這樣的背離例如依賴于knee特性的影響。
[0070]Thl設(shè)為入射光量接近零時的、對低輸出等級設(shè)定的第一閾值。Thl是為了將低到容易接受到噪聲成分的影響的程度的輸出等級的小像素22，從HDR合成的對象中排除在外而設(shè)定的。Th2設(shè)為入射光量接近LL時的、對高輸出等級設(shè)定的第二閾值。Th2是為了將高到與入射光量的比例關(guān)系容易惡化的程度的輸出等級的小像素22，從HDR合成的對象中排除在外而設(shè)定的。
[0071]有效像素選擇部34將在Thl、以及設(shè)定為比Thl更高輸出等級的Th2之間的范圍內(nèi)包含信號值的小像素22，選擇為有效像素。HDR合成電路19例如保持預(yù)先設(shè)定的Thl以及 Th2。
[0072]圖9是表示有效像素選擇部的構(gòu)成的框圖。有效像素選擇部34具有比較器37、38,AND電路39。對有效像素選 擇部34，作為輸入數(shù)據(jù)40，輸入同時刻化的四個信號。比較器37對輸入數(shù)據(jù)40和Thl進(jìn)行比較。例如，在輸入數(shù)據(jù)40比Thl大的情況下，比較器37輸出“I”。在輸入數(shù)據(jù)40為Thl以下的情況下，比較器37輸出“O”。
[0073]比較器38對輸入數(shù)據(jù)40和Th2進(jìn)行比較。例如，在輸入數(shù)據(jù)40比Th2小的情況下，比較器38輸出“I”。在輸入數(shù)據(jù)40為Th2以上的情況下，比較器38輸出“O”。
[0074]AND電路39計算出來自比較器37的輸出與來自比較器38的輸出的邏輯積。AND電路39對作為輸入數(shù)據(jù)的四個信號，分別計算出邏輯積。邏輯積“I”表示輸出了該信號的小像素22是有效像素。邏輯積“O”表示輸出了該信號的小像素22不是有效像素。有效像素選擇部34將表示小像素22A、22B、22C、22D是否是有效像素的4比特的信息，作為選擇信號41輸出ο
[0075]另外，作為有效像素選擇部34選擇有效像素的條件，只要滿足信號值比Thl大、信號值比Th2小的至少一方即可。有效像素選擇部34根據(jù)比較了小像素22的信號值和預(yù)先設(shè)定的Thl以及Th2的至少一方的結(jié)果，只要對有效像素進(jìn)行選擇即可。
[0076]對靈敏度比校正部35，輸入同時刻化的四個信號。靈敏度比校正部35對四個小像素22A、22B、22C、22D的各信號值，實施靈敏度比校正。靈敏度比校正部35對小像素22A、22B、22C、22D的信號值，分別乘以校正值Ml、M2、M3、M4。
[0077]運算處理部36使用來自靈敏度比校正部35的每個小像素22的信號值中的、有效像素的信號值，實施HDR合成用的運算。運算處理部36提取每個小像素22的信號值中的、選擇信號41中表示為“I”的信號值，進(jìn)而實施平均化的濾波運算。HDR合成電路19將在運算處理部36的運算結(jié)果，作為HDR合成信號進(jìn)行輸出。
[0078]圖10是對小像素的輸出特性和HDR合成進(jìn)行說明的圖。在圖10中，對三個小像素22A、22B、22C的信號S1、S2、S3，示出了輸出等級和入射光量的關(guān)系。
[0079]在小像素22B的S2為低輸出等級的入射光量的范圍，與小像素22A能輸出與入射光量相應(yīng)的SI的全部范圍重疊。在該入射光量的范圍中的L12中，SI以及S2的輸出等級均在Thl至Th2的范圍內(nèi)，且滿足有效像素的條件。在入射光量在L12的范圍內(nèi)時，HDR合成電路19實施使用SI以及S2的HDR合成。在入射光量比L12的范圍低的情況下，HDR合成電路19實施使用SI的HDR合成。
[0080]小像素22C的S3成為低輸出等級的入射光量的范圍，與小像素22B能輸出與入射光量相應(yīng)的S2的全部范圍重疊。在該入射光量的范圍中的L23中，S2以及S3的輸出等級均在Thl至Th2的范圍內(nèi)，且滿足有效像素的條件。在入射光量在L23的范圍內(nèi)時，HDR合成電路19實施使用S2以及S3的HDR合成。在入射光量比L12的范圍高而且比L23的范圍低的情況下，HDR合成電路19實施使用S2的HDR合成。在入射光量比L23的范圍高情況下，HDR合成電路19實施使用S3的HDR合成。
[0081]小像素22A、22B、22C、22D的輸出特性在能輸出與入射光量相應(yīng)的信號的入射光量的范圍重合的小像素22彼此間，設(shè)定為存在任一小像素22均滿足有效像素的條件的范圍。當(dāng)設(shè)小像素22A、22B為例子時，在小像素22A、22B的雙方能輸出與入射光量相應(yīng)的信號的入射光量的范圍內(nèi)，包含小像素22A、22B的雙方滿足有效像素的條件的范圍L12。
[0082]另外，HDR合成電路19不限于實施根據(jù)來自小像素組21中的一個小像素22的信號的HDR合成、根據(jù)來自兩個小像素22的信號的HDR合成的電路。HDR合成電路19也可設(shè)為實施根據(jù)來自三個以上的小像素22的信號的HDR合成。 [0083]小像素組21中包含的小像素22不限于為4個的情況。小像素組21只要包括光靈敏度相互不同的兩個以上的小像素22即可。小像素組21也可以對多個小像素22中的任一個加上信號。在這種情況下，成為加法運算的對象的小像素22彼此也可以為相同的光
靈敏度。
[0084]固體攝像裝置5例如將構(gòu)成小像素組21的四個小像素22A、22B、22C、22D中的、根據(jù)來自小像素22A的輸出的信號和根據(jù)來自小像素22C的輸出的信號相加。這種信號的加法運算例如由信號處理電路11進(jìn)行。固體攝像裝置5將經(jīng)過了對于小像素22A、22C的加法運算的信號，作為根據(jù)高靈敏度的光檢測的圖像信號，使用在HDR合成中。在這種情況下，也是固體攝像裝置5能通過在HDR合成電路19的HDR合成，進(jìn)行在寬度寬的動態(tài)范圍的拍攝。
[0085]根據(jù)第一實施方式，HDR合成電路19通過將在有效像素選擇部34中選擇為有效像素的小像素22的信號值使用在HDR合成中，從而能提高HDR合成的精度。在使用在HDR合成中的小像素22根據(jù)入射光量切換時，HDR合成電路19能對HDR合成后的輸出，確保對入射光量的足夠的連續(xù)性。
[0086]HDR合成電路19能通過使用第一閾值Thl選擇有效像素，從而獲得噪聲成分的影響被降低了的HDR合成信號。HDR合成電路19能通過使用第二閾值Th2選擇有效像素，從而抑制在入射光量接近飽和光量時能產(chǎn)生的輸出特性的搖動導(dǎo)致的負(fù)面影響。
[0087]HDR合成電路19在實施根據(jù)來自兩個以上的小像素22的信號的HDR合成的情況下，以任一小像素22均為有效像素為條件。在HDR合成中使用信號值的小像素22因入射光量的變化而切換的過程中，通過將作為有效像素的兩個以上的小像素22的信號使用在HDR合成中，從而能相對于入射光量的變化始終維持HDR合成的高精度。
[0088]根據(jù)以上，固體攝像裝置5能進(jìn)行HDR合成電路19中的有效的HDR合成，起到能獲得高質(zhì)量的HDR合成圖像這一效果。
[0089](第二實施方式)
[0090]圖11是表示第二實施方式的固體攝像裝置中包含的HDR合成電路的構(gòu)成的框圖。對于與第一實施方式相同的部分標(biāo)注相同的附圖標(biāo)記，并適當(dāng)?shù)厥÷灾貜?fù)的說明。
[0091]輸出判定部51實施對經(jīng)過了在靈敏度比校正部35的靈敏度比校正的信號值的輸出判定。運算處理部52使用來自輸出判定部51的每個小像素22的信號值，實施HDR合成用的運算。
[0092]圖12是對小像素的輸出特性和有效像素選擇部中的有效像素的選擇進(jìn)行說明的圖。在入射光量在Lll的范圍內(nèi)時，有效像素選擇部34將輸出SI的小像素22A選擇為有效像素(第一選擇模式)。在入射光量在L12的范圍內(nèi)時，有效像素選擇部34將小像素22A和輸出S2的小像素22B這兩個選擇為有效像素(第二選擇模式)。
[0093]在入射光量在L22的范圍內(nèi)時，有效像素選擇部34將小像素22B選擇為有效像素(第三選擇模式)。在入射光量為L23的范圍內(nèi)時，有效像素選擇部34將小像素22B和輸出S3的小像素22C這兩個選擇為有效像素(第四選擇模式)。在入射光量在L33的范圍內(nèi)時，有效像素選擇部34將小像素22C選擇為有效像素(第五選擇模式)。
[0094]在入射光量在L34的 范圍內(nèi)時，有效像素選擇部34將小像素22C和輸出S4的小像素22D這兩個選擇為有效像素(第六選擇模式)。在入射光量在L44的范圍內(nèi)時，有效像素選擇部34將小像素22D選擇為有效像素(第七選擇模式)。
[0095]圖13是會因靈敏度比校正產(chǎn)生的輸出特性的偏移進(jìn)行說明的圖。圖14是放大表示圖13的一部分的圖。小像素22的信號中的輸出等級與入射光量的關(guān)系有時會因靈敏度比校正的影響而產(chǎn)生若干偏移。
[0096]當(dāng)以小像素22B的S2為例時，在由向S2的靈敏度比校正獲得的信號SS2和小像素22A的SI，對輸出等級與入射光量的關(guān)系進(jìn)行比較的情況下，有時相對于SI的偏移會顯現(xiàn)在SS2。這樣的偏移在Lll與L12的邊界處，表現(xiàn)為SS2的圖表與SI的圖表的連接部分不連續(xù)。圖14是將圖13中的虛線包圍的部分進(jìn)行了放大。
[0097]這樣的靈敏度比校正的影響導(dǎo)致的輸出特性的偏移，有時因靈敏度比校正用的校正值而變得顯著。輸出判定部51實施用于將靈敏度比校正導(dǎo)致的偏移顯著的小像素22，從HDR合成的對象中排除在外的輸出判定。
[0098]圖15是表示輸出判定部的構(gòu)成的框圖。輸出判定部51具有解碼器53、有效判定單元54、55、56、輸出選擇器57。對輸出判定部51，輸入來自有效像素選擇部34的選擇信號41、以及來自靈敏度比校正部35的信號SS1、SS2、SS3、SS4。SSU SS2、SS3、SS4設(shè)為是分別經(jīng)過了靈敏度比校正部35的S1、S2、S3、S4。
[0099]解碼器53將來自有效像素選擇部34的4比特的選擇信號41轉(zhuǎn)換為3比特的信號。雖然是根據(jù)有效像素選擇部34的第一至第七選擇模式的任一個，但由來自解碼器53的3比特的選擇信號41進(jìn)行表示。
[0100]對有效判定單元54，輸入SSl和SS2。有效判定單元54在兩個小像素22A、22B被選擇為有效像素的情況下判定是否將小像素22B包含作HDR合成的對象。[0101]圖16是對有效判定單元中的判定進(jìn)行說明的圖。有效判定單元54將小像素22A、22B中的靈敏度較高的小像素22A，設(shè)定為判定的基準(zhǔn)。有效判定單元54以小像素22A的SSl為基準(zhǔn)，在正側(cè)判定在ThA以及在負(fù)側(cè)判定在ThB的范圍內(nèi)，是否包含小像素22B的SS2。輸出判定部51預(yù)先保持作為判定用閾值的ThA以及ThB。
[0102]在SS2包含在ThA至ThB的范圍內(nèi)的情況下，有效判定單元54判定為將小像素22B包含作HDR合成的對象。在SS2不包含在ThA至ThB的范圍內(nèi)的情況下，有效判定單元54判定為未將小像素22B包含在HDR合成的對象中。另外，輸出判定部51也可以對正側(cè)和負(fù)側(cè)，設(shè)定相同的判定用閾值。
[0103]輸出判定部51在包含作為基準(zhǔn)的有效像素的信號值SSl而設(shè)定的輸出等級的范圍內(nèi)，未包含經(jīng)過了靈敏度比校正的其他有效像素的信號值SS2的情況下，將作為該其他有效像素的小像素22B，判定為作為HDR合成的對象無效。
[0104]圖17是表示有效判定單元的構(gòu)成的框圖。有效判定單元54具有加法器58、減法器59、比較器60、61、AND電路 62以及選擇器63。加法器58對SSl加上ThA。減法器59從SSl中減去ThB。
[0105]比較器60對在加法器58的加法結(jié)果(SSI + ThA)和SS2進(jìn)行比較。例如，在(SSI + ThA) > SS2成立的情況下，比較器60輸出“I”。在(SSI + ThA) > SS2不成立的情況下，比較器60輸出“O”。
[0106]比較器61對在減法器59的減法結(jié)果(SSl-ThB)和SS2進(jìn)行比較。例如，在SS2>(SSl-ThB)成立的情況下，比較器61輸出“I”。在SS2 > (SSl-ThB)未成立的情況下，比較器61輸出“O”。
[0107]AND電路62計算出來自比較器60的輸出與來自比較器61的輸出的邏輯積。邏輯積“I”表示SS2包含在判定用閾值ThA、ThB的范圍內(nèi)。邏輯積“O”表示SS2未包含在判定用閾值ThA、ThB的范圍內(nèi)。
[0108]選擇器63將來自AND電路62的信號作為選擇控制輸入信號，選擇SSl與零等級信號(10' ho)的任一個。零等級信號是表示作為最低灰度的黑等級或者黑等級以下的信號。選擇器63根據(jù)選擇控制輸入信號“I”,選擇SSl。選擇器63根據(jù)選擇控制輸入信號“0”，選擇零等級信號。有效判定單元54將選擇器63中的選擇結(jié)果作為信號SS1_2輸出。
[0109]有效判定單元55、56具備與有效判定單元54同樣的構(gòu)成。對有效判定單元55輸入SS2和SS3。有效判定單元55通過運算判定在兩個小像素22B、22C被選擇為有效像素的情況下是否將小像素22C包含為HDR合成的對象。有效判定單元55將小像素22B、22C中的靈敏度較高的小像素22B，設(shè)定為判定的基準(zhǔn)。
[0110]在SS3包含在ThA至ThB的范圍內(nèi)的情況下，有效判定單元55判定為將小像素22C包含為HDR合成的對象。在SS3不包含在判定用閾值ThA至ThB的范圍內(nèi)的情況下，有效判定單元55判定為未將小像素22C包含在HDR合成的對象中。有效判定單元55將SS3以及零等級信號中的所選擇的一方輸出為信號SS2_3。
[0111]對有效判定單元56輸入SS3和SS4。有效判定單元56通過運算判定在兩個小像素22C、22D被選擇為有效像素的情況下是否將小像素22D包含為HDR合成的對象。有效判定單元56將小像素22C、22D中的靈敏度較高的小像素22C設(shè)定為判定的基準(zhǔn)。
[0112]在SS4包含在ThA至ThB的范圍內(nèi)的情況下，有效判定單元56判定為將小像素22D包含為HDR合成的對象。在SS4未包含在ThA至ThB的范圍內(nèi)的情況下，有效判定單元55判定為未將小像素22D包含在HDR合成的對象中。有效判定單元55將SS4以及零等級信號中的所選擇的一方作為信號SS3_4輸出。
[0113]對輸出選擇器57輸出來自解碼器53的選擇信號41和SSl、SS1_2、SS2、SS2_3、SS3、SS3_4、SS4。當(dāng)表不第一選擇模式的選擇信號41被從解碼器53輸入時,輸出選擇器57選擇SSl作為輸出。當(dāng)表不第三選擇模式的選擇信號41被從解碼器53輸入時,輸出選擇器57選擇SS2作為輸出。當(dāng)表不第五選擇模式的選擇信號41被從解碼器53輸入時,輸出選擇器57選擇SS3作為輸出。當(dāng)表示第七選擇模式的選擇信號41被從解碼器53輸入時，輸出選擇器57選擇SS4作為輸出。
[0114]在表不第二選擇模式的選擇信號41被輸入的情況下，即輸入SSl作為SS1_2的情況下，輸出選擇器57選擇SSl和SS2作為輸出。在表不第二選擇模式的選擇信號41被輸入的情況下，即輸入零等級信號作為SS1_2的情況下，輸出選擇器57選擇SSl和零等級信號作為輸出。在輸出判定部51判定為小像素22B作為HDR合成的對象無效的情況下，對小像素22B，取代SS2而輸出零等級信號。
[0115]在表不第四選擇模式的選擇信號41被輸入的情況下，即輸入SS2作為SS2_3的情況下，輸出選擇器57選擇SS2和SS3作為輸出。在表不第四選擇模式的選擇信號41被輸入的情況下，即作為SS2_3被輸入零等級信號的情況下，輸出選擇器57選擇SS2和零等級信號作為輸出。在輸出判定部51判定為小像素22C作為HDR合成的對象無效的情況下，對小像素22C，取代SS3而輸出零等級信號。
[0116]在表不第六 選擇模式的選擇信號41被輸入的情況下，即作為SS3_4被輸入SS3的情況下，輸出選擇器57選擇SS3和SS4作為輸出。在表不第六選擇模式的選擇信號41被輸入的情況下，即作為SS3_4被輸入零等級信號的情況下，輸出選擇器57選擇SS3和零等級信號作為輸出。在輸出判定部51判定為小像素22D作為HDR合成的對象無效的情況下，對小像素22D，取代SS4而輸出零等級信號。
[0117]圖18是表示運算處理部的構(gòu)成的框圖。運算處理部52具有濾波運算器64、無效判定單元65以及選擇器66。濾波運算器64實施將輸入的信號進(jìn)行平均化的濾波運算。無效判定單元65根據(jù)零等級信號的有無判斷是否將在濾波運算器64的運算結(jié)果處理為無效。選擇器66選擇經(jīng)過了在濾波運算器64的濾波運算的信號和向濾波運算器64的輸入前的信號的任一者。
[0118]對運算處理部52輸入來自輸出判定部51的一個信號或兩個信號。在從輸出判定部51輸入了一個信號SSl的情況下，濾波運算器64以及選擇器66使SSl保持原樣地通過。由此，運算處理部52在第一選擇模式中,輸出SS1。在從輸出判定部51輸入了一個信號SS2的情況下，濾波運算器64以及選擇器66使SS2保持原樣地通過。由此，運算處理部52在第三選擇模式中，將SS2作為HDR合成信號輸出。
[0119]在從輸出判定部51輸入了一個信號SS3的情況下，濾波運算器64以及選擇器66使SS3保持原樣地通過。由此，運算處理部52在第五選擇模式中，將SS3作為HDR合成信號輸出。在從輸出判定部51輸入了一個信號SS4的情況下,濾波運算器64以及選擇器66使SS4保持原樣地通過。由此，運算處理部52在第七選擇模式中，將SS4作為HDR合成信號輸出。[0120]在從輸出判定部51輸入了兩個信號SSl以及SS2的情況下，濾波運算器64實施SSl和SS2的濾波運算。無效判定單元65根據(jù)未從輸出判定部51輸入零等級信號這一*清況，例如輸出“I”。選擇器66根據(jù)來自無效判定單元65的選擇控制輸入信號“1”，選擇來自濾波運算器64的信號。由此，運算處理部52在是第二選擇模式且輸出判定部51將SS2判定為有效的情況下，將SSl與SS2的平均化處理的結(jié)果作為HDR合成信號輸出。
[0121]在從輸出判定部51輸入了兩個信號SSl以及零等級信號的情況下，濾波運算器64實施SSl和零等級信號的濾波運算。無效判定單元65根據(jù)從輸出判定部51輸入了零等級信號這一清況，例如輸出“O”。選擇器66根據(jù)來自無效判定單兀65的選擇控制輸入信號“0”，選擇向濾波運算器64的輸入前的SS1。由此，運算處理部52在是第二選擇模式且輸出判定部51將SS2判定為非有效的情況下，將SSl作為HDR合成信號輸出。
[0122]在從輸出判定部51輸入了兩個信號SS2以及SS3的情況下，濾波運算器64實施SS2和SS3的濾波運算。無效判定單元65根據(jù)未從輸出判定部51輸入零等級信號這一情況，輸出“I”。選擇器66根據(jù)來自無效判定單元65的選擇控制輸入信號“1”，選擇來自濾波運算器64的信號。由此，運算處理部52在是第四選擇模式且輸出判定部51將SS3判定為有效的情況下，將SS2與SS3的平均化處理的結(jié)果作為HDR合成信號輸出。
[0123]在從輸出判定部51輸入了兩個信號SS2以及零等級信號的情況下，濾波運算器64實施SS2和零等級信號的濾波運算。無效判定單元65根據(jù)從輸出判定部51輸入了零等級信號這一清況，輸出“O”。 選擇器66根據(jù)來自無效判定單兀65的選擇控制輸入信號“O”，選擇向濾波運算器64的輸入前的SS2。由此，運算處理部52在是第四選擇模式且輸出判定部51將SS3判定為非有效的情況下，將SS2作為HDR合成信號輸出。
[0124]在從輸出判定部51輸入了兩個信號SS3以及SS4的情況下，濾波運算器64實施SS3和SS4的濾波運算。無效判定單元65根據(jù)從輸出判定部51未輸入零等級信號這一*清況，輸出“I”。選擇器66根據(jù)來自無效判定單元65的選擇控制輸入信號“1”，選擇來自濾波運算器64的信號。由此，運算處理部52在是第六選擇模式且輸出判定部51將SS4判定為有效的情況下，將SS3與SS4的平均化處理的結(jié)果作為HDR合成信號輸出。
[0125]在從輸出判定部51輸入了兩個信號SS3以及零等級信號的情況下，濾波運算器64實施SS3和零等級信號的濾波運算。無效判定單元65根據(jù)從輸出判定部51輸入了零等級信號這一清況，輸出“O”。選擇器66根據(jù)來自無效判定單兀65的選擇控制輸入信號“O”，選擇向濾波運算器64的輸入前的SS3。由此，運算處理部52在是第六選擇模式且輸出判定部51將SS4判定為非有效的情況下，將SS3作為HDR合成信號輸出。
[0126]另外，HDR合成電路50不限于作為表示根據(jù)在輸出判定部51的判定使向HDR合成的使用無效的信號使用零等級信號的情況。作為表示是無效的信號，例如也可以使用最高灰度信號。最高灰度信號是表示輸出電荷的飽和的信號。零等級信號以及最高灰度信號由于均是不能作為HDR合成中有效的數(shù)據(jù)進(jìn)行處理的信號，所以能作為表示是無效的信號的例子。
[0127]根據(jù)第二實施方式，HDR合成電路50在將小像素組21中的多個小像素22選擇為有效像素的情況下，以多個小像素22中的光靈敏度最高的小像素22的信號作為基準(zhǔn)，判定為是否將其他小像素22包含作HDR合成的對象。在光靈敏度高的小像素22的信號和經(jīng)過了靈敏度比校正的其他小像素22的信號中，光靈敏度高的小像素22的信號比本來的信號量高。因此，光靈敏度高的小像素22與其他小像素22相比，具有高線性精度的輸出特性。
[0128]HDR合成電路50對選擇為有效像素的多個小像素22，通過進(jìn)一步將以光靈敏度高的小像素22為基準(zhǔn)而判定為有效的其他小像素22的信號使用在HDR合成中，從而能實施高精度的HDR合成。第二實施方式的固體攝像裝置會起到通過HDR合成電路50中的高精度的HDR合成，能獲得高質(zhì)量的HDR合成圖像的這一效果。
[0129]圖19是表示運算處理部的變形例的框圖。該變形例的運算處理部67除了圖18所示的運算處理部52所具備的要素之外，還設(shè)有乘法器68。乘法器68對向輸出判定部51輸入的兩個信號中的、光靈敏度高的一方的小像素22的信號乘以系數(shù)。乘法器68以及濾波運算器64作為對被選擇為有效像素的多個小像素22的信號，實施與光靈敏度的高度相應(yīng)的加權(quán)平均濾波處理的加權(quán)平均單元發(fā)揮功能。
[0130]在對向輸出判定部51輸入的兩個信號，例如進(jìn)行了 3:1的加權(quán)的情況下，乘法器68對光靈敏度較高的一方的小像素22的信號乘以3。濾波運算器64將經(jīng)過了在乘法器68的乘法的信號與另一方的信號相加，設(shè)加法結(jié)果進(jìn)而為I / 4。
[0131 ] HDR合成電路50通過具備該變形例的運算處理部67，從而能獲得使源于光靈敏度高的小像素22的信號成分具有權(quán)重的HDR合成信號。由此，HDR合成電路50能提高HDR合成的精度。本變形例的運算處理部67也可應(yīng)用于第一以及第三實施方式的HDR合成電路中。
[0132]圖20是表示有效判定單元的變形例的框圖。該變形例的有效判定單元70取代圖17所示的有效判定單元54中的零等級信號(10' h0)，而將SS2向選擇器63輸入。設(shè)在有效判定單元70中輸入SSl和SS2。 [0133]選擇器63將來自AND電路62的信號作為選擇控制輸入信號，選擇SSl和SS2的任一個。選擇器63根據(jù)選擇控制輸入信號“1”，選擇SS2。選擇器63根據(jù)選擇控制輸入信號“0”，選擇SS1。有效判定單元70將選擇器63中的選擇結(jié)果作為信號SS1_2輸出。輸出判定部51在小像素22B作為HDR合成的對象被判定為無效的情況下，對小像素22B，取代SS2而輸出SS1。
[0134]與該變形例的有效判定單元70組合的運算處理部52，在從輸出判定部51輸入兩個信號時，將兩個信號的平均化處理的結(jié)果作為HDR合成信號輸出。在從輸出判定部51輸入了兩個信號SS1、SS2的情況下，濾波運算器64實施SSl和SS2的濾波運算。由此，運算處理部52在是第二選擇模式且輸出判定部51將SS2判定為有效的情況下，將SSl與SS2的平均化處理的結(jié)果作為HDR合成信號輸出。
[0135]在從輸出判定部51輸入了兩個信號SS1、SSl的情況下，濾波運算器64實施SSl和SSl的濾波運算。由此，運算處理部52在是第二選擇模式且輸出判定部51將SS2判定為非有效的情況下，將SSl作為HDR合成信號輸出。
[0136]根據(jù)本變形例，被輸入SS2和SS3的有效判定單元、被輸入SS3和SS4的有效判定單元也采用與有效判定單元70同樣的構(gòu)成。在從輸出判定部51輸入了兩個信號SS2、SS3的情況下，濾波運算器64實施SS2和SS3的濾波運算。由此，運算處理部52在是第四選擇模式且輸出判定部51將SS3判定為有效的情況下，將SS2與SS3的平均化處理的結(jié)果作為HDR合成信號輸出。
[0137]在從輸出判定部51輸入了兩個信號SS2、SS2的情況下，濾波運算器64實施SS2和SS2的濾波運算。由此，運算處理部52在是第四選擇模式且輸出判定部51將SS3判定為非有效的情況下，將SS2作為HDR合成信號輸出。
[0138]在從輸出判定部51輸入了兩個信號SS3、SS4的情況下，濾波運算器64實施SS3和SS4的濾波運算。由此，運算處理部52在是第六選擇模式且輸出判定部51將SS4判定為有效的情況下，將SS3和SS4的平均化處理的結(jié)果作為HDR合成信號輸出。
[0139]在從輸出判定部51輸入了兩個信號SS3、SS3的情況下，濾波運算器64實施SS3和SS3的濾波運算。由此，運算處理部52在是第六選擇模式且輸出判定部51將SS4判定為非有效的情況下，將SS3作為HDR合成信號輸出。
[0140]HDR合成電路50在具備該變形例的有效判定單元70的情況下，也能實施高精度的HDR合成。也可以對該變形例的有效判定單元70，組合具備圖19所示的加權(quán)平均單元的運算處理部67。
[0141](第三實施方式)
[0142]圖21是表示第三實施方式的固體攝像裝置的概略結(jié)構(gòu)的框圖。對與第一實施方式相同的部分標(biāo)注相同的附圖標(biāo)記，適當(dāng)?shù)厥÷灾貜?fù)的說明。固體攝像裝置80具備作為攝像元件的測光傳感器81以及信號處理電路82。測光傳感器81例如是CMOS影像傳感器或者 CCD。
[0143]圖22是表示具備第三實施方式的固體攝像裝置的數(shù)字?jǐn)z像機的概略結(jié)構(gòu)的圖。從被拍攝體向數(shù)字?jǐn)z像機100的攝像光學(xué)系統(tǒng)4入射的光，經(jīng)由主反射鏡101、子反射鏡102以及機械快門106向攝像元件107行進(jìn)。數(shù)字?jǐn)z像機100在攝像元件107中拍攝被拍攝體圖像。
[0144]由子反射鏡102反射的光向自動聚焦(AF)傳感器103行進(jìn)。數(shù)字?jǐn)z像機100進(jìn)行使用AF傳感器103中的檢測結(jié)果的聚焦調(diào)整。在主反射鏡101反射的光經(jīng)由透鏡104以及棱鏡105向測光傳感器81以及取景器108行進(jìn)。
[0145]測光傳感器81對通過攝像光學(xué)系統(tǒng)4 (參照圖2)的拍攝區(qū)的光量進(jìn)行計測。測光傳感器81具備與第一實施方式的影像傳感器10同樣的構(gòu)成。像素陣列12 (參照圖1)構(gòu)成測光傳感器81。測光傳感器81的像素20構(gòu)成小像素組21 (參照圖3)。小像素組21包括四個小像素22。
[0146]信號處理電路82具備HDR合成電路83、定時生成器84以及區(qū)域計數(shù)器85。HDR合成電路83除了圖7所示的第一實施方式的HDR合成電路19中包含的要素之外，還設(shè)有存儲器86、第一輸出校正部87以及第二輸出校正部88。
[0147]第一輸出校正部87按通過攝像光學(xué)系統(tǒng)4的拍攝區(qū)中設(shè)定的多個區(qū)域的每一個區(qū)域，校正HDR合成信號。第二輸出校正部88根據(jù)數(shù)字?jǐn)z像機100的個體信息，校正HDR合成信號。存儲器86保持第一輸出校正部87中的每個區(qū)域的校正用的參數(shù)、第二輸出校正部88中的與個體信息相應(yīng)的校正用的參數(shù)。另外，所謂個體信息例如是透鏡等部件的制造誤差、部件彼此的組裝誤差等與每個產(chǎn)品的個體差有關(guān)的信息。信號處理電路82輸出經(jīng)過了在第二輸出校正部88的校正的信號。
[0148]定時生成器84生成對個體攝像裝置80的系統(tǒng)整體的定時進(jìn)行控制的定時信號。定時生成器84向測光傳感器81、HDR合成電路83以及區(qū)域計數(shù)器85輸出定時信號。
[0149]區(qū)域計數(shù)器85根據(jù)作為來自定時生成器84的定時信號的垂直同步信號以及水平同步信號，對信號的每個定時的區(qū)域進(jìn)行判定。區(qū)域計數(shù)器85將區(qū)域判定結(jié)果輸出到第一輸出校正部87。
[0150]第一輸出校正部87例如實施每個區(qū)域的著色處理校正。著色處理校正對因攝像元件的特性、攝像光學(xué)系統(tǒng)4的透鏡像差等的影響而在被拍攝體圖像產(chǎn)生的濃度等級的不均(光學(xué)著色處理)進(jìn)行校正。
[0151]圖23是表示拍攝區(qū)中設(shè)定的區(qū)域的圖。在根據(jù)攝像光學(xué)系統(tǒng)4的拍攝區(qū)，例如，設(shè)定有35個區(qū)域91。35個區(qū)域91構(gòu)成在垂直方向5個、在水平方向7個的矩陣。第一輸出校正部87從存儲器86讀出對于與區(qū)域判定結(jié)果相應(yīng)的區(qū)域91的著色處理校正參數(shù)。第一輸出校正部87基于著色處理校正參數(shù)，實施每個區(qū)域91的著色處理校正。
[0152]第一輸出校正部87也可以基于各區(qū)域91的頂點92設(shè)定的著色處理校正參數(shù)，實施著色處理校正。第一輸出校正部87按每個區(qū)域91，實施四個頂點92的著色處理校正參數(shù)的線性插值。此外，第一輸出校正部87也可以根據(jù)垂直同步信號以及水平同步信號，確定區(qū)域91內(nèi)的位置，實施每個位置的線性插值。第一輸出校正部87也可以通過任一方式，來實施著色處理校正。
[0153]圖24是對根據(jù)第二輸出校正部的信號值的校正進(jìn)行說明的圖。例如，第二輸出校正部88作為校正用的參數(shù)，使用與個體信息相應(yīng)的設(shè)計上的輸出值。設(shè)計上的輸出值對多個入射光量預(yù)先進(jìn)行設(shè)定。此外，設(shè)計上的輸出值按每臺數(shù)字?jǐn)z像機100，或按每臺測光傳感器81進(jìn)行設(shè)定。
[0154]第二輸 出校正部88從存儲器86讀出這種參數(shù)，利用實測值Vl與參數(shù)的線性插值，計算出校正值V2。第二輸出校正部88也可以通過任一方式，來實施與個體信息相應(yīng)的校正。
[0155]第二輸出校正部88也可以在從HDR合成電路83內(nèi)的存儲器86讀出參數(shù)以外，從后級處理部3內(nèi)的要素，例如ISP6 (參照圖2)接收參數(shù)。
[0156]圖25是表示第三實施方式的固體攝像裝置的變形例的框圖。具備本變形例的固體攝像裝置80的數(shù)字?jǐn)z像機100例如設(shè)為透鏡交換式攝像機。當(dāng)進(jìn)行攝像光學(xué)系統(tǒng)4中的透鏡交換時，例如ISP6取得交換用透鏡所預(yù)先保持的各種參數(shù)。存儲器86從ISP6接收包括著色處理校正參數(shù)和與個體信息相應(yīng)的校正用的參數(shù)的信息89。存儲器86將所保持的參數(shù)的內(nèi)容改寫為接收到的信息89的內(nèi)容。
[0157]本變形例的固體攝像裝置80根據(jù)透鏡交換來切換第一輸出校正部87中的每個區(qū)域91的校正用的參數(shù)、以及第二輸出校正部88中的與個體信息相應(yīng)的校正用的參數(shù)。由此，固體攝像裝置80能根據(jù)交換用透鏡的特性，獲得高質(zhì)量的HDR合成圖像。
[0158]此外，固體攝像裝置80也可以根據(jù)光源的色溫的變化來切換第一輸出校正部87中的每個區(qū)域91的校正用的參數(shù)。在數(shù)字?jǐn)z像機100感測到光源的色溫的變化時，存儲器86例如從ISP6接收與色溫相應(yīng)的著色處理校正參數(shù)。由此，固體攝像裝置80能根據(jù)光源的色溫，獲得高質(zhì)量的HDR合成圖像。
[0159]根據(jù)第三實施方式，HDR合成電路83實施拍攝區(qū)內(nèi)的每個區(qū)域91的HDR合成信號的校正、以及與具備固體攝像裝置80的電設(shè)備的個體信息相應(yīng)的HDR合成信號的校正。HDR合成電路83能使電設(shè)備的組裝時的偏差、部件的制造誤差、根據(jù)透鏡的特性等的信號值的偏移降低，能實施高精度的HDR合成。第三實施方式的固體攝像裝置80會起到能通過HDR合成電路83中的高精度的HDR合成，獲得高質(zhì)量的HDR合成圖像的這一效果。
[0160]HDR合成電路83不限于具備第一輸出校正部87以及第二輸出校正部88這兩者的情況。HDR合成電路83也可以具備第一輸出校正部87以及第二輸出校正部88中的一方。第三實施方式的固體攝像裝置80也可以具備第二實施方式的輸出判定部51 (參照圖11)。
[0161]雖然說明了本發(fā)明的幾個實施方式，但這些實施方式是作為例子而進(jìn)行提示的，并不意在對發(fā)明的范圍進(jìn)行限定。這些新的實施方式能以其他各種方式進(jìn)行實施，能在不脫離發(fā)明的要旨的范圍，進(jìn)行各種省略、置換、變更。這些實施方式及其變形包含在發(fā)明的范圍和要旨中，并 且包含在一同附上的權(quán)利要求書所述的發(fā)明及其均等的范圍中。
【權(quán)利要求】
1.一種固體攝像裝置，具有: 像素陣列，具備向水平方向以及垂直方向排列的多個像素，生成與向各像素的入射光量相應(yīng)的信號電荷；以及 高動態(tài)范圍合成電路，使用來自所述像素陣列的圖像信號，實施高動態(tài)范圍合成， 所述像素分別構(gòu)成為包括能讀出所述信號電荷的多個小像素的小像素組， 所述小像素組包括光靈敏度相互不同的兩個以上的所述小像素， 所述聞動態(tài)范圍合成電路具有: 有效像素選擇部，從所述小像素組中，選擇使所述高動態(tài)范圍合成中的信號值的使用有效的一個或者兩個以上的所述小像素，作為有效像素； 靈敏度比校正部，對每個所述小像素的信號值，實施與所述小像素彼此的所述光靈敏度之比相應(yīng)的靈敏度比校正；以及 運算處理部，使用來自所述靈敏度比校正部的每個所述小像素的信號值中的、所述有效像素的信號值，實施所述高動態(tài)范圍合成用的運算。
2.根據(jù)權(quán)利要求1所述的固體攝像裝置，所述小像素組包括:通過改變所述小像素所具備的開口的面積、電子快門時間以及模擬增益的至少一個從而使光靈敏度相互不同的兩個以上的所述小像素。
3.根據(jù)權(quán)利要求1所述的固體攝像裝置，所述有效像素選擇部根據(jù)對所述小像素的信號值和預(yù)先設(shè)定的閾值進(jìn)行比較后的結(jié)果，選擇所述有效像素。
4.根據(jù)權(quán)利要求3所述的固體攝像裝置，所述有效像素選擇部將在第一閾值與設(shè)定為比所述第一閾值高的輸出等級的第二閾值之間的范圍內(nèi)包含信號值的所述小像素，選擇為所述有效像素。
5.根據(jù)權(quán)利要求3所述的固體攝像裝置，所述小像素的輸出特性被設(shè)定為存在這樣的范圍:在能輸出與入射光量相應(yīng)的信號的入射光量的范圍相重合的所述小像素之間，每個所述小像素均滿足所述有效像素的條件的范圍。
6.根據(jù)權(quán)利要求1所述的固體攝像裝置， 所述高動態(tài)范圍合成電路還具有:輸出判定部，實施對經(jīng)過了在所述靈敏度比校正部的所述靈敏度比校正的信號值的輸出判定， 在所述有效像素選擇部從所述小像素組選擇了兩個以上的有效像素的情況下，所述輸出判定部將所述兩個以上的有效像素中信號值最大的有效像素作為基準(zhǔn)，將其他有效像素作為所述高動態(tài)范圍合成的對象判定是否有效， 所述運算處理部輸出基于由所述輸出判定部判定為有效的有效像素的信號值的運算結(jié)果。
7.根據(jù)權(quán)利要求6所述的固體攝像裝置，所述輸出判定部在包含作為所述基準(zhǔn)的有效像素的信號值而設(shè)定的輸出等級的范圍內(nèi)，不包含經(jīng)過了所述靈敏度比校正的所述其他有效像素的信號值的情況下，將所述其他有效像素作為所述高動態(tài)范圍合成的對象判定為無效。
8.根據(jù)權(quán)利要求6所述的固體攝像裝置，所述輸出判定部在所述其他有效像素作為所述高動態(tài)范圍合成的對象判定為無效的情況下，對所述其他有效像素，輸出零等級信號以及最高灰度信號的任一個。
9.根據(jù)權(quán)利要求6所述的固體攝像裝置，所述輸出判定部在所述其他有效像素作為所述高動態(tài)范圍合成的對象判定為無效的情況下，對所述其他有效像素，輸出作為所述基準(zhǔn)的有效像素的信號值。
10.根據(jù)權(quán)利要求1所述的固體攝像裝置，所述運算處理部還具有:加權(quán)平均單元，對被選擇為所述有效像素的多個所述小像素的信號，實施與所述光靈敏度的高度相應(yīng)的加權(quán)平均濾波處理。
11.根據(jù)權(quán)利要求1所述的固體攝像裝置，所述高動態(tài)范圍合成電路還具有:輸出校正部，對經(jīng)過了所述高動態(tài)范圍合成的信號值，實施根據(jù)攝像光學(xué)系統(tǒng)的拍攝區(qū)中設(shè)定的每個區(qū)域的校正。
12.根據(jù)權(quán)利要求11所述的固體攝像裝置，所述像素陣列構(gòu)成對所述拍攝區(qū)的光量進(jìn)行計測的測光傳感器。
13.根據(jù)權(quán)利要求11所述的固體攝像裝置，所述輸出校正部實施每個所述區(qū)域的著色處理校正。
14.根據(jù)權(quán)利要求11所述的固體攝像裝置， 還具有保持每個所述區(qū)域的校正用的參數(shù)的存儲器， 具備所述固體攝像裝置的電設(shè)備是透鏡交換式攝像機， 所述存儲器根據(jù)所述攝像光學(xué)系統(tǒng)中的透鏡交換，改寫所保持的參數(shù)的內(nèi)容。
15.根據(jù)權(quán)利要求11所述的固體攝像裝置， 還具有保持每個所述區(qū)域的校正用的參數(shù)的存儲器， 所述存儲器根據(jù)光源的色溫的變化，改寫所保持的參數(shù)的內(nèi)容。
16.根據(jù)權(quán)利要求1所述的固體攝像裝置，所述高動態(tài)范圍合成電路還具有:輸出校正部，對經(jīng)過了所述高動態(tài)范圍合成的信號值，實施與具備所述固體攝像裝置的電設(shè)備的個體信息相應(yīng)的校正。
17.根據(jù)權(quán)利要求16所述的固體攝像裝置，所述像素陣列構(gòu)成對通過攝像光學(xué)系統(tǒng)的拍攝區(qū)的光量進(jìn)行計測的測光傳感器。
18.根據(jù)權(quán)利要求16所述的固體攝像裝置，所述輸出校正部將與所述個體信息相應(yīng)的設(shè)計上的輸出值，用作所述校正用的參數(shù)。
19.根據(jù)權(quán)利要求16所述的固體攝像裝置， 還具有保持與所述個體信息相應(yīng)的校正用的參數(shù)的存儲器， 具備所述固體攝像裝置的電設(shè)備是透鏡交換式攝像機， 所述存儲器根據(jù)所述攝像光學(xué)系統(tǒng)中的透鏡交換，改寫所保持的參數(shù)的內(nèi)容。
20.一種攝像機模塊，具有: 攝像光學(xué)系統(tǒng)，取入來自被拍攝體的光，使被拍攝體圖像成像；以及固體攝像裝置，將由所述攝像光學(xué)系統(tǒng)取入的光轉(zhuǎn)換為信號電荷，拍攝所述被拍攝體圖像， 所述固體攝像裝置具有: 像素陣列，具備向水平方向以及垂直方向排列的多個像素，生成與向各像素的入射光量相應(yīng)的所述信號電荷；以及 高動態(tài)范圍合成電路，使用來自所述像素陣列的圖像信號，實施高動態(tài)范圍合成，所述像素分別構(gòu)成為包括能讀出所述信號電荷的多個小像素的小像素組， 所述小像素組包括光靈敏度相互不同的兩個以上的所述小像素， 所述聞動態(tài)范圍合成電路具有: 有效像素選擇部，從所述小像素組中，選擇使所述高動態(tài)范圍合成中的信號值的使用有效的一個或者兩個以上的所述小像素，作為有效像素； 靈敏度比校正部，對每個所述小像素的信號值，實施與所述小像素彼此的所述光靈敏度之比相應(yīng)的靈敏度比校正；以及 運算處理部，使用來自所述靈敏度比校正部的每個所述小像素的信號值中的、所述有效像素的信號值，實施所述高動態(tài)范圍合成用的運算。
【文檔編號】H04N5/378GK104023173SQ201410022122
【公開日】2014年9月3日 申請日期:2014年1月17日 優(yōu)先權(quán)日:2013年2月28日
【發(fā)明者】金光史呂志, 布川敦彥, 飯塚美穂, 物井誠 申請人:株式會社東芝