圖像處理裝置、圖像處理方法及固體拍攝裝置制造方法
【專利摘要】本發(fā)明提供圖像處理裝置、圖像處理方法及固體拍攝裝置。根據(jù)實(shí)施方式，高動(dòng)態(tài)范圍合成部將第1圖像信號(hào)與第2圖像信號(hào)合成。主控制用曝光值計(jì)算部，基于第1圖像信號(hào)以及第2圖像信號(hào)中被指定為主控制用信號(hào)的一方，計(jì)算主控制用曝光值。副控制用曝光值計(jì)算部將主控制用曝光值乘以高動(dòng)態(tài)范圍倍率，作為關(guān)于副控制用信號(hào)的副控制用曝光值。副控制用信號(hào)使亮度調(diào)整追隨于主控制用信號(hào)。
【專利說明】圖像處理裝置、圖像處理方法及固體拍攝裝置
[0001]相關(guān)申請(qǐng)的參考
[0002]本申請(qǐng)享有2012年9月3日提交的日本專利申請(qǐng)2012-193412的優(yōu)先權(quán)，在本申請(qǐng)中引用該日本專利申請(qǐng)的全部內(nèi)容。
【技術(shù)領(lǐng)域】
[0003]本實(shí)施方式總體涉及圖像處理裝置、圖像處理方法及固體拍攝裝置。
【背景技術(shù)】
[0004]高動(dòng)態(tài)范圍(high dynamic range, HDR)合成,作為用于表現(xiàn)與通常的拍攝相比寬幅的動(dòng)態(tài)范圍的拍攝技術(shù)而為人們所知。作為HDR合成的方法，例如有下述方法:獲取電荷蓄積時(shí)間互不相同的長時(shí)間曝光圖像信號(hào)和短時(shí)間曝光圖像信號(hào)，生成合成圖像。固體拍攝裝置，在一并控制HDR合成圖像的拍攝和自動(dòng)曝光(auto exposure, AE)工作的情況下，需要進(jìn)行對(duì)于長時(shí)間曝光圖像信號(hào)以及短時(shí)間曝光圖像信號(hào)的復(fù)雜的運(yùn)算處理，因此電路規(guī)模的增大和/或處理時(shí)間的增加就成為問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的課題在于提供關(guān)于通過高動(dòng)態(tài)范圍合成形成的合成圖像可以通過簡單的構(gòu)成控制曝光工作的圖像處理裝置、圖像處理方法及固體拍攝裝置。
[0006]實(shí)施方式的圖像處理裝置具備:高動(dòng)態(tài)范圍合成部，其通過第I圖像信號(hào)與第2圖像信號(hào)的合成而生成合成圖像，所述第I圖像信號(hào)與第I電荷蓄積期間中向第I像素入射的入射光量相應(yīng)，所述第2圖像信號(hào)與比所述第I電荷蓄積期間短的第2電荷蓄積期間中向第2像素入射的入射光量相應(yīng)；曝光值計(jì)算部，其計(jì)算曝光值，所述曝光值反映了用于根據(jù)拍攝時(shí)的照度調(diào)整所述合成圖像的亮度的亮度調(diào)整量；以及控制量轉(zhuǎn)換部，其將所述曝光值向關(guān)于電子快門時(shí)間、模擬增益以及數(shù)字增益的各控制量轉(zhuǎn)換，其中所述曝光值計(jì)算部包括:主控制用曝光值計(jì)算部，其基于所述第I圖像信號(hào)以及所述第2圖像信號(hào)中被指定為主控制用信號(hào)的一方，計(jì)算關(guān)于所述主控制用信號(hào)的所述曝光值即主控制用曝光值；以及副控制用曝光值計(jì)算部，其計(jì)算關(guān)于副控制用信號(hào)的所述曝光值即副控制用曝光值，所述副控制用信號(hào)是所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的所述主控制用信號(hào)以外的一方且使亮度調(diào)整追隨于所述主控制用信號(hào)；所述副控制用曝光值計(jì)算部將由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值乘以高動(dòng)態(tài)范圍倍率，作為所述副控制用曝光值，所述高動(dòng)態(tài)范圍倍率是作為所述第I電荷蓄積期間與所述第2電荷蓄積期間之比而預(yù)先設(shè)定的倍率。
[0007]另一實(shí)施方式的圖像處理方法包括:通過第I圖像信號(hào)與第2圖像信號(hào)的合成而生成合成圖像，所述第I圖像信號(hào)與第I電荷蓄積期間中向第I像素入射的入射光量相應(yīng)，所述第2圖像信號(hào)與比所述第I電荷蓄積期間短的第2電荷蓄積期間中向第2像素入射的入射光量相應(yīng)；計(jì)算曝光值，所述曝光值反映了用于根據(jù)拍攝時(shí)的照度調(diào)整所述合成圖像的亮度的亮度調(diào)整量；以及將所述曝光值向關(guān)于電子快門時(shí)間、模擬增益以及數(shù)字增益的各控制量轉(zhuǎn)換，其中指定所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的一方作為主控制用信號(hào)，將所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的所述主控制用信號(hào)以外的一方作為使亮度調(diào)整追隨于所述主控制用信號(hào)的副控制用信號(hào)，所述曝光值的計(jì)算:包括關(guān)于所述主控制用信號(hào)的所述曝光值即主控制用曝光值的計(jì)算和關(guān)于所述副控制用信號(hào)的所述曝光值即副控制用曝光值的計(jì)算；將高動(dòng)態(tài)范圍倍率乘以所述主控制用曝光值而得到的結(jié)果作為所述副控制用曝光值，所述高動(dòng)態(tài)范圍倍率是作為所述第I電荷蓄積期間與所述第2電荷蓄積期間之比而預(yù)先設(shè)定的倍率。
[0008]另外，另一實(shí)施方式的固體拍攝裝置具有:像素陣列，其包括檢測(cè)第I電荷蓄積期間中的入射光量的第I像素和檢測(cè)比所述第I電荷蓄積期間短的第2電荷蓄積期間中的入射光量的第2像素；高動(dòng)態(tài)范圍合成部，其通過第I圖像信號(hào)與第2圖像信號(hào)的合成而生成合成圖像，所述第I圖像信號(hào)是所述第I像素與所述入射光量相應(yīng)地輸出的信號(hào)，所述第2圖像信號(hào)是所述第2像素與所述入射光量相應(yīng)地輸出的信號(hào)；曝光值計(jì)算部，其計(jì)算曝光值，所述曝光值反映了用于根據(jù)拍攝時(shí)的照度調(diào)整所述合成圖像的亮度的亮度調(diào)整量；以及控制量轉(zhuǎn)換部，其將所述曝光值向關(guān)于電子快門時(shí)間、模擬增益以及數(shù)字增益的各控制量轉(zhuǎn)換，其中所述曝光值計(jì)算部包括:主控制用曝光值計(jì)算部，其基于所述第I圖像信號(hào)以及所述第2圖像信號(hào)中被指定為主控制用信號(hào)的一方，計(jì)算關(guān)于所述主控制用信號(hào)的所述曝光值即主控制用曝光值；以及副控制用曝光值計(jì)算部，其計(jì)算關(guān)于副控制用信號(hào)的所述曝光值即副控制用曝光值，所述副控制用信號(hào)是所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的所述主控制用信號(hào)以外的一方且使亮度調(diào)整追隨于所述主控制用信號(hào)；所述副控制用曝光值計(jì)算部將由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值乘以高動(dòng)態(tài)范圍倍率，作為所述副控制用曝光值，所述高動(dòng)態(tài)范圍倍率是作為所述第I電荷蓄積期間與所述第2電荷蓄積期間之比而預(yù)先設(shè)定的倍率。
[0009]根據(jù)上述構(gòu)成的圖像處理裝置、圖像處理方法以及固體拍攝裝置，關(guān)于由高動(dòng)態(tài)范圍合成形成的合成圖像，能夠通過簡單的構(gòu)成控制曝光工作。
【專利附圖】

【附圖說明】
[0010]圖1是表示第I實(shí)施方式涉及的固體拍攝裝置的概略結(jié)構(gòu)的框圖。
[0011]圖2是表示具備圖1所示的固體拍攝裝置的數(shù)字照相機(jī)的概略結(jié)構(gòu)的框圖。
[0012]圖3是說明像素陣列中的像素的排列的圖。
[0013]圖4是說明長時(shí)間曝光像素以及短時(shí)間曝光像素的輸出特性和由HDR合成電路進(jìn)行的圖像信號(hào)的合成的圖。
[0014]圖5是說明由AE控制電路進(jìn)行的AE工作的控制的圖。
[0015]圖6是說明由AE控制電路進(jìn)行的ES、AG以及DG的各控制量的計(jì)算的圖。
[0016]圖7是表示AE控制電路的結(jié)構(gòu)的框圖。
[0017]圖8關(guān)說明閃爍的發(fā)生的圖。
[0018]圖9是表示圖7所示的AE控制電路中的、在通常拍攝模式下的AE工作的控制中使用的要素的框圖。
[0019]圖10是表示第2實(shí)施方式涉及的圖像處理裝置所包含的AE控制電路的結(jié)構(gòu)的框圖。
[0020]圖11是表示第3實(shí)施方式涉及的圖像處理裝置所包含的AE控制電路的結(jié)構(gòu)的框圖。
[0021]圖12是說明由AE控制電路進(jìn)行的ES、AG以及DG的各控制量的計(jì)算的圖?！揪唧w實(shí)施方式】
[0022]以下參照附圖，詳細(xì)地說明實(shí)施方式涉及的圖像處理裝置、圖像處理方法及固體拍攝裝置。此外，本發(fā)明并不由這些實(shí)施方式限定。
[0023]圖1是表示第I實(shí)施方式涉及的固體拍攝裝置的概略結(jié)構(gòu)的框圖。圖2是表示具備圖1所示的固體拍攝裝置的數(shù)字照相機(jī)的概略結(jié)構(gòu)的框圖。
[0024]數(shù)字照相機(jī)I具有照相機(jī)模塊2以及后級(jí)處理部3。照相機(jī)模塊2具有拍攝光學(xué)系統(tǒng)4以及固體拍攝裝置5。后級(jí)處理部3具有圖像信號(hào)處理器(image signal processor,ISP)6、存儲(chǔ)部7以及顯示部8。照相機(jī)模塊2除了數(shù)字照相機(jī)I以外也可應(yīng)用于例如帶照相機(jī)的便攜終端等電子設(shè)備。
[0025]拍攝光學(xué)系統(tǒng)4獲取來自被攝體的光，使被攝體像成像。固體拍攝裝置5對(duì)被攝體像進(jìn)行拍攝。ISP6實(shí)施通過固體拍攝裝置5的拍攝得到的圖像信號(hào)的信號(hào)處理。存儲(chǔ)部7存儲(chǔ)經(jīng)過了 ISP6中的信號(hào)處理后的圖像。存儲(chǔ)部7根據(jù)使用者的操作等，向顯示部8輸出圖像信號(hào)。顯示部8根據(jù)從ISP6或存儲(chǔ)部7輸入的圖像信號(hào)，顯示圖像。顯示部8例如是液晶顯示器。
[0026]固體拍攝裝置5 例如為 CM0S( complementary metal oxide semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器。固體拍攝裝置5除了 CMOS圖像傳感器外，也可以是CXD(charge coupled device,電荷稱合器件)。固體拍攝裝置5具有像素陣列10、前處理部11、拍攝處理電路12、接口(I / F)14、定時(shí)生成器15以及自動(dòng)曝光(auto exposure, AE)控制電路16。
[0027]像素陣列10將由拍攝光學(xué)系統(tǒng)4獲取的光在光電二極管中轉(zhuǎn)換成信號(hào)電荷,對(duì)被拍攝體像進(jìn)行拍攝。像素陣列10以例如與拜耳排列對(duì)應(yīng)的順序獲取R (紅)、G (綠)及B(藍(lán))的各信號(hào)值，由此生成模擬圖像信號(hào)。
[0028]前處理部11，對(duì)來自像素陣列10的圖像信號(hào)，實(shí)施相關(guān)雙重采樣、基于模擬增益(AG)以及數(shù)字增益(DG)的放大、模擬數(shù)字轉(zhuǎn)換(AD轉(zhuǎn)換)。
[0029]拍攝處理電路12對(duì)從前處理部11輸入的數(shù)字圖像信號(hào)實(shí)施各種信號(hào)處理。拍攝處理電路12具有高動(dòng)態(tài)范圍(HDR)合成部13。HDR合成部13實(shí)施向拍攝處理電路12輸入的數(shù)字圖像信號(hào)的HDR合成，生成合成圖像。拍攝處理電路12，除了由HDR合成部13進(jìn)行的HDR合成外，還實(shí)施例如缺陷修正、噪音降低、陰影修正、白平衡調(diào)整等信號(hào)處理。
[0030]I / F14輸出經(jīng)過了拍攝處理電路12中的信號(hào)處理后的圖像信號(hào)。I / F14對(duì)圖像信號(hào)適宜進(jìn)行用于向外部設(shè)備的傳輸?shù)奶幚恚鐝拇袛?shù)據(jù)向并行輸出或者從并行輸入向串行數(shù)據(jù)的轉(zhuǎn)換等處理。
[0031]AE控制電路16根據(jù)拍攝時(shí)的亮度控制數(shù)字照相機(jī)I的AE工作。AE控制電路16對(duì)前處理部11傳送AG以及DG的數(shù)據(jù)。AE控制電路16對(duì)定時(shí)生成器15傳送電子快門時(shí)間(ES)的數(shù)據(jù)。拍攝處理電路12以及AE控制電路16作為圖像處理裝置發(fā)揮作用。定時(shí)生成器15輸出用于像素陣列10的驅(qū)動(dòng)的脈沖。
[0032]圖3是說明像素陣列中的像素的排列的圖。像素陣列10中Gr、R、Gb以及B這4個(gè)像素配置為拜耳排列。R像素檢測(cè)紅色光。B像素檢測(cè)藍(lán)色光。Gr像素以及Gb像素檢測(cè)綠色光。Gr像素在水平行上與R像素并列。Gb像素在水平行上與B像素并列。
[0033]像素陣列10，按每個(gè)包括GR / R行和B / Gb行這2條水平行的行區(qū)域，使電荷蓄積期間交替不同。長時(shí)間曝光行區(qū)域(第I行區(qū)域)17的電荷蓄積期間即第I電荷蓄積期間，比短時(shí)間曝光行區(qū)域(第2行區(qū)域)18的電荷蓄積期間即第2電荷蓄積期間長。
[0034]長時(shí)間曝光行區(qū)域17由包括第I像素即長時(shí)間曝光像素的2條水平行構(gòu)成。短時(shí)間曝光行區(qū)域18由包括第2像素即短時(shí)間曝光像素的2條水平行構(gòu)成。長時(shí)間曝光行區(qū)域17以及短時(shí)間曝光行區(qū)域18在垂直方向上交替地配置。
[0035]長時(shí)間曝光像素檢測(cè)第I電荷蓄積期間中的入射光量。短時(shí)間曝光像素檢測(cè)第2電荷蓄積期間中的入射光量。像素陣列10輸出與第I電荷蓄積期間中向長時(shí)間曝光像素入射的入射光量相應(yīng)的長時(shí)間曝光圖像信號(hào)(第I圖像信號(hào))和與第2電荷蓄積期間中向短時(shí)間曝光像素入射的入射光量相應(yīng)的短時(shí)間曝光圖像信號(hào)(第2圖像信號(hào))。HDR合成部13將向拍攝處理電路12輸入的長時(shí)間曝光圖像信號(hào)以及短時(shí)間曝光圖像信號(hào)合成。
[0036]圖4是說明長時(shí)間曝光像素以及短時(shí)間曝光像素的輸出特性和由HDR合成電路進(jìn)行的圖像信號(hào)的合成的圖。長時(shí)間曝光像素，若入射光量大于預(yù)定的飽和光量10，則通過光電轉(zhuǎn)換而產(chǎn)生的信號(hào)電荷達(dá)到光電二極管的蓄積容量。
[0037]在入射光量為飽和光量IO以下的情況下，長時(shí)間曝光圖像信號(hào)SI的信號(hào)級(jí)別與入射光量的增加成比例地變高。在入射光量比飽和光量IO大時(shí)，長時(shí)間曝光圖像信號(hào)SI的信號(hào)級(jí)別變?yōu)橐欢?。短時(shí)間曝光圖像信號(hào)S2的信號(hào)級(jí)別，在入射光量比飽和光量IO大的情況下，也與入射光量的增加成比例地變高。
[0038]HDR合成部13，為了關(guān)于長時(shí)間曝光像素和短時(shí)間曝光像素使輸出級(jí)別一致，將短時(shí)間曝光圖像信號(hào)S2乘以預(yù)定的HDR倍率。HDR倍率，對(duì)應(yīng)于長時(shí)間曝光像素的第I電荷蓄積期間與短時(shí)間曝光像素的第2電荷蓄積期間之比即曝光比。HDR合成部13經(jīng)過使用長時(shí)間曝光圖像信號(hào)SI和經(jīng)過了 HDR倍率的相乘后的短時(shí)間曝光圖像信號(hào)S2的插補(bǔ)處理，生成合成圖像信號(hào)S。
[0039]圖5是說明由AE控制電路進(jìn)行的AE工作的控制的圖。圖示的曲線的縱軸表示對(duì)于入射光的信號(hào)級(jí)別的調(diào)整量。AE控制電路16通過與ES相應(yīng)地蓄積的電荷量和與AG以及DG相應(yīng)的信號(hào)級(jí)別的放大率的調(diào)節(jié)，使信號(hào)級(jí)別的調(diào)整量可變。
[0040]圖示的曲線的橫軸表示照度。照度設(shè)為，在橫軸方向上隨著從左向右變低。AE控制電路16，為了使得拍攝時(shí)的照度越低信號(hào)級(jí)別越高，增大信號(hào)級(jí)別的調(diào)整量。圖中設(shè)為，帶點(diǎn)的部分表示與ES相應(yīng)的信號(hào)級(jí)別的調(diào)整量、帶斜線的部分表示基于DG的信號(hào)級(jí)別的調(diào)整量、帶網(wǎng)格的部分表示基于AG的信號(hào)級(jí)別的調(diào)整量。
[0041]照相機(jī)模塊2在室內(nèi)的拍攝中，有時(shí)由于供給照明光的螢光燈的電源頻率導(dǎo)致圖像的明暗變化，產(chǎn)生所謂閃爍。照相機(jī)模塊2通過以閃爍的周期的倍數(shù)的周期為單位來調(diào)節(jié)ES，能夠抑制閃爍。例如，在螢光燈的電源頻率為60Hz的情況下，照相機(jī)模塊2通過每
I/ 120秒就調(diào)節(jié)ES能夠抑制閃爍。
[0042]例如，在將合成圖像的巾貞速率設(shè)為60fps (frame per second,巾貞每秒)的情況下，照相機(jī)模塊2為了抑制60Hz的閃爍，將ES設(shè)為2 / 120秒和I / 120秒中的任一個(gè)。照相機(jī)模塊2在照度高的情況下，為了使相對(duì)于入射光量的輸出電荷的飽和的抑制比閃爍的抑制優(yōu)先，在I / 120秒以下的范圍內(nèi)調(diào)整ES。
[0043]在此例中，AE控制電路16將照相機(jī)模塊2的具有拍攝感度的照度范圍分為3個(gè)等級(jí)，來切換與ES、AG以及DG相應(yīng)的AE工作的控制(亮度調(diào)整)。AE控制電路16在低照度范圍b3中使ES以2 / 120秒而一定，僅實(shí)施AG的調(diào)整。AE控制電路16，在相對(duì)于照度范圍b3為高照度側(cè)的照度范圍b2中使ES以I / 120秒而一定，僅實(shí)施DG的調(diào)整。
[0044]AE控制電路16在相對(duì)于照度范圍b2為高照度側(cè)的照度范圍bl中，進(jìn)行隨著照度變高而使ES分等級(jí)地變短的調(diào)整。AE控制電路16，通過DG調(diào)整與低于ES的量子化單位相當(dāng)?shù)恼斩鹊淖兓俊４送?，在ES的量子化單位為照度的分辨率以下的情況下，AE控制電路16也可以不進(jìn)行基于DG的調(diào)整。
[0045]此外，由AE控制電路16進(jìn)行的AE工作的控制方式能夠適宜變化。例如，AE控制電路16，在根據(jù)照度確定ES后，既可以將AG以及DG中的任一個(gè)設(shè)為調(diào)整對(duì)象，也可以將AG以及DG兩方作為調(diào)整對(duì)象。
[0046]AE控制電路16也可以根據(jù)合成圖像的幀速率和/或閃爍的周期而適宜變更ES的設(shè)定。在相對(duì)于閃爍的頻率60Hz將合成圖像的幀速率設(shè)為30fps的情況下，AE控制電路16能夠進(jìn)行將ES最大設(shè)為4 / 120秒的調(diào)整。在閃爍的頻率為50Hz的情況下，AE控制電路16每I / 100秒就調(diào)節(jié)ES。
[0047]圖6是說明由AE控制電路進(jìn)行的ES、AG以及DG的各控制量的計(jì)算的圖。AE控制電路16，將長時(shí)間曝光圖像信號(hào)以及短時(shí)間曝光圖像信號(hào)中被指定為主控制用信號(hào)的一方作為對(duì)象而實(shí)施AE工作的控制。AE控制電路16，使對(duì)于副控制信號(hào)的AE工作追隨于對(duì)于主控制用信號(hào)的AE工作。副控制信號(hào)設(shè)為長時(shí)間曝光圖像信號(hào)以及短時(shí)間曝光圖像信號(hào)中的主控制用信號(hào)以外的一方。
[0048]例如，假定將長時(shí)間曝光圖像信號(hào)指定為主控制用信號(hào)。AE控制電路16基于長時(shí)間曝光圖像信號(hào)，求出關(guān)于長時(shí)間曝光像素的適合曝光LI,并求出與適合曝光LI相應(yīng)的控制量。例如，在適合曝光LI處于照度范圍b3內(nèi)時(shí)，AE控制電路16關(guān)于ES求出控制量ESl(例如2 / 120秒)，關(guān)于AG求出控制量AGl (例如6倍)。
[0049]AE控制電路16通過將適合曝光LI乘以HDR倍率M，求出關(guān)于短時(shí)間曝光像素的適合曝光L2。例如，在HDR倍率M被定為4倍的情況下，AE控制電路16將適合曝光LI乘以4而設(shè)為適合曝光L2。
[0050]AE控制電路16求出與適合曝光L2相應(yīng)的控制量。例如，在適合曝光L2處于照度范圍b3內(nèi)時(shí)，AE控制電路16關(guān)于ES求出控制量ES2 (例如2 / 120秒)，關(guān)于AG求出控制量AG2 (例如1.5倍)。
[0051]在圖6中，LI與L2在橫軸方向上的間隔相當(dāng)于與HDR倍率M相應(yīng)的照度之差。所謂使副控制用信號(hào)的AE工作追隨于主控制用信號(hào)的AE工作的AE控制，在圖6中能夠表現(xiàn)為:以將LI與L2在橫軸方向上的間隔設(shè)為一定的狀態(tài)，在橫軸方向上使LI以及L2移動(dòng)而參照縱軸的調(diào)整量的工作。
[0052]圖7是表示AE控制電路的結(jié)構(gòu)的框圖。AE控制電路16具有主控制用信號(hào)切換部
20、輝度信號(hào)生成部21、輝度平均值計(jì)算部22、輝度目標(biāo)值比較部23、EV計(jì)算部24、控制量轉(zhuǎn)換部25、閃爍檢測(cè)用累計(jì)部26以及閃爍周期推定部27。
[0053]對(duì)AE控制電路16，輸入來自拍攝處理電路12 (參照?qǐng)D1)的長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2。主控制用信號(hào)切換部20將向AE控制電路16輸入的長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2中的一方，作為主控制用信號(hào)而輸出。主控制用信號(hào)切換部20根據(jù)指示主控制用信號(hào)的切換的切換指示信號(hào)33，將作為主控制用信號(hào)的輸出切換成長時(shí)間曝光圖像信號(hào)SI和短時(shí)間曝光圖像信號(hào)S2。
[0054]切換指示信號(hào)33例如為與由使用者進(jìn)行的設(shè)定操作相應(yīng)的信號(hào)。照相機(jī)模塊2，在例如重視圖像的暗部的畫質(zhì)的情況下，可以選擇來自長時(shí)間曝光像素的長時(shí)間曝光圖像信號(hào)Si作為主控制用信號(hào)。
[0055]輝度信號(hào)生成部21根據(jù)來自主控制用信號(hào)切換部20的主控制用信號(hào)生成輝度信號(hào)35。輝度信號(hào)35例如為關(guān)于與YUV色空間的輝度分量相當(dāng)?shù)男畔⒌男盘?hào)。輝度信號(hào)生成部21例如從作為主控制用信號(hào)的RAW圖像數(shù)據(jù)提取關(guān)于G分量的輝度信息，設(shè)為輝度信號(hào)35。輝度信號(hào)生成部21將關(guān)于由Gr像素以及Gb像素檢測(cè)出的G分量的輝度值設(shè)為輝度信號(hào)35。
[0056]輝度信號(hào)生成部21采用R、G以及B各分量中能夠獲得最多關(guān)于輝度的信息的G分量的輝度值，作為輝度信號(hào)35。此外，輝度信號(hào)生成部21不限于僅根據(jù)G分量的輝度值來生成輝度信號(hào)35的情況。例如，輝度信號(hào)生成部21也可以使用R、G以及B各分量的輝度值來生成輝度信號(hào)35。輝度信號(hào)35也可以為例如按預(yù)定比率將R、G以及B各分量的輝度值相加而得到的信號(hào)。
[0057]輝度平均值計(jì)算部22關(guān)于整個(gè)畫面對(duì)輝度信號(hào)35進(jìn)行積分并平均化，計(jì)算輝度平均值36。輝度平均值計(jì)算部22也可以在將畫面內(nèi)所設(shè)定的每個(gè)區(qū)域的權(quán)重施加于輝度信號(hào)35的基礎(chǔ)上計(jì)算輝度平均值36。
[0058]輝度目標(biāo)值比較部23將來自輝度平均值計(jì)算部22的輝度平均值36與預(yù)先設(shè)定的輝度目標(biāo)值進(jìn)行比較，求出差。輝度目標(biāo)值比較部23將輝度平均值36與輝度目標(biāo)值的差作為用于根據(jù)拍攝時(shí)的照度調(diào)整合成圖像的亮度的亮度調(diào)整量37而輸出。亮度調(diào)整量37為例如用于曝光修正的曝光值(EV)的修正量。
[0059]EV計(jì)算部24包括主控制用EV計(jì)算部31以及副控制用EV計(jì)算部32。主控制用EV計(jì)算部31計(jì)算主控制用EV41。主控制用EV41是關(guān)于主控制用信號(hào)的EV。主控制用EV計(jì)算部31通過使來自輝度目標(biāo)值比較部23的亮度調(diào)整量37反映于基于主控制用信號(hào)的圖像的亮度的運(yùn)算，計(jì)算主控制用EV41。主控制用EV41對(duì)應(yīng)于關(guān)于主控制用信號(hào)的適合曝光LI。
[0060]副控制用EV計(jì)算部32計(jì)算副控制用EV42。副控制用EV42是關(guān)于副控制用信號(hào)的EV。副控制用EV計(jì)算部32將由主控制用EV計(jì)算部31計(jì)算的主控制用EV41乘以HDR倍率M,作為副控制用EV42。副控制用EV42對(duì)應(yīng)于關(guān)于副控制用信號(hào)的適合曝光L2。
[0061]副控制用EV計(jì)算部32根據(jù)切換指示信號(hào)33識(shí)別長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2中的哪一個(gè)是副控制用信號(hào)。例如，在HDR倍率M設(shè)定為4倍且長時(shí)間曝光圖像信號(hào)SI被指定為主控制用信號(hào)的情況下，副控制用EV計(jì)算部32將主控制用EV41乘以I / 4，作為副控制用EV42。另一方面，在HDR倍率M設(shè)定為4倍且短時(shí)間曝光圖像信號(hào)S2被指定為主控制用信號(hào)的情況下，副控制用EV計(jì)算部32將主控制用EV41乘以4，作為副控制用EV42。此外，HDR倍數(shù)M例如為預(yù)先設(shè)定的固定值。
[0062]閃爍檢測(cè)用累計(jì)部26關(guān)于來自主控制用信號(hào)切換部20的主控制用信號(hào)，實(shí)施用于閃爍檢測(cè)的積分，輸出積分結(jié)果34。閃爍周期推定部27基于來自閃爍檢測(cè)用累計(jì)部26的積分結(jié)果34來推定閃爍的周期，并輸出推定結(jié)果38。
[0063]圖8是說明閃爍的發(fā)生的圖。螢光燈的照明以電源頻率的2倍的頻率閃爍。通過依次進(jìn)行每行的信號(hào)電荷的讀出，基于電子快門的曝光開始時(shí)刻依讀出行的位置而不同。因此，在幀內(nèi)，由螢光燈的閃爍導(dǎo)致的輝度不均成為明暗條紋而顯現(xiàn)。
[0064]相對(duì)于電源頻率50Hz或60Hz，閃爍周期為I / IOOs或I / 120s。例如，在相對(duì)于電源頻率50Hz，幀周期為I / 30s的情況下，產(chǎn)生處于光量最大的水平同步期間Tl的行為明部、處于光量最小的水平同步期間T2的行為暗部的I / IOOs周期的條紋。水平同步期間Tl以及T2例如設(shè)為2ms。
[0065]閃爍檢測(cè)用累計(jì)部26關(guān)于畫面內(nèi)的多個(gè)部位實(shí)施以行為單位的主控制信號(hào)的積分。閃爍周期推定部27根據(jù)畫面內(nèi)的每個(gè)部位的積分結(jié)果34的差來推定閃爍周期。例如，閃爍周期推定部27，通過將每隔I / IOOs的積分結(jié)果34彼此的差與每隔I / 120s的積分結(jié)果34彼此的差進(jìn)行比較，推定閃爍周期為I / IOOs以及I / 120s中的哪一個(gè)。
[0066]此外，在相對(duì)于電源頻率50Hz幀周期為I / IOOs的整數(shù)倍時(shí)以及相對(duì)于電源頻率60Hz幀周期為I / 120s的整數(shù)倍時(shí)，無論曝光定時(shí)如何曝光量都一定，因此閃爍不會(huì)發(fā)生。閃爍周期推定部27推定在幀周期不是熒光燈的閃爍周期的整數(shù)倍時(shí)發(fā)生的閃爍的周期。
[0067]控制量轉(zhuǎn)換部25將來自主控制用EV計(jì)算部31的主控制用EV41向關(guān)于ES的控制量ES1、關(guān)于AG的控制量AGl以及關(guān)于DG的控制量DGl轉(zhuǎn)換。控制量轉(zhuǎn)換部25根據(jù)適合曝光LI即主控制用EV41處于哪一照度范圍(例如圖6所示的bl?b3)內(nèi)，來確定控制量 ESI。
[0068]在圖6所示的例子中，在主控制用EV41包含于照度范圍b2以及b3中的任一范圍的情況下，控制量轉(zhuǎn)換部25根據(jù)作為推定結(jié)果38輸出的閃爍周期，確定控制量ESI?？刂屏哭D(zhuǎn)換部25將推定出的閃爍周期的整數(shù)倍的值作為控制量ESI。
[0069]在主控制用EV41包含于照度范圍b3的情況下，控制量轉(zhuǎn)換部25，使主控制用EV41與控制量AGl處于線性關(guān)系而確定與主控制用EV41相應(yīng)的控制量AGl。在主控制用EV41包含于照度范圍b2的情況下，控制量轉(zhuǎn)換部25，使主控制用EV41與控制量DGl處于線性關(guān)系而確定與主控制用EV41相應(yīng)的控制量DGl。
[0070]在主控制用EV41包含于照度范圍bl的情況下，控制量轉(zhuǎn)換部25根據(jù)與照度相應(yīng)地分等級(jí)設(shè)定的ES來確定與主控制用EV41相對(duì)應(yīng)的控制量ESI。在該情況下，控制量轉(zhuǎn)換部25與推定結(jié)果38即閃爍周期無關(guān)地確定控制量ESI。控制量轉(zhuǎn)換部25，使在ES的量子化單位內(nèi)主控制用EV41與控制量DGl處于線性關(guān)系而確定與主控制用EV41相應(yīng)的控制量DGl。
[0071]控制量轉(zhuǎn)換部25將來自副控制用EV計(jì)算部32的副控制用EV42向關(guān)于ES的控制量ES2、關(guān)于AG的控制量AG2以及關(guān)于DG的控制量DG2轉(zhuǎn)換?？刂屏哭D(zhuǎn)換部25，根據(jù)適合曝光L2即副控制用EV42處于哪一照度范圍(例如圖6所示的bl?b3)內(nèi)，來確定控制量ES2。控制量轉(zhuǎn)換部25，與從主控制用EV41向各控制量ES1、AGl以及DGl的轉(zhuǎn)換同樣地，將副控制用EV42向各控制量ES2、AG2以及DG2轉(zhuǎn)換。
[0072]控制量轉(zhuǎn)換部25分時(shí)地實(shí)施從由主控制用EV計(jì)算部31計(jì)算的主控制用EV41向各控制量的轉(zhuǎn)換和從由副控制用EV計(jì)算部32計(jì)算的副控制用EV42向各控制量的轉(zhuǎn)換。AE控制電路16，通過關(guān)于主控制用信號(hào)以及副控制用信號(hào)在各控制量的生成中使用共同的控制量轉(zhuǎn)換部25，能夠?qū)崿F(xiàn)電路規(guī)模的抑制。
[0073]在例如長時(shí)間曝光圖像信號(hào)SI被指定為主控制用信號(hào)的情況下，圖1所示的定時(shí)生成器15對(duì)像素陣列10中的長時(shí)間曝光像素輸出與控制量ESl相應(yīng)的脈沖。定時(shí)生成器15對(duì)像素陣列10中的短時(shí)間曝光像素輸出與控制量ES2相應(yīng)的脈沖。
[0074]另外，在長時(shí)間曝光圖像信號(hào)SI被指定為主控制用信號(hào)的情況下，圖1所示的前處理部11使用控制量AGl以及DGl來放大長時(shí)間曝光圖像信號(hào)SI。前處理部11使用控制量AG2以及DG2來放大短時(shí)間曝光圖像信號(hào)S2。
[0075]EV計(jì)算部24計(jì)算包含于照相機(jī)模塊2具有拍攝感度的照度范圍的主控制用EV41以及副控制用EV42。主控制用EV計(jì)算部31，為了使該照度范圍不僅包含主控制用EV41，而且也包含由副控制用EV計(jì)算部32計(jì)算的副控制用EV42，對(duì)主控制用EV41設(shè)置限制。
[0076]在例如將長時(shí)間曝光圖像信號(hào)SI作為主控制用信號(hào)的情況下，關(guān)于短時(shí)間曝光圖像信號(hào)S2的副控制用EV42成為相對(duì)于主控制用EV41高HDR倍率M的量的值。主控制用EV計(jì)算部31限制主控制用EV41的最大值，以使副控制用EV42包含于照相機(jī)模塊2具有拍攝感度的最大照度以下的范圍。若參照?qǐng)D6的曲線，則以相對(duì)于LI按與M相當(dāng)?shù)牧刻幱谧髠?cè)的L2到達(dá)曲線左端時(shí)為限度，LI的作為向曲線左側(cè)(高照度側(cè))移動(dòng)的調(diào)整受到限制。
[0077]另外，在例如將短時(shí)間曝光圖像信號(hào)S2作為主控制用信號(hào)的情況下，關(guān)于長時(shí)間曝光圖像信號(hào)SI的副控制用EV42成為相對(duì)于主控制用EV41低HDR倍率M的量的值。主控制用EV計(jì)算部31限制主控制用EV41的最小值，以使副控制用EV42包含于照相機(jī)模塊
2具有拍攝感度的最小照度以上的范圍。若參照?qǐng)D6的曲線，則以相對(duì)于L2按HDR倍率M的量處于右側(cè)的LI到達(dá)曲線右端時(shí)為限度，L2的作為向曲線右側(cè)(低照度側(cè))移動(dòng)的調(diào)整受到限制。
[0078]EV計(jì)算部24通過對(duì)主控制用EV41設(shè)置這樣的限制，能夠獲取與照相機(jī)模塊2的拍攝感度相應(yīng)的主控制用EV41以及副控制用EV42。AE控制電路16，關(guān)于長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2雙方，能夠?qū)嵤┡c照相機(jī)模塊2的拍攝感度相應(yīng)的AE工作的控制。
[0079]照相機(jī)模塊2，能夠進(jìn)行例如實(shí)施HDR合成的HDR拍攝模式與不實(shí)施HDR合成的通常拍攝模式的切換。AE控制電路16在處于HDR拍攝模式時(shí)，分別求取關(guān)于長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2的各控制量。
[0080]圖9是表示圖7所示的AE控制電路中的、在通常拍攝模式下的AE工作的控制中使用的要素的框圖。在通常拍攝模式下，固體拍攝裝置5對(duì)在HDR拍攝模式下分類為長時(shí)間曝光像素和短時(shí)間曝光像素的各像素應(yīng)用相同的電荷蓄積期間。
[0081]對(duì)AE控制電路16輸入來自拍攝處理電路12的圖像信號(hào)S0。輝度信號(hào)生成部21根據(jù)圖像信號(hào)SO生成輝度信號(hào)35。輝度平均值計(jì)算部22對(duì)輝度信號(hào)35進(jìn)行積分并平均化，計(jì)算輝度平均值36。輝度目標(biāo)值比較部23將輝度平均值36與輝度目標(biāo)值的差作為用于根據(jù)拍攝時(shí)的照度調(diào)整圖像亮度的亮度調(diào)整量37而輸出。EV計(jì)算部24通過使來自輝度目標(biāo)值比較部23的亮度調(diào)整量37反映于基于圖像信號(hào)SO的圖像亮度的運(yùn)算，計(jì)算EV43。
[0082]閃爍檢測(cè)用累計(jì)部26關(guān)于圖像信號(hào)SO實(shí)施用于閃爍檢測(cè)的積分，輸出積分結(jié)果34。閃爍周期推定部27基于來自閃爍檢測(cè)用累計(jì)部26的積分結(jié)果34來推定閃爍的周期，輸出推定結(jié)果38?？刂屏哭D(zhuǎn)換部25將來自EV計(jì)算部24的EV43向關(guān)于ES的控制量ES0、關(guān)于AG的控制量AGO以及關(guān)于DG的控制量DGO轉(zhuǎn)換。控制量轉(zhuǎn)換部25在通常拍攝模式下，求出關(guān)于對(duì)各像素應(yīng)用相同的電荷蓄積期間而得到的圖像信號(hào)SO的各控制量。
[0083]圖1所示的定時(shí)生成器15對(duì)像素陣列10輸出與控制量ESO相應(yīng)的脈沖。前處理部11通過控制量AGO以及DGO放大圖像信號(hào)S0。
[0084]第I實(shí)施方式涉及的固體拍攝裝置5，通過將HDR倍率M設(shè)為固定并求出關(guān)于副控制用信號(hào)的控制量，與應(yīng)用始終被進(jìn)行調(diào)節(jié)的HDR倍率M的情況相比，能夠通過簡單的運(yùn)算處理來實(shí)施AE控制。固體拍攝裝置5通過對(duì)長時(shí)間曝光圖像信號(hào)和短時(shí)間曝光圖像信號(hào)進(jìn)行簡單的運(yùn)算處理，能夠進(jìn)行與拍攝時(shí)的亮度相應(yīng)的AE工作的控制。
[0085]AE控制電路16能夠通過運(yùn)算處理的簡單化實(shí)現(xiàn)電路規(guī)模的縮小、處理時(shí)間的縮短。固體拍攝裝置5，通過對(duì)于不實(shí)施HDR合成的情況的電路結(jié)構(gòu)增加副控制用EV計(jì)算部32等比較小規(guī)模的電路，能夠?qū)崿F(xiàn)HDR拍攝模式下的AE工作的控制。固體拍攝裝置5能夠成為小規(guī)模且簡單的電路結(jié)構(gòu)。
[0086]此外，本實(shí)施方式中說明的各電路結(jié)構(gòu)，只要是能夠?qū)崿F(xiàn)本實(shí)施方式中說明的功能的結(jié)構(gòu)即可，能夠適宜變更。
[0087]圖10是表示第2實(shí)施方式涉及的圖像處理裝置中所包含的AE控制電路的結(jié)構(gòu)的框圖。本實(shí)施方式的AE控制電路50能夠應(yīng)用在第I實(shí)施方式中的固體拍攝裝置5 (參照?qǐng)D1)。對(duì)與第I實(shí)施方式相同的部分標(biāo)注相同的符號(hào)，并適宜省略重復(fù)的說明。
[0088]AE控制電路50中，取代圖7所示的控制量轉(zhuǎn)換部25，設(shè)有作為控制量轉(zhuǎn)換部的第I控制量轉(zhuǎn)換部(主控制用控制量轉(zhuǎn)換部)51以及第2控制量轉(zhuǎn)換部(副控制用控制量轉(zhuǎn)換部)52。
[0089]第I控制量轉(zhuǎn)換部51將由主控制用EV計(jì)算部31計(jì)算的主控制用EV41向各控制量ES1、AGl以及DGl轉(zhuǎn)換。第2控制量轉(zhuǎn)換部52將由副控制用EV計(jì)算部32計(jì)算的副控制用EV42向各控制量ES2、AG2以及DG2轉(zhuǎn)換。
[0090]第2實(shí)施方式涉及的固體拍攝裝置5與第I實(shí)施方式同樣地，能夠成為小規(guī)模且簡單的電路結(jié)構(gòu)。進(jìn)而，AE控制電路50能夠并行實(shí)施由第I控制量轉(zhuǎn)換部51進(jìn)行的從主控制用EV41向各控制量的轉(zhuǎn)換和由第2控制量轉(zhuǎn)換部52進(jìn)行的從副控制用EV42向各控制量的轉(zhuǎn)換。AE控制電路50通過能夠并行地獲得關(guān)于主控制用信號(hào)以及副控制用信號(hào)的各控制量，能夠謀求AE工作的高速化。
[0091]圖11是表示第3實(shí)施方式涉及的圖像處理裝置中所包含的AE控制電路的結(jié)構(gòu)的框圖。本實(shí)施方式的AE控制電路60能夠應(yīng)用于第I實(shí)施方式中的固體拍攝裝置5 (參照?qǐng)D1)。對(duì)與第I以及第2實(shí)施方式相同的部分標(biāo)注相同的符號(hào)，并適宜省略重復(fù)的說明。
[0092]第I控制量轉(zhuǎn)換部51將根據(jù)主控制用EV41求出的控制量ESl向第2控制量轉(zhuǎn)換部52輸出。作為控制量轉(zhuǎn)換部的第I控制量轉(zhuǎn)換部51以及第2控制量轉(zhuǎn)換部52，對(duì)于主控制用信號(hào)和副控制用信號(hào)，關(guān)于ES應(yīng)用相同的控制量ESl。第2控制量轉(zhuǎn)換部52根據(jù)來自第I控制量轉(zhuǎn)換部51的控制量ESl和來自副控制用EV計(jì)算部32的副控制用EV42，確定各控制量AG2以及DG2。第I控制量轉(zhuǎn)換部51以及第2控制量轉(zhuǎn)換部52，對(duì)主控制用信號(hào)和副控制用信號(hào)，關(guān)于AG以及DG中的至少一方設(shè)定不同的控制量。
[0093]圖1所示的定時(shí)生成器15，對(duì)像素陣列10的長時(shí)間曝光像素以及短時(shí)間曝光像素雙方，輸出與控制量ESl相應(yīng)的脈沖。AE控制電路60能夠并行地實(shí)施由第I控制量轉(zhuǎn)換部51進(jìn)行的從主控制用EV41向各控制量的轉(zhuǎn)換和由第2控制量轉(zhuǎn)換部52進(jìn)行的從副控制用EV42向各控制量的轉(zhuǎn)換。AE控制電路60通過能夠并行地獲得關(guān)于主控制用信號(hào)以及副控制用信號(hào)的各控制量，能夠謀求AE工作的高速化。
[0094]此外，AE控制電路60也可以取代第I控制量轉(zhuǎn)換部51以及第2控制量轉(zhuǎn)換部52而應(yīng)用第I實(shí)施方式的控制量轉(zhuǎn)換部25(參照?qǐng)D7)。該情況下，控制量轉(zhuǎn)換部25分時(shí)地實(shí)施從由主控制用EV計(jì)算部31計(jì)算的主控制用EV41向各控制量的轉(zhuǎn)換和從由副控制用EV計(jì)算部32計(jì)算的副控制用EV42向各控制量的轉(zhuǎn)換。AE控制電路60，通過關(guān)于主控制用信號(hào)以及副控制用信號(hào)在各控制量的生成中使用共同的控制量轉(zhuǎn)換部25，能夠?qū)崿F(xiàn)電路規(guī)模的抑制。
[0095]圖12是說明由AE控制電路進(jìn)行的ES、AG以及DG的各控制量的計(jì)算的圖。AE控制電路60，將長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2中被指定為主控制用信號(hào)的一方作為對(duì)象，實(shí)施AE工作的控制。AE控制電路60,使關(guān)于長時(shí)間曝光圖像信號(hào)SI以及短時(shí)間曝光圖像信號(hào)S2中的主控制用信號(hào)以外的一方即副控制用信號(hào)的AE工作，追隨于關(guān)于主控制用信號(hào)的AE工作。
[0096]例如，假定長時(shí)間曝光圖像信號(hào)SI被指定為主控制用信號(hào)。第I控制量轉(zhuǎn)換部51，基于長時(shí)間曝光圖像信號(hào)SI求出關(guān)于長時(shí)間曝光像素的適合曝光LI。第I控制量轉(zhuǎn)換部51求出與適合曝光LI相應(yīng)的控制量、例如ESl以及AGl。
[0097]AE控制電路60，通過將適合曝光LI乘以HDR倍率M，求出關(guān)于短時(shí)間曝光像素的適合曝光L2。第2控制量轉(zhuǎn)換部52求出與適合曝光L2相應(yīng)的控制量。第2控制量轉(zhuǎn)換部52原樣采用關(guān)于長時(shí)間曝光圖像信號(hào)SI的控制量ESl作為關(guān)于ES的控制量。進(jìn)而，第2控制量轉(zhuǎn)換部52除了 ES以外，還求出與適合曝光L2相應(yīng)的控制量、例如AG2。
[0098]在圖12中，直線AGL表示關(guān)于長時(shí)間曝光圖像信號(hào)SI的AG的控制量與照度的關(guān)系。直線AGS表示關(guān)于短時(shí)間曝光圖像信號(hào)S2的AG的控制量與照度的關(guān)系。直線AGL與AGS在縱軸方向上的間隔相當(dāng)于與HDR倍率M相應(yīng)的AG之差。
[0099]例如，在適合曝光L2包含于照度范圍bl、適合曝光LI包含于照度范圍b2或b3(關(guān)于照度范圍bl、b2以及b3，參照?qǐng)D6)、適合曝光LI以及L2的照度寬度跨多個(gè)照度范圍的情況下，在長時(shí)間曝光像素和短時(shí)間曝光像素中，AE工作不同。在長時(shí)間曝光像素和短時(shí)間曝光像素中關(guān)于ES應(yīng)用不同的控制量的情況下，可能有時(shí)僅在適合曝光L2成為高照度側(cè)的短時(shí)間曝光像素中發(fā)生閃爍。適合曝光LI以及L2的照度寬度越大、即HDR倍率M越大，短時(shí)間曝光像素的閃爍越容易發(fā)生。
[0100]第3實(shí)施方式的AE控制電路60，通過在長時(shí)間曝光像素和短時(shí)間曝光像素中關(guān)于ES應(yīng)用相同的控制量，可抑制短時(shí)間曝光像素的閃爍發(fā)生。本實(shí)施方式的AE控制電路60，應(yīng)用于期望抑制閃爍的情況下。
[0101]例如，在搭載于行車記錄器的照相機(jī)模塊2對(duì)在顯示中使用LED的信號(hào)機(jī)進(jìn)行拍攝的情況下，可能有時(shí)由于LED點(diǎn)亮的周期與幀速率的偏差，LED未點(diǎn)亮便記錄圖像。在這樣的情況下，照相機(jī)模塊2通過應(yīng)用本實(shí)施方式的AE控制電路60來抑制閃爍，能夠可靠地記錄基于LED的信號(hào)顯示。
[0102]第3實(shí)施方式涉及的固體拍攝裝置5，與第I實(shí)施方式同樣地，能夠成為小規(guī)模且簡單的電路結(jié)構(gòu)。進(jìn)而，AE控制電路60，對(duì)于副控制用信號(hào)也原樣應(yīng)用關(guān)于主控制用信號(hào)確定的控制量ES1，由此能夠省略用于關(guān)于副控制用信號(hào)另行計(jì)算ES的控制量的運(yùn)算處理。由此，固體拍攝裝置5能夠謀求AE工作的高速化。
[0103]關(guān)于本發(fā)明的幾種實(shí)施方式進(jìn)行了說明，但是這些實(shí)施方式是作為例子而呈現(xiàn)的，并非要限定發(fā)明的范圍。這些新的實(shí)施方式可以通過其他的各種方式實(shí)施，在不脫離發(fā)明的主旨的范圍，能夠進(jìn)行各種省略、置換、變更。這些實(shí)施方式和/或其變形包含于發(fā)明的范圍和/或主旨，并且包含于權(quán)利要求所記載的發(fā)明及其等同的范圍。
【權(quán)利要求】
1.一種圖像處理裝置，具備: 高動(dòng)態(tài)范圍合成部，其通過第I圖像信號(hào)與第2圖像信號(hào)的合成而生成合成圖像，所述第I圖像信號(hào)與第I電荷蓄積期間中向第I像素入射的入射光量相應(yīng)，所述第2圖像信號(hào)與比所述第I電荷蓄積期間短的第2電荷蓄積期間中向第2像素入射的入射光量相應(yīng)；曝光值計(jì)算部，其計(jì)算曝光值，所述曝光值反映了用于根據(jù)拍攝時(shí)的照度調(diào)整所述合成圖像的亮度的亮度調(diào)整量；以及 控制量轉(zhuǎn)換部，其將所述曝光值向關(guān)于電子快門時(shí)間、模擬增益以及數(shù)字增益的各控制量轉(zhuǎn)換， 其中所述曝光值計(jì)算部包括:主控制用曝光值計(jì)算部，其基于所述第I圖像信號(hào)以及所述第2圖像信號(hào)中被指定為主控制用信號(hào)的一方，計(jì)算關(guān)于所述主控制用信號(hào)的所述曝光值即主控制用曝光值；以及副控制用曝光值計(jì)算部，其計(jì)算關(guān)于副控制用信號(hào)的所述曝光值即副控制用曝光值，所述副控制用信號(hào)是所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的所述主控制用信號(hào)以外的一方且使亮度調(diào)整追隨于所述主控制用信號(hào)； 所述副控制用曝光值計(jì)算部將由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值乘以高動(dòng)態(tài)范圍倍率，作為所述副控制用曝光值，所述高動(dòng)態(tài)范圍倍率是作為所述第I電荷蓄積期間與所述第2電荷蓄積期間之比而預(yù)先設(shè)定的倍率。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述控制量轉(zhuǎn)換部分時(shí)地實(shí)施從由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值向所述各控制量的轉(zhuǎn)換和從由所述副控制用曝光值計(jì)算部計(jì)算的所述副控制用曝光值向所述各控制量的轉(zhuǎn)換。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，` 所述控制量轉(zhuǎn)換部具有主控制用控制量轉(zhuǎn)換部和副控制用控制量轉(zhuǎn)換部， 所述主控制用控制量轉(zhuǎn)換部實(shí)施從由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值向所述各控制量的轉(zhuǎn)換， 所述副控制用控制量轉(zhuǎn)換部實(shí)施從由所述副控制用曝光值計(jì)算部計(jì)算的所述副控制用曝光值向所述各控制量的轉(zhuǎn)換。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述控制量轉(zhuǎn)換部，對(duì)于所述主控制用信號(hào)以及所述副控制用信號(hào)，關(guān)于所述電子快門時(shí)間設(shè)定相同的控制量，至少關(guān)于所述模擬增益設(shè)定互不相同的控制量。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述高動(dòng)態(tài)范圍倍率固定。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述主控制用曝光值計(jì)算部，為了使由所述副控制用曝光值計(jì)算部計(jì)算的所述副控制用曝光值包含于與拍攝感度相應(yīng)的照度范圍，對(duì)所述主控制用曝光值設(shè)置限制。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 還具備根據(jù)所述主控制用信號(hào)的積分結(jié)果推定閃爍的周期的閃爍周期推定部， 所述控制量轉(zhuǎn)換部根據(jù)所述閃爍周期推定部的推定結(jié)果，確定關(guān)于所述電子快門時(shí)間的控制量。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 在實(shí)施高動(dòng)態(tài)范圍合成的高動(dòng)態(tài)范圍拍攝模式下，所述控制量轉(zhuǎn)換部求出關(guān)于所述第I圖像信號(hào)以及所述第2圖像信號(hào)的所述各控制量， 在不實(shí)施所述高動(dòng)態(tài)范圍合成的通常拍攝模式下，所述控制量轉(zhuǎn)換部求出關(guān)于對(duì)各像素應(yīng)用相同的電荷蓄積時(shí)間而得到的圖像信號(hào)的所述各控制量。
9.一種圖像處理方法，包括: 通過第I圖像信號(hào)與第2圖像信號(hào)的合成而生成合成圖像，所述第I圖像信號(hào)與第I電荷蓄積期間中向第I像素入射的入射光量相應(yīng)，所述第2圖像信號(hào)與比所述第I電荷蓄積期間短的第2電荷蓄積期間中向第2像素入射的入射光量相應(yīng)； 計(jì)算曝光值，所述曝光值反映了用于根據(jù)拍攝時(shí)的照度調(diào)整所述合成圖像的亮度的亮度調(diào)整量；以及 將所述曝光值向關(guān)于電子快門時(shí)間、模擬增益以及數(shù)字增益的各控制量轉(zhuǎn)換， 其中指定所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的一方作為主控制用信號(hào)， 將所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的所述主控制用信號(hào)以外的一方作為使亮度調(diào)整追隨于所述主控制用信號(hào)的副控制用信號(hào)， 所述曝光值的計(jì)算: 包括關(guān)于所述主控制用信號(hào)的所述曝光值即主控制用曝光值的計(jì)算和關(guān)于所述副控制用信號(hào)的所述曝光值即`副控制用曝光值的計(jì)算； 將高動(dòng)態(tài)范圍倍率乘以所述主控制用曝光值而得到的結(jié)果作為所述副控制用曝光值，所述高動(dòng)態(tài)范圍倍率是作為所述第I電荷蓄積期間與所述第2電荷蓄積期間之比而預(yù)先設(shè)定的倍率。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 分時(shí)地實(shí)施從所述主控制用曝光值向所述各控制量的轉(zhuǎn)換和從所述副控制用曝光值向所述各控制量的轉(zhuǎn)換。
11.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 并行地實(shí)施從所述主控制用曝光值向所述各控制量的轉(zhuǎn)換和從所述副控制用曝光值向所述各控制量的轉(zhuǎn)換。
12.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 對(duì)于所述主控制用信號(hào)以及所述副控制用信號(hào)，關(guān)于所述電子快門時(shí)間設(shè)定相同的控制量，至少關(guān)于所述模擬增益設(shè)定互不相同的控制量。
13.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 所述高動(dòng)態(tài)范圍倍率固定。
14.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 為了使所述副控制用曝光值包含于與拍攝感度相應(yīng)的照度范圍，對(duì)所述主控制用曝光值設(shè)置限制。
15.根據(jù)權(quán)利要求9所述的圖像處理方法，其中， 還包括根據(jù)所述主控制用信號(hào)的積分結(jié)果推定閃爍的周期， 根據(jù)所述閃爍的周期的推定結(jié)果，確定關(guān)于所述電子快門時(shí)間的控制量。
16.根據(jù)權(quán)利要求9所述的圖像處理方法，其中，在實(shí)施高動(dòng)態(tài)范圍合成的高動(dòng)態(tài)范圍拍攝模式下，求出關(guān)于所述第I圖像信號(hào)以及所述第2圖像信號(hào)的所述各控制量， 在不實(shí)施所述高動(dòng)態(tài)范圍合成的通常拍攝模式下，求出關(guān)于對(duì)各像素應(yīng)用相同的電荷蓄積時(shí)間而得到的圖像信號(hào)的所述各控制量。
17.—種固體拍攝裝置，具有: 像素陣列，其包括檢測(cè)第I電荷蓄積期間中的入射光量的第I像素和檢測(cè)比所述第I電荷蓄積期間短的第2電荷蓄積期間中的入射光量的第2像素； 高動(dòng)態(tài)范圍合成部，其通過第I圖像信號(hào)與第2圖像信號(hào)的合成而生成合成圖像，所述第I圖像信號(hào)是所述第I像素與所述入射光量相應(yīng)地輸出的信號(hào)，所述第2圖像信號(hào)是所述第2像素與所述入射光量相應(yīng)地輸出的信號(hào)； 曝光值計(jì)算部，其計(jì)算曝光值，所述曝光值反映了用于根據(jù)拍攝時(shí)的照度調(diào)整所述合成圖像的亮度的亮度調(diào)整量；以及 控制量轉(zhuǎn)換部，其將所述曝光值向關(guān)于電子快門時(shí)間、模擬增益以及數(shù)字增益的各控制量轉(zhuǎn)換， 其中所述曝光值計(jì)算部包括:主控制用曝光值計(jì)算部，其基于所述第I圖像信號(hào)以及所述第2圖像信號(hào)中被指定為主控制用信號(hào)的一方，計(jì)算關(guān)于所述主控制用信號(hào)的所述曝光值即主控制用曝光值；以及副控制用曝光值計(jì)算部，其計(jì)算關(guān)于副控制用信號(hào)的所述曝光值即副控制用曝光值，所述副控制用信號(hào)是所述第I圖像信號(hào)以及所述第2圖像信號(hào)中的所述主控制用信號(hào)以外的一方且使亮度調(diào)整追隨于所述主控制用信號(hào)； 所述副控制用曝光值計(jì)算部將由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值乘以高動(dòng)態(tài)范圍倍率，作為所述副控制用曝光值，所述高動(dòng)態(tài)范圍倍率是作為所述第I電荷蓄積期間與所述第2電荷蓄積期間之比而預(yù)先設(shè)定的倍率。
18.根據(jù)權(quán)利要求17所述的固體拍攝裝置，其中， 所述固體拍攝裝置能夠切換為實(shí)施高動(dòng)態(tài)范圍合成的高動(dòng)態(tài)范圍拍攝模式和不實(shí)施所述高動(dòng)態(tài)范圍合成的通常拍攝模式， 所述控制量轉(zhuǎn)換部， 在所述高動(dòng)態(tài)范圍拍攝模式下，求出關(guān)于所述第I圖像信號(hào)以及所述第2圖像信號(hào)的所述各控制量， 在所述通常拍攝模式下，求出關(guān)于對(duì)各像素應(yīng)用相同的電荷蓄積時(shí)間而得到的圖像信號(hào)的所述各控制量。
19.根據(jù)權(quán)利要求17所述的固體拍攝裝置，其中， 所述控制量轉(zhuǎn)換部分時(shí)地實(shí)施從由所述主控制用曝光值計(jì)算部計(jì)算的所述主控制用曝光值向所述各控制量的轉(zhuǎn)換和從由所述副控制用曝光值計(jì)算部計(jì)算的所述副控制用曝光值向所述各控制量的轉(zhuǎn)換。
20.根據(jù)權(quán)利要求17所述的固體拍攝裝置，其中， 所述控制量轉(zhuǎn)換部，對(duì)于所述主控制用信號(hào)以及所述副控制用信號(hào)，關(guān)于所述電子快門時(shí)間設(shè)定相同的控制量，至少關(guān)于所述模擬增益設(shè)定互不相同的控制量。
【文檔編號(hào)】H04N9/04GK103686101SQ201310070571
【公開日】2014年3月26日 申請(qǐng)日期:2013年3月6日 優(yōu)先權(quán)日:2012年9月3日
【發(fā)明者】立澤之康, 檜田和浩, 蘆谷達(dá)治 申請(qǐng)人:株式會(huì)社東芝