一種圖像信號處理方法
【專利摘要】本發(fā)明公開了一種圖像信號處理方法，其步驟是(1)根據(jù)基準(zhǔn)讀出電壓，對通過不同的曝光時(shí)間拍攝特定的被攝體而生成的第1圖像信號和第2圖像信號進(jìn)行合成；(2)根據(jù)所述合成的圖像信號，檢測特定的被攝體的亮度信息；(3)通過曝光控制，將所述特定的被攝體的亮度信息設(shè)定為目標(biāo)亮度信息；(4)根據(jù)所述目標(biāo)亮度信息，決定第1拐點(diǎn)，并按照所述第1拐點(diǎn)，控制所述基準(zhǔn)讀出電壓；(5)對所述合成后的圖像信號的動態(tài)范圍進(jìn)行壓縮的步驟，其中，根據(jù)所述檢測出的所述亮度信息，決定第2拐點(diǎn)。本發(fā)明能夠在抑制重要被攝體的畫質(zhì)劣化的同時(shí)將動態(tài)范圍擴(kuò)大。
【專利說明】一種圖像信號處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種在數(shù)字照相機(jī)等中使用的圖像信號處理裝置，具體涉及一種具有擴(kuò)大動態(tài)范圍功能的圖像信號處理方法。
【背景技術(shù)】
[0002]現(xiàn)今已開發(fā)出了對在數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)中使用的例如CXD (ChargeCoupledDevice:電荷華禹合兀件)或 CMOS (Complementary Metal OxideSemiconductor:互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的動態(tài)范圍進(jìn)行擴(kuò)大的裝置(例如日本特開2008-271368號公報(bào)、日本特開2007-124400號公報(bào))。
[0003]在日本特開2008-271368號公報(bào)中，公開了如下技術(shù):在曝光設(shè)定模式下的攝像時(shí)，對于根據(jù)長時(shí)間曝光圖像信號和短時(shí)間曝光圖像信號生成的合成圖像，分析亮度信息例如亮度直方圖(頻度分布)，并根據(jù)該結(jié)果控制短時(shí)間曝光圖像信號的曝光。
[0004]另一方面，在日本特開2007-124400號公報(bào)中，示出了通過光電二極管進(jìn)行的二次曝光儲存動作和分割讀出、以及分割讀出信號的線性合成。即，公開了如下技術(shù):在I個(gè)水平掃描期間，將曝光時(shí)間較長的信號和較短的信號分別進(jìn)行模擬/數(shù)字信號變換而輸出，并將該輸出的兩個(gè)數(shù)字信號相加，從而抑制畫質(zhì)的下降而擴(kuò)大動態(tài)范圍。
[0005]上述以往的技術(shù)對于長時(shí)間曝光圖像信號和短時(shí)間曝光圖像信號的品質(zhì)并沒有考慮。長時(shí)間曝光信號的信號對噪聲比(SNR)及量化誤差相對地更好。因此，希望進(jìn)行控制以使特定的被攝體、例如人的臉那樣重要的被攝體包含在長時(shí)間曝光圖像信號中。但是，以往沒有進(jìn)行這樣的控制。
[0006]此外，顯示圖像信號的顯示裝置的動態(tài)范圍較窄。因此，在攝像部中，在由顯示裝置顯示擴(kuò)展了動態(tài)范圍的圖像信號的情況下，需要縮窄動態(tài)范圍。所以，利用動態(tài)范圍的壓縮技術(shù)、例如高亮度拐點(diǎn)壓縮(kneecompression,也稱膝狀曲線彎曲壓縮)等將擴(kuò)展的動態(tài)范圍壓縮。在此情況下，也希望基于臉部那樣的重要被攝體的亮度電平使拐點(diǎn)最佳化，但以往沒有考慮這樣的控制。因而，希望有能夠在抑制重要被攝體的畫質(zhì)劣化的同時(shí)將動態(tài)范圍擴(kuò)大的圖像信號處理裝置及圖像信號處理方法。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題是顯示圖像信號的顯示裝置的動態(tài)范圍較窄，使得被攝體的畫質(zhì)劣化。
[0008]為解決上述問題，本發(fā)明所采用的技術(shù)方案是:
[0009]本發(fā)明提供了一種圖像信號處理方法，其包括如下步驟:
[0010](I)根據(jù)基準(zhǔn)讀出電壓，對通過不同的曝光時(shí)間拍攝特定的被攝體而生成的第I圖像信號和第2圖像信號進(jìn)行合成；
[0011](2)根據(jù)所述合成的圖像信號，檢測特定的被攝體的亮度信息；
[0012](3)通過曝光控制，將所述特定的被攝體的亮度信息設(shè)定為目標(biāo)亮度信息；[0013](4)根據(jù)所述目標(biāo)亮度信息，決定第I拐點(diǎn)，并按照所述第I拐點(diǎn)，控制所述基準(zhǔn)讀出電壓。
[0014](5)對所述合成后的圖像信號的動態(tài)范圍進(jìn)行壓縮的步驟。
[0015]其中，根據(jù)所述檢測出的所述亮度信息，決定第2拐點(diǎn)。
[0016]本發(fā)明的有益效果是能夠在抑制重要被攝體的畫質(zhì)劣化的同時(shí)將動態(tài)范圍擴(kuò)大。
【專利附圖】

【附圖說明】
[0017]圖1是表示本發(fā)明的圖像信號處理裝置的第I實(shí)施方式的結(jié)構(gòu)圖。
[0018]圖2是表示圖1所示的裝置的二次曝光動作的一例的圖。
[0019]圖3A、圖3B、圖3C是表示不同的照度的二次曝光動作的例子的圖。
[0020]圖4是表示不同的照度下的二次曝光動作的例子的圖。
[0021]圖5是表示圖1所示的線性合成電路的一例的圖。
[0022]圖6是表示中間讀出電壓與動態(tài)范圍擴(kuò)展模式的關(guān)系的圖。
[0023]圖7是表示第I實(shí)施方式的動作的流程圖。
[0024]圖8是表示有關(guān)第I實(shí)施方式的變形例的動作的流程圖。
[0025]圖9A、圖9B是為了說明圖8所示的變形例的動作而表示的圖。
[0026]圖10是表示有關(guān)本發(fā)明的圖像信號處理裝置的第2實(shí)施方式的結(jié)構(gòu)圖。
[0027]【具體實(shí)施方式】
[0028]實(shí)施例1
[0029]圖1是表示有關(guān)本發(fā)明的第I實(shí)施方式的圖像信號處理裝置的圖，例如表示放大型CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的結(jié)構(gòu)。首先，參照圖1對圖像信號處理裝置的概略結(jié)構(gòu)進(jìn)行說明。
[0030]傳感器芯體部11具有像素部12、作為列型噪聲消除電路的(3)S13、列型模擬數(shù)字變換器(ADC) 14、閂鎖電路15、兩個(gè)線存儲器(MSTS、MSTL) 28-1、28-2等。
[0031]像素部12將經(jīng)由透鏡17入射的光進(jìn)行光電變換，生成對應(yīng)于入射光量的電荷。在該像素部12中，在未圖示的半導(dǎo)體基板上以矩陣狀配置有多個(gè)單元(像素)。I個(gè)單元PC由4個(gè)晶體管(Ta、Tb、Tc、Td)和光電二極管(PD)構(gòu)成。對各單元分別供給脈沖信號ADRESn, RESETn, READn0各單元PC的晶體管Tb連接在垂直信號線VLIN上。源極跟隨電路用的負(fù)荷晶體管TLM的電流通路的一端連接在垂直信號線VLIN上，另一端接地。[0028]由上述像素部12產(chǎn)生的對應(yīng)于信號電荷的模擬信號經(jīng)由(3)S13被供給到ADC14中，被變換為數(shù)字信號而閂鎖到閂鎖電路15中。閂鎖在該閂鎖電路15中的數(shù)字信號經(jīng)由線存儲器(MSTS、MSTL)28-l、28-2被依次傳送。從線存儲器(MSTS、MSTL) 28_1、28_2讀出的例如10位的數(shù)字信號SH、SL+SH被供給到線性合成電路31中，由該線性合成電路31進(jìn)行合成處理。
[0032]此外，相鄰于像素部12而配置有脈沖選擇器電路(選擇器)22、信號讀出用垂直寄存器(VR寄存器)20、儲存時(shí)間控制用垂直寄存器(ES寄存器，長儲存時(shí)間控制用寄存器)21、以及儲存時(shí)間控制用垂直寄存器(WD寄存器，短儲存時(shí)間控制用寄存器)27。定時(shí)發(fā)生器(TG) 19根據(jù)從后述的控制部34供給的控制信號CONT或指令CMD生成脈沖信號SI?S4、READ、RESET/ADRES/READ、VRR, ESR、TOR。
[0033]脈沖信號SI?S4被供給到(3) S電路13中。脈沖信號READ (包括后述的中間讀出信號Vm)被供給到脈沖振幅控制電路29中。通過該脈沖振幅控制電路29控制脈沖信號READ的振幅而生成3值的脈沖信號VREAD，供給到選擇器22。脈沖信號RESET/ADRES/READ也被供給到脈沖選擇器電路22。脈沖信號VRR被供給到VR寄存器20，脈沖信號ESR被供給到ES寄存器21，脈沖信號WDR被供給到WD寄存器27。由寄存器20、21、27選擇像素部12的垂直線，經(jīng)由脈沖選擇器電路22將脈沖信號RESET/ADRES/READ (在圖1中用RESETn、ADRESn, READn代表性地表示)供給到像素部12。
[0034]在單元PC中，行選擇晶體管Ta、放大晶體管Tb的電流通路串聯(lián)連接在電源VDD與垂直信號線VLIN間。對于晶體管Ta的門極供給脈沖信號(地址脈沖)ADRESn。復(fù)位晶體管Tc的電流通路連接在電源VDD與晶體管Tb的門極(檢測部FD)之間，對該門極供給脈沖信號(復(fù)位脈沖)RESETn。此外，讀出晶體管Td的電流通路的一端連接在檢測部FD上，對其門極供給脈沖信號(讀出脈沖)READn。在晶體管Td的電流通路的另一端上連接著光電二極管H)的陰極，該光電二極管H)的陽極接地。進(jìn)而，對于像素部12從偏壓產(chǎn)生電路(偏壓I) 23施加偏壓電壓VVL。該偏壓電壓VVL被供給到負(fù)荷晶體管TLM的門極。
[0035]VREF產(chǎn)生電路24響應(yīng)于主時(shí)鐘信號MCK，生成AD變換(ADC)用的基準(zhǔn)波形。VREF產(chǎn)生電路24由于在I個(gè)水平掃描期間執(zhí)行兩次AD變換，所以產(chǎn)生三角波VREFTL和VREFTS并供給到ADC14。
[0036]在上述結(jié)構(gòu)中，例如為了讀出垂直信號線VLIN的η線的信號，通過使脈沖信號ADRESn為“H”電平而使放大用晶體管Tb和負(fù)荷用晶體管TLM動作。將由光電二極管H)光電變換得到的信號電荷儲存一定時(shí)間，為了在進(jìn)行讀出之前去除檢測部FD中的暗電流等的噪聲信號，將脈沖信號RESETn設(shè)定為“H”電平，將晶體管Tc導(dǎo)通，將檢測部FD設(shè)置為VDD電壓=2.SVO由此，對垂直信號線VLIN輸出在作為基準(zhǔn)的檢測部FD中沒有信號的狀態(tài)的電壓(復(fù)位電平)。將與該垂直信號線VLIN的復(fù)位電平的量對應(yīng)的電荷經(jīng)由CDS13供給到 ADC14。
[0037]接著，將脈沖信號(讀出脈沖)READn設(shè)為“H”電平，使讀出晶體管Td導(dǎo)通，將由光電二極管H)生成并儲存的信號電荷讀出到檢測部FD。由此，在垂直信號線VLIN中，被讀出檢測部FD的電壓(信號+復(fù)位)電平。通過(3) S13對與該垂直信號線VLIN的信號+復(fù)位電平對應(yīng)的電荷進(jìn)行相關(guān)雙采樣(correlated double sampling)處理而將噪聲消除，并供給到ADC14。在0~13與々O (:14之間也可以進(jìn)行46 (: (3肚Ogain control:自動增益控制)處理。
[0038]然后，使從VREF產(chǎn)生電路24輸出的基準(zhǔn)波形的電平增加(使三角波VREF從低電平變化為高電平)，由ADC14將模擬信號變換為數(shù)字信號。根據(jù)由VREF產(chǎn)生電路24供給的三角波VREFTL和VREFTS，在I個(gè)水平掃描期間執(zhí)行兩次AD變換動作。三角波例如是10位(O?1023電平)。將對應(yīng)于三角波VREFTS和VREFTS的ADC14的輸出數(shù)據(jù)由閂鎖電路14依次保持，向線存儲器MSTS、MSTL傳送。S P,由于圖1所示的WDR(widedynamic range:大動態(tài)范圍)傳感器進(jìn)行二次曝光儲存動作，所以檢測到作為長時(shí)間曝光信號的SL信號(傳感器輸出為SL+SH信號)、和作為短時(shí)間曝光信號的SH信號，為了使定時(shí)匹配而通過線存儲器MSTS、MSTL進(jìn)行延遲調(diào)節(jié)。
[0039]將保持在線存儲器MSTS中的信號SH、以及保持在線存儲器MSTL中的信號SL+SH供給到線性合成電路31。在該線性合成電路31中合成的信號SF被供給到圖像信號處理電路32。圖像信號處理電路32對輸入信號進(jìn)行一般的各種信號處理，例如“黑點(diǎn)”校正、噪聲除去、解馬賽克等，從Bayer形式的信號SF變換為RGB形式的信號SF_RGB。圖像信號處理電路32的一個(gè)輸出信號被供給到AE檢波部33，另一個(gè)輸出信號被依次供給到動態(tài)范圍壓縮部(D范圍壓縮部)35、輸出部36。
[0040]上述AE檢波部例如具有周知的YUV (亮度和色差信號)變換部33a及臉部檢測部33b。信號SF_RGB被YUV變換部33a變換為亮度信號(I)和藍(lán)色成分的色差信號(3)及紅色成分的色差信號(V)。臉部檢測部33b對亮度信號進(jìn)行周知的臉部檢測處理，輸出檢測到的作為重要被攝體的例如臉部分的亮度信息。該亮度信息被供給到控制部34。
[0041]控制部34例如由微處理器構(gòu)成，例如具有自動曝光(AE)控制功能、以及中間讀出電壓(Vm)的決定功能。即，控制部34基于被供給的臉部的亮度信息進(jìn)行曝光控制，以成為目標(biāo)亮度值、例如650LSB。此外，在曝光控制收斂、臉部分的亮度值已決定的情況下，求出臉部分為信號SL的拐點(diǎn)，根據(jù)該拐點(diǎn)決定Vm值?？刂撇?4輸出指令CMD、用于曝光控制的控制信號C0NT、以及決定的Vm值。將指令CMD、控制信號CONT及Vm值供給到定時(shí)發(fā)生器(TG) 19。定時(shí)發(fā)生器19基于指令CMD、控制信號CONT及Vm值生成上述各種脈沖信號。
[0042]圖2表示上述圖像信號處理裝置的二次曝光儲存動作。參照圖2對二次曝光儲存動作進(jìn)行說明。該動作分為照度較高的高光的情況、照度中等的中光的情況、照度較低的低光的情況。這里，對代表性的高光的情況的動作進(jìn)行說明。
[0043]首先，在時(shí)刻t0，將復(fù)位脈沖解除而開始曝光(光電變換)。在高光的情況下，將比設(shè)定的中間讀出電壓(Vm值)大的量的電荷儲存到光電二極管中。因此，在時(shí)刻tl，比中間讀出電壓(Vm值)大的量的電荷量被部分地傳送、排出。
[0044]接著，在從時(shí)刻tl到t2的短時(shí)間(TH)中再次充電(短時(shí)間曝光)。然后，僅對Vm值以上的電荷量進(jìn)行部分傳送，作為信號SH檢測到。
[0045]接著，在時(shí)刻t3，剩余的電荷在時(shí)刻t3被完全傳送而添加到先檢測到的信號SH量的電荷之上，作為信號SL+SH被檢測到。
[0046]即，作為傳感器輸出，能夠得到作為短時(shí)間曝光信號的信號SH、和作為長時(shí)間曝光信號與短時(shí)間曝光信號的和的信號SL+SH這兩個(gè)信號。
[0047]圖3(A)、圖3(B)、圖3(C)分別表不高光、中光、低光下的信號儲存的狀況。參照圖3，對作為最終想得到的長時(shí)間曝光信號與短時(shí)間曝光信號的線性合成圖像信號即信號SF的計(jì)算方法進(jìn)行說明。
[0048]如圖3(C)所示，在低光的情況下，在曝光時(shí)間內(nèi)，電荷一次也沒有儲存到Vm值以上。因此，最終的合成圖像信號SF為信號SL本身。
[0049]如圖3(B)所示，在中光的情況下，在時(shí)刻tl，儲存電荷沒有成為Vm值以上，所以不進(jìn)行排出。因而，合成圖像信號SF為信號SL+SH。
[0050]如圖3㈧所示，在高光的情況下，信號SF與信號SH在形狀上重合。因此，通過將作為曝光比率的G = TL / TH (TL:長時(shí)間，TH:短時(shí)間)乘以信號SH能夠得到。S卩，信號SF可以通過下式(I)求出。
[0051]SF = GXSH ⑴
[0052]圖4表示由線性合成電路31根據(jù)以上的結(jié)果而能夠得到的信號SF。S卩，線性合成電路31將對信號SH乘以作為短時(shí)間、長時(shí)間曝光比率的G = TL/TH的信號與信號SL+SH比較，選擇較大的信號作為信號SF。因此，線性合成電路31輸出動態(tài)范圍從10位的信號SH、信號SL+SH擴(kuò)大到12?14位的信號SF。
[0053]圖5表示線性合成電路31的一例。信號SH被供給到乘法器31a并被供給到加法器31b的一個(gè)輸入端。信號SL+SH被供給到加法器31b的另一輸入端。乘法器31a將信號SH進(jìn)行G倍。該G的值由控制部34根據(jù)后述的放大率的模式WDRX4、X8、X16而設(shè)定。乘法器31a的輸出信號及加法器31b的輸出信號被供給到選擇器31d,并且被供給到比較器31c。比較器31c將乘法器31a的輸出信號與加法器31b的輸出信號進(jìn)行比較，根據(jù)比較結(jié)果控制選擇器31d。選擇器31d根據(jù)比較器31c的輸出信號，選擇乘法器31a或加法器31b的輸出信號中的較大的信號。
[0054]圖6表示中間讀出電壓Vm和動態(tài)范圍的擴(kuò)大模式的關(guān)系。如上所述，在將信號SL和信號SL+SH分別由ADC14以10位采樣的情況下，如果將Vm值設(shè)定為512LSB，將曝光比率設(shè)為TL: TH = 8: I，則最大位數(shù)為12位，動態(tài)范圍擴(kuò)大到4倍(WDRX4)。在同樣的條件下，如果將曝光比率設(shè)為16: 1、32: 1，則如圖6所示，最大位數(shù)為13位、14位，動態(tài)范圍分別擴(kuò)大至 IJ8 倍(WDRX8)、16 倍(WDRX16)。
[0055]如圖6所示，動態(tài)范圍的擴(kuò)大率不僅取決于曝光比率G，還取決于Vm值。由圖6可知，為了將擴(kuò)大率抑制為規(guī)定的位數(shù)、使動態(tài)范圍為最大，優(yōu)選地設(shè)定為Vm = 512LSB。圖6所示的Vn值是實(shí)際的傳感器中的拐點(diǎn)(在表示光量對數(shù)據(jù)量的曲線圖中發(fā)生彎折的點(diǎn))。由圖4也可知，拐點(diǎn)是比Vm值稍高的值。Vm值與拐點(diǎn)Vn值的關(guān)系如下式⑵所示，圖6所示的Vn值根據(jù)下式求出。
[0056]〈formula〉formula see original document page8</formula) [0055]以下，將這些擴(kuò)大率的模式設(shè)為WDRX4模式(12位模式)、WDRX8模式(13位模式)、WDRX16模式(14位模式)進(jìn)行說明。但是，本實(shí)施方式并不限定于這些擴(kuò)大率。
[0057]以往，從擴(kuò)大率的觀點(diǎn)出發(fā)而將Vm值優(yōu)選地設(shè)定為512LSB。但是，以往對于長時(shí)間曝光信號(信號SL)和短時(shí)間曝光信號(信號SH)的品質(zhì)并沒有考慮。即，關(guān)于SNR、量化誤差，信號SL與信號SH相比相對地品質(zhì)好，希望控制為例如人的臉部那樣的重要的被攝體包含在信號SL中。如圖6所示，在Vm = 512LSB的情況下，Vn = 585LSB。因此，假設(shè)臉部的亮度為600LSB附近的情況下，作為重要被攝體的臉部成為信號SH側(cè)，臉部的畫質(zhì)劣化。
[0058]一般，臉部的亮度是650LSB附近這是在圖像上適合的基準(zhǔn)。在本實(shí)施方式中，將決定該拐點(diǎn)的Vm值根據(jù)自動曝光(AE)控制中的重要被攝體的亮度信息反饋來決定。
[0059]圖7表示本實(shí)施方式的動作的一例。首先，在圖1中，控制部34例如假設(shè)設(shè)定了WDRX4模式、以及臨時(shí)的Vm值，傳感器芯體部11輸出基于WDRX4模式及Vm值的圖像信號。將從傳感器芯體部11輸出的信號SH及信號SL+SH供給到線性合成電路31并進(jìn)行合成。從線性合成電路31輸出的信號SF供給到信號處理電路32。信號處理電路32對信號SF實(shí)施例如“黑點(diǎn)”校正、噪聲除去、解馬賽克等而從Bayer形式的信號SF變換為RGB形式的信號SF_RGB。從信號處理電路32輸出的信號SF_RGB被供給到AE檢波部33。在AE檢波部33中，將信號SF_RGB進(jìn)行YUV變換，生成亮度信號(Y信號)，利用該亮度信號進(jìn)行臉部檢測處理(Sll)。但是，在檢波的初始階段，在極端高亮度或極端低亮度的情況下，難以檢測到臉部。因此，首先通過曝光控制使亮度適當(dāng)化。[0060]S卩，將從AE檢波部33輸出的檢測到的亮度信息供給到控制部34。在控制部34中，基于被供給的亮度信息，進(jìn)行曝光控制，以成為作為重要被攝體的臉部的目標(biāo)亮度值、例如650LSB(ST12、ST13)。S卩，控制部34基于從AE檢波部33供給的亮度信息生成控制信號，供給到定時(shí)發(fā)生器19。定時(shí)發(fā)生器19根據(jù)控制信號生成各種脈沖信號，供給到傳感器芯體部11。將從傳感器芯體部11讀出的信號SH、SL+SH以線性合成電路31、圖像信號處理電路32、AE檢波部33、控制部34的循環(huán)進(jìn)行處理。這樣，在進(jìn)行AE控制的結(jié)果使作為重要被攝體的臉部的亮度信息收斂為例如600LSB的情況下，在控制部34中將亮度信息再次變換為RGB。在該RGB例如是R:G:B=400:600:500LSB的情況下，可以求出它們的最大值G=600LSB。在G=600LSB的情況下，拐點(diǎn)Vn值根據(jù)圖6而成為Vn=658。如果Vn決定，則利用式(2)運(yùn)算Vm值。因而，在此情況下，決定為Vm=576。即，如果AE控制收斂、臉部分的亮度值決定，則控制部34決定臉部分為信號SL的Vm值。該Vm值經(jīng)由定時(shí)發(fā)生器19被供給到傳感器芯體部11。
[0061]通過這樣與AE控制聯(lián)動決定Vm值，不會使如臉部那樣的重要被攝體的畫質(zhì)劣化，能夠攝影動態(tài)范圍擴(kuò)大了的圖像。
[0062]另外，在此情況下，信號SH的壓縮率變得比Vm = 512LSB時(shí)高。因此，成為信號SH側(cè)的灰度等級相對地喪失的結(jié)果。這表示成為了根據(jù)拐點(diǎn)的位置而將信號SL側(cè)作為重點(diǎn)、還是將信號SH側(cè)作為重點(diǎn)的權(quán)衡(tradeoff)關(guān)系。換言之，本實(shí)施方式根據(jù)亮度信息，對應(yīng)于攝影場面即作為重要被攝體的臉部而將該權(quán)衡關(guān)系最佳化。
[0063]此外，同樣有雖然作為重要被攝體的臉部有些暗，但想要攝影想改善高亮度部分的灰度等級特性的攝影場面，例如想要從室內(nèi)拍攝窗外的風(fēng)景，而且想拍攝室內(nèi)的人的臉部的情況。在此情況下，將臉的目標(biāo)亮度值降低到520LSB，并聯(lián)動地將Vm值降低到448LSB。通過這樣，將臉部分包含在信號SL側(cè)，能夠緩和信號SH的壓縮率而改善灰度等級特性。當(dāng)然，也可以將Vm值進(jìn)一步降低而使信號SH側(cè)的灰度等級特性改善。
[0064]上述一系列的動作在將本實(shí)施方式應(yīng)用到例如數(shù)字照相機(jī)中的情況下、在將快門半按下的狀態(tài)或預(yù)覽動作中執(zhí)行。
[0065]接著，在快門動作后，不使重要被攝體的畫質(zhì)劣化，而擴(kuò)大了動態(tài)范圍的圖像的信號SF_RGB在圖1所示的圖像信號處理電路32中被實(shí)施例如白平衡、線性矩陣等的信號處理，并供給到動態(tài)范圍壓縮部35。動態(tài)范圍壓縮部35將如上述那樣擴(kuò)大了動態(tài)范圍的信號SF_RGB壓縮為對應(yīng)于未圖示的顯示裝置的較窄的動態(tài)范圍。即,動態(tài)范圍壓縮部35將信號SF_RGB壓縮處理到例如sRGB形式的8位。該壓縮處理例如可以采用高亮度拐點(diǎn)壓縮(knee compression)電路、或Retinex處理電路等。這里,也考慮量化誤差,通過動態(tài)范圍壓縮部35將信號SF_RGB壓縮到10位，并供給到輸出部36。輸出部36將壓縮后的信號進(jìn)行伽瑪處理，從10位設(shè)為sRGB形式8位而輸出。
[0066]根據(jù)上述第I實(shí)施方式，基于作為重要被攝體的臉部的亮度信息進(jìn)行AE控制，在AE控制收斂的狀態(tài)下，決定傳感器的中間讀出電壓值Vm值。因此，通過將傳感器內(nèi)的拐點(diǎn)設(shè)定得比Vm值高，能夠提高作為重要被攝體的臉部的畫質(zhì)。
[0067]另外，在AE控制的精度較高、且更高精度地收斂于目標(biāo)亮度電平的情況下，也可以不像第I實(shí)施方式那樣進(jìn)行反饋控制。在此情況下，由于能夠在AE控制前預(yù)想正確的Vm值，所以也可以代替臨時(shí)Vm值而設(shè)定預(yù)想Vm值，并進(jìn)行前饋控制。[0068]變形例
[0069]在上述第I實(shí)施方式中，對于采用Vm = 448LSB的攝影場面進(jìn)行了敘述。在此情況下，由于擴(kuò)大率超過4倍，所以在WDRX14位模式中有可能飽和。
[0070]所以，參照圖8對使WDR模式最佳化的方法進(jìn)行說明。
[0071]在此情況下，首先將WDR模式設(shè)定為最大。這里，WDRX16模式最大，作為Vm =512SLB而將動態(tài)范圍擴(kuò)大到最大14位。根據(jù)擴(kuò)大了動態(tài)范圍的圖像，與第I實(shí)施方式同樣，基于作為重要被攝體的臉部的亮度信息進(jìn)行AE控制(S21?S23)。
[0072]在AE控制收斂后，在控制部34中，決定WDRX16模式下的最佳Vm值(S24)。
[0073]接著，如圖9(A)所示，計(jì)算變更了 Vm值之后的亮度的直方圖(S25)。將該計(jì)算出的亮度的直方圖累積(S26)。根據(jù)該累積直方圖和預(yù)先設(shè)定的WDR模式的選定基準(zhǔn)、例如95%，決定數(shù)據(jù)為一定值以上不飽和的最佳的WDR模式(S27)。在圖9(B)所示的例子的情況下，將WDRX4模式?jīng)Q定為最佳的WDR模式。S卩，從SNR、壓縮率(灰度等級特性)的觀點(diǎn)來看，WDR模式如WDRX4模式那樣越小越優(yōu)選。因此，如果數(shù)據(jù)為一定值以上不飽和，則選擇較小的WDR模式。
[0074]根據(jù)上述變形例，在基于作為重要被攝體的臉部的亮度信息決定Vm值之后，根據(jù)亮度信息的累積直方圖將WDR模式最佳化。因此，能夠防止高亮度側(cè)的白溢出，另一方面能夠?qū)⒏吡炼葌?cè)的對比度壓縮抑制在最低限度，在白動態(tài)范圍圖像中能夠?qū)崿F(xiàn)高畫質(zhì)化。
[0075]實(shí)施例2
[0076]圖9、圖10是表不第2實(shí)施方式的圖,對于與第I實(shí)施方式相同的部分賦予相同的標(biāo)號，僅對不同的部分進(jìn)行說明。
[0077]如在第I實(shí)施方式中說明那樣，在將擴(kuò)展了動態(tài)范圍的圖像也顯示在顯示裝置上的情況下，設(shè)為位圖(BMP)文件等的較窄的范圍、例如sRGB8位。因此，需要將擴(kuò)大了動態(tài)范圍的圖像有效地壓縮。
[0078]第2實(shí)施方式在動態(tài)范圍的壓縮中也使用作為重要被攝體的臉部的亮度信息。如圖9所示，將從AE檢波部38輸出的臉部的亮度信息也供給到動態(tài)范圍壓縮部35。
[0079]圖10表示動態(tài)范圍壓縮部35的一例，但并不限定于此。該動態(tài)范圍壓縮部35具有將RGB信號變換為YUV信號的變換部35a、將從變換部35a供給的亮度信號進(jìn)行拐點(diǎn)壓縮(knee compression,也稱膝狀曲線彎曲壓縮)的壓縮部35b、將從壓縮部35b及乘法器35c、35d供給的亮度信號Y及U信號、V信號變換為RGB信號的變換部35e、和將變換部35e的輸出信號飽和處理為10位的飽和處理部35f。
[0080]數(shù)據(jù)壓縮也與數(shù)據(jù)擴(kuò)展同樣，拐點(diǎn)的位置是重要的。因此，在第2實(shí)施方式中，將從AE檢波部38輸出的臉部的亮度信息供給到進(jìn)行拐點(diǎn)壓縮的壓縮部35b，壓縮部35b基于作為重要被攝體的臉部的亮度信息，決定拐點(diǎn)并壓縮亮度信號。因而，通過在確保臉部信號的線性的同時(shí)將高光部的灰度等級惡化壓縮在最低限度，能夠生成高畫質(zhì)的動態(tài)范圍圖像。
[0081]另外，第2實(shí)施方式對亮度信號的固定拐點(diǎn)壓縮進(jìn)行了說明，但也可以應(yīng)用到Retinex處理電路等的利用視網(wǎng)膜的性質(zhì)的動態(tài)范圍壓縮中。在此情況下，在照明光的壓縮時(shí)進(jìn)行拐點(diǎn)壓縮。因此，也可以將第2實(shí)施方式應(yīng)用到該拐點(diǎn)壓縮中，基于照明光決定拐點(diǎn)而將照明光壓縮。[0082]本發(fā)明的其他優(yōu)點(diǎn)和變更對于本領(lǐng)域的技術(shù)人員而言是顯而易見的。因此，本發(fā)明并不限定于這里表示和描述的特定細(xì)節(jié)和優(yōu)選的實(shí)施方式。因而，在不脫離由權(quán)利要求書定義的本發(fā)明的技術(shù)范圍或主旨的情況下能夠進(jìn)行各種變更。
【權(quán)利要求】
1.一種圖像信號處理方法，其特征在于，包括如下步驟: (1)根據(jù)基準(zhǔn)讀出電壓，對通過不同的曝光時(shí)間拍攝特定的被攝體而生成的第I圖像信號和第2圖像信號進(jìn)行合成； (2)根據(jù)所述合成的圖像信號，檢測特定的被攝體的亮度信息； (3)通過曝光控制，將所述特定的被攝體的亮度信息設(shè)定為目標(biāo)亮度信息； (4)根據(jù)所述目標(biāo)亮度信息，決定第I拐點(diǎn)，并按照所述第I拐點(diǎn)，控制所述基準(zhǔn)讀出電壓； (5)對所述合成后的圖像信號的動態(tài)范圍進(jìn)行壓縮的步驟。 其中，根據(jù)所述檢測出的所述亮度信息，決定第2拐點(diǎn)。
【文檔編號】H04N5/232GK103813100SQ201310689836
【公開日】2014年5月21日 申請日期:2013年12月16日 優(yōu)先權(quán)日:2013年12月16日
【發(fā)明者】不公告發(fā)明人 申請人:青島威力電子科技有限公司