圖像處理裝置、攝像裝置和存儲了圖像處理程序的存儲介質(zhì)的制作方法
【專利摘要】圖像處理裝置包括：圖像輸入部，其輸入對相同被拍攝物體同時或者按時間序列進(jìn)行拍攝而得到的曝光等級不同的N張(N為2以上的整數(shù))原始圖像；和合成處理部，其對N張原始圖像進(jìn)行合成處理，生成M張(M為1以上且小于N的整數(shù))輸出圖像。合成處理部在N張原始圖像之間對對應(yīng)的各像素位置的顏色成分信號彼此進(jìn)行比較，將能獲得更高色度的顏色成分信號作為輸出圖像的各像素位置上的顏色成分信號。
【專利說明】圖像處理裝置、攝像裝置和存儲了圖像處理程序的存儲介質(zhì)
[0001]本申請主張平成23年(2011年)11月I日申請的日本專利申請第2011-240672號的優(yōu)先權(quán)，通過參考該內(nèi)容而將其包含于本申請內(nèi)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及形成彩色圖像的技術(shù)。
【背景技術(shù)】
[0003]近年來，利用車載攝像機(jī)或監(jiān)控攝像機(jī)等拍攝夜間場景來為人們生活的安全和安心發(fā)揮作用的研究開發(fā)非?；钴S。由于這種夜間場景中明暗差別非常大，超過了普通攝像元件的動態(tài)范圍的界限，產(chǎn)生了通常稱為“高光溢出”、“暗部缺失”、“顏色飽和”等現(xiàn)象。尤其是在被拍攝物體的顏色(色度)用于拍攝后的圖像識別處理等的情況下，如果紅(R)、綠(G)、藍(lán)(B)這些顏色成分中的特定顏色發(fā)生飽和，結(jié)果成為得到的圖像的顏色與被拍攝物體的實(shí)際顏色不同的圖像，存在無法適當(dāng)?shù)匦纬刹噬珗D像的情況。例如，如果被拍攝物體中存在紅燈而該燈的亮度高，則圖像的紅色分量達(dá)到飽和。那么圖像中綠色分量、藍(lán)色分量相對地增加，因此生成的圖像中紅燈的部分變白。
[0004]對此，專利文獻(xiàn)I中公開了以提供即使在特定顏色發(fā)生飽和的情況下也能夠獲得生成適當(dāng)?shù)牟噬珗D像所需的信息的圖像輸入裝置為目的的技術(shù)。在該技術(shù)中，獲得以第一快門速度拍攝所得到的圖像Img2和以比第一快門速度更快的第二快門速度拍攝所得到的圖像Imgl。對于這些圖像，利用圖像Img2中的飽和像素和圖像Imgl中的高亮度像素來比較坐標(biāo)。采用如下結(jié)構(gòu)，如果這些像素位于相同坐標(biāo)位置，則推測拍攝的是相同物體，利用下式調(diào)節(jié)圖像Img2中具有相同坐標(biāo)的飽和像素的信號中包含的色度，使其與圖像Imgl中的高亮度像素的信號中包含的色度一致。
[0005]即，令彩色圖像Imgl的高亮度像素的亮度信號為Yl (X，y)，色差信號為Cbl (x, y)、Crl (X，y)，從彩色圖像Img2的飽和像素輸出的亮度信號為Y2(x，y)時，利用下式計算出修正后的 Cb2’(x,y)、Cr2’(x, y)。
[0006]Cb2，(x, y) = Cbl (x, y) X Y2 (x, y) /Yl (x, y)......(I)
[0007]Cr2，(x, y) = Crl (x, y) XY2(x, y)/Yl (x, y)......(2)
[0008]S卩，專利文獻(xiàn)I中公開了對彩色圖像Imgl中的飽和像素所輸出的彩色圖像信號中的色差信號利用上述修正后的色差信號替換的技術(shù)。在此，(X，y)表示攝像元件的攝像面上的坐標(biāo)。
[0009]此外，專利文獻(xiàn)2中公開了在使用CXD等攝像元件的攝像裝置中為了增大動態(tài)范圍而合成多張圖像的技術(shù)。該技術(shù)中，公開了如下攝像裝置，其配備:指標(biāo)化單元，分別對給予不同曝光量所得到的多張原始圖像的圖像信號進(jìn)行處理，對每個由至少一個像素構(gòu)成的分割區(qū)域計算相當(dāng)于色度的指標(biāo)；選擇單元，基于指標(biāo)對每個分割區(qū)域從多個原始信號的圖像信號中選擇一個圖像信號；圖像單元，從所選擇的圖像信號生成一個合成圖像信號。[0010]此時，對于按每個分割區(qū)域從多個原始信號的圖像信號中選擇一個圖像信號時所用的指標(biāo)C，使用亮度信號Y、色差信號R-Y和B-Y、作為比較的其它圖像的亮度信號Y’、規(guī)定值α根據(jù)下式(3)?(5)式的其中之一進(jìn)行計算。
[0011]C= {(R - Y)2+ (B - Y)2} / (Υ+ α )2......(3)
[0012]C= {(R — Y)2+ (B — Y)2} X (Y，+α )2......(4)
[0013]C= {|R — Υ| + |Β — Υ|}/(Υ，+α )2......(5)
[0014]現(xiàn)有技術(shù)文獻(xiàn)
[0015]專利文獻(xiàn)
[0016]專利文獻(xiàn)1:國際公開第2010/116922號手冊
[0017]專利文獻(xiàn)2:(日本)特開2OO2-1l93O2號公報

【發(fā)明內(nèi)容】

[0018]發(fā)明要解決的技術(shù)問題
[0019]如式⑴?(5)所示，上述以往技術(shù)中，作為運(yùn)算式使用除法(/)或者乘法(X)。在利用運(yùn)算能力低的處理器(CPU,Central ProcessingUnit)軟件處理除法(/)、乘法(X)的情況下，處理所需時間增大，存在無法進(jìn)行實(shí)時處理、需要減少單位時間內(nèi)(例如一秒間)的圖像幀數(shù)、不得不降低其它運(yùn)算(例如圖像識別處理)的精度等問題?；蛘咴诶眠\(yùn)算能力高的處理器或?qū)Ｓ糜布那闆r下，裝置整體的成本上升。
[0020]本發(fā)明的目的為提供如下技術(shù)，即使在拍攝明暗差別較大的被拍攝物體的情況下，也能夠通過更少的信息處理量生成顏色丟失或顏色飽和少的彩色圖像。
[0021]用于解決技術(shù)問題的手段
[0022]本發(fā)明代表性的一個例子如下所示。即，圖像處理裝置包括:圖像輸入部，其輸入對相同被拍攝物體同時或者按時間序列進(jìn)行拍攝而得到的曝光等級不同的N張原始圖像，其中N為2以上的整數(shù)；和合成處理部，其對上述N張原始圖像進(jìn)行合成處理，生成M張輸出圖像，其中M為I以上且小于N的整數(shù)，上述合成處理部在上述N張原始圖像之間對對應(yīng)的各像素位置的顏色成分信號彼此進(jìn)行比較，將能獲得更高色度的顏色成分信號作為上述輸出圖像的上述各像素位置上的顏色成分信號。
[0023]發(fā)明的效果
[0024]通過本發(fā)明代表性的實(shí)施方式，即使在拍攝明暗差別大的被拍攝物體的情況下，也能夠通過更少的信息處理量生成顏色丟失或顏色飽和少的彩色圖像。因此，能夠?qū)崿F(xiàn)可由性能更低的處理器進(jìn)行的處理或圖像生成處理的高速化。
[0025]上述之外的問題、結(jié)構(gòu)和效果可通過以下的實(shí)施方式的說明得以明了。
【專利附圖】

【附圖說明】
[0026]圖1是表示拍攝范圍中存在亮度范圍較大的被拍攝物體的例子的圖。
[0027]圖2是利用柱狀圖表示發(fā)生顏色飽和的RGB圖像信號和未發(fā)生顏色飽和的RGB圖像信號的例子。
[0028]圖3是概要地說明本發(fā)明第一實(shí)施方式的圖像處理裝置及包含該圖像處理裝置的攝像裝置的結(jié)構(gòu)的框圖。[0029]圖4A是說明在時間序列上獲得曝光等級不同的多張圖像的方法的圖。
[0030]圖4B是說明大致同時地獲得曝光等級不同的多張圖像的方法的圖。
[0031]圖5是說明本發(fā)明第一實(shí)施方式的圖像處理裝置中對應(yīng)由多張構(gòu)成的一組原始圖像生成一張輸出圖像的圖。
[0032]圖6是說明本發(fā)明第一實(shí)施方式的圖像處理裝置中基于曝光等級不同的兩張圖像的對應(yīng)像素位置的各像素值決定輸出圖像在該像素位置上的像素值的圖。
[0033]圖7是本發(fā)明第一實(shí)施方式的圖像處理裝置中執(zhí)行的圖像合成處理的流程。
[0034]圖8是說明本發(fā)明第二實(shí)施方式的圖像處理裝置中基于曝光等級不同的兩張圖像的對應(yīng)像素位置的各像素值來決定輸出圖像在該像素位置上的像素值的圖。
[0035]圖9是說明分別地對應(yīng)在時間上前后相鄰的拍攝時刻拍攝所得的長曝光圖像和短曝光圖像以及短曝光圖像和長曝光圖像的組合來生成輸出圖像的圖。
[0036]圖10是說明對應(yīng)由曝光等級不同的三張構(gòu)成的一組原始圖像生成一張輸出圖像的圖。
【具體實(shí)施方式】
[0037]首先針對拍攝范圍中存在亮度范圍較大的被拍攝物體的例子參考圖1進(jìn)行說明。圖1是表示利用車載攝像機(jī)或者監(jiān)控攝像機(jī)拍攝夜間道路得到的圖像的圖。以下分別將安裝了車載攝像機(jī)的車輛稱為“本車”，將行駛在本車前方的車輛稱為“前車”，將朝本車的方向行駛的車輛稱為“來車”。圖1中展示了拍攝場景中存在前車LC、來車0C、背景BG、設(shè)置在路旁的反射裝置R1、R2等的情況。前車LC其尾燈TL為點(diǎn)亮的狀態(tài)。來車OC其前燈HL為點(diǎn)亮的狀態(tài)。反射裝置Rl、R2反射本車及行駛在本車后方的車輛的前燈所發(fā)出的光等，發(fā)出顏色為黃色接近橙色的光。
[0038]著眼于前車的尾燈TL部分的圖像進(jìn)行說明，在前車與本車的車輛間距離較遠(yuǎn)的情況下，由車載攝像機(jī)捕捉生成的尾燈TL的圖像部分的像素值并不飽和。但如果本車與前車的車輛間距離縮短，在拍攝場景的整體中尾燈TL部分的亮度增大。由于從尾燈TL射出的光中R(紅)色分量的比G (綠)色和B (藍(lán))色分量更多，如果尾燈TL部分亮度增大則R色分量飽和。尤其在夜間場景中，明暗差別非常大，如果以背景BG等的亮度為基準(zhǔn)決定曝光量，則從靠近本車的車輛上配備的光源發(fā)出的光所對應(yīng)的部分的圖像發(fā)生飽和的可能性升高。
[0039]圖2中表示這種情況。在圖2中，縱軸為8比特深度的像素值(最小值0，最大值255),橫軸表不R色、G色、B色的各分量。在圖2中，附以符號NML的像素值的組合表不未飽和的狀態(tài)的例子，附以SAT的像素值的組合表示R色像素值飽和的狀態(tài)的例子。以下將這些像素值的組合稱為“像素值NML”、“像素值SAT”。像素值NML中R色分量相對較多，基于該像素值的圖像變紅。另一方面，像素值SAT中R色分量飽和，G色、B色分量相對增加。其結(jié)果是，本該再現(xiàn)為紅色的圖像中紅色減少，在圖2所示的例子中基于像素值SAT再現(xiàn)的顏色成為接近白色的黃色。
[0040]如果色彩大幅度偏離實(shí)際顏色，則基于顏色進(jìn)行圖像識別時難以實(shí)現(xiàn)正確的判定。例如，在判定拍攝場景中有無尾燈(前車)或者判定是反射裝置(R1，R2)還是尾燈(前車)的用途中，如果發(fā)生高光溢出或者顏色飽和，則無法進(jìn)行基于顏色的判定，因此難以實(shí)現(xiàn)正確判定。在此，高光溢出意為R色、G色、B色所有通道的像素值都為飽和或接近飽和的狀態(tài)。顏色飽和意為特定顏色通道中像素值為飽和狀態(tài)。
[0041]如上所述，在拍攝被拍攝物體亮度分布范圍較廣的場景時，容易因場景中的亮度而超出攝像元件的動態(tài)范圍外，發(fā)生高光溢出和顏色飽和。如果為了抑制該高光溢出和顏色飽和而減少曝光量，則此時拍攝范圍中的低亮度部分無法獲得足夠大的像素值，造成暗部缺失，使得基于物體的輪廓和顏色等的圖像識別處理變得困難。為了應(yīng)對該問題，在本發(fā)明的實(shí)施方式中對以不同曝光等級拍攝相同物體而得到的多張圖像進(jìn)行合成處理。
[0042]第一實(shí)施方式
[0043]圖3是說明本發(fā)明第一實(shí)施方式的圖像處理裝置104被配置在攝像裝置100內(nèi)的例子的框圖。攝像裝置100包括攝影鏡頭101、攝像部102、攝像控制部103和圖像處理裝置104。圖像處理裝置104配備圖像輸入部105和合成處理部106。以下以上述結(jié)構(gòu)要素一體地構(gòu)成進(jìn)行說明，但由攝影鏡頭101、攝像部102和攝像控制部103構(gòu)成的攝像機(jī)單元與圖像處理裝置104可獨(dú)立地構(gòu)成。攝影鏡頭101可固定在攝像機(jī)單元上，也可相對于攝像機(jī)單元自由拆卸地構(gòu)成，采用可根據(jù)目的交換各種類型的攝影鏡頭的結(jié)構(gòu)。圖像處理裝置104可由專用硬件構(gòu)成，也可由配備CPU、存儲器、存儲裝置等的計算機(jī)和通過該計算機(jī)執(zhí)行的程序構(gòu)成。此時，程序可存儲于光盤、磁記錄介質(zhì)、閃存等非臨時性的計算機(jī)可讀的介質(zhì)中。并且計算機(jī)具有從這些可讀介質(zhì)讀取程序的接口。
[0044]攝像部102具備CCD(Charge Coupled Device,電荷稱合器件)圖像傳感器或CMOS (Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器等攝像元件和預(yù)處理器。本實(shí)施方式中攝像元件可為在受光面上形成R、G、B各色的拜耳陣列的片上濾色器的單片式CMOS圖像傳感器。CMOS圖像傳感器內(nèi)置了⑶S(C0rrelatedDouble Sampling,相關(guān)雙米樣)電路和AGC(Automatic Gain Control,自動增益控制)電路以及Α/D轉(zhuǎn)換電路等模擬前端，構(gòu)成為可輸出數(shù)字CFA(濾色器陣列)圖像。CFA圖像為去馬賽克(Demosaicing)處理前的、每個像素具有一種顏色的信號值的圖像。并且該CMOS圖像傳感器具有電子快門的功能。預(yù)處理器對CFA圖像進(jìn)行去馬賽克、降噪、灰度校正、白平衡調(diào)整等處理，生成RGB圖像。此外，也可省略預(yù)處理器，使攝像部102輸出CFA圖像，在圖像傳感器104側(cè)進(jìn)行包含去馬賽克、降噪、灰度校正、白平衡調(diào)整等的處理
[0045]攝影鏡頭101在攝像部102的受光面上形成被拍攝物體像。攝影鏡頭101可為定焦鏡頭，也可為可變焦鏡頭。在為可變焦鏡頭的情況下，可在攝影鏡頭101內(nèi)安裝用于變焦的變倍率驅(qū)動裝置。此外，可在攝影鏡頭101內(nèi)安裝用于驅(qū)動調(diào)焦用透鏡的調(diào)焦裝置。攝影鏡頭101內(nèi)置光圈裝置，以光圈值(F值)可變的方式構(gòu)成。
[0046]攝像控制部103控制攝像部102中的攝像動作的時刻和曝光量。在本實(shí)施方式中，攝像控制部103向攝像部102輸出時序信號，使得攝像部102以30fps、60fps等幀率重復(fù)地進(jìn)行攝像動作。此時，攝像控制部103也向攝像部102輸出曝光量控制信號。在攝像部102中，基于從攝像控制部103輸出的這些信號來改變曝光等級重復(fù)地進(jìn)行拍攝。
[0047]在此針對曝光等級進(jìn)行說明。一般地，要給予攝像元件的基準(zhǔn)曝光量(基準(zhǔn)像平面曝光量)根據(jù)圖像傳感器的靈敏度、模擬前端中的增益、噪聲水平、數(shù)字信號處理部中的降噪處理的優(yōu)劣等決定。一般地，構(gòu)成圖像傳感器的各像素(光電轉(zhuǎn)換部)的尺寸越大，或者圖像傳感器和模擬前端中的S/N比(信噪比)越好，能夠進(jìn)行高增益的放大，或者數(shù)字信號處理部中的降噪處理越好，則越能夠提高攝像元件中可設(shè)定的靈敏度。這樣，由于攝像元件中可設(shè)定的靈敏度根據(jù)各種因素而變化，本說明書中將攝像元件中可設(shè)定的靈敏度稱為“系統(tǒng)靈敏度”。該系統(tǒng)靈敏度越高，則能使基準(zhǔn)曝光量越低。曝光等級根據(jù)設(shè)定的系統(tǒng)靈敏度而定。以拍攝標(biāo)準(zhǔn)亮度物體得到的圖像為標(biāo)準(zhǔn)亮度的圖像的方式確定的曝光等級為基準(zhǔn)曝光等級。
[0048]如果使用比該基準(zhǔn)曝光等級更高的曝光等級進(jìn)行拍攝，則獲得更亮(曝光過度)的圖像。更亮的圖像在被拍攝物體的明亮部分存在發(fā)生高光溢出和顏色飽和的可能性，而在被拍攝物體的黑暗部分則能夠再現(xiàn)更鮮艷的顏色。另一方面，如果使用比該基準(zhǔn)曝光等級更低的曝光等級進(jìn)行拍攝，則獲得更暗(曝光不足)的圖像。更暗的圖像在被拍攝物體的黑暗部分存在發(fā)生暗部缺失的可能性，但即使在被拍攝物體中存在太陽光或人工照明等導(dǎo)致的明亮部分，也能夠減少對應(yīng)該部分的圖像中發(fā)生高光溢出或顏色飽和的可能性。
[0049]作為改變曝光等級的方法，有改變攝影鏡頭101的光圈的方法、改變攝像部102中的曝光時間的方法等。在獲取不同曝光等級的多張圖片時，由于改變光圈或曝光時間的方法無法同時獲得不同曝光量的多張圖像，因此需要在時間序列上一邊重復(fù)攝像動作，一邊改變光圈或曝光時間或兩者。或者，可固定光圈、曝光時間而改變配置在攝影鏡頭101前側(cè)或后側(cè)的吸光度可變?yōu)V鏡的吸光度。通過這樣的方法，在獲取曝光等級不同的N張(N為2以上的整數(shù))圖像時，周期性地重復(fù)一邊改變曝光等級一邊在時間序列上進(jìn)行N次拍攝的動作。圖4A表示交替地增減曝光等級重復(fù)地拍攝的情況。如圖4A所示的例子中，為了增減曝光等級而交替地改變曝光時間，重復(fù)較長的曝光時間的曝光(長曝光)和較短的曝光時間的曝光(短曝光)。
[0050]此外，在作為攝像裝置整體配置N套攝影鏡頭101和攝像部102并以使它們捕捉相同被拍攝物體的方式進(jìn)行設(shè)置的情況下，可通過對每套改變曝光等級來大致同時地獲得曝光等級不同的N張圖像。
[0051]或者，在攝像元件的受光面上靈敏度不同的多種像素有規(guī)律地交替排列的情況下(在此為了簡化說明，排列高靈敏度像素、低靈敏度像素兩種)，可通過一次曝光動作同時獲得曝光等級不同的N張(上例為2張)圖像。這是因?yàn)楦哽`敏度像素、低靈敏度像素的基準(zhǔn)像平面曝光量不同，對這些高靈敏度像素、低靈敏度像素給予相同曝光量的結(jié)果是使曝光等級不同。進(jìn)一步地，也可配置如下結(jié)構(gòu)，在攝影鏡頭后方配置使用半透鏡或棱鏡等的分束器，以不等的光量將物體光導(dǎo)向多個攝像元件。通過配置這種結(jié)構(gòu)，多個攝像元件大致同時地進(jìn)行大致相同曝光時間的曝光，能夠獲得曝光等級不同的多張圖像。
[0052]圖4B表示大致同時地進(jìn)行不同曝光等級下的多個曝光的情況。圖4B所示的例子中，大致同時地進(jìn)行改變曝光時間的多個曝光。而配置多套攝影鏡頭和攝像元件的組合時，可通過改變光圈以大致相同的曝光時間大致同時地進(jìn)行多個曝光。此外，使用配備高靈敏度像素和低靈敏度像素的攝像元件或者物體光以不等的光量導(dǎo)入的多個攝像元件，能夠通過以大致相同的曝光時間大致同時地進(jìn)行多個曝光來獲得多個不同曝光等級的圖像。
[0053]在拍攝較快速地運(yùn)動的物體的用途中，為了改善后面進(jìn)行的合成處理的結(jié)果，期望在盡量短的時間內(nèi)獲得曝光等級不同的多張圖像。其理由為，在不同時刻拍攝的多張圖像之間，圖像內(nèi)被拍攝物體所在位置發(fā)生變化，為后面進(jìn)行的合成處理帶來困難。
[0054]以下，以按每幀一邊改變攝像部102的曝光時間(電子快門)一邊在時間序列上進(jìn)行拍攝、獲得曝光等級不同的多張圖像的情況為例進(jìn)行說明。攝像控制部103向攝像部102輸出控制信號，使得攝像部102以例如60fps的幀率進(jìn)行拍攝。此時，攝像控制部103向攝像部102發(fā)出控制信號，使其重復(fù)進(jìn)行每幀曝光等級不同的拍攝。
[0055]作為一個例子，圖5表示攝像部102進(jìn)行不同的兩個曝光等級下的攝像動作、時間上交替地生成曝光等級較高的圖像和曝光等級較低的圖像的情況。本例中為了改變曝光等級而改變曝光時間長度，因此將曝光等級較高的圖像稱為長曝光圖像(IL)，將曝光等級較低的圖像稱為短曝光圖像(IS)。這些長曝光圖像(IL)、短曝光圖像(SL)依次輸入的圖像處理裝置104的圖像輸入部105中，經(jīng)合成處理部106進(jìn)行處理，生成輸出圖像(lout)。在本說明書中將輸入到圖像輸入部105中的長曝光圖像(IL)、短曝光圖像(SL)即合成處理前的圖像稱為原始圖像。在圖5中，生成的輸出圖像(1ut)的幀率為拍攝幀率的1/2。
[0056]圖像輸入部 105 可由 SDRAM (Synchronous Dynamic Random Access Memory,同步動態(tài)隨機(jī)存取存儲器)等訪問速度較快的存儲裝置構(gòu)成。圖像處理裝置104實(shí)時地處理從攝像部102依次輸出的原始圖像的情況下，從攝像部102輸出的原始圖像輸入到圖像輸入部105。圖像處理裝置104處理在存儲卡、硬盤驅(qū)動器、SSD(Solid State Drive，固態(tài)硬盤)等中保存的原始圖像的情況下，圖像輸入部105從這些存儲卡、硬盤和SSD等存儲介質(zhì)輸入原始圖像。如上所述，圖像輸入部105可輸入CFA圖像或輸入去馬賽克處理后的圖像作為原始圖像。以下以圖像輸入部105輸入去馬賽克處理后的RGB圖像進(jìn)行說明。
[0057]圖像輸入部105以N張(在本例中為由長曝光圖像(IL)和短曝光圖像(IS)構(gòu)成的兩張)原始圖像一組，輸出到合成處理部106。合成處理部106將RGB顏色空間的原始圖像轉(zhuǎn)換成包含亮度成分信號和顏色成分信號的信號后，進(jìn)行合成處理。本例中，作為包含亮度成分信號和顏色成分信號的信號，合成處理部106轉(zhuǎn)換成YUV信號。該YUV信號中，圖像信號由亮度成分Y和顏色成分U、V表示。在此，若令RGB圖像的各顏色的像素值為(R，G，B)，令由YUV信號表示的像素值為(Y，U，V)，則可利用下式從RGB像素值中獲得YUV像素值。
[0058]Y = 0.299 X R+0.587 X G+0.144 X B......(6)
[0059]U = - 0.169XR - 0.331XG+0.500XB......(7)
[0060]V = 0.500XR — 0.419XG — 0.081 XB......(8)
[0061]通過利用以上的式(6)到式(8)，能夠?qū)?yīng)原始圖像中的各像素位置的像素求出亮度信號(Y)和色差信號(U，V)。
[0062]此外，作為上述YUV信號的替代，可使用由以下的式(9)到式(11)導(dǎo)出的亮度信號(Y)、色差信號(B — Y)和(R — Y)。
[0063]Y = 0.300XR+0.590XG+0.110XB......(9)
[0064]B — Y = — 0.300 X R — 0.590 X G+0.890 X B......(10)
[0065]R-Y = 0.700XR — 0.590XG — 0.110XB......(11)
[0066]進(jìn)一步地，作為上述YUV信號的替代，可使用由以下的式(12)到式(14)導(dǎo)出的亮度信號⑴、色差信號(Cb和Cr)。
[0067]Y = 0.257 X R+0.504 X G+0.098 X B......(12)
[0068]Cb =- 0.148XR - 0.291XG+0.439XB......(13)
[0069]Cr = 0.439XR - 0.368XG — 0.071 XB......(14)[0070]此外，與YCbCr類似，可導(dǎo)出亮度信號(Y)、色差信號(Pb)和(Pr)加以使用。
[0071]以下以利用YUV信號進(jìn)行處理進(jìn)行說明。在此，針對(Y，U，V)的各像素值與再現(xiàn)的顏色的關(guān)系進(jìn)行說明。例如，針對與前車的車輛間距離縮短、尾燈部分的圖像的亮度增力口、最終產(chǎn)生顏色飽和和高光溢出的狀況進(jìn)行說明。
[0072]在沒有明亮到產(chǎn)生顏色飽和和高光溢出的狀況下，亮度信號(Y)的值隨著圖像亮度的增加而增加。此時，色差信號(U，V)的絕對值也增加。例如針對前車LC的尾燈TL部分的圖像進(jìn)行說明，在前車LC遠(yuǎn)離、拍攝得較暗的情況下，該部分圖像的亮度信號(Y)的值較小，色差信號(U，V)的絕對值也較小。此時再現(xiàn)的顏色為較暗的紅色。然后，隨著前車LC靠近，尾燈(TL)部分的圖像的亮度增加，亮度信號(Y)的值和色差信號(U，V)的絕對值也增加。S卩，再現(xiàn)的顏色從帶黑色的紅色變?yōu)樯雀叩孽r艷紅色。
[0073]但如果圖像進(jìn)一步變亮、開始發(fā)生顏色飽和后，亮度信號(Y)的值增加，色差信號(U,V)的絕對值開始減少。色差信號(U，V)的絕對值越小，則顏色越淡(色度降低)。此時從獲得的信號再現(xiàn)的顏色中色調(diào)發(fā)生變化，變得與尾燈原來的顏色不同，最終色差信號(U，V)的值接近(0，O)，顏色接近白色。
[0074]或者，考慮將色差信號(U，V)的絕對值固定為一定值、僅變化亮度信號(Y)的值時再現(xiàn)的顏色的變化，亮度信號⑴的值較小的情況比相反的情況顏色更濃。作為(Y，U，V)的像素值，如果將U、V設(shè)定為合適的值后僅增減Y的值，求出與這些像素值的組合對應(yīng)的(R，G，B)像素值(針對從YUV顏色空間到RGB顏色空間的轉(zhuǎn)換式，后面參考(17)式到(19)式進(jìn)行說明)，可知隨著Y的值的減少，對應(yīng)的(R，G，B)像素值之間的差增大，色度變得鮮明。例如可表現(xiàn)為，將對應(yīng)兩種顏色的兩點(diǎn)投影到利用色調(diào)和色度規(guī)定的二維平面上時，這兩點(diǎn)越遠(yuǎn)(兩點(diǎn)間的距離越增大)，色度越鮮明。
[0075]利用以上性質(zhì)，合成處理部106對由YUV顏色空間表示的長曝光圖像(IL)、短曝光圖像(IS)如下所述地進(jìn)行合成處理。以下為了區(qū)別長曝光圖像(IL)、短曝光圖像(IS)各自的像素值(Y，U，V)，令長曝光圖像(IL)的像素值為(YL，UL, VL)，令短曝光圖像(IS)的像素值為(YS，US，VS)。合成處理部106對長曝光圖像(IL)、短曝光圖像(IS)比較兩圖像的每個對應(yīng)像素位置上的值(UL與US、VL與VS)，對各像素依次進(jìn)行將絕對值較大者的值作為該像素位置的輸出值(U0，V0)求出的處理。此時，對于亮度值(YO)，選擇短曝光圖像
(IS)的亮度值(YS)。
[0076]圖6是示意性地表示如上所述地從長曝光圖像(IL)和短曝光圖像(IS)生成輸出圖像(1ut)的情況的圖。圖6中，對于從長曝光圖像(IL)提取的像素值(UL，VL)與從短曝光圖像(IS)提取的像素值(US，VS)，在合成處理部106分別比較像素值UL與US，VL與VS0并選擇絕對值較大者的值，求出輸出圖像1ut的像素值U0、V0。并且展示了針對輸出圖像1ut的亮度值YO使用短曝光圖像IS的亮度值的情況。
[0077]圖7是概要性地表示由合成處理部106執(zhí)行的圖像合成處理的步驟的流程圖。每執(zhí)行一次圖7所示的處理，在合成處理部106中生成一幀輸出圖像lout。S卩，以30fps的幀率生成輸出圖像1ut的情況，如圖7所示的處理在一秒中執(zhí)行30次。
[0078]圖7所示的處理表示了色差信號(U，V)為帶偏置(128)的二進(jìn)制數(shù)據(jù)的情況的處理。即，在對8比特深度的RGB圖像數(shù)據(jù)利用式(6)到式(8)導(dǎo)出(Y，U，V)的值時，U值、V值可能為負(fù)值。因此，通過對導(dǎo)出的U值和V值一律加上128，使其為正數(shù)后求整，使得能夠?qū)值和V值作為無符號二進(jìn)制數(shù)據(jù)進(jìn)行處理。S700中記載的“//色差信號(U)的值為帶偏置(128)的二進(jìn)制數(shù)據(jù)的情況”和S702中記載的“//色差信號(U)的值為帶偏置(128)的二進(jìn)制數(shù)據(jù)的情況”意為程序中的注釋。
[0079]在S700中，合成處理部106分別從作為處理對象的像素位置的長曝光圖像(IL)、短曝光圖像(is)的色差值UL、US減去偏置值128，求出絕對值。這樣求出的值為UL_abs、US_abs。然后比較UL_abs和US_abs，在判定UL_abs的值在US_abs的值以上時，令UO =UL0另一方面，在判定UL_abs的值小于US_abs的值時，令UO = US。該處理的內(nèi)容在S700的處理塊中表示為如下程序代碼。
[0080]UL_abs = abs (UL — 128)
[0081]US_abs = abs (US — 128)
[0082]if (UL_abs > = US_abs) UO = UL
[0083]elseUO = US......(15)
[0084]在S702中，合成處理部106分別從作為處理對象的像素位置的長曝光圖像(IL)、短曝光圖像(is)的色差值VL、VS減去偏置值128，求出絕對值。這樣求出的值為VL_abs、VS_abs。然后比較VL_abs和VS_abs，在判定VL_abs的值在VS_abs的值以上時，令VO =VL0另一方面，在判定VL_abs的值小于VS_abs的值時，令VO = VS。該處理的內(nèi)容在S702的處理塊中表示為如下程序代碼。
[0085]VL_abs = abs (VL — 128)
[0086]VS_abs = abs (VS — 128)
[0087]if (VL_abs > = VS_abs) VO = VL
[0088]elseVO = VS......(16)
[0089]在S704中，合成處理部106將短曝光圖像(IS)中作為處理對象的像素位置的亮度值(YS)作為輸出圖像(1ut)的亮度值Y0。
[0090]合成處理部106在S706中判定是否對一幀圖像中的所有像素完成了處理，在該判定為否定時，重復(fù)進(jìn)行上述S700到S704的處理。在S706的判定為肯定的情況下，結(jié)束生成一幀輸出圖像(1ut)的處理。
[0091]對于以上說明的S700、S702、S704的各處理，不一定需要按照圖7例示的順序，可
交換處理順序。
[0092]如上所述，通過本發(fā)明的第一實(shí)施方式，減少了除法(/)和乘法(X)的使用，能夠通過絕對值運(yùn)算(abs)、減法(一)、條件分支(if)的處理實(shí)現(xiàn)輸出圖像的生成，能夠降低處理器的處理負(fù)荷。或者，對于相同處理性能的處理器能夠提高處理速度。并且，作為單純的處理，在對生成的輸出圖像進(jìn)行圖像識別等處理、基于顏色差異進(jìn)行被拍攝物體的判別時，能夠提高判別的準(zhǔn)確度。例如，對車載攝像機(jī)的圖像進(jìn)行處理、判定前車點(diǎn)亮的車燈是否有尾燈的應(yīng)用例子中，能夠抑制錯誤地將方向指示燈(轉(zhuǎn)彎燈)或來自設(shè)置在路旁的反射裝置的橙色光判定為尾燈。
[0093]以上，針對將由長曝光圖像(IL)、短曝光圖像(IS)構(gòu)成的兩張原始圖像輸入到圖像處理裝置104進(jìn)行處理的例子進(jìn)行了說明。但本發(fā)明并不限定于此，可對應(yīng)每幀輸出圖像輸入并處理三張以上的原始 圖像。此時，輸出圖像信號的亮度成分信號，期望從N張原始圖像中除曝光等級最高的原始圖像之外的N — I張原始圖像中選擇出的一張原始圖像中的對應(yīng)的各像素位置的信號中包含的亮度成分信號作為所述輸出圖像的各像素位置上的亮度成分信號。
[0094]通過增加原始圖像的張數(shù)，能夠生成對應(yīng)被拍攝物體的更廣亮度范圍的大動態(tài)范圍的輸出圖像。此時，通過本發(fā)明能夠降低處理器的處理負(fù)荷，因此能夠增加單位時間中可生成的輸出圖像的幀數(shù)。
[0095]第二實(shí)施方式
[0096]圖8表示本發(fā)明的第二實(shí)施方式的圖像處理裝置的合成處理部106A-1的動作，針對其特征進(jìn)行說明。其它結(jié)構(gòu)由于與第一實(shí)施方式中所說明的相同，故省略其說明。
[0097]與圖6相同，圖8是示意性地表示從長曝光圖像(IL)、短曝光圖像(IS)生成輸出圖像(lout)的情況的圖。圖8中，對于從長曝光圖像(IL)提取的像素值(UL，VL)與從短曝光圖像(IS)提取的像素值(US，VS)，在合成處理部106A-1分別比較像素值UL與US，VL與VS。并選擇絕對值較大者的值，生成輸出圖像1ut的像素值UO、V0。該點(diǎn)與第一實(shí)施方式中的合成處理部106中的處理相同。與第一實(shí)施方式不同的點(diǎn)是，使用從長曝光圖像(IL)的亮度值YL、短曝光圖像(IS)的亮度值YS中選擇的任一亮度值(YL或YS)作為輸出圖像1ut的亮度值Y0。并且，在合成處理部106A-2中利用與所用的像素值是YL還是YS相應(yīng)的衰減比來對亮度值YL、YS進(jìn)行衰減，該點(diǎn)也與第一實(shí)施方式不同。
[0098]如上所述，對長曝光圖像的色差信號(UL，VL)與短曝光圖像的色差信號(UL，VL)的各絕對值分別按U、v在每個像素進(jìn)行比較，將絕對值較大者的色差信號輸出為(uo，vo)。此時，如果將亮度信號(YL或YS)原樣地輸出為亮度信號(YO)，則可能產(chǎn)生如下問題。gp，將輸出信號(Y0，U0，V0)代入如下所示的作為(6)?⑶式的逆函數(shù)的(17)?(19)式來導(dǎo)出(R，G，B)的值時，存在這些值中至少一個在255以上或者O以下、發(fā)生飽和的情況。例如，將從合成處理部106A輸出的YUV顏色空間的圖像再次轉(zhuǎn)換為RGB顏色空間的圖像、進(jìn)行其它處理時，發(fā)生上述飽和問題。
[0099]因此，通過進(jìn)行對亮度信號YL或YS乘以比I小的固定系數(shù)等的處理，衰減亮度信號值(106A-1)，使其為輸出圖像(1ut)的亮度信號(YO)，能夠避免(R，G，B)的飽和。此夕卜，該固定系數(shù)具有下述權(quán)衡關(guān)系，其為越大(即接近I)的值則(R，G，B)的值越容易飽和，為越小(即接近O)的值則輸出圖像易于發(fā)生暗部缺失，因此可根據(jù)實(shí)際的使用目的設(shè)定為合適的值。與第一實(shí)施方式不同，此處增加了乘法處理步驟，但通過設(shè)定為可通過移位運(yùn)算實(shí)現(xiàn)的固定系數(shù)，能夠抑制處理負(fù)荷的增加。
[0100]R=L 000XY+1.402XV......(17)
[0101]G=L OOOXY — 0.344XU — 0.714XV......(18)
[0102]B = 1.000XY+1.772XU......(19)
[0103]此外，對亮度信號YL或YS乘以固定系數(shù)時，期望為長曝光圖像(IL)的亮度信號YL以更強(qiáng)地衰減的方式設(shè)定系數(shù)。理由是因?yàn)殚L曝光圖像(IL)的亮度信號YL的值有比短曝光圖像(IS)的亮度信號YS的值更大的傾向。
[0104]通過上述的本發(fā)明的第二實(shí)施方式，在上述的第一實(shí)施方式所述的效果的基礎(chǔ)上，(R，G，B)的值不易飽和。因此，能夠?qū)UV顏色空間的圖像轉(zhuǎn)換成RGB顏色空間的圖像，生成例如適合于進(jìn)行顯示或印刷等處理的圖像信號。
[0105]以上的第一和第二實(shí)施方式中，為了簡化說明，針對從一張長曝光圖像和一張短曝光圖像獲得一張輸出圖像的例子進(jìn)行了說明，但本發(fā)明并不限定于此。此外，針對以小于獲得原始圖像時的幀率(拍攝幀率)的幀率生成輸出圖像的例子進(jìn)行了說明，但本發(fā)明并不限定于此。
[0106]首先，針對生成輸出圖像時的幀率與拍攝幀率相同的例子參考圖9進(jìn)行說明。在第一和第二實(shí)施方式中，針對利用長曝光圖像(IL)和之后拍攝獲得的短曝光圖像(IS)生成一張輸出圖像(1ut)的例子進(jìn)行了說明。對此，圖9中利用利用某時刻拍攝的長曝光圖像(IL-1)和之后的時刻拍攝的短曝光圖像(IS-1)生成輸出圖像(1ut-1)。該點(diǎn)與以前的說明相同。但，在利用之后的時刻拍攝的長曝光圖像(IL-2)和之前的拍攝時刻拍攝的短曝光圖像(IS-1)生成輸出圖像(lout-2)的點(diǎn)不同。即，從長曝光圖像(IL-1)和短曝光圖像(IS-1)生成輸出圖像(1ut-1)，從短曝光圖像(IS-1)和長曝光圖像(IL-2)生成輸出圖像(1ut-2)，從長曝光圖像(IL-2)和短曝光圖像(IS-2)生成輸出圖像(1ut_3)……如此地生成輸出圖像。換而言之，分別地對應(yīng)時間上前后相鄰的拍攝時刻拍攝所得長曝光圖像與短曝光圖像的組合以及短曝光圖像與長曝光圖像的組合，來生成輸出圖像。這樣，能夠以與拍攝幀率相同的幀率生成輸出圖像。
[0107] 接著，參考圖10針對從三張原始圖像生成一張輸出圖像的例子進(jìn)行說明。攝像部102(圖3)中，以三個不同的曝光等級重復(fù)拍攝物體。圖10中，將以這三個不同的曝光等級拍攝物體所得的圖像表示為長曝光圖像(IL)、中曝光圖像(IM)和短曝光圖像(IS)。此外，令對應(yīng)這些長曝光圖像(IL)、中曝光圖像(IM)和短曝光圖像(IS)的YUV信號為(YL，UL,VL)、(YM, UM, VM)、(YS，US, VS)。
[0108]合成處理部106分別對三張輸入圖像中的色差信號(UL，VL)、(UM,VM)、(US7VS)求絕對值，對求出的絕對值在UL、UM、US之間進(jìn)行比較，并在VL、VM、VS之間進(jìn)行比較。然后，將UL、UM、US中絕對值最大的信號作為U0，將VL、VM、VS之間絕對值最大的信號作為W0
[0109]為了從三個信號中求出絕對值最大的信號，只需在圖7的流程中分別重復(fù)兩次S700的處理、S702的處理即可。然后，在第一次處理中比較長曝光圖像(IL)的色差信號(UL，VL)與中曝光圖像(頂)的色差信號(UM，UM)。接著，在第二次處理中，將第一次處理中選擇的色差信號(UL或UM)和(VL或VM)的各絕對值與短曝光圖像(IS)的色差信號US和VS的各絕對值進(jìn)行比較。這樣能夠分別將UL、UM、US中絕對值最大的信號、VL、VM、VS中絕對值最大的信號分別決定為U0、V0。
[0110]此外，對于亮度信號，從YL、YM、YS中曝光等級最高的長曝光圖像(IL)的亮度值(YL)后即本例中的YM或YS作為Y0。此時，使用中曝光圖像(頂)的亮度信號(YM)的場合與使用短曝光圖像(IS)的亮度信號(YS)的場合相比，前者易于高光溢出，后者易于暗部缺失。因此，可根據(jù)生成的輸出圖像的使用目的選擇其中之一。進(jìn)一步地，還可為從包含長曝光圖像(IL)的亮度信號(YL)的三個亮度信號(YL，YM，YS)中選擇其中之一作為輸出圖像的亮度值(YO)的結(jié)構(gòu)。此時，根據(jù)第二實(shí)施方式中說明的理由，期望乘以衰減系數(shù)后導(dǎo)出Y0，該衰減系數(shù)根據(jù)使用由哪個曝光等級獲得的圖像來決定。
[0111]這樣，通過增加曝光等級不同的原始圖像的張數(shù)，能夠?qū)?yīng)明暗差別較大的被拍攝物體。例如，在上述應(yīng)用例中，無論在與前車的車輛間距離遠(yuǎn)或近的情況下，都能夠生成可通過尾燈的紅色明確地進(jìn)行判定的圖像。
[0112]以上參考圖10的說明中，獲取長曝光圖像(IL)、中曝光圖像(頂)、短曝光圖像(IS)時的拍攝時間順序?yàn)槿我?。例如，可以以短曝光圖像(IS)、中曝光圖像(IM)、長曝光圖像(IL)的順序獲取圖像的方式進(jìn)行拍攝，也可以以中曝光圖像(IM)、短曝光圖像(IS)、長曝光圖像(IL)的順序獲取圖像的方式進(jìn)行拍攝。此外，本發(fā)明的曝光等級并不限定于上述的兩種、三種，顯然可為四種及以上。此外的曝光順序可任意地設(shè)定。
[0113]進(jìn)一步地，在圖10中針對輸出圖像的幀率為拍攝幀率的1/3的例子進(jìn)行了說明，利用與參考圖9說明的相同方法，能夠抑制輸出圖像的幀率降低。在此，令從某個時間開始在第一次、第二次、第三次時刻拍攝的圖像分別為長曝光圖像(IL-1)、中曝光圖像(頂-1)、短曝光圖像(IS-1)。并且令在接下去的第四次、第五次、第六次時刻拍攝的圖像分別為長曝光圖像(IL-2)、中曝光圖像(頂-2)、短曝光圖像(IS-2)。最初生成的輸出圖像(1ut-1)可利用長曝光圖像(IL-1)、中曝光圖像(IM-1)、短曝光圖像(IS-1)。接下來生成的輸出圖像(lout-2)可利用中曝光圖像(IM-1)、短曝光圖像(IS-1)、長曝光圖像(IL-2)生成。這樣，通過利用在前后相鄰的時刻進(jìn)行(長曝光，中曝光，短曝光)、(中曝光，短曝光，長曝光)或(短曝光，長曝光，中曝光)這三種曝光等級所得到的圖像數(shù)據(jù)，能夠以與拍攝幀率同等的幀率生成輸出圖像。這對于將曝光等級增加到四種以上的情況也相同。即，通過利用在前后相鄰的時刻進(jìn)行的N種曝光等級所得到圖像數(shù)據(jù)，能夠以與拍攝幀率相同的幀率生成輸出圖像。
[0114]此外，在參考圖10的上述說明中，針對對應(yīng)不同曝光等級下得到的N張(N幀)原始圖像來生成一張(一幀)輸出圖像的例子進(jìn)行了說明，但也可生成多張輸出圖像。例如，針對在長曝光、中曝光、短曝光三種曝光等級下獲得原始圖像的場合進(jìn)行說明。該場合下，可從長曝光、中曝光兩張原始圖像生成第一輸出圖像。然后，可從中曝光、短曝光兩張原始圖像生成第二輸出圖像。這些第一輸出圖像、第二輸出圖像可根據(jù)后續(xù)階段進(jìn)行的圖像識別處理等內(nèi)容或被拍攝物體的亮度分布等狀況，在利用輸出圖像進(jìn)行圖像識別處理時分用途使用。本例中，由于第一輸出圖像有曝光等級高的傾向，適合于需要良好地區(qū)別低亮度的被拍攝物體的顏色的用途等。此外，第二輸出圖像有曝光等級低的傾向，適合于需要良好地區(qū)別高亮度的被拍攝物體的顏色的用途等。
[0115]在以上的說明中，針對生成可明確地再現(xiàn)夜間里前車尾燈的紅色的輸出圖像的情況為例對本發(fā)明進(jìn)行了說明，但本發(fā)明并不限定于此。例如，可用于識別信號燈的藍(lán)色(綠色)、黃色、紅色或者識別夜間里車輛的涂色、人物服裝的顏色、建筑物的顏色等的用途等中?？缮蛇m合于對應(yīng)類似這些明暗差別較大的被拍攝物體明確地區(qū)別顏色的用途的圖像。
[0116]以上針對在基于對原始圖像信號中的顏色成分信號進(jìn)行比較的結(jié)果來導(dǎo)出輸出圖像的顏色成分信號時將RGB顏色空間的圖像轉(zhuǎn)換成YUV、YCbCr、Y(B — Y) (R — Y)、YPbPr顏色空間的圖像并在色差信號之間比較的例子進(jìn)行了說明。對此，也可轉(zhuǎn)換成HSV(HSL)、La*b*等顏色空間的圖像。例如在轉(zhuǎn)換成HSV顏色空間的圖像的情況下，作為顏色成分可比較S信號之間對應(yīng)的像素位置的信號，選擇能獲得更高色度的信號來生成輸出圖像。作為亮度成分信號，可與第一、第二實(shí)施方式中說明的L信號同樣地利用短曝光圖像和長曝光圖像的其中之一的圖像的V信號，也可根據(jù)需要乘以衰減系數(shù)后作為輸出圖像的亮度成分信號。此外，對于H信號，可利用不易發(fā)生顏色飽和的短曝光圖像的。此外，在轉(zhuǎn)換成La*b*顏色空間的情況下，對于在不同曝光等級下獲得多張圖像，作為顏色成分可比較a*信號之間以及b*信號之間對應(yīng)的像素位置的信號，將絕對值較大的a*信號以及b*信號作為輸出圖像的顏色成分信號。作為亮度成分信號，可與第一、第二實(shí)施方式中說明的L信號同樣地利用短曝光圖像和長曝光圖像的其中之一的圖像的L信號，也可根據(jù)需要乘以衰減系數(shù)后作為輸出圖像的亮度成分信號。
[0117]以上針對實(shí)時處理攝像部中生成的運(yùn)動圖像的例子進(jìn)行了說明，也可在拍攝后處理保存在存儲裝置中的圖像數(shù)據(jù)。此外，處理對象的圖像可為運(yùn)動圖像，也可為靜止圖像。在拍攝后處理保存在存儲裝置中的圖像數(shù)據(jù)的情況下，作為圖像處理裝置可獨(dú)立于攝像裝置而構(gòu)成。此時，圖像處理裝置可利用專用硬件和/或軟件等實(shí)現(xiàn)，也可由用于執(zhí)行參考圖7說明的處理步驟的程序和可執(zhí)行該程序的計算機(jī)實(shí)現(xiàn)。
[0118]以上針對本發(fā)明的實(shí)施方式進(jìn)行了說明，但本領(lǐng)域技術(shù)人員應(yīng)理解本發(fā)明并不限定于上述實(shí)施方式，可進(jìn)行各種變形實(shí)施，并可適當(dāng)?shù)亟M合上述各實(shí)施方式。
【權(quán)利要求】
1.一種對拍攝到的原始圖像進(jìn)行處理的圖像處理裝置，其特征在于，包括: 圖像輸入部，其輸入對相同被拍攝物體同時或者按時間序列進(jìn)行拍攝而得到的曝光等級不同的N張原始圖像，其中N為2以上的整數(shù)；和 合成處理部，其對所述N張原始圖像進(jìn)行合成處理，生成M張輸出圖像，其中M為I以上且小于N的整數(shù)， 所述合成處理部在所述N張原始圖像之間對對應(yīng)的各像素位置的顏色成分信號彼此進(jìn)行比較，將能獲得更高色度的顏色成分信號作為所述輸出圖像的所述各像素位置上的顏色成分信號。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于: 所述合成處理部在所述N張原始圖像之間的所述顏色成分信號彼此的比較時，對所述顏色成分信號所包含的各個第一色差信號和各個第二色差信號進(jìn)行比較，將絕對值大的色差信號的組合作為所述輸出圖像的所述各像素位置上的顏色成分信號。
3.如權(quán)利要求2所述的圖像處理裝置，其特征在于: 所述合成處理部，作為所述原始圖像處理由YUV、YCbCr和YPbPr的顏色空間中的任意顏色空間表示的信號。
4.如權(quán)利要求3所述的圖像處理裝置，其特征在于: 所述合成處理部將從所 述N張原始圖像中的除曝光等級最高的原始圖像之外的N-1張原始圖像中選擇出的一張原始圖像中的、對應(yīng)的各像素位置的信號所包含的亮度成分信號作為所述輸出圖像的所述各像素位置上的亮度成分信號。
5.如權(quán)利要求3所述的圖像處理裝置，其特征在于: 所述合成處理部將從所述N張原始圖像中選擇出的一張原始圖像中的對應(yīng)的各像素位置的信號所包含的亮度成分信號乘以規(guī)定的衰減系數(shù)后的亮度成分信號作為所述輸出圖像的所述各像素位置上的亮度成分信號。
6.一種對拍攝到的原始圖像進(jìn)行處理的攝像裝置，其特征在于，包括: 攝像部，其對相同被拍攝物體同時或者按時間序列進(jìn)行拍攝，生成曝光等級不同的N張原始圖像，其中N為2以上的整數(shù)； 輸入由所述攝像部生成的所述N張原始圖像的圖像輸入部； 將所述N張原始圖像轉(zhuǎn)換成包含亮度成分信號和顏色成分信號的圖像的轉(zhuǎn)換處理部；和 合成處理部，其對由所述轉(zhuǎn)換處理部轉(zhuǎn)換處理后的所述N張原始圖像進(jìn)行合成處理，生成M張輸出圖像，其中M為I以上且小于N的整數(shù)， 所述合成處理部在所述N張原始圖像之間對對應(yīng)的各像素位置的顏色成分信號彼此進(jìn)行比較，將能獲得更高色度的顏色成分信號作為所述輸出圖像的所述各像素位置上的顏色成分信號。
7.如權(quán)利要求6所述的攝像裝置，其特征在于: 所述合成處理部在所述N張原始圖像之間的所述顏色成分信號彼此的比較時，對所述顏色成分信號所包含的各個第一色差信號和各個第二色差信號進(jìn)行比較，將絕對值大的色差信號的組合作為所述輸出圖像的所述各像素位置上的顏色成分信號。
8.如權(quán)利要求7所述的攝像裝置，其特征在于:所述合成處理部，作為所述原始圖像處理由YUV、YCbCr和YPbPr的顏色空間中的任意顏色空間表示的信號。
9.如權(quán)利要求8所述的攝像裝置，其特征在于: 所述合成處理部將從所述N張原始圖像中的除曝光等級最高的原始圖像之外的N-1張原始圖像中選擇出的一張原始圖像中的、對應(yīng)的各像素位置的信號所包含的亮度成分信號作為所述輸出圖像的所述各像素位置上的亮度成分信號。
10.如權(quán)利要求8所述的攝像裝置，其特征在于: 所述合成處理部將從所述N張原始圖像中選擇出的一張原始圖像中的對應(yīng)的各像素位置的信號所包含的亮度成分信號乘以規(guī)定的衰減系數(shù)后的亮度成分信號作為所述輸出圖像的所述各像素位置上的亮度成分信號。
11.一種存儲了圖像處理程序的計算機(jī)可讀取的非臨時性存儲介質(zhì)，其特征在于: 所述圖像處理程序由具有進(jìn)行運(yùn)算處理的處理器、與所述處理器連接的存儲部、和與所述處理器連接的接口的計算機(jī)所執(zhí)行， 在所述計算機(jī)中執(zhí)行以下步驟: 接收對相同被拍攝物體同時或者按時間序列拍攝而得到的曝光等級不同的N張原始圖像的輸入的步驟，其中N為 2以上的整數(shù)；和 對所述N張原始圖像進(jìn)行合成處理、生成M張輸出圖像的合成處理步驟，在所述N張原始圖像之間對對應(yīng)的各像素位置的顏色成分信號彼此進(jìn)行比較，將能獲得更高色度的顏色成分信號作為所述輸出圖像的所述各像素位置上的顏色成分信號，其中M為I以上且小于N的整數(shù)。
12.如權(quán)利要求11所述的存儲介質(zhì)，其特征在于: 所述合成處理步驟中，在所述N張原始圖像之間的所述顏色成分信號彼此的比較時，對所述顏色成分信號所包含的各個第一色差信號和各個第二色差信號進(jìn)行比較，將絕對值大的色差信號的組合作為所述輸出圖像的所述各像素位置上的顏色成分信號。
13.如權(quán)利要求12所述的存儲介質(zhì)，其特征在于: 所述合成處理步驟中，作為所述原始圖像處理由YUV、YCbCr和YPbPr顏色空間中的任意顏色空間表示的信號。
14.如權(quán)利要求12所述的存儲介質(zhì)，其特征在于: 所述合成處理步驟中，將從所述N張原始圖像中的除曝光等級最高的原始圖像之外的N-1張原始圖像中選擇出的一張原始圖像中的、對應(yīng)的各像素位置的信號所包含的亮度成分信號作為所述輸出圖像的所述各像素位置上的亮度成分信號。
15.如權(quán)利要求12所述的存儲介質(zhì)，其特征在于: 所述合成處理步驟中，將從所述N張原始圖像中選擇出的一張原始圖像中的對應(yīng)的各像素位置的信號所包含的亮度成分信號乘以規(guī)定的衰減系數(shù)后的亮度成分信號作為所述輸出圖像的所述各像素位置上的亮度成分信號。
【文檔編號】H04N9/04GK103907345SQ201280053421
【公開日】2014年7月2日 申請日期:2012年10月3日 優(yōu)先權(quán)日:2011年11月1日
【發(fā)明者】影山昌廣, 高橋輝樹, 筒井隆 申請人:歌樂株式會社