專(zhuān)利名稱(chēng)：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及由攝像設(shè)備拍攝的圖像的白平衡校正。
背景技術(shù)：
使用圖像傳感器的攝像設(shè)備(例如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī))配備有用于調(diào)整通過(guò)攝像操作拍攝的圖像的色調(diào)的白平衡控制功能。該白平衡控制包括手動(dòng)白平衡控制和自動(dòng)白平衡控制。手動(dòng)白平衡控制通過(guò)預(yù)先拍攝白色被攝體來(lái)計(jì)算白平衡系數(shù)，并將計(jì)算出的白平衡系數(shù)應(yīng)用于整個(gè)畫(huà)面。自動(dòng)白平衡控制從拍攝的圖像中自動(dòng)檢測(cè)可能的白色部分，基于整個(gè)畫(huà)面中的各顏色成分的平均值來(lái)計(jì)算白平衡系數(shù)，并將計(jì)算出的白平衡系數(shù)應(yīng)用于整個(gè)畫(huà)面。

即使在攝像設(shè)備在閃光燈發(fā)光的同時(shí)拍攝圖像的場(chǎng)景中存在不同于閃光燈光的光源，傳統(tǒng)的自動(dòng)白平衡控制也將如上所述計(jì)算出的白平衡系數(shù)應(yīng)用于整個(gè)畫(huà)面。因此，難以進(jìn)行白平衡控制以對(duì)這兩個(gè)光源實(shí)現(xiàn)適當(dāng)?shù)纳{(diào)。例如，在攝像設(shè)備使作為高色溫光源的閃光燈發(fā)光的場(chǎng)景中，如果環(huán)境光包含低色溫光源(例如電燈泡色光源)，則基于閃光燈光控制白平衡會(huì)導(dǎo)致對(duì)于環(huán)境光中的低色溫光源不適當(dāng)?shù)陌灼胶?。另一方面，基于環(huán)境光中的低色溫光源控制白平衡會(huì)導(dǎo)致對(duì)于閃光燈光不適當(dāng)?shù)陌灼胶?。此外，即使攝像設(shè)備通過(guò)對(duì)各光源的中間調(diào)整白平衡來(lái)進(jìn)行白平衡控制，也會(huì)導(dǎo)致對(duì)于這兩個(gè)光源不適當(dāng)?shù)陌灼胶猓瑥亩鴮?dǎo)致產(chǎn)生使用閃光燈光照射的區(qū)域略帶藍(lán)色而使用低色溫光源照射的區(qū)域略帶紅色的圖像。為了解決該問(wèn)題，日本專(zhuān)利3540485號(hào)中討論了如下技術(shù)。該技術(shù)通過(guò)針對(duì)各任意被攝體區(qū)域，比較閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)與閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)，來(lái)計(jì)算數(shù)據(jù)比，并基于計(jì)算出的比值確定閃光燈光的貢獻(xiàn)度。該技術(shù)通過(guò)根據(jù)貢獻(xiàn)度選擇在閃光燈光曝光下拍攝的視頻數(shù)據(jù)的各區(qū)域的白平衡控制值，來(lái)進(jìn)行白平衡控制。日本專(zhuān)利4389671號(hào)中討論了如下技術(shù)。該技術(shù)從閃光燈發(fā)光時(shí)拍攝的圖像和閃光燈不發(fā)光時(shí)拍攝的圖像中提取閃光燈光成分。該技術(shù)根據(jù)各閃光燈光成分檢測(cè)在切換白平衡控制時(shí)被攝體模糊的區(qū)域，使用插值計(jì)算被攝體不模糊的區(qū)域的白平衡系數(shù)以及被攝體模糊的區(qū)域的白平衡系數(shù)，并將計(jì)算出的系數(shù)應(yīng)用于圖像數(shù)據(jù)。為了檢測(cè)被攝體模糊的區(qū)域，需要檢測(cè)圖像數(shù)據(jù)的高頻成分。日本專(zhuān)利3540485號(hào)中討論的傳統(tǒng)技術(shù)必須通過(guò)計(jì)算閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)與閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)之間的差來(lái)推定閃光燈光的照射量，并根據(jù)所推定的照射量進(jìn)行白平衡控制。然而，當(dāng)被攝體移動(dòng)時(shí)，不可能正確地推定照射量并進(jìn)行白平衡控制。結(jié)果，在圖像數(shù)據(jù)中產(chǎn)生斑點(diǎn)圖案，并且不能獲得高質(zhì)量圖像。日本專(zhuān)利4389671號(hào)中討論的傳統(tǒng)技術(shù)采用通過(guò)檢測(cè)高頻成分來(lái)檢測(cè)被攝體模糊的區(qū)域的方法。然而，不可能區(qū)分圖像數(shù)據(jù)原有的高頻成分與由被攝體模糊和手抖所致模糊引起的高頻成分。結(jié)果，不能進(jìn)行最佳的白平衡控制，并且不能獲得高質(zhì)量圖像。

發(fā)明內(nèi)容
本發(fā)明的特征在于針對(duì)多個(gè)圖像區(qū)域中的各個(gè)進(jìn)行最佳的白平衡控制。根據(jù)本發(fā)明的一方面，提供了一種圖像處理設(shè)備，其包括第一評(píng)估值計(jì)算單元，其被配置為將(閃光燈不發(fā)光時(shí)拍攝的)圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第一顏色評(píng)估值；第二評(píng)估值計(jì)算單元，其被配置成將(閃光燈發(fā)光時(shí)拍攝的)圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第二顏色評(píng)估值；移動(dòng)確定單元，其被配置為基于所述第一顏色評(píng)估值和所述第二顏色評(píng)估值確定各區(qū)域的移動(dòng)；以及處理單元，其被配置為基于由所述移動(dòng)確定單元確定的移動(dòng)對(duì)圖像數(shù)據(jù)進(jìn)行白平衡處理。根據(jù)本發(fā)明的另一方面，提供了一種圖像處理方法，其包括第一評(píng)估值計(jì)算步 驟，將(閃光燈不發(fā)光時(shí)拍攝的)圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第一顏色評(píng)估值；第二評(píng)估值計(jì)算步驟，將(閃光燈發(fā)光時(shí)拍攝的)圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第二顏色評(píng)估值；移動(dòng)確定步驟，基于所述第一顏色評(píng)估值和所述第二顏色評(píng)估值確定各區(qū)域的移動(dòng)；以及處理步驟，基于在所述移動(dòng)確定步驟中確定的移動(dòng)對(duì)圖像數(shù)據(jù)進(jìn)行白平衡處理。通過(guò)以下(參照附圖)對(duì)示例性實(shí)施例的描述，本發(fā)明的其他方面將變得清楚。


包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)的一部分的附圖例示了本發(fā)明的示例性實(shí)施例、特征和方面，并且與文字說(shuō)明一起用來(lái)解釋本發(fā)明的原理。圖I是例示根據(jù)本發(fā)明的示例性實(shí)施例的圖像感測(cè)設(shè)備的電路配置的示例的框圖。圖2是例不WB系數(shù)計(jì)算處理的流程圖。圖3A和圖3B是用于白檢測(cè)(white detection)的圖。圖4A和圖4B是說(shuō)明色溫與Cx-Cy值之間關(guān)系的圖和圖表。圖5是例示圖像拍攝的控制序列的時(shí)序圖。圖6是例示靜止圖像拍攝驅(qū)動(dòng)模式的WB系數(shù)以及EVF拍攝驅(qū)動(dòng)模式的WB系數(shù)的圖。圖7是例示該示例性實(shí)施例中的圖像感測(cè)設(shè)備的功能結(jié)構(gòu)的框圖。圖8是例示閃光圖像與非閃光圖像之間被攝體移動(dòng)的確定處理的流程圖。圖9A和圖9B是例示根據(jù)各塊的顏色評(píng)估值的差的相加值計(jì)算移動(dòng)量的處理的圖。圖10是例示根據(jù)移動(dòng)量與色溫差之間的關(guān)系確定的組合比的示例的圖。圖11是例示圖像組合處理的流程圖。
具體實(shí)施例方式下面將參照附圖詳細(xì)描述本發(fā)明的各種示例性實(shí)施例、特征和方面。在下文中，將參照附圖詳細(xì)描述本發(fā)明適用的圖像處理設(shè)備的示例性實(shí)施例。圖I是例示根據(jù)本示例性實(shí)施例的圖像感測(cè)設(shè)備(數(shù)字照相機(jī))的電路配置的示例的框圖。參照?qǐng)D1，固態(tài)圖像傳感器101是例如由電荷耦合裝置(CXD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)構(gòu)成的圖像傳感器。固態(tài)圖像傳感器101的表面例如覆蓋有RGB濾色器(例如拜爾陣列)，從而能夠進(jìn)行彩色照相。中央處理單元(CPU) 114計(jì)算使得照亮整個(gè)圖像的快門(mén)速度和光圈值，并且計(jì)算聚焦鏡頭的驅(qū)動(dòng)量，從而聚焦到位于聚焦范圍內(nèi)的被攝體上。然后，由CPU 114計(jì)算出的信息，即曝光值(快門(mén)速度和光圈值)和聚焦鏡頭的驅(qū)動(dòng)量，被發(fā)送到鏡筒裝置控制電路113，并且根據(jù)相應(yīng)的值控制鏡筒裝置115。類(lèi)似地，當(dāng)對(duì)閃光燈的發(fā)光量進(jìn)行控制時(shí)，CPU 114計(jì)算閃光燈的發(fā)光量并且使閃光燈發(fā)光裝置116以預(yù)定的光量發(fā)光。白平衡(WB)控制電路103基于存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)計(jì)算白平衡(WB)系數(shù)，并且使用計(jì)算出的WB系數(shù)對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)施加WB校正。稍后描述WB控制電路103的配置和計(jì)算WB系數(shù)的方法的細(xì)節(jié)。顏色矩陣電路104通過(guò)將WB控制電路103已經(jīng)施加WB校正的圖像信號(hào)乘以顏色 增益而將該圖像信號(hào)轉(zhuǎn)換為色差信號(hào)R-Y/B-Y，使得能夠由最佳顏色再現(xiàn)該圖像信號(hào)。低通濾波器(LPF)電路105是限制色差信號(hào)R-Y/B-Y的頻帶的電路。色度(chroma)抑制(CSUP)電路106是去除由LPF電路105限制的頻帶的圖像信號(hào)的飽和部分的偽色信號(hào)的電路。另一方面，WB控制電路103已經(jīng)施加WB校正的圖像信號(hào)還被輸出到亮度信號(hào)生成電路111。亮度信號(hào)生成電路111基于輸入圖像信號(hào)生成亮度信號(hào)Y。邊緣增強(qiáng)電路112對(duì)所生成的亮度信號(hào)Y施加邊緣增強(qiáng)處理。RGB轉(zhuǎn)換電路107將來(lái)自CSUP電路106的色差信號(hào)R-Y/B-Y以及從邊緣增強(qiáng)電路112輸出的亮度信號(hào)Y轉(zhuǎn)換為RGB信號(hào)。伽馬校正電路108對(duì)轉(zhuǎn)換后的RGB信號(hào)施加灰度校正。之后，顏色亮度轉(zhuǎn)換電路109將具有校正后的灰度的RGB信號(hào)轉(zhuǎn)換為YUV信號(hào)。此夕卜，壓縮電路110例如通過(guò)JPEG (聯(lián)合圖像專(zhuān)家組)方法壓縮轉(zhuǎn)換后的YUV信號(hào)，并且將壓縮后的數(shù)據(jù)存儲(chǔ)在外部或內(nèi)部記錄介質(zhì)中作為圖像信號(hào)。接下來(lái)，將詳細(xì)描述WB控制電路103計(jì)算WB系數(shù)的方法。首先，參照?qǐng)D2中例示的流程圖，第一 WB系數(shù)是在閃光燈發(fā)光時(shí)拍攝的圖像(在下文中將該狀態(tài)稱(chēng)為“閃光圖像”)的WB系數(shù)?；陂W光圖像計(jì)算第一 WB系數(shù)。首先，在步驟S201中，WB控制電路103讀出存儲(chǔ)在存儲(chǔ)器102中的閃光圖像，并且將該圖像數(shù)據(jù)分割為任意數(shù)目m個(gè)塊。然后，在步驟S202中，針對(duì)該m個(gè)塊中的各個(gè)，WB控制電路103平均各顏色的像素值以計(jì)算顏色平均值(R[i]，G[i]，B[i])。然后，WB控制電路103還利用如下等式(I)計(jì)算顏色評(píng)估值(Cx[i]，Cy[i])。[等式I]Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024(其中，Y[i]= (R[i]+2G[i]+B[i])/4)WB控制電路103利用圖3A和圖3B中示出的具有軸的圖進(jìn)行白檢測(cè)。在圖3A中，X軸(Cx)的負(fù)方向代表當(dāng)以高色溫拍攝白色被攝體時(shí)的顏色評(píng)估值。而X軸的正方向代表當(dāng)以低色溫拍攝白色被攝體時(shí)的顏色評(píng)估值。此外，y軸(Cy)代表光源的綠色成分的程度。隨著該值在I軸的負(fù)方向上增加，綠色成分增加，這表示該光源是熒光燈。圖4A是說(shuō)明色溫與Cx-Cy值之間關(guān)系的圖。圖4B是列出各色溫的Cx值和Cy值的圖表。通過(guò)利用其色溫已知并且對(duì)應(yīng)于黑體軌跡的點(diǎn)的光源來(lái)獲取圖像數(shù)據(jù)，并且計(jì)算Cx值和Cy值，色溫與Cx-Cy值之間的關(guān)系變得清楚。不僅色溫與Cx-Cy值之間的關(guān)系清楚，而且諸如白色熒光燈的偏綠和偏紅的光源與Cx-Cy值之間的關(guān)系也變得清楚。此外，通過(guò)獲取發(fā)光色溫與Cx值和Cy值之間的關(guān)系并且基于該關(guān)系指定發(fā)光色溫，來(lái)計(jì)算閃光燈光的Cx值和Cy值。在步驟S203中，WB控制電路103確定在步驟S202中計(jì)算出的第i個(gè)塊的顏色評(píng)估值(Cx[i]，Cy[i])是否位于圖3A中所示的預(yù)置白檢測(cè)范圍301內(nèi)。圖3A中所示的白檢測(cè)范圍301是有限檢測(cè)范圍，因?yàn)檫@是在閃光燈的光源下檢測(cè)白色。如果計(jì)算出的顏色評(píng)估值(Cx[i]，Cy[i])位于白檢測(cè)范圍301內(nèi)，則處理前進(jìn)到步驟S204。另一方面，如果該值(Cx[i]，Cy[i])不位于白檢測(cè)范圍301內(nèi)，則處理跳過(guò)步驟S204，并且前進(jìn)到步驟S205。在步驟S204中，WB控制電路103確定第i個(gè)塊為白色，并且利用如下等式(2)將顏色平均值(R[i]，G[i]，B[i])相加。[等式2]
權(quán)利要求
1.一種圖像一種圖像處理設(shè)備，其包括 第一評(píng)估值計(jì)算單元，其被配置為將閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第一顏色評(píng)估值； 第二評(píng)估值計(jì)算單元，其被配置成將閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第二顏色評(píng)估值； 移動(dòng)確定單元，其被配置為基于所述第一顏色評(píng)估值和所述第二顏色評(píng)估值確定各區(qū)域的移動(dòng)；以及 處理單元，其被配置為基于由所述移動(dòng)確定單元確定的移動(dòng)對(duì)圖像數(shù)據(jù)進(jìn)行白平衡處理。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述第二評(píng)估值計(jì)算單元基于閃光燈光的亮度和色溫，計(jì)算所述第二顏色評(píng)估值。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述第一評(píng)估值計(jì)算單元通過(guò)將閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)乘以閃光燈不發(fā)光時(shí)獲得的光源的白平衡系數(shù)，來(lái)計(jì)算所述第一顏色評(píng)估值。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述移動(dòng)確定單元計(jì)算所述第一顏色評(píng)估值與所述第二顏色評(píng)估值之間的差，并且通過(guò)將計(jì)算出的差與預(yù)定閾值進(jìn)行比較，來(lái)確定各區(qū)域的移動(dòng)。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述移動(dòng)確定單元基于針對(duì)多個(gè)區(qū)域的移動(dòng)確定結(jié)果，來(lái)確定圖像的整個(gè)區(qū)域中的移動(dòng)量。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述移動(dòng)確定單元組合被確定為發(fā)生移動(dòng)的區(qū)域，并且通過(guò)組合區(qū)域的尺寸確定圖像的整個(gè)區(qū)域中的移動(dòng)量。
7.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述移動(dòng)確定單元基于被確定為發(fā)生移動(dòng)的區(qū)域的數(shù)目，來(lái)確定圖像的整個(gè)區(qū)域中的移動(dòng)量。
8.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，基于閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)的顏色評(píng)估值確定所述預(yù)定閾值。
9.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，所述圖像處理設(shè)備還包括 比確定單元，其被配置為確定用于組合第一組圖像數(shù)據(jù)和第二組圖像數(shù)據(jù)的比，其中，通過(guò)利用閃光燈不發(fā)光時(shí)獲得的光源的白平衡系數(shù)進(jìn)行白平衡處理而由閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成所述第一組圖像數(shù)據(jù)，通過(guò)利用閃光燈發(fā)光時(shí)獲得的光源的白平衡系數(shù)進(jìn)行白平衡處理而由閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)生成所述第二組圖像數(shù)據(jù)。
10.一種圖像處理方法，其包括 第一評(píng)估值計(jì)算步驟，將閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第一顏色評(píng)估值； 第二評(píng)估值計(jì)算步驟，將閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各區(qū)域的第二顏色評(píng)估值； 移動(dòng)確定步驟，基于所述第一顏色評(píng)估值和所述第二顏色評(píng)估值確定各區(qū)域的移動(dòng)；以及 處理步驟，基于在所述移動(dòng)確定步驟中確定的移動(dòng)對(duì)圖像數(shù)據(jù)進(jìn)行白平衡處理。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備和圖像處理方法。該圖像處理設(shè)備將閃光燈不發(fā)光時(shí)拍攝的圖像數(shù)據(jù)分割成多個(gè)區(qū)域，計(jì)算各分割區(qū)域的顏色評(píng)估值。該設(shè)備將閃光燈發(fā)光時(shí)拍攝的圖像數(shù)據(jù)分割成多個(gè)區(qū)域并且計(jì)算各分割區(qū)域的顏色評(píng)估值。該設(shè)備根據(jù)計(jì)算出的顏色評(píng)估值確定多個(gè)區(qū)域中的各區(qū)域的移動(dòng)。該設(shè)備根據(jù)所確定的移動(dòng)對(duì)圖像數(shù)據(jù)進(jìn)行白平衡處理。
文檔編號(hào)H04N9/73GK102769760SQ201210134570
公開(kāi)日2012年11月7日 申請(qǐng)日期2012年4月28日 優(yōu)先權(quán)日2011年5月2日
發(fā)明者福井貴明 申請(qǐng)人:佳能株式會(huì)社