專利名稱：圖像處理設(shè)備、成像設(shè)備、圖像處理方法、及白平衡調(diào)整方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、成像設(shè)備、圖像處理方法以及白平衡調(diào)整方法，其均能在對包括來自閃光的LED (發(fā)光二極管)的光在內(nèi)的被攝體進(jìn)行成像時，以高精度檢測包括來自LED的光的LED區(qū)域。
背景技術(shù)：
用于照明的單色發(fā)光二極管在光譜特性和閃爍(周期性的閃光)方面不同于用于照明的普通光源，并且可能極大地影響相機(jī)的白平衡功能。專利文獻(xiàn)I公開了一種針對被多個光源照亮的被攝體和存在物體顏色的被攝體可以準(zhǔn)確地檢測出光源的結(jié)構(gòu)。專利文獻(xiàn)2公開了一種考慮了當(dāng)使用LED照明時由于發(fā)光二極管的個體差異和老化導(dǎo)致的色溫變化來進(jìn)行白平衡校正的結(jié)構(gòu)。引用列表專利文獻(xiàn)PTLl:日本專利申請公開 N0.2010-130468PTL2:日本專利申請公開 N0.2009-11800
發(fā)明內(nèi)容
`
技術(shù)問題在直接觀看用于照明的單色LED等的場景的情況下，高亮度信息進(jìn)入人眼從而對人眼大大地施加了圖像滯后效果。更具體地說，閃爍沒有比被用作環(huán)境光時表現(xiàn)得明顯。根據(jù)所述情況，在很多情況下可以使用由于成本減少和安裝方便而沒有消除產(chǎn)生閃爍的單色LED設(shè)備。所述產(chǎn)生閃爍的單色LED設(shè)備包括LED交通燈、燈飾、電子公告板。在專利文獻(xiàn)I所討論的結(jié)構(gòu)中，根據(jù)被攝體計(jì)算出光源顏色估計(jì)區(qū)域及其距離，并且不能從物體顏色中明顯消除單色LED的影響。在專利文獻(xiàn)2所討論的結(jié)構(gòu)中，假定LED是燈飾，從而當(dāng)存在不是照明燈的LED時不能進(jìn)行適當(dāng)?shù)陌灼胶庑Ｕ??？紤]到所述情況做出了本發(fā)明，其目的是提供一種圖像處理設(shè)備、一種成像設(shè)備、一種成像方法、一種圖像處理方法、以及白平衡調(diào)整方法，其均能夠在對包括來自閃光的LED的光的被攝體進(jìn)行成像時，以高精度檢測出包括來自LED的光的LED區(qū)域。解決方案為了實(shí)現(xiàn)上述目標(biāo)，根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備包括:圖像獲取裝置，其用于獲取通過連續(xù)成像得到的捕獲圖像；閃爍檢測裝置，其用于將捕獲圖像分割為多個分割區(qū)域，并針對每個分割區(qū)域檢測閃光的閃爍；以及比較裝置，其用于針對每個已經(jīng)檢測到閃爍的分割區(qū)域，根據(jù)該分割區(qū)域的點(diǎn)亮(turn-on )狀態(tài)下的亮度與其熄滅(turn-o ff)狀態(tài)下的亮度之間的亮度差來檢測該分割區(qū)域是否是包括來自LED的光的LED區(qū)域，并且將表示捕獲圖像內(nèi)的LED區(qū)域的LED區(qū)域信息進(jìn)行輸出。更具體地說，當(dāng)對包括來自閃光的LED的光的被攝體進(jìn)行成像時，在根據(jù)該分割區(qū)域的點(diǎn)亮狀態(tài)的亮度與其熄滅狀態(tài)的亮度之間的亮度差來檢測到捕獲圖像中的LED區(qū)域的同時針對通過分割該捕獲圖像所得到的每個分割區(qū)域來檢測閃爍(閃光)，使得可以以較高的精度檢測出包括來閃光的LED的光的LED區(qū)域。根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備還包括:白平衡計(jì)算裝置，其用于根據(jù)所檢測到的LED區(qū)域信息來計(jì)算白平衡調(diào)整值；以及白平衡調(diào)整裝置，其用于根據(jù)所計(jì)算的白平衡調(diào)整值來調(diào)整捕獲圖像的白平衡或在該捕獲圖像之后捕獲的圖像的白平衡。在這種情況下，即使當(dāng)存在LED區(qū)域時，也可以進(jìn)行適當(dāng)?shù)陌灼胶庹{(diào)整。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，白平衡計(jì)算裝置可以在根據(jù)捕獲圖像中除LED區(qū)域外的區(qū)域內(nèi)的信息來確定光源顏色的同時，確定LED區(qū)域?yàn)閲?yán)重受物體顏色影響的物體顏色區(qū)域，以根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在這種情況下，LED區(qū)域不是作為光源顏色區(qū)域而是作為物體顏色區(qū)域而被排除在光源顏色確定目標(biāo)區(qū)域之外，使得可以進(jìn)行根據(jù)環(huán)境光的適當(dāng)?shù)陌灼胶庹{(diào)整。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，當(dāng)LED區(qū)域在捕獲圖像中的比例大于閾值時，白平衡計(jì)算裝置可以根據(jù)LED的光譜特性和LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色，以根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在這種情況下，若LED區(qū)域的比例較大，則當(dāng)僅通過剩余的非LED區(qū)域來確定光源顏色時，會出現(xiàn)諸如錯誤的判定和出現(xiàn)陰影之類的問題，但是根據(jù)LED的光譜特性和LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色則可以進(jìn)行恰當(dāng)?shù)陌灼胶庹{(diào)整。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，當(dāng)LED區(qū)域的顏色與整個捕獲圖像中的顏色的平均值或與捕獲圖像中除LED區(qū)域外的非LED區(qū)域中的顏色的平均值之差大于閾值時，白平衡計(jì)算裝置根·據(jù)非LED區(qū)域內(nèi)的信息來確定與LED區(qū)域的顏色不同的光源顏色，以根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，當(dāng)熄滅狀態(tài)下的LED區(qū)域的亮度為閾值或更小時，白平衡計(jì)算裝置可以根據(jù)捕獲圖像的整個區(qū)域中除LED區(qū)域外的區(qū)域內(nèi)的信息來確定光源顏色，以根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，當(dāng)LED區(qū)域的亮度與非LED區(qū)域的亮度之間的亮度差小于閾值時，白平衡計(jì)算裝置可以根據(jù)LED的光譜特性和LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色，以根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，白平衡計(jì)算裝置可以根據(jù)熄滅狀態(tài)下的LED區(qū)域內(nèi)的信息來確定光源顏色，以根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，白平衡計(jì)算裝置可以根據(jù)檢測到的LED區(qū)域內(nèi)的信息來調(diào)整白平衡調(diào)整值對物體顏色的追隨強(qiáng)度。在根據(jù)本發(fā)明的一個方面的圖像處理設(shè)備中，可以將LED區(qū)域信息與捕獲圖像相關(guān)聯(lián)地記錄在記錄介質(zhì)上。根據(jù)本發(fā)明的一個方面的成像設(shè)備包括上述圖像處理設(shè)備、以及能夠連續(xù)對被攝體進(jìn)行成像的成像裝置。在根據(jù)本發(fā)明的一個方面的成像設(shè)備中，可以根據(jù)所檢測到的LED區(qū)域信息來計(jì)算曝光量，并且成像裝置可以根據(jù)曝光量來進(jìn)行成像。發(fā)明的有益效果根據(jù)本發(fā)明，若對包括來自閃爍的LED的光的被攝體進(jìn)行成像，則可以以高精度檢測出包括來自該LED的光的LED區(qū)域。


圖1是示出了第一實(shí)施例中的成像設(shè)備的整個結(jié)構(gòu)的框圖。圖2是示出了第一實(shí)施例中的LED檢測處理的一個示例的流程圖。圖3是示出了第二實(shí)施例中的成像設(shè)備的整個結(jié)構(gòu)的框圖。圖4是示出了成像處理的一個示例的示意性流程圖。圖5是示出了第二實(shí)施例中的白平衡計(jì)算處理的一個示例的流程圖。圖6是示出了第三實(shí)施例中的成像設(shè)備的整個結(jié)構(gòu)的框圖。圖7是示出了第三實(shí)施例中的白平衡計(jì)算處理的一個示例的流程圖。圖8是用于描述所捕獲的圖像的整個區(qū)域a、LED區(qū)域β、以及非LED區(qū)域Y的示圖。圖9是示出了第四實(shí)施例中的白平衡計(jì)算處理的一個示例的流程圖。
具體實(shí)施例方式下面將參照附圖詳細(xì)地描述本發(fā)明的實(shí)施例。<第一實(shí)施例>圖1是示出了根據(jù)第一實(shí)施例的成像設(shè)備10的整個結(jié)構(gòu)的框圖。成像設(shè)備10包括:成像單元11，其對被攝體進(jìn)行成像的成像單元11 ;顯示單元35，其執(zhí)行顯示；以及計(jì)算/處理單元50，其進(jìn)行諸如閃爍檢測處理和LED檢測處理之類的各種類型的計(jì)算和處理。成像單元11包括:成像光學(xué)單元12，其在下述圖像傳感器14上進(jìn)行被攝體成像；圖像傳感器14，其對被攝體進(jìn)行成像；模擬信號處理單元16，其對從圖像傳感器14輸出的模擬圖像捕獲信號進(jìn)行諸如放大之類的信號處理;AD轉(zhuǎn)換器18，其將模擬圖像捕獲信號(捕獲圖像)轉(zhuǎn)換為數(shù)字圖像捕獲信號；以及數(shù)字信號處理單元20，其對數(shù)字圖像捕獲信號進(jìn)行各種類型的數(shù)字信號處理。從成像單元11輸出的數(shù)字圖像捕獲信號作為數(shù)字?jǐn)?shù)據(jù)的捕獲圖像暫時地存儲在RAM (隨機(jī)存儲存儲器)內(nèi)。成像光學(xué)單元12包括諸如聚焦透鏡、變焦透鏡、可變光闌(光圈)之類的光學(xué)器件。圖像傳感器14由CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器、C CD (電荷耦合器件)圖像傳感器等配置而成。模擬信號處理單元16、AD轉(zhuǎn)換器18、和數(shù)字信號處理單元20均由已知電路構(gòu)成。顯示單元35包括:圖像再現(xiàn)處理單元36，其執(zhí)行用于再現(xiàn)捕獲圖像的圖像處理；編碼器38，其執(zhí)行用于將捕獲圖像的數(shù)據(jù)顯示在顯示裝置40上的編碼；以及顯示裝置40，其顯示捕獲圖像等。圖像再現(xiàn)處理單元36和編碼器38分別由已知的微處理器和電路構(gòu)成。例如，顯示裝置40由IXD (液晶顯示器)配置而成。
VRAM (視頻隨機(jī)存取存儲器)24是臨時存儲圖像的存儲器。存儲器接口(存儲器I/F) 30是與RAM26和ROM (只讀存儲器)28連接的電路。外部存儲器接口(外部存儲器I/F) 34是與存儲卡32連接的電路。計(jì)算/處理單元50包括:成像條件設(shè)置單元51，其設(shè)置成像單元11內(nèi)的諸如快門速度(曝光時間)之類的各種類型的成像條件；圖像獲取單元52，其獲取捕獲圖像；閃爍檢測單元53，其將捕獲圖像分割為多個分割區(qū)域，并且針對每個分割區(qū)域檢測周期性閃光的閃爍；比較和計(jì)算單元54，其針對每個已經(jīng)檢測到閃爍的分割區(qū)域來比較該分割區(qū)域在點(diǎn)亮狀態(tài)下的亮度和該分割區(qū)域在熄滅狀態(tài)下的亮度，并且根據(jù)點(diǎn)亮狀態(tài)和熄滅狀態(tài)之間的亮度差來判定各分割區(qū)域是否是包括來自LED的光的LED區(qū)域；以及CPU (中央處理單元)55，其結(jié)合并控制成像設(shè)備10內(nèi)的各個單元。計(jì)算/處理單元50由微處理器和電路配置而成。成像條件設(shè)置單元51包括接受用戶輸入的指令的操作裝置。成像條件設(shè)置單元51可以讀出先前存儲在非易失性存儲器(未示出)中的成像條件并且可以設(shè)置成像條件。下面將描述產(chǎn)生閃爍的單色LED中的亮度差。由于在白熾燈泡和熒光燈中對AC (交流)電壓周期的亮度響應(yīng)緩慢，因此亮度的變化并不對應(yīng)于電壓的最大/最小的周期性變化，并且最高亮度和最小亮度之間的差異很小。另一方面，在LED中，由于其器件特性，對電壓的上升和下降的亮度響應(yīng)速度遠(yuǎn)高于其他光源的亮度響應(yīng)速度。例如，白熾燈泡的亮度響應(yīng)速度為幾百毫秒，熒光燈的亮度響應(yīng)速度接近I秒，而LED的亮度響應(yīng)速度為10納秒。例如，在汽車的制動燈中，利用LED的快速響應(yīng)可以快速地對后面的汽車做出危險通知。用于LED的AC電源的頻率最低為50Hz，并且使用AC電源的LED中的一個閃爍周期為20ms或更小。更具體地說，由于LED的亮度響應(yīng)相對于AC電源的周期來說足夠低，因此亮度的最大值/最小值的變化跟隨 電壓的最大值/最小值的變化。換而言之，捕獲圖像的LED區(qū)域中的最大亮度和最小亮度之差對應(yīng)于LED的最小亮度(即，O)和最大亮度之差。因此，按以下步驟檢測捕獲圖像中的LED區(qū)域，從而以高精度檢測LED區(qū)域。(步驟I)以AC電源(例如，50Hz或60Hz)頻率的兩倍或更高的頻率(對于快門速度，其為1/lOOs或更小或者1/120S或更小)連續(xù)地對被攝體進(jìn)行成像。小于AC電源的一個周期的一半的快門速度(曝光時間)是理想的。成像條件設(shè)置單元51在成像單元11中設(shè)置這樣的快門速度。(步驟2)若要判定的區(qū)域內(nèi)的亮度變化周期與AC電源的變化周期基本相同，則判定存在閃爍。閃爍檢測單元53進(jìn)行這樣的閃爍檢測。然而，兩個周期之間一致的程度可能不高。在針對視覺效果的正常閃光(照明)中，由于由圖像滯后效應(yīng)造成了人眼不能判定是否出現(xiàn)了閃光，因此不存在和AC電源的變化周期內(nèi)同樣的快速閃光。(步驟3)在閃光的亮度差(處于點(diǎn)亮狀態(tài)下的LED的亮度與處于熄滅狀態(tài)下的LED的亮度之間的差)較大的情況下，判定為LED區(qū)域?？梢酝ㄟ^檢測熄滅狀態(tài)下的亮度值基本為零來判定該區(qū)域?yàn)長ED區(qū)域。比較和計(jì)算單元54進(jìn)行這樣的LED區(qū)域的檢測。根據(jù)檢測目標(biāo)區(qū)域的大小，檢測目標(biāo)區(qū)域(圖像的分割區(qū)域)內(nèi)對應(yīng)于LED的區(qū)域可能很小。因此，對用于判定該區(qū)域?yàn)長ED區(qū)域的亮度或亮度差的閾值給予一定程度的容許范圍，以進(jìn)行LED檢測。
圖2是示出了 LED檢測處理的流程圖。在CPU55的控制下來根據(jù)程序進(jìn)行該處理。下面將參照圖2來描述從捕獲圖像中檢測出周期性閃光的LED區(qū)域的LED檢測處理。在本示例中，從成像單元11輸出的捕獲圖像存儲在RAM26中。圖像獲取單元52首先從RAM26 (圖像緩沖器)獲取已被連續(xù)捕獲的捕獲圖像(步驟 S2)。閃爍檢測單元53然后將捕獲圖像分割為二維陣列形式的多個(η個)分割區(qū)域(步驟 S4)。以分割區(qū)域的數(shù)量η開始循環(huán)處理(步驟S6至S18)。首先，確定要關(guān)注的分割區(qū)域(以下稱為“目標(biāo)區(qū)域”)(步驟S8)，然后判定在該目標(biāo)區(qū)域中是否存在周期性閃光(閃爍)(步驟S10)。例如，從通過以AC電源頻率(本示例中為50Hz或60Hz)的整數(shù)倍(2倍或更多倍)的頻率連續(xù)地對被攝體進(jìn)行成像所得到的多個捕獲圖像中，針對每個分割區(qū)域，根據(jù)分割區(qū)域的時間序列的亮度來判定該分割區(qū)域是否以AC電源的頻率閃光。更具體地說，以AC電源的一個周期的一半或更小的曝光時間(快門時間)連續(xù)地對被攝體進(jìn)行成像，以檢測周期性閃光。閃光周期具有什么樣的檢測精度并不重要?？梢詸z測到閃光基本上是周期性的。若檢測到了周期性閃光(在步驟SlO中為是)，則比較和計(jì)算單元54則判定閃光的亮度差是否較大(步驟S12)。例如，由于LED熄滅狀態(tài)下的亮度值基本上為零，因此當(dāng)判定了點(diǎn)亮狀態(tài)下的亮度為閾值或更大，并且熄滅狀態(tài)下的亮度值基本上為零時，可以判定閃光的亮度差較大。 可以通過對已經(jīng)檢測到閃光的目標(biāo)區(qū)域中點(diǎn)亮狀態(tài)(當(dāng)亮度較高時)下的亮度與目標(biāo)區(qū)域中熄滅狀態(tài)(當(dāng)亮度較低時)下的亮度之差進(jìn)行計(jì)算，并且將點(diǎn)亮狀態(tài)下的亮度與熄滅狀態(tài)下的亮度之間的亮度差與閾值進(jìn)行比較，來判定閃光的亮度差是否較大。可以將點(diǎn)亮狀態(tài)下的亮度與熄滅狀態(tài)下的亮度之比和閾值進(jìn)行比較來判定閃光的亮度差是否較大。當(dāng)判定了閃光的亮度差較大時，CPU55判定該目標(biāo)區(qū)域?yàn)長ED區(qū)域，并且將LED區(qū)域標(biāo)識存儲在RAM26中，以作為與對應(yīng)的分割區(qū)域相關(guān)聯(lián)的LED區(qū)域信息的一部分(步驟S14)。另一方面，當(dāng)亮度差為閾值或更小時，CPU55判定該目標(biāo)區(qū)域?yàn)槌齃ED區(qū)域外的區(qū)域(非LED區(qū)域)，并且將非LED區(qū)域標(biāo)識存儲在RAM26中，以作為與對應(yīng)的分割區(qū)域相關(guān)聯(lián)的LED區(qū)域信息的一部分(步驟S16)。當(dāng)循環(huán)處理結(jié)束時(步驟S18)，CPU55使用外部存儲器接口 34來將臨時存儲在RAM26中的LED區(qū)域信息(包括LED區(qū)域標(biāo)識和非LED區(qū)域標(biāo)識)與捕獲圖像相關(guān)聯(lián)地存儲在存儲卡32中(步驟S19)。LED區(qū)域信息表示捕獲圖像中的LED區(qū)域。LED區(qū)域標(biāo)識和非LED區(qū)域標(biāo)識的陣列表示捕獲圖像中的LED區(qū)域的位置。LED區(qū)域信息更加優(yōu)選地包括關(guān)于每個LED區(qū)域的顏色信息和亮度信息。盡管已經(jīng)通過示例的方式描述了將LED檢測結(jié)果輸出至用作存儲介質(zhì)的存儲卡32的情況，但本發(fā)明沒有特別地限定于該情況。用于輸出LED檢測結(jié)果的裝置并不特別地限定于存儲介質(zhì)。例如，其可以通過網(wǎng)絡(luò)接口(未示出)與已經(jīng)連續(xù)捕獲的捕獲圖像的每幀相關(guān)聯(lián)地被發(fā)送并輸出至外部設(shè)備。或者，其可以與捕獲圖像相關(guān)聯(lián)地顯示并輸出至顯示裝置40。CPU55可以根據(jù)所檢測到的LED區(qū)域信息來計(jì)算曝光量，并使成像單元11根據(jù)該曝光量來進(jìn)行成像。根據(jù)圖像傳感器14中的電子快門的快門速度(曝光時間)和成像光學(xué)單元12的可變光闌(光圈)的光圈量(開口量)，在CPU55的控制下調(diào)節(jié)曝光量。<第二實(shí)施例>圖3是示出了第二實(shí)施例中的成像設(shè)備10的整個結(jié)構(gòu)的框圖。相同的附圖標(biāo)記指代與圖1所示的第一實(shí)施例相同的構(gòu)成元件，因此不再重復(fù)地對其進(jìn)行描述。在圖3中，白平衡計(jì)算單元56根據(jù)比較和計(jì)算單元54的比較結(jié)果來確定捕獲圖像的光源顏色，并且根據(jù)光源顏色來計(jì)算白平衡調(diào)整值。白平衡計(jì)算單元56在根據(jù)捕獲圖像中的除LED區(qū)域外的區(qū)域內(nèi)的信息來確定光源顏色的同時，特別地確定一個LED區(qū)域?yàn)閲?yán)重受物體顏色影響的物體顏色區(qū)域。CPU55根據(jù)白平衡計(jì)算單元56計(jì)算出的白平衡調(diào)整值來調(diào)節(jié)捕獲圖像的白平衡。圖4是示出了成像處理的一個示例的示意性流程圖。首先，成像單元11對被攝體進(jìn)行成像(步驟S101)。然后，計(jì)算/處理單元50中的閃爍檢測單元53以及比較和計(jì)算單元54從捕獲圖像中檢測周期性閃光的LED區(qū)域(步驟S102)。計(jì)算/處理單元50中的白平衡計(jì)算單元56然后根據(jù)LED區(qū)域的檢測結(jié)果(LED區(qū)域信息)來計(jì)算白平衡調(diào)整值(步驟S103)。計(jì)算/處理單元中的CPU55然后根據(jù)白平衡調(diào)整值來調(diào)整捕獲圖像的白平衡(步驟S104)。然后外部存儲器接口 34將已經(jīng)調(diào)整了白平衡的捕獲圖像記錄在存儲卡32中(步驟S105)。圖5是示出了第二實(shí)施例中的白平衡計(jì)算處理(圖4所示的步驟S103)的細(xì)節(jié)的流程圖。白平衡計(jì)算單元56根據(jù)程序進(jìn)行該處理。首先，在白平衡計(jì)算單元中將捕獲圖像的有效區(qū)域(被攝體的區(qū)域)分割為多個分割區(qū)域(步驟S22)。然后，以區(qū)域分割數(shù)開始循環(huán)`處理(步驟S24)，并且根據(jù)比較和計(jì)算單元54的比較結(jié)果來確定受關(guān)注的分割區(qū)域(以下稱為“目標(biāo)區(qū)域”)是否為LED區(qū)域(步驟S26)。若目標(biāo)區(qū)域是非LED區(qū)域，則計(jì)算出目標(biāo)區(qū)域中的光源顏色評價值和物體顏色評價值(步驟S28)，根據(jù)所計(jì)算出的兩個評價值來判定該目標(biāo)區(qū)域是否受物體顏色的影響較弱(步驟S30)。若判定物體顏色的影響較弱，則在假定光源的影響較強(qiáng)的情況下進(jìn)行光源顏色估計(jì)處理(步驟S32)。若判定物體顏色的影響較強(qiáng)，則在假定光源的影響較弱的情況下進(jìn)行光源顏色估計(jì)處理(步驟S34)。若在步驟S26中判定目標(biāo)區(qū)域?yàn)長ED區(qū)域，則判定該目標(biāo)區(qū)域(即，LED區(qū)域)為物體顏色的影響較強(qiáng)的物體顏色區(qū)域，并且將該目標(biāo)區(qū)域(LED區(qū)域)排除在光源估計(jì)處理之外(步驟S36)。當(dāng)在步驟S38中結(jié)束分割區(qū)域數(shù)量的循環(huán)時，根據(jù)步驟S32和S34中的光源顏色估計(jì)結(jié)果來計(jì)算白平衡校正值(步驟S40 )。更具體地說，根據(jù)關(guān)于捕獲圖像中除LED區(qū)域外的非LED區(qū)域的顏色信息來判定光源顏色，并且根據(jù)光源顏色來計(jì)算白平衡校正值。在很多情況下，單色LED (光譜特性的最大值對應(yīng)于一個波長的LED)并不是根據(jù)其特性而用于照明目的，而是用于直接觀看。示例包括交通燈、燈飾、電子公告板。這樣的單色LED是發(fā)光的光源，與用于照明目的的光源不同，單色LED本身可以直接作為被攝體而被拍攝，并且像通常的被攝體一樣具有顏色信息。從白平衡調(diào)整的角度看，期望將單色LED的顏色不是作為光源顏色(例如，白色)而是作為物體顏色從而被排除在光源確定之外。更具體地說，提聞了白平衡的精度。
<第三實(shí)施例>圖6是示出了第三實(shí)施例中的成像設(shè)備10的整個結(jié)構(gòu)的框圖。相同的附圖標(biāo)記指代與圖3所示的第二實(shí)施例相同的構(gòu)成元件，因此省略了對其的描述。圖7是示出了第三實(shí)施例中的白平衡計(jì)算處理(圖4所示的步驟S103)的細(xì)節(jié)的流程圖。白平衡計(jì)算單元56根據(jù)程序進(jìn)行該處理。步驟S52至S64與第二實(shí)施例中的圖5所示的步驟S22至S34類似。若在步驟S56中判定目標(biāo)區(qū)域?yàn)長ED區(qū)域，白平衡計(jì)算單元56則根據(jù)LED區(qū)域的條件來進(jìn)行光源顏色估計(jì)處理(步驟S66)。光源顏色估計(jì)處理的方式包括多種。在第一方面，若LED區(qū)域在捕獲圖像的整個區(qū)域中的比例大于閾值，則根據(jù)LED的光譜特性和熄滅狀態(tài)下的LED區(qū)域內(nèi)的顏色信息中的至少一個來確定光源顏色，并且根據(jù)光源顏色來計(jì)算白平衡調(diào)整值。更具體地說，若LED區(qū)域在整個被攝體中的比例為預(yù)定值或更大，則當(dāng)僅在剩下的非LED區(qū)域中確定光源顏色時會出現(xiàn)錯誤判定和陰影，因此使用LED的光譜特性或者處于熄滅狀態(tài)的LED內(nèi)的顏色信息來判定光源顏色。此外，若該比例較大，則使用設(shè)備的基準(zhǔn)白平衡。在第二方面，若LED區(qū)域的顏色與整個捕獲圖像的顏色的平均值(或者捕獲圖像的整個區(qū)域中除LED區(qū)域外的非LED區(qū)域中的顏色的平均值)之差大于閾值，則根據(jù)非LED區(qū)域內(nèi)的顏色信息確定與LED區(qū)域的顏色不同的光源顏色，并且根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。更具體地說，在假定存在除LED外的光源的情況下確定光源顏色。在第三方面，若處于熄滅狀態(tài)的LED的亮度為閾值或更小，則根據(jù)捕獲圖像的整個區(qū)域內(nèi)除LED區(qū)域外的區(qū)·域(非LED區(qū)域)內(nèi)的顏色信息來確定光源顏色，并且根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。更具體地說，若LED區(qū)域的亮度較低，則環(huán)境光可能強(qiáng)于來自LED的光，因此確定了光源顏色。在第四方面，若LED區(qū)域的亮度與非LED區(qū)域的亮度的亮度差小于閾值，則根據(jù)LED的光譜特性和LED區(qū)域內(nèi)的顏色信息中的至少一個來確定光源顏色，并且根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。更具體地說，在假定反射光接近LED的發(fā)光量的情況下確定光源顏色。另一方面，若與非LED區(qū)域的亮度差大于閾值，則環(huán)境光相當(dāng)微弱，因此判定不需要白平衡，使用設(shè)備的基準(zhǔn)白平衡。在第五方面，根據(jù)處于熄滅狀態(tài)的LED區(qū)域內(nèi)的顏色信息來確定光源顏色，并且根據(jù)該光源顏色來計(jì)算白平衡調(diào)整值。在第六方面，根據(jù)在LED區(qū)域內(nèi)所檢測到的顏色信息來調(diào)整白平衡調(diào)整值對物體顏色的追隨強(qiáng)度。例如，計(jì)算出使得在白平衡調(diào)整后的顏色比沒有檢測到LED區(qū)域時的顏色更接近LED的顏色的白平衡調(diào)整值。步驟S68至S70與第二實(shí)施例中的步驟S38至S40相似。但是，在步驟S70中，若進(jìn)行了步驟S66，則根據(jù)光源估計(jì)處理的結(jié)果的評價值來計(jì)算白平衡調(diào)整值?！吹谒膶?shí)施例〉下面將描述根據(jù)第四實(shí)施例的成像設(shè)備。根據(jù)本實(shí)施例的成像設(shè)備的整體結(jié)構(gòu)與圖6所示的第三實(shí)施例中的結(jié)構(gòu)相似。下面將僅描述與第三實(shí)施例不同的點(diǎn)。圖8示出了捕獲圖像的整個區(qū)域a、LED區(qū)域β、和非LED區(qū)域Y。
圖9是示出了本實(shí)施例中的白平衡調(diào)整處理的流程圖。將參照圖8來描述自動白平衡處理。首先，將LED區(qū)域β的點(diǎn)亮狀態(tài)時的平均亮度P和非LED區(qū)域的平均亮度r之間的亮度差(ρ-r)與亮度差閾值X進(jìn)行比較(步驟S81)。如亮度差(p-r)為亮度差閾值X或者更小，則環(huán)境光會影響除LED區(qū)域外的區(qū)域(非LED區(qū)域)，因此該處理分支到使用非LED區(qū)域的信息來估計(jì)光源的處理(步驟S82至S94)。若亮度差(p-r)為亮度差閾值X或者更小，則將LED區(qū)域β的面積t與捕獲圖像的整個區(qū)域α和LED區(qū)域β的面積比的閾值ζ進(jìn)行比較(步驟S82)。即使非LED區(qū)域、的平均亮度r很高，若非LED區(qū)域Y的面積t在捕獲圖像的整個區(qū)域α中的比例(s_t)很小(即，若LED區(qū)域β在整個區(qū)域α中的比例t很大)，則很難進(jìn)行準(zhǔn)確的光源估計(jì)。因此，若LED區(qū)域β的比例t大于區(qū)域比例閾值ζ，則該處理分支到使用處于熄滅狀態(tài)的LED區(qū)域內(nèi)的顏色信息進(jìn)行光源估計(jì)的處理(步驟S83至S87)。在該處理中，按區(qū)域分割的數(shù)量η開始循環(huán)處理(步驟S83)，并且判定受關(guān)注的分割區(qū)域是否為LED區(qū)域β (步驟S84)。若LED區(qū)域處于熄滅狀態(tài)，LED本身的發(fā)光量基本為零，使得可以排除物體顏色。因此，若目標(biāo)區(qū)域是LED區(qū)域，則根據(jù)熄滅狀態(tài)(當(dāng)閃爍為暗時)下的LED區(qū)域內(nèi)的顏色信息來進(jìn)行光源顏色估計(jì)(步驟S85)。另一方面，若目標(biāo)區(qū)域是非LED區(qū)域，則進(jìn)行正常光源顏色估計(jì)(步驟S86)。當(dāng)該處理被重復(fù)了分割區(qū)域數(shù)量時，結(jié)束循環(huán)處理(步驟S87)。若在步驟S82中LED區(qū)域β的比例t為面積比例閾值ζ或更小，處理則分支到步驟S88至S94。在這種情況下，LED區(qū)域β的面積t不可能占據(jù)整個區(qū)域α，并且非LED區(qū)域的亮度r可以為預(yù)定的水平或更高。因此，會存在環(huán)境光的影響。即使僅使用非LED區(qū)域內(nèi)的顏色信息來計(jì)算白平衡調(diào)整值，也可以得到一定程度的精度，但是同時使用LED區(qū)域內(nèi)的顏色信息，可以進(jìn)一步提高光源顏色估計(jì)的精度。因此，按區(qū)域分割數(shù)量η開始循環(huán)處理(步驟S88)，并且判定受關(guān)注的分割區(qū)域是否為LED區(qū)域β (步驟S89)。此外，若為LED區(qū)域，則將處于LED區(qū)域β的熄滅狀態(tài)下的平均亮度q與亮度閾值I進(jìn)行比較(步驟S90)，若平均亮度q大于亮度閾值y，則使用熄滅狀態(tài)下的LED區(qū)域內(nèi)的顏色信息來進(jìn)行光源顏色估計(jì)(步驟S91 )，以及若平均亮度q為亮度閾值I或更小，則排除LED區(qū)域來進(jìn)行光源顏色估計(jì)(步驟S92)。若受關(guān)注的分割區(qū)域是非LED區(qū)域，則進(jìn)行正常光源顏色估計(jì)(步驟S93)。若該處理被重復(fù)了分割區(qū)域數(shù)量，則結(jié)束循環(huán)處理(步驟S94)。若在步驟S81中亮度差(p-r)大于X，很有可能出現(xiàn)其中作為物體顏色的LED的影響占主導(dǎo)的拍攝場景(例如，夜景)。將LED區(qū)域β的熄滅狀態(tài)時的平均亮度q與非LED區(qū)域Y的平均亮度r進(jìn)行比較(步驟S95),若q〈r,則很有可能LED的影響(但被看作物體顏色)占主導(dǎo)，并且沒有環(huán)境光的影響，并且為R0M28等準(zhǔn)備的基準(zhǔn)增益被用作白平衡調(diào)整值(白平衡增益)。若q ^ r，則處理分支到使用LED區(qū)域的熄滅狀態(tài)下的顏色信息來進(jìn)行光源顏色估計(jì)的處理(步驟S83至S87)。

盡管已經(jīng)通過實(shí)例的方式描述了將本發(fā)明應(yīng)用于諸如相機(jī)之類的成像設(shè)備的情況，但本發(fā)明并不特別局限于該情況。不言而喻，可以將本發(fā)明應(yīng)用于用于從捕獲圖像中檢測出包括來自周期性閃光的LED的光的LED區(qū)域的另一圖像處理中。例如，本發(fā)明適用于諸如移動電話之類的各種類型的便攜式電子設(shè)備以及諸如個人計(jì)算機(jī)和服務(wù)器設(shè)備之類的各種類型的計(jì)算機(jī)設(shè)備。盡管將對已經(jīng)檢測到閃爍和LED區(qū)域的捕獲圖像進(jìn)行了白平衡調(diào)整作為根據(jù)LED區(qū)域的檢測結(jié)果的圖像處理的示例，但可以針對已經(jīng)在對捕獲圖像進(jìn)行檢測的時間之后捕獲的一個捕獲圖像進(jìn)行白平衡調(diào)整。例如，可以就在按下快門開關(guān)之前連續(xù)地捕獲的實(shí)時取景圖像中進(jìn)行閃爍檢測和LED檢測，并且可以針對在按下快門開關(guān)之后捕獲的圖像進(jìn)行白平衡調(diào)整。盡管已經(jīng)通過示例的方式描述了根據(jù)LED區(qū)域信息來進(jìn)行白平衡調(diào)整的情況，但本發(fā)明并不局特別限于該情況。本發(fā)明可以應(yīng)用于以下情況:例如進(jìn)行除白平衡調(diào)節(jié)外的圖像處理，以及成像條件設(shè)置單元51可以根據(jù)LED區(qū)域信息來切換成像條件(例如，曝光量、視角等)。本發(fā)明可以應(yīng)用于僅輸出LED檢測結(jié)果而不進(jìn)行除LED檢測處理外的圖像處理的LED檢測設(shè)備(即，另一設(shè)備在LED檢測處理后進(jìn)行處理的情況)。本發(fā)明不局限于本說明書所描述的示例以及附圖所示出的示例，并且很明顯，在不脫離本發(fā)明的范圍的情況下可以做出各種設(shè)計(jì)變更和修改。附圖標(biāo)記列表10…成像設(shè)備(圖像處理設(shè)備)，11…成像單元，26...RAM，28...ROM, 32…存儲卡，35…顯示單元,51…成像條件設(shè)置單元,52…圖像獲取單元,53…閃爍檢測單元,54…比較和計(jì)算單元，55…CPU，56…白 平衡計(jì)算單元
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 圖像獲取裝置，其被構(gòu)造為獲取通過連續(xù)成像得到的捕獲圖像； 閃爍檢測裝置，其被構(gòu)造為將所述捕獲圖像分割為多個分割區(qū)域并針對每個所述分割區(qū)域檢測閃光的閃爍；以及 比較裝置，其被構(gòu)造為針對已檢測到閃爍的每個所述分割區(qū)域，來根據(jù)分割區(qū)域的點(diǎn)亮狀態(tài)下的亮度與其熄滅狀態(tài)下的亮度之間的亮度差來檢測所述分割區(qū)域是否是包括來自發(fā)光二極管(LED)的光的LED區(qū)域，并且輸出表示所述捕獲圖像內(nèi)的所述LED區(qū)域的LED區(qū)域信息。
2.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 白平衡計(jì)算裝置，其被構(gòu)造為根據(jù)所檢測到的LED區(qū)域信息來計(jì)算白平衡調(diào)整值；以及 白平衡調(diào)整裝置，其被構(gòu)造為根據(jù)所計(jì)算出的白平衡調(diào)整值來調(diào)整所述捕獲圖像或者已經(jīng)在所述捕獲圖像之后捕獲的圖像的白平衡。
3.如權(quán)利要求2所述的圖像處理設(shè)備， 其中，所述白平衡計(jì)算裝置在根據(jù)所述捕獲圖像中的除所述LED區(qū)域外的區(qū)域內(nèi)的信息確定光源顏色的同時，來判定所述LED區(qū)域?yàn)閲?yán)重受物體顏色影響的物體顏色區(qū)域，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
4.如權(quán)利要求2所述的圖像處理設(shè)備， 其中，當(dāng)所述LED區(qū)域在所述捕獲圖像中的比例大于閾值時，所述白平衡計(jì)算裝置根據(jù)LED的光譜特性和所述LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色，以根據(jù)所述光源顏色計(jì)算所述白平衡調(diào)整值。
5.如權(quán)利要求2所述的圖像處理設(shè)備， 其中，當(dāng)所述LED區(qū)域的顏色與整個所述捕獲圖像中的顏色的平均值或與所述捕獲圖像中除所述LED區(qū)域外的非LED區(qū)域內(nèi)的顏色的平均值之差大于閾值時，所述白平衡計(jì)算裝置根據(jù)所述非LED區(qū)域內(nèi)的信息來確定與所述LED區(qū)域的顏色不同的光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
6.如權(quán)利要求2所述的圖像處理設(shè)備， 其中，當(dāng)熄滅狀態(tài)下的所述LED區(qū)域的亮度為閾值或更小時，所述白平衡計(jì)算裝置根據(jù)所述捕獲圖像的整個區(qū)域中除所述LED區(qū)域外的區(qū)域內(nèi)的信息來確定光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
7.如權(quán)利要求2所述的圖像處理設(shè)備， 其中，當(dāng)所述LED區(qū)域的亮度和非LED區(qū)域的亮度之間的亮度差小于閾值時，所述白平衡計(jì)算裝置根據(jù)LED的光譜特性和所述LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色，以根據(jù)所述光源顏色 來計(jì)算所述白平衡調(diào)整值。
8.如權(quán)利要求2、4、和7中任一項(xiàng)所述的圖像處理設(shè)備， 其中，所述白平衡計(jì)算裝置根據(jù)熄滅狀態(tài)下的所述LED區(qū)域內(nèi)的信息來確定光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
9.如權(quán)利要求1至8中任一項(xiàng)所述的圖像處理設(shè)備， 其中，白平衡計(jì)算裝置根據(jù)所檢測到的所述LED區(qū)域內(nèi)的信息來調(diào)整白平衡調(diào)整值對物體顏色的追隨強(qiáng)度。
10.如權(quán)利要求1至9中任一項(xiàng)所述的圖像處理設(shè)備， 其中，所述LED區(qū)域信息與所述捕獲圖像相關(guān)聯(lián)地記錄在記錄介質(zhì)上。
11.一種成像設(shè)備，包括: 如權(quán)利要求1至10中任一項(xiàng)所述的圖像處理設(shè)備；以及 能夠連續(xù)地對被攝體進(jìn)行成像的成像裝置。
12.如權(quán)利要求11所述的成像設(shè)備， 其中，根據(jù)所檢測到的所述LED區(qū)域信息來計(jì)算曝光量，并且所述成像裝置根據(jù)所述曝光量進(jìn)行成像。
13.一種圖像處理方法，包括: 獲取通過連續(xù)成像獲得的捕獲圖像的步驟； 將所述捕獲圖像分割為多個分割區(qū)域的步驟； 針對每個所述分割區(qū)域檢測閃光的閃爍的步驟； 針對已經(jīng)檢測到閃爍的 每個分割區(qū)域，根據(jù)分割區(qū)域的點(diǎn)亮狀態(tài)下的亮度與其熄滅狀態(tài)下的亮度之間的亮度差，來檢測所述分割區(qū)域是否是包括來自LED的光的LED區(qū)域的步驟；以及 輸出表示所述捕獲圖像內(nèi)的所述LED區(qū)域的LED區(qū)域信息的步驟。
14.一種白平衡調(diào)整方法，包括 獲取通過連續(xù)成像獲得的捕獲圖像的步驟； 將所述捕獲圖像分割為多個分割區(qū)域的步驟； 針對每個所述分割區(qū)域檢測閃光的閃爍的步驟； 針對已經(jīng)檢測到閃爍的每個分割區(qū)域，根據(jù)分割區(qū)域的點(diǎn)亮狀態(tài)下的亮度與其熄滅狀態(tài)下的亮度之間的亮度差，來檢測所述分割區(qū)域是否是包括來LED的光的LED區(qū)域，并且產(chǎn)生表示所述捕獲圖像內(nèi)的所述LED區(qū)域的LED區(qū)域信息的步驟； 根據(jù)檢測到的所述LED區(qū)域信息來計(jì)算白平衡調(diào)整值的白平衡計(jì)算步驟；以及根據(jù)所計(jì)算出的白平衡調(diào)整值來調(diào)整所述捕獲圖像或者已經(jīng)在所述捕獲圖像之后捕獲的圖像的白平衡的步驟。
15.如權(quán)利要求14所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，在根據(jù)所述捕獲圖像中除所述LED區(qū)域外的區(qū)域內(nèi)的信息確定光源顏色的同時，確定所述LED區(qū)域?yàn)閲?yán)重受物體顏色影響的物體顏色區(qū)域，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
16.如權(quán)利要求14所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，當(dāng)所述LED區(qū)域在所述捕獲圖像中的比例大于閾值時，根據(jù)LED的光譜特性和所述LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
17.如權(quán)利要求14所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，當(dāng)所述LED區(qū)域的顏色與整個所述捕獲圖像中的顏色的平均值或與整個所述捕獲圖像中除所述LED區(qū)域外的非LED區(qū)域中的顏色的平均值之差大于閾值時，根據(jù)所述非LED區(qū)域內(nèi)的信息，來確定與所述LED區(qū)域的顏色不同的光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
18.如權(quán)利要求14所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，當(dāng)熄滅狀態(tài)下的所述LED區(qū)域的亮度為閾值或更小時，根據(jù)所述捕獲圖像的整個區(qū)域中除所述LED區(qū)域外的區(qū)域內(nèi)的信息來確定光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
19.如權(quán)利要求14所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，當(dāng)所述LED區(qū)域的亮度與非LED區(qū)域的亮度之間的亮度差小于閾值時，根據(jù)LED的光譜特性和所述LED區(qū)域內(nèi)的信息中的至少一個來確定光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
20.如權(quán)利要求14、16和19中任一項(xiàng)所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，根據(jù)熄滅狀態(tài)下的所述LED區(qū)域內(nèi)的亮度來確定光源顏色，以根據(jù)所述光源顏色來計(jì)算所述白平衡調(diào)整值。
21.如權(quán)利要求14所述的白平衡調(diào)整方法， 其中，在所述白平衡計(jì)算步驟中，根據(jù)所檢測到的LED區(qū)域內(nèi)的信息來調(diào)整白平衡調(diào)整值對物體顏色的追隨強(qiáng) 度。
全文摘要
本發(fā)明提供了圖像處理方法，其中，獲得通過連續(xù)成像得到的捕獲圖像，將捕獲圖像分割為多個分割區(qū)域；對每個分割區(qū)域檢測閃光的閃爍；評價每個已經(jīng)檢測到閃爍的分割區(qū)域，以根據(jù)發(fā)光狀態(tài)下的亮度與熄滅狀態(tài)下的亮度之間的亮度差來檢測所述區(qū)域是否是包括來自發(fā)光二極管(LED)的光的LED區(qū)域；以及輸出LED區(qū)域信息。
文檔編號H04N9/04GK103250418SQ20118005764
公開日2013年8月14日 申請日期2011年11月8日 優(yōu)先權(quán)日2010年11月30日
發(fā)明者蘆田哲郎, 大日方悟 申請人:富士膠片株式會社