專利名稱：圖像數(shù)據(jù)處理設(shè)備和圖像拾取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及檢測閃爍和校正檢測到的閃爍的技術(shù)。更具體地，本發(fā)明涉及檢測發(fā) 生在利用照明光捕獲的視頻圖像中的閃爍的圖像拾取設(shè)備和圖像數(shù)據(jù)處理設(shè)備，所述照明 光的亮度隨電源頻率而變化以校正檢測到的閃爍。
背景技術(shù)：
雖然閃爍的問題在具有滾動快門功能的圖像拾取器件中被頻頻探討，但是整個 畫面上的閃光也出現(xiàn)在具有全域快門功能的圖像拾取器件中。這種閃光被稱為平面閃爍 (plane flicker)。平面閃爍在照明光的閃光周期(例如，照明光的閃光周期在西日本等于 1/120秒而在東日本等于1/100秒)不是成像周期的整數(shù)倍的情況下發(fā)生。照明光的閃光 周期是由電源頻率決定的。例如，在日本，由于西日本的電源頻率被設(shè)為60赫茲，因此西日 本的照明光的閃光周期等于1/120秒。相反，由于東日本的電源頻率被設(shè)為50赫茲，因此 東日本的照明光的閃光周期等于1/100秒。平面閃爍在等于圖像拾取設(shè)備的成像頻率和照明光的閃光頻率的最小公倍數(shù)的 頻率處發(fā)生是個常識。為了移除具有上述特點的平面閃爍，將被施加到由具有全域快門功 能的圖像拾取器件所捕獲的數(shù)字信號(圖像數(shù)據(jù))上的校正增益在相關(guān)技術(shù)中是變化的?，F(xiàn)在將參考圖8 (a)和8 (b)來描述相關(guān)技術(shù)中確定校正增益的方法。圖8(a)和8(b)圖示出當(dāng)圖像捕獲的目標(biāo)中發(fā)生小的改變時相關(guān)技術(shù)中用于校正 平面閃爍的的技術(shù)。圖8(a)圖示出指示照明光的閃光頻率和成像頻率之間的關(guān)系的波形。參考圖8(a)，縱軸代表照明光的強度，橫軸代表時間。圖8(b)圖示出指示圖像拾取器件中通過光電轉(zhuǎn)換生成的數(shù)字信號和基于該數(shù)字 信號的校正增益之間的關(guān)系的波形。參考圖8 (b)，上面的波形中的縱軸代表數(shù)字信號的級別，即每幀的亮度。下面的波 形中的縱軸代表校正增益的幅度。代表時間的橫軸在上面和下面的波形中是共用的。例如，當(dāng)圖像拾取設(shè)備中的成像周期即曝光時間等于1/180秒時，圖像拾取設(shè)備 的成像頻率等于180赫茲。在通過圖像拾取設(shè)備利用閃光頻率為120赫茲的照明光進行的 圖像捕獲中，由圖像拾取設(shè)備捕獲的運動圖像中出現(xiàn)的平面閃爍的周期等于60赫茲，即圖 像頻率和閃光頻率的最大公約數(shù)。這種情況下，從圖像拾取器件輸出的數(shù)字信號的每幀中 的像素級別之和(以下稱為“總像素級別”)在60赫茲頻率處是變化的，如圖8(b)中上面 的波形所示。在相關(guān)技術(shù)中，校正增益是通過根據(jù)照明光的閃光頻率和成像頻率的最小公倍數(shù) 等于閃爍頻率這一事實、使用緊挨著待校正的幀之前的彼此同相的數(shù)據(jù)項來確定的。如圖 8(b)中下面的波形所示，當(dāng)圖像捕獲目標(biāo)發(fā)生小的改變時，可以通過該方法來實現(xiàn)有效的 校正。例如，用于針對這種類型的閃爍來確定校正增益的技術(shù)被公開在日本未審查專利申 請2001-111887號公報中。

發(fā)明內(nèi)容
然而，如果圖像捕獲目標(biāo)的色彩和/或亮度被瞬間改變，該瞬間改變(擾動)也被 用作后續(xù)周期中的校正數(shù)據(jù)，如圖9(a)和9(b)所示。因此，存在不恰當(dāng)?shù)男Ｕ赡鼙皇┘?到正常級別的幀上而大大降低圖像質(zhì)量的問題。希望提供能夠抑制因閃爍的錯誤判斷而造成的運動圖像質(zhì)量下降的圖像拾取設(shè) 備和圖像數(shù)據(jù)處理設(shè)備。根據(jù)本發(fā)明的一個實施例，圖像數(shù)據(jù)處理設(shè)備包括操作單元；校正單元，被配置 成用被設(shè)置的校正增益來乘以由以確定的成像頻率執(zhí)行圖像捕獲的圖像拾取器件生成的 圖像數(shù)據(jù)；累加單元，被配置成從由圖像拾取器件生成的圖像數(shù)據(jù)中依次為每幀計算總像 素級別，所述總像素級別對應(yīng)于每幀中確定的范圍內(nèi)的像素的像素級別之和；歷史保持單 元，被配置成在每次總像素級別被計算時保持確定的數(shù)目的總像素級別；同相(in-phase) 平均單元，被配置成基于成像頻率從操作單元供應(yīng)的電源頻率，從歷史保持單元中保持的 總像素級別中檢測與如下閃爍相位同一相位的總像素級別以計算第一平均值，所述閃爍相 位與供應(yīng)給校正單元的圖像數(shù)據(jù)相對應(yīng)，所述第一平均值是被檢測出的總像素級別的平均 值；平均值計算單元，被配置成計算作為歷史保持單元中保持的總像素級別的平均值的第 二平均值；以及校正增益計算單元，被配置成通過用在同相平均單元中計算出的第一平均 值除以在平均值計算單元中計算出的第二平均值來計算校正增益，以在校正單元中設(shè)置計 算出的校正增益。多個總像素級別在上述配置中的平均值計算器和同相平均器中相加。因此，可以 在允許瞬間的成像狀況改變被忽視的長度的時段期間，從總像素級別中計算第一平均值和 第二平均值，并且可以從第一和第二平均值中計算適當(dāng)?shù)男Ｕ鲆?。待校正的圖像數(shù)據(jù)可 以通過使用計算出的校正增益來校正。根據(jù)本發(fā)明，可以提供能夠抑制由于由瞬間的成像狀況改變所引起的閃爍的錯誤 判斷而造成的運動圖像質(zhì)量下降的圖像拾取設(shè)備和圖像數(shù)據(jù)處理設(shè)備。


圖1是示出根據(jù)本發(fā)明一個實施例的圖像拾取設(shè)備的功能框圖；圖2是指示當(dāng)圖像捕獲目標(biāo)不發(fā)生改變時入射到圖像拾取器件上的成像光隨時 間的變化的波形圖；圖3是示出由圖像數(shù)據(jù)處理單元進行的閃爍校正處理的示例的流程圖；圖4 (a)和4(b)是分別示出當(dāng)成像狀況發(fā)生瞬間改變時平均值Dx如何變化的示 例以及校正增益Gn如何變化的示例的波形圖；圖5是示出根據(jù)本發(fā)明另一實施例的圖像拾取設(shè)備的功能框圖；
圖6是示出由另一圖像數(shù)據(jù)處理單元進行的部分閃爍校正處理的流程圖；圖7是其中由求和時段計算器檢測出的300個總像素級別按時間順序排列的波形 圖；圖8(a)和8(b)圖示出當(dāng)圖像捕獲目標(biāo)發(fā)生小的改變時相關(guān)技術(shù)中用于校正平面 閃爍的技術(shù)；并且
圖9(a)和9(b)圖示出當(dāng)圖像捕獲目標(biāo)發(fā)生瞬間改變時相關(guān)技術(shù)中用于校正平面 閃爍的技術(shù)。
具體實施方式
這里將參考附圖來詳細描述本發(fā)明的實施例。由于下述實施例是本發(fā)明的優(yōu)選具 體示例，因此各種優(yōu)選技術(shù)限制被施加到諸實施例上。然而，本發(fā)明的范圍不限于諸實施 例，除非在以下說明書中指定。例如，以下說明書中描述的參數(shù)的數(shù)值條件僅是優(yōu)選示例， 并且示意性的尺寸、形狀和排列在說明書中使用的圖中被示出。<1. 一個實施例>圖像拾取設(shè)備101的配置圖1是示出根據(jù)本發(fā)明一個實施例的圖像拾取設(shè)備的功能框圖。圖1所示的圖像拾取設(shè)備101包括鏡頭(未示出)并且圖像被利用通過鏡頭的成 像光而形成在圖像拾取器件102的成像平面(未示出)上。圖像拾取器件102是具有全域 快門功能的圖像拾取器件，例如電荷耦合器件(CCD)圖像拾取器件。圖像拾取器件102對 成像平面上的成像光(用于通過鏡頭形成圖像)執(zhí)行光電轉(zhuǎn)換以生成某一模擬信號，并對 該模擬信號執(zhí)行數(shù)字轉(zhuǎn)換以生成某一數(shù)字信號(圖像數(shù)據(jù))。數(shù)字信號是色彩信號紅(R)、 綠(G)或藍(B)。在圖像拾取器件102中生成的數(shù)字信號被供應(yīng)給圖像數(shù)據(jù)處理單元103。圖像拾 取器件102具有電子快門功能，并基于來自下述控制單元104的指令來設(shè)置電子快門的成 像頻率。假設(shè)在本實施例中，圖像拾取器件102捕獲的視頻圖像的幀率等于180幀/秒，即， 成像頻率等于180赫茲。圖像數(shù)據(jù)處理單元103以幀為單位來控制從圖像拾取器件102供應(yīng)的數(shù)字信號 的增益。圖像數(shù)據(jù)處理單元103通過增益控制來移除數(shù)字信號中包含的平面閃爍的閃爍 分量，以生成某一級別的數(shù)字信號。以下將平面閃爍的閃爍分量的移除稱為“閃爍校正處 理”。圖像數(shù)據(jù)處理單元103中生成的經(jīng)歷了閃爍校正處理的數(shù)字信號被供應(yīng)給視頻信號生 成單元105。圖像數(shù)據(jù)處理單元103中數(shù)字信號的增益控制針對色彩信號(紅)、色彩信號 (綠)和色彩信號(藍)分別執(zhí)行。然而，由于圖像數(shù)據(jù)處理單元103對色彩信號(紅)、 色彩信號(綠)和色彩信號(藍)執(zhí)行基本相同的處理，因此在這里省略對這三種色彩的 相應(yīng)信號的處理的描述。下面將詳細描述圖像數(shù)據(jù)處理單元103。視頻信號生成單元105例如執(zhí)行校正從圖像數(shù)據(jù)處理單元103供應(yīng)的數(shù)字信號的 每一幀上的周邊光強降低的處理、某一內(nèi)插處理以及在校正處理和內(nèi)插處理中涉及的諸如 濾波處理和陰影處理之類的信號處理。另外，視頻信號生成單元105還執(zhí)行用于改善圖像 質(zhì)量的處理。另外，視頻信號生成單元105對從圖像數(shù)據(jù)處理單元103供應(yīng)的數(shù)字信號執(zhí)行諸 如色調(diào)調(diào)整處理、亮度壓縮處理和伽瑪校正之類的普通圖像處理，以生成視頻信號供應(yīng)給 某一顯示設(shè)備。經(jīng)歷了圖像處理的視頻信號在例如由液晶顯示器組成的顯示單元106中被 顯示為視頻圖像，或者被供應(yīng)給諸如個人計算機之類的外部設(shè)備。圖像數(shù)據(jù)處理單元103 中的閃爍校正處理和視頻信號生成單元105中的其他校正處理是在下述控制單元104的控 制下執(zhí)行的。
控制單元104例如是微型計算機并且控制組成圖像拾取設(shè)備101的每個塊。具體 地，控制單元104例如控制與圖像拾取器件102的電子快門有關(guān)的成像頻率的設(shè)置以及與 圖像數(shù)據(jù)處理單元103有關(guān)的增益的設(shè)置。另外，控制單元104控制包括圖像拾取器件102 和包含鏡頭(未示出)的光學(xué)系統(tǒng)在內(nèi)的各個塊的操作?？刂茊卧?04連接到圖像拾取設(shè) 備101中的每個塊，以便能夠為控制操作傳輸數(shù)據(jù)。操作單元113包括設(shè)置在圖像拾取設(shè)備101中的按鍵和分配給在圖像拾取設(shè)備 101中的顯示單元106的畫面顯示上的圖標(biāo)的軟鍵。與用戶操作一致的操作信號通過某一 接口(未示出)被從操作單元113供應(yīng)到控制單元104?？刂茊卧?04根據(jù)控制單元104 中的諸如只讀存儲器(ROM)之類的非易失性存儲單元中存儲的計算機程序、基于操作信號 或預(yù)定設(shè)置來執(zhí)行某些計算和每個電路的控制。 現(xiàn)在將參考圖2來描述組成圖像拾取設(shè)備101的圖像數(shù)據(jù)處理單元103中待處理 的平面閃爍的特點。圖2是指示當(dāng)圖像捕獲目標(biāo)不發(fā)生改變時入射到圖像拾取器件102上的成像光的 時間變化的波形圖。參考圖2，縱軸代表入射到圖像拾取器件102上的成像光量，橫軸代表時間。假設(shè)在圖2的示例中，通過使用其中圖像拾取器件102具有180赫茲的成像頻率 (即180幀/秒的幀率)的圖像拾取設(shè)備101、以60赫茲的電源頻率(即利用閃光周期為 1/120秒的照明光)來執(zhí)行圖像捕獲。在上述條件下，具有相同的閃爍相位的數(shù)據(jù)每三幀被從圖像拾取器件102供應(yīng)到 圖像數(shù)據(jù)處理單元103，如圖2所示。因此，如果事先將電源頻率和成像頻率指示給圖像數(shù) 據(jù)處理單元103，則圖像數(shù)據(jù)處理單元103能夠知道相同的閃爍相位何時出現(xiàn)。返回參考圖1，現(xiàn)在將詳細描述圖像數(shù)據(jù)處理單元103。圖像數(shù)據(jù)處理單元103包括累加器107、歷史保持器108、同相平均器109、平均值 計算器110、校正增益計算器111和校正器112。累加器107從由圖像拾取器件102生成的數(shù)字信號中依次計算每幀中的總像素級 另IJ。如上所述，總像素級別指示與各個幀相對應(yīng)的像素的像素級別之和。每次總像素級別 被計算，累加器107就將計算出的總像素級別供應(yīng)給歷史保持器108。歷史保持器108例如是幀存儲器，并且保持在從累加器107供應(yīng)的各總像素級別 中的某一數(shù)目的最近的總像素級別。每次歷史保持器108中保持的數(shù)據(jù)被更新，歷史保持 器108中保持的所有總像素級別就被供應(yīng)給同相平均器109和平均值計算器110。根據(jù)本 實施例，歷史保持器108中保持的總像素級別的數(shù)目被設(shè)為180。然而，歷史保持器108中 保持的總像素級別的數(shù)目和從歷史保持器108輸出的總像素級別的數(shù)目不限于180。數(shù)據(jù) 傳輸在歷史保持器108和控制單元104之間執(zhí)行，并且歷史保持器108中保持的總像素級 別的數(shù)目和從歷史保持器108輸出的總像素級別的數(shù)目是根據(jù)用戶利用操作單元113的操 作來設(shè)置的。同相平均器109從供應(yīng)自歷史保持器108的所有總像素級別中檢測與這樣的閃爍 相位同一相位的所有總像素級別，所述閃爍相位與供應(yīng)給校正器112的數(shù)字信號相對應(yīng)。 如上面參考圖2所述，該檢測是使用照明光的閃光頻率和成像頻率來實現(xiàn)的。因此，同相平 均器109被電連接到控制單元104，并且用戶利用操作單元113輸入的電源頻率和成像頻率通過控制單元104被供應(yīng)給同相平均器109。
同相平均器109計算所有檢測到的總像素級別的平均值Da，以將計算出的總像素 級別的平均值Da供應(yīng)給校正增益計算器111。根據(jù)本實施例，如圖2所示，閃爍相位包括三種樣式，并且每三個周期出現(xiàn)相同的 閃爍相位。因此，同相平均器109使用60個總像素級別的平均值作為平均值Da。平均值計算器110計算從歷史保持器108供應(yīng)的所有總像素級別的平均值Dx，以 將計算出的所有總像素級別的平均值Dx供應(yīng)給校正增益計算器111。由于從歷史保持器 108供應(yīng)到平均值計算器110的總像素級別的數(shù)目在本實施例中為180，因此平均值計算器 110計算180個總像素級別的平均值。這180個總像素級別被用作與一秒的數(shù)字信號相對 應(yīng)的數(shù)據(jù)。從180個總像素級別計算出的平均值Dx包括足夠數(shù)目的、因閃爍頻率為180赫 茲的閃爍而變化的所有級別中的數(shù)據(jù)項。換言之，可以認為，平均值Dx相當(dāng)于不包含閃爍 的數(shù)字信號。因此，平均值Dx在下一階段的校正增益的計算中被用作參考值。校正增益計算器111使用來自同相平均器109的輸出和來自平均值計算器110的 輸出來計算校正增益Gn，并將計算出的校正增益Gn供應(yīng)給校正器112。校正增益Gn是根據(jù)公式⑴來計算的Gn = Da/Dx(1)校正器112是用從校正增益計算器111供應(yīng)的校正增益Gn乘以從圖像拾取器件 102供應(yīng)的數(shù)字信號的乘法器。結(jié)果，針對每一幀對從圖像拾取器件102供應(yīng)的數(shù)字信號執(zhí) 行了增益控制，并且經(jīng)歷了增益控制的數(shù)字信號被供應(yīng)給視頻信號生成單元105。圖像拾取設(shè)備101的操作現(xiàn)在將參考圖3和圖4(a)和4(b)來描述圖像拾取設(shè)備101的操作示例。圖3是示出由圖像數(shù)據(jù)處理單元103進行的閃爍校正處理的示例的流程圖。參考圖3，數(shù)字信號被從圖像拾取器件102供應(yīng)到圖像數(shù)據(jù)處理單元103。在步驟 S301中，圖像數(shù)據(jù)處理單元103中的累加器107從接收到的數(shù)字信號中依次計算每幀中的 總像素級別。每次總像素級別被計算，累加器107就將計算出的總像素級別供應(yīng)給歷史保 持器108。在步驟S302中，歷史保持器108在從累加器107供應(yīng)的總像素級別中保持最近 180個總像素級別。每次歷史保持器108中保持的180個總像素級別被更新，歷史保持器 108中保持的180個總像素級別就被供應(yīng)給同相平均器109和平均值計算器110。同相平均器109從供應(yīng)自歷史保持器108的最近180個總像素級別中檢測與這樣 的閃爍相位同一相位的60個總像素級別，所述閃爍相位與供應(yīng)給校正器112的數(shù)字信號相 對應(yīng)。該檢測基于從控制單元104供應(yīng)的電源頻率(60赫茲)和成像頻率(180赫茲)，如 上所述。在步驟S303中，同相平均器109計算所有檢測出的彼此同相的60個總像素級別 的平均值Da。同相平均器109將計算出的平均值Da供應(yīng)給校正增益計算器111。與從歷史保持器108供應(yīng)到同相平均器109的總像素級別相同的總像素級別被供 應(yīng)到平均值計算器110。在步驟S304中，平均值計算器110計算所供應(yīng)的最近180個總像 素級別的平均值Dx。平均值計算器110將計算出的平均值Dx供應(yīng)給校正增益計算器111。上述步驟完成后，在步驟S305中，校正增益計算器111將公式(1)應(yīng)用到從同相 平均器109供應(yīng)的平均值Da和從平均值計算器110供應(yīng)的平均值Dx上，以計算校正增益Gn。校正增益計算器111將計算出的校正增益Gn供應(yīng)給校正器112。對于每一幀，校正器 112用從校正增益計算器111供應(yīng)的校正增益Gn乘以從圖像拾取器件102供應(yīng)的數(shù)字信 號，以移除數(shù)字信號中包含的平面閃爍分量?，F(xiàn)在將參考圖4(a)和4(b)來描述供應(yīng) 到校正器112的數(shù)字信號和數(shù)字信號的校 正中使用的校正增益Gn之間的時間關(guān)系。圖4 (a)和4 (b)是示出當(dāng)成像狀況發(fā)生瞬間改變時平均值Dx和校正增益Gn如何 變化的示例的波形圖。圖4(a)是示出平均值Dx如何隨時間變化的示例的波形圖。參考圖4 (a)，縱軸代表平均值Dx的幅度，橫軸代表時間。如上所述，當(dāng)圖像捕獲被穩(wěn)定地執(zhí)行時，平均值Dx基本相當(dāng)于不含閃爍的狀態(tài)中 的數(shù)據(jù)，并且具有基本恒定的值。然而，如果成像狀況發(fā)生瞬間改變，則由于平均值Dx是從 180個總像素級別中(即，從對應(yīng)于一秒的總像素級別中)計算出來的，因此平均值Dx依據(jù) 該改變而瞬間增加或減少。這里改變例如是指從圖像捕獲目標(biāo)反射的光的改變或圖像捕獲 目標(biāo)的色彩的改變，其中圖像捕獲目標(biāo)是由圖像拾取器件102捕獲的圖像。由于在圖4(a)所示的示例中平均值Dx瞬間增加，因此在平均值Dx增加的時段期 間，成像狀況發(fā)生瞬間改變。圖4(b)是示出校正增益Gn如何隨時間變化的示例的波形圖。參考圖4 (b)，縱軸代表校正增益Gn的幅度，橫軸代表時間。圖4(b)所示的校正增益Gn是由校正增益計算器111基于圖4(a)所示的平均值 Dx和由同相平均器109在與平均值Dx被計算的時段相同的時段期間計算的平均值Da計算 出來的。校正增益Gn被用來校正在校正增益Gn的計算中使用的數(shù)字信號被供應(yīng)給校正器 112之后一個周期供應(yīng)給校正器112的數(shù)字信號。這一個周期對應(yīng)于閃爍相位的所有樣式 (在本示例中，三種樣式)出現(xiàn)的時段，并且等于60赫茲——即成像頻率(180赫茲)和照 明光的閃光頻率(120赫茲)的最大公約數(shù)——的倒數(shù)，即等于1/60秒。這一個周期包括 與三種樣式的相應(yīng)閃爍相位相對應(yīng)的校正增益Gn和三個平均值Dx。在本示例中，在時段403中計算出的校正增益Gn被用來校正在時段403之后的一 個周期404即時段403之后1/60秒期間供應(yīng)給校正器112的數(shù)字信號。在平均值Dx瞬間改變的時段403期間計算出的每個校正增益Gn是基于當(dāng)成像狀 況發(fā)生瞬間改變時從圖像拾取器件102輸出的數(shù)字信號計算出來的。相反，在每個校正增 益被用于校正的時段404期間從圖像拾取器件102供應(yīng)到校正器112的數(shù)字信號處于穩(wěn)定 的成像狀況中。然而，在時段403期間計算出的校正增益Gn具有的值接近時段404期間計 算出的校正增益Gn的值。因此，通過使用在時段403期間計算出的校正增益Gn而進行的 對在時段404期間供應(yīng)給校正器112的數(shù)字信號的校正基本相當(dāng)于通過使用在時段404期 間計算出的最優(yōu)校正增益Gn而進行的對在時段404期間供應(yīng)給校正器112的數(shù)字信號的 校正。當(dāng)成像狀況沒發(fā)生瞬間改變時，計算出的校正增益具有基本恒定的值，因此從圖像拾 取器件102供應(yīng)到校正器112的數(shù)字信號經(jīng)歷適當(dāng)?shù)男Ｕ?。如上所述，在本實施例中，多個總像素級別在同相平均器109和平均值計算器110 中相加。具體地，在具有允許成像狀況的暫時改變被忽略的長度的時段期間從總像素級別中計算平均值Da和平均值Dx，并且從平均值Da和平均值Dx中計算校正增益Gn。因此，由 于可以防止成像狀況發(fā)生的任何瞬間改變影響計算出的校正增益Gn，因此可以將適當(dāng)?shù)男?正增益Gn施加到待校正的數(shù)字信號上以便執(zhí)行校正。結(jié)果，本實施例具有可以抑制因閃爍 的錯誤判斷而造成的運動圖像質(zhì)量下降的效果。另外，在本實施例中，在校正增益Gn的計算中時間(同相平均器109和平均值計 算器110中相加的總像素級別的數(shù)目)是可由用戶設(shè)置的參數(shù)。因此，數(shù)字信號可以通過 使用對于成像狀況的瞬間改變的特點而言最優(yōu)(例如，對于改變的持續(xù)時間而言最優(yōu))的 校正增益Gn來校正。此外，在本實施例中，在圖像捕獲中被恒定地設(shè)置的電源頻率和成像頻率被包含 在計算校正增益Gn時使用的參數(shù)中。因此，本實施例具有可以容易地對數(shù)字信號執(zhí)行其中 成像頻率和閃爍頻率不受限的平面閃爍校正的效果。此外，在本實施例中，平均值Da是僅從與對應(yīng)于待校正的數(shù)字信號的閃爍相位同 一相位的相加級別(addition level)中計算出來的，并且校正增益Gn是從平均值Da和平 均值Dx中計算出來的。因此，可以使得用于校正目標(biāo)數(shù)字信號的校正增益Gn接近更恰當(dāng) 的值。結(jié)果，本實施例具有可以更可靠地移除數(shù)字信號中包含的平面閃爍分量的效果。<另一實施例>圖像拾取設(shè)備5Ol的配置圖5是示出根據(jù)本發(fā)明另一實施例的圖像拾取設(shè)備的功能框圖。參考圖5，圖像拾取設(shè)備501基于某一單位時間內(nèi)相加級別隨時間的變化來確定 適當(dāng)?shù)那蠛蜁r段(在校正增益計算器和平均值計算器中計算平均值時使用的總像素級別 的數(shù)目)，以計算求和時段期間的平均值Da。然后，圖像拾取設(shè)備501基于計算出的平均值 Da和平均值Dx來計算校正增益Gn，以通過使用計算出的校正增益Gn來校正數(shù)字信號。圖 像拾取設(shè)備501包括圖像數(shù)據(jù)處理單元502，而不是上一實施例的組成圖像拾取設(shè)備101的 圖像數(shù)據(jù)處理單元103。圖像數(shù)據(jù)處理單元502包括累加器107、歷史保持器503、求和時段計算器504、同 相平均器505、平均值計算器110、校正增益計算器111和校正器112。在圖像數(shù)據(jù)處理單元 502中使用相同的參考標(biāo)號來標(biāo)識與圖像數(shù)據(jù)處理單元103共同的組件。這種組件的描述 在這里被省略。歷史保持器503例如是幀存儲器，就像圖像數(shù)據(jù)處理單元103中的歷史保持器108 一樣。歷史保持器503保持在從累加器107供應(yīng)的總像素級別中的某一數(shù)目的最近的總像 素級別。每次歷史保持器503中保持的數(shù)據(jù)被更新，歷史保持器503中保持的所有總像素 級別就被供應(yīng)給求和時段計算器504、同相平均器505和平均值計算器110。 根據(jù)本實施例，歷史保持器503中保持的總像素級別的數(shù)目被設(shè)為900，是對應(yīng)于 900幀的數(shù)據(jù)。然而，歷史保持器503中保持的總像素級別的數(shù)目和從歷史保持器503輸出 的總像素級別的數(shù)目不限于900。歷史保持器503被電連接到控制單元104，并且歷史保持 器503中保持的總像素級別的數(shù)目和從歷史保持器503輸出的總像素級別的數(shù)目是根據(jù)用 戶利用操作單元113進行的操作來設(shè)置的。求和時段計算器504從供應(yīng)自歷史保持器503的所有總像素級別中檢測與這樣的 閃爍相位同一相位的所有總像素級別，所述閃爍相位與供應(yīng)給校正器112的數(shù)字信號相對應(yīng)。檢測到的總像素級別的數(shù)目對應(yīng)于上述某一單位時間。如上面參考圖2所述，該檢測是 使用從控制單元104供應(yīng)的照明光的閃光頻率和成像頻率來實現(xiàn)的。求和時段計算器504 基于檢測到的總像素級別隨時間的變化來確定求和時段，并將所確定的求和時段供應(yīng)給同 相平均器505。在本示例中從歷史保持器503供應(yīng)的總像素級別對應(yīng)于三種樣式的相應(yīng)的 閃爍相位。因此，求和時段計算器504檢測到的彼此同相的總像素級別的數(shù)目等于從歷史 保持器503供應(yīng)的總像素級別數(shù)目的三分之一，即300。
同相平均器505從供應(yīng)自歷史保持器503的所有總像素級別中檢測與這樣的閃爍 相位同一相位的所有總像素級別，所述閃爍相位與供應(yīng)給校正器112的數(shù)字信號相對應(yīng)。 該檢測以和在求和時段計算器504中同樣的方式在同相平均器505中執(zhí)行。同相平均器 505從所有檢測到的總像素級別中選擇與求和時段計算器504所確定的求和時段相對應(yīng)的 總像素級別，以計算所選擇的相加級別的平均值Da，并將該平均值Da供應(yīng)給校正增益計算 器 111。圖像拾取設(shè)備501的操作現(xiàn)在將參考圖6和7來描述圖像拾取設(shè)備501的操作示例。圖6是示出由圖像數(shù)據(jù)處理單元502進行的部分閃爍校正處理的流程圖。參考圖6，當(dāng)圖像拾取設(shè)備501的圖像捕獲開始時，在步驟S601，與在累加器107 中已計算的最近的總像素級別相對應(yīng)的校正增益Gn被設(shè)置。校正器112使用步驟S601中 設(shè)置的校正增益Gn來校正從圖像拾取器件102供應(yīng)到校正器112的數(shù)字信號。同時，數(shù)字信號被從圖像拾取器件102供應(yīng)到累加器107，在那里，從接收到的數(shù) 字信號中依次計算每幀中的總像素級別。每次總像素級別被計算，計算出的總像素級別就 被供應(yīng)給歷史保持器503。歷史保持器503保持在從累加器107供應(yīng)的各總像素級別中的最近900個總像素 級別。每次歷史保持器503中保持的900個總像素級別被更新，歷史保持器503中保持的 900個總像素級別就被供應(yīng)給求和時段計算器504、同相平均器505和平均值計算器110。求和時段計算器504從供應(yīng)自歷史保持器503的最近900個總像素級別中檢測與 這樣的閃爍相位同一相位的、按時間順序的300個總像素級別(對應(yīng)于單位時間)，所述閃 爍相位與供應(yīng)給校正器112的數(shù)字信號相對應(yīng)。圖7是其中由求和時段計算器504檢測出的300個總像素級別按時間順序排列的 波形圖。在圖6的步驟S602中，確認具有同樣的改變分量時段703并且其總像素級別超過 預(yù)定閾值的三個或更多個改變是否在單位時段702期間發(fā)生。如果確認上述三個或更多個 改變未在單位時段702期間發(fā)生(步驟S602中的“否”)，則處理返回步驟S601。如果確認上述三個或更多個改變在單位時段702期間發(fā)生(步驟S602中的 “是”)，則求和時段計算器504計算出比所確認的改變分量時段703長約十倍的時段作為圖 7中的求和時段704，并將計算出的求和時段704供應(yīng)給同相平均器505。例如，當(dāng)與圖7中 的改變分量時段703相對應(yīng)的總像素級別的數(shù)目為3時，30個求和時段被從求和時段計算 器504供應(yīng)到同相平均器505。然后，同相平均器505從供應(yīng)自歷史保持器503的最近900個總像素級別中檢測 與這樣的閃爍相位同一相位的300個總像素級別，所述閃爍相位與供應(yīng)給校正器112的數(shù)字信號相對應(yīng)。同相平均器505從檢測到的彼此同相的300個總像素級別中計算最近30 個總像素級別(對應(yīng)于求和時段704)的平均值Da。同相平均器505將計算出的平均值Da 供應(yīng)給校正增益計算器111。與從歷史保持器503供應(yīng)到同相平均器505的最近900個總像素級別相同的總像 素級別被供應(yīng)給平均值計算器110。平均值計算器110計算最近900個總像素級別的平均 值Dx并將計算出的平均值Dx供應(yīng)給校正增益計算器111。 上述步驟完成后，在步驟S603中，校正增益計算器111將公式(1)應(yīng)用到從同相 平均器505供應(yīng)的平均值Da和從平均值計算器110供應(yīng)的平均值Dx上，以計算用于校正 被供應(yīng)給校正器112的數(shù)字信號的校正增益Gn。校正增益計算器111將計算出的校正增益 Gn供應(yīng)給校正器112。對于每一幀，校正器112用從校正增益計算器111供應(yīng)的校正增益 Gn乘以從圖像拾取器件102供應(yīng)的數(shù)字信號，以移除數(shù)字信號中包含的平面閃爍分量。和在上面描述的實施例一樣，由于在本實施例中可以防止成像狀況發(fā)生的任何瞬 間改變影響計算出的校正增益Gn，因此可以將適當(dāng)?shù)男Ｕ鲆鍳n施加到待校正的數(shù)字信 號上以執(zhí)行校正。結(jié)果，可以抑制因閃爍的錯誤判斷而造成的運動圖像質(zhì)量下降。另外，在本實施例中，單位時間內(nèi)彼此同相的總像素級別隨時間的變化被監(jiān)控，求 和時段根據(jù)該變化來計算，并且校正增益基于算出的求和時段來計算。因此，可以算出與成 像狀況相對應(yīng)的校正增益。由于數(shù)字信號是通過使用與成像狀況相對應(yīng)的校正增益來校正 的，因此可以更可靠地從數(shù)字信號中移除平面閃爍?！葱薷睦翟谏厦婷枋龅膶嵤├?，計算每幀中的總像素級別并且基于總像素級別為每幀計 算校正增益。然而，可以計算每一幀的劃分所產(chǎn)生的每個區(qū)域中的總像素級別并且基于每 個區(qū)域中的總像素級別來為每個區(qū)域計算校正增益。由作為具有全域快門功能的圖像拾取器件的示例的CXD圖像拾取器件捕獲的運 動圖像中出現(xiàn)的平面閃爍的移除在上述實施例中被舉例。然而，由例如互補金屬氧化物半 導(dǎo)體(CMOS)圖像拾取器件之類的具有滾動快門功能的圖像拾取器件捕獲的運動圖像中出 現(xiàn)的除平面閃爍之外的閃爍可被移除。這種情況下，由CMOS圖像拾取器件生成的數(shù)字信號 中包含的閃爍分量可以通過對CMOS圖像拾取器件的每一行上的數(shù)字信號執(zhí)行閃爍校正處 理來移除。雖然比改變分量時段長約十倍的求和時段在上述實施例中被使用，但是求和時段 不限于上述求和時段。本發(fā)明包含與于2009年4月14日提交給日本專利局的日本優(yōu)先專利申請JP 2009-098234有關(guān)的主題，其全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)該明白，取決于設(shè)計要求和其他因素，可以想到各種修改、組 合、子組合和變更，只要它們落入所附權(quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
一種圖像數(shù)據(jù)處理設(shè)備包括操作單元；校正單元，被配置成用被設(shè)置的校正增益來乘以由以確定的成像頻率執(zhí)行圖像捕獲的圖像拾取器件生成的圖像數(shù)據(jù)；累加單元，被配置成從由所述圖像拾取器件生成的圖像數(shù)據(jù)中依次為每幀計算總像素級別，所述總像素級別對應(yīng)于每幀中確定的范圍內(nèi)的像素的像素級別之和；歷史保持單元，被配置成在每次總像素級別被計算時保持確定的數(shù)目的總像素級別；同相平均單元，被配置成基于所述成像頻率和從所述操作單元供應(yīng)的電源頻率，從所述歷史保持單元中保持的總像素級別中檢測與如下閃爍相位同一相位的總像素級別以計算第一平均值，所述閃爍相位與供應(yīng)給所述校正單元的圖像數(shù)據(jù)相對應(yīng)，所述第一平均值是被檢測出的總像素級別的平均值；平均值計算單元，被配置成計算作為所述歷史保持單元中保持的總像素級別的平均值的第二平均值；以及校正增益計算單元，被配置成通過用在所述同相平均單元中計算出的第一平均值除以在所述平均值計算單元中計算出的第二平均值來計算校正增益，以在所述校正單元中設(shè)置計算出的校正增益。
2.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)處理設(shè)備，還包括控制單元，被配置成根據(jù)用戶利用所述操作單元進行的操作來改變所述歷史保持單元 中保持的總像素級別的數(shù)目。
3.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)處理設(shè)備，還包括求和時段計算單元，被配置成基于所述電源頻率和所述成像頻率，從所述歷史保持單 元中保持的總像素級別中檢測與如下閃爍相位同一相位的總像素級別，監(jiān)控檢測到的總像 素級別的時間序列的變化，并基于所監(jiān)控的總像素級別的時間序列的變化來計算求和時 段，所述閃爍相位與供應(yīng)給所述校正單元的圖像數(shù)據(jù)相對應(yīng)，其中所述同相平均單元在檢測到的總像素級別中，計算與在所述求和時段計算單元中 計算出的求和時段相對應(yīng)的數(shù)目的總像素級別的平均值。
4.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)處理設(shè)備，其中所述圖像拾取器件包括具有全域快門功能的圖像拾取器件。
5.根據(jù)權(quán)利要求1所述的圖像數(shù)據(jù)處理設(shè)備，其中所述圖像拾取器件包括具有滾動快門功能的圖像拾取器件。
6.一種圖像拾取設(shè)備包括 操作單元；圖像拾取器件，被配置成對入射光執(zhí)行光電轉(zhuǎn)換以生成圖像數(shù)據(jù)； 校正單元，被配置成用被設(shè)置的校正增益來乘以由以確定的成像頻率執(zhí)行圖像捕獲的 所述圖像拾取器件生成的圖像數(shù)據(jù)；累加單元，被配置成從由所述圖像拾取器件生成的圖像數(shù)據(jù)中依次為每幀計算總像素 級別，所述總像素級別對應(yīng)于每幀中確定的范圍內(nèi)的像素的像素級別之和；歷史保持單元，被配置成在每次所述總像素級別被計算時保持確定的數(shù)目的總像素級別；同相平均單元，被配置成基于所述成像頻率和從所述操作單元供應(yīng)的電源頻率，從所述歷史保持單元中保持的總像素級別中檢測與如下閃爍相位同一相位的總像素級別以計 算第一平均值，所述閃爍相位與供應(yīng)給所述校正單元的圖像數(shù)據(jù)相對應(yīng)，所述第一平均值 是被檢測出的總像素級別的平均值；平均值計算單元，被配置成計算作為所述歷史保持單元中保持的總像素級別的平均值 的第二平均值；以及校正增益計算單元，被配置成通過用在所述同相平均單元中計算出的第一平均值除以 在所述平均值計算單元中計算出的第二平均值來計算校正增益，以在所述校正單元中設(shè)置 計算出的校正增益。
全文摘要
公開了圖像數(shù)據(jù)處理設(shè)備和圖像拾取設(shè)備。所述圖像數(shù)據(jù)處理設(shè)備包括操作單元；校正單元，用校正增益乘以由圖像拾取器件生成的圖像數(shù)據(jù)；累加單元，從圖像數(shù)據(jù)中依次為每幀計算總像素級別；歷史保持單元，保持確定的數(shù)目的總像素級別；同相平均單元，從被保持的總像素級別中檢測與如下閃爍相位同一相位的總像素級別以計算檢測到的總像素級別的第一平均值，所述閃爍相位與供應(yīng)給校正單元的圖像數(shù)據(jù)相對應(yīng)；平均值計算單元，計算被保持的總像素級別的第二平均值；以及校正增益計算單元，通過用第一平均值除以第二平均值來計算校正增益，以在校正單元中設(shè)置校正增益。
文檔編號H04N5/357GK101867726SQ20101015126
公開日2010年10月20日 申請日期2010年4月7日 優(yōu)先權(quán)日2009年4月14日
發(fā)明者菅野和宏 申請人:索尼公司