專利名稱：圖像處理裝置、閃爍減少方法、成像裝置和閃爍減少程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在熒光燈的照明下、對(duì)象由如CMOS (互補(bǔ)金屬氧化物半導(dǎo) 體)成像設(shè)備的XY地址掃描型成像設(shè)備(成像器/圖像傳感器)拍攝的情況 下，減小在從成像設(shè)備獲得的視頻信號(hào)中出現(xiàn)的焚光燈閃爍(flicker)的裝置、 方法和程序。
背景技術(shù)：
當(dāng)對(duì)象在由商用AC電源直接點(diǎn)亮的熒光燈的照明下、用攝像機(jī)拍攝時(shí)， 由于熒光燈的亮度變化(光量變化)的頻率(商用AC電源的頻率的兩倍) 和相機(jī)的垂直同步頻率之間的差，時(shí)間亮度變化(即，所謂的焚光燈閃爍) 出現(xiàn)在拍攝輸出的視頻信號(hào)中。
例如，假設(shè)一種情況，其中在商用AC電源的頻率是50 Hz的區(qū)域，在 非換流器(non-inverter)焚光燈的照明下，用NTSC系統(tǒng)的CCD相機(jī)(垂直 同步頻率60 Hz)拍攝對(duì)象。在此情況下，如圖22所示， 一場頻率是1/60 秒，而熒光燈的亮度變化的時(shí)段是1/100秒。因此，在每一場的曝光定時(shí)相 對(duì)于熒光燈的亮度變化而移動(dòng)，所以在每個(gè)像素的曝光量逐場變化。
因而，例如，如果曝光時(shí)間是1/60秒，即使曝光時(shí)間是相同的，各時(shí)間 間隔al、 a2和a3之間的曝光量也不同，并且當(dāng)曝光時(shí)間短于1/60秒(但不 是如將隨后描迷的1/100秒)時(shí)，即使曝光時(shí)間是相同的，各時(shí)間間隔bl、 b2和b3之間的曝光量也不同。
因?yàn)橄鄬?duì)于熒光燈的亮度變化的曝光定時(shí)(timing)每三場回復(fù)為原始 定時(shí)，所以由于閃爍導(dǎo)致的亮度變化每三場被重復(fù)。也就是說，每個(gè)場中的 亮度比率(閃爍如何出現(xiàn))取決于曝光時(shí)間間隔，但是閃爍的時(shí)段不變化。
然而，應(yīng)該注意，如果在如數(shù)字相機(jī)的先進(jìn)相機(jī)的情況下，垂直同步頻 率是30Hz,則每三幀重復(fù)亮度變化。
此外，熒光燈典型地使用多個(gè)熒光體(phosphor)(例如，紅色、綠色和 藍(lán)色熒光體)來發(fā)射白光。然而，這些熒光體具有它們自身獨(dú)特的余輝特性(persistence characteristic ),并且在亮度變化的時(shí)段內(nèi)存在的從放電的停止到 下一次放電的開始的時(shí)間間隔期間，它們的發(fā)光根據(jù)它們各自的余輝特性而 衰減(decay )。因而，在該時(shí)間間隔期間，起先出現(xiàn)為白色的光衰減，同時(shí) 逐漸改變其色調(diào)(hue)。因而，如果曝光定時(shí)如上所述移動(dòng)，則不但出現(xiàn)亮 度變化還出現(xiàn)色調(diào)變化。因?yàn)榉俟鉄艟哂歇?dú)特的光譜特性，使得在特定的波 長存在強(qiáng)峰，所以信號(hào)的可變成分取決于顏色而不同。
由于這種色調(diào)變化和各個(gè)顏色之間可變成分的差別，出現(xiàn)所謂的顏色閃爍。
相反地，如圖22的底部所示，如果將曝光時(shí)間設(shè)置為熒光燈的亮度變化 的時(shí)段(1/100秒)的整數(shù)倍，則曝光量變得恒定而不管曝光定時(shí)，因此不出 現(xiàn)閃爍。
實(shí)際上，已經(jīng)構(gòu)思了一種系統(tǒng)，其中通過用戶的操作或相機(jī)中的信號(hào)處 理檢測是否正在熒光燈照明下進(jìn)行拍攝，并且在焚光燈照明下拍攝的情況下， 將曝光時(shí)間設(shè)置為1/100秒的整數(shù)倍。根據(jù)該系統(tǒng)，可以通過簡單的方法完
全避免閃爍的出現(xiàn)。
然而，因?yàn)樵撓到y(tǒng)不能允許以任意方式設(shè)置曝光時(shí)間，所以降低了用于 獲得合適的曝光量的曝光量調(diào)整部件的自由度。因此，希望一種方法，其使 得可能在任意的快門速度(曝光時(shí)間)下減少熒光燈閃爍。
這在其中在一屏上全部像素在相同的曝光定時(shí)經(jīng)歷曝光的成像裝置(如
CCD成像裝置)的情況下可以相對(duì)容易地實(shí)現(xiàn)，因?yàn)橛捎陂W爍導(dǎo)致的亮度變 化和顏色變化只出現(xiàn)在各場之間。
例如，在圖22的情況下，如果曝光時(shí)間不是1/100秒的整數(shù)倍，因?yàn)殚W 爍在三個(gè)場的時(shí)段中重復(fù)，所以通過從之前的三個(gè)場的視頻信號(hào)預(yù)測當(dāng)前亮 度和顏色變化，并且根據(jù)預(yù)測結(jié)果調(diào)整各個(gè)場的視頻信號(hào)的增益，使得各個(gè) 場的視頻信號(hào)的平均值變得恒定，可以將閃爍抑制為不引起實(shí)際問題的水平。
然而，在如CMOS成像設(shè)備的XY地址掃描型成像設(shè)備的情況下，每個(gè) 像素的曝光定時(shí)順序地移動(dòng)對(duì)應(yīng)于在屏幕的水平方向中的讀取時(shí)鐘(像素時(shí) 鐘)的一個(gè)時(shí)段的量，并且全部像素在曝光定時(shí)上不同。因而，用上述方法 不可能充分地抑制閃爍。
圖23顯示了這種情況。如上所述，每個(gè)像素的曝光定時(shí)也在屏幕的水平 方向上順序移動(dòng)。因?yàn)榕c焚光燈的亮度變化的時(shí)段相比， 一個(gè)水平時(shí)段是足夠短的，所以假設(shè)在相同的線上的各像素的曝光定時(shí)是相同的，顯示了在屏 幕的垂直方向的各條線上的曝光定時(shí)。這種假設(shè)不引起實(shí)際問題。
如圖23所示，在XY地址掃描型成像設(shè)備中(例如，CMOS成像設(shè)備)， 對(duì)于每條線曝光定時(shí)不同(Fl指示在給定的場中的這種情況)，并且每條線 中的曝光量不同。因而，由于閃爍的亮度變化和顏色變化不但出現(xiàn)在各場之 間而且出現(xiàn)在各場內(nèi)，其呈現(xiàn)為屏幕上的條紋圖案(條紋本身的方向是水平 方向，而條紋的變化的方向是垂直方向)。
圖24顯示了在對(duì)象具有均勻圖案的情況下的屏幕上的閃爍。因?yàn)闂l紋圖 案的一個(gè)時(shí)段(一個(gè)波長)是1/100秒，所以1.666時(shí)段的條紋圖案出現(xiàn)在一 個(gè)屏幕。讓M表示每場的讀取線的數(shù)目，條紋圖案的一個(gè)時(shí)段對(duì)應(yīng)于讀取線 的數(shù)目L = M*60/100。應(yīng)該理解，在說明書和附圖中，星號(hào)(*)用作表示乘 法運(yùn)算的符號(hào)。
如圖25所示，該條紋圖案對(duì)應(yīng)于三個(gè)場(三個(gè)屏幕)中的五個(gè)時(shí),殳(五 個(gè)波長)，并且當(dāng)持續(xù)觀看時(shí)，條紋圖像呈現(xiàn)為在垂直方法流動(dòng)。
圖24和25僅顯示了由于閃爍的亮度變化。然而，實(shí)際上，也添加了上 述顏色變化，導(dǎo)致圖像質(zhì)量相當(dāng)大的劣化。具體地，顏色閃爍隨著快門速度 變快而變得顯著。此外，在XY地址掃描型成像設(shè)備的情況下，這種顏色閃 爍的影響出現(xiàn)在屏幕上，所以圖像質(zhì)量劣化變得更加顯著。
同樣在這種XY地址掃描型成像設(shè)備的情況下，如果曝光時(shí)間可以設(shè)置 為熒光燈的亮度變化的時(shí)段(1/100秒)的整數(shù)倍，則曝光量變得恒定而不管 曝光定時(shí)，所以不出現(xiàn)包括屏幕上閃爍的熒光燈閃爍。
然而，如果使得CMOS成像設(shè)備等中的電子快門速度可變，則成像裝置 變得復(fù)雜。此外，即使在其電子快門可以自由地關(guān)閉的成像裝置的情況下， 如果只可以設(shè)置曝光時(shí)間為1/100秒的整數(shù)倍來避免閃爍，則降低了用于荻 得合適的曝光的曝光量調(diào)整裝置的自由度。
因此，已經(jīng)提出了各種用于減少如CMOS成像設(shè)備的XY地址掃描型成 像設(shè)備所獨(dú)有的焚光燈閃爍的方法。例如，日本未審專利申請(qǐng)公開No. 2004-222228公開了 一項(xiàng)發(fā)明，其中只是通過簡單的信號(hào)處理而不執(zhí)行復(fù)雜的 處理(如通過使用光接收設(shè)備來檢測閃爍成分)，可以高精確度地檢測并且可 靠和充分地減少XY地址掃描型成像設(shè)備(如CMOS成像設(shè)備)所獨(dú)有的熒 光燈閃爍，而不管對(duì)象或^L頻信號(hào)的水平、熒光燈的類型等。

發(fā)明內(nèi)容
在上述日本未審專利申請(qǐng)公開No. 2004-222228描述的技術(shù)的情況下，在 正常拍攝條件下，僅僅通過簡單的信號(hào)處理，就可以高精確度地檢測并且可 靠和充分地減少XY地址掃描型成像設(shè)備(如CMOS成像設(shè)備)所獨(dú)有的熒 光燈閃爍。然而，在上述日本未審專利申請(qǐng)公開No. 2004-222228描述的技術(shù) 的情況下，輸入圖像信號(hào)的各幀之間的差別被用于閃爍成分的檢測。
因此，在應(yīng)用根據(jù)日本未審專利申請(qǐng)公開No. 2004-222228的發(fā)明的成像 裝置的情況下，當(dāng)由于用于在垂直方向改變拍攝方向的傾斜(傾斜)操作或 用于在橫向改變拍攝方向的搖鏡頭(搖鏡頭)操作、或由于對(duì)象的運(yùn)動(dòng)而在 各幀之間的圖像中出現(xiàn)差別時(shí)，可能變得難以正確地檢測閃爍成分。
因而希望即使在各幀之間的對(duì)象圖像成分中出現(xiàn)變化時(shí)，也適當(dāng)?shù)貦z測 閃爍成分，從而在通過使用用于閃爍成分檢測的輸入圖像信號(hào)的各幀之間的 差別，僅僅通過簡單的信號(hào)處理高精確度地檢測并且減少XY地址掃描型成 像設(shè)備(如CMOS成像設(shè)備)所獨(dú)有的熒光燈閃爍的系統(tǒng)的情況下，使得可 能總是可靠和充分地減少閃爍。
根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理裝置，包括積分部件，用于 在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖像信號(hào)，所述輸入圖像 信號(hào)是可能包含具有與場時(shí)段或幀時(shí)段同步的變化圖案的閃爍成分的視頻信 號(hào)；歸一化部件，用于歸一化通過所述積分部件獲得的積分值或相鄰場或幀 之間通過所述積分部件獲得的所述積分值中的差值；提取部件，用于提取所 述積分值或通過所述歸一化部件歸一化的所述差值的語；估算部件，用于逐 場或逐幀從由所述提取部件提取的譜估算閃爍成分；檢測部件，用于從由所 述估算部件估算的最近的閃爍成分和由所述估算部件在過去估算的一個(gè)或多
個(gè)閃爍成分，檢測最近的閃爍成分的偏差；校正部件，用于基于由所述檢測 部件檢測的所述閃爍成分的偏差，校正所述最近的閃爍成分；以及計(jì)算部件， 用于計(jì)算校正的閃爍成分和輸入圖像信號(hào)，以便抵消由所述校正部件校正的 所述閃爍成分。
使用根據(jù)本發(fā)明上述實(shí)施例的圖像處理裝置，由于歸 一化的積分值或差 值，通過積分部件、歸一化部件和提取部件移除除了閃爍成分外的信號(hào)成分。 因而，即使在如黑背景部分或具有非常少量的閃爍成分的低亮度部分的區(qū)域中，也容易并且以高精度估算閃爍成分，而不管對(duì)象。
包含在如此估算的閃爍成分中的由于傾斜操作、搖鏡頭操作等導(dǎo)致的偏 差通過檢測部件檢測。然后，由所述校正部件基于由所述檢測部件檢測的偏 差對(duì)要校正的最近的閃爍成分執(zhí)行校正。此后，通過使用校正閃爍成分，通 過所述計(jì)算部件從輸入圖像信號(hào)移除閃爍成分。
因此，例如，即使在由于跟隨傾斜操作、搖鏡頭操作等的對(duì)象成分的大 的改變而在閃爍成分中包含偏差時(shí)的情況下，也適當(dāng)?shù)匦Ｕ撈?，從而?許以高精度執(zhí)行閃爍減少處理。
根據(jù)本發(fā)明的實(shí)施例，即使當(dāng)圖像在各場之間或在各幀之間變化時(shí)，也 適當(dāng)?shù)貦z測閃爍成分，使得可以僅僅通過簡單的信號(hào)處理，總是高精確度地
檢測并且可靠和充分地減少XY地址掃描型成像設(shè)備(如CMOS成像設(shè)備) 所獨(dú)有的熒光燈閃爍。


圖1是示出根據(jù)本發(fā)明實(shí)施例的成像裝置的系統(tǒng)配置的圖； 圖2是示出原色系統(tǒng)的數(shù)字信號(hào)處理單元的示例的圖； 圖3是示出補(bǔ)色系統(tǒng)的數(shù)字信號(hào)處理單元的示例的框圖5是圖示閃爍減少單元的圖6是示出在考慮飽和區(qū)域的情況下、計(jì)算塊的示例的圖； 圖7A和7B每個(gè)是圖示其中在復(fù)平面中表示閃爍成分的情況的圖； 圖8A和8B每個(gè)是圖示其中在復(fù)平面中繪制具有偏差(deviation)的閃 爍成分的情況的圖9是圖示閃爍減少單元的歸一化積分值計(jì)算塊的另 一配置示例的圖10是圖示閃爍減少單元的歸一化積分值計(jì)算塊的另 一配置示例的圖11是示出用于說明各個(gè)示例的等式的圖12是示出用于說明各個(gè)示例的等式的圖13是示出用于說明各個(gè)示例的等式的圖14是示出用于說明各個(gè)示例的等式的圖15是示出用于說明各個(gè)示例的等式的圖；圖16A和16B是用于說明各個(gè)示例的圖17是示出在測試中使用的對(duì)象的視圖18是示出在圖17中的對(duì)象的情況下的積分值的圖19是示出在圖17中的對(duì)象的情況下的差值的圖20是示出在圖17中的對(duì)象的情況下的歸一化差值的圖21是示出在圖17中的對(duì)象的情況下的估計(jì)閃爍系數(shù)的圖22是用于說明在CCD成像設(shè)備的情況下的熒光燈閃爍的圖23是用于說明在XY地址掃描型成像設(shè)備的情況下的熒光燈閃爍的
圖24是示出在XY地址掃描型成像設(shè)備的情況下、在一個(gè)屏幕上的熒光 燈閃爍的條紋圖案的視圖；以及
圖25是示出在XY地址掃描型成像設(shè)備的情況下、在三個(gè)屏幕上的熒光 燈閃爍的條紋圖案的視圖。
具體實(shí)施例方式
(系統(tǒng)配置圖1)
圖1顯示了根據(jù)本發(fā)明實(shí)施例的成像裝置的系統(tǒng)配置，圖示了使用 CMOS成像設(shè)備作為XY地址掃描型成像設(shè)備的攝像機(jī)的情況。
在根據(jù)該實(shí)施例的成像裝置的中，也就是說，在攝像機(jī)中，使得來自對(duì) 象的光經(jīng)由成像光學(xué)系統(tǒng)11入射在CMOS成像設(shè)備12上，并且在CMOS 成像設(shè)備12中經(jīng)歷光電轉(zhuǎn)換。因而從CMOS成像設(shè)備12獲得模擬視頻信號(hào)。
CMOS成像設(shè)備12在CMOS基底上具有二維陣列的多個(gè)像素，每個(gè)像 素具有光電二極管(光門(photogate))、傳送門(快門晶體管)、切換晶體管 (地址晶體管)、放大晶體管、重置晶體管(重置門)等，并且還有垂直掃描 電路、水平掃描電路和視頻信號(hào)輸出電路。
如隨后將描述的，CMOS成像設(shè)備12可以是原色型或補(bǔ)色型的。從 CMOS成像設(shè)備12獲得的模擬視頻信號(hào)是每個(gè)RGB顏色的原色信號(hào)或補(bǔ)色 型的顏色信號(hào)。
來自CMOS成像設(shè)備12的模擬視頻信號(hào)在配置為IC (集成電路)的模 擬信號(hào)處理單元13中對(duì)每個(gè)顏色信號(hào)采樣并保持，使其增益由AGC (自動(dòng)增益控制)控制，并且通過A/D轉(zhuǎn)換被轉(zhuǎn)換為數(shù)字信號(hào)。
將來自模擬信號(hào)處理單元13的數(shù)字視頻信號(hào)提供到配置為IC的數(shù)字信 號(hào)處理單元20。如隨后將描述的，數(shù)字信號(hào)處理單元20對(duì)數(shù)字視頻信號(hào)應(yīng) 用各種校正和調(diào)整。此外，通過與系統(tǒng)控制器14合作運(yùn)行，數(shù)字信號(hào)處理單 元20中的閃爍減少單元25通過根據(jù)如隨后將描述的本發(fā)明的實(shí)施例的方法， 對(duì)每個(gè)信號(hào)成分減少閃爍成分，然后最終將數(shù)字信號(hào)轉(zhuǎn)換為亮度信號(hào)Y和紅 色和藍(lán)色的色差信號(hào)R-Y和B-Y,并且輸出這些信號(hào)。
系統(tǒng)控制器14通過微型計(jì)算機(jī)等配置，并且控制相機(jī)的各個(gè)單元。如上 所述，通過與數(shù)字信號(hào)處理單元20中的閃爍減少單元25合作運(yùn)行，除了從 要處理的數(shù)字視頻信號(hào)移除閃爍成分的處理外，系統(tǒng)控制器14執(zhí)行各種處 理。
具體地，從系統(tǒng)控制器14提供鏡頭驅(qū)動(dòng)控制信號(hào)到通過IC配置的鏡頭 驅(qū)動(dòng)器15,并且通過鏡頭驅(qū)動(dòng)器15驅(qū)動(dòng)成像光學(xué)系統(tǒng)11的鏡頭。
此外，從系統(tǒng)控制器14提供定時(shí)控制信號(hào)到定時(shí)發(fā)生器16。從定時(shí)發(fā) 生器16提供各種定時(shí)信號(hào)到CMOS成像設(shè)備12，以便驅(qū)動(dòng)CMOS成像設(shè)備 12。
此外，每個(gè)信號(hào)成分的檢測信號(hào)從數(shù)字信號(hào)處理單元20接收到系統(tǒng)控制 器14。基于來自系統(tǒng)控制器14的AGC信號(hào)，如上所述在模擬信號(hào)處理單元 13中控制每個(gè)顏色信號(hào)的增益，并且還通過系統(tǒng)控制器14控制數(shù)字信號(hào)處 理單元20中的信號(hào)處理。
此外，系統(tǒng)控制器14與相機(jī)抖動(dòng)模糊傳感器17連接，并且還可以基于 相機(jī)抖動(dòng)模糊傳感器17的檢測輸出執(zhí)行相機(jī)抖動(dòng)模糊校正。
此外，系統(tǒng)控制器14經(jīng)由由微型計(jì)算機(jī)等配置的接口 19與構(gòu)成用戶接 口 18的操作單元18a和顯示單元18b連接。通過系統(tǒng)控制器14檢測對(duì)操作 單元18a的設(shè)置操作、選擇操作等，并且通過系統(tǒng)控制器14將相機(jī)的設(shè)置狀 態(tài)、控制狀態(tài)等顯示在顯示單元18b上。
在隨后描述的閃爍減少處理不必須的情況下，這由系統(tǒng)控制器14檢測， 并且如隨后將描述的，控制閃爍減少單元25。 (原色系統(tǒng)的情況圖2)
圖2顯示了在原色系統(tǒng)的情況下的數(shù)字信號(hào)處理單元20的示例。 原色系統(tǒng)具有分解光學(xué)系統(tǒng)，其中圖1中的成像光學(xué)系統(tǒng)11將來自對(duì)象的光分離為RGB顏色的每一個(gè)的顏色光，并且原色系統(tǒng)是具有用于RGB的 各個(gè)顏色的CMOS成像設(shè)備作為CMOS成像設(shè)備12的三板(three-plate )系 統(tǒng)，或具有一個(gè)CMOS成像設(shè)備作為CMOS成像設(shè)備12的單板(one-plate ) 系統(tǒng)，所述一個(gè)CMOS成像設(shè)備具有用于在屏幕的水平方向上、對(duì)光入射平 面上的每一個(gè)像素重復(fù)順序排列的RGB的各個(gè)顏色的濾色鏡。在此情況下， RGB的各個(gè)顏色的原色信號(hào)從CMOS成像設(shè)備12并行讀取。
在圖2中的數(shù)字信號(hào)處理單元20中，輸入RGB原色信號(hào)的黑電平(black level)在箝位電路21中箝位到預(yù)定電平。根據(jù)曝光量，在增益調(diào)整電路22 中調(diào)整箝位的RGB原色信號(hào)的增益。如隨后將描述的，通過根據(jù)本發(fā)明實(shí)施 例的方法，在閃爍減少單元25R、25G和25B的每一個(gè)中減少增益調(diào)整的RGB 原色信號(hào)的閃爍成分，這是通過與系統(tǒng)控制器14合作來實(shí)現(xiàn)的。
此外，在圖2中的數(shù)字信號(hào)處理單元20中，在白平衡調(diào)整電路27中調(diào) 整閃爍移除的RGB原色信號(hào)的白平衡。在伽瑪校正電路28中轉(zhuǎn)換白平衡調(diào) 整的RGB原色信號(hào)的灰度級(jí)，并且在合成矩陣電路29中從伽瑪校正的RGB 原色信號(hào)生成輸出亮度信號(hào)Y和輸出色差信號(hào)R-Y和B-Y。
通常，在原色系統(tǒng)中，如圖2所示，在對(duì)RGB原色信號(hào)的所有處理完成 后生成亮度信號(hào)Y。因而，如圖2所示，通過在對(duì)RGB原色信號(hào)的處理的過 程中減少RGB原色信號(hào)中的閃爍成分，可以充分地減少各個(gè)顏色成分和亮度 成分中的閃爍成分。
應(yīng)該注意，盡管希望如圖2所示安排閃爍減少單元25R、 25G和25B, 但是它們排列的方式不必限于此。 (補(bǔ)色系統(tǒng)的情況圖3)
圖3顯示了在補(bǔ)色系統(tǒng)的情況下的數(shù)字信號(hào)處理單元20的示例。 補(bǔ)色系統(tǒng)是具有一個(gè)CMOS成像設(shè)備作為圖1中的CMOS成像設(shè)備12 的單板系統(tǒng)，所述一個(gè)CMOS成像設(shè)備具有在光入射平面上形成的補(bǔ)色型濾 色鏡。例如，如在指示為圖3中的濾色鏡1的補(bǔ)色型濾色鏡中，在每個(gè)給定 的一個(gè)水平線位置Lo,在水平方向?yàn)槊恳粋€(gè)像素重復(fù)順序排列用于綠色的濾 色鏡部分1G和用于品紅色的濾色鏡部分lMg,并且在每個(gè)另一水平線位置 Le，在水平方向?yàn)槊恳粋€(gè)像素重復(fù)順序排列用于青色的濾色鏡部分ICy和用 于黃色的濾色鏡部分lYe。
在此情況下，從CMOS成像設(shè)備12合成和讀取在兩個(gè)鄰近水平線位置的視頻信號(hào)。因此，在每個(gè)水平時(shí)段中，在圖3的情況下，為每一個(gè)像素時(shí)
鐘從CMOS成像設(shè)備12獲得綠色信號(hào)和青色信號(hào)的合成信號(hào)、以及品紅色 信號(hào)和黃色信號(hào)的合成信號(hào)。
在圖3中的數(shù)字信號(hào)處理單元20中，補(bǔ)色信號(hào)的黑電平被箝位到預(yù)定電 平，并且根據(jù)曝光量，在增益調(diào)整電路22中調(diào)整箝位的補(bǔ)色信號(hào)的增益，在 亮度合成電路23中從增益調(diào)整的補(bǔ)色信號(hào)生成亮度信號(hào)Y，并且在原色分離 電路24中從增益調(diào)整的補(bǔ)色信號(hào)生成RGB原色信號(hào)。
此外，在圖3中的數(shù)字信號(hào)處理單元20中，通過根據(jù)本發(fā)明實(shí)施例的方 法，在閃爍減少單元25Y中減少來自亮度合成電路23的亮度信號(hào)Y中的閃 爍成分，這是如隨后將要描述的通過與系統(tǒng)控制器14合作來實(shí)現(xiàn)的。此外， 通過根據(jù)本發(fā)明實(shí)施例的方法，在閃爍減少單元25R、 25G和25B的每一個(gè) 中減少來自原色分離電路24中的RGB原色信號(hào)的閃爍成分，這是如隨后將 要描述的通過與系統(tǒng)控制器14合作來實(shí)現(xiàn)的。
此外，在圖3中的數(shù)字信號(hào)處理單元20中，校正了閃爍減少的亮度信號(hào) 的灰度級(jí)，因而獲得輸出亮度信號(hào)Y，在白平衡調(diào)整電路27中調(diào)整閃爍減少 的RGB原色信號(hào)的白平衡，在伽瑪校正電路28中轉(zhuǎn)換白平衡調(diào)整的RGB原 色信號(hào)的灰度級(jí)，并且在合成矩陣電路29中從伽瑪校正的RGB原色信號(hào)生 成色差信號(hào)R-Y和B-Y。
在補(bǔ)色系統(tǒng)中，如圖3所示，在數(shù)字信號(hào)處理單元20的相對(duì)上游階段生 成亮度信號(hào)和RGB原色信號(hào)。這是因?yàn)榱炼刃盘?hào)可以通過簡單的相加處理從 上述合成信號(hào)容易地生成，并且還因?yàn)槿绻ㄟ^差分處理從上述合成信號(hào)生 成RGB原色信號(hào)，并且從該RGB原色信號(hào)生成亮度信號(hào)，則亮度信號(hào)的S/N 劣化。
然而，在其中為亮度和顏色信號(hào)提供分離處理系統(tǒng)的情況下，僅僅減少 各個(gè)顏色成分中的閃爍成分不足以減少亮度成分中的閃爍成分。只有如圖3 所示，當(dāng)亮度成分中的閃爍成分被分開地減少，才變得可能充分地減少各個(gè) 顏色分量和亮度分量中的閃爍分量。
應(yīng)該注意，盡管希望如圖2所示安排閃爍減少單元25Y以及25R、 25G 和25B，但是它們排列的方式不必限于此。
盡管在目標(biāo)處理信號(hào)上不同，但是圖2中的閃爍減少單元25R、 25G和25B,以及圖3中的閃爍減少單元25Y、 25R、 25G和25B以相同的方式配置。 因此，以下將閃爍減少單元25Y、 25R、 25G和25B統(tǒng)稱為閃爍減少單元25。
此外，以下，輸入圖像信號(hào)是其閃爍還沒有被減少并且輸入到閃爍減少 單元25的RGB原色信號(hào)或亮度信號(hào)，并且輸出圖像信號(hào)是其閃爍已經(jīng)被減 少并且從閃爍減少單元25輸出的RGB原色信號(hào)或亮度信號(hào)。
此外，以下示例指向例如其中在商用AC電源頻率是50 Hz的區(qū)域中， 在熒光燈的照明下用NTSC (國家電視系統(tǒng)委員會(huì))系統(tǒng)(垂直同步頻率 60 Hz)的CMOS相機(jī)拍攝對(duì)象的情況，因此，在當(dāng)沒有減少熒光燈閃爍的 情況下，如圖23到25所示，由于閃爍的亮度變化和顏色變化不但出現(xiàn)在各 場之間而且出現(xiàn)在場內(nèi)，其呈現(xiàn)為等價(jià)于屏幕的三個(gè)場(三個(gè)波長)上的五 個(gè)時(shí)段(五個(gè)波長)的條紋圖案。
在非換流器焚光燈以及換流器熒光燈的情況下，如果整流不充分則出現(xiàn) 閃爍。因而，本發(fā)明不限于非換流器熒光燈。
如上所述，通過與系統(tǒng)控制器14合作運(yùn)行，閃爍減少單元25減少混和 在圖像信號(hào)中的閃爍成分。圖4是圖示相互合作執(zhí)行閃爍減少處理的閃爍減 少單元25和系統(tǒng)控制器14的框圖。
如圖4所示，通過數(shù)字信號(hào)處理單元20的閃爍減少單元25和通過系統(tǒng) 控制器14實(shí)現(xiàn)的閃爍偏差校正單元的功能，可以用高精度減少混和在圖像信 號(hào)中的閃爍成分。以下提供了執(zhí)行減少閃爍的處理的閃爍減少單元25和通過 系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元的功能的概述。
在閃爍減少單元25中，首先，估計(jì)(檢測)包含在提供到閃爍減少單元 25的圖像信號(hào)中的閃爍成分，將通過在復(fù)平面中表達(dá)而獲得的數(shù)據(jù)Im (虛 部)、Re (實(shí)部)提供到通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元。
存在這樣的情況，其中由于攝像機(jī)傾斜或搖鏡頭(pan)或由于對(duì)象大大 地移動(dòng)，而在相鄰場(屏幕)之間的對(duì)象成分中出現(xiàn)差別?？紤]到當(dāng)以此方 式在對(duì)象成分中出現(xiàn)差別時(shí)，可能變得難以適當(dāng)?shù)卦陂W爍減少單元25中檢測 閃爍成分。
因此，在根據(jù)該實(shí)施例的攝像機(jī)中，通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差 校正單元檢測由于在相鄰場之間的對(duì)象成分中出現(xiàn)差別而生成的相對(duì)于閃爍 成分本身的偏差。然后，系統(tǒng)控制器14基于檢測的閃爍成分本身的偏差校正 閃爍成分的偏差，基于該校正的閃爍成分形成閃爍系數(shù)rn(y),并且將其返回到閃爍減少單元25。
閃爍減少單元25基于來自通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元 的閃爍系數(shù)rn(y),對(duì)提供到閃爍減少單元25的圖像信號(hào)應(yīng)用閃爍減少處理。
如上所述，在根據(jù)該實(shí)施例的攝像機(jī)中，閃爍減少單元25不通過使用檢 測的閃爍成分直接執(zhí)行閃爍成分減少處理。在校正由于傾斜操作或搖鏡頭操 作、或由于包含在檢測的閃爍成分中的對(duì)象的突然移動(dòng)造成的偏差后，閃爍 減少單元25可以基于校正的閃爍成分用高精度執(zhí)行閃爍減少處理。 (閃爍減少方法的具體示例圖5到8B ) 接下來，將具體描述圖4中示出的閃爍減少單元25和通過系統(tǒng)控制器 14實(shí)現(xiàn)的閃爍偏差校正單元的各個(gè)配置和操作。 (閃爍減少單元25)
圖5顯示了閃爍減少單元25的第一示例。
圖24和25顯示了對(duì)象是均勻的情況。通常，閃爍成分與對(duì)象的信號(hào)強(qiáng)
度成比例。
因此，讓任意場n中和相對(duì)于普通對(duì)象的任意像素(x，y)的輸入圖像信號(hào) (經(jīng)歷閃爍減少處理之前的RGB原色信號(hào)或亮度信號(hào))是In'(x, y), In'(x， y) 由圖11中的等式(1)表示為不包含閃爍成分的信號(hào)成分和與其成比例的閃 爍成分的和。
In(x,y)表示信號(hào)成分，rn(y)^n(x,y)表示閃爍成分，而Hi(y)表示閃爍系 數(shù)。因?yàn)榕c熒光燈的發(fā)光時(shí)段U/100秒)相比， 一個(gè)水平時(shí)段足夠短，并且 閃爍系數(shù)在同 一場的同 一線上可以被視為恒定，所以閃爍系數(shù)由rn(y)表示。
如圖11中的等式(2)所示，rn(y)表示為用于歸納的傅立葉級(jí)數(shù)。因而，
的形式表示。
在等式(2)中，人o表示圖24所示的屏幕上的閃爍的波長。讓M表示 每個(gè)場的讀取線的數(shù)目，Xo相當(dāng)于L (= N^60/100)線。coo表示通過人o歸一 化的歸一化角頻率。
ym表示每階(m = 1, 2， 3，...)的閃爍成分的幅度。①mn表示每階的閃爍成 分的初始相位，并且通過焚光燈的發(fā)光時(shí)段(1/100秒)和曝光定時(shí)來確定。 因?yàn)棰賛n每三個(gè)場回復(fù)為相同的值，所以O(shè)mn與緊接在前場的差通過圖11 中的等式(3)確定。<積分值的計(jì)算和保持(retention) >
在圖5的示例中，首先，為了減少畫面圖案的影響用于檢測閃爍的目的， 輸入圖像信號(hào)In'(x， y)通過積分塊31在屏幕的水平方向的一條線上積分，因 而如由圖11中的等式(4)所示計(jì)算積分值rn(y)。等式(4)中的ocn(y)指示 信號(hào)成分In(x，y)在一條線上的積分值，如由圖11中的等式(5)所示。
為了檢測隨后場中的閃爍的目的，將如此計(jì)算的積分值rn(y)存儲(chǔ)和保持 在積分值保持塊32中。積分值保持塊32配置為能夠?qū)⒎e分值保持至少兩個(gè) 場。
如果對(duì)象是均勻的，則信號(hào)成分In(x，y)的積分值ocn(y)變得恒定。因而， 容易從輸入圖像信號(hào)In'(x, y)的積分值rn(y)提取閃爍成分otn(y^rn(y)。
然而，在典型的對(duì)象的情況下，因?yàn)閍n(y)也包含n^coo成分，不可能區(qū) 分作為閃爍成分的亮度和顏色成分以及作為對(duì)象本身的信號(hào)成分的亮度和顏 色成分，所以難以完全僅提取閃爍成分。此外，等式(4)中的第二項(xiàng)中的閃 爍成分相對(duì)于第一項(xiàng)中的信號(hào)成分非常小，所以大部分閃爍成分隱藏在信號(hào) 成分中。
作為參考，圖18顯示了關(guān)于圖17中所示的對(duì)象(實(shí)際上的彩色對(duì)象) 在三個(gè)連續(xù)場中的積分值Fn(y)。圖18指向紅色信號(hào)，并且場N+0(實(shí)線)、 場N+l(虛線)和場N+2 (點(diǎn)線)表示三個(gè)連續(xù)場的第一、第二和第三場。 如從圖18也可以理解的，不可能直接從積分值Fn(y)提取閃爍成分。
<平均值計(jì)算和差計(jì)算〉
因此，在圖5的示例中，三個(gè)連續(xù)場中的積分值用來從積分值Fn(y)移除 ocn(y)的影響。
也就是說，在此示例中，在計(jì)算積分值Fn(y)的時(shí)候，從積分值保持塊 32讀取與一場前相同線上的積分值Fn—l(y)和與兩場前相同線上的積分值 Fn—2(y)。平均值計(jì)算塊33計(jì)算三個(gè)積分值Fn(y)、 FnJ(y)和Fn—2(y)的平均 值A(chǔ)VE[Fn(y)]。
如果對(duì)象可以被視為在三個(gè)連續(xù)場期間基本相同，則an(y)可以被視為相 同的值。如果對(duì)象的運(yùn)動(dòng)在三個(gè)連續(xù)場之間足夠小，則該假設(shè)不引起實(shí)際問 題。此外，從由等式(3)表示的關(guān)系計(jì)算三個(gè)連續(xù)場中的積分值的平均值意 味著將其閃爍成分的相位順序移動(dòng)(-27i/3^m的信號(hào)加到一起。結(jié)果，閃爍成 分相互抵消。因此，平均值A(chǔ)VE[Fn(y)]由圖12中的等式(6)表示。然而，應(yīng)該理解，上面是指向在圖12中等式(7)的近似成立的假設(shè)下， 計(jì)算連續(xù)三個(gè)場中的積分值的平均值的情況。如果對(duì)象的運(yùn)動(dòng)大，則等式(7) 的近4以不成立。
因此，假設(shè)對(duì)象的運(yùn)動(dòng)大的情況，閃爍減少單元25可以在積分值保持塊 32中簡單地保持至少三個(gè)場上的積分值，并且計(jì)算包括當(dāng)前場中的積分值 Fn(y)的至少四個(gè)場的積分值的平均值。因此，通過相對(duì)于時(shí)間軸方向的低通 濾波器動(dòng)作，減少了由于運(yùn)動(dòng)對(duì)象的影響。
然而，由于閃爍每三個(gè)場重復(fù)，為了抵消閃爍成分，需要計(jì)算j(3的大 于兩倍的整數(shù)倍，即，6、 9...)個(gè)連續(xù)場的積分值的平均值。應(yīng)該注意，如 之后將描述的，可能存在偏差被混合到閃爍成分的情況，該偏差太大以至即 使由假設(shè)對(duì)象的運(yùn)動(dòng)大的情況的閃爍減少單元25也不能抵消。然而，即使在 這種情況下，混合到閃爍成分的大的偏差可以通過在隨后描述的本發(fā)明實(shí)施 例中使用的閃爍偏差校正單元的功能有效地移除。
圖5指向假設(shè)等式(7)的近似成立的情況。此外，在此示例中，差計(jì)算 塊34計(jì)算來自積分塊31的當(dāng)前場的積分值Fn(y)和來自積分值保持塊32的 一場前的積分值FnJ(y)之間的差。因而計(jì)算由圖12中的等式(8)所表示的 差值Fn(y)-FnJ(y)。等式(8)也是基于等式(7)的近似成立的假設(shè)。
圖19顯示了關(guān)于圖17中所示的對(duì)象的三個(gè)連續(xù)場的差值Fn(y)-Fn_l(y)。如從其可以理解的，從差值Fn(y) - Fn—l(y)充分地移除了對(duì)象的影 響，所以閃爍成分(閃爍系數(shù))呈現(xiàn)比圖18所示的積分值Fn(y)的情況更清 楚。
<差值的歸一化>
此外，在圖5的示例中,通過將來自差計(jì)算塊34的差值Fn(y) - Fn—l(y) 除以來自平均值計(jì)算塊33的平均值A(chǔ)VE[Fn(y)]，差值Fn(y) - FnJ(y)在歸一 化塊35中歸一化，并且計(jì)算歸一化差值gn(y)。
使用圖12中的等式(6)和(8)以及三角學(xué)的和化積公式，將歸一化差 值gn(y)展開，如圖13中的等式(9)所表示的，并且進(jìn)一步根據(jù)圖11中的 等式(3)的關(guān)系由圖13中的等式(10)表示。等式(10)中的IAml和em分 別由等式(lla)和(lib)表示。
在差值Fn(y)-FnJ(y)中，因?yàn)楸Ａ袅藢?duì)象的信號(hào)強(qiáng)度的影響，所以由于 閃爍的亮度變化和顏色變化的水平取決于區(qū)域而不同。然而，通過上述歸一化，由于閃爍的亮度變化和顏色變化可以在整個(gè)區(qū)域上設(shè)為相同的水平。
圖20顯示了相對(duì)于圖17所示的對(duì)象在三個(gè)連續(xù)場中的歸一化差值 gn(y)。
<通過譜提取的閃爍成分的估計(jì)〉
分別由圖13中的等式(lla)和(lib)表示的IAml和em是歸一化差值 gn(y)的每階的譜的振幅和初始相位?；趫D14中的等式(12a)和(12b), 通過對(duì)歸 一化差值gn(y)執(zhí)行傅立葉變換以便4企測每階的語的振幅i Am|和初始 相位em，可以獲得由圖11中的等式(2)表示的每階的閃爍成分的振幅Ym和 初始相位①mn。
因此，在圖5的示例中，DFT塊51對(duì)等價(jià)于來自歸一化塊35的歸一化 差值gn(y)的閃爍的一個(gè)波長(L條線)的數(shù)據(jù)執(zhí)行離散傅立葉變換。
讓DFT[gn(y)]表示DFT計(jì)算，并且Gn(m)表示m階的DFT結(jié)果，DFT 計(jì)算由圖14中的等式(13)表示。根據(jù)DFT的定義，等式(lla)和(lib) 與等式(13)之間的關(guān)系由圖14中的等式(15a)和(15b)表示。
因此，基于圖14中的等式(16a)和(16b),可以從等式(12a)、 ( 12b )、 (15a)和(15b)獲得每階的閃爍成分的振幅ym和初始相位(Dmn。
DFT計(jì)算的數(shù)據(jù)長度設(shè)置為閃爍的一個(gè)波長(L條線)，因?yàn)檫@使得可能 直接獲得正好是coo的整數(shù)倍的一組離散譜。
盡管FFT (快速傅立葉變換)通常用作數(shù)字信號(hào)處理的傅立葉變換，但 在本發(fā)明的該實(shí)施例中有意使用DFT。 DFT比FFT更方便，因?yàn)楦盗⑷~變換 的數(shù)據(jù)長度不是2的冪。然而，應(yīng)該注意，也可能通過操縱輸入/輸出數(shù)據(jù)來 使用FFT。
在實(shí)際熒光燈照明下，即使階數(shù)m限制為幾個(gè)量級(jí)(magnitude )，也可 以充分地估計(jì)閃爍成分。因而，不必輸出DFT計(jì)算中的所有數(shù)據(jù)，并且對(duì)于 本發(fā)明的預(yù)期應(yīng)用，與FFT相比，DFT在操作效率方面不呈現(xiàn)任何缺點(diǎn)。
DFT塊51也可能通過由等式(13)定時(shí)的DFT計(jì)算提取譜，然后通過 由等式(16a)和(16b)表示的計(jì)算估算每階的閃爍成分的振幅ym和初始相 位cDmn。
然而，在根據(jù)本實(shí)施例的攝像機(jī)中，如上所述，也通過考慮由于攝像機(jī) 的傾斜、搖鏡頭等偏差已經(jīng)出現(xiàn)在閃爍成分中的情況，在DFT塊51中，閃 爍成分表示在復(fù)平面中，閃爍成分由虛部Im和實(shí)部Re表示，并且將其提供
19到通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元。
然后，盡管隨后將詳細(xì)描述，在通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正
單元中，重心計(jì)算塊142通過考慮存儲(chǔ)器143中的過去的閃爍成分檢測閃爍 偏差，并且將其提供到偏差校正塊141。偏差校正塊141根據(jù)提供的偏差校 正閃爍成分，然后將校正的閃爍成分提供到相位/振幅提取塊144。
相位/振幅提取塊144通過由等式(16a)和(16b)表示的計(jì)算，從提供 到相位/振幅提取塊144的、以復(fù)平面表示的閃爍成分估算每階的閃爍成分的 振幅ym和初始相位①mn。此后，在閃爍生成塊145中，從來自相位/振幅提 取塊144的估算的"ym和Omn的值計(jì)算由圖11中的等式(2 )表示的閃爍系數(shù) rn(y),并且將其提供到如圖5所示的閃爍減少單元25的計(jì)算塊40。
然而，應(yīng)該注意，如上所述，在實(shí)際焚光燈照明下，即使階數(shù)m限制為 幾個(gè)量級(jí)，也可以充分地估計(jì)閃爍成分。因而，在通過等式(2)計(jì)算閃爍系 數(shù)rn(y)中，總和的階數(shù)可以設(shè)置為預(yù)定階數(shù)(如第二階)而不是無限大。
圖21顯示了圖23的對(duì)象的三個(gè)連續(xù)場的閃爍系數(shù)rn(y)。
根據(jù)上述方法，即使在如黑背景部分或具有非常小量的閃爍成分的低亮 度部分的區(qū)域，其中閃爍成分完全隱藏在積分值Fn(y)中的信號(hào)成分中，通過 計(jì)算差值Fn(y)-Fn—l(y)，并且通過平均值A(chǔ)VE[Fn(y)]將該差值歸一化，也可 以以高精度檢測閃爍成分。
從譜到合適的階數(shù)的閃爍成分的估算意味著該近似生效，而不用完全再 現(xiàn)歸一化的差值gn(y)。因而，即使取決于對(duì)象的狀態(tài)在歸一化的差值gn(y) 中出現(xiàn)不連續(xù)，也能夠用好的精度估算該部分中的閃爍成分。
<用于閃爍減少的計(jì)算>
根據(jù)圖11中的等式(1 )，不包含閃爍成分的信號(hào)成分In(x，y)由圖14中 的等式(17)表示。
因此，在圖5的示例中，計(jì)算塊40將來自之后也將描述的閃爍生成塊 145的閃爍系數(shù)Di(y)加1,并將輸入圖像信號(hào)In'(x, y)除以得到的和[l+rn(y)]。
因而，包含在輸入圖像信號(hào)In'(x,y)中的閃爍成分幾乎完全移除，并且從 計(jì)算塊40獲得基本不包含閃爍成分的信號(hào)成分In(x， y)作為輸出圖像信號(hào)(已 經(jīng)經(jīng)歷閃爍減少的RGB原色信號(hào)或亮度信號(hào))。 (考慮飽和區(qū)域的情況圖6)
在圖5的示例中，如果隨著輸入圖像信號(hào)In'(x，y)的水平(level)落入飽和區(qū)域，計(jì)算塊40執(zhí)行由等式(17)表示的計(jì)算，則這使得信號(hào)成分(顏色
成分或亮度成分)相反地變化。因此，希望計(jì)算塊40如圖6的示例配置。
圖6的示例中的計(jì)算塊40包括加法電路41，其將來自閃爍生成塊145 的閃爍系數(shù)rn(y)加1;除法電路42，其將輸入圖像信號(hào)In'(x, y)除以得到的和 [l+rn(y)];輸入端的開關(guān)43;輸出端的開關(guān)44;以及飽和水平確定電路45。 飽和水平確定電路45逐像素確定輸入圖像信號(hào)In'(x, y)的水平是否等于或高 于飽和區(qū)域的閾值水平。
如果輸入圖像信號(hào)In'(x, y)的水平低于飽和區(qū)域的閾值水平，則對(duì)于相應(yīng) 的像素，通過飽和水平確定電路45將開關(guān)43和44接通除法電路42端，并 且如上所述，從計(jì)算塊40輸出等式(17 )中的計(jì)算的結(jié)果作為輸出圖像信號(hào)。
相反，如果輸入圖像信號(hào)In'(x， y)的水平等于或高于飽和區(qū)域的閾值水 平，則對(duì)于相應(yīng)的像素，通過飽和水平確定電路45將開關(guān)43和44切換到相 對(duì)端，并且從計(jì)算塊40照原樣輸出輸入圖像信號(hào)In'(x,y)作為輸出信號(hào)。
因此，當(dāng)輸入圖像信號(hào)In'(x,y)的水平落入飽和區(qū)域時(shí)，信號(hào)成分(顏色 成分或亮度成分)不變化，因而可以獲得高質(zhì)量的輸出圖像信號(hào)。 (閃爍偏差校正單元圖4和圖7A到8B )
如圖4所示，通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元包括偏差校 正塊141、重心計(jì)算塊142、存儲(chǔ)器143、相位/振幅提取塊144和閃爍生成塊 145。如圖4所示，由閃爍減少單元25檢測的閃爍成分作為在復(fù)平面中表示 的值(Im, Re)，提供到通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元的偏差校 正塊141和存儲(chǔ)器143。
存儲(chǔ)器143可以存儲(chǔ)和保持至少三個(gè)場的閃爍成分。圖7A是圖示其中 在復(fù)平面中表示的三個(gè)相鄰場的閃爍成分的示例的圖。圖7B是圖示虛部Im 和實(shí)部Re之間關(guān)系的圖。
如上所述，在復(fù)平面中表示的閃爍成分由虛部Im和實(shí)部Re表示，并且 如圖7B所示，其振幅G和相位e可以由虛部的值im和實(shí)部的值re表示。
當(dāng)要拍攝的對(duì)象中存在小運(yùn)動(dòng)時(shí)，相鄰場之間的對(duì)象成分中不出現(xiàn)大的 差別。因而，可以精確地獲得各個(gè)場中的閃爍成分。在此情況下，在復(fù)平面 中繪制三個(gè)相鄰場(N+0、 N+l和N+2)中的各個(gè)閃爍成分得到圖7A。
也就是說，在根據(jù)該實(shí)施例的攝像機(jī)的情況下，如上所述，三個(gè)場作為 一個(gè)時(shí)段，這意味著相鄰場之間的閃爍成分的相位差是2/3兀(兀的三分之二=120度)。因此，如圖7A所示，當(dāng)在復(fù)平面中繪制相鄰場中的閃爍成分時(shí)， 每個(gè)閃爍成分變?yōu)橐詮?fù)平面中的原點(diǎn)0為中心的等邊三角形的頂點(diǎn)。
然而，如上所述，當(dāng)根據(jù)本實(shí)施例的攝像機(jī)已經(jīng)被用戶傾斜或搖鏡頭、 并且對(duì)象的圖像突然極大地改變時(shí)，各相鄰場之間對(duì)象成分中的差別變大， 結(jié)果偏差包含在提取的閃爍成分中。
圖8A和8B是圖示在復(fù)平面中繪制具有偏差的閃爍成分的情況的圖。圖 8A和8B顯示了由于例如傾斜操作或搖鏡頭操作，類似的偏差出現(xiàn)在三個(gè)相 鄰場的每個(gè)中的閃爍成分中的情況。
圖8A和8B顯示了各個(gè)場中的閃爍成分如由箭頭所指示的偏離的情況， 所述閃爍成分否則應(yīng)該位于如由點(diǎn)線所指示的以原點(diǎn)0為中心的等邊三角形 的各個(gè)頂點(diǎn)。在此情況下，通過獲得虛軸方向和實(shí)軸方向的每一個(gè)中的各個(gè) 閃爍成分的平均值，獲得虛軸方向和實(shí)軸方向上的偏差。
也就是說，如果沒有出現(xiàn)偏差，如由圖8A中的點(diǎn)線所指示的，則三個(gè) 相鄰場中的各個(gè)閃爍成分位于以原點(diǎn)0為中心的等邊三角形的各頂點(diǎn)。因而， 如果相對(duì)于虛軸方向和實(shí)軸方向的每一個(gè)獲得平均值，則平均值變?yōu)镺(零)。 然而，如果已經(jīng)出現(xiàn)偏差，則當(dāng)獲得這種平均值時(shí)，平均值不變?yōu)?(零)， 并且獲得的平均值對(duì)應(yīng)于從正常閃爍成分的偏差。
因此，在通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元中，重心計(jì)算塊 142從最近場開始讀取過去三個(gè)場的閃爍成分，并且獲得虛軸方向和實(shí)軸方 向的平均值。具體地，如圖8A所示，通過將值iml、 im2和im3的和除以3， 可以獲得虛軸方向的平均值。同樣地，通過將值rel、 re2和re3的和除以3， 可以獲得實(shí)軸方向的平均值。
然后，在重心計(jì)算塊中獲得的虛軸方向的平均值是由圖8B中虛軸方向 的箭頭指示的虛軸方向的偏差，而實(shí)軸方向的平均值是由圖8B中實(shí)軸方向的 箭頭指示的實(shí)軸方向的偏差。將以此方式在重心計(jì)算塊142中獲得的偏差提 供到偏差校正塊141。
偏差校正塊141從最近場中的閃爍成分(在重心計(jì)算塊142中使用的最 近場中的閃爍成分)減去該偏差，因而形成預(yù)期的合適的閃爍成分(校正的 閃爍成分)Im、 Re,并且將其提供到相位/振幅提取塊144。
然后，如上所述，通過由圖14中所示的等式(16a)和(16b)表示的計(jì) 算，相位/振幅提取塊144從偏差校正塊141提供的校正的閃爍成分Im、 Re估算每階的閃爍成分的振幅ym和初始相位(Dmn。將如此估算的每階的閃爍成 分的振幅ym和初始相位Omn提供到閃爍生成塊145。
如上所述，閃爍生成塊145從相位/振幅提取塊144提供的估算的ym和 ①mn的值計(jì)算閃爍系數(shù)rn(y),并且將其提供到如圖4所示的閃爍減少單元 25的計(jì)算塊40。
如上所述，因?yàn)楦鶕?jù)圖11中的等式(1 )，不包含閃爍成分的信號(hào)成分In(x， y)由圖14中的等式(17)表示，所以計(jì)算塊40將從閃爍生成塊145的閃爍 系數(shù)rn(y)力。1,并且將輸入圖像信號(hào)In'(x，y)除以得到的和[l+rn(y)],以便獲 得從其移除了閃爍成分的輸入圖像信號(hào)In(x， y)，并且輸出該輸入圖像信號(hào) In(x， y)。
以此方式，在攝像機(jī)的情況下，存在這樣的情況，當(dāng)由于傾斜操作、搖 鏡頭操作、對(duì)象的突然運(yùn)動(dòng)等在各相鄰場之間的對(duì)象成分中出現(xiàn)差別時(shí)，因 而在為每個(gè)場檢測的閃爍成分中出現(xiàn)偏差。然而，根據(jù)本實(shí)施例的攝像機(jī)可 以適當(dāng)?shù)貦z測和校正在閃爍成分中出現(xiàn)的偏差。因此，可以以高精度從圖像 信號(hào)移除閃爍成分。
此外，如上所述，假設(shè)對(duì)象的運(yùn)動(dòng)大的情況的閃爍減少單元25可以在積 分值保持塊32中簡單地保持至少三個(gè)場的積分值，并且計(jì)算包括當(dāng)前場的積 分值Fn(y)的至少四個(gè)場的積分值的平均值。即使在偏差太大以至于不能以此 方式抵消的偏差混合在閃爍成分中的情況下，這種大偏差也可以由通過系統(tǒng) 控制器114實(shí)現(xiàn)的閃爍偏差校正單元的功能來有效地移除。
應(yīng)該注意，如之前參照?qǐng)D5所述，對(duì)于每個(gè)場通過使用三個(gè)連續(xù)場中的 積分值獲得閃爍成分。因此，相鄰場之間閃爍成分中的偏差不必變得恒定。 然而，如上所述，通過獲得遍及三個(gè)相鄰場的平均值，可能相對(duì)于要校正的 場的閃爍成分適當(dāng)?shù)貦z測偏差(校正量)，并且校正該偏差。
也就是說，即使當(dāng)由于傾斜操作、搖鏡頭操作等在各相鄰場之間的對(duì)象 成分中出現(xiàn)差別，因而在為每個(gè)場獲得的閃爍成分中出現(xiàn)偏差時(shí)，也可能適 當(dāng)?shù)貦z測該偏差，并且相應(yīng)適當(dāng)?shù)匦Ｕ總€(gè)場中的閃爍成分。
如果由于系統(tǒng)的計(jì)算能力的限制而不能在 一 個(gè)場的時(shí)間內(nèi)完成全部的上 述處理，則可以采用這種配置，其中利用閃爍每三個(gè)場重復(fù)的事實(shí)，在計(jì)算 塊40內(nèi)提供將閃爍系數(shù)rn(y)保持三個(gè)場的功能，并且三個(gè)場后相對(duì)于輸入 圖像信號(hào)In'(x, y)計(jì)算保持的閃爍系數(shù)rn(y)。(閃爍減少單元25的歸一化積分值計(jì)算塊30的另一配置示例)
(歸一化積分值計(jì)算塊的第二配置示例圖9) 如在圖5所示的歸一化積分值計(jì)算塊30中，如果通過平均值A(chǔ)VE[Fn(y)] 歸一化差值Fn(y)-Fn—l(y)，則可以有效地確保有限的計(jì)算精度。然而，如果 可以滿足必需的計(jì)算精度，則可以通過平均值A(chǔ)VE[Fn(y)]直接歸一化積分值 Fn(y)。
圖9顯示了在此情況下的歸一化積分值計(jì)算塊30A。在歸一化塊35中， 來自積分塊31的積分值Fn(y)通過除以從平均值計(jì)算塊33提供的平均值 AVE[Fn(y)]來歸一化，從而計(jì)算歸一化的差值gn(y)。
然而，應(yīng)該注意，在此情況下的歸一化的差值gn(y)是如由圖15中的等 式(18)表示的。因而，為了使得隨后階段中的處理與圖5的示例中的那些 相同，如由圖(15)的等式(19)表示的，減法電路從由等式(18)表示的 歸一化的差值gn(y)減1,并且將得到的值發(fā)送到DFT塊51。
在此情況下，因?yàn)镮Aml二Ym和em:①mn，所以根據(jù)圖14中的等式(15a) 和(15b)，可以從圖15中的等式(20a)和(20b )獲得ym和Omn。
因此，在圖5的示例中，在通過由等式(13)定義的DFT計(jì)算提取譜后， 通過等式(16a)和(16b)的計(jì)算估算每階的閃爍成分的振幅ym和初始相位 ①mn，而在圖9的示例中，在通過由等式(13)定義的DFT計(jì)算提取譜后， 通過等式(20a)和(20b)的計(jì)算估算每階的閃爍成分的振幅ym和初始相位 ①mn。在估算每階的閃爍成分的振幅ym和初始相位①mn后的處理，也就是 說，在閃爍生成塊145和計(jì)算塊40中的處理，與上面參照?qǐng)D4和5描述的情 況中的那些處理相同。
因?yàn)椴钣?jì)算塊3 4在圖9的示例中不是必須的，所以可以相應(yīng)地簡化歸一 化積分值計(jì)算塊。同樣在此示例中，計(jì)算塊40希望如圖6的示例配置。 (歸一化積分值計(jì)算塊的第三配置示例圖IO)
如果由圖12中的等式(7)定義的近似成立，則用于圖5的示例中的歸 一化的平均值A(chǔ)VE[Fn(y)]等于如由等式(6)表示的an(y)。此外，因?yàn)閳D11 中等式(4)的第二項(xiàng)[otn(y^Fn(y)]與第一項(xiàng)an(y)相比足夠小，所以第二項(xiàng)只 對(duì)歸 一化施加非常小的影響。
因此，對(duì)于歸 一化，使用積分值Fn(y)代替平均值A(chǔ)VE[Fn(y)]實(shí)際上不存 在問題?？梢砸耘c使用平均值A(chǔ)VE[Fn(y)]時(shí)相同的方式有效地;險(xiǎn)測閃爍成分。
24因此，在根據(jù)圖10中示出的第三示例的歸一化積分值計(jì)算塊30B的示 例中，通過將來自差計(jì)算塊34的差值Fn(y) - FnJ(y)除以從積分塊31提供的 積分值Fn(y),差值Fn(y)-Fn—l(y)在歸一化塊35中歸一化。隨后的處理與圖 5的示例中的那些相同。
在圖10的示例中，滿足積分值保持塊32能夠?qū)⒎e分值保持一個(gè)場，并 且平均值計(jì)算塊33不是必須的。這樣可以簡化閃爍減少單元25。同樣在此 示例中，計(jì)算塊40希望如圖6的示例配置。
(其它)
在非熒光燈照明下(在不使用熒光燈的照明環(huán)境下)拍攝的情況下，當(dāng) 執(zhí)行上述閃爍減少處理時(shí)不出現(xiàn)特別的問題。然而，因?yàn)樵诖饲闆r下執(zhí)行了 要不然不必須的處理，所以即使閃爍成分足夠小，其對(duì)圖像質(zhì)量的影響也變 得有關(guān)。
因此，在非焚光燈照明下拍攝的情況下，希望以此方式配置閃爍減少單 元25或通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元，使得不執(zhí)行閃爍減少 處理，并且從閃爍減少單元25照原樣輸出輸入圖像信號(hào)In'(x, y)作為輸出圖 像信號(hào)。
例如，在圖4所示的通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元的相位 /振幅提取塊144和閃爍生成塊145之間安排熒光燈照明條件確定塊。
對(duì)于通過相位/振幅提取塊144估算和計(jì)算的每階的成分的水平(振幅) ym,在焚光燈照明條件下，如圖16A所示，當(dāng)m=l時(shí)的成分的水平充分高 于給定的閾值Th,并且隨著m值的變大，水平急劇地變低。相反，在非熒光 燈照明下，如圖16B所示，每階的成分的水平低于閾值Th。
理想地，在非焚光燈照明下譜變?yōu)榱?。然而，?shí)際上，對(duì)象運(yùn)動(dòng)，所以 從多個(gè)連續(xù)場的信號(hào)生成的歸一化差值gn(y)或歸一化積分值gn(y)-l不可避 免地包含少量頻率成分。
因此，在相位/振幅提取塊144和閃爍生成塊145之間安排的焚光燈照明 條件確定塊確定在m4的成分的水平是否超過閾值Th。如果在111=1的水平 超過閾值Th,則焚光燈照明條件確定塊確定拍攝是在焚光燈照明下進(jìn)行，并 且照原樣輸出來自相位/振幅提取塊144的ym和①mn的估計(jì)值到閃爍生成塊 145。在此情況下，如上所述執(zhí)行閃爍減少處理。
如果在m=l的水平等于或低于閾值Th，則焚光燈照明條件確定塊確定拍攝是在非焚光燈照明下進(jìn)行，并且設(shè)置所有m級(jí)的ym的估計(jì)值為零。因 此，在此情況下，閃爍系數(shù)rn(y)也變?yōu)榱?，并且從?jì)算塊40照原樣輸出輸 入圖像信號(hào)In'(x， y)作為輸出圖像信號(hào)。
此外，作為另一示例，焚光燈照明條件確定塊確定拍攝是否是在熒光燈 照明下進(jìn)行，并且如果確定拍攝是在非熒光燈照明下進(jìn)行，則熒光燈照明條 件確定塊設(shè)置^^測標(biāo)記COMP—OFF，停止閃爍生成塊145和計(jì)算塊40中的 處理，并且從計(jì)算塊40照原樣輸出輸入圖像信號(hào)In'(x， y)作為輸出圖像信號(hào)。 也可以采用這種配置，其中如果確定拍攝是在熒光燈照明下進(jìn)行，則重置檢 測標(biāo)記COMP—OFF,并且如上所述執(zhí)行閃爍減少處理。
以此方式，在其中閃爍生成塊145和計(jì)算塊40的開/關(guān)可以根據(jù)熒光燈 照明條件確定塊的確定結(jié)果來控制的配置的情況下，當(dāng)在非熒光燈照明下拍 攝時(shí)，不但可以消除對(duì)圖像質(zhì)量的不利影響，而且可以減少功耗。 (取決于拍攝條件執(zhí)行另 一處理的示例)
如將在下面討論的，取決于拍攝條件，閃爍減少處理可以變得不必要。 在此情況下，考慮對(duì)圖像質(zhì)量的影響，期望不執(zhí)行要不然不必須的閃爍減少 處理，如在上面描述的在非熒光燈照明下拍攝的情況下。
閃爍減少處理是不必要的拍攝條件的第一示例是其中要用能夠拍攝運(yùn)動(dòng) 圖像和靜態(tài)圖像的數(shù)字靜態(tài)相機(jī)或攝像機(jī)拍攝靜態(tài)圖像的情況。
在此情況下，即利用使用XY地址掃描型成像設(shè)備(如CMOS成像設(shè)備) 的相機(jī)，也可以使得一個(gè)屏幕上的所有像素的曝光定時(shí)(包括曝光開始時(shí)間 和曝光結(jié)束時(shí)間)相同，因而使得可能避免熒光燈閃爍的出現(xiàn)。因?yàn)閺某上?設(shè)備的讀取操作不經(jīng)歷如在拍攝運(yùn)動(dòng)圖像時(shí)強(qiáng)加的幀頻限制，所以讀取操作 可以在機(jī)械快門關(guān)閉的光阻擋狀態(tài)下緩慢地執(zhí)行。
在圖l所示的實(shí)施例中，基于對(duì)操作單元18a的相機(jī)操作，系統(tǒng)控制器 14可以確定當(dāng)前條件是否對(duì)應(yīng)于通過使得一個(gè)屏幕上的所有像素的曝光定時(shí) 相同來拍攝靜態(tài)圖像的情況。
閃爍減少處理是不必要的拍攝條件的第二示例是其中要在戶外陽光下進(jìn) 行拍攝的情況，或其中通過調(diào)整曝光量等將曝光時(shí)間(電子快門時(shí)間)設(shè)置 為熒光燈的亮度變化的時(shí)段U/100秒)的整數(shù)倍。
從由DFT塊51提取的譜的水平可以檢測是否在焚光燈照明下進(jìn)行拍攝。 關(guān)于這一點(diǎn)，在同樣的非熒光燈照明下的拍攝條件中，在戶外陽光下等進(jìn)行拍攝的情況下，系統(tǒng)控制14可以直接從對(duì)象的光量等確定拍攝是在非焚光燈
照明下進(jìn)行。
如上所述，即使在使用如CMOS成像設(shè)備的XY地址掃描型成像設(shè)備的 相機(jī)的情況下，當(dāng)曝光時(shí)間設(shè)置為熒光燈的亮度變化的時(shí)間段(1/100秒)的 整數(shù)倍時(shí)，包括屏幕上閃爍的焚光燈閃爍也不出現(xiàn)。那么，可以直接通過系 統(tǒng)控制器14檢測是否已經(jīng)通過調(diào)整曝光量等將曝光時(shí)間(電子快門時(shí)間)設(shè) 置為焚光燈的亮度變化的時(shí)段的整數(shù)倍。
因此，配置系統(tǒng)使得如果由系統(tǒng)控制器14確定在如上所述的當(dāng)前拍攝條 件下閃爍減少處理是不必要的，則不執(zhí)行閃爍減少處理，并且照原樣從閃爍 減少單元25輸出輸入圖像信號(hào)In'(x， y)作為輸出信號(hào)。以此方式，即使在這 種閃爍減少處理是不必要的情況下，也能夠避免執(zhí)行閃爍減少處理。 (積分)
在上述示例的每一個(gè)中，在一條線上積分輸入圖像信號(hào)In'(x，y)。然而， 因?yàn)榉e分輸入圖像信號(hào)In'(x, y)以便在減少畫面圖案的影響的同時(shí)獲得閃爍 成分的采樣值，所以不但可以在一條線上而且可以在多條線上執(zhí)行積分。如 上所述，在屏幕上呈現(xiàn)為條紋圖案的熒光燈閃爍(屏幕上閃爍)的一個(gè)時(shí)段 對(duì)應(yīng)于L^N^60/100)條線。因此，如果在一個(gè)時(shí)段(即，L條線)中獲得至 少兩個(gè)采樣值，則可以從采樣定理纟企測閃爍成分。
實(shí)際上，希望在屏幕上閃爍的一個(gè)時(shí)段(即，L條線)中獲得幾個(gè)到IO 或更多的采樣值。同樣在此情況下，輸入圖像信號(hào)In'(x，y)可以在等于水平時(shí) 段的幾倍到IO倍或更長的持續(xù)時(shí)間上積分。積分時(shí)間可以不必精確地為水平 時(shí)段的整數(shù)倍，而是可以為例如2.5水平時(shí)段。
如果以此方式延長積分時(shí)間，并且減少每單位時(shí)間的采樣的數(shù)目，則可 以減輕由DFT計(jì)算強(qiáng)加于DFT塊51的負(fù)載。此外，當(dāng)對(duì)象在屏幕的垂直方 向運(yùn)動(dòng)時(shí)，這種運(yùn)動(dòng)的影響可以減少。 (其他)
在如圖2所示原色系統(tǒng)的情況下，代替通過如圖2中的閃爍減少單元 25R、 25G和25B為每個(gè)RGB原色信號(hào)4企測和減少閃爍成分，例如，可以采 用這樣的配置，其中如上述示例中的閃爍減少單元25提供在合成矩陣電路 29的亮度信號(hào)Y的輸出端，從而檢測和減少亮度信號(hào)Y中的閃爍成分。上述實(shí)施例指向包括閃爍減少單元25的數(shù)字信號(hào)處理單元20由硬件配 置的情況。然而，閃爍減少單元25或數(shù)字信號(hào)處理單元20的部分或全部， 或此外通過系統(tǒng)控制器14實(shí)現(xiàn)的閃爍偏差校正單元的各個(gè)塊的功能可以由
軟件配置。
也就是說，圖4所示的閃爍減少單元25或通過系統(tǒng)控制器14實(shí)現(xiàn)的閃 爍偏差校正單元的各個(gè)塊的功能可以通過軟件實(shí)現(xiàn)。應(yīng)該注意，在圖4和5 中示出的配置示例僅僅是示例性的，并且當(dāng)然可以采用其它配置。例如，配 置可以被靈活地修改，如通過將DFT51的功能實(shí)現(xiàn)為閃爍偏差校正單元的功 能，或在閃爍減少單元25中提供閃爍生成塊145。
上述實(shí)施例指向垂直同步頻率是60 Hz (—個(gè)場時(shí)段等于1/60秒)的情 況。然而，本發(fā)明適用于改進(jìn)型(progressive type)相機(jī)，如具有30 Hz ( — 個(gè)場時(shí)段是1/30秒)的垂直同步頻率的數(shù)字相機(jī)。在此情況下，因?yàn)槿齻€(gè)幀 時(shí)段(1/10秒)是熒光燈的發(fā)光時(shí)段(1/100秒)的整數(shù)倍(閃爍的條紋圖案 等于三個(gè)幀上的IO個(gè)波長)，所以上述實(shí)施例中的場可以由幀替代。
此外，上述實(shí)施例指向這樣的情況，其中通過使用具有60 Hz的垂直同 步頻率的NTSC系統(tǒng)的成像裝置，在商用AC電源頻率是50 Hz的區(qū)域中， 在熒光燈的照明下進(jìn)行拍攝。在此情況下，在一個(gè)場內(nèi)出現(xiàn)大約60/100=1.67 時(shí)段的亮度變化(閃爍)。至于該閃爍出現(xiàn)的方式(變化圖案)，閃爍具有三 個(gè)幀的時(shí)段。因此，在此情況下，預(yù)先保持在三個(gè)單獨(dú)場中的以復(fù)平面表示 的閃爍成分，并且獲得該閃爍成分的平均值，從而使得可能計(jì)算閃爍成分的 偏差。
同樣地，在以下情況下，其中通過使用PAL (相位逐行交替)系統(tǒng)的成 像裝置，在商用AC電源頻率是60 Hz的區(qū)域中，在熒光燈的照明下進(jìn)行拍 攝，閃爍圖案具有五個(gè)幀的時(shí)段。本發(fā)明同樣適用于這種情況。
具體地，當(dāng)獲得閃爍成分的偏差時(shí)，可以獲得以復(fù)平面表示的五個(gè)幀的 閃爍成分的平均值。也就是說，當(dāng)在復(fù)平面中繪制五個(gè)獨(dú)立幀的閃爍成分時(shí)， 如果不存在偏差，則形成以原點(diǎn)為中心并且具有五個(gè)獨(dú)立幀中的閃爍成分位 于各頂點(diǎn)等邊五邊形。因而，計(jì)算與該等邊五邊形的圓點(diǎn)的偏差。
因此，通過根據(jù)成像時(shí)段或照明頻率識(shí)別閃爍的變化圖案，并且根據(jù)該 變化圖案識(shí)別要為其獲得閃爍成分的平均值的場的數(shù)目或幀的數(shù)目，本發(fā)明 可以應(yīng)用于成像時(shí)段和照明頻率的任何組合。上述實(shí)施例指向本發(fā)明應(yīng)用于成像裝置的情況。在此情況下，具有減少 的閃爍成分的圖像信號(hào)可以被記錄在記錄介質(zhì)上。然而，本發(fā)明不限于此。
含閃爍成分的圖像信號(hào)記錄在記錄介質(zhì)上的情況。
在此情況下，當(dāng)然可以采用如上面參照?qǐng)D4到6描述的配置，在再現(xiàn)圖 像信號(hào)的階段，要再現(xiàn)的圖像信號(hào)用作輸入圖像信號(hào)，并且對(duì)該圖像信號(hào)執(zhí) 行根據(jù)本發(fā)明實(shí)施例的閃爍減少處理。在此情況下，對(duì)于通過拍攝獲得的圖 像信號(hào)，在其再現(xiàn)的時(shí)候減少閃爍成分，從而使得可能提供好的再現(xiàn)圖像。 在此情況下，可以對(duì)亮度信號(hào)執(zhí)行閃爍成分減少處理，或者通過從要再現(xiàn)的 圖像信號(hào)形成三原色信號(hào)，可以對(duì)原色信號(hào)的每一個(gè)執(zhí)行閃爍成分減少處理。
已經(jīng)參照上述實(shí)施例描述了可以如圖2所示對(duì)三原色信號(hào)(R、 G、 B) 的每一個(gè)執(zhí)行閃爍減少處理，或者可以對(duì)亮度信號(hào)Y和三原色信號(hào)(R、 G、 B)的每一個(gè)執(zhí)行閃爍減少處理。然而，本發(fā)明不限于此。
如圖l所示，通過應(yīng)用本發(fā)明實(shí)施例的、配置為如圖4所示的閃爍減少 單元，可以對(duì)構(gòu)成視頻信號(hào)SV的每個(gè)亮度信號(hào)和色差信號(hào)執(zhí)行閃爍減少處 理。可替代地，通過配置為如圖4所示的閃爍減少單元，可以至少關(guān)于亮度 信號(hào)Y執(zhí)行閃爍減少處理。然后，也可以關(guān)于色差信號(hào)和各個(gè)顏色信號(hào)執(zhí)行 根據(jù)本發(fā)明實(shí)施例的閃爍減少處理。
此外， 本發(fā)明也適用于使用不同于CMOS成像設(shè)備的XY地址掃描型成 像設(shè)備的情況。
在上述實(shí)施例中，由積分塊31實(shí)現(xiàn)積分裝置，由歸一化塊35實(shí)現(xiàn)歸一 化裝置，由DFT塊51實(shí)現(xiàn)提取裝置和估算裝置，由存儲(chǔ)器143和重心計(jì)算 塊142實(shí)現(xiàn)檢測裝置，由偏差校正塊141實(shí)現(xiàn)校正裝置，并且由計(jì)算塊40實(shí) 現(xiàn)計(jì)算裝置。此外，由圖1中示出的CMOS成像設(shè)備12實(shí)現(xiàn)成像設(shè)備。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，取決于設(shè)計(jì)要求和其它因素，可以出現(xiàn)各 種修改、組合、子組合和替換，只要它們?cè)跈?quán)利要求和其等價(jià)物的范圍內(nèi)。
相關(guān)申請(qǐng)的交叉引用
本發(fā)明包含涉及于2008年3月3日向日本專利局提交的日本專利申請(qǐng) JP 2008-051534的主題，在此通過引用并入其全部內(nèi)容。
權(quán)利要求
1.一種圖像處理裝置，包括積分部件，用于在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖像信號(hào)，所述輸入圖像信號(hào)是可能包含具有與場時(shí)段或幀時(shí)段同步的變化圖案的閃爍成分的視頻信號(hào)；歸一化部件，用于歸一化通過所述積分部件獲得的積分值或相鄰場或幀之間通過所述積分部件獲得的所述積分值中的差值；提取部件，用于提取通過所述歸一化部件歸一化的所述積分值或所述差值的譜；估算部件，用于逐場或逐幀從由所述提取部件提取的譜估算閃爍成分；檢測部件，用于從由所述估算部件估算的最近的閃爍成分和由所述估算部件在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最近的閃爍成分的偏差；校正部件，用于基于由所述檢測部件檢測的所述閃爍成分的偏差，校正所述最近的閃爍成分；以及計(jì)算部件，用于計(jì)算校正的閃爍成分和輸入圖像信號(hào)，以便抵消由所述校正部件校正的所述閃爍成分。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中 所述估算部件估算復(fù)平面中的閃爍成分；所述檢測部件檢測與復(fù)平面中的原點(diǎn)的偏差作為最近的閃爍成分的偏 差，所述偏差由與場時(shí)段或幀時(shí)段同步的變化圖案內(nèi)的、各個(gè)場的閃爍成分
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中R(紅色)信號(hào)、G(綠 色)信號(hào)和B(藍(lán)色)信號(hào)的三原色信號(hào)的每一個(gè)用作輸入圖像信號(hào)。
4. 一種閃爍減少方法，包括以下步驟在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖像信號(hào)，所述輸入 圖像信號(hào)是可能包含具有與場時(shí)段或幀時(shí)段同步的變化圖案的閃爍成分的視 頻信號(hào)；歸一化通過所述積分獲得的積分值或相鄰場或幀之間通過所述積分獲得 的所述積分值中的差值；提取歸一化的積分值或差值的語；逐場或逐幀從提取的語估算閃爍成分；從估算的最近的閃爍成分和在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最 近的閃爍成分的偏差；基于閃爍成分的檢測的偏差，校正所述最近的閃爍成分；以及 計(jì)算估算的閃爍成分和輸入圖像信號(hào)，以便抵消校正的閃爍成分。
5. —種成像裝置，包括 XY地址掃描型的成像設(shè)備；積分部件，用于在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖像 信號(hào)，所述輸入圖像信號(hào)是通過由所述成像設(shè)備拍攝對(duì)象所獲得的視頻信號(hào)；歸一化部件，用于歸一化通過所述積分部件獲得的積分值或相鄰場或幀 之間通過所述積分部件獲得的所述積分值中的差值；提取部件，用于提取通過所述歸一化部件歸一化的所述積分值或所述差 值的鐠；估算部件，用于逐場或逐幀從由所述提取部件提取的鐠估算閃爍成分； 檢測部件，用于從由所述估算部件估算的最近的閃爍成分和由所述估算 部件在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最近的閃爍成分的偏差；校正部件，用于基于由所述檢測部件檢測的所述閃爍成分的偏差，校正所述最近的閃爍成分；以及計(jì)算部件，用于計(jì)算估算的閃爍成分和輸入圖像信號(hào)，以便抵消由所述校正部件校正的所述閃爍成分。
6. —種閃爍減少程序，其由并入圖像處理裝置的計(jì)算機(jī)執(zhí)行，所述圖像 處理裝置處理作為輸入圖像信號(hào)的視頻信號(hào)，所述視頻信號(hào)可能包含具有與 場時(shí)段或幀時(shí)段同步的變化圖案的閃爍成分，所述計(jì)算機(jī)執(zhí)行以下步驟通過積分部件，在等于或大于一個(gè)水平時(shí)^R的時(shí)間間隔上積分所述輸入 圖像信號(hào)；通過歸一化部件，歸一化通過所述積分獲得的積分值或相鄰場或幀之間通過所述積分獲得的所述積分值中的差值；通過提取部件，提取歸 一化的積分值或差值的譜；通過估算部件，逐場或逐幀從提取的譜估算閃爍成分；通過檢測部件，從估算的最近的閃爍成分和在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最近的閃爍成分的偏差；通過校正部件，基于閃爍成分的檢測的偏差，校正所述最近的閃爍成分；以及通過計(jì)算部件，減去校正的閃爍成分和輸入圖像信號(hào)，以便抵消校正的 閃爍成分。
7. —種圖像處理裝置，包括積分單元，配置為在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖 像信號(hào)，所述輸入圖像信號(hào)是可能包含具有與場時(shí)段或幀時(shí)段同步的變化圖 案的閃爍成分的視頻信號(hào)；歸一化單元，配置為歸一化通過所述積分單元獲得的積分值或相鄰場或 幀之間通過所述積分單元獲得的所述積分值中的差值；提取單元，配置為提取通過所述歸一化單元?dú)w一化的所述積分值或所述 差j直的i普；估算單元，配置為逐場或逐幀從由所述提取單元提取的譜估算閃爍成分；檢測單元，配置為從由所述估算單元估算的最近的閃爍成分和由所述估 算單元在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最近的閃爍成分的偏差；校正單元，配置為基于由所述檢測單元檢測的所述閃爍成分的偏差，校 正所述最近的閃爍成分；以及計(jì)算單元，配置為計(jì)算校正的閃爍成分和輸入圖像信號(hào)，以便抵消由所 述校正單元校正的所述閃爍成分。
8. —種成像裝置，包括 XY地址掃描型的成像設(shè)備；積分單元，配置為在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖 像信號(hào)，所述輸入圖像信號(hào)是通過由所述成像設(shè)備拍攝對(duì)象所獲得的視頻信 號(hào)；歸一化單元，配置為歸一化通過所述積分單元獲得的積分值或相鄰場或 幀之間通過所述積分單元獲得的所述積分值中的差值；提取單元，配置為提取通過所述歸一化單元?dú)w一化的所述積分值或所述 差值的譜；估算單元，配置為逐場或逐幀從由所述提取單元提取的譜估算閃爍成分； 檢測單元，配置為從由所述估算單元估算的最近的閃爍成分和由所述估 算單元在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最近的閃爍成分的偏差；校正單元，配置為基于由所述檢測單元檢測的所述閃爍成分的偏差，校正所述最近的閃爍成分；以及計(jì)算單元，配置為計(jì)算估算的閃爍成分和輸入圖像信號(hào)，以便抵消由所述校正單元校正的所述閃爍成分。
全文摘要
一種圖像處理裝置，包括積分單元，在等于或大于一個(gè)水平時(shí)段的時(shí)間間隔上積分輸入圖像信號(hào)；歸一化單元，歸一化通過所述積分單元獲得的積分值或相鄰場或幀之間所述積分值中的差值；提取單元，提取歸一化的所述積分值或差值的譜；估算單元，逐場或逐幀從提取的譜估算閃爍成分；檢測單元，從估算的最近的閃爍成分和在過去估算的一個(gè)或多個(gè)閃爍成分，檢測最近的閃爍成分的偏差；校正單元，基于檢測的所述閃爍成分的偏差，校正所述最近的閃爍成分；以及計(jì)算單元，計(jì)算校正的閃爍成分和輸入圖像信號(hào)，以便抵消校正的所述閃爍成分。
文檔編號(hào)H04N5/243GK101527787SQ20091011826
公開日2009年9月9日 申請(qǐng)日期2009年3月3日 優(yōu)先權(quán)日2008年3月3日
發(fā)明者三上真范 申請(qǐng)人:索尼株式會(huì)社