專利名稱:圖像拍攝裝置和圖像質(zhì)量校正方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種通過使用固態(tài)圖像拍攝部件拍攝物體圖像的圖像拍攝裝置,以及在此圖像拍攝期間使用的圖像質(zhì)量校正方法。
背景技術(shù):
近年來,用于將拍攝的圖像存儲為數(shù)字?jǐn)?shù)據(jù)的數(shù)字靜態(tài)照相機(jī)(digitalstill camera)變得流行起來。在數(shù)字靜態(tài)照相機(jī)中,通過使用諸如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器的圖像拍攝器件,由光學(xué)透鏡拍攝的圖像被光電轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù),其后,在其上執(zhí)行預(yù)定的信號處理,并將數(shù)據(jù)記錄在外部記錄介質(zhì)上等。
對于拍攝的圖像信號處理,執(zhí)行如下自動控制,如用于執(zhí)行適當(dāng)曝光的自動曝光(AE)、根據(jù)色溫進(jìn)行顏色校正的自動白平衡(AWB)、以及用于去除包含在圖像信號中的偏移的數(shù)字箝位(DCLP)。根據(jù)通過稀疏像素從圖像拍攝器件讀取的圖像信號,進(jìn)行上述自動控制的檢測。通常使用這種圖像信號作為液晶顯示(LCD)上的顯示數(shù)據(jù),由用戶用于在圖像拍攝期間進(jìn)行監(jiān)視。因此,執(zhí)行稀疏讀取的讀取操作模式稱為“監(jiān)視讀取模式”。
作為對照,不通過稀疏像素而從圖像拍攝器件讀取信號的讀取操作模式,在隔行掃描方式情況下稱為“幀讀取模式”,而在逐行掃描方式情況下稱為“所有像素(all-pixels)讀取模式”。它們共同稱為“拍攝讀取模式”。
圖14概略地示出了讀取操作模式在傳統(tǒng)數(shù)字靜態(tài)照相機(jī)中切換時、信號處理的示例。
圖14示出了使用隔行掃描方式的CCD作為圖像拍攝器件的情形。圖14的部分(A)示出了與幀、或場同步的同步信號。圖14的部分(B)示出了在CCD中讀取操作模式的切換。圖14的部分(C)、和(D)分別示出了對應(yīng)于上述切換的、用于AE、AWB和DCLP的控制的檢測過程和圖像生成過程的流程圖。圖14的部分(C)、和(D)中的檢測過程和圖像生成過程由例如照相機(jī)系統(tǒng)LSI執(zhí)行。
在定時T1401和T1402,如圖14的部分(B)所示,CCD操作于監(jiān)視讀取模式并執(zhí)行在其中稀疏像素的信號的讀取,而與同步信號同步。由監(jiān)視讀取模式獲得的圖像信號轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù),之后,如圖14的部分(C)所示,在照相機(jī)系統(tǒng)LSI中執(zhí)行用于AE、AWB和DCLP的控制的檢測。通過該檢測而獲得的數(shù)據(jù)傳送到例如微型計算機(jī),由此計算AE、AWB和DCLP的控制系數(shù),并且輸出這些系數(shù)給照相機(jī)系統(tǒng)LSI。
在照相機(jī)系統(tǒng)LSI中,如圖14的部分(D)所示,根據(jù)計算的系數(shù),在監(jiān)視讀取模式中獲得的圖像信號上執(zhí)行適當(dāng)?shù)膱D像質(zhì)量校正過程,執(zhí)行轉(zhuǎn)換為預(yù)定圖像數(shù)據(jù)格式的過程,從而執(zhí)行生成用于監(jiān)視的圖像信號(此后稱為“監(jiān)視圖像信號”)的過程。所生成的監(jiān)視圖像信號存儲在諸如動態(tài)隨機(jī)訪問存儲器(DRAM)之類的圖像存儲器中,之后,將該監(jiān)視圖像信號輸出給顯示模塊,從而,在諸如LCD的顯示器件上顯示,這樣,來執(zhí)行用戶的監(jiān)視。
用戶通過使用顯示器件來調(diào)整物體的視角,而此時顯示圖像要求高幀速率。監(jiān)視讀取模式是用于生成監(jiān)視圖像信號的讀取操作模式,所述監(jiān)視圖像信號通過讀取在CCD中稀疏像素的信號而具有少量信息。
接著,在定時T1402,當(dāng)用戶按下如快門開關(guān)時,CCD被置于拍攝讀取模式,并從水平方向的所有奇數(shù)行像素執(zhí)行信號讀取。在隨后的定時T1403,從所有偶數(shù)行像素執(zhí)行信號讀取。在拍攝讀取模式,由于未稀疏像素,同步信號間隔增加。通過拍攝讀取模式而獲得的圖像信號轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù),并暫時存儲這些數(shù)據(jù)在圖像存儲器中。
接著,在定時T1404,CCD返回監(jiān)視讀取模式。隨同此,從圖像存儲器讀取通過拍攝讀取模式而獲得的圖像信號,將所述圖像信號提供給照相機(jī)系統(tǒng)LSI,并開始生成圖像信號的過程,所述圖像信號將要記錄在如外部記錄介質(zhì)(此后稱為“拍攝的圖像信號”)上。如圖14的部分(D)所示,在照相機(jī)系統(tǒng)LSI中,在按下快門開關(guān)的定時T1402之前,通過使用從監(jiān)視讀取模式中的圖像信號而獲得的各種系數(shù),通過開環(huán)(open)控制來執(zhí)行用于來自存儲器的圖像信號的諸如AE、AWB和DCLP之類的校正過程,而且,還在其上執(zhí)行數(shù)據(jù)轉(zhuǎn)換過程,從而生成拍攝的圖像信號。再將生成的拍攝的圖像信號存儲在圖像存儲器中,其后,將所述信號傳送到外部記錄介質(zhì)中。
此后,在定時器T1405,在照相機(jī)系統(tǒng)LSI中,拍攝的圖像信號的生成過程結(jié)束,并且再次開始用于監(jiān)視讀取模式的圖像信號的檢測。
如上所述,在傳統(tǒng)數(shù)字靜止照相機(jī)中,AE、AWB和DCLP的控制在圖像信號上執(zhí)行,該圖像信號通過使用在上述拍攝讀取模式前的監(jiān)視讀取模式中由檢測獲得的各種系數(shù),在拍攝讀取模式期間拍攝。這因于基于這種觀念,即構(gòu)造于傳統(tǒng)上實時進(jìn)行照相機(jī)信號處理和檢測處理的假定之上。也就是說,這是因為,即使執(zhí)行用于在按下快門后輸出的圖像信號的檢測,也需要計算通過使用微型計算機(jī)檢測而獲得的數(shù)據(jù)的時間,并且不能根據(jù)該計算數(shù)值實時執(zhí)行照相機(jī)信號處理。
而且,在傳統(tǒng)數(shù)字靜止照相機(jī)中,在監(jiān)視讀取模式中讀出的作為稀疏像素的結(jié)果的圖像信號與沒有稀疏像素而讀出的圖像信號之間沒有大的差異。即使在監(jiān)視讀取模式中執(zhí)行檢測,并且通過使用各種計算的系數(shù),在拍攝讀取模式中獲得的圖像信號上根據(jù)開環(huán)(open)控制執(zhí)行校正過程,也不會出現(xiàn)拍攝的圖像的、圖像質(zhì)量上的嚴(yán)重問題。
然而,近來,因為CCD的像素數(shù)目已經(jīng)增加,通過監(jiān)視讀取模式而獲得的圖像信號和通過拍攝讀取模式而獲得的圖像信號之間的差異已經(jīng)變大,并且在傳統(tǒng)方法中、用于拍攝的圖像的AE、AWB和DCLP的校正過程不能合適地執(zhí)行了。
例如,在圖像拍攝器件中,根據(jù)曝光時間和溫度,出現(xiàn)的暗信號的量變大,并且,隨著像素數(shù)目增加,在拍攝讀取模式中讀取圖像信號花費(fèi)的時間增加,導(dǎo)致由于此時在圖像拍攝裝置中生成的暗信號的噪聲分量增加。結(jié)果,在監(jiān)視讀取模式和拍攝讀取模式的每一個中所獲得的圖像信號中,因為在基于監(jiān)視讀取模式中的檢測的、圖像質(zhì)量校正過程中、包含在其中的偏移差異大,所以出現(xiàn)了不能生成適當(dāng)圖像信號的問題。
而且,隨著像素數(shù)目增加,必須增加監(jiān)視讀取模式中的稀疏像素的比率,使得由用戶監(jiān)視的顯示圖像的幀速率不下降。結(jié)果,在圖像拍攝器件上的空間取樣(space sampling)出現(xiàn)顯著的偽信號(aliasing)。作為一個用于防止該偽信號的方法,在圖像拍攝裝置上的垂直方向添加同樣顏色的線的方法變得更普通。然而,在該方法中,對在監(jiān)視讀取模式中的圖像信號,由于線添加,輸出信號量變?yōu)?倍大。因此,在拍攝的圖像信號的處理期間,通過使用根據(jù)其中執(zhí)行了線添加的圖像信號的檢測的數(shù)據(jù),來執(zhí)行用于校正其中沒有執(zhí)行線添加的拍攝的圖像信號的過程,這樣,就使其難于執(zhí)行合適的控制。
除了涉及像素數(shù)目增加的問題,在AE、AWB和DCLP的校正過程中,還有其它一些常規(guī)問題。例如,在監(jiān)視讀取模式,通常,在打開機(jī)械快門時拍攝圖像。此時,所謂的污點(diǎn)可能出現(xiàn)在從圖像拍攝器件輸出的信號中。作為對照,在拍攝讀取模式,通常使用機(jī)械快門。在此情況中,從原理上講,不會出現(xiàn)污點(diǎn)。因此,可存在這種情形,其中,在兩種讀取操作模式中生成的圖像信號之間出現(xiàn)了明顯的差別。
而且,數(shù)字靜態(tài)照相機(jī)通常具有安裝在其中的閃光機(jī)制。該閃光機(jī)制在拍攝圖像前的監(jiān)視期間,即在監(jiān)視讀取模式中不操作,并且只在拍攝圖像的拍攝讀取模式中操作。因此,根據(jù)其中沒有發(fā)射閃光的圖像信號的檢測,來校正其中發(fā)射閃光的圖像信號,并且,從原理上講,不可能執(zhí)行精確的控制。
發(fā)明內(nèi)容
鑒于這類問題,提出了本發(fā)明。本發(fā)明的一個目的在于提供一種圖像拍攝裝置,它能使用具有大量像素的固態(tài)圖像拍攝器件,在拍攝的圖像上合適地執(zhí)行圖像質(zhì)量校正。
本發(fā)明的另一個目的在于提供一種圖像質(zhì)量校正方法,它能使用具有大量像素的固態(tài)圖像拍攝器件,在拍攝的圖像上合適地執(zhí)行圖像質(zhì)量校正。
為了克服前述的問題,本發(fā)明提供了一種用于拍攝物體圖像的圖像拍攝裝置,該圖像拍攝裝置包括安排成矩陣的固態(tài)圖像拍攝器件,包括其中通過稀疏像素而讀取拍攝的圖像信號的第一讀取操作模式,和其中沒有稀疏像素而讀取拍攝的圖像信號的第二讀取操作模式;暫時存儲裝置,用于暫時存儲從所述固態(tài)圖像拍攝器件在所述第二讀取操作模式期間讀取的圖像信號;檢測裝置,用于在從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取的所述圖像信號上執(zhí)行預(yù)定檢測,并且用于在從所述暫時存儲裝置在所述第二讀取操作模式期間讀取的所述圖像信號上執(zhí)行預(yù)定檢測;信號處理裝置,用于執(zhí)行預(yù)定的信號處理,該信號處理用于根據(jù)所述檢測裝置在每一個讀取操作模式期間所檢測的數(shù)據(jù),在從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取的所述圖像信號上、和在從所述暫時存儲裝置在所述第二讀取操作模式期間讀取的所述圖像信號上校正圖像質(zhì)量;以及讀取控制裝置,用于在該固態(tài)圖像拍攝器件從所述第一讀取操作模式切換到所述第二讀取操作模式時,讀取存儲在所述暫時存儲裝置中的所述圖像信號,并將該圖像信號提供給所述檢測裝置,此后,重新讀取所述圖像信號,并將該圖像信號提供給所述信號處理裝置。
在這種圖像拍攝裝置中,在所述固態(tài)圖像拍攝器件處于第一讀取操作模式時,通過稀疏像素從所述固態(tài)圖像拍攝器件讀取的圖像信號由所述檢測裝置檢測,并且根據(jù)該所檢測的數(shù)據(jù),所述信號處理裝置執(zhí)行用于圖像質(zhì)量校正的預(yù)定的信號處理。而且,在所述固態(tài)圖像拍攝器件切換到第二讀取操作模式時,沒有稀疏像素而從所述固態(tài)圖像拍攝器件讀取的圖像信號暫時存儲在暫時存儲裝置中,其后,從該暫時存儲裝置讀取該圖像信號,并且在讀取控制裝置的控制下將其供給所述檢測裝置。此后,從暫時存儲裝置再次讀取圖像信號,并且在讀取控制裝置的控制下將其供給所述信號處理裝置。然后,根據(jù)對在第二讀取操作模式讀取的圖像信號的檢測,所述信號處理裝置對該圖像信號執(zhí)行用于圖像質(zhì)量校正的信號處理。而且,例如,在第二讀取操作模式期間,在將要讀取暫時存儲在所述暫時存儲裝置中的圖像信號、并提供給所述檢測裝置時,讀取控制裝置通過以一種方式稀疏像素而讀取圖像信號,所述的方式為對應(yīng)于從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取。
而且,本發(fā)明提供一種通過使用固態(tài)圖像拍攝器件來拍攝物體圖像的圖像拍攝方法,該圖像質(zhì)量校正方法包括步驟在從所述固態(tài)圖像拍攝器件在第一讀取操作模式讀取的圖像信號上執(zhí)行預(yù)定檢測,在所述第一讀取操作模式,通過稀疏像素而讀取由所述固態(tài)圖像拍攝器件拍攝的所述圖像信號;執(zhí)行預(yù)定的信號處理,用于根據(jù)通過所述預(yù)定檢測而檢測的所述數(shù)據(jù),在所述圖像信號上校正圖像質(zhì)量;在所述固態(tài)圖像拍攝器件切換到第二讀取操作模式而沒有稀疏所述像素時,暫時存儲從所述固態(tài)圖像拍攝器件讀取的所述圖像信號;讀取所述存儲的圖像信號,并在其上執(zhí)行所述預(yù)定的檢測;以及重新讀取所述存儲的圖像信號,并執(zhí)行預(yù)定的信號處理,該信號處理用于根據(jù)通過所述預(yù)定檢測而檢測的所述數(shù)據(jù),在所述重新讀取的圖像信號上校正圖像質(zhì)量。
在這種圖像質(zhì)量校正方法中,在所述固態(tài)圖像拍攝器件從所述第一讀取操作模式切換到所述第二讀取操作模式時,暫時存儲沒有稀疏像素而從所述固態(tài)圖像拍攝器件讀取的圖像信號,其后,讀取該圖像信號,并且在其上執(zhí)行預(yù)定的檢測。此后,再次讀取暫時存儲的圖像信號,并且,根據(jù)對在第二讀取操作模式讀取的圖像信號的檢測,在該圖像信號上執(zhí)行用于圖像質(zhì)量校正的預(yù)定信號處理。而且,例如,在將要讀取暫時存儲的圖像信號、并在其上將要進(jìn)行預(yù)定檢測時,可以通過以一種方式稀疏像素而讀取所述圖像信號,所述的方式為對應(yīng)于從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取。
圖1是用來說明本發(fā)明的圖像拍攝裝置的配置示例的方框圖。
圖2是用來說明照相機(jī)系統(tǒng)LSI的內(nèi)部配置的示例的方框圖。
圖3概略地說明圖像拍攝器件中的像素編碼的示例。
圖4A和4B說明在逐行掃描方式中的圖像拍攝器件中讀取信號的示例。
圖5A和5B說明在隔行掃描方式中的圖像拍攝器件中讀取信號的示例。
圖6說明在隔行掃描方式情況中在監(jiān)視讀取模式中讀取信號的示例。
圖7說明在監(jiān)視讀取模式中執(zhí)行線添加的情況中讀取信號的示例。
圖8概略地說明在讀取操作模式在本發(fā)明的圖像拍攝裝置中切換時、信號處理的示例。
圖9是用來說明照相機(jī)預(yù)處理電路的內(nèi)部配置的示例的方框圖。
圖10說明數(shù)字箝位電路的配置的示例。
圖11說明數(shù)字增益電路的配置的示例。
圖12說明白平衡調(diào)整電路的配置的示例。
圖13是用來說明在拍攝的圖像時微型計算機(jī)的操作的流程圖。
圖14概略地說明在讀取操作模式在傳統(tǒng)數(shù)字靜態(tài)照相機(jī)中切換時、信號處理的示例。
具體實施例方式
下面將參照
本發(fā)明的各實施方式。
圖1是用來說明本發(fā)明的圖像拍攝裝置的配置示例的方框圖。圖1中所示的圖像拍攝裝置1用于拍攝物體的圖像并生成數(shù)字系統(tǒng)的圖像數(shù)據(jù)。所述圖像拍攝裝置1包括透鏡2a、光圈2b和快門2c,用于接收來自物體的光;圖像拍攝器件3,用于將該光進(jìn)行光電轉(zhuǎn)換;放大器4,用于驅(qū)動來自圖像拍攝器件3的模擬圖像信號;前端5,用于執(zhí)行諸如將模擬圖像信號轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)之類的過程;照相機(jī)系統(tǒng)LSI 6,用于在已經(jīng)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)的圖像信號上執(zhí)行圖像質(zhì)量校正過程、以及用于轉(zhuǎn)換為亮度信號和色差信號的過程;圖像存儲器7,用于存儲從照相機(jī)系統(tǒng)LSI 6輸出的圖像信號;定時發(fā)生電路(TG)8,用于驅(qū)動圖像拍攝器件3;以及微型計算機(jī)9,用于控制整個裝置。
透鏡2a沿著光軸可移動,并將來自物體的光正確收集進(jìn)入圖像拍攝器件3。光圈2b通過改變收集的光通過的區(qū)域,來控制提供給圖像拍攝器件3的光量??扉T2c通過阻塞光傳輸,來控制圖像拍攝器件3中的曝光。存在光圈2b也用作為快門2c的功能的情形。透鏡2a、光圈2b和快門2c的操作由微型計算機(jī)9控制。
以這種方式配置圖像拍攝器件3,諸如CCD和CMOS圖像傳感器之類的、大量的固態(tài)圖像拍攝器件以矩陣集成。圖像拍攝器件3把來自物體的光轉(zhuǎn)換為電信號,并輸出該信號作為電流值或電壓值。而且,圖像拍攝器件3包括其中對一次掃描中的一幀或一場的所有像素讀出存儲的電荷的讀取操作模式,以及其中通過稀疏像素讀出存儲的電荷的讀取操作模式。此后,前者稱為“拍攝讀取模式”,而后者稱為“監(jiān)視讀取模式”。
而且,為了在空間取樣期間去除信號的偽(aliasing)分量,由于稀疏像素的比率在監(jiān)視讀取模式中高,圖像拍攝器件3具有如下功能即,在監(jiān)視讀取模式期間,添加同樣顏色的線的信號,并將其關(guān)于圖像拍攝器件3中的垂直方向的像素而進(jìn)行輸出。
放大器4驅(qū)動來自圖像拍攝器件3的模擬圖像信號,并將該模擬圖像信號提供給前端5。
前端5包括取樣/保持(S/H)和增益/控制(GC)電路5a、以及A/D轉(zhuǎn)換電路5b。S/H和GC電路5a通過關(guān)聯(lián)的雙取樣過程,在經(jīng)由放大器4提供的模擬圖像信號上,執(zhí)行針對通常稱為1/F波動噪聲等的噪聲消除處理,并在必要時進(jìn)一步執(zhí)行增益調(diào)整。例如,在入射到圖像拍攝器件3的光強(qiáng)度弱時,在微型計算機(jī)9的控制下放大輸入圖像信號。A/D轉(zhuǎn)換電路5b將來自S/H和GC電路5a的信號轉(zhuǎn)換為數(shù)字圖像信號,并將該數(shù)字圖像信號提供給照相機(jī)系統(tǒng)LSI 6。
照相機(jī)系統(tǒng)LSI 6在微型計算機(jī)9的控制下從前端5檢測圖像信號,并且,在執(zhí)行用于將該圖像信號從圖像存儲器7讀取和寫入的讀/寫操作時,照相機(jī)系統(tǒng)LSI 6執(zhí)行諸如白平衡調(diào)整、和偏移消除之類的圖像質(zhì)量校正過程、以及用于將該圖像信號轉(zhuǎn)換為亮度信號和色差信號的過程。而且,經(jīng)過這種過程后生成的圖像信號輸出給顯示器件(未示出)的顯示模塊或外部記錄介質(zhì)的寫模塊。而且,同步信號輸出給前端5和TG 8。
圖像存儲器7是諸如DRAM或SDRAM(同步DRAM)之類的半導(dǎo)體存儲器,并暫時存儲來自照相機(jī)系統(tǒng)LSI 6的數(shù)字系統(tǒng)的圖像信號。
TG 8在圖像拍攝器件3中、在微型計算機(jī)9的控制下控制水平和垂直方向的驅(qū)動定時。而且,在圖像拍攝器件3具有高速/低速快門功能時,TG 8對該功能執(zhí)行曝光時間控制。
微型計算機(jī)9管理整個圖像拍攝裝置1的控制。例如,微型計算機(jī)9執(zhí)行如下控制,例如通過光圈2b控制曝光量、通過對快門2c進(jìn)行開/關(guān)控制而控制曝光時間、在圖像拍攝器件3中控制讀取操作模式(將在后面描述)、在前端5的S/H和GC電路5a中控制增益、操作控制和計算用于照相機(jī)系統(tǒng)LSI 6的控制值、通過TG 8控制圖像拍攝器件3的電子快門功能等。
下面,將在描述照相機(jī)系統(tǒng)LSI 6的內(nèi)部配置。圖2是示出了照相機(jī)系統(tǒng)LSI 6的內(nèi)部配置例子的方框圖。
照相機(jī)系統(tǒng)LSI 6包括數(shù)據(jù)總線選擇器61和62,用于切換圖像信號的輸入;檢測處理電路63,用于檢測輸入圖像信號;照相機(jī)預(yù)處理電路64,用于在輸入圖像信號上執(zhí)行諸如圖像質(zhì)量校正過程的信號處理;照相機(jī)主處理電路65,執(zhí)行用于把輸入圖像信號轉(zhuǎn)換為亮度信號和色差信號的過程;存儲器控制器66,用于控制從圖像存儲器7讀取和寫入;以及定時發(fā)生電路67,用于在照相機(jī)系統(tǒng)LSI 6內(nèi)的電路中生成定時信號。
根據(jù)來自微型計算機(jī)9的控制信號,數(shù)據(jù)總線選擇器61在來自前端5的圖像信號與經(jīng)由存儲器控制器66而來自圖像存儲器7的圖像信號之間,把輸入切換到檢測處理電路63和照相機(jī)預(yù)處理電路64。而且,數(shù)據(jù)總線選擇器62在來自前端5的圖像信號與來自照相機(jī)主處理電路65的圖像信號之間,把輸入切換到存儲器控制器66。
檢測處理電路63執(zhí)行檢測,用于在從數(shù)據(jù)總線選擇器61輸入的圖像信號上執(zhí)行AE、AWB和DCLP控制。例如,檢測處理電路63執(zhí)行如下過程即,為了AE控制而用于在檢測幀內(nèi)積分(integrating)亮度信號分量的過程、為了AWB控制而用于積分逐色(color-by-color)電平的過程、以及為了DCLP控制而用于在光學(xué)暗(OPB)區(qū)域中積分每種顏色的偏移電平的過程。檢測處理電路63把通過每一個過程而得到的、所檢測的數(shù)據(jù)輸出給微型計算機(jī)9。
根據(jù)微型計算機(jī)9計算的控制值,照相機(jī)預(yù)處理電路64在從數(shù)據(jù)總線選擇器61輸入的圖像信號上執(zhí)行如下圖像質(zhì)量校正過程,如白平衡、DCLP、增益調(diào)整、γ校正和鉗位處理。
照相機(jī)主處理電路65在從照相機(jī)預(yù)處理電路64輸入的、由例如RGB基色信號組成的圖像信號上執(zhí)行像素插值過程、頻率特性校正過程等,使圖像信號轉(zhuǎn)換為由亮度信號(Y)和色差信號(Cb/Cr)形成的常規(guī)圖像數(shù)據(jù)格式。
存儲器控制器66緩沖從數(shù)據(jù)總線選擇器62提供的圖像信號,執(zhí)行圖像存儲器7的尋址,并在微型計算機(jī)9的控制下將該圖像信號存儲進(jìn)圖像存儲器7的指定區(qū)域。而且,存儲器控制器66讀出指定區(qū)域的圖像信號,并將其輸出給數(shù)據(jù)總線選擇器61。
存儲器控制器66其中包括稀疏/增加電路66a。稀疏/增加電路66a具有用于通過在將要從圖像存儲器7讀取圖像信號時稀疏像素、而從圖像存儲器7讀取圖像信號的功能,以及在矩陣中的垂直方向增加同色的線的圖像信號、并將其輸出的功能。在上述稀疏讀取期間,通過匹配將要減少的像素的位置、以及以一種方式進(jìn)行顏色編碼,來進(jìn)行讀取,所述的一種方式對應(yīng)在監(jiān)視讀取模式中的圖像拍攝器件3的稀疏方法。而且,在線增加期間,類似地,以一種方式進(jìn)行讀取,所述的一種方式匹配在監(jiān)視讀取模式中的圖像拍攝器件3的線增加和增加方法。
定時發(fā)生電路67生成定時信號,用作對前端5和照相機(jī)系統(tǒng)LSI 6、TG8等的每一個內(nèi)部電路的操作參考。
圖像拍攝裝置1的圖像拍攝器件3包括兩種讀取操作模式,即上述方式的拍攝讀取模式和監(jiān)視讀取模式。拍攝讀取模式是用于生成拍攝的圖像的操作模式,且生成的圖像信號包括用于在圖像拍攝器件3中提供的所有像素的數(shù)據(jù),使可以顯示高分辨率圖像。
監(jiān)視讀取模式是用于生成將要示出在諸如LCD之類的顯示器件上的圖像信號的操作模式,于是,例如,在拍攝圖像前,視角由用戶調(diào)整。在該監(jiān)視讀取模式,通過稀疏像素從圖像拍攝器件3讀取信號的結(jié)果是,將要生成的圖像信號的數(shù)據(jù)量減少了,而且可增加顯示器件中顯示圖像的幀速率。
這里,將給出在基色單板CCD用作為圖像拍攝器件3的情況中的一個例子的說明。圖3概略地示出了圖像拍攝器件3中的像素編碼的例子。
例如,如圖3中所示,基色濾波器R、Gr、Gb和B定位在圖像拍攝裝置1中提供的圖像拍攝器件3中。Gr和Gb分別指出與R信號和B信號設(shè)置在同一水平線上的G信號。
在逐行掃描方式中,水平線像素順序存儲在水平寄存器中,并且,例如,作為從左側(cè)順序讀取的結(jié)果,輸出所有像素的信號。而且,在隔行掃描方式的情況中,首先,諸如圖中的A1和A2的奇數(shù)行像素順序讀出,其后,諸如B1和B2的偶數(shù)行像素順序讀出,從而輸出一幀的所有像素。
現(xiàn)在,將在下面給出具有這種像素編碼的圖像拍攝器件3中的信號讀取操作的說明。圖4A和4B示出在逐行掃描方式的情況中讀取信號的例子。
在逐行掃描方式的圖像拍攝器件3的情況中,在拍攝讀取模式,如圖4A中所示,從水平方向的第一行開始順序讀取所有像素的信號。圖4B示出在監(jiān)視讀取模式情況中的像素稀疏讀取的例子。這里,黑色填充部分指出對其沒有執(zhí)行讀取信號的像素。在該例子中,在如第一行和第四行、以及第九行和第十二行那樣維持像素編碼時,作為從8行讀取兩行圖像信號的結(jié)果,將要讀取的像素數(shù)目減少到1/4。
下面,將描述在隔行掃描方式情況中讀取信號的例子。圖5A和5B示出在隔行掃描方式情況中在拍攝讀取模式中讀取信號的例子。
在隔行掃描方式情況中,在兩場的間隔讀取圖像拍攝器件3中的圖像信號。在讀取第一場期間,如圖5A中所示,例如,讀取水平方向的奇數(shù)行的圖像信號,而在下面讀取第二場期間,如圖5B中所示,讀取偶數(shù)行的圖像信號。每場的圖像信號暫時存儲在圖像存儲器7中,從而生成用于包括所有像素的一幀的圖像信號。
圖6示出在隔行掃描方式情況中在監(jiān)視讀取模式中讀取信號的例子。
在監(jiān)視讀取模式,以類似于上述逐行掃描方式的方式,在一次掃描中讀取用于一幀的像素信號。在圖6的例子中,在維持像素編碼時,作為從8行讀取兩行像素信號的結(jié)果,像素數(shù)目減少到1/4。
而且,在圖4B和6中所示的監(jiān)視讀取模式中讀取信號的例子中,因為像素信號以一行為單位讀出,有必要在由圖像拍攝器件3處理的像素數(shù)目變大時增加稀疏比率,圖像變得粗糙,而且在空間取樣期間的偽信號(aliasing)變得可能發(fā)生。因此可知,通過以增加的方式讀取在垂直方向的多行中的同樣顏色的像素信號,改進(jìn)了圖像質(zhì)量。
圖7示出在隔行掃描方式執(zhí)行線添加的情況中讀取信號的例子。
在圖7的例子中,從垂直方向的12行讀取4行,并且,由水平寄存器31增加用于兩行的垂直方向的同樣顏色的鄰近像素的信號,并將其輸出。例如,對R信號和Gr信號,增加第一行和第三行的圖像信號,并輸出,而對Gb信號和B信號,增加第8行和第10行的圖像信號,并輸出。
結(jié)果,在將要輸出的像素數(shù)目減少為所有像素的1/6時,兩倍于它的、1/3的視頻信息量反映在圖像中,因而校正了由于稀疏讀取而導(dǎo)致的圖像的粗糙。而且,作為增加用于垂直方向的兩行的同樣顏色的像素信號的結(jié)果,作用如一個帶通濾波器,可減少因空間取樣而出現(xiàn)在圖像中的偽(aliasing)噪聲。然而,應(yīng)當(dāng)注意,由于這種增加,輸出圖像信號的電平變?yōu)閮杀陡摺?br>
在前述中,雖然已經(jīng)描述了基色單板CCD用作為圖像拍攝器件3的情況中,但是,在例如使用一個3板CCD時,可以在用于關(guān)于每種顏色的同樣數(shù)量的線的圖像信號上執(zhí)行稀疏讀取。
在圖像拍攝裝置1中,照相機(jī)系統(tǒng)LSI 6在微型計算機(jī)9的控制下、在拍攝的圖像信號上、執(zhí)行諸如曝光、白平衡和偏移之類的用于執(zhí)行校正過程的檢測。而且,通過將該檢測結(jié)果發(fā)送給微型計算機(jī)9,以及通過接收計算結(jié)果的輸入,實現(xiàn)了自動曝光(AE)校正、自動白平衡(AWB)、和用于去除偏移的數(shù)字鉗位(DCLP)過程的功能。
在監(jiān)視讀取模式,在以稀疏方式從圖像拍攝器件3讀取的圖像信號上執(zhí)行檢測,并且,根據(jù)該檢測的數(shù)據(jù),執(zhí)行圖像質(zhì)量校正控制。而且,例如在拍攝讀取模式,在按下快門按鈕后,通常,根據(jù)在前面的監(jiān)視讀取模式所檢測的數(shù)據(jù)執(zhí)行圖像質(zhì)量校正控制。然而,在本發(fā)明中,除了上述情況中,還在拍攝讀取模式中讀取的圖像信號上執(zhí)行檢測,從而改進(jìn)圖像質(zhì)量校正的精確度。
圖8概略地說明在圖像拍攝裝置1的切換中、作為讀取操作模式的信號處理的示例?,F(xiàn)在將參考圖8在下面描述圖像拍攝裝置1的操作。
圖8示出隔行掃描方式的CCD用作為圖像拍攝器件3的情形。圖8(A)示出與幀或場同步的同步信號。圖8(B)示出在圖像拍攝器件3中讀取操作模式的切換。圖8(C)和8(D)示出在用于控制AE、AWB和DCLP的照相機(jī)系統(tǒng)LSI 6中的檢測過程和圖像生成過程,分別對應(yīng)于上述切換。圖14(C)的檢測過程是在檢測處理電路63中執(zhí)行的過程,而圖14(D)的圖像生成過程是在照相機(jī)預(yù)處理電路64和照相機(jī)主處理電路65中執(zhí)行的過程。
在定時T801和T802,如圖8(B)中所示,圖像拍攝器件3操作在監(jiān)視讀取模式中,并且與同步信號同步地對其中稀疏了像素的信號進(jìn)行讀取。在監(jiān)視讀取模式得到的圖像信號經(jīng)由放大器4提供給前端5,由此,將該圖像信號轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。此后,用于控制AE、AWB和DCLP的檢測過程在照相機(jī)系統(tǒng)LSI 6的檢測處理電路63中進(jìn)行。通過該檢測過程得到數(shù)據(jù)傳遞給微型計算機(jī)9,由此計算用于控制AE、AWB和DCLP的系數(shù),并將其輸出給照相機(jī)系統(tǒng)LSI 6的照相機(jī)預(yù)處理電路64。
如圖8(D)中所示,在照相機(jī)預(yù)處理電路64中,根據(jù)從微型計算機(jī)9輸出的數(shù)據(jù),啟動生成用于用戶監(jiān)視的圖像信號(下面稱為“監(jiān)視圖像信號”)的過程。在照相機(jī)預(yù)處理電路64中,根據(jù)在微型計算機(jī)9中計算的系數(shù),在監(jiān)視讀取模式得到的圖像信號上執(zhí)行適當(dāng)?shù)膱D像質(zhì)量校正過程。而且,為了控制AE,根據(jù)計算的結(jié)果,也通過微型計算機(jī)9執(zhí)行對光圈2b、前端5等的控制。從照相機(jī)預(yù)處理電路64輸出的圖像信號在照相機(jī)主處理電路65中進(jìn)一步轉(zhuǎn)換為亮度信號和色差信號,并且生成監(jiān)視圖像信號。
生成的監(jiān)視圖像信號在存儲器控制器66控制下存儲在圖像存儲器7中,此后該圖像信號輸出到例如顯示模塊,并且,該圖像信號顯示在諸如CCD之類的顯示器件上。該顯示圖像由用戶監(jiān)視。由于顯示圖像此時基于在圖像拍攝器件3中通過稀疏讀取像素而生成的圖像信號,所以,顯示圖像以高幀速率顯示。而且,在執(zhí)行用于垂直方向的同樣顏色的線的增加過程、并且在圖像拍攝器件3中輸出圖像信號時,減少了圖像中的偽噪聲。
下面,在定時T802,在用于生成拍攝的圖像的請求供給微型計算機(jī)9作為例如用戶按下快門開關(guān)的結(jié)果時,如圖8(B)所示,圖像拍攝器件3切換到拍攝讀取模式,并且快門2c在微型計算機(jī)9的控制下操作。在圖像拍攝器件3中,首先,對用于例如水平方向的奇數(shù)行的所有像素的信號進(jìn)行讀取。在隨后的定時T803,對用于偶數(shù)行的所有像素的信號進(jìn)行讀取。
在該拍攝讀取模式,因為像素沒有稀疏,同步信號的間隔增加。在拍攝讀取模式得到的圖像信號由前端5經(jīng)過放大器4轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù),此后,在照相機(jī)系統(tǒng)LSI 6的存儲器控制器66控制下,該數(shù)字?jǐn)?shù)據(jù)暫時存儲在圖像存儲器7的預(yù)定地址。
下面,在定時T804,圖像拍攝器件3返回到監(jiān)視讀取模式。接著,與此同時,在拍攝讀取模式得到的圖像信號在存儲器控制器66控制下從圖像存儲器7讀出,并且該圖像信號提供給照相機(jī)系統(tǒng)LSI 6。在照相機(jī)系統(tǒng)LSI6中,作為數(shù)據(jù)總線選擇器61切換的結(jié)果,存儲在圖像存儲器7中的包括所有像素信號的圖像信號提供給檢測處理電路63。
這里,存儲器控制器66通過以一種方式稀疏像素而讀取存儲的圖像信號,所述的一種方式即稀疏/增加電路66a的功能控制讀取圖像存儲器7的地址。在該稀疏讀取中,在圖像信號要在監(jiān)視讀取模式在圖像拍攝器件3讀取時,與要讀取的像素位置和像素編碼進(jìn)行匹配。而且,在圖像拍攝器件3已經(jīng)在垂直方向執(zhí)行線增加、并已經(jīng)輸出像素信號時,稀疏/增加電路66a執(zhí)行增加過程,使圖像拍攝器件3中的線增加、關(guān)于其中進(jìn)行稀疏讀取的像素信號而匹配像素位置,并且經(jīng)過數(shù)據(jù)總線選擇器61將該信號輸出到檢測處理電路63。
檢測處理電路63在提供的圖像信號上執(zhí)行檢測,并將檢測結(jié)果輸出給微型計算機(jī)9。然后,在隨后的定時T805,由微型計算機(jī)9根據(jù)該檢測結(jié)果執(zhí)行用于圖像質(zhì)量校正的各種系數(shù)的計算。這里,通過使用在拍攝讀取模式檢測的數(shù)據(jù)、以及在按下快門開關(guān)的定時T802前使用在監(jiān)視讀取模式的圖像信號的檢測結(jié)果,由微型計算機(jī)9計算各種系數(shù)。
在隨后的定時T806,計算的各種系數(shù)從微型計算機(jī)9提供給照相機(jī)預(yù)處理電路64。與此同時,在存儲器控制器66的控制下再次讀取存儲在圖像存儲器7中的圖像信號,并且經(jīng)過數(shù)據(jù)總線選擇器61提供給照相機(jī)預(yù)處理電路64。此時,存儲器控制器66讀取圖像信號的所有像素數(shù)據(jù)而不使用稀疏/增加電路66a的功能。這樣,啟動用于生成用于在外部記錄介質(zhì)上記錄的圖像信號(此后稱為“拍攝的圖像信號”)的過程。
在照相機(jī)預(yù)處理電路64中,根據(jù)來自微型計算機(jī)9的各種系數(shù),在其上還沒有執(zhí)行稀疏和線增加的輸入圖像信號上執(zhí)行圖像質(zhì)量校正過程。在該圖像質(zhì)量校正過程中,執(zhí)行曝光、白平衡、偏移消除等處理。而且,該圖像信號提供給照相機(jī)主處理電路65,由此在其上執(zhí)行像素插入過程,并將信號轉(zhuǎn)換為亮度信號和色差信號,從而生成拍攝的圖像信號。
生成的拍攝的圖像信號經(jīng)過數(shù)據(jù)總線選擇器62供給存儲器控制器66,并且在存儲器控制器66的控制下將該圖像信號存儲在圖像存儲器7的預(yù)定地址上。而且,再次讀取存儲的拍攝的圖像信號,并使其經(jīng)過例如分辨率轉(zhuǎn)換過程和數(shù)據(jù)壓縮過程,并將該圖像信號傳送給外部記錄介質(zhì)等。
此后,在定時T807,在照相機(jī)系統(tǒng)LSI 6中,拍攝的圖像信號的生成過程結(jié)束,并且再次開始對于在監(jiān)視讀取模式中得到的圖像信號的檢測。
在這種用于在拍攝讀取模式生成的圖像信號的過程中,根據(jù)在拍攝讀取模式前的監(jiān)視讀取模式中、由檢測處理電路63所檢測的數(shù)據(jù)、以及通過檢測在拍攝讀取模式中讀取的圖像信號而得到的數(shù)據(jù),來執(zhí)行照相機(jī)預(yù)處理電路64中的圖像質(zhì)量校正過程。因此,通過考慮在監(jiān)視讀取模式和拍攝讀取模式中生成的每一個圖像信號的圖像狀態(tài)的差異,可以執(zhí)行對拍攝的圖像信號的圖像質(zhì)量校正過程。
例如,在圖像拍攝器件3具有大量像素時,在拍攝讀取模式,讀取所有像素花費(fèi)的時間增加,并且可能在圖像信號中發(fā)生大偏移。在上述處理中,因為可檢測該偏移,所以可在照相機(jī)預(yù)處理電路64中執(zhí)行使用DCLP的、適當(dāng)?shù)钠葡幚?,從而可以改進(jìn)圖像質(zhì)量。
而且,在監(jiān)視讀取模式,存在在圖像信號中出現(xiàn)污點(diǎn)的情況。該污點(diǎn)通常不出現(xiàn)在拍攝讀取模式。在上述處理中,因為可檢測因出現(xiàn)污點(diǎn)而引起的每一個讀取模式的圖像信號的差異,所以,可以根據(jù)該差異執(zhí)行圖像質(zhì)量校正過程。
而且,在圖像拍攝裝置1具備閃光機(jī)制時,該閃光機(jī)制通常僅僅操作于拍攝讀取模式。因此,在上述處理中,因為可檢測因閃光機(jī)制激勵存在或不存在而引起的圖像信號的差異,所以在照相機(jī)預(yù)處理電路64中,根據(jù)該差異可執(zhí)行適當(dāng)?shù)钠毓庑U桶灼胶庑U?br>
而且,因為可由存儲器控制器66的稀疏/增加電路66a執(zhí)行存儲在圖像存儲器7中的圖像信號的稀疏讀取,所以減少了將要提供給檢測處理電路63的圖像信號的數(shù)據(jù)量,因而可縮短執(zhí)行檢測過程所花費(fèi)的時間。
在監(jiān)視讀取模式,為了減少隨稀疏比率增加而顯著發(fā)生的偽噪聲,圖像拍攝器件3有時執(zhí)行垂直方向上的線增加。類似的線增加可由稀疏/增加電路66a在從圖像存儲器7讀取的信號上執(zhí)行,并且可將該信號提供給檢測處理電路63。因此,在監(jiān)視讀取模式和拍攝讀取模式的每一個圖像信號的檢測、通過匹配的作為參考的信號電平而變得可能,因而可進(jìn)行精確的圖像質(zhì)量校正。
而且,在稀疏/增加電路66a中的稀疏讀取和線增加過程,通過像素稀疏位置、像素編碼和作為匹配的參考的信號電平,允許對在拍攝讀取模式生成的圖像信號和在監(jiān)視讀取模式生成的圖像信號執(zhí)行檢測。因此,與通常情況相比,對檢測處理電路63和照相機(jī)預(yù)處理電路64不需要進(jìn)行大的系統(tǒng)改變,并且可改進(jìn)生成的圖像信號的圖像質(zhì)量。
在從圖像存儲器7讀取圖像信號、并提供給檢測處理電路63時,可將所有像素的信號提供給檢測處理電路63而不在稀疏/增加電路66a中執(zhí)行稀疏讀取。在此情況中,因為根據(jù)在拍攝讀取模式讀取的圖像信號中的所有像素的檢測,可執(zhí)行圖像質(zhì)量校正,可以提高圖像質(zhì)量校正的精確度。然而,在此情況中,對檢測處理電路63和微型計算機(jī)9要求更高的處理性能,并且增加了制造成本。
在下面將給出在圖像信號上的檢測過程和圖像質(zhì)量校正過程的描述。在下面給出了基色單板CCD用作為圖像拍攝器件3的情況中的描述。
在檢測處理電路63中,主要計算用于控制AE、AWB和DCLP的所檢測的數(shù)據(jù)。對于用于上述數(shù)據(jù)中的AE的所檢測的數(shù)據(jù),輸入圖像信號中的檢測幀預(yù)先設(shè)置,在該幀內(nèi)的亮度信號電平對所有像素積分,并且該積分值輸出給微型計算機(jī)9。對亮度信號電平,例如,使用R、Gr、Gb和B的4顏色的平均值。而且,對用于AWB的所檢測的數(shù)據(jù),檢測幀中的每一種顏色的信號電平對檢測幀中的所有像素進(jìn)行積分,并且每一種顏色的積分值輸出給微型計算機(jī)9。而且,對用于DCLP的所檢測的數(shù)據(jù),積分圖像信號中OPB區(qū)域的每一種顏色的偏移電平,并且該積分值輸出給微型計算機(jī)9。
微型計算機(jī)9計算用于AE、AWB和DCLP的每一個系數(shù),作為圖像質(zhì)量校正的控制值,并將其發(fā)送給照相機(jī)系統(tǒng)LSI 6的照相機(jī)預(yù)處理電路64。而且,在監(jiān)視讀取模式,對AE,不將系數(shù)發(fā)送給照相機(jī)預(yù)處理電路64,并且控制光圈2b、前端5的S/H和GC電路5a及TG 8,以便產(chǎn)生最適宜的曝光。
這里,將描述在照相機(jī)預(yù)處理電路64中的圖像質(zhì)量校正過程的概要。圖9是顯示照相機(jī)預(yù)處理電路64的內(nèi)部配置的例子的方框圖。
照相機(jī)預(yù)處理電路64包括用于消除包含在輸入圖像信號中的偏移的數(shù)字箝位電路64a,用于調(diào)整信號電平、以校正曝光的數(shù)字增益電路64b,用于調(diào)整白平衡的白平衡調(diào)整電路64c,以及用于執(zhí)行γ校正的γ校正電路64d。
對于上述電路中的γ校正電路64d,可使用如通常使用的、具有同樣配置的電路。在拍攝讀取模式,在使存儲器控制器66的稀疏/增加電路66a作用于讀取圖像信號時,如通常情形那樣具有同樣配置的電路可使用于數(shù)字箝位電路64a和白平衡調(diào)整電路64c。數(shù)字增益電路64b是在本發(fā)明中新提供的電路,后面將要描述。
圖10示出數(shù)字箝位電路64a的配置示例。
如圖10中所示,數(shù)字箝位電路64a由用于從輸入圖像信號中的每一個彩色信號電平減去微型計算機(jī)9計算的偏移量的減法電路641組成。在微型計算機(jī)9中,作為對每一種顏色的偏移電平,對每一個像素計算系數(shù)R_CLP、Gr_CLP、Gb_CLP和B_CLP的值。數(shù)字箝位電路64a從輸入圖像信號減去從微型計算機(jī)9接收的每一個系數(shù)的值。結(jié)果,去除了主要因暗信號引起的、包含于在拍攝讀取模式讀取的圖像信號中的偏移。
圖11示出數(shù)字增益電路64b的配置例。
如圖11中所示,數(shù)字增益電路64b由用于把從微型計算機(jī)9計算的關(guān)于輸入圖像信號的信號電平的所有顏色乘以固定增益系數(shù)的乘法電路642組成。
這里,在拍攝讀取模式提供的圖像信號已經(jīng)以一種方式經(jīng)過曝光校正,所述的一種方式即打開光圈2b、由快門2c產(chǎn)生曝光時間以及由前端5執(zhí)行增益調(diào)整。因此,通過新提供數(shù)字增益電路64b,根據(jù)在拍攝讀取模式中的圖像信號,輸入圖像信號的每一種顏色的信號電平乘以恒定增益系數(shù),從而進(jìn)一步執(zhí)行對亮度的校正。結(jié)果,可以校正圖像的亮度差異,作為所有如閃光功能的結(jié)果。
圖12示出白平衡調(diào)整電路64c的配置例。
如圖12中所示,白平衡調(diào)整電路64c由用于將輸入圖像信號中的每一種顏色的信號電平乘以由微型計算機(jī)9計算的WB系數(shù)的乘法電路643組成。在微型計算機(jī)9中,作為每一種顏色的WB系數(shù),對每一個像素計算值R_WB、Gr_WB、Gb_WB和B_WB。白平衡調(diào)整電路64c將輸入圖像信號乘以從微型計算機(jī)9接收的每一個系數(shù)的值。結(jié)果,可以校正因使用如閃光功能引起的圖像中的顏色差異。
數(shù)字鉗位電路64a和白平衡調(diào)整電路64c也可在同一電路中實現(xiàn)。通過如參考查找表(LUT)、通過折疊近似方法等,γ校正電路64d在輸入圖像信號的每一種顏色的信號電平上執(zhí)行非線性信號轉(zhuǎn)換過程。
圖13是示出在拍攝圖像時、微型計算機(jī)9的操作的流程圖。
在步驟S1301,圖像拍攝器件3和TG 8設(shè)置于監(jiān)視讀取模式。在圖像拍攝器件3中,根據(jù)該設(shè)置,輸出其中已經(jīng)執(zhí)行了稀疏讀取像素和垂直方向的線增加的圖像信號。此時,微型計算機(jī)9使透鏡2a、光圈2b和前端5根據(jù)初始設(shè)置、或根據(jù)以前使用的設(shè)置操作。而且,微型計算機(jī)9控制數(shù)據(jù)總線選擇器61,使經(jīng)過前端5輸入到照相機(jī)系統(tǒng)LSI 6的圖像信號輸入到檢測處理電路63,由此檢測該圖像信號。
在步驟S1302,從檢測處理電路63接收所檢測的數(shù)據(jù)。接著,存儲接收的數(shù)據(jù),以準(zhǔn)備將來在拍攝讀取模式中使用。在步驟S1303,根據(jù)接收的所檢測的數(shù)據(jù),計算用于AE、AWB和DCLP的各種系數(shù),作為圖像質(zhì)量校正的控制值。此時,還執(zhí)行用于自動聚焦(AF)的控制值的計算。
在步驟S1304,輸出控制值的計算結(jié)果,并且執(zhí)行用于照相機(jī)預(yù)處理電路64的AWB和DCLP功能的控制。接著,作為AE控制,執(zhí)行光圈2b、前端5和TG 8的操作控制。接著,執(zhí)行用于透鏡2a的AF控制。其質(zhì)量由照相機(jī)預(yù)處理電路64校正的圖像信號、在照相機(jī)主處理電路65中進(jìn)一步經(jīng)過用于轉(zhuǎn)換為亮度信號和色差信號的過程,并將該圖像信號輸出為監(jiān)視圖像信號。
在步驟S1305,控制數(shù)據(jù)總線選擇器62和存儲器控制器66以使生成的監(jiān)視圖像信號存儲在圖像存儲器7中。此后,讀取存儲的監(jiān)視圖像信號,并將該圖像信號發(fā)送給顯示模塊(未顯示),由此將該拍攝的圖像顯示在顯示器件上。
在步驟S1306,確定如快門按鈕是否打開。在快門按鈕沒有打開時,過程返回到步驟S1302,在那里重復(fù)執(zhí)行用于在監(jiān)視讀取模式中的圖像信號的圖像質(zhì)量校正過程,并且,監(jiān)視圖像信號順序生成。結(jié)果,用于AE、AWB、DCLP和AF的、最適宜的控制在高幀速率的圖像信號上執(zhí)行,該圖像信號在圖像拍攝器件3中通過稀疏讀取而得到。當(dāng)在步驟S1306中確定快門按鈕打開時,過程前進(jìn)到步驟S1307。
在步驟S1307,圖像拍攝器件3和TG 8設(shè)置于拍攝讀取模式。結(jié)果,快門2c操作,并且,在圖像拍攝器件3中,對所有像素的存儲電荷進(jìn)行讀取。在隔行掃描方式情況中,通過兩次掃描而讀取所有像素的存儲電荷。此時,不執(zhí)行垂直方向的線增加。在步驟S1308中,切換數(shù)據(jù)總線選擇器62,并且,通過控制存儲器控制器66,從前端5輸出的圖像信號暫時存儲在圖像存儲器7中。
在步驟S1309中,切換數(shù)據(jù)總線選擇器61,并且,通過控制存儲器控制器,讀取暫時存儲在圖像存儲器7中的圖像信號,并將圖像信號輸入到檢測處理電路63,由此檢測圖像信號。此時,存儲器控制器66中的稀疏/增加電路66a工作,并且根據(jù)在存儲器讀取模式期間的圖像拍攝器件3中的功能,在圖像信號上執(zhí)行稀疏讀取和線增加。
在步驟S1310,從檢測處理電路63接收所檢測的數(shù)據(jù)。在步驟S1311,根據(jù)接收的所檢測的數(shù)據(jù),計算圖像質(zhì)量校正的控制值。此時,例如,僅僅根據(jù)此時接收的所檢測的數(shù)據(jù),計算用于DCLP的系數(shù),并且通過參考該所檢測的數(shù)據(jù)、和在上述所檢測的數(shù)據(jù)前的監(jiān)視讀取模式期間所存儲的所檢測的數(shù)據(jù),來計算AE和AWB系數(shù)。
在步驟S1312,通過控制存儲器控制器66,再次讀取暫時存儲在圖像存儲器7中的圖像信號,并將圖像信號輸入到照相機(jī)預(yù)處理電路64。此時,存儲器控制器66中的稀疏/增加電路66a停止工作,并且讀取用于所有像素的圖像信號。
在步驟S1313,將各種系數(shù)輸出到照相機(jī)預(yù)處理電路64,并且在照相機(jī)預(yù)處理電路64中執(zhí)行AE、AWB和DCLP功能的控制。結(jié)果,對于像素沒有稀疏的圖像信號執(zhí)行曝光、白平衡和偏移校正。接著,在照相機(jī)主處理電路65中,執(zhí)行用于分離為亮度信號和色差信號的過程,并且生成拍攝的圖像信號。
在步驟S1314,通過控制存儲器控制器66,生成的拍攝的圖像信號存儲在圖像存儲器7的預(yù)定區(qū)域。此后,讀取存儲的拍攝的圖像信號,該信號傳送給用于分辨率轉(zhuǎn)換過程等、數(shù)據(jù)壓縮過程等的處理模塊,并將該圖像信號傳送給外部記錄介質(zhì)(未顯示)。
在上述流程圖的步驟S1311中,在微型計算機(jī)9中,用于AE和AWB的每一個系數(shù)可僅僅使用拍攝讀取模式的所檢測的數(shù)據(jù)來計算。然而,通過使用拍攝讀取模式前的監(jiān)視讀取模式中的所檢測的數(shù)據(jù),拍攝讀取模式的圖像信號的圖像質(zhì)量可在一定程度上被估計,并且可有效提高圖像質(zhì)量校正的精確度。
因而,如上所述,在本發(fā)明的圖像拍攝裝置中,在第二讀取操作模式中,從固態(tài)圖像拍攝器件讀取而沒有稀疏的圖像信號提供給檢測裝置,由此在其上執(zhí)行檢測。因此,由于根據(jù)用于在第二讀取操作模式中讀取的圖像信號的檢測,信號處理裝置執(zhí)行用于該圖像信號的圖像質(zhì)量校正的信號處理,所以甚至在固態(tài)圖像拍攝器件具有的大數(shù)目像素時,也可以合適地執(zhí)行圖像質(zhì)量校正。
而且,例如,在第二讀取操作模式期間,在讀取存儲在暫時存儲裝置中的圖像信號、并提供給檢測裝置時,讀取控制裝置可以通過以一種方式稀疏像素而讀取圖像信號,即對應(yīng)于在第一讀取操作模式期間從固態(tài)圖像拍攝器件讀取。結(jié)果,縮短了檢測需要的時間,并且與常規(guī)情況相比,不對檢測裝置和信號處理裝置的配置進(jìn)行大的改變,就可實現(xiàn)每一個功能。
在本發(fā)明的圖像質(zhì)量校正方法本發(fā)明的中,在固態(tài)圖像拍攝器件從第一讀取操作模式切換到第二讀取操作模式時,在沒有稀疏而從固態(tài)圖像拍攝器件讀取的圖像信號上執(zhí)行預(yù)定檢測。因此,由于根據(jù)用于在第二讀取操作模式讀取的圖像信號的檢測,執(zhí)行用于圖像質(zhì)量校正的預(yù)定信號處理,所以甚至在固態(tài)圖像拍攝器件具有的大數(shù)目像素時,也可以合適地執(zhí)行圖像質(zhì)量校正。
而且,例如,在讀取暫時存儲的圖像信號、并在其上執(zhí)行預(yù)定檢測時,可以通過以一種方式稀疏像素而讀取圖像信號,所述的一種方式即對應(yīng)于在第一讀取操作模式期間從固態(tài)圖像拍攝器件讀取。結(jié)果,縮短了檢測所需要的時間,并且與常規(guī)情況相比,不對檢測裝置和信號處理裝置的配置進(jìn)行大的改變,就可以實現(xiàn)每一個功能。
權(quán)利要求
1.一種用于拍攝物體圖像的圖像拍攝裝置,所述圖像拍攝裝置包括安排成矩陣的固態(tài)圖像拍攝器件,包括其中通過稀疏像素而讀取拍攝的圖像信號的第一讀取操作模式,和其中沒有稀疏像素而讀取拍攝的圖像信號的第二讀取操作模式;暫時存儲裝置,用于暫時存儲從所述固態(tài)圖像拍攝器件在所述第二讀取操作模式期間讀取的圖像信號;檢測裝置,用于對從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取的所述圖像信號進(jìn)行預(yù)定檢測,并且用于在從所述暫時存儲裝置在所述第二讀取操作模式期間讀取的所述圖像信號上執(zhí)行預(yù)定檢測;信號處理裝置,用于執(zhí)行預(yù)定的信號處理,該信號處理用于,根據(jù)所述檢測裝置在每一個所述讀取操作模式期間檢測的所述數(shù)據(jù),在從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取的所述圖像信號上、和在從所述暫時存儲裝置在所述第二讀取操作模式期間讀取的所述圖像信號上,校正圖像質(zhì)量;以及讀取控制裝置,用于在該固態(tài)圖像拍攝器件從所述第一讀取操作模式切換到所述第二讀取操作模式時,讀取存儲在所述暫時存儲裝置中的所述圖像信號,并將該圖像信號提供給所述檢測裝置,此后,重新讀取所述圖像信號,并將該圖像信號提供給所述信號處理裝置。
2.根據(jù)權(quán)利要求1所述的圖像拍攝裝置,其中,所述讀取控制裝置通過以一種方式稀疏像素而讀取存儲在所述暫時存儲裝置中的所述圖像信號,并將該圖像信號提供給所述檢測裝置,所述的方式為對應(yīng)于從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取。
3.根據(jù)權(quán)利要求1所述的圖像拍攝裝置,其中,在所述第二讀取操作模式期間,根據(jù)在所述檢測裝置中檢測的所述檢測的數(shù)據(jù)、和在切換到所述第二讀取操作模式前的所述第一讀取操作模式期間得到的所述檢測的數(shù)據(jù),所述信號處理裝置執(zhí)行所述預(yù)定的信號處理。
4.根據(jù)權(quán)利要求1所述的圖像拍攝裝置,其中,所述固態(tài)圖像拍攝器件包括第一信號增加裝置,用于增加垂直方向的同樣顏色的線中的多個像素的信號,并且在所述第一讀取操作模式期間讀取它們,以及所述讀取控制裝置包括第二信號增加裝置,用于將對應(yīng)所述第一信號增加裝置的像素的信號增加到從所述暫時存儲裝置在所述第二讀取操作模式期間讀取的所述圖像信號上,并將所述信號提供給所述檢測裝置。
5.根據(jù)權(quán)利要求1所述的圖像拍攝裝置,其中,所述信號處理裝置根據(jù)由所述檢測裝置檢測的所述數(shù)據(jù),在所述輸入圖像信號上調(diào)整白平衡。
6.根據(jù)權(quán)利要求1所述的圖像拍攝裝置,其中,所述信號處理裝置根據(jù)由所述檢測裝置檢測的所述數(shù)據(jù),在所述輸入圖像信號上執(zhí)行偏移消除處理。
7.根據(jù)權(quán)利要求1所述的圖像拍攝裝置,其中,所述信號處理裝置根據(jù)由所述檢測裝置檢測的所述數(shù)據(jù),在所述輸入圖像信號上執(zhí)行增益調(diào)整。
8.一種通過使用固態(tài)圖像拍攝器件來拍攝物體圖像的圖像質(zhì)量校正方法,所述圖像質(zhì)量校正方法包括步驟在從所述固態(tài)圖像拍攝器件在第一讀取操作模式讀取的圖像信號上執(zhí)行預(yù)定檢測,在所述第一讀取操作模式,通過稀疏像素而讀取由所述固態(tài)圖像拍攝器件拍攝的所述圖像信號;執(zhí)行預(yù)定的信號處理,用于根據(jù)通過所述預(yù)定檢測而檢測的所述數(shù)據(jù),在所述圖像信號上校正圖像質(zhì)量;在所述固態(tài)圖像拍攝器件切換到第二讀取操作模式而沒有稀疏所述像素時,暫時存儲從所述固態(tài)圖像拍攝器件讀取的所述圖像信號;讀取所述存儲的圖像信號,并在其上執(zhí)行所述預(yù)定的檢測;以及重新讀取所述存儲的圖像信號,并執(zhí)行預(yù)定的信號處理,該預(yù)定的信號處理用于根據(jù)通過所述預(yù)定檢測而檢測的所述數(shù)據(jù),在所述重新讀取的圖像信號上校正圖像質(zhì)量。
9.根據(jù)權(quán)利要求8所述的圖像質(zhì)量校正方法,其中,在所述第二讀取操作模式期間,在將要讀取暫時存儲的所述圖像信號、并將要在其上執(zhí)行所述預(yù)定檢測時,通過以一種方式稀疏像素而讀取所述圖像信號,所述的方式為對應(yīng)于從所述固態(tài)圖像拍攝器件在所述第一讀取操作模式期間讀取。
全文摘要
圖像拍攝裝置使用具有大量像素的固態(tài)圖像拍攝器件,能對拍攝的圖像合適地執(zhí)行圖像質(zhì)量校正。在監(jiān)視讀取模式,照相機(jī)系統(tǒng)LSI(6)檢測通過圖像拍攝器件(3)稀疏像素而讀出的讀圖像信號,微型計算機(jī)(9)根據(jù)檢測的數(shù)據(jù)計算用于圖像質(zhì)量校正的控制值,照相機(jī)系統(tǒng)LSI(6)根據(jù)控制值執(zhí)行圖像信號的圖像質(zhì)量校正。圖像拍攝器件切換到拍攝讀取模式時,照相機(jī)系統(tǒng)LSI(6)在圖像存儲器(7)中暫時存儲所有讀取像素的圖像信號,然后讀出圖像信號,并對其檢測。根據(jù)檢測的數(shù)據(jù)、和在先前使用的監(jiān)視讀取模式中檢測的數(shù)據(jù),微型計算機(jī)(9)計算控制值。照相機(jī)系統(tǒng)LSI(6)再次讀出圖像信號,并由微型計算機(jī)(9)根據(jù)控制值執(zhí)行圖像質(zhì)量校正。
文檔編號H04N5/345GK1489862SQ02804158
公開日2004年4月14日 申請日期2002年9月20日 優(yōu)先權(quán)日2001年10月3日
發(fā)明者中島健, 佐藤伸行, 三井敏, 行 申請人:索尼公司