專利名稱：攝像裝置和圖像恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像裝置和圖像恢復(fù)方法，其中檢測到振動以將模糊圖像恢復(fù)到無模糊的圖像。
背景技術(shù)：
在攝像裝置(例如數(shù)字?jǐn)z像機(jī)、視頻攝像機(jī)等)中，對由攝像時的振動而劣化的圖像進(jìn)行校正以恢復(fù)接近于原始圖像的圖像。例如，在數(shù)字?jǐn)z像機(jī)(下文中有時簡稱為攝像機(jī))中，在校正靜止圖像等中的振動時，在攝像時使用角速度傳感器等檢測攝像機(jī)晃動的軌跡，并且在攝像后基于所檢測到的晃動軌跡執(zhí)行預(yù)定的圖像恢復(fù)操作。
已經(jīng)提出了在恢復(fù)無任何模糊的圖像的過程中，利用點(diǎn)擴(kuò)展函數(shù)(point spread function PSF)對振動進(jìn)行校正。當(dāng)利用該點(diǎn)擴(kuò)展函數(shù)時，可以相對容易地恢復(fù)圖像。這里，對于利用點(diǎn)擴(kuò)展函數(shù)進(jìn)行了校正的已恢復(fù)圖像，將振動軌跡上的像素的亮度值用作一個函數(shù)，但是振動軌跡之外的像素的影響也不能忽略。因此，根據(jù)點(diǎn)擴(kuò)展函數(shù)計算出的振動軌跡并不是完全對應(yīng)于模糊圖像的振動軌跡，因此很難準(zhǔn)確地恢復(fù)圖像。由于是在攝像之后執(zhí)行預(yù)定的圖像恢復(fù)操作，所以這種對圖像中振動的校正并不適合于直通圖像(through image)。
為了解決這個問題，在日本特開平11-134481號公報中，根據(jù)模糊圖像和從振動軌跡數(shù)據(jù)中獲取的點(diǎn)擴(kuò)展函數(shù)來恢復(fù)該模糊圖像。因此，在恢復(fù)過程中，考慮振動軌跡周圍像素的亮度值來產(chǎn)生恢復(fù)圖像。根據(jù)這種圖像恢復(fù)方法，還考慮了振動軌跡之外的像素的影響，從而獲得比以上更加令人滿意的恢復(fù)圖像。
這里，當(dāng)存在圖像失真時，尤其是基于光學(xué)系統(tǒng)失真的圖像失真時，并且由于振動而改變了攝像機(jī)的方向時，在圖像中央附近的近軸區(qū)域中的圖像模糊不同于遠(yuǎn)離圖像中央附近的外圍區(qū)域中的圖像模糊。因此，當(dāng)簡單地通過近軸區(qū)域中的計算來計算振動軌跡時，所計算出的振動軌跡不同于攝像單元(CCD)中的振動軌跡，從而無法在整個屏幕上準(zhǔn)確地恢復(fù)圖像。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種攝像裝置和圖像恢復(fù)方法，其中消除了由攝像鏡頭系統(tǒng)帶來的圖像失真的影響，并且對圖像進(jìn)行了準(zhǔn)確地恢復(fù)。
根據(jù)本發(fā)明的第一種模式，提供了一種攝像裝置，特征在于包括光學(xué)系統(tǒng)(2)，其形成物體圖像；攝像單元(114)，其從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)；振動檢測單元(108、109、110)，其檢測攝像裝置的振動；振動檢測信號存儲單元(113)，其存儲在攝像單元(114)的曝光期間從振動檢測單元(108、109、110)輸出的時間序列振動檢測信號；圖像劣化信息存儲單元(171)，其中存儲了光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像的劣化信息；圖像劣化校正單元(172)，其根據(jù)圖像劣化信息存儲單元(171)中存儲的圖像劣化信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像的劣化進(jìn)行校正；以及振動恢復(fù)單元(123)，其根據(jù)振動檢測信號存儲單元(113)中存儲的時間序列振動檢測信號，針對從圖像劣化校正單元(172)輸出的圖像數(shù)據(jù)，對由于振動而劣化的圖像進(jìn)行恢復(fù)。
根據(jù)本發(fā)明的第二種模式，提供了根據(jù)模式1的攝像裝置，特征在于還包括記錄介質(zhì)(153)，其中記錄有從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)；以及記錄單元(152)，其將從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)記錄在記錄介質(zhì)(153)中。
根據(jù)本發(fā)明的第三種模式，提供了一種攝像裝置，特征在于包括光學(xué)系統(tǒng)(2)，其形成物體圖像；攝像單元(114)，其從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)；振動檢測單元(108、109、110)，其檢測攝像裝置的振動；振動檢測信號存儲單元(113)，其存儲在攝像裝置(114)的曝光期間從校正檢測單元(108、109、110)輸出的時間序列振動檢測信號；圖像劣化信息存儲單元(171)，其中存儲有光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像的劣化信息；圖像劣化校正單元(172)，其根據(jù)圖像劣化信息存儲單元(171)中存儲的圖像劣化信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像劣化進(jìn)行校正；振動恢復(fù)單元(123)，其根據(jù)振動檢測信號存儲單元(113)中存儲的時間序列振動檢測信號，針對從圖像劣化校正單元(172)輸出的圖像數(shù)據(jù)，對由振動而劣化的圖像進(jìn)行恢復(fù)；壓縮單元(151)，其壓縮從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)；以及記錄單元(152)，其將從壓縮單元(151)輸出的圖像數(shù)據(jù)記錄到記錄介質(zhì)(153)中。
根據(jù)本發(fā)明的第四種模式，提供了根據(jù)模式1的攝像裝置，特征在于圖像劣化信息包括與光學(xué)系統(tǒng)的像差相關(guān)的信息。
根據(jù)本發(fā)明的第五種模式，提供了根據(jù)模式4的攝像裝置，特征在于光學(xué)系統(tǒng)的像差是一種失真。
根據(jù)本發(fā)明的第六種模式，提供了根據(jù)模式1的攝像裝置，特征在于圖像劣化信息包括與陰影相關(guān)的信息。
根據(jù)本發(fā)明的第七種模式，提供了一種攝像裝置，特征在于包括光學(xué)系統(tǒng)(2)，其形成物體圖像；攝像單元(114)，其從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)；振動檢測單元(108、109、110)，其檢測攝像裝置的振動；振動檢測信號存儲單元(113)，其存儲在攝像單元(114)的曝光期間從所述振動檢測單元(108、109、110)輸出的時間序列振動檢測信號；失真信息存儲單元(118)，其中存儲有與光學(xué)系統(tǒng)(2)所產(chǎn)生的失真相關(guān)的信息；失真校正單元(172)，其根據(jù)在失真信息存儲單元(118)中存儲的與失真相關(guān)的信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對由光學(xué)系統(tǒng)(2)所產(chǎn)生的失真進(jìn)行校正；振動恢復(fù)單元(123)，其根據(jù)振動檢測信號存儲單元(113)中存儲的時間序列振動檢測信號，針對從失真校正單元(172)輸出的圖像數(shù)據(jù)，對由振動而劣化的圖像進(jìn)行恢復(fù)；失真逆校正單元(123)，其針對從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)，在桶形失真方向上以預(yù)定量對所述失真進(jìn)行逆校正；以及記錄單元(152)，其將從失真逆校正單元(123)輸出的圖像數(shù)據(jù)記錄在記錄介質(zhì)(153)中。
根據(jù)本發(fā)明的第八種模式，提供了一種根據(jù)模式7的攝像裝置，特征在于失真逆校正單元(123)以相對于失真校正的小比率對所述失真進(jìn)行逆校正。
根據(jù)本發(fā)明的第九種模式，提供了一種圖像恢復(fù)方法，特征在于包括通過拍攝來獲得圖像數(shù)據(jù)；檢測拍攝時的振動；基于光學(xué)系統(tǒng)的圖像劣化信息來校正拍攝到的圖像數(shù)據(jù)；以及基于該振動對校正后的由于振動而劣化的圖像數(shù)據(jù)進(jìn)行恢復(fù)。
在下面的說明書中將闡述本發(fā)明的優(yōu)點(diǎn)，部分根據(jù)說明書而顯而易見，或者可以通過本發(fā)明的實(shí)踐而習(xí)得?？梢越柚谙挛闹刑貏e指出的手段及其組合來實(shí)現(xiàn)并獲取本發(fā)明的優(yōu)點(diǎn)。


在此結(jié)合并構(gòu)成說明書一部分的附圖示出了本發(fā)明的實(shí)施例，并與上面給出的一般性描述和下面給出的實(shí)施例的詳細(xì)描述一起用于解釋本發(fā)明的原理。
圖1A是本發(fā)明第一和第二實(shí)施例中的數(shù)字?jǐn)z像機(jī)的前表面透視圖；圖1B是本發(fā)明第一和第二實(shí)施例中的數(shù)字?jǐn)z像機(jī)的后表面透視圖；圖2是鏡頭單元的示意圖；圖3的圖示出了第一和第二實(shí)施例中的數(shù)字?jǐn)z像機(jī)的控制電路的結(jié)構(gòu)；圖4A的圖示出了在靜止圖像中進(jìn)行電子振動校正的原理，并示出了振動旋轉(zhuǎn)角θx在X軸方向上的變化；圖4B的圖示出了在靜止圖像中進(jìn)行電子振動校正的原理，并示出了振動旋轉(zhuǎn)角θy在Y軸方向上的變化；圖4C的圖示出了在靜止圖像中進(jìn)行電子振動校正的原理，并示出了攝像裝置上的振動軌跡；圖4D的圖示出了在靜止圖像中進(jìn)行電子振動校正的原理，并示出了原始圖像和所拍攝圖像之間的關(guān)系；圖5A的圖示出了在運(yùn)動圖像中進(jìn)行電子振動校正的原理，并示出了3個變化的圖框(frame)；圖5B的圖示出了在運(yùn)動圖像中進(jìn)行電子振動校正的原理，并示出了表示簡單地連續(xù)顯示3個圖框的圖像；圖5C的圖示出了在運(yùn)動圖像中進(jìn)行電子振動校正的原理，并示出了表示連續(xù)顯示已校正圖像的圖像；圖6A的圖示出了運(yùn)動圖像模式中的運(yùn)動圖像和直通圖像中、以及靜止圖像模式中的直通圖像和靜止圖像中的電子振動校正量；圖6B的圖示出了對運(yùn)動圖像模式中的運(yùn)動圖像和直通圖像中、以及靜止圖像模式中的直通圖像和靜止圖像中的圖像剪切范圍進(jìn)行表示的CCD圖像；圖7是示出了第一和第二實(shí)施例中的圖像恢復(fù)操作的主要處理的流程圖的前半部分；圖8是示出了第一和第二實(shí)施例中的圖像恢復(fù)操作的主要處理的流程圖的后半部分；圖9的圖示出了本發(fā)明第三實(shí)施例中的數(shù)字?jǐn)z像機(jī)的控制電路的結(jié)構(gòu)；圖10是示出了第三實(shí)施例中的順序控制電路的處理的流程圖；圖11A是在失真為0的情況下的第三實(shí)施例中的圖像失真的示意圖；圖11B是第三實(shí)施例中的圖像失真的示意圖，示出了桶形失真；圖11C是第三實(shí)施例中的圖像失真的示意圖，示出了枕形失真；圖11D是第三實(shí)施例中的圖像失真的示意圖，示出了圖像高度和失真校正之間的關(guān)系；圖11E是第三實(shí)施例中的圖像失真的示意圖，示出了圖像高度；圖12是示出了在恢復(fù)圖像失真時的順序控制電路的處理的流程圖；圖13的圖示出了本發(fā)明第四實(shí)施例中的數(shù)字?jǐn)z像機(jī)控制電路的結(jié)構(gòu)；圖14的圖示出了本發(fā)明第四實(shí)施例中的第一變型例的數(shù)字?jǐn)z像機(jī)控制電路的結(jié)構(gòu)；以及圖15的圖示出了本發(fā)明第四實(shí)施例中的第二變型例的數(shù)字?jǐn)z像機(jī)控制電路的結(jié)構(gòu)。
具體實(shí)施例方式
下文中將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1A是作為根據(jù)本發(fā)明第一實(shí)施例的攝像裝置的一個示例的數(shù)字?jǐn)z像機(jī)的前表面透視圖，而圖1B是作為根據(jù)本發(fā)明第一實(shí)施例的攝像裝置的一個示例的數(shù)字?jǐn)z像機(jī)的后表面透視圖。
從圖1A可見，鏡頭單元2與攝像機(jī)體1的前表面相連。從圖1B中可以看出，取景器6與攝像機(jī)體1的后表面組裝為一體。鏡頭單元2包括用于攝像的多個鏡頭，以及驅(qū)動部。下面將參考圖2詳細(xì)地描述鏡頭單元2。
當(dāng)按下(接通)釋放開關(guān)(release switch)3時，啟動攝像操作。變焦開關(guān)4包括T按鈕4-1和W按鈕4-2。當(dāng)按壓T按鈕時，拍攝鏡頭的放大率改變到望遠(yuǎn)鏡側(cè)(telescope side)。當(dāng)按壓W按鈕時，鏡頭的放大率改變到廣角鏡側(cè)(wide side)。當(dāng)按下振動模式開關(guān)5時，攝像機(jī)的模式被設(shè)置為振動模式。在這種情況下，模式燈5-1點(diǎn)亮。因此，攝影師看到攝像機(jī)進(jìn)入振動模式。
取景器6例如是一種電子取景器，其中通過小型放大鏡對小尺寸的LCD進(jìn)行放大。通過取景器6，可以顯示所謂的直通圖像，其實(shí)時顯示了攝像裝置(CCD)的圖像。模式鍵(滑行鍵)7是用于轉(zhuǎn)換到靜止圖像或運(yùn)動圖像的轉(zhuǎn)換開關(guān)。當(dāng)將模式鍵7設(shè)置到S側(cè)(STILL)時，設(shè)置了靜止圖像模式。當(dāng)將模式鍵7設(shè)置到M側(cè)(MOVIE)時，設(shè)置了運(yùn)動圖像模式。
閃光燈8在用于照亮物體的亮度低時發(fā)出光。模式操作鍵9由設(shè)置在確定按鈕周圍的四個按鈕構(gòu)成。通過該模式操作鍵9打開宏攝像(macrophotography)、自定時器、閃光燈等。在背面LCD面板10中，再現(xiàn)所拍攝的圖像，并可以顯示直通圖像。背面LCD面板10與取景器6一起用作監(jiān)視器。當(dāng)按下電源開關(guān)11時，可以在攝像機(jī)中進(jìn)行曝光、攝像等。
圖2是作為光學(xué)系統(tǒng)的鏡頭單元2的示意圖。鏡頭單元2例如具有3個透鏡12、13、14。在這3個透鏡中，透鏡12、13是放大率改變透鏡(變焦透鏡)，改變其相互位置關(guān)系從而來改變各個透鏡的焦距。在變焦過程中，變焦電機(jī)104的驅(qū)動力經(jīng)由齒輪18a、18b傳送到用于變焦的透鏡驅(qū)動凸輪機(jī)構(gòu)17。此外，通過用于變焦的透鏡驅(qū)動凸輪機(jī)構(gòu)17，沿光軸移動透鏡12、13。
透鏡14是聚焦透鏡，其沿著光軸前/后移動以調(diào)整聚焦。在聚焦調(diào)整過程中，聚焦電機(jī)105的驅(qū)動力經(jīng)由齒輪20a、20b傳送到用于聚焦的透鏡驅(qū)動凸輪機(jī)構(gòu)19。此外，通過用于聚焦的透鏡驅(qū)動凸輪機(jī)構(gòu)19移動透鏡14。例如，將由CCD構(gòu)成的攝像器件(攝像單元)114放置在透鏡14的后面。穿過透鏡12、13、14的光束形成攝像器件114上的圖像，并且通過攝像裝置的各個像素進(jìn)行光電轉(zhuǎn)換。如此來拍攝圖像。由光圈15和快門16控制到攝像器件114上的光量(曝光量)?？梢允褂脭z像器件114的設(shè)備快門(電子快門)來代替機(jī)械快門16。
圖3是數(shù)字?jǐn)z像機(jī)控制電路的框圖。電池101包括諸如鋰離子充電電池的可充電電池。電源電路102通過升壓和降壓電路，從電池101的電壓中產(chǎn)生具有各個處理電路所需電壓的電源，來為各個處理電路供電。電機(jī)驅(qū)動器電路103包括含有開關(guān)晶體管的電路。電機(jī)驅(qū)動器電路103根據(jù)順序控制電路119的指令驅(qū)動并控制變焦電機(jī)104、聚焦電機(jī)105、快門電機(jī)106和光圈電機(jī)107。角速度傳感器108、109檢測繞著以直角相互交叉的X軸和Y軸的角速度。如圖1A所示，角速度傳感器108、109沿著為元件徑向的軸布置，并且設(shè)置在以直角相互交叉的所述軸的方向上，以檢測沿著這些軸的角速度。
模擬處理電路110去除角速度傳感器108、109的輸出的偏移量，同時放大角速度傳感器108、109的輸出。這里，模擬處理電路110與角速度傳感器108、109一起構(gòu)成了振動檢測單元。通過A/D轉(zhuǎn)換電路111將模擬處理電路110的輸出轉(zhuǎn)換為數(shù)字信號，并輸入到基本軌跡運(yùn)算電路112中。該基本軌跡運(yùn)算電路112將A/D轉(zhuǎn)換電路111的輸出對于時間求積分，從而計算對于各時間的位移角。此外，該電路輸出根據(jù)時間的位移角，即以時間序列輸出該角，并且計算由攝像器件114的攝像平面上的光軸附近的圖像振動而產(chǎn)生的在垂直方向或水平方向上的振動軌跡。這里，振動傳感器并不限于角速度傳感器108、109。只要操作處理被改變，即可使用角加速度傳感器或一對加速度傳感器來代替角速度傳感器108、109。軌跡存儲電路113是存儲有由基本軌跡運(yùn)算電路112檢測出的振動軌跡的存儲器，并且用作振動檢測信號存儲單元。
攝像器件114包括位于參考圖2所述的鏡頭單元2后面的CCD。應(yīng)當(dāng)注意，根據(jù)來自順序控制電路119的控制信號經(jīng)由CCD驅(qū)動器(未示出)來驅(qū)動并控制攝像器件114。CCD輸出處理單元115處理來自攝像器件(CCD)114的輸出。圖像存儲器116暫時保存從攝像器件114輸出的數(shù)據(jù)以及在CCD輸出處理電路115中處理的圖像數(shù)據(jù)。圖像處理電路117對圖像存儲器116中存儲的數(shù)據(jù)進(jìn)行諸如RGB處理和陰影校正處理的基本處理。應(yīng)當(dāng)注意，圖像處理電路117不進(jìn)行妨礙模糊圖像的恢復(fù)操作的γ變換或圖像壓縮。通過下述的圖像壓縮擴(kuò)展電路151執(zhí)行這些處理。將由圖像處理電路117處理的數(shù)據(jù)發(fā)送到圖像恢復(fù)操作電路123和圖像移動電路132。
圖像恢復(fù)函數(shù)計算電路122計算用于恢復(fù)由振動引起的圖像劣化的圖像恢復(fù)函數(shù)f-1。這里，圖像恢復(fù)函數(shù)f-1是由振動產(chǎn)生的圖像劣化函數(shù)的反函數(shù)。通過根據(jù)基本軌跡運(yùn)算電路112的輸出對相對于原始圖像的變化進(jìn)行預(yù)測來計算圖像恢復(fù)函數(shù)f-1。應(yīng)當(dāng)注意，在屏幕中央，根據(jù)從基本軌跡運(yùn)算電路112的輸出來直接計算該圖像恢復(fù)函數(shù)f-1。然而，對于屏幕中央之外的區(qū)域，數(shù)字?jǐn)z像機(jī)的透鏡12、13和14產(chǎn)生取決于變焦和聚焦位置的圖像的失真，因此需要對基本軌跡運(yùn)算電路112的輸出進(jìn)行校正。所以，在第一實(shí)施例的數(shù)字?jǐn)z像機(jī)中，對于各個屏幕區(qū)域，將用于校正與變焦和聚焦位置對應(yīng)的圖像的失真的軌跡校正數(shù)據(jù)存儲在校正值存儲器118(失真信息存儲單元)中。
例如，當(dāng)由于失真影響而使屏幕的外圍圖像相對于屏幕中央的圖像被壓縮時，相應(yīng)地壓縮軌跡變化。因此，對于各個屏幕區(qū)域，軌跡校正電路121首先基于校正值存儲器118的值，來校正從基本估計運(yùn)算電路112輸出的軌跡數(shù)據(jù)。此外，將經(jīng)校正的軌跡數(shù)據(jù)輸出到圖像恢復(fù)函數(shù)計算電路122。即，將校正值存儲器118中存儲的軌跡校正數(shù)據(jù)輸入到軌跡校正電路121，同時圖像恢復(fù)函數(shù)計算電路122基于軌跡校正電路121的輸出，針對各個屏幕區(qū)域計算圖像恢復(fù)函數(shù)f-1。
將沒有進(jìn)行γ變換或圖像壓縮的數(shù)據(jù)從圖像處理電路117發(fā)送到圖像恢復(fù)操作電路123。圖像恢復(fù)操作電路123使用在圖像恢復(fù)函數(shù)計算電路122中為各個屏幕區(qū)域計算出的圖像恢復(fù)函數(shù)f-1來轉(zhuǎn)換圖像。至于已經(jīng)在圖像存儲操作電路123中消除了圖像失真的影響以恢復(fù)由振動引起的圖像劣化的圖像，通過圖像壓縮擴(kuò)展電路151壓縮該圖像的數(shù)據(jù)，隨后將其經(jīng)由記錄單元152寫入到諸如內(nèi)置閃存的圖像記錄介質(zhì)153中。除了內(nèi)置閃存之外，諸如充電型存儲卡的外部存儲器也可以用作圖像記錄介質(zhì)153。應(yīng)當(dāng)注意，軌跡校正電路121、圖像恢復(fù)函數(shù)計算電路122以及圖像恢復(fù)操作電路123形成用于靜止圖像的電子振動校正電路120，該電路120對于屏幕的各區(qū)域，通過電子方式校正透鏡12、13、14的圖像失真。此外，軌跡校正電路121用作振動檢測信號校正單元，圖像恢復(fù)函數(shù)計算電路122用作圖像恢復(fù)函數(shù)計算單元，圖像恢復(fù)操作電路123用作振動恢復(fù)單元，圖像壓縮擴(kuò)展電路151用作壓縮單元。
順序控制電路119包括諸如微型計算機(jī)的CPU。該順序控制電路119檢測釋放開關(guān)3、變焦開關(guān)4(T、W)、電源開關(guān)11、振動模式開關(guān)5、模式鍵7等的接通/斷開狀態(tài)，并且基于檢測結(jié)果控制各個構(gòu)成元件的移動，以控制整個數(shù)字?jǐn)z像機(jī)。具體地，順序控制電路119用作順序控制器、持續(xù)操作攝像裝置的持續(xù)操作單元、對監(jiān)視器(取景器6、背面LCD面板10)的顯示進(jìn)行控制的顯示控制單元、以及第一和第二振動校正單元(圖像恢復(fù)操作電路123、圖像移動電路132)的控制器。
圖框間位移量計算電路131計算在獲得直通圖像的一個周期中的圖框之間的位移量。圖框間位移量計算電路131從基本軌跡運(yùn)算電路122接收對于各圖框周期的振動軌跡，并且計算相應(yīng)圖像的位移量。圖像移動電路132經(jīng)由圖像存儲器116從攝像器件(CCD)114接收一輸出。此外，基于圖框間位移量計算電路131的輸出將圖像移動一振動量，以校正運(yùn)動圖像(或直通圖像)中的振動。圖框間位移量計算電路131和圖像移動電路132形成用于運(yùn)動圖像的電子振動校正電路130。此外，假定用于靜止圖像的圖像恢復(fù)操作電路123是第一振動校正單元，則用于運(yùn)動圖像的圖像移動電路132可以是第二振動校正單元。
對于已在運(yùn)動圖像的電子振動校正電路130中對振動進(jìn)行了校正的運(yùn)動圖像，通過圖像壓縮擴(kuò)展電路(壓縮單元)151壓縮該數(shù)據(jù)，并且將其經(jīng)由記錄單元152記錄到圖像記錄介質(zhì)153中。已經(jīng)進(jìn)行了振動校正的圖像(不管是靜止圖像還是運(yùn)動圖像)被發(fā)送，并作為監(jiān)視器圖像顯示在布置于攝像機(jī)體背面的背面LCD面板10或取景器6中。因此，圖像壓縮擴(kuò)展電路151還具有用于在背面LCD面板10或取景器6中顯示經(jīng)由記錄單元152從圖像記錄介質(zhì)153中讀取的圖像數(shù)據(jù)的擴(kuò)展功能。應(yīng)當(dāng)注意，當(dāng)經(jīng)由記錄單元152將圖像恢復(fù)操作電路123的輸出記錄到如內(nèi)置閃存或外部存儲器(如充電型存儲卡)等的圖像記錄介質(zhì)153中時，可以記錄整個屏幕中的清晰圖像。
接下來將描述靜止圖像中的電子振動校正。圖4A到4D是示出了靜止圖像中的電子振動校正的原理的圖。更具體地，圖4A是示出了振動旋轉(zhuǎn)角θx在X軸方向上的變化的圖，圖4B是示出了振動旋轉(zhuǎn)角θy在Y軸方向上的變化的圖形，圖4C是示出了攝像器件(CCD)114上的振動軌跡的圖，圖4D是示出了原始圖像與所拍攝圖像之間的關(guān)系的圖。
如參考圖3所描述的，對于通過角速度傳感器108、109檢測出的X軸和Y軸的振動而言，按照時間，即按照圖4A和4B中所示的時間序列，將位移角數(shù)據(jù)θx、θy的數(shù)據(jù)輸出到基本軌跡運(yùn)算電路112。接下來，如圖4C所示，由于在輸出位移角θx、θy的數(shù)據(jù)時透鏡的焦距是從變焦位置看到的，所以通過近軸計算計算出攝像器件(CCD)114上振動的位移軌跡。此外，根據(jù)攝像器件114上的振動軌跡計算由振動帶來的圖像劣化函數(shù)f。這里，可以從圖像劣化函數(shù)f中看到，所拍攝的圖像(原始圖像)i被劣化為模糊圖像j。因此，可以獲得圖像恢復(fù)函數(shù)f的反函數(shù)f-1。通過使用圖像恢復(fù)函數(shù)f-1進(jìn)行反轉(zhuǎn)(inversion)來恢復(fù)所拍攝的圖像i。
如上所述，對于靜止圖像，根據(jù)攝像器件114上的振動軌跡(其基于由拍攝時的振動帶來的時間序列振動)計算圖像劣化函數(shù)f，并且通過圖像恢復(fù)函數(shù)f的反函數(shù)f-1進(jìn)行反轉(zhuǎn)來恢復(fù)模糊圖像。在這種情況下，在軌跡校正電路121中對振動軌跡進(jìn)行了校正，并且消除了光學(xué)系統(tǒng)失真的影響。此外，在光學(xué)系統(tǒng)中存在失真時，對于從屏幕中央到外圍的各個屏幕區(qū)域，輸出精確的由振動產(chǎn)生的圖像軌跡。因此，可以基于整個屏幕上進(jìn)行由振動而劣化的圖像的準(zhǔn)確恢復(fù)，并且可以在整個屏幕上獲得清晰的圖像。
圖5A到5C的圖示出了運(yùn)動圖像中的電子振動校正的原理。更具體地，圖5A的圖示出了3個變化圖框，圖5B的圖示出了表示簡單地連續(xù)顯示3個圖框的圖像，而圖5C的圖示出了表示連續(xù)顯示已校正圖像的圖像。即，圖5B的圖像對應(yīng)于沒有對振動進(jìn)行校正的圖像，而圖5C的圖像對應(yīng)于已經(jīng)進(jìn)行了振動校正的圖像。
至于運(yùn)動圖像，由于將圖框之間的移動識別為振動，所以通過圖像移動來校正振動。例如，當(dāng)考慮圖5A中所示的3個圖像1、2、3時，假定在圖像1和2之間的圖像平面上向量移動沿著朝向由(u→)所示的左下側(cè)的方向，并且假定在圖像2和3之間的圖形平面上向量移動沿著朝向由(v→)所示的右下側(cè)的方向上。在這種情況下，當(dāng)如圖5B所示簡單地連續(xù)顯示圖像1、2、3時，圖像看起來是模糊的。另一方面，當(dāng)將運(yùn)動圖像移動u→和v→的逆向量，(即，圖像1+圖像2*(-u→)+圖像3*(-u→)*(-v→))，并且連續(xù)顯示時，可以看到如圖5C所示的沒有任何振動的清楚的圖像。這里“*”表示表明圖像移動的一運(yùn)算符。
圖6A的圖是示出了在運(yùn)動圖像模式中的運(yùn)動圖像和直通圖像、以及在靜止圖像模式中的直通圖像和靜止圖像中的電子振動校正量(最大位移量)，而圖6B的圖是示出了在運(yùn)動圖像模式中的運(yùn)動圖像和直通圖像、以及在靜止圖像模式中的直通圖像和靜止圖像中的圖像剪切范圍。
假定在非振動模式的情況下CCD圖像的攝像范圍是100％。在這種情況下，在靜止圖像的振動模式中，圖像具有按照圖像恢復(fù)函數(shù)的一個預(yù)定擴(kuò)展(spread)。如果在攝像范圍之外不存在任何圖像數(shù)據(jù)，則無法校正外圍圖像。因此，將攝像范圍假定為在對角線長度比率(diagonallength ratio)方面的95％的范圍。此外，對在攝像范圍內(nèi)所拍攝的圖像進(jìn)行電子振動校正，并且進(jìn)行記錄。這里，與運(yùn)動圖像被連續(xù)移動的情形相比，靜止圖像在曝光時間內(nèi)的振動量較小，而與運(yùn)動圖像相比，外圍邊緣可能也較小。
與靜止圖像相比，運(yùn)動圖像振動模式中的有效攝像范圍的尺寸較小，并且假定例如在對角線長度比方面的范圍是70％。這是因?yàn)檫\(yùn)動圖像被移動，因此需要更多的時間，并且與靜止圖像相比，位移量較大。
接下來將描述通過直通圖像顯示的圖像的攝像范圍。在靜止圖像和運(yùn)動圖像二者都未進(jìn)入振動校正模式的情況下，要拍攝和記錄的范圍對應(yīng)于在CCD中的對角線比方面的100％。在這種情況下，相對于直通圖像，在CCD中的對角線比方面的100％范圍內(nèi)的圖像也被顯示。
另一方面，在拍攝運(yùn)動圖像的過程中，將等于拍攝和記錄范圍的一個范圍顯示為振動校正模式中的直通圖像。該范圍對應(yīng)于在對角線比方面的70％的尺寸，并且該圖像在CCD的有效像素范圍(在對角線比方面的100％的范圍)內(nèi)連續(xù)移動以對振動進(jìn)行校正。另一方面，在拍攝靜止圖像的過程中，CCD中的拍攝和記錄范圍不同于在振動校正模式中的CCD中的由直通圖像表示的范圍。這是因?yàn)樵谂臄z并記錄圖像時的振動校正系統(tǒng)不同于在顯示直通圖像時的振動校正系統(tǒng)。然而，在不同的振動校正系統(tǒng)中，所拍攝和記錄的范圍需要與直通圖像所表示的范圍基本一致。因此，在拍攝靜止圖像的過程中，例如所拍攝和記錄的范圍是在CCD中的對角線比方面的95％，而直通圖像的范圍的尺寸是在振動校正模式中的CCD中的對角線比方面的90％。直通圖像的范圍在CCD中的對角線比方面的95％范圍內(nèi)連續(xù)移動，以對振動進(jìn)行校正。在這種情況下，靜止圖像的直通圖像的振動校正量(位移量)的范圍是5％。由于與運(yùn)動圖像的直通圖像相比，最大位移量較小，所以不能處理大的振動，但是基本上等于靜止圖像的攝像記錄范圍的該范圍可以顯示在取景器6或背面LCD面板10中。
圖7和圖8示出了圖像恢復(fù)操作的主要流程圖。首先，在攝影師按壓電源開關(guān)11時(S101)，處于按壓狀態(tài)下的鏡頭被架起(S102)。此外，通過校正模式開關(guān)5的狀態(tài)判斷是否設(shè)置了振動校正模式(S103)。這里，每次按下振動模式開關(guān)5時，都會反復(fù)接通或斷開該開關(guān)。當(dāng)開關(guān)接通時，模式燈5-1點(diǎn)亮，同時振動校正標(biāo)志被設(shè)置為1(S104)。當(dāng)開關(guān)關(guān)閉時，模式燈5-1熄滅，同時振動校正標(biāo)志被設(shè)置為0(S105)。
接下來，判斷該模式是靜止圖像模式還是運(yùn)動圖像模式(S106)，在模式鍵7位于M側(cè)的運(yùn)動圖像模式中，該處理進(jìn)行到圖8的S120中。另一方面，在模式鍵7位于S側(cè)的靜止圖像模式中，判斷振動校正標(biāo)志是否為1(S107)。當(dāng)振動校正標(biāo)志為1時，利用90％的屏幕范圍來顯示已進(jìn)行振動校正的直通圖像(S108)。當(dāng)振動校正標(biāo)志為0時，顯示直通圖像，但是沒有對振動進(jìn)行校正，并且顯示了仍然模糊的直通圖像(S109)。這里，選擇取景器6和背面LCD面板10兩者中任一個作為要由攝影師(用戶)顯示的LCD，并且在所選的LCD中顯示直通圖像?？梢詫D像顯示在取景器6和背面LCD面板10二者中，攝影師可以察看任意一個顯示。
隨后，確認(rèn)釋放開關(guān)3已接通(S110)。當(dāng)該開關(guān)接通(按下釋放開關(guān)3)時，對靜止圖像進(jìn)行拍攝(S111)。另一方面，當(dāng)釋放開關(guān)3沒有被按下時，判斷是否操作了其它開關(guān)(S112)。當(dāng)任何一個開關(guān)被接通時，執(zhí)行對應(yīng)于該開關(guān)的處理。當(dāng)任何一個開關(guān)被斷開時，處理返回到S103。
在對靜止圖像進(jìn)行拍攝之后，圖像處理電路117對最終圖像進(jìn)行處理(S113)。此后，判斷振動校正標(biāo)志是否為1(S114)。當(dāng)在步驟S114中振動校正標(biāo)志為1時，對于屏幕的各個區(qū)域，在圖像恢復(fù)函數(shù)計算電路122中計算已消除了圖像失真影響的圖像恢復(fù)函數(shù)。此外，在圖像恢復(fù)操作電路123中利用95％的屏幕范圍對振動進(jìn)行校正(S115)。另一方面，當(dāng)在S114中振動校正標(biāo)志為0時，不進(jìn)行任何振動的校正。在S116，在圖像壓縮擴(kuò)展電路151中進(jìn)行了諸如γ轉(zhuǎn)換和圖像壓縮的圖像處理之后，在背面LCD面板10等上顯示最終拍攝的圖像(靜止圖像)(S117)。將所拍攝的圖像經(jīng)由記錄單元152寫入到圖像記錄介質(zhì)153中(S118)。在完成寫入之后，該處理返回到S103。
接下來將參考圖8描述用于運(yùn)動圖像的主流程圖。當(dāng)在圖7的步驟S106中設(shè)置了運(yùn)動圖像模式(模式鍵7位于M側(cè))時，判斷振動校正標(biāo)志是否為1(S120)。當(dāng)振動校正標(biāo)志為1時，在圖像移動電路132中，將所拍攝的圖像移動由圖框間位移量計算電路131計算出的位移量，并且利用70％的屏幕范圍來顯示已經(jīng)校正了振動的直通圖像(S121)。另一方面，當(dāng)振動校正標(biāo)志為0時，顯示直通圖像，但是沒有對振動進(jìn)行校正，且在LCD中顯示模糊圖像(S122)。應(yīng)當(dāng)注意，圖5B的圖像對應(yīng)于S122的模糊的直通圖像，而圖5C的圖像對應(yīng)于S121中的被移動和校正的直通圖像。
此外，確認(rèn)接通了釋放開關(guān)3(S123)。當(dāng)該開關(guān)接通(按下釋放開關(guān))時，開始拍攝運(yùn)動圖像(S124)，并且判斷振動標(biāo)志是否為1(S126)。當(dāng)釋放開關(guān)3沒有被按下時，判斷是否操作了其它開關(guān)(S125)。當(dāng)任何一個開關(guān)被接通時，執(zhí)行對應(yīng)于該被接通開關(guān)的處理。當(dāng)任何一個開關(guān)被關(guān)閉時，處理返回到S103。
當(dāng)在步驟S126中振動校正標(biāo)志為1時，利用70％的屏幕范圍來移動圖像，并且在LCD中實(shí)時顯示已進(jìn)行了振動校正的拍攝圖像(S127)。另一方面，當(dāng)振動校正標(biāo)志為0時，不進(jìn)行任何振動的校正，同時在LCD中實(shí)時顯示仍然模糊的拍攝圖像(S128)。以類似于在S121、S122中的顯示直通圖像的方式，類似于圖5B中圖像，顯示S128中模糊的拍攝圖像，并且類似于圖5C圖像，顯示在S127中被移動并校正的拍攝圖像。此外，連續(xù)拍攝圖像直到再次按下釋放開關(guān)3為止。當(dāng)再次按下釋放開關(guān)時(S129)，停止攝像(S130)，將運(yùn)動圖像寫入到圖像記錄介質(zhì)153中(S131)，并且該處理返回到S103。
通過該構(gòu)造，在拍攝靜止圖像或運(yùn)動圖像時，均可以通過取景器6和背面LCD面板10確認(rèn)正在對振動進(jìn)行校正，而且直通圖像的范圍基本上與能夠?qū)嶋H拍攝的范圍一致。因此，可以容易并快速地設(shè)置取景(framing)。由于對于各個屏幕范圍校正圖像失真的軌跡，所以消除了鏡頭帶來的圖像失真的影響，對于各個屏幕范圍獲取該軌跡的準(zhǔn)確變化量，并且可以在整個屏幕上進(jìn)行令人滿意的振動校正。
接下來將描述第一實(shí)施例的第一變形例。在第一實(shí)施例中，在軌跡校正電路121中，對于各個圖像區(qū)域，基于校正值存儲器118的值對從基本軌跡運(yùn)算電路112輸出的軌跡數(shù)據(jù)進(jìn)行校正，并且將經(jīng)過校正的軌跡數(shù)據(jù)輸出到圖像恢復(fù)函數(shù)計算電路122。接下來，在圖像恢復(fù)函數(shù)計算電路122中，對于各個屏幕區(qū)域，基于來自軌跡校正電路121的輸出計算圖像恢復(fù)函數(shù)f-1，并且基于圖像恢復(fù)操作電路123中的圖像恢復(fù)函數(shù)f-1執(zhí)行用于恢復(fù)圖像的操作。另一方面，在變型例中可以執(zhí)行下面的操作。
首先，省略軌跡校正電路121，修改校正值存儲器118的輸出線路以使其連接到圖像恢復(fù)函數(shù)計算電路122。此外，在圖像恢復(fù)函數(shù)計算電路122中直接處理從基本軌跡運(yùn)算電路112輸出的軌跡數(shù)據(jù)，并且僅計算并獲得了一種類型的圖像恢復(fù)函數(shù)f-1。接下來，基于校正值存儲器118的值，對于各個圖像區(qū)域校正圖像恢復(fù)函數(shù)f-1，以獲得隨著各個圖像區(qū)域不同的圖像恢復(fù)函數(shù)f-1。接下來，在圖像恢復(fù)操作電路123中，根據(jù)隨著各個圖像區(qū)域而不同的圖像恢復(fù)函數(shù)f-1對圖像進(jìn)行恢復(fù)。在該變型例中，圖像恢復(fù)函數(shù)計算電路122用作圖像恢復(fù)函數(shù)計算單元，并且還用作圖像恢復(fù)函數(shù)校正單元。
根據(jù)該變型例的結(jié)構(gòu)，當(dāng)產(chǎn)生了該振動時，由于對圖像進(jìn)行了壓縮或放大，或者圖像的方向發(fā)生了變化，所以圖像的移動軌跡由于失真的影響而隨著各個屏幕中央和屏幕中央以外的區(qū)域而變化。結(jié)果，當(dāng)圖像劣化函數(shù)f隨著各個區(qū)域而不同時，可以隨著各個區(qū)域?qū)D像劣化函數(shù)f進(jìn)行校正，以獲得最優(yōu)的圖像恢復(fù)函數(shù)f-1。因此，可以在整個屏幕上對因振動而劣化的圖像進(jìn)行準(zhǔn)確的恢復(fù)，并且在整個屏幕上獲得清晰圖像。
即使在具有振動校正單元的攝像機(jī)中(其中，在拍攝了靜止圖像之后根據(jù)圖像數(shù)據(jù)進(jìn)行恢復(fù)操作)，也無法將用于執(zhí)行上述類型的圖像恢復(fù)操作的振動校正單元應(yīng)用于直通圖像顯示，以在靜止圖像拍攝的準(zhǔn)備階段中觀察物體。即使當(dāng)采用該單元時，也無法獲得目標(biāo)效果。為了解決這個問題，在第二實(shí)施例中，執(zhí)行隨著靜止圖像拍攝時間和直通圖像顯示時間而不同的振動校正，如圖7、8所示。即，在顯示直通圖像時執(zhí)行用于運(yùn)動圖像(直通圖像)的振動校正，而在拍攝靜止圖像時執(zhí)行用于靜止圖像的不同類型的振動校正。此外，靜止圖像模式中的直通圖像與運(yùn)動圖像模式中的直通圖像的不同在于電子振動防止操作中的圖像的剪切范圍、最大校正量等。即以如下的方式來設(shè)置振動校正模式對于各個靜止圖像和運(yùn)動圖像，優(yōu)化圖像剪切范圍、最大校正量等。因此，在振動校正時執(zhí)行運(yùn)動圖像的校正處理。當(dāng)拍攝靜止圖像時，基于振動軌跡來執(zhí)行振動恢復(fù)校正，隨后顯示已恢復(fù)的圖像。
在第二實(shí)施例中，當(dāng)設(shè)置了振動防止模式時，對于直通圖像，通過另一類型的對于直通圖像有效的振動校正來顯示具有較小振動的直通圖像。因此，可以通知攝影師振動模式被運(yùn)行。因此，在攝像時，攝像師可以在觀察物體的同時確認(rèn)設(shè)置了振動模式。由于減小了觀察時的振動，所以可以容易地觀察物體。此外，當(dāng)沒有設(shè)置針對靜止圖像的振動校正模式時，停止針對直通圖像的振動校正。當(dāng)振動大時，可以有效地警告攝影師在觀察物體時注意振動，并且設(shè)置振動校正模式。
應(yīng)當(dāng)注意，圖1到圖8被第一和第二實(shí)施例共同參考。因此，在第二實(shí)施例中，忽略了對圖1到圖8的描述。
下面將參考圖9到圖12來描述第三實(shí)施例。在該實(shí)施例中，就所拍攝的圖像而言，在執(zhí)行了鏡頭失真校正之后，執(zhí)行針對靜止圖像的電子振動校正和針對運(yùn)動圖像的電子振動校正。這里，圖9是數(shù)字?jǐn)z像機(jī)控制電路的框圖。如圖9所示，第三實(shí)施例與圖3的實(shí)施例的不同之處在于省略了校正值存儲器118和軌跡校正電路121，同時添加了失真校正值存儲器171(失真信息存儲單元，圖像劣化信息存儲單元)和圖像失真校正電路172作為構(gòu)成元件。應(yīng)當(dāng)注意，在第三實(shí)施例中，除了圖3之外，圖1到圖8均被第一和第二實(shí)施例共同參考。另外，第三實(shí)施例與第一實(shí)施例的不同之處在于在圖7中所示的圖像處理步驟S113中，由圖像失真校正電路172根據(jù)鏡頭失真來另外校正所拍攝的圖像。
在圖9的數(shù)字?jǐn)z像機(jī)的控制電路的框圖中，在失真校正值存儲器171中存儲有對應(yīng)于鏡頭失真的失真校正值。在圖像失真校正電路172中，基于存儲在失真校正值存儲器171中的失真校正值，校正所拍攝圖像中由鏡頭引起的失真。隨后，執(zhí)行靜止圖像電子振動校正和運(yùn)動圖像電子振動校正。將失真校正值存儲器171簡單地用作鏡頭屬性校正值存儲器，在該校正值存儲器中還存儲了失真校正值之外的校正數(shù)據(jù)，如由于拍攝鏡頭屬性而產(chǎn)生的像差的校正數(shù)據(jù)。此外，圖像失真校正電路172可以作為鏡頭屬性校正電路進(jìn)行操作，還可以對由于拍攝鏡頭屬性而產(chǎn)生的像差等進(jìn)行校正。根據(jù)該結(jié)構(gòu)，在以下兩種情況下在執(zhí)行振動恢復(fù)操作之前，都可以校正由于光學(xué)系統(tǒng)的失真、像差等原因引起的圖像劣化，這兩種情況是存在拍攝鏡頭失真的影響的情況，以及存在由光學(xué)系統(tǒng)的像差等引起的圖像劣化的情況。因此，在消除了圖像劣化的影響之后，可以執(zhí)行振動恢復(fù)操作。從而，可以通過在整個屏幕上的簡單操作對由振動而劣化的圖像進(jìn)行準(zhǔn)確的恢復(fù)，并且可以在整個屏幕上獲得清晰圖像。
圖10示出了第三實(shí)施例中的順序控制電路119的處理流程圖。首先，當(dāng)按下釋放開關(guān)3時，開始攝像(S201)。此外，基于變焦位置和物體距離從失真校正值存儲器171中讀取對應(yīng)于失真的一失真校正值(S202)，并且通過圖像失真校正電路172對由鏡頭引起的圖像失真進(jìn)行校正(S203)。接下來，在圖像恢復(fù)函數(shù)計算電路122中，根據(jù)對于各個區(qū)域的時間序列振動軌跡來計算圖像恢復(fù)函數(shù)(S204)，所述振動軌跡是從角速度傳感器108、109檢測的振動中獲得的。在圖像恢復(fù)操作電路123中，根據(jù)圖像恢復(fù)函數(shù)對振動進(jìn)行校正(S205)。接下來，在圖像壓縮擴(kuò)展電路151中壓縮圖像(S206)，并且經(jīng)由記錄單元152將被壓縮的圖像記錄在圖像記錄介質(zhì)153中(S207)。
圖11A到11E是在拍攝建筑物情況下的圖像失真的示意圖。更具體地，圖11A的圖示出了在失真為0的情況下的圖像，圖11B的圖示出了在桶形失真情況下的圖像，圖11C的圖示出了在枕形失真情況下的圖像，圖11D的圖示出了圖像高度和失真校正之間的關(guān)系，而圖11E是圖像高度的說明圖。如圖11E中所示，在屏幕中央的圖像高度為0，而在屏幕外圍(最外圍圓周)的圖像高度變?yōu)?，相同的圖像高度以同心矩形(concentric rectangle)示出。
即使在以相同的材料在相同的條件下形成鏡頭時，都不可避免地會產(chǎn)生鏡頭屬性波動。為了正確地恢復(fù)圖像，需要考慮鏡頭屬性的差異。即使通過電子校正使具有如圖11B所示的桶形失真圖像或具有圖11C所示的枕形失真圖像接近于圖11A所示的失真為0的圖像時，由于鏡頭屬性的波動，失真有時也偏移0。首先，由于魚眼鏡頭拍攝的圖像類似于人眼(獲取的圖像)，所以觀察者對于類似于桶的失真圖像不太會感覺到不調(diào)和性。另一方面，觀察者對于類似于枕形的失真圖像感覺到不調(diào)和性，并且圖像顯著地異常。盡管失真被校正到0，但由于鏡頭屬性波動的影響，失真會偏移0。在這種情況下，優(yōu)選地，經(jīng)恢復(fù)的圖像變?yōu)轭愃朴谕靶蔚氖д鎴D像，而不是類似于枕形的失真圖像。
因此，如圖11D所示，將由鏡頭引起的圖像失真L1(桶形失真)校正為表示零失真的目標(biāo)級L0(失真校正1)，接下來進(jìn)行圖像恢復(fù)操作以對振動進(jìn)行校正。接下來，進(jìn)行電子校正，將圖像逆向校正到級別L2，并且將該失真返回到桶形方向上(失真校正2)。下面，將簡單地描述一些詞的定義。失真校正表示在由失真影響的圖像數(shù)據(jù)中消除或減少失真的影響。失真逆校正表示有意使沒有任何失真的圖像數(shù)據(jù)失真，或者在具有失真的圖像數(shù)據(jù)上進(jìn)一步增加失真的影響的處理。這里，與失真校正1相比較，在作為失真校正1的逆校正的失真校正2中，失真量減少了。假定由加號(+)表示校正到枕形失真，由減號(-)表示校正到桶形失真，例如，在失真校正1中，圖像高度d＝1的外圍中的最大失真量為+12％，而在失真校正2中為-4％。并且就枕形失真而言，類似地，將由鏡頭引起的圖像失真(枕形失真)L3校正為表示零失真的目標(biāo)級L0(失真校正1)，接下來進(jìn)行圖像恢復(fù)操作以對振動進(jìn)行校正。接下來，執(zhí)行電子校正，并將圖像逆向校正到級別L2，以獲取桶形圖像。
如上所述，在進(jìn)行了目標(biāo)為零失真的失真校正(失真校正1)之后，執(zhí)行校正到到桶形的逆校正(失真校正2)。因此，即使由于失真校正的波動(由于鏡頭屬性的不同)在失真校正1中產(chǎn)生了枕形圖像，也可以通過失真校正2將枕形圖像強(qiáng)制校正為桶形圖像。從而防止產(chǎn)生枕形失真圖像，并且對圖像進(jìn)行了恢復(fù)而不會感覺到任何不調(diào)和性。即使在由于所謂草帽型失真(其是枕形失真和桶形失真二者的混合)而導(dǎo)致失真隨各個區(qū)域而不同的情況下，也可以通過校正到零的失真校正(失真校正1)和校正到桶形的逆校正(失真校正2)二者，獲得感覺不到任何不調(diào)和性的圖像。這里，在圖像恢復(fù)操作電路123中進(jìn)行失真逆校正(失真校正2)，從而可以將圖像恢復(fù)操作電路123稱為振動恢復(fù)單元和失真逆校正單元。應(yīng)當(dāng)注意，在圖像恢復(fù)操作電路123中還進(jìn)行枕形失真的失真校正2。
圖12示出了順序控制電路119在圖11的圖像恢復(fù)中的處理流程圖。圖12與圖10的流程圖的不同之處在于增加了失真校正2。即，當(dāng)按下釋放開關(guān)3以啟動攝像時(S301)，基于變焦位置和物體距離從失真校正值存儲器171中讀取對應(yīng)于失真的一個失真校正值(S302)。接下來，在圖像恢復(fù)函數(shù)計算電路122中，根據(jù)從角速度傳感器108、109檢測到的振動中獲得的時間序列振動檢測信號(振動軌跡)計算圖像恢復(fù)函數(shù)(S304)。在圖像恢復(fù)函數(shù)計算電路122中將由鏡頭產(chǎn)生的鏡頭圖像失真(桶形失真L1或枕形失真L3)校正到零失真的目標(biāo)級L0(失真校正1)(S303)。隨后，在圖像恢復(fù)操作電路123中進(jìn)行恢復(fù)操作(S305)，并且在產(chǎn)生桶形失真的方向上對圖像進(jìn)行逆校正以獲得級別L2(S306)。此后，在圖像壓縮擴(kuò)展電路151中壓縮圖像(S307)，并且經(jīng)由記錄單元152將經(jīng)壓縮的圖像記錄在圖像記錄介質(zhì)153中(S308)。
下面將參考圖13到圖15描述另一個實(shí)施例(第四實(shí)施例)。在該實(shí)施例中，考慮了由運(yùn)動圖像中的圖框間振動引起的圖像劣化。在第四實(shí)施例中，除了圖3以外，圖1到圖8也適用于第四實(shí)施例。這里，圖13和14是數(shù)字?jǐn)z像機(jī)的控制電路的框圖，與圖3的不同之處在于省略了作為構(gòu)成元件的校正值存儲器118和軌跡校正電路121。圖15與圖3的不同之處在于除了省略了校正值存儲器118和軌跡校正電路121之外，還省略了圖框間位移量計算電路131，同時增加了圖像位移量計算電路173。
圖13的對象包括運(yùn)動圖像和直通圖像。在校正了圖框間的振動之后，對圖框中的振動進(jìn)行校正。即，在圖像移動電路132中，根據(jù)角速度傳感器108、109檢測到的振動，對于各個圖框校正振動。此外，在圖像恢復(fù)操作電路123中基于針對各圖框的振動軌跡對圖像進(jìn)行了處理之后，在取景器6或背面LCD面板10中顯示圖像，或者以類似于靜止圖像的方式將圖像記錄在圖像記錄介質(zhì)153中。在這種結(jié)構(gòu)中，對圖框中的振動進(jìn)行了校正，并且獲得了清楚的直通圖像和運(yùn)動圖像。在運(yùn)動圖像的拍攝過程中，除了校正圖框間的振動之外，還對圖框中的振動進(jìn)行校正。因此，與僅校正圖框間的振動的情況相比，獲得了高質(zhì)量的圖像。首先進(jìn)行圖框間校正。隨后，在確定了實(shí)際上將要顯示為圖像的區(qū)域之后，進(jìn)行圖框內(nèi)校正。因此，與對在顯示中并不使用的無用部分進(jìn)行校正的情況相比，減少了處理量。
此外，順序控制電路119響應(yīng)于振動檢測信號獲取在圖框間產(chǎn)生的圖像位移量，并且根據(jù)圖框間產(chǎn)生的圖像位移量來操作圖像移動電路132。此外，圖框間校正和圖框內(nèi)校正都基于角速度傳感器108、109的輸出。因此，即使在屏幕中存在運(yùn)動物體時，也不影響圖框的移動，而且不會出現(xiàn)差錯，所以可以可靠地防止未移動物體的圖像因振動而劣化。
圖14的對象也包括運(yùn)動圖像和直通圖像。與圖13相反，在圖14中，在對圖框中的振動進(jìn)行了校正之后，對圖框間的振動進(jìn)行校正。即，以與靜止圖像一樣的方式，在圖像恢復(fù)操作電路123中基于針對各圖框的振動軌跡對圖像進(jìn)行恢復(fù)之后，在圖像移動電路132中根據(jù)由角速度傳感器108、109檢測的振動，針對各個圖框?qū)φ駝舆M(jìn)行校正，并且將圖像顯示在取景器6或背面LCD面板10中，或者記錄在圖像記錄介質(zhì)153中。在這種結(jié)構(gòu)中，對圖框中的振動進(jìn)行檢測，并且獲得清晰的直通圖像和運(yùn)動圖像。
同樣在第四實(shí)施例中，在校正了圖框間和圖框內(nèi)的振動之后，在圖像壓縮擴(kuò)展電路151中壓縮所得到的圖像，并且利用記錄單元152將圖像記錄到圖像記錄介質(zhì)153中。此后，在進(jìn)行了振動恢復(fù)操作之后，可以壓縮并記錄圖像，并且在壓縮之前執(zhí)行圖像恢復(fù)操作而不會有任何劣化。從而，可以進(jìn)行校正振動恢復(fù)操作。此外，由于在校正了圖框間和圖框內(nèi)的振動之后對圖像進(jìn)行壓縮和記錄，所以可以在圖像記錄介質(zhì)153中記錄更高質(zhì)量的圖像，該圖像記錄介質(zhì)153具有較少的容量并且很小，而且價格低廉。
圖15與圖14相同，除了以圖像位移量計算電路173來代替圖框間位移量計算電路131之外。即，在圖15中，在圖像位移量計算電路173中，根據(jù)圖框之間的圖像變化通過例如圖像的相關(guān)操作等來計算圖框之間的圖像位移量，并移動圖像。在這種結(jié)構(gòu)中，當(dāng)由于圖框間的振動而引起圖像不清楚時，圖框間位移量的計算就變得不準(zhǔn)確。因此，在位移量計算之前在圖框中進(jìn)行振動恢復(fù)操作是有效的。
此外，在運(yùn)動圖像的拍攝過程中，在校正了圖框內(nèi)的振動后，基于振動校正數(shù)據(jù)從圖像數(shù)據(jù)中獲取圖框之間的圖像位移量。從而可以計算出圖框間的校正位移量，而且與使用圖框間的振動未被校正的圖像來獲取圖框間的圖像位移的情況相比，可以更正確地進(jìn)行振動校正。
這里，順序控制電路119從圖像數(shù)據(jù)中獲取圖框間產(chǎn)生的圖像位移量，并且根據(jù)圖框間所產(chǎn)生的圖像位移量來操作圖像移動電路132。因此，對于圖像移動而言，通常，角速度傳感器108、109在圖框間的輸出比在圖框內(nèi)的輸出具有更長的時間，融入噪聲分量不會使圖框的移動變得不正確，從而可以進(jìn)行正確的移動。
此外，順序控制電路119優(yōu)選地以這樣一種方式來執(zhí)行控制，即可選擇地操作圖像位移量計算電路173和圖像移動電路132二者或其中之一。在這種情況下，在由振動引起的圖框內(nèi)的劣化較小的情況下不需要操作不必要的部分，從而可以降低功耗。
如上所述，根據(jù)本發(fā)明的各個實(shí)施例，即使當(dāng)圖像因光學(xué)系統(tǒng)的失真等而劣化時，也可以在恢復(fù)由振動引起的圖像劣化之前，對光學(xué)系統(tǒng)所生成的圖像劣化進(jìn)行校正。在各個實(shí)施例的技術(shù)中，在消除了圖像劣化的影響之后，可以進(jìn)行振動恢復(fù)操作。這種技術(shù)可廣泛地應(yīng)用于如下領(lǐng)域，即需要消除由失真等引起的圖像劣化，以恢復(fù)因振動而劣化的圖像。
具體地，根據(jù)本發(fā)明的第一種模式，即使當(dāng)圖像因光學(xué)系統(tǒng)的失真等而劣化時，也可以在恢復(fù)由振動而劣化的圖像之前，對光學(xué)系統(tǒng)引起的圖像劣化進(jìn)行校正。因此，在消除了圖像劣化的影響之后，可以進(jìn)行振動恢復(fù)操作。所以，可以通過簡單地操作，在整個屏幕上對因振動而劣化的圖像進(jìn)行準(zhǔn)確恢復(fù)，并且可以在整個屏幕上獲得清晰的圖像。
此外，根據(jù)本發(fā)明的第二種模式，可以將整個屏幕中的清晰圖像記錄在記錄介質(zhì)中。
此外，根據(jù)本發(fā)明的第三種模式，即使當(dāng)圖像因光學(xué)系統(tǒng)中的拍攝鏡頭的像差等而劣化時，也可以在振動恢復(fù)操作之前對由光學(xué)系統(tǒng)所引起的圖像劣化進(jìn)行校正。因此，在消除了圖像劣化的影響之后，可以進(jìn)行振動恢復(fù)操作，并且可以通過簡單地操作，在整個屏幕上對因振動而劣化的圖像進(jìn)行準(zhǔn)確恢復(fù)。此外，在進(jìn)行了振動恢復(fù)操作之后，對圖像進(jìn)行壓縮和記錄。因此，可以在壓縮之前存在大量數(shù)據(jù)的狀態(tài)下進(jìn)行圖像恢復(fù)操作，并且可以進(jìn)行準(zhǔn)確的振動恢復(fù)操作。此后，可以對圖像進(jìn)行壓縮和記錄，從而可以將更多的圖像記錄在甚至容量較小，小型且價格低廉的記錄介質(zhì)中。
此外，根據(jù)本發(fā)明的第四種模式，可以在不考慮鏡頭像差的情況下進(jìn)行準(zhǔn)確的振動恢復(fù)操作，并且可以在整個屏幕上獲得清晰的圖像。
此外，根據(jù)本發(fā)明的第五種模式，在圖像因光學(xué)系統(tǒng)的失真而受到影響并劣化時，并且即使是相同振動，圖像移動的軌跡也因壓縮、放大、方向改變等而對于各區(qū)域是變化的時，在振動恢復(fù)操作之前對失真進(jìn)行校正。因此，在消除了圖像劣化的影響之后，可以進(jìn)行振動恢復(fù)操作。結(jié)果，不必對于各個圖像區(qū)域，對振動軌跡信息或用于恢復(fù)操作的函數(shù)進(jìn)行校正，并且可以通過簡單地操作，在整個屏幕上對因振動而劣化的圖像進(jìn)行準(zhǔn)確恢復(fù)，而且還可以在整個屏幕上獲得清晰的圖像。
另外，根據(jù)本發(fā)明的第六種模式，可以消除對振動恢復(fù)操作具有很大影響的陰影的影響，以校正圖像劣化，并且可以通過較小的數(shù)據(jù)容量在整個屏幕中獲得清晰的圖像。
另外，根據(jù)本發(fā)明的第七種模式，可以消除對振動恢復(fù)操作具有很大影響的失真的影響，以校正圖像劣化，并且可以在整個屏幕中獲得具有較小數(shù)據(jù)容量的清晰圖像。此外，即使由于生產(chǎn)鏡頭的波動而在失真校正過程中存在差錯并且將失真校正為達(dá)到零的情況下，也可能由于波動而產(chǎn)生一定程度的枕形失真，在振動恢復(fù)操作之后，在引起桶形失真的方向上對失真進(jìn)行校正。這可以防止對于人類感覺而言不自然的枕形失真，從而可以得到圖像清晰且不會在整個屏幕上產(chǎn)生任何不自然失真的攝像裝置。
此外，根據(jù)本發(fā)明的第八種模式，通過逆校正可以防止過度的桶形失真，并且可以防止產(chǎn)生不自然的圖像。
此外，根據(jù)本發(fā)明的第九種模式，即使在圖像因光學(xué)系統(tǒng)的失真而劣化時，也可以在恢復(fù)因振動而劣化的圖像之前，對光學(xué)系統(tǒng)生成的圖像劣化進(jìn)行校正。因此，在消除了圖像劣化的影響之后，可以進(jìn)行振動恢復(fù)操作。所以，可以通過簡單地操作，在整個屏幕上對因振動而劣化的圖像進(jìn)行準(zhǔn)確恢復(fù)，并且可以在整個屏幕上獲得清晰的圖像。
本領(lǐng)域的普通技術(shù)人員將容易地理解其它優(yōu)點(diǎn)和變型。因此，更廣義方面的本發(fā)明并不限于這里示出和描述的具體細(xì)節(jié)和典型實(shí)施例。因此，可以在不脫離由所附權(quán)利要求及其等價物限定的本發(fā)明一般概念的精神和范圍的情況下進(jìn)行各種變型。
權(quán)利要求
1.一種攝像裝置，特征在于包括光學(xué)系統(tǒng)(2)，其形成物體圖像；攝像單元(114)，其從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)；振動檢測單元(108、109、110)，其檢測攝像裝置的振動；振動檢測信號存儲單元(113)，其存儲在攝像單元(114)的曝光期間從振動檢測單元(108、109、110)輸出的時間序列的振動檢測信號；圖像劣化信息存儲單元(171)，其中存儲有光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像劣化的信息；圖像劣化校正單元(172)，其根據(jù)圖像劣化信息存儲單元(171)中存儲的圖像劣化信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像劣化進(jìn)行校正；以及振動恢復(fù)單元(123)，其根據(jù)振動檢測信號存儲單元(113)中存儲的時間序列的振動檢測信號，針對從圖像劣化校正單元(172)輸出的圖像數(shù)據(jù)，對由振動而劣化的圖像進(jìn)行恢復(fù)。
2.根據(jù)權(quán)利要求1所述的攝像裝置，特征在于進(jìn)一步包括記錄介質(zhì)(153)，其中記錄有從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)；以及記錄單元(152)，其將從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)記錄在記錄介質(zhì)(153)中。
3.一種攝像裝置，特征在于包括光學(xué)系統(tǒng)(2)，其形成物體圖像；攝像單元(114)，其從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)；振動檢測單元(108、109、110)，其檢測攝像裝置的振動；振動檢測信號存儲單元(113)，其存儲在攝像單元(114)的曝光期間從校正檢測單元(108、109、110)輸出的時間序列的振動檢測信號；圖像劣化信息存儲單元(171)，其中存儲有光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像劣化的信息；圖像劣化校正單元(172)，其根據(jù)圖像劣化信息存儲單元(171)中存儲的圖像劣化信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對光學(xué)系統(tǒng)(2)所產(chǎn)生的圖像劣化進(jìn)行校正；振動恢復(fù)單元(123)，其根據(jù)振動檢測信號存儲單元(113)中存儲的時間序列的振動檢測信號，針對從圖像劣化校正單元(172)輸出的圖像數(shù)據(jù)，對由振動而劣化的圖像進(jìn)行恢復(fù)；壓縮單元(151)，其壓縮從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)；以及記錄單元(152)，其將從壓縮單元(151)輸出的圖像數(shù)據(jù)記錄在記錄介質(zhì)(153)中。
4.根據(jù)權(quán)利要求1所述的攝像裝置，特征在于圖像劣化信息包括與光學(xué)系統(tǒng)的像差相關(guān)的信息。
5.根據(jù)權(quán)利要求2所述的攝像裝置，特征在于圖像劣化信息包括與光學(xué)系統(tǒng)的像差相關(guān)的信息。
6.根據(jù)權(quán)利要求4所述的攝像裝置，特征在于光學(xué)系統(tǒng)的像差是一種失真。
7.根據(jù)權(quán)利要求5所述的攝像裝置，特征在于光學(xué)系統(tǒng)的像差是一種失真。
8.根據(jù)權(quán)利要求1所述的攝像裝置，特征在于圖像劣化信息包括與陰影相關(guān)的信息。
9.根據(jù)權(quán)利要求3所述的攝像裝置，特征在于圖像劣化信息包括與陰影相關(guān)的信息。
10.一種攝像裝置，特征在于包括光學(xué)系統(tǒng)(2)，其形成物體圖像；攝像單元(114)，其從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)；振動檢測單(108、109、110)，其檢測攝像裝置的振動；振動檢測信號存儲單元(113)，其存儲在攝像單元(114)的曝光期間從振動檢測單元(108、109、110)輸出的時間序列的振動檢測信號；失真信息存儲單元(118)，其中存儲有與由光學(xué)系統(tǒng)(2)產(chǎn)生的失真相關(guān)的信息；失真校正單元(172)，其根據(jù)在失真信息存儲單元(118)中存儲的與失真相關(guān)的信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對由光學(xué)系統(tǒng)(2)所產(chǎn)生的失真進(jìn)行校正；振動恢復(fù)單元(123)，其根據(jù)振動檢測信號存儲單元(113)中存儲的時間序列的振動檢測信號，針對從失真校正單元(172)輸出的圖像數(shù)據(jù)，對由振動而劣化的圖像進(jìn)行恢復(fù)；失真逆校正單元(123)，其針對從振動恢復(fù)單元(123)輸出的圖像數(shù)據(jù)，在桶形失真方向上以預(yù)定量對所述失真進(jìn)行逆校正；以及記錄單元(152)，其將從失真逆校正單元(123)輸出的圖像數(shù)據(jù)記錄在記錄介質(zhì)(153)中。
11.根據(jù)權(quán)利要求10所述的攝像裝置，特征在于失真逆校正單元(123)以相對于失真校正的小比率對所述失真進(jìn)行逆校正。
12.一種圖像恢復(fù)方法，特征在于包括通過拍攝獲得圖像數(shù)據(jù)；檢測拍攝時的振動；基于光學(xué)系統(tǒng)的圖像劣化信息對通過拍攝所獲得的圖像數(shù)據(jù)進(jìn)行校正；以及基于振動對經(jīng)校正的由振動而劣化的圖像數(shù)據(jù)進(jìn)行恢復(fù)。
全文摘要
攝像裝置和圖像恢復(fù)方法。一種攝像裝置包括用于形成物體圖像的光學(xué)系統(tǒng)(2)。攝像單元(114)從光學(xué)系統(tǒng)(2)所形成的物體圖像中獲取圖像數(shù)據(jù)。振動檢測單元(108、109、110)檢測攝像裝置的振動。在圖像劣化信息存儲單元(171)中存儲由光學(xué)系統(tǒng)(2)產(chǎn)生的圖像劣化的信息。圖像劣化校正單元(172)根據(jù)圖像劣化信息存儲單元(171)中存儲的圖像劣化信息，針對從攝像單元(114)輸出的圖像數(shù)據(jù)，對由光學(xué)系統(tǒng)(2)產(chǎn)生的圖像劣化進(jìn)行校正。振動恢復(fù)單元(123)根據(jù)時間序列的振動檢測信號，針對從圖像劣化校正單元(172)輸出的圖像數(shù)據(jù)，對由振動而劣化的圖像進(jìn)行恢復(fù)。
文檔編號H04N5/232GK1725811SQ200510086088
公開日2006年1月25日 申請日期2005年7月21日 優(yōu)先權(quán)日2004年7月21日
發(fā)明者大久保光將, 日暮正樹, 半川雅司, 今井右二 申請人:奧林巴斯映像株式會社