本發(fā)明涉及圖像處理裝置、攝像裝置及圖像處理方法。

背景技術(shù)：

關(guān)于用于抑制攝像裝置因手抖等而引起的攝像圖像的抖動(像抖)的方法，已知有光學(xué)式的抖動抑制處理，根據(jù)所產(chǎn)生的抖動驅(qū)動為構(gòu)成攝像光學(xué)系統(tǒng)的一部分而設(shè)置的防振用光學(xué)系統(tǒng)。并且，通過攝像光學(xué)系統(tǒng)得到的攝像圖像由于攝像光學(xué)系統(tǒng)的畸變像差等的影響而變形。這種畸變像差等通常通過幾何變換處理進(jìn)行校正。日本特開2015－022027號公報所提出的攝像裝置根據(jù)防振用光學(xué)系統(tǒng)的驅(qū)動量及驅(qū)動方向決定幾何變換處理的基準(zhǔn)坐標(biāo)，由此提高像差校正的精度。

日本特開2015－022027號公報的方法是以如下的兩個形狀相同為前提的，該兩個形狀是由于防振用光學(xué)系統(tǒng)的偏心而產(chǎn)生的攝像元件的像面上的畸變像差的形狀、和在以相同的驅(qū)動量驅(qū)動攝像元件時由于圖像中心和光軸中心的偏差而產(chǎn)生的攝像元件的像面上的畸變像差的形狀。但是，實際上由于防振用光學(xué)系統(tǒng)的偏心而產(chǎn)生的攝像元件的像面上的畸變像差的形狀，往往是和在以相同的驅(qū)動量驅(qū)動攝像元件時由于圖像中心和光軸中心的偏差而產(chǎn)生的攝像元件的像面上的畸變像差的形狀不同的。因此，日本特開2015－022027號公報的方法在進(jìn)行畸變像差的校正時有可能產(chǎn)生校正殘量。

技術(shù)實現(xiàn)要素：

本發(fā)明正是鑒于上述情況而完成的，其目的在于，提供圖像處理裝置、攝像裝置及圖像處理方法，能夠利用簡易的方法也考慮因防振用光學(xué)系統(tǒng)的偏心而引起的像面上的畸變像差的形狀變化而進(jìn)行精度良好的畸變像差校正。

本發(fā)明的第一方式的圖像處理裝置對攝像圖像進(jìn)行處理，該攝像圖像基于由攝像光學(xué)系統(tǒng)成像于像面上的像，該攝像光學(xué)系統(tǒng)具有根據(jù)攝像元件的所述像面上的像抖而被驅(qū)動的防振用光學(xué)系統(tǒng)，其中，所述圖像處理裝置具有：防振用光學(xué)系統(tǒng)驅(qū)動量取得部，其取得與所述攝像光學(xué)系統(tǒng)的光軸垂直的方向上的所述防振用光學(xué)系統(tǒng)的驅(qū)動量；畸變像差校正部，其使用所述光軸與所述攝像圖像的圖像中心之間的偏差量，對所述攝像圖像進(jìn)行基于所述偏差量的、所述像面上的畸變像差的校正；以及偏差量換算部，其根據(jù)與所述防振用光學(xué)系統(tǒng)的驅(qū)動量對應(yīng)的所述像面上的畸變像差的形狀、和與所述偏差量對應(yīng)的所述像面上的畸變像差的形狀之間的相關(guān)關(guān)系，計算與所述防振用光學(xué)系統(tǒng)驅(qū)動量取得部所取得的驅(qū)動量對應(yīng)的所述偏差量作為換算中心偏差量，所述畸變像差校正部使用所述換算中心偏差量作為所述偏差量進(jìn)行所述畸變像差的校正。

本發(fā)明的第二方式的圖像處理方法對攝像圖像進(jìn)行處理，該攝像圖像基于由攝像光學(xué)系統(tǒng)成像于像面上的像，該攝像光學(xué)系統(tǒng)具有根據(jù)攝像元件的所述像面上的像抖而被驅(qū)動的防振用光學(xué)系統(tǒng)，其中，所述圖像處理方法包括如下步驟：取得與所述攝像光學(xué)系統(tǒng)的光軸垂直的方向上的所述防振用光學(xué)系統(tǒng)的驅(qū)動量；根據(jù)與所述防振用光學(xué)系統(tǒng)的驅(qū)動量對應(yīng)的所述像面上的畸變像差的形狀、和與所述光軸和所述攝像圖像的圖像中心之間的偏差量對應(yīng)的所述像面上的畸變像差的形狀之間的相關(guān)關(guān)系，計算與所述防振用光學(xué)系統(tǒng)的驅(qū)動量對應(yīng)的所述偏差量作為換算中心偏差量；使用所述換算中心偏差量作為所述偏差量進(jìn)行所述畸變像差的校正。

附圖說明

圖1a及圖1b是對像抖進(jìn)行說明的圖。

圖2a是對光學(xué)系統(tǒng)移位式的抖動抑制處理進(jìn)行說明的圖。

圖2b是對攝像元件移位式的抖動抑制處理進(jìn)行說明的圖。

圖2c是對電子式的抖動抑制處理進(jìn)行說明的圖。

圖3a是示出未產(chǎn)生像抖的攝像圖像的圖。

圖3b是示出產(chǎn)生了像抖的攝像圖像的圖。

圖3c是示出對圖3b的像抖應(yīng)用了攝像元件移位式或者電子式的抖動抑制處理后的攝像圖像的圖。

圖4是示出對圖3b的像抖應(yīng)用了光學(xué)系統(tǒng)移位式的抖動抑制處理后的攝像圖像的圖。

圖5是示出因防振用光學(xué)系統(tǒng)的偏心而引起的畸變像差的形狀變化、和因圖像中心與光軸中心的偏差而引起的畸變像差的形狀變化之間的關(guān)系的一例的圖。

圖6a及圖6b是示出像面上的畸變像差的形狀相似的防振用光學(xué)系統(tǒng)的驅(qū)動量、和攝像元件的驅(qū)動量之間的相關(guān)關(guān)系的一例的圖。

圖7是示出第1實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。

圖8是示出第1實施方式的攝影動作的流程圖。

圖9a、9b、9c是對求出系數(shù)α的思路進(jìn)行說明的圖。

圖10是對求出系數(shù)α?xí)r的測定系統(tǒng)進(jìn)行說明的圖。

圖11是對攝像圖像中的位于同一行上的點和點之間的傾斜的求解方式進(jìn)行說明的圖。

圖12是攝像圖像中的位于同一條線上的點和點之間的傾斜的一例。

圖13是示出針對防振用光學(xué)系統(tǒng)的驅(qū)動量繪制網(wǎng)格為直線的點的高度而得到的一例的直線的圖。

圖14是示出第2實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。

圖15是示出第2實施方式的攝影動作的流程圖。

圖16是示出在(程序1)及(程序2)取得的各攝像圖像的網(wǎng)格點的圖。

圖17是示出繪制防振用光學(xué)系統(tǒng)104的驅(qū)動量和攝像元件202的驅(qū)動量之間的關(guān)系而得到的一例的曲線的圖。

圖18是示出第3實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。

圖19是示出第3實施方式的攝影動作的流程圖。

圖20是示出基于防振用光學(xué)系統(tǒng)的驅(qū)動量的像面上的畸變像差的形狀、和基于圖像中心與光軸中心的偏差量的像面上的畸變像差的形狀之間的相關(guān)關(guān)系的表的例子。

圖21是示出第4實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。

圖22是示出第4實施方式的攝影動作的流程圖。

圖23是示出將光學(xué)狀態(tài)和系數(shù)α對應(yīng)起來而得到的表的例子的圖。

具體實施方式

下面，參照附圖說明本發(fā)明的實施方式。首先，說明本發(fā)明的各實施方式的圖像處理方法的原理。為此，對像抖的抑制處理進(jìn)行說明。圖1a及圖1b是對像抖進(jìn)行說明的圖。圖1a示出攝像裝置未產(chǎn)生抖動時的被攝體和攝像裝置之間的關(guān)系。圖1b示出在攝像裝置的圖像中心產(chǎn)生了角度為θ的抖動時的被攝體和攝像裝置之間的關(guān)系。圖1a及圖1b的z軸例如是與地面平行的方向，y軸例如是與地面垂直的方向。

來自被攝體的任意物點的光束在光瞳位置形成像，然后在防振用光學(xué)系統(tǒng)2通過，在攝像元件1的像面上再次成像。這些光束的入射角和出射角都是。當(dāng)在攝像裝置未產(chǎn)生抖動時，攝像光學(xué)系統(tǒng)的光軸中心和攝像元件的像面中心(設(shè)為與圖像中心一致)的y軸位置一致。因此，在攝像光學(xué)系統(tǒng)的光軸中心通過的光，在防振用光學(xué)系統(tǒng)2的光軸中心通過而入射到攝像元件1的像面中心po。另一方面，當(dāng)在攝像裝置產(chǎn)生角度θ的像抖時，攝像光學(xué)系統(tǒng)的光軸中心的y軸位置和攝像元件1的像面中心的y軸位置之間產(chǎn)生偏差。根據(jù)該偏差的大小，從被攝體的同一個物點射出的光束成像于攝像元件的不同位置。由于該成像位置的偏差而產(chǎn)生像抖。這種像抖不限于角度抖動，也由于攝像裝置沿與像面平行的方向移動的并進(jìn)偏差而產(chǎn)生。

關(guān)于用于抑制像抖的抖動抑制方法，已知主要有光學(xué)系統(tǒng)移位式、攝像元件移位式、電子式這三種方法。光學(xué)系統(tǒng)移位式的抖動抑制處理是如圖2a所示的處理，該處理根據(jù)所檢測出的抖動，在與攝像光學(xué)系統(tǒng)的光軸垂直的面內(nèi)對作為攝像光學(xué)系統(tǒng)的一部分的防振用光學(xué)系統(tǒng)2進(jìn)行驅(qū)動，由此抑制抖動。即，在光學(xué)系統(tǒng)移位式的抖動抑制處理中，像面中心po不移動，光束的成像位置移動到p1。攝像元件移位式的抖動抑制處理是如圖2b所示的處理，該處理根據(jù)所檢測出的抖動，在與攝像光學(xué)系統(tǒng)的光軸垂直的面內(nèi)對攝像元件1進(jìn)行驅(qū)動，由此抑制抖動。即，在攝像元件移位式的抖動抑制處理中，像面中心po移動到p1。電子式的抖動抑制處理是如圖2c所示的處理，該處理根據(jù)所檢測出的抖動，變更攝像圖像(與光軸垂直的面內(nèi))的切取范圍，由此抑制抖動。即，在電子式的抖動抑制處理中，像面中心po和成像位置都不移動，僅攝像圖像的切取范圍變化。

圖3a示出未產(chǎn)生像抖的攝像圖像。假設(shè)攝像光學(xué)系統(tǒng)的光軸與被攝體一致，在沒有像抖的情況下，像面上的被攝體o的位置與圖像中心po的位置一致。并且，攝像光學(xué)系統(tǒng)的光軸與像面相交的交點位置和圖像中心po一致。無論是鼓形的畸變像差還是枕形的畸變像差，像差都是以攝像光學(xué)系統(tǒng)的光軸為中心呈點對稱地產(chǎn)生的。因此，在圖3a的情況下，對攝像圖像產(chǎn)生影響的像差d呈以圖像中心po為中心的點對稱形狀。

圖3b示出產(chǎn)生了像抖的攝像圖像。由于攝像裝置的抖動，攝像光學(xué)系統(tǒng)的光軸偏離被攝體，導(dǎo)致像面上的被攝體o的位置從圖像中心po的位置移動。另一方面，在未進(jìn)行抖動抑制處理時，攝像光學(xué)系統(tǒng)的光軸與像面相交的交點位置和圖像中心po一致。因此，在圖3b的情況下，對攝像圖像產(chǎn)生影響的像差d呈以圖像中心po為中心的點對稱形狀。

圖3b是示出產(chǎn)生了像抖的攝像圖像的圖，圖3c示出對圖3b的像抖應(yīng)用了攝像元件移位式或者電子式的抖動抑制處理后的攝像圖像。通過抖動抑制處理，使圖像中心po與被攝體o的位置一致。另一方面，攝像光學(xué)系統(tǒng)的光軸與像面相交的交點位置p1偏離圖像中心po。因此，在圖3c的情況下，對攝像圖像產(chǎn)生影響的像差d成為非點對稱形狀。在對比圖3c的像差d與圖3a及圖3b的像差d時，圖3c的像差d的形狀看起來通過抖動抑制處理而變形。

另一方面，圖4示出對圖3b的像抖應(yīng)用了光學(xué)系統(tǒng)移位式的抖動抑制處理后的攝像圖像。如圖4所示，在光學(xué)系統(tǒng)移位式的抖動抑制處理中，通過抖動抑制處理，使攝像光學(xué)系統(tǒng)的光軸與像面相交的交點位置po與被攝體o的位置一致。如前面所述，像差是以攝像光學(xué)系統(tǒng)的光軸為中心呈點對稱地產(chǎn)生的。因此，在抖動抑制處理前以防振用光學(xué)系統(tǒng)2的驅(qū)動前的光軸和像面的交點p2為中心呈點對稱地產(chǎn)生的像差d，在抖動抑制處理后以防振用光學(xué)系統(tǒng)2的驅(qū)動后的光軸和像面的交點po為中心呈非點對稱地產(chǎn)生。在對比圖4的像差d與圖3a或者圖3b的像差d時，圖4的像差d的形狀看起來通過抖動抑制處理而變形。

作為用于正確校正隨著抖動抑制處理而形成的畸變像差的形狀變化的方法，可以采用考慮畸變像差形狀的變化而進(jìn)行畸變像差校正的方法。在通常的畸變像差校正中，預(yù)先定義理想像高y(校正后的像高)和實際像高y’(校正前的像高)之間的關(guān)系。該關(guān)系利用例如式(1)那樣的近似多項式進(jìn)行定義。并且，在實際的處理中，通過使用了預(yù)先定義的關(guān)系的坐標(biāo)變換進(jìn)行畸變像差校正。具體而言，使用定義式計算校正前的圖像和校正后的圖像的對應(yīng)坐標(biāo)，按照該對應(yīng)坐標(biāo)對校正前的圖像中的各像素進(jìn)行再配置，由此進(jìn)行校正。

y＝d0+d1y’+d2y’²+d3y’³+……式(1)

在針對攝像元件移位式或者電子式的抖動抑制處理后的攝像圖像的畸變像差校正中，通過考慮了圖像中心和光軸中心的偏差量(本來的畸變像差的產(chǎn)生中心)的通常那樣的畸變像差校正，能夠進(jìn)行包含了像差形狀的變化的校正。另一方面，因防振用光學(xué)系統(tǒng)的偏心而引起的畸變像差的形狀變化、和因圖像中心與光軸中心的偏差而引起的畸變像差的形狀變化，其發(fā)生原理是不同的，因而即使是進(jìn)行考慮了圖像中心和光軸中心的偏差量的通常那樣的畸變像差校正，也產(chǎn)生校正殘量。

因防振用光學(xué)系統(tǒng)的偏心而引起的畸變像差的形狀變化、和因圖像中心與光軸中心的偏差而引起的畸變像差的形狀變化，雖然其發(fā)生原理不同，但是具有大致相似的性質(zhì)。圖5是示出因防振用光學(xué)系統(tǒng)的偏心而引起的畸變像差的形狀變化、和因圖像中心與光軸中心的偏差而引起的畸變像差的形狀變化之間的關(guān)系的一例的圖。在圖5中，以容易理解的方式僅示出畸變像差形狀的變化，假設(shè)攝像對象的被攝體是網(wǎng)格圖案的被攝體。并且，圖5的左側(cè)示出如下情況時的攝像圖像的畸變像差形狀，即，使攝像系統(tǒng)(安裝有攝像光學(xué)系統(tǒng)的狀態(tài)的攝像裝置)垂直移動0mm、垂直移動0.05mm、垂直移動0.1mm，在為了校正因這些移動而引起的像抖而對攝像元件垂直驅(qū)動0mm、垂直驅(qū)動0.05mm、垂直驅(qū)動0.1mm的狀態(tài)下拍攝被攝體。圖5的右側(cè)示出如下情況時的攝像圖像的畸變像差形狀，即，使攝像系統(tǒng)(安裝有攝像光學(xué)系統(tǒng)的狀態(tài)的攝像裝置)按照與圖5的左側(cè)相同的條件垂直移動0mm、垂直移動0.05mm、垂直移動0.1mm，在為了校正因這些移動而引起的像抖而對防振用光學(xué)系統(tǒng)垂直驅(qū)動0mm、垂直驅(qū)動0.05mm、垂直驅(qū)動0.1mm的狀態(tài)下拍攝被攝體。另外，在圖5中為了簡化說明，假設(shè)在防振用光學(xué)系統(tǒng)被驅(qū)動了1mm時，像在像面上移動1mm。根據(jù)防振用光學(xué)系統(tǒng)的構(gòu)造，防振用光學(xué)系統(tǒng)的驅(qū)動量d和在像面上的移動量m不一定一致，而形成為如式(2)所示的比例關(guān)系。在圖5中，假設(shè)式(2)的像面移動量靈敏度s為1。此時，在攝像元件和防振用光學(xué)系統(tǒng)中為抑制相同抖動所需要的驅(qū)動量是相同的。

m＝s×d式(2)

其中，s＝(1-β2)×β3式(3)

(β2：防振用光學(xué)系統(tǒng)的倍率，β3：攝像光學(xué)系統(tǒng)的防振用光學(xué)系統(tǒng)的后組的倍率)

根據(jù)圖5可知，即使是在攝像元件的驅(qū)動量和防振用光學(xué)系統(tǒng)的驅(qū)動量相同的條件下對比畸變像差形狀時，兩者的畸變像差形狀也不一致。但是，在圖5的情況下，對防振用光學(xué)系統(tǒng)驅(qū)動0.05mm的狀態(tài)和對攝像元件驅(qū)動0.1mm的狀態(tài)這兩者的畸變像差形狀相似。

因此，在想要校正對防振用光學(xué)系統(tǒng)驅(qū)動0.05mm后的狀態(tài)的攝像圖像的情況下，如果存在式(1)等的“能夠考慮圖像中心和光軸中心的偏差來校正關(guān)于光軸中心呈點對稱地產(chǎn)生的畸變像差的機(jī)構(gòu)”，可以對該機(jī)構(gòu)賦值0.1mm作為圖像中心和光軸中心的偏差量。由此，能夠大致校正隨著防振用光學(xué)系統(tǒng)的驅(qū)動而形成的畸變像差的形狀變化(畸變像差形狀的非點對稱變化)。

在具體的處理中，例如預(yù)先定義像面上的畸變像差的形狀相似的防振用光學(xué)系統(tǒng)的驅(qū)動量和攝像元件的驅(qū)動量之間的相關(guān)關(guān)系。并且，在進(jìn)行了防振用光學(xué)系統(tǒng)的驅(qū)動時，將防振用光學(xué)系統(tǒng)的驅(qū)動量換算為對應(yīng)的攝像元件的驅(qū)動量，按照換算后的驅(qū)動量進(jìn)行例如基于式(1)的畸變像差校正。圖6a及圖6b是像面上的畸變像差的形狀相似的防振用光學(xué)系統(tǒng)的驅(qū)動量、和攝像元件的驅(qū)動量之間的相關(guān)關(guān)系的一例。圖6a是相關(guān)關(guān)系呈線性的例子。在相關(guān)關(guān)系呈線性的情況下，在進(jìn)行畸變像差校正時，通過對防振用光學(xué)系統(tǒng)的驅(qū)動量乘以規(guī)定的系數(shù)來進(jìn)行換算。另一方面，圖6b是相關(guān)關(guān)系呈非線性的例子。在相關(guān)關(guān)系呈非線性的情況下，預(yù)先定義表示其曲線的近似式。并且，在進(jìn)行畸變像差校正時，使用近似式對防振用光學(xué)系統(tǒng)的驅(qū)動量進(jìn)行換算。圖6b的關(guān)系例如以二次式近似。但是，不一定需要以二次式近似。圖6b的關(guān)系以三次式以上的適當(dāng)次數(shù)的算式進(jìn)行了近似，但不限于此。另外，不限于多項式，也可以以適當(dāng)?shù)臄?shù)學(xué)式近似。

[第1實施方式]

圖7是示出第1實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。攝像系統(tǒng)10具有攝像光學(xué)系統(tǒng)100和攝像裝置200。攝像光學(xué)系統(tǒng)100安裝于攝像裝置200。在攝像光學(xué)系統(tǒng)100被安裝于攝像裝置200時，攝像光學(xué)系統(tǒng)100和攝像裝置200被通信自如地連接。此時，攝像光學(xué)系統(tǒng)100按照攝像裝置200的控制進(jìn)行動作。

攝像光學(xué)系統(tǒng)100具有光學(xué)系統(tǒng)防振機(jī)構(gòu)102、抖動量檢測部106、相關(guān)信息記錄部108。

光學(xué)系統(tǒng)防振機(jī)構(gòu)102包括用于使來自被攝體的光束成像于攝像元件的像面上的光學(xué)系統(tǒng)。并且，光學(xué)系統(tǒng)防振機(jī)構(gòu)102具有防振用光學(xué)系統(tǒng)104。光學(xué)系統(tǒng)防振機(jī)構(gòu)102按照在抖動量檢測部106檢測出的攝像光學(xué)系統(tǒng)100的抖動量，在與光學(xué)系統(tǒng)防振機(jī)構(gòu)102的光軸垂直的面內(nèi)驅(qū)動防振用光學(xué)系統(tǒng)104。通過防振用光學(xué)系統(tǒng)104改變來自被攝體的光束的成像位置，由此抑制抖動。

抖動量檢測部106例如是陀螺儀傳感器或者加速度傳感器，檢測在攝像光學(xué)系統(tǒng)100產(chǎn)生的抖動量。該抖動包括例如繞對攝像光學(xué)系統(tǒng)100定義的正交3軸的角度抖動及旋轉(zhuǎn)抖動。并且，該抖動也可以包括例如沿著對攝像光學(xué)系統(tǒng)100定義的正交3軸的并進(jìn)抖動。

相關(guān)信息記錄部108例如是閃存。在相關(guān)信息記錄部108中記錄表示與防振用光學(xué)系統(tǒng)104的驅(qū)動量對應(yīng)的攝像元件202的像面上的畸變像差的形狀、和與圖像中心和光軸中心的偏差對應(yīng)的攝像元件202的像面上的畸變像差的形狀之間的相關(guān)關(guān)系的信息。例如，作為表示相關(guān)關(guān)系的信息，例如能夠預(yù)先記錄用于將防振用光學(xué)系統(tǒng)的驅(qū)動量換算為攝像元件的驅(qū)動量的系數(shù)α。關(guān)于該系數(shù)α的詳細(xì)情況在后面進(jìn)行說明。

攝像裝置200具有攝像元件202、記錄部204、輸入部206、控制部210。

攝像元件202具有由像素構(gòu)成的像面。像素由光電二極管等光電轉(zhuǎn)換元件構(gòu)成，生成與入射光的量對應(yīng)的電荷。這種結(jié)構(gòu)的攝像元件202生成與入射至像面的光束對應(yīng)的圖像信號(攝像圖像)。在本實施方式中，攝像元件202的方式可以是ccd方式和cmos方式中任何方式。并且，也可以在像素的前面設(shè)置濾色器和微鏡。

記錄部204是內(nèi)置于攝像裝置200或者安裝于攝像裝置200的存儲器。在記錄部204記錄作為攝影處理的結(jié)果而得到的圖像文件。

輸入部206例如是攝影者對攝像裝置200進(jìn)行各種指示用的操作部件。輸入部206包括例如記錄開始按鈕208。記錄開始按鈕208是對攝像裝置200提供圖像記錄開始的指示用的操作部件。另外，輸入部206也可以具有觸摸屏等其它操作部件。

控制部210構(gòu)成為例如cpu、asic這樣的控制電路?？刂撇?10控制攝像裝置200的各種動作。本實施方式的控制部210具有防振用光學(xué)系統(tǒng)驅(qū)動量取得部212、偏差量換算部214、畸變像差校正部216。

防振用光學(xué)系統(tǒng)驅(qū)動量取得部212從防振用光學(xué)系統(tǒng)104取得其驅(qū)動量。驅(qū)動量是由編碼器等檢測出來的。

偏差量換算部214使用在相關(guān)信息記錄部108記錄的相關(guān)關(guān)系的信息，將防振用光學(xué)系統(tǒng)104的驅(qū)動量換算為隨著攝像元件202的驅(qū)動而形成的圖像中心和光軸中心的偏差量。

畸變像差校正部216對在攝像元件202得到的攝像圖像進(jìn)行畸變像差校正。畸變像差校正是按照前述的式(1)進(jìn)行的。另外，畸變像差校正部216也可以構(gòu)成為進(jìn)行畸變像差校正以及畸變像差校正以外的各種圖像處理(白平衡校正、灰度校正等)。

如上所述的控制部210的各種功能可以利用一個硬件或者軟件來實現(xiàn)，也可以利用多個硬件或者軟件來實現(xiàn)。并且，也可以是一部分功能與控制部210分體設(shè)置。另外，也可以是一部分功能與攝像裝置200也分體設(shè)置。例如，也可以在能夠與攝像裝置200進(jìn)行通信地構(gòu)成的圖像處理裝置中設(shè)置防振用光學(xué)系統(tǒng)驅(qū)動量取得部212、偏差量換算部214、畸變像差校正部216。該圖像處理裝置可以具有攝像功能，也可以不具有攝像功能。

下面，說明第1實施方式的攝像系統(tǒng)10的動作。圖8是示出包括第1實施方式的圖像處理方法在內(nèi)的攝影動作的流程圖。在此，圖8是動態(tài)圖像攝影動作的流程圖。但是，在以下的動態(tài)圖像攝影動作中說明的畸變像差校正也能夠在靜態(tài)圖像攝影動作中適用。

圖8的動作例如是通過攝影者按下記錄開始按鈕208而開始的。在圖8的動作開始時，在步驟s1，控制部210開始攝影動作。具體而言，控制部210開始攝像元件202的反復(fù)曝光動作。

在步驟s2，抖動量檢測部106檢測攝像光學(xué)系統(tǒng)100的抖動量。在步驟s3，光學(xué)系統(tǒng)防振機(jī)構(gòu)102驅(qū)動防振用光學(xué)系統(tǒng)104，以消除在抖動量檢測部106檢測出的攝像光學(xué)系統(tǒng)100的抖動。由此，抑制在攝像元件202的像面上的抖動(像抖)。

在步驟s4，控制部210通過防振用光學(xué)系統(tǒng)驅(qū)動量取得部212取得防振用光學(xué)系統(tǒng)104的驅(qū)動量。

在步驟s5，控制部210通過偏差量換算部214使用在相關(guān)信息記錄部108記錄的相關(guān)關(guān)系的信息，將防振用光學(xué)系統(tǒng)104的驅(qū)動量換算為隨著攝像元件202的驅(qū)動而形成的圖像中心和光軸中心的偏差量。下面，將該換算出的偏差量記述為換算中心偏差量。例如，如果在像面上的畸變像差的形狀相似的防振用光學(xué)系統(tǒng)的驅(qū)動量和攝像元件的驅(qū)動量之間的相關(guān)關(guān)系是線性的，則對防振用光學(xué)系統(tǒng)的驅(qū)動量乘以系數(shù)α(表示隨著圖像中心和光軸中心的偏差量而形成的畸變像差形狀與隨著防振用光學(xué)系統(tǒng)的驅(qū)動而形成的畸變像差形狀之間的相關(guān)的值)，由此計算出換算中心偏差量。

通過探尋將防振用光學(xué)系統(tǒng)104驅(qū)動任意量時的像面上的畸變像差形狀、與圖像中心和光軸中心偏差何種程度(對攝像元件202驅(qū)動何種程度)時的畸變像差形狀最相似(相關(guān)關(guān)系)，并對該關(guān)系進(jìn)行例如線性近似，由此決定系數(shù)α。在此，相關(guān)關(guān)系的探尋可以通過視覺觀察來進(jìn)行，也可以使用以下所示的計算來進(jìn)行。

首先，假設(shè)拍攝如圖9a所示的網(wǎng)格圖案的被攝體of。本來，畸變像差是以光軸為中心呈點對稱地產(chǎn)生的，在拍攝到網(wǎng)格圖案的被攝體of的情況下，攝像圖像的中心線(在圖像中心po通過的線)成為如圖9a所示的直線。

另外，在如圖9b所示為抑制抖動而驅(qū)動攝像元件202時，如前面所述在像面上的畸變像差的形狀變化。在這種情況下，攝像圖像的中心線彎曲。但是，在驅(qū)動攝像元件202時的畸變像差的形狀變化僅僅是基于圖像中心和光軸的偏差的變化。因此，如圖9b所示，在本來的光軸中心(像差的產(chǎn)生中心)所在的攝像圖像上的點p1通過的線成為直線。

另外，在如圖9c所示為抑制抖動而驅(qū)動防振用光學(xué)系統(tǒng)104時，如前面所述在像面上的畸變像差的形狀也變化。在這種情況下，攝像圖像的中心線彎曲?；趫D像中心和光軸的偏差的畸變像差形狀的變化和基于防振用光學(xué)系統(tǒng)的驅(qū)動(偏心)的畸變像差形狀的變化是根據(jù)不同的原理產(chǎn)生的。如前面所述，基于圖像中心和光軸的偏差的畸變像差形狀的變化和基于防振用光學(xué)系統(tǒng)的驅(qū)動(偏心)的畸變像差形狀的變化具有相關(guān)性。即，即使是畸變像差形狀由于防振用光學(xué)系統(tǒng)的驅(qū)動(偏心)而變化，也存在所拍攝的網(wǎng)格成為直線的點(圖9c的點p3)。

這樣，如果將圖像中心po和網(wǎng)格被拍攝成直線的點p3的偏差量處理成暫時的圖像中心和光軸的偏差量，則能夠使隨著防振用光學(xué)系統(tǒng)的驅(qū)動而變形的畸變像差的形狀、與隨著圖像中心和光軸中心的偏差而變形的畸變像差的形狀相似。但是，如圖9c所示，所拍攝的網(wǎng)格成為直線的點往往與防振用光學(xué)系統(tǒng)的驅(qū)動前的像面和光軸的交點(圖9c的點p2)不對應(yīng)。因此，不能單純地根據(jù)防振用光學(xué)系統(tǒng)的驅(qū)動量計算網(wǎng)格被拍攝成直線的點的坐標(biāo)。因此，在按照以下所述的程序驅(qū)動防振用光學(xué)系統(tǒng)時，探尋所拍攝的網(wǎng)格成為直線的點的坐標(biāo)。

(程序1)考慮如圖10所示的利用攝像裝置200拍攝網(wǎng)格圖案的被攝體of的測定系統(tǒng)。在這樣的測定系統(tǒng)中，使攝像系統(tǒng)10(安裝有攝像光學(xué)系統(tǒng)100的狀態(tài)的攝像裝置200)移動任意量(賦予任意的抖動)。并且，驅(qū)動防振用光學(xué)系統(tǒng)104以校正基于該移動的像抖。在該狀態(tài)下，利用攝像裝置200拍攝網(wǎng)格圖案的被攝體of。

(程序2)如圖11所示，從攝像圖像中探尋位于同一行上的點和點之間的傾斜1-4。在探尋后，例如通過回歸計算等估計在傾斜1-4中值為0的傾斜(即所拍攝的網(wǎng)格成為直線的點)。例如，假設(shè)如圖12所示得到傾斜1-4的值，估計在距中心點為橫向0mm、高度方向2.42mm的位置存在所拍攝的網(wǎng)格成為直線的點。在此，在基于回歸計算等的估計中求出傾斜為0的點的坐標(biāo)。傾斜為0的點的坐標(biāo)的求解方法不限于回歸計算。例如，通過使網(wǎng)格圖案更加精細(xì)化，能夠更精密地求出傾斜。在這種情況下，能夠通過求出傾斜最接近0的點的坐標(biāo)來取代回歸計算等。

(程序3)改變攝像系統(tǒng)10的移位量來反復(fù)任意次數(shù)進(jìn)行(程序1)及(程序2)。并且，如圖13所示，繪制防振用光學(xué)系統(tǒng)的驅(qū)動量(與攝像元件的驅(qū)動量成比例)和所拍攝的網(wǎng)格成為直線的點的高度(像高)。在對所繪制的點進(jìn)行線性近似時，該直線的傾斜成為系數(shù)α。

在(程序1)-(程序3)中假設(shè)是以實際的攝像圖像進(jìn)行的。不限于此，也可以通過使用了光線追蹤等的模擬來計算系數(shù)α。并且，假設(shè)反復(fù)進(jìn)行(程序1)及(程序2)來進(jìn)行說明。不限于此，也可以僅進(jìn)行一次(程序1)及(程序2)來計算系數(shù)α。并且，攝像元件的驅(qū)動量能夠根據(jù)式(2)利用防振用光學(xué)系統(tǒng)的驅(qū)動量表示。因此，可以根據(jù)攝像元件202的驅(qū)動量和所拍攝的網(wǎng)格成為直線的點的高度之間的關(guān)系計算系數(shù)α。在這種情況下，即使像面移動量靈敏度不是1，也能夠記錄相關(guān)關(guān)系的信息。

在此，返回到圖8的說明。在步驟s6，控制部210將在步驟s5得到的換算中心偏差量輸入到畸變像差校正部216，進(jìn)行對攝像圖像的畸變像差校正。例如，畸變像差校正部216將換算中心偏差量作為圖像中心和光軸的偏差量進(jìn)行基于式(1)的畸變像差校正。然后，控制部210根據(jù)需要進(jìn)行畸變像差校正以外的校正，將攝像圖像記錄在記錄部204中。

在步驟s7，控制部210判定是否結(jié)束攝影動作。例如，在記錄開始按鈕被攝影者再次按下或者攝像裝置200的電源被斷開時，判定為結(jié)束攝影動作。當(dāng)在步驟s7中判定為不結(jié)束攝影動作時，處理返回到步驟s2。在這種情況下，攝影動作繼續(xù)。當(dāng)在步驟s7中判定為結(jié)束攝影動作時，圖8的處理結(jié)束。

在如上所說明的本實施方式中，將表示與防振用光學(xué)系統(tǒng)的驅(qū)動量對應(yīng)的攝像元件的像面上的畸變像差的形狀、和與圖像中心和光軸中心的偏差對應(yīng)的攝像元件的像面上的畸變像差的形狀之間的相關(guān)關(guān)系的信息記錄在記錄部中。并且，根據(jù)表示該相關(guān)關(guān)系的信息將防振用光學(xué)系統(tǒng)的驅(qū)動量換算為圖像中心和光軸中心的偏差量，根據(jù)該換算出的偏差量進(jìn)行與對關(guān)于光軸中心呈點對稱地產(chǎn)生的畸變像差的校正相同的畸變像差校正。由此，雖然近似，但是能夠利用簡單的結(jié)構(gòu)高精度地進(jìn)行考慮了因防振用光學(xué)系統(tǒng)的偏心而形成的像面上的畸變像差的變形的畸變像差校正。

在此，在圖8中一定進(jìn)行抖動的抑制。抖動的檢測及抑制也可以按照攝影者的指示而開始。并且，也可以在攝影動作開始前(例如實時取景圖像顯示時)實施。

另外，相關(guān)信息記錄部108不一定需要設(shè)于攝像光學(xué)系統(tǒng)100。相關(guān)信息記錄部108也可以設(shè)于例如攝像裝置200。并且，相關(guān)信息記錄部108也可以設(shè)于與攝像光學(xué)系統(tǒng)100及攝像裝置200分體的服務(wù)器等。

[第2實施方式]

下面，說明第2實施方式。圖14是示出第2實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。在本實施方式中，攝像裝置200具有攝像光學(xué)系統(tǒng)100、攝像元件防振機(jī)構(gòu)218、記錄部204、輸入部206、控制部210。其中，記錄部204和輸入部206與在第1實施方式中說明的內(nèi)容相同。因此，對它們標(biāo)注與圖7相同的參照標(biāo)號并省略說明。

在第2實施方式中，攝像光學(xué)系統(tǒng)100與攝像裝置200設(shè)置成為一體。第2實施方式的攝像光學(xué)系統(tǒng)100的基本結(jié)構(gòu)與在第1實施方式中說明的結(jié)構(gòu)相同。

攝像元件防振機(jī)構(gòu)218具有能夠沿與像面平行的方向進(jìn)行驅(qū)動而構(gòu)成的攝像元件202。另外，攝像元件防振機(jī)構(gòu)218具有抖動量檢測部220。抖動量檢測部220例如是陀螺儀傳感器或者加速度傳感器，檢測在攝像元件202產(chǎn)生的抖動量。攝像元件防振機(jī)構(gòu)218根據(jù)在抖動量檢測部220檢測出的抖動量驅(qū)動攝像元件202，由此抑制像抖。

第2實施方式的控制部210具有防振用光學(xué)系統(tǒng)驅(qū)動量取得部212、偏差量換算部214、畸變像差校正部216、以及攝像元件驅(qū)動量取得部222。

第2實施方式的偏差量換算部214具有相關(guān)信息記錄部224。相關(guān)信息記錄部224與相關(guān)信息記錄部108相對應(yīng)。在相關(guān)信息記錄部224記錄表示與防振用光學(xué)系統(tǒng)104的驅(qū)動量對應(yīng)的攝像元件202的像面上的畸變像差的形狀、和與圖像中心和光軸中心的偏差對應(yīng)的攝像元件202的像面上的畸變像差的形狀之間的相關(guān)關(guān)系的信息。

攝像元件驅(qū)動量取得部222從攝像元件防振機(jī)構(gòu)218取得攝像元件202的驅(qū)動量。

下面，說明第2實施方式的攝像系統(tǒng)10的動作。圖15是示出第2實施方式的攝影動作的流程圖。在此，圖15是動態(tài)圖像攝影動作的流程圖。但是，在下面的動態(tài)圖像攝影動作中說明的畸變像差校正也能夠在靜態(tài)圖像攝影動作中適用。另外，在圖15的動作中，對與第1實施方式相同的動作標(biāo)注與圖8相同的步驟號碼，并適當(dāng)省略說明。

圖15的步驟s1-s4的動作與圖8的步驟s1-s4的動作相同，因而省略說明。

在步驟s5，控制部210通過偏差量換算部214計算換算中心偏差量。換算中心偏差量的計算例如也可以與第1實施方式一樣地進(jìn)行。并且，如前面所述，相關(guān)關(guān)系的信息也可以是基于二次以上的多項式的近似式。這樣的近似式例如能夠按照下面所述的程序得到。

(程序1)使攝像裝置200移動任意量(賦予任意的抖動)。并且，驅(qū)動防振用光學(xué)系統(tǒng)104以校正基于該移動的像抖。在該狀態(tài)下，通過攝像裝置200拍攝網(wǎng)格圖案的被攝體of。變更攝像裝置200的移位量來進(jìn)行任意次數(shù)的這種攝像。例如，使攝像裝置200在0mm～1mm的范圍內(nèi)逐次移動0.1mm進(jìn)行11次攝像。

(程序2)使攝像裝置200進(jìn)行與(程序1)相同的移動。并且，驅(qū)動攝像元件202以校正基于該移動的像抖。在該狀態(tài)下，通過攝像裝置200拍攝網(wǎng)格圖案的被攝體of。變更攝像裝置200的移位量來進(jìn)行與(程序1)相同次數(shù)的這種攝像。例如，使攝像裝置200在0mm～1mm的范圍內(nèi)逐次移動0.1mm進(jìn)行11次攝像。

(程序3)如圖16所示，取得在(程序1)及(程序2)所取得的各攝像圖像的網(wǎng)格點的位置。網(wǎng)格點的位置可以通過視覺觀察來取得，也可以使用圖案匹配等公知的技術(shù)自動取得。

(程序4)計算使防振用光學(xué)系統(tǒng)104驅(qū)動任意量的攝像圖像內(nèi)的網(wǎng)格點的坐標(biāo)位置、與使攝像元件202驅(qū)動任意量后的攝像圖像內(nèi)的網(wǎng)格點的坐標(biāo)位置之間的歐幾里得距離的總和。并且，求出使該總和為最小的防振用光學(xué)系統(tǒng)104的驅(qū)動量與攝像元件202的驅(qū)動量的組合。該組合是像面上的畸變像差的形狀最相似的驅(qū)動量的組合。在此，根據(jù)坐標(biāo)點的歐幾里得距離的總和計算伴隨防振用光學(xué)系統(tǒng)的驅(qū)動的像面上的畸變像差形狀與伴隨攝像元件的驅(qū)動的像面上的畸變像差形狀之間的相關(guān)。與此不同，相關(guān)也可以通過計算攝像圖像自身的歐幾里得距離來求出。并且，也可以不根據(jù)攝像圖像整體的坐標(biāo)點的歐幾里得距離，而根據(jù)攝像圖像的一部分例如僅中心線的歐幾里得距離計算相關(guān)。

(程序5)如圖17所示，繪制在(程序4)求出的防振用光學(xué)系統(tǒng)104的驅(qū)動量與攝像元件202的驅(qū)動量之間的關(guān)系。根據(jù)該繪制的點使用最小二乘法等公知的方法計算近似式。

在此，返回到圖15的說明。在步驟s8，抖動量檢測部220檢測攝像裝置200的抖動量。在步驟s9，攝像元件防振機(jī)構(gòu)218驅(qū)動攝像元件202，以消除在抖動量檢測部220檢測出的攝像元件202的抖動。由此，抑制在攝像元件202的像面上的抖動(像抖)。在步驟s10，控制部210取得攝像元件202的驅(qū)動量。

在本實施方式中，在步驟s4也驅(qū)動防振用光學(xué)系統(tǒng)104。因此，像抖的校正量是將防振用光學(xué)系統(tǒng)104的驅(qū)動量和攝像元件202的驅(qū)動量相加而得的。此時的各個驅(qū)動量的比例例如是預(yù)先設(shè)定的。例如，如果驅(qū)動比例是1:1，則相對于所檢測出的抖動量，防振用光學(xué)系統(tǒng)104的驅(qū)動量和攝像元件202的驅(qū)動量為各50％。該比例也可以根據(jù)抖動的頻率決定。例如，在構(gòu)成為光學(xué)系統(tǒng)防振機(jī)構(gòu)102能夠高精度地驅(qū)動防振用光學(xué)系統(tǒng)104、攝像元件防振機(jī)構(gòu)218不能高精度地驅(qū)動攝像元件202時，也能夠構(gòu)成為通過防振用光學(xué)系統(tǒng)104的驅(qū)動對高頻的抖動進(jìn)行校正，通過攝像元件202的驅(qū)動對低頻的抖動進(jìn)行校正。

在步驟s6，控制部210將在步驟s5得到的換算中心抖動量輸入到畸變像差校正部216，進(jìn)行對攝像圖像的畸變像差校正。例如，畸變像差校正部216把將換算中心偏差量與攝像元件202的驅(qū)動導(dǎo)致的圖像中心和光軸的偏差量相加而得的值作為圖像中心與光軸的偏差量，進(jìn)行基于式(1)的畸變像差校正。然后，控制部210根據(jù)需要進(jìn)行畸變像差校正以外的校正，將攝像圖像記錄在記錄部204中。

在步驟s7，控制部210判定是否結(jié)束攝影動作。例如，當(dāng)在步驟s7中判定為不結(jié)束攝影動作時，處理返回到步驟s2。在這種情況下，攝影動作繼續(xù)。當(dāng)在步驟s7中判定為結(jié)束攝影動作時，圖15的處理結(jié)束。

在如上所說明的本實施方式中，能夠利用簡單的結(jié)構(gòu)高精度地進(jìn)行考慮了因防振用光學(xué)系統(tǒng)的偏心而形成的像面上的畸變像差的變形的畸變像差校正。

并且，在第2實施方式中使用防振用光學(xué)系統(tǒng)的驅(qū)動和攝像元件的驅(qū)動雙方進(jìn)行抖動的抑制。因此，與單獨使用任意一方的情況相比，能夠增大可抑制的抖動的大小。并且，通過使防振用光學(xué)系統(tǒng)的驅(qū)動的精度和攝像元件的驅(qū)動的精度不同，能夠進(jìn)行與抖動的頻率對應(yīng)的抖動的抑制。

在此，本實施方式的攝像裝置200具有兩個抖動量檢測部，即檢測攝像光學(xué)系統(tǒng)100的抖動量的抖動量檢測部106、和檢測攝像元件202的抖動量的抖動量檢測部220。與此相對，攝像光學(xué)系統(tǒng)100和攝像元件202都設(shè)于攝像裝置200的內(nèi)部，因而也可以是攝像裝置200具有一個抖動量檢測部。在這種情況下，將攝像光學(xué)系統(tǒng)100的抖動量和攝像元件202的抖動量任意一方視為與另一方相同進(jìn)行驅(qū)動。另外，也可以另外設(shè)置根據(jù)在一個抖動量檢測部檢測出的抖動量估計必要部位的抖動量的電路。

另外，在圖15中一定進(jìn)行抖動的抑制。抖動的檢測及抑制也可以按照攝影者的指示而開始。并且，也可以在攝影動作開始前(例如實時取景圖像顯示時)實施。

另外，在圖15中防振用光學(xué)系統(tǒng)104的驅(qū)動和攝像元件202的驅(qū)動是依次進(jìn)行的。與此不同，也可以并行地進(jìn)行防振用光學(xué)系統(tǒng)104的驅(qū)動和攝像元件202的驅(qū)動。

另外，相關(guān)信息記錄部224不一定需要設(shè)于偏差量換算部214中。相關(guān)信息記錄部224也可以與控制部210分體設(shè)置。并且，相關(guān)信息記錄部224也可以設(shè)于與攝像光學(xué)系統(tǒng)100及攝像裝置200分體的服務(wù)器等。

[第3實施方式]

下面，說明第3實施方式。圖18是示出第3實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。在本實施方式中，攝像裝置200具有攝像光學(xué)系統(tǒng)100、攝像元件202、記錄部204、輸入部206、控制部210、抖動量檢測部225。其中，記錄部204和輸入部206與在第1實施方式中說明的內(nèi)容相同。因此，對它們標(biāo)注與圖7相同的參照標(biāo)號并省略說明。

抖動量檢測部225例如是陀螺儀傳感器或者加速度傳感器，檢測在攝像元件202的殼體產(chǎn)生的抖動量。

另外，第3實施方式的控制部210具有防振用光學(xué)系統(tǒng)驅(qū)動量取得部212、偏差量換算部214、畸變像差校正部216、以及防振量決定部226、切取范圍取得部228、電子防振部230。

此外，第3實施方式的控制部210在與偏差量換算部214不同的部位具有相關(guān)信息記錄部224。相關(guān)信息記錄部224和第2實施方式一樣與相關(guān)信息記錄部108相對應(yīng)。在相關(guān)信息記錄部224中記錄表示與防振用光學(xué)系統(tǒng)104的驅(qū)動量對應(yīng)的攝像元件202的像面上的畸變像差的形狀、和與圖像中心和光軸中心的偏差對應(yīng)的攝像元件202的像面上的畸變像差的形狀之間的相關(guān)關(guān)系的信息。

防振量決定部226根據(jù)在抖動量檢測部225檢測的抖動量，分別決定防振用光學(xué)系統(tǒng)104的驅(qū)動量和基于電子防振部230的切取范圍。

切取范圍取得部228從防振量決定部226取得基于電子防振部230的切取范圍。

電子防振部230按照由防振量決定部226決定的切取范圍切取攝像圖像的一部分區(qū)域，由此抑制像抖。

下面，說明第3實施方式的攝像系統(tǒng)10的動作。圖19是示出第3實施方式的攝影動作的流程圖。在此，圖19是動態(tài)圖像攝影動作的流程圖。但是，在下面的動態(tài)圖像攝影動作中說明的畸變像差校正也能夠在靜態(tài)圖像攝影動作中適用。另外，在圖19的動作中，對與第1實施方式相同的動作標(biāo)注與圖8相同的步驟號碼，并適當(dāng)省略說明。

圖19的步驟s1-s2的動作與圖8的步驟s1-s2的動作相同，因而省略說明。在圖19中，當(dāng)在步驟s2檢測出抖動量后進(jìn)行步驟s11的處理。

在步驟s11，控制部210根據(jù)在抖動量檢測部225檢測出的抖動量，通過防振量決定部226分別決定防振用光學(xué)系統(tǒng)104的驅(qū)動量和基于電子防振部230的切取范圍。此時基于防振用光學(xué)系統(tǒng)104的驅(qū)動的抖動抑制與基于電子防振部230的處理的抖動抑制的比例例如是預(yù)先設(shè)定的。例如，如果比例為1:1，則針對所檢測出的抖動量，基于防振用光學(xué)系統(tǒng)104的驅(qū)動的抖動抑制與基于電子防振部230的處理的抖動抑制的比例為各50％。

圖19的步驟s3-s4的動作與圖8的步驟s3-s4的動作相同，因而省略說明。

在步驟s5，控制部210通過偏差量換算部214計算換算中心偏差量。換算中心偏差量的計算例如也可以與第1實施方式一樣地進(jìn)行。并且，換算中心偏差量也可以根據(jù)如圖20所示的表進(jìn)行計算，該表示出預(yù)先記錄于相關(guān)信息記錄部224的基于防振用光學(xué)系統(tǒng)的驅(qū)動量的像面上的畸變像差形狀、和基于圖像中心與光軸中心的偏差量的像面上的畸變像差形狀之間的相關(guān)關(guān)系。

在生成圖20所示的表時的相關(guān)關(guān)系的計算方式依據(jù)第1實施方式或者第2實施方式的(程序1)-(程序5)。在求出表中沒有的關(guān)于防振用光學(xué)系統(tǒng)104的驅(qū)動量的換算中心偏差量的情況下，偏差量換算部214例如參照在相關(guān)信息記錄部224記錄的信息中最接近的驅(qū)動量求出換算中心偏差量。在這種情況下，例如在防振用光學(xué)系統(tǒng)104的驅(qū)動量是0.12[mm]的情況下，偏差量換算部214使用與驅(qū)動量0.1[mm]對應(yīng)的換算中心偏差量即0.3[mm]。并且，偏差量換算部214也可以通過使用了在相關(guān)信息記錄部224記錄的信息中與當(dāng)前的驅(qū)動量接近的多個驅(qū)動量的線性插值等，求出換算中心偏差量。在這種情況下，例如在防振用光學(xué)系統(tǒng)104的驅(qū)動量是0.12[mm]的情況下，偏差量換算部214通過驅(qū)動量0.1[mm]的換算中心偏差量和驅(qū)動量0.2[mm]的換算中心偏差量的線性插值，求出換算中心偏差量。

在此，返回到圖19的說明。在步驟s12，電子防振部230設(shè)定所決定的切取范圍。在步驟s13，電子防振部230按照所設(shè)定的切取范圍進(jìn)行攝像圖像的切取。以消除抖動的方式使切取范圍移動，由此抑制攝像元件202的像面上的抖動(像抖)。

在步驟s6，控制部210將在步驟s5得到的換算中心偏差量輸入到畸變像差校正部216，進(jìn)行對攝像圖像的畸變像差校正。例如，畸變像差校正部216把將換算中心偏差量與攝像元件202的驅(qū)動導(dǎo)致的圖像中心和光軸的偏差量相加而得的值作為圖像中心與光軸的偏差量，進(jìn)行基于式(1)的畸變像差校正。然后，控制部210根據(jù)需要進(jìn)行畸變像差校正以外的校正，將攝像圖像記錄在記錄部204中。

在步驟s7，控制部210判定是否結(jié)束攝影動作。當(dāng)在步驟s7中判定為不結(jié)束攝影動作時，處理返回到步驟s2。在這種情況下，攝影動作繼續(xù)。當(dāng)在步驟s7中判定為結(jié)束攝影動作時，圖19的處理結(jié)束。

在如上所說明的本實施方式中，也能夠利用簡單的結(jié)構(gòu)高精度地進(jìn)行考慮了因防振用光學(xué)系統(tǒng)的偏心而形成的像面上的畸變像差的變形的畸變像差校正。

并且，在第3實施方式中使用防振用光學(xué)系統(tǒng)的驅(qū)動和電子防振雙方進(jìn)行抖動的抑制。因此，與單獨使用任意一方的情況相比，能夠增大可抑制的抖動的大小。

在此，本實施方式的攝像裝置200只有一個抖動量檢測部225，抖動量檢測部225可以是抖動量檢測部106和抖動量檢測部220任意一方。并且，攝像裝置200也可以是除抖動量檢測部225以外，還具有抖動量檢測部106和抖動量檢測部220任意一方或者雙方。另外，也可以另外設(shè)置根據(jù)在一個抖動量檢測部檢測出的抖動量估計必要部位的抖動量的電路。

另外，在圖19中一定進(jìn)行抖動的抑制。抖動的檢測及抑制也可以按照攝影者的指示而開始。并且，也可以在攝影動作開始前(例如實時取景圖像顯示時)實施。

另外，在圖19中防振用光學(xué)系統(tǒng)104的驅(qū)動和電子防振是依次進(jìn)行的。與此不同，也可以并行地進(jìn)行防振用光學(xué)系統(tǒng)104的驅(qū)動和電子防振。

另外，相關(guān)信息記錄部224也可以設(shè)于偏差量換算部214。相關(guān)信息記錄部224也可以與控制部210分體設(shè)置。并且，相關(guān)信息記錄部224也可以設(shè)于與攝像光學(xué)系統(tǒng)100及攝像裝置200分體的服務(wù)器等。

[第4實施方式]

下面，說明第4實施方式。圖21是示出第4實施方式的攝像系統(tǒng)的結(jié)構(gòu)的圖。在本實施方式中，攝像裝置200與第1實施方式一樣具有能夠安裝于攝像裝置200的攝像光學(xué)系統(tǒng)100。

攝像光學(xué)系統(tǒng)100具有光學(xué)系統(tǒng)防振機(jī)構(gòu)102和光學(xué)狀態(tài)變更部110。

光學(xué)系統(tǒng)防振機(jī)構(gòu)102包括用于使來自被攝體的光束成像于攝像元件的像面上的光學(xué)系統(tǒng)。并且，光學(xué)系統(tǒng)防振機(jī)構(gòu)102具有防振用光學(xué)系統(tǒng)104。在本實施方式中，光學(xué)系統(tǒng)防振機(jī)構(gòu)102按照在攝像裝置200的抖動量檢測部225檢測出的抖動量驅(qū)動防振用光學(xué)系統(tǒng)104。

光學(xué)狀態(tài)變更部110變更攝像光學(xué)系統(tǒng)100的光學(xué)狀態(tài)(例如焦點位置和焦距)。光學(xué)狀態(tài)變更部110包括例如通過沿光軸方向進(jìn)行驅(qū)動來調(diào)整攝像光學(xué)系統(tǒng)100的焦點位置的對焦光學(xué)系統(tǒng)、和通過沿光軸方向進(jìn)行驅(qū)動來調(diào)整攝像光學(xué)系統(tǒng)100的焦距的變倍光學(xué)系統(tǒng)。

攝像裝置200具有攝像元件防振機(jī)構(gòu)218、記錄部204、輸入部206、控制部210、抖動量檢測部225。其中，記錄部204和輸入部206與在第1實施方式中說明的內(nèi)容相同。因此，對它們標(biāo)注與圖7相同的參照標(biāo)號并省略說明。

攝像元件防振機(jī)構(gòu)218具有能夠沿與像面平行的方向進(jìn)行驅(qū)動而構(gòu)成的攝像元件202。在本實施方式中，攝像元件防振機(jī)構(gòu)218根據(jù)在抖動量檢測部225檢測出的抖動量驅(qū)動攝像元件202。

第4實施方式的控制部210具有防振用光學(xué)系統(tǒng)驅(qū)動量取得部212、偏差量換算部214、畸變像差校正部216、攝像元件驅(qū)動量取得部222、切取范圍取得部228、以及電子防振部230。其中，防振用光學(xué)系統(tǒng)驅(qū)動量取得部212、偏差量換算部214、畸變像差校正部216、攝像元件驅(qū)動量取得部222、切取范圍取得部228及電子防振部230，與在第2或者第3實施方式中說明的內(nèi)容相同。因此，對它們標(biāo)注與圖14或者圖18相同的參照標(biāo)號并省略說明。

并且，第4實施方式的控制部210在與偏差量換算部214不同的部位具有相關(guān)信息記錄部224。相關(guān)信息記錄部224與第2實施方式一樣和相關(guān)信息記錄部108相對應(yīng)。在相關(guān)信息記錄部224記錄表示與防振用光學(xué)系統(tǒng)104的驅(qū)動量對應(yīng)的攝像元件202的像面上的畸變像差的形狀、和與圖像中心和光軸中心的偏差對應(yīng)的攝像元件202的像面上的畸變像差的形狀之間的相關(guān)關(guān)系的信息。在本實施方式中，表示相關(guān)關(guān)系的信息是按照每種光學(xué)狀態(tài)記錄的。詳情在后面進(jìn)行說明。

下面，說明第4實施方式的攝像系統(tǒng)10的動作。圖22是示出第4實施方式的攝影動作的流程圖。在此，圖22是動態(tài)圖像攝影動作的流程圖。但是，在下面的動態(tài)圖像攝影動作中說明的畸變像差校正也能夠在靜態(tài)圖像攝影動作中適用。另外，在圖22的動作中，對與第1～第3實施方式相同的動作標(biāo)注與圖8、圖15或者圖19相同的步驟號碼，并適當(dāng)省略說明。

圖22的步驟s1-s4的動作與圖8的步驟s1-s4的動作相同，因而省略說明。在第4實施方式中，在步驟s4之后進(jìn)行步驟s14的動作。在步驟s14，控制部210從光學(xué)狀態(tài)變更部110取得攝像光學(xué)系統(tǒng)100的光學(xué)狀態(tài)(例如焦點位置及焦距)。

在步驟s5，控制部210將從光學(xué)狀態(tài)變更部110取得的攝像光學(xué)系統(tǒng)100的光學(xué)狀態(tài)輸入到偏差量換算部214，計算換算中心偏差量。換算中心偏差量的計算例如也可以與第1實施方式一樣地進(jìn)行。但是，在第4實施方式中，根據(jù)光學(xué)狀態(tài)計算換算中心偏差量。在這種情況下，偏差量換算部214例如從圖23所示那樣的將光學(xué)狀態(tài)和系數(shù)α對應(yīng)起來的表中取得與光學(xué)狀態(tài)對應(yīng)的系數(shù)α。

在生成圖23的表時的相關(guān)關(guān)系的計算方式依據(jù)第1實施方式或者第2實施方式的(程序1)-(程序5)。但是，不僅改變攝像系統(tǒng)10的移位量，而且也改變光學(xué)狀態(tài)來計算相關(guān)關(guān)系，這一點與第1實施方式或者第2實施方式的(程序1)-(程序5)不同。在圖23中僅記錄了以某種程度而間取的光學(xué)狀態(tài)的系數(shù)α。關(guān)于記錄何種程度的數(shù)量的系數(shù)α，例如可以根據(jù)相關(guān)信息記錄部224的記錄容量等適當(dāng)設(shè)定。如果相關(guān)信息記錄部224的記錄容量允許，例如也可以將焦點位置或者焦距設(shè)為0.1mm刻度來記錄系數(shù)α。

并且，在求出關(guān)于表中沒有的光學(xué)狀態(tài)的換算中心偏差量的情況下，偏差量換算部214例如根據(jù)表示焦點位置x及焦距y與系數(shù)α之間的關(guān)系的近似式取得任意的光學(xué)狀態(tài)的α。并且，也可以與第3實施方式一樣，偏差量換算部214例如參照記錄于相關(guān)信息記錄部224的信息中最接近的光學(xué)狀態(tài)求出換算中心偏差量。在這種情況下，例如在焦距為11mm、焦點位置是接近無限的中間的情況下，偏差量換算部214使用焦點位置無限、焦距為10mm的狀態(tài)的α。另外，偏差量換算部214也可以通過使用了記錄于相關(guān)信息記錄部224的信息中與當(dāng)前的光學(xué)狀態(tài)接近的多個光學(xué)狀態(tài)的線性插值等求出換算中心偏差量。例如在焦距為15mm、焦點位置在中間和極近之間的情況下，偏差量換算部214通過使用了以下4個系數(shù)的線性插值等求出換算中心偏差量(系數(shù)α)，即，焦距為10mm、焦點位置為極近的系數(shù)α10-near，焦距為10mm、焦點位置為中間的系數(shù)α10-middle，焦距為20mm、焦點位置為極近的系數(shù)α20-near，以及焦距為20mm、焦點位置為中間的系數(shù)α20-middle。

圖22的步驟s9～s10的動作與圖15的步驟s9～s10的動作相同，圖22的步驟s12～s13的動作與圖19的步驟s12～s13的動作相同，因而省略說明。另外，在本實施方式中，像抖的校正量是將防振用光學(xué)系統(tǒng)104的驅(qū)動量、攝像元件202的驅(qū)動量、和基于電子防振的移位量相加而得的。此時的各個驅(qū)動量的比例例如是預(yù)先設(shè)定的。例如，如果驅(qū)動比例是1:1:1，則針對檢測出的抖動量，防振用光學(xué)系統(tǒng)104的驅(qū)動量、攝像元件202的驅(qū)動量、和基于電子防振的移位量是各33％。

在步驟s6，控制部210將在步驟s5得到的換算中心偏差量輸入到畸變像差校正部216，進(jìn)行對攝像圖像的畸變像差校正。例如，畸變像差校正部216把將換算中心偏差量與攝像元件202的驅(qū)動導(dǎo)致的圖像中心和光軸的偏差量相加而得的值作為圖像中心與光軸的偏差量，進(jìn)行基于式(1)的畸變像差校正。然后，控制部210根據(jù)需要進(jìn)行畸變像差校正以外的校正，將攝像圖像記錄在記錄部204中。

在步驟s7，控制部210判定是否結(jié)束攝影動作。例如，當(dāng)在步驟s7中判定為不結(jié)束攝影動作時，處理返回到步驟s2。在這種情況下，攝影動作繼續(xù)。當(dāng)在步驟s7中判定為結(jié)束攝影動作時，圖22的處理結(jié)束。

在如上所說明的本實施方式中，能夠利用簡單的結(jié)構(gòu)高精度地進(jìn)行考慮了因防振用光學(xué)系統(tǒng)的偏心而形成的像面上的畸變像差的變形的畸變像差校正。并且，與防振用光學(xué)系統(tǒng)的驅(qū)動量對應(yīng)的攝像元件的像面上的畸變像差的形狀、和與圖像中心和光軸中心的偏差對應(yīng)的攝像元件的像面上的畸變像差的形狀之間的相關(guān)關(guān)系，能夠根據(jù)攝像光學(xué)系統(tǒng)的光學(xué)狀態(tài)而變化。在本實施方式中，能夠也考慮與攝像光學(xué)系統(tǒng)的光學(xué)狀態(tài)對應(yīng)的畸變像差的變形進(jìn)行畸變像差校正。

并且，在第4實施方式中使用防振用光學(xué)系統(tǒng)的驅(qū)動、攝像元件的驅(qū)動和電子防振進(jìn)行抖動的抑制。因此，與單獨使用任意一方的情況相比，能夠增大可抑制的抖動的大小。

在此，本實施方式的攝像裝置200只有一個抖動量檢測部225，抖動量檢測部225可以是抖動量檢測部106和抖動量檢測部220中的任意一方。并且，攝像裝置200也可以是除抖動量檢測部225以外，還具有抖動量檢測部106和抖動量檢測部220任意一方或者雙方。另外，也可以另外設(shè)置根據(jù)在一個抖動量檢測部檢測出的抖動量估計必要部位的抖動量的電路。

另外，在圖22中一定進(jìn)行抖動的抑制。抖動的檢測及抑制也可以按照攝影者的指示而開始。并且，也可以在攝影動作開始前(例如實時取景圖像顯示時)實施。

另外，在圖22中防振用光學(xué)系統(tǒng)104的驅(qū)動、攝像元件的驅(qū)動和電子防振是依次進(jìn)行的。與此不同，也可以并行地進(jìn)行防振用光學(xué)系統(tǒng)104的驅(qū)動、攝像元件的驅(qū)動和電子防振。

另外，相關(guān)信息記錄部224也可以設(shè)于偏差量換算部214。相關(guān)信息記錄部224也可以與控制部210分體設(shè)置。并且，相關(guān)信息記錄部224也可以設(shè)于與攝像光學(xué)系統(tǒng)100及攝像裝置200分體的服務(wù)器等。

另外，也能夠?qū)⑶笆龅膶嵤┓绞降母魈幚泶鎯槟軌蚴棺鳛橛嬎銠C(jī)的cpu等執(zhí)行的程序。此外，也能夠存儲在存儲卡、磁盤、光盤、半導(dǎo)體存儲器等外部存儲裝置的存儲介質(zhì)中進(jìn)行分發(fā)。并且，cpu等讀取在該外部存儲裝置的存儲介質(zhì)中存儲的程序，并按照該讀取的程序控制動作，由此能夠執(zhí)行上述的處理。