本發(fā)明涉及檢測(cè)被攝體像的平移方向和旋轉(zhuǎn)方向的像抖量并進(jìn)行校正的攝像裝置、像抖校正方法。
背景技術(shù):
近年來(lái),搭載了手抖校正功能的照相機(jī)普及,在手持拍攝中,即使沒(méi)有特別注意,也能夠拍攝沒(méi)有像抖的良好的拍攝圖像。
并且,存在能夠根據(jù)拍攝用途更換攝影鏡頭的鏡頭更換式照相機(jī)。在這種照相機(jī)中,主要存在將上述手抖校正功能搭載在更換鏡頭中的情況和將上述手抖校正功能搭載在照相機(jī)主體中的情況這兩種情況(但是,也可以搭載在雙方)。
在更換鏡頭中搭載手抖校正功能的情況下,將檢測(cè)對(duì)更換鏡頭(乃至與更換鏡頭一體連結(jié)的照相機(jī)主體)施加的運(yùn)動(dòng)的傳感器搭載在更換鏡頭內(nèi),在抵消由于檢測(cè)到的運(yùn)動(dòng)而產(chǎn)生的像抖的方向上,使攝影鏡頭組的一部分在與光軸正交的面上移動(dòng),由此校正像抖。
另一方面,在照相機(jī)主體中搭載手抖校正功能的情況下,將檢測(cè)對(duì)照相機(jī)主體施加的運(yùn)動(dòng)的傳感器搭載在照相機(jī)主體內(nèi),使攝像元件在抵消由于檢測(cè)到的運(yùn)動(dòng)而產(chǎn)生的像抖的方向上移動(dòng),由此校正像抖。
并且,通過(guò)手持靜止拍攝、全景拍攝、步行拍攝、來(lái)自汽車或火車等交通機(jī)關(guān)的拍攝等各種方法取得動(dòng)態(tài)圖像。而且,根據(jù)通過(guò)哪種方法進(jìn)行拍攝,動(dòng)態(tài)圖像中產(chǎn)生的抖動(dòng)的特性不同,所以,適合于抖動(dòng)校正的校正范圍和處理方法不同。
例如,與手持靜止拍攝相比,步行拍攝的抖動(dòng)角度較大,所以,關(guān)于適合于手持靜止拍攝的校正范圍,在步行拍攝中成為范圍不足,很難取得抖動(dòng)較少的動(dòng)態(tài)圖像。
作為著眼于這點(diǎn)的技術(shù),例如在日本特開2014-206660號(hào)公報(bào)中記載了如下技術(shù):作為具有能夠進(jìn)行抖動(dòng)校正的鏡頭的照相機(jī)的控制的一例,根據(jù)由角速度傳感器檢測(cè)到的旋轉(zhuǎn)抖動(dòng)和由加速度傳感器檢測(cè)到的平移抖動(dòng)判定是否處于步行狀態(tài),在處于步行狀態(tài)時(shí),與處于非步行狀態(tài)時(shí)相比,擴(kuò)大鏡頭的抖動(dòng)校正范圍。
在步行狀態(tài)下,與手持靜止拍攝等非步行狀態(tài)相比,繞攝影鏡頭的光軸的抖動(dòng)即滾動(dòng)方向的旋轉(zhuǎn)抖動(dòng)較大。但是,在上述日本特開2014-206660號(hào)公報(bào)所記載的在鏡頭中搭載手抖校正功能的結(jié)構(gòu)中,原理上無(wú)法對(duì)滾動(dòng)方向的抖動(dòng)進(jìn)行校正。因此,步行狀態(tài)下拍攝的動(dòng)態(tài)圖像成為由于繞光軸的旋轉(zhuǎn)而在目標(biāo)被攝體中產(chǎn)生擺動(dòng)的、成幀不穩(wěn)定的外觀較差的影像。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供能夠改善步行狀態(tài)下的包含滾動(dòng)方向的抖動(dòng)的校正性能并確保穩(wěn)定的成幀的攝像裝置、像抖校正方法。
簡(jiǎn)略地講,本發(fā)明的某個(gè)方式的攝像裝置的特征在于,上述攝像裝置具有:攝影光學(xué)系統(tǒng),其形成光學(xué)的被攝體像;攝像元件,其對(duì)上述被攝體像進(jìn)行光電轉(zhuǎn)換而生成攝像信號(hào);像抖檢測(cè)部,其檢測(cè)成像面中的上述被攝體像的平移方向和旋轉(zhuǎn)方向的像抖量;光學(xué)校正部,其使上述攝像元件在與上述攝影光學(xué)系統(tǒng)的光軸垂直的面內(nèi)移動(dòng),對(duì)上述平移方向的像抖進(jìn)行光學(xué)校正,并且,根據(jù)需要進(jìn)一步對(duì)上述旋轉(zhuǎn)方向的像抖進(jìn)行光學(xué)校正;電子校正部,其進(jìn)行切出根據(jù)上述攝像信號(hào)得到的圖像數(shù)據(jù)的一部分而作為輸出圖像的電子校正;以及步行檢測(cè)部,其檢測(cè)攝像裝置是處于步行狀態(tài)還是處于非步行狀態(tài),其中,在上述步行檢測(cè)部檢測(cè)到處于上述步行狀態(tài)的情況下,與上述步行檢測(cè)部檢測(cè)到處于上述非步行狀態(tài)的情況相比,減小上述光學(xué)校正部的上述旋轉(zhuǎn)方向的像抖的校正量,并且增大上述電子校正部的上述旋轉(zhuǎn)方向的像抖的校正量。
本發(fā)明的某個(gè)方式的像抖校正方法的特征在于,上述像抖校正方法包含以下步驟:通過(guò)攝像元件對(duì)光學(xué)的被攝體像進(jìn)行光電轉(zhuǎn)換而生成攝像信號(hào);檢測(cè)成像面中的上述被攝體像的平移方向和旋轉(zhuǎn)方向的像抖量;使上述攝像元件在與攝影光學(xué)系統(tǒng)的光軸垂直的面內(nèi)移動(dòng),對(duì)上述平移方向的像抖進(jìn)行光學(xué)校正,并且,根據(jù)需要進(jìn)一步對(duì)上述旋轉(zhuǎn)方向的像抖進(jìn)行光學(xué)校正;進(jìn)行切出根據(jù)上述攝像信號(hào)得到的圖像數(shù)據(jù)的一部分而作為輸出圖像的電子校正;以及檢測(cè)攝像裝置是處于步行狀態(tài)還是處于非步行狀態(tài),其中,在通過(guò)進(jìn)行上述檢測(cè)而檢測(cè)到處于上述步行狀態(tài)的情況下,與通過(guò)進(jìn)行上述檢測(cè)而檢測(cè)到處于上述非步行狀態(tài)的情況相比,減小進(jìn)行上述光學(xué)校正時(shí)的上述旋轉(zhuǎn)方向的像抖的校正量,并且增大進(jìn)行上述電子校正時(shí)的上述旋轉(zhuǎn)方向的像抖的校正量。
附圖說(shuō)明
圖1是用于說(shuō)明本發(fā)明的實(shí)施方式1的攝像裝置中的旋轉(zhuǎn)運(yùn)動(dòng)的方向的定義的立體圖。
圖2是示出上述實(shí)施方式1的攝像裝置的結(jié)構(gòu)的框圖。
圖3是示出上述實(shí)施方式1中的抖動(dòng)校正微計(jì)算機(jī)的功能結(jié)構(gòu)的框圖。
圖4是示出上述實(shí)施方式1中的偏航校正量計(jì)算部和俯仰校正量計(jì)算部的結(jié)構(gòu)的一例的框圖。
圖5是示出上述實(shí)施方式1中的滾動(dòng)校正量計(jì)算部的結(jié)構(gòu)的一例的框圖。
圖6是示出上述實(shí)施方式1中、用于說(shuō)明步行檢測(cè)處理部的處理的滾動(dòng)角速度的時(shí)間變化的例子的線圖。
圖7是示出上述實(shí)施方式1中的攝像元件驅(qū)動(dòng)部的概略結(jié)構(gòu)例的圖。
圖8是示出上述實(shí)施方式1中的系統(tǒng)控制器的功能結(jié)構(gòu)的框圖。
圖9是示出上述實(shí)施方式1中的x/y校正量計(jì)算部的結(jié)構(gòu)的一例的框圖。
圖10是示出上述實(shí)施方式1的攝像裝置的手抖校正中的抖動(dòng)校正微計(jì)算機(jī)的處理的流程圖。
圖11是示出上述實(shí)施方式1的攝像裝置的手抖校正中的系統(tǒng)控制器的處理的流程圖。
圖12是示出上述實(shí)施方式1中、基于是否處于步行狀態(tài)的電子校正和光學(xué)校正的區(qū)分使用以及所得到的效果的圖表。
圖13是示出上述實(shí)施方式1中、根據(jù)抖動(dòng)的檢測(cè)結(jié)果是否是處于步行狀態(tài)而區(qū)分使用電子校正和光學(xué)校正的狀況的線圖。
圖14是示出本發(fā)明的實(shí)施方式2中的抖動(dòng)校正微計(jì)算機(jī)的功能結(jié)構(gòu)的框圖。
圖15是示出上述實(shí)施方式2中的偏航校正量計(jì)算部和俯仰校正量計(jì)算部的結(jié)構(gòu)的一例的框圖。
圖16是示出上述實(shí)施方式2中的系統(tǒng)控制器的功能結(jié)構(gòu)的框圖。
圖17是示出上述實(shí)施方式2的攝像裝置的手抖校正中的抖動(dòng)校正微計(jì)算機(jī)的處理的流程圖。
圖18是示出上述實(shí)施方式2的攝像裝置的手抖校正中的系統(tǒng)控制器的處理的流程圖。
具體實(shí)施方式
下面,參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。
[實(shí)施方式1]
圖1~圖13示出本發(fā)明的實(shí)施方式1,圖1是用于說(shuō)明攝像裝置中的旋轉(zhuǎn)運(yùn)動(dòng)的方向的定義的立體圖。在本實(shí)施方式中,如圖1中示出外觀那樣,攝像裝置應(yīng)用于照相機(jī),所以,下面,將攝像裝置適當(dāng)稱呼為照相機(jī)。
首先,參照?qǐng)D1,針對(duì)攝像裝置定義坐標(biāo),進(jìn)而定義旋轉(zhuǎn)運(yùn)動(dòng)的方向。
照相機(jī)具有照相機(jī)主體1和更換鏡頭2。設(shè)使這種照相機(jī)成為標(biāo)準(zhǔn)拍攝姿態(tài)時(shí)的上下方向(沿著重力的方向)為y方向,為了便于說(shuō)明,設(shè)上方向?yàn)閥的+方向(因此,y的-方向?yàn)橄路较?。
進(jìn)而,設(shè)照相機(jī)的左右方向?yàn)閤方向,從正面觀察照相機(jī),設(shè)右方向?yàn)閤的+方向(因此,x的-方向?yàn)樽蠓较?。
而且,設(shè)照相機(jī)的更換鏡頭2的光軸方向?yàn)閦方向,設(shè)被攝體側(cè)的方向?yàn)閦的+方向(因此,z的-方向?yàn)橄駛?cè)的方向)。
在這種坐標(biāo)軸的定義中,設(shè)xy平面與后述攝像元件12(參照?qǐng)D2)的攝像面平行(即,攝像元件12的攝像面與光軸方向即z方向垂直)。
接著,針對(duì)照相機(jī),設(shè)繞y方向的軸即y軸的旋轉(zhuǎn)運(yùn)動(dòng)為偏航(yaw)方向的旋轉(zhuǎn)運(yùn)動(dòng)、繞x方向的軸即x軸的旋轉(zhuǎn)運(yùn)動(dòng)為俯仰(pitch)方向的旋轉(zhuǎn)運(yùn)動(dòng)、繞z方向的軸即z軸的旋轉(zhuǎn)運(yùn)動(dòng)為滾動(dòng)(roll)方向的旋轉(zhuǎn)運(yùn)動(dòng),設(shè)圖1所示的各箭頭的方向?yàn)楦餍D(zhuǎn)運(yùn)動(dòng)的+方向(因此,各旋轉(zhuǎn)運(yùn)動(dòng)的-方向?yàn)楦骷^的相反方向)。
但是,這里定義的各軸方向和繞各軸的旋轉(zhuǎn)方向的正負(fù)依賴于安裝在照相機(jī)上的加速度傳感器或角速度傳感器(后述)的方向,所以,不限于上述情況。
接著,圖2是示出攝像裝置的結(jié)構(gòu)的框圖。
如圖2所示,作為攝像裝置的照相機(jī)構(gòu)成為例如經(jīng)由鏡頭安裝件3以能夠拆裝的方式連接照相機(jī)主體1和更換鏡頭2。
照相機(jī)主體1具有焦面快門11、攝像元件12、攝像元件驅(qū)動(dòng)部13、系統(tǒng)控制器14、抖動(dòng)校正微計(jì)算機(jī)15、角速度傳感器16、操作部17。
更換鏡頭2具有攝影光學(xué)系統(tǒng)21和鏡頭控制單元(lcu)22。
鏡頭安裝件3的一部分設(shè)置在照相機(jī)主體1上,另一部分設(shè)置在更換鏡頭2上,通過(guò)相互連結(jié)該一部分和另一部分,在照相機(jī)主體1上一體地固定更換鏡頭2。進(jìn)而,在鏡頭安裝件3上設(shè)置有電氣端子,經(jīng)由該電氣端子,照相機(jī)主體1和更換鏡頭2能夠以電氣的方式進(jìn)行通信。
另外,這里舉出照相機(jī)主體1和更換鏡頭2能夠拆裝的單眼型照相機(jī)作為例子,但是,也可以是照相機(jī)主體與鏡頭一體化的緊湊型照相機(jī)等。
接著,對(duì)上述照相機(jī)主體1和更換鏡頭2的各部的更加詳細(xì)的結(jié)構(gòu)和作用進(jìn)行說(shuō)明。
首先,更換鏡頭2的各部的作用如下所述。
攝影光學(xué)系統(tǒng)21構(gòu)成為具有鏡頭和光圈,使來(lái)自被攝體的光束在設(shè)置于攝像元件12的表面的攝像面上成像為光學(xué)的被攝體像。此時(shí),在照相機(jī)產(chǎn)生抖動(dòng)的情況下,攝像元件12中成像的被攝體像抖動(dòng)。如后所述,根據(jù)角速度傳感器16的輸出檢測(cè)該抖動(dòng),根據(jù)抖動(dòng)校正微計(jì)算機(jī)15的控制,通過(guò)攝像元件驅(qū)動(dòng)部13以光學(xué)方式進(jìn)行校正,或者通過(guò)系統(tǒng)控制器14以電子方式進(jìn)行校正。
lcu22經(jīng)由鏡頭安裝件3而與照相機(jī)主體1進(jìn)行通信。例如,lcu22具有非易失地存儲(chǔ)與更換鏡頭2有關(guān)的各種信息(例如更換鏡頭2的型號(hào)和制造編號(hào)、攝影光學(xué)系統(tǒng)21的光學(xué)特性等)的存儲(chǔ)部,根據(jù)需要將信息通知給照相機(jī)主體1。并且,lcu22還進(jìn)行攝影光學(xué)系統(tǒng)21的對(duì)焦的控制和光圈的控制,但是省略詳細(xì)情況。
接著,對(duì)照相機(jī)主體1的各部的更加詳細(xì)的結(jié)構(gòu)和作用進(jìn)行說(shuō)明。
焦面快門11配置在攝影光學(xué)系統(tǒng)21成像的光學(xué)的被攝體像的光路上的攝像元件12的前表面,通過(guò)對(duì)快門簾進(jìn)行開閉動(dòng)作,對(duì)光束的通過(guò)時(shí)間進(jìn)行控制,進(jìn)而對(duì)攝像元件12的曝光時(shí)間進(jìn)行控制。
因此,在焦面快門11為打開狀態(tài)時(shí),光學(xué)的被攝體像入射到攝像元件12的攝像面并成像,攝像元件12成為曝光狀態(tài)。
攝像元件12在攝像面中對(duì)所成像的光學(xué)的被攝體像進(jìn)行光電轉(zhuǎn)換,生成攝像信號(hào)。接收來(lái)自系統(tǒng)控制器14的控制信號(hào),讀出由攝像元件12生成的攝像信號(hào),輸入到系統(tǒng)控制器14。
攝像元件驅(qū)動(dòng)部13是如下的光學(xué)校正部:使攝像元件12在與攝影光學(xué)系統(tǒng)21的光軸垂直的面內(nèi)移動(dòng),對(duì)平移方向的像抖進(jìn)行光學(xué)校正,并且根據(jù)需要進(jìn)一步對(duì)旋轉(zhuǎn)方向的像抖進(jìn)行光學(xué)校正。
即,攝像元件驅(qū)動(dòng)部13根據(jù)來(lái)自抖動(dòng)校正微計(jì)算機(jī)15的驅(qū)動(dòng)指示,在與攝像面平行的面內(nèi)的x方向、y方向和滾動(dòng)方向(圖7的θ方向)上驅(qū)動(dòng)攝像元件12。這里,由于偏航方向的抖動(dòng)而使攝像元件12在x方向上移動(dòng),所以,進(jìn)行攝像元件12的x方向上的驅(qū)動(dòng),以使得對(duì)應(yīng)于偏航方向的抖動(dòng)。同樣,由于俯仰方向的抖動(dòng)而使攝像元件12在y方向上移動(dòng),所以,進(jìn)行攝像元件12的y方向上的驅(qū)動(dòng),以使得對(duì)應(yīng)于俯仰方向的抖動(dòng)。
這樣,在本實(shí)施方式中,通過(guò)在照相機(jī)主體1上設(shè)置具有抖動(dòng)校正功能的攝像元件驅(qū)動(dòng)部13,還能夠?qū)υ诟鼡Q鏡頭2中設(shè)置抖動(dòng)校正功能的情況下無(wú)法校正的滾動(dòng)方向的抖動(dòng)進(jìn)行校正。該攝像元件驅(qū)動(dòng)部13的具體結(jié)構(gòu)在后面參照?qǐng)D7進(jìn)行詳細(xì)說(shuō)明。
系統(tǒng)控制器14是根據(jù)規(guī)定的處理程序?qū)φ障鄼C(jī)整體進(jìn)行總括控制的控制部。即,系統(tǒng)控制器14對(duì)照相機(jī)主體1內(nèi)進(jìn)行控制,并且,經(jīng)由鏡頭安裝件3的電氣端子而與lcu22進(jìn)行通信,對(duì)更換鏡頭2進(jìn)行控制。
具體而言,系統(tǒng)控制器14根據(jù)來(lái)自操作部17的操作輸入進(jìn)行控制,除了上述動(dòng)作以外,例如還進(jìn)行以下動(dòng)作。
系統(tǒng)控制器14將從攝像元件12讀出的攝像信號(hào)轉(zhuǎn)換為圖像數(shù)據(jù)。并且,系統(tǒng)控制器14根據(jù)從攝像元件12讀出的攝像信號(hào)生成亮度圖像,根據(jù)亮度圖像如后所述進(jìn)行圖案匹配。
進(jìn)而,系統(tǒng)控制器14與抖動(dòng)校正微計(jì)算機(jī)15進(jìn)行通信,對(duì)抖動(dòng)校正的開始和結(jié)束進(jìn)行控制。而且,系統(tǒng)控制器14與抖動(dòng)校正微計(jì)算機(jī)15進(jìn)行通信,接收滾動(dòng)校正量,進(jìn)行滾動(dòng)校正作為電子校正。
抖動(dòng)校正微計(jì)算機(jī)15根據(jù)角速度傳感器16的檢測(cè)結(jié)果,計(jì)算攝像元件12的攝像面中產(chǎn)生的被攝體像的移動(dòng)量,對(duì)攝像元件驅(qū)動(dòng)部13進(jìn)行驅(qū)動(dòng),以使攝像元件12在抵消被攝體像的移動(dòng)量的方向上移動(dòng)。該抖動(dòng)校正微計(jì)算機(jī)15的內(nèi)部的結(jié)構(gòu)和作用在后面參照?qǐng)D3進(jìn)行詳細(xì)說(shuō)明。
角速度傳感器16固定設(shè)置在照相機(jī)中的照相機(jī)主體1上,是檢測(cè)照相機(jī)主體1中產(chǎn)生的角速度的抖動(dòng)檢測(cè)部。該角速度傳感器16具有偏航角速度傳感器16a、俯仰角速度傳感器16b、滾動(dòng)角速度傳感器16c。
偏航角速度傳感器16a檢測(cè)繞y軸的旋轉(zhuǎn)的角速度,俯仰角速度傳感器16b檢測(cè)繞x軸的旋轉(zhuǎn)的角速度,滾動(dòng)角速度傳感器16c檢測(cè)繞z軸(光軸)的旋轉(zhuǎn)的角速度。
這里,3個(gè)角速度傳感器16a、16b、16c均使用相同功能的角速度傳感器,但是,伴隨作為旋轉(zhuǎn)角速度的檢測(cè)對(duì)象的軸的差異(是x軸、y軸還是z軸),各自的安裝方向不同。
操作部17包括按鈕和開關(guān)等部件,用于供用戶對(duì)照相機(jī)進(jìn)行各種操作輸入。通過(guò)該操作部17進(jìn)行照相機(jī)的電源的接通/斷開、靜態(tài)圖像拍攝的指示輸入、動(dòng)態(tài)圖像拍攝的開始操作和結(jié)束操作等。來(lái)自該操作部17的操作輸入被通知給系統(tǒng)控制器14。
接著,圖3是示出抖動(dòng)校正微計(jì)算機(jī)15的功能結(jié)構(gòu)的框圖。
作為處理功能部,抖動(dòng)校正微計(jì)算機(jī)15具有模擬數(shù)字轉(zhuǎn)換器(adc)151、角度校正量計(jì)算部152、驅(qū)動(dòng)量計(jì)算部153、驅(qū)動(dòng)器154、通信部155、步行檢測(cè)處理部156、校正方式選擇部157。
adc151將從角速度傳感器16作為模擬信號(hào)輸出的檢測(cè)結(jié)果轉(zhuǎn)換為數(shù)字值。具體而言,adc151具有將偏航角速度傳感器16a的檢測(cè)結(jié)果轉(zhuǎn)換為數(shù)字值的第1adc151a、將俯仰角速度傳感器16b的檢測(cè)結(jié)果轉(zhuǎn)換為數(shù)字值的第2adc151b、將滾動(dòng)角速度傳感器16c的檢測(cè)結(jié)果轉(zhuǎn)換為數(shù)字值的第3adc151c。
角度校正量計(jì)算部152根據(jù)從adc151輸出的數(shù)字的角速度,計(jì)算偏航、俯仰、滾動(dòng)的各旋轉(zhuǎn)方向的校正量。具體而言,角度校正量計(jì)算部152具有根據(jù)adc151a的輸出來(lái)計(jì)算偏航方向的校正量的偏航校正量計(jì)算部152a、根據(jù)adc151b的輸出來(lái)計(jì)算俯仰方向的校正量的俯仰校正量計(jì)算部152b、根據(jù)adc151c的輸出來(lái)計(jì)算滾動(dòng)方向的校正量的滾動(dòng)校正量計(jì)算部152c。各校正量計(jì)算部152a、152b、152c的內(nèi)部的結(jié)構(gòu)在后面參照?qǐng)D4和圖5進(jìn)行說(shuō)明。
這里,角速度傳感器16、adc151和角度校正量計(jì)算部152構(gòu)成檢測(cè)成像面中的被攝體像的平移方向和旋轉(zhuǎn)方向的像抖量的像抖檢測(cè)部。
驅(qū)動(dòng)量計(jì)算部153根據(jù)從角度校正量計(jì)算部152輸出的值,計(jì)算分別針對(duì)設(shè)置在攝像元件驅(qū)動(dòng)部13內(nèi)的后述x1驅(qū)動(dòng)部131、x2驅(qū)動(dòng)部132、y驅(qū)動(dòng)部133(參照?qǐng)D7)的驅(qū)動(dòng)量。
驅(qū)動(dòng)器154將從驅(qū)動(dòng)量計(jì)算部153輸出的驅(qū)動(dòng)量轉(zhuǎn)換為針對(duì)攝像元件驅(qū)動(dòng)部13內(nèi)的各驅(qū)動(dòng)部131、132、133的驅(qū)動(dòng)信號(hào)并進(jìn)行輸出。具體而言,驅(qū)動(dòng)器154具有將針對(duì)x1驅(qū)動(dòng)部131的驅(qū)動(dòng)量轉(zhuǎn)換為驅(qū)動(dòng)信號(hào)并進(jìn)行輸出的x1驅(qū)動(dòng)器154a、將針對(duì)x2驅(qū)動(dòng)部132的驅(qū)動(dòng)量轉(zhuǎn)換為驅(qū)動(dòng)信號(hào)并進(jìn)行輸出的x2驅(qū)動(dòng)器154b、將針對(duì)y驅(qū)動(dòng)部133的驅(qū)動(dòng)量轉(zhuǎn)換為驅(qū)動(dòng)信號(hào)并進(jìn)行輸出的y驅(qū)動(dòng)器154c。
通信部155與系統(tǒng)控制器14進(jìn)行通信,取得抖動(dòng)校正的開始和結(jié)束等控制的指示,并且取得包含攝影光學(xué)系統(tǒng)21的焦距的光學(xué)特性。如后所述,在偏航校正量計(jì)算部152a、俯仰校正量計(jì)算部152b的處理等中使用這里取得的光學(xué)特性(參照?qǐng)D4)。并且,通信部155將下述說(shuō)明的步行檢測(cè)結(jié)果通知給系統(tǒng)控制器14。
步行檢測(cè)處理部156是檢測(cè)攝像裝置是處于步行狀態(tài)還是處于非步行狀態(tài)的步行檢測(cè)部。即,步行檢測(cè)處理部156根據(jù)從adc151c輸出的滾動(dòng)方向的角速度,判定照相機(jī)當(dāng)前是否處于步行狀態(tài),將判定結(jié)果輸出到校正方式選擇部157和通信部155。該步行檢測(cè)處理部156的處理的詳細(xì)情況在后面參照?qǐng)D6進(jìn)行說(shuō)明。
校正方式選擇部157根據(jù)步行檢測(cè)處理部156的判定結(jié)果,選擇并決定由滾動(dòng)校正量計(jì)算部152c計(jì)算出的校正量的通知目的地。
具體而言,在步行檢測(cè)處理部156的判定結(jié)果為處于非步行狀態(tài)的情況下,校正方式選擇部157將由滾動(dòng)校正量計(jì)算部152c計(jì)算出的校正量通知給驅(qū)動(dòng)量計(jì)算部153。由此,在處于非步行狀態(tài)的情況下,作為基于攝像元件驅(qū)動(dòng)部13的光學(xué)校正來(lái)實(shí)施滾動(dòng)方向的校正。
并且,在步行檢測(cè)處理部156的判定結(jié)果為處于步行的情況下,校正方式選擇部157將由滾動(dòng)校正量計(jì)算部152c計(jì)算出的校正量經(jīng)由通信部155通知給系統(tǒng)控制器14。由此,在處于步行狀態(tài)的情況下,作為基于系統(tǒng)控制器14的電子校正來(lái)實(shí)施滾動(dòng)方向的校正。該系統(tǒng)控制器14內(nèi)的處理的詳細(xì)情況在后面說(shuō)明。
接著,圖4是示出偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b的結(jié)構(gòu)的一例的框圖。
如圖4所示,偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b具有乘法部1521和積分部1522。
在對(duì)偏航校正量計(jì)算部152a輸入偏航角速度(或?qū)Ω┭鲂U坑?jì)算部152b輸入俯仰角速度)后,乘法部1521通過(guò)乘以基于攝影光學(xué)系統(tǒng)21的光學(xué)特性的系數(shù)(具體而言,在設(shè)攝影光學(xué)系統(tǒng)21的焦距為f時(shí),是依賴于焦距f的系數(shù)k(f)),計(jì)算攝像元件12的攝像面中產(chǎn)生的被攝體像的偏航方向(在俯仰校正量計(jì)算部152b的情況下為俯仰方向)的每個(gè)規(guī)定時(shí)間間隔的移動(dòng)量。
這里,通過(guò)系統(tǒng)控制器14從lcu22定期取得攝影光學(xué)系統(tǒng)21的焦距f,將其通知給抖動(dòng)校正微計(jì)算機(jī)15。因此,抖動(dòng)校正微計(jì)算機(jī)15使用與取得圖像數(shù)據(jù)時(shí)的焦距f對(duì)應(yīng)的系數(shù)k(f),通過(guò)乘法部1521進(jìn)行乘法處理。
接著,積分部1522對(duì)乘法部1521計(jì)算出的每個(gè)規(guī)定時(shí)間間隔的移動(dòng)量進(jìn)行時(shí)間積分(具體而言為累積),作為攝像元件驅(qū)動(dòng)部13的驅(qū)動(dòng)位置(偏航方向的校正量/俯仰方向的校正量)進(jìn)行輸出。
并且,圖5是示出滾動(dòng)校正量計(jì)算部152c的結(jié)構(gòu)的一例的框圖。
如圖5所示,滾動(dòng)校正量計(jì)算部152c具有積分部1522,但是,不具有偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b那樣的乘法部1521。
在對(duì)滾動(dòng)校正量計(jì)算部152c輸入滾動(dòng)角速度后,積分部1522通過(guò)對(duì)所輸入的滾動(dòng)角速度進(jìn)行時(shí)間積分,計(jì)算攝像元件12的攝像面中的滾動(dòng)方向的旋轉(zhuǎn)量(具體而言為旋轉(zhuǎn)角度)。這樣計(jì)算出的旋轉(zhuǎn)量作為滾動(dòng)校正量而從積分部1522進(jìn)行輸出。
接著,圖6是示出用于說(shuō)明步行檢測(cè)處理部156的處理的滾動(dòng)角速度的時(shí)間變化的例子的線圖。
在一定期間ts以內(nèi)滾動(dòng)角速度交替超過(guò)+側(cè)的角速度閾值和-側(cè)的角速度閾值的情況下,步行檢測(cè)處理部156判定為照相機(jī)處于步行狀態(tài),在不滿足該條件的情況下,判定為處于非步行狀態(tài)。
具體而言,在圖6所示的例子中,在時(shí)刻ta,滾動(dòng)角速度超過(guò)+側(cè)的角速度閾值。并且,在時(shí)刻ta以后,滾動(dòng)角速度首次超過(guò)-側(cè)的角速度閾值的時(shí)刻是時(shí)刻tb。因此,步行檢測(cè)處理部156判定時(shí)刻ta~時(shí)刻tb的時(shí)間間隔t1是否在一定期間ts以內(nèi)。這里,判定為時(shí)間間隔t1在一定期間ts以內(nèi),所以,步行檢測(cè)處理部156判定為照相機(jī)處于步行狀態(tài)。
進(jìn)而,在時(shí)刻tb以后,滾動(dòng)角速度首次超過(guò)+側(cè)的角速度閾值的時(shí)刻是時(shí)刻tc。因此,與上述同樣,步行檢測(cè)處理部156判定時(shí)刻tb~時(shí)刻tc的時(shí)間間隔t2是否在一定期間ts以內(nèi)。這里,也判定為時(shí)間間隔t2在一定期間ts以內(nèi),所以,步行檢測(cè)處理部156繼續(xù)判定為照相機(jī)處于步行狀態(tài)。
進(jìn)而,步行檢測(cè)處理部156在時(shí)刻tc以后,等待滾動(dòng)角速度超過(guò)-側(cè)的角速度閾值。在該圖6所示的例子中,從時(shí)刻tc起在一定期間ts以內(nèi),滾動(dòng)角速度未超過(guò)-側(cè)的角速度閾值,所以,步行檢測(cè)處理部156在從時(shí)刻tc起經(jīng)過(guò)了一定期間ts的時(shí)間的時(shí)刻td,解除處于步行狀態(tài)的判定(判定為不處于步行狀態(tài))。
通過(guò)進(jìn)行這種處理,在滾動(dòng)角速度示出圖6所示的時(shí)間變化的情況下,步行檢測(cè)處理部156在時(shí)刻tb~時(shí)刻td的期間內(nèi)判定為照相機(jī)處于步行狀態(tài),在其他期間內(nèi)判定為照相機(jī)處于非步行狀態(tài)。
接著,圖7是示出攝像元件驅(qū)動(dòng)部13的概略結(jié)構(gòu)例的圖。該圖7成為設(shè)z軸的-方向(從被攝體側(cè)觀察像側(cè)的方向)為視線方向來(lái)觀察攝像元件驅(qū)動(dòng)部13時(shí)的圖。
因此,在該圖7中,示出與圖1的x軸和y軸對(duì)應(yīng)的方向,但是,紙面右方向是x軸的正方向,紙面上方向是y軸的正方向。并且,在圖7中,示出表示繞z軸的滾動(dòng)旋轉(zhuǎn)量的角度θ,但是,該角度θ定義為繞順時(shí)針?lè)较蚴钦较?即繞逆時(shí)針?lè)较蚴秦?fù)方向)。
攝像元件驅(qū)動(dòng)部13具有x1驅(qū)動(dòng)部131、x2驅(qū)動(dòng)部132、y驅(qū)動(dòng)部133、固定部134、可動(dòng)部135。
固定部134固定在構(gòu)成攝像裝置的照相機(jī)主體1上,將可動(dòng)部135支承為能夠移動(dòng)。
可動(dòng)部135一體地保持?jǐn)z像元件12,如上所述,能夠相對(duì)于固定部134在與攝像面平行的面(即,與攝影光學(xué)系統(tǒng)21的光軸垂直的面)內(nèi)移動(dòng)。
驅(qū)動(dòng)部131、132、133通過(guò)對(duì)可動(dòng)部135賦予驅(qū)動(dòng)力,使固定部134移動(dòng),作為具體結(jié)構(gòu)的一例,成為具有與可動(dòng)部135一體配置的未圖示的電磁線圈和配置在固定部134上的未圖示的固定磁鐵的電磁式直線馬達(dá)(音圈馬達(dá)等)。
而且,x1驅(qū)動(dòng)部131的電磁線圈從上述抖動(dòng)校正微計(jì)算機(jī)15內(nèi)的x1驅(qū)動(dòng)器154a供給驅(qū)動(dòng)電壓(驅(qū)動(dòng)電流)作為上述驅(qū)動(dòng)信號(hào),x2驅(qū)動(dòng)部132的電磁線圈從x2驅(qū)動(dòng)器154b供給驅(qū)動(dòng)電壓(驅(qū)動(dòng)電流)作為上述驅(qū)動(dòng)信號(hào),y驅(qū)動(dòng)部133的電磁線圈從y驅(qū)動(dòng)器154c供給驅(qū)動(dòng)電壓(驅(qū)動(dòng)電流)作為上述驅(qū)動(dòng)信號(hào)。
驅(qū)動(dòng)部131、132、133的各電磁線圈在被供給驅(qū)動(dòng)電壓時(shí),流過(guò)與驅(qū)動(dòng)電壓成比例的驅(qū)動(dòng)電流,產(chǎn)生磁場(chǎng)。由電磁線圈產(chǎn)生的磁場(chǎng)與固定磁鐵相互作用,在電磁線圈與固定磁鐵之間產(chǎn)生與驅(qū)動(dòng)電流成比例的驅(qū)動(dòng)力。固定磁鐵固定在固定部134上,所以,配置有電磁線圈的可動(dòng)部135通過(guò)所產(chǎn)生的驅(qū)動(dòng)力而移動(dòng)。
而且,x1驅(qū)動(dòng)部131配置成對(duì)可動(dòng)部135的例如左上端部施加x軸方向的驅(qū)動(dòng)力。并且,x2驅(qū)動(dòng)部132配置成對(duì)可動(dòng)部135的例如左下端部施加x軸方向的驅(qū)動(dòng)力。進(jìn)而,y驅(qū)動(dòng)部133配置成對(duì)可動(dòng)部135的例如上端中央部施加y軸方向的驅(qū)動(dòng)力。這樣,攝像元件驅(qū)動(dòng)部13例如采用驅(qū)動(dòng)臺(tái)的機(jī)構(gòu),以使攝像元件12在與攝像面平行的面內(nèi)移動(dòng)。
在這種結(jié)構(gòu)中,通過(guò)對(duì)y驅(qū)動(dòng)部133的電磁線圈賦予驅(qū)動(dòng)電壓,攝像元件12在y方向上并進(jìn)移動(dòng)。
并且,通過(guò)對(duì)x1驅(qū)動(dòng)部131的電磁線圈和x2驅(qū)動(dòng)部132的電磁線圈賦予相同的驅(qū)動(dòng)電壓,x1驅(qū)動(dòng)部131和x2驅(qū)動(dòng)部132的移動(dòng)量相同,攝像元件12在x方向上平移移動(dòng)。
進(jìn)而,通過(guò)對(duì)x1驅(qū)動(dòng)部131的電磁線圈和x2驅(qū)動(dòng)部132的電磁線圈賦予正負(fù)不同的驅(qū)動(dòng)電壓,x1驅(qū)動(dòng)部131的移動(dòng)量和x2驅(qū)動(dòng)部132的移動(dòng)量成為符號(hào)不同的值,攝像元件12旋轉(zhuǎn)移動(dòng)。
因此,更一般而言,通過(guò)對(duì)x1驅(qū)動(dòng)部131的電磁線圈和x2驅(qū)動(dòng)部132的電磁線圈賦予不同的驅(qū)動(dòng)電壓,x1驅(qū)動(dòng)部131的移動(dòng)量和x2驅(qū)動(dòng)部132的移動(dòng)量成為不同的值,攝像元件12在x方向上平移移動(dòng),并且旋轉(zhuǎn)移動(dòng)。
關(guān)于此時(shí)的攝像元件12的角度θ所示的旋轉(zhuǎn)移動(dòng)量,如果角度θ是微小值,則如下述式所示,成為與x2驅(qū)動(dòng)部132的移動(dòng)量mx2和x1驅(qū)動(dòng)部131的移動(dòng)量mx1之差成比例的值。
θ=k·(mx2-mx1)
這里,k是比例系數(shù),成為由x1驅(qū)動(dòng)部131和x2驅(qū)動(dòng)部132相對(duì)于可動(dòng)部135的配置決定的常數(shù)。
這樣,例如通過(guò)采用圖7所示的機(jī)構(gòu),攝像元件驅(qū)動(dòng)部13能夠使攝像元件12在與攝像面并行的面內(nèi)在x/y方向上平移移動(dòng)、并且旋轉(zhuǎn)移動(dòng)。但是,圖7所示的結(jié)構(gòu)是一例,所以,也可以采用其他結(jié)構(gòu)。
接著,圖8是示出系統(tǒng)控制器14的功能結(jié)構(gòu)的框圖。另外,系統(tǒng)控制器14具有各種功能部,但是,這里,進(jìn)行與圖8所示的抖動(dòng)電子校正相關(guān)聯(lián)的功能部的說(shuō)明,省略與其他功能部有關(guān)的說(shuō)明。
如圖8所示,系統(tǒng)控制器14具有亮度圖像生成部141、存儲(chǔ)器142、圖案匹配部143、x/y校正量計(jì)算部144、校正量選擇部146、圖像處理部147。
亮度圖像生成部141將從攝像元件12讀出的攝像信號(hào)轉(zhuǎn)換為亮度圖像。
存儲(chǔ)器142是保存由亮度圖像生成部141生成的亮度圖像的存儲(chǔ)介質(zhì)。這里,亮度圖像被保存在存儲(chǔ)器142內(nèi)預(yù)先確保的能夠保存多幀亮度圖像的區(qū)域中。并且,存儲(chǔ)器142還保存如后所述從圖案匹配部143輸出的向量信息。
圖案匹配部143選擇存儲(chǔ)器142中保存的取得時(shí)刻不同的多幀亮度圖像中的2幀(例如取得時(shí)刻連續(xù)的2幀)進(jìn)行圖案匹配,計(jì)算表示2幀的圖像間的像移動(dòng)量的向量信息,作為平移方向的抖動(dòng)殘余量進(jìn)行輸出。作為該圖案匹配,可以適當(dāng)使用公知技術(shù)。這樣,從圖案匹配部143輸出的向量信息如上所述保存在存儲(chǔ)器142中。
x/y校正量計(jì)算部144根據(jù)由圖案匹配部143計(jì)算出的向量信息,分別計(jì)算x方向的校正量和y方向的校正量。
這里,圖9是示出x/y校正量計(jì)算部144的結(jié)構(gòu)的一例的框圖。
在該圖9所示的例子中,x/y校正量計(jì)算部144具有積分部1441。
而且,x/y校正量計(jì)算部144被輸入由圖案匹配部143計(jì)算出的向量信息后,通過(guò)積分部1441對(duì)所輸入的向量進(jìn)行時(shí)間積分(具體而言為累積),將累積后的結(jié)果作為校正量輸出到校正量選擇部146。
這樣,亮度圖像生成部141、存儲(chǔ)器142、圖案匹配部143和x/y校正量計(jì)算部144構(gòu)成如下的抖動(dòng)殘余量計(jì)算部,該抖動(dòng)殘余量計(jì)算部根據(jù)進(jìn)行光學(xué)校正而取得的取得時(shí)刻不同的多個(gè)圖像數(shù)據(jù),計(jì)算光學(xué)校正后殘存的平移方向的抖動(dòng)殘余量。
校正量選擇部146根據(jù)從抖動(dòng)校正微計(jì)算機(jī)15的通信部155接收的步行檢測(cè)處理部156的判定結(jié)果,決定輸出到圖像處理部147的值。
具體而言,校正量選擇部146在步行檢測(cè)處理部156中的判定結(jié)果為處于非步行狀態(tài)的情況下,將由x/y校正量計(jì)算部144計(jì)算出的校正量(平移方向的抖動(dòng)殘余量)輸出到圖像處理部147。因此,在處于非步行狀態(tài)的情況下,通過(guò)電子校正部即圖像處理部147對(duì)平移方向的抖動(dòng)殘余量進(jìn)行校正。
并且,校正量選擇部146在步行檢測(cè)處理部156中的判定結(jié)果為處于步行狀態(tài)的情況下,將從抖動(dòng)校正微計(jì)算機(jī)15的通信部155接收的校正量(由滾動(dòng)校正量計(jì)算部152c計(jì)算出的滾動(dòng)校正量)輸出到圖像處理部147。
圖像處理部147是電子校正部,該電子校正部進(jìn)行切出圖像數(shù)據(jù)的一部分而作為輸出圖像的電子校正。具體而言,圖像處理部147根據(jù)從校正量選擇部146接收的校正量,切出作為圖像數(shù)據(jù)的一部分的切出區(qū)域,將所切出的圖像作為輸出圖像。因此,圖像處理部147在處于非步行狀態(tài)的情況下,進(jìn)行圖像切出以使得對(duì)平移方向的抖動(dòng)殘余量進(jìn)行校正,在處于步行狀態(tài)的情況下,進(jìn)行圖像切出以使得對(duì)滾動(dòng)方向的像抖進(jìn)行校正。
接著,圖10是示出攝像裝置的手抖校正中的抖動(dòng)校正微計(jì)算機(jī)15的處理的流程圖。
在抖動(dòng)校正處理開始后,步行檢測(cè)處理部156根據(jù)由adc151c轉(zhuǎn)換為數(shù)字值后的滾動(dòng)角速度信息,如上所述進(jìn)行步行檢測(cè)處理,判定照相機(jī)是否處于步行狀態(tài)(步驟s01)。
接著,偏航校正量計(jì)算部152a根據(jù)由adc151a轉(zhuǎn)換為數(shù)字值后的偏航角速度信息,計(jì)算偏航方向的校正量(步驟s02)。
進(jìn)而,俯仰校正量計(jì)算部152b根據(jù)由adc151b轉(zhuǎn)換為數(shù)字值后的俯仰角速度信息,計(jì)算俯仰方向的校正量(步驟s03)。
然后,滾動(dòng)校正量計(jì)算部152c根據(jù)由adc151c轉(zhuǎn)換為數(shù)字值后的滾動(dòng)角速度信息,計(jì)算滾動(dòng)方向的校正量(步驟s04)。
然后,校正方式選擇部157判定上述步驟s01中的處理結(jié)果是否是處于步行狀態(tài)(步驟s05)。
這里,在判定為處于步行狀態(tài)的情況下,驅(qū)動(dòng)量計(jì)算部153根據(jù)通過(guò)步驟s02計(jì)算出的偏航校正量和通過(guò)步驟s03計(jì)算出的俯仰校正量,計(jì)算用于向攝像元件驅(qū)動(dòng)部13指示的驅(qū)動(dòng)量。這樣計(jì)算出的驅(qū)動(dòng)量經(jīng)由驅(qū)動(dòng)器154輸出到攝像元件驅(qū)動(dòng)部13(步驟s06)。
進(jìn)而,校正方式選擇部157經(jīng)由通信部155向系統(tǒng)控制器14發(fā)送通過(guò)步驟s04計(jì)算出的滾動(dòng)校正量(步驟s07)。
另一方面,在步驟s05中判定為處于非步行狀態(tài)的情況下,校正方式選擇部157將通過(guò)步驟s04計(jì)算出的滾動(dòng)校正量輸出到驅(qū)動(dòng)量計(jì)算部153。由此,驅(qū)動(dòng)量計(jì)算部153根據(jù)通過(guò)步驟s02計(jì)算出的偏航校正量、通過(guò)步驟s03計(jì)算出的俯仰校正量、通過(guò)步驟s04計(jì)算出的滾動(dòng)校正量,來(lái)計(jì)算用于向攝像元件驅(qū)動(dòng)部13指示的驅(qū)動(dòng)量。這樣計(jì)算出的驅(qū)動(dòng)量經(jīng)由驅(qū)動(dòng)器154輸出到攝像元件驅(qū)動(dòng)部13(步驟s08)。
在進(jìn)行了步驟s07或步驟s08的處理后,結(jié)束抖動(dòng)校正微計(jì)算機(jī)15中的抖動(dòng)校正處理。
接著,圖11是示出攝像裝置的手抖校正中的系統(tǒng)控制器14的處理的流程圖。
在抖動(dòng)校正處理開始后,校正量選擇部146根據(jù)經(jīng)由通信部155從抖動(dòng)校正微計(jì)算機(jī)15內(nèi)的步行檢測(cè)處理部156取得的檢測(cè)結(jié)果,判定是否處于步行狀態(tài)(步驟s11)。
這里,在判定為處于步行狀態(tài)的情況下,校正量選擇部146還經(jīng)由校正方式選擇部157和通信部155取得由抖動(dòng)校正微計(jì)算機(jī)15內(nèi)的滾動(dòng)校正量計(jì)算部152c計(jì)算出的滾動(dòng)校正量(步驟s12)。
接著,圖像處理部147根據(jù)步驟s12中取得的滾動(dòng)校正量,針對(duì)圖像數(shù)據(jù)進(jìn)行圖像切出,由此進(jìn)行滾動(dòng)校正(步驟s13)。
另一方面,在步驟s11中判定為處于非步行狀態(tài)的情況下,圖案匹配部143讀出由亮度圖像生成部141生成并保存在存儲(chǔ)器142中的取得時(shí)刻不同的2幀的亮度圖像,進(jìn)行圖案匹配,將作為圖案匹配的結(jié)果而得到的向量信息保存在存儲(chǔ)器142中(步驟s14)。
接著,x/y校正量計(jì)算部144根據(jù)從存儲(chǔ)器142讀出的向量信息計(jì)算x/y校正量(即x方向的校正量和y方向的校正量)(步驟s15)。
然后,圖像處理部147根據(jù)計(jì)算出的x/y校正量,針對(duì)圖像數(shù)據(jù)進(jìn)行圖像切出,由此進(jìn)行x方向和y方向的抖動(dòng)殘余量的校正(x/y校正)(步驟s16)。
這樣進(jìn)行了步驟s13或步驟s16的處理后,結(jié)束系統(tǒng)控制器14中的抖動(dòng)校正處理。
圖12是示出基于是否處于步行狀態(tài)的電子校正和光學(xué)校正的區(qū)分使用以及所得到的效果的圖表,圖13是示出根據(jù)抖動(dòng)的檢測(cè)結(jié)果是否是處于步行狀態(tài)而區(qū)分使用電子校正和光學(xué)校正的狀況的線圖。
如上所述,在本實(shí)施方式中,根據(jù)基于滾動(dòng)角速度的步行檢測(cè)處理部156的檢測(cè)結(jié)果是否是處于步行狀態(tài),區(qū)分使用電子校正和光學(xué)校正。
首先,在處于非步行狀態(tài)的情況下,根據(jù)抖動(dòng)校正微計(jì)算機(jī)15的控制對(duì)攝像元件驅(qū)動(dòng)部13進(jìn)行驅(qū)動(dòng),根據(jù)偏航角速度和俯仰角速度進(jìn)行偏航方向和俯仰方向的光學(xué)抖動(dòng)校正,并且根據(jù)滾動(dòng)角速度進(jìn)行滾動(dòng)方向的光學(xué)抖動(dòng)校正。進(jìn)而,系統(tǒng)控制器14利用圖案匹配來(lái)檢測(cè)該光學(xué)校正后取得的圖像中殘存的抖動(dòng)(所謂的抖動(dòng)殘余),計(jì)算x/y校正量,針對(duì)圖像數(shù)據(jù)進(jìn)行圖像切出,進(jìn)行電子校正。
由此,在非步行狀態(tài)下,進(jìn)一步對(duì)進(jìn)行了光學(xué)校正后的結(jié)果的抖動(dòng)殘余進(jìn)行電子校正,所以,能夠大致完全地抑制抖動(dòng)。
另一方面,在處于步行狀態(tài)的情況下,根據(jù)抖動(dòng)校正微計(jì)算機(jī)15的控制對(duì)攝像元件驅(qū)動(dòng)部13進(jìn)行驅(qū)動(dòng),根據(jù)偏航角速度和俯仰角速度進(jìn)行偏航方向和俯仰方向的光學(xué)抖動(dòng)校正。但是,針對(duì)滾動(dòng)方向的抖動(dòng),不應(yīng)用光學(xué)校正。而且,關(guān)于該偏航方向和俯仰方向的光學(xué)校正后取得的圖像中產(chǎn)生的滾動(dòng)方向的抖動(dòng),系統(tǒng)控制器14根據(jù)從抖動(dòng)校正微計(jì)算機(jī)15取得的滾動(dòng)校正量針對(duì)圖像數(shù)據(jù)進(jìn)行圖像切出,從而進(jìn)行電子校正。此時(shí),系統(tǒng)控制器14不進(jìn)行x方向和y方向的抖動(dòng)殘余量的校正。
例如,在通過(guò)光學(xué)校正進(jìn)行滾動(dòng)校正后,如圖7所示,在固定部134的四邊框容許的可動(dòng)范圍內(nèi),四邊的可動(dòng)部135旋轉(zhuǎn),但是,關(guān)于旋轉(zhuǎn)后的狀態(tài)的可動(dòng)部135,與未旋轉(zhuǎn)的狀態(tài)相比,固定部134的四邊框內(nèi)的x方向的可移動(dòng)量和y方向的可移動(dòng)量較小(這是因?yàn)?,可?dòng)部135呈四邊,所以,在旋轉(zhuǎn)后的狀態(tài)下,可動(dòng)部135在x方向、y方向上占據(jù)的范圍分別比可動(dòng)部135的縱邊的長(zhǎng)度和橫邊的長(zhǎng)度長(zhǎng))。
在步行時(shí),與非步行時(shí)相比,偏航/俯仰/滾動(dòng)全部方向的抖動(dòng)較大,所以,當(dāng)通過(guò)光學(xué)校正進(jìn)行滾動(dòng)校正時(shí),容易到達(dá)光學(xué)校正的校正極限。該情況下,僅通過(guò)電子校正進(jìn)行校正,但是,在電子校正中,雖然能夠?qū)νㄟ^(guò)曝光而得到的圖像數(shù)據(jù)進(jìn)行被攝體構(gòu)圖移動(dòng)的校正,但是,無(wú)法對(duì)曝光中產(chǎn)生的像抖進(jìn)行校正。因此,與光學(xué)校正相比,圖像數(shù)據(jù)自身產(chǎn)生像抖,分辨率容易降低。因此,當(dāng)從(光學(xué)校正+電子校正)的狀態(tài)變化為僅電子校正的狀態(tài)時(shí),圖像的分辨率的急劇變化表現(xiàn)在動(dòng)態(tài)圖像中,圖像的質(zhì)量降低。
并且,在步行時(shí),特別是滾動(dòng)方向的抖動(dòng)較大,更容易到達(dá)光學(xué)校正的校正極限,所以,在光學(xué)校正后,與校正量不足的量相當(dāng)?shù)臐L動(dòng)方向的抖動(dòng)容易殘存在動(dòng)態(tài)圖像中,很難得到穩(wěn)定的動(dòng)態(tài)圖像。
對(duì)此,根據(jù)本實(shí)施方式,在步行時(shí),不在滾動(dòng)方向上應(yīng)用光學(xué)校正,所以,相應(yīng)地,能夠以更大的校正幅度進(jìn)行偏航方向和俯仰方向的光學(xué)校正。因此,與非步行時(shí)相比,能夠提高偏航方向和俯仰方向的光學(xué)校正性能。
進(jìn)而,雖然在步行時(shí)滾動(dòng)方向的抖動(dòng)較大,但是,僅將電子校正應(yīng)用于滾動(dòng)方向的抖動(dòng)校正,而不應(yīng)用于x/y校正,所以,能夠擴(kuò)寬基于電子校正的滾動(dòng)方向的校正范圍,能夠充分校正滾動(dòng)方向的抖動(dòng)。這樣,能夠得到穩(wěn)定的動(dòng)態(tài)圖像。
另外,在上述中,在處于步行狀態(tài)的情況下,將光學(xué)校正部的旋轉(zhuǎn)方向的像抖的校正量設(shè)為0,通過(guò)電子校正部對(duì)旋轉(zhuǎn)方向的像抖進(jìn)行校正,在處于非步行狀態(tài)的情況下,將電子校正部的旋轉(zhuǎn)方向的像抖的校正量為0,通過(guò)光學(xué)校正部對(duì)旋轉(zhuǎn)方向的像抖進(jìn)行校正,但是不限于此。
即,在處于步行狀態(tài)的情況下,與處于非步行狀態(tài)的情況相比,也可以減小光學(xué)校正部的旋轉(zhuǎn)方向的像抖的校正量,并且增大電子校正部的旋轉(zhuǎn)方向的像抖的校正量。該情況下,由于減小光學(xué)校正部的旋轉(zhuǎn)方向的像抖的校正量,所以,能夠增大光學(xué)校正部的平移方向的像抖的校正量,能夠改善步行時(shí)的平移方向的像抖的校正性能。而且,由于能夠通過(guò)電子校正部對(duì)殘存的旋轉(zhuǎn)方向的像抖進(jìn)行校正,所以,還能夠有效減少旋轉(zhuǎn)方向的像抖。
并且,在上述實(shí)施方式中,作為步行檢測(cè)部的步行檢測(cè)處理部156根據(jù)由像抖檢測(cè)部檢測(cè)到的旋轉(zhuǎn)方向的像抖的程度(即從adc151c輸出的滾動(dòng)角速度信息),檢測(cè)是否處于步行狀態(tài),但是不限于此。例如,也可以設(shè)置獨(dú)立的專用的步行檢測(cè)處理部,還可以通過(guò)其他適當(dāng)手段來(lái)檢測(cè)是否處于步行狀態(tài)。
根據(jù)這種實(shí)施方式1,檢測(cè)是否處于步行狀態(tài),在處于步行狀態(tài)的情況下,與處于非步行狀態(tài)的情況相比,減小攝像元件驅(qū)動(dòng)部13的旋轉(zhuǎn)方向的像抖的光學(xué)校正量,并且增大系統(tǒng)控制器14的旋轉(zhuǎn)方向的像抖的電子校正量,所以,能夠改善步行狀態(tài)下的包含滾動(dòng)方向(圖像的旋轉(zhuǎn)方向)的抖動(dòng)的校正性能,能夠確保穩(wěn)定的成幀(フレーミング)。
此時(shí),在處于步行狀態(tài)的情況下,將攝像元件驅(qū)動(dòng)部13的旋轉(zhuǎn)方向的像抖的校正量設(shè)為0,通過(guò)系統(tǒng)控制器14對(duì)旋轉(zhuǎn)方向的像抖進(jìn)行校正,在處于非步行狀態(tài)的情況下,將系統(tǒng)控制器14的旋轉(zhuǎn)方向的像抖的校正量設(shè)為0,通過(guò)攝像元件驅(qū)動(dòng)部13對(duì)旋轉(zhuǎn)方向的像抖進(jìn)行校正,所以,能夠最大限度地提高處于步行狀態(tài)的情況下的平移方向的像抖校正性能。
滾動(dòng)方向的抖動(dòng)(旋轉(zhuǎn)方向的像抖)與偏航方向和俯仰方向的抖動(dòng)(由水平方向和垂直方向的平移引起的像抖)相比,1幀圖像的曝光期間內(nèi)的被攝體光學(xué)像的移動(dòng)的影響較小,即,1幀的圖像中產(chǎn)生的像抖較小。因此,關(guān)于旋轉(zhuǎn)方向的像抖校正,即使不進(jìn)行光學(xué)校正而僅進(jìn)行電子校正,畫質(zhì)劣化也比較小。這樣,僅通過(guò)電子校正,就能夠良好地校正步行時(shí)的滾動(dòng)方向的抖動(dòng)。
并且,在處于非步行狀態(tài)的情況下,根據(jù)進(jìn)行光學(xué)校正而取得的取得時(shí)刻不同的多個(gè)圖像數(shù)據(jù),通過(guò)抖動(dòng)殘余量計(jì)算部計(jì)算光學(xué)校正后殘存的平移方向的抖動(dòng)殘余量,通過(guò)系統(tǒng)控制器14對(duì)平移方向的抖動(dòng)殘余量進(jìn)行電子校正,所以,能夠大致完全地去除非步行時(shí)的抖動(dòng)。
進(jìn)而,在根據(jù)圖案匹配的結(jié)果計(jì)算平移方向的抖動(dòng)殘余量的情況下,能夠進(jìn)行基于圖像數(shù)據(jù)自身的準(zhǔn)確判定。
而且,步行檢測(cè)處理部156根據(jù)由角速度傳感器16和抖動(dòng)校正微計(jì)算機(jī)15檢測(cè)到的旋轉(zhuǎn)方向的像抖的程度,檢測(cè)是處于步行狀態(tài)還是處于非步行狀態(tài),所以,不需要額外設(shè)置專用的傳感器等,能夠進(jìn)行與進(jìn)行兩腳步行的人的運(yùn)動(dòng)對(duì)應(yīng)的步行檢測(cè)。
[實(shí)施方式2]
圖14~圖18示出本發(fā)明的實(shí)施方式2,圖14是示出抖動(dòng)校正微計(jì)算機(jī)15的功能結(jié)構(gòu)的框圖。
在該實(shí)施方式2中,對(duì)與上述實(shí)施方式1相同的部分標(biāo)注相同標(biāo)號(hào)等并適當(dāng)省略說(shuō)明,主要僅對(duì)不同之處進(jìn)行說(shuō)明。
如后述圖15所示,本實(shí)施方式的抖動(dòng)校正微計(jì)算機(jī)15中的偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b不僅分別計(jì)算輸出到驅(qū)動(dòng)量計(jì)算部153的偏航校正量和俯仰校正量,還分別計(jì)算偏航方向的抖動(dòng)殘余量和俯仰方向的抖動(dòng)殘余量。
然后,如圖14所示,經(jīng)由通信部155向系統(tǒng)控制器14發(fā)送由偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b分別計(jì)算出的抖動(dòng)殘余量。
這里,圖15是示出偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b的結(jié)構(gòu)的一例的框圖。
如圖15所示,偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b具有乘法部1521、積分部1522、積分部1523、抵靠補(bǔ)償系數(shù)乘法部1524、減法部1525。
在對(duì)偏航校正量計(jì)算部152a輸入偏航角速度(或?qū)Ω┭鲂U坑?jì)算部152b輸入俯仰角速度)后,如上所述,乘法部1521乘以基于攝影光學(xué)系統(tǒng)21的光學(xué)特性的系數(shù)(上述系數(shù)k(f)),計(jì)算攝像元件12的攝像面中產(chǎn)生的被攝體像的偏航方向(在俯仰校正量計(jì)算部152b的情況下為俯仰方向)的每個(gè)規(guī)定時(shí)間間隔的移動(dòng)量。
由該乘法部1521計(jì)算出的移動(dòng)量分別輸入到積分部1522和積分部1523。
然后,積分部1522和積分部1523對(duì)每個(gè)規(guī)定時(shí)間間隔的移動(dòng)量進(jìn)行時(shí)間積分,作為攝像元件驅(qū)動(dòng)部13的驅(qū)動(dòng)位置(偏航方向的校正量/俯仰方向的校正量)進(jìn)行輸出。
另外,在圖15所示的結(jié)構(gòu)例中,獨(dú)立設(shè)置積分部1522和積分部1523,但是,也可以將這些積分部1522、1523匯集成一個(gè),從匯集后的積分部向抵靠補(bǔ)償系數(shù)乘法部1524和減法部1525輸出運(yùn)算結(jié)果。
抵靠補(bǔ)償系數(shù)乘法部1524是在接近攝像元件驅(qū)動(dòng)部13的校正極限時(shí)抑制平移方向的光學(xué)校正功能的極限校正緩和部。例如,抵靠補(bǔ)償系數(shù)乘法部1524在可動(dòng)部135到達(dá)與固定部134抵靠的校正極限之前,對(duì)由角速度傳感器16和抖動(dòng)校正微計(jì)算機(jī)15檢測(cè)到的平移方向的像抖量乘以用于抑制平移方向的光學(xué)校正功能的抵靠補(bǔ)償系數(shù)。
具體而言,抵靠補(bǔ)償系數(shù)乘法部1524對(duì)由積分部1523計(jì)算出的驅(qū)動(dòng)位置(偏航方向的校正量/俯仰方向的校正量)乘以抵靠補(bǔ)償系數(shù)。這里,在到達(dá)攝像元件驅(qū)動(dòng)部13的光學(xué)校正的校正極限(即圖7所示的可動(dòng)部135與固定部134抵靠的位置)之前的接近該校正極限時(shí),如果直接使用由積分部1523計(jì)算出的驅(qū)動(dòng)位置,則有時(shí)可動(dòng)部135與固定部134迅速抵靠。因此,抵靠補(bǔ)償系數(shù)成為與由積分部1523計(jì)算出的驅(qū)動(dòng)位置相比抑制可動(dòng)部135的移動(dòng)量的系數(shù)(例如,隨著接近校正極限而使值降低的小于1的系數(shù))。通過(guò)進(jìn)行這種處理,可動(dòng)部135在與固定部134抵靠的抵靠位置附近緩慢地接近固定部134。
這樣,由抵靠補(bǔ)償系數(shù)乘法部1524校正后的驅(qū)動(dòng)位置(偏航方向的校正量/俯仰方向的校正量)作為校正量輸出到驅(qū)動(dòng)量計(jì)算部153。
并且,減法部1525是從平移方向的像抖量減去由攝像元件驅(qū)動(dòng)部13校正后的平移方向的像抖量來(lái)計(jì)算抖動(dòng)殘余量的抖動(dòng)殘余量計(jì)算部。具體而言,減法部1525通過(guò)從由積分部1522計(jì)算出的驅(qū)動(dòng)位置減去由抵靠補(bǔ)償系數(shù)乘法部1524校正后的驅(qū)動(dòng)位置,計(jì)算光學(xué)校正中殘存的偏航方向和俯仰方向的抖動(dòng)殘余量。
如上所述,經(jīng)由通信部155向系統(tǒng)控制器14發(fā)送這樣計(jì)算出的抖動(dòng)殘余量。
接著,圖16是示出系統(tǒng)控制器14的功能結(jié)構(gòu)的框圖。另外,在該圖16中,與上述圖8同樣,也示出系統(tǒng)控制器14所具有的各種功能中的與抖動(dòng)電子校正相關(guān)聯(lián)的功能部。
如圖16所示,系統(tǒng)控制器14具有圖像處理部147。即,在本實(shí)施方式中,從抖動(dòng)校正微計(jì)算機(jī)15接收與x/y校正量對(duì)應(yīng)的抖動(dòng)殘余量,所以,不需要進(jìn)行圖案匹配來(lái)求出抖動(dòng)殘余量。因此,本實(shí)施方式的系統(tǒng)控制器14從圖8所示的結(jié)構(gòu)中刪除亮度圖像生成部141、存儲(chǔ)器142、圖案匹配部143、x/y校正量計(jì)算部144和校正量選擇部146。
而且,系統(tǒng)控制器14使用接收到的偏航方向的抖動(dòng)殘余量作為x校正量,使用接收到的俯仰方向的抖動(dòng)殘余量作為y校正量,針對(duì)圖像數(shù)據(jù)進(jìn)行圖像切出,由此進(jìn)行偏航方向和俯仰方向的抖動(dòng)殘余量的校正。
接著,圖17是示出攝像裝置的手抖校正中的抖動(dòng)校正微計(jì)算機(jī)15的處理的流程圖。
開始進(jìn)行該處理后,與圖10所示的步驟s01~s05的處理同樣進(jìn)行步驟s21~s25的處理。
然后,在步驟s25中判定為處于步行狀態(tài)的情況下,與圖10所示的步驟s06和步驟s07的處理同樣進(jìn)行步驟s26和步驟s27的處理。
并且,在步驟s25中判定為處于非步行狀態(tài)的情況下,與圖10所示的步驟s08的處理同樣進(jìn)行步驟s28的處理。
接著,偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b如上所述計(jì)算光學(xué)校正中的偏航方向和俯仰方向的抖動(dòng)殘余量(步驟s29)。
進(jìn)而,經(jīng)由通信部155向系統(tǒng)控制器14輸出步驟s29中求出的抖動(dòng)殘余量(步驟s30)。
這樣進(jìn)行了步驟s27或步驟s30的處理后,結(jié)束抖動(dòng)校正微計(jì)算機(jī)15中的抖動(dòng)校正處理。
接著,圖18是示出攝像裝置的手抖校正中的系統(tǒng)控制器14的處理的流程圖。
開始進(jìn)行該處理后,與圖11所示的步驟s11的處理同樣進(jìn)行步驟s31的處理。
在該步驟s31中判定為處于步行狀態(tài)的情況下,與圖11所示的步驟s12~s13的處理同樣進(jìn)行步驟s32~s33的處理。
并且,在步驟s31中判定為處于非步行狀態(tài)的情況下,經(jīng)由通信部155取得由抖動(dòng)校正微計(jì)算機(jī)15內(nèi)的偏航校正量計(jì)算部152a和俯仰校正量計(jì)算部152b計(jì)算出的偏航方向和俯仰方向的抖動(dòng)殘余量(步驟s34)。
然后,圖像處理部147根據(jù)步驟s34中取得的抖動(dòng)殘余量,針對(duì)圖像數(shù)據(jù)進(jìn)行圖像切出,由此對(duì)平移方向的抖動(dòng)殘余量進(jìn)行校正(步驟s35)。
這樣進(jìn)行了步驟s33或步驟s35的處理后,結(jié)束系統(tǒng)控制器14中的抖動(dòng)校正處理。
根據(jù)這種實(shí)施方式2,發(fā)揮與上述實(shí)施方式1大致相同的效果,并且,具有在接近攝像元件驅(qū)動(dòng)部13的校正極限時(shí)抑制平移方向的光學(xué)校正功能的極限校正緩和部、以及從平移方向的像抖量減去由攝像元件驅(qū)動(dòng)部13校正后的平移方向的像抖量來(lái)計(jì)算抖動(dòng)殘余量的抖動(dòng)殘余量計(jì)算部即減法部1525,在處于非步行狀態(tài)的情況下,通過(guò)系統(tǒng)控制器14對(duì)平移方向的抖動(dòng)殘余量進(jìn)行校正,所以,能夠抑制從光學(xué)校正切換為電子校正時(shí)的不自然的像抖。
而且,不需要進(jìn)行上述實(shí)施方式1中的圖案匹配,所以,能夠減輕運(yùn)算處理的負(fù)荷并簡(jiǎn)化結(jié)構(gòu)。進(jìn)而,還能夠良好地校正圖案匹配中不容易檢測(cè)的被攝體(例如逆光、低對(duì)比度、重復(fù)圖案、動(dòng)體等)。
并且,極限校正緩和部包括抵靠補(bǔ)償系數(shù)乘法部1524,還抵靠補(bǔ)償系數(shù)乘法部1524在到達(dá)可動(dòng)部135與固定部134抵靠的校正極限之前,對(duì)由角速度傳感器16和抖動(dòng)校正微計(jì)算機(jī)15檢測(cè)到的平移方向的像抖量乘以用于抑制平移方向的光學(xué)校正功能的抵靠補(bǔ)償系數(shù),所以,能夠通過(guò)系數(shù)的乘法這樣的簡(jiǎn)單處理來(lái)抑制接近校正極限時(shí)的平移方向的光學(xué)校正功能。
另外,上述各部也可以構(gòu)成為電路。而且,任意的電路只要能夠發(fā)揮同一功能即可,可以作為單一電路進(jìn)行安裝,也可以組合多個(gè)電路進(jìn)行安裝。進(jìn)而,任意的電路不限于構(gòu)成為用于發(fā)揮目標(biāo)功能的專用電路,也可以構(gòu)成為通過(guò)使通用電路執(zhí)行處理程序來(lái)發(fā)揮目標(biāo)功能。
并且,上述主要說(shuō)明了攝像裝置,但是,也可以是如上所述控制攝像裝置的控制方法或進(jìn)行與攝像裝置相同的像抖校正的像抖校正方法,還可以是用于使計(jì)算機(jī)進(jìn)行與攝像裝置相同的處理的處理程序、記錄該處理程序的計(jì)算機(jī)可讀取的非暫時(shí)性的記錄介質(zhì)等。