本發(fā)明涉及攝像設(shè)備的用于校正搖攝拍攝時(shí)產(chǎn)生的圖像模糊的圖像模糊校正技術(shù)。

背景技術(shù)：

傳統(tǒng)上，作為表現(xiàn)移動(dòng)被攝體的速度感的拍攝技術(shù)，已知有被稱為搖攝拍攝(panningshotcapturing)的技術(shù)。該拍攝技術(shù)意圖獲得移動(dòng)被攝體保持靜止、而背景因拍攝者隨著被攝體的移動(dòng)使照相機(jī)平搖而變模糊的圖像。在平搖拍攝時(shí)，拍攝者需要隨著被攝體的移動(dòng)使照相機(jī)進(jìn)行平搖。然而，經(jīng)常是如下情況：如果平搖速度過(guò)快或過(guò)慢，則在被攝體的移動(dòng)速度和平搖速度之間發(fā)生差，這樣得到被攝體變模糊的圖像。

為了解決該問(wèn)題，日本特開平4-163535提出了如下方法，其中該方法用于基于“曝光之前計(jì)算出的相對(duì)于攝像設(shè)備的相對(duì)被攝體角速度”和“從角速度傳感器獲得的曝光期間的攝像設(shè)備的角速度”，通過(guò)使曝光期間的鏡頭的光學(xué)系統(tǒng)的一部分或攝像單元移動(dòng)來(lái)校正被攝體模糊。相對(duì)于攝像設(shè)備的相對(duì)被攝體角速度是根據(jù)“從時(shí)間上連續(xù)的圖像中所檢測(cè)到的被攝體在像面上的移動(dòng)量”和“角速度傳感器”的輸出所計(jì)算出的。

然而，利用上述的日本特開平4-163535所公開的傳統(tǒng)技術(shù)，在相對(duì)較大的被攝體的情況下，可能會(huì)對(duì)除拍攝者所期望的位置以外的位置處的模糊進(jìn)行校正。圖17是如從拍攝者觀看到的從由向左移動(dòng)的電車的示意圖，并且已知角速度在如從拍攝者觀看到的三個(gè)點(diǎn)(a、b和c)處改變。圖18是基于通過(guò)在預(yù)定時(shí)間段內(nèi)對(duì)圖17所示的三個(gè)點(diǎn)的角速度進(jìn)行采樣所獲得的結(jié)果而標(biāo)繪的曲線圖。橫軸表示時(shí)間，其中時(shí)間從左向右增加?？v軸表示角速度，其中角速度從下向上增加。如從圖18可以看出，被攝體角速度根據(jù)在給定時(shí)刻使用被攝體的哪部分來(lái)計(jì)算角速度而改變。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是有鑒于上述問(wèn)題而作出的，并且提供了在進(jìn)行搖攝拍攝的情況下使得能夠進(jìn)行高度精確的圖像穩(wěn)定的圖像穩(wěn)定設(shè)備。

根據(jù)本發(fā)明的第一方面，提供一種圖像穩(wěn)定設(shè)備，包括：第一檢測(cè)單元，用于通過(guò)使用攝像單元所拍攝到的連續(xù)的兩個(gè)圖像，來(lái)在畫面上的多個(gè)位置處檢測(cè)被攝體移動(dòng)量；確定單元，用于基于所述第一檢測(cè)單元所進(jìn)行的檢測(cè)的結(jié)果，來(lái)確定所述畫面上的被攝體范圍；保持單元，用于將與所述被攝體范圍內(nèi)的被攝體位置有關(guān)的被攝體位置信息以及基于所述第一檢測(cè)單元所進(jìn)行的檢測(cè)的結(jié)果和第二檢測(cè)單元所進(jìn)行的檢測(cè)的結(jié)果的所述被攝體位置處的移動(dòng)量信息相關(guān)聯(lián)地進(jìn)行保持，其中所述第二檢測(cè)單元用于檢測(cè)所述圖像穩(wěn)定設(shè)備的移動(dòng)；以及控制單元，用于基于所述保持單元中所保持的所述被攝體位置信息和所述被攝體位置處的移動(dòng)量信息，來(lái)控制用于校正被攝體圖像模糊的圖像穩(wěn)定單元的操作，以校正所述被攝體位置處的被攝體圖像模糊。

根據(jù)本發(fā)明的第二方面，提供一種圖像穩(wěn)定設(shè)備的控制方法，包括以下步驟：第一檢測(cè)步驟，用于利用第一檢測(cè)單元，通過(guò)使用攝像單元所拍攝到的連續(xù)的兩個(gè)圖像，來(lái)在畫面上的多個(gè)位置處檢測(cè)被攝體移動(dòng)量；基于所述第一檢測(cè)步驟中所進(jìn)行的檢測(cè)的結(jié)果來(lái)確定所述畫面上的被攝體范圍；保持步驟，用于將與所述被攝體范圍內(nèi)的被攝體位置有關(guān)的被攝體位置信息以及基于所述第一檢測(cè)單元所進(jìn)行的檢測(cè)的結(jié)果和第二檢測(cè)單元所進(jìn)行的檢測(cè)的結(jié)果的所述被攝體位置處的移動(dòng)量信息相關(guān)聯(lián)地進(jìn)行保持，其中所述第二檢測(cè)單元用于檢測(cè)所述圖像穩(wěn)定設(shè)備的移動(dòng)；以及基于所述保持步驟中所保持的所述被攝體位置信息和所述被攝體位置處的移動(dòng)量信息，來(lái)控制用于校正被攝體圖像模糊的圖像穩(wěn)定單元的操作，以校正所述被攝體位置處的被攝體圖像模糊。

通過(guò)以下(參考附圖)對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。

附圖說(shuō)明

圖1是示出作為安裝有根據(jù)本發(fā)明的圖像穩(wěn)定設(shè)備的根據(jù)第一實(shí)施例的攝像設(shè)備的照相機(jī)的結(jié)構(gòu)的框圖。

圖2是示出圖像穩(wěn)定設(shè)備的結(jié)構(gòu)的框圖。

圖3是示出平搖控制操作的示例的流程圖。

圖4是示出照相機(jī)正平搖的情況下的水平方向上的角速度數(shù)據(jù)與預(yù)定值α和β之間的關(guān)系的圖。

圖5是示出圖像穩(wěn)定設(shè)備在處于搖攝輔助模式的情況下的結(jié)構(gòu)的框圖。

圖6是示出搖攝輔助模式中的拍攝操作的流程圖。

圖7是示出移動(dòng)量檢測(cè)單元所進(jìn)行的操作的流程圖。

圖8a和8b是示出模板框如何配置的圖。

圖9是示出移動(dòng)量的直方圖的圖。

圖10是示出主被攝體區(qū)域的圖。

圖11a和11b是示出模板框如何配置的圖。

圖12是示出根據(jù)第一實(shí)施例的針對(duì)各被攝體位置的角速度數(shù)據(jù)的示例的圖。

圖13是示出被攝體角速度確定操作的流程圖。

圖14是示出根據(jù)第二實(shí)施例的針對(duì)各被攝體位置的角速度數(shù)據(jù)的示例的圖。

圖15是示出根據(jù)第二實(shí)施例的被攝體移動(dòng)量獲取操作的流程圖。

圖16a和16b是示出手振動(dòng)量的圖。

圖17是示出角速度根據(jù)被攝體上的位置而改變的圖。

圖18是示出在大被攝體上的不同位置處所獲得的角速度的圖。

具體實(shí)施方式

以下將參考附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。

第一實(shí)施例

圖1是示出作為安裝有根據(jù)本發(fā)明的圖像穩(wěn)定設(shè)備的根據(jù)第一實(shí)施例的攝像設(shè)備的照相機(jī)的結(jié)構(gòu)的框圖。在圖1中，在照相機(jī)100中，在該照相機(jī)的本體中集成有鏡頭。然而，本發(fā)明不限于鏡頭和照相機(jī)本體一體化地配置的照相機(jī)，并且還可適用于被配置成鏡頭可拆卸地安裝至照相機(jī)的本體的單鏡頭反光照相機(jī)。

照相機(jī)100包括拍攝鏡頭單元101，其中該拍攝鏡頭單元101包括：主拍攝光學(xué)系統(tǒng)102；變焦透鏡組103，其能夠改變焦距；以及移位透鏡組104，用于通過(guò)在與光軸垂直的方向上移動(dòng)來(lái)光學(xué)地校正照相機(jī)振動(dòng)所引起的相對(duì)于光軸的圖像模糊。拍攝鏡頭單元101在后面將說(shuō)明的圖像傳感器112上形成被攝體圖像。此外，拍攝鏡頭單元101還包括：變焦編碼器105，用于檢測(cè)變焦透鏡組103的位置；位置傳感器106，用于檢測(cè)移位透鏡組104的位置；以及角速度傳感器107，用于檢測(cè)照相機(jī)振動(dòng)。拍攝鏡頭單元101還包括：放大器108，用于放大角速度傳感器107的輸出；照相機(jī)控制用微計(jì)算機(jī)(以下稱為微計(jì)算機(jī))130；驅(qū)動(dòng)器109，用于驅(qū)動(dòng)移位透鏡組104；以及放大器110，用于放大移位透鏡組104的位置傳感器106的輸出。

照相機(jī)100還包括快門111、諸如cmos傳感器等的圖像傳感器112、模擬信號(hào)處理電路113、照相機(jī)信號(hào)處理電路114和時(shí)序發(fā)生器115，其中該時(shí)序發(fā)生器115用于設(shè)置圖像傳感器112和模擬信號(hào)處理電路113的操作定時(shí)。照相機(jī)100還包括電源開關(guān)、釋放開關(guān)、包含用于選擇搖攝輔助模式等的選擇開關(guān)的照相機(jī)操作開關(guān)組116、快門驅(qū)動(dòng)馬達(dá)117和驅(qū)動(dòng)器118，其中該驅(qū)動(dòng)器118用于驅(qū)動(dòng)快門驅(qū)動(dòng)馬達(dá)117。照相機(jī)100還包括：存儲(chǔ)卡119，用于記錄拍攝圖像；以及液晶顯示器(以下稱為lcd)120，用于監(jiān)視照相機(jī)要拍攝的圖像并且顯示拍攝圖像。lcd120可以通過(guò)連續(xù)地顯示拍攝圖像來(lái)顯示實(shí)時(shí)取景。此外，通過(guò)疊加在顯示有實(shí)時(shí)取景的畫面上來(lái)顯示框(以下稱為“圖像穩(wěn)定框”)，并且拍攝者(用戶)可以移動(dòng)該圖像穩(wěn)定框，以向照相機(jī)提供對(duì)圖像模糊進(jìn)行抑制的位置的指示。此外，拍攝者可以將圖像穩(wěn)定框的位置改變?yōu)槿我馕恢?。在圖8a和8b中示出圖像穩(wěn)定框1003。

照相機(jī)信號(hào)處理電路114包括移動(dòng)量檢測(cè)單元135。微計(jì)算機(jī)130包括：圖像穩(wěn)定控制單元131，用于進(jìn)行圖像穩(wěn)定控制；搖攝控制單元132，用于進(jìn)行搖攝輔助控制；快門控制單元133，用于控制快門；以及被攝體角速度計(jì)算單元134，用于計(jì)算被攝體角速度。微計(jì)算機(jī)130還進(jìn)行諸如調(diào)焦透鏡控制操作和光圈控制操作等的其它控制操作，但為了便于說(shuō)明，在圖1中省略了進(jìn)行其它控制操作的單元。此外，為了實(shí)現(xiàn)圖像穩(wěn)定，針對(duì)例如水平方向和垂直方向等的兩個(gè)垂直軸進(jìn)行模糊檢測(cè)和校正，但結(jié)構(gòu)針對(duì)這兩個(gè)軸完全相同，因而這里僅說(shuō)明針對(duì)一個(gè)軸的結(jié)構(gòu)。在圖1中，在利用操作開關(guān)組116接通照相機(jī)的電源的情況下，微計(jì)算機(jī)130檢測(cè)照相機(jī)的狀態(tài)的變化，并且進(jìn)行向照相機(jī)100中所設(shè)置的各電路的電源供給以及初始化。

在沒(méi)有設(shè)置搖攝輔助模式的正常模式中，角速度傳感器107檢測(cè)手振動(dòng)所引起的照相機(jī)100中的照相機(jī)振動(dòng)，圖像穩(wěn)定控制單元131通過(guò)使用該檢測(cè)結(jié)果來(lái)驅(qū)動(dòng)移位透鏡組104，由此進(jìn)行圖像穩(wěn)定操作。

現(xiàn)在將說(shuō)明圖像穩(wěn)定功能。圖2是示出圖像穩(wěn)定設(shè)備的結(jié)構(gòu)的框圖，向與圖1的構(gòu)成組件相同的構(gòu)成組件賦予相同的附圖標(biāo)記，并且將省略針對(duì)這些構(gòu)成組件的說(shuō)明。在圖2中，圖像穩(wěn)定控制單元131包括a/d轉(zhuǎn)換器401、濾波器計(jì)算單元402、積分器403、加法器404、pwm輸出單元405、a/d轉(zhuǎn)換器406和平搖控制單元407。a/d轉(zhuǎn)換器401將角速度傳感器107所檢測(cè)到的照相機(jī)振動(dòng)信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。按約1～10khz的頻率對(duì)角速度傳感器107的輸出數(shù)據(jù)進(jìn)行采樣。包括高通濾波器(hpf)等的濾波器計(jì)算單元402通過(guò)去除角速度傳感器107的輸出中所包括的偏移成分并改變截止頻率，來(lái)針對(duì)平搖采取對(duì)策。積分器403將角速度數(shù)據(jù)轉(zhuǎn)換成角位移數(shù)據(jù)，以生成移位透鏡的驅(qū)動(dòng)目標(biāo)數(shù)據(jù)。a/d轉(zhuǎn)換器406將用于檢測(cè)移位透鏡組104的位置的位置傳感器106的輸出轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)。加法器404通過(guò)從移位透鏡組104的驅(qū)動(dòng)目標(biāo)值中減去移位透鏡的當(dāng)前位置來(lái)計(jì)算與移位透鏡組104的實(shí)際驅(qū)動(dòng)量有關(guān)的數(shù)據(jù)。pwm輸出單元405將所計(jì)算出的驅(qū)動(dòng)量數(shù)據(jù)輸出至移位透鏡驅(qū)動(dòng)用驅(qū)動(dòng)器109。平搖控制單元407根據(jù)角速度數(shù)據(jù)的狀態(tài)來(lái)判斷照相機(jī)100是否正在平搖。如果判斷為照相機(jī)100正在平搖，則進(jìn)行用于改變?yōu)V波器計(jì)算單元402的截止頻率的控制和積分器403的輸出的調(diào)整。

圖3是示出微計(jì)算機(jī)130中設(shè)置的圖像穩(wěn)定控制單元131所進(jìn)行的平搖控制操作的示例的流程圖。以下將參考圖3來(lái)說(shuō)明平搖控制。

在圖3中，在s501中，判斷由a/d轉(zhuǎn)換器401轉(zhuǎn)換成數(shù)字值的角速度數(shù)據(jù)的平均值(進(jìn)行預(yù)定次數(shù)采樣的平均值)是否大于預(yù)定值α。如果判斷為平均值小于或等于預(yù)定值α，則判斷為照相機(jī)沒(méi)有平搖。如果判斷為平均值大于預(yù)定值α，則在s502中，判斷平均值是否大于預(yù)定值β。然后，如果判斷為平均值小于或等于預(yù)定值β，則判斷為照相機(jī)正緩慢平搖。如果判斷為平均值大于預(yù)定值β，則判斷為照相機(jī)正快速平搖。在s503中，將濾波器計(jì)算單元402中所設(shè)置的hpf的截止頻率設(shè)置為最大值，并且在s504中，強(qiáng)制關(guān)閉圖像穩(wěn)定控制。進(jìn)行該操作，從而通過(guò)增加hpf的截止頻率以使移位透鏡逐漸停止，來(lái)消除圖像穩(wěn)定控制關(guān)閉時(shí)的不適感。此外，在照相機(jī)快速平搖的情況下，平搖所引起的移動(dòng)量變得明顯大于手振動(dòng)量，并且即使作為圖像穩(wěn)定關(guān)閉的結(jié)果、手振動(dòng)仍然殘留，也不存在不適感。如果在沒(méi)有進(jìn)行該設(shè)置的情況下通過(guò)將快速平搖作為大振動(dòng)來(lái)嘗試校正，則在平搖開始時(shí)圖像模糊停止，但在之后移位透鏡組104到達(dá)校正端時(shí)，圖像突然大幅移動(dòng)，這被感知為非常不自然的移動(dòng)。

之后，在s505中，積分器403的輸出從當(dāng)前數(shù)據(jù)逐漸地改變?yōu)槌跏嘉恢脭?shù)據(jù)，以使移位透鏡組104移動(dòng)至初始位置。該操作是由于以下原因而進(jìn)行的：期望在下次再開始圖像穩(wěn)定操作的情況下，移位透鏡組104處于驅(qū)動(dòng)范圍內(nèi)的初始位置。

另一方面，如果在s502中判斷為角速度數(shù)據(jù)的平均值小于或等于預(yù)定值β(如果判斷為照相機(jī)正緩慢平搖)，則過(guò)程進(jìn)入s506，其中在s506中，根據(jù)角速度數(shù)據(jù)的大小來(lái)設(shè)置hpf的截止頻率。這是因?yàn)椋谡障鄼C(jī)正緩慢平搖的情況下，不能完全忽略手振動(dòng)的影響，并且進(jìn)行該操作以在維持平搖時(shí)的圖像的追隨性使得不會(huì)發(fā)生不自然移動(dòng)的同時(shí)，對(duì)手振動(dòng)進(jìn)行校正。

此外，如果在s501中判斷為角速度數(shù)據(jù)的平均值小于或等于預(yù)定值α(如果判斷為照相機(jī)并未平搖)，則在s507中，將hpf的截止頻率設(shè)置為正常值。如果判斷為照相機(jī)沒(méi)有快速平搖，則在s508中，解除用以強(qiáng)制關(guān)閉圖像穩(wěn)定控制的設(shè)置。

圖4是示出在照相機(jī)正平搖的情況下的水平方向上的角速度數(shù)據(jù)與預(yù)定值α和β之間的關(guān)系的圖，其中使用角速度數(shù)據(jù)701作為角速度數(shù)據(jù)的示例。在該示例中，在照相機(jī)沿右方向平搖的情況下，輸出表示正(+)號(hào)的輸出，并且在照相機(jī)沿左方向平搖的情況下，輸出表示負(fù)(-)號(hào)的輸出。在圖4所示的示例中，檢測(cè)到右方向上的快速平搖和左右方向上的緩慢平搖。如從圖4可以看出，在照相機(jī)正平搖時(shí)，角速度數(shù)據(jù)取與初始值(在該示例中為0)大大不同的值。因此，在對(duì)該數(shù)據(jù)進(jìn)行積分以計(jì)算移位透鏡的目標(biāo)驅(qū)動(dòng)值的情況下，由于dc偏移成分，因而積分器403輸出非常大的值，這導(dǎo)致產(chǎn)生不可控制狀態(tài)。因此，在檢測(cè)到平搖的情況下，需要通過(guò)將hpf的截止頻率改變?yōu)楦叩闹祦?lái)去除dc成分。在快速平搖的情況下，由于快速平搖特別明顯，因此截止頻率增加為甚至更高的值，使得不會(huì)使積分器403的輸出增加。在平搖速度高的情況下，平搖速度所引起的圖像的移動(dòng)相對(duì)于手振動(dòng)大幅增加，因而即使在相對(duì)于平搖方向關(guān)閉圖像穩(wěn)定功能的情況下，也不會(huì)引起不適感。作為如上所述進(jìn)行平搖控制的結(jié)果，可以在照相機(jī)正平搖時(shí)的實(shí)時(shí)取景圖像的顯示上監(jiān)視不會(huì)引起不適感的圖像。

接著，將說(shuō)明搖攝輔助模式。在圖1中，在利用操作開關(guān)組116設(shè)置搖攝輔助模式的情況下，照相機(jī)信號(hào)處理電路114中所包括的移動(dòng)量檢測(cè)單元135從所拍攝到的連續(xù)的幀圖像中檢測(cè)被攝體移動(dòng)量，并且輸出該被攝體移動(dòng)量。然后，微計(jì)算機(jī)130接收該移動(dòng)量和角速度傳感器107所檢測(cè)到的角速度數(shù)據(jù)。

這里，角速度數(shù)據(jù)與照相機(jī)100的搖攝速度相對(duì)應(yīng)，因而通過(guò)計(jì)算角速度數(shù)據(jù)與根據(jù)主被攝體在像面上的移動(dòng)量和鏡頭的當(dāng)前焦距所計(jì)算出的角速度之間的差，來(lái)獲得主被攝體相對(duì)于照相機(jī)的角速度。被攝體角速度計(jì)算單元134在處理要監(jiān)視的實(shí)時(shí)取景圖像的定時(shí)，針對(duì)各幀來(lái)計(jì)算主被攝體的角速度。此外，被攝體角速度計(jì)算單元134將與多個(gè)過(guò)去幀相對(duì)應(yīng)的多個(gè)組合信息發(fā)送至搖攝控制單元132，其中該組合信息是將所計(jì)算出的被攝體角速度和計(jì)算時(shí)生成圖像的時(shí)刻相組合的信息。

圖5是示出圖像穩(wěn)定設(shè)備在處于搖攝輔助模式的情況下的結(jié)構(gòu)的框圖，并且向與圖1和2的構(gòu)成元件相同的構(gòu)成元件賦予相同的附圖標(biāo)記。在圖5中，搖攝控制單元132包括照相機(jī)信息獲取單元601、角速度數(shù)據(jù)輸出單元602、被攝體角速度確定單元603、加法器604、第二積分器605和設(shè)置改變單元606。照相機(jī)信息獲取單元601特別獲取釋放信息和與搖攝輔助模式有關(guān)的設(shè)置信息。角速度數(shù)據(jù)輸出單元602按預(yù)定定時(shí)對(duì)照相機(jī)的角速度數(shù)據(jù)進(jìn)行采樣，并且將該結(jié)果輸出至被攝體角速度計(jì)算單元134。被攝體角速度確定單元603基于當(dāng)前時(shí)刻以及被攝體角速度計(jì)算單元134所計(jì)算出的與多個(gè)過(guò)去幀相對(duì)應(yīng)的多個(gè)組合信息來(lái)確定曝光期間的被攝體的角速度，其中該組合信息是將被攝體角速度和計(jì)算時(shí)生成圖像的時(shí)刻相組合的信息。加法器604計(jì)算角速度傳感器的角速度和被攝體角速度之間的差。第二積分器605僅在預(yù)定時(shí)間段內(nèi)進(jìn)行積分操作。設(shè)置改變單元606根據(jù)照相機(jī)信息獲取單元601所獲取到的模式信息來(lái)改變?cè)O(shè)置。

在通過(guò)操作開關(guān)組116的操作設(shè)置了搖攝輔助模式的情況下，利用照相機(jī)信息獲取單元601讀取該信息，并且將該信息通知至設(shè)置改變單元606。設(shè)置改變單元606根據(jù)所通知的模式信息來(lái)改變平搖控制單元407的設(shè)置。這里所進(jìn)行的設(shè)置改變是用于便于轉(zhuǎn)變?yōu)榭焖倨綋u狀態(tài)的改變。具體地，改變以上所述的平搖判斷中所使用的預(yù)定值β和α。此外，加法器604計(jì)算角速度傳感器所檢測(cè)到的角速度和主被攝體的角速度之間的差，并且將該結(jié)果發(fā)送至第二積分器605。第二積分器605響應(yīng)于照相機(jī)信息獲取單元601所獲取到的表示曝光時(shí)間段的信號(hào)而開始積分操作，并且輸出在其它時(shí)間段使移位透鏡位于中央的值。這里，在除曝光時(shí)間段以外的時(shí)間段內(nèi)使移位透鏡位于中央的情況下，在曝光時(shí)間段結(jié)束時(shí)，移位透鏡需要急劇地從當(dāng)前移位透鏡位置移動(dòng)至中央位置。然而，緊挨在曝光時(shí)間段結(jié)束之后從圖像傳感器112讀取圖像信號(hào)，因而在lcd上圖像消失。因此，移位透鏡的急劇移動(dòng)所引起的圖像移動(dòng)不會(huì)造成問(wèn)題。此外，利用加法器404將第二積分器605的輸出連同積分器403的輸出和移位透鏡組104的位置信息一起相加，并且計(jì)算移位透鏡組104的驅(qū)動(dòng)量。

如果在設(shè)置了搖攝輔助模式的情況下、拍攝者實(shí)際進(jìn)行搖攝操作，則平搖控制單元407立即進(jìn)行針對(duì)快速平搖狀態(tài)的平搖控制。結(jié)果，禁止振動(dòng)校正操作，并且移位透鏡組104校正與照相機(jī)的平搖的角速度和被攝體角速度之間的差相對(duì)應(yīng)的量。由于該原因，通過(guò)移位透鏡的操作抵消了曝光時(shí)間段內(nèi)的照相機(jī)的平搖速度與被攝體的速度之間的可能引起不成功搖攝的差，結(jié)果成功地進(jìn)行了(輔助了)搖攝拍攝。

圖6是示出搖攝輔助模式中的拍攝操作的流程圖。在圖6中，在s201中，檢測(cè)是否半按下了釋放開關(guān)(開關(guān)sw1是否接通)。如果檢測(cè)到開關(guān)sw1接通，則過(guò)程進(jìn)入s202，其中在該s202中，使定時(shí)計(jì)數(shù)器遞增。如果判斷為開關(guān)sw1沒(méi)有接通，則在s203中，重置定時(shí)計(jì)數(shù)器。

在s204中，確認(rèn)是否已計(jì)算出主被攝體的角速度。如果判斷為已計(jì)算出主被攝體的角速度，則在s205中，進(jìn)一步確認(rèn)定時(shí)計(jì)數(shù)器是否達(dá)到預(yù)定時(shí)間t。如果沒(méi)有計(jì)算出主被攝體的角速度、或者如果盡管計(jì)算出主被攝體的角速度但經(jīng)過(guò)了預(yù)定時(shí)間段，則在s206中，計(jì)算主被攝體的角速度。重新計(jì)算主被攝體的角速度是考慮到主被攝體的速度的隨時(shí)間經(jīng)過(guò)的變化的動(dòng)作。每次計(jì)算主被攝體的角速度時(shí)，向搖攝控制單元132中所包括的被攝體角速度確定單元603發(fā)送通知。

在s207中，根據(jù)從被攝體角速度計(jì)算單元134獲取到的多個(gè)過(guò)去幀的被攝體角速度來(lái)計(jì)算角加速度，并且通過(guò)考慮到關(guān)閉釋放和開始曝光之間的時(shí)滯，利用被攝體角速度確定單元603來(lái)計(jì)算并確定曝光期間的被攝體角速度。在s208中，檢測(cè)是否全按下了釋放開關(guān)(開關(guān)sw2是否接通)。如果判斷為開關(guān)sw2沒(méi)有接通，則過(guò)程返回至s201。如果在s208中判斷為開關(guān)sw2接通，則在s209中，快門控制單元133進(jìn)行快門控制以開始曝光。

在s210中，搖攝控制單元132和圖像穩(wěn)定控制單元131一起進(jìn)行工作以使移位透鏡組104移動(dòng)，從而進(jìn)行被攝體圖像的圖像穩(wěn)定。在s211中，判斷曝光是否完成。如果判斷為曝光完成，則過(guò)程進(jìn)入s212。如果判斷為曝光沒(méi)有完成，則過(guò)程進(jìn)入s210。在s212中，判斷開關(guān)sw2是否接通。如果判斷為開關(guān)sw2接通，則過(guò)程返回至s209，其中在該s209中，開始下次攝像。如果判斷為開關(guān)sw2沒(méi)有接通，則過(guò)程返回至s201。

圖7是示出移動(dòng)量檢測(cè)單元135所進(jìn)行的操作的流程圖。在s101中，進(jìn)行初始攝像以獲取比較源圖像，并且過(guò)程進(jìn)入s102。在s102中，在下次攝像之前在畫面上放置了配置有用于獲取被攝體移動(dòng)量的多個(gè)框(移動(dòng)量獲取框)的框(模板框)，并且過(guò)程進(jìn)入s103。利用模板框，可以指定用于獲取移動(dòng)量的多個(gè)位置。在s102中，將模板框配置成上述的圖像穩(wěn)定框1003位于中央。圖8a示出視角1001、移動(dòng)量獲取框1002、模板框1004和圖像穩(wěn)定框1003的示例。模板框1004是沿水平方向配置七個(gè)移動(dòng)量獲取框1002并且沿垂直方向配置五個(gè)移動(dòng)量獲取框1002(7×5)的大框。在顯示實(shí)時(shí)取景期間，不顯示移動(dòng)量獲取框1002和模板框。如果將圖像穩(wěn)定框1003設(shè)置于視角1001的端部，則如圖8b所示，模板框1004被配置成其端部與視角1001的端部對(duì)齊。

在s103中，在拍攝圖像以提供實(shí)時(shí)取景的同時(shí)，根據(jù)模板框1004的配置來(lái)檢測(cè)多個(gè)移動(dòng)量，并且過(guò)程進(jìn)入s104。在s104中，獲得移動(dòng)量檢測(cè)的結(jié)果，并且過(guò)程進(jìn)入s105。在s105中，根據(jù)所獲取到的移動(dòng)量來(lái)生成直方圖，并且過(guò)程進(jìn)入s106。

圖9是示出直方圖的示例的圖，其中橫軸表示移動(dòng)量并且縱軸表示度數(shù)。在s106中，根據(jù)直方圖來(lái)確定主被攝體區(qū)域，并且過(guò)程進(jìn)入s107。這里，直方圖所示的移動(dòng)量包括兩個(gè)類型的移動(dòng)量，即與拍攝者要拍攝的主被攝體相對(duì)應(yīng)的移動(dòng)量和與變模糊的背景相對(duì)應(yīng)的移動(dòng)量。本實(shí)施例意圖進(jìn)行搖攝拍攝，因而在所檢測(cè)到的移動(dòng)量中，移動(dòng)量較小的數(shù)據(jù)用作主被攝體的移動(dòng)量，并且該移動(dòng)量的值用作主被攝體在像面上的移動(dòng)量。移動(dòng)量的集合1101更接近0，因而判斷為移動(dòng)量的集合1101與主被攝體相對(duì)應(yīng)，并且移動(dòng)量的集合1102與背景相對(duì)應(yīng)。將與被判斷為主被攝體的移動(dòng)量相對(duì)應(yīng)的移動(dòng)量獲取框1002在視角上的位置確定為主被攝體區(qū)域。圖10是示出主被攝體區(qū)域的概念圖像，其中模板框1004中的灰色部分是主被攝體區(qū)域。

在s107中，將所有的移動(dòng)量獲取框1002(在本實(shí)施例中為7×5)和模板框1004的配置坐標(biāo)以及與主被攝體區(qū)域有關(guān)的信息發(fā)送至被攝體角速度計(jì)算單元134，并且過(guò)程進(jìn)入s108。在s108中，將主被攝體區(qū)域中的離圖像穩(wěn)定框1003的中心坐標(biāo)最近的移動(dòng)量獲取框1002的中心坐標(biāo)確定為關(guān)注點(diǎn)(關(guān)注點(diǎn)的確定)，并且過(guò)程進(jìn)入s109。圖10示出關(guān)注點(diǎn)1201。如果已確定了關(guān)注點(diǎn)，則基本上過(guò)程繼續(xù)。然而，如果關(guān)注點(diǎn)與圖像穩(wěn)定框1003的中心間隔了閾值以上、或者如果不能正確地計(jì)算移動(dòng)量并且不能找到關(guān)注點(diǎn)，則再次將離圖像穩(wěn)定框1003的中心坐標(biāo)最近的移動(dòng)量獲取框1002的中心坐標(biāo)設(shè)置為關(guān)注點(diǎn)。

在s109中，基于關(guān)注點(diǎn)、包含該關(guān)注點(diǎn)的移動(dòng)量獲取框(關(guān)注框)1002的移動(dòng)量、以及圖像穩(wěn)定框1003的位置來(lái)確定下一模板框1004的配置(框位置的確定)，并且過(guò)程返回至s103。作為用于確定該配置的方法，確定該配置，使得位于相對(duì)于關(guān)注點(diǎn)偏移了與關(guān)注框的移動(dòng)量相對(duì)應(yīng)的量的位置處的移動(dòng)量獲取框1002的中心是關(guān)注點(diǎn)移動(dòng)至的位置。

圖11a和11b是示出下一模板框1004的位置的示例的圖。在圖11a中，利用箭頭1301表示關(guān)注框的移動(dòng)量，利用虛線表示前一模板框1004的位置，并且利用實(shí)線表示下一模板框1304的位置。在圖11b中，利用箭頭1303表示關(guān)注框的移動(dòng)量，并且利用實(shí)線表示下一模板框1306的位置。在圖11a中，關(guān)注點(diǎn)的移動(dòng)目的地(追蹤目的地)處于關(guān)注框內(nèi)，因而在下一模板框1304的配置中，在位于從模板框1304的左上方起向右的第五列第三行的位置處的移動(dòng)量獲取框中，檢測(cè)移動(dòng)量。另一方面，在圖11b中，關(guān)注點(diǎn)的移動(dòng)目的地處于關(guān)注框外，因而在下一模板框1306的配置中，在位于從模板框1306的左上方起向右的第四列第三行的位置處的移動(dòng)量獲取框中，檢測(cè)移動(dòng)量。如此，針對(duì)關(guān)注框中的被攝體，在下一框中也可以在相同的被攝體位置處檢測(cè)到移動(dòng)量。

這里，如果沒(méi)有調(diào)整模板框的框配置，則在與被攝體的位置不同的位置處檢測(cè)到移動(dòng)量，這導(dǎo)致在曝光期間的被攝體角速度的估計(jì)中產(chǎn)生誤差。針對(duì)各幀進(jìn)行框配置的調(diào)整，但模板框1004固定為s102中所確定出的模板框，并且還通過(guò)對(duì)各幀的移動(dòng)量進(jìn)行積分來(lái)使用移動(dòng)量。如此，模板框相對(duì)于圖像穩(wěn)定框1003沒(méi)有發(fā)生大幅偏移。這是因?yàn)?，在拍攝者進(jìn)行釋放操作之前，不能確定圖像穩(wěn)定應(yīng)在被攝體上的哪個(gè)位置停止，因此期望圖像穩(wěn)定框1003恒定地位于模板框的中央附近。

這里將進(jìn)一步詳細(xì)說(shuō)明上述的步驟s107。在s107中接收到信息的被攝體角速度計(jì)算單元134基于從移動(dòng)量檢測(cè)單元135獲取到的所有移動(dòng)量(在本實(shí)施例中為7×5)、模板框1004的配置坐標(biāo)、主被攝體區(qū)域信息和被攝體角速度計(jì)算單元134的針對(duì)過(guò)去幀所累積的信息來(lái)確定被攝體角速度(參見圖12)。在圖12中，作為針對(duì)過(guò)去幀所累積的信息，最多保持35個(gè)索引，其中各索引包括相同被攝體位置處的最多五個(gè)幀的角速度信息和最新幀的視角中的坐標(biāo)。這里所使用的坐標(biāo)基于如下的坐標(biāo)系，其中在該坐標(biāo)系中，將視角的左上方定義為原點(diǎn)，并且值隨著向右下方移動(dòng)而增大。此外，在坐標(biāo)列中示出空白的索引是沒(méi)有保持信息的索引。

圖13是示出被攝體角速度計(jì)算單元134所進(jìn)行的操作的流程圖。該處理在從移動(dòng)量檢測(cè)單元135獲取到移動(dòng)量時(shí)開始。在s1501中，如果在主被攝體區(qū)域中存在移動(dòng)量，則在從移動(dòng)量檢測(cè)單元135獲取到的35個(gè)移動(dòng)量中選擇一個(gè)移動(dòng)量，并且過(guò)程進(jìn)入s1502。如果不存在主被攝體區(qū)域的移動(dòng)量，則過(guò)程進(jìn)入s1505。在s1501中，保持所選擇并處理后的移動(dòng)量的信息，并且重復(fù)進(jìn)行s1502～s1504的處理，直到處理了主被攝體區(qū)域的所有移動(dòng)量為止。

在s1502中，基于焦距信息和像素間距來(lái)將移動(dòng)量轉(zhuǎn)換成角速度，通過(guò)考慮到角速度傳感器107所獲取到的角速度來(lái)計(jì)算被攝體角速度信息，并且過(guò)程進(jìn)入s1503。在s1503中，搜索與對(duì)應(yīng)于移動(dòng)量的坐標(biāo)信息一致的索引。如果找到了與坐標(biāo)信息一致的索引，則將該索引確定為處理索引。如果沒(méi)有找到與坐標(biāo)信息一致的索引，則搜索空白索引。如果找到了空白索引，則將該索引確定為處理索引。如果沒(méi)有找到空白索引，則刪除與從圖像穩(wěn)定框1003的中心起的最遠(yuǎn)坐標(biāo)相對(duì)應(yīng)的索引的信息，并且將該索引確定為處理索引。

在s1503的處理之后，過(guò)程進(jìn)入s1504。在s1504中，處理索引中的最早框的被攝體角速度信息被最新框的信息重寫，坐標(biāo)信息也改變?yōu)橐苿?dòng)目的地的坐標(biāo)，并且過(guò)程返回至s1501。通過(guò)重復(fù)s1502、s1503和s1504來(lái)生成如圖12所示所累積的信息。在本實(shí)施例中，保持被攝體角速度信息作為所累積的信息，但還可以保持計(jì)算被攝體角速度之前的任何信息。

在s1505中，在這些索引中，將與離圖像穩(wěn)定框1003的中心最近的坐標(biāo)相對(duì)應(yīng)的索引確定為主被攝體索引，并且過(guò)程進(jìn)入s1506。在s1506中，將針對(duì)多個(gè)幀中的主被攝體索引所計(jì)算出的被攝體角速度和計(jì)算時(shí)生成圖像的時(shí)刻發(fā)送至搖攝控制單元132，并且該處理結(jié)束。

根據(jù)本實(shí)施例，根據(jù)被攝體的移動(dòng)來(lái)調(diào)整模板框，并且針對(duì)各被攝體位置保持被攝體的候選角速度。如此，可以以高精度計(jì)算被攝體角速度，并且進(jìn)行高度精確的搖攝的圖像穩(wěn)定。

第二實(shí)施例

以下將說(shuō)明根據(jù)本發(fā)明的第二實(shí)施例的攝像設(shè)備。圖14是示出根據(jù)第二實(shí)施例的被攝體角速度計(jì)算單元134所生成的累積信息的圖。在第二實(shí)施例中，被攝體角速度計(jì)算單元134的操作不同于第一實(shí)施例的操作。在第一實(shí)施例中，在s1504中，針對(duì)各幀保持角速度，并且僅保持最新坐標(biāo)，而在第二實(shí)施例中，針對(duì)各幀保持角速度和坐標(biāo)這兩者。

圖15是示出根據(jù)第二實(shí)施例的移動(dòng)量檢測(cè)單元135所進(jìn)行的操作的流程圖。與第一實(shí)施例的操作的不同之處是在步驟s107和s108之間添加s110的處理。在s107中已將信息發(fā)送至被攝體角速度計(jì)算單元134之后，在s110中，針對(duì)最新幀，獲取被攝體角速度計(jì)算單元134進(jìn)行處理后的累積信息，并且從該累積信息檢測(cè)后面將說(shuō)明的手振動(dòng)量。將參考圖16a來(lái)說(shuō)明用于檢測(cè)攝像設(shè)備的手振動(dòng)量的方法。在圖16a中，按時(shí)間順序示出關(guān)注點(diǎn)的軌跡1801～1807。為了便于說(shuō)明，將僅說(shuō)明水平方向的移動(dòng)(該方法同樣適用于垂直方向的移動(dòng))。水平折返距離(手振動(dòng)寬度)1808表示因手振動(dòng)而移動(dòng)的距離。利用1809來(lái)表示手振動(dòng)寬度的中心，并且利用1810來(lái)表示從手振動(dòng)寬度的中心到最新位置的移位量(振動(dòng)量)。在圖16a和16b中，關(guān)注點(diǎn)往復(fù)運(yùn)動(dòng)，但如果關(guān)注點(diǎn)沒(méi)有往復(fù)運(yùn)動(dòng)，則不能檢測(cè)到手振動(dòng)量。此外，如果在s110中檢測(cè)到手振動(dòng)量，則在根據(jù)第二實(shí)施例的s108中，從圖像穩(wěn)定框1003的中心坐標(biāo)起移位了與手振動(dòng)量相對(duì)應(yīng)的量的點(diǎn)被更新為關(guān)注點(diǎn)。圖16b示出概念圖像。將1811所表示的點(diǎn)確定為新的關(guān)注點(diǎn)。

根據(jù)本實(shí)施例，在拍攝者由于手振動(dòng)而無(wú)法正確地聚焦于被攝體的情況下，在針對(duì)手振動(dòng)所引起的振動(dòng)量進(jìn)行了校正的被攝體位置處計(jì)算被攝體角速度，因而可以進(jìn)行良好的搖攝的圖像穩(wěn)定。

盡管以上說(shuō)明了本發(fā)明的優(yōu)選實(shí)施例，但本發(fā)明不限于以上給出的實(shí)施例，并且可以在本發(fā)明的范圍內(nèi)進(jìn)行各種修改和改變。

例如，通過(guò)采用拍攝鏡頭單元包括沿與光軸垂直的方向移動(dòng)的移位透鏡的結(jié)構(gòu)作為用于校正圖像模糊的結(jié)構(gòu)，說(shuō)明了以上給出的實(shí)施例。然而，本發(fā)明不限于此，并且可以使用通過(guò)在諸如傾斜等的與拍攝鏡頭的光軸不同的方向上移動(dòng)來(lái)改變光路的光學(xué)元件、或者通過(guò)使用可變角度棱鏡等來(lái)改變光路。還可以通過(guò)使圖像傳感器移位來(lái)進(jìn)行圖像穩(wěn)定。

此外，在以上給出的實(shí)施例中，說(shuō)明了利用照相機(jī)本體中所設(shè)置的角速度傳感器來(lái)檢測(cè)照相機(jī)振動(dòng)的結(jié)構(gòu)，但角速度傳感器可以設(shè)置在拍攝鏡頭側(cè)。

其它實(shí)施例

本發(fā)明的實(shí)施例還可以通過(guò)如下的方法來(lái)實(shí)現(xiàn)，即，通過(guò)網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經(jīng)參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。