本發(fā)明涉及一種圖像穩(wěn)定設(shè)備和圖像穩(wěn)定方法。

背景技術(shù)：

已知有一種包括如下圖像穩(wěn)定設(shè)備的攝像設(shè)備和可更換鏡頭，其中該圖像穩(wěn)定設(shè)備用于檢測照相機(jī)抖動并且使得被配置為能夠移動以校正由于所檢測到的照相機(jī)抖動而引起的圖像抖動的透鏡或圖像傳感器進(jìn)行移動。這種方法的圖像穩(wěn)定功能被已知為光學(xué)圖像穩(wěn)定。此外，近年來，存在用于針對運(yùn)動圖像通過提取如下的幀圖像來進(jìn)行輸出的圖像穩(wěn)定功能，并且這在小型化/輕量化攝像設(shè)備以及具有攝像設(shè)備的移動電話中使用，其中該幀圖像的位置在用于抵消照相機(jī)抖動的方向上發(fā)生偏移。這種方法的圖像穩(wěn)定被已知為電子圖像穩(wěn)定。

作為用于檢測抖動的方法，角速度傳感器(陀螺儀傳感器)是代表性的，并且通過基于所檢測到的角速度使透鏡或圖像傳感器在用于抵消抖動的方向上移動來校正該抖動。在日本特開2005-43780中，公開了如下內(nèi)容：通過將根據(jù)運(yùn)動矢量所計算出的角速度傳感器的偏移實(shí)時反饋回至圖像穩(wěn)定驅(qū)動量以修改角速度傳感器偏移，來進(jìn)行預(yù)測。

此外，近年來，根據(jù)攝像設(shè)備幀頻的高速化和圖像處理的改進(jìn)，已知有用于通過分析幀之間的圖像的抖動以獲得運(yùn)動矢量來檢測抖動的技術(shù)。

另一方面，作為先進(jìn)的攝像方法，存在搖攝，并且存在被攝體處于近距離的微距攝像。微距攝像是在被攝體處于近距離時所進(jìn)行的攝像，并且在這些情況下，由于無法忽視除正常角度抖動以外的攝像設(shè)備的平移抖動成分，因此圖像穩(wěn)定的需求因照相機(jī)抖動大于普通攝像時的照相機(jī)抖動而有所增加。結(jié)果，存在如下技術(shù)：通過使用加速度傳感器檢測平移抖動、并根據(jù)角度抖動單獨(dú)計算平移抖動成分，來提高照相機(jī)抖動校正量的精度。此外，存在如下技術(shù)：在沒有包括加速度傳感器的情況下，通過根據(jù)圖像穩(wěn)定設(shè)備的驅(qū)動量和位置信號預(yù)測攝像設(shè)備的加速度成分、并根據(jù)預(yù)測得到的加速度計算平移抖動成分，來改善微距攝像時的圖像穩(wěn)定效果。

搖攝是在根據(jù)移動的被攝體而使攝像設(shè)備傾斜或平搖的情況下所進(jìn)行的攝像。在這種攝像方法中，通過在不使正移動的被攝體抖動而特意使移動的被攝體的背景流過而進(jìn)行攝像，使該被攝體突出并且使該被攝體具有運(yùn)動。這種攝像方法要求復(fù)雜的技術(shù)，因此存在用于通過驅(qū)動圖像穩(wěn)定設(shè)備校正圖像模糊來進(jìn)行輔助的技術(shù)。

在日本特開2014-211531中，在用于輔助搖攝的方法中，公開了如下內(nèi)容：根據(jù)角速度傳感器的角速度檢測信號和運(yùn)動矢量來計算平搖量，并且使用角速度檢測信號和平搖量之間的差來執(zhí)行圖像穩(wěn)定。據(jù)此，降低了由于搖攝輔助功能中的圖像穩(wěn)定而引起的不利影響。

此外，日本特開2008-192060公開了如下技術(shù)：在利用運(yùn)動矢量的抖動檢測中，將圖像分割成小塊，針對各塊計算局部運(yùn)動矢量，然后根據(jù)多個局部運(yùn)動矢量來計算全體的全局運(yùn)動矢量。據(jù)此，可以去除因由于圖像噪聲所引起的運(yùn)動矢量的錯誤計算或者由于被攝體的移動所引起的模糊而造成的照相機(jī)抖動以外的元素。

然而，在使用角速度傳感器的圖像穩(wěn)定設(shè)備中，由于以下兩個原因，因而無法充分地提高圖像穩(wěn)定的性能。

第一個原因是角速度傳感器中的偏移計算誤差。由于角速度傳感器包含傳感器特有的偏移噪聲和因溫度變動所引起的低頻帶噪聲，因此在計算圖像穩(wěn)定值時的積分處理中無法施加完全積分。在針對積分處理以低通濾波器(lpf)進(jìn)行偽積分(pseudointegral)時，需要犧牲超低頻成分的性能。

第二個原因是角速度傳感器靈敏度變化。在出廠時對攝像設(shè)備進(jìn)行各種調(diào)整以降低靈敏度變化，但由于必然殘留調(diào)整誤差成分，因而必然無法實(shí)現(xiàn)100％的圖像穩(wěn)定效果。

此外，在通過使用加速度傳感器改善了微距攝像時的圖像穩(wěn)定效果的情況下，由于包含了加速度傳感器而使成本有所增加。另一方面，在根據(jù)圖像穩(wěn)定設(shè)備的驅(qū)動量和位置信號來預(yù)測攝像設(shè)備的加速度的情況下，存在如下問題：如果抖動是微小抖動，則估計精度差。

此外，在日本特開2005-43780中，由于通過反饋控制實(shí)時更新角速度傳感器的偏移，因此存在防抖動性能在預(yù)測中途(等待靜止圖像期間)劣化的情況。盡管這依賴于反饋控制的反饋增益的設(shè)計，但在使反饋增益變大的情況下，即使預(yù)測的收斂較快，仍存在防抖動性能劣化的問題。此外，在使反饋增益變小的情況下，盡管預(yù)測期間的防抖動性能的劣化程度變小，但收斂速度變慢。

此外，在日本特開2014-211531中，在根據(jù)角速度傳感器的輸出和運(yùn)動矢量差來進(jìn)行平搖量的計算和平搖判斷的情況下，沒有考慮到靈敏度變化以及作為角速度傳感器特有的噪聲的偏移成分。由于該原因，存在如下情況：計算結(jié)果殘留有誤差，并且無法實(shí)現(xiàn)充分的搖攝判斷精度和輔助精度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是考慮到上述情形而做出的，并且在進(jìn)行搖攝期間提高了使用角速度傳感器的圖像穩(wěn)定處理中的校正效果。

根據(jù)本發(fā)明，提供了一種圖像穩(wěn)定設(shè)備，包括：轉(zhuǎn)換單元，用于基于照相機(jī)抖動檢測單元的輸出變化來校正所述照相機(jī)抖動檢測單元所檢測到的角速度信號，并且將校正后的角速度信號轉(zhuǎn)換為照相機(jī)抖動量；分離單元，用于將從圖像傳感器所輸出的圖像的各幀分割為多個區(qū)域，并且使用轉(zhuǎn)換得到的照相機(jī)抖動量將各自根據(jù)圖像的幀之間在各區(qū)域的差所計算出的運(yùn)動矢量分離為與被攝體相對應(yīng)的被攝體矢量和與背景相對應(yīng)的背景矢量；識別單元，用于基于所述轉(zhuǎn)換單元校正之前的角速度信號、所述背景矢量和表示用以光學(xué)地校正抖動的校正單元的位置的位置信號，來識別所述照相機(jī)抖動檢測單元的輸出變化；以及改變單元，用于將所述被攝體矢量改變?yōu)樗鲂Ｕ龁卧尿?qū)動量，其中，所述轉(zhuǎn)換單元基于所述識別單元所識別出的輸出變化來校正所述角速度信號。

此外，根據(jù)本發(fā)明，提供了一種圖像穩(wěn)定方法，包括以下步驟：基于照相機(jī)抖動檢測單元的輸出變化來校正所述照相機(jī)抖動檢測單元所檢測到的角速度信號；將校正后的角速度信號轉(zhuǎn)換為照相機(jī)抖動量；將從圖像傳感器所輸出的圖像的各幀分割為多個區(qū)域；使用轉(zhuǎn)換得到的照相機(jī)抖動量將根據(jù)圖像的幀之間在各區(qū)域的差所計算出的運(yùn)動矢量分離為與被攝體相對應(yīng)的被攝體矢量和與背景相對應(yīng)的背景矢量；基于校正之前的角速度信號、所述背景矢量和表示用以光學(xué)地校正抖動的校正單元的位置的位置信號，來識別所述照相機(jī)抖動檢測單元的輸出變化；以及將所述被攝體矢量改變?yōu)樗鲂Ｕ龁卧尿?qū)動量，其中，基于所識別出的輸出變化來校正所述角速度信號。

根據(jù)以下(參考附圖)對典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

包含并構(gòu)成說明書一部分的附圖示出了本發(fā)明的實(shí)施例，并與說明書一起用來解釋本發(fā)明的原理。

圖1是示出根據(jù)本發(fā)明實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)的框圖；

圖2是示出根據(jù)第一實(shí)施例的圖像穩(wěn)定控制單元的結(jié)構(gòu)的框圖；

圖3是說明用于根據(jù)角速度信號、位置信號和運(yùn)動矢量來識別角速度傳感器的偏移和靈敏度的方法的圖；

圖4是示出根據(jù)第一實(shí)施例的抖動信號系統(tǒng)識別單元的結(jié)構(gòu)的框圖；

圖5是根據(jù)第一實(shí)施例的抖動信號系統(tǒng)識別處理的流程圖；

圖6是示出一般的一階iir濾波器的結(jié)構(gòu)的框圖；

圖7是根據(jù)第一實(shí)施例的變形例的抖動信號系統(tǒng)識別處理的流程圖；

圖8是示出根據(jù)第二實(shí)施例的圖像穩(wěn)定控制單元的結(jié)構(gòu)的框圖；

圖9是根據(jù)第二實(shí)施例的圖像穩(wěn)定單元的說明圖；

圖10a和10b是示出根據(jù)第三實(shí)施例的被攝體以及用于檢測運(yùn)動矢量的塊配置的示例的圖；

圖11是示出根據(jù)第三實(shí)施例的運(yùn)動矢量的直方圖的圖；

圖12是示出根據(jù)第三實(shí)施例的搖攝輔助控制單元的結(jié)構(gòu)的框圖；以及

圖13是示出根據(jù)第三實(shí)施例的抖動信號修改單元和被攝體/背景矢量計算單元的詳細(xì)結(jié)構(gòu)的框圖。

具體實(shí)施方式

以下將根據(jù)附圖來詳細(xì)說明本發(fā)明的各典型實(shí)施例。

第一實(shí)施例

圖1是示出根據(jù)本發(fā)明第一實(shí)施例的包括圖像穩(wěn)定設(shè)備的攝像設(shè)備(這里為用于拍攝靜止圖像和運(yùn)動圖像的數(shù)字照相機(jī))的功能結(jié)構(gòu)的框圖。

在圖1中，光學(xué)系統(tǒng)被配置為包括：變焦單元101，其包括放大/縮小用的變焦透鏡；光圈/快門單元103；圖像穩(wěn)定單元105；以及調(diào)焦單元107，其包括用于調(diào)節(jié)焦點(diǎn)的透鏡。對于變焦單元101，通過變焦驅(qū)動控制單元102來進(jìn)行驅(qū)動控制，并且對于光圈/快門單元103，通過光圈/快門驅(qū)動控制單元104來進(jìn)行驅(qū)動控制。此外，對于圖像穩(wěn)定單元105，通過圖像穩(wěn)定控制單元106來進(jìn)行驅(qū)動控制，并且對于調(diào)焦單元107，通過調(diào)焦驅(qū)動控制單元108來進(jìn)行驅(qū)動控制。

攝像單元109進(jìn)行穿過上述光學(xué)系統(tǒng)的光學(xué)圖像向電信號的光電轉(zhuǎn)換。將從攝像單元109輸出的電信號通過圖像信號處理單元110轉(zhuǎn)換成視頻信號，并且根據(jù)期望用途通過視頻信號處理單元111進(jìn)一步進(jìn)行處理。顯示單元112基于從視頻信號處理單元111輸出的信號，根據(jù)需要來進(jìn)行圖像顯示。

電源單元113根據(jù)期望用途向攝像設(shè)備整體供電。外部輸入輸出端子單元114相對于外部設(shè)備(未示出)進(jìn)行通信信號和視頻信號的輸入/輸出。

操作單元115用于對系統(tǒng)進(jìn)行操作，并且包括圖像穩(wěn)定on/off(開啟/關(guān)閉)開關(guān)、快門釋放按鈕、運(yùn)動圖像記錄開關(guān)、重放模式選擇開關(guān)和放大/縮小開關(guān)。

圖像穩(wěn)定on/off開關(guān)使得能夠針對圖像穩(wěn)定選擇on/off，并且在通過圖像穩(wěn)定on/off開關(guān)針對圖像穩(wěn)定選擇了on的情況下，照相機(jī)系統(tǒng)控制單元118指示圖像穩(wěn)定控制單元106進(jìn)行圖像穩(wěn)定操作。接收到該指示的圖像穩(wěn)定控制單元106進(jìn)行圖像穩(wěn)定操作，直到進(jìn)行了圖像穩(wěn)定off指示為止。

快門釋放按鈕被配置為使得能夠進(jìn)行兩級操作，以根據(jù)該按鈕的按壓量來順次接通第一開關(guān)(sw1)和第二開關(guān)(sw2)。構(gòu)造如下：在近似半按下快門釋放按鈕(第一級)的情況下，接通第一開關(guān)sw1，并且在完全按下快門釋放按鈕(第二級)的情況下，接通第二開關(guān)sw2。在第一開關(guān)sw1接通的情況下，調(diào)焦驅(qū)動控制單元108驅(qū)動包括調(diào)焦透鏡的調(diào)焦單元107以進(jìn)行焦點(diǎn)調(diào)節(jié)，并且光圈/快門驅(qū)動控制單元104驅(qū)動光圈/快門單元103以設(shè)置適當(dāng)?shù)钠毓饬?。在第二開關(guān)sw2接通的情況下，將從攝像單元109上曝光的光學(xué)圖像所獲得的圖像數(shù)據(jù)存儲在存儲單元116中。

在按下運(yùn)動圖像記錄開關(guān)的情況下，開始運(yùn)動圖像拍攝，并且在記錄期間再次按下運(yùn)動圖像記錄開關(guān)的情況下，記錄結(jié)束。還可以通過在運(yùn)動圖像拍攝期間按下第一開關(guān)sw1和第二開關(guān)sw2，來應(yīng)對運(yùn)動圖像記錄期間的靜止圖像拍攝。

在按下重放模式選擇開關(guān)的情況下，選擇重放模式。注意，在處于重放模式時，停止圖像穩(wěn)定操作。

放大/縮小開關(guān)是用于進(jìn)行變焦放大/縮小的指示的開關(guān)。在通過放大/縮小開關(guān)進(jìn)行了變焦放大/縮小指示的情況下，變焦驅(qū)動控制單元102在經(jīng)由照相機(jī)系統(tǒng)控制單元118接收到該指示之后，驅(qū)動變焦單元101以使變焦單元101移動到所指示的變焦位置。與此同時，調(diào)焦驅(qū)動控制單元108基于從攝像單元109發(fā)送來的并且在圖像信號處理單元110和視頻信號處理單元111中處理后的圖像信息來驅(qū)動調(diào)焦單元107以進(jìn)行焦點(diǎn)調(diào)節(jié)。

存儲單元116存儲諸如視頻信息等的各種數(shù)據(jù)。照相機(jī)抖動檢測單元117是角速度傳感器，其中該角速度傳感器使用諸如陀螺儀傳感器等的傳感器來檢測照相機(jī)抖動量作為角速度，并且輸出要轉(zhuǎn)換成電壓的抖動信號(角速度信號)。照相機(jī)系統(tǒng)控制單元118控制攝像設(shè)備整體。運(yùn)動矢量檢測單元119對從圖像信號處理單元110所輸出的視頻信號的幀圖像之間的抖動進(jìn)行分析以檢測運(yùn)動矢量。

圖2是示出根據(jù)第一實(shí)施例的圖像穩(wěn)定控制單元106的結(jié)構(gòu)的框圖。注意，由于針對俯仰方向和橫擺方向而言結(jié)構(gòu)均相同，因此將僅針對一個圖像穩(wěn)定軸給出說明。

在圖2中，ad轉(zhuǎn)換單元201將照相機(jī)抖動檢測單元117所輸出的模擬角速度信號轉(zhuǎn)換成數(shù)字角速度信號。

高通濾波器(hpf)202從ad轉(zhuǎn)換單元201轉(zhuǎn)換得到的角速度信號中去除照相機(jī)抖動檢測單元117的偏移成分和溫度漂移成分。積分單元203主要通過使用低通濾波器(lpf)的偽積分進(jìn)行積分，來將從hpf202輸出的角速度信號轉(zhuǎn)換為角度數(shù)據(jù)。乘法單元204將通過積分單元203所獲得的角度數(shù)據(jù)轉(zhuǎn)換為圖像穩(wěn)定單元105中所包括的校正透鏡的驅(qū)動量。使乘法單元204的靈敏度成為針對各焦距而有所不同的值，并且無論何時焦距改變時，靈敏度也改變。此外，還反映與照相機(jī)抖動檢測單元117的角速度傳感器的靈敏度調(diào)整相對應(yīng)的校正量，并且吸收靈敏度變化。以下，該信號輸出將被稱為第一照相機(jī)抖動校正量。

另一方面，積分單元206主要通過使用低通濾波器的偽積分，來對去除了稍后將說明的抖動信號系統(tǒng)識別單元214所識別出的偏移值的角速度信號進(jìn)行積分，以將該角速度信號轉(zhuǎn)換為角度數(shù)據(jù)。乘法單元207具有與乘法單元204相同的結(jié)構(gòu)，并且將從積分單元206所獲得的角度數(shù)據(jù)轉(zhuǎn)換為校正透鏡的驅(qū)動量。以下，該信號輸出將被稱為第二照相機(jī)抖動校正量。由于該第二照相機(jī)抖動校正量與第一照相機(jī)抖動校正量相比并沒有通過hpf，因此可以補(bǔ)償包括比第一照相機(jī)抖動校正量低的頻帶的抖動的抖動。

信號選擇單元208選擇第一照相機(jī)抖動校正量或第二照相機(jī)抖動校正量。例如，為了在具有諸如靜止圖像拍攝前或平搖操作等的重要照相機(jī)操作的運(yùn)動圖像拍攝期間改善視頻的表現(xiàn)，選擇了頻帶較窄的第一照相機(jī)抖動校正量。另一方面，為了在靜止圖像曝光期間或者在除平搖操作外的運(yùn)動圖像拍攝期間增加圖像穩(wěn)定效果，選擇了作為寬頻帶信號的第二照相機(jī)抖動校正量。

位置檢測單元212檢測校正透鏡的位置并將該位置作為電壓輸出，并且ad轉(zhuǎn)換單元213將作為校正透鏡的位置的模擬電壓(位置信號)轉(zhuǎn)換為數(shù)字位置信號。

限制器單元209將信號選擇單元208所選擇的第一照相機(jī)抖動校正量或第二照相機(jī)抖動校正量鉗位到包括校正透鏡的圖像穩(wěn)定單元105能夠移動的范圍。pid控制單元210輸入了取值為表示從ad轉(zhuǎn)換單元213輸出的校正透鏡的位置的位置信號與限制器單元209鉗位后的照相機(jī)抖動校正量的差的信號，并且基于所輸入的差信號來輸出用于控制校正透鏡的位置的控制信號。驅(qū)動器單元211將該控制信號轉(zhuǎn)換為電壓，并且提供用于驅(qū)動圖像穩(wěn)定單元105的電流。

將如下的三種信號輸入至抖動信號系統(tǒng)識別單元214：從ad轉(zhuǎn)換單元201輸出的角速度信號、表示從ad轉(zhuǎn)換單元213輸出的校正透鏡位置的位置信號、以及從運(yùn)動矢量檢測單元119輸出的運(yùn)動矢量。抖動信號系統(tǒng)識別單元214根據(jù)這三種輸入數(shù)據(jù)來進(jìn)行角速度傳感器偏移和靈敏度及其各自的誤差擴(kuò)散值的總計四個計算。然后，根據(jù)這些計算的結(jié)果，改變從角速度信號減去的偏移值、積分單元206中的積分濾波器特性、以及乘法單元207中的轉(zhuǎn)換為校正透鏡的偏移量的增益。

接著，使用圖3來說明用于根據(jù)角速度信號、位置信號和運(yùn)動矢量來同時識別角速度傳感器偏移和靈敏度的原理。

在施加了攝像設(shè)備中的角速度w的情況下，在攝像設(shè)備內(nèi)所包含的角速度傳感器中，在將角速度w轉(zhuǎn)換為角速度信號的情況下，與靈敏度變動a相乘并將作為角速度傳感器的個體變化成分的偏移噪聲b與相乘得到的角速度信號相加。此外，通過lpf402從輸出中截除高頻，由此檢測到觀測值(角速度信號)g。這里，將lpf402的特性表示為l(s)，其中s是拉普拉斯變換中所使用的復(fù)數(shù)。注意，在圖3中，lpf402示出在角速度傳感器的內(nèi)部，但即使lpf402處于角速度傳感器的外部也同樣如此。

通過圖像穩(wěn)定控制單元106來將角速度信號g轉(zhuǎn)換為校正透鏡的驅(qū)動量。這里，將圖像穩(wěn)定控制單元106的轉(zhuǎn)換特性表示為i(s)。該驅(qū)動量將被觀測為位置檢測單元212所檢測到的位置信號h。

另一方面，盡管攝像設(shè)備的角速度w利用單純積分(404)成為攝像設(shè)備整體的真實(shí)抖動角度，但無法觀測到該信號。在從攝像設(shè)備整體的抖動角度減去位置信號h的情況下，變?yōu)槭Ｓ喽秳咏嵌?，并且獲得該剩余抖動角度的幀之間的差(405)作為利用運(yùn)動矢量檢測單元119的運(yùn)動矢量v。

可以通過以下的等式(1)來表示圖3的從角速度w到運(yùn)動矢量v的傳遞特性。

v＝w-sh...(1)

此外，可以通過以下的等式(2)來表示圖3的從角速度w到角速度信號g的傳遞特性。

g＝l(s)(aw+b)...(2)

等式(3)對應(yīng)于如下情況：從上述等式(1)和(2)中去除無法觀測到的實(shí)際角速度w。

g＝al(s)(sh+v)+l(s)b...(3)

此外，由于照相機(jī)抖動的頻帶通常為20hz以下并且角速度傳感器的lpf402的截止頻率主流為數(shù)百hz，因此這里可以近似為l(s)≈1。在這種情況下，等式(3)變?yōu)橐韵碌仁?4)。

g＝a(sh+v)+b...(4)

到此為止已經(jīng)說明了連續(xù)系統(tǒng)，接著將說明離散系統(tǒng)。

進(jìn)行如下設(shè)定：角速度信號g(k)是y(k)(等式(4)左側(cè)的g)，δh(k)+v(k)是x(k)(等式(4)右側(cè)的sh+v)，并且識別參數(shù)為θ(k)^t＝(a(k),b(k))。a(k)是角速度傳感器的靈敏度，b(k)是角速度傳感器的偏移，并且k是離散時間。

y(k)＝g(k)

x(k)＝δh(k)+v(k)

此外，按照如下來定義新變量z(k)。

根據(jù)等式(4)、(5)和(6)，可以得到以下的狀態(tài)方程。

θ(k+1)＝θ(k)+ε

y(k)＝θ(k)^tz(k)+ω...(7)

其中，ε是表示識別參數(shù)的變動成分的系統(tǒng)噪聲參數(shù)，并且ω是觀測噪聲參數(shù)。

如從等式(7)可以看出，可以從作為觀測量的角速度信號g(k)、位置信號h(k)和運(yùn)動矢量v(k)這三種數(shù)據(jù)，來識別作為可被表示為狀態(tài)變量的識別參數(shù)的角速度傳感器的偏移和靈敏度。此外，通過設(shè)計作為系統(tǒng)噪聲參數(shù)的ε，適當(dāng)?shù)?，可以進(jìn)行包括角速度傳感器靈敏度和角速度傳感器偏移的溫度變動成分的識別。

此外，用于使用卡爾曼濾波器來識別等式(7)的θ的濾波步驟如下所述。

(步驟1)卡爾曼增益計算

(步驟2)識別參數(shù)計算

θ(k)＝θ(k-1)+k(k){y(k)-z^t(k)·θ(k-1)}...(9)

(步驟3)識別誤差擴(kuò)散計算

其中，k是離散時間(濾波步驟數(shù))，k是卡爾曼增益(1行×2列)，p是識別誤差協(xié)方差矩陣(2行×2列)，并且σω是角速度信號的觀測噪聲擴(kuò)散參數(shù)(標(biāo)量)。此外，rε是考慮了識別參數(shù)的溫度變動的系統(tǒng)參數(shù)(2行×2列)。對于識別誤差擴(kuò)散矩陣p的初始值，賦予適當(dāng)?shù)拇笾底鳛樵O(shè)計值。然而，如果設(shè)置了非常大的值，則識別結(jié)果將會發(fā)散，因此對于該參數(shù)而言需要根據(jù)觀測噪聲進(jìn)行調(diào)整。

此外，對于σω，可以使用角速度信號的實(shí)際觀測噪聲值，但如從等式(8)和(10)可以看出，該參數(shù)越大，識別收斂越慢，并且該參數(shù)越小，收斂越快。另一方面，較大的值將使濾波器穩(wěn)定，而該值越小，越存在識別結(jié)果將發(fā)散的風(fēng)險。由于該原因，還可以將該值視為用于確定濾波器的收斂速度的調(diào)整參數(shù)。

另一方面，在卡爾曼濾波器的步驟(3)(等式(10))中，還同時計算識別誤差擴(kuò)散。該識別誤差擴(kuò)散是作為表示給定時刻j的識別結(jié)果θ(j)從k＝0到k＝j(luò)改變了多少的指標(biāo)的值，并且可以被視為與時刻j的識別參數(shù)θ的可靠性相對應(yīng)的值。

如上所述，識別參數(shù)θ時時刻刻收斂并且可靠性增大，但即使在使用遞歸最小二乘法而非卡爾曼濾波器的情況下也同樣如此。然而，利用遞歸最小二乘法，沒有考慮觀測噪聲和系統(tǒng)噪聲(識別參數(shù)變動成分)，因此濾波魯棒性較低，并且同樣無法適用于參數(shù)溫度變動，因此識別值將收斂于恒定值。由于該原因，在實(shí)際設(shè)計中使用卡爾曼濾波器是有利的。

上述是用于識別角速度傳感器的靈敏度變動a和角速度傳感器的偏移b的方法的詳細(xì)說明，但簡要說明如下所述。

利用等式(4)，在作為觀測值的角速度信號g是y、并且作為圖像穩(wěn)定角速度和運(yùn)動矢量的總和的sh+v是x的情況下，等式(4)變?yōu)楹唵蔚木€性模型y＝ax+b，并且可以根據(jù)觀測值來確定直線y＝ax+b的斜率a和y截距b。該斜率是角速度傳感器的靈敏度，并且y截距是角速度傳感器的偏移。

注意，通過上述方法所獲得的角速度傳感器的靈敏度在被攝體距離對應(yīng)于無限遠(yuǎn)的情況下是純角速度傳感器靈敏度，但在被攝體距離是近距離的情況下并非如此。存在攝像設(shè)備的兩種類型的抖動：角度抖動和平移抖動。等式(11)表示攝像面上的抖動量。

δ＝(1+β)fθ(t)+βy(t)...(11)

其中，δ是攝像面上的抖動量[mm]，β是攝像倍率，f是焦距[mm]，θ(t)是抖動角度[度]，并且y(t)是驅(qū)動量[mm]。等式(11)右側(cè)的(1+β)fθ(t)是角度抖動成分，并且右側(cè)的βy(t)是平移抖動成分。

如從等式(11)可以看出，在被攝體距離短的情況下，即在微距攝像的情況下，攝像倍率β大，因此無法忽視平移抖動成分。在這種情況下，在許多先前示例中，通過加速度傳感器來感測作為平移抖動成分的元素的驅(qū)動量y(t)，單獨(dú)計算平移抖動校正量，并且通過將平移抖動校正量與利用角速度信號所獲得的角度抖動成分進(jìn)行合成來校正這兩種抖動成分。然而，在本發(fā)明的識別方法中，在被攝體距離近的情況下將剩余平移抖動檢測作為運(yùn)動矢量，因此識別出包括平移抖動成分的校正靈敏度。也就是說，通過使用上述識別方法，可以在無需使用加速度傳感器的情況下識別角度抖動和平移抖動這兩種抖動成分的總增益，并且可以消除抖動。

然而，在計算出考慮了平移抖動成分的靈敏度變動的情況下，需要適當(dāng)?shù)卦O(shè)計作為系統(tǒng)變動成分參數(shù)的rε。此外，在被攝體距離發(fā)生預(yù)定值以上的變動的情況下，為了增加之后的識別參數(shù)的收斂速度，需要將識別誤差擴(kuò)散復(fù)位為初始值或者使作為系統(tǒng)噪聲的rε變大。

接著，將使用圖4來說明抖動信號系統(tǒng)識別單元214的結(jié)構(gòu)。以觀測數(shù)據(jù)采樣中最慢的運(yùn)動矢量采樣所用的30hz或60hz來進(jìn)行抖動信號系統(tǒng)識別處理的采樣。在ad轉(zhuǎn)換單元201和213中以數(shù)khz的速率來對角速度信號和位置信號進(jìn)行采樣，并且使用攝像曝光重心定時信號來與運(yùn)動矢量進(jìn)行同步。據(jù)此，在平均值計算單元501中計算角速度信號的曝光重心間的幀之間的平均值，并且在差計算單元502中根據(jù)位置信號的曝光重心之間的差來計算幀之間的圖像穩(wěn)定角速度。此外，在轉(zhuǎn)換單元503中，運(yùn)動矢量被轉(zhuǎn)換為角速度單位的運(yùn)動矢量，并且與幀之間的圖像穩(wěn)定角速度相加。將各個信號輸入至lpf504和505，以降低混疊(aliasing)。然后，通過將lpf504和505的輸出輸入至卡爾曼濾波器506，來識別角速度傳感器的偏移和靈敏度。還同時輸出表示識別結(jié)果的可靠性的識別誤差擴(kuò)散。

接著，使用圖5的流程圖來說明抖動信號系統(tǒng)識別處理。

首先，在步驟s101中，獲得運(yùn)動矢量、角速度信號和圖像穩(wěn)定角速度這三種觀測數(shù)據(jù)，注意，角速度信號是曝光重心之間的平均值，并且圖像穩(wěn)定角速度是位置信號曝光重心之間的圖像穩(wěn)定角度的微分值。此外，在該階段，對這三種觀測數(shù)據(jù)的單位系進(jìn)行匹配。在步驟s102中，進(jìn)行用于利用lpf504和505進(jìn)行抗混疊的低通濾波處理。

接著，在步驟s103中，判斷攝像設(shè)備的運(yùn)動。在抖動小的情況下(即，在攝像設(shè)備安裝于三腳架的情況下，在攝像設(shè)備放置在不存在抖動的基座上且處于靜止?fàn)顟B(tài)的情況下，等等)，這三種觀測數(shù)據(jù)大致是恒定值。在這些情況下，在執(zhí)行上述的卡爾曼濾波步驟時，由于觀測基準(zhǔn)點(diǎn)是固定的，因此無法進(jìn)行正確的識別。相反，由于受到觀測數(shù)據(jù)噪聲的影響，因而識別結(jié)果精度較低。這是因?yàn)閟/n比差。在相反地抖動大的情況下(即，在快速平搖攝像設(shè)備的情況下，在把持?jǐn)z像設(shè)備的同時行走或跑動的情況下，等等)，運(yùn)動矢量的精度較低。通常，運(yùn)動矢量檢測范圍比利用角速度傳感器的范圍窄，并且無法檢測到大的角速度。此外，存在如下情況：針對大的抖動，攝像時所拍攝的圖像自身模糊，并且無法檢測到正確的運(yùn)動矢量。

附加地，針對大的抖動，存在如下可能性：運(yùn)動矢量將會由于以下兩種原因而變形。第一個原因是如下情況：將作為抖動成分其中之一的攝像設(shè)備的側(cè)傾方向的抖動作為噪聲疊加在俯仰方向和橫擺方向的運(yùn)動矢量上，并且俯仰/橫擺方向的運(yùn)動矢量檢測結(jié)果發(fā)生變形。這在行走的同時進(jìn)行攝像或者在跑動的同時進(jìn)行攝像的情況下特別顯著。關(guān)于第二個原因，在攝像設(shè)備使用卷簾快門的情況下，存在俯仰/橫擺方向的運(yùn)動矢量上所疊加的相應(yīng)失真成分。這在超過光學(xué)圖像穩(wěn)定設(shè)備的校正界限的足夠大的抖動的情況下特別顯著。

僅在步驟s103中所觀測到的抖動量由于這些原因而大于預(yù)先確定的預(yù)定值δ1并小于預(yù)先確定的預(yù)定值δ2(處于預(yù)先確定的范圍內(nèi))的情況下，處理進(jìn)入步驟s104，否則處理返回至步驟s101。注意，抖動量可以是角速度信號自身，或者可以是運(yùn)動矢量和位置信號的總和(模型角速度)。步驟s104、步驟s105和步驟s106是與卡爾曼濾波器相對應(yīng)的濾波步驟，并且在這些步驟中分別進(jìn)行與上述的等式(8)、等式(9)和等式(10)相對應(yīng)的處理。

從步驟s107起，判斷作為卡爾曼濾波器計算結(jié)果的參數(shù)識別值的收斂程度。在步驟s107中，判斷識別誤差擴(kuò)散p(k)是否處于預(yù)定值t1和t2之間，并且如果識別誤差擴(kuò)散p(k)處于預(yù)定值t1和t2之間，則將識別參數(shù)反映在圖像穩(wěn)定控制單元106中(步驟s108)。此外，在積分單元206的lpf濾波器特性在該特性良好的方向上改變(步驟s109)之后，處理返回至步驟s101。

在步驟s107中，如果識別誤差擴(kuò)散p(k)未處于預(yù)定值t1和t2之間，則在步驟s110中判斷識別誤差擴(kuò)散p(k)是否小于或等于預(yù)定值t2。如果識別誤差擴(kuò)散p(k)小于或等于預(yù)定值t2，則將識別參數(shù)反映在圖像穩(wěn)定控制單元106中(步驟s111)，并且積分單元206的lpf濾波器特性在該特性比步驟s109更良好的方向(截止頻率較低的方向)上進(jìn)一步改變(步驟s112)。注意，在圖5所示的處理中，由于紙張的空間，因而僅記載了用于判斷識別結(jié)果的可靠性的兩種模式，但還可以準(zhǔn)備更多模式。在這些情況下，在識別誤差擴(kuò)散p(k)低于預(yù)定值的情況下，濾波器特性在該特性較為良好的方向(截止頻率較低的方向)上改變。

利用如上所述的第一實(shí)施例，可以高精度地識別角速度傳感器的靈敏度和偏移，并且由于可以將所識別出的靈敏度和偏移反映到照相機(jī)抖動校正量中，因而可以改善圖像穩(wěn)定效果。

注意，在步驟s109和步驟s112中改變?yōu)V波器特性的情況下，如果利用iir型濾波器來設(shè)計用于進(jìn)行偽積分的lpf，則根據(jù)從攝像設(shè)備啟動起直到濾波器特性改變定時為止的時間來同時改變作為中間變量的z是有利的。通常，在通過cpu來進(jìn)行逐次運(yùn)算濾波器處理的情況下，可以認(rèn)為，由于處理負(fù)荷而將會通常使用iir型濾波器。

接著，將使用圖6來說明中間變量z。圖6是一般的一階iir濾波器(lpf)的框圖。在圖6中，將輸入in從信號輸入單元301輸入，并且將濾波器處理后的輸出out從信號輸出單元306輸出。通過系數(shù)乘法單元302的系數(shù)k1來確定作為lpf的頻帶的lpf的截止頻率。此外，系數(shù)乘法單元303和304的系數(shù)k2和k3是用于確定lpf輸出的增益的系數(shù)，并且在lpf的情況下，k2＝k3。在偽積分中，作為輸出增益的積分增益是固定的，并且即使在特性改變的情況下，該積分增益也不改變。通過在改變特性的情況下使系數(shù)k1變大，改善了積分特性的低頻成分特性。對此，可以利用以下的等式(12)來表示濾波器中間變量z(305)。注意，n是等式(12)中的步驟數(shù)。

z(n+1)＝k1×zn+in...(12)

由于中間變量z極大地依賴于系數(shù)k1并且利用該值來確定來自信號輸出單元306的輸出，因此極大地影響了圖像穩(wěn)定的性能。

由于中間變量z也依賴于步驟數(shù)n，因此需要進(jìn)行如下操作：測量從攝像設(shè)備啟動起直到濾波器特性改變?yōu)橹沟臅r間，并且據(jù)此來高精度地計算中間變量z以進(jìn)行該改變。然而，如果步驟數(shù)n充分大，則中間變量z近似地獨(dú)立于步驟數(shù)n，由此并非上述情況。

然而，可能存在如下情況：根據(jù)cpu處理性能，無法在預(yù)期時間內(nèi)高精度地獲得中間變量z。由于在精度不夠良好的情況下在改變中將發(fā)生信號的不連續(xù)并且攝像設(shè)備的視角將急劇地移動，因此在通過圖2的信號選擇單元208選擇了第二照相機(jī)抖動校正量(乘法單元207的輸出)的情況下，中間變量z不改變。濾波器特性變化的收斂需要時間，但不會產(chǎn)生急劇的視角變動。這是如下情況：主要在運(yùn)動圖像拍攝期間進(jìn)行瞄準(zhǔn)時，在無需平搖等的情況下增加了運(yùn)動圖像穩(wěn)定性能。

另一方面，在信號選擇單元208選擇第一照相機(jī)抖動校正量(乘法單元204的輸出)的情況下，即使精度不夠良好，中間變量z也同時改變，并且瞬間切換積分單元206的濾波器特性。由于利用第一照相機(jī)抖動校正量的圖像穩(wěn)定處于執(zhí)行中，因此第二照相機(jī)抖動校正量的不連續(xù)性在圖像中不明顯。存在使得在靜止圖像拍攝前成為本發(fā)明的目的的情形。

變形例

在上述的第一實(shí)施例中，給出了通?？梢詸z測到運(yùn)動矢量的情況的說明，但考慮到實(shí)際環(huán)境和照相機(jī)使用狀況，可以認(rèn)為將會存在如下情況：無法檢測到運(yùn)動矢量，或者盡管可以檢測到運(yùn)動矢量，但可靠性低。無法檢測到運(yùn)動矢量的情況是在例如照相機(jī)用于重放模式以及正瀏覽過去拍攝的圖像時圖像傳感器沒有啟動的情況。此外，運(yùn)動矢量的可靠性低的情況是例如照相機(jī)所拍攝的被攝體是低對比度或者是重復(fù)圖案等的情況。如果無法檢測到運(yùn)動矢量，則必然無法執(zhí)行識別處理。另一方面，如果運(yùn)動矢量的可靠性低，則存在識別精度將會由于運(yùn)動矢量的值而下降的可能性，因此不執(zhí)行識別處理是有利的。

然而，如果沒有執(zhí)行識別處理的時間持續(xù)了固定間隔以上，則該時間段內(nèi)所識別出的角速度信號的輸出變化自身將發(fā)生變動。在按照原樣反映發(fā)生變動的輸出變化的狀態(tài)下執(zhí)行圖像穩(wěn)定的情況下，圖像穩(wěn)定的性能將變差。因此，如果發(fā)生上述情形，則積分單元206的濾波器特性返回至原本的濾波器特性(使頻帶變窄)，并且將識別誤差擴(kuò)散值復(fù)位為初始值。由此，可以避免圖像穩(wěn)定性能的劣化。此外，在可以檢測到運(yùn)動矢量并且返回至高可靠性狀態(tài)的情況下，識別誤差擴(kuò)散的值大，因此可以快速地再次識別發(fā)生變動的角速度信號的輸出變化部分。

使用圖7的流程圖來說明上述處理。注意，對于與圖5相同的處理，賦予相同的步驟編號并且省略對其的說明。與圖5的差別在于：首先，在步驟s203中，與抖動量一起，進(jìn)一步判斷運(yùn)動矢量的可靠性。如果在該判斷中進(jìn)行了不執(zhí)行識別處理的判斷，則轉(zhuǎn)變至步驟s214。在步驟s214中，對不執(zhí)行識別處理的時間段進(jìn)行計數(shù)。在步驟s215中，判斷計數(shù)值是否大于預(yù)定值r。如果計數(shù)值小于或等于預(yù)定值r，則處理返回至步驟s101。另一方面，如果計數(shù)值大于預(yù)定值r，則判斷為不執(zhí)行識別處理的時間段持續(xù)了預(yù)定持續(xù)時間，并且在步驟s216中將此時的識別誤差擴(kuò)散復(fù)位為初始值p0。此外，在步驟s217中，積分單元206的濾波器特性返回至初始值(頻帶與步驟s109或步驟s112中所設(shè)置的濾波器特性相比變窄)。之后，處理返回至步驟s101。注意，在識別處理即使執(zhí)行一次的情況下，也在步驟s213中復(fù)位步驟s214中計數(shù)得到的值。

接著，假定了包括能夠改變焦距的變焦透鏡的攝像設(shè)備。由于在焦距較短的情況下視角較寬，因此與一個像素相對應(yīng)的角度較大并且運(yùn)動矢量檢測分辨率能力較低。相反，由于在焦距較長的情況下視角較窄，因此與一個像素相對應(yīng)的角度較小并且運(yùn)動矢量檢測分辨率能力較大。也就是說，檢測到的運(yùn)動矢量的變化根據(jù)焦距而發(fā)生變動。因此，在使得識別處理中的卡爾曼濾波器的參數(shù)固定的情況下，根據(jù)焦距，在識別精度中發(fā)生變化。

有鑒于此，通過改變作為等式(8)中的參數(shù)的觀測噪聲擴(kuò)散參數(shù)σω，識別收斂速度發(fā)生改變，但防止了識別精度變差。更具體地，通過在焦距較短的情況下使σω變大，收斂速度變慢，并且避免了識別精度變差。相反，通過在焦距較長的情況下使σω變小，可以使收斂速度保持較快，并且識別精度高。

此外，考慮了干擾的影響。攝像設(shè)備大幅抖動時的干擾的原因是如先前所述那樣，并且記載了在存在大幅抖動時不進(jìn)入識別處理序列。相反，可以認(rèn)為干擾原因?qū)O少的情形是用戶拍攝被攝體并且正保持sw1的情況，因此在這種情況下，將不存在大幅抖動的可能性高。此外，在伴隨自動調(diào)焦而變?yōu)閷怪?，在諸如低對比度等的情況下檢測到可靠性低的運(yùn)動矢量的可能性低。在這種情況下，可以認(rèn)為通過相對地提高識別收斂速度將會增大識別精度。

更具體地，在保持sw1期間聚焦之后，通過使等式(8)的觀測噪聲擴(kuò)散參數(shù)σω變得相對較小，來使卡爾曼增益變大，由此提高了識別收斂速度。此外，通過單純提高圖像傳感器的幀頻來提高識別收斂速度。據(jù)此，可以在干擾原因減少的高速識別處理中進(jìn)一步提高識別精度。

第二實(shí)施例

接著，說明本發(fā)明的第二實(shí)施例。在上述的第一實(shí)施例中，說明了可以通過位置檢測單元212來檢測圖像穩(wěn)定單元105的校正透鏡的位置的情況，但在第二實(shí)施例中，將說明不存在位置檢測單元212并且利用開放式控制來進(jìn)行圖像穩(wěn)定的情況。注意，第二實(shí)施例中的攝像設(shè)備的結(jié)構(gòu)與第一實(shí)施例中參考圖1所述的結(jié)構(gòu)相同，并且將省略對其的說明。

圖8是示出在根據(jù)第二實(shí)施例的開放式控制的情況下的圖像穩(wěn)定控制單元106的結(jié)構(gòu)的框圖。注意，對于與第一實(shí)施例中參考圖2所述的結(jié)構(gòu)相同的結(jié)構(gòu)，賦予了相同的附圖標(biāo)記，并且適當(dāng)省略對其的說明。

由于在通過開放式控制單元810所執(zhí)行的開放式控制中不存在位置信號，因而在第二實(shí)施例中根據(jù)角速度信號來預(yù)測位置信號。圖像穩(wěn)定單元建模單元813定義圖像穩(wěn)定控制單元106的機(jī)械模型，并且進(jìn)行用于預(yù)測與所進(jìn)行的輸入(輸入[n])相關(guān)的輸出(位置[m])的處理。通過使用圖像穩(wěn)定單元建模單元813所預(yù)測出的位置信號，如第一實(shí)施例那樣，與角速度信號和運(yùn)動矢量一起，在抖動信號系統(tǒng)識別單元214中識別角速度信號的輸出變化。

接著，針對圖像穩(wěn)定單元建模單元813給出說明。圖9是用于以二階彈簧質(zhì)量阻尼模型簡單地表示圖像穩(wěn)定單元建模單元813的圖。進(jìn)行如下設(shè)定：作為圖像穩(wěn)定單元105的可移動單元的校正透鏡的重量是m[kg]，彈簧常數(shù)為k[n/m]，阻尼系數(shù)為d[n·s/m]，透鏡驅(qū)動位移量為x(t)[m]，并且施加于透鏡的力是u(t)[n]。在這種情況下，根據(jù)運(yùn)動方程，以下的等式(13)成立。

在對上述等式進(jìn)行拉普拉斯變換并且利用傳遞函數(shù)來表示控制對象的情況下，以下的等式(14)成立。h(s)是作為控制對象的圖像穩(wěn)定單元105的數(shù)學(xué)模型的傳遞函數(shù)。

據(jù)此，圖像穩(wěn)定透鏡近似為二階控制對象，并且表現(xiàn)了傳遞特性。

這里施加于透鏡的力u(t)是從驅(qū)動器單元211所輸出的透鏡驅(qū)動命令信號r(t)[n]和與加速度干擾相對應(yīng)的力d[n]的合成，并且以下等式(15)成立。

u(t)＝r(t)+d(t)…(15)

可以使用加速度傳感器來補(bǔ)償干擾d[n]。

利用以上所述，預(yù)測出位置信號，并且與第一實(shí)施例相同，通過將預(yù)測出的位置信號、角速度信號和運(yùn)動矢量輸入至抖動信號系統(tǒng)識別單元214，可以識別角速度傳感器的靈敏度和偏移。

第三實(shí)施例

接著，說明本發(fā)明的第三實(shí)施例。在第三實(shí)施例中，將說明用于在跟蹤運(yùn)動被攝體的同時進(jìn)行拍攝的搖攝輔助功能。

通常，搖攝中使背景流過的快門速度tv的設(shè)置被設(shè)置得較慢，但該快門速度變得越慢，則實(shí)際被攝體的移動和攝像設(shè)備的平搖速度之間的偏移將作為被攝體的模糊而殘留越多。因此，用于通過以作為被攝體的實(shí)際移動速度和攝像設(shè)備的速度之間的差的速度對圖像穩(wěn)定單元進(jìn)行驅(qū)動來抵消被攝體的模糊的功能是搖攝輔助功能。

對此，需要使用運(yùn)動矢量來檢測被攝體的速度。對于運(yùn)動矢量，針對畫面內(nèi)的各小塊來生成局部運(yùn)動矢量，并且對于各個局部運(yùn)動矢量，包括了除被攝體矢量以外的由于平搖所引起的背景矢量。這樣，由于存在兩種類型的運(yùn)動矢量，因此變得需要進(jìn)行用于使被攝體矢量和背景矢量分離的處理。

圖10a是示出存在相對于畫面1101進(jìn)行移動的被攝體1102的情況的圖。此外，圖10b是配置有用于檢測局部運(yùn)動矢量的區(qū)域(塊)的圖，并且作為示例，示出了縱向5個塊×橫向5個塊。此外，假定被攝體沿向右方向移動，并且還假定平搖方向是向右方向以使得能夠跟蹤被攝體。

在這種情況下，從存在運(yùn)動被攝體的塊(陰影塊1104)中檢測到程度較小的抖動量作為運(yùn)動矢量。另一方面，從剩余的背景塊(非陰影塊1103)，檢測與平搖匹配的大運(yùn)動矢量。后者的平搖速度與根據(jù)表示角速度傳感器所檢測到的抖動量的角速度信號轉(zhuǎn)換得到的圖像的抖動像素量一致，因此抖動像素量附近的運(yùn)動矢量是背景矢量，并且將其它運(yùn)動矢量分離為被攝體矢量。

圖11是如下的直方圖：對于針對5×5個區(qū)域中的各區(qū)域所獲得的局部運(yùn)動矢量，在橫軸上表示運(yùn)動矢量的大小并且在縱軸上表示頻率。虛線是角速度傳感器的輸出被轉(zhuǎn)換為圖像的抖動像素時的值。如上所述，角速度傳感器的輸出與背景矢量應(yīng)當(dāng)一致，并且對于被攝體矢量，理想地，存在分離的峰作為抖動像素。

然而，實(shí)際上，存在由于溫度和角速度傳感器特有的偏移噪聲所引起的變動，并且由于存在因靈敏度變化和溫度所引起的靈敏度變動，因此圖11的虛線受到該噪聲的影響而變動。由于該原因，噪聲越大，越難以將背景矢量和被攝體矢量分離，因此也影響到搖攝輔助精度。

因此，在第三實(shí)施例中，使用角速度傳感器的輸出以及運(yùn)動矢量來識別角速度傳感器的輸出變化，并且通過將識別結(jié)果反映在角速度傳感器的輸出中的信號與運(yùn)動矢量進(jìn)行比較來進(jìn)行被攝體矢量和背景矢量的分離。

圖12是示出第三實(shí)施例的搖攝輔助控制單元1200的結(jié)構(gòu)的框圖。代替圖像穩(wěn)定控制單元106而是配置搖攝輔助控制單元1200，但結(jié)構(gòu)可以使用圖像穩(wěn)定控制單元106的部分結(jié)構(gòu)。注意，除了搖攝輔助控制單元1200以外，第三實(shí)施例的攝像設(shè)備的結(jié)構(gòu)與第一實(shí)施例中參考圖1所述的結(jié)構(gòu)相同，因此將省略說明。此外，對于圖12中的具有與第一實(shí)施例中參考圖2所述的功能相同的功能的結(jié)構(gòu)，賦予相同的附圖標(biāo)記并且省略對其的說明。

附圖標(biāo)記1301是抖動信號修改單元，其中將背景矢量、來自照相機(jī)抖動檢測單元117的角速度信號和來自ad轉(zhuǎn)換單元213的位置信號這三個觀測值作為輸入而輸入至該抖動信號修改單元。附圖標(biāo)記1302是被攝體/背景矢量計算單元，其中該被攝體/背景矢量計算單元用于使用多個運(yùn)動矢量以及抖動信號修改單元1301修改后的抖動信號來計算被攝體矢量和背景矢量。

圖13是示出圖12所示的抖動信號修改單元1301和被攝體/背景矢量計算單元1302的詳細(xì)結(jié)構(gòu)的框圖。將來自ad轉(zhuǎn)換單元213的位置信號、來自照相機(jī)抖動檢測單元117的被ad轉(zhuǎn)換單元1401進(jìn)行ad轉(zhuǎn)換得到的角速度信號、以及背景矢量輸入至抖動信號系統(tǒng)識別單元1402。利用輸入的這三個信號，與第一實(shí)施例同樣地，識別角速度傳感器的靈敏度和偏移。在偏移減法單元1404中從角速度信號中減去所識別出的偏移，并且在增益乘法單元1405中以相乘來反映所識別出的靈敏度。

另一方面，在直方圖處理單元1406中基于運(yùn)動矢量檢測單元119在各區(qū)域中檢測到的運(yùn)動矢量來生成直方圖。另一方面，抖動信號修改單元1301修改了輸出變化的角速度信號被輸入至被攝體/背景矢量分離單元1407，與運(yùn)動矢量進(jìn)行比較，并且如上所述，進(jìn)行被攝體矢量和背景矢量分離處理。被攝體矢量生成單元1408通過對被判斷為被攝體矢量的運(yùn)動矢量組進(jìn)行平均處理來生成一個被攝體矢量。背景矢量生成單元1411通過對被判斷為背景矢量的運(yùn)動矢量組進(jìn)行平均處理來生成一個背景矢量。

此外，從圖1所示的變焦驅(qū)動控制單元102，輸入當(dāng)前焦距信息。被攝體矢量角速度轉(zhuǎn)換單元1410使用該焦距信息來將被攝體矢量從圖像的像素轉(zhuǎn)換值轉(zhuǎn)換成角速度轉(zhuǎn)換值。背景矢量角速度轉(zhuǎn)換單元1412使用該焦距信息來將背景矢量從圖像的像素轉(zhuǎn)換值轉(zhuǎn)換成角速度轉(zhuǎn)換值。

通過針對每一幀進(jìn)行該處理序列，識別精度增大，并且所分離出的被攝體矢量的精度增大。此外，通過執(zhí)行以下操作校正了曝光期間移動的被攝體的模糊，該操作為：使用通過反映緊挨在靜止圖像曝光之前的精度高的識別偏移和識別增益所分離出的高精度被攝體矢量而在靜止圖像曝光期間進(jìn)行圖像穩(wěn)定控制。

這樣，利用第三實(shí)施例，由于可以以良好的精度進(jìn)行背景矢量和被攝體矢量的分離，因此可以改善搖攝輔助精度。

注意，在上述實(shí)施例中，說明了通過驅(qū)動圖像穩(wěn)定單元105中所包括的校正透鏡來光學(xué)地進(jìn)行圖像穩(wěn)定的情況，但本發(fā)明不限于此。例如，可以采用驅(qū)動攝像單元109的結(jié)構(gòu)，或者可以采用一起驅(qū)動校正透鏡和攝像單元109的結(jié)構(gòu)。

盡管已經(jīng)參考典型實(shí)施例描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬泛的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。