專利名稱：攝像設(shè)備和攝像設(shè)備的控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝像設(shè)備和攝像設(shè)備的控制方法，尤其涉及一種用于校正所拍攝圖像中包含的由手抖動所引起的圖像失真的技木。
背景技術(shù)：
近來，諸如數(shù)字攝像機等的攝像設(shè)備普遍地采用與CXD傳感器相比功耗較低的CMOS傳感器作為圖像傳感器。CCD傳感器和CMOS傳感器不僅功耗不同，而且拍攝時的曝光方法也不同。在CCD傳感器中，在拍攝ー個圖像吋，針對圖像傳感器的所有像素，曝光時刻和曝光時間段都是相同的。相反，在CMOS傳感器中，由于快門開/閉時刻在圖像傳感器的各行之間有所不同，因而曝光時間段改變。將CMOS傳感器的驅(qū)動方法稱為卷簾快門方法。 在利用卷簾快門型圖像傳感器進行拍攝時，由于曝光期間的被攝體的移動或曝光期間把持攝像設(shè)備的用戶的手抖動，使得被攝體圖像按照圖像傳感器的各行進行移動，因而所拍攝圖像可能失真。將發(fā)生失真的現(xiàn)象稱為“卷簾快門效應(yīng)”或“焦平面效應(yīng)”。特別地，與使用機械快門的靜止圖像拍攝時相比，在不使用機械快門的運動圖像拍攝時，可能更顯著地出現(xiàn)由卷簾快門效應(yīng)所引起的失真。日本特開2006-186481公開了用于對由卷簾快門效應(yīng)所產(chǎn)生的失真中的由用戶的手抖動所引起的失真進行校正的技術(shù)。在日本特開2006-186481中，通過對設(shè)置在攝像設(shè)備中的角速度傳感器所檢測到的手抖動速度進行積分來獲得手抖動的時間特性。根據(jù)攝像設(shè)備在針對圖像傳感器的各行的拍攝時的位置變化來校正失真。然而，角速度傳感器的采樣頻率是幾kHz至幾十kHz，而手抖動頻率約為OHz至15Hz。這些頻率在級別上顯著不同。當(dāng)使用日本特開2006-186481所述的FIR(有限脈沖響應(yīng))濾波器進行信號處理以從角速度傳感器的輸出信號中獲得手抖動的時間特征時，需要許多接頭，從而増大電路規(guī)模。為了避免電路規(guī)模的増大，可以使用IIR(無限脈沖響應(yīng))濾波器而不使用FIR濾波器。然而，IIR濾波器不具有直線相位，并且在各頻帶中發(fā)生不同的相位延遲或相位超前。使用IIR濾波器所獲得的手抖動的時間特性具有依賴于IIR濾波器的相位特性的相位偏移。針對某些手抖動頻率，可能無法精確地計算出用于校正由卷簾快門效應(yīng)所引起的失真的校正量。即，當(dāng)使用根據(jù)使用IIR濾波器所獲得的手抖動的時間特性所計算出的校正量來校正由卷簾快門效應(yīng)所引起的失真時，在圖像中可能發(fā)生欠校正或過校正。

發(fā)明內(nèi)容
已經(jīng)作出了本發(fā)明以解決傳統(tǒng)的缺陷。本發(fā)明減少了校正由卷簾快門效應(yīng)所引起的失真時的欠校正或過校正。本發(fā)明的第一方面提供ー種攝像設(shè)備，其包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述攝像設(shè)備還包括檢測部件，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動；獲得部件，用于獲得所述檢測部件所檢測到的所述抖動的時間特性；分析部件，用于針對所述抖動的時間特性，對由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析；確定部件，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；ネト償部件，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及校正部件，用于通過使用根據(jù)所述補償部件補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。本發(fā)明的第二方面提供ー種攝像設(shè)備，其包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述攝像設(shè)備還包括檢測部件，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動；獲得部件，用于獲得所述檢測部件所檢測到的所述抖動的時間特性；第一選擇部件，用于基于所述攝像設(shè)備在拍攝所述圖像時的參數(shù)來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率；分析部件，用于針對所述抖動的時間特性，對由于所述抖動中的所述檢波頻率而在所述圖像中所生 成的被攝體圖像的失真量的頻率分布進行分析；確定部件，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；補償部件，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及校正部件，用于通過使用根據(jù)所述補償部件補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。本發(fā)明的第三方面提供ー種攝像設(shè)備的控制方法，所述攝像設(shè)備包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述控制方法包括以下步驟檢測步驟，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動；獲得步驟，用于獲得在所述檢測步驟中所檢測到的所述抖動的時間特性；分析步驟，用于針對所述抖動的時間特性，對由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析；確定步驟，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；補償步驟，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及校正步驟，用于通過使用根據(jù)所述補償步驟中補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。本發(fā)明的第四方面提供ー種攝像設(shè)備的控制方法，所述攝像設(shè)備包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述控制方法包括以下步驟檢測步驟，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動；獲得步驟，用于獲得在所述檢測步驟中所檢測到的所述抖動的時間特性；第一選擇步驟，用于基于拍攝所述圖像時的參數(shù)來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率；分析步驟，用于針對所述抖動的時間特性，對由于所述抖動中的所述檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析；確定步驟，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率；補償步驟，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及校正步驟，用于通過使用根據(jù)所述補償步驟中補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖I是示出根據(jù)本發(fā)明實施例的數(shù)字攝像機的功能結(jié)構(gòu)的框圖；圖2A、2B和2C是各自示出根據(jù)本發(fā)明實施例的失真校正量計算單元106的功能結(jié)構(gòu)的框圖；圖3是示出根據(jù)本發(fā)明實施例的照相機抖動量計算單元201的結(jié)構(gòu)的框圖；圖4是示出根據(jù)本發(fā)明第一實施例的照相機抖動量分析単元202的結(jié)構(gòu)的框圖；
圖5A、5B、5C和是用于說明根據(jù)本發(fā)明第一實施例的中心頻率確定方法的圖；圖6是示出根據(jù)本發(fā)明實施例的相位補償單元205的結(jié)構(gòu)的電路圖；圖7A和7B是用于說明根據(jù)本發(fā)明實施例的相位補償?shù)膱D；圖8是用于說明根據(jù)本發(fā)明實施例的拍攝圖像校正量計算方法的圖；圖9A和9B是分別用于說明根據(jù)本發(fā)明的第二實施例以及第一變形例和第二變形例的拍攝狀況估計方法的圖和表；圖10是舉例說明根據(jù)本發(fā)明的第二實施例以及第一變形例和第二變形例的估計出的拍攝狀況中的失真量的一般中心頻率的圖；圖IlAUlB和IlC是各自舉例說明根據(jù)本發(fā)明的第二實施例和第二變形例的針對估計出的拍攝狀況的檢波頻率集合的圖；圖12A、12B和12C是用于說明根據(jù)本發(fā)明的第二實施例以及第一變形例和第二變形例的用于確定對手抖動的時間特性進行檢波的檢波頻率集合的方法的圖；圖13是示出根據(jù)本發(fā)明的第二實施例以及第一變形例和第二變形例的與手抖動的時間特性的照相機抖動量相對應(yīng)的檢波頻率的頻率分布的圖；圖14是舉例說明根據(jù)本發(fā)明第一變形例的針對各輔助信息參數(shù)所估計出的拍攝狀況的可靠性的表；圖15A和15B是用于說明根據(jù)本發(fā)明第一變形例的用于選擇與拍攝狀況可靠性相對應(yīng)的檢波頻率的方法的圖；以及圖16A和16B是用于說明根據(jù)本發(fā)明第二變形例的檢波頻率確定方法的圖。
具體實施例方式第一實施例現(xiàn)在將參考附圖詳細說明本發(fā)明的優(yōu)選實施例。在以下實施例中，將本發(fā)明應(yīng)用于如下數(shù)字攝像機，其中該數(shù)字攝像機用作能夠校正由卷簾快門效應(yīng)所產(chǎn)生的失真中的由手抖動所引起的失真的攝像設(shè)備的例子。然而，還可以將本發(fā)明應(yīng)用于能夠校正由卷簾快門效應(yīng)所產(chǎn)生的失真中的由手抖動所引起的失真的任意裝置。在本說明書中，將“由卷簾快門效應(yīng)所產(chǎn)生的失真”中的由手抖動所引起的失真稱之為“卷簾失真”。數(shù)字攝像機100的功能結(jié)構(gòu)圖I是示出根據(jù)本發(fā)明實施例的數(shù)字攝像機100的功能結(jié)構(gòu)的框圖。
控制單元101例如是CPU，并控制數(shù)字攝像機100的各塊的操作。例如，控制單元101讀出ROM 102中所存儲的拍攝處理等的處理程序，在易失性存儲器(未示出)中展開該處理程序，并執(zhí)行該處理程序。ROM 102是可重寫非易失性存儲器，并且除存儲上述處理程序以外，還存儲各塊的操作所需的參數(shù)等。在本實施例中，在數(shù)字攝像機100中被配置為硬件的各塊中實現(xiàn)各處理。然而，本發(fā)明的實施不限于此，并且可以通過進行與各塊的處理相同的處理的程序來實現(xiàn)各塊的處理。攝像單元103包括諸如CMOS傳感器等的卷簾快門型圖像傳感器。攝像單元103對模擬圖像信號應(yīng)用A/D轉(zhuǎn)換處理，從而輸出數(shù)字圖像信號(圖像數(shù)據(jù))，其中，該模擬圖像信號是通過對經(jīng)由光學(xué)系統(tǒng)(未示出)在圖像傳感器上所形成的光學(xué)圖像進行光電轉(zhuǎn)換而獲得的。例如，圖像存儲器104臨時存儲從攝像単元103所輸出的圖像數(shù)據(jù)。
圖像處理單元107對通過攝像單元103所獲得的并存儲在圖像存儲器104中的圖像數(shù)據(jù)應(yīng)用諸如增益調(diào)整和白平衡調(diào)整等的圖像處理。通過使用(稍后所述的)失真校正量計算單元106所計算出的失真校正量，圖像處理單元107針對各行校正存儲在圖像存儲器104中的圖像數(shù)據(jù)中所發(fā)生的卷簾失真。在利用數(shù)字攝像機100進行運動圖像拍攝吋，圖像處理單元107根據(jù)預(yù)定編碼方法對已經(jīng)過圖像處理單元107的各種圖像處理或卷簾失真校正處理的圖像數(shù)據(jù)進行編碼。將編碼后的運動圖像數(shù)據(jù)發(fā)送至記錄介質(zhì)108并記錄在記錄介質(zhì)108上。照相機抖動檢測單元105例如是角速度傳感器，并檢測由施加至數(shù)字攝像機100的(由用戶的手抖動所引起的)照相機抖動所生成的角速度。照相機抖動檢測單元105將所檢測到的數(shù)字攝像機100的三個軸的角速度例如輸出至失真校正量計算單元106。作為此時的照相機抖動檢測單元105的檢測軸，將光軸定義為Z軸，并且將垂直于Z軸并且同時彼此垂直的方向定義為X軸和Y軸。失真校正量計算單元106是計算用于校正由于手抖動所引起的圖像數(shù)據(jù)內(nèi)的圖像中所生成的卷簾失真的校正量的塊。失真校正量計算單元106將所計算出的校正量信息輸出至圖像處理單元107。失真校正量計算單元106的內(nèi)部結(jié)構(gòu)將參考附圖詳細說明失真校正量計算單元106的內(nèi)部結(jié)構(gòu)和要在失真校正量計算單元106內(nèi)進行的處理。圖2A是示出根據(jù)第一實施例的失真校正量計算單元106的內(nèi)部結(jié)構(gòu)的框圖。失真校正量計算單元106接收在ー幀圖像的攝像期間所發(fā)生的并由照相機抖動檢測單元105所檢測到的角速度變化的信息。根據(jù)所輸入的在一幀圖像的攝像期間所發(fā)生的角速度變化的信息，照相機抖動量計算單元201獲得由于角速度變化而產(chǎn)生的以圖像傳感器上的像素為單位的圖像的照相機抖動量的時間特性。照相機抖動量計算單元201具有如圖3所示的結(jié)構(gòu)。首先，IIR濾波器301根據(jù)手抖動頻率對所輸入的角速度變化信息進行信號處理。然后，積分器302對從IIR濾波器301所輸出的角速度變化信息進行積分處理，從而輸出該信息作為手抖動角移位信息Θ。注意，例如針對可能發(fā)生卷簾失真的、相對于圖像傳感器的攝像面的俯仰方向和橫擺方向上的角度，輸出手抖動角移位信息Θ。照相機抖動量轉(zhuǎn)換器303將從積分器302所輸出的角移位信息Θ轉(zhuǎn)換成由于角移位而產(chǎn)生的以圖像傳感器上的像素為單位的圖像的照相機抖動量。更具體地，照相機抖動量轉(zhuǎn)換器303使用以下表達式將角移位信息Θ轉(zhuǎn)換成圖像傳感器上的圖像的照相機抖
動量fL · tan Θ /p其中，fL是焦距，以及P是圖像傳感器上的像素間距。 照相機抖動量計算單元201將所計算出的照相機抖動量的時間特性輸出至相位補償單元205和照相機抖動量分析単元202。注意，照相機抖動量計算單元201生成IIR濾波器301中與手抖動頻率相對應(yīng)的相位偏移以及由積分器302的積分計算所引起的π/2的相位延遲。利用積分器302的積分計算所引起的相位延遲是與手抖動頻率無關(guān)的固定的相位偏移，并且可以通過使相位提前η /2來消除其影響。在本實施例中，為了減少與手抖動頻率相對應(yīng)的相位偏移，從ー幀的攝像期間所生成的手抖動的頻率分布中指定手抖動的中心頻率。在(稍后所述的)照相機抖動量分析單元202、中心頻率確定單元203和相位補償控制單元204的處理中，計算相位補償參數(shù)，以使得至少在中心頻率處，相位偏移僅變?yōu)橛煞e分計算所引起的η/2。然后，將相位補償參數(shù)輸出至相位補償單元205。照相機抖動量分析単元202通過對所輸入的手抖動的時間特性執(zhí)行離散傅立葉變換來分析手抖動的頻率分布?？梢酝ㄟ^具有如圖4所示的電路結(jié)構(gòu)的硬件來執(zhí)行照相機抖動量分析單元202中的離散傅立葉變換。乘法器401和402將所輸入的手抖動的時間特性分別與期望頻率的正弦波和余弦波相乗。將乘法器401和402的乘法結(jié)果分別輸入至加法器403和404。移位寄存器405使來自加法器403的輸出延遲，并將該輸出輸出至乘法器407和加法器403。同樣，移位寄存器406使來自加法器404的輸出延遲，并將該輸出輸出至乘法器408和加法器404。乘法器407和408分別對來自移位寄存器405和406的輸出進行平方。加法器409將乘法結(jié)果相加，并且平方根計算單元410計算平方根。以這種方式，可以通過硬件來執(zhí)行離散傅立葉變換。將由照相機抖動量分析單兀202分析后的照相機抖動量的頻率分布輸出至中心頻率確定單元203。通常，如圖4所示，照相機抖動量的頻率分布的范圍為O 15Hz。頻率越低，則照相機抖動量的頻率分布所表示的照相機抖動量、即手抖動振幅(最大照相機抖動量)趨向于越大。中心頻率確定單元203根據(jù)所輸入的照相機抖動量的頻率分布來確定ー幀的攝像期間所生成的手抖動的中心頻率。根據(jù)照相機抖動量分析單兀202分析后的照相機抖動量的頻率分布，可以按照如下所示使用用作手抖動的時間特性中的單個頻率f處的最大照相機抖動量的振幅A (f)來表示該頻率處的抖動。A (f) · sin (ω t) (ω = 2 π f)對手抖動的時間特性進行微分，由此生成如下所示的各頻率處的抖動速度。A(f) ω .cos(cot)
例如，將圖像傳感器的連續(xù)的行之間的曝光開始時刻的差定義為At，以及將圖5A的At內(nèi)的中心時刻、處的速度認為是平均速度。然后，可以按照如下表達式來表示給定行的攝像開始之后直到下一行的攝像開始的時間段At中的圖像移位量。A(f) ω · cos(cot0) · Δ t從該表達式分離出照相機抖動量分析単元202已獲得的A(f)(圖5B)，并且在cot。為常數(shù)的情況下來近似該表達式。然后，可以將剩余項變形為如下表達式。ω.COS(Ot0).At=^> 2π.COS(Ot0).At x f = c x f (c=常數(shù))如圖5C所示，可以通過相對于頻率的線性函數(shù)來表示圖像移位量。更具體地，中心頻率確定單元203將所輸入的如圖5B所示的照相機抖動量的頻率 分布與圖5C所示的線性函數(shù)相乘，從而獲得圖所示的所拍攝圖像中的失真量的頻率分布。在本實施例中，將所拍攝圖像中的失真量的頻率分布中照相機抖動量變成最大的頻率fa確定為中心頻率。在(稍后所述的)相位補償控制単元204中設(shè)置相位補償參數(shù)，以使得由IIR濾波器301所引起的相位延遲在中心頻率處變?yōu)棣?2。利用該設(shè)置，可以在如下頻率(中心頻率)處消除失真，其中，在該頻率處，失真量最大，即相位偏移發(fā)生時由圖像的欠校正或過校正所引起的失真容易引人注意。相位補償控制單元204計算相位補償參數(shù)，以使得在相位補償單元205對手抖動的時間特性的相位補償處理中，由中心頻率確定單元203所確定的中心頻率附近的相位延遲變?yōu)棣?2。相位補償控制単元204將相位補償參數(shù)輸出至相位補償單元205。注意，通過已知的方法確定相位補償參數(shù)，以使得在中心頻率附近的頻帶中，相位補償后的照相機抖動量的相位變?yōu)槟繕讼辔?π /2。相位補償單元205是相位補償濾波器，并且該相位補償濾波器具有圖7Α所示的相位特性。相位補償單元205對所輸入的手抖動的時間特性的相位偏移進行補償，其中，該相位偏移是IIR濾波器301在中心頻率確定單元203確定出的中心頻率處生成的。相位補償単元205對相位進行補償，以使得中心頻率確定單元203所確定出的中心頻率處的相位延遲變?yōu)榉e分器302中所生成的π /2。相位補償單元205具有圖6所示的內(nèi)部結(jié)構(gòu)。加法器601將所輸入的手抖動的時間特性(照相機抖動量)和來自(稍后所述的)放大器603的輸出相加，并將相位補償后的照相機抖動量輸出至拍攝圖像失真量計算單元206。移位寄存器602使所輸入的相位補償后的照相機抖動量延遲，并將該照相機抖動量輸出至放大器603。放大器603將來自移位寄存器602的輸出與用作從相位補償控制單元204所輸入的相位補償參數(shù)的濾波系數(shù)K相乘。放大器603將乘積輸出至加法器601。利用該結(jié)構(gòu)，可以通過使用相位補償控制単元204適當(dāng)設(shè)置的相位補償參數(shù)，將從相位補償單元205所輸出的照相機抖動量的相位特性在圖7Β所示的中心頻率處調(diào)整為-π /2。通過使用所輸入的相位補償后的手抖動的時間特性，拍攝圖像失真量計算單元206計算要補償照相機抖動量計算單元201中生成的相位偏移的、針對圖像傳感器的各行的、由卷簾快門效應(yīng)所引起的所拍攝圖像的失真量。當(dāng)舉例說明第N行和第(Ν+1)行之間所生成的失真量時，如圖8所示，可以根據(jù)曝光開始時刻的照相機抖動量的差來計算圖像傳感器的這兩行之間的拍攝圖像失真量。圖像處理單元107可以通過使用為了消除所計算出的失真量而確定的校正量，針對圖像傳感器的各行，來校正由卷簾快門效應(yīng)所引起的拍攝圖像失真。第二實施例第一實施例說明了用于通過分析照相機抖動量在手抖動的時間特性的所有頻率處的頻率分布來確定中心頻率的方法。第二實施例將說明用于通過分析針對有限頻率的照相機抖動量的頻率分布來確定中心頻率的方法。失真校[H暈計算單元106的內(nèi)部結(jié)構(gòu)圖2B是示出根據(jù)第二實施例的失真校正量計算單元106的內(nèi)部結(jié)構(gòu)的框圖。在第二實施例的失真校正量計算單元106中，與第一實施例中相同的附圖標記表示相同的部 件，并且將不重復(fù)對這些部件的說明。將僅說明第二實施例的特征結(jié)構(gòu)或處理。第二實施例中的失真校正量計算單元106接收ー幀圖像的攝像期間所發(fā)生的并由照相機抖動檢測單元105所檢測到的角速度變化的信息。另外，失真校正量計算單元106從控制単元101接收表示拍攝該圖像時的數(shù)字攝像機100的狀態(tài)的輔助信息。輔助信息是諸如陀螺儀傳感器(未示出)的最大加速度(陀螺儀數(shù)據(jù))、焦距、主被攝體信息或快門速度等的信息。在本實施例中，將輔助信息輸入至輔助信息分析單元211?；谒斎氲妮o助信息，輔助信息分析単元211估計雙手把持拍攝、單手把持拍攝和步行拍攝中的哪ー種是數(shù)字攝像機100的拍攝狀況。通常，如圖9A所示，數(shù)字攝像機100中所生成的手抖動的頻率分布根據(jù)用戶的把持或移動狀態(tài)而在這些拍攝狀況之間有所不同。更具體地，在用戶邊移動邊拍攝的步行拍攝時，手抖動所產(chǎn)生的照相機抖動量被認為相對較大。相反，在用戶在不移動的情況下雙手把持數(shù)字攝像機100的雙手把持拍攝時，手抖動所產(chǎn)生的照相機抖動量被認為相對較小。關(guān)于陀螺儀數(shù)據(jù)，例如，對大約2 3Hz的ー個較低頻率進行檢波，并且使用閾值將該頻率處的照相機抖動量分類成“太”、“標準”和“小”的照相機抖動量。輔助信息分析単元211估計為在照相機抖動量較大的情況下，拍攝狀況是“歩行拍攝”，而在照相機抖動量較小的情況下，拍攝狀況是“雙手把持拍攝”。關(guān)于焦距，變焦位置越靠近遠攝端，手抖動越容易表現(xiàn)為圖像失真。因此，用戶被認為將利用穩(wěn)定固定的數(shù)字攝像機100進行拍攝。據(jù)此，輔助信息分析単元211估計為在焦距較長的情況下，拍攝狀況是“雙手把持拍攝”，而在焦距較短的情況下，拍攝狀況是“步行拍攝”。關(guān)于主被攝體信息，在靠近廣角端的變焦位置處所拍攝的圖像中的主被攝體的大小較小或者與主被攝體的距離較長的情況下，被認為是在靠近遠攝端的變焦位置處進行拍攝。輔助信息分析単元211估計為在主被攝體大小較小或者與主被攝體的距離較長的情況下，拍攝狀況是“雙手把持拍攝”，而在主被攝體大小較大或者與主被攝體的距離較短的情況下，拍攝狀況是“步行拍攝”。關(guān)于快門速度，在曝光時間較長的情況下，所累積的照相機抖動的影響變得顯著，并且由低頻照相機抖動所引起的拍攝圖像失真被認為幾乎看不出來。輔助信息分析単元211估計為在快門速度較低的情況下，拍攝狀況是低頻成分的照相機抖動量較小的“雙手把持拍攝”。然后，將相位補償頻率調(diào)整為靠近高頻側(cè)。更具體地，如圖9B所示，輔助信息分析単元211使用預(yù)定狀態(tài)和閾值對所輸入的輔助信息的參數(shù)進行分類，并針對輔助信息的各參數(shù)估計拍攝狀況。利用該設(shè)置，(稍后所述的)檢波頻率確定單元212可以確定要進行檢波的頻率，以根據(jù)一般照相機抖動量的頻率分布來確定實際手抖動的時間特性的中心頻率。檢波頻率確定單元212根據(jù)輔助信息分析單元211所估計出的輔助信息的各參數(shù)的拍攝狀況，確定用于對針對實際手抖動的時間特性的照相機抖動量的頻率分布進行檢波的頻率(檢波頻率)(第一選擇)?？紤]所拍攝圖像中的失真量的頻率分布，中心頻率針對各拍攝狀況具有例如圖10所示的趨勢。基于該趨勢，可以估計出實際手抖動的時間特性的中心頻率。換句話說，可以認為能夠通過重點在所估計出的中心頻率附近的頻率處對針對實際手抖動的時間特性的照相機抖動量的頻率分布進行檢波來容易地指定實際的中心頻率。 檢波頻率確定單元212離散地選擇針對輔助信息的各參數(shù)的檢波頻率。更具體地，檢波頻率確定單元212與針對輔助信息的各參數(shù)所估計出的拍攝狀況相對應(yīng)地，針對各參數(shù)來選擇如圖IlAUlB或IlC所示基于一般照相機抖動量的頻率分布的中心頻率而預(yù)先設(shè)置的離散檢波頻率集合。然后，檢波頻率確定單元212對針對輔助信息的各個參數(shù)所選擇的離散檢波頻率集合進行組合，從而確定用于在(稍后所述的)照相機抖動量檢波單元213中對實際手抖動的時間特性進行檢波的最終檢波頻率集合。例如，將考慮使用輔助信息的兩個參數(shù)來確定最終檢波頻率集合的情況。當(dāng)針對一個參數(shù)選擇圖12A中的檢波頻率集合并且針對另ー參數(shù)選擇圖12B中的檢波頻率集合時，通過按照如下分別對第一頻率至第五頻率進行平均來獲得最終檢波頻率集合。第一頻率(2+2)/2= 2Hz第二頻率(3+7)/2 = 5Hz第二頻率(4+8)/2 = 6Hz
第四頻率(5+9) /2 = 7Hz第五頻率(12+12)/2 = 12Hz(圖12C中示出最終檢波頻率集合)。在離散確定出的頻率處，根據(jù)實際手抖動的時間特性來檢波照相機抖動量的頻率分布。與在所有頻率處對照相機抖動量的頻率分布的分析(檢波)相比，可以減少該處理的負荷。關(guān)于所輸入的手抖動的時間特性，照相機抖動量檢波單元213對檢波頻率確定單元212所確定出的檢波頻率集合中所包含的頻率進行離散傅立葉變換，從而獲得各個頻率處的照相機抖動量的頻率分布。如圖13所示，所獲得的照相機抖動量的頻率分布是離散的。中心頻率確定單元203將該頻率分布與2 · cos (ω 0) · Δ 相乘,從而將表示相對最大失真量的頻率確定為中心頻率。如上所述，根據(jù)本實施例的攝像設(shè)備估計拍攝狀況并確定檢波頻率，從而簡化了用于計算手抖動的時間特性的中心頻率的處理。通過使用所獲得的中心頻率，與第一實施例相同，可以在由欠校正或過校正所引起的失真容易引人注意的頻率處補償通過使用IIR濾波器所生成的相位偏移。第一奪形例在第二實施例中，檢波頻率確定單元212對針對輔助信息的各個參數(shù)所選擇出的固定檢波頻率集合進行平均，從而確定用于對實際手抖動的時間特性進行檢波的檢波頻率集合。第一變形例將說明用于對針對輔助信息的各參數(shù)所估計出的拍攝狀況設(shè)置可靠性并基于各拍攝狀況的中心頻率的可靠性來確定檢波頻率集合的方法。例如，將考慮對針對輔助信息的各參數(shù)所估計出的拍攝狀況設(shè)置圖14所示的估計可靠性的情況。檢波頻率確定單元212針對輔助信息分析単元211通過針對輔助信息的各參數(shù)所估計出的拍攝狀況來選擇圖10所示的預(yù)定中心頻率，并選擇以該中心頻率為中心的檢波頻率集合。進行如下假定當(dāng)所估計出的拍攝狀況的可靠性為I時，如圖15A所示，以6Hz的中心頻率為中心的檢波頻率集合包括以IHz為間隔的頻率4Hz、5Hz、6Hz、7Hz和8Hz。當(dāng)針 對輔助信息的一個參數(shù)所估計出的拍攝狀況的可靠性為O. 5吋，檢波頻率確定單元212選擇檢波頻率集合，以使得該檢波頻率集合的間隔與可靠性為I的檢波頻率集合相比變?yōu)榕臄z狀況可靠性的倒數(shù)、即2倍。即，針對該參數(shù)，檢波頻率確定單元212選擇圖15B所示的檢波頻率集合，其中，在該檢波頻率集合中，使用所估計出的拍攝狀況的中心頻率6Hz作為中心，并且要進行檢波的頻率的間隔是作為2倍的2Hz。檢波頻率確定單元212對針對輔助信息的各個參數(shù)基于拍攝狀況的可靠性所選擇出的檢波頻率集合進行平均，從而確定用于對實際手抖動的時間特性進行檢波的最終檢波頻率集合。以這種方式，當(dāng)根據(jù)用作輔助信息的拍攝時的數(shù)字攝像機100的狀態(tài)來估計拍攝狀況時，使用估計可靠性?？梢允褂门c拍攝狀態(tài)靈活對應(yīng)的檢波頻率來對手抖動的時間特性進行檢波。在該變形例的說明中，使用中心頻率作為中心以頻率間隔為可靠性的倒數(shù)的方式來選擇檢波頻率集合。然而，本發(fā)明的實施不限于此。例如，可以預(yù)先針對各可靠性確定頻率間隔或者頻率間隔可以根據(jù)中心頻率而改變。此外，檢波頻率集合中的頻率間隔不需要為等間隔。第二變形例在第二實施例和第一變形例中，針對檢波頻率確定單元212所確定出的檢波頻率集合來進行檢波。將表示檢波頻率集合中的相對最大失真量的頻率確定為手抖動的時間特性的中心頻率。第二變形例將說明用于通過對作為對檢波頻率處的手抖動的時間特性的檢波結(jié)果的失真量的頻率分布進行反饋、來確定更精確的中心頻率的方法。失真校正量計算單元106的內(nèi)部結(jié)構(gòu)圖2C是示出根據(jù)本變形例的失真校正量計算單元106的內(nèi)部結(jié)構(gòu)的框圖。在本變形例的失真校正量計算單元106中，與第一實施例和第二實施例中相同的附圖標記表示相同的部件，并且將不重復(fù)對這些部件的說明。將僅說明本變形例的特征結(jié)構(gòu)或處理。檢波頻率調(diào)整單元221是用于基于作為中心頻率確定單元203所獲得的手抖動的時間特性的檢波結(jié)果的失真量的頻率分布、來控制照相機抖動量檢波單元213進行檢波所使用的檢波頻率集合的塊。
例如，將考慮如下情況如圖16A所示，中心頻率確定單元203將包括檢波頻率的照相機抖動量的頻率分布乘以2 31 · Cos(Ot0) · At，從而獲得所拍攝圖像中的失真量的頻率分布。在該頻率分布中，具有相對最大失真量的頻率為4Hz，并且在頻率4Hz夾在其中間的頻率2Hz和頻率6Hz處，失真量減小。因此，手抖動的時間特性的精確的中心頻率被認為存在于2 6Hz的頻帶中。在從中心頻率確定單元203接收到頻率分布結(jié)果時，檢波頻率調(diào)整單元221確定上述趨勢，并對已從檢波頻率確定單元212輸入且已向照相機抖動量檢波單元213輸出ー次的檢波頻率集合進行改變。例如，當(dāng)獲得圖16A所示的頻率分布結(jié)果時，如圖16B所示，檢波頻率調(diào)整単元221使檢波頻率中的中心頻率偏移并設(shè)置新的檢波頻率集合(第二選擇)。然后，檢波頻率調(diào)整單元221將新的檢波頻率集合輸出至照相機抖動量檢波單元213。中心頻率確定單元203可以使用多個檢波結(jié)果來確定中心頻率,從而進一步提高了 IIR濾波器301所生成的相位偏移的補償精度。注意，將第一變形例和第二變形例作為單獨變形例進行了說明，但對于本領(lǐng)域技術(shù)人員而言，容易想象，這些變形例是可以進行組合的。其它實施例還可以利用讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統(tǒng)或設(shè)備的計算機(或者CPU或MPU等裝置)和通過下面的方法來實現(xiàn)本發(fā)明的各方面，其中，系統(tǒng)或設(shè)備的計算機通過例如讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能來進行上述方法的各步驟。為此，例如經(jīng)由網(wǎng)絡(luò)或者通過用作存儲器裝置的各種類型的記錄介質(zhì)(例如，計算機可讀介質(zhì))將該程序提供給計算機。盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功 倉^:。
權(quán)利要求
1.ー種攝像設(shè)備，其包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述攝像設(shè)備還包括 檢測部件，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動； 獲得部件，用于獲得所述檢測部件所檢測到的所述抖動的時間特性； 分析部件，用于針對所述抖動的時間特性，對由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定部件，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償部件，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及 校正部件，用于通過使用根據(jù)所述補償部件補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。
2.ー種攝像設(shè)備，其包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述攝像設(shè)備還包括 檢測部件，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動； 獲得部件，用于獲得所述檢測部件所檢測到的所述抖動的時間特性； 第一選擇部件，用于基于所述攝像設(shè)備在拍攝所述圖像時的參數(shù)來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率； 分析部件，用于針對所述抖動的時間特性，對由于所述抖動中的所述檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定部件，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償部件，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少所述獲得部件所生成的相位偏移；以及 校正部件，用于通過使用根據(jù)所述補償部件補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。
3.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其特征在于，還包括第二選擇部件，所述第二選擇部件用于基于所述分析部件分析得到的所述失真量的頻率分布來選擇與所述檢波頻率不同的新的檢波頻率，其中， 所述分析部件針對所述抖動的時間特性，對由于所述抖動中的所述新的檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析，以及 所述確定部件使用包括所述檢波頻率的失真量的頻率分布和包括所述新的檢波頻率的失真量的頻率分布來確定所述中心頻率。
4.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其特征在干， 拍攝所述圖像時的參數(shù)是拍攝所述圖像時的抖動、焦距、主被攝體信息和快門速度至少之一，以及所述第一選擇部件基于拍攝所述圖像時的參數(shù)來估計拍攝所述圖像時的所述攝像設(shè)備的拍攝狀況，并且使用針對所估計出的各拍攝狀況而預(yù)先確定的頻率來選擇所述檢波頻率。
5.根據(jù)權(quán)利要求4所述的攝像設(shè)備，其特征在干，所述第一選擇部件基于針對所估計出的各拍攝狀況而預(yù)先確定的頻率和該拍攝狀況的估計可靠性來選擇所述檢波頻率。
6.根據(jù)權(quán)利要求I至5中任ー項所述的攝像設(shè)備，其特征在于，所述分析部件對由于所述圖像傳感器的連續(xù)行之間從給定行的曝光開始之后直到下一行的曝光開始為止的時間段內(nèi)的所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析。
7.ー種攝像設(shè)備的控制方法，所述攝像設(shè)備包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述控制方法包括以下步驟 檢測步驟，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動； 獲得步驟，用于獲得在所述檢測步驟中所檢測到的所述抖動的時間特性； 分析步驟，用于針對所述抖動的時間特性，對由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定步驟，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償步驟，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及 校正步驟，用于通過使用根據(jù)所述補償步驟中補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。
8.ー種攝像設(shè)備的控制方法，所述攝像設(shè)備包括由卷簾快門方法進行驅(qū)動的圖像傳感器，所述控制方法包括以下步驟 檢測步驟，用于在使用所述圖像傳感器拍攝圖像的情況下，檢測所述攝像設(shè)備在所述圖像傳感器的曝光期間的抖動； 獲得步驟，用于獲得在所述檢測步驟中所檢測到的所述抖動的時間特性； 第一選擇步驟，用于基于拍攝所述圖像時的參數(shù)來選擇包括如下頻帶的多個頻率作為檢波頻率，其中，所述頻帶被估計為包括由于所述抖動而在所述圖像中所生成的被攝體圖像的失真量的中心頻率； 分析步驟，用于針對所述抖動的時間特性，對由于所述抖動中的所述檢波頻率而在所述圖像中所生成的被攝體圖像的失真量的頻率分布進行分析； 確定步驟，用于從所述失真量的頻率分布中確定所述失真量相對最大的頻率作為所述失真量的中心頻率； 補償步驟，用于補償所述抖動的時間特性，以至少針對所述中心頻率減少在所述獲得步驟中所生成的相位偏移；以及 校正步驟，用于通過使用根據(jù)所述補償步驟中補償后的所述抖動所計算出的校正量，針對所述圖像傳感器的各行，校正由于所述抖動而產(chǎn)生的被攝體圖像的失真。
全文摘要
本發(fā)明涉及一種攝像設(shè)備和攝像設(shè)備的控制方法。當(dāng)使用由卷簾快門方法進行驅(qū)動的圖像傳感器拍攝圖像時，檢測攝像設(shè)備在圖像傳感器的曝光期間的抖動，并且獲得所檢測到的抖動的時間特性。針對抖動的時間特性，對由于抖動而在圖像中所生成的被攝體圖像的失真量的頻率分布進行分析。至少針對中心頻率，補償抖動的時間特性，以消除獲得抖動的時間特性時所生成的相位偏移。使用根據(jù)補償后的抖動的時間特性所計算出的校正量，針對圖像傳感器的各行，校正由于抖動而產(chǎn)生的被攝體圖像的失真。
文檔編號H04N5/217GK102694979SQ20121007855
公開日2012年9月26日 申請日期2012年3月22日 優(yōu)先權(quán)日2011年3月22日
發(fā)明者成田優(yōu) 申請人:佳能株式會社