專利名稱：晃動(dòng)檢測(cè)裝置、晃動(dòng)修正裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)通過攝影而得到的圖像中包含的晃動(dòng)進(jìn)行檢測(cè)的晃動(dòng) 檢測(cè)裝置及晃動(dòng)檢測(cè)方法。再有，本發(fā)明涉及對(duì)晃動(dòng)進(jìn)行修正的晃動(dòng)修正 裝置及晃動(dòng)修正方法。還有，本發(fā)明涉及利用了這些裝置及方法的攝像裝 置。
背景技術(shù)：
手抖修正技術(shù)是減輕攝影時(shí)的手抖的技術(shù)，作為數(shù)碼相機(jī)等攝像裝置 中的差別化技術(shù)受到重視。手抖修正技術(shù)不管修正對(duì)象是靜止圖像還是運(yùn) 動(dòng)圖像，可以考慮分為檢測(cè)手抖的要素技術(shù)、和根據(jù)該檢測(cè)結(jié)果來修正圖 像的要素技術(shù)。在檢測(cè)手抖的方法中，有以下兩種方法采用角速度傳感器或加速度傳感器等手抖檢測(cè)傳感器的方法；分析圖像來檢測(cè)手抖的電子式方法。在圖像的修正過程中，有利用光學(xué)系統(tǒng)的驅(qū)動(dòng)進(jìn)行修正的光學(xué)式手抖修正、 和利用圖像處理進(jìn)行修正的電子式手抖修正。作為針對(duì)靜止圖像的手抖修正方法，有以手抖檢測(cè)傳感器檢測(cè)手抖，并根據(jù)該檢測(cè)結(jié)果進(jìn)行光學(xué)式手抖修正的方法；以手抖檢測(cè)傳感器檢測(cè)手 抖，并根據(jù)該檢測(cè)結(jié)果進(jìn)行電子式手抖修正的方法；分析圖像而檢測(cè)手抖， 并根據(jù)該檢測(cè)結(jié)果進(jìn)行電子式手抖修正的方法。由于若采用手抖檢測(cè)傳感器，則導(dǎo)致成本大幅度增加，故謀求開發(fā)不 需要手抖檢測(cè)傳感器的手抖修正方法。作為不采用手抖檢測(cè)傳感器即可進(jìn)行手抖修正的方法，相加運(yùn)算式手 抖修正法正被實(shí)用化。參照?qǐng)D15，簡(jiǎn)單地說明相加運(yùn)算式手抖修正法。相 加運(yùn)算式手抖修正法中，連續(xù)拍攝將通常的曝光時(shí)間tl分割而得到的曝光 時(shí)間t2的多幅分割曝光圖像(短曝光圖像)DP1 DP4。在將多幅分割曝光圖像的幅數(shù)設(shè)為PNUM的情況下，為t2=tl/PNUM (本例中PNUM=4)。而且， 通過以可以消除各分割曝光圖像間的位置偏離的方式在使分割曝光圖像DP1 DP4對(duì)位的基礎(chǔ)上進(jìn)行相加運(yùn)算合成，從而生成手抖少且可以確保 所希望的明亮度的1幅靜止圖像。再有，也提出以下方式，即根據(jù)通過攝影而得到的包含晃動(dòng)的1幅手 抖圖像，推斷表示攝影中的手抖的手抖信息(點(diǎn)展開函數(shù)或圖像復(fù)原濾波 器)，根據(jù)該手抖信息與手抖圖像，以數(shù)字信號(hào)處理生成沒有晃動(dòng)的復(fù)原 圖像。在這種方式中，公開了采用傅立葉迭代法的方式。圖16表示實(shí)現(xiàn)傅立葉迭代法的構(gòu)成的框圖。在傅立葉迭代法中，通 過借助復(fù)原圖像和點(diǎn)展開函數(shù)(PSF)的修正反復(fù)執(zhí)行傅立葉變換與傅立 葉逆變換，從而根據(jù)劣化圖像推斷最終的復(fù)原圖像。為了執(zhí)行傅立葉迭代 法，需要提供初始的復(fù)原圖像(復(fù)原圖像的初始值)，作為初始的復(fù)原圖 像， 一般采用隨機(jī)圖像或作為手抖圖像的劣化圖像。若采用傅立葉迭代法，則能生成降低了手抖的影響的圖像，而無需采 用手抖檢測(cè)傳感器。但是，傅立葉迭代法是非線性最佳化方法，為了得到 適當(dāng)?shù)膹?fù)原圖像需要很多迭代次數(shù)。也就是說，手抖檢測(cè)及修正所需的處 理時(shí)間非常長(zhǎng)。因此，數(shù)碼相機(jī)等中的實(shí)用化變得困難。處理時(shí)間的縮短 在實(shí)用化方面是重要課題。再有，作為未采用手抖檢測(cè)傳感器的手抖修正方法，也提出了以下方 法。在某一現(xiàn)有方法中，在應(yīng)修正的主圖像的攝影前后拍攝多幅副圖像， 根據(jù)該多幅副圖像推斷主圖像攝影時(shí)的手抖信息，根據(jù)該晃動(dòng)信息修正主 圖像的晃動(dòng)。但是在該方法中，由于根據(jù)在主圖像前后得到的副圖像間的 運(yùn)動(dòng)量(也包含曝光間隔的運(yùn)動(dòng)量)來推斷主圖像的晃動(dòng)，故晃動(dòng)的檢測(cè) 精度及修正精度降低。還有，在其他現(xiàn)有方法中，根據(jù)將手抖圖像變換到 二維頻域的圖像來檢測(cè)手抖。具體是，將通過變換而得到的圖像投影到以 頻率坐標(biāo)的原點(diǎn)為中心的圓中，根據(jù)該投影數(shù)據(jù)來求取晃動(dòng)的大小與方 向。但是，在該方法中，只能推斷直線且等速的晃動(dòng)，另外在被拍攝體的 特定方向中的頻率成分小的情況下，有時(shí)晃動(dòng)方向的檢測(cè)失敗而無法適當(dāng) 地修正晃動(dòng)?；蝿?dòng)修正的高精度化不言而喻也是重要的課題。多載波合路通道信號(hào)。
4、 如權(quán)利要求2所述的方法，其特征在于，為多載波合路通道信號(hào)的峰值 預(yù)設(shè)門限；所述從多栽波合路通道信號(hào)中，獲取對(duì)應(yīng)每個(gè)載波的削波噪聲為
提取所述多栽波合路通道信號(hào)中峰值超過所述預(yù)設(shè)門限的部分，并計(jì)算超 過所述預(yù)設(shè)門限的部分和多載波合路通道信號(hào)的幅度比值；
使用所述幅度比值復(fù)乘多載波合路通道信號(hào)，作為多載波合路通道信號(hào)的 削波噪聲；
在所述多載波合路通道信號(hào)的削波噪聲中，截取符號(hào)長(zhǎng)度的削波噪聲； 將所述截取的符號(hào)長(zhǎng)度的削波噪聲分配給各個(gè)載波。
5、 如權(quán)利要求4所述的方法，其特征在于，所述多載波合路通道信號(hào)當(dāng)前 進(jìn)行峰均比抑制的迭代次數(shù)為一次以上；所述截取符號(hào)長(zhǎng)度的削波噪聲為在 每次峰均比抑制的迭代中，在不同位置截取符號(hào)長(zhǎng)度的削波噪聲。
6、 如權(quán)利要求5所述的方法，其特征在于，若所述多載波合路通道信號(hào)當(dāng) 前進(jìn)行峰均比抑制的迭代次數(shù)為奇數(shù)次，所述在不同位置截取符號(hào)長(zhǎng)度的削波 噪聲為從削波噪聲尾部，截取符號(hào)長(zhǎng)度的削波噪聲
或者，若所述多載波合路通道信號(hào)當(dāng)前進(jìn)行峰均比抑制的迭代次數(shù)為偶數(shù) 次，所述在不同位置截取符號(hào)長(zhǎng)度的削波噪聲為從提^L的削波噪聲前部，截 取符號(hào)長(zhǎng)度的削波噪聲。
7、 如權(quán)利要求4所述的方法，其特征在于，所述將截取的符號(hào)長(zhǎng)度的削波 噪聲分配給各個(gè)載波為
將所述截取的符號(hào)長(zhǎng)度的削波噪聲，與每個(gè)載波對(duì)血的調(diào)頻信號(hào)的共軛進(jìn) 行復(fù)乘，得到分配給每個(gè)載波的削波噪聲。
8、 如權(quán)利要求2所述的方法，其特征在于，為多載波合路通道信號(hào)的峰值 預(yù)設(shè)門限；所述從多載波合路通道信號(hào)中，獲取對(duì)應(yīng)每個(gè)載波的削波噪聲為
提取所述多載波合路通道信號(hào)中峰值超過所述預(yù)設(shè)門限的部分，并計(jì)算超 過所述預(yù)設(shè)門限的部分和多載波合路通道信號(hào)的幅度比值；
使用所述幅度比值復(fù)乘每個(gè)栽波合路前的通道信號(hào)，作為每個(gè)載波的削波的圖像尺寸標(biāo)準(zhǔn)化處理中的一種以上的處理。此外，例如該晃動(dòng)檢測(cè)裝置還具備保持單元，其將基于所述第一圖像 的攝影之前或之后的所述攝像單元的輸出的顯示用圖像作為第三圖像進(jìn) 行保持，所述晃動(dòng)信息生成單元根據(jù)所述第一圖像、所述第二圖像和所述 第三圖像來生成所述晃動(dòng)信息。此外，例如所述晃動(dòng)信息生成單元通過對(duì)所述第二圖像與所述第三圖 像進(jìn)行加權(quán)相加運(yùn)算而生成第四圖像，并根據(jù)所述第一圖像與所述第四圖 像來生成所述晃動(dòng)信息。取而代之，所述晃動(dòng)信息生成單元包括將所述第二圖像與所述第三圖 像中的任一方選擇為第四圖像的選擇單元，并根據(jù)所述第一圖像與所述第 四圖像來生成所述晃動(dòng)信息，所述選擇單元基于下述條件中的至少一個(gè)來 進(jìn)行所述第二圖像與所述第三圖像之間的選擇所述第二圖像與所述第三 圖像的各邊緣強(qiáng)度、所述第二圖像與所述第三圖像的各曝光時(shí)間、及所設(shè) 定的外部信息。再有，例如所述晃動(dòng)信息生成單元將基于所述第一圖像的圖像及基于 所述第四圖像的圖像分別作為劣化圖像及初始的復(fù)原圖像進(jìn)行處理，利用 傅立葉迭代法來計(jì)算所述晃動(dòng)信息。而且，例如所述晃動(dòng)信息生成單元具備從所述第一圖像、第二圖像及 第三圖像中分別提取一部分圖像的提取單元，通過由各一部分圖像生成所 述劣化圖像及所述初始的復(fù)原圖像，從而使得所述劣化圖像及所述初始的 復(fù)原圖像的各圖像尺寸小于所述第一圖像的圖像尺寸。還有，例如也可以形成以下這樣的晃動(dòng)修正裝置。該晃動(dòng)修正裝置據(jù) 別圖像生成單元，其利用由所述晃動(dòng)檢測(cè)裝置生成的所述晃動(dòng)信息，生成 降低了所述第一圖像的所述晃動(dòng)的修正圖像。再有，本發(fā)明涉及的第一攝像裝置，其具備所述晃動(dòng)檢測(cè)裝置；和所 述攝像單元。進(jìn)而，本發(fā)明涉及的晃動(dòng)檢測(cè)方法，基于攝像單元的輸出來檢測(cè)通過 所述攝像單元的攝影而得到的第一圖像所包含的晃動(dòng)，基于所述第一圖 像、以比所述第一圖像的曝光時(shí)間還短的曝光時(shí)間攝影的第二圖像，來生 成與所述晃動(dòng)對(duì)應(yīng)的晃動(dòng)信息。還有，本發(fā)明涉及的晃動(dòng)修正裝置包括圖像取得單元，其通過利用 了攝像單元的攝影來取得第一圖像，并且通過曝光時(shí)間比所述第一圖像的 曝光時(shí)間還短的多次攝影來取得多幅短曝光圖像；第二圖像生成單元，其 由所述多幅短曝光圖像生成1幅圖像，以作為第二圖像；和修正處理單元， 其基于所述第一圖像與所述第二圖像，對(duì)所述第一圖像所包含的晃動(dòng)進(jìn)行 修正。具體是，例如所述第二圖像生成單元基于下述條件中的至少一個(gè)來從 所述多幅短曝光圖像中選擇l幅短曝光圖像，以作為所述第二圖像，所述 條件為各短曝光圖像的邊緣強(qiáng)度、各短曝光圖像的對(duì)比度、及各短曝光 圖像相對(duì)于所述第一圖像的旋轉(zhuǎn)角。進(jìn)而，例如所述第二圖像生成單元還利用各短曝光圖像與所述第一圖 像的攝影時(shí)間差來進(jìn)行所述第二圖像的選擇。或者，例如所述第二圖像生成單元通過對(duì)所述多幅短曝光圖像內(nèi)的2 幅以上的短曝光圖像進(jìn)行合成，從而生成所述第二圖像?；蛘?，例如所述第二圖像生成單元包括選擇處理單元，其基于下述 條件中的至少一個(gè)來從所述多幅短曝光圖像中選擇1幅短曝光圖像，所述 條件為所述各短曝光圖像的邊緣強(qiáng)度、各短曝光圖像的對(duì)比度、及各短 曝光圖像相對(duì)于所述第一圖像的旋轉(zhuǎn)角；合成處理單元，其生成對(duì)所述多 幅短曝光圖像中的2幅以上短曝光圖像進(jìn)行合成后的合成圖像；和切換控制單元，其通過僅使所述選擇處理單元及所述合成處理單元中的任一方發(fā) 揮作用，從而生成所述1幅短曝光圖像或所述合成圖像來作為所述第二圖像；所述切換控制單元基于各短曝光圖像的S/N比來確定使所述選擇處理 單元及所述合成處理單元的哪一方發(fā)揮作用。再有，例如所述修正處理單元基于所述第一圖像與所述第二圖像，生 成與所述第一圖像的所述晃動(dòng)對(duì)應(yīng)的晃動(dòng)信息，并基于所述晃動(dòng)信息，對(duì) 所述第一圖像的所述晃動(dòng)進(jìn)行修正。取而代之，例如所述修正處理單元通過將所述第二圖像的亮度信號(hào)與 所述第一圖像的顏色信號(hào)進(jìn)行合成，從而對(duì)所述第一圖像的所述晃動(dòng)進(jìn)行 修正。取而代之，例如所述修正處理單元通過利用所述第二圖像對(duì)所述第一圖像進(jìn)行清晰化，從而對(duì)所述第一圖像的所述晃動(dòng)進(jìn)行修正。本發(fā)明涉及的攝像裝置，其包括所述晃動(dòng)修正裝置；和所述攝像單元。再有，本發(fā)明涉及的晃動(dòng)修正方法，包括圖像取得步驟，通過利用 了攝像單元的攝影來取得第一圖像，并且通過曝光時(shí)間比所述第一圖像的 曝光時(shí)間還短的多次攝影來取得多幅短曝光圖像；第二圖像生成步驟，由 所述多幅短曝光圖像生成l幅圖像，以作為第二圖像；和修正處理步驟， 基于所述第一圖像與所述第二圖像，對(duì)所述第一圖像所包含的晃動(dòng)進(jìn)行修 正。通過以下所示的實(shí)施方式的說明，可以進(jìn)一步明確本發(fā)明的含義以及 效果。其中以下的實(shí)施方式僅是本發(fā)明的一個(gè)實(shí)施方式，本發(fā)明以及各構(gòu) 成要件的用語的意義，并未限定于以下的實(shí)施方式所記載的內(nèi)容。


圖1是本發(fā)明第一實(shí)施方式涉及的攝像裝置的整體框圖。圖2是表示本發(fā)明第一實(shí)施例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流程 的流程圖。圖3是表示圖2的動(dòng)作流程的一部分的概念圖。圖4是圖2的傅立葉迭代法的詳細(xì)流程圖。圖5是實(shí)現(xiàn)圖2的傅立葉迭代法的構(gòu)成的框圖。圖6是表示本發(fā)明第二實(shí)施例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流程 的流程圖。圖7是表示圖6的動(dòng)作流程的一部分的概念圖。圖8是用于說明本發(fā)明第二實(shí)施例中執(zhí)行的圖像復(fù)原濾波器的濾波系 數(shù)的縱橫放大處理的圖。圖9是表示本發(fā)明第三實(shí)施例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流程 的流程圖。圖10是表示圖9的動(dòng)作流程的一部分的概念圖。 圖11 (a)及(b)是用于說明本發(fā)明第三實(shí)施例中執(zhí)行的加權(quán)相加運(yùn) 算處理的意義的圖。圖12是表示本發(fā)明第四實(shí)施例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流 程的流程圖。圖13是表示圖12的動(dòng)作流程的一部分的概念圖。圖14是實(shí)現(xiàn)本發(fā)明第五實(shí)施例涉及的手抖檢測(cè)及手抖修正的構(gòu)成框圖。圖15是用于說明現(xiàn)有的相加運(yùn)算式手抖修正的圖。圖16是現(xiàn)有的實(shí)現(xiàn)傅立葉迭代法的構(gòu)成的框圖。圖17是本發(fā)明第二實(shí)施方式涉及的攝像裝置的整體框圖。圖18是表示本發(fā)明第二實(shí)施方式涉及的、從修正對(duì)象圖像與參照?qǐng)D像中提取多個(gè)小圖像的形態(tài)的圖。圖19是表示本發(fā)明第二實(shí)施方式涉及的、從修正對(duì)象圖像及參照?qǐng)D像中提取出的互相對(duì)應(yīng)的小圖像的圖。圖20是表示本發(fā)明第二實(shí)施方式涉及的、通過對(duì)從參照?qǐng)D像中提取出的小圖像實(shí)施邊緣提取處理而可以檢測(cè)沿邊緣方向延伸的直線的形態(tài)的圖。圖21是本發(fā)明第二實(shí)施方式涉及的、在圖19的圖像上重疊顯示沿邊緣方向延伸的直線的圖。圖22是用于表示圖21的直線的正交方向上的亮度值的分布的圖。 圖23是用于表示圖21的直線的正交方向上的亮度值的分布的圖。 圖24是表示本發(fā)明第二實(shí)施方式涉及的、作為基于亮度值的分布而生成的平滑函數(shù)的空間濾波器的圖。圖25是表示本發(fā)明第二實(shí)施方式涉及的手抖檢測(cè)動(dòng)作流程的流程圖。圖26是本發(fā)明第三實(shí)施方式涉及的攝像裝置的整體框圖。圖27是表示本發(fā)明第六實(shí)施例涉及的、圖26的攝像裝置進(jìn)行的手抖修正的動(dòng)作流程的流程圖。圖28是表示本發(fā)明第七實(shí)施例涉及的、圖26的攝像裝置進(jìn)行的手抖修正的動(dòng)作流程的流程圖。圖29是表示本發(fā)明第八實(shí)施例涉及的、圖26的攝像裝置進(jìn)行的手抖修正的動(dòng)作流程的流程圖。圖30是表示本發(fā)明第八實(shí)施例涉及的、設(shè)于圖26的攝像裝置中的測(cè)光電路及LUT的圖。圖31是表示本發(fā)明第九實(shí)施例涉及的、用于生成參照?qǐng)D像的第一評(píng)價(jià)值的計(jì)算動(dòng)作的流程圖。圖32是用于說明本發(fā)明第九實(shí)施例涉及的、用于生成參照?qǐng)D像的第 一評(píng)價(jià)值的計(jì)算方法的圖。圖33是表示本發(fā)明第九實(shí)施例涉及的、用于生成參照?qǐng)D像的第二評(píng) 價(jià)值的計(jì)算動(dòng)作的流程圖。圖34 (a)及(b)分別是表示清晰的短曝光圖像及晃動(dòng)大而不清晰的 短曝光圖像的圖；都是用于說明與圖33對(duì)應(yīng)的動(dòng)作的意義的圖。圖35 (a)及(b)分別是表示與圖34 (a)及(b)的短曝光圖像對(duì)應(yīng) 的亮度直方圖的圖。圖36是用于說明本發(fā)明第九實(shí)施例涉及的、用于生成參照?qǐng)D像的第 三評(píng)價(jià)值的計(jì)算方法的圖。圖37是表示本發(fā)明第十實(shí)施例涉及的、第一修正方法的手抖修正處 理的動(dòng)作流程的流程圖。圖38是表示本發(fā)明第十實(shí)施例涉及的、第二修正方法的手抖修正處 理的動(dòng)作流程的流程圖。圖39是與圖38對(duì)應(yīng)的手抖修正處理的概念圖。圖40是表示本發(fā)明第十實(shí)施例涉及的、第三修正方法的手抖修正處理的動(dòng)作流程的流程圖。圖41是與圖40對(duì)應(yīng)的手抖修正處理的概念圖。圖42是表示本發(fā)明第十實(shí)施例涉及的一維的高斯分布的圖。圖43是用于說明與圖40對(duì)應(yīng)的手抖修正處理的效果的圖。圖44是表示本發(fā)明第十一實(shí)施例涉及的、各短曝光圖像和相鄰的短曝光圖像間的光流的例子的圖。圖45是表示本發(fā)明第十一實(shí)施例涉及的、相鄰的短曝光圖像間的光流的其他例子的圖。圖46是表示本發(fā)明第十一實(shí)施例涉及的、相鄰的短曝光圖像間的光流的另一例子的圖。
具體實(shí)施方式
以下，參照附圖具體說明本發(fā)明的實(shí)施方式。在所參照的各圖中，對(duì) 同一部分賦予相同的標(biāo)記，原則上對(duì)與同一部分相關(guān)的重復(fù)說明進(jìn)行省 略。《第一實(shí)施方式》首先，對(duì)本發(fā)明的第一實(shí)施方式進(jìn)行說明。圖l是本發(fā)明第一實(shí)施方 式涉及的攝像裝置1的整體框圖。圖1的攝像裝置1是能拍攝并記錄靜止 圖像的數(shù)碼相機(jī)或者能拍攝并記錄靜止圖像及運(yùn)動(dòng)圖像的數(shù)碼攝像機(jī)。攝像裝置1具備攝像部11、 AFE (Analog Front End) 12、主控制部 13、內(nèi)部存儲(chǔ)器14、顯示部15、記錄介質(zhì)16、操作部17、曝光控制部18 和手抖檢測(cè)/修正部19。操作部17中備有快門按鈕17a。攝像部ll具有光學(xué)系統(tǒng)、光圈、由CCD (Charge Coupled Devices) 或CMOS (Complementary Metal Oxide Semiconductor)圖像傳感器等構(gòu)成 的攝像元件、控制光學(xué)系統(tǒng)或光圈用的驅(qū)動(dòng)器.(全部未圖示)。驅(qū)動(dòng)器根 據(jù)來自主控制部13的AF/AE控制信號(hào)，控制光學(xué)系統(tǒng)的變焦倍率或焦距 以及光圈的開度。攝像元件對(duì)表示通過光學(xué)系統(tǒng)及光圈入射的被攝體的光 學(xué)像進(jìn)行光電變換，將通過該光電變換得到的電信號(hào)輸出到AFE12。AFE12對(duì)從攝像部11 (攝像元件)輸出的模擬信號(hào)進(jìn)行放大，并將放 大后的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。AFE12將該數(shù)字信號(hào)依次輸出到主控制 部13。主控制部13具備CPU (Central Processing Unit)、 ROM (Read Only Memory)及RAM (Random Access Memory)等，也作為視頻信號(hào)處理部 起作用。主控制部13根據(jù)AFE12的輸出信號(hào)，生成表示由攝像部11拍 攝到的圖像(以下也稱為"攝影圖像")的視頻信號(hào)。再有，主控制部13 也具備作為對(duì)顯示部15的顯示內(nèi)容進(jìn)行控制的顯示控制單元的功能，對(duì) 顯示部15進(jìn)行顯示所需的控制。內(nèi)部存儲(chǔ)器14由SDRAM (Synchronous Dynamic Random Access Memory)等形成，暫時(shí)存儲(chǔ)攝像裝置1內(nèi)生成的各種數(shù)據(jù)。顯示部15是 由液晶顯示器等構(gòu)成的顯示裝置，在主控制部13的控制之下，顯示之前 的幀中拍攝到的圖像或存儲(chǔ)于存儲(chǔ)介質(zhì)16的圖像等。記錄介質(zhì)16是SD(SecureDigital)存儲(chǔ)卡等非易失性存儲(chǔ)器，在主控制部13的控制之下存 儲(chǔ)攝影圖像等。操作部17接受來自外部的操作。針對(duì)操作部17的操作內(nèi)容被傳達(dá)到 主控制部13?？扉T按鈕17a是用于指示靜止圖像的攝影及記錄的按鈕。曝光控制部18控制攝像元件的各像素的曝光時(shí)間，以使攝像部11的 攝像元件的曝光量最佳。再有，在從主控制部13向曝光控制部18提供曝 光時(shí)間控制信號(hào)的情況下，曝光控制部18根據(jù)該曝光時(shí)間控制信號(hào)來控 制曝光時(shí)間。攝像裝置1的動(dòng)作模式中包含能進(jìn)行靜止圖像或運(yùn)動(dòng)圖像的拍攝及記 錄的攝影模式、和在顯示部15上再生顯示記錄于記錄介質(zhì)16的靜止圖像 或運(yùn)動(dòng)圖像的再生模式。根據(jù)針對(duì)操作部17的操作，實(shí)施各模式間的變 換。在攝影模式中，攝像部11以規(guī)定的幀周期(例如1/60秒)依次進(jìn)行 拍攝。主控制部13在各幀中根據(jù)攝像部11的輸出生成直通(through)顯 示用圖像，并使顯示部15依次更新顯示依次得到的直通顯示用圖像。在攝影模式中，在按下了快門按鈕17a之際，主控制部13將表示1 幅攝影圖像的圖像數(shù)據(jù)存儲(chǔ)到記錄介質(zhì)16及內(nèi)部存儲(chǔ)器14 (即，使之進(jìn)行存儲(chǔ))。該攝影圖像是可能包含手抖所導(dǎo)致的晃動(dòng)的圖像，然后根據(jù)經(jīng) 由操作部17等提供的修正指示或自動(dòng)由手抖檢測(cè)/修正部19進(jìn)行修正。因 此，以下將伴隨快門按鈕17a的按下的上述1幅攝影圖像特別稱為"修正 對(duì)象圖像"。再有，由于由手抖/修正部19可以檢測(cè)出修正對(duì)象圖像所包含 的晃動(dòng)，故也可以將修正對(duì)象圖像換稱為"檢測(cè)對(duì)象圖像"。手抖檢測(cè)/修正部19不采用角速度傳感器等手抖檢測(cè)傳感器，而是根 據(jù)由攝像部H的輸出信號(hào)得到的圖像數(shù)據(jù)，檢測(cè)修正對(duì)象圖像所包含的 晃動(dòng)，通過根據(jù)該檢測(cè)結(jié)果對(duì)修正對(duì)象圖像進(jìn)行修正，從而生成除去或降 低了晃動(dòng)的修正圖像。以下，作為詳細(xì)說明手抖檢測(cè)/修正部19的功能的實(shí)施例，對(duì)第一 第五實(shí)施例進(jìn)行說明。某個(gè)實(shí)施例記載的事項(xiàng)只要沒有矛盾，就能適用于 其他實(shí)施例。再有，第一 第四實(shí)施例(以及后述的第二實(shí)施方式)的描 述中，所謂存儲(chǔ)圖像等的"存儲(chǔ)器"是指內(nèi)部存儲(chǔ)器14或手抖檢測(cè)/修正部19 (第二實(shí)施方式中手抖檢測(cè)/修正部20)內(nèi)設(shè)置的未圖示的存儲(chǔ)器。 [第一實(shí)施例]首先對(duì)第一實(shí)施例進(jìn)行說明。參照?qǐng)D2及圖3。圖2是表示第一實(shí)施 例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流程的流程圖。圖3是該動(dòng)作流程的 一部分的概念圖。根據(jù)圖2的流程圖對(duì)該動(dòng)作的流程進(jìn)行說明。在攝影模式中，若按下快門按鈕17a，則進(jìn)行通常曝光攝影，將由此 生成的修正對(duì)象圖像存儲(chǔ)在存儲(chǔ)器上(步驟Sl及S2)。以下將第一實(shí)施 例中的該修正對(duì)象圖像稱為修正對(duì)象圖像A1。接著，在步驟S3中對(duì)得到修正對(duì)象圖像Al之際的曝光時(shí)間Tl和閾 值lra進(jìn)行比較，在曝光時(shí)間Tl小于閾值T^時(shí)，認(rèn)為修正對(duì)象圖像中 未含有(或者極其輕微的含有)手抖導(dǎo)致的晃動(dòng)，不進(jìn)行手抖修正，結(jié)束 圖2的處理。作為閾值Tra，例如采用手抖界限曝光時(shí)間。手抖界限曝光 時(shí)間是判斷為可以忽略手抖的界限曝光時(shí)間，可以根據(jù)焦距fo的倒數(shù)來計(jì) 算。在曝光時(shí)間Tl大于閾值TxH時(shí)，移至步驟S4，接著通常曝光攝影進(jìn) 行短時(shí)間曝光攝影，將由該短時(shí)間曝光攝影得到的攝影圖像作為參照?qǐng)D像 存儲(chǔ)在存儲(chǔ)器上。下面將第一實(shí)施例中的該參照?qǐng)D像稱為參照?qǐng)D像A2。 雖然修正對(duì)象圖像A1與參照?qǐng)D像A2是通過連續(xù)攝影而得到的(即在相 鄰的幀中得到的)，但主控制部13對(duì)圖1的曝光控制部18進(jìn)行控制，以 使得到參照?qǐng)D像A2之際的曝光時(shí)間比曝光時(shí)間Tl還短。例如參照?qǐng)D像 A2的曝光時(shí)間為T1/4。再有，修正對(duì)象圖像A1與參照?qǐng)D像A2的圖像尺 寸相等。接著，在步驟S5中，從修正對(duì)象圖像A1之中提取特征性的小區(qū)域， 將該提取出的小區(qū)域內(nèi)的圖像作為小圖像Ala存儲(chǔ)在存儲(chǔ)器上。所謂特征 性的小區(qū)域是指在提取源圖像中邊緣成分比較多(換言之對(duì)比度比較強(qiáng)) 的矩形區(qū)域，例如利用哈里斯(Harris)的拐角檢測(cè)器，將128x128像素 的小區(qū)域作為特征性的小區(qū)域提取。這樣，根據(jù)該小區(qū)域內(nèi)的圖像的邊緣 成分的大小(或者對(duì)比度量)來選擇特征性的小區(qū)域。接下來，在步驟S6中，從參照?qǐng)D像A2中提取與從修正對(duì)象圖像Al中提取出的小區(qū)域?yàn)橥蛔鴺?biāo)的小區(qū)域，將從參照?qǐng)D像A2中提取出的小區(qū)域內(nèi)的圖像作為小圖像A2a存儲(chǔ)在存儲(chǔ)器上。從修正對(duì)象圖像Al提取 出的小區(qū)域的中心坐標(biāo)(修正對(duì)象圖像Al的中心坐標(biāo))和從參照?qǐng)D像A2 提取出的小區(qū)域的中心坐標(biāo)(參照?qǐng)D像A2的中心坐標(biāo))相等，修正對(duì)象 圖像Al與參照?qǐng)D像A2的圖像尺寸也相等，因此兩個(gè)小區(qū)域的圖像尺寸 也相等。由于參照?qǐng)D像A2的曝光時(shí)間較短，故小圖像A2a的信噪比(以下稱 為S/N比)比較低。因此，在步驟S7中，針對(duì)小圖像A2a進(jìn)行噪聲去除 處理。將除去噪聲后的小圖像A2a作為小圖像A2b。噪聲除去是通過利用 線性濾波器(加權(quán)平均濾波器等)或非線性濾波器(中值濾波器(median filter)等)對(duì)小圖像A2a進(jìn)行濾波而進(jìn)行的。小圖像A2b為低亮度，因此在步驟S8中，使小圖像A2b的亮度等級(jí) 增加。即，例如以使小圖像A2b的亮度等級(jí)與小圖像Ala的亮度等級(jí)相 等的方式(使小圖像A2b的平均亮度與小圖像A2a的平均亮度相等的方 式)，進(jìn)行所謂將小圖像A2b的各像素的亮度值乘以恒定值的亮度標(biāo)準(zhǔn)化 處理。將如此使亮度等級(jí)增加后的小圖像A2b稱為小圖像A2c。在將這樣得到的小圖像Ala作為劣化圖像且將小圖像A2c作為初始復(fù) 原圖像進(jìn)行處理的基礎(chǔ)上(步驟S9)，在步驟S10中實(shí)施傅立葉迭代法， 求取圖像劣化函數(shù)。在實(shí)施傅立葉迭代法時(shí)，雖然需要提供初始的復(fù)原圖像(復(fù)原圖像的 初始值)，但將該初始的復(fù)原圖像稱為初始復(fù)原圖像。作為圖像劣化函數(shù)，求取點(diǎn)展開函數(shù)(Point Spread Function;以下稱 為PSF)。根據(jù)理想的點(diǎn)像由于攝像裝置1的晃動(dòng)而描繪在圖像上的軌跡 進(jìn)行加權(quán)的算符(operator)或空間濾波器被稱為PSF， 一般用作手抖的數(shù) 學(xué)模型。由于手抖對(duì)整個(gè)圖像造成一樣的劣化，故針對(duì)小區(qū)域Ala求出的 PSF可以用作針對(duì)整個(gè)修正對(duì)象圖像A1的PSF。傅立葉迭代法是根據(jù)包含劣化的劣化圖像而得到除去或降低了劣化 的復(fù)原圖像的方法(例如參照文獻(xiàn)G.R. Ayers and J.C, Dainty, "Iterative blind deconvolution method and its applications",OPTICS LETTERS, 1988年， Vol.l3,No.7, p.547-549)。參照?qǐng)D4及圖5，詳細(xì)說明該傅立葉迭代法。圖4是圖2的步驟S10的處理的詳細(xì)流程圖。圖5是實(shí)施傅立葉迭代法的部位的框圖。首先，在步驟SIOI中將復(fù)原圖像設(shè)為f'，將該復(fù)原圖像f'設(shè)為初始復(fù)原圖像。即，作為初始的復(fù)原圖像f'，使用上述的初始復(fù)原圖像(本實(shí)施例中為小圖像A2c)。接著，在步驟S102中，將劣化圖像(在本實(shí)施例 中為Ala)設(shè)為g。而且，將對(duì)劣化圖像g進(jìn)行過傅立葉變換的圖像作為 G存儲(chǔ)在存儲(chǔ)器上(步驟S103)。例如，在初始復(fù)原圖像及劣化圖像的圖 像尺寸為128X128像素時(shí)，f'及g可以表現(xiàn)為具有128X128的矩陣尺寸 的矩陣。接著，在步驟S110中，求取對(duì)復(fù)原圖像f'進(jìn)行過傅立葉變換的F，， 進(jìn)而在步驟Slll中，通過下述式(1)計(jì)算H。 H相當(dāng)于對(duì)PSF進(jìn)行過傅 立葉變換的函數(shù)。在式(1)中，F(xiàn)' *是廠的共軛復(fù)矩陣，oc是常數(shù)。接著，在步驟S112中，通過對(duì)H進(jìn)行逆傅立葉變換，得到PSF。將 在此得到的PSF設(shè)為h。接著，在步驟S113中，以下述式(2a)的約束 條件對(duì)PSFh進(jìn)行修正后，以式(2b)的約束條件進(jìn)行修正。PSFh表現(xiàn)為二維的矩陣，因此以h (x,y)表示該矩陣的各要素。PSF 的各要素應(yīng)該為0以上且1以下的值。因此，在步驟S113中，判斷PSF 的各要素是否為0以上且1以下，為0以上且1以下的要素的值直接沿用。 而為大于1的要素時(shí)將該要素的值修正為1，且在為小于0時(shí)將該要素的 值修正為0。這是基于式(2a)的約束條件進(jìn)行的修正。而且，對(duì)PSF進(jìn) 行標(biāo)準(zhǔn)化，以使該修正后的PSF的各要素的總和為1。該標(biāo)準(zhǔn)化是基于式 (2b)的約束條件而進(jìn)行的修正。將根據(jù)式(2a)及(2b)的約束條件進(jìn)行過修正的PSF設(shè)為h'。1o…(2a)…(2b)接下來，在步驟S114中求取對(duì)PSF h，進(jìn)行過傅立葉變換的H，，進(jìn) 而在步驟S115中根據(jù)下述式(3)計(jì)算F。 F相當(dāng)于對(duì)復(fù)原圖像進(jìn)行過傅 立葉變換的值。在式(3)中，H， f是H，的共軛復(fù)矩陣，f3為常數(shù)。F-^fl …(3)|對(duì)+/ 接著，在步驟S116中，通過對(duì)F進(jìn)行傅立葉逆變換，從而取得復(fù)原 圖像。將在此獲得的復(fù)原圖像設(shè)為f。接著，在步驟S117中，以下述式(4) 的約束條件對(duì)復(fù)原圖像f進(jìn)行修正，將修正后的復(fù)原圖像重新設(shè)為f'。'255/"力 0/(義，力>2550S/(;c，力《255 …(4)復(fù)原圖像f表現(xiàn)為二維的矩陣，因此以f (x,y)表示該矩陣的各要素。 當(dāng)前設(shè)為以0到255的數(shù)字值來表示劣化圖像及復(fù)原圖像的各要素的像素 值。這樣，表示復(fù)原圖像f的矩陣的各要素(即各像素值)應(yīng)該取0以上 且255以下的值。因此，在步驟S117中判斷表示復(fù)原圖像f的矩陣的各 要素是否在0以上且255以下，為0以上且255以下的要素的值直接沿用， 而在存在大于255的要素時(shí)將該要素的值修正為255，且在存在小于0的 要素時(shí)將該要素的值修正為O。這是根據(jù)式(4)的約束條件進(jìn)行的修正。接著，在步驟S118中，通過判斷是否滿足收斂條件，從而進(jìn)行迭代 處理的收斂判斷。例如，將最新的F'和一個(gè)之前得到的F'之差的絕對(duì)值用作收斂判 斷的指標(biāo)。當(dāng)該指標(biāo)在規(guī)定的閾值以下時(shí)，判斷為滿足收斂條件，而在不 是的情況下判斷為未滿足收斂條件。在滿足收斂條件的情況下，將對(duì)最新的H，進(jìn)行了傅立葉逆變換的函 數(shù)設(shè)為最終的PSF。即，對(duì)該最新的H'進(jìn)行了傅立葉逆變換后的函數(shù)， 應(yīng)該是在圖2的步驟S10中求得的PSF。在未滿足收斂條件的情況下，返 回到步驟SllO，重復(fù)步驟S110 S118的各處理。在各步驟S110 S118 的各處理的重復(fù)過程中，將f'、 F'、 H、 h、 h'、 H'、 F和f (參照?qǐng)D5) 依次更新為最新值。作為收斂判斷的指標(biāo)，也可采用其他指標(biāo)。例如，可以將最新的H， 和一個(gè)之前得到的H，之差的絕對(duì)值用作收斂判斷的指標(biāo)，判斷上述收斂條件成立還是不成立。還有，例如也可以將利用上述式(2a)及(2b)的 步驟S113中的修正量或者利用上述式(4)的步驟S117中的修正量用作 收斂判斷的指標(biāo)，判斷上述收斂條件的成立或不成立。這是因?yàn)槿舻?理傾向于收斂，則這些修正量變小。再有，也可以在由步驟S110 S118構(gòu)成的循環(huán)處理的重復(fù)次數(shù)達(dá)到 規(guī)定次數(shù)的情況下，判斷為不可收斂，結(jié)束處理而不計(jì)算最終的PSF。此 時(shí)不進(jìn)行修正對(duì)象圖像的修正。返回到圖2的各步驟的說明。在步驟S10中計(jì)算出PSF后，移到步驟 Sll。在步驟S11中，將步驟S10中求出的PSF的逆矩陣的各要素作為圖 像復(fù)原濾波器的各濾波系數(shù)來求取。該圖像復(fù)原濾波器是用于由劣化圖像 得到復(fù)原圖像的濾波器。實(shí)際上，以相當(dāng)于上述式(3)右邊的一部分的 下述式(5)表示的矩陣的各要素相當(dāng)于圖像復(fù)原濾波器的各濾波系數(shù)， 因此可以直接利用步驟S10中的傅立葉迭代法的計(jì)算過程中的結(jié)果。其中， 式(5)中的H， *及1^，是在步驟S118的收斂條件成立之前得到的H， * 及H，(即最終得到的H， *及11')。# …(5)在步驟Sll中求得圖像復(fù)原濾波器的各濾波系數(shù)之后，移到步驟S12， 利用該圖像復(fù)原濾波器對(duì)修正對(duì)象圖像Al進(jìn)行濾波，從而生成除去或降 低了修正對(duì)象圖像Al所包含的晃動(dòng)的濾波圖像。由于濾波圖像中包含伴 隨濾波的振鈴信號(hào)(ringing),故通過步驟S13將其除去，從而生成最終 的修正圖像。[第二實(shí)施例]接著對(duì)第二實(shí)施例進(jìn)行說明。如上所述，在攝影模式下，攝像部11以規(guī)定的幀周期(例如1/60秒) 依次進(jìn)行攝影，主控制部13在各幀中根據(jù)攝像部11的輸出生成直通顯示用圖像，使顯示部15依次更新顯示依次得到的直通顯示用圖像。直通顯示用圖像是運(yùn)動(dòng)圖像用的圖像，其圖像尺寸比作為靜止圖像的 修正對(duì)象圖像的尺寸還小。修正對(duì)象圖像根據(jù)攝像部11的攝像元件的有 效攝像區(qū)域內(nèi)的全部像素的像素信號(hào)生成，而直通顯示用圖像是對(duì)該有效 攝像區(qū)域的各像素的像素信號(hào)進(jìn)行間隔提取而生成的。在將攝影圖像考慮 為由有效攝像區(qū)域內(nèi)的全部像素的像素信號(hào)生成的圖像的情況下，修正對(duì)象圖像是根據(jù)快門按鈕17a的按下而被通常曝光攝影和記錄的攝像圖像本身，直通顯示用圖像相當(dāng)于各幀的攝影圖像的間隔提取圖像。在第二實(shí)施例中，將基于拍攝修正對(duì)象圖像的幀之前或之后的幀的攝 影圖像的直通顯示用圖像用作參照?qǐng)D像。以下，例示利用拍攝修正對(duì)象圖 像的幀之前的幀的直通顯示用圖像的情況。參照?qǐng)D6及圖7。圖6是表示第二實(shí)施例涉及的手抖檢測(cè)及手抖修正 的動(dòng)作流程的流程圖。圖7是表示該動(dòng)作流程的一部分的概念圖。參照?qǐng)D 6說明該動(dòng)作流程。在攝影模式中，如上所述，在各幀生成直通顯示用圖像，在存儲(chǔ)器上 依次更新存儲(chǔ)該圖像并且在顯示部15上進(jìn)行更新顯示(步驟S20)。而且， 若按下快門按鈕17a，則進(jìn)行通常曝光攝影，存儲(chǔ)由此生成的修正對(duì)象圖 像(步驟S21及S22)。以下將第二實(shí)施例中的該修正對(duì)象圖像稱為修正 對(duì)象圖像Bl。此時(shí)存儲(chǔ)于存儲(chǔ)器上的直通顯示用圖像為拍攝修正對(duì)象圖 像B1的幀之前的幀的通過攝影而得到的直通顯示用圖像，以下將其稱為 參照?qǐng)D像B3。接著，在步驟S23中，對(duì)得到修正對(duì)象圖像B1時(shí)的曝光時(shí)間T1和閾 值Tth迸行比狡。在曝光時(shí)間Tl小于上述閾值Tth (例如為焦距fo的倒 數(shù))的情況下，認(rèn)為修正對(duì)象圖像中未含有(或者極其輕微地含有)手抖 導(dǎo)致的晃動(dòng)，不進(jìn)行手抖修正，結(jié)束圖6的處理。在曝光時(shí)間Tl大于閾值Tth的情況下，移至步驟S24，對(duì)曝光時(shí)間 Tl和得到參照?qǐng)D像B3之際的曝光時(shí)間T3進(jìn)行比較。在T1《T3的情況 下，認(rèn)為參照?qǐng)D像B3中的手抖大，不迸行手抖修正而結(jié)束圖6的處理。 在T1〉T3的情況下移至步驟S25，利用哈里斯的拐角檢測(cè)器等，從參照 圖像B3之中提取特征性的小區(qū)域，將該提取出的小區(qū)域內(nèi)的圖像作為小圖像B3a存儲(chǔ)在存儲(chǔ)器上。特征性的小區(qū)域的意義以及提取方法與第一實(shí) 施例中描述的同樣。接著，在步驟S26中，與小圖像B3a的坐標(biāo)對(duì)應(yīng)，從修正對(duì)象圖像 Bl中提取小區(qū)域。而且，將根據(jù)修正對(duì)象圖像B1與參照?qǐng)D像B3的圖像 尺寸比而對(duì)從修正對(duì)象圖像Bl中提取出的該小區(qū)域內(nèi)的圖像進(jìn)行縮小后 的圖像，作為小圖像Bla存儲(chǔ)到存儲(chǔ)器上。也就是說，在生成小圖像Bla 之際，進(jìn)行圖像尺寸的標(biāo)準(zhǔn)化處理，以使小圖像Bla與B3a的圖像尺寸相等o假設(shè)以使修正對(duì)象圖像B1與參照?qǐng)D像B3的圖像尺寸相等的方式放大 參照?qǐng)D像B3，則從修正對(duì)象圖像B1提取的小區(qū)域的中心坐標(biāo)(修正對(duì)象 圖像Bl的中心坐標(biāo))和從參照?qǐng)D像B3提取的小區(qū)域的中心坐標(biāo)(參照?qǐng)D 像B3的中心坐標(biāo)) 一致。其中，由于修正對(duì)象圖像B1和參照?qǐng)D像B3的 圖像尺寸實(shí)際上是不同的，故兩個(gè)小區(qū)域的圖像尺寸根據(jù)修正對(duì)象圖像 Bl與參照?qǐng)D像B3的圖像尺寸比而不同。因此，使從參照?qǐng)D像B3提取的 小區(qū)域的圖像尺寸與從修正對(duì)象圖像Bl提取的小區(qū)域的圖像尺寸之比、 和參照?qǐng)D像B3的圖像尺寸與修正對(duì)象圖像B1的圖像尺寸之比一致。而且， 最終通過以小圖像Bla與B3a的圖像尺寸相等的方式縮小從修正對(duì)象圖像 Bl提取的小區(qū)域內(nèi)的圖像，從而得到小圖像Bla。接著，在步驟S27中，對(duì)小圖像Bla及B3a實(shí)施邊緣提取處理，得到 小圖像Blb及B3b。例如，通過對(duì)小圖像Bla的各像素采用任意的邊緣檢 測(cè)算符，從而生成小圖像Bla的邊緣提取圖像，將該邊緣提取圖像設(shè)為小 圖像Blb。對(duì)于小圖像B3b也同樣。然后，在步驟S28中，對(duì)小圖像Blb與B3b進(jìn)行亮度標(biāo)準(zhǔn)化處理。也 就是說，將小圖像Blb及/或B3b的各像素的亮度值乘以恒定值，以使小 圖像Blb與B3b的亮度等級(jí)相等(小圖像Blb的平均亮度與小圖像B3b 的平均亮度相等)。將該亮度標(biāo)準(zhǔn)化處理后的小圖像Blb及B3b設(shè)為小圖 像Blc及B3c。由于作為參照?qǐng)D像B3的直通顯示用圖像是運(yùn)動(dòng)圖像用的圖像，故例如以使其具有適用于運(yùn)動(dòng)圖像的色調(diào)的方式借助運(yùn)動(dòng)圖像用的圖像處理 而得到。另一方面，由于修正對(duì)象圖像B1是伴隨快門按鈕17a的按下而拍攝到的靜止圖像，故其借助靜止圖像用的圖像處理而得到。因?yàn)閮蓚€(gè)圖像處理間的差異，即使被攝體相同，在小圖像Bla與B3a之間色調(diào)等也會(huì) 不同。由于該差異可以通過邊緣提取處理而除去，故在步驟S27中進(jìn)行邊 緣提取處理。進(jìn)而，由于可以通過邊緣提取處理將修正對(duì)象圖像B1與參 照?qǐng)D像B3的亮度差大致除去，故雖然通過邊緣提取處理可以抑制亮度差 的影響(即提高晃動(dòng)檢測(cè)精度)，但由于并不能完全除去，故接下來在步 驟S28中進(jìn)行亮度標(biāo)準(zhǔn)化處理。在將如上所述獲得的小圖像Blc作為劣化圖像且將小圖像B3c作為初 始復(fù)原圖像進(jìn)行處理的基礎(chǔ)上(步驟S29)，移至步驟SIO，依次執(zhí)行步驟 SIO、 Sll、 S12及S13的各處理。步驟S10 S13的各處理內(nèi)容與第一實(shí)施例中的同樣。其中，由于通 過步驟S10及Sll得到的圖像復(fù)原濾波器的各濾波系數(shù)(及通過步驟S10 得到的PSF)適用于運(yùn)動(dòng)圖像的圖像尺寸，故以使其適合靜止圖像的圖像 尺寸的方式進(jìn)行縱橫放大處理。例如，在直通顯示用圖像與修正對(duì)象圖像的圖像尺寸比為3: 5且通 過步驟S10及Sll得到的圖像復(fù)原濾波器的尺寸為3X3的情況下，在計(jì) 算出圖8的標(biāo)記101所示的各濾波系數(shù)時(shí)，通過縱橫放大處理，生成圖8 的標(biāo)記102所示的5X5尺寸的圖像復(fù)原濾波器的各濾波系數(shù)。而且，最 終將5X5尺寸的圖像復(fù)原濾波器的各濾波系數(shù)設(shè)為通過步驟Sll得到的 各濾波系數(shù)。還有，在與圖8的標(biāo)記102對(duì)應(yīng)的例子中，雖然將通過縱橫 放大處理而被插補(bǔ)的濾波系數(shù)設(shè)為0，但也可以通過線性插補(bǔ)等計(jì)算應(yīng)被 插補(bǔ)的濾波系數(shù)。在步驟Sll中求得圖像復(fù)原濾波器的各濾波系數(shù)之后，移至步驟S12, 通過利用該圖像復(fù)原濾波器對(duì)修正對(duì)象圖像Bl進(jìn)行濾波，從而生成除去 或降低了修正對(duì)象圖像B1所包含的晃動(dòng)的濾波圖像。由于濾波圖像中可 能含有伴隨濾波的振鈴信號(hào)，故通過步驟S13除去該振鈴信號(hào)，從而生成 最終的修正圖像。[第三實(shí)施例]接著，對(duì)第三實(shí)施例進(jìn)行說明。參照?qǐng)D9及圖10。圖9是表示第三實(shí)施例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流程的流程圖。圖10是表示該動(dòng) 作流程的一部分的概念圖。根據(jù)圖9的流程圖說明該動(dòng)作流程。在攝影模式中，在各幀生成直通顯示用圖像，將其依次更新存儲(chǔ)在存儲(chǔ)器上并且更新顯示于顯示部15 (步驟S30)。而且，若按下快門按鈕17a， 則進(jìn)行通常曝光攝影，存儲(chǔ)由此生成的修正對(duì)象圖像(步驟S31及S32)。 以下將第三實(shí)施例中的該修正對(duì)象圖像稱為修正對(duì)象圖像Cl。該時(shí)刻存 儲(chǔ)于存儲(chǔ)器上的直通顯示用圖像為拍攝修正對(duì)象圖像Cl的幀之前的幀的 通過攝影而得到的直通顯示用圖像，以下將其稱為參照?qǐng)D像C3。接著，在步驟S33中，對(duì)得到修正對(duì)象圖像Cl時(shí)的曝光時(shí)間Tl和閾 值TTH進(jìn)行比較。在曝光時(shí)間Tl小于上述閾值TTH (例如焦距fD的倒數(shù)) 的情況下，認(rèn)為修正對(duì)象圖像中未含有(或極其輕微地含有)手抖導(dǎo)致的 晃動(dòng)，不進(jìn)行手抖修正而結(jié)束圖9的處理。在曝光時(shí)間Tl大于閾值Tth的情況下，對(duì)曝光時(shí)間Tl和得到參照?qǐng)D 像C3時(shí)的曝光時(shí)間T3進(jìn)行比較，在T1《T3的情況下，認(rèn)為參照?qǐng)D像 C3中的手抖大，以下執(zhí)行與第一實(shí)施例同樣的手抖檢測(cè)及手抖修正(即 進(jìn)行與圖2的S4 S13同樣的處理)。另一方面，在T1〉T3的情況下移至 步驟S34，在通常曝光攝影之后進(jìn)行短時(shí)間曝光攝影，將通過該短時(shí)間曝 光攝影而得到的攝影圖像作為參照?qǐng)D像C2存儲(chǔ)在存儲(chǔ)器上。在圖9中， 省略與T1和T3的比較相關(guān)的處理內(nèi)容的記載，以下對(duì)T1〉T3的情況進(jìn) 行說明。雖然修正對(duì)象圖像Cl與參照?qǐng)D像C2是通過連續(xù)攝影而得到的(即在 相鄰的幀內(nèi)得到的)，但主控制部13對(duì)圖1的曝光控制部18進(jìn)行控制， 以使得到參照?qǐng)D像C2時(shí)的曝光時(shí)間比曝光時(shí)間Tl還短。例如，設(shè)參照?qǐng)D 像C2的曝光時(shí)間為T3/4。再有，修正對(duì)象圖像Cl與參照?qǐng)D像C2的圖像 尺寸相等。步驟S34之后移至步驟S35，利用哈里斯的拐角檢測(cè)器等，從參照?qǐng)D 像C3之中提取特征性的小區(qū)域，將該提取出的小區(qū)域內(nèi)的圖像作為小圖 像C3a存儲(chǔ)在存儲(chǔ)器上。特征性的小區(qū)域的意義以及提取方法與第一實(shí)施 例中描述的相同。接著，在步驟S36中，與小圖像C3a的坐標(biāo)對(duì)應(yīng)，從修正對(duì)象圖像Cl中提取小區(qū)域。而且，將根據(jù)修正對(duì)象圖像C1與參照?qǐng)D像C3的圖像尺寸比，對(duì)從修正對(duì)象圖像C1中提取出的該小區(qū)域內(nèi)的圖像進(jìn)行縮小后 的圖像作為小圖像Cla存儲(chǔ)到存儲(chǔ)器上。也就是說，在生成小圖像Cla 之際，進(jìn)行圖像尺寸的標(biāo)準(zhǔn)化處理，以使小圖像Cla與C3a的圖像尺寸相 等。同樣，與小圖像C3a的坐標(biāo)對(duì)應(yīng)，從參照?qǐng)D像C2中提取小區(qū)域。而 且，將根據(jù)參照?qǐng)D像C2與參照?qǐng)D像C3的圖像尺寸比，對(duì)從參照?qǐng)D像C2 中提取出的該小區(qū)域內(nèi)的圖像進(jìn)行縮小后的圖像作為小圖像C2a存儲(chǔ)到 存儲(chǔ)器上。由修正對(duì)象圖像C1 (或參照?qǐng)D像C2)得到小圖像Cla (或小 圖像C2a)的方法和第二實(shí)施例中所說明的由修正對(duì)象圖像B1得到小圖 像Bla的方法(圖6的步驟S26)同樣。接著，在步驟S37中，以小圖像C3a為基準(zhǔn)，對(duì)小圖像C2a進(jìn)行亮度 標(biāo)準(zhǔn)化處理。也就是說，以使小圖像C3a與C2a的亮度等級(jí)相等的方式(小 圖像C3a的平均亮度與C2a的平均亮度相等的方式)，對(duì)小圖像C2a的各 像素的亮度值乘以恒定值。將該亮度標(biāo)準(zhǔn)化處理后的小圖像C2a設(shè)為小圖 像C2b。在步驟S37的處理之后移至步驟S38。在步驟S38中，首先生成小圖 像C3a和小圖像C2b的差分圖像。僅針對(duì)小圖像C3a與C2b之間存在差 異的部分將差分圖像的像素值取為O以外的值。而且，將差分圖像的各像 素的像素值作為加權(quán)系數(shù)，通過對(duì)小圖像C3a與C2b進(jìn)行加權(quán)相加運(yùn)算， 從而生成小圖像C4a。以Id (p,q)表示差分圖像的各像素的像素值，以13 (p，q)表示小圖像 C3a的各像素的像素值，以12 (p,q)表示小圖像C2b的各像素的值，以14 (p,q)表示小圖像C4a的各像素的像素值，則14 (p,q)可以由下述式(6) 來表示。在此，k為常數(shù)，p及q表示差分圖像或各小圖像中的水平坐標(biāo) 及垂直坐標(biāo)。"(P， 一 "d (P，《).厶(P， g)+(1 - " -" (A ). A (M) …(6 )由后述的說明可知，小圖像C4a被用作計(jì)算與修正對(duì)象圖像Cl的晃 動(dòng)對(duì)應(yīng)的PSF的圖像。為了得到良好的PSF，需要在小圖像C4a中預(yù)先適 當(dāng)保存邊緣部分。當(dāng)然，小圖像C4a的S/N比越高越可以得到良好的PSF。 一般，若對(duì)多個(gè)圖像進(jìn)行相加運(yùn)算，則可以提高S/N比，因此通過對(duì)小圖像C3a與C2b進(jìn)行相加運(yùn)算，當(dāng)然可以得到小圖像C4a，但通過該相加運(yùn) 算，邊緣部分變得模糊，無法得到良好的PSF。因此，如上所述，借助與差分圖像的像素值對(duì)應(yīng)的加權(quán)相加運(yùn)算來生 成小圖像C4a。參照?qǐng)D11 (a)及(b)補(bǔ)充說明該加權(quán)相加運(yùn)算的意義。 由于小圖像C3a比小圖像C2b的曝光時(shí)間還長(zhǎng)，故如圖ll (a)所示，拍 攝了同一邊緣體時(shí)的前者的晃動(dòng)通常比后者的晃動(dòng)大。因此，若單純地對(duì) 兩個(gè)小圖像進(jìn)行相加運(yùn)算，則如圖11 (a)所示，邊緣部變得模糊，但如 圖11 (b)所示，若根據(jù)兩個(gè)小圖像間的差分圖像的像素值對(duì)兩個(gè)小圖像 進(jìn)行加權(quán)相加運(yùn)算，則可以比較良好地保存邊緣部。這是因?yàn)樵谝蛐D 像C3a的晃動(dòng)大而產(chǎn)生的相異部分110 (邊緣部劣化不同的部分)中，ID (p，q)變大，小圖像C2b的加權(quán)增大，小圖像C4a中難以反映小圖像C3a 的大的邊緣部劣化。相反，在非相異部分lll中，因?yàn)槠毓鈺r(shí)間比較長(zhǎng)的 小圖像C3a的加權(quán)變大，故也可以獲得提高S/N比的效果(降低噪聲效果)。接著，在步驟S39中，以小圖像Cla為基準(zhǔn)，對(duì)小圖像C4a進(jìn)行亮度 標(biāo)準(zhǔn)化處理。也就是說，以使小圖像Cla與C4a的亮度等級(jí)相等的方式(小 圖像Cla的平均亮度與C4a的平均亮度相等的方式)，對(duì)小圖像C4a的各 像素的亮度值乘以恒定值。將該亮度標(biāo)準(zhǔn)化處理后的小圖像C4a設(shè)為小圖 像C4b。在將如上所述獲得的小圖像Cla作為劣化圖像且將小圖像C4b作為初 始復(fù)原圖像進(jìn)行處理的基礎(chǔ)上(步驟S40)，移至步驟SIO，依次執(zhí)行步驟 SIO、 Sll、 S12及S13的各處理。步驟S10 S13的各處理內(nèi)容與第一實(shí)施例中的同樣。其中，由于通 過步驟S10及Sll得到的圖像復(fù)原濾波器的各濾波系數(shù)(及通過步驟S10 得到的PSF)適用于運(yùn)動(dòng)圖像的圖像尺寸，故以使其適合靜止圖像的圖像 尺寸的方式進(jìn)行縱橫放大處理。該縱橫放大處理與第二實(shí)施例中說明的同 樣。在步驟Sll中求得圖像復(fù)原濾波器的各濾波系數(shù)之后，移至步驟S12， 通過利用該圖像復(fù)原濾波器對(duì)修正對(duì)象圖像C1進(jìn)行濾波，從而生成除去 或降低了修正對(duì)象圖像C1所包含的晃動(dòng)的濾波圖像。由于濾波圖像中可 能含有伴隨濾波的振鈴信號(hào)，故通過步驟S13除去該振鈴信號(hào)，從而生成最終的修正圖像。 [第四實(shí)施例]接著對(duì)第四實(shí)施例進(jìn)行說明。參照?qǐng)D12及圖13。圖12是表示第四實(shí) 施例涉及的手抖檢測(cè)及手抖修正的動(dòng)作流程的流程圖。圖13是表示該動(dòng)作流程的一部分的概念圖。根據(jù)圖12的流程圖對(duì)該動(dòng)作的流程進(jìn)行說明。在第四實(shí)施例中，首先實(shí)施步驟S50 S56的各處理。步驟S50 S56 的各處理內(nèi)容，由于與第三實(shí)施例中的步驟S30 S36 (參照?qǐng)D9)的處理 內(nèi)容同樣，故省略重復(fù)的說明。其中，第三實(shí)施例中的修正對(duì)象圖像Cl 以及參照?qǐng)D像C2及C3在第四實(shí)施例中替換為修正對(duì)象圖像Dl以及參照 圖像D2及D3。再有，例如參照?qǐng)D像D2的曝光時(shí)間設(shè)為T1/4。經(jīng)過步驟S50 S56，得到基于修正對(duì)象圖像D1以及參照?qǐng)D像D2及 D3的小圖像Dla、 D2a及D3a，然后移至步驟S57。在步驟S57中，將小圖像D2a及D3a中的任一方小圖像選擇為小圖像 D4a。選擇可以基于各種指標(biāo)進(jìn)行。例如，對(duì)小圖像D2a的邊緣強(qiáng)度和小圖像D3a的邊緣強(qiáng)度進(jìn)行比較， 將邊緣強(qiáng)度較大的小圖像選擇為小圖像D4a。小圖像D4a作為傅立葉迭代 法的初始復(fù)原圖像的基礎(chǔ)，這是因?yàn)榭紤]到越是邊緣強(qiáng)度大的圖像，其 邊緣部的劣化越少，因此優(yōu)選作為初始復(fù)原圖像。例如，通過對(duì)小圖像 D2a的各像素適用規(guī)定的邊緣檢測(cè)算符，從而生成小圖像D2a的邊緣提取 圖像，將該邊緣提取圖像的像素值的總和作為小圖像D2a的邊緣強(qiáng)度。同 樣也可以計(jì)算小圖像D3a的邊緣強(qiáng)度。還有，例如也可以對(duì)參照?qǐng)D像D2的曝光時(shí)間和參照?qǐng)D像D3的曝光時(shí) 間進(jìn)行比較，將與更短曝光時(shí)間對(duì)應(yīng)的小圖像選擇為小圖像D4a。這是因 為考慮到越是曝光時(shí)間短的圖像，其邊緣部的劣化越少，優(yōu)選作為初始 復(fù)原圖像。再有，例如也可以根據(jù)通過圖1的操作部17等預(yù)先設(shè)定的選 擇信息(外部信息)，從小圖像D2a及D3a中選擇小圖像D4a。還有，也 能根據(jù)組合了上述的邊緣強(qiáng)度、曝光時(shí)間及選擇信息的指標(biāo)值，進(jìn)行該選 擇。接著，在步驟S58中，以小圖像Dla為基準(zhǔn)，對(duì)小圖像D4a進(jìn)行亮度標(biāo)準(zhǔn)化處理。也就是說，以使小圖像Dla與D4a的亮度等級(jí)相等的方式(小 圖像Dla的平均亮度與小圖像D4a的平均亮度相等的方式)，對(duì)小圖像D4a 的各像素的亮度值乘以恒定值。將該亮度標(biāo)準(zhǔn)化處理后的小圖像D4a設(shè)為 小圖像D4b。在將如上所述獲得的小圖像Dla作為劣化圖像且將小圖像D4b作為初 始復(fù)原圖像進(jìn)行處理的基礎(chǔ)上(步驟S59)，移至步驟SIO，依次執(zhí)行步驟 SIO、 Sll、 S12及S13的各處理。步驟S10 S13的各處理內(nèi)容與第一實(shí)施例中的同樣。其中，由于通 過步驟S10及Sll得到的圖像復(fù)原濾波器的各濾波系數(shù)(及通過步驟S10 得到的PSF)適用于運(yùn)動(dòng)圖像的圖像尺寸，故以使其適合靜止圖像的圖像 尺寸的方式進(jìn)行縱橫放大處理。該縱橫放大處理與第二實(shí)施例中說明的同 樣。在步驟Sll中求得圖像復(fù)原濾波器的各濾波系數(shù)之后，移至步驟S12， 通過利用該圖像復(fù)原濾波器對(duì)修正對(duì)象圖像Dl進(jìn)行濾波，從而生成除去 或降低了修正對(duì)象圖像D1所包含的晃動(dòng)的濾波圖像。由于濾波圖像中可 能含有伴隨濾波的振鈴信號(hào)，故通過步驟S13除去該振鈴信號(hào)，從而生成 最終的修正圖像。[第五實(shí)施例]接著對(duì)第五實(shí)施例進(jìn)行說明。在第五實(shí)施例中，對(duì)實(shí)現(xiàn)在第一 第四 實(shí)施例中已經(jīng)描述過的手抖檢測(cè)及手抖修正的構(gòu)成進(jìn)行說明。圖14是表 示該構(gòu)成的框圖。本實(shí)施例中描述的修正對(duì)象圖像為第一 第四實(shí)施例中 的修正對(duì)象圖像(Al、 Bl、 C1或D2)，本實(shí)施例中描述的參照?qǐng)D像為第 一 第四實(shí)施例中的參照?qǐng)D像(A2、 B3、 C2及C3或D2及D3)。圖14中的存儲(chǔ)器31由圖1的內(nèi)部存儲(chǔ)器14來實(shí)現(xiàn)，或者設(shè)于手抖 檢測(cè)/修正部19內(nèi)。圖14中的劣化圖像/初始復(fù)原圖像設(shè)定部32、傅立葉 迭代處理部33、濾波部34以及振鈴信號(hào)除去部15設(shè)于圖1的手抖檢測(cè)/ 修正部19。存儲(chǔ)器31存儲(chǔ)修正對(duì)象圖像及參照?qǐng)D像。劣化圖像/初始復(fù)原圖像設(shè) 定部32根據(jù)存儲(chǔ)器31的記錄內(nèi)容，以第一 第四實(shí)施例中描述的方法設(shè)定劣化圖像及初始復(fù)原圖像，并將這些圖像提供給傅立葉迭代處理部33。例如，在采用第一實(shí)施例的情況下，將通過圖2的步驟S1 S8的各處理 得到的小圖像Ala及A2c分別作為劣化圖像及初始復(fù)原圖像提供給傅立葉 迭代處理部33。另外，設(shè)于劣化圖像/初始復(fù)原圖像32的小圖像提取部36從修正對(duì)象 圖像及參照?qǐng)D像中提取作為劣化圖像以及初始設(shè)定圖像的基礎(chǔ)的各小圖 像(圖3的Ala、 A2a、圖10的Cla、 C2a、 C3a等)。傅立葉迭代處理部33根據(jù)所提供的劣化圖像及初始復(fù)原圖像，實(shí)施 參照?qǐng)D4等說明過的傅立葉迭代法。圖像復(fù)原濾波器本身安裝于濾波部34 內(nèi)，傅立葉迭代處理部33通過執(zhí)行圖2等的步驟S10及Sll的各處理， 從而計(jì)算該圖像復(fù)原濾波器的各濾波系數(shù)。濾波部34通過對(duì)具有計(jì)算出的各濾波系數(shù)的圖像復(fù)原濾波器適用于 修正對(duì)象圖像的各像素，對(duì)修正對(duì)象圖像進(jìn)行濾波，從而生成濾波圖像。 雖然圖像復(fù)原濾波器的尺寸比修正對(duì)象圖像的圖像尺寸小，但由于考慮到 手抖會(huì)對(duì)整個(gè)圖像造成一樣的劣化，故通過對(duì)整個(gè)修正對(duì)象圖像適用該圖 像復(fù)原濾波器，從而可以除去整個(gè)修正對(duì)象圖像的晃動(dòng)。振鈴信號(hào)除去部35通過對(duì)所生成的濾波圖像與修正對(duì)象圖像進(jìn)行加 權(quán)平均，從而生成最終的修正圖像。例如，加權(quán)平均按照每個(gè)像素進(jìn)行， 每個(gè)像素的加權(quán)平均的比率可以根據(jù)修正對(duì)象圖像的各像素的邊緣強(qiáng)度 來確定。所生成的最終修正圖像是除去或降低了修正對(duì)象圖像所包含的晃動(dòng) 且除去或降低了伴隨于濾波的振鈴信號(hào)后的圖像。其中，由于濾波部34 生成的濾波圖像也是除去或降低了晃動(dòng)的圖像，因此可以解釋為濾波圖像 也是修正圖像的一種。另外，由于除去上述振鈴信號(hào)的方法是公知的，省略詳細(xì)說明。作為 其方法，例如可以采用特開2006-129236號(hào)公報(bào)所公開的方法。通過曝光時(shí)間比通常曝光攝影還短的攝影而得到的參照?qǐng)D像為低亮 度，故所包含的手抖量少，因此其邊緣成分接近于沒有手抖的圖像的邊緣 成分。因此，如上所述，將根據(jù)該參照?qǐng)D像得到的圖像作為傅立葉迭代法 中的初始復(fù)原圖像(復(fù)原圖像的初始值)。通過基于傅立葉迭代法的循環(huán)處理的重復(fù)，復(fù)原圖像(f')逐漸接近 于盡量除去了手抖的圖像，但由于初始復(fù)原圖像本身已經(jīng)接近無手抖的圖 像，故可以比以往那樣將隨機(jī)圖像或劣化圖像設(shè)為初始復(fù)原圖像的方法更 快收斂(最短在1次循環(huán)處理中收斂)。結(jié)果，可以縮短生成手抖信息(PSF 或圖像復(fù)原濾波器的濾波系數(shù))用的處理時(shí)間以及手抖修正用的處理時(shí) 間。再有，若初始復(fù)原圖像與應(yīng)收斂的圖像相差很遠(yuǎn)，則收斂到局部解(與 的確應(yīng)收斂的圖像不同的圖像)的概率增高，但通過如上述那樣設(shè)定初始 復(fù)原圖像，從而收斂到局部解的概率降低(即手抖修正失敗的概率降低)。還有，由于手抖對(duì)整個(gè)圖像造成一樣的劣化，故由各圖像中提取小區(qū)域，由各小區(qū)域的圖像數(shù)據(jù)生成手抖信息(PSF或圖像復(fù)原濾波器的濾波系數(shù))，可以將這些信息適用于整個(gè)圖像。由此，可以降低需要的運(yùn)算量， 可以縮短手抖信息生成用的處理時(shí)間及手抖修正用的處理時(shí)間。當(dāng)然，也 可以預(yù)見到必要電路的規(guī)?？s小或伴隨于此的成本降低的效果。 此時(shí)，如各實(shí)施例中所描述的那樣，設(shè)為自動(dòng)提取包含很多邊緣成分的特征性的小區(qū)域。PSF的計(jì)算源圖像中的邊緣成分的增大意味著信號(hào)成 分相對(duì)于噪音成分的比例的增大，因此通過提取特征性的小區(qū)域，從而噪 聲的影響減小，可以更準(zhǔn)確地檢測(cè)手抖信息。還有，在第二實(shí)施例中無需進(jìn)行用于取得參照?qǐng)D像的專用攝影，即使 在第一、第三及第四實(shí)施例中也只進(jìn)行一次用于取得參照?qǐng)D像的專用攝影 (短時(shí)間曝光攝影)，因此幾乎不會(huì)增大攝影時(shí)的負(fù)荷。再有，無需多言， 由于不使用角速度傳感器等來進(jìn)行手抖檢測(cè)及手抖修正，故可以實(shí)現(xiàn)攝像 裝置1的低成本化。另外，作為用于求取PSF的處理例子，以上描述了基于傅立葉迭代法 的圖4的處理，但附帶言及對(duì)此的補(bǔ)充說明及變形例(也參照?qǐng)D5)。在圖 4的處理中，通過利用傅立葉變換將空間域上的劣化圖像g及復(fù)原圖像f' 變換到頻域上，從而可以求得表示頻域上的劣化圖像g的函數(shù)G和表示頻 域上的復(fù)原圖像f，的函數(shù)F'(其中所謂頻域當(dāng)然是指二維的頻域)。根 據(jù)所求得的函數(shù)G及F，，求取表示頻域上的PSF的函數(shù)H，通過傅立葉 逆變換將該函數(shù)H變換為空間域上的函數(shù)、即PSFh。利用規(guī)定的約束條 件對(duì)該P(yáng)SFh進(jìn)行修正，求得修正后的PSFh，。以下將修正該P(yáng)SF的處理稱為"第一修正處理"。通過傅立葉變換將PSF h，再次變換到頻域上，求取函數(shù)H，，根據(jù)函數(shù)H，與函數(shù)G求取表示頻域上的復(fù)原圖像的函數(shù)F。通過對(duì)該函數(shù)F進(jìn)行傅立葉逆變換，從而得到空間域上的復(fù)原圖像f，利用規(guī)定的約束條 件對(duì)該復(fù)原圖像f進(jìn)行修正，求取修正后的復(fù)原圖像f'。以下將修正該復(fù) 原圖像的處理稱為"第二修正處理"。在上述的例子中，描述了之后利用修正后的修正圖像f，反復(fù)進(jìn)行上述處理，直到在圖4的步驟S118中滿足收斂條件為止。再有，還描述了考慮若迭代處理傾向于收斂、則修正量減小的特性，也可以根據(jù)與第一修正處理對(duì)應(yīng)的步驟S113中的修正量或與第二修正處理對(duì)應(yīng)的步驟S117中 的修正量來判斷該收斂條件的成立/不成立。在根據(jù)修正量進(jìn)行該判斷的情 況下，預(yù)先設(shè)定基準(zhǔn)修正量，對(duì)步驟S113中的修正量或步驟S117中的修 正量和基準(zhǔn)修正量進(jìn)行比較，在前者小于后者的情況下判斷為收斂條件成 立，但若將基準(zhǔn)修正量設(shè)定得足夠大，則不重復(fù)執(zhí)行步驟S110 S117的 處理。也就是說，該情況下僅進(jìn)行一次第一修正處理而得到的PSF h'就 成為應(yīng)該以圖2等的步驟S10導(dǎo)出的最終的PSF。這樣，即使采用了圖4 的處理，也不一定重復(fù)執(zhí)行第一及第二修正處理。第一及第二修正處理的重復(fù)執(zhí)行次數(shù)的增大有助于提高最終求得的 PSF的精度，但在本實(shí)施方式中，由于初始復(fù)原圖像本身已經(jīng)接近于無手 抖的圖像，故僅進(jìn)行一次第一修正處理而得到的PSF h'的精度在實(shí)用性 上也高達(dá)沒有問題的程度。若考慮這些，則也能省略步驟S118的判斷處 理本身。該情況下，通過僅執(zhí)行一次步驟S113的處理而求取的PSFh'成 為應(yīng)以圖2等的步驟S10導(dǎo)出的最終的PSF，根據(jù)僅執(zhí)行一次步驟S114 的處理而求取的函數(shù)H'，求取應(yīng)以圖2等的步驟S11導(dǎo)出的圖像復(fù)原濾 波器的各濾波系數(shù)。因此，在省略步驟S118的處理的情況下，也可以省 略步驟S115 S117的處理。作為針對(duì)第一實(shí)施方式的變形例或注釋事項(xiàng)，以下記為注釋1 注釋 6。各注釋中記載的內(nèi)容只要沒有矛盾，就能任意進(jìn)行組合。[注釋1]在第一、第三或第四實(shí)施例中(參照?qǐng)D3、圖10或圖13)，說明了通 過用于得到修正對(duì)象圖像的通常曝光攝影之后的短時(shí)間曝光攝影來得到參照?qǐng)D像A2、 C2或D2，但即使通過該通常曝光攝影之前的短時(shí)間曝光 攝影來得到這些參照?qǐng)D像也是可以的。該情況下，只要將第三或第四實(shí)施 例中的參照?qǐng)D像C3或D3作為拍攝修正對(duì)象圖像的幀之后的幀中的直通 顯示用圖像即可。[注釋2]在各實(shí)施例中，在由各小圖像生成針對(duì)傅立葉迭代法的劣化圖像及初 始復(fù)原圖像的過程中，對(duì)各小圖像適用噪聲除去處理、亮度標(biāo)準(zhǔn)化處理、 邊緣提取處理及圖像尺寸標(biāo)準(zhǔn)化處理(參照?qǐng)D3、圖7、圖IO及圖13)中 的任意一種以上的處理。各實(shí)施例中描述的這些處理的適用方法只是例子 而已，能夠進(jìn)行各種變更。在各實(shí)施例中的劣化圖像及初始復(fù)原圖像的生 成過程中，極端的是也能對(duì)各小區(qū)域?qū)嵤┥鲜龅?個(gè)處理的全部(其中在 第一實(shí)施例中圖像尺寸標(biāo)準(zhǔn)化處理是無意義的)。[注釋3]作為從修正對(duì)象圖像或參照?qǐng)D像中提取包含很多邊緣成分的特征性 小區(qū)域的方法，能夠采用各種各樣的方法。例如，也可以挪用在自動(dòng)對(duì)焦 控制中計(jì)算的AF評(píng)價(jià)值來進(jìn)行該提取。該自動(dòng)對(duì)焦控制采用TTL (Through The Lends)方式的對(duì)比度檢測(cè)法。攝像裝置1中設(shè)有AF評(píng)價(jià)部(未圖示)，AF評(píng)價(jià)部將各攝影圖像(或 各直通顯示用圖像)分割為多個(gè)分割區(qū)域，按照每個(gè)分割區(qū)域計(jì)算與分割 區(qū)域內(nèi)的圖像的對(duì)比度對(duì)應(yīng)的AF評(píng)價(jià)值。圖1的主控制部13參照針對(duì)上述多個(gè)分割區(qū)域中的任一分割區(qū)域的AF評(píng)價(jià)值，利用登山控制來控制攝 像部11的對(duì)焦透鏡的位置，以使該AF評(píng)價(jià)值取最大值(或極大值)，由 此使被攝體的光學(xué)像于攝像元件的攝像面上成像。在執(zhí)行這種自動(dòng)對(duì)焦控制的情況下，在從修正對(duì)象圖像或參照?qǐng)D像中 提取特征性小區(qū)域時(shí)，參照針對(duì)該提取源圖像的各分割區(qū)域的AF評(píng)價(jià)值。 例如，確定針對(duì)提取源圖像的各分割區(qū)域的AF評(píng)價(jià)值中的最大AF評(píng)價(jià)值，將與該最大AF評(píng)價(jià)值對(duì)應(yīng)的分割區(qū)域(或以該分割區(qū)域?yàn)榛鶞?zhǔn)的區(qū)域)作為特征性小區(qū)域進(jìn)行提取。AF評(píng)價(jià)值伴隨分割區(qū)域內(nèi)的圖像的對(duì)比度量(或者邊緣成分)的增大而增大，因此也能據(jù)此將含有邊緣成分較 多的小區(qū)域作為特征性小區(qū)域進(jìn)行提取。[注釋4]上述說明內(nèi)容中示出的具體數(shù)值僅僅是例示，當(dāng)然可以將其變更為各 種各樣的數(shù)值。[注釋5]再有，圖1的攝像裝置1可以通過硬件、軟件或硬件與軟件的組合來 實(shí)現(xiàn)。尤其是，圖14所示的各部位(其中除去存儲(chǔ)器31)的功能可以通 過硬件、軟件或硬件與軟件的組合來實(shí)現(xiàn)，還可以通過攝像裝置1的外部 裝置(計(jì)算機(jī)等)來實(shí)現(xiàn)這些部位的各功能。在利用軟件來構(gòu)成攝像裝置1的情況下，針對(duì)通過軟件實(shí)現(xiàn)的部位的 框圖是表示該部位的功能框圖。可以以程序描述由圖14的各部位(其中 除去存儲(chǔ)器31)實(shí)現(xiàn)的功能的全部或一部分，通過在程序執(zhí)行裝置(例如 計(jì)算機(jī))上執(zhí)行該程序，從而實(shí)現(xiàn)該功能的全部或一部分。[注釋6]在圖14中，劣化圖像/初始復(fù)原圖像設(shè)定部32與傅立葉迭代處理部 33形成晃動(dòng)檢測(cè)裝置，晃動(dòng)修正裝置構(gòu)成為包括濾波部34及振鈴信號(hào)部 35。其中，也可以從該晃動(dòng)修正裝置中省略振鈴信號(hào)部35。再有，也可以 考慮在該晃動(dòng)修正裝置內(nèi)含有上述晃動(dòng)檢測(cè)裝置。還有，上述晃動(dòng)檢測(cè)裝 置也可以包含存儲(chǔ)器31 (保持單元)。另外，在圖1中，手抖檢測(cè)/修正部 19作為晃動(dòng)檢測(cè)裝置起作用，并且也作為晃動(dòng)修正裝置起作用。傅立葉迭代處理部33或劣化圖像/初始復(fù)原圖像設(shè)定部32和傅立葉迭 代處理部33作為生成手抖信息(PSF或圖像復(fù)原濾波器的濾波系數(shù))的 單元起作用。《第二實(shí)施方式》接著，對(duì)本發(fā)明第二實(shí)施方式迸行說明。第二實(shí)施方式相當(dāng)于第一實(shí) 施方式的變形例，第一實(shí)施方式的記載事項(xiàng)只要不矛盾就可以適用于第二實(shí)施方式。圖17是第二實(shí)施方式涉及的攝像裝置la的整體框圖。攝像裝 置la由參照標(biāo)記11 18以及20的各部位構(gòu)成。即，通過將圖1的手抖 檢測(cè)/修正部19置換為手抖檢測(cè)/修正部20而形成攝像裝置la。在其他方 面兩攝像裝置是同樣的，因此省略同樣部分的重復(fù)說明。在攝像裝置la中，在攝影模式下若按下快門按鈕17a則迸行通常曝光 攝影，將由此得到的攝影圖像作為修正對(duì)象圖像E1存儲(chǔ)到存儲(chǔ)器上。以 Tl表示得到修正對(duì)象圖像El時(shí)的曝光時(shí)間(曝光時(shí)間的長(zhǎng)度)。再有， 在得到修正對(duì)象圖像El的通常曝光攝影之前或之后進(jìn)行短時(shí)間曝光攝 影，將通過該短時(shí)間曝光攝影得到的攝影圖像作為參照?qǐng)D像E2存儲(chǔ)到存 儲(chǔ)器上。雖然通過連續(xù)攝影獲得修正對(duì)象圖像E1與參照?qǐng)D像E2 (即在相 鄰的幀得到)，但主控制部13通過曝光控制部18控制攝像部11，以使得 到參照?qǐng)D像E2時(shí)的曝光時(shí)間比曝光時(shí)間Tl還短。例如，將參照?qǐng)D像E2 的曝光時(shí)間設(shè)為Tl/4。還有，修正對(duì)象圖像El與參照?qǐng)D像E2的圖像尺 寸相等。此外，也可以對(duì)曝光時(shí)間Tl和第一實(shí)施方式中描述過的Tth (手抖界 限曝光時(shí)間)進(jìn)行比較，在前者小于后者的情況下，認(rèn)為修正對(duì)象圖像 El中未含有(或極其輕微地含有)手抖所導(dǎo)致的晃動(dòng)，不進(jìn)行手抖修正。 再有，該情況下可以不執(zhí)行得到參照?qǐng)D像E2用的短時(shí)間曝光攝影。在得到修正對(duì)象圖像El與參照?qǐng)D像E2后，從參照?qǐng)D像E2中提取特 征性的小區(qū)域，另一方面從修正對(duì)象圖像E1中提取與從參照?qǐng)D像E2提取 出的小區(qū)域?qū)?yīng)的小區(qū)域。將所提取的小區(qū)域設(shè)為例如128X128像素的 小區(qū)域。特征性的小區(qū)域的意義及提取方法如第一實(shí)施方式所述。在本實(shí) 施方式中，從參照?qǐng)D像E2中提取多個(gè)特征性的小區(qū)域。因此，從修正對(duì) 象圖像E1中也提取與其相同數(shù)量的小區(qū)域。目前，如圖18所示，從參照 圖像E2中提取8個(gè)小區(qū)域，將這8個(gè)小區(qū)域內(nèi)的圖像(斜線區(qū)域內(nèi)圖像) 稱為小圖像GR, GRs。另一方面，將與小圖像GR, GRs對(duì)應(yīng)而從修正 對(duì)象圖像E1中提取出的8個(gè)小區(qū)域內(nèi)的圖像(斜線區(qū)域內(nèi)圖像)稱為小圖像GL, GLg。在將i設(shè)為1以上8以下的整數(shù)的情況下，小圖像GRj與小圖像GLj 的圖像尺寸相等。在可以忽略修正對(duì)象圖像E1與參照?qǐng)D像E2之間的位置 偏離的情況下，按照從參照?qǐng)D像E2提取的小圖像GRj的中心坐標(biāo)(參照 圖像E2內(nèi)的中心坐標(biāo))、和與該小圖像GRj對(duì)應(yīng)地從修正對(duì)象圖像El中 提取的小圖像GLj的中心坐標(biāo)(修正對(duì)象圖像E1內(nèi)的中心坐標(biāo))相等的 方式，進(jìn)行小區(qū)域的提取。在無法忽略該位置偏離的情況下，也可以利用 模板匹配(template matching)法等進(jìn)行對(duì)應(yīng)小區(qū)域的搜索(另外這也可 以適用于第一實(shí)施方式)。即，例如將小圖像GRi作為模板，采用公知的 模板匹配法，從修正對(duì)象圖像El中搜索與該模板相似度最高的小區(qū)域， 將搜索到的小區(qū)域內(nèi)的圖像設(shè)為小圖像GLj。圖19示出小圖像GL,及GR,的放大圖。在圖19中，將亮度高的部分 表現(xiàn)為白色，將亮度低的部分表現(xiàn)為黑色。再有，設(shè)想水平方向及垂直方 向上亮度變化急劇的邊緣存在于小圖像Gk內(nèi)及小圖像GR,內(nèi)的情況。進(jìn) 而，設(shè)想在包含小圖像GL,的修正對(duì)象圖像E1的曝光期間內(nèi)水平方向的 手抖作用于攝像裝置la的情況。因此，在基于短時(shí)間曝光攝影的小圖像 GR,內(nèi)邊緣不會(huì)模糊，但在基于通常曝光攝影的小圖像GL內(nèi)邊緣在水平 方向模糊。通過對(duì)這種小圖像GR,實(shí)施采用任意邊緣檢測(cè)算符的邊緣提取處理， 從而生成圖20所示的邊緣提取圖像。在圖20的邊緣提取圖像ER，中， 將邊緣強(qiáng)度較強(qiáng)的部分表現(xiàn)為白色，將邊緣強(qiáng)度較弱的部分表現(xiàn)為黑色。 沿小圖像內(nèi)的直線狀邊緣的部分作為邊緣強(qiáng)度較強(qiáng)的部分，呈現(xiàn)于邊 緣提取圖像E&內(nèi)。通過對(duì)該邊緣提取圖像ER,適用公知的哈夫(huff) 變換而提取沿邊緣的直線。在圖20的右方示出所提取出的直線與小圖像 GR,重疊的部分。在本例中，針對(duì)小圖像GRp提取沿垂直方向延伸的直 線HR 與沿水平方向延伸的直線HR12。然后，從小圖像G"中提取與直線HRu及HRu對(duì)應(yīng)的直線HLu及 HL12。在圖21中將所提取出的直線HLu及HL!2與小圖像GL,重疊顯示。 在圖21中也示出重疊了直線HRu及HR12的小圖像GI^。對(duì)應(yīng)的直線的方 向相同。即，直線HLu與直線HRu的延伸方向相同，直線HLu與直線HR,2的延伸方向相同。提取出各直線后，求取各直線的正交方向上小圖像內(nèi)的亮度值的分布。該分布是針對(duì)所提取出的各小圖像來求取的。關(guān)于小圖像GL,及GR,， 直線HLu與直線HRu在圖像的垂直方向平行，且直線HLu與直線HR12 在圖像的水平方向平行。因此，在關(guān)注直線HLu與直線HRn的情況下， 求取圖像的水平方向上的亮度值的分布，在關(guān)注直線HL^與直線HR,2的 情況下，求取圖像的垂直方向上的亮度值的分布。參照?qǐng)D22及圖23，具體說明亮度值分布的求取方法。在圖22中，小 圖像GL,內(nèi)所示的各實(shí)線箭頭表示在與直線HL 正交的方向上亮度值被 掃描的形態(tài)。由于直線HLn的正交方向?yàn)樗椒较颍室孕D像GL,左 端的某個(gè)點(diǎn)為起點(diǎn)從左向右掃描，同時(shí)取得小圖像GL,內(nèi)的各像素的亮度 值，由此求取直線HL 的正交方向上的亮度值的分布。其中，設(shè)以橫切 與直線HLn對(duì)應(yīng)的邊緣存在的部分的方式迸行掃描。即，針對(duì)亮度值的 梯度急劇的部分求取亮度值的分布。因此沿圖22的虛線箭頭，不進(jìn)行掃 描(在后述的圖23中也同樣)。在僅關(guān)注l行(該情況下為水平行)而求 得的分布中噪聲成分的影響較大，因此針對(duì)小圖像GL,內(nèi)的多行求取同樣 的分布，將所求得的多個(gè)分布的平均作為對(duì)直線HL 最終應(yīng)該求得的分 布201。同樣，對(duì)直線HRu也求取分布。在圖22中，小圖像GRi內(nèi)所示的各 實(shí)線箭頭表示在與直線HR 正交的方向上亮度值被掃描的形態(tài)。由于直 線HRU的正交方向?yàn)樗椒较颍室孕D像GR左端的某個(gè)點(diǎn)為起點(diǎn)從 左向右掃描，同時(shí)取得小圖像內(nèi)的各像素的亮度值，由此求取直線 HRn的正交方向上的亮度值的分布。其中，設(shè)以橫切與直線HRn對(duì)應(yīng)的 邊緣存在的部分的方式進(jìn)行掃描。即，針對(duì)亮度值的梯度急劇的部分求取 亮度值的分布。因此，沿圖22的虛線箭頭，不進(jìn)行掃描(在后述的圖23 中也同樣)。在僅關(guān)注1行(該情況下為水平行)而求得的分布中噪聲成 分的影響較大，因此針對(duì)小圖像GR,內(nèi)的多行求取同樣的分布，將所求得 的多個(gè)分布的平均作為對(duì)直線HR 最終應(yīng)該求得的分布202。在圖22的表示分布201及202的各曲線圖中，橫軸表示像素的水平 位置，縱軸表示亮度值。由分布201及202可知，雖然亮度值以沿圖像的垂直方向延伸的邊緣部分為邊界急劇變化，但在與通常曝光攝影對(duì)應(yīng)的分 布201中，由于曝光期間內(nèi)的手抖，該亮度值的變化比較緩慢。在與直線HLn對(duì)應(yīng)的小圖像GL,內(nèi)的邊緣部分中，以WLu表示亮度值開始變化到 變化結(jié)束為止的水平方向的像素?cái)?shù)，在與直線HRn對(duì)應(yīng)的小圖像GR,內(nèi) 的邊緣部分中，以WRn表示從亮度值開始變化到變化結(jié)束位置的水平方 向的像素?cái)?shù)。再有，將這樣求得的WL 或WRn稱為邊緣寬度。在本例中， 設(shè)為"WL >WR "，在忽略了參照?qǐng)D像E2所包含的晃動(dòng)的情況下，可以 認(rèn)為邊緣寬度的差"WL — WR "是以像素為單位表示修正對(duì)象圖像E1 的曝光期間中產(chǎn)生的水平方向的手抖量的值。對(duì)從小圖像GL,及GR,提取出的各直線執(zhí)行上述求取邊緣寬度的處 理。在本例的情況下，即使對(duì)從小圖像GL,及GR,提取出的直線HLi2及 HR,2也求取上述的邊緣寬度。在圖23中，小圖像GL，內(nèi)所示的各實(shí)線箭頭表示在與直線見12正交 的方向上亮度值被掃描的形態(tài)。以橫切與直線HL12對(duì)應(yīng)的邊緣存在的部 分的方式沿垂直方向進(jìn)行掃描，同時(shí)取得小圖像GL,內(nèi)的各像素的亮度 值，由此求取直線HL,2的正交方向上的亮度值的分布。針對(duì)多行(該情 況下為垂直行)進(jìn)行掃描，將所求得的多個(gè)分布的平均作為對(duì)直線HL12 最終應(yīng)該求得的分布211。在圖23中，小圖像GR,內(nèi)所示的各實(shí)線箭頭表 示在與直線HRu正交的方向上亮度值被掃描的形態(tài)。以橫切與直線HR12 對(duì)應(yīng)的邊緣存在的部分的方式沿垂直方向進(jìn)行掃描，同時(shí)取得小圖像GR! 內(nèi)的各像素的亮度值，由此求取直線HRu的正交方向上的亮度值的分布。 針對(duì)多行(該情況下為垂直行)進(jìn)行掃描，將所求得的多個(gè)分布的平均作 為對(duì)直線HR,2最終應(yīng)該求得的分布212。而且，根據(jù)分布211及212，求取邊緣寬度WL,2或WR12。邊緣寬度 WL,2表示在與直線瓜12對(duì)應(yīng)的小圖像GL,內(nèi)的邊緣部分中亮度值開始變 化到變化結(jié)束為止的垂直方向的像素?cái)?shù)，邊緣寬度WR!2表示在與直線 HRu對(duì)應(yīng)的小圖像GR,內(nèi)的邊緣部分中從亮度值開始變化到變化結(jié)束為 止的垂直方向的像素?cái)?shù)。在本例中，為"WL12 —WR12"。該情況對(duì)應(yīng)于修 正對(duì)象圖像E1的曝光期間中幾乎沒有發(fā)生垂直方向的手抖。雖然關(guān)注小圖像GI^及GRp說明了邊緣寬度的計(jì)算方法，但針對(duì)其他的小圖像GL2 GL8及GR2 GR8也同樣求取邊緣寬度及邊緣寬度的差。將表示小圖像的編號(hào)的變量設(shè)為i，將表示直線的編號(hào)的變量設(shè)為j (i及j為整數(shù))。這樣，由小圖像GLi及GRi中提取出直線HLij及HRij后，求取 與直線H"及HRij對(duì)應(yīng)的邊緣寬度W"及WRy。然后，根據(jù)式"Dy二WLjj 一WRy"來計(jì)算表示邊緣寬度的差的Dij。假設(shè)從小圖像GL, GL8的每一 個(gè)小圖像中各提取出2條直線，則求取共計(jì)16個(gè)邊緣寬度的差Dij (在此， i為l以上8以下的整數(shù)，j為l或2)。在本實(shí)施方式中，將與所求出的多個(gè)差Dij的最大值對(duì)應(yīng)的直線對(duì)確 定為手抖檢測(cè)用直線對(duì)，根據(jù)該手抖檢測(cè)用直線對(duì)所對(duì)應(yīng)的邊緣寬度的差 及直線方向，求取與修正對(duì)象圖像E1的整體對(duì)應(yīng)的PSF。例如，考慮所求出的多個(gè)差Dij中的、與圖22對(duì)應(yīng)的差D (=WL —WR )最大的情況。該情況下，將直線HLn及HRu確定為手抖檢測(cè)用 直線對(duì)，將與直線HLn及HR 對(duì)應(yīng)的差D 代入表示最大差的變量DMAX 中。而且，生成在直線HL 的正交方向上對(duì)圖像進(jìn)行平滑化用的平滑函 數(shù)。以圖24所示的、直線HL 的正交方向上抽頭數(shù)(濾波器尺寸)為DMAX 的空間濾波器220來表示該平滑函數(shù)。在該空間濾波器220中，僅向沿直 線HLu的正交方向的要素提供0以外的恒定的濾波系數(shù)，對(duì)其他要素提 供濾波系數(shù)O。圖24的空間濾波器具有5X5的濾波器尺寸，僅對(duì)垂直方 向正中的行的各要素提供濾波系數(shù)1，其他要素的濾波系數(shù)為0。另外， 實(shí)際上以全部濾波系數(shù)的總和為1的方式進(jìn)行標(biāo)準(zhǔn)化。而且，手抖檢測(cè)/修正部20通過將該平滑函數(shù)作為修正對(duì)象圖像El 整體的PSF進(jìn)行處理，從而對(duì)修正對(duì)象圖像E1的晃動(dòng)進(jìn)行修正。在修正 對(duì)象圖像E1的曝光期間中對(duì)攝像裝置la起作用的手抖的方向及速度恒定 的假設(shè)條件下，上述的PSF很好地發(fā)揮作用。若該假設(shè)正確且上述的平滑 函數(shù)可以正確地表示修正對(duì)象圖像El的PSF，則通過對(duì)沒有晃動(dòng)的理想 圖像實(shí)施采用空間濾波器220的空間濾波，從而可以得到與修正對(duì)象圖像 El同等的圖像。圖25是表示包含上述處理動(dòng)作的手抖檢測(cè)的動(dòng)作流程的流程圖。圖 25所示的步驟S151 S155的各處理，由手抖檢測(cè)/修正部20來執(zhí)行。 取得修正對(duì)象圖像E1及參照?qǐng)D像E2后，在步驟S151中，從參照?qǐng)D像E2中提取多個(gè)特征性的小區(qū)域，將各小區(qū)域內(nèi)的圖像作為小圖像GRj 存儲(chǔ)到存儲(chǔ)器上。在接下來的步驟S152中，從修正對(duì)象圖像E1中提取與 各小圖像GRi對(duì)應(yīng)的小區(qū)域，將從修正對(duì)象圖像E1中提取出的小區(qū)域內(nèi) 的圖像作為小圖像GLi存儲(chǔ)到存儲(chǔ)器上。該時(shí)刻，例如生成圖18所示的 小圖像GL, GLs與小圖像GR, GR8。步驟S152的處理之后移至步驟S153。在步驟S153中，反復(fù)執(zhí)行針對(duì) 變量i的循環(huán)處理，該循環(huán)處理中包含針對(duì)變量j的循環(huán)處理。在步驟S153 中，生成小圖像GRj的邊緣提取圖像ERi，從該邊緣提取圖像ERi中提取l 條或多條直線HRjj，進(jìn)而從小圖像GLi中提取與直線HRjj對(duì)應(yīng)的直線HLjj。 而且，關(guān)注互相對(duì)應(yīng)的直線HLij及HRij，計(jì)算這些直線的邊緣寬度WLy 及WRij，求取其差Djj (-WLjj—WRij)。在步驟S153中，針對(duì)變量i能取 的值的每一個(gè)且針對(duì)變量j能取的值的每一個(gè)進(jìn)行同樣的處理。結(jié)果，在 從步驟S153移向步驟S154的時(shí)刻，可以計(jì)算針對(duì)i與j的所有組合的差 Dij。例如，若在步驟S151中通過提取8個(gè)小區(qū)域而生成小圖像GR! GRs， 且從小圖像GR, GRs的每一個(gè)中各提取出2條直線，則求取共計(jì)16個(gè)邊 緣寬度的差Dij (在此，i為1以上8以下的整數(shù)，j為1或2)。在步驟S154中，確定步驟S153中求出的全部邊緣寬度的差Dij中的最大值DMAx，將與該最大值DMAx對(duì)應(yīng)的直線對(duì)確定為手抖檢測(cè)用直線對(duì)。進(jìn)而，在步驟S155中，根據(jù)該手抖檢測(cè)用直線對(duì)和最大值DMAx，計(jì)算表 示為平滑函數(shù)的PSF。例如，在求出的全部差Dij中的與圖22對(duì)應(yīng)的差 D (=WL —WR )為最大值DMAx的情況下，將直線HLu及HR確定 為手抖檢測(cè)用直線對(duì)，計(jì)算由圖24的空間濾波器220表示的PSF。算出PSF后的手抖修正動(dòng)作與第一實(shí)施方式中描述的同樣。即，手抖 檢測(cè)/修正部20將步驟S155中求出的PSF的逆矩陣的各要素作為圖像復(fù) 原濾波器的各濾波系數(shù)進(jìn)行求取，利用具有該各濾波系數(shù)的圖像復(fù)原濾波 器對(duì)修正對(duì)象圖像E1的整體進(jìn)行濾波。而且，將該濾波后的圖像或者對(duì) 此實(shí)施了振鈴信號(hào)除去處理的圖像作為最終的修正圖像。該修正圖像是除 去或降低了修正對(duì)象圖像E1所包含的晃動(dòng)的圖像。在本實(shí)施方式中，由于是在修正對(duì)象圖像E1的曝光期間中作用于攝 像裝置la的手抖的方向及速度恒定的假設(shè)條件下來求取作為圖像劣化系數(shù)的PSF (換言之折疊劣化函數(shù))，故對(duì)于不適用該假設(shè)條件的手抖來說其修正效果較低。然而，由于可以以較少的處理量簡(jiǎn)單地求取PSF，故是實(shí)用的。再有，本實(shí)施方式適用上述的第二實(shí)施例(參照?qǐng)D7)，也能根據(jù)得到 修正對(duì)象圖像El用的通常曝光攝影之前或之后取得的直通顯示用圖像來 生成參照?qǐng)D像E2 (其中需要使該直通顯示用圖像的曝光時(shí)間比修正對(duì)象 圖像E1的曝光時(shí)間短)。在該直通顯示用圖像的圖像尺寸比修正對(duì)象圖像 El的圖像尺寸還小的情況下，對(duì)直通顯示用圖像實(shí)施使兩者的圖像尺寸 相同用的圖像放大處理，來生成參照?qǐng)D像E2即可。相反，通過對(duì)借助通 常曝光攝影得到的圖像實(shí)施圖像縮小處理，也可以實(shí)現(xiàn)圖像尺寸的相同 化。還有，本實(shí)施方式適用上述的第四實(shí)施例(參照?qǐng)D13)，也可以根據(jù) 得到修正對(duì)象圖像El用的通常曝光攝影之前及之后取得的兩個(gè)參照?qǐng)D像 中的任一方參照?qǐng)D像來生成參照?qǐng)D像E2。這兩個(gè)參照?qǐng)D像中的一方可以 是直通顯示用圖像。當(dāng)然，這兩個(gè)參照?qǐng)D像的各曝光時(shí)間比修正對(duì)象圖像 El的曝光時(shí)間還短。另外，針對(duì)第一實(shí)施方式描述的注釋3 注釋5的記載內(nèi)容同樣也能 適用于第二實(shí)施方式。圖17的手抖檢測(cè)/修正部20在作為晃動(dòng)檢測(cè)裝置起 作用的同時(shí)，也能作為晃動(dòng)修正裝置起作用。手抖檢測(cè)/修正部20中還包 含生成與整個(gè)修正對(duì)象圖像對(duì)應(yīng)的PSF的晃動(dòng)信息生成單元；或提取作 為修正對(duì)象圖像或參照?qǐng)D像的一部分圖像的小圖像的提取單元。《第三實(shí)施方式》接著，對(duì)本發(fā)明第三實(shí)施方式進(jìn)行說明。通過短時(shí)間曝光攝影得到的 圖像(以下也稱之為"短曝光圖像")所包含的晃動(dòng)比通過通常曝光攝影 得到的圖像(以下也稱之為"通常曝光圖像")所包含的晃動(dòng)還小，因此 上述的手抖修正方法是非常有益的。但是，手抖對(duì)短曝光圖像的影響并不 是完全沒有的，由于短時(shí)間曝光攝影的曝光期間內(nèi)的手抖或被攝體晃動(dòng) (被攝體在實(shí)際空間中的活動(dòng))，短曝光圖像中也會(huì)包含無法忽略程度的 晃動(dòng)。因此，在第三實(shí)施方式中，通過多次短時(shí)間曝光攝影取得多個(gè)短曝光圖像，由該多個(gè)短曝光圖像生成用于通常曝光圖像的手抖修正的參照?qǐng)D 像。圖26是第三實(shí)施方式涉及的攝像裝置lb的整體框圖。攝像裝置lb 具備參照標(biāo)記11 18及21的各部位。參照標(biāo)記11 18的各部位和圖1 的各部位相同，省略對(duì)同一部分的重復(fù)說明。如果將圖1的攝像裝置1中 的手抖檢測(cè)/修正部19置換為手抖修正部21，就可以得到攝像裝置lb。在攝影模式下按下快門按鈕17a時(shí)，進(jìn)行通常曝光攝影，主控制部13 將表示通過該攝影得到的1幅攝影圖像的圖像數(shù)據(jù)存儲(chǔ)到記錄介質(zhì)16及 內(nèi)部存儲(chǔ)器14 (即，使其進(jìn)行存儲(chǔ))。該攝影圖像是可以包含手抖所引起 的晃動(dòng)的圖像，然后根據(jù)通過操作部17等提供的修正指示或者自動(dòng)由手 抖修正部21進(jìn)行修正。因此，與第一實(shí)施方式同樣，將通過通常曝光攝 影得到的上述的1幅攝影圖像尤其稱為"修正對(duì)象圖像"。手抖修正部21 不利用角速度傳感器等手抖檢測(cè)用傳感器，而是根據(jù)由攝像部11的輸出 信號(hào)得到的圖像數(shù)據(jù)，對(duì)修正對(duì)象圖像所包含的晃動(dòng)進(jìn)行修正。以下，作為詳細(xì)說明手抖修正部21的功能的實(shí)施例，說明第六 第 十一實(shí)施例。記載于某實(shí)施例的事項(xiàng)只要不矛盾就可以適用于其他實(shí)施 例。另外，在以下的描述中，在單稱為"存儲(chǔ)器"的情況下，其是指內(nèi)部 存儲(chǔ)器14或設(shè)于手抖修正部21內(nèi)的未圖示的存儲(chǔ)器。[第六實(shí)施例〗首先對(duì)第六實(shí)施例進(jìn)行說明。在第六實(shí)施例中，由多個(gè)短曝光圖像中 選擇l幅例如推測(cè)為所含晃動(dòng)最少的短曝光圖像。然后，將所選擇的短曝 光圖像作為參照?qǐng)D像且將通過通常曝光攝影得到的圖像作為修正對(duì)象圖 像進(jìn)行處理，根據(jù)修正對(duì)象圖像和參照?qǐng)D像進(jìn)行修正對(duì)象圖像的手抖修 正。圖27是表示攝像裝置lb進(jìn)行的、該手抖修正的動(dòng)作流程的流程圖。 根據(jù)該流程圖，對(duì)攝像裝置lb的動(dòng)作進(jìn)行說明。在攝影模式下若按下快門按鈕17a，則進(jìn)行通常曝光攝影，將由此生 成的通常曝光圖像作為修正對(duì)象圖像Lw存儲(chǔ)到存儲(chǔ)器上(步驟S201及 S202)。接著，在步驟S203中，對(duì)得到修正對(duì)象圖像Lw時(shí)的曝光時(shí)間Tl和閾值TTH進(jìn)行比較，在曝光時(shí)間Tl小于閾值TTH的情況下，認(rèn)為修正對(duì)象圖像LW中未含有(或極其輕微地含有)手抖所導(dǎo)致的晃動(dòng)，不進(jìn)行 手抖修正，結(jié)束圖27的處理。作為閾值TTH，例如采用根據(jù)焦距fo的倒 數(shù)算出的手抖界限曝光時(shí)間。
在曝光時(shí)間Tl大于閾值TxH的情況下，在主控制部13的控制之下， 在通常曝光攝影之后連續(xù)執(zhí)行N次短時(shí)間曝光攝影，取得短曝光圖像 Cw, Cwn。手抖修正部21通過執(zhí)行步驟S206 S209的處理，從而計(jì)算 與短曝光圖像Cw, CwN對(duì)應(yīng)的評(píng)價(jià)值K廣KN，并根據(jù)評(píng)價(jià)值K, KN， 從短曝光圖像C^ Cww中選擇l幅短曝光圖像，作為參照?qǐng)D像。在此， N為2以上的整數(shù)，例如為4。雖然修正對(duì)象圖像Lw與短曝光圖像Cw, Cww是通過連續(xù)攝影得到的，但主控制部13對(duì)曝光控制部18進(jìn)行控制， 以使得到各短曝光圖像時(shí)的曝光時(shí)間比曝光時(shí)間Tl還短。例如，各短曝 光圖像的曝光時(shí)間為T1/4。再有，修正對(duì)象圖像Lw與各短曝光圖像的圖 像尺寸相等。
更具體地說明各步驟的處理內(nèi)容。在曝光時(shí)間Tl大于閾值Tth的情 況下，從步驟S203移向步驟S204。在步驟S204中，引入變量i并將初始 值l代入變量i。然后，移至步驟S205，執(zhí)行l(wèi)次短時(shí)間曝光攝影，將由 此得到的短曝光圖像作為短曝光圖像Cw存儲(chǔ)到存儲(chǔ)器上。該存儲(chǔ)器是能 夠存儲(chǔ)1幅份短曝光圖像的圖像數(shù)據(jù)的短曝光圖像用存儲(chǔ)器。因此，例如 在i=l時(shí)將短曝光圖像C^存儲(chǔ)到短曝光圖像用存儲(chǔ)器上，在i=2時(shí)將
短曝光圖像CW2存儲(chǔ)到短曝光圖像用存儲(chǔ)器上。
在緊接于步驟S205之后的步驟S206中，手抖修正部21計(jì)算與短曝 光圖像Cwi對(duì)應(yīng)的評(píng)價(jià)值Ki。作為原則，評(píng)價(jià)值Ki取與短曝光圖像Cwi 所包含的晃動(dòng)的大小(以下也稱之為"晃動(dòng)量")對(duì)應(yīng)的值，短曝光圖像 Cwi的晃動(dòng)量越小，評(píng)價(jià)值Ki越大(包括例外情況，評(píng)價(jià)值Ki的計(jì)算方 法在第九實(shí)施例中詳細(xì)說明)。
然后，移向步驟S207，對(duì)步驟S206中算出的最新的評(píng)價(jià)值Ki和表示
之前算出的評(píng)價(jià)值(即的最大值的變量KMAX進(jìn)行比較，在前
者大于后者的情況下或者變量i^1的情況下，在步驟S208中將短曝光圖 像Cwi作為參照?qǐng)D像Rw存儲(chǔ)到存儲(chǔ)器上，并且在步驟S209中將評(píng)價(jià)值 Ki代入變量KMAx中，然后移至步驟S210。另一方面，在"i^l"且"Ki《Kmax"成立的情況下，從步驟S207直接移向步驟S210。在步驟S210中， 判斷變量i是否與N的值一致，在為"i=N"的情況下從步驟S210移向 步驟S212，而在為"i^N"的情況下從步驟S210移向步驟S211，將變量 i加1后返回到步驟S205，重復(fù)執(zhí)行步驟S205以后的上述各處理。
結(jié)果，執(zhí)行N次步驟S205及S206的各處理，在到達(dá)步驟S212的時(shí) 刻，與短曝光圖像Cw, CwN對(duì)應(yīng)的評(píng)價(jià)值K廣KN被全部計(jì)算出來，將 評(píng)價(jià)值K, KN內(nèi)的最大值代入變量Kmax，并且將與該最大值對(duì)應(yīng)的短曝 光圖像作為參照?qǐng)D像Rw存儲(chǔ)到存儲(chǔ)器上。例如，若評(píng)價(jià)值K^ Kw中的 評(píng)價(jià)值KN.,最大，則在將短曝光圖像CwN.,作為參照?qǐng)D像Rw存儲(chǔ)到存儲(chǔ) 器上的狀態(tài)下到達(dá)步驟S212。另外，存儲(chǔ)參照?qǐng)D像Rw的存儲(chǔ)器是能存儲(chǔ) 1幅份的參照?qǐng)D像Rw的圖像數(shù)據(jù)的參照?qǐng)D像用存儲(chǔ)器，在需要將新的圖 像數(shù)據(jù)存儲(chǔ)到參照?qǐng)D像用存儲(chǔ)器上的情況下，針對(duì)存儲(chǔ)了舊圖像數(shù)據(jù)的存 儲(chǔ)器區(qū)域覆蓋存儲(chǔ)新的圖像數(shù)據(jù)。
在步驟S212中，手抖修正部21根據(jù)存儲(chǔ)在參照?qǐng)D像用存儲(chǔ)器上的參 照?qǐng)D像Rw與步驟S202中得到的修正對(duì)象圖像Lw，實(shí)施針對(duì)修正對(duì)象圖 像Lw的手抖修正，生成降低了修正對(duì)象圖像Lw中的晃動(dòng)的修正圖像Qw (以后在第十實(shí)施例中描述修正方法)。該修正圖像Qw被記錄于記錄介 質(zhì)16且用顯示部15進(jìn)行顯示。
如上所述，通過生成參照?qǐng)D像Rw，從而例如即使在多個(gè)短時(shí)間曝光 攝影中的一部分期間內(nèi)產(chǎn)生了大的手抖或被攝體晃動(dòng)，也可以將手抖影響 較小的短曝光圖像選擇為參照?qǐng)D像Rw，因此能夠高精度地執(zhí)行手抖修正。 一般，雖然由于手抖而導(dǎo)致圖像的高頻成分衰減，但若將手抖影響最小的 短曝光圖像用作參照?qǐng)D像，則可以對(duì)更高頻域的頻率成分進(jìn)行手抖修正。 再有，通過如步驟S205 S211那樣進(jìn)行處理并覆蓋存儲(chǔ)短曝光圖像及參 照?qǐng)D像，從而可以將短曝光圖像用存儲(chǔ)器及參照?qǐng)D像用存儲(chǔ)器各自所需的 存儲(chǔ)器容量抑制到1幅圖像份。
接著對(duì)第七實(shí)施例進(jìn)行說明。在第七實(shí)施例中，由多個(gè)短曝光圖像中 選擇2幅以上例如推測(cè)為所含晃動(dòng)較少的短曝光圖像，將所選擇的短曝光圖像進(jìn)行合成而生成1幅參照?qǐng)D像。然后，根據(jù)生成的參照?qǐng)D像且將通過 通常曝光攝影得到的修正對(duì)象圖像，進(jìn)行修正對(duì)象圖像的手抖修正。圖28 是表示攝像裝置lb進(jìn)行的、該手抖修正的動(dòng)作流程的流程圖。根據(jù)該流 程圖，對(duì)攝像裝置lb的動(dòng)作進(jìn)行說明。
在攝影模式下若按下快門按鈕17a，則進(jìn)行通常曝光攝影，將由此生 成的通常曝光圖像作為修正對(duì)象圖像Lw存儲(chǔ)到存儲(chǔ)器上(步驟S221及 S222)。接著，在步驟S223中，對(duì)得到修正對(duì)象圖像Lw時(shí)的曝光時(shí)間Tl 和閾值Tra進(jìn)行比較，在曝光時(shí)間Tl小于閾值Tth的情況下，認(rèn)為修正 對(duì)象圖像Lw中未含有(或極其輕微地含有)手抖所導(dǎo)致的晃動(dòng)，不進(jìn)行 手抖修正，結(jié)束圖28的處理。
在曝光時(shí)間Tl大于閾值TTH的情況下，在主控制部13的控制之下， 在通常曝光攝影之后連續(xù)執(zhí)行N次短時(shí)間曝光攝影，取得短曝光圖像 CWl CwN。手抖修正部21通過執(zhí)行步驟S226及S227的處理，從而計(jì)算 與短曝光圖像Cw, CwN對(duì)應(yīng)的評(píng)價(jià)值K, Kn，并根據(jù)評(píng)價(jià)值K, Kn， 從短曝光圖像Cw, CwN中選擇M幅短曝光圖像。在此，M為2以上的 整數(shù)，不等式"N〉M"成立。因此，在第七實(shí)施例中N為3以上的整數(shù)。 例如N二4。雖然修正對(duì)象圖像Lw與短曝光圖像Cw! CwN是通過連續(xù)攝 影得到的，但主控制部13對(duì)曝光控制部18進(jìn)行控制，以使得到各短曝光 圖像時(shí)的曝光時(shí)間比曝光時(shí)間Tl還短。例如，各短曝光圖像的曝光時(shí)間 為T1/4。再有，修正對(duì)象圖像Lw與各短曝光圖像的圖像尺寸相等。
更具體地說明各步驟的處理內(nèi)容。在曝光時(shí)間Tl大于閾值Tth的情 況下，從步驟S223移向步驟S224。在步驟S224中，引入變量i并將初始 值l代入變量i。然后，移至步驟S225，執(zhí)行l(wèi)次短時(shí)間曝光攝影，將由 此得到的短曝光圖像作為短曝光圖像Cwi存儲(chǔ)到存儲(chǔ)器上。該存儲(chǔ)器是能 夠存儲(chǔ)1幅份短曝光圖像的圖像數(shù)據(jù)的短曝光圖像用存儲(chǔ)器。因此，例如 在i=l時(shí)將短曝光圖像CWi存儲(chǔ)到短曝光圖像用存儲(chǔ)器上，在i=2時(shí)將
短曝光圖像CW2存儲(chǔ)到短曝光圖像用存儲(chǔ)器上。
在緊接于步驟S225之后的步驟S226中，手抖修正部21計(jì)算與短曝 光圖像Cwi對(duì)應(yīng)的評(píng)價(jià)值Ki (計(jì)算方法在第九實(shí)施例中詳細(xì)說明)。該評(píng) 價(jià)值Kj與圖27的步驟S206中算出的評(píng)價(jià)值相同。然后，移至步驟S227，將至今為止算出的評(píng)價(jià)值K, Kj從大的開始 按照順序排列，從i幅短曝光圖像Cw, Cwi中選擇與第1 第M大的評(píng) 價(jià)值對(duì)應(yīng)的短曝光圖像，將選出的M幅短曝光圖像作為被合成圖像Dw, dwm記錄到存儲(chǔ)器上。例如，在i二3且M-2、而且不等式"K^K^K/ 成立的情況下，從3幅短曝光圖像Cw, Cw3選擇2幅短曝光圖像CW2及 Cw3，將該短曝光圖像Cw2及Cw3作為被合成圖像Dw,及Dw2記錄在存儲(chǔ) 器上。當(dāng)然，由于變量i小且不等式"i<M"成立的階段取得的短曝光圖 像的總幅數(shù)不足M幅，故該情況下將短曝光圖形Cw, Cwi直接作為被合 成圖像Dw, DWj記錄在存儲(chǔ)器上。另外，存儲(chǔ)被合成圖像的存儲(chǔ)器為能 存儲(chǔ)多幅被合成圖像的圖像數(shù)據(jù)的被合成圖像用存儲(chǔ)器，在存儲(chǔ)有多幅圖 像數(shù)據(jù)的狀態(tài)下需要存儲(chǔ)新的圖像數(shù)據(jù)的情況下，對(duì)記錄了不需要的舊圖 像數(shù)據(jù)的存儲(chǔ)器區(qū)域覆蓋記錄該新的圖像數(shù)據(jù)。
在步驟S227的處理之后的步驟S228中，判斷變量i與N的值是否一 致，在為"i=N"的情況下從步驟S228移向步驟S230，而在為"i^N" 的情況下從步驟S228移向步驟S229，將變量i加1后返回到步驟S225， 反復(fù)執(zhí)行步驟S225以后的上述各處理。結(jié)果，執(zhí)行N次步驟S225 S227 的各處理，在到達(dá)步驟S230的時(shí)刻，與短曝光圖像Cw, CwN對(duì)應(yīng)的評(píng) 價(jià)值K! K^被全部計(jì)算出來，將評(píng)價(jià)值K, Kn內(nèi)的第1 第M大的評(píng) 價(jià)值所對(duì)應(yīng)的M幅短曝光圖像作為被合成圖像Dw, DwM存儲(chǔ)到被合成 圖像用存儲(chǔ)器上。
在步驟S230中，手抖修正部21通過對(duì)被合成圖像Dw! DwM進(jìn)行對(duì) 位后進(jìn)行合成，從而生成1幅參照?qǐng)D像Rw。例如，將被合成圖像Dw,作
為基準(zhǔn)圖像且將被合成圖像DW2 dwm的每一個(gè)作為非基準(zhǔn)圖像，使各非
基準(zhǔn)圖像與基準(zhǔn)圖像對(duì)位后進(jìn)行合成。其中"對(duì)位"與后述的"位置偏離 修正"的含義相同。
說明對(duì)1幅基準(zhǔn)圖像與1幅非基準(zhǔn)圖像進(jìn)行對(duì)位并進(jìn)行合成的處理。 例如，利用哈里斯的拐角檢測(cè)器從基準(zhǔn)圖像中提取特征性的小區(qū)域(例如 32X32像素的小區(qū)域)。特征性的小區(qū)域是指提取源圖像中邊緣成分較多 的(換言之對(duì)比度比較強(qiáng)的)矩形區(qū)域，例如是含有特征性的圖案的區(qū)域。 所謂特征性的圖案例如是指物體的角部等在兩個(gè)方向以上具有亮度變化，根據(jù)該亮度變化可以容易地檢測(cè)出該圖案的位置(圖像上的位置)的圖案。 而且，將從基準(zhǔn)圖像提取出的該小區(qū)域內(nèi)的圖像作為模板，采用模板匹配 法從非基準(zhǔn)圖像中提取與該模板的類似程度最高的小區(qū)域。并且，將搜索 出的小區(qū)域的位置(非基準(zhǔn)圖像上的位置)和從基準(zhǔn)圖像提取出的小區(qū)域 的位置(基準(zhǔn)圖像上的位置)的偏差量作為位置偏離量Ad進(jìn)行計(jì)算。位 置偏離量Ad是包含水平成分與垂直成分的二維量，表現(xiàn)為所謂的運(yùn)動(dòng)向
量。非基準(zhǔn)圖像可以視為以基準(zhǔn)圖像為基準(zhǔn)產(chǎn)生了相當(dāng)于位置偏離量Ad 份的位置偏離的圖像。因此，以抵消該位置偏離量Ad的方式對(duì)非基準(zhǔn)圖 像進(jìn)行坐標(biāo)變換(仿射(affine)變換等)，從而對(duì)非基準(zhǔn)圖像進(jìn)行位置偏 離修正。例如，求取進(jìn)行該坐標(biāo)變換用的幾何變換參數(shù)，通過將非基準(zhǔn)圖 像坐標(biāo)變換到定義了基準(zhǔn)圖像的坐標(biāo)上，從而進(jìn)行位置偏離修正。位置偏 離修正前的非基準(zhǔn)圖像內(nèi)的位于坐標(biāo)(x+Adx,y+Ady)的像素，通過位置 偏離修正而變換為位于坐標(biāo)(x，y)的像素。Adx及Ady分別為Ad的水平成 分及垂直成分。而且，對(duì)基準(zhǔn)圖像和位置偏離修正后的非基準(zhǔn)圖像進(jìn)行合 成。通過合成而得到的圖像內(nèi)的位于坐標(biāo)(x，y)的像素的像素信號(hào)，相當(dāng) 于將位于坐標(biāo)(x，y)的基準(zhǔn)圖像內(nèi)的像素的像素信號(hào)和位于坐標(biāo)(x，y) 的位置偏離修正后的非基準(zhǔn)圖像內(nèi)的像素的像素信號(hào)進(jìn)行了相加運(yùn)算后 的信號(hào)。
對(duì)各非基準(zhǔn)圖像執(zhí)行上述的對(duì)位及合成處理。由此，得到對(duì)被合成圖 像Dw,和位置偏離修正后的被合成圖像DW2 DWM進(jìn)行合成后的圖像， 將所得到的圖像作為參照?qǐng)D像Rw存儲(chǔ)到存儲(chǔ)器上。另外，也可以從基準(zhǔn) 圖像中提取多個(gè)特征性的小區(qū)域，利用模板匹配法，從非基準(zhǔn)圖像中搜索 與該多個(gè)小區(qū)域?qū)?yīng)的多個(gè)小區(qū)域，根據(jù)基準(zhǔn)圖像內(nèi)提取出的多個(gè)小區(qū)域 的位置和非基準(zhǔn)圖像內(nèi)搜索出的多個(gè)小區(qū)域的位置，求取上述的幾何變換 參數(shù)，進(jìn)行上述的位置偏離修正。
在步驟S230中生成參照?qǐng)D像Rw后，在步驟S231中，手抖修正部21 根據(jù)所生成的參照?qǐng)D像Rw與步驟S222中得到的修正對(duì)象圖像Lw，實(shí)施 針對(duì)修正對(duì)象圖像Lw的手抖修正，生成降低了修正對(duì)象圖像Lw中的晃 動(dòng)后的修正圖像Qw (以后在第十實(shí)施例中描述修正方法)。該修正圖像 Qw被記錄于記錄介質(zhì)16且由顯示部15進(jìn)行顯示。如上所述通過生成參照?qǐng)D像Rw，從而例如即使在多個(gè)短時(shí)間曝光攝 影中的一部分期間內(nèi)產(chǎn)生了大的手抖或被攝體晃動(dòng)，也由于該期間內(nèi)得到 的短曝光圖像不會(huì)通過評(píng)價(jià)值比較運(yùn)算而成為被合成圖像，故能夠高精度 地執(zhí)行手抖修正。再有，通過對(duì)M幅的短曝光圖像進(jìn)行對(duì)位及合成而生成參照?qǐng)D像Rw，故不但參照?qǐng)D像Rw的晃動(dòng)量和1幅的短曝光圖像的晃 動(dòng)量同等，而且通過像素值相加運(yùn)算合成，參照?qǐng)D像Rw的S/N比(信噪 比)也會(huì)比1幅短曝光圖像的S/N比還要高。因此，可以實(shí)現(xiàn)更高精度的 手抖修正。再有，通過如步驟S225 S229那樣進(jìn)行處理并覆蓋存儲(chǔ)短曝 光圖像及被合成圖像，從而可以將短曝光圖像用存儲(chǔ)器所需的存儲(chǔ)器容量 抑制到1幅圖像份，將被合成圖像用存儲(chǔ)器所需的存儲(chǔ)器容量抑制到M幅 圖像份。[第八實(shí)施例]接著，對(duì)第八實(shí)施例進(jìn)行說明。第八實(shí)施例通過切換執(zhí)行第六實(shí)施例 的參照?qǐng)D像生成方法(以下也稱之為1幅選擇方式)和第七實(shí)施例的參照 圖像生成方式(以下也稱之為多幅合成方式)，從而進(jìn)行手抖修正。該切 換控制通過推測(cè)短曝光圖像的S/N比而進(jìn)行。圖29是表示攝像裝置lb進(jìn) 行的該手抖修正的動(dòng)作流程的流程圖。根據(jù)該流程圖，對(duì)攝像裝置lb的 動(dòng)作進(jìn)行說明。再有，也參照?qǐng)D30。圖30中示出設(shè)置在攝像裝置lb內(nèi)的 測(cè)光電路22及LUT (查找表)23。在攝影模式下，若按下快門按鈕17a，則主控制部13從測(cè)光電路22 取得明亮度信息，根據(jù)該明亮度信息計(jì)算攝像部11的攝像元件所對(duì)應(yīng)的 最佳曝光時(shí)間(步驟S241及S242)。測(cè)光電路22利用測(cè)光傳感器(未圖 示)或者攝像元件的輸出信號(hào)，測(cè)量被攝體的明亮度(換言之向攝像部11 的入射光量)。明亮度信息是表示該測(cè)量結(jié)果的信息。接著，在步驟S243 中，主控制部13根據(jù)最佳曝光時(shí)間和預(yù)先設(shè)定的程序線圖，決定實(shí)際的 曝光時(shí)間(以下稱之為實(shí)際曝光時(shí)間)。LUT23中預(yù)先存儲(chǔ)有表示程序線 圖的表格數(shù)據(jù)，若將明亮度信息輸入LUT23，根據(jù)該表格數(shù)據(jù)，從LUT23 輸出實(shí)際曝光時(shí)間、光圈值及AFE12的放大度。主控制部13根據(jù)LUT23 的輸出來決定實(shí)際曝光時(shí)間。進(jìn)而，根據(jù)從LUT23輸出的光圈值及AFE12的放大度，規(guī)定通常曝光攝影及短時(shí)間曝光攝影中的光圈值(攝像部11的光圈的開度)及AFE12的放大度。在接下來的步驟S244中，在由步驟S243中決定的實(shí)際曝光時(shí)間內(nèi)進(jìn) 行通常曝光攝影，將由此生成的通常曝光圖像作為修正對(duì)象圖像Lw存儲(chǔ) 在存儲(chǔ)器上。其中，在實(shí)際曝光時(shí)間比最佳曝光時(shí)間還短的情況下，將以 補(bǔ)償與實(shí)際曝光時(shí)間和最佳曝光時(shí)間之比對(duì)應(yīng)的曝光不足部分的方式將 通常曝光圖像的各像素值乘以一定值而得到的像素值放大圖像作為修正 對(duì)象圖像Lw存儲(chǔ)到存儲(chǔ)器上。此時(shí)，也可以根據(jù)需要對(duì)像素值放大圖像 進(jìn)行噪聲除去處理，將除去噪聲后的像素值放大圖像作為修正對(duì)象圖像 Lw存儲(chǔ)在存儲(chǔ)器上。噪聲除去通過利用線性濾波器(加權(quán)平均濾波器等) 或非線性濾波器(中值濾波器等)對(duì)像素值放大圖像進(jìn)行濾波而進(jìn)行。然后，在步驟S245中，對(duì)得到修正對(duì)象圖像Lw時(shí)的實(shí)際曝光時(shí)間和 上述的閾值Tra進(jìn)行比較，在實(shí)際曝光時(shí)間小于閾值TTH時(shí)，認(rèn)為修正對(duì) 象圖像Lw中未含有(或極其輕微地含有)手抖所導(dǎo)致的晃動(dòng)，不進(jìn)行手 抖修正，結(jié)束圖29的處理。在實(shí)際曝光時(shí)間大于閾值TTH時(shí)，在步驟S246中，主控制部13計(jì)算 基于最佳曝光時(shí)間的短曝光時(shí)間Topt。在接下來的步驟S247中，主控制 部13計(jì)算基于實(shí)際曝光時(shí)間的短曝光時(shí)間Treal。所謂短曝光時(shí)間是指短 時(shí)間曝光攝影中的曝光時(shí)間。例如，將短曝光時(shí)間Topt設(shè)為最佳曝光時(shí)間 的1/4且將短曝光時(shí)間Treal設(shè)為實(shí)際曝光時(shí)間的1/4。然后，在步驟S248 中，主控制部13判斷不等式"TreaKToptXkro"是否成立。系數(shù)kro是滿 足不等式"0<kro<l"的預(yù)定系數(shù)，例如kro二0.8。而且，在不等式"TreaKToptXkro"不成立的情況下，由于推斷為短 曝光時(shí)間Treal內(nèi)應(yīng)取得的短曝光圖像的S/N比比較高，因此移至步驟 S249，手抖修正部21采用可以通過比較簡(jiǎn)單的處理進(jìn)行手抖修正的1幅 選擇方式，生成參照?qǐng)D像Rw。即，在步驟S249中，進(jìn)行圖27的步驟S205 S211的各處理，生成參照?qǐng)D像Rw。另一方面，在不等式"TreaKToptXkro"成立的情況下，由于推斷為 短曝光時(shí)間Treal內(nèi)應(yīng)取得的短曝光圖像的S/N比較低，故移至步驟S250， 手抖修正部21采用可以降低噪聲影響的多幅合成方式生成參照?qǐng)D像Rw。即，在步驟S250中進(jìn)行圖28的步驟S225 S230的各處理，生成參照?qǐng)D 像Rw。另外，無論在步驟S249中，還是在步驟S250中，將短時(shí)間曝光 攝影中的實(shí)際的曝光時(shí)間都設(shè)為Treal。在步驟S249或步驟S250中生成參照?qǐng)D像Rw后，在步驟S251中， 手抖修正部21根據(jù)該參照?qǐng)D像Rw與步驟S244中取得的修正對(duì)象圖像 Lw，生成修正圖像Qw (在第十實(shí)施例中后述修正方法)。將該修正圖像 Qw記錄在記錄介質(zhì)16中并且用顯示部15進(jìn)行顯示。為了抑制暗處攝影時(shí)手抖或被攝體晃動(dòng)引起的圖像的晃動(dòng)，大多以比 根據(jù)測(cè)光電路22的測(cè)定結(jié)果簡(jiǎn)單計(jì)算出的最佳曝光時(shí)間還短的曝光時(shí)間 進(jìn)行通常曝光攝影，對(duì)通過該攝影得到的圖像的各像素值實(shí)施乘以一定值 的處理(即提高靈敏度)后，記錄圖像數(shù)據(jù)。這種情況下，不等式"TreaKTopt Xkro"容易成立，而所取得的短曝光圖像的S/N比十分低。因此，這種 情況下采用可以抑制噪聲影響的多幅合成方式來生成參照?qǐng)D像Rw。另一 方面，在因?yàn)閿z像裝置lb的周邊照度比較大而導(dǎo)致不等式"TreaKToptX kro"不能成立，推斷為短曝光圖像的S/N比較高的情況下，采用可以通 過比較簡(jiǎn)單的處理進(jìn)行手抖修正的1幅選擇方式，生成參照?qǐng)D像Rw。這 樣，通過根據(jù)短曝光圖像的S/N比，切換參照?qǐng)D像Rw的生成方法，從而 可以在維持手抖修正精度的同時(shí)極力抑制計(jì)算成本。所謂計(jì)算成本是指計(jì) 算所帶來的負(fù)荷，計(jì)算成本增大使得處理時(shí)間及耗電增大。另外，也可以 對(duì)短曝光圖像實(shí)施噪聲除去處理，根據(jù)噪聲除去處理后的短曝光圖像來生 成參照?qǐng)D像RW，但即使在該情況下上述的切換控制也可以有效地發(fā)揮作 用。[第九實(shí)施例]接著，對(duì)第九實(shí)施例進(jìn)行說明。在第九實(shí)施例中，對(duì)第六 第八實(shí)施 例的處理中利用的評(píng)價(jià)值Ki的計(jì)算方法進(jìn)行說明。評(píng)價(jià)值Kj是根據(jù)以下 四個(gè)評(píng)價(jià)值中的任一個(gè)以上的評(píng)價(jià)值來決定的，即基于短曝光圖像的邊 緣強(qiáng)度的第一評(píng)價(jià)值Kai;基于短曝光圖像的對(duì)比度的第二評(píng)價(jià)值Kbi;基 于短曝光圖像相對(duì)于修正對(duì)象圖像Lw的旋轉(zhuǎn)量的第三評(píng)價(jià)值Kci;以及 基于短時(shí)間曝光攝影與通常曝光攝影的攝影時(shí)間差的第四評(píng)價(jià)值Kdi。首先，對(duì)第一評(píng)價(jià)值Kai 第四評(píng)價(jià)值Kdi的計(jì)算方法分別進(jìn)行說明。 (1)第一評(píng)價(jià)值Kai的計(jì)算方法參照?qǐng)D31及圖32，對(duì)作為第一評(píng)價(jià)值的評(píng)價(jià)值Ka;的計(jì)算方法進(jìn)行 說明。圖31是表示評(píng)價(jià)值Kai的計(jì)算動(dòng)作的流程的流程圖。圖32是表示 用于該動(dòng)作的圖像等的關(guān)系的圖。在根據(jù)評(píng)價(jià)值Kai計(jì)算評(píng)價(jià)值Ki的情況 下，在圖27的步驟S206及圖28的步驟S226中，執(zhí)行圖31的步驟S301 S305。首先，在步驟S301中，判斷變量i是否為1,在i二l的情況下移至 步驟S302，而在的情況下移至步驟S303。在步驟S302中，提取位 于短曝光圖像Cwi的中央或中央附近的小區(qū)域，將該小區(qū)域內(nèi)的圖像設(shè)為 小圖像Cv將所提取的小區(qū)域例如設(shè)為128X128像素的小區(qū)域。僅在i =1的情況下到達(dá)步驟S302，因此在步驟S302中從第1短曝光圖像CWl 中提取小圖像Cs,。步驟S302的處理之后移至步驟S304，在步驟S304中，對(duì)小圖像Csi 實(shí)施邊緣提取處理，得到小圖像Esj。例如通過對(duì)小圖像Csi的各像素適用 任意的邊緣檢測(cè)算符，從而生成小圖像Csi的邊緣提取圖像，將該邊緣提 取圖像作為小圖像ESi。然后，在步驟S305中，計(jì)算小圖像ESj的像素值 的總和，將該總和設(shè)為評(píng)價(jià)值Kaj。在i#l的情況下從步驟S301轉(zhuǎn)移的步驟S303中，從短曝光圖像Cwj (#CWl)中提取與從短曝光圖像CWl中提取出的小區(qū)域?qū)?yīng)的小區(qū)域， 將從短曝光圖像Cwi提取出的小區(qū)域內(nèi)的圖像作為小圖像CSi。對(duì)應(yīng)小區(qū)域的搜索通過利用了模板匹配法等的圖像處理來進(jìn)行。即例如，將從短曝 光圖像Cw,中提取出的小圖像Cs!作為模板，采用公知的模板匹配法，從 短曝光圖像Cwi內(nèi)搜索與該模板的的類似程度最高的小區(qū)域，將搜索出的 小區(qū)域內(nèi)的圖像作為小圖像Csi。在步驟S303中提取出小圖像CSi后，針 對(duì)該小圖像Csi實(shí)施步驟S304及S305的各處理。由上述的處理內(nèi)容可知， 評(píng)價(jià)值Kai伴隨小圖像CSi的邊緣強(qiáng)度的增大而增加。若為相同構(gòu)圖的圖像，則曝光期間內(nèi)產(chǎn)生的手抖越小邊緣越清晰，圖 像中的邊緣強(qiáng)度越高。再有，由于手抖對(duì)整個(gè)圖像造成一樣的劣化，故短 曝光圖像Cwi整體中的邊緣強(qiáng)度與小圖像Csi中的邊緣強(qiáng)度對(duì)應(yīng)。因此，上述的評(píng)價(jià)值Kai越大，則可以推斷為與其對(duì)應(yīng)的小圖像Csi及短曝光圖 像Cwi的晃動(dòng)量就越小。從希望用于生成參照?qǐng)D像的短曝光圖像的晃動(dòng)量 盡可能小的觀點(diǎn)來看，利用評(píng)價(jià)值Kai是有益的。例如，也能將評(píng)價(jià)值Kai 本身作為圖27的步驟S206及圖28的步驟S226中應(yīng)該求取的評(píng)價(jià)值Ki。另外， 一般為了由1幅圖像求取該圖像的晃動(dòng)量，如特開平11-27574 號(hào)公報(bào)所公開的，需要進(jìn)行將圖像進(jìn)行傅立葉變換來生成頻域上的變換圖 像、計(jì)測(cè)由于手抖而衰減的頻率的間隔等計(jì)算成本大的處理。相對(duì)于此， 若利用邊緣強(qiáng)度與晃動(dòng)量的關(guān)系，根據(jù)邊緣強(qiáng)度來推測(cè)晃動(dòng)量，則與利用 傅立葉變換等現(xiàn)有方法相比，可以減小推測(cè)晃動(dòng)量用的計(jì)算成本。再有， 通過關(guān)注所提取出的小圖像來計(jì)算評(píng)價(jià)值，而不是整個(gè)圖像，從而可以得 到進(jìn)一步降低計(jì)算成本的效果。進(jìn)而，由于采用模板匹配等，在對(duì)應(yīng)的小 區(qū)域間比較評(píng)價(jià)值，故即使在多個(gè)短時(shí)間曝光攝影中構(gòu)圖發(fā)生變化，該變 化所造成的影響也是輕微的。(2)第二評(píng)價(jià)值Kbi的計(jì)算方法參照?qǐng)D33說明作為第二評(píng)價(jià)值的評(píng)價(jià)值Kbi的計(jì)算方法。圖33是表 示評(píng)價(jià)值Kbi的計(jì)算動(dòng)作的流程的流程圖。在根據(jù)評(píng)價(jià)值Kbi計(jì)算評(píng)價(jià)值 Ki的情況下，在圖27的步驟S206中及圖28的步驟S226中執(zhí)行圖33的 步驟S311 S315。圖33中的步驟S311 S313的各處理內(nèi)容分別和圖31中的步驟 S301 S303的各處理內(nèi)容相同，因此省略重復(fù)的說明。其中設(shè)為在步驟 S312或S313的處理之后移至步驟S314。在步驟S314中，提取小圖像Csi的各像素的亮度信號(hào)。當(dāng)然，例如在i=l時(shí)提取小圖像CSl的各像素的亮度信號(hào)，i=2時(shí)提取小圖像CS2的各像素的亮度信號(hào)。而且，在步驟S315中，生成小圖像Csj的亮度值(即亮 度信號(hào)的值)的直方圖，計(jì)算該直方圖的離散方差，將該離散方差設(shè)為評(píng) 價(jià)值Kbj。若為相同構(gòu)圖的圖像，則曝光期間內(nèi)產(chǎn)生的手抖越大，相鄰像素間的 亮度越平滑，中間灰度等級(jí)的像素的比例增加，亮度值的直方圖中的分布 集中于中間灰度等級(jí)。上述的平滑程度越大，則直方圖中的離散方差越小， 評(píng)價(jià)值Kbi越小，因此評(píng)價(jià)值Kbi越大，則可以推斷為與此對(duì)應(yīng)的小圖像CSi及短曝光圖像CWi的晃動(dòng)量就越小。從希望用于生成參照?qǐng)D像的短曝光圖像的晃動(dòng)量盡可能小的觀點(diǎn)來看，利用評(píng)價(jià)值Kbi是有益的。例如， 也能將評(píng)價(jià)值Kbi本身作為圖27的步驟S206及圖28的步驟S226中應(yīng)該 求取的評(píng)價(jià)值Ki。作為短曝光圖像的例子，圖34 (a)中示出短曝光圖像261;并且圖 34 (b)中示出短曝光圖像262。短曝光圖像261為清晰的圖像，而短曝光 圖像262的曝光期間內(nèi)產(chǎn)生了大的手抖，從而短曝光圖像262中含有大的 晃動(dòng)。再有，圖35 (a)及(b)中分別示出針對(duì)短曝光圖像261及262在 步驟S315中生成的直方圖。在與短曝光圖像261的直方圖的對(duì)比中(參 照?qǐng)D35 (a))，在短曝光圖像262的直方圖(參照?qǐng)D35 (b))中，可以看 到分布向中間灰度等級(jí)集中。由于該集中，離散方差(及標(biāo)準(zhǔn)偏差)變小。關(guān)于某個(gè)關(guān)注圖像，直方圖中的離散方差小對(duì)應(yīng)于該關(guān)注圖像的對(duì)比 度低，直方圖中的離散方差大對(duì)應(yīng)于該關(guān)注圖像的對(duì)比度高。因此，在上 述的方法中，通過計(jì)算直方圖中的離散方差來推測(cè)關(guān)注圖像的對(duì)比度，根 據(jù)推測(cè)出的對(duì)比度，推測(cè)關(guān)注圖像的晃動(dòng)量。而且，將對(duì)比度的推測(cè)值作 為評(píng)價(jià)值Kbi導(dǎo)出。在本評(píng)價(jià)計(jì)算方法中，利用對(duì)比度與晃動(dòng)量的關(guān)系，根據(jù)對(duì)比度來推 測(cè)晃動(dòng)量。因此，與利用傅立葉變換等的現(xiàn)有方法相比，可以減小推測(cè)晃 動(dòng)量用的計(jì)算成本。再有，通過關(guān)注所提取出的小圖像來計(jì)算評(píng)價(jià)值，而 不是整個(gè)圖像，從而可以得到進(jìn)一步降低計(jì)算成本的效果。進(jìn)而，由于采 用模板匹配等，在對(duì)應(yīng)的小區(qū)域間比較評(píng)價(jià)值，故即使在多個(gè)短時(shí)間曝光 攝影中構(gòu)圖發(fā)生變化，該變化所造成的影響也是輕微的。 (3)第三評(píng)價(jià)值Kci的計(jì)算方法對(duì)作為第三評(píng)價(jià)值的評(píng)價(jià)值Kci的計(jì)算方法進(jìn)行說明。評(píng)價(jià)值Kq是 根據(jù)短曝光圖像Cwj相對(duì)于修正對(duì)象圖像Lw的旋轉(zhuǎn)角來計(jì)算的。參照?qǐng)D 36，更具體地說明計(jì)算方法。首先，從修正對(duì)象圖像Lw中提取多個(gè)特征性的小區(qū)域(例如32X32 像素的小區(qū)域)。特征性小區(qū)域的含義及提取方法如第七實(shí)施例所述(即 使在后述的其他實(shí)施例中也同樣)。如圖36所示，從修正對(duì)象圖像Lw中 提取2個(gè)小區(qū)域281及282。小區(qū)域281及282的中心點(diǎn)分別參照標(biāo)記291及292。在圖36所示的例子中，連接中心點(diǎn)291及292的線段的方向與修 正對(duì)象圖像Lw的水平方向一致。接著，從短曝光圖像Cwi中提取與從修正對(duì)象圖像Lw中提取出的2 個(gè)小區(qū)域281及282對(duì)應(yīng)的2個(gè)小區(qū)域。對(duì)應(yīng)小區(qū)域的搜索，可以采用利 用了模板匹配法等的上述方法來進(jìn)行。在圖36中示出從短曝光圖像CWl 中提取出的2個(gè)小區(qū)域281a及282a、以及從短曝光圖像Cw2中提取出的 2個(gè)小區(qū)域281b及282b。小區(qū)域281a及281b對(duì)應(yīng)于小區(qū)域281;小區(qū)域 282a及282b對(duì)應(yīng)于小區(qū)域282。再有，小區(qū)域281a、 282a、 281b及282b 的中心點(diǎn)分別參照標(biāo)記291a、 292a、 291b及292b。在計(jì)算與短曝光圖像CWl對(duì)應(yīng)的評(píng)價(jià)值KCl的情況下，求取連接中心 點(diǎn)291a及292a的線段相對(duì)于連接中心點(diǎn)291及292的線段的旋轉(zhuǎn)角(即傾斜度)e,。同樣，在計(jì)算與短曝光圖像CW2對(duì)應(yīng)的評(píng)價(jià)值KC2的情況下，求取連接中心點(diǎn)291b及292b的線段相對(duì)于連接中心點(diǎn)291及292的線段的旋轉(zhuǎn)角(即傾斜度)&。針對(duì)其他短曝光圖像CW3 短曝光圖像CWN的旋轉(zhuǎn)角e3 9w也同樣求取，作為評(píng)價(jià)值Kci，求取旋轉(zhuǎn)角ei的倒數(shù)。由于作為修正對(duì)象圖像的通常曝光圖像和參照?qǐng)D像生成用的短曝光 圖像的攝影時(shí)間(攝影時(shí)刻)不同，故在兩者的攝影間會(huì)產(chǎn)生構(gòu)圖的偏差。 為了進(jìn)行高精度的手抖檢測(cè)，需要進(jìn)行對(duì)位，以便消除該偏差導(dǎo)致的修正 對(duì)象圖像和參照?qǐng)D像之間的位置偏離。該對(duì)位雖然可以通過坐標(biāo)變換(仿 射變換等)來實(shí)現(xiàn)，但若該對(duì)位中包含圖像旋轉(zhuǎn)處理，則會(huì)增大電路規(guī)模 及計(jì)算成本。因此，為了僅使針對(duì)參照?qǐng)D像生成用的短曝光圖像的旋轉(zhuǎn)角 減小，利用評(píng)價(jià)值Kci是有益的。例如，也能將評(píng)價(jià)值Kci本身作為圖27 的步驟S206及圖28的步驟S226中應(yīng)該求取的評(píng)價(jià)值Kj。這樣，優(yōu)先使 用相對(duì)于修正對(duì)象圖像Lw的旋轉(zhuǎn)角小的短曝光圖像來生成參照?qǐng)D像Rw，因此不僅可以得到平行移動(dòng)的對(duì)位效果，還可以得到比較良好的手抖修正 效果，也有助于電路規(guī)模的縮小。另外，在利用后述的傅立葉迭代法進(jìn)行手抖修正的情況下，在通過對(duì) 修正對(duì)象圖像Lw及參照?qǐng)D像Rw進(jìn)行傅立葉變換而得到的頻域上的圖像 間進(jìn)行線性運(yùn)算(在第十實(shí)施例中詳細(xì)說明)。該情況下，若在修正對(duì)象 圖像Lw與參照?qǐng)D像Rw之間存在旋轉(zhuǎn)方向的偏差，則在傅立葉變換的特性上，手抖檢測(cè)及手抖修正精度顯著下降。因此，在利用傅立葉迭代法進(jìn) 行手抖修正的情況下，通過利用評(píng)價(jià)值KCi來選擇參照?qǐng)D像RW，從而可 以大幅度提高手抖檢測(cè)及手抖修正精度。(4) 第四評(píng)價(jià)值Kdi的計(jì)算方法 對(duì)作為第四評(píng)價(jià)值的評(píng)價(jià)值Kdi的計(jì)算方法進(jìn)行說明。評(píng)價(jià)值Kdi為修正對(duì)象圖像Lw與短曝光圖像Cwi的攝影時(shí)間差的倒數(shù)。修正對(duì)象圖像 Lw與短曝光圖像Cwi的攝影時(shí)間差為修正對(duì)象圖像Lw攝影時(shí)的曝光時(shí) 間的中間時(shí)刻和短曝光圖像CWi攝影時(shí)的曝光期間的中間時(shí)刻的時(shí)間差。 在修正對(duì)象圖像Lw的攝影之后按照短曝光圖像Cw。 Cw2、…、Cww的 順序進(jìn)行攝影的情況下，當(dāng)然Kd^Kd2:^.,K^成立。修正對(duì)象圖像Lw與短曝光圖像Cwj的攝影時(shí)間差越大，其間被攝體 活動(dòng)的概率就越高，并且照度等攝影條件變化的概率也越高。被攝體的活 動(dòng)或攝影條件的變化作用于使手抖檢測(cè)及手抖修正精度降低的方向。因 此，按照優(yōu)先利用與大的評(píng)價(jià)值Kdi對(duì)應(yīng)的短曝光圖像來生成參照?qǐng)D像的 Rw的方式來利用評(píng)價(jià)值Kdj為好。這樣，可以減輕被攝體的活動(dòng)或攝影 條件的變化的影響，能夠進(jìn)行更高精度的手抖檢測(cè)及手抖修正。(5) 最終的評(píng)價(jià)值Ki的計(jì)算方法圖27的步驟S206及圖28的步驟S226中應(yīng)求取的評(píng)價(jià)值K;由評(píng)價(jià) 值Kaj、 Kbi、 Kci、 Kdj中的任一個(gè)以上的評(píng)價(jià)值來決定。例如，通過下述 式(A-l)來計(jì)算評(píng)價(jià)值Ki。在此，ka、 kb、 kc及kd為具有O或正值的規(guī) 定的加權(quán)系數(shù)。利用評(píng)價(jià)值Kai、 Kbi、 Kcj及Kdi中的2個(gè)或3個(gè)，計(jì)算評(píng) 價(jià)值Kj的情況下，只要使必要的加權(quán)系數(shù)為O即可。例如，在未考慮修正 對(duì)象圖像Lw與短曝光圖像Cwj的攝影時(shí)間差的情況下，只要在使"kd^O" 的基礎(chǔ)上計(jì)算評(píng)價(jià)值Ki即可。Ki二kaXKai+kbXKbj+kcXKci+kdXKdi …(A—l) 另外，如上所述，優(yōu)選僅根據(jù)與修正對(duì)象圖像Lw的攝影時(shí)間差盡可 能短的短曝光圖像來生成參照?qǐng)D像Rw，但在計(jì)算評(píng)價(jià)值Ki時(shí)，應(yīng)該輔助 地利用評(píng)價(jià)值Kdi。即，不應(yīng)該使加權(quán)系數(shù)ka、 kb及kc全部為O。[第十實(shí)施例]接著，對(duì)第十實(shí)施例進(jìn)行說明。在第十實(shí)施例中，對(duì)基于修正對(duì)象圖像Lw與參照?qǐng)D像Rw的、修正對(duì)象圖像Lw的修正方法進(jìn)行說明。用于 進(jìn)行該修正的處理，在圖27的步驟S212、圖28的步驟S231及圖29的 步驟S251中執(zhí)行。作為修正對(duì)象圖像Lw的修正方法，以下例示第一 第三修正方法。第一、第二、第三修正方法分別是基于圖像復(fù)原方式、圖 像合成方式、圖像清晰化方式的修正方法。 (1)第一修正方法參照?qǐng)D37，對(duì)第一修正方法進(jìn)行說明。圖37是表示基于第一修正方 法的修正處理的流程的流程圖。在采用第一修正方法的情況下，圖27的 步驟S212、圖28的步驟S231及圖29的步驟S251的處理分別由圖37的 步驟S401 S409的各處理形成。首先，在步驟S401中，從修正對(duì)象圖像Lw中提取特征性的小區(qū)域 (例如128X128像素的小區(qū)域)，將該提取出的小區(qū)域內(nèi)的圖像作為小圖 像Ls存儲(chǔ)到存儲(chǔ)器上。接著，在步驟S402中，從參照?qǐng)D像Rw中提取與從修正對(duì)象圖像Lw 中提取出的小區(qū)域相同坐標(biāo)的小區(qū)域，將從參照?qǐng)D像Rw提取出的小區(qū)域 內(nèi)的圖像作為小圖像Rs存儲(chǔ)到存儲(chǔ)器上。從修正對(duì)象圖像Lw提取出的 小區(qū)域的中心坐標(biāo)(修正對(duì)象圖像Lw的中心坐標(biāo))和從參照?qǐng)D像Rw提 取出的小區(qū)域的中心坐標(biāo)(參照?qǐng)D像Rw的中心坐標(biāo))相等，修正對(duì)象圖 像Lw與參照?qǐng)D像Rw的圖像尺寸也相等，因此兩個(gè)小區(qū)域的圖像尺寸也 相等。由于參照?qǐng)D像Rw的曝光時(shí)間比較短，故小圖像Rs的S/N比較低。 因此，在步驟S403中對(duì)小圖像Rs進(jìn)行噪聲除去處理。將除去噪聲后的小 圖像Rs設(shè)為小圖像Rsa。噪聲除去是通過采用線性濾波器(加權(quán)平均濾波 器等)或非線性濾波器(中值濾波器等)對(duì)小圖像Rsa進(jìn)行濾波而進(jìn)行的。 小圖像Rsa為低亮度，因此在步驟S404中，使小圖像Rsa的亮度等級(jí)增 加。即，例如，以使小圖像Rsa的亮度等級(jí)與小圖像Ls的亮度等級(jí)相等 的方式(小圖像Rsa的平均亮度和小圖像Ls的平均亮度相等的方式)，進(jìn) 行對(duì)小圖像Rsa的各像素的亮度值乘以恒定值的亮度標(biāo)準(zhǔn)化處理。將這樣 使亮度等級(jí)增加后的小圖像Rsa設(shè)為小圖像Rsb。將如上所述得到的小圖像Ls作為劣化圖像、將小圖像Rsb作為初始 復(fù)原圖像進(jìn)行處理(步驟S405),在步驟S406中通過實(shí)施傅立葉迭代法 而求取作為圖像劣化函數(shù)的PSF?；诟盗⑷~迭代法的PSF的計(jì)算方法， 與第一實(shí)施方式所述的同樣。即，在步驟S406中，通過執(zhí)行圖4的步驟 S101 S103及S110 S118構(gòu)成的處理，從而求取與小圖像Ls對(duì)應(yīng)的PSF。 手抖對(duì)圖像整體造成一樣的劣化，因此針對(duì)小區(qū)域Ls求出的PSF可以用 作針對(duì)整個(gè)修正對(duì)象圖像Lw的PSF。另外，如第一實(shí)施方式中所述的， 也可以刪除步驟S118的處理，以1次的修正處理求取最終的PSF。在步驟S407中，在將步驟S406求出的PSF的逆矩陣的各要素作為圖 像復(fù)原濾波器的各濾波系數(shù)進(jìn)行求取。該圖像復(fù)原濾波器是根據(jù)劣化圖像 得到復(fù)原圖像用的濾波器。實(shí)際上，如第一實(shí)施方式所述，通過直接利用 步驟S406中的傅立葉迭代法的計(jì)算過程中結(jié)果，從而可以求取圖像復(fù)原 濾波器的各濾波系數(shù)。在步驟S407中求出圖像復(fù)原濾波器的各濾波系數(shù)后，移至步驟S408， 利用該圖像復(fù)原濾波器對(duì)修正對(duì)象圖像Lw進(jìn)行濾波(空間濾波)。S卩，將 具有所求出的各濾波系數(shù)的圖像復(fù)原濾波器適用于修正對(duì)象圖像Lw的各 像素，對(duì)修正對(duì)象圖像Lw進(jìn)行濾波，由此可以生成除去或降低了修正對(duì) 象圖像Lw所包含的晃動(dòng)的濾波圖像。圖像復(fù)原濾波器的尺寸要比修正對(duì) 象圖像Lw的圖像尺寸還小，但手抖對(duì)整個(gè)圖像造成一樣的劣化，因此通 過將該圖像復(fù)原濾波器適用于整個(gè)修正對(duì)象圖像Lw，從而可以除去整個(gè) 修正對(duì)象圖像Lw的晃動(dòng)。濾波圖像中可能含有伴隨濾波的振鈴信號(hào)。因此，在步驟S409中， 通過對(duì)濾波圖像實(shí)施除去該振鈴信號(hào)用的振鈴信號(hào)除去處理，從而生成最 終的修正圖像Qw。由于除去振鈴信號(hào)的方法是公知的，故省略詳細(xì)的說 明。作為該方法，例如只要采用特開2006-129236號(hào)公報(bào)所記載的方法。修正對(duì)象Qw是除去或降低了修正對(duì)象圖像Lw所包含的晃動(dòng)且除去 或降低了伴隨濾波的振鈴信號(hào)的圖像。其中，由于濾波圖像也是除去或降 低了晃動(dòng)的圖像，故也能將濾波圖像作為修正圖像Qw。由于參照?qǐng)D像Rw所包含的晃動(dòng)量少，故其邊緣成分接近于沒有手抖 的理想圖像的邊緣成分。因此，如上所述，將由該參照?qǐng)D像Rw得到的圖像設(shè)為傅立葉迭代法中的初始復(fù)原圖像。由此，可以得到第一實(shí)施方式所 述的各種效果(縮短手抖信息(PSF或圖像復(fù)原濾波器的濾波系數(shù))的計(jì) 算處理時(shí)間的效果)。(2)第二修正方法 接著，參照?qǐng)D38及圖39，對(duì)第二修正方法進(jìn)行說明。圖38是表示基 于第二修正方法的修正處理流程的流程圖。圖39是表示該修正處理流程 的概念圖。在采用第二修正方法的情況下，圖27的步驟S212、圖28的步 驟S231及圖29的步驟S251的處理分別由圖38的步驟S421 S425的各 處理構(gòu)成。通過圖26的攝像部11的攝影而得到的圖像為包含與亮度相關(guān)的信息 和與顏色相關(guān)的信息的彩色圖像。因此，形成修正對(duì)象圖像Lw的各像素 的像素信號(hào)由表示像素的亮度的亮度信號(hào)、和表示像素的顏色的顏色信號(hào) 構(gòu)成。目前，以YUV形式表現(xiàn)各像素的像素信號(hào)。該情況下，顏色信號(hào) 由兩個(gè)色差信號(hào)U及V形成。而且，形成修正對(duì)象圖像Lw的各像素的像 素信號(hào)由表示像素的亮度的亮度信號(hào)Y、和表示像素的顏色的兩個(gè)色差信 號(hào)U及V形成。這樣，如圖39所示，修正對(duì)象圖像Lw可以分解為作為像素信號(hào)僅包含亮度信號(hào)Y的圖像LWY;作為像素信號(hào)僅包含色差信號(hào)U的圖像LWu;作為像素信號(hào)僅包含色差信號(hào)V的圖像Lwv。同樣，參照?qǐng)D像Rw也可以分解為作為像素信號(hào)僅包含亮度信號(hào)Y的圖像RWy;作為像素信號(hào)僅包含色差信號(hào)U的圖像Rwu;作為像素信號(hào)僅包含色差信號(hào)V的圖像RWv(圖39中僅圖示圖像RWy)。在圖38的步驟S421中，首先通過提取修正對(duì)象圖像Lw的亮度信號(hào) 及色差信號(hào)，從而生成圏像Lwy、 Lwu及Lwv。在接下來的步驟S422中， 通過提取參照?qǐng)D像Rw的亮度信號(hào)，從而生成圖像Rwy。由于圖像RwY為低亮度，故在步驟S423中，使圖像RWY的亮度等級(jí) 增加。即，例如，以使圖像RWY的亮度等級(jí)與圖像Lwy的亮度等級(jí)相等 的方式(圖像RWY的平均亮度和圖像LWY的平均亮度相等的方式)，進(jìn)行 對(duì)圖像RWY的各像素的亮度值乘以恒定值的亮度標(biāo)準(zhǔn)化處理。進(jìn)而，對(duì)該亮度標(biāo)準(zhǔn)化處理后的圖像RwY實(shí)施采用了中值濾波器等的噪聲除去處理。將亮度標(biāo)準(zhǔn)化處理及噪聲除去處理后的圖像RWy作為圖像RWY，存儲(chǔ)到 存儲(chǔ)器上。然后，在步驟S424中，通過對(duì)圖像Lwy的像素信號(hào)和圖像RwY，的像素信號(hào)進(jìn)行比較，從而計(jì)算圖像LWy與圖像RWY，之間的位置偏離量AD。位置偏離量AD是包含水平成分及垂直成分的二維量，表現(xiàn)為所謂的運(yùn)動(dòng)向量?？梢圆捎霉拇睃c(diǎn)匹配法或模板匹配法，進(jìn)行位置偏離量AD的計(jì)算。例如，將從圖像LwY中提取出的小區(qū)域內(nèi)的圖像作為模板， 利用模板匹配法，從園像Rwy'中搜索與該模板的類似程度最高的小區(qū)域。 而且，將搜索到的小區(qū)域的位置(圖像Rwy'上的位置)和從圖像LwY中提取出的小區(qū)域的位置(圖像LWY上的位置)的偏離量作為位置偏離量AD來計(jì)算。另外，希望將應(yīng)從圖像Lwy提取的小區(qū)域設(shè)為上述的特征性 的小區(qū)域。將圖像LWy作為基準(zhǔn)來考慮，位置偏離量AD為圖像RWy'相對(duì)于圖 像LWy的位置偏離量。可以將圖像RWY'視為以圖像LWY為基準(zhǔn)產(chǎn)生了相當(dāng)于位置偏離量AD的量的位置偏離的圖像。因此，在步驟S425中，以 抵消該位置偏離量M)的方式對(duì)圖像RWY'實(shí)施坐標(biāo)變換(仿射變換等)，由此對(duì)圖像RWY'進(jìn)行位置偏離修正。位置偏離修正前的圖像RWY'內(nèi)的位于坐標(biāo)(x+ADx，y+ADy)的像素，通過位置偏離修正而變換為位于坐標(biāo) (x,y)的像素。ADx及ADy分別為AD的水平成分及垂直成分。在步驟S425中，進(jìn)而對(duì)圖像Lwu及圖像Lwv和位置偏離修正后的圖 像Rwy，進(jìn)行合成，將通過該合成而得到的圖像作為修正圖像Qw輸出。 修正圖像Qw內(nèi)的位于坐標(biāo)(x，y)的像素的像素信號(hào)由對(duì)位于坐標(biāo)(x，y) 的圖像LWu內(nèi)的像素的像素信號(hào)和位于坐標(biāo)(x，y)的圖像Lwv內(nèi)的像素 的像素信號(hào)構(gòu)成。在彩色圖像中，所看到的晃動(dòng)主要由亮度的晃動(dòng)引起，若亮度的邊緣 成分接近于沒有晃動(dòng)的理想圖像的邊緣成分，則觀察者會(huì)感覺到晃動(dòng)少。 因此，在本修正方法中，通過將晃動(dòng)量比較少的參照?qǐng)D像Rw的亮度信號(hào) 與修正對(duì)象圖像Lw的顏色信號(hào)進(jìn)行合成，從而得到疑似手抖修正效果。 根據(jù)該方法，雖然在邊緣附近產(chǎn)生顏色偏差，但在眼睛里可以以低計(jì)算成 本生成晃動(dòng)少的圖像。(3)第三修正方法接著，參照?qǐng)D40及圖41，對(duì)第三修正方法進(jìn)行說明。圖40是表示基 于第三修正方法的修正處理流程的流程圖。圖41是表示該修正處理流程 的概念圖。在采用第三修正方法的情況下，圖27的步驟S212、圖28的步 驟S231及圖29的步驟S251的處理分別由圖40的步驟S441 S447的各處理形成。首先，在步驟S441中，通過從修正對(duì)象圖像Lw中提取特征性的小 區(qū)域，從而生成小圖像Ls，在步驟S442中，從參照?qǐng)D像Rw中提取與小 圖像Ls對(duì)應(yīng)的小區(qū)域，由此生成小圖像Rs。該步驟S441及S442的處理 與圖37的步驟S401及S402的處理相同。接著在步驟S443中，對(duì)小圖像 Rs實(shí)施采用了中值濾波器等的噪聲除去處理，進(jìn)而使噪聲除去處理后的小 圖像Rs的亮度等級(jí)增加。即，例如以使小圖像Rs的亮度等級(jí)與小圖像 Ls的亮度等級(jí)相等的方式(小圖像Rs的平均亮度和小圖像Ls的平均亮度 相等的方式)，進(jìn)行對(duì)小圖像Rs的各像素的亮度值乘以恒定值的亮度標(biāo)準(zhǔn) 化處理。將噪聲除去處理及亮度標(biāo)準(zhǔn)化處理后的小圖像Rs作為小圖像Rs' 存儲(chǔ)到存儲(chǔ)器上。接著，在步驟S444中，通過利用互不相同的8種平滑濾波器對(duì)小圖 像Rs'進(jìn)行濾波，從而生成平滑程度不同的8個(gè)平滑小圖像Rscn、RsC2、、 Rsc8。目前，作為8個(gè)平滑濾波器使用的是互不相同的8個(gè)高斯濾波器 (Gaussian filter)，以o2來表示由高斯濾波器表現(xiàn)的高斯分布。關(guān)注一維圖像，在以x表示該一維圖像中的像素位置時(shí)，公知由下述 式(B-l)表示平均為0且離散方差為(72的高斯分布(參照?qǐng)D42)。若將該 高斯分布適用于高斯濾波器，則可以用hg (x)來表示高斯濾波器的各濾 波系數(shù)。也就是說，在將高斯濾波器適用于位置0的像素時(shí)，以hg (x) 來表示位置x處的濾波系數(shù)。換言之，以hg (x)來表示與高斯濾波器進(jìn) 行濾波后的位置0的像素值對(duì)應(yīng)的、濾波前的位置x的像素值的影響程度。<formula>formula see original document page 59</formula>將該想法擴(kuò)展到二維，在以(x，y)表示二維圖像中的像素的位置時(shí)，由下述式(B—2)來表示二維高斯分布。另外，x及y分別表示水平方向 的位置及垂直方向的位置。若將該二維高斯分布適用于高斯濾波器，則可 以以hg (x,y)來表示高斯濾波器的各濾波系數(shù)，在將高斯濾波器適用于位 置(0， 0)的像素時(shí)，以hg (x,y)來表示位置(x， y)中的濾波系數(shù)。也 就是說，以hg (x,y)來表示與高斯濾波器進(jìn)行濾波后的位置(0,0)的像 素值對(duì)應(yīng)的、濾波前的位置(x，y)的像素值的影響程度。<formula>formula see original document page 60</formula>在步驟S444中，作為8個(gè)高斯濾波器，采用cj-l、 3、 5、 7、 9、 11、 13、 15的高斯濾波器。在接下來的步驟S445中，在小圖像Ls與平滑小圖 像Rsm RSci8的每一個(gè)之間進(jìn)行圖像匹配，確定平滑小圖像Rsm RsG8 中匹配誤差最小的平滑小圖像(即與小圖像Ls的相關(guān)性最高的平滑小圖 像)。關(guān)注平滑小圖像Rscp簡(jiǎn)單說明對(duì)比小圖像Ls與平滑小圖像Rscn時(shí) 的匹配誤差(匹配殘差)的計(jì)算方法。小圖像Ls與平滑小圖像Rs^的圖 像尺寸相同，將這些圖像的水平方向的像素?cái)?shù)及垂直方向的像素?cái)?shù)分別設(shè) 為Mn及Nn (mn及nn為2以上的整數(shù))。通過VLs (x,y)來表示小圖像 Ls內(nèi)的位置(x， y)中的像素的像素值，通過VRs (x，y)來表示小圖像 Rscn內(nèi)的位置(x， y)中的像素的像素值(其中x及y是滿足0《x《MN-l iO《y《NN—l的整數(shù))。這樣，根據(jù)下述式(B—3)計(jì)算表示對(duì)比圖像 間的SAD (Sum of Absolute Difference)的RSAD，根據(jù)下述式(B—4)計(jì) 算表示對(duì)比圖像間的SSD (Sum of Square Difference)的Rssd。<formula>formula see original document page 60</formula>將該RSAD或RSSD設(shè)為小圖像Ls與平滑小圖像RsG之間的匹配誤差。 同樣，還求取小圖像Ls與平滑小圖像Rsc2 RsG8的每一個(gè)之間的匹配誤差，確定匹配誤差最小的平滑小圖像。目前，確定與cj二5對(duì)應(yīng)的平滑小圖像Rsc3。在步驟S445中，將與平滑小圖像RscB對(duì)應(yīng)的(T設(shè)為a'。即，cr， 的值為5。在接下來的步驟S446中，通過將由該cj'表示的高斯模糊作為表示修 正對(duì)象圖像Lw的劣化狀態(tài)的圖像劣化函數(shù)進(jìn)行處理，從而實(shí)現(xiàn)除去修正 對(duì)象圖像Lw的劣化。具體是，在步驟S446中，通過根據(jù)a'對(duì)修正對(duì)象圖像Lw整體適用 虛邊蒙片濾波器(unsharp mask filter),從而取出修正對(duì)象圖像Lw的晃動(dòng)。 將適用虛邊蒙片濾波器前的圖像設(shè)為輸入圖像IjnPUT，將適用虛邊蒙片濾波器后的圖像設(shè)為輸出圖像I()UTPUT，說明虛邊蒙片濾波器的處理內(nèi)容。首 先作為虛邊蒙片濾波器，采用CT'的高斯濾波器(即(7 = 5的高斯濾波器)， 通過利用該a'的高斯濾波器對(duì)輸入圖像IjNPUT進(jìn)行濾波，從而生成模糊 圖像lBLim。接著，通過從輸入圖像IlNPUT的各像素值中減去模糊圖像lBLim 的各像素值，從而生成輸入圖像IlNPUT與模糊圖像lBUJR之間的差分圖像 IDELTA。最后，將通過對(duì)輸入圖像IlNPUT的各像素值加上差分圖像lDELTA的 各像素值而得到的圖像作為輸出圖像IOUTPUT。在式(B — 5)中示出輸入圖像IiNPUT與輸出圖像IouTPUT的關(guān)系式。在式(B — 5)中，(I畫T.Gauss)表示利用C7'的高斯濾波器對(duì)輸入圖像IlNPUT進(jìn)行濾波的結(jié)果。 I 0盯PUT - I IW饑"P f DEt.TA^ I INPUT + ( I INPUr一 l BU/R〉- I iwut+ ( I inpht一 ( I iupuT,Gauss) ' (B 一 5 )在步驟S446中，通過將修正對(duì)象圖像Lw作為輸入圖像l!nput來處理， 從而可以得到作為輸出圖像IomruT的濾波圖像。而且，在步驟S447中， 除去該濾波圖像的振鈴信號(hào)后生成修正圖像Qw (步驟S447的處理與圖 37的步驟S409的處理相同)。通過采用虛邊蒙片濾波器，從而可以強(qiáng)調(diào)輸入圖像(Iinput)的邊緣， 得到圖像清晰化的效果。其中，若生成圖像(Ibujr)時(shí)的模糊程度與輸入 圖像所包含的實(shí)際模糊量大不相同，則無法得到適當(dāng)?shù)哪：拚Ч?。?出圖像(IomruT)成為極端清晰的不自然的圖像。另一方面，若生成模糊 圖像時(shí)的模糊程度比實(shí)際的模糊量小，則清晰化效果過弱。在本修正方法中，作為虛邊蒙片濾波器，采用以CJ規(guī)定了模糊程度的高斯濾波器，作為 該高斯濾波器的CJ，采用與圖像劣化系數(shù)對(duì)應(yīng)的CJ'。因此，可以得到最佳 的清晰化效果，可以得到已經(jīng)很好地除去了模糊的修正圖像。g卩，可以以 低的計(jì)算成本來生成眼睛中晃動(dòng)少的圖像。圖43中與作為輸入圖像IiNPUT的手抖圖像300 —起示出采用最佳d 的高斯濾波器時(shí)得到的圖像(即原來的修正圖像)302;采用過小CJ的高斯濾波器時(shí)得到的圖像301;采用過大cj的高斯濾波器時(shí)得到的圖像303。由此可知若d過小，則清晰化效果弱，若CT過大則會(huì)生成極端清晰化的 不自然的圖像。[第十一實(shí)施例]在第九實(shí)施例中，對(duì)為了選擇參照?qǐng)D像生成用的短曝光圖像而利用的第一 第四評(píng)價(jià)值Kai、 Kbj、 Kci及Kdi的計(jì)算方法進(jìn)行說明。其中，描述了從短曝光圖像CWi中提取小圖像CSi，根據(jù)小圖像CSi的邊緣強(qiáng)度或?qū)Ρ榷?，推測(cè)與短曝光圖像Cwi的整體對(duì)應(yīng)的晃動(dòng)量，由此計(jì)算評(píng)價(jià)值Kaj 及Kbj (參照?qǐng)D31及圖33)。此時(shí)，舉出了從短曝光圖像Cwi的中央附近 提取小圖像Csi的例子，但并不一定要從短曝光圖像Cwi的中央附近提取 小圖像Cs。例如也可以如下所述這樣。另外，為了具體化說明，考慮N =5的情況即取得5幅短曝光圖像CWl Cw5的情況。首先，利用塊匹配法等，求取時(shí)間上連續(xù)拍攝的2幅短曝光圖像Cww 與短曝光圖像CWi之間的光流(叩ticalflow)。圖44表示求出的光流的例 子。光流是對(duì)比圖像間的運(yùn)動(dòng)向量。接著，根據(jù)求出的光流，檢測(cè)一系列 的短曝光圖像Cw, Cws中的小圖像提取用區(qū)域。小圖像提取用區(qū)域被定 義在各短曝光圖像內(nèi)。而且，從短曝光圖像Cwi的小圖像提取用區(qū)域中提 取小圖像Csi。例如，在5幅短曝光圖像的攝影中，在攝影裝置1基本固定且位于攝 影區(qū)域中央附近的人物在實(shí)際空間上活動(dòng)的情況下，在與該人物對(duì)應(yīng)的位 置上可以檢測(cè)出故意的運(yùn)動(dòng)向量，而在占據(jù)短曝光圖像的大部分的周邊部 分中，無法檢測(cè)出這種運(yùn)動(dòng)向量。所謂故意的運(yùn)動(dòng)向量是指具有規(guī)定大小 以上大小的運(yùn)動(dòng)向量，單純地指大小不為0的運(yùn)動(dòng)向量。圖44表示這種情況下的光流。該情況下，未檢測(cè)出故意的運(yùn)動(dòng)向量的區(qū)域在實(shí)際空間上 是描繪靜止的被攝體的靜止被攝體區(qū)域，將該靜止被攝體區(qū)域作為小圖像 提取區(qū)域進(jìn)行檢測(cè)。圖44的短曝光圖像CW， CW5中被虛線包圍的區(qū)域內(nèi) 部對(duì)應(yīng)于檢測(cè)出的小圖像提取用區(qū)域。另外，例如在5幅短曝光圖像的攝影中，位于攝影區(qū)域中央附近的人物在實(shí)際空間上向右運(yùn)動(dòng)且攝像裝置I的框體(未圖示)追隨該人物向右搖的情況下，如圖45所示，在與該人物對(duì)應(yīng)的位置上無法檢測(cè)出故意的運(yùn)動(dòng)向量，另一方面在占據(jù)短曝光圖像大部分的周邊部分(背景部分)中 可以檢測(cè)出故意的運(yùn)動(dòng)向量。而且，所檢測(cè)出的該故意的運(yùn)動(dòng)向量的大小 及方向是均一的。該情況下，將可以檢測(cè)該故意的運(yùn)動(dòng)向量的區(qū)域、即圖 像中的支配性運(yùn)動(dòng)區(qū)域作為小圖像提取用區(qū)域來檢測(cè)(結(jié)果，可以檢測(cè)出與圖44所示的情況同樣的小圖像提取用區(qū)域)。另外，例如在5幅短曝光圖像的攝影中全部被攝體即攝像裝置1在實(shí) 際空間上是靜止的情況下，在短曝光圖像的整個(gè)區(qū)域內(nèi)無法檢測(cè)出故意的 運(yùn)動(dòng)向量。該情況下，各短曝光圖像的整個(gè)區(qū)域?yàn)殪o止被攝體區(qū)域，將該 靜止被攝體區(qū)域作為小圖像提取用區(qū)域來檢測(cè)。再有，例如在5幅短曝光 圖像的攝影中，在全部被攝體在實(shí)際空間上靜止而攝像裝置1的框體向右 搖的情況下或者攝像裝置1在實(shí)際空間上靜止而全部被攝體均勻地向左移 動(dòng)的情況下，如圖46所示，在全部短曝光圖像中，可以檢測(cè)出大小及方 向均等的故意的運(yùn)動(dòng)向量。該情況下，將短曝光圖像的整個(gè)區(qū)域判斷為支 配性運(yùn)動(dòng)區(qū)域，將該支配性運(yùn)動(dòng)區(qū)域作為小圖像提取用區(qū)域來檢測(cè)。這樣，通過對(duì)形成光流的多個(gè)運(yùn)動(dòng)向量進(jìn)行統(tǒng)計(jì)處理，從而可以確 定小圖像提取用區(qū)域?；蛘?，也可以檢測(cè)在實(shí)際空間上活動(dòng)的運(yùn)動(dòng)被攝體(人物等)，將該 運(yùn)動(dòng)被攝體未處在的區(qū)域作為小圖像提取用區(qū)域來檢測(cè)。若采用基于圖像 處理的公知的運(yùn)動(dòng)被攝體的跟蹤技術(shù)，則能夠根據(jù)包含短曝光圖像的圖像 數(shù)據(jù)的攝像部ll的輸出來檢測(cè)運(yùn)動(dòng)被攝體，并進(jìn)行跟蹤。若自描繪有在攝影區(qū)域內(nèi)不規(guī)則活動(dòng)的運(yùn)動(dòng)被攝體的區(qū)域中提取小 圖像Csj，根據(jù)該小圖像CSi來計(jì)算評(píng)價(jià)值(Kai或Kbi)，則該評(píng)價(jià)值受到 運(yùn)動(dòng)被攝體的活動(dòng)的影響，針對(duì)小圖像Csi及短曝光圖像Cwj的晃動(dòng)量的推測(cè)精度劣化。結(jié)果，晃動(dòng)量小的短曝光圖像的選擇失敗，無法生成適當(dāng) 的參照?qǐng)D像RW的可能性增大。然而，如上所述，若檢測(cè)小圖像提取用區(qū) 域(靜止被攝體區(qū)域或支配性運(yùn)動(dòng)區(qū)域)并從小圖像提取用區(qū)域中提取小 圖像CSi，則即使短曝光圖像CWi中含有不規(guī)則活動(dòng)的運(yùn)動(dòng)被攝體，也可以正確選擇晃動(dòng)量少的短曝光圖像并生成適當(dāng)?shù)膮⒄請(qǐng)D像Rw。再有，即使在計(jì)算基于短曝光圖像Cwi的旋轉(zhuǎn)角的評(píng)價(jià)值Kci之際(參 照?qǐng)D36)也從修正對(duì)象圖像Lw中提取小區(qū)域，但為了回避評(píng)價(jià)值Kcj受 到運(yùn)動(dòng)被攝體的活動(dòng)的影響，也可以從小圖像提取用區(qū)域中提取該小區(qū) 域。該情況下，只要針對(duì)修正對(duì)象圖像Lw與5幅短曝光圖像Cw， Cw5 構(gòu)成的一系列連續(xù)攝影圖像組，如上所述那樣求取光流，通過對(duì)形成該光 流的多個(gè)運(yùn)動(dòng)向量進(jìn)行統(tǒng)計(jì)處理，從而在修正對(duì)象圖像Lw內(nèi)設(shè)定小圖像 提取用區(qū)域即可。作為針對(duì)第三實(shí)施方式的變形例或注釋事項(xiàng)，以下記為注釋7及注釋 8。各注釋記載的內(nèi)容只要不矛盾就可以任意組合。再有，針對(duì)第一實(shí)施 方式陳述的上述注釋2 注釋5的記載內(nèi)容對(duì)于第三實(shí)施方式來說也可以 適用。[注釋7]在第六、第七及第八實(shí)施例的上述動(dòng)作中，在得到修正對(duì)象圖像Lw 用的通常曝光攝影之后進(jìn)行N次短時(shí)間曝光攝影，但可以將在通常曝光攝 影之前進(jìn)行該N次的短時(shí)間曝光攝影。再有，也可以在通常曝光攝影之前 進(jìn)行Na次的短時(shí)間曝光攝影且在通常曝光攝影之后進(jìn)行Nb次的短時(shí)間 曝光攝影，合計(jì)進(jìn)行N次的短時(shí)間曝光攝影(其中，N=Na+Nb)[注釋8]例如可以如下這樣考慮。圖26的攝像裝置lb內(nèi)包含晃動(dòng)修正裝置， 其具有圖像取得單元，其取得作為修正對(duì)象圖像的1幅通常曝光圖像和 N幅短曝光圖像；參照?qǐng)D像生成單元(第二圖像生成單元)，其采用第六、 第七或第八實(shí)施例所記載的方法，由N幅短曝光圖像生成參照?qǐng)D像；修正 處理單元，其執(zhí)行圖27的步驟S212、圖28的步驟S231或圖29的步驟S251的處理，生成修正圖像。該晃動(dòng)修正裝置主要由手抖修正部21形成或者由手抖修正部21及主控制部13形成。特別是在實(shí)現(xiàn)第八實(shí)施例的動(dòng)作的情況下，參照?qǐng)D像生成單元(第二圖像生成單元)具有執(zhí)行圖29 的步驟S249的處理的選擇處理單元；執(zhí)行圖29的步驟S250的處理的合 成處理單元；和通過進(jìn)行圖29的步驟S248的分支處理，從而執(zhí)行步驟 S249與S250的任一方的切換控制單元。
權(quán)利要求
1.一種晃動(dòng)檢測(cè)裝置，其基于攝像單元的輸出來檢測(cè)通過所述攝像單元的攝影而得到的第一圖像所包含的晃動(dòng)，該晃動(dòng)檢測(cè)裝置具備晃動(dòng)信息生成單元，其基于所述第一圖像、以比所述第一圖像的曝光時(shí)間還短的曝光時(shí)間所攝影的第二圖像，來生成與所述晃動(dòng)對(duì)應(yīng)的晃動(dòng)信息。
2. 根據(jù)權(quán)利要求1所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息是表示所述第一圖像整體的晃動(dòng)的圖像劣化函數(shù)。
3. 根據(jù)權(quán)利要求1所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元具備從所述第一圖像及第二圖像中分別提取一部分圖像的提取單元，基于各一部分圖像來生成所述晃動(dòng)信息。
4. 根據(jù)權(quán)利要求2所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元根據(jù)將基于所述第一圖像的圖像變換到頻域上而得到的第一函數(shù)、和將基于所述第二圖像的圖像變換到頻域上而得到 的第二函數(shù)，暫時(shí)求取頻域上的所述圖像劣化函數(shù)，通過對(duì)將所求得的頻 域上的所述圖像劣化函數(shù)變換到空間域上而得到的函數(shù)利用規(guī)定的約束 條件進(jìn)行修正的處理，最終求得所述圖像劣化函數(shù)。
5. 根據(jù)權(quán)利要求l所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元將基于所述第一圖像的圖像及基于所述第二圖像的圖像分別作為劣化圖像及初始的復(fù)原圖像進(jìn)行處理，利用傅立葉迭 代法計(jì)算所述晃動(dòng)信息。
6. 根據(jù)權(quán)利要求5所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元具備從所述第一圖像及第二圖像中分別提取一部分圖像的提取單元，通過由各一部分圖像生成所述劣化圖像及所述初 始的復(fù)原圖像，從而使得所述劣化圖像及所述初始的復(fù)原圖像的各圖像尺 寸小于所述第一圖像的圖像尺寸。
7. 根據(jù)權(quán)利要求1所述的晃動(dòng)檢測(cè)裝置，其特征在于， 還具備保持單元，其對(duì)基于所述第一圖像的攝影之前或之后的所述攝像單元的輸出的顯示用圖像進(jìn)行保持，所述晃動(dòng)信息生成單元將所述顯示用圖像作為所述第二圖像沿用。
8. 根據(jù)權(quán)利要求l所述的晃動(dòng)檢測(cè)裝置，其特征在于， 還具備保持單元，其將基于所述第一圖像的攝影之前或之后的所述攝像單元的輸出的顯示用圖像作為第三圖像進(jìn)行保持，所述晃動(dòng)信息生成單元根據(jù)所述第一圖像、所述第二圖像和所述第三 圖像來生成所述晃動(dòng)信息。
9. 根據(jù)權(quán)利要求8所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元通過對(duì)所述第二圖像與所述第三圖像進(jìn)行加權(quán)相加運(yùn)算而生成第四圖像，并根據(jù)所述第一圖像與所述第四圖像來生成 所述晃動(dòng)信息。
10. 根據(jù)權(quán)利要求8所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元包括將所述第二圖像與所述第三圖像中的任一方選擇為第四圖像的選擇單元，并根據(jù)所述第一圖像與所述第四圖像來 生成所述晃動(dòng)信息，所述選擇單元基于下述條件中的至少一個(gè)來進(jìn)行所述第二圖像與所述第三圖像之間的選擇所述第二圖像與所述第三圖像的各邊緣強(qiáng)度、所 述第二圖像與所述第三圖像的各曝光時(shí)間、及所設(shè)定的外部信息。
11. 根據(jù)權(quán)利要求9所述的晃動(dòng)檢測(cè)裝置，其特征在于，所述晃動(dòng)信息生成單元將基于所述第一圖像的圖像及基于所述第四 圖像的圖像分別作為劣化圖像及初始的復(fù)原圖像進(jìn)行處理，利用傅立葉迭 代法來計(jì)算所述晃動(dòng)信息。
12. 根據(jù)權(quán)利要求ll所述的晃動(dòng)檢測(cè)裝置，其特征在于， 所述晃動(dòng)信息生成單元具備從所述第一圖像、第二圖像及第三圖像中分別提取一部分圖像的提取單元，通過由各一部分圖像生成所述劣化圖像 及所述初始的復(fù)原圖像，從而使得所述劣化圖像及所述初始的復(fù)原圖像的 各圖像尺寸小于所述第一圖像的圖像尺寸。
13. —種攝像裝置，其中具備權(quán)利要求1所述的晃動(dòng)檢測(cè)裝置；和 所述攝像單元。
14. 一種晃動(dòng)檢測(cè)方法，基于攝像單元的輸出來檢測(cè)通過所述攝像單 元的攝影而得到的第一圖像所包含的晃動(dòng)，基于所述第一圖像、以比所述第一圖像的曝光時(shí)間還短的曝光時(shí)間攝 影的第二圖像，來生成與所述晃動(dòng)對(duì)應(yīng)的晃動(dòng)信息。
15. —種晃動(dòng)修正裝置，其中包括圖像取得單元，其通過利用了攝像單元的攝影來取得第一圖像，并且 通過曝光時(shí)間比所述第一圖像的曝光時(shí)間還短的多次攝影來取得多幅短 曝光圖像；第二圖像生成單元，其由所述多幅短曝光圖像生成1幅圖像，以作為第二圖像；和修正處理單元，其基于所述第一圖像與所述第二圖像，對(duì)所述第一圖 像所包含的晃動(dòng)進(jìn)行修正。
16. 根據(jù)權(quán)利要求15所述的晃動(dòng)修正裝置，其特征在于，所述第二圖像生成單元基于下述條件中的至少一個(gè)來從所述多幅短曝光圖像中選擇l幅短曝光圖像，以作為所述第二圖像，所述條件為各 短曝光圖像的邊緣強(qiáng)度、各短曝光圖像的對(duì)比度、及各短曝光圖像相對(duì)于 所述第一圖像的旋轉(zhuǎn)角。
17. 根據(jù)權(quán)利要求16所述的晃動(dòng)修正裝置，其特征在于，所述第二圖像生成單元還利用各短曝光圖像與所述第一圖像的攝影 時(shí)間差來進(jìn)行所述第二圖像的選擇。
18. 根據(jù)權(quán)利要求15所述的晃動(dòng)修正裝置，其特征在于， 所述第二圖像生成單元通過對(duì)所述多幅短曝光圖像內(nèi)的2幅以上的短曝光圖像進(jìn)行合成，從而生成所述第二圖像。
19. 根據(jù)權(quán)利要求15所述的晃動(dòng)修正裝置，其特征在于，所述第二圖像生成單元包括選擇處理單元，其基于下述條件中的至少一個(gè)來從所述多幅短曝光圖像中選擇l幅短曝光圖像，所述條件為所述各短曝光圖像的邊緣強(qiáng)度、各短曝光圖像的對(duì)比度、及各短曝光圖像相對(duì)于所述第一圖像的旋轉(zhuǎn)角； 合成處理單元，其生成對(duì)所述多幅短曝光圖像中的2幅以上短曝光圖 像進(jìn)行合成后的合成圖像；和切換控制單元，其通過僅使所述選擇處理單元及所述合成處理單元中 的任一方發(fā)揮作用，從而生成所述1幅短曝光圖像或所述合成圖像來作為 所述第二圖像；所述切換控制單元基于各短曝光圖像的S/N比來確定使所述選擇處理 單元及所述合成處理單元的哪一方發(fā)揮作用。
20. 根據(jù)權(quán)利要求15所述的晃動(dòng)修正裝置，其特征在于， 所述修正處理單元基于所述第一圖像與所述第二圖像，生成與所述第一圖像的所述晃動(dòng)對(duì)應(yīng)的晃動(dòng)信息，并基于所述晃動(dòng)信息，對(duì)所述第一圖 像的所述晃動(dòng)進(jìn)行修正。
21. 根據(jù)權(quán)利要求15所述的晃動(dòng)修正裝置，其特征在于， 所述修正處理單元通過將所述第二圖像的亮度信號(hào)與所述第一圖像的顏色信號(hào)進(jìn)行合成，從而對(duì)所述第一圖像的所述晃動(dòng)進(jìn)行修正。
22. 根據(jù)權(quán)利要求15所述的晃動(dòng)修正裝置，其特征在于， 所述修正處理單元通過利用所述第二圖像對(duì)所述第一圖像進(jìn)行清晰化，從而對(duì)所述第一圖像的所述晃動(dòng)進(jìn)行修正。
23. —種攝像裝置，其中包括 權(quán)利要求15所述的晃動(dòng)修正裝置；和 所述攝像單元。
24. —種晃動(dòng)修正方法，包括圖像取得步驟，通過利用了攝像單元的攝影來取得第一圖像，并且通 過曝光時(shí)間比所述第一圖像的曝光時(shí)間還短的多次攝影來取得多幅短曝 光圖像；第二圖像生成步驟，由所述多幅短曝光圖像生成l幅圖像，以作為第 二圖像；和修正處理步驟，基于所述第一圖像與所述第二圖像，對(duì)所述第一圖像 所包含的晃動(dòng)進(jìn)行修正。
全文摘要
本發(fā)明提供一種晃動(dòng)檢測(cè)裝置，其根據(jù)攝像單元的輸出來檢測(cè)通過所述攝像單元的攝影而得到的第一圖像所包含的晃動(dòng)，其特征在于該晃動(dòng)檢測(cè)裝置具備晃動(dòng)信息生成單元，其根據(jù)所述第一圖像、以比所述第一圖像的曝光時(shí)間還短的曝光時(shí)間攝影的第二圖像，生成與所述晃動(dòng)對(duì)應(yīng)的晃動(dòng)信息。
文檔編號(hào)H04N5/232GK101222584SQ20081000302
公開日2008年7月16日 申請(qǐng)日期2008年1月10日 優(yōu)先權(quán)日2007年1月12日
發(fā)明者畑中晴雄, 福本晉平 申請(qǐng)人:三洋電機(jī)株式會(huì)社