本發(fā)明涉及一種圖像處理裝置、濾波器獲取裝置、圖像處理方法、濾波器獲取方法、程序及記錄介質(zhì)，尤其涉及一種圖像濾波處理及在圖像濾波處理中可使用的濾波器的獲取方法。

背景技術：

提出有用于改善畫質(zhì)的濾波處理或用于賦予特殊的視覺效果的濾波處理等各種圖像濾波處理技術。已知有使用濾波器來復原原來的圖像的點像復原處理，所述濾波器是根據(jù)表示例如由攝影透鏡的像差等引起的像劣化特性的點擴散函數(shù)(點像分布函數(shù)(PSF：Point Spread Function))而確定的。

專利文獻1公開一種以通過基于PSF數(shù)據(jù)進行的圖像處理來復原圖像為目的的圖像記錄裝置。該圖像記錄裝置中，由“表示根據(jù)成像透鏡的設計值獲得的PSF的設計PSF數(shù)據(jù)”和“根據(jù)調(diào)整用圖的攝影數(shù)據(jù)獲得的測量PSF數(shù)據(jù)”推測其他區(qū)域PSF數(shù)據(jù)，并使用測量PSF數(shù)據(jù)及其他區(qū)域PSF數(shù)據(jù)來復原圖像數(shù)據(jù)。如此使用根據(jù)調(diào)整用圖的攝影數(shù)據(jù)獲得的測量PSF數(shù)據(jù)來復原圖像數(shù)據(jù)，從而即使在由于圖像記錄裝置的個體差而圖像數(shù)據(jù)的劣化程度在裝置之間不同的情況下，也能夠進行與個體差相應的復原。

以往技術文獻

專利文獻

專利文獻1：日本特開2010-177919號公報

非專利文獻

非專利文獻1：J.A.Fessler and A.O.Hero，“Space-Alternating Gener alized Expectation-Maximization Algorithm，”IEEETransactionS on Si gnalProcessing，Vol.17，No.10，pp.2664-2677，1994.

非專利文獻2：B.H.Fleury，M.Tschudin，R.Heddergott，D.Dahlhaus，and K.I.Pedersen，“Channel Parameter Estimation in Mobile Radio Envi ronments Using the SAGE Algorithm，”IEEE J.Selected Areas in Commun ications，Vol.17，No.3，pp.434-449，Mar.1999.

非專利文獻3：Y.Pati，R.Rezaiifar，P.Krishnaprasad，“Orthogonal Matching Pursuit：recursive function approximation with application to wavelet decomposition”，in Asilomar Conf.on Signals，Systems and Comput.，1993.

技術實現(xiàn)要素：

發(fā)明要解決的技術課題

如利用了上述點擴散函數(shù)(PSF)的圖像濾波處理那樣，根據(jù)光學系統(tǒng)的光學特性確定透鏡的像差等的像劣化特性，并使用根據(jù)其像劣化特性而設計的濾波器來進行濾波處理，從而能夠復原原來的圖像。

因此，關于以理想狀態(tài)制造的光學系統(tǒng)，能夠由設計值預先確定光學特性，理論上，能夠由設計值制作使用該理想的光學系統(tǒng)攝影的圖像的復原性能優(yōu)異的高精度的濾波器。然而，實際制造出的光學系統(tǒng)的個體之間有偏差，光學系統(tǒng)的光學特性因制造誤差等而發(fā)生變動，因此實際上僅由光學系統(tǒng)的設計值制造圖像復原性能優(yōu)異的濾波器并不一定容易。

專利文獻1中所記載的圖像記錄裝置中，通過由設計PSF數(shù)據(jù)及測量PSF數(shù)據(jù)推測其他區(qū)域PSF數(shù)據(jù)，可進行與個體差相應的圖像數(shù)據(jù)的復原處理。然而，專利文獻1中所記載的方法中，例如在一個光學系統(tǒng)(透鏡等)中中央部的制造誤差與邊緣部的制造誤差的相差較大時，未必能夠高精度地進行圖像數(shù)據(jù)的復原。

并且，為了進行反映有光學系統(tǒng)的個體差的圖像濾波處理，通常需要在獲取各光學系統(tǒng)的具體的光學特性(例如像劣化特性等)之后，根據(jù)該具體的光學特性重新設計濾波器。例如，在根據(jù)點擴散函數(shù)(PSF)生成濾波器的情況中，由按光學系統(tǒng)而獲取將點擴散函數(shù)進行博立葉變換而獲得的光學傳遞函數(shù)(OTF：Optical Transfer Function)，并根據(jù)其光學傳遞函數(shù)通過維納(Wiener)濾波器等的任意設計基準計算圖像復原用濾波器。通過由多個抽頭(抽頭系數(shù))構成如此算出的濾波器，能夠在實際空間中對由多個像素數(shù)據(jù)構成的圖像數(shù)據(jù)簡便地應用濾波器。

對濾波器的抽頭數(shù)量沒有限制時，能夠通過帶有任意的抽頭數(shù)量的FIR(Finite Impulse Response)濾波器來實現(xiàn)通過將由維納濾波器等所表示的頻率空間濾波器進行博立葉逆變換而獲得的頻率特性。然而，實際可使用的硬件受限時，濾波器的抽頭數(shù)量也受到限制。在濾波器的抽頭數(shù)量受限的條件下，為了計算具有所希望的頻率特性的抽頭系數(shù)，需要解決非線性最優(yōu)化問題，因此需要非常多的計算量。

因此，在光學系統(tǒng)的制造階段或基于用戶的使用階段，重新設計反應了光學系統(tǒng)的個體差的濾波器(抽頭系數(shù))時，獲取各光學系統(tǒng)的具體的光學特性之后，需要進行大量的運算處理。例如，利用實際攝影時所使用的相機由用戶本身進行濾波器的校準時，需要用于無壓力地進行這種大量的運算處理的能力較高的緊湊型運算電路及存儲區(qū)域(ROM：Read Only Memory)。尤其在獲取點擴散函數(shù)等的像劣化特性之后立即進行圖像濾波處理時，為了計算實際所使用的抽頭系數(shù)而需要確保大量的計算資源。然而，從實際構建圖像處理系統(tǒng)的觀點出發(fā)，事先確保這種計算資源并不一定優(yōu)選。

并且，若圖像濾波處理中所使用的濾波器的種類及數(shù)量增加，則由于濾波器整體的數(shù)據(jù)量顯著增加，因此需要具有較大的存儲容量的存儲器。即，圖像濾波處理中所使用的濾波器根據(jù)多個條件而被確定時，必要的濾波器的數(shù)據(jù)量以指數(shù)函數(shù)的比例增加。例如，光學系統(tǒng)的點擴散函數(shù)根據(jù)光圈值(F值)、變焦值(焦點距離)、被攝體距離、聚焦位置、光學系統(tǒng)類型、成像元件的傳感器SN比(Signal-Noise ratio)、像高(圖像內(nèi)位置)及光學系統(tǒng)個體差等攝影條件而發(fā)生變化。然而，若對于各攝影條件的所有組合準備特有的濾波器，則這些濾波器所需的整個數(shù)據(jù)量變得龐大。

并且，考慮到特定的各向異性或頻率特性的圖像濾波處理中，導致所需的濾波器的圖形數(shù)量增加。進而根據(jù)像素位置改變所使用的濾波器(濾波器系數(shù))時，濾波器的數(shù)據(jù)量根據(jù)處理對象的圖像的像素數(shù)而增加。

理想的是，優(yōu)選預先準備與所有條件的組合相關的濾波器而預先存儲于存儲器。然而，由于需要確保龐大的存儲容量，并且需要準備昂貴的存儲器，因此從實際構建圖像處理系統(tǒng)的觀點考慮，預先準備并存儲對應于所有條件的濾波器并不一定優(yōu)選。

本發(fā)明是鑒于上述情況而完成的，其目的在于提供一種能夠通過簡單的運算處理高精度地實現(xiàn)根據(jù)各光學系統(tǒng)的光學特性而確定的所希望的圖像濾波處理的圖像處理方法。

并且，其目的在于提供一種能夠獲取在這種圖像濾波處理中可優(yōu)選使用的濾波器的濾波器獲取方法。

用于解決技術課題的手段

本發(fā)明的一形態(tài)涉及一種圖像處理裝置，其具備濾波處理部，所述濾波處理部通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，濾波處理部在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應用濾波器而獲取濾波器應用處理數(shù)據(jù)，并對濾波器應用處理數(shù)據(jù)應用增益而獲取增益應用處理數(shù)據(jù)，且由增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標的頻率特性而獲取，所述頻率特性根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。

根據(jù)本形態(tài)，多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標的頻率特性來獲取，該圖像濾波處理的作為目標的頻率特性根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性來確定。通過以這樣的方式進行增益調(diào)整，從而能夠通過簡單的運算處理高精度地實現(xiàn)根據(jù)各光學系統(tǒng)的光學特性而確定的所希望的圖像濾波處理。并且，可降低各濾波處理中應用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，同時可進行高精度的濾波處理。

另外，“頻率特性”為與頻率相關的特性，且表示處理后的圖像數(shù)據(jù)的每頻率成分的振幅與處理前的圖像數(shù)據(jù)的每頻率成分的振幅的比(＝處理后的圖像數(shù)據(jù)的每頻率成分的振幅/處理前的圖像數(shù)據(jù)的每頻率成分的振幅)，并表示與頻率對應的響應。

作為在此所說的“光學特性”優(yōu)選為了攝影獲取成為圖像濾波處理的對象的原圖像數(shù)據(jù)而使用的攝影光學系統(tǒng)的光學特性。例如，能夠?qū)⒒邳c擴散函數(shù)PSF或光學傳遞函數(shù)OTF(包括MTF：Modulation Transfer Function及PTF：Phase Transfer Function)的特性設為“光學特性”，并且可通過使用利用了維納濾波器等的任意設計基準的反向濾波器(inverse filter)設計方法來表示“圖像濾波處理的作為目標的頻率特性”。

優(yōu)選的是，圖像處理裝置還具備增益候補數(shù)據(jù)存儲部及增益確定部，所述增益候補數(shù)據(jù)存儲部存儲將在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益的候補數(shù)據(jù)與光學系統(tǒng)的個別的光學特性建立對應關聯(lián)的增益表信息，所述增益確定部參考增益表信息并將與獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性建立對應關聯(lián)的候補數(shù)據(jù)作為在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益而確定，濾波處理部在多次濾波處理的每一次處理中將增益確定部所確定的增益應用于濾波器應用處理數(shù)據(jù)來獲取增益應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，能夠從增益的候補數(shù)據(jù)中簡單地確定應用于濾波器應用處理數(shù)據(jù)的增益。

另外，“增益表信息”的形式只要是將增益的候補數(shù)據(jù)與光學系統(tǒng)的個別的光學特性適當?shù)亟P聯(lián)的形式，則并無特別限定。光學系統(tǒng)的個別的光學特性能夠與增益的候補數(shù)據(jù)直接或間接地建立對應關聯(lián)，增益表信息可以是將例如確定各光學系統(tǒng)的信息(光學系統(tǒng)的ID信息等)與增益的候補數(shù)據(jù)建立對應關聯(lián)的信息。

優(yōu)選的是，圖像處理裝置還具備增益獲取部，所述增益獲取部獲取表示獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性的數(shù)據(jù)，并根據(jù)表示個別的光學特性的數(shù)據(jù)確定圖像濾波處理的作為目標的頻率特性，且根據(jù)所確定的作為目標的頻率特性獲取多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益。

根據(jù)本形態(tài)，根據(jù)表示光學系統(tǒng)的個別的光學特性的數(shù)據(jù)確定圖像濾波處理的作為目標的頻率特性，并獲取應用于濾波器應用處理數(shù)據(jù)的增益。在此所說的“表示光學系統(tǒng)的個別的光學特性的數(shù)據(jù)”只要是直接或間接地表示光學系統(tǒng)的個別的光學特性的數(shù)據(jù)，則可以將例如確定各光學系統(tǒng)的信息(光學系統(tǒng)的ID信息等)作為“表示光學系統(tǒng)的個別的光學特性數(shù)據(jù)”。

優(yōu)選的是，增益通過對圖像濾波處理的作為目標的頻率特性根據(jù)多次濾波處理的各頻率特性以最小二乘法來擬合圖像濾波處理的頻率特性而獲取。

根據(jù)本形態(tài)，能夠根據(jù)最小二乘法高精度地獲取用于實現(xiàn)圖像濾波處理的作為目標的頻率特性的增益。

優(yōu)選在最小二乘法中根據(jù)頻率進行加權。

尤其，優(yōu)選在最小二乘法中頻率特性的近似誤差評價函數(shù)根據(jù)頻率進行加權。在此所說的近似誤差評價函數(shù)為表示近似程度(即誤差程度)的評價的函數(shù)，例如能夠使用后述的“基于加權最小二乘準則的類函數(shù)(J_LMS[g])”作為近似誤差評價函數(shù)。根據(jù)本形態(tài)，通過增加受到重視的頻帶的權重，并減小未受到重視的頻帶的權重，從而能夠高精度地獲取對應于實際要求的增益。

優(yōu)選在最小二乘法中將低頻帶中的加權設定為大于高頻帶中的加權。

根據(jù)本形態(tài)，能夠獲取高精度地實現(xiàn)圖像濾波處理的作為目標的頻率特性中尤其低頻帶中的頻率特性的增益。在人類的視覺特性方面，低頻成分比高頻成分更容易被感知，因此增大低頻帶的加權來獲取增益，從而能夠通過圖像濾波處理生成可見性優(yōu)異的處理圖像數(shù)據(jù)。

在此所說的“低頻帶”優(yōu)選根據(jù)實際所要求的畫質(zhì)特性而確定，例如，能夠在采樣頻率的1/4(＝0.25fs＝奈奎斯特頻率的1/2)以下的范圍內(nèi)設定“低頻帶”。

優(yōu)選在最小二乘法中根據(jù)獲取原圖像數(shù)據(jù)時的攝影條件將高頻帶中的加權設定為大于低頻帶中的加權。

根據(jù)本形態(tài)，根據(jù)獲取原圖像數(shù)據(jù)時的攝影條件，能夠獲取高精度地實現(xiàn)圖像濾波處理的作為目標的頻率特性中尤其高頻帶中的頻率特性的增益。通常，高頻帶中的MTF劣化較大而攝像系統(tǒng)的噪聲較多時，有時噪聲因圖像濾波處理而被放大且畫質(zhì)惡化。因此在預計高頻帶中SN比較差的攝影條件下所獲取的原圖像數(shù)據(jù)的圖像濾波處理中，有時優(yōu)選作為“近似于圖像濾波處理的作為目標的頻率特性”的精度，使高頻成分優(yōu)先于低頻成分。

在此所說的“高頻帶”優(yōu)選根據(jù)實際要求的畫質(zhì)特性來確定，并能夠根據(jù)所設想的噪聲的頻率特性，例如在大于采樣頻率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范圍內(nèi)設定“高頻帶”。

并且，“獲取原圖像數(shù)據(jù)時的攝影條件”根據(jù)可影響噪聲的任意因素來確定。例如，可將選自獲取原圖像數(shù)據(jù)時所使用的攝影光學系統(tǒng)的設定條件或被攝體本身的狀態(tài)條件(場景條件)等中的1個或多個條件設為“獲取原圖像數(shù)據(jù)時的攝影條件”。

優(yōu)選最小二乘法中的加權根據(jù)原圖像數(shù)據(jù)中的像素位置來確定。

根據(jù)本形態(tài)，能夠根據(jù)原圖像數(shù)據(jù)中的像素位置來改變最小二乘法中的加權，并能夠進行與像素位置相應的圖像濾波處理。例如在要求清晰的畫質(zhì)的像素位置中可將高頻帶的加權設為大于低頻帶的加權，在要求可見性優(yōu)異的畫質(zhì)的像素位置中可將低頻帶的加權設為大于高頻帶的加權。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心為第1距離以下的像素位置，高頻帶中的加權大于原圖像數(shù)據(jù)的距離圖像中心比第1距離遠的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像周邊部在圖像中央部高頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)優(yōu)選適用于例如在圖像中央部配置主要被攝體的情況等，在圖像中央部要求清晰度的情況。

在此所說的“第1距離”并無特別限定，可根據(jù)重視高頻帶的圖像范圍而適當?shù)卦O定。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心比第2距離更遠的像素位置，低頻帶中的加權大于原圖像數(shù)據(jù)的距離圖像中心為第2距離以下的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像中央部在圖像周邊部低頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)可優(yōu)選適用于例如在圖像周邊部可配置觀察對象的被攝體的情況等、在圖像周邊部要求優(yōu)異的可見性的情況。

在此所說的“第2距離”并無特別限定，可根據(jù)重視低頻帶的圖像范圍而適當?shù)卦O定。

優(yōu)選的是，濾波處理部在圖像濾波處理的作為目標的頻率特性中處理圖像數(shù)據(jù)相對于原圖像數(shù)據(jù)的比例小于1的頻率中，在多次濾波處理的每一次處理中，使用使濾波處理數(shù)據(jù)與處理對象數(shù)據(jù)相等的濾波器。

若使用值過小的數(shù)據(jù)進行圖像濾波處理，則處理后的數(shù)據(jù)中不僅容易混入噪聲，而且有時這種噪聲被放大，結果有時導致畫質(zhì)劣化。根據(jù)本形態(tài)，通過使用將濾波處理數(shù)據(jù)設為與處理對象數(shù)據(jù)相等的濾波器，能夠有效地防止這種噪聲混入及噪聲放大。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次的濾波處理中，使用根據(jù)光學系統(tǒng)的被推測的特性而確定的濾波器來獲取濾波器應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進行一次基于光學系統(tǒng)的被推測的特性的濾波處理。

優(yōu)選的是，根據(jù)光學系統(tǒng)的特性確定的濾波器為根據(jù)光學系統(tǒng)的點擴散函數(shù)確定的濾波器。

根據(jù)本形態(tài)，至少進行一次基于光學系統(tǒng)的點擴散函數(shù)的濾波處理。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次的濾波處理中，利用與通過攝影獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的特性無關地被確定的濾波器來獲取濾波器應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進行一次與光學系統(tǒng)的特性無關的濾波處理。

優(yōu)選的是，與光學系統(tǒng)的特性無關地被確定的濾波器是輪廓增強濾波器。

根據(jù)本形態(tài)，至少進行一次與輪廓增強(邊緣增強)相關的濾波處理。另外，輪廓增強濾波器可具有對應于處理對象數(shù)據(jù)中的像素位置的頻率特性，也可以具有不依賴于處理對象數(shù)據(jù)中的像素位置的共同的頻率特性。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次濾波處理中，利用具有處理對象數(shù)據(jù)中的對應于像素位置的頻率特性的濾波器來獲取濾波器應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進行一次具有處理對象數(shù)據(jù)中的對應于像素位置的頻率特性的濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部將通過第1濾波處理獲取的濾波處理數(shù)據(jù)用作第2濾波處理中的處理對象數(shù)據(jù)。

根據(jù)本形態(tài)，連續(xù)地進行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理及第2濾波處理中將相同的數(shù)據(jù)用作處理對象數(shù)據(jù)，根據(jù)通過第1濾波處理獲取的濾波處理數(shù)據(jù)和通過第2濾波處理獲取的濾波處理數(shù)據(jù)來獲取處理圖像數(shù)據(jù)。

根據(jù)本形態(tài)，可并行地進行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：第1濾波器應用部，通過對第1濾波處理的處理對象數(shù)據(jù)應用第1濾波處理用的濾波器來獲取濾波器應用處理數(shù)據(jù)；第1增益應用部，通過對由第1濾波器應用部獲取的濾波器應用處理數(shù)據(jù)應用第1濾波處理用增益來獲取增益應用處理數(shù)據(jù)；第2濾波器應用部，通過對第2濾波處理的處理對象數(shù)據(jù)應用第2濾波處理用濾波器來獲取濾波器應用處理數(shù)據(jù)；及第2增益應用部，通過對由第2濾波器應用部獲取的濾波器應用處理數(shù)據(jù)應用第2濾波處理用增益來獲取增益應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過“濾波器應用部(第1濾波器應用部及第2濾波器應用部)”及“增益應用部(第1增益應用部及第2增益應用部)”來進行第1濾波處理及第2濾波處理，處理流程變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：濾波器應用部，對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)；及增益應用部，對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)，濾波器應用部在第1濾波處理中使用第1濾波處理用濾波器來獲取濾波器應用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用濾波器來獲取濾波器應用處理數(shù)據(jù)，增益應用部在第1濾波處理中使用第1濾波處理用增益來獲取增益應用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用增益來獲取增益應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過相同的“濾波器應用部”及“增益應用部”來進行第1濾波處理及第2濾波處理，從而硬件結構(電路結構)變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的平均而確定的基準濾波器來獲取濾波器應用處理數(shù)據(jù)，且在第2濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的方差而確定的方差濾波器來獲取濾波器應用處理數(shù)據(jù)。

根據(jù)本形態(tài)，由于使用根據(jù)圖像濾波處理的多種頻率特性的平均及方差而確定的基準濾波器及方差濾波器，因此能夠平均地高精度地進行欲應用的圖像濾波處理。

另外，方差濾波器只要直接或間接地與圖像濾波處理的多種頻率特性的方差相應即可，例如可根據(jù)由方差導出的標準偏差而確定方差濾波器，也可除了方差之外根據(jù)其他因素(例如平均等)而確定方差濾波器。

本發(fā)明的其他形態(tài)涉及一種圖像處理裝置，其具備通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的濾波處理部，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在多次濾波處理的每一次處理中對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)，并對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)，從增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在第1濾波處理中，使用根據(jù)頻率特性的平均而確定的基準濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。

根據(jù)本形態(tài)，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。以這種方式進行增益調(diào)整，由此能夠通過簡單的運算處理高精度地實現(xiàn)根據(jù)各光學系統(tǒng)的光學特性而確定的所希望的圖像濾波處理。并且，由于使用根據(jù)光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性的平均及方差相應的基準濾波器及方差濾波器，因此能夠平均地高精度地進行圖像濾波處理。

本發(fā)明的其他形態(tài)涉及一種濾波器獲取裝置，其具備濾波器計算部，所述濾波器計算部基于根據(jù)多個光學系統(tǒng)的光學特性而確定的多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準濾波器，并且根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器。

根據(jù)本形態(tài)，能夠獲取可穩(wěn)定且高精度地進行圖像濾波處理的基準濾波器及方差濾波器。以這種方式獲取的基準濾波器及方差濾波器可在多次濾波處理的每一次處理中優(yōu)選使用。

優(yōu)選的是，濾波器計算部根據(jù)分類到多個濾波器組的多種圖像濾波處理的頻率特性中多個濾波器組的每一個所包含的多種圖像濾波處理的頻率特性獲取與多個濾波器組的每一個相關的基準濾波器及至少一個方差濾波器。

根據(jù)本形態(tài)，即使在多種圖像濾波處理的頻率特性的偏差比較大的情況下，多種圖像濾波處理的頻率特性被分類到多個濾波器組，按每個濾波器組獲取基準濾波器及方差濾波器。由此，能夠提供可高精度地實現(xiàn)多種圖像濾波處理的頻率特性的每一特性的濾波器。

另外，將多種圖像濾波處理的頻率特性分類到多個濾波器組的方法并無特別限定，例如能夠根據(jù)圖像濾波處理的頻率特性的相似性進行分類。在此所說的“相似性”可由用戶適當?shù)剡M行判斷，也可通過根據(jù)特定的基準自動分析圖像濾波處理的頻率特性來獲取。

優(yōu)選的是，濾波器獲取裝置還具備以混合正態(tài)分布為基準將多種圖像濾波處理的頻率特性分類到多個濾波器組的濾波器組分類部。

根據(jù)本形態(tài)，以混合正態(tài)分布為基準高精度地被分類到濾波器組。

優(yōu)選的是，濾波器計算部獲取具有多個抽頭且對各抽頭分配有系數(shù)的基準濾波器，并且獲取具有多個抽頭且對各抽頭分配有系數(shù)的至少一個方差濾波器。

根據(jù)本形態(tài)，能夠由多個抽頭(抽頭系數(shù))構成基準濾波器及方差濾波器的每一個。

優(yōu)選的是，濾波器計算部根據(jù)偏差分布函數(shù)計算分配到至少一個方差濾波器的各抽頭的系數(shù)，所述偏差分布函數(shù)表示多種圖像濾波處理的頻率特性的方差且根據(jù)分配到基準濾波器的各抽頭的系數(shù)而確定。

根據(jù)本形態(tài)，能夠根據(jù)表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)高精度地計算分配到方差濾波器的各抽頭的系數(shù)。

優(yōu)選的是，就濾波器計算部而言，在將I設為2以上的整數(shù)時，獲取第1個到第I個方差濾波器，并由根據(jù)分配到基準濾波器的各抽頭的系數(shù)而確定的偏差分布函數(shù)計算分配到第1個方差濾波器的各抽頭的系數(shù)，在將J設為2以上且I以下的整數(shù)時，由根據(jù)分配到基準濾波器的各抽頭的系數(shù)和分配到第1個到第J-1個方差濾波器的每一個的各抽頭的系數(shù)而確定的偏差分布函數(shù)計算分配到第J個方差濾波器的各抽頭的系數(shù)。

根據(jù)本形態(tài)，能夠由根據(jù)基準濾波器和其他方差濾波器(第1～第J-1個方差濾波器)而確定的偏差分布函數(shù)高精度地計算分配到某一方差濾波器(第J個方差濾波器)的各抽頭的系數(shù)。

優(yōu)選的是，濾波器計算部根據(jù)偏差分布函數(shù)來更新分配到基準濾波器及至少一個方差濾波器中的至少任一個的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)且為根據(jù)分配到基準濾波器及至少一個方差濾波器的每一個的各抽頭的系數(shù)而確定的偏差分布函數(shù)。

根據(jù)本形態(tài)，更新分配到基準濾波器及至少一個方差濾波器中的至少任一個的各抽頭的系數(shù)，而能夠提高濾波器的精度。

優(yōu)選的是，濾波器計算部根據(jù)SAGE算法或OMP算法來計算分配到基準濾波器及至少一個方差濾波器的每一個的各抽頭的系數(shù)。

根據(jù)本形態(tài)，能夠根據(jù)SAGE(Space Alternative Generalized Expectation)算法或OMP(Orthogonal Matching Pursuit)算法高精度地計算分配到各抽頭的系數(shù)。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述方法中，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)，且對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)，并從增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)頻率特性來獲取，所述頻率特性為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的圖像濾波處理的作為目標的頻率特性。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述方法中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)，且對該濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)，并從該增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在第1濾波處理中，使用根據(jù)頻率特性的平均而確定的基準濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益是根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。

本發(fā)明的其他形態(tài)涉及一種濾波器獲取方法，所述方法基于根據(jù)多個光學系統(tǒng)的光學特性而確定的多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準濾波器，并且根據(jù)多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計算機實現(xiàn)通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計算機執(zhí)行以下步驟：對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)的步驟；對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)的步驟；及從增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)頻率特性來獲取，所述頻率特性為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的圖像濾波處理的作為目標的頻率特性。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計算機實現(xiàn)通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，使計算機執(zhí)行以下步驟：對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)的步驟；對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)的步驟；及從增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在第1濾波處理中，使計算機執(zhí)行如下步驟：使用根據(jù)頻率特性的平均而確定的基準濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使計算機執(zhí)行如下步驟：使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計算機執(zhí)行如下步驟：基于根據(jù)多個光學系統(tǒng)的光學特性而確定的多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準濾波器的步驟；及根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器的步驟。

本發(fā)明的其他形態(tài)涉及一種計算機可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計算機實現(xiàn)通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計算機執(zhí)行如下步驟：對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)的步驟；對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)的步驟；及從增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)頻率特性來獲取，所述頻率特性為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的圖像濾波處理的作為目標的頻率特性。

本發(fā)明的其他形態(tài)涉及一種計算機可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計算機實現(xiàn)通過對原圖像數(shù)據(jù)進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，使計算機執(zhí)行如下步驟：對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)的步驟；對濾波器應用處理數(shù)據(jù)應用增益來獲取增益應用處理數(shù)據(jù)的步驟；及從增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在第1濾波處理中，使計算機執(zhí)行如下步驟：使用根據(jù)頻率特性的平均而確定的基準濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使計算機執(zhí)行如下步驟：使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。

本發(fā)明的其他形態(tài)涉及一種計算機可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計算機執(zhí)行如下步驟：基于根據(jù)多個光學系統(tǒng)的光學特性而確定的多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準濾波器的步驟；及根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個方差濾波器的步驟。

發(fā)明效果

根據(jù)本形態(tài)，能夠根據(jù)圖像濾波處理的作為目標的頻率特性獲取在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益，該圖像濾波處理的作為目標的頻率特性根據(jù)獲取原圖像數(shù)據(jù)時所使用的光學系統(tǒng)的個別的光學特性而確定。由此，能夠通過簡單的運算處理而高精度地實現(xiàn)根據(jù)各光學系統(tǒng)的光學特性而確定的所希望的圖像濾波處理。并且，能夠減小在各濾波處理中應用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，且能夠進行高精度的濾波處理。

并且，根據(jù)本發(fā)明，能夠獲取根據(jù)多種圖像濾波處理的頻率特性的平均及方差而確定的基準濾波器及方差濾波器。通過使用以這種方式獲取的基準濾波器及方差濾波器進行濾波器應用處理，從而能夠平均地高精度地進行圖像濾波處理。

附圖說明

圖1是表示與計算機連接的數(shù)碼相機的框圖。

圖2是表示主體控制器的結構例的框圖。

圖3是表示圖像處理部的功能結構的一例的框圖。

圖4是表示圖像處理部的功能結構的其他例子的框圖。

圖5是表示圖像處理部的功能結構的其他例子的框圖。

圖6是圖像濾波處理的概念圖。

圖7是第n濾波處理(其中“n”為1以上且N以下的整數(shù))的概念圖。

圖8是表示濾波處理部的電路結構的一例的圖。

圖9是表示濾波處理部的電路結構的其他例子的圖。

圖10是表示濾波處理部的電路結構的其他例子的圖。

圖11是表示濾波處理部的電路結構的其他例子的圖。

圖12是表示增益獲取部的功能結構的一例的框圖，并表示與圖3所示的圖像處理部優(yōu)選組合的增益獲取部。

圖13是表示圖12所示的增益獲取部的增益獲取流程的流程圖。

圖14是表示增益獲取部的功能結構的其他例子的框圖，并表示與圖4及圖5所示的圖像處理部優(yōu)選組合的增益獲取部。

圖15是表示圖14所示的頻率分析部的頻率特性獲取流程的流程圖。

圖16是表示圖14所示的增益獲取部的增益獲取流程的流程圖。

圖17是表示顯示部中的攝影引導件的一例的圖。

圖18是表示適于圖17所示的引導件顯示的被攝體的一例的圖。

圖19是表示顯示部中的攝影引導件的其他例子的圖。

圖20是表示顯示部中的攝影引導件的其他例子的圖。

圖21是表示主體控制器中的顯示控制部、參考圖像獲取部及圖像判定部的功能結構例的框圖。

圖22是表示顯示部中的攝影引導件的其他例子的圖。

圖23是表示顯示部中的攝影引導件的其他例子的圖。

圖24是表示顯示部中的攝影引導件的其他例子的圖。

圖25是表示濾波器獲取裝置的功能結構的一例的框圖。

圖26是表示濾波器計算部的功能結構的一例的框圖。

圖27是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖28是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖29是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應。

圖30是概略表示圖29所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率，縱軸表示方差。

圖31是概略表示根據(jù)圖29所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖31(a)表示“φ₀”，圖31(b)表示“φ₁”，圖31(c)表示“φ₂”。

圖32表示與具有圖10所示的電路結構的濾波處理部所進行的圖像濾波處理(第1濾波處理～第3濾波處理)相關的頻率特性(參考圖32(a))及增益例(參考圖32(b))。

圖33是表示根據(jù)單峰型分布計算濾波器系數(shù)的濾波器計算部的功能結構的一例的框圖。

圖34是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應。

圖35是概略表示圖34所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖35(a)表示分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性數(shù)據(jù)的方差，圖35(b)表示分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性數(shù)據(jù)的方差。

圖36是概略表示根據(jù)分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖36(a)表示“φ₀”，圖36(b)表示“φ₁”，圖36(c)表示“φ₂”。

圖37是概略表示根據(jù)分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖37(a)表示“φ₀”，圖37(b)表示“φ₁”，圖37(c)表示“φ₂”。

圖38表示與具有圖10所示的電路結構的濾波處理部所進行的圖像濾波處理(第1濾波處理～第3濾波處理)相關的頻率特性(參考圖38(a))及增益例(參考圖38(b))。

圖39是表示根據(jù)多峰型分布計算濾波器系數(shù)的濾波器計算部的功能結構的一例的框圖。

圖40是通過濾波器組分類部分類到多個濾波器組的多種圖像濾波處理(頻率特性)的概念圖。

圖41表示由設計值導出的“光學系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖41(a)表示光學系統(tǒng)的中央部分的MTF，圖41(b)表示光學系統(tǒng)的周邊部分的MTF。

圖42是表示由實測值導出的“光學系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖42(a)表示光學系統(tǒng)的中央部分的MTF，圖42(b)表示光學系統(tǒng)的周邊部分的MTF。

圖43是表示根據(jù)圖41所示的MTF進行濾波器應用處理PF及增益應用處理PG時的“與圖像濾波處理相關的MTF”的一例的曲線圖，圖43(a)表示光學系統(tǒng)的中央部分的MTF，圖43(b)表示光學系統(tǒng)的周邊部分的MTF。

圖44是表示根據(jù)圖42所示的MTF進行濾波器應用處理PF及增益應用處理PG時的“與圖像濾波處理相關的MTF”的一例的曲線圖，圖44(a)表示光學系統(tǒng)的中央部分的MTF，圖44(b)表示光學系統(tǒng)的周邊部分的MTF。

圖45是表示根據(jù)圖42所示的MTF進行濾波器應用處理PF及增益應用處理PG時的“光學系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖45(a)表示光學系統(tǒng)的中央部分的MTF，圖45(b)表示光學系統(tǒng)的周邊部分的MTF。

圖46是表示根據(jù)圖42所示的MTF組合下述點像復原處理及輪廓增強處理時的“光學系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖46(a)表示光學系統(tǒng)的中央部分的MTF，圖46(b)表示光學系統(tǒng)的周邊部分的MTF。

圖47是表示進行使用了由點擴散函數(shù)導出的濾波器的濾波處理的電路與進行使用了輪廓增強濾波器的濾波處理的電路被串聯(lián)連接的情況的一例的電路結構圖。

圖48是表示進行使用了由點擴散函數(shù)導出的濾波器的濾波處理的電路與進行使用了輪廓增強濾波器的濾波處理的電路被并聯(lián)連接的情況的一例的電路結構圖。

圖49是表示進行使用了由點擴散函數(shù)導出的濾波器的濾波處理的電路與進行使用了輪廓增強濾波器的濾波處理的電路被并聯(lián)連接的情況的一例的電路結構圖。

圖50是表示具備EDoF光學系統(tǒng)的攝像模塊的一形態(tài)的框圖。

圖51是表示EDoF光學系統(tǒng)的一例的圖。

圖52是表示基于圖50所示的復原處理塊的復原處理流程的一例的圖。

圖53是表示經(jīng)由EDoF光學系統(tǒng)而獲取的圖像的復原例的圖，圖53(a)表示復原處理前的模糊的圖像，圖53(b)表示復原處理后的模糊已被消除的圖像(點像)。

圖54是表示智能手機的外觀的圖。

圖55是表示圖54所示的智能手機的結構的框圖。

具體實施方式

參考附圖對本發(fā)明的實施方式進行說明。在以下的實施方式中，作為一例，對將本發(fā)明應用于可與計算機(PC：個人計算機)連接的數(shù)碼相機(攝像裝置)的情況進行說明。

圖1是表示連接于計算機92的數(shù)碼相機10的框圖。

本例的數(shù)碼相機10具有可替換的透鏡單元11及具備成像元件24的相機主體12，透鏡單元11與相機主體12經(jīng)由透鏡單元11的透鏡單元輸入輸出部20和相機主體12的相機主體輸入輸出部28而電性連接。

透鏡單元11具備包括透鏡14和光圈15的光學系統(tǒng)及控制該光學系統(tǒng)的光學系統(tǒng)操作部17。光學系統(tǒng)操作部17包括連接于透鏡單元輸入輸出部20的透鏡單元控制器18、存儲光學系統(tǒng)信息等各種信息的透鏡單元存儲部19及對光學系統(tǒng)進行操作的致動器(省略圖示)。透鏡單元控制器18根據(jù)從相機主體12經(jīng)由透鏡單元輸入輸出部20發(fā)送過來的控制信號，并經(jīng)由致動器控制光學系統(tǒng)，進行例如基于透鏡移動的聚焦控制或變焦控制及光圈15的光圈量控制等。并且，透鏡單元控制器18根據(jù)從相機主體12經(jīng)由透鏡單元輸入輸出部20發(fā)送過來的控制信號，讀出存儲于透鏡單元存儲部19的各種信息而發(fā)送到相機主體12(主體控制器25)。

相機主體12的成像元件24具有聚光用微型透鏡、R(紅)G(綠)B(藍)等的濾色器及由CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等構成的圖像傳感器(光電二極管)。該成像元件24將經(jīng)由透鏡單元11的光學系統(tǒng)(透鏡14及光圈15等)照射的被攝體像的光轉換為電信號，并將圖像信號(圖像數(shù)據(jù))發(fā)送到主體控制器25。

關于主體控制器25，其詳細內(nèi)容將在后面進行敘述(參考圖2)，其具有作為設備控制部的功能及作為圖像處理部(圖像處理裝置)的功能，所述設備控制部集中地控制數(shù)碼相機10的各部，所述圖像處理部進行從成像元件24發(fā)送過來的圖像數(shù)據(jù)的圖像處理。

數(shù)碼相機10還具備進行拍攝等時所需的其他設備類(釋放按鈕等)，這些設備類的一部分構成可通過用戶進行確認及操作的用戶界面26。圖1所示的例子中，在相機主體12設置有用戶界面26，但用戶界面26可配置于透鏡單元11和/或相機主體12。用戶能夠經(jīng)由用戶界面26進行用于攝影等的各種設定(EV值(Exposure Value)等)的確定及變更、攝影命令及實時預覽圖像和攝影圖像的確認等。用戶界面26連接于主體控制器25，由用戶確定并變更的各種設定及各種命令被反映到主體控制器25中的各種處理。另外，本實施方式中，如后述，用戶通過用戶界面26所包括的顯示部27(EVF：Electronic View Finder、背面液晶顯示部)中的顯示而被引導，并且指示用于檢測光學系統(tǒng)(透鏡14及光圈15等)的光學特性的參考圖像的攝影。

在主體控制器25中經(jīng)圖像處理的圖像數(shù)據(jù)存儲于設置在相機主體12的主體存儲部29，根據(jù)需要，經(jīng)由輸入輸出接口30發(fā)送到計算機92等外部設備類。主體存儲部29由任意的存儲器設備構成，可優(yōu)選使用存儲器卡等可更換的存儲器。從主體控制器25輸出的圖像數(shù)據(jù)的格式并無特別限定，主體控制器25能夠生成并輸出具有RAW、JPEG(Joint Photographic Experts Group)和/或TIFF(Tagged Image File Format)等格式的圖像數(shù)據(jù)。并且，主體控制器25如所謂的Exif(Exchangeable Image File Format)那樣，將標題信息(攝影信息(攝影日期和時間、機種、像素數(shù)、光圈值等)等)、主圖像數(shù)據(jù)及縮略圖圖像數(shù)據(jù)等多個關聯(lián)數(shù)據(jù)彼此建立對應關聯(lián)而構成為一個圖像文件，并可輸出該圖像文件。

計算機92經(jīng)由相機主體12的輸入輸出接口30及計算機輸入輸出部93而與數(shù)碼相機10連接，并接收從相機主體12發(fā)送過來的圖像數(shù)據(jù)等數(shù)據(jù)類。計算機控制器94集中地控制計算機92，對來自數(shù)碼相機10的圖像數(shù)據(jù)進行圖像處理，并且控制與經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡96而連接于計算機輸入輸出部93的服務器97等的通信。計算機92具有顯示器95，計算機控制器94中的處理內(nèi)容等根據(jù)需要而顯示于顯示器95。用戶通過一邊確認顯示器95的顯示一邊對鍵盤等輸入機構(省略圖示)進行操作，能夠?qū)τ嬎銠C控制器94輸入數(shù)據(jù)或指令。由此，用戶能夠?qū)τ嬎銠C92或連接于計算機92的設備類(數(shù)碼相機10及服務器97等)進行控制。

服務器97具有服務器輸入輸出部98及服務器控制器99。服務器輸入輸出部98構成與計算機92等的外部設備類的收發(fā)連接部，并經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡96而與計算機92的計算機輸入輸出部93連接。服務器控制器99根據(jù)來自計算機92的控制命令信號，與計算機控制器94協(xié)作，根據(jù)需要在與計算機控制器94之間進行數(shù)據(jù)類的收發(fā)，進行運算處理并將其運算結果發(fā)送到計算機92。

各控制器(透鏡單元控制器18、主體控制器25、計算機控制器94及服務器控制器99)具有控制處理所需的電路類，例如具備運算處理電路(CPU(Cen tral Processing Unit)等)或存儲器等。并且，數(shù)碼相機10、計算機92及服務器97之間的通信既可以是有限通信，也可以是無線通信。并且，也可一體構成計算機92及服務器97，并且也可省略計算機92和/或服務器97。并且，也可以是，使數(shù)碼相機10具有與服務器97的通信功能，并在數(shù)碼相機10與服務器97之間直接進行數(shù)據(jù)類的收發(fā)。

圖2是表示主體控制器25的結構例的框圖。主體控制器25具有設備控制部34和圖像處理部(圖像處理裝置)35，并且集中地控制相機主體12。

設備控制部34適當?shù)乜刂茢?shù)碼相機10所具備的各種設備類，例如控制成像元件24來控制來自成像元件24的圖像信號(圖像數(shù)據(jù))的輸出，生成用于控制透鏡單元11的控制信號并經(jīng)由相機主體輸入輸出部28發(fā)送到透鏡單元11(透鏡單元控制器18)，將圖像處理前后的圖像數(shù)據(jù)(RAW數(shù)據(jù)及JPEG數(shù)據(jù)等)存儲于主體存儲部29，并對經(jīng)由輸入輸出接口30而連接的外部設備類(計算機92等)發(fā)送圖像處理前后的圖像數(shù)據(jù)(RAW數(shù)據(jù)及JPEG數(shù)據(jù)等)。尤其，本例的設備控制部34包括對顯示部27進行控制的顯示控制部36，該顯示控制部36如后述那樣與圖像處理部35協(xié)作而能夠?qū)⒁龑в脩舻臄z影操作的引導件顯示于顯示部27。

另一方面，圖像處理部35對從成像元件24輸出的圖像信號進行對應于需要而進行任意的圖像處理。例如，在圖像處理部35中能夠適當?shù)剡M行傳感器校正處理、去馬賽克(同步化)處理、像素插值處理、顏色校正處理(偏移校正處理、白平衡處理、顏色矩陣處理及伽馬轉換處理等)、RGB圖像處理(銳度處理、色調(diào)校正處理、曝光校正處理及輪廓校正處理等)、RGB/YCrCb轉換處理及圖像壓縮處理等各種圖像處理。

圖3是表示圖像處理部35的功能結構的一例的框圖。

圖像處理部35具備通過對原圖像數(shù)據(jù)D1進行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)D2的濾波處理部41。并且，本例的圖像處理部35除了濾波處理部41之外還具備增益確定部43、增益候補數(shù)據(jù)存儲部44、預處理部40及后處理部42。

濾波處理部41在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應用濾波器來獲取濾波器應用處理數(shù)據(jù)，且對該濾波器應用處理數(shù)據(jù)利用增益來獲取增益應用處理數(shù)據(jù)，并從該增益應用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)。

增益候補數(shù)據(jù)存儲部44存儲“增益表信息”，所述增益表信息是將在濾波處理部41中的多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益的候補數(shù)據(jù)與光學系統(tǒng)的個別的光學特性建立對應關聯(lián)而得。包括增益的候補數(shù)據(jù)的該增益表信息通過增益獲取部45根據(jù)光學系統(tǒng)的個別的光學特性而預先獲取并存儲于增益候補數(shù)據(jù)存儲部44。針對與光學系統(tǒng)的個別的光學特性相對應的增益(候補數(shù)據(jù))的獲取方法的具體例將在后面進行敘述。

增益確定部43參考存儲于增益候補數(shù)據(jù)存儲部44的增益表信息，將與獲取成為圖像濾波處理的對象的原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性建立對應關聯(lián)的候補數(shù)據(jù)，作為在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益而確定，并發(fā)送到濾波處理部41。本例的增益確定部43獲取在獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性，并從增益候補數(shù)據(jù)存儲部44讀出與其光學特性建立有對應關聯(lián)的增益的候補數(shù)據(jù)，作為應用于濾波器應用處理數(shù)據(jù)的增益發(fā)送到濾波處理部41。另外，基于增益確定部43的與光學系統(tǒng)的個別的光學特性相關的信息的獲取方法并無特別限定，增益確定部43例如可從主體控制器25的未圖示的存儲器所保持的攝影條件信息獲取對獲取原圖像數(shù)據(jù)D1時所使用的各光學系統(tǒng)進行確定的信息來作為間接地顯示光學系統(tǒng)的個別的光學特性的信息。

濾波處理部41在多次濾波處理的每一次處理中，將增益確定部43所確定的增益應用于濾波器應用處理數(shù)據(jù)來獲取增益應用處理數(shù)據(jù)。

圖像處理部35中，還可進行上述圖像濾波處理以外的圖像處理。圖像濾波處理以外的各種圖像處理既可在設置于濾波處理部41的前級的預處理部40中進行，也可在設置于濾波處理部41的后級的后處理部42中進行。即，將接受在預處理部40中進行的各種圖像處理而得到的數(shù)據(jù)作為原圖像數(shù)據(jù)D1進行濾波處理部41中的圖像濾波處理，并且，在后處理部42中對接受濾波處理部41中的圖像濾波處理而得到的處理圖像數(shù)據(jù)D2進行各種圖像處理。

此外，在本例中，將從預處理部40輸入到濾波處理部41的圖像數(shù)據(jù)稱為“原圖像數(shù)據(jù)D1”，將從濾波處理部41輸出到后處理部42的圖像數(shù)據(jù)稱為“處理圖像數(shù)據(jù)D2”

圖4是表示圖像處理部35的功能結構的其他例子的框圖。

在圖3所示的例子中，參考預先存儲于增益候補數(shù)據(jù)存儲部44的增益表信息獲取在濾波處理中所使用的增益，但在圖4所示的例子中，不預先獲取并存儲增益表信息(增益的候補數(shù)據(jù))，而執(zhí)行濾波處理并獲取增益。即，在圖4所示的例子中，增益獲取部45與濾波處理部41連接，在濾波處理部41中進行的多次濾波處理中所使用的增益從增益獲取部45被直接供給到濾波處理部41。增益獲取部45獲取表示獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性的數(shù)據(jù)，并根據(jù)表示其個別的光學特性的數(shù)據(jù)確定圖像濾波處理的作為目標的頻率特性，根據(jù)所確定的其“圖像濾波處理的作為目標的頻率特性”獲取在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益，并將該所獲取的增益供給到濾波處理部41。

該增益獲取部45可如圖4所示那樣作為圖像處理部35的一部分而設置，也可如圖5所示那樣作為與圖像處理部35分體的處理部而設置。

另外，在圖4及圖5所示的例子中，上述圖像濾波處理以外的圖像處理既可在設置于濾波處理部41的前級的預處理部40進行，也可在設置于濾波處理部41的后級的后處理部42進行。

接著，對在濾波處理部41中進行的圖像濾波處理(多次濾波處理)的具體例進行說明。

理想的是，對于根據(jù)相同的設計值而制造的多個光學系統(tǒng)的每一個系統(tǒng)，可期待顯示出一定的光學特性。然而，實際上即使是根據(jù)相同的設計值而制造的光學系統(tǒng)，因制造誤差等而在個體間產(chǎn)生偏差，并不一定顯示出相同的光學特性。因此，為了使用基于光學特性的濾波器而高精度地進行圖像濾波處理，即使根據(jù)相同的設計值而制造也無法視為多個光學系統(tǒng)的光學特性相同，需要在獲取各光學系統(tǒng)的準確的光學特性之后獨立設計與各光學系統(tǒng)相關的濾波器。然而，為了根據(jù)各光學系統(tǒng)的光學特性來構建實際所使用的濾波器，需要大量的運算處理，并且需要確保用于存儲濾波器的龐大的存儲容量。通常，使用由有限的多個抽頭構成的FIR濾波器進行圖像濾波處理(濾波處理)時，在獲取各光學系統(tǒng)的光學特性之后，計算與其光學特性相對應的濾波器的頻率特性，之后，需要計算用于實現(xiàn)其濾波器的頻率特性的抽頭系數(shù)。這些一系列的處理帶有繁瑣的運算，所計算的抽頭系數(shù)的數(shù)據(jù)量龐大，因此，例如在要求在短時間內(nèi)計算出抽頭系數(shù)的情況中，需要高性能的運算處理電路及存儲器。

為了實現(xiàn)圖像濾波處理所需的這種運算處理的低負載化及數(shù)據(jù)量的減小化，在以下實施方式中，代替構建與各光學系統(tǒng)的光學特性相對應的理想的濾波器，應用多次濾波處理并根據(jù)光學系統(tǒng)的個別的光學特性調(diào)整在各濾波處理中所使用的增益，從而可實現(xiàn)適合于在獲取原圖像數(shù)據(jù)時所使用的各光學系統(tǒng)的光學特性的圖像濾波處理。

另外，在此所說的各光學系統(tǒng)的光學特性并不僅限定于由制造誤差等而導致在各光學系統(tǒng)之間不同的光學特性，例如可以是根據(jù)光學系統(tǒng)的類別而原本就不同的光學特性。即，光學系統(tǒng)的個別的光學特性不限制于由于上述制造誤差等而在個體間存在偏差的光學特性。本發(fā)明還可應用于使用具有按每個類別而不同的光學特性的光學系統(tǒng)來獲取的原圖像數(shù)據(jù)，作為光學系統(tǒng)的個別的光學特性，還包括按每個光學類別而不同的光學特性。

圖6是圖像濾波處理P的概念圖。本例的圖像濾波處理P包括多次濾波處理(第1濾波處理F1～第N濾波處理FN(其中“N”為2以上的整數(shù)))。通過該“包括多次濾波處理的圖像濾波處理P”，由原圖像數(shù)據(jù)D1生成處理圖像數(shù)據(jù)D2。

圖7是第n濾波處理Fn(其中“n”為1以上且N以下的整數(shù))的概念圖。圖像濾波處理P的各濾波處理(第n濾波處理Fn)包括濾波器應用處理PF及增益應用處理PG。濾波器應用處理PF為對處理對象數(shù)據(jù)D3應用濾波器來獲取濾波器應用處理數(shù)據(jù)D4的處理，增益應用處理PG為對濾波器應用處理數(shù)據(jù)D4應用增益來獲取增益應用處理數(shù)據(jù)D5的處理。

在通過濾波處理部41進行的圖像濾波處理P所包括的多次濾波處理(第1濾波處理F1～第N濾波處理FN)的每一次處理中，濾波器應用處理PF中應用于處理對象數(shù)據(jù)D3的濾波器并無特別限定。

例如，濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用根據(jù)光學系統(tǒng)(透鏡14及光圈15等)的被推測的特性(光學特性)而確定的濾波器來獲取濾波器應用處理數(shù)據(jù)D4。

作為這種“根據(jù)光學系統(tǒng)的被推測的光學特性而確定的濾波器”，例如能夠優(yōu)選使用根據(jù)光學系統(tǒng)(透鏡14及光圈15等)的點擴散函數(shù)而確定的濾波器。例如預先推測基于制造誤差的光學系統(tǒng)間的光學特性的偏差，預先求出對彌補該被推測的光學特性的偏差有效的濾波器，該所求出的濾波器可在濾波處理部41中的多次濾波處理中使用。推測光學系統(tǒng)的光學特性的偏差的方法并無特別限定，基于制造誤差的光學系統(tǒng)間的光學特性的偏差可以經(jīng)實驗而求出，也可利用被模型化的函數(shù)求出。并且，對于濾波器的設計方法的一例將在后面進行敘述，但能夠以利用了維納濾波器等的任意的設計基準的反向濾波器設計方法設計濾波器。

并且，濾波處理部41可在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中使用多個濾波器，所述多個濾波器為基于光學系統(tǒng)(透鏡14及光圈15等)的點擴散函數(shù)的多個濾波器，且為通過改變影響點擴散函數(shù)的特性的因素而得到的多個濾波器。作為影響點擴散函數(shù)的特性的因素，例如可舉出光圈值(F值)、變焦值(焦點距離)、被攝體距離、聚焦位置、光學系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學系統(tǒng)個體差等攝影條件。根據(jù)這些因素中一個或多個因素的特性數(shù)據(jù)不同的點擴散函數(shù)所導出的濾波器可在各濾波器應用處理PF中使用。

另外，“根據(jù)光學系統(tǒng)的特性而確定的濾波器”并不限于基于點擴散函數(shù)的濾波器，可將輪廓增強濾波器或其他濾波器用作“根據(jù)光學系統(tǒng)的特性而確定的濾波器”。即使在為基于點擴散函數(shù)的濾波器以外的濾波器(輪廓增強濾波器等)的情況下，也可根據(jù)各種條件(例如上述光圈值(F值)等各種因素)調(diào)整濾波器(輪廓增強濾波器等)，也可在各濾波器應用處理PF中使用具有基于根據(jù)各種條件(例如上述光圈值(F值)等各種因素)而改變的光學特性而被調(diào)整的濾波器系數(shù)(抽頭系數(shù))的輪廓增強濾波器等濾波器。

并且，濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用與通過攝影獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)(透鏡14及光圈15等)的特性無關地被確定的濾波器來獲取濾波器應用處理數(shù)據(jù)D4。作為這種“與光學系統(tǒng)的特性無關地被確定的濾波器”，例如能夠優(yōu)選使用輪廓增強濾波器。

并且，在濾波器應用處理PF中所使用的濾波器可根據(jù)處理對象數(shù)據(jù)D3的像素位置而改變。濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)D3中的像素位置相對應的頻率特性的濾波器來獲取濾波器應用處理數(shù)據(jù)D4。并且，無論處理對象數(shù)據(jù)D3的像素位置如何，相同的濾波器可應用于處理對象數(shù)據(jù)D3。濾波處理部41在多次濾波處理中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)D3中像素位置無關的頻率特性的濾波器來獲取濾波器應用處理數(shù)據(jù)D4。

另一方面，在圖像濾波處理P中的多次濾波處理(第1濾波處理F1～第N濾波處理FN)的每一次處理中，在增益應用處理PG中應用于濾波器應用處理數(shù)據(jù)D4的增益是基于根據(jù)獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性而確定的“圖像濾波處理P的作為目標的頻率特性”來獲取。例如，通過基于由攝影獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)(透鏡14及光圈15等)的點擴散函數(shù)(光學傳遞函數(shù))的頻率特性，能夠顯示出圖像濾波處理P的作為目標的頻率特性，并能夠使用利用了維納濾波器等的任意的設計基準的反向濾波器設計方法。對該增益的獲取方法的詳細內(nèi)容將在后面進行敘述。

另外，圖像濾波處理P的作為目標的頻率特性并不限于基于光學系統(tǒng)(透鏡14及光圈15等)的點擴散函數(shù)(光學傳遞函數(shù))的頻率特性，能夠?qū)⒏鶕?jù)光學系統(tǒng)(透鏡14及光圈15等)的攝影條件(上述光圈值(F值)等各種因素)導出的各種頻率特性設為“圖像濾波處理P的作為目標的頻率特性”。因此，例如“根據(jù)光圈值(F值)而峰值不同的頻率特性”也可設定為“圖像濾波處理P的作為目標的頻率特性”。

接著，對進行圖像濾波處理P(多次濾波處理)的電路結構例進行說明。

構成圖像濾波處理P的濾波處理(第1濾波處理F1～第N濾波處理FN)的數(shù)N優(yōu)選小于通過如以往的方法根據(jù)因素設計濾波器時的濾波器的總數(shù)M。以優(yōu)選為M的50％以下，進一步優(yōu)選為30％以下，進一步優(yōu)選為10％以下的方式設定構成圖像濾波處理P的濾波處理的數(shù)N。其中，對于構成圖像濾波處理P的濾波處理的數(shù)N，多次濾波處理中所使用的濾波器中抽頭數(shù)量最大的濾波器的抽頭數(shù)量(最大抽頭數(shù)量)成為上限。這是因為，若為濾波器的抽頭數(shù)量以上，則無法增加濾波器的種類。

另外，構成圖像濾波處理P的濾波處理的數(shù)N優(yōu)選為10以下，進一步優(yōu)選為6以下，進一步優(yōu)選為4以下，但濾波處理的數(shù)N的具體的數(shù)值例并不限于這些。并且，構成圖像濾波處理P的多次濾波處理(濾波處理部41)中所使用的多個濾波器的抽頭數(shù)量在濾波器之間可相同也可不同。

在以下與圖8～圖11相關的說明中，為了方便，假設“N＝2”，對濾波處理部41中所進行的多次濾波處理由第1濾波處理F1及第2濾波處理F2構成的情況進行說明。其中，“N”為3以上的整數(shù)，在濾波處理部41進行3次以上的濾波處理的情況下，也可通過相同的設計方法實現(xiàn)濾波處理部41。

圖8是表示濾波處理部41的電路結構的一例的圖。圖8中示出有串聯(lián)連接進行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的情況的一例。

本例的濾波處理部41將在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1用作第2濾波處理F2中的處理對象數(shù)據(jù)D3-2。即，濾波處理部41具有第1濾波器應用部48-1、第1增益應用部49-1及第1處理數(shù)據(jù)計算部50-1，且通過它們進行第1濾波處理F1。并且，濾波處理部41具有第2濾波器應用部48-2、第2增益應用部49-2及第2處理數(shù)據(jù)計算部50-2，且通過它們進行第2濾波處理F2。

第1濾波器應用部48-1對第1濾波處理F1的處理對象數(shù)據(jù)D3-1應用第1濾波處理用濾波器來獲取濾波器應用處理數(shù)據(jù)D4-1。第1增益應用部49-1對從第1濾波器應用部48-1輸出的濾波器應用處理數(shù)據(jù)D4-1應用第1濾波處理用增益g₀來獲取增益應用處理數(shù)據(jù)D5-1。同樣地，第2濾波器應用部48-2對第2濾波處理F2的處理對象數(shù)據(jù)D3-2應用第2濾波處理用濾波器來獲取濾波器應用處理數(shù)據(jù)D4-2。第2增益應用部49-2對從第2濾波器應用部48-2輸出的濾波器應用處理數(shù)據(jù)D4-2應用第2濾波處理用增益g₁來獲取增益應用處理數(shù)據(jù)D5-2。

另外，在各濾波處理中所使用的濾波器既可以由各濾波器應用部48(第1濾波器應用部48-1及第2濾波器應用部48-2)保持，也可以存儲于未圖示的存儲器而由各濾波器應用部48適當?shù)刈x出。并且，在各濾波處理中所使用的增益可通過圖3所示的增益確定部43或圖4及圖5所示的增益獲取部45供給到各增益應用部49(第1增益應用部49-1及第2增益應用部49-2)。

并且，本例的濾波處理部41還具有將處理對象數(shù)據(jù)D3與增益應用處理數(shù)據(jù)D5相加并輸出濾波處理數(shù)據(jù)D6的第1處理數(shù)據(jù)計算部50-1及第2處理數(shù)據(jù)計算部50-2。即，第1處理數(shù)據(jù)計算部50-1對從第1增益應用部49-1輸出的增益應用處理數(shù)據(jù)D5-1加上處理對象數(shù)據(jù)D3-1并輸出濾波處理數(shù)據(jù)D6-1。同樣地，第2處理數(shù)據(jù)計算部50-2對從第2增益應用部49-2輸出的增益應用處理數(shù)據(jù)D5-2加上處理對象數(shù)據(jù)D3-2并輸出濾波處理數(shù)據(jù)D6-2。

另外，在通過第1濾波處理F1及第2濾波處理F2構成圖像濾波處理P的本例中，第1濾波處理F1中的處理對象數(shù)據(jù)D3-1為原圖像數(shù)據(jù)D1，第2濾波處理F2中的濾波處理數(shù)據(jù)D6-2成為處理圖像數(shù)據(jù)D2。

圖9是表示濾波處理部41的電路結構的其他例子的圖。圖9中示出有并聯(lián)連接進行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的情況的一例。

本例中，串聯(lián)連接與第1濾波處理F1相關的第1濾波器應用部48-1和第1增益應用部49-1，且串聯(lián)連接與第2濾波處理F2相關的第2濾波器應用部48-2和第2增益應用部49-2。并且，并聯(lián)連接“與第1濾波處理F1相關的第1濾波器應用部48-1及第1增益應用部49-1”與“與第2濾波處理F2相關的第2濾波器應用部48-2及第2增益應用部49-2”。并且，濾波處理部41具有將從第1增益應用部49-1輸出的增益應用處理數(shù)據(jù)D5-1與從第2增益應用部49-2輸出的增益應用處理數(shù)據(jù)D5-2相加的加法器52。另外，設置有通過將加算數(shù)據(jù)D7和處理對象數(shù)據(jù)D3相加來獲取處理圖像數(shù)據(jù)D2的處理圖像數(shù)據(jù)計算部51，所述加算數(shù)據(jù)D7通過與在所有濾波處理(本例中為第1濾波處理F1及第2濾波處理F2)中所獲取的增益應用處理數(shù)據(jù)D5(濾波處理數(shù)據(jù)D6)相加而獲得。

具有該圖9所示的電路結構的本例的濾波處理部41在第1濾波處理F1及第2濾波處理F2中使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)D1)來作為處理對象數(shù)據(jù)D3。并且，濾波處理部41根據(jù)在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1和在第2濾波處理F2中獲取的濾波處理數(shù)據(jù)D6-2來獲取處理圖像數(shù)據(jù)D2。另外，本例中，從各濾波處理的增益應用部49輸出的增益應用處理數(shù)據(jù)D5成為在各濾波處理中獲得的濾波處理數(shù)據(jù)D6。

圖10是表示濾波處理部41的電路結構的其他例子的圖。圖10中示出有并聯(lián)連接進行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的其他例子。

本例中，與圖9所示的例子同樣地，串聯(lián)連接與第1濾波處理F1相關的第1濾波器應用部48-1和第1增益應用部49-1，且串聯(lián)連接與第2濾波處理F2相關的第2濾波器應用部48-2和第2增益應用部49-2。并且，并聯(lián)連接“與第1濾波處理F1相關的第1濾波器應用部48-1及第1增益應用部49-1”與“與第2濾波處理F2相關的第2濾波器應用部48-2及第2增益應用部49-2”。因此，本例的濾波處理部41在第1濾波處理F1及第2濾波處理F2中也使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)D1)來作為處理對象數(shù)據(jù)D3。

其中，在本例中，通過處理圖像數(shù)據(jù)計算部51加算所有濾波處理(本例中為第1濾波處理F1及第2濾波處理F2)中所獲取的增益應用處理數(shù)據(jù)D5(濾波處理數(shù)據(jù)D6)，從而獲取處理圖像數(shù)據(jù)D2。即，濾波處理部41通過在處理圖像數(shù)據(jù)計算部51中將在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1與在第2濾波處理F2中獲取的濾波處理數(shù)據(jù)D6-2相加來獲取處理圖像數(shù)據(jù)D2。另外，在本例中，從各濾波處理的增益應用部49輸出的增益應用處理數(shù)據(jù)D5成為在各濾波處理中所獲得的濾波處理數(shù)據(jù)D6。

并且，本例的圖像濾波處理P(第1濾波處理F1～第N濾波處理FN)為了防止處理對象圖像的亮度(DC(Direct Current)成分)發(fā)生變化，優(yōu)選頻率(ω)為0時的濾波器響應被設定為1且設定為(φ_n(0)＝1)，且關于任意的增益，亮度被調(diào)整為恒定。

在上述圖8～圖10所示的例子中，在多次濾波處理的每一次處理中設置獨立的“濾波器應用部48及增益應用部49”，但也可通過共同的“濾波器應用部48及增益應用部49”進行多次濾波處理。

圖11是表示濾波處理部41的電路結構的另一例子的圖。圖11中示出有通過單一的濾波器應用部48及單一的增益應用部49進行多次濾波處理的電路結構的例子。圖11所示的電路結構例在濾波器應用處理PF及增益應用處理PG中發(fā)揮與上述圖8所示的串聯(lián)連接類型的電路結構等效的功能，但在通過單一的“濾波器應用部48及增益應用部49”進行多次濾波處理的方面與圖8所示的電路結構不同。

即，本例的濾波處理部41具有：濾波器應用部48，對處理對象數(shù)據(jù)D3應用濾波器來獲取濾波器應用處理數(shù)據(jù)D4；及增益應用部49，對濾波器應用處理數(shù)據(jù)D4應用增益來獲取增益應用處理數(shù)據(jù)D5。并且，濾波處理部41具有：處理數(shù)據(jù)計算部50，將增益應用處理數(shù)據(jù)D5與處理對象數(shù)據(jù)D3相加而獲取濾波處理數(shù)據(jù)D6；及反復運算判定部54，判定是否反復濾波器應用部48、增益應用部49及處理數(shù)據(jù)計算部50中的運算處理。

反復運算判定部54判定通過濾波器應用部48、增益應用部49及處理數(shù)據(jù)計算部50進行的濾波處理的次數(shù)是否達到預先確定的N次(本例中“N＝2”)。當通過濾波器應用部48、增益應用部49及處理數(shù)據(jù)計算部50進行的濾波處理的次數(shù)未達到N次時，反復運算判定部54對從處理數(shù)據(jù)計算部50輸出的濾波處理數(shù)據(jù)D6進行反饋。若濾波處理數(shù)據(jù)D6被反饋，則濾波器應用部48、增益應用部49及處理數(shù)據(jù)計算部50將所反饋的濾波處理數(shù)據(jù)D6作為新的處理對象數(shù)據(jù)D3反復一系列的處理。當通過濾波器應用部48、增益應用部49及處理數(shù)據(jù)計算部50進行的濾波處理的次數(shù)達到N次時，反復運算判定部54將從處理數(shù)據(jù)計算部50最終輸出的濾波處理數(shù)據(jù)D6作為處理圖像數(shù)據(jù)D2來輸出。

在本例中，濾波器應用部48中所使用的濾波器h_n從濾波器供給部56被供給到濾波器應用部48，增益應用部49中所使用的增益g_n從增益供給部55被供給到增益應用部49。即，“在第n次濾波處理(其中“1≤n≤N”)中所使用的濾波器h_n-1及增益g_n-1的信息”在濾波器供給部56及增益供給部55中被保持，或者被未圖示的存儲器所保持。濾波器供給部56及增益供給部55，從反復運算判定部54發(fā)送“接著在濾波器應用部48、增益應用部49及處理數(shù)據(jù)計算部50中進行的濾波處理為第n次”這樣的信息，并根據(jù)來自該反復運算判定部54的信息對濾波器應用部48及增益應用部49供給濾波器h_n-1及增益g_n-1。

因此，圖11所示的濾波器應用部48在第1濾波處理F1中使用第1濾波處理用濾波器h₀獲取濾波器應用處理數(shù)據(jù)D4，并在第2濾波處理F2中使用第2濾波處理用濾波器h₁獲取濾波器應用處理數(shù)據(jù)D4。并且，增益應用部49在第1濾波處理F1中使用第1濾波處理用增益g₀獲取增益應用處理數(shù)據(jù)D5，并在第2濾波處理F2中使用第2濾波處理用增益g₁獲取增益應用處理數(shù)據(jù)D5。

另外，關于對增益應用部49供給增益的增益供給部55，當圖像處理部35具有圖3所示的系統(tǒng)結構時由增益確定部43構成，并且當圖像處理部35具有圖4或圖5所示的系統(tǒng)結構時由增益獲取部45構成。

上述圖8～圖11所示的電路結構僅為一例，進行多次濾波處理的濾波處理部41可由各種電路結構實現(xiàn)，并且具體的電路結構并無特別限定。

例如，圖11中示出有通過單一的“濾波器應用部48及增益應用部49”進行與圖8所示的串聯(lián)連接類型同等的濾波處理(圖像濾波處理P)的電路結構例，但同樣地，也可通過具有單一的“濾波器應用部48及增益應用部49”的電路結構進行與圖9或圖10所示的并聯(lián)連接類型同等的濾波處理(圖像濾波處理P)。

并且，在圖8所示的串聯(lián)連接類型的電路結構中，可省略第1處理數(shù)據(jù)計算部50-1及第2處理數(shù)據(jù)計算部50-2。即，可將從第1增益應用部49-1輸出的增益應用處理數(shù)據(jù)D5-1設為第1濾波處理F1的濾波處理數(shù)據(jù)D6-1及第2濾波處理F2的處理對象數(shù)據(jù)D3-2，也可將從第2增益應用部49-2輸出的增益應用處理數(shù)據(jù)D5-2設為第2濾波處理F2的濾波處理數(shù)據(jù)D6-2及處理圖像數(shù)據(jù)D2。同樣地，在圖11所示的電路結構中可省略處理數(shù)據(jù)計算部50，也可將從增益應用部49輸出的增益應用處理數(shù)據(jù)D5設為濾波處理數(shù)據(jù)D6。

<增益確定方法>

接著，對在增益應用部49(第1增益應用部49-1～第N增益應用部49-N)中所使用的增益的確定方法進行說明。

圖12是表示增益獲取部45的功能結構的一例的框圖，并且表示與圖3所示的圖像處理部35優(yōu)選組合的增益獲取部45。本例的增益獲取部45具有參考圖像獲取部60、參考圖像分析部61、目標頻率特性獲取部62及應用增益計算部63。

參考圖像獲取部60獲取反映了在獲取成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性的參考圖像數(shù)據(jù)。通過參考圖像獲取部60獲取參考圖像數(shù)據(jù)的方法并無特別限定。例如，如后述那樣，通過在將包括測量對象的光學系統(tǒng)的透鏡單元11安裝于相機主體12的狀態(tài)下引導用戶來進行拍攝，從而可從成像元件24對參考圖像獲取部60輸入?yún)⒖紙D像數(shù)據(jù)。并且，預先進行利用包括測量對象的光學系統(tǒng)的透鏡單元11進行的拍攝來獲取的參考圖像數(shù)據(jù)被保存于存儲器(圖1所示的主體存儲部29等)時，參考圖像獲取部60可從該存儲器讀出與測量對象的光學系統(tǒng)相關的參考圖像數(shù)據(jù)。

另外，參考圖像數(shù)據(jù)的被攝體并無特別限定，即可通過具有特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)，也可通過具有不特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)。當通過具有特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)時，優(yōu)選參考圖像獲取部60如后述那樣與設備控制部34(顯示控制部36等)協(xié)作而控制顯示部27中的顯示等，并引導用戶來進行這種被攝體的攝影的引導。并且，當通過具有不特定的形狀、模樣及顏色的被攝體的攝影獲取參考圖像數(shù)據(jù)時，參考圖像獲取部60也可對保存于主體存儲部29的過去的攝影圖像數(shù)據(jù)進行分析，并且從過去的攝影圖像數(shù)據(jù)中選擇數(shù)據(jù)而作為參考圖像數(shù)據(jù)進行特定，所述數(shù)據(jù)為使用包括測量對象的光學系統(tǒng)的透鏡單元11獲取的數(shù)據(jù)，且為具有作為參考圖像數(shù)據(jù)優(yōu)選的圖像特性的數(shù)據(jù)。

參考圖像分析部61進行通過參考圖像獲取部60獲取的參考圖像數(shù)據(jù)的分析，并且獲取在獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性。具體而言，參考圖像分析部61進行參考圖像數(shù)據(jù)的頻率分析，并且例如可獲取點擴散函數(shù)(光學傳遞函數(shù))來作為測量對象即光學系統(tǒng)的個別的光學特性。

目標頻率特性獲取部62根據(jù)參考圖像分析部61所獲取的光學系統(tǒng)的個別的光學特性來確定在使用該光學系統(tǒng)攝影獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中作為目標的頻率特性。例如，當圖像濾波處理P為意圖消除光學系統(tǒng)的點擴散現(xiàn)象的點像復原處理時，目標頻率特性獲取部62根據(jù)參考圖像分析部61所獲取的光學系統(tǒng)的個別的點擴散函數(shù)(光學傳遞函數(shù))，以利用了維納濾波器等的任意設計基準的反向濾波器設計方法構建濾波器，由此可獲取圖像濾波處理P的作為目標的頻率特性。

應用增益計算部63根據(jù)目標頻率特性獲取部62所確定的“圖像濾波處理P的作為目標的頻率特性”獲取在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益(候補數(shù)據(jù))?；趹迷鲆嬗嬎悴?3的增益的獲取方法并無特別限定，例如可通過最小二乘法計算增益。即，應用增益計算部63相對于目標頻率特性獲取部62所確定的“圖像濾波處理P的作為目標的頻率特性”，根據(jù)多次濾波處理的每一次處理中的頻率特性以最小二乘法擬合圖像濾波處理P的頻率特性，從而可獲取在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益。

應用增益計算部63將所獲取的增益作為“增益的候補數(shù)據(jù)”存儲于增益候補數(shù)據(jù)存儲部44。優(yōu)選增益的候補數(shù)據(jù)在與增益選定條件建立對應關聯(lián)的狀態(tài)下存儲于增益候補數(shù)據(jù)存儲部44，所述增益選定條件與圖像濾波處理P的作為目標的頻率特性相關聯(lián)。作為增益選定條件，可優(yōu)選使用表示可影響圖像濾波處理P的作為目標的頻率特性的各種因素的特性數(shù)據(jù)。因此，圖像濾波處理P的作為目標的頻率特性為“基于通過攝影獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)(透鏡14及光圈15等)的點擴散函數(shù)(光學傳遞函數(shù))的頻率特性”時，與影響該點擴散函數(shù)的各種因素(例如用于獲取原圖像數(shù)據(jù)D1的攝影時的光圈值(F值)、變焦值(焦點距離)、被攝體距離、聚焦位置、光學系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學系統(tǒng)個體差等攝影條件)相關的特性數(shù)據(jù)可作為“增益選定條件”而與增益的候補數(shù)據(jù)建立對應關聯(lián)。

如此將增益的候補數(shù)據(jù)與增益選定條件建立對應關聯(lián)來存儲于增益候補數(shù)據(jù)存儲部44時，參考圖像獲取部60優(yōu)選獲取在多個增益選定條件下攝影獲取的多個參考圖像數(shù)據(jù)，參考圖像分析部61優(yōu)選對在多個增益選定條件下攝影獲取的多個參考圖像數(shù)據(jù)進行分析來獲取光學特性。并且，目標頻率特性獲取部62優(yōu)選從多個增益選定條件下的光學特性獲取與多個增益選定條件相關的圖像濾波處理P的作為目標的頻率特性，應用增益計算部63優(yōu)選獲取與多個增益選定條件建立關聯(lián)的增益，并將該增益與對應的增益選定條件建立對應關聯(lián)來存儲于增益候補數(shù)據(jù)存儲部44。

圖13是表示圖12所示的增益獲取部45的增益獲取流程的流程圖。在本例中，如上所述，首先通過參考圖像獲取部60獲取使用測量對象的光學系統(tǒng)(透鏡單元11)攝影獲取的參考圖像數(shù)據(jù)(圖13的S11)，并通過參考圖像分析部61進行該參考圖像數(shù)據(jù)的分析而獲取測量對象的光學系統(tǒng)的個別的光學特性(S12)。而且，根據(jù)測量對象的光學系統(tǒng)的個別的光學特性通過目標頻率特性獲取部62獲取圖像濾波處理P的作為目標的頻率特性(S13)，并根據(jù)該作為目標的頻率特性通過應用增益計算部63獲取增益的候補數(shù)據(jù)(S14)。

如此獲取的增益的候補數(shù)據(jù)作為與測量對象的光學系統(tǒng)的個別的光學特性建立關聯(lián)的“增益表信息”，通過應用增益計算部63被存儲于增益候補數(shù)據(jù)存儲部44(S15)。由此，增益確定部43從存儲于增益候補數(shù)據(jù)存儲部44的增益的候補數(shù)據(jù)中，確定在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益，并能夠?qū)⒃撍_定的增益發(fā)送到濾波處理部41。

圖14是表示增益獲取部45的功能結構的其他例子的框圖，并且表示與圖4及圖5所示的圖像處理部35優(yōu)選組合的增益獲取部45。本例的增益獲取部45具有目標頻率特性獲取部62及應用增益計算部63，目標頻率特性獲取部62從頻率分析部66的頻率特性存儲部68獲取圖像濾波處理P的作為目標的頻率特性。

頻率分析部66具有參考圖像獲取部60、參考圖像分析部61、目標頻率特性確定部67及頻率特性存儲部68。本例的參考圖像獲取部60及參考圖像分析部61與圖12所示的上述參考圖像獲取部60及參考圖像分析部61同樣地獲取參考圖像數(shù)據(jù)，并獲取在獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性。并且，本例的目標頻率特性確定部67與圖12所示的上述目標頻率特性獲取部62同樣地，根據(jù)參考圖像分析部61所獲取的光學系統(tǒng)的個別的光學特性而確定在使用該光學系統(tǒng)攝影獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中作為目標的頻率特性。

其中，本例的目標頻率特性確定部67將與所確定的圖像濾波處理P的作為目標的頻率特性相關的數(shù)據(jù)與對應的光學系統(tǒng)的數(shù)據(jù)建立對應關聯(lián)而存儲于頻率特性存儲部68。在此所說的“對應的光學系統(tǒng)的數(shù)據(jù)”為可確定測量對象的各光學系統(tǒng)的任意的數(shù)據(jù)，例如可由分配到各光學系統(tǒng)的ID號碼等表示。

本例的目標頻率特性獲取部62獲取濾波處理部41中的成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1的攝影時所使用的光學系統(tǒng)的ID號碼(對應的光學系統(tǒng)的數(shù)據(jù))，并從頻率特性存儲部68獲取與根據(jù)該ID號碼來拍攝原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)建立有對應關聯(lián)的與圖像濾波處理P的作為目標的頻率特性相關的數(shù)據(jù)。應用增益計算部63根據(jù)目標頻率特性獲取部62所確定的“圖像濾波處理P的作為目標的頻率特性”，獲取在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)的增益并供給到濾波處理部41。

如此，本例的增益獲取部45從頻率特性存儲部68讀出與原圖像數(shù)據(jù)D1的攝影時所使用的光學系統(tǒng)相關的“圖像濾波處理P的作為目標的頻率特性”來獲取增益。因此，能夠?qū)㈩l率分析部66中的“用于獲取圖像濾波處理P的作為目標的頻率特性的處理”與增益獲取部45中的“用于獲取濾波處理部41中實際使用的增益的處理”分開。

圖15是表示圖14所示的頻率分析部66的頻率特性獲取流程的流程圖。本例中，如上所述，首先通過參考圖像獲取部60獲取使用測量對象的光學系統(tǒng)而攝影獲取的參考圖像數(shù)據(jù)(圖15的S21)，通過參考圖像分析部61進行該參考圖像數(shù)據(jù)的分析來獲取測量對象的光學系統(tǒng)的個別的光學特性(S22)。而且，通過目標頻率特性確定部67根據(jù)測量對象的光學系統(tǒng)的個別的光學特性確定圖像濾波處理P的作為目標的頻率特性(S23)，存儲于頻率特性存儲部68(S24)。

圖16是表示圖14所示的增益獲取部45的增益獲取流程的流程圖。本例中，如上所述，首先通過目標頻率特性獲取部62從頻率特性存儲部68獲取與濾波處理部41中的成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1的攝影時所使用的光學系統(tǒng)建立對應關聯(lián)的圖像濾波處理P的作為目標的頻率特性相關的數(shù)據(jù)(圖16的S31)。而且，通過應用增益計算部63根據(jù)該作為目標的頻率特性獲取在濾波處理中所使用的增益(S32)，供給到濾波處理部41(S33)。

<增益系數(shù)(增益值矢量)的計算方法>

以下，對上述增益獲取部45(尤其應用增益計算部63)中的運算處理的具體的流程進行說明。作為一例，主要對濾波處理部41具有圖10所示的電路結構的情況進行說明，但對于濾波處理部41具有其他電路結構(參考圖8～圖9及圖11)的情況也可通過同樣的運算處理計算增益。

以下的方法采用根據(jù)頻率及圖像內(nèi)的位置(像素位置)的每一個進行加權的最小二乘基準，并以使通過濾波處理部41進行的圖像濾波處理P整體的頻率特性接近作為目標的所希望的頻率特性的方式求出增益。

在圖10所示的電路結構中，由“φ_n-1(ω)”表示進行第n濾波處理Fn(其中“1≤n≤N”)的濾波器應用部48-n中所使用的濾波器的頻率特性，并且若由“g_n-1”表示增益應用部49-n中所使用的增益，則第n濾波處理Fn的頻率特性由“g_n-1φ_n-1(ω)”來表示。因此，若由“f(ω)”表示濾波處理部41所進行的圖像濾波處理P(第1濾波處理F1～第N濾波處理FN)整體的頻率特性，則“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)(其中“N”為2以上的整數(shù))”成立。

另外，在圖8及圖11所示的電路結構中，若由“1+g_n-1(ψ_n-1(ω)-1)”表示第n濾波處理Fn整體的頻率特性，則在各濾波器應用部48中所使用的濾波器的頻率特性φ_n-1(ω)由“φ_n-1(ω)＝ψ_n-1(ω)-1”來表示，圖像濾波處理P整體的頻率特性f(ω)由“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”來表示。并且，在圖9所示的電路結構中，圖像濾波處理P整體的頻率特性f(ω)由“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”來表示。

因此，下述與圖10的電路結構相關的說明中，通過將圖10的電路結構的頻率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”應用于頻率特性“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”，從而也能夠應用于圖9所示的電路結構。例如，將圖9的電路結構的上述頻率特性f(ω)中的“1+g₀φ₀(ω)”作為“圖10的電路結構的上述頻率特性f(ω)中的“g₀φ₀(ω)””進行處理，從而與圖10的電路結構相關的下述說明還可應用到圖9所示的電路結構。同樣地，與圖10的電路結構相關的下述說明中，通過將圖10的電路結構的頻率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”應用到“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”，從而還可應用到圖8及圖11所示的電路結構。另外，在該情況下，通過利用對數(shù)化處理，從而圖8及圖11所示的電路結構的頻率特性f(ω)的積的運算式被轉換為和的運算式，可容易地將與圖10的電路結構相關的下述說明應用到圖8及圖11所示的電路結構。

在此，假設第n濾波處理Fn的濾波器應用部48-n中所使用的濾波器為基于以拍攝獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)(透鏡14及光圈15等)的點擴散函數(shù)的圖像復原用濾波器?；邳c擴散函數(shù)的圖像復原用濾波器，如下所述，關于頻率ω具有二維自由度，并且關于圖像內(nèi)位置(像素位置)r具有二維自由度，因此成為具有總計“4自由度”的頻率特性。

[數(shù)式1]

ω∈R²

r∈R²

R²：二維實數(shù)列矢量空間

若使用這種頻率矢量ω及圖像內(nèi)位置矢量r，則能夠由“φ_n-1(ω，r)”表示在第n濾波處理Fn的濾波器應用部48-n中所使用的濾波器的頻率特性。通過關于針對頻率為N_ω個且針對圖像內(nèi)位置為N_r個的采樣點進行濾波器的頻率特性φ_n(ω，r)的離散化來獲得下述矢量φ_n。

[數(shù)式2]

C^N：N維復數(shù)列矢量空間

Kronecker積

e_j：N_ω維列矢量空間的標準基底

e_k：N_r維列矢量空間的標準基底

另外，頻率“ω_j”及圖像內(nèi)位置“r_k”可由下述式表示，“ω_j”表示與頻率相關的N_ω個采樣點，“r_k”表示與圖像內(nèi)位置相關的N_r個采樣點。

[數(shù)式3]

由在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中所使用的增益構成的增益矢量(增益組)g由下述式表示。

[數(shù)式4]

g＝[g₀ g₁ ··· g_N-1]^T

T：轉置(Transpose)

設定有由上述式表示的增益的圖像濾波處理P整體(整個濾波處理部41)的頻率特性「f(ω，r|g)」在圖10所示的電路結構中，由下述式表示。

[數(shù)式5]

另一方面，欲實現(xiàn)的“圖像濾波處理P的作為目標的頻率特性“d(ω，r)””可通過任意的方法來確定，其確定方法并無特別限定。通常，基于點擴散函數(shù)的復原濾波器能夠通過卷積型濾波器適當?shù)貙崿F(xiàn)。作為確定基于點擴散函數(shù)的濾波器的頻率特性的方法有各種方法，例如廣泛使用考慮到攝影光學系統(tǒng)的SN比的維納濾波器。維納濾波器能夠通過下述式并根據(jù)點擴散函數(shù)的光學傳遞函數(shù)(OTF)及SN比的信息表示濾波器的頻率特性。因此，可根據(jù)該維納濾波器確定欲實現(xiàn)的圖像濾波處理P的作為目標的頻率特性“d(ω，r)”。

[數(shù)式6]

H(ω，r)：光學系統(tǒng)的OTF

H^*(ω，r)：光學系統(tǒng)的OTF的復共軛

SNR(ω，r)：攝像系統(tǒng)的SN比

由“f(ω，r|g)”表示圖像濾波處理P整體的頻率特性，由“d(ω，r)”表示欲實現(xiàn)的圖像濾波處理P的作為目標的頻率特性，由“w(ω，r)”表示近似加權函數(shù)。此時，能夠?qū)τ上率鍪奖硎镜幕诩訖嘧钚《藴蕜t的類函數(shù)“J_LMS[g]”進行最小化的增益矢量設為圖像濾波處理P中的表示最佳頻率特性的增益矢量。

[數(shù)式7]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

若通過頻率及圖像內(nèi)位置的采樣點對上述式進行離散化，則可獲得下述式。

[數(shù)式8]

J′_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ φ₁ ··· φ_N-1]

上述式中“diag”表示將參數(shù)矢量設為對角元素的對角矩陣，上述式的“w”及“d”以與“矢量φ_n”相關的上述方法相同的方式分別將“w(ω，r)”及“d(ω，r)”矢量化。

根據(jù)上述式，增益矢量的最優(yōu)解g_OPT由下述式來表示。

[數(shù)式9]

H：伴隨矩延(Hermitian Transpose)

如果近似加權函數(shù)及各濾波器的頻率特性(濾波器系數(shù))被確定，則上述式中的“(A^HWA)^-1A^HW”的部分由可預先計算的矩陣表示。如此，增益矢量的最優(yōu)解g_OPT能夠通過對根據(jù)表示個別的像劣化特性的點擴散函數(shù)而獲取的濾波器特性應用矩陣的運算來計算。

另外，當濾波處理部41采用圖10所示的電路結構時，優(yōu)選除了上述條件之外，還可應用為了防止圖像的DC成分(亮度)的改變而將DC成分的放大率(增益)設為1.0倍這樣的約束條件。具體而言，按照下述式獲取增益矢量的最優(yōu)解g_OPT的情況相當于“將DC成分的放大率設為1.0倍而未改變圖像整體的亮度”的情況。

[數(shù)式10]

上述式能夠作為QP(Quadratic Programming)問題進行處理，“N”較小時，能夠以較小的計算量解決。并且，如作為一例以下述式表示那樣，通過對各濾波器的DC成分的放大率設置限制，能夠排除DC成分的放大率的限制(約束條件)。

[數(shù)式11]

φ₀(0)＝1，φ_i(0)＝0(1≤i＜N)

<加權的設計>

上述最小二乘法中，如由“w(ω，r)”所表示那樣，根據(jù)頻率及圖像內(nèi)位置(像素位置)的每一個對頻率特性的近似精度進行加權。例如，根據(jù)上述近似誤差評價函數(shù)J_LMS[g]進行基于最小二乘法的頻率特性的近似時，其近似誤差評價函數(shù)J_LMS[g]根據(jù)頻率和圖像內(nèi)位置(像素位置)進行加權。通過調(diào)整該加權能夠控制畫質(zhì)。即，通過最小二乘法而近似于圖像濾波處理P的作為目標的頻率特性時，通過對特定的頻率或特定的像素位置調(diào)整加權，能夠在最小二乘法中提高與特定的頻率或特定的像素位置相關的近似精度，并且能夠控制畫質(zhì)。

例如，上述最小二乘法中，可將低頻帶中的加權設定為大于高頻帶中的加權。通常，在人類的視覺特性上，低頻成分比高頻成分更容易被感知，因此作為“近似于圖像濾波處理P的作為目標的頻率特性”的精度使低頻成分優(yōu)先于高頻成分，從而能夠高精度地處理低頻成分。

另外，在此所說的“低頻帶(低頻成分)”及“高頻帶(高頻成分)”表示相對頻率范圍(頻帶)。例如，可將采樣頻率的1/4(＝0.25fs)以下的范圍視為“低頻帶(低頻成分)”，并且將大于0.25fs且為0.5fs以下范圍視為“高頻帶(高頻成分)”。

并且，在上述最小二乘法中，可根據(jù)獲取原圖像數(shù)據(jù)D1時的攝影條件，將高頻帶中的加權設定為大于低頻帶中的加權。通常，噪聲較多時，若濾波器的高頻特性差，則會導致噪聲放大。因此，在可預想到噪聲較多的攝影條件下獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，有時優(yōu)選作為“近似于圖像濾波處理P的作為目標的頻率特性”的精度而使高頻成分優(yōu)先于低頻成分。

另外，在此所說的“獲取原圖像數(shù)據(jù)D1時的攝影條件”并無特別限定。能夠?qū)⒖捎绊懺肼暳康娜我獾囊蛩卦O為攝影條件，例如可采用光圈值(F值)或成像元件24的攝影感度來作為可影響噪聲量的“獲取原圖像數(shù)據(jù)D1時的攝影條件”。

并且，上述最小二乘法中的加權可根據(jù)原圖像數(shù)據(jù)D1中的像素位置來確定。例如，當通過使用一般用戶所使用的通常的數(shù)碼相機進行拍攝而獲取原圖像數(shù)據(jù)D1時，通常主要被攝體配置于圖像中央部，因此有重視圖像中央部的像素位置的高頻成分的傾向。另一方面，在監(jiān)控攝像機等中攝影范圍的邊界附近的圖像的重要性較高時，有重視圖像周邊部的像素位置的高頻成分的傾向。如此，有時根據(jù)原圖像數(shù)據(jù)D1中的像素位置而重要度不同，并且可根據(jù)攝像裝置的種類或攝影圖像的用途(產(chǎn)品)來確定加權較高的像素位置(被優(yōu)先的像素位置)。

例如，在一般用戶所使用的數(shù)碼相機10所具備的光學系統(tǒng)中，中央部具有通常分辨率較高且不依賴于頻率的優(yōu)異的分辨特性，周邊部有分辨性能下降的傾向。因此，在通過使用圖1所示的數(shù)碼相機10進行拍攝而獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，在圖像中央部增加高頻帶的加權，在圖像周邊部增加低頻帶的加權，從而能夠進行與光學特性相應的畫質(zhì)改善。即，在上述最小二乘法中，在原圖像數(shù)據(jù)D1的距離圖像中心為第1距離以下的像素位置(低像高的像素位置)，可將高頻帶中的加權設為大于原圖像數(shù)據(jù)D1的距離圖像中心比第l距離遠的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在原圖像數(shù)據(jù)D1的距離圖像中心比第2距離遠的像素位置(高像高的像素位置)，可將低頻帶中的加權設為大于原圖像數(shù)據(jù)D1的距離圖像中心為第2距離以下的像素位置(低像高的像素位置)。

另外，在此所說的“高頻帶”優(yōu)選包含于大于0.25fs且為0.5fs以下的范圍，“低頻帶”優(yōu)選包含于0.25fs以下的范圍。并且，在此所說的“第1距離”與“第2距離”既可相同，也可不同。

<濾波器的頻率特性不包括頻率衰減時的設計>

通過具有如圖8所示的串聯(lián)連接類型的電路結構的濾波處理部41進行多次濾波處理時，優(yōu)選根據(jù)在各濾波器應用部48中應用于處理對象數(shù)據(jù)D3的濾波器的頻率特性是否具有頻率衰減來設計控制方法。頻率衰減在“由光學系統(tǒng)的點擴散函數(shù)表示的點像的擴散(模糊)的程度較大”且“SN比較低”時尤其有效地發(fā)揮作用，并且?guī)硪种聘哳l帶中的噪聲成分的效果。

例如，在各濾波器應用部48中所使用的濾波器無需具有頻率衰減效果時，能夠根據(jù)下述式設定圖10所示的濾波處理部41的各濾波器應用部48中所使用的濾波器的頻率特性φ_n(ω)。

[數(shù)式12]

上述式表示當在各濾波器應用部48中所使用的濾波器的頻率特性φ_n(ω)滿足“|φ_n(ω)|＞1”時，使用具有本來的頻率特性φ_n(ω)的濾波器，且當滿足“|φ_n(ω)|≤1”時，使用成為“頻率特性(響應)＝1”的濾波器。

另外，各濾波器應用部48中所使用的濾波器無需具有頻率衰減效果時，圖8～圖9及圖11所示的濾波處理部41的各濾波器應用部48中所使用的濾波器的頻率特性φ_n(ω)例如能夠根據(jù)下述式來設定。

[數(shù)式13]

并且，構成濾波處理部41的電路結構為如圖8所示的串聯(lián)連接類型時，圖像濾波處理P整體的頻率特性根據(jù)在各濾波器應用部48中所使用的濾波器的頻率特性的積來表現(xiàn)。為了與“并聯(lián)連接類型的圖像濾波處理P整體的頻率特性”同樣地處理該“串聯(lián)連接類型的圖像濾波處理P整體的頻率特性”，優(yōu)選通過將在串聯(lián)連接類型的圖像濾波處理P中所使用的所有濾波器的頻率特性對數(shù)化而將“積”的問題轉換為“和”的問題。此時，通過與具有并聯(lián)連接類型的電路結構的濾波處理部41相關的增益矢量的最優(yōu)解g_OPT的計算方法相同的運算處理，能夠計算與具有串聯(lián)連接類型的電路結構的濾波處理部41相關的增益矢量的最優(yōu)解g_OPT。另外，在濾波器的頻率特性不包括衰減特性的情況中，通過上述對數(shù)化，濾波器的頻率特性不會成為較大的負值，能夠利用下述式進行復數(shù)的對數(shù)化。

[數(shù)式14]

log z＝log|z|+j(∠Z+2nπ)

z：復數(shù)(＝x+jy＝re^j0)

j：虛數(shù)單位

r_c：絕對值

x＝＝r_ccosθ

y＝r_csinθ

θ：偏角(＝∠z)

<濾波器的頻率特性包括頻率衰減時的設計>

例如，在具有如圖8所示的串聯(lián)連接類型的電路結構的濾波處理部41中，各濾波器應用部48中所使用的濾波器的頻率特性包括頻率衰減時，優(yōu)選注意以下方面。即，頻率放大率接近0倍時，對數(shù)化后的值成為較大的負值，因此在進行對數(shù)化處理之后以最小二乘準則進行頻率特性的擬合的情況等，可能導致其較大的負值支配頻率特性近似的基準。因此，優(yōu)選在對數(shù)化時以預先確定的最小負值進行剪輯(clipping)，或者實行較小地調(diào)節(jié)容易引起頻率衰減的頻帶的加權等對策。

例如，通過剪輯進行對應時，濾波處理部41在圖像濾波處理P的作為目標的頻率特性中處理圖像數(shù)據(jù)D2與原圖像數(shù)據(jù)D1的比例小于1的頻率中，在多次濾波處理的每一次處理中優(yōu)選使用將濾波處理數(shù)據(jù)D6設為與濾波器應用處理數(shù)據(jù)D4相等的濾波器。

通過以如上所述的方法確定且調(diào)整各濾波處理中所使用的增益，與例如關于攝影條件的所有組合保持基于點擴散函數(shù)的濾波器(濾波器系數(shù))的情況相比，能夠顯著減少應保持的參數(shù)個數(shù)。并且，在通常的方法中，若如點擴散函數(shù)那樣的像劣化特性不是已知的，則難以適當?shù)剡M行濾波器設計(濾波器系數(shù)設計)，但根據(jù)本實施方式，在掌握各像劣化特性之前，可預先結束需要較多的計算量的有限抽頭長度的FIR濾波器的設計。此時，能夠在獲取具體的像劣化特性之后通過簡單的計算來計算最佳的增益矢量。

<參考圖像數(shù)據(jù)的獲取>

以下對通過顯示部27中的引導顯示提示用戶進行參考圖像的攝影的方法的一例進行說明。另外，以下所說明的“基于顯示控制部36的顯示部27的顯示控制”在參考圖像獲取部60(參考圖12及圖14)的控制下進行。

通過參考圖像獲取部60被控制的顯示控制部36(參考圖2)控制顯示部27(參考圖1)，并將用于提示用戶進行參考圖像的攝影的引導部顯示于顯示部27。用戶一邊被顯示于顯示部27的引導部輔助，一邊將包括測量對象的光學系統(tǒng)的透鏡單元11安裝于相機主體12并進行參考圖像的攝影來獲取參考圖像數(shù)據(jù)。

圖17是表示顯示部27中的攝影引導件的一例的圖。圖17(a)～圖17(d)的每一個中圖示有通過顯示控制部36顯示于顯示部27的引導部70，并顯示有引導部70的顯示圖案。另外，圖17(a)～圖17(d)的每一個所示的例子中，顯示部27的中央部顯示有自動對焦區(qū)域71。

在以下的說明中，使用了“右”、“左”、“下”及“上”之類的表現(xiàn)，但這些表現(xiàn)分別以“朝向附圖為右”、“朝向附圖為左”、“朝向附圖為下”及“朝向附圖為上”的含義來使用。

圖17(a)～圖17(d)所示的引導部70具有沿顯示于顯示部27的攝影圖像中的切向方向的直線形狀。在此所說的引導部70的直線形狀只要是直線狀的形狀，則并無特別限定，引導部70例如可以是實線的直線，也可以是虛線的直線，還可以是半透明的直線以便能夠看到攝影圖像。

另外，引導部70優(yōu)選為沿攝影圖像中的弧矢方向或切向方向的直線形狀。尤其，濾波器為基于光學傳遞函數(shù)的濾波器時，從調(diào)節(jié)圖像濾波處理P的參數(shù)的觀點考慮，優(yōu)選在攝影圖像中沿弧矢方向或切向方向配置引導部70。即，當拍攝如與攝影圖像中沿弧矢方向或切向方向配置的引導部70一致的被攝體時，從調(diào)整基于光學傳遞函數(shù)的濾波器的參數(shù)的觀點考慮，能夠獲得有用的數(shù)據(jù)。

在此所說的“沿弧矢方向或切向方向的引導部70”在不阻礙效果的范圍內(nèi)可偏離弧矢方向或切向方向。

并且，弧矢方向及切向方向的基準作為攝影圖像。本來，優(yōu)選規(guī)定為投射到成像元件24的受光面上的光學圖像的弧矢方向或切向方向，但只有根據(jù)通過成像元件24受光且獲取的圖像數(shù)據(jù)才可獲得圖像數(shù)據(jù)。因此，以攝影圖像為基準而考慮弧矢方向及切向方向也沒有問題。在此，所謂切向方向是指相對于以攝影圖像的中心為基準的圓周的切線方向，所謂弧矢方向是指與切向方向垂直相交的方向。

圖17(a)中，作為引導顯示圖案1，引導部70配置于顯示部27中的左上方區(qū)域。用戶參考圖17(a)所示的引導部70，對參考圖像進行拍攝來獲取攝影圖像數(shù)據(jù)。此時，根據(jù)圖17(a)所示的引導部70而確定的圖像(例如參考后述的圖18的符號“72a”)成為參考圖像。

在圖17(b)中，作為引導顯示圖案2，2個引導部70a、70b的每一個配置于顯示部27中的左上方區(qū)域及右上方區(qū)域。另外，圖17(b)所示的2個引導部由“第1引導部70a”及“不與第1引導部70a平行的第2引導部70b”構成。即，配置于圖17(b)的顯示部27的左上方區(qū)域的引導部(第1引導部)70a與配置于右上方的引導部(第2引導部)70b配置成彼此不平行。

在圖17(c)中，作為引導顯示圖案3，2個引導部70a、70c的每一個配置于顯示部27中的左上方區(qū)域及右下方區(qū)域。在圖17(d)中，作為引導顯示圖案4，4個引導部70a、70b、70c、70d的每一個配置于顯示部27中的左上方區(qū)域、右上方區(qū)域、右下方區(qū)域及左下方區(qū)域。

另外，并不限定于圖17(a)至圖17(d)所示的引導部70的顯示中的引導顯示圖案，能夠采用各種形態(tài)的引導顯示圖案。

圖18是表示適合于圖17所示的引導顯示的被攝體W的一例的圖。例如，圖17(a)所示的引導顯示圖案1中，優(yōu)選沿引導部70拍攝被攝體W中由圖18的符號“72a”表示的黑色部分的圖像。并且，圖17(b)所示的引導顯示圖案2中，優(yōu)選沿引導部70拍攝被攝體W中由圖18的符號“72a”及符號“72b”所表示的黑色部分的圖像。并且，圖17(c)所示的引導顯示圖案3中，沿引導部70拍攝被攝體W中由圖18的符號“72a”及符號“72c”表示的黑色部分的圖像。并且，圖17(d)所示的引導顯示圖案2中，沿引導部70拍攝被攝體W中由圖18的符號“72a”、符號“72b”、符號“72c”及符號“72d”表示的黑色部分的圖像。

圖19是表示顯示部27中的攝影引導件的其他例子的圖。在本例中，由攝影引導件以按4個角的每一個引導部70的顯示進行拍攝的方式進行如滿足顯示部27的4個角的每一個引導部70的顯示那樣的被攝體的攝影。即，在本例中，首先，進行如滿足如圖19(a)所示那樣配置于左上方的引導部70a那樣的攝影圖像的拍攝。然后，進行如滿足如圖19(b)所示那樣配置于右上方的引導部70b的攝影圖像的拍攝。然后，進行如滿足如圖19(c)所示那樣配置于右下方的引導部70c的攝影圖像的拍攝。然后，進行滿足如圖19(d)所示那樣配置于左下方的引導部70d的攝影圖像的拍攝。這樣，通過圖19(a)～圖19(d)所示的引導部70a～70d被輔助而獲取的4個攝影圖像數(shù)據(jù)作為第2圖像來獲取。

另外，如圖19所示，引導部70的顯示并不限定于4個，可將顯示位置不同的任意數(shù)量的引導部70顯示于顯示部27來提示用戶進行拍攝。根據(jù)本例，容易發(fā)現(xiàn)滿足引導部70a～70d的每一個的被攝體，并能夠獲取可靠地滿足引導部70a～70d的攝影圖像。

圖20是表示顯示部27中的攝影引導件的其他例子的圖。在本例中，攝影條件顯示部73與引導部70一同顯示于顯示部27。即，顯示控制部36將用于攝影獲取參考圖像數(shù)據(jù)的攝影條件顯示部73顯示于顯示部27，并告知用戶所需的攝影條件。由此，用戶在所需攝影條件下進行拍攝而能夠獲取參考圖像數(shù)據(jù)。

具體而言，圖20(a)及圖20(b)中，與像高位置相關的攝影條件顯示部73顯示于顯示部27。即，圖20(a)所示的例子中，輔助獲取像高位置較高的部位(攝影圖像的周邊部位)中如滿足引導部70那樣的參考圖像數(shù)據(jù)。另一方面，圖20(b)所示的例子中，輔助獲取像高較低的部位(攝影圖像的中央部位)中如滿足引導部70那樣的參考圖像數(shù)據(jù)。如此，根據(jù)攝影圖像的像高來配置引導部70，由此能夠獲取與像高相對應的參考圖像數(shù)據(jù)。

并且，圖20(c)及圖20(d)中，將到被攝體為止的距離(被攝體距離)作為攝影條件顯示部73而顯示于顯示部27。即，圖20(c)所示的例子中，輔助獲取到被攝體為止的攝影距離為50cm的參考圖像數(shù)據(jù)。另一方面，圖20(d)所示的例子中，輔助獲取到被攝體為止的攝影距離為1m的參考圖像數(shù)據(jù)。如此，表示到被攝體為止的攝影距離的攝影條件顯示部73與引導部70一同顯示于顯示部27，由此能夠獲取具有所希望的到被攝體為止的攝影距離的參考圖像數(shù)據(jù)。

如此根據(jù)圖20所示的例子，能夠通過攝影條件顯示部73在適當?shù)臄z影條件下攝影獲取參考圖像數(shù)據(jù)。

圖21是表示主體控制器25中的顯示控制部36、參考圖像獲取部60及圖像判定部38的功能結構例的框圖。

本例的主體控制器25除了上述顯示控制部36及參考圖像獲取部60之外，還具有圖像判定部38。圖像判定部38判定由上述引導部70提示進行拍攝并通過成像元件24所生成的攝影圖像數(shù)據(jù)是否滿足第1基準。參考圖像獲取部60獲取在圖像判定部38中判定為滿足第1基準的攝影圖像數(shù)據(jù)而作為“參考圖像數(shù)據(jù)”，并發(fā)送到參考圖像分析部61。因此，在本實施方式中所獲得的參考圖像數(shù)據(jù)為滿足第1基準的攝影圖像數(shù)據(jù)。

另一方面，當在圖像判定部38中判定為由引導部70提示進行拍攝并通過成像元件24所生成的攝影圖像數(shù)據(jù)不滿足第1基準時，顯示控制部36再次將用于提示用戶進行參考圖像的拍攝的引導部70顯示于顯示部27。

另外，成為參考圖像數(shù)據(jù)是否合適的基準的“第1基準”并無特別限定，例如可將引導部70與實際拍攝的參考圖像的匹配度作為“第1基準”。即，圖像判定部38可根據(jù)該匹配度判定被引導部70引導而進行拍攝的攝影圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)是否合適。

引導部70與攝影圖像數(shù)據(jù)的匹配度，具體而言可判別為引導部70與攝影圖像數(shù)據(jù)的視角的重疊度。在此所說的匹配并不一定是指嚴格意義上的匹配。即，在能夠獲取可使用的參考圖像數(shù)據(jù)的范圍內(nèi)引導部70與攝影圖像數(shù)據(jù)匹配即可。具體而言，引導部70與攝影圖像數(shù)據(jù)的參考圖像只要相當于引導部70的40％的部分以上重疊即可，優(yōu)選為相當于引導部70的60％的部分以上重疊即可，進一步優(yōu)選為相當于引導部70的80％的部分以上重疊即可。

圖22是表示顯示部27中的攝影引導件的其他例子的圖。本例的顯示控制部36將判定信息部74與引導部70一同顯示于顯示部27，所述判定信息部74根據(jù)與引導部70的匹配度來表示是否為滿足第1基準的合適的攝影圖像數(shù)據(jù)。

具體而言，圖22(a)表示由引導部70提示而攝影獲取的攝影圖像數(shù)據(jù)不與引導部70充分地匹配且不滿足第1基準的情況。在圖22(a)所示的例子中，被攝體W不與配置于左上方的引導部70匹配。并且，“請修正被攝體”的判定信息部74顯示于顯示部27。另一方面，圖22(b)表示由引導部70提示而攝影獲取的攝影圖像數(shù)據(jù)與引導部70充分地匹配并滿足第1基準的情況。在圖22(b)所示的例子中，被攝體W與配置于左上方的引導部70匹配。而且，“為正確的被攝體”的判定信息部74顯示于顯示部27。

圖23是表示顯示部27中的攝影引導件的其他例子的圖。在本例中，當攝影圖像數(shù)據(jù)不滿足第1基準時，提示用戶再次進行拍攝。即，圖22所示的例子中，判定信息部74的內(nèi)容成為提示不同的被攝體的拍攝的內(nèi)容(參考圖22(a))，相對于此，圖23所示的本例的判定信息部74的內(nèi)容成為提示用戶再次進行拍攝的信息。

圖24是表示顯示部27中的攝影引導件的其他例子的圖。如圖24(a)及圖24(b)所示，引導部70可配置于顯示部27的4個角以外的部位，顯示部27中的引導部70的配置方式并無特別限定。

若對圖24(a)所示的引導顯示圖案和圖24(b)所示的引導顯示圖案進行比較，則各引導部70在兩者之間旋轉90°。即，圖24(a)所示的引導部70具有沿攝影圖像中的切向方向的直線形狀，但圖24(b)所示的引導部70具有沿攝影圖像中的弧矢方向的直線形狀。這樣，引導部70不僅可配置于切向方向，還可配置于弧矢方向。

如此，用戶能夠按照顯示部27中的引導部70的引導適當?shù)財z影獲取與參考圖像相關的參考圖像數(shù)據(jù)。

<濾波器的設計方法>

接著，對在濾波處理部41的各濾波器應用部48中使用的濾波器的設計方法的具體例進行說明。

圖25是表示濾波器獲取裝置76的功能結構的一例的框圖。

進行在各濾波器應用部48中所使用的濾波器的設計及獲取的濾波器獲取裝置76具有濾波器計算部77。本例的濾波器計算部77獲取根據(jù)多個光學系統(tǒng)的光學特性而確定的多種圖像濾波處理(第1圖像濾波處理P1～第k圖像濾波處理Pk(其中“k”為2以上的整數(shù)))的頻率特性數(shù)據(jù)，并輸出包括基準濾波器h_b及方差濾波器h_v的多個濾波器。即，濾波器計算部77基于根據(jù)多個光學系統(tǒng)的光學特性而確定的多種圖像濾波處理P1～Pk的頻率特性來獲取根據(jù)多種圖像濾波處理P1～Pk的頻率特性的平均而確定的基準濾波器h_b。并且，濾波器計算部77根據(jù)多種圖像濾波處理P1～Pk的頻率特性獲取根據(jù)多種圖像濾波處理P1～Pk的頻率特性的方差而確定的至少一個方差濾波器h_v。

圖26是表示濾波器計算部77的功能結構的一例的框圖。

本例的濾波器計算部77具有平均計算部78、方差計算部79及濾波器特性獲取部80。平均計算部78由多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)計算多種圖像濾波處理P1～Pk的頻率特性的平均。方差計算部79由多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)計算多種圖像濾波處理P1～Pk的頻率特性的方差。濾波器特性獲取部80根據(jù)由平均計算部78計算出的多種圖像濾波處理P1～Pk的頻率特性的平均來計算基準濾波器h_b。并且，濾波器特性獲取部80根據(jù)由平均計算部78計算出的多種圖像濾波處理P1～Pk的頻率特性的平均和由方差計算部79計算出的多種圖像濾波處理P1～Pk的頻率特性的方差來計算方差濾波器h_v。

另外，在本例的濾波器計算部77(平均計算部78、方差計算部79及濾波器特性獲取部80)中所使用的多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)根據(jù)多個光學系統(tǒng)的光學特性而確定。如此，以多個光學系統(tǒng)為基準確定成為濾波器(基準濾波器h_b及方差濾波器h_v)的計算基礎的“多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)”，由此能夠計算適于這種多個光學系統(tǒng)的濾波器(基準濾波器h_b及方差濾波器h_v)。因此，作為這種“多個光學系統(tǒng)”，設想反映了因制造誤差產(chǎn)生的光學特性的偏差的多個光學系統(tǒng)，由此能夠通過濾波處理部41高精度地實現(xiàn)“圖像濾波處理的作為目標的頻率特性”。

<多種圖像濾波處理的頻率特性>

在此所說的“多種圖像濾波處理P1～Pk”的每一個處理的頻率特性構成“圖像濾波處理P的作為目標的頻率特性”，且在本例中通過基于拍攝時所使用的光學系統(tǒng)的光學特性的頻率特性而確定。

例如，“多種圖像濾波處理P1～Pk的頻率特性”為基于光學系統(tǒng)的點擴散函數(shù)的頻率特性時，點擴散函數(shù)受到因制造誤差產(chǎn)生的光學系統(tǒng)的光學特性的偏差的影響而可發(fā)生變動。因此，能夠根據(jù)基于光學系統(tǒng)的光學特性的偏差而推測的多種點擴散函數(shù)的頻率特性來確定“多種圖像濾波處理P1～Pk的頻率特性”。并且，例如，“多種圖像濾波處理P1～Pk的頻率特性”為基于光學系統(tǒng)的點擴散函數(shù)的頻率特性時，若攝影條件發(fā)生變化則點擴散函數(shù)發(fā)生變動，因此能夠根據(jù)不同攝影條件下的多種點擴散函數(shù)的頻率特性確定“多種圖像濾波處理P1～Pk的頻率特性”。該“多種點擴散函數(shù)”可通過任意方法獲取，也可根據(jù)實測值獲取，還可根據(jù)估計值獲取。“多種圖像濾波處理P1～Pk的頻率特性”可使用所獲取的多種點擴散函數(shù)并根據(jù)維納濾波器等的任意的設計基準來計算。

該“多種圖像濾波處理P1～Pk的頻率特性”能夠通過任意裝置獲取，例如，既可以在濾波器獲取裝置76中獲取，也可通過其他裝置獲取，還可通過濾波器獲取裝置76的濾波器計算部77從未圖示的存儲器讀出而獲取。

<多種圖像濾波處理的頻率特性的偏差>

多種圖像濾波處理的頻率特性的偏差可根據(jù)單峰型分布來表現(xiàn)，也可根據(jù)多峰型分布來表現(xiàn)。

圖27是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。圖28是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

基于圖27所示的單峰型分布的偏差表現(xiàn)方法為通過一個多維復數(shù)正態(tài)分布(參考圖27的“偏差分布G”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。另一方面，基于多峰型分布的表現(xiàn)方法為通過多個多維復數(shù)正態(tài)分布(參考圖28的“第1偏差分布G1”及“第2偏差分布G2”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。

圖27中示出有通過第1濾波處理F1的濾波器的頻率特性φ₀、第2濾波處理F2的濾波器的頻率特性φ₁及第3濾波處理F3的濾波器的頻率特性φ₂表現(xiàn)多種圖像濾波處理的頻率特性的偏差分布G的情況。并且，圖28中示出有通過第1濾波處理F1的濾波器的頻率特性(φ₀⁽¹⁾、φ₀⁽²⁾)、第2濾波處理F2的濾波器的頻率特性(φ₁⁽¹⁾、φ₁⁽²⁾)及第3濾波處理F3的濾波器的頻率特性(φ₂⁽¹⁾、φ₂⁽²⁾)表現(xiàn)構成多種圖像濾波處理的頻率特性的偏差分布G的第1偏差分布G1及第2偏差分布G2的每一個的情況。另外，圖27及圖28中圖示有作為一例以濾波處理部41具有圖10所示的電路結構的情況為前提的濾波器的頻率特性φ₀～φ₂。

多種圖像濾波處理的頻率特性的偏差具有例如如圖27所示那樣的橢圓形狀的偏差分布G時，為了通過多個濾波處理(圖27所示的例子中為第1濾波處理F1～第3濾波處理F3)高精度地實現(xiàn)各圖像濾波處理，優(yōu)選根據(jù)偏差分布G的中心、長軸及短軸確定各濾波處理的頻率特性φ₀、φ₁、φ₂。同樣地，多種圖像濾波處理的頻率特性的偏差具有例如如圖28所示那樣的橢圓形狀的第1偏差分布G1及第2偏差分布G2時，為了通過多個濾波處理(圖28所示的例子中為第1濾波處理F1～第3濾波處理F3)高精度地顯示第1偏差分布G1及第2偏差分布G2所包括的各圖像濾波處理，優(yōu)選關于第1偏差分布G1及第2偏差分布G2的每一個，根據(jù)中心、長軸及短軸確定各濾波處理的頻率特性φ₀⁽¹⁾、φ₁⁽¹⁾、φ₂⁽¹⁾、φ₀⁽²⁾、φ₁⁽²⁾、φ₂⁽²⁾。

<單峰型分布>

接著，對將多種圖像濾波處理的頻率特性的偏差視為單峰型分布時(參考圖27)的、濾波器及增益的設計方法例進行說明。

以下的方法有關一種在實際獲取任意個數(shù)的多種圖像濾波處理的頻率特性的偏差樣品時，求出能夠高精度地補償其圖像濾波處理的頻率特性的偏差的所希望個數(shù)的基底濾波器(FIR濾波器)的頻率特性的方法。并且，對將單峰型分布設為多維復數(shù)正態(tài)分布來進行模型化并進行ML(Maximum Likelihood)推定的情況進行說明。

單峰型分布的偏差分布G可根據(jù)多維復數(shù)正態(tài)分布來表現(xiàn)，其多維復數(shù)正態(tài)分布通過協(xié)方差矩陣被賦予特征，并通過下式獲得。

[數(shù)式15]

在上述式中，“β_i”表示通過根據(jù)頻率(ω)及位置(r)對關于多種圖像濾波處理的每一個處理個別地獲取的頻率特性β(ω，r)進行離散化而獲得的矢量，“N_p”表示多種圖像濾波處理的數(shù)量。因此，上述式的“Ψ₀”表示多種圖像濾波處理的頻率特性的平均(平均矩陣)，上述式的“R₀”表示多種圖像濾波處理的頻率特性的方差(協(xié)方差矩陣)。

通過按照下述式進行由上述式所表示的協(xié)方差矩陣的特征值分解，能夠獲得特征矢量Ψ_i(其中“i”為1以上且N_p以下的整數(shù))。

[數(shù)式16]

根據(jù)Karhunen-Loeve展開，為了通過維度m的線性子空間使偏差分布平均地近似，最佳為使用通過從特征值較大的開始依次通過m個相對應的特征矢量Ψ_i(其中“i”為1以上且m以下的整數(shù))展開的子空間。

因此，用于高精度地重現(xiàn)具有單峰型的偏差分布G的多種圖像濾波處理的每一個處理的頻率特性的濾波處理的濾波器的最佳頻率特性φ₀～φ_N-1能夠根據(jù)下述式來獲取。

[數(shù)式17]

另外，第1濾波處理F1的濾波器的頻率特性φ₀如上所述相當于多種圖像濾波處理的頻率特性的分布的中心，因此從對分布中心進行固定而使處理穩(wěn)定化的觀點考慮，優(yōu)選第1濾波處理F1中的增益固定為“1.0”。對于其他濾波處理中的增益，例如能夠通過上述加權最小二乘準則來求出最佳值。

圖29是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應。在此所說的響應是各圖像濾波處理前后的頻率分量的比(＝處理后的頻率分量/處理前數(shù)據(jù)的頻率分量)，“響應＝1”表示數(shù)據(jù)在圖像濾波處理的前后相同。

圖29中示出有4種圖像濾波處理(第1圖像濾波處理P1、第2圖像濾波處理P2、第3圖像濾波處理P3及第4圖像濾波處理P4)的頻率特性。這些4種圖像濾波處理P1～P4分別表示不同的頻率特性，但頻率(ω)為“0”時的響應均表示“1”。

圖30是概略表示圖29所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖30并不一定是在嚴格意義上表示圖29所示的多種圖像濾波處理P1～P4的頻率特性的方差的圖。

圖29所示的4種圖像濾波處理P1～P4，在頻率(ω)為“0”時的響應均為“1”，因此頻率(ω)為“0”時的方差均為“0”。在圖30所示的例子中，關于多種圖像濾波處理P1～P4的頻率特性，顯示出“表示第一大的偏差的成分(參考圖30的符號“H1”)”及“表示第二大的偏差的成分(參考圖30的符號“H2”)”。

圖31是概略表示根據(jù)圖29所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖31(a)表示“φ₀”，圖31(b)表示“φ₁”，圖31(c)表示“φ₂”。

如上所述，在第1濾波處理F1中所使用的濾波器的頻率特性φ₀優(yōu)選根據(jù)多種圖像濾波處理P1～P4的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選從圖30所示的多種圖像濾波處理P1～P4的頻率特性的偏差(方差)較大的成分依次確定。因此，在第2濾波處理F2中所使用的濾波器的頻率特性φ₁優(yōu)選根據(jù)多種圖像濾波處理P1～P4的頻率特性的偏差最大的成分(參考圖30的“H1”)而確定。同樣地，在第3濾波處理F3中所使用的濾波器的頻率特性φ₂優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖30的“H2”)而確定。

另外，上述例與圖像濾波處理P包括第1濾波處理F1～第3濾波處理F3的情況有關，但圖像濾波處理P既可由兩種濾波處理構成，也可由4種以上的濾波處理構成。例如，由第1濾波處理F1及第2濾波處理F2構成圖像濾波處理P時，能夠根據(jù)上述“φ₀”(參考圖31(a))確定在第1濾波處理F1中所使用的濾波器的頻率特性，并能夠根據(jù)上述“φ₁”(參考圖31(b))確定在第2濾波處理F2中所使用的濾波器的頻率特性。

圖32表示與具有圖10所示的電路結構的濾波處理部41所進行的圖像濾波處理P(第1濾波處理F1～第3濾波處理F3)相關的頻率特性f(ω)(參考圖32(a))及增益例(參考圖32(b))。

如上所述，從對多種圖像濾波處理的頻率特性的分布中心進行固定而使處理穩(wěn)定化的觀點考慮，優(yōu)選第1濾波處理F1中的增益g₀固定為“1.0”。因此，圖32(b)中例示有增益g₀～g₂，所述增益g₀～g₂在對具有圖10所示的電路結構的濾波處理部41的各濾波器應用部48中所使用的濾波器進行固定，并且將第1濾波處理F1中的增益g₀固定為“1.0”時，用于通過如圖32(a)所示的整個系統(tǒng)的頻率特性高精度地實現(xiàn)圖29所示的圖像濾波處理P1～P4的每一個處理的頻率特性。

如圖32(b)所示，根據(jù)上述例，能夠?qū)⒍喾N圖像濾波處理P1～P4的頻率特性的數(shù)據(jù)壓縮到3個濾波器的頻率特性φ₀～φ₂(抽頭系數(shù))和12個增益(將g₀固定為“1.0”時是8個增益)。

如此，本例的濾波處理部41在第1濾波處理F1中，作為“濾波器的頻率特性φ₀”使用根據(jù)多種圖像濾波處理P1～P4的頻率特性的平均而確定的基準濾波器h_b的頻率特性來獲取濾波器應用處理數(shù)據(jù)D4-1，在第2濾波處理F2及第3濾波處理F3中，作為“濾波器的頻率特性φ₁”及“濾波器的頻率特性φ₂”使用根據(jù)多種圖像濾波處理P1～P4的頻率特性的方差而確定的兩個方差濾波器h_v的頻率特性來獲取濾波器應用處理數(shù)據(jù)D4-2、D4-3。

尤其優(yōu)選濾波處理部41在第1濾波處理F1中使用“基于根據(jù)獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性的平均而確定的基準濾波器h_b”來獲取濾波器應用處理數(shù)據(jù)D4-1，并在第2濾波處理F2及第3濾波處理F3中，使用“基于根據(jù)獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性而確定的多種圖像濾波處理的頻率特性的方差而確定的方差濾波器h_v”來獲取濾波器應用處理數(shù)據(jù)D4-2、D4-3。在該情況下，優(yōu)選在多次濾波處理的每一次處理中應用于濾波器應用處理數(shù)據(jù)D4的增益根據(jù)獲取原圖像數(shù)據(jù)D1時所使用的光學系統(tǒng)的個別的光學特性而確定。

圖33是表示根據(jù)單峰型分布計算濾波器系數(shù)的濾波器計算部77的功能結構的一例的框圖。為了由以頻率空間所表示的濾波器特性計算以實際空間所表示的濾波器系數(shù)，本例的濾波器計算部77除了上述平均計算部78、方差計算部79及濾波器特性獲取部80(參考圖26)之外還具有抽頭系數(shù)運算部81。

該濾波器計算部77的抽頭系數(shù)運算部81獲取具有多個抽頭且對各抽頭分配系數(shù)的基準濾波器h_b，并且獲取具有多個抽頭且對各抽頭分配系數(shù)的至少一個方差濾波器h_v?！皩Ω鞒轭^分配系數(shù)的方法”并無特別限定，抽頭系數(shù)運算部81(濾波器計算部77)例如能夠根據(jù)后述的SAGE算法或OMP算法計算分配到基準濾波器h_b及至少一個方差濾波器h_v的每一個濾波器的各抽頭的系數(shù)。

<多峰型分布>

接著，對將多種圖像濾波處理的頻率特性的偏差作為多峰型分布來處理時(參考圖28)的濾波器及增益的設計方法例進行說明。

在圖28所示的例子中，在將整體作為一個分布(單峰型分布)處理時，多種圖像濾波處理的頻率特性的偏差分布能夠由圖28所示的“偏差分布G”表示，但近似精度變差。另一方面，將多種圖像濾波處理的頻率特性的偏差分布通過圖28的“第1偏差分布G1”及“第2偏差分布G2”進行分離來表示，并將“第1偏差分布G1”及“第2偏差分布G2”的每一個作為獨立的多維復數(shù)正態(tài)分布(多峰型分布)進行處理，從而能夠提高近似精度。作為該多峰型分布中的ML推定的參數(shù)推定算法，例如能夠優(yōu)選利用基于EM(Expectation Max imization)算法的混合正態(tài)分布的推定，并能夠進行有效的參數(shù)推定。

基于多峰型分布的濾波器的確定方法基本上能夠以與基于上述單峰型分布的濾波器確定方法相同的方法進行。即，將多種圖像濾波處理的頻率特性分類到構成多峰型分布的多個分布(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)，關于各分布，能夠以與上述單峰型分布的“偏差分布G”相同的步驟求出濾波器。

圖34是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應。

圖34中示出有6種圖像濾波處理(第1圖像濾波處理P1、第2圖像濾波處理P2、第3圖像濾波處理P3、第4圖像濾波處理P4、第5圖像濾波處理P5及第6圖像濾波處理P6)的頻率特性。這些6種圖像濾波處理P1～P6分別表示不同的頻率特性，但頻率(ω)為“0”時的響應均表示“1”。

在圖34所示的例子中，例如能夠?qū)ⅰ暗?圖像濾波處理P1的頻率特性數(shù)據(jù)、第2圖像濾波處理P2的頻率特性數(shù)據(jù)及第3圖像濾波處理P3的頻率特性數(shù)據(jù)”分類到第1偏差分布G1，并將“第4圖像濾波處理P4的頻率特性數(shù)據(jù)、第5圖像濾波處理P5的頻率特性數(shù)據(jù)及第6圖像濾波處理P6的頻率特性數(shù)據(jù)”分類到第2偏差分布G2。

圖35是概略表示圖34所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖35(a)表示分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3的頻率特性數(shù)據(jù)的方差，圖35(b)表示分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6的頻率特性數(shù)據(jù)的方差。圖35(a)及圖35(b)的橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖35(a)及圖35(b)不一定是在嚴格意義上表示圖34所示的多種圖像濾波處理P1～P6的頻率特性的方差。

圖34所示的6種圖像濾波處理P1～P6的頻率特性，頻率(ω)為“0”時的響應均為“1”，因此頻率(ω)為“0”時的方差均成為“0”。如圖35(a)及圖35(b)所示，關于第1偏差分布G1及第2偏差分布G2的每一個的“圖像濾波處理的頻率特性的方差”，顯示“表示最大偏差的成分(參考圖35(a)及圖35(b)的“H1”)”及“表示第二大偏差的成分(參考圖35(a)及圖35(b)的“H2”)”。

圖36是概略表示根據(jù)分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖36(a)表示“φ₀”，圖36(b)表示“φ₁”，圖36(c)表示“φ₂”。圖37是概略表示根據(jù)分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖37(a)表示“φ₀”，圖37(b)表示“φ₁”，圖37(c)表示“φ₂”。

如上所述，優(yōu)選在第1濾波處理F1中所使用的濾波器的頻率特性φ₀根據(jù)多種圖像濾波處理的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選根據(jù)圖35(a)和圖35(b)的每一個所示的多種圖像濾波處理的頻率特性的偏差(方差)較大的成分而確定。因此，在第2濾波處理F2中所使用的濾波器的頻率特性φ₁優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差最大的成分(參考圖35(a)及圖35(b)的“H1”)而確定。同樣地，在第3濾波處理F3中所使用的濾波器的頻率特性φ₂優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖35(a)及圖35(b)的“H2”)而確定。

圖38表示與具有圖10所示的電路結構的濾波處理部41所進行的圖像濾波處理P(第1濾波處理F1～第3濾波處理F3)相關的頻率特性f(ω)(參考圖38(a))及增益例(參考圖38(b))。在與圖38所示的多峰型分布相關的頻率特性f(ω)中，“φ₀⁽ⁱ⁾(ω)”表示在第1濾波處理F1的第1濾波器應用部48-1中所使用的濾波器的頻率特性，“g₀”表示在第1濾波處理F1的第1增益應用部49-1中所使用的增益。并且，“φ₁⁽ⁱ⁾(ω)”表示在第2濾波處理F2的第2濾波器應用部48-2中所使用的濾波器的頻率特性，“g₁”表示在第2濾波處理F2的第2增益應用部49-2中所使用的增益。并且“φ₂⁽ⁱ⁾(ω)”表示在第3濾波處理F3的第3濾波器應用部48-3中所使用的濾波器的頻率特性，“g₂”表示在第3濾波處理F3的第3增益應用部49-3中所使用的增益。

各濾波器的頻率特性φ₁⁽ⁱ⁾(ω)～φ₃⁽ⁱ⁾(ω)中的符號“i”表示簇索引，所述簇索引表示按照多峰型分布進行分類的組。例如，分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3中，能夠如圖38(b)所示那樣分配“1”作為簇索引i。另一方面，分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6中，能夠如圖38(b)所示那樣分配“2”作為簇索引i。

另外，圖38(b)中例示有增益g₀～g₂，所述增益g₀～g₂在對具有圖10所示的電路結構的濾波處理部41的各濾波器應用部48中所使用的濾波器進行固定，并且將在第1濾波處理F1中所使用的增益g₀固定為“1.0”時，用于通過圖38(a)所示的整個系統(tǒng)的頻率特性高精度地實現(xiàn)圖34所示的圖像濾波處理P1～P6的每一個處理的頻率特性。

如圖38(b)所示，根據(jù)上述例子，能夠?qū)⒍喾N圖像濾波處理P1～P6的頻率特性的數(shù)據(jù)壓縮為6個濾波器頻率特性φ₀⁽¹⁾～φ₂⁽¹⁾、φ₀⁽²⁾～φ₂⁽²⁾(抽頭系數(shù))和18個增益(將g₀固定為“1.0”時是12個增益)。

如此，根據(jù)基于多峰型分布的濾波器的確定方法，需要與構成多峰型分布的組(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)的個數(shù)相應的濾波器組。因此，在利用多峰型分布時，與利用單峰型分布時相比，需要預先存儲于存儲器的濾波器的數(shù)量增加，所需的存儲容量也增大。并且，為了將各濾波器與所分類的組建立對應關聯(lián)，如上述簇索引那樣的相關信息也需要預先存儲于存儲器。

圖39是表示根據(jù)多峰型分布計算濾波器系數(shù)的濾波器計算部77的功能結構的一例的框圖。本例的濾波器計算部77為了將圖像濾波處理的多種頻率特性分類到構成多峰型分布的多個組，除了上述平均計算部78、方差計算部79、濾波器特性獲取部80及抽頭系數(shù)運算部81(參考圖33)之外還具有濾波器組分類部82。

本例的濾波器組分類部82以混合正態(tài)分布為基準，將多種圖像濾波處理(圖34所示的例子中為第1圖像濾波處理P1～第6圖像濾波處理P6)的頻率特性分類到多個濾波器組(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)。

圖40是通過濾波器組分類部82分類到多個濾波器組的多種圖像濾波處理(頻率特性)的概念圖。濾波器組分類部82對多種圖像濾波處理的頻率特性數(shù)據(jù)的相似性進行分析，并將各圖像濾波處理的頻率特性分類到對應的濾波器組。在上述例中，通過濾波器組分類部82，第1圖像濾波處理P1～第3圖像濾波處理P3被分類到第1偏差分布G1的濾波器組，第4圖像濾波處理P4～第6圖像濾波處理P6被分類到第2偏差分布G2的濾波器組。

構成濾波器計算部77的其他平均計算部78、方差計算部79、濾波器特性獲取部80及抽頭系數(shù)運算部81根據(jù)分類到多個濾波器組的多種圖像濾波處理的頻率特性中多個濾波器組的每一個所包括的多種圖像濾波處理的頻率特性獲取與多個濾波器組的每一個相關的基準濾波器h_b及至少一個方差濾波器h_v。

根據(jù)上述例，在多種圖像濾波處理的頻率特性的偏差的分布為已知的情況下，能夠高精度地設計用于覆蓋該偏差的最佳的濾波器。尤其，通過根據(jù)多種圖像濾波處理的頻率特性的偏差的分布選擇單峰型分布及多峰型分布中合適的分布類型，能夠獲取可高精度地重現(xiàn)作為目標的圖像濾波處理的頻率特性的濾波器(濾波器系數(shù))及增益。

如上所述，根據(jù)本實施方式，能夠減少濾波器數(shù)(數(shù)據(jù)量)，并能夠避免保持與所有條件有關的FIR濾波器(濾波器系數(shù)(抽頭系數(shù)))，而能夠平均地進行使用了良好的濾波器的圖像濾波處理。

<FIR濾波器的設計>

接著，對抽頭數(shù)量設置限制的FIR濾波器的設計方法進行說明。

通過利用上述方法靈活地調(diào)整濾波器的頻率特性，能夠設計用于有效地彌補多種圖像濾波處理的頻率特性的偏差的最佳的濾波器。然而，通過對抽頭數(shù)量設定限制的FIR濾波器實現(xiàn)實際使用的濾波器時，難以理想地獲得所希望的頻率特性。

通常，以較少的抽頭數(shù)量實現(xiàn)陡峭的頻率特性是非常困難的。尤其與較小的特征值對應的特征矢量傾向于具有陡峭的鋸齒形狀。因此，即使通過上述方法獲取濾波器的理想的頻率特性，在沒有充分準備實際所使用的濾波器的抽頭數(shù)量的情況下，也難以充分覆蓋多種圖像濾波處理的頻率特性的偏差。

該問題與如下問題類似，即關于基底為非線性且參數(shù)化的函數(shù)，以通過盡量較少的數(shù)量的基底的線性和使一定矢量近似為目的確定基底的參數(shù)。提出有用于解決這種問題的各種方法。例如SAGE算法為在電波傳播中的來波分析等中所使用的算法，并且為根據(jù)EM算法的構思以使殘差最小的方式逐個求出基底的方法。并且，OMP算法為在壓縮感知(Compressed Sensing)的領域使用過完備庫(overcomplete dictionary)求出稀疏的系數(shù)矢量時所使用的算法。OMP的方法本身并不是求出參數(shù)化的基底的方法，但通過將選白OMP中的庫(dictionary)的情況設定改變?yōu)檫x擇接近于參數(shù)化的基底函數(shù)的基底函數(shù)的情況設定，由此能夠?qū)MP的方法應用于FIR濾波器的設計。

對SAGE算法及OMP算法的具體運算方法例將在后面說明，濾波器計算部77的抽頭系數(shù)運算部81(參考圖33及圖39)能夠根據(jù)這些算法由偏差分布函數(shù)計算分配到至少一個方差濾波器hv的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且為根據(jù)分配到基準濾波器h_b的各抽頭的系數(shù)而確定的偏差分布函數(shù)(參考后述協(xié)方差矩陣“R_i”)。

根據(jù)后述SAGE算法及OMP算法，濾波器計算部77的抽頭系數(shù)運算部81在將“T”設為2以上的整數(shù)時，獲取第1個至第I個方差濾波器h_v，并由根據(jù)分配到基準濾波器h_b的各抽頭的系數(shù)而確定的偏差分布函數(shù)計算分配到第1個方差濾波器h_v的各抽頭的系數(shù)。并且，濾波器計算部77的抽頭系數(shù)運算部81在將“J”設為2以上且I以下的整數(shù)時，由偏差分布函數(shù)計算分配到第J個方差濾波器h_v的各抽頭的系數(shù)，所述偏差分布函數(shù)根據(jù)分配到基準濾波器h_b的各抽頭的系數(shù)和分配到第1個至第J-1個方差濾波器h_v的每一個濾波器的各抽頭的系數(shù)而確定。

在SAGE算法中，濾波器計算部77的抽頭系數(shù)運算部81進一步根據(jù)偏差分布函數(shù)(參考后述協(xié)方差矩陣“Q_j”)來更新分配到基準濾波器h_b及至少一個方差濾波器h_v中的至少任一個的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且表示根據(jù)分配到基準濾波器h_b及至少一個方差濾波器h_v的每一個濾波器的各抽頭的系數(shù)而確定的殘差成分。

另外，SAGE算法及OMP算法在各種文獻中被進行說明，例如可參考非專利文獻1、非專利文獻2及非專利文獻3。其中，SAGE算法及OMP算法這兩者均以矢量的基底分解為目的，原本就不是處理濾波器設計中的子空間近似，因此需要對計算式適當?shù)丶右孕薷摹?/p>

<應用了OMP算法的最佳濾波器組的計算>

以下對基于OMP算法的濾波器設計的一例進行說明。下述各步驟的處理基本上在濾波器計算部77(抽頭系數(shù)運算部81)中進行，但各步驟的處理的一部分或全部可在其他部中進行。

以下對以單峰型分布為前提的情況進行說明。另外，關于以多峰型分布為前提的情況，如上所述能夠應用以單峰型分布為前提的情況。即，通過將多個濾波器組(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)的每一個濾波器作為單峰型分布的偏差分布G進行處理，由此還能夠?qū)远喾逍头植紴榍疤岬那闆r。

·步驟1

首先，通過任意方法獲取最接近由上述“Ψ₀”所表示的多種圖像濾波處理的頻率特性的平均(中心值)的FIR濾波器的抽頭系數(shù)，并將通過該抽頭系數(shù)實際實現(xiàn)的濾波器的頻率特性作為“在第1濾波處理F1中所使用的濾波器的頻率特性φ₀”。

·步驟2

根據(jù)下述式計算將上述“在第1濾波處理F1中實際使用的濾波器的頻率特性φ₀”假設為多種圖像濾波處理的頻率特性的平均(中心值)時的協(xié)方差矩陣R₀。

[數(shù)式18]

·步驟3

如下述式所示，協(xié)方差矩陣R₀被設定為協(xié)方差矩陣R₁，參數(shù)“i”被設定為“1”。

[數(shù)式19]

R_i＝R₀

i←1

·步驟4

與協(xié)方差矩陣R_i的最大的特征值對應的特征矢量Ψ_i通過上述方法求出。

·步驟5

最接近特征矢量Ψ_i的頻率特性的FIR濾波器的抽頭系數(shù)通過任意方法來獲取，并通過該抽頭系數(shù)而實際實現(xiàn)的濾波器的頻率特性被設定為“φ_i”。具有該頻率特性φ_i的濾波器與在第“i+1”濾波處理中所使用的濾波器相對應，若例如為“i＝1”，則求出在第2濾波處理F2中所使用的濾波器的頻率特性φ₂。與該“φ_i+1”相關的濾波器的抽頭系數(shù)存儲于未圖示的存儲器。

·步驟6

將已經(jīng)求出的“φ₁～φ_i”作為基底，從協(xié)方差矩陣排除可通過該基底的展開子空間表現(xiàn)的成分，并計算殘差。例如，若將“i”設為3以上的整數(shù)而定義為“Φ_i＝[φ₁φ₂……φ_i]”，則在以“Φ_i⁺”表示Φ_i的Moore-Penrose廣義逆時，由“Φ_iΦ_i⁺”來表示對span{φ₁，φ₂，……，φ_i}的正投影矩陣。若使用該正投影矩陣Φ_iΦ_i⁺，則協(xié)方差矩陣“R_i+1”由下述式所表示。

[數(shù)式20]

I：單位矩陣

·步驟7

如下述式那樣重新設定“i”作為“i＝i+1”，反復“步驟4”～“步驟7”直至成為“i＝N-1”。以這種方法求出濾波器的頻率特性φ₁～φ_N-1。

[數(shù)式21]

i←i+1

<應用了SAGE算法的最佳濾波器組的計算>

接著，對基于SAGE算法的濾波器設計的一例進行說明。以下對以單峰型分布為前提的情況進行說明，但在對以多峰型分布為前提的情況也可應用本例的方面與上述OMP算法相同。

SAGE算法在以下兩個方面與OMP算法不同：是基于只選擇進行上述步驟6中的協(xié)方差矩陣的殘差的更新的基底(FIR濾波器)的減法運算的算法；在暫時求出所有基底之后也對各基底繼續(xù)單獨進行更新。

更具體而言，上述OMP算法的步驟1～步驟5在SAGE算法中也同樣地進行。其中，在上述OMP算法的步驟6中所使用的協(xié)方差矩陣“R_i+1”在SAGE算法中通過下述式求出。

[數(shù)式22]

R_i+1＝(I-φ_iφ_i^H)R_i(I-φ_iφ_i^H)^H

上述OMP算法的步驟7在SAGE算法中也同樣地進行。其中，SAGE算法中，在步驟7之后進行下述步驟8～步驟12。

·步驟8

如由下述式所表示那樣，參數(shù)“j”被設定為初始值“1”。

[數(shù)式23]

j←1

·步驟9

如由下述式所表示那樣，從協(xié)方差矩陣排除可由排除了第j個基底而得的基底的展開子空間表現(xiàn)的成分，并計算殘差。

[數(shù)式24]

Ψ_j＝[φ₁ φ₂ … φ_j-1 φ_j+1 … φ_N-1]

·步驟10

與表示由上述式所表示的殘差成分的協(xié)方差矩陣Qj的最大特征值對應的特征矢量Ψ_j可根據(jù)上述方法求出。

·步驟11

最接近特征矢量Ψ_j的頻率特性的FIR濾波器的抽頭系數(shù)通過任意的方法獲取，通過該抽頭系數(shù)實際實現(xiàn)的濾波器的頻率特性被設定為“φ_j”。由此，在第“j+1”濾波處理中所使用的濾波器的頻率特性φ_j(抽頭系數(shù))被更新，并存儲于未圖示的存儲器。

·步驟12

由下述式定義的整體的近似誤差“J_TOTAL”在特定的目標范圍內(nèi)，或者循環(huán)次數(shù)(計算時間)達到特定的上限為止，如由下述式所表示那樣改變參數(shù)“j”的同時反復進行“步驟9”～“步驟12”。

[數(shù)式25]

Φ_ALL＝[φ₁ φ₂ … φ_N-1]

tr：trace(對角和)

通過利用上述SAGE算法或OMP算法，只要能夠掌握多種圖像濾波處理的頻率特性的偏差(例如平均及方差)，就能夠高精度地設計FIR濾波器的抽頭系數(shù)。并且，在掌握個別的具體的圖像濾波處理的頻率特性之前，能夠確定在圖像濾波處理(多個濾波處理)中可實際使用的濾波器的抽頭系數(shù)。

<基于點擴散函數(shù)的濾波器與輪廓增強濾波器的組合>

點擴散函數(shù)(PSF)由光學系統(tǒng)的設計值計算，這為最容易，但光學系統(tǒng)并不一定是按照設計值來制造的，實際的光學系統(tǒng)的點擴散函數(shù)有時表示與由設計值導出的頻率特性不同的頻率特性。

例如，光學系統(tǒng)中所包括的透鏡14的中央部分的實際MTF與由設計值假設的MTF不同時，即使進行基于點擴散函數(shù)的圖像濾波處理，有時也無法充分改善原圖像數(shù)據(jù)D1的中央部分的分辨率。為了對應這種情況，還考慮比預想更強地設定濾波器響應，但此時，雖然原圖像數(shù)據(jù)D1的中央部分(低像高部分)的分辨率有所改善，但有時原圖像數(shù)據(jù)D1的周邊部分(高像高部分)的分辨率與中央部分的分辨率相比過高。

上述問題不僅在產(chǎn)生設計及制造的偏差的情況中發(fā)生，在產(chǎn)生光學系統(tǒng)的個體偏差的情況中也同樣地發(fā)生。

作為針對這種問題的途徑方法之一，關于各光學系統(tǒng)(透鏡14)的中央部分及周邊部分的每一個部分實際測量點擴散函數(shù)，考慮根據(jù)該測量的點擴散函數(shù)，單獨制作關于各光學系統(tǒng)的中央部分及周邊部分的每一個部分的濾波器。

然而，按光學系統(tǒng)的每個位置測量點擴散函數(shù)來制作濾波器的處理的負載非常重，并且制成的濾波器的數(shù)據(jù)量也非常龐大，從而需要高性能且昂貴的運算電路及存儲器等資源。尤其由用戶本身進行校準時，需要在數(shù)碼相機10的產(chǎn)品本身組裝這種運算處理電路及存儲器，相對于各種輸入算法穩(wěn)定地發(fā)揮作用且保證品質(zhì)，這成為較大的負載。

圖41是表示由設計值導出的“光學系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖41(a)表示光學系統(tǒng)的中央部分的MTF，圖41(b)表示光學系統(tǒng)的周邊部分的MTF。在圖41(a)及圖41(b)的每一個圖中，橫軸表示頻率，縱軸表示經(jīng)標準化的MTF。圖42是表示由實測值導出的“光學系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖42(a)表示光學系統(tǒng)的中央部分的MTF，圖42(b)表示光學系統(tǒng)的周邊部分的MTF。在圖42(a)及圖42(b)的每一個圖中，橫軸表示頻率，縱軸表示經(jīng)標準化的MTF。若圖41及圖42為與相同的光學系統(tǒng)相關的圖，則在本例中關于光學系統(tǒng)的“周邊部分”由實測值導出的MTF(參考圖42(b))與由設計值導出的MTF(參考圖41(b))大致一致，但關于光學系統(tǒng)的“中央部分”，由實測值導出的MTF(參考圖42(a))比由設計值導出的MTF(參考圖41(a))良好。

對使用這種光學系統(tǒng)拍攝獲取的圖像數(shù)據(jù)進行了濾波器應用處理PF及增益應用處理PG時的MTF進行研究。

圖43是表示根據(jù)圖41所示的MTF進行濾波器應用處理PF及增益應用處理PG時的“與圖像濾波處理相關的MTF”的一例的曲線圖，圖43(a)表示光學系統(tǒng)的中央部分的MTF，圖43(b)表示光學系統(tǒng)的周邊部分的MTF。圖44是表示根據(jù)圖42所示的MTF進行濾波器應用處理PF及增益應用處理PG時的“與圖像濾波處理相關的MTF”的一例的曲線圖，圖44(a)表示光學系統(tǒng)的中央部分的MTF，圖44(b)表示光學系統(tǒng)的周邊部分的MTF。在圖43及圖44所示的例子中，表示兩者在濾波器應用處理PF中均使用相同的濾波器，并且在增益應用處理PG中均使用相同的增益“1.0”的例子。在本例中根據(jù)設計值獲取在濾波器應用處理PF中所使用的濾波器，因此以設計值為基準時(參考圖43(a)及圖43(b))獲得適當?shù)腗TF，但以實測值為基準時，有時會導致光學系統(tǒng)的中央部和/或周邊部的MTF變得過大。即，在圖44所示的例子中，光學系統(tǒng)的周邊部分的MTF落在容許范圍內(nèi)(參考圖44(b))，但光學系統(tǒng)的中央部分的MTF因頻帶而導致變得過大(參考圖44(a))。

圖45是表示根據(jù)圖42所示的MTF進行濾波器應用處理PF及增益應用處理PG時的“光學系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖45(a)表示光學系統(tǒng)的中央部分的MTF，圖45(b)表示光學系統(tǒng)的周邊部分的MTF。在圖45所示的例子中，在濾波器應用處理PF中使用與圖44所示的例子相同的濾波器，但在增益應用處理PG中使用比圖44所示的例子中所使用的增益小的增益(＜1.0)。在圖45所示的例子中，光學系統(tǒng)的中央部分的MTF落在容許范圍內(nèi)(參考圖45(a))，但光學系統(tǒng)的周邊部分的MTF因頻帶而導致變得過小(參考圖45(b))。

如上所述，難以平衡良好地調(diào)整光學系統(tǒng)(透鏡14)的所有位置(中央部分及周邊部分)的點擴散函數(shù)。

在以下的實施方式中，通過將使用了由點擴散函數(shù)導出的濾波器的濾波處理(以下稱為“點像復原處理”)和使用了輪廓增強濾波器的濾波處理(以下還稱為“輪廓增強處理”)進行組合而良好地調(diào)整整個光學系統(tǒng)的點擴散函數(shù)。圖46是表示根據(jù)圖42所示的MTF組合下述點像復原處理及輪廓增強處理時的“光學系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖46(a)表示光學系統(tǒng)的中央部分的MTF，圖46(b)表示光學系統(tǒng)的周邊部分的MTF。根據(jù)以下的實施方式，如圖46(a)及圖46(b)所示，能夠在光學系統(tǒng)的中央部分及周邊部分的兩個區(qū)域中實現(xiàn)良好的MTF。

另外，在以下的實施方式中，“由點擴散函數(shù)導出的濾波器”作為依賴于圖像內(nèi)位置(像素位置)而頻率特性發(fā)生變化的濾波器而構成，另一方面，“輪廓增強濾波器”作為不依賴于圖像內(nèi)位置(像素位置)而具有恒定的頻率特性的濾波器而構成。

圖47是表示進行使用了由點擴散函數(shù)導出的濾波器的濾波處理的電路與進行使用了輪廓增強濾波器的濾波處理的電路串聯(lián)連接的情況的一例的電路結構圖。圖47所示的電路結構例與圖8所示的電路結構例大致相同。即，在圖8所示的電路結構例中設為“N＝2”，將在第1濾波器應用部48-1中使用的濾波器設為“由點擴散函數(shù)導出的濾波器”，將在第2濾波器應用部48-2中使用的濾波器設為“輪廓增強濾波器”，從而成為圖47所示的電路結構。

圖48是表示進行使用了由點擴散函數(shù)導出的濾波器的濾波處理的電路與進行使用了輪廓增強濾波器的濾波處理的電路并聯(lián)連接的情況的一例的電路結構圖。圖48所示的電路結構例與圖9所示的電路結構例大致相同。即，在圖9所示的電路結構例中設為“N＝2”，將在第1濾波器應用部48-1中使用的濾波器設為“由點擴散函數(shù)導出的濾波器”，將在第2濾波器應用部48-2中使用的濾波器設為“輪廓增強濾波器”，從而成為圖48所示的電路結構。

圖49是表示進行使用了由點擴散函數(shù)導出的濾波器的濾波處理的電路與進行使用了輪廓增強濾波器的濾波處理的電路并聯(lián)連接的情況的一例的電路結構圖。圖49所示的電路結構例與圖10所示的電路結構例大致相同。即，在圖10所示的電路結構例中設為“N＝2”，將在第1濾波器應用部48-1中使用的濾波器設為“由點擴散函數(shù)導出的濾波器”，將在第2濾波器應用部48-2中使用的濾波器設為“輪廓增強濾波器”，從而成為圖49所示的電路結構。

在圖47～圖49所示的例子中，也與上述圖8～圖10所示的例子同樣地，通過調(diào)整在第1增益應用部49-1及第2增益應用部49-2中所使用的增益g₀、g₁而近似地實現(xiàn)“圖像濾波處理的作為目標的頻率特性”?？傊趫D47～圖49所示的例子中，光學系統(tǒng)的中央部分與周邊部分之間調(diào)整增益g₀、g₁，以免對分辨率產(chǎn)生過大的偏差。由此，無需重新設計濾波器(尤其由點擴散函數(shù)導出的濾波器)，能夠降低關于許多攝影條件應保持的參數(shù)個數(shù)(抽頭系數(shù)等)。并且，在用于校正光學系統(tǒng)的個體偏差的校準中，無需進行需要大量計算量的有限抽頭長度的FIR濾波器的設計工作。

以下，作為一例，主要對濾波處理部41具有圖49所示的電路結構時的增益的計算方法進行說明。

如上所述，在第1濾波處理F1中進行使用了“由點擴散函數(shù)導出的濾波器”的點像復原處理，在第2濾波處理F2中進行使用了“輪廓增強濾波器”的輪廓增強處理。

由“φ₀(ω，r)”表示在點像復原處理中所使用的濾波器(即在第1濾波器應用部48-1中所使用的濾波器)的頻率特性，關于針對頻率為N_ω個且針對圖像內(nèi)位置(像素位置)為N_r個的采樣點進行“φ₀(ω，r)”的離散化，從而如上所述，使用Kronecker積而使下述式成立。

[數(shù)式26]

另一方面，以“T(ω)”表示在輪廓增強處理中所使用的濾波器(即在第2濾波器應用部48-2中所使用的濾波器)的頻率特性。該輪廓增強濾波器的頻率特性“τ(ω)”不依賴于圖像內(nèi)位置，如以與上述點像復原處理的濾波器的頻率特性相同的公式格式所表示那樣，關于“τ(ω)”的離散化，下述式成立。

[數(shù)式27]

此時，由在第1濾波處理F1及第2濾波處理F2中所使用的增益構成的增益矢量(增益組)g由下述式表示。

[數(shù)式28]

g＝[g₀ g₁]^T

若通過“f(ω，r|g)”表示設定有由上述式所表示的增益的圖像濾波處理P整體(濾波處理部41整體)的頻率特性，通過“d(ω，r)”表示欲實現(xiàn)的圖像濾波處理P的作為目標的頻率特性，通過“w(ω，r)”表示近似加權函數(shù)，則以與圖10相關的上述處理相同的方法獲得下述關系式。

[數(shù)式29]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

J_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ τ]

如上所述，“(A^HWA)^-1A^HW”的一部分由可預先計算的矩陣(2×2矩陣)表示，因此增益矢量的最優(yōu)解g_OPT能夠通過對根據(jù)表示個別的像劣化特性的點擴散函數(shù)而獲取的濾波器特性應用矩陣的運算來計算。

另外，優(yōu)選當濾波處理部41采用圖49所示的電路結構時，除了應用上述條件之外，為了防止圖像的DC成分(亮度)發(fā)生變化，還應用將DC成分的放大率(增益)設為1.0倍的約束條件。具體而言，按照下述式獲取增益矢量的最優(yōu)解g_OPT，這相當于“將DC成分的放大率設為1.0倍而不改變圖像整體的亮度”。

[數(shù)式30]

subject to：g₀×φ_i(0)+g₁×τ(0)＝1

上述式能夠作為QP問題來處理，在維數(shù)較小的最優(yōu)化中能夠以較少的計算量解決。并且，作為一例，如由下述式所表示那樣，通過對各濾波器的DC成分的放大率設置限制，能夠排除DC成分的放大率的限制(約束條件)。

[數(shù)式31]

φ_i(0)＝1，ψ(0)＝0

<輪廓增強濾波器的設計方法>

在由攝影條件或個體偏差引起的點擴散函數(shù)(PSF)的偏差的分布信息為已知的情況下，能夠設計用于彌補其點擴散函數(shù)的偏差的最佳的輪廓增強濾波器。

能夠使用在頻率空間上表現(xiàn)點擴散函數(shù)的OTF并通過下述“OTF_i(ω，r)”表示成為點擴散函數(shù)的偏差的樣品的點擴散函數(shù)的實測值或估計值的集合。

[數(shù)式32]

通過“d_i(ω，r)”由下述式表示根據(jù)該“OTF_i(ω，r)”獨立計算出的最佳濾波器的頻率，并通過“φ_i(ω，r)”由下述式表示關于各樣品的攝影條件預先被確定的點像復原處理的濾波器的頻率。

[數(shù)式33]

此時，如上所述，與第i個樣品相關的最佳增益矢量“g_i”由下述式表示。

[數(shù)式34]

W＝diag[w]

A＝[φ_i τ]

此時，通過濾波處理部41進行的圖像濾波處理P(第1濾波處理F1及第2濾波處理F2)整體的頻率特性由下述式表示。

[數(shù)式35]

在此與“P”相關的下述式表示對下述線性子空間「R(W^1/2A)」的正投影矩陣。

[數(shù)式36]

與該線性子空間“正交的空間”由下述式表示。

[數(shù)式37]

R(W^1/2A)^⊥

近似誤差能夠通過對該“正交的空間”的投影矩陣來表現(xiàn)，因此由下述式所表示。

[數(shù)式38]

將該近似誤差的樣品平均最小化的輪廓增強濾波器的頻率特性為計算對象，其最小化基準能夠作為下述式的類函數(shù)來表現(xiàn)。

[數(shù)式39]

將該基準最小化的頻率特性τ能夠平均地最好地彌補頻率的偏差。因此，優(yōu)選設計近似地實現(xiàn)以這種方式計算出的頻率特性τ的有限抽頭長度FIR濾波器，并將在輪廓增強處理(第2增益應用部49-2)中使用該F1R濾波器作為輪廓增強濾波器。

<其他變形例>

上述各功能結構可通過任意的硬件、軟件或兩者的組合實現(xiàn)。例如，對使計算機執(zhí)行上述各裝置及處理部中的圖像處理方法(圖像處理步驟及功能)、增益獲取方法(增益獲取處理步驟及功能)及濾波器獲取方法(濾波器獲取處理步驟及功能)的程序、記錄了該程序的計算機可讀取的記錄介質(zhì)(非暫時記錄介質(zhì))、或者可安裝該程序的計算機也能夠應用本發(fā)明。

并且，圖像濾波處理(多次濾波處理)的目的也并無特別限定，在各濾波處理(各濾波器應用部48)中，可使用以改善畫質(zhì)為目的的基于點擴散函數(shù)的復原濾波器或輪廓增強濾波器、以賦予特殊效果為目的的藝術濾波器或模糊濾波器等各種濾波器。

<對EDoF系統(tǒng)的應用例>

例如，對于針對通過具有被放大的景深(焦深)(EDoF：Extended Depth of Field(Focus))的光學系統(tǒng)(攝影透鏡等)拍攝獲取的圖像數(shù)據(jù)(原圖像數(shù)據(jù)D1)的復原處理，也能夠應用本發(fā)明所涉及的圖像濾波處理。針對通過EDoF光學系統(tǒng)在景深(焦深)被放大的狀態(tài)下拍攝獲取的模糊圖像的圖像數(shù)據(jù)進行復原處理，從而能夠在廣范圍內(nèi)復原生成對焦狀態(tài)的高分辨率的圖像數(shù)據(jù)。此時使用復原濾波器進行復原處理，所述復原濾波器為基于EDoF光學系統(tǒng)的光學傳遞函數(shù)(PSF、OTF、MTF、PTF等)的復原濾波器，并且具有設定成能夠在被放大的景深(焦深)的范圍內(nèi)進行良好的圖像復原的具有濾波器系數(shù)的復原濾波器。

以下對與經(jīng)由EDoF光學系統(tǒng)攝影獲取的圖像數(shù)據(jù)的復原相關的系統(tǒng)(EDoF系統(tǒng))的一例進行說明。另外，在以下所示的例子中，對針對由去馬賽克處理后的圖像數(shù)據(jù)(RGB數(shù)據(jù))獲得的亮度信號(Y數(shù)據(jù))進行復原處理的例子進行說明，但進行復原處理的時機并無特別限定，例如可對“去馬賽克處理前的圖像數(shù)據(jù)(馬賽克圖像數(shù)據(jù))”或“去馬賽克處理后且亮度信號轉換處理前的圖像數(shù)據(jù)(去馬賽克圖像數(shù)據(jù))”進行復原處理。

圖50是表示具備EDoF光學系統(tǒng)的攝像模塊101的一方式的框圖。本例的攝像模塊(數(shù)碼相機等)101包含EDoF光學系統(tǒng)(透鏡單元)110、成像元件112、AD轉換部114及復原處理塊(圖像處理部35)120。

圖51是表示EDoF光學系統(tǒng)110的一例的圖。本例的EDoF光學系統(tǒng)110具有單焦點的被固定的攝影透鏡11OA及配置于光瞳位置的濾光器111。濾光器111調(diào)制相位，并以獲得被放大的景深(焦深)(EDoF)的方式將EDoF光學系統(tǒng)110(攝影透鏡110A)EDoF化。如此，攝影透鏡110A和濾光器111構成調(diào)制相位來擴大景深的透鏡部。

另外，EDoF光學系統(tǒng)110根據(jù)需要包含其他構成要件，例如在濾光器111附近配設有光圈(省略圖示)。并且，濾光器111可以是一個，也可以組合多個。并且，濾光器111僅僅是光學相位調(diào)制機構的一例，還可以通過其他機構實現(xiàn)EDoF光學系統(tǒng)110(攝影透鏡110A)的EDoF化。例如，可通過以具有與本例的濾光器111相同功能的方式進行透鏡設計而得的攝影透鏡110A實現(xiàn)EDoF光學系統(tǒng)110的EDoF化代替濾光器二111的設置。

即，能夠通過使對成像元件112的受光面的成像的波面發(fā)生變化的各種機構，實現(xiàn)EDoF光學系統(tǒng)110的EDoF化。例如，可將“厚度發(fā)生變化的光學元件”、“折射率發(fā)生變化的光學元件(折射率分布型波面調(diào)制透鏡等)”、“通過對透鏡表面進行編碼等而厚度或折射率發(fā)生變化的光學元件(在波面調(diào)制混合式透鏡、透鏡面上作為相位面而形成的光學元件等)”、“能夠調(diào)制光的相位分布的液晶元件(液晶空間相位調(diào)制元件等)”用作EDoF光學系統(tǒng)110的EDoF化機構。如此，不僅能夠?qū)赏ㄟ^光波面調(diào)制元件(濾光器111(相位板))形成規(guī)則地分散而得的圖像的情況應用本發(fā)明，而且能夠?qū)刹皇褂霉獠嬲{(diào)制元件而通過攝影透鏡110A本身形成與使用光波面調(diào)制元件時相同的分散圖像的情況應用本發(fā)明。

圖51所示的EDoF光學系統(tǒng)110可以省略機械地進行調(diào)焦的調(diào)焦機構，因此能夠?qū)崿F(xiàn)小型化，可優(yōu)選搭載于帶相機的移動電話或移動信息終端。

通過被EDoF化的EDoF光學系統(tǒng)110之后的光學像成像于圖50所示的成像元件112，在此轉換成電信號。

成像元件112由以規(guī)定的圖案排列(拜耳排列、G條紋R/G全方格、X-Trans排列或蜂窩排列等)配置成矩陣狀的多個像素構成，各像素包含微透鏡、濾色器(本例中為RGB濾色器)及光電二極管而構成。經(jīng)由EDoF光學系統(tǒng)110入射到成像元件112的受光面的光學像通過排列于該受光面的各光電二極管而轉換成與入射光量相應的量的信號電荷。并且，積蓄在各光電二極管的R、G、B的信號電荷作為每個像素的電壓信號(圖像信號)被依次輸出。

AD轉換部114將從成像元件112按每個像素被輸出的模擬R、G、B圖像信號轉換成數(shù)字RGB圖像信號。通過AD轉換部114轉換成數(shù)字圖像信號的數(shù)字圖像信號被加入到復原處理塊120。

復原處理塊120例如包括黑電平調(diào)整部122、白平衡增益部123、伽馬處理部124、去馬賽克處理部125、RGB/YCrCb轉換部126及Y信號復原處理部127。

黑電平調(diào)整部122對從AD轉換部114輸出的數(shù)字圖像信號實施黑電平調(diào)整。在黑電平調(diào)整中，可采用公知的方法。例如，在著眼于某一有效光電轉換元件的情況下，求出與在包括該有效光電轉換元件的光電轉換元件行中所包含的多個0B光電轉換元件的每一個對應的暗電流量獲取用信號的平均值，從與該有效光電轉換元件對應的暗電流量獲取用信號減去該平均值，從而進行黑電平調(diào)整。

白平衡增益部123進行與在調(diào)整了黑電平數(shù)據(jù)的數(shù)字圖像信號中所包含的RGB各顏色信號的白平衡增益對應的增益調(diào)整。

伽馬處理部124進行執(zhí)行半色調(diào)等的灰度校正的伽馬校正，使得白平衡調(diào)整后的R、G、B圖像信號成為期望的伽馬特性。

去馬賽克處理部125對伽馬校正后的R、G、B圖像信號施加去馬賽克處理。具體而言，去馬賽克處理部125通過對R、G、B的圖像信號施加顏色插值處理，生成從攝像元件112的各受光像素輸出的一組圖像信號(R信號、G信號、B信號)。即，雖然在顏色去馬賽克處理前，來自各受光像素的像素信號是R、G、B的圖像信號中的任一個圖像信號，但在顏色去馬賽克處理后，輸出與各受光像素對應的R、G、B信號的3個像素信號的組。

RGB/YCrCb轉換部126將經(jīng)去馬賽克處理的每個像素的R、G、B信號轉換為亮度信號Y和色差信號Cr、Cb，并輸出每個像素的亮度信號Y及色差信號Cr、Cb。

Y信號復原處理部127根據(jù)預先存儲的復原濾波器，對來自RGB/YCrCb轉換部126的亮度信號Y進行復原處理。復原濾波器例如包括具有7×7的核尺寸的反卷積核(與M＝7、N＝7的抽頭數(shù)量對應)和與該反卷積核對應的運算系數(shù)(與復原增益數(shù)據(jù)、濾波系數(shù)對應)，使用于光學濾波器111的相位調(diào)制量的反卷積處理(反卷積運算處理)。另外，復原濾波器將與光學濾波器111對應的部分存儲到未圖示的存儲器(例如，附隨地設有Y信號復原處理部127的存儲器)中。此外，反卷積核的核尺寸并不限于7×7。另外，Y信號復原處理部127具有上述圖像處理部35中的銳化處理的功能。

接著，對基于復原處理塊120的復原處理進行說明。圖52是表示基于圖50所示的復原處理塊120的復原處理流程的一例的圖。

在黑電平調(diào)整部122的一個輸入中，由AD轉換部114被施加數(shù)字圖像信號，在其他輸入中被施加黑電平數(shù)據(jù)，黑電平調(diào)整部122根據(jù)數(shù)字圖像信號減去黑電平數(shù)據(jù)，并將減去了黑電平數(shù)據(jù)的數(shù)字圖像信號輸出到白平衡增益部123(S41)。由此，在數(shù)字圖像信號中不包括黑電平成分，表示黑電平的數(shù)字圖像信號成為0。

對進行黑電平調(diào)整后的圖像數(shù)據(jù)依次實施通過白平衡增益部123、伽馬處理部124進行的處理(S42及S43)。

被伽馬校正的R、G、B信號在去馬賽克處理部125中進行去馬賽克處理之后，在RGB/YCrCb轉換部126中轉換為亮度信號Y和色差信號Cr、Cb(S44)。

Y信號復原處理部127進行對亮度信號Y應用EDoF光學系統(tǒng)110的光學濾波器111的相位調(diào)制量的反卷積處理的復原處理(S45)。即，Y信號復原處理部127進行與以任意的處理對象的像素為中心的規(guī)定單位的像素組對應的亮度信號(在此為7×7像素的亮度信號)和預先存儲在存儲器等中的復原濾波器(7×7的反卷積核和其運算系數(shù))的反卷積處理(反卷積運算處理)。Y信號復原處理部127通過以覆蓋攝像面的整個區(qū)域的方式反復該規(guī)定單位的每個像素組的反卷積處理，從而進行去除圖像整體的像模糊的復原處理。復原濾波器是根據(jù)實施反卷積處理的像素組的中心的位置而確定的。即，對接近的像素組應用共同的復原濾波器。進一步為了簡化復原處理，優(yōu)選對所有像素組應用共同的復原濾波器。

如圖53(a)所示，通過EDoF光學系統(tǒng)110之后的亮度信號的點像(光學像)作為較大的點像(模糊的圖像)成像于成像元件112，但通過Y信號復原處理部127中的反卷積處理而復原為如圖53(b)所示那樣較小的點像(高分辨率的圖像)。

如上所述，通過對去馬賽克處理后的亮度信號應用復原處理，無需按RGB不同而具有復原處理的參數(shù)，能夠使復原處理高速化。此外，由于不是將與位于分散的位置的R、G、B的像素對應的R、G、B的圖像信號分別匯集為一個單位而進行反卷積處理，而是將接近的像素的亮度信號彼此以預定的單位匯集，對該單位應用共同的復原濾波器而進行反卷積處理，所以復原處理的精度提高。另外，關于色差信號Cr、Cb，在基于肉眼的視覺特性上，即使在復原處理中不提高分辨率，在畫質(zhì)上也被允許。此外，在以如JPEG這樣的壓縮形式來記錄圖像的情況下，色差信號以比亮度信號高的壓縮率被壓縮，所以缺少在復原處理中提高分辨率的必要性。這樣一來，能夠兼顧復原精度的提高和處理的簡化及高速化。

對于如以上進行說明那樣的EDoF系統(tǒng)的復原處理，也能夠應用上述實施方式所涉及的圖像濾波處理。

并且，能夠應用本發(fā)明的方式并不限定于數(shù)碼相機及計算機(服務器)，除了以攝像為主要功能的相機類之外，對于除了攝像功能以外還具備攝像以外的其他功能(通話功能、通信功能、其他計算機功能)的移動設備類，也能夠應用本發(fā)明。作為能夠應用本發(fā)明的其他方式，例如可舉出具有相機功能的移動電話和智能手機、PDA(Personal Digital Assistants)、便攜式游戲機。以下，對能夠應用本發(fā)明的智能手機的一例進行說明。

<對智能手機的應用例>

圖54是表示智能手機201的外觀的圖。圖54所示的智能手機201具有平板狀框體202，在框體202的一側面具備作為顯示部的顯示面板221與作為輸入部的操作面板222成為一體的顯示輸入部220。并且，這種框體202具備揚聲器231、麥克風232、操作部240及相機部241。另外，框體202的結構并不限定于此，例如能夠采用顯示部與輸入部獨立的結構，或者采用具有折疊結構或滑動機構的結構。

圖55是表示圖54所示的智能手機201的結構的框圖。如圖55所示，作為智能手機的主要構成要件，具備無線通信部210、顯示輸入部220、通話部230、操作部240、相機部241、存儲部250、外部輸入輸出部260、GPS(Global Positioning System)接收部270、動作傳感器部280、電源部290及主控制部200(包括上述主體控制器25)。并且，作為智能手機201的主要功能，具備經(jīng)由基站裝置BS和移動通信網(wǎng)NW進行移動無線通信的無線通信功能。

無線通信部210根據(jù)主控制部200的命令，對容納于移動通信網(wǎng)Nw的基站裝置BS進行無線通信。使用該無線通信，進行語音數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、Web數(shù)據(jù)或流數(shù)據(jù)等的接收。

顯示輸入部220是通過主控制部200的控制，顯示圖像(靜態(tài)圖像及動態(tài)圖像)和文字信息等來視覺性地向用戶傳遞信息，并且檢測用戶對所顯示的信息的操作的所謂的觸控面板，具備顯示面板221及操作面板222。

顯示面板221是將LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作顯示設備的裝置。操作面板222是以能夠視覺辨認顯示于顯示面板221的顯示面上的圖像的方式載置，并檢測通過用戶的手指或觸控筆操作的一個或多個坐標的設備。若通過用戶的手指或觸控筆操作該設備，則將因操作而產(chǎn)生的檢測信號輸出至主控制部200。接著，主控制部200根據(jù)所接收的檢測信號檢測顯示面板221上的操作位置(坐標)。

如圖54所示，作為本發(fā)明的攝像裝置的一實施方式來例示的智能手機201的顯示面板221與操作面板222成為一體而構成顯示輸入部220，但配置成操作面板222完全覆蓋顯示面板221。采用該配置時，操作面板222可以對顯示面板221以外的區(qū)域也具備檢測用戶操作的功能。換言之，操作面板222可具備針對與顯示面板221重疊的重疊部分的檢測區(qū)域(以下，稱為顯示區(qū)域)和針對除此以外的不與顯示面板221重疊的外緣部分的檢測區(qū)域(以下，稱為非顯示區(qū)域)。

另外，可使顯示區(qū)域的大小與顯示面板221的大小完全一致，但無需一定使兩者一致。并且，操作面板222可具備外緣部分和除此以外的內(nèi)側部分這兩個感應區(qū)域。而且，外緣部分的寬度根據(jù)框體202的大小等而適當設計。此外，作為在操作面板222中所采用的位置檢測方式，可舉出矩陣開關方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應方式、靜電電容方式等，可采用任意方式。

通話部230具備揚聲器231和麥克風232，所述通話部將通過麥克風232輸入的用戶的語音轉換成能夠在主控制部200中處理的語音數(shù)據(jù)來輸出至主控制部200，或者對通過無線通信部210或外部輸入輸出部260接收的語音數(shù)據(jù)進行解碼而從揚聲器231輸出。并且，如圖54所示，例如能夠?qū)P聲器231搭載于與設置有顯示輸入部220的面相同的面，將麥克風232搭載于框體202的側面。

操作部240為使用鍵開關等的硬件鍵，且接收來自用戶的命令。例如，如圖54所示，操作部240搭載于智能手機201的框體202的側面，且是若被手指等按下則開啟，若將手指移開則通過彈簧等的復原力而成為關閉狀態(tài)的按鈕式開關。

存儲部250存儲主控制部200的控制程序和控制數(shù)據(jù)、應用軟件、將通信對象的名稱和電話號碼等建立對應關聯(lián)的地址數(shù)據(jù)、所收發(fā)的電子郵件的數(shù)據(jù)、通過Web瀏覽下載的Web數(shù)據(jù)和已下載的內(nèi)容數(shù)據(jù)，并且暫時存儲流數(shù)據(jù)等。并且，存儲部250由智能手機內(nèi)置的內(nèi)部存儲部251和具有裝卸自如的外部存儲器插槽的外部存儲部252構成。另外，構成存儲部250的各個內(nèi)部存儲部251與外部存儲部252各自通過使用閃存類型(flash memory type)、硬盤類型(hard disk type)、微型多媒體卡類型(multimedia card micro type)、卡類型的存儲器(例如，MicroSD(注冊商標)存儲器等)、RAM(Random Acc ess Memory)或ROM(Read Only Memory)等存儲介質(zhì)來實現(xiàn)。

外部輸入輸出部260發(fā)揮與連結于智能手機201的所有外部設備的接口的作用，并用于通過通信等(例如，通用串行總線(USB)、IEEE1394等)或網(wǎng)絡(例如，互聯(lián)網(wǎng)、無線LAN、藍牙(Bluetooth(注冊商標))、RFID(Radio Frequency Identification)、紅外線通信(Infrared Data Association：IrDA)(注冊商標)、UWB(Ultra Wideband)(注冊商標)或紫蜂(ZigBee)(注冊商標)等)直接或間接地與其他外部設備連接。

作為與智能手機201連結的外部設備，例如有：有/無線頭戴式耳機、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插槽連接的存儲卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identitv Module Card)卡、經(jīng)由音頻/視頻I/O(Input/Output)端子連接的外部音頻/視頻設備、無線連接的外部音頻/視頻設備、有/無線連接的智能手機、有/無線連接的個人計算機、有/無線連接的PDA、有/無線連接的耳機等。外部輸入輸出部能夠?qū)倪@種外部設備接收到傳送的數(shù)據(jù)傳遞至智能手機201內(nèi)部的各構成要件或?qū)⒅悄苁謾C201內(nèi)部的數(shù)據(jù)傳送至外部設備。

GPS接收部270按照主控制部200的命令，接收從GPS衛(wèi)星ST1～STn發(fā)送的GPS信號，執(zhí)行基于所接收的多個GPS信號的測位運算處理，檢測智能手機201的包括緯度、經(jīng)度、高度的位置。GPS接收部270在能夠從無線通信部210或外部輸入輸出部260(例如無線LAN)獲取位置信息時，還能夠利用該位置信息檢測位置。

動作傳感器部280例如具備3軸加速度傳感器等，根據(jù)主控制部200的命令，檢測智能手機201的物理動作。通過檢測智能手機201的物理動作，可檢測智能手機201的移動方向或加速度。該檢測結果被輸出至主控制部200。

電源部290按照主控制部200的命令，向智能手機201的各部供給積蓄在電池(未圖示)中的電力。

主控制部200具備微處理器，并根據(jù)存儲部250所存儲的控制程序或控制數(shù)據(jù)進行動作，集中控制智能手機201的各部。并且，主控制部200為了通過無線通信部210進行語音通信或數(shù)據(jù)通信，具備控制通信系統(tǒng)的各部的移動通信控制功能及應用處理功能。

應用處理功能通過主控制部200根據(jù)存儲部250所存儲的應用軟件進行動作來實現(xiàn)。作為應用處理功能，例如有控制外部輸入輸出部260來與對象設備進行數(shù)據(jù)通信的紅外線通信功能、進行電子郵件的收發(fā)的電子郵件功能、瀏覽Web頁的Web瀏覽功能等。

并且，主控制部200具備根據(jù)接收數(shù)據(jù)或所下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜態(tài)圖像或動態(tài)圖像的數(shù)據(jù))而在顯示輸入部220顯示影像等圖像處理功能。圖像處理功能是指主控制部200對上述圖像數(shù)據(jù)進行解碼，對該解碼結果實施圖像處理并將圖像顯示于顯示輸入部220的功能。

而且，主控制部200執(zhí)行對顯示面板221的顯示控制和檢測通過操作部240、操作面板222進行的用戶操作的操作檢測控制。

通過執(zhí)行顯示控制，主控制部200顯示用于啟動應用軟件的圖標或滾動條等軟件鍵，或者顯示用于創(chuàng)建電子郵件的窗口。另外，滾動條是指用于針對無法完全落入顯示面板221的顯示區(qū)域的較大圖像等，接收使圖像的顯示部分移動的命令的軟件鍵。

并且，通過執(zhí)行操作檢測控制，主控制部200檢測通過操作部240進行的用戶操作，或者通過操作面板222接收對上述圖標的操作或?qū)ι鲜龃翱诘妮斎霗诘淖址妮斎?，或者接收通過滾動條進行的顯示圖像的滾動請求。

而且，通過執(zhí)行操作檢測控制，主控制部200具備判定對操作面板222進行操作的位置是與顯示面板221重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板221重疊的外緣部分(非顯示區(qū)域)，并控制操作面板222的感應區(qū)域或軟件鍵的顯示位置的觸控面板控制功能。

并且，主控制部200還能夠檢測對操作面板222的手勢操作，并根據(jù)檢測出的手勢操作執(zhí)行預先設定的功能。所謂手勢操作表示并非以往的單純的觸控操作，而是通過手指等描繪軌跡、或者同時確定多個位置或者組合這些來對多個位置中至少一個描繪軌跡的操作。

相機部241是使用CMOS或CCD等成像元件進行電子攝影的數(shù)碼相機。并且，相機部241能夠通過主控制部200的控制，將通過拍攝獲得的圖像數(shù)據(jù)轉換成例如JPEG等的被壓縮的圖像數(shù)據(jù)并記錄于存儲部250，或者能夠通過外部輸入輸出部260和無線通信部210輸出。在圖54所示的智能手機201中，相機部241搭載于與顯示輸入部220相同的面，但相機部241的搭載位置并不限于此，還可搭載于顯示輸入部220的背面，或者也可以搭載有多個相機部241。另外，搭載有多個相機部241時，還能夠切換供于拍攝的相機部241來單獨進行拍攝、或者同時使用多個相機部241來進行拍攝。

并且，相機部241能夠利用于智能手機201的各種功能中。例如，能夠在顯示面板221顯示由相機部241獲取的圖像，或者能夠作為操作面板222的操作輸入之一而利用相機部241的圖像。并且，當GPS接收部270檢測位置時，還能夠參考來自相機部241的圖像來檢測位置。而且，還能夠參考來自相機部241的圖像，不使用3軸加速度傳感器或者與3軸加速度傳感器并用來判斷智能手機201的相機部241的光軸方向，或判斷當前的使用環(huán)境。當然，還能夠在應用軟件內(nèi)利用來自相機部241的圖像。

另外，能夠在靜態(tài)圖像或動態(tài)圖像的圖像數(shù)據(jù)上附加通過GPS接收部270獲取的位置信息、通過麥克風232獲取的語音信息(也可通過主控制部等進行語音文本轉換而成為文本信息)、通過動作傳感器部280獲取的姿勢信息等來記錄于存儲部250，或者還能夠通過外部輸入輸出部260或無線通信部210輸出。

上述圖像處理部35(濾波處理部41)例如可通過主控制部200來實現(xiàn)。

本發(fā)明并不限定于上述實施方式，當然也能夠在不脫離本發(fā)明的宗旨的范圍內(nèi)進行各種變形。

符號說明

10-數(shù)碼相機，11-透鏡單元，12-相機主體，14-透鏡，15-光圈，17-光學系統(tǒng)操作部，18-透鏡單元控制器，19-透鏡單元存儲部，20-透鏡單元輸入輸出部，24-成像元件，25-主體控制器，26-用戶界面，27-顯示部，28-相機主體輸入輸出部，29-主體存儲部，30-輸入輸出接口，34-設備控制部，35-圖像處理部，36-顯示控制部，38-圖像判定部，40-預處理部，41-濾波處理部，42-后處理部，43-增益確定部，44-增益候補數(shù)據(jù)存儲部，45-增益獲取部，48-濾波器應用部，49-增益應用部，50-處理數(shù)據(jù)計算部，51-處理圖像數(shù)據(jù)計算部，52-加法器，54-反復運算判定部，55-增益供給部，56-濾波器供給部，60-參考圖像獲取部，61-參考圖像分析部，62-目標頻率特性獲取部，63-應用增益計算部，66-頻率分析部，67-目標頻率特性確定部，68-頻率特性存儲部，70-引導部，70a-第1引導部，70b-第2引導部，70c-引導部，70d-引導部，71-自動對焦區(qū)域，73-攝影條件顯示部，74-判定信息部，76-濾波器獲取裝置，77-濾波器計算部，78-平均計算部，79-方差計算部，80-濾波器特性獲取部，81-抽頭系數(shù)運算部，82-濾波器組分類部，92-計算機，93-計算機輸入輸出部，94-計算機控制器，95-顯示器，96-網(wǎng)絡，97-服務器，98-服務器輸入輸出部，99-服務器控制器，101-攝像模塊，110-EDoF光學系統(tǒng)，110A-攝影透鏡，111-濾光器，112-成像元件，114-AD轉換部，120-復原處理塊，122-黑電平調(diào)整部，123-白平衡增益部，124-伽馬處理部，125-去馬賽克處理部，126-YCrCb轉換部，127-Y信號復原處理部，200-主控制部，201-智能手機，202-框體，210-無線通信部，220-顯示輸入部，221-顯示面板，222-操作面板，230-通話部，231-揚聲器，232-麥克風，240-操作部，241-相機部，250-存儲部，251-內(nèi)部存儲部，252-外部存儲部，260-外部輸入輸出部，270-GPS接收部，280-動作傳感器部，290-電源部。