本發(fā)明涉及用于銳化由圖像捕捉產(chǎn)生的圖像的技術(shù)。

背景技術(shù)：

通過(guò)光學(xué)系統(tǒng)的圖像捕捉提供了根據(jù)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)(PSF)的隨著點(diǎn)像的擴(kuò)展(模糊)而劣化的捕捉的圖像。

另一方面，已知如下的反銳化掩模處理：該反銳化掩模處理將反銳化掩模應(yīng)用于作為捕捉的圖像的輸入圖像以產(chǎn)生反銳化圖像，并且通過(guò)使用通過(guò)向輸入圖像相加反銳化圖像與輸入圖像之間的差異或從輸入圖像中減去該差異而得到的校正分量來(lái)銳化輸入圖像。這種反銳化掩模處理進(jìn)一步銳化了輸入圖像的與反銳化圖像的差異較大的圖像區(qū)域。

然而，使用旋轉(zhuǎn)對(duì)稱濾波器作為反銳化掩模的常規(guī)反銳化掩模處理使得難以銳化由于具有諸如不對(duì)稱像差和矢狀光環(huán)(sagittal halo)之類的復(fù)雜形狀的PSF而劣化的模糊圖像。就是說(shuō)，校正在方位方向上生成的大像差導(dǎo)致在生成小像差的另一方位方向上的下沖(undershoot)，并且減小下沖使得不可能充分校正大像差。

日本專利特開(kāi)No.2010-081263公開(kāi)了向布置在像高方向(即，在子午方位方向)上的像素信號(hào)行應(yīng)用一維不對(duì)稱濾波器以減小PSF的影響的方法。

此外，在天體物理學(xué)中，使用莫法特(Moffat)函數(shù)來(lái)擬合測(cè)光天文體。

Sebastian Berisha、James Nagy、Robert J.Plemmons的“Estimation of Atmospheric PSF Parameters for Hyperspectral Imaging”公開(kāi)了通過(guò)使用通過(guò)橢圓化莫法特函數(shù)產(chǎn)生的橢圓莫法特函數(shù)來(lái)對(duì)PSF建模的方法。使用這種函數(shù)來(lái)擬合光學(xué)系統(tǒng)的PSF使得能夠使用系數(shù)來(lái)近似PSF。

然而，日本專利特開(kāi)No.2010-081263中公開(kāi)的方法僅考慮像高方向上的不對(duì)稱性并且使用一維校正濾波器，這不能改善除像高方向之外的方向上的不對(duì)稱性。此外，該方法通過(guò)負(fù)抽頭系數(shù)的數(shù)量來(lái)調(diào)整校正濾波器的不對(duì)稱性，使得其在像高方向上的不對(duì)稱性不滿足由光學(xué)系統(tǒng)的PSF造成的模糊，這無(wú)法充分地銳化像素信號(hào)行。此外，在Sebastian Berisha、James Nagy、Robert J.Plemmons的“Estimation of Atmospheric PSF Parameters for Hyperspectral Imaging”中公開(kāi)的橢圓莫法特函數(shù)無(wú)法再現(xiàn)復(fù)雜形狀，諸如光學(xué)系統(tǒng)的不對(duì)稱像差和矢狀光環(huán)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了能夠充分地再現(xiàn)光學(xué)系統(tǒng)的復(fù)雜形狀的PSF并且減少再現(xiàn)所需的數(shù)據(jù)量的圖像處理裝置等。

作為本發(fā)明的一個(gè)方面，其提供了圖像處理裝置，其被配置為對(duì)通過(guò)光學(xué)系統(tǒng)進(jìn)行圖像捕捉而產(chǎn)生的輸入圖像執(zhí)行圖像處理。該裝置包括：第一分布生成器，被配置為通過(guò)使用用于近似點(diǎn)擴(kuò)展函數(shù)的數(shù)據(jù)來(lái)產(chǎn)生第一分布，該點(diǎn)擴(kuò)展函數(shù)對(duì)應(yīng)于與圖像捕捉有關(guān)的條件；第二分布生成器，被配置為通過(guò)鏡像第一分布的一部分來(lái)產(chǎn)生第二分布；濾波器生成器，被配置為通過(guò)使用第二分布來(lái)產(chǎn)生要被用于銳化處理的第一濾波器；以及處理器，被配置為通過(guò)使用第一濾波器對(duì)輸入圖像執(zhí)行銳化處理以產(chǎn)生銳化圖像。

作為本發(fā)明的另一方面，其提供了圖像捕捉裝置，該圖像捕捉裝置包括：圖像傳感器，被配置為執(zhí)行圖像捕捉以用于產(chǎn)生輸入圖像；以及以上的圖像處理裝置。

作為本發(fā)明的另一方面，其提供了圖像處理方法，用來(lái)對(duì)通過(guò)光學(xué)系統(tǒng)進(jìn)行圖像捕捉而產(chǎn)生的輸入圖像執(zhí)行圖像處理。該方法包括通過(guò)使用用于近似點(diǎn)擴(kuò)展函數(shù)的數(shù)據(jù)來(lái)產(chǎn)生第一分布的步驟，該點(diǎn)擴(kuò)展函數(shù)對(duì)應(yīng)于與圖像捕捉有關(guān)的條件，通過(guò)鏡像第一分布的一部分來(lái)產(chǎn)生第二分布的步驟，通過(guò)使用第二分布來(lái)產(chǎn)生要被用于銳化處理的第一濾波器的步驟，以及通過(guò)使用第一濾波器對(duì)輸入圖像執(zhí)行銳化處理以產(chǎn)生銳化圖像的步驟。

本發(fā)明的另外特征和方面根據(jù)參考附圖對(duì)示例性實(shí)施例的以下描述將變得清楚。

附圖說(shuō)明

圖1是例示出本發(fā)明的實(shí)施例1至實(shí)施例3中的圖像處理(銳化處理)的流程圖。

圖2是例示出每個(gè)實(shí)施例的圖像捕捉裝置的配置的框圖。

圖3A和圖3B例示出每個(gè)實(shí)施例中的通過(guò)反銳化掩模處理的銳化。

圖4A和圖4B示意性地例示出每個(gè)實(shí)施例中的圖像捕捉光學(xué)系統(tǒng)的PSF。

圖5A至圖5C示意性地例示出每個(gè)實(shí)施例中的使用旋轉(zhuǎn)對(duì)稱反銳化掩模的銳化。

圖6A至圖6C示意性地例示出每個(gè)實(shí)施例中的使用非旋轉(zhuǎn)對(duì)稱反銳化掩模的銳化。

圖7A和圖7B是每個(gè)實(shí)施例中的反銳化掩模的示意圖和截面圖。

圖8示意性地例示出拜耳布置。

圖9A至圖9F是每個(gè)實(shí)施例中的可由函數(shù)表達(dá)的分布的等值線圖。

圖10是例示出每個(gè)實(shí)施例中的系數(shù)計(jì)算處理的流程圖。

圖11例示出每個(gè)實(shí)施例中的近似PSF和設(shè)計(jì)值的關(guān)系。

圖12A至圖12F例示出每個(gè)實(shí)施例中的橢圓分布的鏡像處理。

圖13A和圖13B例示出每個(gè)實(shí)施例中的反銳化掩模的插值。

具體實(shí)施方式

下面將參考附圖描述本發(fā)明的示例性實(shí)施例。

首先，在描述具體實(shí)施例之前，將描述這些實(shí)施例共有的特征。圖3A和圖3B示意性地例示出每個(gè)實(shí)施例中的作為反銳化掩模處理的銳化處理。在這些圖中的每個(gè)中，橫軸指示坐標(biāo)，并且縱軸指示像素值或亮度值。在圖3A中，實(shí)線指示由通過(guò)圖像捕捉光學(xué)系統(tǒng)的圖像捕捉而產(chǎn)生的輸入圖像(捕捉的圖像)，斷線指示通過(guò)使用反銳化掩模使輸入圖像反銳化而產(chǎn)生的反銳化圖像，并且點(diǎn)線指示銳化之后的銳化圖像。在圖3B中，實(shí)線指示與輸入圖像和反銳化圖像之間的差異相對(duì)應(yīng)的校正分量。圖3A和圖3B例示出稍后描述的圖4A和圖4B中的x方向上的部分。

當(dāng)f(x，y)表示輸入圖像并且h(x，y)表示校正分量時(shí)，銳化圖像g(x，y)由以下表達(dá)式(1)表達(dá)。

g(x，y)＝f(x，y)+m×h(x，y) (1)

在表達(dá)式(1)中，m表示用于改變校正強(qiáng)度的調(diào)整系數(shù)。改變調(diào)整系數(shù)m的值使得能夠調(diào)整校正量。調(diào)整系數(shù)m可以是固定的而不管輸入圖像中的位置如何，或者可以根據(jù)輸入圖像中的位置被改變以使被表達(dá)為m(x，y)。根據(jù)輸入圖像中的位置而改變的調(diào)整系數(shù)m使得能夠根據(jù)位置來(lái)調(diào)整校正量。調(diào)整系數(shù)m可以根據(jù)在圖像捕捉時(shí)設(shè)置的圖像捕捉條件(諸如圖像捕捉光學(xué)系統(tǒng)的焦距和F數(shù)以及圖像捕捉距離(或物距))而改變。

校正分量h(x，y)由以下表達(dá)式(2)表達(dá)，其中USM(x，y)表示反銳化掩模。

h(x，y)＝f(x，y)-f(x，y)*USM(x，y) (2)

符號(hào)*表示卷積，并且USM(x，y)指示例如坐標(biāo)(x，y)處的抽頭值。

變換表達(dá)式(2)的右側(cè)給出以下表達(dá)式(3)。

h(x，y)＝f(x，y)*(δ(x，y)-USM(x，y)) (3)

在表達(dá)式(3)中，δ表示delta函數(shù)。delta函數(shù)被表達(dá)為其抽頭數(shù)等于USM(x，y)的抽頭數(shù)并且其中心抽頭值為1且其它抽頭值為0的濾波器；該濾波器(第二濾波器)是基于理想的點(diǎn)像而產(chǎn)生的。

變換表達(dá)式(2)使得能夠表達(dá)表達(dá)式(3)，以使得表達(dá)式(2)等價(jià)于表達(dá)式(3)。因此，在下文中將描述通過(guò)使用表達(dá)式(2)來(lái)產(chǎn)生校正分量。

表達(dá)式(2)取得輸入圖像f(x，y)與通過(guò)使用反銳化掩模對(duì)輸入圖像f(x，y)進(jìn)行反銳化而產(chǎn)生的反銳化圖像之間的差異，并基于該差異產(chǎn)生校正分量h(x，y)。典型的反銳化掩模處理使用諸如高斯濾波器、中值濾波器和移動(dòng)平均濾波器之類的平滑濾波器作為反銳化掩模。例如，對(duì)于由圖3A中的實(shí)線所示的輸入圖像f(x，y)使用高斯濾波器作為反銳化掩模提供了通過(guò)使輸入圖像f(x，y)反銳化而產(chǎn)生的反銳化圖像，如圖3A中的斷線所示。如由表達(dá)式(2)表達(dá)的，校正分量h(x，y)對(duì)應(yīng)于輸入圖像f(x，y)和反銳化圖像之間的差異，故從圖3A中的實(shí)線減去斷線提供由圖3B中的實(shí)線表達(dá)的分量。

使用如上所述計(jì)算的校正分量執(zhí)行表達(dá)式(1)的計(jì)算使得能夠銳化由圖3A中的實(shí)線所示的輸入圖像f(x，y)以產(chǎn)生由其中的點(diǎn)線所示的銳化圖像。

接下來(lái)，將描述通過(guò)反銳化掩模處理來(lái)銳化通過(guò)圖像捕捉光學(xué)系統(tǒng)而劣化的捕捉的圖像的情況。

通過(guò)圖像捕捉光學(xué)系統(tǒng)獲取的捕捉的圖像(輸入圖像)f(x，y)由以下表達(dá)式(4)表達(dá)，其中I(x，y)表示要被捕捉的原始圖像(物體)并且psf(x，y)表示點(diǎn)擴(kuò)展函數(shù)PSF，該點(diǎn)擴(kuò)展函數(shù)PSF是表達(dá)圖像捕捉光學(xué)系統(tǒng)對(duì)點(diǎn)光源的響應(yīng)的函數(shù)。

f(x，y)＝I(x，y)*psf(x，y) (4)

當(dāng)圖像捕捉光學(xué)系統(tǒng)是旋轉(zhuǎn)對(duì)稱同軸光學(xué)系統(tǒng)時(shí)，與捕捉的圖像的中心部分相對(duì)應(yīng)的PSF具有旋轉(zhuǎn)對(duì)稱形狀。因此，將旋轉(zhuǎn)對(duì)稱的反銳化掩模USM應(yīng)用于捕捉的圖像的中心部分使得能夠銳化捕捉的圖像f(x，y)，以提供接近原始圖像I(x，y)的銳化圖像。該處理提供與捕捉的圖像和由反銳化掩模反銳化的反銳化捕捉圖像之間的差異值相對(duì)應(yīng)的校正量。因此，為了精確地銳化(校正)捕捉的圖像，更希望使用其形狀更接近psf(x，y)的形狀的掩模而不是簡(jiǎn)單的平滑濾波器作為反銳化掩模。例如，在捕捉的圖像由于球面像差的影響而劣化的情況下，雖然球面像差旋轉(zhuǎn)對(duì)稱地影響捕捉的圖像，但是諸如高斯濾波器之類的平滑濾波器具有與對(duì)應(yīng)于球面像差的PFS的分布形狀不同的分布形狀。因此，即使在減少旋轉(zhuǎn)對(duì)稱模糊的這種影響時(shí)，使用圖像捕捉光學(xué)系統(tǒng)的PSF使得能夠更精確地校正捕捉的圖像。

每個(gè)實(shí)施例使用PSF來(lái)產(chǎn)生反銳化掩模USM(x，y)。雖然圖3A中所示的捕捉的圖像f(x，y)簡(jiǎn)單地具有對(duì)稱(旋轉(zhuǎn)對(duì)稱)形狀，但是捕捉的圖像可具有除這種對(duì)稱形狀之外的其它形狀。即使當(dāng)原始圖像I(x，y)具有不對(duì)稱(非旋轉(zhuǎn)對(duì)稱)形狀時(shí)，只要指示對(duì)應(yīng)于psf(x，y)并影響原始圖像I(x，y)的劣化的劣化函數(shù)是旋轉(zhuǎn)對(duì)稱的，則使用旋轉(zhuǎn)對(duì)稱的反銳化掩模就使得能夠銳化捕捉的圖像。

另一方面，即使當(dāng)圖像捕捉光學(xué)系統(tǒng)是旋轉(zhuǎn)對(duì)稱同軸光學(xué)系統(tǒng)時(shí)，PSF在捕捉的圖像的除了其中心部分之外的周邊部分中也具有非旋轉(zhuǎn)對(duì)稱形狀。圖4A和圖4B例示出圖像捕捉光學(xué)系統(tǒng)在x-y平面中的PSF的示例。x方向?qū)?yīng)于水平方向，并且y方向?qū)?yīng)于垂直方向。圖4A例示出軸上(中心)PSF，并且圖4B例示出離軸(外圍)PSF。例如，當(dāng)原始圖像(物體)是理想的點(diǎn)像時(shí)，如由表達(dá)式(4)表達(dá)的，捕捉的圖像f(x，y)對(duì)應(yīng)于圖像捕捉光學(xué)系統(tǒng)的PSF。當(dāng)理想的點(diǎn)像存在于對(duì)應(yīng)于圖4B的外圍視場(chǎng)角處，并且因此原始圖像由于圖像捕捉光學(xué)系統(tǒng)的PSF的影響而被劣化時(shí)，捕捉的圖像變成如圖4B中所示的不對(duì)稱模糊圖像。將描述通過(guò)反銳化掩模處理對(duì)這種不對(duì)稱模糊圖像執(zhí)行銳化的情況。

圖5A至圖5C和圖6A至圖6C例示出對(duì)不對(duì)稱劣化(模糊)捕捉的圖像執(zhí)行的反銳化掩模處理的示例。圖5A至圖5C例示出使用旋轉(zhuǎn)對(duì)稱反銳化掩模執(zhí)行處理的情況，并且圖6A至圖6C例示出使用旋轉(zhuǎn)不對(duì)稱反銳化掩模執(zhí)行處理的情況。如圖3A和圖3B中的那樣，這些圖中的橫軸和縱軸分別指示坐標(biāo)和像素值或亮度值。

在圖5A和圖6A中的每個(gè)中，實(shí)線指示圖4B中所示的y方向上的不對(duì)稱模糊捕捉的圖像的部分，并且點(diǎn)線指示由反銳化掩模反銳化的反銳化圖像的相同部分。在下文中將捕捉的圖像由于圖像捕捉光學(xué)系統(tǒng)的PSF而模糊并因此其底部擴(kuò)展的一側(cè)稱為y方向上的“正側(cè)”。在圖5A中，使用高斯濾波器作為旋轉(zhuǎn)對(duì)稱反銳化掩模。另一方面，在圖6A中，使用圖像捕捉光學(xué)系統(tǒng)的PSF作為旋轉(zhuǎn)不對(duì)稱反銳化掩模。

在圖5B和圖6B中的每個(gè)中，實(shí)線指示作為由反銳化掩模反銳化的反銳化圖像和捕捉的圖像之間的差異的校正分量。在圖5A中，反銳化圖像和捕捉的圖像之間的差異相對(duì)于實(shí)線的峰值位置在正側(cè)小，并且相對(duì)于實(shí)線的峰值位置在負(fù)側(cè)大。因此，圖5B中示出的校正分量相對(duì)于中心峰值位置在負(fù)側(cè)比在正側(cè)具有小的極值。

如從圖5A和圖5B之間的比較可以理解的，作為校正分量的量的校正量在正側(cè)小，并且在捕捉的圖像的底部擴(kuò)展的負(fù)側(cè)大。由于這個(gè)原因，利用這種校正分量根據(jù)表達(dá)式(4)執(zhí)行銳化無(wú)法充分地校正不對(duì)稱(非旋轉(zhuǎn)對(duì)稱)模糊。圖5C中的實(shí)線指示當(dāng)調(diào)整系數(shù)m為1時(shí)作為銳化的結(jié)果的銳化圖像。圖5C表明，雖然銳化圖像比圖5A中的實(shí)線(捕捉的圖像)更銳化，但是不對(duì)稱模糊不被校正，因?yàn)閳D5C中的實(shí)線在負(fù)側(cè)比在正側(cè)更顯著地凹陷。

將描述通過(guò)改變表達(dá)式(1)中的調(diào)整系數(shù)m而不改變反銳化掩模來(lái)調(diào)整校正量的情況。將調(diào)整系數(shù)m的值設(shè)置為大以充分地校正捕捉的圖像的正側(cè)部分造成捕捉的圖像的負(fù)側(cè)部分中的過(guò)度校正(下沖)。相反，設(shè)置調(diào)整系數(shù)m的值以使捕捉的圖像的負(fù)側(cè)部分的校正量適當(dāng)造成捕捉的圖像的正側(cè)部分中的校正不足。

如剛剛所描述的，通過(guò)使用旋轉(zhuǎn)對(duì)稱反銳化掩模對(duì)非旋轉(zhuǎn)對(duì)稱模糊圖像執(zhí)行反銳化掩模處理使得難以減小捕捉的圖像的不對(duì)稱性來(lái)銳化捕捉的圖像。當(dāng)使用除高斯濾波器以外的旋轉(zhuǎn)對(duì)稱濾波器作為旋轉(zhuǎn)對(duì)稱反銳化掩模時(shí)，也會(huì)造成這樣的問(wèn)題。

另一方面，在圖6A中，其正側(cè)部分更加反銳化的反銳化圖像和捕捉的圖像之間的差異值相對(duì)于實(shí)線的峰值位置在正側(cè)大，并且在負(fù)側(cè)小，這與圖5A中成相反的關(guān)系。因此，圖6B中示出的校正分量相對(duì)于其中心峰位置在正側(cè)比負(fù)側(cè)具有小的極值。將該校正分量應(yīng)用于由圖6A中的實(shí)線所示的捕捉的圖像使得相對(duì)于捕捉的圖像更模糊的峰值位置校正量在正側(cè)較，并且使得在捕捉的圖像較不模糊的負(fù)側(cè)校正量小。當(dāng)使用這種非旋轉(zhuǎn)對(duì)稱反銳化掩模時(shí)，捕捉的圖像(輸入圖像)在正側(cè)和負(fù)側(cè)的模糊水平之間的平衡與校正分量在正側(cè)和負(fù)側(cè)的校正量之間的平衡相一致。這種一致性減少了校正中的過(guò)度和不足，這是在使用旋轉(zhuǎn)對(duì)稱反銳化掩模的情況下的問(wèn)題。

圖6C例示出當(dāng)調(diào)整系數(shù)m為1時(shí)作為銳化的結(jié)果的銳化圖像。銳化圖像比圖6中的實(shí)線(捕捉的圖像)更銳化，并且在圖5C中明顯的，負(fù)側(cè)的凹陷形狀相對(duì)于正側(cè)的形狀被減少。另外，因?yàn)榕c使用旋轉(zhuǎn)對(duì)稱反銳化掩模的情況相比該銳化產(chǎn)生較少的過(guò)度校正，因此表達(dá)式(1)中的調(diào)整系數(shù)m的值可以被設(shè)置為相對(duì)大，這使得能夠進(jìn)一步銳化捕捉的圖像同時(shí)減少其不對(duì)稱性。此外，校正分量的校正量對(duì)應(yīng)于反銳化圖像和捕捉的圖像之間的差異。因此，為了以更高的精度執(zhí)行校正，需要使捕捉的圖像的由于圖像捕捉光學(xué)系統(tǒng)的PSF大大模糊的部分比其其它部分被反銳化掩模更加反銳化。因此，為了以更高的精度執(zhí)行校正，理想的是使用圖像捕捉光學(xué)系統(tǒng)的PSF作為反銳化掩模。

接下來(lái)，將描述用于產(chǎn)生反銳化掩模USM的系數(shù)。如上所述，每個(gè)實(shí)施例使用圖像捕捉光學(xué)系統(tǒng)的PSF作為反銳化掩模。圖像捕捉光學(xué)系統(tǒng)的PSF根據(jù)諸如像高、焦距、F數(shù)和圖像捕捉距離(即，離待被聚焦物體的距離)之類的圖像捕捉條件(在上面部分地提到)而變化。因此，當(dāng)執(zhí)行銳化時(shí)，需要產(chǎn)生適合于圖像捕捉條件的反銳化掩模?？梢圆捎靡韵路椒ǎ簽榱烁鶕?jù)取決于圖像捕捉條件而變化的PSF改變反銳化掩模，該方法計(jì)算所有互不相同的圖像捕捉條件的PSF并選擇PSF中的合適的一個(gè)作為反銳化掩模。然而，該方法在將反銳化掩模應(yīng)用于捕捉的圖像時(shí)降低了處理速度，并且需要大量的存儲(chǔ)量來(lái)保持(存儲(chǔ))關(guān)于所有計(jì)算出的PSF的數(shù)據(jù)，這是不期望的。

因此，每個(gè)實(shí)施例存儲(chǔ)關(guān)于用于近似圖像捕捉光學(xué)系統(tǒng)的PSF的系數(shù)的數(shù)據(jù)，并通過(guò)在反銳化掩模的產(chǎn)生中使用關(guān)于系數(shù)的數(shù)據(jù)來(lái)重構(gòu)(近似)PSF。該方法使得能夠在減少要保持的數(shù)據(jù)量的同時(shí)使銳化的效果最大化。每個(gè)實(shí)施例使用連續(xù)函數(shù)和關(guān)于其中包含的系數(shù)的數(shù)據(jù)作為通過(guò)近似PSF來(lái)產(chǎn)生反銳化掩模的方法。

首先，將描述用于近似圖像捕捉光學(xué)系統(tǒng)的PSF的連續(xù)函數(shù)。如上所述，在天體物理學(xué)中，由以下表達(dá)式(5)表達(dá)的被稱為莫法特函數(shù)的函數(shù)P(x，y)經(jīng)常被用來(lái)擬合測(cè)光天文體。

在表達(dá)式(5)中，α和β是系數(shù)。當(dāng)β＝1時(shí)，該函數(shù)被稱為洛倫茲函數(shù)。當(dāng)通過(guò)使用表達(dá)式(5)對(duì)PSF建模時(shí)，將表達(dá)式(5)的函數(shù)與測(cè)量或計(jì)算出的PSF的分布擬合使得能夠計(jì)算這些系數(shù)α和β。然后，使用計(jì)算出的系數(shù)α和β以及表達(dá)式(5)使得能夠?qū)SF建模。雖然使用表達(dá)式(5)使得能夠產(chǎn)生近似的PSF，但是表達(dá)式(5)的函數(shù)是僅能夠表達(dá)旋轉(zhuǎn)對(duì)稱分布的函數(shù)，故不可能使用表達(dá)式(5)產(chǎn)生非旋轉(zhuǎn)對(duì)稱分布。

提供了由以下表達(dá)式(6)(和表達(dá)式(6a))表達(dá)的函數(shù)，其通過(guò)變換表達(dá)式(5)而得到并且能夠表達(dá)非旋轉(zhuǎn)對(duì)稱橢圓形狀。該函數(shù)被稱為橢圓莫法特函數(shù)。

在表達(dá)式(6)中，α、β和γ是系數(shù)。表達(dá)式(6a)表達(dá)角度θ的旋轉(zhuǎn)矩陣。組合表達(dá)式(6)和(6a)提供以下表達(dá)式(7)。

P(x,y)＝(σ+ax²+2bxy+cy²)^-β (7)

在表達(dá)式(7)中，a、b、c、α和β是系數(shù)。為了在使用表達(dá)式(7)時(shí)保持橢圓形狀，系數(shù)a、b和c有必要滿足關(guān)系b²-ac<0。

使用該表達(dá)式(7)(或表達(dá)式(6))使得能夠再現(xiàn)無(wú)法由表達(dá)式(5)表達(dá)的橢圓形分布，這與使用表達(dá)式(5)時(shí)相比提高了校正的精度。然而，即使當(dāng)使用表達(dá)式(7)來(lái)擬合圖像捕捉光學(xué)系統(tǒng)的PSF時(shí)，也不可能再現(xiàn)諸如圖像捕捉光學(xué)系統(tǒng)的不對(duì)稱像差和矢狀光環(huán)之類的復(fù)雜形狀。

因此，每個(gè)實(shí)施例使用由以下表達(dá)式(8)((8a)、(8b)和(8c))表達(dá)的函數(shù)作為能夠再現(xiàn)諸如不對(duì)稱像差和矢狀光環(huán)之類的復(fù)雜形狀的函數(shù)。

當(dāng)x≥0并且y≥0時(shí)，

P(x,y)＝(σ+ax²+2bxy+cy²)^-β-e (8a)

當(dāng)x≥0并且y<0時(shí)，

P(x,y)＝(σ+ax²+2bdxy+cd²y²)^-β-e (8b)，并且

當(dāng)x<0時(shí)，

P(x,y)＝P(-x,y)。 (8c)

在表達(dá)式(8)中，a、b、c、d、e、σ和β是系數(shù)。如表達(dá)式(7)中一樣，表達(dá)式(8)中的系數(shù)a、b和c有必要滿足b²-ac<0的關(guān)系。

圖9A至圖9F例示出可由基于表達(dá)式(8)的函數(shù)表達(dá)的分布形狀的示例。圖9A例示出X-Y坐標(biāo)系中的旋轉(zhuǎn)對(duì)稱分布；分布形狀可由表達(dá)式(5)至(8)中的任何函數(shù)表達(dá)。當(dāng)圖像捕捉光學(xué)系統(tǒng)是同軸光學(xué)系統(tǒng)并且像點(diǎn)位于其光軸上時(shí)，PSF具有旋轉(zhuǎn)對(duì)稱形狀，故圖9A的分布形狀可由表達(dá)式(5)至(8)中的任何函數(shù)表達(dá)。

圖9B和圖9C例示出橢圓形分布(在下文中各自稱為“橢圓分布”)，其長(zhǎng)軸和短軸與X軸和Y軸重疊。這些橢圓分布不能由表達(dá)式(5)的函數(shù)表達(dá)，而可以以提高的精度由表達(dá)式(6)至(8)中的任何函數(shù)近似。

圖9D例示出橢圓分布，其長(zhǎng)軸和短軸不與X軸和Y軸重疊。該橢圓分布不能由表達(dá)式(5)和(6)的函數(shù)表達(dá)，而可以以足夠的精度由表達(dá)式(7)和(8)中的任何函數(shù)近似。

圖9E和9F例示出關(guān)于Y軸(即，在Y方向上)對(duì)稱和關(guān)于X軸(即，在X方向上)不對(duì)稱的分布形狀。圖9E的分布對(duì)應(yīng)于通過(guò)關(guān)于Y軸向-X側(cè)鏡像圖9D的橢圓分布的位于相對(duì)于Y軸的更+X側(cè)的+X側(cè)部分而得到的分布。圖9F的分布形狀對(duì)應(yīng)于通過(guò)關(guān)于Y軸鏡像其長(zhǎng)軸與Y軸重疊并且其短軸不與X軸重疊的橢圓分布的相對(duì)于X軸的上部并且通過(guò)向其相對(duì)于X軸的下部提供同心半圓形而得到的分布形狀。

表達(dá)式(5)至(7)的函數(shù)不能表達(dá)圖9E和圖9F中所示的線對(duì)稱分布形狀。另一方面，在每個(gè)實(shí)施例中使用的表達(dá)式(8)的函數(shù)可以以足夠精度近似圖9E和圖9F中所示的分布形狀。

如上所述，雖然在圖像捕捉光學(xué)系統(tǒng)的光軸上的像點(diǎn)處的PSF具有旋轉(zhuǎn)對(duì)稱分布形狀，但是在與光軸正交的平面(像面)中不位于光軸上的像點(diǎn)處的PSF不一定具有這種旋轉(zhuǎn)對(duì)稱分布形狀。然而，當(dāng)圖像捕捉光學(xué)系統(tǒng)是同軸光學(xué)系統(tǒng)時(shí)，即使不位于光軸上的像點(diǎn)處的PSF在與如下方向(子午方向)正交的方向上(矢狀方向)也具有旋轉(zhuǎn)對(duì)稱分布形狀：在該方向中連接該像點(diǎn)和光軸的直線在像面中延伸。如剛才所述，雖然圖像捕捉光學(xué)系統(tǒng)的PSF不一定具有旋轉(zhuǎn)對(duì)稱分布形狀，但是其在矢狀方向上具有對(duì)稱分布形狀。因此，使表達(dá)式(8)中的x方向(即，圖9E和圖9F中的X方向)與矢狀方向匹配并使y方向(即，圖9E和圖9F中的Y方向)與子午方向匹配使得能夠校正復(fù)雜的不對(duì)稱像差。

接下來(lái)，將詳細(xì)描述表達(dá)式(8)中的系數(shù)。在表達(dá)式(8)中的系數(shù)中，a、b和c是用于產(chǎn)生如圖9D所示的其長(zhǎng)軸和短軸不與X軸和Y軸重疊的橢圓分布的系數(shù)?？刂七@些系數(shù)a、b和c使得能夠控制橢圓分布在X和Y方向上的不對(duì)稱性。另外，如在圖9E和9F中示出的，控制系數(shù)a、b和c使得能夠表達(dá)難以由其它函數(shù)表達(dá)的像差，諸如其中其長(zhǎng)軸和短軸中的至少一個(gè)不與X軸和Y軸重疊的橢圓分布僅關(guān)于Y軸對(duì)稱的矢狀光環(huán)。

系數(shù)d是用于使橢圓分布在Y方向(特定方向)上不對(duì)稱的系數(shù)。控制該系數(shù)d使得能夠校正在子午方向上具有不對(duì)稱形狀的像差。例如，控制系數(shù)d使得能夠以提高的精度近似彗形像差。

系數(shù)e、σ和β是用于控制橢圓分布的擴(kuò)展的系數(shù)。當(dāng)近似的橢圓分布形狀的擴(kuò)展大時(shí)增大系數(shù)σ并當(dāng)近似的橢圓分布形狀在其峰值附近顯著改變時(shí)增大系數(shù)β使得能夠提高近似精度。系數(shù)e是用于限制橢圓分布的擴(kuò)展的系數(shù)。當(dāng)系數(shù)e為0時(shí)，根據(jù)表達(dá)式(8)，橢圓分布在外圍部分逐漸接近P(x，y)＝0。

因此，當(dāng)橢圓分布的擴(kuò)展小時(shí)，使系數(shù)e大于0(e>0)使得能夠提高近似精度。

為了近似圖像捕捉光學(xué)系統(tǒng)的PSF，橢圓分布有必要滿足P(x，y)≥0。因此，當(dāng)e>0時(shí)，在外圍部分中P(x，y)<0。然而，在這種情況下，P(x，y)可被限幅在0處(即，P(x，y)＝0)。

接下來(lái)，將描述實(shí)施例1至實(shí)施例3中的反銳化掩模處理的基本表達(dá)式。在第三實(shí)施例(實(shí)施例3)中，使用從表達(dá)式(1)和(2)得出的以下表達(dá)式(11)來(lái)執(zhí)行銳化。

g(x，y)＝f(x，y)+m×[f(x，y)-f(x，y)*USM(x，y)](11)

在第二實(shí)施例(實(shí)施例2)中，使用從表達(dá)式(1)和(3)得出的以下表達(dá)式(12)來(lái)執(zhí)行銳化。

g(x，y)＝f(x，y)+m×f(x，y)*[δ(x，y)-USM(x，y)](12)

在第一實(shí)施例(實(shí)施例1)中，使用通過(guò)進(jìn)一步變換表達(dá)式(12)而得到的以下表達(dá)式(13)來(lái)執(zhí)行銳化。

g(x，y)＝f(x，y)*[δ(x，y)+m×(δ(x，y)-USM(x，y))](13)

如上所述，PSF根據(jù)諸如(由圖像捕捉光學(xué)系統(tǒng)形成的物體圖像的)像高、圖像捕捉光學(xué)系統(tǒng)的焦距和F數(shù)以及圖像捕捉距離之類的圖像捕捉條件而變化。雖然下面描述的每個(gè)實(shí)施例作為示例考慮像高作為圖像捕捉條件，但是備選實(shí)施例可以獲得根據(jù)焦距、F數(shù)和圖像捕捉距離而變化的像差信息，并且基于其產(chǎn)生反銳化掩模。

[實(shí)施例1]

圖2例示出作為實(shí)施例1的圖像捕捉裝置100的配置。圖像捕捉裝置100設(shè)置有其中安裝了圖像處理程序的存儲(chǔ)器120。圖像處理程序是使圖像處理器(圖像處理裝置)104對(duì)作為輸入圖像的捕捉的圖像執(zhí)行銳化處理(反銳化掩模處理)的計(jì)算機(jī)程序。圖像處理器104可包括其中安裝了圖像處理程序的存儲(chǔ)器，或者可包括被設(shè)計(jì)為操作以執(zhí)行銳化處理的電路。

存儲(chǔ)器120由ROM、硬盤(pán)等構(gòu)成。存儲(chǔ)器120還可以用作稍后描述的記錄器108。

圖像捕捉裝置100包括圖像捕捉光學(xué)系統(tǒng)101和照相機(jī)主體(未示出)。圖像捕捉光學(xué)系統(tǒng)101包括孔徑光闌101a和聚焦透鏡101b。圖像捕捉光學(xué)系統(tǒng)101與照相機(jī)主體一體地提供或可拆卸地可附連到照相機(jī)主體。

圖像傳感器102由諸如CCD(電荷耦合器件)傳感器或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器之類的二維光電轉(zhuǎn)換元件構(gòu)成。圖像傳感器102捕捉(光電轉(zhuǎn)換)由圖像捕捉光學(xué)系統(tǒng)101形成的物體圖像(成像光)以輸出模擬圖像捕捉信號(hào)。模擬圖像捕捉信號(hào)被A/D轉(zhuǎn)換器103轉(zhuǎn)換為數(shù)字圖像捕捉信號(hào)，并且數(shù)字圖像捕捉信號(hào)被輸入到圖像處理器104。

圖像處理器104對(duì)數(shù)字圖像捕捉信號(hào)執(zhí)行預(yù)定處理以產(chǎn)生捕捉的圖像并對(duì)捕捉的圖像執(zhí)行銳化處理。雖然在本實(shí)施例中，內(nèi)建在圖像捕捉裝置100中的圖像處理器104執(zhí)行銳化處理，但是與圖像捕捉裝置分離的諸如個(gè)人計(jì)算機(jī)(PC)之類的圖像處理裝置可執(zhí)行銳化處理。

圖像處理器104從狀態(tài)檢測(cè)器107獲取關(guān)于圖像捕捉條件的信息。如上所述，圖像捕捉條件包括圖像捕捉光學(xué)系統(tǒng)101的焦距和F數(shù)以及圖像捕捉距離(或物距)。狀態(tài)檢測(cè)器107從系統(tǒng)控制器106直接獲取關(guān)于圖像捕捉條件的信息，并且可從光學(xué)系統(tǒng)控制器105獲取關(guān)于與圖像捕捉光學(xué)系統(tǒng)101有關(guān)的圖像捕捉條件的信息。

圖像處理器104包括橢圓分布生成器(作為第一分布生成器)201、鏡像處理器(作為第二分布生成器)202和銳化處理器(作為濾波器生成器和處理器)203。稍后將描述由圖像處理器104執(zhí)行的處理。作為由通過(guò)圖像處理器104執(zhí)行的銳化處理產(chǎn)生的輸出圖像的銳化圖像以預(yù)定格式存儲(chǔ)在記錄器108中。

除了上述圖像處理程序之外，存儲(chǔ)器120還存儲(chǔ)(保持)指示圖像捕捉光學(xué)系統(tǒng)101的圖像捕捉條件與圖像捕捉光學(xué)系統(tǒng)101的PSF之間的關(guān)系的信息。通過(guò)系數(shù)計(jì)算器(稍后描述)預(yù)先計(jì)算表達(dá)式(8)中的用于在銳化處理中擬合(近似)PSF的系數(shù)a、b、c、d、e、σ和β。這些系數(shù)的數(shù)據(jù)(該數(shù)據(jù)在下文中稱為“系數(shù)數(shù)據(jù)”)由存儲(chǔ)器120保持。

圖像顯示器112被配置為顯示捕捉的圖像和銳化圖像。

上述操作和處理由系統(tǒng)控制器106控制。系統(tǒng)控制器106由包括CPU、存儲(chǔ)器等的微型計(jì)算機(jī)構(gòu)成。光學(xué)系統(tǒng)控制器105響應(yīng)于來(lái)自系統(tǒng)控制器106的指令而控制圖像捕捉光學(xué)系統(tǒng)101的機(jī)械驅(qū)動(dòng)。

圖像捕捉光學(xué)系統(tǒng)101可包括諸如低通濾波器和紅外截止(infrared-cutting)濾波器之類的光學(xué)元件。當(dāng)使用諸如影響PSF的低通濾波器之類的光學(xué)元件時(shí)，在產(chǎn)生反銳化掩模時(shí)考慮到該光學(xué)元件的影響使得能夠以更高的精度執(zhí)行銳化處理。使用紅外截止濾波器影響RGB通道(RGB顏色分量)的PSF，特別是R通道的PSF，故希望在產(chǎn)生反銳化掩模時(shí)考慮該影響。

接下來(lái)，將參考圖10的流程圖描述由系數(shù)計(jì)算器執(zhí)行的系數(shù)計(jì)算處理。在圖10中，符號(hào)S指示步驟。這也適用于稍后描述的另一流程圖。系數(shù)計(jì)算器通過(guò)使用圖像捕捉光學(xué)系統(tǒng)101的設(shè)計(jì)值來(lái)計(jì)算用于產(chǎn)生反銳化掩模的系數(shù)。

首先在步驟S1處，系數(shù)計(jì)算器獲取計(jì)算系數(shù)所必要的信息。具體而言，系數(shù)計(jì)算器獲取為之計(jì)算系數(shù)的用于產(chǎn)生捕捉的圖像的圖像捕捉時(shí)的圖像捕捉條件，并獲取近似PSF時(shí)的目標(biāo)值。

接下來(lái)在步驟S2處，系數(shù)計(jì)算器根據(jù)與在步驟S1獲取的圖像捕捉條件相對(duì)應(yīng)的圖像捕捉光學(xué)系統(tǒng)101的設(shè)計(jì)值的數(shù)據(jù)來(lái)計(jì)算圖像捕捉光學(xué)系統(tǒng)101的PSF(在下文中稱為“設(shè)計(jì)PSF”)。圖11例示出在步驟S2處計(jì)算的設(shè)計(jì)PSF的部分和稍后描述的在步驟S4處產(chǎn)生的近似PSF的部分。如圖11中所示，在步驟S2處計(jì)算的設(shè)計(jì)PSF以N的分割數(shù)(抽頭數(shù))和間隔Do被離散化。如從圖11清楚的是，設(shè)計(jì)PSF的大小(核大小)由間隔Do和抽頭數(shù)N的乘積表達(dá)。就是說(shuō)，在離散化的設(shè)計(jì)PSF中，已知間隔Do、抽頭數(shù)和核大小中的兩個(gè)唯一地提供剩余的一個(gè)。例如，當(dāng)間隔Do為2.0μm并且抽頭數(shù)為11時(shí)，核大小Dox(N-1)為20μm。DoxN可以被稱為核大小。在這種情況下，核大小DoxN為22μm。間隔Do變成擬合時(shí)的間距，故希望間隔Do小于現(xiàn)有圖像傳感器的像素間距。在擬合時(shí)使用這種更小像素間距的擬合可用于具有各種像素間距的圖像傳感器。

雖然本實(shí)施例在擬合時(shí)使用圖像捕捉光學(xué)系統(tǒng)101的設(shè)計(jì)值的數(shù)據(jù)，但是可以使用圖像捕捉光學(xué)系統(tǒng)的通過(guò)使用圖表等的捕捉的圖像進(jìn)行估計(jì)而得到的估計(jì)PSF的數(shù)據(jù)。

接下來(lái)在步驟S3處，系數(shù)計(jì)算器設(shè)置用于近似PSF的系數(shù)a、b、c、d、e、σ和β的初始值。因?yàn)橄禂?shù)在后續(xù)處理被更新，因此系數(shù)計(jì)算器在步驟S3將假設(shè)值設(shè)置為初始值。

接下來(lái)在步驟S4處，系數(shù)計(jì)算器將所設(shè)置的系數(shù)代入表達(dá)式(8)，即，近似PSF以產(chǎn)生近似PSF。該系數(shù)計(jì)算處理通過(guò)擬合設(shè)計(jì)值來(lái)得出最佳系數(shù)，并因此使近似PSF離散化。離散化時(shí)的分割數(shù)和間隔與在步驟S2處計(jì)算的設(shè)計(jì)PSF的分割數(shù)和間隔相同。

接下來(lái)在步驟S5處，系數(shù)計(jì)算器評(píng)估在步驟S2處計(jì)算的設(shè)計(jì)PSF與在步驟S4產(chǎn)生的近似PSF之間的差異。在對(duì)設(shè)計(jì)PSF和近似PSF之間的差異的估計(jì)中，系數(shù)計(jì)算器計(jì)算設(shè)計(jì)PSF和近似PSF之間的差異的均方根值，以使用計(jì)算結(jié)果作為評(píng)估值E。較小的評(píng)估值E意味著近似PSF更接近設(shè)計(jì)PSF。

接下來(lái)在步驟S6處，系數(shù)計(jì)算器使用在步驟S5處計(jì)算的評(píng)估值E和在步驟S1處獲取的目標(biāo)值來(lái)執(zhí)行判定。評(píng)估值E不僅可包括關(guān)于設(shè)計(jì)PSF和近似PSF之間的差異的信息，而且還可包括關(guān)于近似PSF中的系數(shù)的信息。本實(shí)施例使用表達(dá)式(8)作為用于近似PSF的函數(shù)(模型)，故如上所述，系數(shù)a、b和c有必要滿足關(guān)系b²-ac<0。因此，當(dāng)系數(shù)a、b和c不滿足該條件時(shí)，即具有b²-ac≥0的關(guān)系，未得到期望的結(jié)果。在這種情況下，計(jì)算估計(jì)值E以使得估計(jì)值E隨著b²-ac的正值的增大而增大使得能夠高效地執(zhí)行擬合。另外，當(dāng)每個(gè)系數(shù)具有可以設(shè)置該系數(shù)的極限范圍時(shí)，如上改變?cè)u(píng)估值E可以提高擬合的效率和精度。

在該步驟處，系數(shù)計(jì)算器將如此計(jì)算的評(píng)估值E與預(yù)設(shè)的目標(biāo)值進(jìn)行比較。當(dāng)評(píng)估值E等于或小于目標(biāo)值時(shí)，系數(shù)計(jì)算器結(jié)束擬合，即，產(chǎn)生近似PSF，以輸出已用其產(chǎn)生近似PSF的系數(shù)的數(shù)據(jù)。當(dāng)評(píng)估值E大于目標(biāo)值時(shí)，由于擬合不充分，因此系數(shù)計(jì)算器繼續(xù)進(jìn)行到步驟S7。

在步驟S7處，系數(shù)計(jì)算器改變(更新)系數(shù)中的一個(gè)或多個(gè)。在改變一個(gè)或多個(gè)系數(shù)之后，系數(shù)計(jì)算器返回到步驟S4以再次計(jì)算近似PSF，并且然后在步驟S5處計(jì)算評(píng)估值E。然后，在步驟S6處，系數(shù)計(jì)算器重復(fù)從步驟S4到步驟S7的處理，直到評(píng)估值E變得等于或小于目標(biāo)值為止。

當(dāng)在系數(shù)更新之后的評(píng)估值E未變得小于更新之前的評(píng)估值E時(shí)，系數(shù)計(jì)算器可使用更新之前的評(píng)估值E來(lái)再次執(zhí)行從步驟S4起的處理，或者可返回到步驟S3以便從局部解中移出(move out)并再次設(shè)置初始值。

上述系數(shù)計(jì)算處理使得能夠在存儲(chǔ)器120中保持預(yù)先針對(duì)各種圖像捕捉光學(xué)系統(tǒng)101(當(dāng)它們可互換時(shí))和各種圖像捕捉條件計(jì)算的近似PSF的系數(shù)的數(shù)據(jù)。預(yù)先計(jì)算并保持近似PSF的系數(shù)使得能夠僅通過(guò)在銳化處理中獲取所計(jì)算的系數(shù)的數(shù)據(jù)來(lái)重構(gòu)(再現(xiàn))適合于圖像捕捉光學(xué)系統(tǒng)101和圖像捕捉時(shí)的圖像捕捉條件的近似PSF。

接下來(lái)，參照?qǐng)D1的流程圖，將描述由圖像處理器104執(zhí)行的銳化處理。該流程圖中所示的銳化處理包括預(yù)處理(步驟S11至步驟S13)和主處理(步驟S14至步驟S16)；在主處理中執(zhí)行作為反銳化掩模處理的實(shí)際銳化處理。

首先在步驟S11處，圖像處理器104獲取捕捉的圖像作為輸入圖像。輸入圖像例如是去馬賽克之后的G通道圖像數(shù)據(jù)。替代地，可以使用R通道圖像數(shù)據(jù)、B通道圖像數(shù)據(jù)、全RGB通道圖像數(shù)據(jù)或去馬賽克之前的圖像數(shù)據(jù)作為輸入數(shù)據(jù)。

圖8例示出全RGB通道圖像數(shù)據(jù)。在所示的圖像數(shù)據(jù)中，R、G1、G2和B通道的數(shù)據(jù)以拜耳布置進(jìn)行布置。

例如，從所示圖像數(shù)據(jù)中簡(jiǎn)單地提取G1通道數(shù)據(jù)或G2通道數(shù)據(jù)使得能夠產(chǎn)生G通道圖像數(shù)據(jù)。G通道被分成兩個(gè)通道，即，分成G1通道和G2通道，使得提取R、G1、G2和B通道數(shù)據(jù)中的任一個(gè)通道數(shù)據(jù)的圖像數(shù)據(jù)使得能夠獲取具有相同分辨率的圖像數(shù)據(jù)，這促進(jìn)在其上執(zhí)行的處理和數(shù)據(jù)變換。

接下來(lái)在步驟S12處，圖像處理器104獲取用于銳化處理(主處理)的信息。具體而言，獲取的信息包括用于指定圖像捕捉光學(xué)系統(tǒng)101的ID號(hào)(透鏡ID)、圖像捕捉條件(焦距、F數(shù)、圖像捕捉距離等的組合)、圖像傳感器102的像素間距以及反銳化掩模的抽頭數(shù)。所獲取的透鏡ID和圖像捕捉條件被用于獲取系數(shù)數(shù)據(jù)，并且像素間距和反銳化掩模的抽頭數(shù)被用于使近似PSF離散化以產(chǎn)生反銳化掩模。

將參考圖7A和圖7B來(lái)描述反銳化掩模USM。根據(jù)圖像捕捉光學(xué)系統(tǒng)101的像差特性和所需的銳化精度來(lái)設(shè)置反銳化掩模USM的抽頭數(shù)。圖7A例示出具有11×11的抽頭的二維反銳化掩模USM。在圖7A中，省略了抽頭的值(抽頭值)。圖7B例示出該反銳化掩模USM的部分。在圖7B中，橫軸指示抽頭，并且縱軸指示抽頭值。反銳化掩模USM理想地具有與由于像差而擴(kuò)展的信號(hào)值(即，圖像捕捉光學(xué)系統(tǒng)101的PSF)的分布相對(duì)應(yīng)的抽頭值分布。

接下來(lái)在步驟S13處，圖像處理器104獲取與在步驟S12處獲取的透鏡ID和圖像捕捉條件相對(duì)應(yīng)的用于重構(gòu)圖像捕捉光學(xué)系統(tǒng)101的PSF的表達(dá)式(8)的函數(shù)的系數(shù)a、b、c、d、e、σ和β。為了產(chǎn)生對(duì)應(yīng)于某一像點(diǎn)的近似PSF，不一定需要獲取所有這些系數(shù)的數(shù)據(jù)。例如，如上所述，光軸上的PSF具有旋轉(zhuǎn)對(duì)稱形狀，故a＝c、b＝0并且d＝1。此外，系數(shù)β是冪項(xiàng)，并因此改變系數(shù)β增加處理負(fù)荷，故系數(shù)β可被固定為1。如上所述，與系數(shù)β可改變的情況相比，使系數(shù)β固定減小了可表達(dá)的形狀，但是使得可以減少要保持在存儲(chǔ)器120中的系數(shù)數(shù)據(jù)量并減少處理負(fù)荷。

另外，為了提高近似精度，可添加其它系數(shù)。例如，其分布擴(kuò)展小且其峰值高的PSF難以通過(guò)連續(xù)函數(shù)精確擬合，故可將峰值或峰值附近的值直接設(shè)置為系數(shù)。直接設(shè)置分布急劇變化的峰值區(qū)域作為系數(shù)使得能夠把要通過(guò)使用函數(shù)再現(xiàn)的區(qū)域限制到除峰值區(qū)域之外的其它區(qū)域，這提高了近似精度。另外，在步驟S13處，系數(shù)計(jì)算器不但可獲取系數(shù)數(shù)據(jù)，而且還可獲取在銳化處理時(shí)使用的調(diào)整系數(shù)m。

該實(shí)施例因此獲取系數(shù)數(shù)據(jù)，使用系數(shù)數(shù)據(jù)產(chǎn)生近似PSF，并產(chǎn)生對(duì)應(yīng)于近似PSF的反銳化掩模USM。因此，與直接保持圖像捕捉光學(xué)系統(tǒng)101的PSF的數(shù)據(jù)的情況相比，本實(shí)施例使得能夠在保持校正精度的同時(shí)顯著減少要被保持的數(shù)據(jù)量。例如，當(dāng)反銳化掩模USM如圖7A和圖7B所示具有11×11的抽頭時(shí)，有必要保持121個(gè)抽頭的數(shù)據(jù)。此外，當(dāng)分別保持R、G和B通道數(shù)據(jù)時(shí)，有必要保持三倍于121的363個(gè)抽頭的數(shù)據(jù)。另一方面，當(dāng)保持系數(shù)的數(shù)據(jù)時(shí)，因?yàn)楸磉_(dá)式(8)中的系數(shù)的數(shù)目是七，所以即使當(dāng)分別保持R、G和B通道數(shù)據(jù)時(shí)，也僅需要保持21個(gè)系數(shù)的數(shù)據(jù)。因此，本實(shí)施例保持系數(shù)的數(shù)據(jù)以使得能夠減少要被保持的數(shù)據(jù)量。

接下來(lái)，在步驟S14處，圖像處理器104(橢圓分布生成器201)通過(guò)使用表達(dá)式(8)的函數(shù)和在步驟S13獲取的系數(shù)數(shù)據(jù)來(lái)產(chǎn)生橢圓分布作為第一分布，其是非旋轉(zhuǎn)對(duì)稱分布。

圖12A例示出由橢圓分布生成器201產(chǎn)生的橢圓分布。在圖12A中，點(diǎn)C是通過(guò)使用表達(dá)式(8)的函數(shù)產(chǎn)生的橢圓分布的中心。中心C位于處理目標(biāo)像素上。當(dāng)在作為處理目標(biāo)像素的某一像點(diǎn)上重構(gòu)近似PSF時(shí)，本實(shí)施例產(chǎn)生橢圓分布，使得相對(duì)于圖像捕捉光學(xué)系統(tǒng)101，X軸對(duì)應(yīng)于矢狀方向并且Y軸對(duì)應(yīng)于子午方向。Y軸對(duì)應(yīng)于連接輸入圖像的中心和輸入圖像中的處理目標(biāo)像素的直線。

僅需要使用表達(dá)式(6a)的旋轉(zhuǎn)矩陣以便使X軸和Y軸分別與矢狀方向和子午方向一致。對(duì)在步驟S14處產(chǎn)生的橢圓分布執(zhí)行旋轉(zhuǎn)處理或?qū)υ谙乱徊襟ES15處重構(gòu)的近似PSF執(zhí)行旋轉(zhuǎn)處理使得能夠產(chǎn)生具有適合于任意像點(diǎn)的形狀的橢圓分布。

當(dāng)使用表達(dá)式(8)的函數(shù)時(shí)，系數(shù)d提供在Y≥0和Y<0的區(qū)域中具有互不相同形狀的橢圓分布。如上所述，控制該系數(shù)d使得能夠校正在子午方向上具有不對(duì)稱形狀的像差。雖然圖12A例示出包括x<0的區(qū)域的分布的橢圓分布，因?yàn)閤<0的區(qū)域的分布是在下一步驟S15處根據(jù)x≥0的區(qū)域的分布產(chǎn)生的，因此橢圓分布生成器201可僅產(chǎn)生x≥0的區(qū)域中的橢圓分布。

接下來(lái)，在步驟S15，圖像處理器104(鏡像處理器202)關(guān)于Y軸鏡像(即，對(duì)稱化)在步驟S14處產(chǎn)生的橢圓分布以產(chǎn)生第二分布。圖12D例示出通過(guò)在作為X方向的矢狀方向上關(guān)于Y軸(即，包括Y軸的平面)鏡像作為圖12A中所示的橢圓分布的一部分的x≥0的區(qū)域的分布而產(chǎn)生的分布。通過(guò)鏡像產(chǎn)生的x<0的區(qū)域的分布對(duì)應(yīng)于表達(dá)式(8c)。雖然表達(dá)式(8)的函數(shù)如圖12A所示是表達(dá)中心位于X軸和Y軸的交點(diǎn)處的橢圓分布的函數(shù)，但是不一定需要橢圓分布的中心位于X軸和Y軸的交點(diǎn)處。圖12B例示出在橢圓分布的中心不位于X軸和Y軸的交點(diǎn)處的情況下的橢圓分布。平移(translating)圖12A中所示的橢圓分布產(chǎn)生這種橢圓分布。圖12E例示出通過(guò)在矢狀方向上關(guān)于Y軸鏡像作為圖12B所示的橢圓分布的一部分的x≥0的區(qū)域的分布而產(chǎn)生的分布。

圖12C還例示出其中心不位于X軸和Y軸的交點(diǎn)處的橢圓分布，以及圖12B中所示的橢圓分布。然而，在矢狀方向上關(guān)于Y軸鏡像這樣的橢圓分布產(chǎn)生如圖12F所示分成兩個(gè)的分布。這種分成兩個(gè)的分布不太可能正確地近似圖像捕捉光學(xué)系統(tǒng)的PSF。因此，使用該分布執(zhí)行銳化處理很可能不提供令人滿意的銳化圖像。

因此，當(dāng)使用其中心不位于X軸和Y軸的交點(diǎn)處的橢圓分布時(shí)，本實(shí)施例產(chǎn)生如下分布：其中至少兩個(gè)分布彼此部分重疊，如圖12E所示。換言之，本實(shí)施例產(chǎn)生如第一分布的橢圓分布以使得該橢圓分布與連接輸入圖像的中心和處理目標(biāo)像素的直線(Y軸)重疊，并且通過(guò)關(guān)于包括該直線的平面鏡像橢圓分布的一部分(即，x≥0的區(qū)域的分布)而產(chǎn)生第二分布。

兩個(gè)橢圓分布的重疊可以例如通過(guò)評(píng)估鏡像之后的Y軸上的值來(lái)確定。

圖像處理器104(銳化處理器203)使用如上所述的由鏡像處理器202鏡像橢圓分布的一部分而產(chǎn)生的分布作為近似分布，以產(chǎn)生作為與近似PSF相對(duì)應(yīng)的第一濾波器的反銳化掩模USM。

使用在步驟S12處獲取的抽頭數(shù)作為所產(chǎn)生的反銳化掩模的抽頭數(shù)。

接下來(lái)在步驟S16處，銳化處理器203通過(guò)使用在步驟S15處產(chǎn)生的反銳化掩模USM根據(jù)表達(dá)式(13)對(duì)輸入圖像執(zhí)行銳化處理。通過(guò)考慮圖像噪聲以及校正過(guò)量和校正不足來(lái)設(shè)置調(diào)整系數(shù)m。在下面的描述中，作為表達(dá)式(13)的一部分的[δ(x，y)+m×(δ(x，y)-USM(x，y))]在下文中被稱為“銳化濾波器”。使用反銳化掩模USM來(lái)產(chǎn)生銳化濾波器。因?yàn)橛糜诋a(chǎn)生反銳化掩模USM的PSF隨著像高而改變，因此為了提高校正精度，希望隨著像高而改變反銳化掩模。

表達(dá)式(13)可以被如下變換。

g(x，y)＝f(x，y)*[(1+m)×δ(x，y)-m×USM(x，y)] (14)

如上所述，δ(x，y)僅在其中心抽頭處起作用，故除銳化濾波器的中心抽頭之外的抽頭由m×USM(x，y)設(shè)置。

另外，因?yàn)殇J化濾波器在校正之前和之后保持亮度，因此有必要將銳化濾波器的抽頭值的總和設(shè)置為1。因此，當(dāng)m×USM(x，y)被設(shè)置時(shí)，銳化濾波器的中心抽頭的抽頭值被自動(dòng)設(shè)置。如剛剛描述的，可以通過(guò)將δ(x，y)視為不僅是一個(gè)濾波器而且是被分成中心抽頭和除中心抽頭之外的其它抽頭的濾波器來(lái)產(chǎn)生銳化濾波器。通過(guò)使用表達(dá)式(13)產(chǎn)生的銳化濾波器和通過(guò)使用表達(dá)式(14)產(chǎn)生的銳化濾波器表示相互等價(jià)的處理。

圖13A例示出產(chǎn)生反銳化掩模的位置與輸入圖像之間的關(guān)系。白色圓圈指示輸入圖像中產(chǎn)生反銳化掩模的位置。在圖13A中，針對(duì)輸入圖像中的離散化的81個(gè)位置中的每個(gè)位置產(chǎn)生反銳化掩模。對(duì)這些反銳化掩模執(zhí)行線性插值等使得能夠針對(duì)輸入圖像中的任何位置產(chǎn)生反銳化掩模，這使得能夠向任何像高位置應(yīng)用適當(dāng)?shù)姆翠J化掩模。

雖然圖13A例示出產(chǎn)生反銳化掩模的81(＝9×9)個(gè)位置，但是可以減少位置的數(shù)目以減少處理負(fù)荷，并且可增加其數(shù)目以便增強(qiáng)校正精度。

另外，雖然可在圖13A中的白色圓圈的各個(gè)位置處直接重構(gòu)PSF以產(chǎn)生反銳化掩模，但是也可以通過(guò)插值產(chǎn)生這些反銳化掩模。圖13B例示出通過(guò)插值為各個(gè)位置產(chǎn)生反銳化掩模的情況的示例。圖13B中的黑點(diǎn)例示出在步驟S14處產(chǎn)生的反銳化掩模的位置。圖像捕捉光學(xué)系統(tǒng)的PSF通常關(guān)于光軸旋轉(zhuǎn)對(duì)稱，故反銳化掩模也是旋轉(zhuǎn)對(duì)稱的。圖13B的示例使用以上特性為從輸入圖像的中心向下的方向上的十個(gè)點(diǎn)產(chǎn)生反銳化掩模并且關(guān)于輸入圖像的中心旋轉(zhuǎn)這些反銳化掩模，以通過(guò)插值產(chǎn)生白色圓圈的各個(gè)位置。該處理消除了為輸入圖像中的所有位置產(chǎn)生反銳化掩模的必要性，這減少了處理負(fù)荷。

該實(shí)施例通過(guò)在步驟S15處鏡像橢圓分布而產(chǎn)生的近似PSF來(lái)產(chǎn)生反銳化掩模，使得當(dāng)執(zhí)行對(duì)反銳化掩模的插值時(shí)僅需要為與圖13B中的黑點(diǎn)相對(duì)應(yīng)的位置產(chǎn)生近似PSF。

另外，當(dāng)根據(jù)像高改變調(diào)整系數(shù)m時(shí)，執(zhí)行對(duì)調(diào)整系數(shù)m以及反銳化掩模的插值使得能夠產(chǎn)生與各個(gè)位置相對(duì)應(yīng)的調(diào)整系數(shù)m。如剛剛描述的，使用插值的調(diào)整系數(shù)m使得能夠針對(duì)像高連續(xù)地調(diào)整校正量。

此外，雖然表達(dá)式(1)被表達(dá)為第一項(xiàng)和第二項(xiàng)的相加，但是這是因?yàn)檎{(diào)整系數(shù)m是正值。當(dāng)調(diào)整系數(shù)m是負(fù)值時(shí)，表達(dá)式(1)將被表示為其相減。如剛剛描述的，加法和減法僅依賴于調(diào)整系數(shù)m的符號(hào)，并因此具有基本上相同的含義。因此，可以根據(jù)調(diào)整系數(shù)m的符號(hào)任意選擇加法和減法。

本實(shí)施例使用根據(jù)對(duì)應(yīng)于圖像捕捉光學(xué)系統(tǒng)的PFS的表達(dá)式(8)產(chǎn)生的近似PSF及其系數(shù)來(lái)產(chǎn)生反銳化掩模。因此，本實(shí)施例使得能夠以足夠的精度來(lái)銳化輸入圖像的由于圖像捕捉光學(xué)系統(tǒng)的不對(duì)稱PSF而產(chǎn)生的并且經(jīng)常在輸入圖像的外圍部分中見(jiàn)到的劣化。

[實(shí)施例2]

接下來(lái)，將描述作為實(shí)施例2的圖像捕捉光學(xué)系統(tǒng)。圖像捕捉裝置具有與圖像捕捉光學(xué)系統(tǒng)實(shí)施例1的配置相同的配置。本實(shí)施例執(zhí)行與圖1所示的步驟S11至步驟S15中的處理相同的處理，并且在步驟16執(zhí)行與實(shí)施例1的處理不同的銳化處理。

在本實(shí)施例中，在步驟S16處，銳化處理器203使用在步驟S15處產(chǎn)生的反銳化掩模根據(jù)表達(dá)式(12)對(duì)輸入圖像執(zhí)行銳化處理。雖然實(shí)施例1通過(guò)產(chǎn)生銳化濾波器并在輸入圖像上卷積銳化濾波器來(lái)執(zhí)行銳化，但是實(shí)施例2通過(guò)從反銳化掩模USM產(chǎn)生校正分量、利用調(diào)整系數(shù)m調(diào)整校正分量并且隨后向輸入圖像相加調(diào)整后的校正分量或從輸入圖像減去調(diào)整后的校正分量來(lái)執(zhí)行銳化。

在該實(shí)施例中，基于關(guān)于PSF的信息產(chǎn)生的銳化濾波器是反銳化掩模USM，并且作為表達(dá)式(12)的一部分的f(x，y)*[δ(x，y)-USM(x，y)]是校正分量(校正數(shù)據(jù))。

雖然本實(shí)施例在產(chǎn)生校正分量之后用調(diào)整系數(shù)m調(diào)整校正分量，但是可首先將調(diào)整系數(shù)m應(yīng)用于反銳化掩模USM或理想的點(diǎn)像。

雖然本實(shí)施例執(zhí)行與表達(dá)式(13)所表達(dá)的處理不同的處理，但是與實(shí)施例1中一樣，本實(shí)施例使得能夠以足夠的精度來(lái)銳化由于圖像捕捉光學(xué)系統(tǒng)的不對(duì)稱PSF而劣化的輸入圖像。

[實(shí)施例3]

接下來(lái)，將描述作為實(shí)施例3的圖像捕捉裝置。圖像捕捉裝置具有與圖像捕捉光學(xué)系統(tǒng)實(shí)施例1的配置相同的配置。本實(shí)施例執(zhí)行與圖1所示的步驟S11至步驟S15中的處理相同的處理，并且在步驟16處執(zhí)行與實(shí)施例1的處理不同的銳化處理。

在本實(shí)施例中，在步驟S16處，銳化處理器203使用在步驟S15處產(chǎn)生的反銳化掩模根據(jù)表達(dá)式(11)對(duì)輸入圖像執(zhí)行銳化處理。本實(shí)施例以及實(shí)施例2通過(guò)從反銳化掩模USM產(chǎn)生校正分量、利用調(diào)整系數(shù)m調(diào)整校正分量并且隨后向輸入圖像添加調(diào)整后的校正分量或從輸入圖像減去調(diào)整后的校正分量來(lái)執(zhí)行銳化。然而，本實(shí)施例在校正分量上與實(shí)施例2不同。本實(shí)施例通過(guò)取得輸入圖像和通過(guò)在輸入圖像上卷積反銳化掩模USM而產(chǎn)生的圖像之間的差異來(lái)產(chǎn)生校正分量，并且使用該校正分量來(lái)執(zhí)行銳化。在本實(shí)施例中，基于關(guān)于PSF的信息產(chǎn)生的銳化濾波器是反銳化掩模USM。另外，作為表達(dá)式(11)的一部分的[f(x，y)-f(x，y)*USM(x，y)]是校正分量(校正數(shù)據(jù))。

雖然本實(shí)施例也在產(chǎn)生校正分量之后用調(diào)整系數(shù)m調(diào)整校正分量，但是可以首先將調(diào)整系數(shù)m應(yīng)用于輸入圖像和通過(guò)在輸入圖像上卷積反銳化掩模USM而產(chǎn)生的圖像。

雖然本實(shí)施例執(zhí)行與由表達(dá)式(12)和(13)表達(dá)的處理不同的處理，但是本實(shí)施例以及實(shí)施例1和實(shí)施例2使得能夠以足夠的精度銳化由于圖像捕捉光學(xué)系統(tǒng)的不對(duì)稱PSF而劣化的輸入圖像。

雖然以上實(shí)施例中的每個(gè)都描述了橢圓分布作為非旋轉(zhuǎn)對(duì)稱分布的示例，但是非旋轉(zhuǎn)對(duì)稱分布包括除橢圓分布之外的并且可以通過(guò)函數(shù)近似的任何分布。

以上實(shí)施例中的每個(gè)都使用從通過(guò)鏡像第一分布產(chǎn)生的第二分布獲得的第一濾波器執(zhí)行銳化處理，這使得能夠銳化由于圖像捕捉光學(xué)系統(tǒng)的復(fù)雜形狀的PSF而劣化的輸入圖像。

另外，與直接近似復(fù)雜形狀的PSF的情況相比，上述實(shí)施例中的每個(gè)可以減少所需的數(shù)據(jù)量。

其它實(shí)施例

本發(fā)明的一個(gè)或多個(gè)實(shí)施例也可以由讀出并執(zhí)行在存儲(chǔ)介質(zhì)(其也可被更完整地稱作‘非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)’)上記錄的計(jì)算機(jī)可執(zhí)行指令(例如，一個(gè)或多個(gè)程序)以執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能和/或包括用于執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能的一個(gè)或多個(gè)電路(例如，專用集成電路(ASIC))的系統(tǒng)或裝置的計(jì)算機(jī)來(lái)實(shí)現(xiàn)，以及通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)例如通過(guò)讀出并執(zhí)行來(lái)自存儲(chǔ)介質(zhì)的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能并且/或者控制一個(gè)或多個(gè)電路以執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能來(lái)執(zhí)行的方法來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可以包括一個(gè)或多個(gè)處理器(例如，中央處理單元(CPU)、微處理單元(MPU))并且可以包括用來(lái)讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令的單獨(dú)計(jì)算機(jī)或單獨(dú)處理器的網(wǎng)絡(luò)。計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或者存儲(chǔ)介質(zhì)被提供給計(jì)算機(jī)。存儲(chǔ)介質(zhì)可以包括例如硬盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)裝置、光盤(pán)(諸如緊湊盤(pán)(CD)、數(shù)字多用途盤(pán)(DVD)或者藍(lán)光盤(pán)(BD)^TM)、閃存設(shè)備、存儲(chǔ)卡等中的一個(gè)或多個(gè)。

雖然已經(jīng)參考示例性實(shí)施例描述了本發(fā)明，但是將會(huì)明白，本發(fā)明不限于所公開(kāi)的示例性實(shí)施例。以下權(quán)利要求的范圍應(yīng)被賦予最寬廣的解釋以包含所有這種修改以及等價(jià)的結(jié)構(gòu)和功能。