圖像處理裝置、攝像裝置及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對拍攝圖像進(jìn)行圖像恢復(fù)處理的圖像處理裝置。
【背景技術(shù)】
[0002]針對經(jīng)由攝像光學(xué)系統(tǒng)拍攝的被攝體，由于在攝像光學(xué)系統(tǒng)中發(fā)生的衍射、像差等的影響，從一個點發(fā)射的光無法會聚到其他點并且具有微小的擴(kuò)散。將這種微小擴(kuò)散分布稱為PSF(點擴(kuò)散函數(shù))。由于攝像光學(xué)系統(tǒng)的影響，利用對圖像卷積的PSF來形成拍攝圖像，相應(yīng)地，圖像變模糊并且其分辨率被劣化。
[0003]近年來，一般地，將拍攝圖像存儲為電子數(shù)據(jù)，并提出了通過進(jìn)行圖像處理來校正由攝像光學(xué)系統(tǒng)引起的圖像劣化的方法(圖像恢復(fù)處理)。
[0004]日本特開2012-65187號公報公開了HXF技術(shù)，其中，將波前調(diào)制元件插入到攝像元件系統(tǒng)以擴(kuò)大景深并使圖像的光學(xué)特性均一化，由此進(jìn)行圖像恢復(fù)處理以提高圖像質(zhì)量。根據(jù)日本特開2012-65187號公報中公開的方法，針對各種攝像條件來使光學(xué)特性均一化，因此簡化了圖像恢復(fù)過濾器的生成過程并且能夠提高處理速度。
[0005]然而，為了使用日本特開2012-65187號公報中公開的EDOF技術(shù)，有必要將波前調(diào)制元件插入到攝像元件系統(tǒng)中。因此，在日本特開2012-65187號公報中公開的方法中，無法通過使用一般的攝像裝置來提高圖像恢復(fù)處理的速度。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了能夠提高了圖像恢復(fù)處理的速度的圖像處理裝置、攝像裝置以及圖像處理方法。
[0007]作為本發(fā)明的一個方面，提供了一種圖像處理裝置，所述圖像處理裝置包括:圖像恢復(fù)過濾器存儲單元，其被構(gòu)造為存儲與攝像條件信息相對應(yīng)的圖像恢復(fù)過濾器；光學(xué)傳遞函數(shù)存儲單元，其被構(gòu)造為存儲光學(xué)傳遞函數(shù)信息；以及圖像恢復(fù)過濾器生成單元，其被構(gòu)造為:確定與拍攝圖像的第一攝像條件信息相對應(yīng)的第一圖像恢復(fù)過濾器是否被存儲在所述圖像恢復(fù)過濾器存儲單元中，在所述第一圖像恢復(fù)過濾器被存儲在所述圖像恢復(fù)過濾器存儲單元中的情況下，從所述圖像恢復(fù)過濾器存儲單元選擇所述第一圖像恢復(fù)過濾器，以及在所述第一圖像恢復(fù)過濾器未被存儲在所述圖像恢復(fù)過濾器存儲單元中的情況下，使用所述光學(xué)傳遞函數(shù)信息來生成所述第一圖像恢復(fù)過濾器。
[0008]作為本發(fā)明的另一方面，提供了一種攝像裝置，所述攝像裝置包括:攝像單元，其被構(gòu)造為對經(jīng)由攝像光學(xué)系統(tǒng)形成的光學(xué)圖像進(jìn)行光電轉(zhuǎn)換以輸出拍攝圖像；圖像恢復(fù)過濾器存儲單元，其被構(gòu)造為存儲與攝像條件信息相對應(yīng)的圖像恢復(fù)過濾器；光學(xué)傳遞函數(shù)存儲單元，其被構(gòu)造為存儲光學(xué)傳遞函數(shù)信息；以及圖像恢復(fù)過濾器生成單元，其被構(gòu)造為:確定與所述拍攝圖像的第一攝像條件信息相對應(yīng)的第一圖像恢復(fù)過濾器是否被存儲在所述圖像恢復(fù)過濾器存儲單元中，在所述第一圖像恢復(fù)過濾器被存儲在所述圖像恢復(fù)過濾器存儲單元中的情況下，從所述圖像恢復(fù)過濾器存儲單元選擇所述第一圖像恢復(fù)過濾器，以及在所述第一圖像恢復(fù)過濾器未被存儲在所述圖像恢復(fù)過濾器存儲單元中的情況下，使用所述光學(xué)傳遞函數(shù)信息來生成所述第一圖像恢復(fù)過濾器。
[0009]—種圖像處理方法，所述圖像處理方法包括以下步驟:獲取拍攝圖像的攝像條件信息；確定與所述攝像條件信息相對應(yīng)的圖像恢復(fù)過濾器是否被存儲在圖像恢復(fù)過濾器存儲單元中；在所述圖像恢復(fù)過濾器被存儲在所述圖像恢復(fù)過濾器存儲單元中的情況下，從所述圖像恢復(fù)過濾器存儲單元獲取所述圖像恢復(fù)過濾器，以及在所述圖像恢復(fù)過濾器未被存儲在所述圖像恢復(fù)過濾器存儲單元中的情況下，從光學(xué)傳遞函數(shù)存儲單元獲取光學(xué)傳遞函數(shù)信息并通過使用所述光學(xué)傳遞函數(shù)信息來生成所述圖像恢復(fù)過濾器。
[0010]通過以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0011]圖1是實施例1中的攝像裝置的框圖。
[0012]圖2是實施例1中的圖像處理方法的流程圖。
[0013]圖3A和圖3B是實施例1中的圖像恢復(fù)過濾器的生成方法的說明圖。
[0014]圖4是例示在實施例1中的圖像恢復(fù)過濾器的第一生成方法中進(jìn)行的排名方法的示例的圖。
[0015]圖5是實施例2中的圖像處理系統(tǒng)的結(jié)構(gòu)圖。
【具體實施方式】
[0016]以下，將參照附圖來描述本發(fā)明的示例性實施例。
[0017]首先，將描述本實施例中的圖像處理方法(圖像恢復(fù)處理)的概要。在實空間(X，y)中，f (X，y)是未被光學(xué)系統(tǒng)劣化的圖像，h(x, y)是PSF(點擴(kuò)散函數(shù))，g(x，y)是劣化圖像的情況下，滿足下式(I)。
[0018]g(x, y) =Sf f(X, Y) *h (x-X, y_Y) dXdY…(I)
[0019]當(dāng)針對式⑴進(jìn)行傅立葉變換以將實空間(X，y)轉(zhuǎn)換為頻率空間(U，V)時，滿足下式⑵。
[0020]G (U，V) = F(u, V) *H(u, V)…(2)
[0021]在⑵中，F(xiàn)(U，V)、G (U，V)和 H (u, v)分別是 f (x, y)、g(x, y)和 h(x, y)的傅立葉變換的結(jié)果。因此，滿足下式(3)。
[0022]F (U，V) = G (U，V)/H (U，V)…(3)
[0023]式(3)是指在頻率空間中，通過將劣化圖像g(x，y)的傅立葉變換的結(jié)果G(U，V)除以點擴(kuò)散函數(shù)h(x，y)的傅立葉變換的結(jié)果H(u，v)，能夠獲得未被劣化的圖像f(x，y)的傅立葉變換的結(jié)果F (u，v)。因此，能夠通過進(jìn)行F (u，v)的逆傅立葉變換來獲得未被劣化的圖像f U，y)。
[0024]然而，實際上，如果進(jìn)行這種處理以獲得未被劣化的圖像，則攝像元件引起的噪聲被放大并且在圖像上非?？赡墚a(chǎn)生振鈴。由于這種對圖像處理的負(fù)面影響，因此難以通過使用簡單逆特性的除法方法來獲得適當(dāng)圖像。
[0025]已知使用由下式(4)表示的維納過濾器W(u，V)，作為用于抑制噪聲放大的圖像恢復(fù)方法。
[0026]ff (u, v) = 1/H (u, v) * IH (u, v) |2/ (| H (u, v)2+ Γ )...(4)
[0027]在式(4)中，符號H(u，v)表示光學(xué)傳遞函數(shù)(OTF)，符號Γ表示用于降低噪聲增幅量的常數(shù)。
[0028]將式⑷表示的W(U，V)乘以劣化圖像g(x，y)的傅立葉變換的結(jié)果G (u，V)，由于在光學(xué)系統(tǒng)中發(fā)生的衍射或像差引起的PSF的相位分量變?yōu)?，并且振幅分量的頻率特性被放大，因此能夠獲得高分辨率和適當(dāng)圖像。換言之，通過圖像恢復(fù)處理使用維納過濾器Ku, V)恢復(fù)的圖像的頻率空間信息R(u，V)由下式(5)表示。
[0029]R (U，V) = G (U，V) *W (U，V)…(5)
[0030]由于通過使用攝像裝置的光學(xué)特性來進(jìn)行根據(jù)維納過濾器的圖像恢復(fù)處理，因此處理后的圖像未被損壞并且能夠獲得高清晰度圖像。另一方面，有必要將光學(xué)特性數(shù)據(jù)存儲在系統(tǒng)(攝像裝置)中，因此數(shù)據(jù)量巨大。因此，僅存儲最小量光學(xué)特性數(shù)據(jù)才現(xiàn)實。當(dāng)使用存儲最小量光學(xué)特性數(shù)據(jù)的系統(tǒng)時，有必要通過獲取針對要