本發(fā)明涉及一種攝像裝置、攝像方法、攝像程序及記錄了所述攝像程序的記錄介質(zhì)，特別是涉及一種可以通過模糊圖像的復原而擴大景深的攝像裝置、攝像方法、攝像程序及記錄了所述攝像程序的記錄介質(zhì)。

背景技術：

目前，在利用波前編碼(wavefrontcoding，wfc)等特殊的光學裝置的景深擴大攝影裝置中，需要在一定設計范圍內(nèi)進行圖像復原。

但是，如果攝影距離與聚焦位置相離，則實際施加至原始圖像的點擴散函數(shù)(psf：pointspreadfunction，每隔一定距離一點點地變化)與圖像復原用psf(使用固定、聚焦位置的psf)產(chǎn)生偏差，所以無法實現(xiàn)保持與聚焦位置相同的復原精度。即，由于攝影距離而實際施加至原始圖像的psf并不固定，由此會產(chǎn)生復原圖像的畫質(zhì)劣化。

在專利文獻1或?qū)＠墨I2中，利用距離檢測傳感器或多個攝像部來計算距離，并基于與各粗算出的距離相對應的psf數(shù)據(jù)進行復原處理。

在專利文獻3中，考慮到所有的與多個散焦位置相對應的psf而設計出使頻域的均方誤差最小的復原濾波器。

而且，在非專利文獻1中，記載有松下(panasonic)股份有限公司從2014年4月開始銷售的數(shù)碼相機中所搭載的被稱為“空間識別自動對焦(autofocus，af)”的技術。在所述技術中，基于根據(jù)模糊量的分析而求出距離的散焦深度法(depthfromdefocus，dfd)，算出從兩張圖像到被攝體為止的距離之后，推斷出模糊模型而制作對焦圖像。

在非專利文獻2中，有關于圖像的銳度的計算的記載。

[現(xiàn)有技術文獻]

[專利文獻]

[專利文獻1]日本專利特開2011-120309號公報

[專利文獻2]日本專利特開2013-162369號公報

[專利文獻3]日本專利特開2015-005933號公報

[非專利文獻]

[非專利文獻1]“松下(panasonic)數(shù)碼相機綜合目錄2015/秋冬”，松下股份有限公司，2015年9月，第21頁

[非專利文獻2]圖像清晰度評價方法研究，王鴻南等，中國圖象圖形學報(researchofmeasurementfordigitalimagedefinition，wanghongnan，...，etc，journalofimageandgraphics)，第9卷第7期，2004年

技術實現(xiàn)要素：

發(fā)明所要解決的問題

但是，在專利文獻1或?qū)＠墨I2所揭示的現(xiàn)有技術中，針對所拍攝的各圖像數(shù)據(jù)中所含的各被攝體，如果不正確地推斷距離信息，則無法使用準確的psf數(shù)據(jù)，所以不能進行最佳的復原處理。因此，存在為了計算攝影距離所需要的距離檢測傳感器或多個攝像部所引起的成本上升的問題。

另外，在專利文獻3所揭示的現(xiàn)有技術中，由于成為平均處理，所以不需要距離信息，但是存在如下問題，即，由于多個位置上的psf數(shù)據(jù)的差異，即使進行在均方誤差的意義上的最佳的復原處理，與利用與攝影距離相對應的psf而得出的復原結(jié)果相比，精度也差。

鑒于現(xiàn)有技術的這樣的問題，本發(fā)明的目的在于提供一種能夠不推測被攝體的攝影距離，而利用最佳的psf來獲得高精度的復原圖像的攝像裝置、攝像方法、攝像程序以及記錄了所述程序的記錄介質(zhì)。

解決問題的手段

為了實現(xiàn)所述目的，本發(fā)明的攝像裝置包括：光學系統(tǒng)，包含一塊以上的透鏡或者所述透鏡及光學元件；攝像元件，配置于比所述光學系統(tǒng)更后方的位置；圖像復原處理部，對由所述攝像元件獲取的圖像數(shù)據(jù)進行圖像處理及復原處理；以及復原圖像輸出部，輸出經(jīng)所述圖像復原處理部復原的圖像；并且所述圖像復原處理部包括：復原濾波器貯藏部，貯藏利用與多個不同的距離相對應的多個點擴散函數(shù)(psf)而預先制作的多個復原濾波器；復原濾波器處理部，獲得根據(jù)所述圖像數(shù)據(jù)，使用所述多個復原濾波器而分別復原的多個中間候補圖像；以及圖像評價部，對所述多個中間候補圖像的畫質(zhì)分別進行評價而輸出最好的中間候補圖像作為復原處理結(jié)果。

在這里，所述光學系統(tǒng)的目的在于擴大景深，只要是利用psf來進行復原即可。所述透鏡可以是球面透鏡及非球面透鏡中的任一個，在多塊的情況下也可以適當組合。作為所述光學元件，例如可舉出光擴散板、相位板或繞射光柵等，但是并不限定于這些。

所述圖像復原處理部也可以還包括：圖像區(qū)域指定部，指定所述復原濾波器處理部中作為對象的圖像區(qū)域；以及排除區(qū)域指定部，指定所述圖像評價部應從對象中排除的區(qū)域。而且，所述圖像復原處理部也可以針對每個顏色信號合成經(jīng)復原的按顏色信號分類的復原圖像。而且，所述圖像復原處理部也可以包括由經(jīng)擴散而入射至所述攝像元件的點圖像函數(shù)的圖案制作的如維納(wiener)濾波器或者有限脈沖響應(finiteimpulseresponse，fir)濾波器等的頻率空間、圖像空間、時空的濾波器。

而且，本發(fā)明的攝像裝置包括：光學系統(tǒng)，包含一塊以上的透鏡或者所述透鏡及光學元件；攝像元件，配置于比所述光學系統(tǒng)更后方的位置；圖像復原處理部，對由所述攝像元件獲取的圖像數(shù)據(jù)進行圖像處理及復原處理；以及復原圖像輸出部，輸出經(jīng)所述圖像復原處理部復原的圖像；并且所述圖像復原處理部包括：復原濾波器貯藏部，貯藏利用與多個不同的距離相對應的多個點擴散函數(shù)而預先制作的多個復原濾波器及標準登記圖像以及與它們相對應的圖像銳度；圖像評價部，基于對所述圖像數(shù)據(jù)的畫質(zhì)進行評價而獲得的圖像銳度，從所述復原濾波器貯藏部中選擇與最接近的圖像銳度相對應的復原濾波器；以及復原濾波器處理部，利用所選擇的復原濾波器獲得復原圖像。

而且，本發(fā)明的攝像方法包括：攝像工序，拍攝被攝體；以及圖像復原處理工序，對在所述攝像工序中獲取的圖像數(shù)據(jù)進行圖像處理及復原處理；并且所述圖像復原處理工序包括：復原濾波器貯藏工序，貯藏利用與多個不同的距離相對應的多個點擴散函數(shù)而預先制作的多個復原濾波器；復原濾波器處理工序，獲得根據(jù)所述圖像數(shù)據(jù)，使用所述多個復原濾波器而分別復原的多個中間候補圖像；以及圖像評價工序，對所述多個中間候補圖像的畫質(zhì)分別進行評價而輸出最好的中間候補圖像作為復原處理結(jié)果。

而且，本發(fā)明的攝像方法包括：攝像工序，拍攝被攝體；以及圖像復原處理工序，對在所述攝像工序中獲取的圖像數(shù)據(jù)進行圖像處理及復原處理；并且，所述圖像復原處理工序包括：復原濾波器貯藏工序，貯藏利用與多個不同的距離相對應的多個點擴散函數(shù)而預先制作的多個復原濾波器及標準登記圖像以及與它們相對應的圖像銳度；圖像評價工序，基于對所述圖像數(shù)據(jù)的畫質(zhì)進行評價而獲得的圖像銳度，選擇與最接近的圖像銳度相對應的復原濾波器；以及復原濾波器處理工序，利用所選擇的復原濾波器獲得復原圖像。

或者，本發(fā)明的攝像程序使計算機執(zhí)行所述攝像方法。

根據(jù)這種構成的攝像程序，可以通過可執(zhí)行程序的計算機來實現(xiàn)本發(fā)明的攝像方法。

或者，記錄了本發(fā)明的攝像程序的記錄介質(zhì)是計算機可讀取的記錄介質(zhì)，記錄了所述攝像程序。

根據(jù)記錄了這種構成的攝像程序的記錄介質(zhì)，容易在各種場所或環(huán)境中實現(xiàn)本發(fā)明的攝像方法，并且可以廉價地予以提供，能夠提高本發(fā)明的攝像方法的有用性。

發(fā)明的效果

根據(jù)本發(fā)明的攝像裝置，可以不伴隨著為了推測被攝體的攝影距離而需要的零件的成本上升，而利用最佳的點擴散函數(shù)來獲得高精度的復原圖像。

根據(jù)本發(fā)明的圖像復原方法，能夠不推測被攝體的攝影距離，而利用最佳的點擴散函數(shù)來獲得高精度的復原圖像。

根據(jù)本發(fā)明的攝像程序，可以通過可執(zhí)行程序的計算機來實現(xiàn)本發(fā)明的攝像方法。

根據(jù)記錄了本發(fā)明的攝像程序的記錄介質(zhì)，容易在各種場所或環(huán)境中實現(xiàn)本發(fā)明的攝像方法，并且可以廉價地予以提供，能夠提高本發(fā)明的攝像方法的有用性。

附圖說明

圖1是表示本發(fā)明的實施方式1的攝像裝置100的概略構成的框圖；

圖2是說明攝像裝置100的圖像生成過程及圖像復原過程的概略圖；

圖3a、圖3b、圖3c是關于復原用psf與復原圖像的精度的關系的說明圖，圖3a是高精度復原圖像，圖3b是有人工痕跡(artifact)的復原圖像，圖3c是存在模糊的復原圖像；

圖4是表示圖像復原處理部150的概略構成的框圖；

圖5是圖像復原處理部150a中的復原濾波器的制作相關原理的說明圖；

圖6a、圖6b、圖6c是中間候補圖像的說明圖；

圖7是表示圖4所示的圖像復原處理部150a中所含的圖像評價部155的概略構成的框圖；

圖8是表示圖像評價部155內(nèi)的處理的流程圖；

圖9是作為圖像評價部155內(nèi)的處理的變形例，表示例如將三張中間候補圖像作為輸入圖像加以具體化的并列處理的流程圖；

圖10a、圖10b是圖像人工痕跡評價的原理的說明圖，圖10a是通常無人工痕跡的復原圖像中的圖像亮度值的直方圖，圖10b是有人工痕跡的復原圖像中的圖像亮度值的直方圖；

圖11是表示整個圖像銳度運算的流程圖；

圖12是表示強邊緣提取方法的流程圖；

圖13a、圖13b、圖13c、圖13d、圖13e、圖13f是比較例顯示在精確聚焦位置及與之相離的位置上分別拍攝的模糊圖像、現(xiàn)有方法的復原圖像、本發(fā)明的復原圖像的圖；

圖14是表示本發(fā)明的實施方式2的攝像裝置的圖像復原處理部150b的概略構成的框圖；

圖15是表示本發(fā)明的實施方式3的攝像裝置之中與實施方式1不同的主要部分的框圖；

圖16a、圖16b是例示通常的rgb圖像復原方法的框圖；

圖17是表示實施方式3的rgb圖像復原方法的框圖；

圖18是表示本發(fā)明的實施方式4的攝像裝置的圖像復原處理部150c的概略構成的框圖；

圖19是圖像復原處理部150c中的復原濾波器等的制作相關原理的說明圖；

圖20a是表示圖18所示的圖像復原處理部150c中所含的圖像評價部155c的概略構成的框圖，圖20b是表示圖20a的圖像評價部155c中所含的綜合判斷155cc的概略構成的框圖。

[符號的說明]

100：攝像裝置

110：光學系統(tǒng)

112a：第1透鏡

112b：第2透鏡

112c：第3透鏡

113：光闌

115：光擴散板

115b：擴散面

120：攝像元件

130：a/d轉(zhuǎn)換器

140：圖像處理部

141：raw圖像存儲器

142：卷積運算部

150、150a、150b、150c：圖像復原處理部

151：反卷積運算部

152：圖像緩沖存儲器

153、153b、153c：復原濾波器處理部

154、154c：復原濾波器貯藏存儲器

155、155b、155c：圖像評價部

155a：圖像銳度運算

155b：圖像人工痕跡評價

155c、155cc：綜合判斷

155ca：圖像銳度運算

155cc1：銳度值比較

155cc2：復原濾波器

156：中間候補圖像緩沖存儲器

157：圖像區(qū)域指定

158：被攝體邊緣指定

159：復原圖像緩沖存儲器

159c：復原濾波器緩沖器

160：復原圖像輸出部

171：rgb圖像分解部

172：rgb圖像合成部

s80、s81、s82、s83、s84、s85、s86、s87、s88、s89、s111、s112、s113、s121、s122、s123、s124：步驟

具體實施方式

以下，參照附圖，對本發(fā)明的若干實施方式進行說明。

實施方式1

圖1是表示本發(fā)明的實施方式1的攝像裝置100的概略構成的框圖。再者，在以下的說明中，將光線向光學系統(tǒng)110入射之側(cè)稱為“前面”(圖中為左邊)，將光線從光學系統(tǒng)110射出之側(cè)稱為“后面”(圖中為右邊)。

如圖1所示，攝像裝置100包括：光學系統(tǒng)110；攝像元件120，配置于比所述光學系統(tǒng)110更后方的位置；模擬到數(shù)字(analogtodigital，a/d)轉(zhuǎn)換器130，將從所述攝像元件120輸出的模擬信號轉(zhuǎn)換成數(shù)字信號；圖像處理部140，包含原始(raw)圖像存儲器141及卷積運算部142，并且對從a/d轉(zhuǎn)換器130輸出的數(shù)字信號的圖像數(shù)據(jù)進行圖像處理；圖像復原處理部150，包含反卷積運算部151，并且對經(jīng)圖像處理部140進行圖像處理后的圖像數(shù)據(jù)進行復原處理；以及復原圖像輸出部160，輸出經(jīng)所述圖像復原處理部150復原的圖像。

光學系統(tǒng)110包括透鏡112a、透鏡112b、透鏡112c、配置于第2透鏡112b的正前方的光闌113、以及配置于比第1透鏡112a更前方的位置的光擴散板115。

在這里，將第1透鏡112a及第3透鏡112c設為凸透鏡，將第2透鏡112b設為凹透鏡，但是并不限于這種組合，只要整體的透鏡塊數(shù)也是兩塊以上即可，不一定限于三塊。而且，也可以是球面透鏡及非球面透鏡中的任一個，在多塊的情況下也可以適當組合。光擴散板115是一種光學元件，也可以是相位板或繞射元件等其它光學元件。其配置也不限于比第1透鏡112a更前方的位置，例如也可以是第3透鏡112c的后方。

光闌113是孔徑光闌，但是其配置不一定限于圖示的位置。

光擴散板115的前面為平面，其后面成為擴散面115b。其配置不一定限于圖示的位置，也可以配置于第3透鏡112c的后方。

作為攝像元件120，可舉出電荷耦合器件(chargecoupleddevice，ccd)傳感器、互補金屬氧化物半導體(complementarymetaloxidesemiconductor，cmos)傳感器、金屬氧化物半導體(metaloxidesemiconductor，mos)傳感器等，但是并不限定于這些。當攝像元件120能夠直接輸出數(shù)字信號而非模擬信號時，可以省略a/d轉(zhuǎn)換器130。

圖像處理部140及圖像復原處理部150也不一定需要獨立，也可以合并為一個。

在圖像復原處理部150的反卷積運算部151中，例如，也可以利用維納濾波器或fir濾波器等進行運算，但是并不限于這些濾波器。

圖2是說明攝像裝置100的圖像生成過程及圖像復原過程的概略圖。圖3a、圖3b、圖3c是關于復原用psf與復原圖像的精度的關系的說明圖，圖3a是高精度復原圖像，圖3b是有人工痕跡的復原圖像，圖3c是存在模糊的復原圖像。再者，所謂人工痕跡，是指在觀測或分析的階段中產(chǎn)生的數(shù)據(jù)的錯誤(error)或信號的變形。

如圖2所示，在空間區(qū)域內(nèi)，根據(jù)原始圖像f(x，y)及psf而獲得觀測圖像g(x，y)。在頻域中，利用經(jīng)傅立葉變換(fouriertransformation)的觀測圖像的功率譜(powerspectrum)g(u，v)及維納濾波器的功率譜w(u，v)的乘法而獲得復原圖像的功率譜fr(u，v)，然后通過對其進行逆傅立葉變換而獲得復原圖像fr(x，y)。

維納濾波器作為多個圖像復原方法的一例被廣泛利用(例如，參照專利文獻2)。簡而言之，維納濾波器是使復原圖像與原始圖像的誤差最小的逆濾波器(inversefilter)，可利用底下的式子表示：

在這里，h表示psf的傅立葉變換。sf及sn是原始圖像f及圖像上噪聲n的功率譜分布。

圖像的復原結(jié)果取決于h的精度，即，取決于復原用psf與實際施加至原始圖像的psf接近于何種程度。

圖3a所示的高精度復原圖像是在利用由適當?shù)膒sf生成的復原濾波器時，更具體而言，是在復原用psf與實際施加至原始圖像的psf大致一致時所獲得的復原圖像。

圖3b所示的有人工痕跡的復原圖像是在利用由不適當?shù)膒sf生成的復原濾波器時，更具體而言，是在復原用psf具有比實際施加至原始圖像的psf更高的功率譜時所獲得的復原圖像，產(chǎn)生了因為過度修正而導致的碼周邊的曝光過度狀態(tài)。

圖3c所示的存在模糊的復原圖像是在利用由不適當?shù)膒sf生成的復原濾波器時，更具體而言，是在復原用psf具有比實際施加至原始圖像的psf更低的功率譜時所獲得的復原圖像。

圖4是表示圖像復原處理部150a的概略構成的框圖。圖5是圖像復原處理部150a中的復原濾波器的制作相關原理的說明圖。圖6a、圖6b、圖6c是中間候補圖像的說明圖。

如圖4所示，圖像復原處理部150a包括：圖像緩沖存儲器152，從攝像元件120接收圖像數(shù)據(jù)；復原濾波器貯藏存儲器154，貯藏預先求出的復原濾波器；復原濾波器處理部153，利用從圖像緩沖存儲器152接收到的圖像數(shù)據(jù)及貯藏于復原濾波器貯藏存儲器154中的復原濾波器進行復原濾波器的處理；以及圖像評價部155，進行經(jīng)所述復原濾波器處理部153處理的復原圖像的評價，并且發(fā)送至復原圖像緩沖存儲器159。

圖像復原處理部150a中的整體處理的概略如下(也參照圖5)。

1.預先利用與多個不同的距離相對應的多個psf分別制作復原濾波器，并預先貯藏這些復原濾波器。

2.拍攝圖像，獲取輸入圖像。

3.對輸入圖像，利用所貯藏的與多個psf相對應的復原濾波器分別進行復原處理。由此，獲得多個中間候補圖像。

4.利用圖像銳度及圖像人工痕跡這兩個指標，對多個中間候補圖像的畫質(zhì)分別進行評價。

5.輸出評價最高的中間候補圖像作為復原處理結(jié)果。

如圖5所示，當改變了攝影距離時，與之相對應的psf的傅立葉變換，即，調(diào)制傳遞函數(shù)(modulationtransferfuntion，mtf)的絕對值也發(fā)生變化。

通過離線處理使用與所述撮影距離相對應的psf，利用所述維納濾波器方法分別制作復原濾波器，并預先保存于復原濾波器貯藏存儲器154中。

再者，這些處理也可以設為通過執(zhí)行寫入至計算機的程序用存儲器中的攝像程序來進行。所述攝像程序也可以使用記錄了所述攝像程序的只讀光盤驅(qū)動器(compactdiscread-onlymemory，cd-rom)或通用串行總線(universalserialbus，usb)存儲器等記錄介質(zhì)，或者經(jīng)由網(wǎng)絡等來提供。

如圖6a、圖6b、圖6c所示，通過利用根據(jù)距離而預先準備的不同的復原濾波器對所拍攝的原始的模糊圖像進行復原而獲得中間候補圖像。圖6a是因為修正不充分而留下模糊的中間候補圖像的例子。圖6b是能夠恰當?shù)剡M行模糊的修正，不出現(xiàn)人工痕跡的級別(level)的中間候補圖像的例子。圖6c是雖然過度但是能夠進行模糊的修正，而產(chǎn)生了曝光過度的人工痕跡的中間候補圖像的例子。

圖7是表示圖4所示的圖像復原處理部150a中所含的圖像評價部155的概略構成的框圖。

如圖7所示，圖像評價部155對從中間候補圖像緩沖存儲器156接收到的中間候補圖像進行圖像銳度運算155a及圖像人工痕跡評價155b之后進行綜合判斷155c，將評價最高的中間候補圖像作為復原處理結(jié)果發(fā)送至復原圖像緩沖存儲器159。

圖8是表示圖像評價部155內(nèi)的處理的流程圖。

如圖8所示，將銳度最大值(max)及圖像編號重置為0作為初始化(步驟s80)。

輸入第n張中間候補圖像(步驟s81)，執(zhí)行人工痕跡評價值的計算(步驟s82)。

進行是否大于閾值的判定(步驟s83)，如果為否(no)則進入至步驟s87。

如果步驟s83的判定為是(yes)，則接下來進行銳度計算之后(步驟s84)，進行是否大于當前的銳度max的值的判定(步驟s85)，如果為否(no)，則進行是否留下了未處理的中間候補圖像的判斷(步驟s87)。

如果步驟s85的判定為是(yes)，則將銳度max更新為當前的銳度，并且將圖像編號加上這時的計數(shù)器n的值。

進行計數(shù)器n是否與中間候補圖像數(shù)相等的判定(步驟s87)，如果判定為是(yes)則所有的中間候補圖像的處理完畢，所以輸入這時的圖像編號之后(步驟s88)，結(jié)束處理。

如果步驟s87的判定為否(no)，則留下了未處理的中間候補圖像，所以在計數(shù)器n中加上1之后(步驟s89)，返回到步驟s81而重復進行處理。

圖9是作為圖像評價部155內(nèi)的處理的變形例，表示例如將三張中間候補圖像作為輸入圖像加以具體化的并列處理的流程圖。這些中間候補圖像分別對應于圖6a、圖6b、圖6c。再者，處理的各步驟的詳細說明予以省略。

以下表示中間候補圖像的銳度計算結(jié)果的一例。

距離a點銳度值為0.973596(ptssharpnessvalueis0.973596)

距離b點銳度值為1.161603(ptssharpnessvalueis1.161603)

距離c點銳度值為1.183418(ptssharpnessvalueis1.183418)

而且，以下表示人工痕跡的判明結(jié)果的一例。如果未達閾值t則為1(無人工痕跡)，如果為閾值t以上則為0(產(chǎn)生人工痕跡)。

距離a1

距離b1

距離c0

這些的結(jié)果為，排除產(chǎn)生了人工痕跡的圖像，選擇銳度最高的圖像。即，評價最高的圖像如下。

距離b點銳度值為1.161603(ptssharpnessvalueis1.161603)

圖10a、圖10b是圖像人工痕跡評價的原理的說明圖，圖10a是通常無人工痕跡的復原圖像中的圖像亮度值的直方圖，圖10b是有人工痕跡的復原圖像中的圖像亮度值的直方圖。

如這些直方圖所示，橫軸為像素亮度值，八比特數(shù)據(jù)的亮度值的范圍為0至255，縱軸為具有各亮度值的像素數(shù)(像元數(shù)(pixelnumber))。與通常無人工痕跡的復原圖像相比，在有人工痕跡的復原圖像中，在直方標繪圖的最大值(max)(亮度值＝255)及最小值(min)(亮度值＝0)兩處可以清楚看到峰值。如果亮度值的范圍為250至255的像元數(shù)的總和高于固定閾值t，則判斷為有人工痕跡。

圖11是表示整個圖像銳度運算的流程圖。

如所述圖11所示，當輸入復原圖像時，首先，將亮度值標準化至0至1的范圍(步驟s111)。在圖像亮度值的標準化中，使用下式。

變換后的亮度值＝(變換前的亮度值-變換前的亮度最小值)/(變換前的亮度最大值-變換前的亮度最小值)

其次，執(zhí)行“強邊緣提取”(在后文參照圖12來描述)(步驟s112)。

最后計算銳度(步驟s113)，輸出銳度值。

所述非專利文獻2提出了測量點銳度(pointsharpness)這一圖像銳度的畫質(zhì)(影像清晰度(imageclarity))評價指標，但是由于對要評價的輸入圖像所有像素直接進行計算，所以在以下三種情況(case)中失去了魯棒性(robustness)。

1)圖像內(nèi)容

當被攝體不同時，例如，無法進行風景與人物圖像的比較。

2)圖像亮度值

即使存在相同的圖像內(nèi)容，在亮度不同的情況下也無法進行比較。

3)噪聲級(noiselevel)

即使圖像內(nèi)容相同，在噪聲級不同的情況下也無法進行比較。

在圖11所示的圖像銳度運算中，通過對圖像亮度值進行標準化，自動提取強邊緣來改善所述問題。

圖12是表示強邊緣提取方法的流程圖。

如圖12所示，首先，計算通過索貝爾(sobel)濾波而產(chǎn)生的亮度邊緣(步驟s121)。

其次，根據(jù)傾斜度的強度對像素進行排序(步驟s122)。

然后，為了提取確切的強邊緣，提取特定方向上的傾斜度強的像素(步驟s123)。例如，當被攝體在圖像上水平或垂直地進入時，傾斜度的方向相當受限。關于傾斜度因為噪聲而升高的像素，可以通過這種判斷而排除。

而且，為了減少圖像亮度值的非均勻性等的影響，想要盡可能均勻地提取在整個被攝體中無光斑的邊緣像素，所以刪除具有強邊緣的像素的鄰接像素(步驟s124)。如果某個像素判斷為強邊緣，則判斷為附近八點(3×3區(qū)域)的像素不是強邊緣來進行處理。

圖13a、圖13b、圖13c、圖13d、圖13e、圖13f是比較例示在精確聚焦位置及與精確聚焦相離的位置上分別拍攝到的模糊圖像、現(xiàn)有方法的復原圖像、本發(fā)明的復原圖像的圖。左列的圖像對應于精確聚焦位置，右列的圖像對應于與精確聚焦相離的位置。

圖13a及圖13b是所拍攝到的模糊圖像。

在基于精確聚焦位置的psf進行復原的現(xiàn)有方法中，與圖13c所示的精確聚焦位置的復原圖像相比，圖13d所示的與精確聚焦相離的位置上的復原圖像的畫質(zhì)明顯下降。

與此相對，根據(jù)基于通過圖像銳度而獲得的最佳的psf進行復原的本發(fā)明，與圖13e所示的精確聚焦位置的復原圖像相比，圖13f所示的與精確聚焦相離的位置上的復原圖像的畫質(zhì)也沒有那么下降。

根據(jù)本發(fā)明，也不需要進行距離推斷，來選擇畫質(zhì)最好的圖像，所以即使與精確聚焦位置相離，也獲得與精確聚焦位置上的復原精度相近的結(jié)果。

再者，在存在運動模糊(motionblur)，即，存在被攝體抖動，或者在攝影范圍內(nèi)或視場范圍內(nèi)例如psf因為像高而發(fā)生變化的光學系統(tǒng)等雖然psf發(fā)生變化但是這些psf為已知的情況下，也可以應用與以上所述同樣的處理，從而可以獲得同樣的效果。

實施方式2

在所述實施方式1中，是對整個圖像自動提取強邊緣點而進行銳度的計算。在實施方式2中，是設為對如碼圖像或瞳孔檢測圖像等事先已知對象物的圖像的部分圖像進行評價。

圖14是表示本發(fā)明的實施方式2的攝像裝置的圖像復原處理部150b的概略構成的框圖。再者，所述圖像復原處理部150b對應于實施方式1的圖像復原處理部150a(參照圖4)。

如圖14所示，在圖像復原處理部150b中，與實施方式1的圖像復原處理部150a(參照圖4)相比，在圖像緩沖存儲器152與復原濾波器處理部153b之間追加了圖像區(qū)域指定157，并且追加了對圖像評價部155b的被攝體邊緣指定158。再者，伴隨著圖像區(qū)域指定157及被攝體邊緣指定158的追加，對圖像復原處理部150a的復原濾波器處理部153及圖像評價部155的處理內(nèi)容分別變更一部分，而形成為復原濾波器處理部153b及圖像評價部155b。

通過加上圖像的區(qū)域限定、傾斜度的方向的閾值調(diào)整、或者通過手動而進行的邊緣點指定等方法，可以進一步加快處理速度。由于排除不需要的區(qū)域，所以也可以減少誤檢等。

而且，根據(jù)使用目的，只要按照實施方式1的構成及處理流程，也可以只對圖像的一部分進行高精度的復原。例如，在只將攝影圖像之中的中央部分或周邊部分作為攝影對象的情況等有效。

實施方式3

在所述實施方式1或?qū)嵤┓绞?中，是對黑白圖像進行處理，而實施方式3是將彩色圖像作為處理對象。例如，如果是紅綠藍(redgreenblue，rgb)圖像，則合成按rgb通道進行了處理的高精度復原圖像，由此對rgb圖像也可以獲得同樣的效果。

圖15是表示本發(fā)明的實施方式3的攝像裝置之中與實施方式1不同的主要部分的框圖。圖16a、圖16b是例示通常的rgb圖像復原方法的框圖。圖17是表示實施方式3的rgb圖像復原方法的框圖。

如圖15所示，在實施方式3中，在攝像元件120與圖像復原處理部150a之間追加了rgb圖像分解部171，在復原圖像緩沖存儲器159的前面追加了rgb圖像合成部172。

在圖16a或圖16b所示的通常的rgb圖像復原方法的情況下，變換成亮度圖像/rgb通道而基于一個psf進行復原。但是，本來r通道、g通道、b通道各通道的psf就存在微妙的差異，所以如果只利用一個psf進行復原，會產(chǎn)生r通道、g通道、b通道各通道間的psf的差異的影響。

與此相對，在實施方式3中，如圖17所示，在r通道、g通道、b通道各通道中，通過圖像銳度而分別獲得最佳的psf，從而獲得高精度復原圖像，所以可以獲得更高精度的合成rgb復原圖像。

再者，不僅限于r通道、g通道、b通道，例如，也可以追加紅外線(infraredradiation，ir)通道。

實施方式4

在上述各實施方式中，是進行利用多個復原濾波器而分別復原的多個中間候補圖像的圖像評價。在實施方式4中，是設為先基于復原前的模糊圖像進行評價再選擇復原濾波器。

圖18是表示本發(fā)明的實施方式4的攝像裝置的圖像復原處理部150c的概略構成的框圖。圖19是圖像復原處理部150c中的復原濾波器等的制作相關原理的說明圖。圖20a是表示圖18所示的圖像復原處理部150c中所含的圖像評價部155c的概略構成的框圖。圖20b是表示圖20a的圖像評價部155c中所含的綜合判斷155cc的概略構成的框圖。

如圖18所示，在圖像復原處理部150c中，與實施方式1的圖像復原處理部150a(參照圖4)相比，復原濾波器處理部153c與圖像評價部155c的順序調(diào)換。再者，伴隨于此，將圖像復原處理部150a的復原濾波器處理部153、復原濾波器貯藏存儲器154、及圖像評價部155的處理內(nèi)容分別變更一部分，而形成為復原濾波器處理部153c、復原濾波器貯藏存儲器154c及圖像評價部155c。

圖像復原處理部150c中的整體處理的概略如下(也參照圖19)。

1.預先利用與多個不同的距離相對應的多個psf，成對地制作復原濾波器及標準登記圖像以及與它們相對應的圖像銳度。再者，所謂標準登記圖像，是指在各距離上拍攝到的代表性的模糊圖像。

2.拍攝圖像而獲取輸入圖像。

3.針對輸入圖像，利用圖像銳度這一指標評價模糊圖像的畫質(zhì)。

4.選擇與和標準登記圖像所對應的圖像銳度相比數(shù)值最接近的圖像銳度成對的復原濾波器作為用于輸入圖像復原的復原濾波器。

5.利用所述復原濾波器進行復原處理，并作為復原處理結(jié)果而輸出。

如圖20a所示，在圖像評價部155c中，進行從圖像緩沖存儲器152接收到的圖像數(shù)據(jù)的圖像銳度運算155ca之后進行綜合判斷155cc，并將復原處理結(jié)果發(fā)送至復原濾波器緩沖器159c。

綜合判斷155cc如圖20b所示，是基于圖像銳度運算155ca的結(jié)果及貯藏于復原濾波器貯藏存儲器154c中的復原濾波器及標準登記圖像以及與它們相對應的圖像銳度而進行銳度值比較155cc1，選擇復原濾波器155cc2。

標準登記圖像(多個)是與攝影距離相對應的復原前的模糊圖像。分別具有不同的模糊程度，所以算出的圖像銳度也不同。

與實施方式1不同，事先應以離線方式準備的不僅僅是復原濾波器。與其相對應的圖像銳度也預先成對地準備。

綜合判斷的方法是以在線方式計算攝影圖像的銳度之后，與復原濾波器貯藏存儲器中所保存的標準登記圖像的銳度進行比較。由于成對地準備了圖像銳度及復原濾波器，所以后來利用與最接近的圖像銳度相對應的復原濾波器來進行復原。

再者，本發(fā)明在不脫離其主旨或者主要特征的條件下，可以通過其它各種形式來實施。因此，所述各實施方式或各實施例在所有方面只是示例，不可限定性地進行解釋。本發(fā)明的范圍是通過權利要求書來揭示，不受說明書正文的約束。此外，屬于權利要求書的同等范圍內(nèi)的變形或變更全部是本發(fā)明的范圍內(nèi)的內(nèi)容。