攝像裝置及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像裝置及圖像處理方法，尤其涉及基于點(diǎn)像分布函數(shù)(PSF =PointSpread Funct1n)而進(jìn)行拍攝到的圖像的點(diǎn)像復(fù)原處理的攝像裝置及圖像處理方法。
【背景技術(shù)】
[0002]拍攝到的圖像的點(diǎn)像復(fù)原處理是如下處理:預(yù)先求出由攝影透鏡的像差等所引起的劣化(PSF)的特性，使用基于PSF而制作出的復(fù)原濾波器對(duì)拍攝到的圖像(劣化圖像)進(jìn)行濾波處理，由此復(fù)原為分辨率高的原始圖像。
[0003]在專利文獻(xiàn)I中，記載了如下的圖像處理裝置:取得包含被攝體距離的攝像狀態(tài)，對(duì)應(yīng)劣化圖像的各復(fù)原區(qū)域，取得與攝像狀態(tài)對(duì)應(yīng)的復(fù)原濾波器，使用劣化圖像和復(fù)原濾波器，對(duì)應(yīng)每個(gè)復(fù)原區(qū)域復(fù)原劣化圖像。PSF根據(jù)透鏡的種類、變焦倍率、F值、被攝體距離、視角(像高)等而變化，因此需要準(zhǔn)備多個(gè)復(fù)原濾波器。
[0004]專利文獻(xiàn)I所記載的圖像處理裝置具備保持有多個(gè)復(fù)原濾波器列表的存儲(chǔ)器，上述多個(gè)復(fù)原濾波器列表對(duì)應(yīng)于透鏡的種類、變焦倍率、及F值的組合。各復(fù)原濾波器列表包含根據(jù)被攝體距離而分類的多個(gè)復(fù)原濾波器表，復(fù)原濾波器表對(duì)于每個(gè)像高(復(fù)原區(qū)域)而保持復(fù)原濾波器(構(gòu)成復(fù)原濾波器的濾波器系數(shù)的行列式)(專利文獻(xiàn)I的圖3)。
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開2011-211663號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的課題
[0008]為了適當(dāng)?shù)貙?duì)劣化圖像進(jìn)行點(diǎn)像復(fù)原處理，有時(shí)需要選擇與透鏡的種類、變焦倍率、F值、被攝體距離、視角(像高)等對(duì)應(yīng)的最佳的復(fù)原濾波器，并使用所選擇的復(fù)原濾波器進(jìn)行劣化圖像的復(fù)原處理，但是在該情況下，必須將多個(gè)復(fù)原濾波器存儲(chǔ)保持于存儲(chǔ)器，存在存儲(chǔ)器容量增大這樣的問題。
[0009]在專利文獻(xiàn)I中記載有如下內(nèi)容:離散地保持多個(gè)復(fù)原濾波器，通過插值生成與中間值對(duì)應(yīng)的復(fù)原濾波器，由此減少保持復(fù)原濾波器的存儲(chǔ)器的容量。
[0010]但是，存在如下問題:在通過離散地保持復(fù)原濾波器來(lái)減少?gòu)?fù)原濾波器的數(shù)量的情況下，當(dāng)擴(kuò)大被離散地保持的復(fù)原濾波器的間隔(例如，被攝體距離的間隔)時(shí)，無(wú)法通過插值生成適當(dāng)?shù)膹?fù)原濾波器，或者在通過所生成的復(fù)原濾波器進(jìn)行過度校正的情況下，反而會(huì)使分辨率變差。另外，作為產(chǎn)生過度校正的條件，可以想到誤測(cè)量被攝體距離，其結(jié)果是，使用與錯(cuò)誤的被攝體距離對(duì)應(yīng)的復(fù)原濾波器。
[0011]本發(fā)明鑒于這樣的情況而作出，目的在于提供攝像裝置及圖像處理方法，在使用與被攝體距離對(duì)應(yīng)的復(fù)原濾波器對(duì)拍攝到的圖像進(jìn)行復(fù)原處理時(shí)，能夠減少預(yù)先保持的復(fù)原濾波器的數(shù)量，并且能夠提高復(fù)原處理的分辨率。
[0012]用于解決課題的方案
[0013]為了實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)方案的攝像裝置具備:攝像部，拍攝由攝影透鏡而成像的被攝體像，取得表示該被攝體像的圖像；第一被攝體距離推定部，求出由攝像部進(jìn)行攝像時(shí)的、由焦點(diǎn)檢測(cè)部推定出的被攝體距離；復(fù)原濾波器存儲(chǔ)部，存儲(chǔ)從多個(gè)復(fù)原濾波器中選擇的一個(gè)以上的復(fù)原濾波器，該多個(gè)復(fù)原濾波器是至少基于與被攝體距離對(duì)應(yīng)的攝影透鏡的點(diǎn)像分布函數(shù)而制作出的；復(fù)原濾波器選擇部，基于由第一被攝體距離推定部推定出的被攝體距離從存儲(chǔ)于復(fù)原濾波器存儲(chǔ)部的復(fù)原濾波器中選擇與被攝體距離對(duì)應(yīng)的復(fù)原濾波器；及復(fù)原處理部，使用由復(fù)原濾波器選擇部選擇的復(fù)原濾波器，進(jìn)行由攝像部取得的圖像的復(fù)原處理，復(fù)原濾波器存儲(chǔ)部存儲(chǔ)相當(dāng)于以下被攝體距離與無(wú)限遠(yuǎn)之間的范圍內(nèi)的復(fù)原濾波器，該被攝體距離是將由第一被攝體距離推定部推定出的最近側(cè)的被攝體距離加上最近側(cè)的被攝體距離的推定偏差的范圍中的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差而得到的。
[0014]根據(jù)本發(fā)明的一個(gè)方案，在復(fù)原濾波器存儲(chǔ)部中存儲(chǔ)至少基于與被攝體距離對(duì)應(yīng)的攝影透鏡的點(diǎn)像分布函數(shù)而制作出的多個(gè)復(fù)原濾波器，但不是存儲(chǔ)對(duì)可拍攝的被攝體距離的整個(gè)范圍制作出的多個(gè)復(fù)原濾波器，而是存儲(chǔ)從多個(gè)復(fù)原濾波器中選擇的一個(gè)以上的復(fù)原濾波器。即，復(fù)原濾波器存儲(chǔ)部存儲(chǔ)相當(dāng)于以下被攝體距離與無(wú)限遠(yuǎn)之間的范圍內(nèi)的復(fù)原濾波器，該被攝體距離是將由第一被攝體距離推定部推定出的最近側(cè)的被攝體距離加上最近側(cè)的被攝體距離的與由第一被攝體距離推定部推定出的被攝體距離對(duì)應(yīng)的推定偏差的范圍中的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差而得到的被攝體距離(以下稱為“推定偏差最近距離”)。
[0015]點(diǎn)像分布函數(shù)(PSF)因被攝體距離而不同，具有最近側(cè)的PSF比無(wú)限遠(yuǎn)側(cè)的PSF寬的形狀。其結(jié)果是，比無(wú)限遠(yuǎn)側(cè)的復(fù)原濾波器靠最近側(cè)的復(fù)原濾波器被預(yù)先準(zhǔn)備而作為進(jìn)行更強(qiáng)的復(fù)原處理的濾波器。
[0016]比推定偏差最近距離靠最近側(cè)的范圍內(nèi)的復(fù)原濾波器有可能進(jìn)行過度校正的復(fù)原處理。因此，僅存儲(chǔ)相當(dāng)于推定偏差最近距離與無(wú)限遠(yuǎn)之間的被攝體距離的范圍內(nèi)的復(fù)原濾波器，能夠從最開始就不具有比推定偏差最近距離靠最近側(cè)的范圍內(nèi)的復(fù)原濾波器，由此降低存儲(chǔ)于復(fù)原濾波器存儲(chǔ)部的復(fù)原濾波器的數(shù)量。
[0017]在本發(fā)明的另一方案的攝像裝置中，優(yōu)選的是，第一被攝體距離推定部基于攝影透鏡的聚焦透鏡的透鏡位置來(lái)推定被攝體距離。
[0018]在本發(fā)明的又一方案的攝像裝置中，優(yōu)選的是，攝影透鏡是可更換透鏡，由第一被攝體距離推定部推定出的被攝體距離的推定偏差的范圍中的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差是可更換透鏡的個(gè)體差異引起的推定偏差和可更換透鏡的溫度特性引起的推定偏差中的至少一方。
[0019]在本發(fā)明的又一方案的攝像裝置中，優(yōu)選的是，攝像裝置具備:推定偏差獲取部，取得由第一被攝體距離推定部推定出的被攝體距離的推定偏差的范圍中的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差；及第二被攝體距離推定部，算出將由第一被攝體距離推定部推定出的被攝體距離加上由推定偏差獲取部取得的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差而得到的被攝體距離，復(fù)原濾波器選擇部選擇存儲(chǔ)于復(fù)原濾波器存儲(chǔ)部的一個(gè)以上的復(fù)原濾波器中的最接近由過第二被攝體距離推定部算出的被攝體距離的無(wú)限遠(yuǎn)側(cè)的復(fù)原濾波器。
[0020]由第一被攝體距離推定部來(lái)推定被攝體距離，由推定偏差獲取部取得該推定出的被攝體距離的偏差(推定偏差)的范圍中的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差。算出將由第一被攝體距離推定部推定出的被攝體距離加上由推定偏差獲取部取得的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差而得到的被攝體距離。該算出的被攝體距離是所推定出的被攝體距離偏移至最無(wú)限遠(yuǎn)側(cè)時(shí)的被攝體距離。并且，在從存儲(chǔ)于復(fù)原濾波器存儲(chǔ)部的、與被攝體距離對(duì)應(yīng)的一個(gè)以上的復(fù)原濾波器中選擇在復(fù)原處理中使用的復(fù)原濾波器時(shí)，選擇最接近所算出的被攝體距離的無(wú)限遠(yuǎn)側(cè)所對(duì)應(yīng)的復(fù)原濾波器。
[0021]通過選擇相對(duì)于所推定出的被攝體距離偏移至最無(wú)限遠(yuǎn)側(cè)時(shí)的被攝體距離最接近的無(wú)限遠(yuǎn)側(cè)所對(duì)應(yīng)的復(fù)原濾波器，能夠選擇偏移至最無(wú)限遠(yuǎn)側(cè)時(shí)的被攝體距離所對(duì)應(yīng)的復(fù)原濾波器或進(jìn)行比其弱的復(fù)原處理的復(fù)原濾波器。由此，能夠防止由于所選擇的復(fù)原濾波器而成為過度校正的復(fù)原處理(能夠防止分辨率變差)，并且能夠提高復(fù)原濾波器的分辨率。
[0022]在本發(fā)明的又一方案的攝像裝置中，優(yōu)選的是，攝影透鏡是內(nèi)置有復(fù)原濾波器存儲(chǔ)部的可更換透鏡。由此，能夠不在攝像裝置主體側(cè)設(shè)置復(fù)原濾波器存儲(chǔ)部而從透鏡側(cè)的復(fù)原濾波器存儲(chǔ)部取得與該透鏡對(duì)應(yīng)的復(fù)原濾波器。
[0023]在本發(fā)明的又一方案的攝像裝置中，優(yōu)選的是，攝影透鏡是可更換透鏡，推定偏差獲取部從可更換透鏡取得該可更換透鏡的個(gè)體差異引起的推定偏差和可更換透鏡的溫度特性引起的推定偏差中的至少一方。
[0024]在本發(fā)明的又一方案的攝像裝置中，優(yōu)選的是，攝影透鏡是可更換透鏡，推定偏差獲取部具有從所安裝的可更換透鏡取得該可更換透鏡的透鏡信息的透鏡信息獲取部和存儲(chǔ)多個(gè)可更換透鏡的各推定偏差的推定偏差存儲(chǔ)部，該推定偏差獲取部從推定偏差存儲(chǔ)部取得與由透鏡信息獲取部取得的透鏡信息對(duì)應(yīng)的推定偏差。
[0025]在本發(fā)明的又一方案的攝像裝置中，優(yōu)選的是，攝像裝置具備記錄部，記錄由復(fù)原處理部進(jìn)行復(fù)原處理而得到的圖像。
[0026]本發(fā)明的又一方案的攝像裝置中，包括:圖像取得工序，從具有攝影透鏡的攝像部取得表示被攝體像的圖像；第一被攝體距離推定工序，求出由攝像部進(jìn)行攝像時(shí)的、由焦點(diǎn)檢測(cè)部推定出的被攝體距離；準(zhǔn)備復(fù)原濾波器存儲(chǔ)部的工序，該復(fù)原濾波器存儲(chǔ)部存儲(chǔ)從多個(gè)復(fù)原濾波器中選擇的一個(gè)以上的復(fù)原濾波器，該多個(gè)復(fù)原濾波器是至少基于與被攝體距離對(duì)應(yīng)的攝影透鏡的點(diǎn)像分布函數(shù)而制作出的；復(fù)原濾波器選擇工序，基于由第一被攝體距離推定出工序推定的被攝體距離從存儲(chǔ)于復(fù)原濾波器存儲(chǔ)部的復(fù)原濾波器中選擇與被攝體距離對(duì)應(yīng)的復(fù)原濾波器；及復(fù)原處理工序，使用由復(fù)原濾波器選擇工序選擇的復(fù)原濾波器進(jìn)行由攝像部取得的圖像的復(fù)原處理，復(fù)原濾波器存儲(chǔ)部存儲(chǔ)相當(dāng)于以下被攝體距離與無(wú)限遠(yuǎn)之間的范圍內(nèi)的復(fù)原濾波器，該被攝體距離是將由第一被攝體距離推定工序推定出的最近側(cè)的被攝體距離加上最近側(cè)的被攝體距離的與由第一被攝體距離推定部推定出的被攝體距離對(duì)應(yīng)的推定偏差的范圍中的無(wú)限遠(yuǎn)側(cè)的最大的推定偏差而得到的。
[0027]發(fā)明效果
[0028]根據(jù)本發(fā)明，在使用與被攝體距離對(duì)應(yīng)的復(fù)原濾波器進(jìn)行拍攝到的圖像的復(fù)原處理時(shí)，僅存儲(chǔ)相當(dāng)于推定偏差最近距離與無(wú)限遠(yuǎn)之間的被攝體距離的范圍內(nèi)的復(fù)原濾波器，從最開始就不具有比推定偏差最近距離靠最近側(cè)的范圍內(nèi)的復(fù)原濾波器，由此能夠減少預(yù)先保持的復(fù)原濾波器的數(shù)量。另外，比推定偏差最近距離靠最近側(cè)的范圍內(nèi)的復(fù)原濾波器有可能進(jìn)行過度校正的復(fù)原處理，因此優(yōu)選不使用這些復(fù)原濾波器。
【附圖說明】
[0029]圖1是作為本發(fā)明的一個(gè)方式的攝像裝置的外觀圖。
[0030]圖2是圖1所示的攝像裝置的后視圖。
[0031]圖3是圖1所示的攝像裝置的主要部分框圖。
[0032]圖4是表示對(duì)比度自動(dòng)聚焦處理的流程的圖。
[0033]圖5是說明對(duì)比度自動(dòng)聚焦的圖。
[0034]圖6是聚焦透鏡控制部的主要部分框圖。
[0035]圖7是進(jìn)行點(diǎn)像復(fù)原處理的主CPU及數(shù)字信號(hào)處理部的主要部分框圖。
[0036]圖8是說明本發(fā)明的第一實(shí)施方式的復(fù)原濾波器的存儲(chǔ)及選擇的方法的圖。
[0037]圖9是說明本發(fā)明的第一實(shí)施方式的復(fù)原濾波器的存儲(chǔ)及選擇的方法的圖。
[0038]圖10是說明本發(fā)明的第一實(shí)施方式的復(fù)原濾波器的存儲(chǔ)及選擇的方法的圖。
[0039]圖11是說明本發(fā)明的第二實(shí)施方式的復(fù)原濾波器的存儲(chǔ)及選擇的方法的圖。
[0040]圖12是說明本發(fā)明的第二實(shí)施方式的復(fù)原濾波器的存儲(chǔ)及選擇的方法的圖。
[0041]圖13是說明本發(fā)明的第二實(shí)施方式的復(fù)原濾波器的存儲(chǔ)及選擇的方法的圖。
[0042]圖14是作為攝像裝置的其他實(shí)施方式的智能手機(jī)的外觀圖。
[0043]圖15是表示智能手機(jī)的主要部分結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0044]圖1是表示本發(fā)明的一個(gè)方式的攝像裝置100的外觀的立體圖。攝像裝置100由攝像裝置主體200和以能夠更換的方式安裝于攝像裝置主體200的透鏡裝置300構(gòu)成。攝像裝置主體200與透鏡裝置300通過設(shè)于攝像裝置主體200的卡口 246 (發(fā)送單元、接收單元)、與卡口 246對(duì)應(yīng)的透鏡裝置300側(cè)的卡口 346 (接收單元、發(fā)送單元)(參照?qǐng)D3)結(jié)合而以能夠更換