專利名稱：攝像裝置、圖像處理裝置、圖像處理方法及圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成減少了因攝像時(shí)的手抖動(dòng)所引起的模糊的復(fù)原圖像的攝像裝置、圖像處理裝置、圖像處理方法及圖像處理程序。
背景技術(shù)：
若由數(shù)碼相機(jī)獲取圖像(攝像)，則由于CO)(Charge-CoupledDevice)或者CMOS的讀出電路的特性、傳輸路線的特性會(huì)在圖像中添加噪聲。另外，會(huì)產(chǎn)生因在攝像時(shí)沒有對(duì)焦(焦點(diǎn)偏離out-of-focus)所引起的圖像的模糊(模糊blur)、因手抖動(dòng)(camerashake)等所引起的圖像的模糊。由此，在攝像圖像中，在因攝像圖像固有的特性所引起的噪聲之中會(huì)添加以攝影時(shí)的人為操作為起因的模糊，從而導(dǎo)致圖像劣化。有時(shí)將這些“模糊”之中的、攝影(曝光)中的因照相機(jī)的運(yùn)動(dòng)所引起的圖像的模糊稱作“運(yùn)動(dòng)模糊(motionblur)”。 近年來(lái)，尤其隨著高靈敏度攝影的需求的增大，而需要將因模糊導(dǎo)致劣化后的圖像(以下稱為“劣化圖像”)復(fù)原到盡可能接近于原始圖像(以下稱為“理想圖像”)的圖像。為了實(shí)現(xiàn)高靈敏度攝影要求的明亮且沒有噪聲、模糊的圖像，大致有提高靈敏度的觀點(diǎn)和增長(zhǎng)曝光時(shí)間的觀點(diǎn)。然而,若提高靈敏度,則噪聲也會(huì)被放大，因而信號(hào)會(huì)被埋在噪聲中從而成為噪聲占大半的圖像這樣的情況居多。另一方面，通過(guò)增長(zhǎng)曝光時(shí)間，在此處產(chǎn)生的光將蓄積得較多，從而得到噪聲少的圖像。在該情況下，雖然信號(hào)不會(huì)被噪聲埋沒，但是卻存在下述問(wèn)題由于手抖動(dòng)，使得在圖像中容易產(chǎn)生運(yùn)動(dòng)模糊。因此，以往采取了用兩種觀點(diǎn)增長(zhǎng)曝光時(shí)間時(shí)的應(yīng)對(duì)方法。一種方法為透鏡移位、傳感器移位這樣的光學(xué)式手抖動(dòng)補(bǔ)償。另一種方法為利用所獲得的圖像、傳感器求出運(yùn)動(dòng)模糊的方向/大小，此后利用信號(hào)處理來(lái)復(fù)原圖像的方法(基于信號(hào)處理的復(fù)原方法)。在光學(xué)式手抖動(dòng)補(bǔ)償中，補(bǔ)償?shù)姆秶嬖谙拗啤Ｈ粼鲩L(zhǎng)曝光時(shí)間，則由于容易產(chǎn)生手抖動(dòng)，因而需要增大透鏡、傳感器的工作范圍。但是，若工作范圍變大，則存在著在透鏡、傳感器移動(dòng)時(shí)產(chǎn)生時(shí)間延遲這樣的問(wèn)題。另外，在大型化方面存在尺寸的物理限制?；谛盘?hào)處理的復(fù)原方法例如已經(jīng)被專利文獻(xiàn)I、非專利文獻(xiàn)I、非專利文獻(xiàn)2等公開。以下，說(shuō)明基于信號(hào)處理的復(fù)原方法。在此，假設(shè)用I (x，y)來(lái)表示在攝像元件的攝像面所形成的圖像的亮度分布。坐標(biāo)(x，y)為表示攝像面的像素(光感測(cè)單元)的位置的2維坐標(biāo)。在圖像例如由被排列成矩陣狀的MXN個(gè)像素構(gòu)成的情況下，若假設(shè)X以及y分別為滿足O彡X彡M-I以及O彡y彡N-I關(guān)系的整數(shù)，則能夠利用坐標(biāo)(x，y)來(lái)確定構(gòu)成圖像的各個(gè)像素的位置。在此，假設(shè)將坐標(biāo)的原點(diǎn)(0，0)置于圖像的左上角，X軸沿著垂直方向延伸，y軸沿著水平方向延伸。其中，坐標(biāo)的取法是任意的。若將沒有模糊(blur)的圖像(理想圖像或源圖像)的亮度分布設(shè)為L(zhǎng)(x，y)，將對(duì)模糊進(jìn)行規(guī)定的PSF即“點(diǎn)擴(kuò)散函數(shù)(Point Spread Function) ”設(shè)為PSF (x, y)，將噪聲設(shè)為n (x，y)，則以下的式I成立。[數(shù)學(xué)式I] I (x, y) = PSF (x, y) *L (x, y) +n (x, y)(式 I)其中，記號(hào)表示2維的卷積運(yùn)算(convolution)。手抖動(dòng)的點(diǎn)擴(kuò)散函數(shù)PSF(X，y)依賴于攝影(曝光)中的手抖動(dòng)的軌跡。由于手抖動(dòng)的軌跡因每次照相機(jī)的攝影而不同，因而PSF(X，y)也因每次照相機(jī)攝影而變化。利用陀螺儀傳感器等檢測(cè)攝影中的手抖動(dòng)的軌跡，在PSF(x，y)為已知的情況下，通過(guò)使用該P(yáng)SF(x,y)來(lái)進(jìn)行反卷積運(yùn)算(deconvolution),從而可以從劣化圖像I (x,y)來(lái)復(fù)原圖像L(x,y)。另一方面,在PSF(x, y)為未知的情況下,需要根據(jù)劣化圖像I (x, y)來(lái)推測(cè)PSF (x,y)進(jìn)而復(fù)原圖像L (x，y)。將前者稱為“非盲 反卷積”，將后者稱為“盲 反·卷積”。在盲 反卷積中，由于需要根據(jù)劣化圖像I (x，y)來(lái)推測(cè)PSF (x,y)以及圖像L(x，y)雙方，因而與非盲·反卷積相比難以降低模糊。對(duì)因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定的PSF的卷積運(yùn)算是由線性濾波器進(jìn)行的。2維卷積運(yùn)算的線性濾波器，通常利用由具有NXN像素的尺寸的系數(shù)矩陣構(gòu)成的積分核(核)來(lái)表現(xiàn)。其中，N為3以上的整數(shù)。對(duì)模糊進(jìn)行規(guī)定的PSF可利用模糊核(blur kernel)來(lái)表現(xiàn)。為了根據(jù)有模糊的圖像來(lái)復(fù)原減低了模糊的圖像(包括去除了模糊后的圖像)，需要推測(cè)對(duì)模糊進(jìn)行規(guī)定的模糊核。作為基于信號(hào)處理的圖像復(fù)原，例如非專利文獻(xiàn)I公開了 在根據(jù)有模糊的I枚圖像來(lái)推測(cè)模糊核以及復(fù)原圖像的情況下使用多尺度推測(cè)法(multi-scale inferencescheme)。在該多尺度推測(cè)法中，最初使用分辨率低的劣化圖像來(lái)推測(cè)具有3X3像素的尺寸的模糊核。然后，通過(guò)逐漸提高在推測(cè)中所用的劣化圖像的分辨率，從而模糊核的分辨率也得以提高。圖18(a) (h)是用于說(shuō)明在非專利文獻(xiàn)I中公開的方法的圖。圖18(a)的上半部分示出3X3像素的模糊核，下半部分示出所對(duì)應(yīng)的分辨率的復(fù)原圖像。圖18(b) (h)也同樣,分辨率逐漸提高。在分辨率低的劣化圖像中，由于像素?cái)?shù)少，因而因手抖動(dòng)所引起的模糊的像素尺寸也變小。其結(jié)果，在分辨率低的劣化圖像中，模糊核的尺寸也變小，推測(cè)模糊核所需的計(jì)算量也變少。另外，若從最初開始便使用像素?cái)?shù)大的高分辨率的劣化圖像來(lái)進(jìn)行模糊核的推測(cè)，貝1J會(huì)在不同于真正模糊核的模糊核(局部解local minima)產(chǎn)生收斂。由此,根據(jù)多尺度推測(cè)法能夠提高模糊核的推測(cè)精度?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本特開2009-111596號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)I :Rob Fergus et al. , " Removing camera shake from asingleimage" ，Barun Singh Aaron Hertzmann，SIGGRAPH 2006非專利文獻(xiàn)2 : " High-quality Motion Deblurring from a Single Image"，Qi Shan, Jiaya Jia，and Aseem Agarwala, SIGGRAPH 2008

發(fā)明內(nèi)容
發(fā)明要解決的技術(shù)問(wèn)題根據(jù)在非專利文獻(xiàn)1、2中公開的方法，最終的模糊核的尺寸預(yù)先被設(shè)定為固定值。因而，為了對(duì)運(yùn)動(dòng)模糊的程度大的劣化圖像正確地進(jìn)行復(fù)原處理，需要預(yù)先將模糊核的尺寸設(shè)定為較大的值。然而包括超過(guò)了所設(shè)定的模糊核的尺寸這樣的較大運(yùn)動(dòng)模糊在內(nèi)的劣化圖像卻無(wú)法正確地復(fù)原。尤其，較之為了拍攝遠(yuǎn)處的被攝體而增大光學(xué)系統(tǒng)的變焦倍率(或焦點(diǎn)距離)的情況、變焦倍率小的情況，圖像的運(yùn)動(dòng)模糊的程度會(huì)變大。因此，在為了拍攝遠(yuǎn)處的場(chǎng)景而增大變焦倍率的情況下，需要將模糊核的尺寸預(yù)先設(shè)定為較大的值。其中，本說(shuō)明書中的“變焦倍率”是指，攝影時(shí)的焦點(diǎn)距離相對(duì)于攝像裝置中的光學(xué)系統(tǒng)的最小(廣角側(cè))焦點(diǎn)距離的比例。因此，假設(shè)在攝影時(shí)的焦點(diǎn)距離為最小焦點(diǎn)距離時(shí)，變焦倍率為I倍。本說(shuō)明書中的“變焦倍率”并非是指，一般采用的望遠(yuǎn)側(cè)的焦點(diǎn)距離相對(duì)于廣角側(cè)的焦點(diǎn)距離的比例。 另外，在黑暗環(huán)境中進(jìn)行拍攝時(shí)，為了確保充分的受光量，需要增長(zhǎng)曝光時(shí)間。但是，若增長(zhǎng)曝光時(shí)間，則因照相機(jī)的運(yùn)動(dòng)所引起的圖像的運(yùn)動(dòng)模糊的程度一般會(huì)變大。因此，為了拍攝黑暗場(chǎng)景而增長(zhǎng)曝光時(shí)間的情況仍需要將模糊核的尺寸預(yù)先設(shè)定為較大的值。然而，若增大模糊核的尺寸，則需要對(duì)運(yùn)動(dòng)模糊的程度小的圖像也進(jìn)行基于具有較大尺寸的模糊核的復(fù)原處理，因而存在復(fù)原處理所需的計(jì)算量變多的問(wèn)題。例如，在模糊核的尺寸被設(shè)定為100X 100像素時(shí)，在利用其中的IOX 10像素來(lái)復(fù)原能規(guī)定運(yùn)動(dòng)模糊的圖像的情況下，不需要產(chǎn)生相對(duì)于100X100-10X10 = 9900像素的計(jì)算。專利文獻(xiàn)I公開了 針對(duì)包括超過(guò)了預(yù)先設(shè)定的模糊核的尺寸的運(yùn)動(dòng)模糊在內(nèi)的圖像，在縮小了像素尺寸之后再進(jìn)行模糊核的算出以及復(fù)原處理。由此，針對(duì)運(yùn)動(dòng)模糊的程度大的圖像也能利用所設(shè)定的尺寸的模糊核正確地進(jìn)行復(fù)原。根據(jù)該方法，在運(yùn)動(dòng)模糊的程度小的圖像中不用進(jìn)行像素尺寸的縮小，只針對(duì)運(yùn)動(dòng)模糊的程度大的圖像進(jìn)行像素尺寸的縮小即可，因而能夠?qū)⒛：说某叽缫种频幂^低。然而，在專利文獻(xiàn)I中公開的技術(shù)之中，由于針對(duì)運(yùn)動(dòng)模糊的程度大的圖像，在縮小像素尺寸之后才進(jìn)行復(fù)原處理，因而被復(fù)原的圖像也被縮小。由于被復(fù)原的圖像需要按照成為與源圖像相同的像素尺寸的方式進(jìn)行放大，因而最終獲得的圖像與源圖像相比，畫質(zhì)劣化了。本發(fā)明是為了解決上述現(xiàn)有技術(shù)中的問(wèn)題而提出的。本發(fā)明的目的在于提供一種圖像復(fù)原技術(shù)，在劣化圖像的運(yùn)動(dòng)模糊的程度小的情況下能夠抑制復(fù)原處理所需的計(jì)算量、且即便在劣化圖像的運(yùn)動(dòng)模糊的程度大的情況下也不會(huì)產(chǎn)生復(fù)原圖像的畫質(zhì)劣化。為了解決技術(shù)問(wèn)題所采用的技術(shù)方案本發(fā)明的攝像裝置是生成減少了因攝像時(shí)的手抖動(dòng)所引起的模糊的復(fù)原圖像的攝像裝置，所述攝像裝置具備攝像元件；光學(xué)系統(tǒng)，其在所述攝像元件的攝像面形成像；和圖像處理部，其對(duì)由所述攝像元件獲取到的信號(hào)進(jìn)行處理。所述圖像處理部具有模糊核決定部，其決定模糊核，該模糊核對(duì)由所述攝像元件獲取到的圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定；和圖像復(fù)原部，其使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像，所述模糊核決定部基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定所述模糊核的尺寸。在某實(shí)施方式中，所述模糊核決定部根據(jù)所述光學(xué)系統(tǒng)的變焦倍率來(lái)改變所述模糊核的尺寸。在某實(shí)施方式中，攝像裝置還具備變換表格，該變換表格對(duì)所述光學(xué)系統(tǒng)的變焦倍率與所述模糊核的尺寸之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定，所述模糊核決定部基于所述變換表格來(lái)決定所述模糊核的尺寸。在某實(shí)施方式中，所述變換表格對(duì)所述光學(xué)系統(tǒng)的變焦倍率與所述模糊核相對(duì)于基準(zhǔn)尺寸的倍率之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定。在某實(shí)施方式中，所述模糊核決定部基于所述光學(xué)系統(tǒng)的變焦倍率以及曝光時(shí)間的兩個(gè)信息來(lái)決定所述模糊核的尺寸。
在某實(shí)施方式中，攝像裝置還具備變換表格，該變換表格對(duì)所述光學(xué)系統(tǒng)的變焦倍率以及所述曝光時(shí)間的組合與所述模糊核的尺寸之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定，所述模糊核決定部基于所述變換表格來(lái)決定所述模糊核的尺寸。在某實(shí)施方式中，所述模糊核決定部根據(jù)曝光時(shí)間來(lái)改變所述模糊核的尺寸。在某實(shí)施方式中，攝像裝置還具備變換表格，該變換表格對(duì)所述曝光時(shí)間與所述模糊核的尺寸之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定，所述模糊核決定部基于所述變換表格來(lái)決定所述模糊核的尺寸。在某實(shí)施方式中，所述變換表格對(duì)所述曝光時(shí)間與所述模糊核相對(duì)于基準(zhǔn)尺寸的倍率之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定。在某實(shí)施方式中，攝像裝置還具備手抖動(dòng)檢測(cè)部，該手抖動(dòng)檢測(cè)部對(duì)攝像時(shí)的手抖動(dòng)的大小進(jìn)行檢測(cè)，所述模糊核決定部基于由所述手抖動(dòng)檢測(cè)部檢測(cè)到的所述手抖動(dòng)的大小來(lái)決定所述模糊核的尺寸。在某實(shí)施方式中，所述手抖動(dòng)檢測(cè)部為陀螺儀傳感器。本發(fā)明的圖像處理裝置是生成從由攝像裝置獲取到的圖像之中減少了因手抖動(dòng)引起的模糊的復(fù)原圖像的圖像處理裝置。所述圖像處理裝置具備圖像獲取部，其獲取圖像以及給所述圖像的模糊的程度帶來(lái)影響的信息；模糊核決定部，其決定模糊核，該模糊核對(duì)所述圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定；和圖像復(fù)原部，其使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像。所述模糊核決定部基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定所述模糊核的尺寸。在某實(shí)施方式中，所述攝像信息為攝像時(shí)的光學(xué)系統(tǒng)的變焦倍率、曝光時(shí)間、表示手抖動(dòng)的大小的信息之中的至少一個(gè)。本發(fā)明的圖像處理程序是用于生成從由攝像裝置獲取到的圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像的程序。所述程序使計(jì)算機(jī)執(zhí)行下述步驟獲取圖像以及給所述圖像的模糊的程度帶來(lái)影響的信息的步驟；基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定對(duì)所述圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定的模糊核的尺寸的步驟；決定所述模糊核的步驟；和使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所弓I起的模糊的復(fù)原圖像的步驟。在某實(shí)施方式中，給所述圖像的模糊的程度帶來(lái)影響的信息為攝像時(shí)的光學(xué)系統(tǒng)的變焦倍率、曝光時(shí)間以及表示手抖動(dòng)的大小的信息之中的至少一個(gè)。本發(fā)明的圖像處理方法是生成從由攝像裝置獲取到的圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像的圖像處理方法。所述圖像處理方法包括下述步驟獲取圖像以及給所述圖像的模糊的程度帶來(lái)影響的信息的步驟；基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定對(duì)所述圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定的模糊核的尺寸的步驟；決定所述模糊核的步驟；和使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像的步驟。在某實(shí)施方式中，給所述圖像的模糊的程度帶來(lái)影響的信息為攝像時(shí)的光學(xué)系統(tǒng)的變焦倍率、曝光時(shí)間以及表示手抖動(dòng)的大小的信息之中的至少一個(gè)。發(fā)明效果
根據(jù)本發(fā)明，在劣化圖像的運(yùn)動(dòng)模糊的程度小的情況下能夠抑制復(fù)原處理所需的 計(jì)算量、且即便在劣化圖像的運(yùn)動(dòng)模糊的程度大的情況下也可進(jìn)行沒有產(chǎn)生復(fù)原圖像的畫 質(zhì)劣化的圖像復(fù)原。


圖IA是表示本發(fā)明的攝像裝置的概略構(gòu)成的一例的圖。圖IB是表示本發(fā)明的圖像處理裝置的概略構(gòu)成的一例的圖。圖IC是表示由圖像處理部或圖像處理裝置進(jìn)行的圖像復(fù)原處理流程的概略的流程圖。圖2(a)是表示具有3X3像素的尺寸的模糊核的一例的圖，圖2(b)是表示沒有模糊的圖像的像素值的排列例的圖。圖3A是表示相對(duì)于圖2(b)的圖像中的位置(x，y) = (2,2)的像素的卷積運(yùn)算結(jié)果的圖。圖3B是表示相對(duì)于圖2(b)的圖像中的位置(x，y) = (2,3)的像素的卷積運(yùn)算結(jié)果的圖。圖4(a)是表示9X9像素的模糊核的系數(shù)矩陣的一例的圖，圖4(b)是將圖4(a)所示的系數(shù)之中的、具有非零值的要素涂黑、將具有零值的要素涂白之后的圖。圖5(a)是例示性表示模糊核尺寸相對(duì)于變焦倍率的變化的圖，圖5(b)是示意性表示在照相機(jī)以某角度旋轉(zhuǎn)時(shí)變焦倍率越大圖像的運(yùn)動(dòng)模糊的程度越大的圖。圖6(a)是表示在被假定的手抖動(dòng)小的情況下模糊核的尺寸被設(shè)定為較小的值的圖，圖6(b)是表示在被假定的手抖動(dòng)大的情況下模糊核的尺寸被設(shè)定為較大的值的圖。圖7是表示實(shí)施方式I中的攝像裝置的概略構(gòu)成的框圖。圖8是示意性表示攝像部100中的攝像元件10、攝影透鏡20、光學(xué)系統(tǒng)驅(qū)動(dòng)部40的概略構(gòu)成的圖。圖9是攝像元件10的攝像面IOa的示意性俯視圖。圖10是表示圖6所示的圖像處理部220的構(gòu)成例的框圖。圖11(a)是表不實(shí)施方式I中的變換表格的一例的圖，圖11(b)是表不實(shí)施方式I中的變換表格的其他例的圖。圖12是表示在實(shí)施方式I中被執(zhí)行的復(fù)原處理的例子的流程圖。
圖13(a)是表不與曝光時(shí)間相關(guān)的變換表格的一例的圖，圖13(b)是表不與曝光時(shí)間相關(guān)的變換表格的其他例的圖。圖14(a)是表不與變焦倍率以及曝光時(shí)間的組合相關(guān)的變換表格的一例的圖，圖14 (b)是表示與變焦倍率以及曝光時(shí)間的組合相關(guān)的變換表格的其他例的圖。圖15是表示實(shí)施方式2中的攝像裝置的概略構(gòu)成的框圖。圖16是表不實(shí)施方式2中的變換表格的一例的圖。圖17是表示在實(shí)施方式2中被執(zhí)行的復(fù)原處理的例子的流程圖。圖18(a) (h)是用于說(shuō)明在非專利文獻(xiàn)I中公開的方法的圖。
具體實(shí)施例方式
·
以下，在說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式之前，先說(shuō)明本發(fā)明的基本原理。其中，在本說(shuō)明書中，以與它們的“像素?cái)?shù)”或“像素尺寸”相同含義來(lái)說(shuō)明圖像或模糊核的“尺寸”。圖IA是表示本發(fā)明的攝像裝置的概略構(gòu)成的一例的圖。攝像裝置具備攝像部100，其具有攝像元件10以及光學(xué)系統(tǒng)20 ;和圖像處理部220，其對(duì)由攝像元件10獲取到的圖像信號(hào)進(jìn)行處理。圖像處理部220具有模糊核決定部227，其決定模糊核，該模糊核對(duì)由攝像元件10獲取到的圖像的運(yùn)動(dòng)模糊進(jìn)行規(guī)定；和圖像復(fù)原部224，其生成復(fù)原圖像。模糊核決定部227能夠基于變焦倍率或曝光時(shí)間等給圖像的運(yùn)動(dòng)模糊的程度帶來(lái)影響的信息(以下有時(shí)稱為“攝像信息”。)來(lái)改變模糊核的尺寸。圖IB是表示本發(fā)明的圖像處理裝置的概略構(gòu)成的一例的圖。圖像處理裝置250具備圖像獲取部223，其獲取由攝像裝置獲取到的圖像以及攝像時(shí)的變焦倍率或曝光時(shí)間等攝像信息；模糊核決定部227，其決定對(duì)圖像的運(yùn)動(dòng)模糊進(jìn)行規(guī)定的模糊核；和圖像復(fù)原部224，其生成復(fù)原圖像。模糊核決定部227能夠基于變焦倍率或曝光時(shí)間等攝像信息來(lái)改變模糊核的尺寸。圖IC是表示由圖像處理部220或圖像處理裝置250進(jìn)行的圖像復(fù)原處理流程的一例的流程圖。首先，在步驟SlOl中，獲取由攝像裝置獲取到的劣化圖像以及攝像信息。其次，在步驟102中，決定對(duì)劣化圖像的運(yùn)動(dòng)模糊的程度進(jìn)行規(guī)定的模糊核尺寸。接著，在步驟S103中，決定模糊核。然后，在步驟104中，使用所決定出的模糊核來(lái)生成復(fù)原圖像。根據(jù)以上的處理獲得了從劣化圖像之中去除了運(yùn)動(dòng)模糊的復(fù)原圖像。根據(jù)本發(fā)明，通過(guò)基于給圖像的運(yùn)動(dòng)模糊的程度帶來(lái)影響的信息來(lái)適當(dāng)?shù)貨Q定模糊核的尺寸，從而可以在抑制運(yùn)算量的同時(shí)進(jìn)行高精度的復(fù)原。關(guān)于各處理的詳細(xì)內(nèi)容將在后面敘述。其次，參照?qǐng)D2來(lái)具體說(shuō)明本發(fā)明的模糊核。圖2(a)示出具有3X3像素的尺寸的模糊核的一例。該模糊核對(duì)由于曝光中的手抖動(dòng)而使得照相機(jī)在水平方向上僅移動(dòng)了 3像素時(shí)的模糊的一例進(jìn)行規(guī)定。圖2(b)是表示沒有模糊的圖像的像素值的排列例的圖。假設(shè)沒有模糊的圖像具有5X5像素的尺寸。圖2(b)示出的25個(gè)數(shù)值為構(gòu)成圖像的像素的亮度值的例子。在用圖2(a)所示的模糊核所表示的因手抖動(dòng)所引起的模糊產(chǎn)生時(shí)，通過(guò)對(duì)圖2(b)的圖像執(zhí)行基于圖2(a)的模糊核的2維卷積運(yùn)算，從而獲得了劣化圖像。若將模糊核設(shè)為K，將源圖像設(shè)為L(zhǎng)，將噪聲設(shè)為N，則通過(guò)攝影所獲取到的圖像(劣化圖像)I由以下的式2進(jìn)行表示。
[數(shù)學(xué)式2]I = K*L+N (式 2)圖3A示出對(duì)圖2(b)的圖像中的位置(x，y) = (2,2)的像素的卷積運(yùn)算結(jié)果。該運(yùn)算是針對(duì)圖3A的左端的圖像中的被虛線矩形包圍的3X3像素=9個(gè)像素值而進(jìn)行的。模糊核中的9個(gè)系數(shù)之中的3個(gè)要素具有O. 2,0. 4,0. 4的值，其他6個(gè)要素具有零值。若進(jìn)行使用了該模糊核的卷積運(yùn)算，則O. 2、0.4、0. 4的系數(shù)分別與圖像內(nèi)的位置(2，1)、(2，2)、(2,3)的像素值相乘，并求出總和。其結(jié)果，獲得了 18X0. 2+19X0. 4+21X0.4 = 19.6的值，該值作為運(yùn)算后的像素值而被保存在位置(2,2)處。另一方面，圖3B示出對(duì)圖2(b)的圖像中的位置(x，y) = (2,3)的像素的卷積運(yùn)算結(jié)果。該運(yùn)算是針對(duì)圖3B的左端的圖像中的被虛線矩形包圍的3X3像素=9個(gè)像素值而進(jìn)行的。若進(jìn)行使用了模糊核的卷積運(yùn)算，則O. 2,0. 4,0. 4的系數(shù)分別與圖像內(nèi)的位置(2，2)、(2,3), (2,4)的像素值相乘，并求出總和。其結(jié)果，獲得了 19X0. 2+21X0. 4+18X0.4·=19. 4的值,該值作為運(yùn)算后的像素值而被保存在位置(2,3)處。對(duì)于被賦予的分辨率(像素?cái)?shù))的圖像的像素值，通過(guò)在使模糊核的中心位置發(fā)生位移的同時(shí)進(jìn)行上述計(jì)算，從而決定出卷積運(yùn)算后的圖像、即具有因手抖動(dòng)所引起的模糊的圖像(劣化圖像)。為了從劣化圖像來(lái)復(fù)原沒有模糊的圖像，需要推測(cè)成為劣化原因的模糊核的系數(shù)矩陣。若推測(cè)出模糊核，則能夠利用反卷積運(yùn)算獲得(復(fù)原)劣化前的圖像。圖4(a)示出9X9像素的模糊核的系數(shù)矩陣的一例。該系數(shù)矩陣之中的非零系數(shù)的總和被標(biāo)準(zhǔn)化為等于I。圖4(b)是將圖4(a)所示的系數(shù)之中的、具有非零值的要素涂黑、將具有零值的要素涂白之后的圖。圖4(b)的黑色要素的集合對(duì)應(yīng)于手抖動(dòng)的軌跡。根據(jù)曝光中的手抖動(dòng)的軌跡的不同，圖4(b)的黑色要素的集合具有不同圖案。手抖動(dòng)是由于曝光中的照相機(jī)的活動(dòng)而產(chǎn)生的，因此該軌跡由連結(jié)起點(diǎn)和終點(diǎn)的直線或曲線構(gòu)成。如圖4(b)所示，在利用具有有限尺寸的模糊核所表現(xiàn)的手抖動(dòng)軌跡中，其一部分中包含的“曲線”也是通過(guò)用直線連接2個(gè)像素而獲得的。在本發(fā)明中，關(guān)于模糊核的尺寸，并非在攝影前被預(yù)先設(shè)定，而是基于所假定的圖像的運(yùn)動(dòng)模糊的程度的大小來(lái)適應(yīng)性決定。模糊核的尺寸例如基于變焦的倍率或曝光時(shí)間等來(lái)決定。圖5(a)是例示性表示圖像的運(yùn)動(dòng)模糊的程度與變焦倍率之間關(guān)系的曲線圖。如圖示那樣，一般，變焦倍率越大，圖像的運(yùn)動(dòng)模糊的程度也越大。圖5(b)是示意性表示手抖動(dòng)產(chǎn)生時(shí)的圖像的運(yùn)動(dòng)模糊的程度隨著變焦倍率而變化的圖。在此，考慮通過(guò)在曝光中因手抖動(dòng)導(dǎo)致攝像裝置以某角度旋轉(zhuǎn)時(shí)的、攝像裝置的重心A、和將旋轉(zhuǎn)前后的光軸上的對(duì)應(yīng)點(diǎn)彼此之間連結(jié)起來(lái)的線段所形成的三角形。變焦倍率小時(shí)的三角形ΛΑΒΒ'和變焦倍率大時(shí)的三角形AACC'彼此相似。如圖示那樣，變焦倍率越大則所形成的三角形越大，因而可知圖像的運(yùn)動(dòng)模糊的程度也變大。簡(jiǎn)單進(jìn)行考慮，由于在具有相似關(guān)系的2個(gè)三角形中在I邊被設(shè)為m倍(m:正的數(shù))時(shí)其余的邊也為m倍，因而圖像的運(yùn)動(dòng)模糊的程度與變焦倍率成比例地增大。然而，實(shí)際上，曝光時(shí)間中的攝像裝置并不以一定的角速度進(jìn)行活動(dòng)而是進(jìn)行不規(guī)則的活動(dòng)，因而若曝光時(shí)間變長(zhǎng)則變焦倍率與運(yùn)動(dòng)模糊的程度之間的關(guān)系會(huì)偏離簡(jiǎn)單的比例關(guān)系。
同樣情況在增長(zhǎng)攝影時(shí)的曝光時(shí)間時(shí)也會(huì)產(chǎn)生。一般，即便變焦倍率一定，由于曝光時(shí)間越長(zhǎng)也會(huì)蓄積較多因手抖動(dòng)所引起的模糊，因而圖像的運(yùn)動(dòng)模糊的程度變大。以下，示出在本發(fā)明中可設(shè)定的模糊核的尺寸的例子。圖6(a)示出運(yùn)動(dòng)模糊的程度較小的圖像中的模糊核的尺寸。這對(duì)應(yīng)于例如變焦倍率小的情況、曝光時(shí)間短的情況等。此時(shí)，模糊核的尺寸被設(shè)定為較小的尺寸。圖6(b)示出運(yùn)動(dòng)模糊的程度較大的圖像中的模糊核的尺寸的例子。這對(duì)應(yīng)于例如變焦倍率大的情況、曝光時(shí)間長(zhǎng)的情況等。此時(shí)，模糊核的尺寸被設(shè)定為較大的尺寸。由此，根據(jù)本發(fā)明，基于變焦倍率或曝光時(shí)間等的、給圖像的運(yùn)動(dòng)模糊的程度帶來(lái)影響的信息，設(shè)定與被假定的運(yùn)動(dòng)模糊的程度相符合的模糊核的尺寸。其結(jié)果，在對(duì)運(yùn)動(dòng)模糊的程度小的圖像的復(fù)原處理中，能夠防止計(jì)算量不必要地增多。另外，與在專利文獻(xiàn)I中公開的技術(shù)不同，由于不會(huì)伴有源圖像的像素尺寸的縮小以及復(fù)原圖像的像素尺寸的放大處理，因而最終的復(fù)原圖像的分辨率不會(huì)降低。其結(jié)果，可以獲得高畫質(zhì)的復(fù)原圖像。其中， 在本發(fā)明中，給圖像的運(yùn)動(dòng)模糊的程度帶來(lái)影響的信息并不限于變焦倍率、曝光時(shí)間。例如，如后述那樣，也可以為表示利用被搭載于攝像裝置的手抖動(dòng)檢測(cè)機(jī)構(gòu)所檢測(cè)到的手抖動(dòng)的大小的信息。以下，參照?qǐng)D7 圖17來(lái)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。在以下的說(shuō)明中，針對(duì)同一構(gòu)成要素賦予相同的參考符號(hào)。(實(shí)施方式I)首先，參照?qǐng)D7 圖14來(lái)說(shuō)明本發(fā)明的第I實(shí)施方式。圖7是表示本實(shí)施方式的攝像裝置的概略構(gòu)成的框圖。本實(shí)施方式的攝像裝置為數(shù)字式的電子照相機(jī)，具備攝像部100 ;信號(hào)處理部200，其進(jìn)行各種信號(hào)處理；攝像顯示部300，其對(duì)通過(guò)攝像所獲取到的圖像進(jìn)行顯示；記錄介質(zhì)400，其對(duì)圖像的數(shù)據(jù)進(jìn)行記錄；和系統(tǒng)控制部500，其對(duì)各部進(jìn)行控制。攝像部100具有攝像元件(圖像傳感器)10，其具備被排列在攝像面上的多個(gè)光感測(cè)單元(光電二極管)；快門15，其具有光圈功能；和攝影透鏡20，其用于在攝像元件10的攝像面上形成像。另外，攝像部100還具有光學(xué)系統(tǒng)驅(qū)動(dòng)部40，其對(duì)快門15以及攝影透鏡20進(jìn)行驅(qū)動(dòng)；和攝像元件驅(qū)動(dòng)部30，其對(duì)攝像元件10進(jìn)行驅(qū)動(dòng)。攝像元件10的典型例為CCD或CMOS傳感器。本實(shí)施方式中的攝影透鏡20具有公知構(gòu)成，在現(xiàn)實(shí)中為由多個(gè)透鏡構(gòu)成的透鏡單元。光學(xué)系統(tǒng)驅(qū)動(dòng)部40例如由透鏡驅(qū)動(dòng)器等LSI構(gòu)成，對(duì)快門15以及攝影透鏡20進(jìn)行驅(qū)動(dòng),執(zhí)行光學(xué)變焦、自動(dòng)曝光(AE Auto Exposure)、自動(dòng)對(duì)焦(AF AutoFocus)所需的動(dòng)作。攝像元件驅(qū)動(dòng)部30例如由(XD驅(qū)動(dòng)器等LSI構(gòu)成。攝像元件驅(qū)動(dòng)部30通過(guò)驅(qū)動(dòng)攝像元件10，由此從攝像元件10之中讀出模擬信號(hào)并變換成數(shù)字信號(hào)。信號(hào)處理部200具備圖像處理部(圖像處理器)220、存儲(chǔ)器240、接口(IF)部260以及變換表格280。變換表格280是對(duì)攝影時(shí)的變焦倍率與模糊核的尺寸之間的關(guān)系進(jìn)行規(guī)定的表格。圖像處理部220基于變換表格280的信息來(lái)改變模糊核的尺寸。此外，變換表格280也可以被保存在存儲(chǔ)器240或其他記錄介質(zhì)中。以下，將在變換表格中所記錄的信息稱為“變換表格信息”。另外，信號(hào)處理部200與液晶顯示面板等顯示部300、以及存儲(chǔ)卡等記錄介質(zhì)400連接。記錄介質(zhì)可以從攝像裝置拆卸下來(lái)。圖像處理部220除了進(jìn)行色調(diào)補(bǔ)償、分辨率變更、自動(dòng)曝光、自動(dòng)對(duì)焦、數(shù)據(jù)壓縮等的動(dòng)作所需的各種信號(hào)處理之外，還執(zhí)行本發(fā)明的劣化圖像的復(fù)原處理。圖像處理部220通過(guò)公知的數(shù)字信號(hào)處理器(DSP)等硬件、和執(zhí)行包括本發(fā)明涉及的圖像復(fù)原處理在內(nèi)的圖像處理的軟件的組合而被適當(dāng)?shù)貙?shí)現(xiàn)。存儲(chǔ)器240由DRAM等構(gòu)成。該存儲(chǔ)器240對(duì)從攝像部100獲得的圖像數(shù)據(jù)進(jìn)行記錄，并且對(duì)由圖像處理部220受理了各種圖像處理之后的圖像數(shù)據(jù)或被壓縮過(guò)的圖像數(shù)據(jù)進(jìn)行暫時(shí)性記錄。在這些圖像數(shù)據(jù)被變換為模擬信號(hào)之后，或者被顯示部300顯示，或者以數(shù)字信號(hào)的形式直接經(jīng)由接口部260記錄至記錄介質(zhì)400 中。上述的構(gòu)成要素由包括未圖示的中央運(yùn)算處理單元(CPU)以及閃存在內(nèi)的系統(tǒng)控制部500進(jìn)行控制。此外，本實(shí)施方式的攝像裝置可具備取景器、電源(電池)、閃光燈等的公知構(gòu)成要素，但是由于這些說(shuō)明對(duì)于本發(fā)明的理解不是特別需要，因而將其省略。其次，參照?qǐng)D8以及圖9來(lái)說(shuō)明攝像部100的構(gòu)成。圖8示意性示出攝像部100中的攝像元件10、透鏡20以及光學(xué)系統(tǒng)驅(qū)動(dòng)部40的概略構(gòu)成。如圖示那樣，攝像元件10具有攝像面10a。在攝像面IOa上排列有多個(gè)光感測(cè)單元。透鏡20基于來(lái)自光學(xué)系統(tǒng)驅(qū)動(dòng)部40的信號(hào)在與攝像面垂直的方向上進(jìn)行移動(dòng)，由此能夠改變焦點(diǎn)距離，改變變焦倍率。此外，在圖8中，為了便于說(shuō)明，描繪出透鏡20為I個(gè)透鏡的情形，但是實(shí)際上透鏡20可由多個(gè)透鏡的組合構(gòu)成。 圖9是示意性表示攝像面IOa的俯視圖。在該例子中，光感測(cè)單元11被排列成矩陣狀。其中，光感測(cè)單元11的排列方式并不限于圖示的例子，各個(gè)光感測(cè)單元的平面形狀也并不限于正方形。為了生成彩色的圖像信號(hào)，作為典型的情況而在多個(gè)光感測(cè)單元11之上配置了原色濾色器或補(bǔ)色濾色器。此外，也可采用下述構(gòu)成具備3個(gè)攝像元件，在將光分離成例如RGB的3色之后，用各自不同的攝像元件來(lái)接收各個(gè)顏色的光。根據(jù)以上的構(gòu)成，攝像部100向信號(hào)處理部200送出通過(guò)攝像所獲取到的圖像以及表示攝像時(shí)的變焦倍率的信息(變焦信息)。其次，參照?qǐng)D10來(lái)說(shuō)明圖像處理部220的構(gòu)成。圖10是表示圖像處理部220的概略構(gòu)成的框圖。圖像處理部220獲取劣化圖像、變焦信息以及變換表格信息，輸出從劣化圖像之中減低了因手抖動(dòng)所引起的模糊的復(fù)原圖像。圖像處理部220包括圖像獲取部223、核尺寸決定部221、初始核設(shè)定部222、圖像復(fù)原部224、核推測(cè)部226、參數(shù)更新部228。圖像獲取部223從攝像部100之中獲取劣化圖像以及變焦信息。核尺寸決定部221基于從攝像部100之中獲取到的變焦信息、以及在變換表格280中所記錄的變換表格信息，決定模糊核的尺寸。具體而言，根據(jù)變換表格來(lái)求出與劣化圖像獲取時(shí)的變焦倍率相對(duì)應(yīng)的“模糊核倍率”，并將所求出的模糊核倍率與基準(zhǔn)尺寸相乘之后的值決定為模糊核的尺寸。其中，“基準(zhǔn)尺寸”是指，變焦倍率為I倍時(shí)的模糊核的尺寸。基準(zhǔn)尺寸既可以作為固定值預(yù)先被設(shè)定在攝像裝置中，也可以由用戶手動(dòng)地進(jìn)行設(shè)定。在由用戶手動(dòng)地設(shè)定了模糊核的尺寸的情況下，能夠設(shè)定在考慮了因用戶的差異所引起的運(yùn)動(dòng)模糊的程度的差異的基礎(chǔ)上的、更優(yōu)選的基準(zhǔn)尺寸。或者，也可以基于圖像獲取時(shí)的各種攝影參數(shù)來(lái)決定因攝影的不同而不同的尺寸。關(guān)于變換表格的詳細(xì)內(nèi)容將在后面敘述。初始核設(shè)定部222對(duì)復(fù)原處理所需的初始模糊核進(jìn)行設(shè)定。初始模糊核既可以手動(dòng)地設(shè)定，也可以預(yù)先被設(shè)定為固定的系數(shù)矩陣?；蛘?，也可以基于圖像獲取時(shí)的各種攝影參數(shù)來(lái)決定因攝影的不同而不同的初始模糊核。從縮短圖像處理所需的時(shí)間這一觀點(diǎn)出發(fā)，雖然優(yōu)選初始模糊核接近于實(shí)際的模糊核，但是即便在并不一定接近的情況下也可以進(jìn)行復(fù)原處理。其中，初始模糊核的尺寸可設(shè)定為因后述的復(fù)原算法的不同而不同的值。例如，在使用非專利文獻(xiàn)I所公開的算法的情況下，初始模糊核的尺寸被設(shè)定為3X3像素等的較小的值。另外，在使用在復(fù)原過(guò)程中不會(huì)伴有模糊核的尺寸的變化的算法的情況下，初始模糊核的尺寸被設(shè)定為由上述核尺寸決定部221所決定的尺寸。圖像復(fù)原部224使用初始模糊核而從劣化圖像來(lái)生成復(fù)原圖像。核推測(cè)部226基于劣化圖像、以及由圖像復(fù)原部224所生成的復(fù)原圖像，進(jìn)行模糊核的推測(cè)。參數(shù)更新部228以由核推測(cè)部226所推測(cè)出的模糊核來(lái)更新初始模糊核。被更新的初始模糊核賦予給圖像復(fù)原部224，從而反復(fù)執(zhí)行上述處理。圖10所示的構(gòu)成示出圖像處理部220的功能塊的一例，圖像處理部220可分割給其他功能塊。圖像處理部220還可以通過(guò)在例如公知硬件中組合圖像處理的軟件來(lái)適當(dāng)?shù)貙?shí)現(xiàn)。其中，將圖10中的核尺寸決定部221以及核推測(cè)部226 —并稱為模糊核決定部227。
其次，說(shuō)明本實(shí)施方式中的變換表格。圖11(a)是表示本實(shí)施方式中的變換表格的一例的圖。在該例子中，在變換表格之中規(guī)定了變焦倍率的范圍與模糊核倍率之間的對(duì)應(yīng)關(guān)系。通過(guò)參照這樣的變換表格，可知例如在變焦倍率處于zl倍 z2倍的范圍內(nèi)時(shí)，核尺寸決定部221應(yīng)將模糊核的倍率設(shè)定為Al倍。圖11 (b)是表示變換表格的其他例的圖。如該例所示，也可按照根據(jù)變焦倍率直接決定模糊核的尺寸的方式進(jìn)行規(guī)定。在該情況下，無(wú)需設(shè)定上述的模糊核的基準(zhǔn)尺寸。例如，在變焦倍率處于zl倍 z2倍的范圍內(nèi)時(shí)，模糊核的尺寸被設(shè)定為NI XNl (NI 3以上的整數(shù))。此外，由于通過(guò)改變光學(xué)系統(tǒng)的焦點(diǎn)距離來(lái)調(diào)整變焦倍率，因而也可在變換表格中取代“變焦倍率”而規(guī)定“焦點(diǎn)距離”。變換表格并不限于上述內(nèi)容，只要表示光學(xué)系統(tǒng)的變焦倍率與模糊核的尺寸之間的對(duì)應(yīng)關(guān)系，無(wú)論什么樣的表格均可。變換表格預(yù)先被制成為事前信息。以下，說(shuō)明變換表格的制成方法的一例。首先，在被設(shè)定為某變焦倍率的狀態(tài)下，拍攝多個(gè)人多次作為目標(biāo)的物體(在圖像內(nèi)能測(cè)量移動(dòng)距離的這種圖表、點(diǎn)光源等)，并分別測(cè)量移動(dòng)量。其次，關(guān)于其他變焦倍率也進(jìn)行同樣的測(cè)量，按每個(gè)變焦倍率求出移動(dòng)量的平均值。表示由此獲得的平均移動(dòng)量與變焦倍率之間關(guān)系的信息被記錄至變換表格中。此外，在變換表格中所保存的信息也可以根據(jù)需要進(jìn)行重寫。例如，攝像裝置也可以具備對(duì)用戶過(guò)去進(jìn)行過(guò)的攝影中的圖像的運(yùn)動(dòng)模糊的趨勢(shì)進(jìn)行學(xué)習(xí)，并與該用戶相匹配地重寫變換表格的功能。其次，說(shuō)明使用本實(shí)施方式的攝像裝置進(jìn)行攝影時(shí)的概略順序的例子。首先，用戶使攝像裝置面向被攝體，選擇所期望的變焦倍率。接著，若用戶半按下快門按鈕，則通過(guò)自動(dòng)對(duì)焦動(dòng)作使得焦點(diǎn)對(duì)焦于被攝體。若用戶深按下快門按鈕，則開始“曝光”。此時(shí)，在攝像元件10的攝像面形成了被攝體的像。若在曝光中由于用戶而使得攝像裝置不穩(wěn)定地活動(dòng)，則像在攝像元件10的攝像面上移動(dòng)，因而因手抖動(dòng)所引起的模糊被附加在圖像上。若曝光結(jié)束，則攝像部100向信號(hào)處理部200中的圖像處理部220送出所獲取到的圖像(劣化圖像)以及表示變焦倍率的信息(變焦信息)。其次，參照?qǐng)D12來(lái)說(shuō)明圖像處理部220中的動(dòng)作順序。
圖像處理部220在步驟SI中獲取劣化圖像。同樣地，在步驟S2中，獲取變焦信息。其中，步驟SI和步驟S2也可以互逆。其次，在步驟S3中，由核尺寸決定部221決定模糊核的尺寸。此時(shí)，核尺寸決定部221參照變換表格信息來(lái)決定與變焦倍率對(duì)應(yīng)的模糊核的尺寸。接下來(lái)，在步驟S4中由初始模糊核設(shè)定部222決定初始模糊核。接著，在步驟S5中，圖像復(fù)原部224使用在步驟SI中獲取到的劣化圖像和在步驟S4中設(shè)定出的初始模糊核來(lái)執(zhí)行圖像復(fù)原處理。該圖像復(fù)原處理是由圖像復(fù)原部224利用公知的復(fù)原算法來(lái)執(zhí)行的。圖像復(fù)原部224將所獲得到的復(fù)原圖像暫時(shí)記錄至存儲(chǔ)器240中。在步驟S6中，核推測(cè)部226根據(jù)復(fù)原圖像來(lái)進(jìn)行模糊核的推測(cè)，參數(shù)更新部228利用所推測(cè)出的模糊核來(lái)更新以前的模糊核。接下來(lái)，在步驟S7中，判定更新前后的模糊核以及更新前后的復(fù)原圖像的變化是 否小于規(guī)定的閾值。在變化為閾值以上的情況下，再次進(jìn)行步驟S5的處理，以后直到變化變得小于閾值為止反復(fù)進(jìn)行步驟S5 S7。在變化不小于閾值的情況下，判斷出處理已收斂，在步驟S8中將復(fù)原結(jié)果保存至存儲(chǔ)器240中。以下，說(shuō)明在步驟S5、S6中可進(jìn)行的模糊核的推測(cè)以及圖像復(fù)原的詳細(xì)內(nèi)容。在此，說(shuō)明基于在非專利文獻(xiàn)2中公開的信號(hào)處理法進(jìn)行的圖像復(fù)原方法。在采用非專利文獻(xiàn)2的信號(hào)處理法的情況下，首先基于在步驟S4中設(shè)定出的初始模糊核來(lái)進(jìn)行第I圖像復(fù)原。該階段的模糊核并非一定與真正模糊核(正解)一致，但是被復(fù)原的結(jié)果與劣化圖像相比要接近于源圖像。接下來(lái)，根據(jù)作為第I圖像復(fù)原結(jié)果的第I復(fù)原圖像來(lái)進(jìn)行模糊核的推測(cè)。由于第I復(fù)原圖像比劣化圖像更接近于源圖像，因而被推測(cè)的模糊核接近于正解。使用在此推測(cè)出的模糊核來(lái)進(jìn)行第2圖像復(fù)原，即通過(guò)用接下來(lái)的模糊核來(lái)更新初始模糊核由此進(jìn)行第2圖像復(fù)原。直到模糊核無(wú)變化以及圖像復(fù)原結(jié)果無(wú)變化為止反復(fù)進(jìn)行該處理，由此同時(shí)進(jìn)行模糊核推測(cè)和圖像復(fù)原。以下，敘述圖像復(fù)原處理的更具體的方法。圖像復(fù)原部224根據(jù)被賦予的模糊核(最初為初始值，接著以后為更新值)和劣化圖像來(lái)進(jìn)行圖像的復(fù)原。將在該處理中使用的評(píng)價(jià)式EL表示為式3。[數(shù)學(xué)式3]
\
( Σ— " ] ]+ Λ, Φι,κΧ Φ ,J0Lij ,+.V) I 山L 一 I!, I j Μ + ■<)%,L — ■ K11■ ] ii I (式 3)其中，I為劣化圖像，L為沒有模糊的圖像L，f為模糊核。變量wk、λ I、λ 2是被手動(dòng)設(shè)定的“權(quán)重”。 為規(guī)定對(duì)圖像實(shí)施什么樣微分的運(yùn)算符的組(set)。O具體而言具有0次微分、I次微分(X、y方向各一次)、2次微分(X方向2次、y方向2次、x和y方向各I次)的合計(jì)6個(gè)微分參數(shù)。d*為微分運(yùn)算符。若使用d*來(lái)表現(xiàn)Θ，則表現(xiàn)為Θ ={d°, dx，dy，dxx，dxy，dyy}?？衫胏T來(lái)進(jìn)行使用了亮度信息和邊緣信息雙方的處理，僅由亮度無(wú)法獲得的信息也能夠得到。M為2維的掩碼(mask)，在圖像中的平坦區(qū)域、即局部平滑區(qū)域(Ω)所包含的像素之中具有“I”要素，在除此之外的像素之中具有“O”要素。Μ · I |p為P范數(shù)運(yùn)算符。Φ (X)為近似地表示被自然觀察到的圖像中的亮度梯度X與其分布密度(對(duì)數(shù)顯示)之間關(guān)系的函數(shù)。式3的右邊中的第I項(xiàng)為表示進(jìn)行復(fù)原圖像L和模糊核f的卷積所得到的圖像與劣化圖像I之差(距離)的項(xiàng)。通過(guò)對(duì)圖像實(shí)施6個(gè)微分參數(shù)的運(yùn)算，從而能夠基于亮度以外的信息來(lái)評(píng)價(jià)圖像的近似度。式3的右邊中的第2項(xiàng)為表示圖像內(nèi)的亮度梯度的性質(zhì)(稱為“heavytail”)的項(xiàng)。Φ (dxL)、Φ (dyL)具有下述統(tǒng)計(jì)性質(zhì)在使復(fù)原圖像的亮度梯度直方圖化時(shí)，梯度在O附近出現(xiàn)了出現(xiàn)概率陡峭的峰值，隨著梯度的增大而出現(xiàn)概率變小。在第2項(xiàng)中，針對(duì)X方向的梯度和y方向的梯度分別算出距表示上述統(tǒng)計(jì)性質(zhì)的分布的距離。即便在非專利文獻(xiàn)I所公開的方法中也利用了該統(tǒng)計(jì)性質(zhì)。式3的右邊中的第3項(xiàng)為使用掩碼M、微分劣化圖像和微分復(fù)原圖像來(lái)進(jìn)行平坦度的評(píng)價(jià)的項(xiàng)。在平坦區(qū)域中，在劣化圖像與復(fù)原圖像之間具有亮度的梯度值接近的值。因 而，將x、y方向的梯度值的誤差用作評(píng)價(jià)值。通過(guò)求出使式3的右邊最小化的L，從而能夠求出復(fù)原圖像L(L的最優(yōu)化)。L的最優(yōu)化的具體計(jì)算方法已經(jīng)被非專利文獻(xiàn)2公開。其次，詳細(xì)說(shuō)明在獲得了復(fù)原圖像L之后進(jìn)行的、基于核推測(cè)部226的處理。模糊核推測(cè)是使用由圖像復(fù)原部224獲得到的復(fù)原圖像L和劣化圖像I來(lái)推測(cè)模糊核f的問(wèn)題。關(guān)于f，按照使以下的式4的右邊最小化的方式?jīng)Q定f，由此能夠求出模糊核f(f的最優(yōu)化)。[數(shù)學(xué)式4]
權(quán)利要求
1.一種攝像裝置，其生成減少了因攝像時(shí)的手抖動(dòng)所引起的模糊的復(fù)原圖像， 所述攝像裝置具備 攝像元件； 光學(xué)系統(tǒng)，其在所述攝像元件的攝像面形成像；和 圖像處理部，其對(duì)由所述攝像元件獲取到的信號(hào)進(jìn)行處理， 所述圖像處理部具有 模糊核決定部，其決定模糊核，該模糊核對(duì)由所述攝像元件獲取到的圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定；和 圖像復(fù)原部，其使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像， 所述模糊核決定部基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定所述模糊核的尺寸。
2.根據(jù)權(quán)利要求I所述的攝像裝置，其中， 所述模糊核決定部根據(jù)所述光學(xué)系統(tǒng)的變焦倍率來(lái)改變所述模糊核的尺寸。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 所述攝像裝置還具備變換表格，該變換表格對(duì)所述光學(xué)系統(tǒng)的變焦倍率與所述模糊核的尺寸之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定， 所述模糊核決定部基于所述變換表格來(lái)決定所述模糊核的尺寸。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其中， 所述變換表格對(duì)所述光學(xué)系統(tǒng)的變焦倍率與所述模糊核相對(duì)于基準(zhǔn)尺寸的倍率之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定。
5.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 所述模糊核決定部基于所述光學(xué)系統(tǒng)的變焦倍率以及曝光時(shí)間的兩個(gè)信息來(lái)決定所述模糊核的尺寸。
6.根據(jù)權(quán)利要求5所述的攝像裝置，其中， 所述攝像裝置還具備變換表格，該變換表格對(duì)所述光學(xué)系統(tǒng)的變焦倍率以及所述曝光時(shí)間的組合與所述模糊核的尺寸之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定， 所述模糊核決定部基于所述變換表格來(lái)決定所述模糊核的尺寸。
7.根據(jù)權(quán)利要求I所述的攝像裝置，其中， 所述模糊核決定部根據(jù)曝光時(shí)間來(lái)改變所述模糊核的尺寸。
8.根據(jù)權(quán)利要求7所述的攝像裝置，其中， 所述攝像裝置還具備變換表格，該變換表格對(duì)所述曝光時(shí)間與所述模糊核的尺寸之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定， 所述模糊核決定部基于所述變換表格來(lái)決定所述模糊核的尺寸。
9.根據(jù)權(quán)利要求8所述的攝像裝置，其中， 所述變換表格對(duì)所述曝光時(shí)間與所述模糊核相對(duì)于基準(zhǔn)尺寸的倍率之間的對(duì)應(yīng)關(guān)系進(jìn)行規(guī)定。
10.根據(jù)權(quán)利要求I至9任一項(xiàng)所述的攝像裝置，其中， 所述攝像裝置還具備手抖動(dòng)檢測(cè)部，該手抖動(dòng)檢測(cè)部對(duì)攝像時(shí)的手抖動(dòng)的大小進(jìn)行檢測(cè)， 所述模糊核決定部基于由所述手抖動(dòng)檢測(cè)部檢測(cè)到的所述手抖動(dòng)的大小來(lái)決定所述模糊核的尺寸。
11.根據(jù)權(quán)利要求10所述的攝像裝置，其中， 所述手抖動(dòng)檢測(cè)部為陀螺儀傳感器。
12.—種圖像處理裝置，其生成從由攝像裝置獲取到的圖像之中減少了因手抖動(dòng)引起的模糊的復(fù)原圖像， 所述圖像處理裝置具備 圖像獲取部，其獲取圖像以及給所述圖像的模糊的程度帶來(lái)影響的信息； 模糊核決定部，其決定模糊核，該模糊核對(duì)所述圖像的因手抖動(dòng)所弓I起的模糊進(jìn)行規(guī)定；和 圖像復(fù)原部，其使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像， 所述模糊核決定部基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定所述模糊核的尺寸。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中， 所述攝像信息為攝像時(shí)的光學(xué)系統(tǒng)的變焦倍率、曝光時(shí)間、表示手抖動(dòng)的大小的信息之中的至少一個(gè)。
14.一種程序，用于生成從由攝像裝置獲取到的圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像， 所述程序使計(jì)算機(jī)執(zhí)行下述步驟 獲取圖像以及給所述圖像的模糊的程度帶來(lái)影響的信息的步驟； 基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定對(duì)所述圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定的模糊核的尺寸的步驟； 決定所述模糊核的步驟；和 使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像的步驟。
15.根據(jù)權(quán)利要求14所述的程序，其中， 給所述圖像的模糊的程度帶來(lái)影響的信息為攝像時(shí)的光學(xué)系統(tǒng)的變焦倍率、曝光時(shí)間以及表示手抖動(dòng)的大小的信息之中的至少一個(gè)。
16.一種圖像處理方法，生成從由攝像裝置獲取到的圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像， 所述圖像處理方法包括下述步驟 獲取圖像以及給所述圖像的模糊的程度帶來(lái)影響的信息的步驟； 基于給所述圖像的模糊的程度帶來(lái)影響的信息來(lái)決定對(duì)所述圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定的模糊核的尺寸的步驟； 決定所述模糊核的步驟；和 使用所決定出的所述模糊核來(lái)生成從所述圖像之中減少了因手抖動(dòng)所引起的模糊的復(fù)原圖像的步驟。
17.根據(jù)權(quán)利要求16所述的圖像處理方法，其中， 給所述圖像的模糊的程度帶來(lái)影響的信息為攝像時(shí)的光學(xué)系統(tǒng)的變焦倍率、曝光時(shí)間以及表示手抖動(dòng)的大小的信息之中的至少一個(gè)。
全文摘要
本發(fā)明提供一種攝像裝置、圖像處理裝置、圖像處理方法及圖像處理程序。攝像裝置生成減少了因攝像時(shí)的手抖動(dòng)所引起的模糊的復(fù)原圖像。攝像裝置具備攝像元件(10)、光學(xué)系統(tǒng)(20)、和對(duì)由攝像元件(10)獲取到的圖像信號(hào)進(jìn)行處理的圖像處理部(220)。圖像處理部(220)具有模糊核決定部，其決定對(duì)所獲取到的圖像的因手抖動(dòng)所引起的模糊進(jìn)行規(guī)定的模糊核；和圖像復(fù)原部，其生成復(fù)原圖像。模糊核決定部基于光學(xué)系統(tǒng)(20)的變焦倍率等給圖像的模糊的程度帶來(lái)影響的信息來(lái)改變模糊核的尺寸。
文檔編號(hào)G03B7/00GK102907083SQ20118002506
公開日2013年1月30日 申請(qǐng)日期2011年5月11日 優(yōu)先權(quán)日2010年5月21日
發(fā)明者石井育規(guī), 物部祐亮 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社