專利名稱：攝像裝置以及攝像方法、和用于所述攝像裝置的圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于去除振鈴(ringing)的圖像處理裝置以及圖像處理方法。
背景技術(shù)：
若用數(shù)碼照相機(jī)來拍攝圖像，則由于CCD (Charge-Coupled Device)或CMOS的讀出電路的特性或傳輸路徑的特性，會在圖像中加入噪聲。另外，在進(jìn)行拍攝時，還會發(fā)生由于偏離焦點(diǎn)(離焦0Ut-0f-f0CUS)而引起的圖像的模糊(blur)、由于手抖(camera shake) 等而引起圖像的模糊。如此，在拍攝圖像中，由于在拍攝圖像固有的特性引起的噪聲中加入了攝影時的人為操作引起的模糊，因此會導(dǎo)致圖像的劣化。將這些“模糊”中的由于攝影 (曝光)中的照相機(jī)的移動造成的圖像的模糊稱為“抖動(motionblur)”，將其和由離焦而引起的模糊(out-of-focus blur)區(qū)別開來。近年來，特別是由于高靈敏度攝影的需要增大，需要將由于模糊而導(dǎo)致劣化的圖像(下面稱為“劣化圖像”)復(fù)原成盡可能與原始的圖像(下面稱為“理想圖像”)接近的圖像。為了實(shí)現(xiàn)高靈敏度攝影所要求的、明亮且沒有噪聲或模糊的圖像，大致上有提高靈敏度的思路和延長曝光時間的思路。但是，若提高靈敏度，則噪聲也會被放大，為此，信號被埋沒在噪聲中，很多情況下會成為噪聲占大半的圖像。另一方面，通過延長曝光時間，較多地積蓄了攝影時的光，能獲得噪聲較少的圖像。這種情況下，雖然信號不會被埋沒在噪聲中，但存在由于手抖而在圖像中產(chǎn)生抖動的問題。因此，過去，在2種思路下采用使曝光時間較長的情況的應(yīng)對法。一種是鏡頭移位或傳感器移位的所謂的光學(xué)式手抖補(bǔ)正。另一種是從獲得的圖像中求取抖動的方向/大小，并據(jù)此通過信號處理來復(fù)原圖像的方法(基于信號處理的復(fù)原方法)。例如在專利文獻(xiàn) 1、專利文獻(xiàn)2、非專利文獻(xiàn)1 5等公開了基于信號處理的復(fù)原方法?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 JP特開2006-U9236號公報專利文獻(xiàn)2 JP特表2009-522825號公報非專利文獻(xiàn)非專利文獻(xiàn) 1 :Qi Shan, Jiaya Jia, and Aseem Agarwala, "High-qualityMotion Deblurring from a Single Image", SIGGRAPH 2008非專利文獻(xiàn)2 米司·田中·奧富共著，「直線的手名扎畫像復(fù)元O tz^^) psf “ ，乂一夕估計手法」，情報処理學(xué)會研究報告，第2005卷，第38號，p. 47-52，2005年(米司、 田中、奧富共通著作“用于直線的手抖圖像復(fù)原的psf參數(shù)估計方法”，信息處理學(xué)會研究報告，第2005卷，第38號，第47 52頁，2005年):J. Bioucas-Dias,Bayesian wavelet-based imagedeconvolution a gem algorithm exploiting a class of heavy-tailed priors“ ，IEEETrans. Image Proc.，vol. 4，pp.937-951，April 2006:Levin, " Blind Motion Deblurring Using Image Statistics"， Advances in Neural Information Processing Systems(NIPS), Dec 2006非專利文獻(xiàn) 5 :Rob Fergus et al. , " Removing camera shake from a singleimage" , Barun Singh Aaron Hertzmann" , SIGGRAPH 200
發(fā)明內(nèi)容
發(fā)明要解決的課題光學(xué)式手抖補(bǔ)正在補(bǔ)正范圍上存在極限，在比過去暗的環(huán)境中聚集了足夠的光量的情況下，必需使運(yùn)轉(zhuǎn)范圍變大。但是，運(yùn)轉(zhuǎn)范圍變大則會產(chǎn)生移動時的時間延遲，另外，在大型化中也有尺寸的物理極限。另外，在通過信號處理而將劣化圖像復(fù)原為理想圖像的方法中，存在會在復(fù)原后的圖像中存在振鈴等的噪聲的問題。“振鈴(ringing)”是指在圖像中使亮度等相同一樣的部分(平坦部)看不到平坦的噪聲。圖1(a)是表示亮度階梯狀變化的圖像(邊緣附近的理想圖像)的平面圖，圖1(b) 是示意性地表示其亮度分布的曲線圖。圖2(a)是表示通過用照相機(jī)對圖1(a)的圖像進(jìn)行拍攝而得到劣化圖像(模糊圖像blurred image)平面圖，圖2(b)是示意性地表示其亮度分布的曲線圖。在此設(shè)在進(jìn)行照相機(jī)拍攝時，在水平橫方向上產(chǎn)生了手抖的情況。圖2(a) 的劣化圖像由于手抖而產(chǎn)生了模糊(抖動)而會失去邊緣的銳利。圖3(a)是表示通過信號處理來復(fù)原圖2(a)的劣化圖像后的圖像的平面圖，圖3(b)是示意性地表示復(fù)原圖像的亮度分布的曲線圖。在圖3(a)的復(fù)原圖像中，存在著亮度周期性地變化的部分。這樣的亮度變化是被稱為“振鈴”的噪聲。在專利文獻(xiàn)1所示的方法中，為了抑制在邊緣附近產(chǎn)生的振鈴，在邊緣附近不利用復(fù)原的結(jié)果，而利用模糊圖像的數(shù)據(jù)。在該方法中，根據(jù)畫面內(nèi)邊緣的強(qiáng)度，來決定利用模糊圖像的數(shù)據(jù)的權(quán)重。但是，必須決定了手抖的量才能決定邊緣的強(qiáng)度。必須決定了邊緣的強(qiáng)度，才能決定利用模糊圖像的數(shù)據(jù)的權(quán)重。因此，存在不能去除振鈴的問題。本發(fā)明為了解決上述課題而提出，考慮了人的知覺特性，提高一種攝像裝置，進(jìn)行降低特性的平坦部中的振鈴的圖像處理。解決課題的手段本發(fā)明的攝像裝置具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理，所述圖像處理部生成從由所述第1攝像元件以及第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。在優(yōu)選的實(shí)施方式中，所述攝像裝置具備存儲器，其記錄用于規(guī)定所述第2攝像元件中的由離焦而引起的模糊的點(diǎn)擴(kuò)散函數(shù)，所述圖像處理部從所述存儲器中讀出用于規(guī)定拍攝時的由離焦而引起的模糊的點(diǎn)擴(kuò)散函數(shù)，將其用于復(fù)原圖像的生成。在優(yōu)選的實(shí)施方式中，所述光學(xué)系統(tǒng)具有成像透鏡；和分光器，其將透過所述成像透鏡的光分離成2個方向，被分離的一方的光入射到所述第1攝像元件，且被分離的另一方的光入射到所述第2攝像元件。在優(yōu)選的實(shí)施方式中，從所述成像透鏡到所述第1攝像元件的光學(xué)距離與從所述成像透鏡到所述第2攝像元件的光學(xué)距離不同。在優(yōu)選的實(shí)施方式中，所述光學(xué)系統(tǒng)具有分光器，其將入射光分離成2個方向； 第1成像透鏡，其將分離的一方的光聚集到所述第1攝像元件上；和第2成像透鏡，其將分離的另一方的光聚集到所述第2攝像元件上。在優(yōu)選的實(shí)施方式中，所述攝像裝置還具備顯示部，在所述顯示部上顯示由所述第1攝像元件所取得的圖像。本發(fā)明的程序控制攝像裝置的動作，所述攝像裝置具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理；所述程序執(zhí)行如下步驟通過所述光學(xué)系統(tǒng)，形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像的步驟；和通過所述圖像處理部，生成從由所述第1攝像元件以及所述第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。本發(fā)明的圖像處理方法是攝像裝置中的圖像處理方法，所述攝像裝置具備第1 攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1 像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第 1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理；所述圖像處理方法包括如下步驟通過所述光學(xué)系統(tǒng)，形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和通過所述圖像處理部，生成從由所述第1攝像元件以及所述第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。本發(fā)明的另外的圖像處理方法是攝像裝置中的圖像處理方法，所述攝像裝置具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理；所述圖像處理方法執(zhí)行如下步驟通過所述光學(xué)系統(tǒng)，形成焦點(diǎn)不在所述第1攝像元件的攝像面上的第1像，且也形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和通過所述圖像處理部，生成從由所述第1攝像元件以及所述第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。發(fā)明的效果根據(jù)本發(fā)明，能降低特別是圖像的平坦部分的振鈴。


圖1 (a)是表示亮度呈階梯狀變化的圖像(邊緣附近的理想圖像)的平面圖；(b) 是示意性地表示其亮度分布的曲線圖。圖2 (a)是表示通過用照相機(jī)對圖1 (a)的圖像進(jìn)行拍攝而得到的劣化圖像(模糊圖像blurred image)的平面圖；(b)是示意性地表示其亮度分布的曲線圖。圖3(a)是表示通過信號處理來復(fù)原圖2(a)的劣化圖像后的圖像的平面圖；(b) 是示意性地表示復(fù)原圖像的亮度分布的曲線圖。圖4(a)是示意性地表示特定的像素具有不是零的亮度，其它的像素具有零的亮度的圖像(點(diǎn)像)的圖；(b)是表示由離焦而引起模糊的點(diǎn)擴(kuò)散函數(shù)PSF的圖；(c)是表示對(a)的圖像進(jìn)行由離焦而引起的模糊的點(diǎn)擴(kuò)散函數(shù)PSF卷積而獲得的圖像的圖。圖5 (a)是表示通過成像透鏡而焦點(diǎn)對準(zhǔn)的情況下的光線圖；(b)是焦點(diǎn)偏離的情況下的光線圖。圖6是表示攝像部100的構(gòu)成的圖。圖7(a) (c)分別是表示攝像部1000的構(gòu)成的具體例的圖。圖8是表示本實(shí)施方式中的攝像裝置的概略構(gòu)成的框圖。圖9(a)是表示背景為黑色、在中心具有小的亮點(diǎn)的圖案的圖，(b)是表示在攝像元件IOA的攝像面上對準(zhǔn)焦點(diǎn)時的像的圖，(c)是表示在攝像元件IOB的攝像面上偏離焦點(diǎn)時的像的圖。圖10是表示圖8所示的圖像處理部220的構(gòu)成例的框圖。圖11是表示在本發(fā)明的上述方式執(zhí)行的復(fù)原處理的例子的流程圖。
具體實(shí)施例方式在說明本發(fā)明的實(shí)施方式之前，先說明本發(fā)明的基本的原理。在本說明書中，用i(x，y)來表示形成于攝像面的圖像的亮度分布。坐標(biāo)(X，y) 是表示攝像面的像素(光感知單元)的位置的二維坐標(biāo)。在圖像例如是由排列成矩陣狀的 MXN個的像素構(gòu)成的情況下，若設(shè)χ以及y分別為滿足0彡χ彡M-1、0彡y彡N-I的關(guān)系的整數(shù)，則能用坐標(biāo)(x，y)來特定構(gòu)成圖像的各個像素的位置。在此，將坐標(biāo)的原點(diǎn)(0，0) 置于圖像的左上角，設(shè)χ軸在垂直方向上延伸，y軸在水平方向上延伸。其中，取坐標(biāo)的方式是任意的。設(shè)沒有模糊(blur)的圖像(理想圖像或原始圖像)的亮度分布為s (X，y)，設(shè)規(guī)定了模糊的PSF即“點(diǎn)擴(kuò)散函數(shù)(Point Spread Function”為f (x，y)，則下述式1成立。[數(shù)1]i(x, y) = s (χ, y)*f (χ, y)(式 1)在此，記號“*”表示卷積運(yùn)算(convolution)。一般用下面的式2來表示式1。[數(shù)2]
權(quán)利要求
1.一種攝像裝置，具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理， 所述圖像處理部生成從由所述第1攝像元件以及第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述攝像裝置具備存儲器，其記錄用于規(guī)定所述第2攝像元件中的由離焦而引起的模糊的點(diǎn)擴(kuò)散函數(shù)，所述圖像處理部從所述存儲器中讀出用于規(guī)定拍攝時的由離焦而引起的模糊的點(diǎn)擴(kuò)散函數(shù)，將其用于復(fù)原圖像的生成。
3.根據(jù)權(quán)利要求1或2所述的攝像裝置，其中， 所述光學(xué)系統(tǒng)具有成像透鏡；和分光器，其將透過所述成像透鏡的光分離成2個方向，被分離的一方的光入射到所述第1攝像元件，且被分離的另一方的光入射到所述第2 攝像元件。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其中，從所述成像透鏡到所述第1攝像元件的光學(xué)距離與從所述成像透鏡到所述第2攝像元件的光學(xué)距離不同。
5.根據(jù)權(quán)利要求1或2所述的攝像裝置，其中， 所述光學(xué)系統(tǒng)具有分光器，其將入射光分離成2個方向；第1成像透鏡，其將分離的一方的光聚集到所述第1攝像元件上；和第2成像透鏡，其將分離的另一方的光聚集到所述第2攝像元件上。
6.根據(jù)權(quán)利要求1 4中任一項(xiàng)所述的攝像裝置，其中， 所述攝像裝置還具備顯示部，在所述顯示部上顯示由所述第1攝像元件所取得的圖像。
7.一種程序，控制攝像裝置的動作， 所述攝像裝置具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理；所述程序執(zhí)行如下步驟通過所述光學(xué)系統(tǒng)，形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和通過所述圖像處理部，生成從由所述第1攝像元件以及所述第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。
8.一種圖像處理方法，是攝像裝置中的圖像處理方法， 所述攝像裝置具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理， 所述圖像處理方法包括如下步驟通過所述光學(xué)系統(tǒng)，形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和通過所述圖像處理部，生成從由所述第1攝像元件以及所述第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。
9.一種圖像處理方法，是攝像裝置中的圖像處理方法， 所述攝像裝置具備第1攝像元件以及第2攝像元件；光學(xué)系統(tǒng)，其形成焦點(diǎn)在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和圖像處理部，其對從所述第1攝像元件以及所述第2攝像元件所獲得的信號進(jìn)行處理；所述圖像處理方法包括如下步驟通過所述光學(xué)系統(tǒng)，形成焦點(diǎn)不在所述第1攝像元件的攝像面上的第1像，且形成焦點(diǎn)不在所述第2攝像元件的攝像面上的第2像；和通過所述圖像處理部，生成從由所述第1攝像元件以及所述第2攝像元件所取得的圖像中減少了由手抖而引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。
全文摘要
本發(fā)明的攝像裝置具備第1攝像元件(10A)以及第2攝像元件(10B)；和光學(xué)系統(tǒng)，其形成焦點(diǎn)在第1攝像元件(10A)的攝像面上的第1像，且形成焦點(diǎn)不在第2攝像元件(10B)的攝像面上的第2像。圖像處理部(220)對從第1攝像元件(10A)以及第2攝像元件(10B)所獲得的信號進(jìn)行處理，生成從由第2攝像元件(10B)所獲得的圖像中減少了由手抖引起的模糊以及由離焦而引起的模糊的復(fù)原圖像。
文檔編號H04N101/00GK102369722SQ201180001619
公開日2012年3月7日 申請日期2011年1月25日 優(yōu)先權(quán)日2010年2月12日
發(fā)明者物部祐亮, 石井育規(guī) 申請人:松下電器產(chǎn)業(yè)株式會社