專利名稱：攝像模塊和攝像裝置以及攝像模塊的信號處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像模塊和攝像裝置以及攝像模塊的信號處理方法，特別是涉及可省略以機械方式進行焦點調(diào)整的焦點調(diào)整裝置且可獲得高分辨率的圖像信號的技術(shù)。
背景技術(shù)：
在現(xiàn)有技術(shù)中，公開了一種如下的攝像裝置通過在攝影光學系統(tǒng)的光路中插入調(diào)制相位的相移片(Phase plate)來放大焦點深度，通過對因放大所述焦點深度而模糊的圖像(大的點像)實施基于具有重構(gòu)處理參數(shù)的核(kernel)的解卷積處理，從而重構(gòu)成高分辨率的圖像(小的點像)(專利文獻1)。在專利文獻2中，公開了如下的技術(shù)在基于攝影光學系統(tǒng)的特性數(shù)據(jù)和攝像元件的輸出信號進行圖像數(shù)據(jù)的亮度/色分離處理和色變換處理之前，對圖像數(shù)據(jù)實施修正因攝像光學系統(tǒng)的色像差或畸變像差等產(chǎn)生的圖像質(zhì)量劣化的處理。此外，在專利文獻3中公開了如下的信號處理裝置具有將在信號的測量、觀測、 記錄過程中已發(fā)生變化的觀測信號重構(gòu)成變化前的信號的重構(gòu)處理部，通過該重構(gòu)處理部，使用已知的變化函數(shù)加工成變化了一次或多次的變化信號，由此減輕噪聲的影響。專利文獻1 JP特開2006-94470號公報專利文獻2 JP特開2002-199410號公報專利文獻3 JP特開2008-118399號公報但是，通過插入相移片使得焦點深度被放大后的圖像的重構(gòu)處理中用到的解卷積 (deconvolution)處理是對像素值乘上增益(重構(gòu)處理參數(shù))來進行卷積運算的處理，因此若在處理對象的圖像數(shù)據(jù)中包含黑色電平(b lack level)，則存在不能正確重構(gòu)的問題。專利文獻1記載的發(fā)明，對從攝像元件輸出的原始數(shù)據(jù)實施基于具有重構(gòu)處理參數(shù)的預定核的解卷積處理，事先并不進行減去黑色電平的處理。另一方面，專利文獻2記載的發(fā)明，在亮度/色分離處理和色變換處理之前不進行擴大被攝體深度的重構(gòu)處理。此外，專利文獻3記載的發(fā)明，雖然基于圖像的模糊信息、圖像的焦點信息、光學信息等的源變化信息而重構(gòu)成變化前的信號，但是由于在重構(gòu)前不進行減去黑色電平的處理，因此不能正確地進行重構(gòu)，而且也不進行擴大被攝體深度的重構(gòu)處理。

發(fā)明內(nèi)容
本發(fā)明鑒于上述情況而完成，其目的在于，提供一種具有能夠從調(diào)制相位而放大了焦點深度的圖像中高精度地重構(gòu)高分辨率的圖像、且能夠?qū)⒅貥?gòu)處理后的圖像直接用在已知的信號處理系統(tǒng)中的兼容性的攝像模塊、和具備該攝像模塊的攝像裝置以及攝像模塊的信號處理方法。為了達到所述目的，本發(fā)明的第1方式所涉及的攝像模塊的特征在于，具備透鏡部，其至少包括一個調(diào)制相位的光學濾波器；攝像元件，其對透過了所述透鏡部的光學像進行成像，并將該光學像轉(zhuǎn)換成電信號；AD轉(zhuǎn)換部，其將從所述攝像元件輸出的電信號轉(zhuǎn)換成第一數(shù)字圖像信號之后進行輸出；和重構(gòu)處理塊，所述重構(gòu)處理塊由以下部件構(gòu)成黑色電平減法運算處理部，其從所述AD轉(zhuǎn)換部輸入第一數(shù)字圖像信號，并從該第一數(shù)字圖像信號中減去黑色電平；重構(gòu)處理部，其對減去了所述黑色電平的第一數(shù)字圖像信號實施所述光學濾波器的相位調(diào)制量的解卷積處理；和黑色電平加法運算處理部，其在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加黑色電平，將由所述重構(gòu)處理塊進行了重構(gòu)處理的第一數(shù)字圖像信號作為第二數(shù)字圖像信號來輸出。第1方式所涉及的重構(gòu)處理塊能夠?qū)p去了黑色電平的第一數(shù)字圖像信號進行重構(gòu)處理來進行高精度的重構(gòu)。此外，通過在重構(gòu)處理后的第一數(shù)字圖像信號上再次相加黑色電平，從而能夠使相對于相加了黑色電平的第一數(shù)字圖像信號(第二數(shù)字圖像信號) 的后級的信號處理與相對于不包括焦點深度放大和重構(gòu)系統(tǒng)的圖像信號的信號處理相同， 能夠使攝像模塊具有兼容性。本發(fā)明的第2方式所涉及的攝像模塊的特征在于，在第1方式的攝像模塊中，具備預先存儲黑色電平的存儲部，所述黑色電平減法運算處理部從所述第一數(shù)字圖像信號中減去存儲在所述存儲部中的黑色電平，所述黑色電平加法運算處理部在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加存儲在所述存儲部中的黑色電平。通過使存儲部存儲預先測量的黑色電平，從而能夠吸收黑色電平的個體偏差，能夠進行更高精度的重構(gòu)處理。本發(fā)明的第3方式所涉及的攝像模塊的特征在于，在第1方式的攝像模塊中，具備黑色電平計算部，該黑色電平計算部基于從所述AD轉(zhuǎn)換部輸出的第一數(shù)字圖像信號之中的與所述攝像元件的遮光區(qū)域?qū)牡谝粩?shù)字信號來計算黑色電平，所述黑色電平減法運算處理部從所述第一數(shù)字圖像信號中減去由所述黑色電平計算部計算出的黑色電平，所述黑色電平加法運算處理部在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加由所述黑色電平計算部計算出的黑色電平。由此，能夠吸收每次攝影時的黑色電平的偏差，能夠進行更高精度的重構(gòu)處理。本發(fā)明的第4方式所涉及的攝像模塊的特征在于，在第1方式的攝像模塊中，具備預先存儲黑色電平的存儲部；和黑色電平計算部，其基于從所述AD轉(zhuǎn)換部輸出的第一數(shù)字圖像信號之中的與所述攝像元件的遮光區(qū)域?qū)牡谝粩?shù)字信號來計算黑色電平，所述黑色電平減法運算處理部從所述第一數(shù)字圖像信號中減去由所述黑色電平計算部計算出的黑色電平，所述黑色電平加法運算處理部在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加存儲在所述存儲部中的黑色電平。由此，能夠進行吸收了每次攝影時的黑色電平的偏差的重構(gòu)處理，并且可在無需注意每次攝影時的黑色電平的情況下輸出到后級的信號處理中。本發(fā)明的第5方式所涉及的攝像模塊的特征在于，在第1 第4方式的任一方式所述的攝像模塊中，所述重構(gòu)處理塊還具備限幅處理部，該限幅處理部將由所述黑色電平加法運算處理部相加了黑色電平的第一數(shù)字信號之中的為負的第一數(shù)字信號限幅(clip) 為0。通過對減去了所述黑色電平的第一數(shù)字圖像信號進行重構(gòu)處理，從而在該重構(gòu)處理后的第一數(shù)字圖像信號上相加黑色電平之后，也會產(chǎn)生為負的圖像信號的像素。通過將此時的像素的數(shù)字圖像信號限幅為0，從而按照不會向后級的信號處理部輸入異常的值的方式進行處理。
5
本發(fā)明的第6方式所涉及的攝像模塊的特征在于，在第1 第5方式的任一方式所述的攝像模塊中，所述重構(gòu)處理塊還具備斑點校正部，該斑點校正部根據(jù)面內(nèi)的斑點 (shading)校正特性，對由所述黑色電平減法運算處理部減去了黑色電平的第一數(shù)字圖像信號進行斑點校正，所述重構(gòu)處理部對進行了所述斑點校正的第一數(shù)字圖像信號實施解卷積處理。黑色電平減法運算之后，在重構(gòu)處理前，實施由透鏡部和攝像元件引起的斑點校正，從而進一步提高圖像質(zhì)量。本發(fā)明的第7方式所涉及的攝像模塊的特征在于，在第1 第6方式的任一方式所述的攝像模塊中，所述重構(gòu)處理塊還具備混色校正部，該混色校正部對在由所述黑色電平減法運算處理部減去了黑色電平的第一數(shù)字圖像信號中所包含的混色分量進行校正，所述重構(gòu)處理部對進行了所述混色校正的第一數(shù)字圖像信號實施解卷積處理。在黑色電平減法運算之后、重構(gòu)處理前，實施攝像元件引起的混色校正，從而能夠進一步提高圖像質(zhì)量。本發(fā)明的第8方式所涉及的攝像模塊的特征在于，在第1 第7方式的任一方式所述的攝像模塊中，所述攝像元件是按每一像素以預定的圖案排列了 3種原色的原色濾波器的彩色攝像元件，按3種原色的每一顏色進行所述重構(gòu)處理塊中的對所述第一數(shù)字圖像信號的各處理。由此，能夠輸出全色的第二數(shù)字圖像信號，并且能夠輸出與原色濾波器的排列對應的點順序的第二數(shù)字圖像信號。本發(fā)明的第9方式所涉及的攝像裝置的特征在于，具備第1 第8方式的任一方式所述的攝像模塊；數(shù)字信號處理部，其輸入從所述攝像模塊輸出的第二數(shù)字圖像信號，并對該第二數(shù)字圖像信號進行信號處理；和記錄單元，其將由所述數(shù)字信號處理部進行了處理的第二數(shù)字圖像信號記錄在記錄介質(zhì)中。所述數(shù)字信號處理部并非限于所述攝像模塊專用的信號處理部件，可以使用與相對于不包括焦點深度放大和重構(gòu)系統(tǒng)的圖像信號的信號處理部件相同的信號處理部件。本發(fā)明的第10方式所涉及的攝像裝置的特征在于，在第9方式的攝像裝置中，所述數(shù)字信號處理部對包含黑色電平的數(shù)字圖像信號進行信號處理。由于從所述攝像模塊輸出的第二數(shù)字圖像信號包含黑色電平，因此所述數(shù)字圖像信號處理部能夠進行適當?shù)男盘柼幚怼１景l(fā)明的第11方式是一種攝像模塊的信號處理方法，其特征在于，該攝像模塊具備透鏡部，其至少包括一個調(diào)制相位的光學濾波器；攝像元件，其對透過了所述透鏡部的光學像進行成像，并將該光學像轉(zhuǎn)換成電信號；AD轉(zhuǎn)換部，其將從所述攝像元件輸出的電信號轉(zhuǎn)換成第一數(shù)字圖像信號之后進行輸出；和重構(gòu)處理塊，所述重構(gòu)處理塊包括從所述AD轉(zhuǎn)換部輸入第一數(shù)字圖像信號，并從該第一數(shù)字圖像信號中減去黑色電平的黑色電平減法運算處理步驟；對減去了所述黑色電平的第一數(shù)字圖像信號實施所述光學濾波器的相位調(diào)制量的解卷積處理的重構(gòu)處理步驟；和在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加黑色電平的黑色電平加法運算處理步驟，將由所述重構(gòu)處理塊進行了重構(gòu)處理的第一數(shù)字圖像信號作為第二數(shù)字圖像信號來輸出。根據(jù)本發(fā)明，在根據(jù)調(diào)制相位而放大了焦點深度的圖像信號重構(gòu)高分辨率的圖像信號時，對減去了黑色電平的圖像信號進行重構(gòu)處理，因此能夠?qū)崿F(xiàn)高精度的重構(gòu)，而且通過在重構(gòu)處理后的圖像信號上再次相加黑色電平，從而能夠使后級的信號處理成為與相對于不包括焦點深度放大和重構(gòu)系統(tǒng)的圖像信號的信號處理部相同，能夠使攝像模塊具有兼容性。


圖1是表示本發(fā)明所涉及的攝像模塊的第1實施方式的框圖。圖2是表示透鏡部的光學系統(tǒng)的一例的圖。圖3是表示基于第1實施方式的重構(gòu)處理塊的重構(gòu)處理的流程圖。圖4是表示通過重構(gòu)處理部中的解卷積處理重構(gòu)的點像的狀態(tài)的圖。圖5是表示基于第1實施方式的變形例的重構(gòu)處理塊的重構(gòu)處理的流程圖。圖6是表示本發(fā)明所涉及的攝像模塊的第2實施方式的框圖。圖7是表示基于第2實施方式的重構(gòu)處理塊的重構(gòu)處理的流程圖。圖8是表示本發(fā)明所涉及的攝像模塊的第3實施方式的框圖。圖9是表示基于第3實施方式的重構(gòu)處理塊的重構(gòu)處理的流程圖。圖10是表示本發(fā)明所涉及的攝像模塊的第4實施方式的框圖。圖11是表示基于第4實施方式的重構(gòu)處理塊的重構(gòu)處理的流程圖。圖12是表示本發(fā)明所涉及的攝像模塊的第5實施方式的框圖。圖13是表示基于第5實施方式的重構(gòu)處理塊的重構(gòu)處理的流程圖。圖14是表示本發(fā)明所涉及的攝像裝置的一例的框圖。符號說明1 5…攝像模塊；10…透鏡部；IOA…攝影透鏡；11…光學濾波器； 12…攝像元件；14…AD轉(zhuǎn)換部；20、40、50、60、70…重構(gòu)處理塊；22…黑色電平減法運算處理部；對…重構(gòu)處理部J6…黑色電平加法運算處理部；30、44…存儲部；42…黑色電平計算部；52···限幅處理部；62···斑點校正部；72…混色校正部；100…攝像裝置；102…中央處理裝置(CPU) ；112…數(shù)字信號處理部。
具體實施例方式以下，根據(jù)

本發(fā)明所涉及的攝像模塊和攝像裝置以及攝像模塊的信號處理方法的實施方式。第1實施方式圖1是表示本發(fā)明所涉及的攝像模塊1的第1實施方式的框圖。如圖1所示，第1實施方式的攝像模塊1由透鏡部10、攝像元件12、AD轉(zhuǎn)換部14、 重構(gòu)處理塊20以及存儲部30構(gòu)成。圖2是表示透鏡部10的光學系統(tǒng)的一例的圖。如圖2所示，透鏡部10由固定了單焦點的攝影透鏡10A、插入到瞳孔位置的光學濾波器11構(gòu)成。光學濾波器11調(diào)制相位， 按照獲得被放大的焦點深度(Extended D epth Of Focus =EDoF)的方式對攝影透鏡IOA進行EDoF化。另外，在光學濾波器11的附近配置有未圖示的光圈。此外，光學濾波器11可以是一片，也可以組合多片。該透鏡部10能夠省略以機械方式進行焦點調(diào)整的焦點調(diào)整裝置，而且可以做到小型化，適合搭載在帶照相功能的便攜電話或便攜式信息終端上。透過了被EDoF化的透鏡部10的光學像成像在攝像元件12中，在此被轉(zhuǎn)換成電信號。攝像元件12是按每一像素使紅(R)、綠(G)、藍(B)這三種原色的原色濾波器以預定的圖案進行排列原色原色(Bayer排列、G條R/G完全相間、蜂窩排列等)的彩色攝像元件，由C-MOS圖像傳感器或CCD圖像傳感器構(gòu)成。經(jīng)由透鏡部10入射到攝像元件12的受光面的光學像被在該受光面上排列的各光電二極管轉(zhuǎn)換成與入射光量對應的量的信號電荷。 并且，蓄積在各光電二極管中的信號電荷依次被作為電壓信號(圖像信號)而輸出。AD轉(zhuǎn)換部14將從攝像元件12輸出的模擬的圖像信號轉(zhuǎn)換成數(shù)字的圖像信號。將由AD轉(zhuǎn)換部14轉(zhuǎn)換成數(shù)字的圖像信號的數(shù)字圖像信號(第一數(shù)字圖像信號)施加到重構(gòu)處理塊20。重構(gòu)處理塊20主要由黑色電平減法運算處理部22、重構(gòu)處理部對、黑色電平加法運算處理部沈構(gòu)成。此外，在存儲部30中存儲黑色電平數(shù)據(jù)和重構(gòu)處理參數(shù)。在向攝像元件12入射的入射光量為0的情況下，黑色電平數(shù)據(jù)是從所述AD轉(zhuǎn)換部14輸出的數(shù)字圖像信號的平均值，在按照輸出預定值(例如，64、128等)作為黑色電平數(shù)據(jù)的方式設(shè)定了 AD轉(zhuǎn)換部14的情況下，黑色電平數(shù)據(jù)對應于該預定值。此外，重構(gòu)處理參數(shù)例如由7X7的核以及對應于該核的重構(gòu)增益數(shù)據(jù)構(gòu)成，用于光學濾波器11的相位調(diào)制量的解卷積處理中。另外，作為重構(gòu)處理參數(shù)，存儲與光學濾波器11對應的參數(shù)。此外， 核的尺寸并不限于7X7。接著，說明由重構(gòu)處理塊20進行的重構(gòu)處理。圖3是表示由第1實施方式的重構(gòu)處理塊20進行的重構(gòu)處理的流程圖。在黑色電平減法運算處理部22的一個輸入中，從AD轉(zhuǎn)換部14施加數(shù)字圖像信號，在另一個輸入中，從存儲部30施加黑色電平數(shù)據(jù)，黑色電平減法運算處理部22從數(shù)字圖像信號中減去黑色電平數(shù)據(jù)，并向重構(gòu)處理部M輸出減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號(圖3的步驟S10)。由此，在數(shù)字圖像信號中不包括黑色電平分量，表示黑色電平的數(shù)字圖像信號變?yōu)?。重構(gòu)處理部M對減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號進行如下重構(gòu)處理，即實施插入到透鏡部10中的光學濾波器11的相位調(diào)制量的解卷積處理的重構(gòu)處理(圖3的步驟S12)。即，重構(gòu)處理部M通過進行以減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號、即處理對象的像素為中心的7 X 7像素的數(shù)字圖像數(shù)據(jù)、和存儲在存儲部30中的7 X 7核的重構(gòu)處理參數(shù)的解卷積處理(卷積運算處理)，從而進行重構(gòu)處理。如圖4㈧所示，透過了被EDoF化的透鏡部10的點像(光學像)作為大的點像 (模糊的圖像)成像在攝像元件12中，但是通過上述重構(gòu)處理部M中的解卷積處理，重構(gòu)成如圖4(B)所示那樣的小的點像(高分辨率的圖像)。此外，用在重構(gòu)處理中的解卷積是通過在像素上相乘增益來進行的，但是通過對減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號實施解卷積處理，從而能夠正確地進行重構(gòu)。如上所述，將被重構(gòu)處理的數(shù)字圖像信號輸入到黑色電平加法運算處理部26。在黑色電平加法運算處理部26的另一個輸入中，從存儲部30施加黑色電平數(shù)據(jù)，黑色電平加法運算處理部沈在被重構(gòu)處理的數(shù)字圖像信號上相加黑色電平數(shù)據(jù)(圖3的步驟S14)。 通過黑色電平加法運算處理部沈相加了黑色電平數(shù)據(jù)的數(shù)字圖像信號被作為第二數(shù)字圖像信號(RAW數(shù)據(jù))而輸出。
從該黑色電平加法運算處理部沈(重構(gòu)處理塊20)輸出的RAW數(shù)據(jù)成為與被EDoF 化的不包含透鏡部10和重構(gòu)處理塊20的圖像信號(即，從通常的具有攝影透鏡、攝像元件和AD轉(zhuǎn)換部的攝像部輸出的RAW數(shù)據(jù))相同的數(shù)據(jù)，作為后級的信號處理系統(tǒng)可使用共同的數(shù)據(jù)。即，能夠使攝像模塊1具有兼容性。另外，攝像元件I2是作為RGB原色濾波器排列而使用Bayer排列的彩色攝像元件的情況下，按照該Bayer排列(將G像素配置成相間狀，并且在該G像素之間交替地排列配置有B像素的行(GBGBGB……)和配置有R像素的行(RGRGRG……))從AD轉(zhuǎn)換部14以點順序輸出各顏色的數(shù)字圖像信號，重構(gòu)處理塊20按顏色對數(shù)字圖像信號進行重構(gòu)處理，與從AD轉(zhuǎn)換部14以點順序輸出的數(shù)字圖像信號相同，按照原色濾波器排列的順序輸出點順序的RAW數(shù)據(jù)。第1實施方式的變形例在第1實施方式中，說明了在存儲部30中存儲了預定值的黑色電平數(shù)據(jù)的情況， 在第1實施方式的變形例中，使存儲部30存儲每個攝像模塊的黑色電平數(shù)據(jù)。另外，作為攝像模塊的結(jié)構(gòu)，能夠使用與圖1所示的結(jié)構(gòu)相同的結(jié)構(gòu)。S卩，在調(diào)整攝像模塊的上市調(diào)整時，在從透鏡部10不入射光的狀態(tài)下進行攝像， 此時測量從AD轉(zhuǎn)換部14輸出的數(shù)字圖像信號的平均值。之后，將該平均值存儲在存儲部 30中，作為黑色電平數(shù)據(jù)。圖5是表示由第1實施方式的變形例的重構(gòu)處理塊進行的重構(gòu)處理的流程圖。另外，在與圖3所示的第1實施方式相同的部分附加相同的步驟序號，并省略其詳細說明。S卩，如圖5所示，在黑色電平減法運算處理(步驟S10)和黑色電平加法運算處理 (步驟S14)之前，從存儲部30讀入實際上按每個攝像模塊測量的最佳的黑色電平數(shù)據(jù)(步驟S20、S2》，將該讀入的黑色電平數(shù)據(jù)用在減法運算處理和加法運算處理中。由此，可以與每個攝像模塊(透鏡部10、攝像元件1 的個體偏差無關(guān)地進行基于最佳的黑色電平數(shù)據(jù)的減法運算處理和加法運算處理，能夠提高重構(gòu)處理的精度。第2實施方式圖6是表示本發(fā)明所涉及的攝像模塊2的第2實施方式的框圖。另外，對與圖1 所示的第1實施方式相同的部分附加相同的符號，并省略其詳細說明。如圖6所示，第2實施方式的攝像模塊2與第1實施方式的主要的不同點是黑色電平數(shù)據(jù)的獲取單元，具備黑色電平計算部42和暫時保持黑色電平數(shù)據(jù)的存儲部44。攝像元件12在有效像素區(qū)域的周圍具有被遮光的光學黑色(OB)區(qū)域。黑色電平計算部42通過對從AD轉(zhuǎn)換部14輸出的數(shù)字圖像信號中的OB區(qū)域的數(shù)字圖像信號進行累計平均，由此計算出黑色電平數(shù)據(jù)。由黑色電平計算部42計算出的黑色電平數(shù)據(jù)被暫時存儲在存儲部44中，可通過黑色電平減法運算處理部22和黑色電平加法運算處理部沈加以利用。圖7是表示由第2實施方式的重構(gòu)處理塊40進行的重構(gòu)處理的流程圖。另外，對與圖3所示的第1實施方式相同的部分附加相同的步驟序號，并省略其詳細說明。若通過攝像模塊2進行攝影，則黑色電平計算部42基于在每次攝影時從攝像元件 12的OB區(qū)域得到的數(shù)字圖像信號計算出黑色電平數(shù)據(jù)(步驟S30)。由黑色電平計算部42計算出的黑色電平數(shù)據(jù)被暫時保存在存儲部44中，之后由黑色電平減法運算處理部22在每次進行各像素的數(shù)字圖像信號的重構(gòu)處理時進行讀入 (步驟S3》。同樣，在黑色電平加法運算處理(步驟S14)之前讀入在存儲部44中暫時存儲的黑色電平數(shù)據(jù)(步驟S34)。將該讀入的黑色電平數(shù)據(jù)用在黑色電平減法運算處理部 22中的減法運算處理和黑色電平加法運算處理部沈中的加法運算處理中。由此，能夠進行吸收了每次攝影時的黑色電平的偏差的重構(gòu)處理，能夠在無需注意每次攝影時的黑色電平的變動的情況下輸出到后級的信號處理中。另外，在第2實施方式中，將由黑色電平計算部42計算出的黑色電平數(shù)據(jù)分別用在減法運算處理和加法運算處理中，但是并非限于此，也可以僅用在黑色電平減法運算處理部22中的減法運算處理中，而在黑色電平加法運算處理部沈中的加法運算處理中使用如第1實施方式所示那樣在其他的存儲部30中預先存儲的黑色電平數(shù)據(jù)。第3實施方式圖8是表示本發(fā)明所涉及的攝像模塊3的第3實施方式的框圖。另外，對與圖6 所示的第2實施方式相同的部分附加相同的符號，并省略其詳細說明。如圖8所示，第3實施方式的攝像模塊3與第2實施方式的不同點在于在黑色電平加法運算處理部沈的后級追加了限幅處理部52。該限幅處理部52在從黑色電平加法運算處理部沈輸出的數(shù)字圖像信號中混有負像素值的情況下，將該負像素值限幅為0。即，雖然在重構(gòu)處理前從數(shù)字圖像信號中減去黑色電平數(shù)據(jù)，但是在黑色電平數(shù)據(jù)的減法運算后的數(shù)字圖像信號的重構(gòu)處理中，產(chǎn)生負增益的加法運算。此時，存在即使在重構(gòu)處理后的數(shù)字圖像信號上相加了黑色電平數(shù)據(jù)也會成為負值的可能性。在不包括焦點深度放大和重構(gòu)系統(tǒng)的通常的圖像信號的情況下，由于不會獲得負值，因此在黑色電平數(shù)據(jù)的加法運算之后成為負值的像素值會被限幅處理部52 限幅為0之后輸出，不會輸出異常的像素值。圖9是表示由第3實施方式的重構(gòu)處理塊50進行的重構(gòu)處理的流程圖。另外，對與圖7所示的第2實施方式相同的部分附加相同的步驟序號，并省略其詳細說明。 限幅處理部52判斷通過黑色電平加法運算處理部沈相加了黑色電平數(shù)據(jù)的數(shù)字圖像信號的像素值是否為負(步驟S40)。之后，在像素值為負的情況下(“是”的情況)，將該圖像值限幅為0之后進行輸出(步驟S4》，在像素值不為負的情況下(“否”的情況)， 原樣輸出。第4實施方式圖10是表示本發(fā)明所涉及的攝像模塊4的第4實施方式的框圖。另外，對與圖6 所示的第2實施方式相同的部分附加相同的符號，并省略其詳細說明。如圖10所示，第4實施方式的攝像模塊4與第2實施方式的不同點在于在黑色電平減法運算處理部22和重構(gòu)處理部M之間追加了斑點校正部62。該斑點校正部62根據(jù)面內(nèi)的斑點校正特性，對由黑色電平減法運算處理部22減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號進行斑點校正。即，在存儲部30中根據(jù)透鏡部10和攝像元件12的斑點特性存儲有與畫面的位置對應的斑點校正數(shù)據(jù)(增益)，并且斑點校正部 62對減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號相乘從存儲部30讀出的與該數(shù)字圖像信號的面內(nèi)位置對應的斑點校正增益，從而進行斑點校正。另外，也可以預先基于斑點校正增益生成斑點校正用的變換表格，使用該變換表格，將數(shù)字圖像信號變換成斑點校正后的數(shù)字圖像信號，以此來代替相乘斑點校正增益。圖11是表示由第4實施方式的重構(gòu)處理塊60進行的重構(gòu)處理的流程圖。另外， 對與圖3相同的部分附加相同的步驟序號，并省略其詳細說明。如圖11所示，在第4實施方式中，在由黑色電平減法運算處理部22進行的黑色電平減法運算處理(步驟S10)和由重構(gòu)處理部M進行的重構(gòu)處理(步驟S12)之間，實施由斑點校正部62進行的斑點校正(步驟S50)。通過按上述的順序進行處理，從而能夠正確地進行斑點校正，并且對實施了由透鏡部10和攝像元件12引起的斑點校正的數(shù)字圖像信號執(zhí)行重構(gòu)處理，因此能夠進行在光學方面提高精度的重構(gòu)處理。第5實施方式圖12是表示本發(fā)明所涉及的攝像模塊5的第5實施方式的框圖。另外，對與圖6 所示的第2實施方式相同的部分附加相同的符號，并省略其詳細說明。如圖12所示，第5實施方式的攝像模塊5與第2實施方式的不同點在于在黑色電平減法運算處理部22和重構(gòu)處理部M之間追加了混色校正部72。該混色校正部72是對在由黑色電平減法運算處理部22減去了黑色電平數(shù)據(jù)的數(shù)字圖像信號中所包含的混色分量進行校正的部分。即，在存儲部30中存儲按攝像元件12 的面內(nèi)的每個位置預先設(shè)定的混色校正數(shù)據(jù)，并且混色校正部72在進行混色校正時，利用從存儲部30讀出的混色校正數(shù)據(jù)進行混色分量的校正。圖13是表示由第5實施方式的重構(gòu)處理塊70進行的重構(gòu)處理的流程圖。另外， 對與圖3相同的部分附加相同的步驟序號，并省略其詳細說明。如圖13所示，在第5實施方式中，在由黑色電平減法運算處理部22進行的黑色電平減法運算處理(步驟S10)和由重構(gòu)處理部M進行的重構(gòu)處理(步驟S12)之間，實施由混色校正部72進行的混色校正(步驟S60)。通過按照上述的順序進行處理，能夠正確地進行混色校正，并且對校正了由攝像元件12引起的混色的數(shù)字圖像信號實施重構(gòu)處理，因此能夠進行在光學方面提高精度的
重構(gòu)處理。第6實施方式圖14是表示應用了第1實施方式的攝像模塊1的攝像裝置的一例的框圖。圖14所示的攝像裝置100組裝了圖1所示的攝像模塊1，除了攝像模塊外，具有與通常的數(shù)碼相機等相同的結(jié)構(gòu)。中央處理裝置(CPU) 102是根據(jù)來自操作部104的操作輸入和預定的程序統(tǒng)一控制裝置整體的部分，并且還起到自動曝光(AE)運算、白平衡(WB)調(diào)整運算等實施各種運算的運算單元的作用。在CPU102上經(jīng)由總線103和存儲器接口 106連接有RAM (Rando m Access Memory) 108 禾Π ROM (Read Only Memory) IlO0 將 RAM108 用作程序的展開區(qū)域和 CPU102 的運算作業(yè)用區(qū)域，并且將RAM108用作圖像數(shù)據(jù)的暫時存儲區(qū)域。在R0M110中保存CPU102 所執(zhí)行的程序和控制所需的各種數(shù)據(jù)以及與攝像動作相關(guān)的各種常數(shù)/信息等。攝像模塊1根據(jù)來自CPU102的指令進行攝影動作等，如上所述，從重構(gòu)處理塊20 輸出RGB的RAW數(shù)據(jù)。該RAW數(shù)據(jù)經(jīng)由總線103和存儲器I/F106被暫時保存在RAM108中。
保存在RAM108中的RGB的RAW數(shù)據(jù)被輸入到數(shù)字信號處理部112中，在此對其進行噪聲降低處理、黑色電平減法運算處理、混色校正、斑點校正、白平衡校正、伽馬校正、同步化處理、RGB/YC變換處理等圖像處理。此外，在選擇了 RAW數(shù)據(jù)記錄的情況下，所述RAW數(shù)據(jù)以RAW文件的格式經(jīng)由外部存儲器I/F114記錄在存儲卡116中。在操作部104中，包括快門按鈕、選擇攝影模式和再生模式的模式選擇開關(guān)、使顯示部(IXD) 118顯示菜單畫面的菜單按鈕、用于從菜單畫面中選擇期望的項目的多功能十字鍵等。將來自操作部104的輸出信號經(jīng)由總線103輸入到CPU102，CPU102基于來自操作部104的輸入信號，實施攝影或再生等適當?shù)奶幚?。在攝像裝置100中包括用于向被攝體照射閃光的閃光裝置120，閃光裝置120根據(jù)來自CPU102的發(fā)光指令，接受來自充電部122的電源的供給，從而照射閃光。將由數(shù)字信號處理部112處理的圖像數(shù)據(jù)(亮度信號Y，色差信號Cr，Cb)提供給壓縮擴展處理電路124，在壓縮擴展處理電路124中，按照預定的壓縮格式(例如，JPEG方式)進行壓縮。被壓縮的圖像數(shù)據(jù)以圖像文件(例如，JPEG文件)的格式，經(jīng)由外部存儲器I/F114記錄在存儲卡116中。此外，在IXD118中通過經(jīng)由IXD接口沈加載的圖像信號，在攝像準備過程中顯示影像(實時取景圖像)，或者在再生模式時讀出記錄在存儲卡116中的JPEG文件、或RAW文件來顯示圖像。另外，由壓縮擴展處理電路1 對保存在JPEG文件中的被壓縮的圖像數(shù)據(jù)進行擴展處理并輸出給IXD118，通過所述數(shù)字信號處理部112對保存在RAW文件中的RAW 數(shù)據(jù)進行RAW顯像之后輸出給IXD118。這里，在數(shù)字信號處理部112的噪聲降低處理部中，對從攝像模塊1輸出且相加了黑色電平數(shù)據(jù)的RAW數(shù)據(jù)進行噪聲降低處理，因此能夠良好地去除噪聲。此外，在數(shù)字信號處理部112中，在噪聲降低處理之后進行黑色電平減法運算處理，但是也可以不進行該黑色電平減法運算處理，而是通過伽馬校正進行黑色電平校正。此外，在組裝了圖10所示的第4實施方式的攝像模塊4的情況下，由于在攝像模塊4內(nèi)進行斑點校正，因此將斑點校正數(shù)據(jù)設(shè)定成在數(shù)字信號處理部112中不進行斑點校正(例如，將面內(nèi)的全部增益設(shè)定為1)。同樣，在組裝圖12所示的第5實施方式的攝像模塊5的情況下，由于在攝像模塊5內(nèi)進行混色校正，因此在數(shù)字信號處理部112中將混色校正數(shù)據(jù)設(shè)定成不進行混色校正。其他本發(fā)明并非限于第1實施方式至第5實施方式的攝像模塊，例如，也可以適當組合各實施方式的攝像模塊的結(jié)構(gòu)要素。此外，本發(fā)明并非限于上述的實施方式，顯然在不超出本發(fā)明精神的范圍內(nèi)可進行各種變形。
權(quán)利要求
1.一種攝像模塊，其特征在于，具備透鏡部，其至少包括一個調(diào)制相位的光學濾波器；攝像元件，其對透過了所述透鏡部的光學像進行成像，并將該光學像轉(zhuǎn)換成電信號；AD轉(zhuǎn)換部，其將從所述攝像元件輸出的電信號轉(zhuǎn)換成第一數(shù)字圖像信號之后進行輸出；和重構(gòu)處理塊，所述重構(gòu)處理塊由以下部件構(gòu)成黑色電平減法運算處理部，其從所述AD轉(zhuǎn)換部輸入第一數(shù)字圖像信號，并從該第一數(shù)字圖像信號中減去黑色電平；重構(gòu)處理部，其對減去了所述黑色電平的第一數(shù)字圖像信號實施所述光學濾波器的相位調(diào)制量的解卷積處理；和黑色電平加法運算處理部，其在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加黑色電平，將由所述重構(gòu)處理塊進行了重構(gòu)處理的第一數(shù)字圖像信號作為第二數(shù)字圖像信號來輸出。
2.根據(jù)權(quán)利要求1所述的攝像模塊，其特征在于，所述攝像模塊具備預先存儲黑色電平的存儲部，所述黑色電平減法運算處理部從所述第一數(shù)字圖像信號中減去存儲在所述存儲部中的黑色電平，所述黑色電平加法運算處理部在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加存儲在所述存儲部中的黑色電平。
3.根據(jù)權(quán)利要求1所述的攝像模塊，其特征在于，所述攝像模塊具備黑色電平計算部，該黑色電平計算部基于從所述AD轉(zhuǎn)換部輸出的第一數(shù)字圖像信號之中的與所述攝像元件的遮光區(qū)域?qū)牡谝粩?shù)字信號來計算黑色電平，所述黑色電平減法運算處理部從所述第一數(shù)字圖像信號中減去由所述黑色電平計算部計算出的黑色電平，所述黑色電平加法運算處理部在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加由所述黑色電平計算部計算出的黑色電平。
4.根據(jù)權(quán)利要求1所述的攝像模塊，其特征在于，所述攝像模塊具備預先存儲黑色電平的存儲部；和黑色電平計算部，其基于從所述 AD轉(zhuǎn)換部輸出的第一數(shù)字圖像信號之中的與所述攝像元件的遮光區(qū)域?qū)牡谝粩?shù)字信號來計算黑色電平，所述黑色電平減法運算處理部從所述第一數(shù)字圖像信號中減去由所述黑色電平計算部計算出的黑色電平，所述黑色電平加法運算處理部在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加存儲在所述存儲部中的黑色電平。
5.根據(jù)權(quán)利要求1至4任一項所述的攝像模塊，其特征在于，所述重構(gòu)處理塊還具備限幅處理部，該限幅處理部將由所述黑色電平加法運算處理部相加了黑色電平的第一數(shù)字信號之中的為負的第一數(shù)字信號限幅為0。
6.根據(jù)權(quán)利要求1至4任一項所述的攝像模塊，其特征在于，所述重構(gòu)處理塊還具備斑點校正部，該斑點校正部根據(jù)面內(nèi)的斑點校正特性，對由所述黑色電平減法運算處理部減去了黑色電平的第一數(shù)字圖像信號進行斑點校正，所述重構(gòu)處理部對進行了所述斑點校正的第一數(shù)字圖像信號實施解卷積處理。
7.根據(jù)權(quán)利要求1至4任一項所述的攝像模塊，其特征在于，所述重構(gòu)處理塊還具備混色校正部，該混色校正部對在由所述黑色電平減法運算處理部減去了黑色電平的第一數(shù)字圖像信號中所包含的混色分量進行校正，所述重構(gòu)處理部對進行了所述混色校正的第一數(shù)字圖像信號實施解卷積處理。
8.根據(jù)權(quán)利要求1至4任一項所述的攝像模塊，其特征在于，所述攝像元件是按每一像素以預定的圖案排列了 3種原色的原色濾波器的彩色攝像元件，按3種原色的每一顏色進行所述重構(gòu)處理塊中的對所述第一數(shù)字圖像信號的各處理。
9.一種攝像裝置，其特征在于，具備權(quán)利要求1至4任一項所述的攝像模塊；數(shù)字信號處理部，其輸入從所述攝像模塊輸出的第二數(shù)字圖像信號，并對該第二數(shù)字圖像信號進行信號處理；和記錄單元，其將由所述數(shù)字信號處理部進行了處理的第二數(shù)字圖像信號記錄在記錄介質(zhì)中。
10.根據(jù)權(quán)利要求9所述的攝像裝置，其特征在于，所述數(shù)字信號處理部對包含黑色電平的數(shù)字圖像信號進行信號處理。
11.一種攝像模塊的信號處理方法，其特征在于，該攝像模塊具備透鏡部，其至少包括一個調(diào)制相位的光學濾波器；攝像元件，其對透過了所述透鏡部的光學像進行成像，并將該光學像轉(zhuǎn)換成電信號；AD轉(zhuǎn)換部，其將從所述攝像元件輸出的電信號轉(zhuǎn)換成第一數(shù)字圖像信號之后進行輸出；和重構(gòu)處理塊，所述重構(gòu)處理塊包括從所述AD轉(zhuǎn)換部輸入第一數(shù)字圖像信號，并從該第一數(shù)字圖像信號中減去黑色電平的黑色電平減法運算處理步驟；對減去了所述黑色電平的第一數(shù)字圖像信號實施所述光學濾波器的相位調(diào)制量的解卷積處理的重構(gòu)處理步驟；和在進行了所述重構(gòu)處理的第一數(shù)字圖像信號上相加黑色電平的黑色電平加法運算處理步驟，將由所述重構(gòu)處理塊進行了重構(gòu)處理的第一數(shù)字圖像信號作為第二數(shù)字圖像信號來輸出。
全文摘要
本發(fā)明提供一種攝像模塊和攝像裝置以及攝像模塊的信號處理方法。通過重構(gòu)處理模塊將經(jīng)由包括調(diào)制相位的光學濾波器的透鏡部、攝像元件和AD轉(zhuǎn)換器輸出的模糊圖像的數(shù)字圖像信號重構(gòu)為高分辨率的數(shù)字圖像信號后輸出。該重構(gòu)處理塊對減去了黑色電平的數(shù)字圖像信號實施光學濾波器的相位調(diào)制量的解卷積處理，由此在重構(gòu)處理后的數(shù)字圖像信號上相加黑色電平后輸出。通過輸出相加了黑色電平的數(shù)字圖像信號，使得成為與不包括焦點深度放大和重構(gòu)系統(tǒng)的攝像模塊的RAW數(shù)據(jù)相同的數(shù)據(jù)，可使攝像模塊具有兼容性。因此，能根據(jù)調(diào)制相位而放大了焦點深度的圖像高精度地重構(gòu)高分辨率的圖像，且能在已知的信號處理系統(tǒng)中直接使用重構(gòu)處理后的圖像。
文檔編號H04N9/64GK102340671SQ201110196739
公開日2012年2月1日 申請日期2011年7月14日 優(yōu)先權(quán)日2010年7月16日
發(fā)明者河合智行 申請人:富士膠片株式會社