專利名稱：攝像裝置及手抖動修正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適用于數(shù)碼靜態(tài)相機(jī)等攝像裝置的手抖動修正技術(shù)。
背景技術(shù)：
以往，作為在數(shù)碼靜態(tài)相機(jī)中用于修正暗處攝影等長時間曝光時的手抖動的方法，公知使用了圖像信號處理技術(shù)的方法。例如，在下述專利文獻(xiàn)1 (JP特開平11-252445號公報(bào))中記載了下述方法在攝影時的曝光時間內(nèi)以時分方式獲取多張圖像，針對圖像檢測相對于在時間上的前一個圖像的運(yùn)動矢量，并基于所檢測出的運(yùn)動矢量，在各圖像之間以抵消各圖像之間的位置偏移的方式進(jìn)行位置疊加的方法。根據(jù)上述方法，能夠獲得攝影時的手抖動引起的被攝體模糊被降低的圖像。以下， 將上述手抖動修正方法稱為連拍圖像的疊加合成法?？墒?，在上述的連拍圖像的疊加合成方法中，連拍的每個圖像的曝光時間短，在被攝體的光量不充足的情況下，從攝像元件讀出的攝像信號所含有的噪聲比例大。因此，雖然攝影圖像中的被攝體模糊能降低，但是與基于通常的一并曝光拍攝到的圖像比較，噪聲的總量增加、S/N比下降，存在尤其較暗部分的畫質(zhì)下降的問題。另外，為了防止較暗部分的畫質(zhì)下降，減少以時分方式獲取到的圖像的張數(shù)，延長被分割的曝光時間即可，但是這樣連拍的每個圖像中會產(chǎn)生被攝體的模糊。而且，在產(chǎn)生了被攝體的模糊的情況下，將連拍的多個圖像疊加并相加時的對位精度也下降。因此，存在著無法進(jìn)行充分的手抖動修正的問題。

發(fā)明內(nèi)容
本發(fā)明是鑒于現(xiàn)有課題提出的，其目的在于同時實(shí)現(xiàn)較暗部分的攝影圖像的畫質(zhì)提高和高精度的手抖動修正。為了實(shí)現(xiàn)上述目的，本發(fā)明的一個方式的攝像裝置具備攝像部件，拍攝被攝體； 攝像控制部件，使所述攝像部件在攝影時的曝光時間內(nèi)，僅對由第1顏色分量構(gòu)成的第1顏色分量圖像通過分割曝光進(jìn)行多次拍攝，同時，對由所述第1顏色分量以外的其他顏色分量構(gòu)成的第2顏色分量圖像和第3顏色分量圖像通過一并曝光進(jìn)行拍攝；位移信息獲取部件，將通過所述攝像控制部件的控制而由所述攝像部件以分割曝光的方式拍攝到的多個第 1顏色分量圖像的其中之一作為基準(zhǔn)圖像，獲取該基準(zhǔn)圖像以外的第1顏色分量圖像的各自中的被攝體相對于基準(zhǔn)圖像的被攝體的位置的位移信息；圖像相加部件，基于所述位移信息獲取部件所獲取的位移信息，將通過所述攝像控制部件的控制而由所述攝像部件以分割曝光的方式拍攝到的多個第1顏色分量圖像進(jìn)行對位相加，來生成相加圖像；運(yùn)算部件， 基于由所述位移信息獲取部件所獲取的位移信息來運(yùn)算點(diǎn)擴(kuò)展函數(shù)；修正部件，通過使用了由所述運(yùn)算部件所運(yùn)算的點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，來修正通過所述攝像控制部件的控制而由所述攝像部件拍攝到的第2顏色分量圖像和第3顏色分量圖像；和合成部件，合成由所述圖像相加部件所生成的第1顏色分量的相加圖像、由所述修正部件修正后的第2顏色分量圖像和第3顏色分量圖像。為了實(shí)現(xiàn)上述目的，本發(fā)明的一個方式的攝像裝置具備攝像部件，拍攝被攝體； 攝像控制部件，使所述攝像部件在攝影時的曝光時間內(nèi)，僅對由第1顏色分量構(gòu)成的第1顏色分量圖像通過分割曝光進(jìn)行多次拍攝，同時，對由所述第1顏色分量以外的其他顏色分量構(gòu)成的第2顏色分量圖像和第3顏色分量圖像通過一并曝光進(jìn)行拍攝；第1修正部件， 根據(jù)使用了所推定出的點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，分別修正通過所述攝像控制部件的控制而由所述攝像部件拍攝到的多個第1顏色分量圖像各自中存在的拍攝時的手抖動所引起的被攝體模糊；位移信息獲取部件，以所述第1修正部件修正后的多個第1顏色分量圖像作為對象，來獲取以分割曝光的方式前后相鄰地拍攝到的第1顏色分量圖像之間的被攝體的位置的位移信息；圖像相加部件，基于所述位移信息獲取部件所獲取的位移信息，將由所述第1修正部件修正后的多個第1顏色分量圖像進(jìn)行對位相加，來生成相加圖像；運(yùn)算部件，基于由所述位移信息獲取部件所獲取的位移信息、和在所述第1修正部件的圖像復(fù)原運(yùn)算的修正之際按多個第1顏色分量圖像的每一個所推定的點(diǎn)擴(kuò)展函數(shù)，來運(yùn)算新點(diǎn)擴(kuò)展函數(shù)，該新點(diǎn)擴(kuò)展函數(shù)表示所述攝影時的第2顏色分量圖像和第3顏色分量圖像在曝光時間內(nèi)的拍攝時的手抖動所引起的被攝體模糊的軌跡；第2修正部件，根據(jù)使用了由所述運(yùn)算部件所運(yùn)算的新點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，來修正通過所述攝像控制部件的控制而由所述攝像部件拍攝到的第2顏色分量圖像和第3顏色分量圖像中所存在的拍攝時的手抖動所引起的被攝體模糊；和合成部件，合成由所述圖像相加部件所生成的相加圖像、由所述第 2修正部件修正后的第2顏色分量圖像和第3顏色分量圖像。為了實(shí)現(xiàn)上述目的，本發(fā)明的一個方式的手抖動修正方法包括如下步驟使拍攝被攝體的攝像部件在攝影時的曝光時間內(nèi)，僅對由第1顏色分量構(gòu)成的第1顏色分量圖像通過分割曝光進(jìn)行多次拍攝，同時，對由所述第1顏色分量以外的其他顏色分量構(gòu)成的第2 顏色分量圖像和第3顏色分量圖像通過一并曝光進(jìn)行拍攝；將由所述攝像部件以分割曝光的方式拍攝到的多個第1顏色分量圖像的其中之一作為基準(zhǔn)圖像，獲取該基準(zhǔn)圖像以外的第1顏色分量圖像各個被攝體相對于基準(zhǔn)圖像的被攝體的位置的位移信息；基于所獲取的位移信息，將由所述攝像部件以分割曝光的方式拍攝到的多個第1顏色分量圖像進(jìn)行對位相加，來生成相加圖像；基于所述位移信息來運(yùn)算點(diǎn)擴(kuò)展函數(shù)；通過使用了所運(yùn)算的點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，來修正所述第2顏色分量圖像和第3顏色分量圖像；和結(jié)合所述第 1顏色分量的相加圖像、所述修正后的第2顏色分量圖像和第3顏色分量圖像。為了實(shí)現(xiàn)上述目的，本發(fā)明的一個方式的手抖動修正方法，包括如下步驟使拍攝被攝體的攝像部件在攝影時的曝光時間內(nèi)，僅對由第1顏色分量構(gòu)成的第1顏色分量圖像通過分割曝光進(jìn)行多次拍攝，同時，對由所述第1顏色分量以外的其他顏色分量構(gòu)成的第2 顏色分量圖像和第3顏色分量圖像通過一并曝光進(jìn)行拍攝；根據(jù)使用了所推定的點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，分別修正由所述攝像部件拍攝到的多個第1顏色分量圖像各自中存在的拍攝時的手抖動所引起的被攝體模糊；以修正后的多個第1顏色分量圖像作為對象，來獲取以分割曝光的方式前后相鄰地拍攝到的第1顏色分量圖像之間的被攝體的位置的位移信息；基于所獲取的按分割曝光時間的位移信息，將所述圖像復(fù)原運(yùn)算修正后的多個第 1顏色分量圖像進(jìn)行對位相加，來生成相加圖像；基于所述按分割曝光時間的位移信息、和在所述圖像復(fù)原運(yùn)算修正之際按多個第1顏色分量圖像的每一個所推定的點(diǎn)擴(kuò)展函數(shù)，來運(yùn)算新點(diǎn)擴(kuò)展函數(shù)，該新點(diǎn)擴(kuò)展函數(shù)表示第2顏色分量圖像和第3顏色分量圖像在曝光時間內(nèi)的拍攝時的手抖動所引起的被攝體模糊的軌跡；根據(jù)使用了所運(yùn)算的新點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，來修正第2顏色分量圖像和第3顏色分量圖像中所存在的拍攝時的手抖動所引起的被攝體模糊；和結(jié)合所述相加圖像、所述圖像復(fù)原運(yùn)算修正后的第2顏色分量圖像和第3顏色分量圖像。


圖1是表示本發(fā)明所涉及的數(shù)碼靜態(tài)相機(jī)的電氣構(gòu)成的框圖。圖2是表示設(shè)定了對手抖動引起的被攝體模糊進(jìn)行修正的模式時的CPU的處理內(nèi)容的流程圖。圖3是表示了 CPU進(jìn)行的攝像處理的內(nèi)容的流程圖。圖4是表示了 CPU進(jìn)行的圖像重構(gòu)處理的內(nèi)容的流程圖。圖5是表示整個幀的運(yùn)動矢量和PSF (Point Spread Function 點(diǎn)擴(kuò)展函數(shù))的說明圖。圖6是表示圖像重構(gòu)處理的內(nèi)容的說明圖。圖7是表示了 CPU進(jìn)行的圖像重構(gòu)處理的內(nèi)容的流程圖。圖8 (a)是表示按分割色的像素?cái)?shù)據(jù)所推定的PSF (Point Spread Function 點(diǎn)擴(kuò)展函數(shù))的概念圖，圖8(b)是表示按分割曝光時間的運(yùn)動矢量的概念圖，圖8(c)是表示整個幀的PSF(Point Spread Function 點(diǎn)擴(kuò)展函數(shù))的概念圖。圖9是表示圖像重構(gòu)處理的內(nèi)容的說明圖。
具體實(shí)施例方式以下，對本發(fā)明的第1實(shí)施方式進(jìn)行說明。圖1是表示本發(fā)明所涉及的數(shù)碼靜態(tài)相機(jī)1的電氣構(gòu)成的概略的框圖。數(shù)碼靜態(tài)相機(jī)1具有透鏡塊2和攝像元件3。透鏡塊2包括包含聚焦透鏡的透鏡組、光圈、驅(qū)動透鏡組的透鏡電機(jī)、對光圈進(jìn)行開閉驅(qū)動的促動器。通過光學(xué)系統(tǒng)驅(qū)動部4對透鏡電機(jī)及促動器進(jìn)行驅(qū)動，來調(diào)整焦點(diǎn)位置及攝像元件3的受光量。攝像元件3是在感光面上設(shè)置有貝葉排列的濾色器的CMOS (Complementary Metal Oxide Semiconductor)傳感器。也就是說，攝像元件3是具有如下構(gòu)成的固體攝像元件能根據(jù)需要將R(Red)、 G (Green)、B (Blue)的3原色的各顏色分量的像素信號按顏色分量獨(dú)立地讀出。同時，在攝像元件3的一組光電變換元件(以下稱為像素)中設(shè)有特定顏色的濾色器。攝像元件3由驅(qū)動電路5驅(qū)動，對被攝體的光學(xué)像進(jìn)行光電變換，向AFE(Analog Front End)6輸出與變換后的光學(xué)像對應(yīng)的電信號即攝像信號。AFE6 ^CDS(Correlated Double Sampling)(Programmable Gain Amp) >ADC (Analog-to-Digital Converter)等構(gòu)成。AFE6對攝像元件3所輸出的攝像信號進(jìn)行規(guī)定的模擬處理，在將模擬處理后的攝像信號變換為數(shù)字信號之后，向圖像處理部7輸出變換后的圖像的像素?cái)?shù)據(jù)。圖像處理部7具有將從AFE6輸入的像素?cái)?shù)據(jù)暫時記錄的緩沖用的存儲器7a。被暫時記錄至存儲器7a的像素?cái)?shù)據(jù)是各像素具有與濾色器的顏色排列相應(yīng)的顏色分量的貝葉排列的像素?cái)?shù)據(jù)。另外，在上述存儲器7a中，根據(jù)需要也暫時記錄RGB的每顏色分量的圖像的像素?cái)?shù)據(jù)。被暫時記錄至存儲器7a的RGB的每顏色分量的圖像的像素?cái)?shù)據(jù)，在由CPU8作為貝葉排列的像素?cái)?shù)據(jù)進(jìn)行結(jié)合之后，再次被暫時記錄至存儲器7a。此外，存儲器7a被確保了可存儲多個幀的像素?cái)?shù)據(jù)的存儲容量。圖像處理部7對被暫時存儲至存儲器7a的圖像數(shù)據(jù)(貝葉排列的像素?cái)?shù)據(jù))，進(jìn)行適合由攝像元件3拍攝到的圖像的記錄的各種圖像處理。圖像處理部7所進(jìn)行的圖像處理是伽馬修正、白平衡調(diào)整、各像素的R、G、B的顏色分量數(shù)據(jù)的生成、從所生成的RGB數(shù)據(jù)生成YUV數(shù)據(jù)的YUV變換等。另外，圖像處理部7將所生成的1幀的YUV數(shù)據(jù)，在處于攝影待機(jī)狀態(tài)的期間向 CPU8供給，并且在攝影時向CODEC (Coder & Decoder 編碼器/解碼器)9供給。在攝影待機(jī)狀態(tài)下向CPU8供給的YUV數(shù)據(jù)被提供給顯示部10，在顯示部10中作為實(shí)時取景圖像進(jìn)行顯示。顯示部10由顯示實(shí)時取景圖像等的液晶顯示器和驅(qū)動液晶顯示器的驅(qū)動電路等構(gòu)成。C0DEC9對在攝影時從圖像處理部7供給的圖像數(shù)據(jù)(YUV數(shù)據(jù))進(jìn)行JPEG方式的編碼，另外進(jìn)行被編碼的任意圖像數(shù)據(jù)的解碼。雖然未圖示，但是C0DEC9由用于進(jìn)行圖像數(shù)據(jù)的編碼及解碼的正交變換電路、量化電路、運(yùn)動檢測電路、順方向預(yù)測電路、編碼電路、解碼電路、逆正交變換電路、幀存儲器等構(gòu)成。攝影時在C0DEC9中以JPEG方式被壓縮編碼后的圖像數(shù)據(jù)，在由CPU8附加了日期信息、圖像尺寸等各種攝影信息之后，作為靜止圖像數(shù)據(jù)(靜止圖像文件)被記錄至圖像存儲器11。圖像存儲器11例如是內(nèi)置于相機(jī)主體的閃存、與相機(jī)主體可裝卸自如的各種存儲卡。被記錄至圖像存儲器11的靜止圖像數(shù)據(jù)，在再生時由CPU8適當(dāng)?shù)刈x出，在C0DEC9 中被解碼之后向顯示部10送出，作為靜止圖像再生。另外，CPU8連接著操作部 12、RAM (Random Access memory) 13、程序存儲器 14。RAMI3是CPU8的工作存儲器。操作部12包括電源鍵、快門鍵、模式切換鍵、MENU鍵、方向(箭頭)鍵等未圖示的多個鍵。模式切換鍵進(jìn)行數(shù)碼靜態(tài)相機(jī)1的基本動作模式即攝影模式和記錄圖像顯示用的再生模式之間的切換。
MENU鍵被用于攝影模式的下位模式的設(shè)定等各種設(shè)定作業(yè)。操作部12中的各鍵通過CPU8隨時取消操作狀態(tài)?？扉T鍵是具有可進(jìn)行半按下操作和全按下操作的2個階段操作的所謂的半快門功能的構(gòu)成。快門鍵的半按下操作被用于AE (Auto Exposure)動作及AF(Auto Focus)動作的開始指示等，快門鍵的全按下操作被用于攝影指示。程序存儲器14例如存儲在可重寫存儲數(shù)據(jù)的EEPROM(Electric Erasable Programmable Read Only Memory)艮口閃存中。在程序存儲器14中存儲了用于使CPU8控制數(shù)碼靜態(tài)相機(jī)1的整體動作的控制程序和各種數(shù)據(jù)。在被存儲至程序存儲器14的控制程序中，包含用于使CPU8進(jìn)行AE控制、AF控制、 AffB(Auto white balance)控制的程序。另外，在被存儲至程序存儲器14的各種數(shù)據(jù)中，包含構(gòu)成如下程序線圖的程序AE 數(shù)據(jù)等，該程序線圖表示與攝影時的適當(dāng)曝光相應(yīng)的光圈值和快門速度的組合。CPU8根據(jù)程序存儲器14所存儲的控制程序?qū)AM13作為作業(yè)存儲器工作，來控制數(shù)碼靜態(tài)相機(jī)1的各部。另外，在設(shè)定了后述的對手抖動引起的被攝體模糊進(jìn)行修正的模式時，CPU8發(fā)揮本發(fā)明的攝像控制部件、位移信息獲取部件、圖像相加部件、運(yùn)算部件、修正部件、合成部件、顏色信息獲取部件、設(shè)定部件、判斷部件的作用。下面，對由以上結(jié)構(gòu)構(gòu)成的數(shù)碼靜態(tài)相機(jī)1的本發(fā)明所涉及的動作進(jìn)行說明。在數(shù)碼靜態(tài)相機(jī)1中，作為攝影模式的下位模式設(shè)有對手抖動引起的被攝體模糊進(jìn)行修正的模式。對手抖動引起的被攝體模糊進(jìn)行修正的模式為以攝影時的手抖動引起的攝影圖像中的被攝體模糊的降低為目的，在數(shù)碼靜態(tài)相機(jī)1中預(yù)先準(zhǔn)備的攝影模式。在數(shù)碼靜態(tài)相機(jī)1中，在設(shè)定了攝影模式的期間，CPU8以規(guī)定的幀速率驅(qū)動攝像元件3。CPU8將由攝像元件3拍攝到的被攝體的圖像作為實(shí)時取景圖像依次顯示到顯示部10上。圖2是表示了在已設(shè)定對手抖動引起的被攝體模糊進(jìn)行修正的模式時，CPU8按程序存儲器14所存儲的控制程序執(zhí)行的處理的內(nèi)容的流程圖。CPU8在顯示部10顯示取景圖像的期間，依次檢測用戶進(jìn)行的快門鍵的半按下操作的有無。CPU8若檢測到快門鍵的半按下操作(步驟Sl 是)，則通過AE控制來確定攝影時的光圈值及曝光時間(快門速度)(步驟S2)。進(jìn)而，CPU8通過AF控制，進(jìn)行向主要被攝體的對焦(步驟S3)。其中，CPU8進(jìn)行的AF控制是公知的對比度檢測方式。然后，CPU8測定白平衡(步驟S4)。白平衡的測定為如下處理基于例如在快門鍵被半按下操作之前剛剛由攝像元件 3拍攝到的被攝體的圖像數(shù)據(jù)中的顏色分量信息(RGB值)，獲取表示按顏色溫度的像素?cái)?shù)的分布狀態(tài)的光分布數(shù)據(jù)。接著，CPU8基于通過白平衡測定獲取的光分布數(shù)據(jù)，判斷當(dāng)前光源的種類(步驟 S5)。CPU8判斷光源的種類是太陽光、熒光燈、燈泡(白熾燈)這三種中的哪一種。在CPU8判斷出光源的種類為太陽光的情況下(步驟S5 “太陽光”)，將分割色設(shè)定為“RGB” (所有顏色分量)(步驟S6)。另外，在CPU8判斷出光源的種類為熒光燈的情況下(步驟S5 “熒光燈”)，將分割色設(shè)定為“Green”(步驟S7)。另外，在CPU8判斷出光源的種類為燈泡(白熾燈)的情況下(步驟S5 “燈泡”)， 將分割色設(shè)定為“Red” (步驟S8)。CPU8在步驟S7及步驟S8的處理中所設(shè)定的分割色，在后述的攝像處理中是應(yīng)該由攝像元件3通過分割曝光讀出像素信號的特定的顏色分量，對應(yīng)于本發(fā)明的第1顏色分
So另外，CPU8不僅在分割色的設(shè)定處理中使用步驟S5中判斷出的光源的種類，還在基于AWB控制的白平衡調(diào)整中使用。S卩，CPU8使圖像處理部7進(jìn)行與在步驟S5中判斷出的光源的種類相應(yīng)的白平衡調(diào)整。接著，CPU8計(jì)算所設(shè)定的分割色的分割條件(步驟S9)。分割條件是在后述的攝像處理之際，通過分割曝光讀出在步驟S6 步驟S8的處理中設(shè)定的分割色的像素信號時，分配有分割色的一組像素(光電變換元件)的分割次數(shù)。在步驟S9的處理中，CPU8通過將步驟S2的AE控制所確定的曝光時間除以分割次數(shù)(曝光次數(shù))，求出一次的曝光時間。然后，CPU8檢測快門鍵的全按下的有無，如果未能檢測到快門鍵的全按下(步驟 SlO 否)，則進(jìn)一步檢測快門鍵的半按下是否已解除(步驟Sll)。并且，在CPU8檢測出快門鍵的半按下解除時(步驟Sll 是)，返回步驟Sl的處理，反復(fù)執(zhí)行步驟Sl以后的上述處理。另一方面，當(dāng)CPU8檢測出快門鍵的全按下(步驟SlO 是)時，立即執(zhí)行攝像處理 (步驟S12)。圖3是表示了 CPU8進(jìn)行的攝像處理的內(nèi)容的流程圖。在攝像處理中，CPU8使驅(qū)動電路5生成與之前設(shè)定的分割色以及在步驟S9的處理中計(jì)算出的分割條件相對應(yīng)的規(guī)定的驅(qū)動信號，來驅(qū)動攝像元件3，由此執(zhí)行以下處理。如圖3所示，CPU8在分割色為“RGB”而不是“Green”或“Red”時(步驟SlOl 否)， 復(fù)位(reset)攝像元件3的所有像素的蓄積電荷(像素電荷)(步驟S102)。然后，執(zhí)行步驟S103 步驟S106的循環(huán)處理，直至循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N為止。在上述循環(huán)處理中，CPU8針對攝像元件3的所有像素反復(fù)執(zhí)行步驟S9中計(jì)算出的分割曝光時間的曝光(步驟S104)、分割曝光后的像素?cái)?shù)據(jù)的讀出以及像素電荷的復(fù)位 (步驟 S105)。由此，CPU8將與分割次數(shù)N相等的分割色像素的像素?cái)?shù)據(jù)暫時存儲至圖像處理部7的存儲器7a。在此，被暫時存儲至存儲器7a的分割色像素的像素?cái)?shù)據(jù)是由RGB所有顏色分量組成的貝葉排列的像素?cái)?shù)據(jù)。隨后，CPU8在上述循環(huán)處理結(jié)束的時刻結(jié)束攝像處理，返回至圖2的處理。另一方面，CPU8在分割色為“Green”或“Red”時(步驟SlOl 是)，復(fù)位攝像元件 3的所有像素的蓄積電荷(像素電荷)(步驟S107)。然后，執(zhí)行步驟S108 步驟Slll的循環(huán)處理，直至循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N為止。在上述循環(huán)處理中，CPU8針對攝像元件3的分配有分割色的一組像素，執(zhí)行步驟 S9計(jì)算出的分割曝光時間的曝光(步驟S109)、分割曝光后的像素?cái)?shù)據(jù)的讀出以及像素電荷的復(fù)位(步驟S110)。另外，CPU8與上述的循環(huán)處理并行地，針對攝像元件3中的分配有分割色以外的非分割色的一組像素，執(zhí)行由AE控制所設(shè)定的曝光時間的一并曝光(在圖中被省略)。隨后，在上述循環(huán)處理結(jié)束之后，執(zhí)行非分割色的像素?cái)?shù)據(jù)的讀出(步驟S112)。分割色以外的非分割色是對應(yīng)于本發(fā)明的第2顏色分量的顏色。由此，CPU8使圖像處理部7的存儲器7a暫時存儲通過分割曝光拍攝到的與分割次數(shù)N相等的數(shù)目的分割色像素的像素?cái)?shù)據(jù)、通過一并曝光拍攝到的分別由非分割色的顏色分量構(gòu)成的2種非分割色的像素?cái)?shù)據(jù)。S卩，CPU8在將分割色設(shè)定為“Green”時，由G分量構(gòu)成的多個分割色的像素?cái)?shù)據(jù)、 由R分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)、和由B分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)被暫時存儲至存儲器7a。另外，CPU8在將分割色設(shè)定為“Red”時，由R分量構(gòu)成的多個分割色的像素?cái)?shù)據(jù)、 由G分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)、和由B分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)被暫時存儲至存儲器7a。隨后，CPU8在2種非分割色像素?cái)?shù)據(jù)的讀出處理結(jié)束的時刻結(jié)束攝像處理，返回至圖2的處理。在以上的攝像處理結(jié)束之后，CPU8執(zhí)行對圖像處理部7的存儲器7a暫時存儲的各像素?cái)?shù)據(jù)進(jìn)行重構(gòu)的處理(步驟S13)。圖4是表示了 CPU8進(jìn)行的重構(gòu)各像素?cái)?shù)據(jù)的處理的內(nèi)容的流程圖。此外，CPU8在設(shè)定分割色之際，基于白平衡測定(步驟S4)判斷光源的種類來進(jìn)行了設(shè)定，但也可僅根據(jù)顏色分量信息(RGB值)進(jìn)行設(shè)定，將該圖像的RGB值大的支配性顏色作為分割色。在圖像重構(gòu)處理中，CPU8首先執(zhí)行步驟S201 步驟S204的循環(huán)處理。該循環(huán)處理是將循環(huán)計(jì)數(shù)器i的初始值設(shè)為“2”，直至循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N為止執(zhí)行的處理。在上述循環(huán)處理中，CPU8首先以多張分割色的像素?cái)?shù)據(jù)作為對象，提取第1張的分割色的像素?cái)?shù)據(jù)和第i張(第2張以后)的分割色的像素?cái)?shù)據(jù)中的相互對應(yīng)的多個特征點(diǎn)(步驟S202)。此外，成為處理對象的多個分割色的像素?cái)?shù)據(jù)如前述，如果分割色為“RGB”則為貝葉排列的像素?cái)?shù)據(jù)，另外，如果分割色為“Green”或“Red”，則為僅由G分量或僅由R分量的顏色分量構(gòu)成的像素?cái)?shù)據(jù)。此外，CPU8計(jì)算第1張的分割色的像素?cái)?shù)據(jù)和第i張的分割色的像素?cái)?shù)據(jù)的疊加所需的幾何變換參數(shù)，并將計(jì)算出的幾何變換參數(shù)存儲至RAM13(步驟S203)。幾何變換參數(shù)是表示被攝體的位移的位移信息，該位移以第1張的分割色的像素?cái)?shù)據(jù)為基準(zhǔn)，由第i張的分割色的像素?cái)?shù)據(jù)所表現(xiàn)。幾何變換參數(shù)，具體地說，是使第i張的分割色的像素?cái)?shù)據(jù)中的多個特征點(diǎn)的坐標(biāo)位置與第1張的分割色的像素?cái)?shù)據(jù)中對應(yīng)的多個特征點(diǎn)的坐標(biāo)位置相一致的幾何變換 (坐標(biāo)變換)所需的行列式。此外，CPU8例如利用基于公知的梯度法的光流(optical flow)推定來進(jìn)行幾何變換參數(shù)的計(jì)算。CPU8在結(jié)束了上述循環(huán)處理之后，將第1張的分割色的像素?cái)?shù)據(jù)設(shè)定為后述的步驟S208的相加處理的基礎(chǔ)數(shù)據(jù)，并存儲至RAM13 (步驟S205)。接著，CPU8執(zhí)行步驟S206 步驟S209的新循環(huán)處理。上述循環(huán)處理也是將循環(huán)計(jì)數(shù)器i的初始值設(shè)為“ 2 ”，直至循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N為止所進(jìn)行的處理。在上述循環(huán)處理中，CPU8首先利用在步驟S203中存儲的幾何變換參數(shù)，對第i張 (第2張以后)的分割曝光的像素?cái)?shù)據(jù)，執(zhí)行用于疊加于第1張的分割色的像素?cái)?shù)據(jù)的幾何變換(步驟S207)。然后，CPU8將幾何變換后的第i張(2張以后)的分割色的像素?cái)?shù)據(jù)加到RAM13中存儲的基礎(chǔ)數(shù)據(jù)上，來更新基礎(chǔ)數(shù)據(jù)(步驟S208)。通過上述的循環(huán)處理，多個分割色的像素?cái)?shù)據(jù)依次被修正由分割色的像素?cái)?shù)據(jù)所表現(xiàn)的被攝體的位置偏移后進(jìn)行相加，相加后的相加圖像的像素?cái)?shù)據(jù)被存儲至RAM13。也就是說，通過與作為本發(fā)明的背景技術(shù)說明的連拍圖像的疊加合成方法相同的方法，將多個分割色的像素?cái)?shù)據(jù)合成，由此生成降低了在曝光時間內(nèi)的手抖動引起的被攝體模糊的新的分割色的像素?cái)?shù)據(jù)。隨后，CPU8在分割色為“RGB”的情況下(步驟S210 否)，在該時刻結(jié)束圖像重構(gòu)處理。另一方面，CPU8在分割色為“Green”或“Red”的情況下(步驟S210 是)，繼續(xù)進(jìn)行以下處理。首先，CPU8基于在步驟S203的處理中計(jì)算出的幾何變換參數(shù)，來計(jì)算整個幀的運(yùn)動矢量(步驟S211)。整個幀的運(yùn)動矢量是表示曝光時間內(nèi)的手抖動的軌跡的運(yùn)動矢量。在本實(shí)施方式中，假定曝光期間內(nèi)的手抖動為平行移動、沒有產(chǎn)生大的轉(zhuǎn)動，來計(jì)算整個幀的運(yùn)動矢量。然后，CPU8根據(jù)計(jì)算出的整個幀的運(yùn)動矢量獲取PSF(Point Spread Function 點(diǎn)擴(kuò)展函數(shù))(步驟S212)。在此，利用圖5，對上述整個幀的運(yùn)動矢量和PSF的詳細(xì)情形進(jìn)行說明。圖5(a)是在假定曝光次數(shù)為6次的情況下例示了像素空間中的各個分割色的像素?cái)?shù)據(jù)的平行移動位置f(l) f(6)的圖。圖5(b)是表示了通過對各個平行移動位置f (1) f (6)進(jìn)行插值而得到的曲線 A(圖中的虛線)的圖。圖5(b)所示的曲線A是手抖動的軌跡，在步驟S211的處理中，CPU8將表示該曲線A的運(yùn)動矢量作為整個幀的運(yùn)動矢量來計(jì)算。另一方面，圖5(b)中劃分曲線A的線段為在各分割色的像素?cái)?shù)據(jù)的平行移動位置的中點(diǎn)劃分曲線A，使各平行移動位置f(l) f(6)與曝光時間對應(yīng)起來。圖5(c)表示以沿上述曲線A的權(quán)重(h軸)的線積分在各曝光時間內(nèi)為均等的面積的方式、或者以總和為1的方式賦予權(quán)重(對于各曝光時間，將1除以幀數(shù)和各曝光時間的路長后得到的值作為權(quán)重)。對各平行移動位置f (1) f(6)的坐標(biāo)(X，y)定義的權(quán)重h (2) h(5)為PSF。另外，圖5(d)是表示各權(quán)重h(2) h(5)為平滑的連續(xù)值這樣的PSF(圖中的粗線)的圖，在步驟S212的處理中，CPU8運(yùn)算該P(yáng)SF。此外，在圖5 (c)、圖5 (d)中，為了方便，示出了除去最初和最終的分割色的像素?cái)?shù)據(jù)來獲取PSF的情況，但是在步驟S212的處理中，CPU8使用所有分割色的像素?cái)?shù)據(jù)來運(yùn)算 PSF。S卩，CPU8在PSF的運(yùn)算之際，通過將曲線A從兩端點(diǎn)外推半幀份(例如，在與相鄰的運(yùn)動矢量相同方向上，以與相鄰中點(diǎn)相同的長度將兩端延長)，從而使用所有分割色的像素?cái)?shù)據(jù)來運(yùn)算PSF。并且，在獲取到上述的PSF之后，CPU8以2種非分割色的像素?cái)?shù)據(jù)作為對象，實(shí)施將所獲取到的PSF用作二維卷積核的解卷積處理(步驟S213)。解卷積處理是通過使用了 PSF的逆卷積運(yùn)算(基于PSF的逆函數(shù)進(jìn)行的卷積運(yùn)算)，來降低非分割色的像素?cái)?shù)據(jù)產(chǎn)生的在曝光時間內(nèi)的手抖動引起的被攝體模糊的修正處理。然后，CPU8將解卷積處理后的2種非分割色的像素?cái)?shù)據(jù)和通過步驟S206 步驟 S209的循環(huán)處理而存儲在RAM13中的分割色的相加圖像的像素?cái)?shù)據(jù)相結(jié)合(步驟S214)。由此，CPU8在RAM13內(nèi)生成由RGB所有顏色分量構(gòu)成的貝葉排列的像素?cái)?shù)據(jù)，結(jié)束圖像重構(gòu)處理。圖6是表示上述的圖像重構(gòu)處理的概略的說明圖，是示出分割色為“Green”情況下的例子的圖。如圖6所示，在分割色為“Green”的情況下，僅由G分量構(gòu)成的多個分割色的像素?cái)?shù)據(jù)501，基于針對第2張以后的分割色的像素?cái)?shù)據(jù)所檢測出的幾何變換參數(shù)，被相加為單一分割色的像素?cái)?shù)據(jù)501a。另一方面，僅由R分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)502和僅由B分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)503，被修正成使用基于幾何變換參數(shù)所獲取的PSF而被攝體模糊被降低的狀態(tài)的新分割色的像素?cái)?shù)據(jù)502a、503a。然后，相加后的單一的分割色的像素?cái)?shù)據(jù)501a和修正后的新分割色的像素?cái)?shù)據(jù) 502a、503a，被結(jié)合成與由RGB所有顏色分量構(gòu)成的貝葉排列的像素?cái)?shù)據(jù)同樣的像素?cái)?shù)據(jù) 504。
而后，CPU8結(jié)束以上的圖像重構(gòu)處理并返回到圖2的處理，生成記錄用的圖像數(shù)據(jù)(步驟S14)。在步驟S14的處理中，CPU8向圖像處理部7供給在此時RAM13所存儲的貝葉排列的像素?cái)?shù)據(jù)，將該像素?cái)?shù)據(jù)作為對象，使圖像處理部7進(jìn)行各種圖像處理。然后，CPU8通過C0DEC9對記錄用的圖像數(shù)據(jù)進(jìn)行壓縮，并將壓縮后的圖像數(shù)據(jù)作為靜止圖像文件保存至圖像存儲器11 (步驟S15)。如上所述，在本實(shí)施方式的數(shù)碼靜態(tài)相機(jī)1中，在作為攝影模式而設(shè)定了手抖動修正模式時，CPU8通過執(zhí)行前述的處理，能夠降低攝影圖像中產(chǎn)生的手抖動引起的被攝體模糊。以下，對本發(fā)明的第2實(shí)施方式進(jìn)行說明。由于表示本發(fā)明所涉及的數(shù)碼靜態(tài)相機(jī)1的電氣構(gòu)成的概略的框圖即圖1、表示設(shè)定了手抖動修正模式時的CPU的處理內(nèi)容的流程圖即圖2、表示了 CPU進(jìn)行的攝像處理的內(nèi)容的流程圖即圖3的說明，與第1實(shí)施例相同，故省略說明。此外，CPU8在設(shè)定了后述的手抖動修正模式時，發(fā)揮本發(fā)明的攝像控制部件、第1 修正部件、位移信息獲取部件、圖像相加部件、運(yùn)算部件、第2修正部件、合成部件、顏色信息獲取部件、設(shè)定部件、判斷部件的功能。圖7是表示了 CPU8進(jìn)行的圖像重構(gòu)處理的內(nèi)容的流程圖。此外，設(shè)定分割色之際，在基于白平衡測定(步驟S4)判斷光源的種類之后進(jìn)行了設(shè)定，但也可僅根據(jù)顏色分量信息(RGB)進(jìn)行設(shè)定，將該圖像的RGB值大的支配色作為分割色。在圖像重構(gòu)處理中，CPU8首先執(zhí)行步驟S301 步驟S304的循環(huán)處理。該循環(huán)處理是進(jìn)行到循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N的處理。在上述循環(huán)處理中，CPU8將多張分割色的像素?cái)?shù)據(jù)作為對象，首先對第i張的分割色的像素?cái)?shù)據(jù)實(shí)施盲解卷積(blind deconvolution)處理(步驟S302)。此外，成為處理對象的多個分割色的像素?cái)?shù)據(jù)如前述，如果分割色為“RGB”則為貝葉排列的像素?cái)?shù)據(jù)，另外，如果分割色為“Green”或“Red”則為僅由G分量或僅由R分量的顏色分量構(gòu)成的像素?cái)?shù)據(jù)。盲解卷積處理推定表示第i張的分割色的像素所包含的被攝體模糊的PSF(Point Spread Function 點(diǎn)擴(kuò)展函數(shù))。并且，盲解卷積處理是進(jìn)行使用了所推定的PSF的逆卷積運(yùn)算(基于PSF的逆函數(shù)的卷積運(yùn)算)、即解卷積的處理。通過該處理，CPU8降低(修正)第i張的分割色的像素?cái)?shù)據(jù)產(chǎn)生的分割曝光時間內(nèi)的手抖動弓I起的被攝體模糊。盲解卷積處理的具體方法，能適用任意方法，例如也能適用〃 Removing camera shake from a single photograph" (R. Fergus 等，ACM SIGGRAPH, 2006)所公開的方法。隨后，CPU8將在盲解卷積處理之際推定出的與第i張的分割色的像素?cái)?shù)據(jù)相關(guān)的 PSF，存儲至 RAMI3 (步驟 S303)。圖8 (a)是示意性表示通過步驟S201 步驟S204的循環(huán)處理而存儲至RAM13中的、按分割色的像素?cái)?shù)據(jù)的PSF(I) PSF(4)的概念圖，是例示了分割次數(shù)為4次時的例子的圖。其中，在圖8(a)中黑點(diǎn)所示的點(diǎn)是PSF(I) -PSF(4)的原點(diǎn)位置。在結(jié)束了上述的循環(huán)處理之后，CPU8繼續(xù)執(zhí)行步驟S305 步驟S308的下一循環(huán)處理。該循環(huán)處理是將循環(huán)計(jì)數(shù)器i的初始值設(shè)為“2”，直至循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N為止所執(zhí)行的處理。在該循環(huán)處理中，CPU8以多張分割色的像素?cái)?shù)據(jù)作為對象，首先提取第(i_l)張的分割色的像素?cái)?shù)據(jù)和第i張(第2張以后)的分割色的像素?cái)?shù)據(jù)中的相互對應(yīng)的多個特征點(diǎn)(步驟S306)。接著，CPU8通過所提取的特征點(diǎn)的追蹤來計(jì)算運(yùn)動矢量，并存儲至RAM13(步驟 S307)。運(yùn)動矢量是位移信息，表示通過分割曝光而前后相鄰拍攝到的分割色的像素?cái)?shù)據(jù)之間按分割曝光時間的被攝體的位移。在步驟S307的處理中，CPU8在假定沒有產(chǎn)生大的轉(zhuǎn)動的情況下計(jì)算第i張中的分割色的像素?cái)?shù)據(jù)整體的運(yùn)動矢量。此外，在計(jì)算運(yùn)動矢量之際，既可以以規(guī)定塊為單位進(jìn)行特征點(diǎn)的追蹤，也可以以特征點(diǎn)附近的塊為單位進(jìn)行特征點(diǎn)的追蹤。此外，在計(jì)算運(yùn)動矢量之際，倘若容許精度下降，則也可對每個分割色的像素?cái)?shù)據(jù)僅追蹤單一特征點(diǎn)。在以塊為單位進(jìn)行特征點(diǎn)追蹤的情況下，用中值或RANSAC等來推定運(yùn)動矢量、即作為分割色的像素?cái)?shù)據(jù)的平行移動量。圖8(b)是示意性表示通過上述的循環(huán)處理而被存儲至RAM13中的、按分割曝光時間的運(yùn)動矢量V(I) V(3)的概念圖，是與圖8(a)對應(yīng)的圖。S卩，運(yùn)動矢量V(I)表示第1張的分割色的像素?cái)?shù)據(jù)和第2張的分割色的像素?cái)?shù)據(jù)之間的平行移動。另外，運(yùn)動矢量VQ)表示第2張的分割色的像素?cái)?shù)據(jù)和第3張的分割色的像素?cái)?shù)據(jù)之間的平行移動。另外，運(yùn)動矢量V C3)表示第3張的分割色的像素?cái)?shù)據(jù)和第4張的分割色的像素?cái)?shù)據(jù)之間的平行移動。然后，CPU8結(jié)束步驟S305 步驟S308的循環(huán)處理。而后，將第1張的分割色的像素?cái)?shù)據(jù)設(shè)定為后述的步驟S312的相加處理的基礎(chǔ)數(shù)據(jù)，并存儲至RAMI3 (步驟S309)。接著，CPU8執(zhí)行步驟S310 步驟S313的新循環(huán)處理。該處理也是將循環(huán)計(jì)數(shù)器i的初始值設(shè)為“2”，進(jìn)行到循環(huán)計(jì)數(shù)器i達(dá)到預(yù)先確定的分割次數(shù)N為止的處理。在該循環(huán)處理中，CPU8首先利用在步驟S307中存儲的按分割曝光時間的運(yùn)動矢量，執(zhí)行用于將第i張(第2張以后)的分割曝光像素?cái)?shù)據(jù)疊加于基礎(chǔ)數(shù)據(jù)的坐標(biāo)變換(步驟 S311)。然后，CPU8將坐標(biāo)變換后的第i張(第2張以后)的分割色的像素?cái)?shù)據(jù)加到RAM13所存儲的基礎(chǔ)數(shù)據(jù)上，來更新基礎(chǔ)數(shù)據(jù)(步驟S312)。通過上述的循環(huán)處理，多個分割色的像素?cái)?shù)據(jù)依次被修正由分割色的像素?cái)?shù)據(jù)表現(xiàn)的被攝體的位置偏移后被相加，相加后的相加像素?cái)?shù)據(jù)被存儲至RAM13。也就是說，通過與作為本發(fā)明的背景技術(shù)已說明的連拍圖像的疊加合成方法相同的方法，對多個分割色的像素?cái)?shù)據(jù)進(jìn)行合成。由此，生成曝光時間內(nèi)的手抖動引起的被攝體模糊被降低的新的分割色的像素?cái)?shù)據(jù)。隨后，CPU8在分割色為“RGB”的情況下(步驟S314 否)，在該時刻結(jié)束圖像重構(gòu)處理。另一方面，CPU8在分割色為“Green”或“Red”的情況下(步驟S314 是)，繼續(xù)進(jìn)行以下處理。首先，CPU8通過將之前在盲解卷積處理時推定出的各分割色的像素?cái)?shù)據(jù)的PSF進(jìn)行連結(jié)，來獲取整個幀的PSF(步驟S315)。在此，整個幀的PSF是表示在曝光時間內(nèi)的被攝體模糊的軌跡的新PSF。在步驟S315的處理中，CPU8按照在步驟S307的處理中獲取的按分割時間的運(yùn)動矢量，通過平行移動來對各分割色的像素?cái)?shù)據(jù)的PSF進(jìn)行連結(jié)。圖8 (c)是示意性表示新PSF (1-4)的概念圖，是與圖8 (a)、圖8 (b)對應(yīng)且用虛線表示了按分割時間的運(yùn)動矢量V(I) V(3)的圖。隨后，在獲取整個幀的PSF之后，CPU8以2種非分割色的像素?cái)?shù)據(jù)作為對象，實(shí)施將所獲取的PSF用作二維卷積核的解卷積處理(步驟S316)。根據(jù)該處理，CPU8降低(修正)2種非分割色的像素?cái)?shù)據(jù)中產(chǎn)生的在曝光時間內(nèi)的手抖動引起的被攝體模糊。然后，CPU8將解卷積處理后的2種非分割色的像素?cái)?shù)據(jù)和通過步驟S310 步驟 S313的循環(huán)處理而存儲到RAM13中的分割色的相加像素?cái)?shù)據(jù)相結(jié)合(步驟S317)。由此，CPU8在RAM13內(nèi)生成由RGB所有顏色分量構(gòu)成的像素?cái)?shù)據(jù)、即貝葉排列的像素?cái)?shù)據(jù)，結(jié)束圖像重構(gòu)處理。圖9是表示上述的圖像重構(gòu)處理的概略的說明圖，是表示了分割色為“Green”情況下的例子的圖。如圖9所示，在分割色為“Green”的情況下，僅由G分量構(gòu)成的多個分割色的像素?cái)?shù)據(jù)601，各自存在的被攝體模糊分別通過盲解卷積被修正。隨后，修正后的新的多個分割色的像素?cái)?shù)據(jù)601a，基于針對第2張以后的分割色的像素?cái)?shù)據(jù)而檢測出的按分割時間的運(yùn)動矢量，被相加為單一的分割色的像素?cái)?shù)據(jù)601b。另一方面，進(jìn)行僅由G分量構(gòu)成的多個分割色的像素?cái)?shù)據(jù)601的基于盲解卷積的修正時分別推定出的PSF，基于按分割時間的運(yùn)動矢量，被綜合為表示曝光時間內(nèi)的被攝體模糊的軌跡的整體的PSF。隨后，僅由R分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)602和僅由B分量構(gòu)成的非分割色的像素?cái)?shù)據(jù)603，通過使用了整體PSF的解卷積，被分別修正成降低了被攝體模糊的狀態(tài)的新非分割色的像素?cái)?shù)據(jù)60加、6031然后，相加后的單一的分割色的像素?cái)?shù)據(jù)601b和修正后的新非分割色的像素?cái)?shù)據(jù)60加、6033，被結(jié)合成由RGB所有顏色分量構(gòu)成的貝葉排列的像素?cái)?shù)據(jù)604。隨后，CPU8結(jié)束以上的圖像重構(gòu)處理并返回到圖2的處理，生成記錄用的圖像數(shù)據(jù)(步驟S14)。在步驟S14的處理中，CPU8向圖像處理部7供給在此時RAM13所存儲的貝葉排列的像素?cái)?shù)據(jù)，將該像素?cái)?shù)據(jù)作為對象，使圖像處理部7進(jìn)行各種圖像處理。隨后，CPU8通過C0DEC9對記錄用的圖像數(shù)據(jù)進(jìn)行壓縮，并將壓縮后的圖像數(shù)據(jù)作為靜止圖像文件保存至圖像存儲器11 (步驟S15)。如上所述，在本實(shí)施方式的數(shù)碼靜態(tài)相機(jī)1中，在作為攝影模式而設(shè)定了手抖動修正模式時，CPU8通過執(zhí)行前述的處理，能夠降低攝影圖像中產(chǎn)生的手抖動引起的被攝體模糊。而且，在數(shù)碼靜態(tài)相機(jī)1中，在通過解卷積分別降低了多個分割色的像素?cái)?shù)據(jù)的每一個中的被攝體模糊之后，通過使用基于修正后的像素?cái)?shù)據(jù)所獲取的運(yùn)動矢量，將修正后的多張分割色的像素?cái)?shù)據(jù)高精度地對位并相加。因此，即便在被攝體的光量不充分且攝影時的曝光時間長的情況下、即在分割曝光時間長的情況下，最終獲得的分割色的像素?cái)?shù)據(jù)也會成為沒有被攝體模糊的極良好的狀態(tài)的像素?cái)?shù)據(jù)。同時，在數(shù)碼靜態(tài)相機(jī)1中，在通過解卷積降低非分割色的像素?cái)?shù)據(jù)中的被攝體模糊之際，作為PSF，使用將通過針對各個分割色的像素?cái)?shù)據(jù)的盲解卷積推定出的PSF綜合之后的整個幀的PSF。因此，能夠可靠地降低非分割色的像素?cái)?shù)據(jù)中的被攝體模糊。這是由于關(guān)于各個分割色的像素?cái)?shù)據(jù)的PSF是表示分割曝光時間這樣的短時間內(nèi)的被攝體模糊的軌跡的 PSF，整個幀的PSF比較簡單(接近直線，表示連結(jié)性高的軌跡)?；谏鲜銮闆r，在靜態(tài)數(shù)碼相機(jī)1中，即便在被攝體的光量不充分且攝影時的曝光時間長的情況下，作為最終的圖像數(shù)據(jù)，也能夠獲取沒有被攝體模糊的極良好的像素?cái)?shù)據(jù)。由此，能夠同時實(shí)現(xiàn)較暗部分的畫質(zhì)提高和高精度的手抖動修正。另外，在本實(shí)施方式中采用了如下構(gòu)成在攝影時判斷出的光源的種類為熒光燈的情況下，將非分割色設(shè)定為“Green”，并且，在攝影時判斷出的光源的種類為熒光燈的情況下，將非分割色設(shè)定為“Red”。即，采用了將非分割色設(shè)定為在被攝體的顏色分布中處于支配低位的顏色這樣的構(gòu)成。因此，能夠更高精度地進(jìn)行以分割曝光方式獲取的多個像素?cái)?shù)據(jù)相加時的對位， 同時，能夠基于由像素?cái)?shù)據(jù)表現(xiàn)的被攝體中不存在模糊的像素?cái)?shù)據(jù)，高精度地修正(復(fù)原) 非分割色的像素?cái)?shù)據(jù)。其結(jié)果，不會受到被攝體顏色的左右，能夠以穩(wěn)定的精度降低攝影圖像中產(chǎn)生的手抖動引起的被攝體模糊。此外，針對非分割色，基于攝影時所判斷的白平衡控制下用到的顏色信息(分光分布數(shù)據(jù))來設(shè)定分割色，由此能夠簡化攝影時分割色的設(shè)定所需的處理。此外，在本實(shí)施方式中采用了如下構(gòu)成在攝影時判斷出的光源的種類為太陽光的情況下，通過將分割色設(shè)定為RGB所有顏色分量，來進(jìn)行基于與現(xiàn)有的連拍圖像的疊加合成方法相同的方法的信號處理?？墒?，在所述數(shù)碼靜態(tài)相機(jī)1中，針對攝影時判斷出的光源的種類為太陽光的情況，也能夠采用實(shí)施本發(fā)明的方法的構(gòu)成。這種情況下，作為分割色，只要設(shè)定預(yù)先確定的特定的顏色分量即可。作為特定的顏色分量，例如考慮對亮度信號的貢獻(xiàn)的比例大的G分量。另外，在本實(shí)施方式中，說明了不是具備機(jī)械快門而是由所謂的電子快門來確保攝影時的曝光時間的構(gòu)成的數(shù)碼靜態(tài)相機(jī)1?？墒?，在所述數(shù)碼靜態(tài)相機(jī)1中，雖然未圖示，但也可設(shè)置機(jī)械快門。在設(shè)置機(jī)械快門的情況下，例如能夠采用如下構(gòu)成在上述的分割曝光的讀出期間關(guān)閉快門，來讀出攝像元件3所具有的所有顏色分量的像素的像素信號。另外，在本實(shí)施方式中，作為攝像元件3，說明了在感光面上呈貝葉排列的R分量、 G分量、B分量的3種像素?cái)?shù)據(jù)的情況?？墒?，在攝像元件3的感光面上設(shè)置的濾色器也可以是貝葉排列以外的顏色排列。另外，濾色器并不限于原色過濾器排列，也可以是補(bǔ)色過濾器排列，進(jìn)而也可以是對RGB附加了 W(White)、即附加了非彩色濾色器的透過色的變形式貝葉排列。此外，在濾色器為變形式貝葉排列的情況下，優(yōu)選將分割色(第1顏色分量)設(shè)為靈敏度最高的W，將非分割色(第2顏色分量)設(shè)為R、G、B。另外，在本實(shí)施方式中，說明了攝像元件3為單板式CMOS傳感器的情況?？墒牵趯?shí)施本發(fā)明之際，只要是能夠按顏色分量獨(dú)立地進(jìn)行像素信號的讀出及復(fù)位(快門)的構(gòu)成，則能使用任意的攝像元件。此外，像素信號的讀出方式既可以如本實(shí)施方式一樣破壞讀出，也可以是非破壞讀出。因此，在實(shí)施本發(fā)明之際，例如能夠使用包括G用、RB用的2個攝像元件的雙板式圖像傳感器、包括G用、R用、B用的2個攝像元件的三板式圖像傳感器、三層式CMOS傳感器 (所謂的FOVEON方式的CMOS傳感器)等的攝像元件。另外，在本實(shí)施方式中，雖然采用了 CPU8進(jìn)行前述的圖像重構(gòu)處理的構(gòu)成，但前述的圖像重構(gòu)處理例如也可采用在圖像處理部7的內(nèi)部或圖像處理部7的前段設(shè)置專用的信號處理部，由該信號處理部執(zhí)行圖像重構(gòu)處理的構(gòu)成。另外，本發(fā)明并不限于在本實(shí)施方式中說明過的數(shù)碼靜態(tài)相機(jī)，例如也能適用于數(shù)碼攝像機(jī)、內(nèi)置于便攜電話終端等便攜式的任意電子設(shè)備的攝像頭等。
權(quán)利要求
1.一種攝像裝置，其特征在于，具備 攝像部件，其拍攝被攝體；攝像控制部件，其使所述攝像部件在攝影時的同一曝光時間內(nèi)，僅對由第1顏色分量構(gòu)成的第1顏色分量圖像通過分割曝光來進(jìn)行多次拍攝，并且對由所述第1顏色分量以外的其他顏色分量構(gòu)成的第2顏色分量圖像和第3顏色分量圖像通過一并曝光來進(jìn)行拍攝； 位移信息獲取部件，其將多個第1顏色分量的分割曝光后的圖像之一作為基準(zhǔn)圖像， 獲取其他分割曝光后的被攝體相對于該基準(zhǔn)圖像的被攝體的位移信息；圖像相加部件，其基于所述位移信息獲取部件所獲取的位移信息，將以所述分割曝光的方式拍攝到的多個第1顏色分量圖像進(jìn)行對位后相加，從而生成相加圖像；運(yùn)算部件，其基于由所述位移信息獲取部件所獲取的位移信息來運(yùn)算點(diǎn)擴(kuò)展函數(shù)； 修正部件，其通過使用了由所述運(yùn)算部件運(yùn)算出的點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，對以一并曝光的方式拍攝到的第2顏色分量圖像和第3顏色分量圖像進(jìn)行修正；和合成部件，其將由所述圖像相加部件生成的第1顏色分量的相加圖像、由所述修正部件修正后的第2顏色分量圖像和第3顏色分量圖像進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，該攝像裝置還具備第2修正部件，該第2修正部件推定所述多個第1顏色分量的分割曝光后的圖像的每一個中存在的拍攝時的手抖動所引起的被攝體模糊的點(diǎn)擴(kuò)展函數(shù)，通過使用了該點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算分別進(jìn)行修正，所述運(yùn)算部件基于由所述位移信息獲取部件所獲取的位移信息、以及由所述第2修正部件的圖像復(fù)原運(yùn)算進(jìn)行修正時按多個第1顏色分量圖像的每一個推定出的點(diǎn)擴(kuò)展函數(shù)， 來運(yùn)算新點(diǎn)擴(kuò)展函數(shù)，該新點(diǎn)擴(kuò)展函數(shù)表示所述攝影時的第2顏色分量圖像和第3顏色分量圖像在曝光時間內(nèi)的拍攝時的手抖動所引起的被攝體模糊的軌跡。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，還具備 顏色信息獲取部件，其獲取被攝體的顏色信息；和設(shè)定部件，其基于由所述顏色信息獲取部件所獲取的顏色信息，選擇性地將特定的顏色分量設(shè)定為所述第1顏色分量；所述攝像控制部件使所述攝像部件在攝影時的同一曝光時間內(nèi)，僅對由所述設(shè)定部件設(shè)定的第1顏色分量圖像通過分割曝光來進(jìn)行多次拍攝。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，該攝像裝置還具備判斷部件，該判斷部件基于由所述顏色信息獲取部件所獲取的顏色信息來判斷攝影環(huán)境下的光源的種類，所述設(shè)定部件與由所述判斷部件判斷出的光源的種類對應(yīng)地將預(yù)先確定的特定的顏色分量設(shè)定為所述第1顏色分量。
5.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，所述設(shè)定部件基于由所述顏色信息獲取部件所獲取的顏色信息，以在被攝體的顏色分布中處于支配地位作為設(shè)定條件，選擇性地將特定的顏色分量設(shè)定為所述第1顏色分量。
6.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述攝像部件是單板式的固體攝像元件，所述攝像控制部件在攝影時的同一曝光時間內(nèi)，使所述固體攝像元件中被分配了所述第1顏色分量的一組光電變換元件通過分割曝光來多次拍攝所述第1顏色分量圖像，并且使所述攝像部件中被分配了第1顏色分量以外的其他顏色分量的一組光電變換元件通過一并曝光來拍攝所述第2顏色分量圖像和第3顏色分量圖像。
7. 一種手抖動修正方法，其特征在于，包括使拍攝被攝體的攝像部件在攝影時的同一曝光時間內(nèi)，僅對由第1顏色分量構(gòu)成的第 1顏色分量圖像通過分割曝光來進(jìn)行多次拍攝，并且對由所述第1顏色分量以外的其他顏色分量構(gòu)成的第2顏色分量圖像和第3顏色分量圖像通過一并曝光來進(jìn)行拍攝的步驟；將多個第1顏色分量的分割曝光后的圖像之一作為基準(zhǔn)圖像，獲取其他分割曝光后的圖像相對于該基準(zhǔn)圖像的被攝體的位移信息的步驟；基于所獲取的位移信息，將以所述分割曝光的方式拍攝到的多個第1顏色分量圖像進(jìn)行對位后相加，從而生成相加圖像的步驟；基于所述位移信息來運(yùn)算點(diǎn)擴(kuò)展函數(shù)的步驟；通過使用了運(yùn)算出的點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，對以一并曝光的方式拍攝到的第2 顏色分量圖像和第3顏色分量圖像進(jìn)行修正的步驟；和將所述第1顏色分量的相加圖像、所述修正后的第2顏色分量圖像和第3顏色分量圖像進(jìn)行結(jié)合的步驟。
全文摘要
本發(fā)明提供一種攝像裝置及手抖動修正方法。攝像裝置具備攝像部件；攝像控制部件，使攝像部件在攝影時的同一曝光時間內(nèi)，僅對第1顏色分量圖像通過分割曝光來進(jìn)行多次拍攝，對第2顏色分量圖像和第3顏色分量圖像通過一并曝光來進(jìn)行拍攝；位移信息獲取部件，將多個第1顏色分量圖像之一作為基準(zhǔn)圖像，獲取其他圖像的被攝體相對于該基準(zhǔn)圖像的被攝體的位移信息；圖像相加部件，基于位移信息，將多個第1顏色分量圖像進(jìn)行對位后相加，生成相加圖像；運(yùn)算部件，基于位移信息來運(yùn)算點(diǎn)擴(kuò)展函數(shù)；修正部件，通過使用了點(diǎn)擴(kuò)展函數(shù)的圖像復(fù)原運(yùn)算，對第2和第3顏色分量圖像進(jìn)行修正；和合成部件，將相加圖像、修正后的第2和第3顏色分量圖像進(jìn)行合成。
文檔編號H04N9/76GK102244730SQ20111012852
公開日2011年11月16日 申請日期2011年5月13日 優(yōu)先權(quán)日2010年5月14日
發(fā)明者浜田玲 申請人:卡西歐計(jì)算機(jī)株式會社