本發(fā)明涉及取得多幀圖像數(shù)據(jù)進(jìn)行合成的攝像裝置、攝像方法。

背景技術(shù)：

近年來(lái)，在數(shù)碼相機(jī)等攝像裝置中，提供并銷(xiāo)售如下的攝像裝置：通過(guò)對(duì)從圖像傳感器連續(xù)地讀出的多幀圖像進(jìn)行合成，而實(shí)現(xiàn)在1幀的攝影圖像中無(wú)法表現(xiàn)的新的圖像處理效果的圖像，或者取得在1幀的攝影中無(wú)法簡(jiǎn)單地得到的圖像。

例如，在日本特開(kāi)2010-136058號(hào)公報(bào)中提出如下的攝像裝置：通過(guò)對(duì)多幀圖像進(jìn)行合成而容易地得到移攝攝影的圖像。

在利用以往的照相機(jī)進(jìn)行移攝攝影時(shí)，攝影者要拍攝期望的移攝圖像并不簡(jiǎn)單。具體而言，有時(shí)攝影者并不知道使背景成為適度的移動(dòng)量這樣的適合移攝的快門(mén)速度。此外，如果為了使適合移攝的快門(mén)速度為背景移動(dòng)這樣的稍長(zhǎng)的快門(mén)速度，而不適當(dāng)?shù)卦O(shè)定光圈值或ISO感光度，僅設(shè)定適合移攝的快門(mén)速度來(lái)進(jìn)行攝影，則有時(shí)曝光量變得過(guò)多而成為曝光過(guò)剩。

與此相對(duì)，在該公報(bào)中記載的攝像裝置對(duì)利用適當(dāng)?shù)钠毓膺B續(xù)拍攝的多幀圖像進(jìn)行合成而得到移攝圖像，因此不僅得到適當(dāng)?shù)钠毓獾暮铣蓤D像，也可以得到出現(xiàn)攝影者所喜歡的移攝效果的快門(mén)速度的合成圖像。此外，在本公報(bào)所記載的技術(shù)中，從圖像數(shù)據(jù)內(nèi)的多個(gè)被攝體中檢測(cè)出想要移動(dòng)的被攝體(背景)和不想移動(dòng)的被攝體(主要被攝體)，通過(guò)以主要被攝體不移動(dòng)而背景移動(dòng)的方式來(lái)合成圖像，能夠更簡(jiǎn)單地進(jìn)行移攝攝影。

上述日本特開(kāi)2010-136058號(hào)公報(bào)中記載的這樣的在合成連拍得到的圖像而生成1幀的圖像時(shí)，作為連拍方法考慮如下的方法：重復(fù)地進(jìn)行機(jī)械快門(mén)的開(kāi)閉動(dòng)作的機(jī)械快門(mén)連拍的方法、以及通常的CMOS圖像傳感器的動(dòng)態(tài)圖像攝影這樣的在保持打開(kāi)機(jī)械快門(mén)的狀態(tài)下重復(fù)地進(jìn)行從圖像傳感器的讀出的基于所謂的電子快門(mén)的連拍(以下適當(dāng)記載為電子讀出連拍)的方法。

對(duì)利用這樣的機(jī)械快門(mén)連拍或者電子讀出連拍所拍攝的多幀圖像進(jìn)行合成而得到的移攝圖像成為與習(xí)慣移攝的專(zhuān)業(yè)攝影師利用機(jī)械快門(mén)拍攝1幀而得到的移攝圖像不同的圖像。

具體而言，在利用機(jī)械快門(mén)進(jìn)行連拍的情況下，由于在對(duì)1幀的圖像進(jìn)行攝影之后暫時(shí)關(guān)閉快門(mén)，然后為了對(duì)下一幀的圖像進(jìn)行攝影而進(jìn)行打開(kāi)快門(mén)的動(dòng)作，由于從關(guān)閉到打開(kāi)的時(shí)間(例如1/10(sec)左右)而產(chǎn)生在連續(xù)的幀之間未進(jìn)行攝影的曝光缺失。例如，通常在對(duì)摩托車(chē)運(yùn)動(dòng)或野鳥(niǎo)的飛行等進(jìn)行移攝時(shí)以左右的快門(mén)速度進(jìn)行攝影，因此在機(jī)械快門(mén)連拍中在各圖像間會(huì)產(chǎn)生接近快門(mén)速度的數(shù)量級(jí)的1/10(sec)左右的曝光缺失。如果對(duì)連拍而得到的多幀圖像進(jìn)行合成而生成移攝攝影圖像，則由于主要被攝體靜止因此無(wú)違和感，但背景部分的移動(dòng)情況因曝光缺失而呈斷續(xù)狀。因此，在使用機(jī)械快門(mén)連拍的移攝攝影圖像的合成中，無(wú)法得到像專(zhuān)業(yè)攝影師利用1幀的圖像進(jìn)行攝影得到的移攝圖像那樣的自然的移動(dòng)情況的圖像。

另一方面，電子讀出連拍以如下的方式進(jìn)行。在近年的數(shù)碼相機(jī)中使用的CMOS圖像傳感器中，通常按照各行依次讀出在行和列方向上配置的多個(gè)像素的各信號(hào)。在每一行結(jié)束所蓄積的像素信號(hào)的讀出的時(shí)刻，再次開(kāi)始該行的像素的信號(hào)蓄積，進(jìn)行下一行的讀出。由于這樣在電子讀出連拍中不中斷各行的曝光而能夠進(jìn)行連拍，因此不會(huì)發(fā)生像機(jī)械快門(mén)連拍的情況那樣的曝光缺失。但是，從開(kāi)始圖像的最上面第1行的讀出到最下面1行的讀出結(jié)束為止的時(shí)間(所謂的電子快門(mén)的行進(jìn)時(shí)間)比機(jī)械快門(mén)的行進(jìn)時(shí)間長(zhǎng)。如果列舉具體例，機(jī)械快門(mén)從圖像傳感器的上端行進(jìn)到下端需要左右，但一般的CMOS圖像傳感器中的1畫(huà)面的電子讀出所需要的時(shí)間為左右。因此，如果使用電子快門(mén)，則在圖像的上側(cè)部分和下側(cè)部分之間曝光時(shí)機(jī)發(fā)生偏差，因此在對(duì)動(dòng)態(tài)的被攝體進(jìn)行攝影的情況下或者像移攝那樣使照相機(jī)自身移動(dòng)而進(jìn)行攝影的情況下，在攝影圖像中發(fā)生被攝體不自然地變形的現(xiàn)象。

參照附圖進(jìn)一步具體地進(jìn)行說(shuō)明。例如，考慮如圖4所示的相對(duì)于靜止的背景BO，使照相機(jī)朝著主要被攝體MO從右向左擺動(dòng)而對(duì)從右側(cè)向左側(cè)行駛的車(chē)輛等主要被攝體MO進(jìn)行移攝攝影的情況。

此時(shí)，在對(duì)利用機(jī)械快門(mén)連拍得到的多幀圖像進(jìn)行合成的情況下，由于像上述那 樣在各幀的圖像間產(chǎn)生曝光缺失，因此如圖11所示，成為背景BO的移動(dòng)斷續(xù)地終端的不自然的移動(dòng)情況的圖像。這里，圖11是示出由利用機(jī)械快門(mén)連拍得到的多幀圖像所合成的移攝攝影圖像SP1的例子的圖。

并且，在針對(duì)所有的多幀圖像不使用機(jī)械快門(mén)、僅使用電子快門(mén)(在圖12的例中假定從下向上行進(jìn)的電子快門(mén))的情況下，關(guān)于包含最初的1幀和最后的1幀的所有幀，圖像的上側(cè)和下側(cè)的曝光時(shí)機(jī)的偏差較大。因此，在合成圖像中，如圖12所示，越向圖像的上側(cè)，背景BO越向右側(cè)變形，會(huì)成為不自然的圖像。這里，圖12是示出由利用電子快門(mén)連拍得到的多幀圖像合成的移攝攝影圖像SP2的例子的圖。

在這樣對(duì)連拍得到的圖像進(jìn)行合成而生成1幀圖像的攝像裝置中，如果連拍的方法是機(jī)械快門(mén)連拍，則由于幀間的曝光缺失的原因，如果是電子讀出連拍則由于各行的曝光時(shí)機(jī)的偏差引起的被攝體變形的原因，與利用1幀的圖像進(jìn)行移攝攝影得到的圖像相比較，會(huì)成為不自然的圖像。

這樣合成圖像成為不自然的圖像不僅在將上述的移攝簡(jiǎn)單化的合成處理的情況下成立，在當(dāng)前提出且市售的數(shù)碼照相機(jī)中搭載的各種圖像合成處理，例如對(duì)曝光不同的多幀圖像進(jìn)行連拍而合成動(dòng)態(tài)范圍比1幀圖像大的圖像的圖像合成處理、對(duì)多幀圖像進(jìn)行平均合成而降低隨機(jī)噪聲的圖像合成處理等合成多幀圖像的各種圖像合成處理也同樣成立。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供減輕了由多幀圖像數(shù)據(jù)得到的合成圖像數(shù)據(jù)因曝光的不連續(xù)性和電子讀出而引起的被攝體變形、成為更自然的圖像的攝像裝置、攝像方法。

本發(fā)明的某方式的攝像裝置具有：攝像元件，其利用排列成二維狀的多個(gè)像素對(duì)被攝體光像進(jìn)行受光而生成圖像數(shù)據(jù)，利用讀出時(shí)間Te進(jìn)行讀出；機(jī)械快門(mén)，其配置在上述攝像元件的前面，通過(guò)滿(mǎn)足Te＞Tm的行進(jìn)時(shí)間Tm的開(kāi)閉動(dòng)作來(lái)控制上述攝像元件的曝光時(shí)間；控制部，其將該機(jī)械快門(mén)控制成使得上述機(jī)械快門(mén)從打開(kāi)到關(guān)閉的總曝光時(shí)間為T(mén)1，并且按照利用滿(mǎn)足T1＞T2的1幀曝光時(shí)間T2連續(xù)性地讀出多幀圖像數(shù)據(jù)的方式對(duì)上述攝像元件進(jìn)行電子快門(mén)控制；以及圖像合成部，其將上述多幀圖像數(shù)據(jù)合成而生成至少1幀的合成圖像數(shù)據(jù)，上述控制部控制成利用上述總曝 光時(shí)間T1不泄漏地讀出在任意的像素中曝光的電荷。

本發(fā)明的某方式的攝像方法具有如下的步驟：攝像步驟，利用攝像元件的排列成二維狀的多個(gè)像素對(duì)被攝體光像進(jìn)行受光而生成圖像數(shù)據(jù)，利用讀出時(shí)間Te進(jìn)行讀出；曝光步驟，利用配置在上述攝像元件的前面的機(jī)械快門(mén)，通過(guò)滿(mǎn)足Te＞Tm的行進(jìn)時(shí)間Tm的開(kāi)閉動(dòng)作來(lái)控制上述攝像元件的曝光時(shí)間；控制步驟，將上述機(jī)械快門(mén)控制成使得該機(jī)械快門(mén)從打開(kāi)到關(guān)閉的總曝光時(shí)間為T(mén)1，并且按照利用滿(mǎn)足Tl＞T2的1幀曝光時(shí)間T2來(lái)連續(xù)性地讀出多幀圖像數(shù)據(jù)的方式對(duì)上述攝像元件進(jìn)行電子快門(mén)控制；以及圖像合成步驟，對(duì)上述多幀圖像數(shù)據(jù)進(jìn)行合成而生成至少1幀的合成圖像數(shù)據(jù)，上述控制步驟是控制成利用上述總曝光時(shí)間T1不泄漏地讀出在任意的像素中曝光的電荷的步驟。

附圖說(shuō)明

圖1是示出本發(fā)明的實(shí)施方式1的攝像裝置的結(jié)構(gòu)的框圖。

圖2是示出上述實(shí)施方式1的攝像裝置的移攝攝影處理的動(dòng)作的流程圖。

圖3是示出上述實(shí)施方式1的移攝攝影模式中的曝光的情形的時(shí)序圖。

圖4示出在上述實(shí)施方式1中包含移動(dòng)的被攝體和靜止的背景的攝影場(chǎng)景的一例的圖。

圖5是示出在上述實(shí)施方式1中作為移攝攝影的第1幀而得到的圖像的例子的圖。

圖6是示出在上述實(shí)施方式1中作為移攝攝影的第2幀而得到的圖像的例子的圖。

圖7是示出在上述實(shí)施方式1中作為移攝攝影的第3幀而得到的圖像的例子的圖。

圖8是示出在上述實(shí)施方式1中作為移攝攝影的最終幀的第4幀而得到的圖像的例子的圖。

圖9是示出在上述實(shí)施方式1中對(duì)利用移攝攝影得到的所有幀的圖像進(jìn)行合成而得到的圖像的例子的圖。

圖10是用于說(shuō)明在上述實(shí)施方式1中從圖像傳感器連續(xù)地讀出用于生成合成圖像數(shù)據(jù)的多幀圖像數(shù)據(jù)的控制方法的時(shí)序圖。

圖11是示出以往由利用機(jī)械快門(mén)連拍得到的多幀圖像合成的移攝攝影圖像的例子的圖。

圖12是示出以往由利用電子快門(mén)連拍得到的多幀圖像合成的移攝攝影圖像的例子的圖。

具體實(shí)施方式

以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。

[實(shí)施方式1]

圖1至圖10示出本發(fā)明的實(shí)施方式1，圖1是示出攝像裝置1的結(jié)構(gòu)的框圖。

本發(fā)明的優(yōu)選的實(shí)施方式的攝像裝置1構(gòu)成為例如數(shù)碼照相機(jī)。

該攝像裝置1具有：攝像部2、圖像處理部3、總線(xiàn)4、自動(dòng)曝光控制部5、抖動(dòng)檢測(cè)部6、顯示部7、輸入IF(接口：Interface)8、內(nèi)部存儲(chǔ)器9、系統(tǒng)控制部10。另外，圖1中還記載了外部存儲(chǔ)器11，但該外部存儲(chǔ)器11能夠由例如相對(duì)于攝像裝置1裝卸自如的存儲(chǔ)器卡等構(gòu)成，也可以不是在攝像裝置1中固有的結(jié)構(gòu)。

攝像部2具有鏡頭21、機(jī)械快門(mén)22以及圖像傳感器23。

鏡頭21是將被攝體光像(被攝體的光學(xué)像)成像在圖像傳感器23上的光學(xué)系統(tǒng)。該鏡頭21在內(nèi)部具有光學(xué)光圈，該光學(xué)光圈根據(jù)作為用于調(diào)節(jié)曝光量的控制參數(shù)的光圈值而使開(kāi)口的大小發(fā)生變化。

另外，在本實(shí)施方式中，假定鏡頭21與照相機(jī)主體構(gòu)成為一體而進(jìn)行說(shuō)明，但也可以使鏡頭21構(gòu)成為作為更換鏡頭相對(duì)于照相機(jī)主體裝卸自如。

并且，機(jī)械快門(mén)22例如構(gòu)成為焦面快門(mén)，配置在圖像傳感器23的前面，通過(guò)對(duì)用于進(jìn)行遮光的前簾和后簾進(jìn)行開(kāi)閉而使來(lái)自鏡頭21的攝影光束到達(dá)圖像傳感器23，或者以使攝影光束不到達(dá)圖像傳感器23的方式進(jìn)行遮光。此時(shí)，從前簾開(kāi)始行進(jìn)起到后簾開(kāi)始行進(jìn)為止的時(shí)間為快門(mén)速度，根據(jù)基于自動(dòng)曝光控制部5的檢測(cè)結(jié)果而確定的快門(mén)速度，由系統(tǒng)控制部10來(lái)控制機(jī)械快門(mén)22。

如果設(shè)該機(jī)械快門(mén)22(前簾和后簾)通過(guò)圖像傳感器23的攝像面所需要的行進(jìn)時(shí)間為T(mén)m，設(shè)圖像傳感器23進(jìn)行所有行的讀出所需要的讀出時(shí)間(所謂的電子快門(mén)的行進(jìn)時(shí)間)為T(mén)e，則機(jī)械快門(mén)22通過(guò)滿(mǎn)足Te＞Tm的行進(jìn)時(shí)間Tm的開(kāi)閉動(dòng)作來(lái)控制圖像傳感器23的曝光時(shí)間。

圖像傳感器23包含CMOS圖像傳感器或CCD圖像傳感器等攝像元件，利用排列成二維狀的多個(gè)像素對(duì)由鏡頭21成像的被攝體光像進(jìn)行受光，按照每個(gè)像素轉(zhuǎn)換成電信號(hào)而生成圖像數(shù)據(jù)，讀出所生成的圖像數(shù)據(jù)而向圖像處理部3和總線(xiàn)4輸出。

總線(xiàn)4是用于在攝像裝置1內(nèi)的各部分之間進(jìn)行信號(hào)的發(fā)送接收的信號(hào)線(xiàn)。在圖1所示的例子中，總線(xiàn)4與攝像部2、圖像處理部3、自動(dòng)曝光控制部5、抖動(dòng)檢測(cè)部6、顯示部7、輸入IF8、內(nèi)部存儲(chǔ)器9、系統(tǒng)控制部10以及外部存儲(chǔ)器11連接。

圖像處理部3對(duì)從圖像傳感器23輸出的圖像數(shù)據(jù)實(shí)施圖像處理，具有圖像合成部31和顯像處理部32。

圖像合成部31對(duì)多幀圖像數(shù)據(jù)進(jìn)行合成而生成至少1幀的合成圖像數(shù)據(jù)，具有比較亮合成部33、比較暗合成部34、相加合成部35、平均合成部36、加權(quán)相加合成部37。即，圖像合成部31對(duì)從圖像傳感器23連續(xù)地讀出、根據(jù)需要保存在內(nèi)部存儲(chǔ)器9中的多幀圖像數(shù)據(jù)，按照對(duì)應(yīng)的每個(gè)像素進(jìn)行比較亮合成處理、比較暗合成處理、相加合成處理、平均合成處理、或者加權(quán)相加合成處理，而生成合成圖像。這里合成處理不限于選擇任意1個(gè)來(lái)進(jìn)行，也可以進(jìn)行多個(gè)合成處理而生成多個(gè)種類(lèi)的合成圖像。

比較亮合成部33進(jìn)行如下這樣的比較亮合成處理。比較亮合成部33對(duì)于存儲(chǔ)在內(nèi)部存儲(chǔ)器9中的多幀圖像數(shù)據(jù)，對(duì)分別對(duì)應(yīng)的像素位置的像素?cái)?shù)據(jù)之間進(jìn)行比較。

這里“對(duì)應(yīng)的像素位置”在多幀圖像數(shù)據(jù)中不存在位置偏差的情況下成為相同的像素位置(地址)，在存在位置偏差的情況下在進(jìn)行了位置偏差校正之后可以成為存在對(duì)應(yīng)關(guān)系的像素位置。特別是在移攝攝影的情況下，位置偏差校正成為對(duì)關(guān)于主要被攝體的位置偏差進(jìn)行校正(關(guān)于背景，即使位置發(fā)生偏差也可以)這樣的處理。

并且，比較亮合成部33使用對(duì)像素?cái)?shù)據(jù)進(jìn)行比較后的結(jié)果中的任意的大的一方、即明亮的一方的像素?cái)?shù)據(jù)而構(gòu)成比較亮合成圖像數(shù)據(jù)。通過(guò)對(duì)于所有的多幀圖像數(shù)據(jù)針對(duì)所有的像素位置進(jìn)行這樣的處理，而生成由最明亮的像素?cái)?shù)據(jù)構(gòu)成的比較亮圖像。

能夠通過(guò)這樣的處理而能夠以越明亮的被攝體越顯眼的方式合成。這樣，如果在例如主要被攝體比背景明亮的情況下進(jìn)行該比較亮合成處理，則能夠生成使主要被攝體更顯眼的合成圖像。

比較暗合成部34與比較亮合成部33大致同樣地對(duì)對(duì)應(yīng)的像素位置的像素?cái)?shù)據(jù)之 間進(jìn)行比較，但使用比較的結(jié)果中的任意的小的一方、即暗的一方的像素?cái)?shù)據(jù)來(lái)構(gòu)成比較暗合成圖像數(shù)據(jù)。

能夠通過(guò)這樣的處理而以越暗的被攝體越顯眼的方式合成。這樣，如果在例如主要被攝體比背景更暗的情況下進(jìn)行該比較暗合成處理，則能夠生成使主要被攝體更顯眼的合成圖像。

因此，在例如移攝攝影中，在主要被攝體(當(dāng)在摩托車(chē)運(yùn)動(dòng)的移攝中對(duì)車(chē)輛、飛行的鳥(niǎo)進(jìn)行攝影的情況下鳥(niǎo)等)比背景明亮的情況下使用比較亮合成部33，另一方面在主要被攝體比背景暗的情況下使用比較暗合成部34來(lái)進(jìn)行合成，由此能夠相對(duì)于背景明確地拍出主要被攝體，能夠得到更令人印象深刻的移攝合成圖像。

相加合成部35進(jìn)行如下這樣的合成處理。相加合成部35對(duì)于存儲(chǔ)在內(nèi)部存儲(chǔ)器9中的多幀圖像數(shù)據(jù)，對(duì)分別對(duì)應(yīng)的像素位置的像素?cái)?shù)據(jù)之間進(jìn)行相加。并且，使用相加結(jié)果的像素?cái)?shù)據(jù)而構(gòu)成相加合成圖像數(shù)據(jù)。

另外，在例如移攝中，通過(guò)對(duì)連拍得到的多幀圖像進(jìn)行相加合成而生成如下的圖像：該圖像的曝光與進(jìn)行將多幀的各自的曝光時(shí)間合計(jì)的時(shí)間的曝光相同。當(dāng)連拍的多幀圖像數(shù)據(jù)所拍到的主要被攝體的位置在每個(gè)圖像中都發(fā)生偏差的情況下，通過(guò)像上述那樣一邊對(duì)主要被攝體的位置進(jìn)行對(duì)準(zhǔn)一邊進(jìn)行相加合成，而能夠得到主要被攝體更明顯地呈現(xiàn)的合成圖像。

平均合成部36進(jìn)行如下這樣的合成處理。平均合成部36對(duì)于存儲(chǔ)在內(nèi)部存儲(chǔ)器9中的多幀圖像數(shù)據(jù)，對(duì)分別對(duì)應(yīng)的像素位置的像素?cái)?shù)據(jù)之間進(jìn)行平均。并且，使用平均結(jié)果的像素?cái)?shù)據(jù)而構(gòu)成平均合成圖像數(shù)據(jù)。

另外，在例如移攝中，通過(guò)像上述的相加合成部35那樣一邊對(duì)主要被攝體的位置進(jìn)行對(duì)準(zhǔn)一邊進(jìn)行平均合成，而能夠得到主要被攝體更明顯地呈現(xiàn)的合成圖像。

此外，在白天的屋外等明亮的場(chǎng)所，如果利用適合移攝的慢快門(mén)進(jìn)行攝影，則有時(shí)即使降低例如ISO感光度而收縮光圈，也會(huì)以比適合的亮度更亮的方式呈現(xiàn)。除此之外，如果收縮光圈則景深變寬，攝影者希望相對(duì)于所對(duì)焦的主要被攝體使背景更模糊(使景深變窄)來(lái)進(jìn)行攝影，而設(shè)想通過(guò)光圈優(yōu)先攝影模式(或者光圈機(jī)構(gòu)能夠手動(dòng)變更的鏡頭)打開(kāi)光圈進(jìn)行攝影的情況。在該情況下，容易以比適合的亮度進(jìn)一步更亮來(lái)拍攝(因此，要想在這樣的情況下得到適合的亮度的圖像，需要使用例如ND濾波器等而抑制入射光量)。與此相對(duì)，如果將各1幀的快門(mén)速度設(shè)定為曝光適合的 快門(mén)速度來(lái)進(jìn)行連拍，對(duì)由連拍得到的圖像數(shù)據(jù)進(jìn)行平均合成處理，則能夠得到曝光適合且適度的移動(dòng)情況的移攝合成圖像。

加權(quán)相加合成部37與上述的相加合成部35大致同樣地對(duì)對(duì)應(yīng)的像素位置的像素?cái)?shù)據(jù)之間進(jìn)行相加，但在該相加時(shí)按照幀進(jìn)行輕重的加權(quán)。通過(guò)對(duì)該加權(quán)進(jìn)行調(diào)整而能夠進(jìn)行對(duì)多幀圖像內(nèi)的期望的圖像進(jìn)行強(qiáng)調(diào)的相加合成。

由此，在進(jìn)行例如移攝時(shí)，當(dāng)在電子讀出連拍而取得的多幀中的一部分的幀中包含主要被攝體抖動(dòng)地呈現(xiàn)的幀的情況下，越是抖動(dòng)小的幀越增大權(quán)重系數(shù)來(lái)進(jìn)行合成，由此能夠減小合成圖像中的主要被攝體的抖動(dòng)，而得到主要被攝體明顯地呈現(xiàn)的合成圖像。

并且，例如如果加重多幀圖像內(nèi)的第1幀的圖像的權(quán)重而進(jìn)行相加合成，則能夠得到移動(dòng)被攝體的最初的位置明顯地在圖像中顯示的、利用距最初的位置的移動(dòng)情況來(lái)掌握之后的移動(dòng)向哪個(gè)方向怎樣進(jìn)行的圖像。相反，如果加重多幀圖像內(nèi)的最后的幀的圖像的權(quán)重而進(jìn)行相加合成，則能夠得到移動(dòng)被攝體的最后的位置在圖像中明顯地顯示的、能夠利用向最后的位置的移動(dòng)情況(從最后的位置起拉尾這樣的移動(dòng)情況)掌握直到最后的位置為止的移動(dòng)是從哪個(gè)方向怎樣進(jìn)行的圖像。

顯像處理部32針對(duì)作為由圖像合成部31生成的RAW圖像數(shù)據(jù)的合成圖像數(shù)據(jù)進(jìn)行去馬賽克處理、白平衡調(diào)整處理、噪聲降低處理、YC信號(hào)生成處理、伽馬校正處理、調(diào)整尺寸處理、圖像壓縮處理等各處理作為顯像處理。這里，調(diào)整尺寸處理是將從圖像傳感器23讀出的圖像數(shù)據(jù)的像素?cái)?shù)轉(zhuǎn)換成其他的像素?cái)?shù)的處理，例如是用于與顯示部7的顯示像素?cái)?shù)匹配的處理。

自動(dòng)曝光控制部5進(jìn)行攝像裝置1的AE(自動(dòng)曝光：Auto Exposure)控制，根據(jù)從圖像傳感器23讀出的圖像數(shù)據(jù)，自動(dòng)地檢測(cè)包含適當(dāng)曝光時(shí)間在內(nèi)的曝光條件、即能夠利用設(shè)為目標(biāo)的曝光進(jìn)行攝影這樣的ISO感光度、光圈值、快門(mén)速度(曝光時(shí)間)等。這里，ISO感光度是用于控制圖像數(shù)據(jù)的信號(hào)放大量的控制參數(shù)，光圈值是用于控制鏡頭21的光圈的開(kāi)口的大小的控制參數(shù)。并且，快門(mén)速度被檢測(cè)為作為適合曝光的曝光時(shí)間(適當(dāng)曝光時(shí)間)，在通常的1幀的圖像攝影中被用作用于控制機(jī)械快門(mén)22的前簾和后簾的各自行進(jìn)開(kāi)始的時(shí)間間隔的控制參數(shù)，但也可以在使用電子快門(mén)的情況下用作用于控制圖像傳感器23的讀出的時(shí)間間隔的控制參數(shù)。

抖動(dòng)檢測(cè)部6具有例如陀螺傳感器等檢測(cè)角速度的設(shè)備，檢測(cè)攝像裝置1的抖動(dòng) 量。該抖動(dòng)檢測(cè)部6兼用作檢測(cè)加速度的加速度檢測(cè)部。在移攝攝影中，抖動(dòng)檢測(cè)部6檢測(cè)攝影者與被攝體的運(yùn)動(dòng)對(duì)應(yīng)而使攝像裝置1移動(dòng)時(shí)的移動(dòng)量。

顯示部7構(gòu)成為具有TFT(Thin Film Transistor)液晶或有機(jī)EL(Electro Luminescence)等背面顯示部或者EVF(電子取景器：Electronic view finder)等，顯示由顯像處理部32顯像出的圖像。

輸入IF8是用于接受攝影者的操作而進(jìn)行針對(duì)攝像裝置1的各種設(shè)定或指示的操作部，例如具有用于打開(kāi)/關(guān)閉攝像裝置1的電源的電源按鈕、或者用于操作攝影開(kāi)始和結(jié)束的釋放按鈕等操作部件，還具有用于進(jìn)行顯示部7的背面顯示部等的觸摸操作輸入的觸摸面板等。該輸入IF8成為用于對(duì)包含后述的曝光時(shí)間T1在內(nèi)的攝影條件進(jìn)行設(shè)定輸入的用戶(hù)接口部。

內(nèi)部存儲(chǔ)器9是對(duì)從圖像傳感器23讀出的圖像數(shù)據(jù)或者圖像處理部3進(jìn)行圖像處理的中途的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)并且還對(duì)攝像裝置1的動(dòng)作所需要的各種處理程序或設(shè)定值等進(jìn)行存儲(chǔ)的存儲(chǔ)部。該內(nèi)部存儲(chǔ)器9例如由閃存、SDRAM等非易失性存儲(chǔ)器或者易失性存儲(chǔ)器(或者通過(guò)將它們組合)構(gòu)成。

外部存儲(chǔ)器11是相對(duì)于照相機(jī)主體裝填自如的存儲(chǔ)器卡等或者固定于照相機(jī)主體的內(nèi)部的非易失性的存儲(chǔ)介質(zhì)。該外部存儲(chǔ)器11記錄由顯像處理部32顯像處理后的圖像數(shù)據(jù)，在再現(xiàn)時(shí)，讀出所記錄的圖像數(shù)據(jù)。從該外部存儲(chǔ)器11讀出的圖像數(shù)據(jù)能夠向攝像裝置1的外部輸出。

系統(tǒng)控制部10具有CPU(Central Processing Unit：中央處理單元)等，是根據(jù)存儲(chǔ)于內(nèi)部存儲(chǔ)器9的處理程序控制攝像裝置1內(nèi)的各部分的控制部。

例如，系統(tǒng)控制部10是如下的控制部：根據(jù)自動(dòng)曝光控制部5的檢測(cè)結(jié)果，以使機(jī)械快門(mén)22從打開(kāi)到關(guān)閉的總曝光時(shí)間為T(mén)1的方式控制機(jī)械快門(mén)22，并且以滿(mǎn)足T1＞T2的1幀曝光時(shí)間T2使多幀圖像數(shù)據(jù)連續(xù)地讀出的方式對(duì)圖像傳感器23進(jìn)行電子快門(mén)控制。

接著，圖2是示出攝像裝置1的移攝攝影處理的動(dòng)作的流程圖。該圖2所示的處理像上述那樣是通過(guò)由系統(tǒng)控制部10根據(jù)存儲(chǔ)在內(nèi)部存儲(chǔ)器9中的處理程序?qū)z像裝置1內(nèi)的各部分進(jìn)行控制執(zhí)行的。

在執(zhí)行未圖示的主處理中，如果攝影者經(jīng)由輸入IF8選擇移攝攝影模式，則開(kāi)始該圖2所示的處理。

于是，首先將機(jī)械快門(mén)22設(shè)為打開(kāi)狀態(tài)，從圖像傳感器23以規(guī)定的幀速讀出圖像數(shù)據(jù)，在顯示部7上進(jìn)行實(shí)時(shí)取景顯示(步驟S1)。觀察該實(shí)時(shí)取景顯示(或者，光學(xué)取景器顯示的被攝體像等)，攝影者進(jìn)行鏡頭21的焦點(diǎn)調(diào)整以便能夠?qū)οＭ麛z影的被攝體進(jìn)行攝影，并且通過(guò)調(diào)節(jié)攝像裝置1的朝向和鏡頭21的焦點(diǎn)距離(變焦)而確定構(gòu)圖。并且，攝影者通過(guò)根據(jù)需要對(duì)輸入IF8的操作按鈕或觸摸面板等進(jìn)行操作而進(jìn)行攝影的其他設(shè)定。

接著，根據(jù)利用實(shí)時(shí)取景取得的圖像數(shù)據(jù)，系統(tǒng)控制部10將最適合移攝的曝光時(shí)間(移攝曝光時(shí)間)設(shè)定為總曝光時(shí)間T1(步驟S2)。在移攝中，以追隨移動(dòng)的主要被攝體的方式攝影者使攝像裝置1的朝向移動(dòng)。此時(shí)，為了根據(jù)鏡頭21的焦點(diǎn)距離而使成像在圖像傳感器23上的主要被攝體的像面速度發(fā)生變化，系統(tǒng)控制部10根據(jù)鏡頭21的焦點(diǎn)距離自動(dòng)地計(jì)算能夠有效地對(duì)背景的移動(dòng)進(jìn)行攝影的移攝曝光時(shí)間，將計(jì)算出的移攝曝光時(shí)間設(shè)定為總曝光時(shí)間T1。

并且，系統(tǒng)控制部10也可以根據(jù)兼作為加速度檢測(cè)部的抖動(dòng)檢測(cè)部6的檢測(cè)結(jié)果，對(duì)攝影者與主要被攝體的移動(dòng)對(duì)應(yīng)地使攝像裝置1的朝向移動(dòng)的速度進(jìn)行計(jì)算，根據(jù)計(jì)算出的移動(dòng)速度自動(dòng)設(shè)定作為移攝曝光時(shí)間的總曝光時(shí)間T1。

除此之外，也可以根據(jù)鏡頭21的焦點(diǎn)距離和抖動(dòng)檢測(cè)部6的檢測(cè)結(jié)果這雙方計(jì)算移攝曝光時(shí)間而自動(dòng)設(shè)定為總曝光時(shí)間T1。即，系統(tǒng)控制部10也可以根據(jù)鏡頭21的焦點(diǎn)距離和抖動(dòng)檢測(cè)部6的檢測(cè)結(jié)果中的至少一方計(jì)算適合移攝攝影的曝光時(shí)間，設(shè)定為總曝光時(shí)間T1。

或者，也可以使攝影者能夠修正由攝像裝置1自動(dòng)設(shè)定的總曝光時(shí)間T1，也可以不使用攝像裝置1的自動(dòng)設(shè)定，由攝影者手動(dòng)地將總曝光時(shí)間T1設(shè)定為期望值。

然后，系統(tǒng)控制部10在檢測(cè)出半按下釋放按鈕而打開(kāi)第一釋放開(kāi)關(guān)之后，作為第一釋放打開(kāi)時(shí)的處理，例如進(jìn)行AF(自動(dòng)焦點(diǎn)：Autofocus)控制處理和AE控制處理(步驟S3)。

這里，AF控制處理是從在實(shí)時(shí)取景中從圖像傳感器23反復(fù)讀出的圖像數(shù)據(jù)中提取對(duì)比度信號(hào)，以使所提取出的對(duì)比度信號(hào)取最大值的方式，對(duì)鏡頭21中的對(duì)焦鏡頭進(jìn)行驅(qū)動(dòng)控制而對(duì)準(zhǔn)焦點(diǎn)的處理。

并且，AE控制處理是從在實(shí)時(shí)取景中從圖像傳感器23反復(fù)讀出的圖像數(shù)據(jù)中提取亮度相當(dāng)信號(hào)，自動(dòng)地檢測(cè)使由提取出的亮度相當(dāng)信號(hào)求出的圖像的亮度成為適當(dāng) 的(圖像成為適當(dāng)曝光的)光圈值、ISO感光度、快門(mén)速度(曝光時(shí)間)而進(jìn)行控制的處理。

但是，也可以根據(jù)攝像裝置1的設(shè)定，使AF與AE的功能的至少一方(單方或者雙方)為關(guān)閉，攝影者經(jīng)由輸入IF8等手動(dòng)地設(shè)定對(duì)焦鏡頭的位置(焦點(diǎn)調(diào)節(jié))、光圈值、ISO感光度、快門(mén)速度等。

在該AE控制處理中，以盡量成為T(mén)2＝T1的方式調(diào)節(jié)ISO感光度和光圈值。這是因?yàn)槿绻鸗1＝T2，則能夠通過(guò)僅使用機(jī)械快門(mén)22的1幀攝影而以適當(dāng)曝光進(jìn)行有效的移攝攝影。但是，即使像上述那樣在屋外等明亮的環(huán)境中將ISO感光度設(shè)定得低，并且收縮光圈，如果為T(mén)2＝T1，則有時(shí)也會(huì)成為曝光過(guò)度。在一般的數(shù)碼照相機(jī)中，由于能夠設(shè)定的最低的ISO感光度為ISO100，能夠設(shè)定的最小光圈值為F22左右，因此如果以移攝的快門(mén)速度(通常情況下為左右)進(jìn)行攝影，則有時(shí)因被攝體的亮度而成為曝光過(guò)度。在該情況下，不得不設(shè)為T(mén)2≠T1。

因此，當(dāng)系統(tǒng)控制部10確定了作為移攝曝光時(shí)間的總曝光時(shí)間T1以及成為適合曝光的1幀曝光時(shí)間T2后，進(jìn)一步判定1幀曝光時(shí)間T2是否比總曝光時(shí)間T1小(步驟S4)。

這里，在判定為T(mén)2＜T1的情況下，利用作為適當(dāng)曝光的1幀曝光時(shí)間T2，在機(jī)械快門(mén)22打開(kāi)的期間進(jìn)行電子讀出連拍。因此，系統(tǒng)控制部10根據(jù)來(lái)自輸入IF8的輸入來(lái)判定第二釋放開(kāi)關(guān)是否打開(kāi)(步驟S5)。當(dāng)攝影者進(jìn)行了構(gòu)圖或焦點(diǎn)對(duì)準(zhǔn)時(shí)，為了開(kāi)始攝影而對(duì)釋放按鈕進(jìn)行全按下，第二釋放開(kāi)關(guān)與該釋放按鈕的全按下連動(dòng)地成為打開(kāi)。

這里，在判定為第二釋放開(kāi)關(guān)關(guān)閉的情況下，返回步驟S1，反復(fù)地進(jìn)行上述這樣的處理。

這樣，在步驟S5中，在判定為第二釋放開(kāi)關(guān)打開(kāi)的情況下，在暫時(shí)關(guān)閉在實(shí)時(shí)取景時(shí)打開(kāi)的機(jī)械快門(mén)22之后，再次打開(kāi)，由此開(kāi)始曝光(步驟S6)。

圖3是示出移攝攝影模式的曝光的情形的時(shí)序圖。在該圖3中，上側(cè)是圖像傳感器23的上側(cè)SU(由于通過(guò)鏡頭21將光學(xué)像反轉(zhuǎn)地成像，因此是圖像的下側(cè)PD)，下側(cè)是圖像傳感器23的下側(cè)SD(由于相同的理由，為圖像的上側(cè)PU)。并且，圖3的右側(cè)為時(shí)刻t的行進(jìn)方向。

在該圖3所示的例子中，系統(tǒng)控制部10在為了能夠曝光第1幀的圖像而對(duì)圖像 傳感器23的各行依次復(fù)位RST1之后，使機(jī)械快門(mén)22的前簾FS開(kāi)始行進(jìn)，與例如前簾FS的行進(jìn)開(kāi)始同時(shí)地開(kāi)始進(jìn)行第1幀的圖像P1的每行的依次的讀出RD1(步驟S7)。

此時(shí)，系統(tǒng)控制部10對(duì)用于測(cè)量1幀曝光時(shí)間T2的定時(shí)器以及用于測(cè)量總曝光時(shí)間T1的定時(shí)器進(jìn)行復(fù)位，開(kāi)始進(jìn)行計(jì)時(shí)動(dòng)作。

將這里讀出的第1幀的圖像P1保存在內(nèi)部存儲(chǔ)器9中(步驟S8)。

也存在第1幀的圖像P1的讀出RD1即第2幀的圖像P2的曝光開(kāi)始。

在該第2幀(或者其之后)的曝光開(kāi)始時(shí)，如果為了保持使機(jī)械快門(mén)22打開(kāi)的狀態(tài)，而使用某圖像的讀出為下一圖像的曝光開(kāi)始的電子快門(mén)，則在曝光不中斷的情況下進(jìn)行連拍。這樣，能夠在不產(chǎn)生幀間的曝光缺失的情況下進(jìn)行連拍，能夠防止最終的合成圖像的移動(dòng)被攝體的軌跡中斷。

在使第2幀的圖像P2曝光開(kāi)始之后，系統(tǒng)控制部10根據(jù)定時(shí)器的測(cè)量結(jié)果判定是否經(jīng)過(guò)了1幀曝光時(shí)間T2(步驟S9)。這里在未經(jīng)過(guò)1幀曝光時(shí)間T2的情況下，繼續(xù)進(jìn)行曝光，并且等待直到經(jīng)過(guò)1幀曝光時(shí)間T2。

在步驟S9中，在判定為經(jīng)過(guò)了1幀曝光時(shí)間T2的情況下，對(duì)用于測(cè)量1幀曝光時(shí)間T2的定時(shí)器進(jìn)行復(fù)位而新開(kāi)始進(jìn)行1幀曝光時(shí)間T2的測(cè)量，并且從圖像傳感器23讀出圖像數(shù)據(jù)(步驟S10)，將讀出的圖像數(shù)據(jù)保存在內(nèi)部存儲(chǔ)器9中(步驟S11)。

并且，系統(tǒng)控制部10根據(jù)定時(shí)器的測(cè)量結(jié)果判定總曝光時(shí)間T1是否經(jīng)過(guò)(步驟S12)。

在該步驟S12中，在判定為未經(jīng)過(guò)總曝光時(shí)間T1的情況下，返回步驟S9而像上述那樣進(jìn)行利用電子快門(mén)的下一圖像的曝光。

這樣每次經(jīng)過(guò)1幀曝光時(shí)間T2，進(jìn)行來(lái)自圖像傳感器23的電子讀出RD2、RD3等而取得圖像P2、P3等，并且對(duì)定時(shí)器進(jìn)行復(fù)位而對(duì)新的1幀曝光時(shí)間T2進(jìn)行計(jì)時(shí)，并且進(jìn)行新的曝光。

這樣，在步驟S12中，在判定為經(jīng)過(guò)了總曝光時(shí)間T1的情況下，為了結(jié)束攝影而使機(jī)械快門(mén)22的后簾RS行進(jìn)從而關(guān)閉(步驟S13)。

這樣，總曝光時(shí)間T1是機(jī)械快門(mén)22從打開(kāi)到關(guān)閉的時(shí)間，是在任意的像素中光到達(dá)的期間。該總曝光時(shí)間T1成為在移攝攝影模式中連續(xù)地從圖像傳感器23電子讀 出的多幀圖像的全體的有效曝光時(shí)間(光到達(dá)的全體時(shí)間)。與此相對(duì)，1幀曝光時(shí)間T2是從圖像傳感器23讀出1幀的圖像的時(shí)間間隔(圖像讀出周期)。

例如如圖3所示，在進(jìn)行了第3幀的讀出RD3之后、進(jìn)行第4幀的讀出RD4之前使后簾RS行進(jìn)而關(guān)閉的情況下，將通過(guò)作為電子讀出連拍的最后1幀的第4幀的讀出RD4而取得的圖像P4保存在內(nèi)部存儲(chǔ)器9(步驟S14)。

接著，根據(jù)保存在內(nèi)部存儲(chǔ)器9中的多幀圖像數(shù)據(jù)，通過(guò)圖像合成部31的例如平均合成部36進(jìn)行平均合成處理，而生成合成圖像(步驟S15)。

具體而言，如果設(shè)第n(n為正的整數(shù))幀的圖像的像素位置(x，y)的像素?cái)?shù)據(jù)為Pn(x，y)，設(shè)連拍而得到的所有圖像的幀數(shù)為N(N為正整數(shù))，設(shè)合成圖像的像素位置(x，y)的像素?cái)?shù)據(jù)為Pcomp(x，y)，則該平均合成處理是通過(guò)下面的數(shù)式1計(jì)算Pcomp(x，y)的處理。

[數(shù)式1]

這樣，在按照對(duì)應(yīng)的每個(gè)像素位置進(jìn)行了所有N幀的像素?cái)?shù)據(jù)Pn(x，y)的相加之后，通過(guò)乘以系數(shù)T2/T1，合成圖像中的像素?cái)?shù)據(jù)Pcomp(x，y)成為與由僅曝光了1幀曝光時(shí)間T2的像素得到的像素值相當(dāng)?shù)南袼刂怠?/p>

這里假如考慮不利用作為適當(dāng)曝光的1幀曝光時(shí)間T2進(jìn)行分割曝光，而對(duì)利用總曝光時(shí)間T1曝光的1幀的像素?cái)?shù)據(jù)乘以系數(shù)T2/T1的情況，則在T1＞T2的情況下得到的1幀的圖像成為曝光過(guò)度。因此，根據(jù)光電二極管的飽和輸出級(jí)別、圖像傳感器23內(nèi)部的飽和級(jí)別值、后段的數(shù)字電路(圖像處理部3等)的飽和級(jí)別值等，根據(jù)被攝體或攝影條件而產(chǎn)生因像素?cái)?shù)據(jù)飽和而進(jìn)行鉗制的像素。這樣的飽和鉗制的像素?cái)?shù)據(jù)失去適當(dāng)?shù)念伾畔⒒蛄炼刃畔?，?dāng)乘以系數(shù)T2/T1(＜1)時(shí)成為飽和級(jí)別值以下的輸出，會(huì)成為與實(shí)際的被攝體不同的不自然的輸出。但是，在這樣的像素中，如果利用1幀曝光時(shí)間T2進(jìn)行攝影則應(yīng)該也存在不飽和的像素。因此，通過(guò)利用成為適合曝光的1幀曝光時(shí)間T2進(jìn)行分割曝光，而能夠防止像素值的飽和，得到更自然的顏色的圖像。

并且，在步驟S4中，在判定為不是T2＜T1的情況下，通過(guò)調(diào)整ISO感光度或光圈值而能夠設(shè)定為T(mén)2＝T1。在該情況下，與上述的步驟S5同樣，系統(tǒng)控制部10 判定第二釋放開(kāi)關(guān)是否打開(kāi)(步驟S16)，在第二釋放開(kāi)關(guān)打開(kāi)之前返回步驟S1，而反復(fù)地進(jìn)行上述這樣的處理。

這樣，在步驟S16中，在判定為第二釋放開(kāi)關(guān)打開(kāi)的情況下，在暫時(shí)關(guān)閉在實(shí)時(shí)取景時(shí)打開(kāi)的機(jī)械快門(mén)22之后，再次打開(kāi)，由此開(kāi)始曝光(步驟S17)。

并且，系統(tǒng)控制部10根據(jù)定時(shí)器的測(cè)量結(jié)果而等待總曝光時(shí)間T1(＝T2)經(jīng)過(guò)(步驟S18)。

這樣，當(dāng)在步驟S18中判定為經(jīng)過(guò)了總曝光時(shí)間T1的情況下，為了結(jié)束攝影而使機(jī)械快門(mén)22的后簾RS行進(jìn)從而關(guān)閉(步驟S19)。

然后，將在步驟S15中生成的N幀的平均合成圖像數(shù)據(jù)、或者在步驟S19的曝光結(jié)束后從圖像傳感器23讀出的1幀的圖像數(shù)據(jù)保存在內(nèi)部存儲(chǔ)器9中(步驟S20)。

這樣，系統(tǒng)控制部10僅在步驟S4中判定為滿(mǎn)足T1＞T2時(shí)，進(jìn)行基于機(jī)械快門(mén)22的對(duì)總曝光時(shí)間T1進(jìn)行時(shí)分割的電子快門(mén)控制。

接著，顯像處理部32針對(duì)保存在內(nèi)部存儲(chǔ)器9中的圖像數(shù)據(jù)進(jìn)行上述這樣的顯像處理(步驟S21)。

在這樣進(jìn)行了顯像處理之后，將處理后的圖像數(shù)據(jù)保存在外部存儲(chǔ)器11中(步驟S22)，并且將調(diào)整尺寸處理后的圖像數(shù)據(jù)作為最終的記錄圖像顯示在顯示部7中(步驟S23)，而從該移攝攝影處理返回未圖示的主處理。

接著，參照說(shuō)明對(duì)利用本實(shí)施方式的移攝攝影處理連拍得到的多幀圖像進(jìn)行合成而得到的合成圖像。

圖4是示出包含移動(dòng)的被攝體和靜止的背景的攝影場(chǎng)景的一例的圖，圖5是示出作為移攝攝影的第1幀而得到的圖像P1的例子的圖，圖6是示出作為移攝攝影的第2幀而得到的圖像P2的例子的圖，圖7是示出作為移攝攝影的第3幀而得到的圖像P3的例子的圖，圖8是示出作為移攝攝影的最后一幀的第4幀而得到的圖像P4的例子的圖，圖9是示出對(duì)利用移攝攝影得到的所有幀的圖像進(jìn)行合成而得到的圖像SP的例子的圖。

例如，考慮圖4所示的、以使攝像裝置1朝向主要被攝體MO從右向左搖動(dòng)的方式對(duì)相對(duì)于靜止的背景BO從右側(cè)向左側(cè)行進(jìn)的車(chē)輛等主要被攝體MO進(jìn)行移攝攝影的情況。

假設(shè)攝影的移動(dòng)像圖3所示的例子那樣在總曝光時(shí)間T1中利用作為適當(dāng)曝光的 1幀曝光時(shí)間T2對(duì)圖像的4幀圖像數(shù)據(jù)進(jìn)行電子讀出連拍(其中，對(duì)于第1幀和最后一幀，如果以包含利用虛線(xiàn)表示的陰影線(xiàn)部分的方式進(jìn)行曝光(即，如果能夠在不具有照射被攝體光像的像素?cái)?shù)據(jù)的情況下讀出)，則也可以不是1幀曝光時(shí)間T2)。

在第1幀的圖像P1中，為了當(dāng)機(jī)械快門(mén)22打開(kāi)時(shí)馬上進(jìn)行讀出RD1，因此圖像傳感器23的上側(cè)SU(圖像的下側(cè)PD)的曝光時(shí)間短，圖像傳感器23的下側(cè)SD(圖像的上側(cè)PU)的曝光時(shí)間長(zhǎng)。因此，如圖5所示，圖像P1成為主要被攝體MO以外的背景BO為了移攝而越是圖像的上側(cè)越使攝像裝置1與搖動(dòng)的方向相反地從左向右移動(dòng)的圖像。

在圖6所示的第2幀的圖像P2和圖7所示的第3幀的圖像P3中，由于使各行的曝光時(shí)機(jī)從圖像中的下側(cè)朝向上側(cè)依次偏移來(lái)進(jìn)行，因此成為使背景BO越向圖像的下側(cè)越朝向左側(cè)、越向上越向右側(cè)偏移的失真的圖像。

在圖8所示的作為最后1幀的圖像P4中，由于在曝光中機(jī)械快門(mén)22關(guān)閉而被遮光，因此與圖像P1相反，圖像傳感器23的上側(cè)SU(圖像的下側(cè)PD)的曝光時(shí)間長(zhǎng)，圖像傳感器23的下側(cè)SD(圖像的上側(cè)PU)的曝光時(shí)間短。因此，在圖像P4中，背景BO的移動(dòng)越是上側(cè)越小，越是下側(cè)越大。

如果像上述那樣合成這4幀的圖像，則得到如圖9所示的利用總曝光時(shí)間T1進(jìn)行攝影得到的適合曝光的合成圖像SP。該圖9所示的合成圖像SP不會(huì)產(chǎn)生像由利用圖11所示的機(jī)械快門(mén)22連拍得到的多幀圖像合成的移攝攝影圖像SP1那樣的、由于圖像間的曝光缺失導(dǎo)致的背景BO的移動(dòng)的中斷。此外，圖9所示的合成圖像也不會(huì)產(chǎn)生圖12所示的由利用電子快門(mén)連拍得到的多幀圖像合成的移攝攝影圖像SP2那樣的背景BO的不自然的變形。

但是，在按照從第1行朝向最后一行的順序進(jìn)行圖像的讀出時(shí)，關(guān)于圖3所示的例子，在讀出某幀的圖像的最后一行之后，讀出下一幀的圖像的第1行。但是，在被攝體明亮、需要更加縮短作為適當(dāng)曝光的1幀曝光時(shí)間T2的情況下，有時(shí)也在讀出某幀的圖像的最后一行之前，讀出下一幀的圖像的第1行(在存在多個(gè)讀出通道的圖像傳感器23中，能夠?qū)崿F(xiàn)這樣的多行的同時(shí)讀出)。關(guān)于這樣的更一般的例子，參照?qǐng)D10進(jìn)行說(shuō)明。

圖10是用于說(shuō)明從圖像傳感器23連續(xù)地讀出用于生成合成圖像數(shù)據(jù)的多幀圖像 數(shù)據(jù)的控制方法的時(shí)序圖。在該圖10中，也與圖3同樣，上側(cè)為圖像傳感器23的上側(cè)SU(圖像的下側(cè)PD)，下側(cè)為圖像傳感器23的下側(cè)SD(圖像的上側(cè)PU)，右側(cè)為時(shí)刻t的行進(jìn)方向。

并且，圖10所示的各標(biāo)記還包含已經(jīng)說(shuō)明的標(biāo)記，如下所述。

T1：總曝光時(shí)間

T2：1幀曝光時(shí)間(T2＜T1)

Tm：機(jī)械快門(mén)(前簾和后簾)的行進(jìn)時(shí)間

Te：所有行的讀出時(shí)間(所謂的電子快門(mén)的行進(jìn)時(shí)間)

tms：機(jī)械快門(mén)前簾行進(jìn)開(kāi)始時(shí)刻

tles：第1幀電子前簾行進(jìn)開(kāi)始時(shí)刻

tfes：最后一幀電子前簾行進(jìn)開(kāi)始時(shí)刻

此時(shí)，系統(tǒng)控制部10進(jìn)行如下這樣的控制，使得利用總曝光時(shí)間T1不泄漏地讀出在任意的像素中曝光的電荷(關(guān)于在圖3的虛線(xiàn)陰影線(xiàn)部分中曝光的電荷，與其他的曝光電荷同樣地被不泄漏地讀出)。

即，系統(tǒng)控制部10以滿(mǎn)足下面的數(shù)式2

[數(shù)式2]

(tms－Te+Tm－T2)＜tles≤(tms－Te+Tm)

和數(shù)式3

[數(shù)式3]

(tms+T1－T2)≤tfes＜(tms+Tl)

的方式，控制機(jī)械快門(mén)22和圖像傳感器23。

這里，數(shù)式2是用于在從機(jī)械快門(mén)前簾行進(jìn)開(kāi)始時(shí)刻tms起回溯(Te－Tm+T2)的時(shí)刻(tms－Te+Tm－T2)之后，直到從機(jī)械快門(mén)前簾行進(jìn)開(kāi)始時(shí)刻tms起回溯(Te－Tm)的時(shí)刻(tms－Te+Tm)為止的期間，間隔第1幀電子前簾的行進(jìn)開(kāi)始時(shí)刻tles的條件式。

并且，數(shù)式3是對(duì)用于將最后一幀電子前簾行進(jìn)開(kāi)始時(shí)刻tfes在機(jī)械快門(mén)后簾行進(jìn)開(kāi)始時(shí)刻(tms+T1)之前、且(tfes+T2)與機(jī)械快門(mén)后簾行進(jìn)開(kāi)始時(shí)刻(tms+Tl)同時(shí)或者在其之后的幀作為最終幀的下面的條件式tfes＜(tms+Tl)且(tms+Tl)≤(tfes+T2)進(jìn)行整理而得到的。

另外，在上述說(shuō)明中，通過(guò)機(jī)械快門(mén)22的前簾的行進(jìn)來(lái)進(jìn)行各像素的總曝光時(shí)間T1的開(kāi)始，但不限于此。例如，也可以通過(guò)使圖像傳感器23的像素復(fù)位動(dòng)作(對(duì)蓄積在像素中的電荷進(jìn)行復(fù)位的動(dòng)作)(前簾電子快門(mén))的行進(jìn)特性與機(jī)械快門(mén)22的行進(jìn)特性相匹配來(lái)進(jìn)行，來(lái)使用通過(guò)前簾電子快門(mén)開(kāi)始曝光、通過(guò)機(jī)械快門(mén)22的后簾結(jié)束曝光的前簾電子快門(mén)攝影功能。

這里，電子快門(mén)的行進(jìn)速度比機(jī)械快門(mén)22的行進(jìn)速度慢的原因之一是要對(duì)讀出的像素值進(jìn)行A/D轉(zhuǎn)換需要時(shí)間。但是，由于在像素復(fù)位中不需要A/D轉(zhuǎn)換，因此能夠使行進(jìn)特性與機(jī)械快門(mén)22的行進(jìn)特性相匹配。

在該情況下，系統(tǒng)控制部10取代機(jī)械快門(mén)22的前簾，而使圖像傳感器23進(jìn)行以與機(jī)械快門(mén)22的前簾的行進(jìn)速度同等的速度結(jié)束信號(hào)電荷的復(fù)位而開(kāi)始曝光的前簾電子快門(mén)的動(dòng)作(由于復(fù)位結(jié)束時(shí)機(jī)成為曝光開(kāi)始時(shí)機(jī))。

通過(guò)在總曝光時(shí)間T1的開(kāi)始時(shí)使用這樣的前簾電子快門(mén)而實(shí)現(xiàn)與使用機(jī)械快門(mén)22的前簾的情況時(shí)大致相同的效果，并且由于不需要在曝光開(kāi)始時(shí)進(jìn)行驅(qū)動(dòng)機(jī)械快門(mén)22的前簾的情況這樣的機(jī)械性的動(dòng)作，因此能夠抑制攝像裝置1所產(chǎn)生的振動(dòng)或抖動(dòng)，能夠以更低的振動(dòng)來(lái)拍攝抖動(dòng)少的高畫(huà)質(zhì)的圖像。此外，如果在總曝光時(shí)間T1的開(kāi)始時(shí)使用前簾電子快門(mén)，則由于在攝影開(kāi)始時(shí)不需要使機(jī)械快門(mén)22從臨時(shí)關(guān)閉到打開(kāi)的動(dòng)作(圖2的步驟S6的動(dòng)作)，因此縮短了釋放時(shí)滯(從第二釋放開(kāi)關(guān)打開(kāi)到第1幀的曝光開(kāi)始為止所需要的時(shí)間)，能夠在更符合攝影者期望的時(shí)機(jī)開(kāi)始攝影。

并且，在本實(shí)施方式中將1幀曝光時(shí)間T2設(shè)為能夠得到適當(dāng)曝光的曝光時(shí)間，但具有一般的手抖校正功能的數(shù)碼照相機(jī)具有將快門(mén)速度自動(dòng)地設(shè)定為能夠無(wú)視手抖(假設(shè)還包含被攝體抖動(dòng)等)的影響的時(shí)間(手抖的影響在圖像中基本不會(huì)出現(xiàn)的時(shí)間)以下而進(jìn)行攝影的功能。

具體而言，調(diào)整ISO感光度和光圈值以設(shè)定為某確定的快門(mén)速度(例如，1/250(sec)以下)，或者考慮手抖檢測(cè)而得到的抖動(dòng)的大小或鏡頭的焦點(diǎn)距離從而設(shè)定為能夠無(wú)視手抖的影響的快門(mén)速度等。

因此，系統(tǒng)控制部10能夠?qū)⒛軌驘o(wú)視手抖的影響的時(shí)間T3設(shè)定為例如規(guī)定的時(shí)間，或者根據(jù)鏡頭21的焦點(diǎn)距離與作為加速度檢測(cè)部的抖動(dòng)檢測(cè)部6的檢測(cè)結(jié)果中的至少一方來(lái)計(jì)算。

因此，系統(tǒng)控制部10也可以對(duì)這樣計(jì)算的時(shí)間T3和作為適當(dāng)曝光的1幀曝光時(shí)間T2進(jìn)行比較，在T3＜T2的情況下，將能夠無(wú)視手抖的影響的時(shí)間T3以下的時(shí)間重新設(shè)定為1幀曝光時(shí)間T2，在該狀態(tài)下利用上述的處理而進(jìn)行電子讀出連拍。

通過(guò)進(jìn)行這樣的處理，為了使連拍得到的各幀中的主要被攝體不抖動(dòng)，在按照使主要被攝體的位置一致的方式進(jìn)行位置偏差校正之后進(jìn)行圖像合成，從而能夠得到與攝影者的意圖相符的主要被攝體不抖動(dòng)的移攝圖像。

根據(jù)這樣的實(shí)施方式1，由于控制成利用1幀曝光時(shí)間T2連續(xù)地讀出多幀圖像數(shù)據(jù)，并且利用總曝光時(shí)間T1不泄漏地讀出在任意的像素中曝光的電荷，因此能夠利用機(jī)械快門(mén)22的前簾和后簾的行進(jìn)來(lái)規(guī)定相對(duì)于攝像裝置1移動(dòng)的被攝體的曝光時(shí)間，得到減輕了曝光的不連續(xù)性或被攝體變形的更自然的合成圖像。

這樣，即使與精通攝像裝置1的操作的攝影者利用機(jī)械快門(mén)22以1幀的攝影進(jìn)行攝影的情況相比，也能夠通過(guò)圖像合成得到不存在不自然的點(diǎn)的移攝圖像。

此時(shí)，由于系統(tǒng)控制部10以滿(mǎn)足數(shù)式2和數(shù)式3的方式控制機(jī)械快門(mén)22和圖像傳感器23，因此能夠可靠地不泄漏地讀出通過(guò)機(jī)械快門(mén)前簾行進(jìn)而曝光開(kāi)始、通過(guò)機(jī)械快門(mén)后簾行進(jìn)而曝光結(jié)束的任意的像素的電荷。

并且，經(jīng)由作為用戶(hù)接口部的輸入IF8，攝影者能夠?qū)偲毓鈺r(shí)間T1在內(nèi)的攝影條件設(shè)定輸入為期望值。

另一方面，系統(tǒng)控制部10在根據(jù)鏡頭21的焦點(diǎn)距離和兼作為加速度檢測(cè)部的抖動(dòng)檢測(cè)部6的檢測(cè)結(jié)果中的至少一方而設(shè)定總曝光時(shí)間T1作為適合移攝攝影的時(shí)間的情況下，即使是不具有針對(duì)適合移攝攝影的時(shí)間的知識(shí)的攝影者，也能夠進(jìn)行背景的移動(dòng)量適當(dāng)?shù)囊茢z。

并且，系統(tǒng)控制部10由于僅在滿(mǎn)足T1＞T2時(shí)進(jìn)行電子快門(mén)控制，因此能夠減輕不需要分割曝光的情況的處理。

并且，圖像合成部31為了使用相加合成、平均合成、比較亮合成、比較暗合成、加權(quán)相加合成內(nèi)的至少1個(gè)合成方法生成合成圖像數(shù)據(jù)，而進(jìn)行各種效果的圖像合成，能夠按照攝影者的喜好拍攝質(zhì)感不同的圖像。

此外，通過(guò)取代機(jī)械快門(mén)22的前簾而使用前簾電子快門(mén)，在利用近年來(lái)的數(shù)碼照相機(jī)中采用的前簾電子快門(mén)的攝影中也能夠生成不存在不自然的合成圖像。

除此之外，系統(tǒng)控制部10能夠通過(guò)將1幀曝光時(shí)間T2設(shè)定為能夠無(wú)視手抖的影 響的時(shí)間T3以下，從而抑制合成圖像的手抖。

并且，在設(shè)定為移攝攝影模式時(shí)，通過(guò)將機(jī)械快門(mén)22為打開(kāi)的總曝光時(shí)間T1設(shè)定為適合移攝的曝光時(shí)間，將電子讀出連拍的1幀曝光時(shí)間T2設(shè)定為作為適當(dāng)曝光的曝光時(shí)間，從而能夠?qū)⒁茢z攝影的曝光控制自動(dòng)化而使攝影變得簡(jiǎn)單。由此，即使在總曝光時(shí)間T1比適當(dāng)曝光時(shí)間長(zhǎng)的情況下，也能夠在不使用ND濾波器等的情況下得到適當(dāng)曝光的合成圖像。

[實(shí)施方式2]

接著，關(guān)于本發(fā)明的實(shí)施方式2，一邊適當(dāng)參照上述的各圖一邊進(jìn)行說(shuō)明。在該實(shí)施方式2中，對(duì)與上述的實(shí)施方式1相同的部分標(biāo)注相同的符號(hào)等而適當(dāng)省略說(shuō)明，僅對(duì)主要不同的點(diǎn)進(jìn)行說(shuō)明。

在由連拍得到的多幀圖像生成合成圖像時(shí)，在存在相對(duì)于攝像裝置1移動(dòng)的被攝體(可以是移動(dòng)被攝體，即使是靜止被攝體，在在攝像裝置1移動(dòng)的情況下也相當(dāng)于相對(duì)地移動(dòng)的被攝體)的情況下，如果使用機(jī)械快門(mén)連拍則產(chǎn)生曝光的不連續(xù)性，如果僅使用電子讀出連拍則產(chǎn)生被攝體變形，這不僅在上述的實(shí)施方式1的移攝攝影模式的情況下是這樣，在其他的攝影模式中也同樣。

因此，本實(shí)施方式成為關(guān)于手持夜景模式的實(shí)施方式。

以往，在手持夜景模式中，以圖像不產(chǎn)生手抖的方式設(shè)定高速快門(mén)，并且以相對(duì)于低亮度的夜景也能夠?qū)崿F(xiàn)高速快門(mén)的方式將ISO感光度設(shè)定為高感光度。但是，將ISO感光度設(shè)定為高感光度由于增大電氣增益并進(jìn)行放大，因此噪聲也被放大，所生成的圖像的噪聲量變多。因此，通過(guò)取得多幀圖像，對(duì)所取得的多幀圖像進(jìn)行平均合成，而將隨機(jī)噪聲平滑化從而降低噪聲量。

但是，在這樣的情況下，在僅使用機(jī)械快門(mén)的連拍、或者僅使用電子快門(mén)的連拍中，如上所述，當(dāng)存在相對(duì)于攝像裝置1移動(dòng)的被攝體時(shí)，在合成圖像中產(chǎn)生不自然。

因此，在本實(shí)施方式中，在手持夜景模式中，與上述的實(shí)施方式1同樣，在機(jī)械快門(mén)22打開(kāi)的期間進(jìn)行多幀的電子讀出連拍，并且通過(guò)機(jī)械快門(mén)22的前簾行進(jìn)來(lái)進(jìn)行第1幀的曝光開(kāi)始，通過(guò)機(jī)械快門(mén)22的后簾行進(jìn)來(lái)進(jìn)行最后一幀的曝光結(jié)束。

在具體的攝影順序中，攝影者事先設(shè)定為手持夜景模式(或者也可以命名為平均合成低噪聲模式等)，從而進(jìn)行本實(shí)施方式的處理。

并且，當(dāng)進(jìn)入到手持夜景模式的處理時(shí)，系統(tǒng)控制部10確定低噪聲化所需要的 幀數(shù)L(由于當(dāng)幀數(shù)L增加時(shí)隨機(jī)噪聲進(jìn)一步降低)。但是，該幀數(shù)L也可以由攝影者手動(dòng)地設(shè)定為期望值。

然后，與上述的實(shí)施方式1同樣，將作為適當(dāng)曝光的曝光時(shí)間、或者能夠無(wú)視手抖的影響的時(shí)間T3設(shè)定為1幀曝光時(shí)間T2，在第二釋放開(kāi)關(guān)成為打開(kāi)時(shí)，以T2周期進(jìn)行L幀的電子讀出連拍，在連拍結(jié)束時(shí)關(guān)閉機(jī)械快門(mén)22而結(jié)束攝影。

因此，作為機(jī)械快門(mén)22為打開(kāi)的時(shí)間的總曝光時(shí)間T1只要在為了進(jìn)行噪聲降低所需要的幀數(shù)L的連拍所需要的時(shí)間(L×T2)以上即可。

然后，圖像合成部31對(duì)于所取得的所有L幀的圖像，在進(jìn)行多幀圖像數(shù)據(jù)的位置偏差校正之后(在按照使主要被攝體重疊的方式進(jìn)行對(duì)位之后)，通過(guò)平均合成部36進(jìn)行平均合成處理，而生成至少1幀的合成圖像數(shù)據(jù)。

根據(jù)這樣的實(shí)施方式2，與上述的實(shí)施方式1大致同樣地能夠得到曝光的不連續(xù)性或被攝體變形減輕的更自然的合成圖像，并且此外即使利用手持對(duì)夜景進(jìn)行攝影，也成為手抖的影響小且低噪聲的圖像。

[實(shí)施方式3]

關(guān)于本發(fā)明的實(shí)施方式3，一邊適當(dāng)參照上述的各圖一邊進(jìn)行說(shuō)明。在該實(shí)施方式3中，對(duì)于與上述的實(shí)施方式1、2相同的部分標(biāo)注同一符號(hào)等而適當(dāng)省略說(shuō)明，僅對(duì)主要不同的點(diǎn)進(jìn)行說(shuō)明。

本實(shí)施方式是關(guān)于包圍曝光攝影模式以及HDR(高動(dòng)態(tài)范圍)合成模式的實(shí)施方式。

首先，包圍曝光攝影模式例如是連續(xù)地拍攝適當(dāng)曝光圖像、曝光不足圖像以及曝光過(guò)度圖像的模式。由此，通過(guò)連續(xù)地拍攝曝光不同的多個(gè)圖像，從而攝影者能夠在攝影后將喜好的曝光的圖像選擇為期望圖像。

并且，HDR合成模式是指通過(guò)包圍曝光攝影取得曝光不同的多幀圖像數(shù)據(jù)，對(duì)所取得的曝光不同的2幀以上的圖像數(shù)據(jù)進(jìn)行合成，而得到與1幀的圖像數(shù)據(jù)相比動(dòng)態(tài)范圍更寬的高動(dòng)態(tài)范圍圖像的模式。在具體的HDR合成處理中，例如，針對(duì)曝光不足圖像、適當(dāng)曝光圖像、曝光過(guò)度的各圖像數(shù)據(jù)，對(duì)于對(duì)應(yīng)的像素位置的像素?cái)?shù)據(jù)附加權(quán)重而進(jìn)行合成。此時(shí)，對(duì)于被攝體的暗的部分增大曝光過(guò)度圖像的像素?cái)?shù)據(jù)的權(quán)重，對(duì)于明亮的部分增大曝光不足圖像的像素?cái)?shù)據(jù)的權(quán)重來(lái)進(jìn)行合成，由此能夠得到被攝體暗部不會(huì)死黑并且被攝體明部也不會(huì)死白的動(dòng)態(tài)范圍寬的圖像。

并且，在本實(shí)施方式中，輸入IF8作為用于設(shè)定包圍曝光攝影模式以及HDR合成模式的用戶(hù)接口部發(fā)揮功能。

關(guān)于適合包圍曝光攝影以及HDR合成的攝影，具體地進(jìn)行說(shuō)明。

這里，例如舉例說(shuō)明在將適當(dāng)曝光圖像的曝光校正量設(shè)為0EV時(shí)，例如連續(xù)地拍攝曝光校正量為1段不足(－1EV)的曝光不足圖像以及曝光校正量為1段過(guò)度(+1EV)的曝光過(guò)度圖像的情況。

首先，與上述的實(shí)施方式1同樣，在第一釋放開(kāi)關(guān)成為打開(kāi)之后的自動(dòng)曝光控制中，根據(jù)利用實(shí)時(shí)取景取得的圖像而檢測(cè)作為適當(dāng)曝光的曝光時(shí)間T。

接著，根據(jù)包圍攝影的設(shè)定，以如下的方式求出電子讀出的1幀曝光時(shí)間T2以及作為機(jī)械快門(mén)22為打開(kāi)的時(shí)間的總曝光時(shí)間T1。

具體而言，將用于對(duì)－1EV的曝光不足圖像進(jìn)行攝影的曝光時(shí)間設(shè)定為1幀曝光時(shí)間T2(但是，并不妨礙1幀曝光時(shí)間T2比曝光不足圖像的曝光時(shí)間短，例如1幀曝光時(shí)間T2也可以是將曝光不足圖像的曝光時(shí)間進(jìn)一步分割成若干個(gè)而得到的時(shí)間)。如果將適當(dāng)曝光時(shí)間設(shè)為T(mén)，則1幀曝光時(shí)間T2具體而言被設(shè)定為T(mén)2＝T/2。

并且，將用于對(duì)+1EV的曝光過(guò)度圖像進(jìn)行攝影的曝光時(shí)間設(shè)定為總曝光時(shí)間T1(但是，并不妨礙總曝光時(shí)間T1比曝光過(guò)度圖像的曝光時(shí)間長(zhǎng))。由此，具體而言，設(shè)定為T(mén)1＝2×T(＝4×T2)。

因此，系統(tǒng)控制部10只要在設(shè)定了包圍曝光攝影時(shí)，按照將總曝光時(shí)間T1設(shè)定為包圍曝光攝影中的最長(zhǎng)曝光時(shí)間以上，并且使1幀曝光時(shí)間T2成為包圍曝光攝影的最短曝光時(shí)間以下的方式來(lái)進(jìn)行設(shè)定即可。

之后的攝影與上述的實(shí)施方式1同樣，在使機(jī)械快門(mén)22僅打開(kāi)總曝光時(shí)間T1的期間，利用T2周期進(jìn)行電子讀出連拍，讀出多幀圖像而保存在內(nèi)部存儲(chǔ)器9中。

接著，通過(guò)圖像合成部31對(duì)保存在內(nèi)部存儲(chǔ)器9中的多幀圖像數(shù)據(jù)進(jìn)行合成而生成包圍曝光圖像。

這里，設(shè)第n(n為正整數(shù))幀的圖像中的、像素位置(x，y)的像素?cái)?shù)據(jù)為Pn(x，y)，設(shè)連拍得到的所有圖像的幀數(shù)為N(N為正整數(shù))，設(shè)1段曝光不足的合成圖像數(shù)據(jù)的像素位置(x，y)的像素?cái)?shù)據(jù)為Pcomp(x，y：－1EV)，設(shè)適當(dāng)曝光的合成圖像數(shù)據(jù)的像素位置(x，y)的像素?cái)?shù)據(jù)為Pcomp(x，y：0EV)，設(shè)1段曝光過(guò)度的合成圖像數(shù)據(jù)的像素位置(x，y)的像素?cái)?shù)據(jù)為Pcomp(x，y：+1EV)。

此時(shí)，圖像合成部31如下面的數(shù)式4所示，在通過(guò)相加合成部35對(duì)所有N幀的像素?cái)?shù)據(jù)Pn(x，y)進(jìn)行相加之后，乘以曝光時(shí)間之比(T2/T1)，而計(jì)算像素?cái)?shù)據(jù)Pcomp(x，y：－1EV)。

[數(shù)式4]

同樣，圖像合成部31如下面的數(shù)式5所示，在通過(guò)相加合成部35對(duì)所有N幀的像素?cái)?shù)據(jù)Pn(x，y)進(jìn)行相加之后，乘以曝光時(shí)間之比(T/T1)，由此計(jì)算像素?cái)?shù)據(jù)Pcomp(x，y：0EV)。

[數(shù)式5]

此外，圖像合成部31如下面的數(shù)式6所示，通過(guò)相加合成部35對(duì)所有N幀的像素?cái)?shù)據(jù)Pn(x，y)進(jìn)行相加，由此計(jì)算像素?cái)?shù)據(jù)Pcomp(x，y：+1EV)。

[數(shù)式6]

因此，圖像合成部31對(duì)所有的多幀進(jìn)行合成而生成曝光不同的2幀以上的合成圖像數(shù)據(jù)。

以往的數(shù)碼照相機(jī)為了通過(guò)使用機(jī)械快門(mén)22分別進(jìn)行曝光時(shí)間T1、T、T2的這3次攝影而進(jìn)行包圍攝影，從而即使是全體的曝光時(shí)間也需要T1+T+T2的時(shí)間。而且，實(shí)際上，還要加上每次攝影對(duì)機(jī)械快門(mén)22進(jìn)行上勢(shì)(charge)的時(shí)間等。

與此相對(duì)，根據(jù)本實(shí)施方式，由于能夠通過(guò)使機(jī)械快門(mén)22利用曝光時(shí)間T1開(kāi)閉1次而生成包圍曝光攝影所需要的多幀圖像數(shù)據(jù)，因此能夠縮短累積的攝影時(shí)間。

如果攝影時(shí)間長(zhǎng)，則在攝影中被攝體移動(dòng)，曝光發(fā)生變化或者被攝體的拍入方法(例如構(gòu)圖)也發(fā)生變化等，但根據(jù)本實(shí)施方式的結(jié)構(gòu)，由于能夠?qū)崿F(xiàn)短時(shí)間的攝影，因此能夠降低這樣的變化的產(chǎn)生，而取得更優(yōu)選的包圍曝光攝影圖像。

并且，通過(guò)將這樣作為合成圖像而取得的2幀以上的包圍曝光圖像在圖像處理部3中進(jìn)行HDR合成處理，而能夠生成動(dòng)態(tài)范圍比通常的1張圖像(此外，也比合成 前的1幀的合成圖像數(shù)據(jù))寬的高動(dòng)態(tài)范圍合成圖像數(shù)據(jù)。此時(shí)，在攝影時(shí)間長(zhǎng)的以往的攝影方法中，如果在攝影中被攝體移動(dòng)則合成圖像成為二重像(或者三重像等)的不自然的圖像，但由于本實(shí)施方式的攝影方法的攝影時(shí)間短，因此能夠降低成為這樣的不自然的圖像的情況。

根據(jù)這樣的實(shí)施方式3，能夠得到與上述的實(shí)施方式1大致同樣地減輕了曝光的不連續(xù)性或被攝體變形的更自然的合成圖像，并且能夠在短時(shí)間進(jìn)行包圍曝光攝影，能夠取得構(gòu)圖的變化少的優(yōu)選的包圍曝光攝影圖像。

此外，也可以得到不會(huì)成為不自然的多重圖像的自然的高動(dòng)態(tài)范圍合成圖像。

[實(shí)施方式4]

關(guān)于本發(fā)明的實(shí)施方式4，一邊適當(dāng)參照上述的各圖一邊進(jìn)行說(shuō)明。在該實(shí)施方式4中，對(duì)于與上述的實(shí)施方式相同的部分標(biāo)注相同的符號(hào)等而適當(dāng)省略說(shuō)明，僅對(duì)主要不同的點(diǎn)進(jìn)行說(shuō)明。

本實(shí)施方式是利用圖像合成處理而實(shí)現(xiàn)數(shù)碼ND濾波器功能的實(shí)施方式。

在將攝像裝置1的曝光模式設(shè)定為快門(mén)速度優(yōu)先模式(S模式)或者手動(dòng)設(shè)定模式(M模式)的情況下，攝影者事先指定快門(mén)速度(將該快門(mén)速度設(shè)為T(mén)0)。

此時(shí)當(dāng)被攝體明亮?xí)r，即使降低例如ISO感光度并且縮小光圈，也會(huì)存在曝光過(guò)度的情況。在該情況下在以往的數(shù)碼照相機(jī)中，由于無(wú)法進(jìn)行適當(dāng)曝光的攝影，因此攝影者將光學(xué)的ND濾波器裝配于攝像裝置1來(lái)減少入射光量，以能夠得到適度曝光的方式進(jìn)行處置。

與此相對(duì)，在本實(shí)施方式中，由于通過(guò)數(shù)字信號(hào)處理實(shí)現(xiàn)與ND濾波器同等的功能，因此稱(chēng)為數(shù)字ND濾波器模式。

具體而言進(jìn)行如下這樣的處理。

在設(shè)定數(shù)字ND濾波器模式且設(shè)定快門(mén)速度T0之后，當(dāng)?shù)谝会尫砰_(kāi)關(guān)打開(kāi)時(shí)，自動(dòng)曝光控制部5自動(dòng)地檢測(cè)包含作為適當(dāng)曝光的曝光時(shí)間T在內(nèi)的曝光條件。

接著，判定是否是T＜T0，而在判定為不是T＜T0的情況下，不需要電子讀出連拍，進(jìn)行僅使用機(jī)械快門(mén)22的1幀的攝影。

這里，在T＝T0的情況下，在該狀態(tài)下成為適當(dāng)曝光，但在T＞T0的情況下，可以在該狀態(tài)下通過(guò)機(jī)械快門(mén)22拍攝曝光不足的圖像，例如如果是裝配了閃關(guān)燈的攝像裝置1，則也可以使閃關(guān)燈發(fā)光而補(bǔ)充曝光不足。

另一方面，在判定為T(mén)＜T0的情況下，如果以快門(mén)速度T0進(jìn)行攝影則成為曝光過(guò)度，因此將能夠得到適當(dāng)曝光的曝光時(shí)間T設(shè)定為電子讀出的1幀曝光時(shí)間T2，將攝影者所設(shè)定的快門(mén)速度T0設(shè)定為機(jī)械快門(mén)22打開(kāi)的總曝光時(shí)間T1。

但是，并不妨礙將1幀曝光時(shí)間T2設(shè)定得比能夠得到適當(dāng)曝光的曝光時(shí)間T短(例如，也可以設(shè)定為T(mén)2＝T/2)。因此，系統(tǒng)控制部10在總曝光時(shí)間T1比適當(dāng)曝光時(shí)間T大的情況下，將1幀曝光時(shí)間T2設(shè)定為適當(dāng)曝光時(shí)間T以下的時(shí)間，來(lái)控制機(jī)械快門(mén)22和圖像傳感器23。

之后的攝影順序與上述的實(shí)施方式1同樣，只要在機(jī)械快門(mén)22為打開(kāi)的期間進(jìn)行電子讀出連拍，根據(jù)上述的數(shù)式1來(lái)合成攝影得到的多幀圖像數(shù)據(jù)即可。

根據(jù)這樣的實(shí)施方式4，與上述的實(shí)施方式1大致同樣能夠得到減輕了曝光的不連續(xù)性或被攝體變形的更自然的合成圖像，并且即使在被攝體明亮的情況下，也能夠在不使用ND濾波器的情況下進(jìn)行利用攝影者所設(shè)定的快門(mén)速度T0的適當(dāng)曝光的攝影。

因此，攝影者能夠在不用注意圖像的曝光的情況下，簡(jiǎn)單地進(jìn)行期望的慢快門(mén)攝影。

另外，在本發(fā)明的一實(shí)施方式中，作為用于攝影的設(shè)備舉例說(shuō)明數(shù)碼照相機(jī)，但作為攝像裝置1可以是數(shù)碼單反照相機(jī)，也可以是袖珍數(shù)碼相機(jī)，也可以是攝像機(jī)、錄像機(jī)這樣的動(dòng)態(tài)用的攝像裝置1，還可以是內(nèi)設(shè)于移動(dòng)電話(huà)、智能手機(jī)或移動(dòng)信息終端(PDA：Personal Digital Assist)、游戲設(shè)備等的攝像裝置1。即使這樣，只要是能夠進(jìn)行機(jī)械快門(mén)22的攝影、以及電子快門(mén)讀出攝影的用于攝影的設(shè)備，就可以廣泛地應(yīng)用本發(fā)明。

并且，在上述的實(shí)施方式中，對(duì)將本發(fā)明應(yīng)用于用于攝影的設(shè)備的例子進(jìn)行了說(shuō)明。但是，不限于此，當(dāng)然也可以在攝像裝置中在從攝影開(kāi)始到結(jié)束的期間取得多幀圖像數(shù)據(jù)，對(duì)于所取得的多幀圖像數(shù)據(jù)，在稍后的圖像處理裝置等中實(shí)施實(shí)施方式所示的圖像處理。

此外，關(guān)于權(quán)利要求的范圍、說(shuō)明書(shū)以及附圖中的流程，即使為了方便使用表達(dá)“首先”、“接著”、“然后”等順序的表達(dá)的語(yǔ)言進(jìn)行說(shuō)明，在未特別說(shuō)明的部位，并不意味著必須按照該順序來(lái)實(shí)施。

并且，上述主要對(duì)攝像裝置進(jìn)行了說(shuō)明，但可以是進(jìn)行與攝像裝置相同的處理的 攝像方法，也可以是用于使計(jì)算器進(jìn)行與攝像裝置相同的處理的處理程序、能夠通過(guò)記錄該處理程序的計(jì)算器讀取的并不是臨時(shí)的記錄介質(zhì)等。

例如，在本說(shuō)明書(shū)中說(shuō)明的技術(shù)內(nèi)，多數(shù)情況下關(guān)于主要由流程圖說(shuō)明的控制能夠通過(guò)處理程序執(zhí)行，也存在將該處理程序收納在記錄介質(zhì)或記錄部中的情況。該記錄介質(zhì)、在記錄部中的處理程序的記錄可以在產(chǎn)品出廠時(shí)進(jìn)行，也可以利用分發(fā)的記錄介質(zhì)，經(jīng)由網(wǎng)絡(luò)等通信回線(xiàn)進(jìn)行下載。

并且，本發(fā)明不限于上述的實(shí)施方式，能夠在實(shí)施階段在不脫離該主旨的范圍中使結(jié)構(gòu)要素變形而具體化。并且，能夠通過(guò)上述實(shí)施方式公開(kāi)的多個(gè)結(jié)構(gòu)要素的適當(dāng)?shù)慕M合形成各種發(fā)明的方式。例如，也可以從實(shí)施方式所示的全結(jié)構(gòu)要素刪除幾個(gè)結(jié)構(gòu)要素。此外，也可以將不同的實(shí)施方式的結(jié)構(gòu)要素適當(dāng)組合。這樣，當(dāng)然在不脫離發(fā)明的主旨的范圍內(nèi)可以進(jìn)行各種變形或應(yīng)用。