專利名稱：攝影裝置、攝影方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種攝影裝置、攝影方法和程序，特別是涉及能夠自動(dòng)選擇適應(yīng)場(chǎng)景的攝影方法以拍攝出畫(huà)質(zhì)更好的圖像的攝影裝置、攝影方法和程序。
背景技術(shù)：
近年來(lái)銷售的數(shù)碼相機(jī)大多數(shù)裝載有能夠以人像模式、風(fēng)景模式、夜景模式等適應(yīng)拍攝場(chǎng)景的模式進(jìn)行拍攝的功能。例如，在拍攝風(fēng)景時(shí)，用戶僅通過(guò)選擇風(fēng)景模式，就能夠?qū)⒐馊χ翟O(shè)定為高值等設(shè)定最適于拍攝風(fēng)景的值作為各種參數(shù)值。而且，還提出了這樣的數(shù)碼相機(jī)，即，在選擇了夜景模式時(shí)，每按一下快門(mén)鍵，拍攝多個(gè)圖像，并將得到的多個(gè)圖像進(jìn)行合成。通過(guò)將多個(gè)圖像進(jìn)行合成，可以得到動(dòng)態(tài)范圍擴(kuò)展了的適當(dāng)曝光的圖像。例如，在專利文獻(xiàn)1中公開(kāi)了一種技術(shù)，即，在拍攝以夜景為背景的人物時(shí)，接連進(jìn)行低靈敏度且閃光為ON的攝影和高靈敏度且閃光為OFF的攝影，從先拍攝得到的圖像中提取人物區(qū)域，合成在后拍攝得到的圖像的人物區(qū)域部分?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 日本特開(kāi)2005-86488號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明所要解決的課題在專利文獻(xiàn)1所公開(kāi)的技術(shù)中，為了防止晃動(dòng)，限制快門(mén)速度，有時(shí)尤其是作為背景的夜景部分不能適當(dāng)曝光。一般，在將快門(mén)速度設(shè)為比1/焦距長(zhǎng)的時(shí)間進(jìn)行攝影時(shí)，發(fā)生晃動(dòng)。而且，在以焰火等在黑暗中的明亮動(dòng)態(tài)物體為背景進(jìn)行攝影時(shí)，需要進(jìn)行快門(mén)速度的設(shè)定等，但對(duì)于一般的用戶來(lái)說(shuō)難以進(jìn)行設(shè)定。本發(fā)明的目的是提供一種能夠自動(dòng)選擇適應(yīng)場(chǎng)景的攝影方法以拍攝出畫(huà)質(zhì)更好的圖像的攝影裝置、攝影方法和程序。用于解決課題的方法本發(fā)明的一個(gè)方面涉及一種攝影裝置，其特征在于，其具備攝影單元；場(chǎng)景分類單元，用于對(duì)在操作快門(mén)鍵之前通過(guò)上述攝影單元拍攝的圖像進(jìn)行解析，對(duì)所拍攝的場(chǎng)景進(jìn)行分類；和控制單元，用于在經(jīng)上述場(chǎng)景分類單元分類的場(chǎng)景為包含夜景作為攝影對(duì)象的場(chǎng)景即夜景場(chǎng)景時(shí)，控制上述攝影單元以在上述快門(mén)鍵被操作時(shí)連續(xù)進(jìn)行多個(gè)圖像的拍攝。本發(fā)明的一個(gè)方面涉及一種具備攝影單元的攝影裝置的攝影方法，其特征在于， 該攝影方法包含下述步驟場(chǎng)景分類步驟，對(duì)在操作快門(mén)鍵之前通過(guò)所述攝影單元拍攝的圖像進(jìn)行解析，對(duì)所拍攝的場(chǎng)景進(jìn)行分類；和控制步驟，在經(jīng)上述場(chǎng)景分類步驟的處理被分類的場(chǎng)景為包含夜景作為攝影對(duì)象的場(chǎng)景即夜景場(chǎng)景時(shí)，控制上述攝影單元以在上述快門(mén)鍵被操作時(shí)連續(xù)進(jìn)行多個(gè)圖像的攝影。本發(fā)明的一個(gè)方面涉及一種使計(jì)算機(jī)執(zhí)行攝影處理的程序，所述攝影處理是具備攝影單元的攝影裝置的攝影處理，其特征在于，該程序使計(jì)算機(jī)執(zhí)行包含下述步驟的處理 場(chǎng)景分類步驟，對(duì)在操作快門(mén)鍵之前通過(guò)所述攝影單元拍攝的圖像進(jìn)行解析，對(duì)所拍攝的場(chǎng)景進(jìn)行分類；和控制步驟，在經(jīng)上述場(chǎng)景分類步驟的處理被分類的場(chǎng)景為包含夜景作為攝影對(duì)象的場(chǎng)景即夜景場(chǎng)景時(shí)，控制上述攝影單元以在所述快門(mén)鍵被操作時(shí)連續(xù)進(jìn)行多個(gè)圖像的拍攝。發(fā)明效果根據(jù)本發(fā)明，能提供一種能夠自動(dòng)選擇適應(yīng)場(chǎng)景的攝影方法以拍攝出畫(huà)質(zhì)更好的圖像的攝影裝置、攝影方法和程序。


圖1是表示本實(shí)施方式所涉及的攝影裝置的構(gòu)成例的框圖。圖2是對(duì)攝影裝置的功能進(jìn)行說(shuō)明的圖。圖3是表示攝影裝置的功能構(gòu)成例的框圖。圖4是對(duì)判斷攝影對(duì)象是否包含焰火的方法進(jìn)行說(shuō)明的圖。
圖5是對(duì)最大值合成進(jìn)行說(shuō)明的圖。圖6是說(shuō)明人物區(qū)域的提取流程的圖。圖7是表示拍攝場(chǎng)景的例子的圖。圖8是表示分離數(shù)據(jù)(mask data)的例子的圖。圖9是表示分離數(shù)據(jù)的修正的例子的圖。圖10是表示混合貼圖(blend map)的例子的圖。圖11是對(duì)攝影裝置的攝影處理進(jìn)行說(shuō)明的流程圖。圖12是對(duì)攝影裝置的攝影處理進(jìn)行說(shuō)明的、續(xù)圖11之后的流程圖。符號(hào)說(shuō)明1攝影裝置IlCPU12CM0S 傳感器13存儲(chǔ)器14圖像處理部15輸出部16LCD17閃光燈18操作部31場(chǎng)景分類部32臉檢出部33攝影控制部
具體實(shí)施方式
[攝影裝置的構(gòu)成]圖1是表示本實(shí)施方式所涉及的攝影裝置1的構(gòu)成例的框圖。攝影裝置1是數(shù)碼靜物相機(jī)、數(shù)碼攝像機(jī)、移動(dòng)電話機(jī)等具有拍攝靜止畫(huà)面的功能的裝置。CPU (Central Processing Unit，中央處理器)11執(zhí)行規(guī)定的程序，控制攝影裝置 1整體的工作。例如，如后所述，在快門(mén)鍵被按下之前，CPUll對(duì)用戶所要拍攝的場(chǎng)景進(jìn)行分類。拍攝場(chǎng)景的分類基于由CMOS (Complementary Metal Oxide kmiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)傳感器12獲取的實(shí)時(shí)取景用圖像來(lái)進(jìn)行。在按下快門(mén)鍵后，CPUll控制 CMOS傳感器12連續(xù)進(jìn)行拍攝或使閃光燈17發(fā)光，從而執(zhí)行最適于預(yù)先分類的拍攝場(chǎng)景的攝影處理。CMOS傳感器12對(duì)由透鏡獲取的光進(jìn)行光電轉(zhuǎn)換，并對(duì)通過(guò)光電轉(zhuǎn)換而得到的圖像信號(hào)進(jìn)行A/D (Analog/Digital，模擬/數(shù)字)轉(zhuǎn)換。CMOS傳感器12使通過(guò)A/D轉(zhuǎn)換得到的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器13中。圖像處理部14將按下快門(mén)鍵之前由CMOS傳感器12拍攝的、存儲(chǔ)在存儲(chǔ)器13中的圖像作為實(shí)時(shí)取景圖像從存儲(chǔ)器13中讀出，顯示在IXD (Liquid Crystal Display，液晶顯示器)16上。而且，在用戶所要攝影的拍攝場(chǎng)景被CPUll分類為夜景場(chǎng)景時(shí)，圖像處理部 14對(duì)與按下快門(mén)鍵相對(duì)應(yīng)地進(jìn)行連續(xù)拍攝所得到的多個(gè)圖像進(jìn)行合成，并進(jìn)行將1張合成圖像輸出到輸出部15或LCD16的操作等。從CPUll對(duì)圖像處理部14提供表示拍攝場(chǎng)景的分類結(jié)果的信息。進(jìn)而，在用戶所要攝影的拍攝場(chǎng)景被CPUll分類為室外等通常場(chǎng)景而不是夜景時(shí)，圖像處理部14拍攝1張圖像，并對(duì)拍攝圖像實(shí)施白平衡處理、輪廓強(qiáng)調(diào)處理等各種圖像處理。輸出部15使由圖像處理部14生成的合成圖像存儲(chǔ)在相對(duì)攝影裝置1可進(jìn)行裝卸的存儲(chǔ)卡中或發(fā)送給外部的裝置。LCD16顯示從圖像處理部14提供的實(shí)時(shí)取景用圖像或合成圖像。閃光燈17根據(jù)CPUll的控制進(jìn)行發(fā)光，將光照射于攝影對(duì)象。操作部18由快門(mén)鍵等各種按鈕構(gòu)成，在用戶操作按鈕時(shí)，將表示用戶操作內(nèi)容的信號(hào)輸出給CPU11。圖2是示意性表示具有以上構(gòu)成的攝影裝置1的攝影處理的圖。拍攝場(chǎng)景被分類為夜景場(chǎng)景時(shí)，連拍功能自動(dòng)設(shè)定為0N，與用戶按一次快門(mén)鍵相對(duì)應(yīng)地如圖2所示連續(xù)進(jìn)行多個(gè)圖像的拍攝。在圖2的例子中，通過(guò)連拍功能得到2張圖像。而且，如上所述，連續(xù)拍攝的圖像的合成在攝影裝置1中進(jìn)行，其合成處理的內(nèi)容例如在如箭頭#1的前端所示對(duì)明亮的動(dòng)態(tài)焰火等進(jìn)行拍攝的情況和如箭頭#2的前端所示以明亮的動(dòng)態(tài)的焰火等為背景對(duì)人物進(jìn)行拍攝的情況之間切換。以下，針對(duì)相對(duì)背景明亮且移動(dòng)的攝影對(duì)象為焰火的情況進(jìn)行說(shuō)明，在拍攝汽車前燈等其他攝影對(duì)象時(shí)也可以適用同樣的處理。圖3是表示攝影裝置1的功能構(gòu)成例的框圖，所述攝影裝置1用于實(shí)現(xiàn)參照?qǐng)D2 進(jìn)行說(shuō)明的攝影處理。圖3所示的功能部之中的至少一部分通過(guò)圖1的CPUll來(lái)執(zhí)行規(guī)定的程序。如圖3所示，在攝影裝置1中包括場(chǎng)景分類部31、臉檢出部32和攝影控制部33。 通過(guò)CMOS傳感器12拍攝并存儲(chǔ)在存儲(chǔ)器13中的圖像被輸入場(chǎng)景分類部31和臉檢出部32中。
場(chǎng)景分類部31對(duì)按下快門(mén)鍵之前作為實(shí)時(shí)取景用途而拍攝的圖像進(jìn)行解析，從人像場(chǎng)景、風(fēng)景場(chǎng)景、夜景場(chǎng)景等預(yù)先設(shè)定的多個(gè)場(chǎng)景中將用戶所要拍攝的場(chǎng)景分類。例如，在拍攝膚色像素?cái)?shù)高于閾值的圖像時(shí)，拍攝場(chǎng)景被分類為人像場(chǎng)景，在拍攝綠色或天藍(lán)色像素?cái)?shù)高于閾值的圖像時(shí)，拍攝場(chǎng)景被分類為風(fēng)景場(chǎng)景。在拍攝黑色像素?cái)?shù)高于閾值、在黑色像素區(qū)域包含輝度值高的像素的圖像時(shí)，拍攝場(chǎng)景被分類為夜景場(chǎng)景。而且，場(chǎng)景分類部31在將拍攝場(chǎng)景分類為夜景場(chǎng)景時(shí)，基于拍攝的圖像，判斷攝影對(duì)象是否包含焰火。圖4是對(duì)判斷攝影對(duì)象是否包含焰火的方法進(jìn)行說(shuō)明的圖。圖4的縱軸表示時(shí)刻， 在左側(cè)所示的4張圖像分別為實(shí)時(shí)取景用圖像。在圖4中，以各圖像的左上角為基準(zhǔn)(0， 0)，說(shuō)明圖像上的位置。場(chǎng)景分類部31對(duì)在時(shí)刻t0拍攝的圖像進(jìn)行解析，檢測(cè)出最亮的區(qū)塊(像素的集合)的坐標(biāo)在(5，5)附近，圖像整體的平均亮度與其他圖像比較相對(duì)稍亮。而且，場(chǎng)景分類部31對(duì)自時(shí)刻t0經(jīng)過(guò)規(guī)定時(shí)間后的時(shí)刻tl時(shí)拍攝的圖像進(jìn)行解析，檢測(cè)出最亮的區(qū)塊的坐標(biāo)不詳，圖像整體的平均亮度與其他圖像比較相對(duì)較暗。在時(shí)刻tl時(shí)拍攝的圖像中拍攝有剛上升后的焰火。同樣，場(chǎng)景分類部31對(duì)自時(shí)刻tl經(jīng)過(guò)規(guī)定時(shí)間后的時(shí)刻t2時(shí)拍攝的圖像進(jìn)行解析，檢測(cè)出最亮的區(qū)塊的坐標(biāo)在(9，6)附近或01，13)附近，圖像整體的平均亮度與其他圖像相比相對(duì)明亮。場(chǎng)景分類部31對(duì)自時(shí)刻t2經(jīng)過(guò)規(guī)定時(shí)間后的時(shí)刻t3時(shí)拍攝的圖像進(jìn)行解析，檢測(cè)出最亮的區(qū)塊的坐標(biāo)在(14, 附近，圖像整體的平均亮度與其他圖像相比相
對(duì)稍亮。例如，場(chǎng)景分類部31進(jìn)行這樣的解析，圖像內(nèi)最亮的區(qū)塊的位置時(shí)刻發(fā)生變化， 同時(shí)圖像整體的亮度時(shí)刻發(fā)生變化，基于此判斷攝影對(duì)象包含焰火。另外，攝影對(duì)象是否包含焰火的判斷也可以基于圖像內(nèi)最亮的區(qū)塊的位置時(shí)刻發(fā)生變化和圖像整體的亮度時(shí)刻發(fā)生變化中的任意一種變化來(lái)進(jìn)行。而且，在攝影裝置1上設(shè)置有麥克風(fēng)的情況下，也可以通過(guò)場(chǎng)景分類部31對(duì)由麥克風(fēng)集音的聲音的音量進(jìn)行解析，當(dāng)圖像整體的亮度與音量成比例時(shí)判斷攝影對(duì)象包含焰火。認(rèn)為，焰火的亮度越亮，觀看者的歡呼聲、噪音等聲音的音量也越大。進(jìn)而，在設(shè)置有用于檢測(cè)攝影裝置1的姿勢(shì)的傳感器的情況下，也可以當(dāng)傳感器檢測(cè)出的攝影裝置1的姿勢(shì)相對(duì)于水平方向平行或朝上(天空側(cè))時(shí)判斷攝影對(duì)象包含焰火。在拍攝焰火時(shí)，通常，用戶將攝影裝置1朝向水平方向的上方進(jìn)行拍攝。由此，例如能夠容易地或準(zhǔn)確地判斷攝影對(duì)象是否包含焰火。場(chǎng)景分類部31將如上所述進(jìn)行分類后的拍攝場(chǎng)景的信息、和在拍攝場(chǎng)景分類為夜景場(chǎng)景時(shí)表示攝影對(duì)象是否包含焰火的信息輸出給攝影控制部33和圖像處理部14。臉檢出部32對(duì)按下快門(mén)鍵之前作為實(shí)時(shí)取景用途而拍攝的圖像進(jìn)行解析，從拍攝的圖像中檢出人臉。例如，臉檢出部32通過(guò)將預(yù)先準(zhǔn)備的臉的特征和拍攝的圖像的各區(qū)域的特征進(jìn)行匹配，來(lái)檢出人臉。臉檢出部32根據(jù)檢出結(jié)果，將表示是否映現(xiàn)人臉的信息輸出給攝影控制部33和圖像處理部14。攝影控制部33基于從場(chǎng)景分類部31和臉檢出部32提供的信息設(shè)定攝影模式，在用戶按下快門(mén)鍵后，根據(jù)設(shè)定的攝影模式控制CMOS傳感器12和閃光燈17進(jìn)行攝影。
例如，在場(chǎng)景分類部31將拍攝場(chǎng)景分類為夜景場(chǎng)景時(shí)，攝影控制部33將連拍設(shè)定為ON。在用戶按下快門(mén)鍵后，攝影控制部33根據(jù)該設(shè)定控制CMOS傳感器12，連續(xù)攝影多個(gè)圖像。而且，在拍攝場(chǎng)景被分類為夜景場(chǎng)景、并且由臉檢出部32檢出人臉的情況下，攝影控制部33根據(jù)用戶按下快門(mén)鍵的操作連續(xù)拍攝多個(gè)圖像時(shí)，在最初的拍攝時(shí)或最后的拍攝時(shí)的任一時(shí)刻使閃光燈17發(fā)光。閃光燈17的光照射人物，在有閃光燈17發(fā)光下拍攝的最初或最后的圖像中明亮地映現(xiàn)出人物。這樣，在攝影裝置1中，在拍攝場(chǎng)景被分類為夜景場(chǎng)景的情況下，設(shè)定攝影模式以進(jìn)行連拍。而且，在拍攝場(chǎng)景被分類為夜景場(chǎng)景的情況下，當(dāng)檢出人臉時(shí)，設(shè)定拍攝模式以在連續(xù)進(jìn)行的多次拍攝之中的最初攝影時(shí)或最后攝影時(shí)的任一時(shí)刻使閃光燈17發(fā)光。[對(duì)于圖像處理部14中的處理]此處，對(duì)于圖像處理部14所實(shí)施的處理的切換進(jìn)行說(shuō)明。在圖像處理部14中，使用用戶按下快門(mén)鍵后如上拍攝的圖像進(jìn)行的處理根據(jù)場(chǎng)景分類部31和臉檢出部32的判斷結(jié)果來(lái)切換。<為夜景場(chǎng)景且拍攝焰火的情況下>在拍攝場(chǎng)景為夜景場(chǎng)景且拍攝焰火的情況下，將通過(guò)連拍功能拍攝的多個(gè)圖像提供給圖像處理部14。此時(shí)，圖像處理部14通過(guò)最大值合成將連拍功能下拍攝的多個(gè)圖像進(jìn)行合成，生成1張合成圖像。最大值合成是以連拍功能下拍攝的多個(gè)圖像的對(duì)應(yīng)像素(各圖像上的相同坐標(biāo)的像素)之中、像素值最高的像素的像素值為合成圖像的各像素的像素值對(duì)多個(gè)圖像進(jìn)行合成的處理。在此，雖然對(duì)以像素值最高的像素的像素值為合成圖像的各像素的像素值進(jìn)行合成的情況進(jìn)行說(shuō)明，但也可以以輝度值最高的像素的像素值為合成圖像的各像素的像素值進(jìn)行合成。圖5是對(duì)最大值合成進(jìn)行說(shuō)明的圖。在圖5的左側(cè)所示的圖像Pl P3是通過(guò)連拍功能依次拍攝的圖像，在右側(cè)所示的圖像是合成圖像。對(duì)于求出合成圖像的位于坐標(biāo) (xl，yl)、(x2, y2)、(x3, y3)的位置的各像素的像素值的情況進(jìn)行說(shuō)明。圖像處理部14在求出合成圖像的坐標(biāo)(xl，yl)的像素的像素值時(shí)，將圖像Pl的坐標(biāo)(xl，yl)的像素的像素值、圖像P2的坐標(biāo)(xl，yl)的像素的像素值和圖像P3的坐標(biāo) (xl，yl)的像素的像素值進(jìn)行比較，選擇像素值最大的像素的像素值作為合成圖像的坐標(biāo) (xl, yl)的像素的像素值。在圖5的例子中，如箭頭#11的前端所示，選擇圖像Pl的坐標(biāo) (xl，yl)的像素的像素值作為合成圖像的坐標(biāo)(xl，yl)的像素的像素值。而且，圖像處理部14在求出合成圖像的坐標(biāo)(x2，y2)的像素的像素值時(shí)，將圖像 Pl的坐標(biāo)(x2，y2)的像素的像素值、圖像P2的坐標(biāo)(x2，y2)的像素的像素值和圖像P3的坐標(biāo)(x2，y2)的像素的像素值進(jìn)行比較，選擇像素值最大的像素的像素值作為合成圖像的坐標(biāo)(x2，y2)的像素的像素值。在圖5的例子中，如箭頭#12的前端所示，選擇圖像P2的坐標(biāo)(x2，y2)的像素的像素值作為合成圖像的坐標(biāo)(x2，y2)的像素的像素值。同樣，圖像處理部14在求出合成圖像的坐標(biāo)(x3，y3)的像素的像素值時(shí)，將圖像 Pl的坐標(biāo)(x3，y3)的像素的像素值、圖像P2的坐標(biāo)(x3，y3)的像素的像素值和圖像P3的坐標(biāo)(x3，y3)的像素的像素值進(jìn)行比較，選擇像素值最大的像素的像素值作為合成圖像的坐標(biāo)(x3，y3)的像素的像素值。在圖5的例子中，如箭頭#13的前端所示，選擇圖像P3的坐標(biāo)(x3，y3)的像素的像素值作為合成圖像的坐標(biāo)(x3，y3)的像素的像素值。在拍攝場(chǎng)景為夜景場(chǎng)景且拍攝焰火時(shí)，圖像處理部14通過(guò)這樣的最大值合成將連拍功能下拍攝的多個(gè)圖像進(jìn)行合成，生成1張合成圖像。各像素的像素值用例如以8比特表示、白用RGB= (255,255,255)表示時(shí)，通過(guò)如此處理，即使是在各個(gè)單個(gè)圖像中曝光不足的圖像，也能夠以聚集多個(gè)圖像之中的明亮像素的方式進(jìn)行合成，可以得到焰火部分被適當(dāng)曝光的合成圖像。即，在焰火拍攝中，由于曝光不足和殘留閃光軌跡，通常通過(guò)長(zhǎng)秒數(shù)曝光設(shè)定進(jìn)行拍攝，但如果選擇的秒數(shù)不合適，則導(dǎo)致過(guò)度曝光，易于失去細(xì)節(jié)和對(duì)比度。因此，通過(guò)使用以上那樣的連拍和最大值合成，能夠抑制過(guò)度曝光，并能夠?qū)ρ婊疬m當(dāng)曙光ο<為夜景場(chǎng)景且不拍焰火的情況下>在拍攝場(chǎng)景為夜景場(chǎng)景且不拍焰火的情況下，也與拍攝焰火時(shí)同樣地將通過(guò)連拍功能拍攝的多個(gè)圖像提供給圖像處理部14。此時(shí)，圖像處理部14通過(guò)加法合成或平均合成將連拍功能下拍攝的多個(gè)圖像進(jìn)行合成，生成1張合成圖像。加法合成將連拍功能下拍攝的多個(gè)圖像的對(duì)應(yīng)像素的像素值之和作為合成圖像的各像素的像素值對(duì)多個(gè)圖像進(jìn)行合成的處理。另外，在進(jìn)行加法合成時(shí)，加和的結(jié)果為像素值超過(guò)上限值(例如25 的值時(shí)，可以以最大值變成上限值的比例縮小圖像整體的像素值。另一方面，平均合成是以連拍功能下拍攝的多個(gè)圖像的對(duì)應(yīng)像素的像素值的平均值作為合成圖像的各像素的像素值對(duì)多個(gè)圖像進(jìn)行合成的處理。例如在通過(guò)加法合成得到的合成圖像中像素值飽和而產(chǎn)生飛白的像素的比例超過(guò)規(guī)定比例時(shí)，選擇平均合成。在拍攝場(chǎng)景為夜景場(chǎng)景且不拍焰火時(shí)，圖像處理部14通過(guò)這樣的加法合成或平均合成將連拍功能下拍攝的多個(gè)圖像進(jìn)行合成，生成1張合成圖像。由此，可得到以適當(dāng)曝光拍攝夜景的合成圖像。另外，也可以對(duì)通過(guò)連拍功能拍攝的多個(gè)圖像進(jìn)行晃動(dòng)補(bǔ)正，基于晃動(dòng)補(bǔ)正后的圖像進(jìn)行加法合成或平均合成。<在檢出人臉的情況下>在拍攝場(chǎng)景為夜景場(chǎng)景且拍攝人臉的情況下，將通過(guò)連拍功能拍攝的多個(gè)圖像提供給圖像處理部14。提供給圖像處理部14的多個(gè)圖像中、最初或最后拍攝的圖像是在有閃光燈17發(fā)光下拍攝的圖像。圖6是說(shuō)明人物區(qū)域的提取的流程的圖。圖像處理部14如箭頭#21的前端所示， 求出通過(guò)連拍功能拍攝的多個(gè)圖像中、在無(wú)閃光燈17發(fā)光下拍攝的圖像與最初或最后在有閃光燈17發(fā)光下拍攝的圖像之間的輝度值的差，生成分離數(shù)據(jù)。分離數(shù)據(jù)用于從在閃光燈17發(fā)光下拍攝的圖像中提取人物區(qū)域。以下，在適當(dāng)?shù)那闆r下，將在閃光燈17發(fā)光下拍攝的圖像稱為閃光燈ON圖像，將無(wú)閃光燈17發(fā)光下拍攝的圖像稱為閃光燈OFF圖像。如圖7所示，對(duì)以焰火為背景進(jìn)行人物拍攝的情況進(jìn)行說(shuō)明。在有閃光燈17發(fā)光下進(jìn)行拍攝時(shí)，通過(guò)該拍攝得到的圖像中的人物區(qū)域的輝度值比背景區(qū)域的輝度值高。與此相對(duì)，在無(wú)閃光燈17發(fā)光下進(jìn)行拍攝時(shí)，通過(guò)該拍攝得到的圖像中的人物區(qū)域的輝度值與背景區(qū)域的輝度值同樣變低。
圖像處理部14求出閃光燈ON圖像與閃光燈OFF圖像的每個(gè)區(qū)域的輝度值的差， 生成表示輝度值之差在閾值以上的區(qū)域的、如圖8所示的分離數(shù)據(jù)。圖8所示的分離數(shù)據(jù)中、附上斜線來(lái)表示的區(qū)域是閃光燈ON圖像與閃光燈OFF圖像的輝度值的差在閾值以上的區(qū)域，相當(dāng)于人物區(qū)域。在生成分離數(shù)據(jù)后，如圖6的箭頭#22的前端所示，圖像處理部14進(jìn)行分離數(shù)據(jù)的修正。分離數(shù)據(jù)的修正是對(duì)分離數(shù)據(jù)進(jìn)行加工的處理，以使雖為人物的一部分但由于閃光燈17的光沒(méi)有照到而在分離數(shù)據(jù)中沒(méi)有作為人物區(qū)域被檢出的部分(閃光燈ON圖像與閃光燈OFF圖像的輝度值之差沒(méi)有在閾值以上的部分)包含在人物區(qū)域中。例如，即使在有閃光燈17發(fā)光下進(jìn)行拍攝，有時(shí)光也沒(méi)有照到人頭的上部。這種情況下，分離數(shù)據(jù)的人物區(qū)域中的頭部的形狀形成圖9中用虛線圓圍起來(lái)所示的凹陷形狀。圖像處理部14修正分離數(shù)據(jù)以使該凹陷形狀形成圖8所示不凹陷的形狀。以臉檢出部32所檢出的臉的位置為基準(zhǔn)，可以預(yù)測(cè)頭整體位于哪個(gè)范圍，圖像處理部14例如預(yù)測(cè)頭整體的范圍，修正分離數(shù)據(jù)。在進(jìn)行分離數(shù)據(jù)的修正后，如圖6的箭頭#23和箭頭#25的前端所示，圖像處理部 14使用分離數(shù)據(jù)從閃光燈ON圖像中提取人物區(qū)域。在重疊分離數(shù)據(jù)時(shí)，與圖8的斜線所表示的區(qū)域?qū)?yīng)的圖像上的區(qū)域成為被拍攝到閃光燈ON圖像中的人物區(qū)域。從閃光燈ON圖像中提取人物區(qū)域后，如圖6的箭頭#24的前端所示，圖像處理部 14根據(jù)混合貼圖將人物區(qū)域的圖像合成在合成圖像上。如上所述，成為人物區(qū)域的合成目的地的合成圖像在拍攝場(chǎng)景為夜景場(chǎng)景且拍攝焰火時(shí)是通過(guò)最大值合成而生成的圖像，在不拍攝焰火時(shí)是通過(guò)加法合成或平均合成而生成的圖像。圖10是表示混合貼圖的例子的圖。圖10的橫軸表示閃光燈ON圖像與閃光燈OFF 圖像的輝度值之差，縱軸表示從閃光燈ON圖像中提取的人物區(qū)域的像素的像素值的合成比例。例如，合成比例為50%表示將合成圖像的像素的像素值和從閃光燈ON圖像中提取的人物區(qū)域的像素的像素值各50%混合后得到的像素值作為最終得到的合成圖像中的人物區(qū)域的像素的像素值。在圖10的例子中，閃光燈ON圖像與閃光燈OFF圖像的輝度值之差為閾值1以下時(shí)，從閃光燈ON圖像中提取的人物區(qū)域的像素的像素值的合成比率設(shè)定為0%。而且，在輝度值之差為閾值1以上且不足閾值2時(shí)，從閃光燈ON圖像中提取的人物區(qū)域的像素的像素值的合成比例與輝度值之差成比例，從0%線性增加至100%。進(jìn)而，在輝度值之差為閾值 2以上時(shí)，從閃光燈ON圖像中提取的人物區(qū)域的像素的像素值的合成比率設(shè)定為100%。對(duì)于圖像處理部14，預(yù)先設(shè)定這種混合貼圖的信息。在拍攝場(chǎng)景為夜景場(chǎng)景且拍攝人臉時(shí)，圖像處理部14根據(jù)混合貼圖將從閃光燈ON圖像中提取的人物區(qū)域的圖像合成在合成圖像上。由此，可得到背景和人物都適當(dāng)曝光的合成圖像。如上所述，對(duì)于背景，通過(guò)最大值合成、加法合成、平均合成等合成處理形成適當(dāng)曝光。而且，對(duì)于人物，通過(guò)在閃光燈17 發(fā)光下進(jìn)行拍攝形成適當(dāng)曝光。[攝影裝置1的動(dòng)作]下面參照?qǐng)D11和圖12的流程圖，對(duì)攝影裝置1的攝影處理進(jìn)行說(shuō)明。在步驟S 1中，攝影控制部33控制CMOS傳感器12，拍攝實(shí)時(shí)取景用圖像。拍攝的實(shí)時(shí)取景用圖像存儲(chǔ)在存儲(chǔ)器13中后，提供給場(chǎng)景分類部31、臉檢出部32，同時(shí)通過(guò)圖像處理部14讀出，顯示在IXD16上。在步驟S2中，場(chǎng)景分類部31對(duì)實(shí)時(shí)取景用圖像進(jìn)行解析，將拍攝場(chǎng)景分類。而且， 場(chǎng)景分類部31在將拍攝場(chǎng)景分類為夜景場(chǎng)景時(shí)，也進(jìn)行攝影對(duì)象是否包含焰火的檢測(cè)在步驟S3中，臉檢出部32對(duì)實(shí)時(shí)取景用圖像進(jìn)行解析，進(jìn)行臉的檢出。在步驟S4中，場(chǎng)景分類部31判斷拍攝場(chǎng)景是否為夜景場(chǎng)景。在步驟S4中判斷拍攝場(chǎng)景不是夜景場(chǎng)景時(shí)，程序進(jìn)入步驟S5，攝影控制部33對(duì)應(yīng)拍攝場(chǎng)景進(jìn)行通常的攝影。 艮口，攝影控制部33設(shè)定對(duì)應(yīng)于人像場(chǎng)景或風(fēng)景場(chǎng)景等拍攝場(chǎng)景的參數(shù)，與按下快門(mén)鍵相對(duì)應(yīng)地進(jìn)行攝影。通過(guò)圖像處理部14將攝影圖像實(shí)施各種圖像處理后，提供給輸出部15。輸出部15使圖像的數(shù)據(jù)記錄在記錄介質(zhì)中，然后結(jié)束通常的攝影處理。另一方面，在步驟S4中在判斷拍攝場(chǎng)景為夜景場(chǎng)景時(shí)，程序進(jìn)入步驟S6，攝影控制部33將連拍設(shè)定為ON。在步驟S7中，攝影控制部33判斷臉檢出部32是否檢測(cè)到人臉，在判斷檢測(cè)到人臉時(shí)，進(jìn)入步驟S8，進(jìn)行閃光燈17的設(shè)定以在最初的攝影時(shí)或最后的攝影時(shí)中的任一時(shí)刻使閃光燈17發(fā)光。在步驟S9中，攝影控制部33基于由操作部18提供的信號(hào)判斷是否按下快門(mén)鍵， 在判斷按下快門(mén)鍵之前待機(jī)。在步驟S9中攝影控制部33判斷按下了快門(mén)鍵時(shí)，程序進(jìn)入步驟S10，控制CMOS傳感器12，通過(guò)連拍功能拍攝多個(gè)圖像。而且，攝影控制部33在最初的攝影時(shí)或最后的攝影時(shí)的任一時(shí)刻使閃光燈17發(fā)光。通過(guò)連拍功能拍攝的多個(gè)圖像存儲(chǔ)在存儲(chǔ)器13中后，提供給圖像處理部14。在步驟Sll中，圖像處理部14如上所述基于閃光燈ON圖像與閃光燈OFF圖像的輝度值之差生成分離數(shù)據(jù)，適當(dāng)修正后(圖8、圖9)，使用分離數(shù)據(jù)從閃光燈ON圖像中提取人物區(qū)域的圖像。在步驟S12中，圖像處理部14判斷場(chǎng)景分類部31是否檢測(cè)到焰火，在判斷檢測(cè)到焰火時(shí)，進(jìn)入步驟S13，通過(guò)最大值合成來(lái)將多個(gè)圖像合成，在所得到的合成圖像上合成從閃光燈ON圖像中提取的人物區(qū)域的圖像。合成有從閃光燈ON圖像中提取的人物區(qū)域的圖像的合成圖像的數(shù)據(jù)從圖像處理部14提供給輸出部15。在步驟S14中，輸出部15將通過(guò)圖像處理部14生成的合成圖像的數(shù)據(jù)記錄在記錄介質(zhì)中，結(jié)束處理。在步驟S12中判斷沒(méi)有檢測(cè)到焰火時(shí)，進(jìn)入步驟S15，圖像處理部14通過(guò)加法合成或平均合成來(lái)將多個(gè)圖像合成，在所得到的合成圖像上合成從閃光燈ON圖像中提取的人物區(qū)域的圖像。其后，進(jìn)入步驟S14，記錄合成圖像后，結(jié)束處理。在步驟S7中攝影控制部33判斷沒(méi)有檢測(cè)到人臉時(shí)，進(jìn)入步驟S16 (圖12)，判斷是否按下快門(mén)鍵，在按下快門(mén)鍵之前待機(jī)。在步驟S16中攝影控制部33判斷按下了快門(mén)鍵時(shí)，進(jìn)入步驟S17，控制CMOS傳感器12，通過(guò)連拍功能拍攝多個(gè)圖像。由于沒(méi)有檢測(cè)到人臉，所以此處閃光燈17不發(fā)光。連拍功能下拍攝的多個(gè)圖像存儲(chǔ)在存儲(chǔ)器13中后，提供給圖像處理部14。在步驟S18中，圖像處理部14判斷場(chǎng)景分類部31是否檢測(cè)到焰火，在判斷檢測(cè)到焰火時(shí)，進(jìn)入步驟S19，通過(guò)最大值合成來(lái)將多個(gè)圖像合成。通過(guò)最大值合成而生成的合成圖像的數(shù)據(jù)從圖像處理部14提供給輸出部15。在步驟S20中，輸出部15使通過(guò)圖像處理部14生成的合成圖像的數(shù)據(jù)記錄在記錄介質(zhì)中，結(jié)束處理。另一方面，在步驟S18中圖像處理部14判斷沒(méi)有檢測(cè)到焰火時(shí)，進(jìn)入步驟S21，通過(guò)加法合成或平均合成來(lái)將所拍攝的多個(gè)圖像合成。其后，在步驟S20中，記錄合成圖像后，結(jié)束處理。[發(fā)明的實(shí)施方式的效果]1.如上所述，由于在操作快門(mén)鍵之前對(duì)拍攝場(chǎng)景進(jìn)行分類，所以在拍攝場(chǎng)景為包含夜景的場(chǎng)景時(shí)，可以容易地設(shè)定為進(jìn)行連拍的攝影模式。2.在夜景場(chǎng)景中拍攝焰火的情況下，以連拍功能下拍攝的多個(gè)圖像的對(duì)應(yīng)像素中、像素值或輝度值最高的像素的像素值作為合成圖像的各像素的像素值的方式合成多個(gè)圖像，因而，可以容易地拍攝焰火部分的曝光適當(dāng)、畫(huà)質(zhì)良好的夜景。3.在夜景場(chǎng)景中不拍攝焰火的情況下，以將連拍功能下拍攝的多個(gè)圖像的對(duì)應(yīng)像素的像素值之和作為合成圖像的各像素的像素值的方式、或在多個(gè)圖像的對(duì)應(yīng)像素的像素值之和超過(guò)閾值的像素的比例超過(guò)規(guī)定比例時(shí)，以將多個(gè)圖像的對(duì)應(yīng)像素的像素值的平均值作為上述合成圖像的各像素的像素值的方式，合成多個(gè)圖像，因而可以容易地拍攝曝光適當(dāng)、畫(huà)質(zhì)良好的夜景。4.檢測(cè)到人物的臉時(shí)，由于在多個(gè)圖像中的最初圖像的攝影時(shí)或最后圖像的攝影時(shí)使閃光燈發(fā)光，而且，由于從最初圖像或上述最后圖像中提取受到閃光燈照射的區(qū)域，將提取的上述區(qū)域重疊到上述合成圖像上進(jìn)行合成，因而不僅可以容易地拍攝曝光適當(dāng)、且不產(chǎn)生晃動(dòng)的畫(huà)質(zhì)良好的夜景，而且可以以最好的畫(huà)質(zhì)拍攝人物。上述的一系列處理既能夠通過(guò)硬件執(zhí)行，也能夠通過(guò)軟件執(zhí)行。在通過(guò)軟件執(zhí)行一系列處理時(shí)，構(gòu)成該軟件的程序可從程序記錄介質(zhì)裝入到內(nèi)裝有專用硬件的計(jì)算機(jī)、或通過(guò)裝配各種程序可執(zhí)行各種功能的、例如通用的個(gè)人計(jì)算機(jī)等中。該發(fā)明不限于上述實(shí)施方式，在實(shí)施階段通過(guò)在不脫離本發(fā)明要點(diǎn)的范圍改變構(gòu)成要件進(jìn)行具體化，或?qū)⑸鲜鰧?shí)施方式所公開(kāi)的多個(gè)構(gòu)成要件適當(dāng)組合，能夠形成各種發(fā)明。例如，也可以從實(shí)施方式所示的全部構(gòu)成要件中去除幾個(gè)構(gòu)成要件。進(jìn)而，也可以將不同實(shí)施方式所涉及的構(gòu)成要件適當(dāng)組合。
權(quán)利要求
1.一種攝影裝置，其特征在于，其具備 攝影單元；場(chǎng)景分類單元，用于對(duì)在操作快門(mén)鍵之前通過(guò)所述攝影單元拍攝的圖像進(jìn)行解析，對(duì)所拍攝的場(chǎng)景進(jìn)行分類；和控制單元，用于在被所述場(chǎng)景分類單元分類的場(chǎng)景為包含夜景作為攝影對(duì)象的場(chǎng)景即夜景場(chǎng)景時(shí)，控制所述攝影單元以在所述快門(mén)鍵被操作時(shí)連續(xù)進(jìn)行多個(gè)圖像的攝影。
2.如權(quán)利要求1所述的攝影裝置，其特征在于，所述場(chǎng)景分類單元在將所拍攝的場(chǎng)景分類為所述夜景場(chǎng)景時(shí)，判斷是否進(jìn)行焰火的拍攝，所述攝影裝置進(jìn)一步具備圖像處理單元，在判斷進(jìn)行焰火的攝影時(shí)，所述圖像處理單元以將操作所述快門(mén)鍵時(shí)拍攝的所述多個(gè)圖像的對(duì)應(yīng)像素中、像素值或輝度值最高的像素的像素值作為合成圖像的各像素的像素值的方式將所述多個(gè)圖像進(jìn)行合成。
3.如權(quán)利要求2所述的攝影裝置，其特征在于，在判斷不進(jìn)行焰火的攝影時(shí)，所述圖像處理單元以將操作所述快門(mén)鍵時(shí)拍攝的經(jīng)晃動(dòng)補(bǔ)正后的所述多個(gè)圖像的對(duì)應(yīng)像素的像素值之和作為所述合成圖像的各像素的像素值的方式、或在所述多個(gè)圖像的對(duì)應(yīng)像素的像素值之和超過(guò)閾值的像素的比例超過(guò)規(guī)定比例時(shí)以將所述多個(gè)圖像的對(duì)應(yīng)像素的像素值的平均值作為所述合成圖像的各像素的像素值的方式，將所述多個(gè)圖像進(jìn)行合成。
4.如權(quán)利要求2或3所述的攝影裝置，其特征在于，該攝影裝置進(jìn)一步具備 臉檢出單元，用于從所述攝影單元拍攝的圖像中檢出人物的臉；和發(fā)光單元，用于使閃光燈發(fā)光，在通過(guò)所述臉檢出單元從所述快門(mén)鍵被操作之前拍攝的圖像中檢測(cè)到人物的臉時(shí)，所述控制單元控制所述發(fā)光單元以在拍攝所述多個(gè)圖像之中的最初圖像時(shí)、或拍攝最后圖像時(shí)使閃光燈發(fā)光，所述圖像處理單元從所述最初圖像或所述最后圖像中提取閃光燈所照射的區(qū)域，將提取的所述區(qū)域重疊在所述合成圖像上進(jìn)行合成。
5.如權(quán)利要求1所述的攝影裝置，其特征在于，該攝影裝置進(jìn)一步具備 臉檢出單元，用于從所述攝影單元拍攝的圖像中檢出人物的臉；和發(fā)光單元，用于使閃光燈發(fā)光在通過(guò)所述臉檢出單元從所述快門(mén)鍵被操作之前拍攝的圖像中檢測(cè)到人物的臉時(shí)，所述控制單元控制所述發(fā)光單元以在攝影所述多個(gè)圖像之中的最初圖像時(shí)、或攝影最后圖像時(shí)使閃光燈發(fā)光。
6.一種具備攝影單元的攝影裝置的攝影方法，其特征在于，該攝影方法包含下述步驟場(chǎng)景分類步驟，對(duì)在操作快門(mén)鍵之前通過(guò)所述攝影單元拍攝的圖像進(jìn)行解析，對(duì)所拍攝的場(chǎng)景進(jìn)行分類；和控制步驟，在經(jīng)所述場(chǎng)景分類步驟的處理被分類的場(chǎng)景為包含夜景作為攝影對(duì)象的場(chǎng)景即夜景場(chǎng)景時(shí)，控制所述攝影單元以在所述快門(mén)鍵被操作時(shí)連續(xù)進(jìn)行多個(gè)圖像的拍攝。
7.一種使計(jì)算機(jī)執(zhí)行攝影處理的程序，所述攝影處理是具備攝影單元的攝影裝置的攝影處理，其特征在于，該程序使計(jì)算機(jī)執(zhí)行包含下述步驟的處理場(chǎng)景分類步驟，對(duì)在操作快門(mén)鍵之前通過(guò)所述攝影單元拍攝的圖像進(jìn)行解析，對(duì)所拍攝的場(chǎng)景進(jìn)行分類；和控制步驟，在經(jīng)所述場(chǎng)景分類步驟的處理被分類的場(chǎng)景為包含夜景作為攝影對(duì)象的場(chǎng)景即夜景場(chǎng)景時(shí)，控制所述攝影單元以在所述快門(mén)鍵被操作時(shí)連續(xù)進(jìn)行多個(gè)圖像的拍攝。
全文摘要
本發(fā)明提供一種攝影裝置、攝影方法和程序，能夠自動(dòng)選擇適應(yīng)場(chǎng)景的攝影方法以拍攝出畫(huà)質(zhì)更好的圖像。在攝影裝置中，基于快門(mén)鍵按下之前拍攝的實(shí)時(shí)取景用的圖像，進(jìn)行拍攝場(chǎng)景的分類。在將拍攝場(chǎng)景分類為夜景場(chǎng)景時(shí)，連拍功能自動(dòng)設(shè)定為ON，與用戶按一次快門(mén)鍵相對(duì)應(yīng)地連續(xù)進(jìn)行多個(gè)圖像的拍攝。而且，將連續(xù)拍攝的多個(gè)圖像進(jìn)行合成，其合成處理的內(nèi)容例如在對(duì)明亮的動(dòng)態(tài)焰火等進(jìn)行攝影的情況和以明亮的動(dòng)態(tài)焰火等為背景對(duì)人物進(jìn)行攝影的情況之間進(jìn)行切換。
文檔編號(hào)H04N5/243GK102487431SQ20111039631
公開(kāi)日2012年6月6日 申請(qǐng)日期2011年11月28日 優(yōu)先權(quán)日2010年11月30日
發(fā)明者佐藤秀彥, 櫻井順三 申請(qǐng)人:信泰偉創(chuàng)影像科技有限公司