專利名稱：圖像合成裝置及圖像合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于合成多幅圖像的圖像處理裝置及圖像處理方法。
背景技術(shù)：
目前，通過將被拍攝對(duì)象圖像與背景用圖像及幀圖像合成而生成合成圖像的技術(shù)已經(jīng)為人們所知。例如，JP特開2004-159158號(hào)公報(bào)中公開了這種技術(shù)。然而，在合成被拍攝對(duì)象圖像與背景用圖像的情況下，僅僅簡(jiǎn)單地將這些圖像重疊在一起會(huì)帶來合成圖像不自然的問題。另外，即使采用強(qiáng)調(diào)立體感的背景用圖像，也存在著僅僅能平面地表現(xiàn)相對(duì)于背景用圖像完全重疊了被拍攝對(duì)象圖像的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于能夠生成不和諧感低的合成圖像。為了實(shí)現(xiàn)上述目的，本發(fā)明的圖像處理裝置，其特征在于，包括:存儲(chǔ)單元，其將圖像與該圖像拍攝時(shí)的拍攝條件建立關(guān)聯(lián)并存儲(chǔ)多個(gè)；指示単元，其指示對(duì)該存儲(chǔ)單元中所存儲(chǔ)的多個(gè)圖像之間進(jìn)行合成；圖像處理單元，其由所述存儲(chǔ)單元讀出與由該指示単元指示合成的圖像分別建立了關(guān)聯(lián)的拍攝條件，并按照與一張圖像的拍攝條件相接近的方式來處理另ー張圖像；以及合成単元，其對(duì)由該圖像處理單元處理后的所述另ー張圖像與所述ー張圖像進(jìn)行合成。另外，本發(fā)明的圖像處理方法，其特征在于，包括:區(qū)域指示步驟，在至少ニ張圖像中指示一張圖像內(nèi)應(yīng)當(dāng)合成另ー張圖像的區(qū)域；亮度獲取步驟，獲取在該區(qū)域指示步驟中指示的一張圖像的應(yīng)當(dāng)合成的區(qū)域的亮度；以及合成步驟，按照所述另ー張圖像的亮度與在所述亮度獲取步驟中獲取的一張圖像的應(yīng)當(dāng)合成的區(qū)域的亮度相接近的方式，來進(jìn)行處理，并合成所述兩張圖像。另外，本發(fā)明的另ー種圖像處理方法，其特征在于，包括:確定步驟，在至少兩張圖像中，確定ー張圖像中的光源的位置；位置指示步驟，在所述ー張圖像中，指示應(yīng)當(dāng)合成另一張圖像的位置；以及合成步驟，基于所述一張圖像的光源的位置和在所述位置指示步驟中指示的位置，對(duì)所述另ー張圖像進(jìn)行處理，并合成所述兩張圖像。


圖1是表示適用于本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)裝置的大致結(jié)構(gòu)的方框圖。圖2是表示關(guān)于用圖1的照相機(jī)裝置從包含被拍攝對(duì)象的背景圖像中剪切被拍攝對(duì)象的處理的操作的一個(gè)例子的流程圖。圖3是表示關(guān)于用圖1的照相機(jī)裝置進(jìn)行背景用圖像拍攝處理的操作的一個(gè)例子的流程圖。圖4是表示關(guān)于用圖1的照相機(jī)裝置進(jìn)行被拍攝對(duì)象合成圖像生成處理的操作的一個(gè)例子的流程圖。
圖5是表示關(guān)于在圖4的被拍攝對(duì)象合成圖像生成處理中的圖像合成處理的ー個(gè)例子的流程圖。圖6是示意性表示用于說明圖2的從包含被拍攝對(duì)象的背景圖像中提取被拍攝對(duì)象圖像的處理的圖像的一個(gè)例子的圖。圖7是示意性表示用于說明圖4的被拍攝對(duì)象合成圖像生成處理的圖像的ー個(gè)例子的圖。圖8是示意性表示用于說明圖4的被拍攝對(duì)象合成圖像生成處理的圖像的ー個(gè)例子的圖。圖9是表示關(guān)于用圖1的照相機(jī)裝置進(jìn)行變形例的被拍攝對(duì)象合成圖像生成處理的操作的一個(gè)例子的流程圖。
具體實(shí)施例方式以下，對(duì)于本發(fā)明來說，用附圖來說明具體的方式。但是發(fā)明的范圍不限定于圖示的例子中。圖1是表示適用于本發(fā)明的一個(gè)實(shí)施方式的照相機(jī)裝置100的大致結(jié)構(gòu)的方框圖。本實(shí)施方式的照相機(jī)裝置100從背景用圖像Pl中檢測(cè)出具有多個(gè)特征的區(qū)域C。接下來，照相機(jī)裝置100在具有多個(gè)特征的區(qū)域C中，確定出與包含非顯示區(qū)域的被拍攝對(duì)象圖像P2內(nèi)的被拍攝對(duì)象圖像(前景圖像)D相比更配置于前景的前景區(qū)域Cl。在此，在具有多個(gè)特征的區(qū)域C中，與被拍攝對(duì)象圖像D相比位于前景的圖像為Cl，與被拍攝對(duì)象圖像D相比位于后景的圖像為C2。而且，照相機(jī)裝置100以該前景區(qū)域Cl作為該被拍攝對(duì)象圖像D的前景，來對(duì)背景用圖像Pl和被拍攝對(duì)象圖像D進(jìn)行合成。具體地說，如圖1所示，照相機(jī)裝置100包括:透鏡部1、電子拍攝部2、拍攝控制部
3、圖像數(shù)據(jù)生成部4、圖像存儲(chǔ)器5、特征量運(yùn)算部6、塊匹配部7、圖像處理部8、記錄介質(zhì)
9、顯示控制部10、顯示部11、操作輸入部12、以及CPU13。另外，拍攝控制部3、特征量運(yùn)算部6、塊匹配部7、圖像處理部8、以及CPU13例如被設(shè)計(jì)為定制LSI (custom LSI)。透鏡部I由多個(gè)透鏡構(gòu)成，包括變焦透鏡和聚焦透鏡等。另外，透鏡部I省略了圖示，但是優(yōu)選包括:在對(duì)被拍攝對(duì)象進(jìn)行拍攝時(shí)使變焦透鏡在光軸方向上移動(dòng)的變焦驅(qū)動(dòng)部、和使聚焦透鏡在光軸方向上移動(dòng)的合焦驅(qū)動(dòng)部。電子拍攝部2 例如由 CCD (Charge Coupled Device)和 CMOS (ComplementaryMetal-oxide Semiconductor)等圖像傳感器構(gòu)成,將透過透鏡部I的各個(gè)透鏡的光學(xué)像變換成ニ維圖像信號(hào)。拍攝控制部3省略了圖示，但是它包括定時(shí)發(fā)生器、驅(qū)動(dòng)器等。而且，拍攝控制部3通過定時(shí)發(fā)生器、驅(qū)動(dòng)器來掃描驅(qū)動(dòng)電子拍攝部2，并由電子拍攝部2按每個(gè)規(guī)定周期將光學(xué)像變換成ニ維圖像信號(hào)，從該電子拍攝部2的拍攝區(qū)域中讀出每個(gè)畫面的圖像幀，并輸出給圖像數(shù)據(jù)生成部4。另外，拍攝控制部3進(jìn)行被拍攝對(duì)象的拍攝條件的調(diào)整控制。具體地說，拍攝控制部3具備進(jìn)行使透鏡部I在光軸方向上移動(dòng)并調(diào)整合焦條件的自動(dòng)合焦處理的AF部3a。
此外，作為拍攝條件的調(diào)整控制，拍攝控制部3進(jìn)行AE(自動(dòng)曝光處理)和AWB(自動(dòng)白平衡)等。這樣來構(gòu)成的透鏡部1、電子拍攝部2、以及拍攝控制部3作為拍攝單元，對(duì)與圖像合成處理有關(guān)的背景用圖像Pl (參考圖7A)和包含被拍攝對(duì)象的背景圖像El (參考圖6A)進(jìn)行拍攝。另外，透鏡部1、電子拍攝部2、以及拍攝控制部3在對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行拍攝之后，在固定了對(duì)包含該被拍攝對(duì)象的背景圖像El進(jìn)行拍攝時(shí)的拍攝條件的狀態(tài)下，為了生成包含非顯示區(qū)域的被拍攝對(duì)象圖像P2(參考圖7C)而拍攝僅有背景的圖像E2(參考圖6B)。圖像數(shù)據(jù)生成部4在對(duì)從電子拍攝部2所傳送的圖像幀的模擬值的信號(hào)按RGB每種顏色成分進(jìn)行了適當(dāng)增益調(diào)整之后，由采樣保持電路(圖示略)進(jìn)行采樣保持，并由A/D變換器(圖示略)變換成數(shù)字?jǐn)?shù)據(jù)，在顏色處理電路(圖示略)中進(jìn)行了包括像素插值處理以及Y補(bǔ)正處理在內(nèi)的顏色處理之后，生成數(shù)字值的亮度信號(hào)Y和色差信號(hào)Cb、Cr (YUV數(shù)據(jù))。從顏色處理電路所輸出的亮度信號(hào)Y和色差信號(hào)Cb、Cr經(jīng)由圖中未示出的DMA控制器被DMA傳送到用作緩沖存儲(chǔ)器的圖像存儲(chǔ)器5中。圖像存儲(chǔ)器5例如由DRAM等構(gòu)成。圖像存儲(chǔ)器5暫時(shí)存儲(chǔ)特征量運(yùn)算部6、塊匹配部7、圖像處理部8、和CPU13等作為處理對(duì)象的數(shù)據(jù)等。特征量運(yùn)算部6以僅有背景的圖像E2為基準(zhǔn)，進(jìn)行從該僅有背景的圖像E2中提取特征點(diǎn)的特征提取處理。具體地說，特征量運(yùn)算部6例如基于僅有背景的圖像E2的YUV數(shù)據(jù)，選出規(guī)定數(shù)(或規(guī)定數(shù)以上)的特征較高的塊區(qū)域(或者特征較高的點(diǎn))，以該塊的內(nèi)容作為模版(例如，16X16像素的正方形)進(jìn)行提取。在此，所謂的特征提取處理就是從多個(gè)候補(bǔ)塊中選擇在追蹤方面情況較好、特征性較高的塊的處理。塊匹配部7在生成包含非顯示區(qū)域的被拍攝對(duì)象圖像P2吋，執(zhí)行用于對(duì)僅有背景的圖像E2與包含被拍攝對(duì)象的背景圖像El進(jìn)行位置対照的塊匹配處理。具體地說，塊匹配部7捜索在特征提取處理中所提取的模版與包含被拍攝對(duì)象的背景圖像El內(nèi)的何處(這個(gè)模版對(duì)應(yīng)于何處)相對(duì)應(yīng)，即，捜索在包含被拍攝對(duì)象的背景圖像El內(nèi)模版的像素值(在包含被拍攝對(duì)象的背景圖像El中)最佳對(duì)應(yīng)(match)的位置(對(duì)應(yīng)區(qū)域)。并且，計(jì)算像素值差異度的評(píng)價(jià)值(例如，差分平方和(SSD)及差分絕對(duì)值和(SAD)等)最小的僅有背景的圖像E2與包含被拍攝對(duì)象的背景圖像El之間的最佳偏移量，作為該模塊的運(yùn)動(dòng)矢量。圖像處理部8具備被拍攝對(duì)象圖像生成部8a，其用于生成包含非顯示區(qū)域的被拍攝對(duì)象圖像P2的圖像數(shù)據(jù)。具體地說，雖然省略了圖示，但是被拍攝對(duì)象圖像生成部8a包括:圖像位置對(duì)照部、被拍攝對(duì)象區(qū)域提取部、位置信息生成部、被拍攝對(duì)象圖像生成部等。圖像位置對(duì)照部基于從僅有背景的圖像E2中所提取的特征高的塊區(qū)域，計(jì)算出與僅有背景的圖像E2相対的、包含被拍攝對(duì)象的背景圖像El的各個(gè)像素的坐標(biāo)變換式(射影變換矩陣)，根據(jù)該坐標(biāo)變換式對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行坐標(biāo)變換，并進(jìn)行與僅有背景的圖像E2的位置対照。
被拍攝對(duì)象區(qū)域提取部生成由圖像位置對(duì)照部進(jìn)行了位置對(duì)照后的、在包含被拍攝對(duì)象的背景圖像El與僅有背景的圖像E2之間對(duì)應(yīng)的各個(gè)像素的差分信息，以該差分信息作為基準(zhǔn)，從包含被拍攝對(duì)象的背景圖像El中提取出包含被拍攝對(duì)象區(qū)域的被拍攝對(duì)象圖像D。
位置信息生成部確定從包含被拍攝對(duì)象的背景圖像El中提取的被拍攝對(duì)象圖像D的位置，然后生成用于在包含被拍攝對(duì)象的背景圖像El中指示被拍攝對(duì)象圖像D的位置的位置信息(例如，α映射)。
在此，所謂的α映射是指，對(duì)于包含被拍攝對(duì)象的背景圖像El的各個(gè)像素來說，將在被拍攝對(duì)象圖像D的圖像相對(duì)于規(guī)定背景進(jìn)行α混合時(shí)的權(quán)重表示為α值(O < α <1)。
圖像生成部基于所生成的α映射，在包含被拍攝對(duì)象的背景圖像El的各個(gè)像素中，相對(duì)于規(guī)定的單色圖像(圖示略)來說，不顯示α值為I的像素，而且，相對(duì)于規(guī)定的單色圖像(圖示略)來說，顯示α值為O的像素，從而將被拍攝對(duì)象D與規(guī)定的單色圖像進(jìn)行合成，并生成包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2的圖像數(shù)據(jù)。
另外，圖像處理部8具備用于檢測(cè)背景用圖像Pl中具有特征的區(qū)域C的特征區(qū)域檢測(cè)部8b ο
特征區(qū)域檢測(cè)部Sb采用圖像數(shù)據(jù)的顏色信息等，根據(jù)對(duì)比度變化來在圖像中確定并檢測(cè)出具有球和草木這些特征的區(qū)域C(參考圖7B)。
此外，具有特征的區(qū)域C的檢測(cè)可以通過利用背景用圖像Pl的像素值的邊緣并提取輪廓線來進(jìn)行。
另外，圖像處理部8具備距離信息獲取部Sc，其用于獲取到由透鏡部1、電子拍攝部2、以及拍攝控制部3所拍攝到的圖像中的規(guī)定區(qū)域?yàn)橹沟木嚯x信息。
這個(gè)距離信息獲取部Sc在對(duì)背景用圖像Pl進(jìn)行拍攝時(shí)，獲取到具有多個(gè)特征的區(qū)域C為止的距離信息。具體地說，距離信息獲取部Sc在對(duì)背景用圖像Pl進(jìn)行拍攝時(shí)，從拍攝控制部3的AF部3a中獲取與在自動(dòng)合焦處理中由合焦驅(qū)動(dòng)部(圖示略)所移動(dòng)的聚焦透鏡的光軸方向的位置有關(guān)的透鏡位置信息，并基于該透鏡位置信息獲取到具有多個(gè)特征的區(qū)域C為止的距離。另外，距離信息獲取部Sc在對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行拍攝時(shí)，從拍攝控制部3的AF部3a中獲取與在自動(dòng)合焦處理中由合焦驅(qū)動(dòng)部(圖示略)所移動(dòng)的聚焦透鏡的光軸方向的位置有關(guān)的透鏡位置信息，并基于該透鏡位置信息來獲取到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x。
在此，距離信息獲取部Sc在對(duì)背景用圖像Pl進(jìn)行拍攝時(shí)，獲取到具有多個(gè)特征的區(qū)域C為止的距離信息。另外，距離信息獲取部Sc在對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行拍攝時(shí)，構(gòu)成用于獲取到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息的距離信息獲取單元。
此外，獲取到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息，例如可以基于規(guī)定的換算程序的執(zhí)行來進(jìn)行，也可以采用規(guī)定的換算表來進(jìn)行。
另外，圖像處理部8還具備特征區(qū)域確定部8d，其用于在由特征區(qū)域檢測(cè)部Sb所檢測(cè)的具有多個(gè)特征的區(qū)域C中，確定與包含非顯示區(qū)域的被拍攝對(duì)象圖像P2中的被拍攝對(duì)象圖像(前景圖像)D相比配置在前景中的前景區(qū)域Cl。
具體地，特征區(qū)域確定部8d對(duì)由距離信息獲取部Sc獲取的到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息和到具有多個(gè)特征的區(qū)域C為止的距離信息進(jìn)行比較，判斷被拍攝對(duì)象圖像D和具有多個(gè)特征的區(qū)域C的前后位置。并且，特征區(qū)域確定部8d將被判斷為與被拍攝對(duì)象圖像D相比位于前景的具有特征的區(qū)域C確定為前景區(qū)域Cl。
這里，特征區(qū)域確定部8d包括有確定單元，其用于在具有多個(gè)特征的區(qū)域C中，確定與包含非顯示區(qū)域的被拍攝對(duì)象圖像P2中的被拍攝對(duì)象圖像D相比配置在前景中的前景區(qū)域Cl。
另外，圖像處理部8具備特征區(qū)域圖像復(fù)制部Se，其用于復(fù)制由特征區(qū)域確定部8d所確定的前景區(qū)域Cl的圖像。
具體地說，特征區(qū)域圖像復(fù)制部Se提取由特征區(qū)域確定部8d所確定的前景區(qū)域Cl的圖像，然后復(fù)制該前景區(qū)域Cl的圖像的圖像數(shù)據(jù)。
在此，特征區(qū)域圖像復(fù)制部Se包括有復(fù)制單元，其用于復(fù)制由特征區(qū)域確定部8d所確定的前景區(qū)域Cl的圖像的圖像數(shù)據(jù)。
另外，圖像處理部8具備圖像合成部8f作為合成單元，其用于對(duì)背景用圖像Pl與包含非顯示區(qū)域的被拍攝對(duì)象圖像P2進(jìn)行合成。
具體地說，圖像合成部8f在背景用圖像Pl的各個(gè)像素中，顯示α值為O的像素(相對(duì)于包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2，顯示背景用圖像Pl的各個(gè)像素)，α值為I的像素以包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2的對(duì)應(yīng)的像素的像素值來寫入覆蓋背景用圖像Pl的像素，進(jìn)而，背景用圖像Pl的各個(gè)像素中，α值處于0< α < I的像素采用I的補(bǔ)數(shù)(1-α)在生成提取了被拍攝對(duì)象圖像D的圖像(背景用圖像X(1-CI))之后，在α映射中采用I的補(bǔ)數(shù)(l-α)在生成包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2時(shí)，計(jì)算與單一背景色進(jìn)行混合后的α值，從包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2中減去該α值，并對(duì)該減去的α值的圖像與(從包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2中)提取了被拍攝對(duì)象圖像D的圖像(背景用圖像X(l-ci))進(jìn)行合成。
另外，圖像處理部8具備合成控制部Sg，其用于在背景用圖像Pl與被拍攝對(duì)象圖像D進(jìn)行圖像合成時(shí)，在圖像合成部8f中使由特征區(qū)域確定部8d所確定的前景區(qū)域Cl成為被拍攝對(duì)象圖像D的前景，從而進(jìn)行合成。
合成控制部Sg，具體地說，在圖像合成部8f中合成背景用圖像Pl與被拍攝對(duì)象圖像D之后，使前景區(qū)域Cl與包含非顯示區(qū)域的被拍攝對(duì)象圖像P2中的被拍攝對(duì)象圖像D相比作為前景，以此方式來合成由特征區(qū)域圖像復(fù)制部Se所復(fù)制的前景區(qū)域Cl的圖像。這時(shí)，在前景區(qū)域Cl的圖像的圖像數(shù)據(jù)中，基于作為Exif信息而附加的該前景區(qū)域Cl的特征區(qū)域位置信息(稍后描述)，按照使前景區(qū)域Cl回到背景用圖像Pl中原來位置的方式來對(duì)照位置并進(jìn)行合成。
由此，例如，在圖7B中，對(duì)于像球這樣的前景區(qū)域Cl的位置與被拍攝對(duì)象圖像D重疊的情況來說，以作為被拍攝對(duì)象圖像D的前景的方式被合成。另一方面，例如，在圖7B中，對(duì)于像左側(cè)的草這樣的前景區(qū)域Cl的位置不與被拍攝對(duì)象圖像D重合的情況來說，不進(jìn)行前景區(qū)域Cl的合成，只保持背景用圖像Pl不變。
在此，合成控制部Sg包括有合成控制單元，其用于在進(jìn)行背景用圖像Pl與被拍攝對(duì)象圖像D的圖像合成之時(shí)，在圖像合成部8f中將由特征區(qū)域確定部8d所確定的前景區(qū)域Cl作為被拍攝對(duì)象圖像D的前景來進(jìn)行合成。
記錄介質(zhì)9例如可由非易失性存儲(chǔ)器(閃存)等構(gòu)成。記錄介質(zhì)9存儲(chǔ)由圖像處理部8的JPEG壓縮部(圖示略)進(jìn)行編碼后的包含非顯示區(qū)域的被拍攝對(duì)象圖像P2、背景用圖像P1、以及前景區(qū)域Cl的圖像的圖像數(shù)據(jù)。
另外，將包含非顯示區(qū)域的被拍攝對(duì)象圖像P2的圖像數(shù)據(jù)與由被拍攝對(duì)象圖像生成部8a的位置信息生成部所生成的α映射建立對(duì)應(yīng)，并將包含該非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2的圖像數(shù)據(jù)的擴(kuò)展名保存為jpe”。另外，包含非顯示區(qū)域的被拍攝對(duì)象圖像P2的圖像數(shù)據(jù)由附加了由距離信息獲取部Sc所獲取的到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息來作為Exif信息的Exif形式的圖像文件構(gòu)成。
另外，在背景用圖像Pl的圖像數(shù)據(jù)由Exif形式的圖像文件構(gòu)成，Exif形式的圖像文件中存在具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)的情況下，將該具有特征的區(qū)域C的圖像的確定用信息、以及由距離信息獲取部Sc所獲取的到具有特征的區(qū)域C為止的距離信息作為Exif信息來附加。
另外，具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)將背景用圖像Pl中與該具有特征的區(qū)域C的位置有關(guān)的特征區(qū)域位置信息等各種信息作為Exif信息來附加。
另外，前景區(qū)域Cl的圖像的圖像數(shù)據(jù)由將在背景用圖像Pl中與該前景區(qū)域Cl的位置有關(guān)的特征區(qū)域位置信息等各種信息作為Exif信息來附加的Exif形式的圖像文件構(gòu)成。
顯示控制部10讀出圖像存儲(chǔ)器5中暫存的顯示用圖像數(shù)據(jù)，并對(duì)在顯示部11中的顯示進(jìn)行控制。
具體地說，顯示控制部10具備VRAM、VRAM控制器、數(shù)字視頻編碼器等。并且，數(shù)字視頻編碼器在CPU13的控制下從圖像存儲(chǔ)器5中讀取的存儲(chǔ)在VRAM(圖示略)中的亮度信號(hào)Y及色差信號(hào)Cb、Cr，經(jīng)由VRAM控制器從VRAM中定期地讀取，然后以這些數(shù)據(jù)為基礎(chǔ)產(chǎn)生視頻信號(hào)并輸出到顯示部11中。
顯示部11例如是液晶顯示裝置。顯示部11基于來自顯示控制部10的視頻信號(hào)，將電子拍攝部2所拍攝的圖像等顯示成顯示畫面。具體地說，在拍攝模式下，顯示部11基于通過由透鏡部1、電子拍攝部2、以及拍攝控制部3對(duì)被拍攝對(duì)象進(jìn)行拍攝所生成的多個(gè)圖像幀，來顯示實(shí)時(shí)取景圖像，或顯示作為主要拍攝圖像而拍攝的記錄瀏覽(rec view)圖像。
操作輸入部12用于進(jìn)行該照相機(jī)裝置100的規(guī)定操作。具體地說，操作輸入部12具備:與被拍攝對(duì)象的拍攝指示有關(guān)的快門按鍵12a、與拍攝模式和功能等的選擇指示有關(guān)的選擇決定按鍵12b、與變焦量的調(diào)整指示有關(guān)的變焦按鍵(圖示略)等，響應(yīng)于這些按鍵的操作而向CPU13輸出規(guī)定的操作信號(hào)。
CPU13用于控制照相機(jī)裝置100的各個(gè)部件。具體地說，CPU13根據(jù)照相機(jī)裝置100用的各種處理程序(圖示略)進(jìn)行各種控制操作。另外，CPU13基于由用戶對(duì)選擇決定按鍵12b的規(guī)定操作而檢測(cè)背景用圖像Pl與被拍攝對(duì)象圖像D的合成指示。
接著，參考圖2對(duì)由照相機(jī)裝置100從包含被拍攝對(duì)象的背景圖像中提取僅有被拍攝對(duì)象圖像的圖像的處理進(jìn)行說明。
圖2是表示關(guān)于從包含被拍攝對(duì)象的背景圖像中提取僅有被拍攝對(duì)象圖像的圖像的處理的操作的一個(gè)例子的流程圖。
從包含被拍攝對(duì)象的背景圖像中提取僅有被拍攝對(duì)象圖像的圖像的處理是基于由用戶對(duì)操作輸入部12的選擇決定按鍵12b的規(guī)定操作，在從菜單畫面中所顯示的多個(gè)拍攝模式中選擇指示被拍攝對(duì)象生成模式的情況下所執(zhí)行的處理。
如圖2所示，首先，CPU13基于通過由透鏡部1、電子拍攝部2、以及拍攝控制3對(duì)被拍攝對(duì)象進(jìn)行拍攝所生成的多個(gè)圖像幀，在顯示控制部10中將實(shí)時(shí)取景圖像顯示于顯示部11的顯示畫面中，同時(shí)按照在該實(shí)時(shí)取景圖像上進(jìn)行重疊的方式在顯示部11的顯示畫面中顯示包含被拍攝對(duì)象的背景圖像El的拍攝指示消息(步驟SI)。
然后，CPU13在拍攝控制部3中調(diào)整聚焦透鏡的合焦位置，在用戶對(duì)操作輸入部12的快門按鍵12a進(jìn)行拍攝指示操作的時(shí)刻，在規(guī)定的拍攝條件下由電子拍攝部2對(duì)包含被拍攝對(duì)象的背景圖像El的光學(xué)像進(jìn)行拍攝(步驟S2)。然后，CPU13在圖像處理部8的距離信息獲取部8c中獲取從這時(shí)的聚焦透鏡的光軸方向的位置到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息(步驟S3)。此外，由圖像數(shù)據(jù)生成部4所生成的包含被拍攝對(duì)象的背景圖像El的YUV數(shù)據(jù)被暫存于圖像存儲(chǔ)器5中。
另外，CPU13控制拍攝控制部3，保持在固定了對(duì)包含該被拍攝對(duì)象的背景圖像El進(jìn)行拍攝時(shí)的合焦位置、曝光條件、白平衡等條件的狀態(tài)。
此后，CPU13基于通過由透鏡部1、電子拍攝部2、以及拍攝控制部3對(duì)被拍攝對(duì)象進(jìn)行拍攝而生成的多個(gè)圖像幀，在顯示控制部10中將實(shí)時(shí)取景圖像顯示于顯示部11的顯示畫面中，同時(shí)在該實(shí)時(shí)取景圖像上進(jìn)行重疊，在顯示部11的顯示畫面中顯示包含被拍攝對(duì)象的背景圖像El的半透明顯示狀態(tài)的圖像和僅有背景的圖像E2的拍攝指示消息(步驟S4)。此后，用戶使被拍攝對(duì)象移動(dòng)到畫角外，或者等待被拍攝對(duì)象移動(dòng)之后，再進(jìn)行僅有背景的圖像E2的拍攝。
然后，由用戶按照將僅有背景的圖像E2與包含被拍攝對(duì)象的背景圖像El的半透明圖像重合的方式調(diào)整照相機(jī)位置，在用戶對(duì)操作輸入部12的快門按鍵12a進(jìn)行拍攝指示操作的時(shí)刻，CPU13在拍攝控制部3中，由電子拍攝部2在對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行拍攝后，在固定拍攝條件下，對(duì)僅有背景的圖像E2的光學(xué)像進(jìn)行拍攝(步驟S5)。此夕卜，由圖像數(shù)據(jù)生成部4生成的僅有背景的圖像E2的YUV數(shù)據(jù)被暫存于圖像存儲(chǔ)器5中。
接著，CPU13以圖像存儲(chǔ)器5中暫存的僅有背景的圖像E2的YUV數(shù)據(jù)為基準(zhǔn)，在特征量運(yùn)算部6、塊匹配部7、和圖像處理部8中以規(guī)定的圖像變換模型(例如，相似變換模型、或者合同變換模型)計(jì)算出用于對(duì)包含被拍攝對(duì)象的背景圖像El的YUV數(shù)據(jù)進(jìn)行射影變換的射影變換矩陣。
具體地說，特征量運(yùn)算部6基于僅有背景的圖像E2的YUV數(shù)據(jù)，選擇規(guī)定數(shù)(或規(guī)定數(shù)以上)的(對(duì)比度值等的)特征較高的塊區(qū)域(或者特征高的點(diǎn))，將該塊區(qū)域的內(nèi)容提取為模板。然后，塊匹配部7在包含被拍攝對(duì)象的背景圖像El中搜索在特征提取處理中所提取的模板的像素值最佳匹配的位置，計(jì)算像素值差異度的評(píng)價(jià)值最小的僅有背景的圖像E2與包含被拍攝對(duì)象的背景圖像El之間的最佳偏移量，來作為該模板的運(yùn)動(dòng)矢量。并且，被拍攝對(duì)象圖像生成部8a的圖像位置對(duì)照部基于由塊匹配部7所計(jì)算出的多個(gè)模板的運(yùn)動(dòng)矢量來統(tǒng)計(jì)計(jì)算出全部的運(yùn)動(dòng)矢量，采用與該運(yùn)動(dòng)矢量相關(guān)的特征點(diǎn)對(duì)應(yīng)來計(jì)算出包含被拍攝對(duì)象的背景圖像El的射影變換矩陣。之后，圖像位置對(duì)照部基于所計(jì)算出的射影變換矩陣來對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行射影變換，并對(duì)射影變換后的包含被拍攝對(duì)象的背景圖像El的YUV數(shù)據(jù)與僅有背景的圖像E2的YUV數(shù)據(jù)之間進(jìn)行位置對(duì)照(步驟 S6)。
并且，被拍攝對(duì)象圖像生成部8a的被拍攝對(duì)象區(qū)域提取部從包含被拍攝對(duì)象的背景圖像El中提取被拍攝對(duì)象圖像D (步驟S7)。
具體地說，被拍攝對(duì)象區(qū)域提取部分別針對(duì)包含被拍攝對(duì)象的背景圖像El的YUV數(shù)據(jù)和僅有背景的圖像E2的YUV數(shù)據(jù)，啟動(dòng)低通濾波器來除去各個(gè)圖像的高頻成分。之后，被拍攝對(duì)象區(qū)域提取部針對(duì)在低通濾波后的包含被拍攝對(duì)象的背景圖像El與僅有背景的圖像E2之間相對(duì)應(yīng)的各個(gè)像素，計(jì)算出差異度，生成差異度映射。接著，被拍攝對(duì)象區(qū)域提取部以規(guī)定的閾值對(duì)與各個(gè)像素相關(guān)的差異度映射進(jìn)行2值化，之后，進(jìn)行壓縮處理，用于從差異度映射中去除由于細(xì)微的噪聲和手抖而產(chǎn)生差別的區(qū)域。之后，被拍攝對(duì)象區(qū)域提取部進(jìn)行標(biāo)識(shí)(labeling)處理，除去規(guī)定值以下的區(qū)域和最大區(qū)域以外的區(qū)域之后，把最大條紋的圖案確定為被拍攝對(duì)象圖像D，進(jìn)行用于修正縮小程度的放大處理。
然后，被拍攝對(duì)象圖像生成部8a的位置信息生成部生成用于表示所提取的被拍攝對(duì)象圖像D的被拍攝對(duì)象被包含在背景圖像El內(nèi)的位置的α映射(步驟S8)。
之后，被拍攝對(duì)象圖像生成部8a的生成部生成將被拍攝對(duì)象圖像與規(guī)定的單色圖像合成之后的包含非顯示區(qū)域的被拍攝對(duì)象圖像P2的圖像數(shù)據(jù)(步驟S9)。
具體地說，生成部讀出包含被拍攝對(duì)象的背景圖像E1、單色圖像、以及α映射，并在圖像存儲(chǔ)器5中展開后，對(duì)于包含被拍攝對(duì)象的背景圖像El的全部像素，使α值為O的像素(α = O)透過,對(duì)α值為O < α < I的像素(O < α < I)與規(guī)定的單色進(jìn)行混合，對(duì)α值為I的像素不進(jìn)行任何操作，使其相對(duì)于規(guī)定單色無法透過。
之后，CPU13基于由生成部所生成的包含非顯示區(qū)域的被拍攝對(duì)象Ρ2的圖像數(shù)據(jù)，在顯示控制部10中將以規(guī)定單色重疊被拍攝對(duì)象之后的包含非顯示區(qū)域的被拍攝對(duì)象Ρ2顯示于顯示部11的顯示畫面中(步驟S10)。
接下來，CPU13在記錄介質(zhì)9的規(guī)定存儲(chǔ)區(qū)域中，將由位置信息生成部所生成的α映射、由距離信息獲取部8c所獲取的到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息、和包含非顯示區(qū)域的被拍攝對(duì)象P2的圖像數(shù)據(jù)建立對(duì)應(yīng)，并以jpe”作為包含該非顯示區(qū)域的被拍攝對(duì)象P2的圖像數(shù)據(jù)的擴(kuò)展名來保存文件(步驟Sll)。
由此，結(jié)束被拍攝對(duì)象剪切處理。
接下來，參考圖3對(duì)由照相機(jī)裝置100進(jìn)行背景用圖像拍攝處理進(jìn)行說明。
圖3是顯示有關(guān)背景用圖像拍攝處理的操作的一個(gè)例子的流程圖。
如圖3所示，首先，CPU13在拍攝控制部3中調(diào)整聚焦透鏡的合焦位置和曝光條件(快門速度、光圈、放大率等)和白平衡等拍攝條件，在用戶對(duì)操作輸入部12的快門按鍵12a進(jìn)行拍攝指示操作的時(shí)刻，在規(guī)定的拍攝條件下，由電子拍攝部2對(duì)背景用圖像Pl (參考圖7A)的光學(xué)像進(jìn)行拍攝(步驟S21)。
接下來，CPU13在特征區(qū)域檢測(cè)部Sb中采用在步驟S21中所拍攝的背景用圖像Pl的圖像數(shù)據(jù)的顏色信息等，根據(jù)對(duì)比度變化來確定并檢測(cè)出圖像中具有球和草木這些特征的區(qū)域C(參考圖7B)(步驟S22)。
接下來，特征區(qū)域檢測(cè)部Sb判斷是否檢測(cè)出背景用圖像Pl中的具有特征的區(qū)域C (步驟 S23)。
在此，當(dāng)判斷檢測(cè)到了具有特征的區(qū)域C時(shí)(步驟S23:是)，CPU13在距離信息獲取部8c中，在背景用圖像Pl拍攝時(shí)，從拍攝控制部3的AF部3a中獲取在自動(dòng)合焦處理中由合焦驅(qū)動(dòng)部(圖示略)移動(dòng)的聚焦透鏡的光軸方向的位置相關(guān)的透鏡位置信息，并基于該透鏡位置信息來獲取到具有特征的區(qū)域C為止的距離信息(步驟S24)。
并且，特征區(qū)域圖像復(fù)制部Sc復(fù)制背景用圖像Pl中具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)(步驟S25)。接下來，CPU13在記錄介質(zhì)9的規(guī)定存儲(chǔ)區(qū)域中，記錄以下圖像數(shù)據(jù):附加有該具有特征的區(qū)域C的圖像的確定用信息和由距離信息獲取部Sc所獲取的到具有特征的區(qū)域C為止的距離信息來作為Exif信息的、在步驟S21中所拍攝的背景用圖像Pl的圖像數(shù)據(jù)；以及附加有背景用圖像Pl中與該具有特征的區(qū)域C的位置有關(guān)的特征區(qū)域位置信息等的各種信息來作為Exif信息的具有特征的區(qū)域C的圖像數(shù)據(jù)(步驟S26)。
另一方面，當(dāng)在步驟S23中判斷為沒有檢測(cè)到具有特征的區(qū)域C(步驟S23:否)時(shí)，CPU13在記錄介質(zhì)9的規(guī)定存儲(chǔ)區(qū)域中記錄在步驟S21中所拍攝的背景用圖像Pl的圖像數(shù)據(jù)(步驟S27)。
由此，結(jié)束背景用圖像拍攝處理。
接下來，參考圖4和圖5來說明用照相機(jī)裝置100進(jìn)行被拍攝對(duì)象合成圖像生成處理。
圖4是表示關(guān)于被拍攝對(duì)象合成圖像生成處理有關(guān)的操作的一個(gè)例子的流程圖。
被拍攝對(duì)象合成圖像生成處理采用圖像處理部8的合成部8f和合成控制部8g，對(duì)背景用圖像Pl與包含非顯示區(qū)域的被拍攝對(duì)象P2中的被拍攝對(duì)象圖像D進(jìn)行合成，并生成被拍攝對(duì)象合成圖像。
如圖4所示，首先，基于用戶對(duì)操作輸入部12的指示操作，當(dāng)選擇并指定在記錄介質(zhì)9中所記錄的多個(gè)圖像中包含期望的非顯示區(qū)域的被拍攝對(duì)象P2時(shí)(步驟S31)，圖像處理部8讀取所指定的包含非顯示區(qū)域的被拍攝對(duì)象P2的圖像數(shù)據(jù)，并在圖像存儲(chǔ)器5中展開，同時(shí)特征區(qū)域確定部8d讀出并獲取與該圖像數(shù)據(jù)建立了對(duì)應(yīng)后進(jìn)行存儲(chǔ)的到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息(步驟S32)。
接下來，基于用戶對(duì)操作輸入部12的規(guī)定操作，當(dāng)選擇并指定在記錄介質(zhì)9中所記錄的多個(gè)圖像中的期望背景用圖像Pl時(shí)，合成部8f讀取所指定的背景用圖像Pl的圖像數(shù)據(jù)，并在圖像存儲(chǔ)器5中展開(步驟S33)。
接下來，圖像合成部8f采用在圖像存儲(chǔ)器5中所展開的該背景用圖像Pl和包含該非顯示區(qū)域的被拍攝對(duì)象P2中的被拍攝對(duì)象圖像D，進(jìn)行圖像合成處理(步驟S34)。
在此，參考圖5對(duì)圖像合成處理進(jìn)行詳細(xì)地說明。
圖5是表示關(guān)于圖像合成處理的操作的一個(gè)例子的流程圖。
如圖5所示，合成部8f讀取以“.jpe”保存的α映射，并在圖像存儲(chǔ)器5中展開(步驟 S341)。
接下來，圖像合成部8f指定背景用圖像Pl中任一個(gè)像素(例如，左上角的像素)(步驟S342)，對(duì)于該像素，基于α映射的α值進(jìn)行分支處理(步驟S343)。具體地說，合成部8f對(duì)于背景用圖像Pl的任何一個(gè)像素中α值為I的像素(步驟S343 ; α = I)，以包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2的對(duì)應(yīng)像素的像素值來寫入覆蓋(步驟S344)，對(duì)于α值為O < α < I的像素(步驟S343，0 < α < I)，采用I的補(bǔ)數(shù)在生成剪切了被拍攝對(duì)象圖像D的圖像(背景用圖像X(l-ci))之后，在α映射中采用I的補(bǔ)數(shù)(l-α)在生成包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2時(shí)，計(jì)算單色背景色與混合后的(α)值，從包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2中減去該(α)值，將由包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2減去的α值與剪切了被拍攝對(duì)象圖像D后的圖像(背景用圖像X(l-ci))(的α值)進(jìn)行合成(步驟S345)，對(duì)于α值為O的像素(步驟S343:α = O),不進(jìn)行操作，而是顯示背景用圖像Pl (對(duì)于包含非顯示區(qū)域的被拍攝對(duì)象圖像Ρ2)。
接著，圖像合成部8f判斷是否要對(duì)背景用圖像Pl的所有像素進(jìn)行(圖像合成)處理(步驟S346)。
在此，在判斷為不對(duì)(背景用圖像Pl的)全部像素進(jìn)行(圖像合成)處理時(shí)(步驟S346:否)，合成部8f將處理對(duì)象移動(dòng)到下一個(gè)像素(步驟S347)，并將(圖像合成)處理轉(zhuǎn)移到步驟S343中。
重復(fù)執(zhí)行上述的(圖像合成)處理，直到在步驟S346中判斷為已經(jīng)對(duì)(背景用圖像Pl的)全部像素進(jìn)行了處理為止(步驟S346:是)，從而圖像合成部8f生成已經(jīng)對(duì)被拍攝對(duì)象圖像D與背景用圖像Pl進(jìn)行了合成后的被拍攝對(duì)象合成圖像P4(參考圖SB)的圖像數(shù)據(jù)。
由此，結(jié)束圖像合成處理。
如圖4所示，之后，CPU13基于在讀出的背景用圖像Pl的圖像數(shù)據(jù)中被存儲(chǔ)為Exif信息的具有特征的區(qū)域C的圖像的確定用信息，判斷是否存在從該背景用圖像Pl中提取的具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)(步驟S35)。
在此，當(dāng)判斷為存在具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)時(shí)(步驟S35:是)，合成部8f基于該背景用圖像Pl的圖像數(shù)據(jù)中被存儲(chǔ)為Exif信息的具有特征的區(qū)域C的圖像的確定用信息，讀出具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)，同時(shí)特征區(qū)域確定部8d讀出并獲取與背景用圖像Pl的圖像數(shù)據(jù)建立了對(duì)應(yīng)后存儲(chǔ)的到具有特征的區(qū)域C為止的距離信息(步驟S36)。
接下來，特征區(qū)域確定部8d，對(duì)基于在步驟S36中讀出的到具有特征的區(qū)域C為止的距離信息的距離的值，判斷其是否小于基于在步驟S32中讀出的到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息的距離的值(步驟S37)。
在此，在判斷為基于到該具有特征的區(qū)域C為止的距離信息的距離的值比基于到該被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息的距離的值小時(shí)(步驟S37:是)，圖像合成控制部Sg在圖像合成部8f中使前景區(qū)域Cl與被拍攝對(duì)象圖像D的前景重合，從而在背景用圖像Pl中將重疊了被拍攝對(duì)象圖像D的被拍攝對(duì)象合成圖像P4與前景區(qū)域Cl的圖像進(jìn)行合成，并生成被拍攝對(duì)象合成圖像P3的圖像數(shù)據(jù)(步驟S38)。接著，CPU13在顯示控制部10中基于由圖像合成部8f所生成的被拍攝對(duì)象合成圖像P3的圖像數(shù)據(jù)，按照前景區(qū)域Cl重疊于被拍攝對(duì)象圖像D的前景中的方式，將合成的被拍攝對(duì)象合成圖像P3顯示于顯示部11的顯示畫面中(步驟S39 ;參考圖8A)。
另一方面，在步驟S37中，在判斷為基于到該具有特征的區(qū)域C為止的距離信息的距離的值不小于基于到該被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息的距離的值時(shí)(步驟S37:否)，CPU13轉(zhuǎn)移到步驟S39中進(jìn)行處理，在顯示部11的顯示畫面中顯示在背景用圖像Pl中重疊了被拍攝對(duì)象圖像D的被拍攝對(duì)象合成圖像P4(步驟S39 ;參考圖8B)。
另外，在步驟S35中，當(dāng)判斷為不存在具有特征的區(qū)域C的圖像的圖像數(shù)據(jù)時(shí)(步驟S35:否)，CPU13轉(zhuǎn)移到步驟S39進(jìn)行處理，在顯示部11的顯示畫面中顯示在背景用圖像Pl中重疊了被拍攝對(duì)象圖像D的被拍攝對(duì)象合成圖像P4(步驟S39 ;參考圖8B)。
由此，結(jié)束被拍攝對(duì)象合成圖像生成處理。
如上所述，采用本實(shí)施方式的照相機(jī)裝置100，從背景用圖像Pl中所檢測(cè)出的具有特征的區(qū)域C中，確定與被拍攝對(duì)象圖像D相比被配置于前景的前景區(qū)域Cl，將該前景區(qū)域Cl重疊于被拍攝對(duì)象圖像D的前景，從而合成背景用圖像Pl與被拍攝對(duì)象圖像D，這樣就可以在背景用圖像Pl中使被拍攝對(duì)象是否存在于背景之內(nèi)地進(jìn)行顯示，能夠生成不和諧感低的合成圖像。
另外，在對(duì)背景用圖像Pl進(jìn)行拍攝時(shí)，獲取到具有特征的區(qū)域C為止的距離信息，基于這個(gè)到具有特征的區(qū)域C為止的距離信息來確定前景區(qū)域Cl。具體地說，在對(duì)包含被拍攝對(duì)象的背景圖像El進(jìn)行拍攝時(shí)，獲取到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息，將這個(gè)到被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息與背景用圖像Pl中到具有特征的區(qū)域C為止的距離信息相比較，判斷被拍攝對(duì)象圖像D與具有特征的區(qū)域C的前后位置，由于能夠?qū)⒈慌袛酁榕c被拍攝對(duì)象D相比位于前景中的具有特征的區(qū)域C確定為前景區(qū)域Cl，所以可基于到該被拍攝對(duì)象區(qū)域?yàn)橹沟木嚯x信息以及到具有特征的區(qū)域C為止的距離信息，來進(jìn)行客觀判斷，以確定前景區(qū)域Cl，并更適當(dāng)?shù)厣刹缓椭C感低的合成圖像。
此外，雖然在上述實(shí)施方式中由特征區(qū)域確定部8d自動(dòng)地確定前景區(qū)域Cl，但是特征區(qū)域的確定方法不限于此，例如，可以將基于用戶對(duì)選擇決定按鍵12b的規(guī)定操作所指定的規(guī)定區(qū)域確定為前景區(qū)域Cl。
以下，說明在本發(fā)明的上述實(shí)施方式中照相機(jī)裝置100的變形示例。
〈變形示例〉
變形示例的照相機(jī)裝置100具備自動(dòng)確定模式和手動(dòng)確定模式，在該自動(dòng)確定模式中，在由特征區(qū)域檢測(cè)部8b所檢測(cè)的具有特征的區(qū)域C中，在確定與被拍攝對(duì)象圖像D相比配置于前景的前景區(qū)域Cl時(shí)，由特征區(qū)域確定部8d自動(dòng)地確定前景區(qū)域Cl ;在該手動(dòng)確定模式中，在對(duì)背景用圖像Pl進(jìn)行拍攝并在顯示部11的顯示畫面中顯示(該背景用圖像Pl)時(shí)，將用戶指定的規(guī)定區(qū)域確定為前景區(qū)域Cl。
并且，在對(duì)背景用圖像Pl進(jìn)行拍攝時(shí)，通過用戶對(duì)選擇決定按鍵12b的操作，來選擇決定自動(dòng)確定模式和手動(dòng)確定模式中的任一個(gè)。
另外，操作輸入部12的選擇決定按鍵12b在手動(dòng)確定模式中，基于用戶的規(guī)定操作來輸入在背景用圖像Pl中規(guī)定的區(qū)域的指定指示。并且，響應(yīng)于該選擇決定按鍵12b的操作，向CPU13輸出規(guī)定區(qū)域的指定信號(hào)。
CPU13根據(jù)所輸入的區(qū)域指定信號(hào)，在特征區(qū)域檢測(cè)部Sb中將該規(guī)定區(qū)域檢測(cè)為具有特征的區(qū)域C，在特征區(qū)域確定部8d中將由特征區(qū)域檢測(cè)部Sb所檢測(cè)出的具有特征的區(qū)域C的圖像確定為前景區(qū)域Cl。
在此，選擇決定按鍵12b及CPU13構(gòu)成用于指定所顯示的背景用圖像Pl中的規(guī)定區(qū)域的指定單元。
接下來，參考圖9對(duì)于采用變形示例中的照相機(jī)裝置100進(jìn)行被拍攝對(duì)象合成圖像生成處理進(jìn)行說明。
圖9是表示在對(duì)背景用圖像Pl進(jìn)行拍攝時(shí)，通過用戶對(duì)選擇決定按鍵12b的操作選擇決定了手動(dòng)確定模式的情況下關(guān)于被拍攝對(duì)象合成圖像生成處理的操作的一個(gè)例子的流程圖。
如圖9所示，首先，在基于用戶對(duì)操作輸入部12的規(guī)定操作來選擇并指定在記錄介質(zhì)9中所記錄的多個(gè)圖像中包含期望的非顯示區(qū)域的被拍攝對(duì)象P2時(shí)，圖像處理部8(從記錄介質(zhì)9中)讀出所指定的包含非顯示區(qū)域的被拍攝對(duì)象P2的圖像數(shù)據(jù)，并在圖像存儲(chǔ)器5中展開(步驟S41)。
接下來，在基于用戶對(duì)操作輸入部12的規(guī)定操作來選擇并指定在記錄介質(zhì)9中所記錄的多個(gè)圖像中期望的背景用圖像Pl時(shí)，圖像合成部8f (從記錄介質(zhì)9中)讀出所指定的背景用圖像Pl的圖像數(shù)據(jù)，并在圖像存儲(chǔ)器5中展開(步驟S42)。
接下來，對(duì)于顯示控制部10，CPU13基于圖像存儲(chǔ)器5中所展開的背景用圖像Pl的圖像數(shù)據(jù)，將背景用圖像Pl顯示于顯示部11的顯示畫面(步驟S43)。
接下來，CPU13基于用戶對(duì)選擇決定按鍵12b的規(guī)定操作，根據(jù)是否已向CPU13輸出了規(guī)定區(qū)域的指定信號(hào)，來判斷是否指定了在顯示部11的顯示畫面中所顯示的背景用圖像Pl中的規(guī)定區(qū)域(步驟S44)。
在此，當(dāng)(由CPU13)判斷為已經(jīng)指定了規(guī)定區(qū)域時(shí)(步驟S44:是)，CPU13在特征區(qū)域檢測(cè)部8b中將該規(guī)定區(qū)域檢測(cè)為具有特征的區(qū)域C，在特征區(qū)域確定部8d中將由特征區(qū)域檢測(cè)部8b所檢測(cè)的具有特征的區(qū)域C的圖像確定為前景區(qū)域Cl，在特征區(qū)域圖像復(fù)制部8e中復(fù)制該前景區(qū)域Cl (步驟S45)。
接下來，圖像合成部8f采用在圖像存儲(chǔ)器5中所展開的該背景用圖像Pl和包含該非顯示區(qū)域的被拍攝對(duì)象圖像P2中的被拍攝對(duì)象圖像D，進(jìn)行圖像合成處理(步驟S46)。此外，由于圖像合成處理與上述實(shí)施方式中相同，因此省略了對(duì)其的詳細(xì)說明。
接下來，圖像合成控制部8g在圖像合成部8f中以規(guī)定區(qū)域圖像作為被拍攝對(duì)象圖像D的前景，從而將在背景用圖像Pl中重疊了被拍攝對(duì)象圖像D的被拍攝對(duì)象合成圖像P4與規(guī)定區(qū)域圖像進(jìn)行合成(步驟S48)。接著，CPU13在圖像顯示控制部10中基于由圖像合成部8f所生成的被拍攝對(duì)象合成圖像的圖像數(shù)據(jù)，在顯示部11的顯示畫面中顯示以規(guī)定區(qū)域圖像作為被拍攝對(duì)象圖像D的前景來合成的被拍攝對(duì)象合成圖像(步驟S49)。
另一方面，當(dāng)(由CPU13)判斷為沒有指定規(guī)定區(qū)域時(shí)(步驟S44:否)，合成部8f采用在圖像存儲(chǔ)器5中所展開的該背景用圖像Pl與包含該非顯示區(qū)域的被拍攝對(duì)象圖像P2中的被拍攝對(duì)象圖像D，進(jìn)行圖像合成處理(步驟S47)。此外，由于圖像合成處理與上述實(shí)施方式中相同，因此省略了對(duì)其的詳細(xì)說明。
之后，CPU13轉(zhuǎn)移到步驟S49中進(jìn)行被拍攝對(duì)象合成圖像處理，在顯示部11的顯示畫面中顯示在背景用圖像Pl中重疊了被拍攝對(duì)象圖像D的被拍攝對(duì)象合成圖像P4(步驟 S49)。
由此，結(jié)束被拍攝對(duì)象合成圖像生成處理。
如上所述，采用變形示例的照相機(jī)裝置100，可根據(jù)用戶對(duì)選擇決定按鍵12b的規(guī)定操作，指定在顯示部11中所顯示的背景用圖像Pi中的規(guī)定區(qū)域，將所指定的規(guī)定區(qū)域確定為前景區(qū)域Cl。
因此，能夠?qū)⒂脩羝谕囊?guī)定區(qū)域確定為前景區(qū)域Cl，使合成圖像的生成更富有趣味。
此外，本發(fā)明不限于上述實(shí)施方式，在不脫離本發(fā)明主旨的范圍內(nèi)可以進(jìn)行各種改進(jìn)和設(shè)計(jì)變更。
例如，在上述實(shí)施方式中，雖然采用了前景區(qū)域Cl重疊于被拍攝對(duì)象圖像D的前景中的方式來合成背景用圖像Pl與被拍攝對(duì)象圖像D，但是也可以生成從背景用圖像Pl中提取前景區(qū)域Cl后的圖像，將(從背景用圖像Pl中)取出該前景區(qū)域Cl后的圖像與被拍攝對(duì)象圖像D進(jìn)行合成之后，再將前景區(qū)域Cl重疊于被拍攝對(duì)象圖像D的前景中，從而將這個(gè)合成后的圖像與前景區(qū)域Cl進(jìn)行合成。
另外，在變形示例中，根據(jù)用戶對(duì)選擇決定按鍵12b的規(guī)定操作，指定在顯示部11中所顯示的背景用圖像Pl中的規(guī)定區(qū)域，將所指定的規(guī)定區(qū)域確定為前景區(qū)域Cl，但是，該變形示例不限于此，也可以按照能夠識(shí)別由圖像處理部8的特征區(qū)域檢測(cè)部Sb所檢測(cè)出的具有特征的區(qū)域C的方式，在顯示部11中顯示背景用圖像P1，從在顯示部11中所顯示的該具有特征的區(qū)域C之中，用戶指定具有所期望的特征的區(qū)域C，并確定為前景區(qū)域Cl。
另外，在變形示例中，雖然是根據(jù)用戶對(duì)選擇決定按鍵12b的規(guī)定操作來指定規(guī)定區(qū)域，但是，該變形示例不限于此，顯示部11也可以具備觸摸屏，根據(jù)用戶對(duì)觸摸屏的規(guī)定操作來指定規(guī)定區(qū)域。
此外，特征區(qū)域確定部8d也可以在由特征區(qū)域檢測(cè)部Sb所檢測(cè)的具有特征的區(qū)域C中確定與被拍攝對(duì)象圖像D相比配置于后側(cè)的后景區(qū)域(后景圖像)C2。并且，在具有特征的區(qū)域C中確定與被拍攝對(duì)象圖像D相比配置于后側(cè)的后景區(qū)域，將所確定的前景區(qū)域Cl重疊于被拍攝對(duì)象圖像D的前景，并且將所確定的后景區(qū)域與被拍攝對(duì)象圖像D相比配置于后側(cè)，從而對(duì)背景用圖像Pl與被拍攝對(duì)象圖像D進(jìn)行合成。
另外，在上述實(shí)施方式中例示了照相機(jī)裝置100的結(jié)構(gòu)的一個(gè)例子，其結(jié)構(gòu)不限于此。即雖然例示了作為圖像合成裝置的照相機(jī)裝置，但是圖像合成裝置不限于此，至少可適當(dāng)任意地變更包括合成單元、指示檢測(cè)單元、確定單元、合成控制單元的結(jié)構(gòu)。例如，背景用圖像Pl和包含非顯示區(qū)域的被拍攝對(duì)象圖像P2的生成可以采用不同于該照相機(jī)裝置100的拍攝裝置來進(jìn)行，可以是能夠記錄從該拍攝裝置所傳送的圖像數(shù)據(jù)、被拍攝對(duì)象區(qū)域、到具有特征的區(qū)域C為止的距離信息，并僅執(zhí)行包含非顯示區(qū)域的被拍攝對(duì)象圖像生成處理的圖像合成裝置。
進(jìn)而，雖然在上述實(shí)施方式中被構(gòu)造成在CPU13的控制下通過圖像處理部8的驅(qū)動(dòng)來實(shí)現(xiàn)確定單元、合成控制單元的功能，但是其不限于此，也可以構(gòu)造成由CPU13執(zhí)行規(guī)定程序等來實(shí)現(xiàn)。
S卩，在存儲(chǔ)程序的程序存儲(chǔ)器(圖示略)中，存儲(chǔ)了包括確定處理例程、圖像合成控制例程在內(nèi)的程序。并且，通過確定處理例程可使CPU13實(shí)現(xiàn)確定單元的功能，即從背景用圖像Pl中確定與被拍攝對(duì)象圖像D相比應(yīng)當(dāng)存在于前景的前景區(qū)域。另外，通過合成控制例程可使CPU13實(shí)現(xiàn)合成控制單元的功能，即以由確定處理例程所確定的前景區(qū)域Cl作為被拍攝對(duì)象圖像D的前景，從而合成背景用圖像Pl與被拍攝對(duì)象圖像D。
權(quán)利要求
1.一種圖像合成裝置，其特征在于，包括: 指示檢測(cè)部(13)，其檢測(cè)背景圖像和前景圖像的合成指示； 確定部(8d)，其通過基于該指示檢測(cè)部的指示檢測(cè)，從上述背景圖像中確定相比上述前景圖像更應(yīng)當(dāng)存在于前景的前景區(qū)域；以及 合成部(Sg)，其按照由上述確定部確定出的前景區(qū)域比上述前景圖像處于更前景的方式，來對(duì)上述背景圖像和上述前景圖像進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在干， 還包括復(fù)制部(Se)，該復(fù)制部對(duì)由上述確定部確定出的前景區(qū)域進(jìn)行復(fù)制， 上述合成部(Sg)按照由上述復(fù)制部復(fù)制的前景區(qū)域相比上述前景圖像處于更前景的方式來對(duì)上述背景圖像和上述前景圖像進(jìn)行合成。
3.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在干， 還包括:距離信息獲取部(8c)，獲取從該裝置直至主要被攝體為止的距離信息， 上述確定部(8d)通過在上述背景圖像的拍攝時(shí)獲取以包含在該背景圖像中的前景區(qū)域作為主要被攝體的距離信息，來確定上述前景區(qū)域， 上述合成部(Sg)基于上述背景圖像拍攝時(shí)的距離信息和上述前景圖像拍攝時(shí)的距離信息來進(jìn)行合成。
4.根據(jù)權(quán)利要求3所述的圖像合成裝置，其特征在干， 還包括:拍攝部⑵， 所述距離信息獲取部獲取在所述拍攝部進(jìn)行拍攝時(shí)的從該裝置直至主要被攝體為止的距離信息。
5.根據(jù)權(quán)利要求4所述的圖像合成裝置，其特征在干， 所述距離信息獲取部，獲取在所述拍攝部進(jìn)行拍攝時(shí)的合焦時(shí)的從該裝置直至主要被攝體為止的距離信息。
6.根據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在干， 還包括指定部(12b),該指定部任意指定上述確定部應(yīng)當(dāng)確定的前景區(qū)域。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的圖像合成裝置，其特征在干， 所謂上述前景圖像是包含透過區(qū)域的圖像。
8.一種圖像合成方法，其特征在干， 是圖像合成裝置的圖像合成方法， 該圖像合成方法包括: 指示檢測(cè)步驟(13)，檢測(cè)背景圖像和前景圖像的合成指示； 確定步驟(8d)，通過基于該指示檢測(cè)步驟的指示檢測(cè)，從上述背景圖像中確定相比上述前景圖像更應(yīng)當(dāng)存在于前景的前景區(qū)域；以及 合成步驟(Sg)，按照由上述確定步驟確定出的前景區(qū)域比上述前景圖像處于更前景的方式來對(duì)上述背景圖像和上述前景圖像進(jìn)行合成。
全文摘要
本發(fā)明提供一種圖像處理裝置及圖像處理方法。照相機(jī)裝置(100)包括記錄介質(zhì)(9)、操作輸入部(12)、和圖像合成部(8g)。記錄介質(zhì)(9)將圖像與該圖像拍攝時(shí)的拍攝條件建立關(guān)聯(lián)并存儲(chǔ)。操作輸入部(12)從該記錄介質(zhì)(9)中讀出多個(gè)圖像并指示合成。圖像合成部(8g)從記錄介質(zhì)(9)中讀出與由操作輸入部(12)指示合成的多個(gè)圖像分別建立了關(guān)聯(lián)的拍攝條件，按照與一個(gè)圖像的拍攝條件相接近的方式來合成另一個(gè)圖像。
文檔編號(hào)H04N9/75GK103139485SQ20131005350
公開日2013年6月5日 申請(qǐng)日期2010年3月18日 優(yōu)先權(quán)日2009年3月19日
發(fā)明者星野博之, 村木淳, 清水博, 市川英里奈 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社