專利名稱：圖像合成裝置和圖像合成方法
技術領域：
本發(fā)明涉及對通過連續(xù)拍攝等得到的多個圖像進行合成的圖像合成裝置、圖像合成方法及程序產(chǎn)品。
背景技術：
以往，已知一種如下技術通過對連拍得到的圖像進行像素相加合成，生成即便在夜景等光量少的攝影環(huán)境下也具有記錄所需的充分的明亮度的圖像。另外，如JP特開2006-148550號公報記載那樣，已知在用戶手持相機進行拍攝的手持攝影時對攝像視場角的搖動進行修正合成的圖像合成技術?？墒牵谏鲜龅膱D像合成技術的情況下，在攝像視場角內(nèi)存在運動物體時，即便利用上述圖像合成技術也將獲得殘留運動物體余像的圖像。

發(fā)明內(nèi)容
本發(fā)明鑒于上述現(xiàn)有技術問題提出的，其目的在于即便在攝影視場角內(nèi)存在運動物體時也能獲得運動物體余像的影響較少的合成圖像。為了達成上述目的，本發(fā)明的第1方面的圖像合成裝置包括圖像獲取單元，獲取在時間上連續(xù)的多個圖像；圖像生成單元，對由該圖像獲取單元獲取到的多個圖像進行像素相加合成從而生成一個圖像；第一差值獲取單元，在由所述圖像生成單元進行像素相加合成時，按多個圖像的每一個圖像獲取合成前的所述多個圖像的每個像素的差值；和混合(blending)單元，將由該第一差值獲取單元獲取到的信息作為透過強度的信息混合在由所述圖像生成單元生成的圖像中。另外，為了達成上述目的，本發(fā)明的第2方面的圖像合成方法包括圖像獲取步驟，獲取在時間上連續(xù)的多個圖像；圖像生成步驟，對由該圖像獲取步驟獲取到的多個圖像進行像素相加合成從而生成一個圖像；差值獲取步驟，在由所述圖像生成步驟進行像素相加合成時，按多個圖像的每一個圖像獲取合成前的所述多個圖像的每個像素的差值；和混合步驟，將由該差值獲取步驟獲取到的信息作為透過強度的信息混合在由所述圖像生成步驟生成的圖像中。此外，為了達成上述目的，本發(fā)明的第3方面的程序產(chǎn)品存儲了計算機可讀取的程序，所述程序產(chǎn)品使計算機執(zhí)行以下功能圖像獲取單元，獲取在時間上連續(xù)的多個圖像；圖像生成單元，對由該圖像獲取單元獲取到的多個圖像進行像素相加合成從而生成一個圖像；
差值獲取單元，在由所述圖像生成單元進行像素相加合成時，按多個圖像的每一個圖像獲取合成前的所述多個圖像的每個像素的差值；和混合單元，將由該差值獲取單元獲取到的信息作為透過強度的信息混合在由所述圖像生成單元生成的圖像中。


圖1是應用了本發(fā)明第一實施方式的攝像裝置的電路框圖。圖2是表示該攝像裝置中的處理順序的流程圖。圖3是表示運動物體判定·混合處理的處理順序的流程圖。圖4是表示連拍到的圖像的一例的圖。圖5A是表示平滑化處理的處理結果的圖；圖5B是表示強調(diào)處理的處理結果的圖。圖6A是表示相加合成的合成圖像；圖6B是表示本實施方式的合成圖像。圖7是應用了本發(fā)明第二實施方式的攝像裝置的電路框圖。圖8是表示第二實施方式的該攝像裝置中的處理順序的流程圖。圖9A是表示在第二實施方式中一邊改變曝光條件一邊連拍得到的圖像中的曝光不足圖像的圖。圖9B是表示在第二實施方式中一邊改變曝光條件一邊連拍得到的圖像中的曝光過度圖像的圖。圖IOA是表示平滑化處理的處理結果的圖。圖IOB是表示強調(diào)處理的處理結果的圖。圖11是表示本發(fā)明第二實施方式的變形例中的處理順序的流程圖。
具體實施例方式下面，參照附圖對本發(fā)明的一實施方式進行說明。第一實施方式圖1是具備本發(fā)明第一實施方式所涉及的圖像處理裝置的攝像裝置的電路結構圖。該攝像裝置具有攝像部1、驅動控制部2、⑶S/ADC3、鍵輸入部4、顯示部5、圖像記錄部6、程序存儲器7、RAM8、控制部9、圖像處理部10。這些部件經(jīng)由總線進行連接。鍵輸入部4具備用于檢測攝影者的記錄指示的快門鍵41，圖像處理部10具備合成部11。在該圖中，攝像部1內(nèi)置CMOS等圖像傳感器、設置在該圖像傳感器上的RGB的濾色器、以及通過來自驅動控制部2的控制將光的強度作為電荷的蓄積而保持一定時間并將它們作為模擬的攝像信號輸出至⑶S/ADC3的驅動器。并且，通過檢測經(jīng)由快門鍵41、控制部9、驅動控制部2的攝影者的攝影指示，從而獲取多個圖像(彩色圖像)。⑶S/ADC3是輸入與攝像部1輸出的被攝體的光學像相應的模擬的攝像信號的電路，由對所輸入的攝像信號進行保持的CDS、將該攝像信號進行放大的增益調(diào)整放大器 (AGC)、以及將被放大的攝像信號變換成數(shù)字的攝像信號的A/D變換器(ADC)等構成。此外， 關于增益調(diào)整放大器的調(diào)整所涉及的控制，也是基于來自驅動控制部2的指示進行的。為此，即便使曝光條件(快門速度或光圈值)相同地獲取多個圖像，也能生成因依次改變RGB 的增益調(diào)整放大器及圖像的色調(diào)導致的條件不同的多個圖像。
此外，在本實施方式中，雖然驅動控制部2進行了與增益調(diào)整放大器相關的控制， 但并不限定于此。例如，也可由控制部9進行上述控制。鍵輸入部4除了具備上述快門鍵41之外，還具備用于向本發(fā)明涉及的以圖像的獲取和記錄為目的的攝影模式的切換、檢測顯示的切換等的各種鍵。顯示部5具有顯示被合成的圖像的功能。圖像記錄部6在執(zhí)行了本發(fā)明涉及的合成處理之后，存儲、保存以JPEG方式編碼的圖像數(shù)據(jù)(圖像文件)。程序存儲器7存儲由控制部9、圖像處理部10執(zhí)行的程序，控制部9根據(jù)需要讀出該程序。RAM8具有對各處理所產(chǎn)生的處理中的數(shù)據(jù)進行暫時保持的功能。控制部9控制該攝像裝置整體的處理動作。圖像處理部10除了具備圖像數(shù)據(jù)的編碼和解碼處理之外，還具備與本發(fā)明的特征結構對應的合成部11。也就是說，合成部11執(zhí)行從連拍圖像選出的一個基準圖像與對連拍圖像進行相加合成之后的合成圖像之間的合成，并且對于該合成圖像將后面敘述的運動物體判定映射用作差值區(qū)域所對應的透過強度映射(α映射)，以減少由運動物體產(chǎn)生的余像。下面，說明本發(fā)明第一實施方式的動作。用戶操作設置于鍵輸入部4的模式按鈕， 當設定本實施方式所涉及的攝影模式時，控制部9從程序存儲器7中讀出程序，如圖2的流程圖所示那樣開始處理。也就是說，控制部9判斷是否檢測出快門鍵41按下(步驟S101)。如果檢測出快門鍵41被按下，則指示驅動控制部2執(zhí)行N個連拍(步驟S102)。其次，基于連拍得到的圖像數(shù)據(jù)，生成由以亮度色差的顏色空間信息表現(xiàn)出的YUV圖像構成的連拍圖像，并保存到 RAM8 中(步驟 S103)。例如，如果連拍個數(shù)N例如為6個，則如圖4所示由YUV圖像構成的6個連拍圖像 Pl Ρ6被保存到RAM8中。在圖4中，箭頭t為時間軸，連拍圖像Pl P6是在表示攝像視場角整體的背景B內(nèi)作為運動物體的手H上下擺動的狀態(tài)下，以大致相同的攝像視場角連拍到的圖像。在連拍圖像Pl P6中，雖然背景B是相同的，但隨著Pl — P2 — P3和時間t的推移手H的像在背景B內(nèi)相對位于上方，圖像P3的手H的像位于最上方。另外，隨著P3 — P4 — P5 — P6和時間t的推移手H的像在背景B內(nèi)相對位于下方，圖像P6的手H 的像位于最下方。此外，在連拍這些連拍圖像Pl P6時，因手抖動引起的圖像模糊通過公知技術 (基于CCD移位或透鏡移位的視場角修正技術)進行修正。下面，從這些連拍圖像中選擇基準圖像(步驟S104)。在選擇該基準圖像時，在連拍圖像中選擇運動物體的移動量最小的圖像。因此，在連拍圖像Pl P6中，運動物體(手 H的像)的移動量最小的圖像為從下向上運動的手H的像從上向下變化的分歧點的圖像，也就是手H的像的位置位于最上方的連拍圖像P3作為基準圖像而選擇。然后，由LPF(低通濾波器)對該選擇的基準圖像的圖像數(shù)據(jù)進行噪聲降低處理 (步驟。然后，將該噪聲降低處理之后的基準圖像的YUV圖像數(shù)據(jù)暫時保存到RAM8 中(步驟S106)。因此，通過該步驟S105及步驟S106中的處理，在圖4所示的例子中連拍圖像P3的圖像數(shù)據(jù)被進行噪聲降低處理，并將該YUV圖像數(shù)據(jù)保存到RAM8中。另外，對連拍的多個圖像進行噪聲降低并合成(步驟S107)。也就是說，如果按每個像素對多個連拍圖像的YUV圖像數(shù)據(jù)進行相加平均，則能夠一邊降低噪聲一邊進行合成。N個連拍圖像的YUV圖像數(shù)據(jù)相加平均的式[1] [3]如下所示。此夕卜，Y_result、U_ result及V_reSult分別表示像素的亮度色差參數(shù)各自合成后的信息。Y_result = (Υ
+Υ[1]+···+Υ[Ν])/Ν …式[1]U_result = (U
+U[l]+-"+U[N])/N …式[2]V_result = (V
+V[1]+—+V[N])/N …式[3]當然，并不限定于加法平均，只要是利用多個連拍圖像有噪聲降低效果的合成方法，則也可以是其他處理方法。然后，將該噪聲降低之后的全部連拍圖像的合成圖像的YUV 圖像數(shù)據(jù)暫時保存到RAM8中(步驟S108)。因此，在結束了該步驟S108處理的時刻，在RAM8中暫時保存有下述圖像數(shù)據(jù)。(1)各連拍圖像的YUV圖像數(shù)據(jù)；(2)噪聲降低處理后的基準圖像的YUV圖像數(shù)據(jù)；(3)噪聲降低處理后的合成圖像的YUV圖像數(shù)據(jù)。并且，將步驟S109的運動物體判定· α混合處理包含在內(nèi)，進行用于合成上述(2) 基準圖像的YUV圖像數(shù)據(jù)和(3)圖像合成的YUV圖像數(shù)據(jù)的處理。圖3是表示運動物體判定· α混合處理(步驟S109)的處理順序的流程圖。此外，在該圖3所示的流程圖說明時，使用下式、符號或函數(shù)。Y_Base_Nr、U_Base_Nr、V_Base_Nr 上述O)的噪聲降低后基準圖像數(shù)據(jù)的YUV各參數(shù)；Y[n]、U[n]、V[n]第η個圖像數(shù)據(jù)的YUV各參數(shù);N 合成個數(shù)；fMaxO 最大值計算函數(shù)；fLpf()平滑化函數(shù)；fEmphasisO 映射強調(diào)函數(shù)。在圖3的流程圖中，控制部9如下式[4] [6]所示那樣，按各連拍圖像的YUV圖像數(shù)據(jù)(1)的每個像素，求出噪聲降低處理后的基準圖像的YUV圖像數(shù)據(jù)( 和各連拍圖像的YUV圖像數(shù)據(jù)(1)的差值絕對值(步驟S201)。也就是說，按各連拍圖像的每個像素求出下式。Diff_Y[n] = | Y_base_Nr_Y[n] | …式的差值絕對值Diff_U[n] = |U_base_Nr_U[n] | …式[5]//U 的差值絕對值Diff_V[n] = V_base_Nr-V[n] | …式的差值絕對值
并且，由于差值越大越是被攝體運動的可能性大的區(qū)域，故如下式[7]所示那樣選擇差值最大的(按連拍圖像所對應的每一個像素而言差值最大的)(步驟S202)。Diff [n] = fMax(Diff_Y[n]，Diff_U[n]，Diff_V[n])…式[7]下面，如下式[8]所示，執(zhí)行對除基準圖像外的各連拍圖像的最大差值進行平均化的處理(步驟S203)。Ave_Diff = (Diff
+Diff [1]+—+Diff [N])/N-l...式[8]進而，如下式[9]所示，執(zhí)行平滑化處理(步驟S204)。Ave_Diff_Lpf = fLpf (Ave_Diff)…式[9]通過該步驟S204中的平滑化處理，如圖5A所示那樣生成運動物體判定映射Μ。在該運動物體判定映射M中，斜線示出的部分是α =0、即全透過的區(qū)域，白色部分是α = 255、即不透過的區(qū)域。接著，如下式[10]所示，進行強調(diào)處理以提高所述運動物體判定映射M的對比度 (步驟 S105)。Map_Move = fEmphasis (Ave_Diff_Lpf) — ζ [10]通過該步驟S205中的平滑化處理，如圖5Β所示在運動物體判定映射M中運動物體的手H的像重疊的區(qū)域的對比度被提高。最終，將該圖5Β所示的運動物體判定映射M(Map_Move W 255] 0 =無運動物體)用作α映射，來合成上述(2)噪聲降低處理后的基準圖像的YUV圖像數(shù)據(jù)和(3)噪聲降低處理后的合成圖像的YUV圖像數(shù)據(jù)(步驟S206)。被合成的各像素的YUV的各參數(shù)(Y_result，U_result，V_result)由下式[11] [13]進行表現(xiàn)。Y_result = (Y_Nr_Mix X (255-Map_Move)+Y_Base_Nr XMap_Move)/255 …式 [11]U_result = (U_Nr_Mix X (255-Map_Move)+U_Base-Nr XMap_Move)/255 …式 [12]V_result = (V_Nr_Mix X (255-Map_Move)+V_Base-Nr XMap_Move)/255 …式 [13]由此，如圖6B所示，生成了表示由背景B和手H構成的合成圖像PM的YUV圖像數(shù)據(jù)。為了比較，圖6A是單將連拍到的圖像進行平均相加處理之后的合成圖像PN。這樣，在單將連拍到的圖像進行平均加法處理之后的合成圖像PN中，作為運動物體的手H的像會產(chǎn)生大的抖動。相對于此，根據(jù)本實施方式，即便在手H的像運動的情況下， 也如圖6B所示那樣得到運動物體抖動少的合成圖像PM。并且，如前述，由于在步驟S204中進行平滑化處理，因此能夠使合成而得到運動物體(手H)和背景的邊界線更自然。另外，由于在上述步驟S205中執(zhí)行了提高映射M對比度的處理，故也能夠減少合成處理中的被攝體抖動的余像(重像)。以上，如果通過生成表示合成圖像PM的YUV圖像數(shù)據(jù)，并完成了圖2流程圖中的運動物體判定·混合處理，則對作為完成圖像的合成圖像PM的YUV圖像數(shù)據(jù)以JPEG方式進行編碼、文件化，并記錄保存到圖像記錄部6中(步驟S110)，由此結束處理。第二實施方式在上述第一實施方式中，敘述了在單純地合成連拍得到的多個圖像的情況下，減少由運動的被攝體的運動物體抖動帶來的影像的事例，但如果是與其無關地連拍到的圖像，則合成改變曝光條件連拍到的圖像，生成擴大動態(tài)范圍的圖像的事例中，本發(fā)明也能適用。下面，在第二實施方式中，敘述如下情況在合成改變曝光條件連拍到的圖像，并生成擴大了動態(tài)范圍的圖像的事例中應用本發(fā)明。此外，在電路結構或流程圖的說明中，對與第一實施方式同樣的地方，在本發(fā)明第二實施方式中也賦予相同的符號、序號，并省略其說明。圖7是具備本發(fā)明第二實施方式所涉及的圖像合成裝置的攝像裝置的電路結構圖。與上述第一實施方式的不同點在于代替程序存儲器7、合成部11，而具備程序存儲器 17、合成部12。該程序存儲器17存儲由控制部9、圖像處理部10、合成部12執(zhí)行的程序，控制部 9根據(jù)需要讀出該程序。另外，合成部12執(zhí)行后述的曝光過度圖像和疑似曝光過度圖像的合成，并且對于該合成圖像將后面敘述的運動物體判定映射用作差值區(qū)域所對應的透過強度映射(α映射)，減少由運動物體帶來的余像。另外，通過對所述合成圖像和曝光不足圖像進行像素相加合成，由此來擴大動態(tài)范圍。下面，利用圖8說明本發(fā)明第二實施方式的動作。用戶操作設置于鍵輸入部4的模式按鈕，當設定本實施方式涉及的攝影模式時，控制部9從程序存儲器7中讀出程序，如圖8的流程圖所示那樣開始處理。也就是說，控制部9判斷是否檢測出快門鍵41被按下(步驟S301)。如果檢測出快門鍵41被按下，則檢測適當曝光，并且用將該適當曝光的曝光值OEV減去了 “1”之后的-IEV指示驅動控制部2執(zhí)行攝影，將由該-IEV攝影得到的曝光不足圖像暫時保存到 RAM8中(步驟S302)。接著，用將適當曝光的曝光值OEV增加“ 1”之后的+IEV指示驅動控制部2執(zhí)行攝影，并將由該+IEV攝影得到的曝光過度圖像暫時保存到RAM8中(步驟S303)。因此，通過該步驟S302及步驟S303中的處理，圖9Α所示的由YUV圖像構成的曝光不足圖像U和圖9Β所示的由YUV圖像構成的曝光過度圖像0保存到RAM8中(當然，此外也可獲取由適當曝光拍攝到的圖像)。連拍得到的曝光不足圖像U和曝光過度圖像0是在表示攝像視場角整體的背景B內(nèi)使作為運動物體的手H上下擺動的狀態(tài)下以大致相同的攝像視場角連拍得到的。兩個圖像U、0，雖然背景B相同，但先拍攝到的曝光過度圖像0的手H的像與后拍攝到的曝光不足圖像U的手H的像相比，位于下方。此外，在連拍這些連拍圖像U、0時，因手抖動引起的圖像模糊通過公知技術(基于 CXD移位或透鏡移位的視場角修正技術)進行修正。下面，以與曝光過度圖像0的曝光條件相同的方式提高曝光不足圖像U的增益，由此生成該疑似曝光過度圖像，并暫時保存到RAM8中(步驟S304)。也就是說，以-IEV拍攝到的曝光不足圖像U和以+IEV拍攝到的曝光過度圖像0這兩個圖像的明亮度有4倍差異， 曝光過度圖像0比曝光不足圖像U亮4倍。因此，通過用數(shù)字增益4倍處理曝光不足圖像 U，生成曝光條件與曝光過度圖像0近似相同的疑似曝光過度圖像。下面，進行運動物體判定· α混合處理(步驟S3(^)。對于該運動物體判定· α 混合處理的整體而言，與第一實施方式中的步驟S105相同，作為概略處理的流程而與圖3 說明相同。其中，在說明圖3所示的流程圖時，對于式子、符號或函數(shù)而言，替代第一實施方式而使用下述的式子、符號或函數(shù)。Y_Under_4, U_Under_4, V_Under_4 疑似曝光過度圖像的 YUV 參數(shù)；Y_0ver, U_0ver, V_0ver 曝光過度圖像的 YUV 參數(shù)；fMax()最大值計算函數(shù)；
fLpf()平滑化函數(shù)；fEmphasisO 映射強調(diào)函數(shù)。另外，在圖3流程圖的步驟S201中，如下式[14] [16]所示那樣，控制部9按兩個圖像的每個像素，求出疑似曝光過度圖像和曝光過度圖像的差值絕對值。也就是說，按所述兩個圖像的每個像素求出下式。Diff_Y = |Y_Under_4_Y_Mid| …式[14]//Y 差值絕對值Diff_U = |U_Under_4_U_Mid| …式[15]//U 差值絕對值Diff_V = |V_Under_4-V_Mid| …式[16]//V 差值絕對值并且，由于差值越大越是被攝體運動的可能性大的區(qū)域，故在步驟S202中如下式[17]所示那樣選擇差值最大的差值絕對值(按兩個圖像對應的每個像素而言差值最大的)。Diff = fMax(Diff_Y，Diff-U, Diff_V)...式[17]下面，如下式[18]所示，在步驟S203中執(zhí)行對兩個圖像的最大差值進行平均化的處理。Ave_Diff = (Diff
+Diff [1]+—+Diff [N])/N-l...式[18]進而，如下式[19]所示，在步驟S204中執(zhí)行平滑化處理。Diff_Lpf = fLpf (Diff). . ·式[19]通過該步驟S204中的平滑化處理，如圖IOA所示生成運動物體判定映射M。在該運動物體判定映射M中，斜線示出的部分是α =0、即全透過的區(qū)域，白色部分是α = 255、 即不透過的區(qū)域。接著，如下式[20]所示，在步驟S205中進行強調(diào)處理以提高所述運動物體判定映射M的對比度。Map_Move = fEmphasis (Diff_Lpf)...式[20]通過該步驟S205中的平滑化處理，如圖IOB所示，在運動物體判定映射M中作為運動物體的手H的像的區(qū)域中的對比度被提高。然后，在步驟S206中將該圖IOB所示的運動物體判定映射M(Map_Move W 255] 0=無運動物體)用作α映射，來合成上述的疑似曝光過度圖像和曝光過度圖像。被合成之后的圖像(以下，稱為混合圖像)各像素的YUV的各參數(shù)(Y_reSult_ Over, U_result_0ver, V_result_0ver)由下式[21] [23]進行表現(xiàn)。Y_result_0ver = (Y_0ver X (255-Map_Move)+Y_Under_4 X Map_Move)/255...式 [21]U_result_0ver = (U_0ver X (255-Map_Move)+U_Under_4 X Map_Move)/255...式 [22]V_result_0ver = (V_0ver X (255-Map_Move)+V_Under_4 X Map_Move)/255...式 [23]并且，在圖8流程圖中的步驟S305后續(xù)的步驟S306中，將該混合圖像暫時保存到 RAM8中。接著，對該RAM8中暫時保存的混合圖像和所述曝光不足圖像U進行像素相加合成 (步驟 S307)。這樣，如果生成表示合成圖像PM的YUV圖像數(shù)據(jù)，則對作為完成圖像的合成圖像PM的YUV圖像數(shù)據(jù)以JPEG方式進行編碼、文件化，并記錄保存到圖像記錄部6中(步驟 S308)，由此結束處理。第二實施方式的變形例圖11是表示本發(fā)明第二實施方式中的變形例的處理順序的流程圖，用到以大致相同視場角拍攝到的三個圖像、曝光不足圖像、適當曝光圖像、曝光過度圖像。用戶操作設置于鍵輸入部4的模式按鈕，當設定本實施方式涉及的攝影模式時，控制部9從程序存儲器 7中讀出程序，如該流程圖所示開始處理。也就是說，控制部9判斷是否檢測出快門鍵41被按下(步驟S401)。如果檢測出快門鍵41被按下，則檢測適當曝光，并且用將該適當曝光的曝光值OEV減去了 “2”之后的-2EV指示驅動控制部2執(zhí)行攝影，并將由該-2EV攝影得到的曝光不足圖像暫時保存到 RAM8 中(步驟 S402)。另外，用適當曝光的曝光值OEV指示驅動控制部2執(zhí)行攝影，并將由OEV攝影得到的適當曝光圖像暫時保存到RAM8中(步驟S403)。進而，用將適當曝光的曝光值OEV增加了 “2”之后的+2EV指示驅動控制部2執(zhí)行攝影，并將由該+2EV攝影得到的曝光過度圖像暫時保存到RAM8中(步驟S404)。因此，通過該步驟S402及步驟S403中的處理，由YUV圖像構成的曝光不足圖像、 適當曝光圖像及曝光過度圖像被保存到RAM8中。下面，以與適當曝光圖像的曝光條件相同的方式提高曝光不足圖像的增益，由此來生成第一疑似曝光過度圖像，且以與曝光過度圖像的曝光條件相同的方式提高曝光不足圖像的增益，由此來生成第二疑似曝光過度圖像，并將其暫時保存到RAM8中(步驟S405)。也就是說，以-2EV拍攝到的曝光不足圖像和以OEV拍攝到的適當曝光圖像這兩個圖像的明亮度有8倍差異，適當曝光圖像比曝光不足圖像亮8倍。因此，以數(shù)字增益8倍處理曝光不足圖像，來生成曝光條件與適當曝光圖像近似相同的第一疑似曝光過度圖像。另外，以-2EV拍攝到的曝光不足圖像和以+2EV拍攝到的曝光過度圖像這兩個圖像的明亮度有16倍差異，曝光過度圖像比曝光不足圖像亮16倍。因此，以數(shù)字增益16倍處理曝光不足圖像，來生成曝光條件與曝光過度圖像近似相同的第二疑似曝光過度圖像。并且，將這些第一疑似曝光過度圖像和第二疑似曝光過度圖像暫時保存到RAM8中。下面，判斷第一次的運動物體判定·混合處理是否結束(步驟S406)。如果尚未執(zhí)行運動物體判定·混合處理，本次為第一次處理，則步驟S406的判斷為“否”，進入步驟 S407。之后，利用曝光值近似相等的第一疑似曝光過度圖像和適當曝光圖像，進行運動物體判定· α混合處理。該運動物體判定· α混合處理(步驟S407)的處理順序，與基于圖13的流程圖所說明的實施方式相同。如果利用了該第一疑似曝光過度圖像和適當曝光圖像的運動物體判定· α混合處理結束，則將由此得到的第一混合圖像暫時保存到RAM8中 (步驟S408)，并返回到步驟S406。于是，因為第一次的運動物體判定· α混合處理已結束，故步驟S406的判斷為 “是”。因此，進入步驟S409，利用曝光值近似相等的第二疑似曝光過度圖像和曝光過度圖像，進行運動物體判定· α混合處理。該運動物體判定· α混合處理(步驟S409)的處理順序，也與基于圖3流程圖所說明的所述實施方式相同。
如果使用了該第二疑似曝光過度圖像和曝光過度圖像的運動物體判定· α混合處理結束，則將由此得到的第二混合圖像暫時保存到RAM8中(步驟S410)。接著，對這些在RAM8中暫時保存的第一混合圖像及第二混合圖像和所述曝光不足圖像進行像素相加合成，生成表示該合成圖像的YUV圖像數(shù)據(jù)(步驟S411)。然后，對作為完成圖像的合成圖像PM的YUV圖像數(shù)據(jù)以JPEG方式進行編碼、文件化，并將其記錄保存到圖像記錄部6中(步驟S412)，由此結束處理。此外，在該變形例中，在步驟S411中對第一混合圖像、第二混合圖像及曝光不足圖像進行像素相加合成，而得到完成圖像。但是，也可僅僅對第一混合圖像和曝光不足圖像進行像素相加合成來得到完成圖像，或者對第二混合圖像和曝光不足圖像進行像素相加合成而得到完成圖像。此外，雖然在本實施方式中示出使用YUV圖像數(shù)據(jù)的情況，但也可使用RGB圖像數(shù)據(jù)。此時，對于RGB的每一個，也可同樣地計算差值平方。
權利要求
1.一種圖像合成裝置，其特征在于具備圖像獲取單元，獲取在時間上連續(xù)的多個圖像；圖像生成單元，對由該圖像獲取單元獲取的多個圖像進行像素相加合成從而生成一個圖像；第一差值獲取單元，在由所述圖像生成單元進行像素相加合成時，按多個圖像的每一個圖像獲取合成前的所述多個圖像的每個像素的差值；和混合單元，將由該第一差值獲取單元獲取的信息作為透過強度的信息混合在由所述圖像生成單元生成的圖像中。
2.根據(jù)權利要求1所述的圖像合成裝置，其特征在于，所述圖像合成裝置還具備選擇單元，該選擇單元從由所述圖像獲取單元獲取的多個圖像中選擇成為合成基準的基準圖像，并且，所述第一差值獲取單元，對于由所述選擇單元選擇出的基準圖像和由所述圖像獲取單元獲取的其他圖像之間的每個像素的差值，按所述其他圖像的每一個圖像獲取其最大值。
3.根據(jù)權利要求1所述的圖像合成裝置，其特征在于，圖像獲取單元獲取的多個圖像是攝影視場角大致相同且曝光條件各不相同的圖像，并且所述圖像合成裝置還具備增益控制單元，該增益控制單元實施控制以提高由所述圖像獲取單元獲取的多個圖像中的曝光量低的圖像的明亮度的增益，使得曝光條件與所述多個圖像中的其他曝光條件的圖像相同，并且所述第一差值獲取單元獲取由所述增益控制單元提高了增益的圖像和曝光條件與提高了增益的圖像相同的圖像之間的每個像素的差值。
4.根據(jù)權利要求3所述的圖像合成裝置，其特征在于，所述圖像合成裝置還具備運動物體區(qū)域檢測單元，將由所述第一差值獲取單元獲取的差值作為運動物體區(qū)域進行檢測；置換單元，將曝光條件與提高了所述增益的圖像相同的圖像中的由所述運動物體區(qū)域檢測單元檢測出的運動物體區(qū)域的圖像置換成提高了所述增益的圖像中的相同區(qū)域的圖像；和第二差值獲取單元，對于由所述運動物體區(qū)域檢測單元檢測出的運動物體區(qū)域，獲取提高了所述增益的圖像和曝光條件與提高了所述增益的圖像相同的圖像之間的每個像素的差值的最大值，并且，所述混合單元代替由所述第一差值獲取單元獲取的信息，對由所述第二差值獲取單元獲取的信息進行平均化，并將其作為透過強度的信息混合在由所述置換單元置換后的圖像中。
5.根據(jù)權利要求4所述的圖像合成裝置，其特征在于，所述圖像合成裝置還具備生成單元，該生成單元生成由所述混合單元混合后的圖像和所述曝光量低的圖像的像素相加合成圖像。
6.根據(jù)權利要求1所述的圖像合成裝置，其特征在于，所述混合單元對由所述差值獲取單元獲取的信息進行平均化，并基于該平均化后的信息進一步執(zhí)行提高對比度的處理。
7.根據(jù)權利要求1所述的圖像合成裝置，其特征在于，所述混合單元對由所述差值獲取單元獲取的信息進行平均化，并基于該平均化后的信息進一步執(zhí)行平滑化處理。
8.根據(jù)權利要求1所述的圖像合成裝置，其特征在于， 所述圖像獲取單元包括攝像單元。
9.根據(jù)權利要求1所述的圖像合成裝置，其特征在于， 所述圖像是以大致相同的攝像視場角獲取的。
10.一種圖像合成方法，其特征在于包括 圖像獲取步驟，獲取在時間上連續(xù)的多個圖像；圖像生成步驟，對由該圖像獲取步驟獲取的多個圖像進行像素相加合成從而生成一個圖像；差值獲取步驟，在由所述圖像生成步驟進行像素相加合成時，按多個圖像的每一個圖像獲取合成前的所述多個圖像的每個像素的差值；和混合步驟，將由該差值獲取步驟獲取到的信息作為透過強度的信息混合在由所述圖像生成步驟生成的圖像中。
全文摘要
本發(fā)明提供一種圖像合成裝置、圖像合成方法?？刂撇?9)如果檢測出快門鍵(41)被按下，則指示驅動控制部(2)執(zhí)行N次連拍，生成連拍圖像并保存到RAM(8)中(步驟S103)。接著，從這些連拍圖像中選擇基準圖像(步驟S104)，將選擇的基準圖像的圖像數(shù)據(jù)和全部連拍圖像的合成圖像的YUV圖像數(shù)據(jù)暫時保存到RAM(8)中(步驟S106、S108)。之后，按每個像素求出基準圖像的YUV圖像數(shù)據(jù)和各連拍圖像的YUV圖像數(shù)據(jù)的差值絕對值，對除基準圖像外的各連拍圖像的最大差值進行平均化，生成運動物體判定映射(M)，將其用作α映射來合成基準圖像的YUV圖像數(shù)據(jù)和噪聲降低處理后的合成圖像的YUV圖像數(shù)據(jù)。
文檔編號H04N9/04GK102348056SQ201110205268
公開日2012年2月8日 申請日期2011年7月21日 優(yōu)先權日2010年7月23日
發(fā)明者真鍋佳嗣 申請人:卡西歐計算機株式會社