專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序，更具體地，涉及用于使用多個圖像執(zhí)行圖像組合處理的圖像處理裝置和方法以及用于允許計算機執(zhí)行該方法的程序。
背景技術(shù)：
近年來，成像被攝體(如人或動物)以生成圖像數(shù)據(jù)并記錄圖像數(shù)據(jù)作為圖像內(nèi)容的成像裝置(如數(shù)字照相機或數(shù)字攝像機(例如，可攜式攝像機))已經(jīng)普及。此外，已經(jīng)提出這樣的成像裝置，其通過根據(jù)被攝體自動地執(zhí)行適當?shù)钠毓饪刂苼砩蛇m當?shù)牟东@圖像。這里，當關(guān)于具有大的亮度差的場景(例如背后照亮的場景)利用曝光控制執(zhí)行成像操作時，預(yù)期成像裝置中提供的成像器件不具有足夠的動態(tài)的范圍。當成像器件的動態(tài)范圍不夠時，在捕獲圖像的飽和亮區(qū)域中可能出現(xiàn)全白(whiteout)，或者在捕獲圖像的暗區(qū)域中可能出現(xiàn)全黑(blackout)。因此，已經(jīng)提出這樣的成像裝置，其通過組合利用不同曝光時段的成像處理生成的長曝光圖像和短曝光圖像，生成具有寬動態(tài)范圍的組合圖像。然而，當在生成組合圖像時使用的組合對象圖像中包括運動物體時，存在生成包括運動前后的運動物體的組合圖像并且看起來不自然(所謂多曝光)的可能性。因此，提出這樣的成像裝置，其計算長曝光圖像和通過將長曝光圖像乘以長曝光圖像和短曝光圖像之間的曝光比獲得的短曝光圖像之間的差，并且根據(jù)該差是否超過預(yù)定水平切換用于生成組合圖像的圖像(例如，見JP-A-2002-101347的圖3)。在該成像裝置中， 例如，當該差超過預(yù)定水平時，確定在短曝光圖像和長曝光圖像之間存在圖像偏移，并且根據(jù)差的極性切換組合對象圖像。

發(fā)明內(nèi)容
根據(jù)上述技術(shù)，即使在生成組合圖像時使用的組合對象圖像中包括運動物體時， 也可以防止運動物體區(qū)域中的運動物體的余像或斷點的出現(xiàn)。然而，在上述技術(shù)中，當在運動物體區(qū)域中兩個圖像之間的差超過預(yù)定水平時，長曝光圖像和通過其乘以曝光比獲得的短曝光圖像根據(jù)差的極性切換為組合對象圖像。因此，可以防止運動前后的運動物體的余像或斷點的出現(xiàn)。然而，長曝光圖像和通過將其乘以曝光比獲得的短曝光圖像在組合對象圖像的切換的邊界附近共存。因此，存在圖像連續(xù)性劣化并獲得不自然的組合圖像的可能性。因此，在關(guān)于包括運動物體的圖像生成具有寬動態(tài)范圍的組合圖像時，重要的是在考慮運動物體的同時生成適當?shù)慕M合圖像。因此，期望在關(guān)于包括運動物體的圖像生成具有寬動態(tài)范圍的組合圖像時生成考慮運動物體的適當?shù)慕M合圖像。根據(jù)本發(fā)明實施例，提供了一種圖像處理裝置和圖像處理方法，以及使得計算機執(zhí)行該圖像處理方法的程序，該圖像處理裝置包括轉(zhuǎn)換部分，其轉(zhuǎn)換運動物體圖像，該運動物體圖像是對應(yīng)于構(gòu)成在不同曝光條件下生成的多個圖像的參考圖像和其它圖像中包括的運動物體的區(qū)域中的圖像，使得對應(yīng)于運動物體的參考圖像中的運動物體圖像具有其它圖像的曝光水平，以便對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像；置換部分， 其用生成的曝光水平轉(zhuǎn)換后運動物體圖像置換每個其它圖像的對應(yīng)于曝光水平轉(zhuǎn)換后運動物體圖像的區(qū)域，以便為每個其它圖像生成置換圖像，該每個其它圖像對應(yīng)于在生成曝光水平轉(zhuǎn)換后運動物體圖像時用作參考曝光水平的曝光水平；以及組合部分，其將為每個其它圖像生成的置換圖像和參考圖像組合以生成組合圖像。利用該配置，轉(zhuǎn)換運動物體圖像，使得運動物體圖像具有其它圖像的曝光水平，以便對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像；用生成的曝光水平轉(zhuǎn)換后運動物體圖像置換每個其它圖像的對應(yīng)于曝光水平轉(zhuǎn)換后運動物體圖像的區(qū)域，以便為每個其它圖像生成置換圖像，該每個其它圖像對應(yīng)于在生成曝光水平轉(zhuǎn)換后的運動物體圖像時用作參考曝光水平的曝光水平，并且將為每個其它圖像生成的置換圖像和參考圖像相互組合以生成組合圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括確定部分，其基于多個圖像的ISO 靈敏度和曝光差確定是否生成組合圖像。利用該配置，可以基于多個圖像的ISO靈敏度和曝光差確定是否生成組合圖像。在本發(fā)明的實施例中，當多個圖像的ISO靈敏度低于預(yù)定參考值并且多個圖像的曝光差小于預(yù)定參考值時，確定部分可以確定要生成組合圖像。利用該配置，當多個圖像的 ISO靈敏度低于預(yù)定參考值并且多個圖像的曝光差小于預(yù)定參考值時，可以確定要生成組合圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括特定對象物體檢測部分，其檢測多個圖像中包括的特定對象物體；以及確定部分，其基于通過特定對象物體檢測部分的確定結(jié)果確定是否生成組合圖像。利用該配置，可以檢測多個圖像中包括的特定對象物體，并且可以基于確定結(jié)果確定是否生成組合圖像。在本發(fā)明的實施例中，特定對象物體檢測部分可以檢測人的臉部作為特定對象物體，并且當從多個圖像中檢測到人的臉部時，確定部分可以確定要生成組合圖像。利用該配置，當從多個圖像中檢測到人的臉部時，可以確定要生成組合圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括成像部分，其通過在不同曝光條件下連續(xù)成像相同對象物體若干次來生成多個圖像。利用該配置，可能通過在不同曝光條件下連續(xù)成像相同對象物體若干次來生成多個圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括模式設(shè)置部分，其根據(jù)被攝體從多個成像模式中設(shè)置成像模式；以及確定部分，其基于設(shè)置的成像模式是否是特定成像模式來確定是否生成組合圖像。利用該配置，可以根據(jù)被攝體從多個成像模式中設(shè)置成像模式，并且可以基于設(shè)置的成像模式是否是特定成像模式來確定是否生成組合圖像。在本發(fā)明的實施例中，特定成像模式可以是意圖成像被攝體中作為對象被攝體的運動物體的成像模式，并且，當設(shè)置的成像模式是特定成像模式時，確定部分可以確定要生成組合圖像。利用該配置，當設(shè)置的成像模式是特定成像模式時，可以確定要生成組合圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括操作接收部分，其接收用于生成組合圖像的指令操作；以及確定部分，其基于是否接收指令操作確定是否生成組合圖像。利用該配置，可以基于是否接收指令操作確定是否生成組合圖像，該指令操作用于組合為每個其它圖像生成的置換圖像和參考圖像以生成組合圖像。在本發(fā)明的實施例中，轉(zhuǎn)換部分可以轉(zhuǎn)換參考圖像，使得參考圖像具有其它圖像的曝光水平以生成與其它圖像相關(guān)聯(lián)的曝光水平轉(zhuǎn)換后圖像，并且提取對應(yīng)于曝光水平轉(zhuǎn)換后圖像和其它圖像中包括的運動物體的曝光水平轉(zhuǎn)換后圖像的區(qū)域中的圖像，以便生成與其它圖像相關(guān)聯(lián)的曝光水平轉(zhuǎn)換后運動物體圖像。利用該配置，可以轉(zhuǎn)換參考圖像，使得參考圖像具有其它圖像的曝光水平以生成與其它圖像相關(guān)聯(lián)的曝光水平轉(zhuǎn)換后圖像，可以提取對應(yīng)于曝光水平轉(zhuǎn)換后圖像和其它圖像中包括的運動物體的曝光水平轉(zhuǎn)換后圖像的區(qū)域中的圖像，以便生成與其它圖像相關(guān)聯(lián)的曝光水平轉(zhuǎn)換后運動物體圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括運動物體檢測部分，其通過比較參考圖像和其它圖像來檢測多個圖像中包括的運動物體；以及確定部分，其基于通過運動物體檢測部分的運動物體檢測的結(jié)果確定是否生成組合圖像。利用該配置，可以通過比較參考圖像和其它圖像來檢測多個圖像中包括的運動物體，并且可以基于運動物體檢測的結(jié)果確定是否生成組合圖像。在本發(fā)明的實施例中，確定部分可以在從多個圖像中檢測到運動物體時確定要生成組合圖像，并且可以在從多個圖像中沒有檢測到運動物體時確定不生成組合圖像，并且， 當確定不生成組合圖像時，組合部分可以組合多個圖像以生成組合圖像。利用該配置，在從多個圖像中檢測到運動物體時，可以確定要通過組合為每個其它圖像生成的置換圖像和參考圖像來生成組合圖像。在從多個圖像中沒有檢測到運動物體時，可以確定不生成組合圖像。當確定不生成組合圖像時，可以將多個圖像相互組合以生成組合圖像。在本發(fā)明的實施例中，圖像處理裝置還可以包括組合圖生成部分，其生成表示在基于參考圖像生成組合圖像時每個像素的組合比的組合圖，并且組合部分可以基于生成的組合圖組合為每個其它圖像生成的置換圖像和參考圖像來生成組合圖像。利用該配置，可以基于參考圖像生成組合圖，并且基于生成的組合圖組合生成組合圖像。根據(jù)本發(fā)明的實施例，可以獲得以下優(yōu)異效果在關(guān)于包括運動物體的圖像生成具有寬動態(tài)范圍的組合圖像時，可以在考慮運動物體的同時生成適當?shù)慕M合圖像。


圖1是示出根據(jù)本發(fā)明第一實施例的成像裝置的功能配置示例的方塊圖。圖2是根據(jù)本發(fā)明第一實施例的、示出輸入亮度和在通過組合圖生成部分生成組合圖時使用的組合比之間的關(guān)系的圖。圖3是根據(jù)本發(fā)明第一實施例的、示意性示出通過圖像組合部分的圖像組合處理的流程的圖。圖4是根據(jù)本發(fā)明第一實施例的、示意性示出通過成像裝置的圖像組合處理的流程的圖。圖5是根據(jù)本發(fā)明第一實施例的、示出用于確定通過運動物體處理確定部分的運動物體處理的必要性的確定標準的圖。圖6A到6C是根據(jù)本發(fā)明第一實施例的、示出在使用成像裝置生成捕獲圖像時獲得的拍攝場景的簡化圖的圖。圖7A和7B是根據(jù)本發(fā)明第一實施例的、示意性示出通過運動物體區(qū)域提取部分的運動物體檢測處理的流程的圖。圖8是根據(jù)本發(fā)明第一實施例的、示意性示出通過臉部檢測部分的運動物體檢測處理的流程的圖。圖9是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置的組合圖像生成處理的處理過程的示例的圖。圖10是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置的組合圖像生成處理的處理過程的示例的圖。圖11是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置的組合圖像生成處理的處理過程的示例的圖。圖12是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置的組合圖像生成處理的處理過程的示例的圖。圖13是根據(jù)本發(fā)明第二實施例的、示出輸入亮度和在通過組合圖生成部分生成組合圖時使用的組合比之間的關(guān)系的圖。圖14是根據(jù)本發(fā)明第二實施例的、示意性示出通過圖像組合部分的圖像組合處理的流程的圖。圖15是根據(jù)本發(fā)明第二實施例的、示意性示出通過圖像組合部分的圖像組合處理的流程的圖。
具體實施例方式以下，將描述用于執(zhí)行本發(fā)明的模式(以下稱為實施例)。將按照以下順序給出描述1.第一實施例(組合圖像生成的控制關(guān)于在不同曝光條件下的兩個圖像，考慮運動物體區(qū)域時生成組合圖像的示例)2.第二實施例(組合圖像生成的控制關(guān)于在不同曝光條件下的三個圖像，考慮運動物體區(qū)域時生成組合圖像的示例)<1.第一實施例>[成像裝置的配置示例]圖1是示出根據(jù)本發(fā)明第一實施例的成像裝置100的功能配置示例的方塊圖。成像裝置100包括操作接收部分110、靈敏度設(shè)置部分121、曝光差設(shè)置部分122、曝光模式設(shè)置部分123和成像部分130。成像裝置100還包括圖像處理部分140、臉部檢測部分150、運動物體處理確定部分160、圖像組合部分170、記錄控制部分180和圖像存儲部分190。成像裝置100實現(xiàn)為數(shù)字照相機、數(shù)字攝像機(例如，可攜式攝像機)等，其能夠成像被攝體以生成圖像數(shù)據(jù)并將圖像數(shù)據(jù)記錄在記錄介質(zhì)上作為圖像內(nèi)容。操作接收部分110接收通過用戶輸入的操作的內(nèi)容，并且將對應(yīng)于接收的操作輸入的內(nèi)容的操作信號提供到每個部分。操作接收部分110對應(yīng)于如例如快門按鈕、操作按鈕、操作播盤和觸摸面板的操作部件。靈敏度設(shè)置部分121根據(jù)由操作接收部分110接收的來自用戶的對ISO靈敏度(拍攝ISO靈敏度)的設(shè)置操作，執(zhí)行ISO靈敏度的設(shè)置，并且將設(shè)置內(nèi)容提供到成像部分 130和運動物體處理確定部分160。ISO靈敏度隨著其值增加而變高。此外，通過將ISO靈敏度設(shè)為高值(高靈敏度)，可以在暗的地方以相對快的快門速度拍攝圖像。然而，得到的圖像具有許多噪聲。曝光差設(shè)置部分122根據(jù)由操作接收部分110接收的來自用戶的曝光差的設(shè)置操作，執(zhí)行曝光差的設(shè)置，并且將設(shè)置內(nèi)容提供到成像部分130、圖像處理部分140和運動物體處理確定部分160。曝光差意味著曝光不足圖像和曝光過度圖像之間的曝光的差。這里，曝光不足圖像和曝光過度圖像是在不同曝光條件下通過成像部分130連續(xù)生成的捕獲圖像。具體地，曝光不足圖像是其曝光時段相對短的捕獲圖像(短曝光圖像)，并且是在相同拍攝場景中重視(value)被攝體的亮部分的圖像。相反，曝光過度圖像是其曝光時段相對長的捕獲圖像(長曝光圖像)，并且是在相同拍攝場景中重視(value)被攝體的暗部分的圖像。即，在曝光不足圖像中包括其中適當?shù)卦佻F(xiàn)高亮的灰度的圖像區(qū)域，并且在曝光過度圖像中包括其中適當?shù)卦佻F(xiàn)陰影的灰度的圖像區(qū)域。因此，通過組合曝光不足圖像和曝光過度圖像，可以生成組合圖像，其中再現(xiàn)高亮和陰影的灰度，并且加寬了動態(tài)范圍。作為曝光差的設(shè)置方法，可以使用這樣的設(shè)置方法，其允許用戶以EV(曝光值)為單位指定曝光差。此外，可以使用這樣的設(shè)置方法，其允許成像部分130自動地計算適當?shù)钠毓獠睢Ｆ毓饽Ｊ皆O(shè)置部分123根據(jù)由操作接收部分110接收的來自用戶的曝光模式的設(shè)置操作，執(zhí)行曝光模式的設(shè)置，并且將設(shè)置內(nèi)容提供到成像部分130和運動物體處理確定部分160。曝光模式是用于選擇曝光控制方法的成像模式。例如，用戶能夠根據(jù)用戶偏好，從光圈優(yōu)選模式、快門速度優(yōu)選模式、手動曝光模式、程序模式和場景模式中選擇成像模式。 光圈優(yōu)選模式是其中設(shè)置光圈值并且根據(jù)亮度設(shè)置適當?shù)目扉T速度的曝光模式。程序模式是其中自動執(zhí)行對應(yīng)于亮度的優(yōu)化控制的曝光模式。此外，場景模式是其中執(zhí)行對應(yīng)于特定場景的控制的模式，并且例如可以設(shè)置肖像模式、運動模式、寵物模式、黃昏模式和夜間模式。成像部分130基于靈敏度設(shè)置部分121、曝光差設(shè)置部分122和曝光模式設(shè)置部分 123的設(shè)置內(nèi)容，在不同曝光條件下生成多個捕獲圖像(曝光不足圖像和曝光過度圖像)。 即，成像部分130基于曝光差設(shè)置部分122的設(shè)置內(nèi)容，通過在不同曝光條件下連續(xù)成像相同被攝體兩次來生成曝光不足圖像和曝光過度圖像。例如，當通過操作接收部分110接收記錄靜態(tài)圖像的指令操作(例如，對快門按鈕的按壓操作)時，成像部分130生成一組曝光不足圖像和曝光過度圖像。在該情況下，例如可以順序地生成曝光不足圖像和曝光過度圖像。此外，例如，當通過操作接收部分110接收記錄運動圖像的指令操作(例如，對記錄按鈕的按壓操作)時，成像部分130以預(yù)定幀速率順序地生成曝光不足圖像和曝光過度圖像。 在該情況下，例如可以順序地生成曝光不足圖像和曝光過度圖像。此外，成像部分130將生成的捕獲圖像(曝光不足圖像和曝光過度圖像)提供到圖像處理部分140和臉部檢測部分 150。具體地，成像部分130包括將通過鏡頭入射的被攝體的光轉(zhuǎn)換為電信號的成像器件、以及處理成像器件的輸出信號以生成數(shù)字圖像信號(圖像數(shù)據(jù))的信號處理部分。艮口， 在成像部分130中，通過鏡頭入射的被攝體的光學(xué)圖像聚焦在成像器件的成像表面上，成像器件在這樣的狀態(tài)下執(zhí)行成像操作，并且信號處理部分對成像的信號執(zhí)行信號處理，從而生成數(shù)字圖像信號。生成的數(shù)字圖像信號提供到圖像處理部分140和臉部檢測部分150。 作為成像器件，例如可以使用CCD(電荷耦合器件)和CMOS (互補金屬氧化物半導(dǎo)體)。圖像處理部分140關(guān)于從成像部分130提供的圖像信號(數(shù)字圖像信號)執(zhí)行各種圖像處理，如插值或顏色/灰度處理(例如，白平衡)。此外，圖像處理部分140根據(jù)由曝光差設(shè)置部分122設(shè)置的曝光差，對參考圖像執(zhí)行曝光水平轉(zhuǎn)換處理，以便生成曝光水平轉(zhuǎn)換后圖像。例如，圖像處理部分140根據(jù)由曝光差設(shè)置部分122設(shè)置的曝光差，關(guān)于曝光不足圖像執(zhí)行增益提高(gain-up)處理(增感處理(sensitization development))，以便生成增益提高圖像。此外，圖像處理部分140輸出已經(jīng)經(jīng)歷各種圖像處理的圖像信號(捕獲圖像)到圖像組合部分170。臉部檢測部分150通過分析從成像部分130提供的圖像信號(數(shù)字圖像信號)，檢測捕獲圖像中包括的人的臉部，并且將檢測結(jié)果輸出到運動物體處理確定部分160。作為臉部檢測的結(jié)果，臉部檢測部分150將臉部信息輸出到運動物體處理確定部分160，該臉部信息例如包括臉部檢測的存在以及捕獲圖像中臉部的位置和大小。作為檢測圖像中包括的臉部的方法，可以使用基于檢測對象圖像和其中記錄臉部的亮度分布信息的模板之間的匹配的臉部檢測方法(例如，見JP-A-2004-133637)。此外，可以使用基于檢測對象圖像中包括的肉色部分或人的臉部的特征量的臉部檢測方法。通過這些臉部檢測方法，可以計算捕獲圖像中的人的臉部的位置和大小。臉部檢測部分150是權(quán)利要求中描述的對象物體檢測部分的示例。運動物體處理確定部分160確定在執(zhí)行HDR(高動態(tài)范圍)組合處理時是否執(zhí)行運動物體處理，并且將確定結(jié)果輸出到圖像組合部分170。具體地，運動物體處理確定部分 160基于來自操作接收部分110、靈敏度設(shè)置部分121、曝光差設(shè)置部分122、曝光模式設(shè)置部分123、臉部檢測部分150和運動物體區(qū)域提取部分172的信息，確定是否執(zhí)行運動物體處理。例如，運動物體處理確定部分160基于靈敏度設(shè)置部分121和曝光差設(shè)置部分122 的設(shè)置內(nèi)容是否在預(yù)定標準(例如，圖5所示的運動物體處理優(yōu)選區(qū)域210)的范圍內(nèi)，確定運動物體處理的必要性。此外，例如運動物體處理確定部分160基于是否由臉部檢測部分150檢測到臉部確定運動物體處理的必要性。此外，例如運動物體處理確定部分160基于曝光模式設(shè)置部分123的設(shè)置內(nèi)容確定運動物體處理的必要性。此外，例如運動物體處理確定部分160基于由操作接收部分110接收的操作內(nèi)容確定運動物體處理的必要性。將參考圖5等詳細描述關(guān)于運動物體處理的必要性的確定。運動物體處理確定部分160是權(quán)利要求中描述的確定部分的示例。圖像組合部分170通過對從圖像處理部分140輸出的捕獲圖像(曝光不足和曝光過度圖像)執(zhí)行HDR組合處理，并且將生成的HDR組合圖像輸出到記錄控制部分180。具體地，圖像組合部分170包括組合圖生成部分171、運動物體區(qū)域提取部分172、運動物體區(qū)域置換部分173和HDR組合部分174。組合圖生成部分171關(guān)于從圖像處理部分140輸出的捕獲圖像(曝光不足和曝光過度圖像)，生成用于確定各個捕獲圖像之間的各個像素的組合比的組合圖。具體地，組合圖生成部分171基于從圖像處理部分140中輸出的捕獲圖像中的參考圖像(例如，曝光不足圖像)生成組合圖。然后，組合圖生成部分171將生成的組合圖輸出到HDR組合部分 174。將參考圖2詳細描述組合圖的生成方法。
運動物體區(qū)域提取部分172分析從圖像處理部分140輸出的捕獲圖像以檢測這些圖像中包括的運動物體，并且從曝光水平轉(zhuǎn)換后圖像提取對應(yīng)于檢測到的運動物體中包括的區(qū)域(運動物體區(qū)域)的圖像(運動物體圖像)。例如，運動物體區(qū)域提取部分172分析從圖像處理部分140輸出的捕獲圖像(增益提高圖像和曝光過度圖像)以檢測這些圖像中包括的運動物體。然后，運動物體區(qū)域提取部分172從曝光水平轉(zhuǎn)換后圖像(增益提高圖像)提取包括檢測到的運動物體的區(qū)域(運動物體區(qū)域)的運動物體圖像。此外，運動物體區(qū)域提取部分172將提取的運動物體區(qū)域中包括的圖像(曝光水平轉(zhuǎn)換后運動物體圖像)輸出到運動物體區(qū)域置換部分173。當從自圖像處理部分140輸出的捕獲圖像中檢測運動物體時，運動物體區(qū)域提取部分172輸出檢測結(jié)果到運動物體處理確定部分160。將參考附圖3、圖4、圖7A和7B以及圖8詳細描述運動物體檢測方法。運動物體區(qū)域提取部分 172是如權(quán)利要求中描述的運動物體檢測區(qū)域的示例。以此方式，圖像處理部分140和運動物體區(qū)域提取部分172轉(zhuǎn)換構(gòu)成多個捕獲圖像的參考圖像和其它圖像中包括的運動物體的運動物體圖像，使得對應(yīng)于運動物體的參考圖像中的運動物體圖像具有其它圖像的曝光水平。此外，對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像。即，圖像處理部分140和運動物體區(qū)域提取部分172是權(quán)利要求中描述的轉(zhuǎn)換部分的示例。運動物體區(qū)域置換部分173用從運動物體區(qū)域提取部分172輸出的運動物體圖像 (曝光水平轉(zhuǎn)換后運動物體圖像)置換不同于參考圖像的其它不同捕獲圖像(例如，曝光過度圖像)的運動物體區(qū)域。此外，運動物體區(qū)域置換部分173將其運動物體圖像被置換的圖像(運動物體區(qū)域置換圖像)輸出到HDR組合部分174。將參考附圖4詳細描述運動物體區(qū)域置換方法。運動物體區(qū)域置換部分173是權(quán)利要求中描述的置換部分的示例。HDR組合部分174基于從組合圖生成部分171輸出的組合圖，對從圖像處理部分 140輸出的捕獲圖像(曝光不足和曝光過度圖像)執(zhí)行HDR組合處理。例如，HDR組合部分174根據(jù)從組合圖生成部分171輸出的組合圖，組合從圖像處理部分140輸出的參考圖像(例如，曝光不足圖像)和從運動物體區(qū)域置換部分173輸出的運動物體區(qū)域置換圖像的各個像素。然后，HDR組合部分174通過組合參考圖像和運動物體區(qū)域置換圖像的各個像素生成HDR組合圖像。然后，HDR組合部分174將生成的HDR組合圖像(高動態(tài)范圍組合圖像)輸出到記錄控制部分180。將參考圖3以及圖4描述圖像組合方法。此外，在運動圖像的記錄期間或在靜態(tài)圖像的記錄的等待狀態(tài)期間，生成的HDR組合圖像的整體或部分可以作為監(jiān)視圖像顯示在顯示部分(未示出)上。HDR組合部分174是權(quán)利要求中描述的組合部分的示例。記錄控制部分180根據(jù)由操作接收部分110接收的操作輸入，將從HDR組合部分 174輸出的組合圖像作為圖像文件(圖像內(nèi)容)記錄在圖像存儲部分190中。例如，當通過操作接收部分110接收用于記錄靜態(tài)圖像的指令操作時，記錄控制部分180將從HDR組合部分174輸出的組合圖像記錄在圖像存儲部分190中作為靜態(tài)圖像文件(靜態(tài)圖像內(nèi)容)。 在記錄期間，將如成像時的日期信息的屬性信息(例如，Exif (可交換圖像文件格式)信息)記錄在圖像文件中。例如，通過快門按鈕上的按壓操作執(zhí)行用于記錄靜態(tài)圖像的指令操作。此外，例如當通過操作接收部分110接收用于記錄運動圖像的指令操作時，記錄控制部分180將以預(yù)定幀速率從HDR組合部分174中輸出的組合圖像記錄在圖像存儲部分190中作為運動圖像文件(運動圖像內(nèi)容)。例如，通過記錄按鈕上的按壓操作執(zhí)行用于記錄運動圖像的指令操作。圖像存儲部分190基于記錄控制部分180的控制，存儲通過HDR組合部分174組合的HDR組合圖像作為圖像文件(圖像內(nèi)容)。作為圖像存儲部分190，例如可以使用可移除記錄介質(zhì)(一個或多個記錄介質(zhì))，如盤(例如，DVD (數(shù)字多功能盤))或半導(dǎo)體存儲器 (例如，存儲卡)。這些記錄介質(zhì)可以并入成像裝置100中，并且可以從成像裝置100移除。以此方式，成像裝置100利用不同的曝光水平執(zhí)行連續(xù)拍攝若干次，并且對通過拍攝生成的多個捕獲圖像執(zhí)行組合處理，因此生成其從高亮到陰影的明顯動態(tài)范圍被加寬的圖像。在本發(fā)明的第一實施例中，將描述曝光不足圖像用作參考圖像的示例。[組合圖的生成示例]圖2是根據(jù)本發(fā)明第一實施例的、示出輸入亮度和在通過組合圖生成部分171生成組合圖時使用的組合比之間的關(guān)系的圖。該組合比是曝光不足圖像和曝光過度圖像的組合比(兩個圖像的組合比的和為100% )。在圖2所示的曲線圖中，水平軸表示構(gòu)成經(jīng)歷HDR組合的曝光不足圖像的像素的亮度(輸入亮度)，并且垂直軸表示在對曝光不足圖像和曝光過度圖像(或運動物體區(qū)域置換圖像)執(zhí)行HDR組合時使用的組合比?？梢酝ㄟ^曲線圖中的直線200確定對應(yīng)于輸入亮度的組合比。例如，當輸入亮度相對低(暗)時，曝光不足圖像的組合比具有低的值，并且曝光過度圖像的組合比具有高的值。另一方面，當輸入亮度相對高(亮)時，曝光不足圖像的組合比具有高的值，并且曝光過度圖像的組合比具有低的值。這里，將描述組合圖生成部分171生成組合圖的情況。在該情況下，組合圖生成部分171使用圖2所示的曲線圖，根據(jù)像素的亮度確定構(gòu)成從圖像處理部分140輸出的曝光不足圖像的像素的組合比。以此方式，組合圖生成部分171確定構(gòu)成曝光不足圖像的各個像素的組合比，并且利用確定的各個圖像的組合比生成組合圖。在對曝光不足圖像和曝光過度圖像執(zhí)行HDR組合時使用如上所述生成的組合圖。 即，使用構(gòu)成各個圖像的每個像素的組合比，對于每個像素組合經(jīng)歷HDR組合的各個圖像。 將參考圖3以及圖4詳細描述組合方法。[在不同曝光條件下的兩個圖像的組合示例]圖3是根據(jù)本發(fā)明第一實施例的、示意性示出通過圖像組合部分170的圖像組合處理的流程的圖。圖3中的A示出包括站在地面上的人300的曝光不足圖像310和曝光過度圖像320的簡化視圖，其中包括天空和地面作為結(jié)構(gòu)輪廓。這里，曝光不足圖像310和曝光過度圖像320是通過成像部分130在不同曝光條件下連續(xù)捕獲的圖像。此外，這些圖像預(yù)期是在人300的左臂(曝光不足圖像310的左臂301和曝光過度圖像320的左臂302) 正在運動的狀態(tài)下捕獲的圖像。因此，將曝光不足圖像310和曝光過度圖像320相互比較， 因為在各個圖像中人300的左臂正朝向不同位置運動，所以將左臂識別為運動物體。具體地，在曝光不足圖像310中，盡管再現(xiàn)天空(高亮度部分)的灰度，但是人300 看起來暗，并且沒有再現(xiàn)曝光不足圖像310的底部(地面區(qū)域)的低亮度部分的灰度。此外，過度曝光圖像320是過度曝光的圖像，盡管天空的灰度全白并且沒有再現(xiàn)，但是人300被適當?shù)仄毓?，并且還再現(xiàn)了過度曝光圖像320的底部(地面區(qū)域)的低亮度部分的灰度。此外，組合圖生成部分171生成曝光不足圖像310(參考圖像)的組合圖。組合圖生成部分171使用圖2所示的曲線圖，基于各個像素的亮度確定構(gòu)成曝光不足圖像310的各個像素的組合比，并且生成曝光不足圖像310的組合圖。圖3中的B示出通過對曝光不足圖像310和曝光過度圖像320執(zhí)行HDR組合生成的HDR組合圖像的簡化視圖。具體地，HDR組合部分174根據(jù)由組合圖生成部分171生成的組合圖，組合從圖像處理部分140輸出的曝光不足圖像310和曝光過度圖像320以生成 HDR組合圖像330。S卩，HDR組合部分174根據(jù)用于構(gòu)成由組合圖生成部分171生成的組合圖的每個像素的組合比，逐個像素地對曝光不足圖像310和曝光過度圖像320執(zhí)行組合處理以生成HDR組合圖像330。這里，如圖3中的B所示，當根據(jù)由組合圖生成部分171生成的組合圖對每個包括運動物體的曝光不足圖像310和曝光過度圖像320執(zhí)行組合處理時，運動物體在組合圖像中重復(fù)(duplicate)。具體地，因為曝光不足圖像310中包括的左臂301和曝光過度圖像 320中包括的左臂302被組合為HDR組合圖像330，所以人300的左臂的轉(zhuǎn)換包括在HDR組合圖像330中。因此，存在生成的HDR組合圖像330看起來不自然的可能性。因此，在本發(fā)明的第一實施例中，關(guān)于包括運動物體的圖像，在考慮運動物體區(qū)域執(zhí)行運動物體處理后， 執(zhí)行HDR組合處理。將參考圖4詳細描述組合示例。[考慮運動物體區(qū)域的圖像組合示例]圖4是根據(jù)本發(fā)明第一實施例的、示意性示出通過成像裝置100的圖像組合處理的流程的圖。圖4中的A示出包括站在地面上的人300的曝光不足圖像310和曝光過度圖像320的簡化視圖，其中包括天空和地面作為結(jié)構(gòu)輪廓。在曝光不足圖像310中，運動前的人300的左臂(圖4中的A中的左臂301)的區(qū)域描繪為運動物體區(qū)域303，并且運動后的左臂的區(qū)域描繪為運動物體區(qū)域304。類似地，在曝光過度圖像320中，運動前的人300的左臂(圖4中的A中的左臂301)的區(qū)域描繪為運動物體區(qū)域305，并且運動后的左臂的區(qū)域描繪為運動物體區(qū)域306。運動物體區(qū)域303到306的輪廓用粗線描繪。此外，曝光不足圖像310和曝光過度圖像320與圖3中的A所示的曝光不足圖像310和曝光過度圖像320 相同，除了增加表示運動物體區(qū)域303到306的粗線。圖4中的B示出通過增加曝光不足圖像310的曝光水平(增益)生成的增益提高圖像311的簡化圖。如圖4中的B所示，圖像處理部分140通過將由成像部分130生成的曝光不足圖像310的曝光水平增加對應(yīng)于曝光不足圖像310和曝光過度圖像320之間的曝光差的量，生成增益提高圖像311。以此方式，通過對曝光不足圖像310執(zhí)行增益提高處理，可能生成其整個圖像的曝光水平具有與曝光過度圖像320相同亮度水平的增益提高圖像311。然而，在增益提高圖像311中，由于增益提高處理，在與曝光不足圖像310和曝光過度圖像320比較時，噪聲是明顯的。此外，在增益提高圖像311中，對應(yīng)于圖4中的A中所示的曝光不足圖像310的運動物體區(qū)域303和304的區(qū)域用相同參考標號(運動物體區(qū)域 303和304)表示。圖4中的C示出運動物體區(qū)域置換圖像321的簡化圖，該運動物體區(qū)域置換圖像 321通過用增益提高圖像311的運動物體區(qū)域303和304中包括的圖像置換曝光過度圖像 320的運動物體區(qū)域305和306來獲得。
當如上所述生成運動物體區(qū)域置換圖像時，運動物體區(qū)域提取部分172指定要置換的運動物體區(qū)域。具體地，運動物體區(qū)域提取部分172檢測曝光不足圖像310(增益提高圖像311)和曝光過度圖像320中包括的運動物體(人300的左臂301和302)。這里，將描述運動物體檢測方法。例如，可以使用通過將增益提高圖像和具有相同曝光水平的曝光過度圖像相互比較來檢測運動物體的檢測方法。具體地，可以使用這樣的檢測方法，其中通過增益提高圖像311和曝光過度圖像320之間的比較，對于每個像素計算每個圖像的各個像素值的差值，并且其計算的各個像素的差值等于或大于預(yù)定值的區(qū)域檢測為運動物體區(qū)域。此外，可以使用其它運動物體檢測方法。將參考圖7A和7B以及圖8 詳細描述其它運動物體檢測方法。此外，可以通過上述運動物體檢測方法和其它運動物體檢測方法的組合來執(zhí)行運動物體檢測。基于根據(jù)這些檢測方法的檢測結(jié)果，運動物體區(qū)域提取部分172指定增益提高圖像311中的運動物體區(qū)域(包括檢測到的運動物體的區(qū)域)303和304。隨后，運動物體區(qū)域提取部分172從增益提高圖像311提取指定的運動物體區(qū)域303和304中包括的圖像， 并且將提取的圖像輸出到運動物體區(qū)域置換部分173。隨后，運動物體區(qū)域置換部分173用由運動物體區(qū)域提取部分172提取的運動物體區(qū)域中包括的圖像置換(例如，完全置換) 曝光過度圖像320的運動物體區(qū)域305和306，以便生成運動物體區(qū)域置換圖像321。通過如上所述執(zhí)行置換處理，要經(jīng)歷HDR組合處理的曝光不足圖像310和曝光過度圖像(運動物體區(qū)域置換圖像321)中的運動物體變?yōu)榻葡嗤４送?，運動物體區(qū)域置換部分173將生成的運動物體區(qū)域置換圖像321輸出到HDR組合部分174。以此方式，執(zhí)行運動物體處理，其用增益提高圖像的運動物體區(qū)域中包括的圖像置換曝光過度圖像的運動物體區(qū)域，以便生成運動物體區(qū)域置換圖像。通過關(guān)于通過運動物體處理生成的運動物體區(qū)域置換圖像和曝光不足圖像執(zhí)行HDR組合處理，可以防止組合圖像中的運動物體重復(fù)。圖4中的D示出通過對曝光不足圖像310和運動物體區(qū)域置換圖像321執(zhí)行HDR 組合生成的HDR組合圖像的簡化圖。具體地，HDR組合部分174根據(jù)由組合圖生成部分171 生成的組合圖，組合來自圖像處理部分140的曝光不足圖像310和來自運動物體區(qū)域置換部分173的運動物體區(qū)域置換圖像，以便生成HDR組合圖像340。S卩，HDR組合部分174根據(jù)用于構(gòu)成由組合圖生成部分171生成的組合圖的每個像素的組合比，逐個像素地對曝光不足圖像310和運動物體區(qū)域置換圖像321執(zhí)行組合處理，以便生成HDR組合圖像340。在組合時使用的組合圖與在圖3中的B中所示的HDR組合圖像330的組合時使用的組合圖相同。此外，對應(yīng)于人的左臂301和302的運動物體區(qū)域307和308包括在HDR組合圖像340 中。盡管對應(yīng)于人300的左臂301的圖像包括在運動物體區(qū)域307中，但是對應(yīng)于人300 的左臂302的圖像沒有包括在運動物體區(qū)域308中。以此方式，通過根據(jù)由組合圖生成部分171生成的組合圖對每個包括運動物體的曝光不足圖像310和運動物體區(qū)域置換圖像321執(zhí)行組合處理，可以生成其中運動物體不重復(fù)的HDR組合圖像340。具體地，如圖4中的C所示，用增益提高圖像311的運動物體區(qū)域303和304中包括的圖像置換曝光過度圖像320的運動物體區(qū)域305和306，從而生成運動物體區(qū)域置換圖像321。在運動物體區(qū)域置換圖像321中，只包括增益提高圖像311的運動物體區(qū)域303中包括的圖像(圖3中的A所示的曝光不足圖像310中的左臂301)作為運動物體。因此，曝光不足圖像310和曝光過度圖像(運動物體區(qū)域置換圖像321)中的運動物體變得近似相同，并且可以生成看起來自然的HDR組合圖像340。此外，因為如上所述執(zhí)行組合處理，所以靠近運動物體區(qū)域的邊界的圖像和運動物體區(qū)域中包括的圖像可以再現(xiàn)為平滑圖像。以此方式，可以生成沒有重復(fù)的HDR組合圖像340。然而，因為從增益提高圖像311 提取要經(jīng)歷HDR組合的運動物體區(qū)域置換圖像321的運動物體區(qū)域303和304中包括的圖像，所以生成由增益提高處理導(dǎo)致的噪聲。即，在HDR組合圖像340的運動物體區(qū)域307和 308中包括噪聲分量。然而，當ISO靈敏度低并且曝光差小時，預(yù)期這些噪聲分量是不明顯的。此外，當運動物體是不太明顯的被攝體時，更好的是運動物體處理優(yōu)先于噪聲抑制。因此，在下面的描述中，將描述這樣的示例，其中基于成像裝置100的設(shè)置內(nèi)容切換是否執(zhí)行運動物體處理。作為運動物體圖像的置換方法，可以使用這樣的方法，其用通過增加曝光不足圖像的增益獲得的圖像(增益提高圖像)中的運動物體圖像置換對應(yīng)于運動物體圖像的曝光過度圖像的區(qū)域(運動物體區(qū)域)。在該置換方法中，例如執(zhí)行完全置換。作為另一置換方法，可以使用這樣的方法，其根據(jù)曝光過度圖像和增益提高圖像的各個像素的差值，改變增益提高圖像中的運動物體圖像的置換比。在該置換方法中，例如根據(jù)對應(yīng)于各個像素的差值的組合比，用增益提高圖像中的運動物體圖像置換曝光過度圖像的運動物體圖像。此外，可以使用其它置換方法。此外，關(guān)于圖像組合方法，已經(jīng)描述了通過根據(jù)組合圖執(zhí)行組合處理來生成HDR 組合圖像的示例。然而，圖像組合方法不限于該方法，并且可以使用其它圖像組合方法。然而，在該示例中，盡管曝光不足圖像用作參考圖像，但是曝光過度圖像也可用作參考圖像。此外，可以根據(jù)用戶操作指定參考圖像。[基于曝光差和ISO靈敏度的運動物體處理的必要性的確定示例]圖5是根據(jù)本發(fā)明第一實施例的、示出用于確定通過運動物體處理確定部分160 的運動物體處理的必要性的確定標準的圖。圖5示出當經(jīng)歷HDR組合處理的曝光不足圖像和曝光過度圖像之間的曝光差以及ISO靈敏度用作確定標準時、曝光差和ISO靈敏度之間的關(guān)系的示例。在圖5所示的曲線圖中，水平軸表示由靈敏度設(shè)置部分121設(shè)置的ISO靈敏度，并且垂直軸表示由曝光差設(shè)置部分122設(shè)置的曝光差。這里，當運動物體處理確定部分160確定運動物體處理的必要性時，確定靈敏度設(shè)置部分121和曝光差設(shè)置部分122的設(shè)置內(nèi)容是否包括在圖5所示的運動物體處理優(yōu)選區(qū)域210(由虛線矩形指定的區(qū)域)中。當靈敏度設(shè)置部分121和曝光差設(shè)置部分122的設(shè)置內(nèi)容包括在運動物體處理優(yōu)選區(qū)域210中時，確定運動物體處理確定部分160執(zhí)行運動物體處理。另一方面，當靈敏度設(shè)置部分121和曝光差設(shè)置部分122的設(shè)置內(nèi)容沒有包括在運動物體處理優(yōu)選區(qū)域210中時，確定運動物體處理確定部分160不執(zhí)行運動物體處理。即，當設(shè)置內(nèi)容包括在不同于運動物體處理優(yōu)選區(qū)域210的區(qū)域(例如，無噪聲優(yōu)選區(qū)域)中時，確定不執(zhí)行運動物體處理。此外，運動物體處理確定部分160將確定結(jié)果輸出到運動物體區(qū)域提取部分172、運動物體區(qū)域置換部分173和HDR組合部分174。例如，ISO靈敏度在1600內(nèi)以及曝光差在3EV內(nèi)的區(qū)域可以設(shè)為運動物體處理優(yōu)選區(qū)域210。即，當通過靈敏度設(shè)置部分121設(shè)置相對低的ISO靈敏度并且通過曝光差設(shè)置部分122設(shè)置相對小的曝光差時，確定運動物體處理確定部分160執(zhí)行運動物體處理。以此方式，只有在設(shè)置相對低的ISO靈敏度以及設(shè)置相對小的曝光差時才執(zhí)行運動物體處理，并且使用通過運動物體處理生成的運動物體區(qū)域置換圖像生成HDR組合圖像。以此方式，當預(yù)期HDR組合圖像的運動物體區(qū)域中包括的噪聲量已經(jīng)增加到干擾程度時，在不執(zhí)行運動物體處理的情況下生成HDR組合圖像，以便使無噪聲處理優(yōu)先。另一方面，當預(yù)期HDR組合圖像的運動物體區(qū)域中包括的噪聲量沒有達到干擾程度時，使用通過運動物體處理生成的運動物體區(qū)域置換圖像生成HDR組合圖像，以便使防止重復(fù)優(yōu)先。以此方式，可以根據(jù)噪聲量的增加/減少生成適當?shù)腍DR組合圖像。圖5所示的運動物體處理優(yōu)選區(qū)域210是簡化示例，以便使其容易理解，并且對應(yīng)于其它值的區(qū)域可以設(shè)置并用作運動物體處理優(yōu)選區(qū)域。此外，可以通過用戶操作設(shè)置這些值。[基于臉部檢測結(jié)果的運動物體處理的必要性的確定示例]接著，將描述基于通過臉部檢測部分150的臉部檢測結(jié)果確定運動物體處理的必要性的示例。例如，當捕獲圖像中包括人的臉部時，預(yù)期當人的身體的一部分運動時，該部分變?yōu)檫\動物體的可能性高。因此，當通過臉部檢測部分150檢測到臉部時，確定運動物體處理確定部分160執(zhí)行運動物體處理。另一方面，當沒有通過臉部檢測部分150檢測到臉部時，確定運動物體處理確定部分160不執(zhí)行運動物體處理。此外，運動物體處理確定部分 160將確定結(jié)果輸出到運動物體區(qū)域提取部分172、運動物體區(qū)域置換部分173和HDR組合部分174。以此方式，通過基于通過臉部檢測部分150的臉部檢測結(jié)果確定運動物體處理的必要性，可以考慮運動物體處理的必要性生成HDR組合圖像。[基于曝光模式的設(shè)置內(nèi)容的運動物體處理的必要性的確定示例]接著，將描述基于曝光模式設(shè)置部分123的設(shè)置內(nèi)容確定運動物體處理的必要性的示例。例如，當設(shè)置其中運動物體通常是感興趣的被攝體的曝光模式(特定成像模式) 時，預(yù)期捕獲圖像中包括運動物體的可能性高。該特定成像模式例如可以是運動模式、肖像模式、或?qū)櫸锬Ｊ?。即，當通過曝光模式設(shè)置部分123設(shè)置特定成像模式時，確定運動物體處理確定部分160執(zhí)行運動物體處理。另一方面，當沒有通過曝光模式設(shè)置部分123設(shè)置特定成像模式時，確定運動物體處理確定部分160不執(zhí)行運動物體處理。此外，運動物體處理確定部分160將確定結(jié)果輸出到運動物體區(qū)域提取部分172、運動物體區(qū)域置換部分 173和HDR組合部分174。以此方式，通過基于曝光模式設(shè)置部分123設(shè)置特定成像模式的必要性來確定運動物體處理的必要性，可以考慮運動物體處理的必要性生成HDR組合圖像。此外，運動物體處理確定部分160可以基于設(shè)置特定成像模式的必要性、臉部檢測結(jié)果、以及基于曝光差和ISO靈敏度的運動物體處理的確定結(jié)果，確定運動物體處理的必要性。例如，只有在靈敏度設(shè)置部分121和曝光差設(shè)置部分122的設(shè)置內(nèi)容包括在圖5 所示的運動物體處理優(yōu)選區(qū)域210中、并且通過臉部檢測部分150檢測到臉部時，可以確定執(zhí)行運動物體處理。此外，只有在靈敏度設(shè)置部分121和曝光差設(shè)置部分122的設(shè)置內(nèi)容包括在圖5所示的運動物體處理優(yōu)選區(qū)域210中、并且通過曝光模式設(shè)置部分123設(shè)置特定成像模式時，可以確定執(zhí)行運動物體處理。此外，可以通過用戶操作改變確定標準，使得這些確定標準可以根據(jù)用戶偏好改變。[基于用戶操作的運動物體處理的必要性的確定示例]接著，將描述基于通過操作接收部分110接收的操作內(nèi)容確定運動物體處理的必要性的示例。例如，在通過操作接收部分110接收用于執(zhí)行運動物體處理的指令操作(例如，運動物體處理HDR模式的設(shè)置操作)時，預(yù)期通過用戶優(yōu)先進行運動物體處理。因此， 當通過操作接收部分110接收這樣的指令操作時，確定運動物體處理確定部分160執(zhí)行運動物體處理。另一方面，當沒有通過操作接收部分110接收這樣的指令操作時，確定運動物體處理確定部分160不執(zhí)行運動物體處理。此外，運動物體處理確定部分160將確定結(jié)果輸出到運動物體區(qū)域提取部分172、運動物體區(qū)域置換部分173和HDR組合部分174。以此方式，可以基于用于執(zhí)行運動物體處理的指令操作的存在確定運動物體處理的必要性。以此方式，可以考慮通過用戶的運動物體處理的必要性(將優(yōu)先進行運動物體處理或無噪聲處理)生成HDR組合圖像。通過運動物體處理確定部分160的對運動物體處理的必要性的確定結(jié)果可以顯示在成像裝置100中提供的顯示部分(未示出)上。例如，當通過運動物體處理確定部分 160確定執(zhí)行運動物體處理時，表示確定結(jié)果的指示符(表示確定結(jié)果的運動物體處理圖標)可以顯示在顯示部分上。例如，在接收用于記錄靜態(tài)圖像的指令操作并且完成靜態(tài)圖像的記錄處理后，當通過記錄處理記錄的靜態(tài)圖像自動顯示預(yù)定時段時，上述指示符可以和靜態(tài)圖像一起顯示在顯示部分上。以此方式，用戶可以容易地掌握已經(jīng)使用通過運動物體處理生成的運動物體區(qū)域置換圖像生成HDR組合圖像。[要求運動物體處理的拍攝場景的示例]圖6A到6C是根據(jù)本發(fā)明第一實施例的、示出在使用成像裝置100生成捕獲圖像時獲得的拍攝場景的簡化圖的圖。圖6A示出在拍攝作為背景的打開的窗戶作為被攝體的情況下、當人在室內(nèi)(人靠近窗戶)時獲得的拍攝場景的示例。在圖6A所示的示例中，預(yù)期窗外的陽光強烈并且窗戶圍繞的區(qū)域相對亮，而不同于窗口圍繞的區(qū)域的內(nèi)部相對暗。此外，預(yù)期靠近窗戶的人的左臂運動并且被識別為運動物體。圖6B示出在拍攝以山為背景站立的人作為被攝體時獲得的拍攝場景的示例。在圖6B所示的示例場景中，因為以山為背景站立的人處于逆光狀態(tài)，所以預(yù)期背景相對亮， 而對應(yīng)于人的區(qū)域相對暗。此外，預(yù)期處于逆光狀態(tài)的人的右臂運動并被識別為運動物體。圖6C示出當拍攝黃昏時的山作為被攝體時獲得的拍攝場景的示例。在圖6C所示的示例場景中，因為是黃昏，所以預(yù)期靠近太陽的區(qū)域相對亮，而遠離太陽的其它區(qū)域相對暗。此外，預(yù)期在山前的地面上存在的狗運動并被識別為運動物體。因為這些各自的拍攝場景是具有大的亮度差的場景，所以預(yù)期成像裝置100中提供的成像器件不具有足夠的動態(tài)范圍。因此，如上所述，可以通過HDR組合處理生成具有寬的動態(tài)范圍的HDR組合圖像。此外，運動物體(圖6A和6B中所示的人的手臂和圖6C中所示的狗)包括在這些各自的拍攝場景中。因此，通過對這些各自的拍攝場景執(zhí)行上述運動物體處理，可以防止運動物體在對應(yīng)于運動物體的區(qū)域(運動物體區(qū)域)中重復(fù)。此外， 因為在執(zhí)行上述運動物體處理后執(zhí)行HDR組合處理，所以靠近運動物體區(qū)域的邊界的圖像和運動物體區(qū)域中包括的圖像可以再現(xiàn)為平滑圖像，并且可以考慮運動物體生成適當?shù)腍DR組合圖像。[運動物體檢測的修改示例]圖7A和7B是根據(jù)本發(fā)明第一實施例的、示意性示出通過運動物體區(qū)域提取部分 172的運動物體檢測處理的流程的圖。因為圖7A和7B所示的示例是上述運動物體檢測處理的修改示例，所以省略一些相同部分的描述。圖7A示出包括站在地面上的人300的圖像350和圖像360的簡化視圖，其中包括天空和地面作為結(jié)構(gòu)輪廓。假設(shè)圖像350對應(yīng)于圖4中的B所示的增益提高圖像311，并且圖像360對應(yīng)于圖4中的A(圖3中的A)所示的曝光過度圖像320。此外，在圖7A和7B 所示的示例中，省略圖像的顏色以便使其更容易理解。這里，將描述運動物體檢測方法。如上所述，可以通過將增益提高圖像和具有相同曝光水平的曝光過度圖像相互比較來檢測運動物體。具體地，通過圖像(增益提高圖像)350和圖像(曝光過度圖像)360之間的比較，對于每個像素計算每個圖像的各個像素值的差值，并且檢測其各個像素的差值等于或大于預(yù)定值的區(qū)域作為運動物體區(qū)域。在該情況下，例如如果構(gòu)成區(qū)域的各個像素的差值小于預(yù)定值，則該區(qū)域不被檢測為運動物體區(qū)域預(yù)期，即使區(qū)域包括在運動物體區(qū)域中。例如，假設(shè)對應(yīng)于圖像(增益提高圖像)350的人300的左臂301的區(qū)域中包括的區(qū)域351的各個像素的差值小于預(yù)定值。此外，假設(shè)對應(yīng)于圖像(曝光過度圖像)360的人 300的左臂302的區(qū)域中包括的區(qū)域361的各個像素的差值小于預(yù)定值。在該情況下，在上述運動物體檢測處理中，圖像350的區(qū)域351和圖像360的區(qū)域361不被檢測為運動物體區(qū)域。因此，在該示例中，當其中各個像素的差值小于預(yù)定值的區(qū)域存在于其中通過兩個圖像的比較計算的各個像素的差值等于或大于預(yù)定值的區(qū)域中、并且滿足預(yù)定條件時， 該區(qū)域被檢測為運動物體區(qū)域。例如，該預(yù)定條件可以是這樣的條件，即，其中差值等于或大于預(yù)定值的區(qū)域是封閉區(qū)域，并且其中差值小于預(yù)定值的區(qū)域的大小小于預(yù)定大小。例如，假設(shè)圖7A所示的圖像350的區(qū)域351的大小和圖像360的區(qū)域361的大小小于預(yù)定大小。此外，包括區(qū)域351的區(qū)域(對應(yīng)于左臂301的區(qū)域)是封閉區(qū)域，并且包括區(qū)域361的區(qū)域(對應(yīng)于左臂302的區(qū)域)是封閉區(qū)域。因此，因為區(qū)域351和361滿足上述預(yù)定條件，所以它們被檢測為運動物體區(qū)域。圖7B示意性示出通過運動物體區(qū)域提取部分172的運動物體區(qū)域的確定結(jié)果。在圖7B中，作為通過運動物體區(qū)域提取部分172的運動物體區(qū)域的確定結(jié)果，通過圖像350 和360之間的比較檢測的運動物體區(qū)域被描繪為用圖像370中的粗體輪廓(運動物體區(qū)域 371和372)包圍。在圖像370中，對應(yīng)于圖7A中所示的區(qū)域351和361的輪廓用虛線描
fe ο以此方式，即使在其中通過兩個圖像之間的比較計算的各個像素的差值不等于或大于預(yù)定值的區(qū)域滿足預(yù)定條件時，該區(qū)域也可以被檢測為運動物體區(qū)域。以此方式，因為可以改進運動物體檢測的精度，所以可以更適當?shù)厣蒆DR組合圖像。[使用臉部檢測結(jié)果的運動物體檢測示例]上面，已經(jīng)描述了通過運動物體區(qū)域提取部分172檢測運動物體的示例。這里，當捕獲圖像中包括臉部時，通過臉部檢測部分150檢測臉部。此外，即使在臉部正在運動時，通過臉部檢測部分150順序地檢測運動后的臉部。因此，當運動物體是臉部時，可以使用通過臉部檢測部分150的臉部檢測結(jié)果執(zhí)行運動物體檢測。在下面的描述中，將描述使用臉部檢測結(jié)果執(zhí)行運動物體檢測的示例。圖8是根據(jù)本發(fā)明第一實施例的、示意性示出通過臉部檢測部分150的運動物體檢測處理的流程的圖。假設(shè)圖8所示的圖像411到414是通過成像部分130連續(xù)生成的捕獲圖像(參考圖像(例如，曝光不足圖像))，并且包括運動的人400。此外，在圖像411到 414中，假設(shè)通過臉部檢測部分150順序地檢測人400的臉部401。為了使得描述容易理解， 在圖8所示的圖像411到414中，人400的運動量描繪為相對大。這里，將描述基于臉部檢測結(jié)果的運動物體檢測方法。如上所述，當通過臉部檢測部分150檢測臉部時，檢測經(jīng)歷檢測處理的圖像的臉部信息(臉部的位置和大小)。因此， 當檢測到臉部時，臉部檢測部分150保持關(guān)于臉部的臉部信息。此外，當從經(jīng)歷隨后的臉部檢測處理的圖像中檢測臉部時，臉部檢測部分150比較與臉部有關(guān)的臉部信息和保持的臉部信息。通過比較，可以確定臉部區(qū)域是否已經(jīng)運動。例如，當通過臉部檢測部分150檢測圖像411中的人400的臉部401時，檢測圖像 411的臉部信息((圖4中的A中的虛線矩形421描繪的)臉部401的位置和大小)。因此， 臉部檢測部分150保持與臉部401有關(guān)的臉部信息(虛線矩形421)。隨后，因為從經(jīng)歷隨后的臉部檢測處理的圖像412檢測到臉部401，所以臉部檢測部分150將與臉部401有關(guān)的 (圖4中的B中的虛線矩形422描繪的)臉部信息和其中保持的臉部信息(虛線矩形421) 相互比較。通過比較，因為確定臉部區(qū)域正如箭頭432所示運動，所以臉部檢測部分150確定人400的臉部401作為運動物體。此外，臉部檢測部分150將確定結(jié)果輸出到運動物體處理確定部分160和運動物體區(qū)域提取部分172作為運動物體檢測信息(例如，運動前后的臉部401的位置和大小(虛線矩形421和42 )。運動物體處理確定部分160和運動物體區(qū)域提取部分172能夠使用運動物體檢測信息執(zhí)行上述各種處理。此外。類似地，通過臉部檢測部分150對圖像413和414執(zhí)行運動物體檢測處理。在該示例中，盡管已經(jīng)描述了檢測臉部作為運動物體的示例，但是可以通過經(jīng)由圖像識別處理順序地檢測其它物體(例如，人的身體部分)來執(zhí)行運動物體檢測。此外，例如可以使用Lucas-Kanade方法、塊匹配方法等執(zhí)行運動物體檢測。臉部檢測部分150是權(quán)利要求中描述的運動物體檢測部分的示例。此外，運動物體區(qū)域提取部分172比較通過增益提高圖像和曝光過度圖像之間的比較的運動物體檢測的結(jié)果和來自臉部檢測部分150的運動物體檢測的結(jié)果，從而可以改進運動物體檢測的精度。[成像裝置的操作示例]圖9是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置100的組合圖像生成處理的處理過程的示例的圖。在該示例中，基于ISO靈敏度和曝光差的設(shè)置內(nèi)容是否在預(yù)定標準的范圍內(nèi)，確定運動物體處理的必要性。此外，在該示例中，將描述在基于用戶操作記錄靜態(tài)圖像時的組合圖像的生成示例。首先，確定是否接收用于記錄靜態(tài)圖像的指令操作(例如，對快門按鈕的按壓操作)(步驟S901)。當沒有接收用于記錄靜態(tài)圖像的指令操作時，繼續(xù)執(zhí)行監(jiān)視。另一方面， 當接收用于記錄靜態(tài)圖像的指令操作時(步驟S901)，生成在不同曝光條件下的多個捕獲圖像(曝光不足和曝光過度圖像)(步驟S902)。隨后，圖像處理部分140對生成的捕獲圖像執(zhí)行各種圖像處理(步驟S9(X3)。隨后，圖像處理部分140根據(jù)由曝光差設(shè)置部分122設(shè)置的曝光差對參考圖像執(zhí)行曝光水平轉(zhuǎn)換處理，以便生成曝光水平轉(zhuǎn)換后圖像(步驟S904)。例如，圖像處理部分140根據(jù)由曝光差設(shè)置部分122設(shè)置的曝光差關(guān)于曝光不足圖像執(zhí)行增益提高處理，以生成增益提高圖像(步驟S904)。隨后，組合圖生成部分171基于參考圖像生成捕獲圖像(曝光不足和曝光過度圖像)的組合圖(步驟S905)。隨后，運動物體區(qū)域提取部分172分析捕獲圖像(曝光不足和曝光過度圖像)，以便確定這些圖像中是否包括運動物體(步驟S906)。當在捕獲圖像中包括運動物體時(步驟S906)，運動物體處理確定部分160確定靈敏度設(shè)置部分121和曝光差設(shè)置部分122的設(shè)置內(nèi)容是否在預(yù)定標準內(nèi)(步驟S907)。當設(shè)置內(nèi)容在預(yù)定標準的范圍外時(步驟S907)，流程進行到步驟S911。另一方面，當設(shè)置內(nèi)容在預(yù)定標準的范圍內(nèi)時 (步驟S907)，運動物體區(qū)域提取部分172從曝光水平轉(zhuǎn)換后圖像提取包括檢測的運動物體的區(qū)域(運動物體區(qū)域)中包括的圖像(步驟S908)。例如，運動物體區(qū)域提取部分172從增益提高圖像提取運動物體圖像(步驟S908)。步驟S904和S908是權(quán)利要求中描述的轉(zhuǎn)換步驟的示例。隨后，運動物體區(qū)域置換部分173用運動物體圖像置換不同于參考圖像的其它捕獲圖像中的運動物體區(qū)域，以便生成運動物體區(qū)域置換圖像(步驟S909)。例如，運動物體區(qū)域置換部分173用運動物體圖像置換曝光過度圖像中的運動物體區(qū)域，以便生成運動物體區(qū)域置換圖像(步驟S909)。隨后，HDR組合部分174基于組合圖對參考圖像(例如，曝光不足圖像)和運動物體區(qū)域置換圖像執(zhí)行HDR組合處理，以便生成HDR組合圖像(步驟 S910)。步驟S909是權(quán)利要求中描述的置換步驟的示例。此外，步驟S910是權(quán)利要求中描述的組合步驟的示例。此外，當捕獲圖像中不包括運動物體時(步驟S906)，HDR組合部分174基于組合圖對捕獲圖像(曝光不足和曝光過度圖像)執(zhí)行HDR組合處理，以便生成HDR組合圖像(步驟 S911)。隨后，記錄控制部分180將生成的HDR組合圖像記錄在圖像存儲部分190中作為靜態(tài)圖像文件(靜態(tài)圖像內(nèi)容)(步驟S912)。在該示例中，盡管描述了通過捕獲圖像(增益提高圖像和曝光過度圖像)的分析在步驟S906中執(zhí)行運動物體檢測的示例，但是可以通過其它運動物體檢測方法執(zhí)行運動物體檢測。在該情況下，例如步驟S904中的曝光水平轉(zhuǎn)換處理可以就在步驟S907之前或就在步驟S908之前執(zhí)行。圖10是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置100的組合圖像生成處理的處理過程的示例的圖。該處理過程是圖9的修改示例，并且與圖9不同在于基于是否從捕獲圖像檢測到臉部確定運動物體處理的必要性。此外，因為其它各點與圖9的那些相同，所以與圖9的那些相同的部分將用相同參考標號表示，并且將省略其描述。當捕獲圖像中包括運動物體時(步驟S906)，運動物體處理確定部分160確定是否從捕獲圖像中檢測到臉部(步驟S921)。當沒有從捕獲圖像中檢測到臉部時(步驟S921)， 流程進行到步驟S911。另一方面，當從捕獲圖像中檢測到臉部時(步驟S921)，流程進行到步驟S908。
圖11是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置100的組合圖像生成處理的處理過程的示例的圖。該處理過程是圖9的修改示例，并且與圖9不同在于基于是否將特定成像模式設(shè)為曝光模式來確定運動物體處理的必要性。此外，因為其它各點與圖9的那些相同，所以與圖9的那些相同的部分將用相同參考標號表示，并且將省略其描述。當捕獲圖像中包括運動物體時(步驟S906)，運動物體處理確定部分160確定是否將特定成像模式設(shè)為曝光模式(步驟S931)。例如，曝光模式設(shè)置部分123確定是否設(shè)置特定成像模式(例如，運動模式、肖像模式或?qū)櫸锬Ｊ?。當沒有將特定成像模式設(shè)為曝光模式時(步驟S931)，流程進行到步驟S911。另一方面，當將特定成像模式設(shè)為曝光模式時 (步驟S931)，流程進行到步驟S908。圖12是根據(jù)本發(fā)明第一實施例的、示出通過成像裝置100的組合圖像生成處理的處理過程的示例的圖。該處理過程是圖9的修改示例，并且與圖9不同在于基于是否設(shè)置其中執(zhí)行運動物體處理的成像模式(例如，運動物體處理HDR模式)來確定運動物體處理的必要性。此外，因為其它各點與圖9的那些相同，所以與圖9的那些相同的部分將用相同參考標號表示，并且將省略其描述。當捕獲圖像中包括運動物體時(步驟S906)，運動物體處理確定部分160確定是否設(shè)置其中執(zhí)行運動物體處理的成像模式(例如，運動物體處理HDR模式)(步驟S941)。 例如，操作接收部分110確定是否接收運動物體處理HDR模式的設(shè)置操作。當沒有設(shè)置其中執(zhí)行運動物體處理的成像模式時(步驟S941)，流程進行到步驟S911。另一方面，當設(shè)置其中執(zhí)行運動物體處理的成像模式時(步驟S941)，流程進行到步驟S908。<2.第二實施例>在本發(fā)明第一實施例中，已經(jīng)描述了兩個捕獲圖像(曝光不足和曝光過度圖像) 用作經(jīng)歷HDR組合處理的捕獲圖像的示例。這里，可以關(guān)于在不同曝光條件下的三個或更多捕獲圖像用作經(jīng)歷HDR組合處理的捕獲圖像的情況類似地執(zhí)行上述HDR組合處理。因此， 在本發(fā)明的第二實施例中，將描述在生成HDR組合圖像時使用在不同曝光條件下的三個或更多捕獲圖像執(zhí)行HDR組合處理的示例。根據(jù)本發(fā)明第二實施例的成像裝置的功能配置大致與圖1所示的示例配置相同。因此，與本發(fā)明第一實施例相同的部分將用相同參考標號表示，并且將省略一些描述。[組合圖的生成示例]圖13是根據(jù)本發(fā)明第二實施例的、示出輸入亮度和在通過組合圖生成部分171生成組合圖時使用的組合比之間的關(guān)系的圖。該組合比是曝光不足圖像、中等曝光圖像和曝光過度圖像的組合比(三個圖像的組合比的和為100% )。這里，曝光不足圖像、中等曝光圖像和曝光過度圖像是在不同曝光條件下連續(xù)生成的三個圖像。此外，在圖13所示的示例中，曝光不足圖像用作參考圖像。此夕卜，圖13所示的曲線圖大致與圖2所示的曲線圖相同，除了示出直線201和202 代替圖2所示的直線200。因此，將省略與圖2所示的曲線圖的那些相同的部分的描述。在圖13所示的曲線圖中，水平軸表示構(gòu)成經(jīng)歷HDR組合的曝光不足圖像的像素的亮度(輸入亮度)。此外，垂直軸表示在對曝光不足圖像、中等曝光圖像(或運動物體區(qū)域置換圖像)和曝光過度圖像(或運動物體區(qū)域置換圖像)執(zhí)行HDR組合時使用的組合比。 可以通過曲線圖中的直線201和202確定對應(yīng)于輸入亮度的組合比。
這里，將描述組合圖生成部分171生成組合圖的情況。在該情況下，組合圖生成部分171使用圖13所示的曲線圖，根據(jù)像素的亮度確定構(gòu)成從圖像處理部分140輸出的曝光不足圖像的像素的組合比。以此方式，組合圖生成部分171確定構(gòu)成曝光不足圖像的各個像素的組合比。該組合比是在組合曝光不足圖像、中等曝光圖像和曝光過度圖像時的三個圖像的組合比。然后，利用確定的各個圖像的組合比生成組合圖。在對曝光不足圖像、中等曝光圖像和曝光過度圖像執(zhí)行HDR組合時使用如上所述生成的組合圖。即，使用構(gòu)成各個圖像的每個像素的組合比，對于每個像素組合經(jīng)歷HDR組合的各個圖像。將參考圖14詳細描述組合方法。[在不同曝光條件下的三個圖像的組合示例]圖14是根據(jù)本發(fā)明第二實施例的、示意性示出通過圖像組合部分170的圖像組合處理的流程的圖。圖14所示的示例是圖4所示的圖像組合處理的修改示例，并且與圖4所示的圖像組合處理不同在于是三個圖像經(jīng)歷組合。因此，在下面的描述中，將省略與圖4所示的圖像組合處理的那些相同的部分的描述。圖14所示的曝光不足圖像500、中等曝光圖像510和曝光過度圖像520是在不同曝光條件下連續(xù)生成的圖像。此外，假設(shè)在曝光不足圖像500、中等曝光圖像510和曝光過度圖像520中包括運動物體。曝光不足圖像500和曝光過度圖像520分別對應(yīng)于圖4所示的曝光不足圖像310和曝光過度圖像320。此外，假設(shè)中等曝光圖像510是利用曝光不足圖像500和曝光過度圖像520的中間曝光水平生成的圖像。圖14中所示的各個圖像示意性地描繪為其中插入表示圖像的符號的矩形。在圖14所示的示例中，曝光不足圖像500用作參考圖像。首先，使用曝光不足圖像500和中等曝光圖像510生成運動物體區(qū)域置換圖像 511。具體地，通過增加曝光不足圖像500的曝光水平(增益提高)以便符合中等曝光圖像 510來生成增益提高圖像501。S卩，圖像處理部分140通過將由成像部分130生成的曝光不足圖像500的曝光水平增加對應(yīng)于曝光不足圖像500和中等曝光圖像510之間的曝光差的量，生成增益提高圖像501。以此方式，通過對曝光不足圖像500執(zhí)行增益提高處理，可能生成其整個圖像的曝光水平具有與中等曝光圖像510相同亮度水平的增益提高圖像501。隨后，運動物體區(qū)域提取部分172檢測增益提高圖像501和中等曝光圖像510中包括的運動物體，并且指定增益提高圖像501中的運動物體區(qū)域(包括檢測的運動物體的區(qū)域)。隨后，運動物體區(qū)域提取部分172從增益提高圖像501提取指定的運動物體區(qū)域中包括的圖像，并且將提取的圖像輸出到運動物體區(qū)域置換部分173。隨后，運動物體區(qū)域置換部分173用通過運動物體區(qū)域提取部分172提取的運動物體區(qū)域中包括的圖像置換中等曝光圖像510的運動物體區(qū)域(對應(yīng)于其中從增益提高圖像501提取圖像的運動物體區(qū)域的區(qū)域)，以便生成運動物體區(qū)域置換圖像511。隨后，使用曝光不足圖像500和曝光過度圖像520生成運動物體區(qū)域置換圖像 521。具體地，通過增加曝光不足圖像500的曝光水平(增益提高)以便符合曝光過度圖像 520來生成增益提高圖像502。S卩，圖像處理部分140通過將由成像部分130生成的曝光不足圖像500的曝光水平增加對應(yīng)于曝光不足圖像500和曝光過度圖像520之間的曝光差的量，生成增益提高圖像502。以此方式，通過對曝光不足圖像500執(zhí)行增益提高處理，可能生成其整個圖像的曝光水平具有與曝光過度圖像520相同亮度水平的增益提高圖像502。
隨后，運動物體區(qū)域提取部分172檢測增益提高圖像502和曝光過度圖像520中包括的運動物體，并且指定增益提高圖像502中的運動物體區(qū)域。隨后，運動物體區(qū)域提取部分172從增益提高圖像502提取指定的運動物體區(qū)域中包括的圖像，并且將提取的圖像輸出到運動物體區(qū)域置換部分173。隨后，運動物體區(qū)域置換部分173用通過運動物體區(qū)域提取部分172提取的運動物體區(qū)域中包括的圖像置換曝光過度圖像520的運動物體區(qū)域， 以便生成運動物體區(qū)域置換圖像521。通過如上所述執(zhí)行置換處理，要經(jīng)歷HDR組合處理的曝光不足圖像500、運動物體區(qū)域置換圖像(中等曝光圖像)511、和運動物體區(qū)域置換圖像(曝光過度圖像)521中的運動物體變得大致相同。隨后，HDR組合部分174根據(jù)由組合圖生成部分171生成的組合圖，組合曝光不足圖像500、運動物體區(qū)域置換圖像511和運動物體區(qū)域置換圖像521，以便生成HDR組合圖像530。在該示例中，盡管在生成運動物體區(qū)域置換圖像511后生成運動物體區(qū)域置換圖像 521，但是生成這些圖像的順序可以改變。例如，可以同時生成運動物體區(qū)域置換圖像511 和521，并且可以在生成運動物體區(qū)域置換圖像521之后生成運動物體區(qū)域置換圖像511。在上述示例中，其曝光水平最低的圖像(曝光不足圖像)用作參考圖像，將參考圖像轉(zhuǎn)換為符合其曝光水平高的圖像的圖像以生成轉(zhuǎn)換圖像，并且置換轉(zhuǎn)換圖像的運動物體圖像以便生成運動物體區(qū)域置換圖像。然而，可以使用具有不同曝光水平的圖像作為參考圖像來生成運動物體區(qū)域置換圖像。因此，在下面的描述中，將描述使用中等曝光圖像作為參考圖像來生成運動物體區(qū)域置換圖像、從而生成HDR組合圖像的示例。圖15是根據(jù)本發(fā)明第二實施例的、示意性示出通過圖像組合部分170的圖像組合處理的流程的圖。圖15所示的示例是圖14所示的圖像組合處理的修改示例，并且與圖14 所示的圖像組合處理的不同在于中等曝光圖像用作參考圖像。因此，在下面的描述中，將省略與圖14所示的圖像組合處理的那些相同的部分的一些描述。圖15所示的曝光不足圖像500、中等曝光圖像510和曝光過度圖像520與圖14所示的各個圖像相同。這里，在圖15所示的示例中，因為中等曝光圖像510用作參考圖像，所以組合圖生成部分171根據(jù)像素的亮度確定構(gòu)成中等曝光圖像510的像素的組合比，以便生成組合圖。將省略用于生成組合圖的曲線圖的圖示。首先，使用曝光不足圖像500和中等曝光圖像510生成運動物體區(qū)域置換圖像 505。具體地，通過減少中等曝光圖像510的曝光水平(增益下降)以便符合曝光不足圖像 500來生成增益下降圖像515。S卩，圖像處理部分140通過將由成像部分130生成的中等曝光圖像510的曝光水平減少對應(yīng)于曝光不足圖像500和中等曝光圖像510之間的曝光差的量，生成增益下降圖像515。以此方式，通過對中等曝光圖像510執(zhí)行增益下降處理，可能生成其整個圖像的曝光水平具有與曝光不足圖像500相同亮度水平的增益下降圖像515。隨后，運動物體區(qū)域提取部分172檢測增益下降圖像515和曝光不足圖像510中包括的運動物體，并且指定增益下降圖像515中的運動物體區(qū)域。隨后，運動物體區(qū)域提取部分172從增益下降圖像515提取指定的運動物體區(qū)域中包括的圖像，并且將提取的圖像輸出到運動物體區(qū)域置換部分173。隨后，運動物體區(qū)域置換部分173用通過運動物體區(qū)域提取部分172提取的運動物體區(qū)域中包括的圖像置換曝光不足圖像510的運動物體區(qū)域， 以便生成運動物體區(qū)域置換圖像505。
隨后，使用中等曝光圖像510和曝光過度圖像520生成運動物體區(qū)域置換圖像 525。具體地，通過增加中等曝光圖像510的曝光水平(增益提高)以便符合曝光過度圖像 520來生成增益提高圖像516。S卩，圖像處理部分140通過將由成像部分130生成的中等曝光圖像510的曝光水平增加對應(yīng)于中等曝光圖像510和曝光過度圖像520之間的曝光差的量，生成增益提高圖像516。以此方式，通過對中等曝光圖像510執(zhí)行增益提高處理，可能生成其整個圖像的曝光水平具有與曝光過度圖像520相同亮度水平的增益提高圖像516。隨后，運動物體區(qū)域提取部分172檢測增益提高圖像516和曝光過度圖像520中包括的運動物體，并且指定增益提高圖像516中的運動物體區(qū)域。隨后，運動物體區(qū)域提取部分172從增益提高圖像516提取指定的運動物體區(qū)域中包括的圖像，并且將提取的圖像輸出到運動物體區(qū)域置換部分173。隨后，運動物體區(qū)域置換部分173用通過運動物體區(qū)域提取部分172提取的運動物體區(qū)域中包括的圖像置換曝光過度圖像520的運動物體區(qū)域， 以便生成運動物體區(qū)域置換圖像525。通過如上所述執(zhí)行置換處理，要經(jīng)歷HDR組合處理的運動物體區(qū)域置換圖像(中等曝光圖像)505、中等曝光圖像510、和運動物體區(qū)域置換圖像(曝光過度圖像)525中的運動物體變得大致相同。隨后，HDR組合部分174根據(jù)由組合圖生成部分171生成的組合圖，組合運動物體區(qū)域置換圖像505、中等曝光圖像510和運動物體區(qū)域置換圖像525，以便生成HDR組合圖像M0。在該示例中，盡管在生成運動物體區(qū)域置換圖像505后生成運動物體區(qū)域置換圖像 525，但是生成這些圖像的順序可以改變。例如，可以同時生成運動物體區(qū)域置換圖像505 和525，并且可以在生成運動物體區(qū)域置換圖像525之后生成運動物體區(qū)域置換圖像505。在上述示例中，盡管在組合三個圖像時將曝光不足圖像或中等曝光圖像用作參考圖像，但是曝光過度圖像也可用作參考圖像。此外，成像裝置100可以根據(jù)拍攝場景從三個圖像中自動確定最優(yōu)參考圖像。例如，通過三個生成的圖像的亮部分或暗部分的比較(具體地，全白或全黑的出現(xiàn)狀態(tài)的比較)，可以確定最優(yōu)參考圖像。此外，可以通過用戶操作指定最優(yōu)參考圖像。此外，在本發(fā)明實施例中，盡管已經(jīng)描述了組合兩個或三個圖像的情況，但是本發(fā)明的實施例可應(yīng)用于組合四個或更多圖像的情況。此外，可以通過用戶操作設(shè)置要組合的圖像的數(shù)量和參考圖像的至少一個。此外，在本發(fā)明實施例中，已經(jīng)描述了在成像時執(zhí)行HDR組合處理的示例。然而， 在不同曝光條件下的多個捕獲圖像(例如，曝光不足和曝光過度圖像)可以記錄在記錄介質(zhì)上而不對捕獲圖像執(zhí)行HDR組合處理，并且可以在再現(xiàn)記錄介質(zhì)上記錄的捕獲圖像時執(zhí)行HDR組合處理。在該情況下，例如可以根據(jù)用戶操作執(zhí)行HDR組合處理，并且圖像處理裝置(例如，再現(xiàn)裝置)可以自動地執(zhí)行HDR組合處理。在該情況下，可以基于是否執(zhí)行上述運動物體處理的確定結(jié)果執(zhí)行HDR組合處理。此外，本發(fā)明的實施例可應(yīng)用于如具有成像能力的便攜式電話、個人計算機、視頻系統(tǒng)或編輯裝置的圖像處理裝置。此外，在本發(fā)明的實施例中，盡管描述人的臉部作為要檢測的特定對象物體的物體示例，但是本發(fā)明的實施例可應(yīng)用于不同于人的臉部的其它物體。例如，如哺乳動物、爬行動物或魚的各種動物(例如狗、貓、馬和牛)；汽車或；飛機的特定對象物體可以用作要檢測的物體。示出本發(fā)明的實施例作為用于實現(xiàn)本發(fā)明的示例。如在本發(fā)明的實施例中所提到的，本發(fā)明實施例中的主題與權(quán)利要求中的發(fā)明指定主題具有對應(yīng)關(guān)系。類似地，權(quán)利要求中的發(fā)明指定主題與具有與發(fā)明指定主題相同名稱的本發(fā)明的實施例中的主題具有對應(yīng)關(guān)系。然而，本發(fā)明不限于各實施例，并且可以在范圍內(nèi)進行各種修改而不偏離本發(fā)明的主體內(nèi)容。此外，本發(fā)明實施例中描述的處理過程可以掌握為包括一系列過程的方法。此外， 該一系列過程可以掌握為用于使得計算機執(zhí)行該一系列過程的程序或存儲程序的記錄介質(zhì)。作為記錄介質(zhì)，可以使用CD (致密盤)、MD (迷你盤)、DVD (數(shù)字多功能盤)、存儲卡、藍光盤(注冊商標)等。本申請包含涉及于2010年3月9日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-051861中公開的主題，在此通過引用并入其全部內(nèi)容。本領(lǐng)域的技術(shù)人員應(yīng)該理解，取決于設(shè)計要求和其它因素，可以出現(xiàn)各種修改、組合、子組合和替換，只要它們在權(quán)利要求或其等價物的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，包括轉(zhuǎn)換部分，其轉(zhuǎn)換運動物體圖像，該運動物體圖像是對應(yīng)于構(gòu)成在不同曝光條件下生成的多個圖像的參考圖像和其它圖像中包括的運動物體的區(qū)域中的圖像，使得對應(yīng)于運動物體的參考圖像中的運動物體圖像具有其它圖像的曝光水平，以便對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像；置換部分，其用生成的曝光水平轉(zhuǎn)換后運動物體圖像置換每個其它圖像的對應(yīng)于曝光水平轉(zhuǎn)換后運動物體圖像的區(qū)域，以便為每個其它圖像生成置換圖像，該每個其它圖像對應(yīng)于在生成曝光水平轉(zhuǎn)換后運動物體圖像時用作參考曝光水平的曝光水平；以及組合部分，其將為每個其它圖像生成的置換圖像和參考圖像組合以生成組合圖像。
2.如權(quán)利要求1所述的圖像處理裝置，還包括確定部分，其基于多個圖像的ISO靈敏度和曝光差確定是否生成組合圖像。
3.如權(quán)利要求2所述的圖像處理裝置，其中，當多個圖像的ISO靈敏度低于預(yù)定參考值并且多個圖像的曝光差小于預(yù)定參考值時，確定部分確定要生成組合圖像。
4.如權(quán)利要求1所述的圖像處理裝置，還包括特定對象物體檢測部分，其檢測多個圖像中包括的特定對象物體；以及確定部分，其基于通過特定對象物體檢測部分的確定結(jié)果確定是否生成組合圖像。
5.如權(quán)利要求4所述的圖像處理裝置，其中，特定對象物體檢測部分檢測人的臉部作為特定對象物體，以及其中，當從多個圖像中檢測到人的臉部時，確定部分確定要生成組合圖像。
6.如權(quán)利要求1所述的圖像處理裝置，還包括成像部分，其通過在不同曝光條件下連續(xù)成像相同對象物體若干次來生成所述多個圖像。
7.如權(quán)利要求6所述的圖像處理裝置，還包括模式設(shè)置部分，其根據(jù)被攝體從多個成像模式中設(shè)置成像模式；以及確定部分，其基于設(shè)置的成像模式是否是特定成像模式來確定是否生成組合圖像。
8.如權(quán)利要求7所述的圖像處理裝置，其中，特定成像模式是意圖成像被攝體中作為對象被攝體的運動物體的成像模式，以及其中，當設(shè)置的成像模式是特定成像模式時，確定部分確定要生成組合圖像。
9.如權(quán)利要求1所述的圖像處理裝置，還包括操作接收部分，其接收用于生成組合圖像的指令操作；以及確定部分，其基于是否接收指令操作確定是否生成組合圖像。
10.如權(quán)利要求1所述的圖像處理裝置，其中，轉(zhuǎn)換部分轉(zhuǎn)換參考圖像，使得參考圖像具有其它圖像的曝光水平以生成與其它圖像相關(guān)聯(lián)的曝光水平轉(zhuǎn)換后圖像，并且提取對應(yīng)于曝光水平轉(zhuǎn)換后圖像和其它圖像中包括的運動物體的曝光水平轉(zhuǎn)換后圖像的區(qū)域中的圖像，以便生成與其它圖像相關(guān)聯(lián)的曝光水平轉(zhuǎn)換后運動物體圖像。
11.如權(quán)利要求1所述的圖像處理裝置，還包括運動物體檢測部分，其通過比較參考圖像和其它圖像來檢測多個圖像中包括的運動物體；以及確定部分，其基于通過運動物體檢測部分的運動物體檢測的結(jié)果確定是否生成組合圖像。
12.如權(quán)利要求11所述的圖像處理裝置，其中，確定部分在從多個圖像中檢測到運動物體時確定要生成組合圖像，并且在從多個圖像中沒有檢測到運動物體時確定不生成組合圖像，以及其中，當確定不生成組合圖像時，組合部分組合多個圖像以生成組合圖像。
13.如權(quán)利要求1所述的圖像處理裝置，還包括組合圖生成部分，其生成表示在基于參考圖像生成組合圖像時每個像素的組合比的組合圖，其中，組合部分基于生成的組合圖組合為每個其它圖像生成的置換圖像和參考圖像來生成組合圖像。
14.一種圖像處理方法，包括以下步驟轉(zhuǎn)換運動物體圖像，該運動物體圖像是對應(yīng)于構(gòu)成在不同曝光條件下生成的多個圖像的參考圖像和其它圖像中包括的運動物體的區(qū)域中的圖像，使得對應(yīng)于運動物體的參考圖像中的運動物體圖像具有其它圖像的曝光水平，以便對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像；用生成的曝光水平轉(zhuǎn)換后運動物體圖像置換對應(yīng)于每個其它圖像的曝光水平轉(zhuǎn)換后運動物體圖像的區(qū)域，以便為每個其它圖像生成置換圖像，該每個其它圖像的曝光水平轉(zhuǎn)換后運動物體圖像對應(yīng)于在生成曝光水平轉(zhuǎn)換后運動物體圖像時用作參考曝光水平的曝光水平；以及將為每個其它圖像生成的置換圖像和參考圖像組合以生成組合圖像。
15.一種用于使得計算機執(zhí)行處理的程序，該處理包括以下步驟轉(zhuǎn)換運動物體圖像，該運動物體圖像是對應(yīng)于構(gòu)成在不同曝光條件下生成的多個圖像的參考圖像和其它圖像中包括的運動物體的區(qū)域中的圖像，使得對應(yīng)于運動物體的參考圖像中的運動物體圖像具有其它圖像的曝光水平，以便對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像；用生成的曝光水平轉(zhuǎn)換后運動物體圖像置換對應(yīng)于每個其它圖像的曝光水平轉(zhuǎn)換后運動物體圖像的區(qū)域，以便為每個其它圖像生成置換圖像，該每個其它圖像的曝光水平轉(zhuǎn)換后運動物體圖像對應(yīng)于在生成曝光水平轉(zhuǎn)換后運動物體圖像時用作參考曝光水平的曝光水平；以及將為每個其它圖像生成的置換圖像和參考圖像組合以生成組合圖像。
全文摘要
一種圖像處理裝置，包括轉(zhuǎn)換部分，其轉(zhuǎn)換運動物體圖像，該運動物體圖像是對應(yīng)于構(gòu)成在不同曝光條件下生成的多個圖像的參考圖像和其它圖像中包括的運動物體的區(qū)域中的圖像，使得對應(yīng)于運動物體的參考圖像中的運動物體圖像具有其它圖像的曝光水平，以便對于每個其它圖像生成曝光水平轉(zhuǎn)換后運動物體圖像；置換部分，其用生成的曝光水平轉(zhuǎn)換后運動物體圖像置換每個其它圖像的對應(yīng)于曝光水平轉(zhuǎn)換后運動物體圖像的區(qū)域，以便為每個其它圖像生成置換圖像，該每個其它圖像對應(yīng)于在生成曝光水平轉(zhuǎn)換后運動物體圖像時用作參考曝光水平的曝光水平；以及組合部分，其將為每個其它圖像生成的置換圖像和參考圖像組合以生成組合圖像。
文檔編號H04N5/243GK102196185SQ20111004991
公開日2011年9月21日 申請日期2011年3月2日 優(yōu)先權(quán)日2010年3月9日
發(fā)明者上田敬史, 水口淳 申請人:索尼公司