專利名稱：圖像處理裝置、圖像攝取裝置、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像攝取裝置、圖像處理方法及程序。特別地，本發(fā)明涉及生成具有高動態(tài)范圍(寬動態(tài)范圍)的圖像的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。
背景技術(shù)：
在視頻相機(jī)或數(shù)字靜止相機(jī)中使用的諸如CXD圖像傳感器或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器之類的固態(tài)圖像攝取元件通過蓄積與入射光量一致的電荷并輸出與所蓄積的電荷相對應(yīng)的電信號來執(zhí)行光電轉(zhuǎn)換。然而，可在光電轉(zhuǎn)換元件中蓄積的電荷量是有限的，因此當(dāng)已經(jīng)接收到特定光量時(shí)，達(dá)到飽和水平，于是導(dǎo)致具有特定明度(brightness)以上的被攝體區(qū)域被設(shè)定在飽和亮度(luminance)水平,這是稱為“過曝的 高亮處”(blown out highlights)或者“亮度限幅”(clipping)。為了防止亮度限幅，執(zhí)行處理來與被攝體的亮度等相應(yīng)地控制光電轉(zhuǎn)換元件的電荷蓄積時(shí)段以調(diào)整曝光時(shí)間長度并從而使靈敏度最優(yōu)化。例如，通過使用高快門速度來縮短明亮被攝體的曝光時(shí)間長度，從而減少光電轉(zhuǎn)換元件的電荷蓄積時(shí)段并且在所蓄積的電荷量達(dá)到飽和水平之前輸出電信號。通過執(zhí)行這樣的處理，可以輸出為被攝體正確地再現(xiàn)色調(diào)的圖像。然而，如果在拍攝存在明亮區(qū)域和黑暗區(qū)域兩者的被攝體時(shí)使用高快門速度，曝光時(shí)間長度對于黑暗區(qū)域而言將是不足夠的，這將導(dǎo)致S/N比率的惡化以及圖像質(zhì)量的降低。為了正確地再現(xiàn)包括明亮區(qū)域和黑暗區(qū)域兩者的被攝體的所拍攝圖像中的明亮區(qū)域和黑暗區(qū)域的亮度水平，必需針對圖像傳感器上的入射光較少的像素使用長曝光時(shí)間以實(shí)現(xiàn)聞S/N比率，并針對具有大入射光売的像素執(zhí)行避免飽和的處理。實(shí)現(xiàn)這樣的處理的一種已知方法是以不同的曝光時(shí)間長度來連續(xù)攝取多個(gè)圖像并在隨后組合這些圖像。即，長時(shí)間曝光圖像和短時(shí)間曝光圖像被單獨(dú)并連續(xù)地?cái)z取，并且針對黑暗圖像區(qū)域使用長時(shí)間曝光圖像而針對明亮圖像區(qū)域使用短時(shí)間曝光圖像的、對于長時(shí)間曝光圖像將發(fā)生亮度限幅的組合處理被執(zhí)行來產(chǎn)生單個(gè)圖像。以這種方式，通過組合具有不同曝光時(shí)間的多個(gè)圖像，可以產(chǎn)生具有高動態(tài)范圍而不具有亮度限幅的圖像。上述具有高動態(tài)范圍的拍攝類型稱為“HDR” (高動態(tài)范圍)或“WDR” (寬動態(tài)范圍)拍攝?，F(xiàn)在將描述用于實(shí)現(xiàn)HDR拍攝的數(shù)個(gè)現(xiàn)有技術(shù)。例如，如日本早期公開專利公布Νο·Η02-174470、No. H07-95481 和 No. H11-75118以及 Orly Yadid-Pecht 和 Eric R. Fossum 的 “Wide Intrascene Dynamic Range CMOSAPS Using Dual Sampling，，，IEEE Transactions On Electron Devices, Vol. 44-10,PP. 1721-1723，1997所述，一種生成HDR圖像的方法是攝取具有不同靈敏度的多個(gè)圖像，然后組合這些圖像?，F(xiàn)在將參考圖I和圖2描述使用這種方法的圖像攝取裝置的配置和處理示例。
經(jīng)由圖I所示的圖像攝取裝置的鏡頭101輸入到圖像傳感器(圖像攝取元件)102的入射光經(jīng)歷光電轉(zhuǎn)換而輸出傳感器圖像103。該傳感器圖像103被存儲在真存儲器104中。在圖像攝取期間，圖像攝取裝置連續(xù)地?cái)z取兩個(gè)圖像，即，一個(gè)通過長時(shí)間曝光產(chǎn)生的高靈敏度圖像105和一個(gè)通過短時(shí)間曝光產(chǎn)生的低靈敏度圖像106，將這兩個(gè)圖像存儲在幀存儲器104中，并將這兩個(gè)圖像輸入到位于下游的HDR處理單元107。HDR處理單元107對通過長時(shí)間曝光產(chǎn)生的高靈敏度圖像105和通過短時(shí)間曝光產(chǎn)生的低靈敏度圖像106進(jìn)行組合以生成單個(gè)HDR圖像108。之后，相機(jī)信號處理單元109使得HDR圖像108經(jīng)歷典型相機(jī)中所執(zhí)行的信號處理(例如，白平衡調(diào)整、伽馬校正和去馬賽克處理)以生成輸出圖像110。現(xiàn)在將參考圖2描述這樣的處理的處理序列。在圖2中，在從左到右行進(jìn)的時(shí)間軸上示出了下面列出的各種圖像的生成定時(shí)。
(a)傳感器圖像103的輸出定時(shí)
(b)低靈敏度圖像106的輸出定時(shí)(c)高靈敏度圖像105的輸出定時(shí)(d)HDR圖像108的輸出定時(shí)在時(shí)間tl，低靈敏度圖像#1被攝取并被從圖像傳感器102輸出。在時(shí)間t2，高靈敏度圖像#2被攝取并被從圖像傳感器102輸出。之后，在t3、t4、...，低靈敏度圖像和高靈敏度圖像被交替攝取。在時(shí)間t3，已被攝取的低靈敏度圖像#1和高靈敏度圖像#2被從幀存儲器104輸出到HDR處理單元107，并且通過對這兩個(gè)圖像執(zhí)行組合處理，單個(gè)HDR圖像“#1、#2”被生成。之后，在時(shí)間t5，已被攝取的低靈敏度圖像#3和高靈敏度圖像#4被從幀存儲器104輸出到HDR處理單元107，并且通過對這兩個(gè)圖像執(zhí)行組合處理，單個(gè)HDR圖像“#3、#4”被生成。以這種方式，具有短曝光時(shí)間的低靈敏度圖像和具有長曝光時(shí)間的聞靈敏度圖像被攝取在交替幀中，圖像被蓄積在幀存儲器中，并且通過信號處理而生成HDR圖像。這種方法的一個(gè)問題在于由于在略微不同的定時(shí)攝取要進(jìn)行組合的兩個(gè)圖像，所以當(dāng)被攝體移動時(shí)可能產(chǎn)生偽色和雙重圖像。作為另一個(gè)問題，由于必須對多個(gè)圖像進(jìn)行組合，所以對于視頻而言，圖像組合之后的幀速率低于傳感器的幀速率。在圖2所示的示例中，由于從兩個(gè)圖像生成HDR圖像，所以HDR圖像的幀速率是傳感器幀速率的一半。換一種方式說，為了輸出與先前相同的幀速率的HDR圖像，需要以兩倍的速度來驅(qū)動圖像傳感器，這導(dǎo)致了成本增加和/或功耗增加。與上述對兩個(gè)所攝取圖像進(jìn)行組合的方法不同的生成HDR圖像的其他方法具有例如在日本早期公開專利公布No. 2006-253876、日本專利公布No. 2006-542337(日本專利號 No. 4689620)和 Jenwei Gu 等人的 “Coded Rolling Shutter Photography FlexibleSpace-Time Sampling，，, Computational Photography (ICCP), 2010 中所公開的配置。取代使用連續(xù)攝取的長時(shí)間曝光圖像和短時(shí)間曝光圖像，這樣的方法基于單個(gè)所攝取圖像來生成HDR圖像。以像素為單位來不同地設(shè)定圖像攝取元件的曝光時(shí)間的一個(gè)示例是通過在單個(gè)所攝取圖像中設(shè)定長時(shí)間曝光像素和短時(shí)間曝光像素來執(zhí)行圖像攝取。包括在這樣的單個(gè)所攝取圖像中的長時(shí)間曝光像素的像素值和短時(shí)間曝光像素的像素值被用于生成單個(gè)HDR圖像?，F(xiàn)在將參考圖3至圖5來描述使用這種方法的圖像攝取裝置的配置和處理示例。經(jīng)由圖3所示的圖像攝取裝置的鏡頭111輸入到圖像傳感器(圖像攝取元件)112的入射光經(jīng)歷光電轉(zhuǎn)換而輸出傳感器圖像113。圖像傳感器(圖像攝取元件)112的曝光時(shí)間根據(jù)控制單元(未示出)的控制而被以像素為單位進(jìn)行控制，以在單個(gè)圖像中設(shè)定長時(shí)間曝光像素和短時(shí)間曝光像素。傳感器圖像113被輸入到HDR處理單元114。
HDR處理單元114對單個(gè)所攝取圖像中所包括的作為長時(shí)間曝光像素的高靈敏度像素和作為短時(shí)間曝光像素的低靈敏度像素進(jìn)行組合以生成單個(gè)HDR圖像115。作為一個(gè)具體示例，執(zhí)行如下這樣的像素值組合處理針對作為長時(shí)間曝光像素的高靈敏度像素未達(dá)到飽和的像素選擇性地使用高靈敏度像素的像素值，并且針對高靈敏度像素達(dá)到飽和的像素使用附近的低靈敏度像素的像素值。之后，相機(jī)信號處理單元116使得HDR圖像115經(jīng)歷在典型相機(jī)中執(zhí)行的諸如白平衡調(diào)整、伽馬校正和去馬賽克處理之類的信號處理以生成輸出圖像117。注意，例如如圖4所示，在圖像傳感器112上以重復(fù)性模式來布置低靈敏度像素和高靈敏度像素。利用這種設(shè)定，可以從單個(gè)圖像生成HDR圖像，而無需使用兩個(gè)圖像。圖5示出了這種處理的序列。在圖5中，在從左到右行進(jìn)的時(shí)間軸上示出了下面所列出的各種圖像的生成定時(shí)。(a)傳感器圖像113的輸出定時(shí)(b)HDR圖像115的輸出定時(shí)在時(shí)間tl，傳感器圖像#1被從圖像傳感器112輸出。在時(shí)間t2，傳感器圖像#2被從圖像傳感器112輸出。之后，在t3、t4、...，傳感器圖像被順次地輸出。各個(gè)傳感器圖像是設(shè)定了低靈敏度像素和高靈敏度像素的圖像。傳感器圖像113立即被輸入到HDR處理單元114，并且HDR圖像115幾乎毫無延遲地被生成。作為一個(gè)具體示例，信號被以行為單元進(jìn)行傳送，因此僅生成了與一行的信號相當(dāng)?shù)难舆t。與早先所述的配置不同，這個(gè)配置能夠從單個(gè)所拍攝圖像幀生成HDR圖像。因此，不再需要例如圖3所示那樣的幀存儲器，并且也不存在幀速率下降。然而，這種方法具有如下問題。例如，在圖像攝取的被攝體是明亮的情況下，單個(gè)所攝取圖像中包括的高靈敏度像素將達(dá)到飽和，并且將必須僅使用兩個(gè)低靈敏度像素來生成圖像。相反，在被攝體是黑暗的情況下，將在低靈敏度像素中包括大量噪聲，并且將必須僅使用高靈敏度像素的像素信息來生成圖像。這樣，存在由于圖像攝取被攝體的狀態(tài)而導(dǎo)致無法獲得有效像素信息的情況，結(jié)果，存在圖像質(zhì)量下降的問題，例如由于無法獲得顏色樣本而導(dǎo)致的分辨率下降和/或偽色的產(chǎn)生。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)實(shí)施例旨在提供生成高動態(tài)范圍的圖像并且能夠防止幀速率下降和圖像質(zhì)量下降的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。本發(fā)明的另一個(gè)實(shí)施例在空間和時(shí)間上對圖像傳感器的像素的靈敏度進(jìn)行控制。這種方案旨在提供對圖像傳感器輸出圖像執(zhí)行已經(jīng)考慮了空間和時(shí)間周期的信號處理以在沒有幀速率下降或分辨率下降的情況下實(shí)現(xiàn)高動態(tài)范圍圖像攝取的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。根據(jù)本發(fā)明第一實(shí)施例，提供了一種圖像處理裝置，其包括HDR(高動態(tài)范圍)處理單元，該HDR處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理。HDR處理單元通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像，通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像，并且通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR (高動態(tài)范圍)圖像。
根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例，HDR處理單元通過執(zhí)行針對移動檢測信息表明存在移動的像素位置提高第二組合圖像的混合比率并且針對移動檢測信息表明不存在移動的像素位置提高第一組合圖像的混合比率的像素值混合處理，來生成所述HDR圖像。根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例，所述HDR處理單元包括幀間插值處理單元，該幀間插值處理單元通過不經(jīng)修改地使用連續(xù)攝取的多個(gè)圖像中存在的不同靈敏度的多個(gè)像素來生成不同靈敏度的多個(gè)圖像，并且所述HDR處理單元通過對由幀間插值處理單元生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成所述第一組合圖像。根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例，圖像處理裝置還包括移動檢測單元和移動補(bǔ)償處理單元，移動檢測單元通過對在不同時(shí)間攝取的圖像中的對應(yīng)像素的像素值進(jìn)行比較并以像素為單位執(zhí)行移動檢測來生成所述移動檢測信息，并且移動補(bǔ)償處理單元通過根據(jù)按照所述移動檢測信息計(jì)算出的混合比率來對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理，從而生成HDR圖像。根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例，所述移動檢測單元通過基于所述第二組合圖像和第三組合圖像的圖像比較以像素為單位執(zhí)行移動檢測來生成所述移動檢測信息，所述第二組合圖像是通過對僅使用當(dāng)前時(shí)間圖像進(jìn)行插值處理而生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成的，所述當(dāng)前時(shí)間圖像是連續(xù)攝取的多個(gè)圖像中的最新圖像，并且所述第三組合圖像是通過對僅使用過去時(shí)間圖像進(jìn)行插值處理而生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成的，所述過去時(shí)間圖像是所述連續(xù)攝取的多個(gè)圖像中的在所述最新圖像之前攝取的圖像。根據(jù)本發(fā)明的圖像處理裝置的一個(gè)實(shí)施例，圖像處理裝置還包括色調(diào)轉(zhuǎn)換處理單元，該色調(diào)轉(zhuǎn)換處理單元輸入由所述HDR處理單元生成的所述HDR圖像并減少該HDR圖像中的像素值的比特?cái)?shù)目。根據(jù)本發(fā)明第二實(shí)施例，提供了一種圖像處理裝置，其包括HDR(高動態(tài)范圍)處理單元，該HDR處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理。所述HDR處理單元包括幀內(nèi)插值處理單元，其通過執(zhí)行使用單個(gè)所攝取圖像的插值處理來生成不同靈敏度的多個(gè)圖像JPHDR組合處理單元，其通過對由所述幀內(nèi)插值處理單元生成的所述不同靈敏度的多個(gè)圖像執(zhí)行組合處理來生成HDR圖像。
根據(jù)本發(fā)明第三實(shí)施例，提供了一種圖像攝取裝置，其包括圖像傳感器；控制單元，對構(gòu)成所述圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制；以及HDR(高動態(tài)范圍)處理單元，輸入由所述圖像傳感器攝取的圖像并執(zhí)行圖像處理。所述HDR處理單元通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像，通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像，并且通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。根據(jù)本發(fā)明的圖像攝取裝置的一個(gè)實(shí)施例，所述控制單元對所述圖像傳感器執(zhí)行以行為單位的曝光時(shí)間控制，并以所攝取圖像幀為單位來執(zhí)行不同的曝光控制。根據(jù)本發(fā)明的圖像攝取裝置的一個(gè)實(shí)施例，所述控制單元通過針對構(gòu)成所述圖像傳感器的像素來控制作為電荷蓄積開始時(shí)間的行復(fù)位定時(shí)，從而執(zhí)行以行為單位的曝光時(shí)間控制。
根據(jù)本發(fā)明的圖像攝取裝置的一個(gè)實(shí)施例，所述圖像攝取裝置通過執(zhí)行像素?cái)?shù)目減少處理以產(chǎn)生具有比構(gòu)成所述圖像傳感器的像素的數(shù)目少的像素?cái)?shù)目的圖像并將通過所述像素?cái)?shù)目減少處理產(chǎn)生的圖像輸出到所述HDR處理單元，來生成所述HDR圖像。根據(jù)本發(fā)明第四實(shí)施例，提供了一種由圖像處理裝置執(zhí)行的圖像處理方法，包括輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并使用HDR(高動態(tài)范圍)處理單元來執(zhí)行圖像處理。圖像處理步驟通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像，通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像，并且通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR (高動態(tài)范圍)圖像。根據(jù)本發(fā)明第五實(shí)施例，提供了一種致使圖像處理裝置執(zhí)行圖像處理的程序，包括由HDR(高動態(tài)范圍)處理單元執(zhí)行的圖像處理，所述HDR處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像。圖像處理步驟通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像，通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像，并且通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。注意，根據(jù)本發(fā)明的程序是是能夠憑借例如以計(jì)算機(jī)可讀格式提供的存儲介質(zhì)或者通信介質(zhì)來提供給信息處理設(shè)備或者能夠執(zhí)行各種程序代碼的計(jì)算機(jī)系統(tǒng)的程序。當(dāng)以計(jì)算機(jī)可讀格式提供這種程序時(shí)，在信息處理設(shè)備或者計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)根據(jù)該程序的處理。本發(fā)明的目的、特征和優(yōu)點(diǎn)將從本發(fā)明的如下實(shí)施例和基于附圖進(jìn)行的詳細(xì)描述中變得清楚明了。根據(jù)上述本發(fā)明的實(shí)施例，實(shí)現(xiàn)了基于所攝取圖像來生成高質(zhì)量、高動態(tài)范圍圖像的裝置和方法。更具體而言，包括圖像處理(HDR處理)單元，該圖像處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制時(shí)攝取的圖像，并執(zhí)行圖像處理。該圖像處理單元通過使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理來生成具有不同靈敏度的多個(gè)圖像，并對所生成的具有不同靈敏度的多個(gè)圖像進(jìn)行組合來生成第一組合圖像，并且通過對單個(gè)所攝取圖像進(jìn)行插值處理來生成具有不同靈敏度的多個(gè)圖像，并對所生成的具有不同靈敏度的多個(gè)圖像進(jìn)行組合來生成第二組合圖像。另外，通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對第一組合圖像和第二組合圖像的像素值進(jìn)行混合來生成HDR圖像。通過執(zhí)行這種處理，生成了分辨率惡化得以最小化的HDR圖像。


圖I是幫助說明獲得高動態(tài)范圍(HDR)圖像的圖像攝取裝置的示例配置的示圖；圖2是幫助說明獲得HDR圖像的圖像攝取裝置的示例處理的示圖； 圖3是幫助說明獲得HDR圖像的另一個(gè)圖像攝取裝置的示例配置的示圖；圖4是幫助說明獲得HDR圖像的另一個(gè)圖像攝取裝置的圖像傳感器的曝光控制示例的示圖；圖5是幫助說明獲得HDR圖像的另一個(gè)圖像攝取裝置的處理示例的示圖；圖6是幫助說明根據(jù)本發(fā)明一個(gè)實(shí)施例的獲得HDR圖像的圖像攝取裝置的示例配置的不圖；圖7是幫助說明獲得HDR圖像的圖像攝取裝置的圖像傳感器的配置和處理示例的示圖；圖8是幫助說明獲得HDR圖像的圖像攝取裝置的圖像傳感器的處理示例的示圖；圖9A和9B是幫助說明獲得HDR圖像的圖像攝取裝置的圖像傳感器的配置和處理示例的示圖；圖10是幫助說明獲得HDR圖像的圖像攝取裝置的處理示例的示圖；圖11是幫助說明獲得HDR圖像的圖像攝取裝置的HDR處理單元的配置和處理示例的示圖；圖12是幫助說明幀間插值處理單元的配置和處理示例的示圖；圖13是幫助說明幀內(nèi)插值處理單元的配置和處理示例的示圖；圖14是幫助說明插值處理的具體示例的示圖；圖15是幫助說明HDR組合處理單元的配置和處理示例的示圖；圖16是幫助說明HDR處理單元的移動檢測單元的配置和處理的示圖；圖17是幫助說明由HDR處理單元的移動檢測單元設(shè)定的混合比率的示圖；圖18是幫助說明由作為HDR處理單元中的最后一個(gè)處理單元的色調(diào)轉(zhuǎn)換處理單元執(zhí)行的色調(diào)轉(zhuǎn)換處理的示例的示圖；圖19A和19B是幫助說明圖像傳感器的曝光控制示例的示圖；圖20A和20B是幫助說明圖像傳感器的曝光控制示例的示圖；圖21A和21B是幫助說明圖像傳感器的曝光控制示例的示圖；圖22A和22B是幫助說明圖像傳感器的曝光控制示例的示圖23A和23B是幫助說明圖像傳感器的曝光控制示例的示圖；圖24A和24B是幫助說明圖像傳感器的曝光控制示例的示圖；圖25A和25B是幫助說明圖像傳感器的曝光控制示例的示圖；圖26A是幫助說明圖像傳感器的曝光控制示例的示圖；圖26B是幫助說明圖像傳感器的曝光控制示例的示圖；圖26C是幫助說明圖像傳感器的曝光控制示例的示圖；圖27是幫助說明圖像處理裝置的示例配置的示圖；圖28是幫助說明HDR處理單元的配置和處理示例的示圖；
圖29是幫助說明HDR組合處理單元的配置和處理示例的示圖；圖30是幫助說明圖像處理裝置的示例配置的示圖；圖31是幫助說明HDR處理單元的配置和處理示例的示圖；圖32A和32B是幫助說明減少圖像傳感器的輸出像素的數(shù)目的處理示例的示圖；圖33是幫助說明減少圖像傳感器的輸出像素的數(shù)目的處理示例的示圖；圖34A和34B是幫助說明減少圖像傳感器的輸出像素的數(shù)目的處理示例的示圖；圖35是幫助說明減少圖像傳感器的輸出像素的數(shù)目的處理示例的示圖；圖36是幫助說明減少圖像傳感器的輸出像素的數(shù)目的處理示例的示圖；圖37是幫助說明HDR處理單元的配置和處理示例的示圖；圖38是幫助說明幀間插值處理單元的配置和處理示例的示圖；圖39是幫助說明幀內(nèi)插值處理單元的配置和處理示例的示圖；圖40是幫助說明圖像傳感器的曝光控制示例的示圖；以及圖41是幫助說明圖像傳感器的曝光控制示例的示圖。
具體實(shí)施例方式下文中，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在此說明書和附圖中，用相同標(biāo)號表示具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明?，F(xiàn)在將參考附圖描述根據(jù)本發(fā)明的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。描述按如下所示的順序來給出。I.圖像處理裝置的第一實(shí)施例的配置和處理2.其它實(shí)施例2-1.對圖像傳感器的曝光控制的各種示例2-2.無需幀存儲器的實(shí)施例2-3.在圖像傳感器輸出處執(zhí)行像素相加處理或下采樣(downsample)處理的示例
配置3.對根據(jù)本發(fā)明的圖像處理裝置和現(xiàn)有配置的比較4.結(jié)論I.圖像處理裝置的第一實(shí)施例的配置和處理首先，將描述根據(jù)本發(fā)明的圖像處理裝置的第一實(shí)施例的配置和處理。注意，在下述實(shí)施例中，圖像攝取裝置將被描述為“圖像處理裝置”的一個(gè)代表示例。圖6示出了圖像攝取裝置的示例配置。通過光學(xué)鏡頭201入射的光經(jīng)歷圖像傳感器202的光電轉(zhuǎn)換，并且傳感器圖像204被從圖像傳感器202輸出。圖像傳感器202例如由CMOS構(gòu)成。從圖像傳感器202輸出的傳感器圖像204作為當(dāng)前時(shí)間圖像206而被輸出到HDR (高動態(tài)范圍)處理單元208，并且還被存儲在幀存儲器205中。HDR處理單元208輸入來自圖像傳感器202的當(dāng)前時(shí)間圖像206，并且還從幀存儲器205獲取在比當(dāng)前時(shí)間圖像206早的定時(shí)被攝取并被存儲在幀存儲器205中的過去時(shí)間圖像207。HDR處理單元208輸入了兩個(gè)圖像，S卩，(I)當(dāng)前時(shí)間圖像206和⑵過去時(shí)間圖像207。即，使用經(jīng)延遲的過去時(shí)間圖像207和未經(jīng)延遲的當(dāng)前時(shí)間圖像206來執(zhí)行HDR處理以生成HDR圖像209。后面將在本說明書中詳細(xì)描述這個(gè)處理。由HDR處理單元208生成的HDR圖像209被輸入到相機(jī)信號處理單元210，并且由 相機(jī)信號處理單元210執(zhí)行諸如白平衡調(diào)整、伽馬校正和去馬賽克處理之類的典型相機(jī)信號處理以生成輸出圖像211?？刂茊卧?12對圖像傳感器202執(zhí)行曝光控制，并對HDR處理單元208和相機(jī)信號處理單元210執(zhí)行處理控制。注意，作為一個(gè)示例，控制單元212包括具有程序執(zhí)行功能的CPU，并且根據(jù)存儲在存儲器(未示出)中的程序來對圖像攝取裝置中執(zhí)行的處理執(zhí)行整體控制。圖像傳感器202例如由CMOS構(gòu)成，并且根據(jù)由控制單元212設(shè)定的曝光時(shí)間信息203而被控制為使得構(gòu)成圖像傳感器202的像素的曝光時(shí)間以特定空間周期為單位并且以特定時(shí)間周期為單位而改變。注意，例如在日本早期公開專利公布No. 2006-253876中公開了以空間周期為單位和以時(shí)間周期為單位進(jìn)行的曝光時(shí)間控制處理的具體配置，這里以與所引用的公布文本相同的方式來執(zhí)行曝光控制。圖7示出了圖像傳感器202的一個(gè)示例配置。圖7示出了圖像傳感器202的配置的一部分，由矩形示出的區(qū)域?qū)?yīng)于單個(gè)像素，其被指示為“像素224”。圖像傳感器202被從控制單元212提供以作為“曝光時(shí)間信息203”的、用于設(shè)定各個(gè)像素的曝光時(shí)間(即，曝光時(shí)間長度)的多條靈敏度信息。圖像傳感器202內(nèi)部的控制電路221對垂直掃描電路222和水平掃描電路223進(jìn)行控制以使得各個(gè)像素的曝光時(shí)間(靈敏度)根據(jù)曝光時(shí)間信息203而以空間周期為單位并且以時(shí)間周期為單位進(jìn)行改變。將參考圖8描述改變像素的曝光時(shí)間(靈敏度)的方法。圖8是示出圖7所示的行復(fù)位線231的信號定時(shí)、行選擇線232的信號定時(shí)以及各個(gè)像素224的電荷量的改變的示圖。例如，當(dāng)在時(shí)間(tl)輸入行復(fù)位信號時(shí)，像素的電荷被復(fù)位，之后電荷由于入射光而蓄積。之后，當(dāng)在時(shí)間(t2)輸入行選擇線時(shí)，在該時(shí)間處的電荷量被輸出作為像素蓄積電荷(S)。S卩，從行復(fù)位時(shí)間到行選擇時(shí)間的、時(shí)間tl和t2之間的時(shí)段是電荷蓄積時(shí)段。行選擇定時(shí)是針對每一行像素、以預(yù)先確定的間隔來設(shè)定的。行復(fù)位定時(shí)是可調(diào)整的，并且可被設(shè)定在兩個(gè)行選擇定時(shí)(圖8中被示出為“ta”和“tb”)之間的任意值。這樣的行復(fù)位定時(shí)是根據(jù)曝光時(shí)間信息203來設(shè)定的。通過將行復(fù)位定時(shí)(tc)控制成兩個(gè)行選擇定時(shí)(圖8中被示出為ta和tb)之間的較靠后的時(shí)間(即，更接近tb側(cè)的時(shí)間)，可以減少針對那一行像素的電荷蓄積時(shí)間，從而降低靈敏度。同時(shí)，通過將行復(fù)位定時(shí)(tc)控制成兩個(gè)行選擇定時(shí)(圖8中被示出為ta和tb)之間的較靠前的時(shí)間(即，更接近ta側(cè)的時(shí)間)，可以增加針對那一行像素的電荷蓄積時(shí)間，從而提高靈敏度。通過以行為單位執(zhí)行這種控制，可以以行為單位來不同地設(shè)定曝光時(shí)間，換而言之，靈敏度?，F(xiàn)在將參考圖9A至圖10來描述針對具有由RGB像素構(gòu)成的貝爾模式(Bayerpattern)的圖像傳感器、通過以行為單位對曝光時(shí)間進(jìn)行控制的靈敏度控制的示例。在圖9A和9B所示的示例中，以兩行為單位來交替地設(shè)定低靈敏度像素和高靈敏度像素。通過一次兩行地改變前述行復(fù)位定時(shí)來進(jìn)行這種設(shè)定，可以以兩行為單位將低靈敏度像素的行設(shè)定為短時(shí)間曝光行，并將高靈敏度像素的行設(shè)定為長時(shí)間曝光行，如圖9A和9B所示。圖9A示出了“排列1”，圖9B示出了 “排列2”。在圖示排列中，作為短時(shí)間曝光行的低靈敏度像素行和作為長時(shí)間曝光行的高靈敏度像素行交替出現(xiàn)。作為圖像攝取期間的一個(gè)示例，針對第一幀根據(jù)圖9A中的排列I執(zhí)行曝光控制，然后針對第二幀根據(jù)圖9B中的 排列2執(zhí)行曝光控制。另外，通過針對第三、第四和第五幀交替地設(shè)定排列I和排列2來執(zhí)行圖像攝取。圖10示出了圖像攝取序列。在圖9A至圖10所示的示例中，以四行為一個(gè)空間周期(其中，一次兩行地布置兩種靈敏度的像素)來在重復(fù)模式中執(zhí)行曝光時(shí)間(靈敏度)控制。還以兩幀為一個(gè)時(shí)間周期來執(zhí)行曝光(靈敏度)控制，并且通過在連續(xù)幀中在圖9A和9B所示的兩個(gè)排列241、242之間切換，控制被執(zhí)行為改變每一幀中的各個(gè)像素的靈敏度。接下來，將參考圖11來描述HDR處理單元208的配置和處理如前所述，兩個(gè)圖像，SP⑴當(dāng)前時(shí)間圖像206和⑵過去時(shí)間圖像207，被輸入到HDR處理單元208中。就是說，HDR處理單元208使用經(jīng)過延遲的過去時(shí)間圖像207和未經(jīng)延遲的當(dāng)前時(shí)間圖像206來執(zhí)行HDR處理以生成HDR圖像209。如前述圖9A和9B所示，當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207是靈敏度在時(shí)間和空間上都不同的圖像，HDR處理單元208使用這樣的圖像來生成HDR圖像。幀間插值處理單元251是生成高分辨率圖像的處理單元。通過使用當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207，幀間插值處理單元251生成兩個(gè)插值圖像，即，僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像。幀內(nèi)插值處理單元252、253是生成追隨移動的插值圖像的處理單元。幀內(nèi)插值處理單元252僅使用當(dāng)前時(shí)間圖像206來執(zhí)行空間插值處理，并且?guī)瑑?nèi)插值處理單元253僅使用過去時(shí)間圖像207來執(zhí)行空間插值處理。通過如此動作，僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像被生成作為插值圖像。HDR組合處理單元254至256參考不同靈敏度的像素并對它們進(jìn)行組合來獲得HDR圖像。移動檢測單元257使用由HDR組合處理單元255和256生成的圖像來檢測目標(biāo)像素處的像素值是否在過去時(shí)間和當(dāng)前時(shí)間之間由于對象的移動等而改變了。移動補(bǔ)償處理單元258對由HDR組合處理單元254基于當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207生成的高分辨率圖像與由HDR組合處理單元255基于當(dāng)前時(shí)間圖像206生成的追隨移動(即，不包括基于移動的偽像)的圖像執(zhí)行混合處理。移動補(bǔ)償處理單元258使用移動檢測單元257的移動檢測結(jié)果來決定各像素單位的像素值的混合比率，并對這兩個(gè)圖像執(zhí)行混合處理。在色調(diào)轉(zhuǎn)換處理單元259中，針對由移動補(bǔ)償處理單元258生成的混合圖像的每一個(gè)像素執(zhí)行比特值減小。由于由移動補(bǔ)償處理單元258生成的混合圖像表現(xiàn)出高靈敏度像素和低靈敏度像素的像素值，所以表示各個(gè)像素的像素值的比特?cái)?shù)目將增大。由于存在這樣的情況，即，如果比特?cái)?shù)目過高則將無法在位于下游的相機(jī)信號處理單元210處執(zhí)行信號處理，所以色調(diào)轉(zhuǎn)換處理單元259執(zhí)行處理來將比特?cái)?shù)目減少到能夠經(jīng)受相機(jī)信號處理單元210處的信號處理的水平。就是說，執(zhí)行基于量化的壓縮以產(chǎn)生與傳統(tǒng)傳感器輸出類似的比特?cái)?shù)目，并且得到的信號被輸出作為HDR圖像209。接下來，將參考圖12描述設(shè)置在圖11所示的HDR處理單元208內(nèi)部的幀間插值處理單元251的配置和處理示例。如前所述，幀間插值處理單元251使用當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207兩者來生成僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像263和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像264，作為插值圖像。
首先，由坐標(biāo)獲取單元261獲取的目標(biāo)像素位置和示出所攝取圖像的曝光模式(例如，圖9A和9B中的排列I和2)的并且例如從控制單元212提供來的像素布局模式信息262被用于獲取目標(biāo)像素的位置處的靈敏度。使用該靈敏度信息，兩個(gè)連續(xù)攝取的圖像(當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207)中的低靈敏度像素被選擇，并且僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像263被生成。以相同方式，使用該靈敏度信息，兩個(gè)連續(xù)攝取的圖像(當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207)中的高靈敏度像素被選擇，并且僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像264被生成。以這種方式，幀間插值處理單元251使用具有不同曝光模式的多個(gè)圖像幀的像素信號來生成其中的所有像素都是低靈敏度像素信號的低靈敏度像素圖像263和其中的所有像素都是聞靈敏度像素/[目號的聞靈敏度像素圖像264。低靈敏度像素圖像263和高靈敏度像素圖像264是具有與原始的所攝取圖像相同的模式的圖像，并且作為一個(gè)示例，是具有貝爾模式的圖像。當(dāng)被攝體靜止時(shí)，圖像263和264能夠?qū)崿F(xiàn)與貝爾模式相同的分辨率。同時(shí)，當(dāng)被攝體已經(jīng)移動時(shí)，由于用于生成圖像263和264的當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207是在不同時(shí)間被獲取的，所以在某些情況中，將產(chǎn)生與像素布局模式保持一致的條紋狀偽像。接下來，將參考圖13描述幀內(nèi)插值處理單元252、253的配置和處理示例。如前所述，幀內(nèi)插值處理單元252、253是生成追隨移動的圖像的處理單元。幀內(nèi)插值處理單元252僅使用當(dāng)前時(shí)間圖像206來執(zhí)行空間插值處理，而幀內(nèi)插值處理單元253僅使用過去時(shí)間圖像207來執(zhí)行空間插值處理。通過執(zhí)行適用于單個(gè)圖像的這種空間插值處理，僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像被生成作為插值圖像。幀內(nèi)插值處理單元252、253使用由圖13所示的坐標(biāo)獲取單元261獲取的目標(biāo)像素位置以及像素布局模式信息262來獲得所輸入的當(dāng)前時(shí)間圖像206或過去時(shí)間圖像207中的目標(biāo)像素位置處的靈敏度。該靈敏度信息以及當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207中的一個(gè)圖像所包括的像素信息被用于生成不同靈敏度的圖像，即，僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像265和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像266。就是說，盡管每一個(gè)幀內(nèi)插值處理單元都能夠僅使用一個(gè)圖像來生成追隨被攝體的移動的圖像，但是也存在靈敏度下降的問題。現(xiàn)在將參考圖13和14來描述由幀內(nèi)插值處理單元252、253執(zhí)行的空間插值處理。作為圖13中的幀內(nèi)插值處理單元252、253的輸出的低靈敏度像素圖像265中的像素Rdll、Rdl3以及高靈敏度像素圖像266中的像素Rb31、Rb33是存在于輸入圖像(即，當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207)中的像素，并且是通過不經(jīng)修改地輸出輸入圖像中的像素來獲得的。同時(shí)，作為輸出圖像的低靈敏度像素圖像265中的像素Rd31、Rd33以及作為輸出圖像的高靈敏度像素圖像266中的像素Rbll、Rbl3不存在于輸入圖像中。這些像素的像素值是通過基于輸入圖像中包括的像素值執(zhí)行空間插值處理來通過計(jì)算設(shè)定的?，F(xiàn)在將參考圖14描述在高靈敏度像素位置處插值低靈敏度像素Rd33的方法。圖14所示的圖像示出了被輸入到幀內(nèi)插值處理單元252、253中的圖像，S卩，當(dāng)前時(shí)間圖像206或過去時(shí)間圖像207。各像素是以兩行為單位來設(shè)定在低靈敏度像素和高靈敏度像素處的。 圖14所示的輸入圖像的中間像素是高靈敏度像素?，F(xiàn)在將描述計(jì)算這個(gè)高靈敏度位置處的低靈敏度像素的像素值Rd33的插值處理。最簡單的插值方法根據(jù)下面給出的等式來計(jì)算像素值Rd33。Rd33 = (Rdl3+Rd53)/2. · · (I)上面給出的等式(I)是基于垂直方向上的相同顏色的兩個(gè)低靈敏度像素的像素值來執(zhí)行線性插值的插值處理。作為替代，可以執(zhí)行將輸入圖像206和207中的邊緣方向考慮在內(nèi)的插值處理。更具體而言，首先通過下面給出的等式(2)至(4)來確定邊緣方向。 Edge_l = Abs (Rdl1-Rd55)... (2)Edge_2 = Abs(Rdl3_Rd53)... (3)Edge_3 = Abs (Rdl5_Rd51) · . . (4)使用上述等式⑵至(4),計(jì)算出Edge_l、Edge_2和Edge_3。當(dāng)Edge_l是根據(jù)上述等式(2)至(4)計(jì)算出的Edge j、Edge_2和Edge_3中的最小值時(shí)，根據(jù)下面給出的等式來計(jì)算作為圖14所示的輸入圖像中的中間像素的高靈敏度像素位置處的低靈敏度像素的像素值Rd33。Rd33 = (Rdll+Rd55)/2當(dāng)Edge_2是根據(jù)上述等式(2)至(4)計(jì)算出的Edge j、Edge_2和Edge_3中的最小值時(shí)，根據(jù)下面給出的等式來計(jì)算作為圖14所示的輸入圖像中的中間像素的高靈敏度像素位置處的低靈敏度像素的像素值Rd33。Rd33 = (Rdl3+Rd53)/2當(dāng)Edge_3是根據(jù)上述等式(2)至(4)計(jì)算出的Edge j、Edge_2和Edge_3中的最小值時(shí)，根據(jù)下面給出的等式來計(jì)算作為圖14所示的輸入圖像中的中間像素的高靈敏度像素位置處的低靈敏度像素的像素值Rd33。Rd33 = (Rdl5+Rd51)/2這個(gè)處理是執(zhí)行沿著邊緣方向選擇像素值作為參考像素的插值處理的方法。注意，這里所描述的插值處理的示例僅僅是幀內(nèi)插值處理的一個(gè)示例，并且可以應(yīng)用不同的方法并執(zhí)行最鄰近插值。例如，可以應(yīng)用如下這樣的方法，即，使用樣本數(shù)目是R像素兩倍的某些G像素來生成亮度信號，然后使用這樣的亮度信號來重新創(chuàng)建R像素的高頻分量。以這種方式，幀內(nèi)插值處理單元252、253各自基于單個(gè)所輸入圖像來執(zhí)行插值處理以生成僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像265和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像266這種形式的不同靈敏度圖像。接下來，將參考圖15來描述HDR組合處理單元254至256各自的配置和處理示例。HDR組合處理單元254至256輸入由參考圖12和13所述的幀間插值處理單元251和幀內(nèi)插值處理單元252、253生成的兩個(gè)插值圖像，即，僅由低靈敏度像素構(gòu)成的低靈敏度像素圖像和僅由高靈敏度像素構(gòu)成的高靈敏度像素圖像。在圖15中，這兩個(gè)圖像被示出為低靈敏度圖像Dd(標(biāo)號為“263或265”)和高靈敏度圖像Db (標(biāo)號為“264或266”)。另外，例如從控制單元212輸入了低靈敏度像素和高靈敏度像素之間的靈敏度比率R(標(biāo)號為“271”)。靈敏度比率R(271)對應(yīng)于低靈敏度像素和高靈敏度像素的各自的曝光時(shí)間的比率。HDR組合處理單元254至256使用低靈敏度圖像Dd (263或265)、高靈敏度圖像 Db (264或266)以及靈敏度比率R(271)來生成HDR圖像Do (標(biāo)號為“272”)?；旌媳嚷视?jì)算單元273參考低靈敏度圖像Dd和高靈敏度圖像Db中的相同位置處的對應(yīng)像素位置的各個(gè)像素值，并決定低靈敏度圖像Dd和高靈敏度圖像Db中的對應(yīng)像素的像素值的混合比率，以使得作為一個(gè)示例，當(dāng)高靈敏度圖像的像素值小于預(yù)先設(shè)定的閾值Th時(shí)，高靈敏度圖像Db的權(quán)重較大，而當(dāng)高靈敏度圖像的像素值等于或大于閾值Th時(shí)，低靈敏度圖像Dd的權(quán)重較大。混合處理單元274基于由混合比率計(jì)算單元273決定的混合比率，對低靈敏度圖像Dd和高靈敏度圖像Db中的對應(yīng)像素的像素值執(zhí)行混合處理。通過執(zhí)行這個(gè)處理，可以生成在被攝體較黑暗時(shí)具有很少噪聲而在被攝體較明亮?xí)r抑制了飽和的高動態(tài)范圍圖像(HDR圖像Do (標(biāo)號為“275”))?，F(xiàn)在將描述由圖15所示的HDR組合處理單元254至256執(zhí)行的處理的具體示例。首先，從高靈敏度圖像Db選擇待處理的一個(gè)目標(biāo)像素，并且對該目標(biāo)像素的像素值與預(yù)先設(shè)定的閾值Th進(jìn)行比較。當(dāng)目標(biāo)像素的像素值小于閾值Th時(shí)，將高靈敏度圖像Db (264或266)中的目標(biāo)像素的像素值不經(jīng)修改地設(shè)定為作為輸出圖像的HDR圖像Do(275)的像素值。這種情況中的像素值滿足關(guān)系Do = Db其中，“Do”表示HDR圖像Do (275)的像素值，“Db”表示高靈敏度圖像Db (264或266)中的聚焦像素的像素值。同時(shí)，當(dāng)從高靈敏度圖像Db選擇的目標(biāo)像素的像素值等于或大于閾值Th時(shí)，通過將靈敏度比率R與低靈敏度圖像Dd (263或265)中的、和高靈敏度圖像Db中的目標(biāo)像素的像素位置處在相同位置的像素位置的像素值相乘而產(chǎn)生的像素值被設(shè)定為作為輸出圖像的HDR圖像Do (275)的像素值。這種情況中的像素值滿足關(guān)系Do = DdXR其中，“Do”表示HDR圖像Do (275)的像素值，“Dd”表示低靈敏度圖像Dd(263或265)中的像素值。注意，當(dāng)使用變量a、b作為由混合比率計(jì)算單元273計(jì)算出的混合比率時(shí)，可通過如下等式來概括上述處理以計(jì)算HDR圖像Do (275)的像素值Do Do= (a X Db)+ (b X (DdXR))其中，a+b= I。注意,雖然前述處理示出了使用a = l、b = O和a = 0、b = I中的一者的示例,但是也可以選擇性地使用a = 0 I和b = l O的范圍內(nèi)的a和b值,只要a+b = I的條件得到滿足即可。接下來，將參考圖16和17來描述圖11所示的HDR處理單元208中的移動檢測單元257的配置和處理示例。移動檢測單元257對由HDR組合處理單元255基于當(dāng)前時(shí)間圖像206生成的與當(dāng)前時(shí)間圖像相對應(yīng)的HDR圖像與由HDR組合處理單元256基于過去時(shí)間圖像207生成的與過去時(shí)間圖像相對應(yīng)的HDR圖像進(jìn)行比較，以檢測各像素單位中的移動。作為一個(gè)示例，兩個(gè)HDR圖像中的相同像素位置處的對應(yīng)像素的像素值的絕對差值被與預(yù)先設(shè)定的閾值相比較，并且如果該絕對差值等于或高于閾值，則作出“大移動”或者“存在移 動”的判定，而如果該絕對差值低于閾值，則作出“小移動”或者“沒有移動”的判定。以這種方式，基于從當(dāng)前時(shí)間圖像生成的HDR圖像和從過去時(shí)間圖像生成的HDR圖像中的對應(yīng)像素的像素值之間的絕對差值來確定移動量。如圖16所示，移動補(bǔ)償處理單元258包括混合比率計(jì)算單元283，并且通過根據(jù)由移動檢測單元257確定的各個(gè)像素單位的移動量來決定(a)由HDR組合處理單元254基于當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207生成的HDR圖像和(b)由HDR組合處理單元255僅基于當(dāng)前時(shí)間圖像206生成的HDR圖像中的對應(yīng)像素的像素值的混合比率284，從而執(zhí)行混合處理。針對移動量大于預(yù)先設(shè)定的閾值的像素，(b)由HDR組合處理單元255僅基于當(dāng)前時(shí)間圖像206生成的HDR圖像中的像素值的混合比率被設(shè)定為更大。相反，針對移動量小于預(yù)先設(shè)定的閾值的像素，(a)由HDR組合處理單元254基于當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207生成的HDR圖像中的像素值的混合比率被設(shè)定為更大。更具體地，例如使用圖17所示的根據(jù)移動量來設(shè)定的混合比率α。移動補(bǔ)償處理單元258基于以這種方式設(shè)定的混合比率來對上述兩個(gè)圖像(a)和(b)的各個(gè)像素執(zhí)行混合處理。通過執(zhí)行這種處理，HDR圖像被以如下方式來生成對于存在大移動的像素位置，針對(b)由HDR組合處理單元255僅基于當(dāng)前時(shí)間圖像206生成的HDR圖像中的像素值設(shè)定大權(quán)重來執(zhí)行混合處理，而對于存在小移動的像素位置，針對(a)由HDR組合處理單元254基于當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207生成的HDR圖像中的像素值設(shè)定大權(quán)重來執(zhí)行混合處理。注意，移動檢測可以使用另一種方法來執(zhí)行，例如，還考慮噪聲和/或邊緣的并且使用當(dāng)前時(shí)間圖像的低頻分量圖像與過去時(shí)間的低頻分量圖像之間的絕對差值的方法。作為圖11所示的HDR處理單元208的最后一個(gè)處理單元的色調(diào)轉(zhuǎn)換處理單元259執(zhí)行對已通過上面參考圖15描述的HDR組合處理而被擴(kuò)展的范圍進(jìn)行壓縮的處理。參考圖15描述的HDR組合處理例如相對于現(xiàn)有圖像傳感器的輸出將范圍擴(kuò)展了與圖15所示的靈敏度比率R(271)相對應(yīng)的量。如果不經(jīng)修改地使用這個(gè)擴(kuò)展后的范圍，則存在無法由位于下游的相機(jī)信號處理單元210 (參見圖6)執(zhí)行信號處理的情況。為了防止這樣的問題，在色調(diào)轉(zhuǎn)換處理單元259中執(zhí)行對通過參考圖15描述的HDR組合處理而被擴(kuò)展了的范圍進(jìn)行壓縮的處理。注意，色調(diào)轉(zhuǎn)換和色調(diào)再現(xiàn)處理是將范圍壓縮到傳統(tǒng)傳感器輸出的范圍的方法的已知示例。在Erik Reinhard等人的“PhotographicTone Reproduction for Digital Images”，http://www. cs. Utah, edu/ reinhard/cdrom/tonemap. pdf 中公開了一個(gè)不例。圖18示出了傳感器輸出為10比特并且靈敏度比率R為10倍的色調(diào)轉(zhuǎn)換示例。當(dāng)傳感器輸入的最大值是1，023并且靈敏度比率R = 10時(shí)，色調(diào)轉(zhuǎn)換處理單元259獲得最大值為10,230(1,023X10)的圖像。通過在色調(diào)轉(zhuǎn)換處理單元259中使用圖18所示的曲線來將HDR圖像壓縮為總是具有10比特的范圍，可以對下游處理使用與過去相同的處理。圖18所示的曲線是使用如Reinhard等人所描述的諸如圖像的平均亮度和最大亮度之類的統(tǒng)計(jì)值來生成的，并因此將取決于被壓縮的圖像。2.其它實(shí)施例接下來，將描述與上述實(shí)施例不同的其它實(shí)施例。2-1.對圖像傳感器的曝光控制的各種示例在上述實(shí)施例中，如參考圖4所述的，使用了如下這樣的配置其中，作為對圖像傳感器202的曝光控制處理，執(zhí)行了以兩行為單位在具有短曝光時(shí)間的低靈敏度像素與具有長曝光時(shí)間的高靈敏度像素之間切換像素靈敏度的控制。圖像傳感器202的曝光控制處理配置不限于圖4所示的設(shè)定，并且可以使用多種設(shè)定。還可以將根據(jù)本發(fā)明的圖像處理應(yīng)用于多種控制配置。例如，如圖19A至20所示，可以使用如下這樣的配置隔行設(shè)定執(zhí)行了短時(shí)間曝光的低靈敏度像素和執(zhí)行了長時(shí)間曝光的高靈敏度像素。還可以將根據(jù)本發(fā)明的圖像處理應(yīng)用于這樣的控制配置。注意，在圖19A至20中，白色像素位置示出執(zhí)行了長時(shí)間曝光的高靈敏度像素，灰色像素位置示出執(zhí) 行了短時(shí)間曝光的低靈敏度像素。這同樣適用下面所述的圖21A至25。此外，如圖21A和21B所示，可以使用如下這樣的構(gòu)造以按貝爾模式的形式重復(fù)的兩行兩列的四個(gè)像素為單位來設(shè)定執(zhí)行了短時(shí)間曝光的低靈敏度像素和執(zhí)行了長時(shí)間曝光的高靈敏度像素。如圖22A和22B所示，還可以使用這樣的配置執(zhí)行按貝爾模式均一地設(shè)定各種顏色、各種靈敏度的像素的曝光控制，即，其中，高靈敏度R像素、低靈敏度R像素、高靈敏度G像素、低靈敏度G像素、高靈敏度B像素和低靈敏度B像素被均一地布置。此外，雖然上面已經(jīng)描述了對于全都具有貝爾模式的圖像傳感器(圖像攝取元件)的控制配置的示例，但是也可以將本發(fā)明的處理應(yīng)用于具有除貝爾模式之外的布局的圖像傳感器(圖像攝取元件)。作為一個(gè)示例，如圖23A和23B所示，可以將本發(fā)明應(yīng)用于具有RGBW配置的非貝爾模式，該RGBW配置除了 RGB之外還包括白(W)像素。在圖23A和23B所示的曝光控制示例中，示出了如下這樣的示例配置其中，在具有RGBW像素模式的圖像傳感器上以包括4行和4列的16像素為單位來設(shè)定執(zhí)行了短時(shí)間曝光的低靈敏度像素和執(zhí)行了長時(shí)間曝光的高靈敏度像素。還可以將根據(jù)本發(fā)明的圖像處理應(yīng)用于這樣的控制配置。另外，可以將根據(jù)本發(fā)明的圖像處理應(yīng)用于如下配置其中，在以與圖23A和23B相同的方式具有如圖24A和24B所示的由RGBW像素構(gòu)成的非貝爾模式的圖像傳感器上，如圖24A和24B所示地設(shè)定執(zhí)行了短時(shí)間曝光的低靈敏度像素和執(zhí)行了長時(shí)間曝光的高靈敏
度像素。
還可以將根據(jù)本發(fā)明的圖像處理應(yīng)用于如下配置其中，針對如圖25A和25B所示的通過將方格網(wǎng)旋轉(zhuǎn)45度而構(gòu)造的像素圖像攝取元件，如圖25A和25B所示地設(shè)定執(zhí)行了短時(shí)間曝光的低靈敏度像素和執(zhí)行了長時(shí)間曝光的高靈敏度像素。此外，雖然上面已經(jīng)描述了設(shè)定兩種不同靈敏度的像素(即，執(zhí)行了短時(shí)間曝光的低靈敏度像素和執(zhí)行了長時(shí)間曝光的高靈敏度像素)的示例，但是也可以設(shè)定三種或更多種不同靈敏度的像素并使用這樣的三種或更多種不同靈敏度的像素來生成HDR圖像。注意，在圖26A所示的示例中，設(shè)定了四種不同靈敏度的像素。即，示出了設(shè)定四種不同靈敏度的像素的示例，這四種不同靈敏度的像素是高靈敏度像素(最長曝光時(shí)間)、中高靈敏度像素(長曝光時(shí)間)、中低靈敏度像素(短曝光時(shí)間)和低靈敏度像素(最短曝光時(shí)間)。根據(jù)本發(fā)明的圖像處理也可被應(yīng)用于具有三種或更多種不同靈敏度的像素的這種圖像傳感器的輸出。注意，在此情況中，在參考圖12和13描述了的幀間插值處理單元251和幀內(nèi)插值處理單元252、253中，通過插值處理來生成由低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像構(gòu)成的四個(gè)圖像。 此外，參考圖15描述的HDR組合處理單元254至256輸入該低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像，并生成HDR圖像?；旌媳嚷视?jì)算單元273參考低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像中的具有相同位置的對應(yīng)像素位置處的四個(gè)像素的像素值，并通過決定不同靈敏度的圖像中的對應(yīng)像素的像素值的混合比率來執(zhí)行混合，從而決定HDR圖像的像素值，使得當(dāng)最高靈敏度圖像的像素值小于預(yù)先設(shè)定的閾值Thl時(shí)增大高靈敏度圖像的權(quán)重，當(dāng)高靈敏度圖像的像素值大于預(yù)先設(shè)定的閾值Thl但小于閾值Th2時(shí)增大中高靈敏度圖像的權(quán)重，當(dāng)高靈敏度圖像的像素值大于該預(yù)先設(shè)定的閾值Th2但小于閾值Th3時(shí)增大中低靈敏度圖像的權(quán)重，并且當(dāng)高靈敏度圖像的像素值大于預(yù)先設(shè)定的閾值Th3但小于閾值Th4時(shí)增大低靈敏度圖像的權(quán)重。圖27示出了當(dāng)如圖26所示地在四種模式中設(shè)定圖像傳感器202的靈敏度時(shí)的圖像處理裝置的示例配置。由于在圖像傳感器202上設(shè)定了具有四種不同靈敏度的像素，所以如圖27所示，使用利用幀存儲器301、302和303連續(xù)攝取的四個(gè)圖像來執(zhí)行圖像處理，這四個(gè)圖像是如圖28所示的在時(shí)間t4攝取的當(dāng)前時(shí)間圖像(t4) 304、在時(shí)間t3攝取的過去時(shí)間圖像(t3) 305、在時(shí)間t2攝取的過去時(shí)間圖像(t2) 306和在時(shí)間tl攝取的過去時(shí)間圖像(tl)307?，F(xiàn)在將參考圖28來描述HDR圖像處理單元308的內(nèi)部配置和處理。在幀間插值處理單元311中，使用四個(gè)連續(xù)攝取圖像304至307來生成四個(gè)圖像，S卩，低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像。這個(gè)處理是通過將前面參考圖12所描述的從兩個(gè)連續(xù)攝取圖像生成兩種不同靈敏度的圖像的處理擴(kuò)展為使用四個(gè)圖像生成四種不同靈敏度的圖像的處理來實(shí)現(xiàn)的。幀內(nèi)插值處理單元312基于使用當(dāng)前時(shí)間圖像(t4) 304的一幀的圖像來生成四個(gè)圖像，即，最低靈敏度圖像、低靈敏度圖像、高靈敏度圖像和最高靈敏度圖像。這個(gè)處理是通過將前面參考圖13所描述的從由兩種靈敏度的像素構(gòu)成的一個(gè)所攝取圖像生成兩種不同靈敏度的圖像的處理擴(kuò)展為使用由四種靈敏度的像素構(gòu)成的一個(gè)圖像生成四種不同靈敏度的圖像的處理來實(shí)現(xiàn)的。幀內(nèi)插值處理單元313基于使用當(dāng)前時(shí)間圖像(t3) 305的一幀的圖像來生成四個(gè)圖像，即，低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像。這個(gè)處理是通過將前面參考圖13所描述的從由兩種靈敏度的像素構(gòu)成的一個(gè)所攝取圖像生成兩種不同靈敏度的圖像的處理擴(kuò)展為使用由四種靈敏度的像素構(gòu)成的一個(gè)圖像生成四種不同靈敏度的圖像的處理來實(shí)現(xiàn)的。現(xiàn)在將參考圖29來描述HDR組合處理單元314、315和316的配置和處理。如圖29所示，HDR組合處理單元314、315和316在多個(gè)階段中執(zhí)行前面參考圖15描述的通過對兩種靈敏度的圖像(低靈敏度圖像和高靈敏度圖像)執(zhí)行混合處理來生成單個(gè)HDR圖像的處理，以最終生成HDR圖像Do。如圖29所示，首先具有與圖15所示相同的配置的混合執(zhí)行單元321輸入低靈敏度圖像Dl和中低靈敏度圖像D2，然后混合執(zhí)行單元321通過執(zhí)行如前面參考圖15所描述 的相同混合處理來生成第一混合圖像。接下來，具有與圖15所示相同配置的混合執(zhí)行單元322輸入第一混合圖像和中高靈敏度圖像D3，然后混合執(zhí)行單元322通過執(zhí)行如前面參考圖15所描述的相同混合處理來生成第二混合圖像。之后，具有與圖15所示相同配置的混合執(zhí)行單元323輸入第二混合圖像和高靈敏度圖像D4，然后混合執(zhí)行單元323通過執(zhí)行如前面參考圖15所描述的相同混合處理來生成第三混合圖像，以生成作為最終的HDR圖像Do的第三混合圖像。2-2.無需幀存儲器的實(shí)施例接下來，將參考圖30描述不需要幀存儲器的實(shí)施例。圖30所示的圖像處理裝置(圖像攝取裝置)與圖6所示的配置的不同之處在于從前面作為第一實(shí)施例描述的圖6中的圖像處理裝置配置省略了幀存儲器205，并且作為圖像傳感器202的輸出的傳感器圖像204被直接輸入到HDR處理單元401。圖像傳感器202的控制方法以及作為圖像傳感器202的輸出圖像的傳感器圖像204與前面參考圖6及之后的附圖描述的第一實(shí)施例相同。然而，這個(gè)實(shí)施例的不同之處在于在沒有使用幀存儲器的情況下僅針對一個(gè)幀的圖像執(zhí)行處理?，F(xiàn)在將參考圖31描述根據(jù)此實(shí)施例的HDR處理單元401的配置和處理示例。如圖31所示，根據(jù)本實(shí)施例的HDR處理單元401被配置為使得按順序連接幀內(nèi)插值處理單元402、HDR組合處理單元403和色調(diào)轉(zhuǎn)換處理單元404。幀內(nèi)插值處理單元402輸入作為圖像傳感器202的輸出圖像的傳感器圖像204，通過執(zhí)行與前面參考圖13所描述的相同的幀內(nèi)插值處理來生成具有兩種不同靈敏度的圖像，即，低靈敏度圖像和高靈敏度圖像，并將所生成的圖像輸出到位于下游的HDR組合處理單元403。HDR組合處理單元403通過對從幀內(nèi)插值處理單元402輸出的低靈敏度圖像和高靈敏度圖像執(zhí)行混合處理來生成HDR圖像。這個(gè)處理與前面參考圖15所描述的處理相同。色調(diào)轉(zhuǎn)換處理單元404對從HDR組合處理單元403輸出的HDR圖像執(zhí)行色調(diào)轉(zhuǎn)換處理。這個(gè)處理如同前面參考圖18所描述的處理那樣被執(zhí)行，以設(shè)定可由位于下游的相機(jī)信號處理單元處理的色調(diào)。這個(gè)實(shí)施例的配置在沒有執(zhí)行在前述第一實(shí)施例中執(zhí)行了的幀間插值處理的情況下，基于作為圖像傳感器的輸出圖像的傳感器圖像204來執(zhí)行幀內(nèi)插值以生成與各個(gè)幀相對應(yīng)的低靈敏度圖像和高靈敏度圖像，并對所生成的圖像執(zhí)行混合處理以生成HDR圖像。其結(jié)果是，在本實(shí)施例中生成的HDR圖像是具有比從圖像傳感器202輸出的傳感器圖像204更低的分辨率的圖像。然而，如前面參考圖10所述，對于圖像傳感器202所輸出的傳感器圖像，曝光控制模式被以幀為單位進(jìn)行切換以使得先前幀中的高靈敏度像素被設(shè)定在隨后幀中的低靈敏度像素處，而先前幀中的低靈敏度像素被設(shè)定在隨后幀中的高靈敏度像素處。即，圖像的相位在各幀中不同。為此，當(dāng)在位于下游的相機(jī)信號處理單元253處執(zhí)行使用幀存儲器的處理時(shí)，可能將足夠在這種相機(jī)信號處理單元253處恢復(fù)分辨率。另夕卜，即使在下游的處理中沒有使用幀存儲器，也由于人類視覺的特性，只要幀速率足夠高，就能夠防止分辨率下降表現(xiàn)得顯著。
2-3.在圖像傳感器輸出處執(zhí)行像素相加處理或下采樣處理的示例配置接下來，將描述在圖像傳感器輸出處執(zhí)行像素相加處理或下采樣處理的配置示例。近年來，為了攝取高分辨率圖像，圖像傳感器上所提供的像素?cái)?shù)目一直在快速增長。然而，由于諸如位于下游的圖像處理單元的處理性能、圖像輸出帶寬的限制、AD轉(zhuǎn)換器的速度的限制等的因素，一些圖像傳感器被配置為執(zhí)行像素相加處理和/或下采樣處理，這些處理不輸出圖像傳感器的所有像素的像素值，而是使分辨率降低，并基于圖像傳感器上的兩個(gè)像素的像素值來決定并輸出輸出圖像的一個(gè)像素值。圖32A和32B示出了從圖像傳感器上的四條像素信息生成一條像素信息的示例，其中，圖32A示出了圖像攝取像素的布局的示例，圖32B示出了輸出像素的布局的示例。由圖像傳感器攝取的圖像具有圖32A所示的圖像攝取像素的布局，但是當(dāng)將這種圖像從圖像傳感器輸出到位于下游的處理單元時(shí)，像素?cái)?shù)目被減少，并且圖32B所示的輸出像素布局被設(shè)定。在這個(gè)示例中，執(zhí)行了通過將8X8像素減少到4X4像素來將像素?cái)?shù)目減少四分之一的處理。以這種方式減少像素?cái)?shù)目的方法包括像素下采樣和像素相加。當(dāng)執(zhí)行像素下采樣時(shí)，作為一個(gè)示例，針對圖32B所示的輸出像素布局的左上角中的輸出像素Roll如下所示地決定輸出像素值。注意，在表述“Roll”中，“R”是像素顏色，“ο”指示出“輸出”，“11”是坐標(biāo)位置(X，y) = (Ll)0對于圖32B所示的輸出像素布局的左上角中的輸出像素Roll，從圖32A所示的圖像攝取像素的布局的左上角中的4X4像素區(qū)域所包括的四個(gè)R像素中僅選擇了一個(gè)R像素，因而Roll = R11。以這種方式，圖32A所示的圖像攝取像素布局的對應(yīng)像素位置(4X4像素區(qū)域)中所包括的僅一個(gè)像素輸出被用于設(shè)定輸出像素值Roll。當(dāng)執(zhí)行像素相加處理時(shí)，如下面的等式所示，基于圖32A所示的圖像攝取像素布局的左上角的4X4像素區(qū)域中所包括的四個(gè)R像素來輸出加權(quán)平均。Roll = aXRll+bXR13+cXR31+dXR33這里，a、b、c和d是預(yù)先決定的權(quán)重，并且作為一個(gè)示例，是在考慮到離輸出像素位置的距離、邊緣方向等的情況中設(shè)定的。圖33示出了已經(jīng)在相同靈敏度的像素之間執(zhí)行像素相加的示例。這里通過像素相加產(chǎn)生的輸出像素布局的示例與前面參考圖9A和9B所述的布局相同，其中，短時(shí)間曝光像素和長時(shí)間曝光像素被以兩行為單位來設(shè)定，并且能夠經(jīng)受如前述圖6那樣相同配置的圖像處理。注意，作為減少由圖像傳感器攝取的圖像的像素?cái)?shù)目的具體配置，例如，可以使用在圖像攝取元件的AD轉(zhuǎn)換單元處從多個(gè)像素中選擇一個(gè)像素的配置。在SatoshiYoshihara 等人的“1/1.8-inch 6.4MPixel 60frames/sCMOS Image Sensor withSeamless Mode Change，，，2006IEEE International Solid-State Circuits Conference,pp. 492-493(2006)中描述了這種配置的一個(gè)示例。AD轉(zhuǎn)換電路被配置為將圖像傳感器的各個(gè)像素的輸出值轉(zhuǎn)換為數(shù)字值，交替地讀出圖像傳感器的多個(gè)像素，并參考這些像素值，選擇這些像素值中的一個(gè)像素值作為輸出值。根據(jù)本發(fā)明的圖像處理裝置也可被應(yīng)用于具有如下配置的圖像攝取裝置該配置以這種方式使用有關(guān)多個(gè)像素的信息來輸出有關(guān)一個(gè)像素的信息。
將參考圖34A至35描述如何對選擇性地輸出多個(gè)像素中的一個(gè)像素的圖像傳感器進(jìn)行驅(qū)動的示例。如圖34A和34B所示，垂直掃描電路在兩個(gè)讀取操作中讀出具有不同靈敏度的像素。首先讀出高靈敏度像素421，然后讀出低靈敏度像素422。之后，如圖35所示，選擇性地輸出已經(jīng)讀出的像素(即，高靈敏度像素Db和低靈敏度像素Dd)之一。更具體地，對高靈敏度像素Db與預(yù)先設(shè)定的閾值Th進(jìn)行比較，當(dāng)高靈敏度像素Db的像素值低于閾值Th時(shí)，選擇器選擇性地輸出高靈敏度像素Db。相反，當(dāng)高靈敏度像素Db等于或大于閾值Th時(shí)，選擇器選擇性地輸出通過將低靈敏度像素Dd乘以靈敏度比率R而產(chǎn)生的像素值。利用圖35所示的配置，如果將高靈敏度像素表示為Db，將低靈敏度像素表示為Dd,并將輸出像素表示為Do，則當(dāng)Db低于Th時(shí)，Do被設(shè)定為使得Do = Db，而在其他情況中，Do被設(shè)定為使得Do = DdX R，從而從傳感器輸出圖像生成HDR圖像。現(xiàn)在將描述將這種讀取方法與根據(jù)本發(fā)明的HDR圖像生成方法相組合使用的示例。利用圖35所示的方法，當(dāng)場景較黑暗時(shí)，僅使用并輸出高靈敏度像素，而當(dāng)場景較明亮?xí)r，僅使用并輸出低靈敏度像素。作為一個(gè)示例，利用對圖像傳感器上的圖像攝取像素的布局執(zhí)行控制以在連續(xù)攝取的圖像中在圖36所示的排列I和排列2之間在空間和時(shí)間上改變像素靈敏度的配置，當(dāng)場景較黑暗時(shí)，通過僅使用高靈敏度像素執(zhí)行像素相加來設(shè)定構(gòu)成輸出像素布局的像素的像素值。在此情況中，被輸出的輸出HDR圖像相對于圖像傳感器的輸出移相了。圖37示出了使用圖35所示的方法的HDR處理單元的配置和處理示例，其被配置為當(dāng)場景較黑暗時(shí)僅使用高靈敏度像素進(jìn)行輸出，而當(dāng)場景較明亮?xí)r僅使用低靈敏度像素進(jìn)行輸出。圖37所示的HDR處理單元208具有的配置省略了前面參考圖11描述的HDR處理單元208中包括的HDR組合處理單元254至256。利用圖37所示的配置，當(dāng)已經(jīng)從圖像傳感器向HDR處理單元208輸入值時(shí)，執(zhí)行選擇與像素的明度保持一致的最佳像素值的選擇處理。通過執(zhí)行這個(gè)處理，可以省略圖11所示的HDR組合處理單元254至256的處理。圖38是幫助說明幀間插值處理單元501的處理的示圖。幀間插值處理單元501輸入當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207，并基于這兩個(gè)圖像來生成一個(gè)圖像。作為一個(gè)不例，當(dāng)如時(shí)間圖像206和過去時(shí)間圖像207兩者都是從聞靈敏度像素設(shè)定的圖像，并且是沒有獲得低靈敏度像素位置的像素值的圖像。幀間插值處理單元501生成如下這樣的插值圖像其中，通過對當(dāng)前時(shí)間圖像206和過去時(shí)間圖像207執(zhí)行的插值處理來計(jì)算低靈敏度像素位置的像素值。圖39是幫助說明幀內(nèi)插值處理單元502、503的處理的示圖。幀內(nèi)插值處理單元502,503輸入當(dāng)前時(shí)間圖像206或過去時(shí)間圖像207，并且基于這些圖像之一來生成一個(gè)插值圖像。作為一個(gè)不例，當(dāng)如時(shí)間圖像206和過去時(shí)間圖像207兩者都是從聞靈敏度像素設(shè)定的圖像，并且是沒有獲得低靈敏度像素位置的像素值的圖像。幀內(nèi)插值處理單元502、503生成如下這樣的插值圖像其中，通過對當(dāng)前時(shí)間圖像206或過去時(shí)間圖像207執(zhí)行的插值處理來計(jì)算低靈敏度像素位置的像素值。圖37所示的移動補(bǔ)償處理單元505和色調(diào)轉(zhuǎn)換處理單元506的處理與先前作為第一實(shí)施例描述的處理相同。在此實(shí)施例中，也通過執(zhí)行先前在第一實(shí)施例中參考圖12和13描述的時(shí)間和空間插值處理來生成追隨移動并且已經(jīng)提高分辨率的高分辨率圖像。注意，雖然在上面的示例中已經(jīng)描述了當(dāng)場景較黑暗時(shí)僅使用并輸出高靈敏度像·素而當(dāng)場景較明亮?xí)r僅使用并輸出低靈敏度像素的配置的處理，但是也可以是如下這樣的分辨率增大處理，其中，圖37所示的HDR處理單元208被應(yīng)用于從高靈敏度像素和低靈敏度像素兩者設(shè)定一個(gè)輸出像素值的配置。更具體地，作為減少像素?cái)?shù)目的圖像傳感器的輸出配置，也可以是如圖40或41所示的將圖37所示的HDR處理單元208應(yīng)用于從高靈敏度像素和低靈敏度像素兩者設(shè)定一個(gè)輸出像素值的配置的分辨率增大處理。圖40所示的示例是針對先前攝取圖像設(shè)定排列I而針對在稍后定時(shí)處的隨后攝取圖像設(shè)定排列2的曝光控制示例，并且示出了像素靈敏度在空間上改變但是靈敏度不在時(shí)間上改變的曝光控制示例。利用這種配置，針對構(gòu)成已經(jīng)經(jīng)歷像素?cái)?shù)目減少的輸出(即，HDR處理單元的輸入)的像素，參考像素位置在時(shí)間上被改變。圖41是這樣一種方法，其中，像素靈敏度在空間和時(shí)間上改變，除此之外，在輸出一個(gè)像素的像素信息時(shí)參考的多個(gè)像素被以與圖40相同的方式切換。通過將已經(jīng)被處理來減少像素?cái)?shù)目的圖像輸入到圖37所示的HDR處理單元208并執(zhí)行先前所述的處理，可以生成并輸出HDR圖像。3.對根據(jù)本發(fā)明的圖像處理裝置和現(xiàn)有配置的比較接下來，將通過對先前所述的根據(jù)本發(fā)明的圖像處理裝置的處理與傳統(tǒng)配置的處理進(jìn)行比較來描述根據(jù)本發(fā)明的圖像處理裝置的效果。前面參考圖I和2描述的方法是用于實(shí)現(xiàn)HDR圖像攝取的傳統(tǒng)技術(shù)的一個(gè)示例。由于這個(gè)傳統(tǒng)方法使用兩個(gè)圖像來生成一個(gè)圖像，所以存在幀速率為傳感器輸出的一半的問題。另外，用于生成一個(gè)HDR圖像的存儲器使用帶寬是幀存儲器中的兩個(gè)寫入幀和兩個(gè)讀取幀。另一方面，根據(jù)本發(fā)明的圖像處理裝置，S卩，前面參考圖6至10描述的配置具有的優(yōu)勢在于可以將所輸出的HDR圖像的幀速率設(shè)定為與傳感器的幀速率相等。另外，用于生成一個(gè)HDR圖像的幀存儲器的使用帶寬是一個(gè)寫入幀和一個(gè)讀取幀，這意味著與傳統(tǒng)方法相比具有僅使用一半存儲器帶寬的優(yōu)勢。前面參考圖3至5描述了用于實(shí)現(xiàn)HDR圖像攝取的傳統(tǒng)技術(shù)的另一個(gè)示例。這個(gè)方法使用有關(guān)在單個(gè)圖像中設(shè)定的具有不同靈敏度的像素的信息。這個(gè)方法的問題是如前所述，存在分辨率下降。另一方面，根據(jù)本發(fā)明的圖像處理裝置具有執(zhí)行例如圖12所示的幀間插值處理以使用具有不同曝光模式的多個(gè)連續(xù)攝取圖像來生成HDR圖像的生成信息的配置，并且通過使用連續(xù)攝取圖像的實(shí)際像素值，至少針對靜止圖像能夠?qū)崿F(xiàn)與作為圖像攝取期間的圖像傳感器輸出的貝爾模式相同的高分辨率。4.結(jié)論本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，可以依據(jù)設(shè)計(jì)要求和其他因素進(jìn)行各種修改、組合、子組合和變更，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)即可。另外，本方面的技術(shù)也可如下配置。(I) 一種圖像處理裝置，包括 HDR(高動態(tài)范圍)處理單元，輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理，其中，所述HDR處理單元通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像；通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像；以及通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對第一組合圖像和第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。(2)根據(jù)⑴所述的圖像處理裝置，其中，HDR處理單元通過執(zhí)行針對移動檢測信息表明存在移動的像素位置提高第二組合圖像的混合比率并且針對移動檢測信息表明不存在移動的像素位置提高第一組合圖像的混合比率的像素值混合處理，來生成HDR圖像。(3)根據(jù)⑴或⑵所述的圖像處理裝置，其中，HDR處理單元包括幀間插值處理單元，該幀間插值處理單元通過不經(jīng)修改地使用連續(xù)攝取的多個(gè)圖像中存在的不同靈敏度的多個(gè)像素來生成不同靈敏度的多個(gè)圖像，并且HDR處理單元通過對由幀間插值處理單元生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像。(4)根據(jù)(I)至(3)中任一項(xiàng)所述的圖像處理裝置，還包括移動檢測單元，通過對在不同時(shí)間攝取的圖像中的對應(yīng)像素的像素值進(jìn)行比較并以像素為單位執(zhí)行移動檢測來生成移動檢測信息；以及移動補(bǔ)償處理單元，通過根據(jù)按照移動檢測信息計(jì)算出的混合比率來對第一組合圖像和第二組合圖像執(zhí)行像素值混合處理，從而生成HDR圖像。(5)根據(jù)⑴至(4)中任一項(xiàng)所述的圖像處理裝置，其中，移動檢測單元通過基于如下的第二組合圖像和第三組合圖像的圖像比較以像素為單位執(zhí)行移動檢測來生成移動檢測信息所述第二組合圖像是通過對僅使用當(dāng)前時(shí)間圖像進(jìn)行插值處理而生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成的，所述當(dāng)前時(shí)間圖像是連續(xù)攝取的多個(gè)圖像中的最新圖像，并且所述第三組合圖像是通過對僅使用過去時(shí)間圖像進(jìn)行插值處理而生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成的，所述過去時(shí)間圖像是連續(xù)攝取的多個(gè)圖像中的在所述最新圖像之前攝取的圖像。(6)根據(jù)(I)至(5)中任一項(xiàng)所述的圖像處理裝置，還包括色調(diào)轉(zhuǎn)換處理單元，該色調(diào)轉(zhuǎn)換處理單元輸入由HDR處理單元生成的HDR圖像并減少該HDR圖像中的像素值的比特?cái)?shù)目。 本說明書中描述的一系列處理可通過硬件、軟件或兩者來執(zhí)行。當(dāng)通過軟件執(zhí)行處理時(shí)，可通過將其上記錄有處理序列的程序安裝在內(nèi)置于專用硬件中的計(jì)算機(jī)中的存儲器上來執(zhí)行程序，或者通過將該程序安裝在能夠執(zhí)行各種處理的通用計(jì)算機(jī)上來執(zhí)行程序。例如，可將程序預(yù)先記錄在記錄介質(zhì)上。程序可被從記錄介質(zhì)安裝到計(jì)算機(jī)，或者經(jīng)由諸如LAN(局域網(wǎng))或因特網(wǎng)之類的網(wǎng)絡(luò)接收并安裝在諸如內(nèi)置硬件之類的記錄介質(zhì)上。注意，說明書中描述的各個(gè)處理無需根據(jù)描述按時(shí)序順序執(zhí)行，而可以根據(jù)執(zhí)行處理的設(shè)備的處理能力或者根據(jù)需要來并行或單獨(dú)執(zhí)行。另外，本說明書中的系統(tǒng)是多個(gè)設(shè)備的邏輯集合配置，并且無需是將具有各個(gè)配置的設(shè)備容納在單個(gè)殼體中的配置。如上所述，根據(jù)本發(fā)明的實(shí)施例，實(shí)現(xiàn)了基于所攝取圖像來生成高質(zhì)量、高動態(tài)范圍圖像的裝置和方法。具體地，包括圖像處理(HDR處理)單元，該圖像處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理。該圖像處理單元通過使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理來生成具有不同靈敏度的多個(gè)圖像，并對所生成的具有不同靈敏度的多個(gè)圖像進(jìn)行組合來生成第一組合圖像；通過對單個(gè)所攝取圖像進(jìn)行插值處理來生成具有不同靈敏度的多個(gè)圖像，并對所生成的具有不同靈敏度的多個(gè)圖像進(jìn)行組合來生成第二組合圖像。另外，通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對第一組合圖像和第二組合圖像的像素值進(jìn)行混合來生成HDR圖像。通過執(zhí)行這種處理，生成了分辨率惡化得以最小化的HDR圖像。本公開包含與在2011年5月13日向日本專利局提交的日本在先專利申請JP2011-108047所公開的主題相關(guān)的主題，該申請的全部內(nèi)容通過引用而結(jié)合于此。
權(quán)利要求
1.一種圖像處理裝置，包括 HDR(高動態(tài)范圍)處理單元，輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理， 其中，所述HDR處理單元 通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像； 通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像；以及 通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置， 其中，所述HDR處理單元通過執(zhí)行針對所述移動檢測信息表明存在移動的像素位置提高所述第二組合圖像的混合比率并且針對所述移動檢測信息表明不存在移動的像素位置提高所述第一組合圖像的混合比率的像素值混合處理，來生成所述HDR圖像。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置， 其中，所述HDR處理單元包括幀間插值處理單元，該幀間插值處理單元通過不經(jīng)修改地使用連續(xù)攝取的多個(gè)圖像中存在的不同靈敏度的多個(gè)像素來生成不同靈敏度的多個(gè)圖像，并且 所述HDR處理單元通過對由所述幀間插值處理單元生成的所述不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成所述第一組合圖像。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括 移動檢測單元，通過對在不同時(shí)間攝取的圖像中的對應(yīng)像素的像素值進(jìn)行比較并以像素為單位執(zhí)行移動檢測來生成所述移動檢測信息；以及 移動補(bǔ)償處理單元，通過根據(jù)按照所述移動檢測信息計(jì)算出的混合比率來對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理，從而生成HDR圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置， 其中，所述移動檢測單元通過基于所述第二組合圖像和第三組合圖像的圖像比較以像素為單位執(zhí)行移動檢測來生成所述移動檢測信息， 所述第二組合圖像是通過對僅使用當(dāng)前時(shí)間圖像進(jìn)行插值處理而生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成的，所述當(dāng)前時(shí)間圖像是連續(xù)攝取的多個(gè)圖像中的最新圖像，并且 所述第三組合圖像是通過對僅使用過去時(shí)間圖像進(jìn)行插值處理而生成的不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成的，所述過去時(shí)間圖像是所述連續(xù)攝取的多個(gè)圖像中的在所述最新圖像之前攝取的圖像。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括色調(diào)轉(zhuǎn)換處理單元，該色調(diào)轉(zhuǎn)換處理單元輸入由所述HDR處理單元生成的所述HDR圖像并減少該HDR圖像中的像素值的比特?cái)?shù)目。
7.一種圖像處理裝置，包括 HDR(高動態(tài)范圍)處理單元，輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理， 其中，所述HDR處理單元包括 幀內(nèi)插值處理單元，通過執(zhí)行使用單個(gè)所攝取圖像的插值處理來生成不同靈敏度的多個(gè)圖像；和 HDR組合處理單元，通過對由所述幀內(nèi)插值處理單元生成的所述不同靈敏度的多個(gè)圖像執(zhí)行組合處理來生成HDR圖像。
8.一種圖像攝取裝置，包括 圖像傳感器； 控制單元，對構(gòu)成所述圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制；以及 HDR(高動態(tài)范圍)處理單元，輸入由所述圖像傳感器攝取的圖像并執(zhí)行圖像處理， 其中，所述HDR處理單元 通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像； 通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像；以及 通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。
9.根據(jù)權(quán)利要求8所述的圖像攝取裝置， 其中，所述控制單元對所述圖像傳感器執(zhí)行以行為單位的曝光時(shí)間控制，并以所攝取圖像幀為單位來執(zhí)行不同的曝光控制。
10.根據(jù)權(quán)利要求9所述的圖像攝取裝置， 其中，所述控制單元通過控制作為構(gòu)成所述圖像傳感器的像素的電荷蓄積開始時(shí)間的行復(fù)位定時(shí)，從而執(zhí)行以行為單位的曝光時(shí)間控制。
11.根據(jù)權(quán)利要求8所述的圖像攝取裝置， 其中，所述圖像攝取裝置通過執(zhí)行像素?cái)?shù)目減少處理以產(chǎn)生具有比構(gòu)成所述圖像傳感器的像素的數(shù)目少的像素?cái)?shù)目的圖像并將通過所述像素?cái)?shù)目減少處理產(chǎn)生的圖像輸出到所述HDR處理單元，來生成所述HDR圖像。
12.—種由圖像處理裝置執(zhí)行的圖像處理方法，包括 輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并使用HDR(高動態(tài)范圍)處理單元來執(zhí)行圖像處理， 其中，所述圖像處理的步驟 通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像； 通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像；以及 通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。
13.一種致使圖像處理裝置執(zhí)行圖像處理的程序，包括由HDR (高動態(tài)范圍)處理單元執(zhí)行的圖像處理，所述HDR處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像， 其中，所述圖像處理的步驟 通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像； 通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像；以及 通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對所述第一組合圖像和所述第二組合圖像執(zhí)行像素值混合處理來生成HDR(高動態(tài)范圍)圖像。
全文摘要
本發(fā)明涉及圖像處理裝置、圖像攝取裝置、圖像處理方法及程序。所提供的圖像處理裝置包括HDR(高動態(tài)范圍)處理單元，該HDR處理單元輸入在對構(gòu)成圖像傳感器的像素按預(yù)定空間周期和預(yù)定時(shí)間周期執(zhí)行改變曝光時(shí)間的曝光控制的同時(shí)攝取的圖像，并執(zhí)行圖像處理。HDR處理單元通過對使用連續(xù)攝取的多個(gè)圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第一組合圖像，通過對使用單個(gè)所攝取圖像進(jìn)行插值處理而生成的具有不同靈敏度的多個(gè)圖像的像素值進(jìn)行組合來生成第二組合圖像，并且通過根據(jù)按照移動檢測信息計(jì)算出的混合比率對第一組合圖像和第二組合圖像執(zhí)行像素值混合處理來生成HDR圖像。
文檔編號H04N5/235GK102780849SQ20121014728
公開日2012年11月14日 申請日期2012年5月7日 優(yōu)先權(quán)日2011年5月13日
發(fā)明者光永知生, 齋藤泰, 海津俊, 笠井政范 申請人:索尼公司