專(zhuān)利名稱(chēng)：圖像處理裝置和方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及圖像處理裝置和方法，并且更具體地，涉及可提供具有更加多樣化的效果的圖像的圖像處理裝置和方法。
背景技術(shù)：
通常，高動(dòng)態(tài)范圍(HDR)壓縮處理被考慮用于壓縮和優(yōu)化具有寬動(dòng)態(tài)范圍的圖像的色調(diào)范圍(例如參考專(zhuān)利申請(qǐng)公開(kāi)號(hào)2008-104010(對(duì)應(yīng)于美國(guó)專(zhuān)利申請(qǐng)?zhí)朥S2008/0187235))ο例如，專(zhuān)利申請(qǐng)公開(kāi)號(hào)2008-104010公開(kāi)了一種獲取具有典型范圍的圖像的方法。在該方法中，通過(guò)具有不同曝光的多個(gè)圖像來(lái)創(chuàng)建具有寬動(dòng)態(tài)范圍的圖像，并且然后使用平滑濾波器將圖像分離為低頻分量和高頻分量(細(xì)節(jié)分量)。低頻分量的色調(diào)范圍被壓 縮，并且細(xì)節(jié)分量被對(duì)應(yīng)于低頻分離度的壓縮量地強(qiáng)調(diào)。最后，處理之后的兩種分量被組合以獲取典型范圍的圖像。此外，公開(kāi)了一種不用組合具有寬動(dòng)態(tài)范圍的圖像而通過(guò)多個(gè)圖像來(lái)創(chuàng)建具有典型范圍的圖像的方法。

發(fā)明內(nèi)容
然而，必須將不同的效果給予HDR壓縮的圖像并且壓縮色調(diào)范圍。因此，本公開(kāi)提供了一種能夠通過(guò)處理圖像的色調(diào)并且給予圖像不同視覺(jué)效果來(lái)給予圖像更加多樣化的效果的圖像處理裝置和方法。根據(jù)本公開(kāi)的實(shí)施例，提供了一種圖像處理裝置，其包括控制單元，被配置為控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)圖像給予美術(shù)視覺(jué)效果；分離單元，被配置為將圖像分離為照明分量和反射率分量；放大單元，被配置為利用控制單元控制的放大因子來(lái)放大分離單元所分離的反射率分量；和組合單元，被配置為組合分離單元分離的照明分量和放大單元放大的反射率分量。圖像處理裝置還可包括色調(diào)壓縮單元，所述色調(diào)壓縮單元被配置為壓縮分離單元所分離的照明分量的色調(diào)。這里，分離單元可將具有寬色調(diào)范圍的圖像分離為照明分量和反射率分量，并且組合單元可通過(guò)組合具有經(jīng)色調(diào)壓縮單元壓縮的色調(diào)的照明分量和放大單元放大的反射率分量來(lái)生成具有優(yōu)化的色調(diào)范圍的圖像。圖像處理裝置還可包括色調(diào)擴(kuò)展單元，所述色調(diào)擴(kuò)展單元被配置為針對(duì)色調(diào)壓縮單元的色調(diào)壓縮來(lái)擴(kuò)展分離單元分離的反射率分量的色調(diào)。這里，放大單元可利用控制單元控制的放大因子來(lái)放大具有經(jīng)色調(diào)擴(kuò)展單元擴(kuò)展的色調(diào)的反射率分量。圖像處理裝置還可包括增益組合單元，所述增益組合單元被配置為通過(guò)組合用于擴(kuò)展分離單元分離的反射率分量的色調(diào)的、與色調(diào)壓縮單元的色調(diào)壓縮相對(duì)應(yīng)的放大因子和控制單元控制的放大因子，來(lái)生成組合增益。這里，放大單元可利用增益組合單元生成的組合增益來(lái)放大分離單元分離的反射率分量。
圖像處理裝置還可包括圖像生成單元，所述圖像生成單元被配置為通過(guò)使用分離單元分離的照明分量加權(quán)組合具有不同曝光條件的多個(gè)圖像，來(lái)生成具有適當(dāng)色調(diào)范圍的圖像。這里，組合單元可組合由圖像生成單元生成的并且包括分離單元分離的照明分量作為分量的圖像和放大單元放大的反射率分量?？刂茊卧稍趯?duì)圖像給予美術(shù)視覺(jué)效果時(shí)將放大因子設(shè)置為較大的值，并且可在不對(duì)圖像給予美術(shù)視覺(jué)效果時(shí)將放大因子設(shè)置為較小的值?？刂茊卧蓪⒏鶕?jù)像素的亮度值的值設(shè)置為放大因子。這里，照明分量的像素值可被用作為亮度值?？刂茊卧蓪⒂糜趫D像的每個(gè)區(qū)域的值設(shè)置為放大因子。分離單元可使用邊緣保留平滑濾波器將圖像分離為照明分量和反射率分量。
分離單元可包括照明分量提取單元，所述照明分量提取單元被配置為從圖像提取照明分量；和反射率分量提取單元，所述反射率分量提取單元被配置為使用圖像和照明分量提取單元提取的照明分量來(lái)提取反射率分量。分離單元還可包括被配置為從圖像提取亮度分量的亮度分量提取單元。照明分量提取單元可從亮度分量提取單元提取的亮度分量中提取照明分量。反射率分量提取單元可使用亮度分量提取單元提取的亮度分量和照明分量提取單元提取的照明分量來(lái)提取反射率分量。照明分量提取單元可對(duì)所提取的照明分量進(jìn)行取整，并且反射率分量提取單元可使用照明分量提取單元所提取的、取整之前的照明分量來(lái)提取反射率分量。根據(jù)本公開(kāi)的另一個(gè)實(shí)施例，提供了一種圖像處理方法，所述方法包括控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)圖像給予美術(shù)視覺(jué)效果；將圖像分離為照明分量和反射率分量；利用放大因子來(lái)放大被分離的反射率分量；以及組合被分離的照明分量和經(jīng)放大的反射率分量。根據(jù)上述本公開(kāi)的實(shí)施例，可控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)圖像給予美術(shù)視覺(jué)效果。圖像可被分離為照明分量和反射率分量?？衫檬芸刂频姆糯笠蜃觼?lái)放大被分離的反射率分量，并且可組合被分離的照明分量和經(jīng)放大的反射率分量。根據(jù)上述本公開(kāi)的實(shí)施例，可處理圖像。具體而言，可對(duì)圖像給予更加多樣化的效果O


圖I是示出處理圖像色調(diào)的圖像處理裝置的示例性主要配置的框圖；圖2是示出細(xì)節(jié)增益的亮度調(diào)制特征的示例的圖示；圖3是示出示例性圖像處理流程的流程圖；圖4是示出另一個(gè)示例性圖像處理流程的流程圖；圖5是示出圖像處理裝置的另一個(gè)示例性配置的框圖；圖6是示出另一個(gè)示例性圖像處理流程的流程圖；圖7是示出圖像處理裝置的另一個(gè)示例性配置的框圖；圖8是示出細(xì)節(jié)生成單元的示例性主要配置的框圖9是示出另一個(gè)示例性圖像處理流程的流程圖；圖10是示出成像設(shè)備的示例性主要配置的框圖；并且圖11是示出個(gè)人計(jì)算機(jī)的示例性主要配置的框圖。
具體實(shí)施例方式以下，將參考附圖詳細(xì)描述本公開(kāi)的示例實(shí)施例。將按以下順序進(jìn)行描述。I.第一實(shí)施例(圖像處理裝置)，2.第二實(shí)施例(圖像處理裝置)，3.第三實(shí)施例(圖像處理裝置)，4.第四實(shí)施例(成像設(shè)備)和5.第五實(shí)施例(個(gè)人計(jì)算機(jī))?！碔.第一實(shí)施例>[圖像處理裝置]圖I示出了圖像處理裝置的示例性配置。·圖I中所示的圖像處理裝置100可以是執(zhí)行壓縮被輸入的圖像數(shù)據(jù)的色調(diào)和對(duì)圖像給予美術(shù)視覺(jué)效果的圖像處理的裝置?？奢斎刖哂袑捝{(diào)范圍的高動(dòng)態(tài)范圍(HDR)圖像數(shù)據(jù)。通過(guò)上面的圖像處理，可輸出具有優(yōu)化的(窄)色調(diào)范圍并配備有美術(shù)視覺(jué)效果的美術(shù)HDR圖像數(shù)據(jù)。如圖I中所示，圖像處理裝置100可包括照明分量提取單元111、反射率分量提取單元112、色調(diào)范圍壓縮單元113、色調(diào)范圍擴(kuò)展單元114、控制單元115、放大單元116和組合單元117。照明分量提取單元111、反射率分量提取單元112、色調(diào)范圍壓縮單元113、色調(diào)范圍擴(kuò)展單元114和組合單元117可構(gòu)成執(zhí)行用于壓縮色調(diào)的HDR處理的HDR處理單元121。此外，控制單元115和放大單元116可構(gòu)成執(zhí)行用于對(duì)圖像給予美術(shù)視覺(jué)效果的美術(shù)處理的美術(shù)處理單元122。輸入的HDR圖像數(shù)據(jù)(具有比正常狀態(tài)更寬的色調(diào)范圍的圖像)可被提供到照明分量提取單元111和反射率分量提取單元112 (箭頭131)。照明分量提取單元111可通過(guò)對(duì)輸入的HDR圖像數(shù)據(jù)執(zhí)行低通濾波器處理來(lái)提取照明分量(也稱(chēng)作為低頻分量)。此外，為了提取照明分量，執(zhí)行高頻截?cái)?high-cut)以使得邊緣分量保留的非線性低通濾波器(例如雙邊濾波器或?qū)＠暾?qǐng)公開(kāi)號(hào)2008-104010中公開(kāi)的濾波器)可被使用。此外，作為類(lèi)似的低通濾波器處理，除了非線性低通濾波器之夕卜，還可使用統(tǒng)計(jì)技術(shù)(例如模式濾波器或中值濾波器)。照明分量提取單元111可向色調(diào)范圍壓縮單元113提供所提取的照明分量(箭頭132)。色調(diào)范圍壓縮單元113可根據(jù)例如表示輸入/輸出級(jí)別的對(duì)應(yīng)關(guān)系的查找表(LUT)來(lái)僅僅轉(zhuǎn)換輸入的照明分量的圖像數(shù)據(jù)中每個(gè)像素的亮度值，以便壓縮色調(diào)范圍。例如，對(duì)于照明分量的低亮度區(qū)域，可通過(guò)將增益增加到I或更大來(lái)放大級(jí)別，并且對(duì)于高亮度區(qū)域，可通過(guò)將增益減少到I以下來(lái)降低級(jí)別。色調(diào)范圍壓縮單元113可向組合單元117提供色調(diào)范圍被壓縮的照明分量(箭頭135)。照明分量提取單元111也可向反射率分量提取單元112提供所提取的照明分量(箭頭133)。反射率分量提取單元112可使用照明分量從輸入的HDR圖像數(shù)據(jù)提取反射率分量(高頻分量，也稱(chēng)作為細(xì)節(jié)分量)。例如，反射率分量提取單元112可通過(guò)從輸入的HDR圖像的數(shù)據(jù)中減去從照明分量提取單元111提供來(lái)的照明分量的數(shù)據(jù)來(lái)獲取反射率分量。此外，反射率分量提取單元112例如也可通過(guò)用輸入的HDR圖像的數(shù)據(jù)除以照明分量的數(shù)據(jù)來(lái)獲取反射率分量。反射率分量提取單元112可向色調(diào)范圍擴(kuò)展單元114提供所提取的反射率分量(箭頭134)。色調(diào)范圍擴(kuò)展單元114可根據(jù)例如表示輸入/輸出級(jí)別的對(duì)應(yīng)關(guān)系的LUT來(lái)轉(zhuǎn)換每個(gè)像素的被提取的反射率分量的亮度值，以便擴(kuò)展色調(diào)范圍。色調(diào)范圍擴(kuò)展單元114可放大反射率分量。色調(diào)范圍擴(kuò)展單元114可向放大單元116提供具有擴(kuò)展的色調(diào)的反射率分量(箭頭136) ο控制單元115可設(shè)置作為在放大單元116中使用的放大因子的細(xì)節(jié)增益(箭頭
137)。例如，控制單元115可包括存儲(chǔ)單元，并且可存儲(chǔ)預(yù)置的細(xì)節(jié)增益并且然后向放大單元116提供預(yù)置的細(xì)節(jié)增益。此外，控制單元115可包括輸入單元，并且可從外部向放大單元116提供細(xì)節(jié)增益輸入。例如，控制單元115可包括接收用戶指令的接收單元，并且可向放大單元116提供用戶設(shè)置的細(xì)節(jié)增益。此外，控制單元115可包括操作單元，并且可基于 從外部或用戶輸入的信息來(lái)計(jì)算細(xì)節(jié)增益并且向放大單元116提供細(xì)節(jié)增益。放大單元116可將從色調(diào)范圍擴(kuò)展單元114提供的反射率分量(細(xì)節(jié)分量)放大為由控制單元115設(shè)置的細(xì)節(jié)增益(放大因子)。這里，放大單元116可格外強(qiáng)調(diào)反射率分量以便允許觀測(cè)的細(xì)節(jié)相比于原來(lái)被強(qiáng)調(diào)。因此，可改善圖像的質(zhì)感，并且可向圖像提供繪畫(huà)類(lèi)型的特殊效果。放大單元116可向組合單元117提供經(jīng)放大的反射率分量(箭頭
138)。組合單元117可針對(duì)全部像素來(lái)組合從色調(diào)范圍壓縮單元113和放大單元116輸出的圖像數(shù)據(jù)，并且可輸出色調(diào)范圍被壓縮的美術(shù)HDR圖像數(shù)據(jù)作為整體結(jié)果(箭頭139)。例如，在反射率分量提取單元112中，如果通過(guò)從輸入的圖像數(shù)據(jù)中減去照明分量數(shù)據(jù)而獲得反射率分量數(shù)據(jù)，則組合單元117可通過(guò)將從色調(diào)范圍壓縮單元113和放大單元116輸出的全部圖像數(shù)據(jù)相加來(lái)執(zhí)行組合處理。此外，在反射率分量提取單元112中，如果通過(guò)用照明分量數(shù)據(jù)除以輸入的圖像數(shù)據(jù)而獲得反射率分量數(shù)據(jù)，則組合單元117可通過(guò)將從色調(diào)范圍壓縮單元113和放大單元116輸出的全部圖像數(shù)據(jù)相乘來(lái)執(zhí)行組合處理。此外，從組合單元117輸出的美術(shù)HDR圖像數(shù)據(jù)可經(jīng)歷例如位數(shù)壓縮之類(lèi)的處理。如上所述,通過(guò)用美術(shù)處理單元122的放大單元116僅僅格外放大反射率分量(格外強(qiáng)調(diào)細(xì)節(jié))以使得觀測(cè)的細(xì)節(jié)相比于原來(lái)看起來(lái)被強(qiáng)調(diào)，圖像處理裝置100可容易地壓縮圖像數(shù)據(jù)的色調(diào)范圍并且對(duì)圖像給予美術(shù)視覺(jué)效果。換言之，圖像處理裝置100可對(duì)圖像給予更加多樣化的效果。此外，當(dāng)分別執(zhí)行用于壓縮色調(diào)范圍的處理和用于給予美術(shù)視覺(jué)效果的處理以便提取每一個(gè)的細(xì)節(jié)分量時(shí)，一個(gè)處理可影響另一個(gè)處理并且可能不會(huì)獲得期望的效果。特別地，因?yàn)榭赡懿荒苷_獲得照明分量，所以圖像質(zhì)量可能惡化。此外，代替使用照明分量，當(dāng)由放大線性高通濾波器所提取的分量的方法來(lái)給予美術(shù)視覺(jué)效果時(shí)，邊緣周?chē)牡皖l分量也可能被強(qiáng)調(diào)，增加了圖像質(zhì)量的視覺(jué)惡化。通過(guò)僅格外放大在壓縮色調(diào)范圍時(shí)提取的反射率分量，圖像處理裝置100可容易地在抑制圖像質(zhì)量的視覺(jué)惡化的同時(shí)對(duì)圖像給予類(lèi)似于繪畫(huà)的特殊效果。放大單元116使用的放大因子可以是任意的。然而，當(dāng)放大因子顯著增加時(shí)，例如兩倍、四倍和八倍，可進(jìn)一步強(qiáng)調(diào)細(xì)節(jié)以便加強(qiáng)給予圖像的美術(shù)視覺(jué)效果。
當(dāng)更強(qiáng)的美術(shù)視覺(jué)效果被給予圖像時(shí)，控制單元115可將放大因子設(shè)置為較大值(例如充分大于I)。另一方面，當(dāng)不打算將強(qiáng)烈的美術(shù)視覺(jué)效果給予圖像時(shí)，控制單元115可將放大因子設(shè)置為較小值(例如近似于I)。換言之，通過(guò)控制放大因子的大小，控制單元115可控制是對(duì)對(duì)象完全執(zhí)行HDR壓縮處理還是給予美術(shù)視覺(jué)效果。當(dāng)使用線性平滑濾波器處理來(lái)分離照明分量和反射率分量時(shí)，在輪廓上可能出現(xiàn)稱(chēng)為HALO(輪廓部分上出現(xiàn)的類(lèi)似于暈圈的偽像)的現(xiàn)象，并且圖像質(zhì)量可變得不合意(圖像質(zhì)量在視覺(jué)上惡化)。因此，可在照明分量提取單元111使用的照明分離濾波器中使用邊緣保留平滑濾波器。邊緣保留平滑濾波器的示例可包括雙邊濾波器和國(guó)際專(zhuān)利申請(qǐng)公開(kāi)號(hào)W02009/072537 (對(duì)應(yīng)的美國(guó)專(zhuān)利申請(qǐng)?zhí)朥S2010/0310189)中公開(kāi)的方法。如圖2中所示，放大因子可被設(shè)置為對(duì)應(yīng)于亮度的值。圖2中所示的曲線141表示細(xì)節(jié)增益的亮度調(diào)制特征的示例。因此，放大單元116可通過(guò)根據(jù)照明分量的亮度改變放大因子來(lái)僅放大要作為細(xì)節(jié)來(lái)強(qiáng)調(diào)的信號(hào)?？梢砸种聘吡炼炔糠?其中由于信號(hào)飽和而造成的假色調(diào)可被包括在細(xì)節(jié)分量中)和低亮度部分(其中噪聲分量相比于細(xì)節(jié)分量被更 多地包括)的放大。因此，圖像處理裝置100可抑制圖像的視覺(jué)惡化。放大單元116可針對(duì)圖像的全部或僅某些區(qū)域來(lái)放大反射率分量。例如，當(dāng)類(lèi)似于畫(huà)中畫(huà)的多個(gè)圖像被包括時(shí)，可僅對(duì)某些圖像(即某些區(qū)域)給予美術(shù)視覺(jué)效果。在該情況下，控制單元115可基于來(lái)自外部的任意信息(例如用戶的指令)或者圖像分析結(jié)果來(lái)設(shè)置要放大的區(qū)域，并且放大單元116可僅針對(duì)所設(shè)置的區(qū)域來(lái)放大反射率分量。此外，區(qū)域可被預(yù)先確定。在該情況下，其中僅對(duì)圖像的某些區(qū)域給予美術(shù)視覺(jué)效果的反射率分量可被提供到組合單元117。通過(guò)組合反射率分量和照明分量，組合單元117可獲取其中僅對(duì)某些區(qū)域給予美術(shù)視覺(jué)效果的圖像。此外，可以控制是否給予美術(shù)視覺(jué)效果，并且根據(jù)區(qū)域來(lái)改變(獨(dú)立設(shè)置)放大。例如，控制單元115可設(shè)置對(duì)應(yīng)于每個(gè)區(qū)域的細(xì)節(jié)增益，并且可向放大單元116提供細(xì)節(jié)增益的組。放大單元116可使用所提供的細(xì)節(jié)增益組中與要被處理的目標(biāo)位置相對(duì)應(yīng)的細(xì)節(jié)增益來(lái)放大反射率分量。[圖像處理的流程]以下，將參考圖3的流程圖來(lái)描述示例性圖像處理流程。在步驟SlOl中，控制單元115可確定是否將美術(shù)效果給予在其上執(zhí)行HDR壓縮處理的圖像。如果確定對(duì)圖像給予美術(shù)效果，那么在步驟S102中，控制單元115可對(duì)用于美術(shù)效果的細(xì)節(jié)增益設(shè)置較大值(充分大于I的值)，以便格外放大反射率分量。此外，在步驟SlOl中，如果確定不對(duì)圖像給予美術(shù)效果，那么控制單元115可將處理進(jìn)展到步驟S103并且對(duì)用于美術(shù)效果的細(xì)節(jié)增益設(shè)置較小值(近似于I的值)。在步驟S102或S103中，當(dāng)細(xì)節(jié)增益被設(shè)置時(shí)，控制單元115可將處理進(jìn)展到步驟S104。在步驟S104中，照明分量提取單元111和反射率分量提取單元112可將具有寬色調(diào)范圍輸入的HDR圖像數(shù)據(jù)分離為照明分量和反射率分量。在步驟S105中，色調(diào)范圍壓縮單元113可壓縮照明分量的色調(diào)范圍。在步驟S106中，色調(diào)范圍擴(kuò)展單元114可擴(kuò)展反射率分量的色調(diào)范圍。
在步驟S107中，放大單元116可使用在步驟S102或S103中設(shè)置的用于美術(shù)效果的細(xì)節(jié)增益來(lái)放大具有在步驟S106中擴(kuò)展的色調(diào)范圍的反射率分量。在步驟S108中，組合單元117可組合具有步驟S105中壓縮的色調(diào)范圍的照明分量和步驟S107中放大的反射率分量，以便生成輸出圖像(具有壓縮的色調(diào)范圍的(美術(shù)的)HDR圖像數(shù)據(jù))。輸出圖像可被輸出到圖像處理裝置100的外部，或者可被存儲(chǔ)在圖像處理裝置100中提供的存儲(chǔ)單元(未示出)中。
因此，圖像處理裝置100可以容易地壓縮圖像數(shù)據(jù)的色調(diào)范圍，并且可以對(duì)圖像給予美術(shù)視覺(jué)效果。圖像處理裝置100可以對(duì)圖像給予更加多樣化的效果。[另一個(gè)圖像處理流程]盡管已在上面描述了允許控制單元115根據(jù)是否給予美術(shù)效果來(lái)改變用于美術(shù)效果的細(xì)節(jié)增益，但是控制單元115也可任意設(shè)置細(xì)節(jié)增益。例如，可根據(jù)用戶指令設(shè)置細(xì)節(jié)增益。將參考圖4的流程圖來(lái)描述這類(lèi)示例性圖像處理流程。在步驟S121中，控制單元115可接收用戶的指令。在步驟S122中，控制單元115可根據(jù)步驟S121中接收的用戶指令來(lái)設(shè)置用于美術(shù)效果的細(xì)節(jié)增益。當(dāng)完成步驟S122的處理時(shí)，可依次執(zhí)行步驟S123到步驟S127的處理。然而，因?yàn)樘幚淼膱?zhí)行類(lèi)似于圖3的步驟S104到步驟S108的處理，所以將省略其詳細(xì)描述。因此，圖像處理裝置100可任意地設(shè)置細(xì)節(jié)強(qiáng)調(diào)級(jí)別。相應(yīng)地，圖像處理裝置100可按某級(jí)別對(duì)圖像給予美術(shù)效果。確定細(xì)節(jié)增益的基礎(chǔ)可以是任意的，并且可由不同于用戶指令的方法來(lái)執(zhí)行。例如，細(xì)節(jié)增益也可根據(jù)從外部提供的設(shè)置信息來(lái)設(shè)置，并且細(xì)節(jié)增益的大小可根據(jù)圖像的內(nèi)容來(lái)確定。<2.第二實(shí)施例>[圖像處理裝置]可在一次放大中實(shí)現(xiàn)第一實(shí)施例中描述的用于美術(shù)效果的放大和對(duì)反射率分量的色調(diào)范圍的擴(kuò)展(放大)。圖5是示出圖像處理裝置的示例性配置的框圖。圖5中所示的圖像處理裝置200可類(lèi)似于圖I中所示的圖像處理裝置。圖像處理裝置200可執(zhí)行用于壓縮輸入圖像的色調(diào)范圍的HDR處理和用于對(duì)圖像給予美術(shù)視覺(jué)效果的美術(shù)處理。如圖5中所示，在圖像處理裝置200中，色調(diào)擴(kuò)展單元114可從圖像處理裝置100的配置中去除，并且可另外包括色調(diào)范圍擴(kuò)展增益設(shè)置單元211和增益組合單元212。在圖像處理裝置200中，照明分量提取單元111、反射率分量提取單元112、色調(diào)范圍壓縮單元113和組合單元117可構(gòu)成執(zhí)行HDR處理的HDR處理單元221，并且控制單元115、放大單元116、色調(diào)范圍擴(kuò)展增益設(shè)置單元211和增益組合單元212可構(gòu)成執(zhí)行美術(shù)處理的美術(shù)處理單元222。在圖像處理裝置200中，反射率分量提取單元112提取的反射率分量可被提供到放大單元116 (箭頭231)。此外，控制單元115可向增益組合單元212提供設(shè)置的細(xì)節(jié)增益(箭頭137)。色調(diào)范圍擴(kuò)展增益設(shè)置單元211可設(shè)置色調(diào)范圍擴(kuò)展增益，即在圖像處理裝置100的色調(diào)范圍擴(kuò)展單元114中使用的增益，并且可將增益提供到增益組合單元212 (箭頭232)。增益組合單元212可組合從色調(diào)范圍擴(kuò)展增益設(shè)置單元211提供的色調(diào)范圍擴(kuò)展增益和從控制單元115提供的細(xì)節(jié)增益，以便生成組合增益。增益組合單元212可將所創(chuàng)建的組合增益提供到放大單元116 (箭頭233)。放大單元116可使用從增益組合單元212提供的組合增益來(lái)放大從反射率分量提取單元112提供的反射率分量。放大單元116可向組合單元117提供放大的反射率分量以便組合反射率分量和照明分量。因此，放大單元116可將圖像處理裝置100中用于擴(kuò)展色調(diào)范圍和強(qiáng)調(diào)細(xì)節(jié)分量的兩次放大實(shí)現(xiàn)為一次放大。類(lèi)似于圖像處理裝置100，圖像處理裝置200可容易地壓縮圖像數(shù)據(jù)的色調(diào)范圍并且同時(shí)對(duì)圖像給予美術(shù)視覺(jué)效果。圖像處理裝置200可對(duì)圖像給予更加多樣化的效果。
類(lèi)似于第一實(shí)施例，控制單元115可基于任意信息來(lái)將細(xì)節(jié)增益設(shè)置為任意值。類(lèi)似于第一實(shí)施例，控制單元115也可允許細(xì)節(jié)增益根據(jù)亮度來(lái)變化。類(lèi)似于第一實(shí)施例，也可允許僅在圖像的某些區(qū)域中放大反射率分量，并且也可允許根據(jù)圖像中的位置來(lái)設(shè)置細(xì)節(jié)增益。[圖像處理的流程]將參考圖6的流程圖來(lái)描述示例性圖像處理流程。在步驟S201中，色調(diào)范圍擴(kuò)展增益設(shè)置單元211可基于任意信息來(lái)設(shè)置色調(diào)范圍擴(kuò)展增益。在步驟S202中，控制單元115可確定是否將美術(shù)效果給予在其上執(zhí)行HDR壓縮處理的圖像。如果確定對(duì)圖像給予美術(shù)效果，那么在步驟S203中，控制單元115可對(duì)用于美術(shù)效果的細(xì)節(jié)增益設(shè)置較大值(充分大于I的值)，以便格外放大反射率分量。此外，在步驟S202中，如果確定不對(duì)圖像給予美術(shù)效果，那么控制單元115可將處理進(jìn)展到步驟S204并且對(duì)用于美術(shù)效果的細(xì)節(jié)增益設(shè)置較小值(近似于I的值)。在步驟S203或S204中，當(dāng)細(xì)節(jié)增益被設(shè)置時(shí)，控制單元115可將處理進(jìn)展到步驟S205。在步驟S205中，增益組合單元212可組合步驟S202或S203中設(shè)置的細(xì)節(jié)增益和步驟S201中設(shè)置的色調(diào)范圍擴(kuò)展增益。在步驟S206中，照明分量提取單元111和反射率分量提取單元112可將具有寬色調(diào)范圍輸入的HDR圖像數(shù)據(jù)分離為照明分量和反射率分量。在步驟S207中，色調(diào)范圍壓縮單元113可壓縮照明分量的色調(diào)范圍。在步驟S208中，放大單元116可使用步驟S205中生成的組合增益來(lái)放大步驟S206中提取的反射率分量。在步驟S209中，組合單元117可組合具有在步驟S207中壓縮的色調(diào)范圍的照明分量和步驟S208中放大的反射率分量，以便生成輸出圖像(具有壓縮的色調(diào)范圍的(美術(shù)的)HDR圖像數(shù)據(jù))。輸出圖像可被輸出到圖像處理裝置200的外部，或者可被存儲(chǔ)在圖像處理裝置200中提供的存儲(chǔ)單元(未示出)中。通過(guò)執(zhí)行上述圖像處理，圖像處理裝置200可以容易地壓縮圖像數(shù)據(jù)的色調(diào)范圍，并且可以對(duì)圖像給予美術(shù)視覺(jué)效果。圖像處理裝置200可以對(duì)圖像給予更加多樣化的效果。<3.第三實(shí)施例>[圖像處理裝置]除了第一和第二實(shí)施例中描述的用于HDR處理的方法，還有一種通過(guò)組合具有不同曝光條件的多個(gè)圖像以使得不會(huì)出現(xiàn)例如過(guò)亮或過(guò)暗之類(lèi)的圖像質(zhì)量惡化來(lái)生成具有適當(dāng)色調(diào)范圍的圖像的方法。例如，在視角內(nèi)的亮度范圍較寬的場(chǎng)景中，自動(dòng)曝光處理(AE處理)的精度可能降低，并且視角內(nèi)的主要對(duì)象可能由于曝光過(guò)度而變亮，或者可能由于曝光不足而被埋在噪聲中或變暗。因此，作為用于在這類(lèi)場(chǎng)景中獲取用適當(dāng)曝光條件捕獲的圖像的成像方法，已知一種稱(chēng)為“曝光包圍(exposure bracketing) ”的方法,其中通過(guò)在改變曝光條件的同時(shí)多次執(zhí)行連續(xù)曝光來(lái)獲取多個(gè)圖像信號(hào)。 正在研究一種成像方法，通過(guò)該方法可使用曝光包圍來(lái)獲取具有比成像元件的輸出更寬的動(dòng)態(tài)范圍的圖像(寬動(dòng)態(tài)范圍圖像)。在寬動(dòng)態(tài)范圍圖像的成像中，通過(guò)曝光包圍利用充分的曝光來(lái)捕獲的圖像和利用減少的曝光來(lái)捕獲的圖像可被獲取，并且這些圖像可被組合為具有寬動(dòng)態(tài)范圍的圖像。換言之，通過(guò)組合通過(guò)減少曝光、用高亮度側(cè)的色調(diào)獲取的圖像分量和通過(guò)增加曝光、用低亮度處的色調(diào)獲取的圖像分量，可以將與具有不能從一次曝光獲取的寬亮度范圍的色調(diào)范圍有關(guān)的信息引入到組合后的圖像內(nèi)。例如，通過(guò)上面的成像，當(dāng)通過(guò)具有不同曝光條件的多個(gè)圖像生成被組合以使得不會(huì)發(fā)生例如變亮和變暗的質(zhì)量之類(lèi)的圖像惡化的、具有適當(dāng)色調(diào)范圍的圖像時(shí)，存在如第一和第二實(shí)施例中所述的生成具有寬色調(diào)范圍的HDR圖像數(shù)據(jù)(寬動(dòng)態(tài)范圍圖像)和如上所述的使用HDR輸入的色調(diào)壓縮處理來(lái)壓縮圖像的色調(diào)范圍的方法。然而，因?yàn)樯厦娴姆椒ㄐ枰删哂袑捝{(diào)范圍的HDR圖像數(shù)據(jù)，所以處理所需的存儲(chǔ)量可能增加。因此，存在一種通過(guò)組合具有不同曝光條件的多個(gè)圖像以使得不會(huì)出現(xiàn)例如變亮或變暗之類(lèi)的圖像質(zhì)量惡化來(lái)生成具有適當(dāng)色調(diào)范圍的圖像而不生成具有寬色調(diào)范圍的HDR圖像數(shù)據(jù)的方法。在該實(shí)施例中，將在下面描述HDR處理方法中的示例性美術(shù)處理。圖7是示出圖像處理裝置的示例性主要配置的框圖。圖7中所示的圖像處理裝置300基本類(lèi)似于圖I的圖像處理裝置100和圖5的圖像處理裝置200，其可執(zhí)行用于壓縮色調(diào)范圍的HDR處理并且同時(shí)執(zhí)行用于給予美術(shù)視覺(jué)效果的美術(shù)處理。然而，在圖像處理裝置300的情況下，可輸入具有不同曝光條件的三個(gè)圖像(曝光不足的圖像、最優(yōu)曝光的圖像和曝光過(guò)度的圖像)而不是具有寬色調(diào)范圍的HDR圖像數(shù)據(jù)。圖像處理裝置300可包括亮度分量提取單元311、照明分離濾波器312、HDR壓縮處理單元313、控制單元314、細(xì)節(jié)生成單元315和細(xì)節(jié)強(qiáng)調(diào)單元316。配置的亮度分量提取單元311、照明分離濾波器312和HDR壓縮處理單元313可構(gòu)成執(zhí)行HDR處理的HDR處理單元321，所述HDR處理用于組合具有不同曝光條件的三個(gè)圖像以使得不會(huì)出現(xiàn)例如變亮或變暗之類(lèi)的圖像質(zhì)量惡化并且生成具有適當(dāng)色調(diào)范圍的圖像。此外，控制單元314、細(xì)節(jié)生成單元315和細(xì)節(jié)強(qiáng)調(diào)單元316可構(gòu)成對(duì)圖像給予美術(shù)視覺(jué)效果的美術(shù)處理單元322。
如上所述，通過(guò)有意將曝光減少到最優(yōu)值以下來(lái)生成的曝光不足的圖像、利用最優(yōu)曝光生成的最優(yōu)曝光的圖像和通過(guò)有意將曝光增加到超過(guò)最優(yōu)值來(lái)生成的曝光過(guò)度的圖像可被輸入到圖像處理裝置300。每個(gè)圖像可被提供到HDR壓縮處理單元313 (箭頭331到 333)。最優(yōu)曝光的圖像也可被提供到亮度分量提取單元311 (箭頭332)。亮度分量提取單元311可從輸入的最優(yōu)曝光圖像提取亮度分量，并且可將亮度分量提供到照明分離濾波器312和細(xì)節(jié)生成單元315 (箭頭334)。類(lèi)似于照明分量提取單元111，照明分離濾波器312可通過(guò)邊緣保留平滑濾波器從輸入的亮度分量提取照明分量。照明分離濾波器312可向HDR壓縮處理單元313和細(xì)節(jié)生成單元315提供所提取的照明分量(箭頭335)。HDR壓縮處理單元313可使用預(yù)定的轉(zhuǎn)換表將從照明分離濾波器312提供的照明分量轉(zhuǎn)換為組合系數(shù)，并且可使用組合系數(shù)來(lái)組合輸入的曝光不足的圖像、最優(yōu)曝光的圖 像和曝光過(guò)度的圖像。更具體地，HDR壓縮處理單元313可使用組合系數(shù)來(lái)對(duì)每個(gè)圖像加權(quán)并且將所加權(quán)的圖像彼此相加。因此，HDR壓縮處理單元313可通過(guò)曝光不足的圖像、最優(yōu)曝光的圖像和曝光過(guò)度的圖像來(lái)生成被組合以使得不會(huì)出現(xiàn)例如變亮或變暗之類(lèi)的圖像質(zhì)量惡化的、具有適當(dāng)色調(diào)范圍的圖像(HDR壓縮的圖像)。該圖像可對(duì)應(yīng)于具有優(yōu)化的色調(diào)的HDR圖像，其中僅對(duì)具有寬色調(diào)范圍的HDR圖像執(zhí)行色調(diào)處理。HDR壓縮處理單元313可向細(xì)節(jié)強(qiáng)調(diào)單元316提供所生成的HDR壓縮的圖像(箭頭336)。此外，HDR壓縮的圖像可成為包括照明分量作為分量的圖像。控制單元314可設(shè)置細(xì)節(jié)強(qiáng)調(diào)量，所述細(xì)節(jié)強(qiáng)調(diào)量是用于給予美術(shù)視覺(jué)效果的HDR壓縮的圖像的反射率分量的強(qiáng)調(diào)量。細(xì)節(jié)強(qiáng)調(diào)量可以是格外強(qiáng)調(diào)HDR壓縮的圖像的細(xì)節(jié)分量的增益?？刂茊卧?14可將細(xì)節(jié)強(qiáng)調(diào)量提供給細(xì)節(jié)生成單元315 (箭頭337)。細(xì)節(jié)生成單元315可使用從亮度分量提取單元311提供的最優(yōu)曝光圖像的亮度分量和從照明分離濾波器312提供的最優(yōu)曝光圖像的亮度分量的照明分量來(lái)提取最優(yōu)曝光圖像的亮度分量的反射率分量。細(xì)節(jié)生成單元315可類(lèi)似于反射率分量提取單元112那樣操作，并且可通過(guò)從亮度分量中減去照明分量或者用照明分量除以亮度分量來(lái)提取反射率分量。此外，細(xì)節(jié)生成單元315可通過(guò)強(qiáng)調(diào)從控制單元314提供的細(xì)節(jié)強(qiáng)調(diào)量來(lái)強(qiáng)調(diào)所提取的反射率分量，并且可生成所強(qiáng)調(diào)的細(xì)節(jié)分量。細(xì)節(jié)生成單元315可將所強(qiáng)調(diào)的細(xì)節(jié)分量提供給細(xì)節(jié)強(qiáng)調(diào)單元316 (箭頭338)。細(xì)節(jié)強(qiáng)調(diào)單元316可通過(guò)乘以從細(xì)節(jié)生成單元315提供的細(xì)節(jié)分量來(lái)格外強(qiáng)調(diào)從HDR壓縮處理單元313提供的HDR壓縮的圖像的細(xì)節(jié)并給予美術(shù)視覺(jué)效果。細(xì)節(jié)強(qiáng)調(diào)單元316可輸出具有強(qiáng)調(diào)的細(xì)節(jié)的HDR壓縮的圖像(美術(shù)HDR壓縮的圖像)(箭頭339)。從細(xì)節(jié)強(qiáng)調(diào)單元316輸出的美術(shù)HDR圖像數(shù)據(jù)可經(jīng)歷例如另外的位數(shù)壓縮之類(lèi)的處理。如上所述，通過(guò)由美術(shù)處理單元322的細(xì)節(jié)強(qiáng)調(diào)單元316僅格外放大HDR壓縮的圖像的反射率分量(格外強(qiáng)調(diào)細(xì)節(jié))以使得觀測(cè)的細(xì)節(jié)相比于原來(lái)看起來(lái)被強(qiáng)調(diào)，圖像處理裝置300可容易地組合具有不同曝光條件的多個(gè)圖像以使得不會(huì)出現(xiàn)諸如變亮或變暗之類(lèi)的圖像質(zhì)量惡化，從而生成具有適當(dāng)色調(diào)范圍的圖像，同時(shí)對(duì)圖像給予美術(shù)視覺(jué)效果。換言之，圖像處理裝置300可對(duì)圖像給予更加多樣化的效果。類(lèi)似于第一或第二實(shí)施例的放大因子，細(xì)節(jié)強(qiáng)調(diào)量可以是任意的。然而，當(dāng)細(xì)節(jié)強(qiáng)調(diào)量顯著增加時(shí)，例如兩倍、四倍和八倍，細(xì)節(jié)可被進(jìn)一步強(qiáng)調(diào)以便加強(qiáng)對(duì)圖像給予的美術(shù)視覺(jué)效果。例如，當(dāng)更強(qiáng)的美術(shù)視覺(jué)效果被給予圖像時(shí)，控制單元314可將細(xì)節(jié)強(qiáng)調(diào)量設(shè)置為較大值(例如大于I)。另一方面，當(dāng)不打算對(duì)圖像給予強(qiáng)烈的美術(shù)視覺(jué)效果時(shí)，控制單元314可將細(xì)節(jié)強(qiáng)調(diào)量設(shè)置為較小值(例如近似于I)。換言之，控制單元314可通過(guò)控制細(xì)節(jié)強(qiáng)調(diào)量的大小來(lái)控制是對(duì)對(duì)象完全地執(zhí)行HDR壓縮處理還是給予美術(shù)視覺(jué)效果。類(lèi)似于第一和第二實(shí)施例的放大因子，如圖2中所示，細(xì)節(jié)強(qiáng)調(diào)量可與亮度有關(guān)。圖2中所示的曲線141表示細(xì)節(jié)增益的亮度調(diào)制特征的示例。因此，細(xì)節(jié)強(qiáng)調(diào)單元316可通過(guò)根據(jù)照明分量的亮度改變細(xì)節(jié)強(qiáng)調(diào)量來(lái)僅放大被識(shí)別為細(xì)節(jié)的必要部分。因此，可以防止放大了低通分量而沒(méi)有放大細(xì)節(jié)，或者放大了包括許多不必要噪聲分量的高通分量。因 此，圖像處理裝置300可抑制圖像的視覺(jué)惡化。此外，類(lèi)似于第一或第二實(shí)施例，可允許僅在圖像的某些區(qū)域中放大細(xì)節(jié)分量，并且可允許根據(jù)圖像中的位置來(lái)設(shè)置細(xì)節(jié)強(qiáng)調(diào)量。盡管上面已描述了允許亮度分量提取單元311從最優(yōu)曝光圖像提取亮度分量，但是亮度分離提取單元311不限于此并且亮度分量提取單元311可從曝光不足的圖像或曝光過(guò)度的圖像提取亮度分量。[細(xì)節(jié)生成單元]圖8是示出細(xì)節(jié)生成單元315的示例主要配置的框圖。如圖8中所示,細(xì)節(jié)生成單元315可包括除法單元351、減法單元352、乘法單元353和加法單元354。除法單元351可通過(guò)用從亮度分量提取單元311提供的亮度分量(箭頭334)除以從照明分離濾波器312提取的照明分量(箭頭335)來(lái)提取細(xì)節(jié)分量。除法單元351可將所提取的細(xì)節(jié)分量提供給乘法單元353 (箭頭361)。減法單元352可從控制單元314提供的細(xì)節(jié)強(qiáng)調(diào)量中減去值“ I”來(lái)校正與HDR壓縮的圖像(箭頭336)中已包括的增益值相對(duì)應(yīng)的量。減法單元352可將減去了值“I”的細(xì)節(jié)強(qiáng)調(diào)量提供給乘法單元353 (箭頭362)。乘法單元353可將從除法單元351提供的細(xì)節(jié)分量與從減法單元352提供的細(xì)節(jié)強(qiáng)調(diào)量相乘，并且可將乘法結(jié)果提供到加法單元354 (箭頭363)。加法單元354可將從控制單元314提供的細(xì)節(jié)強(qiáng)調(diào)量(箭頭337)添加到從乘法單元353提供的細(xì)節(jié)分量和減去了值“I”的細(xì)節(jié)強(qiáng)調(diào)量的乘法結(jié)果上。加法單元354可向細(xì)節(jié)強(qiáng)調(diào)單元316提供加法結(jié)果，即格外強(qiáng)調(diào)的細(xì)節(jié)分量(箭頭338)。當(dāng)為了減少存儲(chǔ)而在平滑濾波器處理的輸出期間對(duì)信號(hào)精度進(jìn)行取整時(shí)，希望在取整之前從信號(hào)(亮度分量和照明分量)中提取細(xì)節(jié)分量。這是因?yàn)椴僮骶葘?duì)細(xì)節(jié)分量的計(jì)算而言是重要的。[圖像處理流程]將參考圖9的流程圖來(lái)描述示例性圖像處理流程。在步驟S301中，控制單元314可確定是否將美術(shù)效果給予在其上執(zhí)行HDR壓縮處理的圖像。如果確定對(duì)圖像給予美術(shù)效果，那么控制單元314可將處理進(jìn)展到步驟S302并且對(duì)細(xì)節(jié)強(qiáng)調(diào)量設(shè)置較大值(充分大于I的值)，以便格外放大細(xì)節(jié)分量。此外，在步驟S301中，如果確定不對(duì)圖像給予美術(shù)效果，那么控制單元314可將處理進(jìn)展到步驟S303并且對(duì)細(xì)節(jié)強(qiáng)調(diào)量設(shè)置較小值(近似于I的值)。在步驟S302或S303中，當(dāng)細(xì)節(jié)強(qiáng)調(diào)量被設(shè)置時(shí)，控制單元314可將處理進(jìn)展到步驟 S304。在步驟S304中，亮度分量提取單元311可從最優(yōu)曝光的圖像提取亮度分量。在步驟S305中，照明分離濾波器312可從步驟S304中提取的亮度分量中提取照明分量。在步驟S306中，細(xì)節(jié)生成單元315的除法單元351可通過(guò)用步驟S304中提取的亮度分量除以步驟S305中提取的照明分量來(lái)提取細(xì)節(jié)分量。在步驟S307中，HDR壓縮處理單元313可例如使用轉(zhuǎn)換表通過(guò)步驟 S305中提取的照明分量來(lái)生成組合系數(shù)。在步驟S308中，HDR壓縮處理單元313可加權(quán)并組合曝光不足的圖像、最優(yōu)曝光的圖像和曝光過(guò)度的圖像中的每一個(gè)以使得不會(huì)出現(xiàn)諸如變亮或變暗之類(lèi)的圖像質(zhì)量惡化，從而生成適當(dāng)色調(diào)范圍的HDR壓縮的圖像。在步驟S309中，細(xì)節(jié)生成單元315的減法單元352可從步驟S302或S303中設(shè)置的細(xì)節(jié)強(qiáng)調(diào)量中減去值“I”。在步驟S310中，細(xì)節(jié)生成單元315的乘法單元353可將步驟S306中計(jì)算的細(xì)節(jié)分量與步驟S309中計(jì)算的減法結(jié)果相乘。在步驟S311中，細(xì)節(jié)生成單元315的加法單元354可將步驟S302或S303中設(shè)置的細(xì)節(jié)強(qiáng)調(diào)量添加到步驟S310中計(jì)算的乘法結(jié)果上。在步驟S312中，細(xì)節(jié)強(qiáng)調(diào)單元316可通過(guò)乘以步驟S311中計(jì)算的加法結(jié)果來(lái)強(qiáng)調(diào)步驟S308中生成的HDR壓縮的圖像的細(xì)節(jié)。因此，具有以該方式強(qiáng)調(diào)的細(xì)節(jié)的HDR圖像可被輸出到圖像處理裝置300的外部，或者可存儲(chǔ)在圖像處理裝置300中提供的存儲(chǔ)單元(未示出)中。通過(guò)執(zhí)行上述圖像處理，圖像處理裝置300可容易地組合具有不同曝光條件的多個(gè)圖像以使得不會(huì)出現(xiàn)諸如變亮或變暗之類(lèi)的圖像質(zhì)量惡化，并且可生成具有適當(dāng)色調(diào)范圍的圖像。此外，圖像處理裝置300可對(duì)圖像給予美術(shù)視覺(jué)效果。圖像處理裝置300可對(duì)圖像給予更加多樣化的效果?！吹谒膶?shí)施例〉[成像設(shè)備]上述的圖像處理裝置可被配置為其它設(shè)備的一部分，例如圖像處理單元。例如，圖像處理裝置可被配置為捕獲對(duì)象并且生成所捕獲對(duì)象的數(shù)據(jù)的成像設(shè)備。圖10是示出成像設(shè)備的示例性主要配置的框圖。圖10中所示的成像設(shè)備400可以是捕獲對(duì)象并且生成和輸出對(duì)象的圖像數(shù)據(jù)的設(shè)備。成像設(shè)備400可包括圖I的圖像處理裝置100、圖5的圖像處理裝置200、或圖7的圖像處理裝置300作為圖像處理單元。光學(xué)塊411可包括用于將來(lái)自對(duì)象的光集中在成像元件412上的透鏡，用于通過(guò)移動(dòng)透鏡來(lái)執(zhí)行聚焦和變焦的驅(qū)動(dòng)機(jī)構(gòu)(未示出)，光圈411a和快門(mén)411b。光學(xué)塊411中的驅(qū)動(dòng)機(jī)構(gòu)可根據(jù)來(lái)自微型計(jì)算機(jī)420的控制信號(hào)來(lái)驅(qū)動(dòng)。成像元件412可包括電荷耦合器件(CCD)型圖像裝置、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)型圖像裝置等，并且可將來(lái)自對(duì)象的入射光轉(zhuǎn)換為電信號(hào)。
A/D轉(zhuǎn)換單元(A/D)413可將從成像元件412輸出的圖像信號(hào)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。國(guó)際標(biāo)準(zhǔn)化組織(ISO)增益控制單元414可根據(jù)來(lái)自微型計(jì)算機(jī)420的增益控制值來(lái)針對(duì)來(lái)自A/D轉(zhuǎn)換單元413的圖像數(shù)據(jù)的紅、綠和藍(lán)(RGB)中的每個(gè)分量提供某個(gè)增益。此外，ISO增益的調(diào)節(jié)可在 輸入到A/D轉(zhuǎn)換單元413之前在模擬圖像信號(hào)階段被執(zhí)行。緩沖存儲(chǔ)器415可臨時(shí)地存儲(chǔ)通過(guò)利用不同曝光執(zhí)行多次的曝光包圍獲得的多個(gè)圖像數(shù)據(jù)。組合處理單元416可從微型計(jì)算機(jī)420接收曝光包圍時(shí)應(yīng)用的曝光校正值，并且可基于曝光校正值將緩沖存儲(chǔ)器415中的多個(gè)圖像組合為一個(gè)圖像。顯影處理單元417可以是執(zhí)行所謂的RAW顯影處理的塊，其中主要從組合處理單元416輸出的RAW圖像數(shù)據(jù)被轉(zhuǎn)換為視覺(jué)圖像數(shù)據(jù)。顯影處理單元417可執(zhí)行數(shù)據(jù)插值(去馬賽克)處理、各種顏色調(diào)節(jié)/轉(zhuǎn)換處理(白平衡調(diào)節(jié)處理、高亮度拐點(diǎn)壓縮處理、伽瑪校正處理、孔徑校正處理和裁剪(clipping)處理)，或者根據(jù)某編碼方法的圖像壓縮編碼處理(這里，使用聯(lián)合圖像專(zhuān)家組(JPEG)方法)。從A/D轉(zhuǎn)換單元413輸出的RAW圖像數(shù)據(jù)的位數(shù)可以是12位，并且顯影處理單元417可具有用于處理12位數(shù)據(jù)的規(guī)范。此外，顯影處理單元417可通過(guò)顯影處理過(guò)程中的高亮度拐點(diǎn)壓縮處理(或低階位的切斷)將12位數(shù)據(jù)壓縮為8位數(shù)據(jù)，并且可對(duì)8位數(shù)據(jù)執(zhí)行壓縮編碼處理。此外，顯影處理單元416可在顯示單元419上輸出8位數(shù)據(jù)。記錄單元418可以是用于將通過(guò)成像獲取的圖像數(shù)據(jù)保存為數(shù)據(jù)文件的設(shè)備，并且可用便攜式閃存和硬盤(pán)驅(qū)動(dòng)器(HDD)來(lái)實(shí)現(xiàn)。此外，除了由顯影處理單元417編碼為數(shù)據(jù)文件的JPEG數(shù)據(jù)431,記錄單元418還可記錄從組合處理單元416輸出的RAW圖像數(shù)據(jù)432。記錄單元418中記錄的RAW圖像數(shù)據(jù)可被讀取、在顯影處理單元417中被處理并且在記錄單元418中被重新記錄為JPEG數(shù)據(jù)文件。顯示單元419可包括監(jiān)視器，例如液晶顯示器(IXD)?；陲@影處理單元417中處理的未壓縮的圖像數(shù)據(jù)，顯示單元419可生成用于監(jiān)視器顯示的圖像信號(hào)并且將圖像信號(hào)提供到監(jiān)視器。在記錄之前的被捕獲圖像的預(yù)覽狀態(tài)下，所捕獲的圖像信號(hào)可被連續(xù)地從圖像元件412輸出，并且在數(shù)字轉(zhuǎn)換之后，數(shù)字圖像數(shù)據(jù)可通過(guò)ISO增益控制單元414和組合處理單元416被提供到顯影處理單元417，以便經(jīng)歷顯影處理(除了編碼處理之外)。顯示單元419可在監(jiān)視器上顯示從顯影處理單元417依次輸出的圖像(預(yù)覽圖像)，并且然后用戶可用他/她的眼睛看到預(yù)覽圖像以便確認(rèn)視角。微型計(jì)算機(jī)420可包括中央處理單元(CPU)、只讀存儲(chǔ)器(ROM)和隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)，并且可通過(guò)執(zhí)行ROM中存儲(chǔ)的程序來(lái)完全地控制成像設(shè)備400。例如，在該實(shí)施例中，可基于來(lái)自檢測(cè)單元422的檢測(cè)結(jié)果來(lái)計(jì)算曝光校正值，并且可輸出根據(jù)該值的控制信號(hào)以便控制光圈411a和快門(mén)411b。因此，可實(shí)現(xiàn)自動(dòng)曝光(AE)控制。此外，當(dāng)執(zhí)行將在稍后描述的寬動(dòng)態(tài)范圍成像時(shí)，可向組合處理單元416通知所計(jì)算的曝光校正值。低通濾波器(LPF) 421可根據(jù)需要對(duì)從ISO增益控制單元414輸出的圖像數(shù)據(jù)執(zhí)行LPF處理。檢測(cè)單元422可以是基于通過(guò)LPF 421從ISO增益控制單元414提供的圖像數(shù)據(jù)來(lái)執(zhí)行各種檢測(cè)的塊，并且在本實(shí)施例中，可將圖像劃分為某些測(cè)光區(qū)域并且為每個(gè)測(cè)光區(qū)域檢測(cè)亮度值。在上述成像設(shè)備400中，與圖I的圖像處理裝置100或圖5的圖像處理裝置200具有相同配置并且執(zhí)行相同處理的圖像處理單元可被配置為顯影處理單元417的部分或全部。因此，顯影處理單元417可容易地壓縮圖像數(shù)據(jù)的色調(diào)范圍，并且可同時(shí)對(duì)圖像給予美術(shù)視覺(jué)效果。S卩，在成像設(shè)備400中，通過(guò)曝光包圍獲取的多個(gè)圖像被容易地組合，并且可獲取被給予美術(shù)視覺(jué)效果的圖像。圖像可被顯示在顯示單元419上或者可在記錄單元418中被記錄為JPEG數(shù)據(jù)431?？扇我膺x擇記錄單元418中記錄的圖像數(shù)據(jù)的編碼方法。記錄單元418也可存儲(chǔ)由除了 JPEG之外的編碼方法所編碼的圖像數(shù)據(jù)。
與圖7的圖像處理裝置300具有相同配置并且執(zhí)行相同處理的圖像處理單元也可被配置為組合處理單元416和顯影處理單元417的部分或全部。因此，組合處理單元416和顯影處理單元417可容易地組合具有不同曝光條件的多個(gè)圖像以使得不會(huì)出現(xiàn)諸如變亮或變暗之類(lèi)的圖像質(zhì)量惡化，并且可生成具有適當(dāng)色調(diào)范圍的圖像。此外，組合處理單元416和顯影處理單元417可對(duì)圖像給予美術(shù)視覺(jué)效果。<5.第五實(shí)施例>[個(gè)人計(jì)算機(jī)]上述順序處理可由硬件或軟件執(zhí)行。在該情況下，個(gè)人計(jì)算機(jī)可被配置為如圖11中所示。在圖11中，個(gè)人計(jì)算機(jī)500的中央處理單元(CPU) 501可根據(jù)只讀存儲(chǔ)器(ROM) 502中存儲(chǔ)的程序或者從存儲(chǔ)單元513載入隨機(jī)訪問(wèn)存儲(chǔ)器(RAM) 503中的程序來(lái)執(zhí)行各種處理。此外，CPU 501執(zhí)行各種處理所需的數(shù)據(jù)可被適當(dāng)?shù)卮鎯?chǔ)在RAM 503中。CPU 501、ROM 502和RAM 503可通過(guò)總線504相互連接。此外，總線504可連接到輸入/輸出(I/O)接口 510。I/O接口 510可連接到包括鍵盤(pán)和鼠標(biāo)的輸入單元511、包括顯示器(例如陰極射線管(CRT)或液晶顯示器(LCD))和揚(yáng)聲器的輸出單元512、包括硬盤(pán)的存儲(chǔ)單元513和包括調(diào)制解調(diào)器的通信單元514。通信單元514可通過(guò)包括因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器515可根據(jù)需要被連接到I/O接口 510，并且例如磁盤(pán)、光盤(pán)、磁光盤(pán)和半導(dǎo)體存儲(chǔ)器之類(lèi)的可移除介質(zhì)521可被適當(dāng)?shù)匕惭b。根據(jù)需要，從可移除介質(zhì)521讀取的計(jì)算機(jī)程序可被安裝在存儲(chǔ)單元513中。當(dāng)順序處理由軟件執(zhí)行時(shí)，構(gòu)成軟件的程序可從網(wǎng)絡(luò)或記錄介質(zhì)安裝。如圖11中所示，記錄介質(zhì)可被配置在可移除介質(zhì)521中，可移除介質(zhì)521包括磁盤(pán)(包括軟盤(pán))、光盤(pán)(包括只讀致密盤(pán)存儲(chǔ)器(⑶-ROM)和數(shù)字多功能盤(pán)(DVD))、磁光盤(pán)(包括迷你盤(pán)(MD))、或半導(dǎo)體存儲(chǔ)器，程序被記錄在所述可移除介質(zhì)521上以便被獨(dú)立于設(shè)備主體地分發(fā)給用戶。此外，記錄介質(zhì)可被配置在ROM 502中，程序被記錄在ROM 502上并且在被預(yù)裝配在設(shè)備主體中的狀態(tài)下被遞送給用戶，或者記錄介質(zhì)可被配置在存儲(chǔ)單元513中包括的硬盤(pán)中。計(jì)算機(jī)執(zhí)行的程序可根據(jù)本公開(kāi)的描述次序以時(shí)間順序來(lái)執(zhí)行，或者可并行地或者在被調(diào)用的必要時(shí)刻執(zhí)行。在本公開(kāi)中，描述記錄介質(zhì)中記錄的程序的步驟可包括根據(jù)描述次序以時(shí)間順序執(zhí)行的處理和不是以時(shí)間順序而是并行或分別執(zhí)行的處理。
在本公開(kāi)中，系統(tǒng)可表示由多個(gè)設(shè)備構(gòu)成的整個(gè)設(shè)備。此外，上面描述為一個(gè)設(shè)備(或處理單元)的配置可被分為多個(gè)設(shè)備(或處理單元)。另一方面，上面描述為多個(gè)設(shè)備(或處理單元)的配置可被集成為一個(gè)設(shè)備。此外，其它組件可被添加到每個(gè)設(shè)備(或每個(gè)處理單元)的配置中。只要系統(tǒng)的配置或操作作為一個(gè)整體基本類(lèi)似，就可允許任何設(shè)備的部分配置也被包括在其它設(shè)備(或其它處理單元)中。本公開(kāi)的實(shí)施例不限于上述實(shí)施例，而是可在本公開(kāi)的范圍內(nèi)進(jìn)行各種修改。此外，本技術(shù)可被配置為如下。(I) 一種圖像處理裝置，包括
控制單元，被配置為控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)圖像給予美術(shù)視覺(jué)效果；分離單元，被配置為將圖像分離為照明分量和反射率分量；放大單元，被配置為利用控制單元控制的放大因子來(lái)放大分離單元所分離的反射率分量；和組合單元，被配置為組合分離單元分離的照明分量和放大單元放大的反射率分量。(2)根據(jù)(I)所述的圖像處理裝置，還包括被配置為壓縮分離單元分離的照明分量的色調(diào)的色調(diào)壓縮單元，其中分離單元將具有寬色調(diào)范圍的圖像分離為照明分量和反射率分量，并且組合單元通過(guò)組合具有經(jīng)色調(diào)壓縮單元壓縮的色調(diào)的照明分量和放大單元放大的反射率分量來(lái)生成具有優(yōu)化的色調(diào)范圍的圖像。(3)根據(jù)(2)所述的圖像處理裝置，還包括色調(diào)擴(kuò)展單元，所述色調(diào)擴(kuò)展單元被配置為針對(duì)色調(diào)壓縮單元的色調(diào)壓縮來(lái)擴(kuò)展分離單元分離的反射率分量的色調(diào)，其中所述放大利用控制單元控制的放大因子來(lái)放大具有經(jīng)色調(diào)擴(kuò)展單元擴(kuò)展的色調(diào)的反射率分量。(4)根據(jù)(2)所述的圖像處理裝置，還包括增益組合單元，所述增益組合單元被配置為通過(guò)組合與色調(diào)壓縮單元的用于擴(kuò)展分離單元分離的反射率分量的色調(diào)的色調(diào)壓縮相對(duì)應(yīng)的放大因子和控制單元控制的放大因子，來(lái)生成組合增益，其中放大單元利用增益組合單元生成的組合增益來(lái)放大分離單元分離的反射率分量。(5)根據(jù)(I)所述的圖像處理裝置，還包括圖像生成單元，所述圖像生成單元被配置為通過(guò)對(duì)分離單元分離的照明分量進(jìn)行加權(quán)以組合具有不同曝光條件的多個(gè)圖像，來(lái)生成具有適當(dāng)色調(diào)范圍的圖像。其中組合單元組合由圖像生成單元生成的并且包括分離單元分離的照明分量作為分量的圖像和放大單元放大的反射率分量。(6)根據(jù)⑴到(5)中任何一個(gè)所述的圖像處理裝置，其中控制單元在對(duì)圖像給予美術(shù)視覺(jué)效果時(shí)將放大因子設(shè)置為較大的值，并且在不對(duì)圖像給予美術(shù)視覺(jué)效果時(shí)將放大因子設(shè)置為較小的值。(7)根據(jù)⑴到(6)中任何一個(gè)所述的圖像處理裝置，其中控制單元將根據(jù)像素的亮度值的值設(shè)置為放大因子。
(8)根據(jù)⑴到(7)中任何一個(gè)所述的圖像處理裝置，其中控制單元將根據(jù)區(qū)域的值設(shè)置為放大因子。(9)根據(jù)⑴到⑶中任何一個(gè)所述的圖像處理裝置，其中分離單元使用邊緣保留平滑濾波器將圖像分離為照明分量和反射率分量。(10)根據(jù)⑴到(9)中任何一個(gè)所述的圖像處理裝置，其中分離單元包括照明分量提取單元，所述照明分量提取單元被配置為從圖像提取照明分量；和反射率分量提取單元，所述反射率分量提取單元被配置為使用圖像和照明分量提取單元提取的照明分量來(lái)提取反射率分量。(11)根據(jù)(10)所述的圖像處理裝置，其中分離單元還包括被配置為從圖像提取亮度分量的亮度分量提取單元； 照明分量提取單元從亮度分量提取單元提取的亮度分量中提取照明分量；并且反射率分量提取單元使用亮度分量提取單元提取的亮度分量和照明分量提取單元提取的照明分量來(lái)提取反射率分量。(12)根據(jù)(10)或(11)所述的圖像處理裝置，其中照明分量提取單元對(duì)所提取的照明分量進(jìn)行取整，并且反射率分量提取單元在取整之前使用照明分量提取單元所提取的照明分量來(lái)提取反射率分量。(13) —種圖像處理方法，包括控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)圖像給予美術(shù)視覺(jué)效果；將圖像分尚為照明分量和反射率分量；利用放大因子來(lái)放大被分尚的反射率分量；和組合被分離的照明分量和經(jīng)放大的反射率分量。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)需求和其它因素可出現(xiàn)各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍內(nèi)。本公開(kāi)包含與2011年5月25日在日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP2011-117467中所公開(kāi)的主題相關(guān)的主題，該優(yōu)先權(quán)專(zhuān)利的全部?jī)?nèi)容因此合并在此作為參考。
權(quán)利要求
1.ー種圖像處理裝置，包括 控制單元，被配置為控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)所述圖像給予美術(shù)視覺(jué)效果； 分離單元，被配置為將所述圖像分離為照明分量和所述反射率分量； 放大單元，被配置為利用所述控制單元控制的放大因子來(lái)放大所述分離單元所分離的反射率分量；和 組合單元，被配置為組合所述分離単元分離的照明分量和所述放大単元放大的反射率分量。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括被配置為壓縮所述分離単元分離的照明分量的色調(diào)的色調(diào)壓縮単元， 其中所述分離單元將具有寬色調(diào)范圍的圖像分離為照明分量和反射率分量，并且所述組合單元通過(guò)組合具有經(jīng)所述色調(diào)壓縮単元壓縮的色調(diào)的照明分量和所述放大単元放大的反射率分量來(lái)生成具有優(yōu)化的色調(diào)范圍的圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括色調(diào)擴(kuò)展単元，所述色調(diào)擴(kuò)展單元被配置為針對(duì)所述色調(diào)壓縮單元的色調(diào)壓縮來(lái)擴(kuò)展所述分離単元分離的反射率分量的色調(diào)， 其中所述放大単元利用所述控制單元控制的放大因子來(lái)放大具有經(jīng)所述色調(diào)擴(kuò)展單元擴(kuò)展的色調(diào)的反射率分量。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括増益組合單元，所述增益組合單元被配置為通過(guò)組合用于擴(kuò)展所述分離単元分離的反射率分量的色調(diào)的、與所述色調(diào)壓縮單元的色調(diào)壓縮相對(duì)應(yīng)的放大因子和所述控制單元控制的放大因子，來(lái)生成組合增益， 其中所述放大単元利用所述增益組合單元生成的組合增益來(lái)放大所述分離単元分離的反射率分量。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括圖像生成単元，所述圖像生成単元被配置為通過(guò)使用所述分離単元分離的照明分量加權(quán)合成具有不同曝光條件的多個(gè)圖像，來(lái)生成具有適當(dāng)色調(diào)范圍的圖像。
其中所述組合單元組合由所述圖像生成単元生成的并且包括所述分離単元分離的照明分量作為分量的圖像和所述放大単元放大的反射率分量。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中所述控制単元在對(duì)圖像給予美術(shù)視覺(jué)效果時(shí)將放大因子設(shè)置為較大的值，并且在不對(duì)圖像給予美術(shù)視覺(jué)效果時(shí)將放大因子設(shè)置為較小的值。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中所述控制単元將根據(jù)像素的亮度值的值設(shè)置為放大因子。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中所述控制単元將根據(jù)區(qū)域的值設(shè)置為放大因子。
9.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中所述分離単元使用邊緣保留平滑濾波器將圖像分離為照明分量和反射率分量。
10.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中所述分離単元包括 照明分量提取單元，所述照明分量提取單元被配置為從圖像提取照明分量；和 反射率分量提取單元，所述反射率分量提取單元被配置為使用圖像和所述照明分量提取單元提取的照明分量來(lái)提取反射率分量。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中 所述分離單元還包括被配置為從所述圖像提取亮度分量的亮度分量提取單元； 所述照明分量提取單元從所述亮度分量提取單元提取的亮度分量中提取照明分量；并且 所述反射率分量提取單元使用所述亮度分量提取單元提取的亮度分量和所述照明分量提取單元提取的照明分量來(lái)提取反射率分量。
12.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中所述照明分量提取單元對(duì)所提取的照明分量進(jìn)行取整，并且所述反射率分量提取單元使用所述照明分量提取單元所提取的、取整之前的照明分量來(lái)提取反射率分量。
13.ー種圖像處理方法，包括 控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)所述圖像給予美術(shù)視覺(jué)效果； 將圖像分離為照明分量和反射率分量； 利用放大因子來(lái)放大被分尚的反射率分量；和 組合被分離的照明分量和經(jīng)放大的反射率分量。
全文摘要
公開(kāi)了圖像處理裝置和方法。提供了一種圖像處理裝置，其包括控制單元，被配置為控制是否將用于放大圖像的反射率分量的放大因子設(shè)置為足夠大的值以便對(duì)圖像給予美術(shù)視覺(jué)效果；分離單元，被配置為將圖像分離為照明分量和反射率分量；放大單元，被配置為利用控制單元控制的放大因子來(lái)放大分離單元所分離的反射率分量；和組合單元，被配置為組合分離單元分離的照明分量和放大單元放大的反射率分量。
文檔編號(hào)H04N5/243GK102801916SQ20121016458
公開(kāi)日2012年11月28日 申請(qǐng)日期2012年5月18日 優(yōu)先權(quán)日2011年5月25日
發(fā)明者若園雅史 申請(qǐng)人:索尼公司