專利名稱：一種高動(dòng)態(tài)范圍成像優(yōu)化方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，尤其是圖像處理中一種高動(dòng)態(tài)范圍成像優(yōu)化技 術(shù)。
背景技術(shù)：
在圖像獲取過(guò)程中，由于待拍攝場(chǎng)景的動(dòng)態(tài)范圍大于拍攝設(shè)備的動(dòng)態(tài)范圍，并且 單次拍攝時(shí)僅能使用一個(gè)全局且固定的曝光方式，因此導(dǎo)致只能對(duì)待拍攝場(chǎng)景中的部分景 物正確曝光，其他景物要么過(guò)度曝光，要么曝光不足。過(guò)度曝光使拍攝的景物呈現(xiàn)高亮發(fā)白 的狀態(tài)，曝光不足讓景物暗淡發(fā)黑。為使圖像中所有的景物看上去都足夠明亮，獲得更好的視覺效果，常用的解決方 法是先獲得一幅讓場(chǎng)景中較亮部分正確曝光的圖像，此時(shí)場(chǎng)景中較暗的部分欠曝光，在所 獲得的圖像中顯得暗淡；然后采用類似于伽馬矯正所用使用的曲線對(duì)所獲得圖像的所有像 素值進(jìn)行重新映射，此處所用的曲線可以是各種形狀，映射之后的共同特點(diǎn)是，值較小的像 素獲得較大的增益，值較大的像素獲得較小的增益，值相同的像素獲得的增益相同，這樣可 以讓所獲得的圖像中原本較暗的部分明亮起來(lái)。圖1給出了對(duì)部分欠曝光圖像的像素值進(jìn) 行重新映射的一種映射曲線示意圖，具體來(lái)說(shuō)，原圖像中值為20的像素，經(jīng)過(guò)映射曲線的 重新映射，獲得新像素值82，其增益大約為82/20=4. 1 ；原圖像中值為200的像素，經(jīng)過(guò)重新 映射，新像素值為231，其增益大約為231/200=1. 155。關(guān)于這種方法的更詳細(xì)的闡述，可以 參考〈〈Digital Image Processing 3rd Edition〉〉3· 2 章節(jié)的內(nèi)容。上述提升圖像中曝光不足部分亮度的方法存在一定缺陷。首先，此類方法沒有考 慮每個(gè)像素到底是否正確曝光，只要該像素值較小，就會(huì)獲得較大增益，這樣場(chǎng)景中正確曝 光的，但是本來(lái)就比較暗淡的像素，例如深色的像素，會(huì)被錯(cuò)誤的施加大增益；其次，拍攝設(shè) 備對(duì)外界光照的響應(yīng)是非線性的，為提升亮度所使用的映射曲線往往不能正確反映拍攝設(shè) 備對(duì)光照強(qiáng)度的非線性響應(yīng)；并且直接在原像素值上進(jìn)行操作，對(duì)彩色圖像而言，由此會(huì)帶 來(lái)圖像色彩失真，甚至在原圖像上形成虛假細(xì)節(jié)。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)中對(duì)正確曝光的暗淡像素也進(jìn)行較大增益補(bǔ)償，為提升亮度所 使用的映射曲線不能正確反映拍攝設(shè)備對(duì)光照強(qiáng)度的非線性響應(yīng)，以及在原圖像上形成虛 假細(xì)節(jié)的不足，本發(fā)明提供了一種高動(dòng)態(tài)范圍成像優(yōu)化方法及其裝置，本發(fā)明以單幀彩色 圖像為基礎(chǔ)，利用單個(gè)像素周圍一定范圍內(nèi)其他像素的信息，對(duì)該像素曝光是否充分進(jìn)行 準(zhǔn)確判斷，然后將圖像轉(zhuǎn)換進(jìn)入線性空間，在線性空間內(nèi)對(duì)曝光不足的像素進(jìn)行曝光量補(bǔ) 償，最終通過(guò)非線性逆映射，將得到的新曝光量映射成新像素值，能提升其亮度，同時(shí)又保 證色彩和細(xì)節(jié)與原始圖像保持一致。為了克服上述不足，本發(fā)明提供了一種高動(dòng)態(tài)范圍成像優(yōu)化方法，該方法包括如 下步驟步驟一，從原始圖像中獲取一個(gè)待處理像素，作為當(dāng)前像素；
該原始圖像對(duì)高動(dòng)態(tài)范圍場(chǎng)景中較亮部分正常曝光，較暗部分欠曝光；圖像像素所處 的顏色空間是RGB、YUV或者HSV中的一種。步驟二，利用拍攝該圖像所用拍攝設(shè)備輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng) 關(guān)系，將當(dāng)前像素的像素值通過(guò)非線性映射換算成曝光量；
所述的拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān)系是非線性的，通過(guò)計(jì) 算或者實(shí)驗(yàn)獲得，或者由拍攝設(shè)備廠家提供。所述圖片獲取過(guò)程中的曝光量等于場(chǎng)景的亮度和曝光時(shí)間的乘積，用公式表示 為
Exposure Value = lrmdiance χ Exposurelime 其中MxposurwVahM表示曝光量，Irradiance表示場(chǎng)景亮度，EjjmmreTmm表示曝光時(shí)
間；由上式可見，場(chǎng)景本身的亮度越亮，相同曝光時(shí)間下的曝光量越大；在場(chǎng)景本身亮度不 變的情況下，曝光時(shí)間越長(zhǎng)，曝光量越大；另外，曝光量和曝光時(shí)間呈線性關(guān)系。所述拍攝設(shè)備輸出的像素值和場(chǎng)景的曝光量之間對(duì)應(yīng)關(guān)系的表現(xiàn)形式是曝光量 和像素值的對(duì)應(yīng)關(guān)系，或者曝光量取對(duì)數(shù)后和像素值的對(duì)應(yīng)關(guān)系。對(duì)于處于RGB顏色空間的圖像，根據(jù)拍攝設(shè)備輸出的像素值和場(chǎng)景的曝光量之間 的對(duì)應(yīng)關(guān)系直接獲得當(dāng)前像素值所對(duì)應(yīng)的曝光量；對(duì)于處于其他顏色空間的圖像，需先轉(zhuǎn) 換到RGB顏色空間，再根據(jù)對(duì)應(yīng)關(guān)系獲得曝光量。步驟三，計(jì)算當(dāng)前像素的亮度；
步驟四，利用相鄰像素的亮度值對(duì)當(dāng)前像素的亮度進(jìn)行模糊； 所述對(duì)當(dāng)前像素的亮度進(jìn)行模糊采用求平均值的方式，把以當(dāng)前像素為中心的5x5范 圍內(nèi)所有像素的亮度求和后取平均，得到模糊后的亮度信息；所述對(duì)當(dāng)前像素的亮度進(jìn)行 模糊能設(shè)置求和取均值的范圍大小，求和過(guò)程中能對(duì)相鄰像素的亮度設(shè)置不同的權(quán)重，或 者在一定范圍內(nèi)反復(fù)求均值。步驟五，利用當(dāng)前像素模糊后的亮度信息，計(jì)算需要施加的曝光補(bǔ)償量；
所述曝光補(bǔ)償量遵循以下原則小的亮度輸入得到大的曝光補(bǔ)償輸出，而大的亮度輸 入得到小的曝光補(bǔ)償。步驟六，利用當(dāng)前像素的曝光量和曝光補(bǔ)償量，計(jì)算出當(dāng)前像素的新曝光量，實(shí)現(xiàn) 曝光補(bǔ)償；
所述曝光補(bǔ)償?shù)谋磉_(dá)式為 Exposure VaiueNew = Exposure Value x Delta = Irradiance χ EiposureTime χ Delta
如果使用自然對(duì)數(shù)來(lái)表示曝光量，則曝光補(bǔ)償?shù)谋磉_(dá)式為
ln( Exposure VaIueNew) - 3n( Exposure Value) + ti( Delta)
其中ExposumVdueNew表示曝光補(bǔ)償后新的曝光量，表示曝光量，Irmdiance表示場(chǎng) 景亮度，Exposurenme表示曝光時(shí)間，Eklta表示當(dāng)前像素的曝光補(bǔ)償量。步驟七，利用拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān)系，通過(guò)非 線性逆映射，將得到的新曝光量映射成新的像素值；
步驟八，輸出新的像素值。
在上述步驟中，所述像素的原曝光量、曝光補(bǔ)償量、新的曝光量以及新的像素值的 R、G和B三個(gè)顏色分量需要分別進(jìn)行計(jì)算；R、G和B三個(gè)顏色分量使用同一條反映拍攝設(shè) 備所輸出的像素值和場(chǎng)景的曝光量之間對(duì)應(yīng)關(guān)系的響應(yīng)曲線；將像素值影射成曝光量與將 新的曝光量逆映射成新的像素值使用相同的拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之 間的對(duì)應(yīng)關(guān)系。為了克服上述不足，本發(fā)明還提供了一種高動(dòng)態(tài)范圍圖像合成裝置，該裝置包括 曝光量映射單元，曝光補(bǔ)償量計(jì)算單元，曝光補(bǔ)償單元和像素值逆映射單元。曝光量映射單元用于將待處理像素的像素值通過(guò)響應(yīng)曲線映射為曝光量；
所述響應(yīng)曲線反映拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間的非線性關(guān)系，通過(guò) 計(jì)算或者實(shí)驗(yàn)獲得，或者由拍攝設(shè)備廠家提供。曝光補(bǔ)償量計(jì)算單元用于根據(jù)待處理像素的曝光信息，計(jì)算當(dāng)前待處理像素所需 施加的曝光補(bǔ)償量；
所述曝光信息，是將待處理像素和其相鄰像素的亮度值求平均，實(shí)現(xiàn)以待處理像素為 中心的一定范圍內(nèi)的亮度模糊后得到的該像素的亮度信息。所述對(duì)當(dāng)前待處理像素施加曝光補(bǔ)償量的原則是在亮度小的地方，曝光補(bǔ)償量 大；在亮度大的地方，曝光補(bǔ)償量小。曝光補(bǔ)償單元用于在曝光量空間內(nèi)，將曝光補(bǔ)償量施加到原曝光量上，得到新的 曝光量；
如果響應(yīng)曲線中的曝光量以自然對(duì)數(shù)表示，新曝光量等于曝光補(bǔ)償量加上原曝光量； 如果響應(yīng)曲線中的曝光量以實(shí)際值表示，則新曝光量等于曝光補(bǔ)償量乘上原曝光量。像素值逆映射單元用于將新的曝光量通過(guò)響應(yīng)曲線逆映射為新的像素值。所述像素值逆映射單元和曝光量映射單元使用同一響應(yīng)曲線進(jìn)行映射換算。與現(xiàn)有技術(shù)相比較，本發(fā)明以單幀彩色圖像為基礎(chǔ)，利用單個(gè)像素周圍一定范圍 內(nèi)其他像素的信息，對(duì)該像素曝光是否充分進(jìn)行準(zhǔn)確判斷，然后將圖像轉(zhuǎn)換進(jìn)入線性空間， 在線性空間內(nèi)對(duì)曝光不足的像素進(jìn)行曝光補(bǔ)償，提升其亮度，避免了直接對(duì)像素值本身進(jìn) 行提升所可能引起的顏色失真，或者可能形成的虛假細(xì)節(jié)；此外，整個(gè)處理過(guò)程運(yùn)算簡(jiǎn)單， 復(fù)雜度低，尤其適合在例如手機(jī)，數(shù)碼相機(jī)等運(yùn)算處理能力有限的小型設(shè)備上實(shí)施。


圖1是對(duì)部分欠曝光圖像的像素值進(jìn)行重新映射的一種映射曲線示意圖。圖2是本發(fā)明提供的高動(dòng)態(tài)范圍成像優(yōu)化方法的一個(gè)實(shí)施方式的流程圖。圖3是拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間對(duì)應(yīng)關(guān)系的一種常見響應(yīng) 曲線示意圖。圖4是本發(fā)明提供的一種高動(dòng)態(tài)范圍圖像優(yōu)化裝置的一個(gè)實(shí)施方式的結(jié)構(gòu)示意 圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明具體實(shí)施方式
進(jìn)行說(shuō)明。請(qǐng)參閱圖2所示，是本發(fā)明提供的高動(dòng)態(tài)范圍成像優(yōu)化方法的一個(gè)實(shí)施方式的流程圖，具體包括如下步驟
步驟S201，從原始圖像中獲取一個(gè)待處理像素，作為當(dāng)前像素。本步驟使用的原始圖像對(duì)高動(dòng)態(tài)范圍場(chǎng)景中較亮度部分正常曝光，較暗部分欠曝 光。圖像像素所處的顏色空間是任意的，例如RGB、YUV、HSV等。圖像像素所處的顏色 空間不對(duì)本專利構(gòu)成限制。步驟S202，利用拍攝該圖像所用拍攝設(shè)備輸出的像素值和場(chǎng)景的曝光量之間的對(duì) 應(yīng)關(guān)系，將當(dāng)前像素的像素值通過(guò)非線性映射換算成曝光量。在圖像獲取過(guò)程中，拍攝設(shè)備對(duì)曝光量進(jìn)行響應(yīng)，拍攝設(shè)備所輸出的像素值和場(chǎng) 景的曝光量之間的對(duì)應(yīng)關(guān)系是非線性的。圖片獲取過(guò)程中的曝光量等于場(chǎng)景的亮度和曝光 時(shí)間的乘積，用公式表示為
權(quán)利要求
1.一種高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，該方法包括如下步驟步驟一，從原始圖像中獲取一個(gè)待處理像素，作為當(dāng)前像素；步驟二，利用拍攝該圖像所用拍攝設(shè)備輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān) 系，將當(dāng)前像素的像素值通過(guò)非線性映射換算成曝光量；步驟三，計(jì)算當(dāng)前像素的亮度；步驟四，利用相鄰像素的亮度值對(duì)當(dāng)前像素的亮度進(jìn)行模糊；步驟五，利用當(dāng)前像素模糊后的亮度信息，計(jì)算需要施加的曝光補(bǔ)償量；步驟六，利用當(dāng)前像素的曝光量和曝光補(bǔ)償量，計(jì)算出當(dāng)前像素的新曝光量，實(shí)現(xiàn)曝光 補(bǔ)償；步驟七，利用拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān)系，通過(guò)非線性 逆映射，將得到的新曝光量映射成新的像素值；步驟八，輸出新的像素值。
2.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述的原始圖像對(duì)高 動(dòng)態(tài)范圍場(chǎng)景中較亮部分正常曝光，較暗部分欠曝光。
3.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述的圖像像素所處 的顏色空間是RGB、YUV或者HSV中的一種。
4.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述的拍攝設(shè)備所輸 出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān)系是非線性的，通過(guò)計(jì)算或者實(shí)驗(yàn)獲得，或者由 拍攝設(shè)備廠家提供。
5.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述圖片獲取過(guò)程中 的曝光量等于場(chǎng)景的亮度和曝光時(shí)間的乘積，用公式表示為Exposure Value = lrradiance x ExposureTwm其中ExposumVdue表示曝光量，表示場(chǎng)景亮度，Expos-ureTime表示曝光時(shí)間；由上式可見，場(chǎng)景本身的亮度越亮，相同曝光時(shí)間下的曝光量越大；在場(chǎng)景本身亮度不變的情況 下，曝光時(shí)間越長(zhǎng)，曝光量越大；另外，曝光量和曝光時(shí)間呈線性關(guān)系。
6.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述拍攝設(shè)備輸出的 像素值和場(chǎng)景的曝光量之間對(duì)應(yīng)關(guān)系的表現(xiàn)形式是曝光量和像素值的對(duì)應(yīng)關(guān)系，或者曝光 量取對(duì)數(shù)后和像素值的對(duì)應(yīng)關(guān)系。
7.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，對(duì)于處于RGB顏色空間 的圖像，根據(jù)拍攝設(shè)備輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān)系直接獲得當(dāng)前像素值 所對(duì)應(yīng)的曝光量；對(duì)于處于其他顏色空間的圖像，需先轉(zhuǎn)換到RGB顏色空間，再根據(jù)對(duì)應(yīng)關(guān) 系獲得曝光量。
8.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述對(duì)當(dāng)前像素的亮 度進(jìn)行模糊采用求平均值的方式，把以當(dāng)前像素為中心的5x5范圍內(nèi)所有像素的亮度求和 后取平均，得到模糊后的亮度信息。
9.如權(quán)利要求8所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述對(duì)當(dāng)前像素的亮 度進(jìn)行模糊能設(shè)置求和取均值的范圍大小，求和過(guò)程中能對(duì)相鄰像素的亮度設(shè)置不同的權(quán) 重，或者在一定范圍內(nèi)反復(fù)求均值。
10.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述曝光補(bǔ)償量遵循 以下原則小的亮度輸入得到大的曝光補(bǔ)償輸出，而大的亮度輸入得到小的曝光補(bǔ)償。
11.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述曝光補(bǔ)償?shù)谋磉_(dá) 式為Sxposure FaiusMew = Exposure Value x Delia = Irradiance x ExposurerRme x Dslia如果使用自然對(duì)數(shù)來(lái)表示曝光量，則曝光補(bǔ)償?shù)谋磉_(dá)式為ln( Exposure V^iueNew) = ln( Exposure Value) + ln( Delta)其中Exposure VdueNew表示曝光補(bǔ)償后新的曝光量，Exposure Value表示原曝光量，Irmdiance表示場(chǎng)景亮度，ExpomreTMs表示曝光時(shí)間，Delta表示當(dāng)前像素的曝光補(bǔ)償量。
12.如權(quán)利要求1所述的高動(dòng)態(tài)范圍成像優(yōu)化方法，其特征在于，所述像素的原曝光 量、新的曝光量以及新的像素值的R、G和B三個(gè)顏色分量需要分別進(jìn)行計(jì)算；R、G和B三個(gè) 顏色分量使用同一條反映拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間對(duì)應(yīng)關(guān)系的響應(yīng) 曲線；將像素值映射成曝光量與將新的曝光量逆映射成新的像素值使用相同的拍攝設(shè)備所 輸出的像素值和場(chǎng)景的曝光量之間的對(duì)應(yīng)關(guān)系。
13.一種高動(dòng)態(tài)范圍成像優(yōu)化裝置，其特征在于，該裝置包括曝光量映射單元，曝光 補(bǔ)償量計(jì)算單元，曝光補(bǔ)償單元和像素值逆映射單元；曝光量映射單元用于將待處理像素的像素值通過(guò)響應(yīng)曲線映射為曝光量； 曝光補(bǔ)償量計(jì)算單元用于根據(jù)待處理像素的曝光信息，計(jì)算當(dāng)前待處理像素所需施加 的曝光補(bǔ)償量；曝光補(bǔ)償單元用于在曝光量空間內(nèi)，將曝光補(bǔ)償量施加到原曝光量上，得到新的曝光量；像素值逆映射單元用于將新的曝光量通過(guò)響應(yīng)曲線逆映射為新的像素值。
14.如權(quán)利要求13所述的高動(dòng)態(tài)范圍成像優(yōu)化裝置，其特征在于，所述響應(yīng)曲線反映 拍攝設(shè)備所輸出的像素值和場(chǎng)景的曝光量之間的非線性關(guān)系，通過(guò)計(jì)算或者實(shí)驗(yàn)獲得，或 者由拍攝設(shè)備廠家提供。
15.如權(quán)利要求13所述的高動(dòng)態(tài)范圍成像優(yōu)化裝置，其特征在于，所述曝光信息，是將 待處理像素和其相鄰像素的亮度值求平均，實(shí)現(xiàn)以待處理像素為中心的一定范圍內(nèi)的亮度 模糊后得到的該像素的亮度信息。
16.如權(quán)利要求13所述的高動(dòng)態(tài)范圍成像優(yōu)化裝置，其特征在于，所述對(duì)當(dāng)前待處理 像素施加曝光補(bǔ)償量的原則是在亮度小的地方，曝光補(bǔ)償量大；在亮度大的地方，曝光補(bǔ) 償量小。
17.如權(quán)利要求13所述的高動(dòng)態(tài)范圍成像優(yōu)化裝置，其特征在于，如果響應(yīng)曲線中的 曝光量以自然對(duì)數(shù)表示，新曝光量等于曝光補(bǔ)償量加上原曝光量；如果響應(yīng)曲線中的曝光 量以實(shí)際值表示，則新曝光量等于曝光補(bǔ)償量乘上原曝光量。
18..如權(quán)利要求13所述的高動(dòng)態(tài)范圍成像優(yōu)化裝置，其特征在于，所述像素值逆映 射單元和曝光量映射單元使用同一響應(yīng)曲線進(jìn)行映射換算。
全文摘要
本發(fā)明公開了一種高動(dòng)態(tài)范圍成像優(yōu)化方法及裝置，旨在提升高動(dòng)態(tài)范圍圖像中曝光不足部分的亮度。本發(fā)明以單幀彩色圖像為基礎(chǔ)，利用單個(gè)像素周圍一定范圍內(nèi)其他像素的信息，對(duì)該像素曝光是否充分進(jìn)行準(zhǔn)確判斷，然后將圖像轉(zhuǎn)換進(jìn)入線性空間，在線性空間內(nèi)對(duì)曝光不足的像素進(jìn)行曝光補(bǔ)償，提升其亮度，避免了直接對(duì)像素值本身進(jìn)行提升所可能引起的顏色失真，或者可能形成的虛假細(xì)節(jié)；此外，整個(gè)處理過(guò)程運(yùn)算簡(jiǎn)單，復(fù)雜度低，尤其適合在例如手機(jī)，數(shù)碼相機(jī)等運(yùn)算處理能力有限的小型設(shè)備上實(shí)施。
文檔編號(hào)H04N5/235GK102148936SQ20111011411
公開日2011年8月10日 申請(qǐng)日期2011年5月4日 優(yōu)先權(quán)日2011年5月4日
發(fā)明者彭曉峰, 林福輝, 王森, 陳遠(yuǎn) 申請(qǐng)人:展訊通信(上海)有限公司