專利名稱：一種高動態(tài)范圍圖像合成方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，尤其是圖像處理中一種高動態(tài)范圍圖像合成技術(shù)。
背景技術(shù)：
在圖像獲取過程中，由于待拍攝場景的動態(tài)范圍大于拍攝設(shè)備的動態(tài)范圍，并且單次拍攝時僅能使用一個全局且固定的曝光方式，因此導(dǎo)致只能對待拍攝場景中的部分景物正確曝光，其他景物要么過度曝光，要么曝光不足。在過度曝光的部分，由于亮度接近飽和，待拍攝場景的細(xì)節(jié)全部成為高亮的白色而無法分辨；在曝光不足的部分，由于拍攝設(shè)備的靈敏度較低，待拍攝場景微小的亮度變化難以在圖像上得到體現(xiàn)，場景細(xì)節(jié)由此丟失，由此得到的圖像給后處理帶來了極大的不便。后處理時，為了獲得更好的視覺效果，通常希望降低圖像中過度曝光部分的亮度，或者提高曝光不足部分的亮度。但是這兩部分的細(xì)節(jié)都已經(jīng)在拍攝過程中損失，后處理的結(jié)果只能是引入大量的噪聲，無法提取出有用的細(xì)節(jié)。為了在單張圖像中盡可能多的包含場景中各個部分的細(xì)節(jié)，通常使用多張不同曝光的圖像來進行合成。其中在 Journal of Electronic Imaging 12(2), 219-228 (April 2003) "Estimation-theoretic approach to dynamic range enhancement using multiple exposures” 一文中提出的是一種比較典型方法，該方法首先對同一場景進行多次不同時長的曝光，得到多張不同曝光的圖像，借此盡可能多的獲得場景中各個亮度不同的部分的細(xì)節(jié)。然后以曝光時間為權(quán)重，即曝光時間越長的圖像權(quán)重越大，將不同曝光的圖像加權(quán)求和后歸一化；以上過程經(jīng)多次迭代后得到最終的高動態(tài)范圍圖像。在最終合成的高動態(tài)范圍圖像中，細(xì)節(jié)不僅存在于正常曝光的部分，過曝和曝光不足的部分同樣包含有豐富的細(xì)節(jié)；只要經(jīng)過適當(dāng)?shù)暮筇幚?，整個場景的細(xì)節(jié)可以在一張圖像中得到呈現(xiàn)。上述方法要求不同曝光圖像所拍攝的場景必須嚴(yán)格相同，達到像素級別的對齊， 否則由于像素的偏移將導(dǎo)致最終合成圖像上出現(xiàn)重影。圖像數(shù)量越多，其完全對齊的難度越大。然而以上方法需要的圖像數(shù)量較多，在上述文獻中，場景“Studio”曝光了 8次，場景 “Cushing”曝光了 11次。此外，隨著圖像傳感器分辨率的增加，單幀圖像達到上千萬像素已經(jīng)十分常見，更何況以上方法同時需要多張圖像，由此帶來了大量的運算和待處理數(shù)據(jù)。無論是處理設(shè)備的運算速度，還是緩存待處理數(shù)據(jù)所需的存儲空間，都限制了上述方法運用在小型手持設(shè)備上，如數(shù)碼相機、手機等。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)中所需不同曝光圖像數(shù)量多，從而導(dǎo)致運算量大，所需存儲空間大等不適用于小型手持設(shè)備的不足，本發(fā)明提供了一種高動態(tài)范圍圖像合成方法及其裝置，本發(fā)明使用了兩幀不同曝光的圖像進行高動態(tài)范圍合成，減小了圖像對齊的難度；同時由于圖像數(shù)量的減少，處理過程中的運算量和所需存儲空間大大減小，使其能運用于小型手持設(shè)備。
為克服上述不足，本發(fā)明提供了一種高動態(tài)范圍圖像合成方法，該方法包括如下步驟
步驟一，設(shè)置拍攝設(shè)備的長曝光時間，拍攝場景的長曝光圖像； 步驟二，設(shè)置拍攝設(shè)備的短曝光時間，拍攝場景的短曝光圖像； 步驟三，根據(jù)拍攝設(shè)備所輸出的像素值和場景的曝光量之間的對應(yīng)關(guān)系，將獲得的長曝光圖像和短曝光圖像分別轉(zhuǎn)換成曝光量；
步驟四，根據(jù)曝光量、場景亮度和曝光時間三者之間的關(guān)系，分別計算長曝光圖像和短曝光圖像對應(yīng)的場景亮度IRl和IR2 ；
步驟五，分別提取長曝光圖像和短曝光圖像的亮度；
步驟六，根據(jù)曝光圖像的亮度，分別計算對長曝光圖像和短曝光圖像的場景亮度所要
施加的不同權(quán)重；對長曝光圖像和短曝光圖像的場景亮度施加的權(quán)重原則是對長曝光圖
像中的高亮度像素施加小權(quán)重，而低亮度像素施加大權(quán)重；對短曝光圖像中的高亮度像素
施加大權(quán)重，而低亮度像素施加小權(quán)重；
步驟七，根據(jù)場景亮度及其權(quán)重，合成新的場景亮度，其合成公式如下
r ,. r !R\xW\-\- !R2x￥/2
lrraaiance New =-
￥Fl + W2
其中表示合成的場景亮度；長曝光圖像場景亮度為頂1，對應(yīng)施加的權(quán)重為Wl ；短曝光圖像場景亮度為頂2，對應(yīng)施加的權(quán)重為W2 ；
步驟八，利用拍攝設(shè)備所輸出的像素值和場景的曝光量之間的對應(yīng)關(guān)系，對合成的場景亮度進行模擬曝光，獲得高動態(tài)范圍圖像，其具體計算如下首先將合成的場景亮度與模擬曝光時間相乘得到新的曝光量，然后根據(jù)該曝光量在響應(yīng)曲線上找到其對應(yīng)的像素值， 即為高動態(tài)范圍圖像的像素值；所述的模擬曝光時間為任何合理值。較佳地，所述的長曝光時間和短曝光時間的具體數(shù)值根據(jù)場景的不同而有所不同，長曝光時間的大小以能夠讓場景中較暗的部分正確曝光，體現(xiàn)出足夠多的細(xì)節(jié)為準(zhǔn)；短曝光時間的大小以能夠讓場景中較亮的部分正確曝光，體現(xiàn)出足夠的細(xì)節(jié)為準(zhǔn)。較佳地，所述的長曝光圖像和短曝光圖像必須達到像素級的對齊；此像素級的對齊通過使用輔助設(shè)備，或者打開拍攝設(shè)備的防抖功能，或者在拍攝完成后使用簡單的算法將兩張圖像進行校準(zhǔn)達到。較佳地，所述的反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線是非線性的，可以通過計算或者實驗獲得，也可以由拍攝設(shè)備廠家提供。較佳地，所述的場景亮度、合成的場景亮度以及新的曝光量的R、G和B三個顏色分量需要分別進行計算；對同一個像素的R、G和B三個顏色分量施加的權(quán)重相同；R、G和 B三個顏色分量使用同一條反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線。為克服上述不足，本發(fā)明還提供了一種高動態(tài)范圍圖像合成裝置，該裝置包括圖像拍攝單元，場景亮度計算單元，圖像亮度計算單元，權(quán)重計算單元，場景亮度合成單元和模擬曝光單元；該裝置首先采用圖像拍攝單元獲取長曝光圖像和短曝光圖像，然后通過場景亮度計算單元計算長曝光圖像和短曝光圖像對應(yīng)的場景亮度IRl和頂2，而圖像亮度計算單元提取兩張不同曝光圖像的亮度信息，權(quán)重計算單元根據(jù)亮度信息，計算兩張不同曝光圖像的場景亮度的權(quán)重Wl和W2，然后場景亮度合成單元根據(jù)場景亮度及其權(quán)重，合成新的場景亮度，最終模擬曝光單元利用反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線，將合成的場景亮度進行模擬曝光，得到高動態(tài)范圍圖像。較佳地，所述的圖像拍攝單元使用的長曝光時間和短曝光時間的具體數(shù)值根據(jù)場景的不同而有所不同；長曝光時間的大小以能夠讓場景中較暗的部分正確曝光，體現(xiàn)出足夠多的細(xì)節(jié)為準(zhǔn)；短曝光時間的大小以能夠讓場景中較亮的部分正確曝光，體現(xiàn)出足夠的細(xì)節(jié)為準(zhǔn)。較佳地，所述的圖像拍攝單元得到的兩張不同曝光的圖像必須達到像素級別的對齊，此像素級的對齊通過使用輔助設(shè)備，或者打開拍攝設(shè)備的防抖功能，或者在拍攝完成后使用簡單的算法將兩張圖像進行校準(zhǔn)達到。較佳地，所述的場景亮度計算單元首先根據(jù)拍攝設(shè)備所輸出的像素值和場景的曝光量之間的對應(yīng)關(guān)系，將獲得的長曝光圖像和短曝光圖像分別轉(zhuǎn)換成曝光量；然后，根據(jù)曝光量、場景亮度和曝光時間三者之間的關(guān)系，分別計算長曝光圖像和短曝光圖像對應(yīng)的場景亮度IRl和頂2。所述的反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線通常是非線性的，可以通過計算或者實驗獲得，也可以由拍攝設(shè)備廠家提供。較佳地，所述的權(quán)重計算單元對每一個像素施加權(quán)重的計算原則是對長曝光圖像中的高亮度像素施加小權(quán)重，而低亮度像素施加大權(quán)重；對短曝光圖像中的高亮度像素施加大權(quán)重，而低亮度像素施加小權(quán)重。較佳地，所述的場景亮度合成單元采用下述合成公式進行場景亮度合成
權(quán)利要求
1.一種高動態(tài)范圍圖像合成方法，其特征在于，該方法包括如下步驟步驟一，設(shè)置拍攝設(shè)備的長曝光時間，拍攝場景的長曝光圖像；步驟二，設(shè)置拍攝設(shè)備的短曝光時間，拍攝場景的短曝光圖像；步驟三，根據(jù)拍攝設(shè)備所輸出的像素值和場景的曝光量之間的對應(yīng)關(guān)系，將獲得的長曝光圖像和短曝光圖像分別轉(zhuǎn)換成曝光量；步驟四，根據(jù)曝光量、場景亮度和曝光時間三者之間的關(guān)系，分別計算長曝光圖像和短曝光圖像對應(yīng)的場景亮度IRl和IR2 ；步驟五，分別提取長曝光圖像和短曝光圖像的亮度；步驟六，根據(jù)曝光圖像的亮度，分別計算對長曝光圖像和短曝光圖像的場景亮度所要施加的不同權(quán)重；步驟七，根據(jù)場景亮度及其權(quán)重，合成新的場景亮度；步驟八，利用拍攝設(shè)備所輸出的像素值和場景的曝光量之間的對應(yīng)關(guān)系，對合成的場景亮度進行重曝光，獲得高動態(tài)范圍圖像。
2.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的長曝光時間和短曝光時間的具體數(shù)值根據(jù)場景的不同而有所不同，長曝光時間的大小以能夠讓場景中較暗的部分正確曝光，體現(xiàn)出足夠多的細(xì)節(jié)為準(zhǔn)；短曝光時間的大小以能夠讓場景中較亮的部分正確曝光，體現(xiàn)出足夠的細(xì)節(jié)為準(zhǔn)。
3.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的長曝光圖像和短曝光圖像必須達到像素級的對齊。
4.如權(quán)利要求3所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的像素級的對齊通過使用輔助設(shè)備，或者打開拍攝設(shè)備的防抖功能，或者在拍攝完成后使用簡單的算法將兩張圖像進行校準(zhǔn)達到。
5.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線是非線性的，通過計算或者實驗獲得，或者由拍攝設(shè)備廠家提供。
6.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的曝光量、場景亮度以及曝光時間之間的關(guān)系如下式表示Exposure Vdue Irradiaficex ExposureTiine其中ExposumVdm表示曝光量，Irradiance表示場景亮度，EsureWne表示曝光時間。
7.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的對長曝光圖像和短曝光圖像的場景亮度施加權(quán)重的原則是對長曝光圖像中的高亮度像素施加小權(quán)重， 而低亮度像素施加大權(quán)重；對短曝光圖像中的高亮度像素施加大權(quán)重，而低亮度像素施加小權(quán)重。
8.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的場景亮度的合成公式如下IRVxWl +IR2>:W2Irradiance New ■■WI + W2其中Afew表示合成的場景亮度；長曝光圖像場景亮度為頂1，對應(yīng)施加的權(quán)重為Wl ；短曝光圖像場景亮度為頂2，對應(yīng)施加的權(quán)重為W2。
9.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的高動態(tài)范圍圖像通過利用反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線，模擬拍攝曝光過程得到；其具體計算如下首先將合成的場景亮度與模擬曝光時間相乘得到新的曝光量，然后根據(jù)該曝光量在響應(yīng)曲線上找到其對應(yīng)的像素值，即為高動態(tài)范圍圖像的像素值。
10.如權(quán)利要求9所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的模擬曝光時間為任何合理值。
11.如權(quán)利要求1所述的高動態(tài)范圍圖像合成方法，其特征在于，所述的場景亮度、合成的場景亮度以及新的曝光量的R、G和B三個顏色分量需要分別進行計算；對同一個像素的R、G和B三個顏色分量施加的權(quán)重相同；R、G和B三個顏色分量使用同一條反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線。
12.—種高動態(tài)范圍圖像合成裝置，其特征在于，該裝置包括圖像拍攝單元，場景亮度計算單元，圖像亮度計算單元，權(quán)重計算單元，場景亮度合成單元和模擬曝光單元；該裝置首先采用圖像拍攝單元獲取長曝光圖像和短曝光圖像，然后通過場景亮度計算單元計算長曝光圖像和短曝光圖像對應(yīng)的場景亮度IRl和頂2，而圖像亮度計算單元提取兩張不同曝光圖像的亮度信息，權(quán)重計算單元根據(jù)亮度信息，計算兩張不同曝光圖像的場景亮度的權(quán)重Wl和W2，然后場景亮度合成單元根據(jù)場景亮度及其權(quán)重，合成新的場景亮度，最終模擬曝光單元利用反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線， 將合成的場景亮度進行模擬曝光，得到高動態(tài)范圍圖像。
13.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的圖像拍攝單元使用的長曝光時間和短曝光時間的具體數(shù)值根據(jù)場景的不同而有所不同；長曝光時間的大小以能夠讓場景中較暗的部分正確曝光，體現(xiàn)出足夠多的細(xì)節(jié)為準(zhǔn)；短曝光時間的大小以能夠讓場景中較亮的部分正確曝光，體現(xiàn)出足夠的細(xì)節(jié)為準(zhǔn)。
14.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的圖像拍攝單元得到的兩張不同曝光的圖像必須達到像素級別的對齊。
15.如權(quán)利要求14所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的像素級的對齊通過使用輔助設(shè)備，或者打開拍攝設(shè)備的防抖功能，或者在拍攝完成后使用簡單的算法將兩張圖像進行校準(zhǔn)達到。
16.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的場景亮度計算單元首先根據(jù)拍攝設(shè)備所輸出的像素值和場景的曝光量之間的對應(yīng)關(guān)系，將獲得的長曝光圖像和短曝光圖像分別轉(zhuǎn)換成曝光量；然后，根據(jù)曝光量、場景亮度和曝光時間三者之間的關(guān)系，分別計算長曝光圖像和短曝光圖像對應(yīng)的場景亮度IRl和頂2。
17.如權(quán)利要求16所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線是非線性的，通過計算或者實驗獲得，或者由拍攝設(shè)備廠家提供。
18.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的權(quán)重計算單元對每一個像素施加權(quán)重的計算原則是對長曝光圖像中的高亮度像素施加小權(quán)重，而低亮度像素施加大權(quán)重；對短曝光圖像中的高亮度像素施加大權(quán)重，而低亮度像素施加小權(quán)重。
19.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的場景亮度合成單元采用下述合成公式進行場景亮度合成
20.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的模擬曝光單元采用的模擬曝光時間為任何合理值。
21.如權(quán)利要求12所述的高動態(tài)范圍圖像合成裝置，其特征在于，所述的每個單元中涉及的場景亮度、合成的場景亮度以及新的曝光量的R、G和B三個顏色分量需要分別進行計算；對同一個像素的R、G和B三個顏色分量施加的權(quán)重相同；R、G和B三個顏色分量使用同一條反映拍攝設(shè)備所輸出的像素值和場景的曝光量之間對應(yīng)關(guān)系的響應(yīng)曲線。
全文摘要
本發(fā)明公開了一種高動態(tài)范圍合成成像方法及其裝置，旨在提供一種將兩張動態(tài)范圍較低的圖像合成得到一張動態(tài)范圍較高的圖像的方法。本發(fā)明以不同曝光時間拍攝同一場景得到兩張不同曝光圖像，將兩張不同曝光的圖像根據(jù)拍攝設(shè)備的響應(yīng)曲線分別換算到曝光量空間，根據(jù)兩張圖像的亮度將利用曝光量和曝光時間算出的場景亮度進行加權(quán)合成，并將合成后的場景亮度通過響應(yīng)曲線進行模擬曝光得到高動態(tài)范圍的圖像。本發(fā)明使用了兩張不同曝光的圖像進行合成，減小了圖像對齊的難度；而且處理過程中的運算量和所需存儲空間隨之減小，使其能運用于小型手持設(shè)備；同時得到的高動態(tài)范圍圖像在亮部和暗部都有著豐富的細(xì)節(jié)，其色彩和細(xì)節(jié)都與原場景保持一致。
文檔編號H04N5/262GK102420944SQ201110103048
公開日2012年4月18日 申請日期2011年4月25日 優(yōu)先權(quán)日2011年4月25日
發(fā)明者彭曉峰, 林福輝, 王森, 陳遠(yuǎn) 申請人:展訊通信(上海)有限公司