一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法
【專(zhuān)利摘要】本發(fā)明屬于圖像、視頻處理【技術(shù)領(lǐng)域】，具體涉及一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，主要解決多曝光度圖像融合處理中由于融合評(píng)價(jià)標(biāo)準(zhǔn)選取不當(dāng)產(chǎn)生的圖像色彩失真問(wèn)題，可用于在不改變圖像動(dòng)態(tài)范圍的前提下改善最終圖像質(zhì)量，把圖像在不同曝光度下的顯著細(xì)節(jié)融合在同一張低動(dòng)態(tài)范圍的圖像之中，并利用全局質(zhì)量因子選擇合適的參照?qǐng)D進(jìn)行色彩校正，在不改變圖像動(dòng)態(tài)范圍的前提下得到可以和高動(dòng)態(tài)范圍圖像結(jié)果相媲美的低動(dòng)態(tài)范圍圖像，本發(fā)明能夠方便的獲得自然、清晰的多曝光度圖像融合結(jié)果，可廣泛應(yīng)用于圖像、視頻處理的相關(guān)領(lǐng)域中。
【專(zhuān)利說(shuō)明】一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像、視頻處理【技術(shù)領(lǐng)域】，具體涉及一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法。

【背景技術(shù)】
[0002]高動(dòng)態(tài)范圍HDR圖像是計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理中的問(wèn)題之一，也是當(dāng)今圖像領(lǐng)域的熱點(diǎn)問(wèn)題之一。圖像的動(dòng)態(tài)范圍指的是一幅圖像中最亮的像素點(diǎn)的亮度值和最暗的像素點(diǎn)的亮度值之間的比率。由于動(dòng)態(tài)范圍的局限，成像設(shè)備往往不能重構(gòu)出真實(shí)自然的場(chǎng)景。最初，這類(lèi)圖像都是用光學(xué)仿真完成的。如今，高動(dòng)態(tài)范圍圖像很容易生成，即只需要一系列曝光程度不同的照片，就可以制作高動(dòng)態(tài)范圍的圖像。實(shí)踐表明，利用不同的曝光時(shí)間拍攝相同的場(chǎng)景，由于曝光度的差別每幅圖像都會(huì)展現(xiàn)出了其他圖像展現(xiàn)不出來(lái)的細(xì)節(jié)。舉例來(lái)說(shuō)，直接由陽(yáng)光照射的部分的真實(shí)顏色只能在曝光度最低的圖像中顯示出來(lái)，而在這一系列不同曝光的其他照片中這部分的色彩都過(guò)度曝光了。圖像中陰影處的細(xì)節(jié)在曝光度高的圖像中才能完整呈現(xiàn)，而在曝光度較低的圖像中卻是模糊一片。由于以上問(wèn)題，普通照相機(jī)無(wú)法在一幅圖像中同時(shí)捕捉并展現(xiàn)所有細(xì)節(jié)；而對(duì)于人類(lèi)來(lái)說(shuō)，由于人的眼睛會(huì)根據(jù)物體的亮度不同進(jìn)行自動(dòng)調(diào)節(jié)，同時(shí)感知這些不同曝光度下的細(xì)節(jié)，因此照片在視覺(jué)體驗(yàn)方面總不能完全展現(xiàn)真實(shí)且自然的場(chǎng)景。
[0003]高動(dòng)態(tài)范圍圖像處理的目的在于:利用現(xiàn)有的成像技術(shù)把所觀測(cè)的場(chǎng)景盡可能真實(shí)的展現(xiàn)出來(lái)，使人通過(guò)普通照相機(jī)就可重構(gòu)出可以與現(xiàn)實(shí)場(chǎng)景真實(shí)度相媲美的圖像，這個(gè)處理過(guò)程就是高動(dòng)態(tài)范圍圖像的合成與重構(gòu)。在合成方面，利用現(xiàn)有技術(shù)將曝光度不同的圖片合成一幅高動(dòng)態(tài)范圍圖像，該圖像的動(dòng)態(tài)范圍可以高達(dá)25，000:1 ;然而，一般的顯示設(shè)備的動(dòng)態(tài)范圍通常低于100:1，因此，與低動(dòng)態(tài)范圍圖像相比較，高動(dòng)態(tài)范圍圖像顯然能夠更加敏銳的捕捉圖像中的細(xì)節(jié)。
[0004]與低動(dòng)態(tài)范圍圖像相比，聞動(dòng)態(tài)范圍圖像擁有很多優(yōu)點(diǎn)，在醫(yī)學(xué)圖像，視頻監(jiān)視等一些應(yīng)用中高動(dòng)態(tài)范圍圖像尤為重要。然而，高動(dòng)態(tài)范圍圖像也為顯像技術(shù)帶來(lái)了挑戰(zhàn):如今的顯像設(shè)備，如顯示器，打印機(jī)等的動(dòng)態(tài)范圍都遠(yuǎn)遠(yuǎn)小于真實(shí)場(chǎng)景中的動(dòng)態(tài)范圍，急需解決的問(wèn)題就是如何能在盡量保留圖像細(xì)節(jié)和視覺(jué)內(nèi)容的前提下利用低動(dòng)態(tài)范圍的顯像設(shè)備來(lái)顯示高動(dòng)態(tài)范圍的圖像。
[0005]多曝光度圖像的融合技術(shù)可以把圖像在不同曝光度下的顯著細(xì)節(jié)融合在同一張低動(dòng)態(tài)范圍的圖像之中，在不改變圖像動(dòng)態(tài)范圍的前提下得到可以和高動(dòng)態(tài)范圍圖像結(jié)果相媲美的低動(dòng)態(tài)范圍圖像。因此可以廣泛應(yīng)用到如數(shù)碼相機(jī)，智能手機(jī)等需要快速得到高動(dòng)態(tài)范圍圖像效果的電子產(chǎn)品中。
[0006]近十幾年來(lái)，出現(xiàn)了許多種不同的圖像的融合方法，總體來(lái)講這些融合方法可以分為兩類(lèi)，即:針對(duì)運(yùn)動(dòng)目標(biāo)的圖像融合和針對(duì)靜止目標(biāo)的圖像融合方法。
[0007]針對(duì)運(yùn)動(dòng)目標(biāo)的圖像融合方法，由于在不同的曝光度下場(chǎng)景中的物體進(jìn)行了移動(dòng)，簡(jiǎn)單的融合圖像會(huì)造成“鬼影”效果。所以針對(duì)運(yùn)動(dòng)目標(biāo)的圖像融合方法根據(jù)去“鬼影”的方法不同，又細(xì)分為兩類(lèi):即融合多幅曝光度不同的圖像后直接去掉“鬼影”;或者利用一幅正常曝光度的圖像經(jīng)過(guò)局部直方圖拉伸得到同一位置的欠曝光和過(guò)曝光圖像再融合生成結(jié)果圖兩種方法。
[0008]針對(duì)靜止目標(biāo)的圖像融合方法，由于在不同曝光度下場(chǎng)景中的物體沒(méi)有移動(dòng)，所以融合相對(duì)簡(jiǎn)單。針對(duì)融合技術(shù)不同可以細(xì)分為三類(lèi)，即:多傳感器圖像融合，即融合多個(gè)不同傳感器拍攝的同一圖像的細(xì)節(jié)信息；多焦距圖像融合，即融合多個(gè)焦距拍攝下同一圖像的細(xì)節(jié)信息；多曝光度圖像融合，即融合多個(gè)曝光度下拍攝的同一圖像的細(xì)節(jié)信息。
[0009]現(xiàn)有的多曝光度圖像融合技術(shù)，仍然存在很多問(wèn)題，像高動(dòng)態(tài)范圍圖像合成容易產(chǎn)生色覺(jué)失真，融合圖像的色彩難以矯正，融合圖像中特征值選取不當(dāng)容易帶來(lái)失真。


【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的是提供一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，克服現(xiàn)有多曝光度圖像融合技術(shù)在高動(dòng)態(tài)范圍圖像合成中容易產(chǎn)生色覺(jué)失真的問(wèn)題。
[0011]為此，本發(fā)明的技術(shù)方案是:提供了一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:包括如下步驟:
[0012]步驟一:輸入η幅曝光度不同的圖像In，利用質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，即對(duì)比度Cn，飽和度Sn和亮度Bn分別計(jì)算出不同曝光度圖像的權(quán)重；
[0013]其中:n是圖像的數(shù)量，Cn是指對(duì)比度，Sn是指飽和度，Bn是指的亮度，In是指η幅圖像；
[0014]步驟二:根據(jù)步驟一中計(jì)算出的權(quán)重值，對(duì)于不同曝光度的圖像Ik，分別用線性方法得到標(biāo)量權(quán)重圖Wuk ；
[0015]其中:Wuk是對(duì)應(yīng)的標(biāo)量權(quán)重，下標(biāo)i，j, k分別指的是像素點(diǎn)(i，j)在第k幅圖像中；
[0016]步驟三:根據(jù)原始的輸入圖像及標(biāo)量權(quán)重圖融合得到原始的多曝光度融合圖像:
[0017]第一步，利用拉普拉斯金字塔分解輸入的圖像Ik，得到每層對(duì)應(yīng)的L{I}|j)k，利用高斯金字塔分解輸入的權(quán)重圖像Wuk,得到每層對(duì)應(yīng)的
[0018]第二步，在每層圖像上進(jìn)行圖像融合，分別利用η幅圖像和其對(duì)應(yīng)的η幅標(biāo)準(zhǔn)化的權(quán)重圖作為阿爾法掩碼；
[0019]第三步，分層融合每層對(duì)應(yīng)的系數(shù)；
[0020]第四步，分解得到的結(jié)果圖UR}1得到最終融合圖像R ；
[0021]其中:1是指圖像的拉普拉斯金字塔或高斯金字塔上的圖層的層數(shù)；
[0022]步驟四:利用全局質(zhì)量評(píng)價(jià)因子在輸入的η幅不同曝光度的圖像中選出最符合色覺(jué)感知的一幅作為參照?qǐng)D像Iin;
[0023]步驟五:利用參照?qǐng)D像Iin的亮度值Lin和色度值Cin對(duì)初始融合圖像R進(jìn)行色彩校正得到最終的矯正過(guò)的多曝光度圖像(；ut。
[0024]在步驟一中所述的利用質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，即對(duì)比度Cn，飽和度Sn和亮度Bn分別計(jì)算出不同曝光度圖像的權(quán)重，按如下公式計(jì)算:
[0025]Cn(i，j)=Yn(i，j)*h(i，j)
[0026]其中:*是卷積符號(hào)，￥?是輸入的n幅曝光度不同的圖像In的灰度圖像，Yn = 0.299 X G + 0.587 X I言 + 0.114 x η 是輸入圖像的數(shù)量，if, ^分別代表在對(duì)應(yīng)圖層上的R，G，B值，高通濾波器h定義如下:

【權(quán)利要求】
1.一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:包括如下步驟: 步驟一:輸入η幅曝光度不同的圖像In，利用質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，即對(duì)比度Cn，飽和度Sn和亮度Bn分別計(jì)算出不同曝光度圖像的權(quán)重； 其中:n是圖像的數(shù)量，Cn是指對(duì)比度，Sn是指飽和度，Bn是指的亮度，In是指η幅圖像； 步驟二:根據(jù)步驟一中計(jì)算出的權(quán)重值，對(duì)于不同曝光度的圖像Ik，分別用線性方法得到標(biāo)量權(quán)重圖Wuk ； 其中=Wuk是對(duì)應(yīng)的標(biāo)量權(quán)重，下標(biāo)i，j, k分別指的是像素點(diǎn)(i，j)在第k幅圖像中； 步驟三:根據(jù)原始的輸入圖像及標(biāo)量權(quán)重圖融合得到原始的多曝光度融合圖像: 第一步，利用拉普拉斯金字塔分解輸入的圖像Ik，得到每層對(duì)應(yīng) 的L{I}lij,k，利用高斯金字塔分解輸入的權(quán)重圖像Wuk，得到每層對(duì)應(yīng)的G{W}lij,k; 第二步，在每層圖像上進(jìn)行圖像融合，分別利用η幅圖像和其對(duì)應(yīng)的η幅標(biāo)準(zhǔn)化的權(quán)重圖作為阿爾法掩碼； 第三步，分層融合每層對(duì)應(yīng)的系數(shù)； 第四步，分解得到的結(jié)果圖UR}1得到最終融合圖像R ； 其中:1是指圖像的拉普拉斯金字塔上或高斯金字塔上的圖層的層數(shù)； 步驟四:利用全局質(zhì)量評(píng)價(jià)因子在輸入的η幅不同曝光度的圖像中選出最符合色覺(jué)感知的一幅作為參照?qǐng)D像Iin; 步驟五:利用參照?qǐng)D像Iin的亮度值Lin和色度值Cin對(duì)初始融合圖像R進(jìn)行色彩校正得到最終的矯正過(guò)的多曝光度圖像(；ut。
2.如權(quán)利要求1所述的一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:步驟一所述的利用質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，即對(duì)比度Cn，飽和度Sn和亮度Bn分別計(jì)算出不同曝光度圖像的權(quán)重，按如下公式計(jì)算:
Cn(i, j)=Yn(i, j)*h(i, j) 其中:*是卷積符號(hào)，Yn是輸入的η幅曝光度不同的圖像In的灰度圖像，
,η是輸入圖像的數(shù)量，Irn,Ign,Ibn分別代表在對(duì)應(yīng)圖層上的R，G，B值，高通濾波器h定義如下:
針對(duì)圖像中每個(gè)像素(i，j)的局部對(duì)比度計(jì)算完成后，采用一個(gè)“贏者全得”的方法得出整幅圖的對(duì)比度Cn(i,j)，如下: (
飽和度Sn是通過(guò)分別計(jì)算每個(gè)像素點(diǎn)(i，j)的R，G，B的標(biāo)準(zhǔn)差得出的；亮度Bn是以0.5為標(biāo)準(zhǔn)來(lái)判斷沒(méi)幅圖像中亮度差距，求得的高斯曲率來(lái)計(jì)算的，如下:
其中:σ =0.2，b是指像素點(diǎn)(i，j)的亮度值。
3.如權(quán)利要求1所述的一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:步驟二中所述的標(biāo)量權(quán)重圖Wu，k，通過(guò)如下公式進(jìn)行:
其中:C，S，B分別指代的是對(duì)比度，飽和度和亮度，其對(duì)應(yīng)的權(quán)重分別為Wb ;如果ω=0，其對(duì)應(yīng)的測(cè)量指標(biāo)不計(jì)入最終權(quán)重圖的計(jì)算。
4.如權(quán)利要求1所述的一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:步驟三中所述的分層融合每層對(duì)應(yīng)的系數(shù)方法如下:
其中:拉普拉斯金字塔分解輸入的圖像ik，得到每層對(duì)應(yīng)的L{I}ljJc，利用高斯金字塔分解輸入的權(quán)重圖像Wuk，得到每層對(duì)應(yīng)的G{\V}|j)k，η是輸入圖像的數(shù)量，I代表拉普拉斯金字塔或高斯金字塔上的對(duì)應(yīng)圖層數(shù)。
5.如權(quán)利要求1所述的一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:步驟四所述的利用全局質(zhì)量評(píng)價(jià)因子在輸入的η幅不同曝光度的圖像中選出最符合色覺(jué)感知的一幅作為參照?qǐng)D像Iin的方法如下:
Col=0.10XBri+0.50XCon+0.23XDet+0.12 XArt 其中:Bri是圖像的亮度，Con是圖像的對(duì)比度，Det是圖像的細(xì)節(jié)，Art是圖像的失真部分，Col最大的圖像即為最終選擇的參考圖像。
6.如權(quán)利要求1所述的一種基于色覺(jué)感知及全局質(zhì)量因子的多曝光度圖像融合方法，其特征在于:步驟五所述的利用參照?qǐng)D像亮度值Lin和色度值Cin對(duì)初始融合圖像R進(jìn)行色彩校正得到最終的矯正過(guò)的多曝光度圖像Cwt的方法如下:
其中=Ctjut是輸出的經(jīng)過(guò)色彩校正的多曝光度融合圖像C=R，G，B1山_是原始多曝光度融合圖像的亮度；Cin是根據(jù)全局質(zhì)量因子選擇出的參照?qǐng)D像的色度；Lin是根據(jù)全局質(zhì)量因子選擇出的參照?qǐng)D像的亮度，r是系數(shù)其取值范圍是0.4~0.6之間(包含0.4和0.6)。
【文檔編號(hào)】G06T5/50GK104077759SQ201410069705
【公開(kāi)日】2014年10月1日 申請(qǐng)日期:2014年2月28日 優(yōu)先權(quán)日:2014年2月28日
【發(fā)明者】鄭喆坤, 焦李成, 房瑩, 簡(jiǎn)萌, 喬伊果, 孫天 申請(qǐng)人:西安電子科技大學(xué)