一種基于雙邊濾波的多曝光圖像融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體是一種基于雙邊濾波的多曝光圖像融合方 法，可用于將不同曝光度的圖片融合成細(xì)節(jié)信息、彩色信息更完美的一張圖像。
【背景技術(shù)】
[0002] 自然界光強(qiáng)的變化范圍非常大，從直射的日光到星光的變化，其量級(jí)橫跨九個(gè)等 級(jí)（10 4-l〇5cd/m2)，然而相對(duì)于自然界的動(dòng)態(tài)范圍人類視覺系統(tǒng)能過捕獲的動(dòng)態(tài)范圍大概 只有五個(gè)亮度等級(jí)。現(xiàn)有的普通相機(jī)或者顯示器不能夠不能直接顯示送么大的動(dòng)態(tài)范圍， 而通過硬件的提升來加大顯示圖像的動(dòng)態(tài)范圍，送種方法的成本過于昂貴，因此有人提出 了根據(jù)捕獲不同曝光的圖片來用軟件的方法合成一張具有高動(dòng)態(tài)范圍效果的圖片。
[0003] 圖像融合就是將幾張同一場景的不同曝光的圖片融合成一張細(xì)節(jié)和彩色信息都 顯著的圖片。送樣對(duì)于后續(xù)的科研或者是人們視覺上都能達(dá)到一個(gè)更好的效果。一般來 說，圖像融合系統(tǒng)應(yīng)該滿足W下Η個(gè)基本要求；第一，融合后的圖片應(yīng)該盡可能的保留所有 的顯著信息；第二，融合后的圖片不應(yīng)該引入鬼影或者不一致的信息；第Η，不期望的信息 應(yīng)該在融合后的圖片中被盡可能的抑制。目前，主要的高動(dòng)態(tài)圖像融合技術(shù)分為兩大類：基 于色調(diào)映射和基于圖像融合?；谏{(diào)映射的方法一般是通過估算出響應(yīng)曲線（CRF)，然 后由響應(yīng)曲線生成一張高動(dòng)態(tài)圖像，送種方法費(fèi)時(shí)費(fèi)力；而基于圖像融合的方法繞過了高 動(dòng)態(tài)圖像的生成，直接生成一幅有高動(dòng)態(tài)圖像效果的圖片，送種方法關(guān)鍵在于對(duì)權(quán)重的估 計(jì)來標(biāo)記每幅源圖像對(duì)中每個(gè)區(qū)域的重要性，該種方法已經(jīng)在圖像融合領(lǐng)域獲得廣泛的運(yùn) 用。
[0004] 現(xiàn)在提出了許多高效的多曝光圖像融合的方法，在名為"基于子帶結(jié)構(gòu)的多曝光 圖像融合方法"的專利NO. 201010531828. 1中公開了圖像融合的方法，在送個(gè)方法中通過濾 波器將輸入圖像分解成一組子帶圖像，并用權(quán)值圖修飾子帶圖像，然后基于送樣的子帶圖 像融合后得到子帶圖像，并通過重構(gòu)過程得到融合后的融合圖像。但是該方法在彩色信息 保持是上有些不足。在名為"多曝光圖像增強(qiáng)方法"的專利NO. 200710038605.X中公開了多 曝光圖像增強(qiáng)的方法，在送個(gè)方法中用一組不同曝光的圖像，依據(jù)相機(jī)響應(yīng)曲線性質(zhì)對(duì)圖 像分塊選取信息最豐富的圖像塊進(jìn)行拼接，再去除塊效應(yīng)，得到大動(dòng)態(tài)范圍的圖像。在該種 方法中需要用到相機(jī)的響應(yīng)曲線性質(zhì)，響應(yīng)曲線是相機(jī)的固有屬性，送樣需要相機(jī)商提供， 或者由運(yùn)算獲得，但耗時(shí)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出了一種基于雙邊濾波和彩色信息的 多曝光圖像融合方法，能夠保持彩色信息，同時(shí)保護(hù)融合后圖像的紋理信息，使圖像的細(xì) 節(jié)更加的清晰還有顏色更加的自然。
[0006] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是；對(duì)輸入的不同曝光圖片進(jìn)行雙邊濾波取得每一張 圖片的基層和細(xì)節(jié)層，通過細(xì)節(jié)層可W取得初步融合圖片需要改善的細(xì)節(jié)；對(duì)于基層通過 高斯曲線對(duì)基層有個(gè)原始的權(quán)重估計(jì)，在通過圖片的飽和度信息來對(duì)該權(quán)重的進(jìn)行改善， 通過權(quán)重我們可W初步的對(duì)圖形進(jìn)行融合得到初步的融合圖像；利用細(xì)節(jié)層所得到的圖像 對(duì)初步融合的圖像進(jìn)行細(xì)節(jié)的增強(qiáng)然后得到最后融合的融合圖像，其具體步驟包括如下： [0007] (1)圖像分層：
[000引輸入3張不同曝光度的圖片r"dM、inwmal、IDVM,分別代表欠曝光、正常曝光和過曝 光圖片，對(duì)每張圖片分別進(jìn)行雙邊濾波，分別得到每張圖片的細(xì)節(jié)層Id6t和基層Ibaw，也就 是：1 =Id6t+Ibas%其中I代表不同曝光的圖片.
[0009] 似初始權(quán)重的估計(jì)：
[0010] 2a)首先對(duì)圖片進(jìn)行歸一化處理，使像素的值在[0, 1]之間，可W認(rèn)為像素值的大 小越接近0. 5,也就是中間值，其越接近最優(yōu)曝光，給它的權(quán)重越大，運(yùn)用高斯曲線對(duì)基層 嚴(yán)…進(jìn)行處理：
[0011] 2b)由于得到的權(quán)重WiW是每幅圖像自身的關(guān)系，圖像融合是需要得到圖像之間 的比例關(guān)系，因此使Wi(t)歸一化，
求出每幅權(quán)重圖像相對(duì)于其他的 所占的比例關(guān)系；
[0012] (3)更新權(quán)重值#
[001引 3a)對(duì)于求出的權(quán)重4,它是由基層嚴(yán)6去求出的，嚴(yán)6本身就是經(jīng)過雙邊濾波 器平滑過的，因此在一定程度上細(xì)節(jié)不能很好的保存，所W，引入圖片的飽和度分量去更新 孩;；
[0014]
[001引其中，Si表示圖片的飽和度分量，R、G、B表示基層嚴(yán)6的紅、綠、藍(lán)立通道值的大 ??；
[0016] 3b)在求取了Si之后，我們定義一個(gè)闊值λ來更新，得到：
[0017]
[0018] (4)對(duì)于求取了權(quán)重值.r，我們用步驟2b)去歸一化它，求得初步融合的權(quán)重Wi， 由于得到的初步融合權(quán)重可能存在奇異點(diǎn)，因此引入了循環(huán)濾波來平滑初始權(quán)重，然后利用Wi和原始的輸入圖片rnde\ inwmal、I。胃進(jìn)行融合；inuddle二乙求得中間融合圖像 jHiiddle
[001引 妨細(xì)節(jié)的提?。?br>[0020] 由于通過加權(quán)平均法去融合圖片本身就是一種平滑的策略，融合后的圖片在一些 細(xì)節(jié)上有缺失，因此通過每幅圖像細(xì)節(jié)層Id6t的信息去綜合出一幅細(xì)節(jié)圖像1° :
[0023] (6)利用求得的1°還有riddle結(jié)合求得最終的融合圖像；
[0024]
[00巧]上述步驟（1)中提取的對(duì)圖像分層的雙邊濾波，按如下步驟進(jìn)行：
[0026] 將不同曝光的圖片Ii，經(jīng)過雙邊濾波器之后得到平滑的圖片，該平滑的圖片就作 為基層Ibas%雙邊濾波器能夠保存圖片的邊緣和細(xì)節(jié)同時(shí)圖片被平滑，雙邊濾波器的設(shè)計(jì) 公式如下：
[0031] 其中BF[I]p表示雙邊濾波后的結(jié)果；
[0032] S表示局部鄰域，P和q表示在局部鄰域內(nèi)像素的位置；
[0033] Ip和Iq分別表示在P和q位置上的像素值；
[0034] Wp表示局部鄰域內(nèi)空間關(guān)系和相似性的綜合權(quán)重；
[0035] &^和跨^分別表示局部鄰域內(nèi)空間關(guān)系和相似性的權(quán)重，〇d和Of表示高斯分布 函數(shù)的標(biāo)準(zhǔn)差，前者表示空間關(guān)系上的標(biāo)準(zhǔn)差，后者表示相似性的標(biāo)準(zhǔn)差。
[003引上述步驟（4)求取中間融合圖像中用到的循環(huán)濾波，按如下步驟進(jìn)行；[0037] 循環(huán)濾波是一種實(shí)時(shí)的邊緣保護(hù)濾波器，權(quán)重Wi根據(jù)源圖像和其本身的權(quán)重進(jìn)行 循環(huán)濾波，其設(shè)計(jì)公式如下：
[003引 Wi = R(Wi，Ii)
[0039] J比]=(1-αd)I似 +αdj比-U
[0040] 其中R代表循環(huán)濾波操作，α e [0, 1]代表是反饋系數(shù)，I比]代表權(quán)重圖的第k 像素的大小，J比]代表修正后的第k像素的大??；d代表在輸入源圖像中鄰域像素之間的距 離。
[0041] 本發(fā)明與現(xiàn)有技術(shù)相比具有W下優(yōu)點(diǎn)：
[0042]1.本發(fā)明通過用雙邊濾波對(duì)原始的輸入圖像進(jìn)行分解分別得到細(xì)節(jié)層和基層，分 別對(duì)送兩層進(jìn)行處理，對(duì)于不同的層處理方案不同，在細(xì)節(jié)層，求取最大值的方法而基層通 過彩色信息飽和度對(duì)權(quán)重的更新使細(xì)節(jié)和彩色信息更好的被保護(hù)，使融合后的圖片更加自 然，邊緣紋理更加清晰；
[0043]2.本發(fā)明在更新權(quán)重時(shí)使用圖片的彩色信息能夠有效，利用圖片的彩色信息可W 對(duì)融合后的圖像的彩色信息更好的保護(hù)，送樣能夠使圖片看上去跟自然；
[0044] 3.本發(fā)明通過使用循環(huán)濾波使權(quán)重圖片得W平滑，避免了在融合之后圖片引入其 他的噪聲或出現(xiàn)鬼影現(xiàn)象，能夠提高融合圖片的視覺效果。
[0045] 仿真實(shí)驗(yàn)結(jié)果表明，本發(fā)明結(jié)合雙邊濾波和圖像的彩色信息，能夠獲得具有細(xì)節(jié) 的圖片并且具有良好彩色效果的中間融合圖片，進(jìn)而由細(xì)節(jié)圖片和中間融合圖片合成一張 具有良好細(xì)節(jié)和彩色信息的圖片，計(jì)算復(fù)雜度低，是一種魯棒性良好的圖像融合方法。
【附圖說明】
[0046] 圖1是本發(fā)明的流程圖；
[0047] 圖2是本發(fā)明中由不同曝光圖片獲取細(xì)節(jié)圖片；
[0048] 圖3是本發(fā)明仿真實(shí)驗(yàn)中使用的一組不同曝光的測試圖像；
[0049] 圖4是利用本發(fā)明方法得到圖3的實(shí)驗(yàn)結(jié)果；
[0050] 圖5是仿真實(shí)驗(yàn)中使用的一組不同曝光的測試圖片；
[0051] 圖6是利用現(xiàn)有方法和本發(fā)明方法生成的融合圖像的進(jìn)行對(duì)比圖。
【具體實(shí)施方式】
[0052]參照?qǐng)D1，本發(fā)明的實(shí)現(xiàn)步驟如下：
[005引步驟1、圖像分層
[0054] 輸入不同曝光的源圖片，經(jīng)過雙邊濾波器把圖像分成兩層，細(xì)節(jié)層Id6t和基層 嚴(yán)…，具體步驟如下：
[00巧]la)將不同的曝光的圖片Ii，經(jīng)過雙邊濾波器之后等到平滑后的圖片，該平滑的圖 片就作為基層Ibas%雙邊濾波器能夠保存圖片的邊緣和細(xì)節(jié)同時(shí)圖片被平滑，雙邊濾波器 如下：
[0058] 其中BF[I]p表示雙邊濾波后的結(jié)果；
[0059] S表示局部鄰域，P和q表示在局部鄰域內(nèi)像素的位置；
[0060]Ip和Iq分別表示在P和q位置上的像素值；
[0061] Wp表示局部鄰域內(nèi)空間關(guān)系和相似性的綜合權(quán)重；
[0062] 和分別表示局部鄰域內(nèi)空間關(guān)系和相似性的權(quán)重，σd和σt表示高斯分布 函數(shù)的標(biāo)準(zhǔn)差，前者表示空間關(guān)系上的標(biāo)準(zhǔn)差，后者表示相似性的標(biāo)準(zhǔn)差。
[0063] 化）當(dāng)求出基層之后，再通過原始圖片對(duì)基層的差求出每張圖片的細(xì)節(jié)層 疋k";，即；/產(chǎn)=毛:…-。。
[0064]步驟2、求初始權(quán)重估計(jì)
[006引2a)首先對(duì)圖片進(jìn)行歸一化處理，使像素的值在[0,U之間，由于可W認(rèn)為像素值 大小越接近0. 5,也就是中間值，其越接近最優(yōu)曝光，給它的權(quán)重越大，在本方法中運(yùn)用高斯 曲線對(duì)基層Ibaw進(jìn)行處理，求出每一幅圖片的Wi(t):
[0066]
[0067] 2b)由于得到的權(quán)重WiW是每幅圖像自身的關(guān)系，圖像融合是需要得到圖像間權(quán) 重之間的比例關(guān)系，因此使Wi(t)歸一化
求出每幅權(quán)重圖像相對(duì)于 其他的所占的比例關(guān)系。
[0068]步驟3、更新權(quán)重值,#
[0069]3a)對(duì)于求出的權(quán)重C.，它是由基層嚴(yán)…去求出的，嚴(yán)…本身就是經(jīng)過雙邊濾波器 平滑過，因此求的在一定程度上細(xì)節(jié)不能很好的保存，因此，本方法引入了圖片的飽和度分 量去更新馬；
[0070]
[0071] 其中，R、G、B表示基層Ibaw的紅、綠、藍(lán)通道值的大小.
[0072] 3b)在求取了Si之后，我們定義一個(gè)闊值λ來更新考，當(dāng)Si大于闊值λ時(shí)，使原 來的權(quán)重C增加，當(dāng)Si小于闊值λ時(shí)，使原來的權(quán)重葦減小，當(dāng)Si等于闊值λ時(shí)，使原來 的權(quán)重#；.不