基于背景建模的多曝光圖像融合鬼影去除方法
【技術(shù)領域】
[0001] 本發(fā)明設及數(shù)字圖像處理，高動態(tài)范圍圖像處理，特別設及基于背景建模的多曝 光圖像融合鬼影去除算法。
【背景技術(shù)】
[0002] 現(xiàn)代數(shù)碼相機單次曝光不能覆蓋自然場景的整個動態(tài)范圍。該在數(shù)字圖像重建的 過程中會產(chǎn)生一個問題，傳統(tǒng)的低動態(tài)范圍（Low Dynamic Range, LDR)圖像在過曝光和欠 曝光區(qū)域不能包含所有的細節(jié)。高動態(tài)范圍化i曲Dynamic Range,皿R)圖像通過融合一 系列不同曝光度的低動態(tài)范圍圖像來擴大單一圖像所能覆蓋的動態(tài)范圍和增強圖像細節(jié)。 現(xiàn)有的融合技術(shù)為了確保能得到不含鬼影的融合圖像必須要求不同曝光度的待融合圖像 背景必須完全靜止。然而，現(xiàn)實場景中獲得的圖像大多含有移動物體等動態(tài)元素。該在一 定程度上限制了皿R的應用。
[0003] 為了避免合成圖像中出現(xiàn)運動目標的錯位和疊加現(xiàn)象，現(xiàn)有的去鬼影的皿R圖像 融合方法大致分為=種；一是用單一曝光度的單幅圖像來改正產(chǎn)生鬼影的地方，二是用多 重曝光度的多幅圖像來改正產(chǎn)生鬼影的地方，=是直接修改導致鬼影產(chǎn)生的源圖像在融合 過程中的權(quán)重。
[0004] 對于第一種方法，化brizio等[1]用中值闊值位圖法來檢測像素的變化，然后在 融合的過程中進行圖像配準并將變化較大的像素排除在外。Wei化ang等[2]在梯度域利 用梯度方向?qū)ζ毓舛炔幻舾刑匦詠頇z測移動物體，在融合的過程中對移動物體賦予較小的 權(quán)重來去除鬼影的影響?；痗ob[3]提出一種基于局部像素滴值變化來檢測移動物體的方 法。用滴值作為測度因子是因為滴值不會受到像素值強度變化的影響。然而，基于滴值的 方法容易在動態(tài)范圍大的地方出現(xiàn)較大的誤差。
[0005] 第二種方法采用了用不同曝光度的圖像來修正出現(xiàn)鬼影區(qū)域的方法。Gallo[4]提 出一種測量場景中像素正確曝光度的方法。對于場景的每一區(qū)域像素值，計算同一曝光度 下基于另一場景區(qū)域的偏差。最終，本算法通過用不同曝光度的區(qū)域來合成一幅無鬼影的 皿R圖像。E.Reinhard[5]基于像素局部方差分割出由運動目標造成的"鬼影"區(qū)域，然后 通過直方圖找到最佳曝光的參考圖像去替代"鬼影"區(qū)域，最終得到合成后的高動態(tài)圖像。 該種算法的優(yōu)點在于想法直觀，運算簡單；缺點是基于方差檢測運動目標的過程中容易將 其它靜止目標的邊界檢測出來，出現(xiàn)誤檢。Grosch提出依據(jù)殘差圖像（theerrormap) [6] 檢測出運動目標。首先選取一幅曝光良好的圖像作為參考，估計出相機的響應函數(shù)，依據(jù)相 機響應曲線計算其他輸入圖像的估計圖像，然后計算殘差圖像（theerrormap),殘差圖像 中像素值大的點就認定為運動目標。但該種算法受相機響應函數(shù)和圖像噪聲的影響較大。
[0006] 第S種方法中，化an[7]提出一種不需要移動物體檢測和運動估計的方法。本方法 通過迭代方法直接反復的修改權(quán)重使得可見的鬼影部分的權(quán)重足夠小W得到無鬼影的皿R 圖像。算法通過一個無參數(shù)的靜態(tài)場景模型來計算像素每一像素值屬于同一集群的概率。 該主要是基于靜態(tài)背景像素比動態(tài)移動物體像素出現(xiàn)時間長的假設。該種方法可W得到效 果非常好的結(jié)果，但計算量大且耗時。Kang[引提出一種基于光流法檢測移動物體的方法。 算法主要依據(jù)光流法來配準相鄰幀臥達到融合后無鬼影的效果。然而，這種方法結(jié)果的好 壞主要依據(jù)運動估計是否準確，很難得到正確的結(jié)果。
[0007] 可臥看出，現(xiàn)有的多曝光圖像融合去鬼影算法往往需要復雜的計算來求得相機的 響應曲線，或者需要設置參考圖像。因此，本發(fā)明提出一種簡便的多曝光圖像融合去鬼影方 法，利用背景建模的幀差法來檢測移動物體，修改移動物體在融合過程中所對應的權(quán)重來 去除鬼影的影響。
[0008] 參考文獻
[0009] [ 1 ] Pece F, Kautz J. Bitmap movement detect ion : HD民for dynamic scenes[口//Visual Media Production(CVMP)，2010Conference on.IE邸，2010:1-8.
[0010] [2]Zhang W, Cham W K. Gradient-directed composition of multi-exposure images[C]//Computer Vision and Pattern民ecog打itio打(CVP民)，2010IEEE Conference on.IE邸，2010:530-536.
[0011] [3] Jacobs K, Loscos C, Ward G. Automatic high-dynamic range image generation for dynamic scenes [J]. IEEE Computer Graphics and Applications, 2008(2):84-93.
[0012] [4]Gallo 0, Gelfand化Qien W C, et al. Artifact-free hi組dynamic range im過gi打g[C]//Comput過tio打過1 Photogr過phy (ICCP)，2009IEEE I打ter打過tio打過1 Co打fere打ce on. IE邸，2009:1-7.
[0013] [5] Re i nhar d E, He i dr ich W'Debevec P，et al.High dynamic range imaging:acquisition, display, and image-based lighting[M]. Morgan Kaufmann, 2010.
[0014] [6]Grosch T. Fast and robust high dynamic range image generation with camera and object movement[C]//Vision, Modeling and Visualization. 2006:277-284.
[0015] [7]Khan E A, Akyiiz A 0,民einhard E. Ghost removal in high dynamic range images[C]//Image Processing，2006IEEE International Conference on. IE邸，2006:2005-2008.
[0016] 巧]Kang S B, Uyttendaele M, Winder S, et al. Hi組dynamic range video [J]? ACM hansactions on Graphics (TOG) ,2003, 22 (3): 319-325.
[0017] [9]Mertens T，Kautz J，Van民eeth F. Exposure fusion [C]//Computer Graphics and Applications, 2007.PG'07. 15化Pacific Conference on. IE邸，2007:382-390.
[0018] [ 10] Li S, Kang X. Fast multi-exposure image fusion with median filter and recursive filter[J]. Consumer Electronics，IEEE Transactions on, 2012, 58 (2): 626-632.

【發(fā)明內(nèi)容】

[0019] 為克服技術(shù)的不足，本發(fā)明旨在檢測并糾正圖像融合過程中產(chǎn)生的鬼影。為此，本 發(fā)明采取的技術(shù)方案是，基于背景建模的多曝光圖像融合鬼影去除方法，包括下列步驟：先 將圖像轉(zhuǎn)化為灰度圖，對一系列不同曝光度圖像進行直方圖巧衡化，使圖像灰度歸一化到 0-255范圍內(nèi)且分布巧勻；然后將移動物體看成是奇異點，利用中值濾波得到去除移動物 體的背景圖的建模結(jié)果；分別用含有移動物體的圖像與背景圖作差相減，得到去除背景后 只含有移動物體的圖像；通過包括腐蝕膨脹的形態(tài)學操作將移動物體圖像精確化，所得結(jié) 果作為權(quán)重圖，然后依照權(quán)重圖對圖像進行融合。
[0020] 對直方圖均衡化后的圖像序列在時域上進行中值濾波操作，得到靜態(tài)背景圖：
[0021]
n=l，2，."，N(1)
[0022] /"E是指第n幅直方圖均衡化后的圖像，IM是指中值濾波后所得的背景圖像， median是指中值濾波操作。
[0023] 分別用含有移動物體的圖像與背景圖作差相減具體步驟是，在窗口函數(shù)內(nèi)，分別 用直方圖均衡化后的輸入圖像與靜態(tài)背景圖做差，將窗口內(nèi)像素對應的差值的均值作為融 合過程中權(quán)重的測度因子：
[0026] 窗函數(shù)的大小是（21+1) X (21+1)，/"E是指第n幅直方圖均衡化后的圖像的灰度 值，I"是指中值濾波后所得的背景圖像像素的灰度值，d^">是指窗口內(nèi)兩幅圖像對應位置 處差值的平均值。是標準差，〇i(x，y)指移動物體檢測的結(jié)果。
[0027] 通過包括腐蝕膨脹的形態(tài)學操作將移動物體圖像精確化具體步驟是，在提取出運 動目標的輪廓后，使用形態(tài)學處理，用圖像腐蝕去除雜點，圖像膨脹填補輪廓中的斷裂部 分，然后對其內(nèi)部進行填充，即可得到當前檢測到的運動物體區(qū)
[0028] Cn= (D。出S1) 0S2 (4)
[0029] ?代表形態(tài)學操作膨脹，0代表形態(tài)學操作腐蝕，Si、S2分別表示膨脹和腐蝕操作 的結(jié)構(gòu)元的半徑，D。指的是移動物體檢測后的權(quán)重圖，C。指經(jīng)過形態(tài)學操作后的權(quán)重圖結(jié) 果。
[0030] 依照權(quán)重圖對圖像進行融合具體是，對多曝光圖像進行加權(quán)融合，使用權(quán)重測度 因子的最終處理結(jié)果C。作為權(quán)重，采用基于拉普拉斯金字塔分解的圖像融合方法進行融 合，得到最終的無鬼影皿R圖：
[0031] (5)
[0032] Ii(x，y)表示輸入的第i幅圖像的灰度圖，Wi(x，y)表示輸入的第i幅圖像的權(quán)重 圖。F(x,y)表不融合后的圖像。
[0033] 與已有技術(shù)相比，本發(fā)明的技術(shù)特點與效果：
[0034] 采用本發(fā)明的技術(shù)方案得到的融合圖像從主觀上看有很明顯的去鬼影效果，且最 終圖像還原度好，無明顯的殘留和痕跡。本發(fā)明算法思路簡單，計算復雜度低，去除鬼影效 果無殘留痕跡，該說明本發(fā)明算法在細節(jié)信息的提取和處理等方面均優(yōu)于其他幾種算法。
【附圖說明】
[00巧]圖1移動物體檢測部分流程圖。
[0036] 圖2基于移動物體檢測的背景建模的結(jié)果。
[0037] 圖3single化ople序列對比評價。
[0038] 圖4wa化ingpeople序列對比評價。
[0039] 圖中；
[0040] (a)本文方法對single化ople序列融合的結(jié)果（b)auitaoLi等對single 化ople序列遞歸濾波器去鬼影融合的結(jié)果
[0041] (c)Mertens等對single化ople序列融合的結(jié)果（d)Weiaiang等對single 化ople序列基于梯度方向去鬼影融合的結(jié)果
[00化| (a')，化'），（C' )，（d')分別對應single化ople序列（a)，化），（C)，（d)框圖 的細節(jié)放大。
[0043] (A