專利名稱:基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,特別適用于惡劣氣象條 件下圖像的去霧增強(qiáng),屬于數(shù)字圖像處理領(lǐng)域。
背景技術(shù):
薄塵霧天氣下,人們獲取的室外圖像是經(jīng)過大氣中薄霧、煙塵等微粒吸收及散射 之后的退化圖像,這些圖像分辨率、對比度及顏色保真度均較差,這對圖像解析及信息提取 造成較大影響,降低了圖像的應(yīng)用價(jià)值,不利于圖像特征的提取。目前絕大多數(shù)的偵察、監(jiān)控、智能車輛及目標(biāo)跟蹤等應(yīng)用系統(tǒng)均需要充分提取圖 像特征,低能見度圖像給戶外機(jī)器視覺系統(tǒng)的正常工作帶來很大困難,因此室外圖像的去 霧增強(qiáng)技術(shù)對提高視覺系統(tǒng)的可靠性和魯棒性具有重要意義。同時(shí)對于智能監(jiān)控、目標(biāo)識(shí) 別等應(yīng)用領(lǐng)域,去霧算法的高效性和實(shí)時(shí)性同樣至關(guān)重要。近年來,圖像去霧增強(qiáng)逐漸成為 圖像處理與計(jì)算機(jī)視覺領(lǐng)域具有挑戰(zhàn)性的前沿課題。在目前已發(fā)展的圖像去霧增強(qiáng)方法中,現(xiàn)有技術(shù)[1](參見S. G. Narasimhan and S. K. Nayar. Contrast restoration of weather degraded images. IEEETransactions on Pattern Analysis and Machine Intelligence, 25 :713_724,2003.)利用同一場景不同天 氣條件下的多幅圖像求解深度估計(jì)中的欠約束問題。該方法雖然取得了一定的效果,但由 于需要拍攝不同氣象條件下的多幅圖像,只能處理靜態(tài)圖像,在動(dòng)態(tài)場景中難以應(yīng)用,其實(shí) 際應(yīng)用價(jià)值不大?,F(xiàn)有技術(shù)[2](參見R. Fattal. Single image dehazing. In ACM SIGGRAPH, pages 1-9,2008.)首先假定透過率與表面陰影局部不相關(guān),接著利用獨(dú)立成分分析的方法估計(jì)場 景表面反射率進(jìn)而推導(dǎo)出介質(zhì)透過率。該方法實(shí)現(xiàn)了單幅圖像的自動(dòng)去霧,是去霧技術(shù)的 一大進(jìn)步。對于薄霧圖像,該方法能取得較好的效果,但對于較濃的帶霧圖像效果一般,同 時(shí)該方法算法復(fù)雜度較高,處理速度較慢?,F(xiàn)有技術(shù)[3](參見 K. He, J. Sun, and X. Tang. Single image haze removal using dark channel prior.In IEEE Conference on Computer Vision and PattemRecognition (CVPR,09),pages 1956-1963,2009.)首次提出 了一種基于物理模型 的先驗(yàn)(dark channel prior)并基于該先驗(yàn)直接估計(jì)介質(zhì)透過率,接著運(yùn)用一種soft matting方法進(jìn)行透過率參數(shù)的優(yōu)化,進(jìn)而實(shí)現(xiàn)單幅圖像去霧。該方法對于較濃的帶霧圖像 也具有較好的效果,其局限性在于算法復(fù)雜度極高,處理速度很慢,對硬件要求較高,在視 頻監(jiān)控、目標(biāo)跟蹤及機(jī)器視覺等領(lǐng)域難以應(yīng)用。因此由于現(xiàn)有技術(shù)圖像處理速度慢,而存在只能處理靜態(tài)圖像以及處理較濃帶霧 圖像難的問題。
發(fā)明內(nèi)容
本發(fā)明提出一種基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,該方法對圖片處理速度快,從而可以實(shí)時(shí)、快速、高效地實(shí)現(xiàn)對單幅圖像信息的去霧增強(qiáng)。本發(fā)明所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法的具體實(shí)現(xiàn)步驟如下步驟一根據(jù)輸入帶霧圖像I計(jì)算帶霧圖像的暗元素圖D并估計(jì)大氣光向量A ;步驟二 根據(jù)暗元素圖像推導(dǎo)大氣光幕圖V ;利用雙邊濾波估計(jì)暗元素圖D中每一個(gè)點(diǎn)D (x,y)處的局部均值M(x,y),即M(x, y) = blfilte^ σ ^D {χ, y)]其中,x,y為圖像的像素坐標(biāo),Os, Or分別表示雙邊濾波器blfilter在圖像空間 域S及圖像值域R上的濾波參數(shù);利用雙邊濾波估計(jì)暗元素圖D中每一個(gè)點(diǎn)D(x,y)處的局部標(biāo)準(zhǔn)差N(x,y),即Ν(χ,γ) 二 Wiltera f7r (|Ζ)(χ,y)-M(χ,少)|)將局部均值M(x,y)與局部標(biāo)準(zhǔn)差N(x,y)之差VjX,y)作為大氣光幕的初步估計(jì) 值,即Vr (x, y) = M(χ, y)-N(x, y)通過設(shè)定閾值e得到最終的大氣光幕估計(jì)值V (X,y),即V (x, y) = max (min (eVr (χ, y), D (χ, y)), 0)步驟3 通過帶霧圖像成像物理模型推導(dǎo)出去霧圖像的輻照度R ;步驟4:對去霧圖像的輻照度R進(jìn)行基于直方圖方法的增強(qiáng),得到增強(qiáng)后去霧圖像 為Rro本發(fā)明所述的根據(jù)輸入帶霧圖像I計(jì)算帶霧圖像的暗元素圖D為當(dāng)所述的輸入帶霧圖像為彩色圖像時(shí),則D (x, y)為每個(gè)像素紅綠藍(lán)RGB三個(gè)通道 的最小值;當(dāng)所述的輸入帶霧圖像為灰度圖像時(shí),則D(x,y)為每個(gè)像素灰度值本身。本發(fā)明所述的估計(jì)大氣光向量A為利用邊長為patCh_SiZe的正方形窗口對暗元素圖D進(jìn)行分塊,并對每一小塊進(jìn)行 最小值腐蝕運(yùn)算,得到腐蝕后的暗元素圖DCT。si。n即Derosion (/, j) = min (D(x, y)) = min (min (/(χ,少)))其中,(i,j)為每個(gè)小塊的坐標(biāo),patch為所分成的小塊的數(shù)目;取腐蝕后的暗元素圖DCT。si。n中的極大值點(diǎn)對應(yīng)的帶霧圖像I的像素值作為大氣光 向量A。本發(fā)明所述的通過帶霧圖像成像物理模型推導(dǎo)出去霧圖像的輻照度R為帶霧圖像成像物理模型為I (x, y) = R(χ, y)t(x, y)+A[l-t(x, y)]其中,R(χ, y)為去霧圖像的輻照度,t e (0,1)為霧天大氣透射率;令V(x,y) = A[l_t(x,y)],則有I(x,y) = R(x,y)(+
K Λ )
/(x^)-K(x^)k^ y)-V(x,y)。
1--
A
有益效果本發(fā)明通過基于暗元素的方法能估計(jì)大氣光向量、基于雙邊濾波方法估計(jì)大氣光 幕,保證圖像的去霧效果。其次,本發(fā)明對雙邊濾波的方法進(jìn)行改進(jìn),采用信號(hào)處理中香儂采樣定理,降低了 計(jì)算的復(fù)雜度,使得圖像處理速度上有了質(zhì)的提升。再次,本發(fā)明實(shí)現(xiàn)了基于單幅圖像信息的實(shí)時(shí)去霧增強(qiáng)運(yùn)算,同時(shí)對于灰度圖像 和彩色圖像均能處理,在圖像偵察、視頻監(jiān)控、目標(biāo)跟蹤及智能車輛等領(lǐng)域具有很高的實(shí)用 價(jià)值。
圖1為本發(fā)明基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法的流程圖。
具體實(shí)施例方式為了更好地說明本發(fā)明的目的與優(yōu)點(diǎn),下面對本發(fā)明做進(jìn)一步說明。步驟1 根據(jù)輸入帶霧圖像I計(jì)算帶霧圖像的暗元素圖D并估計(jì)大氣光向量A。當(dāng)所輸入的圖像為彩色圖像時(shí),D為輸入圖像每個(gè)像素RGB三個(gè)通道的最小值;D{x,y) = min(/(x,j;))其中,x,y表示圖像中像素坐標(biāo),c = 1,2,3為圖像的顏色通道數(shù)。當(dāng)所輸入的圖像為灰度圖像時(shí),D為灰度圖像每個(gè)像素灰度值本身;D (x, y) = I (χ, y)設(shè)D大小為IwidthX Iheight,取邊長為patCh_SiZe的正方形窗口對暗元素圖D進(jìn)行分 塊,根據(jù)原始圖像的大小patCh_size的優(yōu)選為取值范圍為[3,100]的任一整數(shù),對D進(jìn)行 分塊得到(Iwidth/patch_size+l) X (Iheight/patch_size+l)個(gè)小塊,patch 為所分成的小塊的 數(shù)目,設(shè)其坐標(biāo)為(i,j)。對每一小塊進(jìn)行最小值腐蝕運(yùn)算,得到腐蝕后的暗元素圖DCT。si。n, 即Derosion (i, j) = min (D(x, y)) = mm (min(/(x, y)))取腐蝕后的暗元素圖DCT。si。n中的極大值點(diǎn)對應(yīng)的帶霧圖像I像素點(diǎn)的顏色值作為 大氣光向量A。步驟2 根據(jù)暗元素圖像推導(dǎo)大氣光幕V。首先,利用雙邊濾波估計(jì)暗元素圖D中每一個(gè)點(diǎn)D(x,y)處的局部均值M(x,y), 即M(x, y) = Mfiltera ar [Z)(x, y)]上式中,0s,c^分別表示雙邊濾波器blfilter在圖像空間域S及圖像值域R上 的高斯濾波參數(shù)。現(xiàn)有的一種雙邊濾波中對暗元素圖D中的任意一點(diǎn)ρ進(jìn)行雙邊濾波操作定義為下 式blfilter^[D\ =^Gas (||p-q||)^
其中,q為點(diǎn)ρ高斯鄰域內(nèi)像
為歸-
q€5其次,利用雙邊濾波估計(jì)暗元素圖D中每一個(gè)點(diǎn)D(x,y)的局部標(biāo)準(zhǔn)差N(x,y), 即N(x, y) = blfilterw - M\(χ, y)再次,利用D (χ,y)的局部均值M (X,y)與局部標(biāo)準(zhǔn)差N (χ,y)之差Vr (χ,y)作為 大氣光幕的初步估計(jì)值,即Vr (x, y) = M (χ,y) -N (χ,y)對于彩色帶霧圖像,可認(rèn)為其大氣光向量的三個(gè)顏色通道分量近似相等,此時(shí)可 將大氣光幕V視為二維灰度圖像。由步驟1中暗元素圖D的求取可知,0<V(x,y) ^ D (χ, y)。為了保持去霧圖像的自然性,通過設(shè)定閾值ee (0,1)得到最終的大氣光幕估計(jì)值V(x, y),即V (x, y) = max (min (eVr (x,y),D (x,y)),0)本發(fā)明為了能過快速實(shí)現(xiàn)基于雙邊濾波對圖像去霧增強(qiáng)的計(jì)算,采用了改進(jìn)雙邊 濾波器的快速近似計(jì)算方法,下面具體說明首先、計(jì)算輸入圖像F灰度極小值;
坐標(biāo)值
二 Si /(xJ)
根據(jù)得到的輸入圖像灰度極小值Fmin計(jì)算空間中點(diǎn)(X,y,F(xiàn)(X,y))經(jīng)過采樣后的 (χ,y,ζ ) (χ,γ, ) =
/ roundχ,roundz_ roundF(x,y)-Fmin\\Js-Js __ Sr _/
Ss禾口 s
矩陣,L
其中,ζ e R為像素點(diǎn)F(x,y)經(jīng)過采樣后的灰度值,round[]為舍入取整運(yùn)算, 分別為空間和值域上的采樣率; 其次、計(jì)算函數(shù)值wi (x,y,i),w(x,y, ζ) \w(x,y,g) = l [wi(x,y,g) = I(x,y) 得到
^^(χ,γ, W/(χ,γ, ) y
WlF^x,y,g)\iwi(x,y,g^
^ι(χ^, ) J ο,7,ζ·)
'WiF^y, )
、iWiFi1 {χ, γ, W,T{x,y,g)
其中,W丨F丨=0、WiF^t = 0、W! = 0、W / = 0為SXR空間定義LXHXP三維 =floor[l/sJ+l, H = floor[h/sJ+l, P = floor[Fdelta/sr]+l, floor口 為取整運(yùn)
8算,1 和 h 分別為圖像寬和高,F(xiàn)delta = Ffflax-Ffflin,^ = mjxF(x,y);在SXR空間進(jìn)行三維高斯卷積運(yùn)算,高斯核g的參數(shù)為σ s/ss及σ r/、,即[WbiFbi ,Wb,) = (WiF, ,Wi^g再次、在圖像的每個(gè)像素位置,對和^?進(jìn)行三線性插值求取WbFb和Wb,即WbFb (x,y) = interpolate3{w^F^^^
VSs Ss Sr JWb (x,y) = interpolate3《,丄人力
V Ss Ss Sr J對插值結(jié)果進(jìn)行歸一化運(yùn)算,最終得到濾波圖像Fbf [隱]咖當(dāng)F(x,y) = D (χ, y)時(shí),F(xiàn)bf (χ, y) = M(χ, y);當(dāng)F(x,y) = D (χ, y)-M(x, y) | 時(shí),F(xiàn)bf (χ, y) = N(χ, y)。步驟3 通過帶霧圖像成像物理模型推導(dǎo)出去霧圖像的輻照度R ;帶霧圖像成像物 理模型為I (x, y) = R(χ, y)t(x, y)+A[l-t(x, y)]其中,R(χ, y)為去霧圖像的輻照度,t e (0,1)為霧天大氣透射率;令V(x,y) = A[l_t(x,y)],則有
f V(x ν)〉I(x,y) = R(x,y) 1+V(x,y)
\ AJ I(x,y)-V(x,y)V(x,y)。
1--
A步驟4:對去霧圖像的輻照度R進(jìn)行基于直方圖方法的增強(qiáng),增強(qiáng)后去霧圖像為
Rj, O對于彩色圖像,各顏色通道將分別單獨(dú)處理。為了排除去霧后圖像的噪聲點(diǎn)或者飽和點(diǎn)干擾,首先選取飽和水平閾值d e (0, 1)。建立輸入圖像R像素值的累積直方圖,直方圖橫坐標(biāo)表示亮度級別,縱坐標(biāo)表示小于等 于該亮度級別的像素點(diǎn)數(shù)目。設(shè)圖像像素個(gè)數(shù)為N,每個(gè)通道像素灰度值域?yàn)閇min,max],根據(jù)選取的飽和水平 閾值d及累積直方圖選取Vmin-直方圖縱坐標(biāo)大于NX d/2對應(yīng)的最小橫坐標(biāo)值,Vmax-直方 圖縱坐標(biāo)小于或等于NX (l-d/2)對應(yīng)的最大橫坐標(biāo)值。對圖像每個(gè)像素計(jì)算增強(qiáng)后的像素值
f ν) - V - ) χ (max - min) .Rr(x,y) = yell^-^+ min ο
9
權(quán)利要求
一種基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于該方法的具體步驟為步驟一根據(jù)輸入帶霧圖像I計(jì)算帶霧圖像的暗元素圖D并估計(jì)大氣光向量A;步驟二根據(jù)暗元素圖像推導(dǎo)大氣光幕圖V;利用雙邊濾波估計(jì)暗元素圖D中每一個(gè)點(diǎn)D(x,y)處的局部均值M(x,y),即 <mrow><mi>M</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msub> <mi>blfilter</mi> <mrow><msub> <mi>σ</mi> <mi>s</mi></msub><msub> <mi>σ</mi> <mi>r</mi></msub> </mrow></msub><mo>[</mo><mi>D</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>]</mo> </mrow>其中,x,y為圖像的像素坐標(biāo),σs,σr分別表示雙邊濾波器blfilter在圖像空間域S及圖像值域R上的濾波參數(shù);利用雙邊濾波估計(jì)暗元素圖D中每一個(gè)點(diǎn)D(x,y)處的局部標(biāo)準(zhǔn)差N(x,y),即 <mrow><mi>N</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msub> <mi>blfilter</mi> <mrow><msub> <mi>σ</mi> <mi>s</mi></msub><msub> <mi>σ</mi> <mi>r</mi></msub> </mrow></msub><mrow> <mo>(</mo> <mo>|</mo> <mi>D</mi> <mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo> </mrow> <mo>-</mo> <mi>M</mi> <mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo> </mrow> <mo>|</mo> <mo>)</mo></mrow> </mrow>將局部均值M(x,y)與局部標(biāo)準(zhǔn)差N(x,y)之差Vr(x,y)作為大氣光幕的初步估計(jì)值,即Vr(x,y)=M(x,y) N(x,y)通過設(shè)定閾值e得到最終的大氣光幕估計(jì)值V(x,y),即V(x,y)=max(min(eVr(x,y),D(x,y)),0)步驟3通過帶霧圖像成像物理模型推導(dǎo)出去霧圖像的輻照度R;步驟4對去霧圖像的輻照度R進(jìn)行基于直方圖方法的增強(qiáng),得到增強(qiáng)后去霧圖像為Rr。
2.根據(jù)權(quán)利要求1所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于,所述 的根據(jù)輸入帶霧圖像I計(jì)算帶霧圖像的暗元素圖D為當(dāng)所述的輸入帶霧圖像為彩色圖像時(shí),則D (x, y)為每個(gè)像素紅綠藍(lán)RGB三個(gè)通道的最 小值;當(dāng)所述的輸入帶霧圖像為灰度圖像時(shí),則D(x,y)為每個(gè)像素灰度值本身。
3.根據(jù)權(quán)利要求1所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于,所述 的估計(jì)大氣光向量A為利用邊長為patch size的正方形窗口對暗元素圖D進(jìn)行分塊,并對每一小塊進(jìn)行最小 值腐蝕運(yùn)算,得到腐蝕后的暗元素圖DCT。si。n即 Derosion (i, j) = mm(D(x,力)=mm (min (/(χ, y))J其中,(i,j)為每個(gè)小塊的坐標(biāo),patch為所分成的小塊的數(shù)目;取腐蝕后的暗元素圖DCT。si。n中的極大值點(diǎn)對應(yīng)的帶霧圖像I的像素值作為大氣光向量A0
4.根據(jù)權(quán)利要求3所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于,所述 的patch_size選取[3,100]中的任一整數(shù)。
5.根據(jù)權(quán)利要求1所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于,所述 的雙邊濾波的具體步驟為首先、計(jì)算輸入圖像F灰度極小值;根據(jù)得到的輸入圖像灰度極小值Fmin計(jì)算空間中點(diǎn)(X,y,F(xiàn)(X,y))經(jīng)過采樣后的坐標(biāo) 值(x,y,O 其中,ζ e R為像素點(diǎn)F(x,y)經(jīng)過采樣后的灰度值,round[]為舍入取整運(yùn)算,Ss和 Sr分別為空間和值域上的采樣率;其次、計(jì)算函數(shù)值Wi (x,y,4)、w(x,y,ζ) \w{x,y,g) = \ \wi{x,y,g) = I{x,y) 得到W1F1^ (χ, y, ) Wi^xiy, ) 'WiF^x,γ, Wi(X^G)'Ψ^χ,γ, ) W^x, y, )W^ix^g)+\ν (χ,γ, )Λ其中,W丨F丨=0、W丨F丨τ = 0、W丨=0、W丨τ = 0為SXR空間定義LXHXP三維矩陣, L = floor[l/ss]+l,H = floor [h/sJ+l,P = floor [Idelta/sr]+l, floor []為取整運(yùn)算,1 和h 分別為圖像寬和高,F(xiàn)delta = Fmax-Fmin,F(xiàn)匪= VmKF(x,y);在SXR空間進(jìn)行三維高斯卷積運(yùn)算,高斯核g的參數(shù)為ο s/ss及ο J、,即 {wtFl^^QV^W^g再次、在圖像的每個(gè)像素位置,對妒和爐/進(jìn)行三線性插值求取WbFb和Wb,即 WbFb (x,y) = interpolate^WbiFbi,-,-,^^VSS Ss Sr/Wb (χ,y) = interpolate3 W^,—,—,F(X,y)V Ss Ss Sr對插值結(jié)果進(jìn)行歸一化運(yùn)算,最終得到濾波圖像F1F (,ν) ^ ^當(dāng) F(x,y) = D(χ, y)時(shí),F(xiàn)bf (χ, y) = M(χ, y); 當(dāng) F(x,y) = D(χ, y)-M(x, y) | 時(shí),F(xiàn)bf (χ, y) = N(χ, y)。
6.根據(jù)權(quán)利要求1所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于,所述 的通過帶霧圖像成像物理模型推導(dǎo)出去霧圖像的輻照度R為 帶霧圖像成像物理模型為 I(x,y) = R(χ, y)t(x, y)+A[l-t(x, y)]其中,R(χ, y)為去霧圖像的輻照度,t e (0,1)為霧天大氣透射率; 令 V(x,y)=八[14(1,7)],則有
7.根據(jù)權(quán)利要求1所述的基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)方法,其特征在于,所述 的步驟四中對去霧圖像的輻照度R進(jìn)行基于直方圖方法的增強(qiáng)為當(dāng)處理的圖像為彩色圖 像時(shí),則各顏色通道將分別進(jìn)行基于直方圖方法的增強(qiáng)。
全文摘要
本發(fā)明公開一種基于雙邊濾波的實(shí)時(shí)圖像去霧增強(qiáng)技術(shù),特別適用于惡劣氣象條件下圖像及視頻的去霧增強(qiáng),屬于數(shù)字圖像處理領(lǐng)域;具體為,估計(jì)輸入的帶霧圖像的大氣光向量值A(chǔ),并推導(dǎo)出大氣光幕圖V,根據(jù)計(jì)算出的大氣光向量和大氣光幕圖解算去霧圖像的輻照度R,最后對計(jì)算出的輻照度進(jìn)行增強(qiáng)。本發(fā)明通過基于暗元素的方法能精確估計(jì)大氣光向量、基于雙邊濾波方法估計(jì)大氣光幕,降低了計(jì)算的復(fù)雜度,可以保證圖像的去霧效果;同時(shí)對雙邊濾波的方法進(jìn)行改進(jìn),使得圖像處理速度上有了質(zhì)的提升。
文檔編號(hào)G06T5/10GK101950416SQ20101028340
公開日2011年1月19日 申請日期2010年9月15日 優(yōu)先權(quán)日2010年9月15日
發(fā)明者周志強(qiáng), 孫抗, 汪渤, 沈軍, 石永生, 董明杰, 鄭智輝, 高志峰 申請人:北京理工大學(xué)