本發(fā)明涉及圖像處理技術，具體涉及一種超像素框架下基于均值-均方差暗通道的單幅圖像去霧方法。

背景技術：

霧霾作為一種常見的自然現(xiàn)象是造成圖像降質的重要原因，其機理是大氣霧霾成分中的小液滴和氣溶膠對可見光產生散射，使其無法正常通過空氣介質，最終導致成像效果變差，霧霾影響下成像為分割、檢測、識別等后續(xù)處理帶來很大困難，因此如何在視覺上消除霧霾干擾，提升圖像能見度是非常必要的。

現(xiàn)有的技術從數(shù)據(jù)來源上可分為單幅圖像和多幅圖像，多幅圖像的優(yōu)點是信息豐富，但困難在于需要獲得同一場景不同角度的拍攝圖像；而單幅圖像的特點是信息量有限，但獲取相對容易。針對霧霾的去霧方法從理論上可分為基于增強和物理模型兩類方法，其中基于增強方法主要通過調整圖像對比度來達到去霧霾的效果，在視覺上可改善圖像質量，而基于物理模型的方法則是從霧霾對成像結果影響的內在機理出發(fā)尋求解決方案。

霧、霾天氣下的成像過程可由大氣散射物理模型描述為公式(1)的形式，其中i(x)為實際觀察到的有霧圖像，j(x)為理想條件下的無霧圖像，t(x)為大氣透射率，a為大氣光，且t(x)＝e^-βd(x)，β為大氣中介質的散射系數(shù)、d(x)為成像的場景景深。

i(x)＝j(x)t(x)+a(1-t(x))(1)

去霧的本質是從i(x)中恢復j(x)，由于缺少約束條件，該方程在數(shù)學上的求解屬于病態(tài)反問題，需要從圖像數(shù)據(jù)本身出發(fā)做出先驗假設，作為模型(1)的約束條件。

現(xiàn)有技術去霧方法以暗通道為基礎比較典型的有以下兩種技術方案。

1、暗通道優(yōu)先去霧霾技術方案

為了對公式(1)描述的大氣散射模型進行求解，何愷明通過觀察大量晴天無霧條件下不含天空區(qū)域的圖像數(shù)據(jù)(kaiminghe，jiansun，xiaooutang.singleimagehazeremovalusingdarkchannelprior[j].ieeetransactionsonpatternanalysisandmachineintelligence，2011，33(12)：2341-2353.)，得到一個經驗結論，即對于彩色圖像的任意局部區(qū)域內，至少存在一個顏色通道i^c(x)的數(shù)值非常小，稱之為暗通道j^dark(x)，可以寫成公式(2)的形式，其中ω(x)是以像素x為中心的區(qū)域。

式中c表示任一顏色通道，{r，g，b}表示紅、綠、藍三個顏色通道。

何將(2)式作為(1)式的求解約束條件獲得了巨大成功，該理論本質上可看成黑體輻射在可見光圖像中的一種體現(xiàn)形式，相當于公式(1)中t(x)→1時得到的結果，但上述暗通道優(yōu)先理論仍存在以下局限性：

(1)何用公式(2)求解公式(1)時有一個前提條件，要求t(x)在ω(x)內保持恒定，根據(jù)先前分析t(x)與β和d(x)均有關系，而ω(x)是一個以像素x為中心的方形區(qū)域，若選取的ω(x)包含多個景深，則這個前提條件并不滿足，且ω(x)選取時會相互重疊，導致對t(x)的估計不準確。

(2)當ω(x)包含多個景深時，在景深突變處會產生光環(huán)效應(haloeffect)，這是近景cf對遠景cb的遮擋引起的，本質上是在景深突變處對cf和cb的像素類別區(qū)分錯誤造成的，導致圖像局部區(qū)域去霧失敗。

(3)在大氣散射模型中j(x)t(x)被稱為“直接衰減項”，a(1-t(x))稱為“大氣光項”，由t(x)＝e^-βd(x)可知，當β恒定時這兩項對成像結果的貢獻比例隨d(x)遞增呈此消彼長的關系，而暗通道優(yōu)先理論的去霧效果取決于j(x)t(x)在整個成像中所占的比重，當j(x)t(x)起主導或與a(1-t(x))可比擬時，去霧效果明顯，反之則不能達到滿意的去霧效果。在極限條件d(x)→∞時，i(x)≈a，此時大氣光對成像結果起決定作用，暗通道優(yōu)先理論失效，說明該理論無法處理天空等大面積明亮區(qū)域。

2、中值暗通道去霧霾的技術方案

gibson等人針對經典暗通道存在的不足(kristoforbgibson，dungt.aninvestigationofdehazingeffectsonimageandvideocoding[j].ieeetransactionsonimageprocessing，2012，21(2)：662-672.)，在其基礎上提出了中值暗通道，如公式(3)所示，基本思想是假設ω(x)內景深d(x)錯誤的點僅占極少數(shù)，當ω(x)包含多個d(x)時用中值取代最小值抑制光環(huán)效應(haloeffect)的發(fā)生。

式中median(.)代表標準中值濾波函數(shù)、i1，i2，...，in代表像素特征值、n代表像素序列取值、z⁺表示正整數(shù)。

中值暗通道技術的缺點在于：

(1)中值暗通道應用的假設前提不一定成立，即無法保證透射率在ω(x)內保持恒定。

(2)若ω(x)內不存在像素占絕對優(yōu)勢的景深，則中值不能夠有效抑制光環(huán)效應發(fā)生。

(3)中值暗通道本質上是避免取最小值，當d(x)→∞時使估計的透射率值較大，一定程度上能夠抑制大面積明亮區(qū)域出現(xiàn)的偏色問題，但效果仍不理想。

由此可見，在霧霾越來越嚴重的當下，急需一種有效克服上述方案缺點的去霧方法，以便獲得清晰的成像效果。

技術實現(xiàn)要素：

針對現(xiàn)有技術存在的問題，本發(fā)明提供一種超像素框架下基于均值-均方差暗通道的單幅圖像去霧方法，步驟如下：

step1.按公式(6)計算圖像i各顏色通道最小值矩陣i^dark，以下簡稱為灰度矩陣i^dark。

式中c表示任一顏色通道，{r，g，b}表示紅、綠、藍三個顏色通道，i^c(x)表示圖像i在不同像素點x處的顏色通道值

具體做法是計算圖像i在不同像素點x處r，g，b三個顏色通道c的最小值，因為彩色圖像是三個矩陣疊加，這樣就得到灰度矩陣i^dark，將i^dark按升序排列，得到數(shù)組is^dark，求取is^dark排序前0.001的像素的均值記為is^min，is^min反映的是霧濃度，當0≤is^min≤1時霧濃度較低，且is^min＝0極大可能有前景遮擋現(xiàn)象發(fā)生，而is^min＞1時霧濃度較高；求取is^dark后0.001的像素的均值記為is^max，is^max反映的是is^dark中暗通道衰減程度，is^max＜0.7表明暗通道衰減程度適中，0.7≤is^max≤0.92表明暗通道衰減程度較大，is^max＞0.92表明有大面積明亮的天空區(qū)域存在；

(1)若is^min＝0或is^max＞0.92，參見公式4和5：

公式(4)中，為超像素分割后得到的第i個區(qū)域ωi的均值-均方差暗通道值，xj代表超像素算法對圖像i各顏色通道最小值構成的灰度圖像i^dark分割后得到的第i個區(qū)域ωi中第j個像素點的灰度值，k是一個與暗通道衰減度有關的參數(shù)，n代表ωi中包含的像素點數(shù)；

ω＝1-0.382^tt＝1，2，3，4，5(5)

式中ω為霧去除率，t為大于0的正整數(shù)；

若將公式(5)的參數(shù)t取2，公式(4)的參數(shù)k取1，對圖像i各顏色通道最小值構成的灰度圖像i^dark進行超像素分割，得到成像的場景景深d(x)和大氣中介質的散射系數(shù)β恒定的若干ωi，再對每個ωi按照公式(4)計算暗通道得到因為各在空間位置上緊密相連，因此將每個ωi得到的拼接到一起得到整幅圖像的暗通道j^dark；

(2)若is^min＞0且0.7≤is^max≤0.92，則公式(4)的參數(shù)k取0，公式(5)的參數(shù)t取3，對j^dark進行估計；

(3)若is^min＞0且is^max＜0.7，則公式(4)的參數(shù)k取0，公式(5)的參數(shù)t取2，對j^dark進行估計；

step2.根據(jù)步驟1得到合適的參數(shù)t跟k，按公式(5)計算霧去除率ω；

step3.對大氣光值a進行估計；

step4.計算矩陣img＝i/a；

step5.對矩陣img進行超像素分割，得到成像的場景景深d(x)和大氣中介質的散射系數(shù)β恒定的若干ωi；

step6.對每個ωi按照公式(4)計算暗通道，得到將每個ωi得到的拼接到一起得到整幅圖像的暗通道j^dark；

step7.通過t＝1-ω*j^dark計算粗透射率t；

step8.對粗透射率t進行精細化處理，得到細化后的透射率t^*；

step9.由公式j＝(i-a)/t^*+a得到最終恢復的圖像j。

本發(fā)明的去霧方法可以在霧霾濃度較大的惡劣天氣下提高圖像的可見性，較好解決了去霧過程中存在的三方面局限性問題，具有下列優(yōu)點：

1、使霧濃度和景深在超像素表述的局部區(qū)域內保持不變；

2、克服了景深突變處光環(huán)效應的發(fā)生；

3、有效緩解了景深無窮遠處產生的偏色問題。

附圖說明

圖1示出本發(fā)明超像素框架下基于均值-均方差暗通道的單幅圖像去霧方法的霧濃度和景深在超像素表述的局部區(qū)域內保持不變，其中圖1(a)示出未經處理的大山圖像，圖1(b)示出經過超像素分割處理的大山圖像，圖1(c)示出未經處理的黃山圖像，圖1(d)示出經過超像素分割處理的黃山圖像，圖1(e)示出未經處理的香港圖像，圖1(f)示出經過超像素分割處理的香港圖像，圖1(g)示出未經處理的河流圖像，圖1(h)示出經過超像素分割處理的河流圖像；

圖2示出本發(fā)明超像素框架下基于均值-均方差暗通道的單幅圖像去霧方法的抑制光環(huán)效應，其中圖2(a)示出大山圖像去霧結果，圖2(b)示出黃山圖像去霧結果，圖2(c)示出圖2(a)所示大山圖像局部，圖2(d)示出圖2(b)所示黃山圖像局部；

圖3示出超像素框架下基于均值-均方差暗通道的單幅圖像去霧方法的緩解偏色效應，其中圖3(a)示出香港圖像，圖3(b)示出利用mmds方法處理過的香港圖像，圖3(c)示出河流圖像，圖3(d)示出利用mmds方法處理過的河流圖像。

具體實施方式

下面結合附圖詳細說明本發(fā)明。

本發(fā)明目的在于提高霧霾條件下單幅可見光圖像的能見度問題，本發(fā)明從單幅圖像數(shù)據(jù)出發(fā)，在考慮大氣散射物理模型的基礎上尋求解決方案。本發(fā)明假設介質的散射系數(shù)在局部保持不變，且暗通道優(yōu)先的有效性隨景深遞增呈指數(shù)衰減，在此基礎上提出一種超像素框架下基于均值-均方差暗通道(superpixels-basedmeanandmeansquaredeviationdarkchannel，mmds)的去霧霾方法。本發(fā)明方法主要解決三個方面的關鍵技術：①使霧濃度和景深在局部區(qū)域保持恒定；②抑制光環(huán)效應發(fā)生；③糾正天空區(qū)域的偏色效應。

本發(fā)明的超像素框架下基于均值-均方差暗通道的單幅圖像去霧方法包含以下關鍵技術：

1、超像素分割框架

經典暗通道采用大小固定的方形區(qū)域ω(x)來估計透射率t(x)，要求t(x)在ω(x)內保持不變，但這個前提假設對于包含多個景深的ω(x)卻不滿足，導致透射率t(x)估計不準確，為了克服此缺陷，注意到場景是由獨立景物構成的，而這些景物所在的局部區(qū)域內霧濃度可以認為是保持不變的，且組成這些景物的像素在局部區(qū)域內到達觀測者的景深也可認為是不變的，如果從暗通道理論解釋，就是組成景物的像素在景深一致的局部區(qū)域內暗通道值表現(xiàn)為一致性。超像素是將像素點聚集成視覺上充滿意義的微小區(qū)域，同時要求區(qū)域內具有很高的特征相似性，如果將暗通道值看成一種特征，則本發(fā)明首先采用超像素對圖像進行表述，令ωi為分割的第i個超像素，ωi內局部景深為di，局部介質散射系數(shù)βi，局部大氣透射率為ti。因為βi和di在ωi內均保持不變，由此生成的透射率ti在ωi內基本保持不變，滿足公式(1)的求解假設條件，同時避免了原ω(x)間的區(qū)域重疊問題。超像素分割方法很多且在不斷改進中，發(fā)明人在此思想下提出超像素分割框架，這個框架的意義在于通過高性能的超像素對暗通道進行分割，使局部區(qū)域ωi內的霧濃度和景深基本一致，從而確保透射率ti估計的準確性。由上述分析和公式(1)，本發(fā)明提出一個重要假設，即，霧濃度和景深在超像素分割的局部區(qū)域ωi內保持不變，且暗通道優(yōu)先的有效性隨景深遞增呈指數(shù)衰減。

2、均值-均方差暗通道

(1)抑制光環(huán)效應

現(xiàn)有技術無法使超像素的邊緣重合率達到100％，使欠分割錯誤率達到0％，因此在上述超像素分割框架下，可以認為ti在ωi內占絕對優(yōu)勢，但無法保證ti在ωi內的唯一性。令wi為ωi內對各像素點求取的顏色通道最小值進行排序后得到的數(shù)組，wi包含n個像素點(wi(0)，wi(1)，wi(2)...，wi(n-1))，因為公式(2)是將ωi的最小值作為暗通道值，因此，即便在數(shù)組wi中遠景cb＝[wi(1)，wi(2)...，wi(n-1)]，近景cf＝wi(0)，公式(2)仍會認為即將遠景cb錯認為是近景cf，導致在di突變處去霧失敗，仍會發(fā)生光環(huán)效應，這種情況常發(fā)生在景深交界處遠景di占絕對優(yōu)勢的ωi中，為了避免取顏色通道最小值，本發(fā)明用ωi中的像素均值替代最小值，這樣做的好處是回避了超像素分割的精度問題，同時能夠有效抑制景深突變處的光環(huán)效應。

(2)抑制偏色效應

當景深di較大，特別是天空區(qū)域屬于di→∞的情形，此時暗通道優(yōu)先理論失效，ωi內像素值整體偏亮，大氣光a起主導作用，透射率最低，即便用均值取代最小值，估計的透射率ti值仍偏小，易發(fā)生偏色效應。需要借助于ωi中整體亮度的平均偏離度，也就是整體亮度的均方差對暗通道值進行補償，間接修正ti，從而抑制景深無限遠處產生的偏色效應。根據(jù)上述思路，本發(fā)明提出一種基于均值-均方差(meanandmeansquaredeviation)的暗通道簡稱mmsd暗通道，用公式(4)表達如下：

式中xj代表超像素算法對i各顏色通道最小值構成的灰度圖像分割后得到的第i個區(qū)域ωi中第j個像素點的灰度值、k是一個與暗通道衰減度有關的參數(shù)，n代表ωi中包含的像素點數(shù)。

3、霧去除率

對于含霧圖像i(x)而言，霧濃度由β值體現(xiàn)，因為t(x)是一個與β和d(x)均相關的函數(shù)，因此它決定了j(x)t(x)對成像結果的貢獻比例，該比例越高圖像越清晰；而暗通道優(yōu)先假設相當于t(x)→1的條件下觀察j(x)得到的經驗結論，當β≠0且較大時，為滿足暗通道優(yōu)先假設，要求景物的d(x)→0，而隨著d(x)增大會導致t(x)→0，即越來越不滿足暗通道優(yōu)先假設，反映在圖像中就是暗通道比例降低，因此霧濃度可間接由暗通道比例體現(xiàn)，暗通道比例越高則霧濃度越低，反之亦然。根據(jù)之前假設，即在霧濃度和景深均保持恒定的ωi內，暗通道優(yōu)先的有效性隨景深遞增呈指數(shù)衰減，但霧的去除效果取決于j(x)t(x)和a(1-t(x))的權重比例，因此為達到較好的去霧結果，在圖像的d(x)范圍內，要求t(x)不能衰減為0(天空區(qū)域除外)。在此前提下本發(fā)明假定霧去除率ω符合黃金分割率，按照公式(5)計算，實際中應根據(jù)霧濃度大小和暗通道衰減程度確定合適的正整數(shù)參數(shù)t。

ω＝1-0.382^tt＝1，2，3，4，5(5)

4、技術實現(xiàn)要點

①對于β值而言雖然在超像素表述的局部區(qū)域ωi內保持不變，但公式(1)僅適用于幾公里內的成像過程，如果在有霧的情況下能見度十分有限，在有限的景深范圍內可以認為圖像的霧濃度整體保持不變，按公式(6)計算i^dark。

將i^dark按升序排列得到的數(shù)組is^dark，求取is^dark排序前0.001像素的均值記為is^min，is^min反映的是霧濃度，當0≤is^min≤1時霧濃度較低，且is^min＝0極大可能有前景遮擋現(xiàn)象發(fā)生，而is^min＞1霧濃度較高；求取is^dark排序后0.001的像素均值記為is^max，is^max反映的是is^dark中暗通道衰減程度，is^max＜0.7表明暗通道衰減程度適中，0.7≤is^max≤0.92表明暗通道衰減程度較大，is^max＞0.92表明有大面積明亮的天空區(qū)域存在。

②如果要產生明顯效果，則需要j(x)t(x)和a(1-t(x))在數(shù)值上可比擬，即要求i(x)≥2×a(1-t(x))，在β值整體保持不變的情況下，暗通道的有效性隨景深遞增呈指數(shù)衰減，暗通道值可表達為公式(7)，式中m是一個調節(jié)參數(shù)。

i^dark＝1-e^-m·β·d(x)m＞0(7)

③大氣光a按照文獻“singleimagehazeremovalusingdarkchannelprior”(kaiminghe，jiansun，xiaooutang.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2011，33(12)：2341-2353.)的方法進行估計，但估計時用到的暗通道j^dark有兩種形式，一種是按公式(2)得到的j^dark，該暗通道適用于不含大面積天空區(qū)域和無前景遮擋的圖像；另一種是按照公式(6)求取i^dark，再對i^dark進行超像素分割，得到d(x)和β恒定的若干ωi，接著對每個ωi按照公式(4)計算暗通道得到進而得到整幅圖像的暗通道j^dark，該暗通道用于含大面積天空區(qū)域的圖像和前景遮擋圖像。

本發(fā)明方法實現(xiàn)方法步驟如下：

1.按公式(6)計算i^dark，具體做法是計算圖像i^c(x)中各像素x處r，g，b三個顏色通道c的最小值，會得到灰度矩陣i^dark，將i^dark按升序排列，得到數(shù)組is^dark，求取is^dark前0.001的像素均值記為is^min，求取is^dark后0.001的像素均值記為is^max。

(1)若is^min＝0或is^max＞0.92，公式(4)的參數(shù)k取1，公式(5)的參數(shù)t取2，對i^dark用超像素分割，得到d(x)和β恒定的若干ωi，再對每個ωi按照公式(4)計算暗通道得到因為各在空間位置上緊密相連，因此將每個ωi得到的拼接到一起得到整幅圖像的暗通道j^dark；如圖1所示，拼接結果隨著暗通道的計算自然完成；

(2)若is^min＞0且0.7≤is^max≤0.92，公式(4)的參數(shù)k取0，公式(5)的參數(shù)t取3，j^dark按照“singleimagehazeremovalusingdarkchannelprior”(kaiminghe，jiansun，xiaooutang.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2011，33(12)：2341-2353.)的方法估計；

(3)若is^min＞0且is^max＜0.7，公式(4)的參數(shù)k取0，公式(5)的參數(shù)t取2，j^dark按照“singleimagehazeremovalusingdarkchannelprior”(kaiminghe，jiansun，xiaooutang.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2011，33(12)：2341-2353.)的方法估計；

2.根據(jù)步驟1得到合適的參數(shù)t跟k，按公式(5)計算霧去除率ω；

3.按照“singleimagehazeremovalusingdarkchannelprior”(kaiminghe，jiansun，xiaooutang.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2011，33(12)：2341-2353.)的方法估計大氣光值a；

4.計算img＝i/a；

5.對img進行超像素分割，得到d(x)和β恒定的若干ωi；

6.對每個ωi按照公式(4)計算暗通道，得到進而得到整幅圖像的暗通道j^dark；

7.通過t＝1-ω*j^dark計算粗透射率；

8.對t精細化處理，得到t^*；

9.由公式j＝(i-a)/t^*+a得到j

本發(fā)明的技術方案可以在霧霾濃度較大的惡劣天氣下提高圖像的可見性，較好的解決了去霧過程中存在的三方面局限性問題：

1、使霧濃度和景深在超像素表述的局部區(qū)域內保持不變；

2、克服了景深突變處光環(huán)效應的發(fā)生；

3、有效緩解了景深無窮遠處產生的偏色問題；

超像素分割框架包含很多種不同的超像素分割方法，基本思想是用超像素對圖像各顏色通道的最小值按相似性進行分割，替代固定的方形局部區(qū)域，確保超像素內霧濃度及景深基本保持不變這一前提假設成立，因此要求超像素的邊緣重合率盡可能高，而欠分割錯誤率盡可能低，在實際中用性能更高的超像素如“spectralsegmentationwithmultiscalegraphdecomposition”(t.cour，f.benezit，j.shi.[c].ieeecomputervisionandpatternrecognition.sandiego，ca，usa，june20-26，2005，1124-1131；“slicsuperpixelscomparedtostate-of-the-artsuperpixelmethods”(r.achanta，a.shaji，k.smith，etal.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2012，34(11)：2274-2282)；“turbopixels：fastsuperpixelsusinggeometricflows”(a.levinshtein，a.stere，k.kutulakosetc.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2009，31(12)：2290-2297)等方法補充完善該分割框架，使景深劃分更加準確。

在解決景深突變處光環(huán)效應時，采用的是均值-均方差暗通道，基本思想是在超像素分割的局部區(qū)域內避免取最小值，實際中還可采用中值、“黃金分割點”等其它方案替代。

在判斷圖像的整體霧濃度時，除了計算is^min外，還可以設定閾值t1＝25，小于閾值就是暗通道，通過統(tǒng)計i^dark中小于閾值t1的像素比例可以判斷圖像的霧濃度，該比例越低霧濃度越低，反之亦然。

對步驟8的透射率t精細化時，可以采用雙邊濾波、導向濾波“guidedimagefiltering”(kaiminghe，jiansun，xiaooutan.[j].ieeetransactionsonpatternanalysisandmachineintelligence，2013，35(11)：1-13)等多種方法，這些方法為本領域技術人員所知，不再累述。

本發(fā)明的技術關鍵點在于如何使霧濃度和景深在局部區(qū)域保持不變，通過在局部區(qū)域內避免取最小值抑制光環(huán)效應發(fā)生，及如何修正透射率來糾正景深無窮遠處產生的偏色問題。欲保護點如下：

a.圖像的暗通道值間接反應了暗通道有效性的衰減程度；

b.超像素分割可以使霧濃度和景深在局部保持一致；

c.用均值+均方差替代公式(2)的最小值，來抑制景深突變處的光環(huán)效應，同時糾正大景深出現(xiàn)的偏色問題；。

d.霧的去除率和黃金分割率存在冪次關系；

e.景深有限的情況下可認為圖像的整體霧濃度近似不變，此時暗通道的有效性隨景深遞增呈指數(shù)衰減；

f.暗通道比例可間接反映圖像的霧濃度。