一種實(shí)時(shí)視頻去霧方法
【專利摘要】為實(shí)時(shí)有效的恢復(fù)霧霾天氣圖像/視頻的對(duì)比度和顏色，本發(fā)明給出了一種顏色保持的實(shí)時(shí)視頻去霧方法。該方法首先使用了優(yōu)化的導(dǎo)向?yàn)V波方法，給出了參數(shù)自適應(yīng)選取方式。其次，由于暗原色先驗(yàn)不適用于天空等大面積白色區(qū)域，提出一種簡(jiǎn)單有效的方法來修正這種情況。針對(duì)去霧后圖像存在的偏暗問題，給出了一種保持物體顏色的自適應(yīng)亮度調(diào)整方法，使得圖像更加真實(shí)自然。最后，為實(shí)時(shí)處理更高分辨率的圖像，改善透射率的部分采用了下采樣的方法以提高速度。本發(fā)明算法的時(shí)間復(fù)雜度僅是圖像像素?cái)?shù)的線性函數(shù)，處理速度快，對(duì)分辨率為600×400的圖像，耗時(shí)約80ms。本發(fā)明對(duì)于提升數(shù)碼、監(jiān)控產(chǎn)品的性能提供有力的競(jìng)爭(zhēng)優(yōu)勢(shì)，為開展視頻處理芯片和智能監(jiān)控等領(lǐng)域產(chǎn)品的開發(fā)提供了核心競(jìng)爭(zhēng)優(yōu)勢(shì)。
【專利說明】一種實(shí)時(shí)視頻去霧方法

【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及圖像/視頻處理技術(shù)，具體來講，涉及一種顏色保持的實(shí)時(shí)視頻去霧 算法。 技術(shù)背景：
[0002] 近年來，霧霾天氣出現(xiàn)頻繁。霧霾天氣情況下，能見度降低，嚴(yán)重影響了人們正常 生活以及視頻系統(tǒng)的正常工作。實(shí)時(shí)地改善霧霾天氣圖像/視頻的清晰度和能見度，有重 要的實(shí)際意義。可以廣泛應(yīng)用于交通安全、視頻監(jiān)控等眾多領(lǐng)域。
[0003] 霧天圖像清晰化技術(shù)發(fā)展至今，目前主要有兩種方法：一是基于圖像處理的增強(qiáng) 方法；二是基于物理模型的復(fù)原方法。
[0004] 圖像增強(qiáng)的目的是使恢復(fù)之后的圖像更加符合人類視覺習(xí)慣或有利于計(jì)算機(jī)系 統(tǒng)的識(shí)別?；趫D像增強(qiáng)的去霧方法沒有考慮圖像降質(zhì)的原因，僅從圖像處理的角度根據(jù) 主觀視覺效果進(jìn)行對(duì)比度增強(qiáng)和顏色校正，這一類方法主要有直方圖均衡化、小波變換、同 態(tài)濾波、Retinex算法等。這些算法可以有效地增強(qiáng)圖像的對(duì)比度和細(xì)節(jié)信息，但不能針對(duì) 圖像退化的原因進(jìn)行有效補(bǔ)償，不能徹底去除霧氣。處理后的圖像常常會(huì)有顏色上的偏差 和噪聲放大的現(xiàn)象。針對(duì)圖像增強(qiáng)存在的問題，國(guó)內(nèi)外的一些研究者對(duì)惡劣天氣條件下的 圖像退化機(jī)理進(jìn)行了分析，提出了一些基于物理模型的復(fù)原方法。
[0005] 基于物理模型的方法利用霧天圖像退化模型，通過求解圖像退化的逆過程來恢復(fù) 清晰圖像，恢復(fù)的無霧圖像相對(duì)而言比較清晰自然。這一類方法主要有：假設(shè)場(chǎng)景深度已知 的復(fù)原方法、利用輔助信息提取深度信息的復(fù)原方法以及基于先驗(yàn)信息的復(fù)原方法。
[0006] 場(chǎng)景深度已知的復(fù)原方法需要使用昂貴的傳感器獲取精確的霧天圖像場(chǎng)景深度 信息，因此在很大程度上限制了這些方法的實(shí)際應(yīng)用。利用輔助信息提取深度信息的復(fù)原 方法需要不同天氣下2張或以上數(shù)量的圖像估計(jì)深度圖像，而實(shí)際中很難滿足圖像實(shí)時(shí)處 理的需求。眾多學(xué)者將目光投入到單幅圖像去霧。然而，僅僅通過單幅霧天圖像來恢復(fù)無霧 圖像，本身是一個(gè)病態(tài)問題。這就需要一些先驗(yàn)知識(shí)。從事這方面研究的學(xué)者主要有Tan、 Fattal、何凱明、Tarel 等。
[0007] Tan等基于無霧圖像的對(duì)比度必定比有霧圖像要高的事實(shí)，通過最大化局部對(duì)比 度的方法實(shí)現(xiàn)了單幅圖像去霧，但復(fù)原后的圖像容易產(chǎn)生色調(diào)偏移。Fattal基于透射率和 物體表面陰影局部不相關(guān)的假設(shè)，利用獨(dú)立成分分析（ICA)方法和馬爾科夫隨機(jī)場(chǎng)（MRF) 模型實(shí)現(xiàn)去霧。該方法的性能很大程度上取決于輸入數(shù)據(jù)的統(tǒng)計(jì)特性，對(duì)于濃霧圖像的復(fù) 原結(jié)果存在較大失真。為了達(dá)到更徹底的去霧目的，何凱明等人提出基于暗原色先驗(yàn)的單 幅圖像去霧技術(shù)，并借助軟摳圖技術(shù)改善透射率圖，最后得到的復(fù)原圖像清晰自然。但軟摳 圖技術(shù)的使用讓整個(gè)算法有很高的時(shí)間復(fù)雜度和空間復(fù)雜度，對(duì)分辨率為600*400的圖像 處理時(shí)間為10 -20s (3.0GHz Intel Pentium4processor)。為提高效率，許多加速算法被提 出。Tarel等人提出一種中值濾波的快速去霧方法，中值濾波的性質(zhì)使得復(fù)原圖像在景深發(fā) 生突變的邊緣，會(huì)產(chǎn)生光暈（Halo)效應(yīng)。2010年何凱明等人提出一種導(dǎo)向?yàn)V波方法來代 替先前的軟摳圖部分，極大降低了算法復(fù)雜度。Xie等人對(duì)圖像亮度分量通過MSR算法求 取透射率，取得了一定效果，但其處理600*400的圖像耗時(shí)為5-8s(3.0GHz Intel Pentium Dual-core)，速度也很慢。
[0008] 此外，在國(guó)內(nèi)，孫抗等人利用雙邊濾波的方法較好的保持了圖像的邊緣。2013年甘 佳佳等人利用兩次不同尺度的雙邊濾波結(jié)果的差值來衡量圖像的局部對(duì)比度，對(duì)霧濃區(qū)域 和自身亮度值較高的物體進(jìn)行了一定區(qū)分，以此得到了更加準(zhǔn)確的大氣散射圖。恒宗圣等 人采用了局部區(qū)域分割的方法等等?？傊?，基于圖像復(fù)原的圖像清晰化算法目前已取得了 一定的成果，但存在復(fù)雜度較高的問題，處理速度仍然有待進(jìn)一步提高。并且，目前使用的 大氣散射模型相對(duì)簡(jiǎn)單，對(duì)于較復(fù)雜的情況，如天空區(qū)域有強(qiáng)烈太陽光或光照非常不均時(shí)， 去霧效果往往不理想。


【發(fā)明內(nèi)容】
：
[0009] 本發(fā)明的目的在于解決現(xiàn)有的去霧算法對(duì)環(huán)境的適用性不強(qiáng)以及實(shí)時(shí)性較差、難 以應(yīng)用于實(shí)際的問題，基于大氣散射模型，提供一種保持物體顏色的實(shí)時(shí)視頻去霧算法。通 過所述方法可很好的恢復(fù)霧天圖像的顏色和對(duì)比度。
[0010] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于顏色保持的實(shí)時(shí)視頻去霧方法，該方法 主要包括以下步驟：
[0011] 步驟1，圖像獲?。和ㄟ^成像設(shè)備獲得一幀霧天圖像I ;
[0012] 步驟2,求最小通道圖Imin :將步驟1獲取的圖像在RGB顏色空間，對(duì)每個(gè)像素點(diǎn)求 取RGB分量的最小值，獲得最小通道圖Imin ;
[0013] 步驟3,估計(jì)當(dāng)前幀大氣光值A(chǔ)。：對(duì)步驟2獲得的Imin的前height/3行（其中 height為圖像高度）做半徑為height/30的最小值濾波。目的在于去除明亮細(xì)節(jié)，減少非 大氣光的白色明亮物體干擾。在濾波后前height/3行找出最亮像素點(diǎn)，將原圖對(duì)應(yīng)位置取 RGB三通道中的最大值作為當(dāng)前幀估計(jì)的大氣光值& ;
[0014] 步驟4,滑動(dòng)平均求得大氣光值A(chǔ) :在霧天視頻處理過程中，A值的波動(dòng)可能會(huì)造成 復(fù)原結(jié)果出現(xiàn)明暗跳變現(xiàn)象，影響視覺效果。為使A值變化平穩(wěn)，采用滑動(dòng)平均的方法，將 當(dāng)前幀估計(jì)的大氣光值&與前7幀圖像估計(jì)的大氣光值求平均得到當(dāng)前幀的最終大氣光 值A(chǔ)。
[0015] 步驟5,初步估計(jì)透射率圖

【權(quán)利要求】
1. 一種實(shí)時(shí)視頻去霧算法，包括以下步驟： 步驟1，圖像獲?。和ㄟ^成像設(shè)備獲得一幀霧天圖像I; 步驟2,求最小通道圖Imin :將步驟1獲取的圖像在RGB顏色空間，對(duì)每個(gè)像素點(diǎn)求取 RGB分量的最小值，獲得最小通道圖Imin ; 步驟3,估計(jì)當(dāng)前巾貞大氣光值A(chǔ)。：對(duì)步驟2獲得的Imin的前height/3行（其中height 為圖像高度）做半徑為height/30的最小值濾波。目的在于去除明亮細(xì)節(jié)，減少非大氣光 的白色明亮物體干擾。在濾波后前height/3行找出最亮像素點(diǎn)，將原圖對(duì)應(yīng)位置取RGB三 通道中的最大值作為當(dāng)前幀估計(jì)的大氣光值慫； 步驟4,滑動(dòng)平均求得大氣光值A(chǔ) :在霧天視頻處理過程中，A值的波動(dòng)可能會(huì)造成復(fù)原 結(jié)果出現(xiàn)明暗跳變現(xiàn)象，影響視覺效果。為使A值變化平穩(wěn)，采用滑動(dòng)平均的方法，將當(dāng)前 幀估計(jì)的大氣光值&與前7幀圖像估計(jì)的大氣光值求平均得到當(dāng)前幀的最終大氣光值A(chǔ)。 步驟5,初步估計(jì)透射率圖?(X):由最小通道圖Imin可得到初步估計(jì)的透射率圖?(X); 步驟6，下采樣透射率?:為減少處理時(shí)間，先將?下采樣得到?,使得的寬 高分別為原圖寬高的1/4; 步驟7,導(dǎo)向?yàn)V波優(yōu)化下采樣透射率?:用3X3的方形結(jié)構(gòu)元素 b對(duì)做形態(tài)學(xué) 開運(yùn)算，得到?*pen(X)，以？*pen(xM乍為導(dǎo)向?yàn)V波的輸入圖，匕00作為導(dǎo)向圖，進(jìn)行導(dǎo)向?yàn)V波 以平滑區(qū)域內(nèi)部，同時(shí)達(dá)到保持邊緣的目的，經(jīng)導(dǎo)向?yàn)V波后，得到優(yōu)化后的下采樣透射率 td(x); 步驟8,上采樣td(x)得到最終透射率圖t(x):采用線性插值的方式，得到原來尺寸的 優(yōu)化后透射率圖t(x); 步驟9,白色區(qū)域的修正：由于天空等白色區(qū)域不滿足暗原色先驗(yàn)規(guī)律，這些區(qū)域的透 射率被低估，需要進(jìn)行修正，得到修正后的透射率圖t' (X); 步驟10,初步復(fù)原無霧圖像J :將估計(jì)出的最終大氣光值A(chǔ)和透射率圖t' (X)帶入大 氣散射模型，獲得初步去霧圖像； 步驟11，自適應(yīng)亮度調(diào)整：對(duì)初步去霧后的圖像J各像素點(diǎn)RGB三通道做同比例增強(qiáng)， 以保持物體顏色，得到最終的復(fù)原圖像。
2. 根據(jù)權(quán)利要求1所述的實(shí)時(shí)視頻去霧算法，其特征在于，步驟3和步驟4中大氣光值 的估計(jì)簡(jiǎn)單有效，且視頻處理考慮幀間連續(xù)性。通過與前若干幀估計(jì)的大氣光值求取平均 得到當(dāng)前參與運(yùn)算的大氣光值A(chǔ)，較好解決了因 A值波動(dòng)造成的視頻明暗跳變現(xiàn)象。
3. 根據(jù)權(quán)利要求1所述的實(shí)時(shí)視頻去霧算法，其特征在于，步驟6為實(shí)時(shí)處理更高分辨 率的圖像，改善透射率的部分采用了下采樣的方法以提高速度，且去霧質(zhì)量無明顯下降。
4. 根據(jù)權(quán)利要求1所述的實(shí)時(shí)視頻去霧算法，其特征在于，步驟9中由于暗原色先驗(yàn)不 適用于天空等大面積白色區(qū)域，提出一種簡(jiǎn)單有效的方法來修正這種情況。首先計(jì)算每個(gè) 像素點(diǎn)RGB三通道與大氣光值A(chǔ)距離的最大值，記為Λ_(χ)。公式表示為：
若像素點(diǎn)三個(gè)通道強(qiáng)度值都靠近Α，即Λ_(χ) <D(D為常量），則認(rèn)為該區(qū)域是天空 等亮區(qū)。并對(duì)該點(diǎn)的透射率t(x)進(jìn)行如下修正：
若 Ux) >D，無需修正，t' (x) =t(x)。
5.根據(jù)權(quán)利要求1所述的實(shí)時(shí)視頻去霧算法，其特征在于，步驟11針對(duì)去霧后圖像存 在的偏暗問題，對(duì)初步去霧后的圖像各像素點(diǎn)RGB三通道做同比例增強(qiáng)，以保持物體顏色， 采用公式如下：
其中，
Ravg，Gavg，Bavg分別為輸入圖像三通道R，G，B的均值。
為輸入圖像每個(gè)像素點(diǎn)取三通道最大值，并將該點(diǎn)增強(qiáng)的比例限制在270/Jmax(x)以 下，以保持顏色，這也在一定程度上減少了對(duì)亮區(qū)過增強(qiáng)而造成的細(xì)節(jié)丟失。這里分子取 270而不是255,相當(dāng)于增加了一定裕量，目的是使原本就相似的像素在提升亮度后更趨近 于一致，減少噪聲。
【文檔編號(hào)】H04N5/21GK104253930SQ201410153491
【公開日】2014年12月31日 申請(qǐng)日期:2014年4月10日 優(yōu)先權(quán)日:2014年4月10日
【發(fā)明者】張紅英, 刁揚(yáng)桀, 吳亞東, 陳萌 申請(qǐng)人:西南科技大學(xué)