基于頻域及相位一致性的單幅圖像去除雨滴影響的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于頻域及相位一致性的單幅圖像 去除雨滴影響的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 戶外計算機視覺系統(tǒng)由于擁有包括自動性、智能性、高效性等諸多優(yōu)點被廣泛使 用在軍事國防、醫(yī)療技術(shù)、智能交通等領(lǐng)域。但是惡劣天氣會嚴(yán)重影響其性能，甚至導(dǎo)致其 完全失效。所以消除惡劣天氣影響的有效方法，對于一個全天候的戶外視覺系統(tǒng)來說必不 可少。在諸多惡劣天氣情況中，雨由于擁有較大粒子（雨滴）半徑及其他復(fù)雜物理特性，會 對視覺系統(tǒng)所攝取的圖像的質(zhì)量造成較大程度的影響。圖像雨滴去除技術(shù)通過使用雨的物 理、頻率等特性，對圖像中的雨滴進行識別、去除。其不僅能夠顯著提升圖像質(zhì)量，還有利于 圖像的進一步處理。因此，圖像雨滴去除技術(shù)已經(jīng)成為計算機視覺領(lǐng)域不可缺少的關(guān)鍵性 技術(shù)。
[0003] 近些年來關(guān)于圖像中雨滴檢測與去除的研究已然成為熱點。Starik等在2003年 最早提出了時域均值的雨滴去除策略，作者認(rèn)為在視頻圖像序列中，雨滴對像素的影響只 存在于少數(shù)幾幀中，故可直接對視頻幀進行平均就可以得到去除了雨的影響的原圖像。遺 憾的是，他們并沒有對方法進行試驗驗證。Garg和Nayar最早使用了雨的動態(tài)及光度特性 (K. Garg and S. K. Nayar, "Detection and removal of rain from videos, '，in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.，Jun. 2004, vol. 1，pp. 528 - 535)，分別建立了 兩種模型，并基于這兩個模型提出了檢測和去除雨的方法。對于雨的動態(tài)模型，其表明了 雨在其下落方向具有時域相關(guān)性；對于光度模型，其分為靜態(tài)雨及動態(tài)雨模型。對于靜態(tài) 雨滴，其亮度顯著高于其覆蓋的背景；對于動態(tài)雨滴（雨線），其亮度由靜態(tài)雨滴亮度、背 景亮度及相機曝光時間決定。之后，作者提出了一種使用幀差法進行雨滴初檢，使用兩種 特性進行誤檢去除，并最終利用前后幀圖像信息進行雨滴去除的方法。雖然此方法性能較 好，但其對于嚴(yán)重失焦（遠處）的雨、明亮背景上的雨及雨勢變化無法處理。2006年Zhang 等人（Zhang X P, Li H, Qi Y Y, Leow ff K, Ng T Κ. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conferenceon Multimedia and Expo. Toronto, Canada: IEEE, 2006. 461 J 464)使用了雨 的時域分布及色彩特性。由于雨的時域分布直方圖顯示兩個峰（分別代表雨滴亮度及背 景亮度），且近似構(gòu)成高斯混合模型，故非監(jiān)督學(xué)習(xí)方法一一K-means聚類能夠有效地對 之進行分離。之后，作者發(fā)現(xiàn)被雨滴影響像素的幀間RGB值的變化基本相同，故誤檢能夠 進一步被去除。此方法實驗效果較好，但是在整個視頻利用聚類的方法辨別雨滴和背景， 計算效率不高，不能進行實時的處理。2007年Barnum等人（Barnum P C, Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space. Internatio-nal Journal of Computer Vision, 2010, 86(2丨3) :256丨274)注意到之前的多數(shù)方法嚴(yán)重依賴于清晰雨 線的提取，而雨線由于會造成重復(fù)的模式，在頻域中對雨進行分析是合理的。作者建立高斯 模型來近似雨的影響，并通過求在三維傅里葉變換中的模型所占比例進行雨滴檢測，進而 通過迭代去雨，最后反變換至視頻圖像。實驗結(jié)果表明此種方法擁有較好的處理性能，但此 方法的時間復(fù)雜度過高，且對于不顯眼的雨及雨勢變化的處理，其會出現(xiàn)顯著性能下降。
[0004] 由于使用雨的頻率特性能夠在特定情況下顯著提升算法去雨性能，且在僅處理單 幅圖像（即無時域信息）時，頻率特性能夠發(fā)揮更大的作用。Yu-Hsiang Fu等（Fu Y H, Kang L Wj Lin C Wj et al.Single-frame-based rain removal via imagedecomposition. IniProceeding of 2011IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) · Prague, Czech:IEEE Press，2011:1453-1456.)首先提 出了基于MCA(形態(tài)學(xué)成分分析）及圖像分解的單幅圖像去雨算法，作者首先使用雙邊 濾波將圖像分為高頻及低頻部分，之后進行字典學(xué)習(xí)，并通過將雨部分字典系數(shù)設(shè)置為 0得到去雨圖像，由于此方法存在字典選擇非自動性的缺點；Li-Wei Kang等（Kang L Wj Lin C Wj Fu Y H. Automatic single-image-based rain streaks removalvia image decomposition. Image Processing,IEEE Transactions on，2012, 21 (4):1742-1755.)提 出了一種基于自學(xué)習(xí)的自動改進算法。之后，De-An Huang等（Huang D A, Kang L W, Yang M C，et al.Context-aware single image rain removal. In:Proceeding of 2012 IEEE International Conference on Multimedia and Expo (ICME). Melbourne, Australia:IEE EPress, 2012:164-169.)提出了基于上下文感知的單幅圖像去雨算法，此方法僅需要單幅 圖像進行學(xué)習(xí)工作，故可以大幅減少算法所需時間；而Duan-Yu Chen等（Chen D Y, Chen C C,Kang L ff. Visual depth guided image rain streaks removal via sparse coding. In!Proceeding of2012 International Symposium on Intelligent Signal Processing and Communications Systems. NewTaipei, Taiwan: IEEE, 2012:151-156.)引入了 DoD(深度 差異）的概念，深度差異能夠衡量圖像的局部相關(guān)性信息，故能夠為單幅圖像去雨提供幫 助，同時，他們使用引導(dǎo)濾波替代原先使用的雙邊濾波因為其擁有更好的性能。以上的基于 單幅圖像的去雨方法，多僅能處理灰度圖像，且方法所需時間較長，處理特定單幅圖像的時 間在IOOs以上），同時輸出圖像會出現(xiàn)一定程度上的模糊。

【發(fā)明內(nèi)容】

[0005] 有鑒于此，有必要提供一種算法簡單、圖像雨滴去除效果好的基于頻域及相位一 致性的單幅圖像去除雨滴影響的方法。
[0006] 為實現(xiàn)上述目的，本發(fā)明采用下述技術(shù)方案：
[0007] -種基于頻域及相位一致性的單幅圖像去除雨滴影響的方法，包括下述步驟：
[0008] 步驟SllO :對待去除雨滴圖像進行頻域分析，以確定雨線方向；
[0009] 步驟S120 :根據(jù)雨線方向，使用相位一致性特征檢測算法，獲取雨線特征圖；
[0010] 步驟S130 :將待去除雨滴圖像與所述雨線特征圖相減，得到去除雨滴后的圖像。
[001