一種基于對數(shù)圖像處理的視頻雨滴檢測與去除方法
【專利摘要】本發(fā)明公開了一種基于對數(shù)圖像處理的視頻雨滴檢測與去除方法，所述方法包括：S1、根據(jù)對數(shù)變換原理，將入射光強度映射到灰色調(diào)空間；S2、進行灰色調(diào)約束，在灰色調(diào)空間進行非線性的變換，并設(shè)定灰色調(diào)閾值，通過檢測前后三幀圖像的灰色調(diào)值檢測當(dāng)前幀像素點是否為雨滴；S3、若是，則將該像素點列入雨滴像素；若否，則將該像素點列入背靜像素；S4、對雨滴像素利用幀差法進行雨滴去除，得到去雨像素。本發(fā)明對數(shù)圖像處理更加符合圖像物理特性以及人眼視覺感知規(guī)律，雨滴檢測效果更好；將雨滴去除后的圖像使用對數(shù)變換進行增強，對于低灰度值部分的圖像質(zhì)量改進較為明顯。
【專利說明】一種基于對數(shù)圖像處理的視頻雨滴檢測與去除方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺【技術(shù)領(lǐng)域】，尤其涉及一種基于對數(shù)圖像處理的視頻雨滴檢 測與去除方法。

【背景技術(shù)】
[0002] 本發(fā)明主要用于計算機視覺中的圖像恢復(fù)，戶外視覺系統(tǒng)廣泛應(yīng)用于軍事國防、 醫(yī)療技術(shù)、智能交通、工業(yè)控制等領(lǐng)域，與我們的生活聯(lián)系也越來越密切。但是惡劣天氣嚴(yán) 重影響了戶外視覺系統(tǒng)的性能，所以對視頻圖像進行預(yù)處理，消除各種天氣因素的影響，對 于一個全天候的戶外視覺系統(tǒng)來說是必不可少的。雨滴由于其復(fù)雜的光學(xué)、物理等特性對 于雨天所攝取的視頻質(zhì)量造成很大的影響，去雨技術(shù)不僅可以恢復(fù)被雨滴影響的視頻圖 像，而且有利于圖像的進一步處理，包括基于圖像的目標(biāo)檢測、識別、追蹤、分割和監(jiān)控等技 術(shù)的性能提高。視頻圖像去雨技術(shù)已經(jīng)成為計算機視覺領(lǐng)域不可缺少的關(guān)鍵性技術(shù)。
[0003] 近些年來有關(guān)視頻圖像中雨滴檢測與去除的研究越來越廣泛。Starik等2003年 最早提出中值法進行去雨，作者認(rèn)為在視頻圖像序列中，雨滴對像素的影響只存在于少數(shù) 幾幀中，故可直接對視頻幀進行平均就可以得到不受雨滴影響的原圖像。這種方法簡單 快捷，但是只在雨勢不大的情況下才能獲得較為理想的效果。Garg和Nayar最先建立雨 滴模型（K. Garg and S. K. Nayar, "Detection and removal of rain from videos,，' in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , Jun. 2004, vol. I, pp. 528 - 535),而 后提出 了檢測和去除的方法（K. Garg and S.K. Nayar, "Photorealistic rendering of rain Streaks1^ACM Trans. Graph. , vol. 25, no. 3, pp. 996 - 1002, Jul. 2006 ；K. Garg and S. K. Nayar, "Vision and rain, Int. J. Comput. Vis. , vol. 75, no. I, pp. 3 - 27, Oct. 2007) 文中研究了雨的動力學(xué)和光學(xué)特性，提出一種幀差法進行雨滴檢測，利用前后幀圖像信息 進行雨滴去除的方法。通過擬合同一雨滴中的像素在受雨滴影響前后的亮度差值與背 景亮度的線性比值辨別是否為雨滴，但雨滴通常面積較小，擬合易受噪聲干擾，同時該方 法還需已知攝像曝光時間。2006年Zhang等人（Zhang X P，Li H，Qi Y Y，Leow W K，Ng T K. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conference on Multimedia and Expo. Toronto, Canada: IEEE, 2006. 461丨464)提出K-means聚類的方法檢測雨滴，并加入了雨滴 的色彩特性來減少檢測的誤差，實驗效果較好，但是在整個視頻利用聚類的方法辨別雨滴 和背景，計算效率不高，不能進行實時的處理。2007年Barnum等人（Barnum P C, Narasimhan S G,Kanade T.Analysis of rain and snow in frequency space.Internatio-nal Journal of Computer Vision, 2010, 86(2 i 3) :256 丨 274)基于全局模型獲取雨雪典型的 頻域特征，對降雨視頻序列做三維傅里葉變換，在頻域消除雨滴，再反變換至視頻圖像，但 是這種方法要求雨雪有較高的下降速度，適用范圍受限。2008年Brewer N等假設(shè)已知曝光 時間、焦距等參數(shù)的前提下，提出利用雨的物理特征，如雨線長寬比、雨滴面積等來實現(xiàn)雨 滴的檢測（Brewer N，Liu N J. Using the shape characteristics of rain to identify and remove rain from video.In:Proceeding of the 2008Joint IAPR International Workshop on Structural, Syntactic, and Statistical Pattern Recognition. Berlin, H ei_delberg: Springer-Verlag，2008, 5342:451 ? 458)，但是由于噪聲的影響，會對雨線長寬 比等參數(shù)造成干擾，從而導(dǎo)致無法準(zhǔn)確的進行雨滴檢測。
[0004] 之后出現(xiàn)了基于單幅圖像去雨的方法，基于單幅圖像去雨算法是其中一種較 為新穎的算法，不僅可以對單幅圖像進行去雨，也可應(yīng)用到視頻去雨當(dāng)中，所以使用范 圍更廣。Yu-Hsiang Fu 等(Fu Y Hj Kang L Wj Lin C Wj et al. Single-frame-based rain removal via image decomposition. In:Proceeding of 2011IEEE Internatio nal Conference on Acoustics,Speech and Signal Processing (ICASSP). Prague，Czech:IEEE Press，2011:1453-1456.)和 Li-Wei Kang 等（Kang L W，Lin C W，F(xiàn)u Y H. Automatic single-image-based rain streaks removal via image decomposition. Image Processing，IEEE Transactions on，2012,21 (4) :1742-1755.)提出 了使用 圖像分解的方法進行單幅圖像去雨；De-An Huang等（Huang D A，Kang L W，Yang M C，et al. Context-aware single image rain removal. In:Proceeding of2012IEEE International Conference on Multimedia and Expo (ICME). Melbourne, Australia:IEEE Press，2012:164-169.)提出了 通過情景感知去雨；Jaina George 等（George Jj Bhavani Sj Jaya J. Certain explorations on removal of rain streaks using morphological component analysis. International Journal of Engineering Research&Technology. 2013, 2(2).)提出使用形態(tài)學(xué)成分分析的方法進行去雨；Duan-Yu Chen 等(Chen D Yj Chen C Cj Kang L W. Visual depth guided image rain streaks removal via sparse coding. ImProceeding of2012International Symposium on Intelligent Signal Processing and Communications Systems. New Taipei，Taiwan:IEE E，2012:151-156.)通過引導(dǎo)濾波和稀疏編碼進行去雨。
[0005] 然而現(xiàn)有技術(shù)具有以下缺點：
[0006] 采用實數(shù)運算法則，不符合人眼視覺感知規(guī)律和圖像物理性質(zhì)；
[0007] 對于圖像較暗部分的處理較差，對比度不明顯。
[0008] 因此，針對上述技術(shù)問題，有必要提供一種基于對數(shù)圖像處理的視頻雨滴檢測與 去除方法。


【發(fā)明內(nèi)容】

[0009] 有鑒于此，本發(fā)明的目的在于提供了一種基于對數(shù)圖像處理的視頻雨滴檢測與去 除方法，將在傳統(tǒng)模型下基于灰度的輸入圖像轉(zhuǎn)換為基于灰色調(diào)的圖像，建立灰色調(diào)約束 條件，更能凸顯雨滴信息。
[0010] 為了達到上述目的，本發(fā)明實施例提供的技術(shù)方案如下：
[0011] 一種基于對數(shù)圖像處理的視頻雨滴檢測與去除方法，所述方法包括：
[0012] S1、根據(jù)對數(shù)變換原理，將入射光強度映射到灰色調(diào)空間；
[0013] S2、進行灰色調(diào)約束，在灰色調(diào)空間進行非線性的變換，并設(shè)定灰色調(diào)閾值，通過 檢測前后三幀圖像的灰色調(diào)值檢測當(dāng)前幀像素點是否為雨滴；
[0014] S3、若是，則將該像素點列入雨滴像素；若否，則將該像素點列入背靜像素；
[0015] S4、對雨滴像素利用幀差法進行雨滴去除，得到去雨像素。
[0016] 作為本發(fā)明的進一步改進，所述步驟Sl中將入射光強度映射到灰色調(diào)空間的映 射函數(shù)為：

【權(quán)利要求】
1. 一種基于對數(shù)圖像處理的視頻雨滴檢測與去除方法，其特征在于，所述方法包括： 51、 根據(jù)對數(shù)變換原理，將入射光強度映射到灰色調(diào)空間； 52、 進行灰色調(diào)約束，在灰色調(diào)空間進行非線性的變換，并設(shè)定灰色調(diào)閾值，通過檢測 前后三幀圖像的灰色調(diào)值檢測當(dāng)前幀像素點是否為雨滴； 53、 若是，則將該像素點列入雨滴像素；若否，則將該像素點列入背靜像素； 54、 對雨滴像素利用幀差法進行雨滴去除，得到去雨像素。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟Sl中將入射光強度映射到灰色 調(diào)空間的映射函數(shù)為：
其中，f(x，y)為灰色調(diào)函數(shù)，F(xiàn)(x，y)為入射光強度，F(xiàn)maxS人眼視覺系統(tǒng)的飽和度值。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述映射函數(shù)f(x，y)的計算規(guī)則為：
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述灰色調(diào)空間E與實數(shù)空間R是同構(gòu) 的，映射關(guān)系為：
5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟S2中當(dāng)前幀像素點為雨滴像素 的檢測條件為： 4. K < 4+1 ;且 !/,0/, I^Tj, 其中，fn_i，fn，fn+1為連續(xù)三幀圖像的灰色調(diào)值，Tf為灰色調(diào)閾值。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4后還包括：再次進行對數(shù)圖 像處理，增強圖像對比度。
【文檔編號】G06T7/00GK104361561SQ201410568756
【公開日】2015年2月18日 申請日期:2014年10月22日 優(yōu)先權(quán)日:2014年10月22日
【發(fā)明者】朱青松, 惠利可, 王磊 申請人:中國科學(xué)院深圳先進技術(shù)研究院