基于單幅圖像的去除圖像雨線的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理技術(shù)，特別是涉及一種基于單幅圖像的去除圖像雨線的 方法和系統(tǒng)。
【背景技術(shù)】
[0002] 由于擁有包括自動性、智能性、高效性等諸多優(yōu)點(diǎn)，戶外計(jì)算機(jī)視覺系統(tǒng)被廣泛使 用在軍事國防、醫(yī)療技術(shù)、智能交通等領(lǐng)域。但是惡劣天氣會嚴(yán)重影響其性能，甚至導(dǎo)致其 完全失效。所以消除惡劣天氣影響的有效方法，對于一個(gè)全天候的戶外視覺系統(tǒng)來說必不 可少。在諸多惡劣天氣情況中，雨由于擁有較大粒子（雨滴）半徑及其他復(fù)雜物理特性，會 對視覺系統(tǒng)所攝取的圖像的質(zhì)量造成較大程度的影響。圖像雨滴去除技術(shù)通過使用雨的物 理、頻率等特性，對圖像中的雨滴進(jìn)行識別、去除。其不僅能夠顯著提升圖像質(zhì)量，還有利于 圖像的進(jìn)一步處理。因此，圖像雨滴去除技術(shù)已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域不可缺少的關(guān)鍵性 技術(shù)。
[0003] 近些年來關(guān)于圖像中雨滴檢測與去除的研究已然成為熱點(diǎn)。Starik等在2003年 最早提出了時(shí)域均值的雨滴去除策略，作者認(rèn)為在視頻圖像序列中，雨滴對像素的影響只 存在于少數(shù)幾幀中，故可直接對視頻幀進(jìn)行平均就可以得到去除了雨的影響的原圖像。遺 憾的是，他們并沒有對方法進(jìn)行試驗(yàn)驗(yàn)證。Garg和Nayar最早使用了雨的動態(tài)及光度特性 (K. Garg and S. K. Nayar, "Detection and removal of rain from videos,，' in Proc. IEEE Conf. Comput. Vis. Pattern Recognit.，Jun. 2004, vol. 1，pp. 528 - 535)，分別建立了 兩種模型，并基于這兩個(gè)模型提出了檢測和去除雨的方法。對于雨的動態(tài)模型，其表明了雨 在其下落方向具有時(shí)域相關(guān)性；對于光度模型，其分為靜態(tài)雨及動態(tài)雨模型。對于靜態(tài)雨 滴，其亮度顯著高于其覆蓋的背景；對于動態(tài)雨滴（雨線），其亮度由靜態(tài)雨滴亮度、背景亮 度及相機(jī)曝光時(shí)間決定。之后，作者提出了一種使用幀差法進(jìn)行雨滴初檢，使用兩種特性 進(jìn)行誤檢去除，并最終利用前后幀圖像信息進(jìn)行雨滴去除的方法。雖然此方法性能較好， 但其對于嚴(yán)重失焦（遠(yuǎn)處）的雨、明亮背景上的雨及雨勢變化無法處理。2006年Zhang等 人（Zhang X P, Li H, Qi Y Y, Leow W K, Ng T Κ. Rain removal in video by combining temporal and chromatic properties. In:Proceedings of the 2006International Conferenceon Multimedia and Expo. Toronto, Canada: IEEE, 2006. 461 ：464)使用了雨 的時(shí)域分布及色彩特性。由于雨的時(shí)域分布直方圖顯示兩個(gè)峰（分別代表雨滴亮度及背 景亮度），且近似構(gòu)成高斯混合模型，故非監(jiān)督學(xué)習(xí)方法--K-means聚類能夠有效地對 之進(jìn)行分離。之后，作者發(fā)現(xiàn)被雨滴影響像素的幀間RGB值的變化基本相同，故誤檢能夠 進(jìn)一步被去除。此方法實(shí)驗(yàn)效果較好，但是在整個(gè)視頻利用聚類的方法辨別雨滴和背景， 計(jì)算效率不高，不能進(jìn)行實(shí)時(shí)的處理。2007年Barnum等人（Barnum P C, Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space. Internatio-nal Journal of Computer Vision, 2010, 86 (2 :3) :256 :274)注意到之前的多數(shù)方法嚴(yán)重依賴于清晰雨 線的提取，而雨線由于會造成重復(fù)的模式，在頻域中對雨進(jìn)行分析是合理的。作者建立高斯 模型來近似雨的影響，并通過求在三維傅里葉變換中的模型所占比例進(jìn)行雨滴檢測，進(jìn)而 通過迭代去雨，最后反變換至視頻圖像。實(shí)驗(yàn)結(jié)果表明此種方法擁有較好的處理性能，但此 方法的時(shí)間復(fù)雜度過高，且對于不顯眼的雨及雨勢變化的處理，其會出現(xiàn)顯著性能下降。
[0004] 以上的基于單幅圖像的去雨方法，多僅能處理灰度圖像，且方法所需時(shí)間較長，例 如最新的優(yōu)化算法（Chen等的方法），處理特定單幅圖像的時(shí)間在IOOs以上，同時(shí)輸出圖像 會出現(xiàn)一定程度上的模糊。
[0005] 基于現(xiàn)有技術(shù)中單幅圖像雨滴去除技術(shù)的時(shí)間復(fù)雜度過高，不利于方法的推廣的 缺點(diǎn)，有待進(jìn)一步地提1?圖像中的雨滴去除技術(shù)。

【發(fā)明內(nèi)容】

[0006] 基于此，有必要針對現(xiàn)有技術(shù)中存在的問題，提供一種基于單幅圖像的去除圖像 雨線的方法和系統(tǒng)，其可快速去除圖像中雨滴的影響，提高了圖像處理速度。
[0007] -種基于單幅圖像的去除圖像雨線的方法，其包括：
[0008] 基于設(shè)定的局部圖像窗口提取待處理圖像中的像素灰度值；
[0009] 計(jì)算位于所述局部圖像窗口內(nèi)圖像塊對應(yīng)的圖像局部熵；
[0010] 提取所述圖像局部熵大于或大于等于預(yù)設(shè)值的圖像塊，形成第一中間圖像；
[0011] 識別所述待處理圖像中圖像元素的邊緣，利用圖像形態(tài)學(xué)操作對所述邊緣內(nèi)的圖 像區(qū)域進(jìn)行處理，獲得第二中間圖像；
[0012] 取所述第一中間圖像和第二中間圖像的交集，獲得去除所述待處理圖像中雨線部 分的輪廓圖；
[0013] 將所述輪廓圖經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)化處理后得到的圖像、與所述待處理圖像取交集，獲 得雨線去除后的結(jié)果圖像。
[0014] 在其中一個(gè)實(shí)施例中，所述方法還包括：
[0015] 利用各向擴(kuò)散異性濾波處理所述結(jié)果圖像。
[0016] 在其中一個(gè)實(shí)施例中，所述計(jì)算位于所述局部圖像窗口內(nèi)圖像塊對應(yīng)的圖像局部 熵的過程包括以下步驟：
[0017] 計(jì)算所述局部圖像窗口內(nèi)圖像塊中每個(gè)像素的灰度值與所述圖像塊內(nèi)所有像素 的灰度值之和的比值；
[0018] 調(diào)用下述公式（1)計(jì)算所述圖像塊對應(yīng)的圖像局部熵，
【主權(quán)項(xiàng)】
1. 一種基于單幅圖像的去除圖像雨線的方法，其包括： 基于設(shè)定的局部圖像窗口提取待處理圖像中的像素灰度值； 計(jì)算位于所述局部圖像窗口內(nèi)圖像塊對應(yīng)的圖像局部賭； 提取所述圖像局部賭大于或大于等于預(yù)設(shè)值的圖像塊，形成第一中間圖像； 識別所述待處理圖像中圖像元素的邊緣，利用圖像形態(tài)學(xué)操作對所述邊緣內(nèi)的圖像區(qū) 域進(jìn)行處理，獲得第二中間圖像； 取所述第一中間圖像和第二中間圖像的交集，獲得去除所述待處理圖像中雨線部分的 輪廓圖； 將所述輪廓圖經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)化處理后得到的圖像、與所述待處理圖像取交集，獲得雨 線去除后的結(jié)果圖像。
2. 根據(jù)權(quán)利要求1所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述方 法還包括： 利用各向擴(kuò)散異性濾波處理所述結(jié)果圖像。
3. 根據(jù)權(quán)利要求1所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述計(jì) 算位于所述局部圖像窗口內(nèi)圖像塊對應(yīng)的圖像局部賭的過程包括W下步驟： 計(jì)算所述局部圖像窗口內(nèi)圖像塊中每個(gè)像素的灰度值與所述圖像塊內(nèi)所有像素的灰 度值之和的比值； 調(diào)用下述公式（1)計(jì)算所述圖像塊對應(yīng)的圖像局部賭，
(1) 其中，Pi表示所述比值，H表示所述圖像塊對應(yīng)的圖像局部賭，n表示所述局部圖像窗 口內(nèi)像素的個(gè)數(shù)。
4. 根據(jù)權(quán)利要求1所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述提 取所述圖像局部賭大于或大于等于預(yù)設(shè)值的圖像塊形成第一中間圖像的過程包括： 判斷所述圖像塊對應(yīng)的圖像局部賭是否大于或大于等于預(yù)設(shè)值，若是則將該圖像塊內(nèi) 所有像素的灰度值賦值為1，若否則將該圖像塊內(nèi)所有像素的灰度值賦值為0,用W形成所 述第一中間圖像。
5. 根據(jù)權(quán)利要求1所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述識 別所述待處理圖像中圖像元素的邊緣的過程中，基于圖像灰度采用普里維特算子對圖像進(jìn) 行邊緣檢測。
6. 根據(jù)權(quán)利要求1所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述利 用圖像形態(tài)學(xué)操作對所述邊緣內(nèi)的圖像區(qū)域進(jìn)行處理的過程包括：基于開運(yùn)算操作對所述 邊緣的連通圖像區(qū)域進(jìn)行孔洞填充及圖像優(yōu)化處理。
7. 根據(jù)權(quán)利要求1所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述方 法中取兩個(gè)圖像交集的方式是將所述兩個(gè)圖像相乘。
8. 根據(jù)權(quán)利要求2所述的基于單幅圖像的去除圖像雨線的方法，其特征在于，所述通 過各向擴(kuò)散異性濾波處理所述結(jié)果圖像的過程包括： 構(gòu)建基于圖像濾波技術(shù)的非線性熱擴(kuò)散方程，在所述非線性熱擴(kuò)散方程中引入圖像灰
度特征； W所述結(jié)果圖像為輸入圖像，基于預(yù)設(shè)的擴(kuò)散系數(shù)求解所述非線性熱擴(kuò)散方程，獲得 處理后的圖像數(shù)據(jù)。
9. 一種基于單幅圖像的去除圖像雨線的系統(tǒng)，其特征在于，所述系統(tǒng)包括： 提取模塊，用于基于設(shè)定的局部圖像窗口提取待處理圖像中的像素灰度值； 計(jì)算模塊，用于計(jì)算位于所述局部圖像窗口內(nèi)圖像塊對應(yīng)的圖像局部賭； 分離模塊，用于提取所述圖像局部賭大于或大于等于預(yù)設(shè)值的圖像塊，形成第一中間 圖像； 識別模塊，用于識別所述待處理圖像中圖像元素的邊緣，利用圖像形態(tài)學(xué)操作對所述 邊緣內(nèi)的圖像區(qū)域進(jìn)行處理，獲得第二中間圖像； 第一運(yùn)算模塊，用于取所述第一中間圖像和第二中間圖像的交集，獲得去除所述待處 理圖像中雨線部分的輪廓圖；及 第二運(yùn)算模塊，用于將所述輪廓圖經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)化處理后得到的圖像、與所述待處理 圖像取交集，獲得雨線去除后的結(jié)果圖像。
10. 根據(jù)權(quán)利要求9所述的基于單幅圖像的去除圖像雨線的系統(tǒng)，其特征在于，所述系 統(tǒng)還包括： 濾波模塊，用于利用各向擴(kuò)散異性濾波處理所述結(jié)果圖像。
【專利摘要】本發(fā)明提供了一種基于單幅圖像的去除圖像雨線的方法和系統(tǒng)，其方法包括：基于設(shè)定的局部圖像窗口提取待處理圖像中的像素灰度值；計(jì)算位于所述局部圖像窗口內(nèi)圖像塊對應(yīng)的圖像局部熵；提取所述圖像局部熵大于或大于等于預(yù)設(shè)值的圖像塊，形成第一中間圖像；識別所述待處理圖像中圖像元素的邊緣，利用圖像形態(tài)學(xué)操作對所述邊緣內(nèi)的圖像區(qū)域進(jìn)行處理，獲得第二中間圖像；取所述第一中間圖像和第二中間圖像的交集，獲得去除所述待處理圖像中雨線部分的輪廓圖；將上述輪廓圖經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)化處理后得到的圖像、與上述待處理圖像取交集，獲得雨線去除后的結(jié)果圖像。本發(fā)明可快速去除圖像中雨滴的影響，提高了圖像處理速度。
【IPC分類】G06T5-20
【公開號】CN104599256
【申請?zhí)枴緾N201410855197
【發(fā)明人】朱青松, 袁杰, 王磊
【申請人】中國科學(xué)院深圳先進(jìn)技術(shù)研究院
【公開日】2015年5月6日
【申請日】2014年12月31日