視頻數(shù)據(jù)中雨場(chǎng)去除的方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及圖像處理領(lǐng)域，提供了一種視頻數(shù)據(jù)中雨場(chǎng)去除的方法和系統(tǒng)，其方法包括：提取初始視頻數(shù)據(jù)中代表亮度信息的視頻圖像數(shù)據(jù)；提取所述視頻圖像數(shù)據(jù)中待處理的像素；判斷所述像素在多幀圖像中對(duì)應(yīng)亮度值的偏度是否落入預(yù)設(shè)范圍，若否，則統(tǒng)計(jì)所述偏度大于所述預(yù)設(shè)范圍上限的像素個(gè)數(shù)，當(dāng)該像素個(gè)數(shù)超過第一預(yù)定值時(shí)，則基于運(yùn)動(dòng)分割的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除；若是，則計(jì)算表征雨勢(shì)大小的參數(shù)值，依據(jù)所述參數(shù)值的大小選擇不同的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除。本發(fā)明可以處理彩色視頻數(shù)據(jù)，通過在去雨處理前對(duì)視頻進(jìn)行判斷選擇合適的雨滴去除方法。
【專利說明】視頻數(shù)據(jù)中雨場(chǎng)去除的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，特別是涉及一種視頻數(shù)據(jù)中雨場(chǎng)去除的方法和系統(tǒng)。

【背景技術(shù)】
[0002] 由于計(jì)算機(jī)視覺技術(shù)的發(fā)展，人們對(duì)信息處理有著越來越高的要求，而且如今隨 著信息高速公路的建設(shè)和互聯(lián)網(wǎng)的廣泛使用以及人們獲取信息的方式的智能化，圖像信息 就顯得非常重要了。人類獲取信息的途徑主要是通過圖像和語音，其中視覺信息占據(jù)了大 約70%以上，所以圖像的傳遞和處理技術(shù)的發(fā)展對(duì)智能交通、科學(xué)研究、軍事國防、安全監(jiān) 控等領(lǐng)域都起著越來越重要的作用。由于計(jì)算機(jī)視覺系統(tǒng)在戶外的日益普及，惡劣天氣下 雨場(chǎng)對(duì)圖像成像有很大的影響，會(huì)造成圖像成像模糊和信息覆蓋，其直接結(jié)果是視頻圖像 的清晰度下降，視頻圖像的數(shù)字化處理也會(huì)受此影響而性能下降，所以，惡劣天氣下圖像處 理的研究就顯得越來越重要，成功地消除雨場(chǎng)等惡劣天氣對(duì)捕獲的圖像的影響將會(huì)帶來更 大的實(shí)用價(jià)值。
[0003] 有關(guān)視頻圖像中雨滴特性的研究已受到國際學(xué)術(shù)界的廣泛關(guān)注，去雨算法的研 究也從 2003 年 Starik 等（Starik S，Werman M. Simulation of rain in videos[C]// Proceeding of Texture Workshop, ICCV.Nice，F(xiàn)rance:2003, 2:406-409)提出的中值法開 始得到了迅速的發(fā)展，逐步的提出了幀差法等等方法，這些處理方法也逐漸開始應(yīng)用在視 頻圖像中雨滴檢測(cè)與去除的算法中，雨滴去除的效果也逐漸被提高。而在眾多的視頻去雨 算法中，利用幀間亮度差進(jìn)行雨滴檢測(cè)與去除是相當(dāng)普遍的情況，其具體原理是基于圖1 所示的模型
[0004] 如圖1所示，被覆蓋像素的亮度不僅受雨滴影響，也會(huì)受背景的影響?？紤]相機(jī)曝 光時(shí)間為T，假設(shè)雨滴在這段時(shí)間內(nèi)覆蓋某一像素的時(shí)間是τ，且τ遠(yuǎn)小于相機(jī)曝光時(shí)間 Τ。圖像上該像素在曝光時(shí)間Τ內(nèi)的雨線亮度由雨滴和背景亮度共同決定 ：
[0005]

【權(quán)利要求】
1. 一種視頻數(shù)據(jù)中雨場(chǎng)去除的方法，其特征在于，所述方法包括： 提取初始視頻數(shù)據(jù)中代表亮度信息的視頻圖像數(shù)據(jù)； 提取所述視頻圖像數(shù)據(jù)中待處理的像素； 判斷所述像素在多幀圖像中對(duì)應(yīng)亮度值的偏度是否落入預(yù)設(shè)范圍，若否，則統(tǒng)計(jì)所述 偏度大于所述預(yù)設(shè)范圍上限的像素個(gè)數(shù)，當(dāng)該像素個(gè)數(shù)超過第一預(yù)定值時(shí)，則基于運(yùn)動(dòng)分 割的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除； 若是，則計(jì)算表征雨勢(shì)大小的參數(shù)值，依據(jù)所述參數(shù)值的大小選擇不同的方法對(duì)所述 視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除。
2. 根據(jù)權(quán)利要求1所述的視頻數(shù)據(jù)中雨場(chǎng)去除的方法，其特征在于，所述計(jì)算表征雨 勢(shì)大小的參數(shù)值、依據(jù)所述參數(shù)值的大小選擇不同的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn) 行去除的步驟包括： 計(jì)算所有像素在所述多幀圖像中聚類得到的雨滴像素個(gè)數(shù)的平均值除以所述多幀圖 像的幀數(shù)，獲得表征雨勢(shì)大小的參數(shù)值； 判斷所述參數(shù)值與第二預(yù)定值的大小，當(dāng)所述參數(shù)值大于所述第二預(yù)定值時(shí)，基于K 均值聚類的方法或采用引導(dǎo)濾波器的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除；當(dāng)所述 參數(shù)值小于所述第二預(yù)定值時(shí)，基于幀間亮度差的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行 去除。
3. 根據(jù)權(quán)利要求1所述的視頻數(shù)據(jù)中雨場(chǎng)去除的方法，其特征在于，所述提取初始視 頻數(shù)據(jù)中代表亮度信息的視頻圖像數(shù)據(jù)的步驟包括： 將RGB色彩空間的初始視頻數(shù)據(jù)轉(zhuǎn)換成YIQ色彩空間或YUV彩色空間中的視頻數(shù)據(jù)， 并提取代表亮度信息的Y分量，作為所述視頻圖像數(shù)據(jù)。
4. 根據(jù)權(quán)利要求3所述的視頻數(shù)據(jù)中雨場(chǎng)去除的方法，其特征在于，所述方法還包括： 針對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除后獲得去雨的Y分量，將所述去雨的Y分量和所 述初始視頻數(shù)據(jù)轉(zhuǎn)化到Y(jié)IQ色彩空間或YUV彩色空間中所獲得的另外兩個(gè)分量進(jìn)行結(jié)合， 將所述結(jié)合后的結(jié)果轉(zhuǎn)換成RGB色彩空間或或YUV彩色空間的視頻數(shù)據(jù)，獲得去雨后的彩 色視頻數(shù)據(jù)。
5. 根據(jù)權(quán)利要求2所述的視頻數(shù)據(jù)中雨場(chǎng)去除的方法，其特征在于，所述獲得表征雨 勢(shì)大小的參數(shù)值的步驟包括： 計(jì)算落入所述預(yù)設(shè)范圍內(nèi)的像素亮度的最大值和最小值； 以所述最大值和最小值作為K均值聚類方法的初始雨滴亮度值和背景亮度值，基于K 均值聚類方法將所述落入所述預(yù)設(shè)范圍內(nèi)的像素在所述多幀圖像中進(jìn)行聚類，分為雨滴像 素和背景像素； 保存所述雨滴像素及該雨滴像素所在的幀圖像位置標(biāo)注，獲得代表雨滴的像素聚類； 計(jì)算所述代表雨滴的像素聚類中雨滴像素的平均值，并除以所述多幀圖像的幀數(shù)，獲 得代表雨勢(shì)大小的參數(shù)值。
6. -種視頻數(shù)據(jù)中雨場(chǎng)去除的系統(tǒng)，其特征在于，所述系統(tǒng)包括： 數(shù)據(jù)提取模塊，用于提取初始視頻數(shù)據(jù)中代表亮度信息的視頻圖像數(shù)據(jù)； 像素提取模塊，用于提取所述視頻圖像數(shù)據(jù)中待處理的像素； 第一判斷模塊，用于判斷所述像素在多幀圖像中對(duì)應(yīng)亮度值的偏度是否落入預(yù)設(shè)范 圍； 運(yùn)動(dòng)分割處理模塊，用于統(tǒng)計(jì)所述偏度大于所述預(yù)設(shè)范圍上限的像素個(gè)數(shù)，當(dāng)該像素 個(gè)數(shù)超過第一預(yù)定值時(shí)，則基于運(yùn)動(dòng)分割的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除； 及 第二判斷模塊，用于計(jì)算表征雨勢(shì)大小的參數(shù)值，依據(jù)所述參數(shù)值的大小選擇不同的 方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除。
7. 根據(jù)權(quán)利要求6所述的視頻數(shù)據(jù)中雨場(chǎng)去除的系統(tǒng)，其特征在于，所述第二判斷模 塊包括： 雨滴檢測(cè)單元，用于計(jì)算所有像素在所述多幀圖像中聚類得到的雨滴像素個(gè)數(shù)的平均 值除以所述多幀圖像的幀數(shù)，獲得表征雨勢(shì)大小的參數(shù)值； 判斷單元，用于判斷所述參數(shù)值與第二預(yù)定值的大??； 聚類處理單元，用于當(dāng)所述參數(shù)值大于所述第二預(yù)定值時(shí)，基于K均值聚類的方法或 采用引導(dǎo)濾波器的方法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除；及 幀間亮度差處理單元，用于當(dāng)所述參數(shù)值小于所述第二預(yù)定值，基于幀間亮度差的方 法對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除。
8. 根據(jù)權(quán)利要求6所述的視頻數(shù)據(jù)中雨場(chǎng)去除的系統(tǒng)，其特征在于，所述數(shù)據(jù)提取模 塊包括： 圖像數(shù)據(jù)轉(zhuǎn)換單元，用于將RGB色彩空間的初始視頻數(shù)據(jù)轉(zhuǎn)換成YIQ色彩空間或YUV 彩色空間中的視頻數(shù)據(jù)；及 Y分量提取單元，用于提取代表亮度信息的Y分量，作為所述視頻圖像數(shù)據(jù)。
9. 根據(jù)權(quán)利要求8所述的視頻數(shù)據(jù)中雨場(chǎng)去除的系統(tǒng)，其特征在于，所述系統(tǒng)還包括： 匯集模塊，用于針對(duì)所述視頻圖像數(shù)據(jù)中的雨滴進(jìn)行去除后獲得去雨的Y分量，將所 述去雨的Y分量和所述初始視頻數(shù)據(jù)轉(zhuǎn)化到Y(jié)IQ色彩空間或YUV彩色空間中所獲得的另外 兩個(gè)分量進(jìn)行結(jié)合；及 輸出模塊，用于將所述結(jié)合后的結(jié)果轉(zhuǎn)換成RGB色彩空間或YUV彩色空間的視頻數(shù)據(jù)， 獲得去雨后的彩色視頻數(shù)據(jù)。
10. 根據(jù)權(quán)利要求7所述的視頻數(shù)據(jù)中雨場(chǎng)去除的系統(tǒng)，其特征在于，所述雨滴檢測(cè)單 元包括： 評(píng)估單元，用于計(jì)算落入所述預(yù)設(shè)范圍內(nèi)的像素亮度的最大值和最小值； 聚類分析單元，用于以所述最大值和最小值作為K均值聚類方法的初始雨滴亮度值和 背景亮度值，基于K均值聚類方法將所述落入所述預(yù)設(shè)范圍內(nèi)的像素在所述多幀圖像中進(jìn) 行聚類，分為雨滴像素和背景像素； 存儲(chǔ)單元，用于保存所述雨滴像素及該雨滴像素所在的幀圖像位置標(biāo)注，獲得代表雨 滴的像素聚類；及 計(jì)算單元，用于計(jì)算所述代表雨滴的像素聚類中雨滴像素的平均值，并除以所述多幀 圖像的幀數(shù)，獲得代表雨勢(shì)大小的參數(shù)值。
【文檔編號(hào)】G06T5/00GK104299234SQ201410527783
【公開日】2015年1月21日 申請(qǐng)日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】朱青松, 徐波, 王磊 申請(qǐng)人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院