小雨場景視頻數(shù)據(jù)中雨滴的檢測與去除方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種小雨場景視頻數(shù)據(jù)中雨滴的檢測與去除方法和系統(tǒng)，其雨滴檢測方法為抽取初始彩色視頻圖像中待處理的像素；判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果；通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果。本發(fā)明的雨滴檢測和去除方法及系統(tǒng)通過在小雨場景中可以利用兩幀間的亮度差進(jìn)行雨滴初檢，再利用色彩特性進(jìn)行約束排除非雨成分，檢測出真實(shí)的雨滴，最后去雨恢復(fù)視頻，提高雨滴檢測的正確率并降低漏檢率，提高視頻恢復(fù)的質(zhì)量。
【專利說明】小雨場景視頻數(shù)據(jù)中雨滴的檢測與去除方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)，特別是涉及一種小雨場景視頻數(shù)據(jù)中雨滴的檢測與去除方法和系統(tǒng)。

【背景技術(shù)】
[0002]由于計(jì)算機(jī)視覺技術(shù)的發(fā)展，人們對信息處理有著越來越高的要求，而且如今隨著信息高速公路的建設(shè)和互聯(lián)網(wǎng)的廣泛使用以及人們獲取信息的方式的智能化，圖像信息就顯得非常重要了。人類獲取信息的途徑主要是通過圖像和語音，其中視覺信息占據(jù)了大約70%以上，所以圖像的傳遞和處理技術(shù)的發(fā)展對智能交通、科學(xué)研究、軍事國防、安全監(jiān)控等領(lǐng)域都起著越來越重要的作用。由于計(jì)算機(jī)視覺系統(tǒng)在戶外的日益普及，惡劣天氣下雨場對圖像成像有很大的影響，會造成圖像成像模糊和信息覆蓋，其直接結(jié)果是視頻圖像的清晰度下降，視頻圖像的數(shù)字化處理也會受此影響而性能下降，所以，惡劣天氣下圖像處理的研究就顯得越來越重要，成功地消除雨場等惡劣天氣對捕獲的圖像的影響將會帶來更大的實(shí)用價(jià)值。
[0003]針對惡劣天氣對視頻圖像造成影響的恢復(fù)中比較常見的就是，對受雨滴污染的視頻圖像進(jìn)行修復(fù)處理的視頻圖像去雨技術(shù)，其有利于圖像的進(jìn)一步處理，包括基于圖像的目標(biāo)檢測、識別、追蹤、分割和監(jiān)控等技術(shù)的性能提高。而且視頻圖像去雨技術(shù)在現(xiàn)代軍事、交通以及安全監(jiān)控等領(lǐng)域都有廣泛的應(yīng)用前景。
[0004]有關(guān)視頻圖像中雨滴特性的研究已受到國際學(xué)術(shù)界的廣泛關(guān)注，去雨算法的研究也從 2003 年 3仏1'認(rèn)等(31IV 3，胃61'腦 II 1.31 皿11社1011 0？ 1-8111 111 ^1(1608^0] //
0？ 16X1:111-610^.^106,: 2003, 2: 406-409)提出的中值法開始得到了迅速的發(fā)展，處理的方法已經(jīng)不再局限于最初簡單的中值計(jì)算，更多的方法已經(jīng)應(yīng)用到視頻去雨。
[0005]現(xiàn)有技術(shù)大部分只利用雨滴的亮度特性或者幾何特性檢測雨滴，在初檢時效果很好，但有些非雨成分去除的不夠徹底，會造成誤檢，如基于引導(dǎo)濾波的視頻去雨算法，就會導(dǎo)致圖像模糊。
[0006]基于上述現(xiàn)有技術(shù)中存在的問題，有必要提供一種新的視頻圖像雨滴檢測與去除方法。


【發(fā)明內(nèi)容】

[0007]基于此，有必要針對現(xiàn)有技術(shù)中只利用雨滴的亮度特性或者幾何特性進(jìn)行雨滴檢測和去除時出現(xiàn)誤檢等情況的問題，提供一種小雨場景視頻數(shù)據(jù)中雨滴的檢測與去除方法和系統(tǒng)。
[0008]本發(fā)明提供了一種小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，其包括:
[0009]抽取初始彩色視頻圖像中待處理的像素；
[0010]判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果；
[0011]通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果。
[0012]在其中一個實(shí)施例中，所述判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍、將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果的過程包括:
[0013]提取所述初始彩色視頻圖像中連續(xù)的三幀圖像；
[0014]判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在前一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍；
[0015]判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在后一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍；
[0016]將同時滿足上述兩個判斷條件的像素納入所述初檢結(jié)果。
[0017]在其中一個實(shí)施例中，所述通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小、對所述初檢結(jié)果進(jìn)行篩選獲得標(biāo)記有雨滴像素的篩選結(jié)果的過程包括:
[0018]執(zhí)行以下兩個判斷步驟中的任意一個或者兩個的組合，對所述初檢結(jié)果進(jìn)行篩選:
[0019]判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值，
[0020]判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值；
[0021]若選擇執(zhí)行上述兩個判斷步驟中的任意一個，則將所述初檢結(jié)果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素；若選擇執(zhí)行上述兩個判斷步驟的組合，則將所述初檢結(jié)果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素。
[0022]在其中一個實(shí)施例中，所述兩通道變化量之間的差值為像素分別對應(yīng)在所述相鄰兩幀圖像中表征一類顏色屬性的單通道的變化量、與該像素分別對應(yīng)在所述相鄰兩幀圖像中表征另一類顏色屬性的單通道的變化量之間差的絕對值。
[0023]在其中一個實(shí)施例中，基于所述單通道為所述初始彩色視頻圖像在如8彩色空間中的卩通道值X通道值和8通道值，則所述涉及所述第一閾值和第二閾值的判斷條件表示為下述公式:
丨仏-仏―！卜
〔0024〕 [(11,,

)-(5,,)1 ?^4
[0025]其中，匕表示第II幀像素點(diǎn)的I？通道值，I表示第11-1幀像素點(diǎn)的尺通道值瓜表示第II幀像素點(diǎn)的6通道值，表示第=-1幀像素點(diǎn)的6通道值；8。表示第II幀像素點(diǎn)的8通道值，表示第0-1幀像素點(diǎn)的8通道值乂表示所述第一閾值而表示所述第二閾值。
[0026]基于上述雨滴檢測方法，本發(fā)明還提供了一種小雨場景視頻數(shù)據(jù)中雨滴的去除方法，其包括:
[0027]上述各個實(shí)施例的小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，獲得標(biāo)記有雨滴像素的篩選結(jié)果；
[0028]對所述篩選結(jié)果中的雨滴像素進(jìn)行雨滴去除處理，獲得恢復(fù)后的彩色視頻圖像。
[0029]在其中一個實(shí)施例中，所述雨滴去除處理采用中值法對所述雨滴像素進(jìn)行處理。
[0030]基于上述雨滴檢測方法，本發(fā)明還提供了一種小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，其包括:
[0031]像素提取模塊，用于抽取初始彩色視頻圖像中待處理的像素；
[0032]初檢模塊，用于判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果；及
[0033]篩選模塊，用于通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果。
[0034]在其中一個實(shí)施例中，所述篩選模塊包括以下兩個單元中的任意一個或者兩個的組合:
[0035]用于執(zhí)行判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值的單元、
[0036]用于判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值；以及
[0037]用于在選擇執(zhí)行上述兩個單元中的任意一個時，執(zhí)行將所述初檢結(jié)果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素的單元；
[0038]用于在選擇執(zhí)行上述兩個單元的組合時，執(zhí)行將所述初檢結(jié)果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素的單元。
[0039]在其中一個實(shí)施例中，所述初檢模塊還包括:
[0040]圖像提取單元，用于提取所述初始彩色視頻圖像中連續(xù)的三幀圖像；
[0041]第一判斷單元，用于判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在前一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍；
[0042]第二判斷單元，用于判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在后一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍；及
[0043]輸出單元，用于將同時滿足所述第一判斷單元和第二判斷單元判斷條件的像素納入所述初檢結(jié)果。
[0044]基于上述檢測系統(tǒng)，本發(fā)明還提供了一種小雨場景視頻數(shù)據(jù)中雨滴的去除系統(tǒng)，其包括:
[0045]上述各個實(shí)施例的小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，獲得標(biāo)記有雨滴像素的篩選結(jié)果 '及
[0046]雨滴去除模塊，用于對所述雨滴像素進(jìn)行雨滴去除處理，獲得恢復(fù)后的彩色視頻圖像。
[0047]本發(fā)明的雨滴檢測和去除方法及系統(tǒng)通過在小雨場景中可以利用兩幀間的亮度差進(jìn)行雨滴初檢，再利用色彩特性進(jìn)行約束排除非雨成分，檢測出真實(shí)的雨滴，最后去雨恢復(fù)視頻，提高雨滴檢測的正確率并降低漏檢率，提高視頻恢復(fù)的質(zhì)量。

【專利附圖】

【附圖說明】
[0048]圖1為本發(fā)明小雨場景視頻數(shù)據(jù)中雨滴的檢測方法的流程示意圖；
[0049]圖2為選擇執(zhí)行步驟301的本發(fā)明雨滴檢測方法的流程示意圖；
[0050]圖3為選擇執(zhí)行步驟302的本發(fā)明雨滴檢測方法的流程示意圖；
[0051]圖4為選擇執(zhí)行步驟301和步驟302的組合的本發(fā)明雨滴檢測方法的流程示意圖；
[0052]圖5為本發(fā)明雨滴檢測方法中細(xì)化步驟200后的流程示意圖；
[0053]圖6為本發(fā)明小雨場景視頻數(shù)據(jù)中雨滴的去除方法的流程示意圖；
[0054]圖7為本發(fā)明小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)700的結(jié)構(gòu)示意圖；
[0055]圖8為本發(fā)明檢測系統(tǒng)700中細(xì)化初檢模塊702的結(jié)構(gòu)示意圖；
[0056]圖9為本發(fā)明小雨場景視頻數(shù)據(jù)中雨滴的去除系統(tǒng)800的結(jié)構(gòu)示意圖；
[0057]圖10為利用圖5獲得的包含雨滴像素的篩選結(jié)果，再利用中值法對檢測出的雨滴像素進(jìn)行處理之后的結(jié)果圖；
[0058]圖11為視頻圖像中雨滴對像素亮度影響的變化曲線及)運(yùn)動物體像素的亮度變化曲線；
[0059]圖12為雨滴覆蓋對像素色彩分量的影響直方圖。

【具體實(shí)施方式】
[0060]本發(fā)明涉及圖像信息處理技術(shù)，主要是對受雨滴污染的視頻圖像進(jìn)行修復(fù)處理有利于圖像的進(jìn)一步處理，提高基于圖像的目標(biāo)檢測、識別、追蹤、分割和監(jiān)控等技術(shù)的性能。以下將結(jié)合各個實(shí)施例詳細(xì)說明本發(fā)明方法和系統(tǒng)的實(shí)現(xiàn)方式。
[0061]如圖1所示，本實(shí)施例提供了一種小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，其包括:
[0062]步驟100，抽取初始彩色視頻圖像中待處理的像素；
[0063]步驟200，判斷上述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入預(yù)設(shè)范圍的像素納入初檢結(jié)果，作為候選雨滴進(jìn)行下一步步驟300的篩選，而對于不滿足判斷條件、未落入預(yù)設(shè)范圍的像素判定為背景像素，不納入初檢結(jié)果。這里的預(yù)設(shè)范圍的上限表示雨滴給像素帶來的最大亮度變化值，下限表示雨滴給像素帶來的最小亮度變化值，具體可參見雨滴覆蓋對像素亮度變化影響的曲線圖來設(shè)定。
[0064]步驟300，通過比較上述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對上述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果，用以檢測雨滴像素。這里設(shè)定閾值表示表征像素顏色屬性的通道值的變化量閾值，由于大氣、光等因素存在，每個像素都會隨著時間有亮度上的變化，但是被雨滴覆蓋后的像素的變化量是近似相等的，因此，通過基于雨滴色彩特性的值與設(shè)定閾值的比較，將非雨的運(yùn)動物體像素從上述初見結(jié)果中排除掉。
[0065]本實(shí)施例中根據(jù)雨滴的亮度特性在小雨場景中利用相鄰兩幀間的亮度差進(jìn)行是否是雨滴像素的初檢，初檢的結(jié)果在有效檢測出雨滴的同時也會將其他非雨滴運(yùn)動物體判斷為疑似雨滴，于是就需要繼續(xù)進(jìn)行下一步的篩選排除非雨成分。進(jìn)一步篩選時，利用雨滴變化的色彩特性進(jìn)行非雨成分的篩選。由于受到了雨滴的影響，對于初檢之后，相鄰幀圖像中像素顏色分量的變化量差異不大，可以近似相等，于是本實(shí)施例通過有關(guān)設(shè)定閾值的判斷比較，將利用雨滴變化的色彩特性對初檢結(jié)果進(jìn)行進(jìn)一步的篩選，從初檢結(jié)果中排除非雨成分，提高本實(shí)施例計(jì)算的精確度，避免現(xiàn)有技術(shù)中雨滴漏檢或誤檢而導(dǎo)致恢復(fù)圖像模糊。
[0066]本實(shí)施例中預(yù)設(shè)范圍可參見圖11中雨滴對像素亮度影響的變化曲線及運(yùn)動物體像素的亮度變化曲線來設(shè)定，基于典型的靜態(tài)場雨滴對像素亮度的影響可知，雨線的亮度高于背景亮度主要是因?yàn)橛甑卧诔上竦臅r候由于鏡面反射、內(nèi)反射、折射等作用匯聚了更廣視場角范圍內(nèi)的光線。但是隨著時間變化，雨滴像素的亮度值在亮度平均值上下的波動范圍較小，這是受運(yùn)動物體影響的像素所不具備的特征。圖11(4表示的是視頻圖像中雨滴像素的亮度變化曲線，而圖11(6)表示的是受運(yùn)動物體像素的亮度變化曲線，能很明顯的看出兩者是有很大差別，所以基于圖11展示的內(nèi)容即可確定上述預(yù)設(shè)范圍，通過預(yù)設(shè)范圍的設(shè)定在初檢中排除受運(yùn)動物體的影響而造成的亮度變化。
[0067]上述實(shí)施例中，步驟300提到的單通道可以為上述初始彩色視頻圖像在彩色空間中的I？通道值、6通道值和8通道值；如果初始彩色視頻圖像是色彩空間中的視頻數(shù)據(jù)，則上述單通道可以是I通道值和0通道值，當(dāng)然如果是其他制式的彩色視頻數(shù)據(jù)，也可以是其他用于表征不同顏色屬性的通道值。上述兩通道變化量之間的差值具體是指:像素分別對應(yīng)在上述相鄰兩幀圖像中表征一類顏色屬性的單通道的變化量、與該像素分別對應(yīng)在上述相鄰兩幀圖像中表征另一類顏色屬性的單通道的變化量之間差的絕對值。如果單通道為上述初始彩色視頻圖像在如8彩色空間中的I？通道值、6通道值和8通道值，則像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量可以表示為1^-1”而兩通道變化量之間的差值可以表示為I1、
1、II，其中，匕表示第II幀像素點(diǎn)的尺通道值，I表示第11-1幀像素點(diǎn)的8通道值表示第II幀像素點(diǎn)的6通道值，表示第11-1幀像素點(diǎn)的6通道值表示第幀像素點(diǎn)的8通道值，8“表示第=-1幀像素點(diǎn)的8通道值。如此設(shè)定變化量的計(jì)算公式，原因是被雨滴覆蓋的像素的1 8變化量是近似相等的，可用以直接進(jìn)行非雨像素的篩選。
[0068]上述實(shí)施例中，步驟200的判斷可以基于從初始彩色視頻圖像中提取的代表亮度信息的視頻圖像，比如模式的彩色視頻數(shù)據(jù)轉(zhuǎn)換到色彩空間后獲得的V分量，或者用灰度圖像表示代表亮度信息的視頻圖像。
[0069]上述實(shí)施例中，步驟100中抽取初始彩色視頻圖像中待處理的像素可以是:
[0070]首先，利用視頻穩(wěn)定技術(shù)對上述視頻圖像進(jìn)行相位對齊；
[0071]然后，提取上述視頻圖像中的前~幀圖像數(shù)據(jù)，利用幀高度和幀寬度值獲得幀的總像素，這里的總像素為幀高度值和幀寬度值的乘積；
[0072]其次，從上述總像素中隨機(jī)抽取1個像素作為上述待處理像素。
[0073]提取的幀數(shù)決定了計(jì)算機(jī)處理時間的長短，為了提高本實(shí)施例方法的處理時間，這里提取前?幀圖像數(shù)據(jù)，比如模式下視頻圖像轉(zhuǎn)化到彩色空間上的V分量數(shù)據(jù)的前?幀圖像作為待處理對象，從而提高了方法處理的實(shí)時性，縮短了處理周期。在讀入被雨滴污染的初始視頻數(shù)據(jù)時可以采用111511:15113的函數(shù)，其中1111111138即為視頻總幀數(shù)3，在獲取幀高度和幀寬度值時通過調(diào)用8126函數(shù)來獲得。
[0074]基于上述實(shí)施例，如圖2至圖4所示，本實(shí)施例的方法中步驟300通過比較像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小、對上述初檢結(jié)果進(jìn)行篩選獲得標(biāo)記有雨滴像素的篩選結(jié)果的過程包括以下步驟:
[0075]執(zhí)行以下步驟301和302兩個判斷步驟中的任意一個或者兩個的組合，對上述初檢結(jié)果進(jìn)行篩選:
[0076]步驟301，判斷上述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值，
[0077]步驟302，判斷上述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值；
[0078]步驟303，若選擇執(zhí)行上述兩個判斷步驟中的任意一個，如圖2(其執(zhí)行步驟301)或圖3(其執(zhí)行步驟302)所示，則將上述初檢結(jié)果中滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為雨滴像素，進(jìn)行標(biāo)記，而將不滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為非雨運(yùn)動物體像素，從上述初檢結(jié)果中排除；
[0079]若選擇執(zhí)行上述兩個判斷步驟的組合，如圖4所示，則將上述初檢結(jié)果中同時滿足上述涉及上述第一閾值和第二閾值判斷條件的像素列為雨滴像素，進(jìn)行標(biāo)記，而將不滿足上述涉及上述第一閾值和第二閾值判斷條件中任意一個判斷條件的像素列為非雨運(yùn)動物體像素，從上述初檢結(jié)果中排除。
[0080]本實(shí)施例中的相鄰兩幀圖像優(yōu)選當(dāng)前幀圖像與前一幀圖像，具體實(shí)施可參見下述有關(guān)公式⑴或⑵的說明。
[0081]如果單通道為I？通道值、通道值和8通道值，則步驟301中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量的判斷條件可以表示為以下公式(1)所示。
[0082]公式⑴
、丨見-5,,…
[0083]其中，匕表示第!1幀像素點(diǎn)的I？通道值，I表示第11-1幀像素點(diǎn)的尺通道值瓜表示第II幀像素點(diǎn)的6通道值，表示第=-1幀像素點(diǎn)的6通道值表示第II幀像素點(diǎn)的8通道值，表示第0-1幀像素點(diǎn)的8通道值乂表示上述第一閾值，用于表征通道變化閾值，由于大氣光等因素存在，每個像素都會隨著時間有亮度上的變化，設(shè)定閾值用于區(qū)分。如果采用其他彩色空間的表征顏色屬性的單通道可以參照上述公式(1)設(shè)置單通道的變化量。上述實(shí)施例中，上述第一閾值的設(shè)定可以依據(jù)雨滴覆蓋對像素色彩分量影響的直方圖獲得，由于大氣、光等因素的存在，每個像素都會隨著時間有亮度上的變化，第一閾值的設(shè)定必須排除這類情況。
[0084]如果單通道為上述初始彩色視頻圖像在彩色空間中的I？通道值、通道值和8通道值；則上述步驟302中兩通道變化量之間的差值的判斷條件可以表示為以下公式(2)所示。
[0085]|權(quán)-)-隊(duì)-3“) ?公式⑵
11(^ - 5,,,,,)1^^4
[0086]其中，匕表示第!1幀像素點(diǎn)的I？通道值，I表示第11-1幀像素點(diǎn)的尺通道值瓜表示第II幀像素點(diǎn)的6通道值，表示第=-1幀像素點(diǎn)的6通道值；8。表示第II幀像素點(diǎn)的8通道值，表示第0-1幀像素點(diǎn)的8通道值而表示上述第二閾值，表征通道值變化量的閾值，由于大氣光和像素8、6、8通道本身的特性，厶1厶(}和厶8并不嚴(yán)格相等，所以設(shè)定閾值4可以保證厶1厶6和厶8近似相等。這樣上述公式(1)和(2)疊加的約束條件可以有效的將雨滴和非雨運(yùn)動物體區(qū)分開來，從而篩選掉候選雨滴中的非雨成分。如果采用其他彩色空間的表征顏色屬性的單通道可以參照上述公式(2)設(shè)置上述兩通道變化量之間的差值。
[0087]由于受雨滴影響的像素在三個顏色通道上的變化量取決于它的背景顏色。因?yàn)槌撷侨獾牟ㄩL并不相同，所以相應(yīng)的折射角有細(xì)微差別，但是三原色的雨滴可視角都在165度附近。當(dāng)背景的顏色，即分量的大小和比例不相同時，三個顏色分量的變化量八1八6和八8也有相應(yīng)的微小差別，如圖12所示，圖12(4列中被白色邊界圍出的區(qū)域?yàn)檫M(jìn)行顏色分析的區(qū)域，(^)列是被分析區(qū)域像素的平均如8值，(0)列代表像素受雨滴影響時的顏色分量的平均變化量八和八8，三者的大小與圖12(6)列展示的平均如8值相關(guān)。從上圖12可以發(fā)現(xiàn)像素受雨滴影響時各個顏色分量的變化量差異不大，可以近似為相等。于是基于圖12的直方圖可以設(shè)定上述第一閾值和第二閾值，檢測雨滴像素，用于排除初檢結(jié)果中非雨成分。
[0088]基于上述各個實(shí)施例，如圖5所示，本實(shí)施例中的步驟200判斷像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍、將落入預(yù)設(shè)范圍的像素納入初檢結(jié)果的過程包括:
[0089]步驟201，提取上述初始彩色視頻圖像中連續(xù)的三幀圖像；
[0090]步驟202，判斷上述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在前一幀圖像中的亮度值之間的差值是否落入上述預(yù)設(shè)范圍；
[0091]步驟203，判斷上述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在后一幀圖像中的亮度值之間的差值是否落入上述預(yù)設(shè)范圍；
[0092]步驟204，將同時滿足上述步驟202和步驟203兩個判斷條件的像素納入上述初檢結(jié)果，而將不滿足上述步驟202和步驟203中任意一個判斷條件的像素列為背景像素。
[0093]本實(shí)施例中基于以下原理實(shí)現(xiàn)。由于有雨滴的覆蓋，像素點(diǎn)的亮度會有變化，根據(jù)這一特性可對雨滴進(jìn)行初檢，而且是在小雨場景中，所以基本不會出現(xiàn)連續(xù)兩幀被雨滴覆蓋的情況。所以獲得初檢結(jié)果的原理表現(xiàn)為以下公式(3):
[0094]公式⑶
[0095]其中，I。代表該像素在第II幀的亮度代表該像素在第11-1幀的亮度；1#代表該像素在第=+1幀的亮度4表示為雨滴給像素帶來的最小亮度變化值，即上述預(yù)設(shè)范圍的下限值表示為雨滴給像素帶來的最大亮度變化值，即上述預(yù)設(shè)范圍的上限值。由于在不同的時間，大氣光或者其它反射光線會造成像素細(xì)微的變化，所以不一定等于利用公式(3)式可以有效的檢測出雨滴，同時也會將其它非雨滴運(yùn)動物體判斷為疑是雨滴，故將其總稱為候選雨滴，納入上述初檢結(jié)果。
[0096]圖5給出了本發(fā)明的最優(yōu)實(shí)施例，其包括從上述步驟100、步驟201至204以及步驟300中選擇執(zhí)行步驟301和步驟302組合的方法過程，其完整的最優(yōu)化的呈現(xiàn)了本發(fā)明小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，提供了相比現(xiàn)有技術(shù)，雨滴檢測精度更高、誤檢率低的檢測方法。
[0097]基于上述各個實(shí)施提供的小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，如圖6所示，本實(shí)施例還提供一種小雨場景視頻數(shù)據(jù)中雨滴的去除方法，具體包括:
[0098]上述小雨場景視頻數(shù)據(jù)中雨滴檢測方法的步驟，用以形成包含雨滴像素的篩選結(jié)果，雨滴檢測方法的步驟包括以下步驟100至步驟300:
[0099]步驟100，抽取初始彩色視頻圖像中待處理的像素；
[0100]步驟200，判斷上述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入預(yù)設(shè)范圍的像素納入初檢結(jié)果，作為候選雨滴進(jìn)行下一步步驟300的篩選，而對于不滿足判斷條件、未落入預(yù)設(shè)范圍的像素判定為背景像素，不納入初檢結(jié)果。這里的預(yù)設(shè)范圍的上限表示雨滴給像素帶來的最大亮度變化值，下限表示雨滴給像素帶來的最小亮度變化值，具體可參見雨滴覆蓋對像素亮度變化影響的曲線圖來設(shè)定。
[0101]步驟300，通過比較上述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對上述初檢結(jié)果進(jìn)行篩選，檢測雨滴像素，獲得標(biāo)記有雨滴像素的篩選結(jié)果。這里設(shè)定閾值表示表征像素顏色屬性的通道值的變化量閾值，由于大氣、光等因素存在，每個像素都會隨著時間有亮度上的變化，因此，通過基于雨滴色彩特性與設(shè)定閾值的比較，將非雨的運(yùn)動物體像素從上述初見結(jié)果中排除掉。
[0102]步驟400，對上述篩選結(jié)果中的雨滴像素進(jìn)行雨滴去除處理，獲得恢復(fù)后的彩色視頻圖像。
[0103]上述步驟400中的雨滴去除處理采用中值法對上述雨滴檢測結(jié)果中的像素進(jìn)行處理，即針對雨滴檢測結(jié)果中的像素，用前后兩幀未被雨滴覆蓋像素的平均值來替代該像素。具體原理參見以下述公式(4)的相關(guān)說明。
[0104]由于是在小雨場景的情況下，所以雨滴基本不會在連續(xù)兩幀上出現(xiàn)，利用這一假設(shè)可以利用中值法對被雨滴影響的像素進(jìn)行恢復(fù)。雨滴的恢復(fù)下述公式(4):
[0105]-6^=(0^+6^)/2公式⑷
5,=(5,^+^)/2
[0106]其中，^為檢測出來的雨滴像素的I？通道值，恢復(fù)的時候用前后巾貞未被雨滴覆蓋像素的I？通道的平均值進(jìn)行恢復(fù)V#為該像素對應(yīng)于第11+1幀圖像中未被雨滴覆蓋像素的尺通道值為該像素對應(yīng)于第11-1幀圖像中未被雨滴覆蓋像素的8通道值。I為檢測出來的雨滴像素的6通道值，恢復(fù)的時候用前后幀未被雨滴覆蓋像素的6通道的平均值進(jìn)行恢復(fù)；6#為該像素對應(yīng)于第11+1巾貞圖像中未被雨滴覆蓋像素的I？通道值:(^-1為該像素對應(yīng)于第11-1幀圖像中未被雨滴覆蓋像素的I？通道值。8。為檢測出來的雨滴像素的8通道值，恢復(fù)的時候用前后幀未被雨滴覆蓋像素的8通道的平均值進(jìn)行恢復(fù)；8#為該像素對應(yīng)于第11+1幀圖像中未被雨滴覆蓋像素的I？通道值出㈠為該像素對應(yīng)于第11-1幀圖像中未被雨滴覆蓋像素的I？通道值。
[0107]本實(shí)施例基于圖6所提供的小雨場景視頻數(shù)據(jù)中雨滴的去除方法中，步驟300通過比較像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小、對上述初檢結(jié)果進(jìn)行篩選獲得標(biāo)記有雨滴像素的篩選結(jié)果的過程包括上述有關(guān)圖2至圖4的步驟301、302、303的執(zhí)行方式，具體解釋為步驟300包括:
[0108]執(zhí)行以下步驟301和302兩個判斷步驟中的任意一個或者兩個的組合，對上述初檢結(jié)果進(jìn)行篩選:
[0109]步驟301，判斷上述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值，
[0110]步驟302，判斷上述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值；
[0111]步驟303，若選擇執(zhí)行上述兩個判斷步驟中的任意一個，如圖2 (其執(zhí)行步驟301)或圖3(其執(zhí)行步驟302)所示，則將上述初檢結(jié)果中滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為雨滴像素，進(jìn)行標(biāo)記，而將不滿足上述涉及上述第一閾值或第二閾值判斷條件的像素列為非雨運(yùn)動物體像素，從上述初檢結(jié)果中排除；若選擇執(zhí)行上述兩個判斷步驟的組合，如圖4所示，則將上述初檢結(jié)果中同時滿足上述涉及上述第一閾值和第二閾值判斷條件的像素列為雨滴像素，進(jìn)行標(biāo)記，而將不滿足上述涉及上述第一閾值和第二閾值判斷條件中任意一個判斷條件的像素列為非雨運(yùn)動物體像素，從上述初檢結(jié)果中排除。本實(shí)施例中的相鄰兩幀圖像優(yōu)選當(dāng)前幀圖像與前一幀圖像，具體實(shí)施可參見上述有關(guān)公式⑴或⑵的說明。
[0112]上述各個實(shí)施例中有關(guān)步驟200的實(shí)現(xiàn)的最優(yōu)實(shí)施例(參照上述有關(guān)圖5的解釋說明)以及上述各個步驟中具體細(xì)節(jié)的解釋說明請參照上述有關(guān)小雨場景視頻數(shù)據(jù)中雨滴的檢測方法中的相關(guān)說明，在此不作累述。
[0113]基于上述有關(guān)小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，如圖7所示，本實(shí)施例提供了一種小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)700，其包括:
[0114]像素提取模塊701，用于抽取初始彩色視頻圖像中待處理的像素；
[0115]初檢模塊702，用于判斷該像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入預(yù)設(shè)范圍的像素納入初檢結(jié)果 '及
[0116]篩選模塊703，用于通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果。
[0117]基于圖7所示的系統(tǒng)結(jié)構(gòu)和上述圖2至圖4的雨滴檢測方法，上述篩選模塊703包括以下兩個單元中的任意一個或者兩個的組合:
[0118]用于執(zhí)行判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值的單元、
[0119]用于執(zhí)行判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值的單元；以及
[0120]用于在選擇執(zhí)行上述兩個單元中的任意一個時，執(zhí)行將所述初檢結(jié)果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素的單元；
[0121]用于在選擇執(zhí)行上述兩個單元的組合時，執(zhí)行將所述初檢結(jié)果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素的單元。本實(shí)施例中有關(guān)篩選模塊703內(nèi)部功能單元的具體實(shí)現(xiàn)方式參見上述有關(guān)圖2至圖4的詳細(xì)說明，在此不作累述。
[0122]基于圖7所示的系統(tǒng)結(jié)構(gòu)，如圖8所示,上述初檢模塊702包括:
[0123]圖像提取單元712，用于提取上述初始彩色視頻圖像中連續(xù)的三幀圖像；
[0124]第一判斷單元722，用于判斷上述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在前一幀圖像中的亮度值之間的差值是否落入上述預(yù)設(shè)范圍；
[0125]第二判斷單元732，用于判斷上述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在后一幀圖像中的亮度值之間的差值是否落入上述預(yù)設(shè)范圍；及
[0126]輸出單元742，用于將同時滿足上述第一判斷單元722和第二判斷單元732判斷條件的像素納入上述初檢結(jié)果。
[0127]上述各個實(shí)施例中有關(guān)系統(tǒng)中各個功能模塊或單元中的具體細(xì)節(jié)的解釋說明請參照上述有關(guān)小雨場景視頻數(shù)據(jù)中雨滴的檢測方法中的說明，在此不作累述。
[0128]基于上述圖7至圖8的小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，如圖9所示，本實(shí)施例還提供了一種小雨場景視頻數(shù)據(jù)中雨滴的去除系統(tǒng)800，其包括:
[0129]上述有關(guān)小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)700的功能模塊，獲得標(biāo)記有雨滴像素的篩選結(jié)果，雨滴檢測系統(tǒng)700的功能模塊包括以下模塊701至模塊703 ；
[0130]像素提取模塊701，用于抽取初始彩色視頻圖像中待處理的像素；
[0131]初檢模塊702，用于判斷該像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入預(yù)設(shè)范圍的像素納入初檢結(jié)果；
[0132]篩選模塊703，用于通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選；和
[0133]雨滴去除模塊801，用于對上述篩選結(jié)果中的雨滴像素進(jìn)行雨滴去除處理，獲得恢復(fù)后的彩色視頻圖像。這里雨滴去除模塊801采用上述中值法去除雨滴對像素的影響。
[0134]基于圖9所示的系統(tǒng)結(jié)構(gòu)，其中有關(guān)小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)700的結(jié)構(gòu)及內(nèi)部功能模塊的細(xì)化，比如初檢模塊702和篩選模塊703，均可以參見上述關(guān)于圖7以及圖8和結(jié)合圖2至圖4的相關(guān)說明，在此不作累述。
[0135]上述各個實(shí)施例中有關(guān)各個步驟或者系統(tǒng)中各個功能模塊或單元中的具體細(xì)節(jié)的解釋說明請參照上述有關(guān)小雨場景視頻數(shù)據(jù)中雨滴的檢測方法中的說明，在此不作累述。
[0136]圖5給出了本發(fā)明的最優(yōu)實(shí)施例，其包括從上述步驟100、步驟201至204以及步驟300中選擇執(zhí)行步驟301和步驟302組合的方法過程，其完整的最優(yōu)化的呈現(xiàn)了本發(fā)明小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，根據(jù)圖5獲得的包含雨滴像素的篩選結(jié)果，在利用中值法對檢測出的雨滴像素進(jìn)行處理，即用前后幀非雨像素的平均值代替來進(jìn)行視頻恢復(fù)。在1社1處中編程可以實(shí)現(xiàn)利用圖5流程和中值法去除雨滴的小雨場景視頻數(shù)據(jù)中雨滴的去除方法，證明可行。結(jié)果請見圖10，分別取值三個不同場景的視頻截圖，第一行圖為動態(tài)場景，有汽車運(yùn)動，第二行和第三行為靜態(tài)場景圖。從左邊開始向右，第一列仏)為原圖，第二列化)為雨滴初檢結(jié)果的二值圖像，第三列(0)為非雨成分篩選之后的二值圖像，第四列((1)為去雨之后的圖像。
[0137]與現(xiàn)有技術(shù)相比，本發(fā)明方法和系統(tǒng)步驟簡潔、系統(tǒng)簡單，方法的處理時間和空間復(fù)雜度低，處理速度快，實(shí)時性好。本發(fā)明在小雨場景中利用幀間亮度差和色彩特性能有效地檢測出雨滴，檢測的正確率高，誤檢率低，對視頻造成的二次損害小。本發(fā)明可高效地處理小雨情況下的靜態(tài)場景和動態(tài)場景，處理范圍廣，適用性高。
[0138]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲在一個非易失性計(jì)算機(jī)可讀存儲介質(zhì)(如如1、磁碟、光盤)中，包括若干指令用以使得一臺終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述的方法。
[0139]以上上述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【權(quán)利要求】
1.一種小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，其特征在于，所述方法包括: 抽取初始彩色視頻圖像中待處理的像素； 判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果； 通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果。
2.根據(jù)權(quán)利要求1所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，其特征在于，所述判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍、將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果的過程包括: 提取所述初始彩色視頻圖像中連續(xù)的三幀圖像； 判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在前一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍； 判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在后一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍； 將同時滿足上述兩個判斷條件的像素納入所述初檢結(jié)果。
3.根據(jù)權(quán)利要求1所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，其特征在于，所述通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小、對所述初檢結(jié)果進(jìn)行篩選獲得標(biāo)記有雨滴像素的篩選結(jié)果的過程包括: 執(zhí)行以下兩個判斷步驟中的任意一個或者兩個的組合，對所述初檢結(jié)果進(jìn)行篩選:判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值， 判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值； 若選擇執(zhí)行上述兩個判斷步驟中的任意一個，則將所述初檢結(jié)果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素；若選擇執(zhí)行上述兩個判斷步驟的組合，則將所述初檢結(jié)果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素。
4.根據(jù)權(quán)利要求3所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，其特征在于，所述兩通道變化量之間的差值為像素分別對應(yīng)在所述相鄰兩幀圖像中表征一類顏色屬性的單通道的變化量、與該像素分別對應(yīng)在所述相鄰兩幀圖像中表征另一類顏色屬性的單通道的變化量之間差的絕對值。
5.一種小雨場景視頻數(shù)據(jù)中雨滴的去除方法，其特征在于，所述方法包括: 權(quán)利要求1至4所述任意一權(quán)利要求所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測方法，獲得標(biāo)記有雨滴像素的篩選結(jié)果； 對所述篩選結(jié)果中的雨滴像素進(jìn)行雨滴去除處理，獲得恢復(fù)后的彩色視頻圖像。
6.根據(jù)權(quán)利要求5所述的小雨場景視頻數(shù)據(jù)中雨滴的去除方法，其特征在于，所述雨滴去除處理采用中值法對所述雨滴像素進(jìn)行處理。
7.一種小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，其特征在于，所述系統(tǒng)包括: 像素提取模塊，用于抽取初始彩色視頻圖像中待處理的像素； 初檢模塊，用于判斷所述像素對應(yīng)在相鄰兩幀圖像中的亮度差是否落入預(yù)設(shè)范圍，將落入所述預(yù)設(shè)范圍的像素納入初檢結(jié)果；及 篩選模塊，用于通過比較所述像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量和/或兩通道變化量之間的差值與設(shè)定閾值的大小，對所述初檢結(jié)果進(jìn)行篩選，獲得標(biāo)記有雨滴像素的篩選結(jié)果。
8.根據(jù)權(quán)利要求7所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，其特征在于，所述篩選模塊包括以下兩個單元中的任意一個或者兩個的組合: 用于執(zhí)行判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征顏色屬性的單通道的變化量是否大于第一閾值的單元、 用于執(zhí)行判斷所述初檢結(jié)果中像素分別對應(yīng)在相鄰兩幀圖像中表征不同顏色屬性的兩通道變化量之間的差值是否小于第二閾值的單元；以及 用于在選擇執(zhí)行上述兩個單元中的任意一個時，執(zhí)行將所述初檢結(jié)果中滿足上述涉及所述第一閾值或第二閾值判斷條件的像素列為雨滴像素的單元； 用于在選擇執(zhí)行上述兩個單元的組合時，執(zhí)行將所述初檢結(jié)果中同時滿足上述涉及所述第一閾值和第二閾值判斷條件的像素列為雨滴像素的單元。
9.根據(jù)權(quán)利要求7所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，其特征在于，所述初檢模塊還包括: 圖像提取單元，用于提取所述初始彩色視頻圖像中連續(xù)的三幀圖像； 第一判斷單元，用于判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在前一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍； 第二判斷單元，用于判斷所述像素對應(yīng)在當(dāng)前幀圖像中的亮度值與該像素對應(yīng)在后一幀圖像中的亮度值之間的差值是否落入所述預(yù)設(shè)范圍；及 輸出單元，用于將同時滿足所述第一判斷單元和第二判斷單元判斷條件的像素納入所述初檢結(jié)果。
10.一種小雨場景視頻數(shù)據(jù)中雨滴的去除系統(tǒng)，其特征在于，所述系統(tǒng)包括: 權(quán)利要求7至9中任意一權(quán)利要求所述的小雨場景視頻數(shù)據(jù)中雨滴的檢測系統(tǒng)，獲得標(biāo)記有雨滴像素的篩選結(jié)果；及 雨滴去除模塊，用于對所述雨滴像素進(jìn)行雨滴去除處理，獲得恢復(fù)后的彩色視頻圖像。
【文檔編號】G06T5/50GK104299214SQ201410527740
【公開日】2015年1月21日 申請日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】朱青松, 徐波, 王磊 申請人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院