修復(fù)在拍攝時(shí)受到雨滴干擾的視頻圖像的方法
【專利摘要】提供一種修復(fù)在拍攝時(shí)受到雨滴干擾的視頻圖像的方法。所述方法包括：(A)接收基于RGB色彩空間的視頻的一幀圖像；(B)將接收到的一幀圖像轉(zhuǎn)換成基于HSL色彩空間的圖像；(C)基于色調(diào)分量和飽和度分量檢測(cè)轉(zhuǎn)換后的圖像中的純雨滴部分以及雨滴和運(yùn)動(dòng)物體重疊部分；(D)基于亮度分量分別對(duì)純雨滴部分以及雨滴和運(yùn)動(dòng)物體重疊部分進(jìn)行雨滴去除；(E)將去除雨滴后的圖像轉(zhuǎn)換成基于RGB色彩空間的圖像并輸出。根據(jù)所述方法，能夠在高魯棒性的前提下提高修復(fù)視頻圖像的精度和效率。
【專利說明】修復(fù)在拍攝時(shí)受到雨滴干擾的視頻圖像的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，更具體地講，涉及一種修復(fù)在拍攝時(shí)受到雨滴干 擾的視頻圖像的方法。

【背景技術(shù)】
[0002] 雨對(duì)圖像成像有很大的影響，會(huì)造成圖像成像模糊、信息被覆蓋，使得視頻圖像的 清晰度下降、視頻圖像的數(shù)字化處理性能下降。因此，對(duì)拍攝時(shí)受到雨滴干擾的視頻圖像進(jìn) 行修復(fù)處理有利于圖像的進(jìn)一步處理，包括提高基于圖像的目標(biāo)檢測(cè)、識(shí)別、追蹤、分割和 監(jiān)控等技術(shù)的性能。視頻圖像去雨技術(shù)在現(xiàn)代軍事、交通以及安全監(jiān)控等領(lǐng)域有著廣泛的 應(yīng)用前景。
[0003] 現(xiàn)有的用于視頻圖像的去雨算法，應(yīng)用在靜態(tài)場(chǎng)景的視頻圖像上較為成熟，但應(yīng) 用在動(dòng)態(tài)場(chǎng)景的視頻圖像上無法達(dá)到理想的檢測(cè)效果。
[0004] 此外，實(shí)時(shí)對(duì)拍攝時(shí)受到雨滴干擾的視頻圖像進(jìn)行修復(fù)處理在自動(dòng)導(dǎo)航系統(tǒng)、安 全監(jiān)控系統(tǒng)等場(chǎng)合中有很大的需求。這些應(yīng)用場(chǎng)合中往往需要及時(shí)得到處理結(jié)果，反饋給 用戶，視頻處理的滯后有可能導(dǎo)致用戶做出錯(cuò)誤的判斷。而現(xiàn)有的用于視頻圖像的去雨算 法由于其計(jì)算的復(fù)雜度導(dǎo)致效率較低，實(shí)時(shí)性還有待提高。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的示例性實(shí)施例在于提供一種修復(fù)在拍攝時(shí)受到雨滴干擾的視頻圖像的 方法，以克服現(xiàn)有技術(shù)中修復(fù)精度和修復(fù)效率不理想的問題。
[0006] 本發(fā)明提供一種修復(fù)在拍攝時(shí)受到雨滴干擾的視頻圖像的方法，其特征在于，包 括：(A)接收基于RGB色彩空間的視頻的一幀圖像；(B)將接收到的一幀圖像轉(zhuǎn)換成基于 HSL色彩空間的圖像；(C)基于色調(diào)分量和飽和度分量檢測(cè)轉(zhuǎn)換后的圖像中的純雨滴部分 以及雨滴和運(yùn)動(dòng)物體重疊部分；(D)基于亮度分量分別對(duì)純雨滴部分以及雨滴和運(yùn)動(dòng)物體 重疊部分進(jìn)行雨滴去除；(E)將去除雨滴后的圖像轉(zhuǎn)換成基于RGB色彩空間的圖像并輸出。
[0007] 可選地，步驟（C)包括：（Cl)基于色調(diào)分量和飽和度分量檢測(cè)所述轉(zhuǎn)換后的圖像 中的運(yùn)動(dòng)物體部分；(C2)根據(jù)所述一幀圖像和與所述一幀圖像相鄰的一幀圖像的灰度差、 雨滴的光學(xué)特性和色彩特性檢測(cè)所述轉(zhuǎn)換后的圖像中的受雨滴污染部分；(C3)將所述運(yùn) 動(dòng)物體部分和所述受雨滴污染部分的重疊部分確定為雨滴和運(yùn)動(dòng)物體重疊部分，并將所述 受雨滴污染部分中除與所述運(yùn)動(dòng)物體部分重疊之外的部分確定為純雨滴部分。
[0008] 可選地，步驟（Cl)包括：（Cll)基于色調(diào)分量和飽和度分量檢測(cè)所述轉(zhuǎn)換后的圖 像中的運(yùn)動(dòng)物體的邊緣；(C12)按照色彩特征將所述轉(zhuǎn)換后的圖像中的像素點(diǎn)進(jìn)行聚類， 以將所述轉(zhuǎn)換后的圖像分割成多個(gè)塊；(C13)將檢測(cè)到的運(yùn)動(dòng)物體的邊緣所屬的塊內(nèi)部的 像素點(diǎn)標(biāo)記為屬于運(yùn)動(dòng)物體部分的像素點(diǎn)。
[0009] 可選地，步驟（Cll)包括：當(dāng)所述轉(zhuǎn)換后的圖像中的像素點(diǎn)的度量函數(shù)值大于預(yù) 定閾值時(shí)，確定該像素點(diǎn)位于運(yùn)動(dòng)物體的邊緣上，其中，度量函數(shù)F (x，y)為：

【權(quán)利要求】
1. 一種修復(fù)在拍攝時(shí)受到雨滴干擾的視頻圖像的方法，其特征在于，包括： (A) 接收基于RGB色彩空間的視頻的一幀圖像； (B) 將接收到的一幀圖像轉(zhuǎn)換成基于HSL色彩空間的圖像； (C) 基于色調(diào)分量和飽和度分量檢測(cè)轉(zhuǎn)換后的圖像中的純雨滴部分以及雨滴和運(yùn)動(dòng)物 體重疊部分； (D) 基于亮度分量分別對(duì)純雨滴部分以及雨滴和運(yùn)動(dòng)物體重疊部分進(jìn)行雨滴去除； (E) 將去除雨滴后的圖像轉(zhuǎn)換成基于RGB色彩空間的圖像并輸出。
2. 如權(quán)利要求1所述的方法，其特征在于，步驟（C)包括： (Cl)基于色調(diào)分量和飽和度分量檢測(cè)所述轉(zhuǎn)換后的圖像中的運(yùn)動(dòng)物體部分； (C2)根據(jù)所述一幀圖像和與所述一幀圖像相鄰的一幀圖像的灰度差、雨滴的光學(xué)特性 和色彩特性檢測(cè)所述轉(zhuǎn)換后的圖像中的受雨滴污染部分； (C3)將所述運(yùn)動(dòng)物體部分和所述受雨滴污染部分的重疊部分確定為雨滴和運(yùn)動(dòng)物體 重疊部分，所述運(yùn)動(dòng)物體部分中除與所述受雨滴污染部分重疊之外的部分確定為純運(yùn)動(dòng)物 體部分，并將所述受雨滴污染部分中除與所述運(yùn)動(dòng)物體部分重疊之外的部分確定為純雨滴 部分。
3. 如權(quán)利要求2所述的方法，其特征在于，步驟（Cl)包括： (Cll)基于色調(diào)分量和飽和度分量檢測(cè)所述轉(zhuǎn)換后的圖像中的運(yùn)動(dòng)物體的邊緣； (C12)按照色彩特征將所述轉(zhuǎn)換后的圖像中的像素點(diǎn)進(jìn)行聚類，以將所述轉(zhuǎn)換后的圖 像分割成多個(gè)塊； (C13)將檢測(cè)到的運(yùn)動(dòng)物體的邊緣所屬的塊內(nèi)部的像素點(diǎn)標(biāo)記為屬于運(yùn)動(dòng)物體部分的 像素點(diǎn)。
4. 如權(quán)利要求3所述的方法，其特征在于，步驟（Cll)包括： 當(dāng)所述轉(zhuǎn)換后的圖像中的像素點(diǎn)的度量函數(shù)值大于預(yù)定閾值時(shí)，確定該像素點(diǎn)位于運(yùn) 動(dòng)物體的邊緣上， 其中，度量函數(shù)F(x，y)為：
其中，HjX，y)指示像素點(diǎn)（x，y)的色調(diào)值，Hb(x，y)指示像素點(diǎn)（x，y)的背景色調(diào)值，Sr(x，y)指示像素點(diǎn)（X，y)的飽和度值，Sb(x，y)指示像素點(diǎn)（X，y)的背景飽和度值，v) 指示像素點(diǎn)（x，y)的灰度值，指示像素點(diǎn)（x，y)的背景灰度值。
5. 如權(quán)利要求1所述的方法，其特征在于，步驟（D)包括： 將純雨滴部分中的每個(gè)像素點(diǎn)的亮度值替換為：所述一幀圖像的前M幀圖像至后M幀 圖像中的對(duì)應(yīng)像素點(diǎn)的亮度值的加權(quán)平均值，其中，M為大于O的整數(shù)； 將雨滴和運(yùn)動(dòng)物體重疊部分中的每個(gè)像素點(diǎn)的亮度值替換為：所述一幀圖像的前一幀 圖像至后一幀圖像中的各幀圖像中的對(duì)應(yīng)像素點(diǎn)及對(duì)應(yīng)像素點(diǎn)的相鄰像素點(diǎn)的亮度值的 加權(quán)平均值的平均值。
6. 如權(quán)利要求5所述的方法，其特征在于，M= 3， 其中，純雨滴部分中的像素點(diǎn)（x，y)的亮度值通過下式計(jì)算得到替換值：
其中，N為所述一幀圖像的幀序號(hào)，L(X，y，t)指示第t幀圖像的像素點(diǎn)（X，y)的亮度 值，F(xiàn)b (t)為加權(quán)系數(shù)矩陣，F(xiàn)b (t) [1，2, 4, 0, 4, 2, 1]。
7.如權(quán)利要求5所述的方法，其特征在于，雨滴和運(yùn)動(dòng)物體重疊部分中的像素點(diǎn)（x，y) 的亮度值通過下式計(jì)算得到替換值：
其中，N為所述一幀圖像的幀序號(hào)，L(x，y，t)指示第t幀圖像的像素點(diǎn)（x，y)的 亮度值，V指示所述一幀圖像的前一幀圖像至后一幀圖像中的與像素點(diǎn)（x，y)對(duì)應(yīng) 的像素點(diǎn)及對(duì)應(yīng)的像素點(diǎn)的相鄰像素點(diǎn)所構(gòu)成的域，F(xiàn)ni(X，y，t)為加權(quán)系數(shù)矩陣，
【文檔編號(hào)】G06T5/00GK104463812SQ201410856621
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月31日 優(yōu)先權(quán)日:2014年12月31日
【發(fā)明者】朱青松, 李佳恒, 王磊 申請(qǐng)人:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院