本發(fā)明屬于計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域,特別涉及一種計(jì)算機(jī)中視頻去霧方法。
背景技術(shù):
安防系統(tǒng)、城市交通、軍事技術(shù)、刑偵、航海、氣象及天文學(xué)等領(lǐng)域經(jīng)常需要從戶外監(jiān)控采集霧霾視頻圖像序列。霧霾等惡劣天氣使視頻監(jiān)控所捕獲的圖像色彩暗淡、對(duì)比度變低,圖像質(zhì)量的嚴(yán)重退化,直接影響了圖像的視覺效果,嚴(yán)重影響它們的應(yīng)用。從視頻中去除霧霾天氣的影響,恢復(fù)圖像的顏色、對(duì)比度具有重要的研究意義和現(xiàn)實(shí)意義。
現(xiàn)在已經(jīng)有了多種針對(duì)視頻的去霧方法:海軍大連艦艇學(xué)院的王孝通在景深分布模型的基礎(chǔ)上,利用暗原色思想獲取圖像的基準(zhǔn)景深及天空亮度,再利用相對(duì)景深方法實(shí)現(xiàn)海上視頻去霧處理。王孝通還結(jié)合傳統(tǒng)的二維經(jīng)驗(yàn)?zāi)J椒纸?,給出了高頻輔助信號(hào)的構(gòu)造方法,將高頻輔助信號(hào)加入原視頻圖像信號(hào),分解得到的內(nèi)蘊(yùn)模式分量的輔助信號(hào),得到原信號(hào)的最接近輔助信號(hào)的頻率分量,用以解決局部或全局極值點(diǎn)匱乏的海上視頻去霧。Hautiere等人針對(duì)交通工具的可見燈光范圍對(duì)大氣環(huán)境的好壞非常敏感而提出基于車載相機(jī)系統(tǒng)的視頻去霧研究。李龍利提出了有損壓縮的視頻圖像去霧算法,利用小波變換可將圖像分成高頻和低頻子帶這一顯著特點(diǎn)來幫助找出這些不規(guī)則區(qū)域,從而對(duì)不規(guī)則區(qū)域的透射率進(jìn)行處理,再采用暗原色先驗(yàn)算法實(shí)現(xiàn)圖像復(fù)原以后,消除顏色不均勻現(xiàn)象。
現(xiàn)有的視頻去霧方法可分為兩類:第一類方法的基本思想在于計(jì)算傳播率,再利用該傳播率對(duì)視頻的每一幀進(jìn)行去霧處理。由于需要借助參考圖像的要求過于苛刻,因而在實(shí)際應(yīng)用中難以實(shí)現(xiàn)。第二類方法首先將背景圖像與前景圖像分離開來,分別采用相關(guān)去霧算法進(jìn)行清晰化處理,再將兩者的處理結(jié)果相融合得到最終的去霧視頻。前景檢測的方法包括:(1)背景減除法是先構(gòu)建一個(gè)場景的背景模型圖像,在根據(jù)當(dāng)前圖像與背景模型圖像差來對(duì)運(yùn)動(dòng)的區(qū)域進(jìn)行檢測的一種方法,該方法主要應(yīng)用在攝像機(jī)固定的情況下目標(biāo)運(yùn)動(dòng)的檢測。但是背景減除法檢測出來的信息一般不夠完整,容易產(chǎn)出重影現(xiàn)象。(2)時(shí)間差分法是通過對(duì)連續(xù)的霧霾視頻圖像序列中相鄰的兩幀或者三幀圖像采用像素差分法計(jì)算并將結(jié)果閾值化來提取運(yùn)動(dòng)區(qū)域的。然而很難提取出所有相關(guān)的特征像素點(diǎn),在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞的現(xiàn)象。(3)光流法其基本原理就是給圖像中的每一個(gè)像素賦予一個(gè)速度矢量,構(gòu)成一個(gè)圖像運(yùn)動(dòng)場,在運(yùn)動(dòng)的某一時(shí)刻可由其投影關(guān)系計(jì)算得到圖像上的點(diǎn)與實(shí)物的一一對(duì)應(yīng)關(guān)系,根據(jù)矢量的變化特征來對(duì)圖像進(jìn)行動(dòng)態(tài)的分析。
多數(shù)現(xiàn)有視頻去霧方法主要集中在單獨(dú)處理視頻的各幀圖像,并沒有利用視頻各幀之間的冗余信息以減少計(jì)算量,存在速度比較慢的問題。此外,在視頻去霧過程中,也沒有考慮到視頻的時(shí)空一致性,不能保持視頻幀內(nèi)、幀間的連續(xù)性和平滑性而導(dǎo)致閃爍的問題。
技術(shù)實(shí)現(xiàn)要素:
為解決上述技術(shù)問題,本發(fā)明提出一種計(jì)算機(jī)中基于二維核回歸和Catmull—Rom三次樣條的視頻去霧方法。其特征在于該方法利用邊緣幅度核密度估計(jì)、信息熵、廣義對(duì)齊算法、二維核回歸和Catmull—Rom等技術(shù)實(shí)現(xiàn)了一種視頻去霧方法。該方法的具體步驟包括:
步驟1,輸入霧霾視頻圖像序列,基于相鄰幀差分的邊緣信息幅度核密度估計(jì)的信息熵提取視頻關(guān)鍵幀;
步驟2,基于邊緣幅度信息熵提取關(guān)鍵幀代表性像素點(diǎn);
步驟3,基于互相關(guān)匹配算法和廣義對(duì)齊算法逐像素配準(zhǔn)視頻關(guān)鍵幀;
步驟4,基于顏色均值估計(jì)大氣光照強(qiáng)度和二維核回歸優(yōu)化視頻關(guān)鍵幀傳播率;
步驟5,基于Catmull—Rom三次樣條估計(jì)視頻非關(guān)鍵幀的傳播率;
步驟6,根據(jù)大氣散射模型,輸出恢復(fù)后的霧霾視頻圖像序列。
本發(fā)明步驟1包括如下步驟:
步驟1-1,輸入霧霾視頻圖像序列,計(jì)算霧霾視頻圖像序列相鄰兩幀的亮度通道之差:假設(shè)霧霾視頻圖像序列有N幀,分別為f1,f2,…,fN,fN表示第N幀霧霾視頻圖像序列,每幀圖像從RGB顏色空間轉(zhuǎn)換為YUV(Y表示明亮度Luminance,U和V表示色度Chrominance)空間,通過如下公式計(jì)算相鄰兩幀YUV空間的亮度Y通道之差的絕對(duì)值:
其中,分別表示第N-1幀的亮度Y通道和第N幀的亮度Y通道,dN-1表示第N-1幀的亮度Y通道和第N幀的亮度Y通道之差的絕對(duì)值,所有N幀的亮度Y通道大小為M1×M2,其中M1和M2分別視頻幀的行數(shù)和列數(shù);
步驟1-2,計(jì)算所有亮度Y通道之差的絕對(duì)值的邊緣幅度信息,dr表示第r個(gè)亮度Y通道之差的絕對(duì)值,1≤r≤N-1,通過如下公式計(jì)算dr中第i行和第j列像素的邊緣幅度信息er(i,j):
其中,1≤i≤M1,1≤j≤M2,表示第i行和第j列像素的水平方向邊緣,通過如下公式計(jì)算
表示第i行和第j列像素的垂直方向邊緣,通過如下公式計(jì)算
步驟1-3,計(jì)算dr的邊緣信息幅度的核密度函數(shù):對(duì)于任意一個(gè)邊緣幅度e,其核密度函數(shù)p(e)為:
其中,為一維核函數(shù),變量u的高斯核函數(shù)通過如下公式計(jì)算平滑參數(shù)s:
其中σ表示邊緣幅度集er={er(1,1),er(1,2),…,er(M1,M2)}的標(biāo)準(zhǔn)偏差,邊緣幅度集元根據(jù)步驟1-2計(jì)算,er(M1,M2)表示第M1行第M2列的邊緣幅度。
步驟1-4,基于邊緣信息幅度的核密度函數(shù)信息熵提取霧霾視頻圖像序列的關(guān)鍵幀:在邊緣幅度集er的最小值和最大值之間以相等步長抽樣n1(本發(fā)明n1=100)個(gè)數(shù)據(jù),分別標(biāo)記為:
c1=min(er),c2=c1+Δ,c3=c1+2Δ,…,cn=c1+(n1-1)Δ,
其中,步長cn表示第n個(gè)數(shù)據(jù),n1個(gè)數(shù)據(jù)對(duì)應(yīng)的核密度函數(shù)分別為表示cn對(duì)應(yīng)的核密度函數(shù),通過如下公式計(jì)算dr的信息熵Hr:
如果dr的信息熵大于閾值H0,H0取值為0.1,則霧霾視頻圖像序列中第r幀fr為關(guān)鍵幀。
本發(fā)明步驟2包括:
設(shè)霧霾視頻圖像序列中第r幀fr為關(guān)鍵幀,對(duì)邊緣幅度集合{er(1,1),er(1,2),…,er(M1,M2)}的元素按照降序排序,選出前n2個(gè)較大邊緣幅度對(duì)應(yīng)位置的的像素點(diǎn)作為代表性像素點(diǎn),其中分別表示第r幀中邊緣幅度值為第n2大的象素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。
本發(fā)明步驟3包括:
設(shè)霧霾視頻圖像序列中兩個(gè)相鄰的關(guān)鍵幀分別為和r1,r2分別表示相鄰的關(guān)鍵幀視頻的序號(hào),1≤r1≤r2≤N,和的代表性像素點(diǎn)的坐標(biāo)分別為和使用互相關(guān)匹配算法,分別以和的代表性像素點(diǎn)為中心選取一個(gè)窗口,作為參考幀,作為待配準(zhǔn)幀,以參考幀的每個(gè)代表性像素點(diǎn)為參考點(diǎn),在待配準(zhǔn)幀中查找相關(guān)系數(shù)最大的窗口作為匹配點(diǎn)。其中,相關(guān)系數(shù)的計(jì)算如下:
假設(shè)中坐標(biāo)為的代表性像素點(diǎn)的窗口內(nèi)所有亮度組成的向量為Y1,中坐標(biāo)為的代表性象素點(diǎn)窗口內(nèi)所有亮度組成的向量為Y2,則Y1和Y2的相關(guān)系數(shù)定義:
其中和分別表示向量Y1的均值和向量Y2的均值。
依據(jù)互相關(guān)匹配算法選擇出存在對(duì)應(yīng)關(guān)系的代表性像素點(diǎn)對(duì),再使用廣義對(duì)齊算法計(jì)算參考幀和待配準(zhǔn)幀的平移、旋轉(zhuǎn)和縮放的變換參數(shù),實(shí)現(xiàn)兩個(gè)關(guān)鍵幀之間逐像素的配準(zhǔn)。
本發(fā)明步驟4包括如下步驟:
步驟4-1,建立視頻關(guān)鍵幀的大氣散射光照模型:霧霾視頻圖像序列的關(guān)鍵幀大氣散射光照模型為:
Ic(p)=t(p)Jc(p)+(1-t(p))Ac,
其中,Jc(p)和Ic(p)分別表示無霧視頻關(guān)鍵幀像素點(diǎn)p的c通道值和霧霾視頻關(guān)鍵幀像素點(diǎn)p的c通道值,c∈{R,G,B},R、G和B分別表示紅、綠、藍(lán)三種顏色,t(p)∈[0,1]表示在像素點(diǎn)p的大氣光照傳播率,Ac表示c通道的大氣光照強(qiáng)度;
步驟4-2,進(jìn)行基于顏色均值向量的視頻關(guān)鍵幀大氣光照強(qiáng)度估計(jì):大氣光照強(qiáng)度的大小設(shè)置為常數(shù)240,以關(guān)鍵幀的紅、綠、藍(lán)三個(gè)顏色通道歸一化的均值作為大氣光照強(qiáng)度的方向,其中分別表示關(guān)鍵幀的紅色通道均值、綠色通道均值和藍(lán)色通道均值,則紅、綠、藍(lán)通道的大氣光照強(qiáng)度的估計(jì)值為:
其中,AR、AG、AB分別表示紅色通道的大氣光照強(qiáng)度的估計(jì)值、綠色通道的大氣光照強(qiáng)度的估計(jì)值和藍(lán)色通道的大氣光照強(qiáng)度的估計(jì)值;
步驟4-3,基于二維核回歸的傳播率優(yōu)化:按照J(rèn)in-Han Kim提出的基于最優(yōu)對(duì)比度方法初步估計(jì)像素點(diǎn)p的大氣光照傳播率t(p):
采用二維核回歸方法優(yōu)化傳播率:
假設(shè)第i行和第j列像素點(diǎn)的傳播率估計(jì)值為ti,j,通過如下公式計(jì)算在該點(diǎn)半徑為w的局部窗口下傳播率ti,j的二維核回歸函數(shù)
其中為二維高斯核函數(shù),計(jì)算二維核回歸函數(shù)的公式中,分母部分計(jì)算為:
分子部分計(jì)算為:
本發(fā)明步驟5包括:
對(duì)于霧霾視頻圖像序列中兩個(gè)相鄰的關(guān)鍵幀和設(shè)的前一個(gè)關(guān)鍵幀為的后一個(gè)關(guān)鍵幀為配準(zhǔn)這4個(gè)相鄰關(guān)鍵幀和估計(jì)并優(yōu)化和的傳播率基于Catmull—Rom三次樣條估計(jì)位于和之間的非關(guān)鍵幀中對(duì)應(yīng)像素的傳播率為:
其中,r1<k<r2-r1,k取值范圍為整數(shù),參數(shù)x表示兩個(gè)關(guān)鍵幀和之間的第k個(gè)非關(guān)鍵幀,
本發(fā)明步驟6包括:將霧霾視頻圖像序列按照下式恢復(fù)輸出:
有益效果:本發(fā)明的優(yōu)點(diǎn)在于提出了一種基于二維核回歸和Catmull—Rom三次樣條的視頻去霧方法,基于相鄰幀差分的邊緣幅度核密度信息熵提取視頻關(guān)鍵幀,可以克服霧霾霧霾視頻圖像序列灰度對(duì)比度較低,可以快速準(zhǔn)確提取霧霾視頻圖像序列中的關(guān)鍵幀?;陬伾档拇髿夤庹諒?qiáng)度估計(jì)方法,可以更好地體現(xiàn)光照效果。基于二維核回歸的視頻關(guān)鍵幀傳播率優(yōu)化,避免了傳播率的突變導(dǎo)致恢復(fù)圖像的不連貫問題?;贑atmull—Rom三次樣條的視頻非關(guān)鍵幀傳播率估計(jì),避免了每幀都需要重新估計(jì)傳播率和視頻恢復(fù)后存在的閃速問題。本發(fā)明的創(chuàng)新點(diǎn)包括:
(1)提出了基于相鄰幀差分的邊緣幅度核密度信息熵提取視頻關(guān)鍵幀。霧霾圖像的灰度對(duì)比度較低,而邊緣信息可以較好的反映霧霾視頻圖像序列的內(nèi)容變換,可以快速準(zhǔn)確提取霧霾視頻圖像序列中的關(guān)鍵幀。
(2)提出了基于顏色均值的大氣光照強(qiáng)度估計(jì)和二維核回歸的視頻關(guān)鍵幀傳播率優(yōu)化。霧霾圖像中大氣光照方向很重要,一般去霧方法采用標(biāo)量,使得恢復(fù)的圖像中體現(xiàn)不出光照的方向。本發(fā)明提出用不同顏色通道的均值作為大氣光照強(qiáng)度的方向可以更好地體現(xiàn)光照效果。對(duì)視頻關(guān)鍵幀傳播率采取二維核回歸優(yōu)化,避免了傳播率的突變導(dǎo)致恢復(fù)圖像的不連貫問題。
(3)提出了基于Catmull—Rom三次樣條的視頻非關(guān)鍵幀傳播率估計(jì)。利用關(guān)鍵幀已經(jīng)估計(jì)出的傳播率估計(jì)非關(guān)鍵幀的傳播率,避免了每幀都需要重新估計(jì)傳播率和視頻恢復(fù)后存在的閃速問題。
附圖說明
下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做更進(jìn)一步的具體說明,本發(fā)明的上述或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。
圖1為本發(fā)明流程圖。
具體實(shí)施方式
本方法通過提取霧霾視頻的關(guān)鍵幀,提取關(guān)鍵幀中代表性的像素點(diǎn),逐像素匹配關(guān)鍵幀,估計(jì)大氣光照強(qiáng)度,優(yōu)化關(guān)鍵幀傳播率,和估計(jì)非關(guān)鍵幀傳播率等步驟,完成了快速視頻霧霾圖像的去霧,具體的工作流程如圖1所示。
步驟1,基于相鄰幀差分的邊緣信息幅度核密度估計(jì)的信息熵提取視頻關(guān)鍵幀;
(1-1)計(jì)算相鄰兩幀的亮度通道之差。假設(shè)從監(jiān)控采集的霧霾視頻圖像序列有N幀,分別為f1,f2,…,fN,每幀圖像從RGB顏色空間轉(zhuǎn)換為YUV空間。計(jì)算相鄰兩幀之差的YUV空間的亮度Y通道之差的絕對(duì)值:
其中分別表示第1,2,3…,N-1,N幀的亮度Y通道,大小為M1×M2。
(1-2)計(jì)算亮度Y通道之差的絕對(duì)值d1,d2,…,dN-1的邊緣信息幅度。
dr(1≤r≤N-1)中第i行(1≤i≤M1)和第j列(1≤j≤M2)位置的邊緣信息幅度:
其中,表示水平方向的邊緣,
表示垂直方向的邊緣,
(1-3)計(jì)算亮度Y通道之差的絕對(duì)值dr(1≤r≤N-1)的邊緣幅度的核密度函數(shù)。對(duì)于任意一個(gè)邊緣幅度e,其核密度函數(shù)為:
其中為一維核函數(shù),本發(fā)明采用高斯核函數(shù)平滑參數(shù)s的計(jì)算公式:
其中σ表示邊緣幅度集er={er(1,1),er(1,2),…,er(M1,M2)}的標(biāo)準(zhǔn)偏差。
(1-4)基于邊緣幅度核密度函數(shù)信息熵的關(guān)鍵幀提?。?/p>
在邊緣幅度集er的最小值和最大值之間以相等步長抽樣n1個(gè)數(shù)據(jù),分別標(biāo)記為:
c1=min(er),c2=c1+Δ,c3=c1+2Δ,…,cn=c1+(n1-1)Δ (7)
其中步長它們對(duì)應(yīng)的核密度函數(shù)分別為則dr(1≤r≤N-1)的信息熵為:
如果dr(1≤r≤N-1)的信息熵大于閾值H0(本發(fā)明取值為0.1),則霧霾視頻圖像序列中第r幀fr為關(guān)鍵幀。
步驟2,基于邊緣幅度信息熵提取關(guān)鍵幀代表性像素點(diǎn);
設(shè)霧霾視頻圖像序列中第r幀fr為關(guān)鍵幀,對(duì)邊緣幅度集合{er(1,1),er(1,2),…,er(M1,M2)}的元素按照降序排序,選出前n2個(gè)邊緣幅度對(duì)應(yīng)位置的的像素點(diǎn)作為代表性像素點(diǎn)。
步驟3,基于互相關(guān)匹配算法和廣義對(duì)齊算法逐像素配準(zhǔn)視頻關(guān)鍵幀;
設(shè)霧霾視頻圖像序列中兩個(gè)相鄰的關(guān)鍵幀分別為和(r1,r2分別表示視頻的序號(hào)),它們的代表性像素點(diǎn)分別為和使用互相關(guān)匹配算法,分別以(參考幀)和(待配準(zhǔn)幀)的代表性像素點(diǎn)為中心選取一個(gè)窗口,以參考幀的每個(gè)代表性像素點(diǎn)為參考點(diǎn),在待配準(zhǔn)幀中查找相關(guān)系數(shù)最大的窗口作為匹配點(diǎn)。依據(jù)互相關(guān)匹配算法選擇出存在對(duì)應(yīng)關(guān)系的代表性像素點(diǎn)對(duì),再使用廣義對(duì)齊算法計(jì)算參考幀和待配準(zhǔn)幀的平移、旋轉(zhuǎn)和縮放的變換參數(shù),實(shí)現(xiàn)兩個(gè)關(guān)鍵幀之間逐像素的配準(zhǔn)。
步驟4,基于顏色均值估計(jì)大氣光照強(qiáng)度和基于二維核回歸優(yōu)化視頻關(guān)鍵幀傳播率;
(4-1)建立視頻關(guān)鍵幀的大氣散射光照模型;
霧霾視頻圖像序列的關(guān)鍵幀大氣散射光照模型為:
Ic(p)=t(p)Jc(p)+(1-t(p))Ac (9)
其中Jc(p)和Ic(p)分別表示原始視頻關(guān)鍵幀和觀測的視頻關(guān)鍵幀像素點(diǎn)p的c通道值,c∈{R,G,B}表示紅、綠、藍(lán)三種顏色。t(p)∈[0,1]表示在像素點(diǎn)p的大氣光照傳播率,Ac表示c∈{R,G,B}通道的大氣光照強(qiáng)度。
(4-2)基于顏色均值向量的視頻關(guān)鍵幀大氣光照強(qiáng)度估計(jì);
大氣光照強(qiáng)度的大小設(shè)置為常數(shù)240。以關(guān)鍵幀的紅、綠、藍(lán)三個(gè)顏色通道歸一化的均值作為大氣光照強(qiáng)度的方向,其中表示關(guān)鍵幀的紅、綠、藍(lán)三個(gè)顏色通道均值。則紅、綠、藍(lán)通道的大氣光照強(qiáng)度的估計(jì)值為:
(4-3)基于二維核回歸的傳播率優(yōu)化:
按照J(rèn)in-Han Kim提出的基于最優(yōu)對(duì)比度方法初步估計(jì)像素點(diǎn)p的傳播率
這種方法不同目標(biāo)之間的傳播率會(huì)突變,且存在方塊效應(yīng)。視頻關(guān)鍵幀中相鄰像素之間的景深距離是漸變的,傳播率也應(yīng)該是漸變的。為此,本發(fā)明提出二維核回歸方法優(yōu)化公式(11)的傳播率粗估計(jì);
假設(shè)第i行第j列的像素點(diǎn)的傳播率估計(jì)值為ti,j,則在該點(diǎn)半徑為w的局部窗口下傳播率ti,j的二維核回歸平滑為:
其中為二維高斯核函數(shù)。分母部分計(jì)算為:
分子部分計(jì)算為:
步驟5,基于Catmull—Rom三次樣條估計(jì)視頻非關(guān)鍵幀的傳播率;
設(shè)霧霾視頻圖像序列中兩個(gè)相鄰的關(guān)鍵幀分別為和(1≤r1≤r2≤N),的前一個(gè)關(guān)鍵幀為的后一個(gè)關(guān)鍵幀為使用步驟3的方法配準(zhǔn)這4個(gè)相鄰的關(guān)鍵幀和使用步驟4的方法估計(jì)這4幀中對(duì)應(yīng)的優(yōu)化傳播率分別為基于Catmull—Rom三次樣條估計(jì)位于和之間的非關(guān)鍵幀(r1<k∈Z<r2-r1)中對(duì)應(yīng)像素的傳播率為
其中參數(shù)表示兩個(gè)關(guān)鍵幀之間的第k個(gè)非關(guān)鍵幀。
步驟6,根據(jù)大氣散射模型,利用估計(jì)的模型參數(shù),輸出恢復(fù)后的霧霾視頻圖像序列。
霧霾視頻圖像序列的大氣光照按照步驟(4-2)中公式(10)估計(jì),視頻關(guān)鍵幀的傳播率按照步驟(4-3)優(yōu)化,視頻非關(guān)鍵幀的傳播率按照步驟(5)估計(jì),則霧霾視頻圖像序列按照下式恢復(fù)輸出
本發(fā)明提供了一種計(jì)算機(jī)中視頻去霧方法,具體實(shí)現(xiàn)該技術(shù)方案的方法和途徑很多,以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加以實(shí)現(xiàn)。