專利名稱:基于直方圖均衡化過校正恢復(fù)的霧天視頻圖像清晰化方法
技術(shù)領(lǐng)域:
本發(fā)明屬圖像恢復(fù)技術(shù)領(lǐng)域,具體涉及一種基于直方圖均衡化過校正恢復(fù)的霧天視頻圖像清晰化方法。
背景技術(shù):
大霧天氣下的圖像,因?yàn)槟芤姸鹊慕档?,使得畫面上許多景物的細(xì)節(jié)無法辨認(rèn),因此,提高畫面的能見度,增加圖像的清晰度成為一個(gè)在戶外監(jiān)視系統(tǒng)中不可缺少的一個(gè)核心技術(shù)。
直方圖均衡化方法是對(duì)低對(duì)比度的圖像進(jìn)行清晰化處理的一種常用的比較有效的方法,但存在灰度歸并,以及過校正等問題,同時(shí),直方圖均衡化方法比較復(fù)雜,很難滿足視頻清晰化的實(shí)時(shí)性的要求。
發(fā)明內(nèi)容
本發(fā)明的目的是,提供一種基于直方圖均衡化過校正恢復(fù)的霧天視頻圖像清晰化方法,克服現(xiàn)有技術(shù)存在灰度歸并以及過校正的問題,提高畫面的能見度,并滿足視頻圖像實(shí)時(shí)性處理的要求。
本發(fā)明的技術(shù)方案是,一種基于直方圖均衡化過校正恢復(fù)的霧天視頻圖像清晰化方法,該方法按照以下步驟實(shí)施, 步驟1、首先,確定視頻幀序列中的基礎(chǔ)幀與后續(xù)幀,將啟動(dòng)清晰化處理后的第一幀作為基礎(chǔ)幀,之后,每隔一定時(shí)間間隔,更新一個(gè)視頻基礎(chǔ)幀,跟在基礎(chǔ)幀后的其余視頻幀為后續(xù)幀; 步驟2、對(duì)步驟1確定的基礎(chǔ)幀進(jìn)行直方圖均衡化處理; 步驟3、對(duì)上步經(jīng)直方圖均衡化處理后的基礎(chǔ)幀,通過統(tǒng)計(jì)其灰度歸并的情況進(jìn)行過校正恢復(fù),得到一個(gè)前后圖像灰度值的映射表hs; 步驟4、對(duì)步驟3經(jīng)過過校正恢復(fù)的基礎(chǔ)幀進(jìn)行濾波去噪處理; 步驟5、利用步驟3中過校正恢復(fù)處理后得到的映射表,對(duì)后續(xù)幀進(jìn)行清晰化處理; 步驟6、對(duì)上步處理后的后續(xù)幀按照步驟4的方法進(jìn)行濾波去噪處理; 步驟7、判斷是否結(jié)束清晰化處理,如果是,則結(jié)束所有的操作, 如果不是,則判斷時(shí)間間隔是否到設(shè)定的閾值T,如果是,下一幀作為基礎(chǔ)幀處理,轉(zhuǎn)步驟2進(jìn)行循環(huán)處理;如果不是,則下一幀作為后續(xù)幀處理,轉(zhuǎn)步驟5進(jìn)行循環(huán)處理,并且將計(jì)數(shù)值加1。
本發(fā)明的有益效果是實(shí)現(xiàn)了對(duì)大霧條件下,戶外監(jiān)視視頻畫面的實(shí)時(shí)清晰化處理,對(duì)于VGA分辨率下的視頻,經(jīng)過清晰化處理之后,能夠恢復(fù)出大部分的細(xì)節(jié)信息。
具體實(shí)施例方式 下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
本發(fā)明的方法的原理是,基于直方圖均衡化過校正恢復(fù)的大霧天氣下視頻圖像清晰化處理方法,將實(shí)時(shí)監(jiān)視的視頻圖像分為基礎(chǔ)幀和后續(xù)幀,基礎(chǔ)幀采用直方圖均衡化處理后,比較原圖像與處理后圖像的直方圖分布特性,并對(duì)所歸并掉的灰度細(xì)節(jié)進(jìn)行恢復(fù),完成直方圖均衡化的過校正恢復(fù),同時(shí)得到清晰化處理的映射表,之后,根據(jù)該映射表對(duì)后續(xù)幀進(jìn)行清晰化處理,實(shí)現(xiàn)了對(duì)視頻監(jiān)視畫面的實(shí)時(shí)清晰化處理的目的。
本發(fā)明的霧天圖像清晰化處理方法,將處理前的圖像稱為原圖像,按照以下步驟實(shí)施, 步驟1、視頻基礎(chǔ)幀與后續(xù)幀的確定。視頻的基礎(chǔ)幀是指啟動(dòng)清晰化處理后,第一幀圖像為基礎(chǔ)幀,之后,為了適應(yīng)環(huán)境光照的變化,在每隔一定的時(shí)間間隔下,更新基礎(chǔ)幀。更新間隔的時(shí)間可以設(shè)置為10分鐘,按照每秒鐘25幀的幀率計(jì)算,每15000幀中,頭一幀為基礎(chǔ)幀,跟在其后的其余視頻幀為后續(xù)幀。因此,基礎(chǔ)幀所占比例大約為0.006%。
步驟2、對(duì)步驟1確定的基礎(chǔ)幀進(jìn)行直方圖均衡化處理,具體步驟如下 1)、統(tǒng)計(jì)處理前的原圖像[fB(i,j)]m×n的灰度直方圖,記作hB,則 hB(k)=Nk/(m·n),k=0,1,2,...,255(1) 其中,Nk為[fB(i,j)]m×n中,像素值等于k的像素個(gè)數(shù),m,n分別為圖像[fB(i,j)]m×n的行數(shù)和列數(shù)。
2)、按照下式計(jì)算[fB(i,j)]m×n的累計(jì)直方圖hs,即 3)、按照下式計(jì)算得到直方圖均衡化處理的結(jié)果[fh(i,j)]m×n fh(i,j)=255·hs(fB(i,j)),i=1,2,..,m,j=1,2,..,n(3) 步驟3、對(duì)直方圖均衡化處理后的基礎(chǔ)幀[fh(i,j)]m×n通過統(tǒng)計(jì)其灰度歸并的情況進(jìn)行過校正恢復(fù)。
1)、按照公式(1)統(tǒng)計(jì)圖像[fh(i,j)]m×n的灰度直方圖,記作hh。
2)、計(jì)算直方圖均衡化處理前后圖像的直方圖的峰值位置 即設(shè)直方圖為h,則峰值位置kmax為 kmax={k|h(k)=max[h]}(4) 設(shè)按照上式,計(jì)算得到的[fB(i,j)]m×n和[fh(i,j)]m×n的直方圖峰值位置分別為kBmax,khmax。
3)、查找直方圖均衡化處理后被歸并的灰度級(jí)。對(duì)照前后圖像灰度值的映射表hs,如果hs(i)=hs(j),則表明原圖像中的灰度值i,j被歸并為相同的值hs(i);如果hs(i)=k,hs(i+1)=k+s,并且s>1,則表明在處理后圖像中,沒有像素灰度值[k+1,k+s-1]的范圍內(nèi),這里稱之為相鄰灰度級(jí)間存在s-1個(gè)空位。
如果原圖像中的所有細(xì)節(jié)全部恢復(fù),就會(huì)影響到圖像主要成分的對(duì)比度,為此,本發(fā)明設(shè)置有歸并允許歸并像素的概率分布小于萬分之五的灰度級(jí),因?yàn)檫@樣的像素集合對(duì)于圖像的影響非常小,能夠被一般人的視覺忽略。
計(jì)算原圖像直方圖hB的統(tǒng)計(jì)值,當(dāng)hB(k)≤0.00005時(shí),則灰度級(jí)k允許被歸并。
4)、暗區(qū)細(xì)節(jié)恢復(fù)。計(jì)算原圖像[fB(i,j)]m×n中
之間的hB(k)>0.00005的灰度級(jí)個(gè)數(shù),設(shè)為NBl;計(jì)算直方圖均衡化后圖像[fh(i,j)]m×n中
之間的hh(k)>0的灰度級(jí)個(gè)數(shù),設(shè)為Nhl,則需要恢復(fù)的像素級(jí)數(shù)為ΔNl=NBl-Nhl。
a、如果kBmax>khmax,表明直方圖均衡化處理后,將峰值變小,統(tǒng)計(jì)圖像[fh(i,j)]在[khmax,kBmax]范圍內(nèi),不為空位的灰度級(jí)個(gè)數(shù),記作NhBmax,如果kBmax<khmax,表明直方圖均衡化處理后,將峰值變大,統(tǒng)計(jì)圖像[fh(i,j)]在[kBmax,khmax]范圍內(nèi),不為空位的灰度級(jí)個(gè)數(shù),同樣地,也記作NhBmax, 將這NhBmax個(gè)灰度級(jí)在[kBmax+1,255](峰值位置變小)范圍內(nèi),或者是[khmax+1,255](峰值位置變大)恢復(fù)。
具體方法是(以下的操作以峰值位置變小的情況下的處理,對(duì)于峰值位置變大的情況,只需要將kBmax與khmax相互替換即可) 按照順序,找到其中的空位,在空位上順序插入Nhomax個(gè)灰度級(jí)即可。這個(gè)操作在映射表修正上表示為 判斷如果Δhs(s)=hs(kBmax+s)-hs(kBmax+s-1)>1則找到空位, hs(k)=hs(k)+Δhs(s)-1,k=komax,...,ko+s(5) 恢復(fù)了s個(gè)灰度級(jí),不斷地重復(fù),直到恢復(fù)的灰度級(jí)個(gè)數(shù)等于NhBmax。
b、對(duì)映射表hs的暗區(qū)部分按照下式進(jìn)行修正,移動(dòng)[fh(i,j)]的直方圖峰值至komaxhs(k)=hs(k)+(komax-khmax),k=0,1,...,khmax(6) c、如果ΔNl=0,則表明暗區(qū)細(xì)節(jié)不需要恢復(fù),直接轉(zhuǎn)入亮區(qū)細(xì)節(jié)恢復(fù)。否則,進(jìn)行下面的操作在
的灰度級(jí)范圍內(nèi),恢復(fù)之前統(tǒng)計(jì)得到的ΔNl個(gè)灰度級(jí)。具體方法是找到映射表hs中所有hs(k)=(komax-khmax)的元素,將其值逆序分別遞減1即可。
5)、亮區(qū)細(xì)節(jié)恢復(fù)。具體的方法是,在[komax+1,255]范圍內(nèi),從255至komax逆序查找空位,如果有空位,則將映射表hs中兩個(gè)相等的值中的一個(gè)減1,完成分解,恢復(fù)1個(gè)灰度級(jí),以此循環(huán),直到要求的細(xì)節(jié)恢復(fù)個(gè)數(shù)全部分解完成。經(jīng)過上面的處理之后,獲得了清晰化處理的映射表hs。
步驟4、進(jìn)行濾波去噪處理。因?yàn)楫嬅嫔系脑肼暿且驗(yàn)橛徐F天氣下,空中懸浮的水珠顆粒造成的,可采用中值濾波進(jìn)行處理,中值濾波的步驟如下 1)、設(shè)定模板的大小為3×3; 2)、將該模板在整個(gè)畫面上移動(dòng),對(duì)于待處理的像素f(i,j),取其模板覆蓋的范圍的9個(gè)像素集合Ωf={f(i-1,j-1),f(i-1,j),f(i-1,j+1),f(i,j-1),f(i,j),f(i,j+1),f(i+1,j-1),f(i+1,j),f(i+1,j+1)}; 3)、將集合中的9個(gè)像素按照像素值的大小進(jìn)行排序,其排列在中間位置上的像素值,作為濾波處理的結(jié)果。
步驟5、對(duì)后續(xù)幀進(jìn)行清晰化處理。后續(xù)幀的清晰化處理方法是,根據(jù)由步驟3中得到的映射表hs給出的值,按照下面的公式獲得清晰化處理的后續(xù)幀[g(i,j)]m×ng(i,j)=hs(f(i,j)),i=1,2,..,m,j=1,2,..,n (7) 步驟6、對(duì)后續(xù)幀進(jìn)行濾波去噪處理。后續(xù)幀的濾波去噪處理方法同步驟4中的基礎(chǔ)幀的濾波去噪處理方法。
步驟7、判斷是否需要退出清晰化處理,如果是,則結(jié)束所有的操作,如果不是,則判斷計(jì)時(shí)器的計(jì)時(shí)時(shí)間是否到設(shè)定的閾值T,如果是,下一幀作為基礎(chǔ)幀處理,轉(zhuǎn)到步驟2進(jìn)行循環(huán)處理;如果不是,則下一幀作為后續(xù)幀處理,轉(zhuǎn)到步驟5進(jìn)行循環(huán)處理,并且計(jì)時(shí)器的計(jì)數(shù)值加1。
本發(fā)明的方法是將視頻序列分為基礎(chǔ)幀和后續(xù)幀兩類,基礎(chǔ)幀的幀數(shù)只占到后續(xù)幀的0.006%左右,對(duì)少量的基礎(chǔ)幀采用過校正補(bǔ)償?shù)闹狈綀D均衡化方法進(jìn)行處理,處理之后,建立一個(gè)映射表,對(duì)后續(xù)幀則只需要根據(jù)該映射表進(jìn)行查表處理即可。這樣就極大的減少了需要處理的視頻圖像的計(jì)算量,加快了處理的速度,保證了所需的圖像畫面質(zhì)量,適應(yīng)實(shí)時(shí)監(jiān)控的需要。
采用本發(fā)明的方法,實(shí)現(xiàn)了對(duì)大霧條件下,戶外監(jiān)視視頻畫面的實(shí)時(shí)清晰化處理,對(duì)于VGA分辨率下的視頻,能夠達(dá)到平均幀率為20幀/秒的處理速度,能夠恢復(fù)出大部分的細(xì)節(jié)信息,效率高,效果好。
權(quán)利要求
1、一種基于直方圖均衡化過校正恢復(fù)的霧天視頻圖像清晰化方法,其特征在于,該方法按照以下步驟實(shí)施,
步驟1、首先,確定視頻幀序列中的基礎(chǔ)幀與后續(xù)幀,將啟動(dòng)清晰化處理后的第一幀作為基礎(chǔ)幀,之后,每隔一定時(shí)間間隔,更新一個(gè)視頻基礎(chǔ)幀,跟在基礎(chǔ)幀后的其余視頻幀為后續(xù)幀;
步驟2、對(duì)步驟1確定的基礎(chǔ)幀進(jìn)行直方圖均衡化處理;
步驟3、對(duì)上步經(jīng)直方圖均衡化處理后的基礎(chǔ)幀,通過統(tǒng)計(jì)其灰度歸并的情況進(jìn)行過校正恢復(fù),得到一個(gè)前后圖像灰度值的映射表hs;
步驟4、對(duì)步驟3經(jīng)過過校正恢復(fù)的基礎(chǔ)幀進(jìn)行濾波去噪處理;
步驟5、利用步驟3中過校正恢復(fù)處理后得到的映射表,對(duì)后續(xù)幀進(jìn)行清晰化處理;
步驟6、對(duì)上步處理后的后續(xù)幀按照步驟4的方法進(jìn)行濾波去噪處理;
步驟7、判斷是否結(jié)束清晰化處理,如果是,則結(jié)束所有的操作,
如果不是,則判斷時(shí)間間隔是否到設(shè)定的閾值T,如果是,下一幀作為基礎(chǔ)幀處理,轉(zhuǎn)步驟2進(jìn)行循環(huán)處理;如果不是,則下一幀作為后續(xù)幀處理,轉(zhuǎn)步驟5進(jìn)行循環(huán)處理,并且將計(jì)數(shù)值加1。
2、按照權(quán)利要求1所述的方法,其特征在于,所述的步驟2的對(duì)基礎(chǔ)幀進(jìn)行直方圖均衡化處理的具體方法是
1)、統(tǒng)計(jì)處理前的原圖像[fB(i,j)]m×n的灰度直方圖,記作hB,則
hB(k)=Nk/(m·n),k=0,1,2,...,255
其中,Nk為[fB(i,j)]m×n中,像素值等于k的像素個(gè)數(shù),m,n分別為圖像[fB(i,j)]m×n的行數(shù)和列數(shù),
2)、按照下式計(jì)算[fB(i,j)]m×n的累計(jì)直方圖hs,即
3)、按照下式計(jì)算得到直方圖均衡化處理的結(jié)果[fh(i,j)]m×n
fh(i,j)=255·hs(fB(i,j)),i=1,2,..,m,j=1,2,..,n。
3、按照權(quán)利要求1所述的方法,其特征在于,所述的步驟3的直方圖均衡化過校正恢復(fù)方法的具體方法是
1)、統(tǒng)計(jì)直方圖均衡化處理后的圖像[fh(i,j)]m×n的灰度直方圖,記作hh,
2)、計(jì)算直方圖均衡化處理前后圖像的直方圖的峰值位置
即設(shè)直方圖為h,則峰值位置kmax為
kmax={k|h(k)=max[h]}
設(shè)按照上式,計(jì)算得到的[fB(i,j)]m×n和[fh(i,j)]m×n的直方圖峰值位置分別為kBmax,khmax,
3)、查找直方圖均衡化處理后被歸并的灰度級(jí)
對(duì)照前后圖像灰度值的映射表hs,如果hs(i)=hs(j),則表明原圖像中的灰度值i,j被歸并為相同的值hs(i);如果hs(i)=k,hs(i+1)=k+s,并且s>1,則表明在處理后圖像中,沒有像素灰度值[k+1,k+s-1]的范圍內(nèi),
設(shè)置歸并允許歸并像素的概率分布小于萬分之五的灰度級(jí),計(jì)算原圖像直方圖hB的統(tǒng)計(jì)值,當(dāng)hB(k)≤0.00005時(shí),則灰度級(jí)k允許被歸并,
4)、暗區(qū)細(xì)節(jié)恢復(fù),計(jì)算原圖像[fB(i,j)]m×n中
之間的hB(k)>0.00005的灰度級(jí)個(gè)數(shù),設(shè)為NBl;計(jì)算直方圖均衡化后圖像[fh(i,j)]m×n中
之間的hh(k)>0的灰度級(jí)個(gè)數(shù),設(shè)為Nhl,則需要恢復(fù)的像素級(jí)數(shù)為ΔNl=NBl-Nhl,
a、如果kBmax>khmax,表明直方圖均衡化處理后,將峰值變小,統(tǒng)計(jì)圖像[fh(i,j)]在[khmax,kBmax]范圍內(nèi),不為空位的灰度級(jí)個(gè)數(shù),記作NhBmax,
如果kBmax<khmax,表明直方圖均衡化處理后,將峰值變大,統(tǒng)計(jì)圖像[fh(i,j)]在[kBmax,khmax]范圍內(nèi),不為空位的灰度級(jí)個(gè)數(shù),同樣地,也記作NhBmax,
將這NhBmax個(gè)灰度級(jí)在[kBmax+1,255](峰值位置變小)范圍內(nèi),或者在[khmax+1,255](峰值位置變大)恢復(fù),
具體方法是按照順序,找到其中的空位,在空位上順序插入Nhomax個(gè)灰度級(jí)即可,這個(gè)操作在映射表修正上表示為
判斷如果Δhs(s)=hs(kBmax+s)-hs(kBmax+s-1)>1則找到空位,
hs(k)=hs(k)+Δhs(s)-1,k=komax,...,ko+s
恢復(fù)了s個(gè)灰度級(jí),不斷地重復(fù),直到恢復(fù)的灰度級(jí)個(gè)數(shù)等于NhBmax,
以上的操作以峰值位置變小的情況下的處理,對(duì)于峰值位置變大的情況,將kBmax與khmax相互替換即可,
b、對(duì)映射表hs的暗區(qū)部分按照下式進(jìn)行修正,移動(dòng)[fh(i,j)]的直方圖峰值至komaxhs(k)=hs(k)+(komax-khmax),k=0,1,...,khmax,
c、如果ΔNl=0,則表明暗區(qū)細(xì)節(jié)不需要恢復(fù),直接轉(zhuǎn)入亮區(qū)細(xì)節(jié)恢復(fù),否則,進(jìn)行下面的操作在
的灰度級(jí)范圍內(nèi),恢復(fù)之前統(tǒng)計(jì)得到的ΔNl個(gè)灰度級(jí),具體方法是找到映射表hs中所有hs(k)=(komax-khmax)的元素,將其值逆序分別遞減1即可,
5)、亮區(qū)細(xì)節(jié)恢復(fù),具體的方法是,在[komax+1,255]范圍內(nèi),從255至komax逆序查找空位,如果有空位,則將映射表hs中兩個(gè)相等的值中的一個(gè)減1,完成分解,恢復(fù)1個(gè)灰度級(jí),以此循環(huán),直到要求的細(xì)節(jié)恢復(fù)個(gè)數(shù)全部分解完成,得到清晰化處理的映射表hs。
4、按照權(quán)利要求1所述的方法,其特征在于,所述的步驟4的對(duì)過校正恢復(fù)的基礎(chǔ)幀進(jìn)行濾波去噪處理,采用中值濾波方法進(jìn)行處理,步驟如下
1)、設(shè)定模板的大小為3×3;
2)、將該模板在整個(gè)畫面上移動(dòng),對(duì)于待處理的像素f(i,j),取其模板覆蓋的范圍的9個(gè)像素集合Ωf={f(i-1,j-1),f(i-1,j),f(i-1,j+1),f(i,j-1),f(i,j),f(i,j+1),f(i+1,j-1),f(i+1,j),f(i+1,j+1)};
3)、將集合中的9個(gè)像素按照像素值的大小進(jìn)行排序,其排列在中間位置上的像素值,作為濾波處理的結(jié)果。
5、按照權(quán)利要求1所述的方法,其特征在于,所述的步驟5的對(duì)后續(xù)幀進(jìn)行清晰化處理方法的具體方法是
根據(jù)所述的步驟3所得到的清晰化處理映射表hs給出的值,按照下面的公式獲得清晰化處理的后續(xù)幀[g(i,j)]m×n
g(i,j)=hs(f(i,j)),i=1,2,..,m,j=1,2,..,n。
全文摘要
本發(fā)明公開了一種基于直方圖均衡化過校正恢復(fù)的霧天視頻圖像清晰化方法,該方法按照以下步驟實(shí)施,首先確定視頻序列的一個(gè)基礎(chǔ)幀,對(duì)基礎(chǔ)幀進(jìn)行直方圖均衡化處理;之后再進(jìn)行過校正細(xì)節(jié)恢復(fù),獲得一個(gè)清晰化處理的映射表;然后,對(duì)處理后的基礎(chǔ)幀進(jìn)行濾波去噪處理;然后,利用基礎(chǔ)幀清晰化處理所得到的映射表對(duì)后續(xù)幀進(jìn)行清晰化處理;并按照同樣的方法對(duì)處理后的后續(xù)幀進(jìn)行濾波去噪;每隔一段時(shí)間,更新一次基礎(chǔ)幀;不斷地進(jìn)行相同的基礎(chǔ)幀和后續(xù)幀的清晰化處理,直到規(guī)定的清晰化過程完成。本發(fā)明的方法不僅能夠恢復(fù)因大霧天氣而退化的細(xì)節(jié)信息,并且能夠滿足視頻清晰化處理的實(shí)時(shí)性要求。
文檔編號(hào)G06T5/40GK101290680SQ20081001825
公開日2008年10月22日 申請日期2008年5月20日 優(yōu)先權(quán)日2008年5月20日
發(fā)明者虹 朱, 璐 黎, 棟 王, 鄧穎娜, 薇 劉, 袁承興, 趙朝杰, 馬文慶, 楠 邢, 剛 李, 憧 沈 申請人:西安理工大學(xué)