專利名稱:一種夜間監(jiān)控視頻增強(qiáng)方法
技術(shù)領(lǐng)域:
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域中的圖像增強(qiáng)處理領(lǐng)域,尤其是涉及針對(duì)夜視監(jiān)控視頻的增強(qiáng)方法。
背景技術(shù):
相對(duì)于白天,夜間情況下的光照條件較差,采集到夜間監(jiān)控視頻存在分辨率低,對(duì)比度差、圖像細(xì)節(jié)丟失等不足。因此,夜間視頻增強(qiáng)是視頻安全監(jiān)控系統(tǒng)最重要同時(shí)也是最困難的部分之一。大多數(shù)監(jiān)控?cái)z像機(jī)的表現(xiàn)在低光照或高對(duì)比環(huán)境下不盡如人意。低光線產(chǎn)生噪聲視頻圖像,高亮光(例如汽車頭燈)過度曝光攝像機(jī)的感光元件,以至于所有的細(xì)節(jié)丟失。普通的監(jiān)控?cái)z像機(jī)電子設(shè)備過于簡(jiǎn)單,不能補(bǔ)償這一問題,所以有必要考慮在將夜間圖像呈現(xiàn)給用戶之前對(duì)其進(jìn)行增強(qiáng),從而傳遞更多信息。
傳統(tǒng)的視頻增強(qiáng)方法通過直方圖均衡、低通轉(zhuǎn)換或者色調(diào)映射等方法增強(qiáng)夜間視頻[1]。這些技術(shù)在亮度值逐步改變的相對(duì)一致區(qū)域常常產(chǎn)生噪聲視頻或者錯(cuò)誤的輪廓,因?yàn)樵谝曨l中噪聲或者像素值間很小的差別有可能過度放大。他們通常不能很好的增強(qiáng)夜間視頻,因?yàn)橐曨l昏暗區(qū)域的信息已經(jīng)丟失,不管應(yīng)多多少照度增強(qiáng)辦法也不能取回信息。
早期的針對(duì)夜間監(jiān)控視頻增強(qiáng)方法[2’3]采用梯度信息檢測(cè)夜間圖像中的顯著區(qū)域,并綜合白天圖像達(dá)到增強(qiáng)效果。Cai等M提出了一種基于上下文的圖像融合技術(shù)用于增強(qiáng)夜間視頻。Yamasaki等[5]將夜間圖像的灰度分量分離為照度分量和反射分量,利用提前得到的白天和夜間背景圖像的照度分量增強(qiáng)夜間視頻。Li等[6]首先使用混合高斯模型提取前景目標(biāo),然后引入位移不變離散小波變化技術(shù)用于白天和夜間圖像的時(shí)域融合,取得了不錯(cuò)的處理效果。
目前,夜間圖像課題的難點(diǎn)包括兩方面(1)因?yàn)閭鞲衅髟肼暬蚍浅5偷墓庹盏脑?,獲取的夜間圖像有很多的噪聲;(2)觀察者不能看清高亮光或者昏暗區(qū)域的場(chǎng)景信息。本專利主要針對(duì)第二個(gè)難點(diǎn),提出一種解決方案。
參考文獻(xiàn)
[I]E. P. Bennett and L. McMillan. Video enhancement using per-pixel virtual exposures. ACMTransactions on Graphics, 24 (2005)3, 845-852.
[2]R. Raskar, A.1lie, and J. Yu, "Image fusion for context enhancement and video surrealism, "International Symposium on Non-Photorealistic Animation and Rendering, pp. 85-94,2004.
[3]A.1lie, R. Raskar, and J. Yu. Gradient domain con-text enhancement for fixed cameras.1nternationalJournal of Pattern Recognition and Artificial Intel l1-gence, 19(2005)4,533-549.
[4]Y. Cai, K. Huang, T. Tan, and Y. Wang, ^Context enhancement of nighttime surveil lance by imagefusion, "ICPR, pp. 980-983,2006.
[ 5 ] A . Yamasaki, H . Takauj i , S . Kaneko,T . Kanade,andH. Ohkij"Denighting: enhancement of nighttime image for a surveillance camera, 〃19th International Conference of Pattern Recognition, 2008.
[6] J. Li, T. Yang, Q. Pan, and Y. M. Cheng,"Combining scene model and fusion for night videoenhancement,^Journal of Electronics (china),vol.26,no. 1,p p. 88-93,2009.發(fā)明內(nèi)容
針對(duì)當(dāng)前現(xiàn)有夜間監(jiān)控視頻處理存在的不足,提出了一種融合白天和夜間圖像信息的增強(qiáng)方法。目的是在保留夜間顯著對(duì)象的同時(shí),恢復(fù)背景信息,提高圖像的可視性。本發(fā)明的技術(shù)方案如下
一種夜間監(jiān)控視頻增強(qiáng)方法,該方法包括下列步驟
(I)采用時(shí)域平均方法分別提取白天視頻背景圖像BKDay和夜間視頻背景圖像 BKNight,設(shè)需要進(jìn)行視頻增強(qiáng)的夜間圖像為當(dāng)前夜間圖像,使用RGB三顏色通道的均值表示當(dāng)前夜間圖像Ni的灰度圖,并用INTNighti表示,下標(biāo)i代表該夜間圖像的幀序號(hào);
(2)利用夜間背景圖像,采用背景差的方法檢測(cè)運(yùn)動(dòng)目標(biāo),得到二值圖BW1,其取值為I的像素點(diǎn)表示潛在運(yùn)動(dòng)前景目標(biāo)區(qū)域;
(3)采用下述的驗(yàn)證算法去除干擾區(qū)域先用數(shù)學(xué)形態(tài)學(xué)膨脹算子對(duì)二值圖BWl 中取值為I的點(diǎn)進(jìn)行處理,連接斷裂部分;再標(biāo)注膨脹結(jié)果圖像的連通區(qū)域,計(jì)算各連通區(qū)域內(nèi)像素點(diǎn)的數(shù)目,對(duì)于某個(gè)連通區(qū)域,當(dāng)它的像素?cái)?shù)大于一定數(shù)值NUM時(shí),才被判定為前景區(qū)域,BffImageli表示檢測(cè)到的前景區(qū)域;
(4)設(shè)定下限閾值(T3)和上限閾值(T4),將當(dāng)前夜間圖像的灰度
圖1NTNighti中灰度值大于下限閾值(T3)且當(dāng)前夜間圖像的飽和度分量值小于上限閾值(T4)的像素點(diǎn)取1, 得到潛在的夜間強(qiáng)光區(qū)域,將經(jīng)過此種準(zhǔn)則檢驗(yàn)的二值圖像稱為BW2 ;
(5)采用步驟(3)的驗(yàn)證算法對(duì)二值圖BW2進(jìn)行處理,去除干擾區(qū)域,得到得到用 Bfflmage2i表示檢測(cè)到的夜間強(qiáng)光區(qū)域;
(6)將前景區(qū)域BWImageli和夜間強(qiáng)光區(qū)域BWImageZi進(jìn)行合并,得到最終的夜間圖像顯著區(qū)域BWImagei ;
(7)對(duì)當(dāng)前夜間圖像的RGB三個(gè)通道分別進(jìn)行增強(qiáng)處理;
(8)使用夜間圖像顯著區(qū)域BWImagei將當(dāng)前夜間圖像分割為兩部分,即顯著變化區(qū)域和背景不顯著變化區(qū)域,對(duì)于顯著變化區(qū)域,增強(qiáng)圖像的像素點(diǎn)取對(duì)應(yīng)位置經(jīng)過步驟(7)增強(qiáng)處理后夜間圖像像素點(diǎn)的數(shù)值;對(duì)于背景不顯著變化區(qū)域,增強(qiáng)圖像的像素點(diǎn)取白天背景圖像像素點(diǎn)的數(shù)值。
作為優(yōu)選實(shí)施方式,步驟(7)采用下式對(duì)當(dāng)前夜間圖像的RGB三個(gè)通道分別采用 下式進(jìn)行增強(qiáng)處理
權(quán)利要求
1.一種夜間監(jiān)控視頻增強(qiáng)方法,該方法包括下列步驟 (1)采用時(shí)域平均方法分別提取白天視頻背景圖像BKDay和夜間視頻背景圖像BKNight,設(shè)需要進(jìn)行視頻增強(qiáng)的夜間圖像為當(dāng)前夜間圖像,使用RGB三顏色通道的均值表示當(dāng)前夜間圖像的灰度圖,并用INTNighti表示,下標(biāo)i代表該夜間圖像的幀序號(hào); (2)利用夜間背景圖像,采用背景差的方法檢測(cè)運(yùn)動(dòng)目標(biāo),得到二值圖BW1,其取值為I的像素點(diǎn)表示潛在運(yùn)動(dòng)前景目標(biāo)區(qū)域; (3)采用下述的驗(yàn)證算法去除干擾區(qū)域先用數(shù)學(xué)形態(tài)學(xué)膨脹算子對(duì)二值圖BWl中取值為I的點(diǎn)進(jìn)行處理,連接斷裂部分;再標(biāo)注膨脹結(jié)果圖像的連通區(qū)域,計(jì)算各連通區(qū)域內(nèi)像素點(diǎn)的數(shù)目,對(duì)于某個(gè)連通區(qū)域,當(dāng)它的像素?cái)?shù)大于一定數(shù)值NUM時(shí),才被判定為前景區(qū)域,BffImageli表示檢測(cè)到的前景區(qū)域; (4)設(shè)定下限閾值(T3)和上限閾值(T4),將當(dāng)前夜間圖像的灰度圖1NTNighti中灰度值大于下限閾值(T3)且當(dāng)前夜間圖像的飽和度分量值小于上限閾值(T4)的像素點(diǎn)取1,得到潛在的夜間強(qiáng)光區(qū)域,將經(jīng)過此種準(zhǔn)則檢驗(yàn)的二值圖像稱為BW2 ; (5)采用步驟(3)的驗(yàn)證算法對(duì)二值圖BW2進(jìn)行處理,去除干擾區(qū)域,得到得到用Bfflmage2i表示檢測(cè)到的夜間強(qiáng)光區(qū)域; (6)將前景區(qū)域BWImageli和夜間強(qiáng)光區(qū)域BWImagdi進(jìn)行合并,得到最終的夜間圖像顯著區(qū)域BWImagei ; (7)對(duì)當(dāng)前夜間圖像的R、G、B三個(gè)通道分別進(jìn)行增強(qiáng)處理; (8)使用夜間圖像顯著區(qū)域BWImageJf當(dāng)前夜間圖像分割為兩部分,即顯著變化區(qū)域和背景不顯著變化區(qū)域,對(duì)于顯著變化區(qū)域,增強(qiáng)圖像的像素點(diǎn)取對(duì)應(yīng)位置經(jīng)過步驟(7)增強(qiáng)處理后夜間圖像像素點(diǎn)的數(shù)值;對(duì)于背景不顯著變化區(qū)域,增強(qiáng)圖像的像素點(diǎn)取白天背景圖像像素點(diǎn)的數(shù)值。
2.根據(jù)權(quán)利要求1所述的夜間監(jiān)控視頻增強(qiáng)方法,其特征在于,步驟(7)采用下式對(duì)當(dāng)前夜間圖像的RGB三個(gè)通道分別采用下式進(jìn)行增強(qiáng)處理
全文摘要
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域中的圖像增強(qiáng)處理領(lǐng)域,涉及一種夜間監(jiān)控視頻增強(qiáng)方法,包括分別提取白天視頻背景圖像和夜間視頻背景圖像;對(duì)于夜間圖像,利用夜間背景圖像,采用背景差的方法檢測(cè)運(yùn)動(dòng)目標(biāo),并去除干擾區(qū)域,得到前景區(qū)域;檢測(cè)夜間強(qiáng)光區(qū)域;將前景區(qū)域和夜間強(qiáng)光區(qū)域合并,得到最終的夜間圖像顯著區(qū)域;對(duì)當(dāng)前夜間圖像進(jìn)行增強(qiáng)處理;使用夜間圖像顯著區(qū)域?qū)?dāng)前夜間圖像分割為兩部分,即顯著變化區(qū)域和背景不顯著變化區(qū)域,對(duì)于顯著變化區(qū)域,增強(qiáng)圖像的像素點(diǎn)取對(duì)應(yīng)位置增強(qiáng)處理后夜間圖像像素點(diǎn)的數(shù)值;對(duì)于背景不顯著變化區(qū)域,增強(qiáng)圖像的像素點(diǎn)取白天背景圖像像素點(diǎn)的數(shù)值。本發(fā)明能夠恢復(fù)背景信息,提高夜間圖像的可視性。
文檔編號(hào)G06T5/50GK103020930SQ20121049153
公開日2013年4月3日 申請(qǐng)日期2012年11月26日 優(yōu)先權(quán)日2012年11月26日
發(fā)明者王建, 曹群 申請(qǐng)人:天津大學(xué)