本發(fā)明涉及高速公路隧道停車事件檢測技術(shù)領(lǐng)域,特別是一種融合多種特征的高速公路隧道停車事件分級(jí)識(shí)別方法。
背景技術(shù):
伴隨著高速公路建設(shè)在我國快速持續(xù)的發(fā)展,越來越多的高速公路隧道已經(jīng)投入到實(shí)際的運(yùn)行中。高速公路隧道能夠使交通環(huán)境復(fù)雜的地區(qū)實(shí)現(xiàn)高效快速地連接,與此同時(shí),由于完全不同的交通環(huán)境,又成為了制約高速公路持續(xù)健康發(fā)展的瓶頸。由于場景的封閉性和行車速度高的特點(diǎn),隧道內(nèi)發(fā)生停車事故后如果不能及時(shí)發(fā)現(xiàn)并有效處理,就容易導(dǎo)致二次事故的發(fā)生,甚至引起重特大交通事故,嚴(yán)重影響高速公路的正常運(yùn)行。
閱讀現(xiàn)有專利和論文,發(fā)現(xiàn)基于視頻的停車檢測方法主要有兩類,即基于目標(biāo)跟蹤和基于網(wǎng)格模型的方法?;谀繕?biāo)跟蹤的停車檢測方法,如昆明理工大學(xué)申請的“一種基于核密度估計(jì)的高速公路違章停車檢測方法”(cn:105513371)和重慶大學(xué)申請的“基于視頻檢測技術(shù)的高速公路隧道停車檢測方法”(cn:103617410,這類方法主要是獲取車輛目標(biāo)的運(yùn)動(dòng)信息,通過跟蹤車輛運(yùn)動(dòng)軌跡的質(zhì)心變化來確定是否是停車事件。但在隧道環(huán)境中,會(huì)出現(xiàn)影響車輛跟蹤的環(huán)境燈光和車輛燈光干擾,并且車輛停止時(shí)會(huì)經(jīng)常出現(xiàn)車燈閃爍的現(xiàn)象,導(dǎo)致檢測出的車輛位置發(fā)生跳變,所以直接采用這種方法會(huì)產(chǎn)生較高的誤檢率。而基于網(wǎng)絡(luò)模型的方法,如長安大學(xué)申請的“一種基于塊累積的高速公路車輛停車檢測方法”(cn:102110366),通過將視頻圖像分割的方式,然后通過統(tǒng)計(jì)相鄰塊區(qū)域的穩(wěn)定前景個(gè)數(shù)確定是否是停車事件。但在隧道環(huán)境中,由于車輛燈光和系統(tǒng)照明的干擾,有時(shí)會(huì)在圖像中形成局部光斑,導(dǎo)致二值化分割的效果不理想,容易引起誤檢。
因此,需要一種融合多種特征的高速公路隧道停車事件分級(jí)識(shí)別方法。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是提出一種融合多種特征的高速公路隧道停車事件分級(jí)識(shí)別方法;該方法可有效用于高速公路隧道停車事件的檢測。
本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的:
本發(fā)明提供的融合多種特征的高速公路隧道停車事件分級(jí)識(shí)別方法,包括以下步驟:
步驟一:從高速公路隧道攝像頭獲取視頻圖像,標(biāo)定各車道的感興趣區(qū)域并建立各車道0-1模板圖;
步驟二:利用視頻圖像建立隧道環(huán)境背景模型并提取前景目標(biāo);
步驟三:獲取單周期t內(nèi)視頻圖像特征以及各行車道前景圖像像素占比;
步驟四:根據(jù)各行車道前景像素占比情況修正相應(yīng)0-1模板圖,剔除偽前景目標(biāo);
步驟五:分別提取各車道實(shí)際感興趣區(qū)域內(nèi)的面積、輪廓和質(zhì)心;分車道匹配前一周期與后一周期間的質(zhì)心并記錄滿足閾值的質(zhì)心、面積以及車道號(hào);
步驟六:計(jì)算前景目標(biāo)的質(zhì)心方差、平均面積以及色度信息并根據(jù)對(duì)應(yīng)閾值進(jìn)行分級(jí)識(shí)別是否有停車事件發(fā)生。
進(jìn)一步,所述步驟一中感興趣區(qū)域的標(biāo)定,按照以下步驟進(jìn)行:
首先從高速公路隧道攝像頭獲取視頻圖像,并標(biāo)定各車道的感興趣區(qū)域;然后建立各車道的感興趣區(qū)域0-1模板圖。
進(jìn)一步,所述步驟二中前景目標(biāo)的提取按照以下步驟進(jìn)行:
利用步驟一中獲取的圖片序列,建立背景模型;
對(duì)背景模型實(shí)時(shí)更新;
采用背景差分獲取前景目標(biāo)。
進(jìn)一步,所述步驟三中單周期t內(nèi)視頻圖像特征的提取按照以下步驟進(jìn)行:
獲取單周期t內(nèi)圖像;
將單周期內(nèi)前景圖像像素按比例縮放并疊加,產(chǎn)生圖像imgfore_scale_sum;
記錄單周期內(nèi)當(dāng)前幀彩色圖像序列;
對(duì)各個(gè)車道前景圖像分別進(jìn)行形態(tài)學(xué)處理和二值化處理,并統(tǒng)計(jì)各行車道前景像素占比。
進(jìn)一步,所述步驟四中偽前景目標(biāo)的剔除按照以下步驟進(jìn)行:
根據(jù)各行車道前景像素占比情況,分別修正各行車道實(shí)際感興趣區(qū)域0-1二值圖;
剔除單周期內(nèi)imgfore_scale_sum圖中像素值過小的不穩(wěn)定像素點(diǎn)。
進(jìn)一步,所述步驟五中對(duì)前景目標(biāo)面積、輪廓和質(zhì)心特征的分析及處理按照以下步驟進(jìn)行:
縮放并平均以還原圖像imgfore_scale_sum,分車道提取二值化圖像后進(jìn)行形態(tài)學(xué)處理;
分別提取各車道實(shí)際感興趣區(qū)域內(nèi)的輪廓,計(jì)算面積介于上下閾值間的輪廓質(zhì)心;
分車道匹配前一周期與后一周期間的質(zhì)心并記錄相應(yīng)質(zhì)心、面積以及車道號(hào);
清除n個(gè)周期t內(nèi)質(zhì)心位置未發(fā)生改變的干擾目標(biāo)質(zhì)心和重復(fù)目標(biāo)質(zhì)心;
進(jìn)一步,所述步驟六中的停車事件的分級(jí)識(shí)別按照以下步驟進(jìn)行:
根據(jù)記錄的相應(yīng)質(zhì)心計(jì)算前景目標(biāo)質(zhì)心方差;
在質(zhì)心方差小于閾值情況下根據(jù)記錄的面積,計(jì)算面積均值;
在面積均值小于閾值情況下根據(jù)記錄的單周期內(nèi)當(dāng)前幀圖像序列,計(jì)算以質(zhì)心為中心平均矩形下的色度信息;
根據(jù)前景目標(biāo)質(zhì)心方差、平均面積以及色度信息等相應(yīng)閾值分級(jí)識(shí)別是否有停車事件發(fā)生。
由于采用了上述技術(shù)方案,本發(fā)明具有如下的優(yōu)點(diǎn):
本發(fā)明提供的融合多種特征的高速公路隧道停車事件分級(jí)識(shí)別方法,針對(duì)隧道內(nèi)各車道車輛燈光的互相影響,難以提取穩(wěn)定前景目標(biāo)的問題,將前景圖像進(jìn)行周期性疊加,按分車道考慮的方式,分別就各車道實(shí)現(xiàn)不穩(wěn)定前景像素點(diǎn)剔除和各車道不同閾值的二值化分割,實(shí)現(xiàn)了穩(wěn)定前景目標(biāo)的準(zhǔn)確提??;在此基礎(chǔ)上,針對(duì)隧道內(nèi)發(fā)生擁堵或車流量較大,容易造成偽穩(wěn)定前景目標(biāo)的問題,結(jié)合各車道前景目標(biāo)的占有率情況,修正占有率過大的相應(yīng)車道感興趣區(qū)域;同時(shí),充分考慮隧道早晚開關(guān)燈引起的前景突變,造成停車目標(biāo)誤檢測的問題,本發(fā)明就該情況下的偽停車目標(biāo)和實(shí)際情況下的停車目標(biāo)進(jìn)行了hsv顏色空間對(duì)比分析,用一定閾值范圍內(nèi)的顏色空間判斷條件來抑制隧道燈光突變引起的停車目標(biāo)誤檢測。
本發(fā)明從高速公路隧道實(shí)際環(huán)境出發(fā),利用停車目標(biāo)燈光閃爍產(chǎn)生的不穩(wěn)定前景,結(jié)合修正后的各車道感興趣區(qū)域,分車道對(duì)多幀融合的前景進(jìn)行閾值分割,在此基礎(chǔ)上提取前景目標(biāo)的動(dòng)態(tài)質(zhì)心周期性特征并初步識(shí)別停車事件,繼而通過分析前景目標(biāo)的靜態(tài)顏色和面積均值,逐級(jí)識(shí)別并最終確認(rèn)停車事件,形成一種融合多特征的高速公路隧道場景下的停車目標(biāo)分級(jí)識(shí)別方法。該方法能有效提取穩(wěn)定前景目標(biāo),合理抑制燈光突變和擁堵情況的停車誤檢測,實(shí)現(xiàn)對(duì)停車目標(biāo)的準(zhǔn)確識(shí)別,提高現(xiàn)有高速公路隧道停車事件檢測的準(zhǔn)確率。
本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述,并且在某種程度上,基于對(duì)下文的考察研究對(duì)本領(lǐng)域技術(shù)人員而言將是顯而易見的,或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書來實(shí)現(xiàn)和獲得。
附圖說明
本發(fā)明的附圖說明如下。
圖1是基于融合多種特征的高速公路隧道停車事件分級(jí)識(shí)別方法的流程示意圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
實(shí)施例1
本實(shí)施例提供的方法主要針對(duì)高速公路隧道實(shí)際應(yīng)用場景,通過研究隧道場景下停車目標(biāo)的靜態(tài)動(dòng)態(tài)特點(diǎn),分析實(shí)際停車目標(biāo)和偽停車目標(biāo)的特征差異,融合多特征對(duì)高速公路隧道場景下的停車目標(biāo)進(jìn)行分級(jí)識(shí)別;該方法首先結(jié)合修正后的各車道感興趣區(qū)域,利用分車道方法以及多幀前景融合方式提取前景的周期性特征并分析、處理,進(jìn)而以動(dòng)態(tài)質(zhì)心特征為首、靜態(tài)顏色、面積特征為輔逐級(jí)判斷是否有停車事件發(fā)生,實(shí)現(xiàn)對(duì)停車目標(biāo)的有效識(shí)別,提高現(xiàn)有高速公路隧道停車事件檢測的準(zhǔn)確率;具體包括以下六個(gè)步驟:
步驟一:標(biāo)定感興趣區(qū)域,主要包括以下兩個(gè)部分:
從高速公路隧道攝像頭獲取視頻圖像,并標(biāo)定各車道的感興趣區(qū)域;
建立各車道的感興趣區(qū)域0-1模板圖。
步驟二:提取前景目標(biāo),主要包括以下三個(gè)部分:
利用步驟一中獲取的圖片序列,建立背景模型;
對(duì)背景模型實(shí)時(shí)更新;
采用背景差分獲取前景目標(biāo)。
步驟三:獲取單周期t內(nèi)圖像特征,主要包括以下三個(gè)部分:
單周期內(nèi)前景圖像像素按比例縮放并疊加,產(chǎn)生圖像imgfore_scale_sum;
記錄單周期內(nèi)當(dāng)前幀彩色圖像序列;
各個(gè)車道前景圖像分別進(jìn)行形態(tài)學(xué)處理、二值化處理,并統(tǒng)計(jì)各行車道前景像素占比。
步驟四:剔除偽前景目標(biāo),主要包括以下兩個(gè)部分:
根據(jù)各行車道前景像素占比情況,分別修正各行車道實(shí)際感興趣區(qū)域0-1二值圖;
剔除單周期內(nèi)imgfore_scale_sum圖中像素值過小的不穩(wěn)定像素點(diǎn)。
步驟五:分析及處理前景目標(biāo)特征,主要包括以下四個(gè)部分:
縮放并平均以還原圖像imgfore_scale_sum,分車道提取二值化圖像后進(jìn)行形態(tài)學(xué)處理;
分別提取各車道實(shí)際感興趣區(qū)域內(nèi)的輪廓,計(jì)算面積介于上下閾值間的輪廓質(zhì)心;
分車道匹配前一周期與后一周期間的質(zhì)心并記錄相應(yīng)質(zhì)心、面積以及車道號(hào);
清除n個(gè)周期t內(nèi)質(zhì)心位置未發(fā)生改變的干擾目標(biāo)質(zhì)心和重復(fù)目標(biāo)質(zhì)心;
步驟六:分級(jí)識(shí)別停車事件,主要包括以下三個(gè)部分:
根據(jù)記錄的相應(yīng)質(zhì)心計(jì)算前景目標(biāo)質(zhì)心方差;
在質(zhì)心方差小于閾值情況下根據(jù)記錄的面積,計(jì)算面積均值;
在面積均值小于閾值情況下根據(jù)記錄的單周期內(nèi)當(dāng)前幀圖像序列,計(jì)算以質(zhì)心為中心平均矩形下的色度信息;
根據(jù)前景目標(biāo)質(zhì)心方差、平均面積以及色度信息等相應(yīng)閾值分級(jí)識(shí)別是否有停車事件發(fā)生。
實(shí)施例2
下面結(jié)合高速公路隧道停車事件分級(jí)識(shí)別方法的流程示意圖,對(duì)上述六個(gè)步驟進(jìn)行詳細(xì)的說明:
步驟一:標(biāo)定感興趣區(qū)域,主要包括以下三個(gè)部分:
從高速公路隧道攝像頭獲取視頻圖像,并手工標(biāo)定各個(gè)車道的感興趣區(qū)域,即標(biāo)定停車檢測區(qū)域,這能使處理的圖像范圍變小,從而減少計(jì)算量,提高算法時(shí)效性。感興趣區(qū)域一般選擇高速公路隧道內(nèi)車輛可到達(dá)區(qū)域,包括正常的行車道和緊急停車帶;
根據(jù)所標(biāo)定的坐標(biāo)分別生成各個(gè)車道的感興趣區(qū)域0-1模板圖,即對(duì)每個(gè)車道都生成一張感興趣區(qū)域像素值為255,非感興趣區(qū)域像素值為0的黑白圖像,從而使各車道分別單獨(dú)處理。
步驟二:提取前景目標(biāo),主要包括以下三個(gè)部分:
建立背景模型,這里采用高斯法建立背景模型;
對(duì)背景模型實(shí)時(shí)更新,采用基于像素變化率的背景更新方法,即連續(xù)三幀圖像中變化率小于某一閾值的像素點(diǎn)以一定的更新率實(shí)時(shí)更新。
將當(dāng)前幀圖像與背景圖像作差,獲得前景目標(biāo)。
步驟三:獲取單周期t內(nèi)圖像特征,主要包括以下三個(gè)部分:
單周期內(nèi)前景圖像像素按比例先縮放后疊加,得圖像imgfore_scale_sum,縮放比例為1/255,疊加次數(shù)為周期倒數(shù)。這里以8倍速率讀取視頻幀時(shí),周期t約取1/7或1/8;
記錄單周期內(nèi)當(dāng)前幀彩色圖像序列,為后級(jí)色度判斷提供原始圖像。
各個(gè)行車道前景圖像分別進(jìn)行形態(tài)學(xué)處理并采用閾值分割進(jìn)行二值化處理,并統(tǒng)計(jì)各行車道前景像素占比。形態(tài)學(xué)處理方法選擇開運(yùn)算,目的是去除較小的噪聲并且能夠填充一些間隙。二值化閾值的選取采用otsu最大類間方差法。前景占比fore_propo即二值化后圖像像素值為255的總數(shù)與相應(yīng)車道感興趣區(qū)域0-1模板圖中像素值為255的總數(shù)比值,采用公式
其中i僅表示行車道號(hào),pixel表示像素值,binary_image表示二值化后圖像,interest_image表示感興趣區(qū)域圖像。
步驟四:剔除偽前景目標(biāo),主要包括以下兩個(gè)部分:
根據(jù)各車道前景占比情況,分別修正各車道實(shí)際感興趣區(qū)域0-1二值圖,這里僅對(duì)前景占比大于一定閾值area_ratio的行車道感興趣區(qū)域0-1二值圖進(jìn)行修正,修正為像素值都為0的全黑圖,即剔除了車流大或者擁堵等情況對(duì)停車分析造成的干擾誤判,具體公式如下:
其中,i僅表示行車道號(hào),pixel表示像素值,r_interest_image表示各行車道實(shí)際感興趣區(qū)域,area_ratio取值為0.4;
剔除單周期內(nèi)imgfore_scale_sum圖中像素值小于閾值min_sum_pixel的像素點(diǎn),這部分像素點(diǎn)屬于不穩(wěn)定前景,令其為像素值為0,即
其中,min_sum_pixel取5或6。
步驟五:分析及處理前景目標(biāo)特征,主要包括以下四個(gè)部分:
先縮放后平均以還原圖像imgfore_scale_sum,并分車道采用閾值分割對(duì)該圖像進(jìn)行二值化處理和形態(tài)學(xué)操作??s放比例為255,考慮步驟五第二步中操作,二值化閾值的選取應(yīng)采用不考慮0像素點(diǎn)的otsu最大類間方差法;
分別提取各車道實(shí)際感興趣區(qū)域下內(nèi)的輪廓,并計(jì)算輪廓面積介于contour_area_min和contour_area_max之間的輪廓質(zhì)心,其分別取值為600和6800;
分車道匹配前個(gè)周期t與后個(gè)周期t間質(zhì)心,計(jì)算質(zhì)心間歐式距離:
其中,lastt和nextt分別表示前個(gè)周期t與后個(gè)周期t的質(zhì)心坐標(biāo)點(diǎn),并記錄質(zhì)心距離dis<dis_max的質(zhì)心對(duì)及其所對(duì)應(yīng)的的面積對(duì)和車道號(hào),dis_max取10像素值;
清空n個(gè)周期t內(nèi)3)中質(zhì)心位置不變的記錄,避免干擾目標(biāo)以及重復(fù)目標(biāo)質(zhì)心重復(fù)分析,n取值為4。
步驟六:分級(jí)識(shí)別停車事件,主要包括以下四個(gè)部分:
計(jì)算步驟五第3)步中所記錄的質(zhì)心方差cen_var,cen_var<cen_var_max時(shí)判定有穩(wěn)定前景目標(biāo),cen_var_max取值為8;
計(jì)算步驟五第3)步中所記錄的面積均值area_avg,area_ave<area_avg_max時(shí)判定為非擁堵狀況下的前景目標(biāo),area_avg_max取值為6800;
計(jì)算步驟三第2)步中所記錄的當(dāng)前幀彩色圖像序列平均色度信息,這里將rgb圖像轉(zhuǎn)化為hsv圖像,以色度(h)、飽和度(s)、明度(v)衡量色度信息。色度h>h_min,飽和度s>s_min,明度v>v_min時(shí)判定為非光斑狀況下的前景目標(biāo),h_min、s_min、v_min分別取值為55、45、150;
綜合步驟1)2)3)中信息判斷是否有停車事件發(fā)生,分級(jí)處理可以不計(jì)算偽目標(biāo)面積均值和平均色度信息,減少計(jì)算量,提高檢測時(shí)效性。
由于隧道內(nèi)不定時(shí)開關(guān)燈的影響,會(huì)在圖像中形成局部光斑。這種局部光斑經(jīng)常容易被處理成前景,通過背景更新需要很長時(shí)間才能消除。此類光斑剛出現(xiàn)時(shí),如果不加以區(qū)分,會(huì)被當(dāng)作穩(wěn)定前景目標(biāo)。而隧道環(huán)境內(nèi),車輛目標(biāo)停止時(shí)會(huì)有明顯的雙閃燈光,而局部光斑具有一致的偏白亮特性,采用色度信息可以區(qū)分是否為偽停車目標(biāo)。
同時(shí),由于隧道環(huán)境內(nèi)較小的行車空間限制,車流量較大或擁堵時(shí)會(huì)產(chǎn)生穩(wěn)定的前景目標(biāo),且其色度信息相比于正常停車目標(biāo)區(qū)分度很小。而形態(tài)學(xué)操作中的膨脹方法可以很好地連接鄰近像素點(diǎn),統(tǒng)計(jì)相應(yīng)前景像素點(diǎn)占比可解決車流量大或者擁堵產(chǎn)生的偽停車目標(biāo),步驟4第1)步和步驟6第2)步采用了相關(guān)手段。
最后說明的是,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制,盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換,而不脫離本技術(shù)方案的宗旨和范圍,其均應(yīng)涵蓋在本發(fā)明的保護(hù)范圍當(dāng)中。