本發(fā)明涉及一種夜間車流量統(tǒng)計(jì)方法，具體地說是一種基于kinect的夜間車流量統(tǒng)計(jì)及車型識(shí)別方法。

背景技術(shù)：

智能交通系統(tǒng)的快速發(fā)展為改善交通狀況和提高城市現(xiàn)代化管理水平，起到了關(guān)鍵性的作用。車流量檢測(cè)和車型分類是智能交通系統(tǒng)的重要組成部分。車輛的實(shí)時(shí)流量和路況信息，為交通部門運(yùn)營管理道路提供了合理的指導(dǎo)，當(dāng)車流過大時(shí)，及時(shí)采取應(yīng)急措施，可以有效的緩解交通擁堵，也可以指導(dǎo)人們合理選擇道路，方便行駛，減少交通擁擠，從而降低交通事故發(fā)生率。車流信息是道路基礎(chǔ)設(shè)施設(shè)計(jì)與改造的重要依據(jù)，也是打造車聯(lián)網(wǎng)、路聯(lián)網(wǎng)的重要基礎(chǔ)。

車流量統(tǒng)計(jì)傳統(tǒng)上采用埋在地下的電磁感應(yīng)線圈，但成本高、難維護(hù)，且安裝時(shí)需要破壞路面，逐漸被基于視頻檢測(cè)技術(shù)所代替?；跀z像機(jī)的白天車流量統(tǒng)計(jì)，已經(jīng)取得良好的效果，但在夜間光照不足、能見度較低、彩色圖像特征較少，很難準(zhǔn)確地檢測(cè)車流量，車型分類更是很難達(dá)到。

cn103177587a公開了一種基于機(jī)器視覺的夜間車流量檢測(cè)方法；cn103208185a公開了一種基于車燈識(shí)別的夜間車輛檢測(cè)方法及系統(tǒng)；cn103914701a公開了一種基于圖像的夜間車輛檢測(cè)方法；從目前公開的有關(guān)車流量統(tǒng)計(jì)和車輛檢測(cè)的文獻(xiàn)來看，較多的利用車燈作為顯著特征，把車燈作為檢測(cè)的主要特征，在夜間易受到周圍環(huán)境的影響，路燈、沿街商鋪燈光以及燈光照射在車輛上產(chǎn)生的反光，都會(huì)對(duì)車燈檢測(cè)產(chǎn)生嚴(yán)重的干擾，車燈損壞或者不開車燈，會(huì)出現(xiàn)車輛的漏檢，車燈照在地面上出現(xiàn)強(qiáng)反射光，會(huì)造成車輛的錯(cuò)檢。對(duì)于夜間車輛計(jì)數(shù)主要利用目標(biāo)跟蹤的方法，對(duì)于目標(biāo)跟蹤，主要利用車輛的形狀特征、顏色特征以及運(yùn)動(dòng)規(guī)律等，由于本身圖像特征信息較少，所以跟蹤難度較大，易產(chǎn)生跟蹤丟失等情況，且跟蹤算法的實(shí)時(shí)性較差。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明所要解決的技術(shù)問題是：提供了一種基于kinect的夜間車流量統(tǒng)計(jì)及車型識(shí)別方法，該方法采用kinect深度圖像和虛擬線圈算法，實(shí)現(xiàn)車流量統(tǒng)計(jì)和大小車型的分類，通過kinect獲取二維圖像所丟失的深度數(shù)據(jù)，獲取的深度數(shù)據(jù)具有穩(wěn)定度高、能夠還原真實(shí)場(chǎng)景等特點(diǎn)，相對(duì)彩色圖像來說獲取的信息更加豐富，能夠更好的檢測(cè)車輛和統(tǒng)計(jì)車流量，避免了現(xiàn)有技術(shù)中利用彩色圖像在夜間特征較少而出現(xiàn)的統(tǒng)計(jì)不準(zhǔn)確的問題，采用虛擬線圈算法，利用車輛目標(biāo)的連續(xù)性產(chǎn)生連續(xù)的計(jì)數(shù)信號(hào)，避免了復(fù)雜的特征提取與跟蹤，減少了運(yùn)算時(shí)間，具有成本低、易維護(hù)、實(shí)時(shí)性較好等特點(diǎn)。

本發(fā)明解決該技術(shù)問題所采用的技術(shù)方案是：提供一種基于kinect的夜間車流量統(tǒng)計(jì)及車型識(shí)別方法，該方法的具體步驟如下：

第一步，深度圖像采集：

在待統(tǒng)計(jì)的單車道或雙車道對(duì)應(yīng)的天橋或監(jiān)控立桿上垂直安裝kinect傳感器，設(shè)定車流量統(tǒng)計(jì)時(shí)間為t，采用openni驅(qū)動(dòng)同時(shí)獲取分辨率為320×240～640×480的深度圖像z(x,y)和彩色圖像，幀率為14pfs～30pfs；

第二步，深度圖像預(yù)處理：

通過對(duì)深度圖像進(jìn)行閾值分割獲得運(yùn)動(dòng)目標(biāo)深度圖，然后對(duì)運(yùn)動(dòng)目標(biāo)深度圖進(jìn)行形態(tài)學(xué)開操作消除噪聲；同時(shí)對(duì)深度圖像進(jìn)行空洞檢測(cè)獲得空洞深度圖，然后對(duì)空洞深度圖進(jìn)行形態(tài)學(xué)腐蝕操作消除噪聲；得到去噪前后的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖；

第三步，設(shè)置虛擬線圈：

在第一步采集的深度圖像中相對(duì)空洞數(shù)量最少的位置設(shè)置虛擬線圈，虛擬線圈在去噪前后的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖中的位置相同，所述虛擬線圈的長(zhǎng)度為車道寬度，虛擬線圈的寬度設(shè)置為10～50像素；

第四步，生成強(qiáng)度信號(hào)、空洞信號(hào)、計(jì)數(shù)信號(hào)、寬度特征信號(hào)和高度特征信號(hào)：

利用去噪后的運(yùn)動(dòng)目標(biāo)深度圖，在虛擬線圈內(nèi)計(jì)算積分，提取每一幀虛擬線圈內(nèi)的強(qiáng)度總和為強(qiáng)度信號(hào)，同時(shí)利用去噪后的空洞深度圖，在虛擬線圈內(nèi)計(jì)算積分，提取每一幀虛擬線圈內(nèi)的空洞個(gè)數(shù)為空洞信號(hào)，分別對(duì)強(qiáng)度信號(hào)和空洞信號(hào)進(jìn)行歸一化處理，然后進(jìn)行加權(quán)融合獲得計(jì)數(shù)信號(hào)；獲得計(jì)數(shù)信號(hào)后，在計(jì)數(shù)信號(hào)不為0時(shí)，在虛擬線圈內(nèi)計(jì)算車輛寬度特征信號(hào)w(t)和車輛高度特征信號(hào)h(t)；

車輛寬度特征信號(hào)w(t)的計(jì)算方法是：利用去噪前的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖，在去噪前的運(yùn)動(dòng)目標(biāo)深度圖的虛擬線圈內(nèi)檢測(cè)車輛的信息區(qū)域ψa，在去噪前的空洞深度圖的虛擬線圈內(nèi)檢測(cè)車輛的空洞信息區(qū)域ψb，把車輛的信息區(qū)域ψa和空洞信息區(qū)域ψb進(jìn)行融合，得到車輛的潛在區(qū)域φ＝ψa∪ψb，然后進(jìn)行形態(tài)學(xué)運(yùn)算和連通域檢測(cè)，設(shè)φmin為車輛區(qū)域面積最小值，在車輛潛在區(qū)域φ內(nèi)找到不小于車輛面積最小值φmin的區(qū)域，該區(qū)域即為車輛目標(biāo)區(qū)域φ′，即φ′≥φmin，利用車輛目標(biāo)區(qū)域φ′求出車輛區(qū)域的外接矩形，外接矩形的長(zhǎng)為該幀的車輛寬度特征，從而得到每一幀的車輛寬度特征信號(hào)w(t)；

車輛高度特征信號(hào)h(t)的計(jì)算方法是：設(shè)定車輛距離kinect傳感器的最大和最小距離分別為dmax和dmin，對(duì)第一步采集的深度圖像z(x,y)按照式(1)進(jìn)行閾值處理，去除不符合實(shí)際距離的點(diǎn)，得到有效深度圖像d(x,y)；

在有效深度圖像d(x,y)中所對(duì)應(yīng)的虛擬線圈內(nèi)提取距離kinect傳感器最近的n個(gè)深度點(diǎn)，n不少于5且不大于20，根據(jù)式(2)取n個(gè)深度點(diǎn)的平均值，把該平均值定義為該幀的車輛高度特征，即得到每一幀的車輛高度特征信號(hào)h(t)：

其中ji(t)為t幀時(shí)虛擬線圈內(nèi)距離kinect傳感器最近的n個(gè)深度點(diǎn)；

第五步，計(jì)數(shù)信號(hào)去噪、分段和車流量統(tǒng)計(jì)：

首先對(duì)第四步的計(jì)數(shù)信號(hào)，利用空間濾波器進(jìn)行去噪，然后利用零信號(hào)對(duì)去噪后的計(jì)數(shù)信號(hào)進(jìn)行分段，即有非零信號(hào)的情況下，連續(xù)出現(xiàn)5個(gè)以上個(gè)數(shù)的零信號(hào)就進(jìn)行分段，分段后，再判斷每段內(nèi)去噪后計(jì)數(shù)信號(hào)連續(xù)出現(xiàn)的個(gè)數(shù)是否不小于3，如果不小于3，則該段計(jì)為一臺(tái)車，如果小于3，則為噪聲信號(hào)，不進(jìn)行計(jì)數(shù)；最后得到在車流量統(tǒng)計(jì)時(shí)間t內(nèi)，單車道的車流量，完成單車道車流量統(tǒng)計(jì)工作；

第六步，車輛特征獲取和車型識(shí)別：

在一輛車的計(jì)數(shù)信號(hào)時(shí)段內(nèi)，設(shè)t1為信號(hào)段起始幀，t2為信號(hào)段終幀，取車輛寬度特征信號(hào)的最大值為該輛車的寬度特征，即取車輛高度特征信號(hào)的最小值為該輛車的高度特征，即利用事先離線訓(xùn)練好的svm分類器對(duì)大車和小車進(jìn)行分類；svm分類器的輸入特征向量為訓(xùn)練數(shù)據(jù)集每輛車的寬度特征和高度特征，輸出為大車和小車的類型標(biāo)簽；將檢測(cè)到的該輛車的寬度特征和高度特征輸入到svm分類器，完成車型識(shí)別。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明的突出的實(shí)質(zhì)性特點(diǎn)如下：

(1)利用價(jià)格低廉的kinect傳感器，提出深度虛擬線圈方法，即利用深度圖像產(chǎn)生運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖，結(jié)合虛擬線圈，并且巧妙的運(yùn)用kinect不能識(shí)別的空洞點(diǎn)，獲得以強(qiáng)度信號(hào)為主，空洞信號(hào)為輔的一維計(jì)數(shù)信號(hào)，解決夜間車流量檢測(cè)問題。

(2)準(zhǔn)確檢測(cè)車輛是否換道或跨車道線行駛，減少車輛統(tǒng)計(jì)的誤差，如果車道線為虛線(車道分界線)，在保證安全的情況下，允許車輛越線變換車道行駛，如果車道線為實(shí)線(道路中心線、機(jī)動(dòng)車非機(jī)動(dòng)車分界線)則不允許車輛跨越行駛，因此該系統(tǒng)可以對(duì)車輛的違法跨車道行駛行為進(jìn)行檢測(cè)。

(3)利用深度數(shù)據(jù)來獲取車輛的寬度特征和高度特征，并利用svm實(shí)現(xiàn)夜間車型的初步分類。

本發(fā)明的顯著進(jìn)步如下：

(1)本發(fā)明在夜間彩色圖像信息較少的情況下，通過kinect獲取二維圖像所丟失的深度數(shù)據(jù)，獲取的深度數(shù)據(jù)具有穩(wěn)定度高、能夠還原真實(shí)場(chǎng)景等特點(diǎn)，相對(duì)圖像來說獲取的信息更加豐富，能夠更好地檢測(cè)車輛和統(tǒng)計(jì)車流量。

(2)本發(fā)明采用虛擬線圈算法結(jié)合深度圖像，利用車輛目標(biāo)的連續(xù)性產(chǎn)生連續(xù)的計(jì)數(shù)信號(hào)，避免了復(fù)雜的特征提取與跟蹤，減少了運(yùn)算時(shí)間，具有成本低、易維護(hù)、實(shí)時(shí)性較好等特點(diǎn)。

(3)本發(fā)明計(jì)數(shù)精確度高，能夠準(zhǔn)確檢測(cè)車輛是否換道或跨車道線行駛，減少車輛統(tǒng)計(jì)的誤差，算法復(fù)雜度低，裝置價(jià)格低廉，不易受場(chǎng)景的光照變化、陰影及閉塞等影響。

(4)本發(fā)明為夜間環(huán)境下的車輛檢測(cè)、計(jì)數(shù)與識(shí)別提出一種快速、準(zhǔn)確、低成本的解決思路，具有較好的工程應(yīng)用價(jià)值。

附圖說明

圖1為本發(fā)明方法的步驟流程示意框圖。

圖2為本發(fā)明方法的深度圖像采集示意圖。

圖3為kinect傳感器采集的原始深度圖像及其生成的去噪后的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖；圖3(a)為原始深度圖像，圖3(b)為去噪后運(yùn)動(dòng)目標(biāo)深度圖，圖3(c)為去噪后空洞深度圖。

圖4為虛擬線圈與車道的相對(duì)設(shè)置示意圖，圖4(a)為單車道虛擬線圈設(shè)置示意圖，

圖4(b)為雙車道虛擬線圈設(shè)置示意圖。

圖5為實(shí)施例中得到的某一輛車的強(qiáng)度信號(hào)、空洞信號(hào)和計(jì)數(shù)信號(hào)的示意圖，其中圖5(a)強(qiáng)度信號(hào)、圖5(b)為空洞信號(hào)、圖5(c)為計(jì)數(shù)信號(hào)。

圖6為實(shí)施例1中單車道某120幀連續(xù)行駛的四輛車的計(jì)數(shù)信號(hào)示意圖。

圖7為本發(fā)明方法的車輛寬度特征計(jì)算示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說明。但并不以此作為對(duì)本申請(qǐng)權(quán)利要求保護(hù)范圍的限定。

本發(fā)明基于kinect的夜間車流量統(tǒng)計(jì)及車型識(shí)別方法，該方法將kinect深度圖像和虛擬線圈算法相結(jié)合，首先對(duì)kinect深度圖像進(jìn)行預(yù)處理，分別獲得運(yùn)動(dòng)目標(biāo)深度圖(motiondepthmap，簡(jiǎn)稱mdm)與空洞深度圖(holedepthmap，簡(jiǎn)稱hdm)，然后設(shè)置虛擬線圈，在虛擬線圈范圍內(nèi)利用積分圖像分別生成對(duì)應(yīng)的一維信號(hào)，對(duì)一維信號(hào)進(jìn)行加權(quán)合成獲得車輛運(yùn)動(dòng)特征的表達(dá)并進(jìn)行計(jì)數(shù)，最后在合成的計(jì)數(shù)信號(hào)范圍內(nèi)通過運(yùn)動(dòng)目標(biāo)深度圖空洞深度圖計(jì)算出車輛目標(biāo)的幾何特征，通過svm對(duì)大小車型進(jìn)行有效識(shí)別，具體步驟如下：

第一步，深度圖像采集：

在待統(tǒng)計(jì)的單車道或雙車道對(duì)應(yīng)的天橋或監(jiān)控立桿上垂直安裝kinect傳感器，設(shè)定車流量統(tǒng)計(jì)時(shí)間為t，采用openni驅(qū)動(dòng)同時(shí)獲取分辨率為320×240～640×480的深度圖像z(x,y)和彩色圖像，幀率為14pfs～30pfs；

第二步，深度圖像預(yù)處理：

通過對(duì)深度圖像進(jìn)行閾值分割獲得運(yùn)動(dòng)目標(biāo)深度圖，然后對(duì)運(yùn)動(dòng)目標(biāo)深度圖進(jìn)行形態(tài)學(xué)開操作消除噪聲；同時(shí)對(duì)深度圖像進(jìn)行空洞檢測(cè)獲得空洞深度圖，然后對(duì)空洞深度圖進(jìn)行形態(tài)學(xué)腐蝕操作消除噪聲；得到去噪前后的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖；

第三步，設(shè)置虛擬線圈：

為減少噪聲的影響，在第一步采集的深度圖像中相對(duì)空洞數(shù)量最少的位置設(shè)置虛擬線圈，虛擬線圈在去噪前后的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖中的位置相同，所述虛擬線圈的長(zhǎng)度為車道寬度，能夠覆蓋整個(gè)車道；所述車道寬度是指在深度圖像中呈現(xiàn)的車道寬度，虛擬線圈的寬度和車輛在虛擬線圈內(nèi)停留的時(shí)間關(guān)系為：ts＝(vl+m^*)/v，其中ts為停留時(shí)間(計(jì)數(shù)信號(hào)寬度)，vl為車輛長(zhǎng)度，m^*為虛擬線圈在真實(shí)場(chǎng)景的寬度，v為車輛行駛的速度，根據(jù)虛擬線圈的寬度和車輛在虛擬線圈內(nèi)停留的時(shí)間關(guān)系可知虛擬線圈的寬度越寬，車輛在虛擬線圈內(nèi)停留的時(shí)間越長(zhǎng)，計(jì)數(shù)信號(hào)的寬度也會(huì)越寬，漏檢率減少，但是也越容易受到地面車燈反射光的影響，造成系統(tǒng)的錯(cuò)檢，且計(jì)算量會(huì)越大，虛擬線圈的寬度越窄，車輛在虛擬線圈內(nèi)停留的時(shí)間越短，越容易使連續(xù)行駛的兩輛車分開，但計(jì)數(shù)信號(hào)寬度越窄，在車輛速度較快時(shí)，易產(chǎn)生漏檢的情況，虛擬線圈寬度一般設(shè)置為10～50像素，它需要根據(jù)實(shí)際環(huán)境的不同來調(diào)整；

第四步，生成強(qiáng)度信號(hào)、空洞信號(hào)、計(jì)數(shù)信號(hào)、寬度特征信號(hào)和高度特征信號(hào)：

利用去噪后的運(yùn)動(dòng)目標(biāo)深度圖，在虛擬線圈內(nèi)計(jì)算積分，提取每一幀虛擬線圈內(nèi)的強(qiáng)度總和為強(qiáng)度信號(hào)，同時(shí)利用去噪后的空洞深度圖，在虛擬線圈內(nèi)計(jì)算積分，提取每一幀虛擬線圈內(nèi)的空洞個(gè)數(shù)為空洞信號(hào)，分別對(duì)強(qiáng)度信號(hào)和空洞信號(hào)進(jìn)行歸一化處理，然后進(jìn)行加權(quán)融合獲得計(jì)數(shù)信號(hào)；獲得計(jì)數(shù)信號(hào)后，在計(jì)數(shù)信號(hào)不為0時(shí)，在虛擬線圈內(nèi)計(jì)算車輛寬度特征信號(hào)w(t)和車輛高度特征信號(hào)h(t)；

車輛寬度特征信號(hào)w(t)的計(jì)算方法是：利用去噪前的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖，在去噪前的運(yùn)動(dòng)目標(biāo)深度圖的虛擬線圈內(nèi)檢測(cè)車輛的信息區(qū)域ψa，在去噪前的空洞深度圖的虛擬線圈內(nèi)檢測(cè)車輛的空洞信息區(qū)域ψb，把車輛的信息區(qū)域ψa和空洞信息區(qū)域ψb進(jìn)行融合，得到車輛的潛在區(qū)域φ＝ψa∪ψb，然后進(jìn)行形態(tài)學(xué)運(yùn)算和連通域檢測(cè)，設(shè)φmin為車輛區(qū)域面積最小值，在車輛潛在區(qū)域φ內(nèi)找到不小于車輛面積最小值φmin的區(qū)域，該區(qū)域即為車輛目標(biāo)區(qū)域φ′，即φ′≥φmin，利用車輛目標(biāo)區(qū)域φ′求出車輛區(qū)域的外接矩形，外接矩形的長(zhǎng)為該幀的車輛寬度特征，從而得到每一幀的車輛寬度特征信號(hào)w(t)；

車輛高度特征信號(hào)h(t)的計(jì)算方法是：設(shè)定車輛距離kinect傳感器的最大和最小距離分別為dmax和dmin，對(duì)第一步采集的深度圖像z(x,y)按照式(1)進(jìn)行閾值處理，去除不符合實(shí)際距離的點(diǎn)，得到有效深度圖像d(x,y)；

在有效深度圖像d(x,y)中所對(duì)應(yīng)的虛擬線圈內(nèi)提取距離kinect傳感器最近的n個(gè)深度點(diǎn)，n不少于5且不大于20，根據(jù)式(2)取n個(gè)深度點(diǎn)的平均值，把該平均值定義為該幀的車輛高度特征，即得到每一幀的車輛高度特征信號(hào)h(t)：

其中ji(t)為t幀時(shí)虛擬線圈內(nèi)距離kinect傳感器最近的n個(gè)深度點(diǎn)；

第五步，計(jì)數(shù)信號(hào)去噪、分段和車流量統(tǒng)計(jì)：

由于計(jì)數(shù)信號(hào)會(huì)存在一定的噪聲，首先對(duì)第四步的計(jì)數(shù)信號(hào)，利用空間濾波器進(jìn)行去噪，然后利用零信號(hào)對(duì)去噪后的計(jì)數(shù)信號(hào)進(jìn)行分段，即有非零信號(hào)的情況下，連續(xù)出現(xiàn)5個(gè)以上個(gè)數(shù)的零信號(hào)就進(jìn)行分段，分段后，再判斷每段內(nèi)去噪后計(jì)數(shù)信號(hào)連續(xù)出現(xiàn)的個(gè)數(shù)是否不小于3，如果不小于3，則該段計(jì)為一臺(tái)車，如果小于3，則為噪聲信號(hào)，不進(jìn)行計(jì)數(shù)；最后得到在車流量統(tǒng)計(jì)時(shí)間t內(nèi)，單車道的車流量，完成單車道車流量統(tǒng)計(jì)工作；

第六步，車輛特征獲取和車型識(shí)別

在一輛車的計(jì)數(shù)信號(hào)時(shí)段內(nèi)，設(shè)t1為信號(hào)段起始幀，t2為信號(hào)段終幀，取車輛寬度特征信號(hào)的最大值為該輛車的寬度特征，即取車輛高度特征信號(hào)的最小值為該輛車的高度特征，即利用事先離線訓(xùn)練好的svm分類器對(duì)大車和小車進(jìn)行分類；svm分類器的輸入特征向量為訓(xùn)練數(shù)據(jù)集每輛車的寬度特征和高度特征，輸出為大車和小車的類型標(biāo)簽；將檢測(cè)到的該輛車的寬度特征和高度特征輸入到svm分類器，完成車型識(shí)別。本申請(qǐng)中考慮到車輛類型的巨大差異，將通行車輛主要分為兩個(gè)大類，即大型車輛與小型車輛。其中小型車輛主要為7座及7座以下的轎車和面包車，貨車、卡車及超過7座的公交車和客車等統(tǒng)一歸為大型車輛。

本發(fā)明方法的進(jìn)一步特征在于所述kinect傳感器在進(jìn)行單車道檢測(cè)時(shí)安裝在單車道的中線正上方，在進(jìn)行雙車道檢測(cè)時(shí)，kinect傳感器安裝在兩個(gè)相鄰車道的中線正上方，兩個(gè)單車道共用一個(gè)kinect傳感器進(jìn)行檢測(cè)。

本發(fā)明方法的進(jìn)一步特征在于，在需要對(duì)相鄰的兩個(gè)單車道進(jìn)行車流量統(tǒng)計(jì)時(shí)，在單車道進(jìn)行一次計(jì)數(shù)時(shí)后，需要進(jìn)行跨車道線檢測(cè)，跨車道線檢測(cè)的判斷條件為：

一、兩個(gè)單車道的虛擬線圈同時(shí)產(chǎn)生信號(hào)，且同時(shí)結(jié)束信號(hào)：

即設(shè)g1(t)、g2(t)分別為兩個(gè)單車道的虛擬線圈的計(jì)數(shù)信號(hào)，ta、tb分別為信號(hào)段內(nèi)連續(xù)信號(hào)的起始幀和終止幀，則在幀數(shù)[ta,tb]內(nèi)滿足：[ta,tb]＝{t|(g1(t)＞0,g2(t)＞0,t∈[ta,tb])∪(g1(t)＝0,g2(t)＝0,t∈[ta,tb])}；

二、兩個(gè)單車道的虛擬線圈中車輛對(duì)應(yīng)的外接矩形均接近兩個(gè)單車道的虛擬線圈的交界線：

即設(shè)相鄰兩個(gè)外接矩形的左上角坐標(biāo)分別為(x1,y1)和(x2,y2)，外接矩形的寬分別為w1和w2，則滿足：|(x1+w1)-x2|≤μ，其中μ為常數(shù)(0或1)；

三、在單一虛擬線圈中檢測(cè)的每一幀的車輛寬度特征均不大于單車道寬度閾值且相鄰兩個(gè)虛擬線圈檢測(cè)的每一幀的車輛寬度特征之和小于雙車道寬度閾值η，即滿足：w1+w2≤η，其中和η為常數(shù)，取車道虛擬線圈寬度的85-95％，η取雙車道虛擬線圈寬度和的60-70％；

若為雙車道時(shí)，在車輛跨車道線時(shí)兩個(gè)虛擬線圈都會(huì)計(jì)數(shù)，會(huì)產(chǎn)生誤差，需對(duì)跨車道線行為進(jìn)行檢測(cè)，在兩個(gè)單車道的車流量統(tǒng)計(jì)總結(jié)果上減去跨車道的車輛數(shù)目，去除計(jì)數(shù)誤差，得到兩個(gè)相鄰單車道車流量統(tǒng)計(jì)數(shù)據(jù)。

本發(fā)明方法的進(jìn)一步特征在于，所述第二步中的深度圖像預(yù)處理的具體方法是：按照式(3)對(duì)深度圖像z(x,y)進(jìn)行閾值分割獲得運(yùn)動(dòng)目標(biāo)深度圖m(x,y)，

其中τ為深度閾值，用以消除場(chǎng)景的背景信息；

然后按照式(4)對(duì)運(yùn)動(dòng)目標(biāo)深度圖進(jìn)行形態(tài)學(xué)開操作，剔除零散的噪聲點(diǎn)，獲得更好的運(yùn)動(dòng)特征表達(dá)，得到去噪后運(yùn)動(dòng)目標(biāo)深度圖m′(x,y)，

其中sm為形態(tài)學(xué)結(jié)構(gòu)單元，為開操作；

按照式(5)對(duì)深度圖像進(jìn)行空洞檢測(cè)獲得空洞深度圖h(x,y)，然后按照式(6)對(duì)空洞深度圖進(jìn)行形態(tài)學(xué)腐蝕操作，剔除空洞深度圖中車燈光照射在地面而產(chǎn)生的噪聲以及非車輛影響而產(chǎn)生的零散噪聲點(diǎn)或者區(qū)塊，得到去噪后的空洞深度圖h′(x,y)，

h′(x,y)＝h(x,y)θsh(6)，

其中sh為形態(tài)學(xué)結(jié)構(gòu)單元，θ為腐蝕操作。

本發(fā)明方法的進(jìn)一步特征在于，所述第四步中的強(qiáng)度信號(hào)、空洞信號(hào)和計(jì)數(shù)信號(hào)生成的方法如下：虛擬線圈內(nèi)的強(qiáng)度信號(hào)為

其中ω為深度圖像中的虛擬線圈；

虛擬線圈內(nèi)的空洞信號(hào)為

利用歸一化系數(shù)對(duì)強(qiáng)度信號(hào)和空洞信號(hào)進(jìn)行歸一化處理，強(qiáng)度信號(hào)歸一化系數(shù)為μ0＝1/(m×n×c)，空洞信號(hào)歸一化系數(shù)為η0＝1/(m×n)，其中n和m分別為虛擬線圈ω的長(zhǎng)和寬，c為原始深度圖像的像素最大值，歸一化后的強(qiáng)度信號(hào)和空洞信號(hào)為：p′(t)＝μ0p(t)和q′(t)＝η0q(t)，

利用加權(quán)融合獲得計(jì)數(shù)信號(hào)：g(t)＝αp′(t)+βq′(t)，

其中α和β分別為強(qiáng)度信號(hào)和空洞信號(hào)的權(quán)重。

本發(fā)明方法的進(jìn)一步特征在于，第五步中所述的空間濾波器的表達(dá)式為式(7)，

其中i＝-2,-1,0,1,2；g(t)為t幀的計(jì)數(shù)信號(hào)，g(t+i)為g(t)在t幀對(duì)應(yīng)的鄰域的計(jì)數(shù)信號(hào)，g(t)為對(duì)應(yīng)的濾波后信號(hào)；

設(shè)計(jì)數(shù)信號(hào)段的幀數(shù)范圍為[t1,t2]，則連續(xù)計(jì)數(shù)信號(hào)的寬度計(jì)數(shù)準(zhǔn)則為：在計(jì)數(shù)信號(hào)段內(nèi)如果有一定數(shù)量的連續(xù)計(jì)數(shù)信號(hào)就進(jìn)行計(jì)數(shù)即kw≥kmin，其中kmin定義為車輛計(jì)數(shù)所需連續(xù)計(jì)數(shù)信號(hào)的最小寬度。

圖1所示實(shí)施例表明，本發(fā)明方法的步驟流程是：深度圖像采集→深度圖像預(yù)處理→設(shè)置虛擬線圈→生成強(qiáng)度信號(hào)、空洞信號(hào)、計(jì)數(shù)信號(hào)、寬度特征信號(hào)和高度特征信號(hào)→計(jì)數(shù)信號(hào)去噪、分段和車流量統(tǒng)計(jì)→車輛特征獲取和車型識(shí)別。

圖2所示實(shí)施例表明，垂直安裝kinect傳感器采集深度圖像的模型，圖中黑色為垂直安裝的kinect傳感器，下面是正在通過的車輛。

圖7所示實(shí)施例表明，車輛檢測(cè)過程和車輛寬度特征獲取過程，利用去噪前的運(yùn)動(dòng)目標(biāo)深度圖(如圖7中(a))和空洞深度圖(如圖7中(b))，在去噪前的運(yùn)動(dòng)目標(biāo)深度圖的虛擬線圈內(nèi)檢測(cè)車輛的信息區(qū)域ψa(如圖7中(c))，在去噪前的空洞深度圖的虛擬線圈內(nèi)檢測(cè)車輛的空洞信息區(qū)域ψb(如圖7中(d))，把車輛的信息區(qū)域ψa和空洞信息區(qū)域ψb進(jìn)行融合，得到車輛的潛在區(qū)域φ＝ψa∪ψb(如圖7中(e))，然后進(jìn)行形態(tài)學(xué)運(yùn)算和連通域檢測(cè)，利用目標(biāo)的大小進(jìn)行限制得到車輛區(qū)域φ′(如圖7中(f))，最后求車輛區(qū)域的外接矩形(如圖7中(g))。

實(shí)施例1

本實(shí)施例基于kinect的夜間車流量統(tǒng)計(jì)及車型識(shí)別方法，同時(shí)統(tǒng)計(jì)單車道的車流量和相鄰兩個(gè)單車道(雙車道)的實(shí)際車流量，具體步驟是：

第一步，深度圖像采集：

把kinect傳感器垂直安裝在武漢市友誼大道武漢理工大學(xué)二橋上，車流量數(shù)據(jù)采集時(shí)段為晚上19點(diǎn)到22點(diǎn)之間，kinect傳感器的有效成像范圍在0.8m～4m之間，最大為10m，而現(xiàn)實(shí)中大部分天橋和監(jiān)控立桿的高度約為4m～6m，考慮到被檢測(cè)車輛會(huì)有一定的高度，因此可以將其安裝在絕大部分天橋或現(xiàn)有的監(jiān)控立桿上，實(shí)現(xiàn)對(duì)車輛的深度數(shù)據(jù)采集，對(duì)于kinect傳感器的攝像頭安裝的高度大約為5.6m，且安裝在兩個(gè)相鄰車道的中線正上方，兩個(gè)單車道共用一個(gè)kinect傳感器進(jìn)行檢測(cè)。分別針對(duì)單車道和雙車道的車流量進(jìn)行檢測(cè)與計(jì)數(shù)，采用openni驅(qū)動(dòng)同時(shí)獲取分辨率為640×480的深度圖像和彩色圖像，最大幀率為30pfs，算法利用c/c++語言和opencv庫實(shí)現(xiàn)；

第二步，深度圖像預(yù)處理：

由于kinect傳感器通過發(fā)射紅外線來獲取深度信息，導(dǎo)致kinect傳感器針對(duì)吸收紅外線的材料、不能反射激光散斑的特殊結(jié)構(gòu)以及成像范圍之外的場(chǎng)景不能有效進(jìn)行深度成像，從而在深度圖中會(huì)形成空洞現(xiàn)象(即該區(qū)域?qū)?yīng)的深度值為0)，由于kinect傳感器的成像特性，在檢測(cè)車輛時(shí)，會(huì)在如下情況下產(chǎn)生空洞情況：①黑顏色車輛、②車輛前后擋風(fēng)玻璃以及玻璃天窗、④強(qiáng)烈光照和⑤噪聲，其中黑顏色的車體對(duì)kinect發(fā)射的紅外線進(jìn)行吸收，不能產(chǎn)生足夠的反射信號(hào)完成對(duì)深度的感知，kinect發(fā)射紅外線到玻璃表面，會(huì)產(chǎn)生強(qiáng)烈的折射現(xiàn)象，同樣也不能有效地反射激光散斑實(shí)現(xiàn)深度感知。強(qiáng)烈的光照(如車燈的照射)作用在kinect感知區(qū)域會(huì)對(duì)kinect產(chǎn)生的紅外信號(hào)產(chǎn)生嚴(yán)重干擾，也不能正常進(jìn)行深度成像，此外由于噪聲產(chǎn)生的空洞也廣泛存在于深度圖中，對(duì)車輛檢測(cè)將會(huì)產(chǎn)生強(qiáng)烈的干擾，特別是在夜間環(huán)境中，以上情況嚴(yán)重影響了車輛的深度感知，需要針對(duì)這些空洞情況進(jìn)行特別處理，從而實(shí)現(xiàn)對(duì)車輛的有效感知與計(jì)數(shù)。

按照式(3)對(duì)深度圖像z(x,y)進(jìn)行閾值分割獲得運(yùn)動(dòng)目標(biāo)深度圖m(x,y)，

其中τ為深度閾值，用以消除場(chǎng)景的背景信息，深度閾值選擇為5400mm；

然后按照式(4)對(duì)運(yùn)動(dòng)目標(biāo)深度圖進(jìn)行形態(tài)學(xué)開操作，剔除零散的噪聲點(diǎn)，獲得更好的運(yùn)動(dòng)特征表達(dá)，得到去噪后運(yùn)動(dòng)目標(biāo)深度圖m′(x,y)，

其中sm為形態(tài)學(xué)結(jié)構(gòu)單元，為開操作；

除運(yùn)動(dòng)特征外，空洞信息也是車輛檢測(cè)提供重要的依據(jù)，如黑車對(duì)應(yīng)的深度圖中無法有效檢測(cè)出深度信息，強(qiáng)烈依賴空洞信息實(shí)現(xiàn)檢測(cè)，按照式(5)對(duì)深度圖像進(jìn)行空洞檢測(cè)獲得空洞深度圖h(x,y)，然后按照式(6)對(duì)空洞深度圖進(jìn)行形態(tài)學(xué)腐蝕操作，剔除空洞深度圖中車燈光照射在地面而產(chǎn)生的噪聲以及非車輛影響而產(chǎn)生的零散噪聲點(diǎn)或者區(qū)塊，得到去噪后的空洞深度圖h′(x,y)，

h′(x,y)＝h(x,y)θsh(6)，

其中sh為形態(tài)學(xué)結(jié)構(gòu)單元，θ為腐蝕操作。

第三步，設(shè)置虛擬線圈：

在去噪前后的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖中的同一個(gè)位置設(shè)置虛擬線圈，為了減少噪聲的影響需要在第一步采集的深度圖像中空洞數(shù)量最少的位置設(shè)置虛擬線圈，虛擬線圈的長(zhǎng)度為車道寬度，能夠覆蓋整個(gè)車道，確保不會(huì)出現(xiàn)漏檢，雙車道虛擬線圈長(zhǎng)度設(shè)置為270像素，寬度設(shè)置為20像素；

第四步，生成強(qiáng)度信號(hào)、空洞信號(hào)、計(jì)數(shù)信號(hào)、寬度特征信號(hào)和高度特征信號(hào)：

虛擬線圈內(nèi)的強(qiáng)度信號(hào)為其中ω為深度圖像中的虛擬線圈，虛擬線圈內(nèi)的空洞信號(hào)為利用歸一化系數(shù)對(duì)強(qiáng)度信號(hào)和空洞信號(hào)進(jìn)行歸一化處理，強(qiáng)度信號(hào)歸一化系數(shù)為μ0＝1/(m×n×255)，空洞信號(hào)歸一化系數(shù)為η0＝1/(m×n)，其中n和m分別為虛擬線圈ω的長(zhǎng)和寬，歸一化后的強(qiáng)度信號(hào)和空洞信號(hào)為：p′(t)＝μ0p(t)和q′(t)＝η0q(t)，利用加權(quán)融合獲得計(jì)數(shù)信號(hào)：

g(t)＝αp′(t)+βq′(t)，其中α和β分別為強(qiáng)度信號(hào)和空洞信號(hào)的權(quán)重，強(qiáng)度信號(hào)權(quán)值α為360，空洞信號(hào)權(quán)值β為240；其中某一輛車的強(qiáng)度信號(hào)、空洞信號(hào)及計(jì)數(shù)信號(hào)分別如圖5中所示。

獲得計(jì)數(shù)信號(hào)后，在計(jì)數(shù)信號(hào)不為0時(shí)，在虛擬線圈內(nèi)計(jì)算車輛寬度特征信號(hào)w(t)和車輛高度特征信號(hào)h(t)；

車輛寬度特征信號(hào)w(t)的計(jì)算方法是：利用去噪前的運(yùn)動(dòng)目標(biāo)深度圖和空洞深度圖，在去噪前的運(yùn)動(dòng)目標(biāo)深度圖的虛擬線圈內(nèi)檢測(cè)車輛的信息區(qū)域ψa，在去噪前的空洞深度圖的虛擬線圈內(nèi)檢測(cè)車輛的空洞信息區(qū)域ψb，把車輛的信息區(qū)域ψa和空洞信息區(qū)域ψb進(jìn)行融合，得到車輛的潛在區(qū)域φ＝ψa∪ψb，然后進(jìn)行形態(tài)學(xué)運(yùn)算和連通域檢測(cè)，設(shè)φmin為車輛區(qū)域面積最小值，在車輛潛在區(qū)域φ內(nèi)找到不小于車輛面積最小值φmin的區(qū)域，該區(qū)域即為車輛目標(biāo)區(qū)域φ′，即φ′≥φmin，利用車輛目標(biāo)區(qū)域φ′求出車輛區(qū)域的外接矩形，

外接矩形的長(zhǎng)為車輛的寬度，從而得到每一幀的車輛寬度特征信號(hào)w(t)；

車輛高度特征信號(hào)h(t)的計(jì)算方法是：設(shè)定車輛距離kinect傳感器的最大和最小距離分別為dmax和dmin，對(duì)第一步采集的深度圖像z(x,y)按照式(1)進(jìn)行閾值處理，去除不符合實(shí)際距離的點(diǎn)，得到有效深度圖像d(x,y)：

在有效深度圖像d(x,y)中所對(duì)應(yīng)的虛擬線圈內(nèi)提取距離kinect傳感器最近的5個(gè)深度點(diǎn)，根據(jù)式(2)取5個(gè)深度點(diǎn)的平均值，把該平均值定義為車輛的高度特征，即得到每一幀的車輛高度特征信號(hào)h(t)：

其中ji(t)為t幀時(shí)虛擬線圈內(nèi)距離kinect傳感器最近的5個(gè)深度點(diǎn)；

第五步，計(jì)數(shù)信號(hào)去噪、分段和車流量統(tǒng)計(jì)：

由于計(jì)數(shù)信號(hào)會(huì)存在一定的噪聲，首先對(duì)第四步的計(jì)數(shù)信號(hào)，利用空間濾波器進(jìn)行去噪，然后利用零信號(hào)對(duì)去噪后的計(jì)數(shù)信號(hào)進(jìn)行分段，即有非零信號(hào)的情況下，連續(xù)出現(xiàn)5個(gè)零信號(hào)就進(jìn)行分段；

所述空間濾波器對(duì)計(jì)數(shù)信號(hào)進(jìn)行噪聲消除的表達(dá)式為式(7)，

其中i＝-2,-1,0,1,2；g(t)為t幀的計(jì)數(shù)信號(hào)，g(t+i)為g(t)在t幀對(duì)應(yīng)的鄰域的計(jì)數(shù)信號(hào)，g(t)為對(duì)應(yīng)的濾波后信號(hào)；

然后對(duì)進(jìn)行車流計(jì)數(shù)，設(shè)計(jì)數(shù)信號(hào)段的幀數(shù)范圍為[t1,t2]，則連續(xù)計(jì)數(shù)信號(hào)的寬度計(jì)數(shù)準(zhǔn)則為：在計(jì)數(shù)信號(hào)段內(nèi)如果有一定數(shù)量的連續(xù)計(jì)數(shù)信號(hào)就進(jìn)行計(jì)數(shù)即kw≥kmin，其中kmin定義為車輛計(jì)數(shù)所需連續(xù)計(jì)數(shù)信號(hào)的最小寬度，kmin取3；如果不小于3，則該段計(jì)為一臺(tái)車，如果小于3，則為噪聲信號(hào)，不進(jìn)行計(jì)數(shù)；圖6為在單車道中某120幀多個(gè)計(jì)數(shù)信號(hào)段內(nèi)的計(jì)數(shù)信號(hào)情況，從圖中可以看出按照上述的方式通過分段可以獲得每一輛車的計(jì)數(shù)信號(hào)。

最后得到在車流量統(tǒng)計(jì)時(shí)間t內(nèi)，單車道的車流量，完成單車道車流量統(tǒng)計(jì)工作；

第六步，車輛特征獲取和車型識(shí)別：

在一輛車的計(jì)數(shù)信號(hào)時(shí)段內(nèi)，設(shè)t1為信號(hào)段起始幀，t2為信號(hào)段終幀，取車輛寬度特征信號(hào)的最大值為該輛車的寬度特征，即取車輛高度特征信號(hào)的最小值為該輛車的高度特征，即利用事先離線訓(xùn)練好的svm分類器對(duì)大車和小車進(jìn)行分類；svm分類器的輸入特征向量為訓(xùn)練數(shù)據(jù)集每輛車的寬度特征和高度特征，輸出為大車和小車的類型標(biāo)簽；將檢測(cè)到的該輛車的寬度特征和車輛的高度特征輸入到svm分類器，完成車型識(shí)別。

統(tǒng)計(jì)相鄰的兩個(gè)單車道的車流量時(shí)，在單車道進(jìn)行一次計(jì)數(shù)時(shí)后，需要進(jìn)行跨車道線檢測(cè)，跨車道線檢測(cè)的判斷條件為：

一、兩個(gè)單車道的虛擬線圈同時(shí)產(chǎn)生信號(hào)，且同時(shí)結(jié)束信號(hào)：

即設(shè)g1(t)、g2(t)分別為兩個(gè)單車道的虛擬線圈的計(jì)數(shù)信號(hào)，ta、tb分別為信號(hào)段內(nèi)連續(xù)信號(hào)的起始幀和終止幀，則在幀數(shù)[ta,tb]內(nèi)滿足：[ta,tb]＝{t|(g1(t)＞0,g2(t)＞0,t∈[ta,tb])∪(g1(t)＝0,g2(t)＝0,t∈[ta,tb])}；

二、兩個(gè)單車道的虛擬線圈中車輛對(duì)應(yīng)的外接矩形均接近兩個(gè)單車大的虛擬線圈的交界線：

即設(shè)相鄰兩個(gè)外接矩形的左上角坐標(biāo)分別為(x1,y1)和(x2,y2)，外接矩形的寬分別為w1和w2，則滿足：|(x1+w1)-x2|≤μ，其中μ為常數(shù)1；

三、在單一虛擬線圈中檢測(cè)的每一幀的車輛寬度特征均不大于單車道寬度閾值且相鄰兩個(gè)虛擬線圈檢測(cè)的每一幀的車輛寬度特征之和小于雙車道寬度閾值η，即滿足：w1+w2≤η，其中和η為常數(shù)，和η分別取250像素和350像素；

在統(tǒng)計(jì)雙車道車流量時(shí)，兩個(gè)虛擬線圈都會(huì)計(jì)數(shù)，會(huì)產(chǎn)生誤差，因此在兩個(gè)單車道的車流量統(tǒng)計(jì)總結(jié)果上減去跨車道的車輛數(shù)目，去除計(jì)數(shù)誤差，得到兩個(gè)相鄰單車道車流量統(tǒng)計(jì)數(shù)據(jù)。

本實(shí)施例以武漢市友誼大道武漢理工大學(xué)二橋下為試驗(yàn)場(chǎng)景，車流量數(shù)據(jù)采集時(shí)段為晚上19點(diǎn)到22點(diǎn)之間，采集20分鐘視頻。對(duì)雙車道數(shù)據(jù)用本方法實(shí)現(xiàn)車輛檢測(cè)、車輛計(jì)數(shù)以及跨車道線檢測(cè)。對(duì)于單車道與雙車道的車流量計(jì)數(shù)正確率分別高達(dá)99.51％與99.25％，且能夠全部識(shí)別試驗(yàn)時(shí)間段內(nèi)的車輛換道行為。

實(shí)施例2

本實(shí)施例基于kinect的夜間車流量統(tǒng)計(jì)及車型識(shí)別方法具體步驟同實(shí)施例1，不同之處在于本實(shí)施例專門針對(duì)一個(gè)單車道進(jìn)行車流量統(tǒng)計(jì)，在第一步深度圖像采集時(shí)，將kinect傳感器垂直安裝在武漢市友誼大道武漢理工大學(xué)二橋上，對(duì)于kinect傳感器的攝像頭安裝的高度大約為5.5m，且安裝在待統(tǒng)計(jì)的單車道的中線正上方；在第三步設(shè)置虛擬線圈時(shí)，單車道虛擬線圈長(zhǎng)度設(shè)置為310像素，寬度設(shè)置為20像素。完成第六步車輛特征獲取和車型識(shí)別后就完成了整個(gè)車流量統(tǒng)計(jì)及車型識(shí)別過程。本實(shí)施例不進(jìn)行跨車道線檢測(cè)。

以武漢市友誼大道武漢理工大學(xué)二橋下為試驗(yàn)場(chǎng)景，車流量數(shù)據(jù)采集時(shí)段為晚上19點(diǎn)到22點(diǎn)之間，采集100分鐘視頻。對(duì)單車道數(shù)據(jù)用本實(shí)施例方法實(shí)現(xiàn)車輛檢測(cè)、車輛計(jì)數(shù)以及車型識(shí)別，單車道車流量計(jì)數(shù)正確率高達(dá)99.75％，大小車型分類正確率可達(dá)99.80％，處理單張圖片的平均時(shí)間約為7ms。

上述實(shí)施例證明本發(fā)明所采用的基于kinect深度圖像和虛擬線圈的統(tǒng)計(jì)方法，實(shí)現(xiàn)了精準(zhǔn)的車流量統(tǒng)計(jì)，為夜間環(huán)境下的車輛檢測(cè)、計(jì)數(shù)與識(shí)別提出一種快速、準(zhǔn)確、低成本的解決思路，具有較好的工程應(yīng)用價(jià)值。

本發(fā)明未述及之處適用于現(xiàn)有技術(shù)。