本發(fā)明涉及計(jì)算機(jī)機(jī)器視覺(jué)分類技術(shù)，特別涉及利用高斯背景建模結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)車型分類的方法。

背景技術(shù)：

隨著社會(huì)和經(jīng)濟(jì)的快速發(fā)展，智能交通系統(tǒng)(its)在交通管理中起到越來(lái)越重要的作用。通過(guò)its系統(tǒng)采集到的車流量、車均速等交通參數(shù)數(shù)據(jù)能夠?yàn)榻煌ü芾聿块T分析和管理提供可靠的依據(jù)。傳統(tǒng)的車輛檢測(cè)方法是使用感應(yīng)線圈來(lái)采集交通參數(shù)，這種方法容易破壞路面，安裝維護(hù)比較麻煩。而基于視覺(jué)的視頻檢測(cè)技術(shù)除了能夠采集到交通參數(shù)，還能進(jìn)行車型分類。而且監(jiān)控視頻的車輛檢測(cè)技術(shù)是its領(lǐng)域的重要研究?jī)?nèi)容之一，多年來(lái)一直得到國(guó)內(nèi)外研究人員的重視，并且取得了很大的進(jìn)展。

在實(shí)際場(chǎng)景中，復(fù)雜背景，光照變化，車輛的形狀，顏色，尺度和外觀差異較大，目前運(yùn)動(dòng)車輛視頻檢測(cè)的魯棒性存在問(wèn)題。檢測(cè)算法按基本原理可劃分為幀間差分法、光流法、背景差法等，這些方法均存在一些不足：利用幀間像素值的差異變化來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)，但檢測(cè)處理后的目標(biāo)輪廓往往不完整，尤對(duì)目標(biāo)運(yùn)動(dòng)速度過(guò)慢，效果不好；利用光流計(jì)算出各像素點(diǎn)的運(yùn)動(dòng)狀態(tài)矢量，但易受噪聲、光照等干擾；通過(guò)當(dāng)前幀與背景模型差分提取前景運(yùn)動(dòng)目標(biāo)，其中廣泛使用的高斯混合模型，通過(guò)不斷更新來(lái)適應(yīng)背景擾動(dòng)，但對(duì)光照、陰影，樹葉擾動(dòng)也還不夠理想。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題是：現(xiàn)有技術(shù)無(wú)法克服高斯混合模型在光照變化和樹枝的晃動(dòng)下造成的誤檢，識(shí)別精度有待提高。

本發(fā)明的技術(shù)方案為：高斯背景建模與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的視頻車型分類方法，通過(guò)使用混合高斯模型提取運(yùn)動(dòng)目標(biāo)，并將運(yùn)動(dòng)目標(biāo)送循環(huán)神經(jīng)網(wǎng)絡(luò)提取特征，根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的向量判斷目標(biāo)是否為車輛以及車輛類型，步驟如下：

步驟1：混合高斯背景建模，提取運(yùn)動(dòng)目標(biāo)區(qū)域：

1.1)初始化高速公路背景，首先利用視頻的前n幀連續(xù)視頻流圖像來(lái)構(gòu)建高速公路背景；

1.2)對(duì)前n幀的每一幀圖像的每個(gè)像素點(diǎn)的灰度值用k個(gè)高斯分布來(lái)近似逼近，設(shè)像素點(diǎn)在與當(dāng)前幀最近的t幀圖中灰度值為{x1,x2……，xt}＝{i(x0,i)|1≤i≤t}，其中變量xt表示像素點(diǎn)在t時(shí)刻對(duì)應(yīng)的像素灰度值，表示第k個(gè)高斯分布在t時(shí)刻的狀態(tài)，it表示當(dāng)前像素點(diǎn)的像素值，μk,t表示當(dāng)前像素點(diǎn)的像素值的均值，∑k,t表示當(dāng)前像素點(diǎn)的像素值的協(xié)方差矩陣，則像素點(diǎn)i(x,y)的概率分布為ωk,t表示第k個(gè)高斯分布的權(quán)重；

1.3)當(dāng)視頻的第n+1幀圖像出現(xiàn)的時(shí)候，利用這幀圖像來(lái)更新高斯模型參數(shù)，以適應(yīng)動(dòng)態(tài)場(chǎng)景的改變，符合公式|it-μk,t-1|≤τσk,t-1，k＝1,2,...k就更新高斯模型，式中τ是一個(gè)關(guān)于匹配程度的閾值，取2.5，如果像素值在某個(gè)高斯分布的2.5倍標(biāo)準(zhǔn)差之內(nèi)，就認(rèn)為該像素點(diǎn)與這個(gè)高斯分布匹配，

根據(jù)公式：

μk,t＝(1-α)μk,t-1+αit，

更新高斯模型的對(duì)應(yīng)的均值和方差，式中α為參數(shù)更新率，如果當(dāng)前幀中的像素值it和當(dāng)前的混合高斯背景模型中的一個(gè)或者多個(gè)分布匹配時(shí)，增加其權(quán)重，權(quán)重更新如下：

ωk,t＝(1-β)ωk,t-1+βθ，k＝1,2,…k

其中β為學(xué)習(xí)速率，且更新速率α滿足α＝βη(it|μk,t-1,σk,t-1)。

1.4)對(duì)當(dāng)前時(shí)刻所有完成參數(shù)更新的模型的權(quán)重進(jìn)行歸一化處理：

將k個(gè)高斯分布按照權(quán)值ωk,t從大到小排序，取前b個(gè)來(lái)建立背景模型：

式中t是選擇前b個(gè)背景分布的閾值；

1.5)得到背景的高斯分布之后，通過(guò)像素點(diǎn)是否能夠與高斯分布所選擇的前b個(gè)高斯分布匹配，來(lái)判斷像素點(diǎn)是否為運(yùn)動(dòng)區(qū)域目標(biāo)即前景；

步驟2：對(duì)運(yùn)動(dòng)區(qū)域目標(biāo)提取輪廓，利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行車型分類。

步驟2中，混合高斯背景建模提取的運(yùn)動(dòng)區(qū)域目標(biāo)首先輸入到卷積神經(jīng)網(wǎng)絡(luò)cnn中，cnn網(wǎng)絡(luò)使用alex-net網(wǎng)絡(luò)結(jié)構(gòu)，然后將alex-net網(wǎng)絡(luò)層中最后一層softmax分類器結(jié)果送入到循環(huán)卷積網(wǎng)絡(luò)中，循環(huán)卷積網(wǎng)絡(luò)使用lstm模型，最后輸出分類結(jié)果。

進(jìn)一步的，對(duì)于得到的運(yùn)動(dòng)區(qū)域目標(biāo)，首先根據(jù)數(shù)學(xué)形態(tài)學(xué)濾波，查找所有運(yùn)動(dòng)目標(biāo)點(diǎn)的集合，提取所有目標(biāo)區(qū)域的輪廓，然后在目標(biāo)區(qū)域輪廓上取最小旋轉(zhuǎn)矩形輪廓，根據(jù)最小旋轉(zhuǎn)矩形輪廓濾噪，得到有效輪廓，對(duì)有效輪廓進(jìn)行再次過(guò)濾，過(guò)濾有效面積小于s的輪廓，用來(lái)去掉虛假運(yùn)動(dòng)目標(biāo)，得到最終的檢測(cè)目標(biāo)輪廓，遍歷所有檢測(cè)目標(biāo)輪廓位置，并在原圖像上的位置標(biāo)記；將所有檢測(cè)目標(biāo)區(qū)域和背景區(qū)域歸一化后送到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練即可以得到車型的可能性，訓(xùn)練使用alex-net網(wǎng)絡(luò)結(jié)構(gòu)，再將alex-net網(wǎng)絡(luò)結(jié)構(gòu)softmax層結(jié)果σ輸入到到rnn類型中的lstm網(wǎng)絡(luò)中。

循環(huán)神經(jīng)網(wǎng)絡(luò)rnn模型為目標(biāo)的分類、檢測(cè)、識(shí)別、跟蹤，提供了一種新的工具，本發(fā)明提出了將rnn作為高斯混合模型的后續(xù)運(yùn)算，以達(dá)到車型分類的目的。本發(fā)明運(yùn)動(dòng)車輛檢測(cè)分類流程如下：首先利用高斯混合模型對(duì)視頻序列進(jìn)行背景建模，檢測(cè)出運(yùn)動(dòng)目標(biāo)區(qū)域，利用cnn對(duì)檢測(cè)出的目標(biāo)區(qū)域進(jìn)行分類,將分類結(jié)果輸入至rnn網(wǎng)絡(luò)中得到最后的分類來(lái)判別是客車、貨車或者非車。由于rnn對(duì)輸入有記憶能力，時(shí)間序列中前一幀視頻圖像對(duì)后一幀有影響，所以rnn在基于視頻的車型分類任務(wù)中有更好的效果。本發(fā)明創(chuàng)造性的使用了高斯背景建模與循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合的方法，該方法有較強(qiáng)魯棒性，兩者結(jié)合能夠大大提高了車輛檢測(cè)和車型識(shí)別精度。

附圖說(shuō)明

圖1為本發(fā)明高斯背景建模與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的視頻車型分類方法的整體流程圖。

圖2為本發(fā)明混合高斯背景建模和更新流程。

圖3為本發(fā)明中循環(huán)神經(jīng)網(wǎng)絡(luò)車型分類過(guò)程。

圖4為本發(fā)明中l(wèi)stm網(wǎng)絡(luò)模型結(jié)構(gòu)。

具體實(shí)施方式

本發(fā)明提供利用一種高斯背景建模與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的車型分類方法和系統(tǒng)，針對(duì)在高速公路的復(fù)雜場(chǎng)景下，對(duì)車型進(jìn)行有效精確的分類，提高分類的準(zhǔn)確性。本發(fā)明可以應(yīng)用于高速公路監(jiān)控系統(tǒng)等場(chǎng)合，具有良好的實(shí)用性。以下將結(jié)合附圖及實(shí)例，對(duì)本發(fā)明進(jìn)行更詳細(xì)且具體的說(shuō)明。

第一步，混合高斯背景建模，提取運(yùn)動(dòng)目標(biāo)。如圖1，具體步驟如下：

1.初始化高速公路背景，首先利用視頻的前n幀連續(xù)視頻流圖像來(lái)構(gòu)建高速公路背景。

2.對(duì)每一幀圖像的每個(gè)像素點(diǎn)的灰度值用k個(gè)高斯分布來(lái)近似逼近(k值一般取3-5)，對(duì)應(yīng)每個(gè)圖像的像素點(diǎn)在最近的t幀灰度值為{x1,x2……，xt}＝{i(x0,i)|1≤i≤t},其中隨機(jī)變量xt表示樣本點(diǎn)在t時(shí)刻對(duì)應(yīng)的像素灰度值。表示第k個(gè)高斯分布在t時(shí)刻的狀態(tài)，μk,t表示當(dāng)前像素點(diǎn)的像素值的均值，∑k,t表示當(dāng)前像素點(diǎn)的像素值的協(xié)方差矩陣。任一像素點(diǎn)i(x,y)的概率分布為ωk,t表示第k個(gè)高斯分布的權(quán)重。

3.當(dāng)?shù)趎+1幀圖像出現(xiàn)的時(shí)候，需要利用這幀圖像來(lái)更新模型的參數(shù)，以適應(yīng)動(dòng)態(tài)場(chǎng)景的改變。利用公式|it-μk,t-1|≤τσk,t-1，k＝1,2,...k判斷是否更新模型，式中τ是一個(gè)關(guān)于匹配程度的閾值，一般取2.5。如果該像素值在某個(gè)高斯分布的2.5倍標(biāo)準(zhǔn)差之內(nèi)，就認(rèn)為該像素點(diǎn)與這個(gè)高斯分布匹配。

根據(jù)公式：

μk,t＝(1-α)μk,t-1+αit，

更新高斯模型的對(duì)應(yīng)的均值和方差，式中α為參數(shù)更新率。如果當(dāng)前幀中的像素值it和當(dāng)前的混合高斯背景模型中的一個(gè)或者多個(gè)分布匹配時(shí)，說(shuō)明相應(yīng)的分布比較符合真實(shí)的背景，應(yīng)該適當(dāng)增加其權(quán)值，權(quán)值更新如下：

ωk,t＝(1-β)ωk,t-1+βθ，k＝1,2,…k

其中β為學(xué)習(xí)速率，且更新速率α滿足α＝βη(it|μk,t-1,σk,t-1)。it符合第k個(gè)高斯分布時(shí)θ取1，否則取0；

4.在高斯混合模型中，一個(gè)像素點(diǎn)中的所有高斯混合模型未必都表示為背景，為了確定真正代表背景的模型，對(duì)當(dāng)前時(shí)刻所有完成參數(shù)更新的模型的權(quán)重進(jìn)行歸一化處理：

將k個(gè)高斯分布按照權(quán)值ωk,t從大到小排序，取前b個(gè)來(lái)建立背景模型：

式中t是選擇前b個(gè)背景分布的閾值，如果t的取值太小，則背景往往不能適應(yīng)背景的變化，導(dǎo)致出現(xiàn)檢測(cè)錯(cuò)誤，如果t取值太大，就會(huì)增加計(jì)算量，影響效率。因此t的取值一般按經(jīng)驗(yàn)取0.8。

5.得到背景的高斯分布之后，通過(guò)像素點(diǎn)是否能夠與高斯分布所選擇的前b個(gè)高斯分布匹配，來(lái)判斷像素點(diǎn)是否為運(yùn)動(dòng)區(qū)域目標(biāo)即前景。

6.運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)流程如圖2所示，對(duì)于前面得到的運(yùn)動(dòng)前景，即運(yùn)動(dòng)目標(biāo)，根據(jù)數(shù)學(xué)形態(tài)學(xué)濾波，具體包括依次進(jìn)行均值濾波、先膨脹后腐蝕的閉操作。查找所有運(yùn)動(dòng)目標(biāo)點(diǎn)的集合，提取所有目標(biāo)區(qū)域的輪廓。

7.在目標(biāo)區(qū)域輪廓上取最小旋轉(zhuǎn)矩形輪廓，根據(jù)最小旋轉(zhuǎn)矩形輪廓濾噪，過(guò)濾過(guò)小或過(guò)大的輪廓。對(duì)有效輪廓進(jìn)行再次過(guò)濾，過(guò)濾有效面積過(guò)小的輪廓，用來(lái)去掉虛假運(yùn)動(dòng)目標(biāo)。

8.得到有效的輪廓，遍歷所有目標(biāo)的輪廓位置并在原圖像上的位置標(biāo)記。

第二步，循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行車型分類，如圖3所示，具體列出一個(gè)實(shí)施例，包括以下步驟：

1、我們使用2012年image-net競(jìng)賽中取得冠軍的網(wǎng)絡(luò)結(jié)構(gòu)alex-net對(duì)120萬(wàn)圖像數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，得到了預(yù)訓(xùn)練模型。

2、在上一步檢測(cè)出的運(yùn)動(dòng)目標(biāo)和誤檢區(qū)域以及視頻背景中選取了200個(gè)視頻序列，每個(gè)視頻序列等間隔截取5000張圖片,其中正樣本3000張，2000張作為訓(xùn)練集，1000張用來(lái)作為測(cè)試集。負(fù)樣本2000張，1500張作為訓(xùn)練集，500張作為測(cè)試集。3000張正樣本包括1000張轎車、1000張客車和1000張貨車。用其中的訓(xùn)練集對(duì)得到的預(yù)訓(xùn)練模型進(jìn)行微調(diào)，得到訓(xùn)練模型。

3、把收集的樣本歸一化到同樣大小256×256。

4、送到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，使用alex-net網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練時(shí)采取的是批量梯度下降的方法，因?yàn)闃颖緮?shù)據(jù)量比較小，所以修改了批尺寸參數(shù)batch_size設(shè)置為50，學(xué)習(xí)率設(shè)置為0.0001。

4.1、將256×256的樣本隨機(jī)剪裁為224×224像素大小的圖片作為輸入層輸入到卷積層conv1中，用96個(gè)11×11的卷積核，步長(zhǎng)為4的像素進(jìn)行濾波，得到96個(gè)55×55的特征圖。用relu函數(shù)作為激活函數(shù)，用3×3的卷積核，步長(zhǎng)為2進(jìn)行最大池化，得到96個(gè)27×27的特征圖，大小為原先的一半。

4.2、將卷積層conv1輸出的96個(gè)特征圖輸入到卷積層conv2，卷積層conv2使用256個(gè)大小為5×5的卷積核，對(duì)特征圖的高度和寬度都填充2像素，得到256個(gè)27×27的特征圖。特征圖用relu函數(shù)激活，用3×3的卷積核，步長(zhǎng)為2進(jìn)行最大池化，得到256個(gè)13×13的特征圖。

4.3、將卷積層conv2輸出的特征圖輸入到卷積層conv3，使用384個(gè)大小為3×3的卷積核，對(duì)特征圖的高度和寬度填充1像素，得到384個(gè)13×13的特征圖。用relu函數(shù)激活。卷積層conv3沒(méi)有使用下采樣層。

4.4、卷積層conv3的輸出作為卷積層conv4的輸入，過(guò)程同卷積層conv3，得到384個(gè)13×13的新特征圖。

4.5、將卷積層conv4得到的特征圖輸入到卷積層conv5，卷積層conv5使用256個(gè)大小為3×3的卷積核，步長(zhǎng)為2，對(duì)特征圖的高度和寬度填充1像素，得到256個(gè)13×13的特征圖。用relu函數(shù)激活，用3×3的卷積核，步長(zhǎng)為2進(jìn)行最大池化，得到256個(gè)6×6的特征圖。

4.6、卷積層conv5得到特征圖輸入到全連接層fc6中。全連接層fc6使用4096個(gè)神經(jīng)元，對(duì)256個(gè)大小為6×6特征圖，進(jìn)行一個(gè)全連接，也就是將6×6大小的特征圖，進(jìn)行卷積變?yōu)橐粋€(gè)特征向量,然后對(duì)于4096個(gè)神經(jīng)元中的一個(gè)向量，是由256個(gè)特征圖中某些個(gè)特征圖卷積之后得到的特征向量乘以相應(yīng)的權(quán)重之后，再加上一個(gè)偏置得到。用relu函數(shù)激活，用dropout隨機(jī)從4096個(gè)向量中丟掉一些信息，得到新的4096維向量。

4.7、將全連接層fc6得到的4096維向量送入全連接層fc7中，過(guò)程與全連接層fc6的過(guò)程相似。

4.8、全連接層fc7輸出的4096維向量送入全連接層fc8中。全連接層fc8層采用1000個(gè)神經(jīng)元，然后對(duì)全連接層fc7中4096個(gè)神經(jīng)元進(jìn)行全連接，然后通過(guò)高斯過(guò)濾器，得到1000個(gè)float型的值，也就是我們所看到的預(yù)測(cè)的車輛類別的可能性。得到的可能性結(jié)果會(huì)通過(guò)標(biāo)簽進(jìn)行對(duì)比誤差，然后求解出殘差，再通過(guò)鏈?zhǔn)角髮?dǎo)法則，將殘差通過(guò)求解偏導(dǎo)數(shù)逐步向上傳遞，并將權(quán)重進(jìn)行更改，類似與bp網(wǎng)絡(luò)，然后會(huì)逐層的調(diào)整權(quán)重以及偏置。

5、完成上述步驟后，如圖4所示，將上一幀圖片通過(guò)alex-net網(wǎng)絡(luò)結(jié)構(gòu)，最后一層softmax層車輛分類結(jié)果輸出為ht-1，下一幀車輛圖片作為輸入xt，σ是sigmoid函數(shù)。

5.1、lstm中的第一步是決定會(huì)從上一時(shí)刻的車輛特征信息狀態(tài)即t-1時(shí)刻lstm的網(wǎng)絡(luò)狀態(tài)ht-1中丟棄什么車輛特征信息。這個(gè)決定通過(guò)一個(gè)稱為忘記門層完成。該門會(huì)讀取ht-1和xt，經(jīng)過(guò)σ輸出一個(gè)在0到1之間的數(shù)值。1表示“完全保留”，0表示“完全舍棄”。由于視頻圖像是連續(xù)的序列，上一幀圖像與下一幀圖像有時(shí)序上的聯(lián)系，基于已經(jīng)得到車輛特征信息的車輛預(yù)測(cè)下一個(gè)車輛特征可以提高準(zhǔn)確度。

ft＝σ(wf.[ht-1,xt]+bf)，其中wf是該網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)，bf是當(dāng)前網(wǎng)絡(luò)已設(shè)定好的偏置，ft是遺忘程度。

5.2、第二步是確定什么樣的新車輛特征信息被存放在當(dāng)前狀態(tài)中，當(dāng)有新的信息傳入時(shí)，更新包括兩部分：第一，sigmoid層(輸入門層)決定將要更新的程度(σ函數(shù)輸出為0-1之間，1是“完全保留”，0是“完全舍棄”)；第二，正弦函數(shù)tanh層創(chuàng)建一個(gè)新的候選值向量ct'。

it＝σ(wi.[ht-1,xt]+bi)

ct'＝tanh(wc.[ht-1,xt]+bc)

wi、wc為當(dāng)前網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)，bi、bc為當(dāng)前網(wǎng)絡(luò)已設(shè)定好的偏置，it是現(xiàn)有信息的遺忘程度，ct'是現(xiàn)有信息的狀態(tài)。

5.3、更新舊的車輛特征ct-1，舊的狀態(tài)乘上ft，遺忘掉之前計(jì)劃遺忘的車輛特征信息，ft為遺忘程度。將it乘上ct'，得到新的局部變量，用來(lái)表示更新車輛特征信息的程度。再加上前一時(shí)刻部分遺忘的車輛特征信息，得到新的車輛特征ct：

ct＝ft*ct-1+it*ct'

5.4、最后通過(guò)一個(gè)sigmoid層來(lái)決定車輛特征信息的哪些部分是需要輸出的，即表示一個(gè)遺忘程度。將5.3中車輛特征信息狀態(tài)通過(guò)tanh函數(shù)乘上當(dāng)前遺忘程度ot，輸出表示不同車型的可能性，即最終車輛分類結(jié)果。

ot＝σ(wo[ht-1,xt]+bo)

ht＝ot*tanh(ct)

wo為當(dāng)前網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)，bo為網(wǎng)絡(luò)已設(shè)定好的偏置。