本專利屬于智能交通技術(shù)領(lǐng)域，具體而言涉及一種基于深度學(xué)習(xí)的交叉口車輛違章檢車與辨識(shí)系統(tǒng)。

技術(shù)背景

違章停車的處罰在現(xiàn)有技術(shù)中可以通過人工現(xiàn)場(chǎng)處罰，以及通過攝像頭非現(xiàn)場(chǎng)處罰的方式來進(jìn)行。在現(xiàn)有技術(shù)中，通過設(shè)置在道路邊的攝像頭拍取道路上的圖像，通過智能識(shí)別的方式識(shí)別圖像中違章行駛的情況，并截取相應(yīng)的證據(jù)是一種常見的手段。

但是，現(xiàn)有技術(shù)中對(duì)于道路交叉口的違章行駛，例如禁止掉頭處掉頭，不按規(guī)定的車道行駛等，在現(xiàn)場(chǎng)的執(zhí)法中容易發(fā)現(xiàn)，但是很難通過智能識(shí)別的方式實(shí)現(xiàn)。

因?yàn)?，不同的道路其設(shè)置的通行規(guī)則是不同的，而且同一個(gè)交叉口有時(shí)候通行規(guī)則是會(huì)根據(jù)各種因素的考慮改變的。而位于道路交叉口的攝像頭對(duì)于簡(jiǎn)單的道路情況，例如闖紅燈等的識(shí)別是較為準(zhǔn)確的；而對(duì)于復(fù)雜的道路情況，例如馬路交叉口的未按照規(guī)定車道行駛、違章停車、禁止掉頭處掉頭等的識(shí)別并不準(zhǔn)確，或者識(shí)別程度不高，給行駛?cè)嘶蛘呤墙煌ü芾聿块T帶來困擾。

技術(shù)實(shí)現(xiàn)要素：

本專利正是基于現(xiàn)有技術(shù)中的上述需求而提出的，本專利要解決的技術(shù)問題是提供一種基于深度學(xué)習(xí)的交叉口車輛違章檢測(cè)與辨識(shí)系統(tǒng)，以便于智能檢測(cè)在道路交叉口的車輛違章情況。

為了解決上述問題，本專利提供的技術(shù)方案包括：

一種基于深度學(xué)習(xí)的交叉口車輛違章檢測(cè)與辨識(shí)方法，所述方法包括如下步驟：

步驟一、采集交叉口視頻檢測(cè)圖像

利用在交叉路口的視頻采集設(shè)備采集視頻圖像；

步驟二、交通標(biāo)志和車輛的識(shí)別

在本步驟中，對(duì)于交通標(biāo)志和車輛的識(shí)別其過程包括：

步驟S201對(duì)輸入圖像進(jìn)行特征提取

使用卷積神經(jīng)網(wǎng)絡(luò)利對(duì)輸入圖像進(jìn)行特征自動(dòng)提取；所述卷積神經(jīng)網(wǎng)絡(luò)包括特征提取和特征圖級(jí)聯(lián)兩部分；

1)特征提取，所述卷積神經(jīng)網(wǎng)絡(luò)包括五層個(gè)卷積層，其中第一卷積層包括1_1卷積層；第二卷積層包括2_1卷積層、2_2卷積層和2_3卷積層；第三卷積層包括3_1卷積層、3_2卷積層、3_3卷積層和3_4卷積層；第四卷積層包括4_1卷積層、C4_2卷積層、4_3卷積層和4_4卷積層；第五卷積層包括5_1卷積層、5_2卷積層、5_3卷積層和5_4卷積層；其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7像素，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為128；第四卷積層和第五卷積層的操作類型采用Inception；

2)特征圖級(jí)聯(lián)，將不同卷積階段的不同尺度的卷積特征層級(jí)聯(lián)起來，利用了高層特征的語義信息的同時(shí)還考慮到低層特征的細(xì)節(jié)紋理信息，將第3_4卷積層進(jìn)行使用最大池化，5_4卷積層使用雙線性插值算法進(jìn)行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入；

S202交通標(biāo)志和車輛的定位檢測(cè)

從特征提取后的圖像中從定位包含交通標(biāo)志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標(biāo)志和車輛的分類識(shí)別模塊；其中包括：

1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，在最后一個(gè)卷積層輸出的卷積特征映射上滑動(dòng)小網(wǎng)絡(luò)，所述滑動(dòng)小網(wǎng)絡(luò)全連接到輸入卷積特征映射的n*n的空間窗口上，以生成候選區(qū)域框。

2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)

為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個(gè)候選框分配一個(gè)二進(jìn)制的標(biāo)簽(分別對(duì)應(yīng)的情況為：是目標(biāo)、不是目標(biāo))。給兩類候選框分配正標(biāo)簽：(1)與某個(gè)真實(shí)區(qū)域包圍盒有最大IoU(兩個(gè)區(qū)域的交集面積與并集面積之比)值；(2)與任意真實(shí)區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實(shí)區(qū)域IoU值低于0.3的候選框分配負(fù)標(biāo)簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框?yàn)槟繕?biāo)的概率，如果候選框是正標(biāo)簽，其對(duì)應(yīng)的真實(shí)區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；t_i表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)向量，t_i^*是相對(duì)應(yīng)的真實(shí)區(qū)域包圍盒的坐標(biāo)向量。

分類損失C_cls是針對(duì)目標(biāo)和非目標(biāo)兩個(gè)類別的對(duì)數(shù)損失：

對(duì)于回歸損失，用來計(jì)算，其中S(x)為：

對(duì)于回歸，本步驟采用4個(gè)坐標(biāo)的參數(shù)：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

其中，x,y,w,h指的是包圍盒中心的(x,y)坐標(biāo)、寬、高，變量x,x_a,x^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的x坐標(biāo),變量y,y_a,y^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的y坐標(biāo)；變量w,w_a,w^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的w坐標(biāo)；變量h,h_a,h^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的h坐標(biāo)；N_cls取256，N_reg取2400，λ取10；t_x,t_y,t_w,t_h表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)向量，t_x^*,t_y^*,t_w^*,t_h^*是相對(duì)應(yīng)的真實(shí)區(qū)域包圍盒的坐標(biāo)向量。

S203交通標(biāo)志和車輛的分類識(shí)別

交通標(biāo)志和車輛的分類識(shí)別的主要任務(wù)是對(duì)于上一步最終定位到的交通標(biāo)志和車輛的候選區(qū)域進(jìn)行特征提取和分類識(shí)別，從而得到交通標(biāo)志和車輛的的類型信息，其中包括：

1)利用區(qū)域卷積網(wǎng)絡(luò)進(jìn)行交通標(biāo)志和車輛的識(shí)別，針對(duì)S202中得到的含有交通標(biāo)志的候選區(qū)域，采用一種與候選區(qū)域網(wǎng)絡(luò)共享卷積的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行交通標(biāo)志的識(shí)別；

2)奇異值分解，利用奇異值分解來加快交通標(biāo)志識(shí)別系統(tǒng)的識(shí)別速度；設(shè)W是一個(gè)大小為u×v的權(quán)重矩陣，可以利用奇異值分解得到，如公式：

W≈U∑_tV^T

式中：U：大小為u×t的一個(gè)向量；∑_t：大小為t×t的對(duì)角矩陣；V^T：大小為t×v的向量；由|W^TW-λI|＝0求得W^TW的特征值λ；設(shè)矩陣W的轉(zhuǎn)置為W^T，由公式(W^TW)v_i＝λ_iv_i求得W^TW的特征向量v；根據(jù)公式得到奇異值σ，而U則可根據(jù)公式得到：U，∑_t，V^T三個(gè)矩陣相乘接近于矩陣W；

3)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù),區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入?yún)^(qū)域輸出K+1類目標(biāo),包含背景,的概率以及回歸后的包圍盒坐標(biāo)。對(duì)于每一個(gè)訓(xùn)練候選區(qū)域定義損失函數(shù)為：

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-lgp_u是對(duì)候選區(qū)域?qū)?yīng)的真實(shí)目標(biāo)類別u的對(duì)數(shù)損失；對(duì)于k+1類目標(biāo)有p＝(p₀,p₁,....,p_k)；[u≥1]為示性函數(shù)，當(dāng)候選區(qū)域?yàn)楸尘皶r(shí)，u＝0；L_loc(t^u,t^*)為包圍盒坐標(biāo)的回歸損失，

式中的函數(shù)S為：其中對(duì)于k類目標(biāo)中的每一個(gè)都有t^*為候選區(qū)域?qū)?yīng)的真實(shí)目標(biāo)包圍盒的參數(shù)坐標(biāo)向量；為k類目標(biāo)中的預(yù)測(cè)包圍盒的x坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的y坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的w坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的h坐標(biāo)；

步驟三，車輛的跟蹤

在對(duì)圖像中的交通標(biāo)志和車輛的識(shí)別后，通過對(duì)識(shí)別到的車輛使用跟蹤算法來繪制出車輛的行使軌跡；利用誤差最小平方和濾波器使其在目標(biāo)上的響應(yīng)最大，其中g(shù)表示響應(yīng)輸出，f表示輸入圖像，h表示濾波模板，表示卷積操作；對(duì)上式進(jìn)行快速傅里葉變換將卷積操作變成了點(diǎn)乘操作，即變成：簡(jiǎn)寫成：G＝F·H^*因此，跟蹤的任務(wù)就是找到H^*，H^*為H的共軛，即：在跟蹤的過程中，使用模型公式為：其中，⊙表示Hadamard乘積，

得到其中w和v是H中每個(gè)元素的索引；對(duì)其求偏導(dǎo)，并使偏導(dǎo)為0，即：得到

最后得到H為：即為濾波器的模型公式；如下的模板更新方式：

B_t＝ηF_t·F_t^*+(1-η)B_t-1

將濾波器的模型公式分為分子和分母兩個(gè)部分分別進(jìn)行更新，更的參數(shù)為經(jīng)驗(yàn)常數(shù)η。其中A_t和A_t-1分別表示的是當(dāng)前幀和上一幀的分子；其中B_t和B_t+1分別表示的是當(dāng)前幀和上一幀的分母；在跟蹤過程中，把以上模板與當(dāng)前幀的圖像做相關(guān)操作，將得到的相應(yīng)結(jié)果中最大的那點(diǎn)對(duì)應(yīng)的坐標(biāo)作為目標(biāo)在當(dāng)前幀的位置；其中，H_t為t時(shí)刻濾波器的模版，G_t表示t時(shí)刻響應(yīng)輸出，G_t*為G_t的共軛；F_t表示t時(shí)刻輸入圖像，F(xiàn)_t*為F_t的共軛。

步驟四、車輛違章檢測(cè)與辨識(shí)系統(tǒng)

由交通標(biāo)志牌的識(shí)別得到該交叉口處合法行駛的規(guī)范，再由車輛識(shí)別與跟蹤處理后得到該交叉口中各個(gè)車輛的行駛軌跡；通過比較交通標(biāo)志牌代表的信息與車輛的行駛軌跡能夠清晰地辨識(shí)出哪些車輛違章行駛，并可以將這段記錄車輛違章的視頻保存下來作為違章罰款等交通管理部門執(zhí)法的依據(jù)。

本發(fā)明的優(yōu)點(diǎn)在于：

1、本發(fā)明通過基于交叉口監(jiān)控視頻中的交通標(biāo)志牌和車輛的自動(dòng)識(shí)別與跟蹤，進(jìn)而能夠自動(dòng)辨識(shí)出交叉口處車輛的違章情況，該系統(tǒng)誤檢少、效率高，無需再設(shè)置專用的攝像頭，適用范圍廣，可以避免耗費(fèi)大量的人力、物力財(cái)力。

2、本發(fā)明充分利用圖像卷積的優(yōu)勢(shì)，降低了光照變化、顏色褪色、運(yùn)動(dòng)造成的模糊、復(fù)雜的背景、部分遮擋等因素對(duì)圖像識(shí)別的影響，提高了抗干擾能力，識(shí)別準(zhǔn)確率高，誤識(shí)別率低。

3.本發(fā)明中應(yīng)用C.ReLu(x)激活函數(shù)在低層的卷積，可以減少網(wǎng)絡(luò)參數(shù)，使通道數(shù)減少一半，將神經(jīng)元激活前的輸出和其相反數(shù)進(jìn)行級(jí)聯(lián)使輸出變成雙倍，即達(dá)到原來輸出的數(shù)量，這使得在沒有損失正確率的情況下，計(jì)算速度提升一倍。

4.本發(fā)明中應(yīng)用Inception在高層的網(wǎng)絡(luò)中，主要是通過控制卷積核尺寸來提升對(duì)小目標(biāo)識(shí)別的性能，同時(shí)可以降低輸入的通道數(shù)，起到降維的作用，運(yùn)算復(fù)雜度大大降低。

5.本發(fā)明中的特征圖級(jí)聯(lián)優(yōu)勢(shì)為多層抽象圖像特征，其分辨率適于定位檢測(cè)，計(jì)算效率高。

附圖說明

圖1為本具體實(shí)施方式中方法的整體流程圖；

圖2為交通標(biāo)志識(shí)別和車輛系統(tǒng)框架；

圖3識(shí)別算法的整體結(jié)構(gòu)圖；

圖4為本具體實(shí)施方式中C.ReLu(x)和標(biāo)準(zhǔn)化的操作流程圖；

圖5為本具體實(shí)施方式中Inception的構(gòu)成圖；

圖6本具體實(shí)施方式中卷積特征映射上滑動(dòng)小網(wǎng)絡(luò)原理示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)陳述。需要指出的是，該具體實(shí)施方式僅僅是對(duì)本專利優(yōu)選技術(shù)方案的舉例，并不能理解為對(duì)本專利保護(hù)范圍的限制。

本具體實(shí)施方式中提供了一種基于深度學(xué)習(xí)的交叉口車輛違章檢測(cè)與辨識(shí)方法，所述方法主要分為：交叉口監(jiān)控視頻的采集，交通標(biāo)志和車輛的識(shí)別，車輛的跟蹤，車輛違章檢測(cè)與辨識(shí)。其流程如圖1所示。

步驟一、采集交叉口視頻檢測(cè)圖像

在本步驟中可以利用設(shè)置在城市道路中的各個(gè)交叉口的已有攝像設(shè)備采集監(jiān)控視頻，通常在道路的交叉口都會(huì)設(shè)置攝像頭等視頻采集設(shè)備。通過既有的視頻采集設(shè)備避免了成本的增加。但是既有的視頻檢測(cè)設(shè)備并不能直接智能地檢測(cè)到路口的違章停車情況。因此還需要對(duì)交叉口采集到的視頻進(jìn)行處理。在交叉口檢測(cè)到的視頻圖像中包括車輛信息，道路信息，交通信號(hào)信息等等。

步驟二、交通標(biāo)志和車輛的識(shí)別

采集到的視頻圖像中并不能夠直接給出車輛的違章停車信息，為了檢測(cè)違章停車信息，需要將車輛的位置和車輛的種類，以及道路中的交通標(biāo)志位置和交通標(biāo)志的種類進(jìn)行識(shí)別。獲得這些識(shí)別信息，能夠便于計(jì)算機(jī)或者類似的設(shè)備智能地獲取相關(guān)的交通信息，為違章停車的智能識(shí)別提供基礎(chǔ)。

交通標(biāo)志和車輛的識(shí)別算法的關(guān)鍵在于一種更有效的感興趣區(qū)域提取方法及一種更快速、精準(zhǔn)的識(shí)別方法，它能夠快速檢測(cè)和識(shí)別出高分辨率圖片中的交通標(biāo)志和車輛。實(shí)施方式中交通標(biāo)志和車輛的識(shí)別系統(tǒng)框架如圖2所示。

在本步驟中，對(duì)于交通標(biāo)志和車輛的識(shí)別主要包含以下三個(gè)部分：輸入圖像的特征提取、交通標(biāo)志和車輛的定位檢測(cè)、交通標(biāo)志和車輛的分類識(shí)別。上述識(shí)別通過如下具體的步驟來實(shí)現(xiàn)：在本步驟中主要采用卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)于輸入圖像的特征提取、交通標(biāo)志和車輛的定位檢測(cè)、交通標(biāo)志和車輛的分類識(shí)別。在本實(shí)施例中，所述卷積神經(jīng)網(wǎng)絡(luò)包括多個(gè)卷積層與池化層組建，可以從圖像中提取更有效的特征，用于接下來的候選區(qū)域檢測(cè)與分類識(shí)別，其工作過程如圖3所示。由于卷積操作具有平移不變形，卷積生成的特征圖里不僅包含了物體的特征信息，還包含著物體的位置信息。

步驟S201對(duì)輸入圖像進(jìn)行特征提取

在本步驟中使用卷積神經(jīng)網(wǎng)絡(luò)利對(duì)輸入圖像進(jìn)行特征自動(dòng)提取。避免了人工提取特征的麻煩，同時(shí)由于卷積的平移不變特性，卷積生成的特征圖中不僅包含了物體的特征信息，還包含著物體的位置信息。在本步驟中使用的特征提取網(wǎng)絡(luò)包括特征提取和特征圖級(jí)聯(lián)兩部分。

1)特征提取

對(duì)于特征提取，在本步驟中，使用的的特征提取的卷積神經(jīng)網(wǎng)絡(luò)的前五層的網(wǎng)絡(luò)結(jié)果如下表1所示。

表1前5層卷積層網(wǎng)絡(luò)設(shè)置

其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7(像素)，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3(像素)，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3(像素)，輸出通道數(shù)為128。所述C.ReLU操作類型中采用C.ReLu(x)激活函數(shù)，C.ReLu(x)激活函數(shù)用于低層的卷積，可減少網(wǎng)絡(luò)參數(shù)，使通道數(shù)減少一半，將神經(jīng)元激活前的輸出和其相反數(shù)進(jìn)行級(jí)聯(lián)使輸出變成雙倍，即達(dá)到原來輸出的數(shù)量，這使得在沒有損失正確率的情況下，提升計(jì)算速度。C.ReLu的數(shù)學(xué)表達(dá)式如下：

C.ReLu(wx+b)＝ReLU(wx+b)+ReLU(-(wx+b))

其中w為權(quán)重，x為神經(jīng)元的輸入，b為神經(jīng)元的偏置。

在本步驟中，優(yōu)選地，所述激活函數(shù)處于激活層，在激活層前使用標(biāo)準(zhǔn)化(batch normalization，BN)加速網(wǎng)絡(luò)收斂，提高模型精度。在本具體實(shí)施方式的卷積神經(jīng)網(wǎng)絡(luò)中，BN應(yīng)作用在非線性映射前，即對(duì)卷積層的輸出wx+b做規(guī)范化。即在本具體實(shí)施方式的卷積神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的輸入為x,然后得到(wx+b),再使用BN，然后用激活函數(shù)，得到該神經(jīng)元的輸出。BN通過歸一化讓激活函數(shù)在線性區(qū)間，降低了對(duì)輸入的敏感程度，加大了梯度，有利于模型進(jìn)行梯度下降，防止梯度彌散。

BN的輸入是x＝{x₁,x₂,...,x_m}以及給定參數(shù)γ、β，所以有：

μ為均值，σ²為方差，為處理成標(biāo)準(zhǔn)正態(tài)分布的結(jié)果

其中，ε為大于0的常量。BN的最終輸出為：

所以，使用C.ReLu(x)和標(biāo)準(zhǔn)化的操作流程如圖4所示。

在本步驟中的4-5卷積層中，使用Inception操作類型，在4-5層Inception操作類型通過控制卷積核尺寸來提升對(duì)小目標(biāo)識(shí)別的性能。Inception中的1x1卷積核不僅能夠增加網(wǎng)絡(luò)的非線性，同時(shí)能夠保持前一層的感受野(即不損失分辨率)，因此對(duì)小物體的檢測(cè)有很好的作用。加入1x1卷積后可以降低輸入的通道數(shù)，起到降維的作用，運(yùn)算復(fù)雜度大大降低。在本具體實(shí)施方式中的Inception的構(gòu)成如圖5所示。

2)特征圖級(jí)聯(lián)

為了將不同卷積階段的不同尺度的卷積特征層級(jí)聯(lián)起來，利用了高層特征的語義信息的同時(shí)還考慮到低層特征的細(xì)節(jié)紋理信息，在本步驟中將第3_4卷積層進(jìn)行使用最大池化，5_4卷積層使用雙線性插值算法進(jìn)行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入。這種方法對(duì)目標(biāo)檢測(cè)的正確率和定位精度都有益處，交通標(biāo)志和車輛的識(shí)別系統(tǒng)恰恰是目標(biāo)定位與分類識(shí)別相結(jié)合。特征圖級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)如表2。級(jí)聯(lián)后的特征優(yōu)勢(shì)為多層抽象，分辨率適于檢測(cè)，計(jì)算效率高。表2特征圖級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)表

S202交通標(biāo)志和車輛的定位檢測(cè)

交通標(biāo)志和車輛的定位檢測(cè)作為整個(gè)識(shí)別系統(tǒng)的關(guān)鍵步驟之一，它的主要任務(wù)是從輸入圖像中定位包含交通標(biāo)志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標(biāo)志和車輛的分類識(shí)別模塊。

(1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域

輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，為了生成候選區(qū)域框，在最后一個(gè)卷積層輸出的卷積特征映射上滑動(dòng)小網(wǎng)絡(luò)，所述滑動(dòng)小網(wǎng)絡(luò)全連接到輸入卷積特征映射的nxn的空間窗口上?；瑒?dòng)窗口操作是在卷積層特征圖上進(jìn)行的，維度與在原始圖像上使用滑動(dòng)窗口相比降低了。每個(gè)滑動(dòng)窗口映射到一個(gè)低維向量上。這個(gè)向量輸出給兩個(gè)同級(jí)的全連接的層：包圍盒回歸層和包圍盒分類層。在特征映射層滑動(dòng)小窗口建立一個(gè)小網(wǎng)絡(luò)；分類：目標(biāo)和非目標(biāo)；回歸：包圍盒的位置?；瑒?dòng)窗口的位置提供了相對(duì)圖片的定位信息。包圍盒的回歸提供了相對(duì)滑動(dòng)窗口的調(diào)整后的定位信息，其原理如圖6所示。

在每一個(gè)滑動(dòng)窗口的位置，同時(shí)采用多尺度的候選框機(jī)制，對(duì)應(yīng)了多種尺度和多種長(zhǎng)寬比，預(yù)測(cè)出k個(gè)候選框。所以回歸層有4k個(gè)輸出，即k個(gè)候選框的坐標(biāo)編碼。分類層通過對(duì)每k個(gè)候選框使用softmax函數(shù)進(jìn)行目標(biāo)與非目標(biāo)的概率估計(jì)輸出2k個(gè)得分。分類給出了每個(gè)候選框包含目標(biāo)的可能性大小。回歸層給出了的k個(gè)候選框坐標(biāo)偏移量，通過包圍盒回歸得到預(yù)測(cè)的目標(biāo)區(qū)域坐標(biāo)位置。

其中，softmax函數(shù)是將多個(gè)標(biāo)量映射為一個(gè)概率分布。對(duì)于k個(gè)標(biāo)量x₁,x₂,...,x_k,softmax函數(shù)定義為：

最終，得到一系列被框選的、帶有目標(biāo)得分的候選區(qū)域。

(2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)

為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個(gè)候選框分配一個(gè)二進(jìn)制的標(biāo)簽(分別對(duì)應(yīng)的情況為：是目標(biāo)、不是目標(biāo))。給兩類候選框分配正標(biāo)簽：(1)與某個(gè)真實(shí)區(qū)域包圍盒有最大IoU(兩個(gè)區(qū)域的交集面積與并集面積之比)值；(2)與任意真實(shí)區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實(shí)區(qū)域IoU值低于0.3的候選框分配負(fù)標(biāo)簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框?yàn)槟繕?biāo)的概率，如果候選框是正標(biāo)簽，其對(duì)應(yīng)的真實(shí)區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；t_i表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)向量，t_i^*是相對(duì)應(yīng)的真實(shí)區(qū)域包圍盒的坐標(biāo)向量；

分類損失C_cls是針對(duì)目標(biāo)和非目標(biāo)兩個(gè)類別的對(duì)數(shù)損失：

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框?yàn)槟繕?biāo)的概率，如果候選框是正標(biāo)簽，其對(duì)應(yīng)的真實(shí)區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；

對(duì)于回歸損失，用來計(jì)算，其中S(x)為：

對(duì)于回歸，本步驟采用4個(gè)坐標(biāo)的參數(shù)：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

其中，x,y,w,h指的是包圍盒中心的(x,y)坐標(biāo)、寬、高，變量x,x_a,x^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的x坐標(biāo),變量y,y_a,y^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的y坐標(biāo)；變量w,w_a,w^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的w坐標(biāo)；變量h,h_a,h^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的h坐標(biāo)；N_cls取256，N_reg取2400，λ取10；t_x,t_y,t_w,t_h表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)向量，t_x^*，t_y^*，t_w^*，t_h^*是相對(duì)應(yīng)的真實(shí)區(qū)域包圍盒的坐標(biāo)向量。

S203交通標(biāo)志和車輛的分類識(shí)別

交通標(biāo)志和車輛的分類識(shí)別的主要任務(wù)是對(duì)于上一步最終定位到的交通標(biāo)志和車輛的候選區(qū)域進(jìn)行特征提取和分類識(shí)別，從而得到交通標(biāo)志和車輛的的類型信息，這是識(shí)別系統(tǒng)的最后一步，也是算法中最重要的任務(wù)之一。

(1)利用區(qū)域卷積網(wǎng)絡(luò)進(jìn)行交通標(biāo)志和車輛的識(shí)別

針對(duì)S202中得到的含有交通標(biāo)志的候選區(qū)域，在交通標(biāo)志的分類識(shí)別階段，本發(fā)明采用一種與候選區(qū)域網(wǎng)絡(luò)共享卷積的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行交通標(biāo)志的識(shí)別。訓(xùn)練時(shí)，首先將帶有標(biāo)注的數(shù)據(jù)集輸入網(wǎng)絡(luò)中，生成卷積特征圖。隨后將候選區(qū)域映射到該共享的特征圖中，獲取相應(yīng)的特征信息。隨后，對(duì)該特征信息進(jìn)行雙線性插值算法，得到一個(gè)大小為7*7的區(qū)域特征池化圖。緊接著，進(jìn)一步通過全連接獲取一個(gè)4096維的特征向量，該向量就是卷積網(wǎng)絡(luò)所提出的每個(gè)候選區(qū)域的最終特征。最后，將此特征向量分別輸入到softmax分類與包圍盒回歸中，利用非極大值抑制法判斷出候選區(qū)域的目標(biāo)類別與位置。之后，利用判斷值與實(shí)際標(biāo)注值之間的差別得到損失函數(shù)，然后利用反向傳播算法與隨機(jī)梯度下降法對(duì)網(wǎng)絡(luò)參數(shù)結(jié)構(gòu)進(jìn)行優(yōu)化，最終得到輸出網(wǎng)絡(luò)。在實(shí)驗(yàn)時(shí)，將待測(cè)圖像輸入到網(wǎng)絡(luò)中，直接輸出交通標(biāo)志的類別并進(jìn)行定位。

(2)奇異值分解

快速區(qū)域網(wǎng)絡(luò)中的全連接層會(huì)消耗大量時(shí)間。而在數(shù)學(xué)中特征值分解非常適合用于提取方陣的特征。由于全連接層中矩陣并不是方陣，此時(shí)可使用奇異值分解來獲取矩陣本身的特征。因此本文選擇利用奇異值分解來加快交通標(biāo)志識(shí)別系統(tǒng)的識(shí)別速度。

設(shè)W是一個(gè)大小為u×v的權(quán)重矩陣，可以利用奇異值分解得到，如公式：

W≈U∑_tV^T

式中：U：大小為u×t的一個(gè)向量

∑_t：大小為t×t的對(duì)角矩陣

V^T：大小為t×v的向量

由|W^TW-λI|＝0求得W^TW的特征值λ。

設(shè)矩陣W的轉(zhuǎn)置為W^T，由如下公式求得W^TW的特征向量v。

(W^TW)v_i＝λ_iv_i

除此之外，還可以根據(jù)公式(3-36)得到奇異值σ，而U則可根據(jù)如下公式得到：

U，∑_t，V^T三個(gè)矩陣相乘接近于矩陣W，而這三個(gè)矩陣的面積之和要遠(yuǎn)遠(yuǎn)小于原始的矩陣W，從存儲(chǔ)觀點(diǎn)來看，矩陣面積越小，存儲(chǔ)量就越小。若要壓縮空間來表示原矩陣W，我們存下三個(gè)矩陣：U，∑_t，V^T即可。本文利用奇異值分解的方法減少了30％的識(shí)別計(jì)算耗時(shí)。

(3)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入?yún)^(qū)域輸出K+1類目標(biāo)(包含背景)的概率以及回歸后的包圍盒坐標(biāo)。對(duì)于每一個(gè)訓(xùn)練候選區(qū)域定義損失函數(shù)為：

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-lgp_u是對(duì)候選區(qū)域?qū)?yīng)的真實(shí)目標(biāo)類別u的對(duì)數(shù)損失。

對(duì)于k+1類目標(biāo)有p＝(p₀,p₁,....,p_k)。[u≥1]為示性函數(shù)，當(dāng)候選區(qū)域?yàn)楸尘皶r(shí)，u＝0。L_loc(t^u,t^*)為包圍盒坐標(biāo)的回歸損失，

式中的函數(shù)S為：

其中對(duì)于k類目標(biāo)中的每一個(gè)都有t^*為候選區(qū)域?qū)?yīng)的真實(shí)目標(biāo)包圍盒的參數(shù)坐標(biāo)向量；為k類目標(biāo)中的預(yù)測(cè)包圍盒的x坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的y坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的w坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的h坐標(biāo)。

步驟三，車輛的跟蹤

在對(duì)圖像中的交通標(biāo)志和車輛的識(shí)別后，通過對(duì)識(shí)別到的車輛使用跟蹤算法來繪制出車輛的行使軌跡。

本發(fā)明利用誤差最小平方和濾波器(Minimum Output Sum of Squared Error filter，MOSSE)，使其在目標(biāo)上的響應(yīng)最大，則如下公式：

其中g(shù)表示響應(yīng)輸出，f表示輸入圖像，h表示濾波模板，表示卷積操作。獲得響應(yīng)輸出g，只需確定濾波器模板h。上式的計(jì)算是進(jìn)行卷積計(jì)算，這在計(jì)算機(jī)中的計(jì)算消耗時(shí)很大的，因此本文對(duì)上式進(jìn)行快速傅里葉變換(FFT)。如此一來，卷積操作經(jīng)過快速傅里葉變換后就變成了點(diǎn)乘操作，極大的減少了計(jì)算量。上式變成如下形式：

為了方便描述，將上式寫成如下形式：H＝F·H^*因此，跟蹤的任務(wù)就是找到H^*，H^*為H的共軛，即：

在實(shí)際跟蹤的過程中，考慮到目標(biāo)的外觀變換等因素的影響，同時(shí)考慮目標(biāo)的m個(gè)圖像作為參考，從而提高濾波器模板的魯棒性，本專利中提出了MOSSE這個(gè)模型，其模型公式入下：

其中，⊙表示Hadamard乘積，用于矩陣或向量之間點(diǎn)對(duì)點(diǎn)的乘法運(yùn)算，上式的操作都是元素級(jí)別的，只需要使其中的每個(gè)元素(w和v是H中每個(gè)元素的索引)的MOSSE都最小即可。因此上式可轉(zhuǎn)換為如下形式：

要想得到最小的只需要對(duì)上式求偏導(dǎo)，并使偏導(dǎo)為0，即：

得到：

最后得到H為：

上式即為濾波器的模型公式。

為了讓濾波器對(duì)與形變、光照等外界影響具有更好的魯棒性，采取了如下的模板更新方式：

B_t＝ηF_t·F_t^*+(1-η)B_t-1

其中，H_t為t時(shí)刻濾波器的模版，G_t表示t時(shí)刻響應(yīng)輸出，G_t*為G_t的共軛；F_t表示t時(shí)刻輸入圖像，F(xiàn)_t*為F_t的共軛。

將濾波器的模型公式分為分子和分母兩個(gè)部分分別進(jìn)行更新，更的參數(shù)為經(jīng)驗(yàn)常數(shù)η。其中A_t和A_t-1分別表示的是當(dāng)前幀和上一幀的分子；其中B_t和B_t-1分別表示的是當(dāng)前幀和上一幀的分母。

在跟蹤過程中，只需要把以上模板與當(dāng)前幀的圖像做相關(guān)操作，將得到的相應(yīng)結(jié)果中最大的那點(diǎn)對(duì)應(yīng)的坐標(biāo)作為目標(biāo)在當(dāng)前幀的位置即可。這相當(dāng)于是在二維平面上平移我們的濾波器模板。

步驟四、車輛違章檢測(cè)與辨識(shí)系統(tǒng)

由交通標(biāo)志牌的識(shí)別得到該交叉口處合法行駛的規(guī)范，再由車輛識(shí)別與跟蹤處理后得到該交叉口中各個(gè)車輛的行駛軌跡。通過比較交通標(biāo)志牌代表的信息與車輛的行駛軌跡能夠清晰地辨識(shí)出哪些車輛違章行駛，并可以將這段記錄車輛違章的視頻保存下來作為違章罰款等交通管理部門執(zhí)法的依據(jù)。例如，識(shí)別出代表禁止掉頭(no_turn)的交通標(biāo)志牌的同時(shí)，如果該交叉口處某個(gè)車輛的行駛軌跡顯示了該車輛是掉頭行駛，則表明該車輛在違章行駛。

本發(fā)明通過基于交叉口監(jiān)控視頻中的交通標(biāo)志牌和車輛的自動(dòng)識(shí)別與跟蹤，進(jìn)而能夠自動(dòng)辨識(shí)出交叉口處車輛的違章情況，該系統(tǒng)誤檢少、效率高，無需再設(shè)置專用的攝像頭，適用范圍廣，可以避免耗費(fèi)大量的人力、物力財(cái)力。