本發(fā)明涉及車輛控制領(lǐng)域，尤其涉及一種基于車載前視單目相機的交通限速標識檢測識別方法。

背景技術(shù)：

限速提示與預(yù)警是adas系統(tǒng)(基于視頻傳感器的行車安全輔助系統(tǒng))的重要組成功能之一。民間有俗語“十次事故九次快”，可見超速是交通事故的主要隱患。及時有效地向駕駛員通報道路限速情況，避免駕駛員錯看漏看限速標識，能夠有效降低由于車速過快造成的交通事故發(fā)生概率，同時也不至于行駛過慢而阻礙交通，提高道路通行效率。

目前已有的限速超速提醒系統(tǒng)大多基于地圖信息及gps位置信息，在道路工況較差、地圖數(shù)據(jù)過時的情況下會出現(xiàn)限速提示滯后甚至錯誤的現(xiàn)象。中國專利文獻cn103020623a公開了一種“交通標志檢測方法和交通標志檢測設(shè)備”，使用hsv色域依靠標志牌標準顏色尋找標志候選連通域，在標志牌輕微破損情況下，并非絕對標準，環(huán)境順逆光的工況下容易發(fā)生漏檢誤檢現(xiàn)象。中國專利文獻cn103413124a公開了“一種圓形交通標志檢測方法”，利用圓形匹配的方法檢測交通標志牌，在行駛視野里，標志牌極易出現(xiàn)形變，包括尺度和形狀的形變，會引發(fā)漏檢。中國專利文獻cn104657734a公開了“一種道路交通標志檢測方法及裝置”，利用邊沿信息檢測交通標志，在城市道路視野背景復(fù)雜的場景下，容易發(fā)生誤檢現(xiàn)象，對誤檢目標分類會造成系統(tǒng)進行大量無用計算，影響系統(tǒng)的實時性。

技術(shù)實現(xiàn)要素：

本發(fā)明為了解決上述技術(shù)問題，提供一種基于車載前視單目相機的交通限速標識檢測識別方法，其能就道路限速標識的真實情況進行有效的檢測、識別，并告知駕駛員道路限速信息，進行提示和報警，限速檢測準確性高，處理速度快，有效提高限速提示及告警的實時性和準確性，有效避免錯檢和漏檢，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。

本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的：本發(fā)明基于車載前視單目相機的交通限速標識檢測識別方法，包括如下步驟：

①在線道路限速標識檢測：訓(xùn)練構(gòu)建級聯(lián)弱分類器，在圖像感興趣區(qū)域范圍內(nèi)，提取道路限速標識特征算子，使用級聯(lián)弱分類器檢測道路限速標識；

②道路限速標識分類：對確定為有交通標志的圖像區(qū)域，使用超小型的卷積神經(jīng)網(wǎng)絡(luò)進行分類，采用離線訓(xùn)練限速標識分類算法；

③道路限速標識跟蹤：利用檢測評價指標以及目標識別結(jié)果逐幀鎖定目標位置；

④發(fā)出限速提示信號：利用限速標志牌在視野中的消失位置，判斷檢測到的限速標識是否為當(dāng)前道路的限速標識，如果是當(dāng)前道路的限速標識，則發(fā)出限速提示信號。

本發(fā)明利用車載前視單目相機檢測當(dāng)前車輛前方視野得到限速標識(包括限速標識、限低速標識和解除限速標識)，并進行識別，利用分類器級聯(lián)的目標檢測方法確認相機視角圖像感興趣區(qū)域內(nèi)的道路限速標識位置，檢測評價指標，逐幀鎖定目標，通過深度神經(jīng)網(wǎng)絡(luò)進一步確認該道路限速標識的種類，最終通過目標在視野里的消失位置，判斷是否為當(dāng)前行駛道路限速標識，如果是則上報相應(yīng)的道路限速提示。本發(fā)明能就道路限速標識的真實情況進行有效的檢測、識別，并告知駕駛員道路限速信息，進行提示和報警，限速檢測準確性高，處理速度快，有效提高限速提示及告警的實時性和準確性，有效避免錯檢和漏檢，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。

作為優(yōu)選，所述的步驟①中訓(xùn)練構(gòu)建級聯(lián)弱分類器的訓(xùn)練方法包括如下步驟：

1)預(yù)計算所有正負樣本的haar特征v；

2)初始化正負樣本權(quán)重，使正負樣本權(quán)重之和分別為0.5；

3)遍歷樣本尋找最優(yōu)分類特征θ，計算錯誤率e；

4)根據(jù)錯誤率e計算弱分類器權(quán)重w，該弱分類器為基于預(yù)先配置的準確率計算弱分類器跳出閾值tx；

5)根據(jù)弱分類器分類樣本的情況，更新樣本權(quán)重，其中分類正確的樣本權(quán)重減小，分類錯誤的樣本權(quán)重增加，并歸一化權(quán)重；

6)判斷當(dāng)前訓(xùn)練完成的弱分類器級聯(lián)后的樣本分類情況，如果分類錯誤率小于預(yù)先配置的錯誤率，則轉(zhuǎn)到步驟7)，否則返回步驟3)繼續(xù)訓(xùn)練；

7)根據(jù)級聯(lián)弱分類器的分類情況，計算正樣本打分w1、w2…wn，并從小到大排序，選取通過率為配置準確率的打分wx，作為級聯(lián)弱分類器的正樣本閾值t；最終弱分類器為f＝f1(x)+f2(x)+…fn(x)，其中f＞t的樣本分類為正樣本，每計算一個弱分類器小于弱分類器跳出閾值tx的樣本分類為負樣本。

本技術(shù)方案確保道路限速標識檢測更快速、更準確。

作為優(yōu)選，所述的步驟②中的離線訓(xùn)練限速標識分類算法為：采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分類，使用的訓(xùn)練樣本為灰度樣本，收集等比例的各類交通標識；

訓(xùn)練過程前向傳播采用平方誤差代價函數(shù)

其中共c類n個樣本，表示第n個樣本對應(yīng)的標簽的第k維，表示第n個樣本對應(yīng)的第k維網(wǎng)絡(luò)輸出；

反向傳播采用反向遞推法對softmax損失求最優(yōu)解來優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)，直至設(shè)定的循環(huán)迭代次數(shù)完成，softmax損失計算公式為：

采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由卷積層、稀疏層和池化層依次相連的一組連接另一組依次相連的卷積層、稀疏層和池化層再連接一層全連接層隨后接基于損失函數(shù)的softmax全連接層。收集等比例的各類交通標識，包括不限于限速、解除限速、限低速和非限速等等。樣本較少的種類采用灰度變換、旋轉(zhuǎn)、適當(dāng)擴邊和適當(dāng)裁邊等方式擴充。本技術(shù)方案能更快速地進行道路限速標識分類。

作為優(yōu)選，所述的步驟③為：對于空系統(tǒng)，直接新增維護目標，編碼id；對于非空系統(tǒng)，首先計算目標交集占并集的比例iou，對于iou大于設(shè)定閾值且識別結(jié)果一致認為是同一目標，目標存活計時器計時增加，識別可信度增加；對于iou小于設(shè)定閾值，且識別結(jié)果一致的目標，計算其歐式距離，歐式距離大于設(shè)置閾值，同樣認為是同一目標，統(tǒng)計相應(yīng)信息；當(dāng)該目標iou小于設(shè)定閾值，識別結(jié)果與存活目標不一致，歐式距離大于設(shè)置閾值時，增加新維護樣本并編碼id；當(dāng)某id標識識別置信度較大，則僅檢測該目標并利用iou逐幀定位，直至目標消失。對限速標識進行目標維護和多幀識別。

作為優(yōu)選，所述的基于車載前視單目相機的交通限速標識檢測識別方法包括限速標識檢測識別方法：使用sobel算子計算圖像感興趣區(qū)域內(nèi)的邊沿分布圖，在圖像感興趣區(qū)域中進行多尺度滑窗檢測，統(tǒng)計窗口映射在邊沿分布圖中的圖像區(qū)域，如果邊沿較少，則該窗口不進行類別判斷，滑動至下一窗口，如果邊沿較多，則根據(jù)步驟①中級聯(lián)弱分類器算法判定是否為限速標識，采用步驟③中所描述的跟蹤策略判斷是否為新檢測目標，對新檢測目標進行cnn卷積神經(jīng)網(wǎng)絡(luò)分類，確定目標所屬種類及打分，去除不是限速標識的目標。

作為優(yōu)選，所述的步驟④為：根據(jù)限速標志牌在視野中的消失區(qū)域和消失前的標識尺寸，區(qū)分該標識是位于天空還是道路的左側(cè)或右側(cè)；如果目標從畫面中間靠上部分消失，則判定標識為當(dāng)前道路限速標識；如果目標從畫面左側(cè)或右側(cè)消失，則將又屬于位于天空的目標判定為非當(dāng)前道路限速標識，將又屬于位于非天空的目標判斷為當(dāng)前道路限速標識；最后將確認為當(dāng)前道路限速標識的信息編碼為can總線消息，上報車機，限速信息顯示在汽車儀表上，并且通過聲音、指示燈或震動形式發(fā)出限速報警信號。

限速標識在車載前視單目相機所捕獲畫面中出現(xiàn)的情況主要分為三種：置于橫桿上位于天空，和置于立桿上位于道路的左側(cè)或者右側(cè)。當(dāng)某id目標消失于圖像某區(qū)域時，首先根據(jù)消失區(qū)域和消失前的標識尺寸，區(qū)分該標識是位于天空還是地面，再進行后續(xù)判斷。

本發(fā)明中所有閾值均可配置。

本發(fā)明的有益效果是：能就道路限速標識的真實情況進行有效的檢測、識別，并告知駕駛員道路限速信息，進行提示和報警，限速檢測準確性高，處理速度快，所占用硬件資源少，有效提高限速提示及告警的實時性和準確性，有效避免錯檢和漏檢，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。

附圖說明

圖1是本發(fā)明的一種算法流程總圖。

圖2是本發(fā)明中車載前視單目相機檢測道路限速標識時圖像感興趣區(qū)域的一種示意圖。

圖3是本發(fā)明中級聯(lián)弱分類器的一種結(jié)構(gòu)示意圖。

圖4是本發(fā)明中卷積神經(jīng)網(wǎng)絡(luò)的一種結(jié)構(gòu)示意圖。

圖中1.道路，2.固定roi，3.可變roi。

具體實施方式

下面通過實施例，并結(jié)合附圖，對本發(fā)明的技術(shù)方案作進一步具體的說明。

實施例：本實施例的基于車載前視單目相機的交通限速標識檢測識別方法，如圖1所示為總流程圖，車載前視單目相機的視頻信號為本系統(tǒng)輸入，道路限速信息為本系統(tǒng)輸出，最終顯示在汽車儀表上。限速標識檢測及提示功能可通過汽車儀表界面選擇開啟或關(guān)閉。具體方法包括如下步驟：

①檢測roi圖像感興趣區(qū)域：使用的限速標識檢測roi如圖2所示，為車載前視單目相機所拍攝到的圖像，車輛行駛在道路1上，在車載前視單目相機的roi圖像感興趣區(qū)域范圍內(nèi)，利用②中訓(xùn)練好的檢測分類器，其中固定roi2為系統(tǒng)固有roi，可變roi3為當(dāng)目標靠近固定roi邊界時觸發(fā)計算，固定roi大小可配置，可變roi基于檢測目標尺寸外擴，外擴尺寸可配置，安裝系統(tǒng)時可根據(jù)不同的相機參數(shù)進行調(diào)整。

②在線道路限速標識檢測：訓(xùn)練構(gòu)建級聯(lián)弱分類器，本實施例的級聯(lián)弱分類器結(jié)構(gòu)如圖3所示，在圖像感興趣區(qū)域范圍內(nèi)，提取道路限速標識特征算子，使用級聯(lián)弱分類器檢測道路限速標識；

訓(xùn)練構(gòu)建級聯(lián)弱分類器的訓(xùn)練方法包括如下步驟：

1)預(yù)計算所有正負樣本的haar特征v；

2)初始化正負樣本權(quán)重，使正負樣本權(quán)重之和分別為0.5；

3)遍歷樣本尋找最優(yōu)分類特征θ，計算錯誤率e；

4)根據(jù)錯誤率e計算弱分類器權(quán)重w，該弱分類器為基于預(yù)先配置的準確率(本實施例采用的準確率為99.5％)計算弱分類器跳出閾值tx：

5)根據(jù)弱分類器分類樣本的情況，更新樣本權(quán)重，其中分類正確的樣本權(quán)重減小，分類錯誤的樣本權(quán)重增加，并歸一化權(quán)重；

6)判斷當(dāng)前訓(xùn)練完成的弱分類器級聯(lián)后的樣本分類情況，如果分類錯誤率小于預(yù)先配置的錯誤率(本實施例采用的錯誤率為0.5％)，則轉(zhuǎn)到步驟7)，否則返回步驟3)繼續(xù)訓(xùn)練；

7)根據(jù)級聯(lián)弱分類器的分類情況，計算正樣本打分w1、w2…wn，并從小到大排序，選取通過率為配置準確率(99.5％)的打分wx，作為級聯(lián)弱分類器的正樣本閾值t；最終弱分類器為f＝f1(x)+f2(x)+…fn(x)，其中f＞t的樣本分類為正樣本，每計算一個弱分類器小于弱分類器跳出閾值tx的樣本分類為負樣本。

最終本實施例獲取各類限速標識5000張，采用灰度變化、旋轉(zhuǎn)等方法擴充至15000張。選用負樣本20000張，經(jīng)過難例挖掘等策略擴充至45000張，以提升分類器的檢測效果。

③道路限速標識分類：對確定為有交通標志的圖像區(qū)域，使用超小型的卷積神經(jīng)網(wǎng)絡(luò)進行分類，采用離線訓(xùn)練限速標識分類算法；

離線訓(xùn)練限速標識分類算法為：道路限速標識分類算法，采用如圖4所示的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由卷積層、稀疏層和池化層依次相連的一組連接另一組依次相連的卷積層、稀疏層和池化層再連接一層全連接層隨后接基于損失函數(shù)的softmax全連接層分類。該分類算法使用的訓(xùn)練樣本為灰度樣本，收集等比例的各類交通標識(包括不限于：限速、解除限速、限低速和非限速)；

訓(xùn)練過程前向傳播采用平方誤差代價函數(shù)

其中共c類n個樣本，表示第n個樣本對應(yīng)的標簽的第k維，表示第n個樣本對應(yīng)的第k維網(wǎng)絡(luò)輸出；

反向傳播采用反向遞推(bp)法對softmax損失求最優(yōu)解來優(yōu)化網(wǎng)絡(luò)權(quán)重參數(shù)，直至設(shè)定的循環(huán)迭代次數(shù)完成，softmax損失計算公式為：

④限速標識檢測識別：使用sobel算子計算圖像感興趣區(qū)域內(nèi)的邊沿分布圖，在圖像感興趣區(qū)域中進行多尺度滑窗檢測，統(tǒng)計窗口映射在邊沿分布圖中的圖像區(qū)域，如果邊沿較少，則該窗口不進行類別判斷，滑動至下一窗口，如果邊沿較多，則根據(jù)步驟②中級聯(lián)弱分類器算法判定是否為限速標識，采用步驟⑤中所描述的跟蹤策略判斷是否為新檢測目標，對新檢測目標進行cnn卷積神經(jīng)網(wǎng)絡(luò)分類，確定目標所屬種類及打分，去除不是限速標識的目標。

⑤道路限速標識跟蹤，限速標識目標維護和多幀識別：利用檢測評價指標以及目標識別結(jié)果逐幀鎖定目標位置；

對于空系統(tǒng)，直接新增維護目標，編碼id；

對于非空系統(tǒng)，首先計算目標交集占并集的比例iou，對于iou大于設(shè)定閾值(本實施例默認設(shè)置0.5)且識別結(jié)果一致認為是同一目標，目標存活計時器計時增加，識別可信度增加；對于iou小于設(shè)定閾值，且識別結(jié)果一致的目標，計算其歐式距離，歐式距離大于設(shè)置閾值(本實施例默認設(shè)置200像素)，同樣認為是同一目標，統(tǒng)計相應(yīng)信息；當(dāng)該目標iou小于設(shè)定閾值，識別結(jié)果與存活目標不一致，歐式距離大于設(shè)置閾值時，增加新維護樣本并編碼id；

當(dāng)某id標識識別置信度較大，則僅檢測該目標并利用iou逐幀定位，直至目標消失。

⑥發(fā)出限速提示信號：根據(jù)限速標志牌在視野中的消失區(qū)域和消失前的標識尺寸，區(qū)分該標識是位于天空還是地面；

如果目標從畫面中間靠上部分消失，則判定標識為當(dāng)前道路限速標識；

如果目標從畫面左側(cè)或右側(cè)消失，則將又屬于位于天空的目標判定為非當(dāng)前道路限速標識，將又屬于位于非天空的目標判斷為當(dāng)前道路限速標識；

最后將確認為當(dāng)前道路限速標識的信息編碼為can總線消息，上報車機，限速信息顯示在汽車儀表上，并且通過聲音、指示燈或震動形式發(fā)出限速報警信號。

當(dāng)然，限速標識檢測還可通過使用lbp、hog、acf或icf等特征訓(xùn)練級聯(lián)弱分類器進行檢測，邊沿信息除soble算子外，還有一階梯度差、二階laplace算子等邊沿檢測算法。限速標識分類可通過svm、最近鄰等機器學(xué)習(xí)方法實現(xiàn)。固定roi與專用roi的尺度可以靈活多變。

本發(fā)明通過級聯(lián)弱分類器可以更快更準確地在多尺度下進行限速標識檢測，基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)設(shè)計的超小型分類網(wǎng)絡(luò)相對于其他結(jié)果的網(wǎng)絡(luò)在不影響準確率的前提下減少了硬件資源的占用，限速信息提示策略區(qū)分了固定roi和靈活的專用roi，減少了系統(tǒng)的硬件資源占用，結(jié)合前視相機的視野，避免因車輛運動姿態(tài)造成的錯誤提示。本發(fā)明能就道路限速標識的真實情況進行有效的檢測、識別，并告知駕駛員道路限速信息，進行提示和報警，限速檢測準確性高，處理速度快，所占用硬件資源少，有效提高限速提示及告警的實時性和準確性，有效避免錯檢和漏檢，確保駕駛員能更好地對車輛進行操控，有利于車輛的正常、安全行駛。