本發(fā)明屬于智能交通技術(shù)領域,特別是一種基于雙攝像機的車型識別裝置及方法。
背景技術(shù):
智能交通系統(tǒng)是未來交通系統(tǒng)的發(fā)展方向,它是將先進的信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)、控制技術(shù)及計算機技術(shù)等有效地集成運用于整個地面交通管理系統(tǒng)而建立的一種在大范圍內(nèi)、全方位發(fā)揮作用的,實時、準確、高效的綜合交通運輸管理系統(tǒng)。
對路面行駛的車輛流量、車型類別進行統(tǒng)計,對道路的車流密度、車道占有率、車道平均速度等進行計算可獲得交通管理部門在制定政策、采取措施和對交通設施進行規(guī)劃、設計時最為科學、客觀的依據(jù)。由此可見,要構(gòu)建一個完整的智能交通系統(tǒng),首要任務是構(gòu)建一個能準確、高效地獲得交通特征參數(shù)的交通信息采集系統(tǒng),這個系統(tǒng)的核心涉及到針對交通場景的實時車型檢測和識別技術(shù)。
到目前為止,車型實時檢測和識別技術(shù)的發(fā)展經(jīng)歷了兩個階段。第一階段為基于感應線圈式、微波式、超聲波式、紅外光幕式等檢測器的“傳統(tǒng)方式”。第二階段為基于圖像處理的車型檢測和識別技術(shù)。
現(xiàn)有的基于圖像處理的車型識別一般都是針對車輛側(cè)面的信息進行識別,對于電子眼拍攝的車輛正面信息進行識別的方法不是很多,并且識別率不夠高,主要的原因在于:(1)運動車輛檢測與分割時,車輛信息不完整;(2)提取的車輛特征易受圖像噪聲、天氣情況等外界因素影響。
技術(shù)實現(xiàn)要素:
本發(fā)明所解決的技術(shù)問題在于提供一種基于雙攝像機的車型識別裝置及方法,以解決車型識別過程中識別率不夠高,易受外界因素干擾的問題。
實現(xiàn)本發(fā)明目的的技術(shù)解決方案為:
一種基于雙攝像機的車型識別裝置,包括兩組ccd攝像機、圖像采集與處理模塊、數(shù)據(jù)傳輸模塊和電源管理模塊;兩組ccd攝像機均與圖像采集與處理模塊相連;所述圖像采集與處理模塊與數(shù)據(jù)傳輸模塊相連,電源管理模塊分別與圖像采集與處理模塊和數(shù)據(jù)傳輸模塊相連,用于為各模塊供電;
ccd攝像機用于對行駛的車輛的車臉位置進行圖像采集;
圖像采集與處理模塊控制兩個攝像機對車輛進行采集,并且該模塊接收兩個攝像機傳回的車輛圖像,并對兩幅圖像進行處理,包括雙攝像頭標定,車輛檢測與分割,車輛特征提取以及車型分類處理,最后解析出車型信息;
數(shù)據(jù)傳輸模塊將圖像采集與處理模塊解析處理后得到的車型數(shù)據(jù)轉(zhuǎn)換為適合安全傳輸?shù)臄?shù)據(jù)給應用設備。
一種車型識別方法,包括以下步驟:
步驟1、對雙攝像頭標定:首先采用單攝像機的標定方法,分別得到兩個攝像機的內(nèi)、外參數(shù);再通過同一世界坐標中的一組定標點來建立兩個攝像機之間的位置關系;
步驟2、對采集到的圖像進行車輛檢測與分割:將兩組攝像機采集到的圖像進行圖像融合處理,增強圖像質(zhì)量;再使用canny邊緣檢測算子對采集到的圖像進行邊緣檢測,將檢測到的車輛圖像歸一化處理,以便后續(xù)進行車型識別;
步驟3、對車輛圖像進行特征提取與選擇:先根據(jù)車輛圖像的特點將車臉圖像從上到下分為各子區(qū)域,提取車臉圖像的分塊surf特征點;再對surf特征點鑒別能力分析,把每個子區(qū)域提取surf特征點的特征值選擇為該子區(qū)域的分類特征向量;
步驟4、對車輛圖像進行車型分類:根據(jù)雙攝像頭標定得到的外部參數(shù)以及提取的車輛圖像,計算車身長度和高度,將車輛初步劃分為大、中、小三種車型;通過分類器識別未知車輛形狀;
步驟5、獲取到的車型信息傳出:將解析處理后得到的車型數(shù)據(jù)轉(zhuǎn)換為適合安全傳輸?shù)臄?shù)據(jù)給應用設備。
本發(fā)明與現(xiàn)有技術(shù)相比,其顯著優(yōu)點:
(1)本發(fā)明采用雙攝像機,利用圖像處理技術(shù),相比于單目攝像機,不易受光照和拍攝角度影響,可以獲取高質(zhì)量的車輛圖像以及車輛相關參數(shù);
(2)在車型識別方面,車型分類器采用了機器學習理論進行訓練,相比于傳統(tǒng)方法,提高了識別準確率。
下面結(jié)合附圖對本發(fā)明作進一步詳細描述。
附圖說明
圖1為本發(fā)明基于雙攝像機的車型識別裝置的結(jié)構(gòu)示意圖。
圖2為本發(fā)明基于雙攝像機的車型識別方法的流程圖。
具體實施方式
下面結(jié)合附圖,對發(fā)明的具體實施方式作進一步描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案,而不能以此來限制本發(fā)明的保護范圍。
圖1為基于雙攝像機的車型識別裝置的結(jié)構(gòu)示意圖,本發(fā)明的一種車型識別裝置,包括兩組ccd攝像機(a攝像機和b攝像機)、圖像采集與處理模塊、數(shù)據(jù)傳輸模塊和電源管理模塊;兩組ccd攝像機均與圖像采集與處理模塊相連;所述圖像采集與處理模塊與數(shù)據(jù)傳輸模塊相連,電源管理模塊分別與圖像采集與處理模塊和數(shù)據(jù)傳輸模塊相連,用于為各模塊供電。
ccd攝像機用于對行駛的車輛的車臉位置進行圖像采集;圖像采集與處理模塊控制兩個攝像機對車輛進行采集,并且該模塊接收兩個攝像機傳回的車輛圖像,并對兩幅圖像進行處理,包括雙攝像頭標定,車輛檢測與分割,車輛特征提取以及車型分類處理,最后解析出車型信息;
優(yōu)選的,兩組ccd攝像機型號相同,兩組ccd攝像機尾部之間夾角在50°~80°之間,相對地面高度均為3~4米,視場長度均為20~150米。兩組ccd攝像機安裝于三角支架上。
所述圖像采集與處理模塊包括子模塊:檢測與分割模塊、特征提取與選擇模塊、車型分類模塊;
檢測與分割模塊用以對采集到的圖像進行車輛檢測與分割:將兩組攝像機采集到的圖像進行圖像融合處理,增強圖像質(zhì)量;再使用canny邊緣檢測算子對采集到的圖像進行邊緣檢測,將檢測到的車輛圖像歸一化處理;
優(yōu)選的,在圖像融合處理時,利用中值濾波器去除高于閥值的點,這里的閾值為每個像素鄰域(以當前像素為中心的正方形區(qū)域)的中值,消除像素值的突變,保持光強連續(xù)性;將檢測到的車輛圖像歸一化存儲,便于車輛圖像特征提??;例如,將分割出的車輛圖像通過線性插值法統(tǒng)一歸一化為200×200。
特征提取與選擇模塊用以對車輛圖像進行特征提取與選擇:根據(jù)車輛圖像的特點將車臉圖像從上到下分為各子區(qū)域,提取車臉圖像的分塊surf特征點;對surf特征點鑒別能力分析,把每個子區(qū)域提取surf特征點的特征值選擇為該子區(qū)域的分類特征向量;
特征提取與選擇模塊包括特征提取單元與特征選擇單元;
特征提取單元:根據(jù)車輛圖像的特點將車臉圖像從上到下分為4個子區(qū)域,這4個子區(qū)域分別為車頂部位、車窗部位、車前蓋部位,車牌部位,提取車臉圖像的分塊surf特征點;如果某個圖像區(qū)域不存在surf特征點,則置該圖像區(qū)域的64維surf特征向量為零向量;反之,如果存在surf特征點,則對該圖像區(qū)域的所有的64維surf特征向量計算平均值;計算公式為:
上式中,
特征選擇單元:對surf特征點鑒別能力分析,把每個子區(qū)域提取鑒別能力最大的前10個surf特征點的特征值選擇為該子區(qū)域的分類特征向量,這一分類特征向量將作為神經(jīng)網(wǎng)絡的輸入向量用于車型識別;
車型分類模塊用以根據(jù)雙攝像頭標定得到的外部參數(shù)以及提取的車輛圖像,計算車身長度和高度,將車輛初步劃分為大、中、小三種車型;通過分類器識別未知車輛形狀。車型分類模塊包括第一單元、第二單元、第三單元;
第一單元:根據(jù)雙攝像頭標定得到的外部參數(shù)(旋轉(zhuǎn)向量和平移向量)以及提取的車輛圖像,計算車身長度和高度,將車輛初步劃分為大、中、小三種車型:
車輛上任意點p的坐標(xp,yp,zp)通過如下公式計算:
每臺攝像機各測得兩個角度,分別為攝像機a的水平方位角αa,攝像機a的垂直傾角βa,攝像機b的水平方位角αb,攝像機b的垂直傾角βb。b為基線長度,即兩攝像機之間的距離;
通過計算車輛最前端點和最后端點的坐標,得到車身長度。通過計算車輛頂部最高點的坐標,得到車身高度;
車型大小的判斷標準為:車長小于等于4.3米為小型車,車長為4.3米-4.9米為中型車,車長大于4.9米為大型車。
第二單元:搜集大量的車輛圖像,并將提取到的特征向量對車輛形狀的分類器進行訓練,將車輛形狀的分類的方法輸入分類器中,讓車輛分類器產(chǎn)生分類識別規(guī)則;
第三單元:使用訓練過的車輛形狀分類器計算每個車輛形狀類的決策區(qū)域,識別未知車輛形狀。
數(shù)據(jù)傳輸模塊將圖像采集與處理模塊解析處理后得到的車型數(shù)據(jù)轉(zhuǎn)換為適合安全傳輸?shù)臄?shù)據(jù)給應用設備。
基于上述基于雙攝像機的車型識別裝置,本發(fā)明提出一種車型識別方法,包括以下步驟:
步驟1、對雙攝像頭標定:首先采用單攝像機的標定方法,分別得到兩個攝像機的內(nèi)、外參數(shù);再通過同一世界坐標中的一組定標點來建立兩個攝像機之間的位置關系。
具體地,攝像機的內(nèi)參數(shù)為:攝像機內(nèi)參數(shù)矩陣和畸變系數(shù)(三個徑向,兩個切向);攝像機的外參數(shù)為:旋轉(zhuǎn)向量(大小為1×3的矢量或旋轉(zhuǎn)矩陣3×3)和平移向量。
優(yōu)選地,單攝像機的標定首先采用透視矩陣變換的方法求解線性系統(tǒng)的攝像機參數(shù);再以求得的參數(shù)為初始值,考慮畸變因素,利用最優(yōu)化方法求得非線性解,即兩個攝像機的內(nèi)、外參數(shù)。
步驟2、對采集到的圖像進行車輛檢測與分割:將兩組攝像機采集到的圖像進行圖像融合處理,增強圖像質(zhì)量;再使用canny邊緣檢測算子對采集到的圖像進行邊緣檢測,將檢測到的車輛圖像歸一化處理,以便后續(xù)進行車型識別。
優(yōu)選地,在圖像融合處理時,利用中值濾波器去除高于閥值的點,這里的閾值為每個像素鄰域(以當前像素為中心的正方形區(qū)域)的中值,消除像素值的突變,保持光強連續(xù)性;將檢測到的車輛圖像歸一化存儲,便于車輛圖像特征提?。焕?,將分割出的車輛圖像通過線性插值法統(tǒng)一歸一化為200×200。
步驟3、對車輛圖像進行特征提取與選擇:先根據(jù)車輛圖像的特點將車臉圖像從上到下分為各子區(qū)域,提取車臉圖像的分塊surf特征點;再對surf特征點鑒別能力分析,把每個子區(qū)域提取surf特征點的特征值選擇為該子區(qū)域的分類特征向量,這一分類特征向量將作為神經(jīng)網(wǎng)絡的輸入向量用于車型識別。具體地:
3.1先根據(jù)車輛圖像的特點將車臉圖像從上到下分為4個子區(qū)域,這4個子區(qū)域分別為車頂部位、車窗部位、車前蓋部位,車牌部位,提取車臉圖像的分塊surf特征點。如果某個圖像區(qū)域不存在surf特征點,則置該圖像區(qū)域的64維surf特征向量為零向量;反之,如果存在surf特征點,則對該圖像區(qū)域的所有的64維surf特征向量計算平均值。計算公式為:
上式中,
3.2再對surf特征點鑒別能力分析,把每個子區(qū)域提取鑒別能力最大的前10個surf特征點的特征值選擇為該子區(qū)域的分類特征向量,這一分類特征向量將作為神經(jīng)網(wǎng)絡的輸入向量用于車型識別。
可理解的是,本實施例中提取的車輛圖像特征點的維數(shù)必須一致,這樣對不同的車輛圖像,提取出的surf特征點在圖像位置和個數(shù)都會不同,以此不同來進行車型的自動識別。
步驟4、對車輛圖像進行車型分類:根據(jù)雙攝像頭標定得到的外部參數(shù)以及提取的車輛圖像,計算車身長度和高度,將車輛初步劃分為大、中、小三種車型;通過分類器識別未知車輛形狀。
4.1首先根據(jù)雙攝像頭標定得到的外部參數(shù)(旋轉(zhuǎn)向量和平移向量)以及提取的車輛圖像,計算車身長度和高度,將車輛初步劃分為大、中、小三種車型:
車輛上任意點p的坐標(xp,yp,zp)通過如下公式計算:
每臺攝像機各測得兩個角度,分別為攝像機a的水平方位角αa,攝像機a的垂直傾角βa,攝像機b的水平方位角αb,攝像機b的垂直傾角βb。b為基線長度,即兩攝像機之間的距離。
通過計算車輛最前端點和最后端點的坐標,得到車身長度。通過計算車輛頂部最高點的坐標,得到車身高度。
車型大小的判斷標準為:車長小于等于4.3米為小型車,車長為4.3米-4.9米為中型車,車長大于4.9米為大型車。
4.2然后再搜集大量的車輛圖像,并將提取到的特征向量對車輛形狀的分類器進行訓練,將車輛形狀的分類的方法(即步驟3.2中的分類特征向量)輸入分類器中,讓車輛分類器產(chǎn)生分類識別規(guī)則;
4.3最后再使用訓練過的車輛形狀分類器計算每個車輛形狀類的決策區(qū)域,識別未知車輛形狀。
優(yōu)選地,分類方法采用rbf神經(jīng)網(wǎng)絡,用rbf函數(shù)在隱含層構(gòu)成一個隱含層空間,這個隱含層空間對神經(jīng)網(wǎng)絡的輸入向量進行非線性的映射。此處分類器的核心是分類算法,相比于傳統(tǒng)方法,提高了識別準確率。
步驟5、獲取到的車型信息傳出:將解析處理后得到的車型數(shù)據(jù)轉(zhuǎn)換為適合安全傳輸?shù)臄?shù)據(jù)給應用設備。
本發(fā)明實施例,采用雙攝像機,利用圖像處理技術(shù),相比于單目攝像機,不易受光照和拍攝角度影響,可以獲取高質(zhì)量的車輛圖像以及車輛相關參數(shù);在車型識別方面,車型分類器采用了機器學習理論進行訓練,相比于傳統(tǒng)方法,提高了識別準確率。
以上所述僅是本發(fā)明優(yōu)選實施方式,應當指出,對于本技術(shù)領域的普通技術(shù)人員來說,在不脫離本發(fā)明技術(shù)原理的前提下,均應視為本發(fā)明的保護范圍。