一種基于車載視頻的交通標(biāo)識定位方法
【專利摘要】一種基于車載視頻的交通標(biāo)識定位方法，屬于智能交通領(lǐng)域的交通信息收集技術(shù)，通過連續(xù)視頻圖像解算出交通標(biāo)識的多個動態(tài)觀察距離，結(jié)合車載GPS軌跡，來精確估計交通標(biāo)識的地理坐標(biāo)，以實(shí)現(xiàn)在連續(xù)交通標(biāo)識識別的同時精確定位其地理位置。主要包括圖像幀獲取位置確定、交通標(biāo)識區(qū)域畸變校正、交通標(biāo)識精確定位、標(biāo)識區(qū)域大小計算、交通標(biāo)識視距估算、基于GPS軌跡的路徑位置估算、加權(quán)位置判斷等步驟。本發(fā)明通過車載視頻設(shè)備記錄的視頻圖像和同時記錄的GPS位置，在連續(xù)識別出交通標(biāo)識的前提下，對該交通標(biāo)識進(jìn)行自動的精確定位，避免人為估計造成的不準(zhǔn)確，同時提高工作效率。
【專利說明】一種基于車載視頻的交通標(biāo)識定位方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于車載視頻的交通標(biāo)識定位方法，屬于智能交通領(lǐng)域的交通標(biāo)識信息收集技術(shù)。
【背景技術(shù)】
[0002]當(dāng)前車載導(dǎo)航中使用的交通路線圖、交通標(biāo)識一般是通過車載攝像機(jī)通過實(shí)地跑車進(jìn)行攝像，后期通過整理視頻資料獲得。
[0003]起初，交通標(biāo)識是通過人為發(fā)現(xiàn)和標(biāo)記完成的。隨著圖像處理與識別技術(shù)的發(fā)展，交通標(biāo)識識別實(shí)現(xiàn)了部分自動或半自動化，相關(guān)的技術(shù)發(fā)明包括西門子共同研究公司.交通標(biāo)志檢測方法.中國發(fā)明專利，CN101023436A，2007-08-22、江蘇物聯(lián)網(wǎng)研究發(fā)展中心.基于視頻的交通信息采集方法.中國發(fā)明專利，CN102768804A，2012-12-07、重慶郵電大學(xué).基于GPU實(shí)現(xiàn)PSO-SVM對道路標(biāo)志的識別方法.中國發(fā)明專利，CN102999756A,2013-03-27等，在如上技術(shù)中已經(jīng)能夠?qū)B續(xù)視頻的交通標(biāo)識進(jìn)行實(shí)時的識別，并能大概確定交通標(biāo)識在圖像中的位置區(qū)域。
[0004]而交通標(biāo)識的實(shí)際地理位置并不能直接獲得。因?yàn)閿z像機(jī)鏡頭朝向行車前方，在獲得交通標(biāo)識時，車上GPS收集的位置信息與交通標(biāo)識本身的位置并不一致，一般的做法通過操作員的估計或借助交通標(biāo)識所在的地面對應(yīng)位置獲得其位置信息，不直觀、誤差也大。
[0005]根據(jù)攝影測量的原理，利用對同一點(diǎn)的兩次觀察，結(jié)合相機(jī)的成像參數(shù)進(jìn)行前方交會，可以解算出非接觸點(diǎn)的空間位置。檢索發(fā)現(xiàn)“一種基于球面全景視頻的交通標(biāo)志定位方法”，CN103345630A, 2013-10-09，該方法利用立體成像原理進(jìn)行空間位置解算，它是通過兩次全景觀察，根據(jù)標(biāo)識中心點(diǎn)位置的方位角來進(jìn)行前方交會解算的，這必然受到車載全景相機(jī)的姿態(tài)的影響，在沒有精確姿態(tài)測量的條件下會產(chǎn)生較大誤差，另外由于兩個全景影像之間的成像時的差異較大，增加了交通標(biāo)識匹配的難度。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的問題為:克服現(xiàn)有技術(shù)的不足，提供一種基于車載視頻的交通標(biāo)識定位方法，通過車載視頻設(shè)備記錄的視頻圖像和同時記錄的GPS位置，在連續(xù)識別出交通標(biāo)識的前提下，對該交通標(biāo)識進(jìn)行自動的精確定位，避免人為估計造成的不準(zhǔn)確，同時提高了工作效率。
[0007]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案如下:一種基于車載視頻的交通標(biāo)識定位方法，實(shí)現(xiàn)步驟如下:
[0008]第一步，圖像幀獲取位置確定
[0009]去除初始視頻幀序列中具有相同GPS坐標(biāo)位置的視頻幀，得到一個位置變動的視頻幀序列(Fi I i=l, 2，...，N}，對應(yīng)的位置點(diǎn)序列記為(Pi I i=l, 2，...，N}，對應(yīng)的GPS序列記為{L0i，Lai I i=l, 2,..., N},Loi和Lai分別是經(jīng)度和緯度坐標(biāo)；設(shè)汽車在兩個記錄GPS坐標(biāo)位置之間的行進(jìn)路線為直線，根據(jù)間隔的幀數(shù)平均分配距離，插值計算出每一幀對應(yīng)的GPS坐標(biāo)；
[0010] 第二步，交通標(biāo)識區(qū)域畸變校正
[0011]進(jìn)行攝像機(jī)的標(biāo)定，得出相機(jī)的幾何模型即求解其變換矩陣；再根據(jù)標(biāo)定得到的變換矩陣對第一步得到的視頻幀序列進(jìn)行畸變校正，得到校正視頻幀序列；
[0012]第三步，交通標(biāo)識精確定位
[0013]對第二步中得到的校正視頻幀序列，進(jìn)行標(biāo)識的檢測定位，得到一個粗略的位置，再采用交通標(biāo)識精確定位方法，確定交通標(biāo)識的外接四邊形，得到精確定位到圖像中的交通標(biāo)識；
[0014]第四步，標(biāo)識區(qū)域大小計算
[0015]精確定位到圖像中的交通標(biāo)識后，根據(jù)確定的外接四邊形對目標(biāo)進(jìn)行大小估計；再根據(jù)兩幀F(xiàn)i和Fi+k中目標(biāo)的面積比例，估算目標(biāo)尺度變化比例rik，其中i，k表示基于第i和第i+k中貞計算；
[0016]第五步，交通標(biāo)識視距估算
[0017]設(shè)兩個視頻幀F(xiàn)i和Fi+k對應(yīng)的GPS坐標(biāo)位置分別為P1: (Loi, Lai)和Pi+k: (Loi+k, Lai+k),計算Pi和Pi+k之間的距離記為d (i, i+k);利用d (i, i+k)和上一步的結(jié)果rik，并根據(jù)相機(jī)成像原理，計算出拍攝位置距交通標(biāo)識所在位置的距離即視距Uik ；
[0018]第六步，基于GPS軌跡的路徑位置估算
[0019]根據(jù)車輛行進(jìn)軌跡與交通標(biāo)識的位置關(guān)系并利用視距Uik估算交通標(biāo)識的位置SPik;
[0020]第七步，多次觀測結(jié)果加權(quán)
[0021]對連續(xù)觀察到的交通標(biāo)識進(jìn)行以上的位置估算，最后對所有估算的位置SPik進(jìn)行加權(quán)計算，得到交通標(biāo)識的地理位置SP。
[0022]所述第三步中交通標(biāo)識精確定位方法實(shí)現(xiàn)如下:
[0023](1)在學(xué)習(xí)階段，提出融合多種顏色通道的、魯棒的底層顏色特征；對于每一種顏色的交通標(biāo)識，分別定義其主導(dǎo)顏色；通過學(xué)習(xí)，得到該標(biāo)識主導(dǎo)顏色特征的表達(dá)集合即主導(dǎo)顏色詞典，并獲得其判定閾值Cth ；
[0024](2)判斷階段，針對得到的標(biāo)識的粗略位置，抽取圖像像素的底層顏色特征，尋找其在主導(dǎo)顏色特征集合中的k近鄰的距離之和，當(dāng)距離和小于一個閾值Cth則認(rèn)為像素具有交通標(biāo)識的主導(dǎo)顏色；
[0025](3)以上判定結(jié)果得到一個與搜索框同大小的模板，模板中I表示搜索框中像素為主導(dǎo)顏色，O表示其他顏色，去除其中離散的像素點(diǎn)，再計算出交通標(biāo)識的外接四邊形，得到精確定位到圖像中的交通標(biāo)識。
[0026]所述第五步中交通標(biāo)識視距估算過程是:
[0027](I)設(shè)兩個視頻幀F(xiàn)i和Fi+k對應(yīng)的GPS坐標(biāo)位置分別為P1: (Loi, Lai)和Pi+k: (Loi+k, Lai+k)，計算Pi和Pi+k之間的歐式距離為d (i, i+k), k是大于等于I的整數(shù)；
[0028](2)在采用的拍攝條件下，相機(jī)成像時象距不變，第i次觀測交通標(biāo)識時成像大小






s(i + k)
為S (i)，第i+k次觀測交通標(biāo)識時距離為u (i+k)，成像大小為S (i+k)，設(shè)」其中i，k表示基于第i和第i+k幀計算，根據(jù)相機(jī)成像原理，有如下關(guān)系:
【權(quán)利要求】
1.一種基于車載視頻的交通標(biāo)識定位方法，其特征在于實(shí)現(xiàn)步驟如下: 第一步，圖像幀獲取位置確定 去除初始視頻幀序列中具有相同GPS坐標(biāo)位置的視頻幀，得到一個位置變動的視頻幀序列(Fi | i=l, 2，...，N}，對應(yīng)的位置點(diǎn)序列記為(Pi | i=l, 2，...，N}，對應(yīng)的GPS序列記為(Loi, Lai I i=l, 2，...，N}，Loi和Lai分別是經(jīng)度和緯度坐標(biāo)；設(shè)汽車在兩個記錄GPS坐標(biāo)位置之間的行進(jìn)路線為直線，根據(jù)間隔的幀數(shù)平均分配距離，插值計算出每一幀對應(yīng)的GPS坐標(biāo)； 第二步，交通標(biāo)識區(qū)域畸變校正 進(jìn)行攝像機(jī)的標(biāo)定，得出相機(jī)的幾何模型即求解其變換矩陣；再根據(jù)標(biāo)定得到的變換矩陣對第一步得到的視頻幀序列進(jìn)行畸變校正，得到校正視頻幀序列； 第三步，交通標(biāo)識精確定位 對第二步中得到的校正視頻幀序列，進(jìn)行標(biāo)識的檢測定位，得到一個粗略的位置，再采用交通標(biāo)識精確定位方法，確定交通標(biāo)識的外接四邊形，得到精確定位到圖像中的交通標(biāo)識； 第四步，標(biāo)識區(qū)域大小計算 精確定位到圖像中的交通標(biāo)識后，根據(jù)確定的外接四邊形對目標(biāo)進(jìn)行大小估計；再根據(jù)兩幀F(xiàn)i和Fi+k中目標(biāo)的面積比例，估算目標(biāo)尺度變化比例rik，其中i，k表示基于第i和第i+k幀計算； 第五步，交通標(biāo)識視距估算 設(shè)兩個視頻幀F(xiàn)i和Fi+k對應(yīng)的GPS坐標(biāo)位置分別為P1: (Loi, Lai)和Pi+k: (Loi+k, Lai+k)，計算Pi和pi+k之間的距離記為d (i, i+k);利用d (i, i+k)和上一步的結(jié)果rik,并根據(jù)相機(jī)成像原理，計算出拍攝位置距交通標(biāo)識所在位置的距離即視距Uik ； 第六步，基于GPS軌跡的路徑位置估算 根據(jù)車輛行進(jìn)軌跡與交通標(biāo)識的位置關(guān)系并利用視距Uik估算交通標(biāo)識的位置SPik ； 第七步，多次觀測結(jié)果加權(quán) 對連續(xù)觀察到的交通標(biāo)識進(jìn)行以上的位置估算，最后對所有估算的位置SPik進(jìn)行加權(quán)計算，得到交通標(biāo)識的地理位置SP。
2.根據(jù)權(quán)利要求1所述的基于車載視頻的交通標(biāo)識定位方法，其特征在于:所述第三步中交通標(biāo)識精確定位方法實(shí)現(xiàn)如下: (1)在學(xué)習(xí)階段，提出融合多種顏色通道的、魯棒的底層顏色特征；對于每一種顏色的交通標(biāo)識，分別定義其主導(dǎo)顏色；通過學(xué)習(xí)，得到該標(biāo)識主導(dǎo)顏色特征的表達(dá)集合即主導(dǎo)顏色詞典，并獲得其判定閾值Cth ； (2)判斷階段，針對得到的標(biāo)識的粗略位置，抽取圖像像素的底層顏色特征，尋找其在主導(dǎo)顏色特征集合中的k近鄰的距離之和，當(dāng)距離和小于一個閾值Cth則認(rèn)為像素具有交通標(biāo)識的主導(dǎo)顏色； (3)以上判定結(jié)果得到一個與搜索框同大小的模板，模板中I表示搜索框中像素為主導(dǎo)顏色，O表示其他顏色，去除其中離散的像素點(diǎn)，再計算出交通標(biāo)識的外接四邊形，得到精確定位到圖像中的交通標(biāo)識。
3.根據(jù)權(quán)利要求1所述的基于車載視頻的交通標(biāo)識定位方法，其特征在于:所述第五步中交通標(biāo)識視距估算過程是: (O設(shè)兩個視頻幀F(xiàn)i和Fi+k對應(yīng)的GPS坐標(biāo)位置分別為P1: (Loi, Lai)和Pi+k: (Loi+k, Lai+k)，計算Pi和Pi+k之間的歐式距離為d (i, i+k), k是大于等于I的整數(shù)； (2)在采用的拍攝條件下，相機(jī)成像時象距不變，第i次觀測交通標(biāo)識時成像大小為S
(i)，第i+k次觀測交通標(biāo)識時距離為U (i+k)，成像大小為S
4.根據(jù)權(quán)利要求1所述的基于車載視頻的交通標(biāo)識定位方法，其特征在于:所述第六步中基于GPS軌跡的交通標(biāo)識位置估算具體過程是: (1)對于交通標(biāo)識不在車的行進(jìn)軌跡上的情況，根據(jù)含有交通標(biāo)識的視頻幀序列的前一部分對應(yīng)的GPS軌跡點(diǎn){L0i，Lai | i=l, 2，...，N}，擬合出一條直線，該直線是估計出的行進(jìn)路線，記為L，N是用于估計位置的點(diǎn)數(shù)；交通標(biāo)識的位置與觀測位置的連線與L的夾角序列為{ Θ i I i=l, 2，...，N}，通過幾何計算的方法求出交通標(biāo)識位置，得出關(guān)系:
5.根據(jù)權(quán)利要求1所述的基于車載視頻的交通標(biāo)識定位方法，其特征在于:所述第七步中多次觀測計算結(jié)果中的加權(quán)過程是: (1)對連續(xù)觀察到的交通標(biāo)識做以上位置估算，得到其估算位置SPik的序列； (2)對每個視頻幀計算得到的交通標(biāo)識位置SPik,去除偏離較大的點(diǎn)，即奇異點(diǎn)的去除； (3)計算當(dāng)前幀權(quán)重wik,其中Si和si+k分別表示第i和i+k次觀測時交通標(biāo)識的大小，比和hi+k分別表示第i和i+k次觀測時交通標(biāo)識的豎直方向的高度，權(quán)重定義如下:
【文檔編號】G01C21/26GK103925927SQ201410156421
【公開日】2014年7月16日 申請日期:2014年4月18日 優(yōu)先權(quán)日:2014年4月18日
【發(fā)明者】張金芳, 張慧, 徐帆江, 趙軍鎖, 陸海濤 申請人:中國科學(xué)院軟件研究所