專(zhuān)利名稱(chēng)：汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種應(yīng)用圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)，根據(jù)車(chē)載攝像頭獲取的路面圖 像，實(shí)時(shí)計(jì)算汽車(chē)偏離車(chē)道線的角度和距離的快速計(jì)算及安全預(yù)警方法。首先對(duì)路面圖像 進(jìn)行車(chē)道線檢測(cè)，得到局部車(chē)道線的直線方程；以攝像頭為原點(diǎn)建立三維坐標(biāo)系，記錄攝像 頭的安裝高度和俯角；對(duì)其焦距進(jìn)行定標(biāo)，然后依據(jù)針孔攝像機(jī)模型計(jì)算汽車(chē)相對(duì)車(chē)道線 的偏轉(zhuǎn)角和垂直距離，估計(jì)駛離車(chē)道的時(shí)間，為汽車(chē)駕駛中的安全預(yù)警或智能控制提供有 效信息。
背景技術(shù)：
近年來(lái)，汽車(chē)自主駕駛技術(shù)飛速發(fā)展，并逐漸取得進(jìn)步。各個(gè)研究機(jī)構(gòu)研制的自 主駕駛系統(tǒng)已經(jīng)可以在結(jié)構(gòu)化道路上(高速公路)高速自主駕駛，并具備了各種智能化功 能。在龐大而復(fù)雜的現(xiàn)代交通系統(tǒng)中，保證行車(chē)安全是首要目標(biāo)，汽車(chē)主動(dòng)安全技術(shù)就是 通過(guò)對(duì)車(chē)輛運(yùn)行的各種參數(shù)進(jìn)行監(jiān)測(cè)、調(diào)節(jié)與控制來(lái)達(dá)到輔助駕駛的目的，而車(chē)道跑偏告 警系統(tǒng)正是其中主要技術(shù)之一。研究車(chē)道跑偏告警系統(tǒng)的目的是對(duì)車(chē)輛即將駛出車(chē)道的危險(xiǎn)情況給出警報(bào)，這 種危險(xiǎn)狀況大多是由于駕駛員精神不夠集中或困倦、疲勞等原因引起的，屬于無(wú)意識(shí)的偏 離車(chē)道。因此，車(chē)道跑偏告警系統(tǒng)從根本上說(shuō)是對(duì)駕駛員的不良駕駛狀態(tài)給出警告，其中 計(jì)算機(jī)視覺(jué)測(cè)量方法因?yàn)槠渲庇^、易用和可靠性成為一個(gè)主流的研究方向。該方法融合了 人、車(chē)、路3個(gè)系統(tǒng)，通過(guò)研究車(chē)一路關(guān)系，進(jìn)而反推得到人的狀態(tài)。車(chē)道跑偏告警系統(tǒng)直接依賴(lài)于汽車(chē)的行駛速度、方向和與車(chē)道線之間的距離。其 中行駛速度容易直接從車(chē)上的電子系統(tǒng)提取，而行駛方向和與車(chē)道線的距離不易獲得。吉 林大學(xué)郭孔輝教授提出的單點(diǎn)預(yù)瞄最優(yōu)曲率模型，利用車(chē)輛轉(zhuǎn)向時(shí)的Ackerman幾何關(guān)系 和穩(wěn)態(tài)轉(zhuǎn)向時(shí)橫垂面內(nèi)力的平衡分別確定目標(biāo)轉(zhuǎn)向角和目標(biāo)側(cè)傾角，采用ADAMS軟件建立 了駕駛員一車(chē)輛閉環(huán)動(dòng)力學(xué)模型，并按雙移線和蛇行兩種典型行駛工況進(jìn)行仿真，所建立 的駕駛員模型適用于單軌車(chē)輛人一車(chē)閉環(huán)控制模型的動(dòng)力學(xué)仿真研究。由于目前基于圖像分析的車(chē)道檢測(cè)技術(shù)已經(jīng)非常成熟，學(xué)者們提出了多種車(chē)道檢 測(cè)算法，即使在城市道路等復(fù)雜環(huán)境下，車(chē)道檢測(cè)都具有良好的效果。由于在局部范圍內(nèi)， 車(chē)道分布可近似為直線，本發(fā)明利用圖像分析技術(shù)進(jìn)行車(chē)道檢測(cè)，得到車(chē)道線方程，并以攝 像頭為原點(diǎn)建立三維坐標(biāo)系；結(jié)合攝像頭安裝的空間信息，依據(jù)針孔攝像機(jī)模型計(jì)算汽車(chē) 相對(duì)車(chē)道線的偏轉(zhuǎn)角和垂直距離，以車(chē)一道關(guān)系為依據(jù)獲得汽車(chē)跑偏的預(yù)警信息，成為智 能交通系統(tǒng)及自主駕駛中保障行車(chē)安全的重要技術(shù)環(huán)節(jié)。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有汽車(chē)跑偏預(yù)警方法模型復(fù)雜、計(jì)算量大、環(huán)境依賴(lài)性強(qiáng)的不足，本發(fā)明的 目的是提供一種汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方法，該方法利用圖像分析 技術(shù)完成車(chē)道檢測(cè)，采用視覺(jué)計(jì)算方法得到汽車(chē)相對(duì)路面車(chē)道線的空間位置和行駛方向，
4作為智能駕駛中汽車(chē)跑偏的預(yù)警信息。本發(fā)明包含以下步驟
a)將CCD視頻攝像頭沿汽車(chē)正前方向安裝在車(chē)內(nèi)或車(chē)頂，調(diào)整俯角和焦距使其對(duì)前方 50m內(nèi)路面清晰成像，記錄攝像頭的安裝高度h和俯角θ ；
b)由攝像頭對(duì)路面進(jìn)行連續(xù)拍攝采集到的路面圖像序列，通過(guò)DSP的數(shù)字視頻高速通 道實(shí)現(xiàn)數(shù)據(jù)采集；
c)對(duì)路面圖像中的車(chē)道線進(jìn)行檢測(cè)，包括
3)圖像邊沿檢測(cè)。利用兩個(gè)5 X 5模板分別對(duì)圖像進(jìn)行乘一加運(yùn)算，得到對(duì)應(yīng)于水平和
垂直方向的兩幅梯度圖像，由這兩幅圖像求出原圖的邊沿圖像。邊沿圖像將凸顯圖像的輪 廓特征，尤其是車(chē)道線的邊沿信息；
2)圖像的二值化。對(duì)邊沿圖像采用Otsu算法計(jì)算出自適應(yīng)閾值，依據(jù)該閾值對(duì)圖像
進(jìn)行黑白兩色二值化處理；
③去除水平輪廓為了減少白點(diǎn)數(shù)量從而降低后續(xù)處理計(jì)算量，依據(jù)車(chē)道線在畫(huà)面 中不會(huì)出現(xiàn)水平走向的特點(diǎn)，對(duì)水平邊沿點(diǎn)進(jìn)行合并，即對(duì)水平方向連續(xù)出現(xiàn)的白點(diǎn)只保 留最左邊第一個(gè)白點(diǎn)，從而刪除水平邊沿，降低白點(diǎn)數(shù)量，同時(shí)又不對(duì)車(chē)道檢測(cè)效果產(chǎn)生影 響；
④應(yīng)用約束條件去點(diǎn)。根據(jù)實(shí)際車(chē)道線分布的亮度、寬度和連續(xù)性特征設(shè)定約束條 件，進(jìn)一步去除干擾點(diǎn)；
⑤得到車(chē)道線方程。經(jīng)過(guò)上面一系列處理后，有效降低了白點(diǎn)數(shù)量。Hough變換是一 種廣泛采用的直線檢測(cè)手段，它通過(guò)“投票”方式?jīng)Q定最可能的直線位置，本發(fā)明中用來(lái)實(shí) 現(xiàn)車(chē)道線檢測(cè)。在檢測(cè)過(guò)程中再次引入約束條件，并設(shè)定最低票數(shù)，在滿(mǎn)足票數(shù)條件的直線 超過(guò)4條時(shí)，保留票數(shù)最高的4條直線作為車(chē)道候選線，最終得到0 4條車(chē)道線的直線方 程；
d)對(duì)攝像頭的焦距參數(shù)f進(jìn)行標(biāo)定。將安裝好攝像頭的車(chē)輛停在與車(chē)道線成已知角度 的方向上，依據(jù)檢測(cè)出的車(chē)道線方程計(jì)算出焦距f，用于后續(xù)車(chē)輛行駛過(guò)程中對(duì)偏轉(zhuǎn)角和 垂直距離的計(jì)算；
e)計(jì)算汽車(chē)相對(duì)車(chē)道線的偏轉(zhuǎn)角β和垂直距離d:在汽車(chē)行駛過(guò)程中，對(duì)每幀圖像的 車(chē)道線進(jìn)行實(shí)時(shí)檢測(cè)并得到直線方程，依據(jù)步驟a)記錄的高度h和俯角θ以及步驟d)定 標(biāo)得到的焦距f計(jì)算偏轉(zhuǎn)角β和垂直距離d;
f)根據(jù)汽車(chē)的即時(shí)行駛速度以及步驟e)得到的偏轉(zhuǎn)角β和距離參數(shù)d計(jì)算汽車(chē)超越 車(chē)道線所需時(shí)間，設(shè)定報(bào)警閾值，若算得越線時(shí)間小于閾值，則給出警示信息，提醒駕駛員 及時(shí)處理。本發(fā)明專(zhuān)利述及方法的運(yùn)行結(jié)果說(shuō)明
(1)目前的車(chē)道檢測(cè)方法幾乎都使用Hough變換的直線檢測(cè)方法，由于Hough變換 計(jì)算量大，影響了實(shí)時(shí)性。由于本方法中采用了多種有效的約束條件，使得參與Hough變換 投票的點(diǎn)大為減少，一般只有數(shù)十個(gè)，提高了速度。實(shí)驗(yàn)證明完全可以滿(mǎn)足實(shí)時(shí)檢測(cè)要求；
(2)由于有效的約束條件去除了大部分非車(chē)道圖像信息的干擾，所以本方法抗干擾能力強(qiáng)。實(shí)驗(yàn)證明在城市道路的復(fù)雜環(huán)境下同意具有較滿(mǎn)意的可靠性；
(3)現(xiàn)場(chǎng)定標(biāo)的方式，減少了由于攝像頭本身的誤差造成的影響，提高了準(zhǔn)確性；
(4)角度計(jì)算方法采用幾何計(jì)算形式，提高了計(jì)算速度。總之，本方法相對(duì)目前的同類(lèi)研究成果，在系統(tǒng)的環(huán)境適應(yīng)性、計(jì)算速度、可靠性 方面都有自己的特色，更有利于滿(mǎn)足實(shí)際應(yīng)用需求。


圖1是實(shí)驗(yàn)過(guò)程中CXD攝像頭拍得的路面車(chē)道線實(shí)景圖。圖2是步驟C)得到的車(chē)道檢測(cè)結(jié)果。圖3是路面頂視示意圖。圖4是路面?zhèn)纫暿疽鈭D。圖5是算法中采用的空間坐標(biāo)系模型圖。
具體實(shí)施例方式下面結(jié)合一個(gè)非限定性實(shí)例對(duì)本發(fā)明的實(shí)施過(guò)程作進(jìn)一步的說(shuō)明，參見(jiàn)圖1、圖 2、圖3、圖4、圖5。本發(fā)明重在方法描述，實(shí)施中采用的實(shí)驗(yàn)裝置，包括攝像頭和DSP圖像處理板采 用市面上的通用設(shè)備實(shí)現(xiàn)，圖像的采集、尺寸縮放也是流行的技術(shù)，不再做詳細(xì)介紹。為保 證實(shí)施過(guò)程描述的完整性，會(huì)涉及一些通用技術(shù)，不具有專(zhuān)利保護(hù)性質(zhì)，將在權(quán)利要求書(shū)中 明確說(shuō)明。本發(fā)明實(shí)施方式如下
(a)沿汽車(chē)正前方向安裝CXD視頻攝像頭，調(diào)整俯角和焦距使其對(duì)前方50m內(nèi)路面清晰 成像，記錄攝像頭的安裝高度h和俯角Θ，見(jiàn)圖4。(b)路面圖像中的車(chē)道線檢測(cè)，包括
D圖像邊沿檢測(cè)利用式(1)、(2)的兩個(gè)5X5模板分別對(duì)圖像進(jìn)行乘一加運(yùn)算，得到
對(duì)應(yīng)于水平和垂直方向的兩幅梯度圖像/,和‘，然后由公式/ = -,/4+彳得到邊沿圖像/ ；邊沿圖像保留了圖像的輪廓信息，尤其是車(chē)道線的邊沿信息
對(duì)邊沿圖像的二值化處理。對(duì)邊沿圖像采用Otsu算法計(jì)算出自適應(yīng)閾值，并對(duì)圖像進(jìn)行二值化處理；
③去除水平輪廓。對(duì)二值圖像進(jìn)行水平方向掃描，考察連續(xù)兩個(gè)點(diǎn)若某點(diǎn)為白點(diǎn)，而 前面相鄰點(diǎn)為黑點(diǎn)，則保留該白點(diǎn)，將不滿(mǎn)足此條件的所有點(diǎn)變?yōu)楹邳c(diǎn)，即將其灰度值清0。 這樣可以去除水平輪廓，大大降低白點(diǎn)數(shù)量，而且可以消除其它交通標(biāo)志的干擾，同時(shí)不影 響車(chē)道線檢測(cè)效果；
④應(yīng)用約束條件進(jìn)一步消除白點(diǎn)。根據(jù)實(shí)際車(chē)道的特點(diǎn)設(shè)定約束條件，進(jìn)一步去除干 擾點(diǎn)。本發(fā)明中用了三個(gè)約束條件第一，車(chē)道線較路面亮度高，車(chē)道線上像素點(diǎn)的灰度值 與旁邊道路上灰度值之差不小于20;第二，車(chē)道線的寬度約束，一般介于2 20個(gè)像素之 間，而左右兩邊至少存在一個(gè)40個(gè)像素以上的空曠(無(wú)白點(diǎn))區(qū)域；第三，連續(xù)性限制，白點(diǎn) 在分布上應(yīng)符合或近似符合(左右偏差不超過(guò)一個(gè)像素)直線特征。將不符合上述約束條件 的白點(diǎn)刪除；
⑤得到車(chē)道線方程。經(jīng)過(guò)上面一系列處理后，有效降低了白點(diǎn)數(shù)量，然后采用Hough變 換作直線檢測(cè)。在此過(guò)程中，再引入約束條件第一，限定圖像中車(chē)道線數(shù)量不多于4根；第 二，依據(jù)視覺(jué)原因，兩條車(chē)道線的角度差不能小于5 ;第三，車(chē)道線不能允許在畫(huà)面的下 方出現(xiàn)交叉；第四，對(duì)Hough變換的投票數(shù)量進(jìn)行限定，小于15票認(rèn)為是干擾信息。經(jīng)過(guò)上 面約束，選擇票數(shù)最多的0 4條直線為車(chē)道線。以圖像中心為原占，計(jì)算出每條車(chē)道線在 圖像平面內(nèi)的直線方程v = + 。其中力橫坐標(biāo)，ν為縱坐標(biāo)，為斜率,《為截距。見(jiàn) 圖1、圖2。 (c)對(duì)攝像頭的焦距參數(shù)進(jìn)行標(biāo)定參見(jiàn)圖3，將安裝好攝像頭的車(chē)輛停在一個(gè)與 車(chē)道線所成角度β已知的方向上，依據(jù)檢測(cè)出的車(chē)道線方程ν = ￥ + ，連同步驟a)記 錄的θ值，依據(jù)式(3)計(jì)算出焦距f (說(shuō)明式(3)由0=45 導(dǎo)出)，用于后續(xù)車(chē)輛行駛 過(guò)程中對(duì)偏轉(zhuǎn)角和距離的計(jì)算 (d)計(jì)算汽車(chē)相對(duì)車(chē)道線的偏轉(zhuǎn)角β和垂直距離d，見(jiàn)圖3。在汽車(chē)行駛過(guò)程中， 對(duì)每幀圖像的車(chē)道線進(jìn)行實(shí)時(shí)檢測(cè)并得到直線方程ν = + ,依據(jù)步驟a)記錄的高度h 和俯角θ以及步驟d)定標(biāo)得到的焦距f，借助圖5所示的空間坐標(biāo)系，采用針孔攝像機(jī)模 型可以推導(dǎo)出偏轉(zhuǎn)角β和垂直距離d的計(jì)算公式，見(jiàn)式(4)、(5)
若出現(xiàn)多條車(chē)道線，可以計(jì)算汽車(chē)相對(duì)每條車(chē)道線的偏轉(zhuǎn)角和垂直距離。
(e)根據(jù)汽車(chē)的即時(shí)行駛速度s以及步驟e)得到的β和d計(jì)算汽車(chē)超越車(chē)道線 所需時(shí)間t，見(jiàn)式(6)
設(shè)定T為報(bào)警時(shí)間，T與駕駛員的反應(yīng)速度及汽車(chē)制動(dòng)效果有關(guān)，當(dāng)t<T時(shí)，給出警示信息，從而保障汽車(chē)的行駛安全。
權(quán)利要求
一種汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方法,包括以下步驟a)將CCD視頻攝像頭沿汽車(chē)正前方向安裝在車(chē)內(nèi)或車(chē)頂，調(diào)整俯角和焦距使其對(duì)前方50m內(nèi)路面清晰成像，記錄攝像頭的安裝高度h和俯角θ；b)由攝像頭對(duì)路面進(jìn)行連續(xù)拍攝采集到的路面圖像序列，通過(guò)DSP的數(shù)字視頻高速通道實(shí)現(xiàn)數(shù)據(jù)采集；c)對(duì)路面圖像中的車(chē)道線進(jìn)行檢測(cè)，包括圖像邊沿檢測(cè)利用兩個(gè)5×5模板分別對(duì)圖像進(jìn)行乘—加運(yùn)算，得到對(duì)應(yīng)于水平和垂直方向的兩幅梯度圖像，由這兩幅圖像求出原圖的邊沿圖像，尤其是車(chē)道線的邊沿信息；圖像的二值化對(duì)邊沿圖像采用Otsu算法計(jì)算出自適應(yīng)閾值，依據(jù)該閾值對(duì)圖像進(jìn)行黑白兩色二值化處理；③去除水平輪廓為了減少白點(diǎn)數(shù)量從而降低后續(xù)處理計(jì)算量，依據(jù)車(chē)道線在畫(huà)面中不會(huì)出現(xiàn)水平走向的特點(diǎn)，對(duì)水平邊沿點(diǎn)進(jìn)行合并，即對(duì)水平方向連續(xù)出現(xiàn)的白點(diǎn)只保留最左邊第一個(gè)白點(diǎn)，從而刪除水平邊沿，降低白點(diǎn)數(shù)量，同時(shí)又不對(duì)車(chē)道檢測(cè)效果產(chǎn)生影響；④應(yīng)用約束條件去點(diǎn)根據(jù)實(shí)際車(chē)道線分布的亮度、寬度和連續(xù)性特征設(shè)定約束條件，進(jìn)一步去除干擾點(diǎn)；⑤得到車(chē)道線方程采用Hough變換決定最可能的直線位置，最終得到0～4條車(chē)道線的直線方程；d)對(duì)攝像頭的焦距參數(shù)f進(jìn)行標(biāo)定將安裝好攝像頭的車(chē)輛停在與車(chē)道線成已知角度的方向上，依據(jù)檢測(cè)出的車(chē)道線方程計(jì)算出焦距f,用于后續(xù)車(chē)輛行駛過(guò)程中對(duì)偏轉(zhuǎn)角和垂直距離的計(jì)算；e)計(jì)算汽車(chē)相對(duì)車(chē)道線的偏轉(zhuǎn)角β和垂直距離d在汽車(chē)行駛過(guò)程中，對(duì)每幀圖像的車(chē)道線進(jìn)行實(shí)時(shí)檢測(cè)并得到直線方程，依據(jù)步驟a)記錄的高度h和俯角θ以及步驟d)定標(biāo)得到的焦距f根據(jù)以下公式計(jì)算偏轉(zhuǎn)角β和垂直距離d、；f)根據(jù)汽車(chē)的即時(shí)行駛速度以及步驟e)得到的偏轉(zhuǎn)角β和距離參數(shù)d，根據(jù)公式計(jì)算汽車(chē)超越車(chē)道線所需時(shí)間t，設(shè)定報(bào)警閾值，若算得越線時(shí)間小于閾值，則給出警示信息。842982dest_path_image001.jpg,59200dest_path_image002.jpg,561944dest_path_image003.jpg,976745dest_path_image004.jpg,981610dest_path_image005.jpg
2.權(quán)利要求1所述的汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方，其特征在于 步驟c)③中為減少白點(diǎn)數(shù)量，對(duì)邊沿二值圖像去除了水平輪廓，對(duì)二值圖像進(jìn)行水平方向 掃描，考察連續(xù)兩個(gè)點(diǎn)若某點(diǎn)為白點(diǎn)，而前面相鄰點(diǎn)為黑點(diǎn)，則保留該白點(diǎn)，將不滿(mǎn)足此條 件的所有點(diǎn)變?yōu)楹邳c(diǎn)。
3.權(quán)利要求1所述的所述的汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方，其特征 在于步驟c)④中為減少白點(diǎn)數(shù)量，采用約束條件去白點(diǎn)，采用了三個(gè)約束條件第一，車(chē) 道線上像素點(diǎn)的灰度值與旁邊道路上灰度值之差不小于20;第二，車(chē)道線沿水平方向的像素介于2 20個(gè)之間，而線外左右兩邊至少存在一個(gè)不少于40個(gè)像素的黑點(diǎn)區(qū)域；第三， 白點(diǎn)在分布上應(yīng)符合或近似符合即左右偏差不超過(guò)一個(gè)像素的直線特征；將不符合上述約 束條件的白點(diǎn)刪除。
4.權(quán)利要求1所述的所述的汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方，其特征 在于步驟c)⑤中對(duì)車(chē)道線的數(shù)量和分布進(jìn)行了約束第一，限定圖像中車(chē)道線數(shù)量不多 于4根；第二，依據(jù)視覺(jué)原因，兩條車(chē)道線的角度差不能小于5度；第三，車(chē)道線不能允許在 畫(huà)面的下方出現(xiàn)交叉；第四，對(duì)Hough變換的投票數(shù)量進(jìn)行限定，放棄少于15票的檢測(cè)結(jié) 果；最后計(jì)算出每條車(chē)道線在圖像平面內(nèi)的直線方程。
全文摘要
本發(fā)明涉及一種汽車(chē)偏離車(chē)道線角度和距離的視覺(jué)計(jì)算及預(yù)警方法，應(yīng)用圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)，根據(jù)車(chē)載攝像頭獲取的路面圖像，實(shí)時(shí)計(jì)算汽車(chē)偏離車(chē)道線的角度和距離，估算越線時(shí)間用于安全預(yù)警。實(shí)現(xiàn)步驟是首先對(duì)路面圖像進(jìn)行車(chē)道線檢測(cè)，得到局部車(chē)道線的直線方程；以攝像頭為原點(diǎn)建立三維坐標(biāo)系，記錄攝像頭的安裝高度和俯角；依據(jù)已知偏轉(zhuǎn)角情況下的車(chē)道檢測(cè)結(jié)果對(duì)其焦距進(jìn)行定標(biāo)；依據(jù)針孔攝像機(jī)模型計(jì)算汽車(chē)相對(duì)車(chē)道線的偏轉(zhuǎn)角和垂直距離；根據(jù)汽車(chē)的即時(shí)行駛速度估計(jì)駛離車(chē)道的時(shí)間，獲得行駛汽車(chē)的安全預(yù)警或智能控制信息。
文檔編號(hào)G06T7/00GK101894271SQ20101023843
公開(kāi)日2010年11月24日 申請(qǐng)日期2010年7月28日 優(yōu)先權(quán)日2010年7月28日
發(fā)明者何為, 余星銳, 張占龍, 徐少志, 毛玉星 申請(qǐng)人:重慶大學(xué)