專利名稱:一種基于灰度估計和級聯(lián)霍夫變換的車道線檢測方法
技術(shù)領(lǐng)域:
本發(fā)明屬于圖象處理技術(shù)領(lǐng)域,涉及圖像分割和圖像直線幾何特征檢測,同時涉及智能 車輛導(dǎo)航,主要適用于智能交通領(lǐng)域中的輔助安全駕駛系統(tǒng)。
背景技術(shù):
智能交通系統(tǒng)是一項龐大的社會性的系統(tǒng)工程,包括輔助安全駕駛系統(tǒng)、交通管理系統(tǒng)、 商用車輛運營系統(tǒng)、電子收費系統(tǒng)、公共交通運營系統(tǒng)、應(yīng)急管理系統(tǒng)、車輛控制系統(tǒng)等。 其中,輔助安全駕駛系統(tǒng)是這個系統(tǒng)之中成本較小,與民眾關(guān)系較為密切,而具有相當(dāng)明顯 的社會效應(yīng)的重要組成部分,具有巨大的社會經(jīng)濟發(fā)展?jié)摿?,能夠顯著地提高交通的安全水 平,增加交通的機動性,降低汽車運輸對環(huán)境的影響,提高汽車運輸生產(chǎn)率和經(jīng)濟效益。其 中,相對雷達(dá)、激光、超聲波、紅外線等傳感器進(jìn)行感知道路環(huán)境,視覺傳感系統(tǒng)具有不可 忽視的優(yōu)點。在實際生活中,駕駛員通過視覺可以獲得90%以上的環(huán)境信息,并且視覺采集 設(shè)備具有相對廉價,直觀,通用性強等優(yōu)點。
車道線是最基本的交通標(biāo)志,也是汽車行駛時的基本約束。在基于視覺的智能車輛導(dǎo)航 系統(tǒng)中,車道線的識別與跟蹤是一個基本的、必須的功能,它能防止汽車偏離車道,為導(dǎo)航 提供參照,同時也是進(jìn)行障礙物檢測的基本前提。因此它是汽車輔助安全駕駛系統(tǒng)和自主導(dǎo) 航系統(tǒng)中不可缺少的部分。從上世紀(jì)九十年代中、后期,美國、德國、日本等發(fā)達(dá)國家對車 道偏離預(yù)警技術(shù)進(jìn)行了比較集中的研究,并且已成功研制出一些各具特色的車道偏離警告系 統(tǒng)。這些系統(tǒng)通過預(yù)先給駕駛員以警告信息,提醒駕駛員采取正確的操作措施,達(dá)到防止這 類事故或者降低這類事故的傷害程度的目的。
現(xiàn)有的車道線檢測相關(guān)的方法通常包括下列一些功能 (1)車道線檢測。車道線檢測方法一般來說有幾種模式模板匹配法的原理是用與車道 線的寬度等特征相一致的模板對車道線進(jìn)行直接匹配,以達(dá)到分割車道線的目的,它的缺點 在于難以選擇恰當(dāng)?shù)膸缀蔚缆纺0?,以及計算?fù)雜性較高的問題。特征匹配法計算主要集中 在圖像處理以及如何進(jìn)行特征值的抽象化,這種方法避免了模板匹配法過于依賴特定車道線 特征的缺點,對不同的道路具有一定的自適應(yīng)性。也有較為簡化的(例如逐行掃描獲取灰度 峰值)基于形態(tài)學(xué)的車道線識別,能夠針對一些特定情況對車道進(jìn)行快速檢測。上述相關(guān)方
法詳見文獻(xiàn)ZENG Zhi-Hong. Lane Detection and Car Tracking on the Highway, ACTA AUTOMATICA SINICA. Vol'29,No'3 May,2003和苗冬霜.基于單目視覺的道路檢測與跟蹤的研究.燕山大學(xué)工學(xué)碩士學(xué)位論文,2006.4。
(2) 利用通用的圖像塊動態(tài)聚類的方法,對路面區(qū)域進(jìn)行分割。這種方法屬于通用的圖 像分割方法,因此在各種不同的情況下都具有良好的穩(wěn)定性,尤其擅長于對于非結(jié)構(gòu)性的道 路的分割,它的缺點在于無法利用已有的約束條件對問題進(jìn)行簡化,往往使計算量偏大。詳 見文獻(xiàn)Jill D. Crisman et al. UNSCARF, A Color Vision System for the Detection of Unstructured Roads, Proceedings of the 1991 IEEE International Conference on Robotics and Automation Sacramento, California -April 1991.
(3) 利用反透視變換消除攝像機透視效應(yīng)的影響,并且借助公路本身的幾何參數(shù),例如 道路的曲率等,對前方道路的情況進(jìn)行擬合和估計。它首先利用精確的攝像機參數(shù)標(biāo)定所建 立起來的圖像坐標(biāo)與真實坐標(biāo)的變換關(guān)系,將車輛前方的路面區(qū)域平鋪在二維水平面空間之 中,隨后使用幾何曲線模型在二維水平面上對道路的走向進(jìn)行直接的擬合估計。這種方法的 缺點在于對攝像機參數(shù)標(biāo)定和安裝的精度要求相當(dāng)高,因為坐標(biāo)系之間存在的變換關(guān)系會將 攝像機參數(shù)誤差放大,尤其是在距離攝像機較遠(yuǎn)的前方。詳見文獻(xiàn)Massimo Bertozzi et al, GOLD: A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection, IEEE TRANSACTIONS ON IMAGE PROCESSING VOL. 7, NO. 1, JANUARY 1998。
發(fā)明內(nèi)容
本發(fā)明的任務(wù)是提供一種基于灰度估計和級聯(lián)霍夫變換的車道線檢測方法,與同類方法 相比,具有穩(wěn)定性強,適用場合較為廣泛等優(yōu)點。
為了方便地描述本發(fā)明內(nèi)容,首先對一些概念進(jìn)行說明。
概念1.攝像機標(biāo)定和攝像機參數(shù)攝像機參數(shù)由攝像機的成像幾何模型所決定,要從二 維圖像中恢復(fù)物體的三維信息,必須先確定攝像機的各個成像參數(shù)。通過實驗求出這些參數(shù) 的過程被稱為攝像機標(biāo)定。攝像機參數(shù)包括內(nèi)部參數(shù)和外部參數(shù),內(nèi)部參數(shù)包括主點坐標(biāo)和 有效焦距等,外部參數(shù)包括攝像機的位置和朝向等。見文獻(xiàn)鄒鳳嬌.攝像機標(biāo)定及相關(guān)技術(shù)
研究.四川大學(xué)碩士學(xué)位論文.2005.5.10等。
概念2.敏感區(qū)域是指在某些特定的應(yīng)用場合,能夠預(yù)先確定感興趣的對象總是會出現(xiàn)
在圖像之中的某些區(qū)域。計算可以被限制在敏感區(qū)域之內(nèi),其它非敏感的圖像區(qū)域則會被直 接忽略,這樣能夠有效地減少計算量并簡化問題。
概念3.霍夫變換即Hough變換,其基本思想是點一線的對偶性,即圖像空間里共線 的點對應(yīng)參數(shù)空間里相交的直線;反過來,參數(shù)空間相交于同一點的所有直線在圖像空間里
都有共線的點與之對應(yīng)。利用霍夫變換可以將直線特征搜索問題轉(zhuǎn)化為參數(shù)空間之中最大值搜索問題,是直線特征提取領(lǐng)域中使用最為廣泛的算法之一。
概念4.消失點Vanish Point (又稱"滅點"),它具有一個重要的性質(zhì),即真實世界的三 維空間之中,任意一組不與主光軸垂直的平行直線,在圖像之中的延長線都將匯聚到一點, 這一點被稱為消失點。車道線本身近似于一組平行直線,因此確定消失點的位置對車道線的 識別具有重要作用。
本發(fā)明詳細(xì)技術(shù)方案如下
一種基于灰度估計和級聯(lián)霍夫變換的車道線檢測方法,如圖1所示,包括以下步驟 步驟l:采集車輛前方路況原始圖像/。車輛行進(jìn)過程中,通過安裝在車輛上的攝像機采 集車輛前方路況原始圖像/。
步驟2:創(chuàng)建敏感區(qū)域模版圖像/,d。根據(jù)攝像機的內(nèi)部參數(shù)和外部參數(shù),將攝像頭視 野中地平線之下、兩側(cè)邊界之內(nèi)的區(qū)域劃分成敏感區(qū)域,而將其它區(qū)域劃分成非敏感區(qū)域; 創(chuàng)建車輛前方路況原始圖像/同樣大小的敏感區(qū)域模版圖像/,d。其中攝像機內(nèi)部參數(shù)包
括主點坐標(biāo)和有效焦距,攝像機外部參數(shù)包括攝像機的位置和朝向;敏感區(qū)域模版圖像/,,,
中,將敏感區(qū)域內(nèi)的像素值設(shè)為1,將非敏感區(qū)域內(nèi)的像素值設(shè)為O。
步驟3:對步驟1所采集的車輛前方路況原始圖像/進(jìn)行Carmy邊緣提取計算(詳見文 獻(xiàn)Canny J. A computational approach to edge detection. IEEE-PAMI 1986.),得到Canny邊緣提 取結(jié)果圖像/*£,在Canny邊緣提取結(jié)果圖像4^中,邊緣像素值設(shè)為1,非邊緣像素值設(shè)為0。
歩驟4:計算車輛前方路況原始圖像/中位于歩驟2確定的敏感區(qū)域內(nèi)且在步驟3確定 的邊緣下方的所有像素點的灰度平均值f和均方差(標(biāo)準(zhǔn)差)5,然后利用灰度T均值5和
均方差5設(shè)定兩個閾值f -3(5與歹+ 35 ,通過閾值f -35和閾值f + 35將車輛前方路況原始圖
像/中敏感區(qū)域之內(nèi)的部分劃分為/ , 、 i 2和^三類區(qū)域,其中《表示灰度值S小于閾值f -
的區(qū)域,為車輛陰影區(qū)域;^表示灰度值S大于等于閾值f-35且小于閾值歹+ 35的區(qū)域,
為路面非標(biāo)志區(qū)域;A表示灰度值S大于等于閾值f+ 33的區(qū)域,為路面標(biāo)志區(qū)域,其中包 含前方車輛的車身區(qū)域。
步驟5:因為車道線標(biāo)志的邊緣只可能出現(xiàn)在步驟4確定的區(qū)域^和區(qū)域A之間,所以采用計算區(qū)域^的膨脹與區(qū)域A的交集的方法計算初步的車道線標(biāo)志的邊緣圖像&^, 即
其中符號"e"表示形態(tài)學(xué)膨脹運算,符號"n"表示取交集,D為一個3x3的十字模版。 以上獲得的車道線標(biāo)志的邊緣圖像^^不光包括希望提取的車道線邊緣區(qū)域,也包含可
能造成干擾的車身區(qū)域與道路區(qū)域的結(jié)合部分的邊緣區(qū)域;在車道線標(biāo)志的邊緣圖像&^中
每列像素進(jìn)行由下至上的掃描,如果當(dāng)前掃描像素點的坐標(biāo)位于車輛陰影區(qū)域《之內(nèi),則將
A—中該像素正上方的所有像素點的像素值置為0,得到最終的車道線標(biāo)志的邊緣圖像及'^e 。
步驟6:針對最終的車道線標(biāo)志的邊緣圖像i 'e一進(jìn)行霍夫變換,并提取直線特征。具體
包括以下步驟
步驟 6-1 :遍歷圖像及'*中的每個像素點(x,力,計算 >9 = jccos(e) + ;;sin(e):5>e
的窗口強度最大值 集合中,尋找前面"("26)個較大的窗口強度最大值,并保證每兩個局部強度最大值之間 的位置關(guān)系,即(A,《)和(/V《)之間的關(guān)系滿足條件
|a-P」〉A(chǔ)v .Ig-《卜^ ,
|《-《|<180o-A
其中,A表示窗口[(-A,-A),(A,A)]的半長度,取值范圍可以是[1,5]; ^表示窗口的半寬度,取值范圍可以是[1,5]。步驟7:將步驟6找出的/ -e參數(shù)空間中的"個直線特征位置參數(shù)(A,《)及其對應(yīng)的
A7-e參數(shù)空間中強度值7/(A,《)映射到與邊緣圖像i '^e等大的圖像空間之中,得到含有w條
直線的圖像/',然后對圖像/'進(jìn)行全局平滑計算,并找出圖像/'中的最大值坐標(biāo)點并作為車
道邊緣共同的消失點PJ;,;v)。
步驟8:在^(&,;v)下方we
范圍的區(qū)域之內(nèi)搜索屬于區(qū)域A的像素,將對應(yīng)在 w方向之上的屬于A的像素個數(shù)統(tǒng)計為直方圖i (0:180),然后使用高斯平滑濾波模板對直方 圖i (0:180)進(jìn)行平滑濾波運算,并在及(0:180)之中搜索大于及(0:180)中最大值及自的乂倍的
局部峰值iUpK^…及皿M所對應(yīng)的角度值w自P^Wa…氣,。其中,義的取值范圍為
。
步驟9:以消失點/M;,》)作為起點,分別以^ 1 1, 1 2..必 1^,為方向作射線,得到的 射線即為最終的車道線。
通過以上步驟,我們就從車輛前方路況原始圖像/中檢測出車道線。 上述步驟中,需要特殊說明的是-
1. 步驟3中,Canny邊緣提取的高低兩個閾值取為邊緣強度圖的最大值的0.2倍和0.1倍, 與取固定閾值相比,具有更好的適應(yīng)性。
2. 步驟4中,我們假定路面區(qū)域灰度分布呈高斯分布,根據(jù)高斯分布的特點以及95%分 布準(zhǔn)則(即保證95%的樣本的值在高低閾值之間),我們?nèi) + 35與f-3《為路面區(qū)域的高低閾值。
3. 步驟6中,我們利用窗口屏蔽計算保證每兩個局部峰值之間的距離,是為了盡量避免 霍夫變換在參數(shù)空間之中的分布效應(yīng)對直線提取結(jié)果造成干擾而設(shè)置的。
4. 步驟7和步驟8中,我們采用平滑運算對圖像/'和直方圖及(0:180)進(jìn)行的濾波處理,
是為了避免相對離散的輸入數(shù)據(jù)在累加空間之中產(chǎn)生過多的虛假局部峰值而采用的。
本發(fā)明提出一種基于路面灰度估計和級聯(lián)霍夫變換的結(jié)構(gòu)性道路中車道線檢測方法。首 先對采集的車輛前方路況原始圖像/的敏感區(qū)域進(jìn)行灰度估計將其劃分為車輛陰影區(qū)域、路 面非標(biāo)志區(qū)域以及路面標(biāo)志區(qū)域(含前方車輛的車身區(qū)域);然后采用數(shù)學(xué)形態(tài)學(xué)方法從路面 灰度估計所劃分的區(qū)域中得到路面標(biāo)志區(qū)域的邊界圖像;隨后對路面標(biāo)志區(qū)域的邊界圖像進(jìn) 行霍夫變換以提取其中的直線圖像特征;最后,通過對路面標(biāo)志邊緣消失點的搜索實現(xiàn)了對車道線的檢測。
本發(fā)明的創(chuàng)新之處在于
本發(fā)明充分利用了車輛前方圖像中不同灰度值所代表的區(qū)域的特點,借助了高斯分布模 型參數(shù)估計方法,準(zhǔn)確地對車道區(qū)域進(jìn)行了閾值分割,進(jìn)而有效地對車道線邊緣進(jìn)行提取, 并且基于車道線的近似平行的特性,采用了級聯(lián)霍夫變換對直線特征和直線特征的消失點進(jìn)
行了較為精確的識別和判定。其中多個關(guān)鍵步驟(包括Canny邊緣提取、路面灰度估計和車 道區(qū)域分割、霍夫變換等)都采用了具有較強適應(yīng)性和一定的容錯性的算法,大人提高了本 發(fā)明的穩(wěn)定性和健壯性。
圖1是本發(fā)明提供的基于灰度估計和級聯(lián)霍夫變換的車道線檢測方法的流程示意圖。
具體實施例方式
采用本發(fā)明的方法,首先使用0++語言編寫車道檢測軟件;然后將攝像機安裝在汽車前
窗內(nèi)部,對攝像機的各種參數(shù)進(jìn)行標(biāo)定,并在車輛行駛過程之中對前方圖像進(jìn)行采集;隨后, 把拍攝到的車輛原始圖像作為源數(shù)據(jù)輸入到車道檢測軟件中進(jìn)行處理;實驗共采集若干種行 駛情況之下的數(shù)百張源圖像,在行駛較為穩(wěn)定時,本發(fā)明的車道檢測算法成功率大于90%, 在劇烈顛簸造成圖像嚴(yán)重模糊時,車道檢測成功率也能夠達(dá)到60%以上,對于656x491大小 的較高分辨率的原圖像,平均每幅圖像處理時間約為0.3s,運行環(huán)境為WinXP 2GHz,編譯 器為Visual Studio 2005 C++。
綜上所述,本發(fā)明的方法充分利用道路灰度特征和車道線的平行直線特征,從而實現(xiàn)了 準(zhǔn)確地從所提供的輸入源圖像中檢測出車道線的方法。
權(quán)利要求
1、一種基于灰度估計和級聯(lián)霍夫變換的車道線檢測方法,包括以下步驟步驟1采集車輛前方路況原始圖像I;車輛行進(jìn)過程中,通過安裝在車輛上的攝像機采集車輛前方路況原始圖像I;步驟2創(chuàng)建敏感區(qū)域模版圖像Imask;根據(jù)攝像機的內(nèi)部參數(shù)和外部參數(shù),將攝像頭視野中地平線之下、兩側(cè)邊界之內(nèi)的區(qū)域劃分成敏感區(qū)域,而將其它區(qū)域劃分成非敏感區(qū)域;創(chuàng)建車輛前方路況原始圖像I同樣大小的敏感區(qū)域模版圖像Imask;其中攝像機內(nèi)部參數(shù)包括主點坐標(biāo)和有效焦距,攝像機外部參數(shù)包括攝像機的位置和朝向;敏感區(qū)域模版圖像Imask中,將敏感區(qū)域內(nèi)的像素值設(shè)為1,將非敏感區(qū)域內(nèi)的像素值設(shè)為0;步驟3對步驟1所采集的車輛前方路況原始圖像I進(jìn)行Canny邊緣提取計算(詳見文獻(xiàn)Canny J.A computational approach to edge detection.IEEE-PAMI 1986.),得到Canny邊緣提取結(jié)果圖像Iedge,在Canny邊緣提取結(jié)果圖像Iedge中,邊緣像素值設(shè)為1,非邊緣像素值設(shè)為0;步驟4計算車輛前方路況原始圖像I中位于步驟2確定的敏感區(qū)域內(nèi)且在步驟3確定的邊緣下方的所有像素點的灰度平均值<overscore>S</overscore>和均方差(標(biāo)準(zhǔn)差)δ,然后利用灰度平均值<overscore>S</overscore>和均方差δ設(shè)定兩個閾值<overscore>S</overscore>-3δ與<overscore>S</overscore>+3δ,通過閾值<overscore>S</overscore>-3δ和閾值<overscore>S</overscore>+3δ將車輛前方路況原始圖像I中敏感區(qū)域之內(nèi)的部分劃分為R1、R2和R3三類區(qū)域,其中R1表示灰度值S小于閾值<overscore>S</overscore>-3δ的區(qū)域,為車輛陰影區(qū)域;R2表示灰度值S大于等于閾值<overscore>S</overscore>-3δ且小于閾值<overscore>S</overscore>+3δ的區(qū)域,為路面非標(biāo)志區(qū)域;R3表示灰度值S大于等于閾值<overscore>S</overscore>+3δ的區(qū)域,為路面標(biāo)志區(qū)域,其中包含前方車輛的車身區(qū)域;步驟5因為車道線標(biāo)志的邊緣只可能出現(xiàn)在步驟4確定的區(qū)域R2和區(qū)域R3之間,所以采用計算區(qū)域R2的膨脹與區(qū)域R3的交集的方法計算初步的車道線標(biāo)志的邊緣圖像Redge,即<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msub> <mi>R</mi> <mi>edge</mi></msub><mo>=</mo><msub> <mi>R</mi> <mn>3</mn></msub><mo>∩</mo><mrow> <mo>(</mo> <msub><mi>R</mi><mn>2</mn> </msub> <mo>⊕</mo> <mi>D</mi> <mo>)</mo></mrow> </mrow>]]></math></maths>其中符號 id="icf0002" file="A2009100593490002C2.tif" wi="8" he="3" top= "266" left = "47" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>表示形態(tài)學(xué)膨脹運算,符號“∩”表示取交集,D為一個3×3的十字模版;以上獲得的車道線標(biāo)志的邊緣圖像Redge不光包括希望提取的車道線邊緣區(qū)域,也包含可能造成干擾的車身區(qū)域與道路區(qū)域的結(jié)合部分的邊緣區(qū)域;在車道線標(biāo)志的邊緣圖像Redge中每列像素進(jìn)行由下至上的掃描,如果當(dāng)前掃描像素點的坐標(biāo)位于車輛陰影區(qū)域R1之內(nèi),則將Redge中該像素正上方的所有像素點的像素值置為0,得到最終的車道線標(biāo)志的邊緣圖像R′edge;步驟6針對最終的車道線標(biāo)志的邊緣圖像R′edge進(jìn)行霍夫變換,并提取直線特征;具體包括以下步驟步驟6-1遍歷圖像R′edge中的每個像素點(x,y),計算ρ=xcos(θ)+ysin(θ)θ∈
的窗口強度最大值集合中,尋找前面n(n≥6)個較大的窗口強度最大值,并保證每兩個局部強度最大值之間的位置關(guān)系,即(ρi,θi)和(ρj,θj)之間的關(guān)系滿足條件其中,ρw表示窗口[(-ρw,-θw),(ρw,θw)]的半長度,取值范圍可以是[1,5];θw表示窗口[(-ρw,-θw),(ρw,θw)]的半寬度,取值范圍可以是[1,5];步驟7將步驟6找出的ρ-θ參數(shù)空間中的n個直線特征位置參數(shù)(ρi,θi)及其對應(yīng)的ρ-θ參數(shù)空間中強度值H(ρi,θi)映射到與邊緣圖像R′edge等大的圖像空間之中,得到含有n條直線的圖像I′,然后對圖像I′進(jìn)行全局平滑計算,并找出圖像I′中的最大值坐標(biāo)點并作為車道邊緣共同的消失點PV(xV,yV);步驟8在PV(xV,yV)下方ω∈
范圍的區(qū)域之內(nèi)搜索屬于區(qū)域R3的像素,將對應(yīng)在ω方向之上的屬于R3的像素個數(shù)統(tǒng)計為直方圖R(0:180),然后使用高斯平滑濾波模板對直方圖R(0:180)進(jìn)行平滑濾波運算,并在R(0:180)之中搜索大于R(0:180)中最大值Rmax的λ倍的局部峰值Rmax1,Rmax2...Rmaxm所對應(yīng)的角度值ωmax1,ωmax2...ωmaxm;其中,λ的取值范圍為
;步驟9以消失點PV(xV,yV)作為起點,分別以ωmax1,ωmax2...ωmaxm為方向作射線,得到的射線即為最終的車道線。
全文摘要
一種基于灰度估計和級聯(lián)霍夫變換的車道線檢測方法,屬于圖象處理技術(shù)領(lǐng)域,涉及圖像分割和圖像直線幾何特征檢測,同時涉及智能車輛導(dǎo)航,主要適用于輔助安全駕駛系統(tǒng)。本發(fā)明首先對采集的車輛前方路況原始圖像I的敏感區(qū)域進(jìn)行灰度估計將其劃分為車輛陰影區(qū)域、路面非標(biāo)志區(qū)域以及路面標(biāo)志區(qū)域(含前方車輛的車身區(qū)域);然后采用數(shù)學(xué)形態(tài)學(xué)方法從路面灰度估計所劃分的區(qū)域中得到路面標(biāo)志區(qū)域的邊界圖像;隨后對路面標(biāo)志區(qū)域的邊界圖像進(jìn)行霍夫變換以提取其中的直線圖像特征;最后,通過對路面標(biāo)志邊緣消失點的搜索實現(xiàn)了對車道線的檢測。本發(fā)明與同類方法相比,具有穩(wěn)定性強,適用場合較為廣泛等優(yōu)點。
文檔編號G06T7/00GK101608924SQ200910059349
公開日2009年12月23日 申請日期2009年5月20日 優(yōu)先權(quán)日2009年5月20日
發(fā)明者嘆 劉, 梅 解 申請人:電子科技大學(xué)