本發(fā)明涉及汽車自動駕駛領(lǐng)域,尤其涉及一種車道線的識別方法及裝置。
背景技術(shù):
隨著汽車的普及,自動駕駛技術(shù)發(fā)展越來越快,正逐步進(jìn)入人們的生活中。
現(xiàn)有的自動駕駛技術(shù)基于對車道線的識別來實現(xiàn)循道行駛,汽車在進(jìn)行自動駕駛系統(tǒng)的車道保持時,首先要對車道線圖像進(jìn)行處理并從中提取特征點,然后通過所獲取的車道邊緣像素擬合出車道線。
而現(xiàn)實中車道線很容易受外部環(huán)境的影響,道路路面往往會存在結(jié)構(gòu)不均勻、光照變化、陰影遮擋、車道線破損、污跡覆蓋以及其他車輛的存在使得道路圖像變得復(fù)雜的情況。
例如,在陰影干擾車道線時,由于光照強(qiáng)度分布不均,在對道路圖像進(jìn)行采集時,會造成圖像上一側(cè)車道線亮度較另一側(cè)車道線高出許多,同時被陰影覆蓋的一側(cè)車道線亮度分布也不均勻。使得在對整幅圖像進(jìn)行整體處理識別,以擬合得到對應(yīng)的車道線時,亮度高的一側(cè)車道線白點較左側(cè)車道線明顯偏多,導(dǎo)致通過霍夫變換提取特征點來擬合車道線時,只識別了圖像中亮度高的一側(cè)的車道線,亮度低的一側(cè)車道線無法識別,或者導(dǎo)致如圖8所示,特征點的提取受到陰影影響,兩側(cè)車道線擬合為一條車道線,造成圖像擬合識別困難,并且在車道線擬合后,現(xiàn)有方法中不能對識別錯誤的車道線進(jìn)行排除,自動駕駛效果不好,存在安全隱患。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例中提供一種車道線的識別方法及裝置,以解決在道路圖像復(fù)雜,亮度分布不均時,造成車道線擬合識別困難,且不能對識別錯誤的車道線進(jìn)行排除,存在安全隱患的問題。
為了解決上述技術(shù)問題,本發(fā)明實施例采用如下技術(shù)方案:
一方面,本發(fā)明實施例提供一種車道線的識別方法,包括:
獲取車輛當(dāng)前行駛道路的前方道路圖像;
對所述前方道路圖像進(jìn)行處理,得到所述前方道路圖像中的第一車道線所在的第一區(qū)域圖像及第二車道線所在的第二區(qū)域圖像;
對所述第一區(qū)域圖像和所述第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線。
可選地,所述對所述前方道路圖像進(jìn)行處理,得到所述前方道路圖像中的第一車道線所在的第一區(qū)域圖像及第二車道線所在的第二區(qū)域圖像的步驟包括:
在所述前方道路圖像中選取目標(biāo)區(qū)域;
劃分所述目標(biāo)區(qū)域,得到包含第一車道線的第一區(qū)域圖像,及包含第二車道線的第二區(qū)域圖像。
可選地,所述對所述第一區(qū)域圖像和所述第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線的步驟包括:
采用第一閾值對所述第一區(qū)域圖像的灰度圖像進(jìn)行二值化處理,及采用第二閾值對所述第二區(qū)域圖像的灰度圖像進(jìn)行二值化處理,得到與所述目標(biāo)區(qū)域?qū)?yīng)的二值化圖像;
根據(jù)所述二值化圖像,擬合得到與前方車道對應(yīng)的第一車道線及第二車道線。
可選地,所述對所述第一區(qū)域圖像和所述第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線的步驟之后,所述識別方法還包括:
獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的第一斜率及第一截距,所述坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立;
獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到所述第二車道線的第二斜率及第二截距;
在預(yù)存儲的車道線信息中確定與所述第一車道線對應(yīng)的第一基準(zhǔn)車道線,及與所述第二車道線對應(yīng)的第二基準(zhǔn)車道線;
若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),且所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),則確定正確擬合得到前方車道所對應(yīng)的車道線。
可選地,所述確定正確擬合得到前方車道所對應(yīng)的車道線的步驟之后,所述識別方法還包括:
將所述第一車道線確定為所述第一基準(zhǔn)車道線,將所述第一斜率和第一截距確定為所述第一基準(zhǔn)斜率和第一基準(zhǔn)截距;
將所述第二車道線確定為所述第二基準(zhǔn)車道線,將所述第二斜率和第二截距確定為所述第二基準(zhǔn)斜率和第二基準(zhǔn)截距。
可選地,所述在預(yù)存儲的車道線信息中確定與所述第一車道線對應(yīng)的第一基準(zhǔn)車道線,及與所述第二車道線對應(yīng)的第二基準(zhǔn)車道線的步驟之后,所述識別方法還包括:
若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),和/或,所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),則確定沒有正確擬合得到前方車道所對應(yīng)的車道線。
可選地,所述識別方法還包括:
根據(jù)所述第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度;
根據(jù)所述走向偏離程度,調(diào)整車輛的行車方向。
可選地,所述根據(jù)所述第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度的步驟,包括:
獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的中點坐標(biāo)的第一x值,所述坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立;
獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到第二車道線的中點坐標(biāo)的第二x值;
根據(jù)所述第一x值及所述第二x值,按照以下公式計算車身相對所述前方車道的走向偏離程度:
其中,所述表示車身相對所述前方車道的走向偏離程度,所述X中1表示所述第一x值,所述X中2表示所述第二x值,所述X0表示所述機(jī)器視覺傳感器的顯示分辨率對應(yīng)在x軸方向上像素點的中點坐標(biāo)的x值。
可選地,所述根據(jù)所述走向偏離程度,調(diào)整車輛的行車方向的步驟,包括:
根據(jù)所述走向偏離程度,按照以下公式計算得到汽車需要調(diào)整的方向盤轉(zhuǎn)角:
其中,所述str表示汽車需要調(diào)整的方向盤轉(zhuǎn)角,所述表示所述走向偏離程度,所述k表示汽車轉(zhuǎn)向系統(tǒng)的傳動比;
根據(jù)所述方向盤轉(zhuǎn)角,調(diào)整車輛的行車方向。另一方面,本發(fā)明實施例還提供一種車道線的識別裝置,包括:
第一獲取模塊,用于獲取車輛當(dāng)前行駛道路的前方道路圖像;
第一處理模塊,用于對所述前方道路圖像進(jìn)行處理,得到所述前方道路圖像中的第一車道線所在的第一區(qū)域圖像及第二車道線所在的第二區(qū)域圖像;
第二處理模塊,用于對所述第一區(qū)域圖像和所述第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線。
可選地,所述第一處理模塊包括:
選取子模塊,用于在所述前方道路圖像中選取目標(biāo)區(qū)域;
劃分子模塊,用于劃分所述目標(biāo)區(qū)域,得到包含第一車道線的第一區(qū)域圖像,及包含第二車道線的第二區(qū)域圖像。
可選地,所述對所述第二處理模塊包括:
處理子模塊,用于采用第一閾值對所述第一區(qū)域圖像的灰度圖像進(jìn)行二值化處理,及采用第二閾值對所述第二區(qū)域圖像的灰度圖像進(jìn)行二值化處理,得到與所述目標(biāo)區(qū)域?qū)?yīng)的二值化圖像;
擬合子模塊,用于根據(jù)所述二值化圖像,擬合得到與前方車道對應(yīng)的第一車道線及第二車道線。
可選地,所述識別裝置還包括:
第二獲取模塊,用于獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的第一斜率及第一截距,所述坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立;
第三獲取模塊,用于獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到所述第二車道線的第二斜率及第二截距;
第一確定模塊,用于在預(yù)存儲的車道線信息中確定與所述第一車道線對應(yīng)的第一基準(zhǔn)車道線,及與所述第二車道線對應(yīng)的第二基準(zhǔn)車道線;
第二確定模塊,用于若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),且所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),則確定正確擬合得到前方車道所對應(yīng)的車道線。
可選地,所述識別裝置還包括:
第四確定模塊,用于將所述第一車道線確定為所述第一基準(zhǔn)車道線,將所述第一斜率和第一截距確定為所述第一基準(zhǔn)斜率和第一基準(zhǔn)截距;
第五確定模塊,用于將所述第二車道線確定為所述第二基準(zhǔn)車道線,將所述第二斜率和第二截距確定為所述第二基準(zhǔn)斜率和第二基準(zhǔn)截距。
可選地,所述識別裝置還包括:
第六確定模塊,用于若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),和/或,所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),則確定沒有正確擬合得到前方車道所對應(yīng)的車道線。
可選地,所述識別裝置還包括:
第四獲取模塊,用于根據(jù)所述第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度;
調(diào)整模塊,用于根據(jù)所述走向偏離程度,調(diào)整車輛的行車方向。
可選地,所述第四獲取模塊包括:
第一得到子模塊,用于獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的中點坐標(biāo)的第一x值,所述坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立;
第二得到子模塊,用于獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到第二車道線的中點坐標(biāo)的第二x值;
第一計算子模塊,用于根據(jù)所述第一x值及所述第二x值,按照以下公式計算車身相對所述前方車道的走向偏離程度:
其中,所述表示車身相對所述前方車道的走向偏離程度,所述X中1表示所述第一x值,所述X中2表示所述第二x值,所述X0表示所述機(jī)器視覺傳感器的顯示分辨率對應(yīng)在x軸方向上像素點的中點坐標(biāo)的x值。
可選地,所述調(diào)整模塊包括:
第二計算子模塊,用于根據(jù)所述走向偏離程度,按照以下公式計算得到汽車需要調(diào)整的方向盤轉(zhuǎn)角:
其中,所述str表示汽車需要調(diào)整的方向盤轉(zhuǎn)角,所述表示所述走向偏離程度,所述k表示汽車轉(zhuǎn)向系統(tǒng)的傳動比;
調(diào)整子模塊,用于根據(jù)所述方向盤轉(zhuǎn)角,調(diào)整車輛的行車方向。本發(fā)明的一個或多個實施例具有以下有益效果:
本發(fā)明實施例中,通過對獲取的前方道路圖像依據(jù)不同車道線進(jìn)行劃分,得到包括不同車道線的劃分區(qū)域,以實現(xiàn)對車道中車道線的分別處理及擬合,避免車道在有陰影覆蓋或者車道線磨損的情況下的擬合失誤,提高受干擾條件下的車道線識別效果,依據(jù)擬合得到的兩側(cè)車道線,計算車身相對前方車道的走向偏離程度,提高自動駕駛的循線行駛準(zhǔn)確度。
附圖說明
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護(hù)的范圍。
圖1表示本發(fā)明第一實施例中車道線的識別方法的流程圖;
圖2表示本發(fā)明第二實施例中車道線的識別方法的流程圖;
圖3表示本發(fā)明第三實施例中車道線的識別方法的流程圖;
圖4表示本發(fā)明第四實施例中車道線的識別系統(tǒng)的結(jié)構(gòu)框圖;
圖5表示本發(fā)明實施例中坐標(biāo)系中車道線顯示示意圖;
圖6表示本發(fā)明實施例中在前方道路圖像中擬合到第一車道線及第二車道線的示意圖;
圖7表示本發(fā)明實施例中在前方道路圖像中選取目標(biāo)區(qū)域的示意圖;
圖8表示現(xiàn)有技術(shù)中車道線擬合錯誤時的示意圖。
具體實施方式
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護(hù)的范圍。
第一實施例
本發(fā)明實施例中公開一種車道線的識別方法,結(jié)合圖1所示,包括:
步驟101,獲取車輛當(dāng)前行駛道路的前方道路圖像。
前方道路圖像的獲取可以是通過汽車中的機(jī)器視覺傳感器中的攝像裝置采集得到,具體可以是通過在汽車車頭安裝攝像頭來采集得到,而為使該機(jī)器視覺傳感器及攝像頭裝置能采集有效前方道路圖像,其優(yōu)選為設(shè)置于車頭的正中位置。
步驟102,對前方道路圖像進(jìn)行處理,得到前方道路圖像中的第一車道線所在的第一區(qū)域圖像及第二車道線所在的第二區(qū)域圖像。
其中,該第一車道線具體為構(gòu)成車道的左側(cè)車道線,該第二車道線為構(gòu)成車道的右側(cè)車道線,將獲得的圖像進(jìn)行區(qū)域劃分,分別得到道路圖像中第一車道線圖像及第二車道線圖像,在此基礎(chǔ)上進(jìn)行接下來的分別處理過程。
對獲取的前方道路圖像依據(jù)不同車道線進(jìn)行劃分,得到包括不同車道線的劃分區(qū)域,以實現(xiàn)對劃分得到的區(qū)域進(jìn)行分別的處理操作,以能分別對各個車道線的亮度數(shù)據(jù)進(jìn)行采集,即使某一側(cè)車道線被樹蔭、建筑物、車輛遮擋造成亮度分部不均,也能分別依據(jù)兩側(cè)車道線區(qū)域的不同亮度,對各自區(qū)域中的車道線圖像進(jìn)行處理,例如當(dāng)?shù)谝卉嚨谰€所在的第一區(qū)域圖像的亮度低于第二車道線所在的第二區(qū)域圖像時,第一車道線的擬合過程中,只結(jié)合自己所在區(qū)域的像素點的亮度參數(shù)進(jìn)行處理即可,不受第二區(qū)域圖像中像素亮度的干擾,實現(xiàn)即使一側(cè)車道線被陰影遮擋,也不影響本側(cè)及另一側(cè)車道線的擬合識別,提高受干擾條件下的車道線識別效果。
步驟103,對第一區(qū)域圖像和第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線。
該過程需要對圖像進(jìn)行預(yù)處理,為后續(xù)的車道線輪廓提取提供基礎(chǔ)??梢允窃谶M(jìn)行自動駕駛系統(tǒng)的車道保持時,對前方道路圖像中的第一區(qū)域圖像及第二區(qū)域圖像進(jìn)行處理并從中提取特征點,結(jié)合特征點,并依據(jù)包含車道線的兩區(qū)域圖像中車道線邊緣像素擬合出車道線。
對圖像進(jìn)行預(yù)處理的過程,可以是分別通過將第一區(qū)域圖像和第二區(qū)域圖像進(jìn)行圖像灰度化,進(jìn)一步地的二值化,二值化之后通過霍夫變換從圖像中擬合得到第一車道線及第二車道線。
具體過程可以是:分別對第一區(qū)域圖像和第二區(qū)域圖像進(jìn)行灰度處理,將兩者轉(zhuǎn)化為灰度圖像,對與第一區(qū)域圖像和第二區(qū)域圖像對應(yīng)的灰度圖像分別進(jìn)行二值化處理,得到兩個二值化圖像,在對灰度圖像二值化處理后,車道線部分為白色,其他車道部位為黑色,我們已經(jīng)能夠十分清晰的分辨出道路上的車道線,之后還要利用霍夫變換從圖像中擬合出實際車道線,如圖3中所示,擬合出的第一車道線及第二車道線的走向及相對位置與獲取的前方道路圖像中的兩車道線的走向及相對位置相同。Hough變換把在圖像空間中的直線檢測問題變換為參數(shù)空間里點的檢測問題,通過在參數(shù)空間中進(jìn)行統(tǒng)計累加完成檢測任務(wù)。
具體可以是,利用車道線的灰度變化特征提取輪廓,采用B-Spline的隨機(jī)采樣一致法來匹配車道線的輪廓像素。算法步驟如下:(a)隨機(jī)采樣。在車道線輪廓像素中隨機(jī)采樣,像素被隨機(jī)抽到的概率正比于其灰度變化值。(b)曲線擬合。根據(jù)隨機(jī)采樣點,利用最小二乘法進(jìn)行B-Spline擬合。(c)評價擬合曲線。通常情況下,車道線在圖像中是較長且曲率較小的曲線,基于這一特點,可以利用擬合曲線確定一個平行四邊形區(qū)域,統(tǒng)計此區(qū)域內(nèi)的車道線輪廓點數(shù),點數(shù)越多的擬合曲線越符合要求。上述隨機(jī)抽樣—擬合—評價算法不斷重復(fù),直到完成一定數(shù)量的循環(huán)后,車道線輪廓點數(shù)最大的曲線即為所求曲線。
進(jìn)一步地,在得到第一車道線及第二車道線后,可依據(jù)車道中的該兩個車道線,以該第一車道線及第二車道線為準(zhǔn),獲取車身的走向偏離程度,并根據(jù)車身的走向偏離程度,調(diào)整車輛的行車方向。
對應(yīng)地,該車道線的識別方法還包括:根據(jù)第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度;根據(jù)所述走向偏離程度,調(diào)整車輛的行車方向。
在經(jīng)過圖像進(jìn)行處理過程后,機(jī)器視覺識別出了實際車道線,而自動駕駛系統(tǒng)的控制端需要的是方向盤轉(zhuǎn)角的信息,因此我們可進(jìn)一步依據(jù)識別出的車道線計算方向盤的校正轉(zhuǎn)角,使車輛在車道線內(nèi)保持循線行駛。
進(jìn)一步地,優(yōu)選地,根據(jù)第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度的步驟,包括:
獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的中點坐標(biāo)的第一x值;獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到第二車道線的中點坐標(biāo)的第二x值;根據(jù)所述第一x值及所述第二x值,按照以下公式計算車身相對所述前方車道的走向偏離程度:
其中,所述表示車身相對所述前方車道的走向偏離程度,所述X中1表示所述第一x值,所述X中2表示所述第二x值,所述X0表示所述機(jī)器視覺傳感器的顯示分辨率對應(yīng)在x軸方向上像素點的中點坐標(biāo)的x值。
具體地,該坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立。結(jié)合圖5所示,識別出的前方道路兩側(cè)的第一車道線有A、B端點,第二車道線具有C、D端點,假設(shè)該自動駕駛系統(tǒng)機(jī)器視覺傳感器的分辨率為320*240(寬*高),因此可將A、B、C、D四個端點表示在一個直角坐標(biāo)系中,其中X軸數(shù)值范圍是0—320,Y軸數(shù)值范圍是0—240,其中,機(jī)器視覺傳感器的顯示分辨率對應(yīng)在x軸方向上像素點的中點坐標(biāo)的x值,即為x=160,圖5中線條1表示該x=160對應(yīng)的線條,該基于機(jī)器視覺傳感器為采集前方道路圖像的器件及對基于該前方道路圖像擬合得到的第一車道線及第二車道線進(jìn)行顯示的器件,其在行車中所采集到的每一幀車道圖像均采用該坐標(biāo)系進(jìn)行坐標(biāo)標(biāo)示,隨著車輛在行車中的偏移,車輛的偏移角度與前方道路圖像的采集角度偏移一致,每一幀圖像中擬合得到的車道線AB、CD線段在該坐標(biāo)系中的坐標(biāo)位置隨之發(fā)生偏移,圖5中的線條2為第一車道線AB及第二車道線CD所代表的車道的中線,車輛的車頭與坐標(biāo)系的相對位置關(guān)系不變,依據(jù)在前方道路圖像中擬合得到的AB與CD兩條車道線段,由AB與CD兩條線段的中點坐標(biāo)的X值的和的一半與前方道路圖像的中心線X=160比較計算得到當(dāng)前車身較車道正中的偏離程度
其中,由A、B兩點的X軸坐標(biāo)XA及XB,我們可以得到線段AB的中點的X軸坐標(biāo)值,即第一車道線的中點坐標(biāo)的第一x值,X中1=(XA+XB)/2;同理,由C、D兩點的X軸坐標(biāo)XC及XD,可得到線段CD的中點的X軸坐標(biāo)值,即第二車道線的中點坐標(biāo)的第二x值,X中2=(XC+XD)/2。
本發(fā)明將識別后的車道線以坐標(biāo)的形式表示,其中橫縱坐標(biāo)的范圍即是圖像分辨率的范圍,左右車道線分別以AB,CD兩條線段進(jìn)行表示,由AB與CD兩條線段的中點坐標(biāo)的X值的和的一半與前方道路圖像的中心線X=160比較計算得到當(dāng)前車身較車道正中的偏離程度,用來表征車身偏離車道的程度,得到的偏離角度同時也是自動駕駛汽車進(jìn)行車道保持時需要調(diào)整的方向盤轉(zhuǎn)角。
進(jìn)一步地,需根據(jù)該走向偏離程度,對車輛的行車方向進(jìn)行糾正調(diào)偏。
具體地,根據(jù)該走向偏離程度,調(diào)整車輛的行車方向的步驟,包括:根據(jù)該走向偏離程度,按照以下公式計算得到汽車需要調(diào)整的方向盤轉(zhuǎn)角:
其中,所述str表示汽車需要調(diào)整的方向盤轉(zhuǎn)角,所述表示所述走向偏離程度,所述k表示汽車轉(zhuǎn)向系統(tǒng)的傳動比;最終根據(jù)該方向盤轉(zhuǎn)角,調(diào)整車輛的行車方向。通過對機(jī)器視覺傳感器傳回的每一幀圖像進(jìn)行實時處理,實現(xiàn)了對自動駕駛汽車循線行駛的控制。
具體地,該k的數(shù)值取值因車型而異,通過對獲取的前方道路圖像依據(jù)不同車道線進(jìn)行劃分,得到包括不同車道線的劃分區(qū)域,以實現(xiàn)對車道中車道線的分別處理及擬合,避免車道在有陰影覆蓋或者車道線磨損的情況下的擬合失誤,提高受干擾條件下的車道線識別效果,依據(jù)擬合得到的兩側(cè)車道線,計算車身相對前方車道的走向偏離程度,提高自動駕駛的循線行駛準(zhǔn)確度。
第二實施例
本發(fā)明實施例中公開一種車道線的識別方法,結(jié)合圖2所示,包括:
步驟201,獲取車輛當(dāng)前行駛道路的前方道路圖像。
前方道路圖像的獲取可以是通過汽車中的機(jī)器視覺傳感器中的攝像裝置采集得到,具體可以是通過在汽車車頭安裝攝像頭來采集得到,而為使該機(jī)器視覺傳感器及攝像頭裝置能采集有效前方道路圖像,其優(yōu)選為設(shè)置于車頭的正中位置。
步驟202,在該前方道路圖像中選取目標(biāo)區(qū)域。
結(jié)合圖7所示,經(jīng)過對車載機(jī)器視覺傳感器采集的道路圖像進(jìn)行分析,根據(jù)整個圖像對車道線識別的重要程度,以及對后續(xù)圖像處理的影響。將車輛發(fā)動機(jī)蓋3的前部區(qū)域以及天際線附近及以上的區(qū)域舍去,只保留包含車道線的區(qū)域,縱向大約占整個圖像的二分之一,橫向則保留全部圖像。
步驟203,劃分目標(biāo)區(qū)域,得到包含第一車道線的第一區(qū)域圖像,及包含第二車道線的第二區(qū)域圖像。
對獲取的前方道路圖像依據(jù)不同車道線進(jìn)行劃分,得到包括不同車道線的劃分區(qū)域,以實現(xiàn)對劃分得到的區(qū)域進(jìn)行分別的處理操作,以在某一側(cè)車道線被樹蔭、建筑物、車輛遮擋或者破損的情況下,提高受干擾條件下的車道線識別效果。
步驟204,采用第一閾值對第一區(qū)域圖像的灰度圖像進(jìn)行二值化處理,及采用第二閾值對第二區(qū)域圖像的灰度圖像進(jìn)行二值化處理,得到與目標(biāo)區(qū)域?qū)?yīng)的二值化圖像。
為使處理效果更好,在對第一區(qū)域圖像及第二區(qū)域圖像進(jìn)行二值化處理之前,可以將目標(biāo)區(qū)域中的圖像進(jìn)行灰度化處理,得到灰度圖像,基于該灰度圖像進(jìn)行二值化處理過程。
陰影干擾導(dǎo)致單側(cè)車道線無法識別的主要原因是:二值化的閾值是綜合所有像素點的亮度值來衡量,陰影造成的兩側(cè)車道線亮度分布不均,使車道線白點分布不均,影響霍夫變換擬合車道線。因此,我們將亮度分布不均的車道線圖像分割,使左右兩側(cè)車道線分別灰度化,統(tǒng)計亮度分布情況,進(jìn)行二值化,避免亮度不均造成的干擾。
采用第一閾值對所述第一區(qū)域圖像進(jìn)行二值化處理,及采用第二閾值對所述第二區(qū)域圖像進(jìn)行二值化處理,對前方道路圖像的處理過程,可根據(jù)路面相對較黑以及車道線相對白的特點,可以對灰度化后的圖像進(jìn)行二值化,將整個圖像呈現(xiàn)出明顯的只有黑和白的視覺效果,從而便于提取出車道線。將第一區(qū)域圖像的灰度圖像中像素的灰度值大于第一閾值的設(shè)成255,小于該第一閾值的設(shè)成0。將第二區(qū)域圖像的灰度圖像中像素的灰度值大于第二閾值的設(shè)成255,小于該第二閾值的設(shè)成0。這樣處理后的目標(biāo)區(qū)域中的圖像就只有黑白兩色,從而將灰度范圍劃分成道路與車道線兩類。
將目標(biāo)區(qū)域中的圖像分為左右兩部分,分別進(jìn)行灰度化、二值化,左右兩個部分分別選擇相應(yīng)的二值化閾值進(jìn)行二值化處理,使得避免了因陰影干擾造成的亮度分布不均,導(dǎo)致整體畫面二值化出現(xiàn)錯誤,影響車道線擬合的問題。雖然每幀圖像分別識別了左右兩側(cè)車道線,兩側(cè)車道線通過霍夫變換擬合的直線段端點的坐標(biāo)仍在原整幅圖像的同一坐標(biāo)系內(nèi),因此計算方向盤校正角度的算法與原算法一致即可。
步驟205,根據(jù)二值化圖像,擬合得到與前方車道對應(yīng)的第一車道線及第二車道線。
可以利用霍夫變換從圖像中擬合出實際車道線,通過Hough變換把在圖像空間中的直線檢測問題變換為參數(shù)空間里點的檢測問題,通過在參數(shù)空間中進(jìn)行統(tǒng)計累加完成檢測任務(wù),以提供車輛自動循線駕駛中正確的車道參照線。
該過程,針對某一側(cè)車道線被樹蔭、建筑物、車輛遮擋或者破損的情況下,對圖像的灰度化進(jìn)行分區(qū)以及自適應(yīng)閾值等方法,有效解決整幅圖像固定閾值灰度化方法造成的識別困難,提高受干擾條件下的車道線識別效果。
第三實施例
本發(fā)明實施例中公開一種車道線的識別方法,結(jié)合圖3所示,包括:
步驟301,獲取車輛當(dāng)前行駛道路的前方道路圖像。
前方道路圖像的獲取可以是通過汽車中的機(jī)器視覺傳感器中的攝像裝置采集得到,具體可以是通過在汽車車頭安裝攝像頭來采集得到,而為使該機(jī)器視覺傳感器及攝像頭裝置能采集有效前方道路圖像,其優(yōu)選為設(shè)置于車頭的正中位置。
步驟302,對前方道路圖像進(jìn)行處理,得到前方道路圖像中的第一車道線所在的第一區(qū)域圖像及第二車道線所在的第二區(qū)域圖像。
其中,該第一車道線具體為構(gòu)成車道的左側(cè)車道線,該第二車道線為構(gòu)成車道的右側(cè)車道線,將獲得的圖像進(jìn)行區(qū)域劃分,分別得到道路圖像中第一車道線圖像及第二車道線圖像,在此基礎(chǔ)上進(jìn)行接下來的分別處理過程。
對獲取的前方道路圖像依據(jù)不同車道線進(jìn)行劃分,得到包括不同車道線的劃分區(qū)域,以實現(xiàn)對劃分得到的區(qū)域進(jìn)行分別的處理操作,以在某一側(cè)車道線被樹蔭、建筑物、車輛遮擋或者破損的情況下,提高受干擾條件下的車道線識別效果。
步驟303,對第一區(qū)域圖像和第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線。
具體過程可以是:分別對第一區(qū)域圖像和第二區(qū)域圖像進(jìn)行灰度處理,將兩者轉(zhuǎn)化為灰度圖像,對與第一區(qū)域圖像和第二區(qū)域圖像對應(yīng)的灰度圖像分別進(jìn)行二值化處理,得到兩個二值化圖像,在對灰度圖像二值化處理后,車道線部分為白色,其他車道部位為黑色,我們已經(jīng)能夠十分清晰的分辨出道路上的車道線,之后還要利用霍夫變換從圖像中擬合出實際車道線。Hough變換把在圖像空間中的直線檢測問題變換為參數(shù)空間里點的檢測問題,通過在參數(shù)空間中進(jìn)行統(tǒng)計累加完成檢測任務(wù)。
進(jìn)一步地,為保證擬合得到的前方車道所對應(yīng)的車道線的正確度,需要對不正確的擬合噪音進(jìn)行排除,確保循線行駛的正確度,在處理得到的第一車道線及第二車道線后,還需進(jìn)行以下處理步驟。
步驟304,獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到第一車道線的第一斜率及第一截距。
該坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立。
步驟305,獲取第二車道線在坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到第二車道線的第二斜率及第二截距。
該坐標(biāo)系與前述根據(jù)第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度時的坐標(biāo)系相同,為基于機(jī)器視覺傳感器的顯示分辨率建立。假設(shè)該自動駕駛系統(tǒng)機(jī)器視覺傳感器的分辨率為320*240(寬*高),將A、B、C、D四個端點表示在一個直角坐標(biāo)系中,其中X軸數(shù)值范圍是0—320,Y軸數(shù)值范圍是0—240,進(jìn)而獲取第一車道線在該坐標(biāo)系中的第一斜率及第一截距,獲取第二車道線在該坐標(biāo)系中的第二斜率及第二截距。
步驟306,在預(yù)存儲的車道線信息中確定與第一車道線對應(yīng)的第一基準(zhǔn)車道線,及與第二車道線對應(yīng)的第二基準(zhǔn)車道線。
該第一基準(zhǔn)車道線及第二基準(zhǔn)車道線可以是通過提前采集得到,或者是根據(jù)用戶對系統(tǒng)提供的多種車道線模型中的選取操作得到,或者是上一個正確擬合得到前方車道所對應(yīng)的車道線的圖像幀中的第一車道線及第二車道線。
步驟307,若第一車道線的第一斜率和第一截距與第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),且第二車道線的第二斜率和第二截距與第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),則確定正確擬合得到前方車道所對應(yīng)的車道線。
即,當(dāng)?shù)谝恍甭逝c第一基準(zhǔn)斜率間的差值及第一截距與第一基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),且第二斜率與第二基準(zhǔn)斜率間的差值及第二截距與第二基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),確定正確擬合得到前方車道所對應(yīng)的車道線。
對于結(jié)構(gòu)化道路,相鄰兩幀的圖像車道線變化不大,為進(jìn)一步地避免由于獲取的前方道路圖像的亮度分部不均,出現(xiàn)車道線誤識別,導(dǎo)致變換的直線擬合出現(xiàn)錯誤的問題,保證循線行駛的正確性,確保自動駕駛的安全性,可通過連續(xù)的圖像幀之間的車道線分部規(guī)律進(jìn)相互關(guān)聯(lián)關(guān)系,建立可容忍的動態(tài)誤差范圍。
一般來說,車道線是直線或者曲率非常小的曲線(可近似為直線),所以要確定車道線的位置只需直線的斜率k和截距b,在直角坐標(biāo)系里,由擬合車道線兩端點的坐標(biāo),很容易獲得車道線的斜率和截距。在實驗過程中,車速一般小于80km/h,此時圖像里斜率k和截距b相對基準(zhǔn)斜率及截距的差值分別存在一定的變化范圍,其中,斜率差值所對應(yīng)的設(shè)定范圍為:-0.15≤Δk≤0.15,截距差值所對應(yīng)的設(shè)定范圍為:-5≤Δb≤5。
進(jìn)一步地,除了這些差值需處于設(shè)定范圍,還可以進(jìn)一步增加限定為且在第一斜率、第一截距、第二斜率及第二截距均分別處于各自對應(yīng)的設(shè)定范圍內(nèi)時,才能確定正確擬合得到前方車道所對應(yīng)的車道線。
經(jīng)過在實驗道路的多次往復(fù)實驗,可以確定左右車道線的斜率k和截距b的分布規(guī)律:其中,左側(cè)車道線即第一車道線的斜率設(shè)定范圍為0.5≤k≤3,截距設(shè)定范圍為-200≤b≤-100;右側(cè)車道線即第二車道線的斜率設(shè)定范圍為-3≤k≤-0.5,截距設(shè)定范圍為-20≤b≤720。車道線的斜率和截距分別處于該范圍內(nèi)視為合理范圍。
對應(yīng)地,在確定正確擬合得到前方車道所對應(yīng)的車道線的步驟之后,該方法還包括:
將所述第一車道線確定為所述第一基準(zhǔn)車道線,將所述第一斜率和第一截距確定為所述第一基準(zhǔn)斜率和第一基準(zhǔn)截距;將所述第二車道線確定為所述第二基準(zhǔn)車道線,將所述第二斜率和第二截距確定為所述第二基準(zhǔn)斜率和第二基準(zhǔn)截距。
將確定正確擬合得到前方車道所對應(yīng)的第一車道線及第二車道線確定為基準(zhǔn)車道線,以在對后一圖像幀中車道線進(jìn)行擬合時,結(jié)合本次正確擬合的車道線做出判斷,建立起實時的每幀圖像間的信息關(guān)聯(lián),對識別得到的車道線信息相鄰兩幀圖像進(jìn)行對比,避免出現(xiàn)車道線識別明顯有誤的情況,使每幀圖像的車道線都擬合在合理的區(qū)域內(nèi),保證依據(jù)每幀車道線信息計算的方向盤校正角度處在合理的范圍內(nèi),從而使車身一直出在兩條車道線內(nèi),保證車輛的正常循線行駛。
進(jìn)一步地,在預(yù)存儲的車道線信息中確定與所述第一車道線對應(yīng)的第一基準(zhǔn)車道線,及與所述第二車道線對應(yīng)的第二基準(zhǔn)車道線的步驟之后,所述方法還包括:
若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),和/或,所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),則確定沒有正確擬合得到前方車道所對應(yīng)的車道線。
即,第一車道線的第一斜率與第一基準(zhǔn)斜率間的差值不處于設(shè)定范圍、第一車道線的第一截距與第一基準(zhǔn)截距間的差值不處于設(shè)定范圍、第二車道線的第二斜率與第二基準(zhǔn)斜率間的差值不處于設(shè)定范圍和/或第二車道線的第二截距與第二基準(zhǔn)截距間的差值不處于設(shè)定范圍,則確定沒有正確擬合得到前方車道所對應(yīng)的車道線,此時將擬合得到的車道線結(jié)果濾除,仍采用上一處于合理范圍內(nèi)的擬合車道線數(shù)據(jù)進(jìn)行方向盤轉(zhuǎn)角的矯正。
第四實施例
本發(fā)明實施例中提供一種車道線的識別裝置,能實現(xiàn)第一實施例至第三實施例中車道線的識別方法的實施細(xì)節(jié),并達(dá)到相同的技術(shù)效果。結(jié)合圖4所示,該識別裝置包括:第一獲取模塊401、第一處理模塊402及第二處理模塊403。
第一獲取模塊401,用于獲取車輛當(dāng)前行駛道路的前方道路圖像。
第一處理模塊402,用于對所述前方道路圖像進(jìn)行處理,得到所述前方道路圖像中的第一車道線所在的第一區(qū)域圖像及第二車道線所在的第二區(qū)域圖像。
第二處理模塊403,用于對所述第一區(qū)域圖像和所述第二區(qū)域圖像進(jìn)行處理,得到第一車道線及第二車道線。
可選地,所述第一處理模塊402包括:
選取子模塊,用于在所述前方道路圖像中選取目標(biāo)區(qū)域;
劃分子模塊,用于劃分所述目標(biāo)區(qū)域,得到包含第一車道線的第一區(qū)域圖像,及包含第二車道線的第二區(qū)域圖像。
具體地,所述對所述第二處理模塊403包括:
處理子模塊,用于采用第一閾值對所述第一區(qū)域圖像的灰度圖像進(jìn)行二值化處理,及采用第二閾值對所述第二區(qū)域圖像的灰度圖像進(jìn)行二值化處理,得到與所述目標(biāo)區(qū)域?qū)?yīng)的二值化圖像;
擬合子模塊,用于根據(jù)所述二值化圖像,擬合得到與前方車道對應(yīng)的第一車道線及第二車道線。
具體地,所述識別裝置還包括:
第二獲取模塊,用于獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的第一斜率及第一截距,所述坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立;
第三獲取模塊,用于獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到所述第二車道線的第二斜率及第二截距;
第一確定模塊,用于在預(yù)存儲的車道線信息中確定與所述第一車道線對應(yīng)的第一基準(zhǔn)車道線,及與所述第二車道線對應(yīng)的第二基準(zhǔn)車道線;
第二確定模塊,用于若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),且所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值均處于設(shè)定范圍內(nèi),則確定正確擬合得到前方車道所對應(yīng)的車道線。
具體地,所述識別裝置還包括:
第四確定模塊,用于將所述第一車道線確定為所述第一基準(zhǔn)車道線,將所述第一斜率和第一截距確定為所述第一基準(zhǔn)斜率和第一基準(zhǔn)截距;
第五確定模塊,用于將所述第二車道線確定為所述第二基準(zhǔn)車道線,將所述第二斜率和第二截距確定為所述第二基準(zhǔn)斜率和第二基準(zhǔn)截距。
具體地,所述識別裝置還包括:
第六確定模塊,用于若所述第一車道線的第一斜率和第一截距與所述第一基準(zhǔn)車道線的第一基準(zhǔn)斜率和第一基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),和/或,所述第二車道線的第二斜率和第二截距與所述第二基準(zhǔn)車道線的第二基準(zhǔn)斜率和第二基準(zhǔn)截距間的差值任一項不處于設(shè)定范圍內(nèi),則確定沒有正確擬合得到前方車道所對應(yīng)的車道線。
具體地,所述識別裝置還包括:
第四獲取模塊,用于根據(jù)所述第一車道線及第二車道線,獲取車身相對前方車道的走向偏離程度;
調(diào)整模塊,用于根據(jù)所述走向偏離程度,調(diào)整車輛的行車方向。
具體地,所述第四獲取模塊包括:
第一得到子模塊,用于獲取第一車道線在坐標(biāo)系中的第一端點坐標(biāo)及第二端點坐標(biāo),得到所述第一車道線的中點坐標(biāo)的第一x值,所述坐標(biāo)系為基于機(jī)器視覺傳感器的顯示分辨率建立;
第二得到子模塊,用于獲取第二車道線在所述坐標(biāo)系中的第三端點坐標(biāo)及第四端點坐標(biāo),得到第二車道線的中點坐標(biāo)的第二x值;
第一計算子模塊,用于根據(jù)所述第一x值及所述第二x值,按照以下公式計算車身相對所述前方車道的走向偏離程度:
其中,所述表示車身相對所述前方車道的走向偏離程度,所述X中1表示所述第一x值,所述X中2表示所述第二x值,所述X0表示所述機(jī)器視覺傳感器的顯示分辨率對應(yīng)在x軸方向上像素點的中點坐標(biāo)的x值。
具體地,所述調(diào)整模塊包括:
第二計算子模塊,用于根據(jù)所述走向偏離程度,按照以下公式計算得到汽車需要調(diào)整的方向盤轉(zhuǎn)角:
其中,所述str表示汽車需要調(diào)整的方向盤轉(zhuǎn)角,所述表示所述走向偏離程度,所述k表示汽車轉(zhuǎn)向系統(tǒng)的傳動比;
調(diào)整子模塊,用于根據(jù)所述方向盤轉(zhuǎn)角,調(diào)整車輛的行車方向。
本實施例中的車道線的識別裝置,通過對獲取的前方道路圖像依據(jù)不同車道線進(jìn)行劃分,得到包括不同車道線的劃分區(qū)域,以實現(xiàn)對車道中車道線的分別處理及擬合,避免車道在有陰影覆蓋或者車道線磨損的情況下的擬合失誤,提高受干擾條件下的車道線識別效果,依據(jù)擬合得到的兩側(cè)車道線,計算車身相對前方車道的走向偏離程度,提高自動駕駛的循線行駛準(zhǔn)確度。
以上所述的是本發(fā)明的優(yōu)選實施方式,應(yīng)當(dāng)指出對于本技術(shù)領(lǐng)域的普通人員來說,在不脫離本發(fā)明所述的原理前提下還可以作出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也在本發(fā)明的保護(hù)范圍內(nèi)。