基于單目攝像頭的車道偏離預(yù)警系統(tǒng)及方法
【專利摘要】本發(fā)明涉及一種基于單目攝像頭的車道偏離預(yù)警系統(tǒng)及方法。本系統(tǒng)包括圖像采集模塊、處理器、車身交互模塊、違規(guī)圖像存儲(chǔ)模塊、顯示器、報(bào)警器、同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器SDRAM和電源模塊。本發(fā)明實(shí)時(shí)采集道路和車體信息，在檢測到車輛有偏離車道的傾向時(shí)，預(yù)警系統(tǒng)發(fā)出警示語音信號(hào)和視覺信號(hào)，提醒駕駛員及時(shí)糾正車輛的偏離，同時(shí)在判斷到駕駛員違規(guī)操作時(shí)，將違規(guī)信息記錄到違規(guī)圖像存儲(chǔ)模塊中。本方法包括快速車道篩選算法和候選車道計(jì)分方法，用以改善利用Hough算法檢測車道線時(shí)存在的實(shí)時(shí)性不好，容易受多車道、兩側(cè)有欄桿等環(huán)境干擾的缺點(diǎn)；根據(jù)檢測出的車道線參數(shù)以及車體信息，判斷車輛是否發(fā)生偏離以及駕駛員是否違規(guī)操作。
【專利說明】基于單目攝像頭的車道偏離預(yù)警系統(tǒng)及方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于汽車安全輔助駕駛領(lǐng)域，主要涉及一種基于單目攝像頭的車道偏離預(yù)警系統(tǒng)及方法。具體是提出一種快速車道檢測算法來實(shí)現(xiàn)對當(dāng)前車道線進(jìn)行檢測，根據(jù)連續(xù)幾幀檢測到的車道線參數(shù)判斷出當(dāng)前車輛運(yùn)動(dòng)狀態(tài)，當(dāng)判斷到車輛偏離車道時(shí)，向駕駛員發(fā)出警告并提示車輛偏離信息。
【背景技術(shù)】
[0002]近年來，隨著汽車數(shù)量的增加和路網(wǎng)建設(shè)規(guī)模的擴(kuò)大，污染、噪聲以及交通事故等問題日益突出。汽車駕駛的安全性、舒適性以及對環(huán)境的適應(yīng)性成為人們?nèi)找骊P(guān)注的話題。廣義上講，安全是作為任何交通方式的最重要的因素，而現(xiàn)有的道路運(yùn)輸系統(tǒng)已不能滿足需要。各國政府和研究機(jī)構(gòu)將大量精力投入到智能交通系統(tǒng)(IntelligentTransportat1n System, ITS)的石開究。
[0003]車道偏離預(yù)警系統(tǒng)簡稱LDWS (Lane Departure Warning System),是基于基本交通規(guī)則的安全系統(tǒng)。其主要功能是在高速公路上或者類似的公路中，輔助過度疲憊或者長時(shí)間單調(diào)駕駛的駕駛員保持車輛在車道內(nèi)行駛。當(dāng)由于駕駛員由于疏忽可能造成車道偏離時(shí)，警告駕駛員?；谝曈X的車道線跟蹤預(yù)警裝置由于其成本低、運(yùn)用范圍廣、實(shí)現(xiàn)方便等優(yōu)點(diǎn)成為了車道偏離預(yù)警產(chǎn)品的主流技術(shù)路線，主要是基于圖像處理和分析的方式來獲取車輛周圍的信息。現(xiàn)在國外已經(jīng)有不少基于視覺的車道偏離預(yù)警產(chǎn)品，如美國Iteris公司的AutoAue型車道偏離預(yù)警系統(tǒng),荷蘭的Mobileye公司的Mobileye_AWS系統(tǒng)。國內(nèi)也有不少的相關(guān)專利和論文。專利號(hào)為CN101794367A的一種車道偏離預(yù)警裝置及預(yù)警方法，需要加載橫擺角加速度傳感器，增加了系統(tǒng)的成本和復(fù)雜性。專利號(hào)為CN201633623U的一種可用于車道偏離預(yù) 警系統(tǒng)的報(bào)警器，具體研究了報(bào)警輸出終端的設(shè)計(jì)方法而沒有給出車道偏離系統(tǒng)的控制策略。專利號(hào)為CN201712600U的基于霍夫變換的車道偏離預(yù)警裝置采用Hough變換算法提取直線模型，該算法在感興趣區(qū)域內(nèi)全局搜索車道線，具有較大的運(yùn)算量，不利于高速車輛的實(shí)時(shí)運(yùn)算，而且僅僅依靠Hough變換算法的信息提取車道線，容易受道路兩側(cè)欄桿等直線狀噪聲的干擾。
[0004]總的來說，從現(xiàn)有的技術(shù)水平來看，圖像處理的實(shí)時(shí)性和圖像識(shí)別的魯棒性是影響基于視覺的車道偏離預(yù)警系統(tǒng)性能的主要因素。
[0005]此外，現(xiàn)有車道偏離預(yù)警系統(tǒng)只是起到一種提醒駕駛員正處于沒有打轉(zhuǎn)向燈的情況下偏離當(dāng)前車道的狀態(tài)，而并不能阻止駕駛員繼續(xù)偏離車道的功能。因此，會(huì)存在駕駛員故意違規(guī)的現(xiàn)象。在交通事故發(fā)生時(shí)，不能很好的為交通管理部門提供判決依據(jù)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是針對現(xiàn)有技術(shù)缺陷，提供一種精度較高，實(shí)時(shí)性和魯棒性較好的基于單目攝像頭的車道偏離預(yù)警方法及系統(tǒng)。此系統(tǒng)還能在因駕駛員違規(guī)操作而導(dǎo)致車道偏離的時(shí)候記錄下當(dāng)時(shí)的圖像，以便在事故發(fā)生時(shí)，為交通管理部門提供事故判決依據(jù)。[0007]為了達(dá)到上述目的，本發(fā)明采用如下的技術(shù)解決方案:
一種確定車道偏離的方法，所述方法的步驟包括:
(I)、圖像預(yù)處理步驟:首先，對CMOS圖像傳感器獲取的道路圖像進(jìn)行邊緣檢測，獲得圖像中每個(gè)像素點(diǎn)的梯度值。其次，根據(jù)獲得的梯度值對邊緣進(jìn)行二值化。最后，對獲得的二值化圖像進(jìn)行橫向腐蝕，以獲得細(xì)化的邊緣及減少車輛、障礙物等在橫向上的噪聲。
[0008](2)、車道線提取步驟:首先統(tǒng)計(jì)圖像預(yù)處理步驟后獲得的邊緣點(diǎn)數(shù)，并記錄每個(gè)邊緣點(diǎn)的坐標(biāo)。其次，對這些邊緣點(diǎn)的坐標(biāo)進(jìn)行Hough變換，分別在圖像左半平面和右半平面獲得25條左候選車道線和25條右候選車道線。然后采用本發(fā)明中設(shè)計(jì)的一種快速車道線篩選算法對候選車道線進(jìn)行篩選，獲得η條二次左候選車道線和m條二次右候選車道線(其中Κιι?8,1?ι--8)。最后，采用本發(fā)明中設(shè)計(jì)的一種車道參數(shù)計(jì)分方法，從iixw對二次候選車道線中選出分?jǐn)?shù)最大的一對作為檢測到的左右車道線。
[0009](3)、車道線偏離決策步驟:首先根據(jù)上述步驟檢測到的左右車道線參數(shù)，算出這兩直線的內(nèi)角夾角平分線。其次，算出夾角平分線與車輛中軸線的夾角P 0稱為系統(tǒng)偏航角。最后，本發(fā)明設(shè)定在出現(xiàn)以下兩種情況的任何一種時(shí)報(bào)警:
a)、設(shè)定一個(gè)角度閾值為大偏航角的分界，如果連續(xù)兩幀圖片的檢測結(jié)果顯示車輛位置處于大偏航角狀態(tài)，則立即報(bào)警。如果顯示此時(shí)的沒<0,報(bào)警當(dāng)前車輛行駛狀態(tài)為左偏，反之，如果此時(shí)設(shè)>0 ,則報(bào)警當(dāng)前車輛行駛狀態(tài)為右偏。
[0010]b)、設(shè)定一個(gè)角度閾值為小偏航角的分界，車輛位置處于小偏航角的狀態(tài)時(shí)，等待連續(xù)15幀圖片處理結(jié)果，如果連續(xù)15幀圖像檢測結(jié)果顯示車輛偏航角網(wǎng)處于持續(xù)增大過 程，則報(bào)警。此時(shí)，如果沒<0 ,則報(bào)警當(dāng)前車輛行駛狀態(tài)為左偏，反之，如果此時(shí)沒>0 ,則報(bào)警當(dāng)前車輛行駛狀態(tài)為右偏。
[0011](4)、車道線跟蹤步驟:如果在連續(xù)5幀中檢測到的車道線參數(shù)變化在一定閾值以內(nèi)，那么系統(tǒng)進(jìn)入車道線跟蹤模塊。此時(shí)，系統(tǒng)仍然采用Hough變換算法對車道線參數(shù)進(jìn)行提取，只不過在車道線檢測期間系統(tǒng)是從靜態(tài)感興趣區(qū)域內(nèi)提取車道線參數(shù)，而在車道線跟蹤期間系統(tǒng)是在以上一幀檢測到的車道線為中心的一定區(qū)域內(nèi)檢測當(dāng)前的車道線參數(shù)，此區(qū)域稱為動(dòng)態(tài)感興趣區(qū)域。如果設(shè)定的動(dòng)態(tài)感興趣區(qū)域較小，那么在跟蹤期間可以省略車道線提取步驟中提及到的一系列候選車道線的提取、篩選及計(jì)分，可以直接根據(jù)Hough變換結(jié)果中的最大投票值來確定當(dāng)前車道線。本發(fā)明設(shè)定出現(xiàn)在以下任何一種情況下，解除車道線跟蹤狀態(tài)，重新在預(yù)先設(shè)定的靜態(tài)感興趣區(qū)域內(nèi)檢測當(dāng)前的車道線參數(shù):
a)、設(shè)定一個(gè)Hough投票閾值U ,當(dāng)任意一條檢測到的車道線中Hough的投票值小于
Km b)、設(shè)定一個(gè)角度差閾值A(chǔ)ffeat ,當(dāng)檢測到在相鄰兩幀圖像中，檢測到任意一條車道線角度變化大于Α?ξ.。
[0012]C)、當(dāng)檢測到車輛已經(jīng)處于偏移或者變道的狀態(tài)。
[0013]本發(fā)明中快速車道線篩選算法思路如下:設(shè)A和B為左半平面經(jīng)Hough變換提取的兩條候選車道線，^，&分別為A直線的Hough投票值和角度值，分別為B直線
的Hough投票值和角度值，假設(shè)^ 且4 ，那么B為車道線的可能性非常小，在篩選過程中可以將B排除在二次候選車道線外。結(jié)果表明，此算法可以有效的加快車道線檢測速度及減少兩側(cè)欄桿等直線干擾。
[0014]本發(fā)明中對二次候選車道線進(jìn)行計(jì)分的思路如下:在經(jīng)Hough變換提取的左右候選車道線中，如果一對候選車道線的Hough投票值越大，這一對候選車道線的分?jǐn)?shù)越高。如果一對候選車道線之間的寬度越小，那么這一對候選車道線的分?jǐn)?shù)越高。如果這一對候選車道線的寬度與上一幀檢測出的左右車道線之間的寬度差值越小，那么這一對候選車道線的分?jǐn)?shù)越高。根據(jù)以上三個(gè)分?jǐn)?shù)的加權(quán)求和，得到一個(gè)總得分?jǐn)?shù)，選取總分最大的一對候選車道線作為這一幀檢測出的左右車道線。
[0015]本發(fā)明提供了一種駕駛員違規(guī)記錄的方法:當(dāng)判斷到當(dāng)前車輛正處于偏離狀態(tài)時(shí)，通過總線檢查當(dāng)前方向燈的狀態(tài)，如果當(dāng)前方向燈沒有打開，則表明當(dāng)前駕駛員處于違規(guī)狀態(tài)，那么將當(dāng)前采集到的圖像備份到存儲(chǔ)卡上，以便發(fā)生交通事故時(shí)為交通管理部門提供事故判決依據(jù)。
[0016]一種基于單目攝像頭的車道偏離預(yù)警系統(tǒng)，主要其包括圖像采集模塊、處理器、顯示器、違規(guī)圖像存儲(chǔ)模塊和報(bào)警器。所述圖像采集模塊、所述顯示器、所述報(bào)警器分別與所述處理器連接。其中:圖像采集模塊用于對車輛前方道路圖像進(jìn)行采集，所述處理器對采集到的圖像進(jìn)行處理，實(shí)現(xiàn)對當(dāng)前車道線的檢測與車輛偏離狀態(tài)的分析，并將結(jié)果合成到當(dāng)前采集到的道路圖像中。所述顯示器將實(shí)時(shí)的顯示當(dāng)前道路圖像與檢測結(jié)果合成后的圖像，并通過顯示箭頭的方式指示當(dāng)前車輛偏離車道的方向，如果箭頭指向左，表面當(dāng)前車輛正在向左車道靠近，逐漸偏離右車道線，相反，如果箭頭指向右，那么表面當(dāng)前車輛逐漸偏離左車道線。如果沒有箭頭指示，表明當(dāng)前車輛行駛狀態(tài)良好。所述報(bào)警器是根據(jù)判斷的結(jié)果進(jìn)行報(bào)警，以提示駕駛員注意當(dāng)前車輛有可能處于危險(xiǎn)的狀態(tài)，在適當(dāng)?shù)臅r(shí)候應(yīng)關(guān)注顯示屏的指示。所述違規(guī)圖像存儲(chǔ)模塊是當(dāng)判斷到車輛處于偏離狀態(tài)時(shí)，駕駛員沒有打轉(zhuǎn)向燈的情況下，將當(dāng)前采集到的道路圖像備份到存儲(chǔ)器中，以便發(fā)生交通事故時(shí)為交通管理部門提供事故判決依據(jù)。
[0017]優(yōu)選的，所述圖像采集模塊選用車載CMOS攝像頭，安裝于車輛前擋風(fēng)玻璃內(nèi)側(cè)，斜指向前方的道路。
[0018]進(jìn)一步的，所述車載CMOS攝像頭具有較好的銳化功能，以增強(qiáng)夜間或者陰天等情況下車道線與路面之間的反差，便于獲得車道線完整的邊緣。
[0019]所述的處理器選用ADI公司的ADSP-BF609 Blackfin處理器。
[0020]優(yōu)選的，所述顯示器采用IXD液晶顯示器。通過DVI接口與處理器相連。
[0021]優(yōu)選的，所述報(bào)警器選用蜂鳴器或者揚(yáng)聲器，以聲音的方式進(jìn)行報(bào)警。
[0022]優(yōu)選的，所述違規(guī)圖像存儲(chǔ)模塊選用Sd卡，以增加移動(dòng)的靈活性。
[0023]與現(xiàn)有技術(shù)相比較，本發(fā)明具有如下的實(shí)質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn):
1、成本低，傳感器少，體積小。本發(fā)明中采用單個(gè)攝像頭來實(shí)現(xiàn)對道路圖像的采集，并采用IXD和蜂鳴器實(shí)現(xiàn)對結(jié)果的顯示和報(bào)警，整體布局精簡，便于實(shí)現(xiàn)在各類汽車上進(jìn)行預(yù)裝或者獨(dú)立安裝。
[0024]2、實(shí)時(shí)性好，抗干擾能力高。本發(fā)明針對用Hough變換在靜態(tài)感興趣區(qū)域內(nèi)檢測車道線的實(shí)時(shí)性差和對兩側(cè)欄桿、車輛等直線噪聲的抗干擾能力差等缺點(diǎn)，提出快速車道篩選算法和車道參數(shù)計(jì)分方法來改善這個(gè)缺點(diǎn)，提高了車道偏離預(yù)警系統(tǒng)的實(shí)時(shí)性和抗干擾能力。
[0025]3、可靠性高。本發(fā)明提供駕駛員違規(guī)操作記錄功能，當(dāng)系統(tǒng)判斷到車輛在沒打轉(zhuǎn)向燈的情況下，發(fā)生車道偏離，那么系統(tǒng)會(huì)將當(dāng)前車道圖像備份到sd卡上，以便發(fā)生交通事故時(shí)為交通管理部門提供事故判決依據(jù)。
[0026]4、本發(fā)明的處理芯片采用ADI公司的ADSP-BF609 Blackfin處理器。ADSP-BF609Blackfin處理器針對嵌入式視覺和視頻分析應(yīng)用進(jìn)行了優(yōu)化，使用雙核定點(diǎn)DSP處理器和獨(dú)特的流水線視覺處理器(PVP)。PVP是靠近Blackfin內(nèi)核的一組功能模塊，專為加快圖像處理算法和降低整體帶寬要求而設(shè)計(jì)。將ADSP-BF609 Blackfin處理器應(yīng)用于車道偏離預(yù)警系統(tǒng)能提高現(xiàn)有的視覺車道偏離預(yù)警裝置的圖像處理和預(yù)警反應(yīng)速度。
【專利附圖】

【附圖說明】
[0027]圖1是本發(fā)明實(shí)施例的結(jié)構(gòu)示意圖
圖2是本發(fā)明實(shí)施例中的降壓穩(wěn)壓電路原理圖，其中圖(b)所示電路原理圖是圖(a)所示的電路原理圖中的變壓模塊
圖3是本發(fā)明實(shí)施例中的復(fù)位電路原理圖 圖4是本發(fā)明實(shí)施例中的攝像頭接口電路原理圖 圖5是本發(fā)明實(shí)施例中的SD卡接口電路原理圖 圖6是本發(fā)明實(shí)施例中的整體動(dòng)作流程圖 圖7是本發(fā)明實(shí)施例中的處理器內(nèi)核O工作流程圖 圖8是本發(fā)明實(shí)施例中的處理器內(nèi)核I工作流程圖 圖9是本發(fā)明實(shí)施例中的快速車道篩選算法示意圖 圖10是本發(fā)明實(shí)施例中的候選車道線計(jì)分算法示意圖 圖11是本發(fā)明實(shí)施例中的整個(gè)算法流程圖。
【具體實(shí)施方式】
[0028]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白。以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。
[0029]實(shí)施例一:
參見圖1，本基于單目攝像頭的車道偏離預(yù)警系統(tǒng)，其特征包括:
處理器(2)，用于對采集到的圖像進(jìn)行處理，實(shí)現(xiàn)對當(dāng)前車道線的檢測與車輛偏離狀態(tài)的分析，并將
結(jié)果合成到當(dāng)前采集到的道路圖像中；
圖像采集模塊(3)，用于采集車輛前方道路圖像；
車身交互模塊(4)，用于獲取轉(zhuǎn)向燈信號(hào)；
違規(guī)圖像存儲(chǔ)模塊(5)，用于在駕駛員沒有打轉(zhuǎn)向燈的情況下，將當(dāng)前采集到的道路圖像備份到存儲(chǔ)器中，以便發(fā)生交通事故時(shí)為交通管理部門提供事故判決依據(jù)；
顯示器(6)，用于實(shí)時(shí)地顯示當(dāng)前道路圖像與檢測結(jié)果合成后的圖像，并通過顯示箭頭的方式指示當(dāng)前車輛偏離車道的方向；
報(bào)警器(7)，用于在判斷到車道偏離時(shí)，提示駕駛員注意當(dāng)前車輛有可能處于危險(xiǎn)的狀態(tài)；
所述處理器(2)與圖像采集模塊(3)、車身交互模塊(4)、違規(guī)圖像存儲(chǔ)模塊(5)、顯示器(6)、報(bào)警器(7)相連。
[0030]實(shí)施例二:
如圖1所示，本基于單目攝像頭的車道偏離預(yù)警系統(tǒng)主要包括電源模塊1，圖像采集模塊2，圖像處理和分析模塊3，車身交互模塊4，違規(guī)圖像存儲(chǔ)模塊5，顯示器6，報(bào)警器7，中間結(jié)果緩存模塊8。所述的圖像采集模塊與圖像處理和分析模塊相連，所述的車身交互模塊通過車身總線與圖像處理和分析模塊相連，所述的違規(guī)圖像存儲(chǔ)模塊與圖像處理與分析模塊相連，所述的顯示器通過DVI連接線與圖像處理與分析模塊相連，所述的報(bào)警器與圖像處理與分析模塊相連，所述的中間結(jié)果緩存模塊與圖像處理與分析模塊相連。所述圖像采集模塊為數(shù)字?jǐn)z像頭，所述圖像處理與分析模塊為數(shù)字信號(hào)處理器及其必要的外圍電路，所述車身總線為CAN總線，用來使圖像處理與分析模塊獲得轉(zhuǎn)向燈的信號(hào)，所述報(bào)警器為揚(yáng)聲器和蜂鳴器，所述違規(guī)圖像存儲(chǔ)模塊為非掉電丟失存儲(chǔ)器，所述顯示器為液晶顯示器。[0031 ] 在本實(shí)施例中，圖像處理與分析模塊中的核心處理器為以ADI公司的ADSP-BF609Blackfin處理器。此處理器與所述報(bào)警器，中間結(jié)果緩存模塊，違規(guī)圖像存儲(chǔ)模塊，電源模塊直接連接，并留出攝像頭接口，DVI視頻接口和CAN總線接口，方便與所述數(shù)字?jǐn)z像頭，IXD顯示器和車身總線等模塊相連。其中，所述攝像頭接口與所述處理器的并行外設(shè)接口 I(PPIl)相連，所述DVI視頻接口與所述處理器的并行外設(shè)接口 O (PP1)相連。
[0032]在本實(shí)施例中，所述系統(tǒng)采用+5V供電電壓等級(jí)。本發(fā)明實(shí)例采用電源芯片TPS54610作為系統(tǒng)數(shù)字電源芯片。TPS54610是TI公司專門為DSP，ASIC和FPGA等多芯片系統(tǒng)供電而設(shè)計(jì)的一款低電壓輸入、大電流輸出的同步降壓DC/DC調(diào)整器。具體電路可以參考圖2。
[0033]在本實(shí)施例中，所述系統(tǒng)采用TPS3823芯片作為系統(tǒng)復(fù)位芯片。TPS382X系列監(jiān)控器主要為DSP和基于處理器的系統(tǒng)提供電路初始化和定時(shí)監(jiān)控。本發(fā)明主要應(yīng)用在汽車上，由于系統(tǒng)會(huì)隨著汽車的行駛處于不同的環(huán)境中而導(dǎo)致系統(tǒng)會(huì)受到外界電磁場的干擾，造成程序跑飛而進(jìn)入死循環(huán)。所以采用帶有看門狗的復(fù)位電路能夠提高系統(tǒng)的穩(wěn)定性。具體電路可以參考圖3。
[0034]在本實(shí)施例中，所述圖像采集模塊選用CMOS攝像頭，型號(hào)為0V9650。本實(shí)例中，在設(shè)置攝像頭的寄存器時(shí)，將攝像頭采集的圖像分辨率調(diào)整為640*480大小，采集速率設(shè)為30幀/秒。所述攝像頭將采集到的圖像以YUV 4:2:2的格式通過所述攝像頭接口送到所述ADSP-BF609 Blackfin處理器進(jìn)行處理。攝像頭接口如圖4所示。
[0035]在本實(shí)例中，所述IXD顯示器的分辨率為480*272，通過DVI連接線連接到與所述處理器并行外設(shè)總線相連的DVI接口上。所述處理器對圖像進(jìn)行處理和分析后，將車道檢測結(jié)果以及偏離決策結(jié)果與采集的原始道路圖像進(jìn)行合成，最后以RGB格式的視頻信號(hào)輸出到IXD顯示器上。
[0036]在本實(shí)例中，所述違規(guī)存儲(chǔ)模塊為SD卡及其驅(qū)動(dòng)電路。SD卡具有移動(dòng)靈活度高的特點(diǎn)，安裝和拆卸都很方便。SD卡的驅(qū)動(dòng)電路如圖5所示。
[0037]在本實(shí)例中，所述中間結(jié)果緩存模塊為256M容量的SDRAM (Synchronous DynamicRandom Access Memory)同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器。由于圖像采集過程中，涉及到的數(shù)據(jù)量較大，僅靠處理器內(nèi)部的存儲(chǔ)器是遠(yuǎn)遠(yuǎn)不過的，需要另添加外部存儲(chǔ)器以存儲(chǔ)圖像采集與處理過程中的大量圖像數(shù)據(jù)。所述處理器芯片本身提供了與DRAM和SDRAM進(jìn)行直接接口的解決方案，因此只需要對存儲(chǔ)控制器相關(guān)的寄存器進(jìn)行適當(dāng)?shù)呐渲?，就能對SDRAM進(jìn)行讀寫操作。這個(gè)配置工作在初始化中完成。
[0038]在本實(shí)例中，所述報(bào)警器選用蜂鳴器。當(dāng)然，也可以用揚(yáng)聲器，因?yàn)閾P(yáng)聲器可以用語音的方式提醒駕駛員危險(xiǎn)狀況。由于在本實(shí)例中，有顯示屏的存在，為了減小整個(gè)裝置的體積可以選用蜂鳴器，駕駛員可根據(jù)蜂鳴器的報(bào)警提醒，如果需要知道具體報(bào)警內(nèi)容，可從顯示屏上獲取。
[0039]在本實(shí)例中，所述車身模塊是從處理器弓I出CAN總線接口，將處理器連接到CAN總線上以便獲取轉(zhuǎn)向燈的信息。
[0040]實(shí)施例三:
本基于單目攝像頭的車道偏離預(yù)警方法，采用上述系統(tǒng)進(jìn)行操作，步驟如下:
O圖像預(yù)處理步驟:根據(jù)圖像采集模塊(3)所采集到的道路圖像，獲得經(jīng)過細(xì)化的道路邊緣圖像；
2)車道線提取步驟:利用處理器(2)對步驟I)獲得的邊緣圖像進(jìn)行分析，提取出當(dāng)前的左右車道線參數(shù)；
3)車道線偏離決策步驟:利用處理器(2)對步驟2)獲得的車道線參數(shù)進(jìn)行分析，判斷出當(dāng)前車輛是否處于偏離當(dāng)前車道狀態(tài)；
4)車道線跟蹤步驟:利用處理器(2)對最近連續(xù)5幀內(nèi)提取的車道線參數(shù)進(jìn)行分析，判斷出可能下一幀圖像中可能存在當(dāng)前車道線的區(qū)域，并設(shè)定動(dòng)態(tài)感興趣區(qū)域，使得步驟
2)只在動(dòng)態(tài)感興趣區(qū)域內(nèi)提取當(dāng)前車道線參數(shù)。
[0041]實(shí)施例四:
下面結(jié)合ADSP-BF609 Blackfin處理器的底層硬件架構(gòu)分析所述車道偏離預(yù)警系統(tǒng)一種較高性能的實(shí)現(xiàn)方法:
圖6是表示本發(fā)明的一個(gè)實(shí)施例中推薦的車道偏離預(yù)警系統(tǒng)的整體動(dòng)作流程圖。
[0042]本基于單目攝像頭的車道偏離預(yù)警方法，采用上述系統(tǒng)，操作步驟如下:
(I)、數(shù)字?jǐn)z像頭將采集到的圖像以YUV 4:2:2的格式通過并行外設(shè)總線I(PPIl)送至所述ADSP-BF609 Blackfin處理器。PPIl設(shè)置為廣播模式，將獲取的圖像數(shù)據(jù)以兩路的通道輸出出去。其中，一路通過DMA33將采集到的圖像數(shù)據(jù)搬移至存儲(chǔ)器，作為最終結(jié)果顯示時(shí)所需要的原始道路圖像數(shù)據(jù)。另一路直接送到流水線視覺處理器的圖像輸入接口 I (IPFl)，并且IPFl僅接收圖像格式中的Y信號(hào)，即以灰度圖的形式作為后續(xù)預(yù)處理工作所需要的圖像數(shù)據(jù)源。其中，DMA33與IPFl均對圖像做了裁剪處理，使得將攝像頭采集到的640*480分辨率的圖像與480*272分別率的IXD顯示屏匹配。
[0043](2)、將流水線視覺處理器內(nèi)部模塊配置成Canny算子模式，具體模塊連接可參考圖中所示。流水線視覺處理器(PVP)可以完成多項(xiàng)圖像預(yù)處理功能，使得圖像預(yù)處理工作獨(dú)立與內(nèi)核操作，分擔(dān)了內(nèi)核的負(fù)擔(dān)，極大的提高了系統(tǒng)的性能。由于在車道偏離預(yù)警系統(tǒng)中，由于車道線與路面的灰度反差較為明顯，因此邊緣往往成為區(qū)分車道線與路面的一項(xiàng)重要特征。而PVP可以根據(jù)需求，將其通道工作在邊緣檢測模式，能夠很好的檢測出圖像中的邊緣信息，將PVP技術(shù)運(yùn)用到車道偏離預(yù)警系統(tǒng)能有效的提高系統(tǒng)的性能，改善的實(shí)時(shí)性。PVP完成邊緣檢測后，由DMA46搬移到存儲(chǔ)器中以備后續(xù)處理。
[0044](3 )、由所述處理器內(nèi)核O對所述PVP提供的邊緣檢測圖像進(jìn)行水平方向上腐蝕。由于攝像頭總是以一定的俯角照向前方道路，所以左右車道總是以一定斜率出現(xiàn)在采集到的圖像上?？梢詳喽ǎ嚨谰€是不會(huì)以完全水平的方式出現(xiàn)在圖像中，出現(xiàn)水平的現(xiàn)象往往是由車身，房屋等噪聲引起的。所以在識(shí)別車道線前對邊緣圖像進(jìn)行水平方向上的腐蝕能夠減少大量的噪聲，并且邊緣點(diǎn)的減少能夠提高系統(tǒng)運(yùn)行速度。
[0045](4)、所述處理器內(nèi)核O在完成對邊緣圖像水平方向上的腐蝕后，開始進(jìn)行車道線的識(shí)別。內(nèi)核O完成的工作如圖7所示。在處理中，內(nèi)核O首先對在感興趣區(qū)域內(nèi)的邊緣點(diǎn)進(jìn)行統(tǒng)計(jì)，記錄總得邊緣點(diǎn)的個(gè)數(shù)和邊緣點(diǎn)的坐標(biāo)值。接著，內(nèi)核O對每個(gè)邊緣點(diǎn)進(jìn)行Hough變換，根據(jù)以下極坐標(biāo)方程:
【權(quán)利要求】
1.一種基于單目攝像頭的車道偏離預(yù)警系統(tǒng)，其特征在于包括: 處理器(2)，用于對采集到的圖像進(jìn)行處理，實(shí)現(xiàn)對當(dāng)前車道線的檢測與車輛偏離狀態(tài)的分析，并將 結(jié)果合成到當(dāng)前采集到的道路圖像中； 圖像采集模塊(3)，用于采集車輛前方道路圖像； 車身交互模塊(4)，用于獲取轉(zhuǎn)向燈信號(hào)； 違規(guī)圖像存儲(chǔ)模塊(5)，用于在駕駛員沒有 打轉(zhuǎn)向燈的情況下，將當(dāng)前采集到的道路圖像備份到存儲(chǔ)器中，以便發(fā)生交通事故時(shí)為交通管理部門提供事故判決依據(jù)； 顯示器(6)，用于實(shí)時(shí)地顯示當(dāng)前道路圖像與檢測結(jié)果合成后的圖像，并通過顯示箭頭的方式指示當(dāng)前車輛偏離車道的方向； 報(bào)警器(7)，用于在判斷到車道偏離時(shí)，提示駕駛員注意當(dāng)前車輛有可能處于危險(xiǎn)的狀態(tài)； 所述處理器(2)與圖像采集模塊(3)、車身交互模塊(4)、違規(guī)圖像存儲(chǔ)模塊(5)、顯示器(6)、報(bào)警器(7)相連。
2.根據(jù)權(quán)利要求1所述的基于單目攝像頭的車道偏離預(yù)警系統(tǒng)，其特征在于:所述處理器⑵采用ADI公 司的ADSP-BF609 Blackfin處理器，該處理器內(nèi)部的流水線視覺處理單元用于獲得道路圖像的邊緣，處理器內(nèi)核O負(fù)責(zé)獲得候選車道線，處理器內(nèi)核I負(fù)責(zé)篩選車道線，判斷車道偏離狀態(tài)并將結(jié)果合成到當(dāng)前采集到的道路圖像中；該處理器內(nèi)部的像素合成單元用于合成當(dāng)前道路圖像與檢測到的車道線和偏離結(jié)果。
3.根據(jù)權(quán)利要求1所述的基于單目攝像頭的車道偏離預(yù)警系統(tǒng)，其特征在于:違規(guī)圖像存儲(chǔ)存儲(chǔ)模塊(5)， 采用SD卡，以增加移動(dòng)的靈活度。
4.根據(jù)權(quán)利要求1所述的基于單目攝像頭的車道偏離預(yù)警系統(tǒng)，其特征在于:所述車身交互模塊(4)由車 身總線組成，車身總線采用Can總線，用以獲得車輛轉(zhuǎn)向燈的信號(hào)。
5.一種基于單目攝像頭的車道偏離預(yù)警方法，采用根據(jù)權(quán)利要求1所述的基于單目攝像頭的車道偏離預(yù)警系統(tǒng)進(jìn)行操作，其特征在于包括以下操作步驟: O圖像預(yù)處理步驟:根據(jù)圖像采集模塊(3)所采集到的道路圖像，獲得經(jīng)過細(xì)化的道路邊緣圖像； 2)車道線提取步驟:利用處理器(2)對步驟I)獲得的邊緣圖像進(jìn)行分析，提取出當(dāng)前的左右車道線參數(shù)； 3)車道線偏離決策步驟:利用處理器(2)對步驟2)獲得的車道線參數(shù)進(jìn)行分析，判斷出當(dāng)前車輛是否處于偏離當(dāng)前車道狀態(tài)； 4)車道線跟蹤步驟:利用處理器(2)對最近連續(xù)5幀內(nèi)提取的車道線參數(shù)進(jìn)行分析，判斷出可能下一幀圖像中可能存在當(dāng)前車道線的區(qū)域，并設(shè)定動(dòng)態(tài)感興趣區(qū)域，使得步驟2)只在動(dòng)態(tài)感興趣區(qū)域內(nèi)提取當(dāng)前車道線參數(shù)。
6.根據(jù)權(quán)利要求5所述的基于單目攝像頭的車道偏離預(yù)警方法，其特征在于:所述步驟2)圖像預(yù)處理首先由處理器(2)內(nèi)部的流水線視覺處理單元獲得道路圖像的Canny邊緣，然后由處理器(2)內(nèi)核O對邊緣點(diǎn)進(jìn)行Hough變換，獲得一次候選車道線，接著由處理器(2)內(nèi)核I利用快速車道篩選算法對一次候選車道線進(jìn)行篩選，獲得二次候選車道線，最后由處理器(2)內(nèi)核I利用計(jì)分的方法對二次候選左右車道線進(jìn)行計(jì)分，選出最大的一對二次候選左右車道線作為最終檢測到的車道線。
7.根據(jù)權(quán)利要求6所述的基于單目攝像頭的車道偏離預(yù)警方法，其特征在于:所述利用快速車道篩選算 法對經(jīng)由Hough提取的候選車道線進(jìn)行篩選，排除掉一部分候選車道線，減少許多干擾，提高了系統(tǒng)運(yùn)行速度；該算法根據(jù)實(shí)際的道路模型，得出候選車道線之間的Hough投票值與角度值之間的關(guān)系。
8.根據(jù)權(quán)利要求6所述的基于單目攝像頭的車道偏離預(yù)警方法，其特征在于:所述利用計(jì)分的方法對候 選車道線進(jìn)行計(jì)分，計(jì)分值最大的一對候選車道線選為當(dāng)前檢測到的左右車道線；該計(jì)分方法根據(jù)這對直線的Hough投票值之和，寬度和寬度差分別得到三個(gè)分?jǐn)?shù)，最后對這三個(gè)分?jǐn)?shù)加權(quán)求和得到最終的分?jǐn)?shù)。
【文檔編號(hào)】B60W50/14GK104029680SQ201410266150
【公開日】2014年9月10日 申請日期:2014年6月16日 優(yōu)先權(quán)日:2014年1月2日
【發(fā)明者】徐美華, 蔣周龍, 黃舒平, 王濤, 沈華明, 冉峰 申請人:上海大學(xué)