專利名稱：基于多傳感器信息融合的碰撞及偏離預(yù)警裝置及預(yù)警方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種汽車駕駛員安全輔助系統(tǒng)，尤其涉及一種避免前向碰撞及車道偏離的預(yù)警系統(tǒng)。
背景技術(shù)：
近年來，隨著我國道路車輛數(shù)量的迅速增長，道路運(yùn)輸安全形勢日益嚴(yán)峻。特大惡性交通事故頻繁發(fā)生，不僅人員傷亡多，經(jīng)濟(jì)損失大，而且極易引起復(fù)雜的社會問題。據(jù)公安部2007年統(tǒng)計(jì)，我國道路交通事故致死總?cè)藬?shù)中，由貨運(yùn)車輛導(dǎo)致的占了 29. 4%。為此， “國家中長期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要”(2006-2020年)已將交通運(yùn)輸安全保障技術(shù)列為國家重大科技需求，投入大量人力物力開展各分項(xiàng)技術(shù)及其系統(tǒng)集成的研發(fā)工作，以減少重大交通事故的傷亡和經(jīng)濟(jì)損失，并加快技術(shù)成果轉(zhuǎn)化，從而推動行業(yè)進(jìn)步。對交通事故的研究表明，駕駛員是影響道路交通安全性的主要因素。根據(jù)我國2004年的統(tǒng)計(jì)結(jié)果，由于駕駛員過失造成的交通事故數(shù)和死亡人數(shù)分別占到總數(shù)的 89. 8%和87. 4%。由于人的反應(yīng)時(shí)間、動作速率以及駕駛經(jīng)驗(yàn)都有一定的局限性，而且駕駛員不可能在駕駛過程中始終保持最佳狀態(tài)，所以經(jīng)常會有由于駕駛員疲勞和疏忽以致不能妥善處理車輛行駛過程而發(fā)生的突發(fā)事件和緊急情況。因此，只要由人來駕駛車輛，就可能存在事故隱患。駕駛員輔助系統(tǒng)是解決這一問題的一項(xiàng)有效技術(shù)，它已經(jīng)得到各汽車廠家和用戶的積極關(guān)注。安全輔助駕駛是智能交通系統(tǒng)的重要組成部分，其中自動巡航控制系統(tǒng)、車輛前向碰撞預(yù)警系統(tǒng)、前向避撞輔助系統(tǒng)等都可以大大減輕駕駛?cè)藛T的負(fù)擔(dān)，提高交通系統(tǒng)的安全性。實(shí)時(shí)準(zhǔn)確地檢測汽車前方行駛車輛等障礙物位置、速度信息是汽車防碰撞預(yù)警、 自適應(yīng)巡航控制等輔助駕駛系統(tǒng)實(shí)現(xiàn)的前提。多傳感器信息融合是信息技術(shù)領(lǐng)域的發(fā)展方向。因此構(gòu)建基于雷達(dá)和機(jī)器視覺的車輛前方障礙物檢測系統(tǒng)可以為安全輔助駕駛系統(tǒng)的發(fā)展提供理論指導(dǎo)和技術(shù)支持?，F(xiàn)有技術(shù)中，關(guān)于汽車防撞防車道偏離控制裝置也有研究，
公開日為2009年11月 25日，公開號為CN 101585361A的中國發(fā)明專利申請中公開了一種“汽車防撞防車道偏離控制裝置”。包括77GHz毫米波雷達(dá)器，CXD視覺機(jī)器，雷達(dá)信號處理裝置，視頻處理模塊， 車載顯示器，傳感器，控制軟件和揚(yáng)聲器；77GHz毫米波雷達(dá)器，CXD視覺機(jī)器，雷達(dá)信號處理裝置，視頻處理模塊，車載顯示器，傳感器，控制軟件和揚(yáng)聲器之間由信號連接。該技術(shù)方案的不足之處是不具備CCD與雷達(dá)結(jié)合的方法，根本不能提高汽車防撞防車道偏離的準(zhǔn)確率。

發(fā)明內(nèi)容
針對上述現(xiàn)有技術(shù)，本發(fā)明提供一種基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置及其預(yù)警方法。根據(jù)車載障礙物檢測的需求，確立本發(fā)明前向碰撞及車道偏離的預(yù)警裝置設(shè)計(jì)的基本思路是由車載雷達(dá)和前方CMOS攝像機(jī)獲取前方車路信息，傳送給車載計(jì)算機(jī)(即車載處理單元)進(jìn)行信息融合處理，對車輛前方障礙物進(jìn)行檢測，并判斷其危險(xiǎn)等級，最后將報(bào)警信息以圖形界面、震動或者聲音提示的方式直觀地提供給駕駛員。 本發(fā)明所具有的主要功能是通過雷達(dá)、攝像機(jī)等傳感器及時(shí)發(fā)現(xiàn)車輛行駛中潛在的碰撞危險(xiǎn)，為駕駛員提供警示信息，及時(shí)提醒駕駛員調(diào)整車輛行駛狀態(tài)，避免或減輕碰撞事故。為了解決上述技術(shù)問題，本發(fā)明基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置予以實(shí)現(xiàn)的技術(shù)方案是，包括毫米波雷達(dá)傳感器、USB-CAN通訊接口模塊、前方 CMOS攝像機(jī)、圖像采集模塊、顯示器及報(bào)警模塊；車載處理單元；其中，所述毫米波雷達(dá)傳感器用于檢測其視野范圍內(nèi)的所有障礙物，并測量出每個目標(biāo)的相對距離、相對速度和方位角度值，所述USB-CAN通訊接口模塊將雷達(dá)信息傳給所述車載 處理單元進(jìn)行處理；所述前方CMOS攝像機(jī)用于獲取前方障礙物類型、在車道中的位置以及道路標(biāo)線信息；所述圖像采集模塊通過同軸電纜接收前方CMOS攝像機(jī)拍攝到的電視圖像畫面，并對所獲取的圖像進(jìn)行處理；所述車載處理單元對來自于所述USB-CAN通訊接口模塊和圖像采集模塊的雷達(dá)信號和機(jī)器視覺信息進(jìn)行融合處理；所述車載處理單元包含設(shè)備驅(qū)動模塊、雷達(dá)數(shù)據(jù)接收和處理模塊、圖像數(shù)據(jù)接收和處理模塊、數(shù)據(jù)融合模塊、雷達(dá)目標(biāo)顯示模塊以及圖像顯示模塊；所述數(shù)據(jù)融合模塊同時(shí)具有時(shí)間和空間上的信息融合功能，其中所述時(shí)間上的信息融合是采用線程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類型判斷信息融合；所述顯示器及報(bào)警裝置是人機(jī)交互接口，其中，所述顯示器用于提供已識別出的車道線和前方障礙物的圖像和報(bào)警信息；所述報(bào)警裝置用于發(fā)出語音報(bào)警信息，提示駕駛員注意保持安全距離。本發(fā)明一種基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警方法，是將上述預(yù)警裝置用于防止車輛前向碰撞及車道偏離的預(yù)警，包括以下步驟步驟一、設(shè)備驅(qū)動利用設(shè)備驅(qū)動模塊驅(qū)動設(shè)備，包括打開車載攝像機(jī)并驅(qū)動毫米波雷達(dá)傳感器和前方CMOS視覺傳感器；步驟二、雷達(dá)數(shù)據(jù)及圖像數(shù)據(jù)的接收與處理車載處理單元中的雷達(dá)數(shù)據(jù)接收和處理模塊通過所述的USB-CAN接口模塊接收來自于所述毫米波雷達(dá)傳感器傳送的雷達(dá)數(shù)據(jù)，該雷達(dá)數(shù)據(jù)包括在所述毫米波雷達(dá)傳感器的視野范圍內(nèi)的所有障礙物，并測量出每個目標(biāo)的相對距離、相對速度和方位角度值；與此同時(shí)，所述的圖像采集模塊通過同軸電纜接收前方CMOS視覺傳感器拍攝到的電視圖像畫面，所述電視圖像畫面包括所獲取的前方障礙物類型、在車道中的位置以及道路標(biāo)線信息，所述車載處理單元中的圖像數(shù)據(jù)接收和處理模塊獲取該電視圖像畫面后將視頻流分解成單幀圖像；步驟三、信息融合將上述步驟二中得到的所有障礙物中每個目標(biāo)的相對距離、相對速度和方位角度值及車道線位置輸入數(shù)據(jù)融合模塊進(jìn)行像素級融合；包括時(shí)間上的信息融合和空間上的信息融合；所述時(shí)間上的信息融合是采用線程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類型判斷信息融合；步驟四、最后將融合后的信息交由圖像顯示模塊進(jìn)行顯示。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是 在駕駛輔助系統(tǒng)，如前向碰撞預(yù)警和車道偏離報(bào)警系統(tǒng)的行車環(huán)境中，雷達(dá)的測量值可能來自于目標(biāo)車輛，也可能來自于其他干擾物。由于雷達(dá)自身工作狀態(tài)不穩(wěn)定或目標(biāo)回波能量分布不均，可能出現(xiàn)虛假目標(biāo)。同時(shí)，由于車輛行駛過程中的隨機(jī)顛簸和擺動， 雷達(dá)測量信號還可能出現(xiàn)短暫丟失的情況，從而導(dǎo)致目標(biāo)物信息出現(xiàn)較大波動。因而，需要先對雷達(dá)測量信號進(jìn)行相關(guān)處理，以便準(zhǔn)確地選取有效目標(biāo)。雷達(dá)對目標(biāo)的檢測和識別分為三部分目標(biāo)初選，目標(biāo)信息預(yù)測以及目標(biāo)一致性檢驗(yàn)。其中，目標(biāo)初選是遵循一定的規(guī)貝1J，從所有雷達(dá)檢測到的目標(biāo)中選擇一個有效目標(biāo)。如何定義有效目標(biāo)與駕駛輔助系統(tǒng)的類型有關(guān)。比如，對于自適應(yīng)巡航控制系統(tǒng)(ACC)來講，有效目標(biāo)是處于本車道中，在本車前方最近的移動車輛；對于前向報(bào)警系統(tǒng)來說，有效目標(biāo)則是處于本車道中，在本車前方最近的任何靜止或者運(yùn)動的障礙物。目標(biāo)信息預(yù)測用于預(yù)估有效目標(biāo)未來時(shí)刻的運(yùn)動狀態(tài)， 為目標(biāo)一致性檢驗(yàn)做準(zhǔn)備。而目標(biāo)一致性檢驗(yàn)則采用初選目標(biāo)信息與目標(biāo)預(yù)測值的相似程度進(jìn)行判定和評價(jià)，以實(shí)現(xiàn)有效目標(biāo)的跟蹤功能。人、車、路和環(huán)境是組成交通系統(tǒng)的基本要素，交通系統(tǒng)的運(yùn)作通過這些基本要素相互作用和變化得以體現(xiàn)。車輛行駛在道路上，其行駛環(huán)境信息中最重要部分是車輛前方的信息。車輛前方信息也就是車輛前方道路上交通要素的相關(guān)信息。這些信息包括靜態(tài)信息和動態(tài)信息。靜態(tài)信息主要有前方道路的線形、設(shè)施等信息。動態(tài)信息主要有前車和本車的距離、速度、加速度、方位、在車道中的位置等信息。本發(fā)明中采用雷達(dá)來獲取前方車輛的距離、速度等信息，采用攝像機(jī)來獲取前車在車道中的位置以及道路標(biāo)線等信息，通過一車載處理單元控制毫米波雷達(dá)傳感器、 USB-CAN通訊接口模塊、前方CMOS攝像機(jī)、圖像采集模塊、顯示器及報(bào)警模塊；并對接收到的雷達(dá)信號和機(jī)器視覺信息進(jìn)行融合處理，最終將融合后的信息交由圖像顯示模塊進(jìn)行顯示，并根據(jù)目標(biāo)的危險(xiǎn)等級作出相應(yīng)的報(bào)警提示。本發(fā)明通過雷達(dá)、攝像機(jī)等傳感器及時(shí)發(fā)現(xiàn)車輛行駛中潛在的碰撞危險(xiǎn)，為駕駛員提供警示信息，及時(shí)提醒駕駛員調(diào)整車輛行駛狀態(tài)，避免或減輕碰撞事故。本發(fā)明預(yù)警方法中采用視覺機(jī)器與雷達(dá)相結(jié)合的方法，從根本上提高了汽車防撞防車道偏離的準(zhǔn)確率，經(jīng)過試驗(yàn)得出可以提高(5-20)%的準(zhǔn)確度。


圖1是本發(fā)明基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置的結(jié)構(gòu)框圖；圖2是本發(fā)明中車載處理單元的結(jié)構(gòu)框圖；圖3是本發(fā)明中圖像采集與處理的主流程圖；圖4是本發(fā)明中信息融合的主流程圖；圖5是本發(fā)明中實(shí)現(xiàn)信息融合的結(jié)構(gòu)框架圖；圖6是本發(fā)明中實(shí)現(xiàn)信息融合中的車輛行駛坐標(biāo)系；圖7是本發(fā)明中信息融合試驗(yàn)匹配圖。
具體實(shí)施例方式根據(jù)車載障礙物檢測的需求，本發(fā)明基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置的基本思路是由車載雷達(dá)(毫米波雷達(dá)傳感器10)和前方CMOS攝像機(jī)30 獲取前方車路信息，傳送給作為車載處理單元的計(jì)算機(jī)進(jìn)行信息融合處理，對車輛前方障礙物進(jìn)行檢測，并判斷其危險(xiǎn)等級，最后將報(bào)警信息以圖形界面、震動或者聲音提示的方式直觀地提供給駕駛員。由上述設(shè)計(jì)思路可以確定本發(fā)明預(yù)警裝置具備信息獲取功能、通信功能、信息處理功能和信息輸出功能。下面結(jié)合具體實(shí)施方式
對本發(fā)明作進(jìn)一步詳細(xì)地描述。如圖1所示，本發(fā)明一種基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置，包括毫米波雷達(dá)傳感器10、USB-CAN通訊接口模塊20、前方CMOS攝像機(jī)30、圖像采集模塊40、顯示器60及報(bào)警模塊70 ；還包括一車載處理單元50。其中，所述毫米波雷達(dá)傳感器10用于檢測其視野范圍內(nèi)的所有障礙物，并測量出每個目標(biāo)的相對距離、相對速度和方位角度值，所述毫米波雷達(dá)傳感器10的最大探測距離為175m。所述USB-CAN通訊接口模塊20將雷達(dá)信息傳給所述車載處理單元50進(jìn)行處理；所述前方CMOS攝像機(jī)30用于獲取前方障礙物類型、在車道中的位置以及道路標(biāo)線信息；所述圖像采集模塊40通過同軸電纜接收前方CMOS攝像機(jī)30拍攝到的電視圖像畫面，并對所獲取的圖像進(jìn)行處理；所述車載處理單元50(所述車載處理單元50既可以基于車載工控機(jī)， 也可以基于嵌入式處理器)對來自于所述USB-CAN通訊接口模塊20和圖像采集模塊40的雷達(dá)信號和機(jī)器視覺信息進(jìn)行融合處理；如圖2所示，本發(fā)明中的所述車載處理單元50包含設(shè)備驅(qū)動模塊51、雷達(dá)數(shù)據(jù)接收和處理模塊52、圖像數(shù)據(jù)接收和處理模塊53、數(shù)據(jù)融合模塊54、雷達(dá)目標(biāo)顯示模塊55以及圖像顯示模塊56 ；所述數(shù)據(jù)融合模塊54同時(shí)具有時(shí)間和空間上的信息融合功能，其中所述時(shí)間上的信息融合是采用線程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類型判斷信息融合；如圖1所示，所述顯示器60及報(bào)警裝置70是人機(jī)交互接口，其中，所述顯示器用于提供已識別出的車道線和前方障礙物的圖像和報(bào)警信息； 所述報(bào)警裝置用于發(fā)出語音報(bào)警信息，提示駕駛員注意保持安全距離。本發(fā)明基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警方法，是利用所述車載處理單元50對來自于所述USB-CAN通訊接口模塊20和圖像采集模塊40的雷達(dá)信號和機(jī)器視覺信息進(jìn)行融合處理，如圖2所示，從結(jié)構(gòu)上分為雷達(dá)數(shù)據(jù)處理和圖像數(shù)據(jù)處理兩部分，其基本原理為雷達(dá)數(shù)據(jù)處理——首先，雷達(dá)數(shù)據(jù)接收和處理模塊52通過USB-CAN通訊接口模塊 20接收雷達(dá)系統(tǒng)(本發(fā)明中指毫米波雷達(dá)傳感器10)傳送的數(shù)據(jù)，并對接收到的雷達(dá)數(shù)據(jù)進(jìn)行解算，經(jīng)過濾波將穩(wěn)定的目標(biāo)挑選出來，得到一組固定格式的目標(biāo)數(shù)據(jù)，再由雷達(dá)圖形顯示模塊55將二維目標(biāo)方位實(shí)時(shí)顯示在顯示屏上。圖像數(shù)據(jù)處理——首先由圖像數(shù)據(jù)接收和處理模塊53接收前方CMOS攝像機(jī)30 采集到的原始圖像數(shù)據(jù)，圖像數(shù)據(jù)接收和處理模塊53對采集到的圖像進(jìn)行預(yù)處理，然后對車道線和障礙物進(jìn)行特征提取與匹配。將本發(fā)明的預(yù)警裝置用于防止車輛前向碰撞及車道偏離的預(yù)警，包括以下步驟步驟一、設(shè)備驅(qū)動利用設(shè)備驅(qū)動模塊51驅(qū)動設(shè)備，包括打開車載攝像機(jī)并驅(qū)動毫米波雷達(dá)傳感器 10和前方CMOS視覺傳感器30 ；
步驟二、雷達(dá)數(shù)據(jù)及圖像數(shù)據(jù)的接收與處理車載處理單元50中的雷達(dá)數(shù)據(jù)接收和處理模塊52通過所述的USB-CAN接口模塊 20接收來自于所述毫米波雷達(dá)傳感器10傳送的雷達(dá)數(shù)據(jù)，該雷達(dá)數(shù)據(jù)包括在所述毫米波雷達(dá)傳感器10的視野范圍內(nèi)的所有障礙物，并測量出每個目標(biāo)的相對距離、相對速度和方位角度值；與此同時(shí)，所述的圖像采集模塊40通過同軸電纜接收前方CMOS視覺傳感器30拍攝到的電視圖像畫面，所述電視圖像畫面包括所獲取的前方障礙物類型、在車道中的位置以及道路標(biāo)線信息， 所述車載處理單元50中的圖像數(shù)據(jù)接收和處理模塊53獲取該電視圖像畫面后將視頻流分解成單幀圖像；然后對車道線和障礙物進(jìn)行特征提取與匹配。圖3示出了本發(fā)明中一種圖像采集與處理方法的流程。步驟S10:開始；步驟Sll 設(shè)置攝像機(jī)參數(shù)，如分辨率為640X480 ；步驟Sl2:打開攝像機(jī)；步驟S13 判斷是否已經(jīng)打開攝像機(jī)，如果判斷結(jié)果為否，返回執(zhí)行步驟S12 ；步驟S14 如果判斷結(jié)果為真，將視頻流分解成單幀圖像，進(jìn)行捕捉；步驟S15 判斷是否分解圖像成功，捕獲到單幀圖像，如果判斷結(jié)果為否，返回執(zhí)行步驟S14 ；步驟S20 如果判斷結(jié)果為真，開始進(jìn)行信息融合步驟(見后面的步驟三)；步驟S30 將信息融合步驟S20的處理結(jié)果顯示出來，并將疊加的圖像層顯示在控件上。步驟三、信息融合將上述步驟二中得到的所有障礙物中每個目標(biāo)的相對距離、相對速度和方位角度值及車道線位置輸入數(shù)據(jù)融合模塊54進(jìn)行像素級融合；包括時(shí)間上的信息融合和空間上的信息融合；所述時(shí)間上的信息融合，是采用線程同步方式創(chuàng)建雷達(dá)數(shù)據(jù)接收線程和攝像機(jī)數(shù)據(jù)接收線程，當(dāng)每次采集當(dāng)前幀圖像時(shí)獲取雷達(dá)當(dāng)前時(shí)刻的數(shù)據(jù)，這樣就將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)進(jìn)行了時(shí)間上的同步。所述空間上的信息融合過程如圖4所示，是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類型判斷信息融合；預(yù)警信息融合和目標(biāo)類型判斷信息融合這兩種融合都結(jié)合了雷達(dá)信息和圖像信息。其中(1)預(yù)警信息融合——根據(jù)雷達(dá)10提供的距離和速度信息，判斷該目標(biāo)的危險(xiǎn)等級。如果危險(xiǎn)等級較低則將其放入觀察區(qū)，不作處理。如果危險(xiǎn)等級較高，則結(jié)合圖像識別檢測到的車道線位置，判斷該目標(biāo)與本車是否處于同一車道，如果不處于則將其也放入觀察區(qū)，如果處于同一車道，則根據(jù)危險(xiǎn)等級，采用語音報(bào)警的方式提示駕駛員。(2)目標(biāo)類型判斷信息融合——將雷達(dá)坐標(biāo)系下的目標(biāo)投影到圖像坐標(biāo)系中，在圖像中得到該目標(biāo)對應(yīng)的投影點(diǎn)，再以該投影點(diǎn)為中心，根據(jù)車距和車輛尾部尺寸的先驗(yàn)知識在圖像中選取合適大小的矩形感興趣區(qū)域，這樣就將原來的整幅圖像多目標(biāo)分割任務(wù)分解成局部單目標(biāo)分割任務(wù)。然后對每個ROI進(jìn)行基于知識或者模板的識別方法，進(jìn)而識別出目標(biāo)的類型。
如圖4所示

步驟S201 根據(jù)雷達(dá)數(shù)據(jù)接收和處理模塊(52)所獲取的雷達(dá)數(shù)據(jù)解算出所識別目標(biāo)的相對坐標(biāo)和速度；步驟S202 將目標(biāo)的相對坐標(biāo)進(jìn)行透視變換；步驟S203 得到目標(biāo)在圖像上對應(yīng)的坐標(biāo)；步驟S204 利用圖像數(shù)據(jù)接收和處理模塊53獲取圖像數(shù)據(jù)；步驟S205 識別車道線；步驟S206 判斷本車是否會存在車道偏離可能，如果判斷結(jié)果為否，返回步驟 S204準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S207 如果判斷結(jié)果為真，發(fā)出車道偏離預(yù)警；步驟S208 結(jié)合步驟S203中的目標(biāo)在圖像上的對應(yīng)坐標(biāo)和步驟S205的車道位置信息，判斷本車與目標(biāo)是否處于同一車道，如果判斷結(jié)果為否，返回步驟S208準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S209 如果判斷結(jié)果為真，在可能的目標(biāo)在圖像上對應(yīng)的坐標(biāo)周圍建立可變大小的感興趣區(qū)域ROI ；步驟S210 在步驟S209中建立的感興趣區(qū)域ROI內(nèi)進(jìn)行目標(biāo)識別，檢驗(yàn)是否在該感興趣區(qū)域ROI內(nèi)識別出車輛；步驟S211 判斷該目標(biāo)的危險(xiǎn)級別是否高于閾值；如果判斷結(jié)果為否，返回步驟 S204準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S212 如果判斷結(jié)果為真，發(fā)出前向碰撞預(yù)警。以下是對上述步驟S202坐標(biāo)變換(即完成空間上的數(shù)據(jù)融合)的進(jìn)一步描述。通過求解攝像機(jī)外部參數(shù)的約束方程后，雷達(dá)、攝像機(jī)、圖像和車體坐標(biāo)系的相對關(guān)系可以完全確定，從而雷達(dá)掃描點(diǎn)可以通過攝像機(jī)模型投影至圖像像素坐標(biāo)系上。建立車體坐標(biāo)系中物點(diǎn)P(xv，yv，zv)與圖像像素坐標(biāo)系中像點(diǎn)p(u，v)之間的轉(zhuǎn)換關(guān)系，其像素級數(shù)據(jù)融合關(guān)系式如下(u，V，1)T = K (Rc (xv, yv, zv) T+Tc) (1)式⑴中，R。為攝像機(jī)外部參數(shù)的旋轉(zhuǎn)矩陣，Τ。為攝像機(jī)外部參數(shù)的平移向量，fx、 fy為X和y方向的等效焦距，U0, y(l為圖像像素中心的坐標(biāo)；式(2)中，K為攝像機(jī)內(nèi)部參數(shù)矩陣
權(quán)利要求
1.一種基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置，包括毫米波雷達(dá)傳感器(10)、USB-CAN通訊接口模塊(20)、前方CMOS攝像機(jī)(30)、圖像采集模塊(40)、顯示器(60)及報(bào)警模塊(70)；其特征在于還包括車載處理單元(50)；所述毫米波雷達(dá)傳感器(10)用于檢測其視野范圍內(nèi)的所有障礙物，并測量出每個目標(biāo)的相對距離、相對速度和方位角度值；所述USB-CAN通訊接口模塊(20)將雷達(dá)信息傳給所述車載處理單元(50)進(jìn)行處理；所述前方CMOS攝像機(jī)(30)用于獲取前方障礙物類型、在車道中的位置以及道路標(biāo)線 fn息；所述圖像采集模塊(40)通過同軸電纜接收前方CMOS攝像機(jī)(30)拍攝到的電視圖像畫面，并對所獲取的圖像進(jìn)行處理；所述車載處理單元(50)對來自于所述USB-CAN通訊接口模塊(20)和圖像采集模塊 (40)的雷達(dá)信號和機(jī)器視覺信息進(jìn)行融合處理；所述車載處理單元(50)包含設(shè)備驅(qū)動模塊(51)、雷達(dá)數(shù)據(jù)接收和處理模塊(52)、圖像數(shù)據(jù)接收和處理模塊(53)、數(shù)據(jù)融合模塊 (54)、雷達(dá)目標(biāo)顯示模塊(55)以及圖像顯示模塊(56)；所述數(shù)據(jù)融合模塊(54)同時(shí)具有時(shí)間和空間上的信息融合功能，其中所述時(shí)間上的信息融合是采用線程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類型判斷信息融合；所述顯示器(60)及報(bào)警裝置(70)是人機(jī)交互接口，其中，所述顯示器用于提供已識別出的車道線和前方障礙物的圖像和報(bào)警信息；所述報(bào)警裝置用于發(fā)出語音報(bào)警信息，提示駕駛員注意保持安全距離。
2.根據(jù)權(quán)利要求1所述的基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警裝置， 其特征在于所述毫米波雷達(dá)傳感器(10)的最大探測距離為175m。
3.一種基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警方法，其特征在于將如權(quán)利要求1所述的預(yù)警裝置用于防止車輛前向碰撞及車道偏離的預(yù)警包括以下步驟步驟一、設(shè)備驅(qū)動利用設(shè)備驅(qū)動模塊(51)驅(qū)動設(shè)備，包括打開車載攝像機(jī)并驅(qū)動毫米波雷達(dá)傳感器 (10)和前方CMOS視覺傳感器(30)；步驟二、雷達(dá)數(shù)據(jù)及圖像數(shù)據(jù)的接收與處理車載處理單元(50)中的雷達(dá)數(shù)據(jù)接收和處理模塊(52)通過所述的USB-CAN接口模塊 (20)接收來自于所述毫米波雷達(dá)傳感器(10)傳送的雷達(dá)數(shù)據(jù)，該雷達(dá)數(shù)據(jù)包括在所述毫米波雷達(dá)傳感器(10)的視野范圍內(nèi)的所有障礙物，并測量出每個目標(biāo)的相對距離、相對速度和方位角度值；與此同時(shí)，所述的圖像采集模塊(40)通過同軸電纜接收前方CMOS視覺傳感器(30)拍攝到的電視圖像畫面，所述電視圖像畫面包括所獲取的前方障礙物類型、在車道中的位置以及道路標(biāo)線信息，所述車載處理單元(50)中的圖像數(shù)據(jù)接收和處理模塊(53)獲取該電視圖像畫面后將視頻流分解成單幀圖像；步驟三、信息融合將上述步驟二中得到的所有障礙物中每個目標(biāo)的相對距離、相對速度和方位角度值及車道線位置輸入數(shù)據(jù)融合模塊(54)進(jìn)行像素級融合；包括時(shí)間上的信息融合和空間上的信息融合；所述時(shí)間上的信息融合是采用線程同步方式將雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)實(shí)現(xiàn)時(shí)間上的同步；所述空間上的信息融合是結(jié)合雷達(dá)信息和圖像信息實(shí)現(xiàn)預(yù)警信息融合和目標(biāo)類型判斷信息融合；步驟四、最后將融合后的信息交由圖像顯示模塊(56)進(jìn)行顯示。
4.根據(jù)權(quán)利要求1所述的基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警方法， 其中步驟三的信息融合進(jìn)一步講，是步驟S201 根據(jù)雷達(dá)數(shù)據(jù)接收和處理模塊(52)所獲取的雷達(dá)數(shù)據(jù)解算出所識別目標(biāo)的相對坐標(biāo)和速度；步驟S202 將目標(biāo)的相對坐標(biāo)進(jìn)行透視變換； 步驟S203 得到目標(biāo)在圖像上對應(yīng)的坐標(biāo)； 步驟S204 利用圖像數(shù)據(jù)接收和處理模塊(53)獲取圖像數(shù)據(jù)； 步驟S205 識別車道線；步驟S206 判斷本車是否會存在車道偏離可能，如果判斷結(jié)果為否，返回步驟S204準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S207 如果判斷結(jié)果為真，發(fā)出車道偏離預(yù)警；步驟S208 結(jié)合步驟S203中的目標(biāo)在圖像上的對應(yīng)坐標(biāo)和步驟S205的車道位置信息，判斷本車與目標(biāo)是否處于同一車道，如果判斷結(jié)果為否，返回步驟S208準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S209 如果判斷結(jié)果為真，在可能的目標(biāo)在圖像上對應(yīng)的坐標(biāo)周圍建立可變大小的感興趣區(qū)域ROI ；步驟S210 在步驟S209中建立的感興趣區(qū)域ROI內(nèi)進(jìn)行目標(biāo)識別，檢驗(yàn)是否在該感興趣區(qū)域ROI內(nèi)識別出車輛；步驟S211 判斷該目標(biāo)的危險(xiǎn)級別是否高于閾值；如果判斷結(jié)果為否，返回步驟S204 準(zhǔn)備進(jìn)行下一幀圖像數(shù)據(jù)的處理；步驟S212 如果判斷結(jié)果為真，發(fā)出前向碰撞預(yù)警。
5.根據(jù)權(quán)利要求4所述的基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警方法， 其中步驟S202的將目標(biāo)的相對坐標(biāo)進(jìn)行透視變換，進(jìn)一步講，完成空間上的數(shù)據(jù)融合，是；建立車體坐標(biāo)系中物點(diǎn)P (Xv，yv，zv)與圖像像素坐標(biāo)系中像點(diǎn)ρ (u，ν)之間的轉(zhuǎn)換關(guān)系，其像素級數(shù)據(jù)融合關(guān)系式如下(u,v,l)T = K(Rc(xv, yv, zv)T+Tc) (1)式(1)中，R。為攝像機(jī)外部參數(shù)的旋轉(zhuǎn)矩陣，T。為攝像機(jī)外部參數(shù)的平移向量，fx、fy 為χ和y方向的等效焦距，u0, Vtl為圖像像素中心的坐標(biāo)；其中，攝像機(jī)內(nèi)部參數(shù)矩陣
6.根據(jù)權(quán)利要求4所述的基于多傳感器信息融合的前向碰撞及車道偏離的預(yù)警方法， 其中步驟S202將目標(biāo)的相對坐標(biāo)進(jìn)行透視變換，進(jìn)一步講，實(shí)現(xiàn)雷達(dá)目標(biāo)從二維平面坐標(biāo)到三維視景坐標(biāo)的轉(zhuǎn)換，是首先，建立一個三維空間坐標(biāo)系O-xyz，y軸指向?yàn)檐囶^方向，O點(diǎn)表示透視投影的焦點(diǎn)；在y軸上的O’點(diǎn)垂直于χ軸的平面上建立一個矩形表示顯示平面，在ζ軸Z1處垂直于 ζ軸的平面上建立一個矩形表示道路平面；用點(diǎn)的坐標(biāo)描述車輛目標(biāo)的位置參數(shù)，設(shè)車輛目標(biāo)點(diǎn)為三維空間坐標(biāo)系O-xyz中的點(diǎn) R1,且該點(diǎn)位于道路平面Z1上，該點(diǎn)的坐標(biāo)為R1Oq, Y1, Z1)；設(shè)目標(biāo)點(diǎn)R1在顯示平面上的投影點(diǎn)為R2,因?yàn)镽1和R2之間滿足透視投影關(guān)系，所以R2 即線段OR1和顯示平面的交點(diǎn)；假設(shè)雷達(dá)傳感器和攝像機(jī)都安裝在車輛左右正中的縱剖面上，設(shè)雷達(dá)目標(biāo)點(diǎn)在以傳感器位置為原點(diǎn)的二維平面坐標(biāo)系中的坐標(biāo)為T(xK，yK)，雷達(dá)目標(biāo)坐標(biāo)系原點(diǎn)到焦點(diǎn)0的等效水平距離為d，焦點(diǎn)0相對于道路平面的等效高度為h，顯示屏平面到焦點(diǎn)0的等效距離為1，根據(jù)其幾何關(guān)系，可得 其中
全文摘要
本發(fā)明公開了一種基于多傳感器信息融合的前向碰撞及車道偏離預(yù)警裝置，包括毫米波雷達(dá)、通訊接口模塊、攝像機(jī)、圖像采集模塊、顯示及報(bào)警模塊和車載處理單元；所述車載處理單元可實(shí)現(xiàn)對來自于所述通訊接口模塊和圖像采集模塊的雷達(dá)信號和機(jī)器視覺信息進(jìn)行融合處理；將上述預(yù)警裝置用于防止車輛前向碰撞及車道偏離的預(yù)警，包括設(shè)備驅(qū)動；雷達(dá)數(shù)據(jù)及圖像數(shù)據(jù)的接收與處理；信息融合；最后將融合信息進(jìn)行顯示。本發(fā)明通過雷達(dá)、攝像機(jī)發(fā)現(xiàn)車輛行駛中潛在的碰撞危險(xiǎn)，為駕駛員提供警示信息。本發(fā)明預(yù)警方法中采用視覺與雷達(dá)相結(jié)合的方法，從根本上提高了汽車防撞防車道偏離的準(zhǔn)確率，經(jīng)過試驗(yàn)得出可以提高(5-20)％的準(zhǔn)確度。
文檔編號G01S13/93GK102303605SQ20111018307
公開日2012年1月4日 申請日期2011年6月30日 優(yōu)先權(quán)日2011年6月30日
發(fā)明者何佳, 戎輝, 李艷文, 王文揚(yáng), 黃偉, 龔進(jìn)峰 申請人:中國汽車技術(shù)研究中心