專利名稱：嵌入式集成視覺輔助行車安全系統(tǒng)的制作方法
技術領域：
本實用新型涉及視覺輔助行車安全系統(tǒng)，更具體地說是一種主要用于防止車輛撞車或偏 離車道的安全行車系統(tǒng)。
背景技術：
日益增長的汽車產(chǎn)量以及日益增長的安全擔憂，正推動主動和被動安全系統(tǒng)市場的發(fā) 展。根據(jù)德國保險協(xié)會(German Insurance Association)的研究，有25%的交通事故的原 因是駕駛員注意力不集中、反應延遲，甚至在車內打瞌睡。使得研究輔助行車安全系統(tǒng)這一 課題變得尤為重要。
目前，作為車輛的常規(guī)配置，輔助行車安全系統(tǒng)主要有如下兩種形式，但卻各自存在有 問題.
1、 使用雷達進行被動探測，以便探測警戒區(qū)域內的事故物體，但沒有為駕駛人員直觀 地標識出事故物體所在的具體位置。
2、 將雷達應用于車道變換輔助系統(tǒng)LCA，但只在車輛變道時探測到事故物體的存在， 才會發(fā)出警報，不能避免駕駛人員因注意力不集中所造成的非自主變道行為。
3、 存在視覺盲區(qū)。機動車輛左右兩側3米、后方3米以內的區(qū)域極易形成車外后視鏡 上的視覺盲區(qū)。

實用新型內容
本實用新型是為避免上述現(xiàn)有技術所存在的不足之處，利用計算機視覺和信息融合技 術，提供一種嵌入式集成視覺輔助行車安全系統(tǒng)， 一方面，當鄰近車道有從后部高速接近的 車輛或其它可能引起事故的物體時，系統(tǒng)能夠提前告知駕駛員潛在的危險； 一旦駕駛員變換 車道，系統(tǒng)將觸發(fā)警告，使駕駛員能夠及時反應，避免碰撞；另一方面，若車輛沒有在受控 的情況下偏離車道，系統(tǒng)能夠發(fā)出警告，以保證行駛安全。
本實用新型解決技術問題釆用如下技術方案
本實用新型嵌入式集成視覺輔助駕駛安全系統(tǒng)的特點是其系統(tǒng)構成包括 一個由視頻圖像采集器和測距雷達共同組成的采集模塊，實時采集車身四周的環(huán)境狀
況；
一個基于總線形式的傳輸模塊，在系統(tǒng)各模塊之間進行通信和在系統(tǒng)與車內其它車載電 子設備之間進行通信；
一個由信息處理模塊和存儲模塊共同組成的主控模塊，接受來自所述采集模塊的關于車身四周的環(huán)境狀況的采集信息，通過圖像縫合、信息融合和同步圖像識別實現(xiàn)行車車道的識 別和跟蹤，以及捕獲和跟蹤行車過程中防范區(qū)域內潛在事故物體，配合檢測駕駛者是否有主 動變換行車方向的動作，輸出執(zhí)行信號至人機接口模塊；
一個由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成的人機接口模塊，接受所 述主控模塊的輸出信號，執(zhí)行相應的顯示或預警。
本實用新型系統(tǒng)的結構特點也在于
所述防范區(qū)域是機動車輛左右兩側3米和后方3米以內的區(qū)域。
所述視頻圖像采集器是可紅外夜視、視角為105° 120 。的CM0S攝像頭，至少為四只，
分別安裝于車前、車左側、車右側和車尾。
所述測距雷達采,用微米波雷達，至少三只，分別安裝于車身左側、車身右側和車身尾部。 所述安裝于車身左側和車身右側的測距雷達的探測距離不少于50米，安裝在車身尾部
的測距雷達的探測距離不少于100米。
所述人機接口模塊中的視屏顯示器是安裝于車內前部面板上的彩色LCD顯示器。 所述人機接口模塊中的振動報警器是安裝于汽車方向盤內的振動器。 所述基于總線形式的數(shù)據(jù)傳輸模塊是采用汽車通用CAN總線協(xié)議接口。 本實用新型系統(tǒng)中由所述人機接口模塊執(zhí)行的預警包括
a、 在駕駛員非主動變換行車方向而車身偏離車道時，系統(tǒng)以聲音警報器發(fā)聲預警；
b、 在駕駛員不主動變換車道正常行使中，視頻顯示器顯示車身四周融合的視頻圖像， 且閃爍圈定視頻圖像內的潛在事故物體；
c、 在駕駛員主動變換車道，視頻圖像內存在潛在事故物體且雷達探測到該事故物體時， 振動警報器振動預警。
與已有技術相比，本實用新型的有益效果體現(xiàn)在-
1、 本實用新型利用視頻圖像采集器的采集信號，經(jīng)過視頻縫合和信息融合后輸出探測 區(qū)域內的"合成"視頻；同時應用圖像識別技術同步識別鄰近車輛和行人，克服了雷達探測 的被動性和非可視性；通過閃爍圈定視頻中潛在的事故物體，來提醒駕駛員注意，實現(xiàn)主動 安全行車，為安全駕駛提供有力保障。
2、 本實用新型通過視頻圖像采集器實時監(jiān)測車身相對車道標志線的位置，同時進行車 道標志線識別和安全規(guī)則匹配，可以有效識別駕駛員是否為非主動變道。在駕駛者非主動變 換行車方向而車身偏離車道時，系統(tǒng)以聲音警報器發(fā)聲預警，可以有效避免事故發(fā)生。
3、 本實用新型人機接口模塊中的操作按鈕可以用于設定設定系統(tǒng)運行參數(shù)和系統(tǒng)運行時的主動預警等級。將主動預警等級和危險程度關聯(lián)起來，根據(jù)危險程度來確定三個危險等 級，分別為高、中和低三級。駕駛者根據(jù)開車習慣，可以對系統(tǒng)運行狀態(tài)設置成高安全性、 中安全性和低安全性三個運行狀態(tài)，三個運行狀態(tài)決定從危險程度確定危險等級的閥值，運 行狀態(tài)安全性越高，危險等級的閥值越小，從而安全行車系數(shù)越高。根據(jù)運行狀態(tài)決定的閥 值，視頻圖像中被閃爍圈定的事故物體被動態(tài)賦予高、中、低三個危險等級。


圖l為本實用新型系統(tǒng)結構圖。 圖2為本實用新型設備結構框圖。
圖3為雷達安裝位置及探測范圍示意圖。
圖4為本實用新型盲區(qū)探測BSD與車道變換輔助系統(tǒng)LCA原理示意圖。
圖5為本實用新型BSD與LCA功能框圖。
圖6為本實用新型離開車道警告系統(tǒng)LDW的原理示意圖。
圖7為本實用新型LDW功能框圖。
以下通過具體實施方式
，結合附圖對本實用新型作進一步描述。
具體實施方式
參見圖1，本實施例基于高性能的嵌入式控制平臺，采用C0MS攝像頭和測距雷達，包 括車左側雷達和攝像頭、車右側雷達和攝像頭、車尾雷達和攝像頭，以及車前攝像頭實時監(jiān) 測視覺防范區(qū)域和車輛相對于車道的位置。將其中信號采集、存儲、傳輸、MCU、信息處理 模塊封裝為控制盒?；诳偩€形式的傳輸模塊，在系統(tǒng)各模塊之間進行通信和在系統(tǒng)與車內 其它車在電子設備之間進行通信。信息處理模塊和存儲模塊組成的主控模塊，接受來自采集 模塊的關于車身四周環(huán)境狀況的采集信息，經(jīng)過圖像縫合、信息融合和同步圖像識別實現(xiàn)行 車車道的識別和跟蹤，以及捕捉和跟蹤行車過程中防范區(qū)域內潛在的事故物體。人機接口模 塊式由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成。
按照本領域內的常規(guī)技術，圖像縫合是基于0pencv的自適應模板匹配算法，通過Harris 算子提取圖像角點，利用角點數(shù)量和位置信息，自適應地調整匹配模板大小和位置。這一 模板匹配方式不僅能自適應地改變模板大小和位置，而且能解決彩色圖像光照變化所造成的 誤匹配問題。信息融合是為保證縫合后的圖像能保持流暢的視覺效果，首先利用方差和均值 這兩個統(tǒng)計參數(shù)對待縫合圖像進行調整，將一幅圖像的統(tǒng)計特征賦給待縫合的另外一幅，使 得待縫合的圖像亮度達到基本一致。接著通過引入最優(yōu)化融合因子。同步圖像識別算法是基 于特征的識別算法，利用基元提取、特征聚類和匹配來進行車道和運動車輛、行人的跟蹤，使用的特征是線段、角點的局部特征。算法運算速度快，實現(xiàn)了同步圖像識別。且適用于復 雜交通環(huán)境，尤其是當多個目標相連或相互遮擋時，能夠利用少數(shù)幾個特征點進行識別，充 分利用局部特征信噪比高的特點。
圖2中所示的四個攝像頭分別安裝于車前、車左側、車右側和車尾。采用COMS攝像頭， 具有較高圖像動態(tài)捕獲范圍、較高分辨率、有夜視功能且滿足行車環(huán)境的需要。圖2所示的 三只雷達是分別安裝于車身左側、車身右側及車身尾部的微米波雷達，其探測距離應覆蓋圖 3定義的范圍；數(shù)字信號處理器8是集成CAN總線接口和視頻接口等外圍接口的高性能數(shù)字 信號處理器，其處理能力要能滿足多任務的實時處理要求；存儲器9是SDRAM和FLASH RAM 共同組成的存儲部件，SDRAM采用雙向接口類型，且容量滿足視頻釆集量的需要，F(xiàn)LASH RAM 存儲軟件、系統(tǒng)參數(shù)和其它固件；LCD顯示器11采用彩色液晶顯示器，安裝于車內儀表盤 位置處，用于實現(xiàn)決策后的預警與顯示盲區(qū)視頻的功能。振動器12安裝于汽車方向盤內， 當駕駛者主動變換車道時且存在潛在引發(fā)事故的物體時，產(chǎn)生振動預警；車內電子設備10 包括車內方向盤轉動傳感器和指示燈控制器，用來接受駕駛者主動變換行車方向的信號。
參見圖3，采用微米波雷達，分別安裝于車身左側和車身右側的兩個側部雷達31和安 裝于車身尾部的一個尾部雷達32，提供了車身兩側至少分別為50米、車身尾部至少為IOO 米的探測距離，如圖3所示的區(qū)域A;根據(jù)雷達波發(fā)射與接受信號，精確測算該區(qū)域內一定 體積大小范圍的物體與車身的相對速度和距離，此相對速度與距離作為物體危險程度計算的 依據(jù)。
參見圖4，按已有技術，車輛左右兩側3米和后方3米的區(qū)域內為車外后視鏡上的視覺 盲點。圖中e為車后視鏡視角范圍。目前，奧迪、奔馳和TRW等，均采用中程雷達或短程雷 達作為探測盲區(qū)的傳感器，但只能給出探測區(qū)域是否存在行人或鄰近車輛這種"是與否"的 結果。
本實施例中，采用大視角視頻監(jiān)測盲區(qū)方式彌補雷達探測的不足。為了不僅為駕駛員提 供盲區(qū)是否存在危險的單一信息，而且讓駕駛員更直觀清楚地了解盲區(qū)中行人及鄰近車輛的 情況。采用視角a為105° 120 °、小型彩色紅外CMOS攝像頭，分別設置在車身左側、車 身右側和車身尾部，即兩個側部攝像頭41和一個尾部攝像頭42，根據(jù)車身大小，同步調整 三個CMOS攝像頭的角度，使得視頻畫面重疊區(qū)域大于單幅視頻的20%，且小于單幅視頻的 50%。三個CMOS攝像頭實時探測后視鏡遺留的全部盲區(qū)。
參見圖5， BSD與LCA由三個CMOS攝像頭、測距雷達、信號采集存儲模塊、信息擬合模 塊、圖像擬合模塊、警報器、視頻顯示器構成，其中CMOS攝像頭為小型彩色紅外攝像頭，攝像頭角度可以調整。
測距雷達，采用微米波雷達。為了減低成本，提高性價比，因此必須要提高雷達的性能， 降低雷達的成本，并減少系統(tǒng)中雷達的用量。
信號采集存儲模塊用于采集盲區(qū)信息及存儲各種驅動、應用軟件和采集到的視頻信息。 BSD和LCA共享信號采集模塊。
信息擬合模塊是基于圖像的測量。利用圖像處理和圖像擬合技術將三個CMOS攝像頭監(jiān) 測的盲區(qū)信息縫合成一幅更完整的圖像，真正實現(xiàn)無盲區(qū)駕駛。
圖像擬合模塊是基于圖像識別和與分割。應用圖像識別技術，更直觀地標識盲區(qū)中潛在 的事故物體所在位置。即對信息擬合模塊輸出的多傳感器"合成"影像，同步識別、估算臨 近(最短距離)事故物體，通過閃爍圈定被識別出的潛在事故物體來提醒駕駛員注意。
警報器在駕駛員主動變換車道，視頻圖像內存在潛在事故物體且雷達探測到該事故物 體時，振動警報器振動預警。該振動報警器安裝于汽車方向盤內的振動器。BSD和LCA共享 報警器。
視頻顯示器是用來顯示3個CMOS攝像頭獲取的探測區(qū)域的"合成"視頻。該視頻顯示 器是安裝于車內前部面板上的彩色LCD顯示器。
參見圖6，離開車道警告LDW，通過安裝在車前端保險杠的一個CM0S前端攝像頭61， 實施監(jiān)測車身相對車道標志線的位置，該前端攝像頭61的視角范圍Y為105° 120 °。當 駕駛員在注意力不集中的情況下發(fā)生非主動變道時，報警器將發(fā)出報警，提醒駕駛員注意。
參見圖7， LDW由一個攝像頭、信號采集模塊、存儲、車道標志線識別安全規(guī)則匹配模 塊和警報器構成，其中
信號采集模塊用于采集車身相對車道標志線的位置信息；
存儲模塊用于存儲各種驅動、應用軟件和采集到的視頻信息；
車道標志線識別安全規(guī)則匹配模塊包括并行開展車道標志線識別算法、圖像擬合算法、 臨近車輛/行人識別提取算法、基于圖像測量算法；
警報器，在駕駛員非主動變換行車方向而車身偏離車道時，系統(tǒng)以聲音警報器發(fā)聲預警， 以避免交通事故的發(fā)生。
權利要求1、一種嵌入式集成視覺輔助行車安全系統(tǒng)，其特征在于系統(tǒng)構成包括一個由視頻圖像采集器和測距雷達共同組成的采集模塊，實時采集車身四周的環(huán)境狀況；一個基于總線形式的傳輸模塊，在系統(tǒng)各模塊之間進行通信和在系統(tǒng)與車內其它車載電子設備之間進行通信；一個由信息處理模塊和存儲模塊共同組成的主控模塊，接受來自所述采集模塊的關于車身四周的環(huán)境狀況的采集信息，通過圖像縫合、信息融合和同步圖像識別實現(xiàn)行車車道的識別和跟蹤，以及捕獲和跟蹤行車過程中防范區(qū)域內潛在事故物體，配合檢測駕駛者是否有主動變換行車方向的動作，輸出執(zhí)行信號至人機接口模塊；一個由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成的人機接口模塊，接受所述主控模塊的輸出信號，執(zhí)行相應的顯示或預警。
2、 根據(jù)權利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述視頻圖像 采集器是可紅外夜視、視角為105° 120 °的CMOS攝像頭，至少為四只，分別安裝于車前、 車左側、車右側和車尾。
3、 根據(jù)權利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述測距雷達 采用微米波雷達，至少三只，分別安裝于車身左側、車身右側和車身尾部。
4、 根據(jù)權利要求3所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述安裝于車 身左側和車身右側的測距雷達的探測距離不少于50米，安裝在車身尾部的測距雷達的探測 距離不少于100米。
5、 根據(jù)權利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述人機接口 模塊中的視屏顯示器是安裝于車內前部面板上的彩色LCD顯示器。
6、 根據(jù)權利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述人機接口 模塊中的振動報警器是安裝于汽車方向盤內的振動器。
7、 根據(jù)權利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述基于總線 形式的數(shù)據(jù)傳輸模塊是采用汽車通用CAN總線協(xié)議接口 。
專利摘要一種嵌入式集成視覺輔助駕駛安全系統(tǒng)，其特征在于系統(tǒng)構成包括一個由視頻圖像采集器和測距雷達共同組成的采集模塊；一個基于總線形式的傳輸模塊；一個由信息處理模塊和存儲模塊共同組成的主控模塊和一個由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成的人機接口模塊。本實用新型利用計算機視覺和信息融合技術，一方面，當鄰近車道有從后部高速接近的車輛或其它可能引起事故的物體時，系統(tǒng)能夠提前告知駕駛員潛在的危險；一旦駕駛員變換車道，系統(tǒng)將觸發(fā)警告，使駕駛員能夠及時反應，避免碰撞；另一方面，若車輛沒有在受控的情況下偏離車道，系統(tǒng)能夠發(fā)出警告，以保證行駛安全。
文檔編號G01S13/93GK201240344SQ20082011173
公開日2009年5月20日 申請日期2008年5月14日 優(yōu)先權日2008年5月14日
發(fā)明者吳燎原, 張仁斌, 鋼 李, 艷 薛, 雋 高 申請人:合肥工業(yè)大學