本發(fā)明涉及于車載視覺感知技術(shù)領(lǐng)域，特別涉及一種多攝像頭適配的車載視覺感知系統(tǒng)。

背景技術(shù)：

近年來，隨著汽車駕駛輔助技術(shù)的日益成熟，各種汽車輔助功能被越來越多地應(yīng)用在量產(chǎn)汽車上。汽車駕駛輔助技術(shù)是汽車由“機械化”向“智能化”發(fā)展的一個必經(jīng)的技術(shù)階段；其可以為駕駛員駕駛行為提供安全保障，同時提高車輛行駛的舒適性、安全性、燃油經(jīng)濟性。在駕駛輔助技術(shù)和無人駕駛技術(shù)中，環(huán)境感知是其重要的核心組成部分。環(huán)境感知技術(shù)指車輛通過包括攝像頭、超聲波雷達、毫米波雷達、激光雷達等傳感器的相關(guān)信號對周圍環(huán)境進行感知，為車輛的控制決策提供重要依據(jù)。其中，相較于其他環(huán)境傳感器，攝像頭可以提供更加豐富的環(huán)境信息，并且價格低廉、性能可靠，常被認為是無人駕駛環(huán)境感知技術(shù)的一個不可替代的方向。

由攝像頭一種傳感器組成的環(huán)境感知系統(tǒng)被統(tǒng)稱為車載視覺系統(tǒng)。車載視覺系統(tǒng)的功用有很多，包括行車記錄、防撞預(yù)警、acc、車道檢測等?，F(xiàn)有的車載視覺系統(tǒng)只提供單一功能。如果駕駛員期望實現(xiàn)多種駕駛輔助功能，則往往需要在車輛上安裝多套不同功能種類的車載視覺系統(tǒng)，不可避免的造成了硬軟件經(jīng)濟成本的大量浪費。同時多種類車載視覺系統(tǒng)的兼容問題和數(shù)據(jù)冗余問題，也極大的影響了車載視覺系統(tǒng)的穩(wěn)定性、安全性以及經(jīng)濟性。

現(xiàn)有車載視覺感知系統(tǒng)中，攝像頭種類繁雜，包括紅外/純可見光攝像頭、定焦/變焦攝像頭、普通/廣角攝像頭、單目/雙目攝像頭、平面/立體攝像頭等等。這些攝像頭各有各的強調(diào)優(yōu)勢，但在功能處理方面又有一定相似之處?，F(xiàn)有車載視覺系統(tǒng)并未對多個種類的攝像頭進行適配，以適用于多種不同種類的攝像頭。

綜上所述，現(xiàn)有車載視覺感知系統(tǒng)在多類別攝像頭適配和多模塊功能集成化處理方面具有缺陷，需要改進。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種多攝像頭適配的車載視覺感知系統(tǒng)，為駕駛輔助技術(shù)以及無人駕駛技術(shù)提供更加穩(wěn)定、更加安全、更加功能集成化的車載視覺技術(shù)。

本發(fā)明的多攝像頭適配的車載視覺感知系統(tǒng)，包括：

車載攝像頭信號傳輸單元，用于車載硬件感光元器件的信號轉(zhuǎn)換及信號傳輸；

dsp處理單元，與車載攝像頭信號傳輸單元相連，用于車載攝像頭數(shù)字信號的信號濾波及a/d轉(zhuǎn)換；

攝像頭類型判斷單元，與攝像頭類型判斷單元相連，用于識別車載攝像頭的硬件類型并為系統(tǒng)功能提供攝像頭類型信息；

視覺數(shù)據(jù)存儲單元，與dsp處理單元相連，用于儲存車載攝像頭數(shù)據(jù)作為行車記錄，儲存圖像預(yù)處理結(jié)果數(shù)據(jù)作為傳感器融合的數(shù)據(jù)接口；

圖像信息預(yù)處理單元，與攝像頭類型判斷單元及視覺數(shù)據(jù)存儲單元相連，用于將攝像頭數(shù)據(jù)根據(jù)攝像頭類型進行預(yù)處理，對圖像進行去霧-優(yōu)化處理、香農(nóng)熵檢測、灰度化、二值化及基于邊緣檢測的圖像分割。

進一步，該系統(tǒng)還包括圖像處理單元，所述圖像處理單元與圖像信息預(yù)處理單元相連；所述圖像處理單元包括：

路面估計單元，用于根據(jù)去霧優(yōu)化后的圖像數(shù)據(jù)對車輛行駛路面進行估計、分類；

視覺里程計單元，用于根據(jù)去霧優(yōu)化處理數(shù)據(jù)/灰度圖像數(shù)據(jù)，對車輛行駛進行相對位姿解算；

圖像特征計算單元，用于對去霧優(yōu)化處理數(shù)據(jù)、灰度圖像數(shù)據(jù)進行視覺特征解算，包括特征檢測、特征描述，計算特征分別為haar、hog、fast、orb、brief或者lbp，特征實際解算種類由攝像頭處理需求指定；

視覺地圖構(gòu)建單元，用于針對brief特征建立視覺特征地圖庫，與視覺里程計融合為視覺環(huán)境slam，對視覺地圖進行優(yōu)化處理，進行實時回環(huán)檢測；

圖像識別單元，用于根據(jù)已知圖像特征對車輛、行人、交通標識、車道線進行視覺識別；

圖像追蹤單元，用于對車輛、行人、交通標識、車道線在不同幀畫面中位置進行特征匹配，計算、估計車輛、行人、交通標識、車道線在世界坐標系下的時刻狀態(tài)、位置；以及

視覺特征庫儲存單元，用于儲存圖像特征計算單元解算出的視覺特征數(shù)據(jù)，存儲方式為依時序下3d結(jié)構(gòu)重建的特征庫儲存方式，為視覺地圖構(gòu)建單元提供計算數(shù)據(jù)接口。

進一步，該系統(tǒng)還包括系統(tǒng)后端，所述系統(tǒng)后端與圖像處理單元相連；所述系統(tǒng)后端包括：

結(jié)構(gòu)化道路構(gòu)建單元，用于利用路面估計單元、視覺地圖構(gòu)建單元、圖像識別單元解算結(jié)果搭建結(jié)構(gòu)化道路模型，優(yōu)化模型結(jié)果；

行駛環(huán)境檢測單元，用于根據(jù)路面估計單元、視覺地圖構(gòu)建單元、圖像識別單元、圖像追蹤單元數(shù)據(jù)解算結(jié)果，檢測自車輻射范圍l米內(nèi)行駛環(huán)境變化；以及

系統(tǒng)數(shù)據(jù)交互接口單元用于為人機共駕、人機交互、車輛控制決策定位數(shù)據(jù)提取、車輛控制決策環(huán)境數(shù)據(jù)提取及傳感器數(shù)據(jù)融合決策級數(shù)據(jù)提取提供數(shù)據(jù)接口。

進一步，所述l為100-200。

進一步，所述攝像頭類型判斷單元包括：

車載視覺信號輸入模塊，用于提供攝像頭類型判斷數(shù)據(jù)接口，將dsp處理單元處理結(jié)果信號、紅外線發(fā)生器信號輸入車載攝像頭類型判斷單元；

攝像頭類型判斷模塊，用于判斷攝像頭類型，其包括紅外/純可見光攝像頭判斷模塊、攝像頭數(shù)量檢測模塊、攝像頭廣角檢測模塊及攝像頭視野檢測模塊；以及

攝像頭類型信息輸出模塊，用于輸出攝像頭判斷結(jié)果。

進一步，該系統(tǒng)還包括：

車載視覺信息輸入單元，設(shè)在攝像頭類型判斷單元與圖像信息預(yù)處理單元之間，用于傳輸攝像頭類型信息及攝像頭安裝位置信息數(shù)據(jù)；以及

車載視覺信號輸入單元，設(shè)在攝像頭類型判斷單元與圖像信息預(yù)處理單元之間，用于傳輸原有攝像頭數(shù)據(jù)。

本發(fā)明的有益效果：本發(fā)明的多攝像頭適配的車載視覺感知系統(tǒng)，可以適配多種攝像頭類型，完成車載視覺的多種模塊化功能；在這個過程中，工程人員只需極少的人工作業(yè)以及人工干預(yù)，節(jié)省了大量的人力、時間成本；本發(fā)明可以實現(xiàn)包括紅外攝像頭、單目攝像頭、單目廣角攝像頭、雙目立體攝像頭、雙目圖像拼接攝像頭、多鏡頭圖像拼接全景攝像頭在內(nèi)的多種攝像頭類型的適配，并且建立一種通用型的車載視覺處理方案，為汽車駕駛輔助系統(tǒng)提供多樣兼容性視覺方案，同樣可以減少多種車載視覺搭載的時間成本以及經(jīng)濟成本。

附圖說明

下面結(jié)合附圖和實施例對本發(fā)明作進一步描述：

圖1為本發(fā)明的結(jié)構(gòu)框圖；

圖2為發(fā)明的攝像頭類型判斷單元的結(jié)構(gòu)框圖；

圖3為本發(fā)明的圖像信息預(yù)處理單元及圖像信息預(yù)處理單元的結(jié)構(gòu)框圖；

圖4為單個車載紅外攝像頭圖像處理線程流程圖；

圖5為單個車載純可見光攝像頭圖像處理線程流程圖；

圖6為多攝像頭全景圖像差異化處理流程圖；

圖7為雙目立體視覺圖像差異化處理流程圖；

圖8為單目廣角攝像頭圖像差異化處理流程圖。

具體實施方式

本車載視覺感知系統(tǒng)包括：車載視覺硬件/軟件系統(tǒng)前端、車載視覺攝像頭類型判斷單元、圖像預(yù)處理單元、圖像處理單元、車載視覺系統(tǒng)后端。

其中，車載視覺硬件/軟件系統(tǒng)前端包括車載攝像頭硬件安裝布置、更換，車載攝像頭感光元器件信號轉(zhuǎn)換、a/d轉(zhuǎn)換、數(shù)字信號處理dsp，攝像頭紅外發(fā)生器工作狀態(tài)；車載視覺攝像頭類型判斷單元包括攝像頭紅外檢測、攝像頭數(shù)目判斷、攝像頭廣角檢測、攝像頭視野檢測；圖像預(yù)處理單元包括攝像頭內(nèi)參數(shù)標定、圖像去霧、圖像香農(nóng)熵檢測、圖像分割、圖像信號灰度化、圖像二值化；圖像處理單元包括路面估計、特征檢測、視覺里程計、視覺地圖、行人識別、行人追蹤、車輛識別、車輛追蹤、車道線識別、交通標識識別；車載視覺系統(tǒng)后端包括車輛定位、結(jié)構(gòu)化道路構(gòu)建、駕駛環(huán)境狀態(tài)檢測，車載視覺系統(tǒng)后端最終為駕駛員/無人駕駛汽車提供駕駛行為安全警示、控制決策依據(jù)、數(shù)據(jù)融合視覺特征、數(shù)據(jù)、決策接口。

該車載視覺系統(tǒng)的實際功能是判斷攝像頭類型；根據(jù)攝像頭類型，對攝像頭的相關(guān)信號進行處理；并最終輸出可以被車載控制決策單元直接使用的數(shù)據(jù)，或者對駕駛員行駛行為進行安全警示；為信息融合提供數(shù)據(jù)、特征、決策接口；于此同時，對攝像頭處理過程中產(chǎn)生的相關(guān)重要結(jié)果和攝像頭原始數(shù)據(jù)進行儲存。

通過車載視覺感知系統(tǒng)：

第一、判斷車載視覺攝像頭種類，涵蓋攝像頭類型有：1)紅外攝像頭-純可見光攝像頭；2)單目視覺攝像頭-多目視覺攝像頭；3)單目廣角攝像頭-單目普通攝像頭；4)雙目立體攝像頭-雙目圖像拼接攝像頭-兩個單目普通攝像頭；5)多目全景攝像頭-多個單目普通攝像頭。

第二、根據(jù)車載視覺攝像頭類型以及圖像數(shù)據(jù)，完成圖像預(yù)處理。包括圖像進行去霧-優(yōu)化處理、香農(nóng)熵檢測、灰度化、二值化、基于邊緣檢測的圖像分割。

第三、根據(jù)車載視覺攝像頭類型、圖像數(shù)據(jù)以及圖像預(yù)處理解算結(jié)果，完成圖像處理。包括路面估計、特征檢測、視覺里程計、視覺地圖、行人識別、行人追蹤、車輛識別、車輛追蹤、車道線識別、交通標識識別。

第四、根據(jù)車載視覺攝像頭類型、圖像數(shù)據(jù)以及圖像處理解算結(jié)果，完成車載視覺系統(tǒng)后端功能實現(xiàn)，包括車輛定位、結(jié)構(gòu)化道路構(gòu)建、駕駛環(huán)境狀態(tài)檢測。

第五、本車載視覺系統(tǒng)最終為駕駛員/無人駕駛汽車提供駕駛行為安全警示、控制決策依據(jù)、數(shù)據(jù)融合視覺特征、數(shù)據(jù)、決策接口。

下面參照說明附圖以及實施例對本發(fā)明進行詳盡地說明：

圖1為本發(fā)明的結(jié)構(gòu)框圖，詳細列出系統(tǒng)相關(guān)組成單元，包括：車載攝像頭信號傳輸單元111、dsp處理單元112、攝像頭類型判斷單元113、視覺數(shù)據(jù)存儲單元114、圖像信息預(yù)處理單元115、路面估計單元116、視覺里程計單元120、圖像特征計算單元121、視覺地圖構(gòu)建單元122、圖像識別單元123、圖像追蹤單元124、視覺特征庫儲存單元125、結(jié)構(gòu)化道路構(gòu)建單元130、行駛環(huán)境檢測單元131、系統(tǒng)數(shù)據(jù)交互接口單元132。

其中，車載攝像頭信號傳輸單元111用于車載硬件感光元器件信號轉(zhuǎn)換、信號傳輸。dsp處理單元112用于完成車載攝像頭數(shù)字信號處理包括信號濾波、a/d轉(zhuǎn)換。攝像頭類型判斷單元113負責識別車載視覺多種攝像頭適配模塊化系統(tǒng)的硬件類型，為車載模塊化系統(tǒng)功能提供攝像頭類型信息。視覺數(shù)據(jù)存儲單元114用于儲存車載攝像頭數(shù)據(jù)作為行車記錄，儲存圖像預(yù)處理結(jié)果數(shù)據(jù)作為傳感器融合的數(shù)據(jù)接口，存儲數(shù)據(jù)包括：原有攝像頭數(shù)據(jù)、攝像頭去霧-優(yōu)化數(shù)據(jù)、攝像頭灰度數(shù)據(jù)、攝像頭二值化數(shù)據(jù)、攝像頭香農(nóng)熵監(jiān)測數(shù)據(jù)。圖像信息預(yù)處理單元115用于將攝像頭數(shù)據(jù)根據(jù)攝像頭類型進行預(yù)處理，對圖像進行去霧-優(yōu)化處理、香農(nóng)熵檢測、灰度化、二值化、基于邊緣檢測的圖像分割。路面估計單元116用于根據(jù)去霧優(yōu)化后的圖像數(shù)據(jù)對車輛行駛路面進行估計、分類，主要功能包括；路面附著系數(shù)估計，路面變化估計、結(jié)構(gòu)化/非結(jié)構(gòu)化道路分類、道路材質(zhì)大類分類。視覺里程計單元120用于根據(jù)去霧優(yōu)化處理數(shù)據(jù)/灰度圖像數(shù)據(jù)，對車輛行駛進行相對位姿解算。圖像特征計算單元121用于對去霧優(yōu)化處理數(shù)據(jù)、灰度圖像數(shù)據(jù)進行視覺特征解算，主要功能包括特征檢測、特征描述，計算特征分別為haar、hog、fast、orb、brief、lbp，特征實際解算種類由攝像頭處理需求指定。視覺地圖構(gòu)建單元122用于針對brief特征建立視覺特征地圖庫，與視覺里程計融合為視覺環(huán)境slam，對視覺地圖進行優(yōu)化處理，進行實時回環(huán)檢測。圖像識別單元123用于根據(jù)已知圖像特征對車輛、行人、交通標識、車道線進行視覺識別。圖像追蹤單元124用于對車輛、行人、交通標識、車道線在不同幀畫面中位置進行特征匹配，計算、估計車輛、行人、交通標識、車道線在世界坐標系下的時刻狀態(tài)、位置。視覺特征庫儲存單元125用于儲存圖像特征計算單元121解算出的視覺特征數(shù)據(jù)，存儲方式為依時序下3d結(jié)構(gòu)重建的特征庫儲存方式，為視覺地圖構(gòu)建單元122的計算前端，為其提供計算數(shù)據(jù)接口。結(jié)構(gòu)化道路構(gòu)建單元130用于利用路面估計單元116、視覺地圖構(gòu)建單元122、圖像識別單元123解算結(jié)果搭建結(jié)構(gòu)化道路模型，優(yōu)化模型結(jié)果。行駛環(huán)境檢測單元131用于根據(jù)路面估計單元116、視覺地圖構(gòu)建單元122、圖像識別單元123、圖像追蹤單元124數(shù)據(jù)解算結(jié)果，檢測自車輻射范圍l米(l可為100-200，優(yōu)選為150)內(nèi)行駛環(huán)境變化，包括路面、車輛、行人、交通標識、車道線、障礙物狀態(tài)變化信息；其中，自車輻射范圍兩米內(nèi)攝像頭視野遮擋范圍內(nèi)行駛環(huán)境變化，根據(jù)優(yōu)化估計理論ekf方法進行估計。系統(tǒng)數(shù)據(jù)交互接口單元132用于為人機共駕、人機交互、車輛控制決策定位數(shù)據(jù)提取、車輛控制決策環(huán)境數(shù)據(jù)提取、傳感器數(shù)據(jù)融合決策級數(shù)據(jù)提取等，提供數(shù)據(jù)接口。

圖2為發(fā)明的攝像頭類型判斷單元的結(jié)構(gòu)框圖，包括：車載視覺信號輸入模塊21、攝像頭類型判斷模塊22及攝像頭類型信息輸出模塊23。

其中，車載視覺信號輸入模塊21指將dsp處理單元112處理結(jié)果信號、紅外線發(fā)生器信號輸入車載攝像頭類型判斷單元113，提供攝像頭類型判斷數(shù)據(jù)接口。

攝像頭類型判斷模塊22，包括：紅外/純可見光攝像頭判斷模塊221、攝像頭數(shù)量檢測模塊、攝像頭廣角檢測模塊223、攝像頭視野檢測模塊。其中紅外/純可見光攝像頭判斷模塊221中判斷方案為：a)檢測紅外線發(fā)生器信號，b)檢測夜視/無可見光環(huán)境視覺圖像數(shù)據(jù)信號。攝像頭數(shù)量檢測模塊，根據(jù)攝像頭圖像數(shù)據(jù)，檢測攝像頭個數(shù)。攝像頭個數(shù)包括：單攝像頭222、雙攝像頭224、多攝像頭226。檢測為雙攝像頭224和多攝像頭226情況后，對攝像頭進行雙攝像頭視野檢測模塊225、多攝像頭視野檢測模塊227，檢測方式為圖像局部特征匹配、局部圖像香農(nóng)熵比較、局部圖像像素匹配。多攝像頭視野檢測模塊227檢測結(jié)果判斷是否為全景拼接攝像頭、雙攝像頭視野檢測模塊225檢測是否為雙目立體攝像頭。單攝像頭222繼續(xù)進行攝像頭廣角檢測模塊223輸出結(jié)果為：1)是否為廣角攝像頭、2)攝像頭廣角數(shù)值。

攝像頭類型信息輸出模塊23，對本系統(tǒng)輸出攝像頭判斷結(jié)果：1)是否為紅外攝像頭、2)攝像頭個數(shù)、3)是否為全景攝像頭、4)全景攝像頭圖像拼接圖像輸出、5)是否為雙目立體攝像頭、6)是否為單目攝像頭、7)攝像頭廣角數(shù)值輸出。

圖3為本發(fā)明的圖像信息預(yù)處理單元及圖像信息預(yù)處理單元的結(jié)構(gòu)框圖，如圖所示，車載視覺信息輸入單元311包括攝像頭類型信息311a、攝像頭安裝位置信息311b。攝像頭類型信息311a輸出攝像頭類型信息輸出模塊23步驟結(jié)果。攝像頭安裝位置信息311b包括：車載攝像頭安裝高度、單攝像頭車載安裝方向設(shè)定、多攝像頭系統(tǒng)車載安裝方向設(shè)定，車載視覺信息輸入311綜合攝像頭類型信息311a、攝像頭安裝位置信息311b，判斷攝像頭車載位置。

車載視覺信號輸入單元312傳輸原有攝像頭數(shù)據(jù)。

圖像預(yù)處理32為圖像信息預(yù)處理單元115的實際功能模塊，包括：攝像頭內(nèi)參數(shù)標定321、圖像預(yù)處理功能模塊322。攝像頭內(nèi)參數(shù)標定312方案有兩種：1)人工輸入攝像頭內(nèi)參數(shù)值；2)根據(jù)車載視覺信息輸入311、車載視覺信號輸入312，對攝像頭進行自標定。圖像預(yù)處理功能模塊322包括：圖像去霧-優(yōu)化322e、圖像灰度化322a、圖像二值化322b、圖像香農(nóng)熵檢測322c、圖像分割322d。圖像預(yù)處理功能模塊322數(shù)據(jù)儲存，并為圖像處理模塊提供數(shù)據(jù)接口。

車載視覺圖像處理功能模塊33包括：路面估計331、特征處理332、視覺識別333、視覺里程計334、視覺地圖構(gòu)建335、視覺追蹤336。特征處理332包括：圖像檢測332a、特征描述332b，計算特征分別為haar、hog、fast、orb、brief、lbp，解算結(jié)果為視覺識別333、視覺里程計334、視覺地圖構(gòu)建335、視覺追蹤336提供解算數(shù)據(jù)以及解算特征。視覺識別333包括：車輛識別333a、行人識別333b、車道線識別333c、交通標識識別333d。視覺追蹤336包括車輛追蹤336a、行人追蹤336b、車道線追蹤336c。其中，路面估計331、特征處理332、視覺識別333、視覺里程計334、視覺追蹤336圖像數(shù)據(jù)為圖像去霧-優(yōu)化322e數(shù)據(jù)、圖像灰度化322a數(shù)據(jù)以及圖像二值化322b數(shù)據(jù)，根據(jù)攝像頭內(nèi)參數(shù)標定312、車載視覺信息輸入311所提供的相關(guān)數(shù)據(jù)進行處理，具體處理流程如圖4、5、6、7、8所示。

車載視覺功能模塊34包括：結(jié)構(gòu)化道路構(gòu)建341、行駛環(huán)境狀態(tài)檢測342、車輛定位343。車載視覺圖像處理功能模塊34解算數(shù)據(jù)為：自車輻射范圍三維環(huán)境坐標系、路面估計331數(shù)據(jù)結(jié)果、視覺識別333數(shù)據(jù)結(jié)果、視覺地圖構(gòu)建335數(shù)據(jù)結(jié)果、視覺里程計334數(shù)據(jù)結(jié)果、視覺追蹤336數(shù)據(jù)結(jié)果。

車載視覺模塊系統(tǒng)與外部接口模塊35包括信息融合351、行駛安全警示352、控制決策353。信息融合351為外部數(shù)據(jù)融合提供融合數(shù)據(jù)(視覺數(shù)據(jù)存儲單元114提供)、融合特征(特征處理332提供)、融合決策(車載視覺功能模塊34)。行駛安全警示352、控制決策353根據(jù)車載視覺功能模塊34解算結(jié)果對駕駛員行駛安全進行警示或針對無人駕駛智能車輛進行控制。

圖4所示為單個車載紅外攝像頭圖像處理線程流程圖，圖中工作流程起始觸發(fā)條件為車載視覺信息輸入311判斷車載視覺系統(tǒng)為紅外攝像頭。單個紅外攝像頭數(shù)據(jù)41為車載視覺信號輸入312數(shù)據(jù)。

本系統(tǒng)對紅外圖像數(shù)據(jù)進行圖像儲存421a、攝像頭內(nèi)參數(shù)標定422b。圖像儲存421a儲存紅外攝像頭原始數(shù)據(jù)以及二值化數(shù)據(jù)。本系統(tǒng)同時多線程進行：圖像數(shù)據(jù)二值化431b、特征計算441、香農(nóng)熵檢測432c、圖像分割433d、路面估計442e。圖像數(shù)據(jù)二值化431b二值化數(shù)據(jù)用于圖像儲存421a以及特征計算441中orb特征描述部分、brief特征計算部分。香農(nóng)熵檢測432c、圖像分割433d為圖像預(yù)處理功能模塊322，可作用于全景圖像檢測、主動視覺功能拓展接口。路面估計442e直接用于結(jié)構(gòu)化道路構(gòu)建472q。特征計算441解算結(jié)果用于車輛識別451f、行人識別452g、車道線識別453h、交通標識識別454i、視覺里程計455g、視覺地圖構(gòu)建456k。車輛識別451f、特征計算441解算數(shù)據(jù)以及單個紅外攝像頭數(shù)據(jù)41用于車輛追蹤461m。行人識別452g、特征計算441解算數(shù)據(jù)以及單個紅外攝像頭數(shù)據(jù)41用于行人追蹤462n。特征計算441解算數(shù)據(jù)以及單個紅外攝像頭數(shù)據(jù)41用于車道線追蹤463p。視覺里程計455g、視覺地圖構(gòu)建456k解算數(shù)據(jù)用于車輛定位464。車道線識別453h、交通標識識別454i、車道線追蹤463p、視覺地圖構(gòu)建456k、路面估計442e解算結(jié)果用于結(jié)構(gòu)化道路構(gòu)建472q。車輛識別451f、行人識別452g、車輛追蹤461m、行人追蹤462n解算結(jié)果用于行駛環(huán)境狀態(tài)檢測471。

圖5所示為單個車載純可見光攝像頭圖像處理線程流程圖，圖中工作流程起始觸發(fā)條件為車載視覺信息輸入311判斷車載視覺系統(tǒng)為純可見光攝像頭。單個純可見光攝像頭數(shù)據(jù)51為車載視覺信號輸入312數(shù)據(jù)。

本系統(tǒng)對紅外圖像數(shù)據(jù)進行圖像儲存521a、攝像頭內(nèi)參數(shù)標定522。圖像儲存521a儲存純可見光攝像頭原始數(shù)據(jù)、灰度化數(shù)據(jù)以及二值化數(shù)據(jù)。視覺圖像灰度化531b后，將灰度圖像數(shù)據(jù)進行圖像儲存521a，并進行下一步驟。

本系統(tǒng)同時多線程進行：圖像數(shù)據(jù)二值化541c、特征計算551、香農(nóng)熵檢測542d、圖像分割543e、路面估計552f。圖像數(shù)據(jù)二值化541c二值化數(shù)據(jù)用于圖像儲存521a以及特征計算551中orb特征描述部分、brief特征計算部分。香農(nóng)熵檢測542d、圖像分割543e為圖像預(yù)處理功能模塊322，可作用于全景圖像檢測、主動視覺功能拓展接口。路面估計552f直接用于結(jié)構(gòu)化道路構(gòu)建582r。特征計算551解算結(jié)果用于車輛識別561g、行人識別562h、車道線識別563i、交通標識識別564j、視覺里程計565k、視覺地圖構(gòu)建566m。車輛識別561g、特征計算551解算數(shù)據(jù)以及單個純可見光攝像頭數(shù)據(jù)51用于車輛追蹤571n。行人識別562h、特征計算551解算數(shù)據(jù)以及單個純可見光攝像頭數(shù)據(jù)51用于行人追蹤572p。特征計算551解算數(shù)據(jù)以及單個純可見光攝像頭數(shù)據(jù)51用于車道線追蹤573q。視覺里程計565k、視覺地圖構(gòu)建566m解算數(shù)據(jù)用于車輛定位574。車道線識別563i、交通標識識別564j、車道線追蹤573q、視覺地圖構(gòu)建566m、路面估計552f解算結(jié)果用于結(jié)構(gòu)化道路構(gòu)建582r。車輛識別561g、行人識別562h、車輛追蹤571n、行人追蹤572p解算結(jié)果用于行駛環(huán)境狀態(tài)檢測581。

圖6是多攝像頭全景圖像差異化處理流程圖。攝像頭判別為多攝像頭全景61，車載視覺信息輸入311判斷車載視覺系統(tǒng)為全景圖像。對于純可見光攝像頭則將攝像頭1至攝像頭n原始數(shù)據(jù)圖像、二值化圖像、灰度圖像、全景特征以及結(jié)構(gòu)化道路解算結(jié)果進行拼接，完成圖像拼621以及結(jié)構(gòu)化道路構(gòu)建結(jié)果拼接622。對于紅外攝像頭則將攝像頭1至攝像頭n原始數(shù)據(jù)圖像、二值化圖像、全景特征以及結(jié)構(gòu)化道路解算結(jié)果進行拼接，完成圖像拼621以及結(jié)構(gòu)化道路構(gòu)建結(jié)果拼接622。

圖7是雙目立體視覺圖像差異化處理流程圖。攝像頭判別為雙目立體視覺71，車載視覺信息輸入311判斷車載視覺系統(tǒng)為雙目立體視覺。則，根據(jù)左右攝像頭數(shù)據(jù)計算視覺特征空間三維坐標72，同時根據(jù)雙目立體視覺算法完成視覺里程計731、視覺地圖構(gòu)建732、結(jié)構(gòu)化道路構(gòu)建733。

圖8是單目廣角攝像頭圖像差異化處理流程圖。攝像頭判別為單目廣角攝像頭81，車載視覺信息輸入311判斷車載視覺系統(tǒng)為單目廣角攝像頭。對單目廣角攝像頭進行廣角攝像頭畸變矯正82，并輸出矯正攝像頭信號數(shù)據(jù)83。

最后說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解，可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當中。