本發(fā)明涉及先進(jìn)駕駛輔助技術(shù)領(lǐng)域，尤其是涉及一種基于多傳感器的目標(biāo)物探測融合裝置及方法，特別適用于車載雷達(dá)與車載機(jī)器視覺所識別的目標(biāo)物、目標(biāo)物屬性之間的融合與區(qū)分。

背景技術(shù)：

先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistant System，以下簡稱ADAS)，是利用安裝于車上的各式各樣的傳感器，在第一時(shí)間收集車內(nèi)外的環(huán)境數(shù)據(jù)，進(jìn)行靜態(tài)、動態(tài)物體的辨識、偵測與追蹤等技術(shù)上的處理，從而能夠讓駕駛者在最快的時(shí)間察覺可能發(fā)生的危險(xiǎn)，以引起注意和提高安全性的主動安全技術(shù)。駕駛輔助系統(tǒng)采用的傳感器主要有攝像頭、毫米波雷達(dá)、激光雷達(dá)和超聲波雷達(dá)等。

每種傳感器都有其自身的適用范圍和局限條件，例如：

1)微波雷達(dá)無法感知行人或目標(biāo)物的體狀特征，對塑料、低密度目標(biāo)位的探測性能較差；但是在雨、雪、黑夜等復(fù)雜天氣環(huán)境下，識別效果衰減較小，受光線條件影響極小。

2)攝像頭受限于環(huán)境、光照、天氣的影響較大，尤其是黑夜、全逆光、大霧、雨雪天氣環(huán)境下，攝像頭的功能發(fā)揮都會受到限制；但是，攝像頭能夠識別，長寬高，顏色等物體的基本狀態(tài)屬性。

因此，單獨(dú)的傳感器無法完成在復(fù)雜環(huán)境、復(fù)雜工況下對車輛周邊環(huán)境的精準(zhǔn)認(rèn)知，從而影響駕駛輔助系統(tǒng)的正常使用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為了克服現(xiàn)有技術(shù)中僅僅依靠單獨(dú)類型的傳感器受限自身性能的不足而無法精準(zhǔn)識別車輛周邊環(huán)境的問題而提供一種基于多傳感器的目標(biāo)物探測融合裝置及方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于多傳感器的目標(biāo)物探測融合裝置，包括至少兩個(gè)傳感器單元、車載駕駛輔助域控制器、顯示屏和電源，各所述傳感器單元均包括傳感器和與該傳感器連接的電子控制器，所述電子控制器與車載駕駛輔助域控制器連接，形成分布式結(jié)構(gòu)，所述車載駕駛輔助域控制器與顯示屏連接，所述電源分別連接傳感器單元、車載駕駛輔助域控制器和顯示屏。

所述傳感器單元包括雷達(dá)單元、機(jī)器視覺單元和超聲傳感器單元。

所述車載駕駛輔助域控制器包括MCU內(nèi)核、存儲模塊和CAN收發(fā)器，所述MCU內(nèi)核分別連接存儲模塊和CAN收發(fā)器，所述CAN收發(fā)器與電子控制器連接。

所述存儲模塊包括存儲器芯片和Flash芯片。

所述CAN收發(fā)器為可擴(kuò)展式多路收發(fā)器。

所述機(jī)器視覺單元包括攝像頭，所述攝像頭采用LED攝像頭、微光攝像頭、紅外夜視攝像頭及激光紅外攝像頭中的一個(gè)或多個(gè)。

一種利用上述基于多傳感器的目標(biāo)物探測融合裝置實(shí)現(xiàn)目標(biāo)物探測的方法，包括以下步驟：

1)各傳感器單元的傳感器進(jìn)行傳感信息采集；

2)各傳感器單元的電子控制器分別根據(jù)對應(yīng)的傳感信息獲取該傳感器單元的目標(biāo)物列表，發(fā)送給車載駕駛輔助域控制器；

3)車載駕駛輔助域控制器根據(jù)接收到的目標(biāo)物列表對目標(biāo)物進(jìn)行識別，在顯示屏中顯示各目標(biāo)物的傳感信息，在所述顯示屏中，將識別為由不同傳感器單元采集的同一目標(biāo)物的傳感信息進(jìn)行融合顯示。

所述車載駕駛輔助域控制器根據(jù)接收到的目標(biāo)物列表對目標(biāo)物進(jìn)行識別具體為：

301)從所有目標(biāo)物列表中獲取目標(biāo)對，所述目標(biāo)對由分別來自不同傳感器單元輸出的目標(biāo)物列表的多個(gè)目標(biāo)物組成，且各目標(biāo)物間兩兩互為距離最近；

302)對步驟301)中獲取的所有目標(biāo)對，根據(jù)所述目標(biāo)對中各目標(biāo)物的運(yùn)動參數(shù)判斷目標(biāo)對中各目標(biāo)物是否為同一目標(biāo)，若是，則將各目標(biāo)物列表中該目標(biāo)的傳感信息進(jìn)行融合，若否，則不動作。

所述目標(biāo)對通過以下步驟獲取：

1a)將含有目標(biāo)物最多一張目標(biāo)物列表定義為列表A，從所述列表A中選取一個(gè)目標(biāo)物

1b)將其余目標(biāo)物列表中的一張定義為列表B，計(jì)算列表B中與距離最近的目標(biāo)物

其中，分別為目標(biāo)物和目標(biāo)物的目標(biāo)坐標(biāo)，

1c)計(jì)算列表A中與所述步驟1b)中獲得的目標(biāo)物距離最近的另一目標(biāo)物

1d)若k＝n，則和加入同一目標(biāo)對；

若k≠n，則在列表B中不存在與相對應(yīng)的目標(biāo)物；

1e)重復(fù)步驟1b)～1d)，遍歷所有目標(biāo)物列表，獲得與相應(yīng)的目標(biāo)對或無法構(gòu)成目標(biāo)對；

1f)重復(fù)步驟1b)～1e)，遍歷列表A中的所有目標(biāo)物，獲得p對目標(biāo)對。

所述判斷目標(biāo)對中各目標(biāo)物是否為同一目標(biāo)時(shí)，依次對目標(biāo)對中的兩兩目標(biāo)物進(jìn)行判斷，若兩兩目標(biāo)物均為同一目標(biāo)，則該目標(biāo)對中各目標(biāo)物為同一目標(biāo)，判斷兩個(gè)目標(biāo)物是否為同一目標(biāo)具體為：

2a)判斷兩個(gè)目標(biāo)物是否滿足若是，則執(zhí)行步驟2b)，若否，則執(zhí)行步驟2c)，其中，ΔE_s是速度誤差可接受最大值，分別為兩個(gè)目標(biāo)物的速度；

2b)判斷兩個(gè)目標(biāo)物是否滿足若是，則判定為是同一目標(biāo)物，若否，則執(zhí)行步驟2c)，其中，ΔE為設(shè)定誤差范圍，分別為兩個(gè)目標(biāo)物的目標(biāo)坐標(biāo)，為車速，Δt為兩張目標(biāo)物列表的最接近輸出時(shí)間戳，分別為兩張目標(biāo)物列表的目標(biāo)物識別時(shí)間戳；

2c)判定為不是同一目標(biāo)物。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

(1)本發(fā)明實(shí)現(xiàn)了多傳感器來源的多目標(biāo)歸并與區(qū)分，從而獲取了多傳感器的不同優(yōu)勢的并集，能夠獲取目標(biāo)物更多的屬性，特別適用于車載雷達(dá)所識別的目標(biāo)物與車載機(jī)器視覺所識別的目標(biāo)物、目標(biāo)物屬性之間的融合與區(qū)分。

(2)本發(fā)明使得駕駛輔助系統(tǒng)能夠在更加復(fù)雜的環(huán)境(天氣、光線等)，更多行駛工況下，更加精準(zhǔn)的識別目標(biāo)，獲取更多的目標(biāo)物屬性，提高了駕駛輔助系統(tǒng)的適應(yīng)性、可靠性、魯棒性和穩(wěn)定性。

(3)本發(fā)明車載駕駛輔助域控制器通過multi-can收發(fā)器連接傳感器，支持多路不同傳感器，并具有可擴(kuò)展性。

(4)本發(fā)明采用分布式架構(gòu)，架構(gòu)簡潔便于實(shí)現(xiàn)，成本可接受。

附圖說明

圖1為本發(fā)明裝置的結(jié)構(gòu)示意圖；

圖2為本發(fā)明方法的流程示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。本實(shí)施例以本發(fā)明技術(shù)方案為前提進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。

如圖1所示，本實(shí)施例提供一種基于多傳感器的目標(biāo)物探測融合裝置，包括至少兩個(gè)傳感器單元1、車載駕駛輔助域控制器2、顯示屏3和電源4，各傳感器單元1均包括傳感器11和與該傳感器11連接的電子控制器12，電子控制器12與車載駕駛輔助域控制器2連接，形成分布式結(jié)構(gòu)，車載駕駛輔助域控制器2與顯示屏3連接，電源4分別連接傳感器單元1、車載駕駛輔助域控制器2和顯示屏3。上述融合裝置中，各傳感器單元1負(fù)責(zé)處理外部信號，生成外部目標(biāo)物列表，并向車載駕駛輔助域控制器2傳送已經(jīng)被單個(gè)傳感器識別的目標(biāo)物列表，車載駕駛輔助域控制器2負(fù)責(zé)實(shí)現(xiàn)目標(biāo)物的融合與歸并。

傳感器單元1可以包括雷達(dá)單元、機(jī)器視覺單元和超聲傳感器單元等。其中，機(jī)器視覺單元包括攝像頭，攝像頭采用LED攝像頭、微光攝像頭、紅外夜視攝像頭及激光紅外攝像頭中的一個(gè)或多個(gè)。

車載駕駛輔助域控制器2包括MCU內(nèi)核21、存儲模塊和CAN收發(fā)器22，MCU內(nèi)核21分別連接存儲模塊和CAN收發(fā)器22，CAN收發(fā)器22與電子控制器連接12。存儲模塊包括存儲器芯片23和Flash芯片24。CAN收發(fā)器22為可擴(kuò)展式多路收發(fā)器，支持多路不同傳感器，并具有可擴(kuò)展性。

為了能夠?qū)⒍鄠鞲衅鞑东@的目標(biāo)物融合在一起，使得輔助駕駛能夠在更為復(fù)雜的天氣、光線、工況下更加穩(wěn)定、可靠的運(yùn)行。本發(fā)明從硬件拓?fù)浞绞健⒛繕?biāo)物融合歸并方法兩個(gè)方面實(shí)現(xiàn)了車載多傳感器的數(shù)據(jù)融合。

如圖2所示，利用上述基于多傳感器的目標(biāo)物探測融合裝置實(shí)現(xiàn)目標(biāo)物探測的方法，包括以下步驟：

1)各傳感器單元的傳感器進(jìn)行傳感信息采集；

2)各傳感器單元的電子控制器分別根據(jù)對應(yīng)的傳感信息獲取該傳感器單元的目標(biāo)物列表，發(fā)送給車載駕駛輔助域控制器；

3)車載駕駛輔助域控制器根據(jù)接收到的目標(biāo)物列表對目標(biāo)物進(jìn)行識別，在顯示屏中顯示各目標(biāo)物的傳感信息，在所述顯示屏中，將識別為由不同傳感器單元采集的同一目標(biāo)物的傳感信息進(jìn)行融合顯示。所述車載駕駛輔助域控制器根據(jù)接收到的目標(biāo)物列表對目標(biāo)物進(jìn)行識別具體為：

301)從所有目標(biāo)物列表中獲取目標(biāo)對，所述目標(biāo)對由分別來自不同傳感器單元輸出的目標(biāo)物列表的多個(gè)目標(biāo)物組成，且各目標(biāo)物間兩兩互為距離最近；

302)對步驟301)中獲取的所有目標(biāo)對，根據(jù)所述目標(biāo)對中各目標(biāo)物的運(yùn)動參數(shù)判斷目標(biāo)對中各目標(biāo)物是否為同一目標(biāo)，若是，則將各目標(biāo)物列表中該目標(biāo)的傳感信息進(jìn)行融合，若否，則不動作。

以車載微波雷達(dá)與機(jī)器視覺的融合來舉例說明上述步驟。

一、傳感器輸出內(nèi)容

(一)本車屬性：

●本車坐標(biāo)：(long^l,lat^l,alt^l)

●本車車速：S^l

●本車行進(jìn)方向：H^l

(二)微波雷達(dá)

微波雷達(dá)可以同時(shí)識別N個(gè)目標(biāo)物，并獲得這些目標(biāo)物的部分屬性。

●目標(biāo)：

●目標(biāo)物長度：

●目標(biāo)坐標(biāo)：

●速度值：

●加速度值：

●速度方向：

●加速度方向：

●目標(biāo)物識別時(shí)間戳：

其中：

R代表雷達(dá)；

n代表時(shí)刻雷達(dá)識別到的第n個(gè)目標(biāo)物；

目標(biāo)坐標(biāo)，為目標(biāo)物到本車距離，為目標(biāo)物與本車行進(jìn)方向夾角；坐標(biāo)i代表雷達(dá)第i次目標(biāo)物輸出。

時(shí)刻雷達(dá)目標(biāo)物輸出如下表：

(三)機(jī)器視覺

機(jī)器視覺可以同時(shí)識別M個(gè)目標(biāo)物，并獲得這些目標(biāo)的部分屬性。

●目標(biāo)：

●目標(biāo)物長度：

●目標(biāo)物高度：

●目標(biāo)物類型：

●目標(biāo)坐標(biāo)：

●速度值：

●加速度值：

●速度方向：

●加速度方向：

●目標(biāo)物識別時(shí)間戳：

其中：

v代表機(jī)器視覺；

m代表時(shí)刻機(jī)器視覺識別到的第m個(gè)目標(biāo)物；

目標(biāo)坐標(biāo)，為目標(biāo)物到本車距離，為目標(biāo)物與本車行進(jìn)方向夾角；

目標(biāo)物類型可以取值：客車、卡車、騎行車、行人、其他等；

j代表雷達(dá)第j次目標(biāo)物輸出。

時(shí)刻雷達(dá)目標(biāo)物輸出如下表：

二、判別是否為同一目標(biāo)物的方法

(一)基本原理

確定雷達(dá)目標(biāo)物與機(jī)器視覺識別的目標(biāo)為同一目標(biāo)物的方法原理是：

A、確定目標(biāo)對：雷達(dá)目標(biāo)物與機(jī)器視覺識別的目標(biāo)物，互為距離最近的目標(biāo)對，該目標(biāo)對則可能是不同傳感器發(fā)現(xiàn)的同一目標(biāo)。

B、確定是否為同一目標(biāo)物：步驟A中獲得的目標(biāo)對的速度、距離和方向差可以用物理運(yùn)動解釋，即該目標(biāo)對的坐標(biāo)差距可以用目標(biāo)物與車輛之間的相對運(yùn)動解釋。

(二)具體算法：

A、確定目標(biāo)對：

1.令雷達(dá)目標(biāo)物輸出時(shí)間戳與機(jī)器視覺目標(biāo)物輸出時(shí)間戳最為接近，即：

2.如果N≤M，則從雷達(dá)輸出作為計(jì)算起始，如果N≥M，則從機(jī)器視覺輸出目標(biāo)物作為運(yùn)算起始。主要不目的是優(yōu)化計(jì)算時(shí)間。本列以雷達(dá)輸出作為計(jì)算起始。

3.順序取第n個(gè)雷達(dá)輸出目標(biāo)物計(jì)算與其距離最近的機(jī)器視覺輸出目標(biāo)物

4.取步驟2中第m個(gè)機(jī)器視覺輸出目標(biāo)物計(jì)算與其距離最近的雷達(dá)輸出目標(biāo)物

5.

A)如果：k＝n,則(m,n)分別是機(jī)器視覺與微波雷達(dá)捕捉到/識別的同一目標(biāo)物。

B)如果：k≠n，則雷達(dá)輸出目標(biāo)物沒有對應(yīng)的機(jī)器視覺識別的同一目標(biāo)物；

同時(shí)再取第k個(gè)雷達(dá)輸出目標(biāo)物計(jì)算與其距離最近的機(jī)器視覺輸出目標(biāo)物

C)如果：f＝k,則(k,f)分別是機(jī)器視覺與微波雷達(dá)捕捉到/識別的同一目標(biāo)物。

D)如果：f≠k，則雷達(dá)輸出目標(biāo)物沒有對應(yīng)的機(jī)器視覺識別的同一目標(biāo)物；

重復(fù)第5步，直到尋找到目標(biāo)對，或者遍歷各傳感器輸出的所有尚未配對的目標(biāo)物。

6.重復(fù)步驟2-5，遍歷所有n，獲得所有目標(biāo)對，記為p對，且有(p≤n)&&(p≤m)。

B、確定是否為同一目標(biāo)

通過方法一獲取的目標(biāo)對，得到的是兩個(gè)(多個(gè))傳感器輸出的目標(biāo)之間相互最接近的一組，并不能保證目標(biāo)對表述的是同一個(gè)目標(biāo)物。因此，本步驟將會利用物理上的可能性確定這兩個(gè)物體是否是不同傳感器發(fā)現(xiàn)的同一目標(biāo)。

其原理可以解釋為：同一目標(biāo)對里的兩個(gè)目標(biāo)之間的距離，應(yīng)當(dāng)小于該物體在時(shí)間差中可能運(yùn)動過的距離加上可以承受的誤差范圍。

1.基本假設(shè)：

假設(shè)：極短時(shí)間內(nèi)物體是勻速直線運(yùn)動的。

雷達(dá)每批次目標(biāo)物輸出時(shí)間間隔：現(xiàn)有市面產(chǎn)品Δt^R≈50ms。

機(jī)器視覺目標(biāo)物在每幀視頻的時(shí)間間隔中傳出，市場主流刷新頻率為50-60hz，約合20ms，即：Δt^v≈20ms。

因此，兩個(gè)傳感器最相鄰的目標(biāo)物輸出時(shí)間差：不會大于50ms。

所以，在50ms內(nèi)，我們假設(shè)物體是勻速直線運(yùn)動的。

2.判斷方法：

步驟一：

對于目標(biāo)對(n,m)如果滿足：

則：(n，m)需要進(jìn)入下一步驟，以進(jìn)一步判斷目標(biāo)對(n，m)是否為不同傳感器發(fā)現(xiàn)的同一目標(biāo)物。

否則，目標(biāo)對(n，m)不是同一目標(biāo)物。

其中：ΔE_s是速度誤差可接受最大值。

解釋：目標(biāo)對(n，m)如果是不同傳感器發(fā)現(xiàn)的同一目標(biāo)，則：分別獲得的目標(biāo)物的速度應(yīng)當(dāng)足夠的接近。

步驟二：

當(dāng)：

滿足：

則：目標(biāo)對(n，m)是不同傳感器發(fā)現(xiàn)的同一目標(biāo)物。

否則，目標(biāo)對(n，m)是不同傳感器發(fā)現(xiàn)的不同目標(biāo)物。

其中：ΔE為誤差范圍。

解釋：目標(biāo)對(n，m)如果是不同傳感器發(fā)現(xiàn)的同一目標(biāo)，則：((本車速度矢量)加上(目標(biāo)物速度矢量))乘以(時(shí)間差)應(yīng)當(dāng)?shù)扔?該目標(biāo)物被不同傳感器識別后分別獲得的坐標(biāo)差)?？紤]到傳感器誤差等因素，加入系統(tǒng)誤差ΔE。該式中目標(biāo)物的速度總以雷達(dá)獲取的速度為準(zhǔn)。

在判定為同一目標(biāo)物后，可以把該目標(biāo)物分別從雷達(dá)和機(jī)器視覺獲取的屬性歸并到一起，獲得更多屬性，從而使得輔助駕駛系統(tǒng)獲得更加豐富全面地目標(biāo)物信息，使得輔助駕駛能夠在更為復(fù)雜的天氣、光線、工況下更加穩(wěn)定、可靠的運(yùn)行。