本發(fā)明涉及自動駕駛車輛，尤其涉及一種自動駕駛車輛的多目標(biāo)識別與分割系統(tǒng)。

背景技術(shù)：

1、自動駕駛車輛技術(shù)主要涉及通過計算機(jī)視覺、傳感器技術(shù)、人工智能和機(jī)器學(xué)習(xí)方法，實現(xiàn)車輛的自主導(dǎo)航和駕駛決策，這項技術(shù)使車輛能夠在沒有人類司機(jī)操作的情況下自動行駛，通過集成的傳感器和攝像頭來監(jiān)測周圍環(huán)境，如其他車輛、行人、道路標(biāo)志和交通狀況，自動駕駛車輛還需通過算法來解析數(shù)據(jù)，確保行駛安全而有效，該技術(shù)也促進(jìn)了車聯(lián)網(wǎng)（v2x）的發(fā)展，使得車輛不僅能感知自身周圍的環(huán)境，還能與其他車輛和路邊基礎(chǔ)設(shè)施通信，進(jìn)一步提高安全性和行駛效率。

2、其中，自動駕駛車輛的多目標(biāo)識別與分割系統(tǒng)的主要用途是通過攝像頭和其他傳感器實時識別和分割車輛周圍的多個目標(biāo)，如其他車輛、行人和自行車等，其目的是精確地識別出各種對象的位置和輪廓，從而使自動駕駛系統(tǒng)可以更準(zhǔn)確地理解其周邊環(huán)境，并作出適當(dāng)?shù)鸟{駛決策，是實現(xiàn)高級自動駕駛功能（如l3級以上）的關(guān)鍵組成部分，對提高道路安全和行駛效率具有重要意義。

3、現(xiàn)有技術(shù)在高動態(tài)環(huán)境中，難以實現(xiàn)數(shù)據(jù)的實時同步和精確處理，導(dǎo)致環(huán)境感知的延遲或誤差，例如，傳感器在惡劣天氣或低光照條件下的性能不足，限制了車輛的操作安全，現(xiàn)有技術(shù)未能有效處理高密度交通場景中的多目標(biāo)跟蹤問題，識別和分割精度不足，使得車輛在復(fù)雜交通中的應(yīng)對措施不靈活或準(zhǔn)確，限制了在緊急避讓和快速響應(yīng)場景中導(dǎo)致不恰當(dāng)?shù)鸟{駛決策，增加交通事故的風(fēng)險。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點，而提出的一種自動駕駛車輛的多目標(biāo)識別與分割系統(tǒng)。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種自動駕駛車輛的多目標(biāo)識別與分割系統(tǒng)，所述系統(tǒng)包括：

3、數(shù)據(jù)對齊模塊基于攝像頭和lidar傳感器收集的數(shù)據(jù)，進(jìn)行時間戳對齊和空間校正，采用立體匹配算法合并點云和圖像數(shù)據(jù)，并對合并數(shù)據(jù)和時間再融合，得到立體融合數(shù)據(jù)集；

4、邊界優(yōu)化模塊基于所述立體融合數(shù)據(jù)集，利用圖卷積網(wǎng)絡(luò)執(zhí)行邊緣識別，識別圖像與點云的邊緣對應(yīng)關(guān)系，對多個目標(biāo)的邊界進(jìn)行細(xì)化，得到邊界細(xì)化數(shù)據(jù)集；

5、閾值調(diào)整模塊基于所述邊界細(xì)化數(shù)據(jù)集，分析目標(biāo)的光照和反射特性，調(diào)整圖像分析中的閾值參數(shù)，根據(jù)差異化光照和反射條件，優(yōu)化調(diào)整后的閾值參數(shù)和目標(biāo)檢測，獲取光照適應(yīng)性檢測信息；

6、傳感器融合模塊基于所述光照適應(yīng)性檢測信息，結(jié)合超聲波傳感器數(shù)據(jù)，進(jìn)行數(shù)據(jù)同步處理，將數(shù)據(jù)輸入至多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)，并進(jìn)行混合輸入處理，得到多傳感器協(xié)同輸出結(jié)果。

7、本發(fā)明改進(jìn)有，所述時間戳對齊和空間校正的步驟具體為：

8、基于攝像頭和lidar傳感器收集的數(shù)據(jù)，數(shù)據(jù)包括時間戳和空間坐標(biāo)，并進(jìn)行最小時間戳確定，獲得基準(zhǔn)時間戳；

9、基于所述基準(zhǔn)時間戳，對時間戳進(jìn)行校準(zhǔn)，采用公式：

10、

11、得到校準(zhǔn)后的時間戳集合，其中，是原始時間戳，是基準(zhǔn)時間戳；

12、對空間坐標(biāo)進(jìn)行校正，使用轉(zhuǎn)換矩陣和平移向量，采用公式：

13、轉(zhuǎn)換原始空間坐標(biāo)，獲取校準(zhǔn)后的空間坐標(biāo)集合?，其中，是原始空間坐標(biāo)，是旋轉(zhuǎn)和縮放的轉(zhuǎn)換矩陣，是空間坐標(biāo)的平移向量。

14、本發(fā)明改進(jìn)有，所述立體融合數(shù)據(jù)集的獲取步驟具體為：

15、利用所述立體匹配算法，計算點對點之間的空間差異和角度偏差，通過最小化偏差優(yōu)化數(shù)據(jù)集的空間準(zhǔn)確性，采用公式：

16、得到優(yōu)化后的點云數(shù)據(jù)，其中，是點?到點的歐式距離，是點到點之間的角度差，代表空間距離的標(biāo)準(zhǔn)差，代表角度差異的標(biāo)準(zhǔn)差，是點對總數(shù)；

17、基于所述優(yōu)化后的點云數(shù)據(jù)，進(jìn)行時間再融合，優(yōu)化傳感器間的時間偏差，采用公式：

18、得到時間調(diào)整后的數(shù)據(jù)集，其中，表示連續(xù)時間戳之間的差值，表示時間差的二階導(dǎo)數(shù)，和是調(diào)節(jié)系數(shù)，用于線性和加速度調(diào)整，是數(shù)據(jù)點的時間戳。

19、本發(fā)明改進(jìn)有，所述邊緣對應(yīng)關(guān)系的識別步驟具體為：

20、基于所述立體融合數(shù)據(jù)集，對圖像和點云進(jìn)行邊緣特征提取，計算圖像的梯度，采用公式：

21、得到圖像邊緣特征，其中，和是圖像?在和方向的偏導(dǎo)數(shù)；

22、對于點云，計算空間梯度，采用公式：

23、得到點云邊緣特征，其中，、和是點云在、和方向的偏導(dǎo)數(shù)；

24、基于所述圖像邊緣特征和點云邊緣特征，進(jìn)行邊緣匹配，確定特征間的匹配度，采用公式：

25、

26、得到邊緣對應(yīng)關(guān)系，其中，是圖像邊緣特征，是點云邊緣特征，是避免除零的小常數(shù)。

27、本發(fā)明改進(jìn)有，所述邊緣細(xì)化數(shù)據(jù)集的獲取步驟具體為：

28、篩選匹配度最優(yōu)的邊緣數(shù)據(jù)，對多目標(biāo)邊界進(jìn)行細(xì)化處理，采用公式：

29、得到細(xì)化后的邊界，其中，是最優(yōu)的邊緣數(shù)據(jù)，是權(quán)重系數(shù)，根據(jù)邊緣關(guān)鍵性分配，是單個邊緣的相似度得分；

30、將所述細(xì)化后的邊界合并至立體融合數(shù)據(jù)集中，獲取邊界細(xì)化數(shù)據(jù)集。

31、本發(fā)明改進(jìn)有，所述閾值參數(shù)的調(diào)整步驟具體為：

32、基于所述邊界細(xì)化數(shù)據(jù)集，提取目標(biāo)的圖像數(shù)據(jù)，計算每個目標(biāo)在差異光照和反射條件下的光照強(qiáng)度和反射率，采用公式：和

33、得到平均光照強(qiáng)度和平均反射率，其中，是數(shù)據(jù)點總數(shù)，是單個數(shù)據(jù)點的光照強(qiáng)度，是單個數(shù)據(jù)點的反射率；

34、基于所述平均光照強(qiáng)度和平均反射率，調(diào)整圖像分析的閾值參數(shù)，采用公式：

35、得到調(diào)整后的閾值，其中，是當(dāng)前閾值，是平均光照強(qiáng)度，是平均反射率，和是調(diào)整系數(shù)。

36、本發(fā)明改進(jìn)有，所述目標(biāo)檢測的優(yōu)化步驟具體為：

37、根據(jù)所述差異化光照和反射條件，評估光照和反射率的波動性，對調(diào)整后的閾值進(jìn)行優(yōu)化，采用公式：

38、得到優(yōu)化后的閾值，其中，是調(diào)整后的閾值，和是調(diào)節(jié)光照和反射率變異性影響的系數(shù)，和分別是光照和反射率的變異系數(shù)。

39、本發(fā)明改進(jìn)有，所述多傳感器協(xié)同輸出結(jié)果的獲取步驟具體為：

40、基于所述光照適應(yīng)性檢測信息，捕捉超聲波傳感器數(shù)據(jù)，確定最新時間戳，并進(jìn)行數(shù)據(jù)同步處理，得到同步后的數(shù)據(jù)；

41、基于所述同步后的數(shù)據(jù)，對原始數(shù)據(jù)進(jìn)行重采樣或插值處理，利用線性插值計算缺失的數(shù)據(jù)點，采用公式：

42、得到插值的數(shù)據(jù)值，其中，是時間戳同步之前的相鄰數(shù)據(jù)點中較早的數(shù)據(jù)值，是時間戳同步之前的相鄰數(shù)據(jù)點中較晚的數(shù)據(jù)值，是同步后的時間戳，是相鄰數(shù)據(jù)點中較晚的時間戳，是相鄰數(shù)據(jù)點中較早的時間戳；

43、對所述插值的數(shù)據(jù)值進(jìn)行分析，提取關(guān)鍵特征，并應(yīng)用多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行混合處理，采用公式：

44、得到多傳感器協(xié)同輸出結(jié)果，其中，是插值的數(shù)據(jù)值，和分別代表光照和超聲波傳感器的當(dāng)前數(shù)據(jù)值，、和是數(shù)據(jù)源權(quán)重，用于調(diào)整傳感器輸入的影響力。

45、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點和積極效果在于：

46、本發(fā)明中，通過立體匹配算法優(yōu)化了從攝像頭和?lidar收集的數(shù)據(jù)的深度融合，實現(xiàn)了高精度的空間和時間對齊，從而為后續(xù)處理提供了更為豐富和準(zhǔn)確的輸入數(shù)據(jù)，圖卷積網(wǎng)絡(luò)的應(yīng)用增強(qiáng)了系統(tǒng)對復(fù)雜環(huán)境中多個目標(biāo)的邊緣和細(xì)節(jié)的識別能力，尤其是在低光照和高反光條件下的性能表現(xiàn)，閾值的動態(tài)調(diào)整根據(jù)環(huán)境光照和反射變化自適應(yīng)優(yōu)化，提高了圖像分析的穩(wěn)定性，通過多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的數(shù)據(jù)融合處理，實現(xiàn)了多傳感器信息的高效整合，提升了自動駕駛車輛的環(huán)境感知和決策能力。