本發(fā)明涉及封閉場(chǎng)景中的無(wú)人駕駛輔助領(lǐng)域，尤其涉及一種面向不利天氣的自動(dòng)駕駛多傳感器融合方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的持續(xù)進(jìn)步和創(chuàng)新，無(wú)人駕駛領(lǐng)域也迎來(lái)了快速發(fā)展。人工智能的融入使得自動(dòng)駕駛技術(shù)更加智能化。在封閉環(huán)境中，由于交通參與者相對(duì)固定，自動(dòng)駕駛車(chē)輛的應(yīng)用變得更加實(shí)用。目前，越來(lái)越多的自動(dòng)駕駛車(chē)輛采用感知傳感器來(lái)輔助駕駛。

2、激光雷達(dá)作為自動(dòng)駕駛不可或缺的3d傳感器，其提供的點(diǎn)云數(shù)據(jù)在幾何、尺度信息、精確距離和精細(xì)語(yǔ)義描述方面具有顯著優(yōu)勢(shì)，對(duì)三維場(chǎng)景理解極為有益。然而，點(diǎn)云數(shù)據(jù)的稀疏性、無(wú)序性和不均勻分布限制了其應(yīng)用。與此同時(shí)，相機(jī)圖像雖然包含豐富的語(yǔ)義信息，如顏色，但缺少深度和尺度信息。毫米波雷達(dá)雖然能提供精確的位置信息，但在物體的幾何和尺度信息方面不如激光雷達(dá)。因此，激光雷達(dá)、相機(jī)和毫米波雷達(dá)的互補(bǔ)性信息為多傳感器融合提供了可能。然而，傳感器也容易受到天氣、光照等外部環(huán)境因素的影響，這可能會(huì)干擾自動(dòng)駕駛的判斷。傳統(tǒng)的融合算法，無(wú)論是結(jié)合相機(jī)和激光雷達(dá)數(shù)據(jù)，還是通過(guò)單目深度估計(jì)方法獲取障礙物位置，都存在一定的局限性。如果能在自動(dòng)駕駛車(chē)輛上實(shí)現(xiàn)多傳感器融合，不僅可以在不大幅增加成本的前提下提高車(chē)輛的運(yùn)行穩(wěn)定性，也對(duì)感知算法模型的更新迭代具有重要意義。

3、公開(kāi)于本申請(qǐng)背景技術(shù)部分的信息僅僅旨在加深對(duì)本申請(qǐng)的一般背景技術(shù)的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域技術(shù)人員所公知的現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種面向不利天氣的自動(dòng)駕駛多傳感器融合方法，能夠解決輔助自動(dòng)駕駛車(chē)輛的部署運(yùn)行成本較高的技術(shù)問(wèn)題。

2、根據(jù)本發(fā)明的第一方面，提供一種面向不利天氣的自動(dòng)駕駛多傳感器融合方法,包括：

3、在天氣狀況良好的條件下，自動(dòng)駕駛車(chē)輛a對(duì)相機(jī)傳感器、激光雷達(dá)傳感器和毫米波雷達(dá)傳感器進(jìn)行標(biāo)定和時(shí)間對(duì)齊；

4、在運(yùn)行過(guò)程中，自動(dòng)駕駛車(chē)輛a根據(jù)感知傳感器獲取的信息，判斷當(dāng)前場(chǎng)景天氣是否超過(guò)單傳感器感知計(jì)算閾值，如果超過(guò)所述單傳感器感知計(jì)算閾值，自動(dòng)駕駛車(chē)輛a將發(fā)出多傳感器融合信號(hào)；

5、車(chē)載系統(tǒng)b在收到自動(dòng)駕駛車(chē)輛a傳輸?shù)乃龆鄠鞲衅魅诤闲盘?hào)后，對(duì)自動(dòng)駕駛車(chē)輛a開(kāi)啟多傳感器融合指令；

6、自動(dòng)駕駛車(chē)輛a開(kāi)啟同步采集傳感器感知數(shù)據(jù)，其中，所述傳感器感知數(shù)據(jù)包括：相機(jī)傳感器信息、激光雷達(dá)傳感器信息和毫米波雷達(dá)傳感器信息；

7、車(chē)載控制程序在收到自動(dòng)駕駛車(chē)輛a發(fā)出的所述傳感器感知數(shù)據(jù)后，開(kāi)啟分段多次傳感器融合，融合過(guò)程包括：通過(guò)2d和3d特征提取融合獲取到障礙物精準(zhǔn)物體信息、點(diǎn)云深度特征和通過(guò)毫米波雷達(dá)距離融合獲取到障礙物精準(zhǔn)位置信息，并通過(guò)can通信模塊向自動(dòng)駕駛車(chē)輛a發(fā)出融合后的高清傳感器感知數(shù)據(jù)；

8、自動(dòng)駕駛車(chē)輛a在收到車(chē)載控制系統(tǒng)發(fā)出的所述融合后的高清傳感器感知數(shù)據(jù)，繼續(xù)提升至正常運(yùn)行模式；

9、車(chē)載系統(tǒng)的控制程序模塊判斷所述融合后的高清傳感器感知數(shù)據(jù)是否符合無(wú)人駕駛車(chē)輛以正常模式運(yùn)行，如果超出閾值，即向自動(dòng)駕駛車(chē)輛a發(fā)出停止運(yùn)行指令，指導(dǎo)自動(dòng)駕駛車(chē)輛a靠邊停車(chē)；

10、自動(dòng)駕駛車(chē)輛a收到控制程序發(fā)出的所述停止指令進(jìn)入維護(hù)模式，過(guò)程結(jié)束。

11、根據(jù)本發(fā)明的第二方面，提供一種面向不利天氣的自動(dòng)駕駛多傳感器融合系統(tǒng)，包括：

12、安裝在無(wú)人駕駛車(chē)輛上軟硬件模塊，包括：高精距離設(shè)備毫米波模塊；攝像頭，用于采集無(wú)人駕駛車(chē)輛運(yùn)行中的2d圖像信息，感知的信息包括車(chē)道線、周?chē)h(huán)境圖像、信號(hào)燈；激光雷達(dá)，通過(guò)3d點(diǎn)云數(shù)據(jù)獲取無(wú)人駕駛環(huán)境中物體的3d語(yǔ)義信息；總線控制模塊，包括can通信模塊，用于和車(chē)輛的通信，控制處理程序用于處理傳感器發(fā)送的傳感器信息，與后續(xù)傳感器融合。

13、根據(jù)本發(fā)明的第三方面，提供一種面向不利天氣的自動(dòng)駕駛多傳感器融合設(shè)備，包括：處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行所述面向不利天氣的自動(dòng)駕駛多傳感器融合方法。

14、根據(jù)本發(fā)明的第四方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述面向不利天氣的自動(dòng)駕駛多傳感器融合方法。

15、技術(shù)效果：根據(jù)本發(fā)明，可以作為無(wú)人駕駛系統(tǒng)在封閉場(chǎng)景下輔助感知的一種有效補(bǔ)充，在車(chē)輛運(yùn)行天氣變得惡劣時(shí)，通過(guò)多傳感器信息進(jìn)行融合可以準(zhǔn)確的感知到車(chē)輛前方的障礙物信息，可以提高無(wú)人駕駛車(chē)輛的環(huán)境感知能力，并且大量的無(wú)人駕駛車(chē)輛不斷地?cái)?shù)據(jù)融合，也有助于提升感知算法的性能，為計(jì)算平臺(tái)處理多樣的環(huán)境感知提升助力，星形拓?fù)浣Y(jié)構(gòu)也大大降低了部署運(yùn)行的成本。在確定全局大氣光、傳輸圖、干凈圖像和霧天圖像之間的圖像關(guān)系函數(shù)時(shí)，可準(zhǔn)確分析全局大氣光、傳輸圖、干凈圖像和霧天圖像之間的關(guān)系，提高了圖像關(guān)系函數(shù)的準(zhǔn)確性、科學(xué)性和客觀性。在確定傳輸圖的近似解時(shí)，可為后續(xù)恢復(fù)干凈圖像提供數(shù)據(jù)基礎(chǔ)。在確定具體的空間濾波處理步驟時(shí)，可增強(qiáng)圖像的高頻成分，可以使圖像中的物體輪廓和細(xì)節(jié)更清晰。在確定點(diǎn)云深度特征時(shí)，可通過(guò)多頭注意力機(jī)制，確定點(diǎn)云深度特征，可捕捉到物體的細(xì)節(jié)信息，從而提高目標(biāo)障礙物檢測(cè)和識(shí)別的精度。在確定增強(qiáng)點(diǎn)云深度特征的具體實(shí)施時(shí)，可分別通過(guò)增強(qiáng)的多頭注意力模塊、多頭自注意模塊、逐點(diǎn)卷積層、多層感知器和連接函數(shù)，對(duì)點(diǎn)云深度特征實(shí)施增強(qiáng)，提高了點(diǎn)云深度特征的準(zhǔn)確性。在確定融合后的障礙物特征時(shí)，可通過(guò)融合函數(shù)對(duì)霧天圖像特征圖和點(diǎn)云深度特征圖進(jìn)行融合，確定融合后的障礙物特征，提高了障礙物特征的全面性。

16、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，而非限制本發(fā)明。根據(jù)下面參考附圖對(duì)示例性實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的其它特征及方面將更清楚。

技術(shù)特征：

1.一種面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，車(chē)載控制程序在收到自動(dòng)駕駛車(chē)輛a發(fā)出的所述傳感器感知數(shù)據(jù)后，開(kāi)啟分段多次傳感器融合，包括：

3.根據(jù)權(quán)利要求2所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，確定全局大氣光、傳輸圖、干凈圖像和所述霧天圖像之間的圖像關(guān)系函數(shù)，包括：

4.根據(jù)權(quán)利要求3所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，獲取傳輸圖的近似解值，包括：

5.根據(jù)權(quán)利要求2所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，通過(guò)設(shè)計(jì)的圖像濾波器模塊，對(duì)所述霧天圖像進(jìn)行除霧、白平衡、對(duì)比度增強(qiáng)和空間濾波，包括：

6.根據(jù)權(quán)利要求2所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，通過(guò)多頭注意力機(jī)制，確定點(diǎn)云深度特征，包括：

7.根據(jù)權(quán)利要求6所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，對(duì)所述點(diǎn)云深度特征進(jìn)行增強(qiáng)，包括：

8.根據(jù)權(quán)利要求7所述的面向不利天氣的自動(dòng)駕駛多傳感器融合方法，其特征在于，根據(jù)所述霧天圖像特征和所述點(diǎn)云深度特征，獲得融合后的障礙物特征，包括：

9.一種用于執(zhí)行權(quán)利要求1-8中任一項(xiàng)所述的方法的面向不利天氣的自動(dòng)駕駛多傳感器融合系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供一種面向不利天氣的自動(dòng)駕駛多傳感器融合方法,涉及封閉場(chǎng)景中的無(wú)人駕駛輔助領(lǐng)域，依靠于5G通信的無(wú)人駕駛車(chē)輛輔助感知系統(tǒng)，輔助感知系統(tǒng)包括無(wú)人駕駛車(chē)輛、毫米波雷達(dá)、相機(jī)感知傳感器、激光雷達(dá)傳感器和CAN通信系統(tǒng)。本發(fā)明的方法通信傳輸速度快、計(jì)算量精準(zhǔn)、可以精準(zhǔn)預(yù)測(cè)出不利天氣下自動(dòng)駕駛車(chē)輛前方的障礙物信息及距離，實(shí)現(xiàn)了無(wú)人駕駛車(chē)輛、傳感器設(shè)備之間高效、準(zhǔn)確的數(shù)據(jù)融合。根據(jù)本發(fā)明，可有效地保障了無(wú)人駕駛車(chē)輛的穩(wěn)定、高效運(yùn)行。

技術(shù)研發(fā)人員：朱鳳華,鄭奎,鄧昱,沙堯堯
受保護(hù)的技術(shù)使用者：中科領(lǐng)航智能科技（蘇州）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19