1.一種基于跨空間學(xué)習(xí)的多尺度自動駕駛目標(biāo)檢測方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于跨空間學(xué)習(xí)的多尺度自動駕駛目標(biāo)檢測方法,其特征在于,所述步驟1中kitti數(shù)據(jù)集和bdd100k是用于自動駕駛和車輛行人檢測性能評估的一個(gè)非常重要的數(shù)據(jù)集。對kitti數(shù)據(jù)集進(jìn)行處理后,類別主要分為八類:car,truck,person,van,cyclis,misc,tram,person_sitting。對bdd100k數(shù)據(jù)集進(jìn)行處理后,類別主要分為七類:car,truck,bicycle,pedestrian,bus,rider,motorcycle。其中kitti數(shù)據(jù)集7481張,bdd100k數(shù)據(jù)集15800張。將兩個(gè)數(shù)據(jù)集按訓(xùn)練集、驗(yàn)證集、測試集隨機(jī)分為8:1:1的比例。
3.根據(jù)權(quán)利要求1所述的一種基于跨空間學(xué)習(xí)的多尺度自動駕駛目標(biāo)檢測方法,其特征在于,所述步驟2中采用了計(jì)算量和內(nèi)存訪問更小的網(wǎng)絡(luò)efficientvit_m0替換原本的主干網(wǎng)絡(luò)。efficientvit-b0是一種基于cnn(convolutional?neural?network)和transformer的輕量型混合架構(gòu),同時(shí)具有cnn結(jié)構(gòu)和transformer結(jié)構(gòu)的優(yōu)點(diǎn)。efficientvit-b0保留了卷積神經(jīng)網(wǎng)絡(luò)的歸納偏置能力,加速網(wǎng)絡(luò)收斂,使模型更加穩(wěn)定。efficientvit-b0的transformer結(jié)構(gòu)使模型建立全局圖像的長距離連接,具有更強(qiáng)的全局感受野與魯棒性,提高了模型的泛化能力。
4.根據(jù)權(quán)利要求1所述的一種基于跨空間學(xué)習(xí)的多尺度自動駕駛目標(biāo)檢測方法,其特征在于,所述步驟3中為了改善輕量化骨干帶來的精度損失,增強(qiáng)骨干網(wǎng)絡(luò)的特征表示和注意力分配能力,在骨干網(wǎng)絡(luò)中添加ema(efficient?multi-scale?attention?module?withcross-spatial?learning)跨空間學(xué)習(xí)高效多尺度注意力機(jī)制,該模塊對部分通道進(jìn)行重組,將通道維度劃分為多個(gè)子特征組,實(shí)現(xiàn)空間語義特征的均勻分布。同時(shí),在前端使用兩個(gè)并行分支來提取特征圖的注意力權(quán)重,具有更好地捕捉跨通道之間關(guān)系的優(yōu)點(diǎn)。在模塊后端,采用跨維度交互方式對兩個(gè)分支輸出的特征進(jìn)行處理。這樣,網(wǎng)絡(luò)可以更好地利用不同分支的信息,從而提高模型的性能和泛化能力。
5.根據(jù)權(quán)利要求1所述的一種基于跨空間學(xué)習(xí)的多尺度自動駕駛目標(biāo)檢測方法,其特征在于,所述步驟4中為了進(jìn)一步提高模型檢測小目標(biāo)的性能,本文將ciou損失替換為siou損失函數(shù)結(jié)合nwd損失形成新的損失函數(shù)siou-nwd。siou損失通過添加角度懲罰項(xiàng)來提升定位精度和收斂速度,優(yōu)化了模型的訓(xùn)練和推理過程,提高了車輛檢測網(wǎng)絡(luò)的檢測速度和精度。而nwd損失通過wasserstein距離的框相似度度量方法來提高小目標(biāo)的檢測能力。計(jì)算公式如下:
6.根據(jù)權(quán)利要求1所述的一種基于跨空間學(xué)習(xí)的多尺度自動駕駛目標(biāo)檢測方法,其特征在于,所述步驟5中將原始的yolov8網(wǎng)絡(luò)模型和改進(jìn)后的網(wǎng)絡(luò)模型在處理后的數(shù)據(jù)集上進(jìn)行訓(xùn)練。為了證明改進(jìn)模型的有效性,設(shè)置多組模塊對比實(shí)驗(yàn)。其中,深度學(xué)習(xí)的框架為torch-1.13.1+cu117,每次實(shí)驗(yàn)迭代次數(shù)150次,批量大小batchsize為16,初始學(xué)習(xí)率為0.01,權(quán)重衰減系數(shù)為0.0005。