本發(fā)明涉及基于視覺傳感器的自動(dòng)駕駛車輛的環(huán)境感知，尤其涉及自動(dòng)駕駛車輛的小目標(biāo)視覺感知算法。

背景技術(shù)：

1、三維空間感知在自動(dòng)駕駛技術(shù)的發(fā)展中起著關(guān)鍵作用。雖然基于激光雷達(dá)的方法已取得顯著進(jìn)展，但基于視覺傳感器的方法受到了更多關(guān)注。與激光雷達(dá)方法相比，基于視覺傳感器的方法不僅成本更低，而且在識(shí)別道路元素和其他方面展現(xiàn)出令人鼓舞的優(yōu)勢(shì)。鳥瞰圖(bird's?eye?view,bev)作為周圍環(huán)境的一種統(tǒng)一表示，清晰地展現(xiàn)了物體的位置和大小。它在自動(dòng)駕駛的各種任務(wù)中有所應(yīng)用，如感知和規(guī)劃。bev的核心概念涉及將車輛周圍三維環(huán)境數(shù)據(jù)投射到頂部視圖平面上，生成二維的鳥瞰圖?；谏疃刃畔⒌娜S物體檢測(cè)算法需要精確的bev特征來支持三維邊界框的預(yù)測(cè)。

2、由于自動(dòng)駕駛場(chǎng)景的快速變化，三維檢測(cè)任務(wù)中的小物體可能由于特征稀疏或遮擋而無法生成相應(yīng)的深度分布。不準(zhǔn)確的深度分布會(huì)導(dǎo)致小物體在bev(鳥瞰圖)特征上的丟失，嚴(yán)重影響整體檢測(cè)性能，并增加自動(dòng)駕駛中的潛在安全風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于克服現(xiàn)有技術(shù)的缺陷，提出一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，本發(fā)明設(shè)計(jì)了一種基于視覺傳感器的強(qiáng)化小目標(biāo)檢測(cè)網(wǎng)絡(luò)，并開發(fā)了一種基于全局特征和局部特征融合的投影網(wǎng)絡(luò)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：包含以下步驟：

4、s1：通過多角度視覺傳感器獲得車輛周圍全方位圖像；

5、s2：對(duì)不同角度圖像進(jìn)行多尺度特征提??；

6、s3：將多尺度特征投影到bev(bird’s?eye?view，鳥瞰圖)空間；

7、s4：設(shè)計(jì)檢測(cè)頭，解耦出輸入特征圖中物體的類別和位置信息；

8、s5：對(duì)模型進(jìn)行評(píng)估與優(yōu)化。

9、優(yōu)選的，所述s1中通過六個(gè)攝像頭獲取以自動(dòng)駕駛車輛為中心的不同角度圖像，采用png作為數(shù)據(jù)格式。

10、優(yōu)選的，所述s2包括獲取多尺度特征以及時(shí)空特征融合過程。

11、優(yōu)選的，所述s2中具體步驟如下：

12、首先，建立多尺度特征獲取模型，由用于基本特征提取的二維骨干網(wǎng)絡(luò)resnet和用于多尺度變量對(duì)象的頸部fpn組成；

13、模型中，對(duì)于每一個(gè)形狀為h×w×3的輸入圖像，在經(jīng)過多尺度特征獲取模型后，生成的多尺度特征p2，p3，p4，p5。

14、上述公式中，h表示圖像的高度，w表示圖像的寬度，c表示圖像的通道數(shù)；

15、然后進(jìn)行時(shí)空特征融合過程：所述時(shí)空特征融合過程使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行；

16、時(shí)空融合過程表示如下：

17、f＝(p2，p3，p4，p5)

18、wt＝sigmoid(conv(f))

19、w′t＝αwt+βw′t-1

20、fweighted＝f⊙w′t

21、fi＝conv(concat(fweighted))

22、其中conv(·)表示卷積操作，sigmoid(·)表示sigmoid激活函數(shù)，α、β為權(quán)重因子，⊙表示逐元素相乘，concat(·)表示特征圖級(jí)聯(lián)操作。

23、優(yōu)選的，所述s3包括圖像特征點(diǎn)云生成以及bev特征生成。

24、優(yōu)選的，所述s3中具體步驟如下：

25、首先，建立圖像特征點(diǎn)云生成模型，生成的視錐點(diǎn)云對(duì)應(yīng)圖像坐標(biāo)系下的坐標(biāo)和對(duì)應(yīng)的深度值用(u,v,d)進(jìn)行描述，利用efficientnet-b0主干網(wǎng)絡(luò)對(duì)環(huán)視圖像進(jìn)行特征提??；

26、模型中，

27、

28、其中,k表示攝像機(jī)內(nèi)參，xcam、ycam、zcam為相機(jī)坐標(biāo)系下的3d坐標(biāo)，xego、yego、zego為自車坐標(biāo)系下的3d坐標(biāo)，(r,t)是攝像機(jī)外參；

29、然后進(jìn)行bev特征生成：所述特征生成過程使用全局池化與局部池化，表示如下：

30、

31、floacl(c)＝conv{concat[flocal(i,j,c)]}

32、

33、式中f(i,j,c)是efficientnet-b0提取的特征，fglobal(c)是全局池化獲得的特征，flocal(c)是局部池化獲得的特征，fbev是生成的bev特征，i和j分別表示特征圖的行和列索引，h和w分別表示特征圖的高度和寬度，c表示通道索引，k表示池化窗口大小。

34、優(yōu)選的，所述s5包括參數(shù)調(diào)優(yōu)及迭代優(yōu)化。

35、優(yōu)選的，所述參數(shù)調(diào)優(yōu)：包括利用自動(dòng)調(diào)參工具或算法進(jìn)行參數(shù)調(diào)優(yōu)；

36、所述迭代優(yōu)化：根據(jù)評(píng)估結(jié)果和參數(shù)調(diào)優(yōu)的反饋，對(duì)模型進(jìn)行進(jìn)一步的改進(jìn)和優(yōu)化。

37、與現(xiàn)有技術(shù)相比，本申請(qǐng)具有以下有益效果：

38、1.本發(fā)明設(shè)計(jì)了一種基于視覺傳感器的強(qiáng)化小目標(biāo)檢測(cè)網(wǎng)絡(luò)，它結(jié)合了小目標(biāo)檢測(cè)方法和bev感知算法，利用多角度攝像頭數(shù)據(jù)以及神經(jīng)網(wǎng)絡(luò)，使得車輛能夠獲得以自身為中心的周圍物體感知，從而對(duì)后續(xù)的定位、路徑規(guī)劃以及車輛控制提供數(shù)據(jù)支撐。

39、2.本發(fā)明設(shè)計(jì)了一種特征投影網(wǎng)絡(luò)，通過旋轉(zhuǎn)矩陣將相機(jī)坐標(biāo)系下的特征旋轉(zhuǎn)到自車坐標(biāo)系下，然后對(duì)多尺度特征分別進(jìn)行全局池化和局部池化來構(gòu)建小目標(biāo)特征，并利用transformer來匯總?cè)痔卣鞯恼w背景和上下文信息以及局部特征的小目標(biāo)信息，并投影到bev空間。

技術(shù)特征：

1.一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：包含以下步驟：

2.根據(jù)權(quán)利要求1所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s1中通過六個(gè)攝像頭獲取以自動(dòng)駕駛車輛為中心的不同角度圖像，采用png作為數(shù)據(jù)格式。

3.根據(jù)權(quán)利要求1所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s2包括獲取多尺度特征以及時(shí)空特征融合過程。

4.根據(jù)權(quán)利要求3所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s2中具體步驟如下：

5.根據(jù)權(quán)利要求1所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s3包括圖像特征點(diǎn)云生成以及bev特征生成。

6.根據(jù)權(quán)利要求5所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s3中具體步驟如下：

7.根據(jù)權(quán)利要求1一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s4包括使用l層和基于集合的計(jì)算從2d特征圖中產(chǎn)生邊界框估計(jì)。

8.根據(jù)權(quán)利要求7所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：

9.根據(jù)權(quán)利要求1一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：所述s5包括參數(shù)調(diào)優(yōu)及迭代優(yōu)化。

10.根據(jù)權(quán)利要求9所述的一種強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，其特征在于：

技術(shù)總結(jié)
本發(fā)明提供一種基于視覺傳感器的強(qiáng)化小目標(biāo)檢測(cè)的自動(dòng)駕駛車輛環(huán)境感知方法，涉及自動(dòng)駕駛車輛的目標(biāo)檢測(cè)技術(shù)領(lǐng)域，所述檢測(cè)方法包含以下步驟：通過多角度視覺傳感器獲得車輛周圍全方位圖像；對(duì)不同角度圖像進(jìn)行多尺度特征提取；將多尺度特征投影到BEV(Bird’s?Eye?View，鳥瞰圖)空間；設(shè)計(jì)檢測(cè)頭，解耦出輸入特征圖中物體的類別和位置信息；對(duì)模型進(jìn)行評(píng)估與優(yōu)化。本申請(qǐng)結(jié)合了小目標(biāo)檢測(cè)方法和BEV感知算法，利用多角度攝像頭數(shù)據(jù)以及神經(jīng)網(wǎng)絡(luò)，使得車輛能夠獲得以自身為中心的周圍物體感知，從而對(duì)后續(xù)的定位、路徑規(guī)劃以及車輛控制提供數(shù)據(jù)支撐。

技術(shù)研發(fā)人員：平鵬,楊政澎,施佺,劉健強(qiáng)
受保護(hù)的技術(shù)使用者：南通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19