亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于多模態(tài)特征的障礙檢測(cè)方法及裝置與流程

文檔序號(hào):40383249發(fā)布日期:2024-12-20 12:05閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種基于多模態(tài)特征的障礙檢測(cè)方法,其特征在于,所述方法包括:

2.如權(quán)利要求1所述的方法,其特征在于,所述對(duì)所述第一3d體素特征和所述第一2d圖像特征進(jìn)行多模態(tài)特征融合,得到第一融合特征的步驟,包括:

3.如權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述目標(biāo)區(qū)域,確定所述目標(biāo)體素對(duì)應(yīng)的交叉注意力區(qū)域的步驟,包括:

4.如權(quán)利要求2所述的方法,其特征在于,所述將所述第一3d體素特征中的所有目標(biāo)體素的體素特征,分別與各所述目標(biāo)體素對(duì)應(yīng)的交叉注意力區(qū)域中圖像像素點(diǎn)的圖像特征之間進(jìn)行交叉注意力計(jì)算,得到第一融合特征,包括:

5.如權(quán)利要求1至4任一項(xiàng)所述的方法,其特征在于,在將所述第一融合特征輸入至預(yù)先訓(xùn)練好的障礙檢測(cè)模型中,得到所述障礙檢測(cè)模型輸出的所述待測(cè)空間內(nèi)的障礙信息之前,所述方法還包括:

6.如權(quán)利要求5所述的方法,其特征在于,所述通過(guò)在所述教師模型對(duì)應(yīng)的第一中間結(jié)果與所述學(xué)生模型對(duì)應(yīng)的第二中間結(jié)果之間進(jìn)行特征蒸餾的方式,訓(xùn)練所述學(xué)生模型,將訓(xùn)練后的學(xué)生模型作為所述障礙檢測(cè)模型的步驟,包括:

7.如權(quán)利要求6所述的方法,其特征在于,在所述判斷在所述第二中間結(jié)果中與所述第一體素特征對(duì)應(yīng)的目標(biāo)體素特征是否為空之后,所述方法還包括:

8.如權(quán)利要求7所述的方法,其特征在于,所述根據(jù)所述第二中間結(jié)果中n個(gè)第二體素特征對(duì)應(yīng)的第一損失值或第二損失值,確定特征蒸餾損失的步驟,包括:

9.如權(quán)利要求5所述的方法,其特征在于,所述教師模型具體通過(guò)以下步驟訓(xùn)練得到:

10.如權(quán)利要求9所述的方法,其特征在于,在所述根據(jù)所述第一障礙預(yù)測(cè)真值和所述第一障礙預(yù)測(cè)結(jié)果,計(jì)算訓(xùn)練損失函數(shù)之前,所述方法還包括:

11.如權(quán)利要求10所述的方法,其特征在于,所述第一障礙預(yù)測(cè)結(jié)果包括第一占用柵格結(jié)果和第一語(yǔ)義結(jié)果,所述第二障礙預(yù)測(cè)結(jié)果包括第二占用柵格結(jié)果;

12.一種基于多模態(tài)特征的障礙檢測(cè)裝置,其特征在于,所述裝置包括:


技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種基于多模態(tài)特征的障礙檢測(cè)方法及裝置,涉及智能駕駛技術(shù)領(lǐng)域,方法包括:確定車輛在目標(biāo)方向上的待測(cè)空間,采集待測(cè)空間對(duì)應(yīng)的當(dāng)前激光點(diǎn)云和當(dāng)前相機(jī)圖像;其中,當(dāng)前激光點(diǎn)云為在當(dāng)前時(shí)刻采集的單幀激光點(diǎn)云,當(dāng)前相機(jī)圖像為在當(dāng)前時(shí)刻采集的單幀相機(jī)圖像;對(duì)當(dāng)前激光點(diǎn)云進(jìn)行特征提取,得到第一3D體素特征;對(duì)當(dāng)前相機(jī)圖像進(jìn)行特征提取,得到第一2D圖像特征;對(duì)第一3D體素特征和第一2D圖像特征進(jìn)行多模態(tài)特征融合,得到第一融合特征;將第一融合特征輸入至預(yù)先訓(xùn)練好的障礙檢測(cè)模型中,得到障礙檢測(cè)模型輸出的待測(cè)空間內(nèi)的障礙信息。本申請(qǐng)?jiān)谡系K預(yù)測(cè)前進(jìn)行了多模態(tài)特征融合,提高了障礙檢測(cè)的精度。

技術(shù)研發(fā)人員:張彬
受保護(hù)的技術(shù)使用者:杭州??低晹?shù)字技術(shù)股份有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/19
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1