1.一種基于多模態(tài)特征的障礙檢測(cè)方法,其特征在于,所述方法包括:
2.如權(quán)利要求1所述的方法,其特征在于,所述對(duì)所述第一3d體素特征和所述第一2d圖像特征進(jìn)行多模態(tài)特征融合,得到第一融合特征的步驟,包括:
3.如權(quán)利要求2所述的方法,其特征在于,所述根據(jù)所述目標(biāo)區(qū)域,確定所述目標(biāo)體素對(duì)應(yīng)的交叉注意力區(qū)域的步驟,包括:
4.如權(quán)利要求2所述的方法,其特征在于,所述將所述第一3d體素特征中的所有目標(biāo)體素的體素特征,分別與各所述目標(biāo)體素對(duì)應(yīng)的交叉注意力區(qū)域中圖像像素點(diǎn)的圖像特征之間進(jìn)行交叉注意力計(jì)算,得到第一融合特征,包括:
5.如權(quán)利要求1至4任一項(xiàng)所述的方法,其特征在于,在將所述第一融合特征輸入至預(yù)先訓(xùn)練好的障礙檢測(cè)模型中,得到所述障礙檢測(cè)模型輸出的所述待測(cè)空間內(nèi)的障礙信息之前,所述方法還包括:
6.如權(quán)利要求5所述的方法,其特征在于,所述通過(guò)在所述教師模型對(duì)應(yīng)的第一中間結(jié)果與所述學(xué)生模型對(duì)應(yīng)的第二中間結(jié)果之間進(jìn)行特征蒸餾的方式,訓(xùn)練所述學(xué)生模型,將訓(xùn)練后的學(xué)生模型作為所述障礙檢測(cè)模型的步驟,包括:
7.如權(quán)利要求6所述的方法,其特征在于,在所述判斷在所述第二中間結(jié)果中與所述第一體素特征對(duì)應(yīng)的目標(biāo)體素特征是否為空之后,所述方法還包括:
8.如權(quán)利要求7所述的方法,其特征在于,所述根據(jù)所述第二中間結(jié)果中n個(gè)第二體素特征對(duì)應(yīng)的第一損失值或第二損失值,確定特征蒸餾損失的步驟,包括:
9.如權(quán)利要求5所述的方法,其特征在于,所述教師模型具體通過(guò)以下步驟訓(xùn)練得到:
10.如權(quán)利要求9所述的方法,其特征在于,在所述根據(jù)所述第一障礙預(yù)測(cè)真值和所述第一障礙預(yù)測(cè)結(jié)果,計(jì)算訓(xùn)練損失函數(shù)之前,所述方法還包括:
11.如權(quán)利要求10所述的方法,其特征在于,所述第一障礙預(yù)測(cè)結(jié)果包括第一占用柵格結(jié)果和第一語(yǔ)義結(jié)果,所述第二障礙預(yù)測(cè)結(jié)果包括第二占用柵格結(jié)果;
12.一種基于多模態(tài)特征的障礙檢測(cè)裝置,其特征在于,所述裝置包括: