技術(shù)特征：

1.一種基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述模態(tài)特征提取模塊依次包括塊編碼器和多層串行的自注意力特征提取器；

3.根據(jù)權(quán)利要求2所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述模態(tài)提示向量模塊包括模態(tài)提示向量注入模塊和提示交換模塊；

4.根據(jù)權(quán)利要求2所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述模態(tài)特征融合模塊包括串行連接的模態(tài)特征高響應(yīng)區(qū)域選擇模塊和基于模態(tài)提示向量的多模態(tài)特征融合模塊，所述模態(tài)特征高響應(yīng)區(qū)域選擇模塊與模態(tài)特征提取模塊中的自注意力特征提取器串行連接；

5.根據(jù)權(quán)利要求4所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述基于模態(tài)提示向量的多模態(tài)特征融合模塊將模態(tài)提示向量作為查詢向量，通過(guò)交叉注意力機(jī)制引導(dǎo)不同模態(tài)的特征進(jìn)行融合，所述交叉注意力機(jī)制的公式為：

6.根據(jù)權(quán)利要求5所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述基于模態(tài)提示向量的多模態(tài)特征融合模塊的融合層表示為：

7.根據(jù)權(quán)利要求1所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述模態(tài)缺失場(chǎng)景自適應(yīng)模塊包括提示向量屏蔽模塊和特征序列調(diào)整模塊，所述提示向量屏蔽模塊和特征序列調(diào)整模塊位于塊編碼器和第1層自注意力特征提取器之間；

8.根據(jù)權(quán)利要求1所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，其特征在于，所述s2中損失函數(shù)結(jié)合三元組損失和交叉熵?fù)p失，公式為：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法，涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，包括以下步驟：構(gòu)建基于提示學(xué)習(xí)的多模態(tài)行人重識(shí)別模型；建立損失函數(shù)，對(duì)基于提示學(xué)習(xí)的多模態(tài)行人重識(shí)別模型進(jìn)行模型訓(xùn)練；將訓(xùn)練完成后的基于提示學(xué)習(xí)的多模態(tài)行人重識(shí)別模型應(yīng)用到實(shí)際場(chǎng)景中，完成基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別。本發(fā)明解決了現(xiàn)有多模態(tài)重識(shí)別方法計(jì)算成本高，以及不同光譜之間顯著的分布差異使得多模態(tài)特征融合更加困難的問(wèn)題。

技術(shù)研發(fā)人員：張艷寧,羅文龍,張世周,王晨旭,王鵬,邢穎慧,梁國(guó)強(qiáng)
受保護(hù)的技術(shù)使用者：西北工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19