亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

多模態(tài)實(shí)體特征的對齊融合方法、裝置及電子設(shè)備

文檔序號:40394165發(fā)布日期:2024-12-20 12:17閱讀:來源:國知局

技術(shù)特征:

1.一種多模態(tài)實(shí)體特征的對齊融合方法,其特征是,包括:

2.如權(quán)利要求1所述的方法,其特征是,所述多模態(tài)嵌入包括所述結(jié)構(gòu)嵌入,所述多模態(tài)嵌入模塊包括圖注意力網(wǎng)絡(luò),所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:

3.如權(quán)利要求1所述的方法,其特征是,所述多模態(tài)嵌入包括所述文本嵌入,所述多模態(tài)嵌入模塊包括全連接特征提取網(wǎng)絡(luò),所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:

4.如權(quán)利要求1所述的方法,其特征是,所述多模態(tài)嵌入包括所述視覺嵌入,所述多模態(tài)嵌入模塊包括resnet-15,所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:

5.如權(quán)利要求1-4中任一項(xiàng)所述的方法,其特征是,所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:

6.如權(quán)利要求1所述的方法,其特征是,所述方法還包括:

7.如權(quán)利要求6所述的方法,其特征是,所述迭代訓(xùn)練的損失函數(shù)滿足:

8.一種多模態(tài)實(shí)體特征的對齊融合裝置,其特征是,包括:

9.一種電子設(shè)備,包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的程序;其特征是,所述處理器,用于讀取存儲器中的程序?qū)崿F(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多模態(tài)實(shí)體特征的對齊融合方法中的步驟。

10.一種可讀存儲介質(zhì),用于存儲程序,其特征是,所述程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多模態(tài)實(shí)體特征的對齊融合方法中的步驟。


技術(shù)總結(jié)
本發(fā)明公開了一種多模態(tài)實(shí)體對齊方法,具體是涉及到一種多模態(tài)實(shí)體特征的對齊融合方法、裝置及電子設(shè)備,方法包括:將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,將多模態(tài)嵌入輸入跨模態(tài)注意力融合模塊進(jìn)行特征融合和提取,得到跨模態(tài)注意力融合嵌入,以及將多模態(tài)嵌入輸入多模態(tài)自適應(yīng)特征融合模塊進(jìn)行特征融合,得到自適應(yīng)特征融合嵌入;基于多模態(tài)早期融合嵌入、跨模態(tài)注意力融合嵌入和自適應(yīng)特征融合嵌入對待對齊知識圖譜中的實(shí)體進(jìn)行對齊融合,其中,多模態(tài)早期融合嵌入為將多模態(tài)嵌入在嵌入層進(jìn)行級聯(lián)融合得到的。本方法可以解決多模態(tài)實(shí)體特征對齊時視覺等弱模態(tài)融合不平衡與語義模糊問題。

技術(shù)研發(fā)人員:李碩豪,陳偉,劉洋,李子豪,雷軍,張軍,黃魁華,劉忠,何華
受保護(hù)的技術(shù)使用者:中國人民解放軍國防科技大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/19
當(dāng)前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1