1.一種多模態(tài)實(shí)體特征的對齊融合方法,其特征是,包括:
2.如權(quán)利要求1所述的方法,其特征是,所述多模態(tài)嵌入包括所述結(jié)構(gòu)嵌入,所述多模態(tài)嵌入模塊包括圖注意力網(wǎng)絡(luò),所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:
3.如權(quán)利要求1所述的方法,其特征是,所述多模態(tài)嵌入包括所述文本嵌入,所述多模態(tài)嵌入模塊包括全連接特征提取網(wǎng)絡(luò),所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:
4.如權(quán)利要求1所述的方法,其特征是,所述多模態(tài)嵌入包括所述視覺嵌入,所述多模態(tài)嵌入模塊包括resnet-15,所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:
5.如權(quán)利要求1-4中任一項(xiàng)所述的方法,其特征是,所述將待對齊知識圖譜輸入多模態(tài)嵌入模塊進(jìn)行特征編碼,得到多模態(tài)嵌入,包括:
6.如權(quán)利要求1所述的方法,其特征是,所述方法還包括:
7.如權(quán)利要求6所述的方法,其特征是,所述迭代訓(xùn)練的損失函數(shù)滿足:
8.一種多模態(tài)實(shí)體特征的對齊融合裝置,其特征是,包括:
9.一種電子設(shè)備,包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的程序;其特征是,所述處理器,用于讀取存儲器中的程序?qū)崿F(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多模態(tài)實(shí)體特征的對齊融合方法中的步驟。
10.一種可讀存儲介質(zhì),用于存儲程序,其特征是,所述程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多模態(tài)實(shí)體特征的對齊融合方法中的步驟。