本申請(qǐng)涉及數(shù)據(jù)處理，具體涉及一種特征融合方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)(計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))。

背景技術(shù)：

1、多模態(tài)特征融合是指將不同模態(tài)的特征進(jìn)行整合，如圖像、音頻、文本，以提取更全面、準(zhǔn)確的信息。在多模態(tài)任務(wù)中，通常會(huì)使用深度學(xué)習(xí)模型提取不同模態(tài)的特征表示。在多模態(tài)特征融合中，常見的方法是使用雙線性匯聚操作，將兩個(gè)特征矩陣相乘，并通過一個(gè)全連接層來獲得注意力權(quán)重，將注意力權(quán)重應(yīng)用于每個(gè)模態(tài)的特征表示，以加權(quán)融合多個(gè)模態(tài)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種特征融合方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

2、第一方面，本申請(qǐng)實(shí)施例提供一種特征融合方法，包括：

3、獲取特征集；所述特征集中包括至少兩種類型的數(shù)據(jù)特征；

4、基于所述特征集包括的數(shù)據(jù)特征的特征信息進(jìn)行融合，得到第一特征表示和第二特征表示；所述第一特征表示表征所述特征集包括的數(shù)據(jù)特征在特征交互時(shí)的重要程度；所述第二特征表示表征所述特征集包括的數(shù)據(jù)特征之間的關(guān)聯(lián)關(guān)系；

5、基于所述第一特征表示和所述第二特征表示進(jìn)行融合，得到融合特征表示。

6、第二方面，本申請(qǐng)實(shí)施例提供一種特征融合裝置，包括：

7、特征獲取模塊，用于獲取特征集；所述特征集中包括至少兩種類型的數(shù)據(jù)特征；

8、第一特征融合模塊，用于基于所述特征集包括的數(shù)據(jù)特征的特征信息進(jìn)行融合，得到第一特征表示和第二特征表示；所述第一特征表示表征所述特征集包括的數(shù)據(jù)特征在特征交互時(shí)的重要程度；所述第二特征表示表征所述特征集包括的數(shù)據(jù)特征之間的關(guān)聯(lián)關(guān)系；

9、第二特征融合模塊，用于基于所述第一特征表示和所述第二特征表示進(jìn)行融合，得到融合特征表示。

10、第三方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器存儲(chǔ)有多條計(jì)算機(jī)程序；處理器從存儲(chǔ)器中加載計(jì)算機(jī)程序，以執(zhí)行本申請(qǐng)實(shí)施例所提供的任一種特征融合方法。

11、第四方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有多條計(jì)算機(jī)程序，計(jì)算機(jī)程序適于處理器進(jìn)行加載，以執(zhí)行本申請(qǐng)實(shí)施例所提供的任一種特征融合方法。

12、第五方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或計(jì)算機(jī)程序，計(jì)算機(jī)程序或計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例所提供的任一種特征融合方法。

13、采用申請(qǐng)實(shí)施例的方案，通過第一特征表示捕捉各個(gè)數(shù)據(jù)特征在特征交互時(shí)的重要程度，通過第二特征表示捕捉各個(gè)數(shù)據(jù)特征之間的關(guān)聯(lián)關(guān)系，即可確定各個(gè)數(shù)據(jù)特征之間的相關(guān)性、相互影響和依賴關(guān)系，因此，將第一特征表示融合添加至第二特征表示后，得到最終的融合特征表示不僅考慮了數(shù)據(jù)特征之間的關(guān)聯(lián)關(guān)系，還考慮了數(shù)據(jù)特征在特征交互時(shí)的重要程度，使得最終的融合特征表示更加準(zhǔn)確且全面地描述各個(gè)數(shù)據(jù)特征之間的關(guān)系，提升了最終的融合特征表示的豐富性、表達(dá)能力和表現(xiàn)力，因此，更能準(zhǔn)確地描述各個(gè)數(shù)據(jù)特征之間的交互性，從而提升了最終的融合特征表示的特征表征能力。

技術(shù)特征：

1.一種特征融合方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的特征融合方法，其特征在于，所述數(shù)據(jù)特征的特征信息包括查詢向量、鍵向量和值向量；

3.根據(jù)權(quán)利要求2所述的特征融合方法，其特征在于，所述特征集包括第一數(shù)據(jù)特征和多個(gè)第二數(shù)據(jù)特征；

4.如權(quán)利要求1所述的特征融合方法，其特征在于，所述第一特征表示有多個(gè)，所述第二特征表示有多個(gè)；

5.如權(quán)利要求4所述的特征融合方法，其特征在于，所述對(duì)所述第二特征矩陣進(jìn)行歸一化處理，得到第三特征矩陣，包括：

6.如權(quán)利要求4所述的特征融合方法，其特征在于，所述基于多個(gè)所述第一特征表示構(gòu)建第一特征矩陣，包括：

7.一種特征融合裝置，其特征在于，所述裝置包括：

8.一種計(jì)算機(jī)設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有多條計(jì)算機(jī)程序；所述處理器從所述存儲(chǔ)器中加載計(jì)算機(jī)程序，以執(zhí)行如權(quán)利要求1～6任一項(xiàng)所述的特征融合方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有多條計(jì)算機(jī)程序，所述計(jì)算機(jī)程序適于處理器進(jìn)行加載，以執(zhí)行如權(quán)利要求1～6任一項(xiàng)所述的特征融合方法。

10.一種計(jì)算機(jī)軟件，其特征在于，所述計(jì)算機(jī)軟件，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行如權(quán)利要求1～6任一項(xiàng)所述的特征融合方法。

技術(shù)總結(jié)
本申請(qǐng)公開了一種特征融合方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，該方法包括：獲取特征集；基于特征集包括的數(shù)據(jù)特征的特征信息進(jìn)行融合，得到第一特征表示和第二特征表示；第一特征表示表征特征集包括的數(shù)據(jù)特征在特征交互時(shí)的重要程度；第二特征表示表征特征集包括的數(shù)據(jù)特征之間的關(guān)聯(lián)關(guān)系；基于第一特征表示和第二特征表示進(jìn)行融合，得到融合特征表示。本申請(qǐng)將第一特征表示與第二特征表示進(jìn)行特征融合，使得最終的融合特征表示更加準(zhǔn)確且全面地描述各個(gè)數(shù)據(jù)特征之間的關(guān)系，提升了最終的融合特征表示的豐富性、表達(dá)能力和表現(xiàn)力，因此，更能準(zhǔn)確地描述各個(gè)數(shù)據(jù)特征之間的交互性，從而提升了最終的融合特征表示的特征表征能力。

技術(shù)研發(fā)人員：熊雪軍
受保護(hù)的技術(shù)使用者：馬上消費(fèi)金融股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19