本技術(shù)涉及多模態(tài)數(shù)據(jù)，特別涉及一種彌補模態(tài)缺失的多模態(tài)聯(lián)邦學習方法及相關設備。

背景技術(shù)：

1、如今，多模態(tài)技術(shù)的發(fā)展使得計算機能夠從多個感知模態(tài)中獲取、分析和理解信息，為各個領域的應用提供了更全面、更準確的解決方案，并推動了人機交互、情感分析、視覺語音識別和健康醫(yī)療等領域的創(chuàng)新。然而，多模態(tài)技術(shù)需要大量的數(shù)據(jù)訓練，這會導致設備過載，且數(shù)據(jù)傳輸?shù)倪^程中存在隱私泄露的風險，基于聯(lián)邦學習框架的多模態(tài)技術(shù)由此誕生。

2、聯(lián)邦學習僅在客戶端完成模型訓練，由服務器接收客戶端發(fā)送的模型，在完成模型聚合后，服務器會將多模態(tài)全局模型發(fā)送至客戶端進行下一輪訓練。這可以有效緩解數(shù)據(jù)量大導致設備過載的問題，且數(shù)據(jù)不出本地，能很好地保護隱私數(shù)據(jù)，避免數(shù)據(jù)泄露的風險。

3、然而，在多模態(tài)技術(shù)參與的條件下，由于部分客戶端存在模態(tài)缺失的情況，這使得缺失模態(tài)的客戶端無法使用服務器下發(fā)的全種類多模態(tài)全局模型進行迭代更新，使得對模型進行訓練的客戶端少，上傳到服務器的模型少，模型聚合得到的多模態(tài)模型質(zhì)量低。由此可見，現(xiàn)有的多模態(tài)聯(lián)邦學習方法，存在生成的多模態(tài)模型質(zhì)量低的問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供了一種彌補模態(tài)缺失的多模態(tài)聯(lián)邦學習方法及相關設備，可以解決生成的多模態(tài)模型質(zhì)量低的問題。

2、第一方面，本技術(shù)實施例提供了一種彌補模態(tài)缺失的多模態(tài)聯(lián)邦學習方法，該多模態(tài)聯(lián)邦學習方法包括：

3、獲取每個目標客戶端存儲的所有模態(tài)的數(shù)據(jù)；

4、根據(jù)每個目標客戶端存儲的所有模態(tài)的數(shù)據(jù)，從所有目標客戶端中確定出數(shù)據(jù)存在模態(tài)缺失的缺失客戶端；

5、分別針對每個缺失客戶端，對缺失客戶端的每個模態(tài)的數(shù)據(jù)進行特征提取，得到多個數(shù)據(jù)特征，對所有數(shù)據(jù)特征進行融合，得到最終融合特征，并提取缺失客戶端的每個模態(tài)的數(shù)據(jù)的時間特征，對所有時間特征進行融合，得到最終時間特征，基于最終融合特征和最終時間特征，獲取缺失客戶端所缺失模態(tài)的數(shù)據(jù)；

6、分別針對每個模態(tài)，獲取模態(tài)對應的模態(tài)模型，將每個目標客戶端和獲取缺失模態(tài)的數(shù)據(jù)后的每個缺失客戶端均作為最終客戶端，利用每個最終客戶端的所有模態(tài)的數(shù)據(jù)對模態(tài)對應的模態(tài)模型進行訓練，得到每個最終客戶端的訓練后的模態(tài)模型；

7、將所有訓練后的模態(tài)模型進行整合，得到多模態(tài)模型。

8、可選的，對缺失客戶端的每個模態(tài)的數(shù)據(jù)進行特征提取，得到多個數(shù)據(jù)特征，包括：

9、通過公式：

10、

11、獲取第個模態(tài)的數(shù)據(jù)的數(shù)據(jù)特征；

12、其中，，表示缺失客戶端的模態(tài)數(shù)量，表示第個模態(tài)的數(shù)據(jù)的第1個維度的數(shù)據(jù)特征，表示第個模態(tài)的數(shù)據(jù)的第2個維度的數(shù)據(jù)特征，表示第個模態(tài)的數(shù)據(jù)的第個維度的數(shù)據(jù)特征，表示個維度的數(shù)據(jù)特征的集合。

13、可選的，對所有數(shù)據(jù)特征進行融合，得到最終融合特征，包括：

14、計算每兩個模態(tài)的數(shù)據(jù)之間的注意力權(quán)重，并基于所有注意力權(quán)重和所有數(shù)據(jù)特征，計算每個模態(tài)的數(shù)據(jù)對應的多個模態(tài)向量；

15、將所有模態(tài)向量融合，得到最終融合特征。

16、可選的，基于所有注意力權(quán)重和所有數(shù)據(jù)特征，計算每個模態(tài)的數(shù)據(jù)對應的多個模態(tài)向量，包括：

17、通過公式：

18、

19、計算在第個模態(tài)的數(shù)據(jù)的交互下第個模態(tài)的數(shù)據(jù)的模態(tài)向量；

20、其中，表示第個模態(tài)的數(shù)據(jù)對第個模態(tài)的數(shù)據(jù)的注意力權(quán)重，表示第個模態(tài)的數(shù)據(jù)的數(shù)據(jù)特征，，，表示缺失客戶端的模態(tài)的數(shù)量。

21、可選的，將所有模態(tài)向量融合，得到最終融合特征，包括：

22、通過公式：

23、

24、

25、計算最終融合特征；

26、其中，表示第1個模態(tài)的數(shù)據(jù)的融合模態(tài)向量，表示第2個模態(tài)的數(shù)據(jù)的融合模態(tài)向量，表示第個模態(tài)的數(shù)據(jù)的融合模態(tài)向量，表示第個模態(tài)的數(shù)據(jù)的融合模態(tài)向量，表示在第1個模態(tài)的數(shù)據(jù)的交互下第個模態(tài)的數(shù)據(jù)的模態(tài)向量，表示在第個模態(tài)的數(shù)據(jù)的交互下第個模態(tài)的數(shù)據(jù)的模態(tài)向量，表示哈達瑪積。

27、可選的，利用每個最終客戶端的所有模態(tài)的數(shù)據(jù)對模態(tài)對應的模態(tài)模型進行訓練，得到每個最終客戶端的模態(tài)對應的訓練后的模態(tài)模型，包括：

28、分別針對每個最終客戶端，進行以下步驟：

29、從最終客戶端的所有模態(tài)的數(shù)據(jù)中確定出與模態(tài)對應的模態(tài)模型相同模態(tài)的目標數(shù)據(jù)，利用目標數(shù)據(jù)計算模態(tài)模型訓練后的參數(shù)，并將訓練后的參數(shù)代入到模態(tài)模型中，得到最終客戶端的訓練后的模態(tài)模型。

30、可選的，利用目標數(shù)據(jù)計算模態(tài)模型訓練后的參數(shù)，包括：

31、通過公式：

32、

33、計算第個最終客戶端對應的第個模態(tài)模型訓練后的參數(shù)；

34、其中，表示第個最終客戶端的與第個模態(tài)模型相同模態(tài)的目標數(shù)據(jù)，表示第個模態(tài)模型的初始參數(shù)，，表示最終客戶端的數(shù)量，，表示模態(tài)的總數(shù)，表示學習率，表示訓練輪數(shù)，表示訓練運算。

35、可選的，將所有訓練后的模態(tài)模型進行整合，得到多模態(tài)模型，包括：

36、通過公式：

37、

38、

39、計算多模態(tài)參數(shù)；

40、其中，表示第個模態(tài)模型的融合權(quán)重，表示第個模態(tài)模型的融合參數(shù)。

41、第二方面，本技術(shù)實施例提供了一種彌補模態(tài)缺失的多模態(tài)聯(lián)邦學習裝置，包括：

42、獲取模塊，獲取每個目標客戶端存儲的所有模態(tài)的數(shù)據(jù)；

43、確定模塊，根據(jù)每個目標客戶端存儲的所有模態(tài)的數(shù)據(jù)，從所有目標客戶端中確定出數(shù)據(jù)存在模態(tài)缺失的缺失客戶端；

44、特征提取模塊，分別針對每個缺失客戶端，對缺失客戶端的每個模態(tài)的數(shù)據(jù)進行特征提取，得到多個數(shù)據(jù)特征，對所有數(shù)據(jù)特征進行融合，得到最終融合特征，并提取缺失客戶端的每個模態(tài)的數(shù)據(jù)的時間特征，對所有時間特征進行融合，得到最終時間特征，基于最終融合特征和最終時間特征，獲取缺失客戶端所缺失模態(tài)的數(shù)據(jù)；

45、訓練模塊，分別針對每個模態(tài)，獲取模態(tài)對應的模態(tài)模型，將每個目標客戶端和獲取缺失模態(tài)的數(shù)據(jù)后的每個缺失客戶端均作為最終客戶端，利用每個最終客戶端的所有模態(tài)的數(shù)據(jù)對模態(tài)對應的模態(tài)模型進行訓練，得到每個最終客戶端的訓練后的模態(tài)模型；

46、整合模塊，將所有訓練后的模態(tài)模型進行整合，得到多模態(tài)模型。

47、第三方面，本技術(shù)實施例提供了一種終端設備，包括存儲器、處理器以及存儲在存儲器中并可在處理器上運行的計算機程序，該處理器執(zhí)行上述計算機程序時實現(xiàn)上述的彌補模態(tài)缺失的多模態(tài)聯(lián)邦學習方法。

48、第四方面，本技術(shù)實施例提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)上述的彌補模態(tài)缺失的多模態(tài)聯(lián)邦學習方法。

49、本技術(shù)的上述方案有如下的有益效果：

50、在本技術(shù)的實施例中，通過獲取每個目標客戶端存儲的所有模態(tài)的數(shù)據(jù)，然后根據(jù)每個目標客戶端存儲的所有模態(tài)的數(shù)據(jù)，從所有目標客戶端中確定出數(shù)據(jù)存在模態(tài)缺失的缺失客戶端，再分別針對每個缺失客戶端，對缺失客戶端的每個模態(tài)的數(shù)據(jù)進行特征提取，得到多個數(shù)據(jù)特征，對所有數(shù)據(jù)特征進行融合，得到最終融合特征，并提取每個模態(tài)的數(shù)據(jù)的時間特征，對所有時間特征進行融合，得到最終時間特征，基于最終融合特征和最終時間特征，獲取缺失客戶端所缺失模態(tài)的數(shù)據(jù)，然后分別針對每個模態(tài)，獲取模態(tài)對應的模態(tài)模型，將每個目標客戶端和獲取缺失模態(tài)的數(shù)據(jù)后的每個缺失客戶端均作為最終客戶端，利用每個最終客戶端的所有模態(tài)的數(shù)據(jù)對模態(tài)對應的模態(tài)模型進行訓練，得到每個最終客戶端的訓練后的模態(tài)模型，最后將所有訓練后的模態(tài)模型進行整合，得到多模態(tài)模型。其中，利用缺失客戶端的最終融合特征和最終時間特征獲取缺失模態(tài)的數(shù)據(jù)，考慮了數(shù)據(jù)本身和數(shù)據(jù)的時序兩個方面的信息，提高了缺失模態(tài)的數(shù)據(jù)的準確性，減少了客戶端數(shù)據(jù)缺失的狀況，避免模態(tài)缺失的客戶端無法使用從服務端下載的模型，從而無法進行模型訓練的情況，在客戶端的模態(tài)數(shù)據(jù)補齊后，該客戶端也可和其他數(shù)據(jù)完整的客戶端一樣進行后續(xù)的模型訓練，進而提高了多模態(tài)模型的質(zhì)量。

51、本技術(shù)的其它有益效果將在隨后的具體實施方式部分予以詳細說明。