本發(fā)明涉及一種基于維納反卷積與對(duì)角費(fèi)歇爾剪枝的聯(lián)邦學(xué)習(xí)方法，屬于聯(lián)邦學(xué)習(xí)。

背景技術(shù)：

1、近年來，隨著人工智能技術(shù)的快速發(fā)展，金融業(yè)、制造業(yè)、服務(wù)業(yè)等各領(lǐng)域數(shù)據(jù)被廣泛用于人工智能模型訓(xùn)練。傳統(tǒng)的人工智能模型需要將數(shù)據(jù)集中到服務(wù)器端進(jìn)行學(xué)習(xí)訓(xùn)練，容易導(dǎo)致用戶隱私泄露。為了解決這一問題，google于2016年提出了聯(lián)邦學(xué)習(xí)(federated?learning,?fl)的概念，數(shù)據(jù)持有者在本地進(jìn)行模型訓(xùn)練，然后將模型訓(xùn)練參數(shù)上傳至服務(wù)器進(jìn)行聚合更新，從而避免了隱私數(shù)據(jù)的泄露。然而，相關(guān)研究表明，通過分析用戶上傳的中間參數(shù)仍然有可能還原部分用戶原始數(shù)據(jù)或者判斷特定用戶的相關(guān)屬性特征。因此，即使采用聯(lián)邦學(xué)習(xí)機(jī)制，仍然需要相應(yīng)的隱私保護(hù)技術(shù)進(jìn)一步防止用戶隱私的泄露。

2、目前，聯(lián)邦學(xué)習(xí)的隱私保護(hù)技術(shù)主要包括同態(tài)加密、多方安全計(jì)算以及差分隱私等。與其他技術(shù)相比，同態(tài)加密能夠提供更為可靠的隱私保護(hù)服務(wù)。目前的聯(lián)邦學(xué)習(xí)模型，大多采用第二代同態(tài)加密方案，其與第一代方案相比在性能、效率和實(shí)用性等方面均有較大提升，并且支持任意布爾電路的計(jì)算。然而，第二代同態(tài)加密方案雖然引入了模交換技術(shù)來控制密文的膨脹，但并不能完全消除噪聲積累對(duì)模型精度的影響，而且沒有利用信號(hào)的統(tǒng)計(jì)特性來增強(qiáng)信號(hào)。

3、此外，聯(lián)邦學(xué)習(xí)過程中，用戶端與服務(wù)器需要頻繁的進(jìn)行參數(shù)與梯度交換，通信開銷巨大。目前，降低聯(lián)邦學(xué)習(xí)通信開銷的策略可以分為模型壓縮和蒸餾算法兩種。模型壓縮策略會(huì)降低模型的精度，并且不能處理異質(zhì)數(shù)據(jù)；蒸餾算法雖然能夠在數(shù)據(jù)異質(zhì)時(shí)保持良好的性能，但其通信開銷并沒有得到有效的降低。近年來，研究人員提出采用剪枝機(jī)制降低聯(lián)邦學(xué)習(xí)模型的通信開銷，例如federated?dropout(feddropout)等。然而，采用剪枝機(jī)制的聯(lián)邦學(xué)習(xí)模型需要在用戶端進(jìn)行大量運(yùn)算，在降低通信開銷的同時(shí)也增加了運(yùn)算開銷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于維納反卷積與對(duì)角費(fèi)歇爾剪枝的聯(lián)邦學(xué)習(xí)方法，在減小聯(lián)邦學(xué)習(xí)中因同態(tài)加密造成的噪聲積累的同時(shí)保留和增強(qiáng)有用信號(hào)，并且通過減少梯度上傳，減小通信開銷。

2、客戶端在完成模型訓(xùn)練后，使用diag-fisher剪枝機(jī)制通過fisher信息矩陣對(duì)梯度進(jìn)行剪枝。接著，應(yīng)用自然梯度優(yōu)化對(duì)剪枝后的梯度進(jìn)行修正并同態(tài)加密上傳至服務(wù)器。服務(wù)器接收到加密后的剪枝梯度后，采用基于維納反卷積的聯(lián)邦機(jī)制對(duì)噪聲進(jìn)行濾波，通過估計(jì)噪聲功率譜密度，設(shè)計(jì)反卷積來去除加密過程中引入的噪聲，增強(qiáng)有用信號(hào)。最后，服務(wù)器聚合各客戶端上傳的梯度，形成全局模型并反饋給客戶端，完成聯(lián)邦學(xué)習(xí)的訓(xùn)練迭代。

3、一種基于維納反卷積與對(duì)角費(fèi)歇爾剪枝的聯(lián)邦學(xué)習(xí)方法，包括以下步驟：

4、步驟1，客戶端從服務(wù)器端接收全局模型，并基于本地?cái)?shù)據(jù)集進(jìn)行訓(xùn)練，

5、步驟2，客戶端基于本地?cái)?shù)據(jù)集，對(duì)接收的全局模型進(jìn)行本地訓(xùn)練，得到本地模型，

6、步驟3，采用diag-fisher剪枝機(jī)制對(duì)本地模型的梯度進(jìn)行剪枝，計(jì)算并保留fisher信息矩陣對(duì)角元素中信息貢獻(xiàn)大的梯度；采用diag-fisher剪枝機(jī)制通過fisher信息矩陣計(jì)算梯度的重要性，并基于剪枝閾值保留重要梯度以降低通信開銷，其過程如下：

7、3.1初始化本地模型對(duì)應(yīng)的對(duì)角fisher信息矩陣，其計(jì)算表達(dá)式為：，

8、3.2對(duì)于每個(gè)批次數(shù)據(jù)，前向傳播計(jì)算損失，

9、其中，為客戶端的本地模型梯度，為其數(shù)據(jù)集的一批數(shù)據(jù)，

10、3.3對(duì)于每個(gè)批次數(shù)據(jù)，根據(jù)損失反向傳播計(jì)算梯度，

11、其中，為客戶端的本地模型梯度，為其數(shù)據(jù)集的一批數(shù)據(jù)，表示其前向傳播計(jì)算得到的損失，

12、3.4對(duì)于每個(gè)批次數(shù)據(jù)，累加得到本地模型的對(duì)角fisher信息矩陣,其中，為其反向傳播計(jì)算得到的梯度，

13、3.5根據(jù)表示當(dāng)前客戶端用于更新模型的批次數(shù)據(jù)集的大小，歸一化對(duì)角fisher信息矩陣，其中，表示當(dāng)前客戶端用于更新模型的批次數(shù)據(jù)集的大小，

14、3.6根據(jù)設(shè)置好的剪枝率以及計(jì)算得到的對(duì)角fisher信息矩陣，計(jì)算剪枝閾值，

15、其中，為計(jì)算完成的對(duì)角fisher信息矩陣，為事先設(shè)置好的剪枝率，是經(jīng)過計(jì)算得到剪枝閾值，

16、3.7將對(duì)角fisher信息矩陣中的fisher信息值與剪枝閾值進(jìn)行比對(duì)，生成掩碼

17、，

18、3.8應(yīng)用掩碼對(duì)本地模型參數(shù)進(jìn)行剪枝：，其中，是經(jīng)過計(jì)算得到剪枝閾值，為計(jì)算得到的掩碼，最后應(yīng)用掩碼得到了剪枝后的新的梯度，

19、步驟4，對(duì)剪枝后本地模型使用自然梯度優(yōu)化，其過程如下：

20、4.1對(duì)于每個(gè)批次數(shù)據(jù)，前向傳播計(jì)算損失，

21、4.2對(duì)于每個(gè)批次數(shù)據(jù)，根據(jù)損失反向傳播計(jì)算梯度

22、?，

23、4.3根據(jù)對(duì)角fisher信息矩陣以及梯度計(jì)算得到自然梯度，

24、其中，為客戶端經(jīng)過剪枝的本地模型梯度，是一個(gè)小的正值，為平滑項(xiàng)，用于防止分母為零，確保數(shù)值穩(wěn)定性，為計(jì)算得到的自然梯度，

25、4.4根據(jù)計(jì)算得到的自然梯度更新本地模型參數(shù)：，

26、其中，是學(xué)習(xí)率，為采用自然梯度更新之后的本地模型梯度，客戶端對(duì)剪枝后本地模型使用自然梯度優(yōu)化，對(duì)剪枝后的梯度進(jìn)行優(yōu)化修正，確保梯度更新方向符合參數(shù)空間的幾何結(jié)構(gòu)，從而提升模型的收斂速度和精度，

27、步驟5，客戶端將剪枝后的模型參數(shù)和經(jīng)過優(yōu)化的梯度通過同態(tài)加密上傳至服務(wù)器端，

28、步驟6，使用基于維納反卷積的聯(lián)邦機(jī)制對(duì)加密梯度進(jìn)行去噪處理，服務(wù)器端接收到多個(gè)客戶端的加密梯度后，使用基于維納反卷積的聯(lián)邦機(jī)制對(duì)加密梯度進(jìn)行去噪處理，估計(jì)噪聲功率譜密度，通過設(shè)計(jì)維納反卷積消除同態(tài)加密過程中引入的噪聲，增強(qiáng)有效信號(hào)，服務(wù)器端對(duì)來自多個(gè)客戶端的去噪梯度進(jìn)行聚合，得到聚合后的全局模型；服務(wù)器端將更新后的全局模型發(fā)送至客戶端，完成當(dāng)前訓(xùn)練輪次的迭代；當(dāng)達(dá)到預(yù)設(shè)的迭代輪次，服務(wù)器端最終生成聯(lián)邦學(xué)習(xí)訓(xùn)練完成的全局模型，其過程如下：

29、6.1對(duì)初始化維納反卷積需要用到的參數(shù)進(jìn)行傅里葉變換，

30、其中，為服務(wù)器端聚合之后得到的同態(tài)加密模型梯度，為系統(tǒng)響應(yīng)，與為其進(jìn)行傅里葉變換之后得到的參數(shù)；

31、6.2根據(jù)傅里葉變換后的參數(shù)計(jì)算信號(hào)的功率譜密度：，

32、6.3根據(jù)功率譜密度以及其他參數(shù)計(jì)算初始維納反卷積，

33、其中，為的共軛復(fù)數(shù)，是噪聲的功率譜密度，

34、6.4根據(jù)維納反卷積對(duì)模型參數(shù)進(jìn)行初次濾波，

35、6.5根據(jù)上一輪迭代中的功率譜計(jì)算得到修正功率譜，

36、，

37、6.6根據(jù)修正功率譜和上一輪的濾波結(jié)果更新得到功率譜，

38、，

39、6.7根據(jù)新的功率譜更新維納反卷積，

40、6.8應(yīng)用新的維納反卷積進(jìn)行濾波直到結(jié)果收斂，其計(jì)算公式為：，

41、6.9對(duì)濾波之后得到的結(jié)果進(jìn)行傅里葉逆變換，

42、其中，首先根據(jù)上一輪迭代中的功率譜計(jì)算得到修正功率譜，然后根據(jù)修正功率譜和上一輪的濾波結(jié)果更新得到功率譜，繼而得到維納反卷積，最后得到新的濾波結(jié)果，為經(jīng)過傅里葉逆變換最終得到的同態(tài)加密的模型參數(shù)，服務(wù)器端得到之后將其下發(fā)至各客戶端，各客戶端使用自己的同態(tài)加密私鑰進(jìn)行解密，然后用于下一輪次的本地模型訓(xùn)練。

43、一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)所述的一種基于維納反卷積與對(duì)角費(fèi)歇爾剪枝的聯(lián)邦學(xué)習(xí)方法。

44、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的一種基于維納反卷積與對(duì)角費(fèi)歇爾剪枝的聯(lián)邦學(xué)習(xí)方法。

45、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)：

46、本發(fā)明客戶端在完成模型訓(xùn)練后，使用diag-fisher剪枝機(jī)制通過fisher信息矩陣對(duì)梯度進(jìn)行剪枝，通過fisher信息矩陣保留關(guān)鍵信息，從統(tǒng)計(jì)學(xué)角度優(yōu)化了模型參數(shù)傳輸?shù)闹匾耘判?，有效降低了通信開銷，同時(shí)避免了對(duì)模型性能的顯著影響。接著，結(jié)合自然梯度優(yōu)化方法，該方法以fisher信息矩陣為基礎(chǔ)，調(diào)整優(yōu)化方向以適應(yīng)參數(shù)空間的幾何結(jié)構(gòu)，不僅加快了模型的收斂速度，還提高了最終訓(xùn)練精度。服務(wù)器接收到加密后的剪枝梯度后，采用基于維納反卷積的去噪策略，通過估計(jì)噪聲功率譜密度設(shè)計(jì)反卷積濾波器，從信號(hào)處理角度最小化了噪聲對(duì)有效梯度信息的干擾，進(jìn)一步增強(qiáng)了模型的精度。