本技術(shù)涉及機器學(xué)習(xí)，特別涉及一種用于數(shù)據(jù)保護的預(yù)訓(xùn)練模型微調(diào)方法、應(yīng)用方法及裝置。

背景技術(shù)：

1、在數(shù)字化時代，pcs（personalized?content?synthesis，個性化內(nèi)容合成）技術(shù)在文本到圖像生成領(lǐng)域中扮演著日益重要的角色。用戶通過提供簡短的描述文本，利用pcs技術(shù)生成與特定主題或?qū)ο笙嚓P(guān)的高質(zhì)量圖像。

2、dm（diffusion?model，擴散模型）是實現(xiàn)pcs技術(shù)的一種主流方法。用戶通過提供與soi（subject?of?interest，感興趣主題）相關(guān)的圖像，利用如dreambooth算法對預(yù)訓(xùn)練的擴散模型進(jìn)行微調(diào)，從而可生成包含soi的新圖像。惡意用戶可利用該技術(shù)生成逼真的合成圖像，并通過社交媒體平臺傳播虛假信息，會對個人的安全和隱私構(gòu)成威脅。

3、相關(guān)技術(shù)中，為了解決pcs中惡意使用面部圖像引起的隱私和安全問題，現(xiàn)有技術(shù)中提出了anti-dreambooth，以引導(dǎo)模型生成無關(guān)聯(lián)的結(jié)果，該方式通過學(xué)習(xí)一個可替代的模型來干擾dreambooth，從而增強了個人圖像的保護效果。但是目前的anti-dreambooth訓(xùn)練時需要構(gòu)建先驗類樣本且訓(xùn)練時需要訓(xùn)練模型的所有參數(shù)，同時目前需要較多次數(shù)的干擾才能學(xué)習(xí)完成，導(dǎo)致實際訓(xùn)練場景中計算需求大，計算成本較高。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種用于數(shù)據(jù)保護的預(yù)訓(xùn)練模型微調(diào)方法、應(yīng)用方法及裝置。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵／重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

2、第一方面，本技術(shù)實施例提供了一種用于數(shù)據(jù)保護的預(yù)訓(xùn)練模型微調(diào)方法，方法包括：

3、創(chuàng)建用于數(shù)據(jù)保護的代理模型，代理模型是將預(yù)訓(xùn)練的擴散模型中除文本編碼器和u-net結(jié)構(gòu)的交叉注意層的參數(shù)之外的其他參數(shù)禁用之后得到的；

4、根據(jù)預(yù)設(shè)人臉圖像集及其描述文本，對代理模型進(jìn)行預(yù)設(shè)時間步的迭代微調(diào)，得到代理個性化生成模型；

5、使用預(yù)設(shè)對抗樣本集與描述文本，對代理個性化生成模型進(jìn)行攻擊，得到擾動值，其中，預(yù)設(shè)對抗樣本集是將預(yù)設(shè)人臉圖像集進(jìn)行預(yù)處理得到的，計算擾動值時的擾動步長是根據(jù)時間步數(shù)計算得到的；

6、將擾動值添加至預(yù)設(shè)對抗樣本集中，并繼續(xù)執(zhí)行對代理個性化生成模型進(jìn)行攻擊的步驟，直到攻擊次數(shù)到達(dá)預(yù)設(shè)次數(shù)閾值的情況下，得到目標(biāo)對抗樣本；

7、使用目標(biāo)對抗樣本，再次對代理模型進(jìn)行預(yù)設(shè)時間步的迭代微調(diào)，在當(dāng)前微調(diào)次數(shù)到達(dá)預(yù)設(shè)擾動閾值的情況下，得到最終的代理個性化生成模型。

8、可選的，使用預(yù)設(shè)對抗樣本集與描述文本，對代理個性化生成模型進(jìn)行攻擊，得到擾動值，包括：

9、將預(yù)設(shè)對抗樣本集與描述文本輸入代理個性化生成模型，以計算擾動值；

10、輸出預(yù)設(shè)對抗樣本集對應(yīng)的處理結(jié)果；

11、獲取處理結(jié)果中包括的擾動值。

12、可選的，將預(yù)設(shè)對抗樣本集與描述文本輸入代理個性化生成模型，以計算擾動值，包括：

13、代理個性化生成模型使用分?jǐn)?shù)蒸餾采樣算法，對預(yù)設(shè)對抗樣本集與描述文本進(jìn)行計算處理，得到當(dāng)前梯度；

14、代理個性化生成模型獲取時間步數(shù)；

15、代理個性化生成模型根據(jù)時間步數(shù)，計算擾動步長；

16、代理個性化生成模型根據(jù)當(dāng)前梯度與擾動步長，計算擾動值。

17、可選的，擾動步長計算公式為：

18、

19、其中，為擾動步長，為超參數(shù)，用于調(diào)整步長的大小，可以根據(jù)模型的需要和訓(xùn)練過程中的表現(xiàn)進(jìn)行調(diào)整，在時間步數(shù)時的加噪強度，加噪強度與擴散模型的噪聲方差相關(guān)，為時間步數(shù)，用于動態(tài)調(diào)整步長，使得隨著時間步的增加，更新幅度逐漸減?。?/p>

20、擾動值的計算公式為：

21、

22、其中，為擾動值，是一個縮放因子，為0.1，用于控制對抗性擾動的強度，為擾動步長，為損失函數(shù)梯度的符號函數(shù)，它返回梯度向量的符號（正或負(fù)），在對抗性攻擊中，使用梯度的符號來確定擾動的方向，為使用分?jǐn)?shù)蒸餾采樣算法得到的當(dāng)前梯度。

23、可選的，當(dāng)前梯度計算公式為：

24、

25、其中，表示對的梯度運算符，用于計算損失函數(shù)l相對于輸入預(yù)設(shè)對抗樣本集中圖像的梯度；表示在模型函數(shù)下，圖像經(jīng)過擾動后的損失函數(shù)；表示在迭代過程中的第次迭代的圖像，表示使用分?jǐn)?shù)蒸餾采樣算法計算的損失函數(shù)，表示期望值運算符，用于計算在所有可能的組合下梯度的平均值，表示原始輸入圖像，在迭代和擾動之前的狀態(tài)，為時間步數(shù)，為模型參數(shù)的集合，為時間步數(shù)時添加到圖像中的實際噪聲，表示模型根據(jù)當(dāng)前的模型參數(shù)集合、時間步數(shù)和描述文本預(yù)測的噪聲，表示時間步數(shù)時，模型輸出相對于的梯度，為時間步數(shù)時模型的輸出，為時間步數(shù)時模型的輸入。

26、可選的，代理模型的損失函數(shù)為：

27、

28、其中，為損失函數(shù)，用于度量在給定模型參數(shù)和預(yù)設(shè)人臉圖像集的情況下計算的損失值，是期望值運算符，用于計算所有可能的組合下?lián)p失函數(shù)的平均值，為時間步數(shù)，為模型參數(shù)的集合，為時間步數(shù)時添加到圖像中的實際噪聲，表示模型根據(jù)當(dāng)前的模型參數(shù)集合、時間步數(shù)和描述文本預(yù)測的噪聲。

29、可選的，預(yù)設(shè)時間步為3步，預(yù)設(shè)次數(shù)閾值大于6，預(yù)設(shè)擾動閾值為50次，代理模型的微調(diào)方式采用dreambooth算法的訓(xùn)練方式。

30、第二方面，本技術(shù)實施例提供了一種模型應(yīng)用方法，方法包括：

31、接收圖像處理請求，圖像處理請求攜帶用戶的人臉圖像；

32、將人臉圖像輸入最終的代理個性化生成模型中，輸出添加隱私保護信息的目標(biāo)圖像，隱私保護信息用于防止擴散模型生成與感興趣主題相關(guān)的圖像；最終的代理個性化生成模型是通過用于數(shù)據(jù)保護的預(yù)訓(xùn)練模型微調(diào)方法微調(diào)得到的；

33、展示目標(biāo)圖像。

34、第三方面，本技術(shù)實施例提供一種用于數(shù)據(jù)保護的預(yù)訓(xùn)練模型微調(diào)裝置，裝置包括：

35、創(chuàng)建模塊，用于創(chuàng)建用于數(shù)據(jù)保護的代理模型，代理模型是將預(yù)訓(xùn)練的擴散模型中除文本編碼器和u-net結(jié)構(gòu)的交叉注意層的參數(shù)之外的其他參數(shù)禁用之后得到的；

36、第一微調(diào)模塊，用于根據(jù)預(yù)設(shè)人臉圖像集及其描述文本，對代理模型進(jìn)行預(yù)設(shè)時間步的迭代微調(diào)，得到代理個性化生成模型；

37、第一攻擊模塊，用于使用預(yù)設(shè)對抗樣本集與描述文本，對代理個性化生成模型進(jìn)行攻擊，得到擾動值，其中，預(yù)設(shè)對抗樣本集是將預(yù)設(shè)人臉圖像集進(jìn)行預(yù)處理得到的，計算擾動值時的擾動步長是根據(jù)時間步數(shù)計算得到的；

38、第二攻擊模塊，用于將擾動值添加至預(yù)設(shè)對抗樣本集中，并繼續(xù)執(zhí)行對代理個性化生成模型進(jìn)行攻擊的步驟，直到攻擊次數(shù)到達(dá)預(yù)設(shè)次數(shù)閾值的情況下，得到目標(biāo)對抗樣本；

39、第二微調(diào)模塊，用于使用目標(biāo)對抗樣本，再次對代理模型進(jìn)行預(yù)設(shè)時間步的迭代微調(diào)，在當(dāng)前微調(diào)次數(shù)到達(dá)預(yù)設(shè)擾動閾值的情況下，得到最終的代理個性化生成模型。

40、第四方面，本技術(shù)實施例提供一種模型應(yīng)用裝置，裝置包括：

41、接收模塊，用于接收圖像處理請求，圖像處理請求攜帶用戶的人臉圖像；

42、輸入模塊，用于將人臉圖像輸入最終的代理個性化生成模型中，輸出添加隱私保護信息的目標(biāo)圖像，隱私保護信息用于防止擴散模型生成與感興趣主題相關(guān)的圖像；最終的代理個性化生成模型是通過用于數(shù)據(jù)保護的預(yù)訓(xùn)練模型微調(diào)方法微調(diào)得到的；

43、展示模塊，用于展示目標(biāo)圖像。

44、本技術(shù)實施例提供的技術(shù)方案可以包括以下有益效果：

45、在本技術(shù)實施例中，通過將預(yù)訓(xùn)練的擴散模型中除文本編碼器和u-net結(jié)構(gòu)的交叉注意層的參數(shù)之外的其他參數(shù)禁用，使得模型參數(shù)大大減少，同時根據(jù)時間步數(shù)動態(tài)調(diào)整擾動更新步長，不僅破壞了惡意用戶可能利用的文本與圖像之間的耦合，而且減少了對抗樣本訓(xùn)練所需的時間和計算資源，使得實際訓(xùn)練場景中計算需求少，減少了計算資源的浪費。

46、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本技術(shù)。