本發(fā)明涉及妝容遷移和人臉隱私保護(hù)，具體涉及一種對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、深度學(xué)習(xí)的興起引發(fā)了面部識(shí)別技術(shù)的范式轉(zhuǎn)變，使其在社交媒體、監(jiān)控和生物識(shí)別等領(lǐng)域得到了廣泛應(yīng)用。最近的研究表明，對(duì)抗性樣本可以成功避開(kāi)面部識(shí)別系統(tǒng)的檢測(cè)機(jī)制。

2、有現(xiàn)有技術(shù)(proceedings?of?the?ieee/cvf?conference?on?computer?visionand?pattern?recognition(2022)，第15014-15023頁(yè)，“protecting?facial?privacy:generating?adversarial?identity?masks?via?style-robust?makeup?transfer”)著重探討了一種對(duì)抗性?shī)y容mask生成的方法，其在人臉隱私保護(hù)應(yīng)用中擁有較好的性能表現(xiàn)。然而，化妝轉(zhuǎn)換過(guò)程中的對(duì)抗性擾動(dòng)會(huì)產(chǎn)生意外的偽影，無(wú)法保持圖像質(zhì)量。

3、另有現(xiàn)有技術(shù)(proceedings?of?the?ieee/cvf?conference?on?computervision?and?pattern?recognition(2023)，第20595-20605頁(yè)“clip2protect:protectingfacial?privacy?using?text-guided?makeup?via?adversarial?latent?search”)提出了一種以?shī)y容描述文本為指導(dǎo)的對(duì)抗方法，通過(guò)在生成模型的潛在空間中找到對(duì)抗性潛在編碼，可應(yīng)用于不同的目標(biāo)身份，而無(wú)需大規(guī)模的化妝數(shù)據(jù)集或模型重新訓(xùn)練。然而，在人臉驗(yàn)證的應(yīng)用場(chǎng)合中，該解決方案并沒(méi)有表現(xiàn)出最佳效果。

4、目前仍然缺乏一個(gè)綜合的人臉隱私方法，在生成自然且高質(zhì)量的對(duì)抗性?shī)y容樣本質(zhì)量的同時(shí)，仍然在人臉驗(yàn)證的應(yīng)用場(chǎng)合中較高的保護(hù)成功率。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述技術(shù)問(wèn)題以及本領(lǐng)域存在的不足之處，本發(fā)明提供了一種對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法。本發(fā)明首先訓(xùn)練了一個(gè)能夠?qū)⒖紛y容進(jìn)行更精細(xì)遷移的妝容遷移模型，利用該模型將參考妝容遷移至待保護(hù)人臉圖像上，然后將待保護(hù)圖像進(jìn)行編碼，利用該編碼微調(diào)生成器重新生成帶有參考妝容的待保護(hù)人臉圖像，最后，通過(guò)向待保護(hù)人臉圖像編碼中引入對(duì)抗性并生成帶有對(duì)抗性?shī)y容的人臉圖像，實(shí)現(xiàn)了一種對(duì)抗性?shī)y容生成的人臉隱私保護(hù)模型和方法，從而能夠在生成自然且高質(zhì)量的對(duì)抗性?shī)y容樣本質(zhì)量的同時(shí)，讓經(jīng)過(guò)處理的人臉圖像在人臉驗(yàn)證的應(yīng)用場(chǎng)合中較高的保護(hù)成功率。

2、一種對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，包括：

3、收集有妝容和無(wú)妝容的人臉圖像并進(jìn)行人臉對(duì)齊，得到數(shù)據(jù)集lc；

4、根據(jù)數(shù)據(jù)集lc中人臉圖像的人臉密集特征點(diǎn)對(duì)人臉進(jìn)行仿射變換，得到數(shù)據(jù)集af；

5、提取數(shù)據(jù)集lc中無(wú)妝容的人臉圖像xs和參考圖像yr的分割解析圖像parses和parser，得到人臉解析數(shù)據(jù)集fp；參考圖像yr為有妝容的人臉圖像；

6、利用lc、af和fp三個(gè)數(shù)據(jù)集訓(xùn)練妝容遷移生成器模型，將參考圖像yr的妝容遷移至人臉圖像xs，得到妝容遷移后的圖像xr；

7、將人臉圖像xs進(jìn)行編碼獲取潛在編碼ws，微調(diào)生成器gdc將人臉圖像xs的潛在編碼ws映射至妝容遷移后的圖像xr，得到生成的妝容圖像xgr；

8、對(duì)于任一需要隱私保護(hù)的無(wú)妝容人臉圖像，固定訓(xùn)練后的微調(diào)生成器gdc，以微調(diào)生成器gdc的生成圖像和選定的目標(biāo)人臉圖像zt的分布距離最小化為目標(biāo)，訓(xùn)練需要隱私保護(hù)的無(wú)妝容人臉圖像的潛在編碼并將其更新為混合潛在編碼wmix，將混合潛在編碼wmix輸入訓(xùn)練后的微調(diào)生成器gdc，生成具有隱私保護(hù)功能的對(duì)抗性?shī)y容人臉圖像。

9、本發(fā)明中，無(wú)妝容、有妝容可以理解為是一對(duì)相對(duì)的概念，無(wú)妝容圖像可以理解為需要進(jìn)行妝容遷移的圖像，有妝容圖像可以理解為用于提供妝容的圖像。

10、所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，人臉密集特征點(diǎn)可利用face++api獲取。

11、所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，分割解析圖像parses和parser可利用face?parsing方法提取。

12、所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，利用lc、af和fp三個(gè)數(shù)據(jù)集訓(xùn)練妝容遷移生成器模型，將參考圖像yr的妝容遷移至人臉圖像xs，得到妝容遷移后的圖像xr具體可包括：

13、采用ssat的模型結(jié)構(gòu)，利用lc和af兩個(gè)數(shù)據(jù)集以及分割解析圖像parses和parser訓(xùn)練妝容遷移gan模型，得到妝容遷移生成器gmt；

14、妝容遷移生成器gmt將參考圖像yr的妝容遷移至人臉圖像xs，得到妝容遷移后的圖像xr。

15、所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，對(duì)于任一人臉圖像，可利用e4e編碼器獲取其相應(yīng)的潛在編碼。

16、所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，微調(diào)生成器gdc將人臉圖像xs的潛在編碼ws映射至妝容遷移后的圖像xr，得到生成的妝容圖像xgr的過(guò)程中可采用stylegan2的模型結(jié)構(gòu)且基于訓(xùn)練總損失項(xiàng)ltotal1：

17、ltotal1＝lperspective+l2

18、其中，lperspective是利用lpips計(jì)算的生成的妝容圖像xgr和妝容遷移后的圖像xr的感知損失項(xiàng)，l2是利用交叉熵?fù)p失計(jì)算的生成的妝容圖像xgr和妝容遷移后的圖像xr的顏色損失項(xiàng)。

19、所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法，可基于訓(xùn)練總損失項(xiàng)ltotal2訓(xùn)練需要隱私保護(hù)的無(wú)妝容人臉圖像的潛在編碼并將其更新為混合潛在編碼wmix：

20、ltotal2＝ladv+llatent+lmakeup

21、其中，ladv是計(jì)算微調(diào)生成器gdc的生成圖像和目標(biāo)人臉圖像zt分布距離的對(duì)抗損失項(xiàng)，llatent是計(jì)算需要隱私保護(hù)的無(wú)妝容人臉圖像的潛在編碼和目標(biāo)人臉圖像zt的潛在編碼wt的l2范式的潛在編碼損失項(xiàng)，lmakeup是計(jì)算微調(diào)生成器gdc的生成圖像和妝容遷移后的圖像xr區(qū)域直方圖匹配損失的妝容損失項(xiàng)。

22、本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序運(yùn)行時(shí)使得所述處理器執(zhí)行所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法。

23、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，在程序或指令被計(jì)算機(jī)設(shè)備執(zhí)行的情況下，使得計(jì)算機(jī)設(shè)備執(zhí)行所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法。

24、本發(fā)明還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，在計(jì)算機(jī)程序被計(jì)算機(jī)設(shè)備執(zhí)行的情況下，使得計(jì)算機(jī)設(shè)備執(zhí)行所述的對(duì)抗性?shī)y容生成的人臉圖像隱私保護(hù)方法。

25、本發(fā)明與現(xiàn)有技術(shù)相比，有益效果有：

26、1、本發(fā)明設(shè)計(jì)了一種能夠在不顯著改變用戶(hù)外貌的前提下，將化妝效果和對(duì)抗性擾動(dòng)自然結(jié)合的對(duì)抗樣本生成方法，在人臉驗(yàn)證的應(yīng)用場(chǎng)合中具有較高的保護(hù)成功率，有效地保護(hù)了用戶(hù)的面部隱私。

27、2、本發(fā)明的生成方法能夠生成圖像質(zhì)量更高的對(duì)抗樣本，具有更少的偽影，在確保圖像質(zhì)量與自然效果的同時(shí)更加不易被惡意攻擊者發(fā)現(xiàn)。