本發(fā)明屬于一種對抗訓(xùn)練方法，具體是涉及到一種基于解耦一致性正則化的對抗訓(xùn)練方法、圖像分類方法。

背景技術(shù)：

1、深度學(xué)習(xí)因其在眾多領(lǐng)域中的革命性應(yīng)用引起廣泛的關(guān)注，但它的崛起也暴露了一些安全缺陷。在一系列的安全風(fēng)險中，以對抗樣本最為廣泛，對抗樣本通過引入細(xì)微難以察覺的擾動加入干凈樣本圖像來誘導(dǎo)模型高置信度的錯誤分類。

2、例如，在自動駕駛領(lǐng)域，大多數(shù)情況下，自動駕駛系統(tǒng)都能正常識別交通標(biāo)志和標(biāo)線，但如果路面上被涂上了不起眼的干擾信息(相當(dāng)于對抗樣本)，車輛如果無法正確識別對抗樣本，就可能根據(jù)這些錯誤信息做出錯誤決策，比如駛?cè)敕聪蜍嚨?，對道路安全?gòu)成嚴(yán)重威脅。在人臉識別領(lǐng)域，在未添加擾動的原始樣本中，加入噪聲得到對抗樣本后，人臉識別模型可能無法對人臉進(jìn)行正確分類，在人臉支付、人臉識別開鎖等應(yīng)用場景下會產(chǎn)生安全問題。

3、對抗訓(xùn)練通過將對抗樣本集成模塊到訓(xùn)練過程中來增強(qiáng)模型防御此類潛在威脅的能力，從而提供了它們對未來未知攻擊的彈性。這種方法可以看作是最小-最大優(yōu)化工作，旨在通過攻擊發(fā)現(xiàn)對抗樣本的最不利狀態(tài)，并隨后訓(xùn)練模型以承受這些最壞情況。雖然對抗訓(xùn)練已被認(rèn)可是對對抗樣本的有利防御，但它仍舊面臨一些限制，一個突出障礙是如何平衡未被攻擊樣本的分類準(zhǔn)確性與模型的魯棒性。分類精度和魯棒性之間的妥協(xié)原因非常直觀：為了防止模型被欺騙和保持分類精度不下降，在訓(xùn)練過程中加入的擾動必須是微妙且不可察覺的。然而，如果訓(xùn)練數(shù)據(jù)過于“干凈”，會使模型無法充分學(xué)習(xí)，從而損害模型泛化到更復(fù)雜的數(shù)據(jù)集的能力。分類準(zhǔn)確性和模型魯棒性兩個截然相反的優(yōu)化方向?qū)е路诸惥群汪敯艟染拖裉炱降膬啥?，提高一方總會對另一方產(chǎn)生不利影響。除了泛化性與魯棒性之間的權(quán)衡之外，訓(xùn)練的穩(wěn)定性還提出了另一個挑戰(zhàn)：在測試階段經(jīng)常觀察到魯棒精度的顯著降低，這表明出現(xiàn)過擬合現(xiàn)象。

4、現(xiàn)有技術(shù)中，無論是單步對抗訓(xùn)練還是多步對抗訓(xùn)練均是在一個耦合網(wǎng)絡(luò)中訓(xùn)練干凈樣本和對抗樣本，但是，同時訓(xùn)練兩種不同類型的數(shù)據(jù)集是有損害的，特別是對自然數(shù)據(jù)集的分類。首先，數(shù)據(jù)污染是一個固有的挑戰(zhàn)，如果錯誤地將對抗樣本視為干凈的樣本，訓(xùn)練數(shù)據(jù)就會受到污染，導(dǎo)致模型在處理自然數(shù)據(jù)時產(chǎn)生不準(zhǔn)確的結(jié)果；其次，這也會導(dǎo)致模型泛化能力的下降，它可能會影響訓(xùn)練結(jié)束后的網(wǎng)絡(luò)在收到對抗樣本的輸入并產(chǎn)生正確的響應(yīng)時的泛化能力。在測試階段，當(dāng)面對從未見過但可能出現(xiàn)的異常時，模型可能會做出錯誤的判斷。

5、由此可知，現(xiàn)有技術(shù)的對抗訓(xùn)練方法得到的模型難以準(zhǔn)確識別對抗樣本，導(dǎo)致模型的分類準(zhǔn)確度較低。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是現(xiàn)有技術(shù)的對抗訓(xùn)練方法得到的模型難以準(zhǔn)確識別對抗樣本，導(dǎo)致模型的分類準(zhǔn)確度較低，為了解決上述問題，本發(fā)明提供一種基于解耦一致性正則化的對抗訓(xùn)練方法、圖像分類方法。

2、本發(fā)明的內(nèi)容包括：

3、第一方面，本發(fā)明實施例提供了一種基于解耦一致性正則化的對抗訓(xùn)練方法，包括：

4、對目標(biāo)樣本圖像執(zhí)行兩次數(shù)據(jù)增強(qiáng)得到第一干凈樣本圖像和第二干凈樣本圖像；

5、對所述第一干凈樣本圖像和所述第二干凈樣本圖像進(jìn)行對抗性攻擊，得到第一對抗樣本圖像和第二對抗樣本圖像；

6、使用所述第一干凈樣本圖像和所述第二干凈樣本圖像對第一子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，以及使用所述第一對抗樣本圖像和所述第二對抗樣本圖像對第二子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，所述迭代訓(xùn)練的損失值包括一致性對比損失和分類損失，所述一致性對比損失基于兩個輸出圖像之間的相似度確定，所述分類損失基于分類任務(wù)中由于類別預(yù)測錯誤而產(chǎn)生的損失確定；

7、基于所述第一子學(xué)習(xí)器的網(wǎng)絡(luò)參數(shù)和所述第二子學(xué)習(xí)器的網(wǎng)絡(luò)參數(shù)更新圖像分類模型的網(wǎng)絡(luò)參數(shù)。

8、可選地，所述使用所述第一干凈樣本圖像和所述第二干凈樣本圖像對第一子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，以及使用所述第一對抗樣本圖像和所述第二對抗樣本圖像對第二子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，包括：

9、使用所述第一干凈樣本圖像和所述第二干凈樣本圖像對第一子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，得到所述第一子學(xué)習(xí)器對應(yīng)的所述損失值，以及使用所述第一對抗樣本圖像和所述第二對抗樣本圖像對第二子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，得到所述第二子學(xué)習(xí)器對應(yīng)的所述損失值；

10、基于所述第一子學(xué)習(xí)器對應(yīng)的損失值對所述第一子學(xué)習(xí)器進(jìn)行參數(shù)調(diào)整，以及基于所述第二子學(xué)習(xí)器對應(yīng)的損失值對所述第二子學(xué)習(xí)器進(jìn)行參數(shù)調(diào)整。

11、可選地，所述基于所述第一子學(xué)習(xí)器的網(wǎng)絡(luò)參數(shù)和所述第二子學(xué)習(xí)器的網(wǎng)絡(luò)參數(shù)更新圖像分類模型的網(wǎng)絡(luò)參數(shù)之后，所述方法還包括：

12、按照目標(biāo)頻率，基于更新后的所述圖像分類模型的網(wǎng)絡(luò)參數(shù)初始化所述第一子學(xué)習(xí)器和所述第二子學(xué)習(xí)器；

13、其中，所述目標(biāo)頻率用于表征所述圖像分類模型初始化所述第一子學(xué)習(xí)器和所述第二子學(xué)習(xí)器的頻率。

14、可選地，所述按照目標(biāo)頻率，基于更新后的所述圖像分類模型的網(wǎng)絡(luò)參數(shù)初始化所述第一子學(xué)習(xí)器和所述第二子學(xué)習(xí)器，包括：

15、在當(dāng)前的訓(xùn)練周期t等于所述目標(biāo)頻率c的情況下，在下一個訓(xùn)練周期，基于更新后的所述圖像分類模型的網(wǎng)絡(luò)參數(shù)初始化所述第一子學(xué)習(xí)器和所述第二子學(xué)習(xí)器，t和c均為正整數(shù)。

16、可選地，所述對所述第一干凈樣本圖像和所述第二干凈樣本圖像進(jìn)行對抗性攻擊，得到第一對抗樣本圖像和第二對抗樣本圖像，包括：

17、對所述第一干凈樣本圖像和所述第二干凈樣本圖像進(jìn)行對抗性攻擊，得到第一對抗樣本圖像和第二對抗樣本圖像，所述對抗性攻擊在所述第二子學(xué)習(xí)器的指導(dǎo)下進(jìn)行。

18、可選地，所述第一子學(xué)習(xí)器的所述一致性對比損失滿足：

19、

20、所述第二子學(xué)習(xí)器的所述一致性對比損失滿足：

21、

22、其中，js[·||·]表示兩幅圖像相似度的度量，表示被訓(xùn)練網(wǎng)絡(luò)的輸出，x1為所述第一干凈樣本圖像，x2為所述第二干凈樣本圖像，為所述第一對抗樣本圖像，為所述第二對抗樣本圖像，τ為溫度超參數(shù)。

23、可選地，所述第一子學(xué)習(xí)器的所述分類損失滿足：

24、

25、所述第二子學(xué)習(xí)器的所述分類損失滿足：

26、

27、其中，θclean為所述第一子學(xué)習(xí)器的參數(shù)，θrobust為所述第二子學(xué)習(xí)器的參數(shù)，y1為所述第一干凈樣本圖像的標(biāo)簽，y2為所述第二干凈樣本圖像的標(biāo)簽，為所述第一對抗樣本圖像的標(biāo)簽，為所述第二對抗樣本圖像的標(biāo)簽；

28、所述第一子學(xué)習(xí)器的所述損失值滿足：

29、

30、所述第二子學(xué)習(xí)器的所述損失值滿足：

31、

32、其中，μ為預(yù)設(shè)參數(shù)，用于表征所述一致性對比損失在模型訓(xùn)練過程中的重要性程度。

33、第二方面，本發(fā)明實施例提供一種圖像分類方法，包括：

34、將待處理圖像輸入到圖像分類模型進(jìn)行圖像分類處理，得到目標(biāo)類別；

35、其中，所述圖像分類模型利用如第一方面所述的基于解耦一致性正則化的對抗訓(xùn)練方法訓(xùn)練獲得。

36、第三方面，本發(fā)明實施例提供一種基于解耦一致性正則化的對抗訓(xùn)練裝置，包括：

37、數(shù)據(jù)增強(qiáng)模塊，用于對目標(biāo)樣本圖像執(zhí)行兩次數(shù)據(jù)增強(qiáng)得到第一干凈樣本圖像和第二干凈樣本圖像；

38、對抗性攻擊模塊，用于對所述第一干凈樣本圖像和所述第二干凈樣本圖像進(jìn)行對抗性攻擊，得到第一對抗樣本圖像和第二對抗樣本圖像；

39、迭代訓(xùn)練模塊，用于使用所述第一干凈樣本圖像和所述第二干凈樣本圖像對第一子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，以及使用所述第一對抗樣本圖像和所述第二對抗樣本圖像對第二子學(xué)習(xí)器進(jìn)行迭代訓(xùn)練，所述迭代訓(xùn)練的損失值包括一致性對比損失和分類損失，所述一致性對比損失基于兩個輸出圖像之間的相似度確定，所述分類損失基于分類任務(wù)中由于類別預(yù)測錯誤而產(chǎn)生的損失確定；

40、更新模塊，用于基于所述第一子學(xué)習(xí)器的網(wǎng)絡(luò)參數(shù)和所述第二子學(xué)習(xí)器的網(wǎng)絡(luò)參數(shù)更新圖像分類模型的網(wǎng)絡(luò)參數(shù)。

41、第四方面，本發(fā)明實施例提供一種圖像分類裝置，包括：

42、分類模塊，用于將待處理圖像輸入到圖像分類模型進(jìn)行圖像分類處理，得到目標(biāo)類別；

43、其中，所述圖像分類模型利用如第一方面所述的基于解耦一致性正則化的對抗訓(xùn)練方法訓(xùn)練獲得。

44、第五方面，本發(fā)明實施例提供一種電子設(shè)備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序；所述處理器，用于讀取存儲器中的程序?qū)崿F(xiàn)如第一方面所述的基于解耦一致性正則化的對抗訓(xùn)練方法中的步驟，或?qū)崿F(xiàn)如第二方面所述的圖像分類方法中的步驟。

45、第六方面，本發(fā)明實施例提供一種可讀存儲介質(zhì)，用于存儲程序，所述程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的基于解耦一致性正則化的對抗訓(xùn)練方法中的步驟，或?qū)崿F(xiàn)如第二方面所述的圖像分類方法中的步驟。

46、在本發(fā)明實施例中，模型訓(xùn)練時首先利用兩種不同的數(shù)據(jù)增強(qiáng)過程生成兩組干凈樣本的增強(qiáng)樣本，然后對這些增強(qiáng)樣本進(jìn)行攻擊，產(chǎn)生兩組相應(yīng)的對抗樣本。然后采用一種解耦方法，使用兩個具有共享架構(gòu)的子學(xué)習(xí)器分別利用干凈樣本圖像和對抗樣本圖像進(jìn)行迭代訓(xùn)練，而不是在一個單一耦合的網(wǎng)絡(luò)中訓(xùn)練這些樣本，從而避免了在競爭目標(biāo)之間做出妥協(xié)和防止次優(yōu)結(jié)果。此外，為了緩解魯棒過擬合和加速收斂，本方法還添加了一個一致性正則化損失來穩(wěn)定訓(xùn)練過程，通過控制對抗攻擊前后樣本的數(shù)據(jù)分布距離來緩解有害的對抗擾動。本發(fā)明的有益效果是，在提高訓(xùn)練得到的圖像分類模型的分類結(jié)果準(zhǔn)確度和精確度的同時，還可以提高模型的魯棒性，有效處理權(quán)衡和過擬合的問題。