本發(fā)明涉及圖像處理，具體涉及一種基于自監(jiān)督學(xué)習(xí)和多視圖特征融合的對抗補丁定位方法。

背景技術(shù)：

1、對抗補丁攻擊是指修改圖像一個指定區(qū)域內(nèi)的像素，使神經(jīng)網(wǎng)絡(luò)改變對圖像的預(yù)測結(jié)果。隨著對抗補丁攻擊技術(shù)的進步，對抗補丁攻擊的魯棒性逐漸提升，在面對光線、角度等環(huán)境因素的改變都能保存較高的攻擊成功率。對抗補丁攻擊為物理世界帶來了嚴(yán)重的安全隱患，例如不法分子可以在交通指示標(biāo)志上使用對抗攻擊方法，導(dǎo)致無人駕駛汽車無法正確識別相關(guān)標(biāo)志，進而造成交通安全事故。

2、在當(dāng)前的研究工作中，常使用對抗訓(xùn)練方法防御對抗補丁攻擊，而對抗訓(xùn)練方法存在著其固有的缺點，主要體現(xiàn)在時間和計算開銷較大、影響干凈樣本預(yù)測準(zhǔn)確性、針對每個特定數(shù)據(jù)集和模型都要重新訓(xùn)練魯棒模型。另一種角度的防御選擇是基于樣本凈化的對抗防御方法，在圖像預(yù)處理階段進行對抗補丁定位和移除，也可以起到較好的防御效果。目前的對抗補丁移除方法有效的防御了一定范圍的對抗補丁攻擊。然而，現(xiàn)有的移除方法中考慮的對抗補丁較為簡單，但已經(jīng)出現(xiàn)采用了更復(fù)雜的攻擊策略的對抗補丁，提升了攻擊的成功率和隱蔽性，現(xiàn)有防御方法難以定位復(fù)雜的對抗補丁，防御效果較弱。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本發(fā)明公開了基于自監(jiān)督學(xué)習(xí)和多視圖特征融合的對抗補丁定位方法，設(shè)計了端到端的對抗補丁定位方法，用于實現(xiàn)對抗補丁定位，能夠更有效的定位圖像中的對抗補丁，結(jié)合移除方法可以提高下游神經(jīng)網(wǎng)絡(luò)的魯棒性；通過補丁區(qū)域與原圖區(qū)域的紋理特征差異來對補丁進行檢測定位，避免模型關(guān)注某種指定紋理的對抗補?。焕眠吘壭畔⑻卣魈嵘ㄎ粶?zhǔn)確性；使用編碼器-解碼器網(wǎng)絡(luò)對rgb視圖和邊緣視圖的圖像進行特征提取；根據(jù)特征的相關(guān)性賦予特征圖各個通道不同的權(quán)重，使用多尺度融合充分融合不同分辨率的特征信息；設(shè)計多尺度特征融合模塊輸出的對抗補丁定位掩碼進行補全，同時減少因?qū)寡a丁移除帶來的圖像語義信息損失。

2、本發(fā)明提供了一種基于自監(jiān)督學(xué)習(xí)和多視圖特征融合的對抗補丁定位方法，包括：

3、s1、構(gòu)建目標(biāo)檢測圖像數(shù)據(jù)集和測試圖像數(shù)據(jù)集；

4、步驟s1所述構(gòu)建數(shù)據(jù)集具體步驟包括：

5、s11、基于下游目標(biāo)檢測任務(wù)獲得多個目標(biāo)檢測圖像數(shù)據(jù)，建立目標(biāo)檢測圖像數(shù)據(jù)集；

6、進一步的，所述每個目標(biāo)檢測圖像數(shù)據(jù)分別對應(yīng)標(biāo)注信息；

7、所述標(biāo)注信息包括目標(biāo)檢測圖像內(nèi)物體的矩形框坐標(biāo)和分類標(biāo)簽；可以理解的是，所述物體為待檢測目標(biāo)，例如，coco數(shù)據(jù)集中多種目標(biāo)中人、車輛等；

8、s12、在所述目標(biāo)檢測圖像數(shù)據(jù)集中每張目標(biāo)檢測圖像添加對抗補丁，得到測試圖像數(shù)據(jù)集；

9、進一步的，所述每張測試圖像分別對應(yīng)標(biāo)注信息；所述每張測試圖像分別對應(yīng)標(biāo)注信息包括對抗補丁的掩碼、圖像內(nèi)物體的矩形框坐標(biāo)和分類標(biāo)簽；

10、s2、令i＝1，其中，i＝1時，xi為第一個目標(biāo)檢測圖像、ai為初始特征提取骨干網(wǎng)絡(luò)、bi為初始多尺度融合特征模型、ci為初始像素分類卷積層；

11、s3、在所述目標(biāo)檢測圖像數(shù)據(jù)集中選擇圖像xi和隨機圖像x'i；將所述圖像xi表征為干凈圖像ci；根據(jù)圖像xi的物體邊框標(biāo)注b獲得所述干凈圖像ci對應(yīng)的補丁掩碼m＝f(b)；

12、s4、獲得隨機圖像x'i的掩碼；基于所述隨機圖像x'i的掩碼對步驟s3所述干凈圖像ci對應(yīng)的補丁掩碼進行數(shù)據(jù)增強，得到數(shù)據(jù)增強后的訓(xùn)練樣本^xi及對應(yīng)掩碼；

13、所述數(shù)據(jù)增強后的訓(xùn)練樣本^xi的表達式為：

14、^xi＝xi*(1-mi)+x'i*mi

15、優(yōu)選地，步驟s4所述得到數(shù)據(jù)增強后的訓(xùn)練樣本^xi及對應(yīng)掩碼具體步驟包括：

16、使用基礎(chǔ)幾何圖形堆疊的方式生成隨機圖像x'i的掩碼；

17、所述干凈圖像ci對應(yīng)的補丁掩碼包括多個矩形區(qū)域；

18、基于所述隨機圖像x'i的掩碼對所述干凈圖像ci對應(yīng)的補丁掩碼的每個矩形區(qū)域進行形狀變換，得到數(shù)據(jù)增強后的訓(xùn)練樣本^xi及對應(yīng)掩碼。

19、s5、使用拉普拉斯算子對步驟s4所述數(shù)據(jù)增強后的訓(xùn)練樣本^xi進行高通濾波，得到具有邊緣特征的圖像di；

20、進一步地，所述步驟s5中使用拉普拉斯算子進行高通濾波，通過在圖像中應(yīng)用二階偏導(dǎo)數(shù)來實現(xiàn)邊緣檢測。

21、s6、獲取圖像xi的rgb圖像；基于特征提取骨干網(wǎng)絡(luò)ai得到所述rgb圖像的視圖特征ri；基于特征提取骨干網(wǎng)絡(luò)得到所述具有邊緣特征的圖像的視圖特征d′i以及更新特征提取骨干網(wǎng)絡(luò)；

22、優(yōu)選的，得到所述rgb圖像的視圖特征ri和具有邊緣特征的圖像的視圖特征d′i具體步驟包括：

23、使用特征提取骨干網(wǎng)絡(luò)ai分別提取圖像xi的rgb圖像的特征和具有邊緣特征的圖像di的特征；

24、將所述圖像xi的rgb圖像的特征進行逐級降采樣和升采樣得到具有多個分辨率的特征圖r～i；

25、將具有邊緣特征的圖像di的特征通過逐級降采樣和升采樣得到具有多個邊緣特征的特征圖d″i；

26、將所述具有多個分辨率的特征圖r～i和具有多個邊緣特征的特征圖d″i；

27、在同級降采樣層和升采樣層間建立跳躍連接，得到對應(yīng)的rgb圖像的視圖特征ri和具有邊緣特征的圖像的視圖特征d′i以及特征提取骨干網(wǎng)絡(luò)。

28、進一步地，步驟s6所述特征提取骨干網(wǎng)絡(luò)為具有4層下采樣和4層上采樣的編碼器-解碼器結(jié)構(gòu)；在所述編碼器-解碼器結(jié)構(gòu)中，同級編碼器-解碼器間設(shè)置了跳躍連接；所述特征提取骨干網(wǎng)絡(luò)包括輸出層，所述輸出層使用單類別的卷積層，并使用sigmoid激活函數(shù)將輸出值限制在0到1之間。

29、s7、將所述rgb圖像的視圖特征ri和具有邊緣特征的圖像的視圖特征d′i進行拼接后，輸入多尺度融合特征模型bi進行融合處理，得到多尺度融合特征ei和更新多尺度融合特征模型；

30、優(yōu)選的，步驟s6所述得到多尺度融合特征ei具體步驟包括：

31、將所述rgb圖像的視圖特征ri和具有邊緣特征的圖像的視圖特征d′i進行拼接，得到拼接后的多尺度特征圖ei；

32、將所述拼接后的多尺度特征圖ei輸入多尺度融合特征模型bi，基于多頭深度卷積轉(zhuǎn)置注意力對拼接后的多尺度特征圖ei進行多尺度的跨通道特征融合，得到多尺度融合特征ei和更新多尺度融合特征模型。

33、進一步地，步驟s7還包括獲得基于多頭深度卷積轉(zhuǎn)置注意力，具體步驟包括：

34、設(shè)輸入張量將張量x標(biāo)準(zhǔn)化得到標(biāo)準(zhǔn)化張量

35、使用1×1的普通卷積提取標(biāo)準(zhǔn)化張量像素級的跨通道上下文信息，得到更新標(biāo)準(zhǔn)化張量；

36、使用3×3的深度方向卷積編碼所述更新標(biāo)準(zhǔn)化張量通道級的空間上下文信息，得到初始查詢q矩陣，初始鍵值k矩陣和初始數(shù)值v矩陣；

37、分別對初始查詢q矩陣，初始鍵值k矩陣和初始數(shù)值v矩陣進行維度變換，獲得多頭深度卷積轉(zhuǎn)置注意力。

38、更進一步，所述多頭深度卷積轉(zhuǎn)置注意力表達式為：

39、

40、其中，為多頭深度卷積轉(zhuǎn)置注意力的輸出，wp為1×1的卷積操作；α為可學(xué)習(xí)的參數(shù)，用于控制k矩陣和q矩陣的點積結(jié)果大小；softmax(·)為激活函數(shù)；x表示輸入注意力模塊的特征圖。

41、s8、將步驟s7獲得的多尺度融合特征ei通過像素分類卷積層ci處理后得到預(yù)測掩碼bi以及所述預(yù)測掩碼bi的損失；

42、優(yōu)選的，步驟s8所述預(yù)測掩碼bi的損失具體步驟包括：

43、將步驟s7獲得的多尺度融合特征ei輸入像素分類卷積層中，基于激活函數(shù)進行處理后得到預(yù)測掩碼bi，計算預(yù)測掩碼bi與s3中得到的補丁掩碼的損失；

44、進一步地，所述激活函數(shù)為sigmoid函數(shù)；

45、優(yōu)選的，所述預(yù)測掩碼bi中掩碼的取值為0到1，其中，越接近1代表該像素為對抗補丁的概率越大；

46、優(yōu)選的，所述步驟s8中損失表達式為：

47、ltotal,i＝lbce,i+λldice,i；

48、其中，λ是超參數(shù)，用于調(diào)整dice損失的權(quán)重；ltotal,i為第i個圖像的損失，lbce,i為第i個圖像的交叉熵?fù)p失，ldice,i為第i個圖像的dice損失。

49、進一步的，所述交叉熵?fù)p失表達式為：

50、

51、其中，yi是第i個圖像的補丁掩碼，xi是第i個圖像的預(yù)測掩碼為補丁掩碼的概率，對n個圖像的分類結(jié)果分別計算交叉熵?fù)p失后取平均值。

52、進一步的，所述dice損失函數(shù)ldice,i表達式為：

53、

54、其中，xi,j為第i個圖像的像素點j的預(yù)測掩碼，yi,j為第i個圖像的像素點j的補丁掩碼；j＝1,2,3...j，j為像素點的總個數(shù)。

55、s9、比較i與i的大小，i表示目標(biāo)檢測圖像總個數(shù)，若i＜i，對數(shù)值i加1，并返回步驟s3，若i＝i，則結(jié)束訓(xùn)練，得到更新特征提取骨干網(wǎng)絡(luò)、更新多尺度融合特征模型和更新像素分類卷積層；

56、進一步的，為了驗證本發(fā)明的有效性和實用性，以coco子數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集(10000張)，依照步驟s1-步驟s9訓(xùn)練模型，使用rmsprop作為模型的優(yōu)化器，學(xué)習(xí)率設(shè)定為0.00001，使用訓(xùn)練數(shù)據(jù)的80％訓(xùn)練模型，10％用作驗證模型，10％用作測試模型，共訓(xùn)練20次迭代，最終保存驗證集評測指標(biāo)最好的模型作為最終結(jié)果；

57、使用coco子數(shù)據(jù)集進行模型評估，評估數(shù)據(jù)集包含1000張?zhí)砑訌?fù)雜對抗補丁攻擊的樣本，利用訓(xùn)練好的模型按照上述步驟s9進行評估，并與真實標(biāo)簽進行比較，其中未添加對抗補丁時coco數(shù)據(jù)集的map指標(biāo)為46.5，添加對抗補丁后coco數(shù)據(jù)集的map指標(biāo)為18.9，對抗補丁定位掩碼的像素級f1值為0.917，結(jié)合使用對抗補丁移除方法后coco數(shù)據(jù)集的map指標(biāo)為39.5，屬于較好的結(jié)果，說明本發(fā)明有效可行。

58、s10、基于訓(xùn)練后的特征提取骨干網(wǎng)絡(luò)、訓(xùn)練后的多尺度融合特征模型和訓(xùn)練后的像素分類卷積層構(gòu)建補丁定位模型；基于所述補丁定位模型進行補丁定位。

59、本發(fā)明還提供了一種對抗補丁定位移除方法，包括：

60、s11、基于更新特征提取骨干網(wǎng)絡(luò)、更新多尺度融合特征模型和更新像素分類卷積層構(gòu)建補丁定位模型；

61、對所述補丁定位模型進行更新，得到補丁定位移除模型，將待測圖像輸入所述補丁移除模型，進行對抗補丁移除，得到對抗補丁移除后的圖像。

62、優(yōu)選的，所述得到對抗補丁移除后的圖像的具體步驟包括：

63、s111、基于更新特征提取骨干網(wǎng)絡(luò)、更新多尺度融合特征模型和更新像素分類卷積層構(gòu)建補丁定位模型；

64、s112、將待測圖像輸入所述對抗補丁定位模型，得到初始預(yù)測掩碼b′i；

65、s113、設(shè)計掩碼補全模塊和圖像重構(gòu)模塊；將所述掩碼補全模塊和圖像重構(gòu)模塊嵌入所述補丁定位模型，得到補丁定位移除模型；

66、s114、將所述初始預(yù)測掩碼b′i輸入所述補丁定位移除模型，基于所述掩碼補全模塊得到補全預(yù)測掩碼bi；

67、將所述補全預(yù)測掩碼bi對應(yīng)的區(qū)域表征為補丁移除區(qū)域；

68、s115、所述補丁移除區(qū)域利用圖像重構(gòu)模塊，獲取待測圖像原圖區(qū)域；基于待測圖像原圖區(qū)域?qū)λ鲅a丁移除區(qū)域的紋理進行移除，得到對抗補丁移除后的圖像。

69、進一步的，所述步驟s114中所述得到補全預(yù)測掩碼bi具體步驟包括：

70、s1141、獲取測試圖像ai的原始掩碼mo；預(yù)設(shè)窗口的寬度w和高度h，預(yù)設(shè)對抗補丁掩碼閾值z；

71、s1142、將原始掩碼mo輸入至對抗補丁掩碼補全模塊，初始化與原始掩碼mo同大小的0值數(shù)組mc；

72、s1143、所述原始掩碼mo包括多個像素；所述每個h×w的窗口內(nèi)包括多個像素值；

73、s1144、將像素p的中心設(shè)置大小為h×w的窗口，計算所述窗口內(nèi)多個像素值之和；

74、s1145、將所述窗口內(nèi)多個像素值之和與對抗補丁掩碼閾值z對比，若所述窗口內(nèi)多個像素值之和大于對抗補丁掩碼閾值z，則將像素p對應(yīng)位置的數(shù)組mc的值設(shè)為255；若小于對抗補丁掩碼閾值z，則不修改像素p的取值；

75、s1146、重復(fù)步驟s1144-1145，直至遍歷完原始掩碼mo中的多個像素，得到補全預(yù)測掩碼bi。

76、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有現(xiàn)如下有益效果：

77、(1)本發(fā)明的自監(jiān)督學(xué)習(xí)策略可以增強防御模型的魯棒性和泛化性，同時節(jié)約了計算對抗補丁樣本所需的算力資源；

78、(2)本發(fā)明將邊緣視圖特征引入對抗補丁定位，使用注意力機制對不同視圖的特征進行融合，提升對抗補丁定位的準(zhǔn)確性；

79、(3)本發(fā)明可以移除圖像中的對抗補丁，重構(gòu)補丁區(qū)域紋理。