本發(fā)明涉及遷移學(xué)習(xí)，尤其涉及的是一種基于雙路徑對抗提升去噪的測試時自適應(yīng)方法及裝置。

背景技術(shù)：

1、深度神經(jīng)網(wǎng)絡(luò)在各種計算機(jī)視覺任務(wù)的應(yīng)用中，依賴大量帶標(biāo)簽的訓(xùn)練數(shù)據(jù)集和大量計算資源。當(dāng)訓(xùn)練樣本和測試樣本來自不同環(huán)境時，會出現(xiàn)領(lǐng)域漂移問題。測試時領(lǐng)域自適應(yīng)是一套遷移學(xué)習(xí)方法，旨在將有標(biāo)記數(shù)據(jù)集(源域)訓(xùn)練的網(wǎng)絡(luò)模型遷移到新的未標(biāo)記數(shù)據(jù)集(目標(biāo)域)，并且是在推理階段對輸入樣本進(jìn)行序列分析，可以在測試過程中有效地適應(yīng)源域模型，以解決深度神經(jīng)網(wǎng)絡(luò)的跨域性能退化問題。

2、無監(jiān)督領(lǐng)域自適應(yīng)包括：有源領(lǐng)域自適應(yīng)的方法和無源領(lǐng)域自適應(yīng)的方法。有源領(lǐng)域自適應(yīng)方法主要包括統(tǒng)計分布匹配和生成對抗網(wǎng)絡(luò)方法以最小化領(lǐng)域差異，但有源領(lǐng)域自適應(yīng)方法必須依賴源域的有標(biāo)注的數(shù)據(jù)，在實際應(yīng)用中，由于數(shù)據(jù)隱私問題或傳輸困難，通常無法訪問源域樣本。無源領(lǐng)域自適應(yīng)的方法則直接在目標(biāo)域做無監(jiān)督遷移學(xué)習(xí)，而不需要源域的有標(biāo)注數(shù)據(jù)。但是，無源領(lǐng)域自適應(yīng)方法需要訪問整個測試集數(shù)據(jù)并經(jīng)過多輪訓(xùn)練。

3、因此，現(xiàn)有的兩種領(lǐng)域自適應(yīng)方法，會導(dǎo)致需傳輸大量數(shù)據(jù)并且不能保護(hù)數(shù)據(jù)隱私，或者需訪問整個測試集數(shù)據(jù)并經(jīng)過多輪訓(xùn)練、不能實時地在線更新模型的問題。

4、因此，現(xiàn)有技術(shù)存在缺陷，有待改進(jìn)與發(fā)展。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述缺陷，提供一種基于雙路徑對抗提升去噪的測試時自適應(yīng)方法及裝置，旨在解決現(xiàn)有技術(shù)中的領(lǐng)域自適應(yīng)方法會導(dǎo)致需傳輸大量數(shù)據(jù)并且不能保護(hù)數(shù)據(jù)隱私，或者需訪問整個測試集數(shù)據(jù)并經(jīng)過多輪訓(xùn)練、不能實時地在線更新模型的問題。

2、本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下：

3、一種基于雙路徑對抗提升去噪的測試時自適應(yīng)方法，其中，所述方法包括：

4、獲取目標(biāo)域圖像，將所述目標(biāo)域圖像輸入預(yù)訓(xùn)練的源域模型中，所述源域模型中添加有可學(xué)習(xí)的領(lǐng)域漂移標(biāo)記，且所述源域模型的每個編碼器層中均添加有提升去噪模塊，所述領(lǐng)域漂移標(biāo)記用于學(xué)習(xí)目標(biāo)域圖像中的類別不可分特征，所述提升去噪模塊用于對目標(biāo)域圖像的圖像特征去噪；

5、利用所述源域模型中的嵌入層將所述目標(biāo)域圖像轉(zhuǎn)換為圖像塊向量，并將所述圖像塊向量、所述領(lǐng)域漂移標(biāo)記及源域模型中預(yù)訓(xùn)練的類標(biāo)記輸入所述源域模型的若干編碼器層中，反向傳播更新所述領(lǐng)域漂移標(biāo)記和所述提升去噪模塊中的網(wǎng)絡(luò)參數(shù)，得到目標(biāo)域模型；

6、將所述目標(biāo)域圖像輸入所述目標(biāo)域模型中，得到對應(yīng)的圖像分類結(jié)果。

7、在本技術(shù)的一個實施例中，所述獲取目標(biāo)域圖像，將所述目標(biāo)域圖像輸入預(yù)訓(xùn)練的源域模型中，包括：

8、獲取用于模型領(lǐng)域自適應(yīng)的目標(biāo)域數(shù)據(jù)集，所述目標(biāo)域數(shù)據(jù)集中包括若干目標(biāo)域圖像；

9、將所述目標(biāo)域數(shù)據(jù)集中的所有目標(biāo)域圖像分批次輸入預(yù)訓(xùn)練的源域模型中。

10、在本技術(shù)的一個實施例中，利用所述源域模型中的嵌入層將所述目標(biāo)域圖像轉(zhuǎn)換為圖像塊向量，并將所述圖像塊向量、所述領(lǐng)域漂移標(biāo)記及源域模型中預(yù)訓(xùn)練的類標(biāo)記輸入所述源域模型的若干編碼器層中，反向傳播更新所述領(lǐng)域漂移標(biāo)記和所述提升去噪模塊中的網(wǎng)絡(luò)參數(shù)，得到目標(biāo)域模型，包括：

11、利用所述源域模型中的嵌入層將當(dāng)前批次中所有所述目標(biāo)域圖像分別切分成若干圖像塊，并將各個所述圖像塊轉(zhuǎn)換為圖像塊向量；

12、將所述圖像塊向量、所述領(lǐng)域漂移標(biāo)記及源域模型中預(yù)訓(xùn)練的類標(biāo)記輸入所述源域模型的若干編碼器層中；

13、在每個編碼器層中，基于上一層的領(lǐng)域漂移標(biāo)記、類標(biāo)記和所述提升去噪模塊，分離當(dāng)前編碼器層的領(lǐng)域漂移特征以及目標(biāo)域圖像對應(yīng)的圖像特征中的噪聲；

14、利用預(yù)設(shè)的信息熵?fù)p失函數(shù)反向傳播更新所述領(lǐng)域漂移標(biāo)記和所述提升去噪模塊中的網(wǎng)絡(luò)參數(shù)，得到優(yōu)化模型；

15、利用預(yù)設(shè)的相似度損失函數(shù)對所述優(yōu)化模型進(jìn)行調(diào)整，得到目標(biāo)域模型。

16、在本技術(shù)的一個實施例中，所述提升去噪模塊包括預(yù)測網(wǎng)絡(luò)和更新網(wǎng)絡(luò)；

17、所述在每個編碼器層中，基于上一層的領(lǐng)域漂移標(biāo)記、類標(biāo)記和所述提升去噪模塊，分離當(dāng)前編碼器層的領(lǐng)域漂移特征以及目標(biāo)域圖像對應(yīng)的圖像特征中的噪聲，包括：

18、在每層編碼器中，將上一層的領(lǐng)域漂移標(biāo)記輸入所述預(yù)測網(wǎng)絡(luò)中，預(yù)測當(dāng)前編碼器層的領(lǐng)域漂移特征；

19、將所述領(lǐng)域漂移特征和所述類標(biāo)記輸入所述更新網(wǎng)絡(luò)，分離出目標(biāo)域圖像對應(yīng)的圖像特征中的噪聲；

20、其中，所述預(yù)測網(wǎng)絡(luò)的初始化網(wǎng)絡(luò)參數(shù)為0。

21、在本技術(shù)的一個實施例中，所述相似度損失函數(shù)所占的權(quán)重與所述信息熵?fù)p失函數(shù)所占的權(quán)重之間比值為預(yù)設(shè)平衡參數(shù)。

22、在本技術(shù)的一個實施例中，每個批次的若干目標(biāo)域圖像同時輸入預(yù)訓(xùn)練的源域模型中，當(dāng)前批次使用的源域模型是上一批次更新得到的目標(biāo)域模型。

23、在本技術(shù)的一個實施例中，將所述目標(biāo)域圖像輸入所述目標(biāo)域模型中，得到對應(yīng)的圖像分類結(jié)果，包括：

24、將當(dāng)前批次中所有所述目標(biāo)域圖像輸入所述目標(biāo)域模型中，得到當(dāng)前批次中各個目標(biāo)域圖像對應(yīng)的圖像分類結(jié)果。

25、本技術(shù)還提供一種基于雙路徑對抗提升去噪的測試時自適應(yīng)裝置，其中，所述裝置包括：

26、輸入模塊，用于獲取目標(biāo)域圖像，將所述目標(biāo)域圖像輸入預(yù)訓(xùn)練的源域模型中，所述源域模型中添加有可學(xué)習(xí)的領(lǐng)域漂移標(biāo)記，且所述源域模型的每個編碼器層中均添加有提升去噪模塊，所述領(lǐng)域漂移標(biāo)記用于學(xué)習(xí)目標(biāo)域圖像中的類別不可分特征，所述提升去噪模塊用于對目標(biāo)域圖像的圖像特征去噪；

27、更新模塊，用于利用所述源域模型中的嵌入層將所述目標(biāo)域圖像轉(zhuǎn)換為圖像塊向量，并將所述圖像塊向量、所述領(lǐng)域漂移標(biāo)記及源域模型中預(yù)訓(xùn)練的類標(biāo)記輸入所述源域模型的若干編碼器層中，反向傳播更新所述領(lǐng)域漂移標(biāo)記和所述提升去噪模塊中的網(wǎng)絡(luò)參數(shù)，得到目標(biāo)域模型；

28、分類模塊，用于將所述目標(biāo)域圖像輸入所述目標(biāo)域模型中，得到對應(yīng)的圖像分類結(jié)果。

29、本技術(shù)還提供一種終端，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于雙路徑對抗提升去噪的測試時自適應(yīng)程序，所述基于雙路徑對抗提升去噪的測試時自適應(yīng)程序被所述處理器執(zhí)行時實現(xiàn)如上所述的基于雙路徑對抗提升去噪的測試時自適應(yīng)方法的步驟。

30、本技術(shù)還提供一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序能夠被執(zhí)行以用于實現(xiàn)如上所述的基于雙路徑對抗提升去噪的測試時自適應(yīng)方法的步驟。

31、本發(fā)明提供的一種基于雙路徑對抗提升去噪的測試時自適應(yīng)方法及裝置，所述方法包括：獲取目標(biāo)域圖像，將所述目標(biāo)域圖像輸入預(yù)訓(xùn)練的源域模型中，所述源域模型中添加有可學(xué)習(xí)的領(lǐng)域漂移標(biāo)記，且所述源域模型的每個編碼器層中均添加有提升去噪模塊，所述領(lǐng)域漂移標(biāo)記用于學(xué)習(xí)目標(biāo)域圖像中的類別不可分特征，所述提升去噪模塊用于對目標(biāo)域圖像的圖像特征去噪；利用所述源域模型中的嵌入層將所述目標(biāo)域圖像轉(zhuǎn)換為圖像塊向量，并將所述圖像塊向量、所述領(lǐng)域漂移標(biāo)記及源域模型中預(yù)訓(xùn)練的類標(biāo)記輸入所述源域模型的若干編碼器層中，反向傳播更新所述領(lǐng)域漂移標(biāo)記和所述提升去噪模塊中的網(wǎng)絡(luò)參數(shù)，得到目標(biāo)域模型；將所述目標(biāo)域圖像輸入所述目標(biāo)域模型中，得到對應(yīng)的圖像分類結(jié)果。本發(fā)明通過添加可學(xué)習(xí)的領(lǐng)域漂移標(biāo)記和提升去噪模塊，在完全在線的測試時自適應(yīng)過程中，每個編碼器層的提升去噪模塊能夠利用領(lǐng)域漂移標(biāo)記進(jìn)行去噪，逐漸消除域偏移的影響，從而提高模型的測試性能，避免了需傳輸大量數(shù)據(jù)并且不能保護(hù)數(shù)據(jù)隱私，或者需訪問整個測試集數(shù)據(jù)并經(jīng)過多輪訓(xùn)練、不能實時地在線更新模型的問題。