本技術(shù)涉及計(jì)算機(jī)視覺，具體涉及一種基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目標(biāo)檢測(cè)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，旨在識(shí)別和定位圖像中特定類別的所有對(duì)象實(shí)例。近年來，該方向在有監(jiān)督方法上取得了巨大的進(jìn)步，并被廣泛用于圖像應(yīng)用，比如包括人臉識(shí)別、自動(dòng)駕駛和醫(yī)學(xué)檢測(cè)等領(lǐng)域；然而，其在訓(xùn)練樣本和測(cè)試樣本來自不同的分布時(shí)，存在領(lǐng)域偏移問題，以致檢測(cè)器的性能急劇下降，雖然可通過手動(dòng)收集和注釋目標(biāo)域訓(xùn)練樣本來緩解領(lǐng)域偏移問題，但這是非常昂貴和耗時(shí)的。

2、相關(guān)技術(shù)中，通過基于偽標(biāo)簽訓(xùn)練的無監(jiān)督領(lǐng)域自適應(yīng)目標(biāo)檢測(cè)方法來將兩個(gè)域的特征提取及映射并縮小源域和目標(biāo)域之間的分布差異，即通過學(xué)習(xí)源域的特征表示來賦予高置信度的目標(biāo)域樣本偽標(biāo)簽，進(jìn)而對(duì)檢測(cè)器進(jìn)行有監(jiān)督訓(xùn)練，以達(dá)到提高精度的效果，從而提升檢測(cè)器的性能。

3、然而，利用偽標(biāo)簽訓(xùn)練的方法中可靠的偽標(biāo)簽通常不具有目標(biāo)域知識(shí)，以致限制了檢測(cè)器在目標(biāo)域的性能提升。由此可見，如何減輕領(lǐng)域偏移，以提升檢測(cè)模型性能是當(dāng)前亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建方法、裝置、設(shè)備及介質(zhì)，可以解決現(xiàn)有技術(shù)中存在的因存在領(lǐng)域偏移而導(dǎo)致的模型性能下降技術(shù)問題。

2、第一方面，本技術(shù)實(shí)施例提供一種基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建方法，包括以下步驟：

3、將源域樣本轉(zhuǎn)換成目標(biāo)域風(fēng)格樣本，并將目標(biāo)域樣本轉(zhuǎn)換成源域風(fēng)格樣本；

4、基于源域樣本構(gòu)建源域字典，并基于目標(biāo)域風(fēng)格樣本構(gòu)建目標(biāo)域字典；

5、通過源域風(fēng)格樣本和目標(biāo)域字典構(gòu)建目標(biāo)域候選框，并通過目標(biāo)域風(fēng)格樣本和源域字典構(gòu)建源域候選框；

6、根據(jù)目標(biāo)域候選框和源域候選框間的交并比iou確定出偽標(biāo)簽及其對(duì)應(yīng)的置信度權(quán)重；

7、基于所述偽標(biāo)簽、所述置信度權(quán)重、所述源域樣本和所述目標(biāo)域樣本進(jìn)行加權(quán)自訓(xùn)練，以構(gòu)建出目標(biāo)檢測(cè)模型。

8、結(jié)合第一方面，在一種實(shí)施方式中，所述基于源域樣本構(gòu)建源域字典，并基于目標(biāo)域風(fēng)格樣本構(gòu)建目標(biāo)域字典，包括：

9、分別對(duì)源域樣本和目標(biāo)域風(fēng)格樣本進(jìn)行特征提取，以確定出源域特征矩陣和目標(biāo)域特征矩陣；

10、根據(jù)l1稀疏約束分別對(duì)源域特征矩陣和目標(biāo)域特征矩陣進(jìn)行字典學(xué)習(xí)，以生成源域字典和目標(biāo)域字典。

11、結(jié)合第一方面，在一種實(shí)施方式中，所述通過源域風(fēng)格樣本和目標(biāo)域字典構(gòu)建目標(biāo)域候選框，包括：

12、將源域風(fēng)格樣本送入至區(qū)域生成網(wǎng)絡(luò)，以輸出目標(biāo)域檢測(cè)框；

13、將置信度分?jǐn)?shù)大于第一分?jǐn)?shù)閾值的目標(biāo)域檢測(cè)框加入至第一集合中，并將置信度分?jǐn)?shù)大于第二分?jǐn)?shù)閾值的目標(biāo)域檢測(cè)框作為目標(biāo)域候選框加入至第三集合，所述第一分?jǐn)?shù)閾值小于所述第二分?jǐn)?shù)閾值；

14、將第一集合中的目標(biāo)域檢測(cè)框送入感興趣區(qū)域?qū)R網(wǎng)絡(luò)，輸出第一特征矩陣，并基于l2正則化將第一特征矩陣編碼至目標(biāo)域字典，得到目標(biāo)域編碼系數(shù)向量；

15、根據(jù)目標(biāo)域編碼系數(shù)向量、第一特征矩陣和目標(biāo)域字典計(jì)算出目標(biāo)域殘差矩陣，并通過目標(biāo)域殘差矩陣計(jì)算出靈敏度；

16、將第一集合中靈敏度大于靈敏度閾值的目標(biāo)域檢測(cè)框作為目標(biāo)域候選框加入至第二集合，并將第三集合和第二集合的并集作為第四集合。

17、結(jié)合第一方面，在一種實(shí)施方式中，所述通過目標(biāo)域風(fēng)格樣本和源域字典構(gòu)建源域候選框，包括：

18、將目標(biāo)域風(fēng)格樣本送入至區(qū)域生成網(wǎng)絡(luò)，以輸出源域檢測(cè)框；

19、將置信度分?jǐn)?shù)大于第一分?jǐn)?shù)閾值的源域檢測(cè)框加入至第五集合中，并將置信度分?jǐn)?shù)大于第二分?jǐn)?shù)閾值的源域檢測(cè)框作為源域候選框加入至第七集合，所述第一分?jǐn)?shù)閾值小于所述第二分?jǐn)?shù)閾值；

20、將第五集合中的源域檢測(cè)框送入感興趣區(qū)域?qū)R網(wǎng)絡(luò)，輸出第二特征矩陣，并基于l2正則化將第二特征矩陣編碼至源域字典，得到源域編碼系數(shù)向量；

21、根據(jù)源域編碼系數(shù)向量、第二特征矩陣和源域字典計(jì)算出源域殘差矩陣，并通過源域殘差矩陣計(jì)算出靈敏度；

22、將第五集合中靈敏度大于靈敏度閾值的源域檢測(cè)框作為源域候選框加入至第六集合，并將第六集合和第七集合的并集作為第八集合。

23、結(jié)合第一方面，在一種實(shí)施方式中，所述根據(jù)目標(biāo)域候選框和源域候選框間的交并比iou確定出偽標(biāo)簽及其對(duì)應(yīng)的置信度權(quán)重，包括：

24、當(dāng)?shù)谌现械牡谝荒繕?biāo)域候選框?qū)?yīng)的預(yù)測(cè)類別與第七集合中的第一源域候選框?qū)?yīng)的預(yù)測(cè)類別相同時(shí)，計(jì)算出第一目標(biāo)域候選框和第一源域候選框間的第一iou；

25、根據(jù)第一iou與第一iou閾值間的大小關(guān)系從第一目標(biāo)域候選框和第一源域候選框確定出偽標(biāo)簽；

26、計(jì)算第四集合中的第二目標(biāo)域候選框和第二源域候選框間的第二iou；

27、當(dāng)?shù)诙ou大于第二iou閾值時(shí)，將第二iou作為偽標(biāo)簽的置信度權(quán)重；

28、當(dāng)?shù)诙ou不大于第二iou閾值時(shí)，基于迭代訓(xùn)練篩選出最小的第二iou作為偽標(biāo)簽的置信度權(quán)重。

29、結(jié)合第一方面，在一種實(shí)施方式中，所述加權(quán)自訓(xùn)練的損失函數(shù)lst為：

30、

31、式中，表示邊界框回歸損失，表示分類損失，is表示源域樣本，表示源域樣本is中第i個(gè)前景的真實(shí)標(biāo)簽，n表示源域樣本的真實(shí)標(biāo)簽數(shù)量，it表示目標(biāo)域樣本，m表示目標(biāo)域樣本的偽標(biāo)簽數(shù)量，μ表示用于平衡源域和目標(biāo)域損失的參數(shù)，wj表示第j個(gè)偽標(biāo)簽的置信度權(quán)重，表示第j個(gè)偽標(biāo)簽。

32、結(jié)合第一方面，在一種實(shí)施方式中，加權(quán)自訓(xùn)練過程中的目標(biāo)損失函數(shù)為：

33、ltotal＝βlst+ladv

34、式中，ltotal表示目標(biāo)損失函數(shù)，β表示用于平衡多任務(wù)損失的參數(shù)，ladv表示對(duì)抗性損失函數(shù)，所述對(duì)抗性損失函數(shù)由源域類別對(duì)齊損失函數(shù)和目標(biāo)域類別對(duì)齊損失函數(shù)組成。

35、第二方面，本技術(shù)實(shí)施例提供了一種基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建裝置，包括：

36、風(fēng)格轉(zhuǎn)換模塊，其用于將源域樣本轉(zhuǎn)換成目標(biāo)域風(fēng)格樣本，并將目標(biāo)域樣本轉(zhuǎn)換成源域風(fēng)格樣本；

37、字典構(gòu)建模塊，其用于基于源域樣本構(gòu)建源域字典，并基于目標(biāo)域風(fēng)格樣本構(gòu)建目標(biāo)域字典；

38、候選框確定模塊，其用于通過源域風(fēng)格樣本和目標(biāo)域字典構(gòu)建目標(biāo)域候選框，并通過目標(biāo)域風(fēng)格樣本和源域字典構(gòu)建源域候選框；

39、標(biāo)簽權(quán)重確定模塊，其用于根據(jù)目標(biāo)域候選框和源域候選框間的交并比iou確定出偽標(biāo)簽及其對(duì)應(yīng)的置信度權(quán)重；

40、模型構(gòu)建模塊，其用于基于所述偽標(biāo)簽、所述置信度權(quán)重、所述源域樣本和所述目標(biāo)域樣本進(jìn)行加權(quán)自訓(xùn)練，以構(gòu)建出目標(biāo)檢測(cè)模型。

41、結(jié)合第二方面，在一種實(shí)施方式中，所述字典構(gòu)建模塊具體用于：

42、分別對(duì)源域樣本和目標(biāo)域風(fēng)格樣本進(jìn)行特征提取，以確定出源域特征矩陣和目標(biāo)域特征矩陣；

43、根據(jù)l1稀疏約束分別對(duì)源域特征矩陣和目標(biāo)域特征矩陣進(jìn)行字典學(xué)習(xí)，以生成源域字典和目標(biāo)域字典。

44、結(jié)合第二方面，在一種實(shí)施方式中，所述候選框確定模塊具體用于：

45、將源域風(fēng)格樣本送入至區(qū)域生成網(wǎng)絡(luò)，以輸出目標(biāo)域檢測(cè)框；

46、將置信度分?jǐn)?shù)大于第一分?jǐn)?shù)閾值的目標(biāo)域檢測(cè)框加入至第一集合中，并將置信度分?jǐn)?shù)大于第二分?jǐn)?shù)閾值的目標(biāo)域檢測(cè)框作為目標(biāo)域候選框加入至第三集合，所述第一分?jǐn)?shù)閾值小于所述第二分?jǐn)?shù)閾值；

47、將第一集合中的目標(biāo)域檢測(cè)框送入感興趣區(qū)域?qū)R網(wǎng)絡(luò)，輸出第一特征矩陣，并基于l2正則化將第一特征矩陣編碼至目標(biāo)域字典，得到目標(biāo)域編碼系數(shù)向量；

48、根據(jù)目標(biāo)域編碼系數(shù)向量、第一特征矩陣和目標(biāo)域字典計(jì)算出目標(biāo)域殘差矩陣，并通過目標(biāo)域殘差矩陣計(jì)算出靈敏度；

49、將第一集合中靈敏度大于靈敏度閾值的目標(biāo)域檢測(cè)框作為目標(biāo)域候選框加入至第二集合，并將第三集合和第二集合的并集作為第四集合。

50、結(jié)合第二方面，在一種實(shí)施方式中，所述候選框確定模塊具體還用于：

51、將目標(biāo)域風(fēng)格樣本送入至區(qū)域生成網(wǎng)絡(luò)，以輸出源域檢測(cè)框；

52、將置信度分?jǐn)?shù)大于第一分?jǐn)?shù)閾值的源域檢測(cè)框加入至第五集合中，并將置信度分?jǐn)?shù)大于第二分?jǐn)?shù)閾值的源域檢測(cè)框作為源域候選框加入至第七集合，所述第一分?jǐn)?shù)閾值小于所述第二分?jǐn)?shù)閾值；

53、將第五集合中的源域檢測(cè)框送入感興趣區(qū)域?qū)R網(wǎng)絡(luò)，輸出第二特征矩陣，并基于l2正則化將第二特征矩陣編碼至源域字典，得到源域編碼系數(shù)向量；

54、根據(jù)源域編碼系數(shù)向量、第二特征矩陣和源域字典計(jì)算出源域殘差矩陣，并通過源域殘差矩陣計(jì)算出靈敏度；

55、將第五集合中靈敏度大于靈敏度閾值的源域檢測(cè)框作為源域候選框加入至第六集合，并將第六集合和第七集合的并集作為第八集合。

56、結(jié)合第二方面，在一種實(shí)施方式中，所述標(biāo)簽權(quán)重確定模塊具體用于：

57、當(dāng)?shù)谌现械牡谝荒繕?biāo)域候選框?qū)?yīng)的預(yù)測(cè)類別與第七集合中的第一源域候選框?qū)?yīng)的預(yù)測(cè)類別相同時(shí)，計(jì)算出第一目標(biāo)域候選框和第一源域候選框間的第一iou；

58、根據(jù)第一iou與第一iou閾值間的大小關(guān)系從第一目標(biāo)域候選框和第一源域候選框確定出偽標(biāo)簽；

59、計(jì)算第四集合中的第二目標(biāo)域候選框和第二源域候選框間的第二iou；

60、當(dāng)?shù)诙ou大于第二iou閾值時(shí)，將第二iou作為偽標(biāo)簽的置信度權(quán)重；

61、當(dāng)?shù)诙ou不大于第二iou閾值時(shí)，基于迭代訓(xùn)練篩選出最小的第二iou作為偽標(biāo)簽的置信度權(quán)重。

62、結(jié)合第二方面，在一種實(shí)施方式中，所述加權(quán)自訓(xùn)練的損失函數(shù)lst為：

63、

64、式中，表示邊界框回歸損失，表示分類損失，is表示源域樣本，表示源域樣本is中第i個(gè)前景的真實(shí)標(biāo)簽，n表示源域樣本的真實(shí)標(biāo)簽數(shù)量，it表示目標(biāo)域樣本，m表示目標(biāo)域樣本的偽標(biāo)簽數(shù)量，μ表示用于平衡源域和目標(biāo)域損失的參數(shù)，wj表示第j個(gè)偽標(biāo)簽的置信度權(quán)重，表示第j個(gè)偽標(biāo)簽。

65、結(jié)合第二方面，在一種實(shí)施方式中，加權(quán)自訓(xùn)練過程中的目標(biāo)損失函數(shù)為：

66、ltotal＝βlst+ladv

67、式中，ltotal表示目標(biāo)損失函數(shù)，β表示用于平衡多任務(wù)損失的參數(shù)，ladv表示對(duì)抗性損失函數(shù)，所述對(duì)抗性損失函數(shù)由源域類別對(duì)齊損失函數(shù)和目標(biāo)域類別對(duì)齊損失函數(shù)組成。

68、第三方面，本技術(shù)實(shí)施例提供了一種基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建設(shè)備，所述基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建設(shè)備包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器上并可被所述處理器執(zhí)行的基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建程序，其中所述基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如前述的基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建方法的步驟。

69、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建程序，其中所述基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如前述的基于雙字典的目標(biāo)檢測(cè)模型構(gòu)建方法的步驟。

70、本技術(shù)實(shí)施例提供的技術(shù)方案帶來的有益效果包括：

71、通過將源域樣本轉(zhuǎn)換成目標(biāo)域風(fēng)格樣本并將目標(biāo)域樣本轉(zhuǎn)換成源域風(fēng)格樣本，再基于源域樣本和目標(biāo)域風(fēng)格樣本分別構(gòu)建源域字典和目標(biāo)域字典，即生成具有互補(bǔ)特性的雙字典，以彌補(bǔ)源域與目標(biāo)域間的領(lǐng)域偏移問題，進(jìn)而構(gòu)建出信息量更大的字典，從而為獲得更準(zhǔn)確的偽標(biāo)簽打下基礎(chǔ)；然后在目標(biāo)域字典和源域字典的輔助下，基于源域風(fēng)格樣本和目標(biāo)域風(fēng)格樣本分別挖掘出高置信度的源域候選框和目標(biāo)域候選框，并基于候選框間的iou為未標(biāo)記的目標(biāo)域樣本生成偽標(biāo)簽和置信度權(quán)重分配，最后在目標(biāo)域樣本上進(jìn)行加權(quán)自訓(xùn)練，以構(gòu)建出目標(biāo)檢測(cè)模型，從而有效提升模型在目標(biāo)域上的檢測(cè)性能。