本技術涉及目標檢測領域,特別是涉及一種基于虛實數(shù)據(jù)的目標檢測方法、系統(tǒng)、設備及介質。
背景技術:
1、現(xiàn)有技術中,為了在真實的海洋場景下構建性能優(yōu)越、具有較高檢測精度的目標檢測模型,往往需要堆疊參數(shù)、設計復雜的神經(jīng)網(wǎng)絡結構,由于神經(jīng)網(wǎng)絡結構寬度和深度的增加,也大幅提高了目標檢測模型的復雜度和參數(shù)冗余量,導致海上目標檢測模型過于繁瑣,難以部署在無人船、無人機等低資源和低功耗的設備上,此外,由于模型計算量和訓練時間的增加,降低了目標檢測的實時性,難以滿足智能無人系統(tǒng)集群對目標感知實時性的需求,因此,海洋場景下的目標檢測模型存在網(wǎng)絡結構復雜和檢測速度慢的問題。
技術實現(xiàn)思路
1、本技術的目的是提供一種基于虛實數(shù)據(jù)的目標檢測方法、系統(tǒng)、設備及介質,可提高海洋復雜環(huán)境中目標檢測的速度和準確率。為實現(xiàn)上述目的,本技術提供了如下方案:
2、第一方面,本技術提供了一種基于虛實數(shù)據(jù)的目標檢測方法,包括:所述基于虛實數(shù)據(jù)的目標檢測方法包括:
3、利用目標檢測模型對海洋場景圖片進行目標檢測,得到多個海面目標的預測類別和多個候選框;所述目標檢測模型通過教師模型得到的特征圖對學生模型進行監(jiān)督訓練得到的,所述教師模型是訓練后的神經(jīng)網(wǎng)絡模型,所述學生模型是通過多值掩碼對所述教師模型的特征圖進行知識蒸餾得到的;
4、采用非極大值抑制算法對多個所述候選框按所述預測類別進行篩選,得到海面目標的預測框,并將與所述預測框對應的海面目標的預測類別作為所述海面目標的類別;其中,所述預測框表示所述海面目標所在的位置信息,所述海面目標的類別包括郵輪、集裝箱船、散貨船、帆船和島礁。
5、進一步地,所述目標檢測模型的訓練過程具體包括:
6、構建訓練集,所述訓練集包括多個訓練數(shù)據(jù),所述訓練數(shù)據(jù)包括海洋場景樣本圖片和海洋場景樣本圖片的標簽;所述標簽包括海洋場景樣本圖片中海面目標的類別和海面目標所在的位置信息;所述海洋場景圖片包括海洋場景真實樣本圖片和海洋場景虛擬樣本圖片;
7、將訓練數(shù)據(jù)輸入至所述教師模型得到所述教師模型的特征圖;將訓練數(shù)據(jù)輸入至所述學生模型得到所述學生模型的特征圖;
8、根據(jù)所述教師模型的特征圖和所述學生模型的特征圖確定損失函數(shù);
9、利用所述損失函數(shù)對學生模型的參數(shù)進行更新,得到訓練后的學生模型,將所述訓練后的學生模型作為所述目標檢測模型。
10、進一步地,所述損失函數(shù)包括特征蒸餾損失和分類蒸餾損失;
11、根據(jù)所述教師模型的特征圖和所述學生模型的特征圖確定損失函數(shù),具體包括:
12、根據(jù)所述教師模型的特征圖、所述學生模型的特征圖以及所述多值掩碼確定所述特征蒸餾損失;
13、根據(jù)所述學生模型的特征圖中的第一候選框與所述教師模型的特征圖中的第二候選框確定所述余弦相似度損失;根據(jù)所述第一候選框中的海面目標的類別的預測結果與所述第二候選框中的海面目標的類別的預測結果確定所述交叉熵損失;
14、基于所述交叉熵損失和所述余弦相似度損失確定所述分類蒸餾損失。
15、進一步地,所述特征蒸餾損失的表達式為:
16、
17、其中,lfpn是特征蒸餾損失,h、w分別代表特征圖的高度和寬度,mw,h是w×h的多值掩碼。sh,w和th,w分別是學生模型和教師模型的特征圖,φadapt是特征適配函數(shù)。
18、進一步地,所述分類蒸餾損失的表達式為:
19、
20、其中,lcls為分類蒸餾損失,lcosine為余弦相似度損失,α和β是平衡不同蒸餾損失的超參數(shù),教師模型和學生模型針對一個訓練數(shù)據(jù)分別生成k個候選框,對于第j個候選框,通過卷積操作分別將教師模型和學生模型中的第j個候選框轉為特征向量和利用線性變換分別獲得教師模型和學生模型中第j個候選框中海面目標的類別的預測結果和
21、進一步地,所述多值掩碼的生成過程包括:
22、獲取所述學生模型的特征圖,所述特征圖中包括多個候選框,
23、計算各個所述候選框和真實框之間的距離交并比,得到多個距離交并比值,
24、將大于第一閾值的距離交并比值相加,得到掩碼;
25、將所述掩碼進行歸一化映射到預設范圍,得到所述多值掩碼。
26、進一步地,所述采用非極大值抑制算法對多個所述候選框按所述預測類別進行篩選,得到海面目標的預測框,并將與所述預測框對應的海面目標的預測類別作為所述海面目標的類別,包括:
27、將多個所述候選框按所述候選框的置信度的大小進行排序得到第一列表;
28、按置信度的大小,從大到小依次選取與置信度對應的候選框作為基準候選框;
29、遍歷所述第一列表,針對每一個基準候選框,計算所述基準候選框與所述第一列表中除所述基準候選框以外的所有候選框的交并比,得到多個交并比;
30、判斷所述交并比是否滿足重復條件,如果滿足,則刪除與所述交并比對應的候選框,得到第二列表;所述第二列表中包含多個候選框;所述重復條件為所述交并比大于第二閾值;
31、將所述第二列表中的候選框按照所述海面目標的預測類別進行分類,得到分類結果,其中,分類結果中每個預測類別中包含至少一個候選框以及所述候選框的置信度;
32、將置信度最大的候選框作為所述海面目標的預測框,將與所述置信度最大的候選框對應的海面目標的預測類別作為所述海面目標的類別。
33、第二方面,本技術提供了一種基于虛實數(shù)據(jù)的目標檢測系統(tǒng),所述基于虛實數(shù)據(jù)的目標檢測系統(tǒng)包括:
34、檢測模塊,用于利用目標檢測模型對海洋場景圖片進行目標檢測,得到多個海面目標的預測類別和多個候選框;所述目標檢測模型通過教師模型得到的特征圖對學生模型進行監(jiān)督訓練得到的,所述教師模型是訓練后的神經(jīng)網(wǎng)絡模型,所述學生模型是通過利用多值掩碼對所述教師模型的特征圖進行知識蒸餾得到的;
35、檢測結果輸出模塊,用于采用非極大值抑制算法對多個所述候選框按所述預測類別進行篩選,得到海面目標的預測框,并將與所述預測框對應的海面目標的預測類別作為所述海面目標的類別;其中,所述預測框表示所述海面目標所在的位置信息,所述海面目標的類別包括郵輪、集裝箱船、散貨船、帆船和島礁。
36、第三方面,本技術提供了一種計算機設備,包括:存儲器、處理器以存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序以實現(xiàn)上述任一項所述的基于虛實數(shù)據(jù)的目標檢測方法的步驟。
37、第四方面,本技術提供了一種計算機可讀存儲介質,其上存儲有計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)上述中任一項所述的基于虛實數(shù)據(jù)的目標檢測方法的步驟。
38、根據(jù)本技術提供的具體實施例,本技術公開了以下技術效果:
39、本技術提供了一種基于虛實數(shù)據(jù)的目標檢測方法、系統(tǒng)、設備及介質,將訓練后的神經(jīng)網(wǎng)絡模型作為教師模型,利用多值掩碼對教師模型的特征圖進行知識蒸餾得到學生模型,簡化了學生模型的網(wǎng)絡結構,提高了目標檢測模型的計算速度,同時,利用教師模型得到的特征圖對學生模型進行監(jiān)督訓練,可以提高學生模型進行目標檢測的檢測準確率,進一步地利用非極大值抑制算法對學生模型得到多個候選框按預測類別進行篩選,將篩選得到的預測框以及與預測對應的預測類別作為海面目標的預測框和類別,從而對海面目標的檢測結果進行再一次的優(yōu)化。