本發(fā)明涉及目標(biāo)檢測(cè)分類，尤其涉及一種基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法。

背景技術(shù)：

1、目前在圖像識(shí)別、目標(biāo)檢測(cè)領(lǐng)域中，常需要用到目標(biāo)檢測(cè)分類器，目標(biāo)檢測(cè)分類器采用神經(jīng)網(wǎng)絡(luò)對(duì)圖像中的目標(biāo)進(jìn)行識(shí)別和檢測(cè)分類。性能比較好的檢測(cè)器通常依賴于更深以及容量更大的基礎(chǔ)網(wǎng)絡(luò)，導(dǎo)致整個(gè)檢測(cè)器具有極高的計(jì)算量和較大的內(nèi)存占用，因此極大地限制了它們?cè)谫Y源受限場(chǎng)景下的應(yīng)用。

2、現(xiàn)有技術(shù)中，采用知識(shí)蒸餾的方法解決計(jì)算量和較大的內(nèi)存占用，通常利用學(xué)生小網(wǎng)絡(luò)擬合學(xué)習(xí)老師大網(wǎng)絡(luò)以改善學(xué)生網(wǎng)絡(luò)的性能并且促進(jìn)學(xué)生網(wǎng)絡(luò)的部署。但是該知識(shí)蒸餾的方法在擬合過(guò)程中并不能區(qū)別全局特征的擬合和局部特征擬合，即不能自動(dòng)控制全局特征的擬合關(guān)注度和局部特征的擬合關(guān)注度。

3、由于目標(biāo)區(qū)域包含更多的信息，在特征蒸餾階段應(yīng)該更多地被關(guān)注，所以本方法在最小化學(xué)生網(wǎng)絡(luò)和老師網(wǎng)絡(luò)特征圖之間距離的同時(shí)，重點(diǎn)關(guān)注目標(biāo)區(qū)域的特征。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法以解決現(xiàn)有技術(shù)中知識(shí)蒸餾的方法在擬合過(guò)程中并不能區(qū)別全局特征的擬合和局部特征擬合，即不能自動(dòng)控制全局特征的擬合關(guān)注度和局部特征的擬合關(guān)注度。

2、為實(shí)現(xiàn)上述發(fā)明目的之一，本發(fā)明一實(shí)施方式提供一種基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，應(yīng)用于目標(biāo)檢測(cè)分類器中，所述方法包括：通過(guò)第一神經(jīng)網(wǎng)絡(luò)訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)，所述第一神經(jīng)網(wǎng)絡(luò)為大容量網(wǎng)絡(luò)，所述第二神經(jīng)網(wǎng)絡(luò)為小容量網(wǎng)絡(luò)；計(jì)算第二神經(jīng)網(wǎng)絡(luò)擬合第一神經(jīng)網(wǎng)絡(luò)圖像全局特征時(shí)的損失函數(shù)；通過(guò)預(yù)測(cè)的包圍框、先驗(yàn)框以及真相標(biāo)注優(yōu)化訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)對(duì)于局部特征的擬合并計(jì)算第二神經(jīng)網(wǎng)絡(luò)擬合局部特征時(shí)的損失函數(shù)，所述預(yù)測(cè)的包圍框?yàn)榈诙窠?jīng)網(wǎng)絡(luò)模型輸出的預(yù)測(cè)結(jié)果，所述先驗(yàn)框?yàn)轭A(yù)設(shè)的局部特征框，所述真相標(biāo)注為監(jiān)督信息；根據(jù)全局特征的損失函數(shù)和局部特征的損失函數(shù)在第二神經(jīng)網(wǎng)絡(luò)形成基于加權(quán)掩膜的特征蒸餾損失函數(shù)。

3、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：所述“訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)”包括：采用預(yù)設(shè)訓(xùn)練集訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)；在所述第一神經(jīng)網(wǎng)絡(luò)中利用蒸餾溫度τ在輸出層輸出概率分布；通過(guò)調(diào)整蒸餾溫度τ訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)；控制蒸餾溫度τ＝1，在第二神經(jīng)網(wǎng)絡(luò)中演算第一神經(jīng)網(wǎng)絡(luò)對(duì)于訓(xùn)練集的檢測(cè)方法。

4、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：所述概率分布的計(jì)算公式是：所述概率分布的計(jì)算公式是：

5、

6、其中zi表示第i個(gè)類別的邏輯輸出；pi表示對(duì)應(yīng)的概率；τ為蒸餾溫度系數(shù)；j表示類別總量。

7、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：在訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)時(shí)，通過(guò)計(jì)算第二神經(jīng)網(wǎng)絡(luò)的參數(shù)動(dòng)態(tài)擬合第一神經(jīng)網(wǎng)絡(luò)。

8、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：第二神經(jīng)網(wǎng)絡(luò)的參數(shù)計(jì)算公式是：

9、

10、其中，為第二神經(jīng)網(wǎng)絡(luò)的參數(shù)；h(y*,ps)為真實(shí)標(biāo)簽的交叉熵?fù)p失；h(ptτ,psτ)為第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)概率分布的交叉熵?fù)p失；α為調(diào)節(jié)兩個(gè)交叉熵?fù)p失的參數(shù)；為第一神經(jīng)網(wǎng)絡(luò)的概率分布；為第二神經(jīng)網(wǎng)絡(luò)的概率分布。

11、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：所述“第二神經(jīng)網(wǎng)絡(luò)擬合第一神經(jīng)網(wǎng)絡(luò)圖像全局特征時(shí)的損失函數(shù)”為：

12、

13、其中，為第一神經(jīng)網(wǎng)絡(luò)中全局特征擬合到第二神經(jīng)網(wǎng)絡(luò)時(shí)的損失函數(shù)；ui為第一神經(jīng)網(wǎng)絡(luò)中第i個(gè)預(yù)測(cè)模塊的特征圖；vi為第二神經(jīng)網(wǎng)絡(luò)中第i個(gè)預(yù)測(cè)模塊對(duì)應(yīng)的特征圖，r表示第二神經(jīng)網(wǎng)絡(luò)中的維度調(diào)整層；m表示需要蒸餾的預(yù)測(cè)模塊特征圖的數(shù)量；為預(yù)設(shè)的各個(gè)預(yù)測(cè)模塊全局蒸餾損失的權(quán)重參數(shù)；1/2n表示的是第二神經(jīng)網(wǎng)絡(luò)中每一層的濾波器數(shù)量只有第一神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)層的1/2n；di表示特征圖模塊中的空間維度的大??；1/di表示對(duì)i個(gè)樣本的特征圖的結(jié)果進(jìn)行歸一化處理。

14、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：“通過(guò)預(yù)測(cè)的包圍框、先驗(yàn)框以及真相標(biāo)注優(yōu)化訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)對(duì)于局部特征的擬合”的方法包括：在通過(guò)調(diào)整蒸餾溫度τ擬合訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)時(shí)，設(shè)置局部特征權(quán)重參數(shù)λl；第二神經(jīng)網(wǎng)絡(luò)輸出預(yù)測(cè)的包圍框，對(duì)比預(yù)設(shè)的先驗(yàn)框并采用真相標(biāo)注進(jìn)行校對(duì)；在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整局部特征權(quán)重參數(shù)λ1。

15、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：所述“第二神經(jīng)網(wǎng)絡(luò)擬合局部特征時(shí)的損失函數(shù)”為：

16、

17、其中，為第一神經(jīng)網(wǎng)絡(luò)中局部特征擬合到第二神經(jīng)網(wǎng)絡(luò)時(shí)的損失函數(shù)；r表示選擇的樣本集合；表示第一神經(jīng)網(wǎng)絡(luò)中第i個(gè)預(yù)測(cè)模塊的第k個(gè)樣本的區(qū)域特征；為第二神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的區(qū)域特征；r為維度調(diào)整層；m表示需要蒸餾的預(yù)測(cè)模塊特征圖的數(shù)量；為預(yù)設(shè)的各個(gè)預(yù)測(cè)模塊局部蒸餾損失的權(quán)重參數(shù)；1/2n表示的是第二神經(jīng)網(wǎng)絡(luò)中每一層的濾波器數(shù)量只有第一神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)層的1/2n；d()表示特征圖模塊中的空間維度的大??；1/d()表示對(duì)k個(gè)樣本的特征圖的結(jié)果進(jìn)行歸一化處理。

18、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：所述“動(dòng)態(tài)調(diào)整局部特征權(quán)重參數(shù)λl”為：利用每一次優(yōu)化訓(xùn)練中回歸任務(wù)的損失大小和局部調(diào)整蒸餾損失大小調(diào)整局部蒸餾損失的權(quán)重參數(shù)λ1：

19、

20、其中，lossr代表目標(biāo)檢測(cè)中的回歸任務(wù)的損失；lossd代表局部蒸餾的損失。

21、作為本發(fā)明的進(jìn)一步改進(jìn)，所述方法還包括：還包括預(yù)設(shè)置超參數(shù)γ，用于減小局部特征的損失；所述基于加權(quán)掩膜的特征蒸餾損失函數(shù)的公式為：

22、

23、在第二神經(jīng)網(wǎng)絡(luò)中根據(jù)基于加權(quán)掩膜的特征蒸餾損失函數(shù)輸出目標(biāo)圖像。

24、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：通過(guò)第一神經(jīng)網(wǎng)絡(luò)訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)的方法，在該框架下能充分利用大網(wǎng)絡(luò)學(xué)習(xí)到的具有較強(qiáng)判別能力的特征圖來(lái)引導(dǎo)小網(wǎng)絡(luò)的學(xué)習(xí)；能同時(shí)有效地?cái)M合第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)之間的全局特征圖以及局部區(qū)域特征，使得蒸餾更加具有針對(duì)性，加速第二神經(jīng)網(wǎng)絡(luò)的收斂；最終實(shí)現(xiàn)在小計(jì)算量和小占用率的同時(shí)提高目標(biāo)檢測(cè)分類器的精度。

技術(shù)特征：

1.一種基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，應(yīng)用于目標(biāo)檢測(cè)分類器中，所述基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法包括：

2.根據(jù)權(quán)利要求1所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，所述“訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)”包括：

3.根據(jù)權(quán)利要求2所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，所述概率分布的計(jì)算公式是：

4.根據(jù)權(quán)利要求1所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，在訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)時(shí)，通過(guò)計(jì)算第二神經(jīng)網(wǎng)絡(luò)的參數(shù)動(dòng)態(tài)擬合第一神經(jīng)網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求4所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，第二神經(jīng)網(wǎng)絡(luò)的參數(shù)計(jì)算公式是：

6.根據(jù)權(quán)利要求1所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，所述“第二神經(jīng)網(wǎng)絡(luò)擬合第一神經(jīng)網(wǎng)絡(luò)圖像全局特征時(shí)的損失函數(shù)”為：

7.根據(jù)權(quán)利要求6所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，“通過(guò)預(yù)測(cè)的包圍框、先驗(yàn)框以及真相標(biāo)注優(yōu)化訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)對(duì)于局部特征的擬合”的方法包括：

8.根據(jù)權(quán)利要求7所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，所述“第二神經(jīng)網(wǎng)絡(luò)擬合局部特征時(shí)的損失函數(shù)”為：

9.根據(jù)權(quán)利要求7所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，所述“動(dòng)態(tài)調(diào)整局部特征權(quán)重參數(shù)λl”為：利用每一次優(yōu)化訓(xùn)練中回歸任務(wù)的損失大小和局部調(diào)整蒸餾損失大小調(diào)整局部蒸餾損失的權(quán)重參數(shù)l

10.根據(jù)權(quán)利要求8所述的基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，其特征在于，還包括預(yù)設(shè)置超參數(shù)γ，用于減小局部特征的損失；所述基于加權(quán)掩膜的特征蒸餾損失函數(shù)的公式為：

技術(shù)總結(jié)
本發(fā)明揭示了一種基于加權(quán)掩膜引導(dǎo)的目標(biāo)檢測(cè)蒸餾方法，該方法包括通過(guò)第一神經(jīng)網(wǎng)絡(luò)訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)；計(jì)算第二神經(jīng)網(wǎng)絡(luò)擬合第一神經(jīng)網(wǎng)絡(luò)圖像全局特征時(shí)的損失函數(shù)；通過(guò)預(yù)測(cè)的包圍框、先驗(yàn)框以及真相標(biāo)注優(yōu)化訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)對(duì)于局部特征的擬合并計(jì)算第二神經(jīng)網(wǎng)絡(luò)擬合局部特征時(shí)的損失函數(shù)；根據(jù)全局特征的損失函數(shù)和局部特征的損失函數(shù)在第二神經(jīng)網(wǎng)絡(luò)形成基于加權(quán)掩膜的特征蒸餾損失函數(shù)；本發(fā)明能充分利用大網(wǎng)絡(luò)學(xué)習(xí)到的具有較強(qiáng)判別能力的特征圖來(lái)引導(dǎo)小網(wǎng)絡(luò)的學(xué)習(xí)；有效地?cái)M合第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)之間的全局特征圖以及局部區(qū)域特征，使得蒸餾更加具有針對(duì)性，加速第二神經(jīng)網(wǎng)絡(luò)的收斂；提高精度。

技術(shù)研發(fā)人員：高洪波,孔令磊,李京昌,譚夏霞,馬全亭,魏倩,葛宗玉
受保護(hù)的技術(shù)使用者：青島海爾電冰箱有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19