本發(fā)明涉及圖像處理，具體而言，涉及一種基于多尺度特征校準的目標檢測系統(tǒng)和方法。

背景技術：

1、目標檢測的本質(zhì)是通過特征提取和分類相結合進行物體檢測和定位。工業(yè)場景中的目標檢測任務存在復雜背景、小目標密集分布及資源受限的挑戰(zhàn)，從而對目標檢測系統(tǒng)或方法的輕量化和檢測精度提出了更高要求。

2、現(xiàn)有技術中，基于深度神經(jīng)網(wǎng)絡的目標檢測系統(tǒng)分為兩階段檢測系統(tǒng)和單階段檢測系統(tǒng)。兩階段檢測系統(tǒng)首先生成若干個候選區(qū)域，然后對這些候選區(qū)域進行特征提取和分類。但兩階段檢測系統(tǒng)存在計算復雜度高、模型參數(shù)量大、參數(shù)優(yōu)化困難和檢測速度慢的問題，不適合部署在資源受限的邊緣設備上。

3、單階段檢測系統(tǒng)無需生成候選區(qū)域，通過端到端的方式直接生成目標的邊界框和類別預測，由于整個過程只需一步，因此其檢測速度較快。然而，在復雜工業(yè)場景中，現(xiàn)有技術中的單階段檢測系統(tǒng)存在小目標信噪比低、出現(xiàn)漏檢的技術缺陷，因而在復雜工業(yè)場景中的小目標檢測任務中的性能表現(xiàn)有限。

技術實現(xiàn)思路

1、本發(fā)明要解決的技術問題是如何克服現(xiàn)有技術的目標檢測系統(tǒng)存在的出現(xiàn)漏檢，且難以部署在資源受限的邊緣設備上的技術缺陷。為克服以上現(xiàn)有技術的缺陷，本發(fā)明提供一種基于多尺度特征校準的目標檢測系統(tǒng)和方法，包含一種基于多尺度特征校準的目標檢測系統(tǒng)和一種基于多尺度特征校準的目標檢測方法。

2、本發(fā)明提供的一種基于多尺度特征校準的目標檢測系統(tǒng)，包括：

3、主干模組，被設置為通過復合卷積方式對被測圖像進行m次特征提取以獲得m個特征圖像，并在前（m-1）次的每次特征提取后將本次所獲特征圖像進行輸出和作為下一次特征提取的操作對象，而在第m次特征提取后將本次所獲特征圖像進行輸出；

4、校準模組，被設置為在特征融合過程中通過深層特征校準淺層特征的方式對所述主干模組輸出的m個特征圖像進行校準，獲得m個校準圖像；

5、檢測頭模組，被設置為將所述校準模組輸出的m個校準圖像分別進行共享參數(shù)卷積檢測和特征縮放以獲得各自對應的檢測目標；

6、其中：

7、m≥2；

8、所述校準模組與所述主干模組通信，所述檢測頭模組與所述校準模組通信。

9、本發(fā)明所公開的基于多尺度特征校準的目標檢測系統(tǒng)，通過設置主干模組、校準模組和檢測頭模組，校準模組與主干模組通信，檢測頭模組與校準模組通信，由于主干模組采用復合卷積方式對被測圖像進行m次特征提取以獲得m個特征圖像，從而可以實現(xiàn)獲取不同尺度特征并增加高分辨率特征層輸出以捕獲小目標細節(jié)的技術效果；隨后以校準模組在特征融合過程中通過深層特征校準淺層特征的方式對主干模組輸出的m個特征圖像進行校準，可以實現(xiàn)對每個位置從深層特征中采樣最具代表性的信息，降低漏檢幾率，緩解在特征融合過程中因空間錯位或信息稀釋而導致丟失關鍵細節(jié)的問題。不僅如此，由于檢測頭模組的設置，其使用共享參數(shù)卷積能夠大幅減少參數(shù)量和計算量，解決每個檢測頭所檢測目標尺度不一致的問題。最終在保持較少參數(shù)量和計算量的同時，實現(xiàn)了較好的檢測效果，使得整個系統(tǒng)易于部署在資源受限的邊緣設備上。

10、在一種可能的實施方式中，所述主干模組為由1個快速金字塔池化模塊、多個第一復合卷積模塊和不少于m個第一c2f網(wǎng)絡模塊串聯(lián)形成的網(wǎng)絡結構，該網(wǎng)絡結構的首部為1個所述第一復合卷積模塊，該網(wǎng)絡結構的末尾為1個所述快速金字塔池化模塊；

11、其中（m-1）個所述第一c2f網(wǎng)絡模塊與所述校準模組通信，所述快速金字塔池化模塊與所述校準模組通信；

12、此方案通過設置多個第一復合卷積模塊和不少于m個第一c2f網(wǎng)絡模塊以增加高分辨率特征層捕獲小目標細節(jié)，有助于校準模組對每個位置從深層特征中采樣最具代表性的信息，可以進一步緩解在特征融合過程中因空間錯位或信息稀釋而導致丟失關鍵細節(jié)的問題。

13、在一種可能的實施方式中，所述校準模組包括；

14、編碼器，被設置為通過上采樣、拼接與提取特征圖方式對所述主干模組輸出的m個特征圖像進行（m-1）次編碼，獲得（m-1）個編碼圖像；

15、解碼器，被設置為通過下采樣、拼接、提取特征圖與空間特征校準相結合的方式對所述編碼器獲得的（m-1）個編碼圖像和所述主干模組第m次輸出的特征圖像進行解碼與空間特征校準，獲得m個所述校準圖像；

16、其中：

17、所述編碼器分別與（m-1）個所述第一c2f網(wǎng)絡模塊、所述快速金字塔池化模塊通信，所述解碼器分別與所述編碼器、所述快速金字塔池化模塊通信，所述檢測頭模組與所述解碼器通信；

18、此方案通過改進編碼器和解碼器的運行機制以利用深層特征對淺層特征進行校準，能夠減少運行參數(shù)數(shù)量，提高模型對密集小目標的檢測能力。

19、在一種可能的實施方式中，所述編碼器為由（m-1）個子編碼器串聯(lián)形成的網(wǎng)絡結構，除位于末尾的所述子編碼器外的每個所述子編碼器均包含沿其運行方向依次設置的1個上采樣模塊、1個第一拼接模塊和1個第二c2f網(wǎng)絡模塊，位于末尾的所述子編碼器包含沿其運行方向依次設置的1個所述上采樣模塊和1個所述第一拼接模塊；

20、處于首位的所述子編碼器中的所述上采樣模塊與所述快速金字塔池化模塊通信，與所述編碼器通信的（m-1）個所述第一c2f網(wǎng)絡模塊與所有的所述第一拼接模塊按一對一連接方式通信，所有的所述第二c2f網(wǎng)絡模塊和位于末尾的所述子編碼器中的所述第一拼接模塊均與所述解碼器通信；

21、此方案可以保證深層特征校準淺層特征的高效率運行，增強對小目標的檢測能力，并保持模型的輕量化。

22、在一種可能的實施方式中，所述解碼器為由m個子解碼器串聯(lián)形成的網(wǎng)絡結構；

23、除位于末尾的所述子解碼器外的每個所述子解碼器均包含1個空間特征校準模塊、1個下采樣模塊、1個第二拼接模塊和1個第三c2f網(wǎng)絡模塊，位于末尾的所述子解碼器包含1個所述第三c2f網(wǎng)絡模塊；

24、除位于末尾的所述子解碼器外的每個所述子解碼器中：所述下采樣模塊與所述第三c2f網(wǎng)絡模塊通信，所述第二拼接模塊與所述下采樣模塊通信；

25、各所述子解碼器中的所述空間特征校準模塊均與位于末尾的所述子解碼器中的所述第三c2f網(wǎng)絡模塊通信，各所述空間特征校準模塊均還與其所屬所述子解碼器中的所述第三c2f網(wǎng)絡模塊通信；

26、位于首位的所述子解碼器中的所述第三c2f網(wǎng)絡模塊與位于末尾的所述子編碼器中的所述第一拼接模塊通信；

27、位置處于倒數(shù)第二位的所述子解碼器中的所述第二拼接模塊與所述快速金字塔池化模塊通信，其余的所述第二拼接模塊與所有的所述第二c2f網(wǎng)絡模塊按一對一方式通信；

28、所有的所述空間特征校準模塊、位于末尾的所述子解碼器中的所述第三c2f網(wǎng)絡模塊均與所述檢測頭模組通信；

29、一方面，此方案形成的解碼器結構與上一個方案的編碼器結構相結合，形成了多尺度特征校準的金字塔卷積特征網(wǎng)絡結構，可以減輕因模型的采樣深度增加而帶來的淺層特征損失；另一方面，通過引入空間特征校準模塊，能夠利用深層特征對淺層的特征進行校準，進一步解決特征信息被逐漸稀釋和空間特征錯位的問題，使網(wǎng)絡適應不同的尺度變化。

30、在一種可能的實施方式中，所述下采樣模塊為down下采樣模塊；在解碼器中使用down下采樣模塊進行下采樣操作的改進，能夠保留區(qū)域的顯著特征，抑制不重要的細節(jié)和背景，從而更進一步增強對小目標的檢測能力，并保持模型的輕量化。

31、在一種可能的實施方式中，所述空間特征校準模塊包括第一卷積單元、上采樣單元、第二卷積單元、第一拼接單元、第一組卷積單元、第三卷積單元、第二組卷積單元、第四卷積單元、第一校準單元、分裂單元、第二校準單元、第一點乘單元、第二點乘單元、第二拼接單元和門控掩碼單元；

32、各所述空間特征校準模塊中：

33、所述第一卷積單元與其同屬的所述子解碼器中的所述第三c2f網(wǎng)絡模塊通信，所述上采樣單元與所述第一卷積單元通信，所述第二卷積單元與位于末尾的所述子解碼器中的所述第三c2f網(wǎng)絡模塊通信；

34、所述第一拼接單元分別與所述上采樣單元、所述第二卷積單元通信，所述第三卷積單元與所述第一拼接單元通信，所述第四卷積單元與所述第三卷積單元通信，所述分裂單元與所述第四卷積單元通信，所述門控掩碼單元與所述分裂單元通信；

35、所述第一組卷積單元分別與所述上采樣單元、所述第一拼接單元通信，所述第一校準單元分別與所述第一組卷積單元、所述分裂單元通信，所述第一點乘單元分別與所述第一校準單元、所述門控掩碼單元通信；

36、所述第二組卷積單元分別與所述第二卷積單元、所述第一拼接單元通信，所述第二校準單元分別與所述第二組卷積單元、所述分裂單元通信，所述第二點乘單元分別與所述第二校準單元、所述門控掩碼單元通信；

37、所述第二拼接單元分別與所述第一點乘單元、所述第二點乘單元通信；

38、通過設置第一卷積單元和第二卷積單元能夠并行采集深層特征和淺層特征，從而保證了空間特征校準模塊進行深層特征對淺層特征的校準，從而能捕獲更多的深層特征信息，以緩解空間特征錯位的問題；與此同時，具備上述結構的空間特征校準模塊可實現(xiàn)通過將特征沿通道維度劃分成多組子特征，并利用可參數(shù)優(yōu)化的下采樣方法傳遞這些子特征，并集成門控機制以自適應地融合跨級特征，從而實現(xiàn)空間特征校準。

39、在一種可能的實施方式中，所述空間特征校準模塊被設置為通過執(zhí)行如下步驟運行：

40、a1：并行如下2個過程：

41、（1）通過所述第一卷積單元將由與其同屬的所述子解碼器中的所述第三c2f網(wǎng)絡模塊所輸出的圖像進行卷積操作，獲得具有預設通道數(shù)量的第一圖像，然后通過所述上采樣單元以雙線性插值進行上采樣的方式對所述第一圖像進行上采樣處理，獲得采樣圖像；

42、（2）通過所述第二卷積單元將由位于末尾的所述子解碼器中的所述第三c2f網(wǎng)絡模塊所輸出的校準圖像進行卷積操作，獲得具有與所述第一圖像相同通道數(shù)量的第二圖像；

43、a2：并行如下3個過程：

44、（1）通過所述第一組卷積單元以分組卷積方式將所述采樣圖像的通道維度劃分為多個子特征組，獲得第一特征組圖；

45、（2）通過所述第一拼接單元將所述采樣圖像與所述第二圖像進行圖像拼接，獲得拼接圖像；

46、（3）通過所述第二組卷積單元以分組卷積方式將所述第二圖像的通道維度劃分為多個子特征組，獲得第二特征組圖；

47、a3：依次通過所述第三卷積單元和所述第四卷積單元對所述拼接圖像進行卷積操作，獲得第三圖像；

48、a4：通過所述分裂單元將所述第三圖像進行偏移分裂操作，獲得偏移圖和偏移圖，然后分別將所述偏移圖和所述偏移圖傳至所述第一校準單元、所述第二校準單元和所述門控掩碼單元；

49、a5：并行如下4個過程：

50、（1）通過所述第一校準單元利用所述偏移圖和所述偏移圖以特征重采樣校準函數(shù)調(diào)整所述第一特征組圖上每個位置的空間位置，以補償由于下采樣導致的空間錯位，獲得第一校準圖像；

51、（2）通過所述門控掩碼單元對所述偏移圖進行門控掩碼操作獲得掩碼信息，將所述掩碼信息傳至所述第一點乘單元；

52、（3）通過所述門控掩碼單元對所述偏移圖進行門控掩碼操作獲得掩碼信息，將所述掩碼信息傳至所述第二點乘單元；

53、（4）通過所述第二校準單元利用所述偏移圖和所述偏移圖以特征重采樣校準函數(shù)調(diào)整所述第二特征組圖上每個位置的空間位置，以補償由于下采樣導致的空間錯位，獲得第二校準圖像；

54、a6：并行如下2個過程；

55、（1）通過所述第一點乘單元將所述掩碼信息與所述第一校準圖像進行點乘運算，獲得第一點乘圖像；

56、（2）通過所述第二點乘單元將所述掩碼信息與所述第二校準圖像進行點乘運算，獲得第二點乘圖像；

57、a7：通過所述第二拼接單元將所述第一點乘圖像與所述第二點乘圖像進行圖像拼接，獲得所述校準圖像；

58、此方案通過將圖像特征沿通道維度劃分成多組子特征，并利用可優(yōu)化的采樣方法傳遞這些子特征，并集成門控機制以自適應地融合跨級特征，從而實現(xiàn)空間特征校準。

59、在一種可能的實施方式中，所述檢測頭模組包括m個共享參數(shù)卷積檢測頭，m個共享參數(shù)卷積檢測頭與所有的所述空間特征校準模塊、位于末尾的所述子解碼器中的所述第三c2f網(wǎng)絡模塊按一對一方式通信；

60、每個所述共享參數(shù)卷積檢測頭均通過定位損失函數(shù)和分類損失函數(shù)進行參數(shù)優(yōu)化；

61、每個所述共享參數(shù)卷積檢測頭均包括沿其運行方向依次設置的第二復合卷積模塊、第三復合卷積模塊、第四復合卷積模塊和特征縮放單元；

62、此方案能夠實現(xiàn)共享參數(shù)，除了可以減少參數(shù)量外，還可以解決不同層級上可更新樣本數(shù)量不平衡的問題，進而顯著提高對不同尺度目標的檢測性能。

63、本發(fā)明的另一技術解決方案是，提供一種基于多尺度特征校準的目標檢測方法，包括如下步驟：

64、s1：通過主干模組以復合卷積方式對被測圖像進行m次特征提取以獲得m個特征圖像；

65、s2：通過校準模組在特征融合過程中以深層特征校準淺層特征的方式對所述主干模組輸出的m個特征圖像進行校準，獲得m個校準圖像；

66、s3：通過檢測頭模組將所述校準模組輸出的m個校準圖像分別進行共享參數(shù)卷積檢測和特征縮放以獲得各自對應的檢測目標。

67、本技術所公開的方法，通過主干模組以復合卷積方式對被測圖像進行m次特征提取以獲得m個特征圖像，從而可以實現(xiàn)增加高分辨率特征層以捕獲小目標細節(jié)的技術效果；隨后以校準模組通過深層特征校準淺層特征的方式對主干模組輸出的m個特征圖像進行校準，最后通過檢測頭模組將所述校準模組輸出的m個校準圖像分別進行共享參數(shù)卷積檢測和特征縮放，不僅可以實現(xiàn)對每個位置從深層特征中采樣最具代表性的信息，降低漏檢幾率，緩解在特征融合過程中因空間錯位或信息稀釋而導致丟失關鍵細節(jié)的問題，而且具有較好的檢測效果，易于部署在資源受限的邊緣設備上。