本發(fā)明涉及圖像處理，并且更具體地，涉及一種基于多尺度卷積的小目標(biāo)物體分割方法及裝置。

背景技術(shù)：

1、在圖像處理領(lǐng)域，針對小目標(biāo)物體的分割技術(shù)一直是一個重要的研究方向。由于小目標(biāo)物體尺寸較小，其在圖像中像素數(shù)量有限，容易受到周圍背景的干擾。同時，小目標(biāo)物體與周圍背景的對比度較低，導(dǎo)致邊界模糊不清，難以準(zhǔn)確地區(qū)分目標(biāo)與背景。此外，小目標(biāo)物體往往會被大目標(biāo)物體或其他遮擋物部分遮擋，使其在圖像中呈現(xiàn)不完整的狀態(tài)，進一步增加了分割的難度。因此，解決這些挑戰(zhàn)對于實現(xiàn)準(zhǔn)確、魯棒的小目標(biāo)物體分割至關(guān)重要。小目標(biāo)物體分割屬于圖像語義分割問題，語義分割是計算機視覺中的基本任務(wù)，它涉及對圖像進行逐像素的分類，將圖像中的每個像素分配到相應(yīng)的類別中。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network，cnn)能夠提供比傳統(tǒng)分類算法更強大的分類器，并且能夠自動學(xué)習(xí)深層特征，從而有效提高了圖像語義分割的準(zhǔn)確性。然而傳統(tǒng)的cnn在設(shè)計時通常采用固定大小的卷積核和固定層級的網(wǎng)絡(luò)結(jié)構(gòu)，這在某種程度上限制了網(wǎng)絡(luò)對于不同尺度信息的提取能力。在實際應(yīng)用中，很多場景下需要處理的物體或者目標(biāo)具有不同的尺度，比如，在圖像分割任務(wù)中，需要對不同尺度的物體進行精確的分割。傳統(tǒng)的cnn往往難以很好地適應(yīng)這種多尺度信息的處理需求。因此，為了更有效地處理多尺度信息，研究者們提出了多尺度卷積的概念。多尺度卷積通過在網(wǎng)絡(luò)中引入不同尺度的卷積核或者多尺度的卷積操作，使得網(wǎng)絡(luò)能夠同時捕獲并處理不同尺度的特征信息。這種方式有效地擴展了網(wǎng)絡(luò)的感受野，增加了網(wǎng)絡(luò)對于多尺度信息的適應(yīng)能力。

2、現(xiàn)有技術(shù)中，公開號為cn115424023b的中國專利公開了“一種增強小目標(biāo)分割性能的自注意力方法”。該方法通過一種增強小目標(biāo)分割性能的自注意力機制模塊，將多期相特征圖分成多條支路，并通過單期相增強注意力單元對每條支路進行處理，最后得到最終特征表達。這種方法可以加權(quán)處理含有小目標(biāo)特征信息的通道，從而增強對小目標(biāo)的分割能力。然而，在復(fù)雜場景下，需要處理的特征圖數(shù)量可能較多，導(dǎo)致計算資源消耗較高，小目標(biāo)與背景之間的區(qū)分仍然存在挑戰(zhàn)，導(dǎo)致分割效果不夠理想。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于多尺度卷積的小目標(biāo)物體分割方法及裝置。

2、根據(jù)本發(fā)明的一個方面，提供了一種基于多尺度卷積的小目標(biāo)物體分割方法，包括：

3、對收集的小目標(biāo)圖像進行預(yù)處理，生成小目標(biāo)圖像樣本集；

4、根據(jù)預(yù)先構(gòu)建的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型以及預(yù)先設(shè)計的損失函數(shù)對小目標(biāo)圖像樣本集進行訓(xùn)練，生成小目標(biāo)預(yù)測模型；

5、將待預(yù)測小目標(biāo)圖像輸入至小目標(biāo)預(yù)測模型中，輸出待預(yù)測小目標(biāo)圖像的像素級的預(yù)測圖像；其中，損失函數(shù)為：

6、

7、

8、

9、式中，是加權(quán)交叉熵?fù)p失函數(shù)，用于度量多尺度特征提取模塊輸出的小目標(biāo)物體分割結(jié)果與真實標(biāo)簽之間的差異；是dice損失函數(shù)，用于增強多尺度特征提取模塊輸出的小目標(biāo)物體分割結(jié)果的準(zhǔn)確性；λ是用于平衡加權(quán)交叉熵?fù)p失函數(shù)和dice損失函數(shù)的權(quán)重系數(shù)；β是為正樣本加權(quán)的權(quán)重參數(shù)，其中，設(shè)置β＞1，減少假陰性，設(shè)置β＜1，減少假陽性；n是類別數(shù)量，是模型預(yù)測第i個樣本的概率分布，yi表示第i個樣本的真實標(biāo)簽。

10、可選地，對收集的小目標(biāo)圖像進行預(yù)處理，生成小目標(biāo)圖像樣本集，包括：

11、對小目標(biāo)圖像進行去噪操作；

12、對去噪后的小目標(biāo)圖像進行圖像增強操作；

13、對增強后的小目標(biāo)圖像按照預(yù)設(shè)尺寸進行調(diào)整；

14、將尺寸調(diào)整后的小目標(biāo)圖像進行歸一化處理，生成符合預(yù)設(shè)要求的小目標(biāo)圖像樣本集。

15、可選地，根據(jù)預(yù)先構(gòu)建的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型以及預(yù)先設(shè)計的損失函數(shù)對小目標(biāo)圖像樣本集進行訓(xùn)練，生成小目標(biāo)預(yù)測模型，包括：

16、將小目標(biāo)圖像集輸入至多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的多尺度特征提取模塊，提取小目標(biāo)圖像集中每個圖像的多尺度圖像特征信息；

17、將多尺度圖像特征信息輸入至多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的多尺度特征融合模塊，輸出融合特征；

18、將融合特征輸入至多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的語義分割預(yù)測模塊，輸出預(yù)測結(jié)果；

19、在預(yù)測結(jié)果滿足損失函數(shù)的情況下，生成小目標(biāo)預(yù)測模型。

20、可選地，多尺度特征提取模塊中含有多尺度卷積核、深度可分離卷積、非線性激活函數(shù)、池化操作、特征圖金字塔、跳躍連接和注意力機制，將小目標(biāo)圖像集輸入至多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的多尺度特征提取模塊，提取小目標(biāo)圖像集中每個圖像的多尺度圖像特征信息，包括：

21、通過多尺度卷積核在小目標(biāo)圖像集的圖像上進行滑動計算，提取出圖像中的多種特征信息；

22、將多種特征信息輸入深度可分離卷積減少參數(shù)量，其中深度可分離卷積包括深度卷積和逐點卷積；

23、在卷積操作之后，利用非線性激活函數(shù)增加多種特征信息的特征表示；

24、使用不同大小的池化操作將增加特征表示后的多種特征信息的維度降低；

25、利用特征圖金字塔，捕獲不同尺度上多種特征信息的圖像特征；

26、利用跳躍連接保留圖像特征中不同尺度的圖像特征信息；

27、利用注意力機制來加強對不同尺度的圖像特征信息的關(guān)注度，輸出多尺度圖像特征信息。

28、可選地，將多尺度圖像特征信息輸入至多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的多尺度特征融合模塊，輸出融合特征，包括：

29、采用上采樣操作對多尺度圖像特征信息進行尺度調(diào)整；

30、將尺度調(diào)整后的多尺度圖像特征信息進行空間映射，獲取映射特征；

31、引入通道注意力，采用拼接方法將映射后的映射特征進行融合，輸出融合特征。

32、可選地，將融合特征輸入至多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的語義分割預(yù)測模塊，輸出預(yù)測結(jié)果，包括：

33、通過語義分割預(yù)測模塊的多個1×1卷積層將通道數(shù)調(diào)整為預(yù)設(shè)的目標(biāo)類別數(shù)量相匹配的通道數(shù)量，并輸出每個通道中融合特征的分?jǐn)?shù)；

34、利用softmax函數(shù)將每個通道的分?jǐn)?shù)轉(zhuǎn)換為概率值，其中所有通道的概率值之和為1；

35、通過softmax函數(shù)選擇概率值最高的類別作為預(yù)測結(jié)果。

36、可選地，softmax函數(shù)的表達式如下：

37、

38、其中，zi表示輸入向量中的第i個元素，e是自然對數(shù)的底，k是類別數(shù)。

39、根據(jù)本發(fā)明的另一個方面，提供了一種基于多尺度卷積的小目標(biāo)物體分割裝置，包括：

40、第一生成模塊，用于對收集的小目標(biāo)圖像進行預(yù)處理，生成小目標(biāo)圖像樣本集；

41、第二生成模塊，用于根據(jù)預(yù)先構(gòu)建的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型以及預(yù)先設(shè)計的損失函數(shù)對小目標(biāo)圖像樣本集進行訓(xùn)練，生成小目標(biāo)預(yù)測模型；

42、輸出模塊，用于將待預(yù)測小目標(biāo)圖像輸入至小目標(biāo)預(yù)測模型中，輸出待預(yù)測小目標(biāo)圖像的像素級的預(yù)測圖像；其中，損失函數(shù)為：

43、

44、

45、式中，是加權(quán)交叉熵?fù)p失函數(shù)，用于度量多尺度特征提取模塊輸出的小目標(biāo)物體分割結(jié)果與真實標(biāo)簽之間的差異；是dice損失函數(shù)，用于增強多尺度特征提取模塊輸出的小目標(biāo)物體分割結(jié)果的準(zhǔn)確性；λ是用于平衡加權(quán)交叉熵?fù)p失函數(shù)和dice損失函數(shù)的權(quán)重系數(shù)；β是為正樣本加權(quán)的權(quán)重參數(shù)，其中，設(shè)置β＞1，減少假陰性，設(shè)置β＜1，減少假陽性；n是類別數(shù)量，是模型預(yù)測第i個樣本的概率分布，yi表示第i個樣本的真實標(biāo)簽。

46、根據(jù)本發(fā)明的又一個方面，提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序用于執(zhí)行本發(fā)明上述任一方面所述的方法。

47、根據(jù)本發(fā)明的又一個方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：處理器；用于存儲所述處理器可執(zhí)行指令的存儲器；所述處理器，用于從所述存儲器中讀取所述可執(zhí)行指令，并執(zhí)行所述指令以實現(xiàn)本發(fā)明上述任一方面所述的方法。

48、從而，本發(fā)明利用多尺度卷積網(wǎng)絡(luò)在不同尺度上提取特征，能夠更全面地捕捉小目標(biāo)物體的各種形態(tài)和細(xì)節(jié)，從而提高模型對不同尺度小目標(biāo)物體的分割能力。這有助于提升模型在復(fù)雜場景中的表現(xiàn)。引入注意力機制能夠讓模型更加關(guān)注小目標(biāo)物體周圍的重要區(qū)域，從而提高模型的識別精確度。這有助于減少誤差，提升模型在實際場景中的可靠性。從而本發(fā)明將有助于提高小目標(biāo)物體分割的準(zhǔn)確性和魯棒性，從而提升整體性能。綜合利用多尺度特征提取和注意力機制，能夠更好地應(yīng)對復(fù)雜場景下的小目標(biāo)分割挑戰(zhàn)。