本發(fā)明涉及青桔檢測領(lǐng)域，具體涉及一種基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法及計算機(jī)裝置。

背景技術(shù)：

1、近年來，深度學(xué)習(xí)的發(fā)展使得目標(biāo)檢測在諸多場景下表現(xiàn)優(yōu)異。

2、如現(xiàn)有技術(shù)cn114998704a公開的一種基于yolov5的瑕疵目標(biāo)檢測方法，包括圖像的獲?。河脩衾脠D像采集設(shè)備對目標(biāo)對象進(jìn)行圖像采集，并將采集到的圖像按照pascalvoc數(shù)據(jù)集的格式將圖片命名。該方案通過對yolov5算法做出了進(jìn)一步的改進(jìn)，更好的平衡不同尺度的特征信息；針對密集、相互遮擋的小目標(biāo)，使用varifocalloss來訓(xùn)練密集目標(biāo)，使得網(wǎng)絡(luò)模型面對大面積聚簇重疊的目標(biāo)時，能夠準(zhǔn)確識別。對物體自身現(xiàn)狀顏色變化、復(fù)雜自然環(huán)境條件等也有較好的魯棒性。

3、但針對某些目標(biāo)的檢測，例如青桔的檢測，由于青桔果實(shí)的顏色與背景樹葉相近，果樹的偽裝極大增加了模型的識別難度，采用現(xiàn)有的目標(biāo)檢測算法無法對青桔果實(shí)進(jìn)行有效準(zhǔn)確的檢測。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)，提供一種基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法及計算機(jī)裝置，實(shí)現(xiàn)了在偽裝環(huán)境下對青桔果實(shí)的檢測，提高了檢測結(jié)果的準(zhǔn)確性。

2、本發(fā)明采取如下技術(shù)方案實(shí)現(xiàn)上述目的，第一方面，本發(fā)明提供一種基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法，包括：

3、s1、青桔數(shù)據(jù)集采集；

4、采集不同角度、不同距離以及不同光照背景下的青桔果實(shí)圖像數(shù)據(jù)作為數(shù)據(jù)集a，同時采集無青桔果樹背景下的青桔果實(shí)圖像數(shù)據(jù)，以及無青桔果實(shí)背景下的青桔果樹圖像數(shù)據(jù)作為數(shù)據(jù)集b；

5、s2、對數(shù)據(jù)集a進(jìn)行標(biāo)注；

6、s3、數(shù)據(jù)處理；

7、對標(biāo)注后的數(shù)據(jù)進(jìn)行隨機(jī)角度旋轉(zhuǎn)、亮度調(diào)整、對比度增強(qiáng)、色度銳度增強(qiáng)以及添加噪聲的數(shù)據(jù)增強(qiáng)操作，添加噪聲的過程中，在矩形檢測框內(nèi)添加高斯噪聲和椒鹽噪聲，在矩形檢測框外添加彩色噪聲與運(yùn)動模糊噪聲；

8、s4、自監(jiān)督對比學(xué)習(xí)；

9、通過simclr模塊將數(shù)據(jù)集b中的無青桔果樹背景下的青桔果實(shí)圖像數(shù)據(jù)，以及無果實(shí)背景下的青桔果樹圖像數(shù)據(jù)構(gòu)建為正負(fù)樣本對，隨后使用對比損失函數(shù)對兩個分支網(wǎng)絡(luò)的特征提取器進(jìn)行更新和優(yōu)化，優(yōu)化后采用針對青桔邊緣輪廓的特征提取網(wǎng)絡(luò)作為特征提取器，提取后的特征通過dense模塊處理，dense模塊作為simclr的投影頭將提取的特征放入低維空間進(jìn)行對比，最終在infonce對比損失的指導(dǎo)下使用nt-xent完成訓(xùn)練并保存模型權(quán)重；

10、特征提取網(wǎng)絡(luò)采用yolov11-go網(wǎng)絡(luò)模型，在yolov11-go網(wǎng)絡(luò)模型的下采樣過程中，將其主干網(wǎng)絡(luò)及頸部網(wǎng)絡(luò)中的c3k2層替換為dccv-c3k2，并將yolov11-go網(wǎng)絡(luò)模型的四個輸出通道壓縮至256，第二特征層的輸出經(jīng)過一個卷積塊處理后，與經(jīng)過c3k2模塊、卷積塊和上采樣處理的第三特征層特征圖相結(jié)合，再通過一個c3k2模塊，形成第二特征層的最終輸出，在頸部網(wǎng)絡(luò)輸出特征之后，加入basicrfb模塊，basicrfb模塊基于inception模式，結(jié)合多卷積并行和空洞卷積技術(shù)，其包含3個分支和一個殘差結(jié)構(gòu)，各分支分別由不同類型的卷積塊組成，最終將特征整合至檢測頭；

11、s5、自監(jiān)督對比學(xué)習(xí)訓(xùn)練；

12、將部分標(biāo)正負(fù)樣本對在simclr模塊進(jìn)行訓(xùn)練，模型訓(xùn)練完成后，將得到的模型權(quán)重加載到y(tǒng)olov11-go網(wǎng)絡(luò)模型中，將剩余部分的正負(fù)樣本對送入yolov11-go網(wǎng)絡(luò)模型的主干網(wǎng)絡(luò)進(jìn)行特征提取，輸出多個特征層，多個特征層捕捉不同尺度的目標(biāo)信息后，經(jīng)由頸部網(wǎng)絡(luò)整合，通過特征融合和上采樣操作增強(qiáng)特征表示，接下來，融合后的特征圖通過檢測頭生成目標(biāo)檢測的邊界框信息，最后應(yīng)用soft-nms去除冗余的預(yù)測框，只保留置信度大于設(shè)置值的檢測結(jié)果，最終輸出邊界框坐標(biāo)、類別置信度和分類標(biāo)簽，形成完整的青桔目標(biāo)檢測結(jié)果；

13、通過損失函數(shù)對青桔目標(biāo)檢測結(jié)果進(jìn)行評判；

14、在yolov11-go網(wǎng)絡(luò)模型中，采用siou?損失函數(shù)，siou?損失函數(shù)由iou損失，距離損失，角度損失，形狀損失組合而成，其公式如下：

15、；

16、式中，是平衡各損失項的重要性系數(shù)，是預(yù)測框和真實(shí)框的交并比，表示預(yù)測框和真實(shí)框的中心點(diǎn)距離之間的損失，用于衡量預(yù)測框和真實(shí)框的長寬比差異，表示預(yù)測框和真實(shí)框間的角度損失；

17、s6、設(shè)置yolov11-go網(wǎng)絡(luò)模型的迭代次數(shù)、批次大小以及初始學(xué)習(xí)率，通過標(biāo)注的數(shù)據(jù)進(jìn)行迭代訓(xùn)練，最后通過訓(xùn)練完成的yolov11-go網(wǎng)絡(luò)模型進(jìn)行青桔檢測。

18、進(jìn)一步的是，步驟s2中，對采集的數(shù)據(jù)標(biāo)注時，通過labelme圖像標(biāo)注工具對圖像中所有遮擋率小于95%，露出超過10像素點(diǎn)的青桔果實(shí)圖像與青桔果樹圖像使用矩形檢測框進(jìn)行標(biāo)注。

19、進(jìn)一步的是，步驟s3還包括：

20、通過albumentations庫調(diào)整數(shù)據(jù)增強(qiáng)操作后矩形檢測框的位置，使得矩形檢測框的坐標(biāo)同步增強(qiáng)和調(diào)整。

21、進(jìn)一步的是，步驟s4中，根據(jù)采集的無青桔果樹背景下的青桔果實(shí)圖像數(shù)據(jù)，以及無果實(shí)背景下的青桔果樹圖像數(shù)據(jù)構(gòu)建正負(fù)樣本對之前，還包括：

22、通過sobel濾波、裁剪、剪切以及顏色失真對該青桔果實(shí)圖像數(shù)據(jù)以及青桔果樹圖像數(shù)據(jù)分別進(jìn)行不同的數(shù)據(jù)增強(qiáng)。

23、第二方面，本發(fā)明提供一種計算機(jī)裝置，包括存儲器，所述存儲器存儲有程序指令，所述程序指令運(yùn)行時，執(zhí)行上述所述的基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法。

24、本發(fā)明的有益效果為：

25、本發(fā)明采用自監(jiān)督對比學(xué)習(xí)的方法增強(qiáng)模型的特征提取能力，將采集的無青桔果樹背景下的青桔果實(shí)圖像數(shù)據(jù)，以及無果實(shí)背景下的青桔果樹圖像數(shù)據(jù)構(gòu)建為正負(fù)樣本對，通過正負(fù)樣本對進(jìn)行對比學(xué)習(xí)，能夠?qū)崿F(xiàn)模型權(quán)重的重新分配，增強(qiáng)模型在偽裝環(huán)境下的檢測能力，最后設(shè)置損失函數(shù)、模型的迭代次數(shù)、批次大小以及初始學(xué)習(xí)率，通過標(biāo)注的數(shù)據(jù)進(jìn)行迭代訓(xùn)練，最后通過訓(xùn)練完成的yolov11-go網(wǎng)絡(luò)模型進(jìn)行青桔檢測，極大地提高了偽裝環(huán)境下的青桔檢測能力。

技術(shù)特征：

1.一種基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法，其特征在于，步驟s2中，對數(shù)據(jù)集a進(jìn)行標(biāo)注時，通過labelme圖像標(biāo)注工具對圖像中所有遮擋率小于95%，露出超過10像素點(diǎn)的青桔果實(shí)圖像與青桔果樹圖像使用矩形檢測框進(jìn)行標(biāo)注。

3.根據(jù)權(quán)利要求1所述的基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法，其特征在于，步驟s3還包括：

4.根據(jù)權(quán)利要求1所述的基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法，其特征在于，步驟s4中，根據(jù)采集的無青桔果樹背景下的青桔果實(shí)圖像數(shù)據(jù)，以及無果實(shí)背景下的青桔果樹圖像數(shù)據(jù)構(gòu)建正負(fù)樣本對之前，還包括：

5.一種計算機(jī)裝置，包括存儲器，所述存儲器存儲有程序指令，其特征在于，所述程序指令運(yùn)行時，執(zhí)行如權(quán)利要求1-4任意一項所述的基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法。

技術(shù)總結(jié)
本發(fā)明涉及青桔檢測領(lǐng)域，具體涉及一種基于自監(jiān)督對比學(xué)習(xí)的青桔檢測方法及計算機(jī)裝置。本發(fā)明采用自監(jiān)督對比學(xué)習(xí)的方法增強(qiáng)模型的特征提取能力，將采集的無青桔果樹背景下的青桔果實(shí)圖像數(shù)據(jù)，以及無果實(shí)背景下的青桔果樹圖像數(shù)據(jù)構(gòu)建為正負(fù)樣本對，通過正負(fù)樣本對進(jìn)行對比學(xué)習(xí)，能夠?qū)崿F(xiàn)模型權(quán)重的重新分配，增強(qiáng)模型在偽裝環(huán)境下的檢測能力，最后設(shè)置損失函數(shù)、模型的迭代次數(shù)、批次大小以及初始學(xué)習(xí)率，通過標(biāo)注的數(shù)據(jù)進(jìn)行迭代訓(xùn)練，最后通過訓(xùn)練完成的YOLOv11?go網(wǎng)絡(luò)模型進(jìn)行青桔檢測，極大地提高了偽裝環(huán)境下的青桔檢測能力。本發(fā)明適用于青桔果實(shí)檢測。

技術(shù)研發(fā)人員：王先垚,陳曉燕,黃雨桐,徐瑋澤,蔡麗萍,劉馨遙,牟迪,徐子揚(yáng),路正陽,郭純杰
受保護(hù)的技術(shù)使用者：四川農(nóng)業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23