本發(fā)明涉及一種面向小麥產(chǎn)量估計(jì)的圖像分割方法，屬于機(jī)器視覺(jué)和深度學(xué)習(xí)。

背景技術(shù)：

1、小麥作為中國(guó)主要的三大糧食作物之一，加強(qiáng)其研究對(duì)國(guó)家的農(nóng)業(yè)經(jīng)濟(jì)發(fā)展、社會(huì)穩(wěn)定具有重要的意義。小麥麥穗作為小麥主要表型特征，和小麥產(chǎn)量有直接聯(lián)系。因此，對(duì)小麥麥穗進(jìn)行計(jì)數(shù)，并以成熟期小麥穗部為預(yù)測(cè)依據(jù)所估測(cè)的小麥產(chǎn)量與最終實(shí)際產(chǎn)量最接近，方便農(nóng)業(yè)相關(guān)人員進(jìn)行管理決策。

2、傳統(tǒng)的農(nóng)作物計(jì)數(shù)主要通過(guò)人為的觀察測(cè)量獲得，這種測(cè)量方法得到的數(shù)據(jù)量十分有限且效率低下、主觀性強(qiáng)。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，其被廣泛應(yīng)用到農(nóng)作物表型特征研究領(lǐng)域。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)一個(gè)分支，在圖像識(shí)別領(lǐng)域取得了重大突破。多項(xiàng)研究表明，基于深度學(xué)習(xí)的方法分析農(nóng)作物表型特征比傳統(tǒng)機(jī)器學(xué)習(xí)性能更優(yōu)?，F(xiàn)階段，通過(guò)深度學(xué)習(xí)提取小麥穗部特征的研究相對(duì)較少，如何結(jié)合圖像處理技術(shù)對(duì)麥穗進(jìn)行計(jì)數(shù)，繼而為小麥相關(guān)研究提供更為客觀、準(zhǔn)確的依據(jù)，是當(dāng)前亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種面向小麥產(chǎn)量估計(jì)的圖像分割方法，該方法能夠高效準(zhǔn)確地提取小麥穗部特征，提高小麥產(chǎn)量的估測(cè)精度，為小麥相關(guān)研究提供更為客觀、準(zhǔn)確的依據(jù)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種面向小麥產(chǎn)量估計(jì)的圖像分割方法，包括如下步驟：

3、步驟一、小麥處于成熟期時(shí)，使用無(wú)人機(jī)采集田間小麥穗部圖像；

4、步驟二、通過(guò)步驟一采集到的圖像構(gòu)建小麥穗部分割數(shù)據(jù)集，并進(jìn)行標(biāo)注，通過(guò)旋轉(zhuǎn)和圖像倒置處理方式擴(kuò)充數(shù)據(jù)集；

5、步驟三、搭建基于改進(jìn)yolov8網(wǎng)絡(luò)的小麥穗部圖像分割網(wǎng)絡(luò)，對(duì)圖像分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到預(yù)測(cè)模型；

6、步驟四、利用步驟三訓(xùn)練好的圖像分割網(wǎng)絡(luò)對(duì)小麥穗部圖像進(jìn)行分割，并根據(jù)分割情況對(duì)麥穗進(jìn)行自動(dòng)計(jì)數(shù)且計(jì)算小麥穗部掩膜面積；

7、步驟五、輸出經(jīng)步驟四處理后的穗部圖像和分割結(jié)果；其中，處理后的穗部圖像標(biāo)注出麥穗數(shù)量及穗部掩膜總像素。

8、進(jìn)一步地，所述步驟一中的無(wú)人機(jī)采用大疆御2系列，有效像素1200萬(wàn)，有變焦功能，圖傳分辨率1080p，既能保證了采集速度，也能確保圖像質(zhì)量；由于成熟期小麥穗生長(zhǎng)密集，所以設(shè)定飛行高度為1.4m，使得獲取到的圖像中小麥穗盡可能避免重疊，方便后續(xù)小麥穗計(jì)數(shù)及掩膜像素計(jì)算。

9、進(jìn)一步地，所述步驟二中對(duì)采集到的圖像進(jìn)行旋轉(zhuǎn)的旋角為15～25度，圖像倒置的概率為0.3～0.5；以0.3～0.5的概率對(duì)圖像進(jìn)行圖像通道翻轉(zhuǎn)。

10、進(jìn)一步地，所述步驟三中對(duì)改進(jìn)后的yolov8網(wǎng)絡(luò)進(jìn)行訓(xùn)練，改進(jìn)點(diǎn)包括使用c2f_simam模塊替代原本主干網(wǎng)絡(luò)中的c2f模塊、引入漸進(jìn)特征金字塔網(wǎng)絡(luò)重構(gòu)頸部網(wǎng)絡(luò)以及用asddet分割頭代替原yolov8分割頭。

11、進(jìn)一步地，所述步驟三中對(duì)改進(jìn)后的yolov8網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用c2f_simam模塊替代原主干網(wǎng)絡(luò)中部分c2f模塊，用于提高主干網(wǎng)絡(luò)特征提取能力，具體的特征提取過(guò)程為：

12、(1)輸入圖像大小為640×640×3，經(jīng)過(guò)一個(gè)通道數(shù)為64、步長(zhǎng)為2的cbs模塊，得到320×320×64的特征圖p1，p1進(jìn)入一個(gè)通道數(shù)為128、步數(shù)為2的cbs模塊，得到160×160×128的特征圖p2，p2進(jìn)入通道數(shù)為128的c2f模塊，初步提取160×160×128的特征圖特征，經(jīng)過(guò)一個(gè)通道數(shù)為256、步長(zhǎng)為2的cbs模塊，得到80×80×256的特征圖p3，p3進(jìn)入通道數(shù)為128的c2f_simam模塊，提取到低層特征圖c3；

13、(2)c3經(jīng)過(guò)一個(gè)通道數(shù)為512、步長(zhǎng)為2的cbs模塊，得到80×80×512的特征圖p4，p4進(jìn)入通道數(shù)為512的c2f_simam模塊，提取到中層特征圖c4；

14、(3)c4經(jīng)過(guò)一個(gè)通道數(shù)為1024、步長(zhǎng)為2的cbs模塊，得到80×80×1024的特征圖p5，p5進(jìn)入通道數(shù)為1024的c2f_simam模塊，得到20×20×1024的特征圖，接著進(jìn)入通道數(shù)為1024的sppf模塊，對(duì)特征圖進(jìn)行池化操作，得到最終高層特征圖c5。

15、進(jìn)一步地，所述的c2f_simam模塊是在c2f模塊最后一個(gè)卷積層之前加入無(wú)參數(shù)的注意力機(jī)制simam，對(duì)提取到的局部特征進(jìn)行加權(quán)，增強(qiáng)特征表達(dá)能力，并對(duì)每個(gè)神經(jīng)元定義了能量函數(shù)，且能量越低，神經(jīng)元與周圍神經(jīng)元區(qū)別越大、重要性越高，最小能量函數(shù)定義為：

16、

17、式中，用于評(píng)估神經(jīng)元的重要性，t為當(dāng)前輸入特征目標(biāo)神經(jīng)元，和分別為通道中所有神經(jīng)元的均值和方差；

18、c2f_simam模塊使用縮放算子進(jìn)行特征優(yōu)化，優(yōu)化公式為：

19、

20、式中，為縮放算子，e為所有跨通道和空間維度的匯總，sigmoid函數(shù)用于限制e值過(guò)大。

21、進(jìn)一步地，所述步驟三中改進(jìn)yolov8網(wǎng)絡(luò)通過(guò)引入漸進(jìn)特征金字塔網(wǎng)絡(luò)重構(gòu)頸部網(wǎng)絡(luò)進(jìn)行特征融合，通過(guò)使用asddet分割頭代替原yolov8分割頭；其中，特征融合在多層次融合過(guò)程中，afpn網(wǎng)絡(luò)利用自適應(yīng)特征融合為不同層的特征分配空間權(quán)重，具體特征融合操作過(guò)程為：

22、(1)從主干網(wǎng)絡(luò)中提取每個(gè)階段最后一層特征，從底部到頂部分別為c3、c4、c5，c3特征圖經(jīng)過(guò)cbs模塊，獲得一個(gè)80×80×64的0級(jí)特征圖，c4特征圖經(jīng)過(guò)cbs模塊獲得一個(gè)40×40×128的1級(jí)特征圖，將0級(jí)特征與1級(jí)特征進(jìn)行中低層特征融合，得到新特征向量表示為：

23、

24、式中，分別表示0級(jí)特征和1級(jí)特征在等級(jí)l下的空間權(quán)重，l＝0、1，且滿足表示n等級(jí)到l等級(jí)的位置(i,j)的特征向量；

25、(2)融合后的0級(jí)和1級(jí)特征，進(jìn)入basicblock模塊；

26、(3)c5特征圖經(jīng)過(guò)cbs模塊，獲得一個(gè)20×20×256的2級(jí)特征圖；

27、(4)將步驟(2)得到的融合特征和2級(jí)特征一同依次進(jìn)入低級(jí)特征空間，即asff_3-1模塊后，得到三個(gè)特征在低層融合的特征圖0級(jí)特征為p’3、通過(guò)中級(jí)特征空間，即asff_3-2模塊后，得到三個(gè)特征在中層融合的特征圖1級(jí)特征為p’4、通過(guò)高級(jí)特征空間，即asff_3-3模塊后得到三個(gè)特征在高層融合的特征圖2級(jí)特征為p’5，三個(gè)特征融合后得到新特征向量表示為：

28、

29、分別表示0級(jí)特征、1級(jí)特征和2級(jí)特征在等級(jí)l下的空間權(quán)重，l＝0、1、2，且滿足

30、(5)將得到的三個(gè)多層次融合的特征圖輸出頸部網(wǎng)絡(luò)；

31、使用asddet分割頭進(jìn)行特征分割的具體過(guò)程為：

32、(1)將頸部網(wǎng)絡(luò)的輸出三個(gè)特征圖p’3、p’4、p’5作為三個(gè)asddet檢測(cè)頭的輸入；

33、(2)p’3作為分辨率最大的特征圖，多出一條proto分支進(jìn)行原生掩碼預(yù)測(cè)，經(jīng)過(guò)3×3、步長(zhǎng)為1的卷積提取特征，進(jìn)行上采樣提高分辨率，再經(jīng)過(guò)3×3、步長(zhǎng)為1的卷積提取高分辨率特征，以及1×1，步長(zhǎng)為2的卷積改變通道，最后通過(guò)sigmoid函數(shù)輸出prototypemask特征圖；

34、(3)特征圖p’3、p’4、p’5均在head層分別生成預(yù)測(cè)box的特征圖、預(yù)測(cè)cls的特征圖和生成mask系數(shù)的特征圖，其中生成預(yù)測(cè)box分支和mask系數(shù)分支過(guò)程中，在第一個(gè)卷積層后加入一個(gè)shuffle模塊，通過(guò)群卷積對(duì)輸入特征圖劃分為多組進(jìn)行卷積操作，然后對(duì)多組特征打亂重組得到清理過(guò)后得到預(yù)測(cè)box特征圖和mask系數(shù)特征圖；而生成cls分支過(guò)程中，第一個(gè)卷積層用dwconv卷積代替，減少了分類分支中的參數(shù)量，從而降低計(jì)算量。

35、進(jìn)一步地，所述步驟四中對(duì)圖像進(jìn)行分割及根據(jù)分割情況對(duì)麥穗進(jìn)行自動(dòng)計(jì)數(shù)且計(jì)算小麥穗部掩膜面積的具體過(guò)程為：

36、(1)將步驟三中訓(xùn)練完成的模型權(quán)重文件best.pt文件文件包含了改進(jìn)后的模型參數(shù)導(dǎo)入預(yù)測(cè)模型，對(duì)采集到的小麥圖像進(jìn)行穗部預(yù)測(cè)分割，并對(duì)圖像中掩碼的數(shù)量進(jìn)行累加，得到一張圖像中的麥穗數(shù)量，通過(guò)對(duì)小麥穗部圖像分割，提取出穗部掩碼圖；

37、(2)掩碼形狀表示為[n,h,w]，其中n表示掩碼個(gè)數(shù)，h,w表示掩碼位置信息，將[n,h,w]轉(zhuǎn)換成numpy數(shù)組計(jì)算掩碼像素；根據(jù)目標(biāo)像素坐標(biāo)計(jì)算圖像中單個(gè)掩碼像素并進(jìn)行累加，得到一張圖像中的麥穗掩碼總像素，對(duì)所有圖像中掩碼個(gè)數(shù)和像素?cái)?shù)累加，得到田間麥穗數(shù)和麥穗飽和度，通過(guò)以下公式得到產(chǎn)量：

38、

39、式中，sy為作物產(chǎn)量，num_wheat為小麥穗數(shù)，pixel_area為穗部像素面積，j表示采集的數(shù)據(jù)集。

40、進(jìn)一步地，所述步驟五的具體過(guò)程為：對(duì)數(shù)據(jù)集預(yù)測(cè)完成后，將顯示穗部總數(shù)及穗部掩碼總像素的圖像及分割結(jié)果輸出，得到田間小麥穗的生長(zhǎng)情況，包括麥穗數(shù)和麥穗飽和度；其中，麥穗飽和度是根據(jù)麥穗分割掩膜圖像素為依據(jù)判斷，為預(yù)測(cè)小麥產(chǎn)量提供數(shù)據(jù)信息。

41、本發(fā)明基于單階段yolov8分割算法，使用c2f_simam模塊替代原主干網(wǎng)絡(luò)中部分c2f模塊，提高主干網(wǎng)絡(luò)特征提取能力；通過(guò)引入漸進(jìn)特征金字塔網(wǎng)絡(luò)重構(gòu)頸部網(wǎng)絡(luò)進(jìn)行特征融合，通過(guò)使用asddet分割頭代替原yolov8分割頭，有效提高了算法效率的同時(shí)，實(shí)現(xiàn)了對(duì)小麥穗部特征更為準(zhǔn)確的提取，提高了小麥產(chǎn)量的估測(cè)精度，為小麥相關(guān)研究提供了更為客觀、準(zhǔn)確的依據(jù)。