本發(fā)明涉及計(jì)算機(jī),特別是涉及一種基于邊緣增強(qiáng)的梨葉片多病害識(shí)別方法、一種基于邊緣增強(qiáng)的梨葉片多病害識(shí)別裝置、一種計(jì)算機(jī)設(shè)備及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
背景技術(shù):
1、圖像分割是圖像處理和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要課題,在場(chǎng)景理解、醫(yī)學(xué)圖像分析、機(jī)器人感知、視頻監(jiān)控、增強(qiáng)現(xiàn)實(shí)、病害分割等領(lǐng)域有著廣泛的應(yīng)用。梨樹在全球果樹種類中占據(jù)重要的地位,梨果產(chǎn)業(yè)的發(fā)展也帶來了豐厚的經(jīng)濟(jì)效益,促進(jìn)了農(nóng)業(yè)經(jīng)濟(jì)的發(fā)展,但是近幾年來,植物病理學(xué)已成為世界各地生產(chǎn)和供應(yīng)安全的重大威脅,因此實(shí)現(xiàn)梨樹病害的精確分割能夠幫助果農(nóng)更好地管理農(nóng)作物,提高產(chǎn)量和質(zhì)量,實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)的可持續(xù)發(fā)展。因此,如何準(zhǔn)確高效的識(shí)別分割梨樹葉片的病害,是一個(gè)急需解決的問題。
2、傳統(tǒng)圖像算法主要基于數(shù)學(xué)和計(jì)算機(jī)視覺理論,通過對(duì)圖像進(jìn)行預(yù)處理、特征提取和分類等步驟,實(shí)現(xiàn)圖像的處理和分析,隨著人工智能技術(shù)的不斷發(fā)展,深度學(xué)習(xí)在圖像分割領(lǐng)域的應(yīng)用越來越廣泛,其中的卷積神經(jīng)網(wǎng)絡(luò)?(cnn),已成為使用圖像自動(dòng)檢測(cè)和分割作物病害的趨勢(shì)。深度學(xué)習(xí)圖像處理的算法架構(gòu)則由神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí),通過自動(dòng)學(xué)習(xí)數(shù)據(jù)中的特征,提取圖像的特征并進(jìn)行分類。無論是傳統(tǒng)算法還是神經(jīng)網(wǎng)絡(luò),當(dāng)病害邊緣較為模糊時(shí),都無法精確的對(duì)邊緣進(jìn)行分割,以及疾病特征的多樣性往往會(huì)造成病害的誤判,在多種病害共存的情況下,無法實(shí)現(xiàn)精準(zhǔn)正確的分割。
3、在現(xiàn)有技術(shù)中,存在以下幾點(diǎn)不足與缺點(diǎn):病害的邊緣較為模糊,傳統(tǒng)方法分割對(duì)難以實(shí)現(xiàn)精準(zhǔn)分割;現(xiàn)有神經(jīng)網(wǎng)絡(luò)算法復(fù)雜性較高,并且魯棒性較低,難以滿足病害分割需求;現(xiàn)有網(wǎng)絡(luò)在對(duì)多種病害同時(shí)處理時(shí)會(huì)產(chǎn)生誤判,識(shí)別結(jié)果不夠穩(wěn)定。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問題,提出了本發(fā)明實(shí)施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于邊緣增強(qiáng)的梨葉片多病害識(shí)別方法、一種基于邊緣增強(qiáng)的梨葉片多病害識(shí)別裝置、一種計(jì)算機(jī)設(shè)備及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
2、為了解決上述問題,本發(fā)明實(shí)施例公開了一種基于邊緣增強(qiáng)的梨葉片多病害識(shí)別方法,所述方法包括:
3、獲取到輸入圖像;
4、將所述輸入圖像進(jìn)行維度變換,得到維度變換圖像;
5、將所述維度變換圖像經(jīng)過第一次卷積、第一次池化、第二次卷積、第二次池化、第三次卷積、第三次池化、第四次卷積、第四次池化,得到第一卷積圖像;
6、其中,在所述第一次卷積之后、第一次池化之前,第二次卷積之后、第二次池化之前,第三次卷積之后、第三次池化之前,第四次卷積之后、第四次池化之前,進(jìn)行空間注意力網(wǎng)絡(luò)及通道注意力網(wǎng)絡(luò)的第一次特征提取;
7、將所述第一卷積圖像經(jīng)過第一次上采樣、第一次反卷積、第二次上采樣、第二次反卷積、第三次上采樣、第三次反卷積、第四次上采樣、第四次反卷積,得到第二卷積圖像;
8、將所述輸入圖像進(jìn)行邊緣特征提取,得到邊緣特征圖,將所述邊緣特征圖與所述第二卷積圖像進(jìn)行特征融合,得到輸出特征圖。
9、優(yōu)選地,所述將所述維度變換圖像經(jīng)過第一次卷積、第一次池化、第二次卷積、第二次池化、第三次卷積、第三次池化、第四次卷積、第四次池化,得到第一卷積圖像,包括:
10、針對(duì)所述維度變換圖像進(jìn)行第一次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第一卷積特征圖;
11、將所述第一卷積特征圖進(jìn)行maxpool最大池化操作,得到第一池化特征圖;
12、針對(duì)所述第一池化特征圖進(jìn)行第二次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第二卷積特征圖;
13、將所述第二卷積特征圖進(jìn)行maxpool最大池化操作,得到第二池化特征圖;
14、針對(duì)所述第二池化特征圖進(jìn)行第三次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第三卷積特征圖;
15、將所述第三卷積特征圖進(jìn)行maxpool最大池化操作,得到第三池化特征圖;
16、針對(duì)所述第三池化特征圖進(jìn)行第四次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第四卷積特征圖;
17、將所述第四卷積特征圖進(jìn)行maxpool最大池化操作,得到第四池化特征圖;
18、將所述第四池化特征圖進(jìn)行第五次卷積,得到第一卷積圖像。
19、優(yōu)選地,所述將所述第一卷積圖像經(jīng)過第一次上采樣、第一次反卷積、第二次上采樣、第二次反卷積、第三次上采樣、第三次反卷積、第四次上采樣、第四次反卷積,得到第二卷積圖像,包括:
20、針對(duì)所述第一卷積圖像通過雙線性插值進(jìn)行第一次上采樣,得到第一上采樣特征圖;
21、將所述第一上采樣特征圖與第四卷積特征圖進(jìn)行拼接,得到第一拼接特征圖;
22、針對(duì)所述第一拼接特征圖進(jìn)行一次卷積操作,得到第一反卷積特征圖;
23、針對(duì)所述第一反卷積特征圖通過雙線性插值進(jìn)行第二次上采樣,得到第二上采樣特征圖;
24、將所述第二上采樣特征圖與第三卷積特征圖進(jìn)行拼接,得到第二拼接特征圖;
25、針對(duì)所述第二拼接特征圖進(jìn)行一次卷積操作,得到第二反卷積特征圖;
26、針對(duì)所述第二反卷積特征圖通過雙線性插值進(jìn)行第三次上采樣,得到第三上采樣特征圖;
27、將所述第三上采樣特征圖與第二卷積特征圖進(jìn)行拼接,得到第三拼接特征圖;
28、針對(duì)所述第三拼接特征圖進(jìn)行一次卷積操作,得到第三反卷積特征圖;
29、針對(duì)所述第三反卷積特征圖通過雙線性插值進(jìn)行第四次上采樣,得到第四上采樣特征圖;
30、將所述第四上采樣特征圖與第一卷積特征圖進(jìn)行拼接,得到第四拼接特征圖;
31、針對(duì)所述第四拼接特征圖進(jìn)行一次卷積操作,得到第四反卷積特征圖。
32、優(yōu)選地,所述在所述第一次卷積之后、第一次池化之前,第二次卷積之后、第二次池化之前,第三次卷積之后、第三次池化之前,第四次卷積之后、第四次池化之前,進(jìn)行空間注意力網(wǎng)絡(luò)及通道注意力網(wǎng)絡(luò)的第一次特征提取,包括:
33、計(jì)算所述第一卷積特征圖或第二卷積特征圖或第三卷積特征圖或第四卷積特征圖的每一像素點(diǎn)與像素點(diǎn)平均值的差值,計(jì)算該差值與第一卷積特征圖或第二卷積特征圖或第三卷積特征圖或第四卷積特征圖的所有像素點(diǎn)值的方差的比值;將所述比值確定為對(duì)應(yīng)的新的像素點(diǎn),得到第一方差特征圖;
34、將所述第一方差特征圖通過sigomid激活函數(shù)進(jìn)行權(quán)重提取,得到權(quán)重系數(shù);
35、根據(jù)所述權(quán)重系數(shù)對(duì)第一卷積特征圖進(jìn)行加強(qiáng),得到第一殘差連接特征圖;
36、通過不同尺度的空洞卷積,對(duì)第一殘差連接特征圖進(jìn)行特征提取,得到空洞卷積特征圖;
37、將所述空洞卷積特征圖割成通道互補(bǔ)的兩個(gè)子空間,并同時(shí)進(jìn)行卷積操作,得到第一通道特征圖、第二通道特征圖;
38、通過兩種不同的卷積核將第一通道特征圖進(jìn)行雙通道的分組卷積,得到第一分組卷積特征圖、第二分組卷積特征圖;
39、將所述第一分組卷積特征圖、第二分組卷積特征圖進(jìn)行疊加,得到疊加特征圖;
40、將所述第二通道特征圖進(jìn)行卷積操作,并將操作后的結(jié)果與第二通道特征圖拼接為拼接特征圖;
41、提取出所述疊加特征圖的第一通道注意力分布系數(shù);
42、提取出所述拼接特征圖的第二通道注意力分布系數(shù);
43、將所述第一通道注意力分布系數(shù)、第二通道注意力分布系數(shù)應(yīng)用于空洞卷積特征圖,得到空間及通道注意力網(wǎng)絡(luò)特征圖;
44、將空間及通道注意力網(wǎng)絡(luò)特征圖作為對(duì)應(yīng)的第一次池化、第二次池化、第三次池化或第四次池化的輸入。
45、優(yōu)選地,所述將所述輸入圖像進(jìn)行邊緣特征提取,得到邊緣特征圖,將所述邊緣特征圖與所述第二卷積圖像進(jìn)行特征融合,得到輸出特征圖,包括:
46、將所述輸入圖像進(jìn)行卷積處理及殘差鏈接處理,得到邊緣加強(qiáng)特征圖;
47、通過含有soble算子的conv層對(duì)邊緣加強(qiáng)特征圖進(jìn)行處理,得到邊緣感知特征圖;
48、對(duì)邊緣感知特征圖進(jìn)行所有通道的累加,使用silu函數(shù)進(jìn)行激活并使用殘差鏈接,得到通道累加特征圖;
49、將所述通道累加特征圖進(jìn)行卷積操作,得到邊緣特征圖;
50、將所述第二卷積圖像、邊緣特征圖進(jìn)行全局平均池化和全局最大池化操作,得到四個(gè)維度為c*1*1大小的第一特征分布圖、第二特征分布圖、第三特征分布圖、第四特征分布圖;
51、將所述第一特征分布圖、第二特征分布圖、第三特征分布圖、第四特征分布圖在h維度上進(jìn)行拼接,得到第一維度拼接特征圖,并使用相同大小的卷積進(jìn)行操作后通過sigomid函數(shù)提取權(quán)重,得到第一權(quán)重分布;
52、將所述第一特征分布圖、第二特征分布圖、第三特征分布圖、第四特征分布圖在w維度上進(jìn)行拼接,得到第二維度拼接特征圖,并使用相同大小的卷積進(jìn)行操作后通過sigomid函數(shù)提取權(quán)重,得到第二權(quán)重分布;
53、將所述第一權(quán)重分布、第二權(quán)重分布應(yīng)用到邊緣特征圖、第二卷積圖像中,分別得到第一融合特征圖、第二融合特征圖;
54、將所述第一融合特征圖、第二融合特征圖進(jìn)行拼接,得到拼接融合特征圖;
55、通過不同的卷積針對(duì)拼接融合特征圖進(jìn)行提取,得到第一特征提取圖、第二特征提取圖,將所述第一特征提取圖、第二特征提取圖進(jìn)行相加,得到輸出特征圖。
56、本發(fā)明實(shí)施例公開了一種基于邊緣增強(qiáng)的梨葉片多病害識(shí)別裝置,所述裝置包括:
57、輸入圖像模塊,用于獲取到輸入圖像;
58、維度變換圖像模塊,用于將所述輸入圖像進(jìn)行維度變換,得到維度變換圖像;
59、第一卷積圖像模塊,用于將所述維度變換圖像經(jīng)過第一次卷積、第一次池化、第二次卷積、第二次池化、第三次卷積、第三次池化、第四次卷積、第四次池化,得到第一卷積圖像;
60、第一次特征提取模塊,用于在所述第一次卷積之后、第一次池化之前,第二次卷積之后、第二次池化之前,第三次卷積之后、第三次池化之前,第四次卷積之后、第四次池化之前,進(jìn)行空間注意力網(wǎng)絡(luò)及通道注意力網(wǎng)絡(luò)的第一次特征提??;
61、第二卷積圖像獲取模塊,用于將所述第一卷積圖像經(jīng)過第一次上采樣、第一次反卷積、第二次上采樣、第二次反卷積、第三次上采樣、第三次反卷積、第四次上采樣、第四次反卷積,得到第二卷積圖像;
62、融合模塊,用于將所述輸入圖像進(jìn)行邊緣特征提取,得到邊緣特征圖,將所述邊緣特征圖與所述第二卷積圖像進(jìn)行特征融合,得到輸出特征圖。
63、優(yōu)選地,所述第一卷積圖像模塊包括:
64、第一卷積特征圖子模塊,用于針對(duì)所述維度變換圖像進(jìn)行第一次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第一卷積特征圖;
65、第一池化特征圖子模塊,用于將所述第一卷積特征圖進(jìn)行maxpool最大池化操作,得到第一池化特征圖;
66、第二卷積特征圖子模塊,用于針對(duì)所述第一池化特征圖進(jìn)行第二次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第二卷積特征圖;
67、第二池化特征圖子模塊,用于將所述第二卷積特征圖進(jìn)行maxpool最大池化操作,得到第二池化特征圖;
68、第三卷積特征圖子模塊,用于針對(duì)所述第二池化特征圖進(jìn)行第三次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第三卷積特征圖;
69、第三池化特征圖子模塊,用于將所述第三卷積特征圖進(jìn)行maxpool最大池化操作,得到第三池化特征圖;
70、第四卷積特征圖子模塊,用于針對(duì)所述第三池化特征圖進(jìn)行第四次卷積并使用relu激活函數(shù)進(jìn)行處理,得到第四卷積特征圖;
71、第四池化特征圖子模塊,用于將所述第四卷積特征圖進(jìn)行maxpool最大池化操作,得到第四池化特征圖;
72、第一卷積圖像子模塊,用于將所述第四池化特征圖進(jìn)行第五次卷積,得到第一卷積圖像。
73、優(yōu)選地,所述第二卷積圖像獲取模塊包括:
74、第一上采樣特征圖子模塊,用于針對(duì)所述第一卷積圖像通過雙線性插值進(jìn)行第一次上采樣,得到第一上采樣特征圖;
75、第一拼接特征圖子模塊,用于將所述第一上采樣特征圖與第四卷積特征圖進(jìn)行拼接,得到第一拼接特征圖;
76、第一反卷積特征圖子模塊,用于針對(duì)所述第一拼接特征圖進(jìn)行一次卷積操作,得到第一反卷積特征圖;
77、第二上采樣特征圖子模塊,用于針對(duì)所述第一反卷積特征圖通過雙線性插值進(jìn)行第二次上采樣,得到第二上采樣特征圖;
78、第二拼接特征圖子模塊,用于將所述第二上采樣特征圖與第三卷積特征圖進(jìn)行拼接,得到第二拼接特征圖;
79、第二反卷積特征圖子模塊,用于針對(duì)所述第二拼接特征圖進(jìn)行一次卷積操作,得到第二反卷積特征圖;
80、第三上采樣特征圖子模塊,用于針對(duì)所述第二反卷積特征圖通過雙線性插值進(jìn)行第三次上采樣,得到第三上采樣特征圖;
81、第三拼接特征圖子模塊,用于將所述第三上采樣特征圖與第二卷積特征圖進(jìn)行拼接,得到第三拼接特征圖;
82、第三反卷積特征圖子模塊,用于針對(duì)所述第三拼接特征圖進(jìn)行一次卷積操作,得到第三反卷積特征圖;
83、第四上采樣特征圖子模塊,用于針對(duì)所述第三反卷積特征圖通過雙線性插值進(jìn)行第四次上采樣,得到第四上采樣特征圖;
84、第四拼接特征圖子模塊,用于將所述第四上采樣特征圖與第一卷積特征圖進(jìn)行拼接,得到第四拼接特征圖;
85、第四反卷積特征圖子模塊,用于針對(duì)所述第四拼接特征圖進(jìn)行一次卷積操作,得到第四反卷積特征圖。
86、本發(fā)明實(shí)施例公開了一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的基于邊緣增強(qiáng)的梨葉片多病害識(shí)別方法的步驟。
87、本發(fā)明實(shí)施例公開了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于邊緣增強(qiáng)的梨葉片多病害識(shí)別方法的步驟。
88、本發(fā)明實(shí)施例包括以下優(yōu)點(diǎn):
89、本發(fā)明實(shí)施例,該基于邊緣增強(qiáng)的梨葉片多病害識(shí)別方法包括:獲取到輸入圖像;將所述輸入圖像進(jìn)行維度變換,得到維度變換圖像;將所述維度變換圖像經(jīng)過第一次卷積、第一次池化、第二次卷積、第二次池化、第三次卷積、第三次池化、第四次卷積、第四次池化,得到第一卷積圖像;其中,在所述第一次卷積之后、第一次池化之前,第二次卷積之后、第二次池化之前,第三次卷積之后、第三次池化之前,第四次卷積之后、第四次池化之前,進(jìn)行空間注意力網(wǎng)絡(luò)及通道注意力網(wǎng)絡(luò)的第一次特征提??;將所述第一卷積圖像經(jīng)過第一次上采樣、第一次反卷積、第二次上采樣、第二次反卷積、第三次上采樣、第三次反卷積、第四次上采樣、第四次反卷積,得到第二卷積圖像;將所述輸入圖像進(jìn)行邊緣特征提取,得到邊緣特征圖,將所述邊緣特征圖與所述第二卷積圖像進(jìn)行特征融合,得到輸出特征圖;在融合時(shí)對(duì)重要特征部分進(jìn)行加強(qiáng),并在后段對(duì)融合特征圖進(jìn)行進(jìn)一步特征提取,最終實(shí)現(xiàn)了對(duì)邊緣模糊的病害的邊緣較為精準(zhǔn)的分割,先對(duì)原圖片進(jìn)行提取,得到富含邊緣特征的與真實(shí)病害預(yù)測(cè)相似的邊緣特征圖,并將其融合在網(wǎng)絡(luò)最后段,能夠?qū)ψ罱K特征進(jìn)行補(bǔ)充,進(jìn)而提升了模型預(yù)測(cè)的準(zhǔn)確性,以及對(duì)邊緣模糊病害的精確性。