本發(fā)明屬于涉及機(jī)器視覺、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域，特別涉及一種基于機(jī)器視覺的南方蔬菜重大害蟲的檢測計(jì)數(shù)方法。

背景技術(shù)：

我國蔬菜已成為僅次于糧食作物的第二大作物，種植面積和總產(chǎn)量均居世界第一。我國蔬菜病蟲害種類和發(fā)生危害程度在所有作物中也名列前茅。蔬菜害蟲監(jiān)測是植物保護(hù)乃至農(nóng)業(yè)生產(chǎn)的基礎(chǔ)性工作，蔬菜安全已成為關(guān)系人民群眾身體健康和生命安全的國計(jì)民生問題，是關(guān)系社會穩(wěn)定與經(jīng)濟(jì)健康發(fā)展的全局性重大問題。

目前，蔬菜蟲害識別是采用人工檢測的方法，該方法需要具有較強(qiáng)專業(yè)知識的人員才能具體判斷蟲害，存在效率低、范圍小、實(shí)時(shí)性差的缺點(diǎn)，難以滿足現(xiàn)代農(nóng)業(yè)的要求。信息化作為先進(jìn)生產(chǎn)力發(fā)展的重要標(biāo)志，對農(nóng)業(yè)發(fā)展有著長遠(yuǎn)的影響。隨著機(jī)器視覺技術(shù)的飛速發(fā)展，基于圖像的蟲害自動(dòng)識別與計(jì)數(shù)技術(shù)具有快速和只能化等特點(diǎn)。

因此，需要尋找一種有效的自動(dòng)獲取蔬菜害蟲數(shù)量的方法，以提高蔬菜害蟲監(jiān)測和預(yù)測預(yù)報(bào)的準(zhǔn)確性和時(shí)效性，減輕基層植保人員的勞動(dòng)強(qiáng)度和提高效率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于機(jī)器視覺的南方蔬菜重大害蟲的檢測計(jì)數(shù)方法，基于圖像的害蟲自動(dòng)識別與計(jì)數(shù)技術(shù)，實(shí)現(xiàn)對南方蔬菜主要害蟲圖像數(shù)據(jù)的快速識別計(jì)數(shù)，可以輔助農(nóng)民或基層植保人員進(jìn)行蔬菜害蟲監(jiān)測工作，很大程度上減輕勞動(dòng)強(qiáng)度。

本發(fā)明的目的通過以下的技術(shù)方案實(shí)現(xiàn)：一種基于機(jī)器視覺的南方蔬菜重大害蟲的檢測計(jì)數(shù)方法，包括以下步驟：

s1、害蟲圖像預(yù)處理步驟：對獲取的基于誘捕板所誘捕的蟲害原始圖像進(jìn)行感興趣區(qū)域定位，所述感興趣區(qū)域?yàn)閳D像中誘捕板區(qū)域；

s2、害蟲目標(biāo)分割提取步驟：將粘蟲板位置作為感興趣圖像，對傳入的粘蟲板區(qū)域圖像進(jìn)行背景模型識別，初步提取出害蟲目標(biāo)；對初步提取的害蟲目標(biāo)，使用形態(tài)學(xué)方法處理以填補(bǔ)由于圖像噪音導(dǎo)致的孔洞，最后得到待分類圖像并計(jì)算該圖像塊的相關(guān)參數(shù)；

s3、害蟲識別計(jì)數(shù)步驟：

s3-1訓(xùn)練不同害蟲的svm分類器；

s3-2根據(jù)不同害蟲的生物學(xué)特性將害蟲圖像中的非目標(biāo)害蟲去除，對初步篩選后的害蟲圖像進(jìn)行規(guī)格化處理；

s3-3對規(guī)格化后的圖像進(jìn)行優(yōu)化hog特征提取和描述，用k-means聚類算法對提取到的特征聚類，構(gòu)造視覺詞典，再用spm生成圖像的直方圖表示；

s3-4最后通過目標(biāo)圖像的形態(tài)學(xué)數(shù)據(jù)做初步分類，選用不同svm分類器，輸出識別的結(jié)果。

優(yōu)選的，誘捕板區(qū)域包括圖像數(shù)據(jù)中的黃色粘蟲板區(qū)域和藍(lán)色粘蟲板區(qū)域。

優(yōu)選的，同一圖像數(shù)據(jù)中可以存在多塊感興趣區(qū)域。

優(yōu)選的，害蟲目標(biāo)分割提取具體步驟：

s2-1對圖像進(jìn)行中值濾波處理；

s2-1對圖像進(jìn)行拷貝操作，并將備份圖像從rgb色彩空間轉(zhuǎn)換至hsv色彩空間；

s2-3使用圖形掩膜準(zhǔn)確定位各粘蟲板位置，獲取感興趣區(qū)域，并通過各圖像掩膜，初步提取出害蟲目標(biāo)；

s2-4對初步提取的害蟲目標(biāo)，先進(jìn)行多次圖像膨脹操作，接著再進(jìn)行多次圖像腐蝕操作，以實(shí)現(xiàn)圖像平滑處理，去除部分噪音點(diǎn)；最后得到待分類圖像的相關(guān)參數(shù)包括該圖像塊的輪廓大小、像素點(diǎn)大小、rgb三通道均值和所屬誘蟲板種類。

具體的，針對所采集圖像的特點(diǎn)設(shè)置濾波器大小。

具體的，使用閾值范圍[91,150,135]至[96,255,255]，從備份圖像中獲取黃色粘蟲板圖像掩膜；使用閾值范圍[16,150,130]至[23,255,255]，從備份圖像中獲取藍(lán)色粘蟲板圖像掩膜。

具體的，先進(jìn)行3次圖像膨脹操作，接著再進(jìn)行2次圖像腐蝕操作。

優(yōu)選的，步驟s3-1的具體方法是：

將從農(nóng)地拍攝得到的害蟲圖像進(jìn)行人工處理，人工獲取單個(gè)害蟲圖像，并將害蟲規(guī)格化成一定大小的圖像；將規(guī)格化的圖像統(tǒng)一命名，為所有圖像分配指定標(biāo)簽；初始化算法的一系列路徑變量，

利用優(yōu)化hog特征提取算法，對預(yù)處理后的害蟲圖像進(jìn)行特征提取和描述，獲取每張害蟲圖像的特征信息；

用k-means聚類算法構(gòu)造視覺詞典，初始聚類質(zhì)心隨機(jī)選取，通過限定迭代次數(shù)收斂出最終的聚類中心，構(gòu)造出視覺詞典；

引入spm對圖像進(jìn)行基于視覺詞典的直方圖表示，生成所有害蟲圖像的直方圖表示；

使用所生成的訓(xùn)練數(shù)據(jù)，訓(xùn)練支持向量機(jī)svm，分別得到針對不同害蟲的svm分類器。

具體的，在聚類算法過程中，初始化值選取采用“k-means++”的方式進(jìn)行，考慮到規(guī)格化后的圖像的稀疏度，采用“elkan”方式進(jìn)行聚類操作。

優(yōu)選的，優(yōu)化hog特征提取算法是指，將hog算法過程簡化為：梯度計(jì)算->梯度方向直方圖->hog特征，以調(diào)高算法運(yùn)算速度。

優(yōu)選的，步驟s3-2中將像素點(diǎn)大小小于255或大于15000和/或目標(biāo)輪廓小于48或大于800的目標(biāo)視為非目標(biāo)害蟲。

優(yōu)選的，步驟s3-3中進(jìn)行優(yōu)化hog特征提取和描述時(shí)，設(shè)定區(qū)域窗口大小winsize(16,16)，塊大小blocksize(8,8),塊滑動(dòng)增量blockstride(4,4),胞元大小cellsize(4,4),梯度方向數(shù)nbins為9。

優(yōu)選的，步驟s3-1中訓(xùn)練得到黃曲條跳甲svm分類器、小菜蛾svm分類器、煙粉虱svm分類器和薊馬svm分類器。

進(jìn)一步的，結(jié)合各種害蟲的生物特性，將原目標(biāo)害蟲像素點(diǎn)大小大于4800的害蟲目標(biāo)，通過小菜蛾svm分類器進(jìn)行識別；

將原目標(biāo)害蟲像素點(diǎn)大小小于4800，且屬于黃色誘蟲板區(qū)域的目標(biāo)，分別通過黃曲條跳甲svm分類器和煙粉虱svm分類器進(jìn)行識別；

將原目標(biāo)害蟲像素點(diǎn)大小小于4800且屬于藍(lán)色誘蟲板區(qū)域的目標(biāo)，通過薊馬svm分類器進(jìn)行識別。

優(yōu)選的，對于未標(biāo)記誘捕板種類的害蟲目標(biāo)，無法對分類器進(jìn)行針對性的選擇，則使用不同的分類器分別進(jìn)行識別。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：

本發(fā)明通過基于機(jī)器視覺和機(jī)器學(xué)習(xí)的害蟲識別計(jì)數(shù)算法對粘蟲板中的害蟲進(jìn)行分類計(jì)數(shù)，計(jì)數(shù)精確，減小了害蟲計(jì)算的誤差，同時(shí)也大大降低了人力使用強(qiáng)度。

本發(fā)明的擴(kuò)展性強(qiáng)，可通過新的害蟲訓(xùn)練集進(jìn)行訓(xùn)練，快速應(yīng)用在不同種類的害蟲識別計(jì)數(shù)上。

附圖說明

圖1是實(shí)施例中檢測計(jì)數(shù)方法的流程圖。

圖2是實(shí)施例中害蟲目標(biāo)圖像bof視覺詞匯直方圖表示法流程圖。

圖3是實(shí)施例中南方蔬菜重大害蟲svm分類器訓(xùn)練流程圖。

具體實(shí)施方式

下面結(jié)合實(shí)施例及附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。

一種基于機(jī)器視覺的南方蔬菜重大害蟲的檢測計(jì)數(shù)方法，如圖1所示，包括害蟲圖像預(yù)處理步驟，害蟲目標(biāo)分割提取步驟以及害蟲識別計(jì)數(shù)步驟。

1、害蟲圖像預(yù)處理步驟：定位原始圖像中的粘蟲板位置；對在農(nóng)地中獲取的基于誘捕板所誘捕的蟲害原始圖像進(jìn)行感興趣區(qū)域定位，所述感興趣區(qū)域?yàn)閳D像中誘捕板區(qū)域，包括圖像數(shù)據(jù)中的所存在的黃色粘蟲板區(qū)域和藍(lán)色粘蟲板區(qū)域，同一圖像數(shù)據(jù)中可能存在多塊感興趣區(qū)域(誘捕板包括多塊粘蟲板區(qū)域)。

2、害蟲目標(biāo)分割提?。簩Ω信d趣區(qū)域中的害蟲目標(biāo)進(jìn)行分割提??；將粘蟲板位置作為感興趣圖像；對傳入的粘蟲板區(qū)域圖像進(jìn)行背景模型識別，判斷其屬于藍(lán)色粘蟲板背景模型或黃色粘蟲板背景模型。

(1)對圖像進(jìn)行中值濾波處理，針對所采集圖像的特點(diǎn)，將濾波器大小設(shè)置為5。

(2)對圖像進(jìn)行拷貝操作，并將備份圖像從rgb色彩空間轉(zhuǎn)換至hsv色彩空間。

(3)使用閾值范圍[91,150,135]至[96,255,255]，從備份圖像中獲取黃色粘蟲板圖像掩膜。

(4)使用閾值范圍[16,150,130]至[23,255,255]，從備份圖像中獲取藍(lán)色粘蟲板圖像掩膜。

(5)使用圖形掩膜準(zhǔn)確定位各粘蟲板位置，獲取感興趣區(qū)域。并通過各圖像掩膜，初步提取出害蟲目標(biāo)。

(6)對初步提取的害蟲目標(biāo)，使用形態(tài)學(xué)方法處理以填補(bǔ)由于圖像噪音導(dǎo)致的孔洞。先進(jìn)行3次圖像膨脹操作，接著再進(jìn)行2次圖像腐蝕操作。以實(shí)現(xiàn)圖像平滑處理，去除部分噪音點(diǎn)。最后得到待分類圖像并計(jì)算該圖像塊的輪廓大小、像素點(diǎn)大小、rgb三通道均值、所屬誘蟲板種類等；

3、害蟲識別計(jì)數(shù)：基于改進(jìn)bof模型的害蟲識別算法

(1)訓(xùn)練:首先，將從農(nóng)地拍攝得到的害蟲圖像進(jìn)行人工處理。人工獲取單個(gè)害蟲圖像，并將害蟲規(guī)格化成大小為128*128的rgb圖像，統(tǒng)一命名，初始化算法的一系列路徑變量，為所有圖像分配指定標(biāo)簽(用數(shù)字表示)，如第一類害蟲的標(biāo)簽為1。

其次，如圖2所示生成視覺詞典的直方圖表示，利用優(yōu)化的hog特征提取算法，對預(yù)處理后的害蟲圖像進(jìn)行特征提取和描述，獲取每張害蟲圖像的特征信息。標(biāo)準(zhǔn)的hog算法流程為：顏色空間歸一化—>梯度計(jì)算—>梯度方向直方圖—>重疊塊直方圖歸一化—>hog特征。由于hog算法計(jì)算速度較慢，時(shí)間代價(jià)大，本方法針對所研究的害蟲目標(biāo)圖像，基于r-hog型hog算法，對hog算法進(jìn)行簡化，以實(shí)現(xiàn)運(yùn)算速度上的優(yōu)化。由于本方法中，害蟲圖像已經(jīng)為被規(guī)格化為128*128的rgb圖像，故將hog算法過程簡化為：梯度計(jì)算->梯度方向直方圖->hog特征，以調(diào)高算法運(yùn)算速度。針對本方法中的害蟲圖像對象，具體參數(shù)：設(shè)定區(qū)域窗口大小winsize(16,16)，塊大小blocksize(8,8),塊滑動(dòng)增量blockstride(4,4),胞元大小cellsize(4,4),梯度方向數(shù)nbins為9。

然后，用k-means聚類算法構(gòu)造視覺詞典，初始聚類質(zhì)心隨機(jī)選取，通過限定迭代次數(shù)收斂出最終的聚類中心，構(gòu)造出視覺詞典。接著，引入spm對圖像進(jìn)行基于視覺詞典的直方圖表示，生成所有害蟲圖像的直方圖表示，結(jié)果以mat文件的格式保存在global文件夾內(nèi)。針對本研究中被規(guī)格化后的害蟲圖像的特點(diǎn)，在聚類算法過程中，將k值設(shè)定為n_clusters:10，初始之心運(yùn)行算法次數(shù)n_init:10,初始化值選取采用“k-means++”的方式進(jìn)行，考慮到規(guī)格化后的圖像的稀疏度，采用“elkan”方式進(jìn)行聚類操作。

最后，如圖3，使用所生成的訓(xùn)練數(shù)據(jù)，訓(xùn)練支持向量機(jī)(svm)，訓(xùn)練svm分類器識別分類。針對本研究中害蟲圖像，選擇svm類型為c—svc，松弛變量為200，所用核函數(shù)為直方圖交叉核，最后分別得到黃曲條跳甲svm分類器、小菜蛾svm分類器、煙粉虱svm分類器和薊馬svm分類器。

(2)識別過程：首先根據(jù)對本研究的4種害蟲的生物學(xué)特性，將像素點(diǎn)大小小于255或大于15000，或目標(biāo)輪廓小于48或大于800的目標(biāo)視為非目標(biāo)害蟲去除。

接著，對初步篩選后的害蟲圖像進(jìn)行規(guī)格化處理，將圖像規(guī)格化成大小為128*128的rbg圖像。

然后，對規(guī)格化后的圖像進(jìn)行優(yōu)化hog特征提取和描述，針對本研究對象，經(jīng)研究時(shí)候后，具體參數(shù)：設(shè)定區(qū)域窗口大小winsize(16,16)，塊大小blocksize(8,8),塊滑動(dòng)增量blockstride(4,4),胞元大小cellsize(4,4),梯度方向數(shù)nbins為9。

然后用k-means聚類算法對提取到的特征聚類，構(gòu)造視覺詞典，再用spm生成圖像的直方圖表示，針對本研究中被規(guī)格化后的害蟲圖像的特點(diǎn)，在聚類算法過程中，將k值設(shè)定為n_clusters:10，初始之心運(yùn)行算法次數(shù)n_init:10,初始化值選取采用“k-means++”的方式進(jìn)行，考慮到規(guī)格化后的圖像的稀疏度，采用“elkan”方式進(jìn)行聚類操作。

最后通過目標(biāo)圖像的形態(tài)學(xué)數(shù)據(jù)做初步分類，選用不同svm分類器分類，輸出識別的結(jié)果。針對本實(shí)施例所針對的黃曲條跳甲、小菜蛾、煙粉虱和薊馬4種害蟲目標(biāo)，由于黃曲條跳甲成蟲體長約2毫米，小菜蛾成蟲體長約6-7毫米、翅長12-16毫米，煙粉虱成蟲體長約0.8-0.95毫米、翅長約1.75-1.87毫米，薊馬成蟲體長0.5-2毫米。另外黃曲條跳甲、小菜蛾和煙粉虱偏好黃色，可使用黃色誘蟲板誘捕；薊馬偏好藍(lán)色，可使用藍(lán)色誘蟲板誘捕。

為了提高本算法的運(yùn)行效率，結(jié)合各種害蟲的生物特性，將原目標(biāo)害蟲像素點(diǎn)大小大于4800的害蟲目標(biāo)，通過小菜蛾svm分類器進(jìn)行識別；將原目標(biāo)害蟲像素點(diǎn)大小小于4800，且屬于黃色誘蟲板區(qū)域的目標(biāo)，分別通過黃曲條跳甲svm分類器和煙粉虱svm分類器進(jìn)行識別；將原目標(biāo)害蟲像素點(diǎn)大小小于4800且屬于藍(lán)色誘蟲板區(qū)域的目標(biāo)，通過薊馬svm分類器進(jìn)行識別，算法流程如圖1。由于本實(shí)施例中的害蟲識別算法有較好擴(kuò)展性，可使用于非誘捕板上的害蟲目標(biāo)的識別，故對于未標(biāo)記誘捕板種類的害蟲目標(biāo)，則分別使用黃曲條跳甲svm分類器、小菜蛾svm分類器、煙粉虱svm分類器和薊馬svm分類器進(jìn)行識別。

本方法基于圖像的害蟲自動(dòng)識別與計(jì)數(shù)技術(shù)，實(shí)現(xiàn)對南方蔬菜主要害蟲煙粉虱、黃曲條跳甲、小菜蛾和薊馬等圖像數(shù)據(jù)的快速識別計(jì)數(shù)，可以輔助農(nóng)民或基層植保人員進(jìn)行蔬菜害蟲監(jiān)測工作，很大程度上減輕勞動(dòng)強(qiáng)度。將為農(nóng)業(yè)標(biāo)準(zhǔn)化生產(chǎn)、數(shù)字農(nóng)業(yè)提供信息支撐，對于提高安全蔬菜監(jiān)測水平和保障蔬菜質(zhì)量安全，促進(jìn)現(xiàn)代農(nóng)業(yè)發(fā)展、農(nóng)民增收都有重要意義。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。