一種用于作物田除草機具的導航線提取方法
【專利摘要】一種用于作物田除草機具的導航線提取方法，包括采集作物圖像，根據(jù)所采集到的圖像確定興趣區(qū)，將興趣區(qū)轉(zhuǎn)換為二值圖像，獲得二值圖像的上下邊緣點，根據(jù)所述兩個邊緣點和作物行寬度求得三個可能的上端點和下端點，分別連接三個可能的上端點和下端點，得到9條可能的導航線，從中選出最終導航線。該方法解決了自然條件下玉米田間農(nóng)機具導航線提取速度慢、可靠性差等缺點。
【專利說明】一種用于作物田除草機具的導航線提取方法
【技術領域】
[0001]本發(fā)明涉及一種圖像處理技術，特別涉及一種用于作物田除草機具的導航線提取方法。
【背景技術】
[0002]具有高度自動化的或智能化的農(nóng)業(yè)機械近年來發(fā)展迅速，在降低農(nóng)業(yè)生產(chǎn)的勞動強度、緩解農(nóng)村勞動力不足、降低農(nóng)產(chǎn)品生產(chǎn)成本等方面起到了較大作用。上述高度自動化或智能化的農(nóng)業(yè)機械在作業(yè)(如除草、播種、收獲等作業(yè))過程中，大部分需要自動確定作業(yè)路線，即實現(xiàn)導航功能。導航功能直接影響高度自動化或智能化農(nóng)業(yè)機械的效率、可靠性和穩(wěn)定性。農(nóng)業(yè)導航技術難度較大，按種類來分有GPS導航、慣性導航及機器視覺導航等方式。由于機器視覺導航方式具有信號探測范圍廣、信息完整等優(yōu)點，隨著電子技術的快速發(fā)展，取得了較廣泛的應用。
[0003]農(nóng)業(yè)機械的機器視覺導航功能包括路徑規(guī)劃、避障與探測定位，它主要依賴于計算機在一定先驗知識的指導下對圖像進行有效的加工和分析，從而對農(nóng)田景物場景以正確解釋，為導航過程提供信息來源。多個不同功能的圖像處理單元就可以集成為一個解決一定問題或?qū)崿F(xiàn)一定功能的視覺導航系統(tǒng)，使田間作業(yè)的農(nóng)業(yè)機械能夠準確地沿著作物的行、列或其它標志物行走，并且能識別工作的對象。
[0004]在農(nóng)田復雜的自然場景中，圖像分割往往因光照、陰影等噪聲困擾而變得十分困難，無法取得較為滿意、穩(wěn)定的圖像分割效果。農(nóng)田中早期農(nóng)作物，植株相對矮小，整齊的按行種植，行與行之間基本平行。同時，農(nóng)作物一般呈綠色，作物行在整體上呈現(xiàn)直線形狀或者小曲率曲線，作物行連續(xù)，檢測到的導航特征在短時間隔內(nèi)不會發(fā)生突變，人們常常提取圖像中的作物行作為導航線。
[0005]農(nóng)業(yè)機械的視覺導航系統(tǒng)，必須同時滿足實時性、魯棒性的要求。實時性要求視覺系統(tǒng)的圖像處理，必須與農(nóng)業(yè)機械行駛速度同步；魯棒性則要求機器人能對不同的道路環(huán)境、復雜的作業(yè)面狀況(如行走線的寬度、顏色、紋理變化)以及變化的氣候條件(日照及景物陰影、黃昏與夜晚、陰天等)均具有良好的適應性。國內(nèi)外研究人員提出了多種作物行直線提取方法，最小二乘法和Hough變換是檢測直線常用的兩種方法。最小二乘法雖然能夠快速提取直線，實時性強，但是對圖像噪聲敏感，當圖像在雜草較多的情況下，不能準確地提取導航線，并且，在多行作物時候，難以直接應用最小二乘法進行直線擬合。Hough變換基于點一線的對偶性原理，雖然算法魯棒性較好，但是最大的缺點就是算法的時間復雜度較大，難以滿足實時性要求較高的農(nóng)田作業(yè)環(huán)境。因此，尋求一種同時滿足實時性和魯棒性的導航線提取方法，具有很強的實用性。
[0006]目前，國內(nèi)外有許多關于作物行直線提取的研究報道，例如:國內(nèi)本領域技術人員研究了自然環(huán)境下作物圖像，采用霍夫變換(Hough Transform)的方法，提取作物行直線作為導航線。霍夫變換算法魯棒性好，穩(wěn)定可靠，但缺點是非常耗時，難以保證實時性要求。有研究人員利用最小二乘法提取導航線，用最小二乘法能夠快速檢測出作物行，但當圖像噪聲較大時，檢測的結(jié)果有較大的誤差，同時，當圖像中包含多行作物時候，不能直接采用最小二乘法進行直線提取。此外，更重要的一點是，國內(nèi)外對基于機器視覺的導航線提取主要是用于農(nóng)業(yè)機械(主要是拖拉機或自行走農(nóng)業(yè)機器人)的自動行駛。出于安全方面的考慮，此類無人駕駛的自走式農(nóng)業(yè)機械目前應用較少。而除草機具、施肥機具或中耕機具等此類農(nóng)業(yè)機具在作業(yè)時，需要拖拉機駕駛員具有較高的駕駛技術，駕駛路線不能有較大偏差，否則將出現(xiàn)傷害作物等情況，造成駕駛員勞動強度大。為改變上述弊端，有必要對農(nóng)機具進行機器視覺導航，導航系統(tǒng)能夠根據(jù)作物行的位置自動計算出橫向偏差值，通過液壓系統(tǒng)或其它動力系統(tǒng)自動調(diào)整除草鏟等農(nóng)機具作業(yè)部件的位置，這樣，即使駕駛員的行使路線有一定偏差，導航系統(tǒng)能夠自動進行調(diào)整，避免傷害作物，降低了駕駛員的勞動強度。導航系統(tǒng)進行自動調(diào)整的依據(jù)是農(nóng)機具相對于作物行橫向偏差量，提取作物行所在直線是計算橫向偏差的基礎。
[0007]和用于拖拉機無人駕駛為目的的導航方法有所不同，用于農(nóng)機具導航要求橫向偏差的計算具有較強的實時性，因此，圖像中作物行的長度較短。
[0008]除草農(nóng)機具一般同時進行多行作業(yè)，由于玉米行與行位置平行，因此在機器視覺導航時，可根據(jù)某一特定行的作物進行直線提取，并計算農(nóng)機具的橫向偏差。在采集到的農(nóng)田場景圖像中除導航特征以外的信息是無效信息，不但浪費了大量的處理時間，而且增加了場景的復雜程度，還可能產(chǎn)生對場景中其它直線特征的誤檢。通過設置興趣區(qū)ROI (Region OfInterest)實現(xiàn)選擇注意機制，只對興趣區(qū)ROI中的圖像進行處理，可以大大減少圖像處理的工作量，降低場景的復雜性，突出導航特征。
[0009]雜草的顏色和玉米等作物的顏色類似，將土壤、雜草等背景和作物進行分割，是提取作物行直線的基礎。本發(fā)明提出了一種結(jié)合垂直投影法和計算特定區(qū)域內(nèi)白色點數(shù)目的方法的導航線提取算法。

【發(fā)明內(nèi)容】

[0010]本發(fā)明提供一種用于玉米田除草機具的導航線提取方法，利用該方法能夠較好地提高導航線的提取速度，解決除草機具導航線提取實時性差的問題。
[0011]本發(fā)明公開了一種用于玉米田除草機具的導航線提取方法，包括，
[0012]采集作物圖像，使特定作物行與水平方向呈60?80角度，且保證此行作物約3米左右長度位于圖像中；
[0013]根據(jù)所采集到的圖像確定興趣區(qū)；
[0014]將興趣區(qū)轉(zhuǎn)換為二值圖像；
[0015]獲得二值圖像的上下邊緣點；
[0016]根據(jù)所述兩個邊緣點和作物行寬度求得三個可能的上端點和下端點；分別連接三個可能的上端點和下端點，得到9條可能的導航線，與可能的導航線距離1/2作物行的兩條直線在圖像中構成一條形區(qū)域，9條可能的導航線對應9個條形區(qū)域，利用計算條形區(qū)域內(nèi)白色像素點數(shù)量的方法確定最終導航線。
[0017]其中，所述興趣區(qū)的確定方法為:興趣區(qū)為包含特定作物行的梯形，其中梯形上下兩邊為圖像上下邊緣的一部分，梯形左右兩邊接近與特定作物行相鄰的作物行，且不包含相鄰作物行。[0018]另外，二值圖像的獲得方法為:首先將興趣區(qū)內(nèi)圖像利用下式轉(zhuǎn)換為灰度圖像:
[0019]Igray(i，j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311 (I)
[0020]其中，1、j為像素的行列坐標，G(i, j)、R(i, j)和B(i，j)分別為圖像(i，j)處像素G、R、B顏色分量的灰度值，Igray (i,j)為轉(zhuǎn)換后圖像(i，j)處像素的灰度值；
[0021]再將灰度圖像轉(zhuǎn)換為二值圖像，所述灰度圖像轉(zhuǎn)換為二值圖像的轉(zhuǎn)換閾值利用剖線法求得。
[0022]其中，轉(zhuǎn)換的閾值采用如下剖線法獲得:在采集到的原圖像找到一條橫向直線，要求直線穿過作物、雜草背景部分，并對該直線上的像素利用公式(I)計算各個像素的灰度值，這些灰度值將形成一條曲線，作物部分的像素灰度值和雜草部分像素的灰度值會有區(qū)另IJ，在曲線上表現(xiàn)為作物部分曲線高于雜草背景部分曲線，在作物部分曲線和雜草部分曲線的中間取一灰度值，即為所求的閾值t，利用該閾值t，可將興趣區(qū)的灰度圖像轉(zhuǎn)換為二值圖像。
[0023]更進一步地，二值圖像的上下邊緣點的獲得方法為:將二值圖像根據(jù)圖像高度平均分為上下兩部分，分別對上下兩部分的白色像素點進行垂直投影，得到上下兩條投影曲線，每條曲線各有一個最大值，由兩條投影曲線的兩個最大值處分別向二值圖像的上下邊緣做垂線，得到兩個點，可分別稱為上邊緣點和下邊緣點。
[0024]此外，三個可能的上端點和下端點的獲取方式為:由上邊緣點水平向右移動1/2玉米行寬度，可得到一個可能的上端點，由該可能的上端點水平向右移動1/2玉米行寬度，得到另外一個可能的上端點，上邊緣點和所述兩個可能的上端點，為三個可能的上端點；由下邊緣點水平向左移動1/2玉米行寬度，可得到一個可能的下端點，由該可能的下端點水平向左移動1/2玉米行寬度，得到另外一個可能的下端點，下邊緣點和所述兩個可能的下端點，為三個可能的下端點。
[0025]該方法具有簡單、可靠、實時性好等優(yōu)點。
【專利附圖】

【附圖說明】
[0026]圖1為根據(jù)本發(fā)明的玉米除草機具的導航線提取方法流程圖；
[0027]圖2為根據(jù)本發(fā)明的采集到的圖像示意圖；
[0028]圖3為根據(jù)本發(fā)明的剖線法求取閾值示意圖；
[0029]圖4為根據(jù)本發(fā)明的興趣區(qū)二值圖像的示意圖；
[0030]圖5為根據(jù)本發(fā)明的擬合直線的示意圖。
【具體實施方式】
[0031]下面通過附圖和實施例，對本發(fā)明實施例的技術方案做進一步的詳細描述。
[0032]本發(fā)明所公開的用于玉米田除草機具的導航線提取方法，主要是針對在自然條件下，實現(xiàn)對玉米田除草機具導航線的快速提取，以下各實施例選擇以玉米圖像為例。
[0033]圖1所示導航線提取方法流程圖共包括6步，
[0034]第一步:圖像興趣區(qū)確定。調(diào)整安裝于除草機具上攝像頭的高度和角度，使圖像中某一行作物與水平方向呈60?80角度，且保證此行作物約3米左右長度位于圖像中。
[0035]第二步:圖像二值化。根據(jù)采集到的圖像按如下方法確定興趣區(qū):興趣區(qū)為包含特定作物行的梯形，其中梯形上下兩邊為圖像上下邊緣的一部分，梯形左右兩邊接近與特定作物行相鄰的作物行，且不包含相鄰作物行。
[0036]對興趣區(qū)內(nèi)的圖像按如下方法進行轉(zhuǎn)換:
[0037]Igray(i，j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311 (I)
[0038]其中1、j為像素的行列坐標，G(i, j)、R(i, j)和B(i, j)分別為圖像(i, j)處像素G、R、B顏色分量的灰度值，Igray (i,j)為轉(zhuǎn)換后圖像(i，j)處像素的灰度值。
[0039]經(jīng)上述轉(zhuǎn)換，興趣區(qū)轉(zhuǎn)換為灰度圖像，將此灰度圖像轉(zhuǎn)換為二值圖像，轉(zhuǎn)換的閾值采用如下剖線法獲得:
[0040]在采集到的原圖像找到一條橫向直線，要求直線穿過作物、雜草背景等部分，并對該直線上的像素利用公式(I)計算各個像素的灰度值，這些灰度值將形成一條曲線，作物部分的像素灰度值和雜草部分像素的灰度值會有區(qū)別，在曲線上表現(xiàn)為作物部分曲線高于雜草背景部分，在作物部分曲線和雜草部分曲線的中間取一灰度值，即為所求的閾值t。利用該閾值t，可將興趣區(qū)的灰度圖像轉(zhuǎn)換為二值圖像。
[0041]第三步:根據(jù)二值化圖像求上下兩部分的垂直投影曲線，并求得兩個投影曲線的最大值點。所述的二值圖像，白色像素點(灰度值為255)為玉米,黑色像素點(灰度值為O)為背景。在興趣區(qū)內(nèi)的二值圖像根據(jù)圖像高度平均分為上下兩部分。分別對上下兩部分的白色像素點進行垂直投影，得到上下兩條投影曲線，每條曲線各有一個最大值。
[0042]第四步:根據(jù)所述的兩個投影曲線最大值點求得上下兩個邊緣點。由兩條投影曲線的兩個最大值處分別向圖像的上下邊緣做垂線，得到兩個點，可分別稱為上邊緣點和下邊緣點。
[0043]第五步:根據(jù)所述兩個邊緣點和作物行寬度求得三個可能的上端點和下端點。玉米葉片向四周伸展，忽略向四外伸展的葉片，圖像中的玉米行寬度在較小范圍內(nèi)變動，可近似為固定值。上面的投影曲線值為1/2最大值時有兩點，此兩點間的橫向距離可作為玉米行寬度。
[0044]由上邊緣點向右水平移動1/2玉米行寬度，可得到導航線的理論上端點；由下邊緣點向左水平移動1/2玉米行寬度，可得到導航線的理論下端點；連接理論上端點和理論下端點，得到理論導航線。
[0045]由于實際玉米行葉子向四周伸展，伸展方向具有隨機性，所得到的理論導航線不一定是理想導航線。由理論上端點向右水平移動1/2玉米行寬度，可得到導航線的備選上端點；由理論下端點向左水平移動1/2玉米行寬度，可得到導航線的備選下端點。
[0046]上邊緣點、理論上端點和備選上端點作為三個可能的上端點；下邊緣點、理論下端點和備選下端點作為三個可能的下端點。
[0047]第六步:分別連接上端點和下端點，利用計算條形區(qū)域內(nèi)白色像素點數(shù)量的方法確定最終導航線。
[0048]將每個可能的上端點和每個可能的下端點連接，得到9條可能的導航線。
[0049]與可能的導航線平行，且與可能的導航線距離1/2作物行的兩條直線在圖像中構成一條形區(qū)域。9條可能的導航線對應9個條形區(qū)域，分別計算每個條形區(qū)域內(nèi)的白色像素點數(shù)，點數(shù)最多的條形區(qū)域所對應的可能的導航線為最終導航線。
[0050]圖2為根據(jù)本發(fā)明的采集到的圖像示意圖。該圖中中間一行作物與水平方向呈80角度，且保證此行作物約3米左右長度位于圖像中。對該行作物進行導航線提取，該行作物為特定作物行。
[0051]圖3為根據(jù)本發(fā)明的剖線法求取閾值示意圖，在采集到的圖像上找到一條橫向直線，即直線LI，該直線LI穿過作物、雜草背景等部分。采集到的圖像均處于RGB色彩空間，所述采集到的圖像中的每一個像素都對應一組RGB (紅、綠、藍)值，對所述直線上的像素在RGB色彩空間中利用公式(I):
[0052]Igray(i，j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311
[0053]計算各個像素的灰度值，這些灰度值將形成一條曲線，即曲線Cl，作物部分的像素灰度值和雜草部分像素的灰度值會有區(qū)別，在曲線上表現(xiàn)為作物部分曲線高于雜草背景部分，在作物部分曲線和雜草部分曲線的中間取一灰度值，即圖3中直線LI所代表的灰度值，為所求的用于興趣區(qū)圖像二值化的閾值t。
[0054]圖4為根據(jù)本發(fā)明的興趣區(qū)二值圖像的示意圖，興趣區(qū)為包含特定作物行的梯形，即圖4中梯形部分，其中梯形上下兩邊為圖像上下邊緣的一部分，梯形左右兩邊接近與特定作物行相鄰的作物行，且不包含相鄰作物行。確定興趣區(qū)后，利用公式(I)將興趣區(qū)內(nèi)的像素點轉(zhuǎn)換為灰度圖像，進而利用閾值t轉(zhuǎn)換為二值圖像。在興趣區(qū)內(nèi)的二值圖像根據(jù)圖像高度平均分為上下兩部分，如圖4中直線L3所示，直線L3將二值圖像平均分為上下兩部分。
[0055]圖5為本發(fā)明實施例擬合直線的示意圖。
[0056]分別對上下兩部分的白色像素點進行垂直投影，得到上下兩條投影曲線，如圖5中的曲線C2和曲線C3，每條曲線各有一個最大值。由兩條投影曲線的兩個最大值處分別向圖像的上下邊緣做垂線，如圖4中的虛線L4和L5，得到兩個點，可分別稱為上邊緣點和下邊緣點，如圖5中的A點和B點。
[0057]玉米葉片向四周伸展，忽略向四外伸展的葉片，圖像中的玉米行寬度在較小范圍內(nèi)變動，可近似為固定值。上面的投影曲線，即圖5中的曲線C2，取值為1/2最大值時有兩點，此兩點間的橫向距離可作為玉米行寬度。
[0058]圖5中，由上邊緣點B點向右水平移動1/2玉米行寬度，可得到導航線的理論上端點BI ;由下邊緣點A點向左水平移動1/2玉米行寬度，可得到導航線的理論下端點Al ;連接理論上端點和理論下端點，得到理論導航線，即圖5中直線L3。
[0059]由于實際玉米行葉子向四周伸展，伸展方向具有隨機性，所得到的理論導航線不一定是理想導航線。由理論上端點BI點向右水平移動1/2玉米行寬度，可得到導航線的備選上端點B2點；由理論下端點Al點向左水平移動1/2玉米行寬度，可得到導航線的備選下端點A2點。
[0060]上邊緣點B、理論上端點BI和備選上端點B2作為三個可能的上端點；下邊緣點A、理論下端點Al和備選下端點A2作為三個可能的下端點。將每個可能的上端點和每個可能的下端點連接，即連接圖4中的AB、AB1、AB2、A1B、A1B1、A1B2、A2B、A2B1、A2B2，將得到9條可能的導航線。
[0061]與可能的導航線平行，且與可能的導航線距離1/2作物行的兩條直線在圖像中構成一條形區(qū)域。上述9條可能的導航線對應9個條形區(qū)域，分別計算每個條形區(qū)域內(nèi)的白色像素點數(shù)，點數(shù)最多的條形區(qū)域所對應的可能的導航線為所求導航線。[0062]最后應說明的是:以上實施例僅用以說明本發(fā)明實施例的技術方案而非對其進行限制，盡管參照較佳實施例對本發(fā)明實施例進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對本發(fā)明實施例的技術方案進行修改或者等同替換，而這些修改或者等同替換亦不能使修改后的技術方案脫離本發(fā)明實施例技術方案的精神和范圍。
【權利要求】
1.一種用于作物田除草機具的導航線提取方法，包括， 采集作物圖像，使特定作物行與水平方向呈60~80角度，且保證此行作物約3米左右長度位于圖像中； 根據(jù)所采集到的圖像確定興趣區(qū)； 將興趣區(qū)轉(zhuǎn)換為二值圖像； 獲得二值圖像的上下邊緣點； 其特征在于:根據(jù)所述兩個邊緣點和作物行寬度求得三個可能的上端點和下端點；分別連接三個可能的上端點和下端點，得到9條可能的導航線，與可能的導航線距離1/2作物行的兩條直線在圖像中構成一條形區(qū)域，9條可能的導航線對應9個條形區(qū)域，利用計算條形區(qū)域內(nèi)白色像素點數(shù)量的方法確定最終導航線。
2.根據(jù)權利要求1所述的導航線提取方法，其特征在于，所述興趣區(qū)的確定方法為:興趣區(qū)為包含特定作物行的梯形，其中梯形上下兩邊為圖像上下邊緣的一部分，梯形左右兩邊接近與特定作物行相鄰的作物行，且不包含相鄰作物行。
3.根據(jù)權利要求1所述的導航線提取方法，其特征在于，二值圖像的獲得方法為:首先將興趣區(qū)內(nèi)圖像利用下式轉(zhuǎn)換為灰度圖像:
Igray(i, j)=G(i, j)*l.262-R(i, j)*0.884_B(i，j)*0.311 (I) 其中，1、j為像素的行列坐標，G(i, j)、R(i, j)和B(i，j)分別為圖像(i, j)處像素G、R、B顏色分量的灰度值，Igray(i, j)為轉(zhuǎn)換后圖像(i，j)處像素的灰度值； 再將灰度圖像轉(zhuǎn)換為二值圖像，所述灰度圖像轉(zhuǎn)換為二值圖像的轉(zhuǎn)換閾值利用剖線法求得。
4.根據(jù)權利要求3所述的導航線提取方法，其特征在于:轉(zhuǎn)換的閾值采用如下剖線法獲得:在采集到的原圖像找到一條橫向直線，要求直線穿過作物、雜草背景部分，并對該直線上的像素利用公式(I)計算各個像素的灰度值，這些灰度值將形成一條曲線，作物部分的像素灰度值和雜草部分像素的灰度值會有區(qū)別，在曲線上表現(xiàn)為作物部分曲線高于雜草背景部分曲線，在作物部分曲線和雜草部分曲線的中間取一灰度值，即為所求的閾值t，利用該閾值t，可將興趣區(qū)的灰度圖像轉(zhuǎn)換為二值圖像。
5.根據(jù)權利要求1所述的導航線提取方法，其特征在于:二值圖像的上下邊緣點的獲得方法為:將二值圖像根據(jù)圖像高度平均分為上下兩部分，分別對上下兩部分的白色像素點進行垂直投影，得到上下兩條投影曲線，每條曲線各有一個最大值，由兩條投影曲線的兩個最大值處分別向二值圖像的上下邊緣做垂線，得到兩個點，可分別稱為上邊緣點和下邊緣點。
6.根據(jù)權利要求1所述的導航線提取方法，其特征在于:三個可能的上端點和下端點的獲取方式為:由上邊緣點水平向右移動1/2玉米行寬度，可得到一個可能的上端點，由該可能的上端點水平向右移動1/2玉米行寬度，得到另外一個可能的上端點，上邊緣點和所述兩個可能的上端點，為三個可能的上端點；由下邊緣點水平向左移動1/2玉米行寬度，可得到一個可能的下端點，由該可能的下端點水平向左移動1/2玉米行寬度，得到另外一個可能的下端點，下邊緣點和所述兩個可能的下端點，為三個可能的下端點。
【文檔編號】G06K9/46GK103488991SQ201310462112
【公開日】2014年1月1日 申請日期:2013年9月30日 優(yōu)先權日:2013年9月30日
【發(fā)明者】張漫, 劉剛, 司永勝, 孟慶寬, 姜海勇, 仇瑞承 申請人:中國農(nóng)業(yè)大學