本發(fā)明涉及檢測技術(shù)領(lǐng)域，具體地說是一種基于視覺圖像的運糧車谷物裝載狀態(tài)檢測方法及裝置。

背景技術(shù)：

為了提高我國聯(lián)合收割機(jī)-運糧車主從協(xié)同作業(yè)的效率和監(jiān)控能力，需要重點解決運糧車糧箱谷物裝載情況的動態(tài)檢測問題。在把收割機(jī)糧倉中的谷物卸載到運糧車上的過程中，既要避免糧食谷物散落到運糧車糧箱之外，又要保證谷物在糧箱中均勻裝載，這就需要實時檢測糧箱谷物的裝載狀態(tài)以實現(xiàn)收割機(jī)和運糧車的相對位置動態(tài)調(diào)整。

在現(xiàn)有技術(shù)中，對于糧箱谷物裝載情況檢測主要包括以下四種方法：①采用機(jī)械傳感器，這種傳感器包括標(biāo)尺本體，通過標(biāo)尺測量獲得糧箱谷物的體積，然后根據(jù)谷物的密度和測得的體積值計算存儲量，但該方法存在計量過程復(fù)雜、測量精度差的不足；②采用超聲波傳感器，在糧箱谷物某一高度上水平選擇兩點,一點用于發(fā)射超聲波,另一點用于接收,以判斷隨時間改變的糧食谷物是否達(dá)到已知高度，但超聲波傳感器一般價格昂貴，維護(hù)成本較高，安裝繁瑣；③采用三維激光掃描傳感器，利用三維激光雷達(dá)掃描并配以高速旋轉(zhuǎn)的棱鏡進(jìn)行糧食谷物表面三維數(shù)據(jù)測量，但三維激光掃描傳感器對工作環(huán)境要求苛刻，對操作、維護(hù)人員要求較高；④采用壓力傳感器，利用壓力傳感器輸出值計算糧倉底面和側(cè)面的壓力值，并根據(jù)建立的模型進(jìn)行糧食谷物裝載情況的計算，但采用壓力傳感器需要針對不同的被測谷物建立特定的數(shù)學(xué)模型，不具備靈活性和通用性。

綜上所述，現(xiàn)有的機(jī)械、聲學(xué)、光學(xué)、電子式的傳感器普遍存在故障率高、穩(wěn)定性差和抗惡劣環(huán)境能力差等缺陷。

技術(shù)實現(xiàn)要素：

針對上述問題，本發(fā)明的目的在于提供一種基于視覺圖像的運糧車谷物裝載狀態(tài)檢測方法及裝置，速度快，穩(wěn)定性強(qiáng)，精度較高。

本發(fā)明為實現(xiàn)上述目的所采用的技術(shù)方案是：一種基于視覺圖像的運糧車谷物裝載狀態(tài)檢測方法，包括：

通過彩色數(shù)字相機(jī)對運糧車進(jìn)行實時圖像采集，獲得糧箱口及谷物的平面彩色圖像；

對平面彩色圖像進(jìn)行處理，獲得糧箱口的完整邊緣輪廓；

通過顏色空間轉(zhuǎn)換及閾值分割，獲得糧箱上谷物在圖像中的區(qū)域；

利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點，并分別計算這些凸點到糧箱口四個邊緣直線的距離；

根據(jù)實時測量的這些距離，通過預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個分布位置的裝載狀態(tài)，實現(xiàn)收割機(jī)向運糧車卸糧時谷物裝載狀態(tài)的檢測。

所述對平面彩色圖像的處理在數(shù)字信號處理器中進(jìn)行。

所述對平面彩色圖像進(jìn)行處理，獲得糧箱口的完整邊緣輪廓，包括以下步驟：

利用高斯濾波器平滑采集到的平面彩色圖像；

將平面彩色圖像轉(zhuǎn)換為灰度圖像；

利用邊緣檢測方法，計算圖像各個像素在行、列兩個方向的梯度的絕對值之和；

利用閾值分割法去除干擾區(qū)域，獲取糧箱口邊緣區(qū)域；

利用膨脹、腐蝕算法去除邊緣區(qū)域毛刺；

利用高斯直線檢測算法，獲取在糧箱口邊緣的直線段，并將共線的直線擬合為一條直線；

獲得糧箱口四條完整邊緣輪廓線。

所述通過顏色空間轉(zhuǎn)換及閾值分割，獲得糧箱上谷物在圖像中的區(qū)域，包括以下步驟：

將獲得的糧箱口邊緣圍成區(qū)域作為感興趣區(qū)域，并分別提取三通道彩色圖像，獲得三個分別代表紅色、綠色、藍(lán)色的單通道灰度圖像；

利用閾值分割法在代表紅色的灰度圖像中獲得谷物的顏色區(qū)域；

將彩色圖像從紅綠藍(lán)顏色空間轉(zhuǎn)換為色調(diào)、飽和度、亮度的顏色空間；

利用閾值分割法相繼在飽和度和色調(diào)圖像中進(jìn)行處理，獲得谷物的顏色區(qū)域；

將上述獲得的兩處谷物區(qū)域進(jìn)行求交計算，獲得最終的谷物區(qū)域。

一種基于視覺圖像的運糧車谷物裝載狀態(tài)檢測裝置，包括：

圖像采集模塊，用于通過彩色數(shù)字相機(jī)對運糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；

邊緣識別模塊，用于通過平滑、邊緣、直線檢測方法處理平面彩色圖像，獲得糧箱口的完整邊緣輪廓；

區(qū)域識別模塊，用于通過顏色空間轉(zhuǎn)換及閾值分割方法，獲得糧箱上谷物在圖像中的區(qū)域；

谷物狀態(tài)測量模塊，用于實現(xiàn)收割機(jī)向運糧車卸糧時谷物裝載狀態(tài)的檢測。

所述彩色數(shù)字相機(jī)為帶有低畸變的廣角鏡頭的相機(jī)，從俯視角度獲取完整糧箱口及谷物的平面彩色圖像。

所述谷物裝載狀態(tài)測量模塊包括：

距離測量子模塊，利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點，并分別計算這些凸點到糧箱口四個邊緣直線的距離，通過預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個分布位置的裝載狀態(tài)。

還包括：

檢測終端顯示模塊，用于將谷物狀態(tài)及相應(yīng)操作指令實時顯示在運糧車駕駛室內(nèi)檢測終端的顯示設(shè)備上。

所述彩色數(shù)字相機(jī)為一個或多個，如果彩色數(shù)字相機(jī)為多個，則各個彩色數(shù)字相機(jī)在同一個多輸入接口的dsp視頻處理板卡上進(jìn)行處理和檢測。

本發(fā)明的優(yōu)點及有益效果是：

1.本發(fā)明采用視覺圖像處理和識別技術(shù)對運糧車谷物裝載狀態(tài)進(jìn)行檢測，相對于其他檢測方法，在實現(xiàn)速度上有較大的提高，保證實時檢測的同時，也能夠保證較高的精度。

2.本發(fā)明采用最直觀的視覺檢測方法，干擾因素較少，相對于采用超聲波或激光等傳感器方法，能夠保證糧箱谷物檢測的識別魯棒性和穩(wěn)定性，并且數(shù)字相機(jī)的傳感器的價格成本更低。

3.本發(fā)明裝置采用結(jié)構(gòu)簡單的相機(jī)固定支架，并且可以實現(xiàn)相機(jī)俯仰角度和垂直位置的調(diào)節(jié)，這樣就能夠使相機(jī)能夠觀察完整的糧箱谷物裝載狀態(tài)，保證裝置的通用性，可以在不同裝載量的糧箱上安裝使用。支架在糧箱上的安裝可以根據(jù)具體的糧箱外部結(jié)構(gòu)設(shè)計不同的固定位置和方式，方便裝卸和維護(hù)。

4.本發(fā)明具有方便安裝、維護(hù)，易于實施，檢測速度快，穩(wěn)定性強(qiáng)，精度較高的優(yōu)點。

附圖說明

圖1為本發(fā)明的方法流程圖；

圖2為本發(fā)明的檢測裝置的一個實施例結(jié)構(gòu)原理示意圖；

圖3為采用單個相機(jī)的運糧車谷物裝載狀態(tài)檢測裝置的組成示意圖；

圖4為本發(fā)明中相機(jī)支架的結(jié)構(gòu)示意圖；

圖5為本發(fā)明采集圖像中糧箱邊緣和谷物區(qū)域的示意圖；

圖6為本發(fā)明的基于視覺圖像的運糧車谷物裝載狀態(tài)檢測裝置框圖。

具體實施方式

為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖及具體實施例進(jìn)行詳細(xì)描述。

本發(fā)明針對現(xiàn)有基于機(jī)械、超聲波、三維激光掃描、壓力等傳感器的測量方法效率較低、穩(wěn)定性差、成本較高等不足，提供一種基于視覺圖像的運糧車谷物裝載狀態(tài)檢測方法及裝置，利用視覺技術(shù)實現(xiàn)對糧箱內(nèi)谷物裝載狀態(tài)的實時檢測。谷物分布狀態(tài)一般包括：“未裝滿”、“即將裝滿”和“已經(jīng)裝滿”三個狀態(tài)。

如圖1所示，本發(fā)明的基于視覺圖像的運糧車谷物裝載狀態(tài)檢測方法，包括如下步驟：

步驟11，通過彩色數(shù)字相機(jī)對運糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；

步驟12，使用平滑、邊緣、直線檢測等濾波器處理平面彩色圖像，獲得糧箱口的完整邊緣輪廓；

步驟13，使用顏色空間轉(zhuǎn)換及閾值分割等圖像處理方法，獲得糧箱上谷物在圖像中的區(qū)域；

步驟14，利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點，并分別計算這些凸點到糧箱口四個邊緣直線的距離；

步驟15，根據(jù)實時測量的這些距離，通過預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個分布位置的“未裝滿”、“即將裝滿”以及“已經(jīng)裝滿”三個裝載狀態(tài)，實現(xiàn)收割機(jī)向運糧車卸糧時谷物裝載狀態(tài)的檢測。

本發(fā)明的上述方法通過帶有低畸變廣角鏡頭的彩色數(shù)字相機(jī)對運糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；從該彩色圖像中提取糧箱口邊緣直線和谷物區(qū)域，并確定該谷物區(qū)域的凸點，從而測量這些凸點到邊緣直線的距離來判斷谷物在糧箱口各個分布位置的狀態(tài)，不需測量糧箱內(nèi)部谷物的整個外表面形貌。這樣就使計算工作極大地簡化，從而能夠靈活快速地對糧箱谷物裝載狀態(tài)進(jìn)行檢測。

上述圖1所示方法在具體實現(xiàn)時，還可以首先在運糧車對谷物裝載狀態(tài)檢測裝置進(jìn)行布置和安裝，包括彩色數(shù)字相機(jī)、廣角鏡頭、檢測終端(包括安裝軟件的dsp板卡以及顯示屏)等；

下面具體說明本發(fā)明的基于視覺圖像的運糧車谷物裝載狀態(tài)檢測方法的實施例。

如圖2、圖3所示：彩色數(shù)字相機(jī)31和廣角鏡頭32通過固定支架33安裝在運糧車糧箱34的窄邊一側(cè)，并對糧箱34內(nèi)的被檢測谷物35進(jìn)行圖像采集，采集得到的圖像通過視頻數(shù)據(jù)線36傳輸?shù)綑z測終端37(包括dsp視頻采集和處理板卡以及顯示屏38)，其中，dsp視頻采集和處理板卡用于采集彩色數(shù)字相機(jī)31觀察得到的糧箱34及谷物35的彩色圖像，可以在dsp板卡的存儲介質(zhì)中臨時存儲所述彩色圖像，并利用采集到的圖像數(shù)據(jù)進(jìn)行分析處理，并進(jìn)行檢測判斷運算，最后將檢測結(jié)果顯示在顯示屏38上；

具體地，在運糧車的駕駛室和糧箱對檢測裝置進(jìn)行布置和安裝，彩色數(shù)字相機(jī)31(見圖3)可以看到被檢測糧箱34的邊緣輪廓和其內(nèi)谷物35的顏色(黃色)區(qū)域，繼而用來進(jìn)行谷物裝載狀態(tài)的檢測。低畸變的廣角鏡頭32(見圖3)能夠保證彩色數(shù)字相機(jī)31能夠獲取大視場范圍的圖像，即一幅圖像包括完整的畸變較小的糧箱邊緣輪廓。固定支架33(見圖3)可以實現(xiàn)相機(jī)俯仰角度和垂直位置的調(diào)節(jié)，這樣就能夠使相機(jī)能夠觀察完整的糧箱谷物裝載狀態(tài)，保證裝置的通用性，可以在不同裝載量的糧箱上安裝使用。檢測終端37(見圖3)安裝在運糧車的駕駛室內(nèi)，便于造作人員通過顯示屏38(見圖3)實時監(jiān)控糧箱內(nèi)谷物的裝載狀態(tài)情況，并根據(jù)狀態(tài)提示進(jìn)行收割機(jī)和運糧車的相對位置動態(tài)調(diào)整。固定支架33的機(jī)械結(jié)構(gòu)如圖4所示，相機(jī)41首先通過其下方的螺紋孔固定在帶有u型槽口的零件42上，通過螺栓43與帶有螺紋孔的凸型底座44固定在一起，這樣螺紋孔實現(xiàn)了相機(jī)俯仰角度的運動調(diào)節(jié)，u型槽口實現(xiàn)了相機(jī)垂直位置的運動調(diào)節(jié)，最后通過支撐架45將相機(jī)及上述零件整體安裝在糧箱一側(cè)，支撐架45采用垂直支撐面后移的結(jié)構(gòu)，目的是避免相機(jī)俯視觀察糧箱產(chǎn)生遮擋。固定支架33在糧箱上的安裝可以根據(jù)具體的糧箱外部結(jié)構(gòu)設(shè)計不同的固定位置和方式，方便裝卸和維護(hù)。

在提取糧箱的邊緣輪廓線和谷物的顏色區(qū)域時，通過機(jī)器視覺方法，利用平滑、邊緣、直線檢測等濾波器處理彩色圖像，獲得糧箱口的完整邊緣輪廓，再將共線邊緣擬合為一條直線，提取得到如圖5中所示的糧箱口的邊緣輪廓線51，對所獲取的彩色圖像進(jìn)行顏色空間變換和閾值分割處理，將如圖5所示的谷物區(qū)域52從彩色圖像背景中提取出來。

利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點，并分別計算這些凸點到糧箱口四個邊緣直線的距離。根據(jù)實時測量的距離，通過預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個分布位置的狀態(tài)：(1)當(dāng)距離大于預(yù)先設(shè)定的閾值時(如圖5中53情況所示)，則為在該點所在分布區(qū)域的谷物裝載狀態(tài)為“未裝滿”；(2)當(dāng)距離小于預(yù)先設(shè)定的閾值且大于零時(如圖5中54情況所示)，則為在該點所在分布區(qū)域的谷物裝載狀態(tài)為“即將裝滿”；當(dāng)距離等于零時(如圖5中55情況所示)，則為在該點所在分布區(qū)域的谷物裝載狀態(tài)為“已經(jīng)裝滿”。

綜上，本發(fā)明的檢測方法主要有三個關(guān)鍵內(nèi)容。首先，由于是采用低畸變的廣角鏡頭，選取合適的彩色數(shù)字相機(jī)直接決定了獲取的被檢測糧箱谷物的圖像信息的正確性和全面性。其次，獲取充分的圖像數(shù)據(jù)后根據(jù)需要分析處理，選取最優(yōu)算法進(jìn)而提高檢測的精度、速度和穩(wěn)定性。最后，采用可調(diào)節(jié)相機(jī)俯仰角度和垂直位置的固定支架，以便在不同裝載量的糧箱上使用，保證方法和裝置的通用性。

根據(jù)本發(fā)明的另一方面，如圖6所示，本發(fā)明的實施例還提供一種基于視覺圖像的運糧車谷物裝載狀態(tài)檢測裝置6，包括：

圖像采集模塊61，用于通過數(shù)字相機(jī)對運糧車進(jìn)行圖像采集，獲得糧箱口及谷物的平面彩色圖像；

邊緣識別模塊62，用于通過平滑、邊緣、直線檢測等濾波器處理平面彩色圖像，獲得糧箱口的完整邊緣輪廓；

區(qū)域識別模塊63，用于通過顏色空間轉(zhuǎn)換及閾值分割等圖像處理方法，獲得糧箱上谷物在圖像中的區(qū)域；

谷物狀態(tài)測量模塊64，用于實現(xiàn)收割機(jī)向運糧車卸糧時谷物裝載狀態(tài)的檢測。

檢測終端顯示模塊65，用于將谷物狀態(tài)及相應(yīng)操作指令實時顯示在運糧車駕駛室內(nèi)檢測終端的顯示設(shè)備上。

優(yōu)選的，上述系統(tǒng)還包括：

可微調(diào)相機(jī)俯仰角度和垂直位置的固定支架。

所述谷物裝載狀態(tài)測量模塊包括：

距離測量子模塊，利用二維凸包算法獲得代表谷物區(qū)域邊緣的凸點，并分別計算這些凸點到糧箱口四個邊緣直線的距離，通過預(yù)先設(shè)定的閾值判斷谷物在糧箱口各個分布位置的裝載狀態(tài)。

本發(fā)明提供的基于視覺圖像的運糧車谷物裝載狀態(tài)檢測裝置，主要通過帶有低畸變廣角鏡頭的彩色數(shù)字相機(jī)對運糧車進(jìn)行圖像采集，利用檢測終端 中的數(shù)字信號處理器(dsp)進(jìn)行圖像的實時處理，獲得糧箱口邊緣直線和谷物區(qū)域，并確定該谷物區(qū)域的凸點，從而測量這些凸點到邊緣直線的距離來判斷谷物在糧箱口各個分布位置的狀態(tài)，不需測量糧箱內(nèi)部谷物的整個外表面形貌。這樣就使計算工作極大地簡化，從而能夠靈活快速地對糧箱谷物裝載狀態(tài)進(jìn)行檢測。

該裝置具有快速、高精度、穩(wěn)定、全自動測量等幾大優(yōu)勢。利用該裝置能夠?qū)崟r檢測運糧車的谷物裝載狀態(tài)，以實現(xiàn)收割機(jī)和運糧車的相對位置的動態(tài)調(diào)整，避免糧食谷物散落到運糧車糧箱之外，保證谷物在糧箱中均勻裝載。采用視覺圖像技術(shù)的檢測方法可以替代傳統(tǒng)的機(jī)械式和壓力式檢測方法，并且在速度、穩(wěn)定性、成本上都要優(yōu)于采用超聲波和三維激光的檢測方法。

最后，需要說明的是：上述方法中的所有實現(xiàn)方式均適用于該裝置實施例中，也能達(dá)到相同的技術(shù)效果，在此不再贅述。

以上所述是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。