一種采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于農(nóng)業(yè)機(jī)械領(lǐng)域，涉及果蔬采摘機(jī)器人的圖像識別方法，特別是對蘋果 等類球狀重疊果實(shí)的快速跟蹤識別方法。
【背景技術(shù)】
[0002] 自1983年第1臺西紅柿采摘機(jī)器人在美國誕生以來，采摘機(jī)器人的研宄開發(fā)歷經(jīng) 30多年，各國相繼立項(xiàng)研宄各類蔬果采摘智能機(jī)器人。然而，因?yàn)樽R別率和采摘率不高等問 題，采摘機(jī)器人離實(shí)用化和商品化還有一定的距離，因此，提高采摘機(jī)器人的采摘效率，增 強(qiáng)采摘機(jī)器人的實(shí)用性能是當(dāng)前研宄的關(guān)鍵。
[0003] 果實(shí)的識別和定位是果實(shí)采摘機(jī)器人的首要任務(wù)和設(shè)計(jì)難點(diǎn)，識別和定位的準(zhǔn)確 性關(guān)系到采摘機(jī)器人的工作效率。國內(nèi)外學(xué)者對于重疊果實(shí)進(jìn)行了大量的研宄，并取得了 一些初步的成果。項(xiàng)榮等（2012)提出了一種基于邊緣曲率的方法識別重疊番茄，對于輕 微遮擋的重疊番茄的識別正確率為90. 9%。宋懷波等（2013)在K-means聚類分割的基 礎(chǔ)上，采用基于凸殼的方法分割重疊蘋果，經(jīng)實(shí)驗(yàn)證明，該方法得到的蘋果目標(biāo)重合度為 85. 08%，平均定位誤差為14. 15%。Xu Yongwei等（2013)采用支持向量機(jī)的HOG算子識 別重疊的草莓，其識別成功的準(zhǔn)確率為87%。然而，這些研宄都是針對靜態(tài)條件下的，靜態(tài) 識別的方法并不能完全適用于采摘機(jī)器人在運(yùn)動過程的動態(tài)采摘。呂繼東等（2014)對動 態(tài)果實(shí)的識別進(jìn)行了初步研宄，實(shí)驗(yàn)證明利用前后圖像的相關(guān)性能夠有效減少圖像處理的 時間，然而對于重疊果實(shí)的動態(tài)跟蹤識別研宄較少。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是：提供一種針對蘋果等類球狀重疊果實(shí)的快速跟蹤識別方法，解 決由于果實(shí)自然生長導(dǎo)致重疊而影響機(jī)器人跟蹤識別的問題。其方法簡單，通用性好，能夠 準(zhǔn)確定位出重疊球狀果實(shí)并提高機(jī)器人采摘的速度。
[0005] 本發(fā)明采摘機(jī)器人重疊果實(shí)快速跟蹤識別方法的技術(shù)方案包括以下步驟：
[0006] 一種采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，包括以下步驟：
[0007] 步驟1，重疊蘋果圖像采集：采用彩色C⑶攝像頭連續(xù)采集圖像；
[0008] 步驟2,目標(biāo)果實(shí)分割：對采集到的圖像進(jìn)行分割，去除背景，并采用數(shù)學(xué)形態(tài)學(xué) 方法對分割后的圖像進(jìn)行完善，去除噪聲以及孔洞；
[0009] 步驟3,確定重疊蘋果的圓心與半徑：通過尋找圓內(nèi)點(diǎn)到輪廓邊緣最小距離的極 大值找到圓心的位置；圓心確定后，根據(jù)圓心到輪廓邊緣的距離確定半徑；
[0010] 步驟4,提取目標(biāo)果實(shí)模板：根據(jù)求得的圓心與半徑再加上一定的預(yù)留值截取后 續(xù)匹配的模板；
[0011] 步驟5,機(jī)器人運(yùn)動路徑預(yù)判：對機(jī)器人運(yùn)動中連續(xù)采集的最新10幅圖像中果實(shí) 的圓心的運(yùn)動路徑進(jìn)行擬合并預(yù)判，根據(jù)預(yù)判的圓心以及果實(shí)的半徑截取重疊果實(shí)區(qū)域；
[0012] 步驟6,匹配識別：采用快速歸一化互相關(guān)匹配對重疊果實(shí)進(jìn)行匹配識別。
[0013] 進(jìn)一步，所述步驟2中采用數(shù)學(xué)形態(tài)學(xué)方法對分割后的圖像進(jìn)行完善的過程為：
[0014] 步驟2. 1，用半徑為一個像素的圓盤形結(jié)構(gòu)元素對圖像進(jìn)行膨脹運(yùn)算，擴(kuò)充邊界 點(diǎn)，填補(bǔ)部分孔洞；
[0015] 步驟2. 2,用floodfill算法進(jìn)行孔洞填充，填補(bǔ)花萼部分的缺孔，之后求得圖像 的最大連通區(qū)域，將孤立的毛刺去除；
[0016] 步驟2. 3,對圖像進(jìn)行腐蝕運(yùn)算，消除邊界部分的噪聲。
[0017] 進(jìn)一步，所述步驟3具體為：
[0018] 步驟3. 1，確定圓心的步驟：定義四個掃描方向A (X+，y+)、B (X' y+)、C ?)、 D(x+，y〇,在A方向，以從左往右，從上到下的方式進(jìn)行掃描；在B方向，以從右往左，從上到 下的方式進(jìn)行掃描；在C方向，以從右往左，從下到上的方式進(jìn)行掃描；在D方向，以從左往 右，從下到上的方式進(jìn)行掃描；
[0019] 步驟3. 2,確定半徑的步驟：上述求出重疊蘋果的圓心A(ax, ay)、B(bx, by);再求 出經(jīng)過圓心A、B的直線方程y
【主權(quán)項(xiàng)】
1. 一種采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，其特征在于，包括以下步驟： 步驟1，重疊蘋果圖像采集：采用彩色CCD攝像頭連續(xù)采集圖像； 步驟2,目標(biāo)果實(shí)分割：對采集到的圖像進(jìn)行分割，去除背景，并采用數(shù)學(xué)形態(tài)學(xué)方法 對分割后的圖像進(jìn)行完善，去除噪聲以及孔洞； 步驟3,確定重疊蘋果的圓心與半徑：通過尋找圓內(nèi)點(diǎn)到輪廓邊緣最小距離的極大值 找到圓心的位置；圓心確定后，根據(jù)圓心到輪廓邊緣的距離確定半徑； 步驟4,提取目標(biāo)果實(shí)模板：根據(jù)求得的圓心與半徑再加上一定的預(yù)留值截取后續(xù)匹 配的模板； 步驟5,機(jī)器人運(yùn)動路徑預(yù)判：對機(jī)器人運(yùn)動中連續(xù)采集的最新10幅圖像中果實(shí)的圓 心的運(yùn)動路徑進(jìn)行擬合并預(yù)判，根據(jù)預(yù)判的圓心以及果實(shí)的半徑截取重疊果實(shí)區(qū)域； 步驟6,匹配識別：采用快速歸一化互相關(guān)匹配對重疊果實(shí)進(jìn)行匹配識別。
2. 根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，其特征在于，所 述步驟2中采用數(shù)學(xué)形態(tài)學(xué)方法對分割后的圖像進(jìn)行完善的過程為： 步驟2. 1，用半徑為一個像素的圓盤形結(jié)構(gòu)元素對圖像進(jìn)行膨脹運(yùn)算，擴(kuò)充邊界點(diǎn)，填 補(bǔ)部分孔洞； 步驟2. 2,用f loodf ill算法進(jìn)行孔洞填充，填補(bǔ)花萼部分的缺孔，之后求得圖像的最 大連通區(qū)域，將孤立的毛刺去除； 步驟2. 3,對圖像進(jìn)行腐蝕運(yùn)算，消除邊界部分的噪聲。
3. 根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，其特征在于，所 述步驟3具體步驟為： 步驟3. 1，確定圓心的步驟：定義四個掃描方向A(x+，y+)、B(x' y+)、C(x'y〇、D(x+，y〇， 在A方向，以從左往右，從上到下的方式進(jìn)行掃描；在B方向，以從右往左，從上到下的方式 進(jìn)行掃描；在C方向，以從右往左，從下到上的方式進(jìn)行掃描；在D方向，以從左往右，從下 到上的方式進(jìn)行掃描； 步驟3. 2,確定半徑的步驟：上述求出重疊蘋果的圓心A(ax, ay)、B(bx, by);再求出 經(jīng)過圓心A、B的直線方程y ;求出該直線與果實(shí)輪廓的交點(diǎn)C(cx，cy)、D(dx，dy);半徑
4. 根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，其特征在于，所 述步驟5的具體處理過程如下： 步驟5. 1，根據(jù)所述步驟3. 1確定的前9幅連續(xù)采集的圖像中重疊果實(shí)兩個圓心的位 置，對兩個圓心的中點(diǎn)進(jìn)行多項(xiàng)式擬合，擬合出機(jī)器人運(yùn)動的路徑，再結(jié)合機(jī)器人運(yùn)動速度 以及采樣時間進(jìn)行預(yù)判，估計(jì)出下一幀圖像中圓心中點(diǎn)的位置； 步驟5. 2,根據(jù)所述步驟3. 2確定出半徑，求出兩個果實(shí)半徑的最大值rmax，以步驟5. 1 預(yù)判的兩個圓心的中點(diǎn)為中心，截取邊長為4*rmax的正方形作為后續(xù)圖像處理的區(qū)域。
5. 根據(jù)權(quán)利要求1所述的采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，其特征在于，所 述步驟6中歸一化互相關(guān)匹配的算法簡化為：
式中，I為待匹配圖像（像素為MXN) ;T為（X，y)為模板圖像（像素為mXn) ; (X，y) 為子圖Ix，y的左上角在圖像I中的坐標(biāo)；(u，g)為像素在模板中的坐標(biāo)；為子圖Ix， y的 像素平均值。
【專利摘要】本發(fā)明公開了一種采摘機(jī)器人的重疊果實(shí)快速跟蹤識別方法，通過攝像頭連續(xù)采集的最新10幀重疊蘋果圖像；對采集到的第一幀圖像進(jìn)行分割，去除背景；通過計(jì)算圓內(nèi)的點(diǎn)到輪廓邊緣最小距離的極大值確定重疊蘋果圓心的位置，計(jì)算圓心到輪廓邊緣的距離確定半徑；根據(jù)圓心與半徑截取后續(xù)匹配的模板；確定連續(xù)采集的最新10幀圖像中重疊蘋果的圓心，根據(jù)每幀圖像的圓心對機(jī)器人的運(yùn)動路徑進(jìn)行擬合、預(yù)判，綜合半徑與預(yù)判路徑確定下一幀圖像中重疊蘋果的位置，并截取重疊蘋果區(qū)域。最后，采用快速歸一化互相關(guān)匹配算法進(jìn)行匹配識別。通過該方法能夠?qū)崿F(xiàn)對重疊蘋果等類球狀重疊果實(shí)的跟蹤識別，并且運(yùn)行時間短，能有效提高采摘機(jī)器人的采摘效率。
【IPC分類】G06K9-00, G06K9-54
【公開號】CN104636722
【申請?zhí)枴緾N201510038828
【發(fā)明人】趙德安, 沈甜, 陳玉, 賈偉寬
【申請人】江蘇大學(xué)
【公開日】2015年5月20日
【申請日】2015年1月26日