本發(fā)明涉及一種用于摘取果實(shí)時(shí)對(duì)兩個(gè)互相重疊的果實(shí)進(jìn)行分割定位的方法，尤其適用于果實(shí)顏色與背景色具有較大色差的類圓形果實(shí)。

背景技術(shù)：

隨著近幾年果實(shí)采摘?jiǎng)趧?dòng)力的大幅度減少，人工采摘果實(shí)的成本越來(lái)越高。因此，對(duì)果實(shí)采摘機(jī)器人的需求量越來(lái)越大，對(duì)果實(shí)采摘機(jī)器人要求也越來(lái)越高。決定采摘機(jī)器人采摘效率的關(guān)鍵因素就是對(duì)果實(shí)采摘點(diǎn)的定位。由于果實(shí)往往會(huì)出現(xiàn)互相重疊的現(xiàn)象，采摘機(jī)器人對(duì)果實(shí)采摘點(diǎn)定位時(shí)會(huì)將重疊的果實(shí)作為一個(gè)果實(shí)處理，容易產(chǎn)生較大的定位偏差，不能抓取到果實(shí)，最終導(dǎo)致采摘失敗?，F(xiàn)有技術(shù)中，對(duì)于重疊果實(shí)的識(shí)別和定位主要采用以下幾種方法：基于邊緣曲率的識(shí)別方法、基于凸殼的識(shí)別以及基于支持向量機(jī)的識(shí)別方法。

果樹上的果實(shí)發(fā)生相互重疊是非常普遍的現(xiàn)象，例如發(fā)生兩個(gè)果實(shí)重疊、三個(gè)果實(shí)重疊甚至是三個(gè)以上的果樹重疊，不過(guò)一般是兩個(gè)果實(shí)重疊的現(xiàn)象居多。現(xiàn)有技術(shù)還沒(méi)有專門針對(duì)兩個(gè)果實(shí)重疊的分割定位方法，采用現(xiàn)有技術(shù)中的重疊果實(shí)的識(shí)別定位方法來(lái)進(jìn)行兩個(gè)果實(shí)重疊的分割和定位存在計(jì)算量大、運(yùn)算速度慢的缺點(diǎn)，不利于提高機(jī)器人的采摘效率。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中存在的上述不足，本發(fā)明提供一種基于色差的果實(shí)重疊分割定位方法，能夠快速將圖像中一個(gè)由兩個(gè)重疊果實(shí)構(gòu)成的果實(shí)區(qū)域分割成兩個(gè)單獨(dú)的果實(shí)區(qū)域，從而保證采摘點(diǎn)能夠被準(zhǔn)確定位。

為實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)手段：一種基于色差的兩個(gè)重疊果實(shí)的分割定位方法，包括以下步驟：

步驟1：輸入僅為兩個(gè)果實(shí)相互重疊的原始圖像I_o，對(duì)原始圖像I_o進(jìn)行二值化處理，得到以果實(shí)區(qū)域?yàn)槟繕?biāo)區(qū)域并以樹枝和樹葉區(qū)域?yàn)楸尘皡^(qū)域的二值圖像I_S；所述二值圖像I_S中目標(biāo)區(qū)域內(nèi)各像素點(diǎn)的灰度值均為255；所述背景區(qū)域內(nèi)各像素點(diǎn)的灰度值均為0；

步驟2：框選出二值圖像I_S中目標(biāo)區(qū)域的最小外接仿射矩形，使目標(biāo)區(qū)域中的像素全部落在所述最小外接仿射矩形內(nèi)；

步驟3：將步驟2中最小外接仿射矩形的長(zhǎng)和寬分別縮減到原始長(zhǎng)度的75％～85％，得到目標(biāo)矩形；

步驟4：提取目標(biāo)矩形內(nèi)灰度值均為0的像素點(diǎn)，組成ROI區(qū)域；

步驟5：分別選取位于目標(biāo)矩形兩長(zhǎng)邊上中部位置處的兩個(gè)ROI子區(qū)域，作為兩個(gè)目標(biāo)ROI子區(qū)域；

步驟6：分別提取兩個(gè)目標(biāo)ROI子區(qū)域的中心點(diǎn)，連接所述兩個(gè)中心點(diǎn)并分別向兩端延長(zhǎng)至目標(biāo)矩形的兩條邊上，從而得到將目標(biāo)矩形分割為兩個(gè)四邊形區(qū)域的分割線；

步驟7：分別選取兩個(gè)四邊形區(qū)域，通過(guò)距離變換分別計(jì)算出兩個(gè)四邊形區(qū)域的重心；

步驟8：分別以兩個(gè)四邊形區(qū)域的重心為圓心，再分別以兩個(gè)重心到分割線與目標(biāo)矩形的任意一個(gè)交點(diǎn)的距離為半徑，畫圓，將兩個(gè)圓形區(qū)域判定為兩個(gè)果實(shí)分別所在區(qū)域，從而完成對(duì)兩個(gè)重疊果實(shí)的分割和定位。

優(yōu)選的，步驟1中的原始圖像I_o為RGB圖像，所述二值圖像I_S按照如下步驟生成：

步驟201：將原始圖像I_o轉(zhuǎn)換到HSV顏色空間，從而獲取原始圖像的H分量圖，設(shè)H分量圖中第i個(gè)像素的H分量值為T_i；

步驟202：設(shè)置分割閾值[T_min，T_max]，T_min為分割閾值的下限，T_max為分割閾值的上限；

步驟203：按照如下公式遍歷H分量圖中每一個(gè)像素，對(duì)H分量圖進(jìn)行二值化：

其中,T為二值化后的H分量圖中第i個(gè)像素的灰度值；

步驟204：對(duì)二值化后的H分量圖進(jìn)行形態(tài)學(xué)濾波，以消除圖像中存在的噪點(diǎn)、孔洞和毛刺，從而得到二值圖像I_S。

進(jìn)一步的，用于柑橘采摘時(shí)，分割閾值為[11,25]。

進(jìn)一步的，用于蘋果采摘時(shí)，分割閾值為[210,255]。

優(yōu)選的，步驟1中的原始圖像I_o為RGB圖像，所述二值圖像I_S按照如下步驟生成：

步驟501：遍歷原始圖像I_o計(jì)算其每個(gè)像素的色差值，其中，第i個(gè)像素的色差值C，按如下公式：C＝2.0R-G-B，其中，R、G和B分別表示該像素在紅色通道、綠色通道和藍(lán)色通道下的灰度值；

步驟502：按照如下公式遍歷原始圖像I_o中每一個(gè)像素，對(duì)原始圖像I_o進(jìn)行二值化：

其中,T為二值化后的原始圖像I_o中第i個(gè)像素的灰度值；

步驟503：對(duì)二值化后的原始圖像I_o進(jìn)行形態(tài)學(xué)濾波，以消除圖像中存在的噪點(diǎn)、孔洞和毛刺，從而得到二值圖像I_S。

優(yōu)選的，步驟3中目標(biāo)矩形的長(zhǎng)和寬均為最小外接仿射矩形原始長(zhǎng)度的80％。

優(yōu)選的，步驟8中以重心到分割線與目標(biāo)矩形的兩個(gè)交點(diǎn)中距離更短的距離為半徑，畫圓。

優(yōu)選的，步驟7中采用城市街區(qū)距離進(jìn)行距離變換以提取四邊形區(qū)域的重心，按如下步驟進(jìn)行：

步驟801：計(jì)算四邊形區(qū)域內(nèi)每個(gè)像素點(diǎn)與距離其最近的四邊形區(qū)域外背景區(qū)域內(nèi)的像素點(diǎn)的城市街區(qū)距離D_ε(p,q)，按如下公式：

D_ε(p,q)＝|x-s|+|y-t|，其中，p代表目標(biāo)區(qū)域中的像素點(diǎn)，其坐標(biāo)為(x,y)；q代表背景區(qū)域中的像素點(diǎn)，其坐標(biāo)為(s,t)；

步驟802：將步驟801中計(jì)算出的城市街區(qū)距離D_ε(p,q)的值作為灰度值賦值給四邊形區(qū)域內(nèi)對(duì)應(yīng)像素點(diǎn)，從而生成四邊形灰度區(qū)域；

步驟803：選取四邊形灰度區(qū)域中灰度值最大的像素點(diǎn)，作為重心。

進(jìn)一步的，步驟803中，如果同時(shí)存在若干個(gè)灰度值并列最大的像素點(diǎn)，所述像素點(diǎn)形成一個(gè)局部中心區(qū)域，則選取該局部中心區(qū)域的中心作為重心。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

本發(fā)明沒(méi)有直接以目標(biāo)區(qū)域(果實(shí)區(qū)域)作為處理對(duì)象來(lái)提取果實(shí)的輪廓，而是利用果實(shí)重疊后均會(huì)產(chǎn)生的兩個(gè)ROI子區(qū)域的中心點(diǎn)來(lái)找出將目標(biāo)矩形分割為兩個(gè)四邊形區(qū)域的分割線，再根據(jù)四邊形區(qū)域的重心以重心到分割線與目標(biāo)矩形的任意一個(gè)交點(diǎn)的距離為半徑，畫圓，將兩個(gè)圓形區(qū)域判定為兩個(gè)果實(shí)分別所在區(qū)域。其中，圓心的位置坐標(biāo)即為采摘機(jī)器人對(duì)果實(shí)的定位坐標(biāo)，圓形區(qū)域的半徑大小影響著采摘機(jī)器人的采摘末端張口的大小。

1、本發(fā)明采用簡(jiǎn)單的計(jì)算公式簡(jiǎn)單，相對(duì)較少的參數(shù)，能夠大大減少運(yùn)算量，提高運(yùn)算速度，使采摘機(jī)器人能快速的對(duì)兩個(gè)重疊果實(shí)進(jìn)行分割和定位，并根據(jù)圓形區(qū)域的大小確定采摘末端的張口大小，從而大大提高采摘機(jī)器人的采摘效率。

2、本發(fā)明將原始圖像I_o轉(zhuǎn)換到HSV顏色空間，只選取H(色調(diào))分量圖，通過(guò)忽略V(明度)分量圖來(lái)抵抗光線強(qiáng)弱變化對(duì)目標(biāo)區(qū)域及背景區(qū)域劃分的影響，特別是光照強(qiáng)度較高時(shí)(果實(shí)和樹葉均會(huì)產(chǎn)生較高的反光)，從而保證能正確的劃分出果實(shí)區(qū)域和樹枝、樹葉組成的背景區(qū)域。

3、在光照強(qiáng)度較低時(shí)，由于果實(shí)表面和樹葉僅會(huì)產(chǎn)生微小的反光，對(duì)R、G、B各顏色分量的影響較小，在RGB顏色空間下對(duì)RGB的原始圖像I_o進(jìn)行二值化處理，既能保證目標(biāo)區(qū)域與背景區(qū)域的準(zhǔn)確劃分，又能夠提高運(yùn)算速度。

附圖說(shuō)明

圖1為本發(fā)明的流程框圖；

圖2為步驟1中的二值圖像I_S；

圖3為選取目標(biāo)矩形后的所形成的圖像；

圖4為目標(biāo)矩形內(nèi)提取ROI區(qū)域后所形成的圖像；

圖5為生成分割線后所形成的圖像；

圖6為選取一個(gè)四邊形區(qū)域的重心后所述形成的圖像；

圖7為在二值圖像I_S上完成兩個(gè)重疊果實(shí)的分割和定位后的效果圖；

圖8為在原始圖像I_o上完成兩個(gè)重疊果實(shí)的分割和定位后的最終效果圖；

圖9為實(shí)施例2的最終效果圖；

圖10為實(shí)施例3的最終效果圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步的說(shuō)明。

實(shí)施例1

本實(shí)施例用于柑橘采摘

一種基于色差的兩個(gè)重疊果實(shí)的分割定位方法，如圖1所示，包括以下步驟：

步驟1：輸入僅為兩個(gè)果實(shí)相互重疊的原始圖像I_o，對(duì)原始圖像I_o進(jìn)行二值化處理，如圖2所示，得到以果實(shí)區(qū)域?yàn)槟繕?biāo)區(qū)域并以樹枝和樹葉區(qū)域?yàn)楸尘皡^(qū)域的二值圖像I_S；所述二值圖像I_S中目標(biāo)區(qū)域內(nèi)各像素點(diǎn)的灰度值均為255；所述背景區(qū)域內(nèi)各像素點(diǎn)的灰度值均為0；

步驟2：框選出二值圖像I_S中目標(biāo)區(qū)域的最小外接仿射矩形，使目標(biāo)區(qū)域中的像素全部落在所述最小外接仿射矩形內(nèi)；

步驟3：如圖3所示，將步驟2中最小外接仿射矩形的長(zhǎng)和寬分別縮減到原始長(zhǎng)度的80％，得到目標(biāo)矩形。

步驟4：如圖4所示，提取目標(biāo)矩形內(nèi)灰度值均為0的像素點(diǎn)，組成ROI區(qū)域；

步驟5：分別選取位于目標(biāo)矩形兩長(zhǎng)邊上中部位置處的兩個(gè)ROI子區(qū)域，作為兩個(gè)目標(biāo)ROI子區(qū)域；

步驟6：如圖5所示，分別提取兩個(gè)目標(biāo)ROI子區(qū)域的中心點(diǎn)，連接所述兩個(gè)中心點(diǎn)并分別向兩端延長(zhǎng)至目標(biāo)矩形的兩條邊上，從而得到將目標(biāo)矩形分割為兩個(gè)四邊形區(qū)域的的分割線；

步驟7：分別選取兩個(gè)四邊形區(qū)域，通過(guò)距離變換分別計(jì)算出兩個(gè)四邊形區(qū)域的重心；如圖6所示，選取一個(gè)四邊形區(qū)域的重心后所述形成的圖像。

步驟8：如圖7所示，分別以兩個(gè)四邊形區(qū)域的重心為圓心，再分別以兩個(gè)重心到分割線與目標(biāo)矩形的任意一個(gè)交點(diǎn)的距離為半徑，畫圓，將兩個(gè)圓形區(qū)域判定為兩個(gè)果實(shí)分別所在區(qū)域，從而完成對(duì)兩個(gè)重疊果實(shí)的分割和定位。

根據(jù)步驟8中所確定出的圓心坐標(biāo)以及半徑，在原始圖像I_o上分別畫出兩個(gè)圓形區(qū)域，兩個(gè)重疊果實(shí)的分割和定位后的最終效果圖，如圖8所示。

本實(shí)施例中，步驟1中的原始圖像I_o為RGB圖像，所述二值圖像I_S按照如下步驟生成：

步驟201：將原始圖像I_o轉(zhuǎn)換到HSV顏色空間，從而獲取原始圖像的H分量圖，設(shè)H分量圖中第i個(gè)像素的H分量值為T_i；

步驟202：設(shè)置分割閾值為[11,25]；

步驟203：按照如下公式遍歷H分量圖中每一個(gè)像素，對(duì)H分量圖進(jìn)行二值化：

其中,T為二值化后的H分量圖中第i個(gè)像素的灰度值；

步驟204：對(duì)二值化后的H分量圖進(jìn)行形態(tài)學(xué)濾波，以消除圖像中存在的噪點(diǎn)、孔洞和毛刺，從而得到二值圖像I_S。

本實(shí)施例中，步驟8中以重心到分割線與目標(biāo)矩形的兩個(gè)交點(diǎn)中距離更短的距離為半徑，畫圓。由于果實(shí)的真實(shí)半徑會(huì)小于其重心到任意一個(gè)ROI子區(qū)域中心的距離，因此選取重心到分割線與目標(biāo)矩形的兩個(gè)交點(diǎn)中距離更短的距離為半徑所畫的圓，更加接近果實(shí)的真實(shí)大小，從而使得采摘末端的張口大小能夠更好的與果實(shí)大小匹配。

本實(shí)施例中，步驟7中采用城市街區(qū)距離進(jìn)行距離變換以提取四邊形區(qū)域的重心，采用城市街區(qū)距離進(jìn)行距離變換使重心位置的計(jì)算更加簡(jiǎn)便快速，能夠滿足果實(shí)采摘的實(shí)時(shí)性要求，按如下步驟進(jìn)行：

步驟801：計(jì)算四邊形區(qū)域內(nèi)每個(gè)像素點(diǎn)與距離其最近的四邊形區(qū)域外背景區(qū)域內(nèi)的像素點(diǎn)的城市街區(qū)距離D_ε(p,q)，按如下公式：

D_ε(p,q)＝|x-s|+|y-t|，其中，p代表目標(biāo)區(qū)域中的像素點(diǎn)，其坐標(biāo)為(x,y)；q代表背景區(qū)域中的像素點(diǎn)，其坐標(biāo)為(s,t)；

步驟802：將步驟601中計(jì)算出的城市街區(qū)距離D_ε(p,q)的值作為灰度值賦值給四邊形區(qū)域內(nèi)對(duì)應(yīng)像素點(diǎn)，從而生成四邊形灰度區(qū)域；

步驟803：選取四邊形灰度區(qū)域中灰度值最大的像素點(diǎn)，作為重心。

進(jìn)一步的，步驟803中，如果同時(shí)存在若干個(gè)灰度值并列最大的像素點(diǎn)，所述像素點(diǎn)形成一個(gè)局部中心區(qū)域，則選取該局部中心區(qū)域的中心作為重心。

實(shí)施例2

本實(shí)施例用于蘋果采摘，與實(shí)施例1所不同的是：

步驟3中最小外接仿射矩形的長(zhǎng)和寬分別縮減到原始長(zhǎng)度的75％，得到目標(biāo)矩形。

步驟202中的分割閾值為[210,255]；

步驟203：按照如下公式遍歷H分量圖中每一個(gè)像素，對(duì)H分量圖進(jìn)行二值化：

其中,T為二值化后的H分量圖中第i個(gè)像素的灰度值。

本實(shí)施例的最終效果圖如圖9所示，完成了兩個(gè)重疊果實(shí)的分割和定位。

實(shí)施例3

本實(shí)施例用于柑橘采摘，與實(shí)施例1所不同的是：

本實(shí)施例中，步驟1中的原始圖像I_o為RGB圖像，所述二值圖像I_S按照如下步驟生成：

步驟501：遍歷原始圖像I_o計(jì)算其每個(gè)像素的色差值，其中，第i個(gè)像素的色差值C，按如下公式：C＝2.0R-G-B，其中，R、G和B分別表示該像素在紅色通道、綠色通道和藍(lán)色通道下的灰度值；

步驟502：按照如下公式遍歷原始圖像I_o中每一個(gè)像素，對(duì)原始圖像I_o進(jìn)行二值化：

其中,T為二值化后的原始圖像I_o中第i個(gè)像素的灰度值；

步驟503：對(duì)二值化后的原始圖像I_o進(jìn)行形態(tài)學(xué)濾波，以消除圖像中存在的噪點(diǎn)、孔洞和毛刺，從而得到二值圖像I_S。

步驟3中最小外接仿射矩形的長(zhǎng)和寬分別縮減到原始長(zhǎng)度的85％，得到目標(biāo)矩形。

本實(shí)施例的最終效果圖如圖10所示，完成了兩個(gè)重疊果實(shí)的分割和定位。

最后說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。