蘋果采摘機(jī)器人的夜間識(shí)別方法
【專利摘要】本發(fā)明提供了一種蘋果采摘機(jī)器人的夜間識(shí)別方法，在人工光源照明的條件下，進(jìn)行圖像采集；采用R-G色差分割法進(jìn)行基于顏色的分割圖像，并用最大類間方差法二值化，采用濾除較小的連通區(qū)的方法濾除S2所得圖像中的噪聲；然后，定位圖像中蘋果的大致位置，再在原始圖像中提取出蘋果所在區(qū)域，提取出蘋果表面的高亮反光區(qū)；最后將高亮反光區(qū)與S3的結(jié)果圖像相加融合得到最終結(jié)果。本發(fā)明解決了蘋果采摘機(jī)器人夜間識(shí)別中光源的選擇和布置問(wèn)題以及夜間圖像中陰影和反光的問(wèn)題，使蘋果采摘機(jī)器人在夜間也能正常工作。
【專利說(shuō)明】蘋果采摘機(jī)器人的夜間識(shí)別方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及果樹采摘機(jī)器人圖像識(shí)別領(lǐng)域，尤其是蘋果采摘機(jī)器人的夜間識(shí)別方法。

【背景技術(shù)】
[0002]我國(guó)是一個(gè)蘋果生產(chǎn)大國(guó)，用于水果采摘的勞動(dòng)力占整個(gè)蘋果生產(chǎn)過(guò)程所用勞動(dòng)力的1/3以上。使用蘋果采摘機(jī)器人進(jìn)行采摘不僅可以降低人工成本，還可以減少損傷率，提高采摘效率。為了在蘋果成熟期內(nèi)，盡快完成密集的采摘工作，水果采摘機(jī)器人不僅需要在白天能正常工作還需要具有夜間工作的能力。但是夜間光照不足，采摘機(jī)器人的視覺(jué)系統(tǒng)難以獲得清晰的圖像，使機(jī)器人無(wú)法正常工作。
[0003]1997年，孫明等通過(guò)對(duì)蘋果果實(shí)、葉、枝等的色澤信號(hào)的直方圖分析，利用色差信號(hào)(G-Y)和(R-B)分別對(duì)紅色果實(shí)和黃綠果實(shí)的圖像進(jìn)行分割處理。2001年，南京農(nóng)業(yè)大學(xué)的張瑞合等研究了自然光條件下西紅柿的識(shí)別和定位問(wèn)題。2002年，Bulanon D.Μ.等根據(jù)富士蘋果在顏色與背景有較大的差異，利用照度和顏色模型對(duì)富士蘋果進(jìn)行檢測(cè)，并用最佳閾值進(jìn)行分割。2003年，中國(guó)農(nóng)業(yè)大學(xué)的張鐵中等根據(jù)大部分水果成熟時(shí)，其表面顏色會(huì)發(fā)生明顯變化，并且和自然背景存在較大的差異的特點(diǎn)，提出了一種基于色彩空間參照表的圖像分割算法，用于提取復(fù)雜背景下的目標(biāo)果實(shí)。然而這些方法大都是基于白天自然光下的圖像識(shí)別，對(duì)于夜間人工光源下的圖像識(shí)別少有涉及。


【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)中存在不足，本發(fā)明提供了一種蘋果采摘機(jī)器人的夜間識(shí)別方法，解決了蘋果采摘機(jī)器人夜間識(shí)別中光源的選擇和布置問(wèn)題以及夜間圖像中陰影和反光的問(wèn)題，使蘋果采摘機(jī)器人在夜間也能正常工作。
[0005]本發(fā)明是通過(guò)以下技術(shù)手段實(shí)現(xiàn)上述技術(shù)目的的。
[0006]蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于，包含以下步驟:
[0007]S1:在人工光源照明的條件下，進(jìn)行圖像采集；
[0008]S2:采用R-G色差分割法進(jìn)行基于顏色的分割圖像，并用最大類間方差法二值化；
[0009]S3:采用濾除較小的連通區(qū)的方法濾除S2所得圖像中的噪聲；
[0010]S4:定位圖像中蘋果的大致位置，再在原始圖像中提取出蘋果所在區(qū)域；
[0011]S5:提取出蘋果表面的高亮反光區(qū)；
[0012]S6:最后將高亮反光區(qū)與S3的結(jié)果圖像相加融合得到最終結(jié)果。
[0013]進(jìn)一步地，所述S1中照明用的人工光源為顯色性100的白熾燈。
[0014]進(jìn)一步地，所述白熾燈為兩盞、且間隔lm布置。
[0015]進(jìn)一步地，所述S3的具體步驟如下:
[0016]a.按照8連通標(biāo)準(zhǔn)劃分連通區(qū)，對(duì)每個(gè)連通區(qū)進(jìn)行編號(hào)并且計(jì)算各個(gè)連通區(qū)域的大小即像素?cái)?shù)；
[0017]b.找出最大的連通區(qū)；
[0018]c.將面積小于最大連通區(qū)0.1倍的連通區(qū)刪除，即將小連通區(qū)的像素值置0。
[0019]進(jìn)一步地，所述S4具體步驟如下:
[0020]a.求出S3的結(jié)果圖像中各個(gè)連通區(qū)內(nèi)像素點(diǎn)的坐標(biāo)平均值并將其作為連通區(qū)的中.* L.、ο ；
[0021]b.求出各個(gè)連通區(qū)各像素點(diǎn)橫坐標(biāo)與ο點(diǎn)橫坐標(biāo)的最大差值和縱坐標(biāo)與ο點(diǎn)縱坐標(biāo)的最大差值，取兩者中最大的記為r ;
[0022]c.在S1中采集的圖像里以ο為中心，2r為邊長(zhǎng)畫一個(gè)正方形并將正方形外的區(qū)域的像素的RGB分量都置為0。
[0023]進(jìn)一步地，所述S5的方法是根據(jù)S4結(jié)果圖像中每個(gè)像素點(diǎn)的RGB分量大小進(jìn)行分類，保留RGB分量分別處于230?255，220?255和210?255范圍內(nèi)的像素點(diǎn)并將這些像素點(diǎn)的RGB分量大小都置為255，其余像素點(diǎn)RGB分量大小都置為0。
[0024]本發(fā)明的有益效果是:白熾燈良好的顯色性減少了采集到圖像的色彩偏差。同時(shí)采用兩盞燈在不同位置進(jìn)行照明，減少了陰影的影響，對(duì)高亮反光區(qū)的提取屏蔽了反光造成的色彩丟失，使識(shí)別出的果實(shí)更完整接近白天自然光下的識(shí)別效果，讓采摘機(jī)器人在夜間也能正常工作。

【專利附圖】

【附圖說(shuō)明】
[0025]圖1為夜間單個(gè)白熾燈照明下的圖像；
[0026]圖2為夜間兩個(gè)白熾燈照明下的圖像；
[0027]圖3為圖2采用R-G色差分割后并通過(guò)最大類間方差法二值化后的圖像；
[0028]圖4為圖3濾除較小連通區(qū)域后的圖像；
[0029]圖5為通過(guò)圖4確定蘋果大致位置后在圖2中提取出蘋果所在區(qū)域的結(jié)果圖像；
[0030]圖6為在圖4中提取出高亮反光區(qū)的結(jié)果圖像；
[0031]圖7為圖4和圖6相加融合后的圖像。

【具體實(shí)施方式】
[0032]下面結(jié)合附圖以及具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說(shuō)明，但本發(fā)明的保護(hù)范圍并不限于此。
[0033]本發(fā)明的具體步驟為:
[0034]1.圖像的采集
[0035]本發(fā)明采用彩色CCD攝像頭采集圖像，但是夜間照度低在無(wú)人工光源照明的情況下采集的圖像難以識(shí)別。因此采用人工光源進(jìn)行照明，輔助攝像頭進(jìn)行圖像采集。相比于其他光源，白熾燈具有良好的顯色性能夠保證拍攝的圖像不會(huì)產(chǎn)生色彩上的偏差更接近于真實(shí)環(huán)境并且圖像色彩飽和度更佳，更有利于后續(xù)的圖像分割和識(shí)別。
[0036]當(dāng)單獨(dú)使用一盞白熾燈進(jìn)行照明時(shí)，采集的圖像如圖1所示，由于枝葉或者蘋果自身的遮擋在圖像部分區(qū)域產(chǎn)生陰影，嚴(yán)重影響圖像的識(shí)別。采用兩盞燈相距l(xiāng)m布置的方法進(jìn)行照明，采集的圖像如圖2所示，相比單點(diǎn)照明，兩點(diǎn)照明能夠明顯的減少陰影造成的影響。對(duì)比圖1和圖2可以看出，采用兩盞燈在不同方位照明能有效消除或削弱陰影的影響。
[0037]2.圖像的不完全識(shí)別
[0038]本發(fā)明采用一種基于色彩的識(shí)別方法即R-G色差分割法對(duì)圖像進(jìn)行分割，也就是用RGB彩色模型下的R分量減去G分量。夜間人工光源下采集的圖像背景簡(jiǎn)單存在大片暗區(qū)，并且白熾燈下圖像的色彩飽和度較高，適合采用基于色彩的識(shí)別方法。此外基于色彩的識(shí)別方法算法簡(jiǎn)單，運(yùn)算速度快。
[0039]色差分割后的圖像是灰度圖像，為了方便后續(xù)的計(jì)算和處理需要將圖像二值化。本發(fā)明采用最大類間方差法對(duì)灰度圖進(jìn)行二值化后如圖3所示。最大類間方差法計(jì)算簡(jiǎn)單，是一種穩(wěn)定，常用的算法。
[0040]二值化后圖像中除了蘋果還有一些其他的噪聲。本發(fā)明通過(guò)濾除較小連通區(qū)的方法濾除噪聲，得如圖4所示的圖像，具體步驟如下:
[0041]a.按照8連通標(biāo)準(zhǔn)劃分連通區(qū)，對(duì)每個(gè)連通區(qū)進(jìn)行編號(hào)并且計(jì)算各個(gè)連通區(qū)域的大小即像素?cái)?shù)；
[0042]b.找出最大的連通區(qū)；
[0043]c.將面積小于最大連通區(qū)0.1倍的連通區(qū)刪除，即將小連通區(qū)的像素值置0。
[0044]相比于常用的腐蝕法，這種方法不僅能濾除噪聲，還能保持識(shí)別出的蘋果區(qū)域不受影響，從而避免對(duì)最終結(jié)果造成偏差。
[0045]夜間人工光源下采集的圖像，除了可能產(chǎn)生陰影還會(huì)受到反光的影響在蘋果表面產(chǎn)生高亮反光區(qū)，使部分區(qū)域色彩飽和度降低甚至全為白色。因此初步識(shí)別只能識(shí)別出蘋果表面色彩飽和度較高的部分，所以識(shí)別出的蘋果是殘缺不全的無(wú)法作為最終的識(shí)別數(shù)據(jù)指導(dǎo)機(jī)器人采摘。
[0046]3.提取高亮反光區(qū)
[0047]針對(duì)蘋果表面的高亮反光區(qū)飽和度低甚至全為白色的特點(diǎn)，本發(fā)明對(duì)高亮反光區(qū)進(jìn)行單獨(dú)提取。但是為了避免蘋果表面區(qū)域之外其他高亮反光區(qū)的影響，本發(fā)明通過(guò)除噪后的圖像中首先確定蘋果的大致區(qū)域，再對(duì)區(qū)域內(nèi)的高亮反光區(qū)進(jìn)行提取。
[0048]確定蘋果大致區(qū)域的方法步驟如下:
[0049]a.求出S3的結(jié)果圖像中各個(gè)連通區(qū)內(nèi)像素點(diǎn)的坐標(biāo)平均值并將其作為連通區(qū)的中.* L.、ο ；
[0050]b.求出各個(gè)連通區(qū)各像素點(diǎn)橫坐標(biāo)與ο點(diǎn)橫坐標(biāo)的最大差值和縱坐標(biāo)與ο點(diǎn)縱坐標(biāo)的最大差值，取兩者中最大的記為r ;
[0051]c.在S1中采集的圖像里以ο為中心，2r為邊長(zhǎng)畫一個(gè)正方形并將正方形外的區(qū)域的像素的RGB分量都置為0。
[0052]如圖5所示，這樣就將蘋果所在的大致區(qū)域從復(fù)雜的圖像中分離出來(lái)從而進(jìn)行更為精細(xì)的處理而不必考慮復(fù)雜背景的影響。
[0053]提取高亮反光區(qū):高亮反光區(qū)的色彩飽和度極低具體表現(xiàn)為RGB三個(gè)色彩分量的值都較高。經(jīng)實(shí)驗(yàn)對(duì)比將RGB分量分別在230?255，220?255，210?255范圍內(nèi)的像素點(diǎn)定為高亮反光區(qū)的像素點(diǎn)。高亮反光區(qū)的提取過(guò)程是將蘋果大致區(qū)域內(nèi)屬于高亮反光區(qū)像素點(diǎn)的值置1，其他點(diǎn)的像素值置0，如圖6所示。
[0054]4.圖像融合
[0055]圖像融合就是將不完全識(shí)別的結(jié)果和提取的高亮反光區(qū)相加得到完整的結(jié)果，如圖7所示。
[0056]所述實(shí)施例為本發(fā)明的優(yōu)選的實(shí)施方式，但本發(fā)明并不限于上述實(shí)施方式，在不背離本發(fā)明的實(shí)質(zhì)內(nèi)容的情況下，本領(lǐng)域技術(shù)人員能夠做出的任何顯而易見(jiàn)的改進(jìn)、替換或變型均屬于本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于，包括以下步驟: 51:在人工光源照明的條件下，進(jìn)行圖像采集； 52:采用R-G色差分割法進(jìn)行基于顏色的分割圖像，并用最大類間方差法二值化； 53:采用濾除較小的連通區(qū)的方法濾除S2所得圖像中的噪聲； 54:定位圖像中蘋果的大致位置，再在原始圖像中提取出蘋果所在區(qū)域； 55:提取出蘋果表面的高亮反光區(qū)； 56:最后將高亮反光區(qū)與S3的結(jié)果圖像相加融合得到最終結(jié)果。
2.如權(quán)利要求1所述的蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于:所述SI中照明用的人工光源為顯色性100的白熾燈。
3.如權(quán)利要求2所述的蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于:所述白熾燈為兩盞、且間隔Im布置。
4.如權(quán)利要求1所述的蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于:所述S3的具體步驟如下: a.按照8連通標(biāo)準(zhǔn)劃分連通區(qū)，對(duì)每個(gè)連通區(qū)進(jìn)行編號(hào)并且計(jì)算各個(gè)連通區(qū)域的大小即像素?cái)?shù)； b.找出最大的連通區(qū)； c.將面積小于最大連通區(qū)0.1倍的連通區(qū)刪除，即將小連通區(qū)的像素值置O。
5.如權(quán)利要求1所述的蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于:所述S4的具體步驟如下: a.求出S3的結(jié)果圖像中各個(gè)連通區(qū)內(nèi)像素點(diǎn)的坐標(biāo)平均值并將其作為連通區(qū)的中心； b.求出各個(gè)連通區(qū)各像素點(diǎn)橫坐標(biāo)與O點(diǎn)橫坐標(biāo)的最大差值和縱坐標(biāo)與O點(diǎn)縱坐標(biāo)的最大差值，取兩者中最大的記為r ; c.在SI中采集的圖像里以ο為中心，2r為邊長(zhǎng)畫一個(gè)正方形并將正方形外的區(qū)域的像素的RGB分量都置為O。
6.如權(quán)利要求1所述的蘋果采摘機(jī)器人的夜間識(shí)別方法，其特征在于:所述S5的方法是根據(jù)S4結(jié)果圖像中每個(gè)像素點(diǎn)的RGB分量大小進(jìn)行分類，保留RGB分量分別處于230?255，220?255和210?255范圍內(nèi)的像素點(diǎn)并將這些像素點(diǎn)的RGB分量大小都置為255，其余像素點(diǎn)RGB分量大小都置為O。
【文檔編號(hào)】G06K9/46GK104408407SQ201410617729
【公開日】2015年3月11日 申請(qǐng)日期:2014年11月5日 優(yōu)先權(quán)日:2014年11月5日
【發(fā)明者】趙德安, 劉曉洋, 陳玉, 賈偉寬 申請(qǐng)人:江蘇大學(xué)