本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種果園果實(shí)圖像獲取方法，尤其是自然環(huán)境下存在光照不均的果實(shí)圖像的獲取。

背景技術(shù)：

楊梅為中國傳統(tǒng)特產(chǎn)水果，果實(shí)味酸甜適中，可直接食用，同時(shí)具有止渴、生津、助消化等功能，具有很高的藥用和食用價(jià)值。而楊梅果樹高大、掛果密集，果實(shí)成熟期較短，且受梅雨高溫天氣影響，極易腐爛變質(zhì)或脫落，降低其商品價(jià)值，果農(nóng)損失較為嚴(yán)重。因此果實(shí)適時(shí)采收、降低采摘成本尤為重要。楊梅采摘機(jī)器人可以節(jié)約勞動(dòng)力，實(shí)現(xiàn)快速采摘，提高楊梅采摘質(zhì)量，從而提升經(jīng)濟(jì)效益，增加果農(nóng)收入。

隨著現(xiàn)代農(nóng)業(yè)的發(fā)展，基于機(jī)器視覺的采摘機(jī)器人成為國內(nèi)外農(nóng)業(yè)工程領(lǐng)域的研究熱點(diǎn)。而對果實(shí)圖像的獲取是采摘機(jī)器人后續(xù)目標(biāo)識(shí)別定位、采摘的首要任務(wù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是：提供一種果園果實(shí)圖像獲取方法，使得果實(shí)采摘機(jī)器人在圖像處理階段能夠?qū)崿F(xiàn)對果實(shí)圖像的精確獲取，進(jìn)一步可完成識(shí)別定位，推動(dòng)果實(shí)采摘機(jī)器人的實(shí)用化進(jìn)程。實(shí)現(xiàn)本發(fā)明的技術(shù)方案包括如下步驟：

(1)圖像采集步驟：基于視覺傳感器實(shí)時(shí)采集果實(shí)圖像。

(2)圖像增強(qiáng)步驟：該步驟采用的是同態(tài)濾波圖像增強(qiáng)算法，對光照不均的圖像進(jìn)行光線補(bǔ)償，使整體像素分布更趨于合理，在增強(qiáng)圖像對比度的同時(shí)，增強(qiáng)圖像暗處細(xì)節(jié)，從而使圖像中果實(shí)更為顯著清晰。

(3)顯著性目標(biāo)檢測步驟：首先，采用SLIC超像素分割算法，將果實(shí)圖像分割為形狀規(guī)則，大小一致且視覺均勻的超像素，以降低圖像處理對象的數(shù)量，提高后續(xù)處理的效率；構(gòu)建以超像素為節(jié)點(diǎn)的無向圖模型，以縮短相似超像素之間的測地距離，提高后續(xù)顯著性檢測的準(zhǔn)確度；然后將構(gòu)建的閉環(huán)圖模型模擬成圖像數(shù)據(jù)集內(nèi)在的流形結(jié)構(gòu)；接著，在第一級(jí)顯著目標(biāo)檢測模型中，先將四個(gè)邊界的每個(gè)邊界單獨(dú)作為查詢節(jié)點(diǎn)通過流形排序算法進(jìn)行排序，獲得四個(gè)不同的顯著性檢測結(jié)果，采用乘法的合并策略將這四個(gè)顯著圖進(jìn)行合并，得出第一級(jí)檢測的顯著性目標(biāo)；最后，在第二級(jí)顯著目標(biāo)檢測模型中，選取顯著圖的均值作為自適應(yīng)閾值，對第一級(jí)的顯著圖進(jìn)行二值分割，將大于閾值的節(jié)點(diǎn)標(biāo)記為目標(biāo)查詢節(jié)點(diǎn)，并相應(yīng)構(gòu)建一個(gè)標(biāo)簽向量y，再用流形排序的算法獲得排序向量f^*，將歸一化的排序值定義為超像素節(jié)點(diǎn)的顯著值，獲得第二級(jí)顯著圖。

(4)果實(shí)圖像獲取步驟：該步驟是對得到的第二級(jí)顯著圖通過Otsu方法進(jìn)行自適應(yīng)閾值分割，獲得二值黑白圖像，再與原始圖像疊加，從而將果實(shí)從背景中分割出來。

本發(fā)明的有益效果：

(1)對于果實(shí)采摘機(jī)器人來說，該發(fā)明方法能夠?qū)崿F(xiàn)楊梅果實(shí)圖像的分割，獲取完整果實(shí)區(qū)域，對推動(dòng)果實(shí)采摘機(jī)器人的實(shí)用化起到重要作用。

(2)在果實(shí)圖像獲取步驟前進(jìn)行了楊梅果實(shí)顯著性目標(biāo)的檢測，能夠不需要根據(jù)楊梅果實(shí)的顏色或形狀特征等和背景的差異進(jìn)行分割，從而具有一定的通用性，可適用于其他和楊梅類似的野外生長果實(shí)。

(3)圖像增強(qiáng)步驟中圖像增強(qiáng)算法采用同態(tài)濾波算法，能夠補(bǔ)償光線，增強(qiáng)對比度的同時(shí)，暗處細(xì)節(jié)也得到了增強(qiáng)，使果實(shí)更為顯著清晰。

(4)顯著性目標(biāo)檢測步驟中將構(gòu)建成的閉環(huán)圖模型模擬成圖像數(shù)據(jù)集內(nèi)在的流形結(jié)構(gòu)，通過流形排序算法進(jìn)行查詢點(diǎn)顯著性值的賦值，獲得顯著性圖。

(5)顯著性目標(biāo)檢測步驟中采用了兩級(jí)顯著性目標(biāo)檢測模型，通過流形排序算法的二級(jí)排序，很好地抑制了背景中存在的一些奇異點(diǎn)。

(6)果實(shí)圖像獲取步驟中采用Otsu方法對得到的第二級(jí)顯著圖進(jìn)行自適應(yīng)閾值分割，再與原始圖像疊加，從而將果實(shí)從背景中分割出來。

附圖說明

圖1為果實(shí)圖像分割總流程；

圖2為同態(tài)濾波圖像增強(qiáng)流程；

圖3為顯著性目標(biāo)檢測流程；

圖4為楊梅果實(shí)獲取效果圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明的實(shí)施方式做進(jìn)一步的描述。本發(fā)明以楊梅為例進(jìn)行說明，但本發(fā)明同樣適用于同類其他果實(shí)。

如圖1所示，本發(fā)明提出的果園楊梅果實(shí)圖像獲取方法包括如下步驟：

(1)圖像采集步驟

圖像的采集基于視覺傳感器，用作后續(xù)提取目標(biāo)對象的區(qū)域信息，采集圖像如圖4(a)所示。

(2)圖像增強(qiáng)步驟

該步驟實(shí)施流程如圖2所示?？紤]到自然環(huán)境下存在光照不均的現(xiàn)象，會(huì)影響顯著性目標(biāo)的檢測，進(jìn)而影響圖像分割的效果，采用同態(tài)濾波的圖像增強(qiáng)算法進(jìn)行光線補(bǔ)償。該步驟采用的是同態(tài)濾波圖像增強(qiáng)算法，通過將采集圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，針對亮度V分量取對數(shù)后進(jìn)行快速傅里葉變換(FFT)，可得到頻域表達(dá)式，選擇動(dòng)態(tài)巴特沃斯同態(tài)濾波函數(shù)H(u,v)進(jìn)行頻域?yàn)V波，函數(shù)定義見公式(1)，再進(jìn)行快速逆傅里葉變換(IFFT)及指數(shù)變換，如此得到濾波增強(qiáng)后的圖像如圖4(b)。

$H(u,v)=\frac{\left(r_{H-}{r}_L\right)}{1+c{\left(\frac{D_0^n}{D{(u,v)}^m}\right)}^2}+r_L---\left(1\right)$

式(1)中r_L代表低頻增益，0<r_L<1；r_H代表高頻增益，r_H>1；常數(shù)c在r_L和r_H間過渡，用來控制濾波器函數(shù)斜面的陡度；m、n為動(dòng)態(tài)算子；D(u,v)為點(diǎn)(u,v)到Fourier變換中心的距離，見公式(2)：

$D(u,v)=\sqrt{{(u-\frac{M}{2})}^2+{(v-\frac{N}{2})}^2}---\left(2\right)$

式(2)中，M、N分別代表圖像的行數(shù)和列數(shù)。

(3)顯著性目標(biāo)檢測步驟

該步驟實(shí)施流程如圖3所示。對于楊梅采集圖像中提取步驟包括：

首先，利用SLIC超像素產(chǎn)生算法進(jìn)行超像素分割，其間，將像素映射到LABXY空間，表示為五維的特性向量[l,a,b,x,y]，其中，[l,a,b]為像素在CIElab顏色空間的顏色特征，[x,y]為像素的空間坐標(biāo)，通過定義兩個(gè)像素i,j之間的距離，見式(3)、(4)、(5),利用K-means均值聚類算法在局部的范圍內(nèi)對像素進(jìn)行聚類，得到形狀規(guī)則，大小一致且視覺均勻的超像素，如圖4(c)。

$D_s=d_c+\frac{m}{S}{d}_p---\left(3\right)$

$d_p=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}---\left(4\right)$

$d_c=\sqrt{{(l_i-l_j)}^2+{(a_i-a_j)}^2+{(b_i-b_j)}^2}---\left(5\right)$

式(3)中，m為[1,20]范圍內(nèi)的一個(gè)常數(shù)，用來控制超像素的緊湊程度，衡量顏色值與空間信息在相似度衡量中的比重，N為圖像總像素個(gè)數(shù)，K為要生成的超像素個(gè)數(shù)。

接著，構(gòu)建以超像素為節(jié)點(diǎn)的無向圖模型，在無向圖模型中不單純是兩者之間有共同邊界的節(jié)點(diǎn)之間相連，還包括與相鄰節(jié)點(diǎn)有共同邊界的節(jié)點(diǎn)之間相連，并將圖像的四個(gè)邊界相連，從而構(gòu)成一個(gè)閉環(huán)圖模型。

而后，將構(gòu)建成的閉環(huán)圖模型模擬成圖像數(shù)據(jù)集內(nèi)在的流形結(jié)構(gòu)，采用兩級(jí)顯著性目標(biāo)檢測模型進(jìn)行楊梅目標(biāo)的檢測。在第一級(jí)顯著目標(biāo)檢測模型中，先將四個(gè)邊界的每個(gè)邊界單獨(dú)作為查詢節(jié)點(diǎn)，通過流形排序算法的迭代方程進(jìn)行迭代，見式(6)，得到所有節(jié)點(diǎn)的排序向量f^*，見式(7)，將f^*歸一化到[0,1]范圍后的排序向量f^-*，通過式(8)來定義超像素節(jié)點(diǎn)i的顯著性S_b(i)，獲得為四個(gè)不同的顯著性目標(biāo)檢測結(jié)果，采用乘法的合并策略將這四個(gè)顯著圖進(jìn)行合并，得出第一級(jí)檢測的顯著性目標(biāo)，如圖4(d)。

f(t+1)＝αSf(t)+(1-α)y (6)

f^*＝(1-α)(D-αW)^-1y (7)

S_b(i)＝1-f^-*(i)i＝1,2,...,N (8)

其中：α表示為初始排序值和鄰域傳播對最終排序值的貢獻(xiàn)度，W＝[w_ij]_n×n表示為圖的相似度矩陣，對應(yīng)于邊E的權(quán)重，w_ij∈W，c_i和c_j分別代表超像素節(jié)點(diǎn)i和j在CIELab顏色空間的均值，σ_w代表控制權(quán)重的強(qiáng)度；D＝diag{d₁₁,...,d_nn}表示為圖的對角矩陣，d_ii＝∑_jw_ij；S＝D^-1/2WD^-1/2表示為圖的相似度矩陣的歸一化矩陣；f:X→Rⁿ表示為一個(gè)排序方程，也可看作為一個(gè)向量f＝[f₁,...,f_n]^T；y＝[y₁,...,y_n]^T表示一個(gè)標(biāo)簽向量，當(dāng)x_i為查詢節(jié)點(diǎn)時(shí)y_i＝1，反之y_i＝0，數(shù)據(jù)集X＝{x₁,...,x_l,x_l+1,...,x_n}∈R^n×n，對應(yīng)于無向圖模型G(V,E)，V代表圖中的節(jié)點(diǎn)，包括已標(biāo)記的查詢節(jié)點(diǎn)和需要進(jìn)行排序的未標(biāo)記節(jié)點(diǎn)，E代表圖中的無向邊。

在第二級(jí)顯著目標(biāo)檢測模型中，選取顯著圖的均值作為自適應(yīng)閾值，對第一級(jí)的顯著圖進(jìn)行二值分割，將大于閾值的節(jié)點(diǎn)標(biāo)記為目標(biāo)查詢節(jié)點(diǎn)，并相應(yīng)構(gòu)建一個(gè)標(biāo)簽向量y，再用流形排序的算法獲得排序向量f^*，將歸一化的排序值定義為超像素節(jié)點(diǎn)的顯著值，見式(9)，檢測出第二級(jí)顯著圖，以此獲得楊梅果實(shí)顯著性目標(biāo),如圖4(e)。

S_fq(i)＝f^-*(i)i＝1,2,...,N (9)

(4)果實(shí)圖像獲取步驟

該步驟是采用Otsu方法對得到的第二級(jí)顯著圖進(jìn)行自適應(yīng)閾值分割，得到二值黑白圖像，再與原始圖像疊加，從而將果實(shí)從背景中分割出來，如圖4(f)所示。

以上實(shí)施方式僅用于說明本發(fā)明的技術(shù)方案，而并非對本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化，因此所有等同的技術(shù)方案也屬于本發(fā)明保護(hù)的范疇。