本發(fā)明涉及工業(yè)機(jī)器人工件抓取方法，具體涉及一種基于視覺(jué)定位的工業(yè)機(jī)器人工件抓取實(shí)現(xiàn)方法。

背景技術(shù)：

工業(yè)機(jī)器人對(duì)工件的定位和抓取，決定了工業(yè)機(jī)器人的應(yīng)用效率和可靠性，目前主要有在線示教、離線編程和基于視覺(jué)技術(shù)等三種方法。應(yīng)用在線示教和離線編程方法進(jìn)行工件定位，需要設(shè)計(jì)、制造、安裝高精度的工件定位裝置，尤其對(duì)于輪廓復(fù)雜的工件定位，定位裝置設(shè)計(jì)復(fù)雜，既降低了定位抓取效率，又增加了應(yīng)用成本。同時(shí)，當(dāng)工件品種型號(hào)變化時(shí)，需要重新設(shè)計(jì)制造定位裝置，限制了生產(chǎn)轉(zhuǎn)型周期?；谝曈X(jué)技術(shù)對(duì)工件在線識(shí)別與定位，利用視覺(jué)檢測(cè)和圖像處理的方法，不需要安裝高精度的工件定位裝置，即可快速、準(zhǔn)確地獲得工件位置信息，實(shí)現(xiàn)機(jī)器人對(duì)工件的定位和抓取，具有很好的實(shí)際應(yīng)用價(jià)值。

圖像處理是基于視覺(jué)識(shí)別與定位的關(guān)鍵環(huán)節(jié)，主要包括圖像預(yù)處理、輪廓檢測(cè)、獲取位置矢量等步驟?，F(xiàn)有的輪廓檢測(cè)方法，常會(huì)得到孤立的、小段連續(xù)的非目標(biāo)輪廓，干擾工件輪廓的正確檢測(cè)，降低了檢測(cè)效率和正確性；同時(shí)，采用傳統(tǒng)的主軸法獲取的工件位置矢量，由于沒(méi)有考慮工件夾持方向，給機(jī)器人夾持帶來(lái)不便甚至不能夾持。

在實(shí)現(xiàn)方法上，傳統(tǒng)方法是將工件的圖像檢測(cè)和處理建立在一個(gè)專用的裝置中，計(jì)算得到工件位置矢量數(shù)據(jù)后，再通過(guò)網(wǎng)口傳入機(jī)器人控制系統(tǒng)中。該種實(shí)現(xiàn)方法不利于機(jī)器人控制系統(tǒng)模塊集成，位置矢量數(shù)據(jù)的傳輸實(shí)時(shí)性和可靠性也差。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中工業(yè)機(jī)器人定位抓取工件方法存在的效率低、準(zhǔn)確性差以及不利于機(jī)器人控制系統(tǒng)集成及可靠性差等不足，本發(fā)明要解決的技術(shù)問(wèn)題是 提供一種基于視覺(jué)定位的工業(yè)機(jī)器人工件抓取實(shí)現(xiàn)方法。

本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：一種基于視覺(jué)定位的工業(yè)機(jī)器人工件抓取實(shí)現(xiàn)方法，包括以下步驟：

通過(guò)固定的全局ccd攝像頭，進(jìn)行工件圖像采集，并通過(guò)以太網(wǎng)接口，將工件圖像信息傳入機(jī)器人控制系統(tǒng)中；

機(jī)器人控制系統(tǒng)對(duì)工件圖像進(jìn)行處理，獲得工件位置矢量信息；

機(jī)器人根據(jù)工件位置矢量信息，進(jìn)行笛卡爾與關(guān)節(jié)坐標(biāo)變換，實(shí)現(xiàn)末端手爪對(duì)工件進(jìn)行定位夾取。

所述機(jī)器人控制系統(tǒng)對(duì)工件圖像進(jìn)行處理，獲得工件位置矢量信息，包括以下步驟：

對(duì)工件圖像進(jìn)行預(yù)處理；

基于canny算子對(duì)工件圖像進(jìn)行輪廓檢測(cè)；

根據(jù)得到的工件連續(xù)輪廓，計(jì)算工件最小外接矩形，確定工件質(zhì)心；

根據(jù)工件質(zhì)心和主軸，對(duì)工件長(zhǎng)邊進(jìn)行判斷，并計(jì)算長(zhǎng)邊與水平軸的夾角；

所述工件質(zhì)心和夾角構(gòu)成工件位置矢量信息(x,y,γ)。

所述對(duì)工件圖像進(jìn)行預(yù)處理，包括以下步驟：

采用加權(quán)平均值法對(duì)工件彩色圖像進(jìn)行灰度處理；

采用雙邊濾波方法對(duì)灰度值進(jìn)行圖像濾波；

將圖像灰度進(jìn)行二值化處理。

所述加權(quán)平均值法，具體為：

通過(guò)下式將rgb賦予不同的權(quán)值，

gary＝wr×r+wg×g+wb×b

其中，gary為灰度化后的灰度值，wr為紅色通道的權(quán)值，r代表紅色，wg為綠色通道的權(quán)值，g代表綠色，wb為藍(lán)色通道的權(quán)值，b代表藍(lán)色。

所述雙邊濾波通過(guò)下式進(jìn)行濾波：

hx(x)＝k^-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

其中，hx(x)為濾波后像素點(diǎn)的灰度值，f(ξ)為灰度值函數(shù)，c(ξ-x)為中心點(diǎn)與其鄰域內(nèi)點(diǎn)的空間相似度，s(f(ξ)-f(x))為中心點(diǎn)與其鄰域內(nèi)點(diǎn)的灰度相似度，ξ為中心點(diǎn)，k為歸一化系數(shù)，其表達(dá)式如下，

k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ

其中，k(x)是k的表達(dá)式。

所述基于canny算子對(duì)工件圖像進(jìn)行輪廓檢測(cè)，包括以下步驟：

通過(guò)高斯濾波器平滑圖像，并對(duì)圖像進(jìn)行微分操作，計(jì)算得到圖像梯度的方向和幅度；

在圖像梯度方向上搜索圖像中可能的邊緣點(diǎn)，并剔除噪聲邊緣點(diǎn)；

再對(duì)檢測(cè)得到的所有圖像輪廓進(jìn)行過(guò)濾，剔除非目標(biāo)輪廓；

通過(guò)計(jì)算圖像中檢測(cè)得到的邊緣輪廓的面積和周長(zhǎng)，篩選輪廓區(qū)域，刪除孤立的、相對(duì)較小的連續(xù)的邊緣，得到連續(xù)的工件輪廓。

所述通過(guò)高斯濾波器平滑圖像，并對(duì)圖像進(jìn)行微分操作，具體為：

其中，g(x,y)為二維高斯函數(shù)，σ為高斯函數(shù)的標(biāo)準(zhǔn)偏差，決定了高斯函數(shù)的寬度，(x，y)為像素的坐標(biāo)點(diǎn)；

某一方向n上，g(x，y)的一階方向?qū)?shù)為：

其中，n是方向矢量，▽g是梯度矢量，圖像f(x,y)與gn作卷積，同時(shí)改變n的方向，取gn*f(x,y)最大時(shí)的n就正交與檢測(cè)邊緣的方向。

所述在圖像梯度方向上搜索圖像中可能的邊緣點(diǎn)，通過(guò)“非極大抑制”方法搜索，如以下公式：

根據(jù)每點(diǎn)梯度方向上該點(diǎn)強(qiáng)度是否為其鄰域的最大值，判斷該點(diǎn)是否為邊 緣點(diǎn)。

所述剔除噪聲邊緣點(diǎn)采用雙門限檢測(cè)方法，具體為：

首先設(shè)置高低閾值和某像素點(diǎn)幅值，并做以下判斷：

a)如果高于高閾值，則像素點(diǎn)保留為邊緣像素；

b)如果低于低閾值，則排除該像素；

對(duì)于介于高低閾值之間的像素，僅在連接到高于高閾值像素點(diǎn)時(shí)被保留。

所述根據(jù)得到的工件連續(xù)輪廓，計(jì)算工件最小外接矩形，確定工件質(zhì)心，包括以下步驟：

依次掃描圖像中每列中目標(biāo)的起始坐標(biāo)(xi1,yi1)和終點(diǎn)坐標(biāo)(xi2,yi2)，從而計(jì)算出該列內(nèi)的目標(biāo)重心(xi,yi)；

將目標(biāo)的各列重心坐標(biāo)(xi,yi)擬合成表示初始位置的水平主軸直線方程；

同理依次掃描各行，擬合出表示初始位置的垂直主軸直線方程；

將兩直線聯(lián)立得到的交點(diǎn)坐標(biāo)作為旋轉(zhuǎn)中心(x0,y0)；

保持水平主軸方向不變，向下平移至目標(biāo)最下方點(diǎn)的位置，向上同理，以此確定初始外接矩形的上下邊界；同理，找到初始外接矩形的左右邊界，聯(lián)立方程計(jì)算出水平和垂直方向兩條平行線間的距離a和b，計(jì)算出其面積；

根據(jù)水平主軸和垂直主軸的斜率k1、k2算出對(duì)應(yīng)角度β1、β2，進(jìn)而得到主軸旋轉(zhuǎn)區(qū)間β；

以工件輪廓形心為坐標(biāo)原點(diǎn)，保持工件位置不變，以主軸為x'軸，以角度區(qū)間δα旋轉(zhuǎn)x軸至β角，如以下公式進(jìn)行坐標(biāo)變換，使主軸斜率保持一致；

x'＝p+cosα×x+sinα×y

y'＝q+sinα×x+cosα×y

求解出最小外接矩形的長(zhǎng)和寬，并求出最小的面積，之后得到外接矩形在原坐標(biāo)系下四個(gè)坐標(biāo)點(diǎn)p0、p1、p2、p3，類比質(zhì)心法，由以下公式可求得工件質(zhì)心center(x,y)：

其中，n表示坐標(biāo)點(diǎn)的個(gè)數(shù)，pix表示第i個(gè)坐標(biāo)點(diǎn)x軸的值，pi,y表示第i個(gè)坐標(biāo)點(diǎn)y軸的值。

所述該列內(nèi)的目標(biāo)重心通過(guò)下式計(jì)算：

所述根據(jù)工件質(zhì)心和主軸，對(duì)工件長(zhǎng)邊進(jìn)行判斷，并計(jì)算長(zhǎng)邊與水平軸的夾角，得到便于機(jī)器人抓取的工件位置矢量信息，具體為：

計(jì)算矩形一邊與x軸的夾角：

θ＝tan^-1|k1|+α

其中，k1為表示初始位置的水平主軸直線的斜率，α為沿主軸旋轉(zhuǎn)過(guò)程中工件的旋轉(zhuǎn)角度；

判斷該夾角是否是長(zhǎng)邊與水平軸的夾角，如果是，則工件抓取角度為：

γ＝θ

如果不是，則根據(jù)判斷結(jié)果把角度統(tǒng)一轉(zhuǎn)換為水平軸與長(zhǎng)邊的夾角，即工件抓取角度為：

本發(fā)明具有以下優(yōu)點(diǎn)及有益效果：

1.本發(fā)明在對(duì)工件圖像進(jìn)行輪廓檢測(cè)時(shí)，對(duì)已檢測(cè)得到的所有圖像進(jìn)行輪廓區(qū)域篩選，刪除孤立的、小段連續(xù)的邊緣，剔除非目標(biāo)輪廓，提高目標(biāo)輪廓辨識(shí)精度；

2.在計(jì)算工件位置信息時(shí)，對(duì)工件長(zhǎng)邊進(jìn)行判斷，控制機(jī)器人抓取工件長(zhǎng)邊，避免機(jī)器人夾取短邊可能導(dǎo)致的無(wú)法抓取，提高抓取效率。

附圖說(shuō)明

圖1為實(shí)現(xiàn)本方法流程圖；

圖2為本發(fā)明方法中工件位置矢量數(shù)據(jù)算法流程圖；

圖3為本發(fā)明方法中工件位置矢量數(shù)據(jù)描述圖。

具體實(shí)施方式

下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說(shuō)明。

如圖1所示，本發(fā)明基于視覺(jué)定位的工業(yè)機(jī)器人工件抓取實(shí)現(xiàn)方法包括以下步驟：

1、通過(guò)固定的全局ccd攝像頭，進(jìn)行工件圖像采集，并通過(guò)以太網(wǎng)接口，將工件圖像信息傳入機(jī)器人控制系統(tǒng)中。

2、機(jī)器人控制系統(tǒng)對(duì)工件圖像進(jìn)行處理，獲得工件位置矢量信息。

3、機(jī)器人根據(jù)工件位置矢量信息，進(jìn)行笛卡爾與關(guān)節(jié)坐標(biāo)變換，實(shí)現(xiàn)末端手爪對(duì)工件進(jìn)行定位夾取。

如圖2所示，工件圖像處理與工件位置矢量計(jì)算過(guò)程如下：

1、對(duì)工件圖像進(jìn)行預(yù)處理。首先，采用加權(quán)平均值法對(duì)工件彩色圖像進(jìn)行灰度處理，避免最大值法和平均值法灰度處理后圖像失真的問(wèn)題，不僅保留了圖像原有的信息，而且處理后的灰度圖像邊緣亮度噪聲少，平滑效果好。在加權(quán)平均值算法中，如以下公式，rgb賦予不同的權(quán)值。

gary＝wr×r+wg×g+wb×b

然后，采用雙邊濾波方法對(duì)灰度值進(jìn)行圖像濾波，為下一步獲得工件清晰輪廓做準(zhǔn)備。在雙邊濾波計(jì)算中，如以下公式，

hx(x)＝k^-1∫∫f(ξ)c(ξ-x)s(f(ξ)-f(x))dξ

其中，k為歸一化系數(shù)，其表達(dá)式如以下公式，

k(x)＝∫∫c(ξ-x)s(f(ξ)-f(x))dξ

式中h和x分別為濾波后和濾波前對(duì)應(yīng)點(diǎn)的灰度值，c表示中心點(diǎn)與其鄰域內(nèi)點(diǎn)的空間相似度，s表示中心點(diǎn)與其鄰域內(nèi)點(diǎn)的灰度相似度。

再應(yīng)用固定值二值化方法將圖像灰度二值化，減少數(shù)據(jù)存儲(chǔ)量。

2、采用基于canny算子方法對(duì)工件圖像進(jìn)行輪廓檢測(cè)。首先，通過(guò)高斯濾波器平滑圖像，并對(duì)圖像進(jìn)行微分操作，計(jì)算得到圖像梯度的方向和幅度。其 中，高斯濾波和圖像微分計(jì)算如以下公式，

某一方向n上g(x，y)的一階方向?qū)?shù)為

其中n是方向矢量，▽g是梯度矢量，圖像f(x，y)與gn作卷積，同時(shí)改變n的方向，取最大時(shí)的n就正交與檢測(cè)邊緣的方向。

然后，通過(guò)“非極大抑制”方法在圖像梯度方向上搜索圖像中可能的邊緣點(diǎn)，并采用雙門限檢測(cè)方法剔除噪聲邊緣點(diǎn)。其中，“非極大抑制”,如以下公式，

根據(jù)每點(diǎn)梯度方向上該點(diǎn)強(qiáng)度是否為其鄰域的最大值，判斷該點(diǎn)是否為邊緣點(diǎn)。

雙門限檢測(cè)計(jì)算需要設(shè)置高低閾值和某像素點(diǎn)幅值，并做以下判斷：

c)如果高于高閾值：像素點(diǎn)保留為邊緣像素；

d)如果低于低閾值:排除該像素；

e)如果介于高低閾值之間的像素，僅在連接到高于高閾值像素點(diǎn)時(shí)被保留。

再對(duì)檢測(cè)得到的所有圖像輪廓進(jìn)行過(guò)濾，剔除非目標(biāo)輪廓。通過(guò)計(jì)算圖像中檢測(cè)得到的邊緣輪廓的面積和周長(zhǎng)，篩選輪廓區(qū)域，刪除孤立的、小段連續(xù)的邊緣，得到連續(xù)的工件輪廓。

3、根據(jù)得到的工件連續(xù)輪廓，采用主軸法計(jì)算工件最小外接矩形，確定工 件質(zhì)心。依次掃描圖像中每列中目標(biāo)的起始坐標(biāo)(xi1,yi1)和終點(diǎn)坐標(biāo)(xi2,yi2)，從而計(jì)算出該列內(nèi)的目標(biāo)重心，如以下公式

再將目標(biāo)的各列重心坐標(biāo)(xi，yi)擬合成表示初始位置的水平主軸直線方程，如以下公式

y＝k1x+b1

同理依次掃描各行，擬合出初始垂直主軸直線方程，如以下公式，

y＝k2x+b2

將兩直線聯(lián)立得到的交點(diǎn)坐標(biāo)作為旋轉(zhuǎn)中心(x0，y0)。

保持水平主軸方向不變向下平移至目標(biāo)最下方點(diǎn)的位置，向上同理，以此確定初始外接矩形上下邊界；根據(jù)水平主軸的斜率k1確定其垂線斜率k1′＝-k1，過(guò)旋轉(zhuǎn)中心(x0，y0)的垂線，如以下公式

y＝k1′x+b1′

應(yīng)用同樣的算法找到初始外接矩形的左右邊界，聯(lián)立方程計(jì)算出水平和垂直方向兩條平行線間的距離a和b，計(jì)算出其面積。

根據(jù)水平主軸和垂直主軸的斜率k1、k2算出對(duì)應(yīng)角度β1、β2，主軸旋轉(zhuǎn)區(qū)間，如以下公式

β＝β1-β2

以工件輪廓形心為坐標(biāo)原點(diǎn)，保持工件位置不變，以主軸為x'軸，以一定角度區(qū)間δα旋轉(zhuǎn)x軸至β角，如以下公式進(jìn)行坐標(biāo)變換，可使主軸斜率保持一致

x′＝p+cosα×x+sinα×y

y′＝q+sinα×x+cosα×y

旋轉(zhuǎn)過(guò)程中在利用上述過(guò)程求解出最小外接矩形的長(zhǎng)和寬，并求出最小的面積，之后得到外接矩形在原坐標(biāo)系下四個(gè)坐標(biāo)點(diǎn)p0、p1、p2、p3，類比質(zhì)心法，由公式(8)、(9)可求得center(x，y)：

其中n表示坐標(biāo)點(diǎn)的個(gè)數(shù)，pi，x表示第i個(gè)坐標(biāo)點(diǎn)x軸的值，pi，y表示第i個(gè)坐標(biāo)點(diǎn)y軸的值。

4、根據(jù)工件質(zhì)心和主軸，對(duì)工件長(zhǎng)邊進(jìn)行判斷，并計(jì)算長(zhǎng)邊與水平軸的夾角，得到便于機(jī)器人抓取的工件位置矢量信息。如圖3所示，在沿主軸旋轉(zhuǎn)的過(guò)程中，可以得到旋轉(zhuǎn)角α。此時(shí)矩形一邊與x軸的夾角，如以下公式

θ＝tan^-1|k1|+α

在初次得到角度數(shù)據(jù)后，判斷是否是長(zhǎng)邊與水平軸的夾角，即判斷a和b的大小。如果是與長(zhǎng)邊的夾角，則工件抓取角度γ為

γ＝θ

如果不是與長(zhǎng)邊的夾角，根據(jù)判斷結(jié)果把角度統(tǒng)一轉(zhuǎn)換為水平軸與長(zhǎng)邊的夾角，即夾角γ，如以下公式

通過(guò)以上步驟計(jì)算得到工件質(zhì)心和夾角，構(gòu)成工件數(shù)據(jù)信息(x，y，γ)，即機(jī)器人末端手爪在笛卡爾坐標(biāo)下的定位位置與姿態(tài)，經(jīng)過(guò)笛卡爾和關(guān)節(jié)坐標(biāo)變換，機(jī)器人控制末端手爪實(shí)心對(duì)工件的定位夾取。