本發(fā)明涉及物料自動(dòng)分揀領(lǐng)域，特別是一種機(jī)器人自動(dòng)分揀方法及系統(tǒng)。

背景技術(shù)：

傳統(tǒng)的工業(yè)機(jī)器人都是采用機(jī)械的方式進(jìn)行抓取和放置動(dòng)作，無法在一個(gè)工位上自動(dòng)地對(duì)物品進(jìn)行分類處理，而有些自帶視覺系統(tǒng)的工業(yè)機(jī)器人因集成的視覺功能簡(jiǎn)單，也無法做復(fù)雜的視覺檢測(cè)，因此需要對(duì)傳統(tǒng)的工業(yè)機(jī)器人的作業(yè)方式進(jìn)行改進(jìn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在提供一種機(jī)器人自動(dòng)分揀方法及系統(tǒng)，使得機(jī)器人能自動(dòng)根據(jù)物體的形狀和顏色對(duì)物體進(jìn)行分揀。

為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種機(jī)器人自動(dòng)分揀方法，包括以下步驟：

1）獲取視頻流；

2）對(duì)所述視頻流進(jìn)行分析，通過幀差法判斷是否為穩(wěn)定的視頻流圖像，若是，則將所述視頻流圖像轉(zhuǎn)換為hsv顏色通道圖像，利用s通道圖像得到只包含目標(biāo)的第一二值圖像，利用h通道圖像得到只包含目標(biāo)的第二二值圖像；所述目標(biāo)即待分揀物品；

3）獲取所述第一二值圖像中目標(biāo)的輪廓，確定目標(biāo)的形狀；統(tǒng)計(jì)所述第二二值圖像中的灰度總值，利用所述灰度總值確定所述目標(biāo)的顏色。

步驟2）中獲取穩(wěn)定視頻流的具體實(shí)現(xiàn)過程包括：采集獲取到的視頻流，通過幀差法判斷視頻流前后兩幀圖像對(duì)應(yīng)像素的灰度值的差值，如果累加的差值小于圖像總像素大小的百分之一，則認(rèn)為視頻流處于穩(wěn)定的狀態(tài)，即獲得穩(wěn)定的視頻流圖像。視頻流圖像獲取過程簡(jiǎn)單可靠，容易實(shí)現(xiàn)。

步驟2）中獲取第一二值圖像的具體實(shí)現(xiàn)過程包括：將所述穩(wěn)定的視頻流圖像轉(zhuǎn)換為hsv顏色通道圖像，對(duì)s通道的圖像進(jìn)行中值濾波和高斯濾波平滑處理，然后對(duì)平滑處理后的s通道圖像用固定閾值分割方法進(jìn)行分割，獲取目標(biāo)的第一二值圖像，并利用形態(tài)學(xué)的膨脹和腐蝕方法對(duì)第一二值圖像進(jìn)行平滑處理。提高圖像處理精度，從而更準(zhǔn)確地獲取目標(biāo)的輪廓，方便后續(xù)處理。

步驟3）中，確定目標(biāo)的形狀的具體過程包括：

1）求取目標(biāo)輪廓在第一二值圖像中列方向上的極小值點(diǎn)和極大值點(diǎn)、行方向上的極小值點(diǎn)和極大值點(diǎn)；

2）以相鄰極值點(diǎn)之間的距離為目標(biāo)的邊長(zhǎng)，根據(jù)極值點(diǎn)的位置和邊長(zhǎng)值確定相鄰邊之間的夾角，由邊長(zhǎng)和夾角確定極值點(diǎn)圍成的區(qū)域的面積，根據(jù)所述邊長(zhǎng)、夾角、面積判斷所述目標(biāo)的形狀。

目標(biāo)輪廓的面積可以直接通過opencv算子獲??；四個(gè)極值點(diǎn)之間的相應(yīng)距離為目標(biāo)的邊長(zhǎng)；根據(jù)四個(gè)極值點(diǎn)的位置和邊長(zhǎng)又可以計(jì)算出夾角大??；而邊長(zhǎng)、夾角通過幾何運(yùn)算又能得出四個(gè)極值點(diǎn)圍成的面積。四種形狀的幾何特性差別為：一、三角形的3個(gè)夾角，都是在60度左右，三條邊長(zhǎng)都大致相等，輪廓面積與由四個(gè)極值點(diǎn)圍成的面積大致相等；二、正方形的夾角都在90度左右，四條邊長(zhǎng)都大致相等，輪廓面積與由四個(gè)極值點(diǎn)圍成的面積大致相等；三、圓形的夾角都在90度左右，四條邊長(zhǎng)都大致相等，輪廓面積要比由四個(gè)極值點(diǎn)圍成的面積大；四、長(zhǎng)方形的夾角都在90度左右，兩條長(zhǎng)邊長(zhǎng)大致相等，兩條短邊長(zhǎng)大致相等，長(zhǎng)邊比短邊要大的多，輪廓面積與由四個(gè)極值點(diǎn)圍成的面積大致相等。根據(jù)這些幾何特性的差別就可以準(zhǔn)確區(qū)分出目標(biāo)的形狀。

本發(fā)明中，確定目標(biāo)顏色的具體實(shí)現(xiàn)過程包括：采用h通道圖像分別對(duì)不同顏色進(jìn)行固定閾值分割，獲得各種顏色對(duì)應(yīng)的第二二值圖像，分別統(tǒng)計(jì)各種顏色對(duì)應(yīng)的第二二值圖像中的灰度總值，對(duì)于同一目標(biāo)，判斷灰度總值最大的第二二值圖像對(duì)應(yīng)的顏色，該顏色即為該目標(biāo)的顏色。

本發(fā)明步驟3）之后，還進(jìn)行如下處理：將目標(biāo)的形狀和顏色信息轉(zhuǎn)換為數(shù)字信號(hào)，將所述數(shù)字信號(hào)發(fā)送給機(jī)器人，機(jī)器人接收所述數(shù)字信號(hào)進(jìn)行相應(yīng)的分揀，將待分揀物品準(zhǔn)確地放在物品分類放置單元上。

相應(yīng)地，本發(fā)明還提供了一種機(jī)器人自動(dòng)分揀系統(tǒng)，包括：

視覺檢測(cè)處理單元：用于獲取視頻流；

視覺算法處理單元：用于對(duì)所述視頻流進(jìn)行分析，通過幀差法判斷是否為穩(wěn)定的視頻流圖像，若是，將所述視頻流圖像轉(zhuǎn)換為hsv顏色通道圖像，利用s通道圖像得到只包含目標(biāo)的第一二值圖像，利用h通道圖像得到只包含目標(biāo)的第二二值圖像；，獲取所述第一二值圖像中目標(biāo)的輪廓，確定目標(biāo)的形狀；統(tǒng)計(jì)所述第二二值圖像中的灰度總值，利用所述灰度總值確定所述目標(biāo)的顏色；所述目標(biāo)即待分揀物品視覺檢測(cè)處理單元。

進(jìn)一步地，所述視覺檢測(cè)處理單元包括檢測(cè)平臺(tái)；所述檢測(cè)平臺(tái)上方設(shè)有攝像頭。

圍繞所述攝像頭設(shè)置有補(bǔ)充光源，當(dāng)環(huán)境光較亮?xí)r，可將補(bǔ)充光源關(guān)閉，環(huán)境光較暗時(shí)再開啟，補(bǔ)充光源的亮度也可調(diào)節(jié)，使得采集的圖像更加清晰，從而提高圖像處理精度。

進(jìn)一步地，本發(fā)明的分揀系統(tǒng)還包括：

通信單元，用于將目標(biāo)的形狀和顏色信息轉(zhuǎn)換為數(shù)字信號(hào)，將所述數(shù)字信號(hào)發(fā)送給機(jī)器人；

機(jī)器人：用于接收所述數(shù)字信號(hào)進(jìn)行相應(yīng)的分揀，將待分揀物品準(zhǔn)確地放在物品分類放置單元上；

物品分類放置單元：用于放置所述待分揀物品。

與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果為：本發(fā)明的分揀方法能夠準(zhǔn)確地分辨出目標(biāo)的形狀和顏色，從而方便機(jī)器人準(zhǔn)確地將物品放置于物品分類單元的相應(yīng)區(qū)域，可以在一個(gè)工位上自動(dòng)地對(duì)物品進(jìn)行分類處理，極大地提高了機(jī)器人的分揀效率。

附圖說明

圖1為本發(fā)明分揀系統(tǒng)原理圖；

圖2為外部視覺檢測(cè)處理單元的局部結(jié)構(gòu)圖；

圖3為物品分類放置單元的結(jié)構(gòu)圖；

圖4（a）～圖4（b）為目標(biāo)形狀的分類特性圖；

如圖5所示為實(shí)施分揀過程的系統(tǒng)流程圖。

具體實(shí)施方式

如圖1所示，本發(fā)明分揀系統(tǒng)共包括四大部分：視覺檢測(cè)處理單元2、物品分類放置單元4、pc端視覺算法處理單元以及工業(yè)機(jī)器人單元3。視覺檢測(cè)處理單元2用于獲取待檢測(cè)圖像；pc端視覺算法處理單元是利用電腦將采集到的待檢圖像用圖像處理軟件進(jìn)行檢測(cè)和分類，并將處理結(jié)果通過modbus協(xié)議發(fā)送給工業(yè)機(jī)器人單元3；工業(yè)機(jī)器人單元3接收到數(shù)字信號(hào)后就從視覺檢測(cè)處理單元2抓取積木，并正確放置到物品分類放置單元4上。

視覺檢測(cè)處理單元2和物品分類放置單元4就安裝在工作臺(tái)1上，可隨時(shí)移動(dòng)或組裝。

圖1中積木上的標(biāo)識(shí)r表示紅顏色，標(biāo)識(shí)g表示綠顏色，標(biāo)識(shí)y表示黃顏色。

如圖2所示，為外部視覺檢測(cè)處理單元的局部結(jié)構(gòu)圖。子圖像ⅰ為視覺檢測(cè)處理單元2的整體圖，視覺檢測(cè)處理單元2是由攝像頭和光源組合設(shè)備201和檢測(cè)平臺(tái)202組成。放在檢測(cè)平臺(tái)202上的待檢物品為綠色的正方形積木，積木的標(biāo)識(shí)為綠色g。子圖像ⅱ為攝像頭和光源組合設(shè)備202的細(xì)節(jié)圖，其中包含了補(bǔ)充光源2011和攝像頭2012。補(bǔ)充光源2011是可控的，當(dāng)環(huán)境光較亮?xí)r，可將補(bǔ)充光源2011關(guān)閉，環(huán)境光較暗時(shí)再開啟，光源的亮度也可調(diào)節(jié)。攝像頭2012目前采用的是usb免驅(qū)攝像頭，直接將usb連接到電腦上就可獲取到實(shí)時(shí)圖像。當(dāng)攝像頭2012檢測(cè)到檢測(cè)平臺(tái)上有物品時(shí)，便會(huì)傳送到pc端視覺算法處理單元進(jìn)行計(jì)算。

如圖3所示，為物品分類放置單元4的結(jié)構(gòu)圖，包括積木底板401，和放置紅色r的積木列402，放置綠色g的積木列403，放置黃色y的積木列404。積木上的標(biāo)識(shí)r代表是紅色的積木，標(biāo)識(shí)g代表是綠色的積木，標(biāo)識(shí)y代表是黃色的積木?？梢钥吹椒e木共有紅、黃、綠三種顏色，及三角形、正方形、圓形和長(zhǎng)方形四種形狀的區(qū)分。

圖4（a）表示三角形的特性圖，圖4（b）表示正方形的特性圖。圖4（a）～圖4（b）的坐標(biāo)都是根據(jù)參考坐標(biāo)系x-y而定，左上角為原點(diǎn)，往x或列方向和y或行方向延伸。a點(diǎn)表示目標(biāo)物體在x或列方向上的極小值點(diǎn)，b點(diǎn)表示目標(biāo)物體在x或列方向上的極大值點(diǎn)，c和d分別表示目標(biāo)物體在y或行方向上的極小值點(diǎn)和極大值點(diǎn)。a,b,c,d四點(diǎn)之間的虛線連線表示由這四點(diǎn)組成的最小矩陣，在圖4（a）中b點(diǎn)和d點(diǎn)重合，因此三條虛線構(gòu)成三角形。對(duì)三角形、正方形、圓形和長(zhǎng)方形的積木進(jìn)行形狀分類的具體內(nèi)容是：獲取目標(biāo)輪廓后，求取輪廓面積，然后求取目標(biāo)的a,b,c,d四個(gè)極值點(diǎn)，計(jì)算由這四個(gè)極值點(diǎn)鏈接的邊長(zhǎng)，夾角和圍成的面積。形狀的幾何特性為：（1）三角形的3個(gè)夾角，都是在60度左右，三條邊長(zhǎng)都大致相等，輪廓面積與由四個(gè)極值點(diǎn)圍成的三角形面積大致相等；（2）正方形的夾角都在90度左右，四條邊長(zhǎng)都大致相等，輪廓面積與由四個(gè)極值點(diǎn)圍成的矩形面積大致相等；（3）圓形的夾角都在90度左右，四條邊長(zhǎng)都大致相等，輪廓面積要比由四個(gè)極值點(diǎn)圍成的矩形面積大；（4）長(zhǎng)方形的夾角都在90度左右，兩條長(zhǎng)邊長(zhǎng)大致相等，兩條短邊長(zhǎng)大致相等，長(zhǎng)邊比短邊要大的多，輪廓面積與由四個(gè)極值點(diǎn)圍成的矩形面積大致相等。由這些幾何特性就可以將這四種形狀準(zhǔn)確地進(jìn)行區(qū)分。

如圖5所示為實(shí)施分揀過程中的系統(tǒng)流程圖，視覺檢測(cè)處理單元2獲取圖像傳送給pc端視覺算法處理單元，pc端將處理結(jié)果轉(zhuǎn)為相應(yīng)的信號(hào)，通過modbus協(xié)議發(fā)送給工業(yè)機(jī)器人單元3，工業(yè)機(jī)器人控制機(jī)器臂在檢測(cè)平臺(tái)上抓取物品，并正確放置到物品分類放置單元4。

待檢測(cè)物品的種類為三角形、正方形、圓形和長(zhǎng)方形，物品的顏色分為紅色、黃色和綠色等，通過電腦判斷置于檢測(cè)平臺(tái)上的積木的形狀和顏色，獲取到所有信息后，將信息轉(zhuǎn)為數(shù)字信號(hào)，通過modbus協(xié)議發(fā)送給工業(yè)機(jī)器人進(jìn)行分揀。圖像處理相關(guān)算法都是采用opencv的算子，視覺檢測(cè)的步驟為：（1）獲取穩(wěn)定的視頻流圖像：利用電腦采集usb攝像頭獲取到的視頻流，通過幀差法判斷視頻流前后兩幀圖像對(duì)應(yīng)像素的灰度值的差別，如果累加的灰度總值小于圖像總像素大小的百分之一，則認(rèn)為視頻流處于比較穩(wěn)定的狀態(tài)，開始對(duì)圖像進(jìn)行下一步處理。（2）獲取目標(biāo)的第一二值圖像：待檢測(cè)物品在圖像中稱之為目標(biāo)。將圖像轉(zhuǎn)為hsv顏色通道，對(duì)s通道的圖像進(jìn)行中值濾波和高斯濾波等平滑處理，用固定閾值分割方法進(jìn)行分割，獲取目標(biāo)的第一二值圖像，并利用形態(tài)學(xué)的膨脹和腐蝕方法對(duì)目標(biāo)進(jìn)行平滑處理。（3）判斷目標(biāo)的形狀：得到目標(biāo)的第一二值圖像后，直接獲取第一二值圖像中目標(biāo)的輪廓，求取目標(biāo)輪廓在圖像中列方向的極小值點(diǎn)和極大值點(diǎn)，再求行方向的極小值點(diǎn)和極大值點(diǎn)。對(duì)于形狀的判斷有四個(gè)幾何特性：目標(biāo)輪廓的面積、目標(biāo)的邊長(zhǎng)特性、目標(biāo)的夾角特性以及由四個(gè)極值點(diǎn)圍成的面積。求取四個(gè)幾何特性的方法：目標(biāo)輪廓的面積可以直接通過opencv算子獲取；四個(gè)極值點(diǎn)之間的相應(yīng)距離為目標(biāo)的邊長(zhǎng)；根據(jù)四個(gè)極值點(diǎn)的位置和邊長(zhǎng)又可以計(jì)算出夾角大??；而邊長(zhǎng)、夾角經(jīng)過幾何運(yùn)算又能得出四個(gè)極值點(diǎn)圍成的面積。四種形狀的幾何特性差別為：一、三角形的3個(gè)夾角，都是在60度左右，三條邊長(zhǎng)都大致相等，輪廓面積與由四個(gè)極值點(diǎn)圍成的面積大致相等；二、正方形的夾角都在90度左右，四條邊長(zhǎng)都大致相等，輪廓面積與由四個(gè)極值點(diǎn)圍成的面積大致相等；三、圓形的夾角都在90度左右，四條邊長(zhǎng)都大致相等，輪廓面積要比由四個(gè)極值點(diǎn)圍成的面積大很多；四、長(zhǎng)方形的夾角都在90度左右，兩條長(zhǎng)邊長(zhǎng)大致相等，兩條短邊長(zhǎng)大致相等，長(zhǎng)邊比短邊要大的多，輪廓面積與由四個(gè)極值點(diǎn)圍成的面積大致相等。根據(jù)這些幾何特性的差別就可以準(zhǔn)確區(qū)分出目標(biāo)的形狀。（4）判斷目標(biāo)的顏色：因?yàn)榧t、綠、藍(lán)這三種顏色在hsv圖像中的h通道有特定的取值范圍，因此能準(zhǔn)確判斷目標(biāo)的顏色。采用h通道的圖像分別對(duì)紅、綠、藍(lán)三種顏色進(jìn)行固定閾值分割，分割之后會(huì)獲取到相應(yīng)的第二二值圖像，統(tǒng)計(jì)第二二值圖像中的灰度總值，對(duì)于同一目標(biāo)判斷哪種顏色分割后的第二二值圖像的灰度總值最大，則目標(biāo)的顏色判定為該顏色；（5）發(fā)送信號(hào)：形狀和顏色都分類完成后，則將相關(guān)信息轉(zhuǎn)為數(shù)字信號(hào)并通過modbus協(xié)議發(fā)送給工業(yè)機(jī)器人，工業(yè)機(jī)器人接收信號(hào)進(jìn)行相應(yīng)的分揀，將積木準(zhǔn)確地放在物品分類放置單元上。