本發(fā)明專利涉及物流自動(dòng)化領(lǐng)域，尤其涉及一種基于機(jī)器視覺的碼垛機(jī)器人跟蹤監(jiān)控系統(tǒng)及方法。

背景技術(shù)：

碼垛技術(shù)是物流自動(dòng)化技術(shù)領(lǐng)域的一門新興技術(shù)，在物體的運(yùn)輸過程中除了散裝的物體和液體外，一般的物體都是以碼垛的形式進(jìn)行存儲(chǔ)或組裝，這樣既可承載更多的物體，又可節(jié)省空間。碼垛機(jī)器人是實(shí)現(xiàn)物流自動(dòng)化的關(guān)鍵設(shè)備，機(jī)器人把輸送線上流向終端的物件整齊地碼放，以便完成貨物運(yùn)輸?shù)裙ぷ?，整個(gè)過程順序流暢、完全自動(dòng)化。但是碼垛機(jī)器人的智能化程度很有限，可靠性和穩(wěn)定性還有待提高。在新時(shí)代下的工業(yè)生產(chǎn)中，需要機(jī)器人本身具有智能功能，如警示、監(jiān)控、診斷等很多方面的功能，而現(xiàn)有的碼垛機(jī)器人并不完全具有這些功能，采取行之有效的方法使得碼垛機(jī)器人具備異常情況解決能力變得尤為重要。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于機(jī)器視覺的碼垛機(jī)器人跟蹤監(jiān)控系統(tǒng)及方法，以提高物流自動(dòng)化的智能化程度，加快工廠整體的工作效率，節(jié)約人工處理的時(shí)間成本。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于機(jī)器視覺的碼垛機(jī)器人跟蹤監(jiān)控系統(tǒng)，將碼垛機(jī)器人及其控制柜、傳送帶、AGV、真空吸盤裝置等設(shè)備結(jié)合視覺采集系統(tǒng)。所述視覺采集系統(tǒng)由視覺采集裝置、光源及上位機(jī)軟件系統(tǒng)構(gòu)成，其中，視覺采集裝置由CCD圖像傳感器、圖像采集接口模塊構(gòu)成。

本發(fā)明的CCD圖像傳感器固定安裝于相機(jī)支架上，并通過圖像采集接口模塊將所獲得的視頻圖像傳送給上位機(jī)軟件系統(tǒng)。所述相機(jī)支架位于機(jī)器人工作空間之外的正前方位置，保證碼垛機(jī)器人的工作過程都能被CCD圖像傳感器捕獲。光源照向機(jī)器人所在方向，保證機(jī)器人工作范圍內(nèi)目標(biāo)貨物清晰明亮，要求背景墻面與機(jī)器人及目標(biāo)貨物有較大顏色反差。

上位機(jī)軟件系統(tǒng)具有視頻圖像接收顯示功能、圖像分析處理功能和機(jī)器人在線控制功能并執(zhí)行如下步驟：

1)對(duì)視覺采集裝置實(shí)時(shí)上傳的視頻圖像進(jìn)行解碼，按幀讀取圖像并顯示在上位機(jī)監(jiān)測(cè)窗口界面。

2)對(duì)讀取的每一幀圖像進(jìn)行圖像處理，具體包括：圖像灰度化、圖像增強(qiáng)、圖像濾波、圖像二值化，以便提高運(yùn)動(dòng)跟蹤的效率。

3)對(duì)預(yù)處理過的圖像使用Canny算法檢測(cè)圖像，并根據(jù)目標(biāo)圖像的輪廓特征提取其輪廓，由輪廓的形狀和目標(biāo)圖像的運(yùn)動(dòng)參數(shù)定義目標(biāo)圖像的狀態(tài)，在輪廓的后驗(yàn)概率最大時(shí)更新目標(biāo)圖像狀態(tài)，提取目標(biāo)圖像的最小外接矩并在監(jiān)控窗口中顯示出來。

4)在每一幀的圖像中設(shè)置貨物掉落指示線，判斷目標(biāo)圖像最小外接矩是否完全落入指示線以下，若確實(shí)完全落入，則程序發(fā)送指令中止機(jī)器人當(dāng)前工作。

5)根據(jù)視覺標(biāo)定得來的世界坐標(biāo)系、相機(jī)坐標(biāo)系和圖像坐標(biāo)系之間的矩陣變換關(guān)系，計(jì)算出掉落貨物所在位置的空間坐標(biāo)，并轉(zhuǎn)換為控制碼垛機(jī)器人六個(gè)軸的轉(zhuǎn)角數(shù)據(jù)，使得程序在線控制碼垛機(jī)器人定位抓取掉落貨物并放置到正確位置。

本發(fā)明一種基于機(jī)器視覺的碼垛機(jī)器人跟蹤監(jiān)控系統(tǒng)及方法，具有如下的有益效果：

第一、視覺采集系統(tǒng)的加入使得整體系統(tǒng)的柔性增強(qiáng)，且視覺采集系統(tǒng)與碼垛機(jī)器人的交互關(guān)系邏輯清晰，結(jié)構(gòu)簡(jiǎn)單便于安裝。

第二、實(shí)時(shí)監(jiān)測(cè)碼垛機(jī)器人的工作過程，對(duì)出現(xiàn)的貨物掉落等異常情況自動(dòng)做出反應(yīng)，不需要人為參與處理，節(jié)約人力成本和時(shí)間成本。

附圖說明

圖1是本發(fā)明的結(jié)構(gòu)示意圖；

圖2是本發(fā)明的流程示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明產(chǎn)品作進(jìn)一步詳細(xì)的說明。

如圖1的結(jié)構(gòu)示意圖所示，一種基于機(jī)器視覺的碼垛機(jī)器人跟蹤監(jiān)控系統(tǒng)及方法，包括碼垛機(jī)器人本體(1)及其控制柜(2)，所述碼垛機(jī)器人與控制柜通信連接，真空吸盤(3)安裝在碼垛機(jī)器人末端，碼垛機(jī)器人從傳送帶(5)的托盤上將貨物取走，并按照預(yù)定軌跡依次碼垛至AGV(4)的載物平面，當(dāng)碼垛貨物重量達(dá)到預(yù)定限額時(shí)，開始循跡運(yùn)送貨物至倉(cāng)庫(kù)分揀，同時(shí)通知碼垛機(jī)器人暫停碼垛工作，并發(fā)送信號(hào)讓下一輛AGV到達(dá)待碼垛位置，等到下一輛AGV就位后通知碼垛機(jī)器人繼續(xù)工作。碼垛機(jī)器人工作過程，由視覺采集裝置(6)跟蹤拍攝，并將獲取的視頻圖像實(shí)時(shí)上傳至計(jì)算機(jī)(7)。

更進(jìn)一步的，所述視覺采集裝置由CCD圖像傳感器和圖像采集接口模塊構(gòu)成，CCD圖像傳感器在碼垛機(jī)器人工作空間之外的正前方位置安裝，對(duì)碼垛機(jī)器人的工作過程進(jìn)行實(shí)時(shí)監(jiān)測(cè)。

更進(jìn)一步的，所述CCD圖像傳感器經(jīng)過鏡頭將被觀察物聚焦至CCD芯片上，CCD根據(jù)光的強(qiáng)弱積累相應(yīng)比例的電荷，然后逐點(diǎn)外移、濾波、放大，最終形成視頻信號(hào)輸出，視頻信號(hào)通過圖像采集接口模塊上傳到計(jì)算機(jī)進(jìn)行圖像處理。

碼垛機(jī)器人實(shí)時(shí)處于機(jī)器視覺的監(jiān)控下，當(dāng)碼垛過程中發(fā)生貨物掉落的異常情況時(shí)，計(jì)算機(jī)立即發(fā)出指令通知碼垛機(jī)器人控制柜，使其暫停碼垛機(jī)器人的運(yùn)動(dòng)，等待計(jì)算機(jī)的下一步指令，整套異常處理過程如圖2的流程圖所示。

計(jì)算機(jī)接收視覺采集裝置發(fā)送的視頻圖像，并進(jìn)行圖像預(yù)處理，包括以下幾個(gè)步驟：

1)圖像灰度化，即把RGB三通道數(shù)據(jù)的彩色圖像變?yōu)閱瓮ǖ罃?shù)據(jù)的灰度圖像。本發(fā)明根據(jù)加權(quán)平均值法得到較合理的灰度圖像，具體公式(1)如下所示：

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j) (1)

2)圖像增強(qiáng)，即通過一定手段對(duì)原圖像附加一些信息或變換數(shù)據(jù)，有選擇地突出圖像中感興趣的特征或者抑制(掩蓋)圖像中某些不需要的特征，使圖像與視覺響應(yīng)特性相匹配。本發(fā)明使用空域法對(duì)圖像中的像素點(diǎn)進(jìn)行操作達(dá)到較為理想的效果，具體公式(2)如下所示：

g(x，y)＝f(x，y)*h(x，y) (2)

3)圖像濾波，即有效地去除目標(biāo)和背景中的噪聲，同時(shí)保護(hù)圖像目標(biāo)的形狀、大小及特定的幾何和拓?fù)浣Y(jié)構(gòu)特征。本發(fā)明使用高斯平滑濾波對(duì)圖像進(jìn)行處理。

4)圖像二值化，即把256個(gè)亮度等級(jí)的灰度圖像通過適當(dāng)?shù)拈撝颠x取而獲得仍可以反映圖像整體和局部特征的二值化圖像。本發(fā)明使用基于直方圖的自適應(yīng)閾值分割來獲得二值圖像。

對(duì)預(yù)處理過的圖像使用Canny算法檢測(cè)圖像，并根據(jù)目標(biāo)圖像的輪廓特征提取其輪廓，由輪廓的形狀和目標(biāo)圖像的運(yùn)動(dòng)參數(shù)定義目標(biāo)圖像的狀態(tài)，在輪廓的后驗(yàn)概率最大時(shí)更新目標(biāo)圖像狀態(tài)，提取目標(biāo)圖像的最小外接矩并在監(jiān)控窗口中顯示出來。在每一幀的圖像中設(shè)置貨物掉落指示線，當(dāng)目標(biāo)圖像的最小外接矩完全落入指示線之下，則判定為貨物掉落。

貨物掉落位置也要通過機(jī)器視覺確定，需要提前進(jìn)行視覺標(biāo)定。本發(fā)明使用張正友的棋盤格標(biāo)定法，首先打印一張棋盤格，把它貼在一個(gè)平面上，作為標(biāo)定物。通過調(diào)整標(biāo)定物或攝像機(jī)的方向，為標(biāo)定物拍攝一些不同方向的照片，從照片中提取特征點(diǎn)(如角點(diǎn))，估算理想無畸變的情況下，五個(gè)內(nèi)參和所有外參。應(yīng)用最小二乘法估算實(shí)際存在徑向畸變下的畸變系數(shù)，極大似然法，優(yōu)化估計(jì)，提升估計(jì)精度。通過這樣的過程，我們可以獲得具有高估計(jì)精度的五個(gè)內(nèi)參，三個(gè)外參和兩個(gè)畸變系數(shù)。利用這些信息，我們可以進(jìn)行畸變矯正、圖像校正和最終的三維信息恢復(fù)。

確立世界坐標(biāo)系、相機(jī)坐標(biāo)系和圖像坐標(biāo)系之間的矩陣變換關(guān)系，計(jì)算出掉落貨物所在位置的空間坐標(biāo)，并轉(zhuǎn)換為控制碼垛機(jī)器人六個(gè)軸的轉(zhuǎn)角數(shù)據(jù)，從而使得碼垛機(jī)器人主動(dòng)定位抓取掉落貨物并放置到正確位置。通過以上所有步驟，我們完成整個(gè)自檢及自處理過程。

應(yīng)當(dāng)理解的是，以上所述僅為本發(fā)明的示例性描述，并非對(duì)本發(fā)明任何形式上的限制。在不脫離本發(fā)明設(shè)計(jì)構(gòu)思的前提下，本領(lǐng)域普通技術(shù)人員對(duì)本發(fā)明的技術(shù)方案做出的各種變型和改進(jìn)，均應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。