本發(fā)明屬于工業(yè)自動控制技術領域，特別涉及一種群視覺機器協(xié)同裝配方法及模型系統(tǒng)。

背景技術：

隨著經濟的快速發(fā)展，競爭變得更加激烈，產品更新?lián)Q代的周期逐漸壓縮，對于多品種小批量生產模式的需求日益強烈，引起了人們對智能自動化生產線的更多關注。目前很多自動化生產線雖然能很好地完成任務，但是成本很高，并且只能完成單一工作，復雜的工序需要多臺機器人順序工作，一旦中間哪個環(huán)節(jié)出現故障，整個系統(tǒng)將癱瘓，并且生產效率低，占地面積大，成本高，需要多種傳感器協(xié)同來完成識別工作，當生產對象改變時，需要更換硬件，增加成本，因此靈活性差，很難適應多品種小批量的生產模式。

技術實現要素：

為了克服上述現有技術的缺點，本發(fā)明的目的在于提供一種群視覺機器協(xié)同裝配方法及模型系統(tǒng)，其實用性強，適應多種生產對象，控制靈活，可擴展性強，所需空間小，各部分獨立作業(yè)，出現故障時可以單獨進行維修，并不影響整個系統(tǒng)的工作，魯棒性好，可實現高效、柔性化生產。

為了實現上述目的，本發(fā)明采用的技術方案是：

一種群視覺機器協(xié)同裝配方法，包括控制平臺1、視覺機器人工作站2以及承擔控制平臺1和視覺機器人工作站2之間通信的無線模塊3，其特征在于，所述控制平臺1根據輸入的訂單信息解算出所需的元件數及種類、投入工作的智能視覺機器人的數量，并根據實際的工作情況，動態(tài)調節(jié)工作在不同模塊的智能視覺機器人的數量。

每類智能視覺機器人完成獨立的任務，互不干擾，當某一類機器人發(fā)生故障時，可以單獨對其進行維修，并不影響整個系統(tǒng)的運行，具有很好的魯棒性。當裝配對象發(fā)生改變時，通過控制平臺1向視覺機器人工作站2發(fā)出控制指令，讓視覺機器人工作站2運行針對此對象的裝配程序，這樣能很好地滿足多品種小批量的生產模式，系統(tǒng)靈活性很強。

所述視覺機器人工作站2包括一個環(huán)形的傳送裝置23，沿傳送裝置23布置有上料區(qū)231、裝配區(qū)233、238和下料區(qū)235，上料區(qū)231附近布置元件存放區(qū)22，下料區(qū)235附近布置成品存放區(qū)26，上料區(qū)231的上料智能視覺機器人21和下料區(qū)235的下料智能視覺機器人27都具有上料模塊和下料模塊，控制平臺1根據實時的裝配情況來動態(tài)調節(jié)工作在這兩種模塊的智能視覺機器人的數量，裝配區(qū)的裝配智能視覺機器人只有裝配模塊，每個智能視覺機器人都配有與控制平臺1以及智能視覺機器人之間通信的無線模塊211和以及用于尋找路徑和元件識別的視覺傳感器213，所述協(xié)同裝配方法包括四個方面的協(xié)同：所有智能視覺機器人與傳送裝置23的啟停協(xié)同、上料智能視覺機器人21和傳送裝置23間的協(xié)同、裝配智能視覺機器人24、25、28、29與傳送裝置23間的協(xié)同、下料智能視覺機器人27與傳送裝置23間的協(xié)同。

所述控制平臺1根據實際的工作情況，動態(tài)調節(jié)工作在不同模塊的智能視覺機器人的數量的過程是：

控制平臺1向視覺機器人工作站2發(fā)送開始工作命令，并讓視覺機器人工作站2運行相應的裝配對象的程序，所有智能視覺機器人同時開始工作，上料智能視覺機器人21通過視覺傳感器213返回的圖像信息識別路徑運動到元件存放區(qū)22撿取所需要的元件，然后運動到上料區(qū)231開始上料，裝配智能視覺機器人通過視覺傳感器242識別所需元件232，并將成品236放在傳送裝置23上，下料智能視覺機器人27通過視覺傳感器273識別合格成品236，將其從傳送裝置23上抓下放在成品存放區(qū)26，所有智能視覺機器人在每一步工作中，將工作信息通過無線模塊3傳送給控制平臺1，控制平臺1將信息進行整合，以獲取傳送裝置上的元件數量、傳送裝置上的成品數量、累計合格成品數量，根據這些信息動態(tài)調節(jié)智能視覺機器人的數量以及工作在上料模塊和下料模塊的智能視覺機器人的數量，來更好地完成裝配任務。

所述上料智能視覺機器人21的上料過程要根據傳送裝置23的速度來協(xié)同上料，所述裝配智能視覺機器人24、25、28、29的裝配過程要根據傳送裝置23的速度來協(xié)同抓取所需元件進行裝配，所述下料智能視覺機器人27的下料過程要根據傳送裝置23的速度來協(xié)同抓下成品。

所述下料智能視覺機器人27每一次完成成品下料后，將下料信息發(fā)送給控制平臺1，成品合格時，控制平臺統(tǒng)計合格成品261數量加1，并將其放入盒子271中，成品不合格時，下料智能視覺機器人27將不合格成品抓取后放到廢品區(qū)，并且控制平臺1通知上料智能視覺機器人21，所需分揀的各類元件232、234、237、239數量加1，當統(tǒng)計到裝配合格成品261數量滿足訂單上期望的成品數量時，控制平臺1向視覺機器人工作站2發(fā)送完成任務指令，所述裝配智能視覺機器人清理掉裝配位置243的工件、上料智能視覺機器人21和下料智能視覺機器人27負責清理傳送裝置23上未裝配的元件，將其回收后放回原料存放處22，然后運動到指定地點并向控制平臺1發(fā)出完成清理工作指令，控制平臺1發(fā)送停止指令，所有智能視覺機器人進入待機狀態(tài)，同時傳送裝置23停止運動。

本發(fā)明還提供了一種基于所述群視覺機器協(xié)同裝配方法的模型系統(tǒng)，其特征在于：

由一臺計算機擔任控制平臺1；

由一臺無線接收發(fā)射器作為無線模塊3；

由群智能視覺機器人、環(huán)形的傳送裝置23、元件存放區(qū)22及成品存放區(qū)26為主要組成部分的視覺機器人工作站2。

所述視覺機器人工作站2中，傳送裝置23布置于中心，傳送裝置23長軸兩端的區(qū)域分別是上料區(qū)231和下料區(qū)235，平行于長軸兩側的區(qū)域為裝配區(qū)一233和裝配區(qū)二238，元件存放區(qū)22布置在上料區(qū)231附近，成品存放區(qū)26布置在下料區(qū)235附近，上料區(qū)231的上料智能視覺機器人21和下料區(qū)235的下料智能視覺機器人27都具有上料模塊和下料模塊，控制平臺1根據實時的裝配情況來動態(tài)調節(jié)工作在這兩種模塊的智能視覺機器人的數量，裝配區(qū)一233和裝配區(qū)二238的裝配智能視覺機器人24、25、28、29只有裝配模塊，每個智能視覺機器人都配有與控制平臺1以及智能視覺機器人之間通信的無線模塊211和以及用于尋找路徑和元件識別的視覺傳感器213。

所述視覺機器人工作站2中，待裝配的元件包括紅色底座221、黑色芯222、彈簧223和藍色蓋子224。首先，通過在控制平臺1上輸入包含元件種類及期望加工成品數量的訂單信息，然后控制平臺1通過無線模塊3向視覺機器人工作平臺2發(fā)送開始工作指令并運行相應的程序，所有智能視覺機器人21、24、25、27、28、29及傳送裝置23進入工作狀態(tài)，上料智能視覺機器人21通過視覺傳感器213獲取的圖像信息來識別路徑，運動到元件存放區(qū)22，然后通過視覺傳感器213獲取的圖像信息來提取顏色、面積、圓半徑等特征來識別元件，根據控制平臺1發(fā)送的指令抓取指定的元件，然后運動到上料區(qū)231，根據傳送裝置23的速度開始依次上料，裝配智能視覺機器人24、25、28、29通過視覺傳感器242返回的信息，提取顏色、面積及圓半徑等特征進行模板匹配，依次識別紅色底座221、黑色芯222、彈簧223和藍色蓋子224開始裝配，將裝配好的成品236放置在傳送裝置231上，然后下料智能視覺機器人27通過視覺傳感器273返回的圖像信息，提取顏色、面積、圓半徑等特征對成品進行識別，并判斷其是否合格，合格則放在盒子271中，不合格則放在廢品區(qū)，同時向控制平臺發(fā)送工作信息，控制平臺計算合格成品數，當其滿足訂單要求時，通知視覺機器人工作平臺1執(zhí)行清理任務，清理任務完成后，控制平臺1向視覺機器人工作平臺2發(fā)送停止指令，所有智能視覺機器人21、24、25、27、28、29及傳送裝置23進入待機狀態(tài)。

與現有技術相比，本發(fā)明的群機器視覺智能裝配協(xié)同方法與系統(tǒng)采用智能視覺機器人協(xié)同作業(yè)，根據訂單信息規(guī)劃上料工作，可以根據客戶不同的生產對象的需求制定相應的程序，不需要改變硬件結構以及增加傳感器，靈活性強，可以很好地滿足多品種小批量的生產模式，并且由于引入了視覺傳感器，可以簡化工序，獨立工作，出現故障時可以單獨進行維修不影響整個系統(tǒng)的工作，魯棒性好，并且大大提高生產效率，又節(jié)省生產設備投入以及占地空間。

附圖說明

圖1為本發(fā)明群視覺機器協(xié)同裝配模擬系統(tǒng)的架構圖。

圖2為本發(fā)明群視覺機器協(xié)同裝配方法的工作流程圖。

圖3為本發(fā)明群視覺機器協(xié)同裝配模擬系統(tǒng)的工件識別模板匹配流程圖。

具體實施方式

下面結合附圖和實施例詳細說明本發(fā)明的實施方式。

如圖1所示，本發(fā)明群視覺機器協(xié)同裝配模型系統(tǒng)，包括控制平臺1、視覺機器人工作站2以及承擔控制平臺1和視覺機器人工作站2之間通信的無線模塊3，控制平臺1整合視覺機器人工作站2傳回的工作信息，根據整合后的工作信息向視覺機器人工作平臺2發(fā)送控制命令。

視覺機器人工作站2包括元件存放區(qū)22、上料區(qū)231、裝配區(qū)一233、裝配區(qū)二238、下料區(qū)235和成品存放區(qū)26，其中元件存放區(qū)22放置裝配所需的4種元件221、222、223、224，上料區(qū)231和下料區(qū)235分別位于橢圓形的傳送裝置23長軸的兩端，而裝配區(qū)一233、裝配區(qū)二238位于平行于傳送裝置23長軸的兩側，繞傳送裝置23安放了6臺智能視覺機器人21、24、25、27、28、29：1臺上料智能視覺機器人21、4臺裝配智能視覺機器人24、25、28、29及1臺下料智能視覺機器人27，每個智能視覺機器人配有與控制平臺1以及機器人之間通信的無線模塊211、241、272和視覺傳感器213、242、273，其中上料區(qū)智能視覺機器人21和下料區(qū)智能視覺機器人27是可移動智能視覺機器人，因為它們要完成從元件存放區(qū)22抓取原料工件221-224和將加工好的成品261送到成品存放區(qū)26。并且上料智能視覺機器人21和下料智能視覺機器人27的程序中均具有上料程序模塊和下料程序模塊，控制平臺1將智能視覺機器人傳回的工作信息進行整合，動態(tài)調節(jié)它們處于哪個程序工作模塊，以更好地完成裝配工作。

如圖2所示，群視覺機器協(xié)同裝配方法的工作流程，包括以下步驟：

首先，通過控制平臺1輸入訂單信息，然后控制平臺1根據訂單信息得出哪種裝配對象以及需要的元件數量和種類。

其次，控制平臺1向視覺機器人工作平臺2發(fā)送開始工作命令，并讓視覺機器人工作平臺2運行相應的裝配對象的程序，所有智能視覺機器人21、24、25、27、28、29及傳送裝置23同時進入工作狀態(tài)

所有智能視覺機器人21、24、25、27、28、29按照控制平臺1的指令協(xié)同工作，上料智能視覺機器人21通過視覺傳感器213返回的圖像信息識別路徑運動到元件存放區(qū)22，通過視覺傳感器213返回的圖像提取顏色、面積、圓半徑等特征進行模板匹配，識別所需的元件221、222、223、224，撿取所需要的元件放到盒子212中，并進行統(tǒng)計，當盒子212裝滿時，上料智能視覺機器人21通過視覺傳感器213移動到上料區(qū)231，上料過程要根據傳送裝置23的速度來協(xié)同上料。然后，依次將盒子212中的元件214放在傳送裝置23上，并且每次放置的工件種類要通過無線模塊211通知控制平臺1，當盒子212中沒有元件時，上料智能視覺機器人21再次通過視覺傳感器213運動到元件存放區(qū)22，開始搬運工作，然后通過視覺傳感器213運動到上料區(qū)231與傳送裝置23協(xié)同進行上料工作，如此反復進行，直到接收到控制平臺1的完成任務指令，當接受到完成任務指令后，運動到傳送裝置23的上料區(qū)231，清理傳送裝置上的工件，放回至元件存放區(qū)22，再通過視覺傳感器213返回的圖像信息運動到上料區(qū)231并通過無線通信211通知控制平臺1完成清理任務，當接收到控制平臺1的停止工作命令后，上料視覺智能機器人21進入待機狀態(tài)。

裝配智能視覺機器人24、25、28、29按照一定的順序來完成裝配工作，先是抓取紅色底座221，然后抓取黑色芯222、彈簧223依次放入紅色底座221中，最后扣上藍色蓋子224，擰緊，完成一個成品236的裝配工作；裝配智能視覺機器人24、25、28、29通過視覺傳感器242返回傳送裝置23上移動的工件232、234、237、239的圖像，提取顏色、面積、圓半徑、平均灰度等特征，進行模板匹配，判斷是否是當前裝配順序所需的工件，若是發(fā)出抓取的控制命令，然后將其放到指定裝配區(qū)域243，并且通過無線模塊241告知控制平臺1抓取的工件信息，接著進入下一個工序所需工件的識別工作，若不是，則不發(fā)出控制命令，一直等到所需的工件出現，再發(fā)出控制命令；當裝配區(qū)一233、裝配區(qū)二238的智能視覺機器人24、25、28、29裝配好一個成品236后，發(fā)出控制命令，將其抓取后放到傳送裝置23上，并通知控制平臺1傳送裝置23上放置了一個成品236，然后進入下一輪裝配工作，如此往復進行直到控制平臺1發(fā)出完成任務指令，接到完成任務命令后，停止裝配工作，若裝配區(qū)一233、裝配區(qū)二238不存在元件，則裝配區(qū)一233、裝配區(qū)二238的智能視覺機器人24、25、28、29進入待機狀態(tài)，若存在元件，則將元件放置在傳送裝置23上，然后進入待機狀態(tài)。

下料智能視覺機器人27通過視覺傳感器273識別傳送裝置23上是否有成品236，當有成品出現后，通過視覺傳感器273返回的傳送裝置23上運動的工件的圖像，提取顏色、面積、圓半徑等特征進行模板匹配，首先識別其是否是成品，并且在是成品的情況下，看起表面是否有裂紋來判斷是否合格，若合格，將其抓取后放到下料智能視覺機器人27的盒子271中，并且通知控制平臺1將合格成品261的數量加1，若不合格，將其抓取后放到廢品區(qū)，并將不合格的信息發(fā)送給控制平臺1，控制平臺1將所需各元件221-224的數量加1，并通知上料智能視覺機器人21所需各元件221、222、223、224的數量加1，當下料智能視覺機器人27的盒子271裝滿后，通過視覺傳感器273返回的圖像信息，運動到成品存放區(qū)26，將成品261全部卸放到成品存放區(qū)26后，再運動到傳送裝置23的下料區(qū)235，如此反復工作，直到接收到控制平臺1的完成任務后，若盒子271中有成品，將成品放置卸放至成品存放區(qū)26，若沒有，則運動到傳送裝置23的下料區(qū)235進入待機狀態(tài)。

所有智能視覺機器人21、24、25、27、28、29在每一步工作中，將工作信息通過無線模塊3傳送給控制平臺1，控制平臺1將信息進行整合，以獲取傳送裝置上的元件數量、傳送裝置上的成品數量、累計合格成品數量，根據這些信息動態(tài)調節(jié)智能視覺機器人的數量以及工作在上料模塊和下料模塊的智能視覺機器人的數量，來更好地完成裝配任務。

最后，所有智能視覺機器人21、24、25、27、28、29通過無線通信211、241將工作信息發(fā)送給控制平臺1，控制平臺1將返回的工作信息整合后與訂單信息進行比對，判斷是否完成裝配任務，若完成，則向視覺機器人工作站2發(fā)送完成任務指令，各區(qū)域智能機器人開始進行清理工作，清理完成后向控制平臺1發(fā)送清理工作完成指令，并移動到指定區(qū)域，然后控制平臺1向視覺機器人工作平臺2發(fā)送停止指令，所有智能視覺機器人21、24、25、27、28、29進入待機狀態(tài)，傳送裝置23停止運動。

如圖3所示，智能視覺機器人在工件識別時，通過視覺傳感器返回圖像，提取顏色、像素面積、圓半徑、圓個數等信息，然后依次與模板進行比對，首先確定是否滿足顏色為紅色、紅色像素面積大于閾值、圓半徑在指定范圍內，若滿足，則圖像中的目標為紅色底座221，若不滿足，繼續(xù)判斷是否滿足顏色為黑色且黑色面積、平均灰度及圓半徑在指定范圍內，若滿足，則圖像中的目標為黑色芯222，若不滿足，則判斷是否滿足圓半徑、圓個數及平均灰度在指定范圍內，若滿足，則圖像中的目標為彈簧223，若不滿足，則繼續(xù)判斷是否滿足顏色為藍色、藍色像素面積小于閾值、圓半徑小于閾值，若滿足，則圖像中的目標為藍色蓋子224，若不滿足，繼續(xù)判斷是否滿足顏色為藍色、藍色像素面積大于閾值、圓半徑大于閾值，若滿足，則圖像中的目標為成品236，若不滿足，則沒有任何模板與其匹配。其中上料智能視覺機器人21和裝配智能視覺機器人24、25、28、29需要識別紅色底座221、黑色芯222、彈簧223和藍色蓋子224，下料智能視覺機器人27只需要識別成品236。

在提取圖像中的特征時，提取顏色可以直接通過訪問圖像的RGB通道即可判斷，而像素面積則通過訪問每一個像素是否滿足指定的RGB范圍，滿足則進行累加，最終獲得的累加和即為像素面積。而關于圓半徑和圓個數的計算要用到圓檢測，方法如下：

首先要對獲得的圖像進行預處理：

對圖像進行中值濾波處理。中值濾波器將中心像素正方形鄰域內的每個像素值用中間像素值替換，可以除去噪聲又保留圖像的邊緣信息。在二維圖像中可以定義為：

Y_i＝med{x_ij}＝med{x_(i+m),(j+n)(m,n)∈A,(i,j)∈I²}

對圖像進行二值化處理。二值化使圖像變得簡單，數據量減小，能凸顯出感興趣的目標輪廓。定義m為預設閾值，f(x,y)為像素坐標(x,y)的灰度值，g(x,y)為得到的灰度值?？梢员硎緸椋?/p>

利用Canny算子對圖像進行邊緣檢測。Canny邊緣檢測的原理是用一階偏導的有限差分來計算梯度的幅值和方向。設f(x,y)為圖像，f(x,y)的梯度用2×2一階有限差分近似式來計算x與y的偏導數的兩個陣列f_x′(x,y)與f_y′(x,y)：

f_x′(x,y)≈G_x＝[f(x+1,y)-f(x,y)+f(x+1,y+1)-f(x,y+1)]/2

f_y′(x,y)≈G_y＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2

由一階差分卷積模板和得到2個梯度的幅值和方向：

為了得到合理的邊緣，對梯度幅值進行非極大值抑制，用雙閾值算法進行檢測和連接真正的邊緣。

對邊緣圖像進行膨脹處理。膨脹處理是對圖像與核進行卷積計算，得到核覆蓋區(qū)域的最大像素值，使得圖像中的高亮區(qū)域增長，對像素進行補償，形成聯(lián)通域。定義X為被處理的圖像，B為結構元素，X被B膨脹的結果為：

然后對經過預處理后的圖像采用隨機Hough變換圓檢測，方法如下：

在二維空間中圓的方程為：

(x-a)²+(y-b)²＝r²

式中：(a,b)為圓心坐標，r為圓的半徑。確定a、b、r 3個未知的參數，需要在圓上取3個點(x₁,y₁)、(x₂,y₂)、(x₃,y₃)，將3個點代入上式中得到方程組：

(x₁-a)²+(y₁-b)²＝r²

(x₂-a)²+(y₂-b)²＝r²

(x₃-a)²+(y₃-b)²＝r²

求解方程組可得到圓心坐標(a,b)和半徑r。

隨機Hough變換的原理為在圖像中所有的邊緣點中隨機選取3個點，確定圓心坐標(a₁,b₁)和半徑r₁。然后取在第4點(x₄,y₄)代入第一個方程中，求出半徑r₄，將r₄代入下式中：

r₄-r₁＝δ₁

δ為預先設定的誤差值，當δ₁小于δ時，確定為候選圓。確定候選圓后，取所有點代入計算，當δ_1-i小于δ時累加器加1，當累加器的值達到預定閾值時，確定為1個真圓。

本發(fā)明中，控制平臺1根據所有智能視覺機器人21、24、25、27、28、29返回的元件信息、成品數量信息會動態(tài)地更新傳送裝置23上現有的元件數量、傳送裝置23上現有的加工好的成品、累計加工好的成品數量，當傳送裝置23上現有的元件數量超過閾值時，控制平臺1將向上料智能視覺機器人21發(fā)送暫停上料的命令，并且讓上料智能視覺機器人21去協(xié)助下料智能機器人27去完成成品下料工作，當傳送裝置23上現有的元件數量小于某一閾值時，控制平臺1會通知下料智能機器人27去協(xié)助上料機器人21完成上料工作，當傳送裝置23上現有的加工好的成品數量超過某一閾值時，控制平臺1會通知上料智能視覺機器人21暫停上料工作，并通知上料智能視覺機器人211協(xié)助下料智能視覺機器人27完成成品下料工作，當合格成品的數量滿足訂單要求時，控制平臺1向所有智能視覺機器人21、24、25、27、28、29發(fā)出完成任務指令，并且等待上料區(qū)智能視覺機器人21發(fā)出的傳送裝置23清空指令，接收到該指令后，控制平臺1向視覺機器人工作平臺2發(fā)送停止指令，所有智能視覺機器人21、24、25、27、28、29進入待機狀態(tài)，傳送裝置23停止。