一種激光視覺(jué)引導(dǎo)的焊接機(jī)器人全自動(dòng)運(yùn)動(dòng)自標(biāo)定方法
【專(zhuān)利摘要】本發(fā)明通過(guò)深入分析相機(jī)的成像原理、激光結(jié)構(gòu)光測(cè)量原理和手眼系統(tǒng)工作原理，設(shè)計(jì)了一種簡(jiǎn)單靈活的激光結(jié)構(gòu)光引導(dǎo)的焊接機(jī)器人系統(tǒng)的全自動(dòng)標(biāo)定方法，其中包括傳感器參數(shù)標(biāo)定(包括相機(jī)內(nèi)參數(shù)和線激光平面參數(shù)方程標(biāo)定)和手眼關(guān)系矩陣標(biāo)定，并進(jìn)行了工件偏移修正。該標(biāo)定方法克服了傳統(tǒng)內(nèi)參標(biāo)定、激光平面方程和手眼矩陣標(biāo)定需要專(zhuān)業(yè)人員參與、標(biāo)定步驟繁瑣的缺點(diǎn)。該方法只需要4個(gè)給定位姿和機(jī)器人自動(dòng)進(jìn)行的6組平移運(yùn)動(dòng)，即可實(shí)現(xiàn)激光結(jié)構(gòu)光引導(dǎo)的焊接機(jī)器人系統(tǒng)的全自動(dòng)標(biāo)定。該方法使得激光結(jié)構(gòu)光引導(dǎo)焊接機(jī)器人系統(tǒng)的標(biāo)定流程化、自動(dòng)化，大大增加了系統(tǒng)標(biāo)定的靈活性，對(duì)實(shí)際的視覺(jué)測(cè)量和三維跟蹤具有重要意義，具有良好的實(shí)用性。
【專(zhuān)利說(shuō)明】一種激光視覺(jué)引導(dǎo)的焊接機(jī)器人全自動(dòng)運(yùn)動(dòng)自標(biāo)定方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種機(jī)器人激光結(jié)構(gòu)光視覺(jué)傳感器及其標(biāo)定方法，具體是指基于線激光結(jié)構(gòu)光視覺(jué)傳感器引導(dǎo)的焊接機(jī)器人手眼系統(tǒng)中手眼關(guān)系矩陣和傳感器參數(shù)(包括相機(jī)內(nèi)參數(shù)和線激光平面參數(shù))的全自動(dòng)運(yùn)動(dòng)自標(biāo)定方法。
技術(shù)背景.[0002]焊接作為材料加工的一種重要手段在工業(yè)生產(chǎn)中得到廣泛應(yīng)用。由于諸多因素的推動(dòng)，如焊接質(zhì)量的穩(wěn)定性、應(yīng)用的靈活性、操作的安全性及經(jīng)濟(jì)性等，焊接過(guò)程自動(dòng)化、機(jī)器人化已成為趨勢(shì)。焊接機(jī)器人在制造業(yè)技術(shù)改造、提高焊接質(zhì)量、減少工人勞動(dòng)強(qiáng)度、改善焊接勞動(dòng)條件、保證焊接穩(wěn)定性等方面顯示了比較高的優(yōu)越性。實(shí)現(xiàn)焊接自動(dòng)化的關(guān)鍵問(wèn)題是焊縫的自動(dòng)跟蹤，激光視覺(jué)引導(dǎo)的焊接機(jī)器人將焊縫圖像識(shí)別與機(jī)器人運(yùn)動(dòng)控制技術(shù)結(jié)合，能夠有效解決焊縫自動(dòng)跟蹤難題。采用激光結(jié)構(gòu)光作為主動(dòng)光視覺(jué)傳感器已經(jīng)成為當(dāng)前焊接機(jī)器人視覺(jué)系統(tǒng)的主流。視覺(jué)系統(tǒng)標(biāo)定是指對(duì)視覺(jué)傳感器參數(shù)和傳感器與機(jī)器人本體之間關(guān)系的求取。標(biāo)定在視覺(jué)測(cè)量系統(tǒng)中是非常關(guān)鍵且重要的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性與實(shí)時(shí)性，直接影響到工業(yè)生產(chǎn)過(guò)程中測(cè)量與跟蹤的精度。
[0003]焊接機(jī)器人激光視覺(jué)系統(tǒng)需要進(jìn)行三個(gè)方面的標(biāo)定，包括相機(jī)標(biāo)定、激光結(jié)構(gòu)光參數(shù)標(biāo)定和機(jī)器人手眼標(biāo)定。相機(jī)標(biāo)定就是根據(jù)一定的相機(jī)模型求取相機(jī)的內(nèi)部參數(shù)和外部參數(shù)。Faugeras等的線性模型相機(jī)內(nèi)外參數(shù)標(biāo)定方法和Tsai的基于徑向約束的兩步法(two-stage)標(biāo)定方法都采用立體靶標(biāo)，而Zhang Z Y.采用平面靶標(biāo)，在非線性相機(jī)模型下線性標(biāo)定相機(jī)參數(shù)。Ma S.D不需要特定的標(biāo)定靶標(biāo)，通過(guò)相機(jī)在三維空間內(nèi)作兩組平移運(yùn)動(dòng)，也實(shí)現(xiàn)了相機(jī)參數(shù)的標(biāo)定。線激光結(jié)構(gòu)光參數(shù)標(biāo)定就是標(biāo)定激光器投射的激光平面的方程。其求取有若干方法，如R.Dewar提出的拉絲標(biāo)定方法；D.Q.Huynh提出的交比不變性標(biāo)定方法；陳天飛等提出的基于主動(dòng)視覺(jué)的標(biāo)定方法，無(wú)需靶標(biāo)，通過(guò)控制機(jī)器人做特定運(yùn)動(dòng)即可實(shí)現(xiàn)激光結(jié)構(gòu)光參數(shù)標(biāo)定，具有較強(qiáng)的魯棒性，實(shí)施方法簡(jiǎn)單，特征易提取，滿足現(xiàn)場(chǎng)標(biāo)定要求。焊接機(jī)器人常采用Eye-1n-Hand模式，手眼標(biāo)定就是要獲得視覺(jué)系統(tǒng)與機(jī)器人末端坐標(biāo)系之間的關(guān)系。常用的機(jī)器人手眼標(biāo)定方法是利用已知標(biāo)定參考物(標(biāo)定物)，控制機(jī)器人在不同方位觀察空間一個(gè)已知的標(biāo)定參考物，從而推導(dǎo)手眼矩陣旋轉(zhuǎn)和平移部分R和t ;然而不使用靶標(biāo)，通過(guò)控制機(jī)器人做特定運(yùn)動(dòng)實(shí)現(xiàn)手眼矩陣的標(biāo)定可有效提高標(biāo)定自動(dòng)化、流程化。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是克服現(xiàn)有標(biāo)定技術(shù)中對(duì)靶標(biāo)制作精度要求高，和對(duì)標(biāo)定人員專(zhuān)業(yè)要求高的不足，提供一種基于線激光結(jié)構(gòu)光視覺(jué)傳感器引導(dǎo)的焊接機(jī)器人系統(tǒng)全自動(dòng)自標(biāo)定方法，標(biāo)定過(guò)程無(wú)需人參與，全自動(dòng)實(shí)現(xiàn)相機(jī)參數(shù)、激光結(jié)構(gòu)光參數(shù)及手眼矩陣的標(biāo)定。算法簡(jiǎn)單靈活、精度高、實(shí)時(shí)性強(qiáng)、可操作性強(qiáng)。
[0005]按照本發(fā)明提供的技術(shù)方案，所述激光結(jié)構(gòu)光視覺(jué)傳感器引導(dǎo)焊接機(jī)器人全自動(dòng)標(biāo)定方法如下:
[0006]第一步，將標(biāo)定物放置在機(jī)器人工作區(qū)域內(nèi)，給定機(jī)器人一初始位姿T0，保證標(biāo)定物位于相機(jī)視野內(nèi)?？刂茩C(jī)器人做線性無(wú)關(guān)的平移運(yùn)動(dòng)，提取特征點(diǎn)，自動(dòng)匹配，求解擴(kuò)展焦點(diǎn)F0E。判斷每次運(yùn)動(dòng)是否符合對(duì)擴(kuò)展焦點(diǎn)FOE的標(biāo)定要求，不符合則刪除該次運(yùn)動(dòng)，符合則保留該次運(yùn)動(dòng)，存儲(chǔ)此次運(yùn)動(dòng)首末端位姿Tn、Ti2和FOE點(diǎn)坐標(biāo)。繼續(xù)下一組運(yùn)動(dòng)，直至有四組滿足要求的運(yùn)動(dòng)。根據(jù)Ma S.D關(guān)于擴(kuò)展焦點(diǎn)(FOE)的性質(zhì)，擴(kuò)展焦點(diǎn)ei在相機(jī)坐標(biāo)系的歸一化坐標(biāo)表不相機(jī)平移在平移前的相機(jī)坐標(biāo)系中的方向；結(jié)合機(jī)器人平移向量kbp可線性求解相機(jī)內(nèi)參數(shù)矩陣
【權(quán)利要求】
1.一種激光視覺(jué)引導(dǎo)的焊接機(jī)器人全自動(dòng)運(yùn)動(dòng)自標(biāo)定方法，其特征是，實(shí)現(xiàn)標(biāo)定過(guò)程中無(wú)需人的參與，自動(dòng)地進(jìn)行平移和旋轉(zhuǎn)運(yùn)動(dòng)，提高標(biāo)定自動(dòng)化、流程化；該標(biāo)定算法使用工業(yè)現(xiàn)場(chǎng)常見(jiàn)的直角三角形標(biāo)定物，將其放在工作視野內(nèi)，實(shí)現(xiàn)三角形角點(diǎn)的快速定位，并自動(dòng)匹配；深入分析手眼系統(tǒng)的數(shù)學(xué)模型，通過(guò)至少四次滿足要求的自動(dòng)運(yùn)動(dòng)，將內(nèi)參數(shù)矩陣和手眼矩陣旋轉(zhuǎn)部分作為一個(gè)整體求解，得到內(nèi)參數(shù)矩陣和手眼矩陣的旋轉(zhuǎn)部分；通過(guò)設(shè)定的自動(dòng)運(yùn)動(dòng)算法，自動(dòng)實(shí)現(xiàn)兩組滿足要求的平移運(yùn)動(dòng)，求解光平面法向量信息；最后通過(guò)給定的三個(gè)位姿，得到手眼矩陣平移部分和各特征點(diǎn)的深度值，求解特征點(diǎn)在機(jī)器人基坐標(biāo)系的坐標(biāo)信息，用于標(biāo)定激光平面的深度信息；整個(gè)算法包括以下幾個(gè)模塊: 內(nèi)參數(shù)和手眼矩陣旋轉(zhuǎn)部分標(biāo)定模塊，將標(biāo)定物放置在機(jī)器人工作區(qū)域內(nèi)，給定機(jī)器人一初始位姿T0，自動(dòng)進(jìn)行滿足要求的四組平移運(yùn)動(dòng)，自動(dòng)匹配特征點(diǎn)，計(jì)算FOE點(diǎn)；根據(jù)運(yùn)動(dòng)信息和FOE點(diǎn)標(biāo)定內(nèi)參數(shù)K和手眼矩陣旋轉(zhuǎn)部分R ； 光平面法向量標(biāo)定模塊，給定機(jī)器人位姿Tl、T2(T1、T2位姿不同)，自動(dòng)進(jìn)行平移運(yùn)動(dòng)，采集五幅帶光條的圖像，計(jì)算消隱點(diǎn)，進(jìn)而得到光平面的法向量(ai，a2，a3)； 手眼矩陣平移部分和光平面深度信息標(biāo)定模塊，給定機(jī)器人位姿T3(T3與Tl、T2位姿不同)，Tl、T2和T3三位姿特征點(diǎn)坐標(biāo)，結(jié)合手眼關(guān)系，求解得到手眼矩陣的平移部分t和三個(gè)特征點(diǎn)在機(jī)器人基坐標(biāo)系的坐標(biāo)；取光條上一點(diǎn)，進(jìn)行手眼關(guān)系變換，求解光平面深度信息，可得到光平面的方程； 工件末端修正模塊，完成激光視覺(jué)引導(dǎo)的焊接機(jī)器人系統(tǒng)的標(biāo)定后，控制焊接工件在固定末端位姿下對(duì)標(biāo)定物的特征點(diǎn)I精確點(diǎn)觸，計(jì)算出工件末端點(diǎn)在機(jī)器人坐標(biāo)下的坐標(biāo)值，計(jì)算出工件在該位姿下的偏移值。
2.如權(quán)利要求1所述特征點(diǎn)的自動(dòng)匹配，線性無(wú)關(guān)的平移運(yùn)動(dòng)的自動(dòng)選取具有如下特征: 2.1、特征點(diǎn)的自動(dòng)匹配中，提取標(biāo)定物特征點(diǎn)，并依據(jù)特征點(diǎn)的距離信息進(jìn)行自動(dòng)匹配； 2.2、確定運(yùn)動(dòng)方向中，設(shè)運(yùn)動(dòng)方向?yàn)?fi = (cos (i9)sin {(p) sin (i9)sin (<p) cos (<^)) n為沿機(jī)器人末端坐標(biāo)系方向，方向?yàn)闈M足自動(dòng)運(yùn)動(dòng)流程中條件點(diǎn)的中線方向，每次運(yùn)動(dòng)奶按下式取值吶= 7/2 Cl 一(-”卜1) +，其中外取31/6，1為運(yùn)動(dòng)次數(shù)；運(yùn)動(dòng)距離zb，根據(jù)特征點(diǎn)像素坐標(biāo)的變化與ZO的比例關(guān)系確定運(yùn)動(dòng)向量距離zb。
3.如權(quán)利要求1所述消隱點(diǎn)的求取，和激光平面法向量的求解具有如下特征:消隱點(diǎn)的求取中，對(duì)細(xì)化后得到的點(diǎn)采用最小二乘的方法進(jìn)行線方程擬合，并采用最小二乘優(yōu)化思想求解消隱點(diǎn)；求解光平面法向量時(shí)，根據(jù)兩相交直線確定一平面，確定光平面法向量(&1，&2，&3) °
4.如權(quán)利要求1第三步所述手眼矩陣平移部分的求解和光平面深度信息的標(biāo)定方法具有如下特征: `4.1、在手眼矩陣平移部分求取中，根據(jù)Tl，T2，T3位姿提取的特征點(diǎn)坐標(biāo)信息，結(jié)合機(jī)器人手眼系統(tǒng)中機(jī)器人基坐標(biāo)系-機(jī)器人末端坐標(biāo)系-相機(jī)坐標(biāo)系-圖像坐標(biāo)系之間的關(guān)系，求解得到手眼矩陣平移部分t和各特征點(diǎn)在相機(jī)坐標(biāo)系的深度值；`4.2、上述求解出的X中包含三個(gè)特征點(diǎn)在T3位姿下的深度值G i，通過(guò)G i可求解每個(gè)特征點(diǎn)在機(jī)器人基坐標(biāo)系的三維坐標(biāo)(xwi，ywi，Zwi)，其中(i = 1,2,3);由于三個(gè)不在同一直線上的點(diǎn)可確定一個(gè)平面，可得三個(gè)特征點(diǎn)確定的平面方程adX+t^y+CdZ+1 =O ;如圖5所示，在光條直線上任取一點(diǎn)將其齊次坐標(biāo)(ug，vg，I)，代入手眼系統(tǒng)關(guān)系式中，可得該點(diǎn)在機(jī)器人基坐標(biāo)系含一個(gè)未知數(shù)G g的坐標(biāo)G g(xwg, ywg, zwg)T，將坐標(biāo)帶入三個(gè)特征點(diǎn)確定的平面方程中，可求解e g，得到光點(diǎn)在基坐標(biāo)系的坐標(biāo)(xg，yg, zg)T，通過(guò)T3，手眼矩陣
【文檔編號(hào)】G05D1/02GK103558850SQ201310322092
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2013年7月26日 優(yōu)先權(quán)日:2013年7月26日
【發(fā)明者】李新, 郭新年, 白瑞林, 吉峰, 王秀平 申請(qǐng)人:無(wú)錫信捷電氣股份有限公司, 江南大學(xué)