本發(fā)明屬于機(jī)器視覺技術(shù)領(lǐng)域,具體是涉及一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位方法及系統(tǒng)。
背景技術(shù):
:
在工業(yè)生產(chǎn)過程中,上下料是不可或缺且多次出現(xiàn)的生產(chǎn)工序。當(dāng)前工業(yè)生產(chǎn)過程中根據(jù)來料的體積和重量采用不同的上下料方式,比如使用振動(dòng)盤對(duì)體積、重量較小的工件(如:螺釘)進(jìn)行有序排列并供料給鎖螺絲機(jī)等設(shè)備;對(duì)于體積、重量中等且容易損壞的工件由人工手動(dòng)進(jìn)行拾取和放置;對(duì)于體積、重量較大且生產(chǎn)環(huán)境惡劣的工件,使用機(jī)器視覺引導(dǎo)工業(yè)機(jī)器人對(duì)工件進(jìn)行上下料(如給沖壓、鑄造等設(shè)備上下料)。隨著全世界范圍人工成本的提高,中國人口紅利的逐漸消失以及機(jī)器人技術(shù)、機(jī)器視覺技術(shù)在過去幾十年的蓬勃發(fā)展,加上工業(yè)機(jī)器人和機(jī)器視覺在工業(yè)領(lǐng)域應(yīng)用范圍的不斷拓展,使得機(jī)器視覺引導(dǎo)機(jī)器人上下料的方式越來越受廣大生產(chǎn)廠商的歡迎。康耐視(COGNEX)、基恩士(KEYENCE)、大恒等國內(nèi)外視覺公司以及庫卡(KUKA)、ABB、安川(Yaskawa)、發(fā)那科(FANUC)等工業(yè)機(jī)器人生產(chǎn)廠商相繼提出各自的工業(yè)機(jī)器人視覺引導(dǎo)方案。目前存在的視覺引導(dǎo)方案基本工作流程為:使用工業(yè)相機(jī)對(duì)工件進(jìn)行拍照,利用機(jī)器視覺技術(shù)獲得目標(biāo)工件與標(biāo)準(zhǔn)姿態(tài)之間存在的偏差,繼而規(guī)劃工業(yè)機(jī)器人的抓取路徑,完成工件的上下料。
盡管機(jī)器視覺技術(shù)可以適用于對(duì)相機(jī)視場(chǎng)范圍內(nèi)不同體積和重量的工件上下料工序進(jìn)行引導(dǎo),但機(jī)器視覺方法的正確率和精度卻對(duì)待測(cè)工件的形貌特征非常敏感,也就是說沒有某一種機(jī)器視覺算法能夠適用于所有工件,當(dāng)前機(jī)器視覺方法必須根據(jù)具體工件的局部幾何形狀特征來選取特定的算法。每當(dāng)更換生產(chǎn)工件時(shí),需要根據(jù)工件自身局部幾何形狀特征開發(fā)對(duì)應(yīng)的識(shí)別與定位算法,當(dāng)下的工業(yè)機(jī)器人視覺引導(dǎo)方案針對(duì)不同工件缺乏通用性,嚴(yán)重限制了生產(chǎn)效率。除此之外,目前實(shí)現(xiàn)的機(jī)器視覺引導(dǎo)工業(yè)機(jī)器人上下料方案,工件需要按照一定姿態(tài)進(jìn)入相機(jī)視野且只能獲得工件相對(duì)于標(biāo)準(zhǔn)姿態(tài)在XOY平面的位置偏差和繞Z軸的偏轉(zhuǎn)角,不能完全獲得工件的三維位置和姿態(tài)信息。所以,為了提高工業(yè)生產(chǎn)中機(jī)器人的工作效率,需要研發(fā)基于三維視覺的通用物體識(shí)別及精確的三維空間定位方法。
技術(shù)實(shí)現(xiàn)要素:
:
為解決上述工業(yè)機(jī)器人視覺引導(dǎo)方案對(duì)工件上下料存在的局限性,本發(fā)明提出一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位方法及系統(tǒng),檢測(cè)各種不同工件時(shí)無需根據(jù)工件自身局部幾何形狀特征(如:圓、孔洞等特征)再次開發(fā)或修改識(shí)別與定位算法,只需導(dǎo)入工件模型,本發(fā)明中提出的算法會(huì)自動(dòng)提取和描述目標(biāo)工件的關(guān)鍵特征,并將其用于實(shí)際工作場(chǎng)景中目標(biāo)識(shí)別以及三維位置和姿態(tài)的計(jì)算。
為達(dá)到上述目的,本發(fā)明的技術(shù)方案如下:
一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位方法,包括如下步驟:
S1:離線特征提取,導(dǎo)入工件模型,計(jì)算并創(chuàng)建數(shù)據(jù)庫。
S2:在線特征匹配,獲取最終的目標(biāo)識(shí)別與定位結(jié)果。
所述步驟S1具體包括如下步驟:
S11:導(dǎo)入工件的模型點(diǎn)云。
S12:計(jì)算模型點(diǎn)云中各個(gè)點(diǎn)對(duì)應(yīng)的法向量。
S13:在模型點(diǎn)云中隨機(jī)選取一個(gè)模型點(diǎn)對(duì),計(jì)算所述模型點(diǎn)對(duì)對(duì)應(yīng)的模型點(diǎn)對(duì)特征。
S14:重復(fù)所述步驟S13,獲取模型點(diǎn)云中一定數(shù)量的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征,使用上述獲取的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征創(chuàng)建數(shù)據(jù)庫。
所述步驟S2具體包括如下步驟:
S21:采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù),即獲取了工件的場(chǎng)景點(diǎn)云,對(duì)所述場(chǎng)景點(diǎn)云進(jìn)行預(yù)處理。
S22:計(jì)算預(yù)處理后的場(chǎng)景點(diǎn)云中各個(gè)空間點(diǎn)對(duì)應(yīng)的法向量。
S23:在場(chǎng)景點(diǎn)云中隨機(jī)選取一個(gè)場(chǎng)景點(diǎn)對(duì),計(jì)算所述場(chǎng)景點(diǎn)對(duì)對(duì)應(yīng)的場(chǎng)景點(diǎn)對(duì)特征。
S24:特征匹配,使用所述場(chǎng)景點(diǎn)對(duì)特征在所述步驟S14創(chuàng)建的數(shù)據(jù)庫中查找具有相同特征的模型點(diǎn)對(duì)。
S25:使用具有相同特征的模型點(diǎn)對(duì)和場(chǎng)景點(diǎn)對(duì)產(chǎn)生位姿假設(shè)。
S26:對(duì)步驟S25中產(chǎn)生的位姿假設(shè)進(jìn)行匹配質(zhì)量評(píng)估。
S27:多次循環(huán)步驟S23~S26,獲取匹配質(zhì)量最優(yōu)的一個(gè)位姿假設(shè)作為最終的目標(biāo)識(shí)別與定位結(jié)果。
作為上述技術(shù)方案的優(yōu)選,所述步驟S13中:
所述模型點(diǎn)對(duì)由模型點(diǎn)云中任意兩點(diǎn)及各自法向量組成。
作為上述技術(shù)方案的優(yōu)選,所述步驟S21中:
使用3D相機(jī)采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù)。
作為上述技術(shù)方案的優(yōu)選,所述步驟S21中:
所述預(yù)處理包括濾波及去噪處理,用于去除場(chǎng)景點(diǎn)云中噪聲點(diǎn)及離群點(diǎn)。
作為上述技術(shù)方案的優(yōu)選,所述步驟S23中:
所述場(chǎng)景點(diǎn)對(duì)由場(chǎng)景點(diǎn)云中任意兩點(diǎn)及其各自法向量組成。
一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位系統(tǒng),包括:
離線特征提取模塊,所述離線特征提取模塊用于導(dǎo)入工件模型,計(jì)算并創(chuàng)建數(shù)據(jù)庫。
在線特征匹配模塊,所述在線特征匹配模塊用于獲取最終的目標(biāo)識(shí)別與定位結(jié)果。
所述離線特征模塊具體包括:
模型點(diǎn)云加載子模塊,所述模型點(diǎn)云加載子模塊用于導(dǎo)入工件的模型點(diǎn)云。
模型點(diǎn)云法向量計(jì)算子模塊,所述模型點(diǎn)云法向量計(jì)算子模塊用于計(jì)算模型點(diǎn)云中各個(gè)點(diǎn)對(duì)應(yīng)的法向量。
模型點(diǎn)對(duì)特征計(jì)算子模塊,所述模型點(diǎn)對(duì)特征計(jì)算子模塊用于在模型點(diǎn)云中隨機(jī)選取一個(gè)模型點(diǎn)對(duì),計(jì)算所述模型點(diǎn)對(duì)對(duì)應(yīng)的模型點(diǎn)對(duì)特征。
數(shù)據(jù)庫創(chuàng)建子模塊,所述數(shù)據(jù)庫創(chuàng)建子模塊用于重復(fù)所述模型點(diǎn)對(duì)特征計(jì)算子模塊中的計(jì)算方法,獲取模型點(diǎn)云中一定數(shù)量的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征,使用上述獲取的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征創(chuàng)建數(shù)據(jù)庫。
所述在線特征匹配模塊具體包括:
場(chǎng)景點(diǎn)云獲取子模塊,所述場(chǎng)景點(diǎn)云獲取子模塊用于采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù),即獲取了工件的場(chǎng)景點(diǎn)云,對(duì)所述場(chǎng)景點(diǎn)云進(jìn)行預(yù)處理。
場(chǎng)景點(diǎn)云法向量計(jì)算子模塊,所述場(chǎng)景點(diǎn)云法向量計(jì)算子模塊用于計(jì)算預(yù)處理后的場(chǎng)景點(diǎn)云中各個(gè)空間點(diǎn)對(duì)應(yīng)的法向量。
場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊,所述場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊用于在場(chǎng)景點(diǎn)云中隨機(jī)選取一個(gè)場(chǎng)景點(diǎn)對(duì),計(jì)算所述場(chǎng)景點(diǎn)對(duì)對(duì)應(yīng)的場(chǎng)景點(diǎn)對(duì)特征。
特征匹配子模塊,所述特征匹配子模塊用于使用所述場(chǎng)景點(diǎn)對(duì)特征在所述數(shù)據(jù)庫創(chuàng)建子模塊創(chuàng)建的數(shù)據(jù)庫中查找具有相同特征的模型點(diǎn)對(duì)。
位姿假設(shè)子模塊,所述位姿假設(shè)子模塊用于使用具有相同特征的模型點(diǎn)對(duì)和場(chǎng)景點(diǎn)對(duì)產(chǎn)生位姿假設(shè)。
匹配質(zhì)量評(píng)估子模塊,所述匹配質(zhì)量評(píng)估子模塊用于對(duì)位姿假設(shè)子模塊中產(chǎn)生的位姿假設(shè)進(jìn)行匹配質(zhì)量評(píng)估。
目標(biāo)識(shí)別與定位結(jié)果獲取子模塊,所述目標(biāo)識(shí)別與定位結(jié)果獲取子模塊用于多次循環(huán)場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊~匹配質(zhì)量評(píng)估子模塊中的操作,獲取匹配質(zhì)量最優(yōu)的一個(gè)位姿假設(shè)作為最終的目標(biāo)識(shí)別與定位結(jié)果。
作為上述技術(shù)方案的優(yōu)選,所述模型點(diǎn)對(duì)特征計(jì)算子模塊中:
所述模型點(diǎn)對(duì)由模型點(diǎn)云中任意兩點(diǎn)及各自法向量組成。
作為上述技術(shù)方案的優(yōu)選,所述場(chǎng)景點(diǎn)云獲取子模塊中:
使用3D相機(jī)采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù)。
作為上述技術(shù)方案的優(yōu)選,所述場(chǎng)景點(diǎn)云獲取子模塊中:
所述預(yù)處理包括濾波及去噪處理,用于去除場(chǎng)景點(diǎn)云中噪聲點(diǎn)及離群點(diǎn)。
作為上述技術(shù)方案的優(yōu)選,所述場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊中:
所述場(chǎng)景點(diǎn)對(duì)由場(chǎng)景點(diǎn)云中任意兩點(diǎn)及其各自法向量組成。
本發(fā)明的有益效果在于:本發(fā)明把工業(yè)生產(chǎn)上下料中目標(biāo)工件的識(shí)別與定位過程分為離線特征提取和在線特征匹配兩個(gè)模塊,大大減少了實(shí)時(shí)階段的計(jì)算量,提高了運(yùn)算速度。本發(fā)明引入了匹配質(zhì)量評(píng)估以獲得精確的工件三維位置和姿態(tài),從而控制工業(yè)機(jī)器人以相應(yīng)姿態(tài)抓取被識(shí)別的工件。傳統(tǒng)的機(jī)器視覺方法需要根據(jù)工件局部幾何形狀特征(如:圓、孔洞等特征)開發(fā)對(duì)應(yīng)的識(shí)別與定位算法,本發(fā)明能夠進(jìn)行通用的識(shí)別與精確的定位,對(duì)不同的工件不需進(jìn)行算法的重新開發(fā),節(jié)省了開發(fā)時(shí)間,大大提高生產(chǎn)效率。此外,傳統(tǒng)的機(jī)器人上下料方案要求工件按照一定姿態(tài)進(jìn)入相機(jī)視野并且只能獲得工件相對(duì)于標(biāo)準(zhǔn)姿態(tài)在XOY平面的位置偏差和繞Z軸的偏轉(zhuǎn)角,本發(fā)明對(duì)工件在相機(jī)視野中的姿態(tài)沒有任何要求(工件可以離散放置,也可以相互重疊、相互遮擋),并且能夠完全獲得目標(biāo)工件的三維位置和姿態(tài)。
附圖說明:
以下附圖僅旨在于對(duì)本發(fā)明做示意性說明和解釋,并不限定本發(fā)明的范圍。其中:
圖1為本發(fā)明一個(gè)實(shí)施例的一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位方法流程圖;
圖2為本發(fā)明一個(gè)實(shí)施例的點(diǎn)對(duì)特征查詢數(shù)據(jù)庫示意圖;
圖3為本發(fā)明一個(gè)實(shí)施例的一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位系統(tǒng)框圖。
具體實(shí)施方式:
實(shí)施例1
如圖1所示,本實(shí)施例提供一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位方法,包括如下步驟:
S1:離線特征提取,導(dǎo)入工件模型,計(jì)算并創(chuàng)建數(shù)據(jù)庫。
所述步驟S1具體包括如下步驟:
S11:導(dǎo)入工件的模型點(diǎn)云。
S12:計(jì)算模型點(diǎn)云中各個(gè)點(diǎn)對(duì)應(yīng)的法向量。
S13:在模型點(diǎn)云中隨機(jī)選取一個(gè)模型點(diǎn)對(duì),計(jì)算所述模型點(diǎn)對(duì)對(duì)應(yīng)的模型點(diǎn)對(duì)特征。所述模型點(diǎn)對(duì)由模型點(diǎn)云中任意兩點(diǎn)及各自法向量組成。
S14:重復(fù)所述步驟S13,獲取模型點(diǎn)云中一定數(shù)量的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征,使用上述獲取的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征創(chuàng)建數(shù)據(jù)庫。
S2:在線特征匹配,獲取最終的目標(biāo)識(shí)別與定位結(jié)果。
所述步驟S2具體包括如下步驟:
S21:采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù),即獲取了工件的場(chǎng)景點(diǎn)云,對(duì)所述場(chǎng)景點(diǎn)云進(jìn)行預(yù)處理。本實(shí)施例中,使用3D相機(jī)采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù)。所述預(yù)處理包括濾波及去噪處理,用于去除場(chǎng)景點(diǎn)云中噪聲點(diǎn)及離群點(diǎn)。
S22:計(jì)算預(yù)處理后的場(chǎng)景點(diǎn)云中各個(gè)空間點(diǎn)對(duì)應(yīng)的法向量。
S23:在場(chǎng)景點(diǎn)云中隨機(jī)選取一個(gè)場(chǎng)景點(diǎn)對(duì),計(jì)算所述場(chǎng)景點(diǎn)對(duì)對(duì)應(yīng)的場(chǎng)景點(diǎn)對(duì)特征。所述場(chǎng)景點(diǎn)對(duì)由場(chǎng)景點(diǎn)云中任意兩點(diǎn)及其各自法向量組成。
S24:特征匹配,使用所述場(chǎng)景點(diǎn)對(duì)特征在所述步驟S14創(chuàng)建的數(shù)據(jù)庫中查找具有相同特征的模型點(diǎn)對(duì)。查詢過程如圖2所示,其中S1和S2為場(chǎng)景點(diǎn)云中的場(chǎng)景點(diǎn)對(duì),n1和n2為場(chǎng)景點(diǎn)對(duì)的法向量,k為數(shù)據(jù)庫,(Ma,Mb)(Mc,Md)(Me,Mf)…為模型點(diǎn)云中的與所述場(chǎng)景點(diǎn)對(duì)具有相同特征的模型點(diǎn)對(duì)。
S25:使用具有相同特征的模型點(diǎn)對(duì)(來自模型點(diǎn)云)和場(chǎng)景點(diǎn)對(duì)(來自場(chǎng)景點(diǎn)云)產(chǎn)生位姿假設(shè)。其中位姿假設(shè):對(duì)特征一致的模型點(diǎn)對(duì)和場(chǎng)景點(diǎn)對(duì)分別建立局部坐標(biāo)系,計(jì)算兩個(gè)局部坐標(biāo)系間的相對(duì)位姿,將該位姿作為模型和場(chǎng)景間的匹配位姿。
S26:對(duì)步驟S25中產(chǎn)生的位姿假設(shè)進(jìn)行匹配質(zhì)量評(píng)估。其中匹配質(zhì)量評(píng)估的方案有以下四種:
方案1:場(chǎng)景點(diǎn)云中的重合點(diǎn)個(gè)數(shù)。首先根據(jù)匹配位姿來更新模型點(diǎn)云,然后對(duì)場(chǎng)景點(diǎn)云中的每個(gè)點(diǎn),利用Kd-tree計(jì)算出模型點(diǎn)云中與它最近的點(diǎn),兩點(diǎn)之間的距離大于預(yù)先給定的閾值t1時(shí)認(rèn)為該場(chǎng)景點(diǎn)是重合點(diǎn)。當(dāng)重合點(diǎn)的總個(gè)數(shù)大于預(yù)先給定的閾值t2時(shí)認(rèn)為模型和場(chǎng)景匹配,否則不匹配。
方案2:模型點(diǎn)云中的重合點(diǎn)個(gè)數(shù)。首先根據(jù)匹配位姿來更新模型點(diǎn)云,然后對(duì)模型點(diǎn)云中的每個(gè)點(diǎn),利用Kd-tree計(jì)算出場(chǎng)景點(diǎn)云中與它最近的點(diǎn),兩點(diǎn)之間的距離大于預(yù)先給定的閾值t1時(shí)認(rèn)為該模型點(diǎn)是重合點(diǎn)。當(dāng)重合點(diǎn)的總個(gè)數(shù)大于預(yù)先給定的閾值t2時(shí)認(rèn)為模型和場(chǎng)景匹配,否則不匹配。
方案3:場(chǎng)景點(diǎn)云中重合點(diǎn)所占的百分比。先按方案1的方法計(jì)算出場(chǎng)景點(diǎn)云中的重合點(diǎn)個(gè)數(shù),將該值除以場(chǎng)景點(diǎn)云的總點(diǎn)數(shù)得到重合點(diǎn)所占的百分比,該比值大于預(yù)先給定的閾值t2時(shí)認(rèn)為模型和場(chǎng)景匹配,否則不匹配。
方案4:模型點(diǎn)云中重合點(diǎn)所占的百分比。先按方案2的方法計(jì)算出模型點(diǎn)云中的重合點(diǎn)個(gè)數(shù),將該值除以模型點(diǎn)云的總點(diǎn)數(shù)得到重合點(diǎn)所占的百分比,該比值大于預(yù)先給定的閾值t2時(shí)認(rèn)為模型和場(chǎng)景匹配,否則不匹配。
本實(shí)施例基于以下2點(diǎn)考慮選定方案4作為優(yōu)選方案:
①對(duì)于不同的模型點(diǎn)云和場(chǎng)景點(diǎn)云,方案1和方案2的閾值t2不容易選定。
②方案3中場(chǎng)景點(diǎn)云的總點(diǎn)數(shù)受相機(jī)的視場(chǎng)影響較大。
S27:多次循環(huán)步驟S23~S26,獲取匹配質(zhì)量最優(yōu)的一個(gè)位姿假設(shè)作為最終的目標(biāo)識(shí)別與定位結(jié)果。
至此完成了在場(chǎng)景點(diǎn)云中對(duì)目標(biāo)工件的識(shí)別并定位出了目標(biāo)工件相對(duì)于工業(yè)機(jī)器人的三維位置和姿態(tài)信息,把該位姿信息傳遞給工業(yè)機(jī)器人即可完成目標(biāo)工件的上下料操作。
實(shí)施例2
如圖3所示,本實(shí)施例提供一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位系統(tǒng),包括:
離線特征提取模塊,所述離線特征提取模塊用于導(dǎo)入工件模型,計(jì)算并創(chuàng)建數(shù)據(jù)庫。
在線特征匹配模塊,所述在線特征匹配模塊用于獲取最終的目標(biāo)識(shí)別與定位結(jié)果。
所述離線特征模塊具體包括:
模型點(diǎn)云加載子模塊,所述模型點(diǎn)云加載子模塊用于導(dǎo)入工件的模型點(diǎn)云。
模型點(diǎn)云法向量計(jì)算子模塊,所述模型點(diǎn)云法向量計(jì)算模塊用于計(jì)算模型點(diǎn)云中各個(gè)點(diǎn)對(duì)應(yīng)的法向量。
模型點(diǎn)對(duì)特征計(jì)算子模塊,所述模型點(diǎn)對(duì)特征計(jì)算子模塊用于在模型點(diǎn)云中隨機(jī)選取一個(gè)模型點(diǎn)對(duì),計(jì)算所述模型點(diǎn)對(duì)對(duì)應(yīng)的模型點(diǎn)對(duì)特征。所述模型點(diǎn)對(duì)由模型點(diǎn)云中任意兩點(diǎn)及各自法向量組成。
數(shù)據(jù)庫創(chuàng)建子模塊,所述數(shù)據(jù)庫創(chuàng)建子模塊用于重復(fù)所述模型點(diǎn)對(duì)特征計(jì)算子模塊中的計(jì)算方法,獲取模型點(diǎn)云中一定數(shù)量的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征,使用上述獲取的模型點(diǎn)對(duì)及其對(duì)應(yīng)的模型點(diǎn)對(duì)特征創(chuàng)建數(shù)據(jù)庫。
所述在線特征匹配模塊具體包括:
場(chǎng)景點(diǎn)云獲取子模塊,所述場(chǎng)景點(diǎn)云獲取子模塊用于采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù),即獲取了工件的場(chǎng)景點(diǎn)云,對(duì)所述場(chǎng)景點(diǎn)云進(jìn)行預(yù)處理。本實(shí)施例中,使用3D相機(jī)采集工件所在場(chǎng)景的三維點(diǎn)云數(shù)據(jù)。所述預(yù)處理包括濾波及去噪處理,用于去除場(chǎng)景點(diǎn)云中噪聲點(diǎn)及離群點(diǎn)。
場(chǎng)景點(diǎn)云法向量計(jì)算子模塊,所述場(chǎng)景點(diǎn)云法向量計(jì)算子模塊用于計(jì)算預(yù)處理后的場(chǎng)景點(diǎn)云中各個(gè)空間點(diǎn)對(duì)應(yīng)的法向量。
場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊,所述場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊用于在場(chǎng)景點(diǎn)云中隨機(jī)選取一個(gè)場(chǎng)景點(diǎn)對(duì),計(jì)算所述場(chǎng)景點(diǎn)對(duì)對(duì)應(yīng)的場(chǎng)景點(diǎn)對(duì)特征。所述場(chǎng)景點(diǎn)對(duì)由場(chǎng)景點(diǎn)云中任意兩點(diǎn)及其各自法向量組成。
特征匹配子模塊,所述特征匹配子模塊用于使用所述場(chǎng)景點(diǎn)對(duì)特征在所述數(shù)據(jù)庫創(chuàng)建子模塊創(chuàng)建的數(shù)據(jù)庫中查找具有相同特征的模型點(diǎn)對(duì)。
位姿假設(shè)子模塊,所述位姿假設(shè)子模塊用于使用具有相同特征的模型點(diǎn)對(duì)和場(chǎng)景點(diǎn)對(duì)產(chǎn)生位姿假設(shè)。
匹配質(zhì)量評(píng)估子模塊,所述匹配質(zhì)量評(píng)估子模塊用于對(duì)位姿假設(shè)子模塊中產(chǎn)生的位姿假設(shè)進(jìn)行匹配質(zhì)量評(píng)估。
目標(biāo)識(shí)別與定位結(jié)果獲取子模塊,所述目標(biāo)識(shí)別與定位結(jié)果獲取子模塊用于多次循環(huán)場(chǎng)景點(diǎn)對(duì)特征計(jì)算子模塊~匹配質(zhì)量評(píng)估子模塊中的操作,獲取匹配質(zhì)量最優(yōu)的一個(gè)位姿假設(shè)作為最終的目標(biāo)識(shí)別與定位結(jié)果。
本發(fā)明提供了一種基于三維點(diǎn)云的目標(biāo)識(shí)別與定位方法及系統(tǒng),把工業(yè)生產(chǎn)上下料中目標(biāo)工件的識(shí)別與定位過程分為離線特征提取和在線特征匹配兩個(gè)模塊,大大減少了實(shí)時(shí)階段的計(jì)算量,提高了運(yùn)算速度。本發(fā)明引入了匹配質(zhì)量評(píng)估以獲得精確的工件三維位置和姿態(tài),從而控制工業(yè)機(jī)器人以相應(yīng)姿態(tài)抓取被識(shí)別的工件。傳統(tǒng)的機(jī)器視覺方法需要根據(jù)工件局部幾何形狀特征(如:圓、孔洞等特征)開發(fā)對(duì)應(yīng)的識(shí)別與定位算法,本發(fā)明能夠進(jìn)行通用的識(shí)別與精確的定位,對(duì)不同的工件不需進(jìn)行算法的重新開發(fā),節(jié)省了開發(fā)時(shí)間,大大提高生產(chǎn)效率。此外,傳統(tǒng)的機(jī)器人上下料方案要求工件按照一定姿態(tài)進(jìn)入相機(jī)視野并且只能獲得工件相對(duì)于標(biāo)準(zhǔn)姿態(tài)在XOY平面的位置偏差和繞Z軸的偏轉(zhuǎn)角,本發(fā)明對(duì)工件在相機(jī)視野中的姿態(tài)沒有任何要求(工件可以離散放置,也可以相互重疊、相互遮擋),并且能夠完全獲得目標(biāo)工件的三維位置和姿態(tài)。
顯然,上述實(shí)施例僅僅是為清楚地說明所作的舉例,而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說,在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無需也無法對(duì)所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動(dòng)仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。