專(zhuān)利名稱(chēng)：確定物體姿態(tài)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及對(duì)物體姿態(tài)的確定，并且更具體地，涉及鏡面的、大體呈圓柱形并具有如螺釘和螺栓上的螺紋的物體。
背景技術(shù)：
計(jì)算機(jī)視覺(jué)系統(tǒng)和方法常常用于如由工業(yè)機(jī)器人執(zhí)行的自動(dòng)化組裝任務(wù)。然而， 在許多工業(yè)環(huán)境中普遍存在的小而發(fā)亮或鏡面化的物體仍對(duì)計(jì)算機(jī)視覺(jué)應(yīng)用提出巨大挑戰(zhàn)。具有像鏡子那樣透明或半透明表面的物體具有經(jīng)常被作為噪聲源對(duì)待的材料特性，并且傳統(tǒng)的技術(shù)試圖抑制噪聲。這意味著由于難以抑制這些材料，傳統(tǒng)的計(jì)算機(jī)視覺(jué)技術(shù)而不能處理高度鏡面化或明顯呈半透明化的物體。計(jì)算機(jī)視覺(jué)已經(jīng)被應(yīng)用于從箱中拾取零件，其中主要問(wèn)題是確定物體在具有很多相同物體的箱中的姿態(tài)。如本文中所定義的，6D姿態(tài)是物體的3D位置和3D朝向。由于工業(yè)部件的金屬表面的鏡面反射以及很多相同物體在雜亂的箱中的遮蔽，計(jì)算機(jī)視覺(jué)系統(tǒng)的開(kāi)發(fā)具有很大挑戰(zhàn)?；谀Ｐ偷淖藨B(tài)估計(jì)確定3D模型與2D圖像的對(duì)應(yīng)性。但是，對(duì)于具有無(wú)定形表面的工業(yè)部件來(lái)說(shuō)，很難獲得3D-2D點(diǎn)對(duì)應(yīng)。當(dāng)多個(gè)相同的物體在箱中彼此重疊并出現(xiàn)遮蔽時(shí)，這種情況特別嚴(yán)重。物體輪廓提供了關(guān)于物體形狀和姿態(tài)的豐富信息。已知多種輪廓匹配方法。然而， 對(duì)于鏡面物體來(lái)說(shuō)，由于物體在圖像中不具有它們自身的外觀，相反，這些物體反射周?chē)沫h(huán)境，因此在雜亂的箱中獲得輪廓信息是困難的。距離傳感器被廣泛用于姿態(tài)估計(jì)問(wèn)題。距離數(shù)據(jù)可以用于生成和校驗(yàn)如線(xiàn)纜的柔性工業(yè)部件的物體位置和形狀。然而，在存在鏡面化的情況下，距離傳感器不能生成精確的深度圖，并且與基于照相機(jī)的解決方案相比更昂貴。有源照明模式可以大大地幫助計(jì)算機(jī)視覺(jué)方法。例如，可以將利用變化的照明條件觀察到的斑點(diǎn)的亮度用于估計(jì)表面斑點(diǎn)的朝向，并然后將它們與3D模型進(jìn)行匹配。如上所述，在機(jī)器視覺(jué)方法中，鏡面通常被作為噪聲源對(duì)待。大多數(shù)方法識(shí)別鏡面并將它們作為噪聲移除。針對(duì)高度鏡面化和像鏡子那樣的表面的一種圖像不變方法利用了表面法線(xiàn)在零曲率的區(qū)域處不改變的事實(shí)。對(duì)于大多數(shù)工業(yè)物體來(lái)說(shuō)，由于物體通常由多個(gè)平面和一些角部組成，并且在這些角部和結(jié)合部存在著關(guān)于這些物體的獨(dú)特信息，因此這個(gè)方法并不是非常實(shí)際的特征。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施方式提供了一種用于從2D圖像識(shí)別3D物體和它們的6D姿態(tài)的方法和系統(tǒng)。該方法和系統(tǒng)可以用于計(jì)算機(jī)視覺(jué)輔助機(jī)器人組裝。具體地說(shuō)，所述物體高度鏡面化或如鏡子那樣。
如果照明源移動(dòng)，則鏡面高光移動(dòng)與表面曲率成反比的距離。這使得能夠提取這些區(qū)域并利用這些區(qū)域作為物體特征。使用多閃光照相機(jī)(MFC)作為移動(dòng)照明源。當(dāng)獲得了來(lái)自多個(gè)視點(diǎn)的圖像時(shí)，可以進(jìn)行三角測(cè)量并獲得物體的6D姿態(tài)。在具有抓取臂的機(jī)器人系統(tǒng)中，可以針對(duì)雜亂的箱子中的發(fā)亮螺釘或螺栓執(zhí)行自動(dòng)化檢測(cè)和姿態(tài)估計(jì)，分別獲得小于O. 5mm和O. 8°的位置
誤差和朝向誤差。在示例應(yīng)用中，物體是雜亂的箱子中的小金屬螺釘。這些螺釘形成了在多個(gè)制造工藝中使用的最基本的物體。每年制造的螺紋螺釘比其他任何機(jī)器部件都多。在傳統(tǒng)的組裝線(xiàn)中，螺釘被以已知姿態(tài)放置在部件容器中，并且由機(jī)器人抓取器來(lái)操縱這些螺釘。該操作需要如送料器的針對(duì)每一種螺釘類(lèi)型專(zhuān)門(mén)設(shè)計(jì)的硬件，或者手動(dòng)地執(zhí)行。大多數(shù)螺釘是金屬的并且發(fā)亮，因此傳統(tǒng)的機(jī)器視覺(jué)方法不能容易地處理螺釘。 此外，由于雜亂和遮蔽，對(duì)箱子中的螺釘進(jìn)行姿態(tài)估計(jì)是非常有挑戰(zhàn)性的問(wèn)題。利用我們的方法，可以從雜亂的箱子的圖像中提取出物體的鏡面特征。通過(guò)匹配多個(gè)圖像中的同一個(gè)螺釘?shù)奶卣鱽?lái)估計(jì)該螺釘?shù)淖藨B(tài)。這種匹配特別困難，因?yàn)檎麄€(gè)箱子包括了很多處于各種姿態(tài)的相同螺釘。為了解決這個(gè)問(wèn)題，利用來(lái)自以一條直線(xiàn)相交的三個(gè)平面的相關(guān)性的秩為2的約束，以建立用于姿態(tài)估計(jì)的對(duì)應(yīng)性和三角測(cè)量。


圖I是依據(jù)本發(fā)明實(shí)施方式的用于確定物體姿態(tài)的系統(tǒng)的示意圖；圖2是根據(jù)本發(fā)明實(shí)施方式的用于確定物體姿態(tài)的方法的流程圖；圖3是根據(jù)本發(fā)明實(shí)施方式的從圓柱形物體反射的線(xiàn)的分析的示意圖；圖4A至圖4B是比較高曲率區(qū)域和低曲率區(qū)域處的鏡面高光區(qū)的示意圖；圖4C是根據(jù)本發(fā)明實(shí)施方式的具有局部球面區(qū)域的螺栓的示意圖；圖4D是根據(jù)本發(fā)明實(shí)施方式的螺紋的一部分的橫截面圖；以及圖5是根據(jù)本發(fā)明實(shí)施方式的位于結(jié)合了照相機(jī)的投影中心和螺釘?shù)妮S的平面上的檢測(cè)到的鏡面線(xiàn)段的示意圖。
具體實(shí)施例方式圖I示出了根據(jù)本發(fā)明實(shí)施方式用的于確定物體姿態(tài)的系統(tǒng)100和方法200。具體地，物體是被放置在具有很多相同螺釘?shù)南渥?05中的金屬螺釘或螺栓102。例如，該箱子包含大約二百個(gè)25mm的M4螺釘，參見(jiàn)IS068-1和IS0261。我們使用六軸工業(yè)機(jī)器人臂110，在該機(jī)器人臂上安裝有多閃光照相機(jī)120。MFC 具有圍繞鏡頭布置的多個(gè)點(diǎn)光源，并且在利用各個(gè)光源照亮場(chǎng)景的同時(shí)獲取圖像，參見(jiàn)美國(guó)專(zhuān)利7，738，725，此處以引用的方式并入本文中。利用棋盤(pán)模式來(lái)內(nèi)部地和外部地校準(zhǔn)MFC。執(zhí)行抓取器與照相機(jī)的校準(zhǔn)，使得機(jī)器人臂可以使用抓取器來(lái)與物體交互并抓取物體。圖2示出了方法200的步驟。該方法可以在包括現(xiàn)有技術(shù)已知的存儲(chǔ)器和/或輸入/輸出接口的處理器中執(zhí)行。我們針對(duì)N個(gè)照明源中的每一個(gè)并且多視點(diǎn)地獲取210箱子的圖像，并提取220鏡面特征。圖2示出了我們的方法200的概述。我們?cè)诙嘁朁c(diǎn)的圖像中識(shí)別230與同一個(gè)螺釘相對(duì)應(yīng)的線(xiàn)，并通過(guò)重構(gòu)250螺釘?shù)?D軸來(lái)估計(jì)螺釘?shù)淖藨B(tài)。然后，抓取器利用估計(jì)出的姿態(tài)抓取240螺釘，并執(zhí)行隨后的
組裝任務(wù)。鏡面特征提取反射分析圖3示意性地示出了對(duì)照相機(jī)120和光源301的分析。點(diǎn)P被設(shè)置在任意一維曲線(xiàn)C上。使r為密切圓在點(diǎn)P處的半徑。則P處的曲率K是K = 1/r(I)考慮點(diǎn)P處的ε球形鄰域。如果ε足夠小，則為了分析的目的假定該鄰域中的曲率是恒定的?？紤]以密切圓O的圓心為原點(diǎn)的二維坐標(biāo)軸，Y軸穿過(guò)P，并且X軸與T正交。該ε球形在A和B處與曲線(xiàn)C相交，其中
權(quán)利要求
1.一種用于確定物體姿態(tài)的方法，其中所述姿態(tài)是物體的位置和朝向，其中所述物體是鏡面的，該方法包括以下步驟利用照相機(jī)獲取所述物體的多組圖像，其中所述物體具有彎曲區(qū)域，其中所述彎曲區(qū)域的曲度是I《0 w其中r是所述彎曲區(qū)域在特定點(diǎn)處的半徑，并且D是所述彎曲區(qū)域的中心與所述照相機(jī)之間的距離，并且其中所述照相機(jī)針對(duì)各組圖像處于不同的視點(diǎn)，并且其中在從不同方向照亮場(chǎng)景的同時(shí)獲取各組中的各個(gè)圖像；從各圖像提取一組特征，其中所述特征對(duì)應(yīng)于所述彎曲區(qū)域上的法線(xiàn)朝向所述照相機(jī)的特定點(diǎn)；針對(duì)各個(gè)圖像，將參數(shù)形狀擬合至所述特定點(diǎn)；以及對(duì)所述參數(shù)形狀應(yīng)用幾何約束，以確定所述物體的姿態(tài)。
2.根據(jù)權(quán)利要求I所述的方法，其中所述照相機(jī)布置在機(jī)器人的臂上，并且該方法還包括根據(jù)所述姿態(tài)抓取所述物體的步驟。
3.根據(jù)權(quán)利要求I所述的方法，其中所述照相機(jī)具有圍繞鏡頭布置的一組點(diǎn)光源。
4.根據(jù)權(quán)利要求I所述的方法，其中所述物體被放置在具有多個(gè)相同物體的箱子中。
5.根據(jù)權(quán)利要求I所述的方法，其中所述特定點(diǎn)處的曲率K是K=Ι/r，其中r是半徑。
6.根據(jù)權(quán)利要求5所述的方法，其中所述曲率是高斯曲率，并且是主曲率的乘積Iqk215
7.根據(jù)權(quán)利要求3所述的方法，其中照明來(lái)自所述一組點(diǎn)光源，并且各組圖像包括利用環(huán)境光獲取的環(huán)境圖像，并且該方法還包括以下步驟從所述組中的各個(gè)其它圖像中減去所述環(huán)境圖像；在所述減去步驟之后確定最小照明圖像；以及由所述最小照明圖像確定比值圖像以檢測(cè)鏡面。
8.根據(jù)權(quán)利要求I所述的方法，其中所述物體是螺釘，并且所述彎曲區(qū)域?qū)?yīng)于圓錐螺旋形螺紋。
9.根據(jù)權(quán)利要求I所述的方法，其中所述物體是螺栓，并且所述彎曲區(qū)域?qū)?yīng)于螺旋狀螺紋。
10.根據(jù)權(quán)利要求I所述的方法，其中所述參數(shù)形狀是直線(xiàn)，并且所述直線(xiàn)位于接合所述照相機(jī)的中心和所述物體的軸的平面上。
11.根據(jù)權(quán)利要求I所述的方法，其中所述擬合利用隨機(jī)抽樣一致性方法的變型。
12.根據(jù)權(quán)利要求I所述的方法，其中所述幾何約束是由以直線(xiàn)相交的三個(gè)平面的相關(guān)性產(chǎn)生的秩2約束，并且所述幾何約束用于確定所述物體的姿態(tài)。
13.一種用于確定物體姿態(tài)的系統(tǒng)，其中所述姿態(tài)是物體的位置和朝向，其中所述物體是鏡面的，該系統(tǒng)包括照相機(jī)，其用于獲取所述物體的多組圖像，其中所述物體具有彎曲區(qū)域，其中所述彎曲區(qū)域的曲度是0 w其中r是所述彎曲區(qū)域在特定點(diǎn)的半徑，并且D是所述彎曲區(qū)域的中心與所述照相機(jī)之間的距離，并且其中所述照相機(jī)針對(duì)各組圖像處于不同的視點(diǎn)，并且其中在從不同的方向照亮場(chǎng)景的同時(shí)獲取各組中的各個(gè)圖像；提取裝置，其用于從各個(gè)圖像提取一組特征，其中所述特征對(duì)應(yīng)于所述彎曲區(qū)域上的法線(xiàn)朝向所述照相機(jī)的特定點(diǎn)；擬合裝置，其針對(duì)各個(gè)圖像將參數(shù)形狀擬合至所述特定點(diǎn)；以及幾何約束應(yīng)用裝置，其用于對(duì)所述參數(shù)形狀應(yīng)用幾何約束，以確定所述物體的姿態(tài)。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中所述物體被放置在具有多個(gè)相同物體的箱子中。
15.根據(jù)權(quán)利要求13所述的系統(tǒng)，該系統(tǒng)還包括機(jī)器人的臂，其中所述照相機(jī)被布置在所述臂上；以及抓取裝置，其用于根據(jù)所述姿態(tài)抓取所述物體。
全文摘要
本發(fā)明涉及確定物體姿態(tài)的方法和系統(tǒng)。通過(guò)利用照相機(jī)獲取物體的多組圖像來(lái)確定物體的姿態(tài)，其中物體在表面上布置有螺紋，使得該物體的局部區(qū)域大致呈現(xiàn)球面，其中照相機(jī)針對(duì)每一組圖像都處于不同的視點(diǎn)，并且其中在從不同的方向照亮場(chǎng)景的同時(shí)獲取各組中的各個(gè)圖像。從各個(gè)圖像中提取一組特征，其中所述特征對(duì)應(yīng)于具有朝向照相機(jī)的法線(xiàn)的彎曲區(qū)域上的點(diǎn)。針對(duì)各個(gè)圖像，將參數(shù)形狀擬合至所述點(diǎn)，其中直線(xiàn)位于結(jié)合了照相機(jī)中心和物體的軸的平面上。然后，向參數(shù)形狀應(yīng)用幾何約束，以確定物體的姿態(tài)。
文檔編號(hào)G01C1/00GK102589525SQ201110422168
公開(kāi)日2012年7月18日 申請(qǐng)日期2011年11月17日 優(yōu)先權(quán)日2010年11月19日
發(fā)明者A·維拉拉哈瓦恩, C·O·圖茲爾, N·施羅菲, S·拉姆阿里加姆, 田口裕一 申請(qǐng)人:三菱電機(jī)株式會(huì)社