專利名稱：具有視覺(jué)傳感器的機(jī)器人系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用視覺(jué)傳感器檢測(cè)的工件的位置信息使機(jī)器人進(jìn)行作業(yè)的機(jī)器人系統(tǒng)。
背景技術(shù)：
為了使用機(jī)器人正確地執(zhí)行工件的處理或者加工等作業(yè)，需要正確地認(rèn)識(shí)放置工件的位置以及機(jī)器人抓持的工件的抓持偏差。因此，近年來(lái)使用視覺(jué)傳感器來(lái)進(jìn)行工件的位置以及工件的抓持偏差的視覺(jué)識(shí)別。在把照相機(jī)安裝在機(jī)器人機(jī)械臂前端部，測(cè)量在工作臺(tái)等上配置的工件的位置時(shí)，實(shí)施工件的位置識(shí)別。另外，在用固定照相機(jī)測(cè)量機(jī)器人抓持的工件的位置時(shí)，執(zhí)行工件的抓持偏差的識(shí)別。這樣在照相機(jī)或者工件中的一方通過(guò)機(jī)器人的動(dòng)作而在可移動(dòng)的狀態(tài)下計(jì)算工件的位置時(shí)，需要拍攝圖像的瞬間的機(jī)器人的位置信息。其理由是，即使在拍攝位于相同位置的工件的情況下，當(dāng)安裝有照相機(jī)的機(jī)器人或者抓持工件的機(jī)器人的位置變化時(shí)，圖像內(nèi)的工件的位置也變化。在日本專利第觀89011號(hào)中，公開了使用拍攝時(shí)的機(jī)器人的位置信息來(lái)計(jì)算圖像內(nèi)的工件的位置的方法。但是，在實(shí)際應(yīng)用在日本專利第觀89011號(hào)中公開的技術(shù)時(shí)，為了得到拍攝瞬間的正確的機(jī)器人位置信息，在拍攝工件時(shí)需要使機(jī)器人暫時(shí)靜止。在拍攝工件時(shí)使機(jī)器人暫時(shí)靜止的情況下，需要機(jī)器人的減速時(shí)間、用于拍攝和取得機(jī)器人位置的靜止時(shí)間、再加速時(shí)間等，存在生產(chǎn)節(jié)拍時(shí)間增加的問(wèn)題。為了解決這樣的問(wèn)題，希望不使機(jī)器人靜止地拍攝工件的圖像，取得拍攝工件的瞬間的機(jī)器人位置。這里，進(jìn)行拍攝的時(shí)刻和取得機(jī)器人位置的時(shí)刻之間的偏差可能成為問(wèn)題。例如， 在機(jī)器人以2000mm/sec進(jìn)行移動(dòng)，拍攝的時(shí)刻和取得機(jī)器人位置的時(shí)刻偏差I(lǐng)msec時(shí)，機(jī)器人在這些時(shí)刻之間移動(dòng)2mm。因此，工件的圖像中包含的工件的位置信息產(chǎn)生機(jī)器人如上述那樣移動(dòng)的誤差。另外，當(dāng)設(shè)照相機(jī)和工件間的距離為Im時(shí)，在拍攝的時(shí)刻和取得機(jī)器人位置的時(shí)刻之間的Imsec中機(jī)器人的姿勢(shì)變化0. 1度的情況下，還發(fā)生IOOOmmX tan (0. 1) = 1. 75mm
的測(cè)量誤差。于是，該測(cè)量誤差也包含在工件的位置信息中。一般機(jī)器人控制裝置以一定周期例如伺服電動(dòng)機(jī)的控制周期讀取該伺服電動(dòng)機(jī)的編碼器的角度信息等，來(lái)識(shí)別機(jī)器人的位置信息。因此，通過(guò)視覺(jué)傳感器測(cè)量的工件的位置信息的精度依賴于該更新周期。在WO 2009/077118A1中，公開了通過(guò)安裝在機(jī)器人上的照相機(jī)在機(jī)器人移動(dòng)過(guò)程中拍攝工件來(lái)修正工件的位置的系統(tǒng)。但是，在WO 2009/077118A1中，沒(méi)有公開取得拍攝瞬間的正確的機(jī)器人位置的具體方法。并且，在日本專利第4174342號(hào)中，公開了在機(jī)器人搬運(yùn)工件時(shí)拍攝工件來(lái)修正抓持誤差的方法。但是，沒(méi)有考慮由于機(jī)器人位置的更新周期引起的機(jī)器人位置的誤差。
在日本特開2008-183690號(hào)公報(bào)中，公開了對(duì)于以較短的周期更新機(jī)器人的位置信息的伺服電動(dòng)機(jī)的控制系統(tǒng)，在拍攝瞬間發(fā)送觸發(fā)信號(hào)，取得該控制系統(tǒng)保持的機(jī)器人位置信息的方法。即使在這樣的情況下，機(jī)器人位置信息的精度也依賴于伺服電動(dòng)機(jī)的控制系統(tǒng)的控制周期。另外，在日本特開2008-183690號(hào)公報(bào)中公開的方法也包含需要專用的觸發(fā)信號(hào)線和觸發(fā)輸入輸出部的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的事情而提出的，其目的在于提供一種機(jī)器人系統(tǒng)，其不用暫時(shí)停止機(jī)器人以及不使用專用的硬件，能夠取得拍攝瞬間的正確的機(jī)器人位置。為實(shí)現(xiàn)上述目的，根據(jù)第一方式，提供一種機(jī)器人系統(tǒng)，其具有機(jī)器人、控制該機(jī)器人的機(jī)器人控制部、和以視覺(jué)方式測(cè)量工件的視覺(jué)傳感器，所述工件或者所述視覺(jué)傳感器中的一方在由所述機(jī)器人的機(jī)械臂前端部抓持或固定的同時(shí)，能夠通過(guò)所述機(jī)器人的機(jī)械臂的動(dòng)作而移動(dòng)，并且所述工件或者所述視覺(jué)傳感器中的另一方被放置在離開所述機(jī)器人的位置，在該機(jī)器人系統(tǒng)中具備視覺(jué)傳感器信息處理部，控制所述視覺(jué)傳感器，并且根據(jù)通過(guò)該視覺(jué)傳感器測(cè)量到的所述工件的信息，計(jì)算所述工件相對(duì)于所述視覺(jué)傳感器的位置信息；時(shí)鐘，用于所述機(jī)器人控制部以及所述視覺(jué)傳感器信息處理部參照當(dāng)前時(shí)刻；機(jī)器人位置時(shí)刻用存儲(chǔ)部，把一定周期或者不定周期的第一時(shí)刻和在該第一時(shí)刻的所述機(jī)械臂前端部的位置信息作為組按順序進(jìn)行存儲(chǔ)；圖像拍攝時(shí)刻用存儲(chǔ)部，存儲(chǔ)所述視覺(jué)傳感器測(cè)量所述工件的第二時(shí)刻；機(jī)械臂前端部位置計(jì)算部，根據(jù)在所述機(jī)器人位置時(shí)刻用存儲(chǔ)部中存儲(chǔ)的第一時(shí)刻中的、在所述圖像拍攝時(shí)刻用存儲(chǔ)部中存儲(chǔ)的所述第二時(shí)刻之前和之后的至少兩個(gè)第一時(shí)刻、以及與這些第一時(shí)刻中的各個(gè)第一時(shí)刻對(duì)應(yīng)的所述機(jī)械臂前端部的位置信息，計(jì)算所述視覺(jué)傳感器測(cè)量所述工件時(shí)的所述機(jī)械臂前端部的位置信息；以及工件位置計(jì)算部，根據(jù)通過(guò)該機(jī)械臂前端部位置計(jì)算部計(jì)算出的所述機(jī)械臂前端部的位置信息和通過(guò)所述視覺(jué)傳感器信息處理部計(jì)算出的所述工件的位置信息，計(jì)算所述被抓持的工件相對(duì)于所述機(jī)械臂前端部的位置信息、或者被放置在離開所述機(jī)器人的位置的工件相對(duì)于所述機(jī)器人的位置信息。根據(jù)第二方式，在第一方式中，所述視覺(jué)傳感器在所述機(jī)器人的所述機(jī)械臂前端部正在移動(dòng)時(shí)測(cè)量所述工件。根據(jù)第三方式，在第一或者第二方式中，還具有修正部，根據(jù)通過(guò)所述工件位置計(jì)算部計(jì)算出的、所述被抓持的工件相對(duì)于所述機(jī)器人的所述機(jī)械臂前端部的位置信息、或者被放置在離開所述機(jī)器人的位置的工件相對(duì)于所述機(jī)器人的位置信息，修正所述機(jī)器人的動(dòng)作。根據(jù)第四方式，在第一方式中，所述工件或所述視覺(jué)傳感器中的一方在由所述機(jī)器人的機(jī)械臂前端部抓持或者固定的同時(shí)，能夠通過(guò)所述機(jī)器人的機(jī)械臂的動(dòng)作而移動(dòng)， 所述視覺(jué)傳感器在所述機(jī)器人的所述機(jī)械臂前端部正在移動(dòng)時(shí)，在該機(jī)械臂前端部位于互相不同的位置的時(shí)刻，多次拍攝所述工件來(lái)進(jìn)行立體測(cè)量，所述工件位置計(jì)算部根據(jù)所述視覺(jué)傳感器的所述立體測(cè)量的結(jié)果，計(jì)算所述被抓持的工件相對(duì)于所述機(jī)械臂前端部的三維位置或者被放置在離開所述機(jī)器人的位置的工件相對(duì)于所述機(jī)器人的三維位置。根據(jù)第五方式，在第一方式中，還具有安裝在所述視覺(jué)傳感器上的激光縫隙投光器，所述視覺(jué)傳感器在所述機(jī)器人的所述機(jī)械臂前端部正在移動(dòng)時(shí)通過(guò)在不同的位置多次拍攝被投射了激光的所述工件的一部分的三維位置來(lái)取得距離圖像，所述工件位置計(jì)算部根據(jù)所述距離圖像計(jì)算工件的三維形狀或/和三維位置。即在第一方式中，利用在拍攝時(shí)刻前后的各個(gè)時(shí)刻的機(jī)械臂前端部的位置計(jì)算工件的位置。因此，能夠通過(guò)比對(duì)于每個(gè)一定周期或者不定周期識(shí)別的機(jī)械臂前端部的位置信息高的精度，取得視覺(jué)傳感器拍攝圖像的瞬間的機(jī)器人的位置信息。結(jié)果，能夠通過(guò)比現(xiàn)有技術(shù)高的精度計(jì)算工件的位置。這點(diǎn)如第二發(fā)明那樣，在機(jī)器人正在動(dòng)作的情況下特別有利。另外，因?yàn)榧词乖跈C(jī)器人靜止時(shí)機(jī)器人控制裝置也進(jìn)行伺服電動(dòng)機(jī)的控制，所以機(jī)器人的機(jī)械臂前端部的位置姿勢(shì)僅稍微變化。因此，即使在機(jī)器人靜止的狀態(tài)下視覺(jué)傳感器拍攝工件時(shí)，也能夠比現(xiàn)有方法更加正確地取得機(jī)器人的位置信息，提高通過(guò)視覺(jué)傳感器得到的工件的位置測(cè)量精度。并且，在第一方式中，能夠不使用專用的觸發(fā)信號(hào)線和觸發(fā)輸入輸出部地取得拍攝瞬間的機(jī)器人位置信息。即，能夠免除用于追加專用的觸發(fā)信號(hào)線和觸發(fā)輸入輸出部等的費(fèi)用，并且能夠減低它們的故障風(fēng)險(xiǎn)。另外，這提供對(duì)于使用者來(lái)說(shuō)使用簡(jiǎn)便的系統(tǒng)。即在第三方式中，能夠根據(jù)由視覺(jué)傳感器識(shí)別的工件的位置使機(jī)器人移動(dòng)到更恰當(dāng)?shù)哪康奈恢谩＜丛诘谒姆绞街?，通過(guò)立體測(cè)量，能夠更加正確地求出機(jī)器人抓持的工件對(duì)于該機(jī)器人的機(jī)械臂前端部的三維位置或者被放置在離開機(jī)器人的位置上的工件對(duì)于該機(jī)器人的三維位置。在第五方式中，能夠使用距離圖像更加正確地求出工件的三維形狀或/和三維位置。通過(guò)參照附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選方式，本發(fā)明的這些以及其他的目的、特征以及優(yōu)點(diǎn)將更加明確。


圖1是表示本發(fā)明的第一實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。圖2是表示本發(fā)明的第二實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。圖3是第一實(shí)施方式的機(jī)器人系統(tǒng)的功能框圖。圖4是表示在本發(fā)明的機(jī)器人系統(tǒng)中包含的機(jī)器人控制部以及圖像處理部的動(dòng)作的流程圖。圖5是表示實(shí)施立體測(cè)量的實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。圖6是表示具有激光縫隙投光器的實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。圖7是另外的實(shí)施方式的機(jī)器人系統(tǒng)的功能框圖。圖8是另外的實(shí)施方式的機(jī)器人系統(tǒng)的功能框圖。
具體實(shí)施例方式以下參照

本發(fā)明的實(shí)施方式。在以下的附圖中，對(duì)同樣的部件附以相同的參照符號(hào)。為容易理解，適當(dāng)變更了這些附圖的比例尺。
圖1是表示本發(fā)明的第一實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。圖1表示的機(jī)器人系統(tǒng)10主要包括機(jī)器人11、和控制該機(jī)器人11的機(jī)器人控制裝置12。在機(jī)器人11 的機(jī)械臂前端部安裝了機(jī)械手14。該機(jī)械手14抓持工作臺(tái)16上的工件15。放置在工作臺(tái)16上的工件15沒(méi)有定位，工件15的位置不定。如圖1所示，在機(jī)器人11的機(jī)械臂前端部上，經(jīng)由托架18裝配了照相機(jī)13。使用作為視覺(jué)傳感器的照相機(jī)13測(cè)量放置在工作臺(tái)16上的工件15的位置W1。根據(jù)測(cè)量的工件15的位置信息，機(jī)器人11移動(dòng)到應(yīng)該抓持工件15的位置。機(jī)器人11是公知的典型的機(jī)器人操縱裝置(以下稱為機(jī)器人)，只要能夠到達(dá)進(jìn)行作業(yè)的位置姿勢(shì)，對(duì)其結(jié)構(gòu)沒(méi)有限制。根據(jù)工件15的形狀、材質(zhì)、重量等選擇在機(jī)器人11 的機(jī)械臂的機(jī)械臂前端部上安裝的機(jī)械手14。因此，機(jī)械手14可以有吸引式以及夾盤式。 在圖1中作為例子表示了夾盤方式的機(jī)械手14。在圖1中如箭頭Xl所示，對(duì)機(jī)器人11進(jìn)行編程，使其從動(dòng)作開始位置Pl經(jīng)過(guò)拍攝位置Ql移動(dòng)到工件抓持位置P2，然后在工件抓持位置P2抓持工件15。因?yàn)槿缟纤龉ぜ?5的位置Wl不定，所以機(jī)器人11根據(jù)使用照相機(jī)13求得的工件15的位置W1’，移動(dòng)到與位置W1’對(duì)應(yīng)的工件抓持位置P2’，在工件抓持位置P2’抓持工件15。這里，在工件15的位置W1、W1，和機(jī)器人11的工件抓持位置P2、P2，之間存在用下式(1)表示的關(guān)系。位置W1、P2等在本申請(qǐng)說(shuō)明書中使用的表示位置的記號(hào)是4X4的同次變換矩陣。公式1 Wl' · Wr1 = P2，· P2-1... (1)機(jī)器人11也可以在箭頭Xl中的拍攝位置Ql暫時(shí)停止，但是在第一實(shí)施方式中說(shuō)明機(jī)器人11不在箭頭Xi表示的軌道上停止地進(jìn)行移動(dòng)的情況。設(shè)機(jī)器人11被示教的程序在拍攝位置Ql進(jìn)行拍攝，但是在具有軟件的處理延遲等的情況下，在從拍攝位置Ql少許偏移的拍攝位置Q1’進(jìn)行拍攝。不需要拍攝位置Q1’與原來(lái)的拍攝位置Ql完全一致。但是在拍攝位置Q1、Q1’的雙方中，需要工件15進(jìn)入照相機(jī) 13的視野內(nèi)。其理由是，即使在拍攝位置Ql偏移到拍攝位置Q1’的情況下，通過(guò)后述的方法求出拍攝瞬間的機(jī)器人11的位置信息Q1’，能夠根據(jù)該位置信息Q1’正確地求出工件15 的位置Wl，。設(shè)為通過(guò)在拍攝位置Ql的校準(zhǔn)，預(yù)先求出用于把進(jìn)行圖像處理而求得的檢測(cè)數(shù)據(jù)變換為機(jī)器人的坐標(biāo)系的校準(zhǔn)數(shù)據(jù)，將其存儲(chǔ)在機(jī)器人控制裝置12中。因此，后述的工件位置計(jì)算部42能夠根據(jù)在拍攝位置Q1’拍攝到的圖像和拍攝位置Q1’的位置信息計(jì)算在機(jī)器人坐標(biāo)系中的工件的位置Wl ’。該計(jì)算方法在日本專利第觀89011號(hào)中公開而公知。因此，省略計(jì)算方法的詳細(xì)的說(shuō)明，以下簡(jiǎn)潔地記述。首先，對(duì)于在拍攝位置Q1’拍攝到的圖像進(jìn)行預(yù)定的圖像處理， 檢測(cè)圖像內(nèi)的工件15，求出該檢測(cè)數(shù)據(jù)。然后，根據(jù)求得的檢測(cè)數(shù)據(jù)和預(yù)先求得的校準(zhǔn)數(shù)據(jù)，求出虛擬的工件位置。其后，根據(jù)虛擬的工件的位置和視覺(jué)傳感器13的移動(dòng)量即從進(jìn)行了校準(zhǔn)的位置Ql向進(jìn)行了拍攝的位置Q1’的移動(dòng)量，求出工件15的正確的位置W1’。然后，根據(jù)下式( 求出機(jī)器人11應(yīng)該進(jìn)行抓持的工件抓持位置P2’。公式2
P2，= W1，· W” · P2 — (2)在此，圖3是第一實(shí)施方式的機(jī)器人系統(tǒng)的功能框圖。機(jī)器人控制裝置12是數(shù)字計(jì)算機(jī)，包括機(jī)器人控制部31、圖像處理部32、機(jī)器人位置及時(shí)刻用存儲(chǔ)部33、圖像拍攝時(shí)刻用存儲(chǔ)部34、和時(shí)鐘35，它們通過(guò)總線互相連接。如圖3所示，機(jī)器人控制部31與機(jī)器人11連接，圖像處理部32與照相機(jī)13連接。機(jī)器人控制部31以及圖像處理部32兩者都能夠訪問(wèn)時(shí)鐘35，取得時(shí)刻。機(jī)器人位置及時(shí)刻用存儲(chǔ)部33把機(jī)器人11的位置和取得該位置時(shí)從時(shí)鐘35得到的時(shí)刻作為組， 按照機(jī)器人位置更新周期按順序進(jìn)行存儲(chǔ)。并且，圖像拍攝時(shí)刻用存儲(chǔ)部34把照相機(jī)13 拍攝瞬間的時(shí)刻和此時(shí)的圖像作為組來(lái)存儲(chǔ)?？梢栽O(shè)定機(jī)器人位置及時(shí)刻用存儲(chǔ)部33以及圖像拍攝時(shí)刻用存儲(chǔ)部34，僅存儲(chǔ)最新的多組信息，還可以存儲(chǔ)機(jī)器人動(dòng)作時(shí)的全部組的信息。 并且，如圖3所示，機(jī)器人控制部31包含機(jī)械臂前端部位置計(jì)算部41，其根據(jù)在機(jī)器人位置及時(shí)刻用存儲(chǔ)部33中存儲(chǔ)的時(shí)刻中的、在圖像拍攝時(shí)刻用存儲(chǔ)部34中存儲(chǔ)的時(shí)刻之前和之后的至少一個(gè)時(shí)刻、以及與這些時(shí)刻中的各個(gè)時(shí)刻對(duì)應(yīng)的機(jī)器人11的機(jī)械臂前端部的位置，計(jì)算照相機(jī)13測(cè)量工件15時(shí)的機(jī)械臂前端部的位置信息。并且，機(jī)器人控制部31包含工件位置計(jì)算部42，其根據(jù)機(jī)械臂前端部位置計(jì)算部 41計(jì)算出的機(jī)械臂前端部的位置信息和圖像處理部32計(jì)算出的工件15的位置信息，計(jì)算被抓持的工件15相對(duì)于機(jī)械臂前端部的位置信息、或者被放置在離開機(jī)器人11的位置上的工件15相對(duì)于機(jī)器人11的位置信息。并且，在機(jī)器人控制部31中包含的修正部43根據(jù)工件位置計(jì)算部42計(jì)算出的、 被抓持的工件15相對(duì)于機(jī)器人11的機(jī)械臂前端部的位置信息、或者被放置在離開機(jī)器人 11的位置上的工件15相對(duì)于機(jī)器人11的位置信息，修正機(jī)器人11的動(dòng)作。為了此目的， 修正部43能夠根據(jù)上述的位置信息修正機(jī)器人11的程序。圖4是表示在本發(fā)明的機(jī)器人系統(tǒng)中包含的機(jī)器人控制部31以及圖像處理部32 的動(dòng)作的流程圖。以下根據(jù)圖3以及圖4說(shuō)明求出拍攝瞬間的機(jī)器人的位置Q1’的方法。首先，在步驟Sl，機(jī)器人控制部31把從時(shí)鐘35取得的時(shí)刻和與該時(shí)刻對(duì)應(yīng)的機(jī)器人U的機(jī)械臂前端部的位置作為組，按照機(jī)器人位置更新周期按順序存儲(chǔ)在機(jī)器人位置及時(shí)刻用存儲(chǔ)部33中。有時(shí)把機(jī)器人11的機(jī)械臂前端部的位置簡(jiǎn)單稱為“機(jī)器人位置”。例如，在機(jī)器人11是垂直六軸多關(guān)節(jié)機(jī)器人的情況下，作為機(jī)器人位置信息可以存儲(chǔ)機(jī)器人的各軸的角度(Jl J6)。下面，為了容易說(shuō)明的目的，把進(jìn)行存儲(chǔ)的時(shí)刻和機(jī)器人位置分別設(shè)為Tx、1 = (Jxl Jx6)。機(jī)器人位置更新周期可以是恒定周期，也可以是不定周期。接著，在步驟S2，機(jī)器人控制部31確認(rèn)機(jī)器人11是否到達(dá)在其動(dòng)作程序中預(yù)先記載的拍攝位置Q1。在機(jī)器人11到達(dá)的情況下前進(jìn)到步驟S3。在未到達(dá)的情況下，在待機(jī)一定時(shí)間后返回步驟Si，在機(jī)器人11到達(dá)拍攝位置Ql前重復(fù)處理。在圖4表示的實(shí)施例中，機(jī)器人11是否到達(dá)拍攝位置Ql的確認(rèn)通過(guò)機(jī)器人控制部31監(jiān)視機(jī)器人11的位置來(lái)進(jìn)行。但是，還可以預(yù)先測(cè)量從機(jī)器人開始動(dòng)作后到到達(dá)拍攝位置Ql需要的所需時(shí)間，把機(jī)器人11開始動(dòng)作后的時(shí)刻(可從時(shí)鐘35取得)與所需時(shí)間進(jìn)行比較，來(lái)判斷機(jī)器人11是否到達(dá)了拍攝位置Q1?；蛘咭部梢栽跈C(jī)器人開始動(dòng)作后經(jīng)過(guò)了上述所需時(shí)間時(shí)，自動(dòng)前進(jìn)到步驟S3。接著，在步驟S3，機(jī)器人控制部31對(duì)圖像處理部32輸出圖像處理開始命令。當(dāng)輸出了圖像處理開始命令時(shí)，圖像處理部32的處理開始。在步驟S4，圖像處理部32向照相機(jī)13發(fā)送拍攝指令，并且把從時(shí)鐘35取得的時(shí)刻作為拍攝時(shí)刻Ts存儲(chǔ)在圖像拍攝時(shí)刻用存儲(chǔ)部34中。接著，在步驟S5中，在等待照相機(jī)13對(duì)于工件15的拍攝結(jié)束后，使拍攝到的圖像與在步驟S4中已存儲(chǔ)的拍攝時(shí)刻Ts成為組，存儲(chǔ)在圖像拍攝時(shí)刻用存儲(chǔ)部；34中。接著在步驟S6，圖像處理部32對(duì)在步驟S5中拍攝到的圖像進(jìn)行預(yù)定的圖像處理， 檢測(cè)在圖像中映出的工件15，求出其檢測(cè)數(shù)據(jù)，并且根據(jù)求出的檢測(cè)數(shù)據(jù)和預(yù)先求出的校準(zhǔn)數(shù)據(jù)，求出虛擬的工件的位置信息。機(jī)器人控制部31在步驟S3結(jié)束后前進(jìn)到步驟S7。在步驟S7，機(jī)器人控制部31 在下一機(jī)器人位置更新周期中，把新的時(shí)刻和機(jī)器人位置作為組，同樣地存儲(chǔ)在機(jī)器人位置及時(shí)刻用存儲(chǔ)部33中。為了容易說(shuō)明的目的，把在步驟S7中存儲(chǔ)的時(shí)刻和機(jī)器人位置分別設(shè)為Ty, Py = (Jyl Jy6)。接著在步驟S8，機(jī)器人控制部31確認(rèn)拍攝時(shí)刻是否存儲(chǔ)在圖像拍攝時(shí)刻用存儲(chǔ)部34中。在存儲(chǔ)有拍攝時(shí)刻的情況下前進(jìn)到步驟S9。在未存儲(chǔ)的情況下，在待機(jī)一定時(shí)間后返回步驟S7，在存儲(chǔ)拍攝時(shí)刻之前重復(fù)該確認(rèn)處理。接著在步驟S9，機(jī)器人控制部31的機(jī)械臂前端部位置計(jì)算部41根據(jù)在圖像拍攝時(shí)刻用存儲(chǔ)部34中存儲(chǔ)的拍攝時(shí)刻Ts、和在機(jī)器人位置及時(shí)刻用存儲(chǔ)部33中存儲(chǔ)的機(jī)器人的位置和時(shí)刻的組Tx、Px、Ty、Py，計(jì)算拍攝瞬間的機(jī)器人位置Ql’ = (Jsl Js6)。這里，請(qǐng)留意Tx是比Ts早的時(shí)刻，Ty是比Ts晚的時(shí)刻。機(jī)械臂前端部位置計(jì)算部41例如使用一次插補(bǔ)根據(jù)下式(3)計(jì)算拍攝瞬間的機(jī)器人位置Q1’。公式3 Jsi = (Jyi-Jxi) X (Ts-Tx) + (Ty-Yx) +Jxi(i = 1 6) ... (3)拍攝瞬間的機(jī)器人位置Ql’ = (Jsl Js6)是各軸位置，但是如果對(duì)其進(jìn)行正向變換(forward transformation)，則可以求出正交位置。在第一實(shí)施方式中，通過(guò)使用一次式對(duì)機(jī)器人的各軸位置進(jìn)行內(nèi)插插補(bǔ)，計(jì)算拍攝瞬間的機(jī)器人位置Q1’，但是也可以通過(guò)其他方法計(jì)算機(jī)器人位置Q1’。例如也可以通過(guò)外插插補(bǔ)進(jìn)行插補(bǔ)計(jì)算。另外如上所述，可以在機(jī)器人11的各軸位置進(jìn)行插補(bǔ)，也可以在變換為正交位置后進(jìn)行插補(bǔ)。此外，在采用了第一實(shí)施方式那樣的一次插補(bǔ)的情況下，只要有兩組機(jī)器人位置以及時(shí)刻即足夠。可以根據(jù)機(jī)器人11的控制系統(tǒng)的特性選擇采用何種插補(bǔ)公式。例如在進(jìn)行使用二次式的插補(bǔ)的情況下，能夠減小存在機(jī)器人11的速度變化時(shí)的近似誤差。但是，在采用二次插補(bǔ)時(shí)，需要三組的機(jī)器人位置以及時(shí)刻。此時(shí)，可以使用拍攝時(shí)刻Ts之前的兩個(gè)Tx 和拍攝時(shí)刻Ts之后的一個(gè)Ty，另外也可以使用拍攝時(shí)刻Ts之前的一個(gè)Tx和拍攝時(shí)刻Ts 之后的兩個(gè)Ty。其后，如上所述，工件位置計(jì)算部42根據(jù)如上所述通過(guò)機(jī)械臂前端部位置計(jì)算部41計(jì)算出的機(jī)械臂前端部的位置信息和通過(guò)圖像處理部32計(jì)算出的工件15的虛擬的位置信息，計(jì)算被放置在離開機(jī)器人11的位置上的工件15相對(duì)于機(jī)器人11的位置信息。圖2是表示本發(fā)明的第二實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。在圖2中，照相機(jī)13被固定在兩個(gè)工作臺(tái)16、17之間的預(yù)定位置。換言之，照相機(jī)13被配置在離開機(jī)器人11的遠(yuǎn)方的位置。在第二實(shí)施方式中，機(jī)器人11把工件15從一個(gè)工作臺(tái)16搬運(yùn)到另一個(gè)工作臺(tái)17。如上所述，因?yàn)楣ぷ髋_(tái)16上的工件15的位置不定，所以可能機(jī)器人11包含偏差地抓持工件15。在第二實(shí)施方式中，照相機(jī)13用于在搬運(yùn)工件15的途中測(cè)量抓持偏差量。在圖2中如箭頭X2所示，對(duì)機(jī)器人11進(jìn)行編程，使其在工作臺(tái)16上的動(dòng)作開始位置Pl抓持工件15，經(jīng)過(guò)拍攝位置Q1，移動(dòng)到工作臺(tái)17上的位置P2，把工件15放置到工作臺(tái)17上。如上所述，假定機(jī)器人11被示教的程序在拍攝位置Ql進(jìn)行拍攝，但是在具有軟件的處理延遲等情況下，成為在從拍攝位置Ql少許偏移的拍攝位置Q1’進(jìn)行拍攝。在第二實(shí)施方式中，為修正通過(guò)機(jī)械手14對(duì)工件15的抓取偏差，測(cè)量工件15相對(duì)于機(jī)器人11的機(jī)械臂前端部的相對(duì)位置。當(dāng)把機(jī)器人11位于位置Q1’時(shí)測(cè)量到的工件 15在世界坐標(biāo)系中的位置作為W1’時(shí)，工件位置計(jì)算部42根據(jù)下式(4)計(jì)算工件15相對(duì)于機(jī)器人11的機(jī)械臂前端部的相對(duì)的位置VI’。VI，= Q1，— · W1， — (4)然后，關(guān)于在示教位置P2時(shí)抓持的工件15，當(dāng)把工件15相對(duì)于機(jī)器人11的機(jī)械臂前端部的相對(duì)位置作為Vl時(shí)，工件位置計(jì)算部42根據(jù)下式(5)計(jì)算應(yīng)該釋放在位置Q1’ 拍攝的工件15的位置P2’。P2，= P2 · Vl · VI，— ...(5)在上述的實(shí)施方式中，作為視覺(jué)傳感器使用一個(gè)二維照相機(jī)13。但是，也可以使用三維傳感器求出工件15的三維位置姿勢(shì)。三維傳感器以及構(gòu)成三維傳感器的照相機(jī)，可以使用彩色照相機(jī)，也可以使用單色照相機(jī)。下面說(shuō)明作為視覺(jué)傳感器使用三維傳感器的實(shí)施例。在某個(gè)實(shí)施例中，可以使用使用了多個(gè)照相機(jī)13的立體方式的三維視覺(jué)傳感器。 另外，圖5是表示實(shí)施立體測(cè)量的實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。在使用用于求出在機(jī)器人11動(dòng)作時(shí)拍攝瞬間的機(jī)器人位置的上述方法的情況下，如圖5所示，還可以根據(jù)使用單一的照相機(jī)13在機(jī)器人動(dòng)作過(guò)程中連續(xù)拍攝工件15得到的從不同位置(Q1、···、 Qn)拍攝到的工件15的多個(gè)圖像，實(shí)施立體測(cè)量。在進(jìn)行圖5所示的測(cè)量的情況下，求出被抓持的工件15相對(duì)于機(jī)器人11的機(jī)械臂前端部的三維位置。另外，雖然未圖示，但是在圖 1所示的結(jié)構(gòu)中，當(dāng)根據(jù)從不同的位置Oil、…、Qn)拍攝的工件15的多個(gè)圖像進(jìn)行立體測(cè)量時(shí)，求出工件15相對(duì)于機(jī)器人11的三維位置。圖6是表示具有激光縫隙投光器的實(shí)施方式的機(jī)器人系統(tǒng)的整體結(jié)構(gòu)的圖。在圖 6中，使用由照相機(jī)13、和通過(guò)托架18在照相機(jī)13上安裝的激光縫隙投光器19組成的三維視覺(jué)傳感器。該三維視覺(jué)傳感器能夠進(jìn)行被投射了激光的部位的三維位置的測(cè)量、和關(guān)于在幾何學(xué)上規(guī)定的形狀的工件的位置姿勢(shì)的測(cè)量。這樣的三維視覺(jué)傳感器是公知的器件， 這里不詳細(xì)涉及。為了用該傳感器進(jìn)行測(cè)量，需要取得通常的照相機(jī)圖像和激光圖像。另外，在機(jī)器人動(dòng)作中取得多個(gè)圖像的情況下，因?yàn)榕臄z各圖像的機(jī)器人位置不同，所以需要考慮這些機(jī)器人位置來(lái)進(jìn)行計(jì)算。還能夠連續(xù)地求出被投射了激光的部位的三維位置，把取得的多次的三維位置信息匯總為一般稱為距離圖像的形式，根據(jù)距離圖像，得到工件15的三維形狀。此時(shí)也使用上述方法，使用被投射激光的圖像拍攝瞬間的機(jī)器人位置來(lái)計(jì)算三維位置信息。可以根據(jù)這樣得到的工件15的三維形狀，求出工件15的三維位置姿勢(shì)。圖7是另外的實(shí)施方式的機(jī)器人系統(tǒng)的功能框圖。在圖7中，主要表示了與機(jī)器人11連接的機(jī)器人控制裝置12a、和與照相機(jī)13 (視覺(jué)傳感器)連接的圖像處理裝置12b。 如圖7所示，在機(jī)器人控制裝置1 中包括互相連接的機(jī)器人控制部31、機(jī)器人位置及時(shí)刻存儲(chǔ)部33和時(shí)鐘35a。同樣，在圖像處理裝置12b中包括互相連接的圖像處理部32、圖像拍攝時(shí)刻用存儲(chǔ)部34和時(shí)鐘35b。請(qǐng)注意這些時(shí)鐘35a、3^互相同步。因此，機(jī)器人控制裝置12a以及圖像處理裝置12b從時(shí)鐘35a、3^分別獨(dú)自取得的時(shí)刻互相相等。如圖所示，機(jī)器人控制裝置12a以及圖像處理裝置1 通過(guò)通信接口 36例如有線 LAN或者無(wú)線LAN等互相連接。這里，有可能在通信接口 36的處理中產(chǎn)生延遲。但是，因?yàn)樵趫D像拍攝時(shí)刻用存儲(chǔ)部34中能夠與時(shí)刻關(guān)聯(lián)地存儲(chǔ)圖像，所以能夠從機(jī)器人位置及時(shí)刻用存儲(chǔ)部33搜索與圖像拍攝時(shí)刻用存儲(chǔ)部34中存儲(chǔ)的時(shí)刻接近的兩個(gè)以上的時(shí)刻，根據(jù)該時(shí)刻求出需要的機(jī)器人位置。圖8是另外的實(shí)施方式的機(jī)器人系統(tǒng)的功能框圖。在圖8中主要表示了與機(jī)器人 11連接的機(jī)器人控制裝置12、和包含圖像處理部32的照相機(jī)13。如圖8所示，在機(jī)器人控制裝置12a中包含互相連接的機(jī)器人控制部31、機(jī)器人位置及時(shí)刻用存儲(chǔ)部33和時(shí)鐘 35 ο在照相機(jī)13中包含互相連接的圖像處理部32、圖像拍攝時(shí)刻用存儲(chǔ)部34和時(shí)鐘 35b。同樣地，使時(shí)鐘35a、3^互相同步，另外，機(jī)器人控制裝置12以及照相機(jī)13通過(guò)通信接口 36互相連接?？芍趶膱D5到圖8表示的實(shí)施方式中，能夠得到和上述相同的效果。雖然通過(guò)優(yōu)選實(shí)施方式表示說(shuō)明了本發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以在不離開本發(fā)明的精神和范圍的情況下，對(duì)其進(jìn)行上述以及其他各種修改、省略和添加。
權(quán)利要求
1.一種機(jī)器人系統(tǒng)(10)，其具有機(jī)器人(11)、控制該機(jī)器人(11)的機(jī)器人控制部 (31)、和以視覺(jué)方式測(cè)量工件(1 的視覺(jué)傳感器(13)，所述工件(1 或者所述視覺(jué)傳感器(1 中的一方在由所述機(jī)器人(11)的機(jī)械臂前端部抓持或固定的同時(shí)，能夠通過(guò)所述機(jī)器人(11)的機(jī)械臂的動(dòng)作而移動(dòng)，并且所述工件(15)或者所述視覺(jué)傳感器(13)中的另一方被放置在離開所述機(jī)器人(11)的位置，該機(jī)器人系統(tǒng)的特征在于，具備視覺(jué)傳感器信息處理部(32)，控制所述視覺(jué)傳感器(13)，并且根據(jù)通過(guò)該視覺(jué)傳感器 (13)測(cè)量到的所述工件(1 的信息，計(jì)算所述工件(1 相對(duì)于所述視覺(jué)傳感器(1 的位直fe息；時(shí)鐘(35)，用于所述機(jī)器人控制部(31)以及所述視覺(jué)傳感器信息處理部(32)參照當(dāng)前時(shí)刻；機(jī)器人位置時(shí)刻用存儲(chǔ)部(33)，把一定周期或者不定周期的第一時(shí)刻和在該第一時(shí)刻的所述機(jī)械臂前端部的位置信息作為組按順序進(jìn)行存儲(chǔ)；圖像拍攝時(shí)刻用存儲(chǔ)部(34)，存儲(chǔ)所述視覺(jué)傳感器(1 測(cè)量所述工件(1 的第二時(shí)刻；機(jī)械臂前端部位置計(jì)算部(41)，根據(jù)在所述機(jī)器人位置時(shí)刻用存儲(chǔ)部(3 中存儲(chǔ)的第一時(shí)刻中的、在所述圖像拍攝時(shí)刻用存儲(chǔ)部(34)中存儲(chǔ)的所述第二時(shí)刻之前和之后的至少兩個(gè)第一時(shí)刻、以及與這些第一時(shí)刻中的各個(gè)第一時(shí)刻對(duì)應(yīng)的所述機(jī)械臂前端部的位置信息，計(jì)算所述視覺(jué)傳感器(1 測(cè)量所述工件(1 時(shí)的所述機(jī)械臂前端部的位置信息； 以及工件位置計(jì)算部(42)，根據(jù)通過(guò)該機(jī)械臂前端部位置計(jì)算部計(jì)算出的所述機(jī)械臂前端部的位置信息和通過(guò)所述視覺(jué)傳感器信息處理部(3 計(jì)算出的所述工件(1 的位置信息，計(jì)算所述被抓持的工件(15)相對(duì)于所述機(jī)械臂前端部的位置信息、或者被放置在離開所述機(jī)器人(11)的位置的工件(15)相對(duì)于所述機(jī)器人(11)的位置信息。
2.根據(jù)權(quán)利要求1所述的機(jī)器人系統(tǒng)，其特征在于， 所述視覺(jué)傳感器(1 在所述機(jī)器人(11)的所述機(jī)械臂前端部正在移動(dòng)時(shí)測(cè)量所述工件(15)。
3.根據(jù)權(quán)利要求1或2所述的機(jī)器人系統(tǒng)，其特征在于，還具有修正部(43)，根據(jù)通過(guò)所述工件位置計(jì)算部0 計(jì)算出的、所述被抓持的工件 (15)相對(duì)于所述機(jī)器人(11)的所述機(jī)械臂前端部的位置信息、或者被放置在離開所述機(jī)器人(11)的位置的工件(15)相對(duì)于所述機(jī)器人(11)的位置信息，修正所述機(jī)器人(11) 的動(dòng)作。
4.根據(jù)權(quán)利要求1所述的機(jī)器人系統(tǒng)，其特征在于，所述工件(1 或所述視覺(jué)傳感器(1 中的一方在由所述機(jī)器人(11)的機(jī)械臂前端部抓持或者固定的同時(shí)，能夠通過(guò)所述機(jī)器人(11)的機(jī)械臂的動(dòng)作而移動(dòng)，所述視覺(jué)傳感器(1 在所述機(jī)器人(11)的所述機(jī)械臂前端部正在移動(dòng)時(shí)，在該機(jī)械臂前端部位于互相不同的位置的時(shí)刻，多次拍攝所述工件(巧)來(lái)進(jìn)行立體測(cè)量，所述工件位置計(jì)算部0 根據(jù)所述視覺(jué)傳感器(1 的所述立體測(cè)量的結(jié)果，計(jì)算所述被抓持的工件(1 相對(duì)于所述機(jī)械臂前端部的三維位置或者被放置在離開所述機(jī)器人 (11)的位置的工件(1 相對(duì)于所述機(jī)器人(11)的三維位置。
5.根據(jù)權(quán)利要求1所述的機(jī)器人系統(tǒng)，其特征在于， 還具有安裝在所述視覺(jué)傳感器(1 上的激光縫隙投光器(19)， 所述視覺(jué)傳感器(1 在所述機(jī)器人(11)的所述機(jī)械臂前端部正在移動(dòng)時(shí)通過(guò)在不同的位置多次拍攝被投射了激光的所述工件(1 的一部分的三維位置來(lái)取得距離圖像， 所述工件位置計(jì)算部0 根據(jù)所述距離圖像計(jì)算工件(巧)的三維形狀或/和三維位置。
全文摘要
本發(fā)明提供一種具有視覺(jué)傳感器的機(jī)器人系統(tǒng)，其包括計(jì)算工件相對(duì)于視覺(jué)傳感器的位置信息的處理部；用于機(jī)器人控制部以及處理部參照當(dāng)前時(shí)刻的時(shí)鐘；把規(guī)定周期的第一時(shí)刻和在第一時(shí)刻的機(jī)械臂前端部的位置信息作為組按順序進(jìn)行存儲(chǔ)的第一存儲(chǔ)部；存儲(chǔ)視覺(jué)傳感器測(cè)量工件的第二時(shí)刻的第二存儲(chǔ)部；根據(jù)第一時(shí)刻中的、在第二時(shí)刻之前和之后的至少兩個(gè)第一時(shí)刻、以及與該各個(gè)第一時(shí)刻對(duì)應(yīng)的機(jī)械臂前端部的位置信息，計(jì)算視覺(jué)傳感器測(cè)量工件時(shí)的機(jī)械臂前端部的位置信息的機(jī)械臂前端部位置計(jì)算部；根據(jù)機(jī)械臂前端部以及工件的位置信息計(jì)算被抓持的工件相對(duì)于機(jī)械臂前端部的位置信息的工件位置計(jì)算部。
文檔編號(hào)B25J9/16GK102189548SQ20111003538
公開日2011年9月21日 申請(qǐng)日期2011年1月31日 優(yōu)先權(quán)日2010年3月5日
發(fā)明者伴一訓(xùn), 山田慎, 并木勇太, 藁科文和 申請(qǐng)人:發(fā)那科株式會(huì)社