本發(fā)明涉及控制裝置、機器人以及機器人系統(tǒng)。

背景技術(shù)：

以往，例如已知有在電子部件等對象物的把持、搬運以及組裝等作業(yè)中使用的機器人系統(tǒng)。這樣的機器人系統(tǒng)具有：機器人，其具有具備多個臂的機器人臂以及設(shè)置于其前端的手；攝像機等拍攝部；以及控制裝置，其分別控制機器人以及拍攝部。在這樣的構(gòu)成的機器人系統(tǒng)中，例如基于利用拍攝部拍攝到的對象物的圖像，機器人通過手對對象物進行各種作業(yè)。

在此，為了基于利用拍攝部拍攝到的圖像，機器人針對對象物準(zhǔn)確地進行作業(yè)，需要求出用于將利用拍攝部拍攝到的對象物的圖像上的位置以及姿勢轉(zhuǎn)換為機器人坐標(biāo)系中的值的修正參數(shù)的拍攝部的校正(校準(zhǔn))。

例如，在專利文獻1中記載有使用機器人視覺傳感器系統(tǒng)(機器人系統(tǒng))，求出將圖像上的位置轉(zhuǎn)換為機器人坐標(biāo)系的值的參數(shù)的處理。專利文獻1所記載的機器人視覺傳感器系統(tǒng)具有：機器人，其具有機器人臂以及設(shè)置于其前端的精加工用手；視覺傳感器(拍攝部)，其設(shè)置于機器人臂的前端；以及校準(zhǔn)夾具，其具備具有3個基準(zhǔn)點以及4個參照點的平面。

在專利文獻1所記載的處理中，首先，通過使精加工用手與3個基準(zhǔn)點接觸，確定出機器人坐標(biāo)系中的校準(zhǔn)夾具的位置以及姿勢。然后，驅(qū)動機器人臂，利用視覺傳感器拍攝4個參照點，在拍攝部的圖像坐標(biāo)系中確定校準(zhǔn)夾具的位置，從而求出將圖像上的位置轉(zhuǎn)換為機器人坐標(biāo)系的值的參數(shù)。

專利文獻1：日本特開平8-210816號公報

但是，在專利文獻1所記載的處理中，如上所述那樣，通過使精加工用手與3個基準(zhǔn)點接觸來確定機器人坐標(biāo)系中的校準(zhǔn)夾具的位置。在這樣的以往的校正的處理中，一般而言，由于作業(yè)者確認(rèn)校準(zhǔn)夾具與精加工用手的接觸，所以根據(jù)作業(yè)者不同而在接觸的判斷中產(chǎn)生差。因此，難以高精度地確定校準(zhǔn)夾具的位置以及姿勢。

另外，若由作業(yè)者準(zhǔn)確地進行接觸的判斷，則存在對于校準(zhǔn)夾具的位置以及姿勢的確定需要較長時間的問題。因此，作為校正對象的機器人的數(shù)量越增加，上述問題越深刻。

技術(shù)實現(xiàn)要素：

本發(fā)明是為了解決上述的課題的至少一部分而成的，能夠通過以下的本發(fā)明來實現(xiàn)。

本發(fā)明的控制裝置是能夠分別控制具有機器人臂的機器人以及能夠拍攝第一基準(zhǔn)標(biāo)記、第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記的拍攝部的控制裝置，通過對上述機器人設(shè)置上述拍攝部或者上述第一基準(zhǔn)標(biāo)記、上述第二基準(zhǔn)標(biāo)記以及上述第三基準(zhǔn)標(biāo)記，并使上述機器人臂的姿勢變化，能夠使上述拍攝部分別與上述第一基準(zhǔn)標(biāo)記、上述第二基準(zhǔn)標(biāo)記、上述第三基準(zhǔn)標(biāo)記之間的距離變化，基于上述拍攝部拍攝上述第一基準(zhǔn)標(biāo)記而得的第一圖像、上述拍攝部拍攝配置在與上述第一基準(zhǔn)標(biāo)記不同的位置的上述第二基準(zhǔn)標(biāo)記而得的第二圖像、以及上述拍攝部拍攝配置在與上述第一基準(zhǔn)標(biāo)記以及上述第二基準(zhǔn)標(biāo)記不同的位置的上述第三基準(zhǔn)標(biāo)記而得的第三圖像，來求出與經(jīng)過上述第一基準(zhǔn)標(biāo)記、上述第二基準(zhǔn)標(biāo)記以及上述第三基準(zhǔn)標(biāo)記的平面平行的基準(zhǔn)面的姿勢。

根據(jù)這樣的控制裝置，由于能夠基于拍攝部拍攝到的圖像(第一圖像、第二圖像以及第三圖像)求出基準(zhǔn)面的姿勢，因此與以往那樣通過由作業(yè)者進行的對校正用構(gòu)件(校準(zhǔn)夾具)的接觸的判斷求出基準(zhǔn)面的姿勢相比，能夠降低人為的誤差、由作業(yè)者引起的偏差。另外，由于能夠非接觸地求出基準(zhǔn)面的姿勢，因此例如能夠避免根據(jù)校正用構(gòu)件的材質(zhì)等不同，基準(zhǔn)面的姿勢變化。由此，根據(jù)本發(fā)明的控制裝置，能夠高精度地求出基準(zhǔn)面的姿勢。另外，根據(jù)本發(fā)明的控制裝置，由于基于利用拍攝部拍攝到的圖像求出基準(zhǔn)面的姿勢，因此與以往相比，能夠容易并且迅速地求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，優(yōu)選基于拍攝上述第一圖像時的機器人坐標(biāo)系中的上述機器人的任意的部位的坐標(biāo)、拍攝上述第二圖像時的上述機器人坐標(biāo)系中的上述部位的坐標(biāo)、以及拍攝上述第三圖像時的上述機器人坐標(biāo)系中的上述部位的坐標(biāo)，來求出上述姿勢。

由此，能夠確定包括機器人的任意的部位(例如軸坐標(biāo))的基準(zhǔn)面的姿勢。因此，通過機器人以基準(zhǔn)面進行各種作業(yè)，機器人能夠基于利用拍攝部拍攝到的圖像準(zhǔn)確地進行各種作業(yè)。

在本發(fā)明的控制裝置中，優(yōu)選基于上述第一圖像中的上述第一基準(zhǔn)標(biāo)記的大小、上述第二圖像中的上述第二基準(zhǔn)標(biāo)記的大小、以及上述第三圖像中的上述第三基準(zhǔn)標(biāo)記的大小來求出上述姿勢。

由此，能夠基于拍攝部拍攝到的圖像準(zhǔn)確地求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，優(yōu)選在上述第一基準(zhǔn)標(biāo)記、上述第二基準(zhǔn)標(biāo)記以及上述第三基準(zhǔn)標(biāo)記的各基準(zhǔn)標(biāo)記的大小相互相等的情況下，使上述拍攝部按照上述第一圖像中的上述第一基準(zhǔn)標(biāo)記的大小、上述第二圖像中的上述第二基準(zhǔn)標(biāo)記的大小、以及上述第三圖像中的上述第三基準(zhǔn)標(biāo)記的大小相等的方式拍攝上述第一圖像、上述第二圖像以及上述第三圖像。

由此，能夠基于拍攝部拍攝到的圖像容易并且迅速地求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，優(yōu)選上述第一基準(zhǔn)標(biāo)記、上述第二基準(zhǔn)標(biāo)記以及上述第三基準(zhǔn)標(biāo)記分別是具有以規(guī)定的間隔配置的多個標(biāo)記的構(gòu)成，基于上述第一圖像中的上述第一基準(zhǔn)標(biāo)記具有的上述多個標(biāo)記彼此的第一間隔、上述第二圖像中的上述第二基準(zhǔn)標(biāo)記具有的上述多個標(biāo)記彼此的第二間隔、以及上述第三圖像中的上述第三基準(zhǔn)標(biāo)記具有的上述多個標(biāo)記彼此的第三間隔，來求出上述姿勢。

由此，即使不進行使焦點分別與第一基準(zhǔn)標(biāo)記，第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記嚴(yán)格地對準(zhǔn)的處理，也能夠求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，在上述第一基準(zhǔn)標(biāo)記的上述第一間隔、上述第二基準(zhǔn)標(biāo)記的上述第二間隔、以及上述第三基準(zhǔn)標(biāo)記的上述第三間隔相等的情況下，使上述拍攝部按照上述第一圖像中的上述第一間隔、上述第二圖像中的上述第二間隔、以及上述第三圖像中的上述第三間隔相等的方式拍攝上述第一圖像、上述第二圖像以及上述第三圖像。

由此，即使不進行使焦點分別與第一基準(zhǔn)標(biāo)記，第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記對準(zhǔn)的處理，也能夠容易并且迅速地求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，優(yōu)選上述基準(zhǔn)面與上述拍攝部的光軸正交。

由此，通過機器人相對于與拍攝部的光軸正交的基準(zhǔn)面進行各種作業(yè)，機器人能夠基于拍攝部拍攝到的圖像來準(zhǔn)確地進行各種作業(yè)。另外，能夠容易地進行求出拍攝部的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理。

在本發(fā)明的控制裝置中，優(yōu)選基于基于上述第一圖像求出的上述第一基準(zhǔn)標(biāo)記與上述拍攝部的拍攝基準(zhǔn)點間的第一距離、基于上述第二圖像求出的上述第二基準(zhǔn)標(biāo)記與上述拍攝基準(zhǔn)點間的第二距離、以及基于上述第三圖像求出的上述第三基準(zhǔn)標(biāo)記與上述拍攝基準(zhǔn)點間的第三距離，來求出上述姿勢。

由此，即使不進行使焦點分別與第一基準(zhǔn)標(biāo)記、第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記對準(zhǔn)的處理，也能夠求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，優(yōu)選上述第一距離、上述第二距離以及上述第三距離相等。

由此，即使不進行使焦點分別與第一基準(zhǔn)標(biāo)記、第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記對準(zhǔn)的處理，也能夠容易并且迅速地求出基準(zhǔn)面的姿勢。

在本發(fā)明的控制裝置中，優(yōu)選求出上述基準(zhǔn)面的原點。

由此，通過確定出基準(zhǔn)面的原點，作業(yè)者容易把握基準(zhǔn)面的位置。

在本發(fā)明的控制裝置中，優(yōu)選上述拍攝部能夠拍攝第四基準(zhǔn)標(biāo)記，在配置成經(jīng)過上述第一基準(zhǔn)標(biāo)記和上述第二基準(zhǔn)標(biāo)記的第一直線與經(jīng)過上述第三基準(zhǔn)標(biāo)記和上述第四基準(zhǔn)標(biāo)記的第二直線交叉的情況下，使上述拍攝部分別拍攝上述第一基準(zhǔn)標(biāo)記、上述第二基準(zhǔn)標(biāo)記、上述第三基準(zhǔn)標(biāo)記以及上述第四基準(zhǔn)標(biāo)記，根據(jù)拍攝上述第一基準(zhǔn)標(biāo)記時的機器人坐標(biāo)系中的上述第一基準(zhǔn)標(biāo)記的坐標(biāo)、拍攝上述第二基準(zhǔn)標(biāo)記時的上述機器人坐標(biāo)系中的上述第二基準(zhǔn)標(biāo)記的坐標(biāo)、拍攝上述第三基準(zhǔn)標(biāo)記時的上述機器人坐標(biāo)系中的上述第三基準(zhǔn)標(biāo)記的坐標(biāo)、以及拍攝上述第四基準(zhǔn)標(biāo)記時的上述機器人坐標(biāo)系中的上述第四基準(zhǔn)標(biāo)記的坐標(biāo)，來求出上述第一直線以及上述第二直線，并并基于求出的上述第一直線以及上述第二直線，來求出上述機器人坐標(biāo)系中的上述基準(zhǔn)面的原點。

由此，能夠容易地求出基準(zhǔn)面的原點。

本發(fā)明的機器人的特征在于，被本發(fā)明的控制裝置控制。

根據(jù)這樣的機器人，能夠準(zhǔn)確地進行各種作業(yè)。

本發(fā)明的機器人系統(tǒng)具備本發(fā)明的控制裝置、被該控制裝置控制的機器人、具有拍攝的功能的拍攝部。

根據(jù)這樣的機器人系統(tǒng)，能夠基于利用拍攝部拍攝到的圖像，機器人準(zhǔn)確地進行各種作業(yè)。

附圖說明

圖1是表示本發(fā)明的第一實施方式所涉及的機器人系統(tǒng)的概要立體圖。

圖2是圖1所示的機器人的概要圖。

圖3是圖1所示的機器人系統(tǒng)的框圖。

圖4是表示使用了圖1所示的機器人系統(tǒng)的拍攝部的校正方法的流程圖。

圖5是在圖4所示的拍攝部的校正中使用的校正用構(gòu)件的俯視圖。

圖6是用于說明圖4所示的固定攝像機的校正的機器人的概要圖。

圖7是用于說明圖4所示的固定攝像機的校正的流程圖。

圖8是用于說明圖7所示的確定基準(zhǔn)面的處理的流程圖。

圖9是用于說明圖8所示的確定基準(zhǔn)面的處理中的第一標(biāo)記與第n標(biāo)記的比較的圖。

圖10是用于說明圖4所示的移動攝像機的校正的流程圖。

圖11是用于說明圖10所示的移動攝像機的校正的機器人的概要圖。

圖12是用于說明圖10所示的確定基準(zhǔn)面的處理的流程圖。

圖13是用于說明圖10所示的求出偏離成分的處理的流程圖。

圖14是用于說明圖13所示的求出偏離成分δu、δv、δw的處理的圖。

圖15是用于說明圖13所示的求出偏離成分δx、δy的處理的圖。

圖16是用于說明圖13所示的求出偏離成分δx、δy的處理的圖。

圖17是用于說明圖13所示的求出偏離成分δx、δy的處理的圖。

圖18是用于說明圖13所示的求出偏離成分δx、δy的處理的圖。

圖19是用于說明圖13所示的求出偏離成分δx、δy的處理的圖。

圖20是用于說明圖13所示的求出偏離成分δx、δy的處理的坐標(biāo)圖。

圖21是用于說明圖13所示的求出偏離成分δz的處理的圖。

圖22是在使用本發(fā)明的第二實施方式所涉及的機器人系統(tǒng)的拍攝部的校正中使用的校正用構(gòu)件的俯視圖。

圖23是用于說明第二實施方式中的確定基準(zhǔn)面的處理中的第一標(biāo)記與第n標(biāo)記的比較的圖。

圖24是在使用本發(fā)明的第三實施方式所涉及的機器人系統(tǒng)的拍攝部的校正中使用的校正用構(gòu)件的俯視圖。

具體實施方式

以下，基于附圖所示的優(yōu)選的實施方式對本發(fā)明的控制裝置、機器人以及機器人系統(tǒng)詳細地進行說明。

第一實施方式

機器人系統(tǒng)

圖1是表示本發(fā)明的第一實施方式所涉及的機器人系統(tǒng)的概要立體圖。圖2是圖1所示的機器人的概要圖。圖3是圖1所示的機器人系統(tǒng)的框圖。

應(yīng)予說明，以下，為便于說明，將圖2中的上側(cè)稱作“上”或者“上方”，將下側(cè)稱作“下”或者“下方”。另外，將圖2中的上下方向設(shè)為“鉛錘方向”，將與該鉛錘方向交叉的面設(shè)為“水平面”，將與水平面平行的方向設(shè)為“水平方向”。在此，在本申請說明書中所指的“水平”不限于完全的水平，也包括在相對于水平在5°以下的范圍傾斜的情況。另外，在本申請說明書中所指的“鉛錘”不限于完全的鉛錘，也包括相對于鉛錘在5°以下的范圍傾斜的情況。另外，將圖2中所示的機器人的基臺側(cè)稱作“基端”，將其相反側(cè)(手側(cè))稱作“前端”。

圖1所示的機器人系統(tǒng)100例如是在電子部件以及電子儀器等對象物的把持、搬運以及組裝等作業(yè)中使用的裝置。

如圖1所示那樣，機器人系統(tǒng)100具有具備機器人臂10的機器人1、固定在作業(yè)區(qū)域90內(nèi)的具有拍攝功能的固定攝像機2(拍攝部)、安裝于機器人1的具有拍攝功能的移動攝像機3(拍攝部)、以及分別控制機器人1、固定攝像機2以及移動攝像機3的控制裝置5(校正裝置)。

另外，在本實施方式中，在作業(yè)區(qū)域90內(nèi)設(shè)置有進行對象物的組裝的作業(yè)臺61(組裝臺)、以及例如由作業(yè)者供給對象物的供給臺62。作業(yè)臺61以及供給臺62分別設(shè)置在機器人1的機器人臂10的驅(qū)動范圍內(nèi)。

以下，對機器人系統(tǒng)100具有的各部依次進行說明。

機器人

圖1以及圖2所示的機器人1能夠進行對象物的把持、搬運以及組裝等作業(yè)。

機器人1是6軸垂直多關(guān)節(jié)機器人，具有基臺101、與基臺101連接的機器人臂10、以及設(shè)置于機器人臂10的前端部的手102(工具)。另外，如圖3所示那樣，機器人1具備產(chǎn)生驅(qū)動機器人臂10的動力的多個驅(qū)動部130以及多個馬達驅(qū)動器120。

基臺101是將機器人1安裝于作業(yè)區(qū)域90內(nèi)的規(guī)定的位置的部分。

機器人臂10具有第一臂11(臂)、第二臂12(臂)、第三臂13(臂)、第四臂14(臂)、第五臂15(臂)、以及第六臂16(臂)。第一臂11與基臺101連接，第一臂11、第二臂12、第三臂13、第四臂14、第五臂15、以及第六臂16從基端側(cè)朝向前端側(cè)按該順序連結(jié)。

如圖2所示那樣，第一臂11具有與基臺101連結(jié)的轉(zhuǎn)動軸構(gòu)件111，能夠?qū)⑥D(zhuǎn)動軸構(gòu)件111的中心軸作為轉(zhuǎn)動中心相對于基臺101轉(zhuǎn)動。另外，第二臂12具有與第一臂11連結(jié)的轉(zhuǎn)動軸構(gòu)件121，能夠?qū)⑥D(zhuǎn)動軸構(gòu)件121的中心軸作為轉(zhuǎn)動中心相對于第一臂11轉(zhuǎn)動。另外，第三臂13具有與第二臂12連結(jié)的轉(zhuǎn)動軸構(gòu)件131，能夠?qū)⑥D(zhuǎn)動軸構(gòu)件131的中心軸作為轉(zhuǎn)動中心相對于第二臂12轉(zhuǎn)動。另外，第四臂14具有與第三臂13連結(jié)的轉(zhuǎn)動軸構(gòu)件141，能夠?qū)⑥D(zhuǎn)動軸構(gòu)件141的中心軸作為轉(zhuǎn)動中心相對于第三臂13轉(zhuǎn)動。另外，第五臂15具有與第四臂14連結(jié)的轉(zhuǎn)動軸構(gòu)件151，能夠?qū)⑥D(zhuǎn)動軸構(gòu)件151的中心軸作為轉(zhuǎn)動中心相對于第四臂14轉(zhuǎn)動。另外，第六臂16具有與第五臂15連結(jié)的轉(zhuǎn)動軸構(gòu)件161，能夠?qū)⑥D(zhuǎn)動軸構(gòu)件161的中心軸a6作為轉(zhuǎn)動中心相對于第五臂15轉(zhuǎn)動。在此，將中心軸a6與第六臂16的前端面相交的點(第六臂16的前端面的中心)稱作軸坐標(biāo)o6(規(guī)定的部位)。

手102安裝于第六臂16的前端面，手102的中心軸與第六臂16的中心軸a6一致。在此，將手102的前端面的中心稱作tcp(工具中心點)。在本實施方式中，是指手102具有的2個指間的區(qū)域的中心。

另外，在各臂11～16分別設(shè)置有具有伺服馬達等馬達以及減速機的多個驅(qū)動部130。即，如圖3所示那樣，機器人1具有與各臂11～16對應(yīng)的個數(shù)(在本實施方式中為6個)的驅(qū)動部130。并且，各臂11～16分別經(jīng)由與對應(yīng)的驅(qū)動部130電連接的多個(在本實施方式中為6個)馬達驅(qū)動器120被控制裝置5控制。

另外，在各驅(qū)動部130例如設(shè)置有編碼器、旋轉(zhuǎn)編碼器等角度傳感器(未圖示)。由此，能夠檢測各驅(qū)動部130具有的馬達或者減速機的旋轉(zhuǎn)軸的旋轉(zhuǎn)角度。

另外，如圖1以及圖2所示那樣，在本實施方式中，作為控制機器人1時使用的機器人坐標(biāo)系(機器人1的坐標(biāo)系)，設(shè)定由分別與水平方向平行的xr軸和yr軸、和與水平方向正交并且將鉛錘垂直方向作為正方向的zr軸決定的三維的正交坐標(biāo)系。另外，將相對于xr軸的并進成分設(shè)為“成分xr”，將相對于yr軸的并進成分設(shè)為“成分yr”，將相對于zr軸的并進成分設(shè)為“成分zr”，將繞zr軸的旋轉(zhuǎn)成分設(shè)為“成分ur”，將繞yr軸的旋轉(zhuǎn)成分設(shè)為“成分vr”，將繞xr軸的旋轉(zhuǎn)成分設(shè)為“成分wr”。成分xr、成分yr以及成分zr的長度(大小)的單位是“mm”，成分ur、成分vr以及成分wr的角度(大小)的單位是“°”。

固定攝像機

圖1以及圖2所示的固定攝像機2是具有拍攝對象物等的功能。

如圖2所示那樣，固定攝像機2具有由具有多個像素的ccd(chargecoupleddevice)圖像傳感器構(gòu)成的拍攝部件21、以及透鏡22(光學(xué)系統(tǒng))。該固定攝像機2通過透鏡22使來自對象物等的光在拍攝部件21的受光面211(傳感器面)上成像，并將光變換為電信號，并將該電信號輸出給控制裝置5。在此，所謂受光面211是拍攝部件21的表面且是光成像的面。另外，在本實施方式中，將從受光面211在光軸oa2方向上前進焦距后的位置設(shè)為“固定攝像機2的拍攝基準(zhǔn)點o2”。

這樣的固定攝像機2以能夠拍攝鉛錘方向上方的方式固定在作業(yè)區(qū)域90內(nèi)的規(guī)定的位置。另外，在本實施方式中，固定攝像機2被以其光軸oa2(透鏡22的光軸)與鉛錘方向幾乎平行的方式安裝。

另外，在本實施方式中，作為固定攝像機2的圖像坐標(biāo)系(從固定攝像機2輸出的圖像的坐標(biāo)系)，設(shè)定由分別與圖像的面內(nèi)方向平行的xa軸和ya軸決定的二維的正交坐標(biāo)系。另外，將相對于xa軸的并進成分設(shè)為“成分xa”，將相對于ya軸的并進成分設(shè)為“成分ya”，將繞xa-ya平面的法線的旋轉(zhuǎn)成分設(shè)為“成分ua”。成分xa以及成分ya的長度(大小)的單位是“圖像元素”，成分ua的角度(大小)的單位是“°”。

應(yīng)予說明，固定攝像機2的圖像坐標(biāo)系是對映入至固定攝像機2的攝像機視場的三維的正交坐標(biāo)進一步加入透鏡22的光學(xué)特性(焦距、失真等)和拍攝部件21的像素數(shù)以及大小并進行非線形變換的二維的正交坐標(biāo)系。

移動攝像機

圖1以及圖2所示的移動攝像機3具有拍攝對象物等的功能。

如圖2所示那樣，移動攝像機3具有由具有多個像素的ccd(chargecoupleddevice)圖像傳感器構(gòu)成的拍攝部件31、以及透鏡32(光學(xué)系統(tǒng))。該移動攝像機3通過透鏡32使來自對象物等的光在拍攝部件31的受光面311(傳感器面)上成像，并將光變換為電信號，并將該電信號輸出給控制裝置5。在此，所謂受光面311是拍攝部件31的表面且是光成像的面。另外，在本實施方式中，將從受光面311在光軸oa3方向上前進焦距后的位置設(shè)為“移動攝像機3的拍攝基準(zhǔn)點o3”。

這樣的移動攝像機3被以能夠拍攝比第六臂16靠近機器人臂10的前端側(cè)的方式安裝于第六臂16。另外，在本實施方式中，在設(shè)計上，移動攝像機3被以其光軸oa3(透鏡32的光軸)與第六臂16的中心軸a6幾乎平行的方式安裝于第六臂16。另外，由于移動攝像機3安裝于第六臂16，因此，能夠通過機器人臂10的驅(qū)動，與第六臂16一同改變其姿勢。

另外，在本實施方式中，作為移動攝像機3的圖像坐標(biāo)系(由移動攝像機3輸出的圖像的坐標(biāo)系)，設(shè)定由分別與圖像的面內(nèi)方向平行的xb軸和yb軸決定的二維的正交坐標(biāo)系。另外，將相對于xb軸的并進成分設(shè)為“成分xb”，將相對于yb軸的并進成分設(shè)為“成分yb”，將繞xb-yb平面的法線的旋轉(zhuǎn)成分設(shè)為“成分ub”。成分xb以及成分yb的長度(大小)的單位是“圖像元素”，成分ub的角度(大小)的單位是“°”。

應(yīng)予說明，移動攝像機3的圖像坐標(biāo)系是對映入至移動攝像機3的攝像機視場的三維的正交坐標(biāo)進一步加入透鏡32的光學(xué)特性(焦距、失真等)和拍攝部件31的像素數(shù)以及大小并進行非線形變換的二維的正交坐標(biāo)系。

控制裝置

圖1所示的控制裝置5控制機器人1、固定攝像機2以及移動攝像機3的各部。該控制裝置5例如能夠由內(nèi)置了cpu(centralprocessingunit)、rom(readonlymemory)以及ram(randomaccessmemory)的個人計算機(pc)等構(gòu)成。

如圖3所示那樣，控制裝置5具備驅(qū)動控制部51、信息獲取部52、處理部53、以及存儲部54。

驅(qū)動控制部51控制擔(dān)任機器人1具有的各臂11～16的驅(qū)動的各驅(qū)動部130的驅(qū)動，能夠分別獨立地使各臂11～16驅(qū)動或停止。例如，驅(qū)動控制部51為了使手102移動至目標(biāo)位置，導(dǎo)出設(shè)置于各臂11～16的各驅(qū)動部130具有的馬達的目標(biāo)值。另外，驅(qū)動控制部51基于從各驅(qū)動部130具有的角度傳感器輸出的旋轉(zhuǎn)角度(檢測結(jié)果)對機器人1進行反饋控制。另外，驅(qū)動控制部51控制固定攝像機2以及移動攝像機3的拍攝等。

信息獲取部52獲取分別從機器人1、固定攝像機2以及移動攝像機3輸出的檢測結(jié)果。作為檢測結(jié)果，例如列舉機器人1的各驅(qū)動部130具有的馬達或者減速機的旋轉(zhuǎn)軸的旋轉(zhuǎn)角度、分別利用固定攝像機2以及移動攝像機3拍攝到的圖像、以及機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)(成分xr、yr、zr、ur、vr、wr：位置以及姿勢)等。

處理部53基于利用信息獲取部52獲取到的檢測結(jié)果進行各種運算、各種判斷等處理。例如，處理部53基于利用固定攝像機2拍攝到的圖像來運算固定攝像機2的圖像坐標(biāo)系中的拍攝對象的坐標(biāo)(成分xa、ya、ua：位置以及姿勢)，基于利用移動攝像機3拍攝到的圖像來運算移動攝像機3的圖像坐標(biāo)系中的拍攝對象的坐標(biāo)(成分xb、yb、ub：位置以及姿勢)。另外，例如，處理部53求出用于將固定攝像機2的圖像坐標(biāo)系中的對象物的坐標(biāo)變換為機器人坐標(biāo)系中的坐標(biāo)的修正參數(shù)，或者求出用于將移動攝像機3的圖像坐標(biāo)系中的對象物的坐標(biāo)變換為機器人坐標(biāo)系中的坐標(biāo)的修正參數(shù)。

存儲部54存儲控制裝置5用于進行各種處理的程序、數(shù)據(jù)等。另外，存儲部54存儲各種檢測結(jié)果等。

另外，如圖1以及圖3所示那樣，在控制裝置5連接有顯示設(shè)備41以及操作設(shè)備42。

顯示設(shè)備41具有由液晶顯示面板等顯示面板構(gòu)成的監(jiān)視器411。作業(yè)者能夠經(jīng)由該監(jiān)視器411確認(rèn)利用固定攝像機2以及移動攝像機3拍攝到的圖像、由機器人1進行的作業(yè)等。

操作設(shè)備42是由鍵盤構(gòu)成的輸入設(shè)備，針對控制裝置5輸出與作業(yè)者的操作相應(yīng)的操作信號。由此，作業(yè)者能夠通過操作操作設(shè)備42來針對控制裝置5進行各種處理等指示。

以上，對機器人系統(tǒng)100的基本的構(gòu)成簡單地進行了說明。

在這樣的構(gòu)成的機器人系統(tǒng)100中，例如能夠進行以下這樣的作業(yè)。

首先，通過控制裝置5的控制使機器人臂10驅(qū)動并利用手102把持對象物。然后，使機器人臂10驅(qū)動，使手102移動至固定攝像機2上。接下來，利用固定攝像機2拍攝對象物，控制裝置5基于利用該固定攝像機2拍攝到的圖像來判斷是否由手102在準(zhǔn)確地把持對象物。若準(zhǔn)確地把持，則通過機器人臂10的驅(qū)動使手102移動至作業(yè)臺61上。然后，基于利用移動攝像機3拍攝到的圖像，針對預(yù)先配置在作業(yè)臺61上的對象物組裝由手102把持的對象物。

在這樣的上述作業(yè)中，基于分別利用固定攝像機2以及移動攝像機3拍攝到的對象物的圖像，機器人1針對對象物進行作業(yè)。

在這樣的作業(yè)中，為了基于利用固定攝像機2拍攝到的圖像，機器人1針對對象物準(zhǔn)確地進行作業(yè)，需要求出用于將固定攝像機2的圖像上的坐標(biāo)(圖像坐標(biāo)系中的位置以及姿勢)變換為機器人坐標(biāo)系中的坐標(biāo)的修正參數(shù)的處理，即需要固定攝像機2的校正(校準(zhǔn))。另外，同樣，為了基于利用移動攝像機3拍攝到的圖像，機器人1針對對象物等準(zhǔn)確地進行作業(yè)，需要求出用于將移動攝像機3的圖像上的坐標(biāo)(圖像坐標(biāo)系中的位置以及姿勢)變換為機器人坐標(biāo)系中的坐標(biāo)的修正參數(shù)的處理，即需要移動攝像機3的校正(校準(zhǔn))。

以下，對使用了機器人系統(tǒng)100的固定攝像機2的校正方法以及移動攝像機3的校正方法(以下，將它們通稱為“拍攝部的校正方法(校準(zhǔn)方法)”)進行說明。

拍攝部的校正方法(校準(zhǔn)方法)

圖4是表示使用了圖1所示的機器人系統(tǒng)的拍攝部的校正方法的流程圖。圖5是在圖4所示的拍攝部的校正中使用的校正用構(gòu)件的俯視圖。圖6是用于說明圖4所示的固定攝像機的校正的機器人的概要圖。圖7是用于說明圖4所示的固定攝像機的校正的流程圖。圖8是用于說明圖7所示的確定出基準(zhǔn)面的處理的流程圖。圖9是用于說明圖8所示的確定基準(zhǔn)面的處理中的第一標(biāo)記與第n標(biāo)記的比較的圖。圖10是用于說明圖4所示的移動攝像機的校正的流程圖。圖11是用于說明圖10所示的移動攝像機的校正的機器人的概要圖。圖12是用于說明圖10所示的確定基準(zhǔn)面的處理的流程圖。圖13是用于說明圖10所示的求出偏離成分的處理的流程圖。圖14是用于說明圖13所示的求出偏離成分δu、δv、δw的處理的圖。圖15、圖16、圖17、圖18以及圖19分別是用于說明圖13所示的求出偏離成分δx、δy的處理的圖。圖20是用于說明圖13所示的求出偏離成分δx、δy的處理的坐標(biāo)圖。圖21是用于說明圖13所示的求出偏離成分δz的處理的圖。

如圖4所示那樣，在本實施方式的拍攝部的校正方法中，在進行了固定攝像機2的校正(步驟s1)后，進行移動攝像機3的校正(步驟s2)。

拍攝部的校正通過作業(yè)者使用操作設(shè)備42對控制裝置5進行拍攝部的校正開始的指示而開始。并且，只要作業(yè)者對控制裝置5進行拍攝部的校正開始的指示，則其以后，拍攝部的校正通過機器人系統(tǒng)100自動地進行。應(yīng)予說明，該拍攝部的校正例如每當(dāng)機器人1的作業(yè)內(nèi)容等改變時進行。

在此，在本實施方式中，使用圖5所示的校正用構(gòu)件70(校準(zhǔn)板)進行拍攝部的校正。

校正用構(gòu)件70是四邊形的平板狀的構(gòu)件，在校正用構(gòu)件70的表面701標(biāo)注有多個標(biāo)記75。多個標(biāo)記75為相互相同的圓形狀(形狀)，是相互幾乎相同的大小。另外，多個標(biāo)記75以相鄰的標(biāo)記75彼此的間距(間隔)全部幾乎恒定的方式配置。另外，標(biāo)記75彼此的間距被預(yù)先測定，為已知。

在這些多個標(biāo)記75中的位于圖5中的上側(cè)的標(biāo)記75、位于圖5中的中央部(表面701的中央部)的標(biāo)記75、以及位于圖5中的右側(cè)的標(biāo)記75分別進一步標(biāo)注有包圍標(biāo)記75的圓。將由該3個標(biāo)記75和包圍該3個標(biāo)記的圓構(gòu)成的呈同心圓狀的標(biāo)記中的、位于圖5中的上側(cè)的標(biāo)記設(shè)為“第一標(biāo)記71(第一基準(zhǔn)點)”，將位于圖5中的中央部的標(biāo)記設(shè)為“第二標(biāo)記72(第二基準(zhǔn)點)”，將位于圖5中的右側(cè)的標(biāo)記設(shè)為“第三標(biāo)記73(第三基準(zhǔn)點)”。這樣的第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73在下述的確定拍攝部的校正的基準(zhǔn)面的處理(參照圖7)中作為基準(zhǔn)標(biāo)記被使用。因此、第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73處于相互不同的位置，并且第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73不在同一直線上。

應(yīng)予說明，多個標(biāo)記75、第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的形狀分別不限于圖示的形狀，也可以是任意的形狀。另外，標(biāo)記75、第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73分別是能夠視覺確認(rèn)的形態(tài)即可，可以是任何的顏色，也可以是具有凹凸的形態(tài)。另外，多個標(biāo)記75、第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記也可以是不同的形態(tài)。例如，多個標(biāo)記75、第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73可以分別是不同的顏色、形狀。但是，由于第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73作為基準(zhǔn)標(biāo)記被使用，因此，優(yōu)選是具有與其它的標(biāo)記75的辨別力的方式。

這樣的構(gòu)成的校正用構(gòu)件70如圖6所示那樣，在進行由作業(yè)者進行的拍攝部的校正開始的指示前，預(yù)先使機器人1利用手102對其進行把持。另外，在本實施方式中，以第二標(biāo)記72位于第六臂16的中心軸a6上的方式通過手102把持校正用構(gòu)件70。另外，在本實施方式中，能夠確定機器人坐標(biāo)系中的相對于軸坐標(biāo)o6的坐標(biāo)的第二標(biāo)記72的坐標(biāo)，能夠求出機器人坐標(biāo)系中的第二標(biāo)記72的坐標(biāo)。

應(yīng)予說明，在本實施方式中，如上所述那樣，第二標(biāo)記72位于第六臂16的中心軸a6上，但若以能夠求出機器人坐標(biāo)系中的第二標(biāo)記72的坐標(biāo)的方式設(shè)定，則第二標(biāo)記72也可以不位于第六臂16的中心軸a6上。

固定攝像機的校正(步驟s1)

如圖4所示那樣，若進行了由作業(yè)者進行的拍攝部的校正的開始的指示，則控制裝置5首先開始固定攝像機2的校正(步驟s1)。

如圖7所示那樣，在固定攝像機2的校正(步驟s1)中，在進行了確定基準(zhǔn)面的處理(步驟s11)后，進行求出固定攝像機2的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s12)。

確定基準(zhǔn)面的處理(步驟s11)

以下，參照圖8所示的流程圖對確定基準(zhǔn)面的處理(步驟s11)進行說明。

如圖8所示那樣，若開始確定基準(zhǔn)面的處理(步驟s11)，則首先，控制裝置5使機器人臂10驅(qū)動，如圖6所示那樣，使校正用構(gòu)件70與固定攝像機2對置(步驟s111)。

接下來，如圖8所示那樣，控制裝置5使機器人臂10驅(qū)動來使校正用構(gòu)件70移動，以使標(biāo)注于校正用構(gòu)件70的第二標(biāo)記72位于固定攝像機2的圖像的中心部(步驟s112)。

接下來，控制裝置5使固定攝像機2拍攝第二標(biāo)記72(步驟s113)。此時，控制裝置5通過使機器人臂10驅(qū)動來進行使校正用構(gòu)件70移動的處理(調(diào)焦處理)，以使固定攝像機2的焦點與第二標(biāo)記72一致(調(diào)焦)。應(yīng)予說明，也可以省略該調(diào)焦處理。

接下來，控制裝置5將利用固定攝像機2拍攝到的第二標(biāo)記72的圖像作為“第一圖像”存儲至存儲部54，并且將拍攝第一圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54(步驟s114)。在此，在固定攝像機2中的確定基準(zhǔn)面的處理(步驟s11)中，將拍攝第一圖像時的第二標(biāo)記72作為“第一基準(zhǔn)標(biāo)記”。

接下來，控制裝置5使機器人臂10驅(qū)動來使校正用構(gòu)件70沿機器人坐標(biāo)系中的xr軸、yr軸以及zr軸并進移動，以使第二標(biāo)記72在固定攝像機2的圖像上位于與在步驟s112移動的位置不同的位置(步驟s115)。

接下來，控制裝置5使固定攝像機2拍攝第二標(biāo)記72(步驟s116)。

接下來，比較在步驟s116中利用固定攝像機2拍攝到的圖像中的第二標(biāo)記72的形狀以及大小與在步驟s114中存儲于存儲部54的第一圖像中的第二標(biāo)記72的形狀以及大小(步驟s117)。然后，判斷第二標(biāo)記72的形狀以及大小與第一圖像中的第二標(biāo)記72的形狀以及大小的差是否在規(guī)定的閾值內(nèi)(步驟s118)。

在判斷為在規(guī)定的閾值內(nèi)的情況下(步驟s118的“是”)，轉(zhuǎn)移至步驟s1110。另一方面，在判斷為不在規(guī)定的閾值內(nèi)的情況(步驟s118的“否”)下，通過機器人臂10的驅(qū)動使校正用構(gòu)件70移動以使在規(guī)定的閾值內(nèi)(步驟s119)。例如，在如圖9所示那樣，以圖9中的雙點劃線表示的第二標(biāo)記72的大小(外形)與以圖9中的實線表示的第一圖像中的第二標(biāo)記72的大小(外形)不同，其大小的差不在規(guī)定的閾值內(nèi)的情況下，通過機器人臂10的驅(qū)動使校正用構(gòu)件70移動以使得在規(guī)定的閾值內(nèi)。

接下來，控制裝置5若判斷為在規(guī)定的閾值內(nèi)，則將利用固定攝像機2拍攝到的第二標(biāo)記72的圖像作為“第二圖像(第n圖像)”存儲至存儲部54，并且將拍攝第二圖像(第n圖像)時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54(步驟s1110)。在此，在固定攝像機2中的確定基準(zhǔn)面的處理(步驟s11)中，將拍攝第二圖像時的第二標(biāo)記72作為“第二基準(zhǔn)標(biāo)記”。應(yīng)予說明，在拍攝第二圖像時，標(biāo)注于被手102把持的校正用構(gòu)件70的第二標(biāo)記72處于與拍攝第一圖像時的位置不同的位置。

接下來，判斷拍攝到的圖像的個數(shù)n是否是預(yù)先設(shè)定的規(guī)定個數(shù)(其中，n為整數(shù)，是滿足3≤n的關(guān)系的數(shù))(步驟s1111)。在判斷為是規(guī)定個數(shù)的情況下，轉(zhuǎn)移至步驟s1112，在判斷為小于規(guī)定個數(shù)的情況下，重復(fù)進行上述的步驟s115至步驟s1110，直至判斷為是規(guī)定個數(shù)。

在此，在本實施方式中，預(yù)先設(shè)定獲取圖像至圖像的個數(shù)為3，即利用固定攝像機2拍攝3個圖像(第一圖像、第二圖像以及第三圖像)。因此，在本實施方式中，在利用固定攝像機2拍攝第二圖像后，又一次從步驟s115進行至步驟s1110，通過機器人臂10的驅(qū)動使校正用構(gòu)件70移動，將利用固定攝像機2拍攝到的第二標(biāo)記72的圖像作為“第三圖像”存儲至存儲部54，并且將拍攝第三圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。在此，在固定攝像機2中的確定基準(zhǔn)面的處理(步驟s11)中，將拍攝第三圖像時的第二標(biāo)記72作為“第三基準(zhǔn)標(biāo)記”。應(yīng)予說明，在拍攝第三圖像時，標(biāo)注于被手102把持的校正用構(gòu)件70的第二標(biāo)記72處于與在拍攝第一圖像時的位置以及拍攝第二圖像時的位置不同的位置，它們不在同一直線上。另外，在固定攝像機2中的確定基準(zhǔn)面的處理(步驟s11)中，能夠看作第二標(biāo)記72兼“第一基準(zhǔn)標(biāo)記、第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記”。

接下來，若判斷為圖像的個數(shù)n為規(guī)定個數(shù)，則處理部53基于存儲至存儲部54的n個(在本實施方式中為3個)機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)，求出圖6所示那樣的與拍攝部件21(經(jīng)過被配置于3個不同的位置的狀態(tài)的第二標(biāo)記72的平面)平行的基準(zhǔn)面81的原點以及x軸、y軸、z軸的各方向(步驟s1112)。然后，控制裝置5定義機器人坐標(biāo)系中的基準(zhǔn)面81的位置以及姿勢，即基準(zhǔn)面81的成分xr、yr、zr、ur、vr、wr(步驟s1113)。

通過上述，圖7所示的確定基準(zhǔn)面的處理(步驟s11)結(jié)束。

如上所述那樣，根據(jù)控制裝置5，能夠基于利用固定攝像機2(拍攝部)拍攝到的圖像(第一圖像、第二圖像以及第三圖像)求出基準(zhǔn)面81的姿勢。因此，能夠節(jié)省如以往那樣判斷由作業(yè)者進行的精加工用手與校準(zhǔn)夾具(校正用構(gòu)件)的接觸的作業(yè)。因此，能夠降低人為的誤差、由作業(yè)者引起的偏差，因而，能夠高精度地求出基準(zhǔn)面81的姿勢。另外，若如以往那樣通過使精加工用手與校準(zhǔn)夾具接觸來求出基準(zhǔn)面，則根據(jù)校準(zhǔn)夾具的材質(zhì)等不同，求出的基準(zhǔn)面的姿勢不同，難以高精度地檢測基準(zhǔn)面的姿勢。與此相對，在本實施方式中，由于基于利用固定攝像機2拍攝到的圖像來求出基準(zhǔn)面81的姿勢，因此，能夠不與校正用構(gòu)件70接觸(非接觸)地求出基準(zhǔn)面81的姿勢。因此，例如能夠不取決于校正用構(gòu)件70的材質(zhì)等，高精度地求出基準(zhǔn)面81的姿勢。

另外，根據(jù)控制裝置5，由于能夠基于利用固定攝像機2拍攝到的圖像求出基準(zhǔn)面81的姿勢，因此，與以往相比，能夠容易并且迅速地求出基準(zhǔn)面81的姿勢。

另外，如上所述那樣，在本實施方式中，基于分別拍攝3個圖像(第一圖像、第二圖像以及第三圖像)時的機器人坐標(biāo)系中的軸坐標(biāo)o6(規(guī)定的部位)的坐標(biāo)來求出基準(zhǔn)面81。由此，可以說基準(zhǔn)面81是包括軸坐標(biāo)o6的面。因此，機器人1通過以基準(zhǔn)面81進行作業(yè)(例如判斷是否通過手102準(zhǔn)確地把持對象物的作業(yè))，機器人1能夠準(zhǔn)確地進行上述作業(yè)。

尤其是若如上所述那樣，在本實施方式中，通過在拍攝3個圖像時，預(yù)先進行調(diào)焦處理，機器人1以基準(zhǔn)面81進行對象物的檢測、檢查、組裝等各作業(yè)，則機器人1能夠以更高的精度進行各種作業(yè)。

應(yīng)予說明，若預(yù)先已知軸坐標(biāo)o6與工具中心點tcp間的距離，則能夠基于該距離和作為包括軸坐標(biāo)o6的面的基準(zhǔn)面81求出包括工具中心點tcp的面。

另外，在本實施方式中，基于軸坐標(biāo)o6的坐標(biāo)進行了確定基準(zhǔn)面81的處理(步驟s11)，但也可以基于工具中心點tcp的坐標(biāo)確定基準(zhǔn)面81，還可以基于其它的機器人的任意的部位確定基準(zhǔn)面81。

另外，如上所述那樣，在本實施方式中，基于第一圖像中的第二標(biāo)記72的大小、第二圖像中的第二標(biāo)記72的大小、以及第三圖像中的第二標(biāo)記72的大小來求出基準(zhǔn)面81的位置以及姿勢。因此，在本實施方式中，若基于各圖像中的第二標(biāo)記72的大小來求出基準(zhǔn)面81的位置以及姿勢，則能夠準(zhǔn)確地求出基準(zhǔn)面81的姿勢。

另外，基于各圖像中的第二標(biāo)記72的大小來求出基準(zhǔn)面81的位置以及姿勢和基于獲取第一圖像時的第二標(biāo)記72與固定攝像機2的受光面211(更加具體而言為拍攝基準(zhǔn)點o2)間的距離(第一距離)、獲取第二圖像時的第二標(biāo)記72與受光面211(拍攝基準(zhǔn)點o2)間的距離(第二距離)、以及獲取第三圖像時的第二標(biāo)記72與受光面211(拍攝基準(zhǔn)點o2)間的距離(第三距離)來求出基準(zhǔn)面81的姿勢等同。因此，根據(jù)本實施方式的校正方法，能夠基于第一距離、第二距離以及第三距離的距離來求出基準(zhǔn)面81的姿勢。

求出固定攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s12)

接下來，如圖7所示那樣，進行求出固定攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s12)。

控制裝置5首先使機器人臂10驅(qū)動來使校正用構(gòu)件70移動，以使軸坐標(biāo)o6分別位于在上述的步驟s12求出的在基準(zhǔn)面81內(nèi)的以格子狀排列的任意的9個基準(zhǔn)點(虛擬的目標(biāo)點)。即，使第二標(biāo)記72移動至以格子狀排列的9個位置。此時，控制裝置5每當(dāng)使校正用構(gòu)件70移動時便使固定攝像機2拍攝第二標(biāo)記72。

在此，9個基準(zhǔn)點全部位于固定攝像機2的圖像的范圍內(nèi)(拍攝區(qū)域內(nèi))，相鄰的基準(zhǔn)點彼此的間隔全部相等。

接下來，控制裝置5基于基于9個圖像的固定攝像機2的圖像坐標(biāo)系中的第二標(biāo)記72的坐標(biāo)(成分xa、ya、ua)和在上述的步驟s11求出的機器人坐標(biāo)系中的基準(zhǔn)面81的坐標(biāo)(成分xr、yr、ur)來求出將固定攝像機2的圖像坐標(biāo)變換為機器人坐標(biāo)系中的基準(zhǔn)面81的坐標(biāo)的修正參數(shù)(坐標(biāo)變換矩陣)。

若使用這樣求出的修正參數(shù)，則能夠?qū)⒗霉潭〝z像機2拍攝到的對象物等的位置以及姿勢(具體地說為成分xa、ya、ua)變換為機器人坐標(biāo)系中的值(具體地說為成分xr、yr、ur)。應(yīng)予說明，該修正參數(shù)是也進一步加入透鏡22的失真等固定攝像機2的內(nèi)部參數(shù)的值。

應(yīng)予說明，在本實施方式中，如上所述那樣，使用9個基準(zhǔn)點求出修正參數(shù)，但為了求出修正參數(shù)而使用的基準(zhǔn)點的個數(shù)越多，校正的精度越高。

通過上述，圖4所示的固定攝像機的校正(步驟s1)結(jié)束。

移動攝像機的校正(步驟s2)

接下來，控制裝置5開始圖4所示的移動攝像機3的校正(步驟s2)。

如圖10所示那樣，在移動攝像機3的校正(步驟s2)中，按如下順序進行確定基準(zhǔn)面的處理(步驟s21)、求出偏離成分的處理(步驟s22)、確定作業(yè)面的處理(步驟s23)、向機器人1示教標(biāo)記的位置以及姿勢的處理(步驟s24)、以及求出移動攝像機3的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s25)。

確定基準(zhǔn)面的處理(步驟s21)

首先，如圖11所示那樣，在進行確定基準(zhǔn)面的處理(步驟s21)前，預(yù)先將利用手102把持的校正用構(gòu)件70載置在作業(yè)臺61的作業(yè)面611上。然后，進行確定基準(zhǔn)面的處理(步驟s21)。

以下，參照圖12所示的流程圖對確定基準(zhǔn)面的處理(步驟s21)的詳細內(nèi)容進行說明。

如圖12所示那樣，若開始確定基準(zhǔn)面的處理(步驟s21)，則首先控制裝置5使機器人臂10驅(qū)動來如圖12所示那樣，使移動攝像機3與校正用構(gòu)件70對置(步驟s211)。

接下來，控制裝置5使機器人臂10驅(qū)動來使移動攝像機3移動，以使標(biāo)注于校正用構(gòu)件70的第一標(biāo)記71位于移動攝像機3的圖像的中心部(步驟s212)。

接下來，控制裝置5使移動攝像機3拍攝第一標(biāo)記71(步驟s213)。此時，控制裝置5通過使機器人臂10驅(qū)動來進行使移動攝像機3移動的處理(調(diào)焦處理)，以使移動攝像機3的焦點與第一標(biāo)記71一致(調(diào)焦)。應(yīng)予說明，也可以省略該調(diào)焦處理。

接下來，控制裝置5將利用移動攝像機3拍攝到的第一標(biāo)記71的圖像作為“第一圖像”存儲至存儲部54，并且將拍攝第一圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54(步驟s214)。在此，在移動攝像機3中的確定基準(zhǔn)面的處理(步驟s21)中，將第一標(biāo)記71作為“第一基準(zhǔn)標(biāo)記”。

接下來，控制裝置5使機器人臂10驅(qū)動來使移動攝像機3并進移動，以使第二標(biāo)記72位于移動攝像機3的圖像的中心部(步驟s215)。

接下來，控制裝置5使移動攝像機3拍攝第二標(biāo)記72(第n標(biāo)記)(步驟s216)。

接下來，比較在步驟s216利用移動攝像機3拍攝到的圖像中的第二標(biāo)記72的形狀以及大小和在步驟s214存儲至存儲部54的第一圖像中的第一標(biāo)記71的形狀以及大小(步驟s217)。然后，判斷第二標(biāo)記72的形狀以及大小與第一標(biāo)記71的形狀以及大小的差是否在規(guī)定的閾值內(nèi)(步驟s218)。

在判斷為在規(guī)定的閾值內(nèi)的情況(步驟s218的“是”)下，轉(zhuǎn)移至步驟s2110。另一方面，在判斷為不在規(guī)定的閾值內(nèi)的情況(步驟s218的“否”)下，通過機器人臂10的驅(qū)動使移動攝像機3移動，以使在規(guī)定的閾值內(nèi)(步驟s219)。

接下來，控制裝置5若判斷為在規(guī)定的閾值內(nèi)，則將利用移動攝像機3拍攝到的第二標(biāo)記72(第n標(biāo)記)的圖像作為“第二圖像(第n圖像)”存儲至存儲部54，并且將拍攝第二圖像(第n圖像)時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54(步驟s2110)。在此，在移動攝像機3中的確定出基準(zhǔn)面的處理(步驟s21)中，將第二標(biāo)記72作為“第二基準(zhǔn)標(biāo)記”。

接下來，判斷拍攝到的圖像的個數(shù)n是否為預(yù)先設(shè)定的規(guī)定個數(shù)(其中，n為整數(shù)，是滿足3≤n的關(guān)系的數(shù))(步驟s2111)。在判斷為是規(guī)定個數(shù)的情況下，轉(zhuǎn)移至步驟s2112，在判斷為小于規(guī)定個數(shù)的情況下，重復(fù)進行上述的步驟s215至步驟s2110，直至判斷為是規(guī)定個數(shù)。

在此，在本實施方式中，預(yù)先設(shè)定利用移動攝像機3拍攝3個圖像(第一圖像、第二圖像以及第三圖像)。因此，在本實施方式中，在利用移動攝像機3拍攝第二圖像后，又一次進行從步驟s215至步驟s2110，將利用移動攝像機3拍攝到的第三標(biāo)記73的圖像作為“第三圖像”存儲至存儲部54，并且將拍攝第三圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。在此，在移動攝像機3中的確定基準(zhǔn)面的處理(步驟s21)中，將第三標(biāo)記73作為“第三基準(zhǔn)標(biāo)記”。

接下來，若判斷為圖像的數(shù)n是規(guī)定個數(shù)，則處理部53基于存儲至存儲部54的n個(在本實施方式中為3個)機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)，求出圖11所示那樣的與表面701(經(jīng)過第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的平面)平行的基準(zhǔn)面82的原點以及x軸、y軸、z軸的各方向(步驟s2112)。然后，控制裝置5定義機器人坐標(biāo)系中的基準(zhǔn)面82的位置以及姿勢，即基準(zhǔn)面82的成分xr、yr、zr、ur、vr、wr(步驟s2113)。

如上所述那樣，根據(jù)控制裝置5，能夠發(fā)揮與固定攝像機2中的確定基準(zhǔn)面的處理(步驟s11)同樣的效果。即，由于使用利用移動攝像機3(拍攝部)拍攝到的圖像(第一圖像、第二圖像以及第三圖像)，因此，能夠不與校正用構(gòu)件70接觸地求出基準(zhǔn)面82的姿勢，因而，能夠例如不取決于校正用構(gòu)件70的材質(zhì)等地高精度地求出基準(zhǔn)面82的姿勢。另外，與以往相比，能夠容易并且迅速地求出基準(zhǔn)面82的姿勢。

另外，如上所述那樣，在本實施方式中，基于第一圖像中的第一標(biāo)記71的大小、第二圖像中的第二標(biāo)記72的大小、以及第三圖像中的第二標(biāo)記72的大小來求出基準(zhǔn)面82的位置以及姿勢。因此，在本實施方式中，若基于各圖像中的第二標(biāo)記72的大小來求出基準(zhǔn)面82的位置以及姿勢，則能夠準(zhǔn)確地求出基準(zhǔn)面82的姿勢。

另外，基于各圖像中的第二標(biāo)記72的大小來求出基準(zhǔn)面82的位置以及姿勢和基于獲取第一圖像時的第一標(biāo)記71與移動攝像機3的受光面311(更加具體而言為拍攝基準(zhǔn)點o3)間的距離(第一距離)、獲取第二圖像時的第二標(biāo)記72與受光面311(拍攝基準(zhǔn)點o3)間的距離(第二距離)、獲取第三圖像時的第三標(biāo)記73與受光面311(拍攝基準(zhǔn)點o3)間的距離(第三距離)求出基準(zhǔn)面82的姿勢等同。因此，根據(jù)本實施方式的校正方法，能夠基于第一距離、第二距離以及第三距離的距離求出基準(zhǔn)面82的姿勢。

并且，如上述那樣，在移動攝像機3中的確定基準(zhǔn)面的處理(步驟s21)中，使用標(biāo)注大小相互相等的第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的校正用構(gòu)件70，以圖像上中的第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的大小相互相等的方式利用固定攝像機2拍攝第一圖像、第二圖像以及第三圖像。若像這樣拍攝，則即使移動攝像機3的焦距、視場角不已知，也能夠求出與表面701平行(與移動攝像機3的光軸oa3正交)的基準(zhǔn)面82。

另外，所謂以第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的大小相互相等的方式利用移動攝像機3拍攝第一圖像、第二圖像以及第三圖像和基于距離相互相等的第一距離、第二距離以及第三距離求出基準(zhǔn)面82的姿勢等同。因此，根據(jù)本實施方式的校正方法，基于距離相等的第一距離、第二距離以及第三距離，即使移動攝像機3的焦距、視場角不已知，也能夠容易并且迅速地求出與表面701平行的基準(zhǔn)面82。

應(yīng)予說明，在本實施方式中，第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的各標(biāo)記的大小相互相等，但若它們的大小的關(guān)系已知，則它們的大小也可以分別不同。在該情況下，通過基于第一標(biāo)記71、第二標(biāo)記72以及第三標(biāo)記73的各標(biāo)記的大小的關(guān)系求出第一距離、第二距離以及第三距離的距離，能夠容易并且迅速地求出與表面701平行的基準(zhǔn)面82。

求出偏離成分的處理(步驟s22)

接下來，參照圖13所示的流程圖對求出偏離成分的處理(步驟s22)進行說明。

在此，如上所述那樣，移動攝像機3在設(shè)計上被以光軸oa3相對于第六臂16的中心軸a6幾乎平行的方式偏離地安裝于第六臂16。但是，實際上從該設(shè)計上的偏離成分(移動攝像機3相對于第六臂16的位置以及姿勢)產(chǎn)生偏移。該偏移例如因移動攝像機3的組裝誤差、拍攝部件31對移動攝像機3的殼體的的組裝誤差等而產(chǎn)生。

因此，在求出該偏離成分的處理(步驟s22)中，求出實際的偏離成分(移動攝像機3相對于第六臂16的位置以及姿勢)。

在以下的求出偏離成分的處理(步驟s22)中，求出相對于轉(zhuǎn)動軸構(gòu)件161的軸坐標(biāo)o6的、移動攝像機3的拍攝基準(zhǔn)點o3的位置以及光軸oa3的方向(姿勢)的偏離成分(δx、δx、δy、δu、δv、δw)。

應(yīng)予說明，在本實施方式中，求出相對于軸坐標(biāo)o6的拍攝基準(zhǔn)點o3的位置以及光軸oa3的方向的偏離成分，但每次求出偏離成分作為基準(zhǔn)的位置不限于軸坐標(biāo)o6以及拍攝基準(zhǔn)點o3，可任意。

如圖13所示那樣，若開始求出偏離的處理(步驟s22)，則首先，控制裝置5使機器人臂10驅(qū)動，使移動攝像機3檢測校正用構(gòu)件70(步驟s221)。

接下來，控制裝置5使機器人臂10驅(qū)動，以使移動攝像機3的受光面311與校正用構(gòu)件70的表面701正對(步驟s222)。

接下來，控制裝置5驗證校正用構(gòu)件70的表面701與移動攝像機3的受光面311的平行度(步驟s223)。然后，控制裝置5判斷平行度是否在規(guī)定的閾值內(nèi)(步驟s224)。

如圖14所示那樣，使用圖像中的標(biāo)注于表面701的相鄰的標(biāo)記75彼此的間距p的差來驗證平行度。例如，以圖14中的實線所示那樣，相鄰的標(biāo)記75彼此的間距p1、p2、p3、p4的差幾乎相同，在該差在規(guī)定的閾值內(nèi)的情況下，轉(zhuǎn)移至步驟s225。另一方面，如以圖14中的雙點劃線所示那樣，相鄰的標(biāo)記75彼此的間距p1′、p2′、p3′、p4′的差不同，在該差超過規(guī)定的閾值的情況下，重復(fù)進行步驟s221至步驟s224，直至成為規(guī)定的閾值內(nèi)。在此，在規(guī)定的閾值內(nèi)是指上述的基準(zhǔn)面82與光軸oa3在閾值以內(nèi)垂直。

接下來，控制裝置5若判斷為在規(guī)定的閾值內(nèi)，則根據(jù)判斷為在規(guī)定的閾值內(nèi)時的機器人坐標(biāo)系中的軸坐標(biāo)o6的成分ur、vr、wr與在上述的確定基準(zhǔn)面的處理(步驟s21)中求出時的機器人坐標(biāo)系中的基準(zhǔn)面82的成分ur、vr、wr的差來求出偏離成分δu、δv、δw(步驟s225)。該偏離成分δu、δv、δw與相對于軸坐標(biāo)o6的光軸oa3的偏離成分δu、δv、δw相當(dāng)。

接下來，如圖13所示那樣，控制裝置5求出拍攝基準(zhǔn)點o3相對于軸坐標(biāo)o6的偏離成分δx、δy(步驟s226)。以下，參照圖15～圖20對求出偏離成分δx、δy的方法進行說明。應(yīng)予說明，圖15～圖19例如示意地表示從鉛錘方向上方觀察機器人1時的移動攝像機3以及第六臂16。

具體地說，首先，如圖15所示那樣，控制裝置5使機器人臂10驅(qū)動，例如以使第二標(biāo)記72位于移動攝像機3的圖像30的中心o30(重心)。將該圖15所示的移動攝像機3以及第六臂16的狀態(tài)作為“第一狀態(tài)”。在此，圖像30的中心o30與拍攝基準(zhǔn)點o3一致。

接下來，如圖16所示那樣，控制裝置5使機器人臂10驅(qū)動來使第六臂16繞中心軸a6以規(guī)定的角度轉(zhuǎn)動。此時的規(guī)定的角度為第二標(biāo)記72沒出圖像30外的范圍內(nèi)(收斂在移動攝像機3的拍攝區(qū)域內(nèi)的范圍內(nèi))的規(guī)定的角度(例如1～10°左右)。將該圖16所示的移動攝像機3以及第六臂16的狀態(tài)作為“第二狀態(tài)”。

接下來，如圖17所示那樣，控制裝置5使機器人臂10驅(qū)動，以第二標(biāo)記72與中心o30一致的方式使移動攝像機3以及第六臂16在與包括機器人坐標(biāo)系中的xr軸以及yr軸的平面(基準(zhǔn)面82的x-y平面)平行的平面內(nèi)并進移動。將該圖17所示的移動攝像機3以及第六臂16的狀態(tài)作為“第三狀態(tài)”。

對于這樣的從第一狀態(tài)經(jīng)由第二狀態(tài)成為第三狀態(tài)的移動攝像機3以及第六臂16的移動，若觀察圖15所示的第一狀態(tài)和圖17所示的第三狀態(tài)可知，與軸坐標(biāo)o6(第六臂16)以經(jīng)過拍攝中心o30(拍攝基準(zhǔn)點o3)的線段為轉(zhuǎn)動中心軸轉(zhuǎn)動等同。因此，如圖20所示那樣，從第一狀態(tài)經(jīng)由第二狀態(tài)成為第三狀態(tài)的移動與以經(jīng)過中心o30(拍攝基準(zhǔn)點o3)的線段為轉(zhuǎn)動中心軸使軸坐標(biāo)o6以轉(zhuǎn)動角度θ10移動相等。因此、基于轉(zhuǎn)動角度θ10、第一狀態(tài)下的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)、以及第三狀態(tài)下的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)來求出機器人坐標(biāo)系中的拍攝基準(zhǔn)點o3的坐標(biāo)。然后，根據(jù)求出的機器人坐標(biāo)系中的拍攝基準(zhǔn)點o3的坐標(biāo)和第一狀態(tài)以及第三狀態(tài)下的任意一方的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)，來求出拍攝基準(zhǔn)點o3相對于軸坐標(biāo)o6的虛擬偏離成分δx′、δy′。

接下來，如圖18所示那樣，控制裝置5以第二標(biāo)記72不出圖像30外的方式基于虛擬偏離成分δx′、δy′來使機器人臂10驅(qū)動，以經(jīng)過拍攝基準(zhǔn)點o3(中心o30)的線段為轉(zhuǎn)動中心軸使軸坐標(biāo)o6以規(guī)定的角度轉(zhuǎn)動。將該圖18所示的移動攝像機3以及第六臂16的狀態(tài)作為“第四狀態(tài)”。

接下來，如圖19所示那樣，控制裝置5通過機器人臂10的驅(qū)動使移動攝像機3以及第六臂16在與包括機器人坐標(biāo)系中的xr軸以及yr軸的平面(基準(zhǔn)面82的x-y平面)平行的平面內(nèi)并進移動，使第二標(biāo)記72位于圖像30的中心o30。將該圖19所示的移動攝像機3以及第六臂16的狀態(tài)作為“第五狀態(tài)”。

對于這樣的從第一狀態(tài)經(jīng)由第二狀態(tài)、第三狀態(tài)以及第四狀態(tài)成為第五狀態(tài)的移動攝像機3以及第六臂16的移動，若觀察圖15所示的第一狀態(tài)和圖19所示的第五狀態(tài)可知，與以經(jīng)過中心o30(拍攝基準(zhǔn)點o3)的線段為轉(zhuǎn)動中心軸使軸坐標(biāo)o6轉(zhuǎn)動等同。因此，如圖20所示那樣，從第一狀態(tài)經(jīng)由第二狀態(tài)、第三狀態(tài)以及第四狀態(tài)成為第五狀態(tài)的移動與以經(jīng)過中心o30(拍攝基準(zhǔn)點o3)的線段為轉(zhuǎn)動中心軸使軸坐標(biāo)o6以轉(zhuǎn)動角度θ1移動相等。因此、基于轉(zhuǎn)動角度θ1、第一狀態(tài)下的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)、以及第五狀態(tài)下的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)求出機器人坐標(biāo)系中的拍攝基準(zhǔn)點o3的坐標(biāo)。然后，根據(jù)求出的機器人坐標(biāo)系中的拍攝基準(zhǔn)點o3的坐標(biāo)、以及第一狀態(tài)以及第五狀態(tài)下的任意一方的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)求出拍攝基準(zhǔn)點o3相對于軸坐標(biāo)o6的偏離成分δx、δy。

通過這樣的處理，能夠容易并且高精度地求出拍攝基準(zhǔn)點o3相對于軸坐標(biāo)o6的偏離成分δx、δy。

另外，如上所述那樣，在本實施方式中，通過進行從第一狀態(tài)經(jīng)由第二狀態(tài)轉(zhuǎn)移至第三狀態(tài)的處理，計算出虛擬偏離成分δx′、δy′。即，通過進行以第二標(biāo)記72收斂在移動攝像機3的圖像30內(nèi)(拍攝區(qū)域內(nèi))的范圍內(nèi)的微小的角度使第六臂16繞中心軸a6轉(zhuǎn)動的處理，計算出虛擬偏離成分δx′、δy′。通過使用這樣的虛擬偏離δx′、δy′的信息來進行從第三狀態(tài)向第四狀態(tài)的移動，能夠在第四狀態(tài)將第二標(biāo)記72可靠地映在圖像30內(nèi)。

接下來，如圖13所示那樣，控制裝置5求出拍攝基準(zhǔn)點o3相對于軸坐標(biāo)o6的偏離成分δz(步驟s227)。以下，參照圖21對求出偏離成分δz的方法進行說明。應(yīng)予說明，圖21圖示求出偏離成分δz時的移動攝像機3以及第六臂16的過程，為便于說明，以圖21中的實線表示的移動攝像機3表示“設(shè)計上的移動攝像機3”的位置，以圖21中的虛線表示的移動攝像機3′表示“實際的移動攝像機3”的位置。

如圖21所示那樣，首先，控制裝置5使機器人臂10驅(qū)動，以使例如第二標(biāo)記72映于移動攝像機3′的圖像的中心，成為圖21所示的狀態(tài)a。接下來，控制裝置5利用移動攝像機3′拍攝第二標(biāo)記72，求出圖21所示的移動攝像機3的受光面311與第二標(biāo)記72間的距離h。

在此，在本實施方式中，預(yù)先求出移動攝像機3的焦距，為已知。因此，距離h例如能夠根據(jù)移動攝像機3的焦距、移動攝像機3的圖像中的標(biāo)記75彼此的間距的長度“圖像元素”、以及實際的標(biāo)記75彼此的間距“mm”算出。

應(yīng)予說明，移動攝像機3的焦距例如也能夠根據(jù)映入校正用構(gòu)件70的標(biāo)記75并且使移動攝像機3向光軸oa3方向(zr方向)移動微小量的情況的動作前后的、圖像上的標(biāo)記75彼此的間距的長度“圖像元素”和實際的標(biāo)記75彼此的間距“mm”求出。

接下來，如圖21中的狀態(tài)b所示那樣，控制裝置5使機器人臂10驅(qū)動，基于設(shè)計上的偏離成分δz使移動攝像機3′傾斜角度θ2。

接下來，如圖21中的狀態(tài)c所示那樣，控制裝置5使機器人臂10驅(qū)動，在保持狀態(tài)b的移動攝像機3′的姿勢的狀態(tài)下，以第二標(biāo)記72映入至移動攝像機3′的圖像的中心的方式使移動攝像機3′在與包括機器人坐標(biāo)系中的xr軸以及yr軸的平面(基準(zhǔn)面82的x-y平面)平行的面內(nèi)并進移動。然后，控制裝置5求出此時的機器人坐標(biāo)系中的軸坐標(biāo)o6的移動距離x′(具體地說，基于設(shè)計上的偏離成分δz的、在與基準(zhǔn)面82的x-y平面平行的面內(nèi)的拍攝基準(zhǔn)點o3的移動距離)。

接下來，控制裝置5通過下述的式(1)求出用于求出移動攝像機3′的實際的偏離成分δz的修正量δh。

[式1]

接下來，控制裝置5基于修正量δh和設(shè)計上的偏離成分δz來求出實際的偏離成分δz。

這樣，能夠求出偏離成分δz。通過這樣的處理，能夠容易地計算出偏離成分δz。

接下來，如圖13所示那樣，控制裝置5將數(shù)據(jù)更新為根據(jù)設(shè)計上的偏離成分求出的實際的偏離成分δx、δy、δz、δu、δv、δw(步驟s228)。

通過上述，圖10所示的求出偏離的處理(步驟s22)結(jié)束。

確定作業(yè)面的處理(步驟s23)

接下來，如圖10所示那樣，進行確定作業(yè)面的處理(步驟s23)。確定作業(yè)面的處理(步驟s23)是求出機器人坐標(biāo)系中的作業(yè)面611的位置以及姿勢，即作業(yè)面611的成分xr、yr、zr、ur、vr、wr的處理。

在此，作業(yè)面611與基準(zhǔn)面82平行，處于在基準(zhǔn)面82的法線方向(zr方向)上偏離的位置。因此，在確定該作業(yè)面的處理(步驟s23)中，能夠通過決定作業(yè)面611相對于基準(zhǔn)面82的法線方向(zr方向)的偏離量，來求出作業(yè)面611的成分xr、yr、zr、ur、vr、wr。

作業(yè)面611相對于基準(zhǔn)面82的法線方向(zr方向)的偏離量能夠基于預(yù)先求出的移動攝像機3的焦距、相對于校正用構(gòu)件70的相鄰的標(biāo)記75的間距的值(實際尺寸)的移動攝像機3的像素數(shù)、以及上述的實際的偏離成分求出。

像這樣，通過求出機器人坐標(biāo)系中的作業(yè)面611的位置以及姿勢，機器人1能夠針對載置在作業(yè)面611上的對象物高精度地進行作業(yè)。

機器人向示教標(biāo)記的位置以及姿勢的處理(步驟s24)

接下來，如圖10所示那樣，進行機器人1示教標(biāo)記的位置以及姿勢的處理(步驟s24)。

在此，例如將基準(zhǔn)面82(或者作業(yè)面611)的x-y平面中的第二標(biāo)記72的機器人坐標(biāo)示教給機器人1。

具體地說，首先，控制裝置5基于在上述的求出偏離成分的處理(步驟s22)中計算出的相對于軸坐標(biāo)o6的拍攝基準(zhǔn)點o3的位置以及光軸oa3的方向的偏離成分，使移動攝像機3的光軸oa2與基準(zhǔn)面82的z軸一致。然后，控制裝置5通過機器人臂10的驅(qū)動使移動攝像機3在與基準(zhǔn)面82的x-y平面平行的面內(nèi)并進移動，使第二標(biāo)記72與移動攝像機3的圖像中心對準(zhǔn)。然后，控制裝置5將使第二標(biāo)記72與移動攝像機3的圖像中心對準(zhǔn)時的移動攝像機3的拍攝基準(zhǔn)點o3的位置作為第二標(biāo)記72的機器人坐標(biāo)示教。

應(yīng)予說明，例如，也可以通過使作為軸坐標(biāo)o6中的偏離已知的示教專用工具(精加工用手)與第二標(biāo)記72接觸，來向機器人1示教第二標(biāo)記75的位置以及姿勢。但是，通過利用移動攝像機3拍攝第二標(biāo)記72的圖像來向機器人1示教第二標(biāo)記72的位置以及姿勢例如能夠與校正用構(gòu)件70的材質(zhì)等無關(guān)地高精度地示教第二標(biāo)記72，因此優(yōu)選。

求出移動攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s25)

接下來，如圖10所示那樣，進行求出移動攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s25)。

求出移動攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s25)除使用配置在作業(yè)面611上的校正用構(gòu)件70確定出基準(zhǔn)面、以及使機器人臂10驅(qū)動，使移動攝像機3移動至9個位置并且拍攝9次配置在作業(yè)面611上的校正用構(gòu)件70的第二標(biāo)記72(機器人坐標(biāo)已知的標(biāo)記)以外，與求出上述的固定攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s12)相同。

因此，若求出移動攝像機3的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s25)結(jié)束，則能夠基于基于9個圖像的移動攝像機3的圖像坐標(biāo)系中的第二標(biāo)記72的坐標(biāo)(成分xb、yb、ub)、以及在上述的步驟s21中求出的機器人坐標(biāo)系中的基準(zhǔn)面82的坐標(biāo)(成分xr、yr、ur)求出將固定攝像機2的圖像坐標(biāo)變換為機器人坐標(biāo)系中的基準(zhǔn)面82的坐標(biāo)的修正參數(shù)(坐標(biāo)變換矩陣)。

若使用像這樣求出的修正參數(shù)，則能夠?qū)⒗靡苿訑z像機3拍攝到的對象物等的位置以及姿勢(具體地說為成分xb、yb、ub)變換為機器人坐標(biāo)系中的值(具體地說為成分xr、yr、ur)。

應(yīng)予說明，如上所述那樣，求出移動攝像機的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s25)與求出上述的固定攝像機2的圖像坐標(biāo)系與機器人坐標(biāo)系的關(guān)系的處理(步驟s12)幾乎相同，因此省略其詳細說明(處理內(nèi)容以及效果)。

通過上述，圖4所示的拍攝部的校正結(jié)束。

通過這樣的拍攝部的校正方法，能夠基于分別利用固定攝像機2以及移動攝像機3拍攝到的圖像求出基準(zhǔn)面81、82的姿勢，因此能夠省去如以往那樣由作業(yè)者進行的判斷。因此，能夠降低人為的誤差、由作業(yè)者引起的偏差，因而，能夠進行高精度的校正。

第二實施方式

接下來，對本發(fā)明的第二實施方式進行說明。

圖22是在使用了本發(fā)明的第二實施方式所涉及的的機器人系統(tǒng)的拍攝部的校正中使用的校正用構(gòu)件的俯視圖。圖23是用于說明第二實施方式中的確定出基準(zhǔn)面的處理中的第一標(biāo)記與第n標(biāo)記的比較的圖。

使用了本實施方式所涉及的機器人系統(tǒng)的拍攝部的校正方法除校正用構(gòu)件的構(gòu)成、以及確定出基準(zhǔn)面的處理的一部分不同以外，與上述的第一實施方式相同。

應(yīng)予說明，在以下的說明中，關(guān)于第二實施方式，以與上述的實施方式的不同點為中心進行說明，關(guān)于相同的事項省略其說明。另外，在圖22以及圖23中，分別對與上述的實施方式相同的構(gòu)成標(biāo)注相同附圖標(biāo)記。

在圖22所示的校正用構(gòu)件70a的表面701a標(biāo)記有多個標(biāo)記75。在這些多個標(biāo)記75中的位于圖22中的左側(cè)的9個標(biāo)記75、位于圖22中的右側(cè)的9個標(biāo)記75、位于圖22中的下側(cè)的9個標(biāo)記75、以及位于圖22中的上側(cè)的9個標(biāo)記75分別標(biāo)注有包圍9個標(biāo)記75的四邊形的框。將由這些9個標(biāo)記75和包圍這些9個標(biāo)記的四邊形的框構(gòu)成的標(biāo)記中，位于圖22中的左側(cè)的標(biāo)記作為“第一標(biāo)記76”，將位于圖22中的右側(cè)的標(biāo)記作為“第二標(biāo)記77”，將位于圖22中的下側(cè)的標(biāo)記作為“第三標(biāo)記78”，將位于圖22中的上側(cè)的標(biāo)記作為“第四標(biāo)記79”。這樣的第一標(biāo)記76、第二標(biāo)記77、第三標(biāo)記78以及第四標(biāo)記79分別作為基準(zhǔn)標(biāo)記使用。

確定基準(zhǔn)面的處理(步驟s11)

在本實施方式中，在圖8所示的步驟s114中，將利用固定攝像機2拍攝到的第二標(biāo)記77的圖像作為“第一圖像”，并存儲至存儲部54，并且將拍攝第一圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。

另外，在步驟s117中比較在步驟s116固定攝像機2拍攝到的第二標(biāo)記77具有的多個標(biāo)記75彼此的間距p與存儲至存儲部54的第一圖像中的第二標(biāo)記77具有的多個標(biāo)記75彼此的間距p。例如，如圖23所示那樣，以圖23中的雙點劃線表示第二標(biāo)記77(第n標(biāo)記)具有的多個標(biāo)記75彼此的間距p與以圖23中的實線表示的第一圖像中的第二標(biāo)記77具有的多個標(biāo)記75彼此的間距p不同，在該間距p的差不在規(guī)定的閾值內(nèi)的情況下，通過機器人臂10的驅(qū)動使校正用構(gòu)件70在zr軸向上并進移動以使得成為規(guī)定的閾值內(nèi)(步驟s119)。

接下來，控制裝置5若判斷為間距p的差在規(guī)定的閾值內(nèi)，則在步驟s1110中，將利用固定攝像機2拍攝到的第二標(biāo)記77的圖像作為“第二圖像(第n圖像)”存儲至存儲部54，并且將拍攝第二圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。

在此，在本實施方式中，預(yù)先設(shè)定利用固定攝像機2拍攝3個圖像(第一圖像、第二圖像以及第三圖像)。因此，在本實施方式中，在利用固定攝像機2拍攝第二圖像后，在進行2次從步驟s115至步驟s1110，通過機器人臂10的驅(qū)動使校正用構(gòu)件70移動，將利用固定攝像機2拍攝到的第二標(biāo)記77的圖像作為“第三圖像”存儲至存儲部54，并且將拍攝第三圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。

像這樣，在本實施方式中，以第一圖像中的第二標(biāo)記77具有的標(biāo)記75彼此的間距(第一間隔)、第二圖像中的第二標(biāo)記77具有的標(biāo)記75彼此的間距(第二間隔)、第三圖像中的第二標(biāo)記77具有的標(biāo)記75彼此的間距(第三間隔)相互相等的方式拍攝第一圖像、第二圖像以及第三圖像。由此，能夠基于各圖像中的標(biāo)記75彼此的間距求出基準(zhǔn)面81的姿勢。在此，如第一實施方式那樣，在使用各圖像上的第二標(biāo)記77的大小的方法中，由于固定攝像機2的調(diào)焦程度，圖像上的第二標(biāo)記77的大小容易變化。與此相對，如本實施方式那樣，通過使用標(biāo)記75彼此的間距(標(biāo)記75的重心間的距離)的方法，能夠與調(diào)焦程度無關(guān)地更加準(zhǔn)確地求出基準(zhǔn)面81。

確定基準(zhǔn)面的處理(步驟s21)

在本實施方式中，在圖12所示的步驟s214中，將利用移動攝像機3拍攝到的第一標(biāo)記76的圖像作為“第一圖像”存儲至存儲部54，并且將拍攝第一圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。

另外，在步驟s217中，比較在步驟s216移動攝像機3拍攝到的第二標(biāo)記77具有的多個標(biāo)記75彼此的間距p、與存儲至存儲部54的第一圖像中的第一標(biāo)記76具有的多個標(biāo)記75彼此的間距p。在間距p的差不在規(guī)定的閾值內(nèi)的情況下，通過機器人臂10的驅(qū)動，使移動攝像機3相對于校正用構(gòu)件70在zr軸向上并進移動，以使在規(guī)定的閾值內(nèi)(步驟s219)。

接下來，控制裝置5若判斷為間距p的差在規(guī)定的閾值內(nèi)，則在步驟s2110，將利用移動攝像機3拍攝到的第二標(biāo)記77的圖像作為“第二圖像(第n圖像)”存儲至存儲部54，并且將拍攝第二圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。

在此，在本實施方式中，預(yù)先設(shè)定利用固定攝像機2拍攝4個圖像(第一圖像、第二圖像、第三圖像以及第四圖像)。因此，在本實施方式中，在利用固定攝像機2拍攝第二圖像后，又2次進行從步驟s215至步驟s2110。因此，在本實施方式中，將利用移動攝像機3拍攝到的第三標(biāo)記78的圖像作為“第三圖像”存儲至存儲部54，并且將拍攝第三圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。另外，將利用移動攝像機3拍攝到的第四標(biāo)記79的圖像作為“第四圖像”存儲至存儲部54，并且將拍攝第四圖像時的機器人坐標(biāo)系中的軸坐標(biāo)o6的坐標(biāo)存儲至存儲部54。在此，在本實施方式中的移動攝像機3中的確定出基準(zhǔn)面的處理(步驟s21)中，將第四標(biāo)記79作為“第四基準(zhǔn)標(biāo)記”。

像這樣，在本實施方式中，以第一圖像中的第一標(biāo)記76具有的標(biāo)記75彼此的間距(第一間隔)、第二圖像中的第二標(biāo)記77具有的標(biāo)記75彼此的間距(第二間隔)、第三圖像中的第三標(biāo)記78具有的標(biāo)記75彼此的間距(第三間隔)、以及第四圖像中的第四標(biāo)記79具有的標(biāo)記75彼此的間距(第四間隔)相互相等的方式拍攝第一圖像、第二圖像、第三圖像以及第四圖像。由此，能夠基于各圖像中的標(biāo)記75彼此的間距求出基準(zhǔn)面81的姿勢。

另外，通過使用第一間隔、第二間隔、第三間隔以及第四間隔相等的校正用構(gòu)件70a，并以第一圖像中的第一間隔、第二圖像中的第二間隔、第三圖像中的第三間隔以及第四圖像中的第四間隔相等的方式拍攝第一圖像、第二圖像、第三圖像以及第四圖像，能夠容易并且迅速地求出與表面701平行的基準(zhǔn)面82。

應(yīng)予說明，在本實施方式中，第一間隔、第二間隔、第三間隔以及第四間隔全部相等，但若這些間隔(間距)的關(guān)系已知，則這些間隔(間距)也可以分別不同。在該情況下，能夠基于第一間隔、第二間隔、第三間隔以及第四間隔的各間隔(間距)的關(guān)系求出與表面701平行的基準(zhǔn)面82。

另外，如圖22所示那樣，標(biāo)注于校正用構(gòu)件70a的第一標(biāo)記76、第二標(biāo)記77、第三標(biāo)記78以及第四標(biāo)記79以經(jīng)過第一標(biāo)記76和第二標(biāo)記77的第一直線7xa與經(jīng)過第三標(biāo)記78和第四標(biāo)記79的第二直線7ya交叉的方式配置。由此，能夠根據(jù)拍攝第一圖像時的機器人坐標(biāo)系中的第一標(biāo)記76的坐標(biāo)和拍攝第二圖像時的機器人坐標(biāo)系中的第二標(biāo)記77的坐標(biāo)來求出第一直線7xa，根據(jù)拍攝第三圖像時的機器人坐標(biāo)系中的第三標(biāo)記78的坐標(biāo)和拍攝第四圖像時的機器人坐標(biāo)系中的第四標(biāo)記79的坐標(biāo)來求出第二直線7ya，并基于求出的第一直線7xa以及第二直線7ya求出基準(zhǔn)面82的原點70o以及x軸、y軸、z軸的各方向。通過像這樣確定基準(zhǔn)面82的原點70o以及x軸、y軸、z軸的各方向，作業(yè)者容易把握基準(zhǔn)面82的位置。

第三實施方式

接下來，對本發(fā)明的第三實施方式進行說明。

圖24是在使用了本發(fā)明的第三實施方式所涉及的機器人系統(tǒng)的拍攝部的校正中使用的校正用構(gòu)件的俯視圖。

使用了本實施方式所涉及的機器人系統(tǒng)的拍攝部的校正方法除校正用構(gòu)件的構(gòu)成不同以外，與上述的第一實施方式相同。

應(yīng)予說明，在以下的說明中，關(guān)于第三實施方式，對與上述的實施方式的不同點為中心進行說明，對于相同的事項省略其說明。另外，在圖24中，對于與上述的實施方式相同的構(gòu)成分別標(biāo)注相同的附圖標(biāo)記。

在圖24所示的校正用構(gòu)件70b的表面701b標(biāo)注有第一標(biāo)記71b、第二標(biāo)記72b以及第三標(biāo)記73b。

通過標(biāo)注這樣的3個第一標(biāo)記71b、第二標(biāo)記72b以及第三標(biāo)記73b的校正用構(gòu)件70b，也與上述的第二實施方式中的移動攝像機3的確定基準(zhǔn)面的處理(步驟s21)相同，根據(jù)拍攝第一圖像時的機器人坐標(biāo)系中的第一標(biāo)記71b的坐標(biāo)和拍攝第二圖像時的機器人坐標(biāo)系中的第二標(biāo)記72b的坐標(biāo)求出第一直線7xb，根據(jù)拍攝第一圖像時的機器人坐標(biāo)系中的第一標(biāo)記71b的坐標(biāo)和拍攝第三圖像時的機器人坐標(biāo)系中的第三標(biāo)記73b的坐標(biāo)來求出第二直線7yb。然后，能夠求出將第一標(biāo)記71b作為原點的基準(zhǔn)面82的x軸、y軸、z軸的各方向。

以上，基于圖示的實施方式對本發(fā)明的控制裝置、機器人以及機器人系統(tǒng)進行了說明，但本發(fā)明并不局限于此，各部的構(gòu)成能夠置換為具有相同的功能的任意的構(gòu)成。另外，也可以附加其它的任意的構(gòu)成物。另外，本發(fā)明也可以是組合上述各實施方式中的、任意2個以上的構(gòu)成(特征)的組合。

另外，在上述實施方式中，以使用6軸的垂直多關(guān)節(jié)機器人的情況為例進行了說明，但本發(fā)明中的機器人也可以是垂直多關(guān)節(jié)機器人以外的機器人，例如也可以是水平多關(guān)節(jié)機器人等。應(yīng)予說明，水平多關(guān)節(jié)機器人例如是具有基臺、與基臺連接并沿水平方向延伸的第一臂、與第一臂連接并具有沿水平方向延伸的部分的第二臂的構(gòu)成。另外，在本發(fā)明中的機器人為水平多關(guān)節(jié)機器人的情況下，通過進行上述那樣的校正，例如能夠把握機器人是否相對于作業(yè)面被平行設(shè)置、是否以固定攝像機的光軸相對于包括機器人坐標(biāo)系中的xr軸以及yr軸的面為鉛錘的方式設(shè)置有固定攝像機等。

另外，在上述實施方式中，機器人具有的機器人臂的轉(zhuǎn)動軸的個數(shù)為6個，但在本發(fā)明中并不局限于此，機器人臂的轉(zhuǎn)動軸的個數(shù)例如也可以是2個、3個、4個、5個或7個以上。另外，在上述實施方式中，機器人具有的臂的個數(shù)是6個，但在本發(fā)明中并不局限于此，機器人具有的臂的個數(shù)例如也可以是2個、3個、4個、5個、或者7個以上。

另外，在上述實施方式中，機器人具有的機器人臂的個數(shù)是一個，但在本發(fā)明中并不局限于此，機器人具有的機器人臂的個數(shù)例如也可以是2個以上。即，機器人例如也可以是雙臂機器人等多臂機器人。

另外，在上述實施方式中，作為拍攝部的固定攝像機以及移動攝像機分別是具有拍攝元件以及透鏡的構(gòu)成，但本發(fā)明中的拍攝部若是能夠拍攝第一標(biāo)記、第二標(biāo)記以及第三標(biāo)記的構(gòu)成，則可以是任何的構(gòu)成。

另外，在上述實施方式中，使用校正用構(gòu)件進行固定攝像機的校正，但在固定攝像機的校正中也可以不使用校正用構(gòu)件。在不使用校正用構(gòu)件的情況下，例如在機器人臂的前端部(軸坐標(biāo))標(biāo)注一個標(biāo)記，將該一個標(biāo)記作為基準(zhǔn)標(biāo)記使用即可。在該情況下，能夠?qū)⒁粋€標(biāo)記看作“第一基準(zhǔn)標(biāo)記、第二基準(zhǔn)標(biāo)記以及第三基準(zhǔn)標(biāo)記”。

附圖標(biāo)記的說明：

1…機器人，2…固定攝像機，3…移動攝像機，3′…移動攝像機，5…控制裝置，7xa…第一直線，7xb…第一直線，7ya…第二直線，7yb…第二直線，10…機器人臂，11…第一臂，12…第二臂，13…第三臂，14…第四臂，15…第五臂，16…第六臂，21…拍攝元件，22…透鏡，30…圖像，31…拍攝元件，32…透鏡，41…顯示設(shè)備，42…操作設(shè)備，51…驅(qū)動控制部，52…信息獲取部，53…處理部，54…存儲部，61…作業(yè)臺，62…供給臺，70…校正用構(gòu)件，70a…校正用構(gòu)件，70b…校正用構(gòu)件，71…第一標(biāo)記，71b…第一標(biāo)記，72…第二標(biāo)記，72b…第二標(biāo)記，73…第三標(biāo)記，73b…第三標(biāo)記，75…標(biāo)記，76…第一標(biāo)記，77…第二標(biāo)記，78…第三標(biāo)記，79…第四標(biāo)記，70o…原點，81…基準(zhǔn)面，82…基準(zhǔn)面，90…作業(yè)區(qū)域，100…機器人系統(tǒng)，101…基臺，102…手，111…轉(zhuǎn)動軸構(gòu)件，120…馬達驅(qū)動器，121…轉(zhuǎn)動軸構(gòu)件，130…驅(qū)動部，131…轉(zhuǎn)動軸構(gòu)件，141…轉(zhuǎn)動軸構(gòu)件，151…轉(zhuǎn)動軸構(gòu)件，161…轉(zhuǎn)動軸構(gòu)件，211…受光面，311…受光面，411…監(jiān)視器，611…作業(yè)面，701…表面，701a…表面，701b…表面，a…狀態(tài)，a6…中心軸，b…狀態(tài)，c…狀態(tài)，h…距離，o2…拍攝基準(zhǔn)點，o3…拍攝基準(zhǔn)點，o30…中心，o6…軸坐標(biāo)，oa2…光軸，oa3…光軸，p…間距，p1、p2、p3、p4…間距，p1′、p2′、p3′、p4′…間距，s1…步驟，s11…步驟，s111…步驟，s1110…步驟，s1111…步驟，s1112…步驟，s1113…步驟，s112…步驟，s113…步驟，s114…步驟，s115…步驟，s116…步驟，s117…步驟，s118…步驟，s119…步驟，s12…步驟，s2…步驟，s21…步驟，s22…步驟，s221…步驟，s222…步驟，s223…步驟，s224…步驟，s225…步驟，s226…步驟，s227…步驟，s228…步驟，s23…步驟，s24…步驟，s25…步驟，s211…步驟，s212…步驟，s213…步驟，s214…步驟，s215…步驟，s216…步驟，s217…步驟，s218…步驟，s219…步驟，s2110…步驟，s2111…步驟，s2112…步驟，s2113…步驟，tcp…工具中心點，x′…機器人移動距離，δh…修正量，θ1…轉(zhuǎn)動角度，θ10…轉(zhuǎn)動角度，θ2…角度。