專利名稱：形狀模型生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機器人系統(tǒng)中的視覺識別，特別涉及用于生成在作業(yè)對象物的對照中使用(matching)的形狀模型(a shape model)的裝置。
背景技術(shù)：
眾所周知，在機器人對對象物執(zhí)行作業(yè)時，將通過視覺傳感器輸入的對象物的實際圖像與機器人中預(yù)先存儲的對象物的形狀模型(也稱為“示教模型”)進行對照，來識別對象物當前的位置以及姿勢。例如，在通過安裝在機器人手臂前端的機械手把持并挑出沒有進行校正無規(guī)則地堆積如山的零件等作業(yè)對象物時，通過視覺傳感器(例如照相機)檢測無規(guī)則的對象物的集合，將其輸入圖像數(shù)據(jù)與形狀模型進行對照，確定通過機械手把持的對象物，同時為了使機械手能夠順利地把持對象物，使機器人運動到適合對象物當前位置以及姿勢的位置以及姿勢。
作為判別對象物當前姿勢的方法，目前使用的方法為將通過照相機從多個不同的視點觀察對象物得到的多個2維圖像作為形狀模型預(yù)先存儲到機器人控制裝置中，然后將進行作業(yè)時由照相拍攝到的當前對象物的圖像與這些形狀模型進行比較，對照。在此，為了生成形狀模型，例如如圖7所示，在機器人(機構(gòu)部)1的手臂前端安裝CCD照相機等拍攝裝置(視覺傳感器)2，在機器人控制裝置3的控制下使機器人1進行動作，由拍攝裝置2從相互不同的多個方向拍攝對象物4。由拍攝裝置2得到的對象物4的多個圖像數(shù)據(jù)被輸入到圖像處理裝置5，由圖像處理裝置5進行適當處理后的多個2維圖像數(shù)據(jù)分別作為從多個方向拍攝對象物4得到的形狀模型存儲。
例如，特開2000-288968號公報(JP-A-2000-288968)公開有圖7所示的形狀模型生成系統(tǒng)。另外，在該公報中，作為形狀模型生成方法的變形例，公開有將照相機固定地設(shè)置在機器人外部，一邊使機器人通過機械手把持的對象物相對于照相機移動，一邊將照相機從多個方面拍攝對象物得到的多個圖像數(shù)據(jù)作為形狀模型的數(shù)據(jù)進行存儲的方法；和在2臺機器人中的一臺上安裝照相機，在兩臺機器人進行適當?shù)膭幼鞯那闆r下，將照相機從多個方面拍攝另一臺機器人通過機械手所把持的對象物得到的多個圖像數(shù)據(jù)作為形狀模型的數(shù)據(jù)進行存儲的方法。
如上所述，現(xiàn)有的形狀模型生成方法為了取得形狀模型而準備實際的對象物，在1臺機器人上安裝照相機和對象物中的任意一方，或者在2臺機器人上分別安裝照相機和對象物，在機器人進行動作的情況下，通過照相機從多個方向進行拍攝，根據(jù)其結(jié)果得到的多個圖像數(shù)據(jù)來生成形狀模型。因此，為了生成形狀模型并向機器人進行示教(存儲)，需要花費相當?shù)臅r間(例如20分鐘以上)。
另外，在要向正在對1個對象物實施規(guī)定的生產(chǎn)作業(yè)的機器人示教其他對象物的形狀模型時，必須暫時停止機器人正在實施的生產(chǎn)作業(yè)，作為結(jié)果，生產(chǎn)效率可能會降低。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種形狀模型生成裝置，它是用于生成在機器人系統(tǒng)中進行作業(yè)對象物的對照所使用的形狀模型的裝置，不用停止機器人的作業(yè)，可以迅速且正確地生成形狀模型。
為了達到上述目的，本發(fā)明提供的形狀模型生成裝置為制作對象物的形狀模型的形狀模型生成裝置，具有形狀數(shù)據(jù)取得部，取得對象物的3維形狀數(shù)據(jù)；視點設(shè)定部，在形狀數(shù)據(jù)取得部取得的3維形狀數(shù)據(jù)所屬的座標系中，設(shè)定可以從相互不同的方向觀察已置于該座標系中的對象物的多個假設(shè)視點；和形狀模型生成部，從視點設(shè)定部設(shè)定的多個假設(shè)視點，把在座標系上觀察到對象物時的，分別預(yù)測的對象物的多個2維圖像數(shù)據(jù)作為多個形狀模型，根據(jù)3維形狀數(shù)據(jù)來生成形狀模型。
另外，視點設(shè)定部以在上述座標系中預(yù)先確定的軸線為中心，通過只相互旋轉(zhuǎn)預(yù)先設(shè)定的角度的位置關(guān)系，來設(shè)定多個假設(shè)視點。
另外，上述形狀模型生成裝置還具有顯示部，以多個形狀模型的方式，圖像顯示形狀模型生成部生成的多個2維圖像數(shù)據(jù)。
這時，顯示部以設(shè)定了的相對位置關(guān)系，圖像顯示已置在上述座標系中的對象物和視點設(shè)定部設(shè)定的多個假設(shè)視點之中的基準假設(shè)視點。


通過與附圖相關(guān)聯(lián)的以下合適的實施方式的說明，本發(fā)明的上述以及其他的目的、特征以及優(yōu)點變得更加明確。在該附圖中，圖1是表示涉及本發(fā)明的形狀模型生成裝置的基本結(jié)構(gòu)的功能框圖。
圖2是表示本發(fā)明一實施方式的形狀模型生成裝置的結(jié)構(gòu)的功能框圖。
圖3是概略表示圖2的形狀模型生成裝置的外觀的正面圖。
圖4是表示圖2的形狀模型生成裝置的模型生成處理順序的流程圖。
圖5是表示圖2的形狀模型生成裝置的顯示處理順序的流程圖。
圖6表示在圖2的形狀模型生成裝置中已取得的多個形狀模型的2維圖像的例子。
圖7是概略表示現(xiàn)有的形狀模型生成系統(tǒng)的圖。
具體實施例方式
下面，參照附圖，詳細說明本發(fā)明的實施方式。在附圖中，對同一或者類似的構(gòu)成要素附以通用的參照符號。
參照附圖，圖1是表示涉及本發(fā)明的形狀模型生成裝置10的基本結(jié)構(gòu)的框圖。形狀模型生成裝置10結(jié)構(gòu)為具備形狀數(shù)據(jù)取得部14，取得作業(yè)對象物(未圖示)的3維形狀數(shù)據(jù)12；視點設(shè)定部16，在形狀數(shù)據(jù)取得部14取得的3維形狀數(shù)據(jù)12所屬的座標系中，設(shè)定可以從相互不同的方向觀察已置于該座標系中任意位置的對象物的多個假設(shè)視點(未圖示)；和形狀模型生成部20，從視點設(shè)定部16設(shè)定的多個假設(shè)視點，把在上述座標系上觀察到對象物時的，分別預(yù)測的對象物的多個2維圖像數(shù)據(jù)18作為多個形狀模型，根據(jù)3維形狀數(shù)據(jù)12來生成形狀模型。
涉及本發(fā)明的形狀模型生成裝置10可以具有個人計算機或UNIX(注冊商標)機器等硬件結(jié)構(gòu)，例如，其CPU(中央處理器)作為形狀數(shù)據(jù)取得部14、視點設(shè)定部16以及形狀模型生成部20發(fā)揮功能，根據(jù)使用CAD(計算機輔助設(shè)計)等制作出的3維形狀數(shù)據(jù)12，來生成2維圖像數(shù)據(jù)18。根據(jù)具有這樣結(jié)構(gòu)的形狀模型生成裝置10，可以不必實際地使用機器人，而自動地生成用于機器人系統(tǒng)中的作業(yè)對象物對照的形狀模型。因此，與一邊使機器人及視覺傳感器進行動作，一邊根據(jù)實際取得的對象物的圖像數(shù)據(jù)生成形狀模型的現(xiàn)有技術(shù)相比，可以迅速并且正確地生成形狀圖形，而且，即使是對于正在進行作業(yè)的機器人，也可以不必停止作業(yè)，生成并存儲其他的形狀模型。在機器人的作業(yè)對象物被變更時，因為可以順利地轉(zhuǎn)移到與變更后的對象物相對應(yīng)的作業(yè)，所以可以提高作業(yè)效率。
圖2用框圖表示涉及本發(fā)明一實施方式的形狀模型生成裝置30的結(jié)構(gòu)。形狀模型生成裝置30具有圖1所示的模型生成裝置10的基本結(jié)構(gòu)，對相對應(yīng)的構(gòu)成要素附以通用的參照符號并省略其說明。
形狀模型生成裝置30還具有存儲部32，其在相互的對應(yīng)關(guān)系之下，關(guān)聯(lián)地存儲視點設(shè)定部16所設(shè)定的多個假設(shè)視點(未圖示)的位置數(shù)據(jù)、和形狀模型生成部20生成的多個2維圖像數(shù)據(jù)18。另外，形狀模型生成裝置30還具有顯示部34，其以多個形狀模型的方式圖像顯示形狀模型生成部20生成的多個2維圖像數(shù)據(jù)18。顯示部34也可以以設(shè)定了的相對位置關(guān)系圖像顯示已置于3維形狀數(shù)據(jù)12所屬的座標系中的對象物、和視點設(shè)定部16設(shè)定的多個假設(shè)視點中的基準假設(shè)視點。
下面，參照圖3～圖6，更詳細地說明形狀模型生成裝置30的結(jié)構(gòu)。
圖3所示的形狀模型生成裝置30是具有個人計算機的硬件結(jié)構(gòu)(未圖示)的裝置，具體地講，具有CPU(與形狀數(shù)據(jù)取得部14、視點設(shè)定部16以及形狀模型生成部20對應(yīng))、存儲器(與存儲部32對應(yīng))、顯示裝置(與顯示部34對應(yīng))、鍵盤和鼠標等手動輸入裝置、用于存儲卡等外部存儲媒體的接口、用于機器人控制裝置和其他計算機等周邊機器的通信接口。
圖4表示形狀模型生成裝置30的模型生成處理順序。在此作為例子，說明以下方法視點設(shè)定部16(圖2)以在3維形狀數(shù)據(jù)12(圖2)所屬的座標系36(圖3)中預(yù)先設(shè)定的軸線38為中心，以只相互旋轉(zhuǎn)預(yù)先設(shè)定好的角度的位置關(guān)系設(shè)定多個假設(shè)視點，由此來生成形狀模型。
首先，形狀模型生成裝置30的CPU從外部存儲媒體或經(jīng)由通信接口從CAD裝置(未圖示)取得通過CAD已制作好的零件等作業(yè)對象物的3維形狀數(shù)據(jù)12(圖2)(步驟P1)。另外，在不存在通過CAD制作好的3維形狀數(shù)據(jù)的情況下，將對象物的3維形狀數(shù)據(jù)直接輸入給形狀模型生成裝置30。
然后，CPU根據(jù)已取得的3維形狀數(shù)據(jù)12，將對象物的圖像40顯示在顯示裝置34的畫面42上(步驟P2)。在圖示的實施方式中，以適合用于假設(shè)視點的設(shè)定為目的，將3維形狀數(shù)據(jù)12所屬的座標系36和從規(guī)定的方向觀察到對象物時的圖像40顯示在已將顯示裝置34的畫面42一分為二的其中一方的窗口42a上。另外，如后所述，在從座標系36中設(shè)定的假設(shè)視點觀察時所預(yù)測的對象物的圖像40M被顯示在顯示裝置34的畫面42的另一個窗口42b。這時，CPU將對象物的3維形狀數(shù)據(jù)12轉(zhuǎn)換為從假設(shè)視點觀察時所預(yù)測的2維圖像的數(shù)據(jù)18，并顯示在畫面42上。
然后，操作人員從觀察對象物的多個假設(shè)視點之中，將基準假設(shè)視點44設(shè)定在對象物的3維形狀數(shù)據(jù)12所屬的座標系36的任意位置(步驟P3)。設(shè)定基準假設(shè)視點44后，CPU在將其位置顯示在顯示裝置34的畫面42的窗口42a上的同時，根據(jù)3維形狀數(shù)據(jù)12生成從基準假設(shè)視點44觀察時所預(yù)測的對象物的2維圖像的數(shù)據(jù)18，并在顯示裝置34的畫面42的窗口42b上顯示該2維圖像40M(步驟P4)。之后，CPU判斷是否輸入了操作人員的圖像取入指令(步驟P5)，如果未輸入則返回到步驟P3，重復(fù)執(zhí)行步驟P3～P5的處理。操作人員在基準假設(shè)視點44的位置被最佳地設(shè)定時，輸入圖像取入指令。
輸入圖像取入指令后，CPU將指標i設(shè)置為1(步驟P6)，取入那時在窗口42b上正在顯示的2維圖像40M的2維圖像數(shù)據(jù)18(步驟P7)。之后，將已取入的2維圖像數(shù)據(jù)18作為1個形狀模型，存儲到非易失性RAM等存儲器中(步驟P8)。在此，2維圖像數(shù)據(jù)18與以軸線38為中心的基準假設(shè)視點44的旋轉(zhuǎn)位置數(shù)據(jù)(初始值＝0)一起被存儲到存儲器中，軸線38表示從基準假設(shè)視點44觀察對象物的方向。
然后，CPU將指標i只增加增量“1”(步驟P9)，判斷指標i是否超過了設(shè)定值N(步驟P10)。如果指標i未超過設(shè)定值N，那么CPU在座標系36中設(shè)定的軸線38的周圍，進行使對象物的圖像40只旋轉(zhuǎn)預(yù)先確定的角度的處理(步驟P11)。由此，以在座標系36中設(shè)定的軸線38為中心，設(shè)定與基準假設(shè)視點44具有只旋轉(zhuǎn)了規(guī)定角度的位置關(guān)系的下一個假設(shè)視點，生成在從該假設(shè)視點觀察時所預(yù)測的對象物的2維圖像數(shù)據(jù)18(圖2)。
因此，返回到步驟P7，CPU取入從旋轉(zhuǎn)后的下一個假設(shè)視點觀察到的對象物的2維圖像數(shù)據(jù)18，在步驟P8，將2維圖像數(shù)據(jù)18作為形狀模型，與表示來自下一個假設(shè)視點的觀察方向的旋轉(zhuǎn)位置數(shù)據(jù)一同存儲到存儲器中。以下，直到指標i超過設(shè)定值N，重復(fù)執(zhí)行步驟P7～P11的處理，把從不同的N個方向觀察到對象物時的N個形狀模型與表示各自的觀察方向的旋轉(zhuǎn)位置數(shù)據(jù)一同存儲到存儲器中。之后，在指標i超過了設(shè)定值N的時刻，形狀模型生成處理結(jié)束。
另外，在返回到步驟P7取入下一個假設(shè)視點的2維圖像數(shù)據(jù)18時，在畫面42的窗口42b上顯示該時刻的2維圖像40M的同時，也可以在窗口42a上顯示下一個假設(shè)視點與對象物的圖像40的位置關(guān)系(以軸線38為中心的旋轉(zhuǎn)角度)。這時，在輸入了來自操作人員的確認等指令之后，如果為了進入到步驟P8而構(gòu)成，那么操作員可以一邊逐一確認每個形狀模型一邊進行作業(yè)。
圖6表示根據(jù)上述的形狀模型生成處理流程所生成的多個形狀模型的2維圖像的一個例子。在該例子中，N＝8，在顯示裝置34的畫面42(圖3)的窗口42a上顯示了以與座標系36的Z軸平行的軸線38為中心，將圖像40每次大約旋轉(zhuǎn)15度生成的8個形狀模型S1～S8的2維圖像。另外，在上述實施方式中，雖然旋轉(zhuǎn)對象物的圖像40生成了多個形狀模型，但是在將對象物的圖像40固定的另一方面，可以進行使假設(shè)視點在規(guī)定的軸線的周圍旋轉(zhuǎn)的處理。另外，也可以以與座標系36的X軸或Y軸平行的軸線38為旋轉(zhuǎn)中心?？傊瑥牟煌姆较蛴^察對象物的多個假設(shè)視點和對象物的位置關(guān)系是相對的，可以適當?shù)匾苿訉ο笪锱c假設(shè)視點中的任意一方或雙方來生成多個形狀模型。
這樣生成的多個形狀模型在操作人員想要確認時，可以從存儲器讀出并顯示在顯示裝置34的畫面42上。圖5表示形狀模型生成裝置30的顯示處理順序。
操作人員輸入形狀模型顯示指令后，CPU首先將指標i設(shè)置為1(步驟Q1)，將與指標i對應(yīng)的形狀模型Si顯示在畫面42的窗口42b上(步驟Q2)。這時，同時在畫面42的窗口42a上顯示該時刻的對象物與假設(shè)視點的位置以及姿勢的關(guān)系。之后，依次判斷是否輸入了在形狀模型Si之后生成的形狀模型的顯示指令(步驟Q3)，是否輸入了在形狀模型Si之前生成的形狀模型的顯示指令(步驟Q4)，是否輸入了形狀模型的顯示結(jié)束指令(步驟Q5)。
當在步驟Q3判斷為輸入了下一個形狀模型顯示指令時，將指標i只增加增量“1”(步驟Q6)，判斷指標i的值是否超過了形狀模型數(shù)N(步驟Q7)，如果沒有超過則返回步驟Q2，顯示該指標i所指示的形狀模型Si。另外，在指標i的值超過了形狀模型數(shù)N時，將指標i設(shè)置為“1”(步驟Q8)，移動到步驟Q2。
當在步驟Q4判斷為輸入了前一個形狀模型顯示指令時，將指標i只減少減量“1”(步驟Q9)，判斷指標i的值是否是0以下(步驟Q10)，如果不是0以下則返回步驟Q2，顯示該指標i所指示的形狀模型Si。另外，如果指標i是0以下，則將指標i設(shè)置為形狀模型數(shù)N(步驟Q11)，移動到步驟Q2。
當在步驟Q5判斷為輸入了形狀模型顯示結(jié)束指令時，結(jié)束該顯示處理順序。這樣，操作員可以將圖6所示的多個形狀模型S1～S8依次顯示在顯示裝置34的畫面42上，并確認每個形狀模型。
通過上述方法所生成的多個形狀模型，經(jīng)由通信接口等，存儲到與機器人控制裝置(未圖示)連接的圖像處理裝置(未圖示)的非易失性存儲器中。在機器人執(zhí)行作業(yè)時，圖像處理裝置執(zhí)行以下的圖像處理將CCD照相機等視覺傳感器(未圖示)拍攝實際的對象物得到的輸入圖像與這些形狀模型進行比較、對照，識別對象物的姿勢(以及根據(jù)需要識別位置)。
另外，對于1個對象物，所生成的形狀模型的個數(shù)越多對象物的檢測精度越高，但是另一方面增加了檢測時間。因此，生成的形狀模型的個數(shù)最好根據(jù)對象物的形狀或由與對象物相對的作業(yè)工序所容許的時間等來決定。
以上，雖然使用最佳的實施方式對本發(fā)明進行了說明，但是在不脫離后述的請求范圍的精神以及公開范圍的情況下可以進行各種各樣的修正以及變更，這一點從業(yè)人員應(yīng)該可以理解。
權(quán)利要求
1.一種形狀模型生成裝置，制作對象物的形狀模型，其特征在于，具有形狀數(shù)據(jù)取得部(14)，取得對象物的3維形狀數(shù)據(jù)(12)；視點設(shè)定部(16)，在所述形狀數(shù)據(jù)取得部取得的所述3維形狀數(shù)據(jù)所屬的座標系(36)中，設(shè)定可以從相互不同的方向觀察已設(shè)置在該座標系中的所述對象物的多個假設(shè)視點；和形狀模型生成部(20)，從所述視點設(shè)定部已設(shè)定的所述多個假設(shè)視點，把在所述座標系上觀察到所述對象物時的，分別預(yù)測的該對象物的多個2維圖像數(shù)據(jù)(18)作為多個形狀模型，根據(jù)所述3維形狀數(shù)據(jù)來生成形狀模型。
2.根據(jù)權(quán)利要求1所述的形狀模型生成裝置，其特征在于，還具有存儲部，將所述視點設(shè)定部已設(shè)定的所述多個假設(shè)視點的位置數(shù)據(jù)和所述形狀模型生成部已生成的多個所述2維圖像數(shù)據(jù)在相互對應(yīng)的關(guān)系下進行存儲。
3.根據(jù)權(quán)利要求1所述的形狀模型生成裝置，其特征在于，所述視點設(shè)定部把在所述座標系中預(yù)先確定的軸線(38)為中心，通過只相互旋轉(zhuǎn)了預(yù)先已設(shè)定的角度的位置關(guān)系，設(shè)定所述多個假設(shè)視點。
4.根據(jù)權(quán)利要求1至權(quán)利要求3的任意一項所述的形狀模型生成裝置，其特征在于，還具有顯示部(34)，以所述多個形狀模型的方式，對所述形狀模型生成部已生成的所述多個2維圖像數(shù)據(jù)進行圖像顯示。
5.根據(jù)權(quán)利要求4所述的形狀模型生成裝置，其特征在于，所述顯示部，通過設(shè)定的相對位置關(guān)系，對在所述座標系中設(shè)置的所述對象物，和所述視點設(shè)定部已設(shè)定的所述多個假設(shè)視點中的基準假設(shè)視點(44)進行圖像顯示。
全文摘要
一種用于生成機器人系統(tǒng)中的作業(yè)對象物的對照所使用的形狀模型的裝置。其具有形狀數(shù)據(jù)取得部，取得對象物的3維形狀數(shù)據(jù)；視點設(shè)定部，在形狀數(shù)據(jù)取得部取得的3維形狀數(shù)據(jù)所屬的座標系中，設(shè)定可以從相互不同的方向觀察已置于該座標系中的對象物的多個假設(shè)視點；和形狀模型生成部，從視點設(shè)定部設(shè)定的多個假設(shè)視點，把在座標系上觀察到對象物時的，分別預(yù)測的對象物的多個2維圖像數(shù)據(jù)作為多個形狀模型，根據(jù)3維形狀數(shù)據(jù)來生成形狀模型。
文檔編號G06T3/00GK1721141SQ200510084179
公開日2006年1月18日 申請日期2005年7月14日 優(yōu)先權(quán)日2004年7月15日
發(fā)明者長嘉治, 小林博彥 申請人:發(fā)那科株式會社