本發(fā)明涉及用于推定系統(tǒng)的動作的模擬裝置、模擬方法以及模擬程序。

背景技術(shù)：

在工廠自動化(FA：Factory Automation)領(lǐng)域中，使用視覺傳感器的自動控制技術(shù)被廣泛的利用。例如，通過對工件等的對象物進行拍攝并對該拍攝的圖像執(zhí)行圖形匹配等的圖像測量處理，實現(xiàn)用于操作各種的控制設(shè)備的自動化處理。

例如，日本特開2012-187651號公報(專利文獻1)公開了包括視覺傳感器以及機械手的傳送帶跟蹤的結(jié)構(gòu)。在該傳送帶跟蹤的系統(tǒng)中，視覺傳感器以及用于控制機械手的機械手控制裝置經(jīng)由網(wǎng)絡(luò)連接。

在上述那樣的自動控制技術(shù)的對象的系統(tǒng)的設(shè)計或檢討等階段，需要預(yù)先評價系統(tǒng)整體的性能等。針對這樣的需求，假想地構(gòu)筑系統(tǒng)來實現(xiàn)模擬動作的技術(shù)。例如，日本特開2013-191128號公報(專利文獻2)公開了進行包含與假想拍攝部對應(yīng)的實際空間的視覺傳感器的機械系統(tǒng)的綜合模擬的技術(shù)。在專利文獻2公開的技術(shù)中，通過聯(lián)合3D模擬器與視覺傳感器模擬器，假想地生成各個時刻的3D空間內(nèi)的工件的拍攝圖像。

專利文獻1：日本特開2012-187651號公報

專利文獻2：日本特開2013-191128號公報

例如，在上述的專利文獻1所公開的傳送帶追蹤的系統(tǒng)中，基于視覺傳感器的測量結(jié)果，生成針對各裝置的控制指令。因此，在模擬這樣的系統(tǒng)的情況下，存在想要一并確認(rèn)各裝置的動作和視覺傳感器的測量結(jié)果的需求。

另外，例如，在將某個傳送帶上的工件移動至其他傳送帶進行配置的情況下，也進行將工件的朝向調(diào)整為預(yù)先設(shè)定的方向的處理。因此，也存在想要確認(rèn)這樣的針對工件的處理是否合適地被實施的需求。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的一個技術(shù)方案，提供一種模擬裝置，用于推定處理裝置對對象物進行處理的系統(tǒng)的動作。模擬裝置包括：

構(gòu)筑機構(gòu)，其在三維假想空間內(nèi)假想地構(gòu)筑系統(tǒng)，

測量機構(gòu)，其對包括被攝物體即對象物的至少一部分的輸入圖像進行圖像測量處理，該輸入圖像與在三維假想空間內(nèi)的規(guī)定部位預(yù)先設(shè)定的第一區(qū)域相關(guān)聯(lián)，所述圖像測量處理包括從輸入圖像中搜索與預(yù)先設(shè)定的一個或多個參照信息相對應(yīng)的部分的處理，

執(zhí)行機構(gòu)，其基于測量機構(gòu)的測量結(jié)果，執(zhí)行控制運算，該控制運算用于生成針對處理裝置的控制指令，

再現(xiàn)機構(gòu)，其基于由執(zhí)行機構(gòu)輸出的控制指令的時間序列數(shù)據(jù)以及測量機構(gòu)的測量結(jié)果，在系統(tǒng)上，使搜索的對象物的動作與從輸入圖像中搜索的關(guān)于對象物的類別以及該對象物的朝向的信息一同再現(xiàn)。

優(yōu)選地，對象物的類別包括預(yù)先設(shè)定的多個參照信息中的表示與對象物的對應(yīng)程度最確切的信息。

優(yōu)選地，對象物的類別包括表示對象物與預(yù)先設(shè)定的參照信息之間的對應(yīng)程度是否滿足預(yù)先設(shè)定的條件的信息。

優(yōu)選地，再現(xiàn)機構(gòu)對對象物的每個類別，使顏色、形狀、大小中的至少一個不同來進行顯示。

優(yōu)選地，模擬裝置還具有輸入機構(gòu)，該輸入機構(gòu)接受對對象物的每個類別的顯示所使用的顏色、形狀、大小中至少一個的設(shè)定。

優(yōu)選地，測量機構(gòu)將與包含于輸入圖像的任一參照信息相對應(yīng)的部分的旋轉(zhuǎn)角作為測量結(jié)果輸出，

再現(xiàn)機構(gòu)基于測量結(jié)果的旋轉(zhuǎn)角，生成關(guān)于對象物的朝向的信息。

優(yōu)選地，再現(xiàn)機構(gòu)將表示對象物的朝向的對象附加于對象物來進行顯示。

優(yōu)選地，再現(xiàn)機構(gòu)將與對象物的朝向相對應(yīng)的特征附加于再現(xiàn)的對象物的外觀。

優(yōu)選地，系統(tǒng)包括用于運送對象物的運送機，

規(guī)定部位在運送機的運送路徑上。

優(yōu)選地，再現(xiàn)機構(gòu)基于表示運送對象物的運送機的位置或位移的信息，依次更新三維假想空間內(nèi)的對象物的顯示位置。

根據(jù)本發(fā)明的其他技術(shù)方案，提供一種模擬方法，由計算機執(zhí)行，該模擬方法用于推定處理裝置對對象物進行處理的系統(tǒng)的動作。模擬方法包括：

在三維假想空間內(nèi)假想地構(gòu)筑系統(tǒng)的步驟，

對包括作為被攝物體的對象物的至少一部分的輸入圖像進行圖像測量處理的步驟，該輸入圖像與在三維假想空間內(nèi)的規(guī)定部位預(yù)先設(shè)定的第一區(qū)域相關(guān)聯(lián)，圖像測量處理包括從輸入圖像中搜索與預(yù)先設(shè)定的一個或多個參照信息相對應(yīng)的部分的處理，

基于圖像測量處理的測量結(jié)果，執(zhí)行用于生成針對處理裝置的控制指令的控制運算的步驟，

基于控制指令的時間序列數(shù)據(jù)以及測量結(jié)果，將從輸入圖像中搜索的關(guān)于對象物的類別以及該對象物的朝向的信息與搜索的對象物的動作一同在系統(tǒng)上再現(xiàn)的步驟。

根據(jù)本發(fā)明的另一其他技術(shù)方案，提供一種模擬程序，用于推定處理裝置對對象物進行處理的系統(tǒng)的動作。模擬程序在計算機中執(zhí)行如下步驟：

在三維假想空間內(nèi)假想地構(gòu)筑系統(tǒng)的步驟，

對包括作為被攝物體的對象物的至少一部分的輸入圖像進行圖像測量處理的步驟，該輸入圖像與在三維假想空間內(nèi)的規(guī)定部位預(yù)先設(shè)定的第一區(qū)域相關(guān)聯(lián)，圖像測量處理包括從輸入圖像中搜索與預(yù)先設(shè)定的一個或多個參照信息相對應(yīng)的部分的處理，

基于圖像測量處理的測量結(jié)果，執(zhí)行用于生成針對處理裝置的控制指令的控制運算的步驟，

基于控制指令的時間序列數(shù)據(jù)以及測量結(jié)果，將從輸入圖像中搜索的關(guān)于對象物的類別以及該對象物的朝向的信息與搜索的對象物的動作一同在系統(tǒng)上再現(xiàn)的步驟。

根據(jù)本發(fā)明，既能夠按照控制指令確認(rèn)處理裝置處理的對象物的位置以及朝向，又能夠評價系統(tǒng)的動作，因此，一看就能夠掌握系統(tǒng)的有效性。

附圖說明

圖1是表示本實施方式的模擬裝置中的模擬的對象的系統(tǒng)結(jié)構(gòu)例的示意圖。

圖2是用于說明使用了本實施方式的模擬裝置的模擬方法的示意圖。

圖3是表示本實施方式的模擬裝置的硬件結(jié)構(gòu)的示意圖。

圖4是表示本實施方式的模擬裝置的功能結(jié)構(gòu)的示意圖。

圖5是表示本實施方式的模擬裝置的功能結(jié)構(gòu)的其他方式的示意圖。

圖6是表示使用了本實施方式的模擬裝置的模擬的處理順序的流程圖。

圖7A、7B是用于說明本實施方式的模擬裝置中的圖像測量處理的一個例子的示意圖。

圖8是用于說明本實施方式的模擬裝置中的圖像測量處理的測量結(jié)果的內(nèi)容的示意圖。

圖9是表示本實施方式的模擬裝置提供的再現(xiàn)模擬結(jié)果的用戶界面畫面的一個例子的圖。

圖10A、10B是用于說明本實施方式的模擬裝置提供的用戶設(shè)定模擬結(jié)果的顯示方式的一個例子的示意圖。

圖11是用于說明本實施方式的模擬裝置提供的用戶設(shè)定模擬結(jié)果的顯示方式的其他例子的示意圖。

圖12是用于說明本實施方式的模擬裝置提供的用戶設(shè)定模擬結(jié)果的顯示方式的另一其他例子的示意圖。

圖13A、13B是表示本實施方式的模擬裝置提供的在模擬結(jié)果中用于支援類別的確認(rèn)的用戶界面畫面的一個例子的圖。

圖14A、14B是表示本實施方式的模擬裝置提供的模擬結(jié)果中的工件的朝向的顯示方式的一個例子的圖。

圖15A、15B是表示本實施方式的模擬裝置提供的模擬結(jié)果中的工件的朝向的顯示方式的其他例子的圖。

圖16是表示本實施方式的模擬裝置提供的再現(xiàn)模擬結(jié)果的用戶界面畫面的其他例子的圖。

其中，附圖標(biāo)記說明如下：

1、2 傳送帶追蹤系統(tǒng)

100 模擬裝置

102 處理器

104 主存儲器

106 輸入部

108 顯示部

110 網(wǎng)絡(luò)接口

112 光驅(qū)

114 光盤

116 通信接口

118 內(nèi)部總線

120 硬盤

122 操作系統(tǒng)(OS)

124 模擬程序

130 測量結(jié)果存儲部

140 圖像數(shù)據(jù)群

150 視覺傳感器模擬器

152 設(shè)定參數(shù)

160 控制模擬器

162 控制程序

170 再現(xiàn)模塊

171 工件顯示方式設(shè)定模塊

172 三維設(shè)計數(shù)據(jù)

174 工件顯示方式設(shè)定參數(shù)

180 用戶界面模塊

182 模型構(gòu)筑模塊

190 編碼器模擬器

200 控制裝置

202 網(wǎng)絡(luò)

210、311、313 機械手

220 視覺傳感器

221 拍攝區(qū)域

222 拍攝部

230、240 傳送帶

231、233、235 追蹤區(qū)域

232 工件

234、244 驅(qū)動輥

236、246 編碼器

250 對象

260 基準(zhǔn)線

400、410、420 設(shè)定畫面

402、412 下拉項

404、414 下拉菜單

406、416 顏色選擇框

408 形狀選擇框

418 大小輸入框

422 設(shè)定按鈕

424 圖像選擇菜單

具體實施方式

一邊參照附圖，一邊詳細(xì)地說明本發(fā)明的實施方式。此外，對圖中的同一或相當(dāng)部分標(biāo)注同一附圖標(biāo)記，并省略其說明。

<A.概要>

本實施方式的模擬裝置用于推定系統(tǒng)的動作。更具體地說，本實施方式的模擬裝置能夠使用任意的輸入圖像來推定假想地構(gòu)筑的系統(tǒng)的動作等。在本實施方式中，作為典型例，說明將處理裝置對在運送路徑上被運送的對象物進行處理的系統(tǒng)作為模擬對象的情況，但并不限定于此，也能夠應(yīng)用于任意的系統(tǒng)。

在下面的說明中，作為在運送路徑上運送對象物的運送機的一個例子，采用一個或多個傳送帶，并且，作為對對象物進行處理的處理裝置的一個例子，假想一個或多個機械手。但是，就運送機以及處理裝置而言，并不限定于此，可以根據(jù)對象的系統(tǒng)合適地選擇。在下面，也將對象物稱為“工件”，作為工件，若是利用視覺傳感器能夠測量最終生成物或其一部分或者中間生成物或其一部分等的構(gòu)件，可以是任何的構(gòu)件。

首先，對本實施方式的模擬裝置中的模擬的概要進行說明。

圖1是表示本實施方式的模擬裝置中的模擬對象的系統(tǒng)結(jié)構(gòu)例的示意圖。參照圖1，作為一個例子，在傳送帶跟蹤系統(tǒng)1中，若在傳送帶230上連續(xù)地被運送的工件232到達規(guī)定的跟蹤區(qū)域231，則利用機械手210夾持跟蹤區(qū)域231內(nèi)的工件232并運送至傳送帶240，將其配置于傳送帶240上。利用這樣的機械手210的夾持、運送、配置的一系列動作也稱為“拾取和放置動作”。在該拾取和放置動作中，也存在如下情況，即，在機械手210夾持傳送帶230上的工件232后，進行使工件232旋轉(zhuǎn)而沿預(yù)先設(shè)定的朝向?qū)R的處理。

就利用機械手210的拾取和放置動作而言，通過利用拍攝部222對設(shè)置于傳送帶230的一部分的拍攝區(qū)域221進行拍攝，并且視覺傳感器220對由拍攝部222的拍攝所獲取的輸入圖像進行圖像匹配等的圖像測量處理，來獲取包括工件232的位置、類別、朝向等信息的測量結(jié)果。

控制裝置200基于來自視覺傳感器220的測量結(jié)果執(zhí)行預(yù)先設(shè)定的控制邏輯，從而依次更新(即，跟蹤)工件232的位置，并且生成針對機械手210的控制指令。典型地，作為控制裝置200使用了可編程控制器(下面，稱為“PLC”)。

在生成針對機械手210的控制指令時，控制裝置200參照機械手210的狀態(tài)值、來自與驅(qū)動傳送帶230的驅(qū)動輥234結(jié)合的編碼器236的編碼值(編碼值1)以及來自與驅(qū)動傳送帶240的驅(qū)動輥244結(jié)合的編碼器246的編碼值(編碼值2)?？刂蒲b置200以及視覺傳感器220經(jīng)由網(wǎng)絡(luò)202可數(shù)據(jù)通信地連接，來自視覺傳感器220的測量結(jié)果經(jīng)由網(wǎng)絡(luò)202向控制裝置200傳送。

在導(dǎo)入圖1所示的傳送帶跟蹤系統(tǒng)1時，存在事前想要評價處理能力(生產(chǎn)節(jié)拍等)以及處理精度等的需求。即，由于成本或時間的制約，不能實際制作傳送帶跟蹤系統(tǒng)1來檢討其處理能力的情況較多。本實施方式的模擬裝置是針對于想要更簡單地推定這樣的傳送帶跟蹤系統(tǒng)1的動作的需求的裝置。

更具體地說，本實施方式的模擬裝置通過在三維假想空間內(nèi)假想地構(gòu)筑模擬對象的系統(tǒng)，并且使任意的輸入圖像與該假想地構(gòu)筑的系統(tǒng)相融合，能夠?qū)崿F(xiàn)更加高效的模擬。

圖2是用于說明使用了本實施方式的模擬裝置的模擬方法的示意圖。參照圖2，模擬裝置將模擬對象的傳送帶跟蹤系統(tǒng)2整體模型化，并且，為了模擬拍攝部222的拍攝，可以將任意的輸入圖像賦予該系統(tǒng)模型。

作為賦予傳送帶跟蹤系統(tǒng)1的系統(tǒng)模型的輸入圖像，利用能夠表示設(shè)計上假想的標(biāo)準(zhǔn)(例如，工件232的移動速度或單位時間的個數(shù)等)的輸入圖像。典型地，假想使用由類似的生產(chǎn)線實際拍攝的輸入圖像。

作為用于模擬的輸入圖像，假想由現(xiàn)有的系統(tǒng)(例如，模擬對象的系統(tǒng)更新后的系統(tǒng)的情況的更新前的系統(tǒng))拍攝的圖像，但并不限定于此，也可以使用在任意的系統(tǒng)以及狀況下所拍攝的圖像。即，若包括關(guān)于模擬的對象物(典型地，為工件232)的時間變化的信息，則可以使用任何輸入圖像。

另外，作為輸入圖像，可以是動態(tài)圖像數(shù)據(jù)，也可以是按時間序列排列的多個靜態(tài)圖像數(shù)據(jù)。而且，通過合適地調(diào)整動態(tài)圖像數(shù)據(jù)的播放速度或多個靜態(tài)圖像數(shù)據(jù)的更新速度，也能夠調(diào)整成為控制對象的對象物的時間變化(即，移動速度)。通過這樣調(diào)整賦予系統(tǒng)模型的輸入圖像，也能夠利用模擬來確定控制對象的時間變化的最佳值等。

而且，作為多個靜止圖像，不僅是實際連續(xù)地拍攝的圖像，也可以通過將在不同場景所拍攝的多個圖像合適地排列而變?yōu)殡S時間變化的數(shù)據(jù)來當(dāng)作動態(tài)輸入圖像。在該情況下，在生成的多個圖像之間不會產(chǎn)生重疊，而且事實上在實施模擬時也不存在這種問題。

在模擬包括這樣的視覺傳感器的系統(tǒng)時，存在想要評價視覺傳感器對工件的測量結(jié)果和基于該測量結(jié)果的控制裝置的動作等需求。就上述的拾取和放置動作而言，需要評價如下方面，即，通過針對輸入圖像的圖像測量處理，能否正確地得到工件的信息(例如，工件的類別等)，或者，通過機械手的拾取和放置動作，工件的朝向能否正確地對齊。

因此，本實施方式的模擬裝置100能夠?qū)⒂蓤D像測量處理所獲取的關(guān)于工件的類別以及該對象物的朝向的信息和工件的動作一同再現(xiàn)在系統(tǒng)上。下面，說明本實施方式的模擬裝置100的詳細(xì)。

<B.模擬裝置的硬件結(jié)構(gòu)>

接著，對本實施方式的模擬裝置100的硬件結(jié)構(gòu)進行說明。典型地，本實施方式的模擬裝置100通過一個或多個計算機執(zhí)行程序來實現(xiàn)。

圖3是表示本實施方式的模擬裝置100的硬件結(jié)構(gòu)的示意圖。參照圖3，作為一個例子，模擬裝置100包括以通用的計算機體系結(jié)構(gòu)為標(biāo)準(zhǔn)構(gòu)成的計算機。模擬裝置100包括處理器102、主存儲器104、輸入部106、顯示部108、網(wǎng)絡(luò)接口110、硬盤(HDD：Hard Disk Drive)120、光驅(qū)112、通信接口116。上述部件經(jīng)由內(nèi)部總線118相互可通信地連接。

處理器102通過將存儲于硬盤120的程序在主存儲器104中展開執(zhí)行，實現(xiàn)后述那樣的功能以及處理。主存儲器104由揮發(fā)性存儲器構(gòu)成，作為利用處理器102執(zhí)行程序所必需的工件存儲器發(fā)揮作用。

典型地，輸入部106包括鍵盤、鼠標(biāo)、觸摸面板、觸摸板等，接受來自用戶的操作。顯示部108包括顯示器、指示器等，對用戶提示各種信息。

網(wǎng)絡(luò)接口110在與伺服裝置等外部設(shè)備之間經(jīng)由網(wǎng)絡(luò)交換數(shù)據(jù)。光驅(qū)112從光盤114等讀取存儲于其中的各種程序，并安裝于硬盤120。通信接口116包括例如USB(Universal Serial Bus)等通信接口，在與輔助存儲裝置等外部設(shè)備之間經(jīng)由本地通信交換數(shù)據(jù)。

硬盤120為了作為操作系統(tǒng)(OS：Operating System)122以及模擬程序124等的模擬裝置發(fā)揮作用，存儲必要的程序，并且也存儲用于模擬的預(yù)先獲取的輸入圖像即圖像數(shù)據(jù)群140。

圖3示出了經(jīng)由光驅(qū)112將必要的程序安裝于模擬裝置100的結(jié)構(gòu)例，但并不限定于此，也可以從網(wǎng)絡(luò)上的伺服裝置等下載。

這樣，在使用通用的計算機實現(xiàn)的情況下，除了用于提供本實施方式的功能的程序以外，還可以安裝有用于提供計算機的基本功能的操作系統(tǒng)(OS：Operating System)。在該情況下，本實施方式的模擬程序也可以是如下程序，即，將作為OS的一部分所提供的程序模塊中的必要的模塊按照規(guī)定的順序和/或時刻調(diào)出來執(zhí)行處理。即，就本實施方式的程序而言，也存在不包括上述那樣的模塊而與OS協(xié)作來執(zhí)行處理的情況。因此，作為本實施方式的程序也可以是不包括這樣的一部分的模塊的方式。

本實施方式的程序也可以是編入為其他程序的一部分的程序。在該情況下，程序自身不具有包含于上述那樣組合的其他程序的模塊，而是與該其他程序協(xié)作來執(zhí)行處理。即，作為本實施方式的模擬程序，也可以是編入這樣的其他程序的方式。

圖3示出了由通用的計算機實現(xiàn)模擬裝置100的例子，但并不限定于此，也可以使用專用電路(例如，ASIC(Application Specific Integrated Circuit)等)來實現(xiàn)其全部或一部分。而且，也可以由外部裝置來承擔(dān)一部分的處理。

圖3示出了本實施方式的模擬裝置100通過單一的裝置安裝的例子，但也可以是多個裝置聯(lián)合來實現(xiàn)模擬裝置100。即，本實施方式的模擬裝置100也可以包括由多個獨立的裝置的組合所構(gòu)成的系統(tǒng)。

<C.模擬裝置的功能結(jié)構(gòu)>

接著，對本實施方式的模擬裝置100的功能結(jié)構(gòu)進行說明。

圖4是表示本實施方式的模擬裝置100的功能結(jié)構(gòu)的示意圖。參照圖4，模擬裝置100作為軟件功能包括視覺傳感器模擬器150、控制模擬器160、再現(xiàn)模塊170、用戶界面模塊180、編碼器模擬器190。典型地，上述功能模塊群通過處理器102執(zhí)行模擬程序124(均參照圖3)來實現(xiàn)。

用戶界面模塊180提供關(guān)于設(shè)定參數(shù)152、控制程序162、三維設(shè)計數(shù)據(jù)172以及工件顯示方式設(shè)定參數(shù)174的用于支援用戶的設(shè)定、制作的操作畫面等。另外，在利用再現(xiàn)模塊170顯示模擬結(jié)果時，用戶界面模塊180提供必要的用戶界面。

用戶界面模塊180作為處理三維設(shè)計數(shù)據(jù)172的功能包括模型構(gòu)筑模塊182。模型構(gòu)筑模塊182在三維假想空間內(nèi)假想地構(gòu)筑模擬對象的系統(tǒng)。更具體地說，模型構(gòu)筑模塊182提供用于顯示三維假想空間并且在該三維假想空間內(nèi)構(gòu)筑模擬對象的系統(tǒng)的設(shè)定及操作畫面。

在本實施方式的模擬裝置100中，典型地，在三維假想空間內(nèi)假想地構(gòu)筑包括運送機(作為典型例為傳送帶)的系統(tǒng)。并且，如圖2所示，在與運送機(傳送帶)相關(guān)聯(lián)的運送路徑上的第一部位假想配置有視覺傳感器220，并且在運送路徑上的第二部位假想配置有控制裝置200。另外，在系統(tǒng)模型內(nèi)設(shè)定視覺傳感器的拍攝區(qū)域。在圖1以及圖2所示的針對拾取和放置動作的系統(tǒng)模型中，也可以設(shè)定有夾持(拾取)工件的區(qū)域(追蹤區(qū)域)和配置(放置)工件的區(qū)域。

視覺傳感器模擬器150是模擬視覺傳感器220中的處理的模塊，針對包括被攝物體即工件的至少一部分的輸入圖像進行圖像測量處理，該輸入圖像與預(yù)先設(shè)定于三維假想空間內(nèi)的運送路徑(傳送帶)上的拍攝區(qū)域相關(guān)聯(lián)。更具體地說，視覺傳感器模擬器150響應(yīng)來自控制模擬器160的讀取指令(作為典型例為觸發(fā)信號)，讀取預(yù)先獲取的圖像數(shù)據(jù)群140中的對象的圖像數(shù)據(jù)，進行與視覺傳感器220(參照圖1以及圖2)相對應(yīng)的圖像測量處理。典型地，由視覺傳感器模擬器150所執(zhí)行的圖像測量處理包括從輸入圖像搜索與預(yù)先設(shè)定的一個或多個參照信息相對應(yīng)的部分的處理。

由視覺傳感器模擬器150中的圖像測量處理所得的測量結(jié)果向控制模擬器160輸出。即，執(zhí)行相當(dāng)于圖1所示的傳送帶跟蹤系統(tǒng)中的經(jīng)由網(wǎng)絡(luò)202從視覺傳感器220向控制裝置200傳送測量結(jié)果的處理。在此，視覺傳感器模擬器150中的圖像測量處理按照預(yù)先設(shè)定的設(shè)定參數(shù)152執(zhí)行。

控制模擬器160基于視覺傳感器模擬器150的測量結(jié)果，執(zhí)行生成針對處理裝置的一個例子即機械手的控制指令的控制運算?？刂颇M器160是模擬控制裝置200(參照圖1以及圖2)中的處理的模塊，該控制模擬器160按照預(yù)先制作的控制程序162，執(zhí)行控制運算(順序指令、動作指令、各種功能指令等)。包括控制模擬器160中的控制運算的輸入及輸出的跟蹤數(shù)據(jù)向再現(xiàn)模塊170輸出。

跟蹤數(shù)據(jù)包括控制模擬器160輸出的針對機械手的控制指令的時間序列數(shù)據(jù)和視覺傳感器模擬器150的測量結(jié)果。

由控制模擬器160所執(zhí)行的控制運算包括用于對視覺傳感器模擬器150生成圖像數(shù)據(jù)的讀取指令(觸發(fā)信號)的處理。即，在滿足預(yù)先設(shè)定的條件時，控制模擬器160產(chǎn)生觸發(fā)信號。預(yù)先設(shè)定的條件能夠使用例如傳送帶移動了規(guī)定距離或預(yù)先設(shè)定的周期已到來等。如后面所述，傳送帶的移動距離等基于編碼器模擬器190產(chǎn)生的信息等被檢測。

再現(xiàn)模塊170基于由控制模擬器160輸出的跟蹤數(shù)據(jù)(包括針對機械手的控制指令的時間序列數(shù)據(jù)和視覺傳感器模擬器150的測量結(jié)果)，使從輸入圖像搜索的關(guān)于工件的類別以及該工件的朝向的信息和該被搜索的工件的動作一同再現(xiàn)在系統(tǒng)上。更具體地說，再現(xiàn)模塊170基于定義文件即三維設(shè)計數(shù)據(jù)172，使在三維假想空間內(nèi)假想地構(gòu)筑的系統(tǒng)視覺化，并且，基于來自控制模擬器160的跟蹤數(shù)據(jù)，再現(xiàn)系統(tǒng)中的工件以及機械手的時間變化等。

再現(xiàn)模塊170包括工件顯示方式設(shè)定模塊171。工件顯示方式設(shè)定模塊171基于工件顯示方式設(shè)定參數(shù)174，確定再現(xiàn)的工件的顯示方式等。更具體地說，工件顯示方式設(shè)定模塊171按照工件顯示方式設(shè)定參數(shù)174，設(shè)定和變更在三維假想空間內(nèi)顯示的工件的顏色、形狀、大小、朝向等。賦予再現(xiàn)的工件的信息的詳細(xì)在后面敘述。

這樣，再現(xiàn)模塊170將模擬結(jié)果的時間變化以動畫的狀態(tài)表現(xiàn)在模擬裝置100的顯示部108(圖3)上。

在圖4所示的功能結(jié)構(gòu)中，控制模擬器160輸出跟蹤數(shù)據(jù)，該跟蹤數(shù)據(jù)包括由控制模擬器160輸出的針對機械手的控制指令的時間序列數(shù)據(jù)和視覺傳感器模擬器150的測量結(jié)果，但并不限定于此，再現(xiàn)模塊170也可以合成這些數(shù)據(jù)來再現(xiàn)系統(tǒng)的動作。

圖5是表示本實施方式的模擬裝置100的功能結(jié)構(gòu)的其他方式的示意圖。圖5所示的模擬裝置100作為軟件功能，除了包括圖4所示的功能模塊以外，還包括測量結(jié)果存儲部130。測量結(jié)果存儲部130將由視覺傳感器模擬器150中的圖像測量處理所得的測量結(jié)果與編碼值相對應(yīng)地依次存儲。此外，除了測量結(jié)果以及編碼值以外，也可以存儲成為該圖像測量處理的對象的輸入圖像。

再現(xiàn)模塊170通過將基于存儲于測量結(jié)果存儲部130的各個測量結(jié)果的工件，基于與上述工件相對應(yīng)的編碼值顯示在三維假想空間內(nèi)，再現(xiàn)系統(tǒng)中的工件以及機械手的時間變化。

通過采用圖5所示的功能結(jié)構(gòu)，例如，在再現(xiàn)工件的動作時，也能夠?qū)⒂糜趫D像測量處理的輸入圖像一并顯示。

在上述的圖4以及圖5中，示出了使用由控制模擬器160輸出的跟蹤數(shù)據(jù)再現(xiàn)再現(xiàn)模塊170所構(gòu)筑的系統(tǒng)的動作的結(jié)構(gòu)例，但未必需要在模擬裝置100內(nèi)安裝再現(xiàn)模塊170。例如，也可以將由控制模擬器160輸出的跟蹤數(shù)據(jù)向外部裝置或外部應(yīng)用系統(tǒng)輸出，由該外部裝置或外部應(yīng)用系統(tǒng)再現(xiàn)系統(tǒng)的動作。或者，再現(xiàn)模塊170也可以只生成用于再現(xiàn)系統(tǒng)的動作的動態(tài)圖像數(shù)據(jù)并將其存儲于任意的存儲介質(zhì)，由其他應(yīng)用播放該動態(tài)圖像數(shù)據(jù)。

編碼器模擬器190生成表示該運送機的位置或位移的信息，該信息與運送機的移動相關(guān)聯(lián)。作為一個例子，編碼器模擬器190也可以輸出表示距基準(zhǔn)位置的位移量的編碼值，也可以產(chǎn)生與運送機(傳送帶)的每單位時間的移動量成比例的脈沖。即，編碼值表示傳送帶的位置，每單位時間的脈沖數(shù)表示傳送帶的速度。

<D.處理順序>

接著，對使用了本實施方式的模擬裝置100的模擬的處理順序進行說明

圖6是表示使用了本實施方式的模擬裝置100的模擬的處理順序的流程圖。參照圖6，首先，模擬裝置100接受系統(tǒng)模型的設(shè)定(步驟S2)。系統(tǒng)模型的設(shè)定包括構(gòu)成系統(tǒng)的各裝置的配置位置、運送機即傳送帶的移動速度等的設(shè)定。模擬裝置100(模型構(gòu)筑模塊182)基于系統(tǒng)模型的設(shè)定，在三維假想空間內(nèi)假想地構(gòu)筑模擬對象的系統(tǒng)(系統(tǒng)模型)。

模擬裝置100(用戶界面模塊180)接受在系統(tǒng)模型內(nèi)設(shè)定的視覺傳感器的拍攝區(qū)域(步驟S4)。于是，基于構(gòu)筑的系統(tǒng)和設(shè)定的拍攝區(qū)域之間的相對位置關(guān)系，能夠計算出用于將測量結(jié)果變換為控制運算的輸入值的變化參數(shù)即校準(zhǔn)參數(shù)。

接著，模擬裝置100(用戶界面模塊180)接受用于控制系統(tǒng)模型的控制程序(步驟S6)。該控制程序是與系統(tǒng)相關(guān)聯(lián)的程序，由控制模擬器160執(zhí)行。

模擬裝置100(用戶界面模塊180)接受應(yīng)由視覺傳感器模擬器150執(zhí)行的圖像測量處理的內(nèi)容設(shè)定(步驟S8)。作為設(shè)定的內(nèi)容，包括圖像測量處理的處理內(nèi)容的指定和與被指定的處理內(nèi)容相對應(yīng)的參照信息(模型圖像、由模型圖像計算出的特征量等)。

通過上面那樣的順序，完成用于進行模擬的設(shè)定。

在指示開始模擬時，模擬裝置100(編碼器模擬器190)按照所指定的時間間隔，更新表示假想地配置的傳送帶的位置或移動量的編碼值(步驟S10)。模擬裝置100(控制模擬器160)判斷是否滿足產(chǎn)生觸發(fā)信號的條件(步驟S12)。若滿足產(chǎn)生觸發(fā)信號的條件(在步驟S12中為YES的情況下)，則假想地產(chǎn)生觸發(fā)信號(步驟S14)。若不滿足產(chǎn)生觸發(fā)信號的條件(在步驟S12中為NO的情況下)，則跳過步驟S14的處理。

響應(yīng)觸發(fā)信號的產(chǎn)生，模擬裝置100(視覺傳感器模擬器150)讀取預(yù)先獲取的圖像數(shù)據(jù)群中的對象的圖像數(shù)據(jù)(步驟S100)，執(zhí)行圖像測量處理(步驟S102)。模擬裝置100(視覺傳感器模擬器150)在執(zhí)行圖像測量處理后，輸出測量結(jié)果(步驟S104)。所述步驟S100～S106的處理和控制模擬器160中的處理獨立地執(zhí)行。

接著，模擬裝置100(控制模擬器160)判斷圖像測量處理的測量結(jié)果是否被更新(步驟S16)。即，判斷是否從視覺傳感器模擬器150接收了新的測量結(jié)果。若圖像測量處理的測量結(jié)果被更新(在步驟S16中為YES的情況下)，則模擬裝置100(控制模擬器160)基于該更新的圖像測量處理的測量結(jié)果執(zhí)行控制運算(步驟S18)。若圖像測量處理的測量結(jié)果未被更新(在步驟S16中為NO的情況下)，則跳過步驟S18的處理。

模擬裝置100(控制模擬器160)將由該控制運算的執(zhí)行所計算出的各個值與時間信息即編碼值相關(guān)聯(lián)地存儲(步驟S20)。

模擬裝置100判斷預(yù)先設(shè)定的模擬期間是否已滿(步驟S22)。若預(yù)先設(shè)定的模擬期間未滿(在步驟S22中為NO的情況下)，則反復(fù)進行步驟S10以下的處理。

相對于此，若預(yù)先設(shè)定的模擬期間已滿(在步驟S22中為YES的情況下)，則模擬裝置100使用在步驟S20中依次存儲的跟蹤數(shù)據(jù)再現(xiàn)系統(tǒng)模型的動作(步驟S24)。

模擬裝置100根據(jù)用戶操作來變更在再現(xiàn)系統(tǒng)模型的動作時所使用的工件的顯示方式的設(shè)定(在步驟S26中為YES的情況下)，并按照設(shè)定的工件的顯示方式再現(xiàn)系統(tǒng)模型的動作(步驟S24)。

另外，模擬裝置100能夠根據(jù)用戶操作，合適地變更再現(xiàn)的系統(tǒng)模型的動作的時間間隔以及更新間隔等。

通過上面那樣的處理順序，能夠事前評價系統(tǒng)模型中的處理能力(生產(chǎn)節(jié)拍等)以及處理精度等。

<E.圖像測量處理>

接著，在本實施方式的模擬裝置中假想的圖像測量處理包括從輸入圖像搜索與預(yù)先設(shè)定的一個或多個參照信息相對應(yīng)的部分的處理。對這樣的圖像測量處理的一個例子進行說明。但是，作為圖像測量處理并不限定于下面所例示的處理，能夠使用各種各樣的圖像測量處理。

圖7是用于說明本實施方式的模擬裝置100中的圖像測量處理的一個例子的示意圖。圖7A表示適用于判斷工件的類別的處理，圖7B表示適用于判斷工件的良否的處理。

參照圖7A，例如，作為預(yù)先設(shè)定的參照信息，登錄將想要識別的各工件作為被攝物體所拍攝的多個模型圖像，并依次計算出依次拍攝運送路徑上的工件所得的輸入圖像與該登錄的多個模型圖像之間的對應(yīng)程度(典型地，為相關(guān)值)。并且，從與計算出的與各個模型圖像之間的相關(guān)值中的超過預(yù)先設(shè)定的閾值且確定為最高的相關(guān)值相對應(yīng)的模型圖像來確定工件的類別。

這樣，工件的類別包括表示預(yù)先設(shè)定的多個模型圖像(參照信息)中的與工件的對應(yīng)程度最確切的信息。此外，作為參照信息，可以使用拍攝樣品工件所得的輸入圖像，也可以使用從輸入圖像提取特征量(例如，邊緣量等)的特征圖像。

通過采用這樣的圖像測量處理，即使是在傳送帶上摻雜多個類別的工件被運送的系統(tǒng)，也能夠判別各工件是哪個類別。

參照圖7B，例如，作為預(yù)先設(shè)定的參照信息，登錄將合格品的工件作為被攝物體所拍攝的模型圖像，并計算出依次拍攝運送路徑上的工件所得的輸入圖像與該預(yù)先登錄的多個模型圖像之間的對應(yīng)程度(典型地，為相關(guān)值)。并且，若計算出的與各個模型圖像之間的相關(guān)值超過預(yù)先設(shè)定的閾值，則能夠判斷為對象的工件為合格品，若計算出的與各個模型圖像之間的相關(guān)值未超過預(yù)先設(shè)定的閾值，則能夠判斷為對象的工件為不合格品。

這樣，工件的類別包括工件與預(yù)先設(shè)定的模型圖像(參照信息)之間的對應(yīng)程度是否滿足預(yù)先設(shè)定的條件的信息。此外，作為參照信息，可以使用拍攝樣品工件所得的輸入圖像，也可以使用從輸入圖像提取特征量(例如，邊緣量等)的特征圖像。

通過采用這樣的圖像測量處理，在傳送帶上運送多個工件的系統(tǒng)中，能夠進行針對各工件的合格品判斷。

圖8是用于說明本實施方式的模擬裝置100中的圖像測量處理的測量結(jié)果的內(nèi)容的示意圖。圖8是表示使用預(yù)先設(shè)定的模型圖像與輸入圖像的圖像匹配的例子。

在圖8中，判斷為輸入圖像內(nèi)的對象與模型圖像相對應(yīng)，作為測量結(jié)果，輸出(x，y，θ，類別/良否/相關(guān)值)。即，典型地，圖像測量處理的測量結(jié)果包括：(1)表示輸入圖像內(nèi)的被搜索的部分(對象)的中心位置的坐標(biāo)值(x，y)、(2)輸入圖像內(nèi)的被搜索的部分與模型圖像的旋轉(zhuǎn)角θ、(3)輸入圖像內(nèi)匹配的模型圖像的類別。旋轉(zhuǎn)角θ相當(dāng)于包含于輸入圖像的與任一模型圖像(參照信息)相對應(yīng)的部分的旋轉(zhuǎn)角。

如上所述，取代表示工件與任一模型圖像是否一致的類別，也可以包括與規(guī)定的模型圖像的對應(yīng)程度是否(良否)滿足預(yù)先設(shè)定的條件(閾值)或表示與規(guī)定的模型圖像的對應(yīng)程度的值(相關(guān)值)。

模擬控制裝置200中的處理的控制模擬器160(參照圖4以及圖5)在將來自模擬視覺傳感器220中的處理的視覺傳感器模擬器150(參照圖4以及圖5)的圖8所示的測量結(jié)果變換為系統(tǒng)模型中的坐標(biāo)系的坐標(biāo)的基礎(chǔ)上，生成控制指令。此時，基于各工件的被檢測出的旋轉(zhuǎn)角，也生成用于實施必要的處理(例如，用于使各工件的朝向?qū)R的處理)的控制指令。

<F.模擬結(jié)果的再現(xiàn)中的工件的顯示位置>

接著，對再現(xiàn)本實施方式的模擬裝置100的系統(tǒng)模型的動作時的工件位置的計算處理進行說明。具體地說，模擬裝置100(再現(xiàn)模塊170)基于表示運送工件的傳送帶的位置或位移的信息，依次更新三維假想空間內(nèi)的工件的顯示位置。

如參照圖8的說明，圖像測量處理的測量結(jié)果包括表示輸入圖像內(nèi)的被搜索的部分(對象)的中心位置的坐標(biāo)值(x，y)。該坐標(biāo)值(x，y)是圖像測量處理所使用的局部坐標(biāo)系的值，需要變換為三維假想空間內(nèi)的坐標(biāo)值。

具體地說，模擬裝置100使用用于將圖像測量處理所使用的輸入圖像所設(shè)定的攝像頭坐標(biāo)系的坐標(biāo)(x，y)變換為定義三維假想空間的世界坐標(biāo)系的坐標(biāo)(X，Y)的變換系數(shù)A～F，以如下方式從由視覺傳感器模擬器150檢測出的工件的坐標(biāo)值(x，y)計算出輸入至控制模擬器160時的初始顯示位置。

工件的初始顯示位置X0＝A×x+B×y+C

工件的初始顯示位置X0＝D×x+E×y+F

編碼值的位移量Et中的工件的顯示位置能夠使用編碼值的每個脈沖的傳送帶的X軸方向的移動量Xd以及Y軸方向的移動量Yd，以下如下方式計算出。

工件的顯示位置(X)＝Xd×Et+X0

工件的顯示位置(Y)＝Y(jié)d×Et+Y0

此外，在使用編碼值的絕對值的情況下，也能夠?qū)⒕喔鞴ぜ怀跏硷@示的時刻的編碼值的偏差適用于上面的計算式。

模擬裝置100按照這樣的計算式依次更新各工件的顯示位置。

<G.模擬結(jié)果的視覺化>

接著，對使本實施方式的模擬裝置100的系統(tǒng)模型的動作視覺化的處理進行說明。在本實施方式中，由圖像測量處理所搜索的關(guān)于工件的類別以及該工件的朝向的信息和該工件的動作一同在系統(tǒng)模型上再現(xiàn)。

圖9是表示本實施方式的模擬裝置100提供的再現(xiàn)模擬結(jié)果的用戶界面畫面的一個例子的圖。就圖9所示的用戶界面畫面而言，能夠從任意的方向渲染三維假想空間內(nèi)的對象。即，用戶界面畫面所描繪的視點可以由用戶任意地變更。

在圖9所示的系統(tǒng)模型中，運送被夾持(拾取)的工件的傳送帶230和運送被配置(放置)的工件的傳送帶240并列配置。并且，配置兩個機械手311以及313，所述機械手311以及313與傳送帶230以及傳送帶240相對應(yīng)。在該系統(tǒng)模型中，工件232被傳送帶230從紙面左側(cè)向紙面右側(cè)運送。若工件232到達預(yù)先設(shè)定的跟蹤區(qū)域231或跟蹤區(qū)域233，則各個機械手311或機械手313夾持已到達的工件232，并將該工件配置(放置)于傳送帶240。機械手311以及機械手313分別將工件232配置于設(shè)定的跟蹤區(qū)域235以及237，所述跟蹤區(qū)域235以及237與傳送帶240相關(guān)聯(lián)。傳送帶230運送的工件232朝向隨機方向，但在配置于傳送帶240的情況下，使所述工件232在預(yù)定的方向上對齊。

另外，作為應(yīng)用系統(tǒng)的一個例子，在傳送帶230上存在至少兩個種類的工件232。機械手311控制為拾取和放置某個規(guī)定的類別的工件，機械手313控制為拾取和放置另一類別的工件。也存在工件的形狀因類別而不同的情況，在這樣的情況下，優(yōu)選專用安裝有分別適用于各類別的工件的機械手工具的機械手。

對各個工件232賦予關(guān)于工件的類別以及工件的朝向的信息。

在圖9所示的用戶界面畫面中，工件232的類別能夠使用賦予工件232的外觀的顏色來識別。即，賦予機械手311拾取和放置的工件232的外觀的顏色和賦予機械手313拾取和放置的工件232的外觀的顏色相互不同。如上所述，工件的類別除了表示對象的工件與任一模型圖像是否相對應(yīng)的信息以外，還存在表示工件的良否的情況。在該情況下，例如，在判斷為合格品的工件和判斷為不合格品的工件之間，也可以使賦予外觀的顏色不同。

另外，作為關(guān)于工件232的朝向的信息，表示包含于測量結(jié)果的旋轉(zhuǎn)角的兩個坐標(biāo)軸320被賦予工件232。坐標(biāo)軸320表示以在設(shè)定于傳送帶230的一部分的拍攝區(qū)域221所設(shè)定的坐標(biāo)原點為基準(zhǔn)的由圖像測量處理所測量的工件232的旋轉(zhuǎn)角。即，使上述的圖8所示的旋轉(zhuǎn)角θ變換為定義系統(tǒng)模型的坐標(biāo)系來表示，相當(dāng)于一種局部坐標(biāo)。

通過使用這樣的坐標(biāo)軸320來表示工件232的朝向，用戶能夠評價控制機械手的控制程序是否正確地運行。另外，通過使用坐標(biāo)軸320來表示工件232的朝向，能夠表示360°范圍的旋轉(zhuǎn)，因此，能夠可識別地表示例如立方體形狀的工件232與模型圖像的朝向是否一致(旋轉(zhuǎn)角＝0°)或者是否完全反轉(zhuǎn)(旋轉(zhuǎn)角＝180°)。

在圖9所示的用戶界面畫面中，基于兩個機械手311以及313的設(shè)計信息等，也可以一并顯示機械手311以及313自身可移動的移動區(qū)域312以及314。通過顯示這樣的移動區(qū)域312以及314，就相鄰配置的機械手之間的間隔而言，能夠事前檢討最合適的設(shè)計。

而且，由于也顯示在傳送帶230上設(shè)定的追蹤區(qū)域231以及233和在傳送帶240上設(shè)定的追蹤區(qū)域235以及237，因此，能夠視覺地掌握機械手311以及313的可移動區(qū)域(能夠夾持和配置工件的范圍)。

在圖9所示的用戶界面畫面中，在再現(xiàn)工件的動作的情況下，在利用視覺傳感器模擬器150測量任一工件的時刻(使用表示模擬中所用的傳送帶230的移動量的編碼值進行確定)使工件出現(xiàn)，并且伴隨著編碼值的更新(增加)，更新出現(xiàn)的工件的顯示位置。并且，就由機械手夾持而配置于傳送帶240的工件而言，基于表示傳送帶240的移動量的編碼值依次更新該工件的顯示位置。若變?yōu)楣ぜ娘@示位置表示傳送帶240的區(qū)域外的值，即到傳送帶240的終端，則不顯示該工件。

在上述的圖9中，對再現(xiàn)本實施方式的模擬的用戶界面畫面的一個例子進行了說明，但就關(guān)于工件的類別以及該工件的朝向的信息的顯示方式而言，如下面的說明，能夠采用各種顯示方式以及設(shè)定方法。

(g1：工件的類別的顯示方式)

本實施方式的模擬裝置100(再現(xiàn)模塊170)針對工件的每個類別，使顏色、形狀、大小中至少一個不同進行顯示。在圖9中，采用了使用顏色來識別工件的類別的顯示方式，但是，例如，除了顏色以外或取代顏色，也可以使用與各類別相對應(yīng)的形狀的對象來表示工件。

圖10是用于說明本實施方式的模擬裝置100提供的用戶設(shè)定模擬結(jié)果的顯示方式的一個例子的示意圖。例如，通過提供圖10A所示的設(shè)定畫面400，也可以任意地設(shè)定在再現(xiàn)模擬結(jié)果時所使用的工件的顯示方式。這樣，模擬裝置100也可以具有用戶界面模塊180(輸入機構(gòu))，該用戶界面模塊180接受用于工件的每個類別的顯示的顏色、形狀、大小中至少一個的設(shè)定。

在設(shè)定畫面400中設(shè)置有下拉項402，該下拉項402針對工件的每個類別設(shè)定有顯示方式，通過下拉項402的選擇，顯示出下拉菜單404。

下拉菜單404包括用于選擇顯示對象的工件時的顏色的顏色選擇框406和用于選擇顯示對象的工件時的形狀的形狀選擇框408。用戶可選擇顏色選擇框406所列出的候選顏色中的任意候選顏色，并且可選擇形狀選擇框408所列出的候選形狀中的任意候選形狀。這樣，用戶能夠針對想要再現(xiàn)動作的工件的每個類別，任意地選擇用于顯示的顏色以及形狀。

這樣，通過指定顏色以及形狀，以圖10B所示的顯示方式再現(xiàn)模擬結(jié)果。

或者，用戶也可以任意地設(shè)定工件大小。圖11是用于說明本實施方式的模擬裝置100提供的用戶設(shè)定模擬結(jié)果的顯示方式的其他例子的示意圖。在圖11所示的設(shè)定畫面410中，通過用戶選擇下拉項412，顯示出下拉菜單414。

下拉菜單414包括用于選擇表示對象的工件時的顏色的顏色選擇框416和分別能夠設(shè)定對象的工件的大小(縱向?qū)挾取M向?qū)挾?、高?的大小輸入框418。用戶可選擇顏色選擇框416所列出的候選顏色中的任意候選顏色，并且在大小輸入框418可設(shè)定用于顯示的工件的大小。

優(yōu)選地，在大小輸入框418內(nèi)直接能夠輸入實際的工件的大小。在該情況下，由于將實際的大小賦予在三維空間內(nèi)假想地構(gòu)筑的系統(tǒng)模型，因此，按照由系統(tǒng)模型的大小所計算出的換算參數(shù)，針對工件也以相對應(yīng)的大小來表示。

這樣，由于能夠任意地設(shè)定工件的大小，因此，根據(jù)模擬對象的應(yīng)用系統(tǒng)，能夠以更接近實際的方式確認(rèn)模擬結(jié)果。

而且，用戶也可以任意地設(shè)定用于工件的再現(xiàn)的圖像。圖12是用于說明本實施方式的模擬裝置100提供的用戶設(shè)定模擬結(jié)果的顯示方式的另一其他例子的示意圖。在圖12所示的設(shè)定畫面420中，通過用戶選擇設(shè)定按鈕422來顯示圖像選擇菜單424。

圖像選擇菜單424將在顯示對象的工件時使用的圖像和文件名426一起列表顯示，用戶可選擇列出的文件名426中的任意圖像文件。若用戶選擇OK按鈕428，則使已選擇的圖像文件的選擇有效化。由此，各類別的工件使用包含于被指定的圖像文件的圖像進行再現(xiàn)。

這樣，由于能夠任意地設(shè)定用于工件的顯示的圖像，因此，根據(jù)模擬對象的應(yīng)用系統(tǒng)，能夠以更接近實際的方式確認(rèn)模擬結(jié)果。

此外，在模擬結(jié)果的再現(xiàn)中，優(yōu)選一看就能夠掌握賦予各工件的表示類別的信息是表示哪個類別。

圖13是表示本實施方式的模擬裝置100提供的在模擬結(jié)果中用于支援類別的確認(rèn)的用戶界面畫面的一個例子的圖。

在圖13A所示的用戶界面畫面中，一并顯示表示賦予工件232的顏色意味著哪個類別的凡例340。用戶通過參照凡例340所顯示的內(nèi)容，一看就能夠掌握工件232是哪個類別。

在圖13B所示的用戶界面畫面中，對各工件232賦予“類別1”、“類別2”這樣的標(biāo)簽342，所述“類別1”、“類別2”與各工件相關(guān)聯(lián)。用戶通過參照標(biāo)簽342的內(nèi)容，一看就能夠掌握工件232是哪個類別。

并不限定于圖13所示的顯示例，也可以采用用戶一看就能夠掌握工件的類別的支援顯示。也可以將上述的顯示例中的多個合適地組合。

(g2：工件的朝向的顯示方式)

本實施方式的模擬裝置100(再現(xiàn)模塊170)基于包含于測量結(jié)果的旋轉(zhuǎn)角，生成關(guān)于工件的朝向的信息。在圖9中，作為表示工件的朝向的對象，采用了使用兩個坐標(biāo)軸320表示工件的朝向的顯示方式，但也可以采用其他顯示方式。

圖14是表示本實施方式的模擬裝置100提供的模擬結(jié)果中的工件的朝向的顯示方式的一個例子的圖。

在圖14A所示的顯示例中，表示基準(zhǔn)方向的標(biāo)記360賦予工件232。作為基準(zhǔn)方向，例如，針對相對應(yīng)的模型圖像能夠確定為旋轉(zhuǎn)角變?yōu)?的方向。參照圖8，將與預(yù)先設(shè)定的模型圖像一致的方向設(shè)定為基準(zhǔn)方向，標(biāo)記360與設(shè)定的基準(zhǔn)方向相對應(yīng)的工件232中的部分相關(guān)聯(lián)。通過這樣的標(biāo)記360，用戶一看就能夠掌握各個工件232朝向哪個方向。

在圖14B所示的顯示例中，除了坐標(biāo)軸320以外，還賦予表示工件232的旋轉(zhuǎn)角的標(biāo)簽362。各個標(biāo)簽362表示相對應(yīng)的工件232所朝方向的角度。在圖14B中示出了附加有坐標(biāo)軸320與標(biāo)簽362的顯示例，但也可以只顯示標(biāo)簽362。

這樣，也可以將表示工件的朝向的對象(坐標(biāo)軸320、標(biāo)記360或標(biāo)簽362)附加于工件來顯示。

或者，也可以將用于顯示的工件的形狀與工件的朝向相關(guān)聯(lián)。圖15是表示本實施方式的模擬裝置100提供的模擬結(jié)果中的工件的朝向的顯示方式的其他例子的圖。

圖15A所示的顯示例是與工件232的基準(zhǔn)方向相對應(yīng)的區(qū)域和其他區(qū)域不同的顯示方式。更具體地說，對與工件232的基準(zhǔn)方向相對應(yīng)的區(qū)域(在圖15A所示的顯示例中為棱柱的一邊)364賦予與其他區(qū)域不同的顏色。通過該區(qū)域364的顯示方式，用戶一看就能夠掌握各個工件232朝向哪個方向。

在圖15A中，使棱柱的一邊的顯示方式與其他區(qū)域不同，但并不限定于此，例如，也可以是棱柱的規(guī)定面的顯示方式與其他區(qū)域不同。

在圖15B所示的顯示例中，與工件232的基準(zhǔn)方向?qū)?yīng)的區(qū)域的形狀與其他區(qū)域的形狀不同。更具體地說，與工件232的基準(zhǔn)方向相對應(yīng)的區(qū)域(在圖15B所示的顯示例中為棱柱的一角)366進行“倒角”。通過該區(qū)域366的形狀，用戶一看就能夠掌握各個工件232朝向哪個方向。此外，也可以使被倒角的區(qū)域366的表面的顏色與其他區(qū)域不同。

這樣，也可以對再現(xiàn)的工件的外觀附加特征(區(qū)域364或區(qū)域366)來顯示，該特征與工件的朝向相對應(yīng)。

并不限定于圖14以及圖15所示的顯示例，也可以采用用戶一看就能夠掌握工件的朝向的任意的顯示方式。也可以使上述的顯示例中的多個合適地組合。

(g3：附加的對象)

在上述的說明中，對由圖像測量處理從輸入圖像搜索的工件的顯示方式進行了說明，但通過顯示工件和附加的對象，能夠進行更接近實際的應(yīng)用系統(tǒng)的模擬。在下面，對再現(xiàn)附加的對象和模擬結(jié)果的一個例子進行說明。

例如，作為拾取和放置動作的應(yīng)用系統(tǒng)，假想裝箱操作那樣的將一個或多個工件配置于箱內(nèi)的處理。在該情況下，優(yōu)選將裝入工件的箱子顯示在三維假想空間內(nèi)。而且，就這樣的箱子而言，由于被傳送帶運送，因此，通過使這樣的動作視覺化，能夠事前評價傳送帶以及機械手是否按照設(shè)計進行動作。

圖16是表示本實施方式的模擬裝置100提供的再現(xiàn)模擬結(jié)果的用戶界面畫面的其他例子的圖。參照圖16，在傳送帶240上沿著用戶預(yù)先設(shè)定的間隔顯示多條基準(zhǔn)線260。顯示的基準(zhǔn)線260的間隔基于例如要求的標(biāo)準(zhǔn)(生產(chǎn)節(jié)拍等)被預(yù)先設(shè)定。基于該設(shè)定，在再現(xiàn)模擬結(jié)果時，在傳送帶240上重疊顯示基準(zhǔn)線260。

例如，在拾取和放置動作中，基準(zhǔn)線260能夠用于表示確定工件的配置位置的基準(zhǔn)。用戶能夠評價傳送帶240上的各工件232是否正確地配置在與基準(zhǔn)線260相對應(yīng)的位置。

也可以代替基準(zhǔn)線260或?qū)⒒鶞?zhǔn)線260和相當(dāng)于在實際的應(yīng)用系統(tǒng)所使用的箱子的對象250一起顯示。就對象250的顯示位置或顯示間隔而言，與基準(zhǔn)線260相同，用戶也能夠預(yù)先設(shè)定。而且，就對象250的形狀等而言，用戶也能夠預(yù)先任意地設(shè)定。與參照上述的圖10～圖12說明的工件的外觀的設(shè)定方法相同，也能夠?qū)ο?50設(shè)定任意的形狀、顏色、大小。而且，也可以利用透明或半透明的方式來顯示對象250，使得用戶一看就能夠掌握對象250與工件232之間的位置關(guān)系。

如圖16所示，通過假想地顯示工件232和附加的對象250和/或基準(zhǔn)線260，能夠視覺地評價針對工件的處理是否按設(shè)計進行動作。

<H.變形例>

在上述的實施方式中，作為典型例，例示了將在運送路徑上被運送的對象物作為對象的情況，但也能夠適用于下面那樣的其他系統(tǒng)。

例如，在對工件進行多個工序的情況下，采用多個機械手并排聯(lián)合來進行必要的動作的結(jié)構(gòu)或人與機械手聯(lián)合來進行必要的動作的結(jié)構(gòu)。在這樣的結(jié)構(gòu)中，為了在工序間交接工件，在工序的上游側(cè)的機械手或人與工序的下游側(cè)的機械手之間，設(shè)置有共同操作區(qū)域。在共同操作區(qū)域不是傳送帶那樣的運送機，而是只具有緩沖工件的功能。就在這樣的共同操作區(qū)域設(shè)定視覺傳感器的拍攝區(qū)域的系統(tǒng)而言，通過按照上述那樣的處理順序在三維假想空間內(nèi)假想地構(gòu)筑對象的系統(tǒng)，能夠視覺地評價針對工件的處理是否按設(shè)計進行動作。

<I.利點>

根據(jù)本實施方式的模擬裝置100，就處理工件的系統(tǒng)而言，既能夠按照控制指令確認(rèn)機械手等的處理裝置處理的工件的位置以及朝向，又能夠評價系統(tǒng)的整體的動作，因此，一看就能夠掌握檢討對象的系統(tǒng)的有效性。

本次公開的實施方式在所有方面均為例示，并不用于限制。本發(fā)明的范圍不是由上述說明而是由權(quán)利要求的范圍示出，旨在包含與權(quán)利要求的范圍均等的含義以及范圍內(nèi)的全部變更。