專利名稱：用戶支援裝置及程序和圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及輸送機(jī)跟蹤等適用于圖像處理系統(tǒng)的用戶支援裝置及其程序和圖像
處理裝置。
背景技術(shù)：
在工廠自動(dòng)化(FA)領(lǐng)域中，為了節(jié)省勞力，多利用通過圖像處理來控制各種工序的技術(shù)。作為這樣的圖像處理技術(shù)的適用例 ，存在如下的操作工序利用帶式輸送機(jī)等搬運(yùn)裝置搬運(yùn)工件，并利用移動(dòng)機(jī)械(以下稱之為“產(chǎn)業(yè)用機(jī)械手”，或簡(jiǎn)稱為“機(jī)械手”)對(duì)搬運(yùn)中的該工件進(jìn)行追蹤(跟蹤)和把持。將這樣的操作工序稱為輸送機(jī)跟蹤等。在該輸送機(jī)跟蹤技術(shù)中，利用拍攝裝置對(duì)搬運(yùn)裝置上的工件進(jìn)行拍攝，并利用圖像處理裝置對(duì)通過攝像得到的其圖像進(jìn)行圖案匹配或二值化處理等計(jì)測(cè)處理，由此確定各工件的存在位置(坐標(biāo)值)。然后，機(jī)械手基于所確定的各工件的該存在位置(坐標(biāo)值)，對(duì)各工件進(jìn)行追蹤和把持。例如，專利文獻(xiàn)I (JP特開2002-113679號(hào)公報(bào))中公開了如下的跟蹤方法對(duì)由搬運(yùn)體搬運(yùn)的多個(gè)工件進(jìn)行拍攝，并基于根據(jù)該拍攝結(jié)果識(shí)別出的各工件的位置坐標(biāo)，對(duì)多個(gè)工件的處理操作(handling)進(jìn)行控制。更具體地講，在專利文獻(xiàn)I中記載的跟蹤方法采用了如下方法通過拍攝單元連續(xù)進(jìn)行拍攝，并使拍攝單元的拍攝區(qū)域和與該拍攝區(qū)域緊接著的下一個(gè)拍攝區(qū)域以能夠包括工件的全體形狀的規(guī)定寬度在前進(jìn)方向上重疊，而且，只對(duì)全體形狀包括在拍攝區(qū)域內(nèi)的工件進(jìn)行位置坐標(biāo)的識(shí)別。S卩，在專利文獻(xiàn)I所記載的跟蹤方法中，每隔輸送機(jī)移動(dòng)了規(guī)定量都進(jìn)行拍攝。此時(shí)，將拍攝時(shí)刻(觸發(fā)間隔)設(shè)定為，使彼此連續(xù)的拍攝范圍的重疊范圍大于等于一個(gè)工件的尺寸且小于拍攝頭視場(chǎng)的一半，以免發(fā)生對(duì)象工件的拍攝/計(jì)測(cè)的遺漏。現(xiàn)有技術(shù)文獻(xiàn)(專利文獻(xiàn))專利文獻(xiàn)I JP特開2002-113679號(hào)公報(bào)通常，在多數(shù)情況下，需要根據(jù)不同的生產(chǎn)流水線等來對(duì)彼此連續(xù)的拍攝范圍的重疊范圍進(jìn)行調(diào)整。然而，關(guān)于該拍攝范圍的調(diào)整方法，在專利文獻(xiàn)I所記載的跟蹤方法中根本沒有提及。例如，在工件如食品等那樣具有不確定形狀的情況下，存在如下問題由于很難正確地把握工件尺寸(工件的大小)，因此對(duì)拍攝范圍的重疊范圍(即，拍攝時(shí)刻)的調(diào)整費(fèi)
時(shí)費(fèi)事。進(jìn)而，根據(jù)圖像處理裝置所采用的計(jì)測(cè)處理方法，需設(shè)定為重疊范圍的最小值有時(shí)會(huì)大于工件尺寸。例如，在利用與事先登記的模型(model)的匹配處理來檢測(cè)工件的位置的情況下，需設(shè)定為重疊范圍的最小值應(yīng)該是需登記為模型的區(qū)域的外接矩形(在模型旋轉(zhuǎn)的情況下為外接矩形的對(duì)角線)。否則，會(huì)發(fā)生不能正確計(jì)測(cè)工件的情況
發(fā)明內(nèi)容
于是，本發(fā)明是為了解決如上所述的問題而做出的，其目的在于，提供一種用戶在如上所述的輸送機(jī)跟蹤等圖像處理系統(tǒng)中能夠容易地設(shè)定拍攝部進(jìn)行拍攝所需的拍攝開始條件的用戶支援裝置、用于實(shí)現(xiàn)該功能的程序以及具有該功能的圖像處理裝置。根據(jù)本發(fā)明的一個(gè)方面，提供一種適用于圖像處理系統(tǒng)的用戶支援裝置。圖像處理系統(tǒng)具有拍攝部，其配置成能夠拍攝被搬運(yùn)裝置搬運(yùn)的工件；圖像處理裝置，其連接于拍攝部。用戶支援裝置具有顯示單元，其用于顯示拍攝部拍攝得到的圖像；重疊范圍決定單元，其針對(duì)顯示在顯示單元上的圖像，決定拍攝范圍之間的重疊范圍；攝開始條件決定單元，其利用拍攝部的拍攝范圍和搬運(yùn)裝置的屬性直接的關(guān)系，根據(jù)所決定的重疊范圍的大小，來決定由搬運(yùn)裝置的移動(dòng)量定義的拍攝部的拍攝開始條件。優(yōu)選地，還具有變更單元，該變更單元響應(yīng)于用戶的操作而變更所決定的拍攝開始條件。優(yōu)選地，用戶支援裝置還具有計(jì)測(cè)單元，該 計(jì)測(cè)單元對(duì)拍攝部拍攝得到的圖像進(jìn)行計(jì)測(cè)處理。重疊范圍決定單元根據(jù)通過計(jì)測(cè)處理檢測(cè)到的范圍來決定重疊范圍?；蛘?優(yōu)選地,重疊范圍決定單元針對(duì)顯示在顯示單元上的圖像，響應(yīng)于對(duì)需檢測(cè)的區(qū)域的指定而決定重置范圍?；蛘撸瑑?yōu)選地，重疊范圍決定單元以至少包括用于表示需檢測(cè)的工件的區(qū)域的方式?jīng)Q定重疊范圍。進(jìn)而，優(yōu)選地，重疊范圍決定單元以比用于表示需檢測(cè)的工件的區(qū)域的對(duì)角線更長(zhǎng)的方式?jīng)Q定重疊范圍。或者，優(yōu)選地，重疊范圍決定單元具有將作為一連串拍攝的對(duì)象的多個(gè)拍攝范圍，和與被搬運(yùn)裝置搬運(yùn)的工件對(duì)應(yīng)的范圍一起同時(shí)顯示的單元；響應(yīng)于用戶對(duì)所顯示的多個(gè)拍攝范圍的操作而決定重疊范圍的單元。優(yōu)選地，用戶支援裝置還具有如下單元，S卩，根據(jù)拍攝開始條件和圖像處理裝置的計(jì)測(cè)處理時(shí)間之間的關(guān)系，來決定搬運(yùn)裝置的容許搬運(yùn)速度的單元。優(yōu)選地，用戶支援裝置還具有如下單元，S卩，根據(jù)拍攝開始條件和圖像處理裝置的計(jì)測(cè)處理時(shí)間之間的關(guān)系，來決定搬運(yùn)裝置的容許搬運(yùn)速度的單元。根據(jù)本發(fā)明的其他方面，提供一種程序，該程序在計(jì)算機(jī)上執(zhí)行，使得該計(jì)算機(jī)發(fā)揮適用于圖像處理系統(tǒng)的用戶支援裝置的功能。圖像處理系統(tǒng)具有拍攝部，其配置成能夠拍攝被搬運(yùn)裝置搬運(yùn)的工件；圖像處理裝置，其連接于拍攝部。程序使計(jì)算機(jī)發(fā)揮以下單元的功能顯示單元，其用于顯示拍攝部拍攝得到的圖像；重疊范圍決定單元，其針對(duì)顯示在顯示單元上的圖像，決定拍攝范圍之間的重疊范圍；攝開始條件決定單元，其利用拍攝部的拍攝范圍和搬運(yùn)裝置的屬性之間的關(guān)系，根據(jù)所決定的重疊范圍的大小來決定由搬運(yùn)裝置的移動(dòng)量定義的拍攝部的拍攝開始條件。根據(jù)本發(fā)明的又一個(gè)方面，提供一種圖像處理裝置，其連接于拍攝部，該拍攝部配置成能夠拍攝被搬運(yùn)裝置搬運(yùn)的工件。圖像處理裝置具有顯示單元，其用于顯示拍攝部拍攝得到的圖像；重疊范圍決定單元，其針對(duì)顯示在顯示單元上的圖像，決定拍攝范圍之間的重疊范圍；攝開始條件決定單元，其利用拍攝部的拍攝范圍和搬運(yùn)裝置的屬性之間的關(guān)系，根據(jù)所決定的重疊范圍的大小，來決定由搬運(yùn)裝置的移動(dòng)量定義的拍攝部的拍攝開始條件。
如果根據(jù)本發(fā)明，則用戶在輸送機(jī)跟蹤等圖像處理系統(tǒng)中能夠容易地設(shè)定拍攝部進(jìn)行拍攝所需的拍攝開始條件。


圖I是表示利用了本發(fā)明實(shí)施方式的視覺傳感器的輸送機(jī)跟蹤系統(tǒng)的結(jié)構(gòu)的示意圖。圖2是用于說明利用了本發(fā)明實(shí)施方式的視覺傳感器的輸送機(jī)跟蹤系統(tǒng)的定位以及跟蹤處理的圖。
圖3是表示利用了本發(fā)明實(shí)施方式的視覺傳感器的輸送機(jī)跟蹤系統(tǒng)的硬件結(jié)構(gòu)的示意圖。圖4A、圖4B是用于說明本發(fā)明實(shí)施方式的視覺傳感器的拍攝范圍的圖。圖5是表示能夠與本發(fā)明實(shí)施方式的視覺傳感器相連接的輔助裝置的硬件結(jié)構(gòu)的示意圖。圖6是用于說明本發(fā)明實(shí)施方式的校準(zhǔn)處理的圖。圖7是表示通過圖6所示的校準(zhǔn)處理來得到的參數(shù)組的一例的圖。圖8是用于說明本發(fā)明實(shí)施方式的校準(zhǔn)處理的步驟的圖。圖9是用于說明本發(fā)明實(shí)施方式的校準(zhǔn)處理的步驟的圖。圖10是用于說明本發(fā)明實(shí)施方式的校準(zhǔn)處理的步驟的圖。圖IlA 圖IlC是表示本發(fā)明第一實(shí)施方式的用戶界面的一例的圖。圖12A 圖12C是表示本發(fā)明第一實(shí)施方式的用戶界面的一例的圖。圖13是表示本發(fā)明第一實(shí)施方式的拍攝開始條件的設(shè)定處理的步驟的流程圖。圖14是表示本發(fā)明第二實(shí)施方式的用戶界面的圖。圖15是表示本發(fā)明第二實(shí)施方式的拍攝開始條件的設(shè)定處理的步驟的流程圖。圖16A、圖16B是表示本發(fā)明第二實(shí)施方式的用戶界面的另一例的圖。圖17A 圖17C是表不本發(fā)明第三實(shí)施方式的用戶界面的一例的圖。圖18A、圖18B是用于說明與圖17A 圖17C對(duì)應(yīng)的工件的配置狀態(tài)的圖。圖19是表示在利用了本發(fā)明實(shí)施方式的視覺傳感器的輸送機(jī)跟蹤系統(tǒng)中決定搬運(yùn)速度的上限值的步驟的流程圖。圖20是表示利用了本發(fā)明實(shí)施方式的視覺傳感器的輸送機(jī)跟蹤系統(tǒng)中的控制動(dòng)作的時(shí)序圖。圖21A 圖21D是表示本發(fā)明實(shí)施方式的機(jī)械手控制裝置的處理的流程圖。
具體實(shí)施例方式參照附圖，對(duì)本發(fā)明實(shí)施方式進(jìn)行詳細(xì)說明。而且，對(duì)附圖中的同一個(gè)部分或者相當(dāng)部分，標(biāo)注相同的附圖標(biāo)記并不再重復(fù)其說明。<A.系統(tǒng)結(jié)構(gòu)>圖I是表示利用了本發(fā)明實(shí)施方式的視覺傳感器100的輸送機(jī)跟蹤系統(tǒng)的結(jié)構(gòu)的示意圖。圖I所示的輸送機(jī)跟蹤系統(tǒng)包括兩個(gè)搬運(yùn)裝置(輸送機(jī))10和20。輸送機(jī)10和20分別借助驅(qū)動(dòng)輥12和22來旋轉(zhuǎn)驅(qū)動(dòng)。下面，將輸送機(jī)10和20分別稱為流水線I和流水線2。在圖I所示的例子中，流水線I向紙面右側(cè)移動(dòng)，流水線2向紙面左側(cè)移動(dòng)。工件W通過搬出裝置30等從紙面左側(cè)隨機(jī)地被提供至流水線I上。該流水線I上的工件W從紙面左側(cè)向紙面右側(cè)移動(dòng)。典型的工件W可以是點(diǎn)心等食品或各種片劑等。本實(shí)施方式的視覺傳感器100設(shè)置在流水線I上的規(guī)定位置。如后所述，視覺傳感器100是一體構(gòu)成拍攝部和圖像處理部的傳感器，該拍攝部用于拍攝工件等被拍攝物，該圖像處理部用于處理由該拍攝部拍攝得到的圖像。但是，也可以分體構(gòu)成拍攝部和圖像處理部。視覺傳感器100設(shè)定成其拍攝范圍包括流水線I的整個(gè)寬度方向(與搬運(yùn)方向垂直的方向)。而且，視覺傳感器100按照規(guī)定的拍攝開始條件進(jìn)行拍攝，由此能夠?qū)υ诹魉€I上隨機(jī)流動(dòng)的工件W順次進(jìn)行拍攝。視覺傳感器100對(duì)順次拍攝得到的該圖像進(jìn)行計(jì)測(cè)處理如圖案匹配、二值化處理，由此對(duì)各工 件進(jìn)行定位及跟蹤處理。這樣，視覺傳感器100的拍攝部(圖3所示的拍攝部110)配置成能夠拍攝被作為搬運(yùn)裝置的輸送機(jī)10搬運(yùn)的工件W。而且，該拍攝部與圖像處理裝置(圖3所示的圖像處理部120)相連接。在流水線I的搬運(yùn)方向上的視覺傳感器100的下游側(cè)配置有機(jī)械手300，該機(jī)械手300用于把持工件W移動(dòng)至流水線2。該機(jī)械手300具有用于把持工件W的手部前端，通過使該手部前端移動(dòng)至目標(biāo)位置來把持流水線I上的工件。即，機(jī)械手300在作為搬運(yùn)裝置的輸送機(jī)10 (流水線I)的搬運(yùn)路徑上，配置于視覺傳感器100的拍攝部的拍攝范圍的下游偵牝而且該機(jī)械手300相當(dāng)于對(duì)工件W進(jìn)行處理操作的移動(dòng)機(jī)械。更具體地講，機(jī)械手300將其手部前端定位于作為目標(biāo)的工件W，并拾取該工件W后排列在流水線2上。進(jìn)而，機(jī)械手300配置在沿著流水線I移動(dòng)的移動(dòng)機(jī)構(gòu)400 (參照?qǐng)D2)上，所以能夠在規(guī)定的工作范圍內(nèi)移動(dòng)。該機(jī)械手300的工作范圍也稱之為跟蹤范圍。關(guān)于機(jī)械手300的跟蹤處理以及定位處理，利用設(shè)置于流水線I的編碼器14的檢測(cè)結(jié)果來進(jìn)行控制。典型的該編碼器14采用回轉(zhuǎn)式編碼器，伴隨著旋轉(zhuǎn)而產(chǎn)生脈沖信號(hào)。通過對(duì)所產(chǎn)生的脈沖信號(hào)的脈沖數(shù)進(jìn)行計(jì)數(shù)，能夠得到與輸送機(jī)10 (流水線I)相連結(jié)的輥?zhàn)拥霓D(zhuǎn)數(shù)，即，編碼器14所產(chǎn)生的脈沖信號(hào)相當(dāng)于表示作為搬運(yùn)裝置的輸送機(jī)10的搬運(yùn)路徑上的移動(dòng)量的信號(hào)，所以基于該脈沖信號(hào)，能夠計(jì)算輸送機(jī)10的移動(dòng)量。機(jī)械手300按照來自機(jī)械手控制裝置200的指示來進(jìn)行動(dòng)作。即，機(jī)械手控制裝置200是用于控制作為移動(dòng)機(jī)械的機(jī)械手300的控制裝置。機(jī)械手控制裝置200經(jīng)由網(wǎng)絡(luò)NW與視覺傳感器100相連接，基于由視覺傳感器100檢測(cè)到的各工件W的位置，對(duì)機(jī)械手300發(fā)出把持工件W的把持動(dòng)作所需要的指示。機(jī)械手控制裝置200與用于對(duì)機(jī)械手300進(jìn)行校準(zhǔn)等的示教盒(teachingpendant) 2100相連接。用戶通過對(duì)示教盒2100進(jìn)行操作，來將機(jī)械手300移動(dòng)至校準(zhǔn)等所
需的位置。網(wǎng)絡(luò)NW除了與視覺傳感器100以及機(jī)械手控制裝置200相連接之外，還可以與操作顯示裝置500以及輔助裝置600相連接。操作顯示裝置500顯示來自視覺傳感器100的處理結(jié)果和來自機(jī)械手控制裝置200的機(jī)械手300的動(dòng)作狀態(tài)等，并響應(yīng)于用戶所作出的操作，向視覺傳感器100以及/或者機(jī)械手控制裝置200發(fā)出各種指示。在圖I所示的輸送機(jī)跟蹤系統(tǒng)中，當(dāng)以使拍攝范圍重疊的方式進(jìn)行拍攝時(shí)，有時(shí)同一個(gè)工件會(huì)重復(fù)拍攝。在這樣的情況下，會(huì)重復(fù)檢測(cè)到同一個(gè)工件。因此，應(yīng)該具有重復(fù)排除功能，該重復(fù)排除功能是指，每當(dāng)檢測(cè)到工件的位置坐標(biāo)時(shí)，核對(duì)該工件的位置坐標(biāo)是否與在先檢測(cè)到的工件的位置坐標(biāo)重復(fù)，并刪除重復(fù)的檢測(cè)結(jié)果的功能。優(yōu)選地，視覺傳感器100以及/或者機(jī)械手控制裝置200具有該重復(fù)排除功能?！碆.定位以及跟蹤處理〉接下來，對(duì)圖I所示的輸送機(jī)系統(tǒng)的定位以及跟蹤處理進(jìn)行詳細(xì)說明。圖2是用于說明利用了本發(fā)明實(shí)施方式的視覺傳感器100的輸送機(jī)跟蹤系統(tǒng)的定位以及跟蹤處理的圖。參照?qǐng)D2，視覺傳感器100使用內(nèi)置的拍攝部來對(duì)流水線I進(jìn)行拍攝。視覺傳感器100響應(yīng)于視覺傳感器100發(fā)出的拍攝指示或者機(jī)械手控制裝置200發(fā)出的拍攝指示，來開始進(jìn)行拍攝動(dòng)作。本實(shí)施方式的輸送機(jī)跟蹤系統(tǒng)具有用于更容易地決定為發(fā)出該拍攝指示所需的拍攝開始條件(典型地，如后所述，通過輸送機(jī)的移動(dòng)量來定義的拍攝周期)的支援邏輯。
在機(jī)械手控制裝置200發(fā)出了拍攝指示的情況下，拍攝指示經(jīng)由用于連接視覺傳感器100和機(jī)械手控制裝置200的網(wǎng)絡(luò)NW被傳輸。典型的該網(wǎng)絡(luò)NW可以采用以太網(wǎng)(注冊(cè)商標(biāo))等通用的網(wǎng)絡(luò)。視覺傳感器100響應(yīng)于拍攝指示而開始進(jìn)行拍攝。由此，視覺傳感器100順次取得拍攝范圍內(nèi)的圖像。然后，視覺傳感器100對(duì)該圖像執(zhí)行計(jì)測(cè)處理(典型地，基于事先登記的工件W的模型圖像，來進(jìn)行圖案匹配處理或二值化處理)。進(jìn)而，視覺傳感器100將通過該計(jì)測(cè)處理得到的各工件W的拍攝時(shí)的位置信息(X，Y，0)發(fā)送到機(jī)械手控制裝置200。這樣，視覺傳感器100對(duì)拍攝部拍攝得到的圖像進(jìn)行計(jì)測(cè)處理，由此取得圖像中的與事先登記的工件相對(duì)應(yīng)的區(qū)域的位置信息。從視覺傳感器100發(fā)送的位置信息包括輸送機(jī)10上的工件W的位置(X，Y)以及工件W的轉(zhuǎn)動(dòng)角度(0)。另外，為了使機(jī)械手控制裝置200的處理變得簡(jiǎn)單，工件W的坐標(biāo)值(X，Y)使用換算成用于控制機(jī)械手300的坐標(biāo)系的值。即，視覺傳感器100將工件W的位置信息以利用機(jī)械手300的坐標(biāo)系來定義的值的形式發(fā)送至機(jī)械手控制裝置200。更具體地講，如圖2所示，視覺傳感器100(拍攝部110)通過拍攝能夠取得寬度WDX高度HT[pixel (像素?cái)?shù))]的圖像。將在針對(duì)該圖像設(shè)定的xy坐標(biāo)系(以下，也稱之為“圖像坐標(biāo)系”)上所定義的坐標(biāo)值(xi，yi)，變換成針對(duì)機(jī)械手300的手部前端(拾取)位置設(shè)定的XY坐標(biāo)系(以下，也稱之為“機(jī)械手坐標(biāo)系”)上的坐標(biāo)值。關(guān)于該坐標(biāo)變換中的變換公式以及參數(shù)，在后面進(jìn)行說明。通過進(jìn)行這樣的坐標(biāo)變換，能夠利用X坐標(biāo)(輸送機(jī)的搬運(yùn)方向)及Y坐標(biāo)(與輸送機(jī)的搬運(yùn)方向垂直的方向)來定義機(jī)械手300的手部前端(拾取)位置，所以能夠使用該XY坐標(biāo)系(機(jī)械手坐標(biāo)系)來確定通過圖案匹配處理檢測(cè)到的各工件的位置。這樣，位置信息包括特定坐標(biāo)值，該特定坐標(biāo)值是指，將拍攝取得的圖像中的與事先登記的工件相對(duì)應(yīng)的區(qū)域，利用作為移動(dòng)機(jī)械的機(jī)械手300的坐標(biāo)系“機(jī)械手坐標(biāo)系”來表示的坐標(biāo)值。另外，視覺傳感器100以及機(jī)械手控制裝置200事先被進(jìn)行校準(zhǔn)處理，使得能夠?qū)⑺?jì)測(cè)的各工件W的位置信息以機(jī)械手坐標(biāo)系的值的形式進(jìn)行輸出。關(guān)于該校準(zhǔn)處理，在后面進(jìn)行說明。另外，工件W的轉(zhuǎn)動(dòng)角度(0)意味著將工件W的模型圖像作為基準(zhǔn)時(shí)的轉(zhuǎn)動(dòng)角度。即，位置信息還包括轉(zhuǎn)動(dòng)角度，該轉(zhuǎn)動(dòng)角度是指，圖像中的與該工件相對(duì)應(yīng)的區(qū)域，在將事先登記的工件的姿勢(shì)作為基準(zhǔn)時(shí)的轉(zhuǎn)動(dòng)角度。就工件W的有些形狀而言，會(huì)基于該轉(zhuǎn)動(dòng)角度的信息，來適當(dāng)?shù)乜刂茩C(jī)械手300的手部前端的轉(zhuǎn)動(dòng)角度等。機(jī)械手控制裝置200對(duì)來自編碼器14的脈沖 信號(hào)所包含的脈沖數(shù)進(jìn)行計(jì)數(shù)，并在事先決定的值以上數(shù)量的脈沖被輸入的時(shí)刻，經(jīng)由網(wǎng)絡(luò)NW來將拍攝指示發(fā)送至視覺傳感器 100。來自視覺傳感器100的各工件的位置信息經(jīng)由網(wǎng)絡(luò)NW發(fā)送至機(jī)械手控制裝置200，并存儲(chǔ)在機(jī)械手控制裝置200的內(nèi)部的存儲(chǔ)器中。另外，機(jī)械手控制裝置200每當(dāng)從編碼器14接收到脈沖信號(hào)時(shí)，對(duì)存儲(chǔ)器內(nèi)存儲(chǔ)的全部的工件W的坐標(biāo)值(X，Y)進(jìn)行更新。這是因?yàn)椋跈C(jī)械手控制裝置200的存儲(chǔ)器上對(duì)實(shí)際被帶式輸送機(jī)搬運(yùn)的工件W進(jìn)行跟蹤。另外，如果任一個(gè)工件W的更新后的位置信息(坐標(biāo)值)進(jìn)入機(jī)械手300的跟蹤范圍，則對(duì)機(jī)械手300提供把持動(dòng)作所需的指示。根據(jù)設(shè)置在流水線I上的編碼器14的檢測(cè)結(jié)果來生成的脈沖信號(hào)，輸入至視覺傳感器100以及機(jī)械手控制裝置200。視覺傳感器100以及機(jī)械手控制裝置200分別具有用于對(duì)包含在脈沖信號(hào)中的脈沖數(shù)進(jìn)行計(jì)數(shù)的編碼計(jì)數(shù)器。來自編碼器14的脈沖信號(hào)并行輸入至視覺傳感器100以及機(jī)械手控制裝置200，因此只要在同一時(shí)刻對(duì)各個(gè)編碼計(jì)數(shù)器進(jìn)行初始化(計(jì)數(shù)器復(fù)位)，則對(duì)其后所輸入的脈沖信號(hào)的計(jì)數(shù)值會(huì)變成彼此相同的值，從而能夠使計(jì)數(shù)值同步。更具體地講，在視覺傳感器100以及機(jī)械手控制裝置200中，均事先設(shè)定有與來自編碼器14的脈沖信號(hào)所包含的一個(gè)脈沖相對(duì)應(yīng)的輸送機(jī)的移動(dòng)量。進(jìn)而，在視覺傳感器100以及機(jī)械手控制裝置200各自的編碼計(jì)數(shù)器中，也設(shè)定有彼此相同的參數(shù)(計(jì)數(shù)器最大值、計(jì)數(shù)器最小值、與一個(gè)脈沖相對(duì)應(yīng)的增加值等)。即，關(guān)于計(jì)數(shù)，在視覺傳感器100的編碼計(jì)數(shù)器和機(jī)械手控制裝置200的編碼計(jì)數(shù)器中設(shè)定有相同的參數(shù)。另外，這些編碼計(jì)數(shù)器的計(jì)數(shù)值在生產(chǎn)流水線開始運(yùn)轉(zhuǎn)之前被初始化為O。S卩，在開始對(duì)包含在脈沖信號(hào)中的脈沖數(shù)進(jìn)行計(jì)數(shù)之前，視覺傳感器100的編碼計(jì)數(shù)器和機(jī)械手控制裝置200的編碼計(jì)數(shù)器一起被復(fù)位。如上所述，在本實(shí)施方式中實(shí)現(xiàn)了一種單元，該單元使視覺傳感器100和機(jī)械手控制裝置200同步保持輸送機(jī)10的搬運(yùn)路徑上的移動(dòng)量。在采用如上所述的結(jié)構(gòu)的情況下，視覺傳感器100將按照來自機(jī)械手控制裝置200的拍攝指示來實(shí)際進(jìn)行了拍攝時(shí)的計(jì)數(shù)值附加于各工件的位置信息，并發(fā)送至機(jī)械手控制裝置200。S卩，視覺傳感器100將與工件W的位置信息相對(duì)應(yīng)的輸送機(jī)10的移動(dòng)量發(fā)送至機(jī)械手控制裝置200。如上所述，由于視覺傳感器100和機(jī)械手控制裝置200同步保持計(jì)數(shù)值，因此即使在機(jī)械手控制裝直200發(fā)出拍攝指不的時(shí)刻和視覺傳感器100響應(yīng)于拍攝指不而實(shí)際進(jìn)打了拍攝的時(shí)刻之間存在時(shí)滯，也能夠在共同的時(shí)間軸上即利用同步的計(jì)數(shù)值，來確定實(shí)際進(jìn)行了拍攝的時(shí)刻。這樣，視覺傳感器100將如下信息發(fā)送至機(jī)械手控制裝置200，該信息包括檢測(cè)到的工件W的位置信息；當(dāng)拍攝得到用于取得該位置信息的圖像時(shí)的輸送機(jī)10的移動(dòng)量。在拍攝得到用于取得該工件W的位置信息的圖像時(shí)的移動(dòng)量，利用計(jì)數(shù)器的計(jì)數(shù)值來表/Jn o機(jī)械手控制裝置200利用從視覺傳感器100接收的拍攝時(shí)的計(jì)數(shù)值，對(duì)對(duì)應(yīng)的位置信息進(jìn)行校正，并將其存儲(chǔ)于裝置自身的存儲(chǔ)器中。由此，能夠避免發(fā)生如下情況因?yàn)榱魉€速度高，所以拍攝指示的輸出和實(shí)際拍攝之間的時(shí)滯對(duì)機(jī)械手300的定位以及跟蹤處理產(chǎn)生影響?！碈.硬件結(jié)構(gòu)>
圖3是表示利用了本發(fā)明實(shí)施方式的視覺傳感器100的輸送機(jī)跟蹤系統(tǒng)的硬件結(jié)構(gòu)的示意圖。參照?qǐng)D3，視覺傳感器100包括拍攝部110和圖像處理部120。拍攝部110是用于拍攝在拍攝范圍內(nèi)存在的被拍攝物的裝置，其主要的結(jié)構(gòu)要素包括透鏡和光圈等光學(xué)系統(tǒng)；CXD (Charge Coupled Device :電荷耦合器件)圖像傳感器或CMOS (Complementary Metal Oxide Semiconductor :互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器等受光元件。拍攝部110按照來自圖像處理部120的指令來進(jìn)行拍攝，并將拍攝得到的圖像數(shù)據(jù)輸出至圖像處理部120。圖像處理部120包括CPU (Central Processing Unit :中央處理單兀)122、存儲(chǔ)器124、拍攝控制部126、通信接口(I/F) 128、輸入輸出接口(I/F) 130以及編碼計(jì)數(shù)器132。這些零部件經(jīng)由總線134以能夠進(jìn)行數(shù)據(jù)通信的方式相連接。CPU122是在圖像處理部120中進(jìn)行主要運(yùn)算的處理器。存儲(chǔ)器124用于存儲(chǔ)由CPU122執(zhí)行的各種程序、由拍攝部110拍攝得到的圖像數(shù)據(jù)、各種參數(shù)等。典型地，存儲(chǔ)器124包括DRAM (Dynamic Random Access Memory :動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等易失性記憶裝置、FLASH存儲(chǔ)器等非易失性記憶裝置。拍攝控制部126按照來自CPU122等的內(nèi)部指令，對(duì)相連接的拍攝部110的拍攝動(dòng)作進(jìn)行控制。拍攝控制部126具有用于向拍攝部110發(fā)送各種指令的接口 ；用于從拍攝部110接收?qǐng)D像數(shù)據(jù)的接口。通信接口 128和機(jī)械手控制裝置200之間互相交換各種數(shù)據(jù)。典型地，視覺傳感器100及機(jī)械手控制裝置200經(jīng)由以太網(wǎng)(注冊(cè)商標(biāo))相連接，通信接口 128是遵循這樣的以太網(wǎng)(注冊(cè)商標(biāo))的硬件。輸入輸出接口 130從圖像處理部120向外部輸出各種信號(hào)，或者向圖像處理部120輸入來自外部的各種信號(hào)。尤其是，輸入輸出接口 130接收由編碼器14生成的脈沖信號(hào)，并將該信號(hào)變換為數(shù)字信號(hào)后輸出至編碼計(jì)數(shù)器132。編碼計(jì)數(shù)器132對(duì)包含在來自編碼器14的脈沖信號(hào)中的脈沖數(shù)進(jìn)行計(jì)數(shù)。該編碼計(jì)數(shù)器132基本上與CPU122的運(yùn)算周期相獨(dú)立地進(jìn)行動(dòng)作，因此不會(huì)遺漏對(duì)來自編碼器14的脈沖信號(hào)所包含的脈沖數(shù)的計(jì)數(shù)。另一方面，機(jī)械手控制裝置200包括運(yùn)算處理部210、通信接口(I/F) 228、輸入輸出接口(I/F)230、編碼計(jì)數(shù)器232、拾取控制部240以及移動(dòng)控制部250。運(yùn)算處理部210是基于來自視覺傳感器100的位置信息來進(jìn)行用于向機(jī)械手300及移動(dòng)機(jī)構(gòu)400輸出指令的運(yùn)算的處理器，包括用于跟蹤各個(gè)工件W的存儲(chǔ)器220。存儲(chǔ)器220中存儲(chǔ)有通過利用視覺傳感器100的計(jì)測(cè)處理來檢測(cè)到的各個(gè)工件W的位置信息。運(yùn)算處理部210響應(yīng)于對(duì)象輸送機(jī)的移動(dòng)(基于來自編碼器14的脈沖信號(hào)來進(jìn)行檢測(cè))，順次更新各個(gè)工件W的位置信息。
通信接口(I/F) 228和視覺傳感器100的圖像處理部120之間交換各種數(shù)據(jù)。典型地，視覺傳感器100以及機(jī)械手控制裝置200經(jīng)由以太網(wǎng)(注冊(cè)商標(biāo))相連接，通信接口228是遵循這樣的以太網(wǎng)(注冊(cè)商標(biāo))的硬件。輸入輸出接口 230從機(jī)械手控制裝置200向外部輸出各種信號(hào)，或者向機(jī)械手控制裝置200輸入來自外部的各種信號(hào)。尤其是，輸入輸出接口 230接收由編碼器14生成的脈沖信號(hào)，并將該信號(hào)變換為數(shù)字信號(hào)后向編碼計(jì)數(shù)器232輸出。編碼計(jì)數(shù)器232對(duì)來自編碼器14的脈沖信號(hào)所包含的脈沖數(shù)進(jìn)行計(jì)數(shù)。該編碼計(jì)數(shù)器232基本上與運(yùn)算處理部210的運(yùn)算周期相獨(dú)立地進(jìn)行動(dòng)作，因此不會(huì)遺漏對(duì)來自編碼器14的脈沖信號(hào)所包含的脈沖數(shù)的計(jì)數(shù)。
拾取控制部240按照來自運(yùn)算處理部210等的內(nèi)部指令，對(duì)相連接的機(jī)械手300的把持動(dòng)作進(jìn)行控制。拾取控制部240具有用于發(fā)送機(jī)械手300在各可動(dòng)軸上的目標(biāo)位置等的接口和用于接收機(jī)械手300在各可動(dòng)軸上的當(dāng)前位置的接口。移動(dòng)機(jī)構(gòu)400按照來自運(yùn)算處理部210等的內(nèi)部指令，對(duì)用于驅(qū)動(dòng)相連接的機(jī)械手300的移動(dòng)機(jī)構(gòu)400的跟蹤動(dòng)作進(jìn)行控制。移動(dòng)機(jī)構(gòu)400具有用于發(fā)送移動(dòng)機(jī)構(gòu)400的目標(biāo)位置及目標(biāo)速度等的接口和用于接收移動(dòng)機(jī)構(gòu)400在移動(dòng)軸上的當(dāng)前位置的接口。<D.拍攝開始條件〉本實(shí)施方式的輸送機(jī)跟蹤系統(tǒng)提供用于決定拍攝開始條件的支援功能，該拍攝開始條件是為了順次拍攝被輸送機(jī)搬運(yùn)的工件所需的條件。該拍攝開始條件以與輸送機(jī)10的移動(dòng)量相關(guān)聯(lián)的方式被定義，使得即使輸送機(jī)10的搬運(yùn)速度發(fā)生了變化，也不發(fā)生對(duì)象工件的拍攝遺漏和計(jì)測(cè)遺漏(檢測(cè)遺漏)。更具體地講，每當(dāng)輸送機(jī)10前進(jìn)了規(guī)定距離時(shí)，拍攝部110都進(jìn)行拍攝。因此，典型的拍攝開始條件定義為用于表示拍攝指示的發(fā)出周期的輸送機(jī)10的移動(dòng)量(來自編碼器14的脈沖信號(hào)的計(jì)數(shù)值)。即，每當(dāng)編碼計(jì)數(shù)器132或者232的計(jì)數(shù)值增加了作為拍攝開始條件設(shè)定的規(guī)定值時(shí)，都發(fā)出拍攝指示。響應(yīng)于該拍攝指示而進(jìn)行如下處理拍攝部110對(duì)拍攝范圍的拍攝，以及對(duì)拍攝得到的圖像的計(jì)測(cè)處理。另外，將發(fā)出這樣的拍攝指示的周期也稱為觸發(fā)間隔。圖4A、圖4B是用于說明本發(fā)明實(shí)施方式的視覺傳感器100的拍攝范圍的圖。參照?qǐng)D4A，首先，視覺傳感器100(拍攝部110)拍攝得到寬度WDX高度HT[pixel]的圖像。另一方面，輸送機(jī)10上的工件W以輸送機(jī)10的搬運(yùn)速度移動(dòng)。在從圖4A的狀態(tài)經(jīng)過了規(guī)時(shí)刻間后接收拍攝指示，從而視覺傳感器100 (拍攝部110)進(jìn)行了拍攝的情況下，得到圖4B所示的圖像。在本實(shí)施方式的輸送機(jī)跟蹤系統(tǒng)中以如下方式設(shè)定拍攝開始條件作為一連串的拍攝的對(duì)象的拍攝范圍之間的重疊范圍，即前一次的拍攝范圍和這次的拍攝范圍之間的重疊范圍(參照?qǐng)D4B)至少包括工件W(需登記為模型的區(qū)域)，使得不發(fā)生對(duì)象工件W的拍攝/計(jì)測(cè)的遺漏。典型地，在本實(shí)施方式的輸送機(jī)跟蹤系統(tǒng)中，將拍攝開始條件優(yōu)選設(shè)定成，作為一連串的拍攝的對(duì)象的拍攝范圍之間的重疊范圍在搬運(yùn)方向上的長(zhǎng)度，大于工件w(需登記為模型的區(qū)域)的對(duì)角線的長(zhǎng)度。這是因?yàn)?，由于各個(gè)工件W的配置方向不一定一致，所以為了不管工件W的轉(zhuǎn)動(dòng)角度如何都不出現(xiàn)對(duì)象工件的拍攝/計(jì)測(cè)的遺漏，優(yōu)選使重疊范圍的長(zhǎng)度L至少大于工件W的對(duì)角線的長(zhǎng)度。
此外，圖4B所示的前一次的拍攝范圍以及這次的拍攝范圍均包括工件W，所以在拍攝各個(gè)拍攝范圍得到的各圖像中均可檢測(cè)到工件W(通過圖案匹配來提取)。在這樣的情況下，通過上述的重復(fù)排除功能，以同一個(gè)工件W只登記一個(gè)位置信息的方式進(jìn)行處理，因此在輸送機(jī)跟蹤過程中不會(huì)出現(xiàn)任何問題。在本實(shí)施方式中，提供一種用戶能夠容易地設(shè)定這樣的拍攝開始條件的用戶界面。關(guān)于實(shí)現(xiàn)這些用戶界面的例子，在后面的第一實(shí)施方式 第四實(shí)施方式中進(jìn)行詳細(xì)的說明。〈E 用戶支援裝置〉首先，對(duì)于用戶支援裝置一例進(jìn)行 說明，該用戶支援裝置是指，提供用于容易地設(shè)定如上所述的拍攝開始條件的用戶界面的裝置。典型地，本實(shí)施方式的用戶支援裝置為，經(jīng)由網(wǎng)絡(luò)NW與視覺傳感器100及機(jī)械手控制裝置200相連接的輔助裝置(supportdevice)600(圖I)。S卩，輔助裝置600相當(dāng)于包括視覺傳感器100的適用于圖像處理系統(tǒng)的用戶支援裝置。圖5是表示能夠與本發(fā)明實(shí)施方式的視覺傳感器100相連接的輔助裝置600的硬件結(jié)構(gòu)的示意圖。典型地，輔助裝置600由通用計(jì)算機(jī)構(gòu)成。此外，從維修的角度來說，優(yōu)選采用便攜特性優(yōu)異的筆記本式個(gè)人計(jì)算機(jī)。參照?qǐng)D5，輔助裝置600具有CPU61，其用于執(zhí)行包括OS在內(nèi)的各種程序；ROM (Read Only Memory :只讀存儲(chǔ)器)62，其用于存儲(chǔ)BIOS和各種數(shù)據(jù)；存儲(chǔ)器RAM63，其提供用于存儲(chǔ)CPU61執(zhí)行程序所需的數(shù)據(jù)的工作區(qū)域；硬盤(HDD) 64，其用于非易失性地存儲(chǔ)CPU61所執(zhí)行的程序等。輔助裝置600還包括鍵盤65及鼠標(biāo)66，用于接受用戶所作出的操作；顯示器67，用于將信息提示給用戶。如后所述，輔助裝置600所執(zhí)行的各種程序存儲(chǔ)在⑶-R0M69中，并在市場(chǎng)上流通。即，用于實(shí)現(xiàn)本實(shí)施方式的用戶支援裝置的程序(即，用于提供用戶界面的程序)存儲(chǔ)在CD-R0M69 中。而且,這些程序可由 CD-ROM (Compact Disk-Read Only Memory :只讀光盤存儲(chǔ)器)驅(qū)動(dòng)器68來讀取，并存儲(chǔ)于硬盤(HDD)64等中。當(dāng)然，也可以從上位的主機(jī)(hostcomputer)等經(jīng)由網(wǎng)絡(luò)將程序下載到輔助裝置600中。用于實(shí)現(xiàn)如上所述的用戶支援裝置的程序安裝于輔助裝置600中，由此CPU61實(shí)現(xiàn)用戶支援邏輯61a。該用戶支援邏輯61a提供在后面進(jìn)行說明的用戶支援功能。此外，本實(shí)施方式的用戶支援裝置有時(shí)會(huì)與視覺傳感器100以及/或者機(jī)械手控制裝置200交換所需的數(shù)據(jù)。在這樣的情況下，也可以說通過輔助裝置600和視覺傳感器100及/或機(jī)械手控制裝置200協(xié)作來提供用戶支援功能。另外，有時(shí)用戶支援邏輯61a利用由輔助裝置600執(zhí)行的操作系統(tǒng)(OS)所提供的公用模塊(Library :程序庫)等，來生成各種顯示畫面。因此，用于實(shí)現(xiàn)用戶支援功能的程序不包括OS所提供的通用的部分，但理所當(dāng)然地，這樣的情況也包括在本發(fā)明的權(quán)利范圍內(nèi)。進(jìn)而，除了 CPU61執(zhí)行程序來實(shí)現(xiàn)用戶支援邏輯61a以外，還可以利用專用的硬件來實(shí)現(xiàn)用戶支援邏輯61a的全部或者一部分。如上所述，輔助裝置600是使用通用的計(jì)算機(jī)來實(shí)現(xiàn)的，因此不作進(jìn)一步詳細(xì)的說明。另外，本實(shí)施方式的用戶支援裝置，可以具體化為操作顯示裝置500，也可以使視覺傳感器100具有該用戶支援功能?！碏.校準(zhǔn)處理〉接下來，對(duì)于取得用于實(shí)現(xiàn)本實(shí)施方式的用戶支援功能的各種參數(shù)的校準(zhǔn)處理進(jìn)行說明。圖6是用于說明本發(fā)明實(shí)施方式的校準(zhǔn)處理的圖。圖7是表示通過圖6所示的校準(zhǔn)處理來取得的參數(shù)組的一例的圖。圖8 圖10是用于說明本發(fā)明實(shí)施方式的校準(zhǔn)處理的步驟的圖。參照?qǐng)D6，在本實(shí)施方式的校準(zhǔn)處理中，主要根據(jù)以下兩個(gè)觀點(diǎn)來進(jìn)行校準(zhǔn)處理。
(I)機(jī)械手-輸送機(jī)間之間的校準(zhǔn)在該校準(zhǔn)處理中，取得與來自編碼器14的脈沖信號(hào)所包含I個(gè)脈沖相對(duì)應(yīng)的輸送機(jī)的移動(dòng)量。該輸送機(jī)的移動(dòng)量相當(dāng)于圖7中倒數(shù)第二欄中示出的dX和dY。該輸送機(jī)的移動(dòng)量是，機(jī)械手300從編碼器14接收脈沖信號(hào)來跟蹤工件在輸送機(jī)10上的工件位置所需的參數(shù)。(2)視覺傳感器-機(jī)械手間之間的校準(zhǔn)取得用于將視覺傳感器100所計(jì)測(cè)的工件的位置信息(圖像坐標(biāo)系上的坐標(biāo)值(xi,yi) [pixel])變換成機(jī)械手坐標(biāo)系上的坐標(biāo)值(X，Y) [mm]的關(guān)系式。該關(guān)系式通過在圖7的最下欄中示出的6個(gè)參數(shù)A F來被定義。此外，如圖6所示，要進(jìn)行校準(zhǔn)處理，則需要機(jī)械手300的位置信息(機(jī)械手坐標(biāo)值)，因此經(jīng)由網(wǎng)絡(luò)NW從機(jī)械手控制裝置200向視覺傳感器100傳送這些位置信息。接下來，對(duì)于校準(zhǔn)處理的步驟進(jìn)行更詳細(xì)的說明。此外，如后所述，在本實(shí)施方式的輸送機(jī)系統(tǒng)中，用戶即使不理解如上所述那樣的校準(zhǔn)處理的含義，但只要按照指定的步驟進(jìn)行操作，就能夠容易地進(jìn)行校準(zhǔn)處理。更具體地講，本實(shí)施方式的校準(zhǔn)處理是通過圖8 圖10所示的3個(gè)階段的步驟來實(shí)現(xiàn)的。此外，在本實(shí)施方式的校準(zhǔn)處理中，使用描畫有在圖7的最上欄中示出的目標(biāo)圖案的校準(zhǔn)用薄片S。該校準(zhǔn)用薄片S上的目標(biāo)圖案包括5個(gè)圓(標(biāo)記)，這些5個(gè)圓(標(biāo)記)的內(nèi)部以約90°為單位被涂敷區(qū)分開。此外，如后所述，基本上使用4個(gè)標(biāo)記來進(jìn)行校準(zhǔn)處理，追加配置的I個(gè)標(biāo)記用于將校準(zhǔn)用薄片S的配置方向統(tǒng)一為規(guī)定方向。(第一階段)在第一階段中，如圖8所示，用戶將描畫有目標(biāo)圖案的校準(zhǔn)用薄片S配置于視覺傳感器100(拍攝部110)的視場(chǎng)內(nèi)。然后，用戶向視覺傳感器100發(fā)出拍攝指示。那么，視覺傳感器100對(duì)拍攝得到的圖像(包括作為被拍攝物的目標(biāo)圖案的圖像)進(jìn)行計(jì)測(cè)處理，決定目標(biāo)圖案所包含的配置于四角處的4個(gè)標(biāo)記的各中心點(diǎn)的坐標(biāo)值。由此分別取得目標(biāo)圖案所包含的4個(gè)標(biāo)記在圖像坐標(biāo)系上的坐標(biāo)值[pixel]。所取得的這些4個(gè)坐標(biāo)值相當(dāng)于在圖 7 最上欄示出的(xil, yil)、(xi2, yi2)、(xi3, yi3)、(xi4, yi4)。(第二階段)在第二階段中，如圖9所示，用戶通過移動(dòng)輸送機(jī)10來將描畫有目標(biāo)圖案的移動(dòng)薄片S配置在機(jī)械手300的跟蹤范圍(工作范圍)內(nèi)，并通過操作機(jī)械手300來使目標(biāo)圖案所包含的4個(gè)標(biāo)記和機(jī)械手300之間的位置關(guān)系建立對(duì)應(yīng)。更具體地講，首先，用戶通過移動(dòng)輸送機(jī)10，將校準(zhǔn)用薄片S配置于機(jī)械手300的跟蹤范圍(工作范圍)內(nèi)。此外，已事先取得了該輸送機(jī)10移動(dòng)前(校準(zhǔn)開始時(shí))的計(jì)數(shù)值。該計(jì)數(shù)值相當(dāng)于在圖7的從上第二欄中示出的編碼器計(jì)數(shù)值El (校準(zhǔn)處理開始時(shí))。接著，用戶通過操作附屬于機(jī)械手控制裝置200上的示教盒2100等，來以使機(jī)械手300的手部前端與校準(zhǔn)用薄片S上的一個(gè)標(biāo)記相對(duì)應(yīng)的方式對(duì)機(jī)械手300的手部前端進(jìn)行定位。用戶在該定位的狀態(tài)下發(fā)出指示，由此使機(jī)械手控制裝置200所掌握的機(jī)械手300的位置信息(用于表示機(jī)械手300的手部前端位置的機(jī)械手坐標(biāo)系上的坐標(biāo)值)發(fā)送至視覺傳感器100。對(duì)目標(biāo)圖案所包含的4個(gè)標(biāo)記都反復(fù)進(jìn)行上述處理，即，對(duì)該機(jī)械手300的手部前端進(jìn)行定位，并將在定位狀態(tài)下的機(jī)械手300的位置信息發(fā)送至視覺傳感器100的處理。通過這樣的步驟，分別取得與目標(biāo)圖案所 包括的4個(gè)標(biāo)記相對(duì)應(yīng)的機(jī)械手300的位置信息。這些所取得的與4個(gè)標(biāo)記相對(duì)應(yīng)的機(jī)械手300的位置信息相當(dāng)于在圖7的從上第三欄中示出的(XI，Yl)、(X2，Y2)、(X3，Y3)、(X4，Y4)。此外，如圖9所示，一直維持校準(zhǔn)用薄片S配置于機(jī)械手300的跟蹤范圍(工作范圍)內(nèi)的狀態(tài)，直到分別與4個(gè)標(biāo)記相對(duì)應(yīng)的機(jī)械手300的位置信息都發(fā)送至視覺傳感器100為止。另外，視覺傳感器100也存儲(chǔ)圖9所示的狀態(tài)下的計(jì)數(shù)值。該計(jì)數(shù)值相當(dāng)于在圖7的從上第二欄中示出的編碼器計(jì)數(shù)值E2(將輸送機(jī)移動(dòng)至機(jī)械手工作范圍(上游)時(shí))。(第三階段)在第三階段中，如圖10所示，用戶通過進(jìn)一步移動(dòng)輸送機(jī)10來將校準(zhǔn)用薄片S配置于機(jī)械手300的跟蹤范圍(工作范圍)的最下游的位置，并通過操作機(jī)械手300來使目標(biāo)圖案所包含的I個(gè)標(biāo)記和機(jī)械手300之間的位置關(guān)系建立對(duì)應(yīng)。更具體地講，首先，用戶通過移動(dòng)輸送機(jī)10，將校準(zhǔn)用薄片S配置于機(jī)械手300的跟蹤范圍(工作范圍)的下游側(cè)的端部。接著，用戶通過操作示教盒2100等，來以使機(jī)械手300的手部前端與校準(zhǔn)用薄片S上的第一個(gè)標(biāo)記(在第二階段中取得了坐標(biāo)值(X1，Y1)的標(biāo)記)相對(duì)應(yīng)的方式對(duì)機(jī)械手300的手部前端進(jìn)行定位。用戶在該定位的狀態(tài)下發(fā)出指示，由此使機(jī)械手控制裝置200所掌握的機(jī)械手300的位置信息(用于表示機(jī)械手300的手部前端位置的機(jī)械手坐標(biāo)系上的坐標(biāo)值)發(fā)送至視覺傳感器100。通過這樣的步驟，取得與目標(biāo)圖案所包含的第一個(gè)標(biāo)記相對(duì)應(yīng)的機(jī)械手300的位置信息。所取得的與該第一個(gè)標(biāo)記相對(duì)應(yīng)的機(jī)械手300的位置信息相當(dāng)于在圖7的從上第四欄中示出的(X5，Y5)。另外，視覺傳感器100也存儲(chǔ)圖10所示的狀態(tài)下的計(jì)數(shù)值。該計(jì)數(shù)值相當(dāng)于在圖7的從上第二欄中示出的編碼器計(jì)數(shù)值E3(將輸送機(jī)移動(dòng)至機(jī)械手工作范圍(下游)時(shí))。(參數(shù)計(jì)算處理)利用通過如上所述的第一 第三階段的處理來取得的參數(shù)，首先，計(jì)算與來自編碼器14的I個(gè)計(jì)數(shù)相對(duì)應(yīng)的工件的移動(dòng)量dX和dY。更具體地講，根據(jù)以下公式進(jìn)行計(jì)算。0107dX = (X5-X1)/(E3-E2)dY = (Y5-Y1) / (E3-E2)
這些公式意味著計(jì)算特定的變化量，該變化量是指，在圖9所示的狀態(tài)和圖10所示的狀態(tài)下分別使機(jī)械手300的手部前端定位至校準(zhǔn)用薄片S內(nèi)的同一個(gè)標(biāo)記的情況下，這兩個(gè)狀態(tài)之間所產(chǎn)生的機(jī)械手300的位置信息相對(duì)于計(jì)數(shù)值的變化量的變化量。通過這些計(jì)算公式，能夠決定與I個(gè)計(jì)數(shù)值相對(duì)應(yīng)的工件的移動(dòng)量dX及dY。即，能夠?qū)崿F(xiàn)機(jī)械手-輸送機(jī)間的校準(zhǔn)處理。另外，基于在圖8所示的狀態(tài)下取得的圖像坐標(biāo)系上的坐標(biāo)值(xil，yil)、(xi2,yi2)、(xi3，yi3)、(xi4，yi4)和在圖9的狀態(tài)下取得的機(jī)械手坐標(biāo)系上的坐標(biāo)值(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)的對(duì)應(yīng)關(guān)系，能夠決定與坐標(biāo)系的變換相關(guān)的變換公式的6個(gè)參數(shù)A F。即，使用公知的方法，能夠決定滿足以下公式的(或者，誤差最小的)參數(shù)A F0 X = A* xi+B yi+CY = D* xi+E yi+F由此，能夠?qū)崿F(xiàn)視覺傳感器-機(jī)械手間的校準(zhǔn)處理。
〈G.第一實(shí)施方式〉(gl:概要)首先，作為第一實(shí)施方式，對(duì)響應(yīng)于用戶指定了需登記為模型的區(qū)域而自動(dòng)設(shè)定拍攝開始條件的例子進(jìn)行說明。此外，自動(dòng)設(shè)定的該拍攝開始條件被視為所謂的默認(rèn)(default)設(shè)定，用戶根據(jù)需要，可以任意變更這些拍攝開始條件。圖IlA 圖IlC和圖12A 圖12C是表不本發(fā)明第一實(shí)施方式的用戶界面的一例的圖。圖IlA 圖IlC表示作為計(jì)測(cè)處理而進(jìn)行檢索處理(圖案匹配處理)時(shí)的例子。圖12A 圖12C表示作為計(jì)測(cè)處理而進(jìn)行二值化處理時(shí)的例子。S卩，在圖IlA 圖IlC所示的檢索處理中，事先登記用于表示需檢測(cè)的工件的模型，并對(duì)與所登記的該模型相一致的區(qū)域進(jìn)行檢索。另一方面，在圖12A 圖12C所示的二值化處理中，對(duì)所輸入的圖像進(jìn)行二值化處理，將通過該二值化處理變得區(qū)別于其他區(qū)域的部分(白區(qū)域或者黑區(qū)域)檢測(cè)為工件。(g2:檢索處理)首先，參照?qǐng)DIlA 圖11C，對(duì)在作為計(jì)測(cè)處理而進(jìn)行檢索處理時(shí)用于設(shè)定拍攝開始條件的用戶界面進(jìn)行說明。如果指示了開始執(zhí)行本實(shí)施方式的用戶支援功能，則如圖IlA所示，引導(dǎo)畫面800顯示在顯示器67 (圖5)上，該引導(dǎo)畫面800包括用于選擇計(jì)測(cè)處理的菜單。引導(dǎo)畫面800包括菜單部分810，用于提示計(jì)測(cè)處理的清單；視場(chǎng)顯示部820，用于以實(shí)際尺寸(搬運(yùn)裝置的物理長(zhǎng)度)顯示拍攝部110的視場(chǎng)(拍攝范圍)的大小。在圖IlA所示的菜單部分810中，如果用戶選擇了意味著檢索處理的“0.檢索”的行811，則會(huì)移到圖IlB所示的引導(dǎo)畫面801。參照?qǐng)D11B，引導(dǎo)畫面801包括用于顯示由拍攝部110拍攝得到的圖像的顯示區(qū)域840。關(guān)于該顯示區(qū)域840中所顯示的圖像，也可以設(shè)定為，能夠在隨著拍攝部110的拍攝時(shí)刻而順次更新的模式(through mode :通過模式)和用于顯示拍攝部110在某一時(shí)刻拍攝得到的圖像的模式(freeze mode :凍結(jié)模式)之間進(jìn)行選擇。該引導(dǎo)畫面801是促使用戶指定用于表示需檢測(cè)的工件的區(qū)域(檢索處理中使用的模型)的畫面，如顯示“請(qǐng)框住要登記為模型的范圍”。用戶對(duì)于顯示在引導(dǎo)畫面801的顯示區(qū)域840的圖像，指定用于表示需檢測(cè)的工件的區(qū)域。具體地講，用戶通過鼠標(biāo)66(圖5)等，利用光標(biāo)845來指定模型區(qū)域844。此外，模型區(qū)域844的指定方法，可以采用通過任意的輸入單元的方法。由用戶指定的該模型區(qū)域844明示在顯示區(qū)域840的圖像上。此外，伴隨著模型區(qū)域844的設(shè)定處理，模型區(qū)域844的圖像的位置信息顯示在模型范圍顯示部830。在該模型范圍顯示部830上，典型地顯示模型區(qū)域844的對(duì)角線上的兩個(gè)坐標(biāo)值。如果在圖IlB所示的引導(dǎo)畫面801上完成了模型區(qū)域844的設(shè)定，則按照在后面所說明那樣的計(jì)算邏輯來決定拍攝開始條件(觸發(fā)間隔)。如果決定了該拍攝開始條件，則移到圖IlC所示的引導(dǎo)畫面802。該引導(dǎo)畫面8 02包括用于顯示拍攝開始條件的拍攝開始條件顯示部835。在拍攝開始條件顯示部835上，拍攝開始條件(觸發(fā)間隔)以輸送機(jī)10的物理長(zhǎng)度(機(jī)械手坐標(biāo)系上的長(zhǎng)度)的形式被顯示(圖IlC所示的“50[mm]”)，同時(shí)也以與該長(zhǎng)度相對(duì)應(yīng)的脈沖數(shù)(計(jì)數(shù)值)的形式被顯示(圖IlC所示的“1000[pulse :脈沖]，，)。進(jìn)而，引導(dǎo)畫面802也提供用于變更已決定的拍攝開始條件的界面。即，引導(dǎo)畫面802包括用于使用戶任意地變更重疊范圍的長(zhǎng)度L的操作滑塊860。用戶一邊觀察顯示在顯示區(qū)域840上的圖像以及設(shè)定在其上的模型區(qū)域844的大小等，一邊對(duì)操作滑塊860進(jìn)行操作，由此能夠微調(diào)成更優(yōu)選的拍攝開始條件。此外，輸送機(jī)10的搬運(yùn)方向并不一定與拍攝部110的拍攝范圍的某一邊相平行，所以將用于表示該搬運(yùn)方向的搬運(yùn)方向標(biāo)記842疊加顯示在顯示區(qū)域840上。利用通過上述校準(zhǔn)處理來取得且與來自編碼器14的I個(gè)計(jì)數(shù)相對(duì)應(yīng)的工件的移動(dòng)量dX(X方向)[mm/pulse]和dY(Y方向)[mm/pulse],來生成該搬運(yùn)方向標(biāo)記842。接下來，關(guān)于根據(jù)如圖IlA 圖IlC所示的由用戶指定的模型區(qū)域844來決定拍攝開始條件的邏輯進(jìn)行說明。通過上述的校準(zhǔn)處理，已事先取得了與脈沖信號(hào)的I個(gè)計(jì)數(shù)相對(duì)應(yīng)的工件的移動(dòng)量dX和dY，以及與從圖像坐標(biāo)系到機(jī)械手坐標(biāo)系的變換相關(guān)的6個(gè)參數(shù)A F。另外，拍攝部110拍攝得到的圖像尺寸(寬度WDX高度HT[pixel])也是已知的。利用與如圖IlA 圖IlC所示的引導(dǎo)畫面上所設(shè)定的計(jì)測(cè)處理(檢索處理)相關(guān)的設(shè)定內(nèi)容，來計(jì)算拍攝開始條件。更具體地講，以使作為一連串拍攝的對(duì)象的拍攝范圍之間的重疊范圍在搬運(yùn)方向上的長(zhǎng)度大于用于表示需檢測(cè)的工件的區(qū)域的對(duì)角線的長(zhǎng)度的方式，決定拍攝開始條件。S卩，如果由概略的公式表示拍攝開始條件(觸發(fā)間隔)，則如下(觸發(fā)間隔)={(圖像尺寸)_(需登記為模型的區(qū)域的外接矩形對(duì)角線)}/(與編碼器的I個(gè)脈沖相對(duì)應(yīng)的移動(dòng)量)但是，作為實(shí)現(xiàn)方式，并不計(jì)算對(duì)角線的長(zhǎng)度，而只是在機(jī)械手坐標(biāo)系的X軸方向和Y軸方向中，著眼于工件W以更大的幅度移動(dòng)的方向上的成分，來決定拍攝開始條件即可。由此能夠節(jié)省計(jì)算所需的資源。即，根據(jù)工件W的X方向的移動(dòng)量dX和Y方向的移動(dòng)量dY之間的大小關(guān)系，由下述的某一公式能夠計(jì)算觸發(fā)間隔。此外，將重疊范圍的長(zhǎng)度設(shè)為 L[pixel] o
(1)(1父>(1￥的情況(觸發(fā)間隔)={A.(WD-L) }/dX [pul se](2)dX ≤dY 的情況(觸發(fā)間隔)={D WD+E (HT-L) }/dY [pulse]此外，如果用戶通過操作圖IlC所示的操作滑塊860等來使重疊范圍的長(zhǎng)度L改變，則上述公式再次被執(zhí)行，由此使拍攝開始條件(觸發(fā)間隔)被更新。如果概括如上所述的處理，則能可表達(dá)如下。就本實(shí)施方式的支援功能而言，針對(duì)顯示在作為顯示單元的顯示器67上的圖像，響應(yīng)于用戶的操作而決定拍攝范圍之間的重疊范圍，并利用拍攝部110的拍攝范圍和輸送機(jī)10 (搬運(yùn)裝置)的屬性之間的關(guān)系，根據(jù)所決定的重疊范圍的大小來決定用輸送機(jī)10的移動(dòng)量定義的拍攝部110的拍攝開始條件。S卩，作為顯示單元的顯示器67顯示視覺傳感器100的拍攝部110拍攝得到的圖像。然后，作為輸入單元的鍵盤65以及/或者鼠標(biāo)66，針對(duì)顯示在顯示器67上的圖像，接受對(duì)用于表示需檢測(cè)的工件的區(qū)域的指定。接收到的該指令傳送至CPU61 (用戶支援邏輯61a)。CPU61(用戶支援邏輯61a)利用拍攝部110的拍攝范圍和輸送機(jī)10 (搬運(yùn)裝置)的屬性之間的關(guān)系，決定用輸送機(jī)10 (搬運(yùn)裝置)的移動(dòng)量(脈沖數(shù))來定義的拍攝部110的拍攝開始條件。該拍攝部110的拍攝范圍和輸送機(jī)10的屬性之間的關(guān)系的具體內(nèi)容包括與脈沖信號(hào)的I個(gè)計(jì)數(shù)相對(duì)應(yīng)的工件的移動(dòng)量dX(X方向)及dY(Y方向)；以及由與從圖像坐標(biāo)系到機(jī)械手坐標(biāo)系的變換相關(guān)的6個(gè)參數(shù)A F構(gòu)成的變換函數(shù)。進(jìn)而，如圖IlC的操作滑塊860所示，CPU61(用戶支援邏輯61a)響應(yīng)于用戶的操作而變更所決定的拍攝開始條件。此時(shí)，CPU61(用戶支援邏輯61a)以使作為一連串拍攝的對(duì)象的拍攝范圍之間的重疊范圍至少包括用于表示需檢測(cè)的工件的區(qū)域的方式?jīng)Q定拍攝開始條件。換言之，CPU61(用戶支援邏輯61a)將拍攝開始條件決定為，作為一連串拍攝的對(duì)象的拍攝范圍之間的重疊范圍在搬運(yùn)方向上的長(zhǎng)度大于用于表示需檢測(cè)的工件的區(qū)域的對(duì)角線的長(zhǎng)度。(g3: 二值化處理)接下來，參照?qǐng)D12A 圖12C，對(duì)在作為計(jì)測(cè)處理而進(jìn)行二值化處理時(shí)用于設(shè)定拍攝開始條件的用戶界面進(jìn)行說明。如果指示了開始執(zhí)行本實(shí)施方式的用戶支援功能，則引導(dǎo)畫面800顯示在顯示器67 (圖5)上(圖12A)，該引導(dǎo)畫面800包括與圖IlA相同的用于選擇計(jì)測(cè)處理的菜單。如果用戶在如圖12A所示的菜單部分810中選擇了意味著二值化處理的“I. 二值化”的行812，則會(huì)移到如圖12B所示的引導(dǎo)畫面803。在圖12B所示的引導(dǎo)畫面803中，將對(duì)拍攝部110拍攝得到的圖像執(zhí)行了二值化處理后的結(jié)果圖像顯示在顯示區(qū)域840。S卩，在顯示區(qū)域840上顯示各像素被量化(二值化)為“黑”或者“白”的黑白圖像。用戶通過在水平設(shè)定框870中設(shè)定任意值(例如，0 255)，能夠自由地變更該二值化處理的閾值(二值化水平)。用戶能夠一邊確認(rèn)顯示在顯示區(qū)域840的結(jié)果圖像，一邊設(shè)定適當(dāng)?shù)亩祷健Ｔ趫?zhí)行了這樣的二值化處理后，CPU61(用戶支援邏輯61a)確定出該結(jié)果圖像所包括的更少顏色的像素(在圖12B所示的例中是“白”)的區(qū)域并進(jìn)行分組(grouping)，由此確定需檢測(cè)的工件。進(jìn)而，決定包圍所確定的各工件的外接矩形區(qū)域846。進(jìn)而，在提取到多個(gè)外接矩形的情況下，CPU61 (用戶支援邏輯61a)確定其對(duì)角線的長(zhǎng)度最大的外接矩形，并將其對(duì)角線的長(zhǎng)度的最大值決定為工件尺寸的最大值(工件的最大尺寸)。該工件的最大尺寸的信息顯示在最大尺寸顯示部832上。如果如上所述那樣決定了工件的最大尺寸，則按照如在后面所說明那樣的計(jì)算邏輯來決定拍攝開始條件(觸發(fā)間隔)。如果決定了該拍攝開始條件，則移到如圖12C所示的引導(dǎo)畫面804。在該引導(dǎo)畫面804的拍攝開始條件顯示部835上，拍攝開始條件(觸發(fā)間隔)以輸送機(jī)10的物理長(zhǎng)度(機(jī)械手坐標(biāo)系上的長(zhǎng)度)的形式被顯示(圖12C所示的“50[mm]”)，同時(shí)也以與該長(zhǎng)度相對(duì)應(yīng)的脈沖數(shù)(計(jì)數(shù)值)的形式被顯示(圖12C所示的“1000[pulse] ”)。
進(jìn)而，引導(dǎo)畫面804也提供用于變更已決定的拍攝開始條件的界面。S卩，引導(dǎo)畫面802包括用于使用戶任意地變更重疊范圍的長(zhǎng)度L的操作滑塊860。用戶一邊觀察顯示在顯示區(qū)域840上的圖像、設(shè)定在其上的外接矩形區(qū)域846以及變更后的外接矩形區(qū)域848的大小等，一邊對(duì)操作滑塊860進(jìn)行操作，由此能夠微調(diào)成更優(yōu)選的拍攝開始條件。此時(shí)，優(yōu)選地，將根據(jù)二值化處理的結(jié)果圖像來計(jì)算出的初始值(默認(rèn)值)的外接矩形區(qū)域846和通過用戶的操作來變更后的外接矩形區(qū)域848這兩者重疊顯示在結(jié)果圖像上。此外，輸送機(jī)10的搬運(yùn)方向并不一定與拍攝部110的拍攝范圍的某一邊相平行，所以在圖12C中，也將用于表示該搬運(yùn)方向的搬運(yùn)方向標(biāo)記842疊加顯示在顯示區(qū)域840上。接下來，關(guān)于根據(jù)如圖12A 圖12C所示的由用戶指定的外接矩形區(qū)域846來決定拍攝開始條件的邏輯進(jìn)行說明。如上所述，已事先取得了與脈沖信號(hào)的I個(gè)計(jì)數(shù)相對(duì)應(yīng)的工件的移動(dòng)量dX和dY，以及與從圖像坐標(biāo)系到機(jī)械手坐標(biāo)系的變換相關(guān)的6個(gè)參數(shù)A F。另外，拍攝部110拍攝得到的圖像尺寸(寬度WDX高度HT[pixel])也是已知的。利用如圖12A 圖12C所示的引導(dǎo)畫面上計(jì)算出或所設(shè)定的工件的最大尺寸，來計(jì)算拍攝開始條件。更具體地講，將拍攝開始條件決定為，作為一連串拍攝的對(duì)象的拍攝范圍之間的重疊范圍在搬運(yùn)方向上的長(zhǎng)度大于對(duì)象工件(作為對(duì)象的工件)的最大尺寸(矩形區(qū)域的對(duì)角線的長(zhǎng)度)。S卩，如果由概略的公式表示拍攝開始條件(觸發(fā)間隔)，則如下(觸發(fā)間隔)={(圖像尺寸)_(工件最大直徑)}/(與編碼器的I個(gè)脈沖相對(duì)應(yīng)的移動(dòng)量)但是，作為實(shí)現(xiàn)方式，并不計(jì)算對(duì)角線的長(zhǎng)度，而只是在機(jī)械手坐標(biāo)系的X軸方向和Y軸方向中，著眼于工件W以更大的幅度移動(dòng)的方向上的成分，來決定拍攝開始條件即可。由此能夠節(jié)省計(jì)算所需的資源。即，利用關(guān)于上述圖IlA 圖IlC進(jìn)行說明時(shí)的公式，來計(jì)算觸發(fā)間隔。此外，如果用戶通過操作圖12C所示的操作滑塊860等來使重疊范圍的長(zhǎng)度L改變，則上述公式再次被執(zhí)行，由此使拍攝開始條件(觸發(fā)間隔)被更新。如果概括如上所述的處理，則可表現(xiàn)為如下。就本實(shí)施方式的支援功能而言，針對(duì)在作為顯示單元的顯示器67上顯示的圖像，根據(jù)通過計(jì)測(cè)處理(典型地，是二值化處理)檢測(cè)到的范圍來決定重疊范圍，并利用拍攝部110的拍攝范圍和輸送機(jī)10 (搬運(yùn)裝置)的屬性之間的關(guān)系，根據(jù)所決定的重疊范圍的大小來決定用輸送機(jī)10的移動(dòng)量定義的拍攝部110的拍攝開始條件。即，作為顯示單元的顯示器67顯示視覺傳感器100的拍攝部110拍攝得到的圖像。此時(shí)，安裝有用于對(duì)拍攝部110拍攝得到的圖像進(jìn)行計(jì)測(cè)處理(二值化處理)的計(jì)測(cè)單元，顯示器67顯示該計(jì)測(cè)處理的結(jié)果(結(jié)果圖像)。CPU61(用戶支援邏輯61a)利用拍攝部110的拍攝范圍和輸送機(jī)10 (搬運(yùn)裝置)的屬性之間的關(guān)系，根據(jù)用于表示需檢測(cè)的工件的區(qū)域的大小，來決定用輸送機(jī)10(搬運(yùn)裝置)的移動(dòng)量(脈沖數(shù))定義的拍攝部110的拍攝開始條件。如上所述，該拍攝部110的拍攝范圍和輸送機(jī)10的屬性之間的關(guān)系的具體內(nèi)容包括與脈沖信號(hào)的I個(gè)計(jì)數(shù)相對(duì)應(yīng)的工件的移動(dòng)量dX以及dY ;以及由與從圖像坐標(biāo)系到機(jī)械手坐標(biāo)系的變換相關(guān)的6個(gè)參數(shù)A F構(gòu)成的變換函數(shù)。進(jìn)而，如圖12C的操作滑塊860所示，CPU61 (用戶支援邏輯61a)響應(yīng)于用戶的操作而變更所決定的拍攝開始條件。即，作為輸入單元的鍵盤65以及/或者鼠標(biāo)66，針對(duì)顯示在顯示器67上的圖像接受對(duì)用于 表示需檢測(cè)的工件的區(qū)域的指定。接收到的該指令傳送至CPU61 (用戶支援邏輯61a)。另外，CPU61(用戶支援邏輯61a)以使作為一連串拍攝的對(duì)象的拍攝范圍之間的重疊范圍至少包括用于表示需檢測(cè)的工件的區(qū)域的方式?jīng)Q定拍攝開始條件。換言之，CPU61 (用戶支援邏輯61a)將拍攝開始條件決定為，作為一連串拍攝的對(duì)象的拍攝范圍之間的重疊范圍在搬運(yùn)方向上的長(zhǎng)度大于用于表示需檢測(cè)的工件的區(qū)域的對(duì)角線的長(zhǎng)度。(g4:流程圖)接下來，對(duì)上述第一實(shí)施方式的拍攝開始條件的設(shè)定處理的步驟進(jìn)行說明。圖13是表示本發(fā)明第一實(shí)施方式的拍攝開始條件的設(shè)定處理的步驟的流程圖。參照?qǐng)D13，如果指示了開始執(zhí)行用戶支援功能(在步驟SlOO中為“是”)，則CPU61(用戶支援邏輯61a)顯示包括如圖IlA及圖12A所示的用于選擇計(jì)測(cè)處理的菜單的引導(dǎo)畫面(步驟S102)。然后，CPU61判斷在“檢索處理”和“二值化處理”中選擇了哪一個(gè)處理(步驟S104)。在選擇了“檢索處理”的情況下(在步驟S104中為“檢索處理”的情況下)，處理進(jìn)入到步驟S110，在選擇了 “二值化處理”的情況下(在步驟S104中為“二值化處理”的情況下)，處理進(jìn)入到步驟S120。在步驟SllO中，CPU61顯示拍攝部110拍攝得到的圖像(步驟SI 10)，進(jìn)而接受用戶對(duì)模型區(qū)域844的指定(步驟S112)。如果用戶指定了模型區(qū)域844，則CPU61取得所指定的模型區(qū)域844的大小(步驟S114)，進(jìn)而根據(jù)該模型區(qū)域844的大小(對(duì)角線的長(zhǎng)度)來計(jì)算拍攝開始條件(觸發(fā)周期；重疊范圍的長(zhǎng)度L)(步驟S116)。進(jìn)而，CPU61將所計(jì)算的拍攝開始條件和輸送機(jī)的移動(dòng)方向等，重疊顯示在顯示中的圖像上。(步驟S118)。在步驟S120中，CPU61顯示拍攝部110拍攝得到的圖像，進(jìn)而接受用戶對(duì)二值化水平的指定(步驟S122)。如果用戶指定了二值化水平，則CPU61根據(jù)所指定的二值化水平來執(zhí)行二值化處理(步驟S124)。接著，CPU61對(duì)通過二值化處理得到的結(jié)果圖像所包括的特定像素群進(jìn)行分組，并決定包圍確定為檢測(cè)對(duì)象的各工件的外接矩形區(qū)域846 (步驟S126)。進(jìn)而，CPU61在所決定的多個(gè)外接矩形區(qū)域846中確定對(duì)角線的長(zhǎng)度最大的外接矩形區(qū)域，并將該對(duì)角線的長(zhǎng)度的最大值決定為工件尺寸的最大值(工件的最大尺寸)(步驟S128)。CPU61根據(jù)所決定的工件尺寸的最大值(工件的最大尺寸)來計(jì)算拍攝開始條件(觸發(fā)周期；重疊范圍的長(zhǎng)度L)(步驟S130)。進(jìn)而，CPU61將計(jì)算出的拍攝開始條件和輸送機(jī)的移動(dòng)方向等，重疊顯示在顯示中的圖像上(步驟S132)。
然后，CPU61接受用戶對(duì)重疊范圍的長(zhǎng)度L的變更(步驟S140)。S卩，用戶一邊觀察顯示在引導(dǎo)畫面上的圖像(或者結(jié)果圖像)及區(qū)域標(biāo)記等，一邊微調(diào)成適當(dāng)?shù)闹丿B范圍的長(zhǎng)度L。如果用戶變更了重疊范圍的長(zhǎng)度L，則CPU61響應(yīng)于該變更而更新拍攝開始條件(步驟 S142)。進(jìn)而，CPU61反復(fù)進(jìn)行步驟S140以后的處理，直到被指示結(jié)束用戶支援功能為止(在步驟S 144中為“是”)。〈H.第二實(shí)施方式〉(hi:概要)接下來，作為第二實(shí)施方式，對(duì)以下例子進(jìn)行說 明在跟蹤對(duì)象的工件的尺寸為已知的情況下，用戶通過設(shè)定工件尺寸來自動(dòng)設(shè)定拍攝開始條件。例如，在一般的生產(chǎn)流水線上等，多數(shù)情況下，根據(jù)設(shè)計(jì)規(guī)格明細(xì)、模具等的尺寸，能夠知道成品或半成品的大小。在這樣的情況下，無需使用拍攝部110實(shí)際進(jìn)行拍攝，而根據(jù)該工件尺寸的信息來決定拍攝開始條件(重疊范圍的長(zhǎng)度)也可。與上述第一實(shí)施方式同樣地，所決定的拍攝開始條件被視為所謂的默認(rèn)設(shè)定，用戶根據(jù)需要，可以任意地變更這些拍攝開始條件。(h2:引導(dǎo)畫面例I)圖14是表示本發(fā)明第二實(shí)施方式的用戶界面的一例的圖。如果指示了開始執(zhí)行本實(shí)施方式的用戶支援功能，則如圖14所示的引導(dǎo)畫面805顯示在顯示器67 (圖5)上。引導(dǎo)畫面805包括數(shù)值框881，用于輸入(變更)作為拍攝開始條件的觸發(fā)間隔；數(shù)值框882，用于輸入工件尺寸。圖14中示出了將觸發(fā)間隔和工件尺寸均用最實(shí)用的機(jī)械手坐標(biāo)系上的值(作為一例，采用了“毫米”單位)來輸入的例子，但也可以用圖像坐標(biāo)系上的值(作為一例，采用了“像素?cái)?shù)/pixel”)或者脈沖數(shù)來進(jìn)行輸入。首先，如果輸入了工件尺寸，則在虛擬顯示區(qū)域883中顯示用于表示檢測(cè)對(duì)象的工件的尺寸的圓標(biāo)記887和與其相關(guān)聯(lián)的第一拍攝范圍884及第二拍攝范圍885。第一拍攝徂圍884及弟_■拍攝徂圍885被顯不為基于由視覺傳感器100 (拍攝部110)拍攝得到的圖像的大小(即，寬度WDX高度HT[pixel])和輸入至數(shù)值框882的工件尺寸之間的相對(duì)關(guān)系的大小。更具體地講，第一拍攝范圍884(用實(shí)線示出)設(shè)定在內(nèi)接于通過所輸入的工件尺寸來規(guī)定的工件的位置。另外，第二拍攝范圍885 (用虛線示出)被初始設(shè)定成，該第二拍攝范圍885和第一拍攝范圍884的重疊范圍(兩個(gè)范圍的重疊部分)包括整個(gè)工件。如果這樣設(shè)定了第一拍攝范圍884和第二拍攝范圍885，則拍攝開始條件(觸發(fā)間隔)也被隨之決定，所決定的該拍攝開始條件(觸發(fā)間隔)顯示在數(shù)值框881中。另外，引導(dǎo)畫面805包括調(diào)整滑塊886。該調(diào)整滑塊886與第二拍攝范圍885的相對(duì)位置相連動(dòng)，用戶通過操作調(diào)整滑塊886，能夠?qū)Φ谝慌臄z范圍884和第二拍攝范圍885間的重疊范圍的長(zhǎng)度進(jìn)行調(diào)整。即，如果用戶操作了調(diào)整滑塊886，則在顯示于虛擬顯示區(qū)域883上的第一拍攝范圍884和用于表示工件尺寸的圓標(biāo)記887的位置被固定的狀態(tài)下，第二拍攝范圍885沿著紙面左右方向上移動(dòng)。此外，顯示在數(shù)值框881中的觸發(fā)間隔值，會(huì)與用戶對(duì)調(diào)整滑塊886的操作連動(dòng)而隨時(shí)被更新。此外，根據(jù)在數(shù)值框882中輸入的工件尺寸，可以由以下公式計(jì)算出拍攝開始條件的初始值。(觸發(fā)間隔)={(圖像尺寸)_(用戶設(shè)定的工件尺寸)}/(與編碼器的I個(gè)脈沖相對(duì)應(yīng)的移動(dòng)量)但是，作為實(shí)現(xiàn)方式，并不計(jì)算對(duì)角線的長(zhǎng)度，而只是在機(jī)械手坐標(biāo)系的X軸方向和Y軸方向中，著眼于工件W以更大的幅度移動(dòng)的方向上的成分，來決定拍攝開始條件即可。更具體的計(jì)算方式與上述第一實(shí)施方式相同，所以不再重復(fù)其詳細(xì)說明。圖14所示的拍攝開始條件的設(shè)定處理的步驟，可以通過如圖15所示的流程圖來示出。圖15是表示本發(fā)明第二實(shí)施方式的拍攝開始條件的設(shè)定處理的步驟的流程圖。參照?qǐng)D15，如果指示了開始執(zhí)行用戶支援功能(在步驟S200中為“是”)，則CPU61(用戶支援邏輯61a)顯示圖14所示的引導(dǎo)畫面805 (步驟S202)。然后，CPU61等待用戶向數(shù)值框882輸入工件尺寸(步驟S204)。如果輸入了工件尺寸(在步驟S204中為“是”)，則CPU61基于由視覺傳感器100 (拍攝部110)拍攝得到的圖像的大小和所輸入的工件尺寸等，來計(jì)算拍攝開始條件(觸發(fā)間隔)的初始值(步驟S206)。接著，CPU61基于計(jì)算出的拍攝開始條件的初始值，在虛擬顯示區(qū)域883中顯示用于表示檢測(cè)對(duì)象工件的尺寸的圓標(biāo)記887和第一拍攝范圍884及第二拍攝范圍885 (步驟S208)。接著，CPU61等待用戶對(duì)調(diào)整滑塊886進(jìn)行操作(步驟S210)。如果操作了調(diào)整滑塊886(在步驟S210中為“是”)，則CPU61根據(jù)用戶對(duì)調(diào)整滑塊886的操作量，來對(duì)先已決定的拍攝開始條件進(jìn)行更新(步驟S212)，并對(duì) 虛擬顯示區(qū)域883中的顯示內(nèi)容也進(jìn)行更新(步驟 S214)。CPU61反復(fù)進(jìn)行步驟S210以后的處理，直到指示了結(jié)束用戶支援功能為止(在步驟S216中為“是”)。如果概括如上所述的處理，則可表達(dá)為如下。就本實(shí)施方式的支援功能而言，在作為顯示單元的顯示器67上，同時(shí)顯示與被輸送機(jī)10 (搬運(yùn)裝置)搬運(yùn)的工件W相對(duì)應(yīng)的范圍和作為一連串拍攝的對(duì)象的多個(gè)拍攝范圍，并響應(yīng)于用戶對(duì)所顯示的多個(gè)拍攝范圍的操作而決定重疊范圍。進(jìn)而，利用拍攝部110的拍攝范圍和輸送機(jī)10(搬運(yùn)裝置)的屬性之間的關(guān)系，根據(jù)所決定的重疊范圍的大小來決定用輸送機(jī)10的移動(dòng)量定義的拍攝部110的拍攝開始條件。即，在作為顯示單元的顯示器67上，顯示與被輸送機(jī)10搬運(yùn)的工件相對(duì)應(yīng)的范圍(圓標(biāo)記887)和作為一連串拍攝的對(duì)象的各拍攝范圍(第一拍攝范圍884和第二拍攝范圍885)。此時(shí)，顯示器67同時(shí)顯示作為一連串拍攝的對(duì)象的多個(gè)拍攝范圍。另外，作為輸入單元的鍵盤65以及/或者鼠標(biāo)66，接受對(duì)所顯示的工件的大小的指定(引導(dǎo)畫面805中的數(shù)值框882)。CPU61 (用戶支援邏輯61a)利用拍攝部110的拍攝范圍和輸送機(jī)10的物理長(zhǎng)度之間的關(guān)系，根據(jù)在顯示器67上顯示的拍攝范圍的位置關(guān)系，來決定用輸送機(jī)10的移動(dòng)量定義的拍攝部110的拍攝開始條件。進(jìn)而，CPU61(用戶支援邏輯61a)響應(yīng)于用戶的操作(引導(dǎo)畫面805中的調(diào)整滑塊886)而變更在顯示器67上顯示的拍攝范圍。(h3:引導(dǎo)畫面例2)在上述引導(dǎo)畫面例I中示出了如下結(jié)構(gòu)的例子，該結(jié)構(gòu)為，作為用于設(shè)定重疊范圍的用戶界面，采用了在固定第一拍攝范圍884和工件位置的情況下使第二拍攝范圍的位置滑動(dòng)的結(jié)構(gòu)。而在以下所說明的引導(dǎo)畫面例2中，示出了采用如下結(jié)構(gòu)的例子再現(xiàn)(想象)實(shí)際的搬運(yùn)路徑，通過使工件位置滑動(dòng)來設(shè)定拍攝開始條件。圖16A、圖16B是表示本發(fā)明第二實(shí)施方式的用戶界面的另一例的圖。如果指示了開始執(zhí)行本實(shí)施方式的用戶支援功能，則首先在顯示器67 (圖5)上顯示如圖16A所示的引導(dǎo)畫面806。引導(dǎo)畫面806也包括數(shù)值框881，用于輸入(變更)作為拍攝開始條件的觸發(fā)間隔；數(shù)值框882，用于輸入工件尺寸。如果在數(shù)值框882中輸入了任一工件尺寸，則會(huì)在用于模仿實(shí)際的輸送機(jī)的虛擬顯示區(qū)域890上顯示用于表示檢測(cè)對(duì)象的工件的尺寸的圓標(biāo)記893。疊加顯示圓標(biāo)記893的虛擬顯示區(qū)域890的顯示范圍與調(diào)整滑塊894相連動(dòng)，用戶通過對(duì)調(diào)整滑塊894進(jìn)行操作，能夠使整個(gè)虛擬顯示區(qū)域890沿著紙面左右方向滑動(dòng)。即，示出了工件尺寸的用于模仿輸送機(jī)的圖像，會(huì)響應(yīng)于對(duì)調(diào)整滑塊894的滑動(dòng)操作而移動(dòng)。用戶在對(duì)調(diào)整滑塊894進(jìn)行操作以使用于表示工件的圓標(biāo)記893位于適當(dāng)?shù)奈恢玫臓顟B(tài)下，利用響應(yīng)于鼠標(biāo)操作而移動(dòng)的光標(biāo)895等來選擇拍攝頭圖標(biāo)896。這樣，可以設(shè)定如圖16A所不的弟一拍攝徂圍891。此外，在選擇拍攝頭圖標(biāo)896之如，將可設(shè)定弟一拍攝范圍891的區(qū)域以表示未確定的狀態(tài)的方式(在圖16A的例子中的虛線)來顯示，而在選擇了拍攝頭圖標(biāo)896之后，將第一拍攝范圍891的區(qū)域以表示已完成設(shè)定的狀態(tài)的方式(在圖16B的例子中的實(shí)線)來顯示。若第一拍攝范圍891已被設(shè)定，則第一拍攝范圍891對(duì)虛擬顯示區(qū)域890 (表示的工件)的相對(duì)位置也被固定。即，已被設(shè)定的第一拍攝范圍891會(huì)與用戶對(duì)調(diào)整滑塊894的操作連動(dòng)而沿著紙面左右方向滑動(dòng)。此外，在該時(shí)間點(diǎn)，撤銷圖標(biāo)897處于非激活狀態(tài)(grayout)。接著，用戶在第一拍攝范圍891已被設(shè)定的狀態(tài)下，進(jìn)一步操作調(diào)整滑塊894來使虛擬顯示區(qū)域890滑動(dòng)，由此調(diào)整與先已設(shè)定的第一拍攝范圍891的相對(duì)距離。在這樣的情況下，將可設(shè)定第二拍攝范圍892的區(qū)域也以表示未確定的狀態(tài)的方式(在圖16B的例子中的虛線)來顯示。
用戶通過對(duì)疊加顯示在虛擬顯示區(qū)域890上的第一拍攝范圍891 (實(shí)線)和還未確定的第二拍攝范圍892 (虛線)進(jìn)行比較，力決定兩者的重疊程度。用戶在將兩者的重疊程度調(diào)節(jié)成適當(dāng)位置的情況下，選擇拍攝頭圖標(biāo)896。這樣，第一拍攝范圍891和第二拍攝范圍892的相對(duì)位置關(guān)系已被決定，所以兩者的重疊程度(重疊范圍)也被確定，由此能夠計(jì)算拍攝開始條件(觸發(fā)間隔)的初始值。此外，如果用戶選擇了撤銷圖標(biāo)897，則會(huì)使先已決定的拍攝開始條件(觸發(fā)間隔)復(fù)位。因此，在圖16A、圖16B所示的引導(dǎo)畫面806中，當(dāng)用戶從初始設(shè)定值起進(jìn)行變更時(shí)，在選擇了撤銷圖標(biāo)897之后，再次對(duì)調(diào)整滑塊894進(jìn)行操作，并再次選擇拍攝頭圖標(biāo)896。用于設(shè)定拍攝開始條件的基本的處理與上述圖14所示的流程圖相同，所以在此不再重復(fù)其詳細(xì)說明?！碔.第三實(shí)施方式>接下來，作為第三實(shí)施方式，對(duì)于用戶一邊直接確認(rèn)視場(chǎng)范圍一邊決定拍攝開始條件的例子進(jìn)行說明。圖17A 圖17C是表示本發(fā)明第三實(shí)施方式的用戶界面的一例的圖。圖18A、圖18B是用于說明對(duì)應(yīng)于圖17A 圖17C的工件W的配置狀態(tài)的圖。如果指示了開始執(zhí)行本實(shí)施方式的用戶支援功能，則如圖17A所示，在顯示器67(圖5)上顯示包括用于選擇計(jì)測(cè)處理的菜單的引導(dǎo)畫面807。在引導(dǎo)畫面807上，拍攝部110拍攝得到的圖像顯示在顯示區(qū)域840。優(yōu)選地，在顯示區(qū)域840上顯示的該圖像，響應(yīng)于拍攝部110的拍攝時(shí)刻而順次被更新。如圖18A所示，用戶在既位于拍攝部110的拍攝范圍內(nèi)又位于輸送機(jī)10的上游側(cè)的位置上，配置檢測(cè)對(duì)象的工件W。例如，在工件W配置為如圖17A所示的位置關(guān)系的狀態(tài)下，用戶選擇引導(dǎo)畫面807上的拍攝按鈕862。通過第一次選擇拍攝按鈕862，來計(jì)算第一個(gè)拍攝時(shí)刻。即，取得對(duì)應(yīng)于第一個(gè)拍攝時(shí)刻的計(jì)數(shù)值。接著，如圖18B所示，用戶通過驅(qū)動(dòng)輸送機(jī)10來 將工件W配置在既位于拍攝部110的拍攝范圍內(nèi)又位于輸送機(jī)10的下游側(cè)的位置。即，用戶一邊確認(rèn)顯示在引導(dǎo)畫面807上的顯示區(qū)域840的內(nèi)容，一邊尋找對(duì)應(yīng)于第二個(gè)拍攝時(shí)刻的工件W的相對(duì)位置。然后，在變成應(yīng)設(shè)定為第二個(gè)拍攝時(shí)刻的相對(duì)位置的狀態(tài)下，用戶選擇引導(dǎo)畫面807上的拍攝按鈕862。這樣，能夠取得對(duì)應(yīng)于第二個(gè)拍攝時(shí)刻的計(jì)數(shù)值。另外，基于與第一個(gè)拍攝時(shí)刻對(duì)應(yīng)的計(jì)數(shù)值和與第二個(gè)拍攝時(shí)刻對(duì)應(yīng)的計(jì)數(shù)值，來計(jì)算拍攝開始條件(拍攝周期)。計(jì)算出的該拍攝開始條件顯示在引導(dǎo)畫面807的拍攝開始條件顯示部835上。典型地，用戶將工件正確定位為，不管是在第一個(gè)拍攝時(shí)刻還是在第二個(gè)拍攝時(shí)亥IJ，拍攝部110的拍攝范圍都包括同一個(gè)工件W。此外，即使是在自動(dòng)決定了如圖17C所示的拍攝開始條件之后，用戶也可以對(duì)該值進(jìn)行微調(diào)。用于設(shè)定拍攝開始條件的基本的處理與上述圖14所示的流程圖相同，所以在此不再重復(fù)其詳細(xì)說明如果根據(jù)第三實(shí)施方式，則用戶能夠一邊觀察實(shí)際拍攝得到的圖像的影像一邊調(diào)整拍攝時(shí)刻，因此能夠更直觀地決定拍攝開始條件?！碕.容許速度計(jì)算>按照上述第一 第三實(shí)施方式中的任一方法來決定了拍攝開始條件之后，也可以再?zèng)Q定在所決定的該拍攝開始條件下能夠容許的搬運(yùn)速度。下面，舉例說明用于決定這樣的能夠容許的搬運(yùn)速度的方法。如上所述，拍攝開始條件規(guī)定成由輸送機(jī)10的移動(dòng)距離(計(jì)數(shù)值)定義的觸發(fā)間隔。因此，輸送機(jī)10的移動(dòng)速度越高，則從某一次拍攝到下一次拍攝為止的時(shí)間間隔越短。因此，需要使拍攝的時(shí)間間隔長(zhǎng)于視覺傳感器100的拍攝動(dòng)作及對(duì)拍攝得到的圖像進(jìn)行計(jì)測(cè)處理所需的時(shí)間。因此，通過如下所述的步驟，可以事先計(jì)算出輸送機(jī)10的搬運(yùn)速度的上限值。圖19是表示在利用了本發(fā)明實(shí)施方式的視覺傳感器100的輸送機(jī)跟蹤系統(tǒng)中決定搬運(yùn)速度的上限值的步驟的流程圖。參照?qǐng)D19，首先，通過上述的任意方法來計(jì)算出拍攝開始條件以及對(duì)應(yīng)的重疊范圍的長(zhǎng)度L[pixel](步驟S300)。接下來，用戶執(zhí)行測(cè)試計(jì)測(cè)。更具體地講，用戶在輸送機(jī)10上配置多個(gè)工件W，并對(duì)這些工件W執(zhí)行計(jì)測(cè)處理(步驟S302)。加之，用戶一邊觀察對(duì)多個(gè)工件W的計(jì)測(cè)處理的處理結(jié)果等，一邊調(diào)整與計(jì)測(cè)處理相關(guān)的參數(shù)(步驟S304)。作為這些調(diào)整內(nèi)容，可以舉出對(duì)模型范圍的調(diào)整、對(duì)轉(zhuǎn)動(dòng)角度的分割數(shù)等的調(diào)整。以使計(jì)測(cè)処理所需的時(shí)間變得最少的方式，對(duì)參數(shù)進(jìn)行調(diào)整。如果該調(diào)整結(jié)束，則能夠得到計(jì)測(cè)處理所需的時(shí)間即計(jì)測(cè)處理時(shí)間T[sec](步驟S306)。基于該計(jì)測(cè)處理時(shí)間T，來計(jì)算輸送機(jī)10的搬運(yùn)速度的上限值(最大搬運(yùn)速度V [mm/sec])(步驟 S308)。更具體地講，與上述觸發(fā)間隔的計(jì)算方法相同地，根據(jù)工件W在X方向上的移動(dòng)量dX和在Y方向上移動(dòng)量dY之間的大小關(guān)系，由下述的某一公式計(jì)算最大搬運(yùn)速度V。(I)在 dX > dY 的情況最大搬運(yùn)速度V = {A · (WD-L)+B · HT}/T [mm/sec](2)在dX彡dY的情況最大搬運(yùn)速度V = {D · WD+E · (HT-L)} /T [mm/sec]這樣，在本實(shí)施方式的視覺傳感器100具有如下功能，即，基于拍攝開始條件(觸發(fā)間隔)和圖像處理裝置的計(jì)測(cè)處理時(shí)間(T[sec])之間的關(guān)系，來決定在搬運(yùn)裝置(輸送機(jī)10)中能夠容許的搬運(yùn)速度的功能。通過搭載這樣的功能，能夠容易地評(píng)價(jià)將視覺傳感器和搬運(yùn)裝置包括在內(nèi)的生產(chǎn)設(shè)備整體的生產(chǎn)能力?！碖.工作中的處理步驟〉接下來，對(duì)于按照通過如上所述的步驟所決定的拍攝開始條件來進(jìn)行工作中的處理步驟進(jìn)行說明。圖20表示利用了本發(fā)明實(shí)施方式的視覺傳感器100的輸送機(jī)跟蹤系統(tǒng)中的控制動(dòng)作的時(shí)序圖。參照?qǐng)D20，首先，對(duì)視覺傳感器100和機(jī)械手控制裝置200，均設(shè)定彼此相同的參數(shù)(計(jì)數(shù)器最大值、計(jì)數(shù)器最小值、與I個(gè)脈沖相對(duì)應(yīng)的增加值等)(步驟S I和S2)。然后，對(duì)視覺傳感器100和機(jī)械手控制裝置200，均執(zhí)行對(duì)各編碼計(jì)數(shù)器的復(fù)位(計(jì)數(shù)器復(fù)位)(步驟S3和S4)。這樣關(guān)于編碼計(jì)數(shù)器執(zhí)行了共同參數(shù)的設(shè)定處理和計(jì)數(shù)器復(fù)位處理，因此能夠使對(duì)來自編碼器14的脈沖信號(hào)所包含的脈沖數(shù)的計(jì)數(shù)動(dòng)作，在視覺傳感器100和機(jī)械手控制裝置200之間相同步。接著，視覺傳感器100的圖像處理部120判斷是否滿足拍攝開始條件(步驟S5)。即，視覺傳感器100的圖像處理部120判斷來自編碼器14的脈沖信號(hào)所包含的脈沖數(shù)是否從前一次拍攝時(shí)的值起增加了觸發(fā)間隔以上。如果滿足拍攝開始條件，則視覺傳感器100的圖像處理部120向視覺傳感器100發(fā)出拍攝指示(步驟S6)。視覺傳感器100的圖像處理部120與拍攝指示的發(fā)出同步地參照編碼計(jì)數(shù)器132，從而取得拍攝時(shí)的計(jì)數(shù)器值(CO)(步驟S7)。
接著，視覺傳感器100的圖像處理部120使拍攝部110執(zhí)行拍攝(步驟S8)。拍攝部110拍攝得到的圖像傳送至圖像處理部120。圖像處理部120對(duì)來自拍攝部110的圖像進(jìn)行計(jì)測(cè)處理(步驟S9)。進(jìn)而，圖像處理部120將通過步驟S9中的計(jì)測(cè)處理來得到的計(jì)測(cè)結(jié)果(各工件的位置信息(X，Y，Θ))，與在步驟S7中取得的計(jì)數(shù)器值CO—起發(fā)送至機(jī)械手控制裝置200(步驟SlO)。機(jī)械手控制裝置200基于來自圖像處理部120的計(jì)測(cè)結(jié)果來執(zhí)行重復(fù)排除處理(步驟SI I)。機(jī)械手控制裝置200的運(yùn)算處理部210判斷是否取得了新工件W的位置信息(步驟S12)，在取得了新工件W的位置信息的情況下(在步驟S12中為“是”的情況下)，向存儲(chǔ)器中存儲(chǔ)該新的位置信息(步驟S13)。然后，處理被返回。<L.機(jī)械手控制裝置的處理〉接下來，對(duì)于機(jī)械手控制裝置200的 處理進(jìn)行說明。圖21A 圖21D是表示本發(fā)明實(shí)施方式的機(jī)械手控制裝置200的處理的流程圖。在圖21A 圖21D中例示了機(jī)械手控制裝置200所執(zhí)行的主要的處理，但機(jī)械手控制裝置200的處理并不僅限于圖21A 圖21D所示的處理。圖21A示出了在編碼器14發(fā)出了脈沖信號(hào)的情況下所進(jìn)行的處理。更具體地講，圖21A的處理，將編碼器14發(fā)出脈沖信號(hào)且編碼計(jì)數(shù)器232完成計(jì)數(shù)作為事件而被起動(dòng)(步驟S50)。如果編碼計(jì)數(shù)器232完成計(jì)數(shù)(count up)，則存儲(chǔ)在機(jī)械手控制裝置200的存儲(chǔ)器中的各工件的位置信息被更新(步驟S51)。該位置信息的更新方法如下。如圖2所示，工件在X方向上被搬運(yùn)，而且將機(jī)械手300的跟蹤范圍的右端設(shè)為X方向的原點(diǎn)。此時(shí)，如果將與編碼器14的I個(gè)脈沖相對(duì)應(yīng)的輸送機(jī)的移動(dòng)量(移動(dòng)矢量)設(shè)為(dX，dY)，則更新前的位置信息為(Χ0，Υ0，Θ0)的工件W的位置信息，在輸入了 η個(gè)脈沖的情況下，更新后的位置信息變?yōu)?X0-dXXn，Y0-dYXn，Θ O)。即，對(duì)與I個(gè)脈沖相對(duì)應(yīng)的輸送機(jī)上的單位移動(dòng)量乘以脈沖數(shù)得到的值，就是工件W的移動(dòng)量(dXXn，dYXn)。而且，如果工件W向原點(diǎn)方向移動(dòng)，則工件的位置信息與該移動(dòng)量(移動(dòng)矢量)相對(duì)應(yīng)地被更新。然后，等待至編碼計(jì)數(shù)器232重新完成計(jì)數(shù)為止。在圖21B中也示出了在編碼器14發(fā)出了脈沖信號(hào)的情況下所進(jìn)行的處理。更具體地講，圖21B的處理，將編碼器14發(fā)出脈沖信號(hào)且編碼計(jì)數(shù)器232完成計(jì)數(shù)(步驟S50)作為事件而被起動(dòng)。如果編碼計(jì)數(shù)器232完成計(jì)數(shù)，則判斷發(fā)出拍攝指示的條件是否成立。例如，在上述例子中，判斷來自編碼器14的脈沖信號(hào)所包含的脈沖數(shù)是否與前一次拍攝時(shí)的值相比增加了規(guī)定值以上。然后，在發(fā)出拍攝指示的條件成立的情況下(在步驟S50中為“是”的情況下)，機(jī)械手控制裝置200向視覺傳感器100發(fā)送拍攝指示。圖21C是用于說明機(jī)械手300的把持動(dòng)作的圖。圖21C的處理，將工件的位置信息被更新(步驟S60)作為事件而被起動(dòng)。更具體地講，如果工件的位置信息被更新，則判斷在機(jī)械手300的跟蹤范圍內(nèi)是否存在任意的工件W(步驟S61)。在機(jī)械手300的跟蹤范圍內(nèi)存在任意工件W的情況下(在步驟S61中為“是”的情況下)，開始控制機(jī)械手300對(duì)工件W的把持動(dòng)作。具體地講，反復(fù)以下步驟取得位于跟蹤范圍內(nèi)的把持對(duì)象工件的位置信息(步驟S62);計(jì)算把持對(duì)象工件和機(jī)械手300之間的偏差(步驟S63);基于在步驟S63中計(jì)算出的偏差，來生成對(duì)機(jī)械手300和移動(dòng)機(jī)構(gòu)400的指示(步驟S64);對(duì)工件W的位置信息的更新(步驟S65)。然后，如果機(jī)械手300移動(dòng)至能夠把持工件W的位置，則機(jī)械手控制裝置200向機(jī)械手300發(fā)出把持動(dòng)作的指示(步驟S66)。接著，向把持狀態(tài)的機(jī)械手300發(fā)出移動(dòng)動(dòng)作的指示，該移動(dòng)動(dòng)作是用于將所把持的工件W移動(dòng)至目標(biāo)位置的動(dòng)作(步驟S67)。然后，處理被返回。圖21D處理，將接收到其他位置信息作為事件而被起動(dòng)。更具體地講，計(jì)算當(dāng)前的位置信息(步驟S69)，進(jìn)而，執(zhí)行重復(fù)排除處理(步驟S70)。然后，將位置信息存儲(chǔ)于存儲(chǔ)器中(步驟S71)。在步驟S69所示的計(jì)算工件W的當(dāng)前位置信息的計(jì)算方法中，將計(jì)算出拍攝時(shí)的計(jì)數(shù)值和各時(shí)間點(diǎn)的計(jì)數(shù)值之間的差分，并對(duì)該差分乘以與I個(gè)脈沖相對(duì)應(yīng)的輸送機(jī)的單位移動(dòng)量而得到的值，作為校正量。通過將該校正量適用于計(jì)測(cè)結(jié)果(從視覺傳感器100接收到的工件的位置信息)，能夠計(jì)算當(dāng)前位置信息。通過如上所述的處理步驟，能夠?qū)崿F(xiàn)本實(shí)施方式的輸送機(jī)跟蹤處理?！碝.輔助裝置的其他功能〉如上所述，輔助裝置600與視覺傳感器100及機(jī)械手控制裝置200均能進(jìn)行數(shù)據(jù)通信，因此能夠收集各種數(shù)據(jù)。于是，本實(shí)施方式的輔助裝置600也可以從視覺傳感器100收集當(dāng)進(jìn)行調(diào)整時(shí)作為計(jì)測(cè)處理對(duì)象的圖像。在從該視覺傳感器100收集作為計(jì)測(cè)處理對(duì)象的圖像的情況下，將各圖像與所對(duì)應(yīng)的計(jì)數(shù)值及計(jì)測(cè)值(坐標(biāo)值以及角度等)相關(guān)聯(lián)地進(jìn)行存儲(chǔ)。這些信息會(huì)經(jīng)由網(wǎng)絡(luò)NW從視覺傳感器100發(fā)送至輔助裝置600。 然后，存儲(chǔ)于輔助裝置600的硬盤64等中。尤其是，將所對(duì)應(yīng)的計(jì)數(shù)值作為關(guān)鍵字(key)，來將圖像和計(jì)測(cè)結(jié)果相關(guān)聯(lián)地進(jìn)行存儲(chǔ)，由此能夠使用與所期望的時(shí)刻相對(duì)應(yīng)的計(jì)數(shù)值來容易地檢索所需要的圖像和計(jì)測(cè)結(jié)果O通過準(zhǔn)備這樣的圖像和計(jì)測(cè)結(jié)果的數(shù)據(jù)庫，能夠提供如下所述的功能。即，在機(jī)械手300中，通過將機(jī)械手動(dòng)作(定位和跟蹤處理)與計(jì)數(shù)值相關(guān)聯(lián)地進(jìn)行記錄，能夠使機(jī)械手動(dòng)作與所對(duì)應(yīng)的圖像處理相關(guān)聯(lián)。這樣，例如在把持動(dòng)作失敗等情況下，為了追查失敗原因，能夠在輔助裝置600上再現(xiàn)作為把持對(duì)象的工件的圖像和計(jì)測(cè)結(jié)果。因此，能夠更加容易地對(duì)不良原因進(jìn)行解析?！碞.優(yōu)點(diǎn) >若根據(jù)本實(shí)施方式，則能夠減少輸送機(jī)跟蹤等與圖像處理系統(tǒng)有關(guān)的調(diào)整工時(shí)。即，用戶能夠一邊觀察從視覺傳感器100輸出的信息(例如，所拍攝的圖像、所登記的模型的外接矩形等)，一邊直觀地設(shè)定重疊范圍(觸發(fā)間隔)。另外，上述實(shí)施方式的視覺傳感器100并不僅限定于輸送機(jī)跟蹤等特定的領(lǐng)域，而能夠擴(kuò)張至作為標(biāo)準(zhǔn)配置而搭載于一般的圖像處理裝置上的計(jì)測(cè)處理中。即，在使用事先登記了模型的計(jì)測(cè)處理的情況下等，能夠以圖形的方式(graphical)設(shè)定最合適的觸發(fā)間隔(拍攝開始條件)。這次公開的實(shí)施方式在所有方面應(yīng)視為例示，而不可視為限定。本發(fā)明的范圍會(huì)通過權(quán)利要求書來示出而不是上述的說明，其包括與權(quán)利要求書等同的含義和其范圍內(nèi)的全部變更。
權(quán)利要求
1.一種用戶支援裝置，適用于圖像處理系統(tǒng)，其特征在于， 所述圖像處理系統(tǒng)具有 拍攝部，其配置成能夠拍攝被搬運(yùn)裝置搬運(yùn)的工件， 圖像處理裝置，其連接于所述拍攝部； 所述用戶支援裝置具有 顯示單元，其用于顯示所述拍攝部拍攝得到的圖像， 重疊范圍決定單元，其針對(duì)顯示在所述顯示單元上的圖像，決定拍攝范圍之間的重疊范圍， 拍攝開始條件決定單元，其利用所述拍攝部的拍攝范圍和所述搬運(yùn)裝置的屬性之間的關(guān)系，根據(jù)所決定的所述重疊范圍的大小來決定由所述搬運(yùn)裝置的移動(dòng)量定義的所述拍攝部的拍攝開始條件。
2.如權(quán)利要求I所述的用戶支援裝置，其特征在于，還具有變更單元，所述變更單元響應(yīng)于用戶的操作而變更所決定的所述拍攝開始條件。
3.如權(quán)利要求I或2所述的用戶支援裝置，其特征在于， 還具有計(jì)測(cè)單元，該計(jì)測(cè)單元對(duì)所述拍攝部拍攝得到的圖像進(jìn)行計(jì)測(cè)處理， 所述重疊范圍決定單元根據(jù)通過計(jì)測(cè)處理檢測(cè)到的范圍來決定所述重疊范圍。
4.如權(quán)利要求I或2所述的用戶支援裝置，其特征在于，所述重疊范圍決定單元針對(duì)顯示在所述顯示單元上的圖像，響應(yīng)于對(duì)需檢測(cè)的區(qū)域的指定而決定所述重疊范圍。
5.如權(quán)利要求I或2所述的用戶支援裝置，其特征在于，所述重疊范圍決定單元以至少包括用于表示需檢測(cè)的工件的區(qū)域的方式?jīng)Q定所述重疊范圍。
6.如權(quán)利要求5所述的用戶支援裝置，其特征在于，所述重疊范圍決定單元以比用于表示所述需檢測(cè)的工件的區(qū)域的對(duì)角線更長(zhǎng)的方式?jīng)Q定所述重疊范圍。
7.如權(quán)利要求I或2所述的用戶支援裝置，其特征在于，所述重疊范圍決定單元具有 將作為一連串拍攝的對(duì)象的多個(gè)拍攝范圍，和與被搬運(yùn)裝置搬運(yùn)的工件對(duì)應(yīng)的范圍一起同時(shí)顯示的單元； 響應(yīng)于用戶對(duì)所顯示的所述多個(gè)拍攝范圍的操作而決定所述重疊范圍的單元。
8.如權(quán)利要求I 7中任一項(xiàng)所述的用戶支援裝置，其特征在于，還具有如下單元，SP，根據(jù)所述拍攝開始條件和所述圖像處理裝置的計(jì)測(cè)處理時(shí)間之間的關(guān)系，來決定所述搬運(yùn)裝置的容許搬運(yùn)速度的單元。
9.如權(quán)利要求I 8中任一項(xiàng)所述的用戶支援裝置，其特征在于，還具有如下單元，即，根據(jù)所述拍攝開始條件和所述圖像處理裝置的計(jì)測(cè)處理時(shí)間之間的關(guān)系，來決定所述搬運(yùn)裝置的容許搬運(yùn)速度的單元。
10.一種程序，在計(jì)算機(jī)上執(zhí)行，使得該計(jì)算機(jī)發(fā)揮適用于圖像處理系統(tǒng)的用戶支援裝置的功能，其特征在于， 所述圖像處理系統(tǒng)具有 拍攝部，其配置成能夠拍攝被搬運(yùn)裝置搬運(yùn)的工件， 圖像處理裝置，其連接于所述拍攝部； 所述程序使所述計(jì)算機(jī)發(fā)揮以下單元的功能 顯示單元，其用于顯示所述拍攝部拍攝得到的圖像，重疊范圍決定單元，其針對(duì)顯示在所述顯示單元上的圖像，決定拍攝范圍之間的重疊范圍， 拍攝開始條件決定單元，其利用所述拍攝部的拍攝范圍和所述搬運(yùn)裝置的屬性之間的關(guān)系，根據(jù)所決定的所述重疊范圍的大小來決定由所述搬運(yùn)裝置的移動(dòng)量定義的所述拍攝部的拍攝開始條件。
11.一種圖像處理裝置，連接于拍攝部，該拍攝部配置成能夠拍攝被搬運(yùn)裝置搬運(yùn)的工件，其特征在于，具有 顯示單元，其用于顯示所述拍攝部拍攝得到的圖像； 重疊范圍決定單元，其針對(duì)顯示在所述顯示單元上的圖像，決定拍攝范圍之間的重疊范圍； 拍攝開始條件決定單元，其利用所述拍攝部的拍攝范圍和所述搬運(yùn)裝置的屬性之間的關(guān)系，根據(jù)所決定的所述重疊范圍的大小來決定由所述搬運(yùn)裝置的移動(dòng)量定義的所述拍攝部的拍攝開始條件。
全文摘要
提供一種用戶在輸送機(jī)跟蹤等圖像處理系統(tǒng)中能夠容易地設(shè)定拍攝部進(jìn)行拍攝所需的拍攝開始條件的用戶支援裝置、用于實(shí)現(xiàn)該功能的程序以及具有該功能的圖像處理裝置。用戶支援裝置包括顯示單元，其用于顯示拍攝部拍攝得到的圖像；輸入單元，其針對(duì)顯示在顯示單元的圖像，接受對(duì)用于表示需檢測(cè)的工件的區(qū)域的指定；決定單元，其利用拍攝部的拍攝范圍和搬運(yùn)裝置的物理長(zhǎng)度之間的關(guān)系，根據(jù)用于表示需檢測(cè)的工件的區(qū)域的大小，來決定由搬運(yùn)裝置的移動(dòng)量定義的拍攝部的拍攝開始條件。
文檔編號(hào)G01B11/00GK102674072SQ201110370248
公開日2012年9月19日 申請(qǐng)日期2011年11月14日 優(yōu)先權(quán)日2011年3月15日
發(fā)明者中下直哉, 枦山博幸, 池田泰之, 藤川正寬 申請(qǐng)人:歐姆龍株式會(huì)社