傳輸來的檢測出托盤時的編碼器52的檢測值，來以機器人坐標(biāo)系獲得所探測到的托盤54的位置以及排列圖案58的圖案要素Pl?P4(圖12)的坐標(biāo)值及相對旋轉(zhuǎn)角度。將全部圖案要素Pl?P4的坐標(biāo)值及相對旋轉(zhuǎn)角度的信息暫時保持到信息管理部106A中，將未被第一機構(gòu)部14A放置物品M的圖案要素Pl?P4的信息作為前述的包γ的信息并經(jīng)由通信網(wǎng)絡(luò)傳輸?shù)降诙刂撇?0Β的信息管理部106Β。同樣地，將信息管理部106Β中保持的圖案要素Pl?Ρ4的信息中的未被第二機構(gòu)部14Β放置物品M的圖案要素Pl?Ρ4的信息作為前述的包γ的信息并經(jīng)由通信網(wǎng)絡(luò)傳輸?shù)降谌刂撇?0C的信息管理部106C。
[0091]如圖11所示，圖像處理部18除了具有物品檢測部32、物品跟蹤部34以及輔助跟蹤部50以外，還具有條件設(shè)定部110和物品管理部112。在條件設(shè)定部110中，對作為檢測或跟蹤對象的物品M的教學(xué)模型圖像、在物品檢測中使用的參數(shù)(坐標(biāo)值、旋轉(zhuǎn)角度、尺寸等)、第一照相機?第三照相機16A、16B、16C(圖5)的校準(zhǔn)數(shù)據(jù)等用于進(jìn)行物品M的檢測、跟蹤的諸條件進(jìn)行設(shè)定。另外，條件設(shè)定部110能夠通過與第一控制部20A的作業(yè)內(nèi)容設(shè)定部102A進(jìn)行通信來獲取第一機構(gòu)部?第三機構(gòu)部14A、14B、14C的作業(yè)區(qū)域22A、22B、22C(圖5)的信息。
[0092]物品檢測部32在從作業(yè)開始起輸送機12(圖5)移動了預(yù)先決定的時間時，使用第一照相機16A來開始物品M的初始檢測?；蛘撸材軌蛟诠怆姽軅鞲衅鞯韧獠總鞲衅?未圖示)檢測出輸送機12移動了規(guī)定時間時，開始物品M的初始檢測。物品檢測部32能夠使用以下方法等公知的各種檢測算法來獲取物品M的初始位置信息Dl (圖5)，上述方法是:從第一照相機16A所拍攝到的圖像搜索與預(yù)先登記的模型圖像一致的圖像來檢測物品M(例如歸一化互相關(guān)法)；從預(yù)先登記的模型圖像提取物品M的輪廓，基于該輪廓的信息來求出第一照相機16A所拍攝到的圖像上的物品M的位置信息(例如廣義霍夫變換法)；通過在第一照相機16A所拍攝到的圖像中提取具有預(yù)先登記的范圍的面積的區(qū)域來求出物品M的位置信息(例如Blob檢測法)。
[0093]物品檢測部32當(dāng)物品M的初始檢測成功時，設(shè)定表不所檢測出的物品M是新發(fā)現(xiàn)的物品的標(biāo)志(以下稱為新標(biāo)志)，將新標(biāo)志與所檢測出的物品M的初始位置信息D1、拍攝到該物品M的第一照相機16A的照相機ID、該物品M的拍攝時刻、該物品M的新的物品ID之類的信息一起傳輸?shù)轿锲饭芾聿?12。物品管理部112在將從物品檢測部32接收到的這些信息傳輸?shù)轿锲犯櫜?4的同時，將接收到的上述信息作為前述的包α的信息傳輸?shù)降谝豢刂撇?0Α的信息管理部106Α。
[0094]物品跟蹤部34在與從物品管理部112接收到的初始位置信息Dl對應(yīng)的物品M進(jìn)入第二照相機16Β的視場24 (圖5)時，使用第二照相機16Β來開始該物品M的跟蹤。另外，物品跟蹤部34將從物品管理部112接收到的物品M的初始位置信息Dl作為初始值來進(jìn)行該物品M的跟蹤。利用物品檢測部32進(jìn)彳丁初始檢測時對物品M賦予的固有的物品ID在物品跟蹤部34中也維持原樣?；诘诙障鄼C16Β以極短的第二周期Τ2重復(fù)拍攝物品M而得到的圖像數(shù)據(jù)，將本次拍攝時的諸信息(位置信息、外觀特征信息)與上一次及上一次之前拍攝時的諸信息進(jìn)行比較，由此以序貫的方式進(jìn)行物品跟蹤部34對物品M的跟蹤。作為用于進(jìn)行這種序貫的跟蹤的檢測算法，例如能夠使用能夠進(jìn)行非線性/非高斯型的系統(tǒng)的估計的粒子濾波算法(也稱為粒子過濾算法或序貫蒙特卡羅方法)(關(guān)于粒子濾波算法，例如參照“日本機器人學(xué)會志(日本口求、y卜學(xué)會誌)Vol.29，N0.5，pp427-430，2011”)。
[0095]物品跟蹤部34將通過跟蹤而獲取到的物品M的最新的移動位置信息D2 (圖5)、拍攝到該物品M的第二照相機16B的照相機ID、該物品M的拍攝時刻、該物品M的物品ID之類的信息以序貫的方式傳輸?shù)轿锲饭芾聿?12。物品管理部112在將從物品跟蹤部34接收到的這些信息傳輸?shù)捷o助跟蹤部50的同時，將接收到的上述信息作為前述的包β的信息傳輸?shù)降谝豢刂撇?第三控制部20A、20B、20C的信息管理部106A、106B、106C。
[0096]輔助跟蹤部50在與從物品管理部112接收到的移動位置信息D2對應(yīng)的物品M進(jìn)入到第三照相機16C的視場46(圖5)時，使用第三照相機16C來開始該物品M的跟蹤。另外，輔助跟蹤部50將從物品管理部112接收到的物品M進(jìn)入到第三照相機16C的視場46 (圖5)時的移動位置信息D2作為初始值來進(jìn)行該物品M的跟蹤。在由輔助跟蹤部50進(jìn)行的跟蹤處理中，除了由第三照相機16C拍攝物品M以外，與上述的由物品跟蹤部34進(jìn)行的跟蹤處理實質(zhì)上相同。輔助跟蹤部50將通過跟蹤而獲取到的物品M的最新的追加移動位置信息D3 (圖5)、拍攝到該物品M的第三照相機16C的照相機ID、該物品M的拍攝時刻、該物品M的物品ID之類的信息以序貫的方式傳輸?shù)轿锲饭芾聿?12。物品管理部112將從輔助跟蹤部50接收到的這些信息作為前述的包β的信息傳輸?shù)降谝豢刂撇?第三控制部20A、20B、20C 的信息管理部 106A、106B、106C。
[0097]作為用于物品跟蹤的檢測算法，物品跟蹤部34和輔助跟蹤部50也能夠與物品檢測部32同樣地使用歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法等公知的圖案識別算法來代替前述的粒子濾波算法。在此，通常，相比粒子濾波算法而言，歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法等的檢測精度高，但處理速度慢。在物品跟蹤處理中使用歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法等的情況下，相比由物品檢測部32在進(jìn)行初始檢測時使用這些方法的情況而言，通過縮小第二照相機16B和第三照相機16C所拍攝到的二維圖像上的檢測對象區(qū)域、檢測用參數(shù)(坐標(biāo)值、旋轉(zhuǎn)角度、尺寸、面積等)的范圍，能夠避免跟蹤所需的時間的增加。例如，在將旋轉(zhuǎn)角度指定為檢測用參數(shù)的情況下，通過物品檢測部32不能清楚物品M的位置、姿勢，因此例如在土 180度的范圍內(nèi)進(jìn)行初始檢測來獲得物品M的初始位置信息D1，與此相對，在由物品跟蹤部34和輔助跟蹤部50使用歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法等的情況下，在上一次跟蹤的結(jié)果相對于初始檢測不會發(fā)生大幅變化的前提下，能夠縮小到±5度的范圍來進(jìn)行物品檢測(跟蹤)。
[0098]接著，參照圖13來說明圖像處理部18的物品跟蹤部34 (圖11)對物品M的跟蹤處理的一例。此外，圖像處理部18的輔助跟蹤部50(圖11)能夠執(zhí)行與物品跟蹤部34所執(zhí)行的下述跟蹤處理同樣的跟蹤處理。
[0099]如圖13所示，對于以不規(guī)則配置的方式被輸送機12支承并搬運的多個物品M，第一機構(gòu)部14A在任意的物品M存在于作業(yè)區(qū)域22A的期間內(nèi)執(zhí)行該物品M的把持和取出動作，第二機構(gòu)部14B在任意的物品M存在于作業(yè)區(qū)域22B的期間內(nèi)執(zhí)行該物品M的把持和取出動作。另一方面，第二照相機16B以第二周期T2重復(fù)拍攝視場24內(nèi)的全部物品M。在此，物品跟蹤部34所進(jìn)行的跟蹤處理的計算負(fù)荷主要是由第二照相機16B所拍攝到的圖像數(shù)據(jù)的大小、物品檢測中使用的算法的種類、作為檢測對象的物品M的個數(shù)以及物品檢測用的參數(shù)的范圍決定的。在假定要檢測的物品M的個數(shù)和算法相同的情況下，通過降低圖像數(shù)據(jù)的分辨率或縮小檢測用的參數(shù)的范圍來減輕物品跟蹤部34的計算負(fù)荷。
[0100]第二照相機16B所拍攝到的圖像數(shù)據(jù)的大小即分辨率會影響物品跟蹤部34對物品M的檢測精度，并影響由第一機構(gòu)部14A和第二機構(gòu)部14B進(jìn)行的物品把持的動作精度。實際上，在第一機構(gòu)部14A和第二機構(gòu)部14B的作業(yè)區(qū)域22A、22B的內(nèi)部，要求高的檢測精度和動作精度，另一方面，作業(yè)區(qū)域22A、22B的外部的檢測精度與第一機構(gòu)部14A和第二機構(gòu)部14B的把持動作無關(guān)。因此，通過在第二照相機16B的視場24中的作業(yè)區(qū)域22A、22B的內(nèi)部和外部使用分辨率不同的圖像數(shù)據(jù)，能夠減輕物品跟蹤部34的計算負(fù)荷。
[0101]如圖11所示，圖像處理部18的條件設(shè)定部110與第一控制部20A的作業(yè)內(nèi)容設(shè)定部102A進(jìn)行通信，獲取關(guān)于將第一機構(gòu)部14A和第二機構(gòu)部14B的作業(yè)區(qū)域22A、22B設(shè)定于輸送機12的何處的信息，來作為輸送機坐標(biāo)系30中的位置信息。物品跟蹤部34構(gòu)成為:基于條件設(shè)定部110所獲取到的作業(yè)區(qū)域22A、22B的信息，使用與所要求的檢測精度對應(yīng)的第一分辨率的圖像數(shù)據(jù)來檢測位于作業(yè)區(qū)域22A、22B的內(nèi)部的物品M，另一方面，使用低于第一分辨率的第二分辨率的圖像數(shù)據(jù)來檢測位于作業(yè)區(qū)域22A、22B的外部的物品M0通過該結(jié)構(gòu)，與針對第二照相機16B的整個視場24使用第一分辨率的圖像數(shù)據(jù)來檢測物品M的結(jié)構(gòu)相比，能夠減輕物品跟蹤部34的計算負(fù)荷。此外，對于輔助跟蹤部50，也能夠通過同樣的方法來減輕跟蹤處理的計算負(fù)荷。
[0102]在上述結(jié)構(gòu)中，物品跟蹤部34構(gòu)成為能夠獲取對第一機構(gòu)部14A和第二機構(gòu)部14B的作業(yè)區(qū)域22A、22B (圖13)的內(nèi)部進(jìn)行拍攝而得到的第一分辨率(高分辨率)的圖像數(shù)據(jù)以及對作業(yè)區(qū)域22A、22B的外部進(jìn)行拍攝而得到的第二分辨率(低分辨率)的圖像數(shù)據(jù)。同樣地，輔助跟蹤部50構(gòu)成為能夠獲取對第三機構(gòu)部14C的作業(yè)區(qū)域22C(圖5)的內(nèi)部進(jìn)行拍攝而得到的第一分辨率的圖像數(shù)據(jù)以及對作業(yè)區(qū)域22C的外部進(jìn)行拍攝而得到的第二分辨率的圖像數(shù)據(jù)。為了獲取分辨率不同的圖像數(shù)據(jù)，第二照相機16B或第三照相機16C能夠具有將分辨率在第一分辨率和第二分辨率之間切換的切換機構(gòu)114(圖4)。在該結(jié)構(gòu)中，第二照相機16B或第三照相機16C以第一分辨率和第二分辨率的各分辨率來拍攝視場24、46內(nèi)的整體，物品跟蹤部34或輔助跟蹤部50能夠使用第一分辨率的圖像數(shù)據(jù)來檢測位于作業(yè)區(qū)域22A、22B或作業(yè)區(qū)域22C的內(nèi)部的物品M，另一方面，使用第二分辨率的圖像數(shù)據(jù)來檢測位于作業(yè)區(qū)域22A、22B或作業(yè)區(qū)域22C的外部的物品M。在第二照相機16B或第三照相機16C不具有切換機構(gòu)114的情況下，第二照相機16B或第三照相機16C以規(guī)定的分辨率對視場24、46內(nèi)進(jìn)行拍攝，物品跟蹤部34或輔助跟蹤部50通過公知的圖像處理使該拍攝數(shù)據(jù)的分辨率降低，由此能夠獲取第一分辨率的圖像數(shù)據(jù)和第二分辨率的圖像數(shù)據(jù)。
[0103]物品跟蹤部34能夠取代上述的分辨率的選擇或者在上述的分辨率的選擇的基礎(chǔ)上構(gòu)成為:從達(dá)到第一處理速度和第一精度的第一檢測算法以及達(dá)到比第一處理速度快的第二處理速度或比第一精度低的第二精度的第二檢測算法中選擇任一方檢測算法來使用。在該情況下，物品跟蹤部34能夠構(gòu)成為:使用第一檢測算法來檢測位于第一機構(gòu)部14A和第二機構(gòu)部14B的作業(yè)區(qū)域22A、22B的內(nèi)部的物品M，使用第二檢測算法來檢測位于作業(yè)區(qū)域22A、22B的外部的物品M0作為第一檢測算法，能夠采用歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法等。作為第二檢測算法，能夠采用粒子濾波算法。輔助跟蹤部50也能夠同樣地構(gòu)成。
[0104]例如，物品跟蹤部34基于使第二照相機16B以第二分辨率(低分辨率)拍攝整個視場24而得到的圖像數(shù)據(jù)，使用第二檢測算法(粒子濾波算法)來在整個視場24內(nèi)檢測物品M。在由物品跟蹤部34進(jìn)行的跟蹤處理中，作為獲取物品M的準(zhǔn)確的移動位置信息D2的前階段的預(yù)備性處理而進(jìn)行該物品檢測。接著，物品跟蹤部34基于使第二照相機16B以第一分辨率(高分辨率)拍攝整個視場24而得到的圖像數(shù)據(jù)中的、包含作業(yè)區(qū)域22A、22B且比作業(yè)區(qū)域22A、22B稍大的區(qū)域的圖像數(shù)據(jù)，使用第一檢測算法(歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法)來檢測至少部分地存在于作業(yè)區(qū)域22A、22B的內(nèi)部的物品M。在由物品跟蹤部34進(jìn)行的跟蹤處理中，作為用于獲取物品M的準(zhǔn)確的移動位置信息D2的補充性處理而進(jìn)行該物品檢測。在使用第一檢測算法(歸一化互相關(guān)法、廣義霍夫變換法、Blob檢測法)時，通過使用第二檢測算法(粒子濾波算法)進(jìn)行的預(yù)備性檢測已將物品M的存在區(qū)域在規(guī)定的檢測用參數(shù)(坐標(biāo)值、旋轉(zhuǎn)角度、尺寸、面積等)的范圍內(nèi)以某種程度進(jìn)行了限定，因此能夠通過相應(yīng)地縮小檢測用參數(shù)(坐標(biāo)值、旋轉(zhuǎn)角度、尺寸、面積等)的范圍來避免跟蹤所需的時間的增加。
[0105]即使對于存在于共同的作業(yè)區(qū)域22A、22B的內(nèi)部的物品M，物品跟蹤部34也能夠使用處理速度、精度不同的檢測算法來進(jìn)行跟蹤處理。例如，能夠僅對于由第一機構(gòu)部14A或第二機構(gòu)部14B把持的可能性高的從搬運方向下游側(cè)起的規(guī)定個數(shù)的物品M，使用第一(高精度的)檢測算法來進(jìn)行檢測。例如，在具有由第一機構(gòu)部14A或第二機構(gòu)部14B的手同時把持兩個物品M的結(jié)構(gòu)的情況下，物品跟蹤部34能夠構(gòu)成為在每次反復(fù)實施物品跟蹤處理時僅高精度地檢測從下游側(cè)起的兩個物品M0根據(jù)該結(jié)構(gòu)，能夠減少要檢測的物品M的個數(shù)，從而減輕物品跟蹤部34的計算負(fù)荷。
[0106]圖1的物品轉(zhuǎn)運裝置10也能夠具有與上述結(jié)構(gòu)同樣的結(jié)構(gòu)。在物品轉(zhuǎn)運裝置10中，物品跟蹤部34能夠構(gòu)成為:能夠獲取對由機器人14進(jìn)行物品把持作業(yè)的作業(yè)區(qū)域22的內(nèi)部進(jìn)行拍攝而得到的第一分辨率的圖像數(shù)據(jù)以及對作業(yè)區(qū)域22的外部進(jìn)行拍攝而得到的且是比第一分辨率低的第二分辨率的圖像數(shù)據(jù)，使用第一分辨率的圖像數(shù)據(jù)來檢測位于作業(yè)區(qū)域22的內(nèi)部的物品M，使用第二分辨率的圖像數(shù)據(jù)來檢測位于作業(yè)區(qū)域22的外部的物品M。另外，在物品轉(zhuǎn)運裝置10中，物品跟蹤部34能夠構(gòu)成為:能夠從達(dá)到第一處理速度和第一精度的第一檢測算法以及達(dá)到比第一處理速度快的第二處理速度或比第一精度低的第二精度的第二檢測算法中選擇任一方的檢測算法來使用，使用第一檢測算法來檢測位于機器人14的作業(yè)區(qū)域22的內(nèi)部的物品M，使用第二檢測算法來檢測位于作業(yè)區(qū)域22的外部的物品M。
[0107]接著，參照圖14來說明圖像處理部18的物品跟蹤部34(圖11)對物品M的跟蹤處理的其它例。此外，圖像處理部18的輔助跟蹤部50(圖11)能夠執(zhí)行與物品跟蹤部34所執(zhí)行的下述的跟蹤處理同樣的跟蹤處理。
[0108]如圖14所示，假設(shè)兩個物品Ml、M2以在輸送機12上相互重疊的狀態(tài)被供給到第二機構(gòu)部14B的作業(yè)區(qū)域22B的狀況。設(shè)在該狀況下、大部分被物品Ml遮蓋的物品M2未被物品檢測部32 (圖11)初始檢測出。關(guān)于未被初始檢測出的物品M2，不將其包α的信息發(fā)送到第一控制部20Α(圖11)，因此也不會創(chuàng)建包γ的信息，作為結(jié)果，第二控制部20Β(圖11)未識別出物品M2的存在。另一方面，關(guān)于被物品檢測部32初始檢測出的物品Μ1，第二控制部20B基于包γ的信息而識別出其存在。