情況下或在機(jī)器人12應(yīng)該工作在其工作環(huán)境中的所有可能的目標(biāo)上的情況下目標(biāo)是否確實(shí)是正確的。
[0039]在圖2中，要被抓持的物體123周圍的區(qū)域提供目標(biāo)標(biāo)記(G)的、用于機(jī)器人12的下一個(gè)拾取動(dòng)作的可視化顯示。箭頭A和D是顯示了用于與機(jī)器人12針對(duì)目標(biāo)標(biāo)記(G)的動(dòng)作有關(guān)的抓持動(dòng)作的接近軌跡(A)和離開軌跡(D)的軌跡標(biāo)記。軌跡標(biāo)記(A、D)由此允許用戶可視地辨別沿所指明軌跡(A、D)的路徑是否存在障礙物。表面11上的其他物體223、323可以顯示在工作環(huán)境中，取決于任務(wù)其可以是或可以不是障礙物，例如在末端執(zhí)行器20接近物體123是對(duì)于末端執(zhí)行器20來說是障礙物。
[0040]如圖3所示，目的標(biāo)記(O。O2)表明在未來的步驟中物體將在何處。在通過圖1A的動(dòng)作計(jì)劃模塊80計(jì)劃出動(dòng)作時(shí)，一個(gè)或多個(gè)目的標(biāo)記(OpO2)可用于顯示所有物體在被機(jī)器人操作之后期望位于的最后位置。在必須通過機(jī)器人12處理復(fù)雜的組裝任務(wù)時(shí)這是有用的，因?yàn)橛脩艨扇菀椎卦u(píng)估物體的未來期望位置且可在目的標(biāo)記(OpO2)未顯示期望的最后結(jié)果的情況下停止機(jī)器人12。在圖3中，目的標(biāo)記(Op O2)顯示了在示例性疊放動(dòng)作中在被機(jī)器人12操作之后最后的物體位置。
[0041]參見圖4，碰撞標(biāo)記(C1;C2)代表機(jī)器人12的抓持器形式的示例性末端執(zhí)行器20。碰撞標(biāo)記C2顯不這種抓持器在未來動(dòng)作可能會(huì)如何碰撞物體23。圖1A的動(dòng)作計(jì)劃器(AP)可幫助機(jī)器人12避免被其工作空間中的障礙物阻擋的無效動(dòng)作(如果機(jī)器人12正確地感知到障礙物的話)。然而，例如來自圖1的環(huán)境傳感器25的信號(hào)噪聲會(huì)使得有效動(dòng)作被識(shí)別為無效。碰撞標(biāo)記(C1;C2)可由此通過在任何未來動(dòng)作中將發(fā)生碰撞的位置處顯示機(jī)器人12和物體(例如23，123，223，323)的模型而顯示機(jī)器人12將在何處且如何與物體碰撞。這種視覺顯示可以用于機(jī)器人12因?yàn)榭赡艿呐鲎捕Ｖ褂行?dòng)作時(shí)進(jìn)行可視調(diào)試。
[0042]再次參見圖1A，模擬器模塊(SM)70可以實(shí)施為3D模擬器，其包含來自三個(gè)不同模型的信息，即對(duì)來自環(huán)境傳感器25或其他傳感器的有關(guān)周圍環(huán)境的信息進(jìn)行處理的環(huán)境模型(EM) 72、對(duì)有關(guān)機(jī)器人12的狀態(tài)和運(yùn)動(dòng)的信息進(jìn)行處理的機(jī)器人模型(RM) 74 (例如經(jīng)由圖1所示的傳感器陣列33)，和接收并處理標(biāo)記(箭頭62)且經(jīng)由⑶152產(chǎn)生其視覺顯示的標(biāo)記模型(MM) 76。模擬器模塊70由此在基于三個(gè)模型72、74、76的模擬世界中顯示機(jī)器人12、機(jī)器人12環(huán)境中的物體、和標(biāo)記。
[0043]圖1A的模擬器模塊70可以從圖1的機(jī)器人系統(tǒng)10的視覺系統(tǒng)25和傳感器陣列33接收機(jī)器人12的機(jī)器人位置和關(guān)節(jié)角度/旋轉(zhuǎn)(共同顯示為箭頭X12),且還接收通過傳感器25或其他內(nèi)部或外部傳感器發(fā)送的環(huán)境中所有物體的位置和取向。圖1A的模擬器模塊70在每次其從機(jī)器人系統(tǒng)10、環(huán)境傳感器25或傳感器陣列33接收到新的數(shù)據(jù)時(shí)更新其模塊。圖1A的模擬器模塊70還在每次模擬器模塊70從標(biāo)記產(chǎn)生模塊60經(jīng)由標(biāo)記(箭頭62)接收新的數(shù)據(jù)時(shí)更新標(biāo)記模塊76。
[0044]⑶152可操作為從任何用戶選擇的觀察點(diǎn)顯示機(jī)器人12的3D模擬世界且還使得用戶能通過與⑶152的交互而通過改變可視標(biāo)記來調(diào)整機(jī)器人12的動(dòng)作。四種可能的用途是軌跡修改、目標(biāo)修改、未來位置修改和標(biāo)記調(diào)試。
[0045]在軌跡修改中，圖1A的⑶152使得用戶能通過改變軌跡標(biāo)記來改變動(dòng)作的軌跡，即圖2中的箭頭A和D。這賦予用戶幫助機(jī)器人12避開未被其傳感器感知的障礙物的能力，在環(huán)境改變而沒有重新訓(xùn)練機(jī)器人12時(shí)手動(dòng)地修改接近方向的能力，和改變接近軌跡長(zhǎng)度(圖2的箭頭A)以減少動(dòng)作時(shí)間或提供更穩(wěn)定的接近路徑的能力。
[0046]對(duì)于目標(biāo)修改，圖1A的⑶152還使得用戶再次經(jīng)由到⑶152的控制輸入命令(箭頭53)通過改變目標(biāo)標(biāo)記(圖2的G)而改變給定機(jī)器人動(dòng)作的目標(biāo)。這賦予在不同目標(biāo)之間實(shí)時(shí)地切換的能力。
[0047]未來位置修改還可經(jīng)由⑶152進(jìn)行，以使得用戶能改變物體在被機(jī)器人12操作之后將處于的未來位置。這可通過改變一個(gè)或多個(gè)目的標(biāo)記(圖3的O1,02)的位置或取向而實(shí)現(xiàn)。該動(dòng)作賦予用戶在圖1A的動(dòng)作計(jì)劃模塊80執(zhí)行不適當(dāng)?shù)挠?jì)劃時(shí)調(diào)整物體的最后定位的能力。
[0048]對(duì)于標(biāo)記調(diào)試，圖1A的⑶152還在標(biāo)記被用戶點(diǎn)擊時(shí)顯示機(jī)器人的動(dòng)作信息,這樣的點(diǎn)擊動(dòng)作是到GUI52的可能的控制輸入命令(箭頭53)。這允許用戶在具體動(dòng)作不正確時(shí)更容易且更快地調(diào)試。
[0049]圖1A所示的動(dòng)作計(jì)劃模塊80配置為使用通過模擬器模塊70產(chǎn)生的模擬世界的信息而選擇用于機(jī)器人12的最佳動(dòng)作。動(dòng)作計(jì)劃模塊80可以包括兩個(gè)部分:可選狀態(tài)預(yù)測(cè)器(SP)82和動(dòng)作選擇器(AS)84。狀態(tài)預(yù)測(cè)器82被編程為基于動(dòng)作結(jié)果產(chǎn)生“未來世界狀態(tài)”。這種裝置在控制器50使用基于未來預(yù)測(cè)的動(dòng)作計(jì)劃時(shí)是有用的。動(dòng)作選擇器84隨后選擇用于基于從模擬器模塊70而來的任務(wù)信息(箭頭78)和從狀態(tài)預(yù)測(cè)器82而來的所產(chǎn)生的世界狀態(tài)(箭頭83)而讓機(jī)器人12執(zhí)行的下一個(gè)動(dòng)作。
[0050]狀態(tài)預(yù)測(cè)器82的使用是可選的，如上所述。沒有狀態(tài)預(yù)測(cè)器82，動(dòng)作計(jì)劃模塊80也能發(fā)揮功能，例如通過使用貪婪算法(greedy algorithm),其獲取具有最低當(dāng)前成本的下一個(gè)可用動(dòng)作。示例性成本功能如上所述。該例子中的標(biāo)記產(chǎn)生模塊60仍然能產(chǎn)生所有標(biāo)記(箭頭62)，除了代表未來狀態(tài)中未來物體位置的任何物體標(biāo)記以外。然而，如果狀態(tài)預(yù)測(cè)器82被實(shí)施，則動(dòng)作計(jì)劃模塊80將能選擇在幾個(gè)動(dòng)作步驟之后導(dǎo)向最低成本的動(dòng)作。
[0051]狀態(tài)預(yù)測(cè)器82可以經(jīng)由狀態(tài)樹以一定的深度產(chǎn)生所有可能的未來世界狀態(tài)，如本領(lǐng)域已知的?？蛇x狀態(tài)預(yù)測(cè)器82的示例性狀態(tài)產(chǎn)生步驟可以如下進(jìn)行。在第一步驟中，來自信息(箭頭78)的模擬器模塊70的當(dāng)前狀態(tài)可以用作狀態(tài)樹的根節(jié)點(diǎn)(root)，其是本領(lǐng)域已知的術(shù)語。隨后，用于狀態(tài)樹的每一個(gè)葉節(jié)點(diǎn)的所有有效動(dòng)作可以經(jīng)由控制器50找至IJ，該控制器產(chǎn)生通過機(jī)器人12的每一個(gè)動(dòng)作而改變的所有新的世界狀態(tài)，且將它們作為子節(jié)點(diǎn)添加到狀態(tài)樹的相應(yīng)葉節(jié)點(diǎn)。這會(huì)重復(fù)直到狀態(tài)樹達(dá)到校準(zhǔn)深度。在新的世界狀態(tài)產(chǎn)生時(shí)，模擬世界中的所有信息被克隆，且隨后根據(jù)如何限定動(dòng)作而按照需要而被改變。
[0052]動(dòng)作計(jì)劃模塊80的動(dòng)作選擇器84基于來自模擬器模塊70的當(dāng)前模擬世界和通過狀態(tài)預(yù)測(cè)器82 (如果使用的話)產(chǎn)生的未來世界狀態(tài)(箭頭83)找出具有最低成本的下一個(gè)要執(zhí)行動(dòng)作。在狀態(tài)預(yù)測(cè)器82不被使用時(shí)，動(dòng)作計(jì)劃模塊80選擇用于機(jī)器人12的具有最低轉(zhuǎn)換成本(transit1n cost)加動(dòng)作成本的下一個(gè)動(dòng)作(箭頭86)。本文使用的轉(zhuǎn)換成本是用于讓圖1的機(jī)器人12從其當(dāng)前位置運(yùn)動(dòng)到“準(zhǔn)備好”位置(在該處機(jī)器人12能執(zhí)行動(dòng)作)的成本。其通常設(shè)計(jì)為與機(jī)器人12需要運(yùn)動(dòng)到準(zhǔn)備好位置的軌跡長(zhǎng)度成比例。動(dòng)作成本可以通過用戶根據(jù)不同動(dòng)作等級(jí)設(shè)定。例如，在組裝任務(wù)中，組合了兩個(gè)部分的下一個(gè)動(dòng)作(箭頭86)可被賦予負(fù)成本(negative cost),其等于機(jī)器人12執(zhí)行這類動(dòng)作的收益(rewarding)。在使用狀態(tài)預(yù)測(cè)器82時(shí),動(dòng)作計(jì)劃模塊80選擇在預(yù)定數(shù)量的動(dòng)作之后造成最低成本的具體動(dòng)作。
[0053]動(dòng)作選擇器84可以啟動(dòng)在通過狀態(tài)預(yù)測(cè)器82產(chǎn)生的狀態(tài)樹上的搜索。在達(dá)到狀態(tài)樹中的一節(jié)點(diǎn)時(shí)，每一個(gè)子節(jié)點(diǎn)的執(zhí)行成本被計(jì)算。執(zhí)行成本被限定為轉(zhuǎn)換成本、動(dòng)作成本和子節(jié)點(diǎn)的節(jié)點(diǎn)成本之和。轉(zhuǎn)換成本和動(dòng)作成本是與導(dǎo)向子節(jié)點(diǎn)的每一個(gè)動(dòng)作相關(guān)的成本。該節(jié)點(diǎn)的節(jié)點(diǎn)成本是該節(jié)點(diǎn)的所有子節(jié)點(diǎn)中最小的執(zhí)行成本?？刂破?0可在用于該具體節(jié)點(diǎn)的所有子節(jié)點(diǎn)中將該節(jié)點(diǎn)的執(zhí)行成本設(shè)定為最小執(zhí)行成本。導(dǎo)向具有最小執(zhí)行成本的子節(jié)點(diǎn)的動(dòng)作被設(shè)定為該節(jié)點(diǎn)的最低成本動(dòng)作。以上步驟遞歸地重復(fù)，直到針對(duì)狀態(tài)樹中的所有節(jié)點(diǎn)完成。狀態(tài)樹的根節(jié)點(diǎn)最低成本動(dòng)作隨后是被選擇的動(dòng)作。
[0054]在最低成本動(dòng)作被控制器50選擇之后，動(dòng)作計(jì)劃模塊80的動(dòng)作選擇器84發(fā)送動(dòng)作命令到機(jī)器人12，例如作為工作任務(wù)序列(箭頭88)。動(dòng)作選擇器84還可基于通過⑶152對(duì)模擬器模塊70中的標(biāo)記模型進(jìn)行的改變而修改或調(diào)整被選擇的動(dòng)作。因?yàn)榄h(huán)境中的物體會(huì)在任何時(shí)