本發(fā)明涉及基于要在其中執(zhí)行任務(wù)的場(chǎng)景的多個(gè)圖像來(lái)操控機(jī)器人以執(zhí)行預(yù)給定任務(wù)。

背景技術(shù)：

1、機(jī)器人可以以高精度、特別是高重復(fù)準(zhǔn)確度來(lái)執(zhí)行操縱任務(wù)。但是，必須針對(duì)每個(gè)單獨(dú)的工作步驟專(zhuān)門(mén)操控這些機(jī)器人。在機(jī)器人能夠履行(abarbeiten)復(fù)雜的任務(wù)之前，必須首先將其拆解為子任務(wù)，然后才能由機(jī)器人履行這些子任務(wù)。機(jī)器人自動(dòng)化執(zhí)行任務(wù)所帶來(lái)的額外好處因此被手動(dòng)將任務(wù)分解為子任務(wù)所付出的努力所抵消。

2、(m.ahn等人的“do?as?i?can,not?as?i?say:grounding?language?in?roboticaffordances”，arxiv:2204.01691v2(2022))公開(kāi)了一種方法：借助經(jīng)過(guò)訓(xùn)練的語(yǔ)言模型(例如gpt-3)中所包含的語(yǔ)義信息至少部分地自動(dòng)將復(fù)雜任務(wù)分解為子任務(wù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種操控機(jī)器人以執(zhí)行預(yù)給定任務(wù)的方法。

2、在該方法的范疇內(nèi)，提供要在其中執(zhí)行任務(wù)的場(chǎng)景的至少一個(gè)圖像。所述一個(gè)或多個(gè)圖像尤其可以例如用由機(jī)器人攜帶的攝像機(jī)來(lái)記錄和/或監(jiān)視機(jī)器人在其中工作的環(huán)境。在此情況下，任何成像模態(tài)都可以被使用并且也可以相互融合。

3、針對(duì)圖像中的一個(gè)或多個(gè)對(duì)象確定對(duì)象類(lèi)型。這意味著對(duì)象類(lèi)型被分配給屬于相應(yīng)對(duì)象的一個(gè)或多個(gè)像素。該分配可以可選地甚至更加細(xì)化(feingliedriger)，并且例如也可以在服務(wù)于不同目的的對(duì)象的不同區(qū)域之間進(jìn)行區(qū)分。例如，對(duì)象類(lèi)型的確定可以特別是任意程度地自動(dòng)化。在特別有利的設(shè)計(jì)方案中，經(jīng)過(guò)訓(xùn)練的圖像分類(lèi)器可以用于此目的。替代地或者與此相結(jié)合地，例如，對(duì)象類(lèi)型也可以由用戶(hù)來(lái)注釋。

4、與對(duì)象類(lèi)型相結(jié)合地，將要履行的任務(wù)輸送給經(jīng)過(guò)訓(xùn)練的語(yǔ)言模型。經(jīng)過(guò)訓(xùn)練的語(yǔ)言模型然后輸出多個(gè)候選動(dòng)作。這些候選動(dòng)作尤其可以包括例如如下動(dòng)作，這些動(dòng)作可以利用所識(shí)別的對(duì)象類(lèi)型的對(duì)象而被執(zhí)行，諸如“搜尋”、“拾取”和“放下”以及特定于相應(yīng)對(duì)象的任何其他動(dòng)作。各自的對(duì)象。

5、現(xiàn)在根據(jù)當(dāng)前場(chǎng)景和由此確定的對(duì)象類(lèi)型來(lái)評(píng)價(jià)這些候選動(dòng)作。

6、該評(píng)價(jià)的一個(gè)方面構(gòu)成預(yù)給定的進(jìn)度指標(biāo)(fortschritt-metrik)。該進(jìn)度指標(biāo)衡量：相應(yīng)候選功能的執(zhí)行會(huì)期望帶來(lái)鑒于預(yù)給定任務(wù)方面的多大進(jìn)度。特別是，該指標(biāo)例如可用于過(guò)濾掉被語(yǔ)言模型關(guān)聯(lián)到這些對(duì)象和這些預(yù)給定任務(wù)而實(shí)際上卻與該任務(wù)沒(méi)有任何關(guān)系的候選動(dòng)作。例如，如果任務(wù)是“收集所有水果”，并且場(chǎng)景包含多種一起用于制作著名的雞尾酒的水果，那么基于日常文本(alltagstexten)所訓(xùn)練的語(yǔ)言模型也可以將由該任務(wù)以及這些對(duì)象類(lèi)型所組成的組合特別是關(guān)聯(lián)到“調(diào)制雞尾酒”、“飛行度假”或“在海灘上享受夜晚”。

7、該評(píng)價(jià)的另一個(gè)方面構(gòu)成預(yù)給定的成功指標(biāo)。此成功指標(biāo)衡量：對(duì)于執(zhí)行候選動(dòng)作的嘗試將導(dǎo)致成功的概率有多大。以這種方式，例如，可以特別是考慮到要相繼執(zhí)行的多個(gè)步驟之間的依賴(lài)性。例如，只有在上一工作步驟中已定位到對(duì)象的精確位置的情況下，對(duì)于抓取該對(duì)象并將其移動(dòng)到另一位置的嘗試才會(huì)導(dǎo)致成功。

8、關(guān)于候選動(dòng)作方面的進(jìn)度指標(biāo)和成功指標(biāo)的值被組合成該候選動(dòng)作的總體評(píng)價(jià)。這種總體評(píng)價(jià)不僅限于單純的數(shù)值聚合。在所提及的具有任務(wù)“收集所有水果”的示例中，調(diào)制雞尾酒”、“飛行度假”或“在海灘上享受夜晚”這些關(guān)聯(lián)(assoziation)可以?xún)H基于由進(jìn)度指標(biāo)進(jìn)行的較差的評(píng)價(jià)而被消除。而這并不能通過(guò)對(duì)成功指標(biāo)的特別好的評(píng)價(jià)而“被恢復(fù)(heilen)”。

9、選擇總體評(píng)價(jià)最高的候選動(dòng)作。操控機(jī)器人以執(zhí)行所選擇的候選動(dòng)作。

10、認(rèn)識(shí)到了：不僅在確定候選動(dòng)作時(shí)而且在隨后評(píng)價(jià)這些候選動(dòng)作時(shí)使用對(duì)象類(lèi)型會(huì)導(dǎo)致:機(jī)器人最終執(zhí)行的動(dòng)作有更高概率會(huì)實(shí)際推進(jìn)(voranbringen)預(yù)給定任務(wù)的履行。針對(duì)操控機(jī)器人而言一般并不切實(shí)際的是，對(duì)類(lèi)型和復(fù)雜度例如與眾所周知的gpt-3模型相當(dāng)?shù)恼Z(yǔ)言模型進(jìn)行訓(xùn)練。相反，如上所述，采用的是已利用大量日常文本所訓(xùn)練的已經(jīng)現(xiàn)有的模型。其中許多這些日常文本都超出在所述方法范疇內(nèi)所設(shè)置的技術(shù)應(yīng)用的上下文之外。這促進(jìn)了：顯然與該技術(shù)應(yīng)用無(wú)關(guān)的關(guān)聯(lián)。通過(guò)額外地考慮對(duì)象類(lèi)型，可以從一開(kāi)始就避免這種不可用的關(guān)聯(lián)，或者可以在評(píng)價(jià)候選動(dòng)作時(shí)抑制這種不可用的關(guān)聯(lián)。

11、同時(shí)，對(duì)對(duì)象類(lèi)型的這種額外考慮使得能夠：使用更多在語(yǔ)言模型中學(xué)到的知識(shí)。例如，語(yǔ)言模型因此會(huì)包含如下方面的知識(shí)：哪些概念是哪些其他概念的同義詞或上位概念。例如，語(yǔ)言模型因此會(huì)知道哪些對(duì)象落入上位概念“水果”或“工具”。由此，能夠例如基于任務(wù)“收集所有水果”來(lái)直接規(guī)劃接下來(lái)的待處理任務(wù)，而不必首先具體說(shuō)明“水果”究竟應(yīng)理解為都有什么。同樣，可以將與不同概念相關(guān)聯(lián)但都表示同一個(gè)對(duì)象的知識(shí)組合在一起。恰恰是經(jīng)過(guò)通用訓(xùn)練(generisch?trainiert)的語(yǔ)言模型已經(jīng)看到了針對(duì)同一個(gè)對(duì)象的許多可能的概念。于是，其中所包含的與烙鐵相關(guān)的知識(shí)中的一部分例如與概念“烙鐵”相關(guān)聯(lián)，一部分與“焊烙鐵”相關(guān)聯(lián)，一部分與“焊接設(shè)備”相關(guān)聯(lián)。

12、在特別有利的設(shè)計(jì)方案中，在執(zhí)行所選擇的候選動(dòng)作之后，分支返回以重新記錄該場(chǎng)景的圖像。以這種方式，可以迭代地履行預(yù)給定任務(wù)。例如，如果要收集所有的水果，那么在拾取第一個(gè)水果后，場(chǎng)景發(fā)生了如下變化：存在的水果少了一個(gè)。此外，例如，還有其他水果可能由于機(jī)器人的工作而被移動(dòng)。所有這些都可以通過(guò)重新記錄而被檢測(cè)到，否則就可能以與第一個(gè)完全類(lèi)似的方式來(lái)被履行。

13、在另一特別有利的設(shè)計(jì)方案中，候選動(dòng)作包括：確定出在當(dāng)前場(chǎng)景中預(yù)給定任務(wù)已經(jīng)被完全履行。例如，如果任務(wù)是收集所有水果，并且該場(chǎng)景的圖像不再包含任何可以歸入概念“水果”的對(duì)象，則可以得出結(jié)論，不再有什么可以收集的了。因此，考慮對(duì)象類(lèi)型還提供有關(guān)如下方面的更精確的信號(hào)：該任務(wù)是何時(shí)被履行的。

14、如上所述，在特別有利的設(shè)計(jì)方案中，預(yù)給定任務(wù)包括：利用落入預(yù)給定上位概念的所有對(duì)象的實(shí)例(instanz)來(lái)執(zhí)行預(yù)給定動(dòng)作。對(duì)于有對(duì)象類(lèi)型可用的每個(gè)對(duì)象實(shí)例，語(yǔ)言模型于是可以回答如下問(wèn)題：該對(duì)象類(lèi)型是否落入該預(yù)給定上位概念。

15、在另一特別有利的設(shè)計(jì)方案中，使用經(jīng)過(guò)訓(xùn)練的編碼器模型針對(duì)圖像的像素分別確定具有預(yù)給定長(zhǎng)度d的描述符向量。這些描述符向量中的至少一個(gè)鏈接到所確定的對(duì)象類(lèi)型之一。通過(guò)這種方式，可以超出該圖像中的位置以外地對(duì)關(guān)于該對(duì)象的任何信息進(jìn)行編碼，并使該信息可供機(jī)器人使用以進(jìn)行處理。

16、例如，在特別有利的設(shè)計(jì)方案中，可以選擇編碼器模型，該編碼器模型鑒于如下目標(biāo)被訓(xùn)練：使描述符向量相對(duì)于圖像的并不改變圖像語(yǔ)義內(nèi)容的至少一種變換(transformation)而言是不變的(invariant)。因此，如果第一圖像和由第一圖像通過(guò)變換而產(chǎn)生的第二圖像分別被輸送到編碼器模型，則針對(duì)這兩個(gè)圖像給對(duì)象上的一個(gè)且同一個(gè)點(diǎn)分配基本上相同的描述符向量。對(duì)此的前提條件僅僅是：該點(diǎn)在這兩個(gè)圖像中都可見(jiàn)并且例如在第二個(gè)圖像中不被掩蓋。針對(duì)保持圖像語(yǔ)義內(nèi)容不變的多個(gè)變換的示例是曝光變化和/或顏色變化、對(duì)象的移動(dòng)和/或旋轉(zhuǎn)以及陰影。

17、通過(guò)這種方式，可以在該場(chǎng)景的多個(gè)連續(xù)的圖像中一再地找到多個(gè)特定的點(diǎn)。例如，這可以特別是用于以機(jī)器人駛向所述點(diǎn)。

18、因此，在另一特別有利的設(shè)計(jì)方案中，至少一個(gè)候選動(dòng)作包含：以機(jī)器人駛向由描述符向量表示的點(diǎn)和/或?qū)ο?。例如，如果基于第一圖像做出有關(guān)駛向特定對(duì)象的決策，則在記錄第二圖像并使用經(jīng)過(guò)訓(xùn)練的編碼器模型處理該第二圖像之后無(wú)需重新搜尋就可以駛向該對(duì)象。

19、作為以描述符向量表示的點(diǎn)可以特別是例如選擇如下點(diǎn)，機(jī)器人要在該點(diǎn)抓取對(duì)象。特別是，機(jī)器人無(wú)法在每個(gè)點(diǎn)上同樣地抓取微電子器件。例如，合理地，在沒(méi)有引腳從殼體突出的外殼側(cè)面上抓取集成電路(ic)，特別是以便避免引腳彎曲或者也避免靜電通過(guò)引腳而輸入電路中。

20、在另一特別有利的設(shè)計(jì)方案中，除了對(duì)象類(lèi)型之外，還為至少一個(gè)對(duì)象確定狀態(tài)。然后，該狀態(tài)也被包括在候選動(dòng)作的評(píng)價(jià)中。在此情況下所述狀態(tài)例如可以涉及：任何物理狀態(tài)變量，例如聚集狀態(tài)(aggregatzustand)或溫度。但是，該狀態(tài)還可以涉及例如處理狀態(tài)。以這種方式，可以特別是獲得合理的處理步驟順序。例如，當(dāng)烹調(diào)蔬菜湯時(shí)，針對(duì)“烹煮蔬菜”步驟的成功概率可能取決于：蔬菜是否已被事先切碎，并在必要時(shí)已被去皮。同樣，例如，“將湯做成糜狀”這一步驟的成功概率可能取決于蔬菜是否已事先煮得足夠軟。

21、在另一特別有利的設(shè)計(jì)方案中，預(yù)給定任務(wù)包括將多個(gè)單獨(dú)部件組裝成待制造的產(chǎn)品和/或?qū)Χ鄠€(gè)單獨(dú)部件進(jìn)行分類(lèi)。在此類(lèi)任務(wù)中，始終用機(jī)器人拾取正確類(lèi)型的對(duì)象尤為重要。

22、同樣的內(nèi)容適用于另一特別有利的設(shè)計(jì)方案中，在該設(shè)計(jì)方案中，預(yù)給定任務(wù)包括基于彼此而構(gòu)建的多個(gè)步驟，并且這些步驟中的至少一個(gè)需要使用一個(gè)或多個(gè)工具。在此類(lèi)任務(wù)的上下文中，進(jìn)度指標(biāo)和成功指標(biāo)還可以分別取決于：針對(duì)下一個(gè)要執(zhí)行的步驟是否存在所有前提條件。

23、該方法尤其可以完全或部分地由計(jì)算機(jī)來(lái)實(shí)現(xiàn)。因此，本發(fā)明還涉及一種具有機(jī)器可讀指令的計(jì)算機(jī)程序，當(dāng)在一個(gè)或多個(gè)計(jì)算機(jī)上執(zhí)行這些機(jī)器可讀指令時(shí)，這些機(jī)器可讀指令使得所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行所描述的方法。從這個(gè)意義上說(shuō)，也能夠執(zhí)行機(jī)器可讀指令的車(chē)輛控制設(shè)備和技術(shù)設(shè)備嵌入式系統(tǒng)也被視為計(jì)算機(jī)。

24、本發(fā)明還涉及機(jī)器可讀數(shù)據(jù)載體和/或具有計(jì)算機(jī)程序的下載產(chǎn)品。下載產(chǎn)品是能夠通過(guò)數(shù)據(jù)網(wǎng)絡(luò)傳輸?shù)臄?shù)字產(chǎn)品，也就是說(shuō)，能夠由數(shù)據(jù)網(wǎng)絡(luò)的用戶(hù)下載的數(shù)字產(chǎn)品，所述數(shù)字產(chǎn)品可以在例如線上商店中出售以供立即下載。

25、此外，計(jì)算機(jī)可以配備有計(jì)算機(jī)程序、機(jī)器可讀數(shù)據(jù)載體或下載產(chǎn)品。

26、下面結(jié)合根據(jù)附圖而對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行的描述，更詳細(xì)地示出改進(jìn)本發(fā)明的進(jìn)一步措施。