控制系統(tǒng)、控制方法以及非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的制作方法
【專利摘要】控制系統(tǒng)、控制方法以及非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)協(xié)作以輔助針對(duì)自主式機(jī)器人的控制。接口從自主式機(jī)器人（22）接收識(shí)別信息，所述識(shí)別信息包括與自主式機(jī)器人（22）進(jìn)行交互的候選目標(biāo)對(duì)象。顯示控制單元（42）使顯示圖像被顯示在候選目標(biāo)對(duì)象的顯示器上，其中候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
【專利說明】控制系統(tǒng)、控制方法以及非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及顯示控制設(shè)備、顯示控制方法、計(jì)算機(jī)程序產(chǎn)品以及通信系統(tǒng)，例如，對(duì)用于容易地預(yù)測(cè)自主式機(jī)器人的行為的信息進(jìn)行顯示的顯示控制設(shè)備、顯示控制方法、程序以及通信系統(tǒng)。
【背景技術(shù)】
[0002]例如，通常，自主式機(jī)器人根據(jù)環(huán)境或來自用戶的通用指令自主地行動(dòng)(工作)。
[0003]例如，如果用戶在不指定品牌名稱的情況下命令拿來PET瓶裝茶，自主式機(jī)器人根據(jù)指令自主地進(jìn)行搜索并拿來PET瓶裝茶的動(dòng)作。
[0004]也就是說，例如，當(dāng)自主式機(jī)器人發(fā)現(xiàn)多個(gè)PET瓶裝茶時(shí)，自主式機(jī)器人以其自己的判斷來選擇用戶偏好的PET瓶裝茶并且將該茶拿給用戶。
[0005]此外，存在一種技術(shù)，用戶使用該技術(shù)使得機(jī)器人能夠根據(jù)物品的名稱和物品的目的地將物品移動(dòng)到目的地(參見例如專利文獻(xiàn)I)。
[0006]引用列表
[0007]專利文獻(xiàn)
[0008]PTLl:日本專利申請(qǐng)?zhí)卦S公開第2004-268148號(hào)
【發(fā)明內(nèi)容】

[0009]如本發(fā)明人所認(rèn)識(shí)到的，即使自主式機(jī)器人根據(jù)來自用戶的指令而行動(dòng)，由于環(huán)境或?qū)τ脩舻闹噶畹恼`解，機(jī)器人也可能違背用戶的意圖而行動(dòng)。
[0010]因此，用戶最好在一定程度上預(yù)測(cè)自主式機(jī)器人的行為。
[0011]考慮到上述問題作出了本公開內(nèi)容，并且本公開內(nèi)容可以容易地預(yù)測(cè)自主式機(jī)器人的行為。
[0012]問題的解決方案
[0013]根據(jù)用于自主式機(jī)器人的示例性控制系統(tǒng)，包括:
[0014]接口，該接口從自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及
[0015]顯示控制單元，該顯示控制單元使顯示圖像被顯示在候選目標(biāo)對(duì)象的顯示器上，其中，
[0016]候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
[0017]根據(jù)該系統(tǒng)的一個(gè)方面，
[0018]顯示圖像包括包括房間的俯視空間圖，所述俯視空間圖含有自主式機(jī)器人的位置和候選目標(biāo)對(duì)象的相應(yīng)位置。
[0019]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括自主式機(jī)器人，其中，自主式機(jī)器人基于到各個(gè)候選目標(biāo)對(duì)象的距離在識(shí)別信息中包括候選目標(biāo)對(duì)象。
[0020]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括自主式機(jī)器人，其中，自主式機(jī)器人在識(shí)別信息中包括針對(duì)候選目標(biāo)對(duì)象中的各個(gè)候選目標(biāo)對(duì)象的得分。
[0021]根據(jù)該系統(tǒng)的另一方面，自主式機(jī)器人在識(shí)別信息中包括按照得分的順序布置的候選目標(biāo)圖像的對(duì)象圖像。
[0022]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括自主式機(jī)器人，其中，自主式機(jī)器人在識(shí)別信息中包括關(guān)于房間的空間圖的空間信息以及候選目標(biāo)對(duì)象的對(duì)象圖像。
[0023]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括控制單元，該控制單元接收用戶輸入并且生成針對(duì)自主式機(jī)器人的命令，所述命令將與對(duì)候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的用戶選擇有關(guān)的用戶反饋提供給自主式機(jī)器人。
[0024]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括自主式機(jī)器人，其中，自主式機(jī)器人被配置成標(biāo)識(shí)非目標(biāo)對(duì)象。
[0025]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括自主式機(jī)器人，其中，自主式機(jī)器人被配置成標(biāo)識(shí)對(duì)候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的默認(rèn)選擇。
[0026]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括平板計(jì)算機(jī)和智能電話中的至少一個(gè)，所述平板計(jì)算機(jī)和智能電話中的所述至少一個(gè)包括所述接口和所述顯示控制單元。
[0027]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括記分機(jī)構(gòu)，所述記分機(jī)構(gòu)標(biāo)識(shí)針對(duì)候選目標(biāo)對(duì)象的各個(gè)得分。
[0028]根據(jù)該系統(tǒng)的另一方面，接口被配置成接收目標(biāo)對(duì)象的類別作為輸入，并且將對(duì)目標(biāo)對(duì)象的類別的指示傳送給自主式機(jī)器人，以及，自主式機(jī)器人被配置成在場(chǎng)景內(nèi)標(biāo)識(shí)類別中的一個(gè)或更多個(gè)目標(biāo)對(duì)象。
[0029]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括自主式機(jī)器人，其中，自主式機(jī)器人針對(duì)候選目標(biāo)對(duì)象分配程度信息，所述程度信息是對(duì)類別中的各個(gè)目標(biāo)對(duì)象的正確檢測(cè)的可能性的指示。
[0030]根據(jù)該系統(tǒng)的另一方面，接口被配置成接收語音輸入命令或手勢(shì)輸入命令。
[0031]根據(jù)該系統(tǒng)的另一方面，該系統(tǒng)還包括顯示器，該顯示器顯示由自主式機(jī)器人標(biāo)識(shí)的候選目標(biāo)對(duì)象以及經(jīng)由通信接口發(fā)送的用于輔助控制自主式機(jī)器人的用戶反饋。
[0032]根據(jù)的控制方法實(shí)施方式，該方法包括:通過接口從自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及將顯示圖像顯示在候選目標(biāo)對(duì)象的顯示器上，其中候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
[0033]根據(jù)該控制方法的一個(gè)方面，顯示包括對(duì)房間的俯視空間圖進(jìn)行顯示，所述俯視空間圖包括自主式機(jī)器人的位置和候選目標(biāo)對(duì)象的相應(yīng)位置。
[0034]根據(jù)該方法的另一方面，該方法還包括接收用戶輸入并且生成針對(duì)自主式機(jī)器人的命令，所述命令將與對(duì)候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的用戶選擇有關(guān)的用戶反饋提供給自主式機(jī)器人的命令。根據(jù)該方法的另一方面，該方法還包括接收語音輸入命令或手勢(shì)輸入命令。根據(jù)非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)實(shí)施方式，該存儲(chǔ)介質(zhì)存儲(chǔ)有指令，所述指令當(dāng)由處理電路執(zhí)行時(shí)執(zhí)行用于自主式機(jī)器人的控制方法，該控制方法包括:通過接口從自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及將顯示圖像顯示在候選目標(biāo)對(duì)象的顯示器上，其中，候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。[0035]發(fā)明的有益效果
[0036]根據(jù)本公開內(nèi)容，可以容易地預(yù)測(cè)自主式機(jī)器人的行為。
【專利附圖】

【附圖說明】
[0037]圖1是示出了根據(jù)本公開內(nèi)容的機(jī)器人控制系統(tǒng)的配置示例的視圖。
[0038]圖2是示出了顯示有多個(gè)項(xiàng)目的顯示屏的示例的視圖。
[0039]圖3是說明了由機(jī)器人執(zhí)行的處理的概要的視圖。
[0040]圖4是示出了對(duì)象的識(shí)別狀態(tài)的示例的視圖。
[0041]圖5是示出了指令設(shè)備的配置示例的框圖。
[0042]圖6是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第一視圖。
[0043]圖7是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二視圖。
[0044]圖8是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第三視圖。
[0045]圖9是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第四視圖。
[0046]圖10是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第五視圖。
[0047]圖11是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第六視圖。
[0048]圖12是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第七視圖。
[0049]圖13是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第八視圖。
[0050]圖14是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第九視圖。
[0051]圖15是示出了通過箭頭來表示對(duì)象得分的變化的示例的第一視圖。
[0052]圖16是示出了通過箭頭來表示對(duì)象得分的變化的示例的第二視圖。
[0053]圖17是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十視圖。
[0054]圖18是用于說明由指令設(shè)備執(zhí)行的顯示處理的流程圖。
[0055]圖19是示出了機(jī)器人的配置示例的框圖。
[0056]圖20是示出了對(duì)象的識(shí)別狀態(tài)的轉(zhuǎn)變的示例的狀態(tài)轉(zhuǎn)變圖。
[0057]圖21是用于說明根據(jù)對(duì)象的識(shí)別狀態(tài)來生成機(jī)器人識(shí)別信息的生成方法的視圖。
[0058]圖22是用于說明由機(jī)器人執(zhí)行的得分計(jì)算處理的流程圖。
[0059]圖23是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十一視圖。
[0060]圖24是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十二視圖。
[0061]圖25是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十三視圖。
[0062]圖26是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十四視圖。
[0063]圖27是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十五視圖。
[0064]圖28是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十六視圖。
[0065]圖29是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十七視圖。
[0066]圖30是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十八視圖。
[0067]圖31是用于說明由用戶進(jìn)行的反饋操作的視圖。
[0068]圖32是示出了響應(yīng)于反饋操作來轉(zhuǎn)變對(duì)象的識(shí)別狀態(tài)的示例的視圖。
[0069]圖33是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第十九視圖。
[0070]圖34是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十視圖。
[0071]圖35是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十一視圖。
[0072]圖36是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十二視圖。
[0073]圖37是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十三視圖。
[0074]圖38是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十四視圖。
[0075]圖39是用于說明由指令設(shè)備執(zhí)行的反饋處理的流程圖。
[0076]圖40是用于說明由機(jī)器人執(zhí)行的得分重新計(jì)算處理的流程圖。
[0077]圖41是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十五視圖。
[0078]圖42是示出了顯示有基于來自機(jī)器人的信息的顯示的顯示屏的示例的第二十六視圖。
[0079]圖43是示出了將未檢測(cè)的識(shí)別狀態(tài)轉(zhuǎn)變到另一狀態(tài)的示例的視圖。
[0080]圖44是示出了使用捕獲圖像來指定搜索范圍或?qū)ο蟮氖纠囊晥D。
[0081]圖45是示出了使用室內(nèi)空間圖來指定搜索范圍的示例的視圖。
[0082]圖46是示出了減少從機(jī)器人傳送給指令設(shè)備的捕獲圖像的數(shù)據(jù)的量的示例的視圖。
[0083]圖47是用于說明由指令設(shè)備執(zhí)行的區(qū)域指定處理的流程圖。
[0084]圖48是用于說明由機(jī)器人執(zhí)行的搜索處理的流程圖。
[0085]圖49是示出了計(jì)算機(jī)的配置示例的框圖。
【具體實(shí)施方式】
[0086]在下文中，將按以下順序來描述本公開內(nèi)容的實(shí)施方式(在下文中，稱為本實(shí)施方式)。
[0087]1.第一實(shí)施方式(將用于預(yù)測(cè)機(jī)器人的行為的信息顯示在指令設(shè)備的顯示屏上的示例)
[0088]2.第一實(shí)施方式的修改示例
[0089]3.第二實(shí)施方式(使用指令設(shè)備將來自用戶的反饋給予機(jī)器人的示例)
[0090]4.第二實(shí)施方式的修改示例
[0091]5.第三實(shí)施方式(使用指令設(shè)備指定機(jī)器人的搜索范圍的示例)
[0092]〈1.第一實(shí)施例>
[0093]<機(jī)器人控制系統(tǒng)的配置示例>
[0094]圖1示出了根據(jù)第一實(shí)施方式的機(jī)器人控制系統(tǒng)I的配置示例。
[0095]機(jī)器人控制系統(tǒng)I包括具有顯示屏21a的指令設(shè)備21和自主式機(jī)器人22。指令設(shè)備可以是集成有顯示屏的遠(yuǎn)程控制器(例如，智能電話、平板計(jì)算機(jī)或膝上型計(jì)算機(jī))或者與遠(yuǎn)程顯示設(shè)備無線地進(jìn)行工作的遠(yuǎn)程控制器。例如，指令設(shè)備可以使用電視機(jī)作為顯示設(shè)備，并且指令設(shè)備用作用于輸入指令的觸覺接口。
[0096]指令設(shè)備21響應(yīng)于用戶的操縱而生成用于使機(jī)器人22進(jìn)行期望行為(例如，將預(yù)定對(duì)象拿給用戶的行為)的指令信息并且通過無線通信等將該信息傳送給機(jī)器人22。此外，機(jī)器人22可以與預(yù)定對(duì)象進(jìn)行交互，其中，交互是不僅拍攝對(duì)象的圖像，而且接觸、移動(dòng)、收集對(duì)象、與對(duì)象進(jìn)行信息的電子交換，對(duì)對(duì)象進(jìn)行光學(xué)字符識(shí)別、說明、購買、貼標(biāo)簽或者操作(例如打開/關(guān)閉)。
[0097]例如，如圖2所示，指令設(shè)備21將可以由用戶選擇的多個(gè)項(xiàng)目例如“茶”、“汽水”、“小吃”......顯示在顯示屏21a上。
[0098]參照如圖2所示的顯示屏21a，用戶在多個(gè)項(xiàng)目中選擇(指定)要被機(jī)器人22拿起的對(duì)象的項(xiàng)目。此外，例如，將要被機(jī)器人22拿起的對(duì)象的類別顯示在顯示屏21a上作為項(xiàng)目。
[0099]響應(yīng)于此，指令設(shè)備21生成用于將屬于作為由用戶選擇的項(xiàng)目的類別(例如，“茶”)的對(duì)象作為目標(biāo)拿給用戶的指令信息，并且通過無線通信等將該信息傳送給機(jī)器人22。此外，指令信息包括表示作為由用戶選擇的項(xiàng)目的類別的類別信息。
[0100]機(jī)器人22基于來自指令設(shè)備21的指令信息自主地進(jìn)行對(duì)屬于作為由用戶選擇的項(xiàng)目的類別的對(duì)象進(jìn)行搜索作為目標(biāo)的操作。指令設(shè)備可以是其中集成有顯示屏的遠(yuǎn)程控制器(例如，智能電話、平板計(jì)算機(jī)或膝上型計(jì)算機(jī))或者與遠(yuǎn)程顯示設(shè)備無線地進(jìn)行工作的遠(yuǎn)程控制器。例如，指令設(shè)備可以使用電視機(jī)作為顯示設(shè)備，并且指令設(shè)備用作為用于輸入指令的觸覺接口。
[0101]此外，用于指令機(jī)器人22的方法不限于使用指令設(shè)備21的上述方法。例如，如果機(jī)器人22可以通過語音識(shí)別來識(shí)別用戶的語音，那么用戶可以使用語音來指示目標(biāo)。指令設(shè)備可以是其中集成有顯示屏的遠(yuǎn)程控制器(例如，智能電話、平板計(jì)算機(jī)或膝上型計(jì)算機(jī))或者與遠(yuǎn)程顯示設(shè)備無線地進(jìn)行工作的遠(yuǎn)程控制器。例如，指令設(shè)備可以使用電視機(jī)作為顯示設(shè)備，并且指令設(shè)備用作為用于輸入指令的觸覺接口。
[0102]在這種情況下，機(jī)器人22識(shí)別作為語音的來自用戶的指令，并且基于識(shí)別結(jié)果自主地進(jìn)行搜索由用戶指示的目標(biāo)的操作。此外，例如，如果機(jī)器人22可以識(shí)別用戶的手勢(shì)或姿勢(shì)，那么用戶可以通過手勢(shì)或姿勢(shì)來指示目標(biāo)。
[0103]機(jī)器人22是基于環(huán)境或來自用戶的通用指令(例如，拿起“茶”的通用指令)自主地進(jìn)行各種動(dòng)作的兩條腿的機(jī)器人。
[0104]機(jī)器人22包括設(shè)置在預(yù)定位置的與感測(cè)聲音的“耳朵”對(duì)應(yīng)的麥克風(fēng)和與感測(cè)光的“眼睛”對(duì)應(yīng)的相機(jī)作為從外面感測(cè)刺激的傳感器。下文將參照?qǐng)D19來描述機(jī)器人22的細(xì)節(jié)。
[0105]接著，圖3示出了由機(jī)器人22執(zhí)行的處理的概要。
[0106]圖3示出了通過對(duì)機(jī)器人22的環(huán)境進(jìn)行捕獲而獲得的環(huán)境圖像31 (或場(chǎng)景)、指示由機(jī)器人22識(shí)別作為目標(biāo)的對(duì)象的對(duì)象圖像32、指示沒有被機(jī)器人22識(shí)別作為目標(biāo)的對(duì)象的對(duì)象圖像33、指示由機(jī)器人22識(shí)別作為可能的目標(biāo)的對(duì)象的對(duì)象圖像34以及指示通過機(jī)器人22的捕獲而獲得的捕獲圖像的一部分的部分圖像35。此外，由機(jī)器人22提供(或預(yù)先存儲(chǔ)在控制器21中)的場(chǎng)景可以是包括場(chǎng)景中的對(duì)象例如家具的計(jì)算機(jī)生成圖形。因此，圖像和計(jì)算機(jī)生成圖形是場(chǎng)景的兩個(gè)示例。
[0107]此外，機(jī)器人22在例如用戶居住的房間36中自由地移動(dòng)以搜索目標(biāo)。
[0108]當(dāng)搜索目標(biāo)時(shí)，機(jī)器人22將通過使用內(nèi)置相機(jī)進(jìn)行捕獲而獲得的環(huán)境圖像31或部分圖像35適當(dāng)?shù)貍魉徒o指令設(shè)備21。此外，當(dāng)用戶使用指令設(shè)備21指定機(jī)器人22的搜索范圍時(shí)，使用環(huán)境圖像31或部分圖像35。將參照?qǐng)D43至圖47對(duì)此進(jìn)行主要描述。[0109]此外，機(jī)器人22在房間36中移動(dòng)，并且基于通過使用內(nèi)置相機(jī)對(duì)對(duì)象進(jìn)行捕獲而獲得的捕獲圖像來計(jì)算指示對(duì)象是目標(biāo)的程度(也就是說，對(duì)象是要被機(jī)器人22處理的主體的程度)的得分。此外，使用用于標(biāo)識(shí)對(duì)象是否是目標(biāo)(指示對(duì)象是否是目標(biāo)的函數(shù))的標(biāo)識(shí)符來計(jì)算得分。
[0110]機(jī)器人22基于對(duì)象的得分來確定對(duì)象的識(shí)別狀態(tài)。此外，在下文中，描述了機(jī)器人22使用通過使用內(nèi)置相機(jī)所獲得的圖像來計(jì)算得分或者將圖像傳送給指令設(shè)備21。
[0111]然而，用于計(jì)算得分的圖像或傳送給指令設(shè)備21的圖像不限于通過機(jī)器人22中的內(nèi)置相機(jī)獲得的圖像。例如，可以使用通過設(shè)置在房間36的天花板上的相機(jī)獲得的圖像。在這種情況下，設(shè)置在房間36的天花板上的相機(jī)通過無線通信將捕獲圖像傳送給機(jī)器人22。此外，由機(jī)器人22提供(或預(yù)先存儲(chǔ)在控制器21中)的場(chǎng)景可以是包括場(chǎng)景中的對(duì)象例如家具的計(jì)算機(jī)生成圖形。因此，圖像和計(jì)算機(jī)生成圖形是場(chǎng)景的兩個(gè)示例。
[0112]接著，圖4示出了識(shí)別狀態(tài)的示例。
[0113]圖4A示出了機(jī)器人22的兩種識(shí)別狀態(tài)，即“這是目標(biāo)”和“這不是目標(biāo)”。
[0114]圖4B示出了機(jī)器人22的三種識(shí)別狀態(tài)，即“這是目標(biāo)”、“還不確定”以及“這不是目標(biāo)”。
[0115]圖4C示出了機(jī)器人22的四種識(shí)別狀態(tài)，即“這是目標(biāo)”、“這可能是目標(biāo)”、“還不確定”以及“這不是目標(biāo)”。
[0116]此外，在第一實(shí)施方式中，如圖4C所示，機(jī)器人22識(shí)別四個(gè)識(shí)別狀態(tài)中的任一個(gè)識(shí)別狀態(tài)。
[0117]例如，如果對(duì)象的得分等于或高于閾值thl，那么機(jī)器人22識(shí)別該對(duì)象“是目標(biāo)”。如果對(duì)象的得分低于閾值thl并且等于或高于閾值th2(〈thl)，那么機(jī)器人22識(shí)別該對(duì)象“可能是目標(biāo)”。
[0118]此外，如果對(duì)象的得分低于閾值th2并且等于或高于閾值th3(〈th2)，那么機(jī)器人22將該對(duì)象識(shí)別為“還不確定”該對(duì)象是否是目標(biāo)。如果對(duì)象的得分低于閾值th3，那么機(jī)器人22識(shí)別該對(duì)象“不是目標(biāo)”。
[0119]這里，預(yù)先確定閾值thl至閾值th3并且然后存儲(chǔ)在機(jī)器人22中。此外，機(jī)器人22將得分與閾值相比較以確定對(duì)象的識(shí)別信息，但是確定識(shí)別信息的方法不限于此。
[0120]返回參照?qǐng)D3，例如，如果判斷出對(duì)象“ABC茶”的得分等于或高于閾值thl，那么機(jī)器人22在指令設(shè)備21的顯示屏21a上顯示機(jī)器人22識(shí)別對(duì)象“ABC茶” “是目標(biāo)”。
[0121]也就是說，例如，如圖3所示，在指令設(shè)備21的顯示屏21a上，以由例如粗線矩形包圍的狀態(tài)來顯示指示對(duì)象“ABC茶”的對(duì)象圖像32。粗線矩形表明機(jī)器人22識(shí)別對(duì)象“ABC茶”是“目標(biāo)”。
[0122]此外，例如，如圖3所示，如果判斷出對(duì)象“狗形機(jī)器人”的得分低于閾值th3，那么機(jī)器人22在指令設(shè)備21的顯示屏21a上顯示機(jī)器人22識(shí)別對(duì)象“狗形機(jī)器人” “不是目標(biāo)”。
[0123]也就是說，例如，如圖3所示，在指令設(shè)備21的顯示屏21a上，用例如陰影線來顯示指示對(duì)象“狗形機(jī)器人”的對(duì)象圖像33。陰影線表明機(jī)器人22識(shí)別對(duì)象“狗形機(jī)器人％不是目標(biāo)”。
[0124]此外，例如，如圖3所示，如果判斷出對(duì)象“橙汁”的得分低于閾值thl并且等于或高于閾值th2，那么機(jī)器人22在指令設(shè)備21的顯示屏21a上顯示機(jī)器人22識(shí)別對(duì)象“橙汁” “可能是目標(biāo)”。
[0125]也就是說，例如，如圖3所示，在指令設(shè)備21的顯示屏21a上，以由例如細(xì)線矩形包圍的狀態(tài)來顯示指示寫有文字“橙汁”的PET瓶的對(duì)象圖像34。細(xì)線矩形表明機(jī)器人22識(shí)別對(duì)象“橙汁” “可能是目標(biāo)”。
[0126]此外，例如，如果判斷出預(yù)定對(duì)象的得分低于閾值th2并且等于或高于閾值th3，那么機(jī)器人22在指令設(shè)備21的顯示屏21a上顯示機(jī)器人22識(shí)別“還不確定”預(yù)定對(duì)象是否是目標(biāo)。
[0127]也就是說，例如，在指令設(shè)備21的顯示屏21a上，照原樣顯示(不被矩形包圍或沒有陰影線)指示預(yù)定對(duì)象的對(duì)象圖像。當(dāng)照原樣顯示對(duì)象圖像時(shí)，這表明機(jī)器人22 “還不確定”預(yù)定對(duì)象是否是目標(biāo)。
[0128]如上所述，將由機(jī)器人22識(shí)別的信息顯示在指令設(shè)備21的顯示屏21a上，以使得用戶可以容易地預(yù)測(cè)機(jī)器人22的行為。
[0129]然而，顯示方法不限于此，而是只要用戶能夠本能地估計(jì)機(jī)器人22的行為，就可以使用任何顯示方法。
[0130]此外，通過參照顯示屏21a，如果判斷出不期望作為目標(biāo)的對(duì)象被識(shí)別為目標(biāo)，那么用戶可以將表明該對(duì)象不是目標(biāo)的反饋操縱給予指令設(shè)備21。
[0131]在這種情況下，機(jī)器人22響應(yīng)于用戶的反饋操縱重新計(jì)算對(duì)象的得分，并且基于通過重新計(jì)算獲得的得分自主地進(jìn)行行動(dòng)。此外，下文將主要參照?qǐng)D31至圖42來描述用戶的反饋操縱。
[0132]<指令設(shè)備21的配置示例>
[0133]接著，圖5示出了指令設(shè)備21的配置示例。
[0134]指令設(shè)備21包括操縱單元41、控制單元42、具有顯示屏21a的顯示單元43、通信單元44以及存儲(chǔ)單元45。
[0135]操縱單元41包括操縱鍵或操縱按鈕。例如，如果用戶給予機(jī)器人22指令，那么操縱單元被用戶操縱。當(dāng)用戶對(duì)操縱單元41進(jìn)行操縱時(shí)，操縱單元41將與用戶的操縱對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0136]控制單元42基于來自通信單元44的機(jī)器人識(shí)別信息生成包括對(duì)象圖像的機(jī)器人識(shí)別圖像，并且將該圖像提供給顯示單元43以在顯示屏21a上顯示該圖像。此外，機(jī)器人識(shí)別信息包括例如對(duì)象的得分作為需要在顯示屏21a上顯示的信息。此外，下文將參照?qǐng)D6至圖17來描述顯示屏21a的顯示示例。
[0137]此外，控制單元42基于來自操縱單元41的操縱信號(hào)生成指令信息、反饋信息或指定范圍信息，并且將信息提供給通信單元44。
[0138]這里，反饋信息指的是指令設(shè)備21中指示由用戶反饋的內(nèi)容的信息。
[0139]用戶使用操縱單元41例如反饋由機(jī)器人22識(shí)別“作為目標(biāo)”的對(duì)象不是目標(biāo)。下文將參照?qǐng)D31至圖42對(duì)此進(jìn)行描述。
[0140]此外，指定范圍信息指示例如在指令設(shè)備21的顯示屏21a上顯示的環(huán)境圖像31或部分圖像35上的整個(gè)區(qū)域中的通過用戶的區(qū)域指定而指定的區(qū)域的位置。
[0141]用戶使用操縱單元41例如進(jìn)行用于在環(huán)境圖像31或部分圖像35上的整個(gè)區(qū)域中指定機(jī)器人22搜索目標(biāo)的搜索范圍的區(qū)域指定。下文將參照?qǐng)D43至圖47對(duì)此進(jìn)行描述。
[0142]控制單元42將來自通信單元44的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以存儲(chǔ)在存儲(chǔ)單元45中。
[0143]顯示單元43根據(jù)來自控制單元42的控制將圖像顯示在顯示屏21a上。
[0144]此外，雖然指令設(shè)備21被配置為包括顯示單元43，但是指令設(shè)備21可以被配置成不包括顯示單元43。在這種情況下，可以使用電纜將控制單元42耦接到設(shè)置在外部的顯示單元43。
[0145]通信單元44接收從機(jī)器人22傳送的機(jī)器人識(shí)別信息并且將該信息提供給控制單元42。此外，通信單元44使用無線通信等將來自控制單元42的指令信息、反饋信息或指定范圍信息傳送給機(jī)器人22。
[0146]存儲(chǔ)單元45存儲(chǔ)例如由控制單元42預(yù)先執(zhí)行的控制程序。此外，例如，存儲(chǔ)單元45存儲(chǔ)來自控制單元42的機(jī)器人識(shí)別信息。
[0147]〈顯示屏21a的顯示示例〉
[0148]接著，圖6至圖14示出了當(dāng)指令設(shè)備21基于來自機(jī)器人22的機(jī)器人識(shí)別信息來顯示機(jī)器人識(shí)別圖像時(shí)顯示屏21a的示例。
[0149]如果基于來自指令設(shè)備21的指令信息指示機(jī)器人22拿起對(duì)象“茶”，那么機(jī)器人22去搜索對(duì)象“茶”。
[0150]在機(jī)器人22探測(cè)了房間但是沒有檢測(cè)到對(duì)象的情況下，不將來自機(jī)器人22的機(jī)器人識(shí)別信息傳送給指令設(shè)備21。
[0151]因此,如圖6所示,例如,控制單元42在顯示屏21a上顯示其中沒有捕獲到任何東西的機(jī)器人識(shí)別圖像。
[0152]當(dāng)機(jī)器人22從通過對(duì)房間36的內(nèi)部進(jìn)行捕獲而獲得的捕獲圖像檢測(cè)到對(duì)象“鳥雕像”時(shí)，機(jī)器人22從捕獲圖像提取表示對(duì)象“鳥雕像”的對(duì)象圖像51并且將對(duì)象圖像51添加到機(jī)器人識(shí)別信息以將該信息傳送給通信單元44。
[0153]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2將包括在來自通信單元44的機(jī)器人識(shí)別信息中的對(duì)象圖像51提供給顯示單元43以在顯示屏21a上顯示對(duì)象圖像51。
[0154]結(jié)果，如圖7所示，在圖的左側(cè)在顯示屏21a上顯示對(duì)象圖像51。因此，用戶可以容易地預(yù)測(cè)到機(jī)器人22將鳥雕像檢測(cè)作為對(duì)象。
[0155]機(jī)器人22靠近對(duì)象“鳥雕像”以辨別對(duì)象“鳥雕像”是否是目標(biāo)。然后，機(jī)器人22從通過靠近并捕獲對(duì)象“鳥雕像”而獲得的捕獲圖像提取表示“鳥雕像”的對(duì)象圖像51，并且將對(duì)象圖像51添加到機(jī)器人識(shí)別信息以將該信息傳送給通信單元44。
[0156]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2將包括在來自通信單元44的機(jī)器人識(shí)別信息中的對(duì)象圖像51提供給顯示單元43以在顯示屏21a上顯示對(duì)象圖像51。
[0157]結(jié)果，如圖8所示，在圖的左側(cè)在顯示屏21a上顯示比圖7中的對(duì)象圖像51更大的對(duì)象圖像51。此外，由于還沒有計(jì)算對(duì)象“鳥雕像”的得分，所以機(jī)器人22 “還不確定”對(duì)象“鳥雕像”是否是目標(biāo)。因此，在圖8中，照原樣顯示對(duì)象圖像51 (不被矩形包圍或沒有陰影線)。
[0158]機(jī)器人22計(jì)算來自通過靠近并捕獲對(duì)象“鳥雕像”而獲得的捕獲圖像的對(duì)象“鳥雕像”的得分。此外，當(dāng)機(jī)器人22基于所計(jì)算的得分識(shí)別對(duì)象“鳥雕像” “不是目標(biāo)”時(shí)，機(jī)器人22將包括(指示)表明“該對(duì)象不是目標(biāo)”的識(shí)別狀態(tài)(的信息)的機(jī)器人識(shí)別信息傳送給通信單元44。
[0159]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2基于包括在來自通信單元44的機(jī)器人識(shí)別信息中的識(shí)別狀態(tài)生成具有陰影線的對(duì)象圖像51，并且將對(duì)象圖像51提供給顯示單元43以在顯示屏21a上顯示。
[0160]結(jié)果，如圖9所示，在顯示屏21a上顯示具有陰影線的對(duì)象圖像51。
[0161]此外，添加到對(duì)象圖像51的陰影線表示機(jī)器人22識(shí)別對(duì)象圖像51上的對(duì)象“鳥雕像” “不是目標(biāo)”。
[0162]因此，用戶可以容易地預(yù)測(cè)到機(jī)器人22識(shí)別對(duì)象圖像51上的“鳥雕像” “不是目標(biāo)”。
[0163]當(dāng)機(jī)器人22從通過對(duì)房間進(jìn)行捕獲而獲得的捕獲圖像檢測(cè)到對(duì)象“十八茶”時(shí)，機(jī)器人22從捕獲圖像提取表示對(duì)象“十八茶”的對(duì)象圖像52。
[0164]機(jī)器人22將包括所提取的對(duì)象圖像52的機(jī)器人識(shí)別信息傳送給通信單元44。
[0165]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42。控制單元42將包括在來自通信單元44的機(jī)器人識(shí)別信息中的對(duì)象圖像52提供給顯示單元43以在顯示屏21a上顯示對(duì)象圖像52。
[0166]結(jié)果，如圖10所示，在顯示屏21a上在圖的左側(cè)顯示由機(jī)器人22檢測(cè)的對(duì)象“十八茶”的對(duì)象圖像52。因此，用戶可以容易地預(yù)測(cè)到機(jī)器人22檢測(cè)出了對(duì)象“十八茶”。
[0167]此外，機(jī)器人22計(jì)算來自通過靠近并捕獲對(duì)象“十八茶”而獲得的捕獲圖像的對(duì)象“十八茶”的得分。當(dāng)機(jī)器人22基于所計(jì)算的得分識(shí)別對(duì)象“十八茶”是“目標(biāo)”時(shí)，機(jī)器人22將包括表明對(duì)象“十八茶”是“目標(biāo)”的識(shí)別狀態(tài)的機(jī)器人識(shí)別信息傳送給通信單元44。
[0168]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2基于來自通信單元44的機(jī)器人識(shí)別信息生成由矩形包圍并且由三角形指示的對(duì)象圖像52和具有陰影線的對(duì)象圖像51，并且將對(duì)象圖像52和對(duì)象圖像51提供給顯示單元43以在顯示屏21a上顯示。
[0169]結(jié)果是，如圖11所示，在圖的左側(cè)在顯示屏21a上顯示由粗線矩形包圍并且由三角形(圖11所示的)指示的對(duì)象圖像52，并且在對(duì)象圖像52的更右邊顯示具有陰影線的對(duì)象圖像51。
[0170]此外，包圍對(duì)象圖像52的粗線矩形表明機(jī)器人22將對(duì)象圖像52的對(duì)象“十八茶”識(shí)別為“目標(biāo)”。此外，指示對(duì)象圖像52的三角形表明機(jī)器人22將帶著對(duì)象圖像52的對(duì)象“十八茶”返回。
[0171]此外，在這種情況下，控制單元42使得能夠按對(duì)象的更高得分的順序以顯示屏21a的從左到右的方向來顯示指示對(duì)象的對(duì)象圖像。
[0172]此外，對(duì)象圖像的顯示位置與該對(duì)象的得分對(duì)應(yīng)。因此，例如，第一對(duì)象圖像與第二對(duì)象圖像之間的顯示間隔指示第一對(duì)象圖像的對(duì)象與第二對(duì)象圖像的對(duì)象之間的得分的差。
[0173]因此，用戶可以根據(jù)顯示在顯示屏21a上的對(duì)象圖像的位置本能地注意到由對(duì)象圖像指示的對(duì)象的得分。
[0174]根據(jù)圖11所示出的顯示屏21a，用戶可以容易地預(yù)測(cè)到機(jī)器人22拿起對(duì)象“十八茶”
TJn ο
[0175]此外，如上所述，當(dāng)機(jī)器人22自主地移動(dòng)并且從通過使用內(nèi)置相機(jī)進(jìn)行捕獲而獲得的捕獲圖像中檢測(cè)新對(duì)象時(shí)，機(jī)器人22生成機(jī)器人識(shí)別信息并且將該信息傳送給通信單元44。
[0176]響應(yīng)于此，控制單元42基于來自通信單元44的機(jī)器人識(shí)別信息將對(duì)象圖像提供給顯示單元43以在顯示屏21a上顯示對(duì)象圖像。
[0177]如上所述，控制單元42基于通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息來更新顯示屏21a的顯示。
[0178]也就是說，此后，例如，如圖12所示，響應(yīng)于機(jī)器人22的行為將顯示屏21a更新以最新地顯示表示對(duì)象“ABC茶”的對(duì)象圖像53。此外，如圖13所示，響應(yīng)于機(jī)器人22的行為將顯示屏21a更新以最新地顯示表示對(duì)象“C汽水汁”的對(duì)象圖像54和表示對(duì)象“USB存儲(chǔ)器”的對(duì)象圖像55。此外，例如，如圖14所示，響應(yīng)于機(jī)器人22的行為將顯示屏21a更新成其中根據(jù)得分來改變對(duì)象圖像的位置的顯示。
[0179]此外，在圖14的顯示屏21a上，沒有顯示在圖13的顯示屏21a上顯示的對(duì)象圖像51。
[0180]在圖14中，當(dāng)對(duì)象被顯示在顯示屏21a的較左側(cè)時(shí)，對(duì)象的得分較高。因此，可以通過對(duì)象圖像所顯示的位置來表示對(duì)象的得分。
[0181]因此，當(dāng)將對(duì)象圖像52至對(duì)象圖像55顯示在根據(jù)對(duì)應(yīng)的對(duì)象的得分的位置處時(shí)，可能由于顯示屏21a的尺寸或?qū)ο髨D像的尺寸而沒有顯示對(duì)象圖像51。
[0182]此外，在圖14中，對(duì)象圖像51的對(duì)象“鳥雕像”的得分被設(shè)定成顯著地低于對(duì)象圖像55的對(duì)象“USB存儲(chǔ)器”的得分。
[0183]此外，在圖14中，對(duì)象圖像53的對(duì)象“ABC茶”的得分被設(shè)定成低于對(duì)象圖像52的對(duì)象“十八茶”的得分。
[0184]然而，三角形指示對(duì)象圖像53的對(duì)象“ABC茶”并且機(jī)器人22意在帶著對(duì)象“ABC茶”返回。這意味著，機(jī)器人22除對(duì)象的得分之外考慮到對(duì)象的位置或用戶的偏好來確定要拿起的對(duì)象。
[0185]注意，如圖6至圖14所示，在第一實(shí)施方式中，按顯示屏2Ia的從左到右的對(duì)象的更高的得分的順序來并排地顯示對(duì)象圖像。然而，可以以除了向右方向之外的任意方向(例如，從右到左的方向)來顯示對(duì)象圖像。
[0186]此外，例如，如圖6至圖14所示，在第一實(shí)施方式中，按對(duì)象的更高的得分的順序以任意方向并排地顯示對(duì)象圖像，并且也將對(duì)象圖像顯示在與對(duì)象的得分對(duì)應(yīng)的位置處。
[0187]然而，可以僅使用得分的順序?qū)?duì)象圖像顯示在顯示屏21a上?；蛘?，例如，可以在不使用得分的順序的情況下將對(duì)象圖像顯示在顯示屏21a上與對(duì)象的得分對(duì)應(yīng)的位置處。
[0188]此外，例如，可以通過根據(jù)對(duì)象的得分來改變對(duì)象圖像的順序、位置、尺寸、亮度、清晰度以及顏色中的至少之一來顯示對(duì)象圖像。
[0189]此外，例如，可以與對(duì)象圖像相關(guān)聯(lián)地顯示對(duì)象的得分。同樣，例如，可以由條形圖或圓形圖表示得分。當(dāng)由圓形圖表示得分時(shí)，可以在圓形圖中表示具有最高得分的對(duì)象的得分的百分比。
[0190]此外，例如，可以由顯示屏21a中的箭頭來表示對(duì)象的得分的變化。
[0191]具體地，例如，如圖15所示，如果改變與對(duì)象圖像54對(duì)應(yīng)的對(duì)象“C汽水汁”的得分使其增大，那么將指示對(duì)象“C汽水汁”的得分增大的白色箭頭與對(duì)象圖像54相關(guān)聯(lián)并且將白色箭頭顯示在顯示屏21a上。
[0192]此外，如圖15所示，如果改變與對(duì)象圖像52對(duì)應(yīng)的對(duì)象“十八茶”的得分使其減小，那么將指示對(duì)象“十八茶”的得分減小的黑色箭頭與對(duì)象圖像52相關(guān)聯(lián)并且將黑色箭頭顯示在顯示屏21a上。
[0193]此外，例如，如圖15所示，如果改變與對(duì)象圖像55對(duì)應(yīng)的對(duì)象“USB存儲(chǔ)器”的得分使其減小，那么將指示對(duì)象“USB存儲(chǔ)器”的得分減小的黑色箭頭與對(duì)象圖像55相關(guān)聯(lián)并且將黑色箭頭顯示在顯示屏21a上。
[0194]當(dāng)在顯示屏21a上顯示如圖15所示的內(nèi)容時(shí)，用戶可以預(yù)測(cè)機(jī)器人22將不拿起對(duì)象“十八茶”，而錯(cuò)誤地拿起對(duì)象“C汽水汁”。在這種情況下，在機(jī)器人22錯(cuò)誤地拿起對(duì)象“C汽水汁”之前，用戶可以明確地指示機(jī)器人22拿起例如對(duì)象“十八茶”。
[0195]此外，當(dāng)在顯示屏21a上顯示如圖16所示的內(nèi)容時(shí)，用戶可以預(yù)測(cè)機(jī)器人22將拿起用戶期望的對(duì)象“十八茶”。在這種情況下，用戶不指示機(jī)器人22并且可以專注他/她的工作直到機(jī)器人22拿起對(duì)象“十八茶”為止。此外，由于圖16具有與圖15相同的配置，所以將省略對(duì)圖16的描述。
[0196]此外，例如，在顯示屏21a上，可以由條形圖或折線圖而不是箭頭來表示對(duì)象的得分的變化?；蛘?，例如，可以連同對(duì)象的得分的變化一起或代替對(duì)象的得分的變化而顯示得分的歷史。
[0197]當(dāng)顯示得分的變化或得分的歷史時(shí)，用戶可以通過參照顯示屏21a來估計(jì)出對(duì)象的得分的變化或?qū)ο蟮牡梅值臍v史，并且由此可以容易地預(yù)測(cè)得分的排名的變化并最終預(yù)先預(yù)測(cè)機(jī)器人22的行為。
[0198]由控制單元42通過參照存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息來實(shí)現(xiàn)上述顯
/Jn ο
[0199]此外，如果在指令設(shè)備21中改變了得分的排名，那么可以通過聲音、振動(dòng)或燈的閃爍將該變化通知給用戶。
[0200]在第一實(shí)施方式中，如圖6至圖14所示，用粗線矩形包圍由機(jī)器人22識(shí)別“為目標(biāo)”的對(duì)象的對(duì)象圖像，而照原樣顯示由機(jī)器人22識(shí)別“為可能的目標(biāo)”的對(duì)象的對(duì)象圖像。
[0201]此外，例如，用細(xì)線矩形包圍由機(jī)器人22識(shí)別為“還不確定”的對(duì)象的對(duì)象圖像，而用陰影線顯示由機(jī)器人22識(shí)別為“不是目標(biāo)”的對(duì)象的對(duì)象圖像。
[0202]但是，表示識(shí)別狀態(tài)的顯示方法不限于矩形或陰影線。
[0203]此外，例如，可以使用表示識(shí)別狀態(tài)的顯示方法和表示對(duì)象的得分的顯示方法二者。或者，可以使用表示識(shí)別狀態(tài)的顯示方法和表示對(duì)象的得分的顯示方法中的僅一個(gè)顯示方法來在顯示屏21a上顯示對(duì)象圖像。
[0204]接著，圖17示出了當(dāng)用戶選擇對(duì)象圖像時(shí)將所選擇的對(duì)象圖像的詳細(xì)信息顯示在顯示屏21a上的示例。
[0205]在圖17所示出的顯示屏21a上，顯示了指示對(duì)象“十八茶”(PET瓶)的底部的對(duì)象圖像52a以及通過從不同方向?qū)?duì)象“十八茶”進(jìn)行捕獲而獲得的對(duì)象圖像52b至對(duì)象圖像52e作為對(duì)象“十八茶”的詳細(xì)信息。
[0206]例如，機(jī)器人22從通過對(duì)對(duì)象進(jìn)行捕獲而獲得的最新的捕獲圖像提取對(duì)象圖像作為在顯示屏21a上顯示的對(duì)象圖像，并且將該對(duì)象圖像添加到機(jī)器人識(shí)別信息以將該信息傳送給指令設(shè)備21。
[0207]此外，除從最新的捕獲圖像所提取的對(duì)象圖像之外，機(jī)器人22可以使用從其中對(duì)對(duì)象進(jìn)行捕獲的多個(gè)捕獲圖像中的具有最高分辨率的捕獲圖像所提取的對(duì)象圖像作為包括在機(jī)器人識(shí)別信息中的對(duì)象圖像。
[0208]此外，在多個(gè)對(duì)象圖像中，機(jī)器人22可以使用充分地表示整個(gè)對(duì)象的所提取的圖像或使用典型的所提取的圖像，作為包括在機(jī)器人識(shí)別信息中的對(duì)象圖像。另外，例如，考慮其中以從上方45度的角對(duì)對(duì)象進(jìn)行捕獲的所提取的圖像作為典型的所提取的圖像。
[0209]例如，當(dāng)機(jī)器人22通過之前的捕獲獲得包括對(duì)象圖像52b至對(duì)象圖像52e中的部分的捕獲圖像，并且通過最新的捕獲獲得包括對(duì)象圖像52a的部分的捕獲圖像時(shí)，將包括其中對(duì)對(duì)象“十八茶”的底部進(jìn)行捕獲的對(duì)象圖像52a的機(jī)器人識(shí)別圖像傳送給指令設(shè)備21。
[0210]此外，在指令設(shè)備21中，如圖17所示，在顯示屏21a上顯示其中對(duì)對(duì)象“十八茶”的底部進(jìn)行捕獲的對(duì)象圖像52a。在這種情況下，用戶可能通過觀看顯示在顯示屏21a上的對(duì)象圖像52a估計(jì)不出由對(duì)象圖像52a表示的對(duì)象是“十八茶”。
[0211]因此，機(jī)器人22將除對(duì)象圖像52a之外還包括對(duì)象圖像52b至對(duì)象圖像52e的機(jī)器人識(shí)別信息傳送給指令設(shè)備21的通信單元44。在這種情況下，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42。
[0212]如圖17所示，控制單元42基于來自通信單元44的機(jī)器人識(shí)別信息使得能夠?qū)?duì)象“膠棒”的對(duì)象圖像、對(duì)象“十八茶”的對(duì)象圖像52a以及對(duì)象“錢包”的對(duì)象圖像從圖的左側(cè)起顯示在顯示單元43的顯示屏21a上。
[0213]此外，控制單元42將來自通信單元44的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以存儲(chǔ)在存儲(chǔ)單元45中。
[0214]在指令設(shè)備21中，當(dāng)用戶使用操縱單元41選擇顯示屏21a上的對(duì)象圖像52a時(shí)，操縱單元41將與用戶的選擇操作對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0215]此外，控制單元42根據(jù)來自操縱單元41的操縱信號(hào)讀取包括在存儲(chǔ)于存儲(chǔ)單元45中的機(jī)器人識(shí)別信息中的對(duì)象圖像52b至對(duì)象圖像52e，并將圖像提供給顯示單元43以在顯示屏21a上顯示。
[0216]因此,在顯示屏21a上,如圖17所示,在顯示屏21a上顯示對(duì)象圖像52b至對(duì)象圖像52e作為對(duì)象“十八茶”的詳細(xì)信息。
[0217]因此，即使用戶不能根據(jù)對(duì)象圖像52a估計(jì)出對(duì)象圖像52a上的對(duì)象，用戶也可以通過響應(yīng)于用戶的選擇操作所顯示的對(duì)象圖像52b至對(duì)象圖像52e容易地估計(jì)出在對(duì)象圖像52a中所捕獲的對(duì)象是“十八茶”。
[0218]此外，例如，當(dāng)根據(jù)來自操縱單元41的操縱信號(hào)進(jìn)行用戶的選擇操作時(shí)，控制單元42可以顯示放大的對(duì)象圖像52a作為詳細(xì)信息。在這種情況下，例如，控制單元42讀取包括在存儲(chǔ)于存儲(chǔ)單元45中的機(jī)器人識(shí)別信息中的對(duì)象圖像52a并且以預(yù)定放大比率放大對(duì)象圖像并且將對(duì)象顯示在顯示屏21a上。
[0219]或者，例如，控制單元42可以在顯示屏21a上顯示其中檢測(cè)到對(duì)象圖像52a上的對(duì)象“十八茶”的三維位置作為對(duì)象圖像52a的詳細(xì)信息。在這種情況下，將包括對(duì)象圖像52a上的對(duì)象“十八茶”的三維位置的機(jī)器人識(shí)別信息連同對(duì)象圖像52a —起存儲(chǔ)在存儲(chǔ)單元45中。
[0220]注意，例如，如果指令設(shè)備21是連接鼠標(biāo)作為操縱單元41的個(gè)人計(jì)算機(jī)，那么用戶通過使用鼠標(biāo)在顯示屏21a上的對(duì)象圖像52a上移動(dòng)光標(biāo)來進(jìn)行選擇操作(鼠標(biāo)懸停)以選擇對(duì)象圖像52a。
[0221]此外，僅將多個(gè)對(duì)象圖像中的與顯示屏21a的屏幕尺寸對(duì)應(yīng)的預(yù)定數(shù)量的對(duì)象圖像顯示在顯示屏21a上。因此，僅將具有足夠高的得分的對(duì)象圖像、具有前η個(gè)得分的對(duì)象圖像或者被識(shí)別為“目標(biāo)”或“可能的目標(biāo)”的對(duì)象圖像顯示在顯示屏21a上。
[0222]因此，存在在顯示屏21a上不顯示的對(duì)象圖像，以使得響應(yīng)于用戶的操作將這種對(duì)象圖像優(yōu)選地顯示在顯示屏21a上。
[0223]也就是說，例如，用戶進(jìn)行對(duì)設(shè)置在鼠標(biāo)中的滾動(dòng)按鈕進(jìn)行旋轉(zhuǎn)的滾動(dòng)操作以減小顯示在顯示屏21a上的每個(gè)對(duì)象圖像以使得能夠在顯示屏21a上顯示更多的對(duì)象圖像。
[0224]在這種情況下，由于操縱單元41提供了響應(yīng)于滾動(dòng)操作的操縱信號(hào)，所以控制單元42讀取存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息。此外，控制單元42基于所讀取的機(jī)器人識(shí)別信息生成響應(yīng)于滾動(dòng)操作而減小的每個(gè)目標(biāo)圖像并且將對(duì)象圖像提供給顯示單元43以在顯示屏21a上顯示。
[0225]此外，例如，用戶可以響應(yīng)于滾動(dòng)操作將顯示在顯示屏21a上的每個(gè)對(duì)象圖像放大并且在顯示屏21a上顯示較少的對(duì)象圖像。
[0226]此外，例如，顯示屏21a在其中心處顯示得分Xl的對(duì)象圖像，在左側(cè)顯示具有比得分Xl更高的得分的對(duì)象圖像并且在右側(cè)顯示具有比得分Xl更低的得分的對(duì)象圖像。
[0227]在顯示屏21a上，可以將具有比得分Xl更低的得分x2 (<xl)的對(duì)象圖像顯示在顯示屏21a的中心處，可以將具有比得分x2更高的得分的對(duì)象圖像顯示在左側(cè)，并且可以將具有比得分x2更低的得分的對(duì)象圖像顯示在右側(cè)。
[0228]也就是說，例如，當(dāng)用戶將光標(biāo)移動(dòng)到顯示具有得分x2的對(duì)象圖像的位置并且對(duì)操縱單元41進(jìn)行操縱以使得該位置位于顯示屏21a的中心位置時(shí)，在控制單元42中生成使得具有得分x2的對(duì)象圖像能夠顯示在顯示屏21a的中心的機(jī)器人識(shí)別信息，并且然后將機(jī)器人識(shí)別信息顯示在顯示單元43的顯示屏21a上。
[0229]此外，例如，當(dāng)用戶對(duì)操縱單元41進(jìn)行操縱以使得顯示具有得分Xl的對(duì)象圖像的位置定位到顯示屏21a的中心時(shí)，顯示屏21a的顯示變成在顯示屏21a的中心處顯示具有得分Xl的對(duì)象圖像的初始顯示。
[0230]此外，例如，當(dāng)用戶使用操縱單元41放大要顯示的顯示屏21a的整個(gè)區(qū)域中的預(yù)定區(qū)域時(shí)，對(duì)顯示屏21a上的預(yù)定區(qū)域進(jìn)行放大以顯示該預(yù)定區(qū)域。[0231]<當(dāng)指令設(shè)備21顯示機(jī)器人識(shí)別圖像時(shí)的操作的描述>
[0232]接著，將參照?qǐng)D18的流程圖來描述由指令設(shè)備21進(jìn)行的顯示處理。
[0233]例如，當(dāng)從機(jī)器人22傳送機(jī)器人識(shí)別信息時(shí)顯示處理開始。
[0234]在步驟S21中，通信單元44根據(jù)控制單元42的控制從機(jī)器人22接收機(jī)器人識(shí)別信息并將該信息提供給控制單元42。
[0235]在步驟S22中，控制單元42基于來自通信單元44的機(jī)器人識(shí)別信息生成機(jī)器人識(shí)別圖像，并將該圖像提供給顯示單元43以在顯示屏21a上顯示。
[0236]此外，控制單元42將來自通信單元44的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以存儲(chǔ)在存儲(chǔ)單元45中。
[0237]在步驟S23中，控制單元42根據(jù)是否已經(jīng)響應(yīng)于用戶的選擇操作從操縱單元41提供了操縱信號(hào)來判斷用戶是否已經(jīng)進(jìn)行了選擇操作。
[0238]此外，在步驟S23中，如果判斷出用戶還沒有進(jìn)行選擇操作，那么控制單元42將處理返回到步驟S21并且然后重復(fù)相同的處理。
[0239]此外，在步驟S23中，如果根據(jù)是否已經(jīng)響應(yīng)于用戶的選擇操作從操縱單元41提供了操縱信號(hào)判斷出用戶已經(jīng)進(jìn)行了選擇操作，那么控制單元42使處理前進(jìn)到步驟S24。在這種情況下，例如，假定已經(jīng)進(jìn)行了用于顯示圖17所示出的捕獲圖像52a的詳細(xì)信息的選擇操作。
[0240]在這種情況下，在步驟S24中，控制單元42讀取存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息并將包括在所讀取的機(jī)器人識(shí)別信息中的對(duì)象圖像52b至對(duì)象圖像52e提供給顯示單元43以在顯示屏21a上顯示。此后，處理返回到步驟S21并且然后進(jìn)行相同的處理。此夕卜，例如，當(dāng)不從機(jī)器人22傳送機(jī)器人識(shí)別信息時(shí)，顯示處理結(jié)束。
[0241]如上所述，根據(jù)顯示處理，基于來自機(jī)器人22的機(jī)器人識(shí)別信息如圖6至圖17所示的那樣顯示顯示屏21a，以使得可以容易地預(yù)測(cè)機(jī)器人22的行為。
[0242]此外，根據(jù)顯示處理，在步驟S23中，例如，當(dāng)進(jìn)行了對(duì)圖17的對(duì)象圖像52a進(jìn)行選擇的選擇操作時(shí)，在步驟S24中，將在對(duì)象圖像52a中所捕獲的對(duì)象顯示為如從不同方向所看的對(duì)象圖像52b至對(duì)象圖像52e。
[0243]因此，用戶可以更精確地估計(jì)出在顯示屏21a上顯示的對(duì)象圖像的對(duì)象。
[0244]<機(jī)器人22的配置示例>
[0245]接著，圖19示出了機(jī)器人22的配置示例。
[0246]機(jī)器人22包括通信單元61、相機(jī)62、距離傳感器63、麥克風(fēng)64、揚(yáng)聲器65、控制單元66、驅(qū)動(dòng)單元67以及存儲(chǔ)單元68。
[0247]通信單元61從指令設(shè)備21接收指令信息、反饋信息以及指定范圍信息并將信息提供給控制單元66。
[0248]通信單元61將來自控制單元66的機(jī)器人識(shí)別信息傳送給指令設(shè)備21。
[0249]相機(jī)62與感測(cè)光的“眼睛”對(duì)應(yīng)并且包括例如CXD (電荷耦合器件)圖像傳感器。相機(jī)62對(duì)機(jī)器人22的環(huán)境進(jìn)行捕獲并將通過捕獲而獲得的捕獲圖像提供給控制單元66。
[0250]距離傳感器63是測(cè)量從機(jī)器人22到對(duì)象的距離的傳感器并且測(cè)量到對(duì)象的距離并將所測(cè)量的距離提供給控制單元66。
[0251]麥克風(fēng)64與感測(cè)聲音的“耳朵”對(duì)應(yīng)并且收集語音并將通過收集語音獲得的語音信號(hào)提供給控制單元66。
[0252]揚(yáng)聲器65與機(jī)器人22的“嘴”對(duì)應(yīng)并根據(jù)來自控制單元66的控制來輸出預(yù)定語
曰?
[0253]控制單元66控制通信單元61至揚(yáng)聲器65以及驅(qū)動(dòng)單元67。也就是說，例如，控制單元66基于來自相機(jī)62的捕獲圖像、來自距離傳感器63的距離或來自麥克風(fēng)64的語音信號(hào)來估計(jì)出環(huán)境情況，并且根據(jù)所估計(jì)出的環(huán)境情況來控制驅(qū)動(dòng)單元67。
[0254]此外，控制單元66基于來自通信單元61的指令信息控制驅(qū)動(dòng)單元67并且自主地進(jìn)行由用戶指示的行為。也就是說，例如，控制單元66控制驅(qū)動(dòng)單元67以使得機(jī)器人22能夠自主地搜索屬于由包括在指令信息中的類別信息指示的類別的對(duì)象作為目標(biāo)。
[0255]此外，控制單元66基于來自相機(jī)62的捕獲圖像來檢測(cè)捕獲圖像上的對(duì)象并且提取指示所檢測(cè)的對(duì)象的對(duì)象圖像。此外，控制單元66基于來自相機(jī)62的捕獲圖像來計(jì)算所檢測(cè)的對(duì)象的得分。
[0256]也就是說，例如，控制單元66基于來自通信單元61的指令信息從存儲(chǔ)單元68讀取作為目標(biāo)的對(duì)象的標(biāo)識(shí)符。此外，控制單元66從來自相機(jī)62的捕獲圖像提取指示所檢測(cè)的對(duì)象的特征的特征量。
[0257]此外，控制單元66基于所提取的特征量使用所讀取的標(biāo)識(shí)符來計(jì)算所檢測(cè)的對(duì)象的得分。換言之，例如，控制單元66可以照原樣使用從標(biāo)識(shí)符獲得的標(biāo)識(shí)結(jié)果(得分)作為所檢測(cè)的對(duì)象的得分或者可 以通過綜合地判斷從標(biāo)識(shí)符獲得的標(biāo)識(shí)結(jié)果以時(shí)間序列方式計(jì)算最終得分。
[0258]控制單元66基于對(duì)象的所計(jì)算的得分來確定對(duì)象的識(shí)別狀態(tài)。此外，下文將參照?qǐng)D20來描述對(duì)識(shí)別狀態(tài)的確定。
[0259]此外，控制單元66基于對(duì)象的所計(jì)算的得分或所確定的對(duì)象的識(shí)別狀態(tài)來確定要在顯示屏21a上顯示的對(duì)象圖像。下文將參照?qǐng)D21來描述確定要在顯示屏21a上顯示的對(duì)象圖像的方法。
[0260]例如，控制單元66根據(jù)對(duì)象的識(shí)別狀態(tài)(例如，用矩形包圍或添加陰影線)來改變被確定要在顯示屏21a上顯示的對(duì)象圖像，并且生成包括改變之后的對(duì)象圖像和對(duì)象的得分的機(jī)器人識(shí)別信息，并且顯示目標(biāo)信息并且將該信息提供給通信單元66。
[0261]此外，控制單元66控制距離傳感器63以測(cè)量到所檢測(cè)的對(duì)象的距離。結(jié)果，距離傳感器63將到由控制單元66檢測(cè)的到對(duì)象的距離提供給控制單元66。
[0262]控制單元66基于來自相機(jī)62的捕獲圖像或相機(jī)62的姿勢(shì)(位置和定向)來檢測(cè)相機(jī)62 (機(jī)器人22)的三維位置。此外，日本專利申請(qǐng)?zhí)卦S公開第2008-304268號(hào)中公開了檢測(cè)機(jī)器人22的三維位置的方法的細(xì)節(jié)。
[0263]此外，控制單元66可以使用其中使用例如GPS (全球定位系統(tǒng))或W1-Fi的定位技術(shù)以檢測(cè)機(jī)器人22的三維位置。
[0264]控制單元66基于所檢測(cè)的三維位置和從距離傳感器63提供的距離來計(jì)算所感測(cè)的對(duì)象的三維位置，將該位置與其中捕獲了對(duì)象的捕獲圖像相關(guān)聯(lián)，并且將該位置提供給存儲(chǔ)單元68以存儲(chǔ)在存儲(chǔ)單元68中。
[0265]此外，控制單元66讀取存儲(chǔ)在存儲(chǔ)單元68中的捕獲圖像(例如，圖3中的環(huán)境圖像31或部分圖像35)并且生成要提供給通信單元61的甚至包括所讀取的捕獲圖像的機(jī)器人識(shí)別息。
[0266]控制單元66基于來自通信單元61的指定范圍信息和存儲(chǔ)在存儲(chǔ)單元68中的捕獲圖像對(duì)指示由用戶的指定操作所指定的區(qū)域的指定區(qū)域進(jìn)行檢測(cè)。
[0267]此外，控制單元66從存儲(chǔ)單元68讀取與所檢測(cè)的指定區(qū)域上的對(duì)象相關(guān)聯(lián)的三維位置并且基于所讀取的三維位置來計(jì)算與指定區(qū)域?qū)?yīng)的搜索范圍。
[0268]此外，控制單元66控制驅(qū)動(dòng)單元67來驅(qū)動(dòng)與機(jī)器人22的手或腳對(duì)應(yīng)的部分以進(jìn)行在所計(jì)算的搜索范圍內(nèi)搜索目標(biāo)(屬于由類別信息指示的類別的對(duì)象)的操作。
[0269]驅(qū)動(dòng)單元67根據(jù)來自控制單元66的控制來驅(qū)動(dòng)與機(jī)器人22的“手”或“腳”對(duì)應(yīng)的部分，以使得機(jī)器人22能夠自主地行動(dòng)。
[0270]例如，存儲(chǔ)單元68預(yù)先保存由控制單元66執(zhí)行的控制程序并且還存儲(chǔ)(保存)被指示要從控制單元66寫入的數(shù)據(jù)。
[0271]此外，存儲(chǔ)單元68針對(duì)多個(gè)項(xiàng)目中的每個(gè)對(duì)象存儲(chǔ)用于標(biāo)識(shí)對(duì)象標(biāo)識(shí)符。標(biāo)識(shí)符是具有對(duì)象的特征量作為輸入并且輸出對(duì)象的得分的函數(shù)。此外，通過預(yù)先學(xué)習(xí)來生成并存儲(chǔ)標(biāo)識(shí)符。
[0272]此外，存儲(chǔ)單元68存儲(chǔ)來自控制單元66的捕獲圖像(與捕獲圖像上的對(duì)象的三維位置相關(guān)聯(lián)的捕獲圖像，例如，環(huán)境圖像31或部分圖像35)。
[0273]接著，圖20示出了對(duì)象的識(shí)別狀態(tài)的轉(zhuǎn)變圖的示例。
[0274]在圖20中，示出了“未檢測(cè)(感測(cè))”、“還不確定”、“這可能是目標(biāo)”、“這是目標(biāo)”以及“這不是目標(biāo)”作為由控制單元66識(shí)別的識(shí)別狀態(tài)。
[0275]控制單元66根據(jù)對(duì)象的所計(jì)算的得分將對(duì)象識(shí)別為“還不確定”、“這可能是目標(biāo)”、“這是目標(biāo)”以及“這不是目標(biāo)”中的任一個(gè)狀態(tài)。
[0276]也就是說，例如，如果對(duì)象的得分等于或高于閾值thl，那么控制單元66識(shí)別該對(duì)象“是目標(biāo)”。如果對(duì)象的得分低于閾值thl并且等于或高于閾值th2 (〈thl)，那么控制單元66識(shí)別該對(duì)象“可能是目標(biāo)”。
[0277]此外，例如，如果對(duì)象的得分低于閾值th2并且等于或高于閾值th3 (<th2)，那么控制單元66將對(duì)象的狀態(tài)識(shí)別為“還不確定”該對(duì)象是否是目標(biāo)。如果對(duì)象的得分低于閾值th3，那么控制單元66識(shí)別該對(duì)象“不是目標(biāo)”。
[0278]此外，除了由用戶進(jìn)行反饋操作時(shí)，控制單元66通常通過識(shí)別這“可能是目標(biāo)”的狀態(tài)來識(shí)別對(duì)象“是目標(biāo)”。
[0279]因此，在顯示屏21a上，可以防止被識(shí)別為“還不確定”對(duì)象是否是目標(biāo)的對(duì)象(與由細(xì)線矩形包圍的對(duì)象圖像對(duì)應(yīng))被突然改變成被識(shí)別“為目標(biāo)”的對(duì)象(與由粗線矩形包圍的對(duì)象圖像對(duì)應(yīng))。
[0280]因此，用戶可以不管是否存在不與目標(biāo)對(duì)應(yīng)的對(duì)象而僅注意在顯示屏21a上被識(shí)別為“這可能是目標(biāo)”的對(duì)象(與照原樣顯示的對(duì)象圖像對(duì)應(yīng))。
[0281]如上所述，當(dāng)對(duì)象被識(shí)別“為目標(biāo)”時(shí)，控制單元通常經(jīng)歷識(shí)別這“可能是目標(biāo)”的狀態(tài)。這是因?yàn)?，如果將顯示屏21a上被識(shí)別為“還不確定”對(duì)象是否是目標(biāo)的對(duì)象突然改變成被識(shí)別“為目標(biāo)”的對(duì)象，這對(duì)用戶來說是不方便的，因?yàn)橛脩粜枰⒁怙@示屏21a上的所有對(duì)象。
[0282]接著，圖21示出了控制單元66根據(jù)對(duì)象的得分來確定要在顯示屏21a上顯示的對(duì)象圖像的確定方法的示例。
[0283]在圖21中，按更高的得分的順序從圖的左側(cè)起顯示對(duì)象71、對(duì)象72、對(duì)象73、......、對(duì)象 74。
[0284]控制單元66基于對(duì)象71的所計(jì)算的得分將對(duì)象71識(shí)別“為目標(biāo)”。此外，控制單元66基于對(duì)象72的得分識(shí)別對(duì)象72 “可能是目標(biāo)”。
[0285]此外，控制單元66基于對(duì)象73的得分將該對(duì)象的狀態(tài)識(shí)別為“還不確定”對(duì)象73是否是目標(biāo)。此外，控制單元66基于對(duì)象74的得分識(shí)別對(duì)象74 “不是目標(biāo)”。
[0286]例如，如圖21所示，控制單元66可以確定將與多個(gè)所檢測(cè)的對(duì)象中的具有高得分的前N個(gè)對(duì)象對(duì)應(yīng)的對(duì)象圖像顯示在指令設(shè)備21的顯示屏21a上。
[0287]此外，例如，如圖21所示，控制單元66可以確定至少將與多個(gè)所檢測(cè)的對(duì)象中的被識(shí)別為“這是目標(biāo)”或“這可能是目標(biāo)”的對(duì)象對(duì)應(yīng)的對(duì)象圖像顯示在指令設(shè)備21的顯示屏21a上。
[0288]<對(duì)機(jī)器人22計(jì)算得分時(shí)的操作的描述>
[0289]接著，將參照?qǐng)D22的流程圖來描述由機(jī)器人22進(jìn)行的得分計(jì)算處理。
[0290]例如，當(dāng)機(jī)器人22基于來自指令設(shè)備21的指令信息來探測(cè)房間時(shí)，得分計(jì)算處理開始。
[0291 ] 在步驟S41中，相機(jī)62對(duì)機(jī)器人的環(huán)境進(jìn)行捕獲并且將通過捕獲而獲得的捕獲圖像提供給控制單元66。
[0292]在步驟S42中，控制單元66試圖基于來自相機(jī)62的捕獲圖像來檢測(cè)捕獲圖像上的對(duì)象。
[0293]此外，當(dāng)基于來自相機(jī)62的捕獲圖像從捕獲圖像檢測(cè)到對(duì)象時(shí)，控制單元66使處理前進(jìn)到步驟S43。此外，當(dāng)基于來自相機(jī)62的捕獲圖像從捕獲圖像沒有檢測(cè)到對(duì)象時(shí)，控制單元66將處理返回到步驟S41并且然后進(jìn)行相同的處理。
[0294]控制單元66基于通過通信單元61從指令設(shè)備21提供的指令信息來判斷指示由機(jī)器人22處理的主體的目標(biāo)，并從存儲(chǔ)單元68讀取所判斷的目標(biāo)的標(biāo)識(shí)符。
[0295]在步驟S43中，控制單元66根據(jù)來自相機(jī)62的捕獲圖像計(jì)算所檢測(cè)的對(duì)象的特征量。接著，控制單元66基于所計(jì)算的特征量使用從存儲(chǔ)單元68讀取的標(biāo)識(shí)符來計(jì)算對(duì)象的得分。
[0296]在步驟S44中，控制單元66生成包括所計(jì)算的得分或存儲(chǔ)在存儲(chǔ)單元68中的捕獲圖像的機(jī)器人識(shí)別信息并將該信息提供給通信單元61。
[0297]在步驟S45中，通信單元61將來自控制單元61的機(jī)器人識(shí)別信息傳送給指令設(shè)備21。處理返回到步驟S41并且然后進(jìn)行相同的處理。
[0298]此外，例如，當(dāng)機(jī)器人22發(fā)現(xiàn)目標(biāo)并將目標(biāo)拿給用戶時(shí)，得分計(jì)算處理結(jié)束。
[0299]如上所述，根據(jù)得分計(jì)算處理計(jì)算所檢測(cè)的對(duì)象的得分并且將包括所計(jì)算的得分的機(jī)器人識(shí)別信息傳送給指令設(shè)備21。
[0300]因此，在指令設(shè)備21的顯示屏21a上，可以如圖6至圖17所示的那樣顯示機(jī)器人識(shí)別信息，以使得用戶可以容易地預(yù)測(cè)機(jī)器人22的行為。
[0301]<第一實(shí)施方式的修改示例>
[0302]<機(jī)器人識(shí)別圖像的另一顯示示例>[0303]參照?qǐng)D6至圖17，已經(jīng)描述了其中在顯示屏21a的較左側(cè)顯示具有較高得分的對(duì)象的機(jī)器人識(shí)別圖像，但是機(jī)器人識(shí)別圖像不限于此。
[0304]接著，圖23示出了機(jī)器人識(shí)別圖像的另一顯示示例。
[0305]在圖23中，在指示位于顯示屏21a的上側(cè)的屏幕的上部屏幕81上，由于由對(duì)象圖像表示的對(duì)象的得分變得更高，所以顯示了布置在顯示屏21a的較左側(cè)的機(jī)器人識(shí)別圖像。在這種情況下，對(duì)象91、對(duì)象92、對(duì)象93以及對(duì)象94以降序順序具有高得分。
[0306]此外，在表示位于顯示屏21a的上側(cè)的屏幕的下部屏幕82上顯示通過使用相機(jī)62進(jìn)行捕獲而獲得的最新的捕獲圖像。如圖23所示，在捕獲圖像中捕獲了顯示在上部屏幕81上的對(duì)象91 (“蘋果汁”)和對(duì)象92 (“C汽水汁”)。
[0307]在顯示圖像21a上，通過虛線將上部屏幕81上的對(duì)象91和下部屏幕82上的對(duì)象91(“蘋果汁”)連接，以使得可以理解顯示在上部屏幕81上的對(duì)象91和顯示在下部屏幕82上的對(duì)象91之間的對(duì)應(yīng)關(guān)系。
[0308]這同樣適用于對(duì)象92。此外，在這種情況下，通過使用相機(jī)62進(jìn)行捕獲而獲得的最新的捕獲圖像包括在機(jī)器人識(shí)別信息中。
[0309]也就是說，在圖23中，不同于參照?qǐng)D6至圖17所描述的情況，將通過使用相機(jī)62進(jìn)行捕獲而獲得的最新的捕獲圖像顯示在下部屏幕82上。
[0310]在圖23中，在上部屏幕81上，通過粗線矩形包圍對(duì)象91的對(duì)象圖像和對(duì)象92的對(duì)象圖像。因此，預(yù)測(cè)到機(jī)器人22將對(duì)象91和對(duì)象92識(shí)別為目標(biāo)。此外，參照?qǐng)D23中的下部屏幕82，預(yù)測(cè)機(jī)器人22存在于對(duì)象91和對(duì)象92的附近。
[0311]因此，與僅參照?qǐng)D23的上部屏幕81的情況相比較，通過參照?qǐng)D23的上部屏幕81和下部屏幕82，用戶可以容易地預(yù)測(cè)機(jī)器人22拿起對(duì)象91和對(duì)象92中的一個(gè)對(duì)象作為目標(biāo)。
[0312]此外，在圖23中，在下部屏幕82上顯示通過使用相機(jī)62進(jìn)行捕獲而獲得的最新的捕獲圖像。然而，例如，可以顯示通過使用相機(jī)62以預(yù)定時(shí)間進(jìn)行捕獲而獲得的捕獲圖像。此外，可以顯示通過對(duì)通過使用相機(jī)62進(jìn)行捕獲而獲得的多個(gè)捕獲圖像進(jìn)行合成而生成的合成圖像(例如全景圖的圖像)。
[0313]此外，例如，在顯示屏21a上，可以顯示通過使用相機(jī)62進(jìn)行捕獲而獲得的捕獲圖像，以使得與粗線矩形交疊(例如，通過粗線矩形包圍捕獲圖像上的蘋果汁)。在這種情況下，在顯示屏21a上，不顯示圖23所示出的在上部屏幕81上顯示的圖像，而僅顯示捕獲圖像。
[0314]此外，例如，如圖24所示，可以在顯示屏21a的下部屏幕82上顯示示出房間中的空間的空間圖，而不是通過使用相機(jī)62進(jìn)行捕獲而獲得的最新的捕獲圖像。在這種情況下，機(jī)器人識(shí)別信息包括指示房間的空間圖的空間信息。此外，例如，預(yù)先將空間信息存儲(chǔ)在機(jī)器人22的存儲(chǔ)單元68中。
[0315]此外，如圖24所示，在顯示在下部屏幕82上的空間圖中，通過虛線101來指示其中機(jī)器人22從現(xiàn)在開始移動(dòng)的路徑。此外，在圖24中，通過虛線來連接顯示在上部屏幕81上的對(duì)象和對(duì)象存在于空間圖上的位置，以使得可以理解對(duì)應(yīng)關(guān)系。
[0316]因此，與僅參照?qǐng)D24的顯示屏21a的上部屏幕81的情況相比較，通過參照?qǐng)D24的顯示屏21a的上部屏幕81和下部屏幕82，用戶可以預(yù)測(cè)機(jī)器人22將帶著作為目標(biāo)的對(duì)象91 (“蘋果汁”)返回。
[0317]此外，當(dāng)顯示圖23和圖24所示出的顯示屏21a時(shí)，最好優(yōu)先地顯示存在于機(jī)器人22附近的對(duì)象(存在于距機(jī)器人22的位置預(yù)定范圍內(nèi)的對(duì)象)作為對(duì)象圖像。
[0318]此外，例如，在顯示屏21a上，將捕獲圖像顯示在圖23所示出的下部屏幕82上，并且將空間圖顯示在圖24所示出的上部屏幕82中。然而，例如，可以在顯示屏21a上顯示捕獲圖像和空間圖二者。
[0319]在這種情況下，例如，在顯示屏21a上，將包括指示其中機(jī)器人22從現(xiàn)在開始移動(dòng)的路徑的虛線101的空間圖連同圖23所示出的顯示一起顯示。
[0320]接著，圖25示出了機(jī)器人識(shí)別圖像的另一顯示示例。
[0321]在圖25中，在顯示屏21a上顯示通過使用機(jī)器人22的相機(jī)62進(jìn)行捕獲而獲得的最新的捕獲圖像。在捕獲圖像中主要捕獲由機(jī)器人22檢測(cè)的對(duì)象111至對(duì)象114。
[0322]此外，在對(duì)象111和對(duì)象113中，通過氣球Illa至氣球113a來顯示由機(jī)器人22對(duì)于對(duì)象要進(jìn)行的行為。
[0323]在氣球Illa中顯示行為“丟棄”，在氣球112a中顯示行為“拿起”，在氣球113a中顯示行為“拿起”以及在氣球114a中顯示行為“丟棄”。此外，當(dāng)如圖25所示的那樣對(duì)顯示屏21a進(jìn)行顯示時(shí)，指示具有對(duì)象(例如，“鳥雕像”)作為要被處理的目標(biāo)的機(jī)器人22的處理(例如，“丟棄”)的處理信息被包括在來自機(jī)器人22的機(jī)器人識(shí)別信息中。
[0324]此外，例如，氣球Illa至氣球113a的尺寸與具有氣球的對(duì)象的得分對(duì)應(yīng)。此外，可以通過氣球的顏色而不是氣球的尺寸來指示得分。
[0325]在第一實(shí)施方式中，用戶使用指令設(shè)備21來指示機(jī)器人22拿起“茶”作為目標(biāo)。然而，指令不限于此。例如，用戶可以指示將目標(biāo)丟棄在垃圾箱。
[0326]例如，用戶可以使用指令設(shè)備21來指示對(duì)目標(biāo)進(jìn)行“抓住”、“拾起”或“清理”。
[0327]例如，圖25是當(dāng)用戶使用指令設(shè)備21來指示機(jī)器人22拿起“果汁”并且將“小對(duì)象”丟棄到垃圾箱時(shí)顯示在指令設(shè)備21的顯示屏21a上的顯示示例。
[0328]也就是說，只要用戶可以本能地預(yù)測(cè)機(jī)器人22的行為，可以通過任何顯示方法對(duì)顯示在顯示屏21a上的機(jī)器人識(shí)別圖像進(jìn)行顯示。
[0329]此外，例如，用戶可以使用指令設(shè)備21來選擇人作為目標(biāo)而不是“茶”作為目標(biāo)。在這種情況下，用戶可以使用指令設(shè)備21來“呼叫”作為目標(biāo)的人。
[0330]在這種情況下，例如，可以將所檢測(cè)的人連同此人的名字一起顯示在顯示屏21a上。此外，例如，將人的名字與用于對(duì)人進(jìn)行標(biāo)識(shí)的標(biāo)識(shí)符相關(guān)聯(lián)地預(yù)先存儲(chǔ)在機(jī)器人22的存儲(chǔ)單元68中。
[0331]此外，如果在顯示屏21a上顯示不同人的名字作為所檢測(cè)的人的名字，那么用戶可以使用操縱單元41來將名字改變成所檢測(cè)的人的名字。
[0332]例如，如圖26所示，指令設(shè)備21基于來自機(jī)器人22的機(jī)器人識(shí)別信息使得能夠?qū)▽?duì)象圖像121至對(duì)象圖像124的機(jī)器人識(shí)別圖像顯示在顯示屏21a上。
[0333]在圖26所示出的顯示屏21a上，顯示了機(jī)器人22識(shí)別與對(duì)象圖像121對(duì)應(yīng)的對(duì)象“十八茶”“可能是目標(biāo)”。
[0334]還顯示了機(jī)器人22 “還不確定”與對(duì)象圖像122對(duì)應(yīng)的對(duì)象“C汽水汁”和與對(duì)象圖像123對(duì)應(yīng)的對(duì)象“盆栽”分別是否是目標(biāo)，以及機(jī)器人識(shí)別與對(duì)象圖像124對(duì)應(yīng)的對(duì)象“毛絨動(dòng)物” “不是目標(biāo)”。
[0335]因此，用戶可以通過參照?qǐng)D26所示出的顯示屏21a預(yù)測(cè)如下所述的機(jī)器人22的行為。也就是說，例如，用戶可以預(yù)測(cè)機(jī)器人22最終將已經(jīng)由機(jī)器人識(shí)別為“可能的目標(biāo)”的對(duì)象“十八茶”識(shí)別“作為目標(biāo)”，并且拿起對(duì)象“十八茶”。
[0336]在這種情況下，認(rèn)為用戶可以等待直到機(jī)器人22拿起對(duì)象“十八茶”為止。
[0337]此外，例如，在圖27所示出的顯示屏21a上，顯示了表明機(jī)器人22將與對(duì)象圖像141對(duì)應(yīng)的對(duì)象“ABC茶”和與對(duì)象圖像142對(duì)應(yīng)的對(duì)象“S茶” 二者識(shí)別為目標(biāo)的粗線矩形。
[0338]此外，例如，在圖27所示出的顯示屏21a上，顯示了表明機(jī)器人22將要帶著對(duì)象“ABC茶”返回的三角形。
[0339]因此，用戶預(yù)測(cè)機(jī)器人22想要知道拿起對(duì)象“ABC茶”或?qū)ο蟆癝茶”中的哪個(gè)對(duì)象，但是將嘗試性地帶著對(duì)象“ABC茶”返回。
[0340]如果對(duì)象“ABC茶”或?qū)ο蟆癝茶”對(duì)用戶來說沒有差別，那么用戶不需要操縱指令設(shè)備21并且只是等待直到機(jī)器人22拿起對(duì)象“ABC茶”或?qū)ο蟆癝茶”為止。
[0341]此外，例如，在圖27所示出的顯示屏21a上，由于沒有顯示三角形并且對(duì)象“ABC茶”或?qū)ο蟆癝茶”對(duì)用戶來說沒有差別，所以如果用戶想要快速地?fù)碛袑?duì)象，優(yōu)選的是，用戶指示機(jī)器人22拿起對(duì)象“ABC茶”。
[0342]因此，例如，如圖28所示，指令設(shè)備21可以在顯示屏21a上顯示的對(duì)象圖像161至對(duì)象圖像165中通過用戶的操縱來指示與用戶想要擁有的對(duì)象“十八茶”對(duì)應(yīng)的對(duì)象圖像 162。
[0343]此外，在圖28中，例如，當(dāng)不顯示三角形時(shí)，由于通過用戶的操縱指示了與用戶想要擁有的對(duì)象“十八茶”對(duì)應(yīng)的對(duì)象圖像162，所以在顯示屏21a上顯示由粗線矩形包圍并且由三角形指示的對(duì)象圖像162。
[0344]此外,例如，如果在圖29所示出的顯示屏21a上顯示了指示與對(duì)象圖像181至對(duì)象圖像187中的對(duì)象圖像182對(duì)應(yīng)的對(duì)象“ABC茶”的三角形，那么可以預(yù)測(cè)機(jī)器人22帶著對(duì)象“ABC茶”返回。
[0345]如果用戶想要擁有對(duì)象“S茶”而不是對(duì)象“ABC茶”，那么用戶操縱指令設(shè)備21的操縱單元41來指示機(jī)器人22拿起與對(duì)象圖像184對(duì)應(yīng)的對(duì)象“S茶”而不是對(duì)象“ABC茶”。
[0346]也就是說，例如，如圖30所示，用戶可以使用指針(箭頭)來指定顯示屏21a上的對(duì)象圖像184以指示機(jī)器人22拿起與對(duì)象圖像184對(duì)應(yīng)的對(duì)象“S茶”。
[0347]結(jié)果是，在顯示屏21a上，顯示了指示與對(duì)象圖像184對(duì)應(yīng)的對(duì)象“S茶”的三角形(圖30)，而不是指示與對(duì)象圖像182對(duì)應(yīng)的對(duì)象“ABC茶”的三角形(圖29)。
[0348]<3.第二實(shí)施方式>
[0349]<當(dāng)觀看顯示屏21a的用戶指示機(jī)器人22時(shí)的示例>
[0350]接著，圖31至圖38示出了用戶通過操縱指令設(shè)備21的操縱單元41來進(jìn)行用于指令機(jī)器人22的反饋操作的示例。
[0351]圖31示出了用戶通過參照指令設(shè)備21的顯示屏21a使用指令設(shè)備21的操縱單元41來進(jìn)行反饋操作的示例。
[0352]在圖31中，示出了顯示在顯示屏21a上的對(duì)象圖像201至對(duì)象圖像204。此外，通過表明機(jī)器人22將對(duì)象識(shí)別“為目標(biāo)”的矩形來包圍對(duì)象圖像201至對(duì)象圖像202。
[0353]此外，照原樣顯示對(duì)象圖像203，針對(duì)對(duì)象“C汽水汁”機(jī)器人22的識(shí)別狀態(tài)是“還不確定”。此外，將表明機(jī)器人22的識(shí)別狀態(tài)是“該對(duì)象不是目標(biāo)”的陰影線添加到對(duì)象圖像 204。
[0354]例如，用戶可以使用指令設(shè)備21的操縱單元41來進(jìn)行如由箭頭221所示的那樣將由對(duì)象圖像203指示的對(duì)象“C汽水汁”的識(shí)別狀態(tài)從“還不確定”改變成“這是目標(biāo)”的反饋操作。
[0355]此外，例如，用戶可以使用指令設(shè)備21的操縱單元41來進(jìn)行如由箭頭222所示的那樣將由對(duì)象圖像202指示的對(duì)象“十八茶”的識(shí)別狀態(tài)從“這是目標(biāo)”改變成“這不是目標(biāo)”的反饋操作。
[0356]控制單元42根據(jù)與反饋操作對(duì)應(yīng)的來自操縱單元41的操縱信號(hào)來生成對(duì)應(yīng)的反饋信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的反饋信息提供給機(jī)器人22。
[0357]機(jī)器人22基于來自通信單元44的反饋信息重新計(jì)算對(duì)象的得分并且基于從結(jié)果所獲得的得分來改變對(duì)象的識(shí)別狀態(tài)。
[0358]接著，圖32示出了機(jī)器人22的控制單元66根據(jù)來自指令設(shè)備21的反饋信息來改變對(duì)象的識(shí)別狀態(tài)的示例。
[0359]例如，在指令設(shè)備21中，如果用戶使用操縱單元41來進(jìn)行反饋操作，那么操縱單元41將與反饋操作對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0360]控制單元42基于來自操縱單元41的操縱信號(hào)生成反饋信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的反饋信息傳送給機(jī)器人22。
[0361]在這種情況下，如圖31所示，例如，認(rèn)為用戶使用指令設(shè)備21的操縱單元41來進(jìn)行如由箭頭221所示的那樣將由對(duì)象圖像203指示的對(duì)象“C汽水汁”的識(shí)別狀態(tài)從“還不確定”改變成“這是目標(biāo)”的反饋操作。
[0362]在這種情況下，在機(jī)器人22中，控制單元66基于從指令設(shè)備21的通信單元44通過通信單元61提供的反饋信息來重新計(jì)算對(duì)象“C汽水汁”的得分。
[0363]結(jié)果，控制單元66基于通過重新計(jì)算所獲得的新得分來如由箭頭2211所示的那樣將對(duì)象“C汽水汁”的識(shí)別狀態(tài)從“還不確定”確定(改變)成“這是目標(biāo)”。
[0364]此外，當(dāng)進(jìn)行將對(duì)象的識(shí)別狀態(tài)從“這可能是目標(biāo)”改變成“這是目標(biāo)”的反饋操作作為反饋操作時(shí)，控制單元66進(jìn)行下述處理。也就是說，例如，控制單元66基于來自通信單元61的反饋信息如由箭頭2212所示的那樣將對(duì)象的識(shí)別狀態(tài)從“這可能是目標(biāo)”確定成“這是目標(biāo)”。
[0365]此外，當(dāng)進(jìn)行將對(duì)象的識(shí)別狀態(tài)從“這不是目標(biāo)”改變成“這是目標(biāo)”的反饋操作作為反饋操作時(shí)，控制單元66進(jìn)行下述處理。也就是說，例如，控制單元66基于來自通信單元61的反饋信息如由箭頭2213所示的那樣將對(duì)象的識(shí)別狀態(tài)從“這不是目標(biāo)”確定成“這是目標(biāo)”。
[0366]此外，例如，如圖31所示，認(rèn)為用戶使用指令設(shè)備21的操縱單元41來進(jìn)行如由箭頭222所示的那樣將由對(duì)象圖像202指示的對(duì)象“十八茶”的識(shí)別狀態(tài)從“這是目標(biāo)”改變成“這不是目標(biāo)”的反饋操作。[0367]在這種情況下，如圖32所示，控制單元66基于來自通信單元61的反饋信息如由箭頭222所示的那樣將對(duì)象“十八茶”的識(shí)別狀態(tài)從“這是目標(biāo)”確定成“這不是目標(biāo)”。
[0368]<反饋操作的示例>
[0369]接著，將參照?qǐng)D33至圖38描述用戶通過參照指令設(shè)備21的顯示屏21a進(jìn)行反饋操作的示例。
[0370]在指令設(shè)備21中，控制單元42基于從機(jī)器人22通過通信單元44提供的機(jī)器人識(shí)別信息使得能夠如圖33所示的那樣將包括例如對(duì)象圖像241至對(duì)象圖像244的機(jī)器人識(shí)別圖像顯示在顯示單元43的顯示屏21a上。
[0371]此外，當(dāng)機(jī)器人22將由對(duì)象圖像242指示的對(duì)象“運(yùn)動(dòng)飲料”識(shí)別“為目標(biāo)”時(shí)，控制單元42基于從機(jī)器人22通過通信單元44傳送的機(jī)器人識(shí)別信息使得能夠?qū)C(jī)器人識(shí)別圖像顯示在顯示屏21a上。
[0372]結(jié)果，如圖34所示，在顯示屏21a上顯示包括對(duì)象圖像241至對(duì)象圖像244的機(jī)器人識(shí)別圖像。
[0373]在圖34示出的顯示屏21a上，預(yù)測(cè)機(jī)器人22將不同于用戶想要擁有的對(duì)象“十八茶”(由對(duì)象圖像245指示的對(duì)象)的對(duì)象“運(yùn)動(dòng)飲料”(由對(duì)象圖像242指示的對(duì)象)識(shí)別為目標(biāo)。
[0374]此外，當(dāng)機(jī)器人22行動(dòng)來拿起對(duì)象“運(yùn)動(dòng)飲料”作為目標(biāo)時(shí)，控制單元42基于從機(jī)器人22通過通信單元44傳送的機(jī)器人識(shí)別信息使得能夠?qū)C(jī)器人識(shí)別圖像顯示在顯示屏21a上。
[0375]結(jié)果，如圖35所示，顯示屏21a顯示添加有表明機(jī)器人22拿起對(duì)象“運(yùn)動(dòng)飲料”作為目標(biāo)的三角形的對(duì)象圖像242。
[0376]在這種情況下，如圖35所示，用戶使用指令設(shè)備21的操縱單元41來進(jìn)行指示對(duì)象“運(yùn)動(dòng)飲料”不是目標(biāo)的反饋操作。在這種情況下，操縱單元41將與用戶的反饋操作對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0377]控制單元42基于來自操縱單元41的操縱信號(hào)生成反饋信息并將該信息提供給通信單元44。通信單元44將來自控制單元42的反饋信息傳送給機(jī)器人22。在這種情況下，例如，機(jī)器人22 (控制單元66)基于來自通信單元44的反饋信息重新計(jì)算對(duì)象“運(yùn)動(dòng)飲料”的得分。
[0378]結(jié)果，對(duì)象“運(yùn)動(dòng)飲料”的得分低于例如對(duì)象“十八茶”的得分，并且機(jī)器人行動(dòng)來拿起對(duì)象“十八茶”作為目標(biāo)。此外，機(jī)器人基于所重新計(jì)算的得分將對(duì)象“運(yùn)動(dòng)飲料”的識(shí)別狀態(tài)從“這是目標(biāo)”改變成“這不是目標(biāo)”。
[0379]在這種情況下，在指令設(shè)備21中，控制單元42基于從機(jī)器人22通過通信單元44傳送的機(jī)器人識(shí)別信息使得能夠?qū)C(jī)器人識(shí)別圖像顯示在顯示屏21a上。此外，機(jī)器人識(shí)別信息至少包括根據(jù)用戶的反饋操作基于反饋信息所重新計(jì)算的得分。
[0380]結(jié)果，如圖36所示，顯示屏21a顯示添加有表明機(jī)器人拿起對(duì)象“十八茶”作為目標(biāo)的三角形的對(duì)象圖像245。
[0381]此外，例如，除表明對(duì)象“運(yùn)動(dòng)飲料”不是目標(biāo)的反饋操作之外，用戶可以進(jìn)行如圖37所示的表明對(duì)象“十八茶”是目標(biāo)的反饋操作。
[0382]在這種情況下，例如，機(jī)器人22 (控制單元66)基于來自通信單元44的反饋信息重新計(jì)算對(duì)象“十八茶”的得分。結(jié)果，對(duì)象“十八茶”的得分高于例如對(duì)象“運(yùn)動(dòng)飲料”的得分并且機(jī)器人行動(dòng)來拿起對(duì)象“十八茶”作為目標(biāo)。
[0383]另一方面，指令設(shè)備21的控制單元42基于從機(jī)器人22通過通信單元44傳送的機(jī)器人識(shí)別信息使得能夠?qū)C(jī)器人識(shí)別圖像顯示在顯示屏21a上。
[0384]結(jié)果，如圖38所示，顯示屏21a顯示添加有表明機(jī)器人拿起對(duì)象“十八茶”作為目標(biāo)的三角形的對(duì)象圖像245。
[0385]此外，例如，如果通過反饋操作表明對(duì)象不是目標(biāo)，那么認(rèn)為用戶使用操縱單元41來指定不是目標(biāo)的對(duì)象(其對(duì)象圖像)并且將所指定的對(duì)象作為目標(biāo)。
[0386]在這種情況下，控制單元42生成表明由用戶指定的對(duì)象不是目標(biāo)的反饋信息。
[0387]此外，例如，如果通過反饋操作表明對(duì)象不是目標(biāo)，那么認(rèn)為用戶使用操縱單元41來指定作為目標(biāo)的對(duì)象(其對(duì)象圖像)，并且將沒有指定的對(duì)象作為不是目標(biāo)的對(duì)象。
[0388]在這種情況下，控制單元42生成表明沒有被用戶指定的對(duì)象不是目標(biāo)的反饋信肩、O
[0389]此外，可以通過使用邊框包圍想要指定的顯示屏21a上的對(duì)象來對(duì)對(duì)象進(jìn)行指定。此外，當(dāng)操縱單元41包括鼠標(biāo)時(shí)，用戶將光標(biāo)等移動(dòng)到要指定的顯示屏21a上的對(duì)象并且點(diǎn)擊鼠標(biāo)的左按鈕(單擊或雙擊)來對(duì)對(duì)象進(jìn)行指定。
[0390]此外，如果指令設(shè)備21是個(gè)人計(jì)算機(jī)，并且設(shè)置控制鍵和換擋鍵作為操縱單元41，那么控制鍵和換擋鍵一起使用來點(diǎn)擊左按鈕以指定多個(gè)對(duì)象。
[0391]此外，例如，在指定對(duì)象之后，用戶可以通過點(diǎn)擊鼠標(biāo)的右按鈕來選擇所顯示的選項(xiàng)“這是目標(biāo)”、“這不是目標(biāo)”等中的選項(xiàng)“這不是目標(biāo)”，并且進(jìn)行表明所指定的對(duì)象不是目標(biāo)的反饋操作。
[0392]此外，例如，用戶可以用鼠標(biāo)的左按鈕再次點(diǎn)擊所指定的對(duì)象以取消對(duì)對(duì)象的指定。此外，例如，用戶可以通過點(diǎn)擊左按鈕來選擇對(duì)象以進(jìn)行使顯示屏21a的邊框外部的對(duì)象傾倒的傾倒操作作為表明對(duì)象“不是目標(biāo)”的反饋操作。
[0393]例如，在操縱單元41包括“Enter (回車)”鍵的情況下，可以采用在指定對(duì)象時(shí)按壓“Enter”鍵的按壓操作作為表明所指定的對(duì)象是目標(biāo)的反饋操作。
[0394]此外，例如，在操縱單元41包括“Delete (刪除)”鍵的情況下，可以采用在指定對(duì)象時(shí)按壓“Delete”鍵的按壓操作作為表明所指定的對(duì)象不是目標(biāo)的反饋操作。
[0395]此外，例如，在操縱單元41包括“Tab (跳格)”鍵的情況下，每當(dāng)用戶按壓“Tab”鍵時(shí)，可以移動(dòng)在顯示屏21a上顯示的焦點(diǎn)。
[0396]這同樣適用于其中進(jìn)行表明所指定的對(duì)象是目標(biāo)的反饋操作的情況。
[0397]<關(guān)于由指令設(shè)備21進(jìn)行的反饋處理>
[0398]接著，將參照?qǐng)D39的流程圖來描述由指令設(shè)備21進(jìn)行的反饋處理。
[0399]此外，例如，當(dāng)接通指令設(shè)備21的電源時(shí)反饋處理開始。此外，將對(duì)象圖像顯示在顯示屏21a上。
[0400]在步驟S61中，控制單元42基于是否已經(jīng)從操縱單元41提供了與反饋操作對(duì)應(yīng)的操縱信號(hào)來判斷是否已經(jīng)由用戶進(jìn)行了反饋操作。控制單元42重復(fù)步驟S61的處理直到判斷已經(jīng)由用戶進(jìn)行了反饋操作為止。
[0401]在步驟S61中，如果基于是否已經(jīng)提供了與反饋操作對(duì)應(yīng)的操縱信號(hào)而判斷已經(jīng)由用戶進(jìn)行了反饋操作，那么控制單元42使處理前進(jìn)到步驟S62。
[0402]在步驟S62中，控制單元42基于用戶的反饋操作生成反饋信息，并將該信息提供給通信單元44。
[0403]在步驟S63中，通信單元44使用無線通信等將來自控制單元42的反饋信息傳送給機(jī)器人22并且將處理返回到步驟S61，并且然后重復(fù)相同的處理。注意，例如，當(dāng)斷開指令設(shè)備21的電源時(shí)反饋處理結(jié)束。
[0404]如上所述，根據(jù)反饋處理，按照用戶的反饋操作，可以表明顯示在顯示屏21a上的對(duì)象是目標(biāo)。
[0405]因此，例如，如果機(jī)器人22將不是目標(biāo)的對(duì)象識(shí)別為目標(biāo)，那么可以使用指令設(shè)備21反饋給機(jī)器人22該對(duì)象不是目標(biāo)。
[0406]<關(guān)于由機(jī)器人22進(jìn)行的得分重新計(jì)算處理>
[0407]接著，將參照?qǐng)D40的流程圖來描述由機(jī)器人22進(jìn)行的得分重新計(jì)算處理。
[0408]例如，當(dāng)接通機(jī)器人22的電源時(shí)得分重新計(jì)算處理開始。
[0409]在步驟S81中，通信單元61重復(fù)步驟S81的處理直到接收到來自指令設(shè)備21的反饋信息為止。在步驟S81中，當(dāng)通信單元61接收來自指令設(shè)備21的反饋信息時(shí)，通信單元61將所接收的反饋信息提供給控制單元66并且使處理前進(jìn)到步驟S82。
[0410]在步驟S82中，控制單元66基于來自通信單元61的反饋信息重新計(jì)算對(duì)象的得分并且使處理前進(jìn)到步驟S83。
[0411 ] 在步驟S83中，控制單元66基于所重新計(jì)算的得分來生成機(jī)器人識(shí)別信息并將該信息提供給通信單元61，并且使處理前進(jìn)到步驟S84。
[0412]在步驟S84中，通信單元61使用無線通信等將來自控制單元66的機(jī)器人識(shí)別信息傳送給指令設(shè)備21并將處理返回到步驟S81，然后重復(fù)相同的處理。此外，例如，當(dāng)斷開機(jī)器人22的電源時(shí)得分重新計(jì)算處理結(jié)束。
[0413]如上所述，根據(jù)得分重新計(jì)算處理，基于來自指令設(shè)備21的反饋信息重新計(jì)算得分，以使得可以計(jì)算來自用戶的反饋反映到的得分。
[0414]<第二實(shí)施方式的修改示例>
[0415]在第二實(shí)施方式中，用戶參照顯示屏21a進(jìn)行表明預(yù)定對(duì)象是目標(biāo)或不是目標(biāo)的反饋操作。然而，用戶的反饋操作不限于此。
[0416]也就是說，例如，如圖41所示，當(dāng)對(duì)象261至對(duì)象263顯示在顯示屏21a上作為一個(gè)對(duì)象時(shí)，機(jī)器人22將對(duì)象261至對(duì)象263識(shí)別為一個(gè)對(duì)象。
[0417]在這種情況下，例如，用戶可以使用指令設(shè)備21的操縱單元41來進(jìn)行對(duì)一個(gè)對(duì)象顯示在其上的區(qū)域進(jìn)行指定的反饋操作并且使得機(jī)器人22能夠?qū)?duì)象261至對(duì)象263識(shí)別為一個(gè)對(duì)象。
[0418]此外，例如，如果操縱單元41包括鼠標(biāo)，那么使用鼠標(biāo)來進(jìn)行對(duì)一個(gè)對(duì)象顯示在其上的區(qū)域進(jìn)行指定的反饋操作以對(duì)一個(gè)對(duì)象顯示在其上的區(qū)域進(jìn)行指定，并且通過點(diǎn)擊右按鈕來選擇要顯示的選項(xiàng)“分離”。
[0419]然后，當(dāng)從操縱單元41提供與反饋操作對(duì)應(yīng)的操縱信號(hào)時(shí)，控制單元42生成反饋信息并將該信息提供給通信單元44。通信單元44通過無線通信等將來自控制單元42的反饋信息傳送給機(jī)器人22。[0420]在機(jī)器人22中，通信單元61將來自通信單元44的反饋信息提供給控制單元66?？刂茊卧?6基于來自通信單元61的反饋信息將已經(jīng)被識(shí)別為一個(gè)對(duì)象的對(duì)象261至對(duì)象263中的每個(gè)對(duì)象識(shí)別為一個(gè)對(duì)象261、一個(gè)對(duì)象262或一個(gè)對(duì)象263。
[0421]此外，控制單元66計(jì)算每個(gè)被識(shí)別為一個(gè)對(duì)象的對(duì)象261、對(duì)象262以及對(duì)象263的得分并且基于計(jì)算結(jié)果生成機(jī)器人識(shí)別信息，并通過通信單元61將該信息傳送給指令設(shè)備21。
[0422]在指令設(shè)備21中，控制單元42基于從機(jī)器人22的通信單元61通過通信單元44傳送的機(jī)器人識(shí)別信息使得能夠?qū)⑷鐖D42所示的機(jī)器人識(shí)別圖像顯示在顯示單元43的顯示屏21a上。
[0423]此外，例如，在應(yīng)該被識(shí)別為一個(gè)對(duì)象的某物(例如，同時(shí)使用的一套刀、叉及勺子)被分離并且被顯示在顯示屏21a上作為多個(gè)對(duì)象時(shí)，例如，用戶可以使用指令設(shè)備21的操縱單元41來進(jìn)行對(duì)包括被分離并且被顯示的多個(gè)對(duì)象的區(qū)域進(jìn)行指定的反饋操作，以使得機(jī)器人22能夠?qū)⒈环蛛x并且被顯示的多個(gè)對(duì)象識(shí)別為一個(gè)對(duì)象。
[0424]此外，當(dāng)操縱單元41包括鼠標(biāo)時(shí)，例如，對(duì)包括被分離并且被顯示的多個(gè)對(duì)象的區(qū)域進(jìn)行指定的反饋操作使用鼠標(biāo)來對(duì)對(duì)象顯示在其上的區(qū)域進(jìn)行指定以通過點(diǎn)擊右按鈕來選擇所顯示的選項(xiàng)“合并”。
[0425]注意，例如，在第二實(shí)施方式中，對(duì)顯示在顯示屏21a上的對(duì)象進(jìn)行反饋操作。
[0426]然而，例如，當(dāng)控制單元66沒有檢測(cè)出捕獲圖像上的對(duì)象時(shí)，機(jī)器人22可以通過對(duì)包括捕獲圖像上的未檢測(cè)的對(duì)象的區(qū)域進(jìn)行指定的區(qū)域指定操作將未檢測(cè)的對(duì)象檢測(cè)(識(shí)別)為對(duì)象。
[0427]結(jié)果，如圖43所示，機(jī)器人22檢測(cè)未感測(cè)(檢測(cè)的)的對(duì)象并且將所檢測(cè)的對(duì)象的識(shí)別狀態(tài)從“未檢測(cè)”確定成“還不確定”。
[0428]也就是說，例如，用戶可以使用指令設(shè)備21的操縱單元41來進(jìn)行指定機(jī)器人22對(duì)對(duì)象進(jìn)行搜索的搜索范圍的區(qū)域指定操作以使得機(jī)器人22能夠在搜索范圍內(nèi)對(duì)對(duì)象進(jìn)行搜索。
[0429]<5.第三實(shí)施方式>
[0430]接著，圖44示出了其中使用捕獲圖像來指定搜索范圍的示例。
[0431]例如，當(dāng)如圖44A所示的環(huán)境圖像31包括在機(jī)器人識(shí)別信息中作為捕獲圖像時(shí)，指令設(shè)備21的控制單元42基于機(jī)器人識(shí)別信息使得能夠?qū)h(huán)境圖像31顯示在顯示屏21a上。
[0432]在這種情況下，如圖44A所示，用戶可以使用指令設(shè)備21的操縱單元41來進(jìn)行區(qū)域指定操作，該區(qū)域指定操作將顯示在顯示屏21a上的環(huán)境圖像31上的部分區(qū)域281指定為與其中搜索目標(biāo)的搜索范圍對(duì)應(yīng)的區(qū)域。
[0433]結(jié)果，操縱單元41將與用戶的區(qū)域指定操作對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0434]控制單元42根據(jù)來自操縱單元41的操縱信號(hào)來生成指示在環(huán)境圖像31上的所有區(qū)域中通過用戶的區(qū)域指定操作指定的部分區(qū)域281的指定范圍信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的指定范圍信息傳送給機(jī)器人22。
[0435]另一方面，機(jī)器人22的通信單元61從指令設(shè)備21的通信單元44接收指定范圍信息并將該信息提供給控制單元66?？刂茊卧?6基于來自通信單元61的指定范圍信息來檢測(cè)存儲(chǔ)在存儲(chǔ)單元68中的環(huán)境圖像31上的部分區(qū)域281。
[0436]然后，控制單元66從存儲(chǔ)單元68讀取與部分區(qū)域281上的對(duì)象相關(guān)聯(lián)的多個(gè)三維位置，并且基于多個(gè)所讀取的三維位置來計(jì)算(指定)用于搜索目標(biāo)的搜索范圍。
[0437]此外，控制單元66計(jì)算搜索范圍的計(jì)算方法不限于此。也就是說，例如，即使三維位置不與部分區(qū)域281相關(guān)聯(lián)，控制單元66也可以根據(jù)部分區(qū)域281或指示相機(jī)62的有效視角、有效像素?cái)?shù)、位置以及定向的參數(shù)來計(jì)算搜索范圍。
[0438]在這種情況下，當(dāng)通過在相機(jī)62對(duì)圖像進(jìn)行捕獲以使得與環(huán)境圖像31相關(guān)聯(lián)時(shí)進(jìn)行捕獲而獲得環(huán)境圖像31時(shí)，由控制單元66將指示在捕獲定時(shí)處相機(jī)62的位置和定向的第一參數(shù)連同捕獲定時(shí)一起存儲(chǔ)在存儲(chǔ)單元68中。此外，預(yù)先將指示相機(jī)62的有效視角和有效像素?cái)?shù)的第二參數(shù)存儲(chǔ)在存儲(chǔ)單元68中。
[0439]也就是說，例如，控制單元66從存儲(chǔ)單元68讀取指示在通過捕獲而獲得環(huán)境圖像31時(shí)的捕獲定時(shí)處相機(jī)62的位置和定向的第一參數(shù)以及指示相機(jī)62的有效視角和有效像
素?cái)?shù)的第二參數(shù)。
[0440]然后，控制單元66使用第一參數(shù)和第二參數(shù)來指定與部分區(qū)域281對(duì)應(yīng)的在三維觀看范圍中被捕獲作為部分區(qū)域281的真實(shí)空間上的區(qū)域，也就是說，在捕獲定時(shí)處，根據(jù)占據(jù)環(huán)境圖像31的部分區(qū)域281。
[0441]此外，在觀看范圍中采用其中機(jī)器人22可以移動(dòng)的區(qū)域作為搜索范圍。
[0442]控制單元66控制驅(qū)動(dòng)單元67以驅(qū)動(dòng)與機(jī)器人22的手或腳對(duì)應(yīng)的部分，并進(jìn)行用于在所計(jì)算的搜索范圍內(nèi)搜索目標(biāo)的操作。
[0443]此外，例如，當(dāng)機(jī)器人識(shí)別信息包括如圖44B所示的部分圖像35時(shí)，指令設(shè)備21的控制單元42基于機(jī)器人識(shí)別信息將部分圖像35顯示在顯示屏21a上。
[0444]在這種情況下，用戶可以操縱指令設(shè)備21的操縱單元41來進(jìn)行指定部分圖像35上的部分區(qū)域282的區(qū)域指定操作，以使得能夠檢測(cè)顯示在顯示屏21a上的部分圖像35上的對(duì)象“蘋果汁”。
[0445]結(jié)果，機(jī)器人22進(jìn)行在與部分圖像35上的部分區(qū)域282對(duì)應(yīng)的搜索范圍內(nèi)搜索目標(biāo)的操作。因此，機(jī)器人22可以檢測(cè)對(duì)象“蘋果汁”。
[0446]此外，例如，可以采用當(dāng)在較近范圍內(nèi)對(duì)通過用戶的區(qū)域指定操作指定的區(qū)域進(jìn)行捕獲時(shí)而獲得的捕獲圖像或者通過在過去進(jìn)行捕獲而獲得的捕獲圖像的部分圖像作為部分圖像35。
[0447]接著，圖45示出了其中使用房間的空間圖來指定搜索范圍的示例。
[0448]例如，當(dāng)機(jī)器人識(shí)別信息包括如圖45所示的空間圖像301 (指示房間的空間圖的圖像)時(shí)，指令設(shè)備21的控制單元42基于機(jī)器人識(shí)別信息將空間圖像301顯示在顯示屏21a上。此外，如果將存儲(chǔ)單元45配置為預(yù)先存儲(chǔ)空間圖像301，那么控制單元42從存儲(chǔ)單元45讀取空間圖像301并將該圖像顯示在顯示屏21a上。
[0449]在這種情況下，用戶可以操縱指令設(shè)備21的操縱單元41來進(jìn)行將顯示在顯示屏21a上的空間圖像301上的部分區(qū)域321指定為搜索范圍的區(qū)域指定操作。
[0450]結(jié)果，操縱單元41根據(jù)用戶的區(qū)域指定操作將對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0451]控制單元42根據(jù)來自操縱單元41的操縱信號(hào)來生成指示在空間圖像301上所有區(qū)域中通過用戶的區(qū)域指定操作指定的部分區(qū)域321的指定范圍信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的指定范圍信息傳送給機(jī)器人22。此外，指定范圍信息可以用作為指定(估計(jì)出)機(jī)器人22搜索目標(biāo)的搜索范圍的特定信息。
[0452]另一方面，機(jī)器人22的通信單元61從指令設(shè)備21的通信單元44接收指定范圍信息，并將該信息提供給控制單元66?？刂茊卧?6基于來自通信單元61的指定范圍信息來檢測(cè)存儲(chǔ)在存儲(chǔ)單元68中的空間圖像301上的部分區(qū)域321。
[0453]然后，控制單元66從存儲(chǔ)單元68讀取與配置部分區(qū)域321的子區(qū)域相關(guān)聯(lián)的多個(gè)三維位置，并且基于多個(gè)所讀取的三維位置來計(jì)算搜索范圍。
[0454]控制單元66控制驅(qū)動(dòng)單元67來驅(qū)動(dòng)與機(jī)器人22的手或腳對(duì)應(yīng)的部分，以進(jìn)行用于在所計(jì)算的搜索范圍內(nèi)搜索目標(biāo)的操作。此外，控制單元66進(jìn)行用于基于來自通信單元61的指令信息在搜索范圍內(nèi)搜索屬于由包括在指令信息中的類別信息指示的類別的對(duì)象作為目標(biāo)的操作。此外，例如，當(dāng)控制單元66不從指令設(shè)備21通過通信單元61接收指令信息時(shí)，控制單元66使得機(jī)器人能夠自主地確定目標(biāo)以進(jìn)行在搜索范圍內(nèi)進(jìn)行搜索的操作。
[0455]結(jié)果，機(jī)器人22進(jìn)行在與空間圖像301上的部分區(qū)域321對(duì)應(yīng)的搜索范圍內(nèi)搜索目標(biāo)的操作。
[0456]此外，如果在顯示屏21a上顯示空間圖像301，那么當(dāng)用戶使用操縱單元41例如以在空間圖像301上所有區(qū)域中選擇部分區(qū)域322時(shí)，可以將通過在部分區(qū)域322中進(jìn)行捕獲而獲得的捕獲圖像341顯示在顯示屏21a上。
[0457]也就是說，例如，在指令設(shè)備21中，控制單元42將從機(jī)器人22通過通信單元44傳送的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以存儲(chǔ)在存儲(chǔ)單元45中。
[0458]因此，將捕獲圖像341連同如圖45所示的空間圖像301 —起存儲(chǔ)在存儲(chǔ)單元45中以使得與空間圖像301上的部分區(qū)域322相關(guān)聯(lián)。
[0459]因此，當(dāng)用戶選擇部分區(qū)域322時(shí)，控制單元42從存儲(chǔ)單元45讀取與由用戶選擇的部分區(qū)域322對(duì)應(yīng)的捕獲圖像341，并如圖45所示的那樣將該圖像顯示在顯示屏21a上。
[0460]然后，用戶可以使用操縱單元41來進(jìn)行用于以與圖44B所示的方式相同的方式對(duì)于顯示在顯示屏21a上的捕獲圖像341指定捕獲圖像341上的部分區(qū)域361的區(qū)域指定操作。
[0461]結(jié)果，機(jī)器人22進(jìn)行用于在與捕獲圖像341上的部分區(qū)域361對(duì)應(yīng)的搜索范圍內(nèi)搜索目標(biāo)的操作。
[0462]此外，在包括在機(jī)器人識(shí)別信息中的狀態(tài)下將捕獲圖像341從機(jī)器人22傳送給指令設(shè)備21。
[0463]然而，從機(jī)器人22傳送給指令設(shè)備21的機(jī)器人識(shí)別信息的數(shù)據(jù)的量?jī)?yōu)選為小的，以避免無線通信等中的數(shù)據(jù)的收斂。
[0464]因此，例如，當(dāng)機(jī)器人22傳送被包括在機(jī)器人識(shí)別信息中的捕獲圖像341時(shí)，可以傳送通過減少圖46B所示出的高質(zhì)量捕獲圖像341的數(shù)據(jù)的量而獲得的如圖46A所示的低質(zhì)量捕獲圖像341’。此外，捕獲圖像341’不用于由用戶指定區(qū)域，而是在例如當(dāng)在顯示屏21a上顯示對(duì)象“蘋果汁”的對(duì)象圖像時(shí)使用。此外，優(yōu)選地，照原樣傳送用于由用戶指定區(qū)域的捕獲圖像作為高質(zhì)量圖像并將該圖像顯示在顯示屏21a上。
[0465]由于在捕獲圖像341’上的所有區(qū)域中將其中捕獲對(duì)象(“蘋果汁”的PET瓶)的區(qū)域381用作為對(duì)象圖像，所以捕獲圖像341’變成高質(zhì)量圖像并且不同于捕獲圖像341’的其他區(qū)域(由陰影線指示的部分)變成低質(zhì)量圖像。
[0466]也就是說，例如，部分區(qū)域381變成高分辨率區(qū)域或者顏色區(qū)域而不同于部分區(qū)域381的而其他區(qū)域變成低分辨率區(qū)域或單色區(qū)域。
[0467]<關(guān)于由指令設(shè)備21進(jìn)行的區(qū)域指定處理>
[0468]接著，將參照?qǐng)D47的流程圖來描述由指令設(shè)備21進(jìn)行的區(qū)域指定處理。
[0469]在步驟SlOl中，通信單元44從機(jī)器人22接收機(jī)器人識(shí)別信息并將該信息提供給控制單元42。此外，例如，機(jī)器人識(shí)別信息包括環(huán)境圖像31作為捕獲圖像。
[0470]在步驟S102中，控制單元42將包括在來自通信單元44的機(jī)器人識(shí)別信息中的環(huán)境圖像31提供給顯示單元43以在顯示單元43的顯示屏21a上顯示。
[0471]在步驟S103中，控制單元42根據(jù)是否已經(jīng)從操縱單元41提供了與用戶的區(qū)域指定操作對(duì)應(yīng)的操縱信號(hào)來判斷是否已經(jīng)由用戶進(jìn)行了區(qū)域指定操作。此外，例如，區(qū)域指定操作指的是在顯示在顯示屏21a上的環(huán)境圖像31上的所有區(qū)域中指定預(yù)定部分區(qū)域281的操作。
[0472]在步驟S103中，控制單元42重復(fù)步驟S103的處理直到根據(jù)來自操縱單元41的操縱信號(hào)判斷已經(jīng)進(jìn)行了用戶的區(qū)域指定操作為止。
[0473]在步驟S103中，當(dāng)判斷已經(jīng)進(jìn)行了用戶的區(qū)域指定操作時(shí)，控制單元42使處理前進(jìn)到步驟S104。在這種情況下，將與用戶的區(qū)域指定操作對(duì)應(yīng)的操縱信號(hào)從操縱單元41提供給控制單元42。
[0474]在步驟S104中，控制單元42根據(jù)來自操縱單元41的操縱信號(hào)來生成指示由區(qū)域指定操作指定的環(huán)境圖像31上的部分區(qū)域281的指定范圍信息，并將該信息提供給通信單元44。此外，將指定范圍信息用作為特定信息以指定(估計(jì)出)機(jī)器人22搜索目標(biāo)的搜索范圍。
[0475]在步驟S105中，通信單元44使用無線通信等將來自控制單元42的指定范圍信息提供給機(jī)器人22，并使得機(jī)器人22能夠在搜索范圍內(nèi)進(jìn)行搜索。通過如上述那樣做，區(qū)域指定處理結(jié)束。
[0476]如上所述，根據(jù)區(qū)域指定處理，可以通過用戶的區(qū)域指定操作來指定其中機(jī)器人22搜索目標(biāo)的搜索范圍。因此，例如，可以使得機(jī)器人22能夠在用戶期望的范圍內(nèi)搜索目標(biāo)。
[0477]具體地，例如，通過用戶的區(qū)域指定操作將至少包括沒有被機(jī)器人22檢測(cè)的對(duì)象的范圍指定為搜索范圍，可以使得機(jī)器人22能夠搜索未檢測(cè)的對(duì)象。
[0478]<關(guān)于由機(jī)器人22進(jìn)行的搜索處理>
[0479]接著，將參照?qǐng)D48的流程圖來描述由機(jī)器人22進(jìn)行的搜索處理。
[0480]在步驟S121中，通信單元61從指令設(shè)備21的通信單元44接收指定范圍信息，并將該信息提供給控制單元66?？梢詫⒉襟ES121連同下文將描述的步驟S122和步驟S123一起進(jìn)行。也就是說，例如，通信單元61可以在進(jìn)行步驟S122或步驟S122的處理的同時(shí)從指令設(shè)備21的通信單元44接收指定范圍信息。
[0481]在步驟S122中，控制單元66基于來自通信單元61的指定范圍信息來檢測(cè)存儲(chǔ)在存儲(chǔ)單元68中的環(huán)境圖像31上的部分區(qū)域281。[0482]然后，控制單元66從存儲(chǔ)單元68讀取與配置部分區(qū)域281的子區(qū)域相關(guān)聯(lián)的多個(gè)三維位置，并且基于多個(gè)所讀取的三維位置來計(jì)算(指定)搜索范圍。
[0483]在步驟S123中，控制單元66對(duì)驅(qū)動(dòng)單元67進(jìn)行驅(qū)動(dòng)以使得機(jī)器人22能夠在所計(jì)算的搜索范圍內(nèi)搜索目標(biāo)。此外，例如，控制單元66基于來自通信單元61的指令信息將屬于由包括在指令信息中的類別信息指示的類別的對(duì)象作為目標(biāo)。通過如上述那樣做，搜索處理結(jié)束。
[0484]如上所述，在搜索處理中，在通過用戶的區(qū)域指定操作指定的搜索范圍內(nèi)搜索目標(biāo)。
[0485]因此，例如，當(dāng)通過用戶的區(qū)域指定操作將至少包括沒有被機(jī)器人22檢測(cè)的對(duì)象的范圍指定為搜索范圍時(shí)，機(jī)器人22可以對(duì)未檢測(cè)的對(duì)象進(jìn)行檢測(cè)。
[0486]此外，由于難以指定沒有被機(jī)器人22檢測(cè)的對(duì)象，所以搜索范圍不是由對(duì)象自身而是由用戶的區(qū)域指定操作指定的。
[0487]因此，用戶可以通過指定包括沒有被機(jī)器人22檢測(cè)的對(duì)象的搜索范圍來使得機(jī)器人22能夠?qū)χ付ㄋ阉鞣秶M(jìn)行搜索以對(duì)未檢測(cè)的對(duì)象進(jìn)行檢測(cè)。
[0488]此外，在區(qū)域指定處理的步驟S103中，例如，用戶在顯示在顯示屏21a上的環(huán)境圖像31上的所有區(qū)域中指定預(yù)定部分區(qū)域281以指定搜索范圍。然而，指定搜索范圍的方法不限于此。
[0489]也就是說，例如，在指令設(shè)備21可以根據(jù)通過對(duì)用戶進(jìn)行捕獲而獲得的捕獲圖像來識(shí)別用戶的手勢(shì)或姿勢(shì)(在下文中，稱為手勢(shì)等)的情況下，用戶可以通過手勢(shì)等指定搜索范圍。
[0490]此外，例如，如果指令設(shè)備21可以識(shí)別語音，那么用戶可以通過語音來指定搜索范圍。在這種情況下，例如，用戶可以通過說出“廚房”或“我的房間”作為搜索范圍來指定搜索范圍。
[0491]在這種情況下，例如，用戶可以通過語音、手勢(shì)等來將對(duì)象的類別指定(指示)為目標(biāo)。結(jié)果，在指令設(shè)備21中，生成了包括指示由用戶指定的類別的類別信息的指令信息。
[0492]此外，例如，在機(jī)器人22可以根據(jù)通過對(duì)用戶進(jìn)行捕獲而獲得的捕獲圖像來識(shí)別手勢(shì)等的情況下，用戶可以通過手勢(shì)等對(duì)于機(jī)器人22直接指定搜索范圍。
[0493]在這種情況下，例如，控制單元66基于來自相機(jī)62的捕獲圖像來識(shí)別用戶的手勢(shì)并且獲得(生成)識(shí)別結(jié)果作為用于指定搜索范圍的特定信息。然后，控制單元66使用所獲得的特定信息來指定搜索范圍并且控制驅(qū)動(dòng)單元67以使得機(jī)器人22能夠在所指定的搜索范圍內(nèi)搜索對(duì)象。
[0494]此外，例如，在機(jī)器人22可以識(shí)別語音的情況下，用戶可以通過語音對(duì)于機(jī)器人22直接指定搜索范圍。
[0495]在這種情況下，例如，控制單元66基于由麥克風(fēng)64輸入的用戶的語音來識(shí)別用戶的語音并且獲得(生成)識(shí)別結(jié)果作為特定信息。然后，控制單元66使用所獲得的特定信息來指定搜索范圍并且控制驅(qū)動(dòng)單元67以使得機(jī)器人22能夠在所指定的搜索范圍內(nèi)搜索對(duì)象。
[0496]在這種情況下，另外，例如，用戶可以通過語音、手勢(shì)等來對(duì)于機(jī)器人22直接將對(duì)象的類別指定(指示)為目標(biāo)。[0497]結(jié)果，在控制單元66中，生成了包括指示由用戶指定的類別的類別信息的指令信息，并且機(jī)器人22搜索屬于由包括在所生成的指令信息中的類別信息指示的類別的對(duì)象作為目標(biāo)。
[0498]例如，可以使用個(gè)人計(jì)算機(jī)作為指令設(shè)備21。
[0499]此外，本技術(shù)可具有下述配置。
[0500](I) 一種用于自主式機(jī)器人的控制系統(tǒng),包括:
[0501 ] 接口，所述接口從所述自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與所述自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及
[0502]顯示控制單元，所述顯示控制單元使顯示圖像被顯示在候選目標(biāo)對(duì)象的顯示器上，其中，
[0503]所述候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
[0504]( 2)根據(jù)(I)所述的控制系統(tǒng)，其中，
[0505]所述顯示圖像包括包括房間的俯視空間圖，所述俯視空間圖含有所述自主式機(jī)器人的位置和所述候選目標(biāo)對(duì)象的相應(yīng)位置。
[0506](3)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0507]所述自主式機(jī)器人，其中，所述自主式機(jī)器人基于到各個(gè)所述候選目標(biāo)對(duì)象的距離在所述識(shí)別信息中包括所述候選目標(biāo)對(duì)象。
[0508](4)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0509]所述自主式機(jī)器人，其中，所述自主式機(jī)器人在所述識(shí)別信息中包括針對(duì)所述候選目標(biāo)對(duì)象中的各個(gè)候選目標(biāo)對(duì)象的得分。
[0510](5)根據(jù)(4)所述的控制系統(tǒng)，其中，所述自主式機(jī)器人在所述識(shí)別信息中包括按照得分的順序布置的所述候選目標(biāo)圖像的對(duì)象圖像。
[0511](6)根據(jù)(2)所述的控制系統(tǒng)，還包括:
[0512]所述自主式機(jī)器人，其中，所述自主式機(jī)器人在所述識(shí)別信息中包括關(guān)于所述房間的空間圖的空間信息以及所述候選目標(biāo)對(duì)象的對(duì)象圖像。
[0513](7)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0514]控制單元，所述控制單元接收用戶輸入并且生成針對(duì)所述自主式機(jī)器人的命令，所述命令將與對(duì)所述候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的用戶選擇有關(guān)的用戶反饋提供給所述自主式機(jī)器人。
[0515](8)根據(jù)(7)所述的控制系統(tǒng)，還包括:
[0516]所述自主式機(jī)器人，其中，所述自主式機(jī)器人被配置成標(biāo)識(shí)非目標(biāo)對(duì)象。
[0517](9)根據(jù)(7)所述的控制系統(tǒng)，還包括:
[0518]所述自主式機(jī)器人，其中，所述自主式機(jī)器人被配置成標(biāo)識(shí)對(duì)所述候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的默認(rèn)選擇。
[0519](10)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0520]包括所述接口和所述顯示控制單元的平板計(jì)算機(jī)和智能電話中的至少一個(gè)。
[0521 ] ( 11)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0522]計(jì)分機(jī)構(gòu)，所述計(jì)分機(jī)構(gòu)標(biāo)識(shí)針對(duì)所述候選目標(biāo)對(duì)象的各個(gè)得分。
[0523]( 12)根據(jù)(I)所述的控制系統(tǒng)，其中，[0524]所述接口被配置成接收目標(biāo)對(duì)象的類別作為輸入，并且將對(duì)目標(biāo)對(duì)象的所述類別的指示傳送給所述自主式機(jī)器人，以及
[0525]所述自主式機(jī)器人被配置成在場(chǎng)景內(nèi)標(biāo)識(shí)所述類別中的一個(gè)或更多個(gè)目標(biāo)對(duì)象。
[0526]( 13)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0527]所述自主式機(jī)器人，其中，所述自主式機(jī)器人針對(duì)候選目標(biāo)對(duì)象分配程度信息，所述程度信息是對(duì)所述類別中的各個(gè)目標(biāo)對(duì)象的正確檢測(cè)的可能性的指示。
[0528]( 14)根據(jù)(I)所述的控制系統(tǒng)，其中，
[0529]所述接口被配置成接收語音輸入命令或手勢(shì)輸入命令。
[0530](15)根據(jù)(11)所述的控制系統(tǒng)，還包括:
[0531]顯示器，所述顯示器顯示由所述自主式機(jī)器人標(biāo)識(shí)的候選目標(biāo)對(duì)象以及經(jīng)由所述通信接口發(fā)送的用于輔助控制所述自主式機(jī)器人的用戶反饋。
[0532](16) 一種用于自主式機(jī)器人的控制方法，包括:
[0533]通過接口從所述自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與所述自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及
[0534]將顯示圖像顯示在候選目標(biāo)對(duì)象的顯示器上，其中，
[0535]所述候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示
一起被顯示。
[0536]( 17)根據(jù)(16)所述的方法，其中，
[0537]所述顯示包括對(duì)房間的俯視空間圖進(jìn)行顯示，所述俯視空間圖包括所述自主式機(jī)器人的位置和所述候選目標(biāo)對(duì)象的相應(yīng)位置。
[0538](18)根據(jù)(16)所述的方法，還包括:
[0539]接收用戶輸入并且生成針對(duì)所述自主式機(jī)器人的命令，所述命令將與對(duì)所述候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的用戶選擇有關(guān)的用戶反饋提供給所述自主式機(jī)器人。
[0540](19)根據(jù)(16)所述的方法，還包括:
[0541 ] 接收語音輸入命令或手勢(shì)輸入命令。
[0542](20)—種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有指令，所述指令當(dāng)由處理電路執(zhí)行時(shí)執(zhí)行用于自主式機(jī)器人的控制方法，所述控制方法包括:
[0543]通過接口從所述自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與所述自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及
[0544]將顯示圖像顯示在候選目標(biāo)對(duì)象的顯示器上，其中，
[0545]所述候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示
一起被顯示。
[0546]注意,可以由硬件或軟件來執(zhí)行上述一系列處理。如果由軟件來執(zhí)行一系列處理，那么配置軟件的程序可以安裝在嵌入到專用硬件中的計(jì)算機(jī)中或者可以通過從程序記錄介質(zhì)安裝各種程序來執(zhí)行各種功能的通用計(jì)算機(jī)中。關(guān)于用于執(zhí)行程序的處理器，處理器電路可以是一起工作或單獨(dú)工作的一個(gè)或更多個(gè)處理器(包括CPU、ASIC以及PAL等)。
[0547]<計(jì)算機(jī)的配置示例>
[0548]圖49是示出了通過程序來執(zhí)行上述一系列處理的計(jì)算機(jī)的硬件的配置示例的框圖。
[0549]CPU (中央處理單元)501根據(jù)存儲(chǔ)在ROM (只讀存儲(chǔ)器)502或存儲(chǔ)單元508中的程序來執(zhí)行各種處理。由CPU501執(zhí)行的程序或數(shù)據(jù)適當(dāng)?shù)卮鎯?chǔ)在RAM (隨機(jī)存取存儲(chǔ)器)503中。CPU501、R0M502和RAM503通過總線504彼此連接。
[0550]輸入/輸出接口 505通過總線504連接到CPU501。包括鍵盤、鼠標(biāo)和麥克風(fēng)的輸入單元506以及包括顯示器和揚(yáng)聲器的輸出單元507連接到輸入/輸出接口 505。CPU501根據(jù)從輸入單元506輸入的命令來執(zhí)行各種處理。此后，CPU501將處理結(jié)果輸出到輸出單元 507。
[0551]連接到輸入/輸出接口 505的存儲(chǔ)單元508包括例如硬盤，并且存儲(chǔ)要由CPU501執(zhí)行的程序或各種數(shù)據(jù)。通信單元509通過網(wǎng)絡(luò)例如因特網(wǎng)或局域網(wǎng)與外部設(shè)備進(jìn)行通?目。
[0552]此外，可以通過通信單元509獲得程序并且然后將程序存儲(chǔ)在存儲(chǔ)單元508中。
[0553]在安裝了可移除介質(zhì)511例如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的情況下，連接到輸入/輸出接口 505的驅(qū)動(dòng)器510對(duì)可移除介質(zhì)進(jìn)行驅(qū)動(dòng)并且獲得在可移除介質(zhì)中所記錄的程序或數(shù)據(jù)。如果需要，可以將所獲得的程序或數(shù)據(jù)傳送給存儲(chǔ)單元508并且存儲(chǔ)在存儲(chǔ)單元508中。
[0554]如圖49所示，記錄(存儲(chǔ))被安裝在計(jì)算機(jī)中并且處于由計(jì)算機(jī)可執(zhí)行的狀態(tài)的程序的記錄介質(zhì)可以包括作為包括磁盤(包括軟盤)、光盤(包括CD-ROM (光盤只讀存儲(chǔ)器)和DVD (數(shù)字通用光盤))、磁光盤(包括MD (小型盤))或半導(dǎo)體存儲(chǔ)器的封裝介質(zhì)的可移除介質(zhì)511，以及暫時(shí)地或永久地存儲(chǔ)對(duì)存儲(chǔ)單元508進(jìn)行配置的程序或硬盤的R0M502。如果需要，可以通過通信單元50 9將程序記錄在記錄介質(zhì)中，其中，通信單元509是使用有線通信介質(zhì)或無線通信介質(zhì)例如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播的接口例如路由器或調(diào)制解調(diào)器。
[0555]此外，在本說明書中，可以按照所述順序來順序地進(jìn)行公開上述一系列處理的步驟。然而，可以不順序地進(jìn)行這些步驟，而是可以并行或單獨(dú)地進(jìn)行這些步驟。
[0556]此外，在本說明書中，系統(tǒng)指的是包括多個(gè)設(shè)備的整個(gè)裝置。
[0557]此外，本公開內(nèi)容不限于第一實(shí)施方式至第三實(shí)施方式，而是在不偏離本公開內(nèi)容的范圍的情況下各種修改是可用的。
[0558]參考符號(hào)列表
[0559]I機(jī)器人控制系統(tǒng)
[0560]21指令設(shè)備
[0561]21a顯示屏
[0562]22機(jī)器人
[0563]41操縱單元
[0564]42控制單元
[0565]43 顯示單元
[0566]44通信單元
[0567]45存儲(chǔ)單元
[0568]61通信單元[0569]62相機(jī)
[0570]63距離傳感器
[0571]64麥克風(fēng)
[0572]65揚(yáng)聲器
[0573]66控制單元
[0574]67驅(qū)動(dòng)單元
[0575]68 存儲(chǔ)單元
【權(quán)利要求】
1.一種用于自主式機(jī)器人的控制系統(tǒng)，包括: 接口，所述接口從所述自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與所述自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及 顯示控制單元，所述顯示控制單元使顯示圖像被顯示在候選目標(biāo)對(duì)象的顯示器上，其中， 所述候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
2.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，其中， 所述顯示圖像包括包括房間的俯視空間圖，所述俯視空間圖含有所述自主式機(jī)器人的位置和所述候選目標(biāo)對(duì)象的相應(yīng)位置。
3.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 所述自主式機(jī)器人，其中，所述自主式機(jī)器人基于到各個(gè)所述候選目標(biāo)對(duì)象的距離在所述識(shí)別信息中包括所述候選目標(biāo)對(duì)象。
4.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 所述自主式機(jī)器人，其中，所述自主式機(jī)器人在所述識(shí)別信息中包括針對(duì)所述候選目標(biāo)對(duì)象中的各個(gè)候選目標(biāo)對(duì)象的得分。
5.根據(jù)權(quán)利要求4所述的控制系統(tǒng)，其中，所述自主式機(jī)器人在所述識(shí)別信息中包括按照得分的順序布置的所述候選 目標(biāo)圖像的對(duì)象圖像。
6.根據(jù)權(quán)利要求2所述的控制系統(tǒng)，還包括: 所述自主式機(jī)器人，其中，所述自主式機(jī)器人在所述識(shí)別信息中包括關(guān)于所述房間的空間圖的空間信息以及所述候選目標(biāo)對(duì)象的對(duì)象圖像。
7.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 控制單元，所述控制單元接收用戶輸入并且生成針對(duì)所述自主式機(jī)器人的命令，所述命令將與對(duì)所述候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的用戶選擇有關(guān)的用戶反饋提供給所述自主式機(jī)器人。
8.根據(jù)權(quán)利要求7所述的控制系統(tǒng)，還包括: 所述自主式機(jī)器人，其中，所述自主式機(jī)器人被配置成標(biāo)識(shí)非目標(biāo)對(duì)象。
9.根據(jù)權(quán)利要求7所述的控制系統(tǒng)，還包括: 所述自主式機(jī)器人，其中，所述自主式機(jī)器人被配置成標(biāo)識(shí)對(duì)所述候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)象的默認(rèn)選擇。
10.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 包括所述接口和所述顯示控制單元的平板計(jì)算機(jī)和智能電話中的至少一個(gè)。
11.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 計(jì)分機(jī)構(gòu)，所述計(jì)分機(jī)構(gòu)標(biāo)識(shí)針對(duì)所述候選目標(biāo)對(duì)象的各個(gè)得分。
12.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，其中， 所述接口被配置成接收目標(biāo)對(duì)象的類別作為輸入，并且將對(duì)目標(biāo)對(duì)象的所述類別的指示傳送給所述自主式機(jī)器人，以及 所述自主式機(jī)器人被配置成在場(chǎng)景內(nèi)標(biāo)識(shí)所述類別中的一個(gè)或更多個(gè)目標(biāo)對(duì)象。
13.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 所述自主式機(jī)器人，其中，所述自主式機(jī)器人針對(duì)候選目標(biāo)對(duì)象分配程度信息，所述程度信息是對(duì)所述類別中的各個(gè)目標(biāo)對(duì)象的正確檢測(cè)的可能性的指示。
14.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，其中， 所述接口被配置成接收語音輸入命令或手勢(shì)輸入命令。
15.根據(jù)權(quán)利要求11所述的控制系統(tǒng)，還包括: 顯示器，所述顯示器顯示由所述自主式機(jī)器人標(biāo)識(shí)的候選目標(biāo)對(duì)象以及經(jīng)由所述通信接口發(fā)送的用于輔助控制所述自主式機(jī)器人的用戶反饋。
16.—種用于自主式機(jī)器人的控制方法,包括: 通過接口從所述自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與所述自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及 將顯示圖像顯示在候選目標(biāo)對(duì)象的顯示器上，其中， 所述候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
17.根據(jù)權(quán)利要求16所述的方法，其中， 所述顯示包括對(duì)房間的俯視空間圖進(jìn)行顯示，所述俯視空間圖包括所述自主式機(jī)器人的位置和所述候選目標(biāo)對(duì)象的相應(yīng)位置。
18.根據(jù)權(quán)利要求16所述的方法，還包括: 接收用戶輸入并且生成針對(duì)所述自主式機(jī)器人的命令，所述命令將與對(duì)所述候選目標(biāo)對(duì)象中的一個(gè)或更多個(gè)候選目標(biāo)對(duì)`象的用戶選擇有關(guān)的用戶反饋提供給所述自主式機(jī)器人。
19.根據(jù)權(quán)利要求16所述的方法，還包括: 接收語音輸入命令或手勢(shì)輸入命令。
20.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有指令，所述指令當(dāng)由處理電路執(zhí)行時(shí)執(zhí)行用于自主式機(jī)器人的控制方法，所述控制方法包括: 通過接口從所述自主式機(jī)器人接收識(shí)別信息，所述識(shí)別信息包括與所述自主式機(jī)器人進(jìn)行交互的候選目標(biāo)對(duì)象；以及 將顯示圖像顯示在候選目標(biāo)對(duì)象的顯示器上，其中， 所述候選目標(biāo)對(duì)象中的至少兩個(gè)候選目標(biāo)對(duì)象與相關(guān)聯(lián)的目標(biāo)對(duì)象得分的指示一起被顯示。
【文檔編號(hào)】B25J13/08GK103717357SQ201280036941
【公開日】2014年4月9日 申請(qǐng)日期:2012年7月25日 優(yōu)先權(quán)日:2011年8月2日
【發(fā)明者】河本獻(xiàn)太, 巖井嘉昭, 清水悟 申請(qǐng)人:索尼公司