控制系統(tǒng)、顯示控制方法和非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的制作方法
【專利摘要】一種控制系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品協(xié)作以協(xié)助對(duì)自主機(jī)器人的控制。系統(tǒng)包括與自主機(jī)器人（22）交換信息的通信接口。用戶接口顯示自主機(jī)器人（22）所位于的位置的場(chǎng)景，并且還接收?qǐng)鼍皟?nèi)的用戶選擇區(qū)域的用戶選擇的指示。通信接口將所述用戶選擇區(qū)域的指示傳送給自主機(jī)器人（22）以用于所述自主機(jī)器人（22）對(duì)區(qū)域的進(jìn)一步處理。
【專利說明】控制系統(tǒng)、顯示控制方法和非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種控制裝置、控制方法、計(jì)算機(jī)程序產(chǎn)品和機(jī)器人控制系統(tǒng)，例如允許自主機(jī)器人搜索用戶指派的搜索范圍的控制裝置、控制方法、計(jì)算機(jī)程序產(chǎn)品和機(jī)器人控制系統(tǒng)。
【背景技術(shù)】
[0002]例如，通常，自主機(jī)器人根據(jù)環(huán)境或來自用戶的通用指示來自主地行動(dòng)(工作)。
[0003]例如，如果用戶命令帶來聚酯(PET)瓶裝茶而沒有指定商標(biāo)名稱，則自主機(jī)器人根據(jù)該指示自主地執(zhí)行搜索并帶來聚酯瓶裝茶的動(dòng)作。
[0004]也就是，例如，當(dāng)自主機(jī)器人找到多個(gè)PET瓶裝茶時(shí)，自主機(jī)器人根據(jù)其自己的判斷選擇用戶偏愛的PET瓶裝茶并將茶帶給用戶。
[0005]此外,存在下述技術(shù):其中根據(jù)物品的名稱(designation)和物品的目的地，用戶允許機(jī)器人將物品移動(dòng)至目的地(例如參見專利文獻(xiàn)I)。
[0006]引用列表
[0007]專利文獻(xiàn)
[0008]PTLl:日本專利申請(qǐng)?zhí)亻_第2004-268148號(hào)
【發(fā)明內(nèi)容】

[0009]注意，例如，由于自主機(jī)器人自主地運(yùn)轉(zhuǎn)，所以在某些情況下機(jī)器人可能通過用戶期望的搜索范圍并且搜索錯(cuò)誤的范圍。
[0010]因此，例如，優(yōu)選地用戶指派搜索范圍并且允許自主機(jī)器人搜索所指派的搜索范圍。
[0011]考慮到上述問題而做出本公開，并且本公開使得自主機(jī)器人能夠通過簡(jiǎn)單的操作指派搜索范圍。
[0012]問題的解決方案
[0013]根據(jù)本公開的一方面的自主機(jī)器人的示例性控制系統(tǒng)，該系統(tǒng)包括:通信接口，其與自主機(jī)器人交換信息；用戶接口，其顯示自主機(jī)器人所位于的位置的場(chǎng)景，并且接收?qǐng)鼍皟?nèi)的用戶選擇區(qū)域的用戶選擇的指示，其中，通信接口向自主機(jī)器人傳送用戶選擇區(qū)域的指示以用于自主機(jī)器人對(duì)區(qū)域的進(jìn)一步處理。
[0014]根據(jù)另一方面，系統(tǒng)還包括:
[0015]顯示器，其中，
[0016]場(chǎng)景被顯示在顯示器上并且場(chǎng)景包括房間的空間圖，并且用戶選擇區(qū)域是房間的部分區(qū)域，空間圖包括房間中的對(duì)象。
[0017]根據(jù)另一方面，系統(tǒng)還包括:
[0018]接收器，其從自主機(jī)器人接收?qǐng)D像；以及
[0019]自主機(jī)器人，其中自主機(jī)器人在傳送用于用戶選擇區(qū)域的選擇的較高質(zhì)量圖像之后傳送用戶選擇區(qū)域的第二圖像。
[0020]根據(jù)另一方面，系統(tǒng)還包括:
[0021]包括所述通信接口和顯示器的平板計(jì)算機(jī)和智能電話中的至少之一。
[0022]根據(jù)另一方面，系統(tǒng)還包括:
[0023]控制單元，其響應(yīng)于接收用戶選擇的指示而生成用戶選擇區(qū)域的指示。
[0024]根據(jù)另一方面，自主機(jī)器人被配置成基于從通信接口傳送的另外的用戶輸入而在用戶選擇區(qū)域內(nèi)檢測(cè)較小區(qū)域。
[0025]根據(jù)另一方面，自主機(jī)器人被配置成傳送指示檢測(cè)到的較小區(qū)域的指定范圍信
肩、O
[0026]根據(jù)另一方面，場(chǎng)景是拍攝的圖像。
[0027]根據(jù)另一方面，場(chǎng)景是計(jì)算機(jī)生成的圖形。
[0028]根據(jù)另一方面，用戶接口被配置成接收?qǐng)鼍皟?nèi)的目標(biāo)對(duì)象的類別作為輸入，通信接口向自主機(jī)器人傳送目標(biāo)對(duì)象的類別的指示，并且自主機(jī)器人嘗試在場(chǎng)景內(nèi)識(shí)別類別中的一個(gè)或更多個(gè)目標(biāo)對(duì)象。
[0029]根據(jù)另一方面，自主機(jī)器人對(duì)候選目標(biāo)對(duì)象分配程度信息，程度信息是類別中的相應(yīng)目標(biāo)對(duì)象的正確檢測(cè)的似然性。
[0030]根據(jù)另一方面，用戶接口被配置成接收語(yǔ)音或手勢(shì)輸入命令。
[0031]本發(fā)明的有利效果
[0032]根據(jù)本公開，可以通過簡(jiǎn)單的操作指派自主機(jī)器人的搜索范圍。
【專利附圖】

【附圖說明】
[0033]圖1是示出根據(jù)本公開的機(jī)器人控制系統(tǒng)的配置示例的視圖。
[0034]圖2是示出其上顯示多個(gè)項(xiàng)的顯示屏幕的示例的視圖。
[0035]圖3是說明由機(jī)器人進(jìn)行的處理的概況的視圖。
[0036]圖4是示出對(duì)象的識(shí)別狀態(tài)的示例的視圖。
[0037]圖5是示出指示裝置的配置示例的框圖。
[0038]圖6是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第一視圖。
[0039]圖7是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二視圖。
[0040]圖8是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第三視圖。
[0041]圖9是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第四視圖。
[0042]圖10是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第五視圖。
[0043]圖11是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第六視圖。
[0044]圖12是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第七視圖。
[0045]圖13是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第八視圖。
[0046]圖14是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第九視圖。
[0047]圖15是示出由箭頭表示對(duì)象的得分變化的示例的第一視圖。
[0048]圖16是示出由箭頭表示對(duì)象的得分變化的示例的第二視圖。
[0049]圖17是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十視圖。
[0050]圖18是用于說明由指示裝置進(jìn)行的顯示處理的流程圖。
[0051]圖19是示出機(jī)器人的配置示例的框圖。
[0052]圖20是示出對(duì)象的識(shí)別狀態(tài)的轉(zhuǎn)變的示例的狀態(tài)轉(zhuǎn)變圖。
[0053]圖21是用于說明根據(jù)對(duì)象的識(shí)別狀態(tài)創(chuàng)建機(jī)器人識(shí)別信息的創(chuàng)建方法的視圖。
[0054]圖22是用于說明由機(jī)器人進(jìn)行的得分計(jì)算處理的流程圖。
[0055]圖23是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十一視圖。
[0056]圖24是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十二視圖。
[0057]圖25是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十三視圖。
[0058]圖26是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十四視圖。
[0059]圖27是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十五視圖。
[0060]圖28是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十六視圖。
[0061]圖29是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十七視圖。
[0062]圖30是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十八視圖。
[0063]圖31是用于說明用戶進(jìn)行的反饋操作的視圖。
[0064]圖32是示出響應(yīng)于反饋操作來轉(zhuǎn)變對(duì)象的識(shí)別狀態(tài)的示例的視圖。
[0065]圖33是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第十九視圖。
[0066]圖34是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二十視圖。
[0067]圖35是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第
二十一視圖。
[0068]圖36是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二十二視圖。
[0069]圖37是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二十三視圖。
[0070]圖38是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二十四視圖。
[0071]圖39是用于說明由指示裝置進(jìn)行的反饋處理的流程圖。
[0072]圖40是用于說明由機(jī)器人進(jìn)行的得分重算處理的流程圖。
[0073]圖41是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二十五視圖。
[0074]圖42是示出其上顯示有基于來自機(jī)器人的信息的顯示的顯示屏幕的示例的第二十六視圖。
[0075]圖43是示出未檢測(cè)到的識(shí)別狀態(tài)被轉(zhuǎn)變成另一狀態(tài)的示例的視圖。
[0076]圖44是示出使用拍攝的圖像指定搜索范圍或?qū)ο蟮氖纠囊晥D。
[0077]圖45是不出使用室內(nèi)空間圖指定搜索范圍的不例的視圖。
[0078]圖46是示出從機(jī)器人向指示裝置傳送的拍攝的圖像的數(shù)據(jù)量減小的示例的視圖。
[0079]圖47是用于說明由指示裝置進(jìn)行的區(qū)域指定處理的流程圖。
[0080]圖48是用于說明由機(jī)器人進(jìn)行的搜索處理的流程圖。
[0081]圖49是示出計(jì)算機(jī)的配置示例的框圖。
【具體實(shí)施方式】
[0082]在下文中，將按以下順序描述本公開的實(shí)施例(下文中，被稱作本實(shí)施例)。
[0083]1.第一實(shí)施例(在指示裝置的顯示屏幕上顯示用于預(yù)測(cè)機(jī)器人的行為的信息的示例)
[0084]2.第一實(shí)施例的修改示例
[0085]3.第二實(shí)施例(使用指示裝置向機(jī)器人給出來自用戶的反饋的示例)
[0086]4.第二實(shí)施例的修改示例
[0087]5.第三實(shí)施例(使用指示裝置指定機(jī)器人的搜索范圍的示例)
[0088]〈1.第一實(shí)施例>
[0089]<機(jī)器人控制系統(tǒng)的配置示例>
[0090]圖1示出根據(jù)第一實(shí)施例的機(jī)器人控制系統(tǒng)I的配置示例。
[0091]機(jī)器人控制系統(tǒng)I包括具有顯示屏幕21a的指示裝置21以及自主機(jī)器人22。指示裝置可以是具有集成到遠(yuǎn)程控制器中的顯示屏幕的遠(yuǎn)程控制器(例如，智能電話、平板計(jì)算機(jī)或膝上型計(jì)算機(jī))、或者與遠(yuǎn)程顯示裝置無線地操作的遠(yuǎn)程控制器。例如，指示裝置可以使用電視機(jī)作為顯示裝置，并且指示裝置用作用于輸入指示的觸覺接口。
[0092]指示裝置21響應(yīng)于用戶的操縱而生成用于使機(jī)器人22做出期望行為(例如，為用戶取來預(yù)定對(duì)象的行為)的指示信息，并通過無線通信等將該信息傳送給機(jī)器人22。此外，機(jī)器人22可以與預(yù)定對(duì)象進(jìn)行交互，其中交互不僅是取得對(duì)象的圖像，而且還對(duì)對(duì)象進(jìn)行接觸、移動(dòng)、收集、與對(duì)象執(zhí)行信息的電子交換、光學(xué)字符識(shí)別、照射、購(gòu)買、標(biāo)記、或操作(諸如接通/斷開)。
[0093]例如，如圖2所示，指示裝置21在顯示屏幕21a上顯示可由用戶選擇的多個(gè)項(xiàng)，諸如“茶”、“蘇打”、“零食”……。
[0094]參考如圖2所示的顯示屏幕21a，在多個(gè)項(xiàng)之中，用戶選擇(指定)要由機(jī)器人22取來的對(duì)象的項(xiàng)。此外，例如，在顯示屏幕21a上顯示要由機(jī)器人22取來的對(duì)象的類別作為項(xiàng)。
[0095]響應(yīng)于此，指示裝置21創(chuàng)建用于為用戶取來作為目標(biāo)的、屬于作為用戶選擇的項(xiàng)的類別(例如，“茶”)的對(duì)象的指示信息，并通過無線通信等將該信息傳送給機(jī)器人22。此外，指示信息包括類別信息，該類別信息表示作為用戶選擇的項(xiàng)的類別。
[0096]機(jī)器人22基于來自指示裝置21的指示信息來自主地執(zhí)行搜索作為目標(biāo)的、屬于作為用戶選擇的項(xiàng)的類別的對(duì)象的操作。指示裝置可以是具有集成到遠(yuǎn)程控制器中的顯示屏幕的遠(yuǎn)程控制器(例如，智能電話、平板計(jì)算機(jī)或膝上型計(jì)算機(jī))、或者與遠(yuǎn)程顯示裝置無線地操作的遠(yuǎn)程控制器。例如，指示裝置可以使用電視機(jī)作為顯示裝置，并且指示裝置用作用于輸入指示的觸覺接口。
[0097]此外，用于指示機(jī)器人22的方法不限于使用指示裝置21的上述方法。例如，如果機(jī)器人22可以通過語(yǔ)音識(shí)別來識(shí)別用戶的語(yǔ)音，則用戶可以使用語(yǔ)音來指示目標(biāo)。指示裝置可以是具有集成到遠(yuǎn)程控制器中的顯示屏幕的遠(yuǎn)程控制器(例如，智能電話、平板計(jì)算機(jī)或膝上型計(jì)算機(jī))、或者與遠(yuǎn)程顯示裝置無線地操作的遠(yuǎn)程控制器。例如，指示裝置可以使用電視機(jī)作為顯示裝置，并且指示裝置用作用于輸入指示的觸覺接口。
[0098]在這種情況下，機(jī)器人22把來自用戶的指示識(shí)別為語(yǔ)音，并且基于識(shí)別結(jié)果來自主地執(zhí)行搜索用戶指示的目標(biāo)的操作。此外，例如，如果機(jī)器人22可以識(shí)別用戶的手勢(shì)或姿勢(shì)，則用戶可以通過手勢(shì)或姿勢(shì)來指示目標(biāo)。
[0099]機(jī)器人22是兩腿機(jī)器人，其基于環(huán)境(surixnmding)或來自用戶的通用指示(例如，取“茶”的通用指示)來自主地執(zhí)行各種動(dòng)作。
[0100]機(jī)器人22包括設(shè)置在預(yù)定位置處的對(duì)應(yīng)于感測(cè)聲音的“耳朵”的麥克風(fēng)和對(duì)應(yīng)于感測(cè)光的“眼睛”的攝像裝置，作為從外部感測(cè)刺激的傳感器。下面將參照?qǐng)D19描述機(jī)器人22的細(xì)節(jié)。
[0101]接著，圖3示出由機(jī)器人22進(jìn)行的處理的概況。
[0102]圖3示出通過拍攝機(jī)器人22的環(huán)境而獲得的環(huán)境圖像31、指示被機(jī)器人22識(shí)別為目標(biāo)的對(duì)象的對(duì)象圖像32、指示沒有被機(jī)器人22識(shí)別為目標(biāo)的對(duì)象的對(duì)象圖像33、指示被機(jī)器人22識(shí)別為可能目標(biāo)的對(duì)象的對(duì)象圖像34、以及指示通過機(jī)器人22的拍攝而獲得的拍攝的圖像的一部分的部分圖像35。另外，機(jī)器人22提供的(或預(yù)先存儲(chǔ)在控制器21中的)場(chǎng)景可以是包括場(chǎng)景內(nèi)的對(duì)象諸如家具的計(jì)算機(jī)生成的圖形。因此，圖像和計(jì)算機(jī)生成的圖形是場(chǎng)景的兩種不例。
[0103]此外，機(jī)器人22例如在用戶所居住的房間36內(nèi)自由地移動(dòng)以搜索目標(biāo)。
[0104]在搜索目標(biāo)的同時(shí)，機(jī)器人22適當(dāng)?shù)叵蛑甘狙b置21傳送通過利用嵌入式攝像裝置進(jìn)行拍攝而獲得的環(huán)境圖像31或部分圖像35。此外，當(dāng)用戶使用指示裝置21指定機(jī)器人22的搜索范圍時(shí)， 使用環(huán)境圖像31或部分圖像35。將主要參照?qǐng)D43至47來描述這一點(diǎn)。[0105]此外，機(jī)器人22在房間36內(nèi)移動(dòng)，并基于通過利用嵌入式攝像裝置拍攝對(duì)象而獲得的拍攝的圖像來計(jì)算指示對(duì)象是目標(biāo)的程度(即對(duì)象是要由機(jī)器人22處理的主體(subject)的程度)的得分。此外，使用用于標(biāo)識(shí)對(duì)象是否是目標(biāo)(標(biāo)識(shí)指示對(duì)象是否是目標(biāo)的功能)的標(biāo)識(shí)符來計(jì)算得分。
[0106]機(jī)器人22基于對(duì)象的得分來確定對(duì)象的識(shí)別狀態(tài)。此外，在下文中，描述了機(jī)器人22使用利用嵌入式攝像裝置獲得的圖像來計(jì)算得分或?qū)D像傳送給指示裝置21。
[0107]然而，用于計(jì)算得分的圖像或傳送給指示裝置21的圖像不限于通過機(jī)器人22中的嵌入式攝像裝置獲得的圖像。例如，可以使用通過設(shè)置在房間36的天花板上的攝像裝置獲得的圖像。在這種情況下，設(shè)置在房間36的天花板上的攝像裝置通過無線通信將拍攝的圖像傳送給機(jī)器人22。另外，機(jī)器人22提供的(或預(yù)先存儲(chǔ)在控制器21中的)場(chǎng)景可以是包括場(chǎng)景內(nèi)的對(duì)象諸如家具的計(jì)算機(jī)生成的圖形。因此，圖像和計(jì)算機(jī)生成的圖形是場(chǎng)景的兩種示例。
[0108]接著，圖4示出識(shí)別狀態(tài)的示例。
[0109]圖4A示出機(jī)器人22的兩種識(shí)別狀態(tài)，即“這是目標(biāo)”和“這不是目標(biāo)”。
[0110]圖4B示出機(jī)器人22的三種識(shí)別狀態(tài)，即“這是目標(biāo)”、“還不確定”和“這不是目標(biāo)”。
[0111]圖4C示出機(jī)器人22的四種識(shí)別狀態(tài)，即“這是目標(biāo)”、“這可能是目標(biāo)”、“還不確定”和“這不是目標(biāo)”。
[0112]此外，在第一實(shí)施例中，如圖4C所示，機(jī)器人22識(shí)別四種識(shí)別狀態(tài)中的任一種。
[0113]例如，如果對(duì)象的得分等于或高于閾值thl，則機(jī)器人22識(shí)別對(duì)象“是目標(biāo)”。如果對(duì)象的得分低于閾值thl且等于或高于閾值th2 (〈thl)，則機(jī)器人22識(shí)別對(duì)象“可能是目標(biāo)”。
[0114]此外，如果對(duì)象的得分低于閾值th2且等于或高于閾值th3 (<th2)，則機(jī)器人22把對(duì)象識(shí)別為“還不確定”對(duì)象是否是目標(biāo)。如果對(duì)象的得分低于閾值th3，則機(jī)器人22識(shí)別對(duì)象“不是目標(biāo)”。
[0115]這里，閾值thl至th3被預(yù)先確定并然后存儲(chǔ)在機(jī)器人22中。此外，機(jī)器人22將得分與閾值進(jìn)行比較以確定對(duì)象的識(shí)別信息，但是確定識(shí)別信息的方法不限于此。
[0116]返回參照?qǐng)D3，例如，如果判斷對(duì)象“ABC茶”的得分等于或高于閾值thl，則機(jī)器人22在指示裝置21的顯示屏幕21a上顯示機(jī)器人22識(shí)別對(duì)象“ABC茶” “是目標(biāo)”。
[0117]也就是，例如，如圖3所示，在指示裝置21的顯示屏幕21a上，例如以粗線矩形包圍的狀態(tài)來顯示指示對(duì)象“ABC茶”的對(duì)象圖像32。粗線矩形表示機(jī)器人22識(shí)別對(duì)象“ABC茶” “是目標(biāo)”。
[0118]此外，例如，如圖3所示，如果判斷對(duì)象“犬形機(jī)器人”的得分低于閾值th3，則機(jī)器人22在指示裝置21的顯示屏幕21a上顯示機(jī)器人22識(shí)別對(duì)象“犬形機(jī)器人” “不是目標(biāo)”。
[0119]也就是，例如，如圖3所示，在指示裝置21的顯示屏幕21a上，例如以陰影線顯示指示對(duì)象“犬形機(jī)器人”的對(duì)象圖像33。陰影線表示機(jī)器人22識(shí)別對(duì)象“犬形機(jī)器人” “不是目標(biāo)”。
[0120]此外，例如，如圖3所示，如果判斷對(duì)象“橙汁”的得分低于閾值thl且等于或高于閾值th2，則機(jī)器人22在指示裝置21的顯示屏幕21a上顯示機(jī)器人22識(shí)別對(duì)象“橙汁％可能是目標(biāo)”。
[0121]也就是，例如，如圖3所示，在指示裝置21的顯示屏幕21a上，例如以細(xì)線矩形包圍的狀態(tài)顯示指示寫有文本“橙汁”的PET瓶的對(duì)象圖像34。細(xì)線矩形表示機(jī)器人22識(shí)別對(duì)象“橙汁” “可能是目標(biāo)”。
[0122]此外，例如，如果判斷預(yù)定對(duì)象的得分低于閾值th2且等于或高于閾值th3，則機(jī)器人22在指示裝置21的顯示屏幕21a上顯示機(jī)器人22識(shí)別“還不確定”預(yù)定對(duì)象是否是目標(biāo)。
[0123]也就是，例如，在指示裝置21的顯示屏幕21a上，按原樣(未以矩形包圍或沒有陰影線)顯示指示預(yù)定對(duì)象的對(duì)象圖像。當(dāng)按原樣顯示對(duì)象圖像時(shí)，這表示機(jī)器人22 “還不確定”預(yù)定對(duì)象是否是目標(biāo)。
[0124]如上所述，在指示裝置21的顯示屏幕21a上顯示由機(jī)器人22識(shí)別的信息，以使得用戶可以容易地預(yù)測(cè)機(jī)器人22的行為。
[0125]然而，顯示方法不限于此，但是只要用戶直覺地?cái)喽C(jī)器人22的行為，可以使用任何顯示方法。
[0126]此外，通過參考顯示屏幕21a，如果判斷不期望作為目標(biāo)的對(duì)象被識(shí)別為目標(biāo)，則用戶可以向指示裝置21給出指示對(duì)象不是目標(biāo)的反饋操縱。
[0127]在這種情況下，機(jī)器人22響應(yīng)于用戶的反饋操縱而重算對(duì)象的得分，并基于通過重算而獲得的得分來自主地運(yùn)轉(zhuǎn)。此外，下面將主要參照?qǐng)D31至42描述用戶的反饋操縱。
[0128][指示裝置21的配置示例]
[0129]接著，圖5示出指示裝置21的配置示例。
[0130]指示裝置21包括操縱單元41、控制單元42、具有顯示屏幕21a的顯示單元43、通信單元44、以及存儲(chǔ)單元45。
[0131]操縱單元41包括操縱鍵或操作按鈕。例如，如果用戶向機(jī)器人22給出指示，則操縱單元由用戶操縱。當(dāng)操縱單元41由用戶操縱時(shí)，操縱單元41將對(duì)應(yīng)于用戶的操縱的操縱信號(hào)提供給控制單元42。
[0132]控制單元42基于來自通信單元44的機(jī)器人識(shí)別信息來創(chuàng)建包括對(duì)象圖像的機(jī)器人識(shí)別圖像，并將該圖像提供給顯示單元43，以便在顯示屏幕21a上顯示圖像。此外，機(jī)器人識(shí)別信息包括例如對(duì)象的得分，作為顯示在顯示屏幕21a上所需要的信息。此外，下面將參照?qǐng)D6至17描述顯示屏幕21a的顯示示例。
[0133]此外，控制單元42基于來自操縱單元41的操縱信號(hào)來創(chuàng)建指示信息、反饋信息或指定范圍信息，并將信息提供給通信單元44。
[0134]這里，反饋信息是指指示在指示裝置21中用戶反饋的內(nèi)容的信息。
[0135]用戶使用例如操縱單元41來反饋被機(jī)器人22識(shí)別“為目標(biāo)”的對(duì)象不是目標(biāo)。下面將參照?qǐng)D31至42對(duì)這一點(diǎn)進(jìn)行描述。
[0136]此外，指定范圍信息指示例如通過用戶的區(qū)域指定從顯示在指示裝置21的顯示屏幕21a上的環(huán)境圖像31或部分圖像35上的整個(gè)區(qū)域之中指定的區(qū)域的位置。
[0137]用戶使用例如操縱單元41，來執(zhí)行用于在環(huán)境圖像31或部分圖像35上的整個(gè)區(qū)域之中指定機(jī)器人22搜索目標(biāo)的搜索范圍的區(qū)域指定。下面將參照?qǐng)D43至47對(duì)這一點(diǎn)進(jìn)行描述。
[0138]控制單元42將來自通信單元44的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以被存儲(chǔ)在存儲(chǔ)單元45中。
[0139]顯示單元43根據(jù)來自控制單元42的控制而在顯示屏幕21a上顯示圖像。
[0140]此外，雖然例如指示裝置21被配置成包括顯示單元43，但是顯示單元43可以不包括在指示裝置21中。在這種情況下，控制單元42和設(shè)置在外部的顯示單元43通過線纜連接。
[0141]通信單元44接收從機(jī)器人22傳送的機(jī)器人識(shí)別信息，并將該信息提供給控制單元42。此外，通信單元44使用無線通信等將來自控制單元42的指示信息、反饋信息或指定范圍信息傳送給機(jī)器人22。
[0142]存儲(chǔ)單元45預(yù)先存儲(chǔ)例如由控制單元42執(zhí)行的控制程序。此外，例如，存儲(chǔ)單元45存儲(chǔ)來自控制單元42的機(jī)器人識(shí)別信息。
[0143][顯示屏幕21a的顯示示例]
[0144]接著，圖6至14示出當(dāng)指示裝置21基于來自機(jī)器人22的機(jī)器人識(shí)別信息來顯示機(jī)器人識(shí)別圖像時(shí)的顯示屏幕21a的示例。
[0145]如果指示機(jī)器人22基于來自指示裝置21的指示信息取來對(duì)象“茶”，則機(jī)器人22進(jìn)行搜索對(duì)象“茶”。
[0146]當(dāng)機(jī)器人22探測(cè)房間但是沒有檢測(cè)到對(duì)象時(shí)，來自機(jī)器人22的機(jī)器人識(shí)別信息不傳送給指示裝置21。
[0147]因此，如圖6所示，控制單元42例如在顯示屏幕21a上顯示什么都沒拍攝的機(jī)器人識(shí)別圖像。
[0148]當(dāng)機(jī)器人22從通過拍攝房間36的內(nèi)部而獲得的拍攝的圖像中檢測(cè)到對(duì)象“鳥雕像”時(shí)，機(jī)器人22從拍攝的圖像中提取表示對(duì)象“鳥雕像”的對(duì)象圖像51，并將對(duì)象圖像51添加到機(jī)器人識(shí)別信息以將該信息傳送給通信單元44。
[0149]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2將來自通信單元44的機(jī)器人識(shí)別信息中包括的對(duì)象圖像51提供給顯示單元43，以在顯示屏幕21a上顯示對(duì)象圖像51。
[0150]結(jié)果，如圖7所示，在顯示屏幕21a上在圖的左側(cè)顯示對(duì)象圖像51。因此，用戶可以容易地預(yù)測(cè)機(jī)器人22檢測(cè)到鳥雕像作為對(duì)象。
[0151]機(jī)器人22接近對(duì)象“鳥雕像”以判別對(duì)象“鳥雕像”是否是目標(biāo)。然后，機(jī)器人22從通過接近并拍攝對(duì)象“鳥雕像”而獲得的拍攝的圖像中提取表示“鳥雕像”的對(duì)象圖像51，并將對(duì)象圖像51添加到機(jī)器人識(shí)別信息，以將該信息傳送給通信單元44。
[0152]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2將來自通信單元44的機(jī)器人識(shí)別信息中包括的對(duì)象圖像51提供給顯示單元43，以在顯示屏幕21a上顯示對(duì)象圖像51。
[0153]結(jié)果，如圖8所示，在顯示屏幕21a上在圖的左側(cè)顯示比圖7中更大的對(duì)象圖像51。此外，由于還沒有計(jì)算對(duì)象“鳥雕像”的得分，所以機(jī)器人22 “還不確定”對(duì)象“鳥雕像”是否是目標(biāo)。因此，在圖8中，按原樣(未以矩形包圍或沒有陰影線)顯示對(duì)象圖像51。
[0154]機(jī)器人22根據(jù)通過接近并拍攝對(duì)象“鳥雕像”而獲得的拍攝的圖像來計(jì)算對(duì)象“鳥雕像”的得分。此外，當(dāng)機(jī)器人22基于計(jì)算的得分來識(shí)別對(duì)象“鳥雕像” “不是目標(biāo)”時(shí)，機(jī)器人22向通信單元44傳送包括指示“對(duì)象不是目標(biāo)”的識(shí)別狀態(tài)(包括指示該識(shí)別狀態(tài)的信息)的機(jī)器人識(shí)別信息。
[0155]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2基于來自通信單元44的機(jī)器人識(shí)別信息中包括的識(shí)別狀態(tài)來創(chuàng)建具有陰影線的對(duì)象圖像51，并將對(duì)象圖像51提供給顯示單元43，以被顯示在顯示屏幕21a上。
[0156]結(jié)果，如圖9所示，具有陰影線的對(duì)象圖像51被顯示在顯示屏幕21a上。
[0157]此外，添加到對(duì)象圖像51的陰影線表示機(jī)器人22識(shí)別關(guān)于對(duì)象圖像51的對(duì)象“鳥雕像” “不是目標(biāo)”。
[0158]因此，用戶可以容易地預(yù)測(cè)機(jī)器人22識(shí)別對(duì)象圖像51上的“鳥雕像‘不是目標(biāo)”。
[0159]當(dāng)機(jī)器人22從通過拍攝房間而獲得的拍攝的圖像中檢測(cè)到對(duì)象“十八茶”時(shí)，機(jī)器人22從拍攝的圖像中提取表示對(duì)象“十八茶”的對(duì)象圖像52。
[0160]機(jī)器人22將包括所提取的對(duì)象圖像52的機(jī)器人識(shí)別信息傳送給通信單元44。
[0161]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2將來自通信單元44的機(jī)器人識(shí)別信息中包括的對(duì)象圖像52提供給顯示單元43，以在顯示屏幕21a上顯示對(duì)象圖像52。
[0162]結(jié)果，如圖10所示，在顯示屏幕21a上在圖的左側(cè)顯示由機(jī)器人22檢測(cè)到的對(duì)象“十八茶”的對(duì)象圖像52。因此，用戶可以容易地預(yù)測(cè)機(jī)器人22檢測(cè)到對(duì)象“十八茶”。
[0163]此外，機(jī)器人22根據(jù)通過接近并拍攝對(duì)象“十八茶”而獲得的拍攝的對(duì)象來計(jì)算對(duì)象“十八茶”的得分。當(dāng)機(jī)器人22基于計(jì)算的得分識(shí)別對(duì)象“十八茶” “是目標(biāo)”時(shí)，機(jī)器人22向通信單元44傳送包括指示對(duì)象“十八茶” “是目標(biāo)”的識(shí)別狀態(tài)的機(jī)器人識(shí)別信肩、O
[0164]響應(yīng)于此，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42?？刂茊卧?2基于來自通信單元44的機(jī)器人識(shí)別信息來創(chuàng)建以矩形包圍且以三角形指示的對(duì)象圖像52以及具有陰影線的對(duì)象圖像51，并將對(duì)象圖像52和51提供給顯示單元43以被顯示在顯示屏幕21a上。
[0165]結(jié)果，如圖11所示，在顯示屏幕21a上在圖的左側(cè)顯示以粗線矩形包圍且以三角形(圖11所示的▲)指示的對(duì)象圖像52，并且在比對(duì)象圖像52更靠右處顯示具有陰影線的對(duì)象圖像51。
[0166]此外，包圍對(duì)象圖像52的粗線矩形指示機(jī)器人22識(shí)別對(duì)象圖像52的對(duì)象“十八茶”作為“目標(biāo)”。此外，指示對(duì)象圖像52的三角形指示機(jī)器人22將取回對(duì)象圖像52的對(duì)象“十八茶”。
[0167]此外，在這種情況下，控制單元42允許按照對(duì)象的較高得分的次序從顯示屏幕21a的左側(cè)向右側(cè)的方向顯示指示對(duì)象的對(duì)象圖像。
[0168]此外，對(duì)象圖像的顯示位置對(duì)應(yīng)于對(duì)象的得分。因此，例如，第一對(duì)象圖像與第二對(duì)象圖像之間的顯示間距指示第一對(duì)象圖像的對(duì)象與第二對(duì)象圖像的對(duì)象之間的得分差。
[0169]因此，用戶可以根據(jù)顯示在顯示屏幕21a上的對(duì)象圖像的位置直覺地注意到對(duì)象圖像所指示的對(duì)象的得分。
[0170]從圖11所示的顯示屏幕21a，用戶可以容易地預(yù)測(cè)機(jī)器人22取來對(duì)象“十八茶”。[0171]此外，當(dāng)機(jī)器人22自主地移動(dòng)并從通過使用嵌入式攝像裝置進(jìn)行拍攝而獲得的拍攝的圖像檢測(cè)到新對(duì)象時(shí)，如上所述，機(jī)器人22創(chuàng)建機(jī)器人識(shí)別信息，并將該信息傳送給通信單元44。
[0172]響應(yīng)于此，控制單元42將對(duì)象圖像提供給顯示單元43，以便基于來自通信單元44的機(jī)器人識(shí)別信息在顯示屏幕21a上顯示對(duì)象圖像。
[0173]如上所述，控制單元42基于通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息來更新顯示屏幕21a的顯示。
[0174]也就是，此后，例如，如圖12所示顯示屏幕21a響應(yīng)于機(jī)器人22的行為而被更新為重新顯示表示對(duì)象“ABC茶”的對(duì)象圖像53。此外，如圖13所示，顯示屏幕21a響應(yīng)于機(jī)器人22的行為被更新為重新顯示表示對(duì)象“C蘇打果汁”的對(duì)象圖像54和表示對(duì)象“USB存儲(chǔ)器”的對(duì)象圖像55。此外，例如，如圖14所示，顯示屏幕21a響應(yīng)于機(jī)器人22的行為被更新為根據(jù)得分改變對(duì)象圖像的位置的顯示屏幕。
[0175]此外，在圖14的顯示屏幕21a上，沒有顯示被顯示在圖13的顯示屏幕21a上的對(duì)象圖像51。
[0176]在圖14中，對(duì)象被顯示在顯示屏幕21a的更左側(cè)，對(duì)象的得分就更高。因此，對(duì)象的得分可以通過對(duì)象圖像被顯示的位置來表示。
[0177]因此，當(dāng)在基于對(duì)應(yīng)對(duì)象的得分的位置顯示對(duì)象圖像52至55時(shí)，由于顯示屏幕21a或?qū)ο髨D像的大小而可能不顯示對(duì)象圖像51。
[0178]此外，在圖14中，對(duì)象圖像51的對(duì)象“鳥雕像”的得分被設(shè)置為顯著低于對(duì)象圖像55的對(duì)象“USB存儲(chǔ)器”的得分。
[0179]此外，在圖14中，對(duì)象圖像53的對(duì)象“ABC茶”的得分被設(shè)置為低于對(duì)象圖像52的對(duì)象“十八茶”的得分。
[0180]然而，三角形表示對(duì)象圖像53的對(duì)象“ABC茶”并且機(jī)器人22期望取回對(duì)象“ABC茶”。這意味著機(jī)器人22除了對(duì)象的得分之外還考慮到對(duì)象的位置或用戶的偏好來確定要取來的對(duì)象。
[0181]注意，在第一實(shí)施例中，如圖6至14所示，按照對(duì)象的較高得分的次序從顯示屏幕21a的左側(cè)向右側(cè)并排地顯示對(duì)象圖像。然而，可以在除了向右的方向(例如，右向左的方向)之外的任意方向上顯示對(duì)象圖像。
[0182]此外，例如，在第一實(shí)施例中，如圖6至14所示，按照對(duì)象的較高得分的次序在任意方向上并排地顯示對(duì)象圖像，并且還在對(duì)應(yīng)于對(duì)象的得分的位置處顯示對(duì)象圖像。
[0183]然而，可以僅使用得分的次序在顯示屏幕21a上顯示對(duì)象圖像。替選地，例如，可以在不使用得分的次序的情況下在對(duì)應(yīng)于對(duì)象的得分的位置處在顯示屏幕21a上顯示對(duì)象圖像。
[0184]此外，例如，可以通過根據(jù)對(duì)象的得分改變對(duì)象圖像的次序、位置、大小、亮度、清晰度和顏色中的至少一種來顯示對(duì)象圖像。
[0185]此外，例如，可以與對(duì)象圖像相關(guān)聯(lián)地顯示對(duì)象的得分。此外，得分例如可以由條形圖或圓形圖來表示。當(dāng)?shù)梅钟蓤A形圖表示時(shí)，可以在圓形圖中表示具有最高得分的對(duì)象的得分的百分比。
[0186]此外，例如，可以在顯示屏幕21a中用箭頭表示對(duì)象的得分變化。[0187]具體地，例如，如圖15所示，如果對(duì)應(yīng)于對(duì)象圖像54的對(duì)象“C蘇打果汁”的得分改變?yōu)樵黾樱瑒t指示對(duì)象“C蘇打果汁”的得分增加的白色箭頭與對(duì)象圖像54相關(guān)聯(lián)并被顯示在顯示屏幕21a上。
[0188]此外，如圖15所示，如果對(duì)應(yīng)于對(duì)象圖像52的對(duì)象“十八茶”的得分改變?yōu)闇p小，則指示對(duì)象“十八茶”的得分減小的黑色箭頭與對(duì)象圖像52相關(guān)聯(lián)并被顯示在顯示屏幕21a 上。
[0189]此外，例如，如圖15所示，如果對(duì)應(yīng)于對(duì)象圖像55的對(duì)象“USB存儲(chǔ)器”的得分改變?yōu)闇p小，則指示對(duì)象“USB存儲(chǔ)器”的得分減小的黑色箭頭與對(duì)象圖像55相關(guān)聯(lián)并被顯示在顯示屏幕21a上。
[0190]當(dāng)在顯示屏幕21a上顯示如圖15所示的內(nèi)容時(shí)，用戶可以預(yù)測(cè)機(jī)器人22將不會(huì)取來對(duì)象“十八茶”，而是錯(cuò)誤地取來對(duì)象“ C蘇打果汁”。在這種情況下，在機(jī)器人22錯(cuò)誤地取來對(duì)象“C蘇打果汁”之前，用戶可以清楚地指示例如取來對(duì)象“十八茶”。
[0191]此外，當(dāng)在顯示屏幕21a上顯示如圖16所示的內(nèi)容時(shí)，用戶可以預(yù)測(cè)機(jī)器人22將取來用戶期望的對(duì)象“十八茶”。在這種情況下，用戶沒有指示機(jī)器人22并可專注于他的/她的工作，直到機(jī)器人22取來對(duì)象“十八茶”。此外，由于圖16具有與圖15相同的配置，所以將省略圖16的描述。
[0192]此外，例如，在顯示屏幕21a上，對(duì)象的得分變化可以由條形圖或線圖而不是箭頭來表示。替選地，例如，與對(duì)象的得分變化一起，或替代對(duì)象的得分變化，可以顯示得分的歷史。
[0193]當(dāng)顯示得分的變化或歷史時(shí)，用戶可以通過參考顯示屏幕21a來斷定對(duì)象的得分的變化或歷史，并由此可以容易地預(yù)測(cè)按照得分排名的變化并最終預(yù)先預(yù)測(cè)機(jī)器人22的行為。
[0194]由控制單元42參考存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息來實(shí)現(xiàn)上述顯示。
[0195]此外，如果在指示裝置21中改變得分的排名，則可以用聲音、振動(dòng)或燈閃爍向用戶通知該改變。
[0196]在第一實(shí)施例中，如圖6至14所示，以粗線矩形包圍被機(jī)器人22識(shí)別“為目標(biāo)”的對(duì)象的對(duì)象圖像，并且按原樣顯示被機(jī)器人22識(shí)別“為可能目標(biāo)”的對(duì)象的對(duì)象圖像。
[0197]此外，例如，以細(xì)線矩形包圍被機(jī)器人22識(shí)別為“還不確定”的對(duì)象的對(duì)象圖像，并且以陰影線顯示被機(jī)器人22識(shí)別為“不是目標(biāo)”的對(duì)象的對(duì)象圖像。
[0198]然而，表示識(shí)別狀態(tài)的顯示方法不限于矩形或陰影線。
[0199]此外，例如，可以使用表示識(shí)別狀態(tài)的顯示方法和表示對(duì)象的得分的顯示方法兩者。替選地，可以使用表示識(shí)別狀態(tài)的顯示方法和表示對(duì)象的得分的顯示方法中的僅一種，以在顯示屏幕21a上顯示對(duì)象圖像。
[0200]接著，圖17示出在用戶選擇顯示屏幕21a上的對(duì)象圖像時(shí)顯示選擇的對(duì)象圖像的詳細(xì)信息的示例。
[0201]在圖17所示的顯示屏幕21a上，指示對(duì)象“十八茶”(PET瓶)的底部的對(duì)象圖像52a以及通過從不同方向拍攝對(duì)象“十八茶”而獲得的對(duì)象圖像52b至52e作為對(duì)象“十八茶”的詳細(xì)信息被顯示。
[0202]例如，機(jī)器人22從通過拍攝對(duì)象而獲得的最近拍攝的圖像中提取對(duì)象圖像作為顯示在顯示屏幕21a上的對(duì)象圖像，并將該對(duì)象圖像添加至機(jī)器人識(shí)別信息以將該信息傳送給指示裝置21。
[0203]此外，除了從最近拍攝的圖像提取的對(duì)象圖像之外，機(jī)器人22還可以使用從對(duì)象被拍攝的多個(gè)拍攝的圖像中的、具有最高分辨率的拍攝的圖像提取的對(duì)象圖像，作為機(jī)器人識(shí)別信息中包括的對(duì)象圖像。
[0204]此外，在多個(gè)對(duì)象圖像中，機(jī)器人22可以使用足夠表示整個(gè)對(duì)象的提取圖像或使用典型的提取圖像，作為機(jī)器人識(shí)別信息中包括的對(duì)象圖像。此外，例如，考慮從上方以45度角拍攝對(duì)象的提取圖像，作為典型的提取圖像。
[0205]例如，當(dāng)機(jī)器人22通過先前拍攝而獲得包括對(duì)象圖像52b至52e的部分的拍攝的圖像并通過最近拍攝而獲得包括對(duì)象圖像52a的部分的拍攝的圖像時(shí)，包括對(duì)象“十八茶”的底部被拍攝的對(duì)象圖像52a的機(jī)器人識(shí)別信息被傳送給指示裝置21。
[0206]此外，在指示裝置21中，如圖17所示，對(duì)象“十八茶”的底部被拍攝的對(duì)象圖像52a被顯示在顯示屏幕21a上。在這種情況下，用戶通過觀看顯示在顯示屏幕21a上的對(duì)象圖像52a不可以斷定對(duì)象圖像52a表示的對(duì)象是“十八茶”。
[0207]因此，機(jī)器人22還將除了對(duì)象圖像52a之外包括對(duì)象圖像52b至52e的機(jī)器人識(shí)別信息傳送給指示裝置21的通信單元44。在這種情況下，通信單元44將來自機(jī)器人22的機(jī)器人識(shí)別信息提供給控制單元42。
[0208]如圖17所示，控制單元42允許基于來自通信單元44的機(jī)器人識(shí)別信息從圖的左側(cè)開始在顯示單元43的顯示屏幕21a上顯示對(duì)象“膠棒”的對(duì)象圖像、對(duì)象“十八茶”的對(duì)象圖像52a以及對(duì)象“錢包”的對(duì)象圖像。
[0209]此外，控制單元42將來自通信單元44的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以被存儲(chǔ)在存儲(chǔ)單元45中。
[0210]在指示裝置21中，當(dāng)用戶使用操縱單元41選擇顯示屏幕21a上的對(duì)象圖像52a時(shí)，操縱單元41將對(duì)應(yīng)于用戶的選擇操作的操縱信號(hào)提供給控制單元42。
[0211]此外，控制單元42根據(jù)來自操縱單元41的操縱信號(hào)來讀取存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息中包括的對(duì)象圖像52b至52e，并將圖像提供給顯示單元43以被顯示在顯示屏幕21a上。
[0212]因此，在顯示屏幕21a上，如圖17所示，對(duì)象圖像52b至52e被顯示在顯示屏幕21a上，作為對(duì)象“十八茶”的詳細(xì)信息。
[0213]因此，即使用戶不能根據(jù)對(duì)象圖像52a來斷定對(duì)象圖像52a上的對(duì)象，用戶也可以通過響應(yīng)于用戶的選擇操作顯示的對(duì)象圖像52b至52e而容易地?cái)喽▽?duì)象圖像52a中拍攝的對(duì)象是“十八茶”。
[0214]此外，例如，當(dāng)根據(jù)來自操縱單元41的操縱信號(hào)來執(zhí)行用戶的選擇操作時(shí)，控制單元42可以顯示放大的對(duì)象圖像52a作為詳細(xì)信息。在這種情況下，例如，控制單元42讀取存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息中包括的對(duì)象圖像52a，以預(yù)定放大率放大對(duì)象圖像，并在顯示屏幕21a上顯示對(duì)象。
[0215]替選地，例如，控制單元42可以在顯示屏幕21a上顯示檢測(cè)到關(guān)于對(duì)象圖像52a的對(duì)象“十八茶”的三維位置，作為對(duì)象圖像52a的詳細(xì)信息。在這種情況下，包括關(guān)于對(duì)象圖像52a的對(duì)象“十八茶”的三維位置的機(jī)器人識(shí)別信息與對(duì)象圖像52a —起被存儲(chǔ)在存儲(chǔ)單元45中。
[0216]注意，例如，如果指示裝置21是鼠標(biāo)作為操縱單元41被連接到的個(gè)人計(jì)算機(jī)，則用戶通過使用鼠標(biāo)在顯示屏幕21a上將光標(biāo)移動(dòng)到對(duì)象圖像52a上以選擇對(duì)象圖像52a來執(zhí)行選擇操作(鼠標(biāo)懸停)。
[0217]此外，在顯示屏幕21a上顯示多個(gè)對(duì)象圖像之中的對(duì)應(yīng)于顯示屏幕21a的屏幕大小的僅預(yù)定數(shù)目的對(duì)象圖像。因此，在顯示屏幕21a上僅顯示具有足夠高得分的對(duì)象圖像、具有前n個(gè)得分的對(duì)象圖像、或被識(shí)別為“目標(biāo)”或“可能目標(biāo)”的對(duì)象圖像。
[0218]因此，存在不顯示在顯示屏幕21a上的對(duì)象圖像，使得優(yōu)選地響應(yīng)于用戶的操縱在顯示屏幕21a上顯示這樣的對(duì)象圖像。
[0219]也就是，例如，用戶執(zhí)行滾動(dòng)操作，該滾動(dòng)操作旋轉(zhuǎn)設(shè)置在鼠標(biāo)中的滾動(dòng)按鈕以減小顯示在顯示屏幕21a上的每個(gè)對(duì)象圖像，從而在顯示屏幕21a上顯示更多對(duì)象圖像。
[0220]在這種情況下，在從操縱單元41提供響應(yīng)于滾動(dòng)操作的操縱信號(hào)時(shí)，控制單元42讀取存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息。此外，控制單元42基于讀取的機(jī)器人識(shí)別信息來創(chuàng)建響應(yīng)于滾動(dòng)操作而減小的每個(gè)對(duì)象圖像，并將對(duì)象圖像提供給顯示單元43以被顯示在顯示屏幕21a上。
[0221]此外，例如，用戶可以響應(yīng)于滾動(dòng)操作而放大顯示在顯示屏幕21a上的每個(gè)對(duì)象圖像，并在顯示屏幕21a上顯示較少的對(duì)象圖像。
[0222]此外，顯示屏幕21a例如在其中心處顯示得分xl的對(duì)象圖像，在左側(cè)顯示具有高于得分Xl的得分的對(duì)象圖像，并且在右側(cè)顯示具有低于得分xl的得分的對(duì)象圖像。
[0223]在顯示屏幕21a上，可以在顯示屏幕21a的中心處顯示具有低于得分xl的得分x2(〈xl)的對(duì)象圖像，可以在左側(cè)顯示具有高于得分x2的得分的對(duì)象圖像，并且可以在右側(cè)顯示具有低于得分x2的得分的對(duì)象圖像。
[0224]也就是，例如，當(dāng)用戶將光標(biāo)移動(dòng)至具有得分x2的對(duì)象圖像被顯示的位置，并操縱操縱單元41以使得該位置位于顯示屏幕21a的中心位置處，在控制單元42中創(chuàng)建允許在顯示屏幕21a的中心處顯示具有得分x2的對(duì)象圖像的機(jī)器人識(shí)別圖像，并且然后在顯示單元43的顯示屏幕21a上顯示該機(jī)器人識(shí)別圖像。
[0225]此外，例如，當(dāng)用戶操縱操縱單元41以將具有得分Xl的對(duì)象圖像被顯示的位置定位在顯示屏幕21a的中心處時(shí)，顯示屏幕21a的顯示變?yōu)榫哂械梅謝l的對(duì)象圖像被顯示在其中心處的原始顯示。
[0226]此外，例如，當(dāng)用戶使用操縱單元41放大要顯示的顯示屏幕21a的整個(gè)區(qū)域之中的預(yù)定區(qū)域時(shí)，對(duì)顯示屏幕21a上的預(yù)定區(qū)域進(jìn)行放大以進(jìn)行顯示。
[0227][當(dāng)指示裝置21顯示機(jī)器人識(shí)別圖像時(shí)的操作的描述]
[0228]接著，將參照?qǐng)D18的流程圖描述由指示裝置21執(zhí)行的顯示處理。
[0229]例如，顯示處理在從機(jī)器人22傳送機(jī)器人識(shí)別信息時(shí)開始。
[0230]在步驟S21中，通信單元44根據(jù)控制單元42的控制接收來自機(jī)器人22的機(jī)器人識(shí)別信息，并將該信息提供給控制單元42。
[0231]在步驟S22中，控制單元42基于來自通信單元44的機(jī)器人識(shí)別信息來創(chuàng)建機(jī)器人識(shí)別圖像，并將該圖像提供給顯示單元43以被顯示在顯示屏幕21a上。
[0232]此外，控制單元42將來自通信單元44的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以被存儲(chǔ)在存儲(chǔ)單元45中。
[0233]在步驟S23中，控制單元42根據(jù)是否響應(yīng)于用戶的選擇操作而從操縱單元41提供操縱信號(hào)來判斷用戶是否已執(zhí)行選擇操作。
[0234]此外，在步驟S23中，如果判斷用戶未執(zhí)行選擇操作，則控制單元42使處理返回到步驟S21并且然后重復(fù)相同的處理。
[0235]此外，在步驟S23中，如果根據(jù)是否響應(yīng)于用戶的選擇操作而從操縱單元41提供操縱信號(hào)來判斷用戶已執(zhí)行選擇操作，則控制單元42使處理進(jìn)行到步驟S24。在這種情況下，例如，假設(shè)已執(zhí)行用于顯示圖17所示的拍攝的圖像52a的詳細(xì)信息的選擇操作。
[0236]在這種情況下，在步驟S24中，控制單元42讀取存儲(chǔ)在存儲(chǔ)單元45中的機(jī)器人識(shí)別信息，并將讀取的機(jī)器人識(shí)別信息中包括的對(duì)象圖像52b至52e提供給顯示單元43以被顯示在顯示屏幕21a上。此后，處理返回到步驟S21，并且然后執(zhí)行相同處理。此外，顯示處理例如在從機(jī)器人22不傳送機(jī)器人識(shí)別信息時(shí)結(jié)束。
[0237]如上所述，根據(jù)顯示處理，基于來自機(jī)器人22的機(jī)器人識(shí)別信息，如圖6至17所示顯示顯示屏幕21a，使得可以容易地預(yù)測(cè)機(jī)器人22的行為。
[0238]此外，根據(jù)顯示處理，在步驟S23中，例如，在執(zhí)行選擇圖17的對(duì)象圖像52a的選擇操作時(shí)，在步驟S24中在對(duì)象圖像52a中拍攝的對(duì)象被顯示為從不同方向看到的對(duì)象圖像 52b 至 52e。
[0239]因此，用戶可以更準(zhǔn)確地?cái)喽@示在顯示屏幕21a上的對(duì)象圖像的對(duì)象。
[0240][機(jī)器人22的配置示例]
[0241]接著，圖19示出機(jī)器人22的配置示例。
[0242]機(jī)器人22包括通信單元61、攝像裝置62、距離傳感器63、麥克風(fēng)64、揚(yáng)聲器65、控制單元66、驅(qū)動(dòng)單元67、以及存儲(chǔ)單元68。
[0243]通信單元61接收來自指示裝置21的指示信息、反饋信息和指定范圍信息，并將信息提供給控制單元66。
[0244]通信單元61將來自控制單元66的機(jī)器人識(shí)別信息傳送給指示裝置21。
[0245]攝像裝置62對(duì)應(yīng)于感測(cè)光的“眼睛”，并且包括例如CXD (電荷耦合器件)圖像傳感器。攝像裝置62拍攝機(jī)器人22的環(huán)境，并將通過拍攝而獲得的拍攝的圖像提供給控制單元66。
[0246]距離傳感器63是測(cè)量從機(jī)器人22到對(duì)象的距離的傳感器，并測(cè)量到對(duì)象的距離并將所測(cè)量的距離提供給控制單元66。
[0247]麥克風(fēng)64對(duì)應(yīng)于感測(cè)聲音的“耳朵”，并且收集語(yǔ)音并將通過收集語(yǔ)音而獲得的語(yǔ)音信號(hào)提供給控制單元66。
[0248]揚(yáng)聲器65對(duì)應(yīng)于機(jī)器人22的“嘴”，并且根據(jù)來自控制單元66的控制輸出預(yù)定語(yǔ)
曰?
[0249]控制單元66控制通信單元61到揚(yáng)聲器65和驅(qū)動(dòng)單元67。也就是，例如，控制單元66基于來自攝像裝置62的拍攝的圖像、來自距離傳感器63的距離或來自麥克風(fēng)64的語(yǔ)音信號(hào)來斷定環(huán)境情況，并根據(jù)所斷定的環(huán)境情況來控制驅(qū)動(dòng)單元67。
[0250]此外，控制單元66基于來自通信單元61的指示信息來控制驅(qū)動(dòng)單元67，并自主地執(zhí)行用戶指示的行為。也就是，例如，控制單元66控制驅(qū)動(dòng)單元67，以允許機(jī)器人22自主地搜索作為目標(biāo)的、屬于通過指示信息中包括的類別信息指示的類別的對(duì)象。
[0251]此外，控制單元66基于來自攝像裝置62的拍攝的圖像檢測(cè)到拍攝的圖像上的對(duì)象，并提取指示檢測(cè)到的對(duì)象的對(duì)象圖像。此外，控制單元66基于來自攝像裝置62的拍攝的圖像計(jì)算檢測(cè)到的對(duì)象的得分。
[0252]也就是，控制單元66例如基于來自通信單元61的指示信息，從存儲(chǔ)單元68讀取作為目標(biāo)的對(duì)象的標(biāo)識(shí)符。此外，控制單元66從來自攝像裝置62的拍攝的圖像中提取指示檢測(cè)到的對(duì)象的特征的特征量。
[0253]此外，控制單元66基于所提取的特征量使用讀取的標(biāo)識(shí)符來計(jì)算檢測(cè)到對(duì)象的得分。換言之，例如，控制單元66可以按原樣使用從標(biāo)識(shí)符獲得的識(shí)別結(jié)果(得分)作為檢測(cè)到對(duì)象的得分，或通過對(duì)從標(biāo)識(shí)符獲得的識(shí)別結(jié)果進(jìn)行綜合(integratively)判斷以時(shí)間序列的方式計(jì)算最終得分。
[0254]控制單元66基于所計(jì)算的對(duì)象的得分來確定對(duì)象的識(shí)別狀態(tài)。此外，下面將參照?qǐng)D20描述識(shí)別狀態(tài)的確定。
[0255]此外，控制單元66基于所計(jì)算的對(duì)象的得分或所確定的對(duì)象的識(shí)別狀態(tài)來確定要顯示在顯示屏幕21a上的對(duì)象圖像。下面將參照?qǐng)D21描述確定要顯示在顯示屏幕21a上的對(duì)象圖像的方法。
[0256]控制單元66例如根據(jù)對(duì)象的識(shí)別狀態(tài)來改變被確定為要顯示在顯示屏幕21a上的對(duì)象圖像(例如，以矩形包圍或添加陰影線)，并創(chuàng)建包括改變后的對(duì)象圖像、對(duì)象的得分和顯示目標(biāo)信息的機(jī)器人識(shí)別信息，并將信息提供給通信單元61。
[0257]此外，控制單元66控制距離傳感器63以測(cè)量到檢測(cè)到的對(duì)象的距離。結(jié)果，距離傳感器63將控制單元66檢測(cè)的到對(duì)象的距離提供給控制單元66。
[0258]控制單元66基于來自攝像裝置62的拍攝的圖像或攝像裝置62的姿勢(shì)(位置和朝向)來檢測(cè)攝像裝置62(機(jī)器人22)的三維位置。此外，在日本專利申請(qǐng)?zhí)亻_第2008-304268號(hào)中公開了檢測(cè)機(jī)器人22的三維位置的方法的細(xì)節(jié)。
[0259]此外，控制單元66可以使用定位技術(shù)，該定位技術(shù)例如使用GPS (全球定位系統(tǒng))或W1-Fi來檢測(cè)機(jī)器人22的三維位置。
[0260]控制單元66基于所檢測(cè)的三維位置和從距離傳感器63提供的距離來計(jì)算所感測(cè)的對(duì)象的三維位置，將該位置與對(duì)象被拍攝的拍攝的圖像相關(guān)聯(lián)，并將該位置提供給存儲(chǔ)單元68以被存儲(chǔ)在存儲(chǔ)單元68中。
[0261]此外，控制單元66讀取存儲(chǔ)在存儲(chǔ)單元68中的拍攝的圖像(例如，圖3的環(huán)境圖像31或部分圖像35)，并創(chuàng)建包括甚至讀取的拍攝的圖像的機(jī)器人識(shí)別圖像以提供給通信單元61。
[0262]控制單元66基于來自通信單元61的指定范圍信息和存儲(chǔ)在存儲(chǔ)單元68中的拍攝的圖像，來檢測(cè)指示通過用戶的指定操作而指定的區(qū)域的指定區(qū)域。
[0263]此外，控制單元66從存儲(chǔ)單元68中讀取與所檢測(cè)的指定區(qū)域上的對(duì)象相關(guān)聯(lián)的三維位置，并基于所讀取的三維位置來計(jì)算對(duì)應(yīng)于指定區(qū)域的搜索范圍。
[0264]此外，控制單元66控制驅(qū)動(dòng)單元67以驅(qū)動(dòng)對(duì)應(yīng)于機(jī)器人22的手或腳的部分，來執(zhí)行在所計(jì)算的搜索范圍內(nèi)搜索目標(biāo)(屬于類別信息所指示的類別的對(duì)象)的操作。
[0265]驅(qū)動(dòng)單元67根據(jù)來自控制單元66的控制來驅(qū)動(dòng)對(duì)應(yīng)于機(jī)器人22的“手”或“腳”的部分，使得機(jī)器人22自主地運(yùn)轉(zhuǎn)。
[0266]存儲(chǔ)單元68例如預(yù)先保存由控制單元66執(zhí)行的控制程序，并且還存儲(chǔ)(保存)被指示從控制單元66寫入的數(shù)據(jù)。
[0267]此外，存儲(chǔ)單元68存儲(chǔ)針對(duì)多個(gè)項(xiàng)的每個(gè)對(duì)象的用于標(biāo)識(shí)對(duì)象的標(biāo)識(shí)符。標(biāo)識(shí)符是這樣的函數(shù):其使對(duì)象的特征量作為輸入并輸出對(duì)象的得分。此外，標(biāo)識(shí)符是通過預(yù)先學(xué)習(xí)而生成的并對(duì)其進(jìn)行存儲(chǔ)。
[0268]此外，存儲(chǔ)單元68存儲(chǔ)來自控制單元66的拍攝的圖像(與拍攝的圖像(例如環(huán)境圖像31或部分圖像35)上的對(duì)象的三維位置相關(guān)聯(lián)的拍攝的圖像)。
[0269]接著，圖20示出對(duì)象的識(shí)別狀態(tài)的轉(zhuǎn)變圖的示例。
[0270]在圖20中，示出了“未檢測(cè)到(感測(cè)到)”、“還不確定”、“這可能是目標(biāo)”、“這是目標(biāo)”以及“這不是目標(biāo)”，作為被控制單元66識(shí)別的識(shí)別狀態(tài)。
[0271]控制單元66根據(jù)所計(jì)算的對(duì)象的得分來把對(duì)象識(shí)別為“還不確定”、“這可能是目標(biāo)”、“這是目標(biāo)”以及“這不是目標(biāo)”中的任一種狀態(tài)。
[0272]也就是，例如，如果對(duì)象的得分等于或高于閾值thl，則控制單元66識(shí)別對(duì)象“是目標(biāo)”。如果對(duì)象的得分低于閾值thl并等于或高于閾值th2 (〈thl)，則控制單元66識(shí)別對(duì)象“可能是目標(biāo)”。
[0273]此外，例如，如果對(duì)象的得分低于閾值th2并等于或高于閾值th3 (<th2)，則控制單元66把對(duì)象的狀態(tài)識(shí)別為“還不確定”對(duì)象是否是目標(biāo)。如果對(duì)象的得分低于閾值th3，則控制單元66識(shí)別對(duì)象“不是目標(biāo)”。
[0274]此外，除了在用戶執(zhí)行反饋操作時(shí)之外，控制單元66總是通過識(shí)別這“可能是目標(biāo)”的狀態(tài)而識(shí)別對(duì)象“是目標(biāo)”。
[0275]因此，在顯示屏幕21a上，可以防止被識(shí)別為“還不確定”對(duì)象是否是目標(biāo)(對(duì)應(yīng)于以細(xì)線矩形包圍的對(duì)象圖像)的對(duì)象突然改變?yōu)楸蛔R(shí)別“為目標(biāo)”(對(duì)應(yīng)于以粗線矩形包圍的對(duì)象圖像)的對(duì)象。
[0276]因此，用戶可以僅關(guān)注在顯示屏幕21a上被識(shí)別為“這可能是目標(biāo)”(對(duì)應(yīng)于按原樣顯示的對(duì)象圖像)的對(duì)象，是否存在不對(duì)應(yīng)于目標(biāo)的對(duì)象。
[0277]如上所述，當(dāng)對(duì)象被識(shí)別“為目標(biāo)”時(shí)，控制單元66總是經(jīng)歷識(shí)別這“可能是目標(biāo)”的狀態(tài)。這是因?yàn)?如果在顯示屏幕21a上被識(shí)別為“還不確定”對(duì)象是否是目標(biāo)的對(duì)象突然改變?yōu)楸蛔R(shí)別“為目標(biāo)”的對(duì)象，則這對(duì)用戶而言是不便的，由于用戶應(yīng)關(guān)注顯示屏幕21a上的所有對(duì)象。
[0278]接著，圖21示出了確定方法的示例，通過該確定方法控制單元66根據(jù)對(duì)象的得分來確定要顯示在顯示屏幕21a上的對(duì)象圖像。
[0279]在圖21中，按照較高得分的次序從圖的左側(cè)開始示出對(duì)象71、對(duì)象72、對(duì)象73、…對(duì)象74。
[0280]控制單元66基于所計(jì)算的對(duì)象71的得分把對(duì)象71識(shí)別“為目標(biāo)”。此外，控制單元66基于對(duì)象72的得分識(shí)別對(duì)象72 “可能是目標(biāo)”。
[0281]此外，控制單元66基于對(duì)象73的得分把對(duì)象的狀態(tài)識(shí)別為“還不確定”對(duì)象73是否是目標(biāo)。此外，控制單元66基于對(duì)象74的得分識(shí)別對(duì)象74 “不是目標(biāo)”。
[0282]例如，如圖21所示，控制單元66可以進(jìn)行確定以在指示裝置21的顯示屏幕21a上顯示對(duì)應(yīng)于檢測(cè)到的多個(gè)對(duì)象之中的具有高得分的前N個(gè)對(duì)象的對(duì)象圖像。
[0283]此外，例如，如圖21所示，控制單元66可以進(jìn)行確定以在指示裝置21的顯示屏幕21a上至少顯示對(duì)應(yīng)于檢測(cè)到的多個(gè)對(duì)象之中的被識(shí)別為“這是目標(biāo)”或“這可能是目標(biāo)”的對(duì)象的對(duì)象圖像。
[0284][當(dāng)機(jī)器人22計(jì)算得分時(shí)的操作的描述]
[0285]接著，參照?qǐng)D22的流程圖，將描述由機(jī)器人22執(zhí)行的得分計(jì)算處理。
[0286]得分計(jì)算處理例如在機(jī)器人22基于來自指示裝置21的指示信息探測(cè)房間時(shí)開始。
[0287]在步驟S41中，攝像裝置62拍攝機(jī)器人22的環(huán)境，并將通過拍攝而獲得的拍攝的圖像提供給控制單元66。
[0288]在步驟S42中，控制單元66嘗試基于來自攝像裝置62的拍攝的圖像來檢測(cè)拍攝的圖像上的對(duì)象。
[0289]此外，當(dāng)從拍攝的圖像檢測(cè)到對(duì)象時(shí)，控制單元66基于來自攝像裝置62的拍攝的圖像使處理進(jìn)行到步驟S43。此外，當(dāng)沒有從拍攝的圖像檢測(cè)到對(duì)象時(shí)，基于來自攝像裝置62的拍攝的圖像，控制單元66將處理返回到步驟S41并且然后執(zhí)行相同的處理。
[0290]控制單元66基于通過通信單元61從指示裝置21提供的指示信息來判斷指示要由機(jī)器人22處理的主體的目標(biāo)，并從存儲(chǔ)單元68讀取用于判斷的目標(biāo)的標(biāo)識(shí)符。
[0291]在步驟S43中，控制單元66根據(jù)來自攝像裝置62的拍攝的圖像計(jì)算所檢測(cè)的對(duì)象的特征量。接著，控制單元66使用從存儲(chǔ)單元68讀取的標(biāo)識(shí)符基于所計(jì)算的特征量來計(jì)算對(duì)象的得分。
[0292]在步驟S44中，控制單元66創(chuàng)建包括所計(jì)算的得分或存儲(chǔ)在存儲(chǔ)單元68中的拍攝的圖像的機(jī)器人識(shí)別信息，并將該信息提供給通信單元61。
[0293]在步驟S45中，通信單元61將來自控制單元61的機(jī)器人識(shí)別信息傳送給指示裝置21。處理返回到步驟S41并且然后執(zhí)行相同處理。
[0294]此外，得分計(jì)算處理例如在機(jī)器人22找到目標(biāo)并將對(duì)象帶給用戶時(shí)結(jié)束。
[0295]如上所述，根據(jù)得分計(jì)算處理，計(jì)算所檢測(cè)的對(duì)象的得分，并且包括所計(jì)算的得分的機(jī)器人識(shí)別信息被傳送給指示裝置21。
[0296]因此，在指示裝置21的顯示屏幕21a上，可以如圖6至17所示顯示機(jī)器人識(shí)別圖像，使得用戶可以容易地預(yù)測(cè)機(jī)器人22的行為。
[0297]〈2.第一實(shí)施例的修改示例〉
[0298][機(jī)器人識(shí)別圖像的另一顯示示例]
[0299]參照?qǐng)D6至17，已經(jīng)描述了在顯示屏幕21a的更左側(cè)顯示具有較高得分的對(duì)象的機(jī)器人識(shí)別圖像，但不限于此。
[0300]接著，圖23示出機(jī)器人識(shí)別圖像的另一顯示示例。
[0301 ] 在圖23中，在指示位于顯示屏幕21a的上側(cè)的屏幕的上屏幕81上，隨著由對(duì)象圖像表示的對(duì)象的得分變得更高，設(shè)置在顯示屏幕21a的更左側(cè)的機(jī)器人識(shí)別圖像被顯示。在這種情況下，對(duì)象91、92、93和94按降序具有高得分。
[0302]此外，在表示位于顯示屏幕21a的上側(cè)的屏幕的下屏幕82上顯示通過利用攝像裝置62進(jìn)行拍攝而獲得的最近拍攝的圖像。如圖23所示，在拍攝的圖像中拍攝顯示在上屏幕81上的對(duì)象91 (“蘋果汁”)和對(duì)象92 (“C蘇打果汁”)。
[0303]在顯示圖像21a上，上屏幕81上的對(duì)象91和下屏幕82上的對(duì)象91 (“蘋果汁”)通過虛線連接，使得可以理解顯示在上屏幕81和下屏幕82上的對(duì)象91的對(duì)應(yīng)關(guān)系。
[0304]同樣適用于對(duì)象92。此外，在這種情況下，通過利用攝像裝置62進(jìn)行拍攝而獲得的最近拍攝的圖像包括在機(jī)器人識(shí)別信息中。
[0305]也就是，在圖23中，通過利用攝像裝置62進(jìn)行拍攝而獲得的最近拍攝的圖像被顯示在下屏幕82上，不同于參照?qǐng)D6至17描述的情況。
[0306]在圖23中，在上屏幕81上，以粗線矩形包圍對(duì)象91和92的對(duì)象圖像。因此，預(yù)測(cè)到機(jī)器人22把對(duì)象91和92識(shí)別為目標(biāo)。此外，參考圖23中的下屏幕82，預(yù)測(cè)到機(jī)器人22存在于對(duì)象91和92附近。
[0307]因此，與僅參考圖23的上屏幕81的情況相比，通過參考圖23的上屏幕81和下屏幕82，用戶可以容易地預(yù)測(cè)機(jī)器人22取來對(duì)象91和92之一作為目標(biāo)。
[0308]此外，在圖23中，在下屏幕82上，顯示通過利用攝像裝置62進(jìn)行拍攝而獲得的最近拍攝的圖像。然而，例如，可以顯示在預(yù)定時(shí)間處通過利用攝像裝置62進(jìn)行拍攝而獲得的拍攝的圖像。此外，可以顯示通過將利用攝像裝置62進(jìn)行拍攝而獲得的多個(gè)拍攝的圖像合成而創(chuàng)建的合成圖像(諸如全景圖的圖像)。
[0309]此外，例如，在顯示屏幕21a上，通過利用攝像裝置62進(jìn)行拍攝而獲得的拍攝的圖像可以被顯示為與粗線矩形重疊(例如，以粗線矩形包圍拍攝的圖像上的蘋果汁)。在這種情況下，在顯示屏幕21a中，沒有顯示圖23所示的上屏幕81上顯示的圖像，而是僅顯示拍攝的圖像。
[0310]此外，例如，如圖24所示，可以在顯示屏幕21a的下屏幕82上顯示表示房間中的空間的空間圖，來替代通過利用攝像裝置62進(jìn)行拍攝而獲得的最近拍攝的圖像。在這種情況下，機(jī)器人識(shí)別信息包括指示房間的空間圖的空間信息。此外，空間信息例如被預(yù)先存儲(chǔ)在機(jī)器人22的存儲(chǔ)單元68中。
[0311]此外，如圖24所示，在顯示在下屏幕82上的空間圖中，由虛線101表示機(jī)器人22從現(xiàn)在開始移動(dòng)的路徑。此外，在圖24中，顯不在上屏.81上的對(duì)象以及對(duì)象存在的空間圖上的位置通過虛線連接，使得可以理解對(duì)應(yīng)關(guān)系。
[0312]因此，與僅參考圖24的顯示屏幕21a的上屏幕81的情況相比，通過參考圖24的顯示屏幕21a的上屏幕81和下屏幕82，用戶可以預(yù)測(cè)到機(jī)器人22將取回對(duì)象91 (“蘋果汁”)作為目標(biāo)。
[0313]此外，當(dāng)顯示圖23和24所示的顯示屏幕21a時(shí)，優(yōu)選地優(yōu)先顯示存在于機(jī)器人22附近的對(duì)象(存在于距機(jī)器人22的位置的預(yù)定范圍中的對(duì)象)作為對(duì)象圖像。
[0314]此外，例如，在顯示屏幕21a上，在圖23所示的下屏幕82上顯示拍攝的圖像，并且在圖24所示的上屏幕82上顯示空間圖。然而，例如，可以在顯示屏幕21a上顯示拍攝的圖像和空間圖兩者。
[0315]在這種情況下，例如，在顯示屏幕21a上，與圖23所示的顯示一起顯示包括指示機(jī)器人22從現(xiàn)在開始移動(dòng)的路徑的虛線101的空間圖。
[0316]接著，圖25示出機(jī)器人識(shí)別圖像的另一顯示示例。
[0317]在圖25中，在顯示屏幕21a上顯示通過利用機(jī)器人22的攝像裝置62進(jìn)行拍攝而獲得的最近拍攝的圖像。在拍攝的圖像中主要拍攝由機(jī)器人22檢測(cè)的對(duì)象111至114。
[0318]此外，在對(duì)象111和113中，通過氣泡Illa至113a顯示機(jī)器人22關(guān)于對(duì)象執(zhí)行的行為。
[0319]在氣泡Illa中顯示行為“丟棄”，在氣泡112a中顯示行為“帶來”，在氣泡113a中顯示行為“帶來”，并且在氣泡114a中顯示行為“丟棄”。此外，當(dāng)如圖25所示顯示顯示屏幕21a時(shí)，指示具有作為要處理的目標(biāo)的對(duì)象(例如，“鳥雕像”)的機(jī)器人22的處理(例如，“丟棄”)的處理信息包括在來自機(jī)器人22的機(jī)器人識(shí)別信息中。
[0320]此外，氣泡Illa至113a的大小例如對(duì)應(yīng)于具有氣泡的對(duì)象的得分。此外，可以通過氣泡的顏色而不是氣泡的大小來指示得分。
[0321]在第一實(shí)施例中，用戶使用指示裝置21以指示機(jī)器人22帶來作為目標(biāo)的“茶”。然而，指示不限于此。用戶可以指示例如將目標(biāo)丟棄在垃圾箱中。
[0322]例如，用戶可以使用指示裝置21以指示“抓住”、“拾取”或“清理”目標(biāo)。
[0323]例如，圖25是在用戶使用指示裝置21以指示機(jī)器人22帶來“果汁”并將“小對(duì)象”丟棄在垃圾桶中時(shí)顯示在指示裝置21的顯示屏幕21a上的顯示示例。
[0324]也就是，可以通過任何顯示方法來顯示顯示屏幕21a上顯示的機(jī)器人識(shí)別圖像，只要用戶可以直覺地預(yù)測(cè)機(jī)器人22的行為。
[0325]此外，例如，除了選擇“茶”作為目標(biāo)之外，用戶可以使用指示裝置21選擇人物作為目標(biāo)。在這種情況下，用戶可以使用指示裝置21來“呼叫”作為目標(biāo)的人物。
[0326]在這種情況下，例如，在顯示屏幕21a上可以與人物的名字一起顯示檢測(cè)的人物。此外，例如人物的名字與用于標(biāo)識(shí)人物的標(biāo)識(shí)符相關(guān)聯(lián)地預(yù)先存儲(chǔ)在機(jī)器人22的存儲(chǔ)單元68中。
[0327]此外，如果在顯示屏幕21a上顯示不同人物的名字作為檢測(cè)到的人物的名字，則用戶可以使用操縱單元41將名字改變?yōu)闄z測(cè)到的人物的名字。
[0328]例如，如圖26所示，指示裝置21允許基于來自機(jī)器人22的機(jī)器人識(shí)別信息在顯示屏幕21a上顯示包括對(duì)象圖像121至124的機(jī)器人識(shí)別圖像。
[0329]在圖26所示的顯示屏幕21a上，顯示了機(jī)器人22識(shí)別對(duì)應(yīng)于對(duì)象圖像121的對(duì)象“十八茶”“可能是目標(biāo)”。
[0330]還顯示了機(jī)器人22 “還不確定”對(duì)應(yīng)于對(duì)象圖像122的對(duì)象“C蘇打果汁”和對(duì)應(yīng)于對(duì)象圖像123的對(duì)象“盆栽植物”是否分別是目標(biāo)，并且機(jī)器人識(shí)別到對(duì)應(yīng)于對(duì)象圖像124的對(duì)象“填充動(dòng)物” “不是目標(biāo)”。
[0331]因此，用戶可以如下所述通過參考圖26所示的顯示屏幕21a來預(yù)測(cè)機(jī)器人22的行為。也就是，例如，用戶可以預(yù)測(cè)機(jī)器人22最終識(shí)別已被機(jī)器人識(shí)別為“可能目標(biāo)”的對(duì)象“十八茶” “作為目標(biāo)”，并將帶來對(duì)象“十八茶”。
[0332]在這種情況下，考慮到用戶可以等待，直到機(jī)器人22帶來對(duì)象“十八茶”。
[0333]此外，例如，在圖27所示的顯示屏幕21a上，顯示了這樣的粗線矩形，其指示機(jī)器人22識(shí)別對(duì)應(yīng)于對(duì)象圖像141的對(duì)象“ABC茶”和對(duì)應(yīng)于對(duì)象圖像142的對(duì)象“S茶”兩者作為目標(biāo)。
[0334]此外，例如，在圖27所示的顯示屏幕21a上，顯示了指示機(jī)器人22將要取回對(duì)象“ABC茶”的三角形。[0335]因此，用戶預(yù)測(cè)到機(jī)器人22想知道要帶來哪個(gè)對(duì)象“ABC茶”或“S茶”但是將要暫時(shí)取回對(duì)象“ABC茶”。
[0336]如果對(duì)象“ABC茶”或?qū)ο蟆癝茶”對(duì)用戶沒有區(qū)別，則用戶不需要操縱指示裝置21，僅等待直到機(jī)器人22帶來對(duì)象“ABC茶”或?qū)ο蟆癝茶”。
[0337]此外，例如，在圖27的顯示屏幕21a上，由于沒有顯示三角形并且對(duì)象“ABC茶”或?qū)ο蟆癝茶”對(duì)用戶沒有區(qū)別，因此如果用戶想要快速得到對(duì)象，則優(yōu)選地用戶指示機(jī)器人22帶來對(duì)象“ABC茶”。
[0338]因此，例如，如圖28所示，指示裝置21可以從顯示在顯示屏幕21a上的對(duì)象圖像161至165中，通過用戶的操縱來指示對(duì)應(yīng)于用戶想要得到的對(duì)象“十八茶”的對(duì)象圖像162。
[0339]此外，在圖28中，例如，當(dāng)沒有顯示三角形時(shí)，因?yàn)橥ㄟ^用戶的操縱來指示對(duì)應(yīng)于用戶想要得到的對(duì)象“十八茶”的對(duì)象圖像162，所以在顯示屏幕21a上顯示以粗線矩形包圍并以三角形指示的對(duì)象圖像162。
[0340]此外,例如，如果在圖29所示的顯示屏幕21a上顯示指示對(duì)應(yīng)于對(duì)象圖像181至187之中的對(duì)象圖像182的對(duì)象“ABC茶”的三角形，則預(yù)測(cè)機(jī)器人22取回對(duì)象“ABC茶”。
[0341]如果用戶想要得到對(duì)象“S茶”而不是對(duì)象“ABC茶”，則用戶操縱指示裝置21的操縱單元41，以指示機(jī)器人22帶來對(duì)應(yīng)于對(duì)象圖像184的對(duì)象“S茶”而不是對(duì)象“ABC茶”。
[0342]也就是，例如，如圖30所示，用戶可以使用指針(箭頭)指定顯示屏幕21a上的對(duì)象圖像184，以指示機(jī)器人22帶來對(duì)應(yīng)于對(duì)象圖像184的對(duì)象“S茶”。
[0343]結(jié)果，在顯示屏幕21a上，顯示了指示對(duì)應(yīng)于對(duì)象圖像184的對(duì)象“S茶”的三角形(圖30)，而不是指示對(duì)應(yīng)于對(duì)象圖像182的對(duì)象“ABC茶”的三角形(圖29)。
[0344]<3.第二實(shí)施例>
[0345][觀看顯示屏幕21a的用戶指示機(jī)器人22時(shí)的示例]
[0346]接著，圖31至38示出用戶通過操縱指示裝置21的操縱單元41來執(zhí)行用于指示機(jī)器人22的反饋操作的示例。
[0347]圖31示出了用戶通過參考指示裝置21的顯示屏幕21a使用指示裝置21的操縱單元41來執(zhí)行反饋操作的示例。
[0348]在圖31中，示出了顯示在顯示屏幕21a上的對(duì)象圖像201至204。此外，以指示機(jī)器人22把對(duì)象識(shí)別“為目標(biāo)”的矩形包圍對(duì)象圖像201至202。
[0349]此外，按原樣顯示對(duì)象圖像203，并且“還不確定”對(duì)于對(duì)象“C蘇打果汁”的機(jī)器人22的識(shí)別狀態(tài)。此外，指示機(jī)器人22的識(shí)別狀態(tài)為“對(duì)象不是目標(biāo)”的陰影線被添加到對(duì)象圖像204。
[0350]用戶可以使用例如指示裝置21的操縱單元41，以執(zhí)行以下反饋操作:如箭頭221所示，其將對(duì)象圖像203指示的對(duì)象“C蘇打果汁”的識(shí)別狀態(tài)從“還不確定”改變?yōu)椤斑@是目標(biāo)”。
[0351]此外，例如，用戶可以使用指示裝置21的操縱單元41以執(zhí)行以下反饋操作:如箭頭222所示，其將對(duì)象圖像202指示的對(duì)象“十八茶”的識(shí)別狀態(tài)從“這是目標(biāo)”改變?yōu)椤斑@不是目標(biāo)”。
[0352]控制單元42根據(jù)對(duì)應(yīng)于反饋操作的來自操縱單元41的操縱信號(hào)創(chuàng)建對(duì)應(yīng)反饋信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的反饋信息提供給機(jī)器人22。
[0353]機(jī)器人22基于來自通信單元44的反饋信息來重算對(duì)象的得分，并基于從結(jié)果獲得的得分來改變對(duì)象的識(shí)別狀態(tài)。
[0354]接著，圖32示出了機(jī)器人22的控制單元66根據(jù)來自指示裝置21的反饋信息改變對(duì)象的識(shí)別狀態(tài)的示例。
[0355]例如，在指示裝置21中，如果用戶使用操縱單元41執(zhí)行反饋操作，則操縱單元41將對(duì)應(yīng)于反饋操作的操縱信號(hào)提供給控制單元42。
[0356]控制單元42基于來自操縱單元41的操縱信號(hào)來創(chuàng)建反饋信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的反饋信息傳送給機(jī)器人22。
[0357]在這種情況下，如圖31所示，例如，考慮到用戶使用指示裝置21的操縱單元41來執(zhí)行以下反饋操作:如箭頭221所示，其將對(duì)象圖像203指示的對(duì)象“C蘇打果汁”的識(shí)別狀態(tài)從“還不確定”改變?yōu)椤斑@是目標(biāo)”。
[0358]在這種情況下，在機(jī)器人22中，控制單元66基于通過通信單元61從指示裝置21的通信單元44提供的反饋信息來重算對(duì)象“C蘇打果汁”的得分。
[0359]結(jié)果，控制單元66基于通過重算而獲得的新得分來如箭頭221:所示將對(duì)象“C蘇打果汁”的識(shí)別狀態(tài)從“還不確定”確定(改變)為“這是目標(biāo)”。
[0360]此外，作為反饋操作，如果執(zhí)行將對(duì)象的識(shí)別狀態(tài)從“這可能是目標(biāo)”改變?yōu)椤斑@是目標(biāo)”的反饋操作，則在控制單元66中執(zhí)行以下處理。也就是，例如，控制單元66基于來自通信單元61的反饋信息如箭頭2212所示將對(duì)象的識(shí)別狀態(tài)從“這可能是目標(biāo)”確定為“這是目標(biāo)”。
[0361]此外，當(dāng)執(zhí)行將對(duì)象的識(shí)別狀態(tài)從“這不是目標(biāo)”改變?yōu)椤斑@是目標(biāo)”的反饋操作作為反饋操作時(shí)，控制單元66執(zhí)行以下處理。也就是，例如，控制單元66基于來自通信單元61的反饋信息如箭頭2213所示將對(duì)象的識(shí)別狀態(tài)從“這不是目標(biāo)”確定為“這是目標(biāo)”。
[0362]此外，例如，如圖31所示，考慮到用戶使用指示裝置21的操縱單元41執(zhí)行以下反饋操作:如箭頭222所示，其將對(duì)象圖像202指示的對(duì)象“十八茶”的識(shí)別狀態(tài)從“這是目標(biāo)”改變?yōu)椤斑@不是目標(biāo)”。
[0363]在這種情況下，如圖32所示，控制單元66基于來自通信單元61的反饋信息如箭頭222所示將對(duì)象“十八茶”的識(shí)別狀態(tài)從“這是目標(biāo)”確定為“這不是目標(biāo)”。
[0364][反饋操作的示例]
[0365]接著，參照?qǐng)D33至38，將描述用戶通過參考指示裝置21的顯示屏幕21a來執(zhí)行反饋操作的示例。
[0366]在指示裝置21中，控制單元42允許基于通過通信單元44從機(jī)器人22提供的機(jī)器人識(shí)別信息將包括例如對(duì)象圖像241至244的機(jī)器人識(shí)別圖像顯示在顯示單元43的顯示屏幕21a上,如圖33所示。
[0367]此外，當(dāng)機(jī)器人22將對(duì)象圖像242指示的對(duì)象“運(yùn)動(dòng)飲料”識(shí)別“為目標(biāo)”時(shí)，控制單元42允許基于通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息將機(jī)器人識(shí)別圖像顯示在顯示屏幕21a上。
[0368]結(jié)果，在顯示屏幕21a上，如圖34所示，顯示包括對(duì)象圖像241至244的機(jī)器人識(shí)另Ij圖像。
[0369]在圖34所示的顯示屏幕21a上，預(yù)測(cè)機(jī)器人22把與用戶想要得到的對(duì)象“十八茶”(由對(duì)象圖像245指示的對(duì)象)不同的對(duì)象“運(yùn)動(dòng)飲料”(由對(duì)象圖像242指示的對(duì)象)識(shí)別為目標(biāo)。
[0370]此外，當(dāng)機(jī)器人22運(yùn)轉(zhuǎn)以帶來作為目標(biāo)的對(duì)象“運(yùn)動(dòng)飲料”時(shí)，控制單元42允許基于通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息將機(jī)器人識(shí)別圖像顯示在顯示屏眷21a上。
[0371]結(jié)果，如圖35所示，顯示屏幕21a顯示添加有三角形的對(duì)象圖像242，該三角形指示機(jī)器人22帶來作為目標(biāo)的對(duì)象“運(yùn)動(dòng)飲料”。
[0372]在這種情況下，如圖35所示，用戶使用指示裝置21的操縱單元41來執(zhí)行指示對(duì)象“運(yùn)動(dòng)飲料”不是目標(biāo)的反饋操作。在這種情況下，操縱單元41將對(duì)應(yīng)于用戶的反饋操作的操縱信號(hào)提供給控制單元42。
[0373]控制單元42基于來自操縱單元41的操縱信號(hào)來創(chuàng)建反饋信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的反饋信息傳送給機(jī)器人22。在這種情況下，例如，機(jī)器人22 (控制單元66)基于來自通信單元44的反饋信息來重算對(duì)象“運(yùn)動(dòng)飲料”的得分。
[0374]結(jié)果，對(duì)象“運(yùn)動(dòng)飲料”的得分低于例如對(duì)象“十八茶”的得分，并且機(jī)器人22運(yùn)轉(zhuǎn)以帶來作為目標(biāo)的對(duì)象“十八茶”。此外，機(jī)器人22基于重算的得分將對(duì)象“運(yùn)動(dòng)飲料”的識(shí)別狀態(tài)從“這是目標(biāo)”改變?yōu)椤斑@不是目標(biāo)”。
[0375]在這種情況下，在指示裝置21中，控制單元42允許基于通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息將機(jī)器人識(shí)別圖像顯示在顯示屏幕21a上。此外，機(jī)器人識(shí)別信息至少包括基于根據(jù)用戶的反饋操作的反饋信息重算的得分。
[0376]結(jié)果，如圖36所示，顯示屏幕21a顯示添加有三角形的對(duì)象圖像245，該三角形表示機(jī)器人帶來作為目標(biāo)的對(duì)象“十八茶”。
[0377]此外，除了指示對(duì)象“運(yùn)動(dòng)飲料”不是目標(biāo)的反饋操作之外，用戶可以執(zhí)行例如指示對(duì)象“十八茶”是目標(biāo)的反饋操作，如圖37所示。
[0378]在這種情況下，例如，機(jī)器人22 (控制單元66)基于來自通信單元44的反饋信息重算對(duì)象“十八茶”的得分。結(jié)果，對(duì)象“十八茶”的得分高于例如對(duì)象“運(yùn)動(dòng)飲料”的得分，并且機(jī)器人22運(yùn)轉(zhuǎn)以帶來作為目標(biāo)的對(duì)象“十八茶”。
[0379]相比較，指示裝置21的控制單元42允許基于通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息將機(jī)器人識(shí)別圖像顯示在顯示屏幕21a上。
[0380]結(jié)果，如圖38所示，顯示屏幕21a顯示添加有三角形的對(duì)象圖像245，該三角形表示機(jī)器人帶來作為目標(biāo)的對(duì)象“十八茶”。
[0381]此外，例如，如果通過反饋操作指出對(duì)象不是目標(biāo)，則考慮到用戶使用操縱單元41指派不是目標(biāo)的對(duì)象(其對(duì)象圖像)并使得指派的對(duì)象作為目標(biāo)。
[0382]在這種情況下，控制單元42創(chuàng)建指示用戶指派的對(duì)象不是目標(biāo)的反饋信息。
[0383]此外，例如，如果通過反饋操作指出對(duì)象不是目標(biāo)，則考慮到用戶使用操縱單元41指派是目標(biāo)的對(duì)象(其對(duì)象圖像)并使得未指派的對(duì)象成為不是目標(biāo)的對(duì)象。
[0384]在這種情況下，控制單元42創(chuàng)建指示用戶未指派的對(duì)象不是目標(biāo)的反饋信息。[0385]此外，可以通過利用框包圍顯示屏幕21a上的想要被指派的對(duì)象來指派對(duì)象。此夕卜，當(dāng)操縱單元41包括鼠標(biāo)時(shí)，用戶將光標(biāo)等移動(dòng)到顯示屏幕21a上的要指派的對(duì)象，并且點(diǎn)擊鼠標(biāo)的左按鈕(單擊或雙擊)以指派對(duì)象。
[0386]此外,如果指示裝置21是個(gè)人計(jì)算機(jī)并且控制鍵(control key)和換檔鍵(shiftkey)被設(shè)置為操縱單元41，則一起使用控制鍵和換檔鍵以點(diǎn)擊左按鈕來指派多個(gè)對(duì)象。
[0387]此外，例如，在指派對(duì)象之后，用戶可以通過點(diǎn)擊鼠標(biāo)的右按鈕從顯示選項(xiàng)“這是目標(biāo)”、“這不是目標(biāo)”等中選擇選項(xiàng)“這不是目標(biāo)”，并執(zhí)行指示指派的對(duì)象不是目標(biāo)的反饋操作。
[0388]此外，例如，用戶可以再次利用鼠標(biāo)的左按鈕點(diǎn)擊指派的對(duì)象以取消對(duì)象的指派。此外，例如，用戶可以通過點(diǎn)擊左按鈕選擇對(duì)象，來執(zhí)行將對(duì)象轉(zhuǎn)儲(chǔ)(dump)在顯示屏幕21a的框之外的轉(zhuǎn)儲(chǔ)操作作為指示對(duì)象“不是目標(biāo)”的反饋操作。
[0389]例如，當(dāng)操縱單元41包括“輸入(Enter)”鍵時(shí)，可以采用在指派對(duì)象時(shí)按壓“輸入”鍵的按壓操作，作為指示指派的對(duì)象是目標(biāo)的反饋操作。
[0390]此外，例如，當(dāng)操縱單元41包括“刪除(Delete)”鍵時(shí)，可以采用在指派對(duì)象時(shí)按壓“刪除”鍵的按壓操作，作為指示指派的對(duì)象不是目標(biāo)的反饋操作。
[0391]此外，例如，當(dāng)操縱單元41包括“制表(Tab)”鍵時(shí)，每當(dāng)用戶按壓“制表”鍵時(shí)，可以移動(dòng)顯示在顯示屏幕21a上的焦點(diǎn)。
[0392]同樣適用于執(zhí)行指示指派的對(duì)象是目標(biāo)的反饋操作的情況。
[0393][關(guān)于由指示裝置21執(zhí)行的反饋處理]
[0394]接著，參照?qǐng)D39的流程圖，將描述由指示裝置21執(zhí)行的反饋處理。
[0395]此外，反饋處理例如在指示裝置21的電力接通時(shí)開始。此外，對(duì)象圖像被顯示在顯示屏幕21a上。
[0396]在步驟S61中，控制單元42基于是否從操縱單元41提供了對(duì)應(yīng)于反饋操作的操縱信號(hào)來判斷用戶是否已執(zhí)行反饋操作?？刂茊卧?2重復(fù)步驟S61的處理，直到判斷出已執(zhí)行用戶的反饋操作。
[0397]在步驟S61中，如果基于是否提供了對(duì)應(yīng)于反饋操作的操縱信號(hào)判斷出已執(zhí)行用戶的反饋操作，則控制單元42使處理進(jìn)行到步驟S62。
[0398]在步驟S62中，控制單元42基于用戶的反饋操作創(chuàng)建反饋信息并將該信息提供給通信單元44。
[0399]在步驟S63中，通信單元44使用無線通信等將來自控制單元42的反饋信息提供給機(jī)器人22，并將處理返回到步驟S61，并且然后重復(fù)相同處理。注意，反饋處理例如在指示裝置21的電力斷開時(shí)結(jié)束。
[0400]如上所述，根據(jù)反饋處理，根據(jù)用戶的反饋操作，可以指示顯示在顯示屏幕21a上的對(duì)象是目標(biāo)。
[0401]因此，例如，如果機(jī)器人22把不是目標(biāo)的對(duì)象識(shí)別為目標(biāo)，則可以使用指示裝置21向機(jī)器人22反饋對(duì)象不是目標(biāo)。
[0402][關(guān)于由機(jī)器人22執(zhí)行的得分重算處理]
[0403]接著，參照?qǐng)D40的流程圖，將描述由機(jī)器人22執(zhí)行的得分重算處理。
[0404]得分重算處理例如在機(jī)器人22的電力接通時(shí)開始。[0405]在步驟S81中，通信單元61重復(fù)步驟S81的處理，直到接收到來自指示裝置21的反饋信息。在步驟S81中，當(dāng)通信單元61接收來自指示裝置21的反饋信息時(shí)，通信單元61將接收到的反饋信息提供給控制單元66，并使處理進(jìn)行到步驟S82。
[0406]在步驟S82中，控制單元66基于來自通信單元61的反饋信息重算對(duì)象的得分，并使處理進(jìn)行到步驟S83。
[0407]在步驟S83中，控制單元66基于重算的得分創(chuàng)建機(jī)器人識(shí)別信息并將該信息提供給通信單元61并使處理進(jìn)行到步驟S84。
[0408]在步驟S84中，通信單元61使用無線通信等將來自控制單元66的機(jī)器人識(shí)別信息傳送給指示裝置21，并使處理返回到步驟S81，并且然后重復(fù)相同處理。此外，得分重算處理例如在機(jī)器人22的電力斷開時(shí)結(jié)束。
[0409]如上所述，根據(jù)得分重算處理，基于來自指示裝置21的反饋信息重算得分，使得可以計(jì)算來自用戶的反饋被反映到的得分。
[0410]〈4.第二實(shí)施例的修改示例〉
[0411]在第二實(shí)施例中，參考顯示屏幕21a，用戶執(zhí)行指示預(yù)定對(duì)象是目標(biāo)或不是目標(biāo)的反饋操作。然而，用戶的反饋操作不限于此。
[0412]也就是，例如，當(dāng)如圖41所示在顯示屏幕21a上顯示對(duì)象261至263作為一個(gè)對(duì)象時(shí)，機(jī)器人22把對(duì)象261至263識(shí)別為一個(gè)對(duì)象。
[0413]在這種情況下，用戶可以使用例如指示裝置21的操縱單元41，以執(zhí)行指定顯示一個(gè)對(duì)象的區(qū)域的反饋操作，并允許機(jī)器人22把對(duì)象261至263識(shí)別為一個(gè)對(duì)象。
[0414]此外，如果操縱單元41包括鼠標(biāo)，則例如使用鼠標(biāo)執(zhí)行指定顯示一個(gè)對(duì)象的區(qū)域的反饋操作，從而指定顯示一個(gè)對(duì)象的區(qū)域并通過點(diǎn)擊右按鈕選擇要顯示的選項(xiàng)“分離”。
[0415]然后,控制單元42創(chuàng)建反饋信息作為對(duì)應(yīng)于從操縱單元41提供的反饋操作的操縱信號(hào)，并將該信息提供給通信單元44。通信單元44通過無線通信等將來自控制單元42的反饋信息傳送給機(jī)器人22。
[0416]在機(jī)器人22中，通信單元61將來自通信單元44的反饋信息提供給控制單元66?？刂茊卧?6基于來自通信單元61的反饋信息將已被識(shí)別為一個(gè)對(duì)象的對(duì)象261至263中的每個(gè)識(shí)別為一個(gè)對(duì)象261、262或263。
[0417]此外，控制單元66計(jì)算各自被識(shí)別為一個(gè)對(duì)象的對(duì)象261、262和263的得分，并基于計(jì)算結(jié)果創(chuàng)建機(jī)器人識(shí)別信息，并通過通信單元61將該信息傳送給指示裝置21。
[0418]在指示裝置21中，控制單元42允許基于通過通信單元44從機(jī)器人22的通信單元61傳送的機(jī)器人識(shí)別信息將圖42所示的機(jī)器人識(shí)別圖像顯示在顯示單元43的顯示屏眷21a上。
[0419]此外，例如，當(dāng)應(yīng)被識(shí)別為一個(gè)對(duì)象(例如，同時(shí)使用的一套刀、叉和勺)的某種事物被分離為多個(gè)對(duì)象并顯示在顯示屏幕21a上時(shí)，用戶可以使用例如指示裝置21的操縱單元41來執(zhí)行指定包括分離并顯示的多個(gè)對(duì)象的區(qū)域的反饋操作，以允許機(jī)器人22把分離并顯示的多個(gè)對(duì)象識(shí)別為一個(gè)對(duì)象。
[0420]此外，當(dāng)操縱單元41包括鼠標(biāo)時(shí)，指定包括分離并顯示的多個(gè)對(duì)象的區(qū)域的反饋操作例如使用鼠標(biāo)來指派顯示多個(gè)對(duì)象的區(qū)域，以通過點(diǎn)擊右按鈕來選擇顯示的選項(xiàng)“合并”。[0421]注意，例如，在第二實(shí)施例中，對(duì)顯示在顯示屏幕21a上的對(duì)象執(zhí)行反饋操作。
[0422]然而，例如，當(dāng)控制單元66通過指定包括拍攝的圖像上的未檢測(cè)到的對(duì)象的區(qū)域的區(qū)域指定操作而沒有檢測(cè)到拍攝的圖像上的對(duì)象時(shí)，機(jī)器人22可以檢測(cè)(識(shí)別)未檢測(cè)到的對(duì)象作為對(duì)象。
[0423]結(jié)果，如圖43所示，機(jī)器人22檢測(cè)未感測(cè)到的(未檢測(cè)到的)對(duì)象并將檢測(cè)對(duì)象的識(shí)別狀態(tài)從“未檢測(cè)到”確定為“還不確定”。
[0424]也就是，例如，用戶可以使用指示裝置21的操縱單元41來執(zhí)行指定機(jī)器人22搜索對(duì)象的搜索范圍的區(qū)域指定操作，以允許機(jī)器人22在搜索范圍中搜索對(duì)象。
[0425]<5.第三實(shí)施例>
[0426]接著，圖44不出了使用拍攝的圖像指定搜索范圍的不例。
[0427]例如，當(dāng)如圖44A所示的環(huán)境圖像31作為拍攝的圖像包括在機(jī)器人識(shí)別信息中時(shí)，指示裝置21的控制單元42允許基于機(jī)器人識(shí)別信息將環(huán)境圖像31顯示在顯示屏幕21a 上。
[0428]在這種情況下，用戶可以使用如圖44A所示的指示裝置21的操縱單元41，以執(zhí)行把顯示在顯示屏幕21a上的環(huán)境圖像31上的部分區(qū)域281指定為對(duì)應(yīng)于搜索目標(biāo)的搜索范圍的區(qū)域的區(qū)域指定操作。
[0429]結(jié)果，操縱單元41將對(duì)應(yīng)于用戶的區(qū)域指定操作的操縱信號(hào)提供給控制單元42。
[0430]控制單元42根據(jù)來自操縱單元41的操縱信號(hào)來創(chuàng)建指示通過用戶的區(qū)域指定操作從環(huán)境圖像31上的所有區(qū)域之中指定的部分區(qū)域281的指定范圍信息，并將該信息提供給通信單元44。通信單元44將來自控制單元42的指定范圍信息傳送給機(jī)器人22。
[0431]相比較，機(jī)器人22的通信單元61接收來自指示裝置21的通信單元44的指定范圍信息并將該信息提供給控制單元66?？刂茊卧?6基于來自通信單元61的指定范圍信息來檢測(cè)存儲(chǔ)在存儲(chǔ)單元68中的環(huán)境圖像31上的部分區(qū)域281。
[0432]然后，控制單元66從存儲(chǔ)單元68讀取與部分區(qū)域281上的對(duì)象相關(guān)聯(lián)的多個(gè)三維位置，并基于讀取的多個(gè)三維位置來計(jì)算(指定)搜索目標(biāo)的搜索范圍。
[0433]此外，控制單元66計(jì)算搜索范圍所使用的計(jì)算方法不限于此。也就是，例如，即使三維位置不與部分區(qū)域281相關(guān)聯(lián)，控制單元66也可以根據(jù)部分區(qū)域281或指示攝像裝置62的有效視角、有效像素?cái)?shù)、位置和朝向的參數(shù)來計(jì)算搜索范圍。
[0434]在這種情況下，在攝像裝置62拍攝圖像以與環(huán)境圖像31相關(guān)聯(lián)時(shí)，通過控制單元66將指示在通過拍攝獲得環(huán)境圖像31的拍攝定時(shí)處的攝像裝置62的位置和朝向的第一參數(shù)連同該拍攝定時(shí)被存儲(chǔ)在存儲(chǔ)單元68中。此外，將指示攝像裝置62的有效視角和有效像素?cái)?shù)的第二參數(shù)預(yù)先存儲(chǔ)在存儲(chǔ)單元68中。
[0435]也就是，例如，控制單元66從存儲(chǔ)單元68讀取指示在通過拍攝獲得環(huán)境圖像31的拍攝定時(shí)處的攝像裝置62的位置和朝向的第一參數(shù)以及指示攝像裝置62的有效視角和有效像素?cái)?shù)的第二參數(shù)。
[0436]然后，控制單元66使用第一和第二參數(shù)，在對(duì)應(yīng)于部分區(qū)域281的三維觀看范圍中即從占據(jù)環(huán)境圖像31的部分區(qū)域281中在拍攝定時(shí)處指定作為部分區(qū)域281而拍攝的實(shí)空間上的區(qū)域。
[0437]此外，從觀看范圍中采用機(jī)器人22可以移動(dòng)的區(qū)域，作為搜索范圍。[0438]控制單元66控制驅(qū)動(dòng)單元67來驅(qū)動(dòng)對(duì)應(yīng)于機(jī)器人22的手或腳的部分，并執(zhí)行用于在所計(jì)算的搜索范圍中搜索目標(biāo)的操作。
[0439]此外，例如，當(dāng)機(jī)器人識(shí)別信息包括如圖44B所示的部分圖像35時(shí)，指示裝置21的控制單元42基于機(jī)器人識(shí)別信息在顯示屏幕21a上顯示部分圖像35。
[0440]在這種情況下，用戶可以操縱指示裝置21的操縱單元41以執(zhí)行在部分圖像35上指定部分區(qū)域282的區(qū)域指定操作，從而在顯示屏幕21a上顯示的部分圖像35上檢測(cè)對(duì)象“蘋果汁”。
[0441]結(jié)果，機(jī)器人22執(zhí)行在對(duì)應(yīng)于部分圖像35上的部分區(qū)域282的搜索范圍內(nèi)搜索目標(biāo)的操作。因此，機(jī)器人22可以檢測(cè)對(duì)象“蘋果汁”。
[0442]此外，作為部分圖像35，例如，可以采用當(dāng)在更近的范圍中拍攝通過用戶的區(qū)域指定操作指定的區(qū)域時(shí)獲得的拍攝的圖像、或通過過去進(jìn)行拍攝而獲得的拍攝的圖像的部分圖像。
[0443]接著，圖45示出了使用房間的空間圖指定搜索范圍的示例。
[0444]例如，當(dāng)機(jī)器人識(shí)別信息包括如圖45所示的空間圖像301 (指示房間的空間圖的圖像)時(shí)，指示裝置21的控制單元42基于機(jī)器人識(shí)別信息在顯示屏幕21a上顯示空間圖像301。此外，如果存儲(chǔ)單元45被配置為預(yù)先存儲(chǔ)空間圖像301，則控制單元42從存儲(chǔ)單元45讀取空間圖像301，并在顯示屏幕21a上顯示圖像。
[0445]在這種情況下，用戶可以操縱指示裝置21的操縱單元41，以執(zhí)行把顯示在顯示屏幕21a上的空間圖像301上的部分區(qū)域321指定為搜索范圍的區(qū)域指定操作。
[0446]結(jié)果，操縱單元41根據(jù)用戶的區(qū)域指定操作將對(duì)應(yīng)的操縱信號(hào)提供給控制單元42。
[0447]控制單元42根據(jù)來自操縱單元41的操縱信號(hào)創(chuàng)建指定范圍信息并將該信息提供給通信單元44，該指定范圍信息指示通過用戶的區(qū)域指定操作在空間圖像301上的所有區(qū)域之中指定的部分區(qū)域321。通信單元44將來自控制單元42的指定范圍信息傳送給機(jī)器人22。此外，指定范圍信息可以用作用以指定(斷定)機(jī)器人22搜索目標(biāo)的搜索范圍的特
定信息。
[0448]相比較，機(jī)器人22的通信單元61接收來自指示裝置21的通信單元44的指定范圍信息并將該信息提供給控制單元66?？刂茊卧?6基于來自通信單元61的指定范圍信息檢測(cè)存儲(chǔ)在存儲(chǔ)單元68中的空間圖像301上的部分區(qū)域321。
[0449]然后，控制單元66從存儲(chǔ)單元68讀取與構(gòu)成部分區(qū)域321的子區(qū)域相關(guān)聯(lián)的多個(gè)三維位置，并基于讀取的多個(gè)三維位置來計(jì)算搜索范圍。
[0450]控制單元66控制驅(qū)動(dòng)單元67以驅(qū)動(dòng)對(duì)應(yīng)于機(jī)器人22的手或腳的部分來執(zhí)行在所計(jì)算的搜索范圍內(nèi)搜索目標(biāo)的操作。此外，控制單元66基于來自通信單元61的指示信息，執(zhí)行用于在搜索范圍內(nèi)搜索作為目標(biāo)的屬于通過指示信息中包括的類別信息指示的類別的對(duì)象的操作。此外，例如，當(dāng)控制單元66沒有通過通信單元61從指示裝置21接收到指示信息時(shí)，控制單元66允許機(jī)器人自主地確定目標(biāo)以執(zhí)行在搜索范圍內(nèi)進(jìn)行搜索的操作。
[0451]結(jié)果，機(jī)器人22執(zhí)行在對(duì)應(yīng)于空間圖像301上的部分區(qū)域321的搜索范圍內(nèi)搜索目標(biāo)的操作。
[0452]此外，如果在顯示屏幕21a上顯示空間圖像301，則當(dāng)用戶使用例如操縱單元41以從空間圖像301上的所有區(qū)域之中選擇部分區(qū)域322時(shí)，可以在顯示屏幕21a上顯示通過在部分區(qū)域322中拍攝而獲得的拍攝的圖像341。
[0453]也就是，例如，在指示裝置21中，控制單元42將通過通信單元44從機(jī)器人22傳送的機(jī)器人識(shí)別信息提供給存儲(chǔ)單元45以被存儲(chǔ)在存儲(chǔ)單元45中。
[0454]因此，拍攝的圖像341與如圖45所示的空間圖像301 —起被存儲(chǔ)在存儲(chǔ)單元45中，以與空間圖像301上的部分區(qū)域322相關(guān)聯(lián)。
[0455]因此，當(dāng)用戶選擇部分區(qū)域322時(shí)，控制單元42從存儲(chǔ)單元45讀取對(duì)應(yīng)于用戶選擇的部分區(qū)域322的拍攝的圖像341，并在如圖45所示的顯示屏幕21a上顯示圖像。
[0456]然后，用戶可以使用操縱單元41，以與如圖44B所示的方式相同的方式來執(zhí)行用于關(guān)于顯示在顯示屏幕21a上的拍攝的圖像341指定拍攝的圖像341上的部分區(qū)域361的區(qū)域指定操作。
[0457]結(jié)果，機(jī)器人22執(zhí)行用于在對(duì)應(yīng)于拍攝的圖像341上的部分區(qū)域361的搜索范圍內(nèi)搜索目標(biāo)的操作。
[0458]此外，以機(jī)器人識(shí)別信息中包括的狀態(tài)將拍攝的圖像341從機(jī)器人22傳送給指示裝置21。
[0459]然而，從機(jī)器人22向指示裝置21傳送的機(jī)器人識(shí)別信息的數(shù)據(jù)量?jī)?yōu)選地是小的，以避免在無線通信等中數(shù)據(jù)收斂。
[0460]因此，例如，當(dāng)機(jī)器人22傳送要包括在機(jī)器人識(shí)別信息中的拍攝的圖像341時(shí)，可以傳送通過減少圖46B所示的高質(zhì)量拍攝的圖像341的數(shù)據(jù)量而獲得的如圖46A所示的低質(zhì)量拍攝的圖像341’。此外，不使用拍攝的圖像341’以用于由用戶指定區(qū)域，而是例如當(dāng)在顯示屏幕21a上顯示對(duì)象“蘋果汁”的對(duì)象圖像時(shí)使用拍攝的圖像341’。此外，優(yōu)選地，用于由用戶指定區(qū)域的拍攝的圖像按原樣作為高質(zhì)量圖像被傳送并被顯示在顯示屏幕21a上。
[0461]由于在拍攝的圖像341’上的所有區(qū)域中，拍攝對(duì)象(“蘋果汁”的PET瓶)的區(qū)域381被用作對(duì)象圖像，拍攝的圖像341’變?yōu)楦哔|(zhì)量圖像，并且除了拍攝的圖像341’之外的其它區(qū)域(由陰影線指示的部分)變?yōu)榈唾|(zhì)量圖像。
[0462]也就是，例如，部分區(qū)域381變?yōu)楦叻直媛蕝^(qū)域或彩色區(qū)域，并且除了部分區(qū)域381之外的其它區(qū)域變?yōu)榈头直媛蕝^(qū)域或單色區(qū)域。
[0463][關(guān)于由指示裝置21執(zhí)行的區(qū)域指定處理]
[0464]接著，參照?qǐng)D47的流程圖，將描述由指示裝置21執(zhí)行的區(qū)域指定處理。
[0465]在步驟SlOl中，通信單元44接收來自機(jī)器人22的機(jī)器人識(shí)別信息并將該信息提供給控制單元42。此外，機(jī)器人識(shí)別信息例如包括環(huán)境圖像31作為拍攝的圖像。
[0466]在步驟S102中，控制單元42將來自通信單元44的機(jī)器人識(shí)別信息中包括的環(huán)境圖像31提供給顯示單元43以被顯示在顯示單元43的顯示屏幕21a上。
[0467]在步驟S103中，控制單元42根據(jù)是否已從操縱單元41提供了對(duì)應(yīng)于用戶的區(qū)域指定操作的操縱信號(hào)來判斷用戶是否已執(zhí)行區(qū)域指定操作。此外，區(qū)域指定操作例如是指以下操作:其在顯示屏幕21a上顯示的環(huán)境圖像31上的所有區(qū)域中指定預(yù)定部分區(qū)域281。
[0468]在步驟S103中，控制單元42重復(fù)步驟S103的處理，直到根據(jù)來自操縱單元41的操縱信號(hào)判斷出已執(zhí)行用戶的區(qū)域指定操作。
[0469]在步驟S103中，當(dāng)判斷出已執(zhí)行用戶的區(qū)域指定操作時(shí)，控制單元42使處理進(jìn)行到步驟S104。在這種情況下，將對(duì)應(yīng)于用戶的區(qū)域指定操作的操縱信號(hào)從操縱單元41提供給控制單元42。
[0470]在步驟S104中，控制單元42根據(jù)來自操縱單元41的操縱信號(hào)創(chuàng)建指定范圍信息并將該信息提供給通信單元44，該指定范圍信息指示通過區(qū)域指定操作指定的環(huán)境圖像31上的部分區(qū)域281。此外，指定范圍信息用作用以指定(斷定)機(jī)器人22搜索目標(biāo)的搜索范圍的特定信息。
[0471]在步驟S105中，通信單元44使用無線通信等將來自控制單元42的指定范圍信息提供給機(jī)器人22，并允許機(jī)器人22在搜索范圍內(nèi)進(jìn)行搜索。通過如上所示那樣做，區(qū)域指定處理結(jié)束。
[0472]如上所述，根據(jù)區(qū)域指定處理，可以通過用戶進(jìn)行的區(qū)域指定操作來指定機(jī)器人22搜索目標(biāo)的搜索范圍。因此，例如，可以允許機(jī)器人22在用戶期望的范圍內(nèi)搜索目標(biāo)。
[0473]具體地，例如，通過經(jīng)由用戶的區(qū)域指定操作來指定至少包括機(jī)器人22未檢測(cè)到的對(duì)象的范圍作為搜索范圍，可以允許機(jī)器人22搜索未檢測(cè)到的對(duì)象。
[0474][關(guān)于由機(jī)器人22執(zhí)行的搜索處理]
[0475]接著，參照?qǐng)D48的流程圖，將描述由機(jī)器人22執(zhí)行的搜索處理。
[0476]在步驟S121中，通信單元61接收來自指示裝置21的通信單元44的指定范圍信息并將該信息提供給控制單元66?？梢耘c下面將描述的步驟S122和S123 —起執(zhí)行步驟S121。也就是，例如，通信單元61可以在執(zhí)行步驟S122或S122的同時(shí)接收來自指示裝置21的通信單元44的指定范圍信息。
[0477]在步驟S122中，控制單元66基于來自通信單元61的指定范圍信息來檢測(cè)存儲(chǔ)在存儲(chǔ)單元68中的環(huán)境圖像31上的部分區(qū)域281。
[0478]然后，控制單元66從存儲(chǔ)單元68讀取與構(gòu)成部分區(qū)域281的子區(qū)域相關(guān)聯(lián)的多個(gè)三維位置，并基于讀取的多個(gè)三維位置計(jì)算(指定)搜索范圍。
[0479]在步驟S123中，控制單元66驅(qū)動(dòng)驅(qū)動(dòng)單元67，使得機(jī)器人22可以在所計(jì)算的搜索范圍中搜索目標(biāo)。此外，控制單元66例如基于來自通信單元61的指示信息使得屬于通過指示信息中包括的類別信息指示的類別的對(duì)象成為目標(biāo)。通過如上所述那樣做，搜索處
理結(jié)束。
[0480]如上所述，在搜索處理中，在通過用戶的區(qū)域指定操作指定的搜索范圍內(nèi)搜索目標(biāo)。
[0481]因此，例如，當(dāng)通過用戶的區(qū)域指定操作把至少包括機(jī)器人22未檢測(cè)到的對(duì)象的范圍被指定為搜索范圍時(shí)，機(jī)器人22可以檢測(cè)到未檢測(cè)到的對(duì)象。
[0482]此外，搜索范圍不是通過對(duì)象本身來指定的，而是通過用戶的區(qū)域指定操作來指定的，因?yàn)殡y以指派機(jī)器人22未檢測(cè)到的對(duì)象。
[0483]因此，用戶可以允許機(jī)器人22通過指定包括機(jī)器人22未檢測(cè)到的對(duì)象的搜索范圍，來搜索指定搜索范圍以檢測(cè)未檢測(cè)到的對(duì)象。
[0484]此外，在區(qū)域指定處理的步驟S103中，例如，用戶指定在顯示屏幕21a上顯示的環(huán)境圖像31上的所有區(qū)域之中的預(yù)定部分區(qū)域281，以指定搜索范圍。然而，指定搜索范圍的方法不限于此。
[0485]也就是，例如，當(dāng)指示裝置21可以從通過拍攝用戶而獲得的拍攝的圖像中識(shí)別用戶的手勢(shì)或姿勢(shì)(下文中，被稱作手勢(shì)等)時(shí)，用戶可以通過手勢(shì)等指定搜索范圍。
[0486]此外，例如，如果指示裝置21可以識(shí)別語(yǔ)音，則用戶可以通過語(yǔ)音指定搜索范圍。在這種情況下，例如，用戶可以通過講出作為搜索范圍的“廚房”或“我的房間”來指定搜索范圍。
[0487]在這種情況下，例如，用戶可以通過語(yǔ)音、手勢(shì)等將對(duì)象的類別指派(指示)為目標(biāo)。結(jié)果，在指示裝置21中，創(chuàng)建包括指示用戶指派的類別的類別信息的指示信息。
[0488]此外，例如，當(dāng)機(jī)器人22可以從通過拍攝用戶而獲得的拍攝的圖像中識(shí)別手勢(shì)等時(shí)，用戶可以通過手勢(shì)等直接指定關(guān)于機(jī)器人22的搜索范圍。
[0489]在這種情況下，例如，控制單元66基于來自攝像裝置62的拍攝的圖像來識(shí)別用戶的手勢(shì)，并獲得(創(chuàng)建)識(shí)別結(jié)果作為用于指定搜索范圍的特定信息。然后，控制單元66使用所獲得的特定信息來指定搜索范圍，并控制驅(qū)動(dòng)單元67以允許機(jī)器人22在指定搜索范圍中搜索目標(biāo)。
[0490]此外，例如，當(dāng)機(jī)器人22可以識(shí)別語(yǔ)音時(shí)，用戶可以通過語(yǔ)音直接指定關(guān)于機(jī)器人22的搜索范圍。
[0491 ] 在這種情況下，例如，控制單元66基于從麥克風(fēng)64輸入的用戶的語(yǔ)音來識(shí)別用戶的語(yǔ)音，并獲得(創(chuàng)建)識(shí)別結(jié)果作為特定信息。然后，控制單元66使用所獲得的特定信息來指定搜索范圍，并控制驅(qū)動(dòng)單元67以允許機(jī)器人22在指定搜索范圍中搜索目標(biāo)。
[0492]在這種情況下，另外，例如用戶可以通過語(yǔ)音、手勢(shì)等將對(duì)象的類別直接指派(指示)為關(guān)于機(jī)器人22的目標(biāo)。
[0493]結(jié)果，在控制單元66中，創(chuàng)建包括指示用戶指定的類別的類別信息的指示信息，并且機(jī)器人22搜索屬于通過所創(chuàng)建的指示信息中包括的類別信息指示的類別的對(duì)象作為目標(biāo)。
[0494]作為指示裝置21，例如可以使用個(gè)人計(jì)算機(jī)。
[0495]本技術(shù)可以具有以下配置。
[0496](I) 一種用于自主機(jī)器人的控制系統(tǒng),包括:
[0497]通信接口，其與所述自主機(jī)器人交換信息；
[0498]用戶接口，其顯示所述自主機(jī)器人所位于的位置的場(chǎng)景，并且接收所述場(chǎng)景內(nèi)的用戶選擇區(qū)域的用戶選擇的指示，其中，
[0499]所述通信接口向所述自主機(jī)器人傳送所述用戶選擇區(qū)域的指示以用于所述區(qū)域的進(jìn)一步處理。
[0500](2)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0501]具有接收器的所述自主機(jī)器人，其中所述自主機(jī)器人響應(yīng)于所述接收器接收到所述用戶選擇區(qū)域的所述指示而移動(dòng)至另一位置。
[0502](3)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0503]顯示器，其中，
[0504]所述場(chǎng)景被顯示在所述顯示器上并且所述場(chǎng)景包括房間的空間圖，并且所述用戶選擇區(qū)域是所述房間的部分區(qū)域，所述空間圖包括所述房間中的對(duì)象。[0505](4)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0506]接收器，其從所述自主機(jī)器人接收?qǐng)D像；以及
[0507]所述自主機(jī)器人，其中所述自主機(jī)器人在傳送用于所述用戶選擇區(qū)域的選擇的較高質(zhì)量圖像之后傳送所述用戶選擇區(qū)域的第二圖像。
[0508](5)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0509]包括所述通信接口和顯示控制器的平板計(jì)算機(jī)和智能電話中的至少之一。
[0510](6)根據(jù)(I)所述的控制系統(tǒng)，還包括:
[0511]控制單元，其響應(yīng)于接收所述用戶選擇的指示而生成所述用戶選擇區(qū)域的指示。
[0512](7)根據(jù)(2)所述的控制系統(tǒng)，其中，
[0513]所述自主機(jī)器人被配置成基于從所述通信接口傳送的另外的用戶輸入而在所述用戶選擇區(qū)域內(nèi)檢測(cè)較小區(qū)域。
[0514](8)根據(jù)(7)所述的控制系統(tǒng)，其中，
[0515]所述自主機(jī)器人被配置成傳送指示檢測(cè)到的較小區(qū)域的指定范圍信息。
[0516](9)根據(jù)(I)所述的控制系統(tǒng)，其中，
[0517]所述場(chǎng)景是拍攝的圖像。
[0518]( 10)根據(jù)(I)所述的控制系統(tǒng)，其中，
[0519]所述場(chǎng)景是計(jì)算機(jī)生成的圖形。
[0520]( 11)根據(jù)(2 )所述的控制系統(tǒng)，其中，
[0521]所述用戶接口被配置成接收所述場(chǎng)景內(nèi)的目標(biāo)對(duì)象的類別作為輸入，
[0522]所述通信接口向所述自主機(jī)器人傳送目標(biāo)對(duì)象的所述類別的指示，并且
[0523]所述自主機(jī)器人嘗試在所述場(chǎng)景內(nèi)識(shí)別所述類別中的一個(gè)或更多個(gè)目標(biāo)對(duì)象。
[0524]( 12)根據(jù)(11)所述的控制系統(tǒng)，其中，
[0525]所述自主機(jī)器人對(duì)候選目標(biāo)對(duì)象分配程度信息，所述程度信息是所述類別中的相應(yīng)目標(biāo)對(duì)象的正確檢測(cè)的似然性的指示。
[0526]( 13)根據(jù)(I)所述的控制系統(tǒng)，其中，
[0527]所述用戶接口被配置成接收語(yǔ)音或手勢(shì)輸入命令。
[0528](14)根據(jù)(11)所述的控制系統(tǒng)，還包括:
[0529]顯示器，其顯示由所述自主機(jī)器人識(shí)別的候選目標(biāo)對(duì)象以及經(jīng)由所述通信接口發(fā)送的用戶反饋，以協(xié)助控制所述自主機(jī)器人。
[0530](15) 一種用于自主機(jī)器人的顯不控制方法,包括:
[0531]經(jīng)由通信接口與所述自主機(jī)器人交換信息；
[0532]在顯示器上顯示所述自主機(jī)器人所位于的位置的場(chǎng)景；
[0533]經(jīng)由用戶接口接收所述場(chǎng)景內(nèi)的用戶選擇區(qū)域的用戶選擇的指示；以及
[0534]利用處理電路形成所述用戶選擇區(qū)域的指示，并向所述自主機(jī)器人傳送所述用戶選擇區(qū)域的指示以用于所述區(qū)域的進(jìn)一步處理。
[0535](16)根據(jù)(15)所述的方法，還包括:
[0536]在所述自主機(jī)器人處接收所述用戶選擇區(qū)域的所述指示；以及
[0537]響應(yīng)于所述接收而將所述自主機(jī)器人移動(dòng)至另一位置。
[0538]( 17)根據(jù)(16)所述的方法，其中，[0539]利用所述自主機(jī)器人，響應(yīng)于接收到另外的用戶輸入而在所述用戶選擇區(qū)域內(nèi)檢測(cè)較小區(qū)域。
[0540](18)根據(jù)(15)所述的控制方法，其中，
[0541]所述場(chǎng)景是拍攝的圖像。
[0542]( 19)根據(jù)(15)所述的控制方法，其中，
[0543]所述場(chǎng)景是計(jì)算機(jī)生成的圖形。
[0544](20)—種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有指令，所述指令在由處理電路執(zhí)行時(shí)進(jìn)行用于自主機(jī)器人的顯示控制方法，所述顯示控制方法包括:
[0545]經(jīng)由通信接口與所述自主機(jī)器人交換信息；
[0546]在顯示器上顯示所述自主機(jī)器人所位于的位置的場(chǎng)景；
[0547]經(jīng)由用戶接口接收所述場(chǎng)景內(nèi)的用戶選擇區(qū)域的用戶選擇的指示；以及
[0548]利用處理電路形成所述用戶選擇區(qū)域的指示，并向所述自主機(jī)器人傳送所述用戶選擇區(qū)域的指示以用于所述區(qū)域的進(jìn)一步處理。
[0549]注意，上述系列處理可以由硬件或軟件執(zhí)行。如果系列處理由軟件執(zhí)行，則配置軟件的程序可以安裝在嵌入專用硬件中的計(jì)算機(jī)中或安裝在可以通過安裝來自程序記錄介質(zhì)的各種程序來執(zhí)行各種功能的通用計(jì)算機(jī)中。
[0550][計(jì)算機(jī)的配置示例]
[0551]圖49是示出了通過程序執(zhí)行上述系列處理的計(jì)算機(jī)的硬件的配置示例的框圖。
[0552]CPU (中央處理單元)501根據(jù)存儲(chǔ)在ROM (只讀存儲(chǔ)器)502或存儲(chǔ)單元508中的程序執(zhí)行各種處理。由CPU501執(zhí)行的程序或數(shù)據(jù)被適當(dāng)?shù)卮鎯?chǔ)在RAM (隨機(jī)存取存儲(chǔ)器)503中。CPU501、R0M502和RAM503通過總線504相互連接。
[0553]輸入/輸出接口 505通過總線504連接到CPU501。包括鍵盤、鼠標(biāo)和麥克風(fēng)的輸入單元506以及包括顯示器和揚(yáng)聲器的輸出單元507連接到輸入/輸出接口 505。CPU501根據(jù)從輸入單元506輸入的命令執(zhí)行各種處理。此后，CPU501向輸出單元507輸出處理結(jié)果。
[0554]連接到輸入/輸出接口 505的存儲(chǔ)單元508包括例如硬盤并存儲(chǔ)CPU501要執(zhí)行的程序或各種數(shù)據(jù)。通信單元509通過諸如因特網(wǎng)或局域網(wǎng)的網(wǎng)絡(luò)等與外部裝置通信。
[0555]此外，可以通過通信單元509獲得程序，并且然后將其存儲(chǔ)在存儲(chǔ)單元508中。
[0556]當(dāng)安裝諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的可移除介質(zhì)511時(shí)，連接到輸入/輸出接口 505的驅(qū)動(dòng)器510驅(qū)動(dòng)可移除介質(zhì)并獲得其中記錄的程序或數(shù)據(jù)。獲得的程序或數(shù)據(jù)根據(jù)需要被傳送并存儲(chǔ)在存儲(chǔ)單元508中。
[0557]如圖49所示，記錄(存儲(chǔ))安裝在計(jì)算機(jī)中并在可執(zhí)行狀態(tài)下由計(jì)算機(jī)執(zhí)行的程序的記錄介質(zhì)可以包括可移除介質(zhì)511、臨時(shí)或永久存儲(chǔ)程序的R0M502或構(gòu)成存儲(chǔ)單元508的硬盤，可移除介質(zhì)511是包括以下的封裝介質(zhì):磁盤(包括軟盤)、光盤(包括⑶-ROM (致密盤-只讀存儲(chǔ)器)和DVD (數(shù)字多功能盤))、磁光盤(包括MD (微型盤))或半導(dǎo)體存儲(chǔ)器。如果需要的話，可以使用有線或無線通信介質(zhì)(諸如局域網(wǎng)、因特網(wǎng)或數(shù)字多功能廣播)通過通信單元509將程序記錄在記錄介質(zhì)中，通信單元509是諸如路由器或調(diào)制解調(diào)器的接□。
[0558]此外，在本說明書中，可以根據(jù)描述的次序順次執(zhí)行公開上述系列處理的步驟。然而，也可以不順次執(zhí)行步驟，而是可以并行地或單獨(dú)地執(zhí)行步驟。關(guān)于用于執(zhí)行程序的處理器，處理器電路可以是一起或單獨(dú)工作的一個(gè)或更多個(gè)處理器(包括CPU、ASIC、PAL等)。
[0559]此外，在本說明書中，系統(tǒng)是指包括多個(gè)裝置的整個(gè)設(shè)備。
[0560]此外，本公開不限于第一至第三實(shí)施例，而是可以在不背離本公開的范圍的情況下可進(jìn)行各種修改。
[0561]附圖標(biāo)記列表
[0562]I機(jī)器人控制系統(tǒng)
[0563]21指示裝置
[0564]21a顯示屏幕
[0565]22機(jī)器人
[0566]41操縱單元
[0567]42控制單元
[0568]43 顯示單元
[0569]44通信單元
[0570]45存儲(chǔ)單元
[0571]61通信單元
[0572]62攝像裝置
[0573]63距離傳感器
[0574]64麥克風(fēng)
[0575]65揚(yáng)聲器
[0576]66控制單元
[0577]67驅(qū)動(dòng)單元
[0578]68存儲(chǔ)單元
【權(quán)利要求】
1.一種用于自主機(jī)器人的控制系統(tǒng)，包括: 通信接口，其與所述自主機(jī)器人交換信息； 用戶接口，其顯示所述自主機(jī)器人所位于的位置的場(chǎng)景，并且接收所述場(chǎng)景內(nèi)的用戶選擇區(qū)域的用戶選擇的指示，其中， 所述通信接口向所述自主機(jī)器人傳送所述用戶選擇區(qū)域的指示以用于所述區(qū)域的進(jìn)一步處理。
2.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 具有接收器的所述自主機(jī)器人，其中所述自主機(jī)器人響應(yīng)于所述接收器接收到所述用戶選擇區(qū)域的所述指示而移動(dòng)至另一位置。
3.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 顯示器，其中， 所述場(chǎng)景被顯示在所述顯示器上并且所述場(chǎng)景包括房間的空間圖，并且所述用戶選擇區(qū)域是所述房間的部分區(qū)域，所述空間圖包括所述房間中的對(duì)象。
4.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 接收器，其從所述自主機(jī)器人接收?qǐng)D像；以及 所述自主機(jī)器人，其中所述自主機(jī)器人在傳送用于所述用戶選擇區(qū)域的選擇的較高質(zhì)量圖像之后傳送所述用戶選擇區(qū)域的第二圖像。
5.根據(jù)權(quán)利要求1所述的控`制系統(tǒng)，還包括: 包括所述通信接口和顯示控制器的平板計(jì)算機(jī)和智能電話中的至少之一。
6.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，還包括: 控制單元，其響應(yīng)于接收所述用戶選擇的指示而生成所述用戶選擇區(qū)域的指示。
7.根據(jù)權(quán)利要求2所述的控制系統(tǒng)，其中， 所述自主機(jī)器人被配置成基于從所述通信接口傳送的另外的用戶輸入而在所述用戶選擇區(qū)域內(nèi)檢測(cè)較小區(qū)域。
8.根據(jù)權(quán)利要求7所述的控制系統(tǒng)，其中， 所述自主機(jī)器人被配置成傳送指示檢測(cè)到的較小區(qū)域的指定范圍信息。
9.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，其中， 所述場(chǎng)景是拍攝的圖像。
10.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，其中， 所述場(chǎng)景是計(jì)算機(jī)生成的圖形。
11.根據(jù)權(quán)利要求2所述的控制系統(tǒng)，其中， 所述用戶接口被配置成接收所述場(chǎng)景內(nèi)的目標(biāo)對(duì)象的類別作為輸入， 所述通信接口向所述自主機(jī)器人傳送目標(biāo)對(duì)象的所述類別的指示，并且 所述自主機(jī)器人嘗試在所述場(chǎng)景內(nèi)識(shí)別所述類別中的一個(gè)或更多個(gè)目標(biāo)對(duì)象。
12.根據(jù)權(quán)利要求11所述的控制系統(tǒng)，其中， 所述自主機(jī)器人對(duì)候選目標(biāo)對(duì)象分配程度信息，所述程度信息是所述類別中的相應(yīng)目標(biāo)對(duì)象的正確檢測(cè)的似然性的指示。
13.根據(jù)權(quán)利要求1所述的控制系統(tǒng)，其中， 所述用戶接口被配置成接收語(yǔ)音或手勢(shì)輸入命令。
14.根據(jù)權(quán)利要求11所述的控制系統(tǒng)，還包括: 顯示器，其顯示由所述自主機(jī)器人識(shí)別的候選目標(biāo)對(duì)象以及經(jīng)由所述通信接口發(fā)送的用戶反饋，以協(xié)助控制所述自主機(jī)器人。
15.—種用于自主機(jī)器人的顯不控制方法,包括: 經(jīng)由通信接口與所述自主機(jī)器人交換信息； 在顯示器上顯示所述自主機(jī)器人所位于的位置的場(chǎng)景； 經(jīng)由用戶接口接收所述場(chǎng)景內(nèi)的用戶選擇區(qū)域的用戶選擇的指示；以及利用處理電路形成所述用戶選擇區(qū)域的指示，并向所述自主機(jī)器人傳送所述用戶選擇區(qū)域的指示以用于所述區(qū)域的進(jìn)一步處理。
16.根據(jù)權(quán)利要求15所述的方法，還包括: 在所述自主機(jī)器人處接收所述用戶選擇區(qū)域的所述指示；以及 響應(yīng)于所述接收而將所述自主機(jī)器人移動(dòng)至另一位置。
17.根據(jù)權(quán)利要求16所述的方法，其中， 利用所述自主機(jī)器人，響應(yīng)于接收到另外的用戶輸入而在所述用戶選擇區(qū)域內(nèi)檢測(cè)較小區(qū)域。
18.根據(jù)權(quán)利要求15所述的控制方法，其中， 所述場(chǎng)景是拍攝的圖像。
19.根據(jù)權(quán)利要求15所·述的控制方法，其中， 所述場(chǎng)景是計(jì)算機(jī)生成的圖形。
20.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有指令，所述指令在由處理電路執(zhí)行時(shí)進(jìn)行用于自主機(jī)器人的顯示控制方法，所述顯示控制方法包括: 經(jīng)由通信接口與所述自主機(jī)器人交換信息； 在顯示器上顯示所述自主機(jī)器人所位于的位置的場(chǎng)景； 經(jīng)由用戶接口接收所述場(chǎng)景內(nèi)的用戶選擇區(qū)域的用戶選擇的指示；以及利用處理電路形成所述用戶選擇區(qū)域的指示，并向所述自主機(jī)器人傳送所述用戶選擇區(qū)域的指示以用于所述區(qū)域的進(jìn)一步處理。
【文檔編號(hào)】B25J13/02GK103717358SQ201280036997
【公開日】2014年4月9日 申請(qǐng)日期:2012年7月25日 優(yōu)先權(quán)日:2011年8月2日
【發(fā)明者】河本獻(xiàn)太, 巖井嘉昭, 清水悟 申請(qǐng)人:索尼公司