專利名稱：動作空間提示裝置、動作空間提示方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成用于提示按照動作計(jì)劃來動作的可動機(jī)器人的動作空間的數(shù)據(jù)的動作空間提示裝置以及動作空間提示方法。
背景技術(shù)：
關(guān)于以往的機(jī)器人，充分提供了禁止人進(jìn)入的機(jī)器人專用的動作空間。但是，近些年例如家務(wù)支援機(jī)器人、以及雙臂型的面向零部件生產(chǎn)的機(jī)器人等與人共享空間并執(zhí)行任務(wù)的機(jī)器人在不斷增多。在人鄰近這樣的機(jī)器人來進(jìn)行作業(yè)的情況下，若人不能確切地感知到機(jī)器人的動作空間，則會出現(xiàn)人與機(jī)器人接觸受傷的情況。即使人沒有受傷，由于機(jī)器人的緊急停止， 會造成空載運(yùn)行時(shí)間增加或由機(jī)器人執(zhí)行的任務(wù)失敗。為了避開這樣的障礙，例如專利文獻(xiàn)1提出的移動機(jī)器人，將危險(xiǎn)范圍投影到移動機(jī)器人移動的路面上。據(jù)此，移動機(jī)器人提示危險(xiǎn)范圍，并實(shí)現(xiàn)靈活順利的動作。圖27示出了專利文獻(xiàn)1所示的移動機(jī)器人的概要。動作計(jì)劃部9902決定移動機(jī)器人9901的動作內(nèi)容。動作控制部9903根據(jù)決定后的動作內(nèi)容、以及由編碼器9908測量的車輪9906的信息，算出用于驅(qū)動車輪9906的信息。驅(qū)動部9904根據(jù)算出的信息，驅(qū)動車輪9906。并且，動作控制部9903根據(jù)決定后的動作內(nèi)容、以及編碼器9909測量的臂部9907的信息，算出用于驅(qū)動臂部9907的信息。驅(qū)動部9905按照算出的信息，驅(qū)動臂部9907。這樣，移動機(jī)器人9901移動，并且使臂部9907動作。顯示控制部9910根據(jù)決定的動作內(nèi)容，決定有可能移動以及動作的危險(xiǎn)范圍。投影儀9911將決定了的危險(xiǎn)范圍投影到移動機(jī)器人9901移動的路面上。這樣，移動機(jī)器人9901提示危險(xiǎn)范圍，并實(shí)現(xiàn)靈活順利的動作。(現(xiàn)有技術(shù)文獻(xiàn))(專利文獻(xiàn))專利文獻(xiàn)1日本特開2009-123045號公報(bào)然而，在專利文獻(xiàn)1中示出的移動機(jī)器人，不能提示多高為危險(xiǎn)范圍。例如，在手臂機(jī)器人的情況下，通過投影儀手臂機(jī)器人利用的范圍僅被投影到手臂機(jī)器人的設(shè)置面，但是對于判斷手臂機(jī)器人能夠被利用到哪個(gè)高度就比較困難了。假設(shè)手臂機(jī)器人僅使用從設(shè)置面開始60cm以上的部分來作為動作空間的情況下，專利文獻(xiàn)1所公開的方法中就無法判斷高度方向上的所有的動作空間。因此，作為手臂機(jī)器人的動作空間而能夠使用的空間，也成為了不能利用的空間。并且，在手臂機(jī)器人高速動作的情況下，由投影儀投影到手臂機(jī)器人的設(shè)置面的像也會高速地移動。而且，在投影儀所投影的接地面為曲面等情況下，被投影的像會發(fā)生變形，會出現(xiàn)誤判斷動作空間的情況。

發(fā)明內(nèi)容
因此，根據(jù)被投影到設(shè)置面的像，從直覺上判斷手臂機(jī)器人的動作空間整體是比較困難的。于是，本發(fā)明的目的在于提供一種動作空間提示裝置，其生成用于在立體上顯示機(jī)器人的動作空間的數(shù)據(jù)。為了解決上述課題，本發(fā)明所涉及的工作空間提示裝置，生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，包括作業(yè)區(qū)域生成部，生成所述可動機(jī)器人進(jìn)行動作的三維區(qū)域； 攝影部，拍攝實(shí)際圖像；位置姿勢檢測部，檢測作為所述攝影部的位置的拍攝位置和所述攝影部的拍攝方向；重疊部，按照線段近似模型像以及作業(yè)區(qū)域像之中的某一個(gè)的可見難易度，來將該線段近似模型像以及該作業(yè)區(qū)域像有選擇地重疊到由所述攝影部拍攝的所述實(shí)際圖像，所述線段近似模型像是指，從所述拍攝位置向所述拍攝方向來看所述可動機(jī)器人的線段近似模型時(shí)的像，所述作業(yè)區(qū)域像是指，從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像。據(jù)此，動作空間提示裝置能夠生成用于立體顯示可動機(jī)器人的動作空間的數(shù)據(jù)， 所述可動機(jī)器人是按照動作計(jì)劃來動作的。并且，通過根據(jù)不易看到的程度而有選擇地進(jìn)行重疊，從而能夠生成適于顯示的數(shù)據(jù)。并且，也可以是，所述重疊部，在按照用于評價(jià)所述可見難易度的基準(zhǔn)，將所述作業(yè)區(qū)域像評價(jià)為不易看到之時(shí)，將所述線段近似模型像重疊到所述實(shí)際圖像。據(jù)此，在動作區(qū)域像不易看到之時(shí)，線段近似模型像被重疊。因此，能夠生成適于顯示的數(shù)據(jù)。并且，也可以是，所述作業(yè)區(qū)域生成部包括線段近似模型保持部，保持所述可動機(jī)器人的所述線段近似模型；動作模擬器，按照用于使所述可動機(jī)器人動作的動作計(jì)劃，在虛擬空間內(nèi)使所述線段近似模型動作；以及三維區(qū)域生成部，根據(jù)所述動作模擬器使所述線段近似模型動作后的結(jié)果，來生成所述可動機(jī)器人動作的所述三維區(qū)域。據(jù)此，動作空間提示裝置利用可動機(jī)器人的線段近似模型，生成作為可動機(jī)器人的動作空間的三維區(qū)域。因此，動作空間提示裝置能夠減少運(yùn)算處理。并且，也可以是，所述重疊部，按照所述三維區(qū)域的平滑度和從所述拍攝位置到所述可動機(jī)器人的位置的距離之中的至少一方，將所述線段近似模型像與所述作業(yè)區(qū)域像之中的某一個(gè)重疊到所述實(shí)際圖像，所述線段近似模型像是，從所述拍攝位置向所述拍攝方向，來看由所述動作模擬器而進(jìn)行動作的所述線段近似模型時(shí)的像。據(jù)此，動作空間提示裝置能夠按照平滑程度以及距離，來表現(xiàn)更易感知的形態(tài)。并且，也可以是，所述重疊部，在所述三維區(qū)域被評價(jià)為平滑時(shí)，將所述線段近似模型像重疊到所述實(shí)際圖像，在所述三維區(qū)域被評價(jià)為不平滑時(shí)，將所述作業(yè)區(qū)域像重疊到所述實(shí)際圖像。據(jù)此，在動作空間平滑且不易知道的情況下，為了進(jìn)行更易感知的顯示，而采用線段近似模型。并且，也可以是，所述重疊部，在從所述拍攝位置到所述可動機(jī)器人的位置的距離滿足預(yù)先決定的條件時(shí)，將所述線段近似模型像重疊到所述實(shí)際圖像，在從所述拍攝位置到所述可動機(jī)器人的位置的距離不滿足預(yù)先決定的條件時(shí)，將所述作業(yè)區(qū)域像重疊到所述實(shí)際圖像。
據(jù)此，從攝影部到動作空間的距離過近不容易知道的情況下，為了進(jìn)行更易感知的顯示，而采用線段近似模型。并且，也可以是，所述動作空間提示裝置還具備區(qū)域表現(xiàn)調(diào)整部，對由所述作業(yè)區(qū)域生成部生成的所述三維區(qū)域的表現(xiàn)形式進(jìn)行變更。據(jù)此，動作空間的表現(xiàn)形式被變更為更容易知道的表現(xiàn)形式。并且，也可以是，所述區(qū)域表現(xiàn)調(diào)整部，根據(jù)所述可動機(jī)器人按照所述動作計(jì)劃在所述三維區(qū)域中進(jìn)行動作時(shí)的每單位時(shí)間的移動量，來對構(gòu)成所述三維區(qū)域的二維平面的表現(xiàn)形式進(jìn)行變更。據(jù)此，根據(jù)速度，動作空間的表現(xiàn)形式被變更。例如，動作空間提示裝置能夠針對速度快的部分，表現(xiàn)出更高的危險(xiǎn)程度。并且，也可以是，所述區(qū)域表現(xiàn)調(diào)整部，根據(jù)在所述動作計(jì)劃中被區(qū)分的模式的不同，來對構(gòu)成所述三維區(qū)域的二維平面的表現(xiàn)形式進(jìn)行變更。據(jù)此，動作空間提示裝置能夠表現(xiàn)各個(gè)模式的動作空間。并且，也可以是，所述重疊部，還將所述模式的執(zhí)行順序，重疊到所述作業(yè)區(qū)域像和所述實(shí)際圖像中的至少一方，所述模式的執(zhí)行順序是按照所述動作計(jì)劃而被決定的所述執(zhí)行順序。據(jù)此，動作空間提示裝置能夠按照各個(gè)模式來表現(xiàn)動作空間被利用的順序。并且，也可以是，所述重疊部，還將當(dāng)前正在執(zhí)行中的所述模式的結(jié)束預(yù)定時(shí)間， 重疊到所述作業(yè)區(qū)域像與所述實(shí)際圖像中的至少一方。據(jù)此，動作空間提示裝置能夠表現(xiàn)，直到預(yù)定結(jié)束時(shí)間為止，由目前正在執(zhí)行中的模式利用的動作空間以外的空間能夠被利用。并且，也可以是，所述重疊部，在從所述拍攝位置到所述可動機(jī)器人的位置的距離為比第一長度短的第二長度時(shí)，使所述作業(yè)區(qū)域像的透明度降低得，比從所述拍攝位置到所述可動機(jī)器人的位置的距離為所述第一長度之時(shí)更低后，將所述作業(yè)區(qū)域像重疊到所述實(shí)際圖像。據(jù)此，動作空間提示裝置能夠表現(xiàn)直到動作空間為止的遠(yuǎn)近。并且，動作空間提示裝置通過降低透明度，從而能夠表現(xiàn)出危險(xiǎn)正在接近。并且，也可以是，所述作業(yè)區(qū)域生成部，將所述可動機(jī)器人在所述三維區(qū)域中進(jìn)行動作的區(qū)域、與所述可動機(jī)器人在所述三維區(qū)域中進(jìn)行動作的時(shí)刻對應(yīng)起來，生成所述三維區(qū)域；所述重疊部，從所述三維區(qū)域中抽出在當(dāng)前時(shí)刻以后所述可動機(jī)器人進(jìn)行動作的所述區(qū)域，并將從所述拍攝位置向所述拍攝方向來看被抽出的所述區(qū)域時(shí)的像作為所述作業(yè)區(qū)域像，重疊到所述實(shí)際圖像。據(jù)此，動作空間提示裝置能夠預(yù)先生成作為可動機(jī)器人的動作空間的、基于動作計(jì)劃的三維區(qū)域。因此，動作空間提示裝置能夠減少在進(jìn)行重疊時(shí)的運(yùn)算處理。并且，也可以是，所述位置姿勢檢測部，根據(jù)由所述攝影部拍攝的、示出位置的可視標(biāo)記，來檢測所述拍攝位置和所述拍攝方向。據(jù)此，動作空間提示裝置可以不必依賴于位置傳感設(shè)備以及姿勢傳感設(shè)備，就能夠檢測攝影部的拍攝位置以及拍攝方向。并且，也可以是，所述動作空間提示裝置還包括與所述攝影部一起移動的顯示部；
7所述顯示部，對由所述重疊部重疊到所述實(shí)際圖像的所述作業(yè)區(qū)域像進(jìn)行顯示。據(jù)此，動作空間提示裝置可以不依賴于外部的顯示單元就能夠顯示被重疊的圖像。并且，通過使攝影部與顯示部一起移動，從而能夠在沒有任何不協(xié)調(diào)感的情況下將圖像顯示在顯示部。并且，也可以是，所述動作空間提示裝置還具備動作計(jì)劃保持部，該動作計(jì)劃保持部保持用于使所述可動機(jī)器人動作的動作計(jì)劃；所述動作區(qū)域生成部，按照所述動作計(jì)劃保持部所保持的所述動作計(jì)劃，來生成所述三維區(qū)域。據(jù)此，動作空間提示裝置可以不依賴于網(wǎng)絡(luò)等通信單元，就能夠獲得可動機(jī)器人的動作計(jì)劃。并且，也可以是，本發(fā)明所涉及的動作空間提示方法，生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，包括作業(yè)區(qū)域生成步驟，生成所述可動機(jī)器人進(jìn)行動作的三維區(qū)域；位置姿勢檢測步驟，檢測作為拍攝實(shí)際圖像的攝影部的位置的拍攝位置和所述攝影部的拍攝方向；以及重疊步驟，按照線段近似模型像以及作業(yè)區(qū)域像之中的某一個(gè)的可見難易度，來將該線段近似模型像以及該作業(yè)區(qū)域像有選擇地重疊到由所述攝影部拍攝的所述實(shí)際圖像，所述線段近似模型像是指，從所述拍攝位置向所述拍攝方向來看所述可動機(jī)器人的線段近似模型時(shí)的像，所述作業(yè)區(qū)域像是指，從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像。據(jù)此，能夠生成用于對按照動作計(jì)劃來動作的可動機(jī)器人的動作空間進(jìn)行立體顯示的數(shù)據(jù)。并且，通過根據(jù)能夠看到的難易度來有選擇地重疊，從而能夠生成適于顯示的數(shù)據(jù)。并且，也可以是，本發(fā)明所涉及的程序生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，并且使計(jì)算機(jī)執(zhí)行以下的步驟作業(yè)區(qū)域生成步驟，生成所述可動機(jī)器人進(jìn)行動作的三維區(qū)域；位置姿勢檢測步驟，檢測作為拍攝實(shí)際圖像的攝影部的位置的拍攝位置和所述攝影部的拍攝方向；以及重疊步驟，按照線段近似模型像以及作業(yè)區(qū)域像之中的某一個(gè)的可見難易度，來將該線段近似模型像以及該作業(yè)區(qū)域像有選擇地重疊到由所述攝影部拍攝的所述實(shí)際圖像，所述線段近似模型像是指，從所述拍攝位置向所述拍攝方向來看所述可動機(jī)器人的線段近似模型時(shí)的像，所述作業(yè)區(qū)域像是指，從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像。據(jù)此，所述動作空間提示方法能夠作為程序來實(shí)現(xiàn)。根據(jù)本發(fā)明，能夠生成用于對機(jī)器人的動作空間進(jìn)行立體顯示的數(shù)據(jù)。


圖1是實(shí)施例1中的動作空間提示裝置的功能方框圖。圖2示出了實(shí)施例1中的動作空間提示裝置的利用狀態(tài)。圖3示出了實(shí)施例1中的動作空間提示裝置的外觀。圖4示出了實(shí)施例1中的動作空間提示裝置的顯示內(nèi)容的一個(gè)例子。圖5示出了實(shí)施例1中的動作計(jì)劃保持部的動作計(jì)劃的一個(gè)例子。圖6是實(shí)施例1中的作業(yè)區(qū)域生成部的功能方框圖。圖7示出了實(shí)施例1中的線段近似模型的一個(gè)例子。
圖8示出了實(shí)施例1中的三維區(qū)域生成部的動作的一個(gè)例子。圖9示出了實(shí)施例1中的區(qū)域表現(xiàn)調(diào)整部的動作的一個(gè)例子。圖10示出了實(shí)施例1中的重疊部的動作的一個(gè)例子。圖11示出了實(shí)施例1中的動作空間提示裝置中所顯示的動作空間的一個(gè)例子。圖12示出了實(shí)施例2中的區(qū)域顯示調(diào)整部的動作的一個(gè)例子。圖13示出了實(shí)施例2中的動作空間提示裝置所顯示的動作空間的一個(gè)例子。圖14是示出了實(shí)施例3中的動作計(jì)劃保持部的動作計(jì)劃的一個(gè)例子。圖15示出了實(shí)施例3中的區(qū)域顯示調(diào)整部的動作的一個(gè)例子。圖16示出了實(shí)施例3中的動作空間提示裝置所顯示的動作空間的一個(gè)例子。圖17示出了實(shí)施例3中的動作空間提示裝置所顯示的動作空間的第一變形例。圖18示出了實(shí)施例3中的動作空間提示裝置中所顯示的動作空間的第二變形例。圖19示出了實(shí)施例4中的區(qū)域顯示調(diào)整部的動作的一個(gè)例子。圖20示出了實(shí)施例4中的三維區(qū)域的一個(gè)例子。圖21示出了實(shí)施例4中的動作空間提示裝置中所顯示的動作空間的一個(gè)例子。圖22是實(shí)施例5中的動作空間提示裝置的功能方框圖。圖23示出了實(shí)施例5中的動作空間提示裝置的利用狀態(tài)。圖M示出了實(shí)施例5中的動作空間提示裝置的外觀。圖25示出了實(shí)施例5中的重疊部的動作的一個(gè)例子。圖沈是實(shí)施例6中的動作空間提示裝置的功能方框圖。圖27是以往技術(shù)中的提示危險(xiǎn)范圍的裝置的功能方框圖。
具體實(shí)施例方式以下，參照附圖對本發(fā)明的實(shí)施例進(jìn)行說明。(實(shí)施例1)圖1是實(shí)施例1中的動作空間提示裝置的功能方框圖。圖1中的動作計(jì)劃保持部101保持手臂機(jī)器人等可動機(jī)器人的動作計(jì)劃。作業(yè)區(qū)域生成部102根據(jù)動作計(jì)劃保持部101所保持的動作計(jì)劃，生成作為可動機(jī)器人的動作空間的三維區(qū)域。區(qū)域表現(xiàn)調(diào)整部103為了使人容易感知到被生成的三維區(qū)域，而進(jìn)行變形或?qū)?gòu)成三維區(qū)域的二維平面的紋理進(jìn)行加工。攝影部104拍攝實(shí)際世界圖像。位置姿勢檢測部105檢測攝影部104在實(shí)際世界中的位置和姿勢。重疊部106從由區(qū)域表現(xiàn)調(diào)整部103輸出的三維區(qū)域中，抽出當(dāng)前時(shí)刻以后可動機(jī)器人所要使用的三維區(qū)域，并利用攝影部104的視點(diǎn)，重疊到實(shí)際世界圖像的二維平面。顯示部107是用于使人確認(rèn)三維區(qū)域的顯示單元。作業(yè)區(qū)域生成部102和區(qū)域表現(xiàn)調(diào)整部103直到可動機(jī)器人開始動作為止結(jié)束處理?？蓜訖C(jī)器人開始動作之后，重疊部106按照攝影部104的位置和姿勢、以及可動機(jī)器人的動作的經(jīng)過時(shí)間，將相當(dāng)于可動機(jī)器人的動作空間的三維區(qū)域顯示到顯示部107。這樣， 動作空間提示裝置100能夠?qū)⒖蓜訖C(jī)器人的動作空間提示給人。并且，作業(yè)區(qū)域生成部102 與區(qū)域表現(xiàn)調(diào)整部103也可以與可動機(jī)器人的動作并行進(jìn)行處理。圖2示出了圖1所示的動作空間提示裝置100的利用狀態(tài)。
動作空間提示裝置100被用于人201與可動機(jī)器人202相鄰并進(jìn)行作業(yè)的環(huán)境中。動作計(jì)劃保持部101、作業(yè)區(qū)域生成部102、區(qū)域表現(xiàn)調(diào)整部103、以及重疊部106作為動作空間提示裝置100的電子電路而被安裝。攝影部104以及顯示部107被安裝在動作空間提示裝置100的表面。并且，位置姿勢檢測部105，通過被安裝在動作空間提示裝置100的傳感設(shè)備、以及被安裝作業(yè)環(huán)境內(nèi)的傳感設(shè)備，來檢測攝影部104的拍攝位置以及拍攝方向。在實(shí)施例1 中，作為作業(yè)環(huán)境內(nèi)的傳感設(shè)備，在天花板上設(shè)置有多個(gè)位置傳感設(shè)備204，在地面上設(shè)置有多個(gè)姿勢傳感設(shè)備205。圖3示出了圖1所示的動作空間提示裝置100的外觀。動作空間提示裝置100作為顯示終端而被構(gòu)成，其中包括拍攝實(shí)際世界的攝像機(jī)301、以及用于顯示三維區(qū)域被重疊到實(shí)際世界后的圖像的顯示畫面302。圖1所示的攝影部104被安裝有攝像機(jī)301等。并且，圖1所示的顯示部107被安裝有顯示畫面302等。顯示畫面302也可以如便攜式電話以及PDA (Personal Digital Assistant 個(gè)人數(shù)字助理)等，以人201能夠手持的大小來實(shí)現(xiàn)。并且，顯示畫面302也可以是以眼鏡鏡片左右的大小的、安裝有目鏡的頭戴式顯示器來實(shí)現(xiàn)。位置傳感設(shè)備303是動作空間提示裝置100的位置傳感設(shè)備，與環(huán)境一側(cè)的位置傳感設(shè)備204聯(lián)動，來檢測動作空間提示裝置100的實(shí)際世界中的位置。動作空間提示裝置 100的位置傳感設(shè)備303和作為環(huán)境內(nèi)的位置傳感設(shè)備204例如是通過利用了 UWB(Ultra Wide Band:超寬帶)的周知的室內(nèi)GPS (Global Positioning System 全球定位系統(tǒng))等來實(shí)現(xiàn)位置檢測。并且，姿勢傳感設(shè)備304是動作空間提示裝置100的姿勢傳感設(shè)備，與動作環(huán)境內(nèi)的姿勢傳感設(shè)備205聯(lián)動，來檢測動作空間提示裝置100的姿勢。動作空間提示裝置100 的姿勢傳感設(shè)備304與環(huán)境一側(cè)的姿勢傳感設(shè)備205，例如通過使用利用了磁氣的周知的三維傾角傳感器，來實(shí)現(xiàn)姿勢檢測。另外，由于動作空間提示裝置100與攝影部104成為一體，因此動作空間提示裝置 100的位置以及姿勢能夠替換為圖1所示的攝影部104的拍攝位置以及拍攝方向。在此，攝影位置意味著攝影部104本身的位置。并且，拍攝方向意味著從攝影部104向被攝體的方向。圖4示出了實(shí)施例1的動作空間提示裝置100的顯示內(nèi)容的一個(gè)例子。人201經(jīng)由動作空間提示裝置100，通過觀察可動機(jī)器人202，從而能夠在直覺上掌握可動機(jī)器人202的動作空間。例如，人201與可動機(jī)器人202的距離遠(yuǎn)的情況下，顯示內(nèi)容401被顯示在顯示畫面302。顯示內(nèi)容401的動作空間402為可動機(jī)器人202的動作空間。并且，若人201與可動機(jī)器人202的距離接近，例如顯示內(nèi)容就被顯示在顯示畫面 302。在這種情況下，可動機(jī)器人202的動作空間404由于人201與可動機(jī)器人202的距離較近，因此顯示比動作空間402大的空間。并且，在距離更接近時(shí)，例如顯示內(nèi)容405被顯示在顯示畫面302?？蓜訖C(jī)器人 202的動作空間406，由于人201與可動機(jī)器人202的距離進(jìn)一步接近，因此顯示比動作空間404更大的空間。但是，動作空間被顯示得很大的情況下，人201會難于區(qū)分動作空間與動作空間以外的空間。因此，在這種例子中動作空間提示裝置100通過降低動作空間的透明度，以便更明確地將動作空間提示給人201。S卩，動作空間提示裝置100的重疊部106，在從拍攝位置到可動機(jī)器人202的距離為比第一長度短的第二長度之時(shí)，比在第一長度之時(shí)降低示出動作空間的作業(yè)區(qū)域像的透明度。并且，重疊部106使降低透明度的作業(yè)區(qū)域像與實(shí)際世界的圖像重疊。圖5示出了圖1所示的動作計(jì)劃保持部101所保持的動作計(jì)劃的一個(gè)例子。圖5所示的動作計(jì)劃501由作為JIS標(biāo)準(zhǔn)的產(chǎn)業(yè)用機(jī)器人語言的SLIM(Standard Language for Industrial Manipulator :產(chǎn)業(yè)用機(jī)器人語言)來描述。在用于操作機(jī)器人的語言中，從被標(biāo)準(zhǔn)化后的規(guī)格到面向特殊的機(jī)器人的設(shè)計(jì)存在各種各樣的語言。動作計(jì)劃501也可以由SLIM以外的語言規(guī)格來描述。即使是其他的語言，本發(fā)明也可以執(zhí)行。根據(jù)動作計(jì)劃501的動作如以下所述。即，在可動機(jī)器人202的前端位于空間位置C來執(zhí)行動作計(jì)劃501的情況下，可動機(jī)器人202的前端以100的速度向空間位置A移動。接著，可動機(jī)器人202的前端以50的速度向空間位置B移動，接著向空間位置C移動。 可動機(jī)器人202的前端以空間位置A、空間位置B、以及空間位置C的順序，反復(fù)動作10次。圖6是圖1所示的作業(yè)區(qū)域生成部102的功能方框圖?？蓜訖C(jī)器人202的形狀由近似線段來表現(xiàn)，作為線段近似模型(也稱為線性近似模型或區(qū)間線性近似模型)被存放到線段近似模型保持部601。圖7示出了實(shí)施例1中的線段近似模型的一個(gè)例子。實(shí)際的機(jī)器人的形狀701 —般不是直線形，在考慮到安全性和輕量化之上大多采用曲面的形狀。動作空間提示裝置100通過利用表現(xiàn)曲面的算式，從而能夠更精確地表現(xiàn)提示給人201的動作空間。但是，在根據(jù)表現(xiàn)曲線的算式來計(jì)算機(jī)器人的形狀時(shí)，會出現(xiàn)計(jì)算量增加的問題。因此，例如實(shí)際的機(jī)器人的形狀701被事先變換為近似模型，以便成為由近似的多個(gè)直線的線段來表現(xiàn)的線段近似模型702。線段近似模型702是線段近似模型的一個(gè)例子，是能夠包含實(shí)際的機(jī)器人的形狀701的最小的多面體。線段近似模型702例如由線段近似模型的內(nèi)部形式703來表現(xiàn)。 線段近似模型的內(nèi)部形式703作為構(gòu)成多面體的線段的集合，由XML(Extensible Markup Language 可擴(kuò)展標(biāo)記語言)來表現(xiàn)。在線段近似模型的內(nèi)部形式703，線段由<line>標(biāo)記來表現(xiàn)。并且，屬性start表示線段的始點(diǎn)，屬性end表示線段的終點(diǎn)。在屬性attr為body的情況下，線段則表示是構(gòu)成可動機(jī)器人202的形狀的線段，在屬性attr為traj的情況下，線段則表示動作的軌跡。 并且，線段的集合由〈polygons〉標(biāo)記來表現(xiàn)。另外，實(shí)際上在圖7所示的線段近似模型的內(nèi)部形式703的pi至p8中，存放有具有單位的三維坐標(biāo)值。圖6所示的動作模擬器602根據(jù)動作計(jì)劃保持部101中所保持的動作計(jì)劃，使被保持在線段近似模型保持部601內(nèi)的線段近似模型在虛擬空間內(nèi)動作。三維區(qū)域生成部 603以一定的時(shí)間間隔ΔΤ來對可動機(jī)器人202的動作進(jìn)行采樣，生成并輸出作為可動機(jī)器人202的動作空間的三維區(qū)域。圖8示出了圖6所示的三維區(qū)域生成部603的動作的一個(gè)例子。圖8所示的線段近似模型702構(gòu)成可動機(jī)器人202的一部分。并且，線段近似模型702按照動作計(jì)劃501，在伴隨著姿勢的變化的狀態(tài)下，從空間位置A(時(shí)刻t = 0)移動
11到空間位置B(時(shí)刻t = 2ΔΤ)。為了便于說明并不失普遍性，著眼于構(gòu)成圖8中的線段近似模型702的線段plp2。 隨著可動機(jī)器人202從空間位置A移動到空間位置B，線段plp2從空間位置A的線段801 移動到空間位置B的線段803。但是，三維區(qū)域生成部603以一定的時(shí)間間隔ΔΤ對動作進(jìn)行采樣。因此，中間的位置的線段802也被采樣。并且，如三維區(qū)域的內(nèi)部形式804所示，表現(xiàn)動作空間的三維區(qū)域被生成。另外， 三維區(qū)域生成部603將動作計(jì)劃501的開始時(shí)刻設(shè)定到〈polygons〉標(biāo)記的屬性time。以下，關(guān)于時(shí)刻表示，記載為[時(shí)][分][秒]。并且，實(shí)際上在圖8所示的三維區(qū)域的內(nèi)部形式 804 的 ρ1(0)、ρ2(0)、ρ1(ΔΤ)、ρ2(ΔΤ)、ρ1(2ΔΤ)以及 ρ2^ΔΤ)中，被存放有具有單位的三維坐標(biāo)值。區(qū)域表現(xiàn)調(diào)整部103對由作業(yè)區(qū)域生成部102輸出的三維區(qū)域的形狀或構(gòu)成三維區(qū)域的二維平面紋理進(jìn)行加工。圖9示出了區(qū)域表現(xiàn)調(diào)整部103通過可動機(jī)器人202的動作速度，使構(gòu)成三維區(qū)域的二維平面的色彩發(fā)生變化的例子。表現(xiàn)三維區(qū)域的線段形成以這些線段為邊的多角形。三維區(qū)域的內(nèi)部形式903的 〈polygon〉標(biāo)記示出多角形。屬性start的值示出可動機(jī)器人202進(jìn)入二維平面的相對時(shí)刻。屬性end的值示出可動機(jī)器人202從二維平面出來的相對時(shí)刻。并且，圖9所示的三維區(qū)域的內(nèi)部形式903被區(qū)分為二維平面901和二維平面902，二維平面901由時(shí)刻從0到 Δ T為止的動作而形成，二維平面902由時(shí)刻從Δ T到2 Δ T的動作而形成。并且，構(gòu)成各個(gè)二維平面的線段中的、由移動的軌跡生成的線段，由attr屬性的值為traj的<line>標(biāo)記來表現(xiàn)。并且，由移動的軌跡生成的線段的長度與動作速度成正比。并且，在圖9所示的例子中，包括示出快速動作的軌跡的二維平面901的色彩為紅色，〈polygon〉標(biāo)記的屬性color的值為red。包括示出緩慢動作的軌跡的二維平面902的色彩為黃色，〈polygon〉標(biāo)記的屬性color的值為yellow。重疊部106從由區(qū)域表現(xiàn)調(diào)整部103加工的三維區(qū)域中，抽出從當(dāng)前時(shí)刻以后可動機(jī)器人202所使用的三維區(qū)域。更具體而言，重疊部106將可動機(jī)器人202開始動作的時(shí)刻作為相對時(shí)刻00:00:00，算出當(dāng)前的相對時(shí)刻。并且，僅抽出〈polygons〉標(biāo)記的屬性 time的值比當(dāng)前的相對時(shí)刻晚的三維區(qū)域。重疊部106將作為可動機(jī)器人202的動作空間的三維區(qū)域作為半透明的紋理，重疊到以攝像機(jī)301拍攝的實(shí)際世界的圖像。圖10示出了重疊部106將從拍攝位置向拍攝方向看到的三維區(qū)域的像，重疊到以攝像機(jī)301拍攝的實(shí)際圖像的例子。可動機(jī)器人202的位置是已知的。并且，在實(shí)際世界中的攝影部104的拍攝位置與拍攝方向由位置姿勢檢測部105跟蹤。攝像機(jī)301的規(guī)格(透鏡焦點(diǎn)距離、攝像元件的形狀)是已知的。通過CG(Computer Graphics)的處理，算出用于將可動機(jī)器人202的動作空間變換到從攝影部104的拍攝位置向拍攝方向看到的像的行列式。即，計(jì)算用于將世界坐標(biāo)系 (Xw, Yw, Zw)變換到顯示坐標(biāo)系(xc，yc)的行列式。重疊部106利用該行列式將三維區(qū)域投影到二維平面，并重疊到包括可動機(jī)器人202的實(shí)際圖像。在實(shí)施例1中，重疊時(shí)的透明度被設(shè)定為與從拍攝位置和可動機(jī)器人202的位置計(jì)算出的距離成正比的值。并且，人201與可動機(jī)器人202之間的距離，與拍攝位置和可動機(jī)器人202之間的距離以及動作空間提示裝置100和可動機(jī)器人202之間的距離近似。并且，圖10所示的可動機(jī)器人202的世界坐標(biāo)ft·是已知的。并且，時(shí)刻t的動作空間提示裝置100的世界坐標(biāo) Pd(t)，通過位置傳感設(shè)備204為已知。因此，時(shí)刻t的人201與可動機(jī)器人202之間的距離d(t)，由d(t) = |ft-Pd(t) I來計(jì)算。并且，重疊部106能夠按照計(jì)算出的距離，將三維區(qū)域的像重疊到實(shí)際圖像。通過這樣的構(gòu)成，如圖11所示，動作空間提示裝置100提示動作空間。據(jù)此，人 201能夠立體地并且在直覺上感知可動機(jī)器人202的動作空間，并能夠回避沖突等危險(xiǎn)。并且，由于越接近可動機(jī)器人202，被重疊并被顯示的動作空間的透明度就越低， 因此人201容易在視覺上掌握動作空間。并且，人201雖然在可動機(jī)器人202的可動范圍內(nèi)，通過感知目前沒有被使用的三維區(qū)域，從而能夠有效地活用動作空間。(實(shí)施例2)接著，對實(shí)施例2進(jìn)行說明。對于與實(shí)施例1相同的部分，省略描述。并且，實(shí)施例2中的動作空間提示裝置具備與圖1所示的實(shí)施例1中的動作空間提示裝置100相同的構(gòu)成要素。圖12示出了實(shí)施例2中的區(qū)域表現(xiàn)調(diào)整部的動作的一個(gè)例子。在實(shí)施例2中，區(qū)域表現(xiàn)調(diào)整部103使示出三維區(qū)域的色彩發(fā)生變化。首先，區(qū)域表現(xiàn)調(diào)整部103將構(gòu)成三維區(qū)域的二維平面1201的內(nèi)部形式，作為基礎(chǔ)來復(fù)制。接著，區(qū)域表現(xiàn)調(diào)整部103通過將成為基礎(chǔ)的二維平面的色彩設(shè)定為紅色、將被復(fù)制的二維平面的色彩設(shè)定為黃色，從而變更三維區(qū)域的內(nèi)部形式1202。據(jù)此，動作空間提示裝置100能夠以不同的色彩來顯示動作空間。圖13示出了實(shí)施例2中的動作空間提示裝置100中顯示的動作空間的一個(gè)例子。 動作空間提示裝置100在離可動機(jī)器人202較遠(yuǎn)的位置上，如顯示內(nèi)容1301那樣顯示圖像，在離可動機(jī)器人202近的位置上，如顯示內(nèi)容1302那樣圖像被放大顯示。并且，在動作空間提示裝置100離可動機(jī)器人202近的情況下，三維區(qū)域以其他的色彩如顯示內(nèi)容1303 那樣進(jìn)行顯示。在此，如實(shí)施例1所示，人201與可動機(jī)器人202的距離是能夠算出的。例如，重疊部106，在將可動機(jī)器人202的最大到達(dá)距離Dr作為閾值，時(shí)刻t的人201與可動機(jī)器人202之間的距離d(t)為d(t) < =Dr的情況下，使重疊的三維區(qū)域的色彩設(shè)為紅色。并且，在d(t) > Dr的情況下，重疊部106使重疊的三維區(qū)域的色彩為黃色。據(jù)此，如圖13所示，三維區(qū)域被顯示。因此，人201能夠通過色彩來感知人201與可動機(jī)器人202的動作空間的距離，能夠更直覺地掌握可動機(jī)器人202的動作空間。(實(shí)施例3)接著，對實(shí)施例3進(jìn)行說明。對于與實(shí)施例1相同的部分，省略描述。并且，實(shí)施例3中的動作空間提示裝置具備與圖1所示的實(shí)施例1中的動作空間提示裝置100相同的構(gòu)成要素。在實(shí)施例3中，可動機(jī)器人202按照以動作計(jì)劃決定的多個(gè)動作模式進(jìn)行動作。 動作空間提示裝置100通過動作模式，變更動作空間的表現(xiàn)形式。
圖14示出了實(shí)施例3中的動作計(jì)劃保持部101的動作計(jì)劃的一個(gè)例子。區(qū)域表現(xiàn)調(diào)整部103以可動機(jī)器人202的動作模式的切換，來變更三維區(qū)域的色彩。在實(shí)施例3 中，可動機(jī)器人202具有兩個(gè)動作模式，執(zhí)行了動作模式1之后，執(zhí)行動作模式2。圖15示出了實(shí)施例3中的區(qū)域表現(xiàn)調(diào)整部103的動作的一個(gè)例子。如圖15所示， 按照各個(gè)動作模式，分別生成三維區(qū)域。并且，動作模式1的三維區(qū)域被設(shè)定為黃色，與動作模式ι對應(yīng)的〈polygons〉標(biāo)記的屬性color被設(shè)定為yellow。并且，動作模式2的三維區(qū)域被設(shè)定為綠色，與動作模式2對應(yīng)的〈polygons〉標(biāo)記的屬性color被設(shè)定為green。 這樣，三維區(qū)域的色彩被變更。并且，在三維區(qū)域的內(nèi)部形式1501中，將全體的動作開始時(shí)刻作為00:00:00，各個(gè)動作模式的動作開始相對時(shí)刻被存放。更具體而言，該相對時(shí)刻作為〈polygons〉標(biāo)記的屬性time的值被存放。圖16示出了實(shí)施例3中的動作空間提示裝置100中所顯示的動作空間的一個(gè)例子。在實(shí)施例3中，在人201利用動作空間提示裝置100來觀察可動機(jī)器人202的動作空間的情況下，當(dāng)前的動作模式的三維區(qū)域以黃色顯示，下一個(gè)動作模式的三維區(qū)域以綠色顯不。據(jù)此，動作空間提示裝置100能夠喚起人201的注意，以使人201不接近當(dāng)前的動作模式的動作空間。并且，動作空間提示裝置100能夠向人201通知，接近下一個(gè)動作模式的動作空間有危險(xiǎn)。圖17示出了實(shí)施例3中的動作空間提示裝置100中所顯示的動作空間的第一變形例。重疊部106在將三維區(qū)域投影到二維平面之后，從〈polygons〉標(biāo)記的屬性mode中獲得示出動作模式的順序的數(shù)值。并且，重疊部106將示出當(dāng)前的動作模式的順序的數(shù)值 1701以及示出下一個(gè)動作模式的順序的數(shù)值1702，再次重疊到二維平面。這樣，對于人201 而言能夠更容易地知道動作空間遷移的順序。圖18示出了實(shí)施例3中的動作空間提示裝置100中所顯示的動作空間的第二變形例子。重疊部106在將三維區(qū)域投影到二維平面之后，從〈polygons〉標(biāo)記的屬性time 中獲得下一個(gè)動作模式的開始時(shí)刻。并且，重疊部106將當(dāng)前的時(shí)刻與下一個(gè)動作模式的開始時(shí)刻的差作為當(dāng)前的動作模式直到結(jié)束為止所需要的時(shí)間，重疊到二維平面。這樣，對于人201而言能夠更容易知道動作空間遷移的時(shí)刻。如圖18所示，在可動機(jī)器人202的動作開始時(shí)刻的相對時(shí)刻00:00:00，使動作空間提示裝置100顯示直到動作模式1的結(jié)束為止的所要時(shí)間1801。并且，在相對時(shí)刻 00:05:30，顯示了直到動作模式1結(jié)束為止的所要時(shí)間1802。如以上所述，在實(shí)施例3中區(qū)域表現(xiàn)調(diào)整部103根據(jù)以動作計(jì)劃而被區(qū)分的模式的不同，來變更構(gòu)成三維區(qū)域的二維平面的表現(xiàn)形式。并且，重疊部106將執(zhí)行順序以及結(jié)束預(yù)定時(shí)間重疊到實(shí)際圖像或三維區(qū)域。執(zhí)行順序以及結(jié)束預(yù)定時(shí)間被重疊的位置也可以是實(shí)際圖像以及三維區(qū)域的像的某一個(gè)。例如，執(zhí)行順序也可以被重疊在示出與動作模式相對應(yīng)的動作空間的像的附近。(實(shí)施例4)接著，對實(shí)施例4進(jìn)行說明。對于與實(shí)施例1相同的部分省略描述。并且，在實(shí)施例4的動作空間提示裝置中具備與圖1所示的實(shí)施例1中的動作空間提示裝置100相同的構(gòu)成要素。圖19示出了實(shí)施例4中的區(qū)域表現(xiàn)調(diào)整部103的動作的一個(gè)例子。區(qū)域表現(xiàn)調(diào)整部103，對由作業(yè)區(qū)域生成部102輸出的三維區(qū)域的形狀或構(gòu)成三維區(qū)域的二維平面的紋理進(jìn)行加工。圖19所示的例子是，區(qū)域表現(xiàn)調(diào)整部103通過可動機(jī)器人202的動作速度， 來使構(gòu)成三維區(qū)域的二維平面的色彩發(fā)生變化。表現(xiàn)三維區(qū)域的線段構(gòu)成了以這些線段為邊的多角形。三維區(qū)域的內(nèi)部形式1903 的〈polygon〉標(biāo)記示出多角形。屬性start的值示出，可動機(jī)器人202進(jìn)入二維平面的相對時(shí)刻。屬性end的值示出，可動機(jī)器人202從二維平面出來的相對時(shí)刻。并且，圖19所示的三維區(qū)域的內(nèi)部形式1903被區(qū)分為二維平面1901和二維平面1902，所述二維平面1901 由時(shí)刻從0到Δ T的動作來形成，所述二維平面1902由時(shí)刻從Δ T到2 Δ T的動作來形成。并且，在構(gòu)成各個(gè)二維平面的線段中，由移動的軌跡生成的線段由作為attr屬性的值為traj的<line>標(biāo)記來表現(xiàn)。并且，根據(jù)移動的軌跡而生成的線段的長度與移動速度成正比。并且，在圖19所示的例子中，包括示出快速動作的軌跡的二維平面1901的色彩為紅色，〈polygon〉標(biāo)記的屬性color的值為red。包括示出緩慢動作的軌跡的二維平面1902 的色彩為黃色，〈polygon〉標(biāo)記的屬性color的值為yellow。并且，區(qū)域表現(xiàn)調(diào)整部103計(jì)算各個(gè)二維平面的單位法線矢量，并追加到多角形的屬性。被追加的單位法線矢量被存放在三維區(qū)域的內(nèi)部形式1903的〈polygon〉標(biāo)記的屬性norm中。并且，實(shí)際上圖19所示的三維區(qū)域的內(nèi)部形式1903nl以及n2中，描述了具有單位的三維坐標(biāo)值。重疊部106針對由區(qū)域表現(xiàn)調(diào)整部103輸出的三維區(qū)域的所有的相鄰的二維平面i，j，計(jì)算他們所成的角9ij。并且，重疊部106計(jì)算0ij比預(yù)先設(shè)定的閾值eth更小的角的數(shù)量n(eij< 0th)o并且，重疊部106利用包含了其他的角的所有的角的數(shù)量 η(θ ij)，計(jì)算 η(θ ij < 0th)/n(6 ij)的值。并且，重疊部106，在計(jì)算出的n( θ ij < 0th)/n(6ij)的值在預(yù)先決定的閾值 Pth以上的情況下，判斷為區(qū)域表現(xiàn)調(diào)整部103輸出的三維區(qū)域的起伏較少，是較平滑的。 在三維區(qū)域不平滑的情況下，或者人201與可動機(jī)器人202的距離在預(yù)先規(guī)定的閾值dth 以上的情況下，重疊部106將由區(qū)域表現(xiàn)調(diào)整部103輸出的三維區(qū)域重疊。在三維區(qū)域?yàn)槠交?、并且?01與可動機(jī)器人202的距離小于預(yù)先決定的閾值dth的情況下，重疊部106 將被線段近似的可動機(jī)器人202的形狀重疊到二維平面。更具體而言，例如圖20所示，在三維區(qū)域?yàn)橐远S平面2001-2006這6個(gè)二維平面構(gòu)成的六面體的情況下，相鄰的二維平面為以下的12個(gè)。即，n(eij) =12成立。(二維平面2001，二二維平方面2002)
(二維平面2001，二二維平方面2003)
(二維平面2001，二二維平方面2005)
(二維平面2001，二二維平方面2006)
(二維平面2002，二二維平方面2005)
(二維平面2002，二二維平方面2003)
(二維平面2003，二二維平方面2006)
15
(二維平面2005，二維平方面2OO6)(二維平面2004，二維平方面2OO2)( 二維平面2004，二維平方面2OO3)( 二維平面2004，二維平方面2OO6)( 二維平面2004，二維平方面2OO5)重疊部106，通過將余弦的逆函數(shù)適用于法線矢量的內(nèi)積，從而計(jì)算各個(gè)二維平面所成的角9ij。例如，二維平面2001與二維平面2003所成的角度2007為Θ。在此，作為閾值的 θ th 以及 pth 分別被設(shè)定為 θ th = 30[deg],pth = 0. 3。在 η( θ ij < θ th) = 4 的情況下，n(9ij < 0th)/n(6 ij) =4/12= 1/3 > pth 成立。因此，重疊部106判斷為三維區(qū)域是平滑的。因此，在人201與可動機(jī)器人202之間的距離小于預(yù)先決定的閾值dth的情況下，重疊部106從區(qū)域表現(xiàn)調(diào)整部103輸出的三維區(qū)域中抽出被線段近似的可動機(jī)器人202的形狀，并重疊到二維平面。對于被線段近似的可動機(jī)器人202的形狀的抽出，更具體而言如以下所述。即，首先重疊部106將可動機(jī)器人202開始動作的時(shí)刻作為相對時(shí)刻00:00:00，算出當(dāng)前的相對時(shí)亥Ij。接著，重疊部106僅抽出包含特定的時(shí)刻(例如ΔΤ經(jīng)過后的時(shí)刻)的線段(<line> 標(biāo)記)，所述特定的時(shí)刻是指〈polygons〉標(biāo)記的屬性time的值比當(dāng)前的相對時(shí)刻晚的時(shí)刻。之后，重疊部106通過根據(jù)一致點(diǎn)來判斷線段的連接關(guān)系，從而對構(gòu)成線段近似模型 702的二維平面進(jìn)行重構(gòu)。并且，重疊部106，也可以通過抽出多個(gè)時(shí)刻的線段，來對構(gòu)成多個(gè)線段近似模型的二維平面進(jìn)行重構(gòu)。重疊部106按照規(guī)定的條件，將從攝影部104的拍攝位置向拍攝方向來看線段近似模型702時(shí)的像與實(shí)際圖像重疊。圖21示出了實(shí)施例4中的動作空間提示裝置100所顯示的動作空間的一個(gè)例子。動作空間提示裝置100在遠(yuǎn)離可動機(jī)器人202的情況下，如顯示內(nèi)容2101那樣顯示圖像。并且，動作空間提示裝置100在離可動機(jī)器人202近的情況下，如顯示內(nèi)容2102 那樣將圖像放大后顯示。而且，在動作空間提示裝置100離可動機(jī)器人202更近、并且三維區(qū)域的表面平滑的情況下，人201從直覺上感知動作空間是比較困難的。因此，動作空間提示裝置100自動切換到示出被線段近似后的可動機(jī)器人202的形狀的顯示。并且，動作空間提示裝置100 如顯示內(nèi)容2103那樣顯示圖像。這樣，人201能夠更直觀地掌握可動機(jī)器人202的動作空間。在此，如實(shí)施例1所示，人201與可動機(jī)器人202的距離是可算出的。例如，用于進(jìn)行比較的閾值dth也可以是可動機(jī)器人202的最大到達(dá)距離Dr。S卩，閾值dth也可以作為dth = Dr來設(shè)定。據(jù)此，如圖21所示顯示三維區(qū)域。并且，在實(shí)施例4中，重疊部106是按照平滑程度和距離，來將線段近似模型的像與三維區(qū)域的像之中的某一個(gè)重疊到實(shí)際圖像的，不過，也可以按照平滑程度以及距離中的至少某一方，來將線段近似模型的像與三維區(qū)域的像之中的一方重疊到實(shí)際圖像。例如，重疊部106也可以僅按照三維區(qū)域的平滑程度，來判斷將線段近似模型的像與三維區(qū)域的像之中的哪一方重疊。在這種情況下，重疊部106在評價(jià)為三維區(qū)域是平
16滑的情況下，將線段近似模型的像重疊到實(shí)際圖像，在判斷為不平滑的情況下，將三維區(qū)域的像重疊到實(shí)際圖像?；蛘撸丿B部106也可以僅按照拍攝位置與可動機(jī)器人202的距離，來判斷將線段近似模型的像與三維區(qū)域的像之中的哪一個(gè)重疊。在這種情況下，重疊部106，在拍攝位置與可動機(jī)器人202的位置的距離滿足預(yù)先決定的條件之時(shí)，將線段近似模型的像重疊到實(shí)際圖像，在拍攝位置與可動機(jī)器人202的位置之間的距離不滿足預(yù)先決定的條件之時(shí)，將三維區(qū)域的像重疊到實(shí)際圖像。并且，重疊部106也可以根據(jù)其他的切換單元，將線段近似模型的像與三維區(qū)域的像的某一個(gè)重疊到實(shí)際圖像。并且，在實(shí)施例4中，雖然是區(qū)域表現(xiàn)調(diào)整部103計(jì)算各個(gè)二維平面的單位法線矢量，不過也可以是作業(yè)區(qū)域生成部102來計(jì)算單位法相矢量。這樣，即使沒有區(qū)域表現(xiàn)調(diào)整部103，重疊部106也能夠評價(jià)三維區(qū)域的平滑程度，有選擇地將線段近似模型或三維區(qū)域的像重疊到實(shí)際圖像。(實(shí)施例5)接著，對實(shí)施例5進(jìn)行說明。對于與實(shí)施例1相同的部分省略描述。圖22是實(shí)施例5中的動作空間提示裝置的功能方框圖。位置姿勢檢測部2205從由攝影部104拍攝的實(shí)際世界圖像中，檢測攝影部104的拍攝位置和拍攝方向。圖23示出了圖22所示的動作空間提示裝置2200的利用狀態(tài)。動作空間提示裝置2200被利用于，人201與可動機(jī)器人202相鄰來進(jìn)行作業(yè)的環(huán)境中。動作計(jì)劃保持部101、作業(yè)區(qū)域生成部102、區(qū)域表現(xiàn)調(diào)整部103、位置姿勢檢測部 2205以及重疊部106，作為動作空間提示裝置2200的電子電路而被安裝。攝影部104以及顯示部107被安裝在動作空間提示裝置2200的表面?？梢晿?biāo)記2304被利用于位置姿勢檢測部2205檢測拍攝位置以及拍攝方向之中。圖M示出了圖22所示的動作空間提示裝置2200的外觀。動作空間提示裝置2200具備攝像機(jī)301和顯示畫面302，攝像機(jī)301拍攝現(xiàn)實(shí)世界，顯示畫面302顯示三維區(qū)域被重疊到現(xiàn)實(shí)世界后的圖像。顯示畫面302可以像便攜式電話以及PDA (Personal Digital Assistant :個(gè)人數(shù)字助理)那樣，以人201能夠手持的大小來實(shí)現(xiàn)。并且，顯示畫面302也可以是以眼鏡鏡片左右的大小的、安裝有目鏡的頭戴式顯示器來實(shí)現(xiàn)?？梢晿?biāo)記2304由攝影部104拍攝，被顯示在顯示畫面302。位置姿勢檢測部2205 利用被拍攝的可視標(biāo)記2304，檢測攝影部104的拍攝位置以及拍攝方向。圖25示出了圖22所示的重疊部106的動作的一個(gè)例子。重疊部106利用可視標(biāo)記2304，將三維區(qū)域投影到二維平面。具體而言，預(yù)先標(biāo)定的可視標(biāo)記2304被配置成被包括在攝像機(jī)301的拍攝范圍內(nèi)。并且，重疊部106以半透明的紋理，將三維區(qū)域投影到以攝像機(jī)301拍攝的現(xiàn)實(shí)世界的圖像上。與顯示坐標(biāo)系和標(biāo)記坐標(biāo)系相對應(yīng)的圖像處理(ARToolKit)被利用于坐標(biāo)系的變換中。標(biāo)記坐標(biāo)系和顯示坐標(biāo)系通過定標(biāo)等被簡單地對應(yīng)起來。因此，重疊部106通過事先將可視標(biāo)記2304與標(biāo)記坐標(biāo)系對應(yīng)，從而在可視標(biāo)記 2304被拍攝之時(shí)，能夠決定從標(biāo)記坐標(biāo)系(Xm，Ym, Zm)向顯示坐標(biāo)系(xc，yc)變換的行列式。重疊部106利用該行列式將三維區(qū)域投影到二維平面，并重疊到實(shí)際世界的圖像。(實(shí)施例6)接著，對實(shí)施例6進(jìn)行說明。對于與實(shí)施例1相同的部分省略說明。圖沈是實(shí)施例6中的動作空間提示裝置的功能方框圖。動作空間提示裝置沈00具備動作空間提示裝置沈00、作業(yè)區(qū)域生成部沈02、攝影部104、位置姿勢檢測部105以及重疊部沈06。作業(yè)區(qū)域生成部沈02例如通過通信網(wǎng)絡(luò)，獲得可動機(jī)器人202的動作計(jì)劃。這樣， 即使沒有實(shí)施例ι所示的動作計(jì)劃保持部101，作業(yè)區(qū)域生成部沈02也能夠按照可動機(jī)器人202的動作計(jì)劃來生成三維區(qū)域。攝影部104拍攝實(shí)際圖像。S卩，攝影部104拍攝被攝體，生成實(shí)際圖像。位置姿勢檢測部105檢測攝影部104的拍攝位置以及拍攝方向。位置姿勢檢測部105為了檢測拍攝位置以及拍攝方向，也可以利用實(shí)施例5所示的可視標(biāo)記2304。重疊部沈06獲得由作業(yè)區(qū)域生成部沈02生成的三維區(qū)域，算出作業(yè)區(qū)域像，該作業(yè)區(qū)域像是指，從攝影部104的拍攝位置像拍攝方向來看三維區(qū)域時(shí)的像。并且，被算出的作業(yè)區(qū)域像和攝影部104所拍攝的實(shí)際圖像重疊。并且，被重疊的數(shù)據(jù)被輸出到外部。被輸出的數(shù)據(jù)例如由外部的顯示單元來顯示。S卩，動作空間提示裝置沈00即使不具備實(shí)施例1所示的動作計(jì)劃保持部101、區(qū)域表現(xiàn)調(diào)整部103以及顯示部107，也能夠生成用于對可動機(jī)器人202的動作空間進(jìn)行立體顯示的數(shù)據(jù)。被生成的數(shù)據(jù)例如由外部的顯示單元被顯示出來，以作為立體顯示動作空間的圖像。據(jù)此，人201能夠從直覺上感知可動機(jī)器人202的動作空間。并且，重疊部沈06也可以按照線段近似模型像或作業(yè)區(qū)域像的不易看到程度，有選擇地將線段近似模型像和作業(yè)區(qū)域像的某一方重疊到實(shí)際圖像，所述線段近似模型像是指，從拍攝位置向拍攝方向來看可動機(jī)器人202的線段近似模型時(shí)的像。例如，重疊部沈06 在按照用于評價(jià)能夠看到難易度的基準(zhǔn)，將作業(yè)區(qū)域像評價(jià)為難于看到之時(shí)，將線段近似模型像重疊到實(shí)際圖像。這樣，能夠生成用于實(shí)現(xiàn)更易懂的顯示的數(shù)據(jù)。具體而言，在從拍攝位置到可動機(jī)器人202的距離過近的情況下，作業(yè)區(qū)域則不易看到。并且，可動機(jī)器人202的動作空間為平滑的情況下，人201難于從直覺上感知動作空間。即，在這種情況下也難于看到作業(yè)區(qū)域像。于是，重疊部沈06將從拍攝位置到可動機(jī)器人202為止的距離是否近、或者由作業(yè)區(qū)域生成部沈02生成的三維區(qū)域是否平滑等， 作為用于評價(jià)能夠看到的難易度的基準(zhǔn)，并利用該基準(zhǔn)來評價(jià)不易看到的程度。如以上所述，如多個(gè)實(shí)施例所示，本發(fā)明所涉及的動作空間提示裝置能夠生成，用于對按照動作計(jì)劃而被生成的可動機(jī)器人的動作空間進(jìn)行立體顯示的數(shù)據(jù)。被生成的數(shù)據(jù)由顯示單元被顯示出來，以作為立體顯示動作空間的圖像。這樣，人能夠從直覺上感知可動機(jī)器人的動作空間。另外，這些實(shí)施例僅為一個(gè)例子，本發(fā)明并非受這些實(shí)施例所限。對于這樣的實(shí)施例本領(lǐng)域技術(shù)人員所能夠想到的各種變形以及對這些實(shí)施例中的構(gòu)成要素進(jìn)行任意組合而實(shí)現(xiàn)的其他的實(shí)施例也包含在本發(fā)明內(nèi)，并且也能夠生成用于對動作空間進(jìn)行立體顯示的數(shù)據(jù)。并且，本發(fā)明不僅能夠作為動作空間提示裝置來實(shí)現(xiàn)，而且能夠作為將構(gòu)成動作
18空間提示裝置的處理單元作為步驟的方法來實(shí)現(xiàn)。并且，本發(fā)明還可以作為用于使計(jì)算機(jī)執(zhí)行這些方法中所包含的步驟的程序來實(shí)現(xiàn)。并且，本發(fā)明還可以作為存儲了這些程序的 CD-ROM等計(jì)算機(jī)可讀取的存儲介質(zhì)來實(shí)現(xiàn)。本發(fā)明所涉及的動作空間提示裝置能夠生成用于對動作空間進(jìn)行立體顯示的數(shù)據(jù)，在零部件生成現(xiàn)場等機(jī)器人的協(xié)調(diào)作業(yè)現(xiàn)場中，能夠有效地回避與機(jī)器人的沖突。并且，本發(fā)明所涉及的動作空間提示裝置能夠作為用于演示機(jī)器人的動作的工具來應(yīng)用。符號說明100，2200，2600動作空間提示裝置101動作計(jì)劃保持部102，2602動作區(qū)域生成部103區(qū)域表現(xiàn)調(diào)整部104攝影部105，2205位置姿勢檢測部106J606 重疊部107顯示部201 人202可動機(jī)器人204，303位置傳感設(shè)備205，304姿勢傳感設(shè)備301攝像機(jī)302顯示畫面401,403,405,1301，1302，1303，2101，2102，2103 顯示內(nèi)容402，404，406 動作空間501動作計(jì)劃601線段近似模型保持部602動作模擬器603三維區(qū)域生成部701機(jī)器人的形狀702線段近似模型703線段近似模型的內(nèi)部形式801，802，803 線段804，903，1202，1501，1903 三維區(qū)域的內(nèi)部形式901，902，1201，1901，1902，2001，2002，2003，2004，2005，2006 二維平面1701，1702 數(shù)值1801，1802 所要時(shí)間2007 角度2304可視標(biāo)記9901移動機(jī)器人9902動作計(jì)劃部
9903動作控制部
9904,9905驅(qū)動部
9906車輪
9907臂部
9908,9909編碼器
9910顯示控制部
9911投影儀
權(quán)利要求
1.一種動作空間提示裝置，生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，包括 作業(yè)區(qū)域生成部，生成所述可動機(jī)器人進(jìn)行動作的三維區(qū)域；攝影部，拍攝實(shí)際圖像；位置姿勢檢測部，檢測作為所述攝影部的位置的拍攝位置和所述攝影部的拍攝方向；以及重疊部，按照線段近似模型像以及作業(yè)區(qū)域像之中的某一個(gè)的可見難易度，來將該線段近似模型像以及該作業(yè)區(qū)域像有選擇地重疊到由所述攝影部拍攝的所述實(shí)際圖像，所述線段近似模型像是指，從所述拍攝位置向所述拍攝方向來看所述可動機(jī)器人的線段近似模型時(shí)的像，所述作業(yè)區(qū)域像是指，從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像。
2.如權(quán)利要求1所述的動作空間提示裝置，所述重疊部，在按照用于評價(jià)所述可見難易度的基準(zhǔn)，將所述作業(yè)區(qū)域像評價(jià)為不易看到之時(shí)，將所述線段近似模型像重疊到所述實(shí)際圖像。
3.如權(quán)利要求1或權(quán)利要求2所述的動作空間提示裝置， 所述作業(yè)區(qū)域生成部包括線段近似模型保持部，保持所述可動機(jī)器人的所述線段近似模型； 動作模擬器，按照用于使所述可動機(jī)器人動作的動作計(jì)劃，在虛擬空間內(nèi)使所述線段近似模型動作；以及三維區(qū)域生成部，根據(jù)所述動作模擬器使所述線段近似模型動作后的結(jié)果，來生成所述可動機(jī)器人動作的所述三維區(qū)域。
4.如權(quán)利要求3所述的動作空間提示裝置，所述重疊部，按照所述三維區(qū)域的平滑度和從所述拍攝位置到所述可動機(jī)器人的位置的距離之中的至少一方，將所述線段近似模型像與所述作業(yè)區(qū)域像之中的某一個(gè)重疊到所述實(shí)際圖像，所述線段近似模型像是，從所述拍攝位置向所述拍攝方向，來看由所述動作模擬器而進(jìn)行動作的所述線段近似模型時(shí)的像。
5.如權(quán)利要求4所述的動作空間提示裝置，所述重疊部，在所述三維區(qū)域被評價(jià)為平滑時(shí)，將所述線段近似模型像重疊到所述實(shí)際圖像，在所述三維區(qū)域被評價(jià)為不平滑時(shí)，將所述作業(yè)區(qū)域像重疊到所述實(shí)際圖像。
6.如權(quán)利要求4所述的動作空間提示裝置，所述重疊部，在從所述拍攝位置到所述可動機(jī)器人的位置的距離滿足預(yù)先決定的條件時(shí)，將所述線段近似模型像重疊到所述實(shí)際圖像，在從所述拍攝位置到所述可動機(jī)器人的位置的距離不滿足所述預(yù)先決定的條件時(shí)，將所述作業(yè)區(qū)域像重疊到所述實(shí)際圖像。
7.如權(quán)利要求3至6的任一項(xiàng)所述的動作空間提示裝置，所述動作空間提示裝置還具備區(qū)域表現(xiàn)調(diào)整部，對由所述作業(yè)區(qū)域生成部生成的所述三維區(qū)域的表現(xiàn)形式進(jìn)行變更。
8.如權(quán)利要求7所述的動作空間提示裝置，所述區(qū)域表現(xiàn)調(diào)整部，根據(jù)所述可動機(jī)器人按照所述動作計(jì)劃在所述三維區(qū)域中進(jìn)行動作時(shí)的每單位時(shí)間的移動量，來對構(gòu)成所述三維區(qū)域的二維平面的表現(xiàn)形式進(jìn)行變更。
9.如權(quán)利要求7或權(quán)利要求8所述的動作空間提示裝置，所述區(qū)域表現(xiàn)調(diào)整部，根據(jù)在所述動作計(jì)劃中被區(qū)分的模式的不同，來對構(gòu)成所述三維區(qū)域的二維平面的表現(xiàn)形式進(jìn)行變更。
10.如權(quán)利要求9所述的動作空間提示裝置，所述重疊部，還將所述模式的執(zhí)行順序，重疊到所述作業(yè)區(qū)域像和所述實(shí)際圖像中的至少一方，所述模式的執(zhí)行順序是按照所述動作計(jì)劃而被決定的所述執(zhí)行順序。
11.如權(quán)利要求9或權(quán)利要求10所述的動作空間提示裝置，所述重疊部，還將當(dāng)前正在執(zhí)行中的所述模式的結(jié)束預(yù)定時(shí)間，重疊到所述作業(yè)區(qū)域像與所述實(shí)際圖像中的至少一方。
12.如權(quán)利要求1至11的任一項(xiàng)所述的動作空間提示裝置，所述重疊部，在從所述拍攝位置到所述可動機(jī)器人的位置的距離為比第一長度短的第二長度時(shí)，使所述作業(yè)區(qū)域像的透明度降低得，比從所述拍攝位置到所述可動機(jī)器人的位置的距離為所述第一長度之時(shí)更低后，將所述作業(yè)區(qū)域像重疊到所述實(shí)際圖像。
13.如權(quán)利要求1至12的任一項(xiàng)所述的動作空間提示裝置，所述作業(yè)區(qū)域生成部，將所述可動機(jī)器人在所述三維區(qū)域中進(jìn)行動作的區(qū)域、與所述可動機(jī)器人在所述三維區(qū)域中進(jìn)行動作的時(shí)刻對應(yīng)起來，生成所述三維區(qū)域；所述重疊部，從所述三維區(qū)域中抽出在當(dāng)前時(shí)刻以后所述可動機(jī)器人進(jìn)行動作的所述區(qū)域，并將從所述拍攝位置向所述拍攝方向來看被抽出的所述區(qū)域時(shí)的像作為所述作業(yè)區(qū)域像，重疊到所述實(shí)際圖像。
14.如權(quán)利要求1至13的任一項(xiàng)所述的動作空間提示裝置，所述位置姿勢檢測部，根據(jù)由所述攝影部拍攝的、示出位置的可視標(biāo)記，來檢測所述拍攝位置和所述拍攝方向。
15.如權(quán)利要求1至14的任一項(xiàng)所述的動作空間提示裝置，所述動作空間提示裝置還包括與所述攝影部一起移動的顯示部；所述顯示部，對由所述重疊部重疊到所述實(shí)際圖像的所述作業(yè)區(qū)域像進(jìn)行顯示。
16.如權(quán)利要求1至15的任一項(xiàng)所述的動作空間提示裝置，所述動作空間提示裝置還具備動作計(jì)劃保持部，該動作計(jì)劃保持部保持用于使所述可動機(jī)器人動作的動作計(jì)劃；所述動作區(qū)域生成部，按照所述動作計(jì)劃保持部所保持的所述動作計(jì)劃，來生成所述三維區(qū)域。
17.一種動作空間提示方法，生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，包括作業(yè)區(qū)域生成步驟，生成所述可動機(jī)器人進(jìn)行動作的三維區(qū)域；位置姿勢檢測步驟，檢測作為拍攝實(shí)際圖像的攝影部的位置的拍攝位置和所述攝影部的拍攝方向；以及重疊步驟，按照線段近似模型像以及作業(yè)區(qū)域像之中的某一個(gè)的可見難易度，來將該線段近似模型像以及該作業(yè)區(qū)域像有選擇地重疊到由所述攝影部拍攝的所述實(shí)際圖像，所述線段近似模型像是指，從所述拍攝位置向所述拍攝方向來看所述可動機(jī)器人的線段近似模型時(shí)的像，所述作業(yè)區(qū)域像是指，從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像。
18.—種程序，生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，并使計(jì)算機(jī)執(zhí)行以下的步驟作業(yè)區(qū)域生成步驟，生成所述可動機(jī)器人進(jìn)行動作的三維區(qū)域；位置姿勢檢測步驟，檢測作為拍攝實(shí)際圖像的攝影部的位置的拍攝位置和所述攝影部的拍攝方向；以及重疊步驟，按照線段近似模型像以及作業(yè)區(qū)域像之中的某一個(gè)的可見難易度，來將該線段近似模型像以及該作業(yè)區(qū)域像有選擇地重疊到由所述攝影部拍攝的所述實(shí)際圖像，所述線段近似模型像是指，從所述拍攝位置向所述拍攝方向來看所述可動機(jī)器人的線段近似模型時(shí)的像，所述作業(yè)區(qū)域像是指，從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像。
全文摘要
提供一種動作空間提示裝置，生成用于對可動機(jī)器人的動作空間進(jìn)行立體顯示的數(shù)據(jù)。動作空間提示裝置，生成用于提示可動機(jī)器人的動作空間的數(shù)據(jù)，包括作業(yè)區(qū)域生成部(102)，生成可動機(jī)器人進(jìn)行動作的三維區(qū)域；攝影部(104)，拍攝實(shí)際圖像；位置姿勢檢測部(105)，檢測攝影部(104)的拍攝位置和拍攝方向；以及重疊部(106)，按照從拍攝位置向拍攝方向來看可動機(jī)器人的線段近似模型時(shí)的像、與從所述拍攝位置向所述拍攝方向來看所述三維區(qū)域時(shí)的像之中的某一個(gè)像的可見難易度，來將這兩個(gè)像有選擇地重疊到由攝影部(104)拍攝的實(shí)際圖像。
文檔編號B25J9/22GK102448681SQ20108002319
公開日2012年5月9日 申請日期2010年12月9日 優(yōu)先權(quán)日2009年12月28日
發(fā)明者佐藤太一, 水谷研治 申請人:松下電器產(chǎn)業(yè)株式會社