信息處理裝置和信息處理方法
【專(zhuān)利摘要】本發(fā)明提供一種信息處理裝置和信息處理方法。本發(fā)明的信息處理裝置預(yù)先正確地確定在要抓握的目標(biāo)工件周?chē)奈矬w與手之間是否發(fā)生干涉。該信息處理裝置包括：獲得單元，被配置為獲得包括多個(gè)工件的空間的范圍圖像；識(shí)別單元，被配置為從所獲得的范圍圖像中，識(shí)別所述多個(gè)工件中的要抓握的目標(biāo)工件的區(qū)域；干涉確定單元，被配置為確定在包含在所述范圍圖像中的區(qū)域與被配置為抓握所述目標(biāo)工件的抓握單元之間是否發(fā)生干涉；以及輸出單元，被配置為基于由所述干涉確定單元進(jìn)行的干涉確定的結(jié)果，輸出關(guān)于在排除了所述目標(biāo)工件的區(qū)域的區(qū)域與所述抓握單元之間是否發(fā)生干涉的確定的結(jié)果。
【專(zhuān)利說(shuō)明】信息處理裝置和信息處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種確定在抓握工件時(shí)是否發(fā)生干涉(interference)的信息處理裝置。

【背景技術(shù)】
[0002]近年來(lái)，開(kāi)發(fā)了一種從工件堆中拾取單獨(dú)的工件的技術(shù)，這種技術(shù)例如在工廠的生產(chǎn)線上，使用視覺(jué)系統(tǒng)從工件堆中識(shí)別單獨(dú)的工件，并且辨識(shí)工件的三維位置和姿勢(shì)(orientat1n)，從而用機(jī)器人具有的手抓握工件。在抓握通過(guò)這種技術(shù)辨識(shí)的工件時(shí)，為了防止手碰撞工件的容器或者周邊物體(例如要抓握的工件之外的任意工件)，需要進(jìn)行預(yù)先確定是否發(fā)生這種碰撞的處理。
[0003]例如，在日本特開(kāi)2010-207989號(hào)公報(bào)中討論的方法中，以圖像格式獲得從附著在目標(biāo)工件上方的傳感器到工件的距離，以根據(jù)所獲得的距離信息(范圍信息)辨識(shí)工件的位置和姿勢(shì)，然后預(yù)先基于抓握工件的手的形狀、位置和姿勢(shì)，并且基于所獲得的距離信息，進(jìn)行干涉確定。更具體來(lái)說(shuō)，將手虛擬地沿辨識(shí)出的工件的z方向向上移動(dòng)到基準(zhǔn)高度位置。然后，將手虛擬地沿z方向從基準(zhǔn)高度位置降低到抓握工件的位置。在將手降低之后，第一和第二手指在抓握位置輕微張開(kāi)，并且以從這些手指的各個(gè)指尖沿Z方向向下部分具有適當(dāng)余量(allowance) Λ、并且還在各個(gè)指尖與工件之間具有適當(dāng)余量Λ的方式，虛擬地設(shè)置干涉確定要使用的虛擬平板。如果在傳感器獲得的圖像格式的距離信息中，存在在與虛擬平板重疊的像素的距離值中，ζ值大于虛擬平板的ζ值的物體，則確定發(fā)生干涉。這能夠以高速預(yù)先確定當(dāng)手抓握辨識(shí)出的工件時(shí)，與周邊物體是否發(fā)生干涉。
[0004]然而，在日本特開(kāi)2010-207989號(hào)公報(bào)中討論的方法中，表示要抓握的目標(biāo)工件的形狀的距離信息也包含在所獲得的圖像格式的距離信息中。在日本特開(kāi)2010-207989號(hào)公報(bào)中討論的方法中，將各個(gè)手指與工件分離適當(dāng)?shù)挠嗔喀?，以防止錯(cuò)誤地確定存在對(duì)目標(biāo)工件本身的干涉。由于該原因，可能會(huì)確定對(duì)在抓握目標(biāo)工件時(shí)手實(shí)際沒(méi)有干涉到的周邊物體發(fā)生干涉。


【發(fā)明內(nèi)容】

[0005]根據(jù)本發(fā)明的一方面，提供了一種信息處理裝置，其包括:獲得單元，被配置為獲得包括多個(gè)物體的空間的范圍圖像；識(shí)別單元，被配置為從所獲得的范圍圖像中，識(shí)別所述多個(gè)物體中的要抓握的目標(biāo)物體的區(qū)域；干涉確定單元，被配置為確定在包含在所述范圍圖像中的區(qū)域與被配置為抓握所述目標(biāo)物體的抓握單元之間是否發(fā)生干涉；以及輸出單元，被配置為基于由所述干涉確定單元進(jìn)行的干涉確定的結(jié)果，輸出關(guān)于在排除了所述目標(biāo)物體的區(qū)域的區(qū)域與所述抓握單元之間是否發(fā)生干涉的確定的結(jié)果。
[0006]根據(jù)本發(fā)明的示例性實(shí)施例，能夠預(yù)先正確地確定在排除要抓握的目標(biāo)工件的物體與手之間是否發(fā)生干涉。
[0007]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其它特征將變得清楚。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0008]圖1例示了根據(jù)本發(fā)明的第一示例性實(shí)施例的用于從工件堆中拾取工件的系統(tǒng)(下文中稱(chēng)為工件拾取系統(tǒng))的配置。
[0009]圖2是例示根據(jù)本發(fā)明的第一示例性實(shí)施例的信息處理裝置的配置的示例的框圖。
[0010]圖3是例示根據(jù)本發(fā)明的第一示例性實(shí)施例的包括信息處理裝置的工件拾取系統(tǒng)進(jìn)行的拾取處理的流程圖。
[0011]圖4A、4B、4C和4D是例示根據(jù)本發(fā)明的第一示例性實(shí)施例的關(guān)于要抓握的目標(biāo)工件周?chē)奈矬w是否與手干涉的確定的示意圖。
[0012]圖5A、5B和5C例示了根據(jù)本發(fā)明的第二示例性實(shí)施例的關(guān)于要抓握的目標(biāo)工件周?chē)奈矬w是否與手干涉的確定的示意圖。
[0013]圖6是例示根據(jù)本發(fā)明的示例性實(shí)施例的信息處理裝置的硬件配置的框圖。

【具體實(shí)施方式】
[0014]下面，在描述本發(fā)明的示例性實(shí)施例之前，將參照?qǐng)D6描述包含在根據(jù)示例性實(shí)施例的信息處理裝置中的硬件的配置。
[0015]圖6例示了根據(jù)示例性實(shí)施例的信息處理裝置的硬件配置。在圖6中，中央處理單元(CPU) 1010對(duì)經(jīng)由總線1000連接到其的各個(gè)設(shè)備進(jìn)行綜合控制。CPU 1010讀取并執(zhí)行存儲(chǔ)在只讀存儲(chǔ)器(ROM) 1020中的處理步驟和程序。操作系統(tǒng)(OS)、根據(jù)示例性實(shí)施例的各個(gè)處理程序和設(shè)備驅(qū)動(dòng)器存儲(chǔ)在ROM 1020中，并且臨時(shí)存儲(chǔ)在隨機(jī)存取存儲(chǔ)器(RAM) 1030中，要由CPU 1010在需要時(shí)執(zhí)行。輸入接口(I/F) 1040輸入來(lái)自外部裝置(諸如距離傳感器或者操作設(shè)備)的能夠由信息處理裝置進(jìn)行處理的輸入信號(hào)。輸出接口(I/F) 1050向外部裝置(例如顯示設(shè)備或者機(jī)器人控制器)輸出能夠由外部裝置進(jìn)行處理的輸出信號(hào)。
[0016]CPU 1010將存儲(chǔ)在ROM 1020中的程序加載到RAM 1030中，并且根據(jù)下面要描述的各個(gè)流程圖執(zhí)行處理，以實(shí)現(xiàn)上面的功能單元。例如，如果作為使用CPU 1010的軟件處理的替代構(gòu)成硬件，則僅需要構(gòu)成與這里描述的各個(gè)功能單元相對(duì)應(yīng)的計(jì)算單元或者電路。
[0017]第一示例性實(shí)施例提供如下方法，其中，當(dāng)要抓握檢測(cè)到的工件時(shí)，使用該目標(biāo)工件的位置和姿勢(shì)，在二維圖像上識(shí)別目標(biāo)工件的區(qū)域，從而預(yù)先確定手是否與周邊物體干涉。
[0018]具體來(lái)說(shuō)，首先，基于檢測(cè)到的工件的位置和姿勢(shì)，將工件的三維形狀模型投影到由具有與測(cè)量裝置類(lèi)似的照相機(jī)參數(shù)的虛擬照相機(jī)觀察到的圖像平面上。然后，將與將工件投影到其上的像素相對(duì)應(yīng)的距離圖像上的三維點(diǎn)確定為要抓握的目標(biāo)工件的區(qū)域。此夕卜，使用排除了被確定為目標(biāo)工件的區(qū)域的三維點(diǎn)的三維形狀數(shù)據(jù)和手模型，來(lái)檢測(cè)三維空間重疊，以確定是否發(fā)生干涉。
[0019]由此，即使對(duì)于手極其靠近要抓握的目標(biāo)工件的抓握操作，也能夠正確地確定在周邊(周?chē)?物體和手之間是否發(fā)生干涉，而不會(huì)由于目標(biāo)工件的測(cè)量點(diǎn)發(fā)生錯(cuò)誤檢測(cè)。
[0020]圖1例示了根據(jù)本示例性實(shí)施例的包括信息處理裝置I的工件拾取系統(tǒng)10的配置。工件拾取系統(tǒng)10包括信息處理裝置1、機(jī)器人控制器3和具有能夠抓握目標(biāo)工件22的手20的機(jī)器人臂21。工件拾取系統(tǒng)10使得能夠在包含在工件容器23中的目標(biāo)工件22中，識(shí)別、然后用手20抓握不發(fā)生干涉的目標(biāo)工件22。
[0021]機(jī)器人控制器3包括機(jī)器人工作指令單元18和機(jī)器人控制單元19。
[0022]基于信息處理裝置I的輸出結(jié)果，機(jī)器人工作指令單元18指示機(jī)器人控制單元19抓握確定在抓握操作中在手20和周邊物體之間不發(fā)生干涉的目標(biāo)工件22。
[0023]機(jī)器人控制單元19接收來(lái)自機(jī)器人工作指令單元18的指令信息，并且對(duì)機(jī)器人臂21和手20的操作進(jìn)行控制，以抓握并輸送目標(biāo)工件22。
[0024]手(抓握單元)20是附著到機(jī)器人臂21的尖端的凸緣的末端執(zhí)行器，其在機(jī)器人控制單元19的操作控制下，對(duì)目標(biāo)工件22進(jìn)行抓握操作。手20可以是通過(guò)將自身靠置在目標(biāo)工件22的平坦部分上來(lái)抓握目標(biāo)工件22的磁式或者吸附式手，或者張開(kāi)并閉合多個(gè)手指(兩個(gè)或三個(gè)手指)以從內(nèi)部或者外部保持并抓握物體的抓握式手。除此之外，可使用任何手，只要其是具有抓握機(jī)構(gòu)并且能夠附著到機(jī)器人臂21的末端執(zhí)行器即可。
[0025]機(jī)器人臂21是能夠在機(jī)器人控制單元19的操作控制下，將手20移動(dòng)到手20能夠抓握目標(biāo)工件22的位置和姿勢(shì)的多自由度機(jī)器人。
[0026]距離傳感器(范圍傳感器)2是為了獲得在各個(gè)像素中存儲(chǔ)深度信息的距離圖像(范圍圖像)而使用的傳感器。作為距離傳感器2，可使用由照相機(jī)捕獲用來(lái)照射目標(biāo)物體的例如激光、縫隙光或者隨機(jī)點(diǎn)圖案光的反射光，以通過(guò)三角測(cè)量來(lái)測(cè)量距離的主動(dòng)式距離傳感器。作為主動(dòng)式距離測(cè)量方法，可以使用諸如空間編碼法或者相移法的各種方法。距離傳感器2不限于上述傳感器，而可以使用利用光的飛行時(shí)間的飛行時(shí)間法(time-of-flight method)。作為另選方案,可以使用根據(jù)立體照相機(jī)捕獲的圖像通過(guò)三角測(cè)量計(jì)算各個(gè)像素的深度的被動(dòng)式方法。除此之外，任何方法不損害本示例性實(shí)施例的要義，只要該方法能夠根據(jù)范圍圖像獲得目標(biāo)物體的表面的三維位置即可。
[0027]下面，將參照?qǐng)D2描述信息處理裝置I的配置。圖2是例示信息處理裝置I的功能配置的示例的框圖。
[0028]信息處理裝置I包括三維形狀數(shù)據(jù)獲得單元11、工作位置和姿勢(shì)得出單元12、工作模型存儲(chǔ)單元13、目標(biāo)區(qū)域識(shí)別單元14、手位置和姿勢(shì)得出單元15、手模型存儲(chǔ)單元16以及干涉確定單元17。下面將描述各個(gè)單元。
[0029]三維形狀數(shù)據(jù)獲得單元11獲得表示一堆目標(biāo)工件22的表面的形狀的三維形狀數(shù)據(jù)。更具體來(lái)說(shuō)，由距離傳感器2捕獲范圍圖像，然后獲得通過(guò)根據(jù)各個(gè)像素的坐標(biāo)和深度值計(jì)算三維坐標(biāo)而獲得的三維點(diǎn)組，作為三維形狀數(shù)據(jù)。
[0030]向工作位置和姿勢(shì)得出單元12輸入由三維形狀數(shù)據(jù)獲得單元11獲得的測(cè)量信息。下文中，將對(duì)工作位置和姿勢(shì)得出單元12設(shè)置的坐標(biāo)系稱(chēng)為傳感器坐標(biāo)系。在本示例性實(shí)施例中，假設(shè)在距離傳感器2和機(jī)器人之間幾何關(guān)系是固定的，并且通過(guò)事先進(jìn)行用于獲得相對(duì)位置和姿勢(shì)的機(jī)器人視覺(jué)校準(zhǔn)，已知其之間的相對(duì)位置和姿勢(shì)。在本示例性實(shí)施例中，假設(shè)將距離傳感器2固定在工件容器23上方進(jìn)行了描述。然而，可以將距離傳感器2固定到機(jī)器人臂21。
[0031]工作位置和姿勢(shì)得出單元12基于三維形狀數(shù)據(jù)獲得單元11輸入的信息，檢測(cè)存在于工件容器23內(nèi)部的單獨(dú)的工件22，并且計(jì)算表示檢測(cè)到的工件22在傳感器坐標(biāo)系中的位置和姿勢(shì)的6個(gè)參數(shù)。
[0032]在本示例性實(shí)施例中，預(yù)先將通過(guò)從大量位置和姿勢(shì)觀察工件而獲得的多個(gè)范圍圖像信息作為圖案存儲(chǔ)在數(shù)據(jù)庫(kù)中，并且將通過(guò)使用距離傳感器2進(jìn)行測(cè)量而獲得的范圍圖像與這些圖案進(jìn)行匹配，以檢測(cè)單獨(dú)的工件22，從而計(jì)算工件22的近似位置和姿勢(shì)。然后，基于近似位置和姿勢(shì)，再次計(jì)算工件22的位置和姿勢(shì)。事先從在后續(xù)階段處理中要使用的工件22的三維形狀模型中，提取了在作為范圍圖像獲得工件22時(shí)預(yù)期觀察到的三維點(diǎn)組。獲得該三維點(diǎn)組和從由距離傳感器2獲得的范圍圖像得出的三維點(diǎn)組之間的對(duì)應(yīng)關(guān)系，并且計(jì)算工件22的位置和姿勢(shì)，使得這兩個(gè)三維點(diǎn)組彼此配合?？梢允褂蒙鲜龇椒ㄖ獾娜我夥椒?，只要該方法能夠使用由三維形狀數(shù)據(jù)獲得單元11獲得的范圍圖像，從一堆工件中檢測(cè)要抓握的單獨(dú)的工件22，然后得出其三維位置和姿勢(shì)即可。
[0033]工作模型存儲(chǔ)單元13存儲(chǔ)要從一堆中拾取的目標(biāo)工件22的三維形狀模型。作為三維形狀模型(三維模型信息)，例如，可以使用近似表示工件22的三維形狀的多邊形模型。多邊形模型由目標(biāo)工件形狀的表面點(diǎn)的三維坐標(biāo)，以及由構(gòu)成近似該形狀的三角形面(多邊形)的其之間的鏈接信息構(gòu)成。多邊形通常由三角形形成。然而，其可以由正方形或者五邊形形成?？梢允褂萌我舛噙呅文Ｐ停灰淠軌蚧诒砻纥c(diǎn)的坐標(biāo)和其鏈接信息近似地表示工件22的形狀即可。然而，三維形狀模型不限于多邊形模型。三維形狀模型可以是用諸如計(jì)算機(jī)輔助設(shè)計(jì)(CAD)數(shù)據(jù)(CAD模型)的被稱(chēng)為邊界表示(B-Rep)的分段參數(shù)曲面的集合表示形狀的模型。除上述模型之外，可以使用工件22的任意三維形狀模型，只要其能夠表示表面形狀即可。當(dāng)從自范圍圖像中獲得的三維點(diǎn)組中識(shí)別出與目標(biāo)工件22的區(qū)域相對(duì)應(yīng)的三維點(diǎn)時(shí)，使用三維形狀模型。
[0034]目標(biāo)區(qū)域識(shí)別單元14識(shí)別從由三維形狀數(shù)據(jù)獲得單元11獲得的包括目標(biāo)工件22的空間的三維形狀數(shù)據(jù)中排除了目標(biāo)工件22的區(qū)域的區(qū)域。然后，目標(biāo)區(qū)域識(shí)別單元14向干涉確定單元17輸出關(guān)于識(shí)別出的區(qū)域的信息。
[0035]手位置和姿勢(shì)得出單元15基于由工作位置和姿勢(shì)得出單元12得出的工件22的位置和姿勢(shì)，得出用于抓握目標(biāo)工件22的手20的位置和姿勢(shì)。下面將描述具體處理。手位置和姿勢(shì)得出單元15向干涉確定單元17輸出關(guān)于得出的手20的位置和姿勢(shì)的信息。
[0036]手模型存儲(chǔ)單元16存儲(chǔ)用于抓握目標(biāo)工件22的手20的三維形狀模型。手20的三維形狀模型與工件22的三維形狀模型類(lèi)似，因此這里省略其描述。手模型存儲(chǔ)單元16向手位置和姿勢(shì)得出單元15以及干涉確定單元17，輸出所存儲(chǔ)的手20的三維形狀模型。
[0037]干涉確定單元17在由三維形狀數(shù)據(jù)獲得單元11獲得的三維形狀數(shù)據(jù)中，針對(duì)排除了由目標(biāo)區(qū)域識(shí)別單元14識(shí)別出的目標(biāo)工件22的區(qū)域的區(qū)域，進(jìn)行干涉確定。在干涉確定中，干涉確定單元17確定在由手模型存儲(chǔ)單元16得出的處于手20的位置和姿勢(shì)的手模型與目標(biāo)工件22周?chē)奈矬w之間是否發(fā)生干涉。對(duì)于干涉確定，干涉確定單元17在使用存儲(chǔ)在手模型存儲(chǔ)單元16中的表示手20的三維形狀的多邊形模型的同時(shí)，使用例如通常在游戲編程中使用的碰撞確定技術(shù)。具體來(lái)說(shuō)，通過(guò)檢測(cè)從通過(guò)使用視覺(jué)系統(tǒng)捕獲工件堆的圖像而獲得的范圍圖像獲得的三維形狀數(shù)據(jù)、與處于抓握檢測(cè)到的工件22的位置和姿勢(shì)的手20的形狀之間的三維空間上的重疊，來(lái)檢測(cè)是否發(fā)生干涉。干涉確定單元17進(jìn)行上述干涉確定處理。如果干涉確定單元17確定沒(méi)有發(fā)生干涉，則干涉確定單元17向機(jī)器人工作指令單元18輸出關(guān)于目標(biāo)工件22的信息。即使干涉確定單元17確定發(fā)生干涉，干涉確定單元17也可以輸出干涉確定的結(jié)果。作為另選方案，代替直接向機(jī)器人工作指令單元18輸出干涉確定的結(jié)果，干涉確定單元17可以向顯示設(shè)備輸出干涉確定的結(jié)果，以使顯示設(shè)備顯示干涉確定的結(jié)果。
[0038]圖3是例示使用根據(jù)本示例性實(shí)施例的信息處理裝置I進(jìn)行的、通過(guò)事先確定在抓握操作中是否發(fā)生干涉來(lái)從工件堆中拾取工件的處理的流程圖。
[0039]在步驟S201中，工作模型存儲(chǔ)單元13將存儲(chǔ)在其中的工件22的三維形狀模型，輸入到工作位置和姿勢(shì)得出單元12以及干涉確定單元17中。
[0040]在步驟S202中，手模型存儲(chǔ)單元16向手位置和姿勢(shì)得出單元15以及干涉確定單元17，輸入存儲(chǔ)在其中的表示手20的三維形狀的模型。這里假設(shè)向其輸入使用多邊形的集合近似三維形狀的多邊形模型。
[0041]在步驟S203中，三維形狀數(shù)據(jù)獲得單元11捕獲一堆目標(biāo)工件22的范圍圖像，根據(jù)各個(gè)像素的坐標(biāo)和深度計(jì)算三維點(diǎn)組的坐標(biāo)數(shù)據(jù)，然后向工作位置和姿勢(shì)得出單元12輸入計(jì)算的坐標(biāo)數(shù)據(jù)。將三維點(diǎn)組中的點(diǎn)的總數(shù)取為N。假設(shè)用基準(zhǔn)坐標(biāo)系表示所獲得的三維點(diǎn)組中的各個(gè)點(diǎn)的坐標(biāo)。下文中，對(duì)由基準(zhǔn)坐標(biāo)系表示的三維點(diǎn)組中的各個(gè)點(diǎn)給出標(biāo)識(shí)(ID)，并且將第i個(gè)三維點(diǎn)稱(chēng)為ke i。為了相互參照，鏈接信息記錄在該步驟中生成的各個(gè)三維點(diǎn)的坐標(biāo)和范圍圖像的各個(gè)對(duì)應(yīng)像素的坐標(biāo)中。
[0042]在步驟S204中，工作位置和姿勢(shì)得出單元12在工件堆中檢測(cè)要抓握的單個(gè)單獨(dú)的工件22，并且計(jì)算表示檢測(cè)到的工件22在傳感器坐標(biāo)系統(tǒng)中的位置和姿勢(shì)的6個(gè)參數(shù)。能夠使用各種方法，來(lái)檢測(cè)單獨(dú)的工件22，并且計(jì)算其位置和姿勢(shì)。如上所述，在該步驟中，將通過(guò)從大量位置和姿勢(shì)觀察工件而獲得的各個(gè)范圍圖像的圖案與在步驟S203中獲得的范圍圖像進(jìn)行匹配，并且獲得觀察到的與評(píng)分最高的數(shù)據(jù)相對(duì)應(yīng)的位置和姿勢(shì)，作為要抓握的目標(biāo)工件22的近似位置和姿勢(shì)。具體來(lái)說(shuō)，使用在日本特開(kāi)2001-14307號(hào)公報(bào)中討論的方法計(jì)算近似位置和姿勢(shì)，其中，將范圍圖像上的特征點(diǎn)之間的位置關(guān)系，與存在于數(shù)據(jù)庫(kù)中的處于各個(gè)觀察到的位置和姿勢(shì)的特征點(diǎn)之間的位置關(guān)系進(jìn)行比較，并且選擇彼此最匹配的特征點(diǎn)組。使用計(jì)算的近似位置和姿勢(shì)作為初始值，使用稱(chēng)為迭代最近點(diǎn)(ICP)法的方法，計(jì)算工件22的三維形狀模型能夠與從三維空間中的范圍圖像中獲得的三維點(diǎn)組匹配的位置和姿勢(shì)。
[0043]將從工件22的三維形狀模型的表面中提取的點(diǎn)組取作P。
[0044]P = {pm l, Pm 2, — , Pm N}⑴
[0045]將從范圍圖像中獲得的三維點(diǎn)組取作K。
[0046]K = {km l, km 2,…，km N} (2)
[0047]對(duì)從三維形狀模型的表面中采樣的點(diǎn)組P進(jìn)行變換，并且計(jì)算將點(diǎn)組P與從范圍圖像中獲得的三維點(diǎn)組K對(duì)應(yīng)的位置和姿勢(shì)參數(shù)。當(dāng)基于近似位置和姿勢(shì)，將點(diǎn)組P中的各個(gè)點(diǎn)P1變換到傳感器坐標(biāo)系時(shí)，將點(diǎn)組K中的距離最近的點(diǎn)取作匕e K，能夠由下面的方程式(3)定義誤差函數(shù)。其中，R和t分別是要獲得的姿勢(shì)參數(shù)和運(yùn)動(dòng)矢量。
[0048]傘“)藝bt (βρτ I ?} ‘.{3)


I=J.
[0049]獲得使誤差函數(shù)E減小的R和t，來(lái)計(jì)算表示位置和姿勢(shì)的6個(gè)參數(shù)。在下面的論文:K.S.Arunj T.S.Huang, and S.D.Blostelnj iiLeast-Squares Fitting of Two3_D PointSets, "ΡΑΜΙ, vol.9，n0.5，1987中，討論獲得使誤差函數(shù)E減小的R和t的方法。在該步驟中，代替如上所述直接獲得R和t,可以通過(guò)使用諸如高斯-牛頓法(Gauss-Newton method)的非線性?xún)?yōu)化方法重復(fù)校正工件22的位置和姿勢(shì)參數(shù)，來(lái)計(jì)算R和t?？梢允褂萌我夥椒?，只要其能夠從工件堆中檢測(cè)單個(gè)單獨(dú)的工件22，并且計(jì)算表示工件22在傳感器坐標(biāo)系中的位置和姿勢(shì)的6個(gè)參數(shù)即可。
[0050]在步驟S205中，目標(biāo)區(qū)域識(shí)別單元14基于在步驟S204中得出的目標(biāo)工件22的位置和姿勢(shì)，識(shí)別三維形狀數(shù)據(jù)上的排除了目標(biāo)工件22的三維點(diǎn)。將參照?qǐng)D4A至4D描述該步驟中的處理。
[0051]圖4A例示了通過(guò)捕獲容器中的工件堆而獲得的范圍圖像，以及在步驟S204中檢測(cè)到并且根據(jù)范圍圖像計(jì)算了位置和姿勢(shì)的目標(biāo)工件22。這里，使用存儲(chǔ)在工作模型存儲(chǔ)單元13中的工件的三維形狀模型以及目標(biāo)工件22的位置和姿勢(shì)，通過(guò)下面的方法識(shí)別排除了目標(biāo)工件22的三維形狀數(shù)據(jù)。
[0052]首先，準(zhǔn)備虛擬照相機(jī)觀察到的圖像平面。在觀察到的圖像平面上，基于計(jì)算的位置和姿勢(shì)繪制工件的三維形狀模型。對(duì)于虛擬照相機(jī)的照相機(jī)參數(shù)，推薦獲得并使用與三維形狀數(shù)據(jù)獲得單元11實(shí)際使用的攝像裝置相同的照相機(jī)參數(shù)。使用相同的照相機(jī)參數(shù)使由三維形狀數(shù)據(jù)獲得單元11捕獲的范圍圖像的各個(gè)像素(X，y)與觀察到的虛擬照相機(jī)的圖像平面上的(x，y)相對(duì)應(yīng)。然而，如果能夠識(shí)別捕獲的范圍圖像和觀察到的虛擬照相機(jī)的圖像平面之間的像素對(duì)應(yīng)關(guān)系，則不一定使用相同的照相機(jī)參數(shù)。在繪制處理之前，利用諸如(R，G，B) = (O, O, O)的顏色，對(duì)整個(gè)圖像平面進(jìn)行初始化。
[0053]為了識(shí)別在其上繪制工件22的像素，對(duì)形成三維形狀模型的各個(gè)面分配排除了初始化使用的顏色的特定顏色，并且以分配的顏色繪制各個(gè)面。例如，如果使用多邊形模型，則對(duì)形成多邊形模型的所有多邊形分配顏色(R，G，B) = (255，0，O)來(lái)進(jìn)行繪制。如果使用具有分段參數(shù)曲面的B-Rep模型，則對(duì)各個(gè)曲面分配特定顏色來(lái)進(jìn)行繪制。只要能夠識(shí)別繪制工件22的區(qū)域的像素，可以使用彩色圖像或灰度級(jí)圖片，或者可以對(duì)各個(gè)面分配不同或相同的顏色。作為另選方案，可以使用二值化圖像。圖4B例示了通過(guò)對(duì)圖4A所示的目標(biāo)工件22進(jìn)行上述處理而生成的圖像。
[0054]依次參照與范圍圖像上的像素(x，y)相對(duì)應(yīng)的觀察到的圖像平面上的像素的亮度值(R，G, B)，以依次確定根據(jù)這些像素計(jì)算的三維點(diǎn)是否是與目標(biāo)工件22相對(duì)應(yīng)的區(qū)域。例如，假設(shè)與范圍圖像的目標(biāo)像素(x，y)相對(duì)應(yīng)的觀察到的圖像平面上的像素的亮度值是(R，G, B) = (255，O, O)。在這種情況下，確定根據(jù)該像素計(jì)算的三維點(diǎn)是表示與目標(biāo)工件22相對(duì)應(yīng)的形狀的數(shù)據(jù)，并且與該像素相關(guān)聯(lián)地記錄值O。作為另選方案，假設(shè)與范圍圖像的目標(biāo)像素(X，y)相對(duì)應(yīng)的觀察到的圖像平面上的像素的亮度值是(R，G, B) = (O, O, O)。在這種情況下，確定根據(jù)該像素計(jì)算的三維點(diǎn)是表示諸如工件容器23或者目標(biāo)工件22之外的任意工件的周邊物體的形狀的數(shù)據(jù)，并且與該像素相關(guān)聯(lián)地記錄值I。對(duì)所有像素進(jìn)行該處理，能夠識(shí)別根據(jù)各個(gè)像素計(jì)算的三維點(diǎn)對(duì)應(yīng)于表示目標(biāo)工件22的形狀的數(shù)據(jù)，還是表示排除了目標(biāo)工件22的周邊物體的形狀的數(shù)據(jù)。
[0055]這里，參照存儲(chǔ)繪制的結(jié)果圖像的幀緩沖器中的顏色緩沖區(qū)的亮度值，來(lái)識(shí)別目標(biāo)工件22的區(qū)域。然而，代替顏色緩沖區(qū)，可以參照深度緩沖區(qū)或者模板緩沖區(qū)的值來(lái)進(jìn)行識(shí)別。作為另選方案，代替進(jìn)行繪制，可以計(jì)算從虛擬照相機(jī)坐標(biāo)系的原點(diǎn)行進(jìn)到各個(gè)像素的虛擬光線，來(lái)確定光線是否與目標(biāo)工件22相交，從而確定目標(biāo)工件22的區(qū)域。
[0056]圖4C例示了沿著圖4A所示的范圍圖像上的粗線截取的截面圖。小空心圓指示根據(jù)由三維形狀數(shù)據(jù)獲得單元11獲得的范圍圖像計(jì)算的三維點(diǎn)。虛線指示上述處理中的空心圓中的與目標(biāo)工件22相對(duì)應(yīng)的三維點(diǎn)。通過(guò)排除由虛線指示的與目標(biāo)工件22相對(duì)應(yīng)的三維點(diǎn)，并且使用由空心圓指示的三維點(diǎn)，進(jìn)行干涉確定，從而能夠確定是否對(duì)排除了目標(biāo)工件22的物體發(fā)生干涉。
[0057]還能夠通過(guò)下面的方法來(lái)確定目標(biāo)工件22的區(qū)域。例如，如果從以不同的顏色混合并且堆放的不同類(lèi)型的工件中抓握一種類(lèi)型的工件22，則可以獲得能夠識(shí)別與范圍圖像的對(duì)應(yīng)關(guān)系的亮度圖像，以基于亮度圖像的像素顏色信息，來(lái)識(shí)別目標(biāo)工件22的區(qū)域。更具體來(lái)說(shuō)，如果目標(biāo)工件22的顏色為紅色，則提供與亮度圖像上的紅色像素相對(duì)應(yīng)的范圍圖像上的像素的測(cè)量點(diǎn)無(wú)效，并且與排除了紅色像素的像素相對(duì)應(yīng)的范圍圖像上的測(cè)量點(diǎn)有效的信息，使得能夠進(jìn)行識(shí)別目標(biāo)工件22的處理。
[0058]在步驟S206中，手位置和姿勢(shì)得出單元15基于在步驟S204中得出的工件22的位置和姿勢(shì)，得出對(duì)工件22進(jìn)行抓握操作的手20在傳感器坐標(biāo)系中的位置和姿勢(shì)。具體來(lái)說(shuō)，作為教導(dǎo)抓握操作的信息，預(yù)先記錄在抓握操作中的工件22和手20之間的相對(duì)位置和姿勢(shì)。通過(guò)在虛擬環(huán)境中操作工件22和手20的模型，來(lái)設(shè)置工件22和手20之間的相對(duì)位置和姿勢(shì)。作為另選方案，可以將使得能夠獲得距離傳感器2和手20之間的相對(duì)位置和姿勢(shì)的手20，移動(dòng)到手20能夠抓握基于距離傳感器2測(cè)量的數(shù)據(jù)在傳感器坐標(biāo)系中獲得了位置和姿勢(shì)的工件22的位置和姿勢(shì)，從而根據(jù)工件22和手20之間的位置和姿勢(shì)，計(jì)算手20的位置和姿勢(shì)。基于記錄的教導(dǎo)信息，將表示計(jì)算的工件22的位置和姿勢(shì)的坐標(biāo)變換矩陣，乘以表示工件22和手20之間的相對(duì)位置和姿勢(shì)的坐標(biāo)變換矩陣，以獲得手20在傳感器坐標(biāo)系中的坐標(biāo)變換矩陣，并且計(jì)算工件22和手20之間的位置和姿勢(shì)。
[0059]圖4D例示了在該步驟中得出手20的位置和姿勢(shì)之后，布置抓握?qǐng)D4C所示的目標(biāo)工件22的手20的狀態(tài)。移除了在步驟S205中確定為對(duì)應(yīng)于目標(biāo)工件22的三維點(diǎn)。
[0060]在步驟S207中，目標(biāo)區(qū)域識(shí)別單元14確定在步驟S205中識(shí)別的排除了目標(biāo)工件22的三維形狀數(shù)據(jù)，是否對(duì)處于在步驟S206中計(jì)算的位置和姿勢(shì)的手20發(fā)生干涉。
[0061 ] 以在步驟S206中得出的位置和姿勢(shì)布置表示手20的形狀的多邊形模型。此外，將半徑為r的非常小的球體布置在排除了目標(biāo)工件22的三維形狀數(shù)據(jù)中的各個(gè)三維點(diǎn)的位置。檢測(cè)各個(gè)多邊形和該球體之間的三維空間重疊，來(lái)進(jìn)行干涉確定。如果球體和多邊形彼此重疊，則確定發(fā)生干涉。如果球體和多邊形彼此不重疊，則確定未發(fā)生干涉。能夠使用在uChrister Ericson, a real-time collis1n determinat1n for game programming, bonedigital, 2005”中討論的方法，作為對(duì)多邊形和球體之間的信息進(jìn)行處理的方法。在圖4D中，在排除了目標(biāo)工件22的三維點(diǎn)中，用黑色點(diǎn)指示作為球體和多邊形之間的干涉確定的結(jié)果，確定為與手20發(fā)生干涉的三維點(diǎn)。
[0062]可以使用其它方法進(jìn)行干涉確定。例如，連接范圍圖像上的相鄰像素之間的三維點(diǎn)，以生成表示工件堆的三維形狀數(shù)據(jù)的多邊形，并且檢測(cè)與處于抓握位置和姿勢(shì)的手20的多邊形模型的多邊形的相交，以進(jìn)行干涉確定。在這種情況下，如果在多邊形之間存在相交，則確定發(fā)生干涉。如果在多邊形之間不存在相交，則確定沒(méi)有發(fā)生干涉，并且輸出結(jié)果。能夠使用在 “Tomas Moller, A Fast Triangle-Triangle Intersect1n Test, 1997，，中討論的方法，作為對(duì)多邊形之間的信息進(jìn)行處理的方法。這里，使用多邊形模型作為手20的形狀模型。然而，可以使用通過(guò)諸如圓柱體、球體或者長(zhǎng)方體的簡(jiǎn)單幾何形狀的組合表示三維形狀的模型。除此之外，可以使用任意方法，只要該方法能夠檢測(cè)工件堆的三維形狀數(shù)據(jù)和抓握目標(biāo)工件22的手20的形狀模型之間的三維空間重疊即可。可以沿與目標(biāo)工件22相反的方向，將手20的形狀模型放大。使用手20的放大形狀模型的干涉確定能夠?qū)?shí)際進(jìn)行的抓握操作提供余量。
[0063]作為步驟S207中的處理的結(jié)果，在步驟S208中，如果確定沒(méi)有發(fā)生干涉，則處理進(jìn)行到步驟S209。如果確定發(fā)生干涉，則處理進(jìn)行到步驟S202，檢測(cè)另一個(gè)單獨(dú)的工件22，并且計(jì)算其位置和姿勢(shì)。
[0064]在步驟S209中，機(jī)器人工作指令單元18向機(jī)器人控制單元19發(fā)送操作信號(hào)。機(jī)器人控制單元19操作機(jī)器人臂21，以將手20移動(dòng)到能夠抓握目標(biāo)工件22的位置和姿勢(shì)，使手20抓握工件22并且將其輸送到預(yù)定位置。
[0065]在步驟S210中，手位置和姿勢(shì)得出單元15確定工件容器23是否是空的。如果工件容器23不是空的(步驟S210:否)，則處理進(jìn)行到步驟S203。如果工件容器23是空的(步驟S210:是)，則處理結(jié)束。
[0066]使用上述方法，使用信息處理裝置I預(yù)先確定在抓握操作期間是否發(fā)生干涉，并且拾取(抓握)確定沒(méi)有發(fā)生干涉的目標(biāo)工件22。
[0067]在第一示例性實(shí)施例中，描述了如下方法:當(dāng)要抓握檢測(cè)到的工件時(shí)，通過(guò)使用目標(biāo)工件的位置和姿勢(shì)，來(lái)識(shí)別二維圖像上的工件的區(qū)域，事先確定在周邊物體和手之間是否發(fā)生干涉。更具體來(lái)說(shuō)，基于檢測(cè)到的工件的位置和姿勢(shì)，將工件的三維形狀模型投影到具有與測(cè)量裝置相同的照相機(jī)參數(shù)的虛擬照相機(jī)的觀察圖像平面上，并且將與將工件投影在其上的像素相對(duì)應(yīng)的三維點(diǎn)確定為要抓握的工件的區(qū)域。然后，通過(guò)使用排除了被確定為目標(biāo)工件的區(qū)域的三維點(diǎn)的三維形狀數(shù)據(jù)和手模型，檢測(cè)三維空間重疊，以確定是否發(fā)生干涉。由此，即使在手極其靠近目標(biāo)工件的抓握操作中，也能夠正確地確定周邊物體和手之間的干涉，而不會(huì)由于目標(biāo)工件的區(qū)域中的測(cè)量點(diǎn)而發(fā)生錯(cuò)誤檢測(cè)。這種方法主要在工件檢測(cè)方法具有在檢測(cè)未被其它單獨(dú)的工件隱藏的、工件堆的表面層中的單獨(dú)的工件的特征時(shí)有效。
[0068]在本示例性實(shí)施例中，描述了確定是否與手發(fā)生干涉的方法，其中，從自范圍圖像中獲得三維點(diǎn)中排除了被確定為目標(biāo)工件的三維點(diǎn)(其中，識(shí)別目標(biāo)工件之外的三維點(diǎn))。然而，作為另一方法，可以使用范圍圖像上的所有三維點(diǎn)，來(lái)確定是否與手發(fā)生干涉，如果確定發(fā)生干涉的所有區(qū)域?qū)?yīng)于目標(biāo)工件，則可以輸出指示沒(méi)有發(fā)生干涉的結(jié)果，否則，可以輸出指示發(fā)生干涉的結(jié)果。
[0069]在本示例性實(shí)施例中，僅記錄了一個(gè)教導(dǎo)信息，來(lái)計(jì)算手的抓握位置和姿勢(shì)。然而，可以預(yù)先記錄手能夠抓握目標(biāo)工件的多個(gè)相對(duì)位置和姿勢(shì)，以通過(guò)根據(jù)工件的姿勢(shì)從多個(gè)教導(dǎo)信息中選擇一個(gè)，來(lái)計(jì)算手的位置和姿勢(shì)。作為另選方案，可以對(duì)多個(gè)教導(dǎo)信息分配優(yōu)先級(jí)，以通過(guò)選擇具有較高優(yōu)先級(jí)的教導(dǎo)信息，來(lái)計(jì)算手的位置和姿勢(shì)。如果記錄了多個(gè)教導(dǎo)信息，并且如果在干涉確定處理中確定發(fā)生干涉，則通過(guò)基于具有次高優(yōu)先級(jí)的教導(dǎo)信息，選擇抓握操作，來(lái)計(jì)算手的位置和姿勢(shì)，使得再次進(jìn)行干涉確定。
[0070]在第二示例性實(shí)施例(下文中稱(chēng)為本示例性實(shí)施例)中，將描述如下方法:當(dāng)要抓握檢測(cè)到的工件時(shí)，通過(guò)使用目標(biāo)工件的位置和姿勢(shì)識(shí)別三維圖像上的工件的區(qū)域，事先確定在周邊物體和手之間是否發(fā)生干涉。在本示例性實(shí)施例中，基于處于計(jì)算的位置和姿勢(shì)的目標(biāo)工件的三維形狀模型與形成三維數(shù)據(jù)的三維點(diǎn)之間的距離，確定具有小距離的三維點(diǎn)對(duì)應(yīng)于目標(biāo)工件，從而識(shí)別與周邊物體相對(duì)應(yīng)的三維點(diǎn)組。這使得即使在檢測(cè)到被其它單獨(dú)的工件隱藏的單獨(dú)的工件的情況下，也能夠正確地確定在周邊物體和手之間是否發(fā)生干涉，而不會(huì)由于目標(biāo)工件的區(qū)域中的測(cè)量點(diǎn)而發(fā)生錯(cuò)誤檢測(cè)。
[0071]本示例性實(shí)施例中的信息處理裝置的配置和其各個(gè)處理單元的處理，與根據(jù)第一示例性實(shí)施例的圖2所示的信息處理裝置I基本類(lèi)似，因此這里省略其描述。通過(guò)在抓握操作中事先確定是否發(fā)生干涉從工件堆中拾取工件的處理步驟，也與根據(jù)第一示例性實(shí)施例的圖2所示的流程圖基本類(lèi)似，因此這里省略其描述。然而，本示例性實(shí)施例中的步驟S205、S206和S207中的處理與第一示例性實(shí)施例中的處理不同。因此，下面，省略對(duì)其它步驟 S201、S202、S203、S204、S208、S209 和 S210 的描述，而僅描述步驟 S205、S206 和 S207。
[0072]在步驟S205中，目標(biāo)區(qū)域識(shí)別單元14基于在步驟S204中計(jì)算的目標(biāo)工件22的位置和姿勢(shì)，識(shí)別三維形狀數(shù)據(jù)上的排除了目標(biāo)工件22的三維點(diǎn)。參照?qǐng)D5A至5C描述該步驟中的處理。
[0073]圖5A例示了捕獲容器中的工件堆的范圍圖像，以及在步驟S204中檢測(cè)到并且根據(jù)范圍圖像計(jì)算了位置和姿勢(shì)的目標(biāo)工件22。在由距離傳感器2獲得的范圍圖像上，預(yù)期觀察到的沒(méi)有被其它單獨(dú)的工件隱藏的目標(biāo)工件22的表面上的三維點(diǎn)，與基于計(jì)算的位置和姿勢(shì)布置的目標(biāo)工件22的表面的距離足夠小。因此，使用存儲(chǔ)在工作模型存儲(chǔ)單元13中的工件的三維形狀模型以及目標(biāo)工件22的位置和姿勢(shì)，通過(guò)下面的方法要識(shí)別排除了目標(biāo)工件22的三維形狀數(shù)據(jù)。
[0074]首先，計(jì)算三維點(diǎn)ke l(i = I至N)中的各個(gè)與處于計(jì)算的位置和姿勢(shì)的工件的三維模型之間的距離Φ。具體來(lái)說(shuō)，獲得從傳感器坐標(biāo)系的原點(diǎn)到范圍圖像上的與三維點(diǎn)k?！瓜鄬?duì)應(yīng)的像素的視線矢量，并且獲得處于計(jì)算的位置和姿勢(shì)的工件的三維模型與視線矢量在最短距離相交的點(diǎn)。將該交點(diǎn)和三維點(diǎn)k。」之間的距離取作屯，并且與三維點(diǎn)相關(guān)聯(lián)地記錄距離屯。如果沒(méi)有交點(diǎn)，則記錄相對(duì)于假設(shè)的距離值極其大的值作為距離值。例如，如果能夠假設(shè)屯〈10，則在沒(méi)有交點(diǎn)的情況下，記錄Cli = 1000000。圖5B例示了圖5A所示的圖像的截面圖。在圖5B中，虛線指示的直線示出了視線矢量。粗線指示的直線示出了獲得的交點(diǎn)與三維點(diǎn)k?！怪g的距離。接下來(lái)，要參照記錄的距離屯，確定三維點(diǎn)k?！故欠駥?duì)應(yīng)于目標(biāo)工件22。具體來(lái)說(shuō)，確定用于確定小距離值的閾值Θ。如果屯〈=Θ，則確定三維點(diǎn)讓^對(duì)應(yīng)于目標(biāo)工件22。如果Θ彡屯，則確定三維點(diǎn)應(yīng)于目標(biāo)工件22之外的任意物體。通過(guò)使用該處理，因?yàn)榈焦ぜ娜S模型的距離Cli的值小，因此確定圖5B所示的由虛線指示的空心圓是與目標(biāo)工件22相對(duì)應(yīng)的三維點(diǎn)。
[0075]在步驟S206中，基于在步驟S205中得出的工件22的位置和姿勢(shì)，計(jì)算抓握工件22的手的位置和姿勢(shì)。更具體來(lái)說(shuō)，作為教導(dǎo)抓握操作的信息，預(yù)先記錄抓握操作中的工件22和手20之間的相對(duì)位置和姿勢(shì)?；谟涗浀慕虒?dǎo)信息，將表示得出的工件22的位置和姿勢(shì)的坐標(biāo)變換矩陣，乘以表示工件22和手20之間的相對(duì)位置和姿勢(shì)的坐標(biāo)變換矩陣，以獲得手20在傳感器坐標(biāo)系中的坐標(biāo)變換矩陣，并且計(jì)算工件22和手20之間的位置和姿勢(shì)。
[0076]圖5C例示了通過(guò)在該步驟中計(jì)算手20的位置和姿勢(shì)，來(lái)布置抓握?qǐng)D5B所示的目標(biāo)工件22的手20的狀態(tài)。移除了在步驟S205中確定為對(duì)應(yīng)于目標(biāo)工件22的三維點(diǎn)。
[0077]在步驟S207中，確定在步驟S205中識(shí)別的排除了目標(biāo)工件22的三維形狀數(shù)據(jù)，與處于在步驟S206中得出的位置和姿勢(shì)的手20之間是否發(fā)生干涉?？梢允褂门c根據(jù)第一示例性實(shí)施例的方法類(lèi)似的方法，來(lái)進(jìn)行干涉確定。在圖5C中，用黑色點(diǎn)指示排除了目標(biāo)工件22的三維點(diǎn)中的確定與手20發(fā)生干涉的三維點(diǎn)。
[0078]在第二示例性實(shí)施例中，描述了如下方法:當(dāng)要抓握檢測(cè)到的工件時(shí)，通過(guò)使用要抓握的工件的位置和姿勢(shì)，來(lái)識(shí)別三維圖像上的工件的區(qū)域，事先確定在手和周邊物體之間是否發(fā)生干涉。更具體來(lái)說(shuō)，基于處于計(jì)算的位置和姿勢(shì)的目標(biāo)工件的三維形狀模型與形成三維數(shù)據(jù)的各個(gè)三維點(diǎn)之間的距離，確定具有小距離的三維點(diǎn)對(duì)應(yīng)于目標(biāo)工件，從而識(shí)別出與周邊物體相對(duì)應(yīng)的三維點(diǎn)組。這使得即使在檢測(cè)到被其它單獨(dú)的工件隱藏的單獨(dú)的工件時(shí)，也能夠正確地進(jìn)行在周邊物體和手之間是否發(fā)生干涉，而不會(huì)由于目標(biāo)工件的區(qū)域中的測(cè)量點(diǎn)而發(fā)生錯(cuò)誤檢測(cè)。這種方法主要在工件檢測(cè)方法具有在檢測(cè)部分被其它單獨(dú)的工件隱藏的單獨(dú)的工件的特征時(shí)有效。
[0079]在本示例性實(shí)施例中，獲得走向范圍圖像上的與各個(gè)三維點(diǎn)相對(duì)應(yīng)的像素的視線矢量和三維形狀模型的相交，來(lái)計(jì)算到三維點(diǎn)的距離。然而，對(duì)于計(jì)算工件的三維形狀模型和各個(gè)三維點(diǎn)之間的距離的方法，可以使用另一種方法。例如，獲得到處于計(jì)算的位置和姿勢(shì)的工件的三維形狀模型的表面的最短距離，并且可以代而使用該值。
[0080]下面將描述第三示例性實(shí)施例。
[0081]可以用硬件構(gòu)成圖2所示的信息處理裝置I的各單元。此外，可以用存儲(chǔ)器構(gòu)成工作模型存儲(chǔ)單元13，并且可以用計(jì)算機(jī)程序構(gòu)成其它單元。
[0082]在這種情況下，可以將普通個(gè)人計(jì)算機(jī)(PC)應(yīng)用于信息處理裝置I。例如，工作模型存儲(chǔ)單元13包含在硬盤(pán)中，并且將用于使CPU執(zhí)行排除了工作模型存儲(chǔ)單元13的各單元的功能的計(jì)算機(jī)程序存儲(chǔ)在硬盤(pán)中。PC的CPU將存儲(chǔ)在硬盤(pán)中的計(jì)算機(jī)程序或數(shù)據(jù)加載到RAM中，并且使用加載的計(jì)算機(jī)程序或數(shù)據(jù)執(zhí)行處理。由此，PC用作信息處理裝置I?？梢愿鶕?jù)需要組合使用上述示例性實(shí)施例和變型例。
[0083]本發(fā)明的實(shí)施例還能夠由讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))上的計(jì)算機(jī)可執(zhí)行指令，以執(zhí)行本發(fā)明的上述實(shí)施例中的一個(gè)或更多個(gè)的功能的系統(tǒng)或裝置的計(jì)算機(jī)，以及通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)執(zhí)行的方法，通過(guò)例如從存儲(chǔ)介質(zhì)中讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令，以執(zhí)行上述實(shí)施例中的一個(gè)或更多個(gè)的功能來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可以包括中央處理單元(CPU)、微處理單元(MPU)或其它電路中的一個(gè)或更多個(gè)，并且可以包括單獨(dú)的計(jì)算機(jī)或單獨(dú)的計(jì)算機(jī)處理器的網(wǎng)絡(luò)。例如可以從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)向計(jì)算機(jī)提供計(jì)算機(jī)可執(zhí)行指令。存儲(chǔ)介質(zhì)例如可以包括硬盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)設(shè)備、光盤(pán)(例如壓縮盤(pán)(⑶)、數(shù)字通用盤(pán)(DVD)或藍(lán)光盤(pán)(BD)?)、閃存設(shè)備、存儲(chǔ)卡等中的一個(gè)或更多個(gè)。
[0084]雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了說(shuō)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開(kāi)的示例性實(shí)施例。所附權(quán)利要求的范圍符合最寬的解釋?zhuān)允蛊浜w所有這種變型、等同結(jié)構(gòu)及功能。
【權(quán)利要求】
1.一種信息處理裝置，其包括: 獲得單元，被配置為獲得包括多個(gè)物體的空間的范圍圖像； 識(shí)別單元，被配置為從所獲得的范圍圖像中，識(shí)別所述多個(gè)物體中的要抓握的目標(biāo)物體的區(qū)域； 干涉確定單元，被配置為確定在包含在所述范圍圖像中的區(qū)域與被配置為抓握所述目標(biāo)物體的抓握單元之間是否發(fā)生干涉；以及 輸出單元，被配置為基于由所述干涉確定單元進(jìn)行的干涉確定的結(jié)果，輸出關(guān)于在排除了所述目標(biāo)物體的區(qū)域的區(qū)域與所述抓握單元之間是否發(fā)生干涉的確定的結(jié)果。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述干涉確定單元確定，在所述范圍圖像中的至少在排除了識(shí)別出的所述目標(biāo)物體的區(qū)域之外的區(qū)域中，在所述抓握單元與所述目標(biāo)物體的周邊之間是否發(fā)生干涉。
3.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述識(shí)別單元基于顏色信息，識(shí)別所述目標(biāo)物體的區(qū)域。
4.根據(jù)權(quán)利要求1所述的信息處理裝置，所述信息處理裝置還包括:存儲(chǔ)單元，被配置為存儲(chǔ)所述物體的三維模型信息， 其中，所述識(shí)別單元基于所存儲(chǔ)的三維模型信息，識(shí)別所述目標(biāo)物體的區(qū)域。
5.根據(jù)權(quán)利要求4所述的信息處理裝置，其中，所述識(shí)別單元通過(guò)基于所存儲(chǔ)的三維模型信息得出所述目標(biāo)物體的位置和姿勢(shì)，來(lái)識(shí)別所述目標(biāo)物體的區(qū)域。
6.根據(jù)權(quán)利要求4所述的信息處理裝置，其中，所述干涉確定單元以如下方式進(jìn)行所述干涉確定: 基于所識(shí)別的所述目標(biāo)物體的區(qū)域，將所述三維模型信息投影到通過(guò)虛擬照相機(jī)觀察到的圖像平面上，然后排除所觀察到的圖像平面上的投影有所述三維模型信息的區(qū)域的數(shù)據(jù)。
7.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述干涉確定單元以如下方式進(jìn)行所述干涉確定: 獲得所述范圍圖像上的多個(gè)三維點(diǎn)與包含在所識(shí)別的區(qū)域中的多個(gè)三維點(diǎn)之間的距離，并且排除所獲得的距離小于預(yù)定值的多個(gè)三維點(diǎn)中的任意三維點(diǎn)。
8.根據(jù)權(quán)利要求1所述的信息處理裝置，所述信息處理裝置還包括: 控制單元，被配置為進(jìn)行控制以使所述抓握單元抓握被所述干涉確定單元確定為不引起干涉的目標(biāo)物體。
9.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述獲得單元基于捕獲投影在包括所述多個(gè)物體的所述空間中的圖案的圖像，獲得所述范圍圖像。
10.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述三維模型信息是計(jì)算機(jī)輔助設(shè)計(jì)模型。
11.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述干涉確定單元將表示被配置為抓握所述目標(biāo)物體的所述抓握單元的模型，按所述抓握單元抓握所述目標(biāo)物體的位置和姿勢(shì)布置在虛擬空間中，以在所述虛擬空間內(nèi)確定在包含在所述范圍圖像中的區(qū)域與由所布置的表示所述抓握單元的模型占據(jù)的區(qū)域之間是否發(fā)生干涉，并且 其中，所述輸出單元基于由所述干涉確定單元進(jìn)行的所述干涉確定的結(jié)果，輸出關(guān)于在排除了所述目標(biāo)物體的區(qū)域的區(qū)域與由表示所述抓握單元的所述模型所占據(jù)的區(qū)域之間是否發(fā)生干涉的確定的結(jié)果。
12.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，在所述干涉確定單元確定在所述抓握單元與所述目標(biāo)物體的區(qū)域之間發(fā)生干涉的情況下，所述輸出單元輸出指示不發(fā)生干涉的結(jié)果；而在所述干涉確定單元確定在所述抓握單元與排除了所述目標(biāo)物體的區(qū)域的區(qū)域之間發(fā)生干涉的情況下，所述輸出單元輸出指示發(fā)生干涉的結(jié)果。
13.—種信息處理方法,其包括: 獲得包括多個(gè)物體的空間的范圍圖像； 從所獲得的范圍圖像中，識(shí)別所述多個(gè)物體中的要抓握的目標(biāo)物體的區(qū)域； 確定在包含在所述范圍圖像中的區(qū)域與被配置為抓握所述目標(biāo)物體的抓握單元之間是否發(fā)生干涉；以及 基于所述確定的結(jié)果，輸出關(guān)于在排除了所述目標(biāo)物體的區(qū)域的區(qū)域與所述抓握單元之間是否發(fā)生干涉的確定的結(jié)果。
14.一種系統(tǒng),其包括: 根據(jù)權(quán)利要求1所述的信息處理裝置；以及 抓握單元，被配置為抓握被所述信息處理裝置確定為不會(huì)引起干涉的目標(biāo)物體。
【文檔編號(hào)】B25J13/08GK104249371SQ201410302279
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2014年6月27日 優(yōu)先權(quán)日:2013年6月28日
【發(fā)明者】渡邊大輔, 內(nèi)山晉二 申請(qǐng)人:佳能株式會(huì)社