本發(fā)明涉及通過三維計測器來計測對象物品，使用計測數(shù)據(jù)來生成對象物品的三維模型的模型生成裝置。并且，本發(fā)明還涉及根據(jù)對象物品的三維模型與計測數(shù)據(jù)來計算對象物品的位置姿態(tài)的位置姿態(tài)計算裝置。并且，本發(fā)明還涉及根據(jù)對象物品的三維模型與計測數(shù)據(jù)來計算對象物品的位置姿態(tài)，機(jī)器人根據(jù)計算出的物品的位置姿態(tài)來搬運(yùn)對象物品的搬運(yùn)機(jī)器人裝置(Handlingrobot)。

背景技術(shù)：

在對照由三維計測器計測出的計測數(shù)據(jù)與三維模型來計算出對象物品(以下，有時簡稱為“物品”)的位置姿態(tài)的裝置中，需要事先制作出對象物品等的三維模型。并且，主要通過以下兩種方法來制作三維模型。

在第一方法中，使用對象物品的CAD數(shù)據(jù)。日本特開2010-079453號公報公開了從CAD數(shù)據(jù)來生成位置姿態(tài)估計用的三維模型的技術(shù)。在專利文獻(xiàn)1中，從CAD數(shù)據(jù)中生成在對該對象物品進(jìn)行了三維計測時能夠取得和能夠期待的計測數(shù)據(jù)，根據(jù)生成的計測數(shù)據(jù)生成位置姿態(tài)估計用的三維模型。

在第二方法中，實(shí)際上通過三維計測器來計測對象物品來三維模型。但是，一般的三維計測器只在上方對露出的物品的表面進(jìn)行計測。因此，為了計算出各種各樣的物品位置姿態(tài)，需要預(yù)先從各種各樣的視點(diǎn)來計測物品。在日本特開2010-113398號公報中，一邊使物品的姿態(tài)一點(diǎn)一點(diǎn)地變化一邊重復(fù)進(jìn)行三維計測與位置姿態(tài)的計算，根據(jù)計算出的位置姿態(tài)整合各計測數(shù)據(jù)從而生成物品的三維模型。

但是，所述的現(xiàn)有方法存在以下那樣的問題。

在日本特開2010-079453號公報的方法中，需要預(yù)先準(zhǔn)備CAD數(shù)據(jù)。由于未必能夠使用對象物品的CAD數(shù)據(jù)，因此在這樣的情況下無法制作三維模型。此外，不能保證如期待那樣針對所有的物品表面進(jìn)行三維計測。利用了光學(xué)系統(tǒng)的三維計測器針對特定的表面特性、例如在物品表面局部存在的黑色區(qū)域進(jìn)行三維計測是困難的。但是，在從CAD數(shù)據(jù)生成了三維模型的情況下，不能考慮那樣的表面特性。就算將那樣的表面特性模型化也會產(chǎn)生模型化誤差，在生成的三維模型與實(shí)際的計測數(shù)據(jù)之間可能產(chǎn)生背離。

日本特開2010-113398號公報的方法需要每次使物品的姿態(tài)一點(diǎn)一點(diǎn)變化來重復(fù)進(jìn)行三維計測與位置姿態(tài)的計算。例如，在一邊使凸輪軸那樣的旋轉(zhuǎn)體每次繞軸旋轉(zhuǎn)20度一邊進(jìn)行計測的情況下，合計需要進(jìn)行18次計測。并且，在制作不僅繞軸而且能夠計算出所有的物品位置姿態(tài)那樣的三維模型時，計測次數(shù)非常巨大，制作三維模型的工時也與此成比例地增大。因此，制作三維模型需要大量的時間。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是鑒于上述情況而完成的，其目的在于提供一種能夠使用三維計測器通過一次或者較少次數(shù)的計測就能簡單地生成不存在CAD數(shù)據(jù)的對象物品的三維模型的模型生成裝置、包含這樣的模型生成裝置的位置姿態(tài)計算裝置以及搬運(yùn)機(jī)器人裝置。

為了達(dá)成上述的目的，根據(jù)第一發(fā)明，提供一種生成物品的三維模型的模型生成裝置，其特征在于，所述模型生成裝置具有：三維計測器，其對分別以任意姿態(tài)配置于三維空間上的多個物品進(jìn)行三維計測，取得計測數(shù)據(jù)；模型計測數(shù)據(jù)提取部，其將由該三維計測器計測出的所述多個物品的計測數(shù)據(jù)視為從多個假想的計測位置計測一個物品而得的模型計測數(shù)據(jù)的集合，分別針對所述多個假想的計測位置提取出對應(yīng)的模型計測數(shù)據(jù)；以及模型計測數(shù)據(jù)整合部，其通過對該模型計測數(shù)據(jù)提取部所提取出的模型計測數(shù)據(jù)進(jìn)行整合來生成所述物品的三維模型。

根據(jù)第二發(fā)明，在第一發(fā)明中，所述模型計測數(shù)據(jù)提取部具有：掃描部，其將所述計測數(shù)據(jù)輸出至示教畫面；區(qū)域設(shè)定部，其在被輸出了所述計測數(shù)據(jù)的所述示教畫面上設(shè)定從多個物品選擇出的一個物品的區(qū)域；臨時模型生成部，其以存在于該區(qū)域設(shè)定部所設(shè)定的所述區(qū)域內(nèi)的計測數(shù)據(jù)為基礎(chǔ)，生成臨時模型；以及檢測部，其使用所述臨時模型來檢測所述多個物品的余下的物品的位置姿態(tài)，所述模型計測數(shù)據(jù)提取部以由所述檢測部檢測出的所述余下的物品的位置姿態(tài)為基礎(chǔ)提取出模型計測數(shù)據(jù)，所述模型計測數(shù)據(jù)整合部通過將所述模型計測數(shù)據(jù)整合到所述臨時模型來生成三維模型。

根據(jù)第三發(fā)明，在第二發(fā)明中，所述檢測部從姿態(tài)接近所述臨時模型的初始姿態(tài)的物品依次進(jìn)行檢測，所述模型計測數(shù)據(jù)提取部根據(jù)所述檢測部的檢測結(jié)果，按照接近所述臨時模型的初始姿態(tài)由近到遠(yuǎn)的順序來提取模型計測數(shù)據(jù)，所述模型計測數(shù)據(jù)整合部每當(dāng)所述模型計測數(shù)據(jù)被提取出來時，逐次地將模型計測數(shù)據(jù)整合到所述臨時模型。

根據(jù)第四發(fā)明，在第二或者第三發(fā)明中，所述模型計測數(shù)據(jù)提取部具有：檢測成敗指示部，其用于供操作員指示所述檢測部的檢測結(jié)果的成敗。

根據(jù)第五發(fā)明，在第二至第四中的任一發(fā)明中，所述模型計測數(shù)據(jù)提取部以在所述檢測部檢測出的物品的位置姿態(tài)的附近存在的所述計測數(shù)據(jù)為基礎(chǔ)，提取出所述模型計測數(shù)據(jù)。

根據(jù)第六發(fā)明，在第二至第五中的任一發(fā)明中，所述模型計測數(shù)據(jù)整合部具有：不正確模型計測數(shù)據(jù)除去部，即使在所述模型計測數(shù)據(jù)提取部將錯誤的計測數(shù)據(jù)作為模型計測數(shù)據(jù)而不正確地提取出來并且所述模型計測數(shù)據(jù)整合部將不正確地提取出的不正確模型計測數(shù)據(jù)整合到了所述臨時模型時，所述不正確模型計測數(shù)據(jù)除去部也能以所述計測數(shù)據(jù)與所述臨時模型的整合性為基礎(chǔ)，從所述臨時模型中提取出所述不正確模型計測數(shù)據(jù)而將其除去。

根據(jù)第七發(fā)明，在第二至第六中的任一發(fā)明中，所述模型計測數(shù)據(jù)整合部在將所述模型計測數(shù)據(jù)整合到所述臨時模型時，當(dāng)在所述模型計測數(shù)據(jù)與所述臨時模型之間存在重復(fù)部分時，在從所述模型計測數(shù)據(jù)除去了該重復(fù)部分之后，將所述模型計測數(shù)據(jù)整合到所述臨時模型。

根據(jù)第八發(fā)明，在第二至第六中的任一發(fā)明中，所述模型計測數(shù)據(jù)整合部在將所述模型計測數(shù)據(jù)整合到所述臨時模型時，當(dāng)在所述模型計測數(shù)據(jù)與所述臨時模型之間存在重復(fù)部分時，以所述模型計測數(shù)據(jù)的該重復(fù)部分為基礎(chǔ)更新臨時模型的該重復(fù)部分。

根據(jù)第九發(fā)明，在第一至第八中的任一發(fā)明中，所述模型計測數(shù)據(jù)整合部進(jìn)行將根據(jù)所述檢測部所檢測出的物品的位置姿態(tài)計算出的所述假想的計測位置以及模型計測數(shù)據(jù)中的至少一方作為參數(shù)的最佳化，進(jìn)行要生成的模型的高精度化。

根據(jù)第十發(fā)明，在第一至第九中的任一發(fā)明中，所述三維計測器在對配置于三維空間上的多個物品進(jìn)行了三維計測之后，變更物品的載置狀態(tài)，重復(fù)一次以上地進(jìn)行所述多個物品的新三維計測，所述模型計測數(shù)據(jù)提取部和所述模型計測數(shù)據(jù)整合部以通過多次的三維計測而獲得的多個計測數(shù)據(jù)為基礎(chǔ)生成所述物品的三維模型。

根據(jù)第十一發(fā)明，提供一種位置姿態(tài)計算裝置，其特征在于，具有：第一至第十中的任一模型生成裝置；以及位置姿態(tài)計算部，其根據(jù)所述模型生成裝置所生成的三維模型與通過所述三維計測器獲得的計測數(shù)據(jù)之間的對應(yīng)關(guān)系，計算出所述物品的位置姿態(tài)。

根據(jù)第十二發(fā)明，提供一種搬運(yùn)機(jī)器人裝置，其特征在于，具有：能夠搬運(yùn)物品的機(jī)器人；第一至第十中的任一模型生成裝置；以及位置姿態(tài)計算部，其根據(jù)所述模型生成裝置所生成的三維模型與通過所述三維計測器獲得的計測數(shù)據(jù)之間的對應(yīng)關(guān)系，計算出所述物品的位置姿態(tài)，所述機(jī)器人根據(jù)所述位置姿態(tài)計算部計算出的所述物品的位置姿態(tài)來搬運(yùn)所述物品。

從附圖所示的本發(fā)明典型的實(shí)施方式的詳細(xì)說明中，可以進(jìn)一步明確本發(fā)明的這些目的、特征以及優(yōu)點(diǎn)和其他的目的、特征以及優(yōu)點(diǎn)。

附圖說明

圖1是基于本發(fā)明的搬運(yùn)機(jī)器人裝置的概要圖。

圖2是包含基于本發(fā)明的模型生成裝置的三維識別裝置的功能框圖。

圖3是用于說明計測數(shù)據(jù)的圖。

圖4是用于說明假想的計測位置的圖。

圖5是表示搬運(yùn)機(jī)器人裝置的動作的流程圖。

圖6A是用于說明臨時模型的第一圖。

圖6B是用于說明臨時模型的第二圖。

圖6C是用于說明臨時模型的第三圖。

圖6D是用于說明臨時模型的第四圖。

圖7是用于說明除去錯誤的模型計測數(shù)據(jù)的圖。

具體實(shí)施方式

以下，參照附圖對本發(fā)明的實(shí)施方式進(jìn)行說明。在以下的附圖中對相同的部件標(biāo)注相同的參照符號。為了容易理解，這些附圖可以適當(dāng)變更比例尺。

圖1是基于本發(fā)明的搬運(yùn)機(jī)器人裝置的概要圖。如圖1所示，搬運(yùn)機(jī)器人裝置A00主要包含：機(jī)器人A01、控制機(jī)器人A01的機(jī)器人控制裝置A02、安裝于機(jī)器人A01的手臂末端的手A03、三維計測器A04、以及三維識別裝置A05。

如圖1所示，三維計測器A04固定于架臺A07的末端。然后，在三維計測器A04的計測范圍內(nèi)載置有多個相同種類或者相同形狀的物品A06?；蛘撸鄠€物品A06也可以以任意的姿態(tài)分別配置于三維空間上。三維計測器A04計測所載置的物品A06的表面，將多個三維點(diǎn)的位置信息取得為計測數(shù)據(jù)。

此外，手A03是從多個物品A06中把持和釋放一個物品的裝置，由機(jī)器人控制裝置A02控制。另外，三維計測器A04也可以安裝于機(jī)器人A01的末端部。

三維計測器A04能夠利用非接觸地計測物品A06的各種方式。這樣的方式例如列舉出：基于兩個照相機(jī)的立體方式、掃描激光狹縫光的方式、掃描激光點(diǎn)光的方式、使用投影儀等裝置將圖形光投影到物品的方式、利用在光從投光器射出之后在物品表面反射而射入到受光器之前的飛行時間的方式等方式。

從圖1可以明確，三維計測器A04以及三維識別裝置A05通過通信電纜等通信部能夠相互通信地連接。同樣地，三維識別裝置A05與機(jī)器人控制裝置A02通過通信電纜等通信部能夠相互通信地連接。另外，可以設(shè)為機(jī)器人控制裝置A02具有作為三維識別裝置A05的功能，也可以設(shè)為機(jī)器人控制裝置A02進(jìn)行后述的三維模型B40的生成和物品的位置姿態(tài)B50的計算。

圖2是包含基于本發(fā)明的模型生成裝置的三維識別裝置的功能框圖。確切來說，在圖2中虛線所示的部分B00相當(dāng)于本發(fā)明的模型生成裝置。圖2所示的模型生成部B10包含：模型計測數(shù)據(jù)提取部B11，其將由三維計測器A04計測出的多個物品的計測數(shù)據(jù)視為從多個假想的計測位置計測一個物品而得的模型計測數(shù)據(jù)的集合，分別針對多個假想的計測位置提取出對應(yīng)的模型計測數(shù)據(jù)；以及模型計測數(shù)據(jù)整合部B12，其通過對模型計測數(shù)據(jù)提取部B11所提取出的模型計測數(shù)據(jù)進(jìn)行整合生來成物品的三維模型。

并且，如圖2所示，模型計測數(shù)據(jù)提取部B11包含：掃描部C11，其將計測數(shù)據(jù)輸出至示教畫面C17；區(qū)域設(shè)定部C12，其在輸出了計測數(shù)據(jù)的示教畫面上設(shè)定從多個物品選擇出的一個物品的區(qū)域；臨時模型生成部C13，其以存在于區(qū)域設(shè)定部C12所設(shè)定的區(qū)域內(nèi)的計測數(shù)據(jù)為基礎(chǔ)，生成臨時模型；以及檢測部C14，其使用臨時模型來檢測多個物品的余下的物品的位置姿態(tài)。此外，模型計測數(shù)據(jù)提取部B11還具有用于供操作員指示檢測部C14的檢測結(jié)果的成敗的檢測成敗指示部C15。

并且，模型計測數(shù)據(jù)整合部B12包含：不正確模型計測數(shù)據(jù)除去部C16，即使在模型計測數(shù)據(jù)提取部B11將錯誤的計測數(shù)據(jù)作為模型計測數(shù)據(jù)而不正確地提取出來并且將不正確地提取出的不正確模型計測數(shù)據(jù)整合到了臨時模型時，不正確模型計測數(shù)據(jù)除去部C16也能以計測數(shù)據(jù)與臨時模型的整合性為基礎(chǔ)，從臨時模型提取出不正確模型計測數(shù)據(jù)而將其除去。

從圖2可以明確，通過三維計測器A04而取得多個物品A06的計測數(shù)據(jù)B30。這里，圖3是用于說明計測數(shù)據(jù)的圖。在圖3中示出了多個物品A06a～A06h。在圖3所示的示例中，這些物品A06a～A06h包含：軸部、安裝于軸部的一端的呈橢圓形的法蘭部、安裝于法蘭部圓周面附近且從法蘭部向與軸部相反方向延伸的突起部。

為了易于理解，圖3中的物品A06a～A06h配置成：各自的軸部朝向大致相同方向，并且法蘭部處于繞軸部的不同的旋轉(zhuǎn)位置。當(dāng)然，實(shí)際上這些多個物品A06a～A06h也可以零散堆積而具有彼此不同的位置姿態(tài)。此外，物品A06也可以是其他形狀。

然后，分別在各自的物品A06的表面示出了多個黑色圓圈。圖3所示的黑色圓圈分別是計測數(shù)據(jù)B30，該計測數(shù)據(jù)B30表示由三維計測器A04計測出的物品A06的表面處的三維點(diǎn)的位置信息。圖2所示的模型生成部B10如后述那樣使用計測數(shù)據(jù)B30來生成物品的三維模型B40。

從圖3可以明確，針對一個物品、例如物品A06a的朝向上方的面取得計測數(shù)據(jù)B30。針對其他姿態(tài)的物品、例如也是物品A06b的朝向上方的面取得計測數(shù)據(jù)B30，但是其中包含在物品A06a中成為死角的面的信息。因此，可以視為在同時計測多個物品A06a～A06h而取得的計測數(shù)據(jù)B30中包含從各種各樣的假想的計測位置計測一個物品而取得的信息。

這里，對于假想的計測位置使用圖4來進(jìn)行稍微詳細(xì)的說明。在圖4中示出了假想的計測位置C06a～C06h。這些假想的計測位置C06a～C06h根據(jù)圖3所示的物品A06a～A06h與計測位置的相對位置關(guān)系，分別對應(yīng)于將作為基準(zhǔn)的坐標(biāo)系設(shè)置于一個物品A06上時計算出的假想的計測位置。

在本發(fā)明中，圖3所示的物品A06a～A06h的計測數(shù)據(jù)B30被視為從圖4所示的多個假想的計測位置C06a～C06h計測一個物品A06時獲得的計測數(shù)據(jù)(以后，設(shè)為模型計測數(shù)據(jù)B13)的集合。

再次參照圖2，模型計測數(shù)據(jù)提取部B11像后述那樣從計測數(shù)據(jù)B30提取出從一個假想的計測位置C06計測出的模型計測數(shù)據(jù)B13。并且，模型計測數(shù)據(jù)整合部B12根據(jù)多個假想的計測位置來整合模型計測數(shù)據(jù)B13，由此，生成物品的三維模型B40。

圖5是表示搬運(yùn)機(jī)器人裝置的動作的流程圖。以下，參照圖5對通過圖1所示的搬運(yùn)機(jī)器人裝置A00執(zhí)行的處理進(jìn)行說明。在啟動搬運(yùn)機(jī)器人裝置A00時，像圖5的左方所示那樣，使用三維計測器A04進(jìn)行三維模型B40的生成。

在圖5的步驟S101中，如上所述地在三維計測器A04的計測范圍內(nèi)零散堆積了多個物品A06。此時，優(yōu)選的是，多個物品A06為各種各樣的姿態(tài)。該情況下，由于能夠判斷為與從各種各樣的計測位置計測一個物品A06一樣，因此能夠?qū)崿F(xiàn)可信度高的三維模型的生成。在零散堆積了多個物品A06之后，向步驟S102前進(jìn)。

在步驟S102中，通過三維計測器A04來計測載置的多個物品A06的表面。通過三維計測器A04取得的計測數(shù)據(jù)B30(想要參照圖3)保持于三維識別裝置A05內(nèi)。若計測數(shù)據(jù)B30的取得結(jié)束，則向步驟S103前進(jìn)。

在步驟S103中，掃描部C11將計測數(shù)據(jù)B30輸出至示教畫面C17。該情況下，如圖3所示，優(yōu)選的是，在三維計測器A04或者其他拍攝部拍攝到的多個物品A06a～A06h的圖像中重復(fù)顯示計測數(shù)據(jù)B30。

然后，操作員使用區(qū)域設(shè)定部C12從多個A06a～A06h設(shè)定圍繞一個物品的區(qū)域。在圖3中示出了圍繞由區(qū)域設(shè)定部C12設(shè)定的物品A06a的區(qū)域。

然后，臨時模型生成部C13根據(jù)設(shè)定的物品A06a的區(qū)域內(nèi)的計測數(shù)據(jù)B30生成臨時模型D01。在圖6A中，設(shè)定為通過從對應(yīng)于物品A06a的假想的計測位置C06a計測出的模型計測數(shù)據(jù)B13生成臨時模型D01。另外，圖6A～圖6D所示的黑色圓圈是模型計測數(shù)據(jù)B13，圖6A～圖6D各自的黑色圓圈的集合是臨時模型D01。

這里，不管示教臨時模型D01的方法。例如，可以對將三維點(diǎn)投影到照相機(jī)圖像上而得的點(diǎn)進(jìn)行描繪，通過區(qū)域指定和掩飾示教等示教有效的三維點(diǎn)。若臨時模型D01的示教結(jié)束，則向步驟S104前進(jìn)。

在步驟S104中，檢測部C14對照臨時模型D01和步驟S103未使用的計測數(shù)據(jù)B30，對余下的物品A06，特別是余下的物品的位置姿態(tài)進(jìn)行檢測。例如，如圖6B所示，檢測部C14對接近假想的計測位置C06a的假想的計測位置、例如對應(yīng)于計測位置C06b、C06h的物品的位置姿態(tài)依次進(jìn)行檢測。

然后，在步驟S105中，當(dāng)檢測部C14檢測成功時向步驟S106前進(jìn)。在步驟S106中，以檢測結(jié)果為基礎(chǔ)，提取出從對應(yīng)于檢測結(jié)果的假想的計測位置C06計測出的模型計測數(shù)據(jù)B13。具體來說，首先，根據(jù)通過檢測而計算出的物品的位置姿態(tài)對此時的臨時模型D01進(jìn)行坐標(biāo)變更。

當(dāng)存在接近坐標(biāo)變換而得的臨時模型D01的某一個三維點(diǎn)的計測數(shù)據(jù)B30內(nèi)的三維點(diǎn)時，將該三維點(diǎn)作為新的模型計測數(shù)據(jù)B13進(jìn)行提取。具體來說，計算出臨時模型D01內(nèi)的各三維點(diǎn)與計測數(shù)據(jù)B30內(nèi)的各三維點(diǎn)之間的距離。然后，在計算出的距離比預(yù)定的閾值小時，將該計測數(shù)據(jù)B30內(nèi)的三維點(diǎn)作為模型計測數(shù)據(jù)進(jìn)行提取。

然而，步驟S104的檢測存在誤檢測，在使用該檢測結(jié)果生成三維模型時，錯誤地生成最終的三維模型。因此，操作員確認(rèn)檢測結(jié)果正確，對于不正確的結(jié)果來說，設(shè)定為不由檢測成敗指示部C15使用。然后，優(yōu)選的是，只使用保證正確的檢測結(jié)果，進(jìn)行步驟S106、S107的處理。由此，由于能夠排除錯誤的檢測結(jié)果，因此能夠防止對三維模型追加錯誤的模型計測數(shù)據(jù)B13。另外，模型計測數(shù)據(jù)B13的提取結(jié)束之后，向步驟S107前進(jìn)。

在步驟S107中，將提取出的模型計測數(shù)據(jù)B13整合到臨時模型D01。關(guān)于這點(diǎn)，在新提取出的模型計測數(shù)據(jù)B13與臨時模型D01中有重復(fù)部分。因此，若每一次都將新提取出的模型計測數(shù)據(jù)B13全部進(jìn)行整合，則最終的三維模型數(shù)據(jù)冗余且非常繁重。

因此，優(yōu)選的是，在生成三維模型時，整合成不會產(chǎn)生信息的過不足。為了達(dá)成上述目的，存在以下兩個方法。

在第一方法中，設(shè)定為當(dāng)在新提取出的模型計測數(shù)據(jù)B13的三維點(diǎn)附近已經(jīng)存在臨時模型D01的三維點(diǎn)時，從新提取出的模型計測數(shù)據(jù)B13中除去該三維點(diǎn)而不整合到臨時模型。

在第二方法中，設(shè)定為當(dāng)在新提取出的模型計測數(shù)據(jù)B13的三維點(diǎn)附近已經(jīng)存在臨時模型D01的三維點(diǎn)時，從新提取出的模型計測數(shù)據(jù)B13的三維點(diǎn)以及臨時模型D01的三維點(diǎn)計算出一個新的三維點(diǎn)。例如，新的三維點(diǎn)可以是新提取出的模型計測數(shù)據(jù)B13的三維點(diǎn)以及臨時模型D01的三維點(diǎn)的重心。該情況下，可以生成緩和了計測誤差的模型。

圖7是用于說明除去錯誤的模型計測數(shù)據(jù)的圖。在圖7中，三個三維點(diǎn)B30a～B30c相對于一個物品作為計測數(shù)據(jù)B30而被取得。然后，可以期待的是：當(dāng)三個三維點(diǎn)B30a～B30c通過一般的三角形面元生成方法構(gòu)成三角形面元(triangular patch)時，在由三維計測器A04與三維點(diǎn)B30a～B30c的四個點(diǎn)形成的四角錐內(nèi)不存在任何物體。因此，當(dāng)模型計測數(shù)據(jù)B13a存在于該四角錐內(nèi)時，該模型計測數(shù)據(jù)B13a作為不正確的模型計測數(shù)據(jù)B13而通過不正確模型計測數(shù)據(jù)除去部C16除去。

因此，即使在錯誤的三維點(diǎn)作為模型計測數(shù)據(jù)B13而被提取的情況下，通過確認(rèn)與計測數(shù)據(jù)B30的整合性，能夠除去錯誤的模型計測數(shù)據(jù)B13。因此，在本發(fā)明中，能夠生成正確的三維模型。

另外，預(yù)先在照相機(jī)圖像或像素顯示的示教畫面上示教不存在模型計測數(shù)據(jù)的區(qū)域這樣的方法也是有效的。在模型計測數(shù)據(jù)的整合結(jié)束之后，返回到步驟S104。然后，使用更新而得的臨時模型D01重復(fù)步驟S104～S107的處理。

這里，不能夠使用初始的臨時模型D01來對從遠(yuǎn)離初始登記了圖6A所示的臨時模型D01的假想的計測位置C06a的計測位置、例如從圖4所示的假想的計測位置C06e計測的模型計測數(shù)據(jù)進(jìn)行檢測，或者該檢測精度低下。

因此，如圖6B所示，對從接近假想的計測位置C06a的假想的計測位置、例如從計測位置C06b、C06h計測的物品依次進(jìn)行檢測。通過重復(fù)這樣的操作，從圖6B到圖6C可以明確，臨時模型D01逐漸擴(kuò)展。然后，如圖6D所示，最終對從假想的計測位置C06e計測出的物品進(jìn)行檢測，通過步驟S107對該模型計測數(shù)據(jù)進(jìn)行整合。由此，能夠制作出反映了全部假想的計測位置C06a～C06h的模型計測數(shù)據(jù)B13的臨時模型D01。

換言之，在本發(fā)明中，高精度且穩(wěn)定地從能夠檢測的物品依次進(jìn)行檢測來擴(kuò)展臨時模型D01。由此，即使針對在初始的臨時模型中完全不存在模型計測數(shù)據(jù)B13的物品的面，最終也能夠進(jìn)行模型計測數(shù)據(jù)B13的提取以及整合。

然后，當(dāng)在步驟S105中檢測失敗時，由于不存在剩余的物品A06，因此向步驟S108前進(jìn)。在步驟S108中，進(jìn)行整合結(jié)束的臨時模型D01的最佳化，生成三維模型B40。

在目前所說明的處理中，用于三維模型的生成的估計參數(shù)是假想的計測位置C06(也包含姿態(tài)信息)以及屬于臨時模型D01的各三維點(diǎn)的位置。在步驟S108中，將這些全部參數(shù)作為估計對象，求出匹配誤差的總計(最小平方誤差)為最小的解，由此，能夠生成更高精度的三維模型。

例如，可以應(yīng)用一般作為集束調(diào)整(bundle adjustment)而被知曉的最佳化方法。在集束調(diào)整中通過數(shù)值解析來進(jìn)行非線性最佳化，但是此時的初始值使用事前的檢查所掌握的假想的計測位置C06以及屬于臨時模型D01的三維點(diǎn)即可。這樣，在對模型計測數(shù)據(jù)B13的臨時模型D01的整合處理結(jié)束之后，進(jìn)行假想的計測位置以及屬于臨時模型D01的各三維點(diǎn)的位置的最佳化處理，由此能夠生更高精度的三維模型B40。

這樣，在本發(fā)明中，即使對于不存在CAD數(shù)據(jù)的物品A06，也能夠生成用于物品的位置姿態(tài)計算等的三維模型。在本發(fā)明中，在使用三維計測器A04生成物品A06的三維模型時，能夠?qū)⒁匀我庾藨B(tài)分別配置的多個物品的計測數(shù)據(jù)視為從多個假想的計測位置計測一個物品而得的模型計測數(shù)據(jù)的集合。因此，在本發(fā)明中，能夠通過使用了三維計測器A04的一次計測生成三維模型。

但是，在其他實(shí)施方式中，也可以設(shè)定為進(jìn)行多次三維計測。當(dāng)再次進(jìn)行三維計測時，在通過步驟S105檢測失敗之后，不向步驟S108前進(jìn)，而是返回到步驟S101，進(jìn)行物品的再配置，重復(fù)之后的處理即可。

例如，當(dāng)在三維計測器A04的計測范圍內(nèi)只能夠配置少數(shù)例如兩個物品A06時，通過一次三維計測生成與從各種各樣的假想的計測位置計測出的三維模型相同的三維模型是困難的。但是，當(dāng)多次重復(fù)再配置兩個物品之后進(jìn)行計測時，能夠同樣地生成從各種各樣的計測位置計測而取得的三維模型。即使是這樣的情況，與一邊使一個物品一點(diǎn)一點(diǎn)地姿態(tài)變化一邊計測相比，也能夠以短時間生成三維模型。

這里，通過計算從多次計測三維模型未知的物品的計測數(shù)據(jù)中提取出模型計測數(shù)據(jù)B13是困難的。此外，操作員在對所有的模型計測數(shù)據(jù)的提取進(jìn)行示教時，操作員的負(fù)擔(dān)過大。因此，在本發(fā)明中，如上所述，示教臨時模型D01，使用該臨時模型D01來檢測余下的物品的位置姿態(tài)，以該檢測結(jié)果為基礎(chǔ)提取出模型計測數(shù)據(jù)B13而整合到臨時模型D01。因此，不會使操作員的負(fù)擔(dān)過大，能夠生成三維模型。

然而，例如通過對未圖示的操作開關(guān)進(jìn)行操作而輸入物品A06的搬運(yùn)開始指令，從而開始圖5的右方所示的物品的輸送處理。在圖5的步驟S201中，進(jìn)行配置于三維空間上的多個物品A06的三維計測。該處理與步驟S102的步驟實(shí)際上相同。

接下來，向步驟S202前進(jìn)，從配置于三維空間上的多個物品A06進(jìn)行一個物品A06的檢測。該處理與步驟S104的處理實(shí)際上相同。在一個物品A06的檢測結(jié)束之后，向步驟S203前進(jìn)。

然后，物品位置姿態(tài)計算部B20將由模型生成部B10預(yù)先生成的三維模型B40、與如上所述其他方法計測出的物品A06的計測數(shù)據(jù)B30進(jìn)行對照，計算物品A06的位置姿態(tài)B50。

對照三維模型與計測數(shù)據(jù)，計算物品A06的位置姿態(tài)的方法也可以是任何方法。例如，從三維模型的模型點(diǎn)計算出PPF(Point Pair Feature)特征量和SHOT(Sigunature of Histogram of Orientation)特征量那樣的三維特征。對于計測數(shù)據(jù)來說也同樣地計算三維特征。然后，也可以從計測數(shù)據(jù)探索具有相同特征量的三維點(diǎn)，從其中計算出位置姿態(tài)。

或者，在預(yù)先決定的探索位置范圍和探索姿態(tài)范圍內(nèi)對構(gòu)成三維模型的三維點(diǎn)進(jìn)行坐標(biāo)變換，求出與計測數(shù)據(jù)的三維點(diǎn)之間的差分。然后，如果存在差是預(yù)定值以下的三維點(diǎn)，則計數(shù)為這樣的三維模型的三維點(diǎn)一致。然后，通過可期待在三維模型內(nèi)能計測的三維點(diǎn)來進(jìn)行該處理，若一致數(shù)為預(yù)定數(shù)以上，則將此時的位置姿態(tài)作為計算結(jié)果輸出。

在本發(fā)明中，與使用CAD數(shù)據(jù)的位置姿態(tài)計算裝置相比較，使用實(shí)際進(jìn)行計測的三維計測器A04來制作三維模型。因此，存在如下優(yōu)點(diǎn)：在三維模型與位置姿態(tài)計算時的計測數(shù)據(jù)之間不容易產(chǎn)生差異。

接下來，在步驟S203中，控制機(jī)器人A01，由此，使機(jī)器人A01的手A03移動到通過步驟S202檢測出的物品A06的位置姿態(tài)所對應(yīng)的位置。然后，通過手臂A03來把持物品A06，使機(jī)器人A01進(jìn)行預(yù)定的搬運(yùn)動作。在物品A06的搬運(yùn)處理結(jié)束時，結(jié)束物品輸送作業(yè)。

這樣，在本發(fā)明中，即使對于不存在CAD數(shù)據(jù)的物品，也能夠計算出配置于三維空間上的物品A06的位置姿態(tài)，根據(jù)計算結(jié)果能夠正確地搬運(yùn)物品A06。此外，通過進(jìn)行物品A06的三維計測生成物品A06的三維模型，因此，能夠大幅地減少三維模型生成時的示教工作量。

或者，在步驟S203中，將相對于成為基準(zhǔn)的物品的位置姿態(tài)即基準(zhǔn)物品位置姿態(tài)的基準(zhǔn)機(jī)器人位置姿態(tài)預(yù)先存儲于機(jī)器人控制裝置A02。接下來，對于通過步驟S202識別出的物品A06的位置姿態(tài)，求出與基準(zhǔn)物品位置姿態(tài)和基準(zhǔn)機(jī)器人位置姿態(tài)之間的相對位置關(guān)系一致的機(jī)器人位置姿態(tài)。然后，可以控制機(jī)器人A01以便使手臂A03移動至上述那樣的機(jī)器人位置姿態(tài)。

在本實(shí)施方式中，通過對檢測出的一個物品A06進(jìn)行把持輸送而結(jié)束系統(tǒng)。但是，也可以設(shè)為通過一次的檢測來計算多個物品A06的位置姿態(tài)，連續(xù)把持以及輸送檢測出的多個物品A06?；蛘撸部梢栽O(shè)為依次輸送所有配置于三維空間上的多個物品。另外，在搬運(yùn)物品時，也可以像日本特開2002-331480號公報所記載那樣，避免手臂A03對收納物品A06的箱子造成干擾。

發(fā)明效果

在第一發(fā)明中，即使對于不存在CAD數(shù)據(jù)的物品，也能夠生成用于物品的位置姿態(tài)計算等的三維模型。在使用三維計測器生成物品的三維模型時，將以任意姿態(tài)分別配置的多個物品的計測數(shù)據(jù)視為從多個假想的計測位置計測一個物品而得的模型計測數(shù)據(jù)的集合。因此，能夠通過一次計測就生成三維模型。

在第二發(fā)明中，起初從一個物品的計測數(shù)據(jù)中示教臨時模型，使用該臨時模型來檢測余下物品的位置姿態(tài)，以該檢測結(jié)果為基礎(chǔ)提取出模型計測數(shù)據(jù)整合到臨時模型。因此，不會使得操作員的負(fù)擔(dān)過大，能夠生成三維模型。

在第三發(fā)明中，從接近臨時模型的初始姿態(tài)的姿態(tài)的物品進(jìn)行檢測而提取出模型計測數(shù)據(jù)逐步地整合到臨時模型。也就是說，從高精度且穩(wěn)定地能夠進(jìn)行檢測的物品依次進(jìn)行檢測來擴(kuò)展臨時模型。由此，即使對于初始的臨時模型完全不存在模型計測數(shù)據(jù)的物品來說，最終也能夠進(jìn)行模型計測數(shù)據(jù)的提取以及整合。

在第四發(fā)明中，通過操作員指示使用了臨時模型的檢測結(jié)果是否正確，由此，能夠防止對三維模型追加錯誤的模型計測數(shù)據(jù)。

在第五發(fā)明中，在以使用了臨時模型的檢測結(jié)果為基礎(chǔ)，提取出模型計測數(shù)據(jù)時，將已經(jīng)存在的模型計測數(shù)據(jù)附近的點(diǎn)提取為新的模型計測數(shù)據(jù)。因此，不用示教的工作量，就能自動地提取出模型計測數(shù)據(jù)。

在第六發(fā)明中，即使在模型計測數(shù)據(jù)包含錯誤的三維點(diǎn)、并整合到臨時模型時，也能確認(rèn)臨時模型與計測數(shù)據(jù)的整合性，而除去不正確整合的模型計測數(shù)據(jù)。由此，能夠生成正確的三維模型。

在第七發(fā)明中，設(shè)為在將新提取出的模型計測數(shù)據(jù)整合到臨時模型時，在模型計測數(shù)據(jù)與臨時模型之間存在重復(fù)的三維點(diǎn)的情況下，不對該重復(fù)的三維點(diǎn)進(jìn)行整合。因此，能夠防止三維模型的數(shù)據(jù)重復(fù)，并且能夠生成信息不會過不足的三維模型。

在第八發(fā)明中，在將新提取出的模型計測數(shù)據(jù)整合到臨時模型時，在模型計測數(shù)據(jù)與臨時模型之間存在重復(fù)的三維點(diǎn)的情況下，從重復(fù)的三維點(diǎn)計算新的三維點(diǎn)，更新臨時模型。因此，能夠防止三維模型的數(shù)據(jù)變沉重，并且能夠生成信息沒有過不足的三維模型。并且能夠生成緩和了計測誤差的三維模型。

在第九發(fā)明中，在模型計測數(shù)據(jù)的整合處理結(jié)束之后，進(jìn)行假想的計測位置以及屬于模型計測數(shù)據(jù)的各三維點(diǎn)的位置的最佳化處理，由此能夠生成更高精度的三維模型。

在第十發(fā)明中，即使在能夠一次計測的物品的個數(shù)較少的情況下，也能通過進(jìn)行多次三維計測并且使用多個計測數(shù)據(jù)來生成三維模型。由此，能夠同樣地生成從各種各樣的計測位置計測物品而獲得的三維模型。即使是這樣的情況，與一邊使一個物品一點(diǎn)一點(diǎn)地姿態(tài)變化一邊進(jìn)行計測相比也能夠以短時間生成三維模型。

在第十一發(fā)明中，即使對于不存在CAD數(shù)據(jù)的物品也能夠計算出物品的位置姿態(tài)。此外，通過三維計測器來計測物品由此生成三維模型，因此，能夠大幅地減少三維模型生成時的示教工作量。并且，與使用CAD數(shù)據(jù)的位置姿態(tài)計算裝置相比較，使用實(shí)際上進(jìn)行計測的三維計測器來制作三維模型，因此，在三維模型與位置姿態(tài)計算時的計測數(shù)據(jù)之間不容易產(chǎn)生差異。

在第十二發(fā)明中，即使對于不存在CAD數(shù)據(jù)的物品，也能夠計算出配置于三維空間上的物品的位置姿態(tài)，根據(jù)計算結(jié)果正確地搬運(yùn)物品。此外，通過進(jìn)行物品的三維計測來生成物品的三維模型，因此，能夠大幅地減少三維模型生成時的示教工作量。

使用典型的實(shí)施方式說明了本發(fā)明，但只要是本技術(shù)領(lǐng)域技術(shù)人員，就能在不脫離本發(fā)明范圍的情況下進(jìn)行上述變更以及各種其他變更、省略、追加。