亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

模型生成設(shè)備和方法以及信息處理設(shè)備和方法與流程

文檔序號(hào):12039140閱讀:218來源:國(guó)知局
模型生成設(shè)備和方法以及信息處理設(shè)備和方法與流程
本發(fā)明涉及一種模型生成設(shè)備、信息處理設(shè)備、模型生成方法和信息處理方法,尤其涉及一種用于測(cè)量物體的位置和姿勢(shì)的技術(shù)。

背景技術(shù):
近年來,機(jī)器人代替人類逐漸處理諸如組裝工業(yè)產(chǎn)品等的復(fù)雜任務(wù)。在利用機(jī)器人組裝工業(yè)產(chǎn)品時(shí),必須精確地測(cè)量組件之間的相對(duì)位置和姿勢(shì),從而利用諸如機(jī)器人手部等的端部受動(dòng)器(endeffector)來把持組件。作為測(cè)量位置和姿勢(shì)的方法,通常使用利用模型擬合的測(cè)量,其中該模型擬合使三維形狀模型與從照相機(jī)拍攝到的灰度圖像所檢測(cè)到的特征或者從距離傳感器所獲得的距離圖像擬合。在這些方法中,非專利文獻(xiàn)1(ChristopherKemp,TomDrummond,“DynamicMeasurementClusteringtoAidRealTimeTracking,”iccv,vol.2,pp.1500-1507,TenthIEEEInternationalConferenceonComputerVision(ICCV'05)Volume2,2005.)公開了通過高效地選擇三維形狀模型中的特征(三維點(diǎn)、線和面等;以下稱為幾何特征)來高速地估計(jì)位置和姿勢(shì)的方法。非專利文獻(xiàn)1中所公開的方法將三維形狀模型中的幾何特征分組成對(duì)表示要估計(jì)的位置和姿勢(shì)的參數(shù)的影響相似的幾何特征群。然后,基于從各群中選擇出的少量幾何特征來估計(jì)位置和姿勢(shì)。該方法計(jì)算共同用來表示位置和姿勢(shì)的6自由度參數(shù)中易受幾何特征影響的這些參數(shù)。該計(jì)算通過如下操作來進(jìn)行:針對(duì)各幾何特征,計(jì)算位置姿勢(shì)的6自由度參數(shù)各自微小改變的情況下該幾何特征的變化量(以下稱為Jacobian(雅克比))。然而,根據(jù)非專利文獻(xiàn)1的方法存在以下問題。也就是說,由于在模型擬合處理期間執(zhí)行幾何特征的分組處理,因此幾何特征的分組處理的處理成本根據(jù)幾何特征的數(shù)量和分組方法而增加,由此損害模型擬合處理的速度。

技術(shù)實(shí)現(xiàn)要素:
本發(fā)明是考慮到上述問題而作出的,并且提供一種在測(cè)量物體的位置和姿勢(shì)的情況下、降低損害基于Jacobian的幾何特征的分組處理的速度的可能性并且使得能夠進(jìn)行高效的模型擬合的技術(shù)。根據(jù)本發(fā)明的第一方面,一種模型生成設(shè)備,包括:模型輸入單元,用于輸入對(duì)象物體的三維形狀模型;設(shè)置單元,用于針對(duì)所述對(duì)象物體的三維形狀模型,設(shè)置用于拍攝所述對(duì)象物體的圖像的至少一個(gè)攝像裝置的至少一個(gè)位置姿勢(shì),由此設(shè)置所述對(duì)象物體和所述攝像裝置之間的虛擬相對(duì)位置姿勢(shì);選擇單元,用于選擇所述設(shè)置單元所設(shè)置的所述攝像裝置的至少一個(gè)位置姿勢(shì);以及分組單元,用于基于以所述選擇單元選擇的所述攝像裝置的位置姿勢(shì)所要獲得的圖像與所述三維形狀模型的幾何特征之間的關(guān)系,來對(duì)幾何特征進(jìn)行分組。根據(jù)本發(fā)明的第二方面,一種信息處理設(shè)備,包括:上述的模型生成設(shè)備;圖像輸入單元,用于輸入攝像裝置所拍攝的圖像;幾何特征選擇單元,用于從所述分組單元分組得到的組中選擇幾何特征;以及計(jì)算單元,用于計(jì)算所述對(duì)象物體或所述攝像裝置的位置姿勢(shì),以使得所述圖像輸入單元所輸入的圖像的特征與所述幾何特征選擇單元所選擇的幾何特征彼此一致。根據(jù)本發(fā)明的第三方面,一種模型生成設(shè)備所執(zhí)行的模型生成方法,包括以下步驟:模型輸入步驟,用于輸入對(duì)象物體的三維形狀模型;設(shè)置步驟,用于針對(duì)所述對(duì)象物體的三維形狀模型,設(shè)置用于拍攝所述對(duì)象物體的圖像的至少一個(gè)攝像裝置的至少一個(gè)位置姿勢(shì),由此設(shè)置所述對(duì)象物體和所述攝像裝置之間的至少一個(gè)虛擬相對(duì)位置姿勢(shì);選擇步驟,用于選擇所述設(shè)置步驟中所設(shè)置的所述攝像裝置的至少一個(gè)位置姿勢(shì);以及分組步驟,用于基于以所述選擇步驟中選擇的所述攝像裝置的位置姿勢(shì)所要獲得的圖像與所述三維形狀模型的幾何特征之間的關(guān)系,來對(duì)幾何特征進(jìn)行分組。根據(jù)本發(fā)明的第四方面,一種信息處理設(shè)備所執(zhí)行的信息處理方法,所述信息處理設(shè)備包括上述的模型生成設(shè)備,所述信息處理方法包括以下步驟:圖像輸入步驟,用于輸入攝像裝置所拍攝的圖像;幾何特征選擇步驟,用于從所述分組單元分組得到的組中選擇幾何特征;以及計(jì)算步驟,用于計(jì)算所述對(duì)象物體或所述攝像裝置的位置姿勢(shì),以使得所述圖像輸入步驟中所輸入的圖像的特征與所述幾何特征選擇步驟中所選擇的幾何特征彼此一致。通過以下參考附圖對(duì)各實(shí)施例的說明,本發(fā)明的其它特征將變得明顯。附圖說明圖1是示出根據(jù)本發(fā)明實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)的框圖;圖2A~2C是用于說明根據(jù)本發(fā)明第一實(shí)施例的三維形狀模型的組件的圖;圖3是示出根據(jù)本發(fā)明第一實(shí)施例的模型生成方法的處理序列的流程圖;圖4是用于說明根據(jù)本發(fā)明第一實(shí)施例的離散觀察條件的生成的圖;圖5A和5B是用于說明根據(jù)本發(fā)明第一實(shí)施例的使幾何特征和圖像相關(guān)聯(lián)的方法的圖;圖6是示出根據(jù)本發(fā)明第一實(shí)施例的幾何特征的分組方法的處理序列的流程圖;圖7是示出根據(jù)本發(fā)明第一實(shí)施例的位置姿勢(shì)估計(jì)方法的處理序列的流程圖;圖8是示出根據(jù)本發(fā)明第二實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)的圖;圖9是用于說明關(guān)聯(lián)的圖;圖10是用于說明分組的圖;圖11是用于說明信息處理設(shè)備5300的功能結(jié)構(gòu)的示例的框圖;圖12A~12F是用于說明模型信息的結(jié)構(gòu)示例的圖;圖13是信息處理設(shè)備5300要執(zhí)行的處理的流程圖;以及圖14是示出機(jī)器人系統(tǒng)的結(jié)構(gòu)的示例的圖。具體實(shí)施方式以下將參考附圖來詳細(xì)說明本發(fā)明的實(shí)施例。第一實(shí)施例本實(shí)施例包括使用本實(shí)施例的信息處理設(shè)備來估計(jì)物體的位置和姿勢(shì)所需的位置姿勢(shì)估計(jì)模型的生成方法。還包括使用所生成的位置姿勢(shì)估計(jì)模型的物體的位置姿勢(shì)的估計(jì)方法。注意,以下說明中的“物體的位置姿勢(shì)”表示物體的位置和姿勢(shì)與用于拍攝該物體的圖像的攝像裝置的位置和姿勢(shì)之間的關(guān)系。在本實(shí)施例的位置姿勢(shì)估計(jì)方法中,基于作為初始值給出的近似位置姿勢(shì)來使三維形狀模型中的三維幾何特征與二維圖像中的圖像特征和距離圖像中的距離點(diǎn)彼此相關(guān)聯(lián)。然后,迭代重復(fù)地校正位置姿勢(shì)以使各關(guān)聯(lián)距離的總和最小,由此計(jì)算物體的位置姿勢(shì)。注意,位置姿勢(shì)估計(jì)處理中所使用的幾何特征針對(duì)表示位置姿勢(shì)的6自由度參數(shù)(位置:3自由度,姿勢(shì):3自由度)中的各參數(shù)的貢獻(xiàn)度不同。由于該原因,在位置姿勢(shì)估計(jì)處理中所使用的幾何特征僅對(duì)6自由度參數(shù)中的一部分參數(shù)有貢獻(xiàn)的情況下,針對(duì)位置姿勢(shì)的6自由度的估計(jì)失敗(僅可以估計(jì)出一部分參數(shù)),或者需要大量幾何特征來正確地估計(jì)位置姿勢(shì),由此發(fā)生問題。因而,為了高效地估計(jì)位置姿勢(shì)的6自由度,以均衡方式選擇和使用對(duì)位置姿勢(shì)的6自由度參數(shù)的影響不相似的幾何特征變得很重要。因而,在本實(shí)施例中,對(duì)位置姿勢(shì)估計(jì)參數(shù)的影響相似的幾何特征被分組為幾何特征群,并且通過選擇性地使用對(duì)位置姿勢(shì)參數(shù)的影響不同的幾何特征群來執(zhí)行位置姿勢(shì)估計(jì)處理,由此實(shí)現(xiàn)高效的估計(jì)處理。然而,幾何特征對(duì)位置姿勢(shì)參數(shù)的影響根據(jù)物體的觀察條件(物體和用于觀察該物體的攝像裝置之間的相對(duì)位置姿勢(shì)以及該攝像裝置的內(nèi)部參數(shù)等)而改變。由于該原因,在觀察條件不確定的預(yù)處理階段無法計(jì)算這些影響。因而,在本實(shí)施例中,作為估計(jì)物體的位置姿勢(shì)所需的預(yù)處理,在預(yù)先針對(duì)三維形狀模型離散地設(shè)置的各種觀察條件下執(zhí)行幾何特征的分組處理,并且針對(duì)各觀察條件保存幾何特征的分組結(jié)果。然后,在位置姿勢(shì)估計(jì)時(shí),使用利用被判斷為最接近實(shí)際或估計(jì)觀察條件的觀察條件進(jìn)行處理后的幾何特征的分組結(jié)果來執(zhí)行位置姿勢(shì)估計(jì)。以下將說明模型生成處理作為位置姿勢(shì)估計(jì)處理的預(yù)處理。之后,將說明用于使用通過該模型生成處理所生成的(后面要說明的)位置姿勢(shì)計(jì)算模型來估計(jì)物體的位置姿勢(shì)的處理。圖1示出模型生成設(shè)備2和信息處理設(shè)備1的結(jié)構(gòu),其中該模型生成設(shè)備1進(jìn)行作為本實(shí)施例的預(yù)處理的視點(diǎn)依賴位置姿勢(shì)估計(jì)模型生成,以及該信息處理設(shè)備1使用位置姿勢(shì)估計(jì)模型來計(jì)算位置姿勢(shì)。如圖1所示,模型生成設(shè)備2包括三維形狀模型輸入單元110、位置姿勢(shì)設(shè)置單元120、位置姿勢(shì)選擇單元130、幾何特征分組單元140和視點(diǎn)依賴模型保存單元150。此外,信息處理設(shè)備1包括模型生成設(shè)備2、圖像輸入單元160、幾何特征選擇單元170和位置姿勢(shì)估計(jì)單元180。圖1所示的結(jié)構(gòu)是本實(shí)施例的信息處理設(shè)備的應(yīng)用示例。以下將說明包括在模型生成設(shè)備2中的各單元。三維形狀模型輸入單元110輸入表示物體的形狀的三維形狀模型10。圖2A和2B是示出三維形狀模型的示例的圖,并且圖2C示出表示物體的形狀的多邊形模型。如圖2A~2C所示,三維形狀模型由三維平面信息(以下稱為面幾何特征)和三維線段信息(以下稱為線幾何特征)構(gòu)成。注意,各個(gè)面幾何特征是包括三維位置和三維法線方向的物體表面上的局部三維平面信息,并且各線段幾何特征是包括三維位置和三維線段方向的物體輪廓上的局部三維線段信息。作為三維形狀模型的示例,除了CAD(計(jì)算機(jī)輔助設(shè)計(jì))模型以外,還可以使用通過拍攝對(duì)象物體的圖像所獲得的數(shù)據(jù)。注意,在本實(shí)施例中,“幾何特征”通常表示面幾何特征和線幾何特征這兩者。使用面幾何特征來測(cè)量面幾何特征的三維坐標(biāo)與距離圖像上的距離點(diǎn)群之間的對(duì)應(yīng)距離。使用線幾何特征來測(cè)量線幾何特征的投影坐標(biāo)與灰度圖像上的邊緣之間的對(duì)應(yīng)距離。將三維形狀模型保存在三維形狀模型輸入單元110中,并且輸入至幾何特征分組單元140。位置姿勢(shì)設(shè)置單元120針對(duì)三維形狀模型設(shè)置多個(gè)不同的觀察條件。注意,在本實(shí)施例中,全面地生成用于觀察三維形狀模型的虛擬攝像裝置的位置姿勢(shì)作為用以從各種方向離散地觀察該模型的觀察條件。后面將說明攝像裝置的位置姿勢(shì)設(shè)置的具體處理方法。注意,以下將虛擬配置的攝像裝置稱為虛擬攝像裝置。位置姿勢(shì)選擇單元130從位置姿勢(shì)設(shè)置單元120所設(shè)置的針對(duì)三維形狀模型的多個(gè)觀察條件中選擇一個(gè)觀察條件。注意,在本實(shí)施例中,位置姿勢(shì)選擇單元130從針對(duì)三維形狀模型的多個(gè)虛擬攝像裝置的位置姿勢(shì)中選擇一組位置姿勢(shì)。后面將說明具體處理。幾何特征分組單元140針對(duì)位置姿勢(shì)設(shè)置單元120所設(shè)置的多個(gè)觀察條件中的位置姿勢(shì)選擇單元130所選擇的各觀察條件,基于幾何特征的Jacobian的相似度來對(duì)這些幾何特征進(jìn)行分組。在本實(shí)施例中,作為分組,幾何特征分組單元140執(zhí)行基于幾何特征對(duì)位置姿勢(shì)參數(shù)的影響的相似度的聚類(clustering)。后面將說明具體處理的詳細(xì)內(nèi)容。視點(diǎn)依賴模型保存單元150將幾何特征分組單元140分組后的幾何特征信息連同此時(shí)的觀察條件(分組所使用的三維形狀模型與虛擬攝像裝置之間的相對(duì)位置姿勢(shì)信息)一起保存作為視點(diǎn)依賴位置姿勢(shì)估計(jì)模型。通過將位置姿勢(shì)設(shè)置單元120所設(shè)置的所有觀察條件的視點(diǎn)依賴位置姿勢(shì)估計(jì)模型合成為一個(gè)來生成位置姿勢(shì)估計(jì)模型。以下將說明包括在信息處理設(shè)備1中的各單元。二維圖像拍攝裝置20是用于拍攝正常二維圖像的照相機(jī)。要拍攝的二維圖像可以是灰度圖像或彩色圖像。在本實(shí)施例中,二維圖像拍攝裝置20拍攝和輸出灰度圖像。將二維圖像拍攝裝置20拍攝到的圖像經(jīng)由圖像輸入單元160輸入至信息處理設(shè)備1。可以通過參考要使用的裝置的規(guī)格來獲取諸如照相機(jī)的焦距、主點(diǎn)位置和鏡頭失真參數(shù)等的固有參數(shù)??蛇x地,這些參數(shù)可以通過利用[R.Y.Tsai,“Aversatilecameracalibrationtechniqueforhigh-accuracy3Dmachinevisionmetrologyusingoff-the-shelfcamerasandlenses,”IEEEJournalofRoboticsandAutomation,vol.RA-3,no.4,1987.]中所公開的方法預(yù)先執(zhí)行校準(zhǔn)來獲取。距離圖像拍攝裝置30測(cè)量作為測(cè)量對(duì)象的物體表面上的點(diǎn)的三維信息。作為距離圖像拍攝裝置30,使用輸出距離圖像的距離傳感器。該距離圖像是各像素具有深度信息的圖像。在本實(shí)施例中,作為距離傳感器,使用單次主動(dòng)型傳感器,其中該單次主動(dòng)型傳感器利用分配有不同波長(zhǎng)的顏色I(xiàn)D的多狹縫線照射對(duì)象,使用照相機(jī)拍攝反射光,并且通過三角測(cè)量來進(jìn)行距離測(cè)量。然而,距離傳感器不限于此;例如,作為替代,可以使用利用飛行時(shí)間的飛行時(shí)間型傳感器。此外,可以使用根據(jù)立體照相機(jī)拍攝到的圖像來通過三角測(cè)量計(jì)算各像素的深度的被動(dòng)型傳感器。另外,可以使用任何其它傳感器,只要這些傳感器測(cè)量距離圖像即可,由此本發(fā)明的主旨不會(huì)丟失。將距離圖像拍攝裝置30測(cè)量到的距離圖像經(jīng)由圖像輸入單元160輸入至信息處理設(shè)備1。此外,假定距離圖像拍攝裝置30的光軸和二維圖像拍攝裝置20的光軸一致,并且二維圖像拍攝裝置20所輸出的灰度圖像的各像素與距離圖像拍攝裝置30所輸出的距離圖像的各像素之間的對(duì)應(yīng)關(guān)系是已知的。然而,本發(fā)明的應(yīng)用不限于灰度圖像和距離圖像具有同一視點(diǎn)的情況。例如,用于拍攝灰度圖像的攝像裝置和用于拍攝距離圖像的攝像裝置位于不同的位置姿勢(shì),并且可以從不同視點(diǎn)拍攝灰度圖像和距離圖像。在這種情況下,假定攝像裝置之間的相對(duì)位置姿勢(shì)是已知的,并且通過將距離圖像中的三維點(diǎn)群投影到灰度圖像上來使灰度圖像和距離圖像彼此相關(guān)聯(lián)。沒有特別限制攝像裝置之間的位置關(guān)系,只要用于拍攝同一物體的圖像的攝像裝置之間的相對(duì)位置姿勢(shì)是已知的并且可以計(jì)算這些圖像之間的對(duì)應(yīng)關(guān)系即可。圖像輸入單元160將二維圖像拍攝裝置20拍攝到的二維圖像和距離圖像拍攝裝置30拍攝到的距離圖像輸入至信息處理設(shè)備1。在這些攝像裝置的輸出是諸如NTSC輸出等的模擬輸出的情況下,圖像輸入單元160由模擬視頻采集板來實(shí)現(xiàn)??蛇x地,在這些攝像裝置的輸出是諸如IEEE1394輸出等的數(shù)字輸出的情況下,圖像輸入單元160例如由IEEE1394接口板來實(shí)現(xiàn)??蛇x地,圖像輸入單元160可以通過讀出預(yù)先存儲(chǔ)在存儲(chǔ)裝置(未示出)中的靜止圖像或運(yùn)動(dòng)圖像的數(shù)字?jǐn)?shù)據(jù)來獲取圖像。幾何特征選擇單元170從幾何特征分組單元140分組后的并且保存在視點(diǎn)依賴模型保存單元150內(nèi)的幾何特征中選擇用于計(jì)算位置姿勢(shì)的幾何特征。后面將說明具體處理。位置姿勢(shì)估計(jì)單元180基于二維圖像拍攝裝置20拍攝到的灰度圖像和距離圖像拍攝裝置30拍攝到的距離圖像,來計(jì)算與幾何特征選擇單元170所選擇的幾何特征的關(guān)聯(lián)性。然后,計(jì)算對(duì)象物體的位置姿勢(shì)。后面將說明具體處理的詳細(xì)內(nèi)容。已經(jīng)說明了信息處理設(shè)備1的結(jié)構(gòu)的示例。注意,信息處理設(shè)備1包括計(jì)算機(jī)。該計(jì)算機(jī)包括諸如CPU、ROM(只讀存儲(chǔ)器)、RAM(隨機(jī)存取存儲(chǔ)器)等的主控制單元以及諸如HDD(硬盤驅(qū)動(dòng)器)等的存儲(chǔ)單元。此外,該計(jì)算機(jī)可以連接有諸如按鈕、顯示器或觸摸面板等的輸入/輸出單元以及諸如網(wǎng)卡等的通信單元等。注意,這些組件例如經(jīng)由總線相連接,并且在主控制單元執(zhí)行存儲(chǔ)在存儲(chǔ)單元中的程序時(shí)被控制。以下將說明根據(jù)本實(shí)施例的位置姿勢(shì)估計(jì)模型生成和位置姿勢(shì)估計(jì)的處理序列。圖3是示出根據(jù)本實(shí)施例的位置姿勢(shì)估計(jì)模型生成方法的處理序列的流程圖。步驟S1000在步驟S1000中,三維形狀模型輸入單元110輸入對(duì)象物體的三維形狀模型。步驟S1100在步驟S1100中,位置姿勢(shì)設(shè)置單元120設(shè)置對(duì)象物體的三維形狀模型的觀察條件。在本實(shí)施例中,作為觀察條件,進(jìn)行用于觀察三維形狀模型的虛擬攝像裝置的位置姿勢(shì)設(shè)置。如圖4所示,全面的觀察條件的生成例如使用了包圍物體的測(cè)地線球體。更具體地,將基準(zhǔn)位置姿勢(shì)設(shè)置為:使測(cè)地線球體的各頂點(diǎn)作為虛擬攝像裝置501的位置,并且使從該頂點(diǎn)起對(duì)三維形狀模型502的各觀察方向作為虛擬攝像裝置501的視點(diǎn)。從所設(shè)置的位置姿勢(shì)拍攝三維形狀模型的圖像的情況下要獲得的圖像是通過將該三維形狀模型映射到與虛擬攝像裝置的攝像面相對(duì)應(yīng)的面上所獲得的圖像。此時(shí),對(duì)于虛擬攝像裝置501的側(cè)傾方向,可以設(shè)置任意值。注意,利用測(cè)地線球體近似得到的球體的半徑與虛擬攝像裝置501和對(duì)象物體的三維形狀模型502之間的距離相對(duì)應(yīng)。因此,在與位置姿勢(shì)估計(jì)時(shí)所使用的圖像相關(guān)聯(lián)地預(yù)先假定攝像距離的情況下,期望將該距離設(shè)置為等于測(cè)地線球體的半徑??蛇x地,可以在各階段準(zhǔn)備大小不同的測(cè)地線球體,并且可以將各測(cè)地線球體的頂點(diǎn)設(shè)置為基準(zhǔn)位置姿勢(shì)。然而,基準(zhǔn)位置姿勢(shì)設(shè)置方法不限于此。例如,可以假定包圍對(duì)象物體的三維形狀模型的球體,如地球儀那樣向該球體分配緯度和經(jīng)度,并且可以在緯度方向和經(jīng)度方向上按等間隔確定視點(diǎn)。另外,可以使用任何其它方法,只要這些方法可以在實(shí)際位置姿勢(shì)估計(jì)時(shí)模擬虛擬攝像裝置和物體之間的相對(duì)位置姿勢(shì)即可。在完成了基于測(cè)地線球體的各頂點(diǎn)所進(jìn)行的虛擬攝像裝置的位置姿勢(shì)生成時(shí),步驟S1100的處理結(jié)束,并且該處理進(jìn)入步驟S1200。步驟S1200在步驟S1200中,位置姿勢(shì)選擇單元130從步驟S1100中設(shè)置的多個(gè)位置姿勢(shì)條件中選擇位置姿勢(shì)。更具體地,選擇要處理的位置姿勢(shì)并且將該位置姿勢(shì)設(shè)置為用于觀察三維形狀模型的虛擬攝像裝置的視點(diǎn)。步驟S1300在步驟S1300中,幾何特征分組單元140使用步驟S1200中設(shè)置的虛擬攝像裝置的位置姿勢(shì)來計(jì)算幾何特征的Jacobian,從而計(jì)算對(duì)幾何特征之間的位置姿勢(shì)參數(shù)的影響的相似度。注意,幾何特征的Jacobian是表示在攝像裝置的位置姿勢(shì)的6自由度的參數(shù)改變了微小量的情況下、關(guān)注幾何特征和圖像特征之間的對(duì)應(yīng)距離的變化程度的值。更具體地,對(duì)于線幾何特征,Jacobian是圖像上的點(diǎn)和線之間的距離。此外,對(duì)于面幾何特征,Jacobian是在將三維空間上的點(diǎn)和面之間的距離定義為位置姿勢(shì)的函數(shù)的情況下、包括與位置姿勢(shì)的各元素相關(guān)聯(lián)的一階偏微分系數(shù)作為元素的矩陣。通過檢查幾何特征的Jacobian,可以識(shí)別位置姿勢(shì)的6自由度中的易受該幾何特征影響的參數(shù)。注意,本實(shí)施例使用Jacobian。然而,本發(fā)明不限于此,并且可以使用表示幾何特征對(duì)位置姿勢(shì)參數(shù)的影響的指標(biāo)。以下將詳細(xì)說明面幾何特征和線幾何特征的Jacobian的推導(dǎo)方法。首先將說明線幾何特征的Jacobian的推導(dǎo)。圖5A是用于說明線幾何特征與灰度圖像上的圖像特征之間的線-點(diǎn)距離的計(jì)算的圖。設(shè)(u,v)是基于虛擬攝像裝置的位置姿勢(shì)s來將線幾何特征投影到圖像上的位置,設(shè)(nu,nv)(單位矢量)是相對(duì)于該位置的法線方向,并且設(shè)(u',v')是與該線幾何特征相對(duì)應(yīng)的圖像特征的坐標(biāo)??梢酝ㄟ^以下等式來計(jì)算對(duì)應(yīng)(即,對(duì)應(yīng)特征)間的帶符號(hào)的距離err2D。err2D=nu(u'-u)+nv(v'-v)(1)注意,虛擬攝像裝置的位置姿勢(shì)s的自由度是6自由度。也就是說,s是六維矢量,其中該六維矢量包括表示測(cè)量對(duì)象物體的位置的三個(gè)元素s1、s2和s3以及表示姿勢(shì)的三個(gè)元素s4、s5和s6。表示姿勢(shì)的三個(gè)元素是利用方向表示穿過原點(diǎn)的轉(zhuǎn)動(dòng)軸并且范數(shù)表示轉(zhuǎn)動(dòng)角的三維矢量等、通過使用Euler角來表示的。通過利用該虛擬攝像裝置的位置姿勢(shì)s的各參數(shù)對(duì)對(duì)應(yīng)間距離(即,對(duì)應(yīng)特征間距離)err2D進(jìn)行偏微分,來計(jì)算以下的線特征的Jacobian矩陣。接著,以下將說明面幾何特征的Jacobian的推導(dǎo)。圖5B是用于說明面幾何特征和對(duì)應(yīng)點(diǎn)(距離圖像中的三維點(diǎn))之間的面-點(diǎn)距離的圖。設(shè)(x,y,z)是面幾何特征在照相機(jī)坐標(biāo)系上的三維坐標(biāo),設(shè)(nx,ny,nz)是法線方向(單位矢量),并且設(shè)(x',y',z')是三維點(diǎn)在與面幾何特征點(diǎn)相對(duì)應(yīng)的距離圖像上的坐標(biāo)??梢酝ㄟ^以下等式來表示此時(shí)三維空間上的帶符號(hào)的距離err3D。err3D=nx(x'-x)+ny(y'-y)+nz(z'-z)(3)然后,以與線幾何特征的Jacobian相同的方式,通過利用虛擬攝像裝置的位置姿勢(shì)s的各參數(shù)對(duì)對(duì)應(yīng)間距離err3D進(jìn)行偏微分,可以按照如下計(jì)算面特征的Jacobian矩陣。在針對(duì)所有線特征和面特征的上述Jacobian的計(jì)算完成時(shí),步驟S1300的處理結(jié)束,并且該處理進(jìn)入步驟S1400。步驟S1400在步驟S1400中,幾何特征分組單元140基于步驟S1300中計(jì)算出的線幾何特征和面幾何特征的Jacobian來分組對(duì)位置姿勢(shì)的6自由度的估計(jì)的影響相似的特征。在本實(shí)施例中,基于Jacobian的相似度,通過例如執(zhí)行使用眾所周知的Ward法的分層聚類(hierarchicalclustering)來對(duì)幾何特征進(jìn)行分組。注意,由于線幾何特征的Jacobian和面幾何特征的Jacobian中要測(cè)量的對(duì)應(yīng)間距離的尺度不同,因此將這兩者彼此區(qū)分開,并且獨(dú)立地分組。以下將參考圖6所示的流程圖來詳細(xì)說明步驟S1400中的針對(duì)線幾何特征和面幾何特征的分組的具體處理。步驟S1410在步驟S1410中,作為初始簇(cluster),生成僅包括一個(gè)幾何特征的簇群。也就是說,在幾何特征的總數(shù)為N個(gè)的情況下,生成N個(gè)簇。將所生成的簇保存作為最下層的簇。步驟S1420接著,針對(duì)各簇之間的所有組合計(jì)算這些簇之間的Jacobian的相似度。由于利用Ward法計(jì)算出的值隨著相似度變高而變小,因此在嚴(yán)格意義上,在這種情況下計(jì)算非相似度。設(shè)JkiA(k=1,...,6)是作為具有nA個(gè)元素的特定簇{A}的第i(i=1,...,nA)個(gè)元素的幾何特征的Jacobian。此外,設(shè)JkjB(k=1,...,6)是作為具有nB個(gè)元素的特定簇{B}的第j(j=1,...,nB)個(gè)元素的幾何特征的Jacobian。通過以下等式來計(jì)算簇{A}和簇{B}之間的簇間相似度。在針對(duì)各簇之間的所有組合計(jì)算這些簇之間的非相似度ΔSAB完成之后,步驟S1420的處理結(jié)束,并且該處理進(jìn)入步驟S1430。步驟S1430接著,通過參考步驟S1420中計(jì)算出的相似度,將非相似度ΔSAB最低的組合的簇合并成一個(gè)簇。然后,將合并后的簇保存作為如下層的簇,其中該層比合并之前的簇高一層。步驟S1440在作為步驟S1430的結(jié)果、總簇?cái)?shù)為1的情況下,該處理結(jié)束;否則,該處理返回至步驟S1420以重復(fù)該處理,直到總簇?cái)?shù)變?yōu)?為止。利用上述處理,可以將幾何特征分組成被稱為樹狀圖的樹狀分類結(jié)構(gòu)。在靠近枝的末端的位置(下層)切斷該樹狀圖的情況下,獲得各自包括少量元素的大量簇;在靠近枝的根部的位置(上層)切斷樹狀圖的情況下,獲得各自包括大量元素的少量簇。也就是說,由于包括在樹狀圖中的簇具有小分類-中分類和大分類的分層結(jié)構(gòu),因此在任意層切斷該樹狀圖的情況下,可以獲得任意數(shù)量的簇。上述處理分別適用于面幾何特征和線幾何特征。在所有面幾何特征的分組和所有線幾何特征的分組完成時(shí),步驟S1400的處理結(jié)束,并且該處理進(jìn)入步驟S1500。步驟S1500接著,在步驟S1500中,視點(diǎn)依賴模型保存單元150將步驟S1400中所獲得的幾何特征的分組結(jié)果與步驟S1200中所選擇的虛擬攝像裝置的位置姿勢(shì)的組合保存作為視點(diǎn)依賴位置姿勢(shì)估計(jì)模型。步驟S1600接著,在步驟S1600中,模型生成設(shè)備2判斷針對(duì)步驟S1100中生成的虛擬攝像裝置的所有位置姿勢(shì)是否已執(zhí)行了步驟S1200~步驟S1500的處理。在仍剩余要處理的位置姿勢(shì)的情況下,該處理返回至步驟S1200以針對(duì)下一位置姿勢(shì)重復(fù)該處理。另一方面,在針對(duì)所有的位置姿勢(shì)已執(zhí)行了這些處理的情況下,該處理結(jié)束。結(jié)果,針對(duì)所設(shè)置的虛擬攝像裝置的所有位置姿勢(shì)保存視點(diǎn)依賴位置姿勢(shì)估計(jì)模型,由此獲得位置姿勢(shì)估計(jì)模型。以下將參考圖7來說明使用模型生成設(shè)備2所生成的位置姿勢(shì)估計(jì)模型的位置姿勢(shì)估計(jì)方法。圖7是示出該位置姿勢(shì)估計(jì)處理的流程圖。注意,該位置姿勢(shì)估計(jì)處理可以通過將圖3的處理結(jié)果傳送至外部設(shè)備來由外部設(shè)備執(zhí)行。步驟S2000在步驟S2000中,信息處理設(shè)備1輸入物體相對(duì)于包括二維圖像拍攝裝置20和距離圖像拍攝裝置30的攝像裝置的位置姿勢(shì)的近似值。在本實(shí)施例中,信息處理設(shè)備1在如下的假設(shè)下使用(先前時(shí)刻的)先前測(cè)量值作為近似位置姿勢(shì):信息處理設(shè)備1在時(shí)間軸方向上連續(xù)執(zhí)行位置姿勢(shì)測(cè)量。然而,位置姿勢(shì)的近似值的輸入方法不限于此。例如,可以基于位置姿勢(shì)的先前測(cè)量值來使用時(shí)序?yàn)V波器估計(jì)物體的速度或角速度,以基于該先前位置姿勢(shì)和估計(jì)出的速度或加速度來估計(jì)當(dāng)前位置姿勢(shì)。可選地,可以將以各種姿勢(shì)拍攝到的對(duì)象物體的圖像保持為模板,并且可以對(duì)輸入圖像應(yīng)用模板匹配以估計(jì)對(duì)象物體的近似位置姿勢(shì)??蛇x地,在傳感器可以測(cè)量物體的位置姿勢(shì)的情況下,可以使用該傳感器的輸出值作為位置姿勢(shì)的近似值。該傳感器例如可以是磁性傳感器,其中該磁性傳感器通過使用安裝至物體的接收器檢測(cè)發(fā)送器所產(chǎn)生的磁場(chǎng)來測(cè)量位置姿勢(shì)。可選地,該傳感器可以是光學(xué)傳感器,其中該光學(xué)傳感器通過使用固定至場(chǎng)景的照相機(jī)拍攝配置在物體上的標(biāo)記的圖像來測(cè)量位置姿勢(shì)。另外,可以使用任何其它傳感器,只要這些傳感器可以測(cè)量6自由度的位置姿勢(shì)即可。可選地,在預(yù)先已知物體放置所采用的位置姿勢(shì)的情況下,使用這些值作為近似值。步驟S2100接著,在步驟S2100中,圖像輸入單元160輸入灰度圖像和距離圖像。圖像輸入單元160首先從二維圖像拍攝裝置20獲取灰度圖像。同樣,圖像輸入單元160從距離圖像拍攝裝置30獲取距離圖像。在本實(shí)施例中,假定距離圖像存儲(chǔ)了從攝像裝置到測(cè)量對(duì)象物體的表面的距離。如上所述,由于二維圖像拍攝裝置20的光軸和距離圖像拍攝裝置30的光軸一致,因此灰度圖像的各像素和距離圖像的各像素之間的對(duì)應(yīng)關(guān)系是已知的。在灰度圖像和距離圖像的獲取完成時(shí),步驟S2100的處理結(jié)束,并且該處理進(jìn)入步驟S2200。步驟S2200接著,在步驟S2200中,位置姿勢(shì)估計(jì)單元180從位置姿勢(shì)估計(jì)模型中選擇一個(gè)視點(diǎn)依賴位置姿勢(shì)估計(jì)模型,由此獲得步驟S1400中分組為分層結(jié)構(gòu)的幾何特征。更具體地,位置姿勢(shì)估計(jì)單元180從作為位置姿勢(shì)估計(jì)模型所保存的多個(gè)視點(diǎn)依賴位置姿勢(shì)估計(jì)模型中選擇與最近似于步驟S2000所輸入的近似位置姿勢(shì)的位置姿勢(shì)相對(duì)應(yīng)的視點(diǎn)依賴位置姿勢(shì)估計(jì)模型。在選擇最近似的視點(diǎn)依賴位置姿勢(shì)估計(jì)模型時(shí),針對(duì)多個(gè)基準(zhǔn)位置姿勢(shì)計(jì)算近似位置姿勢(shì)和虛擬攝像裝置的位置姿勢(shì)之間的姿勢(shì)差異ΔR,并且選擇差異值最小的模型??蛇x地,可以分別計(jì)算近似位置姿勢(shì)和基準(zhǔn)位置姿勢(shì)之間的位置差異ΔT和姿勢(shì)差異ΔR,可以與值ΔT和ΔR相關(guān)聯(lián)地分別對(duì)所有虛擬攝像裝置的位置姿勢(shì)進(jìn)行排序,并且可以選擇排序位次總和最小的模型。位置姿勢(shì)估計(jì)模型的選擇方法不限于上述方法,并且可以使用任何其它方法,只要基于近似位置姿勢(shì)和虛擬攝像裝置的位置姿勢(shì)之間的相似度進(jìn)行計(jì)算即可。也就是說,沒有特別限制選擇方法。在基于近似位置姿勢(shì)從位置姿勢(shì)估計(jì)模型中選擇一個(gè)位置姿勢(shì)估計(jì)模型之后,步驟S2200的處理結(jié)束,并且該處理進(jìn)入步驟S2300。步驟S2300接著,在步驟S2300中,幾何特征選擇單元170從視點(diǎn)依賴模型保存單元150中的分組為分層結(jié)構(gòu)的幾何特征中選擇位置姿勢(shì)計(jì)算時(shí)所使用的幾何特征。在本實(shí)施例中,從分組為分層結(jié)構(gòu)的幾何特征中提取六個(gè)簇。通過從提取出的各簇中隨機(jī)選擇一個(gè)幾何特征,選擇位置姿勢(shì)估計(jì)所用的總共六個(gè)幾何特征。通過從不同簇中選擇幾何特征,可以選擇對(duì)位置姿勢(shì)參數(shù)的影響不相似的幾何特征。注意,除了(由于已知的位置姿勢(shì)參數(shù)各自具有6自由度因而)通常需要至少六個(gè)幾何特征來估計(jì)位置姿勢(shì)以外,沒有特別限制從分層結(jié)構(gòu)要提取的簇?cái)?shù)量和要使用的幾何特征的數(shù)量。例如,在可以提取三個(gè)簇、并且可以從各簇中隨機(jī)選擇兩個(gè)幾何特征的情況下,沒有特別發(fā)生問題??梢孕绿砑佑糜谠O(shè)置要提取的簇?cái)?shù)量和要選擇的幾何特征的數(shù)量的設(shè)置單元,并且可以在沒有損害本實(shí)施例的技術(shù)效果的情況下任意設(shè)置簇?cái)?shù)量和幾何特征的數(shù)量以執(zhí)行估計(jì)處理。在處理效率方面,在所需最小數(shù)量的意義上,要選擇的幾何特征的數(shù)量可以是六個(gè)。此外,由于期望選擇非相似的幾何特征,因此要提取的簇?cái)?shù)量可以與要選擇的幾何特征的數(shù)量相同。注意,要提取的簇?cái)?shù)量過小(例如,1)的情況等同于在沒有分組的情況下的幾何特征的隨機(jī)選擇。此外,將要提取的簇?cái)?shù)量設(shè)置為最大數(shù)量的情況與使用所有幾何特征的位置姿勢(shì)估計(jì)相同。由于該原因,在處理效率方面,期望要提取的簇?cái)?shù)量不會(huì)過小或過大。因而,在確定要提取的簇的最小數(shù)量的情況下在處理效率和估計(jì)精度之間存在設(shè)計(jì)折中(compromise)。步驟S2400接著,在步驟S2400中,計(jì)算步驟S2100中輸入的灰度圖像和距離圖像與步驟S2300中選擇的線幾何特征和面幾何特征之間的關(guān)聯(lián)性,并且基于該關(guān)聯(lián)結(jié)果來估計(jì)測(cè)量對(duì)象物體的位置姿勢(shì)。以下將詳細(xì)說明位置姿勢(shì)估計(jì)單元180要執(zhí)行的位置姿勢(shì)估計(jì)處理。最初,基于步驟S2000中輸入的對(duì)象物體的近似位置姿勢(shì),將步驟S2100中輸入的距離圖像中的三維點(diǎn)群與面幾何特征相關(guān)聯(lián)。使用近似位置姿勢(shì)和校準(zhǔn)后的距離圖像拍攝裝置30的固有參數(shù),將步驟S2300中選擇的所有面幾何特征投影到距離圖像上。然后,將該距離圖像上與所投影的各面相對(duì)應(yīng)的距離點(diǎn)群保持作為與各面幾何特征相對(duì)應(yīng)的三維點(diǎn)。接著,將步驟S2100中輸入的灰度圖像上的邊緣與線幾何特征相關(guān)聯(lián)。使用近似位置姿勢(shì)和校準(zhǔn)后的二維圖像拍攝裝置20的固有參數(shù),將步驟S2300中選擇的所有線幾何特征投影到圖像上,由此將在該圖像上檢測(cè)到的邊緣與線幾何特征相關(guān)聯(lián)。在針對(duì)各線幾何特征檢測(cè)到多個(gè)對(duì)應(yīng)邊緣的情況下,使圖像上的最近邊緣與所投影的線幾何特征相關(guān)聯(lián)。接著,基于面幾何特征和線幾何特征與距離圖像和灰度圖像之間的關(guān)聯(lián)數(shù)據(jù),對(duì)聯(lián)立方程式求解以使測(cè)量數(shù)據(jù)和幾何特征之間的誤差最小,由此更新位置姿勢(shì)。注意,由于圖像上的距離和三維空間上的距離具有不同的尺度,因此即使在單純對(duì)聯(lián)立方程式進(jìn)行了求解的情況下,貢獻(xiàn)率也對(duì)測(cè)量數(shù)據(jù)中的任一個(gè)賦予不相稱的權(quán)重。由于該原因,在本實(shí)施例中,通過執(zhí)行基于最大似然估計(jì)的最優(yōu)化,如以下文獻(xiàn)所述,通過調(diào)整尺度來執(zhí)行位置姿勢(shì)估計(jì)。Tateno,Kotake和Uchiyama,“AModelFittingMethodUsingIntensityandRangeImagesforBin-PickingApplications,”13thsymposiumonMeetingonImageRecognitionandUnderstanding2010(MIRU2010)?;谧畲笏迫还烙?jì)的位置姿勢(shì)估計(jì)方法與本發(fā)明的主旨無關(guān),并且將不給出針對(duì)詳細(xì)處理的說明。本領(lǐng)域技術(shù)人員通過例如上述文獻(xiàn)將了解更多詳細(xì)內(nèi)容。注意,測(cè)量對(duì)象物體的位置姿勢(shì)計(jì)算方法不限于上述方法。例如,可以執(zhí)行基于Levenberg-Marquardt法的迭代計(jì)算,或者可以使用最速下降法??蛇x地,可以使用諸如共軛梯度法或ICCG法等的其它非線性最優(yōu)化計(jì)算方法。步驟S2500在步驟S2500中判斷步驟S2400中更新后的位置姿勢(shì)是否已收斂(即,是否需要迭代計(jì)算)。在校正值接近零、或者誤差矢量的平方和在校正前后的差接近零的情況下,判斷為位置姿勢(shì)已收斂。在位置姿勢(shì)尚未收斂的情況下,該處理返回至步驟S2200,并且使用更新后的位置姿勢(shì)來從視點(diǎn)依賴位置姿勢(shì)估計(jì)模型的選擇起執(zhí)行該處理。注意,在步驟S2400中更新后的位置姿勢(shì)的更新量較小的情況下,該處理可以返回至步驟S2400以使用相同的幾何特征來執(zhí)行位置姿勢(shì)更新處理。在判斷為位置姿勢(shì)已收斂的情況下,該處理結(jié)束,并且確定攝像裝置和對(duì)象物體之間的相對(duì)位置姿勢(shì)的最終估計(jì)值。如上所述,根據(jù)本實(shí)施例,由于預(yù)先分組了對(duì)位置姿勢(shì)的6自由度的估計(jì)參數(shù)的影響相似的幾何特征群,因此可以在位置姿勢(shì)估計(jì)處理中快速地選擇對(duì)于估計(jì)而言有效的幾何特征。因而,可以在沒有不相稱地使用對(duì)位置姿勢(shì)參數(shù)的影響相似的幾何特征的情況下,基于少量的幾何特征來高效地執(zhí)行位置姿勢(shì)估計(jì)。第一變形例上述實(shí)施例已說明了基于使用Ward法的分層聚類的方法作為幾何特征分組方法。然而,幾何特征分組方法不限于此。即使在使用分層聚類來執(zhí)行分組的情況下,在相似度計(jì)算中也可以使用除了Ward法以外的諸如最鄰近法、最遠(yuǎn)鄰法、組平均法、質(zhì)心法、中值法和可變法等的相似度計(jì)算方法。除了分層聚類以外,可以使用由k-means所代表的非分層聚類方法。在這種情況下,可以按照如下執(zhí)行分組處理。設(shè)M是組的總數(shù),則從所有幾何特征的JacobianJi(i=1,...,n)中選擇M個(gè)組的基準(zhǔn)Cj(j=1,...,M)。接著,將各采樣點(diǎn)i分類成具有最小距離|Ji-Cj|的Cj個(gè)組。然后,計(jì)算屬于各組的采樣點(diǎn)的Jacobian的平均值,并且利用所計(jì)算出的平均值來更新該組的基準(zhǔn)Cj。迭代重復(fù)上述的分類和更新這兩個(gè)處理,直到無需更新Cj為止,由此對(duì)幾何特征進(jìn)行分組??梢砸耘c上述實(shí)施例中的步驟S2300中要提取的簇?cái)?shù)量(例如,要選擇的幾何特征的數(shù)量)相同的方式設(shè)置組的總數(shù)M。也就是說,在要選擇的幾何特征的數(shù)量為6個(gè)的情況下,可以將組的總數(shù)M設(shè)置為6個(gè)。注意,與組的總數(shù)M的設(shè)置相關(guān)聯(lián)的確定方法和條件與步驟S2300中要提取的簇?cái)?shù)量的設(shè)置的確定方法和條件相同。第二變形例在上述實(shí)施例中,作為用于對(duì)幾何特征分組的標(biāo)準(zhǔn),將幾何特征的Jacobian相似的幾何特征分成一組。然而,對(duì)幾何特征分組時(shí)所使用的標(biāo)準(zhǔn)不限于此。例如,可以將Jacobian不相似的幾何特征分成一個(gè)組。更具體地,可以通過選擇步驟S1420中計(jì)算出的簇之間的非相似度ΔSAB最大的簇來進(jìn)行分組。在這種情況下,由于將與非相似的Jacobian相對(duì)應(yīng)的幾何特征分成一個(gè)組,因此在步驟S2300中,可以通過從一個(gè)簇中隨機(jī)選擇幾何特征來選擇與非相似的Jacobian相對(duì)應(yīng)的幾何特征。如上所述,分組時(shí)的標(biāo)準(zhǔn)不限于對(duì)與相似的Jacobian相對(duì)應(yīng)的幾何特征進(jìn)行分組的分組方法,并且可以對(duì)與非相似的Jacobian相對(duì)應(yīng)的幾何特征進(jìn)行聚類。沒有特別限制該標(biāo)準(zhǔn),只要分組標(biāo)準(zhǔn)與位置姿勢(shì)估計(jì)時(shí)從分組結(jié)果中選擇幾何特征時(shí)的分組標(biāo)準(zhǔn)一致即可,并且分組時(shí)可以使用任何其它標(biāo)準(zhǔn),由此不會(huì)造成問題。第三變形例在上述實(shí)施例中,從幾何特征組中僅選擇位置姿勢(shì)估計(jì)時(shí)使用的一組幾何特征,由此執(zhí)行位置姿勢(shì)估計(jì)處理。然而,幾何特征選擇方法和位置姿勢(shì)估計(jì)處理方法不限于此。例如,可以以隨機(jī)存取一致(RandomAccessConsensus,RANSAC)方式準(zhǔn)備多個(gè)幾何特征組,并且可以通過使用各幾何特征組來對(duì)重復(fù)位置姿勢(shì)計(jì)算和該結(jié)果的評(píng)價(jià)進(jìn)行迭代重復(fù),來判別最適當(dāng)?shù)膸缀翁卣鹘M,由此執(zhí)行用于計(jì)算位置姿勢(shì)的處理。更具體地,在步驟S2300中,通過使在從分層結(jié)構(gòu)提取的各簇的幾何特征中隨機(jī)選擇一個(gè)幾何特征這一操作迭代重復(fù)多次,來準(zhǔn)備各自包括6個(gè)幾何特征的多個(gè)位置姿勢(shì)計(jì)算幾何特征組。在步驟S2400中,針對(duì)步驟S2300中選擇的各幾何特征組分別估計(jì)位置姿勢(shì)。然后,基于估計(jì)出的位置姿勢(shì)來將幾何特征再次投影到圖像上,并且選擇與幾何特征和圖像特征之間的對(duì)應(yīng)間距離的最小總和相對(duì)應(yīng)的位置姿勢(shì)作為最適當(dāng)?shù)奈恢米藙?shì)。如上所述,位置姿勢(shì)估計(jì)時(shí)使用的幾何特征的選擇方法以及使用所選擇的幾何特征的位置姿勢(shì)估計(jì)方法不限于上述實(shí)施例的方法,并且可以使用任何其它方法,只要可以基于所選擇的幾何特征來估計(jì)位置姿勢(shì)即可。第四變形例在上述實(shí)施例中,基于幾何特征和圖像之間的關(guān)聯(lián)結(jié)果來計(jì)算測(cè)量對(duì)象物體的位置姿勢(shì)的6自由度。然而,位置姿勢(shì)估計(jì)方法不限于用于估計(jì)位置姿勢(shì)的所有6自由度的方法。例如,可以選擇對(duì)位置姿勢(shì)的6自由度參數(shù)的影響相似的幾何特征,并且可以基于這些幾何特征來選擇位置姿勢(shì)的6自由度參數(shù)中的一部分參數(shù)。更具體地,在步驟S2300中,在從分層結(jié)構(gòu)所提取出的同一簇內(nèi)的幾何特征中選擇多個(gè)(例如,6個(gè))幾何特征,由此選擇對(duì)位置姿勢(shì)的6自由度參數(shù)的影響相似的幾何特征。然后,在步驟S2400中,基于所選擇的幾何特征和圖像之間的關(guān)聯(lián)結(jié)果,僅估計(jì)所選擇的幾何特征的貢獻(xiàn)度高的位置姿勢(shì)參數(shù)。例如,在選擇容易有助于圖像平面X方向的幾何特征的情況下,要估計(jì)的參數(shù)限于圖像平面X方向。由于僅估計(jì)位置姿勢(shì)參數(shù)中的一部分參數(shù)的方法本身對(duì)于本發(fā)明的主旨而言不是必須的,因此將不給出針對(duì)詳細(xì)處理的說明。如上所述,本發(fā)明的位置姿勢(shì)估計(jì)方法不限于用于估計(jì)位置姿勢(shì)的所有6自由度參數(shù)的方法。沒有特別限制要估計(jì)的信息和位置姿勢(shì)估計(jì)方法,只要可以基于所選擇的幾何特征來估計(jì)位置和/或姿勢(shì)的信息即可,并且可以使用任何其它方法。第五變形例上述實(shí)施例已說明了基于非線性最小二乘法的方法作為基于圖像和幾何特征之間的關(guān)聯(lián)結(jié)果的位置姿勢(shì)估計(jì)方法。然而,要應(yīng)用于本發(fā)明的信息處理設(shè)備的位置姿勢(shì)估計(jì)方法不限于此。例如,本發(fā)明可應(yīng)用于如下情況:基于幾何特征和圖像之間的關(guān)聯(lián)結(jié)果,使用諸如擴(kuò)展Kalman濾波器等的時(shí)序?yàn)V波器來估計(jì)位置姿勢(shì)。在基于時(shí)序?yàn)V波器來估計(jì)位置姿勢(shì)的情況下,可以根據(jù)一個(gè)幾何特征來估計(jì)位置姿勢(shì)。基于一個(gè)幾何特征的位置姿勢(shì)估計(jì)僅對(duì)位置姿勢(shì)的6自由度參數(shù)中該幾何特征的貢獻(xiàn)度高的參數(shù)進(jìn)行估計(jì)。由于該原因,在僅選擇容易有助于估計(jì)并且與相似的自由度相對(duì)應(yīng)的幾何特征的情況下,無法估計(jì)位置姿勢(shì)的所有6自由度。因此,在基于一個(gè)幾何特征的信息來使用擴(kuò)展Kalman濾波器執(zhí)行位置姿勢(shì)估計(jì)的情況下,從三維形狀模型中選擇出的幾何特征的順序?qū)τ诟咝Ч烙?jì)而言是重要的。以下將與本發(fā)明的信息處理設(shè)備適用于使用擴(kuò)展Kalman濾波器的位置姿勢(shì)估計(jì)的情況相關(guān)聯(lián)地說明該處理的詳細(xì)內(nèi)容。在步驟S2300中,選擇用于更新位置姿勢(shì)的幾何特征。在上述實(shí)施例中,選擇位置姿勢(shì)計(jì)算時(shí)所使用的6個(gè)幾何特征。然而,在基于擴(kuò)展Kalman濾波器的位置姿勢(shì)估計(jì)中,僅需選擇至少一個(gè)信息以使得能夠進(jìn)行估計(jì)。由于該原因,在本變形例中,在步驟S2300的處理中,隨機(jī)選擇一個(gè)幾何特征。接著,在步驟S2400中,根據(jù)所選擇的幾何特征和圖像之間的關(guān)聯(lián)結(jié)果,通過基于擴(kuò)展Kalman濾波器的濾波處理來更新位置姿勢(shì)。由于基于所選擇的一個(gè)幾何特征和關(guān)聯(lián)數(shù)據(jù)的擴(kuò)展Kalman濾波器的計(jì)算方法本身與本發(fā)明的主旨無關(guān),因此將不給出針對(duì)該計(jì)算方法的詳細(xì)說明。技術(shù)人員將知曉例如Y.Hel-Or,M.Werman,“Poseestimationbyfusingnoisydataofdifferentdimensions,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.17,no.2,pp.195-201,1995,因而無需針對(duì)該處理的詳細(xì)說明。在基于一個(gè)幾何特征量的位置姿勢(shì)更新處理完成時(shí),在步驟S2500中判斷是否迭代重復(fù)位置姿勢(shì)更新處理。作為判斷方法,例如,預(yù)先確定針對(duì)位置姿勢(shì)處理要花費(fèi)的處理時(shí)間的限制,并且迭代重復(fù)該更新處理直到達(dá)到該限制為止。在更新處理要結(jié)束的情況下,將當(dāng)前位置姿勢(shì)確定為最終位置姿勢(shì),由此結(jié)束信息處理設(shè)備1的處理。在再次執(zhí)行位置姿勢(shì)更新處理的情況下,該處理返回至步驟S2300,并且選擇新的幾何特征。此時(shí),由于該幾何特征不是從先前選擇的幾何特征所屬的簇中選擇的,因此可以選擇對(duì)位置姿勢(shì)估計(jì)的影響不相似的幾何特征。如上所述,使用幾何特征組的位置姿勢(shì)估計(jì)方法不限于上述實(shí)施例。沒有特別限制位置姿勢(shì)估計(jì)方法,只要可以使用從幾何特征簇中選擇出的幾何特征來估計(jì)位置姿勢(shì)即可,并且可以使用任何其它方法。第六變形例在上述實(shí)施例和變形例中,已經(jīng)說明了非線性最小二乘法和基于時(shí)序?yàn)V波器的方法作為基于圖像和幾何特征之間的關(guān)聯(lián)結(jié)果的位置姿勢(shì)估計(jì)方法。然而,要應(yīng)用于本發(fā)明的信息處理設(shè)備的位置姿勢(shì)估計(jì)方法不限于這些方法。例如,本發(fā)明可應(yīng)用于通過基于幾何特征和圖像之間的關(guān)聯(lián)結(jié)果的匹配來計(jì)算位置姿勢(shì)的情況。在這種情況下,例如,在步驟S2400中,生成大量的位置姿勢(shì)作為對(duì)象物體的位置姿勢(shì),從而在使近似位置姿勢(shì)作為中心的預(yù)定范圍內(nèi)全面地覆蓋6自由度的值。接著,通過評(píng)價(jià)與所生成的位置姿勢(shì)相對(duì)應(yīng)的幾何特征以及灰度圖像和距離圖像之間的匹配程度,來估計(jì)對(duì)象物體的位置姿勢(shì)。更具體地,作為要搜索的位置姿勢(shì)的設(shè)置,將位置姿勢(shì)的6自由度的所有組合的值設(shè)置為使所輸入的近似位置姿勢(shì)值作為中心。此時(shí),沒有特別限制要全面設(shè)置的位置的最大寬度和步寬的設(shè)置以及要全面設(shè)置的姿勢(shì)的最大寬度和步寬的設(shè)置。在本變形例中,通過將位置的最大寬度設(shè)置為等于對(duì)象物體的大小、將姿勢(shì)的最大寬度設(shè)置為90°、將位置的步寬設(shè)置為1mm并將姿勢(shì)的步寬設(shè)置為1°,來設(shè)置要搜索的位置姿勢(shì)。然后,選擇一組所設(shè)置的位置姿勢(shì),并且基于所選擇的位置姿勢(shì)來使距離圖像中的三維點(diǎn)群、灰度圖像上的邊緣和所選擇的幾何特征彼此相關(guān)聯(lián)。然后,通過基于幾何特征與灰度圖像和距離圖像之間的關(guān)聯(lián)數(shù)據(jù)計(jì)算測(cè)量數(shù)據(jù)和幾何特征之間的誤差,來計(jì)算表示匹配程度的評(píng)價(jià)值。通過將上述處理應(yīng)用于所設(shè)置的所有位置姿勢(shì),搜索與最高評(píng)價(jià)值相對(duì)應(yīng)的位置姿勢(shì)值。然后,輸出與最高評(píng)價(jià)值相對(duì)應(yīng)的位置姿勢(shì)作為對(duì)象物體的最終位置姿勢(shì)。如上所述,基于所選擇的幾何特征的位置姿勢(shì)估計(jì)方法不限于最小二乘法和基于時(shí)序?yàn)V波器的方法。沒有特別限制位置姿勢(shì)計(jì)算方法,只要可以估計(jì)與所選擇的應(yīng)用于灰度圖像和距離圖像的幾何特征相對(duì)應(yīng)的位置姿勢(shì)即可,并且可以使用任何其它方法。第七變形例上述實(shí)施例已說明了拍攝灰度圖像和距離圖像的情況。然而,本發(fā)明的信息處理設(shè)備不限于拍攝灰度圖像和距離圖像這兩者的情況。例如,本發(fā)明的信息處理設(shè)備可應(yīng)用于僅拍攝距離圖像的情況。本變形例的信息處理設(shè)備具有從圖1所示的結(jié)構(gòu)中去除二維圖像拍攝裝置20的結(jié)構(gòu)。此外,除了省略步驟S2100中的灰度圖像輸入處理并且省略步驟S2400中的灰度圖像和幾何特征之間的關(guān)聯(lián)處理以外,位置姿勢(shì)估計(jì)處理與上述實(shí)施例的位置姿勢(shì)估計(jì)處理相同。同樣,本發(fā)明的信息處理設(shè)備可應(yīng)用于僅拍攝灰度圖像的情況。在這種情況下,本變形例的信息處理設(shè)備具有從圖1所示的結(jié)構(gòu)中去除距離圖像拍攝裝置30的結(jié)構(gòu),并且除了省略步驟S2100中的距離圖像輸入處理并且省略步驟S2400中的距離圖像和幾何特征之間的關(guān)聯(lián)處理以外,位置姿勢(shì)估計(jì)處理與上述實(shí)施例的位置姿勢(shì)估計(jì)處理相同。第八變形例作為幾何特征分組單元140中關(guān)于對(duì)位置姿勢(shì)參數(shù)的影響相似的幾何特征的分組方法,上述實(shí)施例已經(jīng)說明了基于幾何特征的Jacobian的分組方法。然而,幾何特征分組方法不限于根據(jù)Jacobian的相似度的方法。例如,在設(shè)置在三維形狀模型的線或面上的幾何特征中,將與這些線或面的相似角度或位置相對(duì)應(yīng)的幾何特征判斷為對(duì)位置姿勢(shì)參數(shù)的影響相似。然后,可以將與這些線或面的相似角度或位置相對(duì)應(yīng)的幾何特征分成一個(gè)組。如上所述,根據(jù)本發(fā)明的信息處理設(shè)備1不限于獲得灰度圖像和距離圖像這兩者的情況,并且可以毫無問題地應(yīng)用,只要獲得任一個(gè)圖像即可。第二實(shí)施例作為根據(jù)本發(fā)明的信息處理設(shè)備1的應(yīng)用示例,可以使用以下方面。也就是說,在一個(gè)使用示例中,基于二維圖像拍攝裝置20所獲得的二維圖像和距離圖像拍攝裝置30所獲得的距離圖像來估計(jì)被測(cè)物體60的位置姿勢(shì),并且基于所估計(jì)出的位置姿勢(shì)來對(duì)工業(yè)機(jī)器人臂部(機(jī)器人50)進(jìn)行控制以把持該物體。以下將參考圖8來說明根據(jù)本發(fā)明另一實(shí)施例的信息處理設(shè)備1的應(yīng)用示例。圖8示出使用信息處理設(shè)備1和機(jī)器人50來把持被測(cè)物體60的機(jī)器人系統(tǒng)的結(jié)構(gòu)示例。機(jī)器人50由機(jī)器人控制器40來控制以使其手部移動(dòng)至指示位置,從而把持物體。由于被測(cè)物體60在作業(yè)臺(tái)上的位置改變,因此必須估計(jì)被測(cè)物體60的當(dāng)前位置姿勢(shì)以執(zhí)行機(jī)器人的把持控制。二維圖像拍攝裝置20是用于拍攝正常二維圖像的照相機(jī),并且距離圖像拍攝裝置30是用于測(cè)量相對(duì)于物體表面的距離的距離傳感器。這些攝像裝置配置在工業(yè)機(jī)器人臂的手部中的拍攝被測(cè)物體60的圖像的位置處。信息處理設(shè)備1基于從二維圖像拍攝裝置20獲得的二維圖像和從距離圖像拍攝裝置30獲得的距離圖像來估計(jì)被測(cè)物體60的位置姿勢(shì)。將信息處理設(shè)備1所估計(jì)的被測(cè)物體60的位置姿勢(shì)輸入至機(jī)器人控制器40,由此控制機(jī)器人以例如把持被測(cè)物體60。由于本發(fā)明的信息處理設(shè)備對(duì)被測(cè)物體60的位置姿勢(shì)進(jìn)行估計(jì),因此即使在被測(cè)物體60的位置不確定的情況下,機(jī)器人系統(tǒng)也可以把持被測(cè)物體60。已經(jīng)詳細(xì)說明了這些實(shí)施例,但本發(fā)明例如可以采用以系統(tǒng)、設(shè)備、方法、程序或存儲(chǔ)介質(zhì)的形式的實(shí)施例。更具體地,本發(fā)明可以應(yīng)用于包括多個(gè)裝置的系統(tǒng)或者包括單個(gè)裝置的設(shè)備。注意,本發(fā)明包括如下情況:在將軟件程序直接或遠(yuǎn)程地供給至系統(tǒng)或設(shè)備、并且該系統(tǒng)或設(shè)備的計(jì)算機(jī)讀出并執(zhí)行所供給的程序代碼的情況下,實(shí)現(xiàn)了上述實(shí)施例的功能。在這種情況下,所供給的程序是與這些實(shí)施例的附圖所示的流程圖相對(duì)應(yīng)的計(jì)算機(jī)程序。因此,為了使用計(jì)算機(jī)來實(shí)現(xiàn)本發(fā)明的功能處理,安裝在該計(jì)算機(jī)中的程序代碼自身實(shí)現(xiàn)了本發(fā)明。也就是說,本發(fā)明包括實(shí)現(xiàn)本發(fā)明的功能處理所需的計(jì)算機(jī)程序自身。在這種情況下,程序的形式可以是目標(biāo)代碼、解釋器所執(zhí)行的程序或者要供給至OS的腳本數(shù)據(jù),只要它們具有程序的功能即可。供給計(jì)算機(jī)程序所需的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如包括軟盤、硬盤、光盤、磁光盤、MO、CD-ROM、CD-R、CD-RW、磁帶、非易失性存儲(chǔ)卡、ROM和DVD(DVD-ROM、DVD-R)等。另外,作為程序供給方法,可以使用客戶端計(jì)算機(jī)的瀏覽器建立到因特網(wǎng)上的主頁的連接,并且可以從該主頁將本發(fā)明的計(jì)算機(jī)程序下載至諸如硬盤等的記錄介質(zhì)。在這種情況下,要下載的程序可以是包括自動(dòng)安裝功能的壓縮文件。包括在本發(fā)明實(shí)施例的程序中的程序代碼被分割成多個(gè)文件,并且可以從不同主頁下載各個(gè)文件,由此實(shí)現(xiàn)本發(fā)明的實(shí)施例。也就是說,允許多個(gè)用戶下載利用計(jì)算機(jī)實(shí)現(xiàn)功能處理所需的程序文件的WWW服務(wù)器包括在本發(fā)明的實(shí)施例中。此外,可以將本發(fā)明的實(shí)施例中的加密程序存儲(chǔ)在諸如CD-ROM等的存儲(chǔ)介質(zhì)中,從而可以傳送至用戶。在這種情況下,允許滿足預(yù)定條件的用戶經(jīng)由因特網(wǎng)從主頁下載對(duì)該加密程序進(jìn)行解密所需的密鑰信息,并且執(zhí)行使用該密鑰信息解密后的程序,由此將該程序安裝在計(jì)算機(jī)中??梢栽谟?jì)算機(jī)執(zhí)行讀出程序的情況下實(shí)現(xiàn)上述實(shí)施例的功能。另外,基于該程序的指示,可以與運(yùn)行在計(jì)算機(jī)上的OS等協(xié)作實(shí)現(xiàn)這些實(shí)施例的功能。在這種情況下,OS等執(zhí)行實(shí)際處理的一部分或全部,由此實(shí)現(xiàn)上述實(shí)施例的功能。此外,可以將從記錄介質(zhì)讀出的程序?qū)懭氩迦胗?jì)算機(jī)的功能擴(kuò)展板或連接至計(jì)算機(jī)的功能擴(kuò)展單元中所包括的存儲(chǔ)器內(nèi),由此實(shí)現(xiàn)上述實(shí)施例的功能的一部分或全部。在這種情況下,在將程序?qū)懭牍δ軘U(kuò)展板或單元之后,包括在該功能擴(kuò)展板或單元中的CPU等基于該程序的指示來執(zhí)行實(shí)際處理的一部分或全部。如上所述,根據(jù)這些實(shí)施例,使用位置姿勢(shì)為已知的參考圖像(在先前幀中通過拍攝觀察對(duì)象物體的圖像所獲得的所拍攝圖像或者利用紋理數(shù)據(jù)所設(shè)置的模型圖像)來確定要使用的圖像特征。然后,使用這些圖像特征,計(jì)算與當(dāng)前幀相關(guān)聯(lián)的攝像裝置的位置姿勢(shì),由此提高位置姿勢(shì)估計(jì)的穩(wěn)定性。也就是說,根據(jù)這些實(shí)施例,在從觀察對(duì)象物體的三維模型數(shù)據(jù)中提取出的三維線段模型顯著不同于所拍攝圖像中可以從觀察對(duì)象物體提取出的特征的情況下,可以穩(wěn)定地估計(jì)位置姿勢(shì)。使用除了從三維模型中提取出的幾何特征以外的基于觀察對(duì)象物體的表面顏色的特征,可以利用未包括在三維模型數(shù)據(jù)中的信息來估計(jì)位置姿勢(shì)。第三實(shí)施例本實(shí)施例通過使用形狀與被測(cè)物體相同的三維形狀模型進(jìn)行模型擬合來估計(jì)作為位置姿勢(shì)估計(jì)對(duì)象的被測(cè)物體的位置姿勢(shì)。在本實(shí)施例的關(guān)聯(lián)處理中,首先執(zhí)行以下處理。也就是說,基于被測(cè)物體相對(duì)于用于拍攝該被測(cè)物體的圖像的攝像裝置的位置姿勢(shì)的近似值(位置姿勢(shì)近似值),來計(jì)算三維形狀模型的幾何特征(在本實(shí)施例中,設(shè)置在三維形狀模型的線段和面上的采樣點(diǎn))在所拍攝圖像上的位置。接著,在所拍攝圖像中搜索與這些采樣點(diǎn)相對(duì)應(yīng)的點(diǎn)(對(duì)應(yīng)點(diǎn)),并且計(jì)算采樣點(diǎn)和對(duì)應(yīng)點(diǎn)之間的距離(對(duì)應(yīng)間距離)。假定在本實(shí)施例中,該所拍攝圖像包括灰度圖像和距離圖像。在本實(shí)施例中,精確地去除混入關(guān)聯(lián)結(jié)果中的離群值(outlier)。由于該目的,在本實(shí)施例中,在搜索與采樣點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)并計(jì)算對(duì)應(yīng)間距離之前,“對(duì)采樣點(diǎn)進(jìn)行分類以使得預(yù)測(cè)到相似的對(duì)應(yīng)間距離的采樣點(diǎn)屬于同一組”。然后,在搜索到與采樣點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)之后,針對(duì)各組判斷搜索結(jié)果(關(guān)聯(lián)結(jié)果)。在同一組中,期望正確關(guān)聯(lián)的采樣點(diǎn)的對(duì)應(yīng)間距離彼此相似。假定關(guān)聯(lián)結(jié)果中的離群值為少數(shù),則在各組中關(guān)聯(lián)了采樣點(diǎn)之后,組內(nèi)具有相似的對(duì)應(yīng)間距離的對(duì)應(yīng)不太可能是離群值,并且具有與這些相似距離不同的對(duì)應(yīng)間距離的對(duì)應(yīng)更有可能是離群值。因而,基于各組的對(duì)應(yīng)間距離的分布來判斷離群值,并且使用除離群值以外的對(duì)應(yīng)間距離來執(zhí)行精度和魯棒性高的位置姿勢(shì)估計(jì)。注意,為了估計(jì)作為被測(cè)物體的組件的位置姿勢(shì),將形狀與該組件相同的三維形狀模型投影到包括該組件的圖像上,并且在該圖像上使該組件和該三維形狀模型彼此相關(guān)聯(lián)。此時(shí),以下將參考圖9來說明基于傳統(tǒng)方法的關(guān)聯(lián)處理的情況。如圖9所示,在圖像中出現(xiàn)組件5102。此外,基于組件5102的位置姿勢(shì)近似值而投影到該圖像上的三維形狀模型以疊加方式顯示在該組件5102上。然而,圖9的形狀模型是為了便于說明而顯示的。形狀模型實(shí)際并未投影到圖像上,并且計(jì)算采樣點(diǎn)在該圖像上的位置。在關(guān)聯(lián)處理中,搜索三維形狀模型5101上的與采樣點(diǎn)5103相對(duì)應(yīng)的點(diǎn),以檢測(cè)對(duì)應(yīng)點(diǎn)。在圖9中,作為對(duì)應(yīng)點(diǎn),搜索組件5102的邊上的點(diǎn)5104。接著,計(jì)算連接采樣點(diǎn)5103和點(diǎn)5104的線段的長(zhǎng)度作為對(duì)應(yīng)間距離5105。注意,圖9示出作為對(duì)應(yīng)點(diǎn)而誤關(guān)聯(lián)的點(diǎn)5106和5107作為離群值。由于統(tǒng)計(jì)地使用所有采樣點(diǎn)的對(duì)應(yīng)間距離以判斷離群值,因此容易對(duì)具有與如點(diǎn)5106那樣的其它采樣點(diǎn)極大不同的對(duì)應(yīng)間距離的對(duì)應(yīng)進(jìn)行判斷。然而,難以對(duì)具有與如點(diǎn)5107那樣的統(tǒng)計(jì)上的標(biāo)準(zhǔn)對(duì)應(yīng)間距離更接近的對(duì)應(yīng)間距離的對(duì)應(yīng)進(jìn)行判斷。作為對(duì)比,在圖10中,對(duì)采樣點(diǎn)分組,并且針對(duì)各組判斷離群值。執(zhí)行分組,以使得預(yù)期具有相似的對(duì)應(yīng)間距離的采樣點(diǎn)被分類成同一組。例如,將同一線段上的相鄰采樣點(diǎn)分類成如組5201那樣的同一組。如從圖10可以看出,在同一組內(nèi),期望正確關(guān)聯(lián)的采樣點(diǎn)具有相似的對(duì)應(yīng)間距離。因此,在針對(duì)各組執(zhí)行離群值判斷的情況下,可以以較高可靠性來判斷甚至如點(diǎn)5107那樣的偏差小的離群值。以下將參考圖11所示的框圖來說明根據(jù)本實(shí)施例的信息處理設(shè)備的功能結(jié)構(gòu)的示例。如圖11所示,攝像裝置5310連接至信息處理設(shè)備5300。首先將說明攝像裝置5310。攝像裝置5310具有拍攝場(chǎng)景的二維圖像所需的照相機(jī)功能以及獲取距離圖像所需的距離傳感器。在本實(shí)施例中,假定攝像裝置5310拍攝被測(cè)物體的圖像。二維圖像可以是灰度圖像或彩色圖像。在假定二維圖像是灰度圖像的情況下給出以下說明。利用以下文獻(xiàn)中所述的方法來預(yù)先校準(zhǔn)諸如用于拍攝圖像的照相機(jī)的焦距和主點(diǎn)位置以及鏡頭失真參數(shù)等的固有參數(shù):R.Y.Tsai,“Aversatilecameracalibrationtechniqueforhigh-accuracy3Dmachinevisionmetrologyusingoff-the-shelfcamerasandlenses,”IEEEJournalofRoboticsandAutomation,vol.RA-3,no.4,1987。作為距離傳感器,使用主動(dòng)型傳感器,其中該主動(dòng)型傳感器對(duì)照射對(duì)象(在這種情況下為被測(cè)物體)所利用的激光束的反射光進(jìn)行拍攝,并且通過三角測(cè)量來測(cè)量距離。然而,距離傳感器不限于此,并且可以使用任何其它傳感器,只要這些傳感器測(cè)量距離圖像即可。假定照相機(jī)和距離傳感器之間的相對(duì)位置姿勢(shì)是固定的,并且預(yù)先校準(zhǔn)該相對(duì)位置姿勢(shì)。例如,可以使用以下校準(zhǔn)方法。也就是說,在該方法中,從各種方向觀察三維形狀已知的校準(zhǔn)物體,并且根據(jù)基于二維圖像的校準(zhǔn)物體的位置姿勢(shì)和基于距離圖像的校準(zhǔn)物體的位置姿勢(shì)之間的差異來計(jì)算相對(duì)位置姿勢(shì)。將攝像裝置5310所獲得的二維圖像和距離圖像輸入至信息處理設(shè)備5300。注意,這些二維圖像和距離圖像可以是預(yù)先拍攝的,并且可以存儲(chǔ)在任意存儲(chǔ)裝置中。在這種情況下,將二維圖像和距離圖像從該存儲(chǔ)裝置輸入至信息處理設(shè)備5300。也就是說,利用信息處理設(shè)備5300的二維圖像和距離圖像的獲取方法不限于特定方法。然而,在任意情況下,假定從(后面要說明的)位置姿勢(shì)近似值輸入單元5303輸入被測(cè)物體相對(duì)于拍攝二維圖像和距離圖像的裝置的位置姿勢(shì)近似值。這些位置姿勢(shì)近似值也是在以被測(cè)物體為基準(zhǔn)的情況下相對(duì)于該被測(cè)物體的視點(diǎn)的位置姿勢(shì)近似值。以下將說明信息處理設(shè)備5300。將從攝像裝置5310輸出的二維圖像和距離圖像經(jīng)由圖像輸入單元5301輸入至關(guān)聯(lián)單元5305。形狀模型保持單元5302保持形狀與被測(cè)物體的形狀相同的三維形狀模型信息(模型信息)、以及預(yù)先設(shè)置在該三維形狀模型上的各采樣點(diǎn)的位置信息。利用模型信息要表示的三維形狀模型例如包括基于三維CAD數(shù)據(jù)的三維形狀模型。更具體地,三維形狀模型包括:利用三維CAD軟件可以處理的CAD模型本身;或者包含計(jì)算機(jī)圖形領(lǐng)域所使用的并且通過對(duì)三維CAD模型轉(zhuǎn)換所獲得的多個(gè)多邊形元素的模型。在假定三維模型是包括多個(gè)多邊形的模型的情況下給出以下說明。以下將參考圖12A~12F來說明本實(shí)施例中使用的模型信息的結(jié)構(gòu)示例。如圖12A~12F所示,三維模型包括諸如點(diǎn)、線(邊)和面等的元素。圖12A~12C示出相同的三維形狀模型。圖12A~12C示出從特定視點(diǎn)觀察時(shí)的頂點(diǎn)、邊和面,并且沒有示出從該視點(diǎn)無法觀察到的頂點(diǎn)、邊和面。如圖12D~12F所示,這種三維形狀模型的模型信息包括各頂點(diǎn)的索引和坐標(biāo)值、各邊的索引和這些邊各自兩端的頂點(diǎn)的索引、各面的索引、這些面各自的邊的索引、以及法線矢量成分??梢砸匀S形狀模型的局部原點(diǎn)為基準(zhǔn)來設(shè)置各頂點(diǎn)的坐標(biāo)值,或者沒有特別限制要用作基準(zhǔn)點(diǎn)的點(diǎn)。這同樣適用于以下要說明的各采樣點(diǎn)的位置信息。采樣點(diǎn)包括以下點(diǎn):設(shè)置在三維形狀模型的邊上從而與灰度圖像的邊緣特征相關(guān)聯(lián)的點(diǎn)(線采樣點(diǎn));以及設(shè)置在三維形狀模型的面上從而與距離圖像中的三維點(diǎn)相關(guān)聯(lián)的點(diǎn)(面采樣點(diǎn))。在這種情況下,在關(guān)聯(lián)處理中可以根據(jù)觀察三維形狀模型的圖像上的線和面的方式來使用不同的采樣點(diǎn)。例如,在將三維形狀模型投影到圖像上的情況下,如圖12A~12C所示,可觀察頂點(diǎn)P1~P4和P6,但無法觀察頂點(diǎn)P5。此外,可觀察邊L1~L7、L10和L11,但無法觀察邊L8、L9和L12。此外,可觀察面S1、S3和S4,但無法觀察面S2、S5和S6。因此,預(yù)先提取該三維形狀模型上從設(shè)置在包圍三維形狀模型的測(cè)地線球體的各頂點(diǎn)上的多個(gè)視點(diǎn)可觀察的邊和面,并且在這些邊和面上設(shè)置采樣點(diǎn)。將各視點(diǎn)處可觀察的采樣點(diǎn)群的位置保存作為視點(diǎn)依賴數(shù)據(jù)組。因而,可以獲取到與視點(diǎn)和三維形狀模型之間的各種位置姿勢(shì)關(guān)系相對(duì)應(yīng)的采樣點(diǎn)群。位置姿勢(shì)近似值輸入單元5303獲取被測(cè)物體相對(duì)于攝像裝置5310的位置姿勢(shì)近似值。假定這些位置姿勢(shì)近似值是通過對(duì)灰度圖像進(jìn)行諸如模板匹配等的預(yù)處理而預(yù)先確定的。在順次迭代重復(fù)位置姿勢(shì)估計(jì)處理的情況下,可以在無需配置位置姿勢(shì)近似值輸入單元5303的情況下使用緊前的位置姿勢(shì)估計(jì)處理中所估計(jì)出的結(jié)果作為位置姿勢(shì)近似值。幾何特征分組單元5304從形狀模型保持單元5302獲取形狀模型保持單元5302所保持的針對(duì)各視點(diǎn)的采樣點(diǎn)群中的、與從位置姿勢(shì)近似值輸入單元5303所輸入的位置姿勢(shì)近似值相對(duì)應(yīng)的采樣點(diǎn)群。然后,幾何特征分組單元5304將從形狀模型保持單元5302獲取到的采樣點(diǎn)群分類成多個(gè)組,以使得“預(yù)期具有相似的對(duì)應(yīng)間距離的采樣點(diǎn)被分類成同一組”。然而,由于對(duì)應(yīng)間距離的尺度根據(jù)要關(guān)聯(lián)的圖像而不同,因此獨(dú)立地對(duì)要與灰度圖像的邊緣特征相關(guān)聯(lián)的線采樣點(diǎn)和要與距離圖像的三維點(diǎn)群相關(guān)聯(lián)的面采樣點(diǎn)進(jìn)行分組。關(guān)聯(lián)單元5305將幾何特征分組單元5304分類后的各采樣點(diǎn)與從圖像輸入單元5301所接收到的灰度圖像和距離圖像相關(guān)聯(lián)以搜索對(duì)應(yīng)點(diǎn),由此計(jì)算采樣點(diǎn)和對(duì)應(yīng)點(diǎn)之間的對(duì)應(yīng)間距離。關(guān)聯(lián)評(píng)價(jià)單元5306針對(duì)各組來對(duì)關(guān)聯(lián)單元5305所計(jì)算出的采樣點(diǎn)的對(duì)應(yīng)間距離進(jìn)行評(píng)價(jià),并且指定針對(duì)除作為離群值的對(duì)應(yīng)點(diǎn)以外的對(duì)應(yīng)點(diǎn)所計(jì)算出的對(duì)應(yīng)間距離作為模型擬合時(shí)使用的對(duì)應(yīng)間距離。位置姿勢(shì)估計(jì)單元5307利用關(guān)聯(lián)評(píng)價(jià)單元5306指定的對(duì)應(yīng)間距離來校正從位置姿勢(shì)近似值輸入單元5303輸入的位置姿勢(shì)近似值,由此計(jì)算被測(cè)物體的精度較高的最終位置姿勢(shì)。以下將參考示出信息處理設(shè)備5300為了使用模型擬合來估計(jì)被測(cè)物體的位置姿勢(shì)而要執(zhí)行的處理的流程圖的圖13來說明該處理。步驟S5501圖像輸入單元5301獲取從攝像裝置5310輸出的被測(cè)物體的灰度圖像和距離圖像。灰度圖像和距離圖像的組合可以僅被輸入一次,也可以被連續(xù)輸入。對(duì)于后者情況,對(duì)各組應(yīng)用以下處理。步驟S5502幾何特征分組單元5304從位置姿勢(shì)近似值輸入單元5303獲取位置姿勢(shì)近似值。步驟S5503幾何特征分組單元5304從形狀模型保持單元5302獲取形狀模型保持單元5302所保持的針對(duì)各視點(diǎn)的采樣點(diǎn)群(位置信息群)中的、與從位置姿勢(shì)近似值輸入單元5303獲取到的位置姿勢(shì)近似值相對(duì)應(yīng)的采樣點(diǎn)群。也就是說,幾何特征分組單元5304獲取從測(cè)地線球體的各頂點(diǎn)中的如下視點(diǎn)所獲取到的采樣點(diǎn)群,其中該視點(diǎn)最接近從位置姿勢(shì)近似值輸入單元5303獲取到的位置姿勢(shì)近似值。然后,幾何特征分組單元5304將從形狀模型保持單元5302獲取到的采樣點(diǎn)群分類成多個(gè)組。以下將說明將采樣點(diǎn)群分類成多個(gè)組中的各個(gè)組的方法。執(zhí)行分組處理以將預(yù)期具有相似的對(duì)應(yīng)間距離的采樣點(diǎn)分類成同一組。由于對(duì)應(yīng)間距離的相似度與例如采樣點(diǎn)的Jacobian有關(guān),因此可以基于Jacobian的相似度來對(duì)采樣點(diǎn)進(jìn)行分組。注意,Jacobian是指表示對(duì)應(yīng)間距離相對(duì)于位置姿勢(shì)的6自由度的微小變化如何增減的一次偏微分的矩陣。以下將說明可以根據(jù)采樣點(diǎn)的Jacobian所確定的對(duì)應(yīng)間距離的相似度。以下將檢查這種情況:將三維形狀模型投影到具有特定位置姿勢(shì)近似值x的圖像上,并且將投影后的三維形狀模型上的采樣點(diǎn)與具有位置姿勢(shì)真值xC的被測(cè)物體相關(guān)聯(lián)。在該關(guān)聯(lián)處理中,以使各采樣點(diǎn)作為基點(diǎn)的方式搜索對(duì)應(yīng)點(diǎn),并且在該關(guān)聯(lián)處理的空間上計(jì)算這兩者的距離。通過以下等式來定義針對(duì)采樣點(diǎn)i(i=1,...,n)所計(jì)算出的對(duì)應(yīng)間距離Δzi。Δzi=h(xC,i)-h(x,i)(6)其中,h是用于將三維形狀模型上的采樣點(diǎn)的位置轉(zhuǎn)換到關(guān)聯(lián)空間上的公式。注意,在該關(guān)聯(lián)空間上,針對(duì)基于位置姿勢(shì)近似值的采樣點(diǎn)位置h(x,i),將基于位置姿勢(shì)真值的采樣點(diǎn)位置h(xC,i)表示為理想對(duì)應(yīng)點(diǎn)位置。對(duì)應(yīng)間距離Δzi根據(jù)位置姿勢(shì)近似值x的偏差量Δx=(x-xC)非線性地增減。然而,在假定Δx極微小的情況下,使用h(x,i)的一階偏微分(Jacobian)的線性近似可以將上述等式(6)表示為如下。其中,Hi表示要測(cè)量的對(duì)應(yīng)間距離相對(duì)于位置姿勢(shì)近似值的6自由度的極微小變化如何增減。如從等式(7)可以看出,由于Δx取值為不依賴于采樣點(diǎn)的恒定值,因此根據(jù)各采樣點(diǎn)所計(jì)算出的對(duì)應(yīng)間距離Δzi跟隨JacobianHi。也就是說,通過基于Jacobian的相似度對(duì)采樣點(diǎn)分組,可以將這些采樣點(diǎn)分類成預(yù)期具有相似的對(duì)應(yīng)間距離的采樣點(diǎn)群。以下將說明基于Jacobian的相似度對(duì)采樣點(diǎn)分組的方法的詳細(xì)內(nèi)容。在本實(shí)施例中,將說明基于k-means法的分組方法。然而,分組方法不限于基于k-means法的分組方法,并且可以使用任何其它方法,只要這些方法可以將Jacobian相似的采樣點(diǎn)分類成同一組即可。設(shè)Hi是要分組的采樣點(diǎn)i的Jacobian、并且M(M是等于或大于2的自然數(shù))是組的總數(shù)。最初,從n個(gè)Jacobian中選擇M個(gè)Jacobian(代表Jacobian)。這M個(gè)Jacobian可以是隨機(jī)選擇的或按預(yù)定順序選擇的。然后,將所選擇的M個(gè)JacobianHS(1)~HS(M)分別設(shè)置為M個(gè)組G1~GM的基準(zhǔn)C(1)~C(M)(即,C(j)=HS(j),j=1,...,M)。接著,作為處理1,將各采樣點(diǎn)i分類到與最小距離|Hi-C(j)|相對(duì)應(yīng)的組Cj。注意,該距離|Hi-C(j)|是指利用JacobianHi的協(xié)方差矩陣標(biāo)準(zhǔn)化得到的馬氏(Mahalanobis)距離。接著,作為處理2,計(jì)算分類到組j的所有采樣點(diǎn)的Jacobian的平均值,并且利用計(jì)算出的平均值來更新C(j)。然后,迭代重復(fù)處理1和2,直到不再更新C(j)為止。利用這些處理,可以基于所期望的對(duì)應(yīng)間距離的相似度來對(duì)采樣點(diǎn)群進(jìn)行分組。步驟S5504關(guān)聯(lián)單元5305對(duì)步驟S5503中從形狀模型保持單元5302獲取到的各采樣點(diǎn)執(zhí)行關(guān)聯(lián)處理從而搜索采樣點(diǎn)的對(duì)應(yīng)點(diǎn),由此計(jì)算與所找到的對(duì)應(yīng)點(diǎn)的距離(對(duì)應(yīng)間距離)。將該關(guān)聯(lián)處理單獨(dú)地應(yīng)用于灰度圖像和距離圖像。也就是說,在對(duì)灰度圖像應(yīng)用這種關(guān)聯(lián)處理的情況下,從線采樣點(diǎn)中搜索灰度圖像上的邊緣特征作為對(duì)應(yīng)點(diǎn),并且計(jì)算所找到的對(duì)應(yīng)點(diǎn)和線采樣點(diǎn)之間的對(duì)應(yīng)間距離。此外,在對(duì)距離圖像應(yīng)用這種關(guān)聯(lián)處理的情況下,從面采樣點(diǎn)搜索距離圖像的深度方向上的對(duì)應(yīng)點(diǎn),并且計(jì)算所找到的對(duì)應(yīng)點(diǎn)和面采樣點(diǎn)之間的對(duì)應(yīng)間距離。關(guān)于對(duì)應(yīng)點(diǎn)搜索方法的詳細(xì)內(nèi)容,例如請(qǐng)參考<文獻(xiàn)1>Tateno,Kotake和Uchiyama,“AModelFittingMethodUsingIntensityandRangeImagesforBin-PickingApplications,”13thMeetingonImageRecognitionandUnderstanding(MIRU2010),OS5-1,2010。步驟S5505關(guān)聯(lián)評(píng)價(jià)單元5306通過評(píng)價(jià)關(guān)聯(lián)單元5305針對(duì)各采樣點(diǎn)計(jì)算出的對(duì)應(yīng)間距離來指定模型擬合時(shí)所使用的對(duì)應(yīng)間距離。針對(duì)各組評(píng)價(jià)對(duì)應(yīng)間距離。由于期望同一組內(nèi)的正確關(guān)聯(lián)的采樣點(diǎn)具有相似的對(duì)應(yīng)間距離,因此以各對(duì)應(yīng)間距離相對(duì)于通過關(guān)聯(lián)處理所獲得的對(duì)應(yīng)間距離分布的標(biāo)準(zhǔn)值的差異程度為基準(zhǔn)來判斷離群值。以下將說明該判斷方法的處理的詳細(xì)內(nèi)容。設(shè)Dk(k=1,...,l:l是屬于同一組的采樣點(diǎn)(對(duì)應(yīng)間距離)的數(shù)量)是根據(jù)屬于該組的采樣點(diǎn)群所計(jì)算出的對(duì)應(yīng)間距離。然后,將Dk的中值Dm設(shè)置為對(duì)應(yīng)間距離分布的標(biāo)準(zhǔn)值(基準(zhǔn)距離)。對(duì)于滿足k=1,...,l的所有“k”,計(jì)算|Dk-Dm|,并且在該計(jì)算結(jié)果等于或大于閾值T(等于或大于規(guī)定值或預(yù)定值)的情況下,判斷為離群值,并且判斷為模型擬合時(shí)不使用Dk。另一方面,在|Dk-Dm|小于閾值T(小于規(guī)定值)的情況下,判斷為非離群值,并且判斷為模型擬合時(shí)使用Dk。注意,計(jì)算出|Dk-Dm|作為基于Dk的方差值的Mahalanobis廣義距離。此外,同一組的對(duì)應(yīng)間距離分布的標(biāo)準(zhǔn)值的測(cè)量方法不限于設(shè)置上述中值的方法。例如,可以使用平均值。步驟S5506位置姿勢(shì)估計(jì)單元5307使用關(guān)聯(lián)評(píng)價(jià)單元5306判斷為模型擬合時(shí)使用的對(duì)應(yīng)間距離來對(duì)從位置姿勢(shì)近似值輸入單元5303所獲取到的位置姿勢(shì)近似值進(jìn)行校正,由此以較高精度估計(jì)位置姿勢(shì)。通過計(jì)算對(duì)應(yīng)間距離的最小二乘法的解來計(jì)算校正量。由于基于最小二乘法的位置姿勢(shì)估計(jì)算法與本發(fā)明的主旨無關(guān),因此不給出針對(duì)該算法的詳細(xì)說明。關(guān)于該處理的詳細(xì)內(nèi)容,技術(shù)人員例如將參考上述文獻(xiàn)1的主題。注意,位置姿勢(shì)估計(jì)方法不限于最小二乘法,并且可以使用任何其它方法,只要這些方法可以校正位置姿勢(shì)從而縮短關(guān)聯(lián)的對(duì)應(yīng)間距離即可。如上所述,根據(jù)本實(shí)施例,針對(duì)各組評(píng)價(jià)關(guān)聯(lián)結(jié)果,可以去除要混入的離群值,并且使用離群值被去除的對(duì)應(yīng)間距離來執(zhí)行位置姿勢(shì)估計(jì)。因而,可以實(shí)現(xiàn)精度和魯棒性高的位置姿勢(shì)估計(jì)處理。第四實(shí)施例在本實(shí)施例中,在同一組內(nèi)根據(jù)相對(duì)于基準(zhǔn)采樣點(diǎn)的對(duì)應(yīng)間距離Dm的差來對(duì)對(duì)應(yīng)間距離進(jìn)行加權(quán)。通過根據(jù)權(quán)重來使用對(duì)應(yīng)間距離執(zhí)行位置姿勢(shì)估計(jì),實(shí)現(xiàn)了精度和魯棒性高的位置姿勢(shì)估計(jì)處理。以下將說明加權(quán)處理的詳細(xì)內(nèi)容。設(shè)Dk(k=1,...,l:l是屬于同一組的采樣點(diǎn)(對(duì)應(yīng)間距離)的數(shù)量)是根據(jù)屬于該組的采樣點(diǎn)群所計(jì)算出的對(duì)應(yīng)間距離。然后,將Dk的中值Dm設(shè)置為對(duì)應(yīng)間距離分布的標(biāo)準(zhǔn)值。對(duì)于滿足k=1,...,l的所有“k”,計(jì)算差|Dk-Dm|。根據(jù)該差,計(jì)算通過Tukey函數(shù)所指定的權(quán)重值,并且利用所計(jì)算出的權(quán)重值對(duì)Dk進(jìn)行加權(quán)。通過以下來表示Tukey函數(shù)。W---(8)]]>其中,w(Dk)是針對(duì)Dk的權(quán)重值,并且W是常數(shù)。注意,給出權(quán)重值的函數(shù)無需是Tukey函數(shù),并且可以使用諸如Huber函數(shù)等的任何其它函數(shù),只要這些函數(shù)針對(duì)相對(duì)于中值Dm的差小的Dk賦予大的權(quán)重值、并且針對(duì)差大的Dk賦予小的權(quán)重值即可。然后,根據(jù)所獲得的權(quán)重對(duì)位置姿勢(shì)進(jìn)行校正,從而使各采樣點(diǎn)的對(duì)應(yīng)間距離最小。根據(jù)權(quán)重的位置姿勢(shì)估計(jì)方法與本發(fā)明的主旨無關(guān)。技術(shù)人員例如將參考描述了具體校正方法的文獻(xiàn)1。如上所述,根據(jù)本實(shí)施例,通過針對(duì)各組評(píng)價(jià)關(guān)聯(lián)結(jié)果來對(duì)這些關(guān)聯(lián)結(jié)果進(jìn)行加權(quán),然后根據(jù)權(quán)重來使用對(duì)應(yīng)間距離來執(zhí)行位置姿勢(shì)估計(jì)。因而,降低了離群值的影響,由此使得能夠進(jìn)行精度和魯棒性高的位置姿勢(shì)估計(jì)處理。第三實(shí)施例和第四實(shí)施例的第一變形例第三實(shí)施例和第四實(shí)施例以輸入了灰度圖像和距離圖像這兩者為前提。然而,在其它實(shí)施例中,可以僅輸入灰度圖像和距離圖像中的一個(gè)。在這種情況下,第三實(shí)施例和第四實(shí)施例中所述的處理僅需應(yīng)用于所輸入的該一個(gè)圖像即可。第三實(shí)施例和第四實(shí)施例的第二變形例在第三實(shí)施例和第四實(shí)施例中,在處理的序列期間,幾何特征分組單元5304將采樣點(diǎn)分類成組。然后,可以針對(duì)各視點(diǎn)預(yù)先執(zhí)行該分組處理。在這種情況下,幾何特征分組單元5304基于與從位置姿勢(shì)近似值輸入單元5303所獲取到的位置姿勢(shì)近似值最接近的視點(diǎn)來獲取預(yù)先執(zhí)行的分組處理的結(jié)果。將針對(duì)各視點(diǎn)預(yù)先獲得的分組結(jié)果存儲(chǔ)在諸如形狀模型保持單元5302等的適當(dāng)存儲(chǔ)器中。第三實(shí)施例和第四實(shí)施例的第三變形例第三實(shí)施例和第四實(shí)施例已經(jīng)說明了如下情況:幾何特征分組單元5304根據(jù)采樣點(diǎn)的Jacobian的相似度來執(zhí)行分組,從而對(duì)預(yù)期具有相似的對(duì)應(yīng)間距離的采樣點(diǎn)進(jìn)行分組。然而,采樣點(diǎn)的分組方法不限于根據(jù)Jacobian的相似度的分組方法。例如,假定設(shè)置在三維形狀模型的線或面上的采樣點(diǎn)中的與線或面的相似角度或位置相對(duì)應(yīng)的采樣點(diǎn)預(yù)期具有相似的對(duì)應(yīng)間距離。然后,可以執(zhí)行分組,以使得將與線或面的相似角度或位置相對(duì)應(yīng)的采樣點(diǎn)分類到同一組。第三實(shí)施例和第四實(shí)施例的第四變形例在第三實(shí)施例和第四實(shí)施例中,使用設(shè)置在三維形狀模型上的采樣點(diǎn)作為三維形狀模型的幾何特征以提供關(guān)聯(lián)處理的基準(zhǔn)。然而,幾何特征不限于采樣點(diǎn),并且可以使用任何其它幾何特征,只要可以搜索到圖像上的特征與三維形狀模型上的特征之間的對(duì)應(yīng)關(guān)系即可。例如,代替采樣點(diǎn)而可以使用三維形狀模型的線或面本身作為幾何特征,并且將這些線或面與圖像上的相似特征相關(guān)聯(lián),由此計(jì)算對(duì)應(yīng)間距離。在這種情況下,對(duì)幾何特征進(jìn)行分組,以使得將與線或面的相似Jacobian或相似角度或位置相對(duì)應(yīng)的幾何特征分類到同一組。第五實(shí)施例本實(shí)施例將說明第三實(shí)施例和第四實(shí)施例(包括變形例)的信息處理設(shè)備5300的應(yīng)用示例。在信息處理設(shè)備5300的一個(gè)應(yīng)用示例中,基于從攝像裝置5310獲得的二維圖像和距離圖像來估計(jì)被測(cè)物體的位置姿勢(shì)。工業(yè)機(jī)器人臂把持該物體。以下將參考圖14來說明該示例。圖14是示出使用信息處理設(shè)備5300和機(jī)器人5620來把持被測(cè)物體5610的機(jī)器人系統(tǒng)的結(jié)構(gòu)的示例。機(jī)器人5620由機(jī)器人控制器5630來控制,使機(jī)器人臂的手部移動(dòng)至機(jī)器人控制器5630所指定的位置,并且以機(jī)器人控制器5630所指定的姿勢(shì)把持物體。由于每次將被測(cè)物體5610放置在作業(yè)臺(tái)上時(shí)該物體的位置姿勢(shì)改變,因此必須估計(jì)被測(cè)物體5610的當(dāng)前位置姿勢(shì),并且必須執(zhí)行以所估計(jì)出的姿勢(shì)把持位于所估計(jì)出的位置處的物體所需的把持控制。攝像裝置5310設(shè)置在工業(yè)用機(jī)器人臂的手部中可以拍攝被測(cè)物體5610的圖像的位置處。信息處理設(shè)備5300基于從攝像裝置5310獲得的二維圖像和距離圖像來估計(jì)被測(cè)物體5610的位置姿勢(shì)。將信息處理設(shè)備5300所估計(jì)出的被測(cè)物體5610的位置姿勢(shì)輸入(輸出)至機(jī)器人控制器5630。機(jī)器人控制器5630對(duì)機(jī)器人5620(機(jī)器人臂)進(jìn)行控制以把持位于所輸入的位置姿勢(shì)的被測(cè)物體5610。因而,即使在被測(cè)物體的位置不確定的情況下,機(jī)器人系統(tǒng)也可以通過執(zhí)行位置姿勢(shì)估計(jì)來把持該被測(cè)物體。第六實(shí)施例包括在圖11所示的信息處理設(shè)備5300中的所有單元可以利用硬件組件來實(shí)現(xiàn)。然而,圖像輸入單元5301、幾何特征分組單元5304、位置姿勢(shì)近似值輸入單元5303、關(guān)聯(lián)單元5305、關(guān)聯(lián)評(píng)價(jià)單元5306和位置姿勢(shì)估計(jì)單元5307可以由軟件來實(shí)現(xiàn),并且形狀模型保持單元5302可以由存儲(chǔ)器來實(shí)現(xiàn)。在這種情況下,將該軟件(計(jì)算機(jī)程序)安裝在具有該存儲(chǔ)器的諸如PC等的計(jì)算機(jī)中,并且該計(jì)算機(jī)的CPU執(zhí)行該軟件,由此實(shí)現(xiàn)這些單元的操作。第三實(shí)施例至第六實(shí)施例已經(jīng)說明了各種信息處理設(shè)備及其應(yīng)用示例。然而,這種信息處理設(shè)備僅是以下結(jié)構(gòu)的實(shí)施例:即,一種信息處理設(shè)備,用于通過使設(shè)置在被測(cè)物體的形狀模型上的多個(gè)幾何特征與包括該被測(cè)物體的圖像相關(guān)聯(lián)來估計(jì)該被測(cè)物體的位置姿勢(shì)。然后,該信息處理設(shè)備可以將形狀模型上的幾何特征分類成多個(gè)組(幾何特征分類),在圖像中搜索形狀模型上的幾何特征的對(duì)應(yīng),并且計(jì)算幾何特征和對(duì)應(yīng)之間的對(duì)應(yīng)間距離(關(guān)聯(lián))。然后,該設(shè)備可以針對(duì)幾何特征的各組來評(píng)價(jià)對(duì)應(yīng)(對(duì)應(yīng)評(píng)價(jià)),并且基于對(duì)應(yīng)間距離和對(duì)應(yīng)評(píng)價(jià)結(jié)果來估計(jì)被測(cè)物體的位置姿勢(shì)。注意,基于所計(jì)算出的位置姿勢(shì),可以對(duì)具有包括轉(zhuǎn)動(dòng)軸和/或平移軸的可動(dòng)軸的機(jī)器人進(jìn)行操作。此外,無需估計(jì)位置和姿勢(shì)這兩者,并且可以僅估計(jì)這兩者中的一個(gè)。其它實(shí)施例還可以通過讀出并執(zhí)行記錄在存儲(chǔ)器裝置上的程序以進(jìn)行上述實(shí)施例的功能的系統(tǒng)或設(shè)備的計(jì)算機(jī)(或者CPU或MPU等裝置)和通過下面的方法來實(shí)現(xiàn)本發(fā)明的各方面,其中,系統(tǒng)或設(shè)備的計(jì)算機(jī)通過例如讀出并執(zhí)行記錄在存儲(chǔ)器裝置上的程序以進(jìn)行上述實(shí)施例的功能來進(jìn)行上述方法的各步驟。由于該原因,例如經(jīng)由網(wǎng)絡(luò)或者通過用作存儲(chǔ)器裝置的各種類型的記錄介質(zhì)(例如,計(jì)算機(jī)可讀介質(zhì))將該程序提供給計(jì)算機(jī)。盡管已經(jīng)參考典型實(shí)施例說明了本發(fā)明,但是應(yīng)該理解,本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋,以包含所有這類修改、等同結(jié)構(gòu)和功能。
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1