專利名稱：從距離圖像確定物體姿勢的方法和系統(tǒng)的制作方法
從距離圖像確定物體姿勢的方法和系統(tǒng)發(fā)明領(lǐng)域本發(fā)明通常涉及計算機圖像，尤其涉及從針對所述物體所獲取的圖 像中確定該物體的姿勢。發(fā)明背景在計算機圖像應(yīng)用中共同的任務(wù)是從獲取的場景的圖像中估計物體的姿勢。在本說明書中，姿勢被定義為物體的6-DOF位置和方向。在雜 亂(例如，不希望有的物體和噪音)和有遮擋(例如由多個重疊的物體 所引起的)的場景中姿勢的估計會是相當(dāng)有挑戰(zhàn)性的。此外，2D圖像和 視頻中姿勢的估計對光照、陰影和缺少特征(例如物體沒有紋理)敏感。從距離圖像(range images)進(jìn)行姿勢的估計不受這些限制，在距離 圖像中每一個像素包括到物體的距離估計。距離圖像可以利用諸如激光 距離掃描儀之類的有源光系統(tǒng)或有源光立體方法獲取。距離圖像經(jīng)常稱 為距離圖(rangemaps)。在下文中，這些兩個術(shù)語是同義詞。如果可獲得物體的3D模型，那么可以利用基于模型的技術(shù)，其中所 述物體的3D模型與場景的圖像或距離圖像相匹配。基于模型的姿勢的估 計己經(jīng)應(yīng)用于諸如物體識別、物體跟蹤、機器人導(dǎo)航和運動檢測之類的 許多應(yīng)用中。姿勢估計中的主要挑戰(zhàn)對于部分遮擋、雜亂場景和大的姿勢變化是 不變的。用于2D圖像和視頻的方法由于對外觀的依賴性和對于光照、陰 影和比例的敏感性，通常不能克服這些問題。最成功的嘗試中有基于整 體外觀的方法和基于局部2D特征的方法。令人遺憾的是，由于那些方法 并不明確地模擬物體構(gòu)造中的局部變化，因此它們通常需要大量的訓(xùn)練 例。利用3D模型的基于模型的表面匹配技術(shù)由于3D掃描儀逐漸降低的成本已經(jīng)變得流行。 一種方法是利用觀察點一致性約束來建立一組觀察點獨立的圖像特征和物體模型之間的對應(yīng)關(guān)系(D.Lowe， "The viewpoint consistency constraint", International Journal of Computer Vision, Volume 1 ， Pages 57-72， 1987)。純粹地基于幾何學(xué)來對準(zhǔn)3D模型的最流行的方法 是迭代最近點(ICP)法，所述方法最近已經(jīng)通過利用幾何描述符得到改 進(jìn)(N. Gelfand， N. Mitra， L. Guibas，和H. Pottmann， "Robust global Registration", Proceeding Eurographics on Geometry Processing, 2005)。 然而，這些方法僅僅用于需要初始的姿勢估計的精密配準(zhǔn)的問題。由于幾何學(xué)哈希法的匹配時間對于視圖數(shù)量不敏感，因此是用于建 立多視圖對應(yīng)和物體姿勢的有效方法。然而，構(gòu)造哈希表耗時，而且匹 配過程對圖像分辨率和表面采樣敏感。另一種方法通過計算主曲率利用曲率特征將3D特征或形狀描述符 禾口距離圖像進(jìn)行匹配(Dorai等，"Cosmos -a representation scheme for 3d free-form objects", PAMI， 19(10): 1115-1130， 1997)。該方法需要表 面是平滑的和兩次可微，因此對噪聲敏感。此外，無法處理被遮擋物體。另一種方法利用"自旋圖像"表面特征標(biāo)記來將表面映像為一個直方 圖 (A. Johnson禾口 M. Hebert， "Using spin images for efficient object recognition in clouttered 3 d scenes" ， PAMI ， 21 (5 ): 433 - 449 ， 1999)。該方法可以對于雜亂場景和被遮擋物體得到較好結(jié)果。但是它們的方法 耗時、對圖像分辨率敏感和可能導(dǎo)致不明確的匹配。另一種方法是從多個無序的距離圖像構(gòu)造一個多維表表示，稱為張 量，并且一個基于哈希表的投票方案被用來將該張量和場景中的物體進(jìn) 行匹配。該方法用于物體識別和圖像分割(A.Mian， M.Bennamoun,和 R. Owens ， "Three-dimensional model-based object recognition and segmentation in cluttered scenes", PAMI, 28 (12): 1584 — 1601， 2006)。 然而，該方法需要精密幾何學(xué)并且有幾分鐘的運行時間，所述方法對實 時應(yīng)用來說是不夠的。發(fā)明內(nèi)容物體姿勢(位置和方向)的估計在許多計算機圖像應(yīng)用中是共同的 任務(wù)。盡管已知有許多方法，大部分方法需要手工初始化和對于光照變 化、形態(tài)變化，和部分遮擋缺乏魯棒性。本發(fā)明的實施方式提供一種用于自動姿勢估計而不用基于相對于場景距離圖像的3D模型形狀的匹配的手工初始化的方法和系統(tǒng)。該方法包 括對輸入距離圖像和不同姿勢的物體的3D模型的預(yù)定參考距離圖像進(jìn) 行比較的誤差函數(shù)。該方法利用圖形硬件的數(shù)據(jù)并行處理性能在許多距 離圖像上并行地評估和最小化該誤差函數(shù)。


圖1是根據(jù)本發(fā)明實施方式從距離圖像確定物體姿勢方法的流程圖；圖2是根據(jù)本發(fā)明實施方式的3D掃描圖像； 圖3是根據(jù)本發(fā)明實施方式的平滑掃描圖像； 圖4是根據(jù)本發(fā)明實施方式的邊緣圖像； 圖5是根據(jù)本發(fā)明實施方式的距離場圖像；圖6是根據(jù)本發(fā)明實施方式的用于擴(kuò)展距離轉(zhuǎn)換的偽代碼的方框圖；圖7-10是根據(jù)本發(fā)明實施方式的進(jìn)行多次迭代的距離場的方框圖； 圖11-13是根據(jù)本發(fā)明實施方式的用于確定誤差值的迭代的方框圖； 圖14是根據(jù)本發(fā)明實施方式的存儲了參考距離圖像的矩陣的方框圖；圖15是根據(jù)本發(fā)明實施方式的參考距離圖像；和 圖16是根據(jù)本發(fā)明的實施方式的輸入距離圖像。
具體實施方式
方法和系統(tǒng)概述圖1圖示了根據(jù)本發(fā)明的一個實施方式的從距離圖像141確定所關(guān) 心的輸入物體110的姿勢的方法和系統(tǒng)100。該方法完全在圖形處理單元(GPU) 104上運行。在GPU上的大量數(shù)據(jù)并行處理使得本方法比更復(fù)雜 的基于CPU的方法更簡單和更有效率。該方法是全自動的，并且不需要 任何初始姿勢推測。即使本發(fā)明比較了數(shù)千個參考圖像，但姿勢確定只 花費大約一秒。因此本方法適合用于實時應(yīng)用。姿勢可以用于其他應(yīng)用，例如，那些用機械方法操作物體的機器人 應(yīng)用。預(yù)處理在預(yù)處理期間，所關(guān)心的參考物體101被掃描110a來構(gòu)造115a參 考物體的詳細(xì)3D模型111。參考物體101與輸入物體110相似。模型111 還可以通過諸如CAD系統(tǒng)之類的其它方式構(gòu)造。模型可以是多邊形網(wǎng)格 頂點形式。模型lll以許多不同姿勢被渲染(render) 120來產(chǎn)生一組參 考距離圖像121。實際上，本發(fā)明可以使用數(shù)千的參考圖像。每個圖像有 64x64個像素。參考距離圖像組121可以保存在GPU 104的存儲器106 中。這些步驟僅執(zhí)行一次。本發(fā)明還可以將邊緣檢測和歐幾里德距離轉(zhuǎn)換(EDT)應(yīng)用于參考 距離圖像121。 EDT在下面被更詳細(xì)地描述。結(jié)果是將本發(fā)明的距離圖 像表示為帶符號的距離場。在線處理在在線姿勢估計期間，場景102 (包括輸入物體110，和其它已知或 未知的物體)被掃描130來產(chǎn)生一個3D掃描131。本發(fā)明利用有源光的 方法，例如， 一個激光距離掃描儀115。然后，本發(fā)明對3D掃描利用中 值濾波器，對平滑的圖像進(jìn)行邊緣檢測，并且確定距離場來產(chǎn)生一個輸 入距離圖像141。注意，由于掃描數(shù)據(jù)是基本上是平滑的，因此本發(fā)明不需要對詳細(xì)掃描進(jìn)行平滑。比較140輸入距離圖像141和參考距離圖像組121來確定在場景102 中物體110的姿勢103。在一種實施方式中，本發(fā)明在GPU 104上利用 下降單純形(downhill simplex)法的并行執(zhí)行。任務(wù)是利用成對比較的誤差最小化在參考距離圖像121和輸入距離 圖像141之間找到最佳匹配。最佳匹配參考距離圖像及其關(guān)于輸入距離圖像141的變換得到輸入物體110姿勢(i,;,;6,^,;)103的6-DOF估計。本發(fā)明描述一個新穎的誤差函數(shù)，所述函數(shù)利用距離值和歐幾里德 距離圖像。如果灰度級或色值是可用的，那么亮度或色梯度也可以被考 慮在誤差函數(shù)中。誤差函數(shù)可以按照每個像素進(jìn)行評估，這使得它適合 于在GPU 104的著色器處理器(shaderprocessor) 105中的有效處理。傳統(tǒng)地，著色器多數(shù)用于計算機圖形學(xué)的應(yīng)用和計算機游戲，由多 邊形模型產(chǎn)生圖形圖像，所述多邊形模型例如，三角網(wǎng)格的頂點、紋理， 和光線配置。典型地，片段著色器對多個像素并行執(zhí)行用戶可編程GPU 代碼。相反，本發(fā)明的并行著色器105從距離圖像141確定物體姿勢。為 了有效地最小化姿勢中的誤差，本發(fā)明提供下降單純形法的新的數(shù)據(jù)并 行方案，所述下降單純形法的新的數(shù)據(jù)并行方案完全在GPU104上執(zhí)行。 J. A. Nelder禾卩R. Mead的"A simplex procedure for function minimization" (The Computer Journal, 7 (4): 308-313， 1965)描述了傳統(tǒng)的下降單純 形法，結(jié)合于本說明書以供參考。本發(fā)明在GPU的著色器處理器中，對 多個像素合適地并行執(zhí)行那些步驟。本發(fā)明的實施方式提供用于在GUP中對相對于輸入距離圖像的兩 個參考距離圖像的對準(zhǔn)進(jìn)行比較的簡單的誤差度量；用于在GPU上確定 圖像的帶符號的歐幾里德距離轉(zhuǎn)換的方法；在GPU上的下降單純形法的 數(shù)據(jù)并行執(zhí)行，和不需要初始推測并且全部在GPU104上執(zhí)行的用于距 離圖像的基于模型的姿勢估計的有效執(zhí)行。距離圖像處理如下所述距離圖像處理步驟也可以在參考距離圖像生成期間執(zhí)行。 本發(fā)明從場景的輸入3D掃描131和參考物體101的3D模型111幵始。 本發(fā)明利用距離掃描儀115。應(yīng)當(dāng)注意，被用來掃描場景102的掃描儀的 分辨率可以遠(yuǎn)低于用于獲取詳細(xì)掃描的掃描儀的分辨率。兩個掃描被分別正交投射到輸入距離圖像141和參考距離圖像121 中。本發(fā)明在這些正交投影圖的觀察點中選擇相同的觀察點，使得它們的視錐(viewing frustum)和圖像分辨率相同。我們知道在掃描儀的物理單位(例如，毫米)之間的比例因子，甚 至3D模型111的單元距離。這些信息是容易地可以從掃描儀制造商處獲 取的。因此，參考物體101的尺寸與輸入距離圖像141中物體110的尺 寸是相同的。本方法不關(guān)心比例差異。圖2圖示了 3D掃描131。通過應(yīng)用實現(xiàn)為片段著色器的具有3x3掩 模的中值濾波器來平滑掃描。片段著色器是用戶可編程GPU碼，它對多 個像素在GPU104上并行執(zhí)行。圖3示出了平滑圖像。在第二GPU渲染過程中，通過比較平滑圖像中相鄰像素的距離值利 用啟發(fā)式算法來檢測物體邊緣。如果距離差超過圖像寬度的4%，那么像 素被標(biāo)記為邊緣。為了連續(xù)處理，被檢測為潛在邊緣的像素用二進(jìn)制比 特做標(biāo)記。邊緣圖像如圖4所示。歐幾里德距離轉(zhuǎn)換(EDT)接下來，本發(fā)明對邊緣圖像應(yīng)用帶符號的歐幾里德距離轉(zhuǎn)換(EDT) 150。所述轉(zhuǎn)換分配給每個像素從該像素到最接近的邊緣像素的符號距 離。在本發(fā)明的一個實施方式中，距離是歐幾里德距離。通過將搜索限 制于參考物體和輸入物體的輪廓(邊緣)，EDT幫助本發(fā)明搜索最佳匹配 參考圖像。這生成了如圖5所示的距離場圖像。在距離場圖像中，在物體內(nèi)部 的像素有正距離，在物體外面的像素有負(fù)距離，而邊緣像素有零距離。 如上所述，參考距離圖像121也是距離場形式。也就是說距離場是指在 圖像平面(x， y)中的范圍(z)。本發(fā)明利用傳統(tǒng)的"往復(fù)式"渲染執(zhí)行EDT，所述"往復(fù)式"渲染 利用兩個RGBA顏色-紋理，并且連續(xù)地轉(zhuǎn)換它們分別作為渲染源和渲染 目標(biāo)的作用。在本發(fā)明的GPU實行中，對于每個顏色通道本發(fā)明利用32 位浮點格式。最初的兩個通道的值表示到目前為止最接近的邊緣像素的 歐幾里德坐標(biāo)，第三通道存儲其帶符號的距離，并且第四通道指示邊緣 像素是否己經(jīng)找到。然后距離場可以與掃描中的距離值組合來產(chǎn)生輸入距離圖像141。圖6示出了本發(fā)明的EDT法的偽代碼。參數(shù)m確定迭代次數(shù)。針對 背景(b)像素，也就是，距離值=0的像素，距離值被初始化為-(w + l),針對于前景(f)像素，也就是，距離值no-O的像素，距離值被初始化 為w + l，并針對全部邊緣(e)像素，距離值被初始化為0。前兩個顏色 通道被初始化為像素(p) (x,"坐標(biāo)。在每次迭代中，將每個像素的距離值與它的八個鄰接像素的值進(jìn)行比較。如果保存在鄰近像素n中的從像素p到邊緣像素e的距離小于存儲 在像素P中的值，則更新當(dāng)前像素p的距離值和坐標(biāo)。在每個步驟中該 信息被迭代的傳播到整個圖像上。圖7圖示了初始化步驟，圖8-10是接 下來的三次迭代。迭代次數(shù)m對應(yīng)于任何像素到它的最接近邊緣的最大 距離。為了全收斂，本發(fā)明選擇m為圖像寬度的一半。然而，為減少處 理時間，本發(fā)明利用每個像素到物體邊緣的距離遠(yuǎn)小于通常情況這樣的 事實。本發(fā)明的方法不需要精確的距離場，近似就足夠了。本發(fā)明憑經(jīng) 驗發(fā)現(xiàn)m = 7對于本發(fā)明利用的64x64圖像足夠了 。誤差函數(shù)本發(fā)明用來將參考距離圖像R 121中的一個與輸入距離圖像I 141進(jìn) 行比較的誤差函數(shù)是Z eco， (", v， x, +義Z ^一 (w， v, X，少，z) ，2 cov er w ,v 鄉(xiāng)'/j " ，v其中覆蓋誤差是、。v》，v,;c,力，距離誤差是s平(",v，;^,z)，詳細(xì)說明見下文。對輸入距離圖像中的坐標(biāo)("，v:)處的每個像素評估誤差項，見下文。參考距離圖像R121中像素的平移值fe乂z)確定它相對于輸入距離圖 像I141的位置。函數(shù)利用權(quán)重X，并對全部圖像像素"v)求和，例如， 人=10。歸一化因子AT。。^和iV，使得誤差獨立于物體和圖像尺寸。如果圖像R與輸入圖像I中可能的被部分遮擋物體對準(zhǔn)，那么誤差是最小的。 覆蓋誤差(cover error)輸入距離圖像五D77 141的像素&v)和在參考距離圖像EDTRl21中 的像素的覆蓋誤差，通過(;c，力平移是]幼7) (w,v)- +a:,v +力l (2)當(dāng)fDrfi(" + x,v + j/)2 0時 0 其他當(dāng)物體輪廓在圖像I和R中匹配時，覆蓋誤差最小。注意僅僅考慮 具有正距離值的參考距離圖像R中的非背景像素。當(dāng) 覆蓋誤差歸一化因子是Wcover = |{(", v) I五i)7^ (" + x, v +力S 0j ( 3 )距離誤差項距離誤差比較在距離圖像五DJ)和中重疊的全部像素的距離 值，因此|z, (w,v)—+x,v + y) +z)| (4)- 當(dāng) ￡/)7} (w,v)^0A￡Z>7;(M + JC,v + y)20 時 0其他注意參考距離圖像五D7^通過(;c，;;)平移，而Z被加到參考距離圖像i 的所有距離值上。距離誤差歸一化因子是{(" IEDZ; (w,v) 20AOTfi (k+x,v+y) 在GPU上的實施在等式(1)中的誤差函數(shù)完全在GPU 104上計算。利用片段著色器105，像素層次的比較非?？?，尤其對于低分辨率圖像。在第一步驟，輸入距離圖像/和參考距離圖像及被保存在GPU的存儲器106中。片段 著色器IO5針對每一個像素求得誤差項^v》,v,u)和、》,v,x,w)。兩個二進(jìn)制位"。_和"，，分別用于等式(3)和等式(5)的歸一化因子，表示誤差值已被計算。將全部值存儲到GPU的紋理映射S的32 位顏色通道中。在第二步驟，在紋理映射S的全部像素上對誤差值求和，并且計算 出最終誤差，對于每次最優(yōu)化迭代都執(zhí)行該求和。本發(fā)明在GPU上利用在紋理映射s和臨時紋理r之間的往復(fù)式渲染實施該方法。通過從紋理s到r的渲染，從步長s-i開始，像素(",v)的一個顏色通道存儲像素 )值的總和。接著，s在每次迭代中被加倍，并且S和r被交換，如圖11-13所示的。在每次迭代 k中，當(dāng)前像素(打點的)204的信息被從在距離^-2/t的左上方(豎直 線)201，右上方(水平線)202，和右側(cè)(斜線)203鄰近像素收集。在 s^og(/)步驟210后，誤差函數(shù)的最終結(jié)果被存儲在像素(0， 0) 204處，其中/是以像素數(shù)量為單位的圖像寬度。這個過程對于本發(fā)明的方形圖像 非常有效率。并行優(yōu)化結(jié)構(gòu) 誤差優(yōu)化的目的是找到姿勢參數(shù)<formula>formula see original document page 13</formula>其從全局上最小化輸入距離圖像和參考距離圖像之間的誤差。從而，本發(fā)明解決接下來的6-DOF優(yōu)化問題<formula>formula see original document page 13</formula>步驟/(6)步驟2其中R是用旋轉(zhuǎn)角W^,的渲染的3D模型的參考距離圖像。步驟1針對平移值(;c，;^)使用下降單純形法，確定每個參考距離圖像和輸入距離圖像之間的誤差，參見Ndder等。步驟2選擇具有最低全局誤差的參考 距離圖像A的相關(guān)姿勢。結(jié)果是在場景102中輸入物體110的估計姿勢103。、 乂如圖14所圖示，在預(yù)處理期間，本發(fā)明確定一個較大的紋理，參考 紋理矩陣1400，來存儲全部參考距離圖像。參考距離圖像的數(shù)量影響本 發(fā)明姿勢估計方法的精度和速度。本發(fā)明存儲的參考距離圖像越多，本 發(fā)明的角度姿勢估計就越好并且該方法就越慢?？梢源鎯Φ膮⒖紙D像數(shù) 量還依賴于紋理存儲器的大小。為處理這個問題，本發(fā)明利用貪婪單純形法。本發(fā)明利用正交投影 來渲染物體，并存儲Z-緩沖器作為參考距離圖像。然后，本發(fā)明通過具 有非常小旋轉(zhuǎn)增量(例如，5度)的(e，AcT)來旋轉(zhuǎn)物體。對于每個新的參考距離圖像，本發(fā)明根據(jù)等式(1)針對先前存儲的全部參考距離圖像計 算誤差。如果誤差大于用戶定義的閾值，則本發(fā)明將該距離圖像添加到 參考紋理矩陣。由于本發(fā)明不替換而僅僅是添加參考距離圖像，因此本 發(fā)明只需隨著逐漸地增大的閾值以數(shù)量較小的次數(shù)來執(zhí)行單純形法，直 到本發(fā)明能夠?qū)⑷烤嚯x圖像與參考紋理矩陣匹配。本發(fā)明可以通過利 用動態(tài)編程來提高性能。 初始參數(shù)可以通過選擇適當(dāng)?shù)某跏紖?shù)來顯著減少為使下降單純形法收斂的下降(downhill)步驟的迭代次數(shù)。由于單純形法可以終止于局部最小值，本發(fā)明通過對分別對應(yīng)于物體的重心的圖像及和圖像/中的像素1501和 1601進(jìn)行定位來估計初始參數(shù)(x。，y。，z。)，如圖15和16所圖示。如果輸入圖像/包括多個物體，則本發(fā)明選擇最接近掃描儀的物體， 也就是說，具有最大z值的圖像。本發(fā)明利用接下來的啟發(fā)式法。對于 每個距離圖像，本發(fā)明將重心(w,》初始化為第一像素，并在全部像素(r，》上進(jìn)行迭代。當(dāng)滿足以下條件時本發(fā)明將(w，v)更新為新的像素位置<formula>formula see original document page 14</formula> (7)EDT項促使結(jié)果通常是物體的中心，而z項促使結(jié)果是最接近掃描儀。那么，初始平移參數(shù)是<formula>formula see original document page 14</formula> (8)如果通過對準(zhǔn)距離圖像來確定參數(shù)的初始估計，則下降單純形法在大約30到40次迭代后收斂。如果找到重心，迭代次數(shù)減少二分之一。 在GPU上的數(shù)據(jù)并行下降單純形法為了并行執(zhí)行GPU 104的下降單純形法，將附加掃描線1401添加 到參考紋理矩陣1400中的每個參考距離圖像中，參見圖14。本發(fā)明利用 這些掃描線來存儲下降單純形算法的參數(shù)和在不同顏色通道的誤差值。單純形頂點被初始化為<formula>formula see original document page 14</formula>和(;c。，y。,z。+^，其中;c。， h和z。是上面描述的初始參數(shù)。本發(fā)明根據(jù)經(jīng)驗 確定最優(yōu)步長(1的值是圖像寬度的5%，以像素為單位。利用三個片段著色器程序來執(zhí)行優(yōu)化法，所述三個片段著色器程序 在64x64圖像上的96個著色器處理器中并行運行。第一著色器執(zhí)行如 Nelder等描述的實際下降單純形算法。第二著色器計算等式(3)和(4) 的誤差項，而第三著色器計算最終誤差值。對下降單純形算法的每個新 迭代執(zhí)行這個循環(huán)。最后，全部參考距離圖像的最上面的掃描線通過CPU讀出。具有最低誤差的參考距離圖像的姿勢參數(shù)f:;,;u;;，A是物體的姿、 乂勢103。本發(fā)明的效果本發(fā)明的方法從距離圖像確定物體姿勢，所述方法利用GPU的并行 性。本發(fā)明可以在復(fù)雜場景中對物體進(jìn)行定位并不需要初始推測就能正 確地估計它們的姿勢。本發(fā)明的方法不受局部最小值的影響，因為本發(fā) 明針對全部參考距離圖像計算誤差，然后選擇用于姿勢確定的最佳圖像。雖然本發(fā)明已經(jīng)通過優(yōu)選實施方式的實施例來描述，但是可以理解 在本發(fā)明的精神和范圍內(nèi)可以進(jìn)行各種其它適應(yīng)和修改。因此，所附權(quán) 利要求的目的是要覆蓋屬于本發(fā)明的真實精神和范圍內(nèi)的所有這類變形 和修改。
權(quán)利要求
1. 一種根據(jù)距離圖像確定物體姿勢的方法，該方法包括以下步驟將針對包括輸入物體的場景所獲取的輸入距離圖像與參考物體的多個參考距離圖像中的每一個進(jìn)行比較(104)，使得每個參考距離圖像具有相關(guān)聯(lián)的不同姿勢，并且所述參考物體與所述輸入物體相似；及選擇(104)與所述輸入距離圖像最佳匹配的所述參考距離圖像的相關(guān)聯(lián)姿勢作為所述場景中所述輸入物體的姿勢。
2、 如權(quán)利要求1所述的方法，該方法還包括以下步驟掃描(llOa， 115a)所述參考物體以構(gòu)建所述參考物體的3D模型；及按照所述多個不同姿勢渲染(120)所述3D模型以生成參考距離圖像組。
3、 如權(quán)利要求l所述的方法，該方法還包括以下步驟-掃描(130， 131)所述場景以獲取所述輸入物體的掃描，所述掃描具有距離值；使所述掃描平滑(140a)以產(chǎn)生平滑掃描； 在所述平滑掃描中檢測邊緣以產(chǎn)生距離場輸入圖像；及 將所述距離場輸入圖像與所述掃描的所述距離值進(jìn)行組合(140a)，以生成所述輸入距離圖像。
4、 如權(quán)利要求l所述的方法，其中利用下降單純形法選擇最佳匹配 參考距離圖像。
5、 如權(quán)利要求1所述的方法，其中對參考距離圖像R和輸入距離圖像I之間的比較利用如下誤差函數(shù) s(/，i ,x，j，z)二Z Scov er (", V, X，少)+義S ^一 ("， V， X, h Z)JV cov" w，v dep/A w，v ,其中覆蓋誤差是^w(",v,;c，力，距離誤差是e—(",v,;c,p)， ("，v)是在 所述輸入距離圖像中的像素坐標(biāo)，(;cj,z)是在所述參考距離圖像組中的像素坐標(biāo)，X是權(quán)重，AL 和iV—。。是歸一化因子
6、如權(quán)利要求5所述的方法，其中對于歐幾里德距離變換(EDT)， 所述輸入距離圖像的像素("，》與所述參考距離圖像中的像素"，乂乃的覆f"r, (w, v) — ￡"7^ (w + ;c, v + })|當(dāng) (w + ;c,v + y)20時，0 其他。
7、如權(quán)利要求5所述的方法，其中當(dāng)所述輸入距離圖像中的所述輸 入物體的輪廓和所述參考圖像中的所述參考物體的輪廓匹配時，所述覆
8、 如權(quán)利要求5所述的方法，其中所述覆蓋誤差歸一化因子是 L = |{("，v) I度* (" + x, v +余。S 。
9、 如權(quán)利要求5所述的方法，其中距離誤差是z, (w,v)-(z" (w +當(dāng) ￡￡ 7} (M,v)2 0A￡;Z)rfi (w + x,v + ;/)20時， 0其他。
10、 如權(quán)利要求9所述的方法，其中，所述距離誤差對所述參考距 離圖像R和所述輸入距離圖像I中重疊的所有像素的值進(jìn)行比較。
11、 如權(quán)利要求5所述的方法，其中所述距離誤差歸一化因子是((w,v)IED!7;(w,v)^A^H^(w+;c,v+y)一l 。
12、如權(quán)利要求5所述的方法，其中最佳匹配使誤差函數(shù)最小化， 所述誤差函數(shù)是A A A A A A'x， 乂 z,《p，"arg* mm"々e(/，&伊。，;c,少,z)步驟7步驟2其中i 是以旋轉(zhuǎn)角度W^cr)渲染的3D模型的參考距離圖像，并且步驟1針對平移值(^,z)利用下降單純形法確定每個參考距離圖像和所 述輸入距離圖像之間的誤差，步驟2選擇具有最低全局誤差的參考距離 圖像^的相關(guān)聯(lián)姿勢。
13、 如權(quán)利要求12所述的方法，其中通過分別對應(yīng)于所述參考物體 和所述輸入物體的重心、對^EBff^參考距離圖像R和所述輸A^離圖像I中 的像素進(jìn)行定位來最小化誤差函數(shù)的參數(shù)。
14、 如權(quán)利要求1所述的方法，其中所述場景包括多個物體，并且 所述方法還包括以下步驟選擇所述場景中的最接近的物體作為所述輸入物體。
15、 如權(quán)利要求1所述的方法，其中將歐幾里德距離變換應(yīng)用于每 個輸入距離圖像。
16、 如權(quán)利要求1所述的方法，其中在圖形處理單元中執(zhí)行所述比 較步驟。
17、 如權(quán)利要求1所述的方法，其中在圖形處理單元的多個著色器 處理器中將多個參考距離圖像與所述輸入距離圖像并行地進(jìn)行比較。
18、 一種從距離圖像確定物體姿勢的系統(tǒng)，該系統(tǒng)包括 用于獲取包括輸入物體的場景的輸入距離圖像的獲取裝置(115,130， 131, l德)；連接到所述獲取裝置的裝置(104)，其用于對所述輸入距離圖像和 參考物體的多個參考距離圖像中的每一個進(jìn)行比較，使得每個參考距離 圖像具有相關(guān)聯(lián)的不同姿勢，并且所述參考物體與所述輸入物體相似； 以及用于選擇與所述輸入距離圖像最佳匹配的參考距離圖像的相關(guān)聯(lián)的 姿勢作為所述場景中所述輸入物體的姿勢的裝置(104)。
19、 如權(quán)利要求18所述的系統(tǒng)，該系統(tǒng)還包括 配置為對所述輸入距離圖像和所述多個參考距離圖像并行進(jìn)行操作的圖形處理單元的多個著色器處理器(105)。
全文摘要
一種通過對獲取的包括輸入物體的場景的輸入距離圖像和參考物體的一組參考距離圖像中的每一個進(jìn)行比較來確定物體姿勢的方法和系統(tǒng)，使得每個參考距離圖像具有相關(guān)聯(lián)的不同姿勢，并且參考物體和輸入物體相似。然后，與輸入距離圖像最佳匹配的參考距離圖像關(guān)聯(lián)的姿勢被選作為輸入物體的姿勢。
文檔編號G06K9/62GK101295363SQ20081009517
公開日2008年10月29日 申請日期2008年4月15日 優(yōu)先權(quán)日2007年4月23日
發(fā)明者漢斯皮特·菲斯特, 邁克爾·D·布賴騰施泰因, 馬塞爾·格爾曼 申請人:三菱電機株式會社