專(zhuān)利名稱(chēng)：用于對(duì)象模型與三維點(diǎn)云相匹配的方法
用于對(duì)象模型與三維點(diǎn)云相匹配的方法本發(fā)明涉及一種用于對(duì)象模型與三維點(diǎn)云相匹配的方法，其中點(diǎn)云借助立體方法 由兩個(gè)圖像生成并且將聚類(lèi)方法應(yīng)用于該點(diǎn)云上，以便識(shí)別分別與一個(gè)群相關(guān)的點(diǎn)，并且 其中接著執(zhí)行模型匹配，其中至少一個(gè)對(duì)象模型與至少一個(gè)群疊加并且確定對(duì)象模型相對(duì) 于該群的最優(yōu)位置，以及其中借助匹配的對(duì)象模型校正點(diǎn)的偽相關(guān)(Fehlzuordrumg)。為了對(duì)象的識(shí)別及其三維位置確定，使用了對(duì)象模型。在對(duì)象模型與3D點(diǎn)云相
匹配時(shí)，已知的方法(Schmidt，J.，W0hlei*，c，Kriiger，L,G0vert, Τ.，Hermes, C, 2007
年.3D Scene Segmentation and Object Tracking inMultiocular Image Sequences. Proc. Int. Conf. on Computer VisionSystems (ICVS), Bielefeld, Germany)通常導(dǎo)致含糊 性(偽正相關(guān))。對(duì)象在點(diǎn)云中多次被發(fā)現(xiàn)，盡管并非經(jīng)常存在該情況或者根本不存在該 情況。涉及模型匹配的另一問(wèn)題是匹配的不精確性。目前常用的立體方法基于對(duì)在左邊圖 像中和在右邊圖像中的特征的搜索(邊、點(diǎn)、角部、像素塊等等)并且接著將相同/相似特 征彼此相關(guān)?？商孢x地，局部圖像窗的內(nèi)容通常也在其相似性方面進(jìn)行檢查。所謂的差異 值通過(guò)確定在左邊圖像和右邊圖像中彼此間相關(guān)的特征或圖像窗的偏移來(lái)確定。在被校準(zhǔn) 的攝像機(jī)系統(tǒng)的前提條件下，通過(guò)三角測(cè)量接著根據(jù)差異值可以將深度值與相關(guān)的像素相 關(guān)。在一些情況中，由于錯(cuò)誤的相關(guān)而出現(xiàn)錯(cuò)誤的深度值。在基于邊的立體方法中，這通常 出現(xiàn)在圖像中的重復(fù)結(jié)構(gòu)譬如手指、森林等的情況下。由偽相關(guān)形成的3D點(diǎn)稱(chēng)作偽對(duì)應(yīng)或 者離群值。根據(jù)特征的選擇，經(jīng)?；蚨嗷蛏俚爻霈F(xiàn)這種效應(yīng)，但在沒(méi)有進(jìn)一步假定的情況下 基本上不能被排除。偽對(duì)應(yīng)對(duì)于對(duì)象模型的匹配有不利影響，因?yàn)槠鋵?dǎo)致通過(guò)3D點(diǎn)云對(duì)該 場(chǎng)景的表征的劣化。在本文獻(xiàn)中公開(kāi)了不同的方法，其專(zhuān)注于偽對(duì)應(yīng)的問(wèn)題。這些方法的大部分嘗 試識(shí)別離群值，以便隨后消除離群值。在此不利的是3D點(diǎn)的數(shù)目變得更少或者由此造成 的信息損失。其他方法[Hirschmuller，H.，2005 年，Accurate and Efficient Stereo Processing by Semi-Global Matchingand Mutual Information, Proc. IEEE Conf. On Computer Vision andPattern Recognition, San Diego,USA.]又嘗試，例如通過(guò)假定部分 平坦的表面來(lái)克服該問(wèn)題。由于這種平坦性假定，不再可以識(shí)別精細(xì)的結(jié)構(gòu)，這導(dǎo)致信息損 失。此外，該方法僅僅在實(shí)際能期望是平坦的表面的地方提供良好的結(jié)果。本發(fā)明的任務(wù)是提出一種用于對(duì)象模型與三維點(diǎn)云相匹配的改進(jìn)的方法。該任務(wù)根據(jù)本發(fā)明通過(guò)具有權(quán)利要求1的特征的方法來(lái)解決。有利的改進(jìn)方案是從屬權(quán)利要求的主題。在根據(jù)本發(fā)明的用于對(duì)象模型與三維點(diǎn)云相匹配的方法中，點(diǎn)云借助立體方法由 兩個(gè)圖像生成并且將聚類(lèi)方法應(yīng)用于該點(diǎn)云上，以便識(shí)別分別與一個(gè)群相關(guān)的點(diǎn)。為了生成三維點(diǎn)云，可以使用任意的立體方法，尤其是空間-時(shí)間立體方法， 如在[Schmidt, J. Wohler, C.，Kruger, L.，Govert, Τ. Hermes, C. 2007 年.3D Scene Segmentation and Object Tracking in MultiocularImage Sequences. Proc. Int. Conf. On Computer Vision Systems (ICVS), Bielefeld, Germany]中進(jìn)行了描述。在通過(guò)引用結(jié)合于此的文獻(xiàn)中也描述了一種聚類(lèi)方法，其例如可以使用在根據(jù)本發(fā)明的方法中。在聚類(lèi)時(shí)，點(diǎn)云的被假定屬于相同對(duì)象的點(diǎn)被匯總為所謂的群。在聚類(lèi)之后進(jìn)行模型匹配，其中至少一個(gè)對(duì)象模型與至少一個(gè)群疊加并且確定 對(duì)象模型相對(duì)于該群的最優(yōu)位置。在此，尤其是可以使用模型匹配方法，如在[Zhang， Ζ.1992 年.Iterative Point Matching for Registrationof Free-Form Curves, INRIA Technical Report 1658]中進(jìn)行了描述，其通過(guò)引用結(jié)合于此。由于模型匹配可以識(shí)別并且消除與一個(gè)群錯(cuò)誤相關(guān)的點(diǎn)。同樣，將錯(cuò)誤地在所觀 察的群之外被孤立的或者在其他群中的點(diǎn)(所謂的離群點(diǎn))相關(guān)地識(shí)別為所觀察的群并且 相應(yīng)地校正相關(guān)。此外，由兩個(gè)圖像的至少一個(gè)生成所謂的概率圖，其以下如在該文獻(xiàn)中通常稱(chēng)作 Sm (Attention-map) 。白勺[Tanaka, Μ. ，Hotta, K. ，Kurita, Τ. ，Mishima, Τ.,2008, Dynamic Attention Map by Ising Modelfor Human Face Detection, Int. Conf.]中詳細(xì)地進(jìn)行了描述。該公開(kāi)內(nèi)容同樣通過(guò)引用結(jié)合于此。為了生成注意圖， 使用了分類(lèi)器，例如在[\V0hler，C.，Anlauf，J. K.，1999 年· A Time Delay Neural Network Algorithm forEstimating Image-pattern Shape and Motion, Image and VisionComputing 17，第281-294頁(yè)]中所描述的TDNN。該公開(kāi)內(nèi)容也通過(guò)引用結(jié)合于此。 分類(lèi)器事先借助示例圖像來(lái)訓(xùn)練。借助注意圖可以表明在場(chǎng)景中是否存在與示例圖像相似 的對(duì)象或者在該場(chǎng)景中存在多少對(duì)象。此外，注意圖能夠表明這種對(duì)象多大可能地在確定 的位置上。注意圖現(xiàn)在支持性地在聚類(lèi)方法中和/或在模型匹配中被考慮。在聚類(lèi)方法中， 注意圖用于選擇對(duì)隨后的模型匹配合適的群。在模型匹配中，尤其是可以使用注意圖來(lái)計(jì) 算對(duì)象模型的初始姿態(tài)，從該姿態(tài)開(kāi)始進(jìn)行模型匹配。由此，改進(jìn)了模型匹配的收斂特性。 良好的初始化在模型匹配中還導(dǎo)致繞過(guò)局部最小值的問(wèn)題，這些局部最小值會(huì)導(dǎo)致次優(yōu)的 匹配?？梢詧?zhí)行根據(jù)本發(fā)明的方法的多次迭代，其中在校正偽相關(guān)之后反饋到立體方法 中，以便在此不僅針對(duì)該點(diǎn)而且必要時(shí)針對(duì)其他所涉及的點(diǎn)改進(jìn)對(duì)應(yīng)相關(guān)。在此，對(duì)于每個(gè) 點(diǎn)可以確定其在三維點(diǎn)云中停留地點(diǎn)的概率，因?yàn)槠浔仨毐M可能地在與對(duì)象模型類(lèi)似的對(duì) 象或群的表面上。以此方式在以立體方法形成對(duì)應(yīng)時(shí)不僅考慮了圖像區(qū)域的相似性而且考 慮了停留地點(diǎn)的概率，由此改進(jìn)了點(diǎn)云的質(zhì)量，因?yàn)槌霈F(xiàn)較少的偽相關(guān)。例如，在考慮彼此 非常相似的手指時(shí)，以較高的概率將點(diǎn)與正確的手指相關(guān)而非與相鄰的手指相關(guān)。以下借助附圖
更為詳細(xì)地闡述了本發(fā)明的一個(gè)實(shí)施例。唯一的附圖示出了用于使對(duì)象模型與三維點(diǎn)云相匹配的方法的一個(gè)實(shí)施例的流 程圖。在該附圖中示出了用于使對(duì)象模型OM與三維點(diǎn)云PW相匹配的方法的一個(gè)實(shí)施例 的流程圖。首先將兩個(gè)立體記錄的圖像Bi、B2輸送給立體方法Si。該方法形成由兩個(gè)圖 像B1、B2的點(diǎn)構(gòu)成的對(duì)應(yīng)對(duì)。結(jié)果是三維點(diǎn)云PW。借助聚類(lèi)方法S2將點(diǎn)云PW分段，即形 成具有相關(guān)的點(diǎn)的群CL。在聚類(lèi)方法S2之后進(jìn)行模型匹配S3，其中至少一個(gè)對(duì)象模型OM與至少一個(gè)群CL 疊加并且確定對(duì)象模型OM相對(duì)于該群CL的最優(yōu)位置。
4
借助現(xiàn)在在其位置和姿態(tài)方面所識(shí)別的對(duì)象0在偽相關(guān)的校正S4期間識(shí)別并且 消除與群CL錯(cuò)誤相關(guān)的點(diǎn)。同樣，將錯(cuò)誤地在所觀察的群CL之外被孤立的或者在其他群 CL中的點(diǎn)(所謂的離群值)相關(guān)地識(shí)別為所觀察的群CL并且相應(yīng)地校正相關(guān)，其中形成所 校正的點(diǎn)云PW'和所校正的群CL'。步驟聚類(lèi)方法S2和/或模型匹配S3借助概率圖AM來(lái)支持，該概率圖根據(jù)在本文 獻(xiàn)中的習(xí)慣在下面稱(chēng)作注意圖AM。注意圖AM在生成步驟S6中由兩個(gè)圖像B1、B2的至少之一生成。為了生成注意圖 AM,使用分類(lèi)器KL。該分類(lèi)器KL事先借助示例對(duì)象BO的示例圖像在訓(xùn)練步驟S5中被訓(xùn) 練。借助注意圖AM可以表明在該場(chǎng)景中是否存在與示例對(duì)象BO類(lèi)似的對(duì)象0或者在該場(chǎng) 景中存在多少對(duì)象0。此外，該注意圖能夠表明這種對(duì)象0多大可能地在確定的位置上。在聚類(lèi)方法S2中，注意圖AM用于選擇對(duì)隨后的模型匹配S3合適的群CL。在模型 匹配S3中注意圖AM尤其是可以用來(lái)計(jì)算對(duì)象模型OM的初始姿態(tài)，從該姿態(tài)開(kāi)始進(jìn)行對(duì)象 匹配S3?？梢詧?zhí)行根據(jù)本發(fā)明的方法的多次迭代，如借助虛線所表示的那樣，其中在校正 偽相關(guān)S4之后被反饋到立體方法Sl中。附圖標(biāo)記表
AM注意圖，概率圖
B1，B2圖像
BO示例對(duì)象
CL, CL'群
0對(duì)象
OM對(duì)象模型
PW, PW'點(diǎn)云
Sl立體方法
S2聚類(lèi)方法
S3模型匹配
S4偽相關(guān)的校正
S5訓(xùn)練步驟
S6注意圖的生成步驟
權(quán)利要求
一種用于將對(duì)象模型(OM)與三維點(diǎn)云(PW)相匹配的方法，其中點(diǎn)云(PW)借助立體方法(S1)由兩個(gè)圖像(B1，B2)產(chǎn)生并且將聚類(lèi)方法(S2)應(yīng)用于點(diǎn)云(PW)上，以便識(shí)別分別與一個(gè)群(CL)相關(guān)的點(diǎn)，接著執(zhí)行模型匹配(S3)，在該模型匹配中至少一個(gè)對(duì)象模型(OM)與至少一個(gè)群(CL)疊加并且確定對(duì)象模型(OM)相對(duì)于該群(CL)的最佳位置，借助匹配的對(duì)象模型(OM)執(zhí)行對(duì)點(diǎn)的偽相關(guān)的校正(S4)，其特征在于，借助至少一個(gè)示例對(duì)象(BO)訓(xùn)練的分類(lèi)器(KL)用于由所述圖像(B1，B2)的至少之一生成概率圖(AM)，其中由概率圖(AM)確定在圖像(B1，B2)中的與示例對(duì)象(BO)類(lèi)似的至少一個(gè)對(duì)象(O)的數(shù)目和/或存在概率，其中在聚類(lèi)方法(S2)中和/或在模型匹配(S3)中考慮概率圖(AM)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，借助概率圖(AM)確定對(duì)象模型(OM)的初 始姿態(tài)，從該姿態(tài)開(kāi)始進(jìn)行模型匹配(S3)。
全文摘要
本發(fā)明涉及一種用于將對(duì)象模型(OM)與三維點(diǎn)云(PW)相匹配的方法，其中點(diǎn)云(PW)借助立體方法(S1)由兩個(gè)圖像(B1，B2)產(chǎn)生并且將聚類(lèi)方法(S2)應(yīng)用于點(diǎn)云(PW)上，以便識(shí)別分別與一個(gè)群(CL)相關(guān)的點(diǎn)，接著執(zhí)行模型匹配(S3)，在該模型匹配中至少一個(gè)對(duì)象模型(OM)與至少一個(gè)群(CL)疊加并且確定對(duì)象模型(OM)相對(duì)于該群(CL)的最佳位置，借助匹配的對(duì)象模型(OM)執(zhí)行對(duì)點(diǎn)的偽相關(guān)的校正(S4)，其特征在于，借助至少一個(gè)示例對(duì)象(BO)訓(xùn)練的分類(lèi)器(KL)用于由所述圖像(B1，B2)的至少之一生成概率圖(AM)，其中由概率圖(AM)確定在圖像(B1，B2)中的與示例對(duì)象(BO)類(lèi)似的至少一個(gè)對(duì)象(O)的數(shù)目和/或存在概率，其中在聚類(lèi)方法(S2)中和/或在模型匹配(S3)中考慮概率圖(AM)。
文檔編號(hào)G06T7/00GK101896936SQ200880119955
公開(kāi)日2010年11月24日 申請(qǐng)日期2008年10月2日 優(yōu)先權(quán)日2007年10月9日
發(fā)明者克里斯蒂安·韋勒, 拉爾斯·克呂格爾, 比約恩·巴魯瓦 申請(qǐng)人:皮爾茨公司