一種基于cad模型與單目視覺的物體位姿測量方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種基于CAD模型與單目視覺的物體位姿測量方法,屬于視覺測量領(lǐng) 域。
【背景技術(shù)】
[0002] 隨著工業(yè)機器人的發(fā)展,基于視覺伺服的機器人/機械臂作業(yè)在越來越多的場景 得到應(yīng)用,是目前"機器換人",產(chǎn)業(yè)轉(zhuǎn)型的核屯、問題。但當(dāng)前的工業(yè)視覺系統(tǒng)因為技術(shù)和成 本限制,對S維物體的精確定位尚無較好的簡易解決方案,導(dǎo)致目前的視覺伺服系統(tǒng)主要 應(yīng)用在兩方面:一是目標(biāo)物體形狀規(guī)則且扁平的場景,可W通過外輪廓來精確定位;二是 對識別精度要求不高,具有較大抓取誤差容許的場景,如食品打包、碼煤等。但是對于形狀 結(jié)構(gòu)復(fù)雜需要=維精確定位的應(yīng)用場景則只能依賴高價的激光等傳感器,無法實現(xiàn)普遍應(yīng) 用推廣。
[0003] 在W往的利用單目視覺對目標(biāo)進行S維位姿測量的方法中,需要將攝像機固定在 運動載體上,攝像機在不同位置下拍攝兩幅圖像,根據(jù)圖像上的匹配點和對極幾何約束計 算本征矩陣,通過對本征矩陣進行SVD分解,來得到攝像機在拍攝兩幅圖像時的位置關(guān)系。 但該樣得到的計算結(jié)果并不唯一,需要參考固定攝影機載體的運動控制參數(shù)來確定攝像機 運動的正解。在工業(yè)應(yīng)用中運動載體控制參數(shù)不可知或者根本沒有運動載體的情況下,此 類方法并不可行。
【發(fā)明內(nèi)容】
[0004] 本發(fā)明的目的是針對現(xiàn)有的單目視覺測量中存在的不足,提供一種基于CAD模型 與單目視覺的物體位姿測量方法。
[0005] 基于CAD模型與單目視覺的物體位姿測量方法的步驟如下:
[0006] (1)獲取物體的CAD模型;
[0007] (2)將單個攝像機固定在工作區(qū)域上方,對攝像機進行內(nèi)參數(shù)標(biāo)定,得到攝像機的 內(nèi)參數(shù)和崎變系數(shù),設(shè)定世界坐標(biāo)系,W工作臺作為Z = 0的平面,得到攝像機的外參數(shù)[Ri ti],即攝像機坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)和平移變換,其中Ri表示旋轉(zhuǎn)矩陣,11表示 平移向量;
[000引 (3)將物體放置在視野中央,拍攝目標(biāo)物體的標(biāo)準(zhǔn)模板圖像;
[0009] (4)攝像機在線實時拍攝獲取當(dāng)前放置位姿下物體的圖像,設(shè)物體當(dāng)前的位姿為 Pw,物體在進行模板拍攝時的位姿為P〇,Pw聲P。;
[0010] (5)利用基于尺度不變、旋轉(zhuǎn)不變的特征提取算法,得到當(dāng)前拍攝圖像和模板圖像 中的特征點描述信息,根據(jù)圖像的特征點描述信息對兩幅圖像進行粗匹配,得到N對匹配 的特征點對,調(diào)整特征提取算法的參數(shù),使得得到至少8對W上匹配特征點;
[ocm] (6)根據(jù)步驟(5)兩幅圖像中至少8對W上的匹配特征點對,利用RANSAC算法計 算兩幅圖像之間的基礎(chǔ)矩陣F,根據(jù)基礎(chǔ)矩陣F和對極幾何的極線約束剔除步驟(5)中的誤 匹配點,得到精匹配結(jié)果;
[001引(7)根據(jù)當(dāng)前目標(biāo)物體圖像和模板圖像,已知攝像機內(nèi)參數(shù),假設(shè)物體位姿固定不 變,得到拍攝兩幅圖像時攝像機的外參數(shù),就可W對目標(biāo)物體進行=維重建,為計算當(dāng)前物 體在世界坐標(biāo)系中的放置位姿,假設(shè)物體W當(dāng)前位姿固定放置,模板圖像由攝像機運動拍 攝得到,攝像機的位置相對當(dāng)前固定位置的旋轉(zhuǎn)變換為R,平移變換為t,為方便描述,下文 中W模板拍攝攝像機代指該攝像機運動假設(shè)中模板拍攝位置的攝像機,設(shè)模板拍攝攝像機 的外參數(shù)為[R2 t,],即模板拍攝攝像機坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)平移變換,其中R, 表示旋轉(zhuǎn)矩陣,t2表示平移向量;
[001引 做根據(jù)模板拍攝攝像機運動假設(shè),已知固定攝像機外參數(shù),需要求解模板拍攝攝 像機的外參數(shù)[R2 t,],通過基于特征匹配的迭代算法,完成對模板拍攝攝像機外參數(shù)的估 計,迭代過程包括兩個階段;模板拍攝攝像機的外參數(shù)求解階段和特征點世界坐標(biāo)估計階 段;
[0014] (9)根據(jù)步驟(8)得到的模板拍攝攝像機外參數(shù)[R2 t2]和固定攝像機的外參數(shù) [Ri tj W及圖像信息、攝像機內(nèi)參數(shù),對目標(biāo)物體進行=維重建,得到物體的點云數(shù)據(jù),在 =維重建立體匹配的過程中,由于邊緣點和角點灰度變化明顯,得到的=維點云中會包含 較多的邊緣信息和角點信息;
[0015] (10)將目標(biāo)物體在當(dāng)前位姿下的點云數(shù)據(jù)與物體的CAD模型進行配準(zhǔn),得到測量 的世界坐標(biāo)系和CAD設(shè)計模型坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,從而準(zhǔn)確的得到與物體點云數(shù)據(jù)對 應(yīng)的CAD模型在當(dāng)前世界坐標(biāo)系中的位置和姿態(tài),完成對物體=維位姿的測量。
[0016] 所述的步驟做包括:
[0017] (8-1)迭代過程包括兩個階段;模板拍攝攝像機的外參數(shù)求解階段和特征點世界 坐標(biāo)估計階段;
[0018] (8-2)特征點世界坐標(biāo)初始化;已知固定攝像機的外部參數(shù)[Ri tj和內(nèi)參數(shù)M,給 定特征點景深的初始值,得到當(dāng)前圖像與模板圖像匹配特征點的世界坐標(biāo)初始值{Pl,P2,… P。} ?,其中n表示匹配特征點對的個數(shù);
[0019] (8-3)模板拍攝攝像機外參數(shù)求解階段;根據(jù)模板圖像中特征點的像平面坐標(biāo)和 其對應(yīng)的世界坐標(biāo)點柄,P2,…,PJ W W及攝像機內(nèi)參數(shù)M,通過求解PnP問題,更新模板拍 攝攝像機的外參數(shù)[R2 t2]w;
[0020] (8-4)特征點世界坐標(biāo)計算階段;已知固定攝像機外參數(shù)化ti]、更新后的模板 拍攝攝像機的外參數(shù)[R2 t2]W和攝像機的內(nèi)參數(shù)W及兩幅圖像中匹配特征點對應(yīng)的像坐 標(biāo),根據(jù)S角測量原理,更新特征點的世界坐標(biāo){Pi,P2,…,P。} ;
[0021] (8-5)根據(jù)模板圖像的特征點像坐標(biāo){屯,屯,…,q。}、攝像機內(nèi)參M W及化t2] W, 柄,口2,…,計算重投影誤差:
[0022]
【主權(quán)項】
1. 一種基于CAD模型與單目視覺的物體位姿測量方法,其特征在于:它的步驟如下: (1) 獲取物體的CAD模型; (2) 將單個攝像機固定在工作區(qū)域上方,對攝像機進行內(nèi)參數(shù)標(biāo)定,得到攝像機的內(nèi)參 數(shù)和崎變系數(shù),設(shè)定世界坐標(biāo)系,W工作臺作為Z = 0的平面,得到攝像機的外參數(shù)[Ri ti], 即攝像機坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)和平移變換,其中Ri表示旋轉(zhuǎn)矩陣,ti表示平移 向量; (3) 將物體放置在視野中央,拍攝目標(biāo)物體的標(biāo)準(zhǔn)模板圖像; (4) 攝像機在線實時拍攝獲取當(dāng)前放置位姿下物體的圖像,設(shè)物體當(dāng)前的位姿為Pw,物 體在進行模板拍攝時的位姿為P。,Pw聲P。; (5) 利用基于尺度不變、旋轉(zhuǎn)不變的特征提取算法,得到當(dāng)前拍攝圖像和模板圖像中的 特征點描述信息,根據(jù)圖像的特征點描述信息對兩幅圖像進行粗匹配,得到N對匹配的特 征點對,調(diào)整特征提取算法的參數(shù),使得得到至少8對W上匹配特征點; (6) 根據(jù)步驟(5)兩幅圖像中至少8對W上的匹配特征點對,利用RANSAC算法計算兩 幅圖像之間的基礎(chǔ)矩陣F,根據(jù)基礎(chǔ)矩陣F和對極幾何的極線約束剔除步驟(5)中的誤匹配 點,得到精匹配結(jié)果; (7) 根據(jù)當(dāng)前目標(biāo)物體圖像和模板圖像,已知攝像機內(nèi)參數(shù),假設(shè)物體位姿固定不變, 得到拍攝兩幅圖像時攝像機的外參數(shù),就可W對目標(biāo)物體進行=維重建,為計算當(dāng)前物體 在世界坐標(biāo)系中的放置位姿,假設(shè)物體W當(dāng)前位姿固定放置,模板圖像由攝像機運動拍攝 得到,攝像機的位置相對當(dāng)前固定位置的旋轉(zhuǎn)變換為R,平移變換為t,為方便描述,下文中 W模板拍攝攝像機代指該攝像機運動假設(shè)中模板拍攝位置的攝像機,設(shè)模板拍攝攝像機的 外參數(shù)為[R2 t,],即模板拍攝攝像機坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)平移變換,其中R,表 示旋轉(zhuǎn)矩陣,*2表示平移向量; (8) 根據(jù)模板拍攝攝像機運動假設(shè),已知固定攝像機外參數(shù),需要求解模板拍攝攝像機 的外參數(shù)[R2 t2],通過基于特征匹配的迭代算法,完成對模板拍攝攝像機外參數(shù)的估計,迭 代過程包括兩個階段:模板拍攝攝像機的外參數(shù)求解階段和特征點世界坐標(biāo)估計階段; (9) 根據(jù)步驟(8)得到的模板拍攝攝像機外參數(shù)[R2 t2]和固定攝像機的外參數(shù)[Ri tj W及圖像信息、攝像機內(nèi)參數(shù),對目標(biāo)物體進行=維重建,得到物體的點云數(shù)據(jù),在=維 重建立體匹配的過程中,由于邊緣點和角點灰度變化明顯,得到的=維點云中會包含較多 的邊緣信息和角點信息; (10) 將目標(biāo)物體在當(dāng)前位姿下的點云數(shù)據(jù)與物體的CAD模型進行配準(zhǔn),得到測量的世 界坐標(biāo)系和CAD設(shè)計模型坐標(biāo)系之間的轉(zhuǎn)換關(guān)系,從而準(zhǔn)確的得到與物體點云數(shù)據(jù)對應(yīng)的 CAD模型在當(dāng)前世界坐標(biāo)系中的位置和姿態(tài),完成對物體=維位姿的測量。
2. 根據(jù)權(quán)利要求1所述的一種基于CAD模型與單目視覺的物體位姿測量方法,其特征 在于:所述的步驟做包括: (8-1)迭代過程包括兩個階段;模板拍攝攝像機的外參數(shù)求解階段和特征點世界坐標(biāo) 估計階段; (8-2)特征點世界坐標(biāo)初始化;已知固定攝像機的外部參數(shù)[Ri tj和內(nèi)參數(shù)M,給定特 征點景深的初始值,得到當(dāng)前圖像與模板圖像匹配特征點的世界坐標(biāo)初始值柄,P2, ... PJ ?,其中n表示匹配特征點對的個數(shù); (8-3)模板拍攝攝像機外參數(shù)求解階段;根據(jù)模板圖像中特征點的像平面坐標(biāo)和其對 應(yīng)的世界坐標(biāo)點{Pi,P2,…,PJ W W及攝像機內(nèi)參數(shù)M,通過求解PnP問題,更新模板拍攝攝 像機的外參數(shù)[R2 t2]w; (8-4)特征點世界坐標(biāo)計算階段;已知固定攝像機外參數(shù)[Ri ti]、更新后的模板拍攝 攝像機的外參數(shù)[R2 t2]w和攝像機的內(nèi)參數(shù)W及兩幅圖像中匹配特征點對應(yīng)的像坐標(biāo),根 據(jù)S角測量原理,更新特征點的世界坐標(biāo){pi,P2,…,P。} ; (8-W根據(jù)模板圖像的特征點像坐標(biāo)站,屯,…,q。}、攝像機內(nèi)參M W及化t2]w' 柄,口別…,pj(w)計算重投影誤差:
其中枯*&>表示R 2?的第立行,12Z&嗦示12W的第立行,q巧像素坐標(biāo)的齊次形式,當(dāng) 重投影誤差小于設(shè)定的闊值時,則停止迭代,得到迭代計算結(jié)果[R2 t2] = [R2 t2]?,否則, 置 k = k+1。
【專利摘要】本發(fā)明公開了一種基于CAD模型與單目視覺的物體位姿測量方法。本發(fā)明通過模板拍攝攝像機運動假設(shè)和迭代計算得到假設(shè)運動的模板拍攝攝像機與固定攝像機之間的運動關(guān)系,得到假設(shè)運動的模板拍攝攝像機和固定攝像機組成的雙目系統(tǒng)外參數(shù)后,對目標(biāo)進行三維重建,得到目標(biāo)的三維點云數(shù)據(jù),并與包含物體三維結(jié)構(gòu)信息的CAD模型進行配準(zhǔn),得到當(dāng)前世界坐標(biāo)系下目標(biāo)物體位姿與CAD模型的對應(yīng)關(guān)系,準(zhǔn)確計算出目標(biāo)物體的位姿。本發(fā)明無需運動的攝像機固定載體,同時結(jié)合了物體的CAD模型和立體視覺信息,成本低,精度高,可滿足實際工業(yè)應(yīng)用的需求。
【IPC分類】G01C21-00, G01C11-00, G01C11-04
【公開號】CN104596502
【申請?zhí)枴緾N201510034292
【發(fā)明人】熊蓉, 程玉立, 章逸豐
【申請人】浙江大學(xué)
【公開日】2015年5月6日
【申請日】2015年1月23日