基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法
【專利摘要】本發(fā)明公開了一種基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，該方法基于三維視覺系統(tǒng)實(shí)時獲取場景二維圖像信息和按二維圖像像素對應(yīng)的空間三維信息；采用相鄰幀采樣間隔自適應(yīng)調(diào)整方法控制相鄰幀采集間隔，根據(jù)t-1時刻和t時刻相鄰幀之間有效匹配圖像特征點(diǎn)對數(shù)目，自動調(diào)整t+1時刻相對t時刻的采樣間隔，在滿足三維估計(jì)準(zhǔn)確性和可靠性的基礎(chǔ)上有效減少了計(jì)算量；根據(jù)當(dāng)前相鄰幀二維圖像特征匹配點(diǎn)對數(shù)目，綜合場景二維圖像特征和三維點(diǎn)云信息進(jìn)行三維運(yùn)動估計(jì)，獲得高精度的三維運(yùn)動估計(jì)，具有計(jì)算量小，應(yīng)用場景限制性小等優(yōu)點(diǎn)。
【專利說明】基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法。
【背景技術(shù)】
[0002]高精度高可靠的三維運(yùn)動估計(jì)是機(jī)器人領(lǐng)域的研究難點(diǎn)和熱點(diǎn)之一，其目標(biāo)是實(shí)時計(jì)算出相鄰兩相鄰時刻機(jī)器人三維空間位置變化量，是機(jī)器人自定位、地圖創(chuàng)建、三維重建、運(yùn)動跟蹤等研究的核心內(nèi)容。傳統(tǒng)慣性導(dǎo)航系統(tǒng)原理簡單，被廣泛應(yīng)用于運(yùn)動估計(jì)，但是其存在漂移、誤差累計(jì)等問題，其對應(yīng)運(yùn)動估計(jì)的精度低、可靠性比較差。相對于慣性導(dǎo)航系統(tǒng)，基于視覺的運(yùn)動估計(jì)不存在物理漂移問題，具有較高的穩(wěn)定性。目前基于單目視覺的運(yùn)動估計(jì)無法獲得三維相對運(yùn)動的尺度信息；立體攝像機(jī)可獲得三維運(yùn)動估計(jì)，但是存在計(jì)算量大、可靠性受環(huán)境和噪聲影響大、測量精度超過景深范圍后急速下降等問題。隨著三維激光測距儀、三維攝像機(jī)等三維傳感器的引入，空間環(huán)境的三維信息實(shí)時獲取成為可能。基于ICP的三維點(diǎn)云匹配算法開始被應(yīng)用于相鄰兩幀的三維信息估計(jì)。但是由于噪聲、誤差和不匹配區(qū)域比例的增長，ICP迭代算法容易陷入局部優(yōu)化解，從而該類算法僅在較小空間變換范圍內(nèi)或基于較好的初始估計(jì)情況下可獲得準(zhǔn)確的估計(jì)結(jié)果。為實(shí)現(xiàn)精確可靠的三維運(yùn)動估計(jì)，通常采用高頻率采樣獲取相鄰幀三維信息，從而將相鄰幀空間變換限制在較小范圍；而高頻率采樣必然導(dǎo)致計(jì)算量巨大，難以實(shí)時應(yīng)用。相對于三維激光測距儀，三維攝像機(jī)不僅可獲得場景二維彩色圖像信息，還可以獲得空間場景對應(yīng)的三維信息，如Kinect、SR4000等三維攝像機(jī)等?；诖巳藗兲岢龌谙噜弾瑘D像的不變性特征點(diǎn)構(gòu)成三維點(diǎn)集求解三維運(yùn)動的初始估計(jì)，以提高ICP算法的估計(jì)性能。但是該類方法的缺陷在于嚴(yán)重依賴于特征點(diǎn)選擇，首先特征點(diǎn)集中的誤匹配點(diǎn)集將對三維估計(jì)初始值造成嚴(yán)重影響；其次該算法僅對圖像特征點(diǎn)較多的場景有效，若場景特征點(diǎn)集非常稀疏以致無法獲取正確可靠的初始估計(jì)值時，將直接導(dǎo)致算法失敗，從而無法獲得三維相對估計(jì)。
[0003]因此，如何充分利用三維視覺系統(tǒng)的二維彩色圖像信息和空間三維信息，實(shí)時獲取精確的三維運(yùn)動信息，是本領(lǐng)域急需解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，基于三維視覺系統(tǒng)獲取的相鄰幀的場景二維彩色圖像信息和按二維彩色圖像像素對應(yīng)的空間三維信息，采用本發(fā)明的改進(jìn)SIFT特征匹配算法、采樣間隔自適應(yīng)調(diào)整方法和三維運(yùn)動優(yōu)化估計(jì)算法實(shí)現(xiàn)相鄰幀的快速高精度三維運(yùn)動估計(jì)，具有精度高、計(jì)算量小、應(yīng)用場景限制性小等突出優(yōu)點(diǎn)。
[0005]一種基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，包括以下步驟:
[0006]步驟1:基于三維視覺系統(tǒng)，動態(tài)確定相鄰幀場景之間的采樣間隔Δ t ；
[0007]步驟2:按照步驟I確定的采樣間隔At，利用三維視覺系統(tǒng)分別在t時刻和t+1時刻獲取相鄰幀場景的二維彩色圖像It和I+1、場景對應(yīng)的三維點(diǎn)云Dt和Dt+1 ；[0008]所述三維視覺系統(tǒng)可同時獲取場景的二維彩色圖像I與三維點(diǎn)云信息D，其中二維彩色圖像I與三維點(diǎn)云D按二維彩色圖像像素點(diǎn)一一對應(yīng)，即二維彩色圖像中第U行第V列的像素點(diǎn)r(u，v)與三維點(diǎn)云Du,v(x，y, z)相對應(yīng)；所述三維點(diǎn)云是指二維彩色圖像所有像素點(diǎn)對應(yīng)的三維空間點(diǎn)集合；
[0009]步驟3:利用SIFT算法對相鄰幀場景的二維彩色圖像It和It+1進(jìn)行特征點(diǎn)提取與匹配，得到相鄰幀場景的匹配圖像特征點(diǎn)對集合M ;
[0010]步驟4:剔除集合M中的誤匹配圖像特征點(diǎn)對，得到最終的匹配圖像特征點(diǎn)對集合M3;
[0011]I)基于雙向一致性檢查的誤匹配剔除；
[0012]采用歐式距離作為特征點(diǎn)128維向量描述子的相似性度量，對t+Ι時刻的二維彩色圖像It+1的任一圖像特征點(diǎn)Fit+1，依次從t時刻的二維彩色圖像It的圖像特征點(diǎn)中找出相匹配的特征點(diǎn)G，構(gòu)成匹配特征點(diǎn)對集合M'，11和^的交集構(gòu)成新的匹配圖像特征點(diǎn)對集合M1,以剔除非雙向一致的誤匹配圖像特征點(diǎn)對；
[0013]2)基于顏色一致性檢查的誤匹配剔除；
[0014]步驟a:分別提取t時刻和t+Ι時刻獲取的二維彩色圖像It和It+1的HSV空間顏色信息；
[0015]步驟b:依據(jù)I)中獲得的匹配特征點(diǎn)對集合M1,建立集合M1中所有特征點(diǎn)的HSV空間分量的索引信息；
[0016]所述索引信息是指特征點(diǎn)在二維彩色圖像坐標(biāo)系中的坐標(biāo)與該特征點(diǎn)的HSV空間顏色分量的對應(yīng)關(guān)系；
[0017]步驟c:依據(jù)步驟b中建立的HSV空間分量索引信息和匹配特征點(diǎn)對集合M1，分別獲取匹配特征點(diǎn)對集合M1的HSV信息[Ht, St, Vt]和[Ht+1, St+1, Vt+1]，其中，[Ht, St, Vt]為M1中t時刻二維彩色圖像匹配特征點(diǎn)對應(yīng)的HSV信息，[Ht+1, St+1, Vt+1]為M1中t+Ι時刻二維彩色圖像匹配特征點(diǎn)對應(yīng)的HSV信息；
[0018]步驟d:對匹配特征點(diǎn)對集合M1中的任一特征點(diǎn)對[F；?Ff 進(jìn)行HSV空間顏色一致性檢查處理，若同時滿足如下約束，則認(rèn)為是正確匹配點(diǎn)對，否則認(rèn)為是誤匹配點(diǎn)對，并從札中剔除，得到新的匹配特征點(diǎn)對集合M2 ；
[0019]約束判定條件如下:
[0020]
【權(quán)利要求】
1.一種基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，其特征在于，包括以下步驟: 步驟1:基于三維視覺系統(tǒng)，動態(tài)確定相鄰幀場景之間的采樣間隔At ; 步驟2:按照步驟I確定的采樣間隔At，利用三維視覺系統(tǒng)分別在t時刻和t+Ι時刻獲取相鄰幀場景的二維彩色圖像T和T+1、場景對應(yīng)的三維點(diǎn)云Dt和Dt+1 ； 步驟3:利用SIFT算法對相鄰幀場景的二維彩色圖像It和It+1進(jìn)行特征點(diǎn)提取與匹配，得到相鄰幀場景的匹配圖像特征點(diǎn)對集合M ; 步驟4:剔除集合M中的誤匹配圖像特征點(diǎn)對，得到最終的匹配圖像特征點(diǎn)對集合M3 ； 1)基于雙向一致性檢查的誤匹配剔除； 采用歐式距離作為特征點(diǎn)128維向量描述子的相似性度量，對t+Ι時刻的二維彩色圖像It+1的任一圖像特征點(diǎn)FiI依次從t時刻的二維彩色圖像It的圖像特征點(diǎn)中找出相匹配的特征點(diǎn)構(gòu)成匹配特征點(diǎn)對集合M'，11和的交集構(gòu)成新的匹配圖像特征點(diǎn)對集合M1,以剔除非雙向一致的誤匹配圖像特征點(diǎn)對； 2)基于顏色一致性檢查的誤匹配剔除； 步驟a:分別提取t時刻和t+Ι時刻獲取的二維彩色圖像It和It+1的HSV空間顏色信息； 步驟b:依據(jù)I)中獲得的匹配特征點(diǎn)對集合M1，建立集合M1中所有特征點(diǎn)的HSV空間分量的索引信息； 所述索引信息是指特征點(diǎn)在二維彩色圖像坐標(biāo)系中的坐標(biāo)與該特征點(diǎn)的HSV空間顏色分量的對應(yīng)關(guān)系； 步驟c:依據(jù)步驟b中建立的HSV空間分量索引信息和匹配特征點(diǎn)對集合M1，分別獲取匹配特征點(diǎn)對集合M1的HSV信息[Ht, St, Vt]和[Ht+1, St+1, Vt+1]，其中，[Ht, St, Vt]為M1中t時刻二維彩色圖像匹配特征點(diǎn)對應(yīng)的HSV信息，[Ht+1, St+1, Vt+1]為M1中t+Ι時刻二維彩色圖像匹配特征點(diǎn)對應(yīng)的HSV信息； 步驟d:對匹配特征點(diǎn)對集合M1中的任一特征點(diǎn)對進(jìn)行HSV空間顏色一致性檢查處理，若同時滿足如下約束，則認(rèn)為是正確匹配點(diǎn)對，否則認(rèn)為是誤匹配點(diǎn)對，并從M1中剔除，得到新的匹配特征點(diǎn)對集合M2 ； 約束判定條件如下:
2.根據(jù)權(quán)利要求1所述的基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，其特征在于，所述步驟I中相鄰幀場景之間的采樣間隔At的確定依據(jù)如下: 所述三維視覺系統(tǒng)的采樣頻率范圍為[fmin，fmax]，相鄰幀場景的動態(tài)采樣間隔At變化范圍為[Δ tmin, Δ tmax]，其中 Λ t 最小值 Λ tmin=l/fmax,最大值 Λ tMax=l/fmin ； 采樣間隔At的初始值設(shè)定為Atmin ;在運(yùn)動過程中，基于t-Ι時刻和t時刻相鄰幀的匹配圖像特征點(diǎn)對集合M3中匹配圖像特征點(diǎn)對數(shù)目Num(M3)和當(dāng)前采樣間隔Att,依據(jù)表I動態(tài)確定下一步采樣間隔Att+1: 表1相鄰幀之間采樣間隔Λ t動態(tài)計(jì)算
3.根據(jù)權(quán)利要求2所述的基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，其特征在于，所述步驟3利用SIFT算法對相鄰幀場景的二維彩色圖像It和It+1進(jìn)行特征點(diǎn)提取與匹配，得到相鄰幀場景的匹配特征點(diǎn)對集合M的具體步驟如下: 1)對t時刻和t+Ι時刻獲取的相鄰場景的二維彩色圖像It和i+1，利用SIFT算法分別提取尺度旋轉(zhuǎn)不變特征點(diǎn)集合Ft和Ft+1 ； 2)對Ft的任一特征點(diǎn)FiS采用歐式距離作為特征點(diǎn)128維向量描述子的相似性度量，然后從t+Ι時刻獲取的二維彩色圖像特征點(diǎn)Ft+1中，依次找出與FJ匹配的特征點(diǎn)，構(gòu)成匹配特征點(diǎn)對 3)對Ft中所有特征點(diǎn)執(zhí)行步驟2)，得到匹配特征點(diǎn)對集合M。
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的基于三維視覺系統(tǒng)圖像特征和三維信息的運(yùn)動估計(jì)方法，其特征在于，所述步驟4誤匹配點(diǎn)剔除中的3)采用RANSAC算法對匹配特征點(diǎn)對集合仏中的誤匹配進(jìn)一步剔除，得到最終的匹配特征點(diǎn)對集合M3的具體步驟如下: ①隨機(jī)選擇M2中的s組匹配特征點(diǎn)對組成隨機(jī)樣本集M3，并基于該樣本計(jì)算匹配模型H ;即使得匹配特征點(diǎn)對，滿足如下方程:
其中
【文檔編號】G06T7/00GK103559711SQ201310544349
【公開日】2014年2月5日 申請日期:2013年11月5日 優(yōu)先權(quán)日:2013年11月5日
【發(fā)明者】余洪山, 羅堪, 藺薛菲, 王耀南, 趙科, 孫歡, 萬琴, 朱江, 段峰, 代揚(yáng) 申請人:余洪山