一種基于orb特征檢測(cè)測(cè)量載體速度的方法
【專利摘要】本發(fā)明公開一種基于ORB特征檢測(cè)來測(cè)量載體速度的方法，通過對(duì)攝像機(jī)獲取的連續(xù)兩幀圖像進(jìn)行ORB特征提取并匹配，從而得到載體的位移和速度。所述方法包括：對(duì)當(dāng)前幀和下一幀進(jìn)行灰度化并設(shè)定感興趣區(qū)域；利用OrientedFAST算子對(duì)特征點(diǎn)檢測(cè)；利用RotatedBRIEF特征描述子對(duì)特征點(diǎn)進(jìn)行特征匹配；對(duì)匹配出來的特征點(diǎn)對(duì)進(jìn)行篩選并剔除誤匹配點(diǎn)；然后對(duì)得到的特征點(diǎn)對(duì)的像素位移進(jìn)行分析和計(jì)算；通過系統(tǒng)模型得到比例轉(zhuǎn)換系數(shù)，從而得到載體的實(shí)際位移和速度。本方法簡單易實(shí)現(xiàn)，對(duì)圖像特征點(diǎn)檢測(cè)和匹配的速度提高明顯，特別適用于對(duì)實(shí)時(shí)性要求高的視覺輔助系統(tǒng)中。
【專利說明】—種基于ORB特征檢測(cè)測(cè)量載體速度的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，尤其涉及一種通過圖像特征提取來測(cè)量像素位移，從而測(cè)量得載體移動(dòng)速度的設(shè)計(jì)，適用于機(jī)器人，飛行器等的視覺輔助導(dǎo)航。

【背景技術(shù)】
[0002]通過特征提取來獲取載體位移和速度，是視覺輔助導(dǎo)航系統(tǒng)中的一種非常重要的手段。視覺輔助技術(shù)已經(jīng)廣泛應(yīng)用在機(jī)器人導(dǎo)航、飛行器等載體的導(dǎo)航技術(shù)中。通常，我們通過對(duì)攝像機(jī)拍攝到的圖像，對(duì)當(dāng)前幀和下一幀圖像使用特征檢測(cè)技術(shù)檢測(cè)出魯棒性強(qiáng)的特征點(diǎn)，然后對(duì)在當(dāng)前幀和下一幀中檢測(cè)出的特征點(diǎn)進(jìn)行特征匹配，從而得到優(yōu)良特征點(diǎn)在當(dāng)前幀和下一幀中的位置，由此我們便可以得到特征點(diǎn)在圖像中的像素位移。再由攝像機(jī)的幀率，我們可以得到當(dāng)前幀和下一幀的時(shí)間間隔，通過位移和這個(gè)兩幀間的時(shí)間間隔，我們就可以得到特征點(diǎn)的像素位移了，再通過攝像機(jī)和載體之間的模型幾何關(guān)系，便可求得載體的速度和位移。
[0003]在導(dǎo)航領(lǐng)域中，視覺檢測(cè)具有以下三個(gè)優(yōu)勢(shì):1、非接觸測(cè)量，對(duì)于觀測(cè)體和被觀測(cè)體都不會(huì)產(chǎn)生任何損傷，從而提高系統(tǒng)的可靠性；2、機(jī)器視覺具有較寬的光譜響應(yīng)范圍以及寬廣的機(jī)器視野，這可以使得機(jī)器視覺獲得更豐富的外界信息；3、機(jī)器視覺可以長時(shí)間穩(wěn)定工作，而不會(huì)像諸如慣性導(dǎo)航器件等會(huì)產(chǎn)生誤差累積，所以在慣性導(dǎo)航中，可利用機(jī)器視覺，對(duì)慣性導(dǎo)航進(jìn)行誤差補(bǔ)償。
[0004]無論在工業(yè)制造還是機(jī)器人視覺導(dǎo)航中，都會(huì)追求更快更魯棒的方法來進(jìn)行特征點(diǎn)檢測(cè)和匹配。從最早的光流算法，到后來的SIFT特征檢測(cè)，再后來基于對(duì)SIFT特征檢測(cè)算法改進(jìn)而來的更為快速的SURF特征檢測(cè)算法，都很好地實(shí)現(xiàn)了兩幀圖像間的特征點(diǎn)檢測(cè)和匹配。一般的特征檢測(cè)算法，如果是用于對(duì)前后兩幅圖像進(jìn)行特征匹配，比如用于人臉識(shí)別等工程應(yīng)用中，則對(duì)實(shí)時(shí)性要求不高，在一秒乃至兩秒的處理時(shí)間范圍，我們都是可以忍受的。而在載體視覺輔助導(dǎo)航中，如果特征點(diǎn)檢測(cè)和識(shí)別的處理過程太慢，則會(huì)導(dǎo)致載體速度已經(jīng)發(fā)生了變化，而這個(gè)圖像處理過程卻還在運(yùn)行，而無法實(shí)時(shí)地得到載體當(dāng)前的位移和速度。因此，傳統(tǒng)的利用SURF特征檢測(cè)算法來實(shí)現(xiàn)特征檢測(cè)的方法則不能夠用在載體利用視覺來測(cè)量運(yùn)動(dòng)速度的情況中。


【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種基于ORB特征檢測(cè)算法來測(cè)量載體速度的方法，用于實(shí)現(xiàn)通過視覺技術(shù)快速地得到載體當(dāng)前速度。具體包含以下步驟:
[0006](I)在被測(cè)載體上安裝一個(gè)導(dǎo)航攝像頭，該導(dǎo)航攝像頭的鏡頭垂直朝下，用于拍攝地面，以便獲取地面特征；
[0007](2)在導(dǎo)航攝像頭拍攝過程中，截取當(dāng)前幀和下一幀的圖像；
[0008](3)將這兩幅圖像轉(zhuǎn)為灰度圖像；
[0009](4)分別從兩幅灰度圖像的中央選取一定大小的感興趣區(qū)域，使用ORB特征檢測(cè)算法對(duì)當(dāng)前幀和下一幀的特征點(diǎn)進(jìn)行檢測(cè)，并從中得到相應(yīng)特征點(diǎn)的描述子；
[0010](5)根據(jù)得到的特征點(diǎn)的描述子，通過暴力匹配方法，對(duì)當(dāng)前幀和下一幀中的特征點(diǎn)進(jìn)行匹配；
[0011](6)遍歷所有匹配出來的特征點(diǎn)對(duì)，求得特征點(diǎn)移動(dòng)的最大絕對(duì)位移(即匹配出的特征點(diǎn)間的距離)maX_dist，然后，剔除掉像素絕對(duì)位移大于0.6*max_dist的匹配特征點(diǎn)對(duì)，得到正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)；
[0012](7)求取每對(duì)正確匹配特征點(diǎn)對(duì)的橫向位移和縱向位移，并將所有正確匹配特征點(diǎn)對(duì)的橫向位移、縱向位移分別進(jìn)行疊加，然后分別除以正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)，得到每對(duì)正確匹配特征點(diǎn)對(duì)的橫向、縱向的平均像素位移；
[0013](8)通過攝像機(jī)的幀率求得相鄰幀之間的時(shí)間間隔，根據(jù)步驟(7)得到的每對(duì)正確匹配特征點(diǎn)對(duì)的橫向、縱向的平均像素位移，得到特征點(diǎn)在橫向、縱向上的移動(dòng)速度，然后再經(jīng)過系統(tǒng)建模，求得載體的位移以及它的移動(dòng)速度。
[0014]本發(fā)明與現(xiàn)有技術(shù)相比:
[0015]I)利用ORB特征檢測(cè)算法來進(jìn)行特征點(diǎn)的檢測(cè)和匹配，使圖像處理速度大大提高，比傳統(tǒng)的SURF算法的速度快了將近4倍，這大大增強(qiáng)了系統(tǒng)的實(shí)時(shí)性。
[0016]2)因?yàn)槠鋵?shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)，在視覺輔助慣性導(dǎo)航技術(shù)中，更有利于實(shí)時(shí)地得到更多的速度信息，使得導(dǎo)航性能更加精確可靠。

【專利附圖】

【附圖說明】
[0017]下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明:
[0018]圖1是本發(fā)明實(shí)施例的步驟流程圖；
[0019]圖2是本發(fā)明實(shí)施例的硬件實(shí)驗(yàn)平臺(tái)圖；
[0020]圖3是本發(fā)明實(shí)施例的ORB特征點(diǎn)匹配效果圖；
[0021]圖4是本發(fā)明實(shí)施例的計(jì)算出特征點(diǎn)像素位移結(jié)果圖。

【具體實(shí)施方式】
[0022]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0023]如圖2所示，硬件平臺(tái)是一臺(tái)可移動(dòng)的小車，平臺(tái)上有一個(gè)工業(yè)攝像機(jī)，攝像機(jī)光軸垂直于地面且面朝地面，還有一臺(tái)筆記本電腦用于實(shí)施圖像處理。
[0024]如圖1所示，一種基于ORB特征檢測(cè)來測(cè)量載體速度的方法，包括以下步驟:
[0025]I)因?yàn)橐褂锰卣鳈z測(cè)，所以，小車運(yùn)動(dòng)的環(huán)境應(yīng)該處于一個(gè)有紋理的地面環(huán)境。
[0026]2)小車運(yùn)動(dòng)過程中，攝像機(jī)面朝地面，不斷拍攝運(yùn)動(dòng)過程中地面的紋理變化。
[0027]3)對(duì)拍攝到的圖像，截取當(dāng)前一幀圖像，以及下一幀的圖像。為減少圖像處理的信息，對(duì)這兩幀圖像分別進(jìn)行灰度化。
[0028]4)本實(shí)施例采用的工業(yè)攝像機(jī)拍攝的圖像像素為640*480，如果直接處理這樣大小的圖像，將會(huì)使處理時(shí)間大大延長。而因?yàn)槔锰卣鼽c(diǎn)來檢測(cè)速度，所以并不需要對(duì)圖像全部特征點(diǎn)進(jìn)行檢測(cè)和匹配，只需對(duì)其中某一區(qū)域的特征變化檢測(cè)并識(shí)別出來即可。因此，本實(shí)施例將截取拍攝到的圖像中央160*120大小感興趣區(qū)域(ROI)進(jìn)行圖像處理，從而大大減少了圖像信息，并極大提高了特征點(diǎn)檢測(cè)和匹配的速度，增強(qiáng)了實(shí)時(shí)性。
[0029]5)對(duì)這個(gè)在當(dāng)前幀和下一幀中選取出來的R0I，使用ORB特征檢測(cè)算法，首先用Oriented FAST算子對(duì)當(dāng)前巾貞和下一巾貞特征點(diǎn)進(jìn)行檢測(cè)，并從中得到特征點(diǎn)，并且得到相應(yīng)特征點(diǎn)的Rotated BRIEF特征描述子。
[0030]6)利用上一步中得到的特征點(diǎn)的Rotated BRIEF特征描述子對(duì)兩巾貞中感興趣區(qū)域(ROI)中檢測(cè)出的ORB特征點(diǎn)進(jìn)行暴力匹配。
[0031]7)在匹配中，會(huì)因某些特征點(diǎn)的特征描述子相似，而導(dǎo)致誤匹配，因此，要對(duì)匹配出來的匹配特征點(diǎn)對(duì)進(jìn)行篩選。在當(dāng)前幀和下一幀的特征點(diǎn)匹配完成后，對(duì)所有匹配特征點(diǎn)對(duì)的絕對(duì)像素位移進(jìn)行計(jì)算，并得到所有匹配特征點(diǎn)對(duì)絕對(duì)像素位移的最大值max_disto然后,剔除掉像素位移大于0.6*max_dist的匹配特征點(diǎn)對(duì)。剩下的特征點(diǎn)對(duì)，本實(shí)施例即認(rèn)為是正確匹配的特征點(diǎn)對(duì)，并得到正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)。
[0032]8)后面的操作只對(duì)正確匹配特征點(diǎn)對(duì)進(jìn)行操作。獲取每對(duì)特征點(diǎn)對(duì)的橫向像素位移和縱向像素位移。
[0033]9)對(duì)獲取得的每對(duì)特征點(diǎn)對(duì)的橫向像素位移和縱向像素位移分別進(jìn)行疊加，然后除以正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)，從而得到橫向像素平均位移和縱向像素平均位移。
[0034]10)最后通過攝像機(jī)的幀率，利用
Vkeypoint ^keypoint^-^ ^ 中 Vkeypoint 為特征點(diǎn)像素速度，Skeypoint為特征點(diǎn)像素位移，f為幀率)由上一步得到的橫向和縱向的像素平均位移得到橫向和縱向的像素速度，然后通過系統(tǒng)建模，對(duì)實(shí)際系統(tǒng)結(jié)構(gòu)分析得到實(shí)際載體位移與像素位移之間的關(guān)系，從而通過測(cè)量和標(biāo)定得到實(shí)際載體位移與像素位移之間的比例值K，利用SMal = Skeyp()int*K(其中K為實(shí)際載體位移SMal和像素位移Skeyptjint間的比例系數(shù))求得實(shí)際載體位移以及它的移動(dòng)速度。
[0035]圖3是本發(fā)明實(shí)施例中載體運(yùn)行時(shí)對(duì)圖像進(jìn)行特征檢測(cè)的ORB特征點(diǎn)匹配效果圖，其中，左邊的圖像為當(dāng)前幀的圖像，右邊則為下一幀的圖像，圓圈為檢測(cè)出的匹配特征點(diǎn)，連線是為了突出在兩幀中匹配出來的特征點(diǎn)。
[0036]圖4是本發(fā)明實(shí)施例的計(jì)算出特征點(diǎn)像素位移結(jié)果圖，其中:第一行Time (Extracting&Matching)是當(dāng)前巾貞和下一巾貞圖像中用于特征點(diǎn)檢測(cè)和匹配的處理時(shí)間，單位為ms ;第二行MaxDist和第三行MinDist分別是匹配出的遍歷所有匹配出來的特征點(diǎn)對(duì)，求得特征點(diǎn)移動(dòng)的最大絕對(duì)位移和最小絕對(duì)位移(這里絕對(duì)位移即匹配出的特征點(diǎn)間的距離)；第四行the matches.sizeO是在當(dāng)前幀和下一幀中能夠匹配出來的特征點(diǎn)對(duì)的對(duì)數(shù)；第五行the good_matches.size ()是剔除掉像素位移大于0.6*max_dist(最大絕對(duì)位移)的匹配特征點(diǎn)對(duì)后，剩下的正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)；第六行XZ是所有正確匹配特征點(diǎn)對(duì)的橫向位移總和；第七行yz是所有正確匹配特征點(diǎn)對(duì)的縱向位移總和；第八和第九行，則是利用前面求得的Xz和yz分別除以正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)而得到橫向和縱向上的平均位移，并將其視作計(jì)算出的像素橫向位移和縱向位移。
[0037]本發(fā)明可以作為一種適用于INS、GPS、超聲波等多傳感器組合導(dǎo)航系統(tǒng)中用于速度估計(jì)和對(duì)速度測(cè)量誤差校正的方法，應(yīng)用者可以根據(jù)其特殊的應(yīng)用領(lǐng)域通過修改軟件來靈活方便地實(shí)現(xiàn)利用視覺信息測(cè)量載體的位移和速度，及其運(yùn)動(dòng)方向。
【權(quán)利要求】
1.一種基于ORB特征檢測(cè)測(cè)量載體位移和速度的方法，其特征在于包括以下步驟: (1)在被測(cè)載體上安裝一個(gè)導(dǎo)航攝像頭，該導(dǎo)航攝像頭的鏡頭垂直朝下，用于拍攝地面，以便獲取地面特征； (2)在導(dǎo)航攝像頭拍攝過程中，截取當(dāng)前幀和下一幀的圖像； (3)將這兩幅圖像轉(zhuǎn)為灰度圖像； (4)分別從兩幅灰度圖像的中央選取一定大小的感興趣區(qū)域，使用ORB特征檢測(cè)算法對(duì)當(dāng)前幀和下一幀的特征點(diǎn)進(jìn)行檢測(cè)，并從中得到相應(yīng)特征點(diǎn)的描述子； (5)根據(jù)得到的特征點(diǎn)的描述子，通過暴力匹配方法，對(duì)當(dāng)前幀和下一幀中的特征點(diǎn)進(jìn)行匹配； (6 )遍歷所有匹配出來的特征點(diǎn)對(duì)，求得特征點(diǎn)移動(dòng)的最大絕對(duì)位移max_dist，然后，剔除掉像素絕對(duì)位移大于0.6*max_dist的匹配特征點(diǎn)對(duì)，得到正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)； (7)求取每對(duì)正確匹配特征點(diǎn)對(duì)的橫向位移和縱向位移，并將所有正確匹配特征點(diǎn)對(duì)的橫向位移、縱向位移分別進(jìn)行疊加，然后分別除以正確匹配特征點(diǎn)對(duì)的對(duì)數(shù)，得到每對(duì)正確匹配特征點(diǎn)對(duì)的橫向、縱向的平均像素位移； (8)通過攝像機(jī)的幀率求得相鄰幀之間的時(shí)間間隔，根據(jù)步驟(7)得到的每對(duì)正確匹配特征點(diǎn)對(duì)的橫向、縱向的平均像素位移，得到特征點(diǎn)在橫向、縱向上的移動(dòng)速度，然后再經(jīng)過系統(tǒng)建模，求得載體的位移以及它的移動(dòng)速度。
2.如權(quán)利要求1所述的基于ORB特征檢測(cè)測(cè)量載體位移和速度的方法，其特征在于所述感興趣區(qū)域的大小為160*120像素。
【文檔編號(hào)】G06T7/20GK104331907SQ201410629762
【公開日】2015年2月4日 申請(qǐng)日期:2014年11月10日 優(yōu)先權(quán)日:2014年11月10日
【發(fā)明者】陳熙源, 賴泊能, 李慶華, 方琳 申請(qǐng)人:東南大學(xué)