專利名稱：一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別領(lǐng)域，涉及圖像處理和計算機視覺等技術(shù)，涉及一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法。
背景技術(shù)：
由于視覺傳感器具有低成本、被動探測、魯棒性強等特點，其在運動目標的跟蹤方面受到愈來愈多的重視，例如空間繩系機器人利用雙目視覺跟蹤空間目標，導(dǎo)彈等飛行器利用視覺傳感器跟蹤空中目標等。但在視頻序列中對空間目標的跟蹤是十分復(fù)雜的任務(wù)，存在著很多挑戰(zhàn)，如序列中包含目標旋轉(zhuǎn)、尺度變化、運動模糊以及存在其他相關(guān)物體等情況。而且空間目標通常還具有如下特征:結(jié)構(gòu)、紋理特征簡單，灰度特征單一，尺度變化較大，快速多自由度運動。這些已成為計算機視覺研究中的熱點問題，而其中的關(guān)鍵是特征點的提取與跟蹤技術(shù)。常用的跟蹤方法大致有相關(guān)法和光流法，目前相關(guān)跟蹤應(yīng)用較多。它根據(jù)實時圖像與參考圖像之間的相關(guān)度函數(shù)來計算目標的位置變化，將兩幅圖像能達到最佳匹配的位置即相關(guān)函數(shù)的峰值作為跟蹤點。該算法對圖像質(zhì)量要求不高，可在低信噪比條件下穩(wěn)定工作，能適應(yīng)較復(fù)雜的場景結(jié)構(gòu)。針對其運算量大的不足，出現(xiàn)了許多改進算法，如基于塔型結(jié)構(gòu)的匹配跟蹤、多子模板匹配、Kalman濾波器跟蹤等。而光流跟蹤法是運用目標的運動信息，避免了灰度變化對目標跟蹤的影響，因而具有較好的抗噪能力。光流分析可以分為連續(xù)光流法和特征光流法。全局光流的計算方法有Horn-Schunck算法、Nagel算法等,得到全局光流場后通過比較運動目標與背景之間的運動差異對運動目標進行光流分割，從而達到跟蹤的目的。特征光流法是通過特征匹配求得特征點處的光流，估計運動目標的位移并進行跟蹤。在攝像機平臺不固定的情況或所跟蹤目標位姿、大小經(jīng)常變化的情境下，對指定的目標上提取的特征點進行跟蹤基于相鄰幀連續(xù)信息的特征光流法更加快速有效。待跟蹤的特征點可以是由人工標定的，或是算法自動識別、提取視頻中感興趣的運動物體區(qū)域后在其表面提取的。KLT跟蹤算法最初由Lucas-Kanade提出，隨后Tomas1-Kanade進行了改進,近年來得到了廣泛應(yīng)用。Ajmal S.Mian利用改進的KLT算法對空中運動的飛機進行跟蹤；BenBenfold和Ian Reid結(jié)合KLT算法實現(xiàn)了監(jiān)控視頻中對多個運動目標的實時跟蹤；國內(nèi)襲建、劉富強等利用KLT算法計算相鄰幀之間匹配點的運動矢量，實現(xiàn)運動車輛檢測；劉玉、王敬東等人提出了一種改進的SIFT與KLT相結(jié)合的特征點跟蹤算法，具有更高的魯棒性和定位精度。針對空間目標的跟蹤問題，上述KLT算法具有特征點檢測精度不高，目標快速運動時匹配精度差導(dǎo)致的跟蹤不準確問題以及劉玉、王敬東方法中SIFT算法的檢測時間長，缺少特征點自適應(yīng)更新策略。

發(fā)明內(nèi)容
要解決的技術(shù)問題為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法，是提供一種能適用于多尺度圖像序列中位置、姿態(tài)發(fā)生快速變化、結(jié)構(gòu)簡單的空間目標實時魯棒跟蹤方法。技術(shù)方案一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法，其特征在于步驟如下:步驟1:對視頻第一幀圖像I1中待跟蹤目標T用矩形區(qū)域標記，四個頂點分別表示為(xul，yul)，(xur, yur), (xdl, ydl), (xdr，ydr);應(yīng)用SURF算法對矩形內(nèi)待跟蹤目標進行特征點提取，提取出的特征點簇表示為I1Jt…，In，，其坐標位置分別表示為(X^y1), (x2, j2),…，(xn, yn)，隨后進行離散點消除；所述離散點消除方法:對于^^ ，、中的每]!-:個點計算其中的每個點到其幾何中心(xa, ya)距離的平均值da ;求取剩余一點(\，yr)到(xa，ya)的距離火；并進行如下判斷，如果C^RWa，則令(Xr，y,) = (Xa，ya)，否則不做處理洱為距離判定閾值；步驟2:求取離散點消除后I1JvJn各點中X坐標最大和最小的兩個x_，Xniin,然后求得各點中y坐標最大和最小的兩個y_，ymin;以(x_，ymax)，(xmax, ymin)，(Xniin, ymax)和(xmin, ymin)四點作為初始迭代輪廓點代入Greedy Snake算法,從而得到提取出的目標輪廓點簇^2/'(；;然后按照步驟1中的離散點消除方法對(:1，(:2/-，(；進行離散點消除，隨后求取x，y坐標分別為最大、最小時的四個頂點，其形成的矩形R作為目標的精確模型；步驟3:對進行過 離散點消除后的C1^C2Cn，各點采用金字塔KLT特征點跟蹤算法在后續(xù)幀中進行跟蹤，獲取新的特征點cln，c2n,…，Cm ;然后按照步驟I中的離散點消除方法對C1,C2Cn進行離散點消除，隨后求取X，y坐標分別為最大、最小時的四個頂點，其形成的矩BRn作為目標的下一個精確模型；跟蹤過程中記錄當(dāng)前幀數(shù)Fnuffl，每一幀都計算出Rn的面積Ra，中心點坐標(x。，yc)距離圖像左上角(0，0)的歐氏距離d。；步驟4:對于采用金字塔KLT特征點跟蹤算法的后續(xù)幀中進行自適應(yīng)策略判斷，如果不符合更新要求，則轉(zhuǎn)入步驟1，如果更新生效則自動確定新的目標大致區(qū)域，轉(zhuǎn)入步驟
I;所述自適應(yīng)策略判斷步驟如下:步驟(I):根據(jù)幀數(shù)計數(shù)器，判斷當(dāng)前幀幀數(shù)是否為10的倍數(shù)，若是則主動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟(2)；步驟(2):計算每幀中跟蹤目標在圖像中的輪廓區(qū)域面積，若相鄰幀之間由特征點簇計算出的目標區(qū)域面積變化達到15 %，則被動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟(3);步驟(3):計算每幀中由特征點簇計算出的目標質(zhì)心坐標與圖像左上角(0，0)坐標之間的歐式距離，若相鄰幀之間該距離變化達到10%，則被動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟(4)；步驟(4):計算每幀中目標上特征點數(shù)目，若相鄰幀之間該數(shù)目變化達到30%，則被動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟3 ；步驟(5):以上一幀中精確定位后的目標輪廓為基準，求其上、下、左、右四點形成的矩形，并延該矩形每邊中點向左右延伸直至各邊長為原邊長的1.5倍；獲得面積為原矩形面積2.25倍后的新矩形區(qū)域，轉(zhuǎn)至步驟I。所述R=2。有益效果本發(fā)明提出的一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法，主要由特征點提取算法、特征點匹配算法、消除離散點、精確定位和自適應(yīng)策略五部分組成。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益 效果:1、采用改進后的SURF算法提取的特征點更具魯棒性、穩(wěn)定性，使得特征點匹配精度聞，目標定位精確度聞;2、適用于多尺度圖像序列中位置、姿態(tài)發(fā)生快速變化且結(jié)構(gòu)簡單目標的穩(wěn)定跟蹤;3、對多種挑戰(zhàn)性情境具有魯棒性，跟蹤過程中具備短時抗遮擋能力；4、可實現(xiàn)對多個多類目標的實時檢測、跟蹤。本發(fā)明的方法易于實現(xiàn)和應(yīng)用，主要可以應(yīng)用于以下幾個方面:1、商業(yè)方面可用于視頻監(jiān)控、人體跟蹤，圖像匹配拼接等；2、軍事上可用于運動目標的自動瞄準，導(dǎo)彈尋的制導(dǎo)時的目標識別等；3、航空航天中可用于目標跟蹤鎖定，非合作目標的相對導(dǎo)航，機器人視覺伺服控制等。


圖1為本發(fā)明的算法總流程框圖；圖2為本發(fā)明多巾貞跟蹤單目標結(jié)果不意圖:7幅圖分別為第8、18、28、38、48、58和68中貞；圖3為本發(fā)明跟蹤目標短時抗遮擋結(jié)果示意圖；7幅圖分別為第490、493、496、499、502、505 和 508 幀；
具體實施例方式現(xiàn)結(jié)合實施例、附圖對本發(fā)明作進一步描述:本發(fā)明實施例由特征點提取算法、特征點匹配算法、消除離散點、精確定位和自適應(yīng)策略五部分組成，總流程框圖如圖1所示。本發(fā)明的方法需要的硬件配置為一般家用電腦配置即可，在此配置水平的硬件上，采用C++語言編程實現(xiàn)本方法。下面對本發(fā)明的方法涉及的關(guān)鍵步驟進行逐一詳細描述，本發(fā)明的方法中的基本步驟相同，具體形式如下所述:第一步:視頻第一幀圖像I1中待跟蹤目標T用矩形區(qū)域標記，四個頂點分別表示為(xul.Yul (Xur，yur)，(XdlJdi)，(xdr.Ydr)°應(yīng)用SURF算法對矩形內(nèi)待跟蹤目標進行特征點提取，提取出的特征點簇表示為IliI2Z^In，，其坐標位置分別表示為(Xl，yi)，(x2, y2),…，(xn，yn)，隨后進行離散點消除，具體算啊如下:對于I1J2In中的每n-1個點計算其中的每個點到其幾何中心(xa，ya)距離的平均值da;求取剩余一點(\，yr)到(xa，ya)的距離火；并進行如下判斷，如果dr>R*da (R為距離判定閾值，取R2)，則令(Xr，yr) = (xa, ya)，否則不做處理。其中如何對利用SURF算法提取特征點，為本領(lǐng)域公知技術(shù)，可參考文獻I ^BayH, Tuytelaars T,and Gool L V.SURF: Speeded Up Robust Features.The9thEuropeanConference on Computer Vision, Austria, May2006.，，和文獻 2 “王永明，王貴錦著。圖像局部不變性特征與描述。北京:國防工業(yè)出版社，2010?！?35-142頁，此處不再贅述。第二步:求取離散點消除后I1J2,…，In中首先求得各點中X坐標最大和最小的兩個xmax，Xniin,然后求得各點中y坐標最大和最小的兩個y.’y.。定義如下四點(Xniaj^yniax), (XniaX, ymin)，(xmin, ymax)，(xmin, ymin)。以此四點作為初始迭代輪廓點代入Greedy Snake算法,從而得到提取出的目標輪廓點簇…，cn。然后按照第一步的方法對…，Cn進行離散點消除。隨后同樣地求取x，y坐標分別為最大、最小時的四個頂點，其形成的矩形R作為目標的精確模型。其中如何對利用Greedy Snake算法提取目標輪廓點簇，為本領(lǐng)域公知技術(shù)，可參考文獻 3 “Williams, D J., Shah, M.(1992).“A fast algorithm for active contoursandcurvature estimation.”Computer Vision, Graphics and Image Processing,Januaryl992,55(l):14 — 26.”，此處不再贅述。第三步:對進行過離散點消除后的C1,C2Cn，各點采用金字塔KLT特征點跟蹤算法在后續(xù)幀中進行跟蹤，獲取新的特征 點Cln，c2n,…，Cm。然后同樣地按照第一步的方法對C1,C2Cn進行離散點消除。隨后同樣地求取X，y坐標分別為最大、最小時的四個頂點，其形成的矩形! 作為目標的精確模型。跟蹤過程中記錄當(dāng)前幀數(shù)Fmm，每一幀都計算出Rn的面積Ra，中心點坐標(Xc;，y。)距離圖像左上角(0，0)的歐氏距離尤。其中如何對利用金字塔KLT算法進行特征點跟蹤，為本領(lǐng)域公知技術(shù)，可參考文獻4“Tomasi, C.，Kanade, T.(1991) “Detection and tracking of pointfeatures.，，CarnegieMellon University Technical Report CMU-CS-91-132, Aprill991.，，和文獻 5 “GaryBradski,Adrian Kaebler著,于仕琪，劉瑞被譯。學(xué)習(xí)OpenCV中文版。北京:清華大學(xué)出版社，2009:362-363?！保颂幉辉儋樖?。第四步:在采用金字塔KLT特征點跟蹤算法的后續(xù)幀中進行自適應(yīng)策略判斷，如果不符合更新要求，則轉(zhuǎn)入第三步，如果更新生效則自動確定新的目標大致區(qū)域，轉(zhuǎn)入第一步。其中所述的自適應(yīng)策略方法具體步驟如下:步驟1:根據(jù)幀數(shù)計數(shù)器，判斷當(dāng)前幀幀數(shù)是否為10的倍數(shù)，若是則主動更新策略生效轉(zhuǎn)至步驟5執(zhí)行，若不滿足則轉(zhuǎn)至步驟2 ；步驟2:計算每幀中跟蹤目標在圖像中的輪廓區(qū)域面積。若相鄰幀之間由特征點簇計算出的目標區(qū)域面積變化達到15%，則被動更新策略生效轉(zhuǎn)至步驟5執(zhí)行，若不滿足則轉(zhuǎn)至步驟3 ；步驟3:計算每幀中由特征點簇計算出的目標質(zhì)心坐標與圖像左上角(0，O)坐標之間的歐式距離，若相鄰幀之間該距離變化達到10%，則被動更新策略生效轉(zhuǎn)至步驟5執(zhí)行，若不滿足則轉(zhuǎn)至步驟4;步驟4:計算每幀中目標上特征點數(shù)目，若相鄰幀之間該數(shù)目變化達到30%，則被動更新策略生效轉(zhuǎn)至步驟5執(zhí)行，若不滿足則轉(zhuǎn)至第三步；步驟5:以上一幀中精確定位后的目標輪廓為基準，求其上、下、左、右四點形成的矩形，并延該矩形每邊中點向左右延伸直至各邊長為原邊長的1.5倍。獲得面積為原矩形面積2.25倍后的新矩形區(qū)域，轉(zhuǎn)至第一步。利用飛行視頻數(shù)據(jù)庫進行大量的仿真實驗結(jié)果表明:該算法適用于多尺度圖像序列中位置、姿態(tài)發(fā)生快速變化且結(jié)構(gòu)簡單飛行器的穩(wěn)定跟蹤。圖2示意了算法用于連續(xù)多幀跟蹤時的目標定位結(jié)果。圖3示意了連續(xù)多幀跟蹤過程中跟蹤目標受到云層短時干擾時的目標定位結(jié)果。
權(quán)利要求
1.一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法，其特征在于步驟如下: 步驟1:對視頻第一幀圖像I1中待跟蹤目標T用矩形區(qū)域標記，四個頂點分別表示為(xul，yul)，(XurJur), (xdl, ydl), (x&，y&);應(yīng)用SURF算法對矩形內(nèi)待跟蹤目標進行特征點提取，提取出的特征點簇表示為I1Jt…，In，，其坐標位置分別表示為(X^y1), (x2, j2),…，(xn, yn)，隨后進行離散點消除； 所述離散點消除方法:對于中的每n-1個點計算其中的每個點到其幾何中心(xa, ya)距離的平均值da ;求取剩余一點(X1^yJ到(xa, ya)的距離^ ;并進行如下判斷，如果，則令(Xr，y,) = (Xa，ya)，否則不做處理洱為距離判定閾值； 步驟2:求取離散點消除后I1JvJn各點中X坐標最大和最小的兩個x_，Xniin，然后求得各點中y坐標最大和最小的兩個y_，ymin;以(x_，ymax)，(xmax, ymin)，(Xniin, ymax)和(xmin, ymin)四點作為初始迭代輪廓點代入Greedy Snake算法,從而得到提取出的目標輪廓點簇^2/'(；;然后按照步驟1中的離散點消除方法對(:1，(:2/-，(；進行離散點消除，隨后求取x，y坐標分別為最大、最小時的四個頂點，其形成的矩形R作為目標的精確模型； 步驟3:對進行過離散點消除后的，各點采用金字塔KLT特征點跟蹤算法在后續(xù)幀中進行跟蹤，獲取新的特征點Cln，C2n,…，Cm ;然后按照步驟I中的離散點消除方法對C1, C2(；進行離散點消除，隨后求取x，y坐標分別為最大、最小時的四個頂點，其形成的矩形Rn作為目標的下一個精確模型；跟蹤過程中記錄當(dāng)前幀數(shù)F_，每一幀都計算出Rn的面積Ra，中心點坐標(x。，yc)距離圖像左上角(O，0)的歐氏距離d。； 步驟4:對于采用金字塔KLT特征點跟蹤算法的后續(xù)幀中進行自適應(yīng)策略判斷，如果不符合更新要求，則轉(zhuǎn)入步驟1，如果更 新生效則自動確定新的目標大致區(qū)域，轉(zhuǎn)入步驟I ; 所述自適應(yīng)策略判斷步驟如下: 步驟(I):根據(jù)幀數(shù)計數(shù)器，判斷當(dāng)前幀幀數(shù)是否為10的倍數(shù)，若是則主動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟(2)； 步驟(2):計算每幀中跟蹤目標在圖像中的輪廓區(qū)域面積，若相鄰幀之間由特征點簇計算出的目標區(qū)域面積變化達到15%，則被動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟(3)； 步驟(3):計算每幀中由特征點簇計算出的目標質(zhì)心坐標與圖像左上角(0，0)坐標之間的歐式距離，若相鄰幀之間該距離變化達到10%，則被動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟(4); 步驟(4):計算每幀中目標上特征點數(shù)目，若相鄰幀之間該數(shù)目變化達到30%，則被動更新策略生效轉(zhuǎn)至步驟(5)執(zhí)行，若不滿足則轉(zhuǎn)至步驟3 ； 步驟(5):以上一幀中精確定位后的目標輪廓為基準，求其上、下、左、右四點形成的矩形，并延該矩形每邊中點向左右延伸直至各邊長為原邊長的1.5倍；獲得面積為原矩形面積2.25倍后的新矩形區(qū)域，轉(zhuǎn)至步驟I。
2.根據(jù)權(quán)利要求1所述適用于空間繩系機器人的實時空間目標特征點跟蹤方法，其特征在于:所述R=2。
全文摘要
本發(fā)明涉及一種適用于空間繩系機器人的實時空間目標特征點跟蹤方法，主要由特征點提取算法、特征點匹配算法、消除離散點、精確定位和自適應(yīng)策略五部分組成。本發(fā)明采用改進后的SURF算法提取的特征點更具魯棒性、穩(wěn)定性，使得特征點匹配精度高，目標定位精確度高；適用于多尺度圖像序列中位置、姿態(tài)發(fā)生快速變化且結(jié)構(gòu)簡單目標的穩(wěn)定跟蹤；對多種挑戰(zhàn)性情境具有魯棒性，跟蹤過程中具備短時抗遮擋能力；可實現(xiàn)對多個多類目標的實時檢測、跟蹤。本發(fā)明能適用于多尺度圖像序列中位置、姿態(tài)發(fā)生快速變化、結(jié)構(gòu)簡單的空間目標實時魯棒跟蹤方法。
文檔編號G06T7/20GK103150737SQ20131001818
公開日2013年6月12日 申請日期2013年1月18日 優(yōu)先權(quán)日2013年1月18日
發(fā)明者黃攀峰, 蔡佳, 孟中杰, 劉正雄 申請人:西北工業(yè)大學(xué)