本發(fā)明屬于無人機導(dǎo)航領(lǐng)域,計算機視覺領(lǐng)域,具體涉及使用無人機對目標進行自動檢測與跟蹤的方法。
背景技術(shù):
無人機具有高機動性、高分辨率、隱蔽性好、操作靈活等優(yōu)勢。所以在目標偵察與跟蹤領(lǐng)域有巨大優(yōu)勢,比傳統(tǒng)的固定攝像頭監(jiān)視范圍大,其主要應(yīng)用于晝夜空中偵察,交通監(jiān)視,軍事測繪等領(lǐng)域。利用無人機搭載的視頻傳感器對地面運動目標進行跟蹤與分析,在民用與軍事上有重大的實踐意義。
首先,對于大多數(shù)的視頻監(jiān)控系統(tǒng)而言,都是在攝像機靜止時對某個需要特殊關(guān)注的區(qū)域進行監(jiān)視。背景是靜止的,而作為前景的運動目標是移動的,這種情況下的目標檢測只需作背景差法,就能取得不錯的效果。但是在很多情況下,如以無人機作為載體的攝像機下的目標檢測與跟蹤,其拍攝的圖像序列背景往往是不斷變化的,具有不固定性,這種情況下的待跟蹤目標的檢測與跟蹤顯得異常艱難。
其次,對于一個單目標的跟蹤,并不代表無人機的視場中只有單一運動物體,而是場景中有多個移動的物體,對真正的感興趣目標的檢測及跟蹤造成了干擾,不能進行目標的有效識別。還有背景噪聲存在,例如由于陰影或光照的影響等造成提取出來的目標不完整或中心有空洞,在這些情況下,往往使得目標的檢測識別造成了更大的困難。
本發(fā)明中用到的名詞解釋如下:
無人機:是利用無線電遙控設(shè)備和自備的程序控制裝置操縱的不載人飛機,包括無人固定翼機、無人直升機和多旋翼無人機等。
無線傳輸設(shè)備:一種使用mavlink協(xié)議的通信設(shè)備,通信頻段一般為2.4g。
shi-tomasi角點:一種圖像特征點的檢測方法,代表圖像的局部特征,對圖像的亮度變化、模糊變化、旋轉(zhuǎn)變化和視角變化等,均具有較強魯棒性。
fri:以角點為中心的鄰域圖像,本發(fā)明中取大小為30×30正方形區(qū)域。
bhattacharyya系數(shù):度量目標模型和候選模型區(qū)域間的相似程度的數(shù)值,數(shù)值越小,區(qū)域相似性越大;反之,區(qū)域相似性越大。
技術(shù)實現(xiàn)要素:
本發(fā)明旨在提供一種基于無人機的地面運動目標實時跟蹤方法及系統(tǒng),解決現(xiàn)有技術(shù)中目標檢測識別困難的問題。
為解決上述技術(shù)問題,本發(fā)明所采用的技術(shù)方案是:一種基于無人機的地面運動目標實時跟蹤方法,包括以下步驟:
1)無人機按照預(yù)定的飛行軌跡進行巡邏,將拍攝的圖像序列傳輸?shù)降孛婵刂普荆瑱z測出無人機視場下的感興趣目標;
2)提取上述感興趣目標的二維圖像矩形框大小與中心位置信息;
3)利用所述二維圖像矩形框大小與中心位置信息,融合均值漂移算法和卡爾曼濾波算法的輸出數(shù)據(jù),使用數(shù)據(jù)加權(quán)的形式輸出最終目標定位結(jié)果。
步驟3)之后,根據(jù)所述目標定位結(jié)果,調(diào)整無人機飛行模式,使運動目標位于地面站顯示屏中心區(qū)域。
步驟2)的具體實現(xiàn)過程包括:
1)分別提取無人機拍攝圖像序列的相鄰兩幀的shi-tomasi角點集合;
2)對兩幀圖像的shi-tomasi角點集合分別構(gòu)造合成基描述子;
3)對帶有合成基描述子的shi-tomasi角點集合進行特征匹配,獲取相鄰兩幀的圖像角點匹配對;
4)對步驟3)獲得的角點匹配對,利用ransac方法估計出背景運動變換矩陣,并進行圖像背景運動補償;
5)對運動補償后的相鄰幀圖像作幀差操作,得到幀差圖像,并將幀差圖像二值化;
6)對幀差圖像作形態(tài)學(xué)濾波操作,進行目標信息分離和提取,獲得目標矩形框的大小與中心位置信息。
相鄰兩幀圖像所有角點合成基描述子的具體生成過程包括:
1)對相鄰兩幀圖像中每一個特征點鄰域圖像fri進行二值化處理,并計算特征點鄰域圖像fri的平均灰度值,當(dāng)特征點鄰域圖像fri內(nèi)的像素點值大于平均灰度值,則該像素點值被置1;否則,置0;
2)把相鄰兩幀圖像中所有30×30大小的特征點鄰域圖像fri均分成6×6個大小為5×5的子區(qū)域,合成基圖像為5×5個黑白元素組成的正方形;所述合成基圖像黑色像素點個數(shù)為fri子區(qū)域像素的一半,合成基圖像的個數(shù)
3)對于步驟2)中的任一個特征點鄰域圖像fri,將該特征點鄰域圖像fri的所有子區(qū)域以從左至右、從上到下的順序與合成基圖像集合進行比較,每一個子區(qū)域都生成一個9維向量,組合36個子區(qū)域的各自9維向量,最后形成一個324維的合成基描述子。
所述特征點鄰域圖像fri的一個子區(qū)域9維向量生成方法為:一個子區(qū)域與合成基圖像集合中一個合成基圖像的比較值為兩者在同一像素點處黑色像素相同的個數(shù),合成基圖像集合被比較的順序為從左至右、從上到下,然后一個子區(qū)域依照上述的比較規(guī)則和比較順序,與合成基圖像集合中所有的合成基圖像一一進行比較,得到9個整數(shù)值,組成9維向量。
目標信息分離和提取的具體步驟包括:
a)遍歷每一幀濾波后的幀差圖像,遍歷的順序為自上而下,從左至右;
b)如果一個像素滿足:二值化后的像素值為1且沒有編號,則對該像素賦予新的編號;
c)遍歷賦予了新的編號的像素的八鄰域,依據(jù)步驟b)中的條件,給予滿足條件的8鄰域內(nèi)的像素新的編號,且該新的編號與賦予了新的編號的像素編號相同;對于不滿足條件的八領(lǐng)域內(nèi)的像素,返回步驟b);
d)當(dāng)把幀差圖像中所有像素值為1的像素點遍歷完且都編完號之后,操作結(jié)束。
所述矩形框的確定方法包括:每一幀濾波后的幀差圖像經(jīng)過掃描后,像素點為1的都有編號,編號相同的則為同一物體,連接在一起就組成了運動物體,假設(shè)有m個運動物體,對于第一個運動物體,矩形框獲取方法如下:依次從第一個被標記的像素點開始遍歷,直至遍歷完最后一個被標記像素點,將標記像素點中x坐標與y坐標的最小值與最大值保存下來,記為xmin,ymin,xmax,ymax,以(xmin,ymin),(xmax,ymax)兩點作為矩形框的對角點,畫出矩形框。
本發(fā)明還提供了一種地面運動目標實時跟蹤的系統(tǒng),包括:
無人機,用于按照預(yù)定的飛行軌跡進行巡邏,將拍攝的圖像序列傳輸?shù)降孛婵刂普荆?/p>
無線傳輸設(shè)備:為無人機與地面控制站之間的數(shù)據(jù)傳輸提供一種通信方式;
地面控制站,用于檢測出無人機視場下的感興趣目標,提取感興趣目標的二維圖像矩形框大小與中心位置信息,并利用所述二維圖像矩形框大小與中心位置信息,融合均值漂移算法和卡爾曼濾波算法的輸出數(shù)據(jù),使用數(shù)據(jù)加權(quán)的形式輸出最終得目標定位結(jié)果。
相應(yīng)的,該系統(tǒng)還包括:跟蹤指令生成模塊,用于根據(jù)所述目標定位結(jié)果,調(diào)整無人機飛行模式,使運動目標位于地面站顯示屏中心區(qū)域。
所述地面控制站包括:
檢測與識別模塊,用于檢測出無人機視場下的感興趣目標,并提取感興趣目標的二維圖像矩形框大小與中心位置信息;
目標跟蹤模塊,利用所述二維圖像矩形框大小與中心位置信息,融合均值漂移算法和卡爾曼濾波算法的輸出數(shù)據(jù),使用數(shù)據(jù)加權(quán)的形式輸出最終得目標定位結(jié)果。
目標搜索模塊,丟失跟蹤目標時,該模塊使用一種序列搜索方法重新定位目標。
跟蹤指令生成模塊,根據(jù)跟蹤目標在地面站顯示屏中的成像區(qū)域,生成相應(yīng)的跟蹤指令,以使目標位于顯示屏中心位置。
與現(xiàn)有技術(shù)相比,本發(fā)明所具有的有益效果為:本發(fā)明目標的檢測與跟蹤過程不需人工的全程參與,使用的合成基描述子進行特征點匹配,對尺度旋轉(zhuǎn)、光照、模糊變化具有魯棒性,匹配效率高,并且合成基描述子的生成不涉及浮點運算,其對處理圖像的硬件平臺具有友好性,易于實現(xiàn),能有效地進行目標識別,避免背景噪聲的影響。
附圖說明
圖1為無人機系統(tǒng)結(jié)構(gòu)組成圖;
圖2為無人機系統(tǒng)基于合成基描述子的背景運動參數(shù)估計方法的流程圖;
圖3為目標信息分離與提取圖;
圖4(a)合成基圖像集合;圖4(b)二值化的fri;圖4(c)fri的第一個子區(qū)域與第一個合成基圖像比較值;圖4(d)fri的第一個子區(qū)域與第二個合成基圖像比較值;
圖5為運動目標分離與信息提取流程圖;
圖6為無人機系統(tǒng)算法融合與搜索策略流程圖;
圖7為無人機系統(tǒng)搜索序列層次策略流程圖;
圖8為無人機系統(tǒng)地面站顯示屏分區(qū)域示意圖;
圖9為無人機視頻序列任意上下幀圖像;
圖10為基于合成基描述子的角點匹配圖像;
圖11為幀差檢測結(jié)果圖像;
圖12為形態(tài)學(xué)濾波后的目標檢測圖像;
圖13為目標分離和信息提取圖像。
具體實施方式
圖1為無人機系統(tǒng)組成圖,其包括無人機、攝像機、無線傳輸設(shè)備和地面控制站。無人機作為攝像機的載體,擴大攝像機的拍攝范圍。無線傳輸設(shè)備為無人機采集圖像序列的下傳與地面站飛控指令上傳提供通信方法;地面控制站包含四個模塊,分別為目標檢測與識別模塊,目標跟蹤模塊,目標搜索模塊,跟蹤指令生成模塊。
無人機系統(tǒng)跟蹤的具體實施方法如下:
1、無人機按用戶指定的飛行區(qū)域使用預(yù)先規(guī)劃的飛行航跡,進行巡邏,攝像機把拍攝的圖像序列通過無線傳輸設(shè)備下傳到地面控制站的目標檢測與識別模塊進行處理,獲得目標在地面站顯示屏成像位置及矩形框大小。無人機拍攝的圖像序列的任意相鄰兩幀如圖9所示。
2、啟動無人機的目標檢測與識別模塊,檢測無人機視場下的感興趣目標,并提取目標在顯示屏上的矩形框大小與中心位置信息。目標檢測與識別模塊分為兩個過程進行?;诤铣苫枋鲎拥谋尘斑\動參數(shù)估計與目標信息分離和提取。第一個過程下面將介紹具體的實施方法,如圖2為一種基于合成基描述子的背景運動參數(shù)估計方法的流程圖:
1)提取起始幀的特征點,由于shi-tomasi角點具有高效性,故采用這種特征點。設(shè)定起始幀為x,定義一個在像素s處的自相關(guān)函數(shù)f如下:
其中δs表示位移量,w表示以s為中心的寬窗
對x(s+δs)進行一階泰勒展開,上式可改寫為如下:
其中△x是圖像一階導(dǎo)函數(shù),λ是精度矩陣。特征點提取標準是精度矩陣特征值的最小值大于一個常數(shù),即:
q(s)=min{λ1,λ2}>k(3)
其中k為經(jīng)驗閾值,一般為0.05-0.5之間。
2)角點鄰域的二值化,一般取特征點30×30的正方形鄰域較為合理,能兼顧到復(fù)雜度與準確度。接下來生成描述符,對fri進行二值化處理,需計算特征點鄰域的平均灰度值,fri的平均灰度值計算公式如下:
式中,p為fri的像素個數(shù),這里為900;i(x,y)為fri中某一點的像素灰度值。
然后,當(dāng)特征點鄰域內(nèi)的像素點值大于g,則該像素點值被置1;當(dāng)特征點鄰域內(nèi)的像素點值小于g,則該像素點值被置0。由此過程,可以得到二值化的fri,它可以保留關(guān)鍵點鄰域內(nèi)的結(jié)構(gòu)信息,為下步特征點的描述子生成奠定基礎(chǔ)。
3)構(gòu)造角點描述符,首先把30×30的fri分成6×6個5×5的子區(qū)域,為了能使fri的子區(qū)域與合成基圖像進行對應(yīng)元素比較,一個合成基圖像的大小與fri的子區(qū)域相等。合成基圖像是一個正方形區(qū)域,由黑色與白色元素組合而成,可以由下面的合成基函數(shù)確定合成基圖像的個數(shù)。
式中,n為子區(qū)域的像素個數(shù);k為合成基圖像中黑色像素的個數(shù);m表示sbi的個數(shù),能唯一表征一個特征點。
為了提高算法的實時性,當(dāng)然希望合成基圖像的個數(shù)越少越好,當(dāng)k為n的一半時,函數(shù)有最小值。k結(jié)果為小數(shù),進行加1取整操作。例如,30×30的fri分成6×6個5×5子區(qū)域,則n為13,合成基圖像的個數(shù)為13ln(25/13)或9;30×30的fri分成2個15×15的子區(qū)域,則n為450,合成基圖像的個數(shù)為113ln(225/113)或78。以圖4(a)~圖4(d)的5×5子區(qū)域例子進行算法的具體說明:
圖4(a)為合成基圖像集和,由9個合成基圖像組成,每一個合成基圖像區(qū)域有13個像素點為黑色,其余點為白色,這13個黑色點采用偽隨機方式分布在5×5的區(qū)域內(nèi),但必須保證每一個合成基圖像的分布模式互不相同。圖4(b)為二值化后的fri,并把它分成36個5×5的子區(qū)域。從左至右、從上到下的順序,把第一個子區(qū)域與每一個合成基圖像進行比較,比較的規(guī)則是看兩者在同像素點處黑色點相同的個數(shù),這樣每一個子區(qū)域都會生成一個9維的向量,這就是子區(qū)域的描述符,且每一個分量的范圍是(0,13)。
再依照上文的比較順序,得到其余的35個子區(qū)域描述。最后組合36個子區(qū)域的描述子,最后形成一個324維的描述子。其中圖4(c)為第一個子區(qū)域和第一個合成基圖像比較得到的描述子,值為6;圖4(d)為第一個子區(qū)域和第二個合成基圖像的比較得到的描述子,值為7。
4)基于合成基描述子的角點匹配。特征點的匹配的成功,意味著這兩個特征點的“距離”是最短的,衡量這個距離的最常用的方法有歐氏距離,馬氏距離等,但是其計算的復(fù)雜性是高維向量所不能接受的?;诖耍褂胠1范數(shù)來度量特征點“距離”。為了說明特征點集的匹配過程,現(xiàn)假設(shè)視頻序列的當(dāng)前幀中有m個特征點,下一幀有n個特征點,那么衡量上下兩幀中特征點距離的l1范數(shù)如下式:
xi表示當(dāng)前幀的第i個合成基描述子,yj表示下一幀圖像第j個合成基描述子,w表示描述子的維數(shù),含324個分量。
合成基描述子計算原理如圖5所示,每一行表示一個角點的描述子,再利用l1范數(shù)計算距離,在圖5中角點1與角點2的距離為3。由上一步可以得到兩幅圖像中各自任意的特征點的距離,為了減少誤匹配的概率,采用一種交叉匹配法:計算當(dāng)前幀中的第i個角點與下一幀所有角點的l1范數(shù)距離d,共得到n個距離值,選取距離最小值為候選匹配點,記為yj;在按照上述方法,計算下一幀的第j個角點點與上一幀所有角點的距離,共得到m個距離值,把其中得到的最小值標記為t,若t=j(luò),則可以判定xi與yj為匹配正確的一對特征點,否則認為匹配有誤。如圖10所示,為交叉匹配法得到航拍圖像的角點匹配圖。
5)利用ransac算法排除運動物體上的角點(外點),再去估計背景變換矩陣。估計背景的運動參數(shù),希望角點匹配對盡可能的來自于背景角點組,對于上一步中的角點匹配對,需要使用ransac算法排除運動目標角點匹配對的誤差干擾,使計算出來的背景運動補償參數(shù)更精確。由于采用的圖像變換形式為八參數(shù)射影變換模型,所以至少需要四組匹配對解出背景變換矩陣,其中八參數(shù)射影變換模型如下;
ransac算法計算背景運動補償矩陣的算法過程如下所示:
a)首先定義兩幅圖像所有的匹配點對為總體樣本d,任意選取四組匹配點作為一個樣本數(shù)據(jù)ji,并根據(jù)樣本數(shù)據(jù)計算背景參數(shù)模型h(j)。
b)由上一步計算得到的實例h(ji),確定總體d中與h(ji)之間幾何距離<閾值d的匹配點所構(gòu)成的集合,并記為s(h(ji)),稱為實例h(ji)的一致集。
c)由a)和b)兩步計算另一個一致集s(h(jk)),如果s(h(ji))>s(h(jk)),則保留一致集s(h(ji));反之,則保留一致集s(h(jk))。
d)經(jīng)過k次隨機抽樣,選擇最大個數(shù)的一致集中的匹配對作為正確的匹配對,即背景角點組。
e)由確定的背景角點組,使用最小二乘法計算出背景運動變換矩陣h。
其中d和k參數(shù)的確定分別為如式(8)、(9)計算:
d=‖xi-hxi‖(8)
式中,xi為總體樣本的一個數(shù)據(jù)點;w為好樣本(內(nèi)點)的概率。
目標檢測與識別第二個過程,目標信息分離和提取的流程如圖3所示,具體實施方法如下:
1)為計算幀差圖像,因為無人機視場中存在多個移動物體,故采用一種幀前幀后差分法,檢測出所有的運動物體,其計算公式如下:
其中xt-2,xt-1,xt為視頻序列的任意連續(xù)三幀;
2)幀差圖像的二值化,采用合適的閾值對步驟s301得到的圖像二值化。
3)形態(tài)學(xué)濾波操作,由步驟302得到的二值化圖像采用形態(tài)學(xué)操作對其濾波,這樣會使各個運動對象的分割效果更明顯。形態(tài)學(xué)操作過程如下:
a)對其進行圖像腐蝕,以剔除孤立的噪聲點。
b)再對其進行圖像膨脹,就是擴大目標的邊緣,填平所缺的坑,使輪廓更平滑。
在數(shù)學(xué)形態(tài)化處理后,檢測結(jié)果更飽滿,目標區(qū)域更明顯,更有利于各個運動對象的分割和信息提取。圖12為形態(tài)學(xué)濾波后的航拍圖。
4)目標信息的分離和提取,為了分離每一幀的多個運動物體,首先需要對每個運動物體進行連通關(guān)聯(lián),將每幀的各個運動物體標記為不同的編號,最后把相同的區(qū)域選擇出來。實現(xiàn)以上的目的,一般通常再用順序標記法,該方法能夠完成對運動物體的標記和分離,通常對每一幀采用自上而下自左向右的順序進行像素掃描。在本方法中使用的像素模板為3*3大小的,具體步驟如下:
a)對每一幀進行像素遍歷,遍歷的順序為自上而下從左至右。
b)如果一個像素滿足兩個條件:二值化后的像素值為1且沒有編號,則對該像素賦予新的編號。
c)對b)中找到像素的八鄰域進行遍歷,重復(fù)b)中的條件,給予相同的編號。
d)當(dāng)c)中的條件不滿足時,重復(fù)b)的操作。
e)當(dāng)把圖像中所有像素值為1的點遍歷完且都編完號之后,操作結(jié)束。
每一幀經(jīng)過掃描后,像素點為1的都有編號,編號相同的則為物體,連接在一起就組成運動物體,假設(shè)有m個物體,現(xiàn)在以第一個運動物體為例,矩形框獲取方法如下:依次從第一個被標記的像素點遍歷至最后一個被標記像素點,將標記像素點中x坐標與y坐標的最小值與最大值存下來,記為xmin,ymin,xmax,ymax,接著就可以畫出矩形框。通常以(xmin,ymin),(xmax,ymax)兩點作為矩形框的對角點,畫出矩形框。其它的運動物體的矩形框獲取方法同上。無人機圖像序列任意相鄰兩幀經(jīng)過該步驟處理后的效果,如圖13所示。
3、啟動目標跟蹤模塊,由上一步驟獲得的跟蹤目標矩形框位置及大小信息,輸入到跟蹤模塊的兩個跟蹤算法中,該步驟的具體運行過程如下:
1)先假設(shè)目標運動模型服從勻速度模型,卡爾曼濾波輸出定位結(jié)果,記為第一目標真值ykf。
卡爾曼濾波器利用過渡模型從先前估計的狀態(tài)預(yù)測當(dāng)前狀態(tài),并且用當(dāng)前狀態(tài)更新當(dāng)前測如下,其中
再利用卡爾曼濾波增益k去計算當(dāng)前狀態(tài)真值b(t):
假設(shè)當(dāng)前運動目標運動模型為勻速運動,依據(jù)該模型來設(shè)置a與m即可。其中a為狀態(tài)轉(zhuǎn)移矩陣ωt控制過渡模型誤差,m是測量矩陣,εt表示測量誤差。其中vω和vε分別是ωt和εt的協(xié)方差。在我們的應(yīng)用中,我們將檢測到的對象的邊界框的大小和位置分配為狀態(tài)變量b(t),初始化卡爾曼濾波器。
2)利用均值漂移跟蹤算法,其目標模板的位置已經(jīng)由目標檢測與識別模塊給出,所以能輸出定位目標結(jié)果,記為第二目標真值yms。均值漂移算法具體過程已經(jīng)非常成熟,故不在此贅述。
3)使用加權(quán)和數(shù)據(jù)融合方法,輸出目標在未丟失時的定位結(jié)果。,若丟失目標,則啟用搜索模塊,重新定位目標結(jié)果。
由第一步輸出的第一目標真值ykf,及第二步輸出的第二目標真值yms,用以下策略進行數(shù)據(jù)的加權(quán)融合,采用bhattacharyya系數(shù)來度量目標模型和候選區(qū)域(第二目標真值)的相似性程度,當(dāng)相似度大于0.8時,認為第二目標真值完全可信;當(dāng)相似度大于0.5小于0.8時,不完全信任第二目標真值,進行數(shù)據(jù)加權(quán)融合操作;當(dāng)相似度小于0.5時,認為目標發(fā)生了遮擋或目標狀態(tài)的變化,認為目標發(fā)生了遮擋或目標狀態(tài)的變化,可認為目標丟失,需啟動目標搜索模塊重新定位目標;上述的三種情況數(shù)據(jù)融合方式可由公式(13)、(14)、(15)分別判定:
ρ<0.5,y=null(15)
式中,ρ為相似度;d為經(jīng)驗閾值;yms,ykf分別為均值漂移算法與卡爾曼濾波算法的目標值。
由上可知,當(dāng)輸出值為null時,融合策略算法認為目標由于遮擋等原因發(fā)生丟失,無人機系統(tǒng)會自動從跟蹤模塊切換到目標搜索模塊,重新定位目標在地面站顯示屏的區(qū)域位置。
4)如圖4為搜索序列流程圖,當(dāng)丟失跟蹤目標時,啟動目標搜素模塊,該模塊使用一種序列的搜索方法,分兩個層次,對目標丟失的原因更具有針對性,搜索效率較高。
第一層,前后幀差等距離搜索,yk+1=y(tǒng)k+△y,其中△y=y(tǒng)k-yk-1。
a)假設(shè)當(dāng)前處理圖像序列為第k幀,yk為其k時刻目標的中心位置,跟蹤默認圖像序列目標中心依次為y0,y1,…,yk-1,yk,yk+1,…。
b)利用幀差等距離公式,根據(jù)第k幀圖像位置點計算出第k+1幀的中心位置,再以該位置取目標檢測與識別模塊輸出的矩形框一樣大小作為候選目標,計算其目標的顏色直方圖,再計算與目標模板的相似度,如果相似度大于設(shè)定的閾值0.75,選取信任該候選模板,找到了目標;否則,不信任,進入第二層搜索策略。
第二層,局部/全局搜索策略,先局部搜索,即先在上一幀目標發(fā)生丟失的分區(qū)中,采用粒子濾波的方法進行重新搜索,具體而言就是,假如目標在攝像機成像視場中的第6區(qū)域丟失,則優(yōu)先在該區(qū)內(nèi)均勻噴灑n個粒子,重新定位到目標;若還在k幀內(nèi)無法發(fā)現(xiàn)目標,則采用分區(qū)域粒子濾波方法,在1-9區(qū)域內(nèi),分別使用粒子濾波跟蹤方法,每一個區(qū)域都會濾出一個跟蹤結(jié)果,再采用一種加權(quán)融合每個區(qū)域的結(jié)果,最后重新得到目標的位置。
4、根據(jù)上一步輸出的目標定位結(jié)果,啟用跟蹤指令生成模塊,調(diào)整無人機飛模式,使運動目標位于圖像中心區(qū)域。如圖五為圖像分區(qū)域編號,利用這個分區(qū)啟用跟蹤指令生成模塊,通過無線傳輸模塊,發(fā)送指令至無人機的飛控系統(tǒng),調(diào)整飛行模式,使目標在當(dāng)前時刻成像區(qū)域向中心區(qū)域(第五區(qū)域)移動。具體而言,跟蹤指令生成模塊的調(diào)整方式如下:
第5區(qū):圖像中心區(qū)域,如果目標中心點位于該區(qū)域,保持無人機的飛行姿態(tài)不變,不生成任何跟蹤指令。
第1區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成左前方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第2區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成向前方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第3區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成右前方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第4區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成向左方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第6區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成右飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第7區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成左后方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第8區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成向后方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。
第9區(qū):如果目標中心點位于該區(qū)域,則跟蹤指令模塊生成右下方飛行模式,控制無人機飛行姿態(tài),使目標圖像中心點位于圖像中心區(qū)域。