本發(fā)明屬于計算機(jī)視覺技術(shù)領(lǐng)域，涉及一種基于CNN和CF的多模板目標(biāo)跟蹤方法。

背景技術(shù)：

目標(biāo)跟蹤作為計算機(jī)視覺技術(shù)的重要組成部分，在車輛導(dǎo)航、人機(jī)交互、醫(yī)學(xué)成像、視頻監(jiān)控等眾多領(lǐng)域都有廣闊的應(yīng)用。目標(biāo)跟蹤的核心問題在于在給定視頻第一幀中的目標(biāo)位置，對之后每一幀進(jìn)行目標(biāo)定位。影響目標(biāo)跟蹤的因素主要有目標(biāo)快速移動、光照變化、尺度變化、背景干擾及遮擋等因素。經(jīng)過國內(nèi)外學(xué)者的不斷研究，目標(biāo)跟蹤的算法得到了迅速的發(fā)展。然而，隨著無人機(jī)技術(shù)的不斷發(fā)展，視頻監(jiān)控已經(jīng)由傳統(tǒng)的固定攝像頭監(jiān)控發(fā)展成基于無人機(jī)的動態(tài)監(jiān)控形式，同時也在監(jiān)控視頻序列中引入了目標(biāo)縱橫比改變、外觀模型視角變化等關(guān)鍵性問題。目前現(xiàn)有的跟蹤算法在這些影響因素上表現(xiàn)不佳，無法完整地跟蹤整個目標(biāo)，從而嚴(yán)重地制約了目標(biāo)跟蹤技術(shù)在實際場景中的應(yīng)用。

在當(dāng)前目標(biāo)跟蹤的研究領(lǐng)域中，主要包括兩種方法：一類是基于對于目標(biāo)本身進(jìn)行描述和刻畫的生成式模型；另一類旨在將目標(biāo)和背景分離開的判別式模型。生成式模型重點在于建立目標(biāo)外觀模型的表征，而判別式模型將跟蹤問題轉(zhuǎn)換為目標(biāo)和背景的二分類問題。由于目標(biāo)跟蹤過程中時常受到背景雜波、光照變化以及遮擋等因素的影響。自從2004年被提出以來，基于判別式模型的跟蹤方法受到了廣泛的關(guān)注。相關(guān)濾波器是一種傳統(tǒng)的信號處理方法，并在2010年被引入跟蹤應(yīng)用中。CSK算法通過建立循環(huán)移位的結(jié)構(gòu)將目標(biāo)進(jìn)行稠密采樣，以此增加正負(fù)樣本的數(shù)目，以此解決目標(biāo)跟蹤之中訓(xùn)練樣本不足的問題。除此之外，通過對于這些樣本進(jìn)行循環(huán)移位的處理，將對目標(biāo)樣本的計算轉(zhuǎn)化到頻率域中的求解，通過使用快速傅里葉變換的方法，大大地提高目標(biāo)跟蹤的效率。然而CSK方法采用的是單通道灰度值圖像，在特征表征上不夠魯棒。針對以上問題，研究人員陸續(xù)提出利用多通道HOG特征的KCF算法和利用顏色矩陣特征的CN算法。除此之外，早期相關(guān)濾波器跟蹤方法在卷積求解中使用的是固定大小的模板，使其沒有尺度自適應(yīng)的功能。相應(yīng)地，有學(xué)者針對目標(biāo)的尺度縮放變化、部分遮擋等問題提出了相應(yīng)的解決方案。例如：DDST跟蹤算法增加了一個尺度濾波器來適應(yīng)目標(biāo)的尺度變化；SAMF跟蹤算法通過利用顏色空間和HOG特征增加特征表征的魯棒性；STC算法通過設(shè)計目標(biāo)的空間概率密度函數(shù)、以及利用背景的上下文信息等方法，提升了算法在遮擋情況下的跟蹤性能。

盡管上述提及的跟蹤算法在OTB上取得了不錯的效果。然而，現(xiàn)有的絕大多數(shù)跟蹤算法在實際場景中表現(xiàn)不盡人意。主要原因有三：(1)OTB測試集上的視頻來源于固定視角的攝像頭，而實際場景中無人機(jī)或其他平臺拍攝的視頻常伴隨視角的變化。由于在發(fā)生視角變化時，目標(biāo)外觀模型變化很大，會引起目標(biāo)漂移甚至丟失；(2)在OTB測試集中，由于攝像頭相對固定，故而目標(biāo)的運動軌跡相對規(guī)矩。然而由于無人機(jī)運動的隨意性，造成目標(biāo)相對較大和相對較快的尺度和速度變化，給傳統(tǒng)的跟蹤算法造成了難度；(3)在OTB數(shù)據(jù)庫中提及的遮擋多為短時間遮擋或者部分遮擋，然而在實際場景中經(jīng)常出現(xiàn)較長時間的遮擋情況，由于現(xiàn)有算法的更新機(jī)制和重檢測機(jī)制都缺乏相應(yīng)的應(yīng)對，故而現(xiàn)有方法在長期遮擋的影響下表現(xiàn)不佳，不能重新檢測到目標(biāo)而導(dǎo)致跟蹤任務(wù)失敗。

針對目前跟蹤算法不能有效解決視角變化的跟蹤問題的現(xiàn)狀，需要設(shè)計一種方法建立多個模板分別對應(yīng)不同的角度，進(jìn)行多角度和多個目標(biāo)模板匹配的跟蹤算法。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提出了一種基于CNN(卷積神經(jīng)網(wǎng)絡(luò))和CF(相關(guān)濾波器)的多模板目標(biāo)跟蹤方法。該方法是一種實時魯棒的跟蹤算法，在不同的跟蹤場景中取得了不錯的效果。

一種目標(biāo)跟蹤方法，具體步驟包括：

步驟一、首先通過開源的3D模型數(shù)據(jù)集TurboSquid獲取目標(biāo)的三維模型，通過對模型的三維旋轉(zhuǎn)和放縮得到不同視角下的目標(biāo)圖片；然后通過卷積神經(jīng)網(wǎng)絡(luò)，離線訓(xùn)練得到不同視角下的目標(biāo)圖片與視角信息之間的對應(yīng)關(guān)系；

步驟二、在目標(biāo)跟蹤過程中，對于當(dāng)前幀圖像t，首先在目標(biāo)區(qū)域內(nèi)提取特征信息，然后利用特征信息計算得到相關(guān)濾波器的參數(shù)；當(dāng)?shù)玫较乱粠瑘D像t+1的信息后，首先在下一幀圖像t+1中提取特征，然后與圖像t的相關(guān)濾波器參數(shù)進(jìn)行卷積運算，在卷積后的結(jié)果中找最大的響應(yīng)值，該最大響應(yīng)值對應(yīng)的位置與卷積運算結(jié)果的中心點之間的矢量即為目標(biāo)的運動矢量信息；目標(biāo)的運動矢量信息與當(dāng)前幀目標(biāo)的位置疊加得到目標(biāo)在下一幀圖像t+1的位置；

步驟三、依次將當(dāng)前幀圖像t的目標(biāo)大小乘以不同尺度值，得到對應(yīng)的多個尺寸，根據(jù)每個尺寸，在步驟二中得到的目標(biāo)在下一幀圖像t+1的位置，對圖像t+1分別進(jìn)行切片，得到大小不同的圖像片，再將這些圖像片歸一化成最初的目標(biāo)大?。粚w一化后的圖像進(jìn)行特征提取，再將該特征與步驟二中計算得到的相關(guān)濾波器進(jìn)行卷積運算，將每一個尺度下的卷積結(jié)果中的最大響應(yīng)值作為該尺度下的響應(yīng)值；然后尋找不同尺度下的最大響應(yīng)值，其對應(yīng)的尺度作為當(dāng)前目標(biāo)的尺度大小；

步驟四、步驟二相關(guān)濾波器卷積后的結(jié)果中，以最大峰值的位置為中心，其附近的11×11的區(qū)域內(nèi)響應(yīng)值求平均值作為信號處理中的峰值響應(yīng)值，將區(qū)域內(nèi)其余部分的平均響應(yīng)值看作旁瓣響應(yīng)值，將當(dāng)前峰值響應(yīng)值與旁瓣響應(yīng)值的比值作為PSR值；判斷PSR值是否低于設(shè)定閾值：如果是，則說明需要重檢，執(zhí)行步驟五；如果否，則說明不需要重檢，步驟二得到的位置信息和步驟三得到的尺度大小為本輪目標(biāo)跟蹤的結(jié)果，并作為當(dāng)前幀結(jié)果，返回步驟二繼續(xù)跟蹤目標(biāo)；

步驟五、在圖像t+1之前的圖像中尋找PSR值高于設(shè)定閾值時的跟蹤的圖像結(jié)果，將其作為數(shù)據(jù)輸入到步驟一已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)此刻對應(yīng)的視角信息；

步驟六、在步驟五得到目標(biāo)的視角信息后，利用步驟一中的三維模型，經(jīng)過視角旋轉(zhuǎn)后還原得到當(dāng)前時刻的目標(biāo)圖像；對還原后的目標(biāo)圖像重新進(jìn)行特征提取，并訓(xùn)練特征對應(yīng)的相關(guān)濾波器，然后利用此相關(guān)濾波器參數(shù)與圖像t+1進(jìn)行卷積運算，尋找響應(yīng)的最大值作為目標(biāo)位置；根據(jù)步驟三的方法，利用還原后的目標(biāo)圖像得到圖像t+1的尺度大小，將本步驟得到的目標(biāo)位置和尺度大小作為當(dāng)前幀結(jié)果，返回步驟二繼續(xù)跟蹤目標(biāo)，直到視頻結(jié)束。

較佳的，所述特征為HOG特征和顏色特征串接成的特征Φ；所述相關(guān)濾波器參數(shù)通過該特征Φ訓(xùn)練得到，具體為：相關(guān)濾波器對應(yīng)的優(yōu)化方程為w為待求解的相關(guān)濾波器參數(shù)，y為目標(biāo)函數(shù)，λ為控制優(yōu)化方程復(fù)雜度的正則化參數(shù)；通過優(yōu)化方程計算得到相關(guān)濾波器的參數(shù)w。

較佳的，所述提取的特征為HOG特征和顏色特征，其對應(yīng)的優(yōu)化方程為其中，i＝1,2；在i＝1和i＝2時，Φ_i分別表示HOG特征和顏色特征，w_i分別表示HOG特征和顏色特征對應(yīng)的相關(guān)濾波器參數(shù)，w表示HOG特征和顏色特征串接后的特征；Ψ₁和Ψ₂分別表示隨機(jī)采樣樣本的HOG特征和顏色特征；通過求解優(yōu)化方程得到HOG特征和顏色特征對應(yīng)的相關(guān)濾波器參數(shù)w₁和w₂，再將計算得到的兩組相關(guān)濾波器參數(shù)串接組合為最后的相關(guān)濾波器參數(shù)。

較佳的，卷積神經(jīng)網(wǎng)絡(luò)輸入的目標(biāo)圖片中還包括目標(biāo)圖片的切片圖像。

較佳的，所述步驟三中，所述不同尺度包括11個固定大小的尺度值，范圍為0.85到1.15，步長為0.03。

本發(fā)明具有如下有益效果：

1、本發(fā)明方法中沿用傳統(tǒng)相關(guān)濾波器的檢測-更新-再檢測的機(jī)制。針對傳統(tǒng)相關(guān)濾波器存在的問題進(jìn)行了改進(jìn)。相比于基本的相關(guān)濾波器跟蹤算法，本發(fā)明中提出利用若干固定的尺度值的方法，在求解卷積操作前先將模板歸一化大小，然后在得到最大響應(yīng)值之后反推出最合適的尺度。雖然在現(xiàn)有的DSST算法中，采用將三維空間最優(yōu)尺度搜索分解為在二維空間搜尋最佳位置，在一維空間內(nèi)搜索最優(yōu)尺度的機(jī)制。但是現(xiàn)有的DSST算法步長小、迭代慢并且計算復(fù)雜度高。然而針對實際問題中，無人機(jī)平臺運動隨意，速度不定等特點，采用固定尺度值的方法，不僅滿足跟蹤算法需要，而且滿足運算的實時性。

2、在本發(fā)明的方法中，沿用現(xiàn)有方法使用了描述形狀的梯度直方圖(HOG)特征與描述顏色的顏色矩陣特征。但是，現(xiàn)有的方法中只是簡單地將這兩種特征進(jìn)行堆疊，訓(xùn)練出一組濾波器，并沒有利用當(dāng)前跟蹤的信息對以上兩種特征進(jìn)行利用。在本發(fā)明的特征提取階段，將這兩種特征進(jìn)行分別提取，并訓(xùn)練出兩組不同的濾波器，根據(jù)當(dāng)前目標(biāo)的外觀模型和背景變化，設(shè)定不同權(quán)重，進(jìn)行目標(biāo)的外觀表征。然后將通過不同特征得到的結(jié)果進(jìn)行融合，得到跟蹤結(jié)果。

3、由于大多數(shù)基于相關(guān)濾波器的跟蹤算法都采用的是檢測-更新-檢測的機(jī)制進(jìn)行跟蹤，故而檢測的結(jié)果好壞影響到下一幀學(xué)習(xí)的模板的好壞。傳統(tǒng)的KCF以及SAMF等方法都采用的是每幀更新的方式。這種情況下，一旦某一幀目標(biāo)遭遇遮擋或漂移，都導(dǎo)致后續(xù)學(xué)習(xí)模板錯誤，從而造成跟蹤目標(biāo)的失敗。為解決以上問題，本發(fā)明中加入的判斷機(jī)制，在得到跟蹤結(jié)果之后，將判斷當(dāng)前時刻是否出現(xiàn)嚴(yán)重遮擋或者目標(biāo)丟失的情況，以便開啟進(jìn)行重檢測機(jī)制，有效避免由于更新模板的錯誤帶來的跟蹤失敗的情況。

4、為了解決上述問題，有研究團(tuán)隊提出可以將每一幀的跟蹤結(jié)果都保存下來，重新進(jìn)行訓(xùn)練和學(xué)習(xí)，并以此得到一個可以包含全部信息的濾波器。然而，隨著跟蹤過程的進(jìn)行，跟蹤結(jié)果越來越多，要計算全部結(jié)果并訓(xùn)練學(xué)習(xí)出一個最優(yōu)的濾波器勢必運算量巨大，影響整個算法的實時性。除此之外，由于在實際的跟蹤過程中，目標(biāo)的外觀模型和背景信息都會變化。故而使用全部信息學(xué)習(xí)到的模板很可能與當(dāng)前目標(biāo)的外觀信息有較大的出入，反而影響跟蹤應(yīng)用的準(zhǔn)確性。而在本發(fā)明中設(shè)計的方法在更新權(quán)值之前，先進(jìn)行了視角的判斷根據(jù)目標(biāo)所處的環(huán)境進(jìn)行更新和檢測，更具針對性和效率。

附圖說明

圖1為本發(fā)明中的步驟一的流程圖。

圖2為本發(fā)明的方法流程圖。

具體實施方式

在現(xiàn)有的跟蹤技術(shù)方案當(dāng)中，基于相關(guān)濾波器跟蹤方法利用目標(biāo)樣本進(jìn)行循環(huán)移位以及頻域運算等處理，大大地提升了其跟蹤效率。然而，由于這種方法逐幀更新目標(biāo)模型，所以在目標(biāo)外觀發(fā)生較大改變時，目標(biāo)模型更新不能準(zhǔn)確刻畫目標(biāo)，所以其不適用于長時復(fù)雜的復(fù)雜場景。并且這種跟蹤方法不包括重檢測機(jī)制，所以當(dāng)跟蹤算法失敗時不能自我糾正。在當(dāng)前的重檢測方法中包含利用特征點的重檢測跟蹤方法，但在目標(biāo)外觀特征變化較大的情況下，特征點急速減少，大大降低重檢測的結(jié)果，甚至造成誤檢的后果。

本發(fā)明通過特殊設(shè)計主要解決以上問題。首先在利用3D模型目標(biāo)(車輛、飛機(jī)、艦船)的不同視角的圖像，并以此為輸入數(shù)據(jù)訓(xùn)練一個CNN網(wǎng)絡(luò)。在實際的跟蹤過程中，可以通過目前跟蹤得到的結(jié)果判斷當(dāng)前目標(biāo)的視角信息(方位、俯仰、水平姿態(tài))。在線跟蹤的部分使用多模板的相關(guān)濾波方法，同時設(shè)置監(jiān)測指標(biāo)，以判斷當(dāng)前跟蹤算法是否發(fā)生了遮擋、漂移等問題。在判定跟蹤目標(biāo)丟失后，找到歷史檢測跟蹤結(jié)果，并輸入到神經(jīng)網(wǎng)絡(luò)中，預(yù)測當(dāng)前目標(biāo)的視角信息。最后通過得到的視角信息，輔助目標(biāo)重檢測的過程，找到下一幀中目標(biāo)的位置，繼續(xù)作為新一幀正樣本進(jìn)行在線跟蹤的過程。

如圖2所示，包括如下步驟：

步驟一、如圖1，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)得到不同視角下的輸入圖像與視角信息之間的一一對應(yīng)關(guān)系。在本發(fā)明方法中，不同視角下的圖像信息通過開源的3D模型數(shù)據(jù)集TurboSquid獲取。該數(shù)據(jù)集提供了大量物體的三維模型，通過對模型的三維旋轉(zhuǎn)和放縮便可以得到不同視角下的目標(biāo)圖片。其中圖片對應(yīng)的視角信息是指三維模型旋轉(zhuǎn)的角度信息和目標(biāo)縮放的尺度信息。將大量包含視角信息的目標(biāo)圖像作為訓(xùn)練樣本，輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，便可以得到目標(biāo)圖像與視角之間的一一對應(yīng)關(guān)系。為了增加系統(tǒng)的穩(wěn)定性，本發(fā)明還將不同視角下的目標(biāo)圖像進(jìn)行切片，并且與其對應(yīng)的視角信息作為輸入數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。使得任意視角下的目標(biāo)圖像或者部分圖像輸入到神經(jīng)網(wǎng)絡(luò)中，都可以預(yù)測出該圖像所對應(yīng)的視角信息。

步驟二、步驟一屬于線下的預(yù)訓(xùn)練，步驟一結(jié)束以后便開始步驟二的在線跟蹤過程。在視頻跟蹤的定義中，目標(biāo)初始的位置信息和尺度大小信息在視頻的第一幀已經(jīng)給定，后續(xù)的目標(biāo)跟蹤需要算法來實現(xiàn)。在后續(xù)的目標(biāo)跟蹤過程中，不僅要預(yù)測出目標(biāo)的位置信息，還要預(yù)測目標(biāo)的尺度大小信息。本發(fā)明方法中對位置信息的預(yù)測采用基于相關(guān)濾波器(CF)的方法。對于已知目標(biāo)信息的當(dāng)前幀，首先在目標(biāo)區(qū)域內(nèi)提取特征信息，然后利用特征信息計算得到相關(guān)濾波器的參數(shù)。其中，如果當(dāng)前幀是第一幀，則目標(biāo)位置為已知；如果當(dāng)前幀為第一幀后的圖像，則當(dāng)前幀位置為上一輪的計算結(jié)果。當(dāng)?shù)玫较乱粠瑘D像信息時，首先在下一幀圖像中提取特征，然后與計算得到的相關(guān)濾波器的參數(shù)卷積，在卷積后的結(jié)果中找最大的響應(yīng)值，最大響應(yīng)值對應(yīng)的位置便是目標(biāo)移動的位置信息。

本步驟中的特征提取過程中，現(xiàn)有方法中的SAMF算法僅將HOG特征和顏色特征串接為一個特征，然后訓(xùn)練得到相關(guān)濾波器參數(shù)。其對應(yīng)的優(yōu)化方程為其中Φ為串接后的特征，w為待求解的濾波器參數(shù)，y為目標(biāo)函數(shù)，λ為控制優(yōu)化方程復(fù)雜度的正則化參數(shù)。通過優(yōu)化方程便可以計算得到相關(guān)濾波器的參數(shù)w。在本發(fā)明中，利用特征之間的內(nèi)在關(guān)系，分別將兩種特征代入計算公式中進(jìn)行協(xié)同訓(xùn)練，優(yōu)化方程中增加相關(guān)濾波器之間的互相懲罰項。其對應(yīng)的優(yōu)化方程為方程中Φ_i在i＝1和i＝2 時分別表示HOG特征和顏色特征，w_i表示兩種特征對應(yīng)的濾波器參數(shù)，w表示兩種特征串接后的特征。Ψ₁和Ψ₂分別表示隨機(jī)采樣樣本的HOG特征和顏色特征。通過求解方程得到每一組特征對應(yīng)的相關(guān)濾波器參數(shù)w₁和w₂，將計算得到的兩組濾波器參數(shù)串接組合為整體的濾波器參數(shù)。這樣的優(yōu)化條件保證了相關(guān)濾波器會自動趨向于表現(xiàn)魯棒的特征，使得相關(guān)濾波器能夠更好地表征目標(biāo)自身的外觀模型。

步驟三、由于步驟二僅預(yù)測了目標(biāo)的位置信息，所以本步驟用于預(yù)測目標(biāo)的尺度大小信息。在現(xiàn)有的研究中，有研究人員提出將三維空間搜索最佳的問題變?yōu)槭紫仍诙S空間上搜索最優(yōu)位置，然后再在一維空間上搜索最優(yōu)尺度的方法。然而，在實際的操作過程和實際應(yīng)用中，目標(biāo)的尺度變化時其變化速度往往很快?，F(xiàn)有的DSST方法采用尺度濾波器的方法適用于尺度變化小的跟蹤，無法試用于快速跟蹤尺度變化的目標(biāo)。

在本發(fā)明中，采取設(shè)置11個固定大小的尺度值(0.85到1.15，步長0.03)的方法進(jìn)行尺度變化的預(yù)測。依次將第t幀圖像的目標(biāo)大小乘以不同尺度值，得到對應(yīng)的多個尺寸，根據(jù)每個尺寸，在步驟二中得到的目標(biāo)在下一幀圖像t+1的位置，對第t+1幀圖像分別進(jìn)行切片，得到大小不同的圖像片，再將這些圖像片歸一化成最初的目標(biāo)大?。粚w一化后的圖像進(jìn)行特征提取，再將該特征與步驟二中計算得到的相關(guān)濾波器進(jìn)行卷積運算，將每一個尺度下的卷積結(jié)果中的最大響應(yīng)值作為該尺度下的響應(yīng)值；然后尋找不同尺度下的最大響應(yīng)值，其對應(yīng)的尺度作為當(dāng)前目標(biāo)的尺度大小，自此便完成對于目標(biāo)尺度變化的估計。

步驟四、步驟二和步驟三完成了目標(biāo)跟蹤中的位置預(yù)測和尺度預(yù)測。然而在跟蹤過程中，不可避免會發(fā)生目標(biāo)的遮擋或者移出視野等狀況，此時需要對目標(biāo)進(jìn)行重新檢測，糾正目標(biāo)的位置和尺度大小。所以本步驟主要設(shè)計用于判斷何時進(jìn)行重檢測。本發(fā)明中采用與傳統(tǒng)信號處理相同的PSR指標(biāo)對于跟蹤過程進(jìn)行監(jiān)測。其中PSR指標(biāo)是指步驟二相關(guān)濾波器卷積后的結(jié)果中，以最大峰值的位置為中心，其附近的11*11的區(qū)域內(nèi)相應(yīng)求平均值作為信號處理中的峰值響應(yīng)值，將其余部分的平均響應(yīng)看作旁瓣響應(yīng)值，計算當(dāng)前峰值響應(yīng)值與旁瓣響應(yīng)值的比值作為PSR值。當(dāng)目標(biāo)進(jìn)行正常跟蹤時，PSR值會一直保持很高的狀態(tài)。但是當(dāng)目標(biāo)發(fā)生嚴(yán)重遮擋或漂移時，則PSR值急劇下降。本發(fā)明通過檢測PSR值的下降信息便可以得到何時進(jìn)行重新檢測的時刻信息，即：判斷PSR值是否低于設(shè)定閾值：如果是，則說明需要重檢，執(zhí)行步驟五；如果否，則說明不需要重檢，步驟二得到的位置信息和步驟三得到的尺度大小為本輪目標(biāo)跟蹤結(jié)果，并作為當(dāng)前幀結(jié)果，然后返回步驟二繼續(xù)跟蹤。

步驟五、在步驟四中得到了目標(biāo)需要重新檢測的時刻信息，本步驟主要描述如何進(jìn)行重檢測。在現(xiàn)有的技術(shù)方案中，重檢測的方法主要有特征點匹配和弱分類器級聯(lián)等方法。然而在例如基于無人機(jī)的長時跟蹤場景中時，目標(biāo)的外觀模型可能變化很大。同時，由于無人機(jī)拍攝角度的不斷改變，導(dǎo)致目標(biāo)可能出現(xiàn)信息的增加和減少，使用傳統(tǒng)的跟蹤與重檢測方法在沒有先驗信息的情況下，很難有效地對目標(biāo)進(jìn)行重檢測。

在本發(fā)明中，利用步驟一訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)，判斷當(dāng)前目標(biāo)所處的視角信息。步驟四中通過觀察PSR值來檢測當(dāng)前跟蹤效果。當(dāng)步驟四發(fā)出要重新檢測的信息時，說明此時目標(biāo)已經(jīng)被嚴(yán)重遮擋或漂移。所以，在圖像t+1之前的圖像中尋找PSR值高于設(shè)定閾值時的跟蹤的圖像結(jié)果，將其作為數(shù)據(jù)輸入到步驟一已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)此刻對應(yīng)的視角信息；

步驟六、在步驟五得到目標(biāo)的視角信息后，便可以利用訓(xùn)練的三維模型，經(jīng)過視角旋轉(zhuǎn)后，最大化還原當(dāng)前時刻的目標(biāo)圖像。由于目標(biāo)運動的連續(xù)性，所以在視角空間中，目標(biāo)再次出現(xiàn)的視角與當(dāng)前檢測得到的視角有很大關(guān)聯(lián)。對還原后的目標(biāo)圖像重新進(jìn)行特征提取，并訓(xùn)練特征對應(yīng)的相關(guān)濾波器，然后利用此相關(guān)濾波器參數(shù)與圖像t+1進(jìn)行卷積運算，尋找響應(yīng)的最大值作為目標(biāo)的位置；根據(jù)步驟二的方法，利用還原后的目標(biāo)圖像得到圖像t+1的尺度大小，將本步驟得到的目標(biāo)位置和尺度大小作為當(dāng)前幀結(jié)果，然后返回步驟二繼續(xù)跟蹤，直到視頻結(jié)束。

自此，便完成了基于CNN和CF的多視角的目標(biāo)跟蹤方法。

綜上，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。