一種改進sift算法的快速目標跟蹤方法
【專利摘要】本發(fā)明屬于目標跟蹤領域，具體涉及一種改進SIFT算法的快速目標跟蹤方法。本發(fā)明包括：采集裝置獲取動態(tài)視頻；從動態(tài)視頻中獲取一張目標圖像；提取目標圖像的SIFT特征并保存到數(shù)據(jù)庫中；目標的SIFT特征與動態(tài)視頻中的每幀圖像的SIFT特征進行匹配，檢測到目標后，確定目標在圖像中的位置；根據(jù)目標位置區(qū)域初始化Mean?Shift模板；Mean?Shift對動態(tài)視頻中之后每一幀圖像進行迭代跟蹤；根據(jù)跟蹤目標確定模板更新頻率。本發(fā)明的方法為快速跟蹤物體提供了一條非常有效的途徑，可廣泛應用于視頻監(jiān)控，運動分析等領域。與傳統(tǒng)的SIFT跟蹤方法相比，速度得到很大的提升，完全可以滿足實時性。
【專利說明】一種改進SIFT算法的快速目標跟蹤方法
【技術領域】
[0001]本發(fā)明屬于目標跟蹤領域，具體涉及一種改進SIFT算法的快速目標跟蹤方法。
【背景技術】
[0002]目標跟蹤是指在一序列圖像的每幅圖像中找到所感興趣的運動目標所處的位置，它是計算機視覺領域的一個重要研究方向，經常應用于視頻監(jiān)控、人工智能、人機交互等方面。目標跟蹤可以提供被監(jiān)控目標的運動軌跡，也為目標的運動分析提供了可靠的數(shù)據(jù)信息。目標視頻目標跟蹤算法主要有基于對比度分析的方法，基于特征匹配的方法，核方法，運動檢測(光流法)等等。
[0003]運動目標跟蹤在智能監(jiān)控、人機界面、虛擬現(xiàn)實、運動分析等許多領域有著廣泛的應用前景，在科學和工程中有著重要的研究價值，吸引了國內外越來越多研究者的興趣。視頻跟蹤技術近年來引起越來越多的研究者們關注，這主要由于兩方面原因:一方面，計算和存儲成本的大幅度下跌使得以視頻速率或近似視頻速率采集存儲圖像序列成為可能；另一方面，視頻跟蹤技術的極為廣闊的市場應用前景也是推動此研究的主要動力。目前，目標跟蹤技術已經被廣泛應用于眾多生活和工作領域。
[0004]2002年Dorin Comaniciu將Mean Shift算法引入到了目標跟蹤領域,極大減少了跟蹤算法的計算量，Mean Shift算法是一種基于無參密度估計的目標跟蹤方法，以核密度直方圖作為描述目標模型和候選模型的特征，Mean Shift跟蹤方法計算量不大，在目標區(qū)域已知的情況下完全可以做到實時跟蹤。其次，作為一個無參數(shù)密度估計算法，很容易作為一個模塊和別的算法集成。另外，采用核函數(shù)直方圖建模，對邊緣遮擋、目標旋轉、變形和背景運動不敏感，但是跟蹤過程中窗寬的大小保持不變，同時不能對目標模板進行實時更新，在目標的運動中，目標的姿態(tài)、環(huán)境的光線等會發(fā)生變化，用場景圖像中已經變化了的目標的候選模板去匹配初始模板，會導致跟蹤失敗。David Lowe在1999年提出了SIFT算法，并于2004年進行了更深入的發(fā)展和完善，自從SIFT提出后就引起了許多學者的關注，因為SIFT特征匹配算法可以處理兩幅圖像之間發(fā)生平移、旋轉、仿射變換情況下的匹配問題，具有很強的匹配能力，隨著SIFT算法的不斷發(fā)展，目前這種方法被廣泛應用于工件識別，醫(yī)學圖像配準，移動機器人定位與地圖創(chuàng)建，圖像拼接，人臉識別，3D目標檢索跟蹤、目標識別、紋理識別、寬基線圖像匹配和圖像特征匹配中，但是SIFT算法匹配速度較慢，實時性較差?；贛ean Shift跟蹤方法的實時性，本發(fā)明提出了一種改進SIFT算法的快速目標跟蹤方法。

【發(fā)明內容】

[0005]本發(fā)明的目的在于克服SIFT特征目標跟蹤方法已有技術的不足，提供一種解決了基于SIFT特征的目標跟蹤方法實時性較慢的缺點的改進SIFT算法的快速目標跟蹤方法。
[0006]本發(fā)明的目的是這樣實現(xiàn)的:[0007](I)采集裝置獲取動態(tài)視頻；
[0008](2)從動態(tài)視頻中獲取一張目標圖像；
[0009](3)提取目標圖像的SIFT特征并保存到數(shù)據(jù)庫中；
[0010](3.1)尺度空間極值檢測，初步確定關鍵點位置和所在尺度:
[0011]對目標圖像通過與不同核值的高斯函數(shù)進行卷積運算構成高斯尺度空間，通過對高斯尺度空間進行采樣，建立高斯金字塔；將高斯金字塔的相鄰層相減，得到DOG金字塔，以處于中間層的像素點為中心的3*3*3的三維空間內進行極值檢測，如果像素點在DOG金字塔尺度空間本層以及上下兩層的26個鄰域中是最大或者最小值，則將該像素點標記為局部極值點，該像素點是圖像在該尺度下的一個候選特征點；
[0012](3.2)精確確定關鍵點的位置和尺度:
[0013]通過對步驟(I)得到的候選特征點進行三維二次函數(shù)擬合以獲得亞像素級的精確定位，去除低于對比度Y的特征點以及不穩(wěn)定的邊緣響應點；
[0014](3.3)利用特征點鄰域像素的梯度方向統(tǒng)計特性為指定方向參數(shù)，使特征點具有旋轉不變性。
[0015](3.4) SIFT特征向量生成:
[0016]將坐標軸旋轉為關鍵點的方向，以關鍵點為中心取8*8的窗口，在每4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成種子點，關鍵點由2X2共4個種子點組成，每個種子點有8個方向向量信息；
[0017](4)目標的SIFT特征與動態(tài)視頻中的每幀圖像的SIFT特征進行匹配，檢測到目標后，確定目標在圖像中的位直:
[0018]目標圖像和待匹配圖像的SIFT特征點進行匹配確定目標在圖像中位置，SIFT特征匹配采用關鍵點特征向量的歐式距離作為相似性度量，取參考圖像中的關鍵點，找出待匹配圖像中歐式距離最近的2個關鍵點，在這2個關鍵點中，如果最近的距離除以次近的距離小于某個閾值，則接受這一對匹配點；
[0019](5)根據(jù)目標位置區(qū)域初始化Mean Shift模板:
[0020]目標圖像和待匹配圖像的特征點匹配后，確定待跟蹤目標在圖像中的位置區(qū)域，待跟蹤目標在圖像中的位置區(qū)域是Mean Shift核函數(shù)作用的區(qū)域，區(qū)域的大小等于核函數(shù)的尺度，對初始目標區(qū)域內所有的像素點，計算特征空間中每個特征值的概率，即目標模型的描述；
[0021](6)Mean Shift對動態(tài)視頻中之后每一幀圖像進行迭代跟蹤:
[0022]以后的每幀圖像中可能存在目標候選區(qū)域中對特征空間每個特征值的計算成為待候選模型描述。利用相似性函數(shù)最大得到關于目標的Mean Shift向量，這個向量即是目標從初始位置向正確位置轉移的向量，基于Mean Shift跟蹤算法的收斂性，不斷迭代計算Mean Shift向量，在當前幀中目標最終會收斂于一個位置，從而確定跟蹤目標區(qū)域。
[0023](7)根據(jù)跟蹤目標確定模板更新頻率，當達到更新條件時返回步驟(4)。
[0024]本發(fā)明的有益效果在于:
[0025]本發(fā)明的方法具有較好的實時性和快速性。本發(fā)明的方法為快速跟蹤物體提供了一條非常有效的途徑，可廣泛應用于視頻監(jiān)控，運動分析等領域。與傳統(tǒng)的SIFT跟蹤方法相比，速度得到很大的提升，完全可以滿足實時性?！緦＠綀D】

【附圖說明】
[0026]圖1SIFT局部極值點示意圖；
[0027]圖2SIFT梯度圖像和關鍵點示意圖；
[0028]圖3改進SIFT算法的快速目標跟蹤方法程序流程圖；
[0029]圖4實驗結果示意圖；
[0030]圖5實驗結果示意圖；
[0031]圖6實驗結果示意圖；
[0032]圖7實驗結果示意圖；
[0033]圖8實驗結果示意圖。
【具體實施方式】
[0034]下面結合附圖對本發(fā)明做進一步描述。
[0035]1、一種改進SIFT算法的快速目標跟蹤方法，其特征在于該方法具體包括如下步驟:
[0036]步驟一:通過視頻采集裝置獲取動態(tài)視頻。
[0037]步驟二:通過圖像采集軟件從動態(tài)視頻中獲取一張目標的圖像。
[0038]步驟三:提取目標圖像的SIFT特征并保存到數(shù)據(jù)庫中。
[0039](I)尺度空間極值檢測，初步確定關鍵點位置和所在尺度。
[0040]對目標圖像通過與不同核值的高斯函數(shù)進行卷積運算構成高斯尺度空間，通過對高斯尺度空間進行采樣，建立高斯金字塔；然后將高斯金字塔的相鄰層相減，得到DOG(高斯偏差)金字塔，將處于中間層的像素點在以其自身為中心的3*3*3的三維空間內進行極值檢測，如果某像素點在DOG尺度空間本層以及上下兩層的26個鄰域中是最大或者最小值時，則將該點標記為局部極值點，認為該點是圖像在該尺度下的一個候選特征點。
[0041](2)精確確定關鍵點的位置和尺度。
[0042]通過對步驟一得到的候選特征點進行三維二次函數(shù)擬合以獲得亞像素級的精確定位，并去除低對比度的特征點以及不穩(wěn)定的邊緣響應點。
[0043](3)利用特征點鄰域像素的梯度方向統(tǒng)計特性為其指定方向參數(shù)，使其具有旋轉不變性。
[0044](4) SIFT特征向量生成。
[0045]首先將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性。接下來以關鍵點為中心取8*8的窗口。然后在每4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。一個關鍵點由2 X 2共4個種子點組成，每個種子點有8個方向向量信息。這種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性。
[0046]步驟四:目標的SIFT特征與動態(tài)視頻中的每幀圖像的SIFT特征進行匹配，當檢測到目標后，確定目標在圖像中的位置。
[0047]目標圖像和待匹配圖像的SIFT特征點進行匹配確定目標在圖像中位置，SIFT特征匹配采用關鍵點特征向量的歐式距離作為相似性度量，即取參考圖像中的某個關鍵點，找出待匹配圖像中歐式距離最近的2個關鍵點，在這2個關鍵點中，如果最近的距離除以次近的距離小于某個閾值，則接受這一對匹配點。
[0048]步驟五:根據(jù)目標位置區(qū)域初始化Mean Shift模板。
[0049]目標圖像和待匹配圖像的特征點匹配后，確定待跟蹤目標在圖像中的位置區(qū)域，
[0050]這個目標區(qū)域就是Mean Shift核函數(shù)作用的區(qū)域，區(qū)域的大小等于核函數(shù)的尺度，假定我們是在彩色的視頻序列圖像中跟蹤目標，因此，圖像像素的值域為RGB顏色空間。按照直方圖的方式將RGB顏色空間中的每個子空間R、G和B空間分成個相等的區(qū)間，每個區(qū)間成為一格bin，構成特征空間。對初始目標區(qū)域內所有的像素點，計算特征空間中每個特征值的概率，稱為目標模型的描述。
[0051]步驟TK:Mean Shift對動態(tài)視頻中之后每一巾貞圖像進彳丁迭代跟蹤。
[0052]以后的每幀圖像中可能存在目標候選區(qū)域中對特征空間每個特征值的計算成為待候選模型描述。利用相似性函數(shù)最大得到關于目標的Mean Shift向量，這個向量即是目標從初始位置向正確位置轉移的向量，基于Mean Shift跟蹤算法的收斂性，不斷迭代計算Mean Shift向量，在當前幀中目標最終會收斂于一個位置，從而確定跟蹤目標區(qū)域。
[0053]步驟七:根據(jù)實際跟蹤目標確定模板更新頻率，當達到更新條件時返回步驟四。
[0054]圖中標號及符號說明如下:
[0055]圖1中:上中下三個分別為三個尺度層圖像，矩形小區(qū)域中的圓形代表像素點，標記‘X’的像素點的特征值若大于周圍像素則可確定該點為該區(qū)域的特征點。
[0056]圖2中:圖左部分的中央黑點為當前關鍵點的位置，每個小格代表關鍵點鄰域所在尺度空間的一個像素，箭頭方向代表該像素的梯度方向，箭頭長度代表梯度模值，圓圈代表高斯加權的范圍，圖右部分為4個種子點，箭頭代表種子點的8個方向向量。
[0057]下面通過一個具體實例來驗證本發(fā)明所提出的一種改進SIFT算法的快速目標跟蹤方法的性能。實驗環(huán)境為3.0OGhz,4G內存，Visual C++6.0。
[0058]一種改進SIFT算法的快速目標跟蹤方法，其具體實現(xiàn)步驟如下:
[0059]步驟一:通過視頻采集裝置獲取動態(tài)視頻。
[0060]步驟二:通過圖像采集軟件從動態(tài)視頻中獲取一張目標的圖像。
[0061]步驟三:提取目標圖像的SIFT特征并保存到數(shù)據(jù)庫中。
[0062](I)尺度空間極值檢測，初步確定關鍵點位置和所在尺度。
[0063]對目標圖像通過與不同核值的高斯函數(shù)進行卷積運算構成高斯尺度空間，通過對高斯尺度空間進行采樣，建立高斯金字塔；然后將高斯金字塔的相鄰層相減，得到DOG(高斯偏差)金字塔，將處于中間層的像素點在以其自身為中心的3*3*3的三維空間內進行極值檢測，如果某像素點在DOG尺度空間本層以及上下兩層的26個鄰域中是最大或者最小值時，則將該點標記為局部極值點，認為該點是圖像在該尺度下的一個候選特征點，參考圖1。
[0064](2)精確確定關鍵點的位置和尺度。
[0065]通過對步驟一得到的候選特征點進行三維二次函數(shù)擬合以獲得亞像素級的精確定位，并去除低對比度的特征點以及不穩(wěn)定的邊緣響應點。
[0066](3)利用特征點鄰域像素的梯度方向統(tǒng)計特性為其指定方向參數(shù)，使其具有旋轉不變性。
[0067](4) SIFT特征向量生成。[0068]首先將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性。接下來以關鍵點為中心取8*8的窗口。然后在每4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。一個關鍵點由2 X 2共4個種子點組成，每個種子點有8個方向向量信息。這種鄰域方向性信息聯(lián)合的思想增強了算法抗噪聲的能力，同時對于含有定位誤差的特征匹配也提供了較好的容錯性，參考圖2。
[0069]步驟四:目標的SIFT特征與動態(tài)視頻中的每幀圖像的SIFT特征進行匹配，當檢測到目標后，確定目標在圖像中的位置。
[0070]目標圖像和待匹配圖像的SIFT特征點進行匹配確定目標在圖像中位置，SIFT特征匹配采用關鍵點特征向量的歐式距離作為相似性度量，即取參考圖像中的某個關鍵點，找出待匹配圖像中歐式距離最近的2個關鍵點，在這2個關鍵點中，如果最近的距離除以次近的距離小于0.9，則接受這一對匹配點。
[0071]步驟五:根據(jù)目標位置區(qū)域初始化Mean Shift模板。
[0072]目標圖像和待匹配圖像的特征點匹配后，確定待跟蹤目標在圖像中的位置區(qū)域，
[0073]這個目標區(qū)域就是Mean Shift核函數(shù)作用的區(qū)域，區(qū)域的大小等于核函數(shù)的尺度，假定我們是在彩色的視頻序列圖像中跟蹤目標，因此，圖像像素的值域為RGB顏色空間。按照直方圖的方式將RGB顏色空間中的每個子空間R、G和B空間分成個相等的區(qū)間，每個區(qū)間成為一格bin，構成特征空間。對初始目標區(qū)域內所有的像素點，計算特征空間中每個特征值的概率，稱為目標模型的描述。
[0074]步驟TK:Mean S hift對動態(tài)視頻中之后每一幀圖像進彳丁迭代跟蹤。
[0075]以后的每幀圖像中可能存在目標候選區(qū)域中對特征空間每個特征值的計算成為待候選模型描述。利用相似性函數(shù)最大得到關于目標的Mean Shift向量，這個向量即是目標從初始位置向正確位置轉移的向量，基于Mean Shift跟蹤算法的收斂性，不斷迭代計算Mean Shift向量，在當前幀中目標最終會收斂于一個位置，從而確定跟蹤目標區(qū)域。
[0076]步驟七:當獲取到的視頻幀總數(shù)為10的倍數(shù)時，返回步驟四。
[0077]實驗結果表明發(fā)明方法與原有的SIFT跟蹤方法相比具有很好的實時性和魯棒性，第一次實驗主要對比兩種方法的實時性，由于SIFT跟蹤方法實時性較差，每秒只能處理兩到四幀圖像，而改進后的SIFT跟蹤方法可以實時處理每幀圖像，參考表1 ;第二次實驗為該發(fā)明方法的跟蹤結果，圖4至圖8為實驗運行結果。
[0078]表1兩種跟蹤方法實時性對比
[0079]
I視頻總幀數(shù)I跟蹤幀數(shù) I丟失幀數(shù)
SIFT跟蹤方法 15018132
改進后 SIFT 1501428
【權利要求】
1.一種改進SIFT算法的快速目標跟蹤方法，其特征在于: (1)采集裝置獲取動態(tài)視頻； (2)從動態(tài)視頻中獲取一張目標圖像； (3)提取目標圖像的SIFT特征并保存到數(shù)據(jù)庫中； (3.1)尺度空間極值檢測，初步確定關鍵點位置和所在尺度: 對目標圖像通過與不同核值的高斯函數(shù)進行卷積運算構成高斯尺度空間，通過對高斯尺度空間進行采樣，建立高斯金字塔；將高斯金字塔的相鄰層相減，得到DOG金字塔，以處于中間層的像素點為中心的3*3*3的三維空間內進行極值檢測，如果像素點在DOG金字塔尺度空間本層以及上下兩層的26個鄰域中是最大或者最小值，則將該像素點標記為局部極值點，該像素點是圖像在該尺度下的一個候選特征點； (3.2)精確確定關鍵點的位置和尺度: 通過對步驟(I)得到的候選特征點進行三維二次函數(shù)擬合以獲得亞像素級的精確定位，去除低于對比度Y的特征點以及不穩(wěn)定的邊緣響應點； (3.3)利用特征點鄰域像素的梯度方向統(tǒng)計特性為指定方向參數(shù)，使特征點具有旋轉不變性。 (3.4) SIFT特征向量生成: 將坐標軸旋轉為關鍵點的方向，以關鍵點為中心取8*8的窗口，在每4X4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，形成種子點，關鍵點由2X2共4個種子點組成，每個種子點有8個方向向量信息； (4)目標的SIFT特征與動態(tài)視頻中的每幀圖像的SIFT特征進行匹配，檢測到目標后，確定目標在圖像中的位置: 目標圖像和待匹配圖像的SIFT特征點進行匹配確定目標在圖像中位置，SIFT特征匹配采用關鍵點特征向量的歐式距離作為相似性度量，取參考圖像中的關鍵點，找出待匹配圖像中歐式距離最近的2個關鍵點，在這2個關鍵點中，如果最近的距離除以次近的距離小于某個閾值，則接受這一對匹配點； (5)根據(jù)目標位置區(qū)域初始化MeanShift模板: 目標圖像和待匹配圖像的特征點匹配后，確定待跟蹤目標在圖像中的位置區(qū)域，待跟蹤目標在圖像中的位置區(qū)域是Mean Shift核函數(shù)作用的區(qū)域，區(qū)域的大小等于核函數(shù)的尺度，對初始目標區(qū)域內所有的像素點，計算特征空間中每個特征值的概率，即目標模型的描述； (6)MeanShift對動態(tài)視頻中之后每一巾貞圖像進彳丁迭代跟蹤: 以后的每幀圖像中可能存在目標候選區(qū)域中對特征空間每個特征值的計算成為待候選模型描述。利用相似性函數(shù)最大得到關于目標的Mean Shift向量，這個向量即是目標從初始位置向正確位置轉移的向量，基于Mean Shift跟蹤算法的收斂性，不斷迭代計算MeanShift向量，在當前幀中目標最終會收斂于一個位置，從而確定跟蹤目標區(qū)域。 (7)根據(jù)跟蹤目標確定模板更新頻率，當達到更新條件時返回步驟(4)。
【文檔編號】G06T7/20GK104036524SQ201410273189
【公開日】2014年9月10日 申請日期:2014年6月18日 優(yōu)先權日:2014年6月18日
【發(fā)明者】管鳳旭, 劉曉龍, 廉德源, 趙拓, 楊長青, 姜倩 申請人:哈爾濱工程大學