本發(fā)明屬于計算機視覺和視頻跟蹤領域，尤其涉及一種基于rgb-d數據的視頻跟蹤方法。

背景技術：

目標跟蹤是估計目標對象在一系列視頻圖像序列中的狀態(tài)，在許多機器視覺相關的應用領域，諸如運動分析，活動識別等，都扮演著非常重要的角色。眾多相關研究人員針對不同場景下的不同的視頻跟蹤需求，提出了多種基于視頻的目標對象跟蹤方法。然而在實際應用環(huán)境中，存在許多使目標跟蹤問題的處理，變得異常困難的不可控因素，譬如遮擋，表觀模型形變，光照變化不均勻等等。所以，開發(fā)出一個健壯，通用，魯棒的視頻跟蹤算法，已經成為機器視覺領域中的一個難題。

現今跟蹤算法數量眾多，性能各異，但大體上主要分為生成式與判別式兩大類。生成式算法是在目標周圍尋找與目標特征最匹配的算法。比如傳統(tǒng)的mean-shift算法，基于直方圖統(tǒng)計的方法，等等。判別式算法則是將跟蹤過程看成典型的二分類問題，通過局部搜索，判斷待搜索對象是目標塊還是背景塊，從而進行目標區(qū)分。比如基于boots-trapping分類器的跟蹤算法^[]，基于多例學習的跟蹤算法^[]等等。近年來，一些結合了二者的優(yōu)點，融合這兩類方法思想的方法被提出，跟蹤算法研究也取得了進一步的發(fā)展。

其中，具有代表性的典型算法是2013年k.zhang等提出的基于目標上下文灰度特征的快速時空上下文學習跟蹤方法，簡稱stc方法^[]。該方法利用目標對象及其鄰域組成的上下文信息的灰度特征，在預定義范圍內進行特征相似性搜索匹配實現目標和背景分離。其中，預定義搜索范圍，可基于自適應學習進行尺度自適應更新。該方法具有魯棒性高，速度快的優(yōu)勢，并且在自適應處理局部遮擋方面表現出較為不錯的效果；然而在存在復雜背景雜波，連續(xù)遮擋及交叉遮擋等情況下，表現效果不佳。

2014年，基于stc的跟蹤算法，徐等提出了wstc(weightedspatio-temoporalcontextlearninging)，即權重時空上下文學習算法。該算法通過計算前后幀的光流信息，對上下文信息進行分級，提升了stc算法中基于上下文的前景和背景的分離效果，在一定程度上解決了目標跟蹤受背景雜波干擾的問題。然而，僅僅基于彩色上下文特征信息，難以解決因完全遮擋，交叉遮擋等嚴重遮擋導致的目標丟失問題，且當出現與目標彩色特征極其相似的背景時，該方法表現也不盡如人意。

近幾年，隨著深度傳感器如微軟的kinect^[]設備的出現，深度信息開始逐漸被引入計算機視覺領域。但由于基于kinect相關設備的跟蹤算法還處于起步階段，多數算法的研究目標單一不具有普適性，且深度數據的采集精度方面尚不完全，因而相關的較為成熟且具有普適性的跟蹤算法還較為少見，而融合rgb-d數據的跟蹤算法就更為稀少。2015年zhaoyunchen等人^[]在二維上下文特征信息的基礎上引入深度信息，提出了三維空間上下文信息模型，實現了三維空間的快速上下文學習跟蹤算法(cd)。該算法通過建立三維空間的上下文信息，進一步增強了上下文算法中，上下文信息區(qū)分目標和背景的能力。事實上，基于深度信息輔助的目標跟蹤研究方興未艾，更多的具有普遍意義的應用深度信息的跟蹤算法尚有待提出。

技術實現要素：

為了能夠更好解決在跟蹤過程中，跟蹤目標在受到嚴重遮擋，復雜背景變化等因素干擾的條件下，導致目標丟失的問題，本發(fā)明在快速時空上下文學習(stc)算法的基礎上，通過建立融合深度和彩色信息的上下文模型和基于深度時域的遮擋檢測處理機制，提出了一個新的融合rgb-d信息的改進時空上下文學習的跟蹤方法，提升了跟蹤算法在存在遮擋，復雜背景等挑戰(zhàn)因素下的跟蹤魯棒性和精度。

一種基于rgb-d數據的視頻跟蹤方法包括：

步驟(1)、獲取目標數據并建立實時更新的自適應深度信息模板；

步驟(2)、使用基于深度信息模板的融合rgb-d信息的改良上下文模型的跟蹤算法，計算當前幀的目標位置；

步驟(3)、使用基于深度信息模板的尺度更新算法，計算當前幀的目標對象尺度；

步驟(4)、啟用基于深度時域變化估算的遮擋檢測及處理機制，判斷上一步跟蹤結果的正確性，并根據判斷結果進行處理。

作為優(yōu)選，步驟(1)包括以下步驟：

目標自適應深度信息模板初始化

在第一幀中，基于groundtruth得到boundingbox內的深度區(qū)間范圍[d1,d2]，尺度s1＝(h1,w1)，其中h1是boundingbox的高度，是boundingbox的寬度，考慮以區(qū)間范圍[d1,d2]為橫軸，建立深度信息直方圖，柱狀圖個數為n1，并分別計數各區(qū)間范圍內的像素個數，記為tk,k∈{1,2...n1}，計算公式如下：

其中，maxtk的深度范圍記為[d1',d2']，

如果ratem＞＝c，c是常數，則定義d1＝[d1',d2']，即為初始化深度信息模板，

如果ratem＜c，則需要對該范圍進行一定程度的放縮，即

d1＝[d1”,d2”]＝[max(d1'-k'×η,d1),min(d2'+k'×η,d2)]＝[d11,d21](2)

其中η是常數，k'從1開始，運行數次直到ratem≥c，此時，算法停止。最終得到初始化的深度信息模板d1＝[d11,d21]。

深度信息模板自適應更新

第一幀計算結束后，在之后每幀跟蹤計算結束時，根據當前跟蹤目標boundingbox內的深度分布情況，對深度信息模板dt(dt是第t幀的深度信息模板)進行更新，當獲取第t幀時，boundingbox內深度分布均值為avgt，并計算前后兩幀均值深度差，定義為dvgt-1

dvgt-1＝avgt-avgt-1(3)

由于目標物體在連續(xù)n幀的運動具有連續(xù)性，同向性，且可能會出現偶然跳變的情況，所以依據目標的移動情況，定義更新后的深度信息模板如下，則更新后的深度信息模板有

作為優(yōu)選，步驟(2)具體為：

基于融合rgb-d信息的時空上下文模型，并且在根據上下文模型運算計算得到目標位置之前，需要得到自適應深度信息模板，并基于模板信息，動態(tài)更新上下文范圍，計算深度權重和彩色權重，建立融合深度和彩色信息的改良時空權重上下文模型，之后將計算出的權重轉換為概率圖，并計算出目標位置。

根據以上所述，需要計算出一個用以評估目標物體可能位置的概率置信圖(aconfidencemap)

c(x)＝p(x|o)(5)

其中x∈r²是目標位置，o定義目標在場景中的存在，在最近的幀(in-currentframe)中,目標的位置x^*是給定的，局部上下文特征定義x^c＝{c(z)＝(b(z),z)|z∈ωc(x^*)}，b(z)定義了在位置z的上下文的表征情況，即融合rdb-d信息的上下文模型，ωc(x^*)是位置x^*的近鄰,通過邊緣聯(lián)合概率p(x,c(z)|o)，推導出目標物體可能出現位置的概率置信圖函數

其中，p(c(z)|o)是目標對象的空間上下文先驗概率，p(x|c(z),o)模型定義了目標物體位置和它上下文的空間關系，最終通過計算求得概率置信圖，進而就得目標物體的位置，

定義融合rgb-d數據的改良上下文模型：

p(c(z)|o)＝c1*i(z)wσ(z-x^*)+c2*dw(c1,c2為常數)(7)

其中i(g)上下文的是圖像灰度值，wσ(z-x^*)是高斯權重函數。

定義深度權重矩陣dw

p(x|c(z),o)＝h^sc(x-z)(9)，h^sc(x-z)是一個關于目標位置x到它局部上下文的相對距離和方向的函數，即空間上下文模型，并進行實時更新

其中ρ是學習參數，

之后依據上述公式，計算置信圖，并用fastfouriertransform(fft)和卷積計算進行化簡

最后根據上述結果計算得到目標在第t幀的位置。

作為優(yōu)選，步驟(3)具體為：

在步驟(2)中得到當前目標的位置之后，需要根據相應信息，計算當前幀的目標的尺度，即，

定義目標物體尺度(groundtruth)st＝(ht,wt)，其中ht是，boundingbox的高度，wt是boundingbox的寬度，初始時，可根據深度信息模板d1,可劃定出一個泛目標尺度范圍，記為r1＝(h′1,w′1)，h′1，w′1分別是第一幀上下文計算中的模糊高度和模糊寬度，可以得到在第一幀，實際尺度和模糊尺度的比值為

其中，st是估算目標在第t幀的目標尺度，rt是求得目標在第t幀的模糊尺度，

同時為了防止目標出現異常情況，又通過權重分離的形式，對模型做了改進得到公式(13)，以增強了尺度變化計算的穩(wěn)定性，

作為優(yōu)選，步驟(4)具體為

根據步驟2和步驟3可以得到目標在第t幀boundingbox的位置和尺度，根據boundingbox對應的深度圖，可以求得boundingbox內，像素點的個數nt，同時依據第t幀，深度信息模板dt＝[d1t,d2t]，計算boundingbox內,的像素點的個數，記為ut

定義每幀boundingbox的遮擋率：

對于boundingbox內的跟蹤目標來說，其在boundingbox內的占比是相對穩(wěn)定的，因而可取常數σ，當時，仍采用上文跟蹤算法得到的結果，當時，此時推斷boundingbox內的遮擋已經對跟蹤結果產生了不可避免的影響，此時啟用遮擋處理算法，

由于物體在連續(xù)幀的運動模型具有一致性，且運動軌跡具有連續(xù)性，因此，根據連續(xù)數幀，目標對象的移動動量和運動軌跡，估算被遮擋的第t幀目標的位置和狀態(tài)，

定義第t幀的軌跡位移：

則推測當前第t幀，被遮擋的目標的實際位置：

當遮擋率時，舍棄當前幀的計算結果，因而當前幀的尺度保留為上一幀的尺度，同時保留上一幀的尺度s，更新參數φ和深度模板更新變化量dvg

st＝st-1

φt＝φt-1

dvgt-1＝dvgt-2(18)

附圖說明

圖1為本發(fā)明基于rgb-d數據的視頻跟蹤方法的流程圖。

具體實施方式

如圖1所示，本發(fā)明實施例提供一種基于rgb-d數據的視頻跟蹤方法，以視頻序列的深度圖和彩色圖為輸入數據，并在視頻序列的第一幀中對跟蹤目標進行指定，依次計算除第一幀外，跟蹤目標在視頻序列每幀中的位置。跟蹤結果表示為目標在圖像中的boundingbox的位置與大小。本發(fā)明的目標跟蹤流程的步驟依序分別為：獲取目標數據并建立實時更新的自適應深度信息模板；使用基于深度信息模板的融合rgb-d信息的改良上下文模型的跟蹤算法，計算當前幀的目標位置；使用基于深度信息模板的尺度更新算法，計算當前幀的目標對象尺度；啟用基于深度時域變化估算的遮擋檢測及處理機制，判斷上一步跟蹤結果的正確性，并根據判斷結果進行處理。具體包括如下步驟：

步驟(1)、獲取目標數據并建立實時更新的目標自適應深度信息模板。

目標自適應深度信息模板，定義了跟蹤目標在每一幀中的深度可信范圍，是本發(fā)明的跟蹤算法的基礎。

a.目標自適應深度信息模板初始化

在第一幀中，基于groundtruth，我們可得到boundingbox內的深度區(qū)間范圍[d1,d2]，尺度s1＝(h1,w1)，其中h1是boundingbox的高度，是boundingbox的寬度。但是[d1,d2]并不是真正意義上目標對象所處的深度信息范圍，我們需要在此基礎上估算出一個可信的目標深度取值范圍，并定義其為目標對象的初始化深度信息模板d1。估算可信深度范圍的原則是保證boundingbox內超過50％的象素點落在深度信息模板范圍內(因為對于給定groundtruth而言，跟蹤目標所占比通常都遠高于0.5)。

在具體實現上，考慮以區(qū)間范圍[d1,d2]為橫軸，建立深度信息直方圖，柱狀圖個數為n1，并分別計數各區(qū)間范圍內的像素個數，記為tk,k∈{1,2...n1}，計算公式如下：

maxtk的深度范圍記為[d1',d2']。如果ratem＞＝c，(c是常數通常取0.5)，則定義d1＝[d1',d2']，即為初始化深度信息模板。

如果ratem＜c，則需要對該范圍進行一定程度的放縮。

d1＝[d1”,d2”]＝[max(d1'-k'×η,d1),min(d2'+k'×η,d2)]＝[d11,d21](2)

其中η是常數，k'從1開始，運行數次直到ratem≥c，此時，算法停止。最終得到初始化的深度信息模板d1＝[d11,d21]。

b.深度信息模板自適應更新

第一幀計算結束后，我們在之后每幀跟蹤計算結束時(且遮擋檢測機制檢測通過)，根據當前跟蹤目標boundingbox內的深度分布情況，對深度信息模板dt(dt是第t幀的深度信息模板)進行更新。我們獲取第t幀時，boundingbox內深度分布均值為avgt，并計算前后兩幀均值深度差，定義為dvgt-1

dvgt-1＝avgt-avgt-1(3)

由于目標物體在連續(xù)n幀的運動具有連續(xù)性，同向性，且可能會出現偶然跳變的情況，所以我們依據目標的移動情況，定義更新后的深度信息模板如下，則更新后的深度信息模板有

步驟(2)、使用基于深度信息模板的融合rgb-d信息的改良上下文模型的跟蹤算法，計算當前幀的目標位置。在stc跟蹤算法中，作者通過計算跟蹤目標的rgb時空上下文,獲得相應彩色權重，將上下文信息轉換為概率置信圖，最終通過計算概率圖，得到目標位置。本發(fā)明在此部分運行過程與stc算法近似，但是不同在于，本發(fā)明是基于融合rgb-d信息的時空上下文模型，并且在根據上下文模型運算計算得到目標位置之前，需要得到自適應深度信息模板，并基于模板信息，動態(tài)更新上下文范圍，計算深度權重和彩色權重，建立融合深度和彩色信息的改良時空權重上下文模型。之后計算近似stc算法，同樣需將計算出的權重轉換為概率圖，并計算出目標位置。

根據上文所述，對于本發(fā)明需計算出一個用以評估目標物體可能位置的概率置信圖(aconfidencemap)

c(x)＝p(x|o)(5)

其中x∈r²是目標位置，o定義目標在場景中的存在。在最近的幀(in-currentframe)中,目標的位置x^*是給定的。局部上下文特征定義x^c＝{c(z)＝(b(z),z)|z∈ωc(x^*)}，這里b(z)定義了在位置z的上下文的表征情況，在本發(fā)明中即融合rdb-d信息的上下文模型，ωc(x^*)是位置x^*的近鄰,通過邊緣聯(lián)合概率p(x,c(z)|o)，推導出目標物體可能出現位置的概率置信圖函數

其中，p(c(z)|o)是目標對象的空間上下文先驗概率。p(x|c(z),o)模型定義了目標物體位置和它上下文的空間關系。最終通過計算求得概率置信圖，進而就得目標物體的位置。

本方案中，為了更好地區(qū)分上下文中的目標和背景，我們引入深度信息對跟蹤算法模型進行改良。由于我們并不清楚當前幀目標實際情況，因而采用上一幀dt-1＝[d1t-1,d2t-1]的先驗深度模板信息。為了利用深度信息和深度信息模板，融合計算深度和彩色權重，實現對目標和背景的分離，建立融合rgb-d的信息的上下文模型，我們定義融合rgb-d數據的改良上下文模型：

p(c(z)|o)＝c1*i(z)wσ(z-x^*)+c2*dw(c1,c2為常數)(7)

其中i(g)上下文的是圖像灰度值，wσ(z-x^*)是高斯權重函數。

定義深度權重矩陣dw

p(x|c(z),o)＝h^sc(x-z)(9)。h^sc(x-z)是一個關于目標位置x到它局部上下文的相對距離和方向的函數，即空間上下文模型，并進行實時更新

其中ρ是學習參數。

之后依據上述公式，計算置信圖，并用fastfouriertransform(fft)和卷積計算進行化簡

最后根據上述結果計算得到目標在第t幀的位置。

步驟(3)、使用基于深度信息模板的尺度更新算法，計算當前幀的目標對象尺度。在步驟(2)中得到當前目標的位置之后，需要根據相應信息，計算當前幀的目標的尺度。在stc算法中，目標對象在當前幀的尺度，是依據基于彩色上下文模型計算所得的置信圖和若干幀前的目標對象的尺度得到的。但stc上下文模型基于彩色上下文特征信息，在對目標特征的模擬上，比起本模型存在一定差距，因而計算結果比之本發(fā)明算法模型存在一定的差距。所以，本發(fā)明希望利用深度信息本身的優(yōu)勢，建立一種新的基于深度信息及深度信息模板的，計算跟蹤目標尺度的方法，以求使目標尺度計算達到較優(yōu)的效果。依據的優(yōu)化原則是：滿足深度信息模板的像素集合內，對應目標的像素總和占總像素之比，在相鄰幀間的各個方向變化保持穩(wěn)定。

定義目標物體尺度(groundtruth)st＝(ht,wt)，其中ht是，boundingbox的高度，wt是boundingbox的寬度。初始時，可根據深度信息模板d1,可劃定出一個泛目標尺度范圍，記為r1＝(h′1,w′1)，h′1，w′1分別是第一幀上下文計算中的模糊高度和模糊寬度，可以得到在第一幀，實際尺度和模糊尺度的比值為

由于目標物體在連續(xù)n幀的運動連續(xù)性,φ數值具有穩(wěn)定變化性，我們可通過這個性質，計算第t幀的目標尺度。其中st是估算目標在第t幀的目標尺度，rt是求得目標在第t幀的模糊尺度(模糊尺度是目標在上下文計算中，依據深度信息模板劃分出的目標大概的尺度)。

同時為了防止目標出現異常情況，我們又通過權重分離的形式，對模型做了改進得到公式(13)，增強了尺度變化計算的穩(wěn)定性。

步驟(4)、啟用基于深度時域變化估算的遮擋檢測及處理機制，判斷上一步跟蹤結果的正確性，并根據判斷結果進行處理。本發(fā)明在保有跟蹤算法傳統(tǒng)流程的基礎上，引入了一種基于深度時域變化的遮擋檢測和處理機制，用以處理在目標處于嚴重遮擋的場景下，出現跟蹤丟失的情況。

在深度圖i中，對于boundingbox內,每個像素如果有則說明該點為跟蹤目標的一部分(由于boundingbox本身范圍的限制，絕大多數ixy應為目標的一部分)。當時(c＞0且為常數)，基于深度差的定義，則該點很可能為遮擋點。顯然，當的數量超過一定數目時，由此產生的遮擋范圍便會嚴重影響到跟蹤的結果，必然也會影響到跟蹤的準確性。

根據上文所述，我們可以得到目標在第t幀boundingbox的位置和尺度。根據boundingbox對應的深度圖，我們可以求得boundingbox內，像素點的個數nt。同時依據第t幀，深度信息模板dt＝[d1t,d2t]，計算boundingbox內,的像素點的個數，記為ut。

定義每幀boundingbox的遮擋率：

對于boundingbox內的跟蹤目標來說，其在boundingbox內的占比是相對穩(wěn)定的，因而我們可取常數σ，當時，仍采用上文跟蹤算法得到的結果，當時，此時我們推斷boundingbox內的遮擋已經對跟蹤結果產生了不可避免的影響，此時啟用遮擋處理算法。

由于物體(或者人體)在連續(xù)幀的運動模型具有一致性，且運動軌跡具有連續(xù)性，因此，根據連續(xù)數幀，目標對象的移動動量和運動軌跡，可以估算被遮擋的第t幀，目標的位置和狀態(tài)。

定義第t幀的軌跡位移：

則我們推測當前第t幀，被遮擋的目標的實際位置：

當遮擋率時，我們舍棄當前幀的計算結果，因而我們當前幀的尺度保留為上一幀的尺度，同時保留上一幀的尺度s，更新參數φ和深度模板更新變化量dvg。

st＝st-1

φt＝φt-1

dvgt-1＝dvgt-2(18)

已將上述方案應用于princetonrgb-d數據集，并使用其中20組rgb-d數據進行評價，涵蓋包括heavyocclusion(遮擋),crossshade(交叉遮擋),backgroundclutter(背景雜波),scalevariation(尺度變化),drasticdeformation(劇烈形變)，總計3260幀。選取了近年來效果較好的數組基于rgb信息跟蹤算法進行對比試驗，分別是stc，circulantstructuretracker以及compressivetracke。所有實驗結果運行在i74790cpu和8gram。

當前最流行的兩種跟蹤算法評價標準：中心位置誤差(centerlocationerrorcle)和跟蹤成功率(successratesr),所有的實驗結果依賴于算法計算出的結果以及對應幀標定的groundtruth。

其中centerlocationerror是對應每幀，跟蹤實驗得到的目標中心點到groundtruth標定的目標中心點的距離。而sr是基于定義，其中是第i幀目標boundingbox，是第i幀groundtruth的boundingbox,完全重合時為1，完全不重合為0，部分重合則score在0-1之間。即score＞0.5視頻幀數與總視頻幀數的比值，score的計算公式：

包含本發(fā)明算法在內的四組算法的量化結果見表1。從表1我們可以看出，因為在計算過程中引入了深度信息數據，本發(fā)明算法比起其他算法在跟蹤精度上有了較大的提升。20組數據，在sr的對比實驗中，本發(fā)明算法有12組數據sr超過了0.5，有6組超過了0.85，甚至有1組精度達到了100％，20組數據種有18組的sr高于其他算法。而在cle的實驗對比中，20組中數據，本發(fā)明算法有16組比起其他算法效果要好，其中誤差在20以內的有9組，10以內有3組，還有一組誤差接近1。平均ce相比其他算法，提升明顯。其中涉及到crossshade和occasion的場景，本發(fā)明的算法比起其他算法性能上都有了較為明顯的提升。從這可以看出，本發(fā)明算法，在處理遮擋頻繁出現的場景，比起其他基于rgb數據的跟蹤算法，有較為明顯的優(yōu)勢。此外，在附加了deformation和backgroundclutter的情況下，本發(fā)明算法也能保持較高的精度，凸顯了本發(fā)明在面對復雜場景和嚴重遮擋時較強的魯棒性。以下我們將根據跟蹤干擾因素的情況，分析實驗。

表1若干算法在多組視頻序列上的實驗結果對比

本發(fā)明通過引入深度信息對stc算法的上下文特征加以擴展，提出了一種新的基于rgb-d信息融合的改進的時空上下文學習模型；該模型可借助魯棒的深度實時更新模板，對彩色上下文模板，乃至整個融合模型進行實時更新，在此基礎上，實現了融合深度和彩色信息的目標跟蹤算法。相比原有的stc算法，本發(fā)明在上下文定義方面，提出了融合深度信息的時空上下文特征，強化了對目標的全局特征表示能力；在尺度更新方面，提出了新的基于深度信息的尺度更新模板，提升了目標尺度定義精度；在上下文學習機制方面，提出了基于深度更新機制的融合模型更新方法，提升了學習效果。此外，本發(fā)明創(chuàng)造性地提出了目標實時遮擋檢測及量化方法，并在此基礎上，對跟蹤模型進行遮擋自適應更新，實現了面向遮擋的目標跟蹤算法。實驗表明，本發(fā)明在目標出現嚴重遮擋，交叉遮擋等復雜遮擋情況時，跟蹤實驗效果遠高于傳統(tǒng)跟蹤算法，展現出了較為優(yōu)異的性能，甚至在存在復雜的背景雜波和形變的情況下，依然能保持較為不錯的性能，實驗效果穩(wěn)定。