本發(fā)明涉及計算機(jī)視覺，尤其涉及一種基于上下文信息特征融合更新目標(biāo)圖像的數(shù)據(jù)處理方法。

背景技術(shù)：

1、單目標(biāo)跟蹤是計算機(jī)視覺中一個被廣泛研究的話題，其核心概念是僅利用目標(biāo)的初始位置信息，在后續(xù)視頻序列中準(zhǔn)確估計物體在任何給定時刻的位置。目標(biāo)跟蹤廣泛應(yīng)用于自動駕駛、機(jī)器人和視頻監(jiān)控等領(lǐng)域，隨著深度學(xué)習(xí)技術(shù)的引入，其性能得到了顯著提升，促進(jìn)了其在現(xiàn)實場景中的廣泛應(yīng)用。

2、近年來，基于深度學(xué)習(xí)的目標(biāo)跟蹤取得了重大進(jìn)展，其中孿生網(wǎng)絡(luò)是最成功的追蹤框架之一。它將視覺對象跟蹤任務(wù)定義為目標(biāo)匹配問題，旨在學(xué)習(xí)目標(biāo)模板與搜索區(qū)域之間的一般相似性圖。孿生網(wǎng)絡(luò)跟蹤器由模板分支和檢測分支組成。模板分支輸入初始目標(biāo)圖像，檢測分支輸入當(dāng)前幀圖像面片。這兩個分支共享卷積神經(jīng)網(wǎng)絡(luò)(cnn)參數(shù)，相同的變換擬合來查找搜索區(qū)域中的目標(biāo)。

3、但當(dāng)前大多數(shù)孿生網(wǎng)絡(luò)都是離線學(xué)習(xí)的，在第一幀中選擇目標(biāo)圖像作為跟蹤模版，并且在跟蹤過程中不會更新模板。當(dāng)跟蹤目標(biāo)的外觀發(fā)生重大變化時，諸如：處于運動、變形、遮擋等變化和復(fù)雜的環(huán)境之中，容易造成跟蹤目標(biāo)丟失。即目標(biāo)外觀或特征的變化會嚴(yán)重影響算法的跟蹤效果。

技術(shù)實現(xiàn)思路

1、鑒于上述的分析，本發(fā)明實施例旨在提供一種基于上下文信息特征融合更新目標(biāo)圖像的數(shù)據(jù)處理方法，用以解決現(xiàn)有當(dāng)跟蹤目標(biāo)的外觀發(fā)生重大變化時造成跟蹤目標(biāo)丟失的問題。

2、本發(fā)明的目的主要是通過以下技術(shù)方案實現(xiàn)的：

3、本發(fā)明提供了一種基于上下文信息特征融合更新目標(biāo)圖像的數(shù)據(jù)處理方法，其特征在于，包括如下步驟：

4、獲取包括待跟蹤目標(biāo)的視頻圖像序列和待跟蹤目標(biāo)圖像；

5、將所述待跟蹤目標(biāo)圖像和所述視頻圖像序列輸入訓(xùn)練好的目標(biāo)跟蹤模型，得到目標(biāo)跟蹤結(jié)果；其中，所述目標(biāo)跟蹤模型用于利用目標(biāo)模板特征跟蹤視頻圖像序列中每幀圖像得到待跟蹤目標(biāo)；所述目標(biāo)模板特征根據(jù)所述視頻圖像序列中各幀圖像識別的目標(biāo)區(qū)域的置信分?jǐn)?shù)動態(tài)更新。

6、進(jìn)一步的，基于所述待跟蹤目標(biāo)圖像與目標(biāo)模板特征集生成所述目標(biāo)模板特征；其中，所述目標(biāo)模板特征集的初始值為若干所述待跟蹤目標(biāo)圖像的特征副本；

7、根據(jù)所述視頻圖像序列中各幀圖像識別的目標(biāo)區(qū)域的置信分?jǐn)?shù)動態(tài)更新目標(biāo)模板特征，包括：

8、基于當(dāng)前的目標(biāo)模板特征識別得到當(dāng)前幀圖像的目標(biāo)區(qū)域，及當(dāng)前幀圖像的目標(biāo)區(qū)域的置信分?jǐn)?shù)；

9、當(dāng)所述置信分?jǐn)?shù)大于歷史幀的目標(biāo)區(qū)域的置信分?jǐn)?shù)的均值時，用所述目標(biāo)區(qū)域中的目標(biāo)圖像特征替換其中的一個特征副本以更新所述目標(biāo)模板特征集。

10、進(jìn)一步的，基于所述待跟蹤目標(biāo)圖像與目標(biāo)模板特征集生成所述目標(biāo)模板特征，包括：

11、提取所述待跟蹤目標(biāo)圖像的特征；

12、將所述待跟蹤目標(biāo)圖像的特征與目標(biāo)模板特征集中的目標(biāo)模板特征進(jìn)行特征拼接，得到拼接后特征；

13、所述拼接后特征依次通過兩個二維卷積層，對所述拼接后特征進(jìn)行降維操作，得到降維后特征；

14、基于所述降維后特征，通過動態(tài)卷積方法得到動態(tài)卷積層的各卷積核的網(wǎng)絡(luò)權(quán)重，計算得到動態(tài)卷積層中卷積核的加權(quán)和；

15、所述動態(tài)卷積層中卷積核的加權(quán)和與所述降維后特征進(jìn)行卷積操作，得到卷積后特征；

16、所述卷積后特征通過批歸一化和激活函數(shù)得到目標(biāo)模板特征。

17、進(jìn)一步的，基于所述降維后特征，通過動態(tài)卷積方法得到動態(tài)卷積層的各卷積核的網(wǎng)絡(luò)權(quán)重，包括：

18、對所述降維后特征進(jìn)行平均池化操作，進(jìn)一步降低特征的空間維度；

19、平均池化操作后的特征通過全連接層，得到動態(tài)卷積層的各卷積核的權(quán)重系數(shù)；

20、將動態(tài)卷積層的各卷積核的權(quán)重系數(shù)通過sigmoid激活函數(shù)進(jìn)行權(quán)重歸一化，得到動態(tài)卷積層的各卷積核的網(wǎng)絡(luò)權(quán)重。

21、進(jìn)一步的，利用目標(biāo)模板特征跟蹤視頻圖像序列中每幀圖像中的待跟蹤目標(biāo)，包括:

22、以前一幀圖像的目標(biāo)區(qū)域為中心裁剪預(yù)設(shè)尺寸得到當(dāng)前幀圖像的搜索區(qū)域；

23、提取所述當(dāng)前幀圖像搜索區(qū)域的圖像特征后與所述目標(biāo)模板特征進(jìn)行互操作得到當(dāng)前幀圖像搜索區(qū)域的特征響應(yīng)圖；

24、基于所述當(dāng)前幀圖像搜索區(qū)域的特征響應(yīng)圖和目標(biāo)區(qū)域尺寸，使用分類回歸預(yù)測出當(dāng)前幀圖像的目標(biāo)邊界框，標(biāo)識預(yù)測的目標(biāo)區(qū)域；其中，所述目標(biāo)區(qū)域的信息包括目標(biāo)區(qū)域位置、目標(biāo)區(qū)域響應(yīng)分?jǐn)?shù)和平均峰值相關(guān)能量。

25、進(jìn)一步的，使用下式計算所述目標(biāo)區(qū)域的平均峰值相關(guān)能量：

26、

27、其中，fmax表示當(dāng)前幀圖像搜索區(qū)域的特征響應(yīng)圖中最高響應(yīng)值；fmin表示當(dāng)前幀圖像搜索區(qū)域的特征響應(yīng)圖中最低響應(yīng)值；nanchors表示當(dāng)前幀圖像搜索區(qū)域的候選錨點框的個數(shù)；fi表示第i個候選錨點框的響應(yīng)值；

28、所述候選錨點框為以當(dāng)前幀圖像搜索區(qū)域的各像素為中心，預(yù)設(shè)尺寸的窗口；

29、所述候選錨點框的響應(yīng)值為所述候選錨點框與所述目標(biāo)區(qū)域的交并比。

30、進(jìn)一步的，所述得到當(dāng)前幀圖像的目標(biāo)區(qū)域的置信分?jǐn)?shù)，包括：將當(dāng)前幀圖像的目標(biāo)區(qū)域的位置、目標(biāo)區(qū)域響應(yīng)分?jǐn)?shù)、平均峰值相關(guān)能量與前一幀圖像的目標(biāo)區(qū)域的位置、前一幀圖像的目標(biāo)區(qū)域位置與當(dāng)前幀圖像目標(biāo)區(qū)域位置的交并比依次通過3個包含激活函數(shù)的全連接層，得到當(dāng)前幀圖像的目標(biāo)區(qū)域的置信分?jǐn)?shù)。

31、進(jìn)一步的，所述待跟蹤目標(biāo)的圖像由所述包括待跟蹤目標(biāo)的視頻圖像序列的第一幀圖像截取得到。

32、進(jìn)一步的，所述目標(biāo)跟蹤模型包括目標(biāo)模板特征生成模塊、目標(biāo)跟蹤模塊和置信度評估模塊，通過下述方法訓(xùn)練得到：

33、分別構(gòu)建目標(biāo)模板特征生成模塊、目標(biāo)跟蹤模塊和置信度評估模塊的訓(xùn)練數(shù)據(jù)集；其中，所述目標(biāo)模板特征生成模塊的訓(xùn)練數(shù)據(jù)集包括樣本視頻圖像和各幀圖像對應(yīng)的實際目標(biāo)圖像；所述目標(biāo)跟蹤模塊的訓(xùn)練數(shù)據(jù)集包括與所述目標(biāo)模板特征生成模塊的訓(xùn)練數(shù)據(jù)集相同的樣本視頻圖像和標(biāo)注好的各幀圖像的目標(biāo)區(qū)域；所述置信度評估模塊的訓(xùn)練數(shù)據(jù)集包括各幀圖像的目標(biāo)區(qū)域和標(biāo)注好的置信度分?jǐn)?shù)；

34、加載所述目標(biāo)模板特征生成模塊的訓(xùn)練數(shù)據(jù)集，利用改進(jìn)的結(jié)構(gòu)相似性指數(shù)度量函數(shù)訓(xùn)練所述目標(biāo)模板特征生成模塊，使用隨機(jī)梯度下降法進(jìn)行反向傳播更新所述目標(biāo)模板特征生成模塊的參數(shù)，得到訓(xùn)練好的目標(biāo)模板特征生成模塊；

35、加載所述目標(biāo)跟蹤模塊的訓(xùn)練數(shù)據(jù)集，利用交叉熵?fù)p失函數(shù)訓(xùn)練所述目標(biāo)跟蹤模塊，使用隨機(jī)梯度下降法進(jìn)行反向傳播更新所述目標(biāo)跟蹤模塊的參數(shù)，得到訓(xùn)練好的目標(biāo)跟蹤模塊；

36、加載所述置信度評估模塊的訓(xùn)練數(shù)據(jù)集，利用交叉熵?fù)p失函數(shù)訓(xùn)練所述置信度評估模塊，使用隨機(jī)梯度下降法進(jìn)行反向傳播更新所述置信度評估模塊的參數(shù)，得到訓(xùn)練好的置信度評估模塊；

37、基于所述訓(xùn)練好的目標(biāo)模板特征生成模塊、所述訓(xùn)練好的目標(biāo)跟蹤模塊和所述訓(xùn)練好的置信度評估模塊，得到訓(xùn)練好的目標(biāo)跟蹤模型。

38、進(jìn)一步的，所述改進(jìn)的結(jié)構(gòu)相似性指數(shù)度量函數(shù)，其公式如下：

39、

40、

41、其中，tx表示目標(biāo)模板特征生成模塊生成的目標(biāo)模板特征圖；ty表示實際目標(biāo)圖像的特征圖；c表示特征圖的通道數(shù)；m表示特征圖的第m個通道；n表示特征值數(shù)量；n表示第n個特征值。

42、與現(xiàn)有技術(shù)相比，本發(fā)明至少可實現(xiàn)如下有益效果之一：

43、1、本發(fā)明通過使用目標(biāo)特征值和最新且可靠的特征模板集來生成預(yù)測目標(biāo)模板特征，融合了最近的目標(biāo)變化信息，可以獲得更準(zhǔn)確的更新模板，初始目標(biāo)和多個包含目標(biāo)圖像的特征進(jìn)行融合有助于得到更準(zhǔn)確的目標(biāo)描述。

44、2、本發(fā)明通過不斷更新目標(biāo)模板特征，當(dāng)跟蹤目標(biāo)的外觀發(fā)生重大變化時，諸如：處于運動、變形、遮擋等變化和復(fù)雜的環(huán)境之中，不容易造成跟蹤目標(biāo)丟失，即目標(biāo)外觀或特征的變化時依舊可以跟蹤。

45、3、本發(fā)明通過跟蹤目標(biāo)的置信度分?jǐn)?shù)來判斷是否更新特征模板集，從而確保使用高質(zhì)量的目標(biāo)特征進(jìn)行更新，并減少因添加不可靠目標(biāo)而引起的噪聲，從而增強(qiáng)模型的抗漂移能力。

46、4、本發(fā)明通過目標(biāo)模板特征生成模塊，使用動態(tài)卷積學(xué)習(xí)每組時空信息的特定卷積核參數(shù)，可以增加模型的大小和容量，同時保障跟蹤過程的效率和實時性。

47、5、本發(fā)明通過最小化改進(jìn)的結(jié)構(gòu)相似性指數(shù)度量(ssim)作為損失函數(shù)，增強(qiáng)了模型對目標(biāo)特征和搜索幀圖像特征之間相似度的敏感性，有助于提高跟蹤的穩(wěn)定性。

48、本發(fā)明中，上述各技術(shù)方案之間還可以相互組合，以實現(xiàn)更多的優(yōu)選組合方案。本發(fā)明的其他特征和優(yōu)點將在隨后的說明書中闡述，并且，部分優(yōu)點可從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過說明書以及附圖中所特別指出的內(nèi)容中來實現(xiàn)和獲得。