一種目標(biāo)跟蹤方法和裝置的制造方法
【專利摘要】本發(fā)明公開一種目標(biāo)跟蹤方法和裝置，涉及視覺跟蹤技術(shù)領(lǐng)域，為解決目標(biāo)跟蹤的準(zhǔn)確性低的問題。所述目標(biāo)跟蹤方法包括：根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤框；分別提取各個不同尺寸的跟蹤框中的圖像特征；將跟蹤框中的圖像特征代入上一幀視頻圖像的相關(guān)濾波器，得到圖像特征的綜合響應(yīng)值；獲取綜合響應(yīng)值中的最大值，并將最大的綜合響應(yīng)值對應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。本發(fā)明提供的目標(biāo)跟蹤方法和裝置用于對視頻影像中的跟蹤目標(biāo)進(jìn)行跟蹤。
【專利說明】
一種目標(biāo)跟蹤方法和裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視覺跟蹤技術(shù)領(lǐng)域，尤其涉及一種目標(biāo)跟蹤方法和裝置。
【背景技術(shù)】
[0002] 目標(biāo)跟蹤是一項融合圖像處理、模式識別、人工智能及自動控制等多種不同技術(shù) 的綜合性應(yīng)用技術(shù)，廣泛應(yīng)用于各種領(lǐng)域中。目標(biāo)跟蹤是指對圖像序列中的運(yùn)動目標(biāo)或是 特征單一的物體進(jìn)行檢測、識別和跟蹤，通過獲取目標(biāo)的位置、速度等參數(shù)或是目標(biāo)的形狀 和顏色等特征，對其進(jìn)一步處理，從而實現(xiàn)對運(yùn)動目標(biāo)物的準(zhǔn)確跟蹤。
[0003]在目標(biāo)跟蹤的研究領(lǐng)域中，眾多學(xué)者提出了大量的跟蹤方法，在這些跟蹤方法中， 往往采用跟蹤框來對跟蹤目標(biāo)進(jìn)行跟蹤，但在跟蹤框?qū)Ω櫮繕?biāo)進(jìn)行跟蹤的過程中，由于 跟蹤目標(biāo)是運(yùn)動的，跟蹤目標(biāo)在視頻圖像中的大小和位置會隨著時間而發(fā)生變化，當(dāng)跟蹤 目標(biāo)在視頻圖像中的大小較小或較大時，現(xiàn)有技術(shù)中的跟蹤框容易丟失正在跟蹤的跟蹤目 標(biāo)，從而降低了目標(biāo)跟蹤的準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種目標(biāo)跟蹤方法和裝置，用于適應(yīng)目標(biāo)的尺度變化和/ 或旋轉(zhuǎn)變化，提高目標(biāo)跟蹤的準(zhǔn)確度。
[0005] 為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：
[0006] -方面，本發(fā)明提供了一種目標(biāo)跟蹤方法，包括：
[0007] 根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的 跟蹤框；
[0008] 分別提取所述各個不同尺寸跟蹤框中的圖像特征；
[0009] 將所述跟蹤框中的圖像特征代入上一幀視頻圖像的相關(guān)濾波器，得到所述圖像特 征的綜合響應(yīng)值；
[0010] 獲取所述綜合響應(yīng)值中的最大值，并將最大的所述綜合響應(yīng)值對應(yīng)的跟蹤框尺寸 確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。
[0011] 另一方面，本發(fā)明提供了一種目標(biāo)跟蹤裝置，包括：
[0012] 獲取模塊，用于根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到 多個不同尺寸的跟蹤框；
[0013] 特征提取模塊，用于分別提取各個不同尺寸的跟蹤框中的圖像特征；
[0014] 相關(guān)濾波器，用于接收跟蹤框中的圖像特征，得到所述圖像特征的綜合響應(yīng)值；
[0015] 跟蹤框確定模塊，用于獲取所述綜合響應(yīng)值中的最大值，并將最大的所述綜合響 應(yīng)值對應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。
[0016] 本發(fā)明提供的目標(biāo)跟蹤方法和裝置中，根據(jù)上一幀視頻圖像的跟蹤框尺寸和預(yù)設(shè) 的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤框，得到各個不同尺寸的跟蹤框中的圖像特征的 綜合響應(yīng)值，將最大的綜合響應(yīng)值對應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺 寸。當(dāng)跟蹤目標(biāo)運(yùn)動時，跟蹤目標(biāo)的尺度變化因子、旋轉(zhuǎn)變化因子等發(fā)生改變，從而使跟蹤 目標(biāo)在視頻圖像中的大小發(fā)生改變，與利用固定大小的跟蹤框跟蹤目標(biāo)，不能適應(yīng)跟蹤目 標(biāo)的尺度變化和/或旋轉(zhuǎn)變化的現(xiàn)有技術(shù)相比，本發(fā)明能夠設(shè)定與上一幀視頻圖像的跟蹤 框尺寸相關(guān)的多個不同尺寸的跟蹤框，并選取綜合響應(yīng)值最大的跟蹤框尺寸作為當(dāng)前視頻 圖像幀的跟蹤框尺寸，從而使得跟蹤目標(biāo)的跟蹤框尺寸能夠適應(yīng)大小發(fā)生變化的跟蹤目 標(biāo)，也就是說在視頻圖像中進(jìn)行的目標(biāo)跟蹤能夠適應(yīng)跟蹤目標(biāo)的尺度變化和/或旋轉(zhuǎn)變化， 準(zhǔn)確地跟蹤到大小和位置發(fā)生變化的跟蹤目標(biāo)，提高了目標(biāo)跟蹤的準(zhǔn)確性。
【附圖說明】
[0017] 此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā) 明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：
[0018] 圖1為本發(fā)明實施例中一種目標(biāo)跟蹤方法的流程圖一；
[0019] 圖2為本發(fā)明實施例中一種目標(biāo)跟蹤的方法流程圖二；
[0020] 圖3為本發(fā)明實施例中一種目標(biāo)跟蹤的方法流程圖三；
[0021 ]圖4為本發(fā)明實施例中一種目標(biāo)跟蹤的方法流程圖四；
[0022]圖5a為本發(fā)明實施例中第一幀視頻圖像及其中的跟蹤框的示意圖；
[0023]圖5b為本發(fā)明實施例中第二幀視頻圖像及其中的跟蹤框的示意圖；
[0024]圖5c為本發(fā)明實施例中第三幀視頻圖像及其中的跟蹤框的示意圖一；
[0025]圖5d為本發(fā)明實施例中第三幀視頻圖像及其中的跟蹤框的示意圖二；
[0026]圖6為本發(fā)明實施例中一種目標(biāo)跟蹤方法流程圖五；
[0027]圖7為本發(fā)明實施例中一種目標(biāo)跟蹤方法流程圖六；
[0028] 圖8為本發(fā)明實施例中一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖一；
[0029] 圖9為本發(fā)明實施例中一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖二；
[0030] 圖10為本發(fā)明實施例中一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖三；
[0031] 圖11為本發(fā)明實施例中一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖四；
[0032] 圖12為本發(fā)明實施例中一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖五；
[0033] 圖13為本發(fā)明實施例中一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖六。
【具體實施方式】
[0034] 為了進(jìn)一步說明本發(fā)明實施例提供的目標(biāo)跟蹤方法和裝置，下面結(jié)合說明書附圖 進(jìn)行詳細(xì)描述。
[0035] 在本發(fā)明實施例提供的目標(biāo)跟蹤方法，應(yīng)用于目標(biāo)跟蹤裝置，示例的，應(yīng)用于智能 交通領(lǐng)域的目標(biāo)車輛跟蹤、社區(qū)內(nèi)的目標(biāo)人物跟蹤或者視頻錄像中的目標(biāo)跟蹤等。本發(fā)明 的執(zhí)行主體包括但不限于，設(shè)置在智能手機(jī)、臺式電腦、智能電視、筆記本電腦、平板電腦等 終端設(shè)備中的目標(biāo)跟蹤模塊或其他獨(dú)立的目標(biāo)跟蹤裝置。
[0036] 請參閱圖1，本發(fā)明實施例提供的目標(biāo)跟蹤方法包括：
[0037] 步驟101，獲取一幀視頻圖像。示例的，獲取正在執(zhí)行拍攝工作的攝像頭拍攝的一 幀視頻圖像，或者，獲取待處理的一段視頻中某一幀視頻圖像等等。需要說明的是，一幀視 頻圖像的跟蹤框尺寸是一幀視頻圖像中跟蹤目標(biāo)的跟蹤框尺寸。需要說明的是，如果該幀 視頻圖像為待處理視頻圖像的初始幀視頻圖像，則跳轉(zhuǎn)步驟108執(zhí)行，否則，跳轉(zhuǎn)步驟102執(zhí) 行。
[0038]步驟102,根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不 同尺寸的跟蹤框。其中，預(yù)設(shè)的跟蹤框系數(shù)有多個，由于相鄰的兩幀視頻圖像中跟蹤目標(biāo)的 大小和位置的變化均較小，因此利用上一幀視頻圖像的跟蹤框尺寸和預(yù)設(shè)的跟蹤框系數(shù)， 為確定當(dāng)前幀視頻圖像的跟蹤框尺寸提供多個候選的不同尺寸的跟蹤框。比如，預(yù)設(shè)的跟 蹤框系數(shù)分別為sl、s2和s3,則跟蹤框系數(shù)si對應(yīng)的跟蹤框尺寸為kl，跟蹤框系數(shù)s2對應(yīng)的 跟蹤框尺寸為k2，跟蹤框系數(shù)s3對應(yīng)的跟蹤框尺寸為k3。
[0039] 步驟103,分別提取各個不同尺寸的跟蹤框中的圖像特征。其中，可以利用不同的 提取方法提取出跟蹤框中的不同種類的圖像特征，比如，可以利用H0G(Hist 〇gram of Oriented Gradient，方向梯度直方圖）提取方法得到跟蹤框尺寸為kl的跟蹤框中的HOG圖 像特征，和/或利用LBP(Local Binary Pattern，局部二值模式)提取方法得到跟蹤框尺寸 為kl的跟蹤框中的LBP圖像特征，提取出的圖像特征的種類包括但并不限于上述兩種方式。
[0040] 步驟104,將跟蹤框中的圖像特征代入上一幀視頻圖像的相關(guān)濾波器，得到圖像特 征的綜合響應(yīng)值。需要說明的是，若提取的跟蹤框中的圖像特征只有一種，則綜合響應(yīng)值為 這一種圖像特征代入上一幀視頻圖像的相關(guān)濾波器得到的響應(yīng)值;若提取的跟蹤框中的圖 像特征有多種，則綜合響應(yīng)值為多種圖像特征代入上一幀視頻圖像的相關(guān)濾波器中得到的 響應(yīng)值的和，響應(yīng)值具體可以為回歸響應(yīng)值。需要說明的是，在跟蹤框中提取的圖像特征的 種類越多，在后續(xù)的目標(biāo)跟蹤過程中，對跟蹤目標(biāo)的跟蹤就越精確，但同時提取的圖像特征 的種類越多，在目標(biāo)跟蹤過程中的計算量就越大，因此，需要根據(jù)具體的工作場景以及期望 效果來決定提取的圖像特征的種類的數(shù)目。
[0041] 步驟105,獲取綜合響應(yīng)值中的最大值，并將最大的綜合響應(yīng)值對應(yīng)的跟蹤框尺寸 確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。比如，預(yù)設(shè)的跟蹤框系數(shù)分別為sl、s2和S3,則跟蹤 框系數(shù)si對應(yīng)的跟蹤框尺寸為kl，跟蹤框系數(shù)s2對應(yīng)的跟蹤框尺寸為k2,跟蹤框系數(shù)s3對 應(yīng)的跟蹤框尺寸為k3，若跟蹤框尺寸為k3的跟蹤框中圖像特征對應(yīng)的綜合響應(yīng)值最大，則 將k3作為當(dāng)前幀視頻圖像的跟蹤框尺寸。
[0042]需要說明的是，為了使當(dāng)前幀視頻圖形的跟蹤框尺寸更為精確，可以在第一次得 到最大的綜合響應(yīng)值后，利用最大的綜合響應(yīng)值對應(yīng)的跟蹤框尺寸和跟蹤框系數(shù)，再一次 得到多個不同尺寸的跟蹤框，提取新得到的跟蹤框中的圖像特征，并將圖像特征帶入相關(guān) 濾波器，計算新得到的圖像特征的綜合響應(yīng)值，第二次得到最大的綜合響應(yīng)值，并將第二次 得到的最大的綜合響應(yīng)值對應(yīng)的跟蹤框尺寸作為當(dāng)前幀視頻圖像的跟蹤框尺寸。當(dāng)然，針 對同一幀視頻圖像還可以進(jìn)行更多次求取最大的綜合響應(yīng)值的過程，但由于進(jìn)行求取最大 的綜合響應(yīng)值的次數(shù)越多，計算量越大，目標(biāo)跟蹤的實時性就越差，因此，可以依據(jù)目標(biāo)跟 蹤方法的應(yīng)用場景的要求，設(shè)置求取最大的綜合響應(yīng)值的次數(shù)。
[0043]本發(fā)明提供的目標(biāo)跟蹤方法中，根據(jù)上一幀視頻圖像的跟蹤框尺寸和預(yù)設(shè)的跟蹤 框系數(shù)，得到多個不同尺寸的跟蹤框，得到各個不同尺寸的跟蹤框中的圖像特征的綜合響 應(yīng)值，將最大的綜合響應(yīng)值對應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。當(dāng)跟 蹤目標(biāo)運(yùn)動時，跟蹤目標(biāo)的尺度變化因子、旋轉(zhuǎn)變化因子等特性發(fā)生改變，從而使跟蹤目標(biāo) 在視頻圖像中的大小發(fā)生改變，與利用固定大小的跟蹤框跟蹤目標(biāo)，不能適應(yīng)跟蹤目標(biāo)的 尺度變化和/或旋轉(zhuǎn)變化的現(xiàn)有技術(shù)相比，本發(fā)明能夠設(shè)定與上一幀視頻圖像的跟蹤框尺 寸相關(guān)的多個不同尺寸的跟蹤框，并選取綜合響應(yīng)值最大的跟蹤框尺寸作為當(dāng)前視頻圖像 幀的跟蹤框尺寸，從而使得跟蹤目標(biāo)的跟蹤框尺寸能夠適應(yīng)大小發(fā)生變化的跟蹤目標(biāo)，也 就是說在視頻圖像中進(jìn)行的目標(biāo)跟蹤能夠適應(yīng)跟蹤目標(biāo)的尺度變化和/或旋轉(zhuǎn)變化，準(zhǔn)確 地跟蹤到大小和位置發(fā)生變化的跟蹤目標(biāo)，提高了目標(biāo)跟蹤的準(zhǔn)確性。
[0044] 請參閱圖2,在步驟102之前還可以包括步驟106,來選取合適的跟蹤框系數(shù)，具體 內(nèi)容如下：
[0045] 步驟106,選取跟蹤框系數(shù)的數(shù)值范圍，在數(shù)值范圍中分散地選取多個跟蹤框系 數(shù)。其中，在選取的數(shù)值范圍中可以均勻分散的選取多個跟蹤框系數(shù)，也可以隨機(jī)分散的選 取多個跟蹤框系數(shù)。比如，選取的數(shù)值范圍為0.9~1.1，在0.9~1.1內(nèi)可以均勻分散的選取 5個跟蹤框系數(shù)，分別為0.9、0.95、1、1.05和1.1;也可以在0.9~1.1內(nèi)隨機(jī)分散的選取5個 跟蹤框系數(shù)，分別為0 ? 92、0 ? 98、1、1 ? 05、1 ? 08。
[0046] 請參閱圖3,在步驟101之前還可以包括步驟107,來選取合適的跟蹤框系數(shù)，具體 內(nèi)容如下：
[0047]步驟107,選取跟蹤框系數(shù)的中心值，將中心值以及從中心值向兩側(cè)分別選取預(yù)設(shè) 個數(shù)的數(shù)值作為跟蹤框系數(shù)。其中，先設(shè)定一個中心值，使得選取的跟蹤框系數(shù)圍繞中心值 來選取，具體的，在從中心值向兩側(cè)分別選取其他的跟蹤框系數(shù)時，可以均勻的選取，也可 以隨機(jī)的選取。比如，設(shè)定中心值為1，從中心值向兩側(cè)各均勻選取兩個跟蹤框系數(shù)，分別為 0.96、0.98、1.02和1.04，也就是說，選取的跟蹤框系數(shù)為0.96、0.98、1、1.02和1.04;或者， 從中心值向兩側(cè)各隨機(jī)選取兩個跟蹤框系數(shù)，分別為〇.907、0.952、1.05和1.103,也就是 說，選取的跟蹤框系數(shù)為〇. 907、0.952、1、1.05和1.103。
[0048] 需要說明的是，上一幀視頻圖像的跟蹤框尺寸與多個不同的跟蹤框系數(shù)相乘，得 到多個不同尺寸的跟蹤框。比如，上述實施例中的步驟101具體可以為:將上一幀視頻圖像 的跟蹤框尺寸分別與中心值以及從中心值向兩側(cè)分別選取的預(yù)設(shè)個數(shù)的跟蹤框系數(shù)相乘， 得到多個不同尺寸的跟蹤框。比如:選取的跟蹤框系數(shù)分別為〇.9、0.95、1、1.05和1.1，1為 中心值，上一幀視頻圖像的跟蹤框尺寸為kl，則得到的多個不同尺寸的跟蹤框的尺寸分別 為0.9kl、0.95kl、kl、1.05kl和1. lkl。上述實施例中的步驟101具體還可以為:將上一幀視 頻圖像的跟蹤框尺寸分別與在數(shù)值范圍中選取的多個跟蹤框系數(shù)相乘，得到多個不同尺寸 的跟蹤框。
[0049] 請參閱圖4,在步驟101之前，目標(biāo)跟蹤方法還可以包括步驟108,來選取第一幀視 頻圖像中的跟蹤目標(biāo)，具體內(nèi)容如下：
[0050] 步驟108,接收用戶對第一幀視頻圖像的目標(biāo)選取指令，并根據(jù)目標(biāo)選取指令，選 定跟蹤目標(biāo)。其中，第一幀視頻圖像也就是初始幀視頻圖像，在第一幀視頻圖像中，需要用 戶選擇在這一段視頻中的跟蹤目標(biāo)，用戶可以通過按鈕、觸屏等方式發(fā)出目標(biāo)選取指令，目 標(biāo)跟蹤裝置接收用戶的目標(biāo)選取指令，選定跟蹤目標(biāo)，選定跟蹤目標(biāo)后，可以得到跟蹤目標(biāo) 在第一幀視頻圖像中的跟蹤框，跟蹤框的尺寸略大于跟蹤目標(biāo)，能夠?qū)⒏櫮繕?biāo)圈在跟蹤 框內(nèi)。
[0051] 下面結(jié)合具體的視頻圖像進(jìn)行說明，請參閱圖5a-圖5c，圖5a為一段視頻的第一幀 視頻圖像，圖5a中的車輛為跟蹤目標(biāo)，跟蹤框K1為第一幀視頻圖像中的跟蹤框，且跟蹤框K1 的尺寸為kl;圖5b為該段視頻的第二幀視頻圖像，其中，預(yù)設(shè)的跟蹤框系數(shù)分別為0.95、1和 1.05, 根據(jù)第一幀視頻圖像的跟蹤框K1的跟蹤框尺寸kl以及三個預(yù)設(shè)的跟蹤框系數(shù)，可以 得到三個跟蹤框，分別為跟蹤框K2、跟蹤框K3和跟蹤框K4，跟蹤框K2的跟蹤框尺寸為 0.95kl，跟蹤框K3的跟蹤框尺寸為kl，跟蹤框K4的跟蹤框尺寸為1.05kl，將三個跟蹤框K2、 K3和K4中的圖像特征代入第一幀視頻圖像中的相關(guān)濾波器，得到三個綜合響應(yīng)值，最大的 綜合響應(yīng)值對應(yīng)的是跟蹤框K2,則將跟蹤框尺寸0.95kl作為第二幀視頻圖像的跟蹤框尺 寸；圖5c為該段視頻的第三幀視頻圖像，其中，預(yù)設(shè)的跟蹤框系數(shù)依然分別為0.95、1和 1.05, 根據(jù)第二幀視頻圖像的跟蹤框尺寸0.95kl以及三個預(yù)設(shè)的跟蹤框系數(shù)，可以得到三 個跟蹤框，分別為跟蹤框K5、跟蹤框K6和跟蹤框K7，跟蹤框K5的跟蹤框尺寸為0.95 X 0.95kl =0.9025kl，跟蹤框K6的跟蹤框尺寸為0.95kl，跟蹤框K7的跟蹤框尺寸為1.05 X 0.95kl = 0.9975kl，將三個跟蹤框K5、K6和K7中的圖像特征代入第二幀視頻圖像中的相關(guān)濾波器，得 到三個綜合響應(yīng)值，最大的綜合響應(yīng)值對應(yīng)的是跟蹤框K5，則將跟蹤框尺寸0.9025kl作為 第三幀視頻圖像的跟蹤框尺寸。
[0052]這里需要說明的是，還可以根據(jù)前幾幀視頻圖像中的跟蹤框尺寸的變化趨勢，調(diào) 整預(yù)設(shè)的跟蹤框系數(shù)，該跟蹤框系數(shù)分別用于調(diào)整后續(xù)視頻圖像的跟蹤框尺寸，比如，根據(jù) 圖5a和圖5b所示的視頻圖像，可以判斷跟蹤目標(biāo)在這一段視頻中的尺寸逐漸變小，因此，可 以判斷跟蹤框尺寸也在逐漸減小，則請參閱圖5d，圖5d為該段視頻的第三幀視頻圖像，其 中，預(yù)設(shè)的跟蹤框系數(shù)分別設(shè)定為0.9、0.95和1，根據(jù)第二幀視頻圖像的跟蹤框尺寸0.95讓1 以及三個預(yù)設(shè)的跟蹤框系數(shù)，可以得到三個跟蹤框，分別為跟蹤框K8、跟蹤框K9和跟蹤框 K10，跟蹤框K8的跟蹤框尺寸為0.9 X 0.95kl = 0.855kl，跟蹤框K9的跟蹤框尺寸為0.95 X 0.95kl =0.9025kl，跟蹤框K10的跟蹤框尺寸為0.95kl，將三個跟蹤框K8、K9和K10中的圖像 特征代入第二幀視頻圖像中的相關(guān)濾波器，得到三個綜合響應(yīng)值，最大的綜合響應(yīng)值對應(yīng) 的是跟蹤框K8，則將跟蹤框尺寸0.855kl作為第三幀視頻圖像的跟蹤框尺寸。
[0053]請參閱圖6,上述實施例中的步驟104具體可以細(xì)化為步驟1041，具體內(nèi)容如下： [0054]步驟1041，將跟蹤框中的圖像特征代入上一幀視頻圖像的相關(guān)濾波器，利用公式 ，計算得到綜合響應(yīng)值A(chǔ).v)，其中，為上一幀視頻圖像的相關(guān)濾波器，x為 跟蹤框中的圖像特征，i為x的傅里葉變換。當(dāng)跟蹤框中的圖像特征只有一種的情況下，將該 圖像特征帶入公式/(.v) = 士〇丨中得到的響應(yīng)值即綜合響應(yīng)響應(yīng)值。當(dāng)提取的跟蹤框中的圖 像特征的種類有多種時，每一種圖像特征對應(yīng)有一個相關(guān)濾波器，將同一跟蹤框中不同種 類的圖像特征分別代入對應(yīng)的相關(guān)濾波器，分別得到不同種類的圖像特征對應(yīng)的響應(yīng)值， 將同一跟蹤框中不同種類的圖像特征對應(yīng)的響應(yīng)值相加，得到同一跟蹤框中的圖像特征的 綜合響應(yīng)值。比如，提取出了跟蹤框尺寸為kl的跟蹤框中的H0G圖像特征和LBP圖像特征，則 H0G圖像特征代入上一幀視頻圖像的相關(guān)濾波器A中得到了響應(yīng)值fl，LBP圖像特征代入上 一幀視頻圖像的相關(guān)濾波器B中得到了響應(yīng)值f 2，將跟蹤框尺寸為kl的跟蹤框中的H0G圖像 特征得到的響應(yīng)值fl，與LBP圖像特征得到的響應(yīng)值f 2相加，得到的響應(yīng)值之和即為跟蹤框 尺寸為kl的跟蹤框中的圖像特征的綜合響應(yīng)值。
[0055]需要說明的是，可以利用公式m輝)獲取最大的綜合響應(yīng)值，將最大的綜 合響應(yīng)值max廣Wxy對應(yīng)的跟蹤框尺寸作為當(dāng)前幀視頻圖像的跟蹤框尺寸，其中，max表 示求最大值，F(xiàn)1表示傅里葉反變換，^表示多個跟蹤框系數(shù)中的第i個跟蹤框系數(shù)對應(yīng)的 跟蹤框中的圖像特征。
[0056] 請參閱圖7,還可以對當(dāng)前幀視頻圖像的相關(guān)濾波器進(jìn)行更新，本發(fā)明實施例中還 可以包括步驟109-步驟110,具體內(nèi)容如下：
[0057] 步驟10 9，利用最大的綜合響應(yīng)值對應(yīng)的圖像特征，訓(xùn)練當(dāng)前幀視頻圖像的濾波 器。當(dāng)前幀視頻圖像的濾波器用于更新當(dāng)前幀視頻圖形的相關(guān)濾波器。
[0058] 步驟110,利用上一幀視頻圖像的相關(guān)濾波器和訓(xùn)練后的當(dāng)前幀視頻圖像的濾波 器，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器。在下一幀圖像幀中進(jìn)行目標(biāo)跟蹤時重復(fù)上述 目標(biāo)跟蹤的方法，但是相關(guān)濾波器為更新后當(dāng)前幀視頻圖像的相關(guān)濾波器。具體的，根據(jù)公 式★' = 〇-的!V,'+^%，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器1V，其中，'為上一幀視 頻圖像中使用的相關(guān)濾波器，％為訓(xùn)練后的當(dāng)前幀視頻圖像的濾波器，9為第一權(quán)衡參量，〇 彡9彡1，需要說明的是，一般1_9>9,比如，9可以取值為0.012。
[0059] 需要說明的是，本發(fā)明實施例中的當(dāng)前幀視頻圖像的濾波器為
，其 中，命為當(dāng)前幀視頻圖像的濾波器，x為跟蹤框中的圖像特征，玄為x的傅里葉變換，￡為x的 傅里葉變換后的共輒，J)為高斯形回歸標(biāo)簽，A為第二權(quán)衡參量，需要說明的是，〇 為點(diǎn)乘符號，表示兩個矩陣之中對應(yīng)位置的元素相乘，從而簡化本發(fā)明的跟蹤目標(biāo)方法中 在傅里葉域中的計算。
[0060] 下面將以一具體數(shù)據(jù)實例來說明上述計算過程:最大的綜合響應(yīng)值對應(yīng)的圖像特
"0 0.2 0 0,5 1 「1 0_& 0.5 0.3' , 0.3 0.1 0.12 0.25 0.6： 0.7 0.4 0.2 , 、, 征C m m 八a，，m ，人=0.0002,代入公式1 ， 0.5 03 0.14 0.03 0:5 0.4 0,5 0.3 0.8 0.06 0.54 0.03」 L 0.3 02 0_3 0. 2- 訓(xùn)練得到當(dāng)前幀視頻圖像的濾波器A，利用當(dāng)前幀視頻圖像的濾波器龜和上一幀視頻圖像 的相關(guān)濾波器ay，得到當(dāng)前幀視頻圖像的相關(guān)濾波器A，在確定下一幀視頻圖像的跟蹤 框尺寸的過程中，預(yù)設(shè)的跟蹤框系數(shù)分別為〇.95、1和1.05,則得到的三個不同尺寸的跟蹤 0 0,18 0.02 0.5 1 0 0.32 0.15 0.5 ' ,，丄…，一，,,, 03 0,2 0,13 0,1 0.3 0.2 0.13 0,1 框中的圖像特征為別為（).5 〇21 〇2 ().〇丨議〇21 〇,5細(xì)， 0.68 0.4 0.3 CU 3」 0J6 0.1 0.3 0.13 0 0.18 0.02 0.5- 0.3 0.2 0.13 0.1 - n/1. nof A，，將上述三個不同尺寸的跟蹤框中的圖像特征代入更新得到 ^ 0.心 0.21 0.3 0.6 0.7 0.4 0.3 0.2 的當(dāng)前幀視頻圖像的濾波器中，并得到各個尺寸的跟蹤框中的圖像特征的綜合響應(yīng)值分別 為F可以得到最大的綜合響應(yīng)值為 i^/(xp:>=0.95,則將i^/(')=0.95對應(yīng)的跟蹤框尺寸作為下一幀視頻圖像的跟蹤框尺 寸。當(dāng)然，此處僅是舉例說明，并不代表本發(fā)明實施例的具體數(shù)值局限于此。
[0061] 請參閱圖8,本發(fā)明實施例中還提供了一種目標(biāo)跟蹤裝置20,包括：
[0062]獲取模塊21，用于根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得 到多個不同尺寸的跟蹤框；
[0063] 特征提取模塊22,用于分別提取各個不同尺寸的跟蹤框中的圖像特征；
[0064] 相關(guān)濾波器23,用于接收跟蹤框中的圖像特征，得到圖像特征的綜合響應(yīng)值；
[0065]跟蹤框確定模塊24，用于獲取綜合響應(yīng)值中的最大值，并將最大的綜合響應(yīng)值對 應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。
[0066]本發(fā)明提供的目標(biāo)跟蹤裝置20中，獲取模塊21根據(jù)上一幀視頻圖像的跟蹤框尺寸 和預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤框，通過特征提取模塊22和相關(guān)濾波器23 得到各個不同尺寸的跟蹤框中的圖像特征的綜合響應(yīng)值，跟蹤框確定模塊24將最大的綜合 響應(yīng)值對應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。當(dāng)跟蹤目標(biāo)運(yùn)動時，跟蹤 目標(biāo)的尺度變化因子、旋轉(zhuǎn)變化因子等特性發(fā)生改變，從而使跟蹤目標(biāo)在視頻圖像中的大 小發(fā)生改變，與利用固定大小的跟蹤框跟蹤目標(biāo)，不能適應(yīng)跟蹤目標(biāo)的尺度變化和/或旋轉(zhuǎn) 變化的現(xiàn)有技術(shù)相比，本發(fā)明能夠設(shè)定與上一幀視頻圖像的跟蹤框尺寸相關(guān)的多個不同尺 寸的跟蹤框，并選取綜合響應(yīng)值最大的跟蹤框尺寸作為當(dāng)前視頻圖像幀的跟蹤框尺寸，從 而使得跟蹤目標(biāo)的跟蹤框尺寸能夠適應(yīng)大小發(fā)生變化的跟蹤目標(biāo)，也就是說在視頻圖像中 進(jìn)行的目標(biāo)跟蹤能夠適應(yīng)跟蹤目標(biāo)的尺度變化和/或旋轉(zhuǎn)變化，準(zhǔn)確地跟蹤到大小和位置 發(fā)生變化的跟蹤目標(biāo)，提高了目標(biāo)跟蹤的準(zhǔn)確性。
[0067]請參閱圖9,當(dāng)提取的跟蹤框中的圖像特征的種類等于或大于二時，提取的跟蹤框 中的圖像特征的種類與相關(guān)濾波器23的個數(shù)相等且一一對應(yīng)。
[0068]請參閱圖10,目標(biāo)跟蹤裝置20還包括第一系數(shù)設(shè)定模塊25,第一系數(shù)設(shè)定模塊25 用于選取跟蹤框系數(shù)的數(shù)值范圍，在數(shù)值范圍中分散地選取多個跟蹤框系數(shù)。
[0069]或者，請參閱圖11，目標(biāo)跟蹤裝置20還包括第二系數(shù)設(shè)定模塊26，第二系數(shù)設(shè)定模 塊26用于選取中心值，將中心值以及從中心值向兩側(cè)分別選取預(yù)設(shè)個數(shù)的數(shù)值作為跟蹤框 系數(shù)。
[0070] 進(jìn)一步地，獲取模塊21具體用于將上一幀視頻圖像的跟蹤框尺寸分別與中心值以 及從中心值向兩側(cè)分別選取的預(yù)設(shè)個數(shù)的跟蹤框系數(shù)相乘，得到多個不同尺寸的跟蹤框， 中心值為1。
[0071] 請參閱圖12，目標(biāo)跟蹤裝置20還包括目標(biāo)選定模塊27，用于接收用戶對第一幀圖 像的目標(biāo)選取指令，并根據(jù)目標(biāo)選取指令，選定跟蹤目標(biāo)。
[0072] 具體的，相關(guān)濾波器23還用于接收跟蹤框中的圖像特征，利用公式/⑷=， 計算得到綜合響應(yīng)值，其中，為上一幀視頻圖像的相關(guān)濾波器，x為跟蹤框中的圖 像特征，i為x的傅里葉變換。
[0073] 請參閱圖13,所述目標(biāo)跟蹤裝置20還包括訓(xùn)練模塊28和更新模塊29。
[0074]訓(xùn)練模塊28,用于利用最大的綜合響應(yīng)值對應(yīng)的圖像特征，訓(xùn)練當(dāng)前幀視頻圖像 的濾波器。具體的，更新模塊具體用于根據(jù)公式七' =(!-奶，更新得到當(dāng)前幀視頻 圖像的相關(guān)濾波器琢％其中為上一幀視頻圖像的相關(guān)濾波器，％為訓(xùn)練后的當(dāng)前幀視 頻圖像的濾波器，9為第一權(quán)衡參量，當(dāng)前幀視頻圖像的濾波器為
其中，龜為當(dāng)前幀視頻圖像的濾波器，x為跟蹤框中的圖像特征3為x的傅里葉變換，/為x 的傅里葉變換后的共輒，j)為高斯形回歸標(biāo)簽，A為第二權(quán)衡參量，〇彡\彡1。
[0075] 更新模塊29,用于利用上一幀視頻圖像的相關(guān)濾波器和訓(xùn)練后的當(dāng)前幀視頻圖像 的濾波器，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器。
[0076] 本說明書中的各個實施例均采用遞進(jìn)的方式描述，各個實施例之間相同相似的部 分互相參見即可，每個實施例重點(diǎn)說明的都是與其他實施例的不同之處。對于目標(biāo)跟蹤的 裝置的實施例而言，由于其基本相似于目標(biāo)跟蹤的方法的實施例，所以描述得比較簡單，相 關(guān)之處參見目標(biāo)跟蹤的方法的實施例的部分說明即可。
[0077] 在上述實施方式的描述中，具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個或多 個實施例或示例中以合適的方式結(jié)合。
[0078] 以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項】
1. 一種目標(biāo)跟蹤方法，其特征在于，包括： 根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤 框； 分別提取所述各個不同尺寸跟蹤框中的圖像特征； 將所述跟蹤框中的圖像特征代入上一幀視頻圖像的相關(guān)濾波器，得到所述圖像特征的 綜合響應(yīng)值； 獲取所述綜合響應(yīng)值中的最大值，并將最大的所述綜合響應(yīng)值對應(yīng)的跟蹤框尺寸確定 為當(dāng)前幀視頻圖像的跟蹤框尺寸。2. 根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，在根據(jù)上一幀視頻圖像的跟蹤框 尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤框之前，還包括： 選取所述跟蹤框系數(shù)的數(shù)值范圍，在所述數(shù)值范圍中分散地選取多個所述跟蹤框系 數(shù)。3. 根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，在根據(jù)上一幀視頻圖像的跟蹤框 尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤框之前，還包括： 選取中心值，將所述中心值以及從所述中心值向兩側(cè)分別選取預(yù)設(shè)個數(shù)的數(shù)值作為所 述跟蹤框系數(shù)。4. 根據(jù)權(quán)利要求3所述的目標(biāo)跟蹤方法，其特征在于，所述中心值為1;根據(jù)上一幀視頻 圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個不同尺寸的跟蹤框，包括： 將上一幀視頻圖像的跟蹤框尺寸分別與所述中心值以及從所述中心值向兩側(cè)分別選 取的預(yù)設(shè)個數(shù)的跟蹤框系數(shù)相乘，得到多個不同尺寸的跟蹤框。5. 根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，還包括： 接收用戶對第一幀視頻圖像的目標(biāo)選取指令，并根據(jù)所述目標(biāo)選取指令，選定所述跟 蹤目標(biāo)。6. 根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，將跟蹤框中的圖像特征代入上一 幀視頻圖像的相關(guān)濾波器，得到所述圖像特征的綜合響應(yīng)值，包括： 將所述跟蹤框中的圖像特征代入上一幀視頻圖像的相關(guān)濾波器，利用公式 ,Qi ,計算得到綜合響應(yīng)值/Cr)，其中，.Vi為上一幀視頻圖像的相關(guān)濾波器，X為 所述跟蹤框中的圖像特征，i為X的傅里葉變換。7. 根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，在將最大的所述綜合響應(yīng)值對應(yīng) 的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸之后，還包括： 利用最大的所述綜合響應(yīng)值對應(yīng)的圖像特征，訓(xùn)練當(dāng)前幀視頻圖像的濾波器； 利用上一幀視頻圖像的相關(guān)濾波器和訓(xùn)練后的當(dāng)前幀視頻圖像的濾波器，更新得到當(dāng) 前幀視頻圖像的相關(guān)濾波器。8. 根據(jù)權(quán)利要求7所述的目標(biāo)跟蹤方法，其特征在于，利用上一幀視頻圖像的相關(guān)濾波 器和訓(xùn)練后的當(dāng)前幀視頻圖像的濾波器，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器，包括： 根據(jù)公式= 妁?: Λ-汍?',，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器碑'，其中， 為上一幀視頻圖像的相關(guān)濾波器，爾為訓(xùn)練后的當(dāng)前幀視頻圖像的濾波器，Θ為第一權(quán)衡參 量，0<θ彡1〇9. 根據(jù)權(quán)利要求8所述的目標(biāo)跟蹤方法，其特征在于，所述當(dāng)前幀視頻圖像的濾波器為 A ，其中，^為所述當(dāng)前幀視頻圖像的濾波器，X為所述跟蹤框中的圖像特征，i 為X的傅里葉變換，f為X的傅里葉變換后的共輒，I為高斯形回歸標(biāo)簽，λ為第二權(quán)衡參量，〇 ^Ξλ^ι〇10. -種目標(biāo)跟蹤裝置，其特征在于，包括： 獲取模塊，用于根據(jù)上一幀視頻圖像的跟蹤框尺寸以及預(yù)設(shè)的跟蹤框系數(shù)，得到多個 不同尺寸的跟蹤框； 特征提取模塊，用于分別提取各個不同尺寸的跟蹤框中的圖像特征； 相關(guān)濾波器，用于接收跟蹤框中的圖像特征，得到所述圖像特征的綜合響應(yīng)值； 跟蹤框確定模塊，用于獲取所述綜合響應(yīng)值中的最大值，并將最大的所述綜合響應(yīng)值 對應(yīng)的跟蹤框尺寸確定為當(dāng)前幀視頻圖像的跟蹤框尺寸。11. 根據(jù)權(quán)利要求10所述裝置，其特征在于，所述目標(biāo)跟蹤的裝置還包括第一系數(shù)設(shè)定 模塊，所述第一系數(shù)設(shè)定模塊用于選取所述跟蹤框系數(shù)的數(shù)值范圍，在所述數(shù)值范圍中分 散地選取多個所述跟蹤框系數(shù)。12. 根據(jù)權(quán)利要求10所述裝置，其特征在于，所述目標(biāo)跟蹤的裝置還包括第二系數(shù)設(shè)定 模塊，所述第二系數(shù)設(shè)定模塊用于選取中心值，將所述中心值以及從所述中心值向兩側(cè)分 別選取預(yù)設(shè)個數(shù)的數(shù)值作為所述跟蹤框系數(shù)。13. 根據(jù)權(quán)利要求10所述裝置，其特征在于，所述相關(guān)濾波器還用于接收所述跟蹤框中 的圖像特征，利用公式/(X)=介',，G0,卄算得到綜合響應(yīng)值/〇·；),其中，AV1為上一幀視頻 圖像的相關(guān)濾波器，X為所述跟蹤框中的圖像特征4為X的傅里葉變換。14. 根據(jù)權(quán)利要求10所述裝置，其特征在于，所述目標(biāo)跟蹤裝置還包括訓(xùn)練模塊和更新 豐旲塊； 所述訓(xùn)練模塊，用于利用最大的所述綜合響應(yīng)值對應(yīng)的圖像特征，訓(xùn)練當(dāng)前幀視頻圖 像的濾波器； 所述更新模塊，用于利用上一幀視頻圖像的相關(guān)濾波器和訓(xùn)練后的當(dāng)前幀視頻圖像的 濾波器，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器。15. 根據(jù)權(quán)利要求14所述裝置，其特征在于，所述更新模塊具體用于根據(jù)公式 = '+^%，更新得到當(dāng)前幀視頻圖像的相關(guān)濾波器七'，其中，戌V為上一幀視頻 圖像的相關(guān)濾波器，％為訓(xùn)練后的當(dāng)前幀視頻圖像的濾波器，Θ為第一權(quán)衡參量，0<θ<1。
【文檔編號】G06T7/20GK105894538SQ201610204077
【公開日】2016年8月24日
【申請日】2016年4月1日
【發(fā)明人】冷佳旭, 高偉杰, 王智慧
【申請人】海信集團(tuán)有限公司