運(yùn)動(dòng)目標(biāo)跟蹤恢復(fù)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及目標(biāo)跟蹤領(lǐng)域，尤其涉及運(yùn)動(dòng)目標(biāo)跟蹤恢復(fù)方法及裝置。
【背景技術(shù)】
[0002] 現(xiàn)有技術(shù)進(jìn)行目標(biāo)跟蹤的方法為，采用跟蹤算法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，跟蹤裝置 隨著跟蹤目標(biāo)的運(yùn)動(dòng)而運(yùn)動(dòng)，以保證跟蹤目標(biāo)始終位于圖像中的特定位置，在檢測(cè)到跟蹤 裝置停止運(yùn)動(dòng)后，判斷目標(biāo)丟失，則通過(guò)前景檢測(cè)獲取新的運(yùn)動(dòng)目標(biāo)，并運(yùn)用例如卡爾曼濾 波估算出跟蹤目標(biāo)應(yīng)當(dāng)存在的預(yù)估位置，對(duì)位于預(yù)估位置的前景目標(biāo)進(jìn)行跟蹤。
[0003] 通過(guò)這種前景檢測(cè)獲取的運(yùn)動(dòng)目標(biāo)沒(méi)有比對(duì)原有的跟蹤目標(biāo)與重新檢測(cè)得到的 前景目標(biāo)之間特征，難以保證是原有的跟蹤目標(biāo)，如果原有的跟蹤目標(biāo)在跟蹤丟失時(shí)發(fā)生 運(yùn)動(dòng)速度或方向上的改變，則在預(yù)估位置上得到的前景目標(biāo)就不是原有的跟蹤目標(biāo)，因此 一旦發(fā)生跟蹤丟失，很難再將原有的目標(biāo)找到并進(jìn)行繼續(xù)跟蹤。
[0004] 因此現(xiàn)有技術(shù)在跟蹤丟失時(shí)難以繼續(xù)進(jìn)行跟蹤，容易丟失原有跟蹤目標(biāo)的問(wèn)題。

【發(fā)明內(nèi)容】

[0005] 為解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供一種跟蹤恢復(fù)裝置，能夠在跟蹤目標(biāo)被 遮擋的情況下，快速準(zhǔn)確地找回跟蹤目標(biāo)恢復(fù)跟蹤。
[0006] -種運(yùn)動(dòng)目標(biāo)跟蹤恢復(fù)方法，用于跟蹤裝置進(jìn)行目標(biāo)跟蹤，包括在跟蹤丟失時(shí)對(duì) 當(dāng)前圖像前景檢測(cè)得到前景目標(biāo)，根據(jù)跟蹤目標(biāo)所處的丟失位置得到跟蹤目標(biāo)的預(yù)估位 置，還包括：
[0007] 在判斷跟蹤丟失時(shí)將候選目標(biāo)的特征與跟蹤目標(biāo)的特征進(jìn)行匹配計(jì)算得到各候 選目標(biāo)的匹配值，所述候選目標(biāo)為前景目標(biāo)；
[0008] 根據(jù)匹配值以及到預(yù)估位置的距離為各候選目標(biāo)賦予權(quán)重值，得到權(quán)重值最大的 候選目標(biāo)作為原有的跟蹤目標(biāo)繼續(xù)跟蹤，其中在距離相同時(shí)匹配值高的賦予權(quán)重值大，匹 配值相同時(shí)距離近的賦予權(quán)重值大。
[0009] 本發(fā)明的運(yùn)動(dòng)目標(biāo)在因遮擋造成跟蹤丟失的情況下，通過(guò)對(duì)圖像中檢測(cè)出的前景 目標(biāo)進(jìn)行匹配和預(yù)估從而得到最有可能為原有跟蹤目標(biāo)的前景從而繼續(xù)進(jìn)行跟蹤，避免了 一些因畫(huà)面中的物體遮擋導(dǎo)致跟蹤目標(biāo)丟失或因自適應(yīng)變倍跟蹤目標(biāo)短時(shí)間內(nèi)出畫(huà)面從 而造成的跟蹤丟失。跟蹤目標(biāo)帶有的特征例如顏色特征可以用來(lái)與其他的前景目標(biāo)進(jìn)行區(qū) 另IJ，因此通過(guò)特征的匹配可以得到較大可能是跟蹤目標(biāo)的前景目標(biāo)，同時(shí)跟蹤目標(biāo)在畫(huà)面 跟蹤時(shí)遵循一定的運(yùn)動(dòng)規(guī)律，很少會(huì)存在非常劇烈的運(yùn)動(dòng)速度及方向的改變，因此通過(guò)這 些相關(guān)的運(yùn)動(dòng)信息可以確定跟蹤目標(biāo)所在的大致位置，因此可以通過(guò)候選目標(biāo)與大致位置 的距離選取最有可能是原有跟蹤目標(biāo)，從而繼續(xù)進(jìn)行跟蹤。如果在一段預(yù)定時(shí)長(zhǎng)內(nèi)，都沒(méi)有 檢出符合條件的前景目標(biāo)，則回預(yù)置位進(jìn)行下一次跟蹤。
[0010] 進(jìn)一步而言，還包括根據(jù)所述預(yù)估位置以及丟失位置建立搜索區(qū)域，獲取處于搜 索區(qū)域內(nèi)的前景目標(biāo)作為所述候選目標(biāo)，所述搜索區(qū)域建立方法為：計(jì)算預(yù)估位置到丟失 位置的距離R，建立以丟失位置為圓心的扇形搜索區(qū)域，所述扇形搜索區(qū)域的半徑為SR，其中s辛0。
[0011] 由于跟蹤目標(biāo)的運(yùn)動(dòng)軌跡通常不會(huì)發(fā)生非常急劇的變化，但考慮在此過(guò)程中跟蹤 目標(biāo)仍然會(huì)發(fā)生速度和方向上的變化，因此得到跟蹤目標(biāo)所在位置的大致范圍，從而排除 一些不太可能是原先的跟蹤目標(biāo)的前景目標(biāo)，提高重新獲取跟蹤目標(biāo)的速度。通過(guò)設(shè)定扇 形區(qū)域，將跟蹤目標(biāo)在運(yùn)動(dòng)過(guò)程中運(yùn)動(dòng)方向可能發(fā)生的變化加以考慮，將預(yù)估位置的半徑 乘以系數(shù)則考慮到運(yùn)動(dòng)速度變化所帶來(lái)的實(shí)際位置可能比預(yù)估位置要遠(yuǎn)或近。這一搜索區(qū) 域的設(shè)定，可以大大減少需要匹配的前景目標(biāo)數(shù)目，從而提高效率。
[0012] 進(jìn)一步而言，還包括在目標(biāo)跟蹤時(shí)記錄跟蹤目標(biāo)的運(yùn)動(dòng)信息，所述預(yù)估位置根據(jù) 所述運(yùn)動(dòng)信息結(jié)合丟失位置得到，所述運(yùn)動(dòng)信息包括：跟蹤目標(biāo)的平面運(yùn)動(dòng)方向、跟蹤目標(biāo) 的運(yùn)動(dòng)軌跡以及跟蹤目標(biāo)在水平和豎直方向上的空間運(yùn)動(dòng)速度。
[0013] 跟蹤目標(biāo)的平面運(yùn)動(dòng)方向及運(yùn)動(dòng)軌跡可以得到跟蹤目標(biāo)在跟蹤丟失后的運(yùn)動(dòng)趨 勢(shì)，跟蹤目標(biāo)在空間中的空間運(yùn)動(dòng)速度可以分解為水平和豎直方向上的速度，因此獲取這 些信息之后，將運(yùn)動(dòng)趨勢(shì)結(jié)合空間運(yùn)動(dòng)速度可以得到跟蹤目標(biāo)可能在的預(yù)估位置。運(yùn)動(dòng)信 息可以采用現(xiàn)有的技術(shù)記錄得到，例如通過(guò)運(yùn)用金字塔LK跟蹤算法得到，金字塔LK跟蹤 算法對(duì)觸發(fā)規(guī)則的目標(biāo)進(jìn)行跟蹤，并記錄LK跟蹤算法中光流方向作為跟蹤目標(biāo)的平面運(yùn) 動(dòng)方向，并利用空間坐標(biāo)系記錄跟蹤目標(biāo)的運(yùn)動(dòng)軌跡及在水平和豎直方向上的空間運(yùn)動(dòng)速 度。
[0014] 進(jìn)一步而言，候選目標(biāo)與跟蹤目標(biāo)進(jìn)行匹配所采用的特征為顏色特征，通過(guò)NCC 算法對(duì)顏色特征進(jìn)行匹配計(jì)算得到候選目標(biāo)的所述匹配值。
[0015] 將候選目標(biāo)與跟蹤目標(biāo)進(jìn)行匹配的特征有多種，但是由于在跟蹤恢復(fù)時(shí)在特征匹 配計(jì)算上要求計(jì)算速度較快，顏色特征能夠較為準(zhǔn)確地反映跟蹤目標(biāo)的特征，同時(shí)也能夠 在匹配計(jì)算時(shí)兼顧效率。
[0016] 進(jìn)一步而言，為各候選目標(biāo)賦予所述權(quán)重值的方法包括：
[0017] 為候選目標(biāo)分配距離權(quán)重值Wln，η表示第η個(gè)候選目標(biāo)，到預(yù)估位置距離最近的候 選目標(biāo)距離權(quán)重為1，其他候選目標(biāo)的距離權(quán)重值為所述最近距離除以各候選目標(biāo)到預(yù)估 位置距離所得的值；
[0018] 為候選目標(biāo)分配匹配權(quán)重W2n，η表示第η個(gè)候選目標(biāo)，匹配值最大的候選目標(biāo)匹配 權(quán)重值為1，其他候選目標(biāo)匹配權(quán)重為各候選目標(biāo)匹配值除以所述最大匹配值；
[0019] 得到各候選目標(biāo)綜合的權(quán)重值^，表達(dá)式為：Wn=Wln+aW2n，其中α彡1。
[0020] 在進(jìn)行候選目標(biāo)的權(quán)重值考慮時(shí)，主要考慮候選目標(biāo)與預(yù)估位置之間的差別，越 接近預(yù)估位置則越有可能是原有的跟蹤目標(biāo)，同時(shí)兼顧考慮候選目標(biāo)的其他特征，例如紋 理特征。由于在考慮準(zhǔn)確性時(shí)，特征的精確匹配可信度比距離更高，因此對(duì)于特征的匹配權(quán) 重前增加系數(shù)a。
[0021] 進(jìn)一步而言，判斷所述跟蹤丟失的方法包括：周期性地檢測(cè)跟蹤裝置是否停止運(yùn) 動(dòng)，在連續(xù)t個(gè)周期均檢測(cè)到跟蹤裝置停止運(yùn)動(dòng)時(shí)，利用NCC算法將當(dāng)前圖像幀中匹配區(qū)域 的特征與跟蹤目標(biāo)的特征進(jìn)行匹配計(jì)算得到匹配值，當(dāng)匹配值低于預(yù)設(shè)的閾值β時(shí)判定 為跟蹤丟失，其中t為大于1的整數(shù)。
[0022] 本發(fā)明的跟蹤丟失判斷方法通過(guò)時(shí)間與空間的雙重規(guī)則進(jìn)行判斷，以提高判斷跟 蹤丟失的準(zhǔn)確性。在時(shí)間上，在連續(xù)多個(gè)周期均未檢測(cè)到跟蹤裝置運(yùn)動(dòng)之后再初步判斷跟 蹤丟失，防止因運(yùn)動(dòng)目標(biāo)自身停止運(yùn)動(dòng)、較小物體遮擋導(dǎo)致跟蹤裝置停止運(yùn)動(dòng)而被誤判為 跟蹤丟失的情況，在初步判斷后，再通過(guò)NCC匹配進(jìn)行比較精確的跟蹤丟失判斷，將時(shí)間與 空間結(jié)合，使得跟蹤丟失被誤判的可能性較低。由于自適應(yīng)放大后，紋理特征會(huì)發(fā)生變化， 因此，閾值β在每次模板更新時(shí)均通過(guò)大津法進(jìn)行自適應(yīng)的更新計(jì)算，在設(shè)定閾值β初值 時(shí)，根據(jù)紋理特征豐富程度來(lái)設(shè)定，紋理特征越豐富則閾值β越大。
[0023] 進(jìn)一步而言，在所述跟蹤丟失的判斷方法中采用的特征為紋理特征。在進(jìn)行判斷 跟蹤丟失時(shí)紋理特征具有較高的準(zhǔn)確度，同時(shí)計(jì)算速度較快。
[0024] 進(jìn)一步而言，其特征在于，NCC匹配算法將所述當(dāng)前圖像幀的匹配區(qū)域與作為模板 的匹配區(qū)域進(jìn)行特征匹配，其中所述NCC匹配算法所匹配的特征為各個(gè)匹配區(qū)域中像素點(diǎn) 特征與各自匹配區(qū)域的特征平均值進(jìn)行相減后所得差值；
[0025] 所述作為模板的匹配區(qū)域?yàn)榈谝淮螜z測(cè)到跟蹤裝置停止運(yùn)動(dòng)前的多幀圖像匹配 區(qū)域的平均值，且跟蹤目標(biāo)的特征為所述多幀圖像中跟蹤目標(biāo)的特征進(jìn)行平均之后得到的 特征平均值。
[0026] NCC匹配算法為增強(qiáng)型的NCC匹配算法，所匹配的特征值為各個(gè)匹配區(qū)域中像素 點(diǎn)特征與各自匹配區(qū)域的特征平均值進(jìn)行相減后所得差值，通過(guò)減去均值減小計(jì)算數(shù)值， 降低計(jì)算量。其中顏色特征平均值以及紋理特征平均值均為跟蹤目標(biāo)過(guò)程中得到，跟蹤過(guò) 程中，利用跟蹤裝置自適應(yīng)變倍使得跟蹤目標(biāo)始終處于中心區(qū)域，且每次自適應(yīng)變倍完成 后均進(jìn)行顏色特征平均值以及紋理特征平均值的維護(hù)。
[0027] 本發(fā)明還提供了一種跟蹤恢復(fù)裝置，用于實(shí)施本發(fā)明的跟蹤恢復(fù)方法，從而具有 良好的抗遮擋性。
[0028] 一種運(yùn)動(dòng)目標(biāo)跟蹤恢復(fù)裝置，用于跟蹤裝置進(jìn)行目標(biāo)跟蹤，包括前景檢測(cè)單元，在 跟蹤丟失時(shí)對(duì)當(dāng)前圖像前景檢測(cè)得到前景目標(biāo)，位置預(yù)估單元，根據(jù)跟蹤目標(biāo)所處的丟失 位置得到跟蹤目標(biāo)的預(yù)估位置，還包括：
[0029] 候選目標(biāo)匹配單元，在判斷跟蹤丟失時(shí)將候選目標(biāo)的特征與跟蹤目標(biāo)的特征進(jìn)行 匹配計(jì)算得到各候選目標(biāo)的匹配值，所述候選目標(biāo)為前景目標(biāo)；
[0030] 跟蹤目標(biāo)選取單元，根據(jù)匹配值以及到預(yù)估位置的距離為各候選目標(biāo)賦予權(quán)重 值，得到權(quán)重值最大