專利名稱：Ptz單目標(biāo)自動跟蹤的裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控，尤其涉及一種PTZ單目標(biāo)自動跟蹤的裝置及方法。
背景技術(shù)：
遠(yuǎn)程監(jiān)控系統(tǒng)通常需要監(jiān)控一個廣闊的區(qū)域，同時能夠捕獲廣闊區(qū)域內(nèi)任何可疑目標(biāo)的詳細(xì)信息。然而，由于在廣闊區(qū)域內(nèi)監(jiān)控目標(biāo)和高分辨率的目標(biāo)圖像的獲取是對立的，所以在實際中是很難實現(xiàn)的。為了解決這一難題，人們開始研究PTZ(Panning，Tilting， Zooming)足艮蹤。然而，目前的PTZ跟蹤技術(shù)大多使用了無反饋信息的高速球，當(dāng)有可疑目標(biāo)出現(xiàn)時，通過人工手動操縱高速球捕獲可疑目標(biāo)的詳細(xì)信息，并對其進行跟蹤。由于這種PTZ跟蹤技術(shù)需要人的操作，因此存在易疲勞、易疏忽、反映速度慢、人工費用高等諸多缺點。綜上所述，目前迫切需要提出一種可以實現(xiàn)PTZ自動跟蹤目標(biāo)的裝置及方法。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于實現(xiàn)PTZ自動跟蹤目標(biāo)。為達到上述目的，按照本發(fā)明的第一個方面，提供了一種在視頻圖像中進行PTZ 單目標(biāo)自動跟蹤的裝置，包括PTZ目標(biāo)ID選擇模塊，用于選擇PTZ跟蹤目標(biāo)的ID ；模板提取和形成模塊，用于根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取目標(biāo)的原始模板并根據(jù)所述原始模板形成PTZ跟蹤所需其它模板；跟蹤區(qū)域提取模塊，用于根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取視頻圖像幀中的跟蹤區(qū)域；相關(guān)系數(shù)及匹配位置計算模塊，用于計算所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的相關(guān)系數(shù)及匹配位置；跟蹤狀態(tài)判定模塊，用于選擇最佳匹配模板并且根據(jù)最佳匹配模板與當(dāng)前視頻圖像幀的相關(guān)系數(shù)和相關(guān)系數(shù)的變化比率判定跟蹤狀態(tài)；PTZ跟蹤結(jié)束判斷模塊，用于根據(jù)所述跟蹤狀態(tài)判斷是否結(jié)束PTZ跟蹤，如果不結(jié)束PTZ跟蹤，則輸出所述原始模板、所述PTZ跟蹤所需其它模板、所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的匹配位置、所述最佳匹配模板；模板更新模塊，用于為下一視頻圖像幀更新模板；和目標(biāo)位置預(yù)測模塊，用于預(yù)測下一幀目標(biāo)位置。此外，按照本發(fā)明的另一個方面，提供了一種在視頻圖像中進行PTZ單目標(biāo)自動跟蹤的方法，包括以下步驟選擇PTZ跟蹤目標(biāo)的ID ；根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取目標(biāo)的原始模板并根據(jù)所述原始模板形成PTZ跟蹤所需其它模板；根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取視頻圖像幀中的跟蹤區(qū)域；計算所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的相關(guān)系數(shù)及匹配位置；選擇最佳匹配模板并且根據(jù)最佳匹配模板與當(dāng)前視頻圖像幀的相關(guān)系數(shù)和相關(guān)系數(shù)的變化比率判定跟蹤狀態(tài)；根據(jù)所述跟蹤狀態(tài)判斷是否結(jié)束 PTZ跟蹤，如果不結(jié)束PTZ跟蹤，則輸出所述原始模板、所述PTZ跟蹤所需其它模板、所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的匹配位置、所述最佳匹配模板；根據(jù)所判定的跟蹤狀態(tài)為下一視頻圖像幀更新模板；和預(yù)測下一幀目標(biāo)位置。


圖1表示按照本發(fā)明的在視頻圖像中進行PTZ單目標(biāo)自動跟蹤的裝置的原理圖；圖2表示本發(fā)明所采用的二次線性插值方法；圖3表示本發(fā)明所采用的權(quán)重系數(shù)模板的計算；圖4表示本發(fā)明的裝置中所包含的相關(guān)系數(shù)及匹配位置計算模塊的內(nèi)部細(xì)節(jié)；圖5是按照本發(fā)明的視頻圖像中進行PTZ單目標(biāo)自動跟蹤的方法的流程圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附圖，對本發(fā)明進一步詳細(xì)說明。圖1給出了按照本發(fā)明的在視頻圖像中進行PTZ單目標(biāo)自動跟蹤的裝置的模塊圖。如圖1所示，按照本發(fā)明的PTZ單目標(biāo)自動跟蹤的裝置可以包括PTZ目標(biāo)ID選擇模塊 101、模板提取和形成模塊102、跟蹤區(qū)域提取模塊103、相關(guān)系數(shù)及匹配位置計算模塊104、 跟蹤狀態(tài)判定模塊105、PTZ跟蹤結(jié)束判斷模塊106、模板更新模塊107、目標(biāo)位置預(yù)測模塊 108和PTZ命令計算和輸出模塊109。下面，將詳細(xì)介紹按照本發(fā)明的在視頻圖像中進行PTZ單目標(biāo)自動跟蹤的裝置的各模塊。PTZ目標(biāo)ID選擇模塊101用于選擇PTZ跟蹤目標(biāo)的ID。模塊101根據(jù)檢測的目標(biāo)，選擇需要PTZ的目標(biāo)的ID。所述檢測的目標(biāo)是指經(jīng)過目標(biāo)檢測方法或者目標(biāo)跟蹤方法處理后輸出的結(jié)果。目標(biāo)檢測方法、目標(biāo)跟蹤方法可以通過常見的目標(biāo)檢測算法、目標(biāo)跟蹤算法實現(xiàn)?？梢酝ㄟ^兩種方式選擇需要PTZ的目標(biāo)的ID。第一種方式是根據(jù)設(shè)定的目標(biāo)屬性進行選擇，例如可以將目標(biāo)屬性設(shè)定為選擇第一個出現(xiàn)在視場內(nèi)的目標(biāo)，或者選擇視場內(nèi)速度最快的目標(biāo)，或者選擇視場內(nèi)面積最大的目標(biāo)等。第二種方式是通過用戶手工操作來進行選擇。所述模板提取和形成模塊102用于提取原始模板并形成跟蹤所需的另外兩個模板，大模板和小模板。模塊102接收模塊101所確定的目標(biāo)位置點和目標(biāo)的寬度與高度，并且輸出原始模板、大模板和小模板數(shù)據(jù)。所述模塊102首先根據(jù)所述目標(biāo)的ID，確定該目標(biāo)所處的位置以及目標(biāo)區(qū)域，并且根據(jù)該目標(biāo)區(qū)域的信息，提取出原始圖像中對應(yīng)的區(qū)域作為目標(biāo)的原始模板OT ；然后針對該目標(biāo)的原始模板0T，按照設(shè)定的縮小比例和放大比例進行縮小和放大，分別形成略小于和略大于目標(biāo)模板的2個擴展模板，即小模板LT和大模板BT。按照這一實施例，所述目標(biāo)區(qū)域是矩形區(qū)域，該矩形區(qū)域的左上角點和右下角點分別為目標(biāo)的左上角點和右下角點，初始目標(biāo)區(qū)域必須包含需要跟蹤的目標(biāo)，否則后續(xù)跟蹤無法正常進行?？s小和放大時設(shè)定的比例值是依據(jù)PTZ高速球機的Z方向的運動速率而選擇的，具體而言，所述縮小比例和放大比例是這樣選擇的已知高速球機圖像采集頻率為f幀 /秒，以及圖像PTZ跟蹤算法每幀的計算時間t秒；先將高速球?qū)?zhǔn)某大小和位置不動的物體(即目標(biāo)成像與象平面中心)，然后控制高速球機進行Z方向縮小，對比同一物體在連續(xù)的N幀后成像大小與初始成像大小之間的總變化率S，則每幀變化量為S/N,最后根據(jù)公式可確定，縮小比例=SXt/(NXf)，同理可計算出放大比例?？s小時，所設(shè)定的縮小比例可以選擇0. 8 1. 0范圍內(nèi)一值，BP,0.8彡縮小比例< 1. 0 ；放大時，所設(shè)定的放大比例可以選擇1. 0 1. 2范圍內(nèi)一值，BP, 1.0 <放大比例彡1. 2。所述縮小和放大可以采用二次線性插值方法進行。圖2描述的是二次線性插值方法。如圖2所示，假設(shè)e點為縮小或者放大圖像中某個點根據(jù)縮放比例反推到原始圖像中的點，a、b、c、d點為原始圖像中與e點相鄰的四個整數(shù)像素點，則e點的灰度值可以通過如下的計算得到
權(quán)利要求
1.一種在視頻圖像中進行PTZ單目標(biāo)自動跟蹤的裝置，包括 PTZ目標(biāo)ID選擇模塊，用于選擇PTZ跟蹤目標(biāo)的ID ；模板提取和形成模塊，用于根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取目標(biāo)的原始模板并根據(jù)所述原始模板形成PTZ跟蹤所需其它模板；跟蹤區(qū)域提取模塊，用于根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取視頻圖像幀中的跟蹤區(qū)域；相關(guān)系數(shù)及匹配位置計算模塊，用于計算所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的相關(guān)系數(shù)及匹配位置；跟蹤狀態(tài)判定模塊，用于選擇最佳匹配模板并且根據(jù)最佳匹配模板與當(dāng)前視頻圖像幀的相關(guān)系數(shù)和相關(guān)系數(shù)的變化比率判定跟蹤狀態(tài)；PTZ跟蹤結(jié)束判斷模塊，用于根據(jù)所述跟蹤狀態(tài)判斷是否結(jié)束PTZ跟蹤，如果不結(jié)束 PTZ跟蹤，則輸出所述原始模板、所述PTZ跟蹤所需其它模板、所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的匹配位置、所述最佳匹配模板； 模板更新模塊，用于為下一視頻圖像幀更新模板；和目標(biāo)位置預(yù)測模塊，用于預(yù)測下一幀目標(biāo)位置。
2.按照如權(quán)利要求1所述的裝置，其中，所述PTZ目標(biāo)ID選擇模塊以下列兩種方式之一選擇需要PTZ的目標(biāo)的ID 根據(jù)預(yù)先設(shè)定的目標(biāo)屬性進行選擇的方式和用戶人工選擇的方式。
3.按照權(quán)利要求2所述的裝置，其中所述目標(biāo)屬性包括目標(biāo)出現(xiàn)的次序、目標(biāo)運動的速度和/或目標(biāo)的大小。
4.按照權(quán)利要求1所述的裝置，其特征在于，所述模板提取和形成模塊用于根據(jù)PTZ跟蹤目標(biāo)的ID，確定該目標(biāo)所處的位置以及目標(biāo)區(qū)域，并且根據(jù)該目標(biāo)區(qū)域的信息，從原始圖像中對應(yīng)的位置提取出目標(biāo)的原始模板(OT)；然后基于該目標(biāo)的原始模板，按照設(shè)定的縮小比例和放大比例進行縮小和放大，分別形成略小于目標(biāo)模板的小模板(LT)和略大于目標(biāo)模板的大模板(BT)。
5.按照權(quán)利要求4所述的裝置，其中，所述設(shè)定的縮小比例和放大比例是依據(jù)PTZ高速球機的Z方向的運動速率而選擇的。
6.按照權(quán)利要求4所述的裝置，其中，所述設(shè)定的縮小比例是
范圍內(nèi)的任意值。
7.按照權(quán)利要求4所述的裝置，其中，所述縮小和放大是利用二次線性插值方法進行的。
8.按照權(quán)利要求4所述的裝置，其中，所述模板提取和形成模塊此外還用于計算目標(biāo)模板所對應(yīng)的權(quán)重系數(shù)模板(WT)，所述目標(biāo)模板包括所述原始模板(OT)、所述小模板(LT) 和所述大模板(BT)，其中，所述權(quán)重系數(shù)模板(WT)的行數(shù)和列數(shù)與對應(yīng)的目標(biāo)模板相同， 權(quán)重系數(shù)模板(WT)里的每個元素代表了在計算相關(guān)性時對應(yīng)位置像素在計算中的權(quán)重。
9.按照權(quán)利要求4所述的裝置，其中，所述跟蹤區(qū)域提取模塊執(zhí)行以下操作 根據(jù)所確定的PTZ跟蹤目標(biāo)，得到所述目標(biāo)在圖像中的位置信息和所述目標(biāo)所處區(qū)域的信息；確定目標(biāo)區(qū)域的寬度和高度；以目標(biāo)位置點為中心，在圖像的行方向和列方向上分別向兩側(cè)擴展出目標(biāo)區(qū)域?qū)挾群透叨鹊念A(yù)定倍數(shù)，以形成擴展后的跟蹤區(qū)域；將擴展的跟蹤區(qū)域的子圖像提取出來，以作為后續(xù)的跟蹤匹配區(qū)域(TR)。
10.按照權(quán)利要求9所述的裝置，其中，所述預(yù)定倍數(shù)是根據(jù)PTZ高速球的P方向和T 方向的運動速率選取的。
11.按照權(quán)利要求10所述的裝置，其中，所述預(yù)定倍數(shù)為[1，3]內(nèi)的任意值。
12.按照權(quán)利要求4所述的裝置，其中，所述相關(guān)系數(shù)及匹配位置計算模塊包括原始模板粗搜索子模塊、原始模板細(xì)搜索子模塊、大模板細(xì)搜索子模塊以及小模板細(xì)搜索子模塊。
13.按照權(quán)利要求12所述的裝置，其中，所述原始模板粗搜索子模塊使用原始模板在跟蹤區(qū)域內(nèi)進行粗搜索，掃描整個跟蹤區(qū)域，以得到匹配度最大的4個位置點。
14.按照權(quán)利要求13所述的裝置，其中，所述粗搜索在行方向和列方向上均以η象素為搜索步長，η e {2,3,4,5} 0
15.按照權(quán)利要求12所述的裝置，其中，所述原始模板細(xì)搜索子模塊的細(xì)搜索區(qū)域是以可能的粗匹配位置點為中心，以粗搜索步長η為邊長的正方形區(qū)域，其中，原始模板細(xì)搜索子模塊以1個像素為細(xì)搜索步長在所述細(xì)搜索區(qū)域內(nèi)進行細(xì)搜索，細(xì)搜索區(qū)域內(nèi)每個像素位置對應(yīng)的子圖像與目標(biāo)模板之間的相關(guān)系數(shù)Y (x,y)的計算公式如下
16.按照權(quán)利要求15所述的裝置，其中，引進權(quán)重系數(shù)之后細(xì)搜索區(qū)域內(nèi)每個像素位置對應(yīng)的子圖像與目標(biāo)模板之間的相關(guān)系數(shù)Y ‘ (X，y)的計算公式為
17.按照權(quán)利要求16所述的裝置，其中，所述原始模板粗搜索子模塊找到4個粗匹配點，由每個粗匹配點可以確定細(xì)搜索區(qū)域，原始模板細(xì)搜索子模塊是在這些細(xì)搜索區(qū)域內(nèi)的所有點上使用上述進入權(quán)重系數(shù)的公式，以計算每個位置的子圖像與目標(biāo)模板之間的相關(guān)系數(shù)，然后從這些相關(guān)系數(shù)中找到最大的一個，并保存其對應(yīng)的位置點，該位置點就是可能的目標(biāo)在圖像中的位置點。
18.按照權(quán)利要求17所述的裝置，其特征在于，所述大模板細(xì)搜索子模塊在使用原始模板細(xì)搜索模塊所得到的位置點的附近區(qū)域內(nèi)，找出大模板(BT)在所述附近區(qū)域內(nèi)的最大相關(guān)系數(shù)及其對應(yīng)的位置點。
19.按照權(quán)利要求17所述的裝置，其中，所述小模板細(xì)搜索子模塊在使用原始模板細(xì)搜索子模塊所得到的位置點的附近區(qū)域內(nèi)，找出小模板(LT)在所述附近區(qū)域內(nèi)最大的相關(guān)系數(shù)及其對應(yīng)的位置點。
20.如權(quán)利要求8所述的裝置，其中，所述跟蹤狀態(tài)判定模塊判定的跟蹤狀態(tài)包括四種跟蹤狀態(tài)正常狀態(tài)、一般退化狀態(tài)、嚴(yán)重退化狀態(tài)以及失敗狀態(tài)。
21.按照權(quán)利要求20所述的裝置，其中，所述模板更新模塊在正常狀態(tài)下，若此時最佳匹配模板為大模板(BT)或者小模板(LT)，則將模板更新標(biāo)志置1，需要把當(dāng)前幀的最佳匹配模板更新為下一幀計算時的原始模板(OT)，并使用二次線性插值方法重新計算下一幀的大模板(BT)和小模板(LT)以及它們所對應(yīng)的權(quán)重系數(shù)模板(WT)；在跟蹤狀態(tài)為一般退化的情況下，則此時無論最佳匹配模板是原始模板(OT)還是大模板(BT)或小模板(LT)，均要置模板更新標(biāo)志為1，如果最佳匹配模板是原始模板(OT)， 則選擇預(yù)存的子圖像(ST)更新原始模板(OT)，如果最佳匹配模板為大模板(BT)，則子圖像 (BST)更新原始模板(OT)，若最佳匹配模板為小模板(LT)，則子圖像(LST)更新原始模板 (OT)，更新完原始模板(OT)后，使用二次線形插值方法計算大模板(BT)和小模板(LT)，并計算出各模板對應(yīng)的權(quán)重系數(shù)模板(WT)； 其余的跟蹤狀態(tài)下不用對模板進行更新。
22.按照權(quán)利要求21所述的裝置，其中，所述目標(biāo)位置預(yù)測模塊將當(dāng)前幀的最佳匹配位置作為下一幀確定跟蹤區(qū)域時的中心位置點，將本幀最佳匹配模板的寬度和高度作為目標(biāo)的寬度和高度，以此來確定下一幀跟蹤區(qū)域。
23.按照權(quán)利要求1所述的裝置，此外還包括PTZ命令計算和輸出模塊，用于形成當(dāng)前幀PTZ命令并輸出。
24.按照權(quán)利要求23所述的裝置，其中，所述PTZ命令輸出模塊根據(jù)當(dāng)前幀所計算出的目標(biāo)在視場里所處的位置點，與視場中心點的矢量距離，而得出PTZ高速球的運動方向以及運動速率，并按照PTZ高速球的控制協(xié)議，形成控制PTZ高速球運動的指令，并發(fā)送給 PTZ高速球。
25.一種在視頻圖像中進行PTZ單目標(biāo)自動跟蹤的方法，包括以下步驟 選擇PTZ跟蹤目標(biāo)的ID;根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取目標(biāo)的原始模板并根據(jù)所述原始模板形成PTZ 跟蹤所需其它模板；根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取視頻圖像幀中的跟蹤區(qū)域； 計算所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的相關(guān)系數(shù)及匹配位置； 選擇最佳匹配模板并且根據(jù)最佳匹配模板與當(dāng)前視頻圖像幀的相關(guān)系數(shù)和相關(guān)系數(shù)的變化比率判定跟蹤狀態(tài)；根據(jù)所述跟蹤狀態(tài)判斷是否結(jié)束PTZ跟蹤，如果不結(jié)束PTZ跟蹤，則輸出所述原始模板、所述PTZ跟蹤所需其它模板、所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的匹配位置、所述最佳匹配模板；根據(jù)所判定的跟蹤狀態(tài)為下一視頻圖像幀更新模板；和預(yù)測下一幀目標(biāo)位置。
全文摘要
本發(fā)明提供了一種PTZ單目標(biāo)自動跟蹤的裝置及方法，能夠?qū)崿F(xiàn)單目標(biāo)的自動跟蹤。所述方法包括步驟選擇PTZ跟蹤目標(biāo)的ID；根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取目標(biāo)的原始模板并根據(jù)所述原始模板形成PTZ跟蹤所需其它模板；根據(jù)所選擇的PTZ跟蹤目標(biāo)的ID提取視頻圖像幀中的跟蹤區(qū)域；計算所述原始模板和PTZ跟蹤所需模板與所述跟蹤區(qū)域的相關(guān)系數(shù)及匹配位置；選擇最佳匹配模板并且根據(jù)最佳匹配模板與當(dāng)前視頻圖像幀的相關(guān)系數(shù)和相關(guān)系數(shù)的變化比率判定跟蹤狀態(tài)；根據(jù)所述跟蹤狀態(tài)判斷是否結(jié)束PTZ跟蹤；根據(jù)所判定的跟蹤狀態(tài)為下一視頻圖像幀更新模板；和預(yù)測下一幀目標(biāo)位置。
文檔編號G06T7/20GK102215377SQ20101014280
公開日2011年10月12日 申請日期2010年4月7日 優(yōu)先權(quán)日2010年4月7日
發(fā)明者王 華 申請人:北京智安邦科技有限公司