本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種目標(biāo)對(duì)象聯(lián)合跟蹤方法及目標(biāo)對(duì)象聯(lián)合跟蹤裝置。

背景技術(shù)：

在一些基于視頻監(jiān)控、視頻互動(dòng)的領(lǐng)域需要自動(dòng)檢測運(yùn)動(dòng)的對(duì)象，然后對(duì)檢測到的對(duì)象進(jìn)行實(shí)時(shí)的跟蹤，并在不同的視角對(duì)對(duì)象進(jìn)行特寫，最后將這些不同視角的特寫根據(jù)需要展現(xiàn)給用戶。當(dāng)前有很多方案都圍繞上述應(yīng)用進(jìn)行了研究和探索并取得了一些成果，但目前的方案還不能夠解決如何對(duì)物體進(jìn)行準(zhǔn)確的定位以及跟蹤目標(biāo)遮擋的問題。

因此，需要一種新的目標(biāo)對(duì)象跟蹤技術(shù)來解決上述技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種目標(biāo)對(duì)象聯(lián)合跟蹤方法及目標(biāo)對(duì)象聯(lián)合跟蹤裝置，以解決上述問題。

本發(fā)明提供一種目標(biāo)對(duì)象聯(lián)合跟蹤方法，包括：根據(jù)采集的同一目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)確定所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)；將所述定位坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為跟蹤坐標(biāo)數(shù)據(jù)，并依據(jù)所述跟蹤坐標(biāo)數(shù)據(jù)對(duì)所述目標(biāo)對(duì)象進(jìn)行跟蹤。

本發(fā)明還提供了一種目標(biāo)對(duì)象聯(lián)合跟蹤裝置，包括：定位坐標(biāo)獲取單元，用于根據(jù)采集的同一目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)確定所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)；跟蹤控制單元，用于將所述定位坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為跟蹤坐標(biāo)數(shù)據(jù)，并依據(jù)所述跟蹤坐標(biāo)數(shù)據(jù)對(duì)所述目標(biāo)對(duì)象進(jìn)行跟蹤。

相較于先前技術(shù)，根據(jù)本發(fā)明提供的技術(shù)方案，基于目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)獲取目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)，因此可以通過不同攝像機(jī)位的互相驗(yàn)證，實(shí)現(xiàn)對(duì)物體的準(zhǔn)確定位，有效解決目標(biāo)遮擋問題，優(yōu)化了跟蹤特寫效果。

此外，在識(shí)別是否是同一目標(biāo)對(duì)象時(shí)，通過目標(biāo)對(duì)象的運(yùn)動(dòng)數(shù)據(jù)來判斷，避免了采用臉部識(shí)別或者顏色識(shí)別等帶來的誤差問題，提高了目標(biāo)對(duì)象識(shí)別的準(zhǔn)確性。

附圖說明

此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1所示為根據(jù)本發(fā)明的一較佳實(shí)施例提供的目標(biāo)對(duì)象聯(lián)合跟蹤方法的流程圖；

圖2所示為根據(jù)本發(fā)明的另一較佳實(shí)施例提供的目標(biāo)對(duì)象聯(lián)合跟蹤裝置的框圖；

圖3所示為根據(jù)本發(fā)明的又一較佳實(shí)施例提供的定位攝像機(jī)和跟蹤攝像機(jī)的安裝示意圖。

具體實(shí)施方式

下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。

圖1所示為根據(jù)本發(fā)明的一較佳實(shí)施例提供的目標(biāo)對(duì)象聯(lián)合跟蹤方法的流程圖。如圖1所示，本發(fā)明的較佳實(shí)施例提供的目標(biāo)對(duì)象聯(lián)合跟蹤方法，包括：

步驟102，根據(jù)采集的同一目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)確定所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

對(duì)于同一目標(biāo)對(duì)象，不同的采集設(shè)備采集到的坐標(biāo)數(shù)據(jù)是不相同的。因此同一目標(biāo)對(duì)象對(duì)應(yīng)有多組坐標(biāo)數(shù)據(jù)，并且該坐標(biāo)數(shù)據(jù)是三維坐標(biāo)數(shù)據(jù)。

步驟104，將所述定位坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為跟蹤坐標(biāo)數(shù)據(jù)，并依據(jù)所述跟蹤坐標(biāo)數(shù)據(jù)對(duì)所述目標(biāo)對(duì)象進(jìn)行跟蹤。

具體地，在步驟102中，從不同圖像采集裝置采集的坐標(biāo)數(shù)據(jù)中獲取同一目標(biāo)對(duì)象在第一坐標(biāo)系下的多組三維坐標(biāo)數(shù)據(jù)，在所述多組三維坐標(biāo)數(shù)據(jù)中選取一組三維坐標(biāo)數(shù)據(jù)作為所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

在步驟104中，將所述定位坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為第二坐標(biāo)系下的跟蹤坐標(biāo)數(shù)據(jù)，根據(jù)所述跟蹤坐標(biāo)數(shù)據(jù)驅(qū)動(dòng)特寫攝像機(jī)，以跟蹤所述目標(biāo)對(duì)象。

其中，所述從不同圖像采集裝置采集的坐標(biāo)數(shù)據(jù)中獲取同一目標(biāo)對(duì)象在第一坐標(biāo)系下的多組三維坐標(biāo)數(shù)據(jù)，包括：

根據(jù)不同圖像采集裝置獲取的各目標(biāo)對(duì)象之間的位移差和速度差，或速度差和加速度差，或位移差、速度差和加速度差確定是否是同一目標(biāo)對(duì)象，得到同一目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)。

在本實(shí)施例中，在確定是否是同一目標(biāo)對(duì)象時(shí)，根據(jù)目標(biāo)對(duì)象的運(yùn)動(dòng)數(shù)據(jù)來進(jìn)行判斷是否同一目標(biāo)對(duì)象。該運(yùn)動(dòng)數(shù)據(jù)包括但不限于位移差、速度差、加速度差。運(yùn)動(dòng)數(shù)據(jù)相似的兩個(gè)目標(biāo)對(duì)象即為同一個(gè)目標(biāo)對(duì)象。在本實(shí)施例中也可以采用目前的人臉識(shí)別技術(shù)，但由于目標(biāo)對(duì)象是運(yùn)動(dòng)的，有可能不能捕獲人臉特征，因此采用人臉識(shí)別技術(shù)有一定的誤差，而像其他識(shí)別技術(shù)，例如顏色識(shí)別、輪廓識(shí)別，如果發(fā)生遮擋、光線變化等問題，則有可能不能準(zhǔn)確識(shí)別出是不是同一目標(biāo)對(duì)象，故而采用本實(shí)施例中提供了基于運(yùn)動(dòng)數(shù)據(jù)的目標(biāo)對(duì)象識(shí)別方法能夠避免相關(guān)識(shí)別技術(shù)出現(xiàn)的問題，提高了目標(biāo)對(duì)象識(shí)別的準(zhǔn)確率。

其中，根據(jù)不同圖像采集裝置獲取的各目標(biāo)對(duì)象之間的位移差、速度差和加速度差確定是否是同一目標(biāo)對(duì)象，包括：

根據(jù)以下公式計(jì)算出相似度值β：

β＝(a·x+b·y+c·z)，其中，β是所述相似度值，x、y、z分別是位移差、速度差和加速度差，a、b、c分別是位移差、速度差和加速度差的權(quán)重值；若所述相似度值β在預(yù)設(shè)范圍內(nèi)，則確定是同一目標(biāo)對(duì)象?？梢愿鶕?jù)運(yùn)動(dòng)情況等因素設(shè)置a、b、c的權(quán)重值。

其中，在所述多組三維坐標(biāo)數(shù)據(jù)中選取一組三維坐標(biāo)數(shù)據(jù)作為所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)，包括：

根據(jù)所述多組三維坐標(biāo)數(shù)據(jù)分別與對(duì)應(yīng)的圖像采集裝置之間的距離確定所述定位坐標(biāo)數(shù)據(jù)。選取距離最短的三維坐標(biāo)數(shù)據(jù)作為所述定位坐標(biāo)數(shù)據(jù)。

在拍攝范圍內(nèi)，對(duì)于同一個(gè)目標(biāo)對(duì)象，每個(gè)圖像采集裝置可獲得一個(gè)三維坐標(biāo)數(shù)據(jù)，計(jì)算每一個(gè)三維坐標(biāo)與相應(yīng)圖像采集裝置位置之間的距離，距離最短的三維坐標(biāo)數(shù)據(jù)作為該目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

其中，所述圖像采集裝置包括多個(gè)圖像采集模塊。該圖像采集裝置可以是雙目攝像機(jī)，也可以是兩個(gè)單目攝像機(jī)。在兩個(gè)單目攝像機(jī)的情況下，兩個(gè)單目攝像機(jī)安裝在不同的位置，例如同一側(cè)墻的兩端。

圖2所示為根據(jù)本發(fā)明的另一較佳實(shí)施例提供的目標(biāo)對(duì)象聯(lián)合跟蹤裝置的框圖。

如圖2所示，根據(jù)本發(fā)明的實(shí)施例的一種目標(biāo)對(duì)象聯(lián)合跟蹤裝置包括：

定位坐標(biāo)獲取單元202，用于根據(jù)采集的同一目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)確定所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

跟蹤控制單元204，用于將所述定位坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為跟蹤坐標(biāo)數(shù)據(jù)，并依據(jù)所述跟蹤坐標(biāo)數(shù)據(jù)對(duì)所述目標(biāo)對(duì)象進(jìn)行跟蹤。

其中，所述定位坐標(biāo)獲取單元202包括：匹配子單元2022，用于從不同圖像采集裝置采集的坐標(biāo)數(shù)據(jù)中獲取同一目標(biāo)對(duì)象在第一坐標(biāo)系下的多組三維坐標(biāo)數(shù)據(jù)，坐標(biāo)選擇子單元2024，用于在所述多組三維坐標(biāo)數(shù)據(jù)中選取一組三維坐標(biāo)數(shù)據(jù)作為所述目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

所述跟蹤控制單元204包括：

坐標(biāo)轉(zhuǎn)化子單元2042，用于將所述定位坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為第二坐標(biāo)系下的跟蹤坐標(biāo)數(shù)據(jù)，

控制子單元2044，用于根據(jù)所述跟蹤坐標(biāo)數(shù)據(jù)驅(qū)動(dòng)特寫攝像機(jī)，以跟蹤所述目標(biāo)對(duì)象。

所述匹配子單元2022根據(jù)不同圖像采集裝置獲取的各目標(biāo)對(duì)象之間的位移差和速度差，或速度差和加速度差，或位移差、速度差和加速度差確定是否是同一目標(biāo)對(duì)象，得到同一目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)。

所述匹配子單元2022根據(jù)以下公式計(jì)算出相似度值β：

β＝(a·x+b·y+c·z)，其中，β是所述相似度值，x、y、z分別是位移差、速度差和加速度差，a、b、c分別是位移差、速度差和加速度差的權(quán)重值；

若所述相似度值β在預(yù)設(shè)范圍內(nèi)，則確定是同一目標(biāo)對(duì)象。

坐標(biāo)選擇子單元2024根據(jù)所述多組三維坐標(biāo)數(shù)據(jù)分別與對(duì)應(yīng)的圖像采集裝置之間的距離確定所述定位坐標(biāo)數(shù)據(jù)。選取距離最短的三維坐標(biāo)數(shù)據(jù)作為所述定位坐標(biāo)數(shù)據(jù)。

其中，所述圖像采集裝置包括多個(gè)圖像采集模塊。

圖3所示為根據(jù)本發(fā)明的又一較佳實(shí)施例提供的定位攝像機(jī)和特寫攝像機(jī)的安裝示意圖。

如圖3所示，在教室中安裝了多個(gè)定位攝像機(jī)和多個(gè)特寫攝像機(jī)，負(fù)責(zé)采集和檢測及跟蹤目標(biāo)對(duì)象，多個(gè)定位攝像機(jī)兩兩一組，組合為攝像機(jī)對(duì)，在圖中分為2組，C-0和C-1為一組、C-2和C-3為一組。PTZ-0、PTZ-1、PTZ-2是特寫攝像機(jī)。ObjectA為要定位跟蹤的目標(biāo)對(duì)象。

每個(gè)攝像機(jī)對(duì)實(shí)現(xiàn)對(duì)ObjectA的定位，獲得針對(duì)這個(gè)目標(biāo)對(duì)象的一個(gè)三維坐標(biāo)。這樣，針對(duì)同一目標(biāo)對(duì)象，N對(duì)攝像機(jī)就可以得到N組三維坐標(biāo)。在本實(shí)施例中，2個(gè)攝像機(jī)對(duì)可以得到2組三維坐標(biāo)，例如C-0和C-1該攝像機(jī)對(duì)得到的三維坐標(biāo)是A，C-2和C-3該攝像機(jī)對(duì)得到的三維坐標(biāo)是A’。

在前一步驟得到的2組三維坐標(biāo)中選取一組三維坐標(biāo)，作為目標(biāo)對(duì)象在世界坐標(biāo)系中的一個(gè)最終坐標(biāo)。在這個(gè)過程中，因?yàn)椴煌瑪z像機(jī)位觀察的角度不同，因此可以解決運(yùn)動(dòng)物體在某個(gè)攝像機(jī)位的遮擋問題。另外根據(jù)攝像機(jī)距離物體的遠(yuǎn)近和角度的不同，可以制定規(guī)則選擇精度更高的三維坐標(biāo)作為最終坐標(biāo)。

在選取坐標(biāo)時(shí)，需要計(jì)算每個(gè)三維坐標(biāo)到相應(yīng)攝像機(jī)對(duì)之間的距離，例如C-0和C-1該攝像機(jī)與三維坐標(biāo)A之間的距離，C-2和C-3該攝像機(jī)與三維坐標(biāo)A’之間的距離。在計(jì)算距離時(shí)，可以計(jì)算三維坐標(biāo)A該點(diǎn)到C-0和C-1形成的直線的距離，以及三維坐標(biāo)A’該點(diǎn)到C-2和C-3形成的直線的距離。距離最短的三維坐標(biāo)即是選取出的三維坐標(biāo)，假設(shè)三維坐標(biāo)A’該點(diǎn)到C-2和C-3形成的直線的距離最短，則三維坐標(biāo)A’就是選取出的三維坐標(biāo)。通過該過程就可以得到目標(biāo)對(duì)象ObjectA的定位三維坐標(biāo)數(shù)據(jù)，實(shí)現(xiàn)了對(duì)目標(biāo)對(duì)象的準(zhǔn)確定位。

最后，將該選擇出的三維坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為在特定的特寫攝像機(jī)坐標(biāo)系下的坐標(biāo)，一般用Pan(云臺(tái)水平轉(zhuǎn)動(dòng)距離)、Tilt(云臺(tái)垂直轉(zhuǎn)動(dòng)距離)、Zoom(云臺(tái)放大倍數(shù))表示。然后通過“特寫攝像機(jī)控制模塊”將上面得到的Pan、Tilt、Zoom按照相機(jī)支持的協(xié)議對(duì)特寫攝像機(jī)進(jìn)行驅(qū)動(dòng)，實(shí)現(xiàn)跟蹤特寫。

在進(jìn)行跟蹤特寫時(shí)，前面所說的特定的特寫攝像機(jī)可以是PTZ-0、PTZ-1、PTZ-2中的任意一個(gè)或多個(gè)，在多個(gè)特寫攝像機(jī)時(shí)，即實(shí)現(xiàn)了對(duì)目標(biāo)對(duì)象的多角度跟蹤特寫。如果是一個(gè)特寫攝像機(jī)，則該特寫攝像機(jī)可以是離選取出的三維坐標(biāo)最近的特寫攝像機(jī)。

此外，在對(duì)目標(biāo)對(duì)象進(jìn)行定位時(shí)，需要判斷不同攝像機(jī)對(duì)檢測的目標(biāo)對(duì)象是不是同一個(gè)目標(biāo)對(duì)象，在本實(shí)施例中提供了一種算法簡單且準(zhǔn)確率高的識(shí)別策略。

若兩個(gè)目標(biāo)對(duì)象的運(yùn)動(dòng)數(shù)據(jù)相似，則認(rèn)為這兩個(gè)目標(biāo)對(duì)象是同一個(gè)目標(biāo)對(duì)象。

根據(jù)公式β＝(a·x+b·y+c·z)計(jì)算出相似值β，x、y、z分別是位移差、速度差和加速度差，a、b、c分別是位移差、速度差和加速度差的權(quán)重值。若該相似值在預(yù)設(shè)范圍內(nèi)，則認(rèn)為這兩個(gè)目標(biāo)對(duì)象是同一個(gè)目標(biāo)對(duì)象。同一個(gè)目標(biāo)對(duì)象被不同攝像機(jī)對(duì)檢測到，不同攝像機(jī)對(duì)所獲取到三維坐標(biāo)數(shù)據(jù)有差別，因此，需要選擇一個(gè)最合適的坐標(biāo)數(shù)據(jù)作為該目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)，也可以綜合這若干個(gè)不同的三維坐標(biāo)數(shù)據(jù)計(jì)算出一個(gè)合適的坐標(biāo)數(shù)據(jù)作為該目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

經(jīng)過識(shí)別之后，如果某個(gè)目標(biāo)對(duì)象僅被一對(duì)攝像機(jī)對(duì)檢測到，則該攝像機(jī)對(duì)獲取的三維坐標(biāo)數(shù)據(jù)即該目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)。

相較于先前技術(shù)，根據(jù)本發(fā)明提供的技術(shù)方案，基于目標(biāo)對(duì)象的多組三維坐標(biāo)數(shù)據(jù)獲取目標(biāo)對(duì)象的定位坐標(biāo)數(shù)據(jù)，因此可以通過不同攝像機(jī)位的互相驗(yàn)證，實(shí)現(xiàn)對(duì)物體的準(zhǔn)確定位，有效解決目標(biāo)遮擋問題，優(yōu)化了跟蹤特寫效果。

此外，在識(shí)別是否是同一目標(biāo)對(duì)象時(shí)，通過目標(biāo)對(duì)象的運(yùn)動(dòng)數(shù)據(jù)來判斷，避免了采用臉部識(shí)別或者顏色識(shí)別等帶來的誤差問題，提高了目標(biāo)對(duì)象識(shí)別的準(zhǔn)確性。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。