本發(fā)明涉及的是一種移動(dòng)目標(biāo)跟蹤裝置。本發(fā)明也涉及的是一種移動(dòng)目標(biāo)跟蹤方法。具體地說是一種智能監(jiān)控裝置及目標(biāo)跟蹤方法。

背景技術(shù)：

視頻監(jiān)控技術(shù)由攝像部分、圖像傳輸部分、系統(tǒng)控制部分和顯示記錄部分組成，應(yīng)用于社會(huì)的很多場所。其通過對攝像機(jī)采集到的圖像進(jìn)行特定的處理以發(fā)揮應(yīng)用價(jià)值。近幾年來，伴隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、存儲(chǔ)技術(shù)和芯片技術(shù)的進(jìn)步和迅速發(fā)展，尤其是流媒體服務(wù)技術(shù)在監(jiān)控系統(tǒng)中得應(yīng)用，使得有線和無線遠(yuǎn)程視頻技術(shù)取得了重要的突破，在社會(huì)的公共場所得到了廣泛的使用，為遏制犯罪、提供證據(jù)、保護(hù)人民財(cái)產(chǎn)等方面做出了突出的貢獻(xiàn)。

例如在住宅中，根據(jù)數(shù)字視頻監(jiān)控系統(tǒng)的設(shè)計(jì)標(biāo)準(zhǔn)和要求，對整個(gè)進(jìn)行安防布控，包括具體的監(jiān)控點(diǎn)位、傳輸模式、視頻圖像處理和云臺(tái)控制等問題；然后將該的多個(gè)數(shù)字監(jiān)控客戶端的視頻實(shí)時(shí)上傳至網(wǎng)絡(luò)服務(wù)器中，在服務(wù)器中進(jìn)行視頻后續(xù)智能方法處理，以實(shí)現(xiàn)一種智能視頻監(jiān)控系統(tǒng)。在眾多智能視頻與計(jì)算機(jī)視覺方法中，運(yùn)動(dòng)目標(biāo)跟蹤方法是關(guān)鍵一環(huán)，可以不斷獲取目標(biāo)的最新圖像，是其他各種視頻智能處理方法的前提，例如，目標(biāo)行為分析、行為識(shí)別等。

目前，運(yùn)動(dòng)目標(biāo)檢測與運(yùn)動(dòng)目標(biāo)跟蹤的算法有很多種，解決了一些監(jiān)控中的實(shí)際問題，例如核相關(guān)濾波目標(biāo)跟蹤算法。核相關(guān)濾波目標(biāo)跟蹤算法是對csk跟蹤算法的完善。csk算法本身就已經(jīng)采用了循環(huán)矩陣的性質(zhì)來簡化計(jì)算，采用稠密采樣的采樣方式進(jìn)行采樣，雖然其采集到了目標(biāo)的一切數(shù)據(jù)，但是這些都是利用了其灰度特征，其對目標(biāo)的表達(dá)能力是不夠的。核相關(guān)濾波目標(biāo)跟蹤算法的一個(gè)重要改變就是使用多通道hog(histogramoforientedgradient)特征對目標(biāo)進(jìn)行描述核相關(guān)濾波算法目標(biāo)跟蹤算法使用核函數(shù)方法對特征進(jìn)行融合，因而獲得的分類器能夠具有表達(dá)目標(biāo)的優(yōu)秀能力。對于多數(shù)算法來說，使用二進(jìn)制來表示不同樣本的處理方式，即利用1和0分別表示正負(fù)樣本。這種處理方法無法有效的表示不同樣本的重要性，也就是說對于和目標(biāo)遠(yuǎn)近不同時(shí)應(yīng)該區(qū)別對待。核相關(guān)濾波目標(biāo)跟蹤算法通過使用[0,1]區(qū)間的數(shù)值作為樣本回歸值，其值越大就表示越靠近目標(biāo)，反之表示越遠(yuǎn)離目標(biāo)，從而使不同偏移下得到的樣本有不同的權(quán)重，結(jié)果表明此種表達(dá)方式可以獲得更優(yōu)秀的效果。核相關(guān)濾波目標(biāo)跟蹤算法在應(yīng)對各種不利因素，例如有非剛性形變、雜亂背景以及光照改變情況表現(xiàn)較為不錯(cuò)，然而對于存在較大遮擋與模型快速變化等問題表現(xiàn)不夠好。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種能夠?qū)崿F(xiàn)復(fù)雜場景下目標(biāo)的智能監(jiān)控與跟蹤，有更好的適應(yīng)性、穩(wěn)定性和跟蹤效果的智能監(jiān)控裝置。本發(fā)明的目的還在于提供一種基于智能監(jiān)控裝置的目標(biāo)跟蹤方法。

本發(fā)明的智能監(jiān)控裝置包括云臺(tái)運(yùn)動(dòng)單元、視頻采集單元、視頻流控制單元和服務(wù)器單元；云臺(tái)運(yùn)動(dòng)單元為一個(gè)六自由度云臺(tái)；視頻采集單元為攝像頭，固定在云臺(tái)上并與嵌入式圖像處理平臺(tái)相連、用于進(jìn)行視頻采集；視頻流控制單元為一個(gè)嵌入式圖像處理平臺(tái)，一端與攝像頭相連用于傳輸視頻圖像，另一端與云臺(tái)相連接收服務(wù)器單元的控制命令，控制云臺(tái)的動(dòng)作；服務(wù)器單元用于接收圖像，運(yùn)行自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法，向嵌入式圖像處理平臺(tái)發(fā)布云臺(tái)的控制指令。

基于本發(fā)明的智能監(jiān)控裝置的目標(biāo)跟蹤方法為：

(1)獲得一幀視頻圖像，判斷是否是第一幀圖像，如果是第一幀圖像，訓(xùn)練分類器，并更新分類器，返回并繼續(xù)獲取視頻圖像；如果不是第一幀圖像，就通過更新后的最新的分類器確定圖像中目標(biāo)的位置，繼續(xù)步驟(2)；

(2)判斷濾波器響應(yīng)的最大值與更新閾值θ的大小，如果濾波器響應(yīng)的最大值大于閾值θ，則進(jìn)行步驟(3)，否則進(jìn)行步驟(5)；

(3)檢測目標(biāo)遮擋和模型變化情況；

(4)根據(jù)目標(biāo)遮擋和模型變化情況，調(diào)整學(xué)習(xí)速率，結(jié)合之前所有幀的情況而形成新的分類器更新公式，進(jìn)行分類器的更新，并且更新haar特征，返回步驟(1)；

(5)濾波器響應(yīng)的最大值小于閾值θ，則利用surf算法中的haar特征匹配方法進(jìn)行目標(biāo)位置修正，如果匹配到目標(biāo)，則利用當(dāng)前匹配到的目標(biāo)位置，作為當(dāng)前幀的目標(biāo)位置，返回步驟(1)，如果匹配不成功，則繼續(xù)進(jìn)行目標(biāo)特征匹配，直到匹配到目標(biāo)。

1、對目標(biāo)遮擋情況進(jìn)行判斷的方法為，

核相關(guān)濾波器的響應(yīng)核相關(guān)濾波器響應(yīng)的最大值為樣本寬和高分別為d和l，由遮擋檢測算法，設(shè)每幀圖像匹配的處的位置為mmax，設(shè)遮擋閾值λ1、0<λ1<1，面積因子λ2、0<λ2<1，mmax周圍大于的所有點(diǎn)位置mi，求取mi所有點(diǎn)到mmax的歐式距離disi＝||mmax-mi||，當(dāng)大于λ2·d·l時(shí)判斷為遮擋，否則，為未遮擋。

實(shí)驗(yàn)中取λ1為0.8，λ2為0.3。

2、對目標(biāo)模型變化情況的判斷方法為，

其中，對于每一幀中目標(biāo)外觀模型的樣本寬和高分別為d和l的圖像塊，m表示圖像塊內(nèi)像素點(diǎn)的個(gè)數(shù)，xij表示每一個(gè)像素點(diǎn)的灰度值，其中0≤i≤d-1，0≤j≤l-1，p代表第p幀圖像，r代表相鄰兩幀圖片間的差值、能反映圖片的目標(biāo)表觀模型的變化情況、其值越大代表模型變化大、對應(yīng)更高的學(xué)習(xí)速率才能取得更好的跟蹤效果，反之r值小對應(yīng)于更小的η值。

r實(shí)際取值在0到255之間。

3、模型更新公式中學(xué)習(xí)速率的動(dòng)態(tài)改變的方法為：

用q表示學(xué)習(xí)速率η的影響因子，即q越大，越應(yīng)調(diào)整學(xué)習(xí)速率為更大值，令η＝q，q由下式表示，

其中，

本發(fā)明提供了一種用于智能監(jiān)控的裝置，本發(fā)明還提供了一種用于智能監(jiān)控的自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法，該方法使得核相關(guān)濾波目標(biāo)跟蹤方法遇到目標(biāo)遮擋和模型變化時(shí)，根據(jù)情況動(dòng)態(tài)更新學(xué)習(xí)速率，有效的改善了核相關(guān)濾波目標(biāo)跟蹤方法在遇到目標(biāo)遮擋和模型變化時(shí)跟蹤效果不佳的缺陷，實(shí)現(xiàn)了更好的目標(biāo)跟蹤。

本發(fā)明具有以下有益效果：

1、利用本發(fā)明，可以實(shí)現(xiàn)復(fù)雜場景下目標(biāo)的智能監(jiān)控與跟蹤。

2、利用本發(fā)明的改進(jìn)的自適應(yīng)更新的核相關(guān)濾波方法，可以對遮擋以及模型變化較快的情況有更好的適應(yīng)性，對長時(shí)間跟蹤的情況穩(wěn)定性更好，因而可以使跟蹤效果得到有效提高。

附圖說明

圖1監(jiān)控裝置系統(tǒng)框圖。

圖2算法處理流程圖。

圖3視頻視野區(qū)域圖。

圖4(a)-圖4(f)原算法跟蹤效果圖。

圖5(a)-圖5(f)改進(jìn)后的算法的跟蹤效果圖。

具體實(shí)施方式

下面舉例對本發(fā)明做更詳細(xì)的描述。

結(jié)合圖1，本發(fā)明的智能監(jiān)控裝置的實(shí)現(xiàn)為：

步驟1：攝像頭采集圖像，并將采集到的圖像傳輸?shù)角度胧綀D像處理平臺(tái)。

所述的攝像頭采集圖像的功能是基于v4l2框架實(shí)現(xiàn)的，共分為4個(gè)步驟：

1)usb攝像頭的參數(shù)初始化；

2)向驅(qū)動(dòng)申請幀緩沖空間并映射到用戶控件；

3)捕獲并簡單處理視頻；

4)關(guān)閉usb攝像頭設(shè)備。

步驟2：嵌入式圖像處理平臺(tái)將圖像傳輸?shù)椒?wù)器端。

所述的圖像傳輸過程為：

1)基于ffmpeg的h.264軟件編解碼

ffmpeg是一套可用于錄制、處理數(shù)字音視頻，并可以將其轉(zhuǎn)化為流的解決方案，選用ffmpeg庫實(shí)現(xiàn)視頻編解碼與轉(zhuǎn)碼功能。對于開發(fā)者來說，這種方法簡潔明了，利用第三方庫ffmpeg能夠更好完成跨平臺(tái)的程序開發(fā)，且移植和升級更加方便。在本發(fā)明中就是利用ffmpeg庫，將每幀視頻數(shù)據(jù)壓縮為h.264格式。

2)基于jrtplib庫的視頻傳輸

編碼為h.264格式的信息通過rtp協(xié)議發(fā)送，jrtplib庫為用戶提供了良好的rtp協(xié)議支持。rtp是與udp一起來完成工作的，在利用了tcp/ip的基礎(chǔ)上來進(jìn)行視音頻處理，rtcp協(xié)議是用于實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)傳輸質(zhì)量和擁塞控制。本發(fā)明將采集到的h.264原始碼流按照rtp協(xié)議的要求封裝成包，再通過jrtplib庫提供的api函數(shù)將rtp包傳輸給服務(wù)器。

步驟3：服務(wù)器端通過jrtplib庫提供的api函數(shù)接收嵌入式圖像處理平臺(tái)的視頻流信息，在通過ffmpeg庫進(jìn)行視頻流解壓，然后運(yùn)行自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法，并將相關(guān)信息傳回嵌入式圖像處理平臺(tái)。

步驟4：嵌入式圖像處理平臺(tái)根據(jù)服務(wù)器端傳回的信息，指導(dǎo)云臺(tái)進(jìn)行相應(yīng)的動(dòng)作。

同時(shí)結(jié)合圖2，本發(fā)明的自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法，實(shí)現(xiàn)步驟如下：

1、獲得一幀視頻圖像，判斷是否是第一幀圖像，如果是第一幀圖像，訓(xùn)練分類器，并更新分類器，返回并繼續(xù)獲取視頻圖像。如果不是第一幀圖像，就通過更新后的最新的分類器確定圖像中目標(biāo)的位置，繼續(xù)步驟(2)。

2、判斷濾波器響應(yīng)的最大值與更新閾值θ的大小，如果濾波器響應(yīng)的最大值大于閾值θ，則進(jìn)行步驟3，否則進(jìn)行步驟5。

所述核相關(guān)濾波器響應(yīng)的最大值為為核相關(guān)濾波器的響應(yīng)。

3、檢測目標(biāo)遮擋和模型變化情況。

所述檢測目標(biāo)遮擋情況的判斷方法為：

核相關(guān)濾波器的響應(yīng)核相關(guān)濾波器響應(yīng)的最大值為樣本寬和高分別為d和l，由遮擋檢測算法，設(shè)每幀圖像匹配的處的位置為mmax，設(shè)遮擋閾值λ1(0＜λ1＜1)，面積因子λ2(0＜λ2＜1)，mmax周圍大于的所有點(diǎn)位置mi，求取所有mi點(diǎn)到mmax的歐式距離disi＝||mmax-mi||，當(dāng)大于λ2·d·l時(shí)判斷為遮擋，否則，為未遮擋。實(shí)驗(yàn)中取λ1為0.8，λ2為0.3，為第t幀變換系數(shù)。設(shè)j為，

所述檢測目標(biāo)模型變化情況的方法為：

r表示相鄰兩幀圖片目標(biāo)表觀模型的改變情況，其中，對于每一幀中目標(biāo)外觀模型的樣本寬和高分別為d和l的圖像塊來說，m表示圖像塊內(nèi)像素點(diǎn)的個(gè)數(shù)，xij來表示每一個(gè)像素點(diǎn)的灰度值，其中0≤i≤d-1，0≤j≤l-1，p代表第p幀圖像的像素，r實(shí)際取值在0到255之間。

r代表相鄰兩幀圖片間的差值，更能反映圖片的目標(biāo)表觀模型的變化情況，其值越大代表模型變化越大。

4、根據(jù)目標(biāo)遮擋和模型變化情況，調(diào)整學(xué)習(xí)速率，結(jié)合之前所有幀的情況而形成新的分類器更新公式，進(jìn)行分類器的更新，并且更新haar特征，返回步驟1。

所述的學(xué)習(xí)速率調(diào)整的具體方法為：

r代表相鄰兩幀圖片間的差值，更能反映圖片的目標(biāo)表觀模型的變化情況，其值越大代表模型變化越大，對應(yīng)更高的學(xué)習(xí)速率，才能取得更好的跟蹤效果，反之，r值小對應(yīng)于更小的η值。

學(xué)習(xí)速率η表明了目標(biāo)外觀對當(dāng)前幀的學(xué)習(xí)能力，η越大說明學(xué)習(xí)能力越強(qiáng)，對于目標(biāo)模型變化較大的情況，例如非剛體的大幅度的形變、姿態(tài)變化與平面物體的旋轉(zhuǎn)等情況，有更好的跟蹤效果，而對于目標(biāo)外觀模型變化較小，如快速的目標(biāo)變化，光照變化、攝像機(jī)視角變化及遮擋等周圍環(huán)境引起的變化的情況，η越小時(shí)，跟蹤效果越好。

本發(fā)明用q表示學(xué)習(xí)速率η的影響因子，即q越大，越應(yīng)調(diào)整學(xué)習(xí)速率為更大值。即令η＝q，q由下式表示，

所述的分類器更新的具體方法為：

在原核相關(guān)濾波目標(biāo)跟蹤方法里，目標(biāo)模型由變換后分類器參數(shù)與目標(biāo)外觀模型x兩部分組成。模型更新中是利用如下(4)(5)公式，

其中，η是學(xué)習(xí)速率，一般情況選值0.02，和分別是第t-1幀和第t幀更新過的變換系數(shù)，而和則分別為第t-1幀與第t幀更新過后的目標(biāo)外觀模型，xt代表第t幀模型，代表第t幀變換系數(shù)。

在原核相關(guān)濾波目標(biāo)跟蹤方法中跟蹤器在目標(biāo)模型與變換系數(shù)的學(xué)習(xí)更新中只考慮了當(dāng)前幀中目標(biāo)，并沒有考慮到之前幀，使得更新的有效性大大降低。

參考mosse跟蹤器考慮之前幀所有幀的更新方式，對模型進(jìn)行更新。從第一幀到第t幀的目標(biāo)模型設(shè)作{x^j:j＝1,...,t}，則自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法需要求解的公式修改為

依照上式可得第t幀變換系數(shù)

其中，元素為κ(,)為原算法中核函數(shù)，yi為xi對應(yīng)的回歸值。

設(shè)θ為更新閾值，當(dāng)濾波器響應(yīng)的最大值大于閾值，即時(shí)，則目標(biāo)模型的更新仍利用式(4)(5)，而此時(shí)的變換系數(shù)的分母與分子就分別采用下式(8)(9)來更新。

5、濾波器響應(yīng)的最大值小于閾值θ，則利用surf算法的haar特征匹配方法進(jìn)行目標(biāo)位置修正，如果匹配到目標(biāo)，則利用當(dāng)前匹配到的目標(biāo)位置，作為當(dāng)前幀的目標(biāo)位置，返回步驟1，如果匹配不成功，則繼續(xù)進(jìn)行目標(biāo)特征匹配，直到匹配成功。

所述的利用surf算法的haar特征匹配方法進(jìn)行目標(biāo)位置修正方法的實(shí)現(xiàn)步驟為：

(1)如圖3所示，當(dāng)目標(biāo)所在區(qū)域完全處于視頻顯示區(qū)域中，即橫縱坐標(biāo)都在顯示區(qū)域的坐標(biāo)范圍內(nèi)時(shí)，根據(jù)閾值檢測響應(yīng)最大值與θ進(jìn)行比較，當(dāng)大于θ時(shí)，運(yùn)用原有更新公式(8)(9)進(jìn)行更新，并且此時(shí)更新haar特征值，而當(dāng)小于θ時(shí)，利用haar特征匹配進(jìn)行重定位，將定位后的目標(biāo)位置，作為最新目標(biāo)出現(xiàn)位置來繼續(xù)跟蹤以及更新分類器模板；

(2)當(dāng)目標(biāo)中心坐標(biāo)有超出顯示區(qū)域范圍時(shí)，停止分類器模型的更新，利用surf算法匹配尋找目標(biāo)出現(xiàn)位置，由于surf特征匹配不能完全達(dá)到實(shí)時(shí)處理，所以需要等一幀圖像匹配完后，再去取下一幀，經(jīng)過測試，即每隔三四幀即取一幀來進(jìn)行匹配，可以達(dá)到預(yù)期效果。當(dāng)利用haar特征匹配目標(biāo)位置后，重新進(jìn)行分類器更新，此時(shí)haar特征匹配的目標(biāo)位置作為最新幀的目標(biāo)所在位置的坐標(biāo)。

自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法有效的改善了原核相關(guān)濾波目標(biāo)跟蹤方法在遇到目標(biāo)遮擋和外觀模型變化時(shí)的跟蹤效果不佳的缺陷，同時(shí)自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法也較好的實(shí)現(xiàn)了長時(shí)間跟蹤。如圖4(a)-圖4(f)所示，圖4(a)、圖4(b)、圖4(c)表示原核相關(guān)濾波目標(biāo)跟蹤方法在遇到遮擋時(shí)的跟蹤效果，圖4(c)很明顯的表明，目標(biāo)在遇到遮擋時(shí)，跟蹤效果不佳，跟蹤目標(biāo)丟失。圖4(d)、圖4(e)、圖4(f)表示原核相關(guān)濾波目標(biāo)跟蹤方法在遇到外觀模型變化時(shí)的跟蹤效果，圖4(e)和(f)表示目標(biāo)在發(fā)生外觀模型的較大變化時(shí)，跟蹤效果不佳。如組圖5(a)-圖5(f)所示，圖5(a)、圖5(b)、圖5(c)表示自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法在遇到遮擋時(shí)的跟蹤效果，圖5(c)表明，目標(biāo)在遇到遮擋時(shí)，跟蹤效果良好，可以準(zhǔn)確的跟上目標(biāo)。相比于組圖4(c)來說，跟蹤目標(biāo)的能力有了很大的提高。圖5(d)、圖5(e)、圖5(f)表示自適應(yīng)更新學(xué)習(xí)速率核相關(guān)濾波目標(biāo)跟蹤方法在膜表模型變化時(shí)的跟蹤效果，由圖5(e)、圖5(f)可以看出，改進(jìn)后的目標(biāo)跟蹤方法在遇到外觀模型變化時(shí)的跟蹤效果良好，可以較為準(zhǔn)確的跟蹤上目標(biāo)，相對于圖4(e)、圖4(f)來說，改進(jìn)后的跟蹤方法跟蹤能力明顯得到了提高。因此，由上圖的比較可以看出，改進(jìn)后的目標(biāo)跟蹤方法的跟蹤效果明顯優(yōu)于原目標(biāo)跟蹤方法。