基于聯(lián)合推理的視頻多目標跟蹤方法
【專利摘要】一種視頻處理【技術(shù)領(lǐng)域】的基于聯(lián)合推理的視頻多目標跟蹤方法，通過首先讀入視頻文件的一幀圖像并對其進行圖像柵格化處理，然后采用在線檢測器以及作為跟蹤器的KLT跟蹤算法標定目標的候選位置，分別篩選后綜合結(jié)果，其次將得出的候選位置結(jié)果進行量化評分，最后利用聯(lián)合函數(shù)來描述目標跟蹤情況并將基于聯(lián)合函數(shù)的最優(yōu)解作為目標在這一幀的位置，即實現(xiàn)目標跟蹤。本發(fā)明能夠解決多目標跟蹤下跟蹤技術(shù)中對于檢測跟蹤算法結(jié)合的處理方法以及多目標相互關(guān)系的處理，利用聯(lián)合函數(shù)來描述多目標之間關(guān)系，不僅解決了檢測與跟蹤的結(jié)果融合問題，同時也從全局考慮，綜合了每個目標之間的關(guān)系，得出了全局最優(yōu)解。
【專利說明】基于聯(lián)合推理的視頻多目標跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是一種視頻處理【技術(shù)領(lǐng)域】的方法，具體是一種基于聯(lián)合推理的視頻多目標跟蹤方法。
【背景技術(shù)】
[0002]隨著攝像頭設(shè)備的發(fā)展和普及，視頻跟蹤在生產(chǎn)和生活中占有了越來越重要的地位。特別是在視頻監(jiān)控系統(tǒng)中，跟蹤算法可以有效的降低人工成本，節(jié)約時間。然而由于跟蹤技術(shù)本身的不完善以及復(fù)雜多變的跟蹤環(huán)境，影響了跟蹤結(jié)果的準確性，使跟蹤算法的應(yīng)用受到了限制。
[0003]視頻中的目標跟蹤是非常有挑戰(zhàn)性的課題，因為跟蹤過程中有很多的不確定因素，比如:復(fù)雜的背景，若背景與被跟蹤目標相似，會干擾跟蹤算法對目標位置的判斷；明顯的物體遮擋、目標外形的快速變化，這些都會導(dǎo)致目標在畫面中的外觀有明顯的變化，導(dǎo)致算法丟失被跟蹤目標。對于多目標跟蹤而言，除了上述的問題，各個目標之間的相似性、相互作用和相互遮擋都會給正確跟蹤帶來難度。
[0004]針對這些問題一般的處理方法往往是采用檢測算法與跟蹤算法相結(jié)合的方法，也就是利用檢測算法來提高最終跟蹤的效果。然而，在檢測算法的正確性難以保證的前提下，是否能提高跟蹤率仍是個問題。
[0005]經(jīng)過現(xiàn)有技術(shù)的文獻檢索發(fā)現(xiàn)，很多學(xué)者利用自適應(yīng)學(xué)習(xí)的方法來確保檢測器的正確性，從而處理檢測結(jié)果與跟蹤結(jié)果互相協(xié)調(diào)的問題，比如Zdenek等在《IEEETransaction on Pattern Analysis and Machine Intelligence)) (2012 年第 34 期第1409-1422頁)上發(fā)表的“Tracking-Learning-Detection”,該文利用了 “跟蹤-學(xué)習(xí)-檢測(TLD)”的框架結(jié)構(gòu)，利用跟蹤與檢測相結(jié)合的方法處理跟蹤問題。具體的說，首先，輸入一幀圖像，圖像柵格化后，得到大量的圖像區(qū)塊；然后，跟蹤器篩選出符合要求的圖像區(qū)塊，檢測器也標定所有在外觀上可能成為目標的圖像區(qū)塊；最后，采用跟蹤環(huán)節(jié)和檢測環(huán)節(jié)相結(jié)合的方法，當跟蹤器失敗時可以利用檢測器的結(jié)果重新初始化跟蹤器，同時利用跟蹤結(jié)果擴充訓(xùn)練樣本集在線訓(xùn)練檢測器，提高檢測器的精度。從該技術(shù)公開的實驗結(jié)果可見，TLD在長時間跟蹤上有很好的效果。不過該方法仍然存在很多限制:1)只適用于單目標跟蹤2)如果目標的外觀發(fā)生了較大的變化，或者發(fā)生了完全遮擋，該方法效果不好，這是因為在這種情況下在線檢測器不能正確給出目標的可能位置。
[0006]中國專利文獻號CN103176185A申請公布日:2013.06.26，公開了 一種用于檢測道路障礙物的方法及系統(tǒng)，該技術(shù)基于視頻攝像裝置的第一障礙物檢測模型，基于視頻攝像裝置和毫米波雷達的第二障礙物檢測模型，基于三維激光雷達和紅外線攝像裝置的第三障礙物檢測模型，并且通過基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法使得所述多個模型形成互補檢測，從而實時獲取道路障礙物的特征信息。但該技術(shù)設(shè)備成本高，也不能對障礙物做有效跟蹤從而結(jié)合歷史信息做出跟準確的檢測結(jié)果。
[0007]
【發(fā)明內(nèi)容】

[0008]本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于聯(lián)合推理的視頻多目標跟蹤方法，能夠解決多目標跟蹤下跟蹤技術(shù)中對于檢測跟蹤算法結(jié)合的處理方法以及多目標相互關(guān)系的處理，利用聯(lián)合函數(shù)來描述多目標之間關(guān)系，不僅解決了檢測與跟蹤的結(jié)果融合問題，同時也從全局考慮，綜合了每個目標之間的關(guān)系，得出了全局最優(yōu)解。
[0009]本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明通過首先讀入視頻文件的一幀圖像并對其進行圖像柵格化處理，然后采用在線檢測器以及作為跟蹤器的KLT跟蹤算法標定目標的候選位置，分別篩選后綜合結(jié)果，其次將得出的候選位置結(jié)果進行量化評分，最后利用聯(lián)合函數(shù)來描述目標跟蹤情況并將基于聯(lián)合函數(shù)的最優(yōu)解作為目標在這一幀的位置，即實現(xiàn)目標跟蹤。
[0010]當所述的圖像為視頻文件的第一幀，則在圖像柵格化處理前先進行初始化操作，具體為:手動輸入需要跟蹤的目標個數(shù)，然后手動框出目標。
[0011]所述的初始化操作是指:初始化檢測器與跟蹤器,通過random fern在線學(xué)習(xí)的方法更新檢測器，同時基于KLT算法的跟蹤器也會在目標范圍內(nèi)選出特征點，用于下一幀的目標跟蹤。
[0012]所述的圖像柵格化處理，是指:用大小不一的滑動窗口掃描整幀圖像得到不同位置大小不同的圖像塊，用來作為候選目標，具體為:首先根據(jù)初始化目標的大小，等比得出一系列不同尺度大小的滑動窗口，尺度變換的比例范圍是1.2,?1.210 ;每個滑動窗口依次按照從左到右從上到下的順序遍歷整幅圖像，滑動窗口位移大小為窗口大小的0.1。這樣，就可以得到很多不同位置大小不同的圖像塊。
[0013]所述的候選位置通過以下方式得到:
[0014]首先，計算圖像塊密度方差，當圖像塊密度方差過小，則被排除，被跟蹤目標模板圖像在第一幀初始化時取得，圖像塊方具體差計算公式為其中:Pi指的是第i幅圖像塊的灰度圖像，E O指的是求平均函數(shù)，當Cif > I.4，則第i幅圖像塊就被保留，其中:1為固定參數(shù)，Cfg表示模板圖像的方差。
[0015]然后，對輸入圖像區(qū)塊提取二值特征，利用random fern算法在線訓(xùn)練得到的分類器估計每一個通過密度方差判斷的圖像塊與被檢測目標的相似度，相似度判斷公式為:
P(cjx)=其中:Cl表示訓(xùn)練類別，這里訓(xùn)練時只有兩種類別，與被檢測目標
相似用C1表示，與被檢測目標不相似，用Ctl表示A (C11 x)表示第i顆fern得到的后驗概率。
[0016]最后，將所有ferns得到的后驗概率進行平均，得到最終的后驗概率值，當相似度P (C11 x) >50%，則輸入圖像塊與被檢測目標相似，保留該圖像塊。
[0017]所述的標定是指:在圖像的第一幀時做KLT算法初始化處理，不做跟蹤，之后每一幀都從上一幀目標位置中利用KLT算法選取被跟蹤目標特征，在當前幀中找到與之相對應(yīng)的特征區(qū)域；然后跟蹤器根據(jù)圖像塊的每個圖像塊內(nèi)部的特征點個數(shù)來決定是否保留，若一個圖像塊區(qū)域內(nèi)的特征點個數(shù)超過了一定的經(jīng)驗閾值，那么該圖像塊就被判定為候選狀態(tài)而被保留。
[0018]所述的量化評分是指:提取候選圖像塊的Haar特征，通過級聯(lián)Adaboost分類器評價候選位置的真實性，進行量化的評價
【權(quán)利要求】
1.一種基于聯(lián)合推理的視頻多目標跟蹤方法，其特征在于，通過首先讀入視頻文件的一幀圖像并對其進行圖像柵格化處理，然后采用在線檢測器以及作為跟蹤器的KLT跟蹤算法標定目標的候選位置，分別篩選后綜合結(jié)果，其次將得出的候選位置結(jié)果進行量化評分，最后利用聯(lián)合函數(shù)來描述目標跟蹤情況并將基于聯(lián)合函數(shù)的最優(yōu)解作為目標在這一幀的位置，即實現(xiàn)目標跟蹤。
2.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的初始化操作是指:初始化檢測器與跟蹤器，通過random fern在線學(xué)習(xí)的方法更新檢測器，同時基于KLT算法的跟蹤器也會在目標范圍內(nèi)選出特征點，用于下一幀的目標跟蹤。
3.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的圖像柵格化處理，是指:用大小不一的滑動窗口掃描整幀圖像得到不同位置大小不同的圖像塊，用來作為候選目標，具體為:首先根據(jù)初始化目標的大小，等比得出一系列不同尺度大小的滑動窗口，尺度變換的比例范圍是1.2,~1.210 ;每個滑動窗口依次按照從左到右從上到下的順序遍歷整幅圖像，滑動窗口位移大小為窗口大小的0.1，即得到很多不同位置大小不同的圖像塊。
4.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的候選位置通過以下方式得到: 首先，計算圖像塊密度方差，當圖像塊密度方差過小，則被排除，被跟蹤目標模板圖像在第一幀初始化時取得，圖像塊方具體差計算公式為:《 = ￡.(?#卜護(P,.)，其中鞏指的是第i幅圖像塊的灰度圖像，EO指的是求平均函數(shù)，當>!._，則第i幅圖像塊就被保留，其中:1為固定參數(shù)，4表示模板圖像的方差；然后，對輸入圖像區(qū)塊提取二值特征，利用random fern算法在線訓(xùn)練得到的分類器估計每一個通過密度方差判斷的圖像塊與被檢測目標的相似度，相似度判斷公式為:Pc11 x) = -ELi Pd_)，其中=C1表示訓(xùn)練類別，這里訓(xùn)練時只有兩種類別，與被檢測目標相`似用C1表示，與被檢測目標不相似，用Ctl表示A (C11 x)表示第i顆fern得到的后驗概率；最后，將所有ferns得到的后驗概率進行平均，得到最終的后驗概率值，當相似度P (C11 X) >50%，則輸入圖像塊與被檢測目標相似，保留該圖像塊。
5.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的標定是指:在圖像的第一幀時做KLT算法初始化處理，不做跟蹤，之后每一幀都從上一幀目標位置中利用KLT算法選取被跟蹤目標特征，在當前幀中找到與之相對應(yīng)的特征區(qū)域；然后跟蹤器根據(jù)圖像塊的每個圖像塊內(nèi)部的特征點個數(shù)來決定是否保留，若一個圖像塊區(qū)域內(nèi)的特征點個數(shù)超過了一定的經(jīng)驗閾值，那么該圖像塊就被判定為候選狀態(tài)而被保留。
6.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的量化評分是指:提取候選圖像塊的Haar特征，通過級聯(lián)Adaboost分類器評價候選位置的真實性，進行量化的評價:Φ0 = M4 + Fi(XlL4),其中:的意思是被檢測目標停在了級聯(lián)Adaboost分類器的第層，?)即代表了被檢測矩形框4的量化評分；Pi (4.?) = SewwWWxh其中:代表了級聯(lián)分類器中的一個弱分類器，s(L)代表了第L層的一系列弱分類器；當函數(shù)Fi大于某個經(jīng)驗閾值，那么<就可以通過這一層，反之則不能通過；所述的弱分類器權(quán)重Wu是通過AdaBoost的學(xué)習(xí)方法學(xué)習(xí)得出的。
7.根據(jù)權(quán)利要求1所述的方法，其特征是，所述的聯(lián)合函數(shù)由各目標之間的空間位置關(guān)系以及各目標候選位置的評分組成，通過構(gòu)建該聯(lián)合函數(shù)模型，求函數(shù)的最優(yōu)解，就能得出最佳的候選位置作為跟蹤的結(jié)果。
8.根據(jù)權(quán)利要求7所述的方法，其特征是，所述的空間位置關(guān)系是指，在多目標的情況下，上一幀目標之間的相互位置也可以作為參考幫助提高本幀的跟蹤結(jié)果，因此在t時刻，第i個目標與第N個目標之間的位置關(guān)系概率
9.根據(jù)權(quán)利要求7所述的方法，其特征是，所述的聯(lián)合函數(shù)模型是指，所有目標的聯(lián)合概率，
10.根據(jù)權(quán)利要求7所述的方法，其特征是，所述的最優(yōu)解利用標準置信傳播算法來有效解決多目標跟蹤問題，把各目標之間的關(guān)系用樹結(jié)構(gòu)來描述；當被跟蹤目標為馬爾科夫隨機場中的節(jié)點，則隨機選定一個目標為根節(jié)點，其余均為子節(jié)點，向根節(jié)點傳遞信息，把最后一個目標定義為根節(jié)點，其他的作為樹結(jié)構(gòu)中的子節(jié)點；這樣構(gòu)造子節(jié)點向根節(jié)點傳遞信息的信息傳遞函數(shù):
【文檔編號】G06T7/20GK103699908SQ201410016404
【公開日】2014年4月2日 申請日期:2014年1月14日 優(yōu)先權(quán)日:2014年1月14日
【發(fā)明者】張辰元, 蔡嶺, 張穎華, 趙宇明, 胡福喬 申請人:上海交通大學(xué)