本發(fā)明屬于計算機(jī)視覺領(lǐng)域,具體涉及一種多特征融合目標(biāo)跟蹤方法及基于信息熵的權(quán)值自適應(yīng)方法,可用于復(fù)雜情況干擾下目標(biāo)的連續(xù)穩(wěn)定跟蹤。
背景技術(shù):
目標(biāo)跟蹤是軍用探測系統(tǒng)和民用監(jiān)控系統(tǒng)的重要任務(wù)之一。目標(biāo)跟蹤,指的是在視頻序列中確定感興趣的運動目標(biāo)的大小,位置和運動軌跡,從而為更高層的處理和分析奠定基礎(chǔ)。然而,目前研究跟蹤方法的仍存在很多難點,主要包含有四大類:(1)復(fù)雜的環(huán)境背景:在惡劣的雨、雪、霧、霾等天氣條件下,圖像因復(fù)雜背景帶來視覺效果的模糊,使得目標(biāo)特征難以通過傳統(tǒng)的基于特征的跟蹤方法進(jìn)行提取。另外,傳感器噪聲、以及相機(jī)抖動等干擾,給圖像處理及目標(biāo)跟蹤帶來困難。(2)復(fù)雜跟蹤場景干擾:真實的目標(biāo)場景復(fù)雜多變,對運動目標(biāo)檢測跟蹤造成各種各樣的干擾,從而影響人們對事物的判斷。如:不斷變化的光照條件,與目標(biāo)相似物體的干擾,目標(biāo)被部分或嚴(yán)重遮擋等情況。(3)目標(biāo)運動形式多變:目標(biāo)運動中發(fā)生形狀,尺度,旋轉(zhuǎn),以及運動模糊等變化,導(dǎo)致目標(biāo)的外觀發(fā)生大幅度的變化,這對于目標(biāo)檢測跟蹤提出了很高的要求。(4)實時性要求:智能視頻監(jiān)控最重要的需求之一就是實時性。然而,提高檢測跟蹤方法的實時性,自然會影響到方法的計算量,從而影響方法跟蹤結(jié)果的準(zhǔn)確性。因此,方法需要考慮如何適應(yīng)場景的變化和干擾,準(zhǔn)確地描述目標(biāo)的特征,更好地兼顧方法的準(zhǔn)確性和實時性,保證不會出現(xiàn)錯誤跟蹤或跟蹤目標(biāo)丟失等情況。
目前用于運動目標(biāo)的跟蹤方法主要分為四大類:基于特征點的跟蹤、基于區(qū)域的跟蹤、基于光流的跟蹤、基于活動輪廓的跟蹤?;谔卣鼽c的跟蹤方法通常指的是通過跟蹤在目標(biāo)上具有多個方向的一組奇點信息來實現(xiàn)目標(biāo)跟蹤,并且可以精確地將特征點的信息應(yīng)用于匹配減輕。該方法可以很好地解決部分遮擋問題,但要保證能夠準(zhǔn)確地提取和保存特征點信息?;趨^(qū)域的跟蹤方法主要通過創(chuàng)建用來表征運動目標(biāo)特征的模板,并與目標(biāo)進(jìn)行匹配,從而確定目標(biāo)的位置。方法適用于形變較小,且無遮擋的目標(biāo),跟蹤準(zhǔn)確且穩(wěn)定。但缺點是方法計算量較大?;诠饬鞯母櫡椒?,充分利用視頻序列在前景的運動特性來實現(xiàn)目標(biāo)跟蹤。光流法分為全局光流法和特征點光流法。全局光流法在復(fù)雜背景中的跟蹤效果較好,但是計算量相對較大。特征點光流法速度較快,但效果一般。基于活動輪廓的跟蹤方法結(jié)合圖像特征和閉合曲線輪廓來構(gòu)造能量函數(shù),通過求解最小化的能量來跟蹤目標(biāo)。方法考慮目標(biāo)整體輪廓的幾何信息,因而可靠性較高。但是方法的計算量相對較大,對于快速移動或形變較大的目標(biāo)的跟蹤效果不是十分理想。
考慮到單一的特征提取方法不能足夠準(zhǔn)確地描述目標(biāo),并且隨后的軌跡評估也缺乏魯棒性。許多學(xué)者通過結(jié)合多個特性和自適應(yīng)融合方法,來實現(xiàn)更加穩(wěn)定的跟蹤。然而,大多數(shù)的目標(biāo)跟蹤方法中,對目標(biāo)特征的表達(dá)能力較弱,缺乏適應(yīng)環(huán)境變化的融合策略,跟蹤的結(jié)果或者對某些目標(biāo)的形態(tài)變化敏感,或者對復(fù)雜場景中的適應(yīng)能力有限,或者運算復(fù)雜度較高,從而導(dǎo)致跟蹤方法的可靠性較低,魯棒性較差,限制了方法的研究和應(yīng)用范圍。因此,迫切需要一個能夠在復(fù)雜的場景中,能夠保持準(zhǔn)確、魯棒和自動的目標(biāo)跟蹤方法。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于提供一種多特征融合目標(biāo)跟蹤方法及基于信息熵的權(quán)值自適應(yīng)方法,以提高方法的準(zhǔn)確性、魯棒性和實時性。該方法基于粒子濾波的基本思想,首先構(gòu)建系統(tǒng)狀態(tài)模型和系統(tǒng)觀測模型,并進(jìn)行粒子采樣,得到當(dāng)前時刻的粒子集。然后對目標(biāo)進(jìn)行多特征提取,并利用相關(guān)性公式,計算相關(guān)系數(shù)和相關(guān)距離,增加描述觀測目標(biāo)的準(zhǔn)確性和全面性。最后,方法采用基于信息熵的線性加權(quán)融合策略,根據(jù)各個特征的先驗概率密度似然函數(shù)的信息熵,自適應(yīng)地調(diào)節(jié)各特征融合的權(quán)值,提高跟蹤方法的魯棒性和運行效率。
為實現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:多特征融合目標(biāo)跟蹤方法,其特征在于,包括以下步驟:
s1、構(gòu)建系統(tǒng)狀態(tài)模型xk=φxk-1+γuk-1和系統(tǒng)觀測模型zk=tan-1(yk/xk)+vk;
s2、根據(jù)系統(tǒng)狀態(tài)模型,采樣得到當(dāng)前時刻的粒子集
s3、提取候選目標(biāo)的第一特征、第二特征及第三特征,并計算相關(guān)系數(shù)和相關(guān)距離,所述相關(guān)系數(shù)和相關(guān)距離可用于衡量目標(biāo)模型與候選目標(biāo)的特征參數(shù)之間的相似性;
s4、加權(quán)融合所述第一特征、第二特征及第三特征,并計算粒子的先驗概率密度似然函數(shù),預(yù)測目標(biāo)的位置。
優(yōu)選方案,多特征加權(quán)融合得到粒子的先驗概率密度似然函數(shù)的過程通過以下公式實現(xiàn):
其中,
α,β和γ為權(quán)值系數(shù),并同時滿足:0≤α≤1,0≤β≤1,0≤γ≤1,α+β+γ=1。
優(yōu)選方案,所述跟蹤方法在加權(quán)融合多項特征以獲得粒子的先驗概率密度似然函數(shù)之前,包括步驟:
a1、根據(jù)各個特征先驗概率密度似然函數(shù)的信息熵判斷是否對當(dāng)前權(quán)值系數(shù)進(jìn)行更新;
a2、如需更新,則更新現(xiàn)有權(quán)值系數(shù),并根據(jù)更新后的權(quán)值系數(shù)計算以預(yù)測目標(biāo)位置。
優(yōu)選方案,步驟a1包括以下步驟:
a11、根據(jù)公式
獲得第一特征、第二特征及第三特征的先驗概率密度似然函數(shù)的信息熵ha、hb及hc分別如下:
a12、根據(jù)信息熵轉(zhuǎn)換獲得信息熵比值:l=ha/(hb+hc)和m=hb/hc,根據(jù)l和m取值范圍,調(diào)整權(quán)值系數(shù)α、β和γ。
優(yōu)選方案,各特征對應(yīng)的權(quán)值系數(shù)大小關(guān)系與所述特征似然函數(shù)熵的大小關(guān)系一致。
優(yōu)選方案,所述第一特征、第二特征及第三特征分別為目標(biāo)的顏色特征、紋理特征和邊緣特征。
優(yōu)選方案,所述權(quán)值系數(shù)α、β和γ根據(jù)下表取值:
基于信息熵的權(quán)值自適應(yīng)方法,其特征在于,包括步驟:
b1、根據(jù)公式
獲得第一特征、第二特征及第三特征的先驗概率密度似然函數(shù)的信息熵ha、hb及hc分別如下:
b2、根據(jù)信息熵轉(zhuǎn)換獲得信息熵比值:l=ha/(hb+hc)和m=hb/hc,根據(jù)l和m取值范圍,調(diào)整權(quán)值系數(shù)α、β和γ。
優(yōu)選方案,各特征對應(yīng)的權(quán)值系數(shù)大小關(guān)系與所述特征似然函數(shù)熵的大小關(guān)系一致。
優(yōu)選方案,所述第一特征、第二特征及第三特征分別為目標(biāo)的顏色特征、紋理特征和邊緣特征。
優(yōu)選方案,所述權(quán)值系數(shù)α、β和γ根據(jù)下表取值:
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:利用顏色、紋理及邊緣特征進(jìn)行目標(biāo)特征提取,及引用相關(guān)性測量多特征的相關(guān)距離,從而提高了多特征對目標(biāo)描述的準(zhǔn)確性和全面性。以及基于信息熵的自適應(yīng)更新多特征融合的權(quán)值,提高了方法對抗復(fù)雜場景的魯棒性以及運行效率,適用于目標(biāo)被遮擋,背景光照不斷變化,目標(biāo)的尺度變化等復(fù)雜場景。
附圖說明
圖1所示為本發(fā)明實施例的多特征融合目標(biāo)跟蹤方法流程圖示;
圖2所示為根據(jù)本發(fā)明實施例的多特征融合目標(biāo)跟蹤方法及基于信息熵的權(quán)值自適應(yīng)方法獲得的監(jiān)控視頻中車輛跟蹤與粒子濾波方法及時空上下文跟蹤方法的跟蹤效果對比圖示;
圖3所示為根據(jù)本發(fā)明實施例的多特征融合目標(biāo)跟蹤方法及基于信息熵的權(quán)值自適應(yīng)方法獲得的低光照復(fù)雜燈光背景下跳舞者跟蹤與粒子濾波方法及時空上下文跟蹤方法的跟蹤效果對比圖示。
具體實施方式
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護(hù)的范圍。
請參閱圖1、圖2及圖3:
本實施例的多特征融合目標(biāo)跟蹤方法,包括以下步驟:
s1、構(gòu)建系統(tǒng)狀態(tài)模型xk=φxk-1+γuk-1和系統(tǒng)觀測模型zk=tan-1(yk/xk)+vk;
s2、根據(jù)系統(tǒng)狀態(tài)模型,采樣得到當(dāng)前時刻的粒子集
s3、提取候選目標(biāo)的第一特征、第二特征及第三特征,并計算相關(guān)系數(shù)和相關(guān)距離,所述相關(guān)系數(shù)和相關(guān)距離可用于衡量目標(biāo)模型與候選目標(biāo)的特征參數(shù)之間的相似性;
s4、加權(quán)融合所述第一特征、第二特征及第三特征,并計算粒子的先驗概率密度似然函數(shù),預(yù)測目標(biāo)的位置。
優(yōu)選實施例方案,多特征加權(quán)融合得到粒子的先驗概率密度似然函數(shù)的過程通過以下公式實現(xiàn):
其中,
α,β和γ為權(quán)值系數(shù),并同時滿足:0≤α≤1,0≤β≤1,0≤γ≤1,α+β+γ=1。
優(yōu)選實施例方案,所述跟蹤方法在加權(quán)融合多項特征以獲得粒子的先驗概率密度似然函數(shù)之前,包括步驟:
a1、根據(jù)各個特征先驗概率密度似然函數(shù)的信息熵判斷是否對當(dāng)前權(quán)值系數(shù)進(jìn)行更新;
a2、如需更新,則更新現(xiàn)有權(quán)值系數(shù),并根據(jù)更新后的權(quán)值系數(shù)計算以預(yù)測目標(biāo)位置。
優(yōu)選實施例方案,步驟a1包括以下步驟:
a11、根據(jù)公式
獲得第一特征、第二特征及第三特征的先驗概率密度似然函數(shù)的信息熵ha、hb及hc分別如下:
a12、根據(jù)信息熵轉(zhuǎn)換獲得信息熵比值:l=ha/(hb+hc)和m=hb/hc,根據(jù)l和m取值范圍,調(diào)整權(quán)值系數(shù)α、β和γ。
優(yōu)選實施例方案,各特征對應(yīng)的權(quán)值系數(shù)大小關(guān)系與所述特征似然函數(shù)熵的大小關(guān)系一致。
優(yōu)選實施例方案,所述第一特征、第二特征及第三特征分別為目標(biāo)的顏色特征、紋理特征和邊緣特征。
優(yōu)選實施例方案,所述權(quán)值系數(shù)α、β和γ根據(jù)下表取值:
基于信息熵的權(quán)值自適應(yīng)方法,包括步驟:
b1、根據(jù)公式
獲得第一特征、第二特征及第三特征的先驗概率密度似然函數(shù)的信息熵ha、hb及hc分別如下:
b2、根據(jù)信息熵轉(zhuǎn)換獲得信息熵比值:l=ha/(hb+hc)和m=hb/hc,根據(jù)l和m取值范圍,調(diào)整權(quán)值系數(shù)α、β和γ。
優(yōu)選實施例方案,各特征對應(yīng)的權(quán)值系數(shù)大小關(guān)系與所述特征似然函數(shù)熵的大小關(guān)系一致。
優(yōu)選實施例方案,所述第一特征、第二特征及第三特征分別為目標(biāo)的顏色特征、紋理特征和邊緣特征。
優(yōu)選實施例方案,所述權(quán)值系數(shù)α、β和γ根據(jù)下表取值:
以下為本發(fā)明的另一優(yōu)選實施方式:
步驟1:構(gòu)建系統(tǒng)狀態(tài)模型和觀測模型,并采樣得到當(dāng)前時刻的粒子集;
根據(jù)系統(tǒng)狀態(tài)向量的經(jīng)驗條件分布,在狀態(tài)空間采樣產(chǎn)生一組隨機(jī)樣本集合,這些樣本集合稱為粒子。根據(jù)系統(tǒng)狀態(tài)方程式采樣得到當(dāng)前k時刻粒子集
假設(shè)
xk=φxk-1+γuk-1,k=1,2,...,n(1)
zk=tan-1(yk/xk)+vk,k=1,2,...,n(2)
其中,設(shè)置參數(shù)為
步驟2:分別提取目標(biāo)的多個特征,并計算目標(biāo)模型與候選目標(biāo)間的相似性;
常用的目標(biāo)特征有:顏色特征、紋理特征、邊緣特征等。我們采用相關(guān)性來表示目標(biāo)模型與候選目標(biāo)間的相似性。相關(guān)系數(shù)是衡量隨機(jī)變量x與y相關(guān)程度的一種方法,相關(guān)系數(shù)的取值范圍是[-1,1]。相關(guān)系數(shù)的絕對值越大,則表明x與y相關(guān)度越高,即目標(biāo)特征與候選區(qū)域越相似。當(dāng)x與y線性相關(guān)時,相關(guān)系數(shù)取值為1,表示正線性相關(guān),或者取值為-1,則表示負(fù)線性相關(guān)。假設(shè)q表示目標(biāo)模型特征,p表示候選目標(biāo)特征。那么,目標(biāo)模型與候選目標(biāo)之間的相關(guān)系數(shù)ρqp和相關(guān)距離dqp的定義分別如式(3)和式(4)所示:
dqp=1-ρqp(4)
其中,cov(q,p)表示q與p的協(xié)方差,d(q)與d(p)分別表示q與p的方差值,eq與ep分別表示q與p的期望值。
步驟3:計算粒子的各個特征的先驗概率密度似然函數(shù),并采用多特征線性加權(quán)策略進(jìn)行融合;
似然函數(shù)代表分布的混亂程度或分散程度。粒子分布越分散,似然函數(shù)值越小,粒子越集中,似然函數(shù)值越大。由于觀測噪聲與系統(tǒng)狀態(tài)相互獨立,觀測噪聲為零均值高斯白噪聲,因此先驗概率密度似然函數(shù)px(z|x)表示為:
其中d為相關(guān)距離,σ是高斯噪聲的標(biāo)準(zhǔn)方差,px(z|x)是系統(tǒng)狀態(tài)模型下先驗概率密度似然函數(shù),pv(z|x)是由于觀測噪聲與系統(tǒng)狀態(tài)相互獨立,系統(tǒng)狀態(tài)模型下先驗概率密度似然函數(shù)等同于系統(tǒng)觀測模型下先驗概率密度似然函數(shù),z是系統(tǒng)觀測模型,x是系統(tǒng)狀態(tài)模型,exp是觀測噪聲為零均值高斯白噪聲時的概率密度函數(shù)近似表達(dá)算符。用
權(quán)值α、β和γ滿足:(0≤α,β,γ≤1),α+β+γ=1。
步驟4:根據(jù)各個特征的先驗概率密度似然函數(shù)的信息熵比值,對多特征融合的先驗概率密度似然函數(shù)的系數(shù)進(jìn)行自適應(yīng)更新;
信息熵能夠用來衡量分布的混亂程度或分散程度,因此引入信息熵對多特征線性融合的權(quán)值進(jìn)行自適應(yīng)更新。信息熵越大,不確定性越大,每個粒子的觀測似然分布越趨向于相等,即粒子的權(quán)值分布越均勻,所對應(yīng)多特征的鑒別能力越弱,該特征所對應(yīng)的權(quán)值應(yīng)當(dāng)越小,反之權(quán)值應(yīng)當(dāng)越大。計算給定的樣本集x的信息熵的公式:
其中,n代表樣本集x的分類數(shù),pi代表x中第i類元素出現(xiàn)的概率。分開計算多個特征的先驗概率密度似然函數(shù)的信息熵:
根據(jù)l=ha/(hb+hc)和m=hb/hc,查詢下表選擇權(quán)值。從表中看出,a特征的似然函數(shù)熵小于b特征的似然函數(shù)熵,此時a特征的鑒別能力強(qiáng)于b特征,a特征對應(yīng)權(quán)值取較小值,反之,對應(yīng)權(quán)值取較大值。我們將三種特征分為兩組,先將紋理和邊緣特征的似然函數(shù)的整體看為一組。根據(jù)l查表(分表1),確定出顏色特征的加權(quán)系數(shù),以及紋理和邊緣特征的似然函數(shù)的整體系數(shù)。然后再根據(jù)m查表(分表2),分別確定出紋理和邊緣特征的似然函數(shù)的加權(quán)系數(shù),乘以整體系數(shù),就是它們最后的加權(quán)系數(shù)。
基于信息熵的自適應(yīng)特征融合權(quán)值表(合表)
基于信息熵的自適應(yīng)特征融合權(quán)值表(分表1)
基于信息熵的自適應(yīng)特征融合權(quán)值表(分表2)
圖2和圖3為采用本發(fā)明的方案,并選擇顏色、紋理和邊緣作為第一、第二及第三特征,信息熵的自適應(yīng)特征融合權(quán)值表采用上表,以監(jiān)控視頻中車輛跟蹤及低光照復(fù)雜燈光背景下跳舞者跟蹤為試驗對象,獲得的與粒子濾波方法及時空上下文跟蹤方法的跟蹤效果對比圖。
其中自上而下依次是本實施例、粒子濾波方法及時空上下文跟蹤方法的效果圖示。圖2中:本實施例經(jīng)過了兩車交會、障礙物(路邊的樹)嚴(yán)重遮擋等環(huán)境后仍能完全跟蹤;粒子濾波方法在第565幀障礙物遮擋、第610幀兩車交會、第687幀及第785幀障礙物遮擋中都存在不同程度的識別錯誤;時空上下文跟蹤方法在第610幀兩車交會、第687幀及第785幀障礙物遮擋中也存在一定程度的識別錯誤。圖3中:本實施例在全過程實現(xiàn)了準(zhǔn)確跟蹤;粒子濾波方法在第208幀出現(xiàn)對象識別不全,第275幀出現(xiàn)跟丟的情況;時空上下文跟蹤方法在第275幀出現(xiàn)識別錯誤,具體表現(xiàn)為識別時將背景光照(地面的反光區(qū)域)識別為了目標(biāo)對象。
在本發(fā)明的實施例的描述中,需要理解的是,術(shù)語“上”、“下”、“前”、“后”、“左”、“右”、“堅直”、“水平”、“中心”、“頂”、“底”、“頂部”、“根部”、“內(nèi)”、“外”、“外圍”、“里側(cè)”、“內(nèi)側(cè)”、“外側(cè)”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系,僅是為了使于描述本發(fā)明和簡化描述,而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作,因此不能理解為對本發(fā)明的限制。其中,“里側(cè)”是指內(nèi)部或圍起來的區(qū)域或空間。“外圍”是指某特定部件或特定區(qū)域的周圍的區(qū)域。
在本發(fā)明的實施例的描述中,術(shù)語“第一”、“第二”、“第三”、“第四”僅用于描述目的,而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此,限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隱含地包括一個或者更多個該特征。在本發(fā)明的描述中,除非另有說明,“多個”的含義是兩個或兩個以上。
在本發(fā)明的實施例的描述中,需要說明的是,除非另有明確的規(guī)定和限定,術(shù)語“安裝”、“相連”、“連接”、“組裝”應(yīng)做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或一體地連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言,可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
在本發(fā)明的實施例的描述中,具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。
在本發(fā)明的實施例的描述中,需要理解的是,“-”和“~”表示的是兩個數(shù)值之同的范圍,并且該范圍包括端點。例如:“a-b”表示大于或等于a,且小于或等于b的范圍?!癮~b”表示大于或等于a,且小于或等于b的范圍。
在本發(fā)明的實施例的描述中,本文中術(shù)語“和/或”,僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系,表示可以存在三種關(guān)系,例如,a和/或b,可以表示:單獨存在a,同時存在a和b,單獨存在b這三種情況。另外,本文中字符“/”,一般表示前后關(guān)聯(lián)對象是一種“或”的關(guān)系。
盡管已經(jīng)示出和描述了本發(fā)明的實施例,對于本領(lǐng)域的普通技術(shù)人員而言,可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進(jìn)行多種變化、修改、替換和變型,本發(fā)明的范圍由所附權(quán)利要求及其等同物限定。