本發(fā)明涉及運(yùn)動目標(biāo)前景檢測方法,特別是涉及貝葉斯-全概率聯(lián)合估計模型的運(yùn)動目標(biāo)前景檢測方法,屬于圖像信息處理技術(shù)領(lǐng)域。
背景技術(shù):
在視頻處理中,背景一般由靜止和周期性運(yùn)動的對象組成。但是,隨著時間的變化,背景可能經(jīng)歷兩種不同類型的變化,其中之一是由自然光線引起的變化,例如,從白天到黑夜照明的變化;另外,則是一些突發(fā)的環(huán)境變化。突發(fā)變化又分為全局突發(fā)變化和局部突發(fā)變化,全局突發(fā)變化可能由開關(guān)燈,天氣突然轉(zhuǎn)陰,照相機(jī)的視角發(fā)生變化等引起的;局部突變化則可能是因為移除或者新增了某些背景物體,例如,把一張椅子移動到不同的位置,除此之外,前景物體可能轉(zhuǎn)化為背景物體,例如汽車駛?cè)胪\噲霾⑼??。因此,背景的不同部分?yīng)該由不同類型的特征描述。
傳統(tǒng)的前景檢測算法能夠較好地檢測出簡單視頻場景的運(yùn)動目標(biāo),然而當(dāng)視頻背景變得復(fù)雜時并不能準(zhǔn)確的分割出前景目標(biāo)。因此,為了建立一個能夠適應(yīng)大部分場景的前景檢測模型,本發(fā)明提出BTP‐JE模型(即貝葉斯‐全概率聯(lián)合估計模型)。貝葉斯模型是一種不確定性知識的推理和描述,在圖像分割中發(fā)揮著重要的作用。貝葉斯采用“逆概率”思想,推算出特征向量屬于背景或前景的概率,而全概率則是計算在某一像素點,出現(xiàn)某一特征的概率。通過對貝葉斯準(zhǔn)則和全概率公式的結(jié)合,能夠很好地檢測處于復(fù)雜背景中的運(yùn)動物體。
技術(shù)實現(xiàn)要素:
本發(fā)明目的是通過改進(jìn)傳統(tǒng)方法,滿足復(fù)雜背景情況下運(yùn)動目標(biāo)前景檢測的準(zhǔn)確性,提供一種貝葉斯‐全概率估計模型的運(yùn)動目標(biāo)前景檢測方法。
為實現(xiàn)上述目的,本發(fā)明采用如下技術(shù)方案:
一種貝葉斯‐全概率運(yùn)動目標(biāo)前景檢測方法,包括如下步驟:
(1)背景、前景信息特征選取
對于運(yùn)動目標(biāo)的背景對象,利用貝葉斯估計法則,特征向量ξt來自背景b和前景f的后驗概率滿足:
如果特征向量滿足:
則把這個像素歸為背景,其中ψ為像素點;
當(dāng)背景中出現(xiàn)大量的前景物體時,背景將長時間被前景物體覆蓋,導(dǎo)致(2‐2)式中的兩個條件并不能得到滿足,為在擁堵背景環(huán)境下更好地分離前景和背景,引入背景誤差控制變量,將式(2‐2)變?yōu)椋?/p>
P(ξt|b,ψ)>P(ξt|f,ψ)-ε1,P(b|ψ)>P(f|ψ)-ε2 (2‐3)
其中εi,i=1,2,稱為背景誤差控制變量;
把式(2‐1)與全概率公式代入式(2‐3)得到如下BTP‐JE模型:
2P(ξt|b,ψ)·P(b|ψ)>P(ξt|ψ)+P(ξt|b,ψ)ε1-(1-P(b|ψ))ε2 (2‐4)
對于L位n維的特征向量,P(ξt|ψ)或P(ξt|b,ψ)的聯(lián)合直方圖包含Ln個bins;
令i=1,2,...,N為特征直方圖中的前N個bins并按降序排列,對于給定的比例值M1,M2=1-M1,存在比較小的正整數(shù)N1,滿足:
自然地,N值依賴于所選取的特征向量和位數(shù)L,對于每一種特征向量,用表示特征統(tǒng)計表,其中i=1,2,...N2(N2>N1),記錄了在像素ψ(x,y),時刻t處N2個最重要的值,表中的每一個元素由三個部分組成:
當(dāng)一個像素與穩(wěn)定的背景相關(guān)時,選取顏色作為特征向量,采用HSV顏色空間對圖像進(jìn)行處理,ξt用ωt=[ht,st,vt]T代替;當(dāng)像素與運(yùn)動背景相關(guān)時,顏色共生特性被選為特征向量,ξt用ωωt=[ht-1,st-1,vt-1,ht,st,vt]T代替;
(2)背景和前景像素點的分類
時間差分將變化的像素分為兩種類型,如果Ftd(ψ,t)=1,這個像素被認(rèn)為是運(yùn)動的像素,且屬于運(yùn)動的物體,否則它是一個與靜止物體有關(guān)的像素;進(jìn)一步單獨(dú)劃分為背景或前景;對于靜止的像素或運(yùn)動的像素,將特征向量ξt與前N1個從對應(yīng)背景的特征統(tǒng)計表格中獲取的特征向量做比較,重新獲取相似特征;令得到條件概率公式(1‐7):
中匹配特征集合定義為:
其中δ為控制變量;
(3)前景物體的提取
利用形態(tài)學(xué)運(yùn)算去除離散的點,輸出圖像O(ψ,t),提取前景物體;用特征向量ξt將像素分類前景或背景,對應(yīng)特征統(tǒng)計用式(1‐9)更新:
其中i=1,2,...N2,α2稱之為學(xué)習(xí)速率,用來控制特征學(xué)習(xí)的速度;當(dāng)在t時刻,從最后分離反饋為ψ(x,y)為背景,則否則當(dāng)式(1‐7)中的ξti和ξt相匹配時,否則如果沒有中的元素和ξt匹配時,則表中的第N2個元素變?yōu)椋?/p>
當(dāng)背景突然變化時,新的背景特征出現(xiàn),且在變化后立即占據(jù)主導(dǎo)地位;由式(1‐3)和(1‐5)得,當(dāng)滿足條件(1‐11)時,在ψ(x,y)處檢測到新的背景特征;
其中T是一個比率值,決定什么時候新的特征被認(rèn)為是背景;由式(1‐1)和式(1‐6),式(1‐11)將演變成
當(dāng)背景突然變化時,新的背景特征隨即出現(xiàn),則特征統(tǒng)計用以下式子進(jìn)行更新:
(4)學(xué)習(xí)速率α2的選取
收斂于1;同時,學(xué)習(xí)速率參數(shù)α2滿足關(guān)系其中n為測試視頻的幀數(shù),T為測試視頻時間;
(5)更新參考背景圖像
如果ψ為無關(guān)緊要變化的像素點,則Bω(ψ,t+1)=(1-α1)Bω(ψ,t)+α1Iω(ψ,t)被用來對背景進(jìn)行更新,其中ω∈(h,s,v),α1為無限脈沖反應(yīng)濾波參數(shù);如果O(ψ,t)=0,F(xiàn)td(ψ,t)=1或者Fbd(ψ,t)=1,Bω(ψ,t+1)=Iω(ψ,t),ω∈(h,s,v)則被用來對參考背景進(jìn)行更新,這樣參考圖像就能夠適應(yīng)背景的突 然變化。
優(yōu)選地,所述bins為頻數(shù)分布直方圖中的小矩形。
優(yōu)選地,形態(tài)學(xué)運(yùn)算為開運(yùn)算或者閉運(yùn)算。
優(yōu)選地,T=90%。
優(yōu)選地,δ∈[1.5,2.5]。
相對于現(xiàn)有技術(shù),本發(fā)明具有如下優(yōu)點:針對傳統(tǒng)前景檢測算法在視頻背景變得復(fù)雜時不能準(zhǔn)確分割出前景目標(biāo)之不足,本發(fā)明結(jié)合貝葉斯與全概率估算公式,提出貝葉斯‐全概率聯(lián)合估計模型,貝葉斯模型是一種不確定性知識的推理和描述,它采用“逆概率”思想,推算出特征向量屬于背景或前景的概率。全概率則是計算在某一像素點,出現(xiàn)某一特征的概率。通過選擇適當(dāng)?shù)奶卣飨蛄浚贐TP‐JE模型下,將背景像素分為靜止與運(yùn)動兩種不同的類型,進(jìn)而準(zhǔn)確提取前景像素點。
附圖說明
圖1為貝葉斯‐全概率運(yùn)動目標(biāo)前景檢測方法的流程圖。
圖2為實施例2偽裝目標(biāo)的檢測情況圖。
圖3為新增目標(biāo)檢測情況圖。
圖4為異常信號檢測情況圖。
具體實施方式
下面結(jié)合實施例對本發(fā)明作進(jìn)一步說明,但本發(fā)明要求保護(hù)的范圍并不局限于實施例表示的范圍。
本發(fā)明在現(xiàn)有貝葉斯及全概率估算公式基礎(chǔ)上,將兩模型相結(jié)合,引入背景誤差控制變量,當(dāng)前景物體運(yùn)動緩慢或者視頻場景中的前景物體較多時,通過選擇恰當(dāng)?shù)摩?sub>i,可以獲得更多的前景點,減少前景點被誤判的概率。如圖1所示,本發(fā)明步驟如下:
1背景和前景特征信息的獲取
對于某一種特定類型的背景對象,存在一些非常重要的特征,這些特征能夠有效地分離背景和前景,利用貝葉斯估計法則,特征向量ξt來自背景b和前景f的后驗概率滿足:
如果特征向量滿足:
則把這個像素歸為背景,其中ψ為像素點。然而當(dāng)背景中出現(xiàn)大量的前景物體時,背景將長時間被前景物體覆蓋,導(dǎo)致式(1‐2)中的兩個條件并不能得到滿足,為了能夠在擁堵背景環(huán)境下更好地分離前景和背景,本文引入了背景誤差控制變量,即將式(1‐2)變?yōu)椋?/p>
P(ξt|b,ψ)>P(ξt|f,ψ)-ε1,P(b|ψ)>P(f|ψ)-ε2 (1‐3)
其中εi,i=1,2,稱為背景誤差控制變量。當(dāng)前景物體運(yùn)動緩慢或者視頻場景中的前景物體較多時,通過選擇恰當(dāng)?shù)摩?sub>i,可以獲得更多的前景點,減少前景點被誤判的概率。把式(1‐1)及全概率公式代入式(1‐3)可以得到如下BTP‐JE模型:
2P(ξt|b,ψ)·P(b|ψ)>P(ξt|ψ)+P(ξt|b,ψ)ε1-(1-P(b|ψ))ε2 (1‐4)
對于L位n維的特征向量,P(ξt|ψ)或P(ξt|b,ψ)的聯(lián)合直方圖包含Ln個bins(bins為頻數(shù)分布直方圖中的小矩形),如果L或n的值很大,對于相關(guān)的計算或存儲的代價將是巨大的,例如當(dāng)L=32,n=10時,Ln=3210≈1015??梢?,一個好的近似顯得十分必要。背景被認(rèn)為是穩(wěn)定的對象,如果有一個好的特征選擇,就可以用直方圖中小部分的bins涵蓋大部分與背景有關(guān)的特征向量。
令i=1,2,...,N為特征直方圖中的前N個bins并按降序排列,對于給定的比例值M1,M2=1-M1,存在比較小的正整數(shù)N1,滿足:
自然地,N的值依賴于所選取的特征向量和位數(shù)L,對于每一種特征向量(來自前景或者背景),用表示特征統(tǒng)計表,其中i=1,2,...N2(N2>N1),它記錄了在像素ψ(x,y),時刻t處N2個最重要的值,表中的每一個元素由三個部分組成,即
當(dāng)一個像素與穩(wěn)定的背景相關(guān)時,選取顏色作為特征向量,本發(fā)明采用HSV顏色空間對圖像進(jìn)行處理,即ξt用ωt=[ht,st,vt]T代替;當(dāng)像素與運(yùn)動背景相關(guān)時,顏色共生特性被選為特征向量,ξt用ωωt=[ht-1,st-1,vt-1,ht,st,vt]T代替。
2BTP‐JE模型前景檢測算法
BTP‐JE模型前景檢測算法包含三部分:像素變化檢測;背景和前景像素點的分類;前景物體的提取和參考背景的更新。算法結(jié)構(gòu)如圖1。
(1)像素變化檢測
根據(jù)不同場景,選擇適當(dāng)?shù)目刂谱兞繀?shù)εi,i=1,2,將視頻圖像轉(zhuǎn)換為HSV圖像空間。令I(lǐng)(ψ,t)={Iω(ψ,t)}為輸入圖像,B(ψ,t)={Bω(ψ,t)}為系統(tǒng)在時刻t保存的參考背景圖像,其中, ω∈{h,s,v}表示顏色組成成分。將3個組成部分的結(jié)果相結(jié)合,產(chǎn)生背景差分Fbd(ψ,t)和時間差分Ftd(ψ,t)。
(2)背景和前景像素點的分類
時間差分將變化的像素分為兩種類型,如果Ftd(ψ,t)=1,這個像素被認(rèn)為是運(yùn)動的像素,且屬于運(yùn)動的物體,否則它是一個與靜止物體有關(guān)的像素。它們進(jìn)一步單獨(dú)劃分為背景或前景。對于靜止的像素或運(yùn)動的像素,特征向量的選擇是前述中提出的方法。將這種特征向量ξt與前N1個從對應(yīng)背景的特征統(tǒng)計表格中獲取的特征向量做比較,重新獲取相似特征。令得到條件概率公式(1‐7):
中匹配特征集合定義為:
其中δ為控制變量,這樣相似的特征向量可以量化到鄰域向量,統(tǒng)計仍然能夠重新獲得。經(jīng)過大量視頻的測試,當(dāng)δ∈[1.5,2.5]時,匹配效果最好。
(3)前景物體的提取
利用形態(tài)學(xué)運(yùn)算(開運(yùn)算或者閉運(yùn)算)去除離散的點,輸出圖像O(ψ,t),提取前景物體。用特征向量ξt將像素分類前景或背景,對應(yīng)特征統(tǒng)計用式(1‐9)更新:
其中i=1,2,...N2,α2稱之為學(xué)習(xí)速率,它用來控制特征學(xué)習(xí)的速度,α2的選取將在后面做詳細(xì)介紹。當(dāng)在t時刻,從最后分離反饋為ψ(x,y)為背景,則否則當(dāng)式(1‐7)中的ξti和ξt相匹配時,否則如果沒有中的元素和ξt匹配時,則表中的第N2個元素變?yōu)椋?/p>
當(dāng)背景突然變化時,新的背景特征出現(xiàn),且在變化后立即占據(jù)主導(dǎo)地位。由(1‐3)和(1‐5)得,當(dāng)滿足條件(1‐11)時,在ψ(x,y)處檢測到新的背景特征。
其中T是一個比率值,它決定什么時候新的特征可以被認(rèn)為是背景。當(dāng)T值比較大時,系統(tǒng)是穩(wěn)定的,但是其對突發(fā)性變化反應(yīng)比較慢;當(dāng)T比較小時,系統(tǒng)容易把頻繁的前景誤認(rèn)為新背景。經(jīng)過對大量不同復(fù)雜場景的測試,T=90%效果比較好。由式(1‐1)和式(1‐6),式(1‐11)將演變成
注意到:P(f|ψ)=1-P(b|ψ),對于任一種特征向量均成立,當(dāng)背景突然變化時,新的背景特征隨即出現(xiàn),則特征統(tǒng)計用以下式子進(jìn)行更新:
經(jīng)過以上操作,占主導(dǎo)地位的特征就可以轉(zhuǎn)化成新的背景特征。
(4)學(xué)習(xí)速率α2的選取
可以證明:學(xué)習(xí)過程收斂且收斂于1,即收斂于1。
同時,學(xué)習(xí)速率參數(shù)α2滿足關(guān)系其中n為測試視頻的幀數(shù),T為測試視頻時間。
(5)更新參考背景圖像
如果ψ為無關(guān)緊要變化的像素點,則Bω(ψ,t+1)=(1-α1)Bω(ψ,t)+α1Iω(ψ,t)被用來對背景進(jìn)行更新,其中ω∈(h,s,v),α1為無限脈沖反應(yīng)濾波參數(shù);如果O(ψ,t)=0,F(xiàn)td(ψ,t)=1或者Fbd(ψ,t)=1,Bω(ψ,t+1)=Iω(ψ,t),ω∈(h,s,v)則被用來對參考背景進(jìn)行更新,這樣參考圖像就能夠適應(yīng)背景的突然變化。
實施例1:實際場景對比
1、實驗設(shè)計
實驗演示了許多復(fù)雜的室內(nèi)室外視頻場景,包括擺動的樹枝,下雪環(huán)境,擁擠的路面和光照條件的變化等。為了驗證本專利算法在復(fù)雜背景環(huán)境的下對前景的檢測是否更具有適應(yīng)性,選擇目前比較流行的兩種算法與之對比:一是具有魯棒性的背景相減法(RBS);二是改進(jìn)的混合高斯模型算法(MOG)。這兩種模型對光照變化都具有一定的魯棒性。為了進(jìn)行合理的對比,采取同樣的形態(tài)學(xué)開運(yùn)算或者閉運(yùn)算對小區(qū)域消除。
2、實驗結(jié)果
對前景或背景檢測效果進(jìn)行評估的性能指標(biāo)為:(1)The Actual Number of Foreground(AF):當(dāng)前幀實際前景點的數(shù)量;(2)The Actual Number of Background(AB):當(dāng)前幀實際背景點的數(shù)量;(3)The True Positive Outcome(TP):已檢測到并且為正常前景點的數(shù)量;(4)The True Negative Outcome(TN):已檢測到并且為正常背景點的數(shù)量;(5)The False Positive Errors(FP):背景點被誤檢為前景點的數(shù)量;(6)The False Negative Errors(FN):前景點被誤檢為背景點的數(shù)量;(7)False Positive Rate(FPR):FPR=FP/(FP+TN):背景誤判率;(8)False Negative Rate(FNR):FNR=FN/(TP+FN):前景誤判率;(9)False rate(FR):FR=(FP+FN)/(AF+AB):總體誤判率。
得到表1、表2的統(tǒng)計信息。
實施例2:銀行ATM機(jī)場景
為了加強(qiáng)銀行所屬ATM機(jī)和自助銀行的安全運(yùn)營和管理,最大限度地節(jié)省資源、降低運(yùn)行和人力管理成本,本著“安全、節(jié)約、穩(wěn)定”的原則,ATM機(jī)使用智能視頻監(jiān)控分析。。
1、ATM人臉偽裝檢測
當(dāng)取款人在蒙面或偽裝狀態(tài)下進(jìn)行取款,一般是由于取款人有一些不法行為不希望被認(rèn)出來,這時視頻監(jiān)控系統(tǒng)要識別出這種行為,然后向監(jiān)控者報警,提醒監(jiān)控者采取某些措施。
解決方案:通過監(jiān)控平臺的底層功能定位取款人的位置和取款人的臉部ATM機(jī)人臉攝像機(jī)采集的圖像進(jìn)行分析,當(dāng)提款人出現(xiàn)面部遮擋等行為特征時,自動識別,并產(chǎn)生相應(yīng)報警。如圖3所示。
2、ATM機(jī)加裝異常設(shè)備
當(dāng)有人在取款機(jī)附近粘貼小廣告,這主要是在ATM失效時,取款人求助時,可能不小心使用了小廣告上的信息,進(jìn)了受騙。
解決方案:通過監(jiān)控平臺的底層功能定位有新的對象進(jìn)入視頻監(jiān)控范圍,而且長時間沒有離開,可以將這個作為一個異常行為,向監(jiān)控者報警。如圖4所示。
3、ATM機(jī)攝像機(jī)信號異常
不法分子通過遮蓋或者破壞視頻系統(tǒng)來逃避監(jiān)控,然后進(jìn)行違法行為。
解決方案:通過監(jiān)控平臺的底層功能判斷當(dāng)前場景是否劇烈變化,如果出現(xiàn)劇烈變化,那么說明情況異常,向監(jiān)控者報警。
表1不同類型的前景像素點和背景像素點的數(shù)量統(tǒng)計表
表2在不同檢測方法下,不同錯誤率的信息統(tǒng)計表