基于具有時(shí)空聯(lián)合信息的信念傳播算法的圖像序列變化檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像序列或視頻中變換目標(biāo)檢測(cè)的一種方法。通過(guò)信念傳播算法實(shí)現(xiàn) 像素間時(shí)間和空間信息的傳遞和交換，即計(jì)算鄰域內(nèi)各像素點(diǎn)之間的空間域相關(guān)函數(shù)作為 信息量，考慮到諸如動(dòng)態(tài)場(chǎng)景、惡劣環(huán)境、相機(jī)抖動(dòng)、目標(biāo)與背景顏色相近等情況，利用背景 像素在時(shí)間上具有緩變特性，同時(shí)計(jì)算各像素點(diǎn)的時(shí)間域相關(guān)函數(shù)來(lái)彌補(bǔ)空間域信息在復(fù) 雜場(chǎng)景中容易受到干擾的缺陷，并利用時(shí)間矩陣記錄背景變化并調(diào)整時(shí)域信息函數(shù)。利用 基于時(shí)域和空域聯(lián)合信息置信傳播算法，計(jì)算輸入的序列圖像和參考背景中每個(gè)像素所得 到的最小信息量，選擇信息量最小的像素作為背景像素，通過(guò)比較輸入的序列圖像中像素 和背景像素置信度的大小，實(shí)現(xiàn)變化目標(biāo)的檢測(cè)，尤其解決目標(biāo)與背景顏色相近情況下變 化目標(biāo)的檢測(cè)。 2、
【背景技術(shù)】
[0002] 圖像序列變化檢測(cè)是對(duì)同一場(chǎng)景不同時(shí)刻拍攝的序列圖像，檢測(cè)出具有顯著變化 的像素集合的過(guò)程。它是圖像處理和計(jì)算機(jī)視覺(jué)中重要基礎(chǔ)工作。由于大量重要的視覺(jué)信 息都包含在運(yùn)動(dòng)或變化的目標(biāo)中，變化檢測(cè)在異常檢測(cè)、輔助駕駛、目標(biāo)跟蹤、醫(yī)學(xué)診斷治 療等領(lǐng)域有著廣泛應(yīng)用。
[0003] 目前變化檢測(cè)面臨三大難題，首先是變化和靜止的相對(duì)性，極低速度的運(yùn)動(dòng)目標(biāo) 可視為靜止背景，而靜止背景中可能存在局部或微弱的波動(dòng)，如水面的波動(dòng)和植物的晃動(dòng) 等;其次是場(chǎng)景的光照變化，圖像序列中場(chǎng)景的光照變化要求算法能夠不斷更新參考背景， 若部分背景區(qū)域長(zhǎng)時(shí)間被變化目標(biāo)遮擋，未能及時(shí)更新，一旦變化目標(biāo)突然離開(kāi)，將導(dǎo)致該 部分背景區(qū)域出現(xiàn)虛假變化現(xiàn)象。而且某些場(chǎng)景中的光照變化是非常劇烈的，如室外場(chǎng)景 中陽(yáng)光突然被烏云遮住、室內(nèi)環(huán)境中開(kāi)關(guān)燈或窗簾等情況，若不能迅速重建參考背景，將導(dǎo) 致長(zhǎng)時(shí)間大范圍的檢測(cè)誤差。最后是密集的變化目標(biāo)，密集的變化目標(biāo)使得某些區(qū)域的靜 態(tài)背景無(wú)法更新，只能借助于諸如補(bǔ)圖技術(shù)等其他方法。
[0004] 圖像序列變化檢測(cè)主要有幀間差分法、背景減除法、光流法以及能量?jī)?yōu)化法等。幀 間差分法使用相鄰幀之間差來(lái)得到可能包含變化的區(qū)域，它易實(shí)現(xiàn)且運(yùn)算速度快，也是很 多變化檢測(cè)算法的基礎(chǔ);背景減除法通過(guò)構(gòu)造背景模型，然后將待檢測(cè)幀與背景做差分運(yùn) 算，再根據(jù)序列圖像本身的特征或人為設(shè)定得到閾值，最后通過(guò)閾值判斷得到變化目標(biāo)。常 用的背景模型包括高斯模型、混合高斯模型、碼本模型等;光流法通過(guò)研究圖像灰度在時(shí)間 上的變化與圖像中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系進(jìn)行變化檢測(cè);能量?jī)?yōu)化法以靜止背景和變化 前景分割為目標(biāo)，通過(guò)優(yōu)化目標(biāo)函數(shù)，實(shí)現(xiàn)背景和變化目標(biāo)的最佳分離。通常借助于馬爾 科夫隨機(jī)場(chǎng)的先驗(yàn)假設(shè)，將靜止背景和變化前景分割的最大后驗(yàn)概率估計(jì)問(wèn)題轉(zhuǎn)化為能量 最小化問(wèn)題。常用的能量最小化方法有模擬退火、條件迭代模式、最大流最小切，置信傳播 和樹(shù)重加權(quán)的置信傳播等。以上算法中，背景減除法應(yīng)用最廣，背景建模方式多樣，其計(jì)算 強(qiáng)度優(yōu)于光流法，檢測(cè)精準(zhǔn)度優(yōu)于幀間差分法，但背景減除法的一個(gè)突出問(wèn)題是無(wú)法適應(yīng) 光照突變，目前基于能量?jī)?yōu)化的變化檢測(cè)算法日益受到重視，該方法具有適應(yīng)性強(qiáng)，能夠有 效削弱檢測(cè)過(guò)程中生成的殘影。
[0005] 在實(shí)際應(yīng)用中，由于變化目標(biāo)運(yùn)動(dòng)的隨機(jī)性、應(yīng)用場(chǎng)景的復(fù)雜性、變化和靜止的相 對(duì)性、背景受光照變化、變化物體對(duì)背景的遮擋以及各類噪聲等因素的影響，變化檢測(cè)算法 可靠性和準(zhǔn)確性有待提尚，而實(shí)時(shí)性提尚可以滿足實(shí)際應(yīng)用場(chǎng)合的要求。 3、
【發(fā)明內(nèi)容】

[0006] (1)基于信念傳播的能量?jī)?yōu)化法的變化檢測(cè)原理
[0007] 信念傳播算法是一種建立在以馬爾科夫隨機(jī)場(chǎng)模型上的能量函數(shù)優(yōu)化方法，用于 求解概率圖模型中的概率推斷問(wèn)題，信念傳播算法利用已知節(jié)點(diǎn)的消息，迭代傳遞給鄰近 節(jié)點(diǎn)，從而計(jì)算出各個(gè)未知節(jié)點(diǎn)的邊緣概率分布。
[0008] 將MRF中的每個(gè)節(jié)點(diǎn)看作一個(gè)信念變量，消息傳播過(guò)程包含消息傳遞和消息更新 兩個(gè)步驟，信念傳播過(guò)程中每個(gè)節(jié)點(diǎn)都要向其鄰域節(jié)點(diǎn)傳遞當(dāng)前最新消息，鄰節(jié)點(diǎn)接收到 消息后立即更新自身消息直到算法收斂，即節(jié)點(diǎn)接收消息后自身信息量不再變化。
[0009] 定義變量表示第t次迭代從節(jié)點(diǎn)i向其鄰節(jié)點(diǎn)j傳遞的消息，其值代表的是 節(jié)點(diǎn)j處于某一狀態(tài)的概率大小，其中節(jié)點(diǎn)i和j互為鄰節(jié)點(diǎn)，且兩者的消息值關(guān)系密切。 [0010]節(jié)點(diǎn)i狀態(tài)的概率定義為1^( Χι)，表示節(jié)點(diǎn)i處于狀態(tài)X的概率，也可理解為信念傳 播過(guò)程中節(jié)點(diǎn)i的信息量，可由下式表示：
[0012]其中N⑴表示節(jié)點(diǎn)i的相鄰節(jié)點(diǎn)集，節(jié)點(diǎn)i處于狀態(tài)X的概率由空間局部證據(jù)(^ (Xl)和所有相鄰節(jié)點(diǎn)的消息之
構(gòu)成。每個(gè)消息的計(jì)算公式如下：
[0016]式⑶中N(q)\p表示除p節(jié)點(diǎn)外q的其他鄰域像素，表示第t-Ι次更新 像素q獲得的信息量，紅滿巾心:)分別表示空域信息和時(shí)域信息。
[0017] (2)空間域信息量的計(jì)算方法
[0018]通常背景像素比變化像素更加平滑，背景像素間的相關(guān)函數(shù)值比背景與變化像素 之間的相關(guān)函數(shù)值要小，根據(jù)這一規(guī)律可以判斷像素歸屬，實(shí)現(xiàn)背景與變化目標(biāo)分離。將序 列圖像的背景看成一個(gè)馬爾科夫隨機(jī)場(chǎng)，其每個(gè)像素對(duì)應(yīng)馬爾科夫隨機(jī)場(chǎng)中相同位置的節(jié) 點(diǎn)。選取時(shí)域和空域相關(guān)函數(shù)作為信念傳播過(guò)程中節(jié)點(diǎn)間交流的信息，當(dāng)節(jié)點(diǎn)位置固定，節(jié) 點(diǎn)所對(duì)應(yīng)的值隨時(shí)間發(fā)生變化，這時(shí)不同值之間的相關(guān)程度可以由時(shí)域相關(guān)函數(shù)表示，節(jié) 點(diǎn)與其鄰域節(jié)點(diǎn)的相關(guān)程度則由空域相關(guān)函數(shù)表示。
[0019]設(shè)空域相關(guān)函數(shù)用<表示，意為t時(shí)刻像素點(diǎn)i和像素點(diǎn)j的相關(guān)性，其中i矣j?？?域相關(guān)函數(shù)可取像素間的絕對(duì)差(?)=丨^|、平方差<(7,'，/;) = (7;-/;)2 、和相對(duì) 差〇;,/;)=μ,'-/;|/τ；作為空域信息函數(shù)。
[0020] (3)時(shí)間域信息量的計(jì)算方法
[0021] 一般在靜止背景場(chǎng)景中，某一像素點(diǎn)出現(xiàn)頻率越高則認(rèn)為他屬于背景像素的概率 越大。當(dāng)遇到更復(fù)雜場(chǎng)景時(shí)，即背景像素空域并不那么平滑，相關(guān)函數(shù)值較大，如動(dòng)態(tài)場(chǎng)景、 惡劣環(huán)境、相機(jī)抖動(dòng)等情況。此時(shí)，僅利用像素之間的空域信息得到的檢測(cè)結(jié)果誤差極大， 而通過(guò)聯(lián)合像素時(shí)域信息可以有效提高檢測(cè)性能，因?yàn)楸尘爸懈蓴_的像素集往往具有一定 的周期性和規(guī)律，如飄揚(yáng)的旗幟、波動(dòng)的水面以及播放中的顯示屏等，而背景像素在時(shí)間上 具有緩變特性，可以用來(lái)彌補(bǔ)空域信息在復(fù)雜場(chǎng)景中容易受到干擾的缺陷。此類情況下，變 化像素的時(shí)域相關(guān)函數(shù)值要大于背景像素的時(shí)域相關(guān)函數(shù)值，所以空域和時(shí)域的聯(lián)合可以 提高檢測(cè)的準(zhǔn)確率。
[0022] 時(shí)域相關(guān)函數(shù)用#^表示，時(shí)域相關(guān)函數(shù)可取均值平方差#" -7/、中值平方
其中0 < τ < 1，具體取值根據(jù)場(chǎng)景來(lái) 定，若序列圖像連續(xù)性較好τ可取較大值。7、Imed和疒分別表示時(shí)間段Τ內(nèi)輸入的圖像序列 在像素點(diǎn)i處的均值、中值和增量值。
[0023] -般在室外場(chǎng)景中背景容易受到光照、雨雪等天氣變化的干擾，背景總是處于不 斷變化之中，因此僅僅利用局部時(shí)間段內(nèi)的均值等數(shù)據(jù)計(jì)算得到的參考背景是不合適的， 因其會(huì)導(dǎo)致時(shí)間相關(guān)函數(shù)存在較大誤差。由于背景的顏色和灰度具有緩慢變化的特性，背 景像素的變化通常是平滑連續(xù)的，基于背景像素穩(wěn)定性特征提出一種新的時(shí)間域信息函 數(shù)。定義t時(shí)刻時(shí)間矩陣浐用于度量像素點(diǎn)的時(shí)間穩(wěn)定性，時(shí)間矩陣公式如下：
[0025] 其中c為判斷背景像素變化的閾值，(^=|Γ_?Μ|為兩幀圖像之間的距離，7T值越 大說(shuō)明像素i越穩(wěn)定，反之亦然。本發(fā)明利用信念傳播得到的檢測(cè)結(jié)果作為ΤΗ十算的依據(jù)， 而不是簡(jiǎn)單地采用幀差計(jì)算f。
[0026] 在t時(shí)刻獲取背景初始估計(jì)杈=^，估計(jì)背景和時(shí)間矩陣更新公式如下：
[0027] B^lV+B^HE-M*) (5)
[0028] t^T^H-M^+T^HE-M*) (6)
[0029] 其中E為單位矩陣
Μ用于記錄時(shí)間矩陣疒的符號(hào)變化，"=0。對(duì) 時(shí)間矩陣Γ進(jìn)行更新的目的是對(duì)穩(wěn)定區(qū)域進(jìn)行加強(qiáng)，其他區(qū)域加入當(dāng)前幀圖像的信息。估 計(jì)得到的Μ作為當(dāng)前參考背景，將當(dāng)前幀實(shí)際背景與估計(jì)出來(lái)的參考背景做差后平方，本 發(fā)明采用的時(shí)間域信息函數(shù)公式如下：
[0031] 其中0<τ<1，岑為像素點(diǎn)i處采用時(shí)間矩陣估計(jì)得到的背景。
[0032] (4)變化目標(biāo)的分離
[0033]信念傳播算