本發(fā)明涉及一種基于運動顯著圖和光流矢量分析的動態(tài)背景目標分割方法。

背景技術(shù)：

視頻序列運動目標分割是計算機視覺領(lǐng)域中的重要而基礎(chǔ)的研究方向，在人機交互、視覺導(dǎo)航、視頻監(jiān)控、智能交通等領(lǐng)域有著廣泛的應(yīng)用。根據(jù)攝像機是否運動，可以分為靜態(tài)背景目標分割和動態(tài)背景目標分割兩類。靜態(tài)背景目標分割中，攝像機保持靜止不動而只有目標運動，此種情況下實現(xiàn)運動目標的分割較為容易，已廣泛應(yīng)用于停車場、廣場、公路交通等固定場景的視頻監(jiān)控中，常用的方法包括幀差法、混合高斯模型、基于核密度估計的自適應(yīng)背景模型、隱馬爾可夫背景模型等。而實際應(yīng)用中為了擴大監(jiān)控范圍，常常伴有攝像機云臺也隨著目標一起運動的情況，此時會造成視頻序列的背景發(fā)生變化，形成動態(tài)背景。動態(tài)背景目標分割中，攝像機發(fā)生了平移、旋轉(zhuǎn)或光心運動，導(dǎo)致不同時刻同一背景圖像坐標像素點不再對應(yīng)三維空間的同一位置，增加了運動目標分割的難度，是當前運動目標分割研究的重點和難點問題。

為了實現(xiàn)動態(tài)背景下的運動目標分割，很多學者采用補償差分的策略，此類方法的關(guān)鍵是如何準確估計和補償相鄰幀的背景運動參數(shù)，從而將問題轉(zhuǎn)化為靜態(tài)背景下的目標分割問題，消除背景運動給目標分割帶來的影響。陸軍等人采用塊匹配方法對背景運動進行估計，并實現(xiàn)了一套基于背景運動補償差分的運動目標分割和跟蹤系統(tǒng)，然而上述方法僅適用于攝像機微小平移和旋轉(zhuǎn)的情況，對于攝像機光心變換較大的場合無法適用。張兆陽等人采用徑向運動補償和像素值重分配實現(xiàn)運動補償，并通過多幀差分運算提取視頻序列的運動目標，該方法同樣僅適用于背景變化不大的特殊場合，對于背景變化明顯或攝像機變焦的情況，其處理效果較差。araki等人首先將背景運動建模為六參數(shù)的仿射模型，然后利用角點特征匹配方法對背景運動進行估計，最后通過前后多幀的差分圖像分割出運動物體，然而現(xiàn)有的角點匹配方法受角點提取誤差和環(huán)境變化影響較大，從而導(dǎo)致該方法的穩(wěn)定性較差。suhr等人采用了相似的思路，不同之處在于將背景運動建模為三參數(shù)的相似變換，因此可通過提取水平和垂直兩方向上的圖像局部極大值和極小值來估計模型參數(shù)，從而解決了角點匹配方法對環(huán)境適應(yīng)性差的問題。

動態(tài)背景運動目標分割的另一種解決思路是利用視頻序列中提取的特征點運動軌跡，特別是隨著brox等人對特征軌跡之間的距離進行了準確定義之后，更使得此類方法成為運動目標分割領(lǐng)域的研究熱點。dey等人利用視頻序列獨立提取和跟蹤的特征點運動軌跡，提出一種基于基礎(chǔ)矩陣約束的運動目標分割方法，然而該方法僅實現(xiàn)了特征運動軌跡的準確分類，并未實現(xiàn)最終的像素一級的運動目標分割。cui等人構(gòu)造了包含目標運動軌跡和背景運動軌跡的軌跡矩陣，并通過低秩約束和組稀疏約束實現(xiàn)運動目標分割，該方法在動態(tài)背景視頻序列中取得了較好的實驗效果，但其實現(xiàn)過程需要矩陣分解和迭代運算，復(fù)雜性較高。kwak等人通過非參數(shù)置信傳播估計前背景特征軌跡滿足的運動模型，并通過貝葉斯濾波完成模型的傳播，方法能夠減小噪聲和不完整特征軌跡造成的影響，但對于前背景顏色相近的區(qū)域分割效果不理想。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的缺陷，提供一種基于運動顯著圖和光流矢量分析的動態(tài)背景目標分割方法。

為了解決上述技術(shù)問題，本發(fā)明提供了如下的技術(shù)方案：

本發(fā)明公開了一種基于運動顯著圖和光流矢量分析的動態(tài)背景目標分割方法，其特征在于，包括以下步驟：

s1、基于灰度投影的運動顯著圖獲?。?/p>

s11、采用運動顯著圖來獲取運動目標的大致區(qū)域，具體是指在水平和垂直兩個方向上對圖像像素的灰度值進行投影，從而把二維圖像轉(zhuǎn)換為兩條一維特性曲線；

s12、對鄰近幀圖像的特性曲線進行相關(guān)計算，得到鄰近幀圖像之間的運動平移量；

s2、基于光流矢量的目標像素點計算：

s21、借助鄰近幀之間的光流場獲得運動目標和背景區(qū)域的運動邊界；

s22、利用運動邊界對運動顯著圖進行分析，從而得到運動目標內(nèi)部精確的像素點；

s3、基于置信度的超像素分類：

s31、利用slic算法獲得視頻序列的超像素集合；

s32、對置信度較高的超像素進行分類；

s33、對置信度較低的超像素進行分類。

進一步地，步驟s1具體為：

設(shè)pt(i,j)為第t幀圖像中位置為(i,j)處的像素值，那么該幀圖像在x和y方向的特征曲線和可表示為

其中w和h分別表示當前幀圖像的寬度和高度；為了準確估計鄰近幀圖像在x和y方向上的平移量dx和dy，按下式計算匹配度量函數(shù)

其中l(wèi)為鄰近幀圖像之間的間隔幀數(shù)；顯然在鄰近幀圖像中，由于大部分圖像內(nèi)容是相同的，因此其特性曲線也基本相似，但由于攝像機運動導(dǎo)致了圖像的整體移動，導(dǎo)致其對應(yīng)的特性曲線會產(chǎn)生平移，并且當平移量估計正確時，特性曲線的匹配度量函數(shù)應(yīng)該取得最大值，因此可計算得到平移量的估計值和

根據(jù)上述平移量的估計值，可計算得到第t幀圖像的運動顯著圖st(i,j)

進一步地，步驟s2具體為：

設(shè)ft(i,j)為第t幀圖像位置為(i,j)處的光流矢量，為其對應(yīng)的光流梯度幅值，則可得到一個邊界強度系數(shù)bt(i,j)∈[0,1]

其中λ為將邊界強度系數(shù)bt(i,j)控制在0至1范圍內(nèi)的參數(shù)；由于運動目標與背景區(qū)域邊界處的光流矢量梯度幅值差異較大，因此可將強度系數(shù)bt(i,j)較大的像素點確定為二者的運動邊界；在得到運動目標和背景區(qū)域的大致邊界后，本發(fā)明進一步計算運動顯著圖中像素與運動邊界的交點，從而得到運動目標內(nèi)部精確的像素點；具體做法是：

步驟1：對視頻序列的每幀圖像，利用步驟s1得到運動顯著圖，通過設(shè)定一個較小閾值t1得到大致的運動目標區(qū)域

步驟2：利用公式(8)得到該幀圖像對應(yīng)的邊界強度系數(shù)，同樣通過設(shè)定一個較小閾值t2得到運動目標和背景區(qū)域的大致運動邊界

步驟3：將中的每個像素點向上、下、左、右四個方向引出射線，并計算每條射線與運動邊界的交點數(shù)目，若交點數(shù)目為奇數(shù)，則判斷該點在運動邊界內(nèi)部，否則，判斷該點在運動邊界外部；

步驟4：統(tǒng)計中每個像素4個方向引出射線與運動邊界交點為奇數(shù)的射線數(shù)目，若超過2個，則認為該點屬于運動目標內(nèi)部的像素點。

進一步地，步驟s3具體為：

設(shè)第t幀圖像獲得的超像素集合為vt，則本步驟的目標就是對每個超像素vt,i進行分類，即vt,i∈{f,b}，其中f代表目標超像素，b代表背景超像素；

然后對置信度較高的超像素進行分類；置信度用于衡量超像素與步驟s2獲得的目標內(nèi)部像素點的符合程度，即如果超像素vt,i中包含已獲得的目標內(nèi)部像素點的比例ht,i大于某個大的閾值t3，則可認為該超像素具有很高的置信度屬于運動目標，同理若ht,i小于某個小的閾值t4，則可認為該超像素具有很高的置信度屬于背景，從而可將置信度較高的超像素分類為目標超像素和背景超像素，如下式所示

最后對置信度較低的超像素進行分類；置信度較低的超像素是指目標內(nèi)部像素點的比例ht,i介于閾值t3和t4之間的歧義超像素；為了對這些超像素進行分類，本發(fā)明從置信度較高超像素中隨機抽樣20％的像素點，并以這些點構(gòu)建運動目標和背景的統(tǒng)計模型，最后通過估計歧義超像素與統(tǒng)計模型的符合程度，實現(xiàn)對置信度較低超像素的分類，如下式所示

上式中，a(vt,i|c)表示歧義超像素vt,i屬于背景或運動目標的概率，|vt,i|和n分別表示歧義超像素中像素點和采樣像素點的數(shù)目，和wk分別表示歧義超像素中像素點和采樣像素點的特征向量。

本發(fā)明所達到的有益效果是：針對現(xiàn)有方法的局限性，本發(fā)明提出一種基于運動顯著圖和光流矢量分析的動態(tài)背景目標分割方法。該方法首先基于運動顯著圖提取運動目標的大致區(qū)域，然后借助鄰近幀之間的光流場獲得運動目標和背景區(qū)域的運動邊界，并利用運動邊界對運動顯著圖進行分析，從而得到運動目標內(nèi)部精確的像素點，最后通過過分割技術(shù)獲取圖像超像素，并通過引入置信度的概念和建立包含多種信息的表觀模型實現(xiàn)最終像素一級的目標分割。本發(fā)明方法在多組公開發(fā)布的視頻序列中進行測試，并通過與現(xiàn)有方法的比較驗證了本發(fā)明方法的有效性和優(yōu)越性。

附圖說明

附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1是本發(fā)明實施例中運動顯著圖的結(jié)果示例圖；

圖2是本發(fā)明實施例中運動邊界與目標像素點計算的結(jié)果示例圖；

圖3是圖2所示圖像對應(yīng)的超像素分類結(jié)果圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進行說明，應(yīng)當理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

s1、基于灰度投影的運動顯著圖獲取

運動顯著性是由視覺敏感特征引起的一種局部反差，反差越明顯，其顯著性越強，而運動顯著圖則是反映場景圖像中各個位置運動顯著性的一幅二維圖像。本發(fā)明考慮到運動目標區(qū)域與背景區(qū)域在運動方面的差異性，首先采用運動顯著圖來獲取運動目標的大致區(qū)域，其核心思想是在水平和垂直兩個方向上對圖像像素的灰度值進行投影，從而把二維圖像轉(zhuǎn)換為兩條一維特性曲線，然后對鄰近幀圖像的特性曲線進行相關(guān)計算，得到鄰近幀圖像之間的運動平移量。設(shè)pt(i,j)為第t幀圖像中位置為(i,j)處的像素值，那么該幀圖像在x和y方向的特征曲線和可表示為

其中w和h分別表示當前幀圖像的寬度和高度。為了準確估計鄰近幀圖像在x和y方向上的平移量dx和dy，按下式計算匹配度量函數(shù)

其中l(wèi)為鄰近幀圖像之間的間隔幀數(shù)。顯然在鄰近幀圖像中，由于大部分圖像內(nèi)容是相同的，因此其特性曲線也基本相似，但由于攝像機運動導(dǎo)致了圖像的整體移動，導(dǎo)致其對應(yīng)的特性曲線會產(chǎn)生平移，并且當平移量估計正確時，特性曲線的匹配度量函數(shù)應(yīng)該取得最大值，因此可計算得到平移量的估計值和

根據(jù)上述平移量的估計值，可計算得到第t幀圖像的運動顯著圖st(i,j)

圖1給出了一個運動顯著圖估計的具體實例，其中第1列為dog視頻序列的一幀原始圖像，第2列為該幀圖像對應(yīng)的運動顯著圖，圖中灰度值越接近1，表示其運動顯著性越明顯，即越可能是運動目標，灰度值越接近0，則表示其為背景像素的可能性越大。

s2、基于光流矢量的目標像素點計算

在上文所述的運動顯著圖估計中，我們可通過設(shè)定一個適當閾值，并將運動顯著性大于該閾值的像素判斷為運動目標，然而實際應(yīng)用中由于圖像噪聲、平移估計誤差等多種因素的影響，使得運動顯著圖在運動目標附近的背景區(qū)域具有較低的準確率，因此若將閾值設(shè)置較小，將會將大量背景區(qū)域誤分類為運動目標，而將閾值設(shè)置過大，將會導(dǎo)致運動目標的分割不完整。為解決上述問題，本發(fā)明首先借助鄰近幀之間的光流場獲得運動目標和背景區(qū)域的運動邊界，然后利用運動邊界對運動顯著圖進行分析，從而得到運動目標內(nèi)部精確的像素點。

本發(fā)明利用brox等人提出的算法計算鄰近l幀圖像之間的光流場，此時獲得的光流場分為背景光流場和運動目標光流場兩類，并且二者的光流矢量存在較大差異，因此可通過光流矢量的對比分析得到二者的運動邊界。設(shè)ft(i,j)為第t幀圖像位置為(i,j)處的光流矢量，為其對應(yīng)的光流梯度幅值，則可得到一個邊界強度系數(shù)bt(i,j)∈[0,1]

其中λ為將邊界強度系數(shù)bt(i,j)控制在0至1范圍內(nèi)的參數(shù)。由于運動目標與背景區(qū)域邊界處的光流矢量梯度幅值差異較大，因此可將強度系數(shù)bt(i,j)較大的像素點確定為二者的運動邊界。在得到運動目標和背景區(qū)域的大致邊界后，本發(fā)明進一步計算運動顯著圖中像素與運動邊界的交點，從而得到運動目標內(nèi)部精確的像素點。具體做法是：

步驟1：對視頻序列的每幀圖像，利用s1步驟得到運動顯著圖，通過設(shè)定一個較小閾值t1得到大致的運動目標區(qū)域

步驟2：利用公式(8)得到該幀圖像對應(yīng)的邊界強度系數(shù)，同樣通過設(shè)定一個較小閾值t2得到運動目標和背景區(qū)域的大致運動邊界

步驟3：將中的每個像素點向上、下、左、右四個方向引出射線，并計算每條射線與運動邊界的交點數(shù)目，若交點數(shù)目為奇數(shù)，則判斷該點在運動邊界內(nèi)部，否則，判斷該點在運動邊界外部；

步驟4：統(tǒng)計中每個像素4個方向引出射線與運動邊界交點為奇數(shù)的射線數(shù)目，若超過2個，則認為該點屬于運動目標內(nèi)部的像素點。

將上述方法應(yīng)用到圖1所示圖像中，得到圖2所示結(jié)果，其中第1列為運動目標和背景區(qū)域的運動邊界，第2列為其對應(yīng)的目標內(nèi)部像素點，其中目標內(nèi)部像素點以白色菱形顯示。

s3、基于置信度的超像素分類

由于運動顯著圖和運動邊界的估計均有一定誤差，因此通過上述步驟獲得的目標內(nèi)部像素點較稀疏，一般只占目標真實像素數(shù)目的20％左右。為了進一步獲得完整的運動目標分割結(jié)果，本發(fā)明以超像素為基本分割單元，并通過引入置信度的概念實現(xiàn)超像素的分類。

首先利用slic算法獲得視頻序列的超像素集合。該算法利用像素的顏色相似度和圖像平面空間對像素進行聚類，生成的超像素具有較好的緊湊性和邊界貼合度，并且超像素大小一致、形狀均勻，非常適合作為運動目標分割的基本單元。設(shè)第t幀圖像獲得的超像素集合為vt，則本步驟的目標就是對每個超像素vt,i進行分類，即vt,i∈{f,b}，其中f代表目標超像素，b代表背景超像素。

然后對置信度較高的超像素進行分類。置信度用于衡量超像素與步驟s2獲得的目標內(nèi)部像素點的符合程度，即如果超像素vt,i中包含已獲得的目標內(nèi)部像素點的比例ht,i大于某個大的閾值t3，則可認為該超像素具有很高的置信度屬于運動目標，同理若ht,i小于某個小的閾值t4，則可認為該超像素具有很高的置信度屬于背景，從而可將置信度較高的超像素分類為目標超像素和背景超像素，如下式所示

最后對置信度較低的超像素進行分類。置信度較低的超像素是指目標內(nèi)部像素點的比例ht,i介于閾值t3和t4之間的歧義超像素。為了對這些超像素進行分類，本發(fā)明從置信度較高超像素中隨機抽樣20％的像素點，并以這些點構(gòu)建運動目標和背景的統(tǒng)計模型，最后通過估計歧義超像素與統(tǒng)計模型的符合程度，實現(xiàn)對置信度較低超像素的分類，如下式所示

上式中，a(vt,i|c)表示歧義超像素vt,i屬于背景或運動目標的概率，|vt,i|和n分別表示歧義超像素中像素點和采樣像素點的數(shù)目，和wk分別表示歧義超像素中像素點和采樣像素點的特征向量，本發(fā)明中每個特征向量包含7維特征信息，分別是rgb顏色、光流矢量和像素位置。

圖3給出了圖2所示圖像對應(yīng)的超像素分類結(jié)果，其中超像素之間的邊界用黃色線段表示，背景超像素用暗灰色表示，目標超像素則保持原有顏色。

最后應(yīng)說明的是：以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，盡管參照前述實施例對本發(fā)明進行了詳細的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。