專利名稱：基于快速圖像配準(zhǔn)的視角變化條件下視頻前景提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻與圖像處理領(lǐng)域，尤其涉及一種基于快速圖像配準(zhǔn)的視角 變化條件下視頻前景提取方法。
技術(shù)背景前景提取是指將視頻中的前景物體(如人物)和背景相分離的過(guò)程。前景 的位置、形狀、運(yùn)動(dòng)等信息對(duì)于圖像和視頻理解非常關(guān)鍵，許多后期的視覺(jué)分 析都是基于前景提取的結(jié)果。例如，安全監(jiān)控系統(tǒng)可以通過(guò)前景提取來(lái)監(jiān)控特定的動(dòng)作與行為；交通監(jiān)控系統(tǒng)可以根據(jù)前景(車(chē)輛)提取來(lái)評(píng)估交通狀態(tài)； 人機(jī)交互系統(tǒng)可以通過(guò)提取的前景來(lái)識(shí)別人體的手勢(shì)或動(dòng)作從而產(chǎn)生響應(yīng)；動(dòng) 作捕獲系統(tǒng)可以通過(guò)前景提取來(lái)恢復(fù)三維人體運(yùn)動(dòng)；視頻和動(dòng)畫(huà)編緝系統(tǒng)則可 以通過(guò)前景提取將一段視頻的前景附加到另外一段視頻上，從而產(chǎn)生特效。復(fù)雜條件下的前景提取是一項(xiàng)較困難的工作，困難主要來(lái)源于背景的高度 復(fù)雜性，背景本身的變化，以及相機(jī)運(yùn)動(dòng)帶來(lái)的視角變化。背景減除法 (background subtraction)是一種廣泛使用的方法，它假定背景已知而且是靜態(tài)的， 通過(guò)將視頻幀和背景圖像進(jìn)行逐像素比較來(lái)提取前景。這種方法在背景本身發(fā) 生變化或者相機(jī)發(fā)生運(yùn)動(dòng)的情況下顯然會(huì)失效。為了解決背景的局部變化問(wèn)題(如搖擺的樹(shù)枝，蕩漾的水波)，混合高斯模型(Mixture Gaussian Model)方法被 廣泛使用，如1999年在IEEE Conference on Computer Vision and Pattern Recognition(CVPR)會(huì)議上發(fā)表的《Adaptive background mixture models for realtime tracking》。該方法認(rèn)為，圖像上每個(gè)像素的顏色值可以有多個(gè)來(lái)源。例 如，隨著樹(shù)枝的搖擺，某個(gè)像素在某些時(shí)刻對(duì)應(yīng)著樹(shù)葉的顏色，而在另一些時(shí) 刻對(duì)應(yīng)著天空的顏色。于是，可以用混合高斯模型來(lái)對(duì)各個(gè)像素的顏色值進(jìn)行 建模。為了解決陰影和高亮等光照問(wèn)題，1999年的IEEE ICCV Fmme-mte Workshop上發(fā)表了 《A statistical approach for real-time robust background subtraction and shadow detection》 一文，公開(kāi)了一種將色品和亮度分離的顏色模 型擴(kuò)展了傳統(tǒng)的背景減除方法。為了解決背景的緩慢的變化問(wèn)題(如光照的漸 變)，還有一些方法通過(guò)自適應(yīng)的濾波來(lái)不斷的更新背景統(tǒng)計(jì)模型，如1997年 在IEEE Transactions on Pattern Analysis and Machine Intelligence上發(fā)表的《Pfmder: Real-time tracking of human body》。另一種方法則使用隱馬爾科夫模 型(Hidden Markov Model)來(lái)解決背景本身的變化，如2002年在IEEE Transactionson Pattern Analysis and Machine Intelligence 上發(fā)表的《An HMM based segmentation method for traffic monitoring movies》。
以上方法的共同點(diǎn)在于，他們都假定拍照的相機(jī)是靜止不動(dòng)的，即整個(gè)視 頻的視角是保持不變的。而事實(shí)上，現(xiàn)實(shí)中的大多數(shù)視頻拍攝時(shí)相機(jī)都是運(yùn)動(dòng) 的。例如，很多視頻是用手持相機(jī)拍攝的，手的抖動(dòng)會(huì)使視角發(fā)生變化；很多 監(jiān)控相機(jī)通過(guò)旋轉(zhuǎn)視角來(lái)監(jiān)控大范圍的區(qū)域。在這些情況下，傳統(tǒng)背景減除方 法都不可用。如圖1， (a)是一包含前景的視頻幀；(bl)是處于相同視角的背景 圖像；(cl)是由于相機(jī)抖動(dòng)而視角略有位移的背景圖像;(b2)和(c2)分別是利用(bl) 和(cl)通過(guò)背景減除獲得的前景圖?？梢钥闯觯尘皽p除對(duì)視角的微小變化也 非常敏感。
另一方面，研究人員也提出了某些專門(mén)針對(duì)運(yùn)動(dòng)相機(jī)的前景提取方法。例 如，2000年在IEEE Conference on Computer Vision and Pattern Recognition(CVPR) 會(huì)議上發(fā)表的《Scene modeling for wide area surveillance and image synthesis》禾!j 用一系列不同視角的圖像建立視頻全景圖，然后對(duì)于新視頻幀，首先定位它在 全景圖中的位置，然后再用背景減除提取前景。這種方法在有運(yùn)動(dòng)視差(motion parallax)的情況下會(huì)失效。2000年在IEEE Transactions on Pattern Analysis and Machine Intelligence 上發(fā)表的《Detecting salient motion by accumulating directionally-consistent flow》通過(guò)計(jì)算光流(optical flow),將光流不一致的局部 區(qū)域作為前景。這種方法假定前景的運(yùn)動(dòng)和背景有顯著的不同，且前景的運(yùn)動(dòng) 方向要始終保持一致。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前景提 取方法。
基于快速圖像配準(zhǔn)的視角變化條件下視頻前景分割的方法包括離線的背景 訓(xùn)練和在線的前景分割兩個(gè)階段，
離線的背景訓(xùn)練階段包括如下步驟
(1) 獲取訓(xùn)練背景圖像集(^J;
(2) 利用訓(xùn)練背景圖像集來(lái)進(jìn)行Isomap流形學(xué)習(xí)，獲得其所在的低維流形；
(3) 利用窗口相關(guān)性方法、基于角點(diǎn)的插值和基于局部高斯模型的奇異值去 除方法來(lái)計(jì)算在背景流形上位置接近的訓(xùn)練背景圖像之間的光流；
在線的前景分割階段包括如下步驟
(4) 對(duì)每個(gè)新來(lái)的包含前景的視頻幀F(xiàn)，首先利用擴(kuò)展的Isomap計(jì)算該幀在背景流形上的位置；(5) 在計(jì)算獲得新視頻幀F(xiàn)在背景流形上的位置之后，在背景流形的局部歐 氏范圍內(nèi)進(jìn)行光流插值，得到從最接近的背景訓(xùn)練圖像5(F)到F的光流(6) 根據(jù)5("和Ow構(gòu)造出和F處在完全相同的視角下的背景圖像5^(7) 利用圖像F和B^，通過(guò)背景減除，即獲得F的前景區(qū)域，完成了尸的 前景分割。所述的獲取訓(xùn)練背景圖像集{^}:拍攝不同視角的背景圖像來(lái)獲取訓(xùn)練背景 圖像集，或者使用視頻中空的不包含前景的背景幀作為訓(xùn)練背景圖像集。所述的利用訓(xùn)練背景圖像集來(lái)進(jìn)行Isomap流形學(xué)習(xí)，獲得訓(xùn)練背景圖像集 所在的低維流形對(duì)于D維向量集^J ("=1,2, ...，AO，首先計(jì)算一個(gè)iVxAT的 距離矩陣S，公式如下&叫|萬(wàn),-刷(/,7.= 1,2，...局， 1其中IIA-AII即為A與^之間的i:2距離；然后，根據(jù)距離矩陣s構(gòu)造最短路徑矩陣S，，即方陣^，記錄了(^J中任意兩個(gè)頂點(diǎn)A和A之間的最短路徑；然后， 由距離矩陣S'來(lái)構(gòu)造矩陣M:其中的矩陣i/由i^.—廣l/iV定義；于是，(5J在d維流形上的映射(C")(^《D) 由下式計(jì)算<formula>formula see original document page 7</formula>其中A, 4，...， 4為矩陣M的前d個(gè)非負(fù)特征值(降序排列)，。,e2，…,^是對(duì) 應(yīng)的特征向量，{ 5 }的本征維度J由降維后的殘差確定，當(dāng)殘差變化曲線停 止隨維度上升而降低時(shí)，維度作為本征維度丄所述的利用窗口相關(guān)性方法、基于角點(diǎn)的插值和基于局部高斯模型的奇異 值去除方法來(lái)計(jì)算在背景流形上位置接近的訓(xùn)練背景圖像之間的光流對(duì)于{5 } 中任一樣本A，在流形上尋找它最接近的A:個(gè)鄰居并計(jì)算5,和每個(gè)鄰居間的光 流；計(jì)算從尿到5/的光流的方法如下定義一個(gè)局部窗口大小，對(duì)于5,上的點(diǎn) iV(Xo,內(nèi))，在5/的(X(Hyo)點(diǎn)附近尋找點(diǎn)尸，:(x。+Ax,少。+A力，使得^.上以尸，為中心 的窗口和5,上以為中心的窗口的相關(guān)性最大，相關(guān)性定義為Zu偶<formula>formula see original document page 7</formula>其中^和『2為兩個(gè)窗口， ^和^為窗口 ^和『2的顏色均值；只計(jì)算角點(diǎn)處 的光流，同時(shí)，非角點(diǎn)處光流采用A近鄰插值由鄰近的角點(diǎn)處光流插值得到；在插值之前，采用局部高斯模型去除角點(diǎn)處光流的奇異值，用EM算法來(lái)迭代 去除角點(diǎn)處光流的奇異值，在EM算法的每一步迭代中，對(duì)每個(gè)不為奇異值的 光流^，利用其他臨近的到不為奇異值的光流來(lái)計(jì)算一個(gè)局部高斯模型，然后 利用這個(gè)局部高斯模型來(lái)判斷O,是否應(yīng)為奇異值。所述的對(duì)每個(gè)新來(lái)的包含前景的視頻幀F(xiàn)，首先利用擴(kuò)展的Isomap計(jì)算該 幀在背景流形上的位置位置坐標(biāo)計(jì)算公式如下其中，》是由Isomap計(jì)算的樣本間距離矩陣S的列向量的均值，粘+1是新視頻 幀和訓(xùn)練背景圖像的距離平方組成的iV維向量，C是所有訓(xùn)練樣本的低維坐標(biāo) 構(gòu)成的矩陣，C^表示矩陣C的偽逆的轉(zhuǎn)置。所述的在計(jì)算獲得新視頻幀F(xiàn)在背景流形上的位置之后，在背景流形的局 部歐氏范圍內(nèi)進(jìn)行光流插值，得到從最接近的背景訓(xùn)練圖像B(F)到F的光流 設(shè)背景流形維數(shù)為A選取在背景流形上和F距離最接近的d+l個(gè)訓(xùn)練背 景圖像5(F),52, ...，5rf+1，將背景流形上從5(F)到52，從5(F)到丑3，…，從B(/0 到BrfW的向量分別用<formula>formula see original document page 8</formula>來(lái)表示，將從5(F)到F的向量用v胖表示， 則v^可以由下式表達(dá)成 的線性組合<formula>formula see original document page 8</formula>再令052, CW表示從丑CO到丑2，從丑("到丑3，...，從丑("到A+l的光流，令0^表示從5(F)到F的向量，則0^可以用同樣的權(quán)重由下式快速計(jì)算得到-<formula>formula see original document page 8</formula>其中Ob3,...， 0^w)已在背景訓(xùn)練訓(xùn)練階段計(jì)算得到。所述的根據(jù)5("和0^構(gòu)造出一個(gè)圖像獲得和F處在完全相同的視角下的背景圖像5r設(shè)圖像高/z像素，寬W像素，首先構(gòu)造一個(gè)的空?qǐng)D像作為5f的初始圖像；^的像素(x,力的顏色由下式計(jì)算<formula>formula see original document page 8</formula> 8 所述的利用圖像F和與其處在完全相同視角下的背景圖像Bp通過(guò)背景減除，即獲得F的前景區(qū)域，完成了F的前景分割對(duì)于每個(gè)像素坐標(biāo)(X，力，計(jì) 算F和5f的顏色i /G/S三分量差值-<formula>formula see original document page 9</formula>
其中C(x,力耿^表示兩幅圖像的(x,力像素顏色的i /C /B分量差值，F(xiàn)(x,力表示圖 像F的像素(x,力顏色 分量，&(x，力 脆/s 表示圖像5F的像素(x,力顏色i /G/B 分量；之后，計(jì)算向量C(x,力在RGB空間的代表亮度的長(zhǎng)度和代表色品的角度， 如果角度超過(guò)閾值，則像素(x,y)為前景像素，否則為背景像素。
本發(fā)明具有的有益的效果是方法具有準(zhǔn)確、魯棒和高效的特點(diǎn)。通過(guò)流 形學(xué)習(xí)的背景建模避免了在線階段的光流計(jì)算。所有的光流計(jì)算都在離線階段 預(yù)先完成，在線階段的光流通過(guò)插值的方式得到，極大地提高了效率，使得本 方法能夠?qū)崟r(shí)地對(duì)視頻進(jìn)行前景分割。由于對(duì)于每幀的前景提取是相互獨(dú)立的， 本方法也避免了跟蹤機(jī)制往往存在的誤差累積和難以從錯(cuò)誤中自動(dòng)恢復(fù)等問(wèn) 題。實(shí)驗(yàn)證明該方法在相機(jī)平移(tmnslating)、旋轉(zhuǎn)(panning/tilting)、滾動(dòng)(rolling)、 鏡頭縮放(zooming)等條件下均有良好的效果。


圖1是以背景流形維數(shù)"=2為例的流形上的光流插值過(guò)程； 圖2是實(shí)施例一所用的視頻的若干代表幀、每幀構(gòu)造出的背景、以及提取 的前景；
圖3是實(shí)施例二所用的視頻的若干代表幀、每幀構(gòu)造出的背景、以及提取 的前景。
具體實(shí)施例方式
基于快速圖像配準(zhǔn)的視角變化條件下視頻前景分割的方法包括離線的背景 訓(xùn)練和在線的前景分割兩個(gè)階段，
離線的背景訓(xùn)練階段包括如下步驟
(1) 獲取訓(xùn)練背景圖像集{5 };
(2) 利用訓(xùn)練背景圖像集來(lái)進(jìn)行Isomap流形學(xué)習(xí)，獲得其所在的低維流形;
(3) 利用窗口相關(guān)性方法、基于角點(diǎn)的插值和基于局部高斯模型的奇異值去 除方法來(lái)計(jì)算在背景流形上位置接近的訓(xùn)練背景圖像之間的光流；
在線的前景分割階段包括如下步驟
C4)對(duì)每個(gè)新來(lái)的包含前景的視頻幀F(xiàn)，首先利用擴(kuò)展的Isomap計(jì)算該幀 在背景流形上的位置；
(5)在計(jì)算獲得新視頻幀F(xiàn)在背景流形上的位置之后，在背景流形的局部歐 氏范圍內(nèi)進(jìn)行光流插值，得到從最接近的背景訓(xùn)練圖像丑(F)到F的光流(6) 根據(jù)5("和O胖構(gòu)造出和F處在完全相同的視角下的背景圖像5尸；
(7) 利用圖像F和5p通過(guò)背景減除，即獲得F的前景區(qū)域，完成了F的
前景分割。
所述的獲取訓(xùn)練背景圖像集(^J:拍攝不同視角的背景圖像來(lái)獲取訓(xùn)練背景 圖像集，或者使用視頻中空的不包含前景的背景幀作為訓(xùn)練背景圖像集。本方 法需要一組背景圖像{5 }用來(lái)進(jìn)行背景訓(xùn)練。這些圖像是不包含前景的純背景 圖像，并處于不同的視角下。{5 }所處的視角應(yīng)當(dāng)能夠大致涵蓋接下來(lái)在線提 取階段相機(jī)的運(yùn)動(dòng)范圍。例如，如果是為了解決相機(jī)由于手持而產(chǎn)生的抖動(dòng)， 則可以手持該相機(jī)在同一個(gè)場(chǎng)景下拍攝一些沒(méi)有前景的背景圖像作為{5 };如 果是處理已有的視頻，很多視頻中存在一些"空"的不包含任何前景的幀，這些幀 可以作為訓(xùn)練圖像；對(duì)于旋轉(zhuǎn)監(jiān)控相機(jī)，則可以手動(dòng)拍攝一些不同視角下的純 背景圖像。對(duì)于{5 }中的訓(xùn)練圖像數(shù)量， 一般而言，該數(shù)量隨著視角變化自由 度的增加而增加。例如，對(duì)于僅存在抖動(dòng)的情況，50幅左右的訓(xùn)練背景圖像就 可以達(dá)到良好的效果；對(duì)于相機(jī)大范圍旋轉(zhuǎn)的情況(典型的如旋轉(zhuǎn)監(jiān)控相機(jī))， 則需要200 300幅訓(xùn)練背景圖像；而如果相機(jī)同時(shí)存在旋轉(zhuǎn)、抖動(dòng)和縮放，則 需要500-600幅訓(xùn)練背景圖像。
所述的利用訓(xùn)練背景圖像集來(lái)進(jìn)行Isomap流形學(xué)習(xí)，獲得訓(xùn)練背景圖像集所 在的低維流形對(duì)于"維向量集{5 } "=l,2，...,AO，首先計(jì)算一個(gè)iVx7V的距 離矩陣S，公式如下
<formula>formula see original document page 10</formula> 1
其中iia-用|即為a與^之間的丄2距離；然后，根據(jù)距離矩陣S構(gòu)造最短路徑 矩陣51，， s卩方陣S，記錄了(a)中任意兩個(gè)頂點(diǎn)瑪和a之間的最短路徑；然后， 由距離矩陣S，來(lái)構(gòu)造矩陣Af:
其中的矩陣丑由i^.—廣l/iV定義；于是，(5J在d維流形上的映射(cJ(d《D) 由下式計(jì)算
<formula>formula see original document page 10</formula>
其中A, 4,..., ^為矩陣M的前J個(gè)非負(fù)特征值(降序排列)，^^2,...,^是對(duì)
應(yīng)的特征向量，{ B }的本征維度"由降維后的殘差確定，當(dāng)殘差變化曲線停 止隨維度上升而降低時(shí)，維度作為本征維度么
在獲取訓(xùn)練背景圖像集{&}之后，要對(duì){5 }進(jìn)行Isomap流形降維。假設(shè){&}在原始高維圖像空間中的維數(shù)為D，坐標(biāo)為A， Isomap的計(jì)算步驟如下
(a) 計(jì)算距離方陣A
(b) 構(gòu)造最短路徑
以{5 }中的每個(gè)樣本為頂點(diǎn)構(gòu)造一個(gè)鄰居圖G，對(duì)于圖中的任何兩個(gè)頂點(diǎn) A與^，方陣S的^項(xiàng)是它們之間的距離。對(duì)于任何/和/，當(dāng)且僅當(dāng)A是取 的鄰居時(shí)，將鄰居圖G中的5,與^相連。鄰居的判斷可以用A:最近鄰法或^w'/o" 法。
A:最近鄰法所有的頂點(diǎn)中(除A外)和A最接近的&個(gè)頂點(diǎn)是&的鄰居。
印w7o"法取一個(gè)閾值e戸/to"，對(duì)于任意一個(gè)頂點(diǎn)5/ 如果ll&-刷々戸//0"，則A是A的鄰居。
然后，在鄰居圖G中計(jì)算任意兩個(gè)頂點(diǎn)A和A之間的最短路徑，最短路徑 的計(jì)算方法可以用dijska法等方法。
(c) 計(jì)算流形坐標(biāo)
關(guān)于{5 }的本征維度，也即流形的維數(shù)A可以由降維后的殘差確定，當(dāng)殘 差停止隨維度上升時(shí)，所處的維度即為本征維度。本征維度也可以利用相機(jī)的 運(yùn)動(dòng)自由度來(lái)確定。如前所述，相機(jī)的轉(zhuǎn)動(dòng)、歪斜、縮放分別對(duì)應(yīng)的自由度為2、 1、 1。例如，如果相機(jī)只做轉(zhuǎn)動(dòng)，則相機(jī)運(yùn)動(dòng)自由度為2，流形維數(shù)也是2;如 果相機(jī)同時(shí)做轉(zhuǎn)動(dòng)、歪斜和縮放，則相機(jī)運(yùn)動(dòng)自由度為4，流形維數(shù)也為4。我 們推薦的方法是如果相機(jī)的運(yùn)動(dòng)類(lèi)型很容易確定，那么就用相機(jī)運(yùn)動(dòng)的自由 度作為流形維數(shù)A如果相機(jī)運(yùn)動(dòng)類(lèi)型不確定或者很復(fù)雜，則可以用Isomap降 維后的殘茶來(lái)確定"。
所述的利用窗口相關(guān)性方法、基于角點(diǎn)的插值和基于局部高斯模型的奇異 值去除方法來(lái)計(jì)算在背景流形上位置接近的訓(xùn)練背景圖像之間的光流在確定 了訓(xùn)練背景圖像{5 }的低維流形之后，要計(jì)算視角相近的訓(xùn)練背景圖像之間的 光流。由于{^}中的圖像在流形上的坐標(biāo)即反映了它們的視角關(guān)系，所以，在 流形上距離接近的訓(xùn)練背景圖像，它們的視角也接近。對(duì)于{5 }中任一樣本&，
在流形上尋找它最接近的A個(gè)鄰居并計(jì)算雙和每個(gè)鄰居間的光流；計(jì)算從&到 A的光流的方法如下定義一個(gè)局部窗口大小，對(duì)于5,上的點(diǎn)尸4&,少。)，在A 的(W,W)點(diǎn)附近尋找點(diǎn)尸，:(xo+Ax,少o+Ay)，使得上以尸，為中心的窗口和尿上以 i^為中心的窗口的相關(guān)性最大，相關(guān)性定義為<formula>formula see original document page 12</formula>
其中^和『2為兩個(gè)窗口， ^和^為窗口 ^和『2的顏色均值；光流的孔徑問(wèn)
題(apertureproblem)導(dǎo)致只有在圖像的角點(diǎn)處計(jì)算得到的光流才是最可靠的，只 需計(jì)算角點(diǎn)處的光流即可，這既可以提高準(zhǔn)確率，又可以加快計(jì)算的速度。同 時(shí)，非角點(diǎn)處光流采用A:近鄰插值由鄰近的角點(diǎn)處光流插值得到；在插值之前， 采用局部高斯模型去除角點(diǎn)處光流的奇異值，用EM算法來(lái)迭代去除角點(diǎn)處光 流的奇異值，在EM算法的每一步迭代中，對(duì)每個(gè)不為奇異值的光流利用 其他臨近的到不為奇異值的光流來(lái)計(jì)算一個(gè)局部高斯模型，然后利用這個(gè)局部 高斯模型來(lái)判斷O,是否應(yīng)為奇異值。
所述的對(duì)每個(gè)新來(lái)的包含前景的視頻幀F(xiàn)，首先利用擴(kuò)展的Isomap計(jì)算該 幀在背景流形上的位置本方法對(duì)于每個(gè)視頻幀的處理是獨(dú)立的，設(shè)當(dāng)前處理 的視頻幀為F。當(dāng)F到達(dá)后，第一步是要對(duì)其進(jìn)行流形映射，即確定F在背景 流形上的位置。位置坐標(biāo)計(jì)算公式如下
Cjv+1=C*(5- +1)/2 5 其中，》是由Isomap計(jì)算的樣本間距離矩陣S的列向量的均值，s糾是新視頻 幀和訓(xùn)練背景圖像的距離平方組成的維向量，C是所有訓(xùn)練樣本的低維坐標(biāo)
構(gòu)成的矩陣，<:*表示矩陣C的偽逆的轉(zhuǎn)置。
所述的在計(jì)算獲得新視頻幀F(xiàn)在背景流形上的位置之后，在背景流形的局 部歐氏范圍內(nèi)進(jìn)行光流插值，得到從最接近的背景訓(xùn)練圖像B(F)到F的光流 05F:設(shè)背景流形維數(shù)為A選取在背景流形上和F距離最接近的d+l個(gè)訓(xùn)練背 景圖像5(F),52,…,5w，將背景流形上從5("到52，從5CF)到丑3，...，從必(" 到^+1的向量分別用vB2， v們，…，i^w+i)來(lái)表示，將從丑(/0到^的向量用v^表示， 則v^可以由下式表達(dá)成 的線性組合
再令^2，Ofi3,CW表示從5(/0到52，從5("到53,...，從5(F)到5州的光流，
令Ow表示從B(F)到F的向量，則6W可以用同樣的權(quán)重由下式快速計(jì)算得到:
。M ="々S2 + "々53 +... + ""夠 7 其中0B2, OB(w)已在背景訓(xùn)練訓(xùn)練階段計(jì)算得到。 所述的根據(jù)5(F)和Ow構(gòu)造出一個(gè)圖像獲得和F處在完全相同的視角下的背景圖像5f:設(shè)圖像高/z像素，寬W像素，首先構(gòu)造一個(gè)的空?qǐng)D像作為 丑f的初始圖像；^的像素(x,力的顏色由下式計(jì)算& "力=5(F)(x _ (x，力,_y - 0BF (x，力) 8 所述的利用圖像F和與其處在完全相同視角下的背景圖像5p通過(guò)背景減 除，即獲得F的前景區(qū)域，完成了F的前景分割對(duì)于每個(gè)像素坐標(biāo)(x,力，計(jì) 算F和5F的顏色三分量差值[C(x,;^,C(x,j;)G,C(x,>Oa]=[IF"A - A(x，力J,IF"力g —斗(;c,力gII，IIF(x,力s - AOc，力sl] 9其中C(x，力m^表示兩幅圖像的(x，力像素顏色的i /G/S分量差值，尸(x,力表示圖 像F的像素O，力顏色 m /b分量，(x, _y)脆/b表不圖像丑f的像素(;c，力顏色i /G/S 分量；之后，計(jì)算向量C(x，力在RGB空間的代表亮度的長(zhǎng)度和代表色品的角度，如果角度超過(guò)閾值，則像素(x,y)為前景像素，否則為背景像素。 實(shí)施例1要對(duì)一個(gè)旋轉(zhuǎn)的監(jiān)控相機(jī)拍攝的視頻進(jìn)行前景提取。如圖2所示為視頻中 的幾個(gè)代表幀和前景提取的結(jié)果。相機(jī)拍攝到的圖象分辨率為320*240。下面結(jié) 合前面所述的具體技術(shù)方案說(shuō)明該實(shí)例實(shí)施的步驟，如下1. 訓(xùn)練背景圖像的獲取在相機(jī)的旋轉(zhuǎn)范圍內(nèi)，隨機(jī)選取300個(gè)視角，拍攝300幅純背景圖像作為 訓(xùn)練背景圖像集{5 }。2. 訓(xùn)練背景圖像的流形降維對(duì)300幅訓(xùn)練背景圖像用Isomap進(jìn)行降維(具體計(jì)算步驟如前面所示，不 再羅列)。在判斷鄰居圖G的鄰居時(shí)，采用&最近鄰法，取h6。由于本例中旋 轉(zhuǎn)相機(jī)的視角變化自由度為2 (豎直方向的仰角和水平方向的偏離角)，因此 Isomap降維時(shí)流形維數(shù)d取2。3. 訓(xùn)練背景圖像的光流計(jì)算對(duì)于{5 }中任一樣本A，在流形上尋找它最接近的A: a取6)個(gè)鄰居并計(jì) 算A和每個(gè)鄰居間的光流。計(jì)算光流采用局部窗口相關(guān)性距離法，具體計(jì)算公 式如前所述，不再羅列。在計(jì)算光流時(shí)，只計(jì)算角點(diǎn)處的光流，非角點(diǎn)處光流 由鄰近的角點(diǎn)處光流插值得到(采用A近鄰插值，A取5)。在插值之前，采用局 部高斯模型去除角點(diǎn)處光流的奇異值。 4. 新視頻幀的流形映射本步驟是在線階段的開(kāi)始，從這里開(kāi)始對(duì)每個(gè)新視頻幀F(xiàn)提取前景。首先 對(duì)F進(jìn)行流形映射，即確定F在背景流形上的位置。具體計(jì)算公式如前所述，不再羅列。5. 新視頻幀的光流插值在確定新視頻幀F(xiàn)在流形上的位置之后，在背景流形的局部歐氏范圍內(nèi)進(jìn)行光流插值，獲得從F到最接近的背景訓(xùn)練圖像5(F)之間的光流0^:在本例中，流形維數(shù)d-2，如圖l，選取在背景流形上和F距離最接近的3個(gè)訓(xùn)練背景 圖像5("，必2,丑3 (按距離升序排列)。假定背景流形上從5(F)到52、從5("到 ￡3、從B(F)到F的向量分別用vB2、 vB3、 v^來(lái)表示，VM可以表達(dá)成Vb2與&3 的線性組合再令0￡2， 0B3, Ow表示從5CF)到52，從5(F)到53，從5(F)到F的光流， 則0^可以用同樣的權(quán)重由C B2, Om和快速插值得到其中"2,"3和已在背景訓(xùn)練訓(xùn)練階段(步驟3)計(jì)算得到。6. 新視頻幀的背景構(gòu)造在插值獲得從F到最接近的背景訓(xùn)練圖像B(F)之間的光流Ow之后，根據(jù) 5(F)和Ow構(gòu)造出一個(gè)圖像獲得和F處在完全相同的視角下的背景圖像5^由 Ow所記錄的丑CF)和F的像素間對(duì)應(yīng)關(guān)系，根據(jù)已知的訓(xùn)練背景圖像5(F)，即 可以構(gòu)造出圖像必f，它是一個(gè)背景圖像，且和F處在完全相同的視角。7. 背景減除和前景提取在構(gòu)造出和新視頻幀F(xiàn)處在完全相同視角下的背景圖像Bf后，就可以利用 利用圖像F和5F，通過(guò)背景減除，即獲得F的前景區(qū)域，完成了 F的前景分割。 背景減除是指根據(jù)圖像F和5F逐像素進(jìn)行顏色的比較，獲得F的前景區(qū)域。在 本例中，本方法的在線前景提取的速度為30幀/秒，達(dá)到實(shí)時(shí)要求。實(shí)施例2要對(duì)一個(gè)由于手持而抖動(dòng)，同時(shí)又有縮放變化的相機(jī)拍攝的視頻進(jìn)行前景 提取。如圖3所示為視頻中的幾個(gè)代表幀和前景提取的結(jié)果。相機(jī)拍攝到的圖 象分辨率為320*240。下面結(jié)合前面所述的具體技術(shù)方案說(shuō)明該實(shí)例實(shí)施的步驟，如下
1. 訓(xùn)練背景圖像的獲取
取相機(jī)的8個(gè)縮放級(jí)別，在每個(gè)縮放級(jí)別上隨機(jī)抖動(dòng)拍攝100幅圖像，于
是，訓(xùn)練背景圖像集{5 }包含800幅背景圖像。
2. 訓(xùn)練背景圖像的流形降維對(duì)640幅訓(xùn)練背景圖像用Isomap進(jìn)行降維(具體計(jì)算步驟如前面所示，不 再羅列)。在判斷鄰居圖G的鄰居時(shí)，采用&最近鄰法，取h6。由于本例中相 機(jī)的視角變化自由度為4 (豎直方向的仰角、水平方向的偏離角、歪斜角度和縮 放比例)，因此Isomap降維時(shí)流形維數(shù)d取4。
3. 訓(xùn)練背景圖像的光流計(jì)算
對(duì)于{5 }中任一樣本5,，在流形上尋找它最接近的t a取6)個(gè)鄰居并計(jì)
算A和每個(gè)鄰居間的光流。計(jì)算光流采用局部窗口相關(guān)性距離法，具體計(jì)算公 式如前所述，不再羅列。在計(jì)算光流時(shí)，只計(jì)算角點(diǎn)處的光流，非角點(diǎn)處光流 由鄰近的角點(diǎn)處光流插值得到(采用A近鄰插值，A取5)。在插值之前，采用局 部高斯模型去除角點(diǎn)處光流的奇異值。
4. 新視頻幀的流形映射
本步驟是在線階段的開(kāi)始，從這里開(kāi)始對(duì)每個(gè)新視頻幀F(xiàn)提取前景。首先 對(duì)F進(jìn)行流形映射，即確定F在背景流形上的位置。具體計(jì)算公式如前所述， 不再羅列。
5. 新視頻幀的光流插值
在確定新視頻幀F(xiàn)在流形上的位置之后，在背景流形的局部歐氏范圍內(nèi)進(jìn) 行光流插值，獲得從F到最接近的肯景訓(xùn)練圖像B(F)之間的光流0^:在本例 中，流形維數(shù)^/=4，所以，選取在背景流形上和F距離最接近的5個(gè)訓(xùn)練背景 圖像5(",52,53,54,55 (按距離升序排列)。假定背景流形上從5(F)到丑2、從 5(F)到丑3、從5(iO到丑4、從5(F)到丑5、從J5CF)到F的向量分別用vB2、 v氾、
V肌、VS5、 V胖來(lái)表示，V^可以表達(dá)成V丑2、 Vfi3、 V似、V仍的線性組合 再令"2、 0B3、 Ofl4、 0B5、 Ow表示從fi(F)到52、從5(F)到丑3、從丑("到必4、
從B(/0到丑5、從B(F)到F的光流，則o^可以用同樣的權(quán)重由"2、 O氾、O似、 0^快速插值得到<formula>formula see original document page 16</formula>其中^2、 "3、 O斜、C^5和已在背景訓(xùn)練訓(xùn)練階段(步驟3)計(jì)算得到。
6. 新視頻幀的背景構(gòu)造
在插值獲得從F到最接近的背景訓(xùn)練圖像B(巧之間的光流0^之后，根據(jù) 5(F)和0^構(gòu)造出一個(gè)圖像獲得和F處在完全相同的視角下的背景圖像5f由 0^所記錄的B("和F的像素間對(duì)應(yīng)關(guān)系，根據(jù)已知的訓(xùn)練背景圖像5(/0，即
可以構(gòu)造出圖像^r，它是一個(gè)背景圖像，且和F處在完全相同的視角。
7. 背景減除和前景提取
在構(gòu)造出和新視頻幀F(xiàn)處在完全相同視角下的背景圖像5f后，就可以利
用利用圖像F和必戶通過(guò)背景減除，即獲得F的前景區(qū)域，完成了F的前景分
割。背景減除是指根據(jù)圖像F和5f逐像素進(jìn)行顏色的比較，獲得F的前景區(qū)域。
權(quán)利要求
1.一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前景分割的方法，其特征在于包括離線的背景訓(xùn)練和在線的前景分割兩個(gè)階段，離線的背景訓(xùn)練階段包括如下步驟(1)獲取訓(xùn)練背景圖像集{Bn}；(2)利用訓(xùn)練背景圖像集來(lái)進(jìn)行Isomap流形學(xué)習(xí)，獲得其所在的低維流形；(3)利用窗口相關(guān)性方法、基于角點(diǎn)的插值和基于局部高斯模型的奇異值去除方法來(lái)計(jì)算在背景流形上位置接近的訓(xùn)練背景圖像之間的光流；在線的前景分割階段包括如下步驟(4)對(duì)每個(gè)新來(lái)的包含前景的視頻幀F(xiàn)，首先利用擴(kuò)展的Isomap計(jì)算該幀在背景流形上的位置；(5)在計(jì)算獲得新視頻幀F(xiàn)在背景流形上的位置之后，在背景流形的局部歐氏范圍內(nèi)進(jìn)行光流插值，得到從最接近的背景訓(xùn)練圖像B(F)到F的光流OBF；(6)根據(jù)B(F)和OBF構(gòu)造出和F處在完全相同的視角下的背景圖像BF；(7)利用圖像F和BF，通過(guò)背景減除，即獲得F的前景區(qū)域，完成了F的前景分割。
2. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前 景分割的方法，其特征在于，所述的獲取訓(xùn)練背景圖像集(^J:拍攝不同視角 的背景圖像來(lái)獲取訓(xùn)練背景圖像集，或者使用視頻中空的不包含前景的背景幀 作為訓(xùn)練背景圖像集。
3. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前 景分割的方法，其特征在于，所述的利用訓(xùn)練背景圖像集來(lái)進(jìn)行Isomap流形學(xué) 習(xí)，獲得訓(xùn)練背景圖像集所在的低維流形對(duì)于￡>維向量集{5 }"= 1,2, ...,AO， 首先計(jì)算一個(gè)7Vx7V的距離矩陣S，公式如下-<formula>formula see original document page 2</formula> 1 其中,-刷即為5,與A之間的Z2距離；然后，根據(jù)距離矩陣S構(gòu)造最短路徑矩陣S'， g卩方陣S，記錄了(5J中任意兩個(gè)頂點(diǎn)^和A之間的最短路徑； 然后，由距離矩陣S，來(lái)構(gòu)造矩陣M:<formula>formula see original document page 2</formula>其中的矩陣好由=~ -1/W定義；于是，{5 }在J維流形上的映射(CJ (d X>)由下式計(jì)算-<formula>formula see original document page 3</formula>其中4, 4,...， 4為矩陣M的前d個(gè)非負(fù)特征值(降序排列)，<formula>formula see original document page 3</formula>是對(duì)應(yīng)的特征向量，{ 5 》的本征維度d由降維后的殘差確定，當(dāng)殘差變化曲線停 止隨維度上升而降低時(shí)，維度作為本征維度d。
4. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前 景分割的方法，其特征在于，所述的利用窗口相關(guān)性方法、基于角點(diǎn)的插值和 基于局部高斯模型的奇異值去除方法來(lái)計(jì)算在背景流形上位置接近的訓(xùn)練背景 圖像之間的光流對(duì)于{5 }中任一樣本尿，在流形上尋找它最接近的A:個(gè)鄰居 并計(jì)算A和每個(gè)鄰居間的光流；計(jì)算從A到A的光流的方法如下定義一個(gè)局 部窗口大小，對(duì)于尿上的點(diǎn)尸。:(xqj;。)，在A的(x。^)點(diǎn)附近尋找點(diǎn)尸，:(jcq+Ax， yo+AK)，使得A上以尸，為中心的窗口和尿上以&為中心的窗口的相關(guān)性最大， 相關(guān)性定義為其中^和『2為兩個(gè)窗口， ^和^"為窗口 M和『2的顏色均值；只計(jì)算角點(diǎn)處 的光流，同時(shí)，非角點(diǎn)處光流采用A:近鄰插值由鄰近的角點(diǎn)處光流插值得到； 在插值之前，采用局部高斯模型去除角點(diǎn)處光流的奇異值，用EM算法來(lái)迭代 去除角點(diǎn)處光流的奇異值，在EM算法的每一步迭代中，對(duì)每個(gè)不為奇異值的 光流"，利用其他臨近的到不為奇異值的光流來(lái)計(jì)算一個(gè)局部高斯模型，然后 利用這個(gè)局部高斯模型來(lái)判斷"是否應(yīng)為奇異值。
5. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前 景分割的方法，其特征在于，所述的對(duì)每個(gè)新來(lái)的包含前景的視頻幀F(xiàn)，首先 利用擴(kuò)展的Isomap計(jì)算該幀在背景流形上的位置位置坐標(biāo)計(jì)算公式如下<formula>formula see original document page 3</formula> 其中，S是由Isomap計(jì)算的樣本間距離矩陣S的列向量的均值，^w是新視頻 幀和訓(xùn)練背景圖像的距離平方組成的W維向量，C是所有訓(xùn)練樣本的低維坐標(biāo) 構(gòu)成的矩陣，C^表示矩陣C的偽逆的轉(zhuǎn)置。
6. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前景分割的方法，其特征在于，所述的在計(jì)算獲得新視頻幀F(xiàn)在背景流形上的位 置之后，在背景流形的局部歐氏范圍內(nèi)進(jìn)行光流插值，得到從最接近的背景訓(xùn)練圖像5(F)到F的光流設(shè)背景流形維數(shù)為A選取在背景流形上和F距 離最接近的d+l個(gè)訓(xùn)練背景圖像B(F)，52, ...,^+1，將背景流形上從5(F)到丑2, 從5("到53，…，從5(F)到5rf+i的向量分別用Vb3,…,V^+d來(lái)表示，將從 5("到F的向量用V^表示，則V^可以由下式表達(dá)成VB2， V^…，^的線性組合.<formula>formula see original document page 4</formula> 6再令"2,"3,仏f表示從丑(i0到52，從5(/0到丑3，...，從5("到A+i的光流， 令0^表示從5(F)到F的向量，則0^可以用同樣的權(quán)重由下式快速計(jì)算得到<formula>formula see original document page 4</formula> 7其中0B3,...， 0^+1)已在背景訓(xùn)練訓(xùn)練階段計(jì)算得到。
7. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前 景分割的方法，其特征在于，所述的根據(jù)5("和Ow構(gòu)造出一個(gè)圖像獲得和F 處在完全相同的視角下的背景圖像5p設(shè)圖像高/z像素，寬vv像素，首先構(gòu)造 一個(gè)Wvv的空?qǐng)D像作為&的初始圖像；^的像素(jc，力的顏色由下式計(jì)算<formula>formula see original document page 4</formula> 8 。
8. 根據(jù)權(quán)利要求1所述的一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前 景分割的方法，其特征在于，所述的利用圖像尸和與其處在完全相同視角下的 背景圖像5p通過(guò)背景減除，即獲得F的前景區(qū)域，完成了尸的前景分割對(duì) 于每個(gè)像素坐標(biāo)(x,力，計(jì)算F和5F的顏色i /G/B三分量差值<formula>formula see original document page 4</formula> 9其中C(x,力欣^表示兩幅圖像的(x,力像素顏色的iW7/B分量差值，F(xiàn)(x，力表示圖 像F的像素(x,力顏色狄^分量，5F (x,力腦/5表示圖像5F的像素(jc，力顏色WG/B 分量；之后，計(jì)算向量C(x,力在RGB空間的代表亮度的長(zhǎng)度和代表色品的角度， 如果角度超過(guò)閾值，則像素(x，y)為前景像素，否則為背景像素。
全文摘要
本發(fā)明公開(kāi)了一種基于快速圖像配準(zhǔn)的視角變化條件下視頻前景分割的方法。本方法利用一組不同視角下的訓(xùn)練背景圖像進(jìn)行Isomap流形學(xué)習(xí)獲得背景模型。然后，對(duì)由于相機(jī)運(yùn)動(dòng)等原因而引起視角變化的視頻，可以實(shí)時(shí)地進(jìn)行前景分割，即將其中每幀的前景和背景進(jìn)行分割。前景分割過(guò)程首先通過(guò)視頻幀和最接近的訓(xùn)練背景圖像間的光流構(gòu)造一幅和視頻幀的視角完全相同的背景圖像，然后通過(guò)背景減除來(lái)獲得前景區(qū)域。為了解決光流計(jì)算的低效率問(wèn)題，本方法使用一種基于流形的光流插值來(lái)避免在線階段的光流計(jì)算，在背景建模階段預(yù)先計(jì)算視角相似的背景圖像之間的光流，在前景分割階段，利用新視頻幀在背景流形上的位置快速插值獲得光流。獲得了很高的效率。
文檔編號(hào)G06K9/00GK101216888SQ20081005912
公開(kāi)日2008年7月9日 申請(qǐng)日期2008年1月14日 優(yōu)先權(quán)日2008年1月14日
發(fā)明者飛 吳, 莊越挺, 俊 肖, 成 陳 申請(qǐng)人:浙江大學(xué)