專利名稱：基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在視頻序列中分割出運(yùn)動(dòng)目標(biāo)的方法，尤其是一種利用 背景差分法中常用的高斯分布方法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分割的方法，具體地說是 一種基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法。
技術(shù)背景傳統(tǒng)的視頻監(jiān)控已經(jīng)不能滿足需求，監(jiān)控設(shè)備不光要能編碼傳輸視頻， 還要能夠分析識(shí)別視頻里的內(nèi)容。而要做到這一點(diǎn)，最基礎(chǔ)的要求就是在視 頻序列里分割出運(yùn)動(dòng)目標(biāo)，也就是區(qū)分出運(yùn)動(dòng)前景和背景。運(yùn)動(dòng)目標(biāo)分割方法有很多，大致可以分為三大類光流法，幀間差分 法，背景差分法。其中，光流法運(yùn)算量大且約束較多，而幀間差分法雖然計(jì) 算簡(jiǎn)單，但是容易形成空洞、不完整的目標(biāo)以及虛假的目標(biāo)，所以背景差分 法相對(duì)較為實(shí)用，并取得較好效果。其技術(shù)要點(diǎn)在于構(gòu)造背景，然后用當(dāng)前 畫面減去背景畫面以取得差分圖像，最后利用差分結(jié)果分割出運(yùn)動(dòng)目標(biāo)。所 以這類方法最重要的地方在于如何構(gòu)造背景和如何更新背景。背景差分法里面有一類利用多個(gè)高斯分布來構(gòu)造和更新每個(gè)象素點(diǎn)的 背景，這樣當(dāng)背景發(fā)生改變的時(shí)候，在產(chǎn)生新背景的同時(shí)老背景也不會(huì)丟棄， 而當(dāng)背景回復(fù)至老背景的時(shí)候，算法可以快速識(shí)別出老背景，而無需重新適 應(yīng)。其收斂速度和分割效果優(yōu)于一般的背景差分算法。經(jīng)過文獻(xiàn)檢索，發(fā)現(xiàn) 如下論文和專利使用該技術(shù)，且無本質(zhì)差別，W. E丄 Grimson， C. Stauffer， R. Romano, L. Lee， "Using Adaptive Tracking to Classify and Monitor Activities in a Site, " cr/ r, p. 22，1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR，98)， 1998Stauffer C, Grimson W. E. L. Adaptive background mixture modelsfor real-time tracking, in Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149) IEEE Comput. Soc. Part Vol. 2， 1999.專利03151406. 5專利200710069927. 0該技術(shù)的第一個(gè)問題在于，每個(gè)象素一開始的分布以及新出現(xiàn)的分布 是不確定的，都被賦予較大的方差，這樣收斂速度較慢，且容易錯(cuò)判。第二 個(gè)問題是沒有利用前后幀的關(guān)聯(lián)信息，分布的生成完全利用該點(diǎn)象素每一幀 的值迭代而成，這樣產(chǎn)生的分布在時(shí)間上沒有關(guān)聯(lián)，很可能不是真實(shí)的分布， 等到該象素恢復(fù)了先前某個(gè)分布的背景的時(shí)候，反倒因?yàn)樵撜鎸?shí)分布已被替 換，而被誤認(rèn)為是前景。第三個(gè)問題是對(duì)所有的色彩分量做同樣的處理，使 得無法有效提取陰影信息，導(dǎo)致無法從前景中去除陰影。第四個(gè)問題是有大 量的除法、排序和判斷，算法邏輯復(fù)雜且計(jì)算量大，在現(xiàn)階段導(dǎo)致只能抽點(diǎn) 計(jì)算，這樣計(jì)算結(jié)果自然就不夠精確?？偠灾摷夹g(shù)在理論上可行，實(shí)用性不高，需要進(jìn)行大規(guī)模改進(jìn)才 可以達(dá)到實(shí)用的目的。 發(fā)明內(nèi)容本發(fā)明的目的是針對(duì)現(xiàn)有的背景差分法存在實(shí)用性差，速度慢、準(zhǔn)確 性差的問題，發(fā)明一種經(jīng)過改良的、使用多個(gè)高斯分布來構(gòu)造視頻序列中的 背景、進(jìn)而分割出前景的基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法。本發(fā)明的技術(shù)方案是一種基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法，其特征是(1) 、初始化所有背景象素點(diǎn)的分布，賦予一個(gè)實(shí)際中不可能存在的分 布，并把權(quán)重設(shè)為0;(2) 、積累采集到的圖像，直到2n+l幀或2n+l幀以上，此時(shí)欲處理的 圖像為第n+l幀或第n+l幀以上；該欲處理的幀稱為當(dāng)前幀；(3) 、以以下方法依次處理當(dāng)前幀的每一象素，每一個(gè)正被處理的象素 稱為當(dāng)前象素a) 依次得到當(dāng)前象素的色彩空間三分量的任一分量的，時(shí)間上連續(xù)的前 n象素的該分量值和時(shí)間上連續(xù)的后n象素的該分量值，分別計(jì)算它們的分 布；b) 判斷當(dāng)前象素的該分量值更符合前n象素形成的分布還是后n象素形 成的分布；c) 如果有符合的，用該分布來代表當(dāng)前象素的該分量值，轉(zhuǎn)入d)，如果 沒有，則轉(zhuǎn)入f);d) 用符合的分布與當(dāng)前象素該分量的所有背景分布一一比對(duì)，得到相互 "相似"的程度mp，更新背景分布，并得到相應(yīng)比例的"相似"權(quán)重mpw，再將mp加入原來分布的權(quán)重中；如果所有背景分布都與被比較的分布不"接 近"，則把背景分布中權(quán)重最小的那個(gè)分布替換為被比較的分布，并將這個(gè)新 的背景分布的權(quán)重設(shè)為較小值，如l;e) 將得到的即w累加，將所有背景權(quán)重累加，判斷前者與后者的比例關(guān) 系，根據(jù)比例關(guān)系所屬區(qū)間賦值。轉(zhuǎn)入h);f) 將當(dāng)前象素的該份量值與當(dāng)前象素該分量的所有背景分布一一比對(duì)， 如果當(dāng)前象素的該份量值被當(dāng)前象素該分量的某一背景分布"接受"，則取出 這個(gè)背景分布的權(quán)重；g) 將取出的權(quán)重累加，將所有背景權(quán)重累加，判斷前者與后者的比例關(guān) 系，根據(jù)比例關(guān)系所屬區(qū)間賦值；h) 將上面計(jì)算出的對(duì)應(yīng)于當(dāng)前象素的三分量的3個(gè)值累加，如果超過某 閾值，則判斷這個(gè)點(diǎn)為前景點(diǎn)，否則為背景；(4) 、使整個(gè)系統(tǒng)逐漸"遺忘"過去的背景，以便系統(tǒng)適應(yīng)背景的改變；(5) 、此時(shí)得到一幅只包含前景和背景的2值圖象，可以使用腐蝕和膨 脹算法加以完善，再使用連通算法得到每一個(gè)運(yùn)動(dòng)前景。本發(fā)明的有益效果1、 本發(fā)明利用前后幀的象素值直接計(jì)算出分布，并根據(jù)后續(xù)的分布加 以調(diào)整。而一般的多高斯分布方法是假設(shè)一個(gè)很粗略的初始分布，再逐漸接 近真實(shí)分布。因此本發(fā)明更加準(zhǔn)確快速。2、 本發(fā)明區(qū)分出時(shí)間上孤立的點(diǎn)以及和時(shí)間上前后分布相關(guān)聯(lián)的點(diǎn)， 這樣本發(fā)明就可以只記錄真實(shí)存在的有前后關(guān)聯(lián)的分布，并且只用真實(shí)存在 的分布來更新背景分布，而一般的多高斯分布方法會(huì)把無時(shí)間關(guān)聯(lián)的色彩分 量當(dāng)作同一個(gè)分布，這種虛假的分布反倒替換了真實(shí)的背景分布。因此本發(fā) 明更加快速準(zhǔn)確。3、 本發(fā)明既可以采用rgb等亮度和色差混合的色彩空間，也可以采用 yuv等亮度和色差分離的色彩空間。并且在采用后者的時(shí)候，可以對(duì)亮度和 色差信號(hào)采用不同的計(jì)算方法，從而有效提取陰影信息而加以排除。而一般 的多高斯分布方法無此能力，使得陰影圖像也出現(xiàn)在前景中，以致干擾對(duì)物 體的定位和識(shí)別。因此本發(fā)明更加快速準(zhǔn)確。4、 本發(fā)明邏輯相對(duì)簡(jiǎn)單，并且避免了很多耗時(shí)的除法、排序和判斷， 現(xiàn)有一般硬件己經(jīng)有足夠的計(jì)算能力進(jìn)行逐點(diǎn)實(shí)時(shí)計(jì)算，使得本發(fā)明可以分 割出微小的運(yùn)動(dòng)物體。因此本發(fā)明更加快速準(zhǔn)確。
具體實(shí)施方式
下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說明。一種基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法，包括以下步驟(1) 、初始化所有背景象素點(diǎn)的分布，賦予一個(gè)實(shí)際中不可能存在的分 布，并把權(quán)重設(shè)為0;(2) 、積累采集到的圖像，直到2n+l幀或2n+l幀以上，此時(shí)欲處理的 圖像為第n+l幀或第n+l幀以上；該欲處理的幀稱為當(dāng)前幀；(3) 、以以下方法依次處理當(dāng)前幀的每一象素，每一個(gè)正被處理的象素稱為當(dāng)前象素a) 依次得到當(dāng)前象素的色彩空間三分量的任一分量的，時(shí)間上連續(xù)的前 n象素的該分量值和時(shí)間上連續(xù)的后n象素的該分量值，分別計(jì)算它們的分 布；b) 判斷當(dāng)前象素的該分量值更符合前n象素形成的分布還是后n象素形 成的分布；c) 如果有符合的，用該分布來代表當(dāng)前象素的該分量值，轉(zhuǎn)入d)，如果沒有，則轉(zhuǎn)入f);d) 用符合的分布與當(dāng)前象素該分量的所有背景分布一一比對(duì)，得到相互 "相似"的程度mp，更新背景分布，并得到相應(yīng)比例的"相似"權(quán)重mpw,再將mp加入原來分布的權(quán)重中；如果所有背景分布都與被比較的分布不"接 近"，則把背景分布中權(quán)重最小的那個(gè)分布替換為被比較的分布，并將這個(gè)新 的背景分布的權(quán)重設(shè)為較小值，如l;e) 將得到的mpw累加，將所有背景權(quán)重累加，判斷前者與后者的比例關(guān) 系，根據(jù)比例關(guān)系所屬區(qū)間賦值。轉(zhuǎn)入h);f) 將當(dāng)前象素的該份量值與當(dāng)前象素該分量的所有背景分布一一比對(duì)， 如果當(dāng)前象素的該份量值被當(dāng)前象素該分量的某一背景分布"接受"，則取出 這個(gè)背景分布的權(quán)重；g) 將取出的權(quán)重累加，將所有背景權(quán)重累加，判斷前者與后者的比例關(guān) 系，根據(jù)比例關(guān)系所屬區(qū)間賦值；h) 將上面計(jì)算出的對(duì)應(yīng)于當(dāng)前象素的三分量的3個(gè)值累加，如果超過某 閾值，則判斷這個(gè)點(diǎn)為前景點(diǎn)，否則為背景；(4) 、使整個(gè)系統(tǒng)逐漸"遺忘"過去的背景，以便系統(tǒng)適應(yīng)背景的改變；(5) 、此時(shí)得到一幅只包含前景和背景的2值圖象，可以使用腐蝕和膨 脹算法加以完善，再使用連通算法得到每一個(gè)運(yùn)動(dòng)前景。以下以一個(gè)實(shí)例為例對(duì)本發(fā)明作進(jìn)一步的說明。本例采用yuv色彩空間，并對(duì)y和uv分量采用不同的處理。具體處理 步驟如下1、 初始化所有像素的背景分布，每個(gè)色彩分量3個(gè)分布，所以每個(gè) 象素共9個(gè)分布。每個(gè)分布初始化為均值1，均方差1，權(quán)重0。2、 連續(xù)采集2n+l幀圖像，然后針對(duì)第n+l幀作計(jì)算。本例采集 2*4+1二9幀，第5幀為當(dāng)前幀。3、 對(duì)每一個(gè)當(dāng)前象素作如下計(jì)算，并將當(dāng)前象素的y分量的每一個(gè) 背景分布稱為curybdi，以及將當(dāng)前象素的uv分量的每一個(gè)背景分布稱為curjbdi， i=0， 1， 2。 j=u， v。a) 取得該象素y分量的值，稱為ciiry，取得前4幀同位置象素的同 樣分量的值，取得后4幀同位置象素的同樣分量的值。b) 求出前4幀同位置象素的y分量值的均值和均方差，求出后4幀 同位置象素的y分量值的均值和均方差。c) 計(jì)算cuit與前后分布的均值的差的絕對(duì)值。求得絕對(duì)值最小的那 個(gè)分布，稱為maxyhit。如果這個(gè)絕對(duì)值小于maxyhit的2. 5倍 均方差，并且maxyhit的均方差小于某個(gè)閾值，轉(zhuǎn)入d)，否則轉(zhuǎn) 入i)。d) 將maxyhit與curybdi做一一比對(duì)，求出2者的相似程度，為一 個(gè)百分比，稱為mpi。并根據(jù)mpi求出從curybdi里得到的相似 權(quán)重mpwi。 mpwi二curybdi的權(quán)重物pi 。e) 用 mpi 更c(diǎn)urybdi : curybdi 的均值二curybdi 的均值 *(l-mpi/8) +maxyhit的均值氺mpi/8， curybdi的均方差二curybdi 的均方差*(1-0^:[/8) +maxyhit的均方差舉mpi/8。 curybdi的權(quán)重 二curybdi的權(quán)重+mpi。f) 如果mpi大于某個(gè)閾值，則認(rèn)為maxyhit與curybdi相似。g) 將所有的即wi累加，將所有的curybdi的權(quán)重累加，然后用前者 除以后者，得到一個(gè)百分比p。如果p小于0. 2，則my二2;否則 如果p小于O. 8，則my二0;否則my二-2。h) 如果maxyhit與所有的curybdi都不相似，則用該分布替換權(quán)重 最小的那個(gè)curybdi,其權(quán)重設(shè)為l，并設(shè)my二2。轉(zhuǎn)入k)。i) 將cury與每一個(gè)curybdi做——比對(duì)，如果cury落在某個(gè) curybdi的2. 5倍均方差范圍內(nèi)，則mpwi=curybdi的權(quán)重，否則 mpwi=0。j)將所有mpwi累加，將所有curybdi累加，用前者除以后者，得到一個(gè)百分比P。如果p小于O. 15，則my二4，否則my二O。 k)設(shè)x:O。1)如果X^，則以下變量里的j二U;如果X二1，則以下變量里的j二V; 如果X:2，轉(zhuǎn)入V)。
m)取得該象素u分量或者v的值，稱為curj， j=u或者j二v。取得 前4幀同位置象素的同樣分量值，取得后4幀同位置象素的同樣 分量值。
n)求出前4幀同位置象素的j分量值的均值和均方差，求出后4幀 同位置象素的j分量值的均值和均方差。j二u或者v。
o)計(jì)算curj與前后分布的均值的差的絕對(duì)值。求得絕對(duì)值最小的那 個(gè)分布，稱為maxjhit。如果這個(gè)絕對(duì)值小于maxjhit的2. 5倍 均方差，并且maxjhit的均方差小于某個(gè)閾值，轉(zhuǎn)入p)，否則轉(zhuǎn)
入s) 。 i二u或者v。
p)將maxjhit與curjbdi做一一比對(duì)，求出最相似的那個(gè)curjbdi， 并記錄2者的相似程度，為一個(gè)百分比，稱為即ji。 j二u或者v。
q)如果mpji大于某個(gè)閾值或者maxjhit與curjbdi的均值十分接 近，則認(rèn)定maxjhit與curjbdi相似，并且更新該curjbdi: curjbdi的均值二curjbdi的均值*0. 95+maxjhit的均值*0. 05， curjbdi的均方差^curjbdi的均方差*0.95+maxjhit的均方差 *0. 05， curjbdi的權(quán)重二curjbdi的權(quán)重+1，并記錄mw二 curjbdi 的權(quán)重。再將所有的curjbdi的權(quán)重累加稱為sw，然后用mw除 以sw，得到一個(gè)百分比pj。如果pj小于0.8，則mj^2;否則如 果p小于0.5，則mj二l;否則mj^。 jw或者v。
r)如果maxyhit與所有的curjbdi都不相似，則用該分布替換權(quán)重 最小的那個(gè)curjbdi，其權(quán)重設(shè)為l，并設(shè)mj二2。 j二u或者v。轉(zhuǎn) 入u)。
s)將curj與每一個(gè)curjbdi做--比對(duì)，如果curj落在某個(gè)
curjbdi的2. 5倍均方差范圍內(nèi)，則mpwji二curjbdi的權(quán)重。j二u 或者v。
t)將所有mpwji累加，將所有curjbdi累加，用前者除以后者，得到一個(gè)百分比P。如果p小于O. 15，則mj二2，否則mj二0。 j=u或 者V。
u) x=x+l，轉(zhuǎn)入l)。
v) ni=my+mu+rav，如果m小于4，那該像素點(diǎn)就是背景，否則就是前
學(xué)
4、 對(duì)所有的背景分布進(jìn)行逐漸"遺忘"，具體做法為每一個(gè)分布的權(quán) 重=本分布的權(quán)重*0. 99。
5、 此時(shí)得到一幅只包含前景和背景的2值圖象，可以使用腐蝕和膨 脹算法加以完善，再使用連通算法得到每一個(gè)運(yùn)動(dòng)前景。
當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的 情況下，熟悉本領(lǐng)域的技術(shù)人員可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形， 但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。比如 采用何種色彩空間，每個(gè)色彩分量采用幾個(gè)高斯分布，對(duì)每個(gè)色彩空間如何 區(qū)別對(duì)待，各個(gè)閾值和系數(shù)的具體數(shù)值，相似程度的刻畫方法，采用均方差 還是方差指標(biāo)，背景分布更新方法等等。
本發(fā)明未涉及部分均與現(xiàn)有技術(shù)相同或可采用現(xiàn)有技術(shù)加以實(shí)現(xiàn)。
權(quán)利要求
1、一種基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法，其特征是(1)、初始化所有背景象素點(diǎn)的分布，賦予一個(gè)實(shí)際中不可能存在的分布，并把權(quán)重設(shè)為0；(2)、積累采集到的圖像，直到2n+1幀或2n+1幀以上，此時(shí)欲處理的圖像為第n+1幀或第n+1幀以上；該欲處理的幀稱為當(dāng)前幀；(3)、以以下方法依次處理當(dāng)前幀的每一象素，每一個(gè)正被處理的象素稱為當(dāng)前象素a)依次得到當(dāng)前象素的色彩空間三分量的任一分量的，時(shí)間上連續(xù)的前n象素的該分量值和時(shí)間上連續(xù)的后n象素的該分量值，分別計(jì)算它們的分布；b)判斷當(dāng)前象素的該分量值更符合前n象素形成的分布還是后n象素形成的分布；c)如果有符合的，用該分布來代表當(dāng)前象素的該分量值，轉(zhuǎn)入d)，如果沒有，則轉(zhuǎn)入f)；d)用符合的分布與當(dāng)前象素該分量的所有背景分布一一比對(duì)，得到相互“相似”的程度mp，更新背景分布，并得到相應(yīng)比例的“相似”權(quán)重mpw，再將mp加入原來分布的權(quán)重中；如果所有背景分布都與被比較的分布不“接近”，則把背景分布中權(quán)重最小的那個(gè)分布替換為被比較的分布，并將這個(gè)新的背景分布的權(quán)重設(shè)為較小值，如1；e)將得到的mpw累加，將所有背景權(quán)重累加，判斷前者與后者的比例關(guān)系，根據(jù)比例關(guān)系所屬區(qū)間賦值。轉(zhuǎn)入h)；f)將當(dāng)前象素的該份量值與當(dāng)前象素該分量的所有背景分布一一比對(duì)，如果當(dāng)前象素的該份量值被當(dāng)前象素該分量的某一背景分布“接受”，則取出這個(gè)背景分布的權(quán)重；g)將取出的權(quán)重累加，將所有背景權(quán)重累加，判斷前者與后者的比例關(guān)系，根據(jù)比例關(guān)系所屬區(qū)間賦值；h)將上面計(jì)算出的對(duì)應(yīng)于當(dāng)前象素的三分量的3個(gè)值累加，如果超過某閾值，則判斷這個(gè)點(diǎn)為前景點(diǎn)，否則為背景；(4)、使整個(gè)系統(tǒng)逐漸“遺忘”過去的背景，以便系統(tǒng)適應(yīng)背景的改變；(5)、此時(shí)得到一幅只包含前景和背景的2值圖象，可以使用腐蝕和膨脹算法加以完善，再使用連通算法得到每一個(gè)運(yùn)動(dòng)前景。
全文摘要
本發(fā)明針對(duì)現(xiàn)有的背景差分法存在實(shí)用性差，速度慢、準(zhǔn)確性差的問題，發(fā)明了一種經(jīng)過改良的、使用多個(gè)高斯分布來構(gòu)造視頻序列中的背景、進(jìn)而分割出前景的基于多個(gè)高斯分布的運(yùn)動(dòng)目標(biāo)分割方法，并公開了初始化、數(shù)據(jù)采集以及像素值計(jì)算等方法。本發(fā)明具有速度快、準(zhǔn)確性高的優(yōu)點(diǎn)，是一種實(shí)用價(jià)值很高的運(yùn)動(dòng)目標(biāo)分割方法。
文檔編號(hào)G06K9/00GK101231694SQ20081002069
公開日2008年7月30日 申請(qǐng)日期2008年2月21日 優(yōu)先權(quán)日2008年2月21日
發(fā)明者王高浩 申請(qǐng)人:南京中興特種軟件有限責(zé)任公司