專利名稱：面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消除方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種智能監(jiān)控圖像識別領(lǐng)域，具體是一種部分遮擋車輛分割及陰影消 除方法。
背景技術(shù)：
運動車輛檢測是室外公路固定攝像機(jī)智能視頻監(jiān)控系統(tǒng)的一項主要工作，其首先 利用減背景技術(shù)[1]獲得包含運動車輛及其陰影和噪聲的前景區(qū)域，并采用形態(tài)學(xué)閉算子填充前景區(qū)域的空洞。遮擋和陰影問題通常導(dǎo)致前景區(qū)域中車輛的合并與丟失，以及車 輛形狀的扭曲。遮擋分為部分遮擋和完全遮擋，部分遮擋是指車輛被遮擋部分較小(大部 分仍然可見)，完全遮擋是指車輛被遮擋部分較大(大部分不可見)。完全遮擋主要出現(xiàn)在 固定攝像機(jī)安放位置離地面較近的情況[3]。迄今為止，部分遮擋車輛分割主要有基于模型的方法，陰影消除可以分為基于顏 色、基于邊緣、基于紋理和基于模型的方法，它們在準(zhǔn)確性和現(xiàn)有硬件條件下的實時性之間 難以達(dá)到較好的折中?？梢哉f，部分遮擋車輛分割及陰影消除方法在技術(shù)向產(chǎn)品轉(zhuǎn)化過程 中仍然是一個有待研究的開放問題。相關(guān)工作(1)基于顏色的陰影消除HSV顏色空間模型[4-5]是運動目標(biāo)陰影消除的常用方法，它更符合人的顏色感 知，設(shè)像素A = (IH，Is，Iv)和像素yB = (Bh, Bs, Bv)分別為當(dāng)前幀圖像和背景圖像在同位 置的HSV分量，則像素&是否屬于運動目標(biāo)陰影區(qū)域由下式確定
權(quán)利要求
1.面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消除方法，其特征是，包括如下 步驟1)獲取前景連通域FS幾何形態(tài)特征，包括前景連通域FS中的等勢線與局部極小點 將采用減背景和形態(tài)學(xué)閉算子獲得的填充空洞后的前景區(qū)域中的每個連通域稱為一個前景連通域，用FS表示；將視頻圖像中除前景連通域以外的區(qū)域稱為背景區(qū)域，用BS表 示；用N8(X)表述與像素χ相鄰的八個像素；前景連通域的幾何形態(tài)特征通過初始化為0的圖像標(biāo)記Label獲取 步驟1)令像素集HAkt = Φ ；掃描圖像一次，設(shè)一條豎向灰色掃描線L，若像素xe LI BS則令Label (χ) = XA+1，其中設(shè)XA = w+h, w為視頻圖像長，h為視頻圖像寬；若相鄰兩 像素 X1 e LI BS, x2 e LI FS 則令像素集 TSet = {χ | χ e N8(X1) I FS, Label (χ) = 0}，令 HASet :=HA t+TSet，并對VxeΓ5·e 令Label(x) = XA ；掃描圖像一次，對每條橫向掃描線 的處理與豎向掃描線L相同；令像素集LMkt = Φ，轉(zhuǎn)步驟2 ；步驟2)若HAkt乒Φ，設(shè)HAkt中像素的Label值為LA，則令I(lǐng)iKet = LMSet+ {x\x e HASet, V 3； e Νφ · Label(x) * 0},令像素集 LASef.^ {x| 3yeHASefx e N&(y),Label(x)=0},對 VyeLASet 令 Label (y) = LA-I,然后令 HASet = LASet,重復(fù)步驟2 ；若HAkt = Φ，則運行終止；上述步驟1獲得前景連通域FS邊緣的像素集HAkt ；步驟2以前景連通域FS邊緣像 素集為起點，反復(fù)迭代，獲得前景連通域FS中的逐層等勢線和局部極小點集LMkt ；等勢線 是指前景連通域FS中具有相同Label值的，連通的線狀的像素集；如果像素χ e FS且滿 足V_yeiV8(x)*ZMe/(x)^Za0e/Cv)，則稱像素χ為局部極小點；若前景連通域FS包含像素個 數(shù)小于閾值Tn，則將前景連通域FS視為噪聲去除，閾值Tn取值為視頻圖像包含像素總數(shù)的 1/200 ；2)如果為長方向線的車輛陰影，對短截線車輛陰影進(jìn)行消除為了從局部極小點集LMkt中分離出分布在短截線車輛陰影區(qū)域中心的局部極小點， 獲取像素集五MSei= YyeiMfei {x|xeiV8(>), χ^LMSet,丄，篩選出 IiKetY EMSet中像素個數(shù)大于閾值Ts的連通域CpC2,…，Ck，設(shè)前景連通域FS中最小的Label值 為NA，則閾值Ts取值1. 5 (XA-NA) ； V 1 篩選出CiI LMSet中Label值最大的像素集為 正向端點XSi和Label值最小的像素集為反向端點NSi,以反向端點NSi為起點正向端點XSi 為終點的方向為Ci的方向屯，篩選出Ci的方向Cli與已知的車輛陰影方向dsh夾角小于閾值 Td,閾值Td取值弧度π /12 ；且正向端點XSi中像素Label值大于閾值Ta的Ci,閾值Ta取值 ΧΑ-0. 25 (XA-NA)，將篩選出的Ci稱為陰影線，陰影線包含了局部極小點集LMkt中分布在 短截線車輛陰影區(qū)域中心的局部極小點；再通過所述陰影線的梯度信息消除短截線車輛陰影，其中車輛運動方向《通過背景標(biāo) 記獲?。辉O(shè)陰影線像素集為SLkt，為了獲取陰影線像素集SLkt中處于車輛邊緣的像素， 對VxelSLSW采用3X3結(jié)構(gòu)元素中插值的方法計算χ在車輛運動方向dm和與車輛運動方 向垂直的方向dv兩個方向上的梯度；對VxeSLS^，令χ的梯度為其在車輛運行方向《和與車輛運動方向垂直的方向七兩 個方向上梯度的最大值，即Grad(X) = max (Graddm(χ)，Graddv(χ))，將陰影線SLkt中像素按其方向排序，其中第i個像素用SLSet[i]表示，若i < j，則SLSet[i]比SLSet[j]更接 近于陰影線正向端點；計算陰影線像素SLkt[i]分別在背景圖像的梯度GradYi)和前景圖像的梯度 Gracf⑴，然后計算梯度比率Gracf⑴/GracP⑴，其中GradB⑴=0時，令GracP⑴=1 ； 為了區(qū)分陰影線SLSet中處于車輛邊緣的像素，對梯度比率自適應(yīng)閾值T分割，將梯度 比率值大于梯度比率自適應(yīng)閾值T的像素的集合用VBSet表示，像素集VBSet將短截線陰 影線SLSet分割成若干線狀連通域CLhCLdLklQSLSet KBSei，在像素個數(shù)大于閾值Tc 的CLi中篩選出離陰影線正向端點最近的線狀連通域CLs，其中1彡i彡kl，以線狀連通域 CLs的兩端點為分割點沿與已知的車輛陰影方向垂直的方向分割，即消除了短截線車輛陰 影；其中閾值T。取值0. 5 (XA-NA)，將被消除的短截線車輛陰影區(qū)域像素的Label值改賦為 XA+1 ；3)采用鄰近漲潮分割車輛設(shè)短截線車輛陰影消除后剩余的局部極小點集為RMkt ；如果像素集Set中像素處于 同一等勢線，則設(shè)Set所在等勢線為EAL(kt)；步驟1設(shè)剩余局部極小點集RMkt包含的連通域個數(shù)為kr，獲取連通域 CRlC^2,".,Ci^QjRMSei和集合 LRS = {CRS11 ^ s ^ kr, EAL(CRs) /CRs = Φ}；設(shè) LRS 包 含元素個數(shù)為RC，并設(shè)LRS[i]為LRS的第i個元素；令i : = 1，轉(zhuǎn)步驟2; 步驟2若i彡RC，則令像素集VSi = Φ，轉(zhuǎn)步驟3，否則終止； 步驟3設(shè)LRS[i]包含像素的Label值為Li，獲取像素集LASet·.= {ζ [i] zeJV8(y), Label(Z) = Z/+1}；令 VSi = VSjLRS [i]；令像素集 RSi = Φ，轉(zhuǎn)步驟 4 ；步驟4設(shè)LASet包含像素的Label值為LA，若LA < XA+1，則轉(zhuǎn)步驟5，否則令VSi = VSdRSi,令 i = i+Ι，轉(zhuǎn)步驟 2 ；步驟5設(shè)EAL (LAkt)/LAkt包含的連通域個數(shù)為ke，獲取連通域 CEhCE2,···,CEkeeEAL(LASet) / LASet ；設(shè) VSi 所在車輛區(qū)域為 VS，對 1 彡 s 彡 ke {若CKeKS則CEs包含像素稀少，否則CEs包含像素較多}，因此，獲取集合FES = {s|l ^ S ^ ke, ( 包含像素個數(shù)小于閾值Te}和集合MES = {s]\<s<ke, S^ FES}, 令 LASet = LASet+ Σ s e fesCEs，令 VSi : = VSjLASet ； M^seMES 獲取像素集 DEs = {y|y e CEs, y 到 LASet 距離不大于 XA-LA}，令 RSi = RSi+ Σ seMES DEs;獲取像素集 HASet := {z\ ByeLASet^zeNsiy), Label(z) = LA + ”,令 LAkt = H/^et，轉(zhuǎn)步驟 4 ；其中車輛陰影方向與車輛運動方向一致時，閾值Te取值3. 5 (XA-NA)，車輛陰影方向與 車輛運動方向不一致時，閾值Te取值1. 5 (XA-NA)；4)如果為長方向線的車輛陰影，且無短截線陰影，則利用長截線陰影類型陰影線 LLSet像素的梯度信息消除長截線車輛陰影將前景連通域FS分割成車輛區(qū)域VSi (i = 1,2,…)；車輛區(qū)域VSi中心被鄰近漲潮方 法步驟1的集合LRS記錄，沿車輛陰影方向dsh設(shè)有一條經(jīng)過車輛區(qū)域VSi中心的直線Li，設(shè) 前景連通域FS中不同車輛區(qū)域的交集為INS，若LiI INS= Φ，則將LiI VSi稱為長截線陰 影類型的陰影線LLkt，否則，設(shè)與Li平行且最近的直線為LLi,使得LLiI INS= Φ，將LLiI3Vsi稱為長截線陰影類型的陰影線LLkt ；其中車輛運動方向dm通過背景標(biāo)記獲取，方向 <與車輛運動方向dm垂直；陰影線像素 集為LLkt，對VxeZZ&Z采用3X 3結(jié)構(gòu)元素中插值的方法計算χ在與車輛運動方向垂直 的方向dv上的梯度，即Grad(X) =Graddv(χ)；再對梯度比率自適應(yīng)閾值T分割，以線狀連通 域CLs的兩端點為分割點沿與已知的車輛運動方向dm分割，即消除了長截線車輛陰影，完成 部分遮擋車輛分割及陰影消除。
2.根據(jù)權(quán)利要求1所述面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消除方法， 其特征是，當(dāng)超車或改車道時，nd<nf，其中鄰近漲潮分割前景連通域FS獲得的車輛個數(shù)為 nd，通過前一幀預(yù)測獲得的當(dāng)前幀前景連通域FS包含的車輛個數(shù)為nf ；將超車或該車道過 程分為初期、中期和末期三個階段，在初期和末期階段，采用權(quán)利要求1所述方法，在中期 階段，采用預(yù)測跟蹤與模板匹配相結(jié)合的方法分割車輛及消除陰影。
3.根據(jù)權(quán)利要求2所述面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消除方法， 其特征是，采用預(yù)測跟蹤與模板匹配相結(jié)合的方法的步驟為將單個車輛區(qū)域VSi中Label 值最小像素區(qū)域的質(zhì)心作為VSi質(zhì)心，采用預(yù)測跟蹤方法預(yù)測VSi質(zhì)心在下一時刻的位置； 當(dāng)鄰近漲潮分割前景連通域FS獲得的車輛個數(shù)小于落入前景連通域FS的預(yù)測位置個數(shù) 時，此時利用前一幀的車輛模版TMi在當(dāng)前幀的部分遮擋前景連通域FS中搜索匹配的車輛 區(qū)域，如果設(shè)車輛模版TMi對應(yīng)像素集為TSi, TSi包含像素個數(shù)為TC，當(dāng)前幀圖像上被車輛 模版TMi覆蓋的候選車輛區(qū)域為子圖Suv，(u, ν)是子圖左上角在部分遮擋前景連通域FS的 坐標(biāo)，則衡量TMi與Suv相似性的距離為
4.根據(jù)權(quán)利要求3所述面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消除方法， 其特征是，預(yù)測跟蹤方法采用Kalman濾波，Kalman濾波是根據(jù)前一個預(yù)測值和最近一個觀 測值來預(yù)測信號的當(dāng)前值的基于時間序列的預(yù)測方法，其用運動目標(biāo)的運動狀態(tài)方程和觀 測方程對運動目標(biāo)的當(dāng)前位置進(jìn)行預(yù)測，實現(xiàn)線性運動、高斯噪聲條件下運動目標(biāo)當(dāng)前位 置的最優(yōu)預(yù)測。
5.根據(jù)權(quán)利要求1-4之一所述面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消 除方法，其特征是，在所述消除短截線陰影的步驟中確定陰影線Ci的方向時，出現(xiàn)正向端點 XSi與反向端點NSi重合的情況，陰影線方向則直接由正向端點XSi或反向端點NSi確定，方 向選取與已知的車輛陰影方向夾角最小的一邊；出現(xiàn)反向端點NSi不在陰影線端點的情況 時，以反向端點NSi為斷點去除與陰影線方向相反的像素。
6.根據(jù)權(quán)利要求1-4之一所述面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消 除方法，其特征是，在所述消除短截線陰影的步驟中采用3X3結(jié)構(gòu)元素中插值的方法具體 步驟為設(shè)方向為d，A，B，C，D為插入的四個像素，設(shè)方向d與水平正向的夾角為α，并用V (xu, v) (u, ν = -1,0,1)表示像素的亮度值，則根據(jù)三角函數(shù)及線性插值法，求出A，B, C，D四個位置的亮度值V(A)，V(B)，V(C)，VO))及像素在方向d上的梯度Gradd(XQ,Q) 當(dāng) 0 彡 α < Ji /4 時，令 Ii1 = tan ( α )，k2 = l_tan ( α )，貝IjV(A) =^ν(χ1>0)+^ν (Xlj ^,V(B) = k1V(x_ljl)+k2V(x_lj0),V(C) = kj (x_lj0)+k2V (χ^,^), V(D) = k1V(xlj_1)+k2V(xlj0),Gradd(x0j0) = V (D) +2V (A) +V (x0j ^ -V (x0j ^1) -2V (C) -V (B)； 當(dāng) Ji/4 彡 α < π/2 時，令 Ii1 = 1/tan( α )，k2 = 1—1/tan( α )，貝Ij V(A) = Ii1V(Xoa)+Ii2V(Xlil), V⑶=1^0^)+1^(^)^(0 = (X0^1)+k2Y (X^1), V(D) = kj (Xw)+Ii2V HGradd (x0, ο) = IV ⑶ +2V (A) +V (X1,0) -V (L1,0) -2V (C) -V ⑶ | ；當(dāng) α = Ji/2 時，Grad d(x0,0) = | V(X1J+2V(Xcm)+V(L1,》—V(X1^1) _2V(Xcw)—V(L1,_工)；當(dāng) Ji/2 < α <3π/4 時，令 Ii1 = -1/tan ( α )，k2 = 1+1/tan ( α )，貝Ij V(A) =Ii1VOc0, J+Ii2V(X-U), V⑶=1^0^,4)+1^0^,4)^(0 =k,Y (X0^1)+k2Y (X1^1), V(D) = k1V(xljl)+k2V(xoa),
7.根據(jù)權(quán)利要求1-4之一所述面向智能視頻監(jiān)控的實時部分遮擋車輛分割及陰影消 除方法，其特征是，在所述消除短截線陰影的步驟中梯度比率自適應(yīng)閾值T是采用全局自 適應(yīng)閾值分割方法獲得，具體包括如下步驟步驟1 選擇平均梯度比率值作為梯度比率自適應(yīng)閾值T的初始估計值；步驟2 用梯 度比率自適應(yīng)閾值T分割生成兩組像素=G1由梯度比率值大于T的像素組成，G2由梯度比 率值不大于梯度比率自適應(yīng)閾值T的像素組成；步驟3 計算G1和(；2中像素的平均梯度比 率值μ JP μ 2;步驟4:計算新閾值T= (μι+μ2)/2;步驟5)重復(fù)步驟2-4，直到逐次迭代 所得的T值之差不再改變，即為最終的梯度比率自適應(yīng)閾值Τ。
全文摘要
本發(fā)明提出一種面向應(yīng)用的實時部分遮擋車輛分割及陰影消除方法RVSSE(Real-time Vehicles Segmentation and Shadow Elimination)，針對不同車輛陰影類型獲取反映車輛陰影幾何形態(tài)特征且僅包含稀少像素的陰影線，利用陰影線稀少像素的梯度信息實現(xiàn)陰影消除；通過視頻信息統(tǒng)計，針對絕大多數(shù)情況采用幾何形態(tài)特征分割部分遮擋車輛，針對稀少的特殊情況采用預(yù)測跟蹤與模版匹配相結(jié)合的方法實現(xiàn)部分遮擋車輛分割。理論分析和實驗結(jié)果證明，RVSSE不僅具有較高準(zhǔn)確性，而且能在現(xiàn)有硬件條件下滿足實時性。
文檔編號H04N7/18GK102117479SQ20091022676
公開日2011年7月6日 申請日期2009年12月30日 優(yōu)先權(quán)日2009年12月30日
發(fā)明者張軍, 徐偉, 李國輝, 涂丹, 焦波 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)