本發(fā)明涉及圖像處理方法
技術(shù)領(lǐng)域：
，尤其涉及一種基于視覺感知能量的監(jiān)控視頻運(yùn)動(dòng)片段分割方法。
背景技術(shù)：
：視頻的結(jié)構(gòu)化就是對視頻數(shù)據(jù)流在時(shí)間軸上進(jìn)行層次分割，完成從原始的非結(jié)構(gòu)化的視頻流到結(jié)構(gòu)化的視頻實(shí)體的轉(zhuǎn)換。將原始的視頻流分割為有意義的、易于管理的視頻結(jié)構(gòu)單元，形成視頻內(nèi)容的層次結(jié)構(gòu)，方便視頻內(nèi)容的分析與管理。視頻是非結(jié)構(gòu)化的數(shù)據(jù)流，其實(shí)質(zhì)是一系列在時(shí)間上連續(xù)的圖像幀。這些圖像幀只有相互間的時(shí)序關(guān)系，而沒有任何結(jié)構(gòu)信息。視頻分割即按照視頻內(nèi)容或視頻中的特定標(biāo)示從數(shù)字視頻序列中檢測出層次化的結(jié)構(gòu)單元，為不同層次的結(jié)構(gòu)單元建立索引信息，以便于按照具體內(nèi)容來存儲(chǔ)、管理、分析和處理視頻數(shù)據(jù)。視頻數(shù)據(jù)流按照從抽象到具體的順序可以劃分為四個(gè)層次的結(jié)構(gòu)單元：視頻、場景、鏡頭和幀，其層次化結(jié)構(gòu)如圖1所示。數(shù)據(jù)驅(qū)動(dòng)分割是根據(jù)鏡頭切換時(shí)視頻數(shù)據(jù)所呈現(xiàn)的特征變化進(jìn)行視頻鏡頭分割的一種方法。這種視頻鏡頭分割方法的理論依據(jù)是：同一鏡頭內(nèi)的相鄰兩幀之間的視頻數(shù)據(jù)特征變化不大，特征差值會(huì)分布在某一閾值內(nèi)；而如果相鄰的兩幀之間的特征差值超過了設(shè)定的閾值，則說明此處是鏡頭切換點(diǎn)，可以被認(rèn)為是視頻分割的邊界。數(shù)據(jù)驅(qū)動(dòng)分割雖然實(shí)現(xiàn)簡單，但卻忽視了視頻中存在的結(jié)構(gòu)變化，如果閾值選取的不恰當(dāng)，像淡入、淡出這種視頻鏡頭漸變切換過程就會(huì)被漏檢。模型驅(qū)動(dòng)分割則與數(shù)據(jù)驅(qū)動(dòng)分割完全不同，它避開了數(shù)據(jù)驅(qū)動(dòng)分割中的閾值選擇問題，而是基于視頻編輯模型檢測視頻鏡頭邊界。視頻編輯模型包括：簡單色彩編輯模型、復(fù)合色彩編輯模型和空間編輯模型?，F(xiàn)有的基于鏡頭邊界檢測的視頻分割方法通常以視頻特征的變化程度作為視頻鏡頭分割的依據(jù)。這些視頻特征包括顏色、形狀、邊緣以及運(yùn)動(dòng)矢量等等。在像素域處理算法中，視頻鏡頭分割主要利用顏色直方圖特征；在壓縮域視頻分割算法中，一般利用運(yùn)動(dòng)矢量特征。這兩類算法的處理思路基本一致，都是通過比較相鄰視頻幀之間的特征差值與設(shè)定閾值來確定鏡頭邊界。如果特征差值大于設(shè)定閾值，則視當(dāng)前位置為鏡頭邊界，反之則不是鏡頭邊界。鏡頭邊界檢測的準(zhǔn)確度取決于特征差值的定義和設(shè)定的閾值。在監(jiān)控視頻中，人們更為關(guān)注其中的運(yùn)動(dòng)片段，而運(yùn)動(dòng)片段“零星”的分散在冗長的監(jiān)控視頻中。為此，以運(yùn)動(dòng)片段為基本單元對監(jiān)控視頻進(jìn)行分割具有重要的現(xiàn)實(shí)意義。技術(shù)實(shí)現(xiàn)要素：本發(fā)明所要解決的技術(shù)問題是提供一種基于視覺感知能量的監(jiān)控視頻運(yùn)動(dòng)片段分割方法，所述方法提高了監(jiān)控視頻運(yùn)動(dòng)片段分割的準(zhǔn)確率，需要處理的視頻數(shù)據(jù)量也大大降低。為解決上述技術(shù)問題，本發(fā)明所采取的技術(shù)方案是：一種基于視覺感知能量的監(jiān)控視頻運(yùn)動(dòng)片段分割方法，其特征在于包括如下步驟：在運(yùn)動(dòng)目標(biāo)移入、移出視覺監(jiān)視區(qū)域的邊界處提取監(jiān)控視頻序列的側(cè)面，分析視頻側(cè)面上的目標(biāo)形變并建立VPE曲線；檢測VPE的拐點(diǎn)，對正負(fù)能量拐點(diǎn)進(jìn)行處理；統(tǒng)計(jì)所有的正能量拐點(diǎn)處的VPE以及負(fù)能量拐點(diǎn)處的修正后的VPE，繪制累積VPE曲線；根據(jù)累積VPE曲線進(jìn)行運(yùn)動(dòng)片段分割，其中VPE是指視覺感知能量。進(jìn)一步的技術(shù)方案在于：所述方法還包括將分割后的運(yùn)動(dòng)片段進(jìn)行整合的步驟。進(jìn)一步的技術(shù)方案在于：運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域產(chǎn)生正能量，運(yùn)動(dòng)目標(biāo)移出視覺監(jiān)視區(qū)域產(chǎn)生負(fù)能量。進(jìn)一步的技術(shù)方案在于：通過設(shè)置視頻次邊界來判斷目標(biāo)運(yùn)動(dòng)方向，該視頻次邊界位于所述視頻邊界內(nèi)，且臨近并平行于視頻邊界，如果運(yùn)動(dòng)目標(biāo)中心先通過視頻邊界，后通過視頻次邊界，認(rèn)為目標(biāo)是移入視覺監(jiān)視區(qū)域；反之，認(rèn)為目標(biāo)是移出視覺監(jiān)視區(qū)域。進(jìn)一步的技術(shù)方案在于：所述的在運(yùn)動(dòng)目標(biāo)移入、移出的邊界提取監(jiān)控視頻序列的側(cè)面的方法如下：對于由大小為H×W的視頻幀組成的長度為L的視頻序列，用pi,j表示視頻幀的第i行、第j列的像素值，那么第k幀圖像的四個(gè)邊界Side(A)、Side(B)、Side(C)、Side(D)分別表示如下：Side(A)：Side(B)：Side(C)：Side(D)：在視頻序列的每一幀的相同邊界采樣，得到一個(gè)像素陣列，將這些來自連續(xù)幀的像素陣列沿著時(shí)間軸連接起來，就形成了視頻的側(cè)面；相應(yīng)的，視頻序列的四個(gè)側(cè)面Profile(A)、Profile(B)、Profile(C)、Profile(D)分別表示如下：Profile(A)：PAi,jk=p1,11p2,11p3,11...pH-1,11pH,11p1,12p2,12p3,12...pH-1,12pH,12p1,13p2,13p3,13...pH-1,13pH,13..................p1,1L-1p2,1L-1p3,1L-1...pH-1,1L-1pH,1L-1p1,1Lp2,1Lp3,1L...pH-1,1LpH,1LT]]>Profile(B)：PBi,jk=pH,11pH,21pH,31...pH-W,11pH,W1pH,12pH,22pH,32...pH-W,12pH,W2pH,13pH,23pH,33...pH-W,13pH,W3..................pH,1L-1pH,2L-1pH,3L-1...pH-W,1L-1pH,WL-1pH,1LpH,2LpH,3L...pH-W,1LpH,WL]]>Profile(C)：PCi,jk=p1,W1p2,W1p3,W1...pH-1,W1pH,W1p1,W2p2,W2p3,W2...pH-1,W2pH,W2p1,W3p2,W3p3,W3...pH-1,W3pH,W3..................p1,WL-1p2,WL-1p3,WL-1...pH-1,WL-1pH,WL-1p1,WLp2,WLp3,WL...pH-1,WLpH,WLT]]>Profile(D)：PDi,jk=p1,11p1,21p1,31...p1,W-11p1,W1p1,12p1,22p1,32...p1,W-12p1,W2p1,13p1,23p1,33...p1,W-13p1,W3..................p1,1L-1p1,2L-1p1,3L-1...p1,W-1L-1p1,WL-1p1,1Lp1,2Lp1,3L...p1,W-1Lp1,WL.]]>進(jìn)一步的技術(shù)方案在于：所述的分析視頻側(cè)面上的目標(biāo)形變的方法如下：建立平面直角坐標(biāo)系，其中，y方向?yàn)檫\(yùn)動(dòng)目標(biāo)將要跨越的視頻邊界，跨越邊界時(shí)，運(yùn)動(dòng)目標(biāo)的速度為其分量分別為u和v，u與視頻邊界y正交，v與視頻邊界y平行，目標(biāo)主姿態(tài)方向與視頻邊界y成β夾角；運(yùn)動(dòng)目標(biāo)的形變包括水平方向形變和垂直方向形變兩個(gè)方面，水平方向的形變?nèi)Q于運(yùn)動(dòng)目標(biāo)的水平分速度u，即側(cè)面上目標(biāo)的寬度與速度u成反比；如果運(yùn)動(dòng)目標(biāo)以較高的速度u跨越視頻邊界，則目標(biāo)寬度會(huì)變窄；反之，對于較低的速度u，運(yùn)動(dòng)目標(biāo)的寬度會(huì)變寬；垂直方向的形變來源于夾角β和運(yùn)動(dòng)目標(biāo)的垂直速度v，隨著β的增大，目標(biāo)高度會(huì)被壓縮，隨著v的增大，目標(biāo)高度會(huì)被拉伸；運(yùn)動(dòng)目標(biāo)垂直于視頻邊界方向移入、移出視覺監(jiān)視區(qū)域，視頻側(cè)面上的目標(biāo)形變最小，選取水平方向和垂直方向作為視頻邊界。進(jìn)一步的技術(shù)方案在于：所述的對正負(fù)能量拐點(diǎn)進(jìn)行處理的方法包括如下步驟：對于正能量拐點(diǎn)：正能量拐點(diǎn)表明此時(shí)是運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域，建立目標(biāo)的三個(gè)特征模型：表觀模型運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型并形成匹配特征表保存到目標(biāo)特征數(shù)據(jù)庫中，將此時(shí)的運(yùn)動(dòng)目標(biāo)VPE保存為基準(zhǔn)能量；對于負(fù)能量拐點(diǎn)：負(fù)能量拐點(diǎn)表明此時(shí)是運(yùn)動(dòng)目標(biāo)移出視覺監(jiān)視區(qū)域，建立目標(biāo)的三個(gè)特征模型：表觀模型運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型并與目標(biāo)特征數(shù)據(jù)庫進(jìn)行匹配，如果匹配成功，則去掉目標(biāo)特征數(shù)據(jù)庫中的對應(yīng)特征模型，并對VPE進(jìn)行能量修正，如果失配，則建立失配標(biāo)記后返回。進(jìn)一步的技術(shù)方案在于：在檢測VPE的拐點(diǎn)的過程中需要對VPE曲線進(jìn)行描述，所述VPE曲線進(jìn)行描述的方法如下：視覺感知能量VPE采用運(yùn)動(dòng)目標(biāo)的像素?cái)?shù)進(jìn)行表征，首先對視頻側(cè)面進(jìn)行背景減除，方法如下：將視頻幀的t時(shí)刻觀測值為Xt的每一個(gè)像素點(diǎn)的概率分布P(Xt)用K個(gè)加權(quán)高斯分布模型來表征，對應(yīng)的顏色分布函數(shù)為η(Xt,μk,t,∑k,t)，公式表示如下：P(Xt)=Σk=1Kωk,t×η(Xt,μk,t,Σk,t)]]>η(Xt,μk,t,Σk,t)=1(2π)n/2(|Σk,t|1/2)exp{-12(Xt-μk,t)TΣk,t-1Xt-μk,t}]]>上式中：μk,t表示t時(shí)刻第k個(gè)高斯分布模型的均值，∑k,t表示t時(shí)刻第k個(gè)高斯分布模型的方差，ωk,t表示t時(shí)刻第k個(gè)高斯分布模型的權(quán)重，K的取值范圍為3～5；在模型匹配的過程中，混合高斯模型方法將K個(gè)高斯分布的ωk,t/σk,t按由大到小的順序進(jìn)行排列，對于輸入的視頻幀，將其與K個(gè)高斯分布的每一個(gè)均值按順序依次進(jìn)行比較，找到相匹配的高斯分布模型后，匹配過程結(jié)束，匹配條件為：|Xt-μk,t|＜2.5σk,t上式中：σk,t為對應(yīng)的標(biāo)準(zhǔn)差；如果滿足匹配條件的高斯模型存在，則對第一個(gè)匹配高斯模型的所有模型參數(shù)進(jìn)行更新：ωk,t+1＝(1-α)×ωk,t+αμk,t+1＝(1-ρ)×μk,t+ρ×Xt+1σk,t+12=(1-ρ)×σk,t2+ρ×(Xt+1-μk,t+1)T(Xt+1-μk,t+1)]]>ρ＝α×(Xt+1|μk,t,σk,t)而對于其它高斯分布模型，只更新權(quán)值ωk,t+1，模型的均值和方差保持不變；ωk,t+1＝(1-α)×ωk,t如果滿足匹配條件的高斯模型不存在，則建立一個(gè)具有較高方差、較低權(quán)重、均值為Xt+1的高斯分布模型來替換第K個(gè)高斯模型；模型參數(shù)更新完成以后，每個(gè)高斯模型有一個(gè)權(quán)重，按照權(quán)重進(jìn)行降序排列，選取前NB個(gè)高斯模型作為背景，NB滿足以下公式：NB=argminb(Σk=1bωk,t>T)]]>上式中：T其表示背景所占的比例，T∈(0,1)；在高斯背景模型中，視頻側(cè)面的每一列視作高斯模型的一個(gè)輸入，模型參數(shù)逐列進(jìn)行更新，高斯均值μ和方差σ2的更新公式如下：μt+1=(1-α)μt+αGBt+1(σ2)t+1=(1-α)(σ2)t+α(GBt+1-μt+1)(GBt+1-μt+1)T]]>上式中：是視頻側(cè)面中列t+1的灰度，α為修正率，定義如下：α=1/Mn,t<2000.005,t≥200]]>其中：Mn是匹配次數(shù)，視頻側(cè)面的方差σ2為σ2=σx1,y12σx2,y12...σxL,y12σx1,y22σx2,y22...σxL,y22............σx1,yp2σx2,yp2...σxL,yp2]]>其中：yp是視頻側(cè)面的個(gè)數(shù)，取4；視頻側(cè)面的背景模型生成后，自適應(yīng)的進(jìn)行背景更新，檢測視頻側(cè)面的每一個(gè)像素Ip是否服從N(μ,δ)分布，前景運(yùn)動(dòng)目標(biāo)通過以下公式獲得：If=0,Ip~N(μ,δ)1,else]]>根據(jù)上式，視頻側(cè)面上的運(yùn)動(dòng)目標(biāo)可以從背景中分離出來，視頻側(cè)面上的單視頻幀目標(biāo)像素?cái)?shù)目為對應(yīng)視頻幀的視覺感知能量VPE，視覺感知能量VPE大于設(shè)定閾值的視頻片段為運(yùn)動(dòng)片段；視頻序列的每一幀F(xiàn)i的A側(cè)面上的視覺感知能量VPE由以下公式計(jì)算得到：VPEA(F)=Σj=1W{NA[If(Fi)]}j]]>上式中：NA[If(Fi)]=1,if[If(Fi)]j≠00,else]]>相似的，可以得到：VPEB(Fi)=Σj=1W{NB[If(Fi)]}j]]>VPEC(Fi)=Σj=1W{NC[If(Fi)]}j]]>VPED(Fi)=Σi=1W{ND[If(Fi)]}j]]>將視頻序列每一幀的四個(gè)側(cè)面的視覺感知能量相加得到該視頻幀的視覺感知能量，如以下公式所示：VPE(Fi)＝VPEA(Fi)+VPEB(Fi)+VPEC(Fi)+VPED(Fi)將視頻序列的每一幀的視覺感知能量VPE值連接起來，得到VPE曲線。進(jìn)一步的技術(shù)方案在于：所述的修正VPE的方法如下：采用運(yùn)動(dòng)目標(biāo)特征匹配的方法對視覺感知能量VPE進(jìn)行修正，以目標(biāo)移入視覺監(jiān)視區(qū)域時(shí)具有的視覺感知能量為基準(zhǔn)，目標(biāo)移出視覺監(jiān)視區(qū)域時(shí)的視覺感知能量自動(dòng)修正為目標(biāo)基準(zhǔn)能量，實(shí)現(xiàn)同一目標(biāo)在移入、移出視覺監(jiān)視區(qū)域時(shí)具有相等的視覺感知能量；運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域后記為In，采用三個(gè)特征模型對目標(biāo)進(jìn)行描述，分別為表觀模型運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型相似的，對于移出視覺監(jiān)視區(qū)域的運(yùn)動(dòng)目標(biāo)記為Om,t可以描述為：表觀模型運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型在運(yùn)動(dòng)目標(biāo)In移入視覺監(jiān)視區(qū)域時(shí)，逐一建立匹配特征表并存儲(chǔ)到目標(biāo)特征數(shù)據(jù)庫中；對于移出視覺監(jiān)視區(qū)域的運(yùn)動(dòng)目標(biāo)Om,t將與目標(biāo)特征數(shù)據(jù)庫中的In特征進(jìn)行匹配，按照以下公式修正其視覺感知能量：同時(shí)對目標(biāo)特征數(shù)據(jù)庫進(jìn)行更新，去除已經(jīng)移出視覺監(jiān)視區(qū)域的匹配特征表，移出的目標(biāo)產(chǎn)生負(fù)能量，視頻序列的累積視覺感知能量變小。進(jìn)一步的技術(shù)方案在于：所述的將分割后的運(yùn)動(dòng)片段進(jìn)行整合的方法如下：將這些分割后的獨(dú)立運(yùn)動(dòng)片段視為運(yùn)動(dòng)子片段，組合成一個(gè)更長的視頻片段Sm，整合過程如下：Sm＝[Sm(1)Sm(2)…Sm(Ns)]上式中，Ns是運(yùn)動(dòng)子片段數(shù)目。采用上述技術(shù)方案所產(chǎn)生的有益效果在于：本發(fā)明所提出的方法只需要檢測視頻幀的邊界行、列像素，而非全部像素，有效避免了環(huán)境、光線等外界干擾的長時(shí)間累積和多像素累積，提高了監(jiān)控視頻運(yùn)動(dòng)片段分割的準(zhǔn)確率，需要處理的視頻數(shù)據(jù)量也大大降低。實(shí)驗(yàn)結(jié)果表明本發(fā)明所提出的分割方法的準(zhǔn)確率比當(dāng)前主流方法提高了17.6％，并且計(jì)算復(fù)雜度低，對環(huán)境干擾具有較好的魯棒性。附圖說明下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明。圖1是視頻數(shù)據(jù)的層次化結(jié)構(gòu)圖；圖2是實(shí)施例所述方法的流程圖；圖3是視覺感知能量的平面示意圖；圖4是示例視頻序列的部分幀；圖5是示例視頻序列的四個(gè)側(cè)面圖；圖6是視頻次邊界示意圖；圖7是建立的平面直角坐標(biāo)系圖；圖8是混合高斯背景建模算法流程圖；圖9是分離出前景的視頻四側(cè)面時(shí)空圖；圖10是視覺感知能量隨著時(shí)間軸的變化情況圖；圖11是視頻序列的累積視覺感知能量；圖12是修正后的視覺感知能量隨著時(shí)間軸的變化情況圖；圖13是修正后的視頻序列的累積視覺感知能量圖。具體實(shí)施方式下面結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是本發(fā)明還可以采用其它不同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣，因此本發(fā)明不受下面公開的具體實(shí)施例的限制。如圖2所示，本發(fā)明公開了一種基于視覺感知能量的監(jiān)控視頻運(yùn)動(dòng)片段分割方法，所述方法包括以下步驟：首先，在運(yùn)動(dòng)目標(biāo)移入、移出視覺監(jiān)視區(qū)域的邊界處提取監(jiān)控視頻序列的側(cè)面，分析視頻側(cè)面上的目標(biāo)形變并建立VPE(視覺感知能量)曲線。其次，檢測VPE曲線的拐點(diǎn)，對于正、負(fù)能量拐點(diǎn)分別做不同的處理：正能量拐點(diǎn)表明此時(shí)是運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域，建立目標(biāo)的三個(gè)特征模型(表觀模型運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型)并形成匹配特征表保存到目標(biāo)特征數(shù)據(jù)庫中，將此時(shí)的運(yùn)動(dòng)目標(biāo)VPE保存為基準(zhǔn)能量；負(fù)能量拐點(diǎn)表明此時(shí)是運(yùn)動(dòng)目標(biāo)移出視覺監(jiān)視區(qū)域，建立目標(biāo)的三個(gè)特征模型(表觀模型運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型)并與目標(biāo)特征數(shù)據(jù)庫進(jìn)行匹配，如果匹配成功，則去掉目標(biāo)特征數(shù)據(jù)庫中的對應(yīng)特征模型，并對VPE進(jìn)行能量修正，如果失配，則建立失配標(biāo)記后返回。然后，統(tǒng)計(jì)所有的正能量拐點(diǎn)處的VPE以及負(fù)能量拐點(diǎn)處的修正后的VPE，繪制累積VPE曲線。最后，根據(jù)累積VPE曲線進(jìn)行運(yùn)動(dòng)片段分割，并將這些運(yùn)動(dòng)片段進(jìn)行整合。下面對上述步驟進(jìn)行詳細(xì)說明：視覺感知能量建模：運(yùn)動(dòng)之所以能夠吸引人的視覺注意力是因?yàn)檫\(yùn)動(dòng)具有能量，運(yùn)動(dòng)越劇烈，能量就越強(qiáng)，就越能吸引人的視覺注意。本發(fā)明定義這種能夠被人眼視覺所感知的能量為視覺感知能量，相應(yīng)的，將視頻中的目標(biāo)運(yùn)動(dòng)建模為視覺感知能量。這樣，視頻運(yùn)動(dòng)片段的分割問題就轉(zhuǎn)化成了視覺感知能量的建模問題。運(yùn)動(dòng)目標(biāo)移入監(jiān)視區(qū)域產(chǎn)生正能量(E+)，運(yùn)動(dòng)目標(biāo)移出監(jiān)視區(qū)域產(chǎn)生負(fù)能量(E-)，監(jiān)視區(qū)域中的視覺感知能量總量表征著當(dāng)前視頻片段的運(yùn)動(dòng)狀況，如圖3所示。在圖3中，Side(A)、Side(B)、Side(C)、Side(D)代表著運(yùn)動(dòng)目標(biāo)移入、移出監(jiān)視區(qū)域的四個(gè)潛在的邊界(通常為視頻幀的四個(gè)邊緣像素行、列)。視頻側(cè)面：對于由大小為H×W的視頻幀組成的長度為L的視頻序列，用pi,j表示視頻幀的第i行、第j列的像素值，那么第k幀圖像的四個(gè)邊界Side(A)、Side(B)、Side(C)、Side(D)分別表示為如下。Side(A)：Side(B)：Side(C)：Side(D)：在視頻序列的每一幀的相同邊界采樣，可以得到一個(gè)像素陣列，將這些來自連續(xù)幀的陣列沿著時(shí)間軸連接起來，就形成了視頻的側(cè)面。相應(yīng)的，視頻序列的四個(gè)側(cè)面Profile(A)、Profile(B)、Profile(C)、Profile(D)分別表示如下。Profile(A)：PAi,jk=p1,11p2,11p3,11...pH-1,11pH,11p1,12p2,12p3,12...pH-1,12pH,12p1,13p2,13p3,13...pH-1,13pH,13..................p1,1L-1p2,1L-1p3,1L-1...pH-1,1L-1pH,1L-1p1,1Lp2,1Lp3,1L...pH-1,1LpH,1LT---(5)]]>Profile(B)：PBi,jk=pH,11pH,21pH,31...pH-W,11pH,W1pH,12pH,22pH,32...pH-W,12pH,W2pH,13pH,23pH,33...pH-W,13pH,W3..................pH,1L-1pH,2L-1pH,3L-1...pH-W,1L-1pH,WL-1pH,1LpH,2LpH,3L...pH-W,1LpH,WL---(6)]]>Profile(C)：PCi,jk=p1,W1p2,W1p3,W1...pH-1,W1pH,W1p1,W2p2,W2p3,W2...pH-1,W2pH,W2p1,W3p2,W3p3,W3...pH-1,W3pH,W3..................p1,WL-1p2,WL-1p3,WL-1...pH-1,WL-1pH,WL-1p1,WLp2,WLp3,WL...pH-1,WLpH,WLT---(7)]]>Profile(D)：PDi,jk=p1,11p1,21p1,31...p1,W-11p1,W1p1,12p1,22p1,32...p1,W-12p1,W2p1,13p1,23p1,33...p1,W-13p1,W3..................p1,1L-1p1,2L-1p1,3L-1...p1,W-1L-1p1,WL-1p1,1Lp1,2Lp1,3L...p1,W-1Lp1,WL---(8)]]>為了表達(dá)直觀，以下將結(jié)合具體視頻實(shí)例來闡述視覺感知能量的建模過程。所選用的視頻序列的部分幀如圖4所示，該視頻具有明顯的運(yùn)動(dòng)片段和靜止片段，描述的是人(運(yùn)動(dòng)目標(biāo))在操場上慢跑，并且四次移入、移出視覺監(jiān)視區(qū)域的過程。圖5給出了示例視頻序列的四個(gè)側(cè)面Profile(A)、Profile(B)、Profile(C)、Profile(D)。從圖中可以觀察到：在整個(gè)運(yùn)動(dòng)過程中，運(yùn)動(dòng)目標(biāo)在不同的時(shí)間點(diǎn)分別四次跨域了邊界Side(A)和Side(C)，沒有跨越Side(B)和Side(D)；側(cè)面中的所有運(yùn)動(dòng)目標(biāo)都面向同一方向(左方)。此外，我們還可以觀察到：視頻側(cè)面保留著完整的時(shí)間信息，索引精度可以達(dá)到1/60秒；但是空間信息卻很匱乏，雖能捕捉所有跨越視頻邊界的運(yùn)動(dòng)目標(biāo)，但運(yùn)動(dòng)目標(biāo)都發(fā)生了不同程度的形變。要實(shí)現(xiàn)視覺感知能量的建模，首先要解決兩方面的問題：(1)目標(biāo)運(yùn)動(dòng)方向問題，(2)目標(biāo)形變問題。在視頻側(cè)面的形成過程中，邊界總是處于運(yùn)動(dòng)目標(biāo)的前方；因此，在視頻側(cè)面中所有的運(yùn)動(dòng)目標(biāo)都面向左方。為此，可以通過設(shè)置視頻次邊界(臨近且平行于視頻邊界)來判斷目標(biāo)運(yùn)動(dòng)方向，如圖6所示。如果運(yùn)動(dòng)目標(biāo)中心先通過視頻邊界，后通過視頻次邊界，則認(rèn)為目標(biāo)是移入視覺監(jiān)視區(qū)域；反之，認(rèn)為目標(biāo)是移出視覺監(jiān)視區(qū)域。這樣，視頻側(cè)面中的目標(biāo)便能夠確定運(yùn)動(dòng)方向。針對目標(biāo)形變問題，將結(jié)合視頻邊界和目標(biāo)運(yùn)動(dòng)方向進(jìn)行分析。不失一般性，建立如圖7所示的平面直角坐標(biāo)系，y方向?yàn)檫\(yùn)動(dòng)目標(biāo)將要跨越的視頻邊界?？缭竭吔鐣r(shí)，運(yùn)動(dòng)目標(biāo)的速度為其分量分別為u和v。u與視頻邊界y正交，v與視頻邊界y平行。目標(biāo)主姿態(tài)方向與視頻邊界y成β夾角。運(yùn)動(dòng)目標(biāo)的形變包括水平方向形變和垂直方向形變兩個(gè)方面。水平方向的形變?nèi)Q于運(yùn)動(dòng)目標(biāo)的水平分速度u，即側(cè)面上目標(biāo)的寬度與速度u成反比。如果運(yùn)動(dòng)目標(biāo)以較高的速度u跨越視頻邊界，則目標(biāo)寬度會(huì)變窄；反之，對于較低的速度u，運(yùn)動(dòng)目標(biāo)的寬度會(huì)變寬。垂直方向的形變來源于夾角β和運(yùn)動(dòng)目標(biāo)的垂直速度v。隨著β的增大，目標(biāo)高度會(huì)被壓縮，隨著v的增大，目標(biāo)高度會(huì)被拉伸。顯然，運(yùn)動(dòng)目標(biāo)垂直于視頻邊界方向移入、移出視覺監(jiān)視區(qū)域，視頻側(cè)面上的目標(biāo)形變最小。為了視頻側(cè)面目標(biāo)質(zhì)量和計(jì)算速度的折中，本發(fā)明選取水平方向和垂直方向作為視頻邊界。能量建模：為了能夠直觀的量化運(yùn)動(dòng)目標(biāo)的視覺感知能量，本發(fā)明采用運(yùn)動(dòng)目標(biāo)的像素?cái)?shù)進(jìn)行表征，為此，需要先對視頻側(cè)面進(jìn)行背景減除。考慮到前景目標(biāo)檢測結(jié)果準(zhǔn)確且目標(biāo)丟失率低的問題，本發(fā)明選用混合高斯背景建模方法實(shí)現(xiàn)背景減除。作為對單高斯模型的一種擴(kuò)展和改進(jìn)，混合高斯背景模型對抖動(dòng)、光線變化等具有一定的適應(yīng)性。它采用兩個(gè)以上的高斯分布的概率密度函數(shù)進(jìn)行加權(quán)平均后來平滑地逼近當(dāng)前的密度分布函數(shù)，是一種經(jīng)典、高效的背景建模方法?；旌细咚贡尘敖５幕驹硎菍⒁曨l幀的t時(shí)刻觀測值為Xt的每一個(gè)像素點(diǎn)的概率分布P(Xt)用K個(gè)加權(quán)高斯分布模型來表征，對應(yīng)的顏色分布函數(shù)為η(Xt,μk,t,∑k,t)，公式表示如下：P(Xt)=Σk=1Kωk,t×η(Xt,μk,t,Σk,t)---(9)]]>η(Xt,μk,t,Σk,t)=1(2π)n/2(|Σk,t|1/2)exp{-12(Xt-μk,t)TΣk,t-1Xt-μk,t}---(10)]]>上式中：μk,t表示t時(shí)刻第k個(gè)高斯分布模型的均值，∑k,t表示t時(shí)刻第k個(gè)高斯分布模型的方差，ωk,t表示t時(shí)刻第k個(gè)高斯分布模型的權(quán)重，通常K的取值范圍為3～5。為了減小計(jì)算量，一般假設(shè)各個(gè)顏色通道之間相互獨(dú)立、互不相關(guān)。運(yùn)動(dòng)目標(biāo)快速穿過視覺監(jiān)視區(qū)域，視覺監(jiān)視區(qū)域的大部分區(qū)域表現(xiàn)為固定背景。在模型匹配的過程中，混合高斯模型方法將K個(gè)高斯分布的ωk,t/σk,t按由大到小的順序進(jìn)行排列，對于輸入的視頻幀，將其與K個(gè)高斯分布的每一個(gè)均值按順序依次進(jìn)行比較，找到相匹配的高斯分布模型后，匹配過程結(jié)束。匹配條件為：|Xt-μk,t|＜2.5σk,t(11)上式中：σk,t為對應(yīng)的標(biāo)準(zhǔn)差。如果滿足匹配條件的高斯模型存在，則對第一個(gè)匹配高斯模型的所有模型參數(shù)進(jìn)行更新：ωk,t+1＝(1-α)×ωk,t+α(12)μk,t+1＝(1-ρ)×μk,t+ρ×Xt+1(13)σk,t+12=(1-ρ)×σk,t2+ρ×(Xt+1-μk,t+1)T(Xt+1-μk,t+1)---(14)]]>ρ＝α×(Xt+1|μk,t,σk,t)(15)而對于其它高斯分布模型，只更新權(quán)值ωk,t+1，模型的均值和方差保持不變。ωk,t+1＝(1-α)×ωk,t(16)如果滿足匹配條件的高斯模型不存在，則建立一個(gè)具有較高方差、較低權(quán)重、均值為Xt+1的高斯分布模型來替換第K個(gè)高斯模型。模型參數(shù)更新完成以后，每個(gè)高斯模型有一個(gè)權(quán)重，按照權(quán)重進(jìn)行降序排列。選取前NB個(gè)高斯模型作為背景，NB滿足以下公式：NB=argminb(Σk=1bωk,t>T)---(17)]]>上式中：T其表示背景所占的比例，T∈(0,1)?；旌细咚贡尘敖Ｋ惴蚣苋鐖D8所示。根據(jù)圖8所示的混合高斯背景建模算法框架，首先判斷輸入的視頻幀是否與高斯分布匹配，然后分兩種情況進(jìn)行參數(shù)匹配，并執(zhí)行不同的操作。這種背景建模算法的核心思想為：首先生成一個(gè)描述視覺監(jiān)視區(qū)域的背景模型，然后根據(jù)新輸入的視頻幀和背景模型之間的相似度判斷當(dāng)前區(qū)域?qū)儆诒尘斑€是前景。視頻側(cè)面是由視頻序列的每一幀特定位置的像素行(或者列)組成的，因此，在對視頻側(cè)面圖像進(jìn)行高斯背景建模時(shí)，實(shí)質(zhì)上是對側(cè)面的行(或者列)進(jìn)行建模，得到背景模型。在高斯背景模型中，視頻側(cè)面的每一列視作高斯模型的一個(gè)輸入，模型參數(shù)逐列進(jìn)行更新。高斯均值μ和方差σ2的更新公式如下：μt+1=(1-α)μt+αGBt+1(σ2)t+1=(1-α)(σ2)t+α(GBt+1-μt+1)(GBt+1-μt+1)T---(18)]]>上式中：是視頻側(cè)面中列t+1的灰度。α為修正率，定義如下：α=1/Mn,t<2000.005,t≥200---(19)]]>其中：Mn是匹配次數(shù)。視頻側(cè)面的方差σ2為σ2=σx1,y12σx2,y12...σxL,y12σx1,y22σx2,y22...σxL,y22............σx1,yp2σx2,yp2...σxL,yp2---(20)]]>其中：yp是視頻側(cè)面的個(gè)數(shù)，一般取4。視頻側(cè)面的背景模型生成后，可以自適應(yīng)的進(jìn)行背景更新，能夠適應(yīng)環(huán)境干擾隨時(shí)間的緩慢變換，并且對周期性干擾具有一定的抑制作用。檢測視頻側(cè)面的每一個(gè)像素Ip是否服從N(μ,δ)分布，前景運(yùn)動(dòng)目標(biāo)可以通過以下公式獲得：If=0,Ip~N(μ,δ)1,else---(21)]]>根據(jù)公式(21)視頻側(cè)面上的運(yùn)動(dòng)目標(biāo)可以從背景中分離出來，分離后的視頻四側(cè)面時(shí)空圖如圖9所示。運(yùn)動(dòng)目標(biāo)跨越視覺監(jiān)視區(qū)域的邊界會(huì)持續(xù)短暫的時(shí)間，并且目標(biāo)的中心位置經(jīng)過邊界時(shí)，視頻側(cè)面上的運(yùn)動(dòng)目標(biāo)像素最穩(wěn)定、像素?cái)?shù)量最大。基于這一事實(shí)，本發(fā)明定義視頻側(cè)面上的單視頻幀目標(biāo)像素?cái)?shù)目為對應(yīng)視頻幀的視覺感知能量，對應(yīng)的，視覺感知能量大于設(shè)定閾值的視頻片段為運(yùn)動(dòng)片段。每一個(gè)運(yùn)動(dòng)目標(biāo)在跨越視覺監(jiān)視區(qū)域的邊界時(shí)都會(huì)在視頻側(cè)面上留下具有一定形變的目標(biāo)圖像，圖像像素?cái)?shù)目反應(yīng)了運(yùn)動(dòng)目標(biāo)跨越視覺監(jiān)視區(qū)域邊界的過程。根據(jù)圖9，視頻序列的每一幀F(xiàn)i的(A)側(cè)面上的視覺感知能量VPE(VisualPerceptionEnergy)可以由以下公式計(jì)算得到：VPEA(Fi)=Σj=1W{NA[If(Fi)]}j---(22)]]>上式中：NA[If(Fi)]=1,if[If(Fi)]j≠00,else---(23)]]>相似的，可以得到：VPEB(Fi)=Σj=1W{NB[If(Fi)]}j---(24)]]>VPEC(Fi)=Σj=1W{NC[If(Fi)]}j---(25)]]>VPED(Fi)=Σi=1W{ND[If(Fi)]}j---(26)]]>將視頻序列每一幀的四個(gè)側(cè)面的視覺感知能量相加可以得到該視頻幀的視覺感知能量，如以下公式所示。VPE(Fi)＝VPEA(Fi)+VPEB(Fi)+VPEC(Fi)+VPED(Fi)(27)將視頻序列的每一幀的視覺感知能量VPE值連接起來，可以得到VPE曲線。檢測VPE曲線拐點(diǎn)，就可以得到視頻的目標(biāo)運(yùn)動(dòng)狀況。正能量拐點(diǎn)代表著有運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域，負(fù)能量拐點(diǎn)表示有運(yùn)動(dòng)目標(biāo)移出視覺監(jiān)視區(qū)域，如圖10所示。視頻序列的累積視覺感知能量反應(yīng)了視頻片段內(nèi)有無運(yùn)動(dòng)目標(biāo)，如圖11所示。當(dāng)累積VPE大于設(shè)定閾值(此處為100)時(shí)的視頻片段為運(yùn)動(dòng)片段，其它的視頻片段為靜止片段。由圖11可以看出：視頻靜止片段的累積VPE并不為0，有的片段甚至很大(超過50)，這主要是由于同一目標(biāo)在移入、移出視覺監(jiān)視區(qū)域時(shí)的視覺感知能量不相等引起的。為此，需要對視覺感知能量進(jìn)行修正。能量修正：受到目標(biāo)尺寸、形狀以及目標(biāo)與視覺監(jiān)視區(qū)域邊界的夾角等因素的影響，按照上一節(jié)的直接視覺感知能量檢測方法很難做到同一目標(biāo)在移入、移出視覺監(jiān)視區(qū)域時(shí)具有相等的視覺感知能量。為此，本發(fā)明采用運(yùn)動(dòng)目標(biāo)特征匹配的方法對視覺感知能量進(jìn)行修正。這種方法以目標(biāo)移入視覺監(jiān)視區(qū)域時(shí)具有的視覺感知能量為基準(zhǔn)，目標(biāo)移出視覺監(jiān)視區(qū)域時(shí)的視覺感知能量自動(dòng)修正為目標(biāo)基準(zhǔn)能量，從而實(shí)現(xiàn)了同一目標(biāo)在移入、移出視覺監(jiān)視區(qū)域時(shí)具有相等的視覺感知能量。運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域后(記為In)，采用三個(gè)特征模型對目標(biāo)進(jìn)行描述，分別為表觀模型(theappearancemodel)運(yùn)動(dòng)預(yù)測模型(themotionpredictionmodel)和時(shí)間連續(xù)性模型(thetemporalcontinuitymodel)相似的，對于移出視覺監(jiān)視區(qū)域的運(yùn)動(dòng)目標(biāo)(記為Om,t)可以描述為：表觀模型(theappearancemodel)運(yùn)動(dòng)預(yù)測模型(themotionpredictionmodel)和時(shí)間連續(xù)性模型(thetemporalcontinuitymodel)在運(yùn)動(dòng)目標(biāo)In移入視覺監(jiān)視區(qū)域時(shí)，逐一建立匹配特征表并存儲(chǔ)到目標(biāo)特征數(shù)據(jù)庫中；對于移出視覺監(jiān)視區(qū)域的運(yùn)動(dòng)目標(biāo)Om,t將與目標(biāo)特征數(shù)據(jù)庫中的In特征進(jìn)行匹配，按照以下公式修正其視覺感知能量：同時(shí)對目標(biāo)特征數(shù)據(jù)庫進(jìn)行更新，去除已經(jīng)移出視覺監(jiān)視區(qū)域的匹配特征表。移出的目標(biāo)產(chǎn)生負(fù)能量，視頻序列的累積視覺感知能量變小。修正后的視覺感知能量隨著時(shí)間軸的變化情況如圖12所示。從中可以看出：同一運(yùn)動(dòng)目標(biāo)移入、移出視覺監(jiān)視區(qū)域的視覺感知能量相等。修正后的視頻序列的累積視覺感知能量如圖13所示。相比于圖11中的累積視覺感知能量曲線，圖13中靜止片段的視覺感知能量值為0，運(yùn)動(dòng)片段與靜止片段的區(qū)分更加明顯，提高了運(yùn)動(dòng)片段邊界檢測的準(zhǔn)確度。對于在運(yùn)動(dòng)目標(biāo)特征數(shù)據(jù)庫中沒有找到匹配特征的運(yùn)動(dòng)目標(biāo)，是由于視覺監(jiān)視區(qū)域內(nèi)的靜止目標(biāo)開始運(yùn)動(dòng)并跨越視覺監(jiān)視區(qū)域邊界造成的。此種情況將在后續(xù)視頻運(yùn)動(dòng)片段邊界檢測中做專門處理。運(yùn)動(dòng)片段分割：視頻序列通常由每秒25到30幀的視頻幀組成。因此，一小時(shí)時(shí)長視頻的數(shù)據(jù)量將達(dá)到90000到108000幀。面對如此龐大的視頻數(shù)據(jù)，傳統(tǒng)的逐幀、逐像素進(jìn)行比對的方法，雖然能夠保證時(shí)間精度，但是計(jì)算量很大，并且容易受到環(huán)境干擾的影響。本發(fā)明基于視覺感知能量進(jìn)行運(yùn)動(dòng)片段分割，視覺感知能量來源于視頻監(jiān)視區(qū)域的邊界，完整的保留了視頻時(shí)間信息，要處理的視頻數(shù)據(jù)量卻大大降低，同時(shí)也有效避免了環(huán)境干擾。這種方法有兩個(gè)問題需要考慮：(1)監(jiān)視區(qū)域邊界的位置選擇；(2)邊界、次邊界的數(shù)量選擇。原則上提取的監(jiān)視區(qū)域邊界、次邊界的數(shù)量越多，檢測結(jié)果越準(zhǔn)確，但是計(jì)算量也會(huì)隨之加劇。邊界的位置選在與目標(biāo)運(yùn)動(dòng)方向正交的方向上，運(yùn)動(dòng)目標(biāo)的視覺感知能量會(huì)越準(zhǔn)確，但是現(xiàn)實(shí)情況中，目標(biāo)運(yùn)動(dòng)方向多種多樣，很難做到一致?？紤]到檢測準(zhǔn)確性和計(jì)算效率，本發(fā)明選取一對邊界和次邊界對跨越監(jiān)視區(qū)域邊界的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測，同時(shí)在監(jiān)視區(qū)域的四個(gè)兩兩正交的目標(biāo)移入、移出區(qū)域的方向上(參考圖3)選取監(jiān)視區(qū)域邊界。根據(jù)視頻序列的累積視覺感知能量確定視頻運(yùn)動(dòng)片段，進(jìn)行監(jiān)控視頻分割。一般來說，視頻中會(huì)有多個(gè)獨(dú)立的運(yùn)動(dòng)片段?？梢詫⑦@些獨(dú)立片段視為子片段，組合成一個(gè)更長的視頻片段Sm，整合過程如下：Sm＝[Sm(1)Sm(2)…Sm(Ns)](29)上式中，Ns是運(yùn)動(dòng)子片段數(shù)目。后續(xù)的視頻濃縮處理步驟都是在本發(fā)明所檢測出來的視頻運(yùn)動(dòng)片段的基礎(chǔ)上進(jìn)行的，而不用考慮整個(gè)視頻，需要處理的視頻數(shù)據(jù)量大大降低。本發(fā)明所提出的運(yùn)動(dòng)片段檢測方法是基于監(jiān)視區(qū)域邊界檢測實(shí)現(xiàn)的，需要處理的視頻數(shù)據(jù)量大大降低，同時(shí)也避免了視覺監(jiān)視區(qū)域的漸變運(yùn)動(dòng)干擾，通常情況下能夠取得較好的監(jiān)控視頻運(yùn)動(dòng)片段分割效果。但是不適用于運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域后停止、背景靜止目標(biāo)開始運(yùn)動(dòng)后移出視覺監(jiān)視區(qū)域的情況。對于這種情況，本發(fā)明所提出的算法規(guī)定運(yùn)動(dòng)目標(biāo)移入視覺監(jiān)視區(qū)域的時(shí)間超過設(shè)定閾值T后，認(rèn)為目標(biāo)移出區(qū)域，在失配標(biāo)記前的T時(shí)間的視頻幀視作運(yùn)動(dòng)片段。通常取T為目標(biāo)平均穿越監(jiān)視區(qū)域所需時(shí)間的2倍，這是一種運(yùn)算量和處理效果折中的做法。對于視頻運(yùn)動(dòng)片段分割來說，有效性、準(zhǔn)確性是重要的評(píng)估準(zhǔn)則。對于專業(yè)視頻的分割性能通常用召回率和準(zhǔn)確率來評(píng)估，此類準(zhǔn)則同樣也可以用于評(píng)估監(jiān)控視頻的分割。召回率和準(zhǔn)確率定義如下：召回率：R=NcNc+Nm---(30)]]>準(zhǔn)確率：P=NcNc+Nf---(31)]]>上式中：Nc為檢測到的正確的運(yùn)動(dòng)片段邊界數(shù)目，Nf為檢測到的錯(cuò)誤的運(yùn)動(dòng)片段邊界數(shù)目(誤檢數(shù)目)，Nm為未檢測到的但是正確的運(yùn)動(dòng)片段邊界數(shù)目(漏檢數(shù)目)。召回率是正確的運(yùn)動(dòng)片段邊界被檢測到的概率，而準(zhǔn)確率是所檢測到的運(yùn)動(dòng)片段邊界是正確邊界的概率。召回率和準(zhǔn)確率越高表明所提出的視頻運(yùn)動(dòng)片段分割算法的性能越好，但是單獨(dú)一項(xiàng)評(píng)估值很高并不能說明算法性能的好壞。比如，通過選取過多的邊界可以達(dá)到很高的召回率，但是此時(shí)準(zhǔn)確率會(huì)降低，反之亦然，即兩者之間“此消彼長”。為了得到一個(gè)單一的綜合指標(biāo)，可以把兩者結(jié)合得到F1準(zhǔn)則，定義如下：F1值高表明召回率和準(zhǔn)確率都很高。為了評(píng)估本發(fā)明所提出的運(yùn)動(dòng)片段分割算法的性能，將本發(fā)明所提出的方法與當(dāng)前主流的基于像素比較的視頻片段分割方法進(jìn)行了比較，比較結(jié)果如表1所示。表1視頻運(yùn)動(dòng)片段分割方法性能比較從表中可以看出：本發(fā)明所提出的監(jiān)控視頻運(yùn)動(dòng)片段分割方法的F1值(0.892)高于對比方法(0.825)，這說明所提算法具有更好的分割性能。雖然兩種方法的召回率相當(dāng)(0.886和0.912)，但是本發(fā)明所提出的方法的準(zhǔn)確率具有明顯的提高，具體提高了：0.903-0.7680.768×100%=17.6%---(33)]]>這是因?yàn)樗岢龅姆椒ɑ谝曈X監(jiān)視區(qū)域的邊界檢測進(jìn)行，避免了監(jiān)視場景內(nèi)部的環(huán)境干擾和運(yùn)動(dòng)干擾(如Video.1中的儀器柜門打開、Video.3中的擋車桿升降、Video.4中的樹葉晃動(dòng)、Video.9中的光線變化)；而對比方法基于顏色直方圖和像素進(jìn)行分割，對干擾比較敏感；與此同時(shí)，本發(fā)明所提出的方法也丟失了一些自始至終沒有跨域監(jiān)視區(qū)域邊界的運(yùn)動(dòng)過程，影響了其召回率性能。此外，相對于其它9段視頻，Video.4的召回率和準(zhǔn)確率都要低很多，這是由于該視頻中存在“只進(jìn)未出”和“未進(jìn)只出”的運(yùn)動(dòng)目標(biāo)(如：人步行進(jìn)入監(jiān)視區(qū)域，過段時(shí)間以后乘車離開監(jiān)視區(qū)域)，對這類運(yùn)動(dòng)目標(biāo)，所提算法做了2倍閾值的近似處理，對分割結(jié)果造成了一定的影響。在數(shù)據(jù)計(jì)算量上，所提算法具有明顯的優(yōu)勢，它只需處理視頻監(jiān)視區(qū)域邊界的行、列像素，計(jì)算量取決于前景目標(biāo)的數(shù)目。運(yùn)動(dòng)是視頻的顯著特征，本發(fā)明分析了監(jiān)控視頻的結(jié)構(gòu)特征，指出了監(jiān)控視頻是由運(yùn)動(dòng)片段和靜止片段相互交叉組成的，分割出其中的運(yùn)動(dòng)片段可以大大降低視頻數(shù)據(jù)量；監(jiān)控視頻通常背景固定，運(yùn)動(dòng)片段與靜止片段的更替具有顯著的漸變特性，而漸變檢測是當(dāng)前視頻分割領(lǐng)域的瓶頸問題?，F(xiàn)有方法多是基于全局像素特征進(jìn)行分割，受環(huán)境、光線等諸多干擾因素的影響，檢測準(zhǔn)確率很難滿足需求。為此，本發(fā)明從一個(gè)全新的角度來審視視頻運(yùn)動(dòng)片段分割問題，提出了一種基于視覺感知能量的視頻運(yùn)動(dòng)片段分割方法。該方法首先分析了運(yùn)動(dòng)目標(biāo)移入、移出監(jiān)視區(qū)域邊界的特征，采用表觀模型、運(yùn)動(dòng)預(yù)測模型和時(shí)間連續(xù)性模型對運(yùn)動(dòng)目標(biāo)進(jìn)行描述，構(gòu)建目標(biāo)特征數(shù)據(jù)庫；然后將目標(biāo)不同方向的運(yùn)動(dòng)建模成視覺感知能量，移入視覺監(jiān)視區(qū)域的目標(biāo)具有正能量、移出視覺監(jiān)視區(qū)域的目標(biāo)具有負(fù)能量，累積能量表征著當(dāng)前視頻片段的運(yùn)動(dòng)劇烈程度；最后采用運(yùn)動(dòng)目標(biāo)特征匹配對累積視覺感知能量進(jìn)行修正，基于修正后的累積視覺感知能量進(jìn)行視頻運(yùn)動(dòng)片段的分割。不同于傳統(tǒng)的視頻運(yùn)動(dòng)片段分割方法，本發(fā)明所提出的方法只需要檢測視頻幀的邊界行、列像素，而非全部像素，有效避免了環(huán)境、光線等外界干擾的長時(shí)間累積和多像素累積，提高了監(jiān)控視頻運(yùn)動(dòng)片段分割的準(zhǔn)確率，需要處理的視頻數(shù)據(jù)量也大大降低。實(shí)驗(yàn)結(jié)果表明本發(fā)明所提出的監(jiān)控視頻運(yùn)動(dòng)片段分割方法的準(zhǔn)確率比當(dāng)前主流方法提高了17.6％，并且計(jì)算復(fù)雜度低，對環(huán)境干擾具有較好的魯棒性。當(dāng)前第1頁1 2 3