本發(fā)明涉及一種基于行為特征的監(jiān)控視頻語(yǔ)義對(duì)象提取的方法。
背景發(fā)明
隨著社會(huì)不斷提高的發(fā)展，流動(dòng)人口日趨增多，流動(dòng)速度日趨變快，人口地快速流動(dòng)一方面促使社會(huì)發(fā)展，另一方面對(duì)社會(huì)治安也帶來(lái)了不同程度的安全隱患。為了提高社會(huì)安全維護(hù)社會(huì)穩(wěn)定，當(dāng)前主要方法是借助教育或宣傳日益提高人們安全隱患意識(shí)，同時(shí)運(yùn)用監(jiān)控設(shè)備記錄案件線索和證據(jù)，以便相關(guān)部門依據(jù)監(jiān)控視頻分析和處理案件。視頻監(jiān)控是由視頻采集、壓縮編碼、顯示等設(shè)備和控制軟件組成，對(duì)固定區(qū)域?qū)崟r(shí)監(jiān)控和信息記錄，運(yùn)用網(wǎng)絡(luò)把監(jiān)控點(diǎn)視頻傳播到監(jiān)控中心，對(duì)刑事、治安、交通和城管違章等信息分類。為了強(qiáng)化城市綜合管理、預(yù)防打擊犯罪和突發(fā)性治安災(zāi)害事故，監(jiān)控視頻提供高質(zhì)量的影像資料，有效地降低發(fā)案率、提高案件偵破效率，同時(shí)日益增多的監(jiān)控點(diǎn)，提高了公眾安全感指數(shù)，提升政府服務(wù)形象。
目前監(jiān)控視頻影像質(zhì)量較差，視頻中的關(guān)鍵對(duì)象常常模糊不清、夜間出現(xiàn)黑影等現(xiàn)象。同時(shí)當(dāng)監(jiān)控視頻畫(huà)面對(duì)象較多或?qū)ο筮\(yùn)動(dòng)速度較快，監(jiān)控視頻可能出現(xiàn)關(guān)鍵幀丟失或播放不連續(xù)等現(xiàn)象，造成無(wú)法及時(shí)取證和收集案件線索而延誤時(shí)機(jī)。為了提示監(jiān)控視頻質(zhì)量，最普通的方法是在監(jiān)控點(diǎn)安裝高清攝像頭，但高清視頻文件存儲(chǔ)容量較大，加劇了監(jiān)控中心視頻存儲(chǔ)成本成倍增長(zhǎng)，這就亟待需要能提供以對(duì)象為基礎(chǔ)的視頻分析處理、編解碼算法以便降低存儲(chǔ)容量。
目前監(jiān)控視頻關(guān)鍵對(duì)象提取及檢索主要是通過(guò)人工觀看視頻實(shí)現(xiàn)，缺乏機(jī)器自動(dòng)提取和追蹤功能,不能對(duì)監(jiān)控視頻依對(duì)象進(jìn)行點(diǎn)對(duì)點(diǎn)的訪問(wèn)。為了更大發(fā)揮監(jiān)控視頻的作用，必須完善或增加監(jiān)控視頻的對(duì)象提取、檢索和識(shí)別功能。
目前監(jiān)控主要包括天網(wǎng)系統(tǒng)、車載記錄儀、學(xué)校、醫(yī)院、進(jìn)出各大交通要道等重點(diǎn)區(qū)域的監(jiān)控。不同監(jiān)控視頻質(zhì)量差異較大，編碼和存儲(chǔ)格式各異，但該信號(hào)表達(dá)的內(nèi)容主要由監(jiān)控?cái)z像頭范圍內(nèi)的靜止和運(yùn)動(dòng)對(duì)象組成，靜止對(duì)象主要提供地址信息，運(yùn)動(dòng)對(duì)象是視頻的主要內(nèi)容，刻畫(huà)了罪犯作案的直接線索和證據(jù)，它也是人類對(duì)視頻理解的低層對(duì)象。
現(xiàn)有技術(shù)的監(jiān)控視頻影像質(zhì)量較差，實(shí)有必要設(shè)計(jì)一種改進(jìn)方法。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明提出一種基于行為特征的監(jiān)控視頻語(yǔ)義對(duì)象提取的方法，解決了現(xiàn)有技術(shù)監(jiān)控視頻影像質(zhì)量較差的缺陷。
本發(fā)明的發(fā)明方案是這樣實(shí)現(xiàn)的：
一種基于行為特征的監(jiān)控視頻語(yǔ)義對(duì)象提取的方法，其包括如下步驟：
(1)統(tǒng)計(jì)學(xué)習(xí)對(duì)象的運(yùn)動(dòng)速率：以對(duì)象運(yùn)動(dòng)速率為特征運(yùn)用聚類算法將監(jiān)控視頻對(duì)象進(jìn)行歸類，其次采用統(tǒng)計(jì)方法分析靜止、普通運(yùn)動(dòng)和快速運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)速率期望和方差，最后以最小錯(cuò)分概率建立目標(biāo)函數(shù)，分析計(jì)算三類對(duì)象運(yùn)動(dòng)速率范圍為監(jiān)控視頻對(duì)象分級(jí)提供數(shù)值依據(jù)；
(2)監(jiān)控視頻關(guān)鍵幀語(yǔ)義對(duì)象提?。哼\(yùn)用幀差和2D對(duì)數(shù)搜索算法對(duì)三類對(duì)象的區(qū)域粗分割；其次為了抑制噪聲、紋理對(duì)語(yǔ)義對(duì)象提 取的影響，對(duì)不同對(duì)象區(qū)域進(jìn)行保邊平滑，同時(shí)為了減少系統(tǒng)運(yùn)行時(shí)間，設(shè)計(jì)了相應(yīng)的離散處理方法；最后運(yùn)用水平集曲線演化進(jìn)行對(duì)象提??；
(3)非關(guān)鍵幀語(yǔ)義對(duì)象提取：根據(jù)運(yùn)動(dòng)對(duì)象時(shí)空連續(xù)性及上下文關(guān)系，對(duì)視頻非關(guān)鍵幀的對(duì)象進(jìn)行快速提取。
本發(fā)明進(jìn)一步的改進(jìn)如下：
進(jìn)一步地，所述步驟(2)中還包括如下步驟：監(jiān)控視頻關(guān)鍵幀對(duì)象區(qū)域粗分割，結(jié)合對(duì)象的時(shí)間連續(xù)性和低層特征的穩(wěn)定性，運(yùn)用光流分析方法計(jì)算相鄰兩幀的差異從而確定運(yùn)動(dòng)區(qū)域。
進(jìn)一步地，所述步驟(2)中還包括如下步驟：運(yùn)動(dòng)區(qū)域保邊平滑模型，根據(jù)紋理、噪聲像素表現(xiàn)，在傳統(tǒng)各向同性和異性擴(kuò)散機(jī)理的基礎(chǔ)上，建立了運(yùn)動(dòng)區(qū)域語(yǔ)義對(duì)象提取的平滑條件：a)運(yùn)動(dòng)區(qū)域的平滑子區(qū)域的各個(gè)像素可表示為區(qū)域均值，該子區(qū)域像素方差為零；b)運(yùn)動(dòng)區(qū)域的紋理子區(qū)域像素可逼近于一個(gè)平滑函數(shù)，區(qū)域內(nèi)像素方差趨于零；c)該區(qū)域內(nèi)的強(qiáng)邊緣給予保護(hù)，同時(shí)增強(qiáng)弱邊緣。
進(jìn)一步地，所述步驟(2)中還包括如下步驟：根據(jù)區(qū)域大部分像素屬于同一個(gè)對(duì)象，像素鄰域之間具有較大的相關(guān)性，根據(jù)這一特點(diǎn)，將該區(qū)域的像素及其鄰域逼近為局部函數(shù)。
進(jìn)一步地，所述步驟(2)中還包括如下步驟：分析不同迭代次數(shù)對(duì)應(yīng)的保邊平滑分量不同，提取的對(duì)象區(qū)域及面積不同，根據(jù)這一特性，依據(jù)不同保邊平滑分量的對(duì)象區(qū)域建立提取對(duì)象的區(qū)域置信度函數(shù)。
進(jìn)一步地，所述步驟(3)中還包括如下步驟：搜索卷積結(jié)果的最大值，對(duì)應(yīng)的區(qū)域即為當(dāng)前幀對(duì)象所在位置，從該幀中提取各個(gè)運(yùn)動(dòng)對(duì)象，并從整幅圖像中減去運(yùn)動(dòng)對(duì)象得到靜止對(duì)象。
與現(xiàn)有技術(shù)相比，本發(fā)明具有至少如下有益效果：
本發(fā)明根據(jù)不同對(duì)象在監(jiān)控視頻的作用不同，依對(duì)象行為特征將監(jiān)控視頻對(duì)象分為三類，彌補(bǔ)了傳統(tǒng)視頻對(duì)象平面提取發(fā)明(MPEG-4)以圖像底層特征(區(qū)域亮度、顏色和紋理差異)進(jìn)行對(duì)象提取的不足。
本發(fā)明運(yùn)用監(jiān)控視頻中對(duì)象在時(shí)間和空間的連續(xù)性，從視頻中提取不同語(yǔ)義對(duì)象，運(yùn)用該發(fā)明提取的對(duì)象可以實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)的查尋和對(duì)關(guān)注對(duì)象進(jìn)行跟蹤。便于相關(guān)部門從關(guān)注對(duì)象的角度出發(fā)，從監(jiān)控視頻中快速檢索和跟蹤該對(duì)象，提高相關(guān)部門案件處理效率。而傳統(tǒng)視頻對(duì)象提取僅僅根據(jù)當(dāng)前幀圖像進(jìn)行對(duì)象提取，未考慮視頻對(duì)象的時(shí)間相關(guān)性。
本發(fā)明運(yùn)用水平集曲線演化提取視頻對(duì)象，可得封閉的對(duì)象輪廓，彌補(bǔ)了傳統(tǒng)基于像素統(tǒng)計(jì)分布特性對(duì)象提取的不足，比如基于閾值或者邊緣的圖像分割。同時(shí)本發(fā)明以平滑分量邊緣指示函數(shù)作為曲線演化的約束條件，解決了傳統(tǒng)基于區(qū)域均值CV分割算法的過(guò)分割現(xiàn)象。
本發(fā)明對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行一階多項(xiàng)式逼近，實(shí)現(xiàn)了圖像平滑區(qū)域的均值表示，紋理區(qū)域的線性表示，保護(hù)了運(yùn)動(dòng)區(qū)域行列像素的突變，從而保護(hù)了圖像邊緣。對(duì)運(yùn)動(dòng)區(qū)域的行列分別進(jìn)行多項(xiàng)式逼近保護(hù)了對(duì)象角點(diǎn)。相對(duì)于傳統(tǒng)各向同性擴(kuò)散的高斯平滑保護(hù)圖像邊緣，彌補(bǔ)了各向異性擴(kuò)散(全變分平滑)偽參數(shù)的人為選取。
本發(fā)明僅僅利用了當(dāng)前幀和前一幀對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行提取，要求計(jì)算機(jī)緩存較少，不需要離線學(xué)習(xí)監(jiān)控視頻運(yùn)動(dòng)對(duì)象的分類特征。相對(duì)于傳統(tǒng)基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的圖像分割發(fā)明，本發(fā)明不需要海量原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)學(xué)習(xí)對(duì)象的各級(jí)特征。不幸的是監(jiān)控視頻中重要的線索和證據(jù)持續(xù)時(shí)間一般很短，甚至幾幀或幾秒鐘的監(jiān)控視頻中含 有線索和證據(jù)。運(yùn)用包含線索證據(jù)的少量視頻幀圖像進(jìn)行學(xué)習(xí)，得到的對(duì)象分類特征推廣能力較差。
本發(fā)明可為監(jiān)控視頻提供基于對(duì)象的視頻訪問(wèn)、回放、檢索、識(shí)別和預(yù)警等人機(jī)交互接口，節(jié)約公安刑偵人員從天網(wǎng)監(jiān)控視頻中檢索證據(jù)的時(shí)間，提高辦案效率。同時(shí)對(duì)基于分級(jí)對(duì)象的監(jiān)控視頻編碼提供了語(yǔ)義對(duì)象提取發(fā)明。
具體實(shí)施方式
下面將對(duì)本發(fā)明實(shí)施例中的發(fā)明方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通發(fā)明人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明根據(jù)不同對(duì)象對(duì)監(jiān)控的作用不同，將對(duì)象分為靜止、普通運(yùn)動(dòng)和快速運(yùn)動(dòng)對(duì)象等三類。靜止對(duì)象具有運(yùn)動(dòng)幅度較小或長(zhǎng)時(shí)期不動(dòng)的特點(diǎn)，它們?cè)诙虝r(shí)間內(nèi)位置移動(dòng)和形狀變化的幾率不大，該類對(duì)象主要為天網(wǎng)視頻案件線索/證據(jù)提供地址信息。普通運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)速度變化緩慢，它主要由正常行走的行人和正常行駛的車輛等組成。該類對(duì)象在監(jiān)控畫(huà)面中持續(xù)的時(shí)間相對(duì)較長(zhǎng)，如果監(jiān)控?cái)z像頭范圍內(nèi)沒(méi)有事故或案件發(fā)生時(shí)，視頻畫(huà)面中的運(yùn)動(dòng)區(qū)域均由該對(duì)象組成。從監(jiān)控目地來(lái)說(shuō)，該類對(duì)象為公安/刑偵等相關(guān)部門提供較少的信息?？焖龠\(yùn)動(dòng)對(duì)象運(yùn)動(dòng)速度變化較快，它主要表現(xiàn)為突發(fā)性的行為、罪犯作案的關(guān)鍵動(dòng)作、快 速逃逸的車輛等等。這些行為一般在視頻中出現(xiàn)的時(shí)間較短，幾分鐘甚至幾秒鐘就結(jié)束了。但這類對(duì)象刻畫(huà)罪犯作案的直接線索和證據(jù)，屬于天網(wǎng)視頻中的重要對(duì)象。本發(fā)明依據(jù)不同對(duì)象在監(jiān)控視頻中的作用，以對(duì)象運(yùn)動(dòng)速率作為行為特征將監(jiān)控視頻對(duì)象分為靜止、普通運(yùn)動(dòng)和快速運(yùn)動(dòng)等三類語(yǔ)義對(duì)象。
(1)統(tǒng)計(jì)學(xué)習(xí)對(duì)象的運(yùn)動(dòng)速率
在監(jiān)控視頻中不同運(yùn)動(dòng)速率的對(duì)象對(duì)視頻分析提供的信息不同，為了從視頻中提取不同對(duì)象的運(yùn)動(dòng)速率可信范圍，本發(fā)明運(yùn)用統(tǒng)計(jì)方法訓(xùn)練學(xué)習(xí)歷史監(jiān)控視頻的三類對(duì)象運(yùn)動(dòng)速率。首先以對(duì)象運(yùn)動(dòng)速率為特征運(yùn)用聚類算法將監(jiān)控視頻對(duì)象進(jìn)行歸類，其次采用統(tǒng)計(jì)方法分析靜止、普通運(yùn)動(dòng)和快速運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)速率期望和方差，最后以最小錯(cuò)分概率建立目標(biāo)函數(shù)，分析計(jì)算三類對(duì)象運(yùn)動(dòng)速率范圍為監(jiān)控視頻對(duì)象分級(jí)提供數(shù)值依據(jù)。
(2)監(jiān)控視頻關(guān)鍵幀語(yǔ)義對(duì)象提取
語(yǔ)義對(duì)象是指視頻中具有與實(shí)體相同性質(zhì)的目標(biāo)。對(duì)象提取質(zhì)量直接影響到視頻分析處理，視頻點(diǎn)對(duì)點(diǎn)回放、瀏覽的質(zhì)量。本發(fā)明對(duì)關(guān)鍵幀語(yǔ)義對(duì)象提取:首先運(yùn)用幀差和2D對(duì)數(shù)搜索算法對(duì)三類對(duì)象的區(qū)域粗分割；其次為了抑制噪聲、紋理對(duì)語(yǔ)義對(duì)象提取的影響，對(duì)不同對(duì)象區(qū)域進(jìn)行保邊平滑，同時(shí)為了減少系統(tǒng)運(yùn)行時(shí)間，設(shè)計(jì)了相應(yīng)的離散處理方法；最后運(yùn)用水平集曲線演化進(jìn)行對(duì)象提取。
1)監(jiān)控視頻關(guān)鍵幀對(duì)象區(qū)域粗分割。
監(jiān)控視頻中相鄰兩幀對(duì)象具有時(shí)間連續(xù)性和低層特征(亮度和色度)的穩(wěn)定性：監(jiān)控視頻對(duì)象時(shí)間連續(xù)性是指對(duì)象自身運(yùn)動(dòng)引起相鄰兩幀空間位置的差異；低層特征的穩(wěn)定性是由于相鄰兩幀采樣時(shí)間較短(約為40ms)對(duì)象的像素特征變化較小甚至不變。本發(fā)明結(jié)合對(duì)象的時(shí)間連續(xù)性和低層特征的穩(wěn)定性，運(yùn)用光流分析方法計(jì)算相鄰兩幀的差異從而確定運(yùn)動(dòng)區(qū)域。
(1)式中ft+1(x,y),ft(x,y)分別表示時(shí)刻t+1,t的視頻幀圖像，當(dāng)相鄰兩幀對(duì)應(yīng)像素的差值大于閾值表示該像素屬于運(yùn)動(dòng)區(qū)域。為了進(jìn)一步分析運(yùn)動(dòng)區(qū)域D(x,y)的運(yùn)動(dòng)速率，運(yùn)用2D對(duì)數(shù)搜索算法分析運(yùn)動(dòng)速率，同時(shí)結(jié)合監(jiān)控視頻中不同對(duì)象運(yùn)動(dòng)速率的統(tǒng)計(jì)范圍將區(qū)域進(jìn)行分類并確定區(qū)域的運(yùn)動(dòng)屬性。根據(jù)運(yùn)動(dòng)屬性生成普通運(yùn)動(dòng)和快速運(yùn)動(dòng)區(qū)域標(biāo)識(shí)。
2)運(yùn)動(dòng)區(qū)域保邊平滑模型。
監(jiān)控視頻來(lái)源于自然景物的影像，自然景物含有豐富的紋理；同時(shí)對(duì)象內(nèi)部存在弱邊緣；在視頻采集存儲(chǔ)過(guò)程中受到噪聲攻擊。紋理，噪聲和弱邊緣是影響關(guān)鍵幀圖像語(yǔ)義對(duì)象提取的三個(gè)主要因素。為了提高監(jiān)控視頻語(yǔ)義對(duì)象分割效果，本發(fā)明在自然圖像可以表示為卡通和紋理分量之和的基礎(chǔ)上，將監(jiān)控視頻的運(yùn)動(dòng)區(qū)域表示為：
D(x,y)＝uD(x,y)+vD(x,y)+nD(x,y) (2)
2)式中uD(x,y)表示運(yùn)動(dòng)區(qū)域的卡通分量，該分量對(duì)象內(nèi)部像素特征具有均勻性，對(duì)象間存在顯著差異，該分量表征了對(duì)象的形狀信息；vD(x,y)和nD分別表示運(yùn)動(dòng)區(qū)域的紋理和噪聲。紋理和噪聲均引起像素變化，但紋理具有一定的規(guī)律性，而噪聲是隨機(jī)的、無(wú)規(guī)律的。它們的統(tǒng)計(jì)期望而方差各不相同，分別為：
為了分析提取運(yùn)動(dòng)區(qū)域的卡通分量，本發(fā)明根據(jù)紋理、噪聲像素表現(xiàn)，在傳統(tǒng)各向同性和異性擴(kuò)散機(jī)理的基礎(chǔ)上，建立了運(yùn)動(dòng)區(qū)域語(yǔ)義對(duì)象提取的平滑條件：a)運(yùn)動(dòng)區(qū)域的平滑子區(qū)域的各個(gè)像素可表示為區(qū)域均值，該子區(qū)域像素方差為零；b)運(yùn)動(dòng)區(qū)域的紋理子區(qū)域像素可逼近于一個(gè)平滑函數(shù)，區(qū)域內(nèi)像素方差趨于零；c)該區(qū)域內(nèi)的強(qiáng)邊緣給予保護(hù)，同時(shí)增強(qiáng)弱邊緣。從運(yùn)動(dòng)區(qū)域像素變化出發(fā)，結(jié)合對(duì)象提取的平滑條件建立了平滑目標(biāo)函數(shù)：
結(jié)合各向同性和異性擴(kuò)散的優(yōu)點(diǎn)，設(shè)計(jì)了保邊平滑分量函數(shù):
在分段平滑表示的基礎(chǔ)上，建立了監(jiān)控視頻運(yùn)動(dòng)區(qū)域保邊平滑模型，設(shè)計(jì)了相應(yīng)的能量函數(shù)：
運(yùn)用傳統(tǒng)全變分算法分析計(jì)算能量函數(shù)的最優(yōu)解——保邊卡通分量。
3)運(yùn)動(dòng)區(qū)域保邊平滑離散處理。
傳統(tǒng)運(yùn)用梯度下降算法求解(7)式需要多次迭代，系統(tǒng)運(yùn)行時(shí)間較長(zhǎng)。本發(fā)明根據(jù)區(qū)域大部分像素屬于同一個(gè)對(duì)象，像素鄰域之間具有較大的相關(guān)性，根據(jù)這一特點(diǎn)，將該區(qū)域的像素及其鄰域逼近為局部函數(shù)。結(jié)合語(yǔ)義對(duì)象提取的保邊平滑條件c)，將局部函數(shù)利用泰勒級(jí)數(shù)展開(kāi)為一階多項(xiàng)式函數(shù)，建立鄰域像素一階多項(xiàng)式函數(shù)逼近的拉格朗日余項(xiàng)函數(shù)，運(yùn)用貪心算法最小化拉格朗日余項(xiàng)分析計(jì)算一階多項(xiàng)式逼近的最大鄰域。為了保護(hù)區(qū)域內(nèi)對(duì)象角點(diǎn)，本發(fā)明對(duì)區(qū)域行列像素f(x)分別進(jìn)行一元一階多項(xiàng)式逼近，對(duì)分析計(jì)算一階多項(xiàng)式逼近的最大鄰域尺寸h*：
式中：gh(x)為方差為σ2高斯核函數(shù)，
一元多項(xiàng)式逼近減少了逼近函數(shù)參數(shù)個(gè)數(shù)，提高了系統(tǒng)運(yùn)行時(shí)間，同時(shí)保護(hù)了行列像素突變點(diǎn)。對(duì)行列分別逼近保護(hù)了對(duì)象角點(diǎn)。為了滿足語(yǔ)義對(duì)象提取的保邊平滑條件a)和b)，對(duì)圖像行列像素進(jìn)行多次迭代逼近，得到運(yùn)動(dòng)區(qū)域的保邊平滑分量。
4)運(yùn)動(dòng)對(duì)象提取。
本發(fā)明分析了對(duì)象輪廓與保邊平滑分量邊緣之間的關(guān)系：對(duì)象輪廓點(diǎn)集合是保邊平滑分量邊緣點(diǎn)集合的子集。根據(jù)它們之間的關(guān)系，采用保邊平滑分量的梯度幅度建立邊緣指示函數(shù)，將分割曲線C表示為三維空間的Lipschitz函數(shù)φ:Ω→R的水平集(φ＝0)，曲線內(nèi)外區(qū)域分別表示φ＜0和φ＞0，本質(zhì)上運(yùn)用函數(shù)符號(hào)表示不同區(qū)域。對(duì)此引入Heaviside函數(shù)H(φ)表示曲線內(nèi)外區(qū)域，曲線C可表示為H(φ)的導(dǎo)數(shù)δ(φ)。H(φ)和δ(φ)分別表示如下：
曲線的函數(shù)水平集表示將分割曲線演化轉(zhuǎn)化為函數(shù)演化。在函數(shù)演化過(guò)程中，函數(shù)φ不能時(shí)時(shí)滿足正則條件為此引入了懲罰項(xiàng)；水平集曲線長(zhǎng)度和區(qū)域面積減小?；谒郊莼膶?duì)象提取能量函數(shù)為：
式中表示運(yùn)動(dòng)區(qū)域的邊緣指示函數(shù)。
由于本發(fā)明采用多次迭代逼近抑制噪聲和紋理對(duì)對(duì)象提取的影響。多次迭代易導(dǎo)致保邊性能下降，平滑分量趨于該區(qū)域的均值，導(dǎo)致水平集曲線消失，對(duì)象提取失效。為了解決這一問(wèn)題，本發(fā)明分析了不同迭代次數(shù)對(duì)應(yīng)的保邊平滑分量不同，提取的對(duì)象區(qū)域及面積不同，根據(jù)這一特性，依據(jù)不同保邊平滑分量的對(duì)象區(qū)域建立提取對(duì)象的區(qū)域置信度函數(shù)。相鄰兩次迭代平滑分量的分割區(qū)域置信度ψ：
式中A表示分割區(qū)域{(x,y)|φ(x,y)≤0}，card(·)表示集合·的基數(shù)。當(dāng)分割區(qū)域置信度滿足ψ(m)≥T時(shí)，則停止平滑迭代。依據(jù)區(qū)域置信度函數(shù)自適應(yīng)確定保邊平滑分量迭代次數(shù)，防止水平集曲線消失。
由于對(duì)象輪廓屬于對(duì)象外部邊緣，所以本發(fā)明提取的對(duì)象具有完整的語(yǔ)義Mobject，不會(huì)將對(duì)象的各個(gè)子區(qū)域進(jìn)行分割提取。結(jié)合(1)步的運(yùn)動(dòng)區(qū)域?qū)傩詷?biāo)識(shí)，將分割出的對(duì)象識(shí)別為普通運(yùn)動(dòng)和快速運(yùn)動(dòng)對(duì)象，從整幅圖像中減去運(yùn)動(dòng)對(duì)象得到靜止對(duì)象。(3)非關(guān)鍵幀語(yǔ)義對(duì)象提取
監(jiān)控?cái)z像頭位置一般是固定的，監(jiān)控視頻中對(duì)象位置的變化主要是由監(jiān)控范圍內(nèi)的對(duì)象運(yùn)動(dòng)引起，運(yùn)動(dòng)對(duì)象在時(shí)間是連續(xù)的，對(duì)象在視頻畫(huà)面中的位置不會(huì)發(fā)生突變，同時(shí)在空間上也是連續(xù)的。本發(fā)明根據(jù)運(yùn)動(dòng)對(duì)象時(shí)空連續(xù)性——上下文關(guān)系，對(duì)視頻非關(guān)鍵幀的對(duì)象進(jìn)行快速提取。首先根據(jù)關(guān)鍵幀ft的運(yùn)動(dòng)對(duì)象Mobject中心所在位置(x,y)及尺寸大小W×H，結(jié)合對(duì)象在視頻中上下文關(guān)系，估計(jì)對(duì)象在當(dāng)前幀(非關(guān)鍵幀ft+1)中的區(qū)域可能為：中心點(diǎn)為(x,y)尺寸為2W×2H；其次為了解決對(duì)象在視頻不同幀中的尺寸變化，對(duì)當(dāng)前幀中心點(diǎn)為(x,y)尺寸為2W×2H的區(qū)域進(jìn)行三層拉普拉斯金字塔提取，得到不同尺寸的區(qū)域圖塊：2W×2H，W×H和 最后將關(guān)鍵幀的運(yùn)動(dòng)對(duì)象區(qū)域像素Mobject作為基本卷積核，為了解決對(duì)象的旋轉(zhuǎn)變化，本發(fā)明將卷積核進(jìn)行±15度的旋轉(zhuǎn)，得到3個(gè)不同的卷積核，并與不同圖塊進(jìn)行卷積。搜索卷積結(jié)果的最大值，對(duì)應(yīng)的區(qū)域即為當(dāng)前幀對(duì)象所在位置。從該幀中提取各個(gè)運(yùn)動(dòng)對(duì)象，并從整幅圖像中減去運(yùn)動(dòng)對(duì)象得到靜止對(duì)象。
與現(xiàn)有技術(shù)相比，本發(fā)明具有至少如下有益效果：
本發(fā)明根據(jù)不同對(duì)象在監(jiān)控視頻的作用不同，依對(duì)象行為特征將監(jiān)控視頻對(duì)象分為三類，彌補(bǔ)了傳統(tǒng)視頻對(duì)象平面提取發(fā)明(MPEG-4)以圖像底層特征(區(qū)域亮度、顏色和紋理差異)進(jìn)行對(duì)象提取的不足。
本發(fā)明運(yùn)用監(jiān)控視頻中對(duì)象在時(shí)間和空間的連續(xù)性，從視頻中提取不同語(yǔ)義對(duì)象，運(yùn)用該發(fā)明提取的對(duì)象可以實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)的查尋和對(duì)關(guān)注對(duì)象進(jìn)行跟蹤。便于相關(guān)部門從關(guān)注對(duì)象的角度出發(fā)，從監(jiān)控視頻中快速檢索和跟蹤該對(duì)象，提高相關(guān)部門案件處理效率。而傳統(tǒng)視頻對(duì)象提取僅僅根據(jù)當(dāng)前幀圖像進(jìn)行對(duì)象提取，未考慮視頻對(duì)象的時(shí)間相關(guān)性。
本發(fā)明運(yùn)用水平集曲線演化提取視頻對(duì)象，可得封閉的對(duì)象輪廓，彌補(bǔ)了傳統(tǒng)基于像素統(tǒng)計(jì)分布特性對(duì)象提取的不足，比如基于閾值或者邊緣的圖像分割。同時(shí)本發(fā)明以平滑分量邊緣指示函數(shù)作為曲線演化的約束條件，解決了傳統(tǒng)基于區(qū)域均值CV分割算法的過(guò)分割現(xiàn)象。
本發(fā)明對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行一階多項(xiàng)式逼近，實(shí)現(xiàn)了圖像平滑區(qū)域的均值表示，紋理區(qū)域的線性表示，保護(hù)了運(yùn)動(dòng)區(qū)域行列像素的突變，從而保護(hù)了圖像邊緣。對(duì)運(yùn)動(dòng)區(qū)域的行列分別進(jìn)行多項(xiàng)式逼近保護(hù)了對(duì)象角點(diǎn)。相對(duì)于傳統(tǒng)各向同性擴(kuò)散的高斯平滑保護(hù)圖像邊緣，彌補(bǔ)了各向異性擴(kuò)散(全變分平滑)偽參數(shù)的人為選取。
本發(fā)明僅僅利用了當(dāng)前幀和前一幀對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行提取，要求計(jì)算機(jī)緩存較少，不需要離線學(xué)習(xí)監(jiān)控視頻運(yùn)動(dòng)對(duì)象的分類特征。相對(duì)于傳統(tǒng)基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的圖像分割發(fā)明，本發(fā)明不需要海量原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)學(xué)習(xí)對(duì)象的各級(jí)特征。不幸的是監(jiān)控視頻中重要的線索和證據(jù)持續(xù)時(shí)間一般很短，甚至幾幀或幾秒鐘的監(jiān)控視頻中含有線索和證據(jù)。運(yùn)用包含線索證據(jù)的少量視頻幀圖像進(jìn)行學(xué)習(xí)，得到的對(duì)象分類特征推廣能力較差。
本發(fā)明可為監(jiān)控視頻提供基于對(duì)象的視頻訪問(wèn)、回放、檢索、識(shí)別和預(yù)警等人機(jī)交互接口，節(jié)約公安刑偵人員從天網(wǎng)監(jiān)控視頻中檢索證據(jù)的時(shí)間，提高辦案效率。同時(shí)對(duì)基于分級(jí)對(duì)象的監(jiān)控視頻編碼提供了語(yǔ)義對(duì)象提取發(fā)明。
以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則的內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍的內(nèi)。