專利名稱：一種監(jiān)控視頻分割及索引方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種監(jiān)控視頻分割及索引方法，尤其涉及一種通過人臉檢測和跟蹤、 移動軌跡聚類分析人群檢測實現(xiàn)的監(jiān)控視頻分割，并根據(jù)監(jiān)控設(shè)置點位置信息，對監(jiān)控視 頻片斷進(jìn)行關(guān)聯(lián)度分析，提高視頻檢索速度和理解度的方法，可廣泛應(yīng)用于小區(qū)物業(yè)監(jiān)控、 商場展廳監(jiān)控、地鐵交通監(jiān)控等應(yīng)用場景，屬于視頻監(jiān)控數(shù)據(jù)檢索技術(shù)領(lǐng)域。
背景技術(shù)：
視頻監(jiān)控是監(jiān)控領(lǐng)域的重要內(nèi)容和技術(shù)手段，近年來，隨著微電子技術(shù)、視頻壓縮 處理技術(shù)、網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，視頻監(jiān)控成本日益降低，應(yīng)用場景日益增加，廣泛應(yīng)用于 大到國防哨卡、治安聯(lián)防、鐵路公路監(jiān)控，小到ATM取款機(jī)、家居安防、小區(qū)物業(yè)監(jiān)控等各個 領(lǐng)域，產(chǎn)生了良好的經(jīng)濟(jì)效益和社會效益。視頻監(jiān)控數(shù)據(jù)量大，針對在鄰近區(qū)域內(nèi)部署的多臺視頻攝像機(jī)，傳輸和存儲的視 頻數(shù)據(jù)量更是巨大，長期積累的視頻監(jiān)控數(shù)據(jù)，如果沒有經(jīng)過處理，通過人工快進(jìn)的方法檢 索，既費(fèi)時又容易出錯。對視頻監(jiān)控數(shù)據(jù)進(jìn)行必要的預(yù)處理，并對鄰近攝像機(jī)的視頻數(shù)據(jù)進(jìn) 行關(guān)聯(lián)度分析，可以大大提高檢索的命中率，和查全率。目前，對視頻數(shù)據(jù)進(jìn)行分析的技術(shù)，首先必須進(jìn)行場景檢測，或者稱為視頻分割， 即將長時間的大量連續(xù)的視頻數(shù)據(jù)，分割成代表不同場景鏡頭的視頻片斷，每一段視頻片 斷都具有一定的獨立性。大多數(shù)類型的視頻數(shù)據(jù)，都是由不同場景的視頻片斷剪輯而成的，例如影視作 品、私人錄像、電視新聞等，這些類型的視頻片斷其特點是視頻的前景和背景都發(fā)生了改 變，因此可以通過計算一定的參數(shù)變化來判斷視頻邊界，例如相鄰幀的像素灰度差。中國專利“用于對視頻序列的場景進(jìn)行語義分段的方法和系統(tǒng)”(專利號ZL 200580009646. 5)公開了一種比較全面的從低級至高級的鏡頭級、事件級、場景級的分割模 型和方法。而視頻監(jiān)控數(shù)據(jù)的背景往往是不發(fā)生變化的，除了白天/黑夜的交替引起的背景 光照強(qiáng)度的變化，或者云臺運(yùn)動引起攝像機(jī)轉(zhuǎn)動外，背景景物大多數(shù)情況是固定不變的，變 化的是鏡頭中的前景，即人員、車輛等物體。因此，采用通用的視頻場景檢測方法對視頻監(jiān) 控數(shù)據(jù)具有很大的局限性。另一方面，在一個由多個鄰近攝像機(jī)組組成的視頻監(jiān)控系統(tǒng)中，視頻監(jiān)控數(shù)據(jù)往 往存在著一定的關(guān)聯(lián)性，例如，一個人在一個攝像機(jī)中出現(xiàn)，在離開該攝像機(jī)的視野之后， 一般情況下，將會沿著固定的道路，在一定的時間內(nèi)，到達(dá)另一個攝像機(jī)的視野中，如果原 先另一個攝像機(jī)為靜止畫面，而在跟蹤到目標(biāo)后，在某種程度上，可以認(rèn)為這兩個視頻場景 存在著關(guān)聯(lián)性，視頻場景的關(guān)聯(lián)性可以很好地應(yīng)用于視頻的理解、檢索等應(yīng)用中，減少了人 工遍歷的時間和精力，并使視頻數(shù)據(jù)有結(jié)構(gòu)地組織起來。因此，攝像機(jī)的位置基本上是固定不變的，攝像機(jī)視野也基本上可以和實際的方 位相對應(yīng)，而在一般情況下，人員、車輛的運(yùn)行軌跡也有很強(qiáng)的規(guī)律性，例如存在道路、軌道等，在這樣的情況下，多個攝像機(jī)的視頻場景形成關(guān)聯(lián)的可能性大大增強(qiáng)。然而，在實際的應(yīng)用中，監(jiān)控視頻場景中，往往會有復(fù)雜的情況產(chǎn)生，例如多個人 員、車輛的情況，同時存在向多個方向移動的目標(biāo)等，這為監(jiān)控視頻場景的分割、關(guān)聯(lián)、索引 帶來了技術(shù)難度。中國專利“視頻監(jiān)控系統(tǒng)的視頻分析、存檔和報警方法和設(shè)備”(專利號ZL 200510106772. 4)公開了一種管理視頻軌跡的方法，而其管理的視頻軌跡包括獨立的人類、 車輛等物體，該方法功能復(fù)雜全面，主要應(yīng)用于實時視頻監(jiān)控分析人員的形勢探知，但是一 般的監(jiān)控應(yīng)用場景，突發(fā)事件畢竟少數(shù)，大多數(shù)情況下都是事后回溯，因此需要更合適的存 儲和檢索方法。本發(fā)明一種監(jiān)控視頻分割及索引方法，通過人臉檢測和跟蹤、移動軌跡聚類分析 人群檢測實現(xiàn)的監(jiān)控視頻分割，并根據(jù)監(jiān)控設(shè)置點位置信息，對監(jiān)控視頻片斷進(jìn)行關(guān)聯(lián)度 分析，提高視頻檢索速度和理解度的方法，具有操作簡單、硬件系統(tǒng)要求低、成本低、適用面 廣泛等優(yōu)點，具有良好的經(jīng)濟(jì)效益和市場前景。

發(fā)明內(nèi)容
本發(fā)明一種監(jiān)控視頻分割及索引方法，主要應(yīng)用于具有位置相關(guān)的多個監(jiān)控攝像 機(jī)之間的監(jiān)控視頻數(shù)據(jù)的分割及索引建立，有利于監(jiān)控視頻數(shù)據(jù)的結(jié)構(gòu)化存儲和回溯，具 體步驟如下(1)輸入視頻圖像和背景圖像；(2)計算背景差圖像，更新背景；(3)以運(yùn)動和膚色信息為線索，增強(qiáng)人臉區(qū)；(4)對候選運(yùn)動膚色區(qū)作基于Adaboost的檢測；(5)作目標(biāo)匹配，對失配的區(qū)域作基于多特征的跟蹤；(6)將多幀人臉目標(biāo)移動軌跡進(jìn)行編號；(7)對初始幀人臉目標(biāo)進(jìn)行聚類分析，粗分人群區(qū)域；(8)對人臉目標(biāo)軌跡進(jìn)行聚類分析，確定人群移動；(9)以人群區(qū)域進(jìn)入視野_離開視野時刻為分界分割視頻數(shù)據(jù)；(10)根據(jù)攝像機(jī)位置-視野對應(yīng)關(guān)系，確定人群區(qū)域的下一個關(guān)聯(lián)攝像機(jī)；(11)和下一個關(guān)聯(lián)攝像機(jī)上的經(jīng)過一定延時后的視頻片斷作關(guān)聯(lián)；(12)建立索引；(13)將索引數(shù)據(jù)以鏈表形式存儲。本發(fā)明的有益技術(shù)效果是以人臉檢測和跟蹤、移動軌跡聚類分析人群檢測實現(xiàn) 的監(jiān)控視頻分割，根據(jù)監(jiān)控設(shè)置點位置信息，對監(jiān)控視頻片斷進(jìn)行關(guān)聯(lián)，提高視頻檢索速度 和理解度的方法，具有操作簡單、硬件系統(tǒng)要求低、成本低、適用面廣泛等優(yōu)點，具有良好的 經(jīng)濟(jì)效益和市場前景。


圖1是本發(fā)明一種監(jiān)控視頻分割及索引方法的攝像機(jī)部署結(jié)構(gòu)圖；圖2是本發(fā)明一種監(jiān)控視頻分割及索引方法的總體流程圖3是本發(fā)明一種監(jiān)控視頻分割及索引方法的背景差方法運(yùn)動檢測流程圖；圖4是本發(fā)明一種監(jiān)控視頻分割及索引方法的人臉跟蹤流程圖；圖5是本發(fā)明一種監(jiān)控視頻分割及索引方法的人群跟蹤流程圖；圖6是本發(fā)明一種監(jiān)控視頻分割及索引方法的攝像機(jī)視野-攝像機(jī)位置關(guān)系示意 圖；圖7是本發(fā)明一種監(jiān)控視頻分割及索引方法的視頻片斷關(guān)聯(lián)鏈表。
具體實施例方式參考附圖，下面對本發(fā)明進(jìn)行詳細(xì)描述。如圖1所示，本發(fā)明的一個實施例的監(jiān)控攝像機(jī)部署，建筑物(100)之間的通道 (101)部署有多個監(jiān)控攝像機(jī)，監(jiān)控視頻數(shù)據(jù)通過網(wǎng)絡(luò)連接傳輸至中心機(jī)房的磁盤陣列 (105)進(jìn)行存儲，并在監(jiān)控中心的大屏幕監(jiān)視器(108)上實時顯示，監(jiān)控人員除了應(yīng)對突發(fā) 事件外，視頻監(jiān)控數(shù)據(jù)還被用于取證、事后回溯、檢索等用途。而事實上，一般情況下，突發(fā) 事件發(fā)生的概率較小，而視頻回溯和檢索卻經(jīng)常發(fā)生，未加處理的監(jiān)控視頻數(shù)據(jù)，采用人工 快進(jìn)方式進(jìn)行檢索，效率低、出錯率高，因此需要對其進(jìn)行初步處理，建立索引并結(jié)構(gòu)化存 儲，以便提高檢索的效率。視頻服務(wù)器(106)提供相應(yīng)的服務(wù)，視頻工作站(107)用于視頻 檢索。對于攝像機(jī)B(103)的監(jiān)控視頻數(shù)據(jù)來說，其視野內(nèi)人員移動的下一個關(guān)聯(lián)攝像機(jī)很 有可能是攝像機(jī)A (102)或攝像機(jī)C (104)，因此根據(jù)監(jiān)控設(shè)置點位置信息進(jìn)行關(guān)聯(lián)度分析， 將有利于索引的建立。如圖2所示，本發(fā)明一種監(jiān)控視頻分割及索引方法的具體步驟如下(1)輸入視頻圖像和背景圖像(2OO)；(2)計算背景差圖像，更新背景(2Ol)；(3)以運(yùn)動和膚色信息為線索，增強(qiáng)人臉區(qū)(202)；(4)對候選運(yùn)動膚色區(qū)作基于Adaboost的檢測(203)；(5)作目標(biāo)匹配(204)，對失配的區(qū)域作基于多特征的跟蹤(205)；(6)將多幀人臉目標(biāo)移動軌跡進(jìn)行編號(206)；(7)對初始幀人臉目標(biāo)進(jìn)行聚類分析(207)，粗分人群區(qū)域；(8)對人臉目標(biāo)軌跡進(jìn)行聚類分析(208)，確定人群移動；(9)以人群區(qū)域進(jìn)入視野_離開視野時刻為分界分割視頻數(shù)據(jù)(209)；(10)根據(jù)攝像機(jī)位置-視野對應(yīng)關(guān)系，確定人群區(qū)域的下一個關(guān)聯(lián)攝像機(jī) (210)；(11)和下一個關(guān)聯(lián)攝像機(jī)上的經(jīng)過一定延時后的視頻片斷作關(guān)聯(lián)(211)；(12)建立索引(212)；(13)將索引數(shù)據(jù)以鏈表形式存儲(213)。如圖3所示，由于大多數(shù)情況下，視頻監(jiān)控主要適用固定攝像機(jī)對場景進(jìn)行監(jiān)控， 存在固定場景，因此使用背景差方法作運(yùn)動目標(biāo)檢測。設(shè)某時刻的背景圖像為B，當(dāng)前幀圖 像為Ik，則背景差圖像為ο (x, y) = I Ik (χ, y)-B(x, y)如果o(x，y)大于某個閾值，則判定該像素屬于運(yùn)動目標(biāo)；反之，該像素屬于背景。由于實際環(huán)境存在噪聲和運(yùn)動的多樣性，通常處理將更復(fù)雜。背景差方法運(yùn)動檢測主要包括建立背景模型(305)、輸入圖像和背景模型(305) 求差獲得背景差圖像(300)。建立背景模型(305)是對背景進(jìn)行初始化，根據(jù)當(dāng)前輸入圖像 修正背景模型(305)及時反映環(huán)境的變化；背景差圖像(300)是將當(dāng)前幀和背景模型相比 較，實現(xiàn)運(yùn)動目標(biāo)檢測。在現(xiàn)實監(jiān)控場合，場景中的背景很復(fù)雜，存在各種各樣的干擾，且隨時間不斷變 化，背景模型要能反映這些變化，如背景隨時間的緩慢變化，最常見的就是一天中不同時 間里的光照變化；背景物體發(fā)生變化；一些大的擾動，如樹葉晃動、顯示器屏幕閃爍等；光 照的突然變化；運(yùn)動目標(biāo)的陰影等。背景模型(305)更新方法按下式迭代實現(xiàn)Bk (x, y) = α x, yIk (x，y) + (1- α x, y) Bk^1 (χ, y)其中α x,y是一個系數(shù)，有ax,y= 1/(1+Kx,y)而(y =[]2(/義,少少)/ 」…」表示不小于a的一個整數(shù)，On是視頻圖像的噪聲標(biāo)準(zhǔn)差，可估計得到。噪聲方差檢測(301)對運(yùn)動估計的性能是至關(guān)重要的，由于噪聲是一種隨機(jī)信 號，只能通過包含噪聲的觀察視頻來估計噪聲信號的數(shù)學(xué)特征(如方差)。由于場景包含隨 時間緩慢變化的背景和運(yùn)動目標(biāo)，在運(yùn)動估計的結(jié)果比較可靠的前提下，那些不含運(yùn)動目 標(biāo)的宏塊的SAD(Sum of Absolute Difference)值可以認(rèn)為是由噪聲引起的。以公式表示 為
權(quán)利要求
1. 一種監(jiān)控視頻分割及索引方法，應(yīng)用于具有位置相關(guān)的多個監(jiān)控攝像機(jī)之間的監(jiān)控 視頻數(shù)據(jù)的分割及索引建立，有利于監(jiān)控視頻數(shù)據(jù)的結(jié)構(gòu)化存儲和回溯，具體步驟如下(1)輸入視頻圖像和背景圖像；背景差圖像計算公式為o(x，y) = Ik(x,y)-B(x,y)；(2)計算背景差圖像，更新背景；背景模型更新公式為Bk(x，y) = ax,yIk(x,y) + (l-ax,y)Bk_1(x,y)；噪聲方差檢測公式
全文摘要
本發(fā)明公開了一種監(jiān)控視頻分割及索引方法，具體為通過人臉檢測和跟蹤、移動軌跡聚類分析人群檢測實現(xiàn)的監(jiān)控視頻分割，并根據(jù)監(jiān)控設(shè)置點位置信息，對監(jiān)控視頻片斷進(jìn)行關(guān)聯(lián)度分析，提高視頻檢索速度和理解度的方法，可廣泛應(yīng)用于小區(qū)物業(yè)監(jiān)控、商場展廳監(jiān)控、地鐵交通監(jiān)控等應(yīng)用場景。
文檔編號G06K9/62GK102004920SQ20101054359
公開日2011年4月6日 申請日期2010年11月12日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者朱安定, 趙文敏, 邢建國, 陳衛(wèi)剛 申請人:浙江工商大學(xué)