一種基于運動物體檢測的監(jiān)控視頻摘要提取方法
【專利摘要】本發(fā)明公開了一種基于運動物體檢測的監(jiān)控視頻摘要提取方法。本發(fā)明首先確定ViBe模型的參數(shù)，然后用一段視頻幀初始化模型，在得到的ViBe背景模型，處理新的視頻幀，生成二值背景圖像。其次對得到的二值圖像進(jìn)行形態(tài)學(xué)操作，并在二值圖像中得到該幀中的運動物體的位置信息。其次對每個運動物體進(jìn)行跟蹤，保存每個物體的運動序列。對進(jìn)行運動物體分割，得到物體精細(xì)輪廓。最后按照合理的方法，將運動物體的輪廓序列拼接到背景幀中。本發(fā)明針對各類監(jiān)控視頻，利用ViBe模型實現(xiàn)了一種簡單有效的視頻摘要提取方法，在保留關(guān)鍵物體運動信息的基礎(chǔ)上，提升了處理效率。
【專利說明】一種基于運動物體檢測的監(jiān)控視頻摘要提取方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機視覺領(lǐng)域，涉及監(jiān)控視頻中視頻摘要提取方法。

【背景技術(shù)】
[0002]在當(dāng)今社會，隨著國家對社會公共安全的需求逐步增長，隨著智慧城市建設(shè)的蓬勃發(fā)展，大街小巷都裝上了高清攝像頭，安防行業(yè)需要處理的視頻量越來越大。當(dāng)某個地區(qū)發(fā)生事件時，可以通過錄像了解前后經(jīng)過。有些人煙稀少地區(qū)活動物體較少，全天候的監(jiān)控視頻中之有很少幾個時間段中會出現(xiàn)物體，保存和查看這種視頻就會消耗大量的人力物力，甚至很可能會遺漏重要信息。
[0003]由于以上問題的存在，視頻摘要技術(shù)成為視頻處理領(lǐng)域的一項研究熱點。視頻摘要技術(shù)能在壓縮視頻長度的同時保留原始視頻中的重要信息，極大節(jié)省時間和空間。傳統(tǒng)的基于關(guān)鍵幀的視頻摘要技術(shù)計算量大，無法做到實時處理視頻。而使用ViBe模型的基于運動物體檢測的視頻摘要技術(shù)，處理效率高，可以在最大限度保留物體運動信息的同時去除視頻中的冗余片段。
[0004]ViBe算法是一種基于像素的背景建模與前景檢測算法，其運行時間和處理效果都要優(yōu)于GMM等算法。該算法的主要思想在于隨機選擇需要替換的像素的樣本，隨機選擇鄰域像素進(jìn)行更新。在無法確定像素變化的模型時，隨機的更新策略，在一定程度上可以模擬像素變化的不確定性。


【發(fā)明內(nèi)容】

[0005]本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，包括以下步驟:
I)確定ViBe模型的參數(shù)，然后用一段視頻幀初始化模型。
[0006]2)用I)中得到的ViBe背景模型，處理新的視頻幀，生成二值背景圖像。
[0007]3)對2)中得到的二值圖像進(jìn)行形態(tài)學(xué)操作。
[0008]4)從3)中得到的二值圖像中，得到該幀中的運動物體的位置信息。
[0009]5)對4)中每個運動物體進(jìn)行跟蹤，保存每個物體的運動序列。
[0010]6)對進(jìn)行運動物體分割，得到物體精細(xì)輪廓。
[0011]7)按照合理的方法，將6)中的運動物體的輪廓序列拼接到背景幀中。
[0012]所述的監(jiān)控視頻摘要提取方法適用于各類監(jiān)控視頻，針對不同分辨率和不同場景的視頻，設(shè)定不同的ViBe模型參數(shù)。
[0013]所述的監(jiān)控視頻，以高速公路監(jiān)控視頻為例，視頻分辨率為320*240像素，幀率是15 FPS，公路占據(jù)視頻幀的主要部分。
[0014]所述的ViBe模型的參數(shù)設(shè)定為:背景模型的每個像素點包括20個樣本，視頻中像素點與背景模型樣本集匹配的閾值為50，背景模型像素點的樣本的更新頻率為1/16，前景點運行存在的最長時間為100幀。
[0015]所述的ViBe模型初始化方法是:對于第一幀的每一個像素點，對它的的八鄰域的像素值隨機采樣20次作為它的模型樣本集合，然后使用視頻的前20幀迭代更新背景模型，使用的幀數(shù)越多，模型越能表達(dá)真實的背景，但也可能會漏掉一些物體。
[0016]所述的生成二值背景圖的方法是，對于當(dāng)前視頻幀的一個像素點，如果ViBe模型判斷它是前景點，就將它像素置為255，否則置為0，用該像素點更新模型樣本集和鄰居點樣本集。更新模型樣本集具體是:隨機的選取背景模型中的一個樣本，用該像素替換；更新鄰居點樣本集具體是:隨機選取8鄰域中一個鄰居點，然后隨機選取該點背景模型中的一個樣本，用該像素替換。
[0017]所述的對二值圖像形態(tài)學(xué)操作的方法是:先進(jìn)行腐蝕操作，消除噪音，然后進(jìn)行膨脹操作，補充物體內(nèi)部空洞。
[0018]所述的從二值圖像中得到運動物體的位置信息的方法是:使用種子填充法求得前景的最大連通區(qū)域，然后取該輪廓的最小包覆矩形作為鄰接矩形，該鄰接矩形就代表了物體的大小和位置。
[0019]所述的運動物體跟蹤的方法是:提取視頻幀中鄰接矩形所在區(qū)域的顏色直方圖以及矩形中心坐標(biāo)作為特征，計算其特征與上一幀中每個矩形框的特征的歐式距離。如果所有距離都大于給定閾值R，則判為新物體，否則該矩形框與上一幀中距離最近的矩形框?qū)儆谕晃矬w。記錄并保存每個物體出現(xiàn)的幀號、矩形框大小和位置，以及物體編號。
[0020]所述的分割出物體，得到精細(xì)輪廓的方法是:用GrabCut算法進(jìn)行運動物體分害I]，使用物體的外接矩形框初始化GrabCut，矩形框的中心為初始前景，框外為初始背景，GrabCut算法迭代次數(shù)是I次。
[0021]所述的構(gòu)造背景幀的方法是選取視頻中序列的前1000幀，求出它們的平均幀作為背景中貞。
[0022]所述的將物體輪廓拼接到背景幀中的方法是:如果不同時間出現(xiàn)在視頻中的多個物體軌跡沒有重合，就將每個物體的輪廓序列按照在原視頻幀中的位置，同時復(fù)制到一系列背景幀中。同一個物體在每個背景幀中最多放置一個輪廓。
[0023]本發(fā)明針對各類監(jiān)控視頻，利用ViBe模型實現(xiàn)了一種簡單有效的視頻摘要提取方法，在保留關(guān)鍵物體運動?目息的基礎(chǔ)上，提升了處理效率。

【專利附圖】

【附圖說明】
[0024]圖1是本發(fā)明一種基于運動物體檢測的監(jiān)控視頻摘要提取方法流程圖。
[0025]圖2a和圖2b是ViBe模型生成二值背景過程圖。
[0026]圖3是視頻摘要結(jié)果示意圖。

【具體實施方式】
[0027]下面結(jié)合本發(fā)明中的附圖，對本發(fā)明的技術(shù)方案進(jìn)行清晰、完整地描述?；诒景l(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0028]本發(fā)明提供了一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，圖1展示了該方法的整體流程?；谶\動物體檢測的監(jiān)控視頻摘要提取方法具體實施步驟如下: 步驟1，設(shè)定ViBe背景模型的參數(shù)并初始化模型。背景模型的每個像素點包括20個樣本，視頻中像素點與背景模型樣本集匹配的閾值為50，背景模型像素點的樣本的更新頻率為1/16，前景點運行存在的最長時間為100幀。對于第一幀的每一個像素點，對它八鄰域的像素值隨機采樣20次作為它的模型樣本集合，然后使用視頻的前20幀迭代更新背景模型，使用的幀數(shù)越多，模型越能表達(dá)真實的背景，但也可能會漏掉一些物體。
[0029]步驟2，使用ViBe處理新的視頻幀。對于當(dāng)前視頻幀的一個像素點，如果ViBe模型判斷它是前景點，就將它的值置為255，否則置為O。二值圖像如圖2a和圖2b所示。
[0030]步驟3，對二值圖像形態(tài)學(xué)操作。先進(jìn)行腐蝕操作，消除噪音，然后進(jìn)行膨脹操作，補充物體內(nèi)部空洞。
[0031]步驟4，提取二值背景圖的外接矩形。使用種子填充法求得最大連通區(qū)域，然后取該輪廓的最小包覆矩形作為鄰接矩形。
[0032]步驟5，運動物體跟蹤。提取每個鄰接矩形所在區(qū)域的顏色直方圖以及矩形中心坐標(biāo)作為特征，計算其特征與上一幀中每個矩形框的特征的歐式距離。如果所有距離都大于給定閾值R，則判為新物體，否則該矩形框與上一幀中距離最近的矩形框?qū)儆谕晃矬w。記錄并保存每個物體出現(xiàn)的幀號、矩形框大小和位置，以及物體編號。
[0033]步驟6，物體分割。使用GrabCut算法分割物體，用物體的外接矩形框初始化GrabCut，矩形框的中心為初始前景，框外為初始背景，迭代次數(shù)是I次。
[0034]步驟7，構(gòu)造背景幀。選取視頻中序列的前1000幀，求出它們的平均幀作為背景幀。
[0035]步驟8，將物體輪廓拼接到背景幀中。如果不同時間出現(xiàn)在視頻中的多個物體軌跡沒有重合，就將多個物體的輪廓按照在原視頻幀中的位置，同時復(fù)制到背景幀中。同一個物體在每個背景幀中最多放置一個輪廓。結(jié)果圖像如圖3所示。
[0036]最后，以上所述僅為本發(fā)明較有代表性的實施例。本領(lǐng)域的普通技術(shù)人員可在不脫離本發(fā)明的發(fā)明思想情況下，對上述實施例做出種種修改或變化，因而本發(fā)明的保護(hù)范圍并不被上述實施例所限，而應(yīng)該是符合權(quán)利要求數(shù)提到的創(chuàng)新性特征的最大范圍。
【權(quán)利要求】
1.一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于該方法包括如下步驟: 1)確定ViBe模型的參數(shù)，然后用一段視頻幀初始化模型； 2)用得到的ViBe背景模型，處理新的視頻幀，生成二值背景圖像； 3)對得到的二值圖像進(jìn)行形態(tài)學(xué)操作； 4)從得到的二值圖像中，得到該幀中的運動物體的位置信息； 5)對每個運動物體進(jìn)行跟蹤，保存每個物體的運動序列； 6)進(jìn)行運動物體分割，得到物體精細(xì)輪廓； 7)按照合理的方法，將6)中的運動物體的輪廓序列拼接到背景幀中。
2.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:當(dāng)所述的監(jiān)控視頻為高速公路監(jiān)控視頻時，其視頻分辨率為320*240像素，幀率是15FPS,公路占據(jù)視頻幀的主要部分。
3.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟I)中ViBe模型的參數(shù)設(shè)定為:背景模型的每個像素點包括20個樣本，視頻中像素點與背景模型像素點的樣本匹配的閾值為50，背景模型像素點的樣本的更新頻率為1/16，前景點運行存在的最長時間為100幀；初始化ViBe模型具體是:對于第一幀的每一個像素點，對它的八鄰域的像素值隨機采樣20次作為它的模型樣本集合，然后使用視頻的前20幀迭代更新背景模型，使用的幀數(shù)越多，模型越能表達(dá)真實的背景。
4.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟2)中生成二值背景圖具體是:對于當(dāng)前視頻幀的一個像素點，如果ViBe模型判斷它是前景點，就將它像素置為255，否則置為0，用該像素點更新模型樣本集和鄰居點樣本集。
5.根據(jù)權(quán)利要求4所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:更新模型樣本集具體是:隨機的選取背景模型中的一個樣本，用該像素替換；更新鄰居點樣本集具體是:隨機選取8鄰域中一個鄰居點，然后隨機選取該點背景模型中的一個樣本，用該像素替換。
6.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟3)中對二值圖像形態(tài)學(xué)操作具體是:先進(jìn)行腐蝕操作，消除噪音，然后進(jìn)行膨脹操作，補充物體內(nèi)部空洞。
7.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟4)具體是:使用種子填充法求得前景的最大連通區(qū)域，然后取該輪廓的最小包覆矩形作為鄰接矩形，該鄰接矩形就代表了物體的大小和位置。
8.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟5)中對物體跟蹤具體是:提取每個鄰接矩形所在區(qū)域的顏色直方圖以及矩形中心坐標(biāo)作為特征，計算其特征與上一幀中每個矩形框的特征的歐式距離；如果所有距離都大于給定閾值R，則判為新物體，否則該矩形框與上一幀中距離最近的矩形框?qū)儆谕晃矬w，記錄并保存每個物體出現(xiàn)的幀號、矩形框大小和位置。
9.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟6)具體是:用GrabCut算法進(jìn)行運動物體分割，使用物體的外接矩形框初始化GrabCut，矩形框的中心為初始前景，框外為初始背景，GrabCut算法迭代次數(shù)是I次。
10.根據(jù)權(quán)利要求1所述的一種基于運動物體檢測的監(jiān)控視頻摘要提取方法，其特征在于:步驟7)中所述合理的方法具體是:如果不同時間出現(xiàn)在視頻中的多個物體軌跡沒有重合，就將每個物體的輪廓序列按照在原視頻幀中的位置復(fù)制到一系列背景幀中，同一個物體在每個背景幀中最多放置一個輪廓；背景幀的構(gòu)造具體是:選取視頻中序列的前1000幀，求出它們的平均幀作為背景幀。
【文檔編號】G06T7/20GK104331905SQ201410606276
【公開日】2015年2月4日 申請日期:2014年10月31日 優(yōu)先權(quán)日:2014年10月31日
【發(fā)明者】陳純, 周星辰, 宋明黎, 卜佳俊, 袁冠紅 申請人:浙江大學(xué)