一種用于復(fù)雜環(huán)境遺留物的檢測方法
【專利摘要】本發(fā)明公開了一種用于復(fù)雜環(huán)境遺留物的檢測方法，包含以下步驟：將基于局部更新的混合高斯背景建模方法和改進(jìn)的三幀差分法得到的前景目標(biāo)進(jìn)行比較，結(jié)合基于YCbCr顏色空間的陰影消除方法、連通域分析，分割得到場景內(nèi)的暫時(shí)靜止物團(tuán)塊；對每一幀圖像采用質(zhì)心判距法，分別統(tǒng)計(jì)每一個(gè)團(tuán)塊的靜止時(shí)間；對于達(dá)到時(shí)間閾值的靜止團(tuán)塊，通過方向梯度直方圖行人檢測算法排除駐留行人的可能性后，將其標(biāo)記為遺留物，并通過加速分割檢測特征FAST特征點(diǎn)檢測算法排除駐留行人的可能性。本發(fā)明的方法，能提高遺留物檢測的準(zhǔn)確度，降低計(jì)算復(fù)雜度，同時(shí)能較好地適用于人流密集、遮擋頻繁的復(fù)雜環(huán)境中，增強(qiáng)抗干擾能力。
【專利說明】-種用于復(fù)雜環(huán)境遺留物的檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻圖像處理領(lǐng)域，特別涉及一種用于復(fù)雜環(huán)境遺留物的檢測方法。

【背景技術(shù)】
[0002] 在公共場所里，威脅公共安全的一大隱患是不明遺留物品的放置，諸如爆炸物、有 毒物質(zhì)等危險(xiǎn)品，尤其對于地鐵站、機(jī)場、商場等人流密集的公共區(qū)域，會(huì)造成嚴(yán)重后果。遺 留物是指由運(yùn)動(dòng)主體攜帶進(jìn)監(jiān)控場景中，與運(yùn)動(dòng)主體分離，并在場景中保持靜止超過一定 時(shí)間閾值的物體（見文獻(xiàn)[1])。遺留物檢測的主要任務(wù)，就是要對視頻監(jiān)控場景進(jìn)行智能 分析，從存在著大量無關(guān)人和物的復(fù)雜環(huán)境中準(zhǔn)確分割出目標(biāo)對象，及時(shí)做出報(bào)警。
[0003] 針對遺留物檢測的實(shí)現(xiàn)，目前已有人提出不同的方法。文獻(xiàn)[2]提出一種基于雙 背景的方法，將兩個(gè)不同更新率的混合高斯背景模型進(jìn)行比較，得到遺留物對象，但兩個(gè)背 景同時(shí)建模的計(jì)算復(fù)雜度比較大，且若物體遺留時(shí)間過長，仍會(huì)融入背景中，造成漏檢測。 文獻(xiàn)[3]采用貝葉斯推理的方法來檢測遺留行李，將物體的速度、方向、距離等跟蹤軌跡信 息作為證據(jù)，通過貝葉斯推理的框架對事件進(jìn)行分析和識別，處理流程相對復(fù)雜，實(shí)時(shí)性要 求不易滿足。文獻(xiàn)[4]使用一個(gè)實(shí)時(shí)更新的背景模型來檢測運(yùn)動(dòng)目標(biāo)區(qū)域，再通過匹配靜 止前景區(qū)域的邊緣來判定目標(biāo)區(qū)域是遺留物還是遺失物區(qū)域，這種方法對于人流密集、遮 擋頻繁的復(fù)雜場景的抗干擾能力不強(qiáng)。
[0004] 因此，人們需要一種新的遺留物檢測方法來滿足需求。
[0005] 參考文獻(xiàn)：
[0006] [l]Muchtar K, Lin C Y, Kang L ff, et al. Abandoned object detection in complicated environments[C]//Proc of Signal and Information Processing Association Annual Summit and Conference, 2013:l_6〇
[0007] 穆達(dá)爾K，林C Y，康L W，等.復(fù)雜環(huán)境中的遺留物檢測[C]//信號與信息處理協(xié) 會(huì)年度高峰會(huì)議錄，2013:1-6。
[0008] [2]Porikli F.Detection of temporarily static regions by processing video at different frame rates[C]//Proc of Advanced Video and Signal Based Surveillance, 2007:236-241〇
[0009] 普里克利F.不同幀率視頻處理下的暫時(shí)靜止區(qū)域檢測[C]//基于視頻與信號的 高級監(jiān)控會(huì)議錄，2007:236-241。
[0010] [3]Lv F, Song X, ffu B, et al. Left-luggage detection using bayesian inference[C]//Proc of the9th IEEE International Workshop on PETS, 2006:83-90〇
[0011] 呂F，宋X，吳B，等.使用貝葉斯推理的遺留行李檢測[C]//第9屆跟蹤與監(jiān)控性 能評價(jià)IEEE國際研討會(huì)會(huì)議錄，2006:83-90。
[0012] [4]Spagnolo P, Caroppo A, Leo M, et al. An abandoned/removed objects detection algorithm and its evaluation on PETS datasets[C]//Proc of Video and Signal Based Surveillance, 2006:17_17〇
[0013] 斯帕諾羅P，卡羅波A，利奧M，等.一種遺留/移走物體檢測算法及其PETS數(shù)據(jù)集 評測[C]//基于視頻與信號的監(jiān)控會(huì)議錄，2006:17-17。


【發(fā)明內(nèi)容】

[0014] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種用于復(fù)雜環(huán)境遺留物的 檢測方法。
[0015] 本發(fā)明的目的通過以下的技術(shù)方案實(shí)現(xiàn)：
[0016] 一種用于復(fù)雜環(huán)境遺留物的檢測方法，包含以下順序的步驟：
[0017] S1.對于獲取視頻幀圖像，分別用基于局部更新的混合高斯背景建模方法、改進(jìn)的 三幀差分法進(jìn)行處理，并將上述兩種方法得到的前景目標(biāo)進(jìn)行比較：對于一個(gè)像素點(diǎn)，如果 在基于局部更新的混合高斯背景建模方法中被判斷為前景，而在改進(jìn)的三幀差分法中被判 斷為背景，則將其歸入對應(yīng)暫時(shí)靜止物的像素點(diǎn)集合中，由此初步得到暫時(shí)靜止物的候選 前景區(qū)域；
[0018] S2.對于候選前景區(qū)域，結(jié)合基于YCbCr顏色空間的陰影消除方法、連通域分析， 分割得到場景內(nèi)的暫時(shí)靜止物團(tuán)塊；
[0019] S3.對每一幀圖像采用質(zhì)心判距法，分別統(tǒng)計(jì)每一個(gè)靜止物團(tuán)塊的靜止時(shí)間；
[0020] S4.對于靜止時(shí)間達(dá)到閾值的靜止物團(tuán)塊，通過方向梯度直方圖行人檢測算法排 除駐留行人的可能性后，將其標(biāo)記為遺留物；
[0021] S5.在某個(gè)遺留物被檢出的初始幀，采用加速分割檢測特征FAST特征點(diǎn)檢測算 法檢測該遺留物區(qū)域的局部特征：若后續(xù)幀中遺留物受到行人遮擋干擾，導(dǎo)致前景中不含 有前面已檢出的遺留物團(tuán)塊，則針對該區(qū)域再次檢測局部特征，與首幀所檢特征進(jìn)行匹配， 若匹配成功，則繼續(xù)保持遺留物報(bào)警狀態(tài)；否則說明遺留物已發(fā)生移動(dòng)或消失，取消報(bào)警狀 態(tài)。
[0022] 步驟S1中，所述的基于局部更新的混合高斯背景建模方法，具體如下：
[0023] A、當(dāng)場景中沒有檢測出遺留物時(shí)，按照一般的方法對混合高斯背景模型進(jìn)行更 新；
[0024] B、當(dāng)場景中檢測出遺留物后，制作遺留物前景掩膜圖像M，設(shè)當(dāng)前幀圖像為I，經(jīng) 過前面各幀更新后的混合高斯背景圖像為B，則根據(jù)下式構(gòu)造用于當(dāng)前幀背景模型更新的 圖像U:
[0025]

【權(quán)利要求】
1. 一種用于復(fù)雜環(huán)境遺留物的檢測方法，其特征在于，包含以下順序的步驟：
51. 對于獲取視頻幀圖像，分別用基于局部更新的混合高斯背景建模方法、改進(jìn)的三幀 差分法進(jìn)行處理，并將上述兩種方法得到的前景目標(biāo)進(jìn)行比較：對于一個(gè)像素點(diǎn)，如果在基 于局部更新的混合高斯背景建模方法中被判斷為前景，而在改進(jìn)的三幀差分法中被判斷為 背景，則將其歸入對應(yīng)暫時(shí)靜止物的像素點(diǎn)集合中，由此初步得到暫時(shí)靜止物的候選前景 區(qū)域；
52. 對于候選前景區(qū)域，結(jié)合基于YCbCr顏色空間的陰影消除方法、連通域分析，分割 得到場景內(nèi)的暫時(shí)靜止物團(tuán)塊；
53. 對每一幀圖像采用質(zhì)心判距法，分別統(tǒng)計(jì)每一個(gè)靜止物團(tuán)塊的靜止時(shí)間；
54. 對于靜止時(shí)間達(dá)到閾值的靜止物團(tuán)塊，通過方向梯度直方圖行人檢測算法排除駐 留行人的可能性后，將其標(biāo)記為遺留物；
55. 在某個(gè)遺留物被檢出的初始幀，采用加速分割檢測特征FAST特征點(diǎn)檢測算法檢測 該遺留物區(qū)域的局部特征：若后續(xù)幀中遺留物受到行人遮擋干擾，導(dǎo)致前景中不含有前面 已檢出的遺留物團(tuán)塊，則針對該區(qū)域再次檢測局部特征，與首幀所檢特征進(jìn)行匹配，若匹配 成功，則繼續(xù)保持遺留物報(bào)警狀態(tài)；否則說明遺留物已發(fā)生移動(dòng)或消失，取消報(bào)警狀態(tài)。
2. 根據(jù)權(quán)利要求1所述的用于復(fù)雜環(huán)境遺留物的檢測方法，其特征在于：步驟S1中， 所述的基于局部更新的混合高斯背景建模方法，具體如下： A、 當(dāng)場景中沒有檢測出遺留物時(shí)，按照一般的方法對混合高斯背景模型進(jìn)行更新； B、 當(dāng)場景中檢測出遺留物后，制作遺留物前景掩膜圖像M，設(shè)當(dāng)前幀圖像為I，經(jīng)過前 面各幀更新后的混合高斯背景圖像為B，則根據(jù)下式構(gòu)造用于當(dāng)前幀背景模型更新的圖像 U ：
C、 將當(dāng)前幀圖像與更新后的混合高斯背景模型進(jìn)行匹配，分割得到前景目標(biāo)，包括運(yùn) 動(dòng)目標(biāo)和暫時(shí)靜止物。
3. 根據(jù)權(quán)利要求1所述的用于復(fù)雜環(huán)境遺留物的檢測方法，其特征在于：步驟S1中， 所述的改進(jìn)的三幀差分法具體如下： A、 首先對連續(xù)的三幀圖像f\、f2和f3做差分運(yùn)算，得到前兩幀的幀差結(jié)果Diff12與后 兩幀的幀差結(jié)果Diff 23 ; B、 然后對中間幀f2與相應(yīng)背景圖像fBe做差分得到DiffBe，將Diff Be分別和Diff12與 Diff23做"與"運(yùn)算，得到結(jié)果和Af2，最后將和Af2做"或"運(yùn)算，結(jié)合膨脹和腐 蝕形態(tài)學(xué)處理，進(jìn)一步消除差值圖像中的空洞，得到較完整的運(yùn)動(dòng)目標(biāo)。
4. 根據(jù)權(quán)利要求1所述的用于復(fù)雜環(huán)境遺留物的檢測方法，其特征在于：所述的步驟 S2,具體包含以下順序的步驟： A、將候選前景區(qū)域的像素轉(zhuǎn)換到Y(jié)CbCr顏色空間中，然后將滿足如下條件的像素判斷 為陰影像素：
其中，YFe、CbFe、CrFe分別表示前景區(qū)域的各分量大小；Y Be、CbBe、CrBe分別表示背景區(qū)域 的各分量大??；Ta和τ&分別表不對應(yīng)分量的差值閾值； Β、將屬于陰影像素從前景區(qū)域中排除，得到暫時(shí)靜止物對應(yīng)的前景區(qū)域； C、 對暫時(shí)靜止物對應(yīng)的前景區(qū)域進(jìn)行連通域分析處理，即對這些區(qū)域的邊緣輪廓采用 多邊形進(jìn)行擬合，獲得面積大于一定閾值的完整連通區(qū)域，并濾除面積較小的噪聲區(qū)域； D、 對前景中的連通區(qū)域進(jìn)行連續(xù)的查找處理，獲得當(dāng)前幀中數(shù)個(gè)完整的暫時(shí)靜止物團(tuán) 塊。
5. 根據(jù)權(quán)利要求1所述的用于復(fù)雜環(huán)境遺留物的檢測方法，其特征在于：所述的步驟 53, 具體包含以下步驟： Α、分別計(jì)算每個(gè)團(tuán)塊的質(zhì)心點(diǎn)坐標(biāo)和外接矩形框，并定義數(shù)組contour_center[n]和 b〇unding_b〇X[n]將相應(yīng)數(shù)據(jù)保存起來，其中，η表示當(dāng)前幀中團(tuán)塊的數(shù)量，即數(shù)組的長度； Β、在對下一巾貞圖像進(jìn)行相同的處理之后，得到另一組contour_center [η]和 bounding_box[n]數(shù)據(jù)，為了將每巾貞之間不同的暫時(shí)靜止物對應(yīng)起來，逐一采用質(zhì)心判距 法，將上一幀的第j個(gè)團(tuán)塊，分別與當(dāng)前幀的每個(gè)團(tuán)塊按照下式計(jì)算質(zhì)心距離：
其中，X和y分別表示質(zhì)心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，表示當(dāng)前巾貞中團(tuán)塊的數(shù)量； C、設(shè)定距離閾值Td，若4』彡Td，3/ e {0，1，…，-U，則認(rèn)為當(dāng)前幀的第i個(gè)團(tuán)塊 與上一幀的第j個(gè)團(tuán)塊對應(yīng)，且依然保持靜止，此時(shí)將該團(tuán)塊的持續(xù)靜止幀數(shù)加1 ;若 di J>Td，V/e{0，Wcur-l}，貝IJ說明上一中貞的第j個(gè)團(tuán)塊已經(jīng)發(fā)生了移動(dòng)，從暫時(shí)靜止物對應(yīng) 的前景區(qū)域中消失，此時(shí)將該團(tuán)塊從暫時(shí)靜止物中排除，并計(jì)算圖像幀中每一個(gè)暫時(shí)靜止 物所對應(yīng)的持續(xù)靜止時(shí)間，持續(xù)靜止時(shí)間以巾貞數(shù)為單位。
6. 根據(jù)權(quán)利要求1所述的用于復(fù)雜環(huán)境遺留物的檢測方法，其特征在于：所述的步驟 54, 具體包含以下步驟： A、 從特定的時(shí)刻開始對視頻進(jìn)行連續(xù)數(shù)幀的方向梯度直方圖行人檢測，使用圖像 局部區(qū)域的方向梯度直方圖作為行人檢測的特征描述子，結(jié)合SVM分類器進(jìn)行訓(xùn)練與識 別：設(shè)團(tuán)塊的靜止時(shí)間為t，其被判斷為遺留物的靜止時(shí)間閾值為t a，比例系數(shù)為η，其中 0〈 η〈1 ;當(dāng)t = ilta時(shí)開始進(jìn)行行人檢測，當(dāng)t>ta時(shí)則停止檢測；在這段時(shí)間里，如果至少 存在一幀圖像將該團(tuán)塊所在區(qū)域檢測為行人，則排除其為遺留物的可能； B、 將達(dá)到時(shí)間閾值的暫時(shí)靜止物標(biāo)記為遺留物，并將代表其性質(zhì)的參數(shù)，包括質(zhì)心點(diǎn) 坐標(biāo)和外接矩形框，加入遺留物參數(shù)結(jié)構(gòu)序列中；對于場景中檢測出的不同遺留物，分別使 用這樣一組參數(shù)結(jié)構(gòu)記錄其性質(zhì)，用以區(qū)分不同的目標(biāo)； C、 在一幀檢測出遺留物后，將下一幀獲得的所有暫時(shí)靜止團(tuán)塊按照質(zhì)心判距法分別與 之匹配，若某一暫時(shí)靜止團(tuán)塊與該遺留物的質(zhì)心距離小于閾值，則認(rèn)為是同一物體，且依舊 保持遺留狀態(tài)； 所述的步驟S5,具體包含以下步驟： A、 若某一暫時(shí)靜止團(tuán)塊與該遺留物的質(zhì)心距離均大于閾值，在某個(gè)遺留物被檢出的初 始幀，對該遺留物的區(qū)域檢測FAST特征點(diǎn)，并將得到的特征點(diǎn)集合\保存到代表該遺留物 性質(zhì)的參數(shù)結(jié)構(gòu)中； B、 在后續(xù)某一幀中，若所有暫時(shí)靜止團(tuán)塊與該遺留物的質(zhì)心距離都大于閾值，則對該 幀中對應(yīng)原遺留物的區(qū)域再次檢測FAST特征點(diǎn)，得到特征點(diǎn)集合Xi ; 將&中的特征點(diǎn)與X〇中的特征點(diǎn)按照下式計(jì)算匹配率k :
設(shè)定匹配率閾值λ，若k > λ，則說明遺留物被遮擋，但依然保持靜止?fàn)顟B(tài)；設(shè)定幀數(shù) 閾值Τη，若連續(xù)Τη幀都滿足k〈 λ，則說明原遺留物已經(jīng)發(fā)生移動(dòng)，將其從遺留物參數(shù)結(jié)構(gòu)序 列中刪除。
【文檔編號】G06T7/00GK104156942SQ201410314759
【公開日】2014年11月19日 申請日期:2014年7月2日 優(yōu)先權(quán)日:2014年7月2日
【發(fā)明者】李遠(yuǎn)清, 葉立仁, 何盛鴻, 趙連超 申請人:華南理工大學(xué)