一種監(jiān)控視頻摘要的方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例提供了一種監(jiān)控視頻摘要的方法及裝置，對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)；對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀；對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，解決了現(xiàn)有技術(shù)中在海量的視頻數(shù)據(jù)中無(wú)法定位關(guān)鍵事件發(fā)生前后相關(guān)的幀，不能準(zhǔn)確及時(shí)的獲得關(guān)鍵的視頻數(shù)據(jù)信息的問(wèn)題。
【專利說(shuō)明】一種監(jiān)控視頻摘要的方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種監(jiān)控視頻摘要的方法及裝置。
【背景技術(shù)】
[0002]隨著科技的發(fā)展和人們安全意識(shí)的加強(qiáng)，公共場(chǎng)所中安裝用于監(jiān)控的攝像頭的數(shù)量急劇上升。這些攝像頭每天24小時(shí)不停地工作，錄制了大量的視頻數(shù)據(jù)。
[0003]由于監(jiān)控人力資源的局限性以及人類自身的弱點(diǎn)，在監(jiān)控時(shí)不可能完全及時(shí)發(fā)現(xiàn)視頻中存在的隱患，因而需要事后對(duì)視頻進(jìn)行瀏覽和分析。然而，對(duì)海量視頻數(shù)據(jù)的瀏覽是一件十分耗費(fèi)時(shí)間和精力的事情，這也導(dǎo)致了絕大部分監(jiān)控視頻在錄制后從來(lái)都沒(méi)有被瀏覽或?qū)彶檫^(guò)。如何快速完整地瀏覽冗長(zhǎng)的監(jiān)控視頻，成了目前監(jiān)控行業(yè)的迫切需求。
[0004]監(jiān)控視頻摘要是一種視頻壓縮技術(shù)，它能夠提供比原始視頻短得多的視頻，達(dá)到快速瀏覽但又不丟失活動(dòng)信息的目的。
[0005]現(xiàn)有技術(shù)中，監(jiān)控視頻摘要主要通過(guò)下述兩種方式實(shí)現(xiàn):第一種方式是基于幀差的監(jiān)控視頻摘要。這種方法主要使用幀差法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，只要視頻中存在運(yùn)動(dòng)的目標(biāo)就將其保存，最后形成視頻摘要。這種方式的主要缺點(diǎn)是視頻的壓縮率不高，并且沒(méi)有對(duì)關(guān)鍵事件進(jìn)行檢測(cè)；第二種方式是基于運(yùn)動(dòng)目標(biāo)時(shí)空變換的視頻摘要方法。此方法能夠提取出不同時(shí)刻的運(yùn)動(dòng)目標(biāo)并將其融合到同一幀中，這樣雖然可以大大提高摘要的壓縮率，但是可視性差，并且也沒(méi)有對(duì)關(guān)鍵事件進(jìn)行檢測(cè)。上述兩種監(jiān)控視頻摘要的方法都依賴于運(yùn)動(dòng)目標(biāo)檢測(cè)，目前有很多方法可以實(shí)時(shí)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)，如:GMM算法、Codebook算法、Vibe算法等，但上述方法都存在海量的視頻數(shù)據(jù)中無(wú)法定位關(guān)鍵事件發(fā)生前后相關(guān)的幀，不能準(zhǔn)確及時(shí)的獲得關(guān)鍵的視頻數(shù)據(jù)信息的問(wèn)題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例提供了一種監(jiān)控視頻摘要的方法及裝置，用以解決現(xiàn)有技術(shù)中在海量的視頻數(shù)據(jù)中無(wú)法定位關(guān)鍵事件發(fā)生前后相關(guān)的幀，不能準(zhǔn)確及時(shí)的獲得關(guān)鍵的視頻數(shù)據(jù)信息的問(wèn)題。
[0007]基于上述問(wèn)題，本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的方法，包括:
[0008]對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)；
[0009]對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀；
[0010]對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
[0011]本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的裝置，包括:
[0012]過(guò)濾模塊，用于對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)；
[0013]關(guān)鍵運(yùn)動(dòng)幀確定模塊，用于對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀；
[0014]抽幀模塊，用于對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
[0015]本發(fā)明實(shí)施例的有益效果包括:
[0016]本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的方法及裝置，對(duì)監(jiān)控視頻的每一幀的前景進(jìn)行過(guò)濾，得到最終運(yùn)動(dòng)目標(biāo)；再對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況，或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀，對(duì)確定出來(lái)的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，所抽的幀與關(guān)鍵運(yùn)動(dòng)幀一起形成視頻摘要。本發(fā)明實(shí)施例通過(guò)幀與幀中運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或特定事件的檢測(cè)來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)關(guān)鍵幀的檢測(cè)，并對(duì)關(guān)鍵運(yùn)動(dòng)幀前后進(jìn)行抽幀操作形成視頻摘要，關(guān)注跟上一幀相比變化較大的當(dāng)前幀，對(duì)關(guān)鍵事件的定位準(zhǔn)確，并保留了關(guān)鍵事件發(fā)生前后的關(guān)聯(lián)信息，使得形成的視頻摘要壓縮效果好，解決了現(xiàn)有技術(shù)中在海量的視頻數(shù)據(jù)中無(wú)法定位關(guān)鍵事件發(fā)生前后相關(guān)的幀，不能準(zhǔn)確及時(shí)的獲得關(guān)鍵的視頻數(shù)據(jù)信息的問(wèn)題。
【專利附圖】

【附圖說(shuō)明】
[0017]圖1為本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的方法的流程圖；
[0018]圖2為本發(fā)明實(shí)施例提供的通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀的方法流程圖；
[0019]圖3為本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0020]下面結(jié)合說(shuō)明書(shū)附圖，對(duì)本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的方法及裝置的【具體實(shí)施方式】進(jìn)行說(shuō)明。
[0021]本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的方法，如圖1所示，這里為了介紹的時(shí)候概念更加清楚，將當(dāng)前幀中的運(yùn)動(dòng)目標(biāo)稱為第一運(yùn)動(dòng)目標(biāo)，將上一幀中的運(yùn)動(dòng)目標(biāo)稱為第二運(yùn)動(dòng)目標(biāo)，具體包括以下步驟:
[0022]S101、對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)；
[0023]S102、對(duì)經(jīng)過(guò)步驟SlOl過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀；
[0024]S103、對(duì)步驟S102中確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
[0025]進(jìn)一步地，在步驟S102中，運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)情況可以包括:當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀中的第二運(yùn)動(dòng)目標(biāo)相比是否有新的第一運(yùn)動(dòng)目標(biāo)出現(xiàn)、第一運(yùn)動(dòng)目標(biāo)消失、第一運(yùn)動(dòng)目標(biāo)合并、第一運(yùn)動(dòng)目標(biāo)分離、第一運(yùn)動(dòng)目標(biāo)位移變化、第一運(yùn)動(dòng)目標(biāo)形態(tài)變化等。如果沒(méi)有新第一運(yùn)動(dòng)目標(biāo)出現(xiàn)，也沒(méi)有發(fā)生已有第一運(yùn)動(dòng)目標(biāo)消失、合并、分離，并且第一運(yùn)動(dòng)目標(biāo)本身的位移和形態(tài)沒(méi)有太大的改變，則可以表明當(dāng)前幀為非關(guān)鍵運(yùn)動(dòng)幀，否則當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀。
[0026]在步驟S102中，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀，如圖2所示，對(duì)每一幀來(lái)說(shuō)，其確定的過(guò)程可以包括下述步驟:
[0027]S201、檢測(cè)當(dāng)前幀中第一運(yùn)動(dòng)目標(biāo)的總數(shù)與上一幀中第二運(yùn)動(dòng)目標(biāo)總數(shù)是否相同，若不同，則執(zhí)行步驟S207，否則，執(zhí)行下述步驟S202 ；
[0028]S202、依次對(duì)當(dāng)前幀中每個(gè)第一運(yùn)動(dòng)目標(biāo)，判斷是否存在與該第一運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)，若不存在，則執(zhí)行步驟S207，否則，執(zhí)行下述步驟S203 ；
[0029]S203、進(jìn)一步檢測(cè)該第一運(yùn)動(dòng)目標(biāo)相對(duì)其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)位移變化是否滿足條件一，該條件一具體為:該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的質(zhì)心距離與該第二運(yùn)動(dòng)目標(biāo)外接矩陣的對(duì)角線長(zhǎng)度的比值大于等于預(yù)設(shè)閥值T3，若滿足，則執(zhí)行步驟S207，否則，執(zhí)行下述步驟S204 ；
[0030]S204、進(jìn)一步檢測(cè)該第一運(yùn)動(dòng)目標(biāo)相對(duì)其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)形態(tài)變化是否滿足條件二，該條件二具體為:該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比變化的絕對(duì)值與該第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比的比值大于等于預(yù)設(shè)閥值T4，若滿足，則執(zhí)行步驟S207，否則，執(zhí)行下述步驟S205 ；
[0031]S205、判斷當(dāng)前幀中是否還存在未經(jīng)過(guò)判斷的第一運(yùn)動(dòng)目標(biāo)，若是，則執(zhí)行步驟S202，若否，則執(zhí)行下述步驟S206 ；
[0032]S206、判斷當(dāng)前幀為非關(guān)鍵運(yùn)動(dòng)幀，當(dāng)前幀判斷結(jié)束；
[0033]S207、判斷當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，當(dāng)前幀判斷結(jié)束。
[0034]進(jìn)一步地，在上述步驟S202中，對(duì)當(dāng)前幀中某個(gè)第一運(yùn)動(dòng)目標(biāo)，判斷是否存在與該第一運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)，具體步驟可以包括:對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)之間的重疊面積與該第二運(yùn)動(dòng)目標(biāo)的面積的比例S ;并計(jì)算該第一運(yùn)動(dòng)目標(biāo)與該第二運(yùn)動(dòng)目標(biāo)的直方圖相似程度H，若計(jì)算出的S大于預(yù)設(shè)閥值Tl，并且計(jì)算出的H大于預(yù)設(shè)閥值T2，則確定該第一運(yùn)動(dòng)目標(biāo)與該第二運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)。
[0035]較佳地，上述判斷兩個(gè)運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)性時(shí)，所使用的直方圖相似程度H可以通過(guò)巴氏距離來(lái)確定，巴氏距離為現(xiàn)有技術(shù)，這里不再贅述。判斷過(guò)程中使用的預(yù)設(shè)閥值Tl優(yōu)選為0.1，預(yù)設(shè)閥值T2優(yōu)選為0.7，其中預(yù)設(shè)閥值Tl和T2的較佳取值的確定可經(jīng)過(guò)多次測(cè)試得到。
[0036]較佳地，上述步驟S203和S204沒(méi)有嚴(yán)格的執(zhí)行順序，可以先執(zhí)行S203再執(zhí)行S204，也可以先執(zhí)行S204再執(zhí)行S203，其中的預(yù)設(shè)閥值T3優(yōu)選為0.5，預(yù)設(shè)閥值T4優(yōu)選為
0.2，其中的預(yù)設(shè)閥值T3和T4的較佳取值的確定可經(jīng)過(guò)多次測(cè)試得到。
[0037]較佳地，上述步驟S204中運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比可以是寬/高的值，也可以是高/寬的值。
[0038]進(jìn)一步地，在上述步驟S102中，通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)中貞，具體步驟可以包括:
[0039]若在當(dāng)前幀中特定事件檢測(cè)被觸發(fā)，則確定該當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；其中:特定事件檢測(cè)可以為下述事件檢測(cè)之一或任意組合:
[0040]入侵事件檢測(cè)、拌線事件檢測(cè)、煙霧事件檢測(cè)、物品移動(dòng)事件檢測(cè)和群體事件檢測(cè)等。上述事件檢測(cè)的方法均為現(xiàn)有技術(shù)，此處不再贅述。
[0041]進(jìn)一步地，在上述步驟SlOl中，對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)，具體可以包括:
[0042]對(duì)前景去除零散的小目標(biāo)(例如去掉一些噪聲點(diǎn))和連接分裂目標(biāo)(例如對(duì)某個(gè)被擋住的目標(biāo)進(jìn)行連接還原)，獲得前景中所有完整的運(yùn)動(dòng)目標(biāo)；計(jì)算每個(gè)完整的運(yùn)動(dòng)目標(biāo)的面積，定位面積大于等于閥值T6的運(yùn)動(dòng)目標(biāo)，也就是去掉面積小于T6的運(yùn)動(dòng)目標(biāo)，其中T6=p*A，A為整個(gè)視頻圖像的面積，p為預(yù)設(shè)系數(shù)。
[0043]較佳地，預(yù)設(shè)系數(shù)p優(yōu)選為0.0005，p取值的確定可經(jīng)過(guò)多次測(cè)試得到。
[0044]較佳地，上述步驟中對(duì)前景去除零散的小目標(biāo)和連接分裂目標(biāo)可以使用中值濾波法對(duì)運(yùn)動(dòng)目標(biāo)前景檢測(cè)之后得到的二值圖像進(jìn)行濾波處理，上述步驟中計(jì)算運(yùn)動(dòng)目標(biāo)的面積可以通過(guò)區(qū)域標(biāo)記技術(shù)來(lái)實(shí)現(xiàn)，由于中值濾波法和區(qū)域標(biāo)記技術(shù)為現(xiàn)有技術(shù)，此處不再贅述。
[0045]進(jìn)一步地，在上述步驟SlOl對(duì)前景進(jìn)行過(guò)濾之前，還包括步驟S104對(duì)視頻圖像進(jìn)行前景檢測(cè)獲得前景。具體可以通過(guò)對(duì)監(jiān)控視頻圖像進(jìn)行背景訓(xùn)練建模，將建模的背景與每一幀進(jìn)行比較得到每一幀的前景。
[0046]較佳地，前景檢測(cè)的方法可以采用高斯混合模型前景檢測(cè)法，或者對(duì)前K幀視頻圖像進(jìn)行訓(xùn)練建立GMM背景模型，從K+1幀開(kāi)始使用背景模型進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)得到前景目標(biāo)，K的取值范圍建議1-500，優(yōu)選值為100，其中K的取值的確定可經(jīng)過(guò)多次測(cè)試得到。
[0047]進(jìn)一步地，在上述步驟S104之前，還可以包括步驟S105對(duì)視頻圖像進(jìn)行預(yù)處理的步驟，此處預(yù)處理的目的主要是為后續(xù)的運(yùn)動(dòng)目標(biāo)檢測(cè)做準(zhǔn)備，預(yù)處理的過(guò)程可以包括:噪聲去除、光照補(bǔ)償、圖像配準(zhǔn)、圖像尺寸變換等。
[0048]較佳地，可以采用5*5高斯平滑濾波器對(duì)視頻圖像進(jìn)行平滑濾波去噪，然后判斷待處理視頻圖像尺寸是否在規(guī)定范圍內(nèi)，此范圍可以根據(jù)實(shí)時(shí)性要求進(jìn)行設(shè)定，實(shí)時(shí)性可以保證視頻的處理速度，如果不在此范圍，則使用雙線性插值算法縮小圖像尺寸至規(guī)定范圍。光照補(bǔ)償主要用于去掉由于光照的影響造成的對(duì)運(yùn)動(dòng)目標(biāo)的判斷失誤，圖像配準(zhǔn)主要用于去掉由于外界因素造成的視頻圖像的抖動(dòng)。由于上述預(yù)處理操作的【具體實(shí)施方式】屬于現(xiàn)有技術(shù)，這里不再贅述。
[0049]對(duì)上述步驟S103，對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要，具體可以包括:
[0050]對(duì)關(guān)鍵運(yùn)動(dòng)幀前后的幀，每隔N幀抽取出一幀，前后各抽取M個(gè)幀，將各抽取的M個(gè)幀與確定的關(guān)鍵運(yùn)動(dòng)幀一起形成視頻摘要，這樣對(duì)關(guān)鍵運(yùn)動(dòng)幀前后的信息進(jìn)行了抽幀，能夠使得監(jiān)控視頻摘要更加自然流暢并保證了信息的完整性；其中，N的取值范圍[3，8]，優(yōu)選取值為5，M的取值范圍為[1，5]，優(yōu)選取值為3。其中M和N的取值范圍的確定是經(jīng)過(guò)多次測(cè)試得到的經(jīng)驗(yàn)值。
[0051]基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例還提供了一種監(jiān)控視頻摘要的裝置，由于這些裝置所解決問(wèn)題的原理與前述監(jiān)控視頻摘要的方法相似，因此該裝置的實(shí)施可以參見(jiàn)前述方法的實(shí)施，重復(fù)之處不再贅述。
[0052]本發(fā)明實(shí)施例提供了一種監(jiān)控視頻摘要的裝置，如圖3所示，包括:
[0053]過(guò)濾模塊301，用于對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)；
[0054]關(guān)鍵運(yùn)動(dòng)幀確定模塊302，用于對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀；
[0055]抽幀模塊303，用于對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
[0056]上述關(guān)鍵運(yùn)動(dòng)幀確定模塊302，具體用于檢測(cè)當(dāng)前幀中第一運(yùn)動(dòng)目標(biāo)的總數(shù)與上一幀中第二運(yùn)動(dòng)目標(biāo)總數(shù)是否相同，若不同，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，否則，進(jìn)一步對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，判斷是否存在與該第一運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)，若存在至少一個(gè)第一運(yùn)動(dòng)目標(biāo)，任一第二運(yùn)動(dòng)目標(biāo)都不與之關(guān)聯(lián)，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，否貝1J，進(jìn)一步檢測(cè)每一個(gè)第一運(yùn)動(dòng)目標(biāo)相對(duì)其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)位移變化和形態(tài)變化，若存在至少一個(gè)第一運(yùn)動(dòng)目標(biāo)，其位移變化滿足預(yù)設(shè)條件一，或者其形態(tài)變化滿足預(yù)設(shè)條件二，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；否則，確定當(dāng)前幀為非關(guān)鍵運(yùn)動(dòng)幀；所述預(yù)設(shè)條件一為該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的質(zhì)心距離與該第二運(yùn)動(dòng)目標(biāo)外接矩陣的對(duì)角線長(zhǎng)度的比值大于等于預(yù)設(shè)閥值T3;所述預(yù)設(shè)條件二為該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比變化的絕對(duì)值與該第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比的比值大于等于預(yù)設(shè)閥值T4;或者，若在當(dāng)前幀中特定事件檢測(cè)被觸發(fā)，則確定該當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；所述特定事件檢測(cè)為下述事件檢測(cè)之一或任意組合:入侵事件檢測(cè)、拌線事件檢測(cè)、煙霧事件檢測(cè)、物品移動(dòng)事件檢測(cè)和群體事件檢測(cè)。
[0057]上述關(guān)鍵運(yùn)動(dòng)幀確定模塊302，進(jìn)一步具體用于所述關(guān)鍵運(yùn)動(dòng)幀確定模塊，具體用于對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)之間的重疊面積與該第二運(yùn)動(dòng)目標(biāo)的面積的比例S ;并對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)的直方圖相似程度H ;若計(jì)算出的S大于預(yù)設(shè)閥值Tl，且計(jì)算出的H大于預(yù)設(shè)閥值T2，則確定該第一運(yùn)動(dòng)目標(biāo)與該第二運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)。
[0058]上述過(guò)濾模塊301，具體用于對(duì)所述前景去除零散的小目標(biāo)和連接分裂目標(biāo)，獲得所述前景中所有完整的運(yùn)動(dòng)目標(biāo)；計(jì)算每個(gè)所述完整的運(yùn)動(dòng)目標(biāo)的面積，定位面積大于等于閥值T6的運(yùn)動(dòng)目標(biāo)，其中T6=p*A，A為整個(gè)視頻圖像的面積，p為預(yù)設(shè)系數(shù)。
[0059]上述抽幀模塊303，具體用于對(duì)所述關(guān)鍵運(yùn)動(dòng)幀前后的幀，每隔N幀抽取出一幀，前后各抽取M個(gè)幀，將抽取的M個(gè)幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要；其中，N的取值范圍[3，8]，M的取值范圍為[1，5]。
[0060]上述裝置中，還包括前景檢測(cè)模塊304和預(yù)處理模塊305，具體為:
[0061]前景檢測(cè)模塊304，用于對(duì)視頻圖像進(jìn)行背景訓(xùn)練建模，將建模的背景與每一幀進(jìn)行比較得到每一幀的前景。
[0062]預(yù)處理模塊305，用于對(duì)視頻圖像進(jìn)行預(yù)處理，所述預(yù)處理包括:噪聲去除、圖像尺寸變換、光照補(bǔ)償以及圖像配準(zhǔn)。
[0063]本發(fā)明實(shí)施例提供的一種監(jiān)控視頻摘要的方法及裝置，對(duì)監(jiān)控視頻的每一幀的前景進(jìn)行過(guò)濾，得到最終運(yùn)動(dòng)目標(biāo)；再對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況，或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀，對(duì)確定出來(lái)的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，所抽的幀與關(guān)鍵運(yùn)動(dòng)幀一起形成視頻摘要。本發(fā)明實(shí)施例通過(guò)幀與幀中運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或特定事件的檢測(cè)來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)關(guān)鍵幀的檢測(cè)，并對(duì)關(guān)鍵運(yùn)動(dòng)幀前后進(jìn)行抽幀操作形成視頻摘要，關(guān)注跟上一幀相比變化較大的當(dāng)前幀，對(duì)關(guān)鍵事件的定位準(zhǔn)確，并保留了關(guān)鍵事件發(fā)生前后的關(guān)聯(lián)信息，使得形成的視頻摘要壓縮效果好，解決了現(xiàn)有技術(shù)中在海量的視頻數(shù)據(jù)中無(wú)法定位關(guān)鍵事件發(fā)生前后相關(guān)的幀，不能準(zhǔn)確及時(shí)的獲得關(guān)鍵的視頻數(shù)據(jù)信息的問(wèn)題。
[0064]通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明實(shí)施例可以通過(guò)硬件實(shí)現(xiàn)，也可以借助軟件加必要的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明實(shí)施例的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是⑶-ROM，U盤(pán)，移動(dòng)硬盤(pán)等)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。
[0065]本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖，附圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。
[0066]本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的裝置中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)裝置中。上述實(shí)施例的模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。
[0067]上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0068]顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
【權(quán)利要求】
1.一種監(jiān)控視頻摘要的方法，其特征在于，包括: 對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)； 對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀； 對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
2.如權(quán)利要求1所述的方法，其特征在于，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀，包括: 檢測(cè)當(dāng)前幀中第一運(yùn)動(dòng)目標(biāo)的總數(shù)與上一幀中第二運(yùn)動(dòng)目標(biāo)總數(shù)是否相同，若不同，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，否則 對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，判斷是否存在與該第一運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)，若存在至少一個(gè)第一運(yùn)動(dòng)目標(biāo)，任一第二運(yùn)動(dòng)目標(biāo)都不與之關(guān)聯(lián)，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，否則 檢測(cè)每一個(gè)第一運(yùn)動(dòng)目標(biāo)相對(duì)其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)位移變化和形態(tài)變化，若存在至少一個(gè)第一運(yùn)動(dòng)目標(biāo)，其位移變化滿足預(yù)設(shè)條件一，或者其形態(tài)變化滿足預(yù)設(shè)條件二，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；否則，確定當(dāng)前幀為非關(guān)鍵運(yùn)動(dòng)幀； 所述預(yù)設(shè)條件一為該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的質(zhì)心距離與該第二運(yùn)動(dòng)目標(biāo)外接矩陣的對(duì)角線長(zhǎng)度的比值大于等于預(yù)設(shè)閥值T3;所述預(yù)設(shè)條件二為該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比變化的絕對(duì)值與該第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比的比值大于等于預(yù)設(shè)閥值T4。`
3.如權(quán)利要求2所述的方法，其特征在于，對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，判斷是否存在與該第一運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)，具體包括: 對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)之間的重疊面積與該第二運(yùn)動(dòng)目標(biāo)的面積的比例S ； 并對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)的直方圖相似程度H ; 若計(jì)算出的S大于預(yù)設(shè)閥值Tl，且計(jì)算出的H大于預(yù)設(shè)閥值T2，則確定該第一運(yùn)動(dòng)目標(biāo)與該第二運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)。
4.如權(quán)利要求1所述的方法，其特征在于，通過(guò)特定事件檢測(cè)來(lái)確定關(guān)鍵運(yùn)動(dòng)幀，包括: 若在當(dāng)前幀中特定事件檢測(cè)被觸發(fā)，則確定該當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；所述特定事件檢測(cè)為下述事件檢測(cè)之一或任意組合: 入侵事件檢測(cè)、拌線事件檢測(cè)、煙霧事件檢測(cè)、物品移動(dòng)事件檢測(cè)和群體事件檢測(cè)。
5.如權(quán)利要求1所述的方法，其特征在于，對(duì)視頻圖像每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)，包括: 對(duì)所述前景去除零散的小目標(biāo)和連接分裂目標(biāo)，獲得所述前景中所有完整的運(yùn)動(dòng)目標(biāo)； 計(jì)算每個(gè)所述完整的運(yùn)動(dòng)目標(biāo)的面積，定位面積大于等于閥值T6的運(yùn)動(dòng)目標(biāo)，其中T6=p*A，A為整個(gè)視頻圖像的面積，p為預(yù)設(shè)系數(shù)。
6.如權(quán)利要求1所述的方法，其特征在于，視頻圖像的前景，通過(guò)下述方式檢測(cè)出: 對(duì)監(jiān)控視頻圖像進(jìn)行背景訓(xùn)練建模，將建模的背景與每一幀進(jìn)行比較得到每一幀的前旦
o
7.如權(quán)利要求1所述的方法，其特征在于，對(duì)視頻圖像進(jìn)行前景檢測(cè)之前，還包括: 對(duì)視頻圖像進(jìn)行預(yù)處理，所述預(yù)處理包括:噪聲去除、圖像尺寸變換、光照補(bǔ)償以及圖像配準(zhǔn)。
8.如權(quán)利要求1所述的方法，其特征在于，對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要，包括: 對(duì)所述關(guān)鍵運(yùn)動(dòng)幀前后的幀，每隔N幀抽取出一幀，前后各抽取M個(gè)幀，將抽取的2M個(gè)幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
9.一種監(jiān)控視頻摘要的裝置，其特征在于，包括: 過(guò)濾模塊，用于對(duì)監(jiān)控視頻每一幀的前景進(jìn)行過(guò)濾，定位運(yùn)動(dòng)目標(biāo)； 關(guān)鍵運(yùn)動(dòng)幀確定模塊，用于對(duì)經(jīng)過(guò)過(guò)濾的每一幀，通過(guò)檢測(cè)當(dāng)前幀中的每一個(gè)第一運(yùn)動(dòng)目標(biāo)與上一幀的第二運(yùn)動(dòng)目標(biāo)的關(guān)聯(lián)情況或者通過(guò)特定事件檢測(cè)來(lái)確定當(dāng)前幀是否為關(guān)鍵運(yùn)動(dòng)幀； 抽幀模塊，用于對(duì)確定出的關(guān)鍵運(yùn)動(dòng)幀前后的幀分別進(jìn)行抽幀，并將抽出的幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。`
10.如權(quán)利要求9所述的裝置，其特征在于， 所述關(guān)鍵運(yùn)動(dòng)幀確定模塊，具體用于檢測(cè)當(dāng)前幀中第一運(yùn)動(dòng)目標(biāo)的總數(shù)與上一幀中第二運(yùn)動(dòng)目標(biāo)總數(shù)是否相同，若不同，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，否則對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，判斷是否存在與該第一運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)，若存在至少一個(gè)第一運(yùn)動(dòng)目標(biāo)，任一第二運(yùn)動(dòng)目標(biāo)都不與之關(guān)聯(lián)，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀，否則檢測(cè)每一個(gè)第一運(yùn)動(dòng)目標(biāo)相對(duì)其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)位移變化和形態(tài)變化，若存在至少一個(gè)第一運(yùn)動(dòng)目標(biāo)，其位移變化滿足預(yù)設(shè)條件一，或者其形態(tài)變化滿足預(yù)設(shè)條件二，則確定當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；否則，確定當(dāng)前幀為非關(guān)鍵運(yùn)動(dòng)幀；所述預(yù)設(shè)條件一為該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的質(zhì)心距離與該第二運(yùn)動(dòng)目標(biāo)外接矩陣的對(duì)角線長(zhǎng)度的比值大于等于預(yù)設(shè)閥值T3 ;所述預(yù)設(shè)條件二為該第一運(yùn)動(dòng)目標(biāo)相對(duì)于其關(guān)聯(lián)的第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比變化的絕對(duì)值與該第二運(yùn)動(dòng)目標(biāo)的外接矩形的寬高比的比值大于等于預(yù)設(shè)閥值T4 ;或者，若在當(dāng)前幀中特定事件檢測(cè)被觸發(fā)，則確定該當(dāng)前幀為關(guān)鍵運(yùn)動(dòng)幀；所述特定事件檢測(cè)為下述事件檢測(cè)之一或任意組合:入侵事件檢測(cè)、拌線事件檢測(cè)、煙霧事件檢測(cè)、物品移動(dòng)事件檢測(cè)和群體事件檢測(cè)。
11.如權(quán)利要求10所述的裝置，其特征在于， 所述關(guān)鍵運(yùn)動(dòng)幀確定模塊，具體用于對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)之間的重疊面積與該第二運(yùn)動(dòng)目標(biāo)的面積的比例S ;并對(duì)每一個(gè)第一運(yùn)動(dòng)目標(biāo)，計(jì)算該第一運(yùn)動(dòng)目標(biāo)與每一個(gè)第二運(yùn)動(dòng)目標(biāo)的直方圖相似程度H ;若計(jì)算出的S大于預(yù)設(shè)閥值Tl，且計(jì)算出的H大于預(yù)設(shè)閥值T2，則確定該第一運(yùn)動(dòng)目標(biāo)與該第二運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)。
12.如權(quán)利要求9所述的裝置，其特征在于， 所述過(guò)濾模塊，具體用于對(duì)所述前景去除零散的小目標(biāo)和連接分裂目標(biāo)，獲得所述前景中所有完整的運(yùn)動(dòng)目標(biāo)；計(jì)算每個(gè)所述完整的運(yùn)動(dòng)目標(biāo)的面積，定位面積大于等于閥值T6的運(yùn)動(dòng)目標(biāo)，其中T6=p*A，A為整個(gè)視頻圖像的面積，p為預(yù)設(shè)系數(shù)。
13.如權(quán)利要求9所述的裝置，其特征在于，還包括: 前景檢測(cè)模塊，用于對(duì)視頻圖像進(jìn)行背景訓(xùn)練建模，將建模的背景與每一幀進(jìn)行比較得到每一幀的前景。
14.如權(quán)利要求9所述的裝置，其特征在于，還包括: 預(yù)處理模塊，用于對(duì)視頻圖像進(jìn)行預(yù)處理，所述預(yù)處理包括:噪聲去除、圖像尺寸變換、光照補(bǔ)償以及圖像配準(zhǔn)。
15.如權(quán)利要求9所述的裝置，其特征在于， 所述抽幀模塊，具體用于對(duì)所述關(guān)鍵運(yùn)動(dòng)幀前后的幀，每隔N幀抽取出一幀，前后各抽取M個(gè)幀，將抽取的M個(gè)幀與所述關(guān)鍵運(yùn)動(dòng)幀形成視頻摘要。
【文檔編號(hào)】G06F17/30GK103678299SQ201210315123
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2012年8月30日 優(yōu)先權(quán)日:2012年8月30日
【發(fā)明者】趙海賓 申請(qǐng)人:中興通訊股份有限公司