一種在線動態(tài)視頻濃縮方法
【專利摘要】本發(fā)明公開了一種在線動態(tài)視頻濃縮方法，對傳統(tǒng)的視頻摘要技術(shù)進(jìn)行了大量的改進(jìn)，是對其的繼承與發(fā)展。該發(fā)明可以從海量監(jiān)控視頻中自動的提取出人們所感興趣的目標(biāo)體與事件，通過對這些目標(biāo)體的跟蹤，來獲取其在監(jiān)控視頻每一幀中的位置與速度等信息，然后將這些出現(xiàn)在不同時間段的目標(biāo)體分別提取出來并臨時保存在運(yùn)動目標(biāo)列表中，在選擇好合適的背景后再將這些保存的目標(biāo)體逐個的拼接到同一個背景中，這樣便實現(xiàn)了在不同時間段出現(xiàn)的目標(biāo)體在同一時間段同時展示的視覺效果，達(dá)到了動態(tài)視頻濃縮的目的。
【專利說明】一種在線動態(tài)視頻濃縮方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種在線動態(tài)視頻濃縮方法。

【背景技術(shù)】
[0002] 隨著當(dāng)今平安城市與智慧城市的大力發(fā)展，越來越多的監(jiān)控攝像頭被安放，例如 道路交通、住宅小區(qū)、政府、銀行和學(xué)校等等，但隨之而來的是與日俱增的海量監(jiān)控視頻。當(dāng) 人們對這些視頻進(jìn)行調(diào)取查詢時，僅僅采用快進(jìn)快退方式對監(jiān)控視頻進(jìn)行瀏覽來確定發(fā)生 事件時的時間，這種傳統(tǒng)的瀏覽方式既耗時，往往又會遺漏重要的視頻信息，顯然已經(jīng)遠(yuǎn)遠(yuǎn) 不能滿足人們對監(jiān)控視頻信息訪問和檢索的需求。因而智能視頻濃縮技術(shù)應(yīng)運(yùn)而生。
[0003] 近年來，傳統(tǒng)的視頻摘要技術(shù)得到了長足發(fā)展，國內(nèi)外的許多高校以及公司等 科研機(jī)構(gòu)都取得了不小的成果。傳統(tǒng)的視頻摘要技術(shù)中幀是組成視頻的最小視覺單位， 不可再分。根據(jù)摘要視頻是否保持視頻動態(tài)特性，可以將視頻摘要分為視頻略覽（Video Summary)和視頻梗概（Video Skimming)兩大類：
[0004] 視頻略覽是從視頻的鏡頭中抽取一小部分靜態(tài)圖像（稱為關(guān)鍵幀）的集合來概括 原始的鏡頭內(nèi)容。近幾年來，視頻摘要技術(shù)取得了一些發(fā)展，又提出了一些構(gòu)建視頻摘要的 技術(shù)。Stephan Kopf等針對歷史記錄片利用顏色、攝像機(jī)的運(yùn)動和辨識的物體作為特征，用 K均值法對鏡頭聚類后提取構(gòu)成視頻摘要的鏡頭；Shi Lu等利用顏色特征由描述時空關(guān)系 的方向圖對鏡頭集建模來提取組成視頻摘要的關(guān)鍵幀Jae-Ho Lee等利用MPEG-7顏色描 述子對家庭視頻提取組成視頻摘要的關(guān)鍵幀?；陉P(guān)鍵幀提取的視頻略覽技術(shù)的優(yōu)點是簡 單易行、計算復(fù)雜度低，缺點是丟失了視頻動態(tài)特性，因而表現(xiàn)力不生動。
[0005] 視頻梗概是從原始視頻中選擇能夠刻畫原始視頻內(nèi)容的小片段或者鏡頭內(nèi)容加 以編輯合成，所以它本身就是一個視頻片斷，因此保持了原始視頻的動態(tài)特性。視頻梗概分 為兩類：視頻概述（Summary Sequence)和精彩片斷（Highlight)。
[0006] 視頻概述描述了整個視頻的大致內(nèi)容，大都采用故事單元類的結(jié)構(gòu)信息，包括對 話和諸如驚天動地的場面、生死離別的場景之類的吸引人的事件等，一般用于電影視頻的 剪輯、宣傳片以及家庭視頻的瀏覽等。精彩片斷側(cè)重于提取視頻的最重要片段，包含原始視 頻中最吸引人的部分，一般用于電視新聞節(jié)目中新聞條目的抽取、體育視頻中足球的射門 鏡頭、籃球中的廣角鏡頭和特寫鏡頭等精彩動作的檢測等。
[0007] 傳統(tǒng)的視頻摘要技術(shù)，不論視頻略覽或者視頻梗概，組成鏡頭的"幀"都作為不可 再分的最小表示單位，這種方法特別適合于電影、紀(jì)錄片、新聞和體育等這類視頻素材來提 取視頻摘要。對于攝像機(jī)固定的監(jiān)控場景，不像其它視頻素材有鏡頭的劃分，若采用傳統(tǒng)的 視頻摘要方法，其得到的視頻中不可避免地存在著大量的冗余信息。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明為了解決上述問題，提出了一種在線動態(tài)視頻濃縮方法，該系方法從海量 監(jiān)控視頻中自動的提取出人們所感興趣的目標(biāo)體與事件，通過對這些目標(biāo)體的跟蹤，來獲 取其在監(jiān)控視頻每一幀中的位置與速度等信息，然后將這些出現(xiàn)在不同時間段的目標(biāo)體分 別提取出來并臨時保存在運(yùn)動目標(biāo)列表中，在選擇好合適的背景后再將這些保存的目標(biāo)體 逐個的拼接到同一個背景中，這樣便實現(xiàn)了在不同時間段出現(xiàn)的目標(biāo)體在同一時間段同時 展示的視覺效果，達(dá)到了動態(tài)視頻濃縮的目的。
[0009] 為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0010] 一種在線動態(tài)視頻濃縮方法，包括以下步驟：
[0011] (1)通過Vibe算法檢測出運(yùn)動目標(biāo)：建立背景模型，比較待分類像素和背景模型 的相似度，若相似度滿足設(shè)定值，則判斷為背景，否則為前景；
[0012] (2)對前景進(jìn)行檢測之后，通過搜索連通域，判斷同一運(yùn)動目標(biāo)是否被分割成了多 個區(qū)域，如果判斷結(jié)果為是，則進(jìn)行連通域合并，直到目標(biāo)檢測完成；
[0013] (3)對前期獲取到的運(yùn)動目標(biāo)進(jìn)行跟蹤，利用Kalman濾波器結(jié)合最小空間距離算 法來預(yù)測每個運(yùn)動目標(biāo)的坐標(biāo)位置，并進(jìn)行不斷更新、跟蹤，清除消失的運(yùn)動目標(biāo)并不斷記 錄運(yùn)動目標(biāo)的新坐標(biāo)位置；
[0014] (4)基于前期的目標(biāo)檢測與目標(biāo)跟蹤，設(shè)定監(jiān)測閾值，并統(tǒng)計步驟（3)中保存的目 標(biāo)數(shù)量，當(dāng)此數(shù)值等于設(shè)定的閾值時，將在第二個模塊中保存的所有前景目標(biāo)同時拼接到 一幀處理好的背景中，以實現(xiàn)將不同時間出現(xiàn)的運(yùn)動目標(biāo)在同一時間呈現(xiàn)出來的效果。
[0015] 所述步驟（1)的具體方法為：為每個像素點存儲一個樣本集，樣本集中采樣值就 是該像素點過去的像素值和其鄰域的像素值，為每個像素點P t(x)建立一個包含N個樣本 的背景模型：
[0016] M(x) = {p1； p2, . . . , pN} (1)
[0017] 其中，Pl，p2，…，pn分別為N個樣本，通過比較待分類像素 pt(x)與背景模型M(x) 的相似度，如果相似，即判斷為背景，否則為前景；相似度按如下方式來定義：定義一個以 pt (X)為球心，R為半徑的球體SK(pt (X))，用A來表示球體與背景模型的交集，即可用來判斷 相似度：
[0018] A = {SE (pt (x)) I {p1； p2, . . . , pN}} (2)
[0019] 當(dāng)A大于一個給定的閾值時，待分類像素即為背景，否則為前景。
[0020] 所述步驟（2)的具體為：通過Vibe算法對前景分割存在以下情況：經(jīng)過Vibe算法 進(jìn)行前景分割后，如果同一個目標(biāo)被分割成了很多個目標(biāo)塊，那這些目標(biāo)塊的最小外接矩 形在相對位置上還是存在一定的位置關(guān)系的：一是較小的框完全被較大的框所包含；二是 兩個框之間有交集，但并不完全包含；三是兩個矩形框之間并沒有交集，但是他們成上下關(guān) 系，且質(zhì)心之間的水平與垂直距離都小于一定的閾值。
[0021] 所述步驟（2)的具體方法為：假設(shè)有兩個矩形窗分別為A和B，寬度分別記為W(A) 和W(B)，高度記為H(A)和H(B)，中心點坐標(biāo)記為（x(A)，y(A))、〇^出)， 7?))，則兩個框中 心點的水平距離為：
[0022] Xd = | X (A) -X (B) | (3)
[0023] 垂直距離為：
[0024] Yd = | y (A) -y (B) (4)
[0025] 如果是較小的框完全被較大的框所包含，則符合判決條件1，即：
[0026] Xd<|WKA)-WKB)|/2 (5)
[0027] 和
[0028] Yd 彡 |H(A)_H(B) 1/2 (6)
[0029] 直接將被包含在內(nèi)部的矩形框去掉即可。
[0030] 如果兩個框之間有交集，但并不完全包含，則符合判決條件2,即：
[0031] Xd 彡 a |W⑷+W⑶ |/2 (7)
[0032] 和
[0033] Yd 彡 α 2 X | H (A) +H (B) | /2 (8)
[0034] 如果兩個矩形框之間并沒有交集，但是他們成上下關(guān)系，且質(zhì)心間的水平與垂直 距離都小于一定的閾值，則符合以下條件，即：
[0035] Xd 彡 β i X | W ⑷ +W ⑶ | /2 (9)
[0036] 和
[0037] Yd 彡 β2Χ |H⑷+H⑶ |/2 (10)
[0038] 則把這幾個矩形框的最大外接矩形畫出來，把內(nèi)部的矩形框全部刪除即可，其中， α ρ α 2、β 1和β 2是系數(shù)。
[0039] 所述步驟（3)的具體方法為：對前期獲取到的運(yùn)動對象進(jìn)行跟蹤，也就是確定同 一目標(biāo)體在圖像序列的不同幀中的位置的過程，即已知在視頻的第η幀中的某個目標(biāo)，去 搜尋第η+1幀及后續(xù)幀中該目標(biāo)的位置等信息，如果找到了，就說明跟蹤成功；否則，可能 就跟蹤失敗或者是目標(biāo)消失。
[0040] 所述步驟（3)的具體方法，包括以下步驟：
[0041] 第一步，針對已經(jīng)檢測到的所有的運(yùn)動目標(biāo)，分別對每一個目標(biāo)i，首先利用 Kalman濾波器來預(yù)測該目標(biāo)在下一幀中的坐標(biāo)位置，此位置記為預(yù)測位置；
[0042] 第二步，針對下一幀中檢測到的所有目標(biāo)，對每一個目標(biāo)j的坐標(biāo)位置記為待定 位置；
[0043] 第三步，對某個i的預(yù)測位置，如果與其距離最近的待定位置是目標(biāo)j的位置，同 時針對該目標(biāo)j的待定位置，與其距離最近的預(yù)測位置是i的位置，則說明目標(biāo)i與目標(biāo)j 匹配成功，即跟蹤成功，然后再用j的信息來更新舊目標(biāo)i的信息，并同時根據(jù)目標(biāo)j的位 置與運(yùn)動信息來更新Kalman濾波器，以調(diào)整其參數(shù)，進(jìn)行更加魯棒性的預(yù)測；
[0044] 第四步，對于沒有匹配成功的某個目標(biāo)i的預(yù)測位置，說明該目標(biāo)已經(jīng)消失，因而 將該目標(biāo)從跟蹤列表中清除即可；對于沒有匹配成功的目標(biāo)j的待定位置，說明目標(biāo)j為新 出現(xiàn)的目標(biāo)，則為其開辟新的存儲空間，并初始化其運(yùn)動軌跡。
[0045] 所述步驟（3)中，將已經(jīng)成功跟蹤的所有目標(biāo)的最小外接矩形彩色前景保存到前 景容器中，將每個目標(biāo)在每一幀的位置及大小信息保存到目標(biāo)列表中，將經(jīng)過Vibe背景建 模得到的所有背景保存在背景容器中。
[0046] 所述步驟（4)中，針對背景的處理，本發(fā)明采用平均背景法，即在進(jìn)行目標(biāo)檢測與 跟蹤的過程中，將通過Vibe背景建模算法得到的每一幀背景圖像保存下來，在進(jìn)行視頻濃 縮時取這些背景幀的平均值作為背景來與前景目標(biāo)進(jìn)行拼接。
[0047] 所述步驟（4)具體方法包括：
[0048] (4-1)統(tǒng)計所保存的目標(biāo)數(shù)量，當(dāng)?shù)扔谠O(shè)定的閾值N時，便執(zhí)行第二步；否則繼續(xù) 執(zhí)行第一步；
[0049] (4-2)針對所選定的濃縮密度N，即計劃濃縮的一幀圖像中會有N個目標(biāo)，計算從 第一個目標(biāo)出現(xiàn)到第N個目標(biāo)出現(xiàn)時經(jīng)過Vibe背景建模算法所得到的所有視頻背景幀的 平均值作為所要拼接的背景幀BG(x，y)，其中（X，y)表示坐標(biāo)值；
[0050] (4-3)對平均背景BG(x，y)，將先前保存的前景目標(biāo)的最小外接矩形中所有的像 素的位置點（x，y)所對應(yīng)的BG(x，y)中的位置點（x，y)的像素值賦值為0,同時再將對應(yīng)前 景中點（x，y)的像素值復(fù)制到點BG(x，y)處，這樣即完成了一個像素點的拼接；
[0051] (4-4)針對由（4-3)得到的所有拼接的目標(biāo)，比較其中任意兩個目標(biāo)的遮擋情況， 對發(fā)生遮擋的區(qū)域位置所對應(yīng)的兩個目標(biāo)的位置進(jìn)行半透明化操作，使兩個目標(biāo)的遮擋區(qū) 域都能被看到；
[0052] (4-5)對所有運(yùn)動目標(biāo)都進(jìn)行拼接過程，并進(jìn)行遮擋檢測與遮擋處理，再將得到的 拼接幀連續(xù)播放出來，即可得到了動態(tài)的濃縮視頻；將之前保存的彩色前景圖像與背景圖 像的緩存清除，來進(jìn)行下一輪的保存與濃縮操作。
[0053] 所述步驟（4-4)的具體方法為：比較過程如下：假設(shè)其中有兩個目標(biāo)分別為A 和B，寬度分別記為W(A)和W(B)，高度記為H(A)和H(B)，中心點坐標(biāo)記為（x(A)，y(A))、 (x(B)，y(B))，則兩個目標(biāo)中心點的水平距離如上面公式（3)所示，垂直距離如上述（4)所 示，如果式：
[0054] Xd < ff(A)/2+ff(B)/2 (11)
[0055] 和式
[0056] Yd < H(A)/2+H(B)/2 (12)
[0057] 同時都成立，則說明兩個目標(biāo)發(fā)生了遮擋，當(dāng)發(fā)生遮擋時，其中被遮擋部分的目標(biāo) 就會丟失了對應(yīng)的像素信息，因而此時就要對發(fā)生遮擋的區(qū)域位置所對應(yīng)的兩個目標(biāo)的位 置進(jìn)行半透明化操作，即把發(fā)生遮擋的兩個目標(biāo)的遮擋區(qū)域的像素值進(jìn)行一下加權(quán)操作， 即兩個目標(biāo)的對應(yīng)位置的像素值各乘〇. 5,再相加，然后再拼接到對應(yīng)的背景上，這樣處理 后即便發(fā)生了遮擋，兩個目標(biāo)的遮擋區(qū)域也都能被看到。
[0058] 本發(fā)明的有益效果為：
[0059] 1.不需要對整個視頻文件進(jìn)行讀取，而是可以邊拍攝邊進(jìn)行濃縮操作，即所謂的 在線的視頻濃縮，而且其可以通過人為的或自動的設(shè)定濃縮視頻的濃縮密度，即濃縮視頻 中同一幀中的目標(biāo)數(shù)量；
[0060] 2.適用于內(nèi)存比較小的設(shè)備運(yùn)行，只要將濃縮的密度設(shè)定的比較小的話，其消耗 的內(nèi)存就會相應(yīng)的減小，節(jié)省了硬件資源；
[0061] 3.濃縮密度的大小可以根據(jù)監(jiān)控環(huán)境來設(shè)定的，適合不同內(nèi)存的主機(jī)系統(tǒng)；
[0062] 4.通過整合前景檢測模塊中的多連通域融合算法，使得檢測結(jié)果更加準(zhǔn)確。

【專利附圖】

【附圖說明】
[0063] 圖1為視頻濃縮示意圖；
[0064] 圖2為Vibe算法模型示意圖；
[0065] 圖3為目標(biāo)檢測算法流程圖；
[0066] 圖4為視頻濃縮基本原理圖；
[0067] 圖5為原始視頻截圖；
[0068] 圖6為濃縮視頻截圖；
[0069] 圖7為本發(fā)明的流程圖。

【具體實施方式】：
[0070] 下面結(jié)合附圖與實施例對本發(fā)明作進(jìn)一步說明。
[0071] 發(fā)明主要分為三大模塊：
[0072] 第一是運(yùn)動目標(biāo)檢測模塊。該模塊的主要作用就是將運(yùn)動的前景檢測出來，也就 是將每一幀圖像的每個像素點進(jìn)行一個分類操作：屬于前景，或者是背景?；谝曨l濃縮系 統(tǒng)實時性的考慮，在此我們選擇改進(jìn)后的Vibe前景檢測算法，即基本的Vibe背景建模算法 和多連通域融合算法相結(jié)合的新方法。
[0073] 基本的Vibe背景建模算法的思想就是為每個像素點存儲一個樣本集，樣本集中 采樣值就是該像素點過去的像素值和其鄰域的像素值，然后將每一個新的像素值和樣本集 進(jìn)行比較來判斷是否屬于背景點，同時其采用了隨機(jī)選擇機(jī)制和鄰域傳播機(jī)制來建立和更 新背景模型。它對于各種視頻流、不同顏色空間、多種場景內(nèi)容及變化的場景都適用，從而 有效的提高了準(zhǔn)確度，增加了抗噪能力和減少了計算負(fù)載，其模型示意圖如下圖2所示：
[0074] 如圖2所示，為每個像素點pt (X)建立一個包含N個樣本的背景模型：
[0075] M(x) = {p1； p2, . . . , pN} (1)
[0076] 通過比較待分類像素 pt(x)與背景模型M(x)的相似度，即可判斷出該像素是前景 還是背景。如果相似，即判斷為背景，否則為前景。其中相似度按如下方式來定義：如上圖 1所示，定義一個以P t (X)為球心，R為半徑的球體SK (pt (X))，用A來表示球體與背景模型的 交集，即可用來判斷相似度：
[0077] A = {SE (pt (x)) I {p1； p2, . . . , pN}} (2)
[0078] 當(dāng)A大于一個給定的閾值時，待分類像素即為背景，否則為前景。
[0079] 但由于像建筑物樓道等環(huán)境具有光線差，攝像機(jī)質(zhì)量不高，拍出的視頻對比度較 低等缺點，往往會導(dǎo)致用Vibe算法的檢測精度變差，因而本發(fā)明在此基礎(chǔ)上提出了基于空 間位置分布特征的多連通域融合算法，通過分析先前由Vibe算法分割得到的數(shù)個連通域 之間的空間分布關(guān)系，將屬于同一運(yùn)動目標(biāo)的不同連通域進(jìn)行融合。用改進(jìn)后的算法進(jìn)行 運(yùn)動檢測，就會得到更加精確的檢測結(jié)果。
[0080] 在經(jīng)過Vibe算法進(jìn)行前景分割后，如果同一個目標(biāo)被分割成了很多個目標(biāo)塊，那 這些目標(biāo)塊的最小外接矩形在相對位置上還是存在一定的位置關(guān)系的：一是較小的框完全 被較大的框所包含；二是兩個框之間有交集，但并不完全包含；三是兩個矩形框之間并沒 有交集，但是他們主要成上下關(guān)系，且質(zhì)心的水平與垂直距離都小于一定的閾值。針對如上 所述的三種情況，我們有如下的解決方案：
[0081] 假設(shè)有兩個矩形窗分別為A和B，寬度分別記為W(A)和W(B)，高度記為H(A)和 11出），中心點坐標(biāo)記為〇^仏)， 7仏)）、（以8)，7?))，則兩個框中心點的水平距離為：
[0082] Xd = | X (A) -x (B) (3)
[0083] 垂直距離為：
[0084] Yd = I y (A) -y (B) (4)
[0085] 針對上述的第一種關(guān)系，即如果符合判決條件1，即：
[0086] Xd<|WKA)-WKB)|/2 (5)
[0087] 和
[0088] Yd 彡 |H(A)_H(B) 1/2 (6)
[0089] 則說明它們符合第一種關(guān)系，因而直接就把被包含在內(nèi)部的矩形框去掉即可。
[0090] 而針對后兩種關(guān)系的處理方式是相似的，即先判斷如果符合判決條件2,即：
[0091] Xd 彡 a，|W⑷+W⑶ |/2 (7)
[0092] 和
[0093] Yd 彡 α 2 X | Η ⑷ +H ⑶ | /2 (8)
[0094] 或者是滿足：
[0095] Xd 彡 β i X | W ⑷ +W ⑶ | /2 (9)
[0096] 和
[0097] Yd 彡 β2Χ |H⑷+H⑶ |/2 (10)
[0098] 則把這幾個矩形框的最大外接矩形畫出來，把內(nèi)部的矩形框全部刪除即可。其中， αι、α2、^和β2是系數(shù)，經(jīng)過大量實驗后可得出當(dāng)這四個系數(shù)分別取1. 1、1. 1、1.5和 0. 25時會得到精確的檢測結(jié)果。
[0099] 如下圖3所示，運(yùn)動目標(biāo)檢測是運(yùn)動跟蹤的基礎(chǔ)，將檢測出來的運(yùn)動目標(biāo)傳送給 目標(biāo)跟蹤模塊，再對該目標(biāo)進(jìn)行跟蹤。
[0100] 第二是運(yùn)動目標(biāo)跟蹤模塊。該模塊的主要作用是對前期獲取到的運(yùn)動對象進(jìn)行跟 蹤，也就是確定同一目標(biāo)體在圖像序列的不同幀中的位置的過程。即已知在視頻的第η幀 中的某個目標(biāo)，去搜尋第η+1幀及后續(xù)幀中該目標(biāo)的位置等信息，如果找到了，就說明跟蹤 成功；否則，可能就跟蹤失敗或者是目標(biāo)消失。
[0101] 本發(fā)明在跟蹤模塊提出了基于空間距離的目標(biāo)跟蹤方法，即是指兩幀視頻圖像中 的目標(biāo)在二維空間中相距有多遠(yuǎn)。為簡單起見，把運(yùn)動目標(biāo)的最小外接矩形的中心代表該 目標(biāo)在圖像上的位置。采用空間距離來作為判斷依據(jù)，既能節(jié)省了存儲空間，又同時減少了 計算量和計算復(fù)雜度。
[0102] 本發(fā)明中運(yùn)動跟蹤模塊的具體步驟如下：
[0103] 第一步，針對已經(jīng)檢測到的所有的運(yùn)動目標(biāo)，分別對每一個目標(biāo)i，首先利用 Kalman濾波器來預(yù)測該目標(biāo)在下一幀中的坐標(biāo)位置，此位置記為預(yù)測位置；
[0104] 第二步，針對下一幀中檢測到的所有目標(biāo)，對每一個目標(biāo)j的坐標(biāo)位置記為待定 位置；
[0105] 第三步，對某個i的預(yù)測位置，如果與其距離最近的待定位置是目標(biāo)j的位置，同 時針對該目標(biāo)j的待定位置，與其距離最近的預(yù)測位置是i的位置，則說明目標(biāo)i與目標(biāo)j 匹配成功，即跟蹤成功，然后再用j的信息來更新舊目標(biāo)i的信息，并同時根據(jù)目標(biāo)j的位 置與運(yùn)動信息來更新Kalman濾波器，以調(diào)整其參數(shù)，進(jìn)行更加魯棒性的預(yù)測。
[0106] 第四步，對于沒有匹配成功的某個目標(biāo)i的預(yù)測位置，說明該目標(biāo)已經(jīng)消失，因而 將該目標(biāo)從跟蹤列表中清除即可；對于沒有匹配成功的目標(biāo)j的待定位置，說明目標(biāo)j為新 出現(xiàn)的目標(biāo)，則為其開辟新的存儲空間，并初始化其運(yùn)動軌跡。
[0107] 將已經(jīng)成功跟蹤的所有目標(biāo)的最小外接矩形彩色前景保存到前景容器中，將每個 目標(biāo)在每一幀的位置及大小信息保存到目標(biāo)列表中，將經(jīng)過Vibe背景建模得到的所有背 景保存在背景容器中。這些已經(jīng)保存好的元素將用于模塊三的視頻濃縮算法。
[0108] 第三是動態(tài)視頻濃縮模塊。該模塊是基于前期的目標(biāo)檢測與目標(biāo)跟蹤，通過設(shè)定 一個閾值，并統(tǒng)計第二個模塊中保存的目標(biāo)數(shù)量，當(dāng)此數(shù)值等于設(shè)定的閾值時，將在第二個 模塊中保存的所有前景目標(biāo)同時拼接到一幀處理好的背景中，以實現(xiàn)將不同時間出現(xiàn)的運(yùn) 動目標(biāo)在同一時間呈現(xiàn)出來的效果。將這樣的拼接好的視頻幀一幀一幀的播放出來，就形 成了動態(tài)的濃縮視頻。
[0109] 針對背景的處理，本發(fā)明采用平均背景法，即在進(jìn)行目標(biāo)檢測與跟蹤的過程中，將 通過Vibe背景建模算法得到的每一幀背景圖像保存下來，在進(jìn)行視頻濃縮時取這些背景 幀的平均值作為背景來與前景目標(biāo)進(jìn)行拼接。
[0110] 對于非在線的視頻濃縮方法，其并不能邊拍攝視頻邊進(jìn)行濃縮運(yùn)算，而必須要對 保存于本地的視頻全讀取完畢后才可進(jìn)行濃縮操作，因而其會存在某些不足之處：一是不 具備實時性。該方法往往是在拍攝了一段很長的監(jiān)控視頻后先將該段視頻保存下來，再對 其進(jìn)行濃縮運(yùn)算，這樣會導(dǎo)致時間的延后性大大增加，而且在對長時間監(jiān)控視頻濃縮的過 程中所需要的時間較長，更不利于后期對視頻的查詢與檢索；二是對硬件的要求較高。對于 長時間的監(jiān)控視頻，系統(tǒng)需要對整個視頻文件進(jìn)行讀取，并將視頻中的所有運(yùn)動目標(biāo)在所 有幀中的位置與運(yùn)動信息保存到緩存中，由于視頻文件大，需要保存的內(nèi)容就多，因而這些 方法就需要較大的內(nèi)存設(shè)備才可以運(yùn)行，增加了設(shè)備的成本。
[0111] 而本發(fā)明專利提出了一種在線的視頻濃縮方法，其并不需要對整個視頻文件進(jìn)行 讀取，而是可以邊拍攝邊進(jìn)行濃縮操作，而且其可以通過人為的或自動的設(shè)定濃縮視頻的 濃縮密度，即濃縮視頻中同一幀中的目標(biāo)數(shù)量。并且該方法可以適用于內(nèi)存比較小的設(shè)備 運(yùn)行，只要將濃縮的密度設(shè)定的比較小的話，其消耗的內(nèi)存就會相應(yīng)的減小，節(jié)省了硬件資 源。
[0112] 如圖4所示，橫軸是表示位置信息，縱軸是表示時間信息，視頻濃縮的目的就是使 得在不同時間區(qū)間出現(xiàn)的目標(biāo)與發(fā)生的事件在同一時間段內(nèi)同時發(fā)生，極大地壓縮空閑時 間段，充分的利用時間與空間，提高其利用率。
[0113] 如圖7所示，圖中目標(biāo)團(tuán)塊即為運(yùn)動目標(biāo)。該模塊的執(zhí)行步驟如下所述：
[0114] 第一步，統(tǒng)計第二個模塊中所保存的目標(biāo)數(shù)量，當(dāng)?shù)扔谠O(shè)定的閾值N時，便執(zhí)行第 二步；否則繼續(xù)執(zhí)行第一步。
[0115] 第二步，針對所選定的濃縮密度N，即計劃濃縮的一幀圖像中會有N個目標(biāo)，計算 從第一個目標(biāo)出現(xiàn)到第N個目標(biāo)出現(xiàn)時經(jīng)過Vibe背景建模算法所得到的所有視頻背景幀 的平均值作為所要拼接的背景幀BG(x，y)，其中（X，y)表示坐標(biāo)值。
[0116] 第三步，針對第二步中所選取到的平均背景BG(x，y)，根據(jù)這樣的策略進(jìn)行"挖 洞":對平均背景BG(x，y)，將先前保存的前景目標(biāo)的最小外接矩形FG(x，y)中所有的像素 的位置點（x，y)所對應(yīng)的BG(x，y)中的位置點（x，y)的像素值賦值為0,同時再將對應(yīng)前景 FG(x，y)中點（x，y)的像素值復(fù)制到點BG(x，y)處，這樣即完成了一個像素點的拼接。針對 所有運(yùn)動目標(biāo)的所有像素點進(jìn)行上述的拼接過程，即完成了一幀圖像的拼接，此時即把本 來不在同一時間出現(xiàn)的運(yùn)動目標(biāo)在同一時刻出現(xiàn)，即完成了一個靜態(tài)的濃縮過程。
[0117] 第四步，針對由第三步得到的這一靜態(tài)濃縮幀中的所有拼接的目標(biāo)，比較其中任 意兩個目標(biāo)的遮擋情況，比較過程如下：假設(shè)其中有兩個目標(biāo)分別為A和B，寬度分別記為 W㈧和W (B)，高度記為Η㈧和Η (B)，中心點坐標(biāo)記為（x㈧，y㈧）、（x⑶，y⑶），則兩個 目標(biāo)中心點的水平距離如上面公式（3)所示，垂直距離如上述（4)所示，如果式：
[0118] Xd < ff(A)/2+ff(B)/2 (11)
[0119] 和式
[0120] Yd < H(A)/2+H(B)/2 (12)
[0121] 同時都成立，則說明兩個目標(biāo)發(fā)生了遮擋，當(dāng)發(fā)生遮擋時，其中被遮擋部分的運(yùn)動 目標(biāo)就會丟失了對應(yīng)的像素信息，因而此時就要對發(fā)生遮擋的區(qū)域位置所對應(yīng)的兩個目標(biāo) 的位置進(jìn)行半透明化操作，即把發(fā)生遮擋的兩個目標(biāo)的遮擋區(qū)域的像素值進(jìn)行一下加權(quán)操 作，即兩個目標(biāo)的對應(yīng)位置的像素值各乘〇. 5,再相加，然后再拼接到對應(yīng)的背景上，這樣處 理后即便發(fā)生了遮擋，兩個目標(biāo)的遮擋區(qū)域也都能被看到。
[0122] 第五步，針對第二個模塊中保存的所有運(yùn)動目標(biāo)都進(jìn)行上述的拼接過程，并進(jìn)行 遮擋檢測與遮擋處理，再將得到的拼接幀連續(xù)播放出來，即可得到了動態(tài)的濃縮視頻。
[0123] 第六步，當(dāng)前述N個運(yùn)動目標(biāo)已經(jīng)濃縮完之后，則將之前保存的彩色前景圖像與 背景圖像的緩存清除，來進(jìn)行下一輪的保存與濃縮操作。
[0124] 在此模塊中，在同一背景圖像上拼接的運(yùn)動目標(biāo)數(shù)量N可由客戶來設(shè)定，人們?nèi)?果想讓濃縮的密度N大一點的話就把N設(shè)定的大一些，而如果想讓濃縮密度N小一些的話 就把N設(shè)定的小一些。濃縮密度N的大小一般是根據(jù)監(jiān)控環(huán)境來設(shè)定的，例如在比較狹小 的樓道內(nèi)，N就可以設(shè)定的較??；而如果在比較廣闊的場地上，N就可以設(shè)定的較大。N可以 是3個、4個或者5個，也可以是十幾個甚至更多，隨著數(shù)量的增多，消耗的內(nèi)存也會增大； 當(dāng)然，該數(shù)量也可交由系統(tǒng)自動的設(shè)定，根據(jù)主機(jī)系統(tǒng)的硬件參數(shù)來自動調(diào)整，系統(tǒng)內(nèi)存大 的話就可設(shè)定的大一些，系統(tǒng)內(nèi)存較小的話就設(shè)定的小一些。
[0125] 視頻壓縮效果圖如圖5、圖6所示，出現(xiàn)在不同時間的同一樓道內(nèi)的四個人，其運(yùn) 動軌跡能夠在同一時段的視頻中出現(xiàn)，節(jié)省了大量的監(jiān)視查看時間。
[0126] 上述雖然結(jié)合附圖對本發(fā)明的【具體實施方式】進(jìn)行了描述，但并非對本發(fā)明保護(hù)范 圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不 需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。
【權(quán)利要求】
1. 一種在線動態(tài)視頻濃縮方法，其特征是：包括以下步驟： (1) 通過Vibe算法檢測運(yùn)動的前景，將每一幀圖像的每個像素點進(jìn)行分類：建立背景 模型，比較待分類像素和背景模型的相似度，若相似度滿足設(shè)定值，則判斷為背景，否則為 前景； (2) 對前景進(jìn)行檢測之后，通過搜索連通域，判斷同一運(yùn)動目標(biāo)是否被分割成了多個區(qū) 域，如果判斷結(jié)果為是，則進(jìn)行連通域合并，直到目標(biāo)檢測完成； (3) 對前期獲取到的運(yùn)動目標(biāo)進(jìn)行跟蹤，利用Kalman濾波器結(jié)合最小空間距離算法來 預(yù)測每個運(yùn)動目標(biāo)的坐標(biāo)位置，并進(jìn)行不斷更新、跟蹤，清除消失的運(yùn)動對象并不斷記錄運(yùn) 動目標(biāo)的新坐標(biāo)位置； (4) 基于前期的目標(biāo)檢測與目標(biāo)跟蹤，設(shè)定閾值，并統(tǒng)計步驟（3)中保存的目標(biāo)數(shù)量， 當(dāng)此數(shù)值等于設(shè)定的閾值時，將在第二個模塊中保存的所有前景目標(biāo)同時拼接到一幀處理 好的背景中，以實現(xiàn)將不同時間出現(xiàn)的運(yùn)動目標(biāo)在同一時間呈現(xiàn)出來的效果。
2. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（1)的具體 方法為：為每個像素點存儲一個樣本集，樣本集中采樣值就是該像素點過去的像素值和其 鄰域的像素值，為每個像素點P t (X)建立一個包含N個樣本的背景模型： M(x) = {p1； p2,..., pN} (1) 通過比較待分類像素 Pt(x)與背景模型M(x)的相似度，如果相似，即判斷為背景，否則 為前景；相似度按如下方式來定義：定義一個以Pt(x)為球心，R為半徑的球體SK(p t(x))，用 A來表示球體與背景模型的交集，即可用來判斷相似度： A = {SE (pt (x)) I {p1； p2,. . . , pN}} (2) 當(dāng)A大于一個給定的閾值時，待分類像素即為背景，否則為前景。
3. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（2)的具體 為：通過Vibe算法對前景分割存在以下情況：經(jīng)過Vibe算法進(jìn)行前景分割后，如果同一個 目標(biāo)被分割成了很多個目標(biāo)塊，那這些目標(biāo)塊的最小外接矩形在相對位置上還是存在一定 的位置關(guān)系的：一是較小的框完全被較大的框所包含；二是兩個框之間有交集，但并不完 全包含；三是兩個矩形框之間并沒有交集，但是他們成上下關(guān)系，且質(zhì)心之間的水平與垂直 距離都小于一定的閾值。
4. 如權(quán)利要求3所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（2)的具體 方法為：假設(shè)有兩個矩形窗分別為A和B，寬度分別記為W(A)和W(B)，高度記為H(A)和 11出），中心點坐標(biāo)記為〇^仏)， 7仏)）、（以8)，7?))，則兩個框中心點的水平距離為： Xd = | X ⑷-X 〇) | (3) 垂直距離為： Yd = |y(A)-y(B) (4) 如果是較小的框完全被較大的框所包含，則符合判決條件1，即： Xd<|W〇V)-_)|/2 (5) 和 Yd 彡 |H(A)-H(B) 1/2 (6) 直接將被包含在內(nèi)部的矩形框去掉即可； 如果兩個框之間有交集，但并不完全包含，則符合判決條件2,即： Xd< a，|W(A)+W⑶ 1/2 (7) 和 Yd< α2Χ |H(A)+H⑶ 1/2 (8) 如果兩個矩形框之間并沒有交集，但是他們成上下關(guān)系，且質(zhì)心間的水平與垂直距離 都小于一定的閾值，則符合以下條件，即： Xd< hX |W㈧+W⑶ |/2 (9) 和 Yd< β2Χ |H(A)+H⑶ 1/2 (10) 則把這幾個矩形框的最大外接矩形畫出來，把內(nèi)部的矩形框全部刪除即可，其中，a i、 α 2、β i和β 2是系數(shù)。
5. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（3)的具體 方法為：對前期獲取到的運(yùn)動對象進(jìn)行跟蹤，也就是確定同一目標(biāo)體在圖像序列的不同幀 中的位置的過程，即已知在視頻的第η幀中的某個目標(biāo)，去搜尋第η+1幀及后續(xù)幀中該目標(biāo) 的位置等信息，如果找到了，就說明跟蹤成功；否則，可能就跟蹤失敗或者是目標(biāo)消失。
6. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（3)的具體 方法，包括以下步驟： 第一步，針對已經(jīng)檢測到的所有的運(yùn)動目標(biāo)，分別對每一個目標(biāo)i，首先利用Kalman濾 波器來預(yù)測該目標(biāo)在下一幀中的坐標(biāo)位置，此位置記為預(yù)測位置； 第二步，針對下一幀中檢測到的所有目標(biāo)，對每一個目標(biāo)j的坐標(biāo)位置記為待定位置； 第三步，對某個i的預(yù)測位置，如果與其距離最近的待定位置是目標(biāo)j的位置，同時針 對該目標(biāo)j的待定位置，與其距離最近的預(yù)測位置是i的位置，則說明目標(biāo)i與目標(biāo)j匹配 成功，即跟蹤成功，然后再用j的信息來更新舊目標(biāo)i的信息，并同時根據(jù)目標(biāo)j的位置與 運(yùn)動信息來更新Kalman濾波器，以調(diào)整其參數(shù)，進(jìn)行更加魯棒性的預(yù)測； 第四步，對于沒有匹配成功的某個目標(biāo)i的預(yù)測位置，說明該目標(biāo)已經(jīng)消失，因而將該 目標(biāo)從跟蹤列表中清除即可；對于沒有匹配成功的目標(biāo)j的待定位置，說明目標(biāo)j為新出現(xiàn) 的目標(biāo)，則為其開辟新的存儲空間，并初始化其運(yùn)動軌跡。
7. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（3)中，將已 經(jīng)成功跟蹤的所有目標(biāo)的最小外接矩形彩色前景保存到前景容器中，將每個目標(biāo)在每一幀 的位置及大小信息保存到目標(biāo)列表中，將經(jīng)過Vibe背景建模得到的所有背景保存在背景 容器中。
8. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（4)中，針對 背景的處理，本發(fā)明采用平均背景法，即在進(jìn)行目標(biāo)檢測與跟蹤的過程中，將通過Vibe背 景建模算法得到的每一幀背景圖像保存下來，在進(jìn)行視頻濃縮時取這些背景幀的平均值作 為背景來與前景目標(biāo)進(jìn)行拼接。
9. 如權(quán)利要求1所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（4)具體方 法包括： (4-1)統(tǒng)計所保存的目標(biāo)數(shù)量，當(dāng)?shù)扔谠O(shè)定的閾值N時，便執(zhí)行第二步；否則繼續(xù)執(zhí)行 第一步； (4-2)針對所選定的濃縮密度N，即計劃濃縮的一幀圖像中會有N個目標(biāo)，計算從第一 個目標(biāo)出現(xiàn)到第N個目標(biāo)出現(xiàn)時經(jīng)過Vibe背景建模算法所得到的所有視頻背景幀的平均 值作為所要拼接的背景幀BG(x，y)，其中（X，y)表示坐標(biāo)值； (4-3)對平均背景BG(x，y)，將先前保存的前景目標(biāo)的最小外接矩形中所有的像素的 位置點（x，y)所對應(yīng)的BG(x，y)中的位置點（x，y)的像素值賦值為0,同時再將對應(yīng)前景中 點（x，y)的像素值復(fù)制到點BG(x，y)處，這樣即完成了一個像素點的拼接； (4-4)針對由（4-3)得到的所有拼接的目標(biāo)，比較其中任意兩個目標(biāo)的遮擋情況，對發(fā) 生遮擋的區(qū)域位置所對應(yīng)的兩個目標(biāo)的位置進(jìn)行半透明化操作，使兩個目標(biāo)的遮擋區(qū)域都 能被看到； (4-5)對所有運(yùn)動目標(biāo)都進(jìn)行拼接過程，并進(jìn)行遮擋檢測與遮擋處理，再將得到的拼接 幀連續(xù)播放出來，即可得到了動態(tài)的濃縮視頻；將之前保存的彩色前景圖像與背景圖像的 緩存清除，來進(jìn)行下一輪的保存與濃縮操作。
10.如權(quán)利要求9所述的一種在線動態(tài)視頻濃縮方法，其特征是：所述步驟（4-4)的具 體方法為：比較過程如下：假設(shè)其中有兩個目標(biāo)分別為A和B，寬度分別記為W㈧和W⑶， 高度記為H(A)和H(B)，中心點坐標(biāo)記為（x(A)，y(A))、（x(B)，y(B))，則兩個目標(biāo)中心點的 水平距離如上面公式（3)所示，垂直距離如上述（4)所示，如果式： Xd < ff(A)/2+ff(B)/2 (11) 和式 Yd<H(A)/2+H(B)/2 (12) 同時都成立，則說明兩個目標(biāo)發(fā)生了遮擋，當(dāng)發(fā)生遮擋時，其中被遮擋部分的運(yùn)動目標(biāo) 就會丟失了對應(yīng)的像素信息，因而此時就要對發(fā)生遮擋的區(qū)域位置所對應(yīng)的兩個目標(biāo)的位 置進(jìn)行半透明化操作，即把發(fā)生遮擋的兩個目標(biāo)的遮擋區(qū)域的像素值進(jìn)行一下加權(quán)操作， 即兩個目標(biāo)的對應(yīng)位置的像素值各乘〇. 5,再相加，然后再拼接到對應(yīng)的背景上，這樣處理 后即便發(fā)生了遮擋，兩個目標(biāo)的遮擋區(qū)域也都能被看到。
【文檔編號】H04N7/18GK104093001SQ201410352819
【公開日】2014年10月8日 申請日期:2014年7月23日 優(yōu)先權(quán)日:2014年7月23日
【發(fā)明者】曹建榮, 徐陽, 李振宇, 孫雪梅 申請人:山東建筑大學(xué)