專(zhuān)利名稱(chēng)：一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及監(jiān)控視頻摘要、濃縮領(lǐng)域，尤其是一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法及系統(tǒng)。
背景技術(shù)：
目前，隨著經(jīng)濟(jì)和信息技術(shù)的發(fā)展，人們對(duì)安全防范的需求也越來(lái)越高，視頻監(jiān)控作為安全防范領(lǐng)域的有效手段，應(yīng)用范圍越來(lái)越廣，應(yīng)用需求也在不斷的提高。在日常應(yīng)用中，視頻監(jiān)控錄像存在存儲(chǔ)數(shù)據(jù)量大，存儲(chǔ)時(shí)間長(zhǎng)等特點(diǎn)，通過(guò)錄像了解某一時(shí)間段內(nèi)出現(xiàn)的行人、車(chē)輛等有意義信息，特別是公安系統(tǒng)在尋找線(xiàn)索、獲取證據(jù)時(shí)，傳統(tǒng)的做法會(huì)耗費(fèi)大量人力、物力以及時(shí)間，效率極其低下，以至于錯(cuò)過(guò)最佳破案時(shí)機(jī)。因此在視頻監(jiān)控系統(tǒng)中，對(duì)原始視頻進(jìn)行摘要、濃縮，可以快速瀏覽特定時(shí)間段內(nèi)出現(xiàn)的人 物、車(chē)輛以及發(fā)生的事，花費(fèi)較短時(shí)間了解掌握幾小時(shí)甚至幾天的該監(jiān)控范圍內(nèi)經(jīng)過(guò)的人、車(chē)及發(fā)生的行為，出現(xiàn)案件時(shí)能夠快速鎖定目標(biāo)對(duì)象，對(duì)于公安加快破案速度，提高大案、要案的破案效率具有重要指導(dǎo)意義。

發(fā)明內(nèi)容
本發(fā)明的首要目的在于提供一種能夠?qū)σ曨l監(jiān)控信息進(jìn)行摘要、濃縮，快速鎖定運(yùn)動(dòng)目標(biāo)的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，該方法包括下列順序的步驟(I)獲取待處理的原始視頻的初始圖像序列，對(duì)初始圖像序列巾貞進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及分析處理，得到原始視頻每幀運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，在幀間進(jìn)行目標(biāo)跟蹤合并處理，提取出原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息；(2)根據(jù)原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息，對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象進(jìn)行時(shí)間及空間上的重排序，并融合背景圖像生成摘要視頻，并記錄摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息；(3)根據(jù)原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息和摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息，建立摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)的索引關(guān)聯(lián)。本發(fā)明的另一目的在于提供一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要系統(tǒng)，包括視頻輸入模塊，獲取待處理的視頻片段或?qū)崟r(shí)視頻流；目標(biāo)提取及合成模塊，從原始視頻中獲取初始圖像序列，利用改進(jìn)的背景減法對(duì)圖像序列進(jìn)行分析處理，獲取各幀中的運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，在幀間進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤，得到各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象的索引信息；目標(biāo)重排序模塊，根據(jù)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象的索引信息對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象在時(shí)間和空間上重新排序；索引構(gòu)建模塊，存儲(chǔ)不同階段運(yùn)動(dòng)目標(biāo)的索引信息，并且將不同階段的目標(biāo)對(duì)象及其位置相互關(guān)聯(lián)；摘要結(jié)果輸出模塊，將重新排序后的目標(biāo)對(duì)象圖像序列與背景圖像進(jìn)行融合、合成，并進(jìn)行視頻編碼生成摘要視頻，并根據(jù)索引構(gòu)建模塊保存的索引信息，將摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)進(jìn)行目標(biāo)關(guān)聯(lián)，生成目標(biāo)索引文件；摘要播放模塊，播放摘要視頻，若用戶(hù)點(diǎn)擊摘要視頻某幀中的運(yùn)動(dòng)目標(biāo)，則查詢(xún)索引文件，調(diào)出該運(yùn)動(dòng)目標(biāo)對(duì)象出現(xiàn)的原始視頻地址及在原始視頻中的起始位置，并播放運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻段。由上述技術(shù)方案可知，本發(fā)明采用改進(jìn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法能夠準(zhǔn)確的分割出運(yùn)動(dòng)目標(biāo)，目標(biāo)跟蹤合成方法簡(jiǎn)單有效；運(yùn)動(dòng)目標(biāo)對(duì)象的重排序規(guī)則既保證了原始運(yùn)動(dòng)目標(biāo)出現(xiàn)的時(shí)間順序又保證了在每幀中運(yùn)動(dòng)目標(biāo)對(duì)象的空間緊湊性；在空間和時(shí)間上可以進(jìn)行高效的壓縮，實(shí)現(xiàn)了監(jiān)控視頻的快速、準(zhǔn)確的摘要濃縮，索引的使用使得播放時(shí)能夠隨時(shí)方便的瀏覽運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻片段。本發(fā)明生成摘要速度快、準(zhǔn)確性和易用性強(qiáng)。


圖I是本發(fā)明的工作流程圖；圖2是本發(fā)明的功能模塊示意圖。
具體實(shí)施例方式一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，該方法包括(1)獲取待處理的原始視頻的初始圖像序列，對(duì)初始圖像序列幀進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及分析處理，得到原始視頻每幀運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，在幀間進(jìn)行目標(biāo)跟蹤合并處理，提取出原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息；(2)根據(jù)原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息，對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象進(jìn)行時(shí)間及空間上的重排序，并融合背景圖像生成摘要視頻，并記錄摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息；(3)根據(jù)原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息和摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息，建立摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)的索引關(guān)聯(lián)。如圖I所示。如圖I所示，所述原始視頻是指同一攝像頭拍攝的連續(xù)的監(jiān)控視頻片段或?qū)崟r(shí)的監(jiān)控視頻流；所述運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息包括運(yùn)動(dòng)目標(biāo)的位置、輪廓及圖像信息，所述運(yùn)動(dòng)目標(biāo)的索引信息包括運(yùn)動(dòng)目標(biāo)出現(xiàn)的起始/結(jié)束幀、每幀中的位置以及運(yùn)動(dòng)軌跡信息。如圖I所示，視頻輸入模塊輸入原始視頻后，目標(biāo)提取及合成模塊利用改進(jìn)的背景減法對(duì)初始圖像序列幀進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及分析處理，獲取每幀中運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，根據(jù)該視覺(jué)特征信息，在幀間進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤，得到原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息。采取改進(jìn)的背景減法檢測(cè)運(yùn)動(dòng)目標(biāo)的方法如下圖像中每個(gè)點(diǎn)的背景模型M(X)由N個(gè)背景點(diǎn)v(i)表示M(X) = Iv1, V2, V3, , vN}判斷圖像是否為前景的公式為
權(quán)利要求
1.一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，該方法包括下列順序的步驟 (1)獲取待處理的原始視頻的初始圖像序列，對(duì)初始圖像序列巾貞進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及分析處理，得到原始視頻每幀運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，在幀間進(jìn)行目標(biāo)跟蹤合并處理，提取出原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息； (2)根據(jù)原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息，對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象進(jìn)行時(shí)間及空間上的重排序，并融合背景圖像生成摘要視頻，并記錄摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息； (3)根據(jù)原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息和摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息，建立摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)的索引關(guān)聯(lián)。
2.根據(jù)權(quán)利要求I所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，其特征在于所述原始視頻是指同一攝像頭拍攝的連續(xù)的監(jiān)控視頻片段或?qū)崟r(shí)的監(jiān)控視頻流；所述運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息包括運(yùn)動(dòng)目標(biāo)的位置、輪廓及圖像信息，所述運(yùn)動(dòng)目標(biāo)的索引信息包括運(yùn)動(dòng)目標(biāo)出現(xiàn)的起始/結(jié)束幀、每幀中的位置以及運(yùn)動(dòng)軌跡信息。
3.根據(jù)權(quán)利要求I所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，其特征在于視頻輸入模塊輸入原始視頻后，目標(biāo)提取及合成模塊利用改進(jìn)的背景減法對(duì)初始圖像序列幀進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及分析處理，獲取每幀中運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，根據(jù)該視覺(jué)特征信息，在幀間進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤，得到原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息。
4.根據(jù)權(quán)利要求I所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，其特征在于在獲得各個(gè)完整的運(yùn)動(dòng)目標(biāo)對(duì)象后，目標(biāo)重排序模塊對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象進(jìn)行時(shí)間及空間上的重排序，重排序規(guī)則為 時(shí)間上，按照運(yùn)動(dòng)目標(biāo)對(duì)象在原始視頻中出現(xiàn)的前后時(shí)間順序排列，后出現(xiàn)的運(yùn)動(dòng)目標(biāo)對(duì)象重排序后出現(xiàn)于先出現(xiàn)的運(yùn)動(dòng)目標(biāo)對(duì)象之后； 空間上，任意兩個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象在重排序后重疊的幀數(shù)低于閾值T。
5.根據(jù)權(quán)利要求I所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，其特征在于摘要結(jié)果輸出模塊計(jì)算摘要過(guò)程中保存的各個(gè)階段運(yùn)動(dòng)目標(biāo)的索引信息，并最終進(jìn)行相互關(guān)聯(lián)，生成摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的索引文件。
6.根據(jù)權(quán)利要求3所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，其特征在于采取改進(jìn)的背景減法檢測(cè)運(yùn)動(dòng)目標(biāo)的方法如下 圖像中每個(gè)點(diǎn)的背景模型M(X)由N個(gè)背景點(diǎn)v(i)表示 M(X) = Iv1, V2, V3, , VnI 判斷圖像是否為前景的公式為
7.根據(jù)權(quán)利要求3所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，其特征在于在獲得每幀運(yùn)動(dòng)目標(biāo)的初始位置后，隨著目標(biāo)位置的變化，通過(guò)計(jì)算下一幀運(yùn)動(dòng)目標(biāo)的輪廓內(nèi)重疊面積，得到與前一幀輪廓重疊面積最大的運(yùn)動(dòng)目標(biāo)，將其視為同一運(yùn)動(dòng)目標(biāo)。
8.一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要系統(tǒng)，包括 視頻輸入模塊，獲取待處理的視頻片段或?qū)崟r(shí)視頻流； 目標(biāo)提取及合成模塊，從原始視頻中獲取初始圖像序列，利用改進(jìn)的背景減法對(duì)圖像序列進(jìn)行分析處理，獲取各幀中的運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，在幀間進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤，得到各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象的索引信息； 目標(biāo)重排序模塊，根據(jù)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象的索引信息對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象在時(shí)間和空間上重新排序； 索引構(gòu)建模塊，存儲(chǔ)不同階段運(yùn)動(dòng)目標(biāo)的索引信息，并且將不同階段的目標(biāo)對(duì)象及其位置相互關(guān)聯(lián)； 摘要結(jié)果輸出模塊，將重新排序后的目標(biāo)對(duì)象圖像序列與背景圖像進(jìn)行融合、合成，并進(jìn)行視頻編碼生成摘要視頻，并根據(jù)索引構(gòu)建模塊保存的索引信息，將摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)進(jìn)行目標(biāo)關(guān)聯(lián)，生成目標(biāo)索引文件； 摘要播放模塊，播放摘要視頻，在用戶(hù)點(diǎn)擊摘要視頻某幀中的運(yùn)動(dòng)目標(biāo)時(shí)，查詢(xún)索引文件,調(diào)出該運(yùn)動(dòng)目標(biāo)對(duì)象出現(xiàn)的原始視頻地址及在原始視頻中的起始位置,并播放運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻段。
9.根據(jù)權(quán)利要求8所述的基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要系統(tǒng)，其特征在于所述的視頻輸入模塊的輸出端與目標(biāo)提取及合成模塊的輸入端相連，目標(biāo)提取及合成模塊的輸出端與目標(biāo)重排序模塊的輸入端相連，視頻輸入模塊、目標(biāo)提取及合成模塊、目標(biāo)重排序模塊均與索引構(gòu)建模塊相連，索引構(gòu)建模塊、目標(biāo)重排序模塊的輸出端與摘要結(jié)果輸出模塊的輸入端相連，摘要結(jié)果輸出模塊的輸出端與摘要播放模塊的輸入端相連。
全文摘要
本發(fā)明涉及一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要方法，包括對(duì)初始圖像序列幀進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及分析處理，得到原始視頻每幀運(yùn)動(dòng)目標(biāo)的視覺(jué)特征信息，在幀間進(jìn)行目標(biāo)跟蹤合并處理，提取出原始視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息；對(duì)各個(gè)運(yùn)動(dòng)目標(biāo)對(duì)象進(jìn)行時(shí)間及空間上的重排序，并融合背景圖像生成摘要視頻，并記錄摘要視頻各個(gè)運(yùn)動(dòng)目標(biāo)的索引信息；建立摘要視頻每幀運(yùn)動(dòng)目標(biāo)與原始視頻運(yùn)動(dòng)目標(biāo)的索引關(guān)聯(lián)。本發(fā)明還公開(kāi)了一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的視頻摘要系統(tǒng)。本發(fā)明的目標(biāo)跟蹤合成方法簡(jiǎn)單有效，實(shí)現(xiàn)了監(jiān)控視頻的快速、準(zhǔn)確的摘要濃縮，索引的使用使得播放時(shí)能夠隨時(shí)方便的瀏覽運(yùn)動(dòng)目標(biāo)出現(xiàn)的原始視頻片段。本發(fā)明生成摘要速度快、準(zhǔn)確性和易用性強(qiáng)。
文檔編號(hào)G06F17/30GK102930061SQ20121049237
公開(kāi)日2013年2月13日 申請(qǐng)日期2012年11月28日 優(yōu)先權(quán)日2012年11月28日
發(fā)明者曾杰, 張崴, 周維 申請(qǐng)人:安徽水天信息科技有限公司