本發(fā)明涉及智能交通大數(shù)據(jù)技術(shù)領(lǐng)域，更具體的說，是涉及一種視頻摘要生成的方法及系統(tǒng)。

背景技術(shù)：

隨著多媒體技術(shù)、視頻采集技術(shù)和智能交通的發(fā)展，視頻監(jiān)控、圖像壓縮編碼與流媒體技術(shù)逐步演變，視頻監(jiān)控技術(shù)在日常生活中的應(yīng)用越來越廣泛，使得視頻監(jiān)控已不僅僅局限于安全防范，而是成為一種對各行各業(yè)都行之有效的監(jiān)督手段，其應(yīng)用領(lǐng)域的靈活性也已經(jīng)遠遠超出了傳統(tǒng)的安防監(jiān)控所定義的范疇。然而視頻監(jiān)控的錄像存在存儲數(shù)據(jù)量大，存儲時間長等特點，因此，在視頻監(jiān)控系統(tǒng)中，對原始視頻進行濃縮，可以快速瀏覽，鎖定檢索對象，能夠滿足監(jiān)控機關(guān)的各種需求及應(yīng)用，視頻摘要在視頻分析和基于內(nèi)容的視頻檢索則扮演著重要角色，生成的簡短的視頻，其包含原始視頻中所有重要信息。

目前傳統(tǒng)的視頻摘要生成方法對目標從時間和空間上都進行視頻濃縮，使摘要視頻的濃縮程度達到最大，由于這種方法在空間上對目標也進行了重新分布，會導致視頻中的運動對象位置與原始視頻發(fā)生不一致性，破壞目標之間的相互作用，無法保證事件發(fā)生的先后順序，從而無法為監(jiān)控機關(guān)進行準確的真實情況的反應(yīng)。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提供了一種視頻摘要生成的方法及系統(tǒng)，。

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種視頻摘要生成的方法，包括：

讀取原始視頻信息的視頻文件，提取所述原始視頻信息的背景圖像并獲取所述原始視頻信息的圖像序列；

對所述圖像序列進行運動目標檢測，提取所述原始視頻信息中的運動目標；

采用改進的均值漂移算法對所述運動目標進行目標跟蹤，獲取所述運動目標的運動軌跡；

將所述運動目標在所述運動目標的運動軌跡上進行時間軸上的平移和組合優(yōu)化，得到優(yōu)化后的視頻圖像序列；

將所述優(yōu)化后的視頻圖像序列與所述背景圖像進行合成，生成運動目標的視頻摘要。

其中，所述對所述圖像序列進行運動目標檢測，提取所述原始視頻信息中的運動目標包括：

采用混合高斯模型將所述圖像序列進行運動目標檢測；

根據(jù)五幀差分法提取所述原始視頻信息中的運動目標。

其中，所述采用改進的均值漂移算法對所述運動目標進行目標跟蹤，獲取所述運動目標的運動軌跡包括：

預設(shè)目標區(qū)域中心坐標為(x₀，y₀)，有n個像素用{z_i}_i＝1...n表示其位置，對目標區(qū)域的灰度顏色空間均勻劃分，得到由m個相等的區(qū)間構(gòu)成的灰度直方圖即有m個特征值；

在第t幀時，根據(jù)第t-1幀的目標中心位置f₀，以f₀為搜索窗口的中心，得到候選目標的中心位置坐標f計算當前幀的候選目標區(qū)域直方圖；

定義相似性函數(shù)，判斷目標候選模型和目標模型之間相似度，確定下一幀跟蹤目標位置；

所述相似函數(shù)值越大，則兩個模型越相似，將前一幀中目標的中心位置f₀作為搜索窗口的中心，尋找使得相似函數(shù)最大的候選區(qū)域，即是本幀中目標的位置。

其中，所述對所述運動目標及所述運動目標的運動軌跡進行時間軸上的平移和組合優(yōu)化，得到優(yōu)化后的視頻圖像序列包括：

將原始視頻中的運動物體軌跡t_b＝[tb^s,tb^e]通過一個映射函數(shù)M進行時間軸上的平移，成為摘要視頻中的一段運動物體軌跡t_b＝[tb^s,tb^e]；

按照定義能量函數(shù)實現(xiàn)運動軌跡的組合和優(yōu)化；

通過將所述定義能量函數(shù)最小化以達到目標軌跡之間最優(yōu)化組合。

其中，所述將所述優(yōu)化后的視頻圖像序列與所述背景圖像進行合成，生成運動目標的視頻摘要包括：

在所述背景圖像中選出隨時間變化的背景視頻選擇背景幀；

采用泊松編輯的圖像拼接技術(shù)將所述優(yōu)化后的視頻圖像序列與所述背景視頻選擇背景幀進行視頻拼接，生成運動目標的視頻摘要。

一種視頻摘要生成的系統(tǒng)，包括：

提取單元，用于讀取原始視頻信息的視頻文件，提取所述原始視頻信息的背景圖像并獲取所述原始視頻信息的圖像序列；

檢測單元，用于對所述圖像序列進行運動目標檢測，提取所述原始視頻信息中的運動目標；

跟蹤單元，用于采用改進的均值漂移算法對所述運動目標進行目標跟蹤，獲取所述運動目標的運動軌跡；

平移優(yōu)化單元，用于將所述運動目標在所述運動目標的運動軌跡上進行時間軸上的平移和組合優(yōu)化，得到優(yōu)化后的視頻圖像序列；

生成單元，用于將所述優(yōu)化后的視頻圖像序列與所述背景圖像進行合成，生成運動目標的視頻摘要。

其中，所述檢測單元包括：

檢測子單元，用于采用混合高斯模型將所述圖像序列進行運動目標檢測；

提取單元，用于根據(jù)五幀差分法提取所述原始視頻信息中的運動目標。

其中，所述跟蹤單元包括：

預設(shè)單元，用于預設(shè)目標區(qū)域中心坐標為(x₀，y₀)，有n個像素用{z_i}_i＝1...n表示其位置，對目標區(qū)域的灰度顏色空間均勻劃分，得到由m個相等的區(qū)間構(gòu)成的灰度直方圖即有m個特征值；

候選單元，用于在第t幀時，根據(jù)第t-1幀的目標中心位置f₀，以f₀為搜索窗口的中心，得到候選目標的中心位置坐標f計算當前幀的候選目標區(qū)域直方圖；

定義函數(shù)單元，用于定義相似性函數(shù)，判斷目標候選模型和目標模型之間相似度，確定下一幀跟蹤目標位置；

確定單元，用于所述相似函數(shù)值越大，則兩個模型越相似，將前一幀中目標的中心位置f₀作為搜索窗口的中心，尋找使得相似函數(shù)最大的候選區(qū)域，即是本幀中目標的位置。

其中，所述平移優(yōu)化單元包括：

平移單元，用于將原始視頻中的運動物體軌跡t_b＝[tb^s,tb^e]通過一個映射函數(shù)M進行時間軸上的平移，成為摘要視頻中的一段運動物體軌跡t_b＝[tb^s,tb^e]；

組合優(yōu)化單元，用于按照定義能量函數(shù)實現(xiàn)運動軌跡的組合和優(yōu)化；

優(yōu)化單元，用于通過將所述定義能量函數(shù)最小化以達到目標軌跡之間最優(yōu)化組合。

其中，所述生成單元包括：

選擇單元，用于在所述背景圖像中選出隨時間變化的背景視頻選擇背景幀；

拼接單元，用于采用泊松編輯的圖像拼接技術(shù)將所述優(yōu)化后的視頻圖像序列與所述背景視頻選擇背景幀進行視頻拼接，生成運動目標的視頻摘要。

經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開了一種視頻摘要生成的方法及系統(tǒng)，將目標只是在時間軸上轉(zhuǎn)移，通過以空間換時間的思路，對原始視頻中的目標進行切割提取，重新平移組合，形成視頻摘要，通過充分利用空間的信息，保證不丟失目標信息的的前提下，保證事件發(fā)生的先后順序，減少了摘要視頻中的空間冗余。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種視頻摘要生成的方法流程的示意圖；

圖2為本發(fā)明實施例提供的一種視頻摘要生成的系統(tǒng)結(jié)構(gòu)的示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明公開了一種包含交通運動目標的視頻摘要生成方法。包括：對初始圖像序列進行目標檢測、目標跟蹤提取原始視頻各個目標的運動軌跡；對各個目標軌跡進行時間軸上的平移和組合優(yōu)化，最后將優(yōu)化后的運動物體軌跡與背景圖像合成，生成摘要視頻。本發(fā)明提供了一種有效的包含交通運動目標的視頻摘要生成方法。

請參閱附圖1，圖1為本發(fā)明實施例提供的一種視頻摘要生成的方法流程的示意圖。如圖1所示，本發(fā)明實施例公開了一種視頻摘要生成的方法，該方法的具體包括如下步驟：

S101、讀取原始視頻信息的視頻文件，提取原始視頻信息的背景圖像并獲取原始視頻信息的圖像序列。

S102、對圖像序列進行運動目標檢測，提取原始視頻信息中的運動目標。

具體的，對于運動目標的檢測采用混合高斯模型將所述圖像序列進行運動目標檢測，并根據(jù)五幀差分法提取所述原始視頻信息中的運動目標，得到運動前景區(qū)域：

D_t(x,y)＝|I_t(x,y)-B_t(x,y)|

其中，I_t(x,y)是當前幀的像素值；B_t(x,y)為通過混合高斯建模方法獲得目標背景。

需要說明的是，本發(fā)明中的交通運動目標(簡稱目標)是指機動車、非機動車和行人。

S103、采用改進的均值漂移算法對運動目標進行目標跟蹤，獲取運動目標的運動軌跡。

假設(shè)目標區(qū)域中心為(x₀，y₀)，有n個像素用{z_i}_i＝1...n表示其位置，對目標區(qū)域的灰度顏色空間均勻劃分，得到由m個相等的區(qū)間構(gòu)成的灰度直方圖即有m個特征值。目標模型的概率密度如公式可表示為：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|z_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(z_i\right)-u\]$

其中，k(x)為核函數(shù)的輪廓函數(shù)，因為背景或者有遮擋物的影響，目標中心的像素點準確性相比對遠離中心的像素點準確性高，所以k(x)給一個很大的權(quán)值對于中心的像素，給一個很小的權(quán)值對于遠離中心的像素。C為的標準化常系數(shù)；n為直方圖中的像素數(shù)量；b(z_i)為目標模型中像素x_i顏色；δ[b(z_i)-u]為判斷目標模型中像素x_i顏色值是否屬于第u個區(qū)間。

在第t幀時，根據(jù)第t-1幀的目標中心位置f₀，以f₀為搜索窗口的中心，得到候選目標的中心位置坐標f計算當前幀的候選目標區(qū)域直方圖，候選模型的概率密度如公式為：

$p_u\left(f\right)=C\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|\frac{f-z_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(z_i\right)-u\]$

定義相似性函數(shù)，判斷目標候選模型和目標模型之間相似度，確定下一幀跟蹤目標位置。

定義相似性函數(shù)ρ(p,q)用于描述目標模型和候選模型之間的相似性，如下公式所示：

$\mathrm{\ρ}(p,q)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(f\right){\hat{q}}_u}$

其中，p_u為目標候選模型，為目標模型函數(shù)。

相似函數(shù)值越大，則兩個模型越相似。將前一幀中目標的中心位置f₀作為搜索窗口的中心，尋找使得相似函數(shù)最大的候選區(qū)域，即是本幀中目標的位置。迭代方程完成如公式：

$f_{k+1}=f_k+\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i(f_k-z_i)g\left(\right|\left|\frac{f_k-z_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{f_k-z_i}{h}\right|{|}^2)}$

其中，g(x)＝-K(x)，從f_k起向兩個模型相比顏色變化最大的方向不斷移動，直到最后兩次移動距離小于閾值，即找到了當前幀的目標位置，并以此作為下一幀的起始搜索窗口中心，如此重復直到結(jié)束。

S104、將運動目標在運動目標的運動軌跡上進行時間軸上的平移和組合優(yōu)化，得到優(yōu)化后的視頻圖像序列。

具體的，該步驟可以包括如下：

將原始視頻中的運動物體軌跡t_b＝[tb^s,tb^e]通過一個映射函數(shù)M進行時間軸上的平移，成為摘要視頻中的一段運動物體軌跡t_b＝[tb^s,tb^e]。如果M(b)＝Φ表示軌跡b映射摘要視頻失敗，如果M(b)＝b′表示原始視頻中的軌跡b成功映射到了摘要視頻中。定義能量函數(shù)如公式實現(xiàn)運動軌跡的組合和優(yōu)化。

其中，E_t為活動事件時序一致性懲罰函數(shù)，E_a為活動能量損失函數(shù)，E_c為摘要視頻軌跡之間的活動沖突能量代價函數(shù)。α,β為用戶自定義系數(shù)。

通過將定義的能量函數(shù)最小化以達到目標軌跡之間最優(yōu)化組合。

目標運動軌跡對應(yīng)的視頻圖像序列與背景圖像進行合成。

S105、將優(yōu)化后的視頻圖像序列與背景圖像進行合成，生成運動目標的視頻摘要。

需要說明的是，在背景圖像中選出隨時間變化的背景視頻選擇背景幀；采用泊松編輯的圖像拼接技術(shù)將優(yōu)化后的視頻圖像序列與背景視頻選擇背景幀進行視頻拼接，生成運動目標的視頻摘要。

具體的，選出隨時間變化的背景視頻選擇背景幀。首先將視頻流中目標出現(xiàn)的時間分布統(tǒng)計直方圖H_a。和反應(yīng)時間自然變遷的均勻分布直方圖H_t。通過如下公式折中這兩個直方圖，最后形成混合的直方圖為H。

H＝λH_a+(1-λ)H_t

采用泊松編輯的圖像拼接技術(shù)實現(xiàn)摘要視頻的拼接，設(shè)定目標在拼接后的圖像中的區(qū)域為Ω，其邊界為拼接前，目標和背景圖像的像素顏色值分別為f和b，拼接后，目標區(qū)域的像素顏色值待求，設(shè)定其為s。泊松拼接的目標函數(shù)可以用如下公式表示：

${\min }_s\underset{\mathrm{\Ω}}{\Σ}\[{(\▿s-\▿f)}^2+\mathrm{\λ}{(s-f)}^2\]$

$S\∂\mathrm{\Ω}=b\∂\mathrm{\Ω}$

其中，λ是正則項的權(quán)重，▽為梯度算子。準則函數(shù)的前后兩項分別說明拼接后的目標同原始目標的梯度要相似同時兩者間的像素顏色值也要相似；約束條件保證了目標邊界與背景的無縫縫合。

本實施例公開了一種視頻摘要生成的方法，將目標只是在時間軸上轉(zhuǎn)移，通過以空間換時間的思路，對原始視頻中的目標進行切割提取，重新平移組合，形成視頻摘要，通過充分利用空間的信息，保證不丟失目標信息的的前提下，保證事件發(fā)生的先后順序，減少了摘要視頻中的空間冗余。

在上述公開的方法的基礎(chǔ)上，本發(fā)明還公開了一種對應(yīng)的虛擬系統(tǒng)。

請參閱附圖2，圖2為本發(fā)明實施例提供的一種視頻摘要生成的系統(tǒng)結(jié)構(gòu)的示意圖。如圖2所示，本發(fā)明實施例公開了一種視頻摘要生成的系統(tǒng)，該系統(tǒng)具體結(jié)構(gòu)包括：提取單元201，用于讀取原始視頻信息的視頻文件，提取原始視頻信息的背景圖像并獲取原始視頻信息的圖像序列；檢測單元202，用于對圖像序列進行運動目標檢測，提取原始視頻信息中的運動目標；跟蹤單元203，用于采用改進的均值漂移算法對運動目標進行目標跟蹤，獲取運動目標的運動軌跡；平移優(yōu)化單元204，用于將運動目標在運動目標的運動軌跡上進行時間軸上的平移和組合優(yōu)化，得到優(yōu)化后的視頻圖像序列；生成單元205，用于將優(yōu)化后的視頻圖像序列與背景圖像進行合成，生成運動目標的視頻摘要。

優(yōu)選的，所述檢測單元202包括：

檢測子單元，用于采用混合高斯模型將圖像序列進行運動目標檢測；提取單元，用于根據(jù)五幀差分法提取原始視頻信息中的運動目標。

優(yōu)選的，所述跟蹤單元203包括：

預設(shè)單元，用于預設(shè)目標區(qū)域中心坐標為(x₀，y₀)，有n個像素用{z_i}_i＝1...n表示其位置，對目標區(qū)域的灰度顏色空間均勻劃分，得到由m個相等的區(qū)間構(gòu)成的灰度直方圖即有m個特征值；候選單元，用于在第t幀時，根據(jù)第t-1幀的目標中心位置f₀，以f₀為搜索窗口的中心，得到候選目標的中心位置坐標f計算當前幀的候選目標區(qū)域直方圖；定義函數(shù)單元，用于定義相似性函數(shù)，判斷目標候選模型和目標模型之間相似度，確定下一幀跟蹤目標位置；確定單元，用于所述相似函數(shù)值越大，則兩個模型越相似，將前一幀中目標的中心位置f₀作為搜索窗口的中心，尋找使得相似函數(shù)最大的候選區(qū)域，即是本幀中目標的位置。

優(yōu)選的，所述平移優(yōu)化單元包括：

平移單元，用于將原始視頻中的運動物體軌跡t_b＝[tb^s,tb^e]通過一個映射函數(shù)M進行時間軸上的平移，成為摘要視頻中的一段運動物體軌跡t_b＝[tb^s,tb^e]；組合優(yōu)化單元，用于按照定義能量函數(shù)實現(xiàn)運動軌跡的組合和優(yōu)化；優(yōu)化單元，用于通過將所述定義能量函數(shù)最小化以達到目標軌跡之間最優(yōu)化組合。

優(yōu)選的，所述生成單元包括：

選擇單元，用于在所述背景圖像中選出隨時間變化的背景視頻選擇背景幀；拼接單元，用于采用泊松編輯的圖像拼接技術(shù)將所述優(yōu)化后的視頻圖像序列與所述背景視頻選擇背景幀進行視頻拼接，生成運動目標的視頻摘要。

由于本實施例中的各模塊能夠執(zhí)行圖1所示的方法，本實施例未詳細描述的部分，可參考對圖1的相關(guān)說明。

本實施例公開了一種視頻摘要生成的系統(tǒng)，將目標只是在時間軸上轉(zhuǎn)移，通過以空間換時間的思路，對原始視頻中的目標進行切割提取，重新平移組合，形成視頻摘要，通過充分利用空間的信息，保證不丟失目標信息的的前提下，保證事件發(fā)生的先后順序，減少了摘要視頻中的空間冗余。

綜上所述，本發(fā)明公開了一種視頻摘要生成的方法及系統(tǒng)，將目標只是在時間軸上轉(zhuǎn)移，通過以空間換時間的思路，對原始視頻中的目標進行切割提取，重新平移組合，形成視頻摘要，通過充分利用空間的信息，保證不丟失目標信息的的前提下，保證事件發(fā)生的先后順序，減少了摘要視頻中的空間冗余。

需要說明的是，本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。

以上結(jié)合附圖對本發(fā)明所提出的示例性描述，以上實施例的說明只是用于幫助理解本發(fā)明的核心思想。對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，如前后橋都有電機參與驅(qū)動的混合動力系統(tǒng)等。綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。

對所公開的實施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現(xiàn)。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。