專利名稱：視頻摘要生成方法和視頻摘要生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像識別領(lǐng)域，具體而言，涉及一種視頻摘要生成方法和視頻摘要生成裝置
背景技術(shù)：
視頻摘要又稱為視頻濃縮，是對視頻內(nèi)容的概括，以自動或半自動方式，通過運動目標(biāo)分析，提取運動目標(biāo)，然后對各個目標(biāo)的運動軌跡進行分析，將不同的目標(biāo)拼接到一個共同的背景場景中，并將它們以某種方式進行組合。隨著視頻技術(shù)的發(fā)展，視頻摘要在視頻分析和基于內(nèi)容的視頻檢索中的作用愈加重要。在社會公共安全領(lǐng)域，視頻監(jiān)控系統(tǒng)成為維護社會治安，加強社會管理的一個重要組成部分。然而視頻錄像存在存儲數(shù)據(jù)量大，存儲時間長等特點，通過錄像尋找線索，獲取證據(jù)傳統(tǒng)的做法是要耗費大量人力、物力以及時間，效率極其低下，以至于錯過最佳破案時機。但是在現(xiàn)有技術(shù)中包含人臉的移動目標(biāo)的視頻摘要生成方法，使視頻摘要在視頻監(jiān)控領(lǐng)領(lǐng)域的應(yīng)用受到限制，用戶很難在海量的視頻監(jiān)控錄像中快速準(zhǔn)確地找到包含有人臉線索的圖像。針對現(xiàn)有技術(shù)中無法針對包含人臉圖像的移動目標(biāo)進行視頻摘要生成以滿足視頻監(jiān)控需要的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容
本發(fā)明提出一種視頻摘要生成方法和視頻摘要生成裝置，以解決現(xiàn)有技術(shù)中，先對要處理的視頻進行高斯背景建模，提取出運動的目標(biāo)軌跡，對檢測到的物體進行人臉檢測，對檢測到有人臉出現(xiàn)的軌跡生成視頻摘要，以解決現(xiàn)有技術(shù)中無法針對包含人臉圖像的移動目標(biāo)進行視頻摘要生成以滿足視頻監(jiān)控需要的問題。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:根據(jù)本發(fā)明的一個方面，提供了一種視頻摘要生成方法。該視頻摘要生成方法包括:對原始視頻中的目標(biāo)幀圖像進行背景建模，得到背景模型；利用背景模型提取出目標(biāo)幀圖像中的運動目標(biāo)；使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像；將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。進一步地，對原始視頻中的目標(biāo)幀的圖像進行背景建模包括:使用混合高斯背景算法對目標(biāo)幀的圖像進行計算，得到目標(biāo)幀圖像的混合高斯模型。進一步地，使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像包括:使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，并根據(jù)檢測結(jié)果判斷提取到的運動目標(biāo)中是否包括人臉圖像。進一步地，在使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像之后還包括:將目標(biāo)巾貞圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)巾貞之前一巾貞圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤，得到包含人臉圖像的運動目標(biāo)的運動軌跡。進一步地，將目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤包括:計算目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)的交叉面積；判斷交叉面積是否大于預(yù)設(shè)面積值；當(dāng)交叉面積大于預(yù)設(shè)面積值時，根據(jù)目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置更新運動軌跡；當(dāng)交叉面積小于或等于預(yù)設(shè)面積時，按照目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置生成新的運動軌跡。進一步地，將包括人臉圖像的運動目標(biāo)進行軌跡排列包括:按照包含人臉圖像的運動目標(biāo)的運動軌跡出現(xiàn)的時間關(guān)系和空間位置對該運動軌跡進行排列；將排列后的運動軌跡疊加到背景圖像上。根據(jù)本發(fā)明的另一個方面提供了 一種視頻摘要生成裝置。該視頻摘要生成裝置包括:背景建模模塊，用于對原始視頻中的目標(biāo)幀圖像進行背景建模，得到背景模型；運動目標(biāo)提取模塊，用于利用背景模型提取出目標(biāo)幀圖像中的運動目標(biāo)；人臉辨別模塊，用于使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像；摘要生成模塊，用于將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。進一步地，背景建模模塊還用于:使用混合高斯背景算法對目標(biāo)幀的圖像進行計算，得到目標(biāo)幀圖像的混合高斯模型。進一步地，人臉辨別模塊還用于:使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，并根據(jù)檢測結(jié)果判斷提取到的運動目標(biāo)中是否包括人臉圖像。進一步地，該視頻摘要生成裝置還包括:軌跡跟蹤模塊，用于將目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤，得到包含人臉圖像的運動目標(biāo)的運動軌跡。應(yīng)用本發(fā)明的技術(shù)方案，本發(fā)明的技術(shù)方案在圖像中提取出移動目標(biāo)之后，利用預(yù)設(shè)的分類器判斷提取得到的前景即移動目標(biāo)是否包含人臉圖像，對包含人臉的移動目標(biāo)生成視頻摘要，并去除檢測不到人臉的軌跡。從而完整準(zhǔn)確地生成符合用戶需求的視頻摘要，通過人臉檢測和視頻摘要相結(jié)合，生成包含人臉圖像的移動目標(biāo)的視頻摘要。使用戶可以從視頻摘要中迅速地得到包含人臉的視頻信息，提高了視頻的使用效率。


圖1是根據(jù)本發(fā)明實施例的視頻摘要生成裝置的示意圖；圖2是根據(jù)本發(fā)明實施例的視頻摘要生成方法的示意圖；圖3是根據(jù)本發(fā)明實施例的視頻摘要生成方法的流程圖。
具體實施例方式需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。本發(fā)明實施例提供了一種視頻摘要生成裝置，圖1是根據(jù)本發(fā)明實施例的視頻摘要生成裝置的示意圖，如圖1所示，該生成裝置包括:背景建模模塊11，用于對原始視頻中的目標(biāo)幀圖像進行背景建模以得到背景模型；運動目標(biāo)提取模塊13，用于利用背景模型提取出目標(biāo)幀圖像中的運動目標(biāo)；人臉辨別模塊15，用于使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像；摘要生成模塊17，用于將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。利用本實施例的視頻摘要生成裝置，在建立背景模型后，利用預(yù)設(shè)的分類器判斷提取得到的前景即移動目標(biāo)是否包含人臉圖像，對包含人臉的移動目標(biāo)生成視頻摘要，并去除檢測不到人臉的軌跡。從而完整準(zhǔn)確地生成符合用戶需求的視頻摘要，通過人臉檢測和視頻摘要相結(jié)合，生成包含人臉圖像的移動目標(biāo)的視頻摘要。使用戶可以從視頻摘要中迅速地得到包含人臉的視頻信息，提高了視頻的使用效率。以上背景建模模塊11可以使用各種圖像背景建模算法，在建立背景模型后，將當(dāng)前的圖像與背景模型進行比較，根據(jù)比較結(jié)果確定前景目標(biāo)(即需要提取的運動目標(biāo))。具體地圖像背景建模算法可以選擇采用顏色背景模型或者紋理背景模型，其中，顏色背景模型是對圖像中每個像素的顏色值(包括灰度或彩色)進行建模。如果當(dāng)前圖像坐標(biāo)U，y)上的像素顏色值與背景模型中U，y)上的像素顏色值有較大差異時，當(dāng)前像素被認(rèn)為是前景，否則為背景。本實例的視頻摘要生成裝置的背景建模模塊11可以優(yōu)選使用顏色背景模型中的混合高斯背景算法，混合高斯背景模型(Gaussian Mixture Model)在單高斯背景模型的基礎(chǔ)上進行了改進中，通過多個高斯概率密度函數(shù)的加權(quán)平均來平滑地近似任意形狀的密度分布函數(shù)，尤其適用于對于室外環(huán)境的圖像進行處理，背景建模模塊11利用混合高斯背景算法的特點，可以將室外環(huán)境下視頻中的運動目標(biāo)快速準(zhǔn)確地進行識別。背景建模模塊11進行背景建模時，可以對目標(biāo)幀圖像中的光照和陰影進行相應(yīng)的濾波處理，以避免光照和陰影被誤認(rèn)為運動目標(biāo)，影響視頻摘要的生成。在使用混合高斯背景算法的情況下，背景建模模塊11還可以用于:使用混合高斯背景算法對目標(biāo)幀的圖像進行計算，得到目標(biāo)幀圖像的混合高斯模型。人臉辨別模塊15可以使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，Adaboost算法是具有自適應(yīng)的boosting算法，是boosting的有力改進。該算法將大量的分類能力一般的弱分類器通過一定方法疊加起來，構(gòu)成一個具有很強分類能力的強分類器。理論證明，只要每個弱分類器分類能力比隨機猜測要好，當(dāng)弱分類器的個數(shù)趨向于無窮時，強分類器的錯誤率將趨于零。由于候選區(qū)域中人臉的方向大致是正向的，同時，為了保證人臉檢測器的速度，選取的特征優(yōu)選為Haar特征。Haar特征分為三類:邊緣特征、線性特征、中心特征和對角線特征，組合成特征模板。特征模板內(nèi)有白色和黑色兩種矩形，并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和。在確定了特征形式后Harr特征的數(shù)量就取決于訓(xùn)練樣本圖像矩陣的大小，特征模板在子窗口內(nèi)任意放置，一種形態(tài)稱為一種特征，找出所有子窗口的特征是進行Adaboost弱分類訓(xùn)練的基礎(chǔ)。利用Adaboost算法和harr特征結(jié)合的人臉檢測技術(shù),檢測準(zhǔn)確可靠。在本實施例中，人臉辨別模塊15使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，并根據(jù)檢測結(jié)果判斷提取到的運動目標(biāo)中是否包括人臉圖像。
本實施例的視頻摘要生成裝置還可以包括軌跡跟蹤模塊，對每幀檢測到的移動目標(biāo)進行跟蹤，跟蹤方法可以采用最鄰近方法，具體步驟可以是:將目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤，得到包含人臉圖像的運動目標(biāo)的運動軌跡。其中，軌跡跟蹤可以包括軌跡關(guān)聯(lián)、軌跡生成、和軌跡消失等幾個步驟的判斷。具體的判別方法為:計算目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)的交叉面積；判斷交叉面積是否大于預(yù)設(shè)面積值；當(dāng)交叉面積大于預(yù)設(shè)面積值時，根據(jù)目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置更新運動軌跡；當(dāng)交叉面積小于或等于預(yù)設(shè)面積時，按照目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置生成新的運動軌跡。。重復(fù)以上步驟，直至遍歷當(dāng)前幀中所有的包含人臉的運動目標(biāo)。假設(shè)目標(biāo)幀之前一幀的運動目標(biāo)的面積為SpM，目標(biāo)幀圖像的運動目標(biāo)的面積為Stemp,上述預(yù)設(shè)面積值可以設(shè)置為min(SpM，Stemp) XR，那么當(dāng)上述的交叉面積Scmss滿足:Scross>min(Spre, Stemp) XR的條件時，可以判定目標(biāo)幀圖像的運動目標(biāo)與目標(biāo)幀之前一幀的運動目標(biāo)的軌跡相關(guān)聯(lián)，根據(jù)目標(biāo)幀圖像的運動目標(biāo)在圖像上的位置更新此運動軌跡。在上式中R為交叉比例，可以按照經(jīng)驗值進行取值，一般取值為0.4。上述的交叉面積Sertjss的計算方法為Sera3s=WidtherossXHeighteMSS,其中，ffidthcross=min Crightpre, righttemp) -max (Ieftpre, Iefttemp), rightpre 是之前一巾貞運動目標(biāo)在圖像坐標(biāo)中橫坐標(biāo)的最大值，代表了運動目標(biāo)在之如一巾貞圖像中的最右的位置；Ieftpre是之前一幀運動目標(biāo)在圖像坐標(biāo)中橫坐標(biāo)的最小值，代表了運動目標(biāo)在之前一幀圖像中的最左的位置；s是目標(biāo)巾貞中運動目標(biāo)在圖像坐標(biāo)中橫坐標(biāo)的最大值，代表了運動目標(biāo)在目標(biāo)巾貞圖像中的最右位置；lefttraip是目標(biāo)巾貞中運動目標(biāo)在圖像坐標(biāo)中橫坐標(biāo)的最小值，代表了運動目標(biāo)在目標(biāo)巾貞圖像中的最左位置。因此min (rightpra, righttemp)是rightpM和 righttemp 中較小的一個值，max (Ie`ftpre, Iefttemp)是 Ieftpre 和 Iefttemp 中較大的一個值。Heightcross=min (Toppre, Toptemp) -max (Bottompre, Bottomtemp), Bottompre 是之前一幀運動目標(biāo)在圖像坐標(biāo)中縱坐標(biāo)的最小值，代表了運動目標(biāo)在前一幀圖像中的底部位置；Toppre是之前一幀運動目標(biāo)在圖像坐標(biāo)中縱坐標(biāo)的最大值，代表了運動目標(biāo)在前一幀圖像中的頂部位置；ToptMP是目標(biāo)幀中運動目標(biāo)在圖像坐標(biāo)中縱坐標(biāo)的最大值，代表了運動目標(biāo)在目標(biāo)幀圖像中的底部位置；ToppM是目標(biāo)幀中運動目標(biāo)在圖像坐標(biāo)中縱坐標(biāo)的最小值，代表了運動目標(biāo)在目標(biāo)幀圖像中的頂部位置。因此min(ToppM，Toptemp)是Top1^和Toptraip中較小的一個值，max (Bottompre, Bottomtemp)是 Bottompre 和 Bottomtemp 中較大的一個值。當(dāng)交叉面積小于或等于預(yù)設(shè)面積時即Serass ( min(Spre, Stemp) XR，按照目標(biāo)幀圖像的運動目標(biāo)在圖像上的位置生成新的運動軌跡，并判斷之前的運動軌跡消失。當(dāng)交叉面積小于或等于預(yù)設(shè)面積時即Serass ( min(Spre, Stemp) XR，按照目標(biāo)幀圖像的運動目標(biāo)在圖像上的位置生成新的運動軌跡，并判斷之前的運動軌跡消失。以上步驟都是針對包含人臉圖像的運動目標(biāo)，對于不包含人臉的運動軌跡可以不予處理，自動去除。摘要生成模塊17的流程具體可以包括:按照包含人臉圖像的運動目標(biāo)的運動軌跡出現(xiàn)的時間關(guān)系和空間位置對該運動軌跡進行排列；將排列后的運動軌跡疊加到背景圖像上，從而生成了包含人臉圖像的視頻摘要。
本發(fā)明實施例還提供了一種視頻摘要生成方法，該視頻摘要生成方法可以通過本發(fā)明上述實施例所提供的任一種視頻摘要生成裝置來執(zhí)行，圖2是根據(jù)本發(fā)明實施例的視頻摘要生成方法的示意圖，該視頻摘要生成方法，包括:步驟S21，對原始視頻中的目標(biāo)幀圖像進行背景建模，得到背景模型；步驟S23，利用背景模型提取出目標(biāo)幀圖像中的運動目標(biāo)；步驟S25，使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像；步驟S27，將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。其中，步驟S21具體可以包括:使用混合高斯背景算法對目標(biāo)幀的圖像進行計算，得到目標(biāo)幀圖像的混合高斯模型。步驟S21利用了混合高斯背景算法的特點，通過多個高斯概率密度函數(shù)的加權(quán)平均來平滑地近似任意形狀的密度分布函數(shù)，適用于對于室外環(huán)境的圖像進行處理，可以將室外環(huán)境下視頻中的運動目標(biāo)快速準(zhǔn)確地進行識別。步驟S25具體可以包括:使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，并根據(jù)檢測結(jié)果判斷提取到的運動目標(biāo)中是否包括人臉圖像。利用Adaboost算法和harr特征結(jié)合的人臉檢測技術(shù)，檢測準(zhǔn)確可靠。本實施例的視頻摘要生成方法，在步驟S23之后還可以包括:將目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤，得到包含人臉圖像的運動目標(biāo)的運動軌跡。具體地流程為:將目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤包括:計算目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)的交叉面積；判斷交叉面積是否大于預(yù)設(shè)面積值；當(dāng)交叉面積大于預(yù)設(shè)面積值時，根據(jù)目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置更新運動軌跡；當(dāng)交叉面積小于或等于預(yù)設(shè)面積時，按照目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置生成新的運動軌跡。具體的計算方法在介紹視頻摘要生成裝置已經(jīng)介紹過，在此不再重復(fù)。步驟S27具體可以包括:按照包含人臉圖像的運動目標(biāo)的運動軌跡出現(xiàn)的時間關(guān)系和空間位置對該運動軌跡進行排列；將排列后的運動軌跡疊加到背景圖像上。本實施例的視頻摘要生成方法，在用戶關(guān)心在視頻中出現(xiàn)的正面的能看清人臉的場合下，可以能夠快速的瀏覽視頻中出現(xiàn)的人物移動目標(biāo)。首先進行背景建模，檢測運動的前景，對物體進行跟蹤，獲得物體的軌跡，然后對運動的軌跡進行人臉檢測，剔除沒有檢測到人臉的軌跡，保存檢測到人臉的軌跡，然后分別對保存下來的有人臉的軌跡進行排列，生成摘要。也就是主要分為:前景檢測、目標(biāo)跟蹤、人臉檢測、摘要生成幾個步驟。圖3是根據(jù)本發(fā)明實施例的視頻摘要生成方法的流程圖，如圖所示:前景檢測的步驟主要包括:利用混合高斯對圖像進行背景建模，提取運動的前景，計算過程要對光照和陰影進行相應(yīng)的處理。利用混合高斯對圖像進行背景建模，提取運動的前景，其中可以根據(jù)視頻場景選擇混合高斯函數(shù)所采用的數(shù)目，對于陰影或光照可以單獨訓(xùn)練一個高斯模型。目標(biāo)跟蹤的步驟主要包括:對每幀檢測到的目標(biāo)進行跟蹤，跟蹤方法可以采用簡單的最鄰近方法，并且存儲軌跡和背景圖。若當(dāng)前幀的某個前景與上一幀存儲的軌跡關(guān)聯(lián)上，則更新軌跡，若軌跡沒有關(guān)聯(lián)上，則產(chǎn)生新的軌跡，若有沒有和當(dāng)前幀檢測的前景關(guān)聯(lián)上的軌跡，則終止該軌跡進行下次操作，將軌跡存儲下來，用于后續(xù)生成視頻摘要。
人臉檢測的步驟主要包括:利用級聯(lián)adaboost學(xué)習(xí)算法與haar特征相結(jié)合，訓(xùn)練出人臉檢測器，對運動的軌跡進行人臉檢測，保存檢測到人臉的移動軌跡，去除檢測不到人臉的軌跡。摘要生成的步驟主要包括:根據(jù)提取出的存儲的背景圖以及包含人臉圖像的運動目標(biāo)的軌跡，按照軌跡出現(xiàn)的時間關(guān)系和空間關(guān)系對軌跡進行排列，然后將運動的目標(biāo)軌跡疊加到存儲的背景圖上，生成摘要。從而利用提取出的所有運動目標(biāo)的軌跡信息和存儲的背景，按一定規(guī)則排序，然后將人臉移動目標(biāo)的軌跡疊加到背景上，生成視頻摘要。應(yīng)用本發(fā)明的技術(shù)方案，本發(fā)明的技術(shù)方案在圖像中提取出移動目標(biāo)之后，利用預(yù)設(shè)的分類器判斷提取得到的前景即移動目標(biāo)是否包含人臉圖像，對包含人臉的移動目標(biāo)生成視頻摘要，并去除檢測不到人臉的軌跡。從而完整準(zhǔn)確地生成符合用戶需求的視頻摘要，通過人臉檢測和視頻摘要相結(jié)合，生成包含人臉圖像的移動目標(biāo)的視頻摘要。使用戶可以從視頻摘要中迅速地得到包含人臉的視頻信息，提高了視頻的使用效率。本發(fā)明不受光照變化和攝像頭角度、距離的影響，能夠較準(zhǔn)確的再識別出視頻中人體信息。通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實施方式。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些部分所述的方法。以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。
權(quán)利要求
1.一種視頻摘要生成方法，其特征在于，包括: 對原始視頻中的目標(biāo)幀圖像進行背景建模，得到背景模型； 利用所述背景模型提取出所述目標(biāo)幀圖像中的運動目標(biāo)； 使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像； 將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。
2.根據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，對原始視頻中的目標(biāo)幀的圖像進行背景建模包括: 使用混合高斯背景算法對所述目標(biāo)幀的圖像進行計算，得到所述目標(biāo)幀圖像的混合高斯模型。
3.根據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像包括: 使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，并根據(jù)檢測結(jié)果判斷提取到的運動目標(biāo)中是否包括人臉圖像。
4.根據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，在使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像之后還包括: 將所述目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與所述目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤，得到包含人臉圖像的運動目標(biāo)的運動軌跡。
5.根據(jù)權(quán)利要求4所述的視頻摘要生成方法，其特征在于，將所述目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與所述目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤包括: 計算所述目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與所述目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)的交叉面積； 判斷所述交叉面積是否大于預(yù)設(shè)面積值； 當(dāng)所述交叉面積大于預(yù)設(shè)面積值時，根據(jù)所述目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置更新運動軌跡； 當(dāng)所述交叉面積小于或等于預(yù)設(shè)面積時，按照所述目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)在圖像上的位置生成新的運動軌跡。
6.根據(jù)權(quán)利要求5所述的視頻摘要生成方法，其特征在于，將包括人臉圖像的運動目標(biāo)進行軌跡排列包括: 按照包含人臉圖像的運動目標(biāo)的運動軌跡出現(xiàn)的時間關(guān)系和空間位置對該運動軌跡進行排列； 將排列后的運動軌跡疊加到背景圖像上。
7.一種視頻摘要生成裝置，其特征在于，包括: 背景建模模塊，用于對原始視頻中的目標(biāo)幀圖像進行背景建模，得到背景模型； 運動目標(biāo)提取模塊，用于利用所述背景模型提取出所述目標(biāo)幀圖像中的運動目標(biāo)； 人臉辨別模塊，用于使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像； 摘要生成模塊，用于將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。
8.根據(jù)權(quán)利要求7所述的視頻摘要生成裝置，其特征在于，所述背景建模模塊還用于:使用混合高斯背景算法對所述目標(biāo)幀的圖像進行計算，得到所述目標(biāo)幀圖像的混合高斯模型。
9.根據(jù)權(quán)利要求7所述的視頻摘要生成裝置，其特征在于，人臉辨別模塊還用于:使用預(yù)設(shè)的由Adaboost算法和harr特征訓(xùn)練出人臉檢測模型對提取到的運動目標(biāo)進行人臉圖像檢測，并根據(jù)檢測結(jié)果判斷提取到的運動目標(biāo)中是否包括人臉圖像。
10.根據(jù)權(quán)利要求7所述的視頻摘要生成裝置，其特征在于，還包括: 軌跡跟蹤模塊，用于將所述目標(biāo)幀圖像中包含人臉圖像的運動目標(biāo)與所述目標(biāo)幀之前一幀圖像中包含人臉圖像的運動目標(biāo)進行軌跡跟蹤，得到包含人臉圖像的運動目標(biāo)的運動軌跡 。
全文摘要
本發(fā)明提出一種視頻摘要生成方法和視頻摘要生成裝置。該視頻摘要生成方法包括對原始視頻中的目標(biāo)幀圖像進行背景建模，得到背景模型；利用背景模型提取出目標(biāo)幀圖像中的運動目標(biāo)；使用預(yù)設(shè)的分類器判斷提取到的運動目標(biāo)中是否包括人臉圖像；將包括人臉圖像的運動目標(biāo)進行軌跡排列，生成摘要。從而完整準(zhǔn)確地生成符合用戶需求的視頻摘要，通過人臉檢測和視頻摘要相結(jié)合，生成包含人臉圖像的移動目標(biāo)的視頻摘要。使用戶可以從視頻摘要中迅速地得到包含人臉的視頻信息，提高了視頻的使用效率。
文檔編號G06F17/30GK103092930SQ201210592859
公開日2013年5月8日 申請日期2012年12月30日 優(yōu)先權(quán)日2012年12月30日
發(fā)明者王海峰 申請人:信幀電子技術(shù)(北京)有限公司