本發(fā)明涉及多媒體分析技術(shù)領(lǐng)域,特別是涉及關(guān)鍵幀選取方法及系統(tǒng)。
背景技術(shù):
視頻重復(fù)片段檢測(cè)是一項(xiàng)關(guān)鍵性的技術(shù),有著諸多的應(yīng)用。例如視頻網(wǎng)站每天都需要同時(shí)接收大量電視臺(tái)的直播信號(hào),以供用戶點(diǎn)播觀看,其中電視節(jié)目的處理包括:去除電視節(jié)目中的廣告、確定片頭片尾的位置及將新聞視頻分割為多個(gè)子新聞。如果這些操作要求實(shí)時(shí)處理的話,工作量很大,若全部由人工完成,每周需要進(jìn)行7×24小時(shí)的工作。故而現(xiàn)有的做法是,利用算法對(duì)視頻進(jìn)行重復(fù)片段檢測(cè),根據(jù)檢測(cè)結(jié)果自動(dòng)拆分視頻,同時(shí)采取人工輔助檢查拆分結(jié)果。
視頻是一系列視頻幀按時(shí)序組織、播放的內(nèi)容,其本質(zhì)是一系列圖像的序列。在對(duì)視頻進(jìn)行重復(fù)片段檢測(cè)時(shí),視頻幀之間存在大量的冗余性,對(duì)整個(gè)視頻中所有的視頻幀進(jìn)行處理計(jì)算量巨大效率低,所以選取鏡頭的關(guān)鍵幀來進(jìn)行處理比對(duì)。
現(xiàn)有的關(guān)鍵幀選取技術(shù),根據(jù)預(yù)設(shè)的幀數(shù),在每段視頻中選取預(yù)設(shè)數(shù)量的關(guān)鍵幀。對(duì)于一些運(yùn)動(dòng)變化較小的視頻,其內(nèi)部的視頻幀相對(duì)穩(wěn)定,簡(jiǎn)單選取預(yù)設(shè)數(shù)量的關(guān)鍵幀可以表達(dá)鏡頭的內(nèi)容。但是對(duì)于運(yùn)動(dòng)較大的視頻,僅用簡(jiǎn)單選取預(yù)設(shè)數(shù)量的關(guān)鍵幀的方法,不能夠全面的表達(dá)視頻內(nèi)容。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例的目的在于提供一種關(guān)鍵幀選取方法及系統(tǒng),以實(shí)現(xiàn)能夠全面的表達(dá)視頻內(nèi)容。具體技術(shù)方案如下:
一種關(guān)鍵幀選取方法,包括:
獲取待提取視頻,根據(jù)所述待提取視頻中視頻幀之間的時(shí)域相關(guān)性,將所述待提取視頻分割為至少一個(gè)待提取鏡頭,其中,所述待提取視頻包括:待檢測(cè)視頻和/或模板視頻,所述待提取鏡頭包括:待檢測(cè)鏡頭和/或模板鏡頭;
分別計(jì)算每個(gè)所述待提取鏡頭中視頻幀之間的幀間變化幅度;
根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)所述待提取鏡頭的關(guān)鍵幀,其中,所述關(guān)鍵幀提取數(shù)量與所述幀間變化幅度正相關(guān)。
可選的,所述獲取待提取視頻,根據(jù)所述待提取視頻中視頻幀之間的時(shí)域相關(guān)性,將所述待提取視頻分割為至少一個(gè)待提取鏡頭,包括:
獲取所述待提取視頻,確定所述待提取視頻中每一幀視頻幀的rgb色彩模式的顏色直方圖;
分別計(jì)算并將所述待提取視頻中時(shí)域相鄰的每?jī)蓚€(gè)視頻幀的顏色直方圖之間的歐式距離,按照時(shí)域順序保存到歐式距離集合;
根據(jù)所述歐式距離集合,將所述待提取視頻進(jìn)行分割,得到至少一個(gè)所述待提取鏡頭。
可選的,所述分別計(jì)算每個(gè)所述待提取鏡頭中視頻幀之間的幀間變化幅度,包括:
在所述歐式距離集合中,分別獲取每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離;
分別計(jì)算并將每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離中,所有歐式距離的和,作為所述幀間變化幅度。
可選的,所述根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)所述待提取鏡頭的關(guān)鍵幀,包括:
在所述待提取鏡頭為待檢測(cè)鏡頭時(shí),獲取預(yù)設(shè)的第一抽取幀數(shù),分別在每個(gè)所述待提取鏡頭中抽取所述第一抽取幀數(shù)的關(guān)鍵幀;
根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù);
分別在每個(gè)所述待提取鏡頭中抽取所述待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
可選的,所述根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)所述待提取鏡頭的關(guān)鍵幀,包括:
在所述待提取鏡頭為模板鏡頭時(shí),根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù);
分別在每個(gè)所述待提取鏡頭中抽取所述待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
可選的,所述根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù),包括:
分別獲取所述幀間變化幅度中,每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離的和d;
獲取預(yù)設(shè)的提取系數(shù)f,根據(jù)l2=round(d/f),分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù),其中,所述l2為所述待提取鏡頭的第二抽取幀數(shù)。
可選的,所述分別在每個(gè)所述待提取鏡頭中抽取所述待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀,包括:
根據(jù)所述幀間變化幅度中每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離,分別確定每個(gè)所述模板鏡頭的穩(wěn)定區(qū)及運(yùn)動(dòng)區(qū),其中,所述穩(wěn)定區(qū)為幀間歐式距離小于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合,所述運(yùn)動(dòng)區(qū)為幀間歐式距離大于或等于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合;
獲取預(yù)設(shè)的第三抽取幀數(shù),分別在每個(gè)所述待提取鏡頭的穩(wěn)定區(qū)抽取所述第三抽取幀數(shù)的關(guān)鍵幀,分別在每個(gè)所述待提取鏡頭的運(yùn)動(dòng)區(qū)抽取第四抽取幀數(shù)的關(guān)鍵幀,其中,在每個(gè)所述待提取鏡頭中,所述第三抽取幀數(shù)與所述第四抽取幀數(shù)的和為所述第二抽取幀數(shù)。
可選的,在所述根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)所述待提取鏡頭的關(guān)鍵幀之后,所述方法還包括:
分別獲取每個(gè)所述模板鏡頭的視覺特征;
根據(jù)每個(gè)所述待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)所述待檢測(cè)鏡頭的視覺特征;
分別將每個(gè)所述待檢測(cè)鏡頭對(duì)應(yīng)的視覺特征與每個(gè)所述模板鏡頭對(duì)應(yīng)的視覺特征進(jìn)行比較,確定所述鏡頭比較結(jié)果。
可選的,所述根據(jù)每個(gè)所述待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)所述待檢測(cè)鏡頭的視覺特征,包括:
根據(jù)預(yù)設(shè)的區(qū)域截取方法,分別截取每個(gè)所述待檢測(cè)鏡頭的關(guān)鍵幀中的有效區(qū)域;
分別將每個(gè)所述有效區(qū)域轉(zhuǎn)化為灰度圖像;
分別將每個(gè)所述灰度圖像進(jìn)行高斯模糊濾波及去除噪聲干擾,得到去噪后的灰度圖像;
分別將每幅所述去噪后的灰度圖像劃分為n塊子灰度圖像,其中,n為正整數(shù);
分別將每塊所述子灰度圖像進(jìn)行離散余弦變換,并確定每塊所述子灰度圖像進(jìn)行離散余弦變換后對(duì)應(yīng)的哈希碼;
分別將每個(gè)所述待提取鏡頭對(duì)應(yīng)的哈希碼進(jìn)行組合,作為每個(gè)所述待提取鏡頭對(duì)應(yīng)的視覺特征。
可選的,在所述分別獲取每個(gè)所述模板鏡頭的視覺特征之前,所述方法還包括:
根據(jù)每個(gè)所述模板鏡頭的關(guān)鍵幀,確定每個(gè)所述模板鏡頭對(duì)應(yīng)的視覺特征。
一種關(guān)鍵幀選取系統(tǒng),包括:
鏡頭分割模塊,用于獲取待提取視頻,根據(jù)所述待提取視頻中視頻幀之間的時(shí)域相關(guān)性,將所述待提取視頻分割為至少一個(gè)待提取鏡頭,其中,所述待提取視頻包括:待檢測(cè)視頻和/或模板視頻,所述待提取鏡頭包括:待檢測(cè)鏡頭和/或模板鏡頭;
第一計(jì)算模塊,用于分別計(jì)算每個(gè)所述待提取鏡頭中視頻幀之間的幀間變化幅度;
第二計(jì)算模塊,用于根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)所述待提取鏡頭的關(guān)鍵幀,其中,所述關(guān)鍵幀提取數(shù)量與所述幀間變化幅度正相關(guān)。
可選的,所述鏡頭分割模塊,包括:
顏色直方圖確定子模塊,用于獲取所述待提取視頻,確定所述待提取視頻中每一幀視頻幀的rgb色彩模式的顏色直方圖;
歐式距離計(jì)算子模塊,用于分別計(jì)算并將所述待提取視頻中時(shí)域相鄰的每?jī)蓚€(gè)視頻幀的顏色直方圖之間的歐式距離,按照時(shí)域順序保存到歐式距離集合;
待提取鏡頭確定子模塊,用于根據(jù)所述歐式距離集合,將所述待提取視頻進(jìn)行分割,得到至少一個(gè)所述待提取鏡頭。
可選的,所述第一計(jì)算模塊,包括:
歐式距離獲取子模塊,用于在所述歐式距離集合中,分別獲取每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離;
變化幅度確定子模塊,用于分別計(jì)算并將每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離中,所有歐式距離的和,作為所述幀間變化幅度。
可選的,在所述待提取鏡頭為待檢測(cè)鏡頭時(shí),所述第二計(jì)算模塊,包括:
第一抽取子模塊,用于獲取預(yù)設(shè)的第一抽取幀數(shù),分別在每個(gè)所述待提取鏡頭中抽取所述第一抽取幀數(shù)的關(guān)鍵幀;
幀數(shù)計(jì)算子模塊,用于根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù);
第二抽取子模塊,用于分別在每個(gè)所述待提取鏡頭中抽取所述待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
可選的,在所述待提取鏡頭為模板鏡頭時(shí),所述第二計(jì)算模塊,包括:
幀數(shù)計(jì)算子模塊,用于根據(jù)所述幀間變化幅度,分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù);
第二抽取子模塊,用于分別在每個(gè)所述待提取鏡頭中抽取所述待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
可選的,所述幀數(shù)計(jì)算子模塊,包括:
數(shù)據(jù)獲取單元,用于分別獲取所述幀間變化幅度中,每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離的和d;
第二抽取幀數(shù)計(jì)算單元,用于獲取預(yù)設(shè)的提取系數(shù)f,根據(jù)l2=round(d/f),分別確定每個(gè)所述待提取鏡頭的第二抽取幀數(shù),其中,所述l2為所述待提取鏡頭的第二抽取幀數(shù)。
可選的,所述第二抽取子模塊,包括:
區(qū)域劃分單元,用于根據(jù)所述幀間變化幅度中每個(gè)所述待提取鏡頭對(duì)應(yīng)的歐式距離,分別確定每個(gè)所述模板鏡頭的穩(wěn)定區(qū)及運(yùn)動(dòng)區(qū),其中,所述穩(wěn)定區(qū)為幀間歐式距離小于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合,所述運(yùn)動(dòng)區(qū)為幀間歐式距離大于或等于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合;
區(qū)域抽取單元,用于獲取預(yù)設(shè)的第三抽取幀數(shù),分別在每個(gè)所述待提取鏡頭的穩(wěn)定區(qū)抽取所述第三抽取幀數(shù)的關(guān)鍵幀,分別在每個(gè)所述待提取鏡頭的運(yùn)動(dòng)區(qū)抽取第四抽取幀數(shù)的關(guān)鍵幀,其中,在每個(gè)所述待提取鏡頭中,所述第三抽取幀數(shù)與所述第四抽取幀數(shù)的和為所述第二抽取幀數(shù)。
可選的,所述系統(tǒng)還包括:
視覺特征獲取模塊,用于分別獲取每個(gè)所述模板鏡頭的視覺特征;
第三計(jì)算模塊,用于根據(jù)每個(gè)所述待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)所述待檢測(cè)鏡頭的視覺特征;
視覺特征比較模塊,用于分別將每個(gè)所述待檢測(cè)鏡頭對(duì)應(yīng)的視覺特征與每個(gè)所述模板鏡頭對(duì)應(yīng)的視覺特征進(jìn)行比較,確定所述鏡頭比較結(jié)果。
可選的,所述第三計(jì)算模塊,包括:
有效區(qū)域截取子模塊,用于根據(jù)預(yù)設(shè)的區(qū)域截取方法,分別截取每個(gè)所述待檢測(cè)鏡頭的關(guān)鍵幀中的有效區(qū)域;
圖像轉(zhuǎn)換子模塊,用于分別將每個(gè)所述有效區(qū)域轉(zhuǎn)化為灰度圖像;
噪聲過濾子模塊,用于分別將每個(gè)所述灰度圖像進(jìn)行高斯模糊濾波及去除噪聲干擾,得到去噪后的灰度圖像;
圖像劃分子模塊,用于分別將每幅所述去噪后的灰度圖像劃分為n塊子灰度圖像,其中,n為正整數(shù);
哈希碼確定子模塊,用于分別將每塊所述子灰度圖像進(jìn)行離散余弦變換,并確定每塊所述子灰度圖像進(jìn)行離散余弦變換后對(duì)應(yīng)的哈希碼;
視覺特征確定子模塊,用于分別將每個(gè)所述待提取鏡頭對(duì)應(yīng)的哈希碼進(jìn)行組合,作為每個(gè)所述待提取鏡頭對(duì)應(yīng)的視覺特征。
可選的,所述系統(tǒng)還包括:
第四計(jì)算模塊,用于根據(jù)每個(gè)所述模板鏡頭的關(guān)鍵幀,確定每個(gè)所述模板鏡頭對(duì)應(yīng)的視覺特征。
本發(fā)明實(shí)施例提供的關(guān)鍵幀選取方法及系統(tǒng),根據(jù)視頻中視頻幀之間的幀間變化幅度,確定關(guān)鍵幀的提取數(shù)量,能夠全面的表達(dá)視頻內(nèi)容。另外,利用本發(fā)明實(shí)施例的關(guān)鍵幀選取方法進(jìn)行視頻重復(fù)性檢測(cè),視頻重復(fù)性檢測(cè)的可靠性高。當(dāng)然,實(shí)施本發(fā)明的任一產(chǎn)品或方法必不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例的關(guān)鍵幀選取方法的流程示意圖;
圖2為應(yīng)用本發(fā)明實(shí)施例的關(guān)鍵幀選取方法的視頻重復(fù)檢測(cè)系統(tǒng)的示意圖;
圖3為本發(fā)明實(shí)施例的視頻重復(fù)檢測(cè)系統(tǒng)的應(yīng)用方法的流程示意圖;
圖4為本發(fā)明實(shí)施例的關(guān)鍵幀選取系統(tǒng)的示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
視頻重復(fù)性檢測(cè)技術(shù)是視頻識(shí)別中的關(guān)鍵技術(shù),視頻重復(fù)性檢測(cè)技術(shù)除了應(yīng)用于視頻中廣告的剝離,還可以應(yīng)用于數(shù)據(jù)庫中重復(fù)片段的檢測(cè),以節(jié)省存儲(chǔ)空間;進(jìn)行版權(quán)保護(hù),將待檢測(cè)視頻與有版權(quán)的視頻進(jìn)行對(duì)比,可以確定待檢測(cè)視頻是否侵權(quán)。
視頻重復(fù)性檢測(cè)技術(shù)的基本流程為:入庫,對(duì)模板視頻進(jìn)行鏡頭檢測(cè),關(guān)鍵幀提取,提取視覺特征,存入相應(yīng)的數(shù)據(jù)庫;匹配,對(duì)待檢測(cè)視頻進(jìn)行鏡頭檢測(cè),關(guān)鍵幀提取,提取視覺特征,查詢數(shù)據(jù)庫。
在視頻重復(fù)性檢測(cè)技術(shù)中,關(guān)鍵幀提取對(duì)檢測(cè)的成功與否起著關(guān)鍵性的作用。因此,本發(fā)明實(shí)施例提供了一種關(guān)鍵幀選取方法,參見圖1,圖1為本發(fā)明實(shí)施例的關(guān)鍵幀選取方法的流程示意圖,包括:
s101,獲取待提取視頻,根據(jù)待提取視頻中視頻幀之間的時(shí)域相關(guān)性,將待提取視頻分割為至少一個(gè)待提取鏡頭,其中,待提取視頻包括:待檢測(cè)視頻和/或模板視頻,待提取鏡頭包括:待檢測(cè)鏡頭和/或模板鏡頭。
根據(jù)待提取視頻中視頻幀之間的時(shí)域相關(guān)性,如利用基于直方圖的算法、基于運(yùn)動(dòng)的算法、基于輪廓的算法或針對(duì)壓縮視頻的算法,將待提取視頻分割成至少一個(gè)待提取鏡頭。
s102,分別計(jì)算每個(gè)待提取鏡頭中視頻幀之間的幀間變化幅度。
幀間變化幅度標(biāo)識(shí)了視頻幀之間顯示內(nèi)容改變的大小。利用基于直方圖的算法、基于運(yùn)動(dòng)的算法、基于輪廓的算法和針對(duì)壓縮視頻的算法,中的一種或多種算法,計(jì)算出每個(gè)待提取鏡頭中視頻幀之間的幀間變化幅度。
s103,根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)待提取鏡頭的關(guān)鍵幀,其中,關(guān)鍵幀提取數(shù)量與幀間變化幅度正相關(guān)。
待提取鏡頭的幀間變化幅度越大,在該待提取鏡頭中提取的關(guān)鍵幀越多。根據(jù)每個(gè)待提取鏡頭各自的幀間變化幅度,分別確定每個(gè)待提取鏡頭的關(guān)鍵幀提取數(shù)量。
在本發(fā)明實(shí)施例中,將視頻分割成若干個(gè)鏡頭,根據(jù)每個(gè)鏡頭中視頻幀之間的幀間變化幅度,確定該鏡頭得關(guān)鍵幀的提取數(shù)量,并提取相應(yīng)數(shù)量的關(guān)鍵幀,能夠全面的表達(dá)視頻內(nèi)容。
可選的,s101,包括:
步驟一,獲取待提取視頻,確定待提取視頻中每一幀視頻幀的rgb色彩模式的顏色直方圖。
步驟二,分別計(jì)算并將待提取視頻中時(shí)域相鄰的每?jī)蓚€(gè)視頻幀的顏色直方圖之間的歐式距離,按照時(shí)域順序保存到歐式距離集合。
歐式距離集合用于記錄相鄰視頻幀之間的歐式距離,且歐式距離集合中的歐式距離是按照該歐式距離對(duì)應(yīng)的視頻幀的時(shí)域順序進(jìn)行存儲(chǔ)的。
步驟三,根據(jù)歐式距離集合,將待提取視頻進(jìn)行分割,得到至少一個(gè)待提取鏡頭。
獲取歐式距離集合中大于第一預(yù)設(shè)距離閾值的歐式距離,在歐式距離集合中大于第一預(yù)設(shè)距離閾值的歐式距離對(duì)應(yīng)的兩幀視頻幀之間進(jìn)行鏡頭分割,此時(shí)鏡頭發(fā)生了切變。然后按照時(shí)域順序,依次計(jì)算根據(jù)第一預(yù)設(shè)距離閾值分割后的每鏡頭中的歐式距離集合中的當(dāng)前歐式距離,與當(dāng)前歐式距離之前的n(n為正整數(shù))個(gè)歐式距離的和,作為待比較距離。在待比較距離大于第二預(yù)設(shè)距離閾值時(shí),在當(dāng)前歐式距離對(duì)應(yīng)的兩幀視頻幀之間進(jìn)行鏡頭分割,此時(shí)鏡頭發(fā)生了漸變。
第一預(yù)設(shè)距離閾值與第二預(yù)設(shè)距離閾值根據(jù)直方圖計(jì)算差距使用的方法及直方圖的值域范圍進(jìn)行設(shè)定。例如將第一預(yù)設(shè)距離閾值設(shè)定為0.5,第二預(yù)設(shè)距離閾值設(shè)定為0.3,在歐式距離集合中的歐式距離為0.01,0.05,0.04,0.11,0.6,0.01,0.04,0.06,0.10,0.12,0.10時(shí),首先根據(jù)第一預(yù)設(shè)距離閾值,將待檢測(cè)視頻從歐式距離為0.6的兩幀視頻幀之間進(jìn)行分割成兩個(gè)鏡頭,第一個(gè)鏡頭對(duì)應(yīng)的歐式距離為0.01,0.05,0.04,0.11,第二個(gè)鏡頭對(duì)應(yīng)的歐式距離為0.01,0.04,0.06,0.10,0.12,0.10,根據(jù)第二預(yù)設(shè)距離閾值將第二個(gè)鏡頭從歐式距離為0.12對(duì)應(yīng)的兩幀視頻幀之間進(jìn)行分割,將第二個(gè)鏡頭分割成兩個(gè)鏡頭。
在本發(fā)明實(shí)施例中,將待提取視頻的視頻幀轉(zhuǎn)化為顏色直方圖,并計(jì)算出各顏色直方圖之間的歐式距離,根據(jù)歐式距離將待提取視頻進(jìn)行鏡頭分割,給出了將待提取視頻分割成待提取鏡頭的具體方法,鏡頭分割準(zhǔn)確。
可選的,s102,包括:
步驟一,在歐式距離集合中,分別獲取每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離。
例如,例如將第一預(yù)設(shè)距離閾值設(shè)定為0.5,第二預(yù)設(shè)距離閾值設(shè)定為0.3,在歐式距離集合中的歐式距離為0.01,0.05,0.04,0.11,0.6,0.01,0.04,0.06,0.10,0.12,0.10時(shí),獲取鏡頭一對(duì)應(yīng)的歐式距離0.01,0.05,0.04,0.11,獲取鏡頭二對(duì)應(yīng)的歐式距離0.01,0.04,0.06,0.10,獲取鏡頭三對(duì)應(yīng)的歐式距離0.10。
步驟二,分別計(jì)算并將每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離中,所有歐式距離的和,作為幀間變化幅度。
例如,鏡頭一對(duì)應(yīng)的歐式距離為0.01,0.05,0.04,0.11,鏡頭二對(duì)應(yīng)的歐式距離為0.01,0.04,0.06,0.10,鏡頭三對(duì)應(yīng)的歐式距離為0.10。則鏡頭一的幀間變化幅度為0.21,鏡頭二的幀間變化幅度為0.21,鏡頭三的幀間變化幅度為0.10。
在本發(fā)明實(shí)施例中,給出了幀間變化幅度的具體計(jì)算方法,為后續(xù)根據(jù)幀間變化幅度,確定每個(gè)鏡頭的關(guān)鍵幀提取數(shù)量,提供了技術(shù)上的支持。
可選的,s103,包括:
步驟一,在待提取鏡頭為待檢測(cè)鏡頭時(shí),獲取預(yù)設(shè)的第一抽取幀數(shù),分別在每個(gè)待提取鏡頭中抽取第一抽取幀數(shù)的關(guān)鍵幀。
預(yù)設(shè)的第一抽取幀數(shù)為符合本發(fā)明實(shí)施例的任意幀數(shù),例如10幀。分別獲取每個(gè)待檢測(cè)鏡頭中的視頻幀的總幀數(shù)h,根據(jù)gap_shot=h/l1計(jì)算每個(gè)鏡頭中的第一關(guān)鍵幀抽取間隔,其中,gap_shot為第一關(guān)鍵幀抽取間隔,l1為第一抽取幀數(shù)。從待檢測(cè)鏡頭的第一幀開始,以gap_shot為間隔,抽取l1個(gè)關(guān)鍵幀。
步驟二,根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù)。
待檢測(cè)鏡頭的幀間變化幅度越大,在該待檢測(cè)鏡頭中提取的關(guān)鍵幀越多。
步驟三,分別在每個(gè)待提取鏡頭中抽取待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
分別獲取每個(gè)待檢測(cè)鏡頭中的視頻幀的總幀數(shù)h,根據(jù)gap1=h/l2計(jì)算每個(gè)待檢測(cè)鏡頭中的第二關(guān)鍵幀抽取間隔,其中,gap1為第二關(guān)鍵幀抽取間隔,l2為第二抽取幀數(shù)。從待檢測(cè)鏡頭的第一幀開始,以gap1為間隔,抽取l2個(gè)關(guān)鍵幀。
在本發(fā)明實(shí)施例中,給出了在待提取鏡頭為待檢測(cè)鏡頭時(shí),關(guān)鍵幀的提取方法,在每個(gè)待檢測(cè)鏡頭中,分別提取第一抽取幀數(shù)和第二抽取幀數(shù)的關(guān)鍵幀,抽取關(guān)鍵幀能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,s103,包括:
步驟一,在待提取鏡頭為模板鏡頭時(shí),根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù)。
模板鏡頭的幀間變化幅度越大,在該模板鏡頭中提取的關(guān)鍵幀越多。
步驟二,分別在每個(gè)待提取鏡頭中抽取待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
分別獲取每個(gè)模板鏡頭中的視頻幀的總幀數(shù)h,根據(jù)gap1=h/l2計(jì)算每個(gè)模板鏡頭中的第二關(guān)鍵幀抽取間隔,其中,gap2為第二關(guān)鍵幀抽取間隔,l2為第二抽取幀數(shù)。從模板鏡頭的第一幀開始,以gap2為間隔,抽取l2個(gè)關(guān)鍵幀。
在本發(fā)明實(shí)施例中,給出了在待提取鏡頭為模板鏡頭時(shí),關(guān)鍵幀的提取方法,在每個(gè)模板鏡頭中,抽取第二抽取幀數(shù)的關(guān)鍵幀,抽取關(guān)鍵幀能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù),包括:
步驟一,分別獲取幀間變化幅度中,每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離的和d。
步驟二,獲取預(yù)設(shè)的提取系數(shù)f,根據(jù)l2=round(d/f),分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù),其中,l2為待提取鏡頭的第二抽取幀數(shù)。
提取系數(shù)f根據(jù)計(jì)算幀間變化幅度的算法進(jìn)行設(shè)定,例如,若采用基于直方圖的算法時(shí),預(yù)設(shè)的提取系數(shù)可以設(shè)定為0.02。
在本發(fā)明實(shí)施例中,根據(jù)l2=round(d/f),分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù),給出了第二抽取幀數(shù)的具體計(jì)算方法,利用該第二抽取幀數(shù)抽取關(guān)鍵幀,能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,分別在每個(gè)待提取鏡頭中抽取待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀,包括:
步驟一,根據(jù)幀間變化幅度中每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離,分別確定每個(gè)模板鏡頭的穩(wěn)定區(qū)及運(yùn)動(dòng)區(qū),其中,穩(wěn)定區(qū)為幀間歐式距離小于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合,運(yùn)動(dòng)區(qū)為幀間歐式距離大于或等于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合。
分別獲取歐式距離集合中每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離,將大于或等于預(yù)設(shè)幀間距離的歐式距離所對(duì)應(yīng)的視頻幀,劃分到該視頻幀對(duì)應(yīng)的待提取鏡頭的運(yùn)動(dòng)區(qū);將小于預(yù)設(shè)幀間距離的歐式距離所對(duì)應(yīng)的視頻幀,劃分到該視頻幀對(duì)應(yīng)的待提取鏡頭的穩(wěn)定區(qū)。其中,預(yù)設(shè)幀間距離是根據(jù)計(jì)算幀間變化幅度的算法進(jìn)行設(shè)定,例如若采用基于直方圖的算法時(shí),預(yù)設(shè)的提取系數(shù)可以設(shè)定為0.06。
步驟二,獲取預(yù)設(shè)的第三抽取幀數(shù),分別在每個(gè)待提取鏡頭的穩(wěn)定區(qū)抽取第三抽取幀數(shù)的關(guān)鍵幀,分別在每個(gè)待提取鏡頭的運(yùn)動(dòng)區(qū)抽取第四抽取幀數(shù)的關(guān)鍵幀,其中,在每個(gè)待提取鏡頭中,第三抽取幀數(shù)與第四抽取幀數(shù)的和為第二抽取幀數(shù)。
第三抽取幀數(shù)為符合本發(fā)明實(shí)施例的任意幀數(shù),例如,可以將第三抽取幀數(shù)設(shè)定為3。根據(jù)每個(gè)待提取鏡頭中的第二抽取幀數(shù)l2,分別確定每個(gè)待提取鏡頭的運(yùn)動(dòng)區(qū)中抽取該待提取鏡頭對(duì)應(yīng)的第四抽取幀數(shù)的關(guān)鍵幀,其中,l4=l2-l3,l3為第三抽取幀數(shù),l4為第四抽取幀數(shù)。
在本發(fā)明實(shí)施例中,將待提取鏡頭劃分為運(yùn)動(dòng)區(qū)和穩(wěn)定區(qū),在穩(wěn)定區(qū)中提取第三抽取幀數(shù)的關(guān)鍵幀,在運(yùn)動(dòng)區(qū)中抽取第四抽取幀數(shù)的關(guān)鍵幀,關(guān)鍵幀抽取方法合理,能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,在s103之后,該方法還包括:
步驟一,分別獲取每個(gè)模板鏡頭的視覺特征。
在預(yù)設(shè)的數(shù)據(jù)庫中獲取每個(gè)模板鏡頭的視覺特征。
步驟二,根據(jù)每個(gè)待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)待檢測(cè)鏡頭的視覺特征。
此處的根據(jù)每個(gè)待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)待檢測(cè)鏡頭的視覺特征的方法為符合本發(fā)明實(shí)施例的任意視覺特征提取方法,包括:顏色特征提取、紋理特征提取及形狀特征提取中的一種或多種提取方法。
顏色是圖像視覺信息的一個(gè)重要特征,顏色特征提取是指提取圖像中顏色的特征,并將圖像中顏色的特征進(jìn)行量化,如計(jì)算顏色直方圖、顏色距、顏色聚合向量及顏色集。
紋理不僅能夠反映圖像的灰度統(tǒng)計(jì)信息,還能夠反映圖像的空間分布信息和結(jié)構(gòu)信息,將紋理特征進(jìn)行量化,提取紋理特征的方法包括:統(tǒng)計(jì)法(如計(jì)算灰度共生矩陣)、結(jié)構(gòu)法(如tamura紋理特征)、模型法(如建立自回歸紋理模型)及頻譜法(如進(jìn)行小波變換)。
形狀特征主要分為基于邊界的形狀特征和基于區(qū)域的形狀特征兩大類,基于邊界的形狀,基于邊界的形狀特征的描述關(guān)鍵在于邊緣檢測(cè),在提取邊緣的基礎(chǔ)上,定義邊緣的特征描述,如fouriershapedecors(傅立葉形狀描述符法)?;趨^(qū)域的形狀特征的描述關(guān)鍵在于圖像分割,然后利用整個(gè)已經(jīng)被分割出來的區(qū)域塊,提取其相應(yīng)特征向量作為其形狀特征的表示參數(shù),如區(qū)域不變矩法。
步驟三,分別將每個(gè)待檢測(cè)鏡頭對(duì)應(yīng)的視覺特征與每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征進(jìn)行比較,確定鏡頭比較結(jié)果。
鏡頭比較結(jié)果包括:待檢測(cè)鏡頭與模板鏡頭為相同鏡頭,及待檢測(cè)鏡頭與模板鏡頭為不同鏡頭。當(dāng)待檢測(cè)鏡頭的視覺特征與模板鏡頭的視覺特征的相似度超過預(yù)設(shè)的相似度閾值時(shí),則認(rèn)為待檢測(cè)鏡頭與模板鏡頭為同一個(gè)鏡頭。相似度閾值為符合本發(fā)明實(shí)施例的任意數(shù)值,根據(jù)視覺特征提取方法進(jìn)行設(shè)定,例如,在根據(jù)紋理特征提取視覺特征時(shí),相似度閾值可以設(shè)定為90%。
在本發(fā)明實(shí)施例中,根據(jù)待檢測(cè)鏡頭的關(guān)鍵幀,確定待檢測(cè)鏡頭的視覺特征,通過比較待檢測(cè)鏡頭的視覺特征及模板鏡頭的視覺特征,判斷待檢測(cè)鏡頭與模板鏡頭是否為同一鏡頭,給出了本發(fā)明實(shí)施例的關(guān)鍵幀選取方法的后續(xù)應(yīng)用場(chǎng)景,通過本發(fā)明實(shí)施例的關(guān)鍵幀選取方法所獲取的關(guān)鍵幀進(jìn)行重復(fù)性檢測(cè),判斷結(jié)果更加準(zhǔn)確。
可選的,根據(jù)每個(gè)待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)待檢測(cè)鏡頭的視覺特征,包括:
步驟一,根據(jù)預(yù)設(shè)的區(qū)域截取方法,分別截取每個(gè)待檢測(cè)鏡頭的關(guān)鍵幀中的有效區(qū)域。
選擇預(yù)設(shè)的區(qū)域截取方法中規(guī)定的圖像區(qū)域:(x,y,roi_width,roi_height)即有效區(qū)域,將有效區(qū)域中的像素進(jìn)行視覺特征計(jì)算。(x,y)代表規(guī)定的圖像區(qū)域的起始點(diǎn),roi_width代表規(guī)定的圖像區(qū)域的寬,roi_height代表規(guī)定的圖像區(qū)域的高。截取關(guān)鍵幀中的有效區(qū)域,能夠避免電視臺(tái)臺(tái)標(biāo)、外加字幕、外加商標(biāo)及其他外加信息對(duì)視覺特征的干擾。
步驟二,分別將每個(gè)有效區(qū)域轉(zhuǎn)化為灰度圖像。
步驟三,分別將每個(gè)灰度圖像進(jìn)行高斯模糊濾波及去除噪聲干擾,得到去噪后的灰度圖像。
步驟四,分別將每幅去噪后的灰度圖像劃分為n塊子灰度圖像,其中,n為正整數(shù)。
例如,將灰度圖像平均劃分為四塊。
步驟五,分別將每塊子灰度圖像進(jìn)行離散余弦變換,并確定每塊子灰度圖像進(jìn)行離散余弦變換后對(duì)應(yīng)的哈希碼。
步驟六,分別將每個(gè)待提取鏡頭對(duì)應(yīng)的哈希碼進(jìn)行組合,作為每個(gè)待提取鏡頭對(duì)應(yīng)的視覺特征。
在本發(fā)明實(shí)施例中,給出了獲取關(guān)鍵幀的視覺特征的具體計(jì)算方法,有效的確定了關(guān)鍵幀的視覺特征,為根據(jù)視覺特征判定待檢測(cè)鏡頭與模板鏡頭是否相同提供了技術(shù)上的支持。
可選的,在分別獲取每個(gè)模板鏡頭的視覺特征之前,該方法還包括:
根據(jù)每個(gè)模板鏡頭的關(guān)鍵幀,確定每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征。
此處根據(jù)每個(gè)模板鏡頭的關(guān)鍵幀,確定每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征的方法為符合本發(fā)明實(shí)施例的任意視覺特征提取方法,包括:顏色特征提取、紋理特征提取及形狀特征提取中的一種或多種提取方法。例如,分別截取每個(gè)模板鏡頭的關(guān)鍵幀中的有效區(qū)域,將每個(gè)有效區(qū)域轉(zhuǎn)化為灰度圖像。分別將每個(gè)灰度圖像進(jìn)行高斯模糊濾波及去除噪聲干擾,得到去噪后的灰度圖像,并將每幅去噪后的灰度圖像劃分為n塊子灰度圖像。分別將每塊子灰度圖像進(jìn)行離散余弦變換,并確定每塊子灰度圖像進(jìn)行離散余弦變換后對(duì)應(yīng)的哈希碼。分別將每個(gè)待提取鏡頭對(duì)應(yīng)的哈希碼進(jìn)行組合,作為每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征。將模板鏡頭的視覺特征保存到預(yù)設(shè)的數(shù)據(jù)庫中。
在本發(fā)明實(shí)施例中,根據(jù)每個(gè)模板鏡頭的關(guān)鍵幀,確定每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征,為根據(jù)視覺特征判定待檢測(cè)鏡頭與模板鏡頭是否相同提供了技術(shù)上的支持。
從鏡頭中提取出關(guān)鍵幀是視頻重復(fù)性檢測(cè)的重要環(huán)節(jié)。通常的做法是在鏡頭中等間隔的選取預(yù)設(shè)數(shù)量的關(guān)鍵幀,但是這種通常的做法存在一定的問題,當(dāng)鏡頭內(nèi)的視頻幀之間的變化較大時(shí),容易造成視頻重復(fù)性檢測(cè)的失敗。尤其在鏡頭檢測(cè)與關(guān)鍵幀抽取方法不夠魯棒,傳輸過程中造成丟幀導(dǎo)致算法失敗等多種因素造成的抽取位置發(fā)生變化時(shí),視頻重復(fù)性檢測(cè)的可靠性大大降低??傊矛F(xiàn)有的關(guān)鍵幀提取技術(shù),在視頻重復(fù)性檢測(cè)時(shí)的可靠性低。
因此結(jié)合上述的關(guān)鍵幀選取系統(tǒng),本發(fā)明實(shí)施例還提供了一種視頻重復(fù)檢測(cè)的系統(tǒng),如圖2所示,包括:
鏡頭分割模塊201:用于獲取輸入的待提取視頻,根據(jù)視頻幀之間的時(shí)域相關(guān)性,將輸入的待提取視頻分割為一系列的連續(xù)鏡頭,并分別計(jì)算每個(gè)鏡頭中的幀間變化幅度。
獲取輸入的待提取視頻(模板視頻或待檢測(cè)視頻),按照時(shí)域順序,根據(jù)視頻幀之間的變化幅度,將模板視頻和/或待檢測(cè)視頻分割為至少一個(gè)鏡頭,并分別計(jì)算每個(gè)鏡頭中視頻幀之間的幀間變化幅度。
根據(jù)待提取視頻中視頻幀之間的時(shí)域相關(guān)性,如利用基于直方圖的算法、基于運(yùn)動(dòng)的算法、基于輪廓的算法或針對(duì)壓縮視頻的算法,將待提取視頻分割成至少一個(gè)待提取鏡頭。
獲取待提取視頻,確定待提取視頻中每一幀視頻幀的rgb色彩模式的顏色直方圖。分別計(jì)算并將待提取視頻中時(shí)域相鄰的每?jī)蓚€(gè)視頻幀的顏色直方圖之間的歐式距離,按照時(shí)域順序保存到歐式距離集合。根據(jù)歐式距離集合,將待提取視頻進(jìn)行分割,得到至少一個(gè)待提取鏡頭。
獲取歐式距離集合中大于第一預(yù)設(shè)距離閾值的歐式距離,在歐式距離集合中大于第一預(yù)設(shè)距離閾值的歐式距離對(duì)應(yīng)的兩幀視頻幀之間進(jìn)行鏡頭分割,此時(shí)鏡頭發(fā)生了切變。然后按照時(shí)域順序,依次計(jì)算根據(jù)第一預(yù)設(shè)距離閾值分割后的每鏡頭中的歐式距離集合中的當(dāng)前歐式距離,與當(dāng)前歐式距離之前的n(n為正整數(shù))個(gè)歐式距離的和,作為待比較距離。在待比較距離大于第二預(yù)設(shè)距離閾值時(shí),在當(dāng)前歐式距離對(duì)應(yīng)的兩幀視頻幀之間進(jìn)行鏡頭分割,此時(shí)鏡頭發(fā)生了漸變。
重復(fù)性檢測(cè)入庫關(guān)鍵幀選取模塊202:用于在模板鏡頭入庫過程中選取關(guān)鍵幀,并計(jì)算視覺特征進(jìn)行入庫。
在將模板視頻對(duì)應(yīng)的數(shù)據(jù)進(jìn)行入庫時(shí),根據(jù)模板視頻中每個(gè)鏡頭中的幀間變化幅度分別選取每個(gè)鏡頭的關(guān)鍵幀,幀間變化幅度越大抽取的關(guān)鍵幀越多,幀間變化幅度越小選用的關(guān)鍵幀的數(shù)量越小,分別計(jì)算模板視頻中的每個(gè)鏡頭的關(guān)鍵幀的視覺特征,并將模板視頻中的每個(gè)鏡頭的關(guān)鍵幀的視覺特征保存到數(shù)據(jù)庫。
獲取待提取視頻,確定待提取視頻中每一幀視頻幀的rgb色彩模式的顏色直方圖。分別計(jì)算并將待提取視頻中時(shí)域相鄰的每?jī)蓚€(gè)視頻幀的顏色直方圖之間的歐式距離。分別計(jì)算并將每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離中,所有歐式距離的和,作為幀間變化幅度,并根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù)。分別在每個(gè)模板鏡頭中抽取待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
視覺特征提取方法為符合本發(fā)明實(shí)施例的任意視覺特征提取方法,包括:顏色特征提取、紋理特征提取及形狀特征提取中的一種或多種提取方法。例如,分別截取每個(gè)模板鏡頭的關(guān)鍵幀中的有效區(qū)域,將每個(gè)有效區(qū)域轉(zhuǎn)化為灰度圖像。分別將每個(gè)灰度圖像進(jìn)行高斯模糊濾波及去除噪聲干擾,得到去噪后的灰度圖像,并將每幅去噪后的灰度圖像劃分為n塊子灰度圖像。分別將每塊子灰度圖像進(jìn)行離散余弦變換,并確定每塊子灰度圖像進(jìn)行離散余弦變換后對(duì)應(yīng)的哈希碼。分別將每個(gè)待提取鏡頭對(duì)應(yīng)的哈希碼進(jìn)行組合,作為每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征。將模板鏡頭的視覺特征保存到預(yù)設(shè)的數(shù)據(jù)庫中。
重復(fù)性檢測(cè)匹配關(guān)鍵幀選取模塊203:用于在鏡頭進(jìn)行匹配過程中選取關(guān)鍵幀,并計(jì)算視覺特征進(jìn)行匹配。
在進(jìn)行重復(fù)性檢測(cè)時(shí),根據(jù)待檢測(cè)視頻中每個(gè)鏡頭中的幀間變化幅度分別選取每個(gè)鏡頭的關(guān)鍵幀,幀間變化幅度越大抽取的關(guān)鍵幀越多,幀間變化幅度越小選用的關(guān)鍵幀的數(shù)量越小,分別計(jì)算待檢測(cè)視頻中的每個(gè)鏡頭的關(guān)鍵幀的視覺特征。根據(jù)待檢測(cè)視頻中的每個(gè)鏡頭的關(guān)鍵幀的視覺特征及模板視頻中的每個(gè)鏡頭的關(guān)鍵幀的視覺特征,將待檢測(cè)視頻中的每個(gè)鏡頭分別與模板視頻中的每個(gè)鏡頭進(jìn)行匹配,確定匹配結(jié)果。
參見圖3,鏡頭分割模塊201獲取模板視頻,并將模板視頻分割成為至少一個(gè)模板鏡頭;重復(fù)性檢測(cè)入庫關(guān)鍵幀選取模塊202提取模板鏡頭的關(guān)鍵幀,計(jì)算出模板鏡頭關(guān)鍵幀的視覺特征,并將模板鏡頭的視覺特征存儲(chǔ)到數(shù)據(jù)庫中。當(dāng)輸入待檢測(cè)視頻時(shí),鏡頭分割模塊201獲取待檢測(cè)視頻,并將待檢測(cè)視頻分割成為至少一個(gè)待檢測(cè)鏡頭;重復(fù)性檢測(cè)匹配關(guān)鍵幀選取模塊203提取待檢測(cè)鏡頭的關(guān)鍵幀,計(jì)算出待檢測(cè)鏡頭關(guān)鍵幀的視覺特征,重復(fù)性檢測(cè)匹配關(guān)鍵幀選取模塊203從數(shù)據(jù)庫中獲取模板鏡頭的視覺特征,將待檢測(cè)鏡頭的視覺特征與模板鏡頭的視覺特征進(jìn)行對(duì)比,判斷待檢測(cè)鏡頭與模板鏡頭是否相同。
在本發(fā)明實(shí)施例中,確定鏡頭中視頻幀之間的幀間變化幅度,根據(jù)幀間變化幅度,決定抽取關(guān)鍵幀的數(shù)量,幀間變化幅度越大抽取的關(guān)鍵幀越多,根據(jù)關(guān)鍵幀的視覺特征進(jìn)行匹配,增大了視頻重復(fù)性檢測(cè)的匹配精度,提高了視頻重復(fù)性檢測(cè)時(shí)的可靠性。
參見圖4,圖4為本發(fā)明實(shí)施例的關(guān)鍵幀選取系統(tǒng)的示意圖,包括:
鏡頭分割模塊401,用于獲取待提取視頻,根據(jù)待提取視頻中視頻幀之間的時(shí)域相關(guān)性,將待提取視頻分割為至少一個(gè)待提取鏡頭,其中,待提取視頻包括:待檢測(cè)視頻和/或模板視頻,待提取鏡頭包括:待檢測(cè)鏡頭和/或模板鏡頭;
第一計(jì)算模塊402,用于分別計(jì)算每個(gè)待提取鏡頭中視頻幀之間的幀間變化幅度;
第二計(jì)算模塊403,用于根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的關(guān)鍵幀提取數(shù)量,并提取每個(gè)待提取鏡頭的關(guān)鍵幀,其中,關(guān)鍵幀提取數(shù)量與幀間變化幅度正相關(guān)。
在本發(fā)明實(shí)施例中,將視頻分割成若干個(gè)鏡頭,根據(jù)每個(gè)鏡頭中視頻幀之間的幀間變化幅度,確定該鏡頭得關(guān)鍵幀的提取數(shù)量,并提取相應(yīng)數(shù)量的關(guān)鍵幀,能夠全面的表達(dá)視頻內(nèi)容。
需要說明的是本發(fā)明實(shí)施例中的系統(tǒng)是應(yīng)用上述關(guān)鍵幀選取方法的系統(tǒng),則上述的關(guān)鍵幀選取方法的所有實(shí)施例均適用于該系統(tǒng),且均能達(dá)到相同或相似的有益效果。
可選的,鏡頭分割模塊401,包括:
顏色直方圖確定子模塊,用于獲取待提取視頻,確定待提取視頻中每一幀視頻幀的rgb色彩模式的顏色直方圖。
歐式距離計(jì)算子模塊,用于分別計(jì)算并將待提取視頻中時(shí)域相鄰的每?jī)蓚€(gè)視頻幀的顏色直方圖之間的歐式距離,按照時(shí)域順序保存到歐式距離集合。
待提取鏡頭確定子模塊,用于根據(jù)歐式距離集合,將待提取視頻進(jìn)行分割,得到至少一個(gè)待提取鏡頭。
在本發(fā)明實(shí)施例中,將待提取視頻的視頻幀轉(zhuǎn)化為顏色直方圖,并計(jì)算出各顏色直方圖之間的歐式距離,根據(jù)歐式距離將待提取視頻進(jìn)行鏡頭分割,給出了將待提取視頻分割成待提取鏡頭的具體方法,鏡頭分割準(zhǔn)確。
可選的,第一計(jì)算模塊402,包括:
歐式距離獲取子模塊,用于在歐式距離集合中,分別獲取每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離。
變化幅度確定子模塊,用于分別計(jì)算并將每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離中,所有歐式距離的和,作為幀間變化幅度。
在本發(fā)明實(shí)施例中,給出了幀間變化幅度的具體計(jì)算方法,為后續(xù)根據(jù)幀間變化幅度,確定每個(gè)鏡頭的關(guān)鍵幀提取數(shù)量,提供了技術(shù)上的支持。
可選的,在待提取鏡頭為待檢測(cè)鏡頭時(shí),第二計(jì)算模塊403,包括:
第一抽取子模塊,用于獲取預(yù)設(shè)的第一抽取幀數(shù),分別在每個(gè)待提取鏡頭中抽取第一抽取幀數(shù)的關(guān)鍵幀;
幀數(shù)計(jì)算子模塊,用于根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù);
第二抽取子模塊,用于分別在每個(gè)待提取鏡頭中抽取待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
在本發(fā)明實(shí)施例中,給出了在待提取鏡頭為待檢測(cè)鏡頭時(shí),關(guān)鍵幀的提取方法,在每個(gè)待檢測(cè)鏡頭中,分別提取第一抽取幀數(shù)和第二抽取幀數(shù)的關(guān)鍵幀,抽取關(guān)鍵幀能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,在待提取鏡頭為模板鏡頭時(shí),第二計(jì)算模塊403,包括:
幀數(shù)計(jì)算子模塊,用于根據(jù)幀間變化幅度,分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù);
第二抽取子模塊,用于分別在每個(gè)待提取鏡頭中抽取待提取鏡頭對(duì)應(yīng)的第二抽取幀數(shù)的關(guān)鍵幀。
在本發(fā)明實(shí)施例中,給出了在待提取鏡頭為模板鏡頭時(shí),關(guān)鍵幀的提取方法,在每個(gè)模板鏡頭中,抽取第二抽取幀數(shù)的關(guān)鍵幀,抽取關(guān)鍵幀能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,幀數(shù)計(jì)算子模塊,包括:
數(shù)據(jù)獲取單元,用于分別獲取幀間變化幅度中,每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離的和d;
第二抽取幀數(shù)計(jì)算單元,用于獲取預(yù)設(shè)的提取系數(shù)f,根據(jù)m=round(d/f),分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù),其中,m為待提取鏡頭的第二抽取幀數(shù)。
在本發(fā)明實(shí)施例中,根據(jù)l2=round(d/f),分別確定每個(gè)待提取鏡頭的第二抽取幀數(shù),給出了第二抽取幀數(shù)的具體計(jì)算方法,利用該第二抽取幀數(shù)抽取關(guān)鍵幀,能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,第二抽取子模塊,包括:
區(qū)域劃分單元,用于根據(jù)幀間變化幅度中每個(gè)待提取鏡頭對(duì)應(yīng)的歐式距離,分別確定每個(gè)模板鏡頭的穩(wěn)定區(qū)及運(yùn)動(dòng)區(qū),其中,穩(wěn)定區(qū)為幀間歐式距離小于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合,運(yùn)動(dòng)區(qū)為幀間歐式距離大于或等于預(yù)設(shè)幀間距離的關(guān)鍵幀的集合。
區(qū)域抽取單元,用于獲取預(yù)設(shè)的第三抽取幀數(shù),分別在每個(gè)待提取鏡頭的穩(wěn)定區(qū)抽取第三抽取幀數(shù)的關(guān)鍵幀,分別在每個(gè)待提取鏡頭的運(yùn)動(dòng)區(qū)抽取第四抽取幀數(shù)的關(guān)鍵幀,其中,在每個(gè)待提取鏡頭中,第三抽取幀數(shù)與第四抽取幀數(shù)的和為第二抽取幀數(shù)。
在本發(fā)明實(shí)施例中,將待提取鏡頭劃分為運(yùn)動(dòng)區(qū)和穩(wěn)定區(qū),在穩(wěn)定區(qū)中提取第三抽取幀數(shù)的關(guān)鍵幀,在運(yùn)動(dòng)區(qū)中抽取第四抽取幀數(shù)的關(guān)鍵幀,關(guān)鍵幀抽取方法合理,能夠全面的表達(dá)待檢測(cè)鏡頭的內(nèi)容。
可選的,本發(fā)明實(shí)施例的關(guān)鍵幀抽取系統(tǒng)還包括:
視覺特征獲取模塊,用于分別獲取每個(gè)模板鏡頭的視覺特征。
第三計(jì)算模塊,用于根據(jù)每個(gè)待檢測(cè)鏡頭的關(guān)鍵幀,分別確定每個(gè)待檢測(cè)鏡頭的視覺特征。
視覺特征比較模塊,用于分別將每個(gè)待檢測(cè)鏡頭對(duì)應(yīng)的視覺特征與每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征進(jìn)行比較,確定鏡頭比較結(jié)果。
在本發(fā)明實(shí)施例中,根據(jù)待檢測(cè)鏡頭的關(guān)鍵幀,確定待檢測(cè)鏡頭的視覺特征,通過比較待檢測(cè)鏡頭的視覺特征及模板鏡頭的視覺特征,判斷待檢測(cè)鏡頭與模板鏡頭是否為同一鏡頭,給出了本發(fā)明實(shí)施例的關(guān)鍵幀選取方法的后續(xù)應(yīng)用場(chǎng)景,通過本發(fā)明實(shí)施例的關(guān)鍵幀選取方法所獲取的關(guān)鍵幀進(jìn)行重復(fù)性檢測(cè),判斷結(jié)果更加準(zhǔn)確。
可選的,第三計(jì)算模塊,包括:
有效區(qū)域截取子模塊,用于根據(jù)預(yù)設(shè)的區(qū)域截取方法,分別截取每個(gè)待檢測(cè)鏡頭的關(guān)鍵幀中的有效區(qū)域。
圖像轉(zhuǎn)換子模塊,用于分別將每個(gè)有效區(qū)域轉(zhuǎn)化為灰度圖像。
噪聲過濾子模塊,用于分別將每個(gè)灰度圖像進(jìn)行高斯模糊濾波及去除噪聲干擾,得到去噪后的灰度圖像。
圖像劃分子模塊,用于分別將每幅去噪后的灰度圖像劃分為n塊子灰度圖像,其中,n為正整數(shù)。
哈希碼確定子模塊,用于分別將每塊子灰度圖像進(jìn)行離散余弦變換,并確定每塊子灰度圖像進(jìn)行離散余弦變換后對(duì)應(yīng)的哈希碼。
視覺特征確定子模塊,用于分別將每個(gè)待提取鏡頭對(duì)應(yīng)的哈希碼進(jìn)行組合,作為每個(gè)待提取鏡頭對(duì)應(yīng)的視覺特征。
在本發(fā)明實(shí)施例中,給出了獲取關(guān)鍵幀的視覺特征的具體計(jì)算方法,有效的確定了關(guān)鍵幀的視覺特征,為根據(jù)視覺特征判定待檢測(cè)鏡頭與模板鏡頭是否相同提供了技術(shù)上的支持。
可選的,本發(fā)明實(shí)施例的關(guān)鍵幀抽取系統(tǒng)還包括:
第四計(jì)算模塊,用于根據(jù)每個(gè)模板鏡頭的關(guān)鍵幀,確定每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征。
在本發(fā)明實(shí)施例中,根據(jù)每個(gè)模板鏡頭的關(guān)鍵幀,確定每個(gè)模板鏡頭對(duì)應(yīng)的視覺特征,為根據(jù)視覺特征判定待檢測(cè)鏡頭與模板鏡頭是否相同提供了技術(shù)上的支持。
需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來,而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
本說明書中的各個(gè)實(shí)施例均采用相關(guān)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見即可,每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其,對(duì)于系統(tǒng)實(shí)施例而言,由于其基本相似于方法實(shí)施例,所以描述的比較簡(jiǎn)單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等,均包含在本發(fā)明的保護(hù)范圍內(nèi)。