專利名稱：一種電視節(jié)目中掛角廣告的提取方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種電視節(jié)目中掛角廣告的提取方法和裝置。
背景技術(shù)：
近年來，電視已經(jīng)遍布千家萬戶，看電視成為了人們?nèi)粘Ｏ?、娛樂所必不可少的方式。隨著電視廣播技術(shù)的迅速發(fā)展，電視頻道以及相應(yīng)的電視節(jié)目的數(shù)量出現(xiàn)了爆炸式的增長。在播放電視節(jié)目的同時(shí)，在電視畫面周邊插播廣告進(jìn)行宣傳的方法也已經(jīng)被很多電視頻道所采用?，F(xiàn)有電視畫面的廣告檢測方法中，由于掛角廣告與臺(tái)標(biāo)同為畫面元素，故常 采用對(duì)臺(tái)標(biāo)的檢測方法提取掛角廣告?，F(xiàn)有技術(shù)通常采用基于全局匹配的識(shí)別方法來識(shí)別臺(tái)標(biāo)，這種識(shí)別方法雖然對(duì)大部分臺(tái)標(biāo)的識(shí)別效果還可以，但掛角廣告在電視畫面中的位置、形狀、色彩、亮度等信息各異，故對(duì)掛角廣告未必適用。具體的，現(xiàn)在常用的臺(tái)標(biāo)檢測方法有幀差法和模型統(tǒng)計(jì)法。幀差法通過分析圖像幀進(jìn)行廣告檢測，由于臺(tái)標(biāo)區(qū)域相鄰兩幀的顏色相對(duì)不變，背景區(qū)域的顏色相對(duì)變化較大，因此在臺(tái)標(biāo)區(qū)域差值較小，非臺(tái)標(biāo)區(qū)域差值大，利用閾值即可將臺(tái)標(biāo)和非臺(tái)標(biāo)區(qū)域分割開來。但該方法對(duì)不透明的臺(tái)標(biāo)檢測效果較好，而對(duì)掛角廣告之類的半透明或動(dòng)畫等類型的臺(tái)標(biāo)檢測效果較差，且容易受圖像噪聲的影響。模型統(tǒng)計(jì)法也是建立在幀差法的基礎(chǔ)上，由于臺(tái)標(biāo)區(qū)域此較固定，非臺(tái)標(biāo)區(qū)域變化較大，一般通過幀間差統(tǒng)計(jì)各像素根據(jù)時(shí)間變化的統(tǒng)計(jì)模型，并根據(jù)統(tǒng)計(jì)模型判斷新的像素是否屬于臺(tái)標(biāo)。但掛角廣告的樣式繁多，對(duì)新樣本無法確定，沒有統(tǒng)一的模板。因此，電視畫面中的掛角廣告提取難度較大，在視頻進(jìn)行二次利用時(shí)，往往無法有效地就掛角廣告區(qū)域填充像素，形成無廣告的視頻資源。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例提供了一種電視節(jié)目中掛角廣告的提取方法和裝置，解決傳統(tǒng)的提取方式對(duì)掛角廣告效果較差的問題。為達(dá)到上述目的，采用如下技術(shù)方案一種視頻中掛角廣告的提取方法，包括分析檢測視頻中的各關(guān)鍵幀，根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域；對(duì)所述穩(wěn)定區(qū)域進(jìn)行跟蹤，檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況；根據(jù)所述變化情況從所述穩(wěn)定區(qū)域中提取掛角廣告。優(yōu)選的，所述分析檢測視頻中的各關(guān)鍵幀時(shí)，基于視頻內(nèi)容對(duì)視頻進(jìn)行分析，將視頻分割為各鏡頭；分別對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取，得到對(duì)應(yīng)的各關(guān)鍵幀。優(yōu)選的，所述基于視頻內(nèi)容對(duì)視頻進(jìn)行分析時(shí)，
提取視頻中各圖像幀之間的幀間差，從而提取中視頻中的轉(zhuǎn)換邊界；根據(jù)所述轉(zhuǎn)換邊界將視頻進(jìn)行分割，得到各鏡頭。優(yōu)選的，所述對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取時(shí)，按序列讀入鏡頭中的各圖像幀，將各圖像幀由RGB顏色空間分別轉(zhuǎn)換為HSV空間；分別計(jì)算相鄰兩圖像幀HSV顏色空間的相似度；當(dāng)HSV顏色空間的相似度大于相似閾值時(shí),將對(duì)應(yīng)的圖像幀作為所述鏡頭對(duì)應(yīng)的關(guān)鍵中貞。優(yōu)選的，所述根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域時(shí)， 將各關(guān)鍵巾貞分別轉(zhuǎn)化為売度圖像，統(tǒng)計(jì)各売度圖像中每一像素在時(shí)序上最大売度值和最小亮度值，統(tǒng)計(jì)亮度變化穩(wěn)定的區(qū)域作為視頻中的穩(wěn)定區(qū)域。優(yōu)選的，所述將各關(guān)鍵幀分別轉(zhuǎn)化為亮度圖像前，根據(jù)既定閾值去除各關(guān)鍵幀邊緣的黑邊。優(yōu)選的，所述檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況時(shí)，根據(jù)穩(wěn)定區(qū)域中亮度值時(shí)序上的變化閾值調(diào)整穩(wěn)定區(qū)域的大小。本發(fā)明還公開了一種視頻中掛角廣告的提取裝置，包括分析單元，用于分析檢測視頻中的各關(guān)鍵幀，根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域；跟蹤單元，用于對(duì)所述穩(wěn)定區(qū)域進(jìn)行跟蹤，檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況；提取單元，用于根據(jù)所述變化情況從所述穩(wěn)定區(qū)域中提取掛角廣告。優(yōu)選的，所述分析單元分析檢測視頻中的各關(guān)鍵幀時(shí)，基于視頻內(nèi)容對(duì)視頻進(jìn)行分析，將視頻分割為各鏡頭；分別對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取，得到對(duì)應(yīng)的各關(guān)鍵幀。優(yōu)選的，所述跟蹤單元檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況時(shí)，根據(jù)穩(wěn)定區(qū)域中亮度值時(shí)序上的變化閾值調(diào)整穩(wěn)定區(qū)域的大小。本發(fā)明實(shí)施例提供的一種電視節(jié)目中掛角廣告的提取方法和裝置，通過根據(jù)視頻中的各鏡頭分別提取各關(guān)鍵巾貞，并對(duì)關(guān)鍵巾貞中的穩(wěn)定區(qū)域進(jìn)行跟蹤，從而提取出掛角廣告。本發(fā)明分別在各鏡頭所屬的場景中分別對(duì)關(guān)鍵幀進(jìn)行分析、跟蹤，不但不易受圖像噪聲的影響，而且充分適應(yīng)了掛角廣告在電視畫面中的位置、形狀、色彩、亮度等的多樣性特點(diǎn)，從而將電視畫面中的掛角廣告有效提取，進(jìn)而將掛角廣告區(qū)域填充像素，制作無廣告的視頻資源。


圖I為本發(fā)明實(shí)施例一提供的一種電視節(jié)目中掛角廣告的提取方法的流程圖；圖2為本發(fā)明實(shí)施例一提供的一種電視節(jié)目中掛角廣告的提取方法中分析檢測視頻中的各關(guān)鍵幀時(shí)的流程圖；圖3為本發(fā)明實(shí)施例一提供的一種電視節(jié)目中掛角廣告的提取方法中對(duì)視頻進(jìn)行分析時(shí)的流程圖4為本發(fā)明實(shí)施例一提供的一種電視節(jié)目中掛角廣告的提取方法中對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取時(shí)的流程圖；圖5為本發(fā)明實(shí)施例二提供的一種電視節(jié)目中掛角廣告的提取裝置的模塊結(jié)構(gòu)圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例一種電視節(jié)目中掛角廣告的提取方法和裝置進(jìn)行詳細(xì)描述。在過去的二十年時(shí)間里，電視廣告發(fā)展很快，出現(xiàn)了各式各樣的廣告，有的廣告喜聞樂見，但有的廣告卻招致詬病，其中掛角廣告就屬于招致詬病的一類。本方面主要解決電視畫面中掛角廣告提取的問題。掛角廣告主要存在中國大陸的電視節(jié)目中，國外的電視節(jié)目中相對(duì)較少發(fā)現(xiàn)?，F(xiàn)有電視畫面往往將臺(tái)標(biāo)或logo提取完 畢后填充像素，使電視畫面中自動(dòng)消除臺(tái)標(biāo)。由于掛角廣告主要位于電視畫面的邊角位置，其位置大小相對(duì)固定，且有一定的持續(xù)時(shí)間，掛角廣告一般色彩鮮艷，且大部分為不透明的logo。本發(fā)明即將掛角廣告作為一種特殊的logo，實(shí)現(xiàn)掛角廣告的提取。本發(fā)明公開了一種視頻中掛角廣告的提取方法，如圖I所示，包括步驟10、分析檢測視頻中的各關(guān)鍵幀，根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域；在視頻分析領(lǐng)域中，鏡頭是組成視頻的基本單元和進(jìn)行視頻序列分析的基礎(chǔ)。鏡頭分割的好壞直接影響到最終關(guān)鍵幀的提取結(jié)果。例如，視頻通常跨若干鏡頭，同一組鏡頭內(nèi)，圖像內(nèi)容變化很小。因此通過鏡頭分割，可提供一組廣告的持續(xù)鏡頭數(shù)和關(guān)鍵幀的信肩、O優(yōu)選的，所述分析檢測視頻中的各關(guān)鍵幀時(shí)，如圖2所示，包括如下步驟步驟101、基于視頻內(nèi)容對(duì)視頻進(jìn)行分析，將視頻分割為各鏡頭；優(yōu)選的，如圖3所示，所述基于視頻內(nèi)容對(duì)視頻進(jìn)行分析時(shí)，步驟101a、提取視頻中各圖像幀之間的幀間差，從而提取中視頻中的轉(zhuǎn)換邊界；本實(shí)施例中，采用滑動(dòng)窗口對(duì)視頻中的相鄰幀進(jìn)行圖像檢索，根據(jù)相鄰幀圖像變化和差異性統(tǒng)計(jì)相鄰幀之間的幀間差。將相鄰幀對(duì)應(yīng)的顏色局部累積直方圖與圖像幀的紋理相結(jié)合，分別在相鄰幀中進(jìn)行掃描，從而統(tǒng)計(jì)出相鄰幀的幀間差。從各圖像幀之間的幀間差中按梯度閾值統(tǒng)計(jì)出幀間差較大時(shí)對(duì)應(yīng)的圖像幀,則所述圖像幀對(duì)應(yīng)視頻中的轉(zhuǎn)換邊界。步驟101b、根據(jù)所述轉(zhuǎn)換邊界將視頻進(jìn)行分割，得到各鏡頭。按轉(zhuǎn)換邊界將視頻進(jìn)行分割，相鄰兩轉(zhuǎn)換邊界對(duì)應(yīng)的視頻內(nèi)容為鏡頭。步驟102、分別對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取，得到對(duì)應(yīng)的各關(guān)鍵幀。優(yōu)選的，如圖4所示，所述對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取時(shí)，步驟102a、按序列讀入鏡頭中的各圖像幀，將各圖像幀由RGB顏色空間分別轉(zhuǎn)換為HSV空間；步驟102b、分別計(jì)算相鄰兩圖像幀HSV顏色空間的相似度；步驟102c、當(dāng)HSV顏色空間的相似度大于相似閾值時(shí)，將對(duì)應(yīng)的圖像幀作為鏡頭對(duì)應(yīng)的關(guān)鍵幀。
本實(shí)施例中，對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取時(shí)，對(duì)每個(gè)鏡頭提取一幀圖像作為關(guān)鍵幀，用于穩(wěn)定區(qū)域判斷的初始化條件。采用基于顏色直方圖的方法進(jìn)行鏡頭分割，即從第I幀關(guān)鍵幀開始，采用循環(huán)過程完成以下步驟I.讀入第i幀圖像幀pk，將第i幀圖像幀pk由RGB顏色空間轉(zhuǎn)換為HSV顏色空間；2.在HSV顏色空間中，依據(jù)顏色空間HSV中H，S通道分別計(jì)算HS空間顏色直方圖—t ；3.計(jì)算當(dāng)前圖像幀直方圖/^《和上一圖像幀直方圖的相似度Sim(k，k_l)
[
權(quán)利要求
1.一種視頻中掛角廣告的提取方法，其特征在于，包括 分析檢測視頻中的各關(guān)鍵幀，根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域； 對(duì)所述穩(wěn)定區(qū)域進(jìn)行跟蹤，檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況； 根據(jù)所述變化情況從所述穩(wěn)定區(qū)域中提取掛角廣告。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于所述分析檢測視頻中的各關(guān)鍵幀時(shí)， 基于視頻內(nèi)容對(duì)視頻進(jìn)行分析，將視頻分割為各鏡頭； 分別對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取，得到對(duì)應(yīng)的各關(guān)鍵幀。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述基于視頻內(nèi)容對(duì)視頻進(jìn)行分析時(shí)， 提取視頻中各圖像幀之間的幀間差，從而提取中視頻中的轉(zhuǎn)換邊界； 根據(jù)所述轉(zhuǎn)換邊界將視頻進(jìn)行分割，得到各鏡頭。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于所述對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取時(shí)， 按序列讀入鏡頭中的各圖像幀，將各圖像幀由RGB顏色空間分別轉(zhuǎn)換為HSV空間； 分別計(jì)算相鄰兩圖像幀HSV顏色空間的相似度； 當(dāng)HSV顏色空間的相似度大于相似閾值時(shí)，將對(duì)應(yīng)的圖像幀作為所述鏡頭對(duì)應(yīng)的關(guān)鍵幀。
5.根據(jù)權(quán)利要求I所述的方法，其特征在于所述根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域時(shí)， 將各關(guān)鍵幀分別轉(zhuǎn)化為亮度圖像，統(tǒng)計(jì)各亮度圖像中每一像素在時(shí)序上最大亮度值和最小亮度值，統(tǒng)計(jì)亮度變化穩(wěn)定的區(qū)域作為視頻中的穩(wěn)定區(qū)域。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于所述將各關(guān)鍵幀分別轉(zhuǎn)化為亮度圖像前，根據(jù)既定閾值去除各關(guān)鍵幀邊緣的黑邊。
7.根據(jù)權(quán)利要求I或5所述的方法，其特征在于所述檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況時(shí)，根據(jù)穩(wěn)定區(qū)域中亮度值時(shí)序上的變化閾值調(diào)整穩(wěn)定區(qū)域的大小。
8.一種視頻中掛角廣告的提取裝置，其特征在于，包括 分析單元，用于分析檢測視頻中的各關(guān)鍵幀，根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域； 跟蹤單元，用于對(duì)所述穩(wěn)定區(qū)域進(jìn)行跟蹤，檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況； 提取單元，用于根據(jù)所述變化情況從所述穩(wěn)定區(qū)域中提取掛角廣告。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于所述分析單元分析檢測視頻中的各關(guān)鍵幀時(shí)， 基于視頻內(nèi)容對(duì)視頻進(jìn)行分析，將視頻分割為各鏡頭； 分別對(duì)每個(gè)鏡頭中的各圖像幀進(jìn)行提取，得到對(duì)應(yīng)的各關(guān)鍵幀。
10.根據(jù)權(quán)利要求8所述的裝置，其特征在于所述跟蹤單元檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況時(shí)，根據(jù)穩(wěn)定區(qū)域中亮度值時(shí)序上的變化閾值調(diào)整穩(wěn)定區(qū)域的大小。
全文摘要
本發(fā)明實(shí)施例公開了一種電視節(jié)目中掛角廣告的提取方法和裝置，屬于圖像處理領(lǐng)域。方法包括分析檢測視頻中的各關(guān)鍵幀，根據(jù)關(guān)鍵幀提取視頻中的穩(wěn)定區(qū)域；對(duì)所述穩(wěn)定區(qū)域進(jìn)行跟蹤，檢測所述穩(wěn)定區(qū)域時(shí)序上的變化情況；根據(jù)所述變化情況從所述穩(wěn)定區(qū)域中提取掛角廣告。本發(fā)明通過分別在各鏡頭所屬的場景中分別對(duì)關(guān)鍵幀進(jìn)行分析、跟蹤，不但不易受圖像噪聲的影響，而且充分適應(yīng)了掛角廣告在電視畫面中的位置、形狀、色彩、亮度等的多樣性特點(diǎn)，從而將電視畫面中的掛角廣告有效提取，進(jìn)而將掛角廣告區(qū)域填充像素，制作無廣告的視頻資源。
文檔編號(hào)G06T7/00GK102831611SQ201210297749
公開日2012年12月19日 申請(qǐng)日期2012年8月21日 優(yōu)先權(quán)日2012年8月21日
發(fā)明者徐洪偉 申請(qǐng)人:北京捷成世紀(jì)科技股份有限公司