專利名稱：一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體通信技術(shù)，特別涉及到從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的 技術(shù)。
背景技術(shù)：
20世紀(jì)90年代出現(xiàn)的基于內(nèi)容的視頻(圖像)、音頻和多i某體檢索技術(shù)發(fā) 展到今天，已經(jīng)成為一個(gè)涉及和包含多門學(xué)科理論的新的綜合性應(yīng)用領(lǐng)域。其 應(yīng)用面也越來(lái)越廣，比如目前發(fā)展迅速的海量^L頻內(nèi)容管理、網(wǎng)絡(luò)視頻圖像4全 索。海量視頻內(nèi)容管理已經(jīng)成功的應(yīng)用于多家圖書館和電視臺(tái)，網(wǎng)絡(luò)視頻圖像 檢索也是目前多家公司研發(fā)推廣的重點(diǎn)。對(duì)于視頻圖像數(shù)據(jù)的檢索，目前比較 通常的做法是第一步進(jìn)行鏡頭切割，然后抽取有效代表鏡頭內(nèi)容的關(guān)鍵幀， 這時(shí)可以用靜態(tài)圖像檢索的技術(shù)來(lái)檢索關(guān)鍵幀，從而到達(dá)檢索視頻的目的。
廣告作為傳統(tǒng)媒體中商業(yè)信息的主要載體在數(shù)字化的今天依然扮演著不 可或缺的角色?，F(xiàn)在制作每條廣告需要花費(fèi)上百萬(wàn)，而在一些黃金時(shí)段插播一 條廣告甚至?xí)ㄙM(fèi)上千萬(wàn)，廣告已經(jīng)影響了成千上萬(wàn)人的生活和工作習(xí)慣。盡 管廣告在現(xiàn)在的生活中有著重要的意義，但是由于廣告的拍攝手法千變?nèi)f化、 內(nèi)容形式多種多樣，對(duì)于廣告檢索方面的研究一直進(jìn)展緩慢。
早期的廣告檢測(cè)主要通過(guò)基于臺(tái)標(biāo)的檢測(cè)、鏡頭切換速率及黑幀(Black Frame)的4僉測(cè)這三種方法。但是現(xiàn)在的電視臺(tái)在播;^文廣告時(shí)往往不隱去臺(tái)標(biāo)， 并且也不是必須要插入黑幀，所以早期的廣告檢測(cè)方法并不能適應(yīng)現(xiàn)在的廣告 設(shè)計(jì)。針對(duì)這種問(wèn)題，目前的解決方法有兩種。 一是基于統(tǒng)計(jì)學(xué)習(xí)，利用SVM (Support Vector Machines,支持向量機(jī))等分類器進(jìn)行廣告檢測(cè)；第二種通過(guò)檢 測(cè)重復(fù)鏡頭來(lái)確定廣告序列。但是這兩種方法在檢測(cè)過(guò)程中需要存儲(chǔ)大量的廣
告數(shù)據(jù)，因此對(duì)于廣告數(shù)據(jù)庫(kù)的要求非常高，所以需要大容量的存儲(chǔ)系統(tǒng)提供 支持，并且不能進(jìn)行實(shí)時(shí)的檢測(cè)。同時(shí)，由于多數(shù)廣告檢測(cè)的應(yīng)用環(huán)境都要求 實(shí)時(shí)性并無(wú)法提供高配置的硬件系統(tǒng)(如數(shù)字錄像設(shè)備)，所以這種方法并不 能滿足現(xiàn)階段的設(shè)計(jì)需求。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的方法及設(shè)備，用以 在對(duì)廣告進(jìn)行實(shí)時(shí)檢測(cè)時(shí)降低對(duì)配置系統(tǒng)存儲(chǔ)能力的需求。 一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的方法，包括
在廣播視頻流的音頻流中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在視頻流中4企測(cè)
到鏡頭切換時(shí)，將對(duì)應(yīng)的時(shí)間確定為第一時(shí)間；
檢測(cè)長(zhǎng)度為一個(gè)廣告最大時(shí)長(zhǎng)并以所述第一時(shí)間為結(jié)束時(shí)間的視頻流，并 將檢測(cè)到鏡頭切換時(shí)對(duì)應(yīng)的時(shí)間確定為第二時(shí)間；
當(dāng)所述第二時(shí)間至第一時(shí)間的視頻流符合設(shè)定條件時(shí)，將所述第二時(shí)間至 第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
所述第二時(shí)間檢測(cè)到的鏡頭切換為強(qiáng)鏡頭切換時(shí)，所述視頻流符合的設(shè)定 條件包括第二時(shí)間至第一時(shí)間的鏡頭切換密度大于第 一閾值。
其中所述在所述第一時(shí)間之前的廣告最大時(shí)長(zhǎng)內(nèi)^r測(cè)到的鏡頭切換為弱 鏡頭切換時(shí)，所述視頻流符合的設(shè)定條件包括第二時(shí)間至第一時(shí)間內(nèi)的鏡頭 切換密度大于第一閾值，并且所述設(shè)定長(zhǎng)度的靜音對(duì)應(yīng)的視頻流中包括至少一 個(gè)產(chǎn)品信息幀。
所述在所述第 一 時(shí)間之前的廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)到的鏡頭切換為弱鏡頭 切換時(shí)，所述視頻流符合的設(shè)定條件包括第二時(shí)間至第一時(shí)間內(nèi)的鏡頭切換 密度大于第一閾值，并且所述第二時(shí)間之前或第一時(shí)間之后的廣播數(shù)據(jù)流為廣
告。 '
所述視頻流符合的設(shè)定條件還包括所述設(shè)定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視頻
流 中不包括產(chǎn)品信息幀。
所述在所述第一時(shí)間之前的廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)鏡頭切換的具體方法包
括
將所述第一時(shí)間減去廣告最大時(shí)長(zhǎng)的時(shí)間作為第一次;險(xiǎn)測(cè)時(shí)間，在所述第 一次檢測(cè)時(shí)間后，逐個(gè)增加一個(gè)廣告最小長(zhǎng)度單位并檢測(cè)是否發(fā)生鏡頭切換。 所述靜音的設(shè)定長(zhǎng)度在1毫秒 1秒之間。
當(dāng)檢測(cè)到像素變化個(gè)數(shù)占像素總數(shù)的比例大于第二闊值的視頻幀時(shí)，確定 發(fā)生強(qiáng)鏡頭切換。
當(dāng)檢測(cè)到像素變化個(gè)數(shù)占像素總數(shù)的比例大于第三閾值、但小于等于第二 閾值時(shí)，確定發(fā)生弱鏡頭切換。
一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的設(shè)備，包括
檢測(cè)模塊，用于分別檢測(cè)廣播視頻流中的音頻流和^L頻流；在所述音頻流 中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在所述視頻流中檢測(cè)到鏡頭切換時(shí)，將對(duì)應(yīng)的 時(shí)間確定為第一時(shí)間；在所述第一時(shí)間之前的廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)到鏡頭切換 時(shí)，將對(duì)應(yīng)的時(shí)間確定為第二時(shí)間；
判決模塊，用于根據(jù)所述檢測(cè)模塊確定的第一時(shí)間和第二時(shí)間，當(dāng)所述第 二時(shí)間至第一時(shí)間的^L頻流符合設(shè)定條件時(shí)，將所述第二時(shí)間至第一時(shí)間的廣 播數(shù)據(jù)流判定為廣告。
其中所述檢測(cè)模塊還判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為強(qiáng)鏡頭切 換，并檢測(cè)所述第二時(shí)間至第一時(shí)間的鏡頭切換密度；
所述判決模塊根據(jù)檢測(cè)模塊的檢測(cè)結(jié)果，在所述第二時(shí)間檢測(cè)到的鏡頭切 換為強(qiáng)鏡頭切換，并且第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值時(shí)， 將第二時(shí)間至第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
所述檢測(cè)模塊還判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為弱鏡頭切換，并檢 測(cè)所述第二時(shí)間至第一時(shí)間的鏡頭切換密度，以及檢測(cè)所述設(shè)定長(zhǎng)度范圍的靜 音對(duì)應(yīng)的視頻流中是否包括至少 一個(gè)產(chǎn)品信息幀；所述判決模塊根據(jù)檢測(cè)模塊的檢測(cè)結(jié)果，在所述第二時(shí)間檢測(cè)到的鏡頭切 換為弱鏡頭切換，第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值，并且所 述設(shè)定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視頻流中包括至少一個(gè)產(chǎn)品信息幀時(shí)，將第二時(shí) 間至第 一 時(shí)間的廣#"數(shù)據(jù)流判定為廣告。
所述判決模塊根據(jù)檢測(cè)模塊的檢測(cè)結(jié)果，在所述第二時(shí)間檢測(cè)到的鏡頭切 換為弱鏡頭切換，第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值，但所述 設(shè)定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視頻流中不包括產(chǎn)品信息幀，則當(dāng)所述第二時(shí)間之 前或第 一 時(shí)間之后的廣播數(shù)據(jù)流被判定為廣告時(shí)，將所述第二時(shí)間至第 一 時(shí)間 的廣播數(shù)據(jù)流判定為廣告。
較佳的，所述檢測(cè)模塊包括
用于在廣播視頻流的音頻流中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在視頻流中
檢測(cè)到鏡頭切換時(shí)，將對(duì)應(yīng)的時(shí)間確定為第 一時(shí)間的單元；
用于檢測(cè)長(zhǎng)度為 一個(gè)廣告最大時(shí)長(zhǎng)并以所述第 一時(shí)間為結(jié)束時(shí)間的視頻 流，并將檢測(cè)到鏡頭切換時(shí)對(duì)應(yīng)的時(shí)間確定為第二時(shí)間的單元。
所述檢測(cè)模塊包括
用于判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為強(qiáng)鏡頭切換的單元，以及
用于檢測(cè)所述第二時(shí)間至第一時(shí)間鏡頭切換密度的單元。
所述檢測(cè)模塊包括
用于判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為弱鏡頭切換的單元；
用于檢測(cè)所述第二時(shí)間至第一時(shí)間鏡頭切換密度的單元；以及
用于檢測(cè)所述設(shè)定長(zhǎng)度的靜音對(duì)應(yīng)的視頻流中是否包括至少一個(gè)產(chǎn)品信
息幀的單元。
本發(fā)明實(shí)施例提供一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的技術(shù)方案，可以實(shí) 時(shí)檢測(cè)廣播數(shù)據(jù)流中音頻流和視頻流，并根據(jù)廣告的結(jié)構(gòu)特征從中檢測(cè)出廣 告，在檢測(cè)過(guò)程中最多需要存儲(chǔ)兩個(gè)最大廣告時(shí)長(zhǎng)的廣播數(shù)據(jù)，不需要存儲(chǔ)大 量數(shù)據(jù)，從而降低了對(duì)存儲(chǔ)能力的需求。由于本發(fā)明實(shí)施例利用廣告的結(jié)構(gòu)特
征作為檢測(cè)依據(jù)，因此具有較高的準(zhǔn)確率和查全率。


圖1為本發(fā)明實(shí)施例廣告檢測(cè)流程圖2為本發(fā)明實(shí)施例相鄰時(shí)間^殳判斷廣告的示意圖3為本發(fā)明實(shí)施例一種常用的實(shí)施方案；
圖4為本實(shí)施例從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的設(shè)備的結(jié)構(gòu)圖。
具體實(shí)施例方式
廣告具有一些基本特征，與本發(fā)明實(shí)施例實(shí)時(shí)進(jìn)行廣告檢測(cè)的相關(guān)特征包
括
1、 廣告時(shí)長(zhǎng)是最小長(zhǎng)度單位的倍數(shù)，并且廣告最大時(shí)長(zhǎng)為設(shè)定值； 例如，廣告最小長(zhǎng)度單位為5秒，最大時(shí)長(zhǎng)為30秒時(shí)，廣告時(shí)長(zhǎng)為5的
整數(shù)倍并小于等于30秒，如還可以是25秒、20秒等。
2、 廣告的結(jié)尾處一般為靜音；
廣告結(jié)尾處?kù)o音的長(zhǎng)度一般為1毫秒~1秒，可以通過(guò)采樣音頻流進(jìn)行靜音 檢測(cè)， 一般采樣點(diǎn)音量在200以內(nèi)時(shí)，人耳就無(wú)法聽(tīng)到，稱之為靜音。
3、 廣告開(kāi)始和結(jié)束一^t殳都會(huì)有一個(gè)場(chǎng)景的切換，此時(shí)會(huì)出現(xiàn)鏡頭切換； 廣告視頻流包含一系列的視頻幀，顏色基調(diào)的變化會(huì)產(chǎn)生鏡頭切換，顏色
基調(diào)的變化比較強(qiáng)烈的稱為強(qiáng)鏡頭切換，顏色基調(diào)的變化比較微弱的稱為弱鏡 頭切換。在集中連續(xù)播放的廣告中，每個(gè)廣告所擁有的場(chǎng)景不同，同一個(gè)廣告 場(chǎng)景中，顏色基調(diào)一般是相同的。
當(dāng)相鄰兩個(gè)視頻幀對(duì)應(yīng)位置上像素值的變化大于一定閾值時(shí)，認(rèn)為像素發(fā) 生變化，如果發(fā)生變化的像素個(gè)數(shù)占一個(gè)視頻幀中像素總數(shù)的比例達(dá)到設(shè)定閾 值時(shí)，則認(rèn)為顏色基調(diào)發(fā)生變化，因此可以使用如下公式1計(jì)算像素變化比來(lái) 判斷是否發(fā)生鏡頭切換
像素變化比例=變化的像素個(gè)數(shù)/像素總數(shù) (1 )
其中變化的像素個(gè)數(shù)是相鄰兩個(gè)視頻幀中發(fā)生變化的像素個(gè)數(shù)，像素總 數(shù)為 一個(gè)視頻幀中的像素總個(gè)數(shù)。
在相鄰兩個(gè)視頻幀中，逐點(diǎn)進(jìn)行比較，統(tǒng)計(jì)出相鄰兩個(gè)視頻幀中發(fā)生變化
的像素個(gè)數(shù)?，F(xiàn)有技術(shù)中， 一般定義強(qiáng)鏡頭切換閾值為0.7，弱鏡頭切換閾值 為0.35,即當(dāng)相鄰兩個(gè)視頻幀的像素變化比大于強(qiáng)鏡頭切換閾值0.7時(shí)可以判 斷發(fā)生了強(qiáng)鏡頭切換；當(dāng)鏡頭切換的值大于弱鏡頭切換閾值0.35且小于等于強(qiáng) 鏡頭切換閾值0.7時(shí)可以判斷發(fā)生了弱鏡頭切換。強(qiáng)鏡頭切換閾值和弱鏡頭切 換閾值可以根據(jù)應(yīng)用場(chǎng)景和經(jīng)驗(yàn)值進(jìn)行靈活調(diào)整。例如，可以設(shè)定強(qiáng)鏡頭切換 閣值為0.68,弱鏡頭切換閾值為0.38等，這里不再一一舉例說(shuō)明。
4、 廣告時(shí)段的鏡頭切換密度較大；
由于廣告片制作較為精煉和簡(jiǎn)短，相對(duì)于正常的節(jié)目，廣告中的鏡頭切換 非常頻繁，頻繁的鏡頭切換便于更加緊湊且全面的展現(xiàn)廣告所要宣傳的產(chǎn)品。 鏡頭切換密度是指鏡頭切換的頻率，可以如下公式2計(jì)算
鏡頭切換密度=鏡頭切換總次數(shù)(個(gè))財(cái)間(秒) (2 )
其中鏡頭切換總次數(shù)為統(tǒng)計(jì)時(shí)間內(nèi)，強(qiáng)鏡頭切換次數(shù)和弱鏡頭切換次數(shù) 之和。鏡頭切換密度可以作為廣告的一個(gè)判斷依據(jù)，當(dāng)統(tǒng)計(jì)時(shí)間內(nèi)鏡頭切換密 度大于設(shè)定閾值時(shí)，則可以判定統(tǒng)計(jì)時(shí)間內(nèi)的內(nèi)容為廣告，鏡頭切換密度閾值 例如0.38,本領(lǐng)域技術(shù)人員可以根據(jù)應(yīng)用場(chǎng)景和經(jīng)驗(yàn)值靈活調(diào)整鏡頭切換密度 閾值，這里不再一一舉例說(shuō)明。
5、 廣告的結(jié)尾處通常加入幾秒品牌或產(chǎn)品展示；
廣告提供商為了加強(qiáng)宣傳其品牌或產(chǎn)品的效果，都會(huì)在廣告結(jié)束時(shí)加入幾 秒品牌或產(chǎn)品展示，最常用的方式為把商標(biāo)或產(chǎn)品樣品放在屏幕的中間，背 景為簡(jiǎn)單的單色(黑、白等)，以突出效果。這段時(shí)間的視頻流中包括至少一 個(gè)產(chǎn)品信息幀，由于出現(xiàn)產(chǎn)品信息幀時(shí)廣告中的背景為筒單的單色，所以在產(chǎn) 品信息幀對(duì)應(yīng)的彩色直方圖上會(huì)有明顯遠(yuǎn)遠(yuǎn)高于其它顏色點(diǎn)的 一個(gè)峰值，并且
由于品牌或產(chǎn)品展示的持續(xù)時(shí)間一般為0.5 3秒，所以可以根據(jù)彩色直方圖方 便檢測(cè)出產(chǎn)品信息幀。
6、 一般情況下，插播的廣告是由多個(gè)廣告組成的廣告序列，廣告集中連
續(xù)播放。
因此當(dāng)一段廣播數(shù)據(jù)流之前或之后的內(nèi)容是廣告時(shí)，該段廣播數(shù)據(jù)流也很
基于廣告的上述特征，當(dāng)根據(jù)廣播數(shù)據(jù)流中出現(xiàn)的符合設(shè)定長(zhǎng)度范圍的靜 音并伴有鏡頭切換時(shí)可以初步確定廣告的結(jié)束時(shí)間，然后以廣告最大時(shí)長(zhǎng)或廣 告最大時(shí)長(zhǎng)減去整數(shù)倍最小計(jì)量單位可以初步確定廣告開(kāi)始時(shí)間，最后根據(jù)下
面的設(shè)定條件可以判定在開(kāi)始時(shí)間和結(jié)束時(shí)間之間的廣播數(shù)據(jù)流是否為廣告
1、 開(kāi)始時(shí)間檢測(cè)出強(qiáng)鏡頭切換并且該段時(shí)間內(nèi)鏡頭切換密度達(dá)到設(shè)定閾 值時(shí)，則判定該段時(shí)間的內(nèi)容為廣告；
2、 開(kāi)始時(shí)間檢測(cè)出弱鏡頭切換、該段時(shí)間內(nèi)鏡頭切換密度達(dá)到設(shè)定闞值 并且在結(jié)束的靜音時(shí)伴有產(chǎn)品信息幀，判定該段時(shí)間的內(nèi)容為廣告；
3、 開(kāi)始時(shí)間檢測(cè)出弱鏡頭切換、該段時(shí)間內(nèi)鏡頭切換密度達(dá)到設(shè)定閾值， 但在結(jié)束的靜音時(shí)沒(méi)有產(chǎn)品信息幀，則相鄰時(shí)間段為廣告時(shí)可以判定該段時(shí)間 的內(nèi)容為廣告。
本發(fā)明實(shí)施例提出一種通過(guò)靜音檢測(cè)和鏡頭切換檢測(cè)相結(jié)合的技術(shù)方案， 利用廣告結(jié)構(gòu)特征、或者廣告結(jié)構(gòu)特征和電視臺(tái)插播廣告的特點(diǎn)從廣播數(shù)據(jù)流 中實(shí)時(shí)檢測(cè)出廣告。具體方案包括對(duì)接收到的廣播數(shù)據(jù)流進(jìn)行解壓縮和去噪 音預(yù)處理后，分別進(jìn)行音頻處理和視頻處理；在音頻流中檢測(cè)出設(shè)定長(zhǎng)度范圍 內(nèi)的靜音且在對(duì)應(yīng)^L頻流中發(fā)生鏡頭切換時(shí)，確定發(fā)生鏡頭切換時(shí)為廣告的結(jié) 束時(shí)間，進(jìn)一步才艮據(jù)廣告邀:據(jù)流的結(jié)構(gòu)特征，在廣告最大時(shí)長(zhǎng)中判斷廣告的開(kāi) 始時(shí)間，結(jié)束時(shí)間和開(kāi)始時(shí)間之間符合上述條件之一 的內(nèi)容即為廣告。
本實(shí)施例提供的技術(shù)方案的廣告最大時(shí)長(zhǎng)為設(shè)定值，并且廣告最大時(shí)長(zhǎng)為 廣告最小計(jì)量單位的整數(shù)倍時(shí)都可以應(yīng)用，下面以廣告最大時(shí)長(zhǎng)為30秒，廣
告最小計(jì)量單位為5秒進(jìn)行詳細(xì)描述。
本發(fā)明實(shí)施例提供的技術(shù)方案分為音頻處理和視頻處理兩個(gè)部分
1、 音頻處理
包括靜音檢測(cè)和靜音長(zhǎng)度的判斷。
靜音檢測(cè)對(duì)音頻流進(jìn)行采樣， 一般采樣點(diǎn)音量在200以內(nèi)時(shí)，人耳就無(wú) 法聽(tīng)到，稱之為靜音，靜音的設(shè)定長(zhǎng)度范圍為1毫秒 1秒。
2、 一見(jiàn)頻處理
包括檢測(cè)鏡強(qiáng)鏡頭頭切換和弱鏡頭切換，以及鏡頭切換密度。 具體檢測(cè)流程圖如圖1所示，包括如下步驟
步驟SIOI,接收廣播數(shù)據(jù)流，對(duì)該廣播數(shù)據(jù)流進(jìn)行預(yù)處理，廣播數(shù)據(jù)流中 包括音頻流和一見(jiàn)頻流；
步驟S102，對(duì)預(yù)處理后的音頻流進(jìn)行靜音檢測(cè)；
步驟S103，對(duì)預(yù)處理后的視頻流進(jìn)行鏡頭切換檢測(cè)；
步驟S104，判斷在音頻流中檢測(cè)出符合設(shè)定長(zhǎng)度范圍內(nèi)的靜音時(shí)是否在視 頻流中對(duì)應(yīng)發(fā)生鏡頭切換，如果是則繼續(xù)，否則循環(huán)^丸4f步驟S104;
本發(fā)明實(shí)施例中，設(shè)定靜音長(zhǎng)度范圍，例如1毫秒 1秒。
步驟S105，確定發(fā)生鏡頭切換時(shí)的時(shí)間Tl;
步驟S106,令T2^30秒，N = 0;
步驟S107,確定T3,- (T2-5xN);
步驟S108,判斷視頻流在T3時(shí)刻是否發(fā)生鏡頭切換，如果是則繼續(xù)，否 則執(zhí)行步驟S105和S106，令N增加l,并判斷N小于6后返回步驟S107; 在N等于6時(shí)執(zhí)行步驟S115判定沒(méi)有找到廣告；
Tl為初步判定的廣告結(jié)束時(shí)間，T3為初步判斷的廣告開(kāi)始時(shí)間，T1-T3 為廣告時(shí)長(zhǎng)，本實(shí)施例中，廣告最大時(shí)長(zhǎng)為30秒，以最小長(zhǎng)度單位5秒遞減， 如果視頻流在T3時(shí)刻發(fā)生鏡頭切換，則進(jìn)一步判斷T3至Tl時(shí)間段內(nèi)是否為 廣告，否則令N增加1后重新判斷視頻流在T3時(shí)刻是否發(fā)生鏡頭切換，直到
N等于6時(shí)，都沒(méi)有發(fā)生鏡頭切換則結(jié)束。當(dāng)然，也可以逐幀檢測(cè)視頻流是否
發(fā)生鏡頭切換以確定T3。
步驟S109，判斷T3時(shí)刻是否發(fā)生的鏡頭切換是否為強(qiáng)鏡頭切換，如果是 則執(zhí)行步驟S110;否則執(zhí)行步驟S111;
步驟SllO，判斷T3至Tl時(shí)間段內(nèi)鏡頭切換密度是否大于設(shè)定的鏡頭切 換密度閾值，如果是則執(zhí)行步驟S114判定T3至Tl時(shí)間段內(nèi)的廣播數(shù)據(jù)流為 廣告；否則令N增加l,并判斷N小于6后返回步驟S107;若N等于6則執(zhí) 行步驟S115判定T3至Tl時(shí)間段內(nèi)的廣播數(shù)據(jù)流不是廣告；
步驟Slll,繼續(xù)判斷T3至Tl時(shí)間段內(nèi)鏡頭切換密度是否大于設(shè)定的鏡 頭切換密度閾值，如果是則執(zhí)行步驟S112;否則令N增加1，并判斷N小于6 后返回步驟S107;在N等于6時(shí)執(zhí)行步驟S115判定沒(méi)有找到廣告；
步驟S112，判斷在檢測(cè)出的靜音時(shí)間段內(nèi)，視頻流中是否對(duì)應(yīng)有產(chǎn)品信息 幀，如果是則執(zhí)行步驟S114判定T3至Tl時(shí)間段內(nèi)的廣播數(shù)據(jù)流為廣告；否 則執(zhí)行步驟S113;
步驟S113,判斷T3之前的時(shí)間段內(nèi)容是否為廣告，如果是則執(zhí)行步驟S114 判定T3至T1時(shí)間段內(nèi)的廣播數(shù)據(jù)流為廣告；否則令N增加1，并判斷N小 于6后返回步驟S107;在N等于6時(shí)執(zhí)行步驟S115判定沒(méi)有找到廣告；
還可以等待Tl之后的時(shí)間段是否被判定為廣告，如果是，則也可以判定 T3至Tl時(shí)間段內(nèi)的廣播數(shù)據(jù)流為廣告；
步驟S114, T3至T1時(shí)間段內(nèi)的廣播數(shù)據(jù)流為廣告；
步驟S115，判定沒(méi)有找到廣告。
根據(jù)相鄰時(shí)間段判斷廣告的示意圖如圖2所示，圖2中的3個(gè)時(shí)間段分別 代表3段符合廣告最大時(shí)長(zhǎng)30秒的廣播數(shù)據(jù)流，根據(jù)本發(fā)明實(shí)施例提供的方 案對(duì)第一段時(shí)間內(nèi)的廣播數(shù)據(jù)流進(jìn)行檢測(cè)，當(dāng)檢測(cè)出在B點(diǎn)之前的一段廣播數(shù) 據(jù)流中有符合設(shè)定長(zhǎng)度范圍的靜音且在B點(diǎn)處有鏡頭切換時(shí)，B點(diǎn)被確定為符 合廣告最大時(shí)長(zhǎng)30秒的廣播數(shù)據(jù)流的結(jié)束時(shí)間，繼續(xù)判斷出在A點(diǎn)有鏡頭切
換，則A點(diǎn)被確定為符合廣告最大時(shí)長(zhǎng)30秒的廣播數(shù)據(jù)流的開(kāi)始時(shí)間，并根 據(jù)本發(fā)明實(shí)施例提供的方案對(duì)鏡頭切換進(jìn)一步判斷，最后判斷出第一段時(shí)間內(nèi)
的內(nèi)容為廣告，那么A點(diǎn)和B點(diǎn)分別是廣告片段的開(kāi)始時(shí)間和結(jié)束時(shí)間。
在對(duì)第二段時(shí)間的廣播數(shù)據(jù)流進(jìn)行判斷時(shí)，判斷出D點(diǎn)為第二段時(shí)間內(nèi)的 廣播數(shù)據(jù)流的結(jié)束時(shí)間。如果廣告最大時(shí)長(zhǎng)30秒進(jìn)行5秒時(shí)間的遞減后的C 點(diǎn)處有鏡頭切換，則C點(diǎn)被確定為符合廣告最大時(shí)長(zhǎng)30秒的廣播數(shù)據(jù)流的開(kāi) 始時(shí)間，并判斷出該鏡頭切換為弱鏡頭切換且符合設(shè)定的鏡頭切換密度的閾
告。于是根據(jù)第 一段時(shí)間的廣告判斷結(jié)果可以判斷出第二段時(shí)間內(nèi)的廣播數(shù)據(jù) 流從開(kāi)始時(shí)間C點(diǎn)到結(jié)束時(shí)間D點(diǎn)這段時(shí)間內(nèi)為廣告；若第一段時(shí)間的廣播 數(shù)據(jù)流并沒(méi)有被判斷出是廣告時(shí)，那么需要等待第三段時(shí)間被判斷為廣告，第 二段時(shí)間的內(nèi)容則可以被判斷為廣告。
從上述檢測(cè)過(guò)程可以看到，在檢測(cè)過(guò)程中最多需要存儲(chǔ)兩個(gè)最大廣告時(shí)長(zhǎng) 的廣播數(shù)據(jù)，不需要存儲(chǔ)大量數(shù)據(jù)，從而降低了對(duì)存儲(chǔ)能力的需求。并且由于 本發(fā)明實(shí)施例利用廣告的結(jié)構(gòu)特征作為^r測(cè)依據(jù)，因此具有較高的準(zhǔn)確率和查 全率。
如圖3所示，實(shí)時(shí)進(jìn)行廣告4企測(cè)可以及時(shí)處理才企測(cè)出的廣告 步驟301,對(duì)電視信號(hào)的廣播數(shù)據(jù)流進(jìn)行預(yù)處理，包括解壓縮、去噪音等； 將接收到的電視信號(hào)的廣播數(shù)據(jù)流中的視頻流和音頻流進(jìn)行解壓縮處理， 恢復(fù)出原始的視頻流和音頻流，并通過(guò)濾波技術(shù)來(lái)降噪和過(guò)濾噪聲，有效去除 電視圖像中主要存在高斯噪聲。
步驟302,對(duì)音頻流進(jìn)行音頻處理，對(duì)碎見(jiàn)頻流進(jìn)行視頻處理；通過(guò)靜音斗企 測(cè)和鏡頭切換檢測(cè)相結(jié)合，利用廣告結(jié)構(gòu)特征、或者廣告結(jié)構(gòu)特征和電視臺(tái)插 播廣告的特點(diǎn)實(shí)時(shí)檢測(cè)廣告，獲得廣告之后，根據(jù)需要對(duì)廣告片段進(jìn)行相應(yīng)的 處理，將不需要的廣告片段刪除，或者將一些廣告片段作適應(yīng)性的替換等； 步驟303，播放或存儲(chǔ)處理后的電視信號(hào)。通過(guò)檢測(cè)過(guò)程以及處理過(guò)程之
后，播放模塊將根據(jù)需要播放或存儲(chǔ)電視信號(hào)。
本實(shí)施例技術(shù)方案提供的一種從廣播數(shù)據(jù)流中實(shí)時(shí);f企測(cè)廣告設(shè)備具體結(jié) 構(gòu)圖如圖4所示，包括
檢測(cè)#莫塊401:用于分別檢測(cè)廣搐4見(jiàn)頻流中的音頻流和一見(jiàn)頻流，將在音頻 流中檢測(cè)出設(shè)定長(zhǎng)度范圍的靜音并在視頻流中檢測(cè)出鏡頭切換時(shí)對(duì)應(yīng)的時(shí)間 確定為第 一時(shí)間；將在第 一時(shí)間之前的廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)到鏡頭切換時(shí)對(duì)應(yīng) 的時(shí)間確定為第二時(shí)間；
判決模塊402,根據(jù)檢測(cè)模塊確定的第一時(shí)間和第二時(shí)間，將第二時(shí)間至 第 一 時(shí)間中視頻流符合設(shè)定條件的廣播數(shù)據(jù)流判定為廣告。
其中， 一種實(shí)施方式中
檢測(cè)模塊401還判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為強(qiáng)鏡頭切換，并檢 測(cè)第二時(shí)間至第 一 時(shí)間的鏡頭切換密度；
判決模塊402根據(jù)檢測(cè)模塊401的檢測(cè)結(jié)果，在第二時(shí)間檢測(cè)到的鏡頭切 換為強(qiáng)鏡頭切換，并且第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值時(shí)， 將第二時(shí)間至第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
另一種具體實(shí)施方式
中
檢測(cè)模塊401還判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為弱鏡頭切換，檢測(cè) 第二時(shí)間至第 一時(shí)間的鏡頭切換密度，以及檢測(cè)設(shè)定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視 頻流中是否包括至少 一個(gè)產(chǎn)品信息幀；
判決模塊402根據(jù)檢測(cè)模塊401的檢測(cè)結(jié)果，在第二時(shí)間檢測(cè)到的鏡頭切 換為弱鏡頭切換，第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值，并且設(shè) 定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視頻流中包括至少一個(gè)產(chǎn)品信息幀時(shí)，將第二時(shí)間至 第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
再一種具體實(shí)施方式
中
判決模塊402根據(jù)檢測(cè)模塊401的檢測(cè)結(jié)果，在第二時(shí)間檢測(cè)到的鏡頭切 換為弱鏡頭切換，第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值，但設(shè)定 長(zhǎng)度范圍的靜音對(duì)應(yīng)的視頻流中不包括產(chǎn)品信息幀，則當(dāng)?shù)诙r(shí)間之前或第一 時(shí)間之后的廣播數(shù)據(jù)流被判定為廣告時(shí)，將第二時(shí)間至第 一 時(shí)間的廣播數(shù)據(jù)流 判定為廣告。
因此，檢測(cè)模塊401中可以具體包括
用于在廣播視頻流的音頻流中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在視頻流中 檢測(cè)到鏡頭切換時(shí)，將對(duì)應(yīng)的時(shí)間確定為第 一 時(shí)間的單元；
用于檢測(cè)長(zhǎng)度為一個(gè)廣告最大時(shí)長(zhǎng)并以所述第一時(shí)間為結(jié)束時(shí)間的視頻 流，并將檢測(cè)到鏡頭切換時(shí)對(duì)應(yīng)的時(shí)間確定為第二時(shí)間的單元。
進(jìn)一步檢測(cè)模塊401中還可以包括
用于判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為強(qiáng)鏡頭切換的單元，以及 用于檢測(cè)所述第二時(shí)間至第 一時(shí)間鏡頭切換密度的單元。 更進(jìn)一步，檢測(cè)模塊401中還可以包括
用于檢測(cè)所迷設(shè)定長(zhǎng)度的靜音對(duì)應(yīng)的視頻流中是否包括至少一個(gè)產(chǎn)品信
息 幀的單元。
本發(fā)明實(shí)施例提供一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的技術(shù)方案，可以實(shí) 時(shí)檢測(cè)廣播數(shù)據(jù)流中音頻流和視頻流，并根據(jù)廣告的結(jié)構(gòu)特征從中檢測(cè)出廣 告，在檢測(cè)過(guò)程中最多需要存儲(chǔ)兩個(gè)最大廣告時(shí)長(zhǎng)的廣播數(shù)據(jù)，不需要存儲(chǔ)大 量數(shù)據(jù)，從而降低了對(duì)存儲(chǔ)能力的需求。由于本發(fā)明實(shí)施例利用廣告的結(jié)構(gòu)特 征作為檢測(cè)依據(jù)，因此具有較高的準(zhǔn)確率和查全率。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā) 明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及 其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1、一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的方法，其特征在于，包括在廣播視頻流的音頻流中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在視頻流中檢測(cè)到鏡頭切換時(shí)，將對(duì)應(yīng)的時(shí)間確定為第一時(shí)間；檢測(cè)長(zhǎng)度為一個(gè)廣告最大時(shí)長(zhǎng)并以所述第一時(shí)間為結(jié)束時(shí)間的視頻流，并將檢測(cè)到鏡頭切換時(shí)對(duì)應(yīng)的時(shí)間確定為第二時(shí)間；當(dāng)所述第二時(shí)間至第一時(shí)間的視頻流符合設(shè)定條件時(shí)，將所述第二時(shí)間至第一時(shí)間的廣播數(shù)據(jù)流判定為廣告。
2、 如權(quán)利要求1所述的方法，其特征在于，所述第二時(shí)間檢測(cè)到的鏡頭 切換為強(qiáng)鏡頭切換時(shí)，所述視頻流符合的設(shè)定條件包括第二時(shí)間至第一時(shí)間 的鏡頭切換密度大于第一閾值。
3、 如權(quán)利要求1所述的方法，其特征在于，所述在所述第一時(shí)間之前的 廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)到的鏡頭切換為弱鏡頭切換時(shí)，所述視頻流符合的設(shè)定條 件包括第二時(shí)間至第一時(shí)間內(nèi)的鏡頭切換密度大于第一閾值，并且所述設(shè)定 長(zhǎng)度的靜音對(duì)應(yīng)的視頻流中包括至少 一個(gè)產(chǎn)品信息幀。
4、 如權(quán)利要求1所述的方法，其特征在于，所述在所述第一時(shí)間之前的 廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)到的鏡頭切換為弱鏡頭切換時(shí)，所述視頻流符合的設(shè)定條 件包括第二時(shí)間至第一時(shí)間內(nèi)的鏡頭切換密度大于第一閾值，并且所述第二 時(shí)間之前或第 一 時(shí)間之后的廣播數(shù)據(jù)流為廣告。
5、 如權(quán)利要求4所述的方法，其特征在于，所述視頻流符合的設(shè)定條件 還包括所述設(shè)定長(zhǎng)度的靜音對(duì)應(yīng)的視頻流中不包括產(chǎn)品信息幀。
6、 如權(quán)利要求1-5任一所述的方法，其特征在于，所述在所述第一時(shí)間 之前的廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)鏡頭切換的具體方法包括將所述第一時(shí)間減去廣告最大時(shí)長(zhǎng)的時(shí)間作為第 一次檢測(cè)時(shí)間，在所述第 一次檢測(cè)時(shí)間后，逐個(gè)增加一個(gè)廣告最小長(zhǎng)度單位并檢測(cè)是否發(fā)生鏡頭切換。
7、 如權(quán)利要求1-5任一所述的方法，其特征在于，所述靜音的設(shè)定長(zhǎng)度 在1毫秒 1秒之間。
8、 如權(quán)利要求1或2所述的方法，其特征在于，當(dāng)檢測(cè)到像素變化個(gè)數(shù) 占像素總數(shù)的比例大于第二閾值的視頻幀時(shí)，確定發(fā)生強(qiáng)鏡頭切換。
9、 如權(quán)利要求3或4所述的方法，其特征在于，當(dāng)檢測(cè)到像素變化個(gè)數(shù)占像素總數(shù)的比例大于第三閾值、但小于等于第二閾值時(shí)，確定發(fā)生弱鏡頭切換。
10、 一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的設(shè)備，其特征在于，包括 檢測(cè)模塊，用于分別才企測(cè)廣播視頻流中的音頻流和^L頻流；在所述音頻流中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在所述視頻流中檢測(cè)到鏡頭切換時(shí)，將對(duì)應(yīng)的 時(shí)間確定為第一時(shí)間；在所述第一時(shí)間之前的廣告最大時(shí)長(zhǎng)內(nèi)檢測(cè)到鏡頭切換 時(shí)，將對(duì)應(yīng)的時(shí)間確定為第二時(shí)間；判決模塊，用于根據(jù)所述檢測(cè)模塊確定的第一時(shí)間和第二時(shí)間，當(dāng)所述第 二時(shí)間至第 一 時(shí)間的視頻流符合設(shè)定條件時(shí)，將所述第二時(shí)間至第 一 時(shí)間的廣 播數(shù)據(jù)流判定為廣告。
11、 如權(quán)利要求IO所述的設(shè)備，其特征在于所述檢測(cè)模塊還判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為強(qiáng)鏡頭切換，并檢 測(cè)所述第二時(shí)間至第 一時(shí)間的鏡頭切換密度；所述判決模塊根據(jù)檢測(cè)模塊的檢測(cè)結(jié)果，在所述第二時(shí)間檢測(cè)到的鏡頭切 換為強(qiáng)鏡頭切換，并且第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值時(shí)， 將第二時(shí)間至第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
12、 如權(quán)利要求10所述的設(shè)備，其特征在于所述檢測(cè)模塊還判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為弱鏡頭切換，并檢 測(cè)所述第二時(shí)間至第一時(shí)間的鏡頭切換密度，以及檢測(cè)所述設(shè)定長(zhǎng)度范圍的靜 音對(duì)應(yīng)的視頻流中是否包括至少 一個(gè)產(chǎn)品信息幀；所述判決模塊根據(jù)檢測(cè)模塊的檢測(cè)結(jié)果，在所述第二時(shí)間檢測(cè)到的鏡頭切 換為弱鏡頭切換，第二時(shí)間至第一時(shí)間的鏡頭切換密度大于設(shè)定閾值，并且所 述設(shè)定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視頻流中包括至少一個(gè)產(chǎn)品信息幀時(shí)，將第二時(shí) 間至第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
13、 如權(quán)利要求12所述的設(shè)備，其特征在于，所述判決模塊根據(jù)檢測(cè)模 塊的檢測(cè)結(jié)果，在所述第二時(shí)間檢測(cè)到的鏡頭切換為弱鏡頭切換，第二時(shí)間至 第一時(shí)間的鏡頭切換密度大于設(shè)定閾值，但所述設(shè)定長(zhǎng)度范圍的靜音對(duì)應(yīng)的視 頻流中不包括產(chǎn)品信息幀，則當(dāng)所述第二時(shí)間之前或第 一 時(shí)間之后的廣播數(shù)據(jù) 流被判定為廣告時(shí)，將所述第二時(shí)間至第 一 時(shí)間的廣播數(shù)據(jù)流判定為廣告。
14、 如權(quán)利要求10所述的設(shè)備，其特征在于，所述檢測(cè)模塊包括 用于在廣播視頻流的音頻流中檢測(cè)出設(shè)定長(zhǎng)度的靜音并同時(shí)在視頻流中檢測(cè)到鏡頭切換時(shí)，將對(duì)應(yīng)的時(shí)間確定為第 一 時(shí)間的單元；用于檢測(cè)長(zhǎng)度為 一 個(gè)廣告最大時(shí)長(zhǎng)并以所述第 一 時(shí)間為結(jié)束時(shí)間的視頻 流，并將檢測(cè)到鏡頭切換時(shí)對(duì)應(yīng)的時(shí)間確定為第二時(shí)間的單元。
15、 如權(quán)利要求11所述的設(shè)備，其特征在于，所述檢測(cè)模塊包括用于判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為強(qiáng)鏡頭切換的單元，以及 用于檢測(cè)所述第二時(shí)間至第 一時(shí)間鏡頭切換密度的單元。
16、 如權(quán)利要求12或13所述的設(shè)備，其特征在于，所述檢測(cè)模塊包括 用于判斷第二時(shí)間檢測(cè)到的鏡頭切換是否為弱鏡頭切換的單元；用于檢測(cè)所述第二時(shí)間至第 一時(shí)間鏡頭切換密度的單元；以及 用于檢測(cè)所述設(shè)定長(zhǎng)度的靜音對(duì)應(yīng)的視頻流中是否包括至少一個(gè)產(chǎn)品信 息幀的單元。
全文摘要
本發(fā)明涉及多媒體通信技術(shù)，特別涉及到從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的技術(shù)。公開(kāi)了一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的方法及設(shè)備，用以在對(duì)廣告進(jìn)行實(shí)時(shí)檢測(cè)時(shí)降低對(duì)配置系統(tǒng)存儲(chǔ)能力的需求。通過(guò)靜音檢測(cè)和鏡頭切換檢測(cè)相結(jié)合，利用廣告的結(jié)構(gòu)特征和電視臺(tái)插播廣告的特點(diǎn)實(shí)時(shí)檢測(cè)廣告。本發(fā)明還公開(kāi)了一種從廣播數(shù)據(jù)流中實(shí)時(shí)檢測(cè)廣告的設(shè)備，在接收到廣播數(shù)據(jù)流時(shí)對(duì)其進(jìn)行檢測(cè)和判斷，實(shí)時(shí)檢測(cè)出廣告片段并進(jìn)行相應(yīng)的處理。
文檔編號(hào)H04N7/52GK101175214SQ20071017744
公開(kāi)日2008年5月7日 申請(qǐng)日期2007年11月15日 優(yōu)先權(quán)日2007年11月15日
發(fā)明者祥 王, 郭宗明 申請(qǐng)人:北京大學(xué);北大方正集團(tuán)有限公司;北京北大方正電子有限公司