專利名稱：一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術的制作方法
技術領域：
本發(fā)明涉及廣告監(jiān)測技術領域，特別涉及一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術。
背景技術：
隨著互聯(lián)網(wǎng)技術的發(fā)展，多媒體也成為了廣告服務商投放廣告不可忽視的載體。 廣告投放不再只局限于傳統(tǒng)傳播方式如廣告牌、海報等，轉(zhuǎn)向以依托于電視臺，網(wǎng)絡視頻等可視化媒體的新型傳播方式。然而現(xiàn)今的這種變革也為廣告客戶帶了困難，不能以依靠人工為單一檢測模式，更多需要以自動化方式為廣告客戶提供檢測功能，保障廣告客戶的利益。發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，該監(jiān)測技術利用典型特征幀匹配和時序回歸的視頻監(jiān)測方法，以自動化方式為廣告客戶提供監(jiān)測功能。
本發(fā)明的技術方案是一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，包括
步驟1 對廣告視頻提取特征幀，并記錄對應特征幀的相關信息；
步驟2 對待檢測視頻提取匹配幀序列；
步驟3 利用所述特征幀的相關信息，采用回歸檢測的方法，判定所述匹配幀序列與對應廣告特征幀序列是否滿足約束，從而得出檢測結(jié)果。
進一步地，所述的對廣告視頻提取特征幀的具體提取流程如下
1)按時間間隔提取廣告視頻幀，并記錄對應幀的相關信息；
2)根據(jù)所述廣告視頻幀，利用圖像處理技術，將每一幀劃分為多個區(qū)域，
3)每一區(qū)域與其它區(qū)域的相互關系形成的多維特征向量；
4)利用所述多維特征向量判定兩個連續(xù)廣告視頻幀的相似度，若兩個連續(xù)廣告視頻幀之間距離大于預定閥值，則認為此兩個連續(xù)廣告視頻幀均為此段廣告特征幀，否則，則認為僅其中一個為此段廣告特征幀；
5)廣告視頻的所有廣告特征幀構成此廣告視頻的廣告特征幀序列，可標識本廣告視頻的特征。
進一步地，所述的對待檢測視頻提取匹配幀序列的具體流程如下
1)按時間間隔提取待檢測視頻幀，并記錄對應幀的相關信息；
2)根據(jù)所述廣告視頻幀，利用圖像處理技術，將每一幀劃分為多個區(qū)域；
3)每一區(qū)域與其它區(qū)域的相互關系形成的多維特征向量；
4)利用所述多維特征向量判定待檢測視頻幀與廣告特征幀的相似度，若待檢測視頻幀與廣告特征幀之間距離小于預定閥值，則判定此待檢測視頻幀為待檢測視頻匹配幀， 否則，則判定此待檢測視頻幀不為待檢測視頻匹配幀；
5)根據(jù)所述待檢測匹配幀相關信息，通過比較兩連續(xù)待檢測匹配幀其對應廣告特征幀分別在廣告視頻中的播放時刻，可判定兩待檢測匹配幀是否屬于同一待檢測匹配幀序列，若播放時刻差小于閥值，則認為同屬一個待檢測匹配幀序列，否則為不同待檢測匹配幀序列，根據(jù)所述形成待檢測視頻的待檢測匹配幀序列。
上述方案中，所述的對應幀的相關信息包括本待檢測匹配幀在本待檢測視頻中的播放時刻，以及本待檢測匹配幀相對應廣告特征幀在廣告視頻中的播放時刻。
所述的采用回歸檢測的方法判定所述匹配幀序列與對應廣告特征幀序列是否滿足約束具體如下
1)根據(jù)每一廣告特征幀在廣告中的播放時刻，由此形成本廣告中廣告特征幀播放時序；
2)根據(jù)每一待檢測匹配幀在待檢測視頻中的播放時刻，由此形成本序列中待檢測特征幀播放時序；
3)若廣告特征幀播放時序與待檢測特征幀播放時序滿足線性回歸約束，則認為此待檢測特征幀播放時序代表廣告特征幀序列對應廣告視頻，否則，則不能代表任何廣告視頻。
與現(xiàn)有技術相比，本發(fā)明的有益效果是本發(fā)明優(yōu)點在于可快速，準確的檢測出視頻中的廣告幀，為廣告客戶檢測其廣告投放情況提供了準確，科學的統(tǒng)計數(shù)據(jù)。


圖1為本發(fā)明中廣告視頻處理架構示意圖2為本發(fā)明整體架構示意圖3為本發(fā)明中廣告視頻處理流程示意圖4為本發(fā)明中廣告檢測方法整體流程示意圖5為本發(fā)明中廣告幀匹配模塊流程示意圖6為本發(fā)明中廣告幀回歸檢測模塊流程示意圖。
圖中
001 廣告采集模塊，通過用戶上傳或終端設備采集廣告視頻
002 廣告幀抽取模塊，通過視頻處理技術按時間間隔tl抽取廣告幀
003:廣告特征幀提取模塊，通過圖像處理技術從普通廣告幀中抽取能代表此廣告的廣告特征幀
004 廣告特征幀存儲模塊，根據(jù)用戶投放廣告規(guī)則，按頻道存儲廣告幀，方便檢索廣告幀
005 待檢測視頻采集模塊，通過電視，互聯(lián)網(wǎng)等終端設備采集待檢測視頻信息
006 待檢測視頻幀抽取模塊，通過視頻處理技術按時間間隔t2抽取待檢測視頻幀
007:廣告幀匹配模塊，通過圖像處理技術初步判定待檢測視頻幀是否為廣告幀
008:廣告幀回歸檢測模塊，通過時序回歸檢測最終判定待檢測匹配幀序列是否代表一則廣告
009 廣告視頻集，由廣告采集模塊001收集的廣告視頻結(jié)果4
010 廣告幀，由廣告幀抽取模塊002抽取的廣告幀，其中F代表本廣告幀的特征， Id代表本廣告幀從屬于某廣告的編號，Time代表本廣告幀在某廣告中的播放時刻
Oil 廣告特征幀，由廣告特征幀提取模塊003從普通廣告幀中提取出能代表此段廣告的特征幀。其中F代表本廣告幀特征，Id代表該廣告幀從屬于該廣告的編號，Time代表該廣告幀在該廣告中的播放時刻
012:廣告特征幀集，根據(jù)用戶需求，廣告特征幀存儲模塊004按頻道組織廣告特征幀，形成廣告特征幀集
013 普通視頻集，通過視頻采集模塊005收集的普通視頻結(jié)果
014 待檢測視頻幀，由視頻幀抽取模塊006抽取的視頻幀，其中CF代表待檢測視頻幀的特征，Cid代表待檢測視頻幀所在頻道，Ctime代表待檢測視頻幀在頻道中的播放時刻
015 待檢測視頻匹配幀序列，通過廣告幀匹配模塊007從待檢測視頻幀中初步識別出可能代表廣告的一組待檢測視頻幀，其中CF代表待檢測匹配幀的特征，Cid代表待檢測匹配幀所在頻道，Ctime代表待檢測匹配幀在頻道中的播放時刻，Time代表與待檢測匹配幀對應的廣告特征幀的播放時間
016 成功識別為廣告的待檢測匹配幀序列，通過廣告幀回歸檢測模塊008最終確定待檢測視頻特征幀序列是否為廣告
017 被放棄的待檢測視頻幀，通過廣告幀匹配模塊007識別出不可能代表廣告的待檢測視頻幀
018 待檢測匹配幀，通過廣告幀匹配模塊007從待檢測視頻幀中初步識別出可能代表廣告的待檢測視頻幀，其中CF代表待檢測匹配幀的特征，Cid代表待檢測匹配幀所在頻道，Ctime代表待檢測匹配幀在頻道中的播放時刻，Time代表與待檢測匹配幀對應的廣告特征幀的播放時間
019:提取待檢測匹配幀序列，為回歸檢測模塊子活動之一，負責從一組待檢測匹配幀序列中一次提取待檢測匹配幀序列
020 繪制回歸曲線，為回歸檢測子模塊活動之一，負責繪制散點圖，以Ctime為縱軸，Time為橫軸
021 被放棄的待檢測匹配幀序列，為不滿足線性回歸約束條件的待檢測匹配幀序列具體實施方式
本發(fā)明提供的一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術本發(fā)明提供了一種新型檢測廣告的方法，其特點主要包括三個方面如何有效抽取廣告特征幀，如何利用回歸檢測判定一定時序區(qū)間內(nèi)的連續(xù)待檢測幀為一個廣告，以及如何有效檢測單個廣告的連續(xù)播放。同時，本發(fā)明整體的方法流程由廣告視頻處理體系和待檢測視頻處理體系實現(xiàn)。
廣告視頻處理體系則主要包含四大功能模塊廣告采集模塊、廣告幀抽取模塊、廣告特征幀提取模塊、廣告特征幀存儲模塊。其實現(xiàn)步驟如下所述
1、采集廣告視頻信號；
2、按時間間隔抽取廣告幀；
3、利用圖像辨別技術，依次判定兩個連續(xù)廣告幀之間的距離，從而決定是否保留此廣告幀為廣告特征幀，其中首個廣告幀默認為特征幀；
4、按頻道存儲廣告特征幀。
待檢測視頻處理體系主要包含四大模塊，待檢測視頻采集模塊、待檢測視頻抽取模塊、廣告幀匹配模塊、廣告幀回歸檢測模塊。其實現(xiàn)步驟如下所述
1、提供待檢測視頻信號；
2、按時間間隔提取待檢測視頻幀，并記錄待檢測視頻幀的播放時間；W061]3、利用圖像辨別技術判定待檢測視頻幀與廣告特征幀之間的差異性，若差異較小，則判定此待檢測視頻幀為待檢測匹配幀，若差異較大，則判定此待檢測視頻幀不為待檢測匹配幀；W062]4、利用回歸檢測判定待檢測匹配幀序列與廣告特征幀序列是否滿足線性約束條件，若滿足，則判定此待檢測匹配幀序列代表一則廣告，若不滿足，則判定此待檢測匹配幀序列不代表一則廣告。
本發(fā)明優(yōu)點在于可快速，準確的檢測出視頻中的廣告幀，為廣告客戶檢測其廣告投放情況提供了準確，科學的統(tǒng)計數(shù)據(jù)。
以下結(jié)合附圖對本發(fā)明進一步說明。
廣告視頻處理體系實現(xiàn)如下
1)請參照圖1與圖3，首先由廣告采集模塊001通過用戶上傳或終端設備采集廣告視頻，接收到廣告視頻結(jié)果集009 ；
2)廣告視頻結(jié)果集009由廣告幀抽取模塊002將原視頻信息進行加工處理，處理步驟主要包括1、按時間間隔tl抽取廣告幀；2、將廣告幀中所有像素點的RGB值轉(zhuǎn)化為灰度值；3、將廣告幀劃為四個區(qū)域(此處區(qū)域個數(shù)可選)，以該區(qū)域內(nèi)所有像素點的灰度值之和代表廣告幀在本區(qū)域內(nèi)的內(nèi)容；4、以灰度值之和為參考值判定四個區(qū)域之間的關系，如 sum(區(qū)域i) > sum(區(qū)域j)，則f(區(qū)域i，區(qū)域j) = 1 sum(區(qū)域i) < sum(區(qū)域j)，則f(區(qū)域i，區(qū)域j) = -1 sum (區(qū)域i) = sum (區(qū)域j)，則f (區(qū)域i，區(qū)域j) =0由此形成表示此幀的特征向量F。假定廣告幀被劃分為四個區(qū)域，則 F= (f (區(qū)域1，區(qū)域2)，f (區(qū)域1，區(qū)域3)，f (區(qū)域1，區(qū)域4)，f (區(qū)域2，區(qū)域3)， f (區(qū)域2，區(qū)域4)，f (區(qū)域3，區(qū)域4))；5、記錄此廣告幀所在廣告Id，以及此廣告幀在廣告中的播放時刻Time；6、形成可完整表達此廣告幀特征的多元組(F，Id,Time)010。
3)由廣告特征幀提取模塊003，按相鄰廣告幀的相似程度判定該廣告幀是否為此廣告的特征幀，默認第一幀為特征幀，比較原則如下若Distance (幀i，幀j) > =閥值1，則幀j為特征幀；若Distance (幀i，幀j) <閥值1，則幀j不為特征幀，且舍棄。所有保留的廣告幀則為此廣告特征幀011，所有廣告幀按排列順序依次進行比較；
4)由廣告特征幀存儲模塊004，對特征幀按頻道進行規(guī)整，對同一特征幀出現(xiàn)在多個頻道的情況，需拷貝存儲。從而獲得按頻道存儲的廣告特征幀集012。
待檢測視頻處理體系實現(xiàn)如下
1)請參照圖4，圖5，圖6，待檢測視頻采集模塊005通過電視，互聯(lián)網(wǎng)等終端設備， 接收待檢測視頻信號013 ；(此處以數(shù)字電視為例)
2)按頻道輸入的待檢測視頻信號，通過視頻幀抽取模塊006按如下步驟抽取視頻幀1、按時間間隔t2依次抽取待檢測視頻幀；2、將待檢測視頻幀中所有像素點的RGB值轉(zhuǎn)化為灰度值；3、將待檢測視頻幀劃為四個區(qū)域(此處區(qū)域個數(shù)可選)，以該區(qū)域內(nèi)所有像素點的灰度值之和代表此待檢測視頻幀在本區(qū)域內(nèi)的內(nèi)容；4、以灰度值之和為參考值判定四個區(qū)域之間的關系，如 sum (區(qū)域1) > sum (區(qū)域2)，則f (區(qū)域1，區(qū)域2) = 1 sum(區(qū)域1) < sum(區(qū)域2)，則f (區(qū)域1，區(qū)域2) = -1 sum (區(qū)域1) = sum (區(qū)域2)，則f (區(qū)域1，區(qū)域2) =0 由此形成表示此待檢測視頻幀的特征向量CF。假定此待檢測視頻幀被劃分為四個區(qū)域，則CF= (f (區(qū)域1，區(qū)域2)，f (區(qū)域1，區(qū)域 3)，f (區(qū)域1，區(qū)域4)，f (區(qū)域2，區(qū)域3)，f (區(qū)域2，區(qū)域4)，f (區(qū)域3，區(qū)域4))；5、記錄此待檢測視頻幀所在頻道CId，以及此待檢測視頻幀在頻道中的播放時刻 CTime ；6、形成可完整表達此待檢測視頻幀特征的多元組(CF，CId,CTime)014。7、利用圖像辨別技術依次識別待檢測視頻幀之間的距離，形成待檢測視頻幀序列組 014，舉例如下若Distance (CFl，CF2) < =閥值2且CF1、CF2不為空幀，則認為CFl，CF2所代表的待檢測視頻幀屬于同一待檢測視頻幀序列1 ； 待檢測視頻幀序列組結(jié)果序列1 :CF1所代表的待檢測視頻幀，CF2所代表的待檢測視頻幀若Distance (CFl，CF2) >閥值2且CF1、CF2不為空幀，則認為CFl，CF2所代表的待檢測視頻幀不屬于同一待檢測視頻幀序列1，并新增待檢測視頻幀序列2。 待檢測視頻幀序列組結(jié)果 序列1 :CF1所代表的待檢測視頻幀； 序列2 :CF2所代表的待檢測視頻幀。
3)結(jié)合圖4和圖5，廣告幀匹配模塊007利用圖像辨別技術對待檢測視頻幀序列組014中的待監(jiān)測視頻幀分別與廣告特征幀集012中的廣告特征幀進行距離分析若Distance (CF，F(xiàn)) > =閥值3，則認為此待檢測視頻幀不為此待檢測匹配幀，舍棄此待檢測視頻幀；若Distance (CF, F) <閥值3，則認為此待檢測視頻幀為此待檢測匹配幀。 若該待檢測視頻幀序列為空，則刪除此待檢測視頻幀序列。所有保留待檢測視頻幀序列構成待檢測視頻特征幀序列組015 ；
4)結(jié)合圖4和圖6，廣告幀回歸檢測模塊008利用廣告幀匹配模塊007提取的待檢測視頻特征幀序列組015中的待檢測視頻特征幀分別進一步與廣告特征幀集012中的廣告特征幀完成時序回歸檢測，最終判定此待檢測視頻特征幀是否為廣告，步驟如下所述1、分別從待檢測視頻特征幀序列組015中取出一個序列和廣告特征幀集012中取出同屬于一個廣告的廣告特征幀組，以Time變量為橫軸，Ctime變量為縱軸做散點圖；2、并自動繪制擬合的回歸曲線，規(guī)定曲線允許的置信區(qū)間，針對本發(fā)明，回歸曲線為直線，因此置信區(qū)間為對直線斜率的限制；假定a為回歸曲線斜率，若置信區(qū)間，則認為此待檢測視頻幀序列代表廣告特征幀組中廣告id出現(xiàn)頻率最高的那支廣告；若置信區(qū)間，則認為此待檢測視頻幀序列不代表任何廣告，舍棄此待檢測視頻序列。
本發(fā)明中回歸曲線斜率的置信區(qū)間不做限制，可根據(jù)具體情況調(diào)節(jié)。按序列排序依次進行回歸檢測，所有被成功檢測的待檢測視頻幀序列016為最終結(jié)果集。
權利要求
1.一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，其特征在于包括步驟1 對廣告視頻提取特征幀，并記錄對應特征幀的相關信息；步驟2 對待檢測視頻提取匹配幀序列；步驟3 利用所述特征幀的相關信息，采用回歸檢測的方法，判定所述匹配幀序列與對應廣告特征幀序列是否滿足約束，從而得出檢測結(jié)果。
2.根據(jù)權利要求1所述的基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，其特征在于 所述的對廣告視頻提取特征幀的具體提取流程如下1)按時間間隔提取廣告視頻幀，并記錄對應幀的相關信息；2)根據(jù)所述廣告視頻幀，利用圖像處理技術，將每一幀劃分為多個區(qū)域，3)每一區(qū)域與其它區(qū)域的相互關系形成的多維特征向量；4)利用所述多維特征向量判定兩個連續(xù)廣告視頻幀的相似度，若兩個連續(xù)廣告視頻幀之間距離大于預定閥值，則認為此兩個連續(xù)廣告視頻幀均為此段廣告特征幀，否則，則認為僅其中一個為此段廣告特征幀；5)廣告視頻的所有廣告特征幀構成此廣告視頻的廣告特征幀序列，可標識本廣告視頻的特征。
3.根據(jù)權利要求1所述的基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，其特征在于 所述的對待檢測視頻提取匹配幀序列的具體流程如下1)按時間間隔提取待檢測視頻幀，并記錄對應幀的相關信息；2)根據(jù)所述廣告視頻幀，利用圖像處理技術，將每一幀劃分為多個區(qū)域；3)每一區(qū)域與其它區(qū)域的相互關系形成的多維特征向量；4)利用所述多維特征向量判定待檢測視頻幀與廣告特征幀的相似度，若待檢測視頻幀與廣告特征幀之間距離小于預定閥值，則判定此待檢測視頻幀為待檢測視頻匹配幀，否則， 則判定此待檢測視頻幀不為待檢測視頻匹配幀；5)根據(jù)所述待檢測匹配幀相關信息，通過比較兩連續(xù)待檢測匹配幀其對應廣告特征幀分別在廣告視頻中的播放時刻，可判定兩待檢測匹配幀是否屬于同一待檢測匹配幀序列， 若播放時刻差小于閥值，則認為同屬一個待檢測匹配幀序列，否則為不同待檢測匹配幀序列，根據(jù)所述形成待檢測視頻的待檢測匹配幀序列。
4.根據(jù)權利要求3所述的基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，其特征在于 所述的對應幀的相關信息包括本待檢測匹配幀在本待檢測視頻中的播放時刻，以及本待檢測匹配幀相對應廣告特征幀在廣告視頻中的播放時刻。
5.根據(jù)權利要求1所述的基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，其特征在于 所述的采用回歸檢測的方法判定所述匹配幀序列與對應廣告特征幀序列是否滿足約束具體如下1)根據(jù)每一廣告特征幀在廣告中的播放時刻，由此形成本廣告中廣告特征幀播放時序；2)根據(jù)每一待檢測匹配幀在待檢測視頻中的播放時刻，由此形成本序列中待檢測特征幀播放時序；3)若廣告特征幀播放時序與待檢測特征幀播放時序滿足線性回歸約束，則認為此待檢測特征幀播放時序代表廣告特征幀序列對應廣告視頻，否則，則不能代表任何廣告視頻。
全文摘要
本發(fā)明公開了一種基于視頻內(nèi)容以及回歸方法的廣告監(jiān)測技術，包括步驟1對廣告視頻提取特征幀，并記錄對應特征幀的相關信息；步驟2對待檢測視頻提取匹配幀序列；步驟3利用所述特征幀的相關信息，采用回歸檢測的方法，判定所述匹配幀序列與對應廣告特征幀序列是否滿足約束，從而得出檢測結(jié)果。與現(xiàn)有技術相比，本發(fā)明的有益效果是本發(fā)明優(yōu)點在于可快速，準確的檢測出視頻中的廣告幀，為廣告客戶檢測其廣告投放情況提供了準確，科學的統(tǒng)計數(shù)據(jù)。
文檔編號H04N21/44GK102523482SQ201110403578
公開日2012年6月27日 申請日期2011年12月7日 優(yōu)先權日2011年12月7日
發(fā)明者丁圣勇, 朝紅陽, 楊錦強 申請人:中山大學