專利名稱：基于視覺顯著度的視頻廣告關聯方法與系統的制作方法
技術領域：
本發(fā)明涉及一種圖像和視頻處理方法和系統，特別是關于一種基于視覺顯 著度的視頻廣告關聯方法與系統。
背景技術：
近年來，隨著視頻廣播技術的迅速發(fā)展，視頻廣播以及視頻文件的數量出 現了爆炸式的增長。而在播放視頻的同時，在視頻內或視頻周邊插播廣告進行 宣傳的方法也已經被很多視頻提供商及播放軟件所采用。目前的視頻廣告插播
方法主要包括以下幾種
1. 時域廣告片段。如附圖l(a)所示，指在播放^L頻的開始的緩沖時間或 暫停時間，插播特定的廣告片段。廣告片段可以為廣告圖片、廣告視頻等形式。
2. 網頁周邊廣告。如附圖l(b)所示，指在播放-現頻的同時，還在播-放器 周邊的網絡區(qū)域顯示預定義的廣告信息，如廣告圖片等。
3. 帶狀廣告。如附圖l(c)所示，指在視頻播放的同時，不定時的在視頻 上方或下方的一個長條形矩形區(qū)域內顯示廣告， 一般為了不影響視頻播放，所 采用的廣告為圖片廣告或簡單的Flash廣告。
4. 角落廣告。如附圖l(d)所示，指在^L頻^番;故的同時，在用戶較少注意 到的角落里播放小的廣告標志圖片或動畫。
目前，這四種廣告宣傳方法的方法都已經得到了廣泛的應用。如"優(yōu)酷網" 和"YouTube，，以及其他的視頻提供商常常采用第1和第3種廣告方法。而"土 豆網"主要采用第2種廣告方法。第4種方法也已經被一些播放軟件所采用， 如"暴風影音，，等。然而，這些插入方法并不能達到較好的廣告效果。例如， 當按照第3和第4種方法直接將廣告插入視頻內容時，顯示的廣告常常會影響 用戶的觀看。按照第l種方法，在片頭或暫停時插入廣告時，用戶常常在廣告 播出時瀏覽其他網頁，從而降低了廣告效果。而按照第2種方法對用戶的干擾 最少，但在網頁周邊直接顯示的預定義廣告通常與視頻內容無關，容易被用戶
作為網頁背景忽略。
在現有研究和專利中，中國專利"一種插入廣告的方法及裝置"(申請?zhí)?200710000231. 2 )提出了 一種基于插入時間點的視頻內容來模糊查詢廣告片段，并暫停當前視頻流并插播檢索到的廣告片段的方法。中國專利"選擇性媒
體流廣告技術"(申請?zhí)朑0817788. 0 )識別出當前視頻的大致領域或明顯廣告 標識，并選^^目關領域或相關廣告標識的廣告片段。最后，在特定時間點停止 流媒體的播放，并插播廣告片段。中國專利"在網絡直播緩沖過程中播放廣告 的方法、系統及客戶端，，(申請?zhí)?00610090101. 8)主要是在網絡視頻播放前 的緩沖時間播放預定義的廣告片段。論文"Video Sense: towards effective online video advertising" (Video Sense: 面向有歲丈的在線-見步貞廣告方法， TaoMei等，ACM Multimedia 2007)中，對一段視頻計算用戶關注程度變化曲 線，并選擇用戶關注程度較低的時間點插入廣告片段。廣告片段是基于該插入 時間點的前、后視頻內容來選擇的?？偟膩碚f，現有方法均能通過某種方式來 對-現頻插入廣告信息。然而，現有方法存在兩個主要問題
1) 對用戶觀看造成干擾。無論是在視頻內部區(qū)域插入廣告還是暫停視 頻內容插播廣告，均會影響用戶的觀看體驗，進而使得廣告起到消極效 果。
2) 缺少對顯著內容的關聯。在觀看視頻時， 一般用戶均會關注較為顯 著的視頻內容。因此，插入與顯著內容無關的廣告一方面會影響用戶觀 看，另一方面也起不到廣告應用的效果。

發(fā)明內容
為了解決上述問題，本發(fā)明提供了 一種根據視頻顯著內容自動關聯相應的 廣告信息的方法，并在不影響視頻正常觀看的情況下，將關聯的廣告信息顯示 在視頻周邊區(qū)域。在本發(fā)明中，廣告內容及增值信息是顯示在視頻周邊的位置， 從而避免了對用戶觀看造成千擾。此外，廣告內容作為對視頻中顯著內容的信 息補充，方便了用戶對其注意到的視頻顯著區(qū)域的進一步探索。本發(fā)明的效果 示例圖如附圖l(e)，圖l(f)和圖1(g)所示。通過將插入廣告與視頻內容關聯 起來，可以在不影響用戶觀看的情況下提供額外增值信息，而在用戶對視頻內 容感興趣時，又可以直接瀏覽廣告圖片及相關信息(如價格等增值信息)，以方 便的獲得與其感興趣內容相關的信息，進而為用戶提供了 一種新的視頻瀏覽和 體3全方式。
本發(fā)明的目的在于給出一種基于視覺顯著度的視頻廣告關聯方法與系統。 該方法主要包括以下幾個步驟
11)獲取視頻流中若干采樣幀的顯著度分布圖，并提取視頻關聯區(qū)域。
612) 使用提取的視頻關聯區(qū)域檢索相關的廣告標志及相關信息。
13) 將檢索到的廣告標志及相關信息隨上述視頻流同步播放給用戶。
通過上述步驟11)中計算采樣幀的顯著度分布圖，可以判定各采樣幀中各 位置的相對顯著程度，即各用戶對各位置的相對感興趣程度。此后，在步驟 11)中，通過對上述顯著度分布圖的處理，可以提取一段視頻流的若干采樣幀
中總體最顯著、出現頻率最高的區(qū)域作為視頻關聯區(qū)域，其主要步驟如下
21) 選取局部顯著度最大點。在各采樣幀的顯著度分布圖上選取所有在其 鄰域內顯著度最大的點，鄰域大小正比于視頻尺寸。
22) 生成候選顯著區(qū)域。對每幀，依次選取當前顯著度最高的局部最大點 進行區(qū)域生長，直至當前邊緣的顯著度足夠小或者遇到其他區(qū)域的邊界。若當 前每幀所選取的所有顯著區(qū)域中，各點的顯著度之和小于預定義的閾值，則重 復上述顯著區(qū)域提取過程。
23) 提取視頻關聯區(qū)域。首先通過顏色直方圖和形狀直方圖計算任意兩個 候選顯著區(qū)域的相似性，并構建一個無向有權圖。該圖的結點為各顯著區(qū)域， 圖中各邊權重為兩個區(qū)域的相似性。此后，通過正規(guī)化圖切分的方法，可以將 該圖分為多個子圖，每個子圖包含多個相似的顯著區(qū)域。此后，計算各結點所 代表顯著區(qū)域的顯著性之和以及子圖所含結點個數，進而選取某類出現頻率最 高且視覺上最顯著的子圖中的多個區(qū)域作為視頻關聯區(qū)域。
在步驟12)中，使用視頻關聯區(qū)域檢索相關的廣告標志及相應的附加信息 的方法主要包括下步驟
31) 一見紋匹配。提取所有-見頻關聯區(qū)域的#見紋，并通過與廣告標志的^L紋 匹配來檢索相同的廣告標志。提取所有視頻關聯區(qū)域的視紋，并依次與廣告標 志庫中的所有廣告標志的視紋進行比對。如果某區(qū)域與某廣告標志的匹配程度 大于預定義的閾值，則選取此廣告標志。
32) 分類匹配。提取所有視頻關聯區(qū)域的多種底層特征，包括但不限于顏 色、紋理、形狀、尺度等，并使用分類器計算所有視頻關聯區(qū)域屬于預定義類 別物品的概率。若某視頻關聯區(qū)域屬于某類別物品的概率最高且高于預定義的 閾值，則選取此視頻關聯區(qū)域的底層特征，并與該類別物品的廣告標志進行比 對。
33) 直接匹配。求取多個視頻關聯區(qū)域底層特征的均值，并與所有的廣告 標志直接使用底層特征進行匹配。
在選取廣告標志后，在步驟13)中將上述廣告標志及其相應的附加信息隨同原視頻流一起播放給用戶。為了不影響用戶觀看，廣告標志及附加信息顯示 在視頻播放窗口周圍的單獨窗口中。
一種基于視覺顯著度的視頻廣告關聯系統，其包括
視頻關聯區(qū)域提取模塊根據視頻流中各采樣幀的顯著度分布圖，選擇最 顯著和出現頻率最高的若干區(qū)域。廣告標志查詢模塊根據選取的用于查詢的 顯著區(qū)域，使用多種方法來檢索相關的廣告標志。
所述的視頻關聯區(qū)域提取模塊包括以下子模塊
幀采樣子模塊用于按照一定間隔，在視頻流數據中提取采樣幀；幀顯著 度計算子模塊使用現有方法，計算各采樣幀的顯著度分布圖；視頻關聯區(qū)域 提取子模塊基于各幀的顯著度分布圖，提取若干該段視頻中顯著度最大，出 現頻率最高的區(qū)域作為視頻關聯區(qū)域。
所述的廣告標志查詢模塊包括以下子模塊
視紋提取比對子模塊用于提取唯一表示各視頻關聯區(qū)域的視紋并與各廣 告標志的視紋進行比對；分類特征提取子模塊用于提取各視頻關聯區(qū)域的底 層特征；分類子模塊使用預訓練的分類器，來計算各視頻關聯區(qū)域屬于預定 義若干類別物品的概率；底層特征匹配子模塊計算各視頻關聯區(qū)域和各廣告 標志的底層特征相似性。廣告標志選擇子模塊根據視頻關聯區(qū)域與廣告標志 的多種匹配結果，選擇并輸出廣告標志以及緩存的視頻片段。
根據本發(fā)明的基于視覺顯著度的視頻廣告關聯系統，其具有以下聯接關系
將視頻流輸入至幀采樣子模塊按照一定間隔提取采樣幀。提取出的采樣幀 被輸入到幀顯著度計算子模塊，以計算各采樣幀的顯著度分布圖。最后將顯著 度分布圖輸入至視頻關聯區(qū)域提取子模塊，以提取若干該段視頻中最顯著的、 出現頻率最高的區(qū)域作為視頻關聯區(qū)域。
將查詢樣例首先輸入視紋提取比對子模塊，以提取各查詢樣例的視紋，并 比對各廣告標志的視紋。若匹配度足夠高，則輸出至廣告標志選擇子模塊，否 則，進入分類特征提取子模塊，以提取各視頻關聯區(qū)域的底層特征。然后，將 各視頻關聯區(qū)域的底層特征輸入至分類子模塊，以判斷各視頻關聯區(qū)域屬于各 類別的概率。如果某視頻關聯區(qū)域屬于某類別的概率最大且該概率足夠高，則 輸出該視頻關聯區(qū)域的底層特征至底層特征匹配子模塊，并與該類別各廣告標 志的底層特征進行匹配；否則，輸出所有視頻關聯區(qū)域底層特征的均值至底層 特征匹配子模塊，并與所有的廣告標志底層特征進行匹配。最后，將底層特征 匹配結果輸出至廣告標志選擇子模塊，以選擇相應的廣告標志，并與緩存的視頻片段一起輸出。
與現有方法相比，本發(fā)明的優(yōu)點在于
(1) 基于視覺顯著度的潛在廣告對象定位根據顯著區(qū)域的相似性構建無 向有權圖，并通過對圖切分的方法實現顯著區(qū)域的聚類和視頻關聯區(qū)域的選 取。
(2) 增強內容的多種關聯方法包括直接使用底層特征、使用視紋、將查 詢區(qū)域進行分類等方法來選纟奪相似的廣告標志。
本發(fā)明的有益效果給定任意視頻文件或視頻流，本發(fā)明所述的基于視覺 顯著度的視頻廣告關聯方法可以根據廣告宣傳的需求，在不影響用戶觀看視頻 的情況下，提供與視覺顯著內容相關的廣告標志，以方便用戶對視頻顯著內容 的進一步了解和探索。


圖l是基于視覺顯著度的視頻廣告關聯方法效果示例(a)視頻起始等待時間插播廣告(右上角倒計時)；(b)網頁周邊區(qū)域插播； (c)視頻下方帶狀區(qū)域插播；(d)視頻右下角插播動畫；(e)-(g)基于視覺顯著 度的視頻廣告關聯方法效果圖。
圖2是基于視覺顯著度的視頻廣告關聯方法流程圖3是用于查詢的顯著區(qū)域選取方法流程圖4是廣告標志查詢方法流程圖5是基于視覺顯著度的視頻廣告關聯系統模塊圖。
圖6是視頻顯著度分布圖的示例圖。
具體實施例方式
以下通過實施例并結合附圖對本發(fā)明的各方面進行詳細描述。
圖l是基于視覺顯著度的視頻廣告關聯方法效果示例圖，其中圖l(a) l(d)
為現有廣告插播方法效果圖；圖1(e)-l(g)為基于視覺顯著度的視頻廣告關聯
方法效果圖。
按照本發(fā)明一個實施方式，本發(fā)明的方法流程圖如圖2所示。圖2中的輸 入視頻模塊代表任意輸入至此視頻廣告關聯系統的視頻信號，所述的視頻信號 可以是^L頻流，也可以是視頻文件。在實現本發(fā)明的方法時，乂人輸入^L頻中獲 取短的視頻片段，并在幀采樣模塊中，按照一定間隔從視頻片段中獲取視頻幀做為采樣幀。然后根據采樣的視頻幀，使用現有方法計算各采樣幀的顯著度分 布圖，以描述各視頻幀各位置的特殊程度。通過將各采樣幀的顯著度分布圖輸 入至視頻關聯區(qū)域提取模塊，可以通過圖3所述的方法提取對應該段視頻的視 頻關聯區(qū)域。將上述關聯區(qū)域輸入至關聯廣告查詢模塊，并通過各種方法與廣 告標志庫中的各廣告標志進行比對。最后，將獲取的短視頻片段以及查詢得到 的廣告標志一起輸出。
采用現有技術獲得的顯著度分布圖的實例如圖6所示。 一般來說，根據視
頻內容關聯廣告標志需要解決以下兩個主要問題。即(l)使用哪些視頻內容
進行廣告標志關聯；(2)如何將視頻內容與廣告標志關聯。在通常情況下，使 用出現頻率高、用戶關注程度高的視頻內容進行廣告內容關聯的效果較好。因 此，為了確定關聯所用的視頻內容，需要首先預測用戶對視頻各幀的關注程度， 即計算視頻各采樣幀的顯著度分布圖。其目的在于獲取用戶所關注的視頻區(qū) 域，使得所關聯的廣告標志與視頻中最顯著、出現頻率最高的部分相關，以荻 得比較好的廣告效果。在此，在通過現有方法獲取視頻各采樣幀的顯著度分布 圖后，需要根據這些顯著度分布圖來選擇一個或數個這^^見頻中最顯著、出現 頻率最高的區(qū)域。
圖3是根據本發(fā)明的從多個釆樣幀的顯著度分布圖中獲取視頻關聯區(qū)域流 程圖，其主要步驟如下
步驟1:輸入視頻各采樣幀的顯著度分布圖。
步驟2:將各顯著度分布圖輸入至選取局部最大點模塊，以選擇各顯著度
分布圖上的所有局部最大點作為候選點。
步驟3:對任一顯著度分布圖，選擇其候選點中，顯著度最高的點。
步驟4:基于選擇的該點進行區(qū)域生長，以獲得顯著區(qū)域。
步驟5:如果當前幀選擇的所有區(qū)域各點顯著度之和足夠大，則進入下一
步；否則，重復步驟3和步驟4。
步驟6:使用各采樣幀中提取的所有顯著區(qū)域，計算任意兩個顯著區(qū)域的
相似性(在一個實施例中，可以通過顏色直方圖、紋理信息的相似性來得到)，
并構建一個無向有權圖。圖的結點代表各顯著區(qū)域，圖的邊為兩個顯著區(qū)域的
相似性。
步驟7:使用圖切割的方法來將顯著區(qū)域聚成若干類別。在一個實施中， 我們使用正規(guī)化切分的方法進行圖切割。
步驟8:如果各個子圖內部顯著區(qū)域均較相似，即判斷每個子圖自相似性足夠高，則進輸出各個子圖；否則，重復步驟7。
步驟9:通過顯著度及結點數來選擇子圖，輸出多個顯著區(qū)域子圖，然后 輸出特定子圖所有節(jié)點作為視頻關聯區(qū)域。
下面對各步驟的實現方法進行詳細描述為了選取視頻關聯區(qū)域，首先需 要計算各采樣幀的顯著度分布圖，用于描述視頻中各位置的特殊程度。此后， 從各采樣幀的顯著度分布圖上提取若千候選的顯著區(qū)域，來表示各采樣幀中的 特殊區(qū)域。這些區(qū)域由于比較特殊，更容易吸引用戶的注意力。具體的顯著區(qū) 域提取方法如下首先，在各采樣幀的顯著度分布圖上尋找所有的局部最大點， 即尋找那些顯著度大于其鄰域內其他所有位置顯著度的點，并根據這些局部最 大點來生成顯著區(qū)域。如果一個點的顯著度高于其鄰域內的所有點的顯著度， 則選擇此點為局部最大點。在此，通過改變鄰域的大小來控制局部最大點的個 數。優(yōu)選地，在一個實施例中，將鄰域的長和寬均選4奪為當前視頻幀長和寬的 1/20。
此后，每次選取一個當前顯著度最高的局部最大點。如果此局部最大點不 在任何已知顯著區(qū)域的內部，則以該點為中心，通過模糊生長的方法，通過預 定義的顯著度閾值，不斷將當前區(qū)域邊緣處所有顯著度大于此閾值的點加入當 前區(qū)域，進而在顯著度分布圖上獲取一塊與任何已知顯著區(qū)域均不重合的顯著 區(qū)域。通過上述方法，對各采樣幀可以選取多個顯著區(qū)域。如果沒有可選的局 部最大點，或者已選擇的顯著區(qū)域中各點的顯著度之和大于預定義的閾值(優(yōu) 選地，在一個實施例中，此閾值選取為Q. 95*顯著度分布圖所有點顯著度之 和)，則結束上述迭代過程，并輸出各幀所選擇的顯著區(qū)域。
通過上述過程，對各采樣幀均選擇一個或數個顯著區(qū)域，來表示各采樣幀 的顯著部分。此后，通過以下方法來獲取當前^L頻中最顯著、出現頻率最高的 區(qū)域。
(1)計算所有采樣幀的顯著區(qū)域集合中，任意兩個顯著區(qū)域的相似程度。 基于此相似程度，可以構建一個無向有權圖，其中圖的結點代表各個顯著區(qū)域， 而圖中各邊的權重表示兩個顯著區(qū)域的相似程度。優(yōu)選地，在一個實施例中， 提取了顏色直方圖、紋理信息、結構信息等底層特征來計算任意兩個顯著區(qū)域 的相似性。具體計算方法可以通過分別計算兩個區(qū)域顏色直方圖、紋理信息等 特征的相似程度，并通過將各特征的相似程度相加，以獲得兩個區(qū)域的總相似 程度。
(2 )將顯著區(qū)域分為若干類別，每類顯著區(qū)域具有相似的底層特征(如前
ii述顏色直方圖，紋理信息等入手特征)。通過圖切分進行聚類和分類的現有方 法有很多，如正M/f匕切分、最大-最小切分、比例切分等，在此不再詳述。優(yōu) 選地，在一個實施例中，通過正規(guī)化切分，每次將一個無向有權圖切分為兩個 子圖。在正規(guī)化切分中，切分的準則即為使兩個子圖間的相似性最小，而兩個 子圖內的相似性最大。如果一個子圖內各結點的相似性均值小于預定義的閾 值，則重復上述圖切分的方法，直至將原始的無向有權圖切分為若干個子圖， 每個子圖的自相似性(即該子圖內各結點所代表顯著區(qū)域的底層特征相似性) 均大于預定義的閱值。此時，每個子圖即代表一類顯著區(qū)域，其總體顯著性為 子圖各個結點顯著度的均值，其出現頻率為結點個數。
(3 )通過選取結點個數最多，顯著度均值最大的子圖中的各結點所代表的 顯著區(qū)域，作為該段視頻中的最顯著、出現頻率最高的區(qū)域，并使用這些區(qū)域 進行廣告標志關聯。
圖4是本發(fā)明的廣告標志查詢方法流程圖，其主要步驟如下 步驟l:輸入的一個或多個視頻關聯區(qū)域。
步驟2:提取各視頻關聯區(qū)域的視紋(一段二進制值)，來表述各視頻關聯 區(qū)域的特征。
步驟3:使用視頻關聯區(qū)域的視紋與廣告標志庫中的視紋進行比對，以計 算各視頻關聯區(qū)域與各廣告標志的匹配度(相似性)。
步驟4:如果某視頻關聯區(qū)域與某廣告標志的匹配度足夠高，則輸出該廣 告標志；否則，進入步驟5。
步驟5:提取各視頻關聯區(qū)域的底層特征，如顏色直方圖、玟理信息、結 構信息等。
步驟6:使用上述底層特征，判斷視頻關聯區(qū)域是否屬于已知的類別。 步驟7:如果某視頻關聯區(qū)域屬于已知的類別，則使用其底層特征匹配該
類別的廣告標志；否則，使用所有視頻關聯區(qū)域的底層特征，去匹配所有的廣
告標志。
步驟8:選取并輸出上述匹配程度最高的廣告標志。
下面對各步驟的實現方法進行詳細描述為了選取與視頻關聯區(qū)域相關的 廣告標志，需要計算任意視頻關聯區(qū)域與任意廣告標志的相似性(即特征的相 似程度，如視紋、顏色直方圖等)。在此，提出一種由精到粗的廣告標志匹配 方法。
首先，在廣告標志庫中對各視頻關聯區(qū)域進行精確匹配。提取了各4見頻關
12聯區(qū)域的視紋來作為對視頻關聯區(qū)域的精確表述，并將各視頻關聯區(qū)域的視紋 與廣告標志的視紋進行視紋匹配。視紋一般是指用來表述視覺不變特征的 一段 二進制值。通過按位比較兩段視紋，可以精確的描述兩個視覺輸入(如兩個視 頻幀)的視覺不變特征的匹配程度。優(yōu)選地，在一個實施例中，上述視紋是通 過提取對尺度變換、旋轉、平移、加噪、顏色及亮度變化魯棒的不變量來生成 的。在視紋匹配中，如果某視頻關聯區(qū)域與某廣告標志的匹配度足夠高，即可 以認為該廣告標志在該段視頻中出現過，進而可以直接選擇該廣告標志及其相 關信息進行關聯。否則，上述基于視紋的精確描述無法找到相關的廣告標志， 需要進一步進行模糊匹配。
如果對所有的視頻關聯區(qū)域，均無法找到可以精確匹配的廣告標志，則通 過一種分類匹配的方法來關聯相同類別的廣告標志。在此，首先選定若干常見 的類別，如汽車、飛機、手4是包等，并為每一類別訓練一個分類器。優(yōu)選地，
在一個實施例中，使用支持向量機(SVM)來作為上述分類器。此后，對每個視
頻關聯區(qū)域，提取其底層特征，并使用多個分類器判斷各視頻關^:區(qū)域屬于某 個類別的概率。如杲某個視頻關聯區(qū)域屬于某個特定類別的概率最大，且大于 預定義的閾值，則可以判定當前的視頻與該類別物品有關。此后，即可以通過 該視頻關聯區(qū)域的底層特征，計算該視頻關聯區(qū)域與該類別所有廣告標志的相 似性，并選取該類別中最相似的廣告標志。
如果所有視頻關聯區(qū)域屬于現有各類別的概率均較小，則提取所有視頻關 聯區(qū)域的底層特征均值與所有的廣告標志進行匹配，進而選取最相似的廣告標 志。優(yōu)選地，在一個實施例中，提取了包括邊緣分布、局部圖^f象描述子、顏色 直方圖、紋理系數等特征進行視頻關聯區(qū)域分類，并提取了顏色直方圖和
SIFT (尺度不變特征)直方圖作為底層特征，進行廣告標志與視頻關聯區(qū)域的匹配。
圖5是根據本發(fā)明的基于視覺顯著度的視頻廣告關聯方法所實現的視頻廣 告關聯系統的模塊圖，其中箭頭表示數據流方向。首先，將視頻流輸入至幀采 樣子模塊，提取若干采樣幀。提取出的采樣幀被輸入到幀顯著度計算子模塊， 以計算各采樣幀的顯著度分布圖。最后將顯著度分布圖輸入至視頻關聯區(qū)域提 取子模塊，以提取若干該段視頻中最顯著、出現頻率最高的區(qū)域作為視頻關聯 區(qū)域。
然后，將視頻關聯區(qū)域首先輸入視紋提取比對子模塊，以提取各視頻關聯 區(qū)域的^f見紋，并比對各廣告標志的-見紋。若匹配度足夠高，則輸出至廣告標志選擇子模塊，否則，進入分類特征提取子模塊，以提取各視頻關聯區(qū)域的分類 特征。將各視頻關聯區(qū)域的分類特征輸入至分類子模塊，以判斷各視頻關聯區(qū) 域屬于各類別的概率。如果某視頻關聯區(qū)域屬于某類別的概率最大，且大于預 定義的閾值，則輸出該視頻關聯區(qū)域的底層特征至底層特征匹配子模塊，并與
該類別的各廣告標志底層特征進行匹配；否則，輸出所有視頻關聯區(qū)域的底層
特征均值至底層特征匹配子模塊，并與所有的廣告標志底層特征進行匹配。最 后，將底層特征匹配結果輸出至廣告標志選擇子模塊，以選擇相應的廣告標志 及其相關的其他信息(如文本、音頻等)，并與輸入的視頻流一起輸出。
按照本發(fā)明一個實施方式， 一個實施例的效果示例圖如附圖l(e)，圖l(f) 和圖l(g)所示。本發(fā)明通過將插入廣告與視頻內容關聯起來，可以在不影響 用戶觀看的情況下提供額外增值信息。
雖然以上描述了本發(fā)明的具體實施方式
，但是本領域的技術人員應當理解， 這些具體實施方式
僅是舉例說明，本領域的技術人員在不脫離本發(fā)明的原理和 實質的情況下，可以對上述方法和系統的細節(jié)進行各種省略、替換和改變。例 如以合并上述方法步驟的方式，按照實質相同的方法執(zhí)行實質相同的功能以實 現實質相同的結果則屬于本發(fā)明的范圍。因此，本發(fā)明的范圍僅由所附權利要 求書限定。
權利要求
1、一種基于視覺顯著度的視頻廣告關聯方法，其特征在于，該方法包括以下步驟11)采樣獲取視頻中的一個或多個幀，計算所述幀的顯著度分布圖，并基于顯著度分布圖提取視頻關聯區(qū)域；12)根據提取的所述視頻關聯區(qū)域，檢索相關的廣告標志及附加信息；13)將廣告標志、附加信息隨同視頻同步播放。
2、 如權利要求1所述的基于視覺顯著度的視頻廣告關聯方法，其特征在 于，所述步驟11)中提取視頻關聯區(qū)域包括以下步驟21)選取局部最大點對每個采樣幀的顯著度分布圖，提取所有局部最大點；2"生成候選顯著區(qū)域選取多個局部最大點進行區(qū)域生長，獲得顯著區(qū)域；23)提取視頻關聯區(qū)域通過對候選顯著區(qū)域進行聚類，提取視頻中出現 頻率最高且顯著度最大的一個或多個顯著區(qū)域作為視頻關聯區(qū)域。
3、 如權利要求2所述的基于視覺顯著度的視頻廣告關聯方法，其特征在于， 所述步驟21)中局部最大點選取方法是通過選取顯著度分布圖上所有在其鄰 域內顯著度最大的點，其中鄰域大小正比于視頻尺寸。
4、 如權利要求2所述的基于視覺顯著度的視頻廣告關聯方法，其特征在于， 所迷步驟22 )的候選顯著區(qū)域生成方法是通過對每個采樣幀的顯著度分布圖， 依次選取當前顯著度最高的局部最大點，并進行區(qū)域生長，直至當前邊緣的顯 著度足夠'J 、或者遇到其他區(qū)域的邊界為止。
5、 如權利要求4所述的基于視覺顯著度的視頻廣告關聯方法，其特征在于， 重復所述顯著區(qū)域生成方法，獲得候選顯著區(qū)域，直至每幀所選取的所有顯著 區(qū)域中各點的顯著度之和大于預定義的閾值。
6、 如權利要求2所述的基于視覺顯著度的視頻廣告關聯方法，其特征在于 所述步驟23)的視頻關聯區(qū)域提取方法是通過計算各候選顯著區(qū)域的相似度 來構建無向有權圖，并通過圖切分將候選顯著區(qū)域分成若干集合，使得每個集 合內的顯著區(qū)域具有較高的相似性。
7、 如權利要求1所述的基于視覺顯著度的視頻廣告關聯方法，所述步驟12) 的廣告標志檢索使用以下方法31) 視紋匹配提取所有視頻關聯區(qū)域的視紋，并通過與廣告標志的視紋 進行匹配來檢索相同的廣告標志；或32) 分類匹配計算所有視頻關聯區(qū)域屬于預定義類別的概率，并選擇相 應類別的廣告標志；或33) 直接匹配直接求取多個視頻關聯區(qū)域底層特征的均值，并與所有的 廣告標志使用底層特征進行匹配。
8、 如權利要求7所述的基于視覺顯著度的視頻廣告關聯方法，其特征在于， 所述步驟31)的視紋匹配是通過對所選取的所有視頻關聯區(qū)域，分別提取多 種不變視覺特征來生成視紋，并與各廣告標志的視紋進行匹配，所述的不變視 覺特征是指對尺度變換、旋轉、平移、加噪、顏色及亮度變化魯棒的視覺特征。
9、 如權利要求7所述的基于視覺顯著度的視頻廣告關聯方法，其特征在于， 所述步驟32)的分類匹配是對所選取的所有視頻關聯區(qū)域，分別提取底層特 征，通過預先訓練的分類器將各視頻關聯區(qū)域分類至若干預定義類別，然后與 其該類別內所有廣告標志進行底層特征的比較和匹配。
10、 如權利要求7所述的基于視覺顯著度的視頻廣告關聯方法，其特征在 于，所述步驟33)的直接匹配是對所選取的所有視頻關聯區(qū)域分別提取底層 特征，并求取這些底層特征的均值，最后使用均值向量與所有的廣告標志的底 層特征進行比較和匹配。
11、 如權利要求1所述的基于視覺顯著度的視頻廣告關聯方法，其特征在 于，其所述步驟13)中播放廣告標志、附加信息是在視頻周邊的額外窗口中同 步播放與視頻中最顯著內容相關聯的廣告標志及附加信息。
12、 一種基于視覺顯著度的視頻廣告關聯系統，其特征在于，該系統包括 視頻關聯區(qū)域提^4莫塊，用于根據視頻中各采樣幀的顯著度分布圖，選擇最顯著和出現頻率最高的 一個或多個視頻關聯區(qū)域；廣告標志查詢模塊，用于根據選擇的所述視頻關聯區(qū)域，檢索相關的廣告標志o
13、 如權利要求12所述的基于視覺顯著度的視頻廣告關聯系統，其特征在 于，所述視頻關聯區(qū)域提取模塊包括以下子模塊幀釆樣子模塊用于按照一定間隔，在視頻中提取采樣幀； 幀顯著度計算子模塊計算各采樣幀的顯著度分布圖； 視頻關聯區(qū)域提取子模塊基于各采樣幀的顯著度分布圖，提取一個或多 個該視頻中顯著度最大且出現頻率最高的區(qū)域作為視頻關聯區(qū)域。
14、 如權利要求12所述的基于視覺顯著度的視頻廣告關聯系統，其特征在 于，所述廣告標志查詢模塊包括以下子模塊視紋提取比對子模塊提取用于唯一表示各視頻關聯區(qū)域的視紋，并將提取的所述視紋與各廣告標志的視紋進行比對；分類特征提取子模塊用于提取各視頻關聯區(qū)域的底層特征； 分類子模塊使用預訓練的分類器，計算各視頻關聯區(qū)域屬于預定義類別物品的概率；底層特征匹配子模塊計算各視頻關聯區(qū)域和各廣告標志的底層特征相似性；廣告標志選擇子模塊根據視頻關聯區(qū)域與廣告標志的匹配結果，選擇并 輸出廣告標志以及緩存的^L頻。
15、 如權利要求12所述的基于視覺顯著度的視頻廣告關聯系統，其特征在于，幀采樣子模塊按照一定時間間隔從輸入視頻中抽取采樣幀； 幀顯著度計算子模塊接收采樣幀，計算各采樣幀的顯著度分布圖； 視頻關聯區(qū)域提取子模塊接收顯著度分布圖，提取該視頻中最顯著的、出現頻率最高的 一個或多個區(qū)域作為視頻關聯區(qū)域；輸入查詢樣例，通過視紋提取比對子模塊提取查詢樣例的視紋，并與各廣告標志的視紋進行比對；若視紋比對的匹配度足夠高，則直接輸出至廣告標志選擇子模塊， 否則進入分類特征提取子模塊，提取各視頻關聯區(qū)域的底層特征； 然后，將各視頻關聯區(qū)域的底層特征輸入至分類子模塊，判斷各視頻關聯區(qū)域屬于各類別的概率；如杲視頻關聯區(qū)域屬于某類別的概率最大且該概率足夠高，則輸出該視頻關聯區(qū)域的底層特征至底層特征匹配子模塊，并與該類別各廣告標志的底層特征進行匹配；塊，并與所有的廣告標志底層特征進行匹配；最后，將底層特征匹配結果輸出至廣告標志選擇子模塊，選擇相應的廣告 標志，并與緩存的視頻一起輸出。
全文摘要
本發(fā)明涉及一種圖像和視頻處理方法，特別是關于一種基于視覺顯著度的視頻廣告關聯方法。本方法中，通過計算采樣幀的顯著度分布圖，可以自動選取一段視頻中最受用戶關注的顯著區(qū)域?；谔崛〉娘@著區(qū)域，本方法可以自動通過多種檢索方法，在廣告庫中獲取與這些顯著區(qū)域相關聯的廣告標志以及相關信息。最后，將視頻片段與查詢到的廣告信息同步播放給用戶。本方法可以在不影響用戶觀看的情況下，為用戶所關注的顯著區(qū)域關聯相關的廣告信息，進而滿足了用戶對其所關注區(qū)域深入了解和進一步探索的需求。
文檔編號H04N7/52GK101489139SQ20091007678
公開日2009年7月22日 申請日期2009年1月21日 優(yōu)先權日2009年1月21日
發(fā)明者甲 李, 段凌宇, 田永鴻, 文 高, 黃鐵軍 申請人:北京大學