專(zhuān)利名稱(chēng)：檢測(cè)廣播媒體中的重復(fù)內(nèi)容的制作方法
技術(shù)領(lǐng)域：
所公開(kāi)的實(shí)現(xiàn)方式涉及用于大眾(mass)媒體的社交和交互式應(yīng)用。
背景技術(shù)：
傳統(tǒng)的電視和交互式電視系統(tǒng)不具有對(duì)重播嵌入在電視節(jié)目中的 廣告進(jìn)行檢測(cè)的能力。傳統(tǒng)的記錄設(shè)備允許用戶存儲(chǔ)電視節(jié)目(包括 廣告)，以便在以后的日期或時(shí)間重播。廣播公司的共同抱怨是它們不
能從這些重播中獲利，從廣播公司的角度來(lái)說(shuō)，這相當(dāng)于為購(gòu)買(mǎi)了節(jié) 目最初廣播播放空間的廣告客戶"免費(fèi)"做廣告。

發(fā)明內(nèi)容
通過(guò)所公開(kāi)的用于檢測(cè)廣播媒體中的重復(fù)內(nèi)容的系統(tǒng)、方法、裝 置、用戶接口和計(jì)算機(jī)程序產(chǎn)品來(lái)解決上述的不足。
在一些實(shí)現(xiàn)方式中，方法包括從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成查詢； 在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行該查詢，以確定非等同的(non-identity)匹 配；以及如果存在非等同的匹配，則將與所匹配的査詢相對(duì)應(yīng)的內(nèi)容 識(shí)別為重復(fù)內(nèi)容。
在一些實(shí)現(xiàn)方式中，系統(tǒng)包括處理器和可操作地耦接到處理器的 計(jì)算機(jī)可讀介質(zhì)。該計(jì)算機(jī)可讀介質(zhì)包括指令，當(dāng)被處理器運(yùn)行時(shí)， 該指令使處理器執(zhí)行以下操作從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成查詢；在音 頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行該査詢，以確定非等同的匹配，其中該音頻統(tǒng) 計(jì)量是從內(nèi)容生成的；以及如果發(fā)現(xiàn)非等同的匹配，則將與所匹配的 査詢相對(duì)應(yīng)的內(nèi)容識(shí)別為重復(fù)內(nèi)容。
其它實(shí)現(xiàn)方式涉及系統(tǒng)、方法、裝置、用戶接口和計(jì)算機(jī)程序產(chǎn)品。


圖1是大眾個(gè)性化系統(tǒng)的一個(gè)實(shí)施例的框圖。 圖2示出了周?chē)纛l識(shí)別系統(tǒng)的一個(gè)實(shí)施例，包括圖1中所示的 客戶端側(cè)接口。
圖3是用于提供大眾個(gè)性化應(yīng)用的過(guò)程的一個(gè)實(shí)施例的流程圖。 圖4是音頻指紋識(shí)別過(guò)程的一個(gè)實(shí)施例的流程圖。 圖5是用于與大眾個(gè)性化應(yīng)用交互的用戶界面的一個(gè)實(shí)施例的流 程圖。
圖6是用于實(shí)現(xiàn)圖1中所示的客戶端側(cè)接口的客戶端系統(tǒng)的硬件 體系結(jié)構(gòu)的一個(gè)實(shí)施例的框圖。
圖7是重復(fù)檢測(cè)過(guò)程的一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式
大眾個(gè)性化應(yīng)用
大眾個(gè)性化應(yīng)用提供與大眾媒體廣播(例如，電視、無(wú)線電廣播、 電影、因特網(wǎng)廣播等)相關(guān)的個(gè)性化和交互式信息。這樣的應(yīng)用包括
但不限于個(gè)性化信息層、自組織(adhoc)社交同群社區(qū)、實(shí)時(shí)的流
行等級(jí)和視頻(或音頻)書(shū)簽等。盡管在此所公開(kāi)的一些大眾媒體的 例子是在電視廣播的上下文中，但是所公開(kāi)的實(shí)現(xiàn)同樣可適用于無(wú)線 電和/或音樂(lè)廣播。
個(gè)性化信息層向大眾媒體頻道提供補(bǔ)充信息。個(gè)性化信息層的例
子包括但不限于時(shí)尚、政治、商業(yè)、健康、旅行等。例如，當(dāng)觀看 關(guān)于一名人的新聞片段時(shí)，在電視屏幕上或計(jì)算機(jī)顯示設(shè)備上向觀眾 呈現(xiàn)時(shí)尚層，其提供與在該新聞片段中該名人穿戴的服裝和飾品相關(guān) 的信息和/或圖像。此外，個(gè)性化層可以包括用于促銷(xiāo)與該新聞片段相 關(guān)的產(chǎn)品或服務(wù)的廣告，諸如到銷(xiāo)售該名人所穿服裝的服裝店的鏈接。
自組織社交同群社區(qū)在正在觀看相同的電視節(jié)目或收聽(tīng)相同的無(wú) 線電廣播站的用戶之間提供評(píng)論場(chǎng)所。例如，可以為正在觀看最新的
CNN頭條新聞的用戶提供評(píng)論媒介(例如，聊天室、留言板、wiki頁(yè)
面、視頻鏈接等)，該評(píng)論媒介允許用戶就正在進(jìn)行的大眾媒體廣播 而聊天、評(píng)論或讀取其他觀眾的響應(yīng)。
實(shí)時(shí)流行等級(jí)向內(nèi)容提供者和用戶提供等級(jí)信息(類(lèi)似于尼爾森
(Nielsen)等級(jí))。例如，可以即時(shí)地向用戶提供由用戶的社交網(wǎng)絡(luò) 和/或由具有類(lèi)似的人口統(tǒng)計(jì)特征的人觀看或收聽(tīng)的電視頻道或無(wú)線電 廣播站的實(shí)時(shí)流行等級(jí)。頁(yè)
視頻或音頻書(shū)簽向用戶提供創(chuàng)建他們喜愛(ài)的廣播內(nèi)容的個(gè)性化庫(kù) 的低付出方式。例如，用戶可以簡(jiǎn)單地按下計(jì)算機(jī)或遠(yuǎn)程控制設(shè)備上 的按鈕，來(lái)記錄、處理和保存廣播內(nèi)容的周?chē)纛l和/或視頻的片段。 該片段可以被用作指向節(jié)目或節(jié)目的一部分以便于以后觀看的書(shū)簽。 該書(shū)簽可以在朋友之間共享或者為了將來(lái)的個(gè)人查閱而被保存。
大眾個(gè)性化網(wǎng)絡(luò)
圖1是用于提供大眾個(gè)性化應(yīng)用的大眾個(gè)性化系統(tǒng)100的框圖。
系統(tǒng)100包括一個(gè)或多個(gè)客戶端側(cè)接口 102、音頻數(shù)據(jù)庫(kù)服務(wù)器104和 社交應(yīng)用服務(wù)器106，所有這些都通過(guò)網(wǎng)絡(luò)108 (例如，因特網(wǎng)、企業(yè) 內(nèi)部互聯(lián)網(wǎng)、LAN、無(wú)線網(wǎng)絡(luò)等)進(jìn)行通信。
客戶端接口 102可以是允許用戶輸入和接收信息、并能夠在顯示 設(shè)備上呈現(xiàn)用戶界面的任何設(shè)備，包括但不限于臺(tái)式或便攜式計(jì)算 機(jī)；電子設(shè)備；電話；移動(dòng)電話；顯示系統(tǒng)；電視；計(jì)算機(jī)監(jiān)視器； 導(dǎo)航系統(tǒng)；便攜式媒體播放器/記錄器；個(gè)人數(shù)字助理(PDA);游戲 控制臺(tái)；手持電子設(shè)備；以及嵌入式電子設(shè)備或裝置。將關(guān)于圖2對(duì) 客戶端接口 102做更充分的描述。
在一些實(shí)現(xiàn)方式中，客戶端接口 102包括用于在廣播環(huán)境中(例 如，用戶的起居室)監(jiān)聽(tīng)和記錄大眾媒體廣播的周?chē)纛l的周?chē)纛l 檢測(cè)器(例如，麥克風(fēng))。 一個(gè)或多個(gè)周?chē)纛l片斷或"片段"被轉(zhuǎn) 換為獨(dú)特而健壯的統(tǒng)計(jì)概要，其被稱(chēng)為"音頻指紋"或"描述符"。 在一些實(shí)現(xiàn)方式中，該描述符是包含一個(gè)或多個(gè)音頻簽名組件的壓縮 文件，可以將該音頻簽名組件與數(shù)據(jù)庫(kù)中的以前所生成的和大眾媒體 廣播相關(guān)聯(lián)的參考描述符或統(tǒng)計(jì)量進(jìn)行比較。
在Ke,Y.、 Hoiem，D.、 Sukthankar,R. (2005)的Computer Vision for Music Identification (Proc. Computer Vision and Pattern Recognition)中
9
描述了一種用于生成關(guān)于音樂(lè)識(shí)別的音頻指紋的技術(shù)，通過(guò)引用而將
其全部?jī)?nèi)容合并于此。在一些實(shí)現(xiàn)方式中，采用由下文中稱(chēng)作"Ke等
人"所建議的該音樂(lè)識(shí)別方法來(lái)為電視音頻數(shù)據(jù)和査詢生成描述符，
如關(guān)于圖4所描述的。
在名稱(chēng)為"Audio Identification Based on Signatures"的美國(guó)臨時(shí)專(zhuān) 利申請(qǐng)No. 60/823,881中，描述了一種用于使用小波生成音頻描述符的 技術(shù)。該申請(qǐng)描述了如下的一種技術(shù)使用計(jì)算機(jī)視覺(jué)技術(shù)和大規(guī)模 數(shù)據(jù)流處理算法的結(jié)合來(lái)創(chuàng)建能夠被有效匹配的音頻片段的緊湊的描 述符/指紋。該技術(shù)使用小波，小波是一種有名的用于分級(jí)分解功能的 數(shù)學(xué)工具。
在"Audio Identification Based on Signatures"中，檢索過(guò)程的實(shí)現(xiàn) 包括如下步驟l)給定音頻片段的音頻范圍，提取例如持續(xù)11.6*wms 的具有平均d-ms的隨機(jī)間隔的頻譜圖像。對(duì)于每個(gè)頻譜圖像2)計(jì) 算該頻譜圖像的小波；3)提取最佳的t個(gè)小波；4)創(chuàng)建該最佳的t個(gè) 小波的二進(jìn)制表示；5)使用最小散列法來(lái)創(chuàng)建該最佳的t個(gè)小波的子 指紋；6)使用具有b個(gè)箱(bin)和1個(gè)散列表的LSH來(lái)查找緊密匹配 的子指紋片段；7)丟棄具有少于v個(gè)匹配的子指紋；8)計(jì)算從剩余 的候選子指紋到査詢子指紋的漢明距離(Hamming distance);以及9) 對(duì)隨時(shí)間組合的匹配使用動(dòng)態(tài)規(guī)劃。
在一些實(shí)現(xiàn)方式中，經(jīng)由網(wǎng)絡(luò)108將用于識(shí)別客戶端側(cè)接口 102 的描述符和相關(guān)聯(lián)的用戶標(biāo)識(shí)符("用戶id")發(fā)送到音頻數(shù)據(jù)庫(kù)服 務(wù)器104。音頻數(shù)據(jù)庫(kù)服務(wù)器104將該描述符與多個(gè)參考描述符進(jìn)行比 較，該多個(gè)參考描述符是以前確定的并存儲(chǔ)在耦接到音頻數(shù)據(jù)庫(kù)服務(wù) 器104的音頻數(shù)據(jù)庫(kù)110中。在一些實(shí)現(xiàn)方式中，音頻數(shù)據(jù)庫(kù)服務(wù)器 104根據(jù)最近的大眾媒體廣播不斷地更新存儲(chǔ)在音頻數(shù)據(jù)庫(kù)110中的參
考描述符。
音頻數(shù)據(jù)庫(kù)服務(wù)器104確定在所接收的描述符和參考描述符之間
的最佳匹配，并將最佳匹配信息發(fā)送到社交應(yīng)用服務(wù)器106。將關(guān)于圖 4對(duì)匹配過(guò)程做更充分的描述。
在一些實(shí)現(xiàn)方式中，社交應(yīng)用服務(wù)器106接受與客戶端側(cè)接口 102 相關(guān)聯(lián)的Web瀏覽器連接。使用最佳匹配信息，社交應(yīng)用服務(wù)器106 聚合用戶的個(gè)性化信息并將該個(gè)性化信息發(fā)送到客戶端側(cè)接口 102。該 個(gè)性化信息可以包括但不限于廣告、個(gè)性化信息層、流行等級(jí)、及 與評(píng)論媒介(例如，自組織社交同群社區(qū)、論壇、討論組、視頻會(huì)議 等)相關(guān)聯(lián)的信息。
在一些實(shí)現(xiàn)方式中，個(gè)性化信息可以用于為觀眾創(chuàng)建聊天室，而 不必知道這些觀眾正在實(shí)時(shí)觀看的節(jié)目?？梢酝ㄟ^(guò)直接比較由客戶端 系統(tǒng)傳送的數(shù)據(jù)流中的描述符而確定匹配，來(lái)創(chuàng)建聊天室。也就是說(shuō)， 可以圍繞具有匹配的描述符的觀眾來(lái)創(chuàng)建聊天室。在這樣的實(shí)現(xiàn)方式
中，沒(méi)必要將從觀眾接收的描述符與參考描述符進(jìn)行比較。
在一些實(shí)現(xiàn)方式中，社交應(yīng)用服務(wù)器106向客戶端接口 102提供 網(wǎng)頁(yè)，該網(wǎng)頁(yè)是由運(yùn)行在客戶端側(cè)接口 102上的Web瀏覽器(例如， Microsoft Internet Explorer )接收并顯示的。
很顯然地，系統(tǒng)100也可以是其它實(shí)現(xiàn)方式。例如，系統(tǒng)100可 以包括多個(gè)音頻數(shù)據(jù)庫(kù)110、音頻數(shù)據(jù)庫(kù)服務(wù)器104和/或社交應(yīng)用服 務(wù)器106?？商娲兀纛l數(shù)據(jù)庫(kù)服務(wù)器104和社交應(yīng)用服務(wù)器106可 以是單個(gè)的服務(wù)器或系統(tǒng)，或者是網(wǎng)絡(luò)資源和/或服務(wù)的一部分。而且， 網(wǎng)絡(luò)108可以包括多個(gè)網(wǎng)絡(luò)和鏈路，其可操作地使用各種網(wǎng)絡(luò)設(shè)備(例 如，集線器、路由器等)和媒介(例如，銅線、光纖、射頻等)以各 種拓?fù)浜筒贾民罱釉谝黄稹＿@里僅作為例子描述了客戶端-服務(wù)器體系 結(jié)構(gòu)。也可以是其它的計(jì)算機(jī)體系結(jié)構(gòu)。
周?chē)纛l識(shí)別系統(tǒng)
圖2示出了周?chē)纛l識(shí)別系統(tǒng)200，包括如圖1中所示的客戶端側(cè) 接口 102。該系統(tǒng)200包括大眾媒體系統(tǒng)202 (例如，電視機(jī)、收音機(jī)、 計(jì)算機(jī)、電子設(shè)備、移動(dòng)電話、游戲控制臺(tái)、網(wǎng)絡(luò)裝置等)、周?chē)?頻檢測(cè)器204、客戶端側(cè)接口 102 (例如，臺(tái)式或膝上型計(jì)算機(jī)等)和 網(wǎng)絡(luò)接入設(shè)備206。在一些實(shí)現(xiàn)方式中，客戶端側(cè)接口 102包括用于呈 現(xiàn)用戶界面(UI) 208的顯示設(shè)備210，以使用戶能夠與大眾個(gè)性化應(yīng) 用交互，如關(guān)于圖5描述的。
在操作中，大眾媒體系統(tǒng)202生成大眾媒體廣播(例如，電視音 頻)的周?chē)纛l，通過(guò)周?chē)纛l檢測(cè)器204來(lái)檢測(cè)該周?chē)纛l。周?chē)?音頻檢測(cè)器204可以是能夠檢測(cè)周?chē)纛l的任何設(shè)備，包括獨(dú)立式麥 克風(fēng)和與客戶端側(cè)接口 102相集成的麥克風(fēng)?？蛻舳藗?cè)接口 102對(duì)所 檢測(cè)到的周?chē)纛l進(jìn)行編碼，以提供識(shí)別周?chē)纛l的描述符。通過(guò)網(wǎng) 絡(luò)接入設(shè)備206和網(wǎng)絡(luò)108，將該描述符傳送到音頻數(shù)據(jù)庫(kù)服務(wù)器104。
在一些實(shí)現(xiàn)方式中，運(yùn)行在客戶端側(cè)接口 102上的客戶端軟件不 斷地監(jiān)聽(tīng)并記錄周?chē)纛l的n秒(例如，5秒)的音頻文件("片段")。 然后依照關(guān)于圖4描述的過(guò)程將該片段轉(zhuǎn)換為m個(gè)幀(例如，415個(gè) 幀)的k比特編碼描述符(例如，32比特)。在一些實(shí)現(xiàn)方式中，監(jiān) 聽(tīng)和記錄是基于事件的。例如，可以在指定的日期和指定的時(shí)間點(diǎn)(例 如，星期一下午8: 00)自動(dòng)開(kāi)始監(jiān)聽(tīng)和記錄，并且該監(jiān)聽(tīng)和記錄持續(xù) 指定的時(shí)間(例如，在下午8: 00-9: OO之間)。可替代地，可以響應(yīng) 于來(lái)自控制設(shè)備(例如，遠(yuǎn)程控制器等)的用戶輸入(例如，鼠標(biāo)點(diǎn) 擊、功能鍵或鍵的組合)開(kāi)始監(jiān)聽(tīng)和記錄。在一些實(shí)現(xiàn)方式中，使用 由Ke等人描述的32比特/幀區(qū)別特性的流變化來(lái)對(duì)周?chē)纛l進(jìn)行編碼。
在一些實(shí)現(xiàn)方式中，客戶端軟件運(yùn)行為"側(cè)邊欄"("sidebar") 或其它的用戶界面元件。以這種方式，當(dāng)啟動(dòng)客戶端側(cè)接口 102時(shí)， 可以立即開(kāi)始周?chē)纛l采樣并在"后臺(tái)"中運(yùn)行，同時(shí)(可選地)將
結(jié)果顯示在側(cè)邊欄中而無(wú)需調(diào)用整個(gè)Web瀏覽器會(huì)話。
在一些實(shí)現(xiàn)方式中，周?chē)纛l采樣可以在客戶端側(cè)接口 102啟動(dòng)
時(shí)開(kāi)始，或者在觀眾登錄進(jìn)服務(wù)或應(yīng)用(例如，電子郵件等)中時(shí)開(kāi) 始。
將描述符發(fā)送到音頻數(shù)據(jù)庫(kù)服務(wù)器104。在一些實(shí)現(xiàn)方式中，描述 符是周?chē)纛l的經(jīng)壓縮的統(tǒng)計(jì)概要，如Ke等人所描述的。通過(guò)發(fā)送統(tǒng) 計(jì)概要，保持了用戶的與聲音相關(guān)的隱私，因?yàn)榻y(tǒng)計(jì)概要是不可逆的， 即不能從描述符恢復(fù)最初的音頻。因而，不能從描述符再現(xiàn)用戶或其 它個(gè)人監(jiān)聽(tīng)和記錄在廣播環(huán)境中的談話。在一些實(shí)現(xiàn)方式中，為了額 外的保密和安全，可以使用一種或多種已知的加密技術(shù)(例如，不對(duì) 稱(chēng)的或?qū)ΨQ(chēng)的密鑰加密、橢圓加密等)對(duì)描述符進(jìn)行加密。
在一些實(shí)現(xiàn)方式中，響應(yīng)于由在客戶端側(cè)接口 102上的監(jiān)聽(tīng)進(jìn)程 檢測(cè)的觸發(fā)事件，將描述符作為査詢提交(也被稱(chēng)為査詢描述符)發(fā) 送到音頻數(shù)據(jù)庫(kù)服務(wù)器104。例如，觸發(fā)事件可以是打開(kāi)電視節(jié)目的主 題曲(例如，打開(kāi)"宋飛傳"的曲調(diào))或由演員講的對(duì)話。在一些實(shí) 現(xiàn)方式中，可以將査詢描述符作為持續(xù)流過(guò)程的一部分發(fā)送到音頻數(shù) 據(jù)庫(kù)服務(wù)器104。在一些實(shí)現(xiàn)方式中，可以響應(yīng)于用戶輸入(例如，經(jīng) 由遠(yuǎn)程控制器、鼠標(biāo)點(diǎn)擊等)而將査詢描述符發(fā)送到音頻數(shù)據(jù)庫(kù)服務(wù) 器104。
大眾個(gè)性化過(guò)程
圖3是大眾個(gè)性化過(guò)程300的流程圖。過(guò)程300的步驟不必以任 何特定的順序來(lái)完成，并且至少一些步驟可以在多線程或并行處理環(huán) 境中被同時(shí)執(zhí)行。
當(dāng)客戶端側(cè)接口 (例如，客戶端側(cè)接口 102)監(jiān)聽(tīng)并記錄在廣播環(huán) 境中的大眾媒體廣播的周?chē)纛l片段時(shí)，過(guò)程300開(kāi)始(302)。將所
13記錄的周?chē)纛l片段被編碼到描述符中(例如，壓縮的統(tǒng)計(jì)概要)， 可以將該描述符作為查詢發(fā)送到音頻數(shù)據(jù)庫(kù)服務(wù)器(304)。音頻數(shù)據(jù) 庫(kù)服務(wù)器將該査詢與從大眾媒體廣播統(tǒng)計(jì)量計(jì)算出的參考描述符數(shù)據(jù)
庫(kù)進(jìn)行比較，以確定與該査詢最佳匹配的候選描述符(308)。將該候
選描述符發(fā)送到社交應(yīng)用服務(wù)器或其它網(wǎng)絡(luò)資源，該社交應(yīng)用服務(wù)器
或其它網(wǎng)絡(luò)資源使用該候選描述符來(lái)聚合用戶的個(gè)性化信息(310)。
例如，如果用戶在觀看電視節(jié)目"宋飛傳"，則從節(jié)目的周?chē)纛l生 成的查詢描述符將與從以前的"宋飛傳"廣播取得的參考描述符相匹 配。因而，使用該最佳匹配的候選描述符來(lái)聚合與"宋飛傳"相關(guān)的 個(gè)性化信息(例如，新聞故事、討論組、到自組織社交同群社區(qū)或聊 天室的鏈接、廣告等)。在一些實(shí)現(xiàn)方式中，使用散列技術(shù)(例如，
直接散列或位置敏感散列(LSH))來(lái)有效執(zhí)行匹配過(guò)程，以獲得候選 描述符的簡(jiǎn)短列表，如關(guān)于圖4所描述的。然后在驗(yàn)證過(guò)程中處理候 選描述符，如Ke等人所描述的。
在一實(shí)現(xiàn)方式中，將來(lái)自不同觀眾的査詢描述符直接進(jìn)行匹配， 而不是將每個(gè)査詢與參考描述符的數(shù)據(jù)庫(kù)進(jìn)行匹配。這樣的實(shí)施例使 得能夠創(chuàng)建關(guān)于不能使用參考描述符數(shù)據(jù)庫(kù)的主題的自組織社交同群 社區(qū)。這樣的實(shí)施例可以實(shí)時(shí)對(duì)正在以相同的公共方式(例如，體育 館、酒巴等)的、使用便攜式電子設(shè)備〈例如，移動(dòng)電話、PDA等) 的觀眾進(jìn)行匹配。
流行等級(jí)
在一些實(shí)現(xiàn)方式中，從當(dāng)前正在觀看廣播(例如，節(jié)目、廣告等) 的觀眾列表來(lái)推斷實(shí)時(shí)并且聚合的統(tǒng)計(jì)量。在觀眾使用其它應(yīng)用時(shí)， 可以在后臺(tái)收集這些統(tǒng)計(jì)量。統(tǒng)計(jì)量可以包括但不限于1)觀看該廣 播的觀眾的平均數(shù)；2)觀眾觀看該廣播的平均次數(shù)；3)該觀眾觀看 的其它節(jié)目；4)最少觀眾數(shù)和峰值觀眾數(shù)；5)當(dāng)觀眾離開(kāi)廣播時(shí)他 們最經(jīng)常切換到的節(jié)目；6)觀眾觀看廣播多長(zhǎng)時(shí)間；7)觀眾瀏覽頻 道多少次；8)觀眾看過(guò)哪些廣告；以及9)當(dāng)觀眾進(jìn)入廣播時(shí)他們最 經(jīng)常從那些節(jié)目切換，等等。從這些統(tǒng)計(jì)量中，可以確定一個(gè)或多個(gè) 流行等級(jí)。
可以對(duì)正監(jiān)聽(tīng)的每個(gè)廣播頻道使用計(jì)數(shù)器來(lái)生成用于生成流行等 級(jí)的統(tǒng)計(jì)量。在一些實(shí)現(xiàn)方式中，可以將計(jì)數(shù)器與人口統(tǒng)計(jì)組數(shù)據(jù)或 地理組數(shù)據(jù)交叉。當(dāng)廣播正在進(jìn)行時(shí)，觀眾可以使用流行等級(jí)來(lái)"查
看熱點(diǎn)"(例如，通過(guò)注意到在2004年超級(jí)碗半場(chǎng)表演期間等級(jí)不斷
增長(zhǎng))。廣告客戶和內(nèi)容提供者也可以使用流行等級(jí)來(lái)響應(yīng)于等級(jí)排 名動(dòng)態(tài)調(diào)整顯示的素材。對(duì)于廣告來(lái)說(shuō)，尤其如此，因?yàn)閺V告活動(dòng)制 作的短的單位長(zhǎng)度和眾多版本的廣告很容易互換，以適合于觀眾的等
級(jí)級(jí)別。統(tǒng)計(jì)量的其它例子包括但不限于電視廣播與電臺(tái)廣播在人 口統(tǒng)計(jì)或時(shí)間上的流行、 一天中的流行次數(shù)即峰值觀看/收聽(tīng)次數(shù)、給 定區(qū)域內(nèi)的家庭占有數(shù)目、在特定節(jié)目(節(jié)目流派、 一天中的特定時(shí) 間)期間的頻道沖浪總量、廣播的音量等等。
將個(gè)性化信息發(fā)送到客戶端側(cè)接口 (312)。也可以將流行等級(jí)存 儲(chǔ)在數(shù)據(jù)庫(kù)中由其它過(guò)程使用(318)，比如上述的廣告動(dòng)態(tài)調(diào)整。在 客戶端側(cè)接口接收個(gè)性化信息(314)，在該客戶端側(cè)接口處將個(gè)性化 信息格式化并呈現(xiàn)在用戶界面中(316)。個(gè)性化信息可以與在用戶界 面中呈現(xiàn)給用戶的評(píng)論媒介(例如，聊天室中的文本消息)相關(guān)聯(lián)。 在一些實(shí)現(xiàn)方式中，聊天室可以包括一個(gè)或多個(gè)子組。例如，"宋飛 傳"的討論組可能包括稱(chēng)為"宋飛傳專(zhuān)家"的子組，或者可以與特定 的人口統(tǒng)計(jì)相關(guān)聯(lián)的子組，諸如觀看"宋飛傳"的年齡在20-30歲之間 的女性，等等。
在一些實(shí)現(xiàn)方式中，收集用于生成流行等級(jí)的統(tǒng)計(jì)量的原始信息 (例如，計(jì)數(shù)值)，并將其存儲(chǔ)在客戶端側(cè)接口上，而不是存儲(chǔ)在社 交應(yīng)用服務(wù)器上。當(dāng)用戶在線和/或調(diào)用大眾個(gè)性化應(yīng)用時(shí)，可以將該 原始信息傳送到廣播公司。
在一些實(shí)現(xiàn)方式中，在客戶端側(cè)接口上安裝廣播測(cè)量盒(BMB)。
BMB可以是類(lèi)似于機(jī)頂盒、但未連接到廣播設(shè)備的簡(jiǎn)單硬件設(shè)備。與 需要在電視上安裝硬件的尼爾森(Neilsen)等級(jí)系統(tǒng)不同，可以將BMB 安裝在大眾媒體系統(tǒng)的附近或者在電視信號(hào)的范圍之內(nèi)。在一些實(shí)現(xiàn) 方式中，BMB自動(dòng)記錄音頻片段并生成描述符，該描述符被存儲(chǔ)在存 儲(chǔ)器(例如，閃存介質(zhì))中。在一些實(shí)現(xiàn)方式中，BMB可以可選地包 括一個(gè)或多個(gè)硬件按鈕，用戶可以按下這些按鈕來(lái)指示他們正在觀看 的廣播(類(lèi)似于尼爾森等級(jí))。有時(shí)可以由等級(jí)提供者來(lái)對(duì)BMB設(shè)備 進(jìn)行采樣以收集所存儲(chǔ)的描述符，或者有時(shí)BMB可以通過(guò)網(wǎng)絡(luò)連接(例 如，電話、因特網(wǎng)、無(wú)線電廣播，諸如無(wú)線短消息服務(wù)(SMS)，等 等)將所存儲(chǔ)的描述符廣播到感興趣的一方或多方。
在一些實(shí)現(xiàn)方式中，可以監(jiān)視廣告以確定廣告的效果，可以將該 廣告效果報(bào)告給廣告客戶。例如，哪些廣告被觀看、跳過(guò)，廣告音量 水平等。
在一些實(shí)現(xiàn)方式中，可以使用圖像捕獲設(shè)備(例如，數(shù)字照相機(jī)、 視頻錄像機(jī)等)來(lái)測(cè)量有多少觀眾正在觀看或收聽(tīng)廣播。例如，可以 將各種已知的模式匹配算法應(yīng)用到圖像或圖像序列，以確定在特定的 廣播期間存在于廣播環(huán)境中的觀眾數(shù)目。圖像和/或從圖像取得的數(shù)據(jù) 可以與音頻描述符結(jié)合起來(lái)使用，以收集用戶的個(gè)性化信息、計(jì)算流 行等級(jí)、或者用于其它目的。
音頻指紋識(shí)別過(guò)程
圖4是音頻指紋識(shí)別過(guò)程400的流程圖。過(guò)程400的步驟不必以 任何特定的順序來(lái)完成，并且至少一些步驟可以在多線程或并行處理 環(huán)境中被同時(shí)執(zhí)行。過(guò)程400實(shí)時(shí)且低延遲地將在客戶端側(cè)接口 (例 如，客戶端側(cè)接口 102)上生成的查詢描述符與存儲(chǔ)于一個(gè)或多個(gè)數(shù)據(jù) 庫(kù)中的參考描述符進(jìn)行匹配。過(guò)程400采用由Ke等人所建議的技術(shù)來(lái) 處理周?chē)纛l數(shù)據(jù)(例如，來(lái)自電視廣播)和查詢。
過(guò)程400在客戶端側(cè)接口上以將由周?chē)纛l檢測(cè)器(例如，麥克
風(fēng))捕獲的大眾媒體廣播的周?chē)纛l片段(例如，5-6秒的音頻)分解 為交疊的幀(402)開(kāi)始。在一些實(shí)現(xiàn)方式中，將這些幀隔開(kāi)幾微秒(例 如，隔開(kāi)12ms)。將每一幀轉(zhuǎn)換為被訓(xùn)練以克服音頻噪聲和失真的描 述符(例如，32比特的描述符)(404)，如Ke等人所描述的。在一 些實(shí)現(xiàn)方式中，每個(gè)描述符表示音頻片段的一個(gè)識(shí)別統(tǒng)計(jì)概要。
在一些實(shí)現(xiàn)方式中，可以將描述符作為査詢片段(也被稱(chēng)為査詢 描述符)發(fā)送到音頻數(shù)據(jù)庫(kù)服務(wù)器，在音頻數(shù)據(jù)庫(kù)服務(wù)器處將該描述 符與參考描述符數(shù)據(jù)庫(kù)進(jìn)行匹配，其中參考描述符用于識(shí)別以前記錄 的大眾媒體廣播的音頻片段的統(tǒng)計(jì)概要(406)?？梢源_定具有最佳匹 配的候選描述符的列表(408)?？梢詫?duì)候選描述符進(jìn)行評(píng)分，使得在 時(shí)間上與査詢描述符相一致的候選描述符比在時(shí)間上與査詢描述符不 夠一致的候選描述符評(píng)分高(410)。將具有最高評(píng)分的候選描述符(例 如，評(píng)分超過(guò)了一個(gè)足夠高的閾值)發(fā)送到或以其它方式提供給社交 應(yīng)用服務(wù)器(412)，在社交應(yīng)用服務(wù)器處可以使用這些候選描述符來(lái) 聚合與媒體廣播相關(guān)的個(gè)性化信息。使用閾值確保在向社交應(yīng)用服務(wù) 器發(fā)送或以其它方式提供描述符之前，描述符已充分匹配(412)。
在一些實(shí)現(xiàn)方式中，可以從由各媒體公司提供的可被索引并用于 生成描述符的廣播來(lái)生成參考描述符數(shù)據(jù)庫(kù)。在其它實(shí)現(xiàn)方式中，也 可以使用電視向?qū)Щ蚱渌鼉?nèi)嵌在廣播信號(hào)中的元數(shù)據(jù)和/或信息來(lái)生成 參考描述符。
在一些實(shí)現(xiàn)方式中，可以使用語(yǔ)音識(shí)別技術(shù)來(lái)幫助識(shí)別哪個(gè)節(jié)目 正在被觀看。這樣的技術(shù)可以幫助用戶討論新聞事件，而非只是討論 電視節(jié)目。例如，用戶可能正在與另一個(gè)觀眾不同的頻道觀看航天飛 機(jī)起飛，因而可能得到不同的音頻信號(hào)(例如，由于不同的新聞廣播 員)。可以使用語(yǔ)音識(shí)別技術(shù)來(lái)識(shí)別關(guān)鍵詞(例如，航天飛機(jī)、起飛等)，
而這些關(guān)鍵詞可被用來(lái)將用戶與評(píng)論媒介連接起來(lái)。 散列描述
Ke等人使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)為音頻找到高差別的、緊湊的統(tǒng)計(jì) 量。其過(guò)程基于正面的例子(其中x和x'是相同音頻的噪音形式)和 負(fù)面的例子(其中x和x'來(lái)自不同的音頻)的標(biāo)記對(duì)進(jìn)行訓(xùn)練。在該 訓(xùn)練階段期間，基于boosting (提升)的機(jī)器學(xué)習(xí)技術(shù)使用該標(biāo)記對(duì)來(lái) 選擇由32個(gè)濾波器和閾值構(gòu)成的組合，該32個(gè)濾波器和閾值共同創(chuàng) 建高差別的統(tǒng)計(jì)量。通過(guò)對(duì)于時(shí)間和頻率使用第一和第二階差分，濾 波器使變化局限于光譜圖量級(jí)。使用這些簡(jiǎn)單的差分濾波器的一個(gè)好 處是通過(guò)使用由Viola， P.和Jones， M. (2002)在Robust Real-Time Object Detection, Internatinal Journal of Computer Vision中所描述的禾只 分圖像技術(shù)，可以有效地計(jì)算它們，通過(guò)引用而將其全部?jī)?nèi)容合并于 此。
在一些實(shí)現(xiàn)方式中，這32個(gè)濾波器的輸出為閾值，假定每個(gè)音頻 幀每個(gè)濾波器一個(gè)比特。這32個(gè)閾值結(jié)果僅形成該音頻幀的傳送描述 符。該稀疏編碼確保了用戶的隱私免受非授權(quán)的竊聽(tīng)。而且，這32比 特的描述符對(duì)于訓(xùn)練數(shù)據(jù)中的音頻失真而言是健壯的，使得正面的例 子(例如，匹配幀)具有小的漢明距離(即測(cè)量不同的比特?cái)?shù)目的距 離)，且負(fù)面的例子(例如，誤匹配幀)具有大的漢明距例。應(yīng)注意， 可以使用更多或更少的濾波器，且在每個(gè)音頻幀對(duì)于每個(gè)濾波器可以 使用多于一個(gè)比特(例如，使用多閾值檢驗(yàn)的多個(gè)比特)。
在一些實(shí)現(xiàn)方式中，該32比特的描述符本身用作直接散列的散列 鍵值。該描述符是平衡很好的散列函數(shù)。通過(guò)不僅對(duì)査詢描述符進(jìn)行 査詢，而且査詢一小組相似描述符(直至與最初的査詢描述符的漢明 距離為2)，可進(jìn)一步改進(jìn)檢索速率。
査詢中的時(shí)間一致性
在使用上述散列過(guò)程將査詢描述符與音頻數(shù)據(jù)庫(kù)匹配后，對(duì)這些 匹配進(jìn)行驗(yàn)證，以確定數(shù)據(jù)庫(kù)返回命中中的哪些是準(zhǔn)確的匹配。另外， 候選描述符可能具有許多與査詢描述符相匹配卻具有錯(cuò)誤的時(shí)間結(jié)構(gòu) 的幀。
在一些實(shí)現(xiàn)方式中，通過(guò)瀏覽在特定的查詢數(shù)據(jù)庫(kù)偏移量下支持
匹配的每個(gè)數(shù)據(jù)庫(kù)命中，來(lái)實(shí)現(xiàn)驗(yàn)證。例如，如果在5秒415幀長(zhǎng)的 "宋飛傳"查詢片段q中的第八個(gè)描述符(q8)命中了第1008個(gè)數(shù)據(jù) 庫(kù)描述符(XlQQ8)，則它支持音頻數(shù)據(jù)庫(kù)中在該5秒査詢之間且從幀 1001到幀1415的候選匹配。在qn和XK)。o化之間(l《n《415)的其它 匹配將支持同樣的候選匹配。
除了時(shí)間一致性之外，我們需要考慮當(dāng)會(huì)話臨時(shí)淹沒(méi)周?chē)纛l時(shí) 的幀。這可以被建模為周?chē)纛l和干擾聲音之間的專(zhuān)用開(kāi)關(guān)。對(duì)于每 個(gè)査詢幀i，存在隱藏的變量y"如果y產(chǎn)O，則將査詢的第i個(gè)幀僅建 模為干擾；如果y產(chǎn)l，則將第i個(gè)幀建模為來(lái)自純周?chē)纛l。采取極端 的觀察(純周?chē)蚣兏蓴_)證明這是正確的，在兩個(gè)假定(y產(chǎn)O和y產(chǎn)l) 中的每個(gè)假定情形下，通過(guò)為幀向量的32個(gè)位置中的每一個(gè)提供額外
的bit-flop概率，每個(gè)音頻幀以極其低的精確度被表示并柔和化。最終，
利用從訓(xùn)練數(shù)據(jù)取得的轉(zhuǎn)換概率，我們將在純周?chē)暮图兏蓴_的狀態(tài) 之間的中間幀轉(zhuǎn)換建模為隱藏的第一階馬爾可夫過(guò)程。例如，我們可
以重新使用由Ke等人在2005年的CVPR上給出的66參數(shù)的概率模型。
在査詢向量q和N幀偏移量上的周?chē)鷶?shù)據(jù)庫(kù)向量XN之間的最終的 匹配概率模型為
I二LI^尸(〈>1 K)尸(^ I(1)
其中^n，Xm〉表示在32比特幀向量qn和Xm之間的比特差。該模型 既合并了時(shí)間一致性約束又合并了隱藏周?chē)?千擾的馬爾可夫模型。
后匹配一致性過(guò)濾
19
人們通常在看電視時(shí)會(huì)與他人進(jìn)行交談，導(dǎo)致零星的但很強(qiáng)烈的 聲音干擾，特別是當(dāng)使用基于膝上型電腦的麥克風(fēng)來(lái)采樣周?chē)纛l時(shí)。 假設(shè)對(duì)話話音持續(xù)兩或三秒鐘，在觀眾之間進(jìn)行的簡(jiǎn)單的溝通交流可 能使5秒査詢變得不可識(shí)別。
在一些實(shí)現(xiàn)方式中，使用后匹配過(guò)濾來(lái)處理這些斷斷續(xù)續(xù)的低置 信度的誤匹配。例如，我們可以使用頻道切換的隱藏持續(xù)時(shí)間的馬爾 可夫模型，其中頻道切換具有L秒的期望的停留時(shí)間(亦即，在頻道
改變之間的時(shí)間)。社交應(yīng)用服務(wù)器106將最近的過(guò)去內(nèi)具有最高置
信度(連同其"折扣"的置信度)的匹配指示為與每個(gè)客戶端會(huì)話相 關(guān)聯(lián)的狀態(tài)信息的一部分。使用該信息，根據(jù)哪個(gè)具有較高的置信度，
服務(wù)器106選擇來(lái)自最近的過(guò)去的內(nèi)容索引匹配，或者選擇當(dāng)前的索 引匹配。
我們使用Mh和Ch來(lái)指代上一時(shí)間步長(zhǎng)(5秒之前)的最佳匹配 及其似然置信度評(píng)分。如果我們只是簡(jiǎn)單地將馬爾可夫模型應(yīng)用到該 以前的最佳匹配，而不考慮另一觀測(cè)，則我們的期望是，當(dāng)前時(shí)間的 最佳匹配是相同的節(jié)目序列，向前僅延伸5秒，且在該期望中我們的 置信度為Ch- 1/L,這里1=5秒是査詢時(shí)間步長(zhǎng)。在似然估計(jì)中的折扣1/L 對(duì)應(yīng)于在長(zhǎng)度為1的時(shí)間步長(zhǎng)期間不切換頻道的馬爾可夫模型概率
通過(guò)音頻匹配為當(dāng)前査詢生成一個(gè)可替代的前提假設(shè)。我們使用 Mo來(lái)指代當(dāng)前音頻片段的最佳匹配亦即由音頻指紋識(shí)別過(guò)程400產(chǎn) 生的匹配。Co是由音頻指紋識(shí)別過(guò)程400給出的似然置信度評(píng)分。
如果這兩個(gè)匹配(已更新的歷史期望和當(dāng)前片段的觀測(cè)結(jié)果)所
給出的匹配不同，我們選擇最有較高的置信度評(píng)分的假設(shè)
w廣\ —丁(似"C廣〃Z)如果C;—〃Z〉C。 (2) iM°'"}1M。,C。} 否則
其中M。是由社交應(yīng)用
服務(wù)器106用來(lái)選擇相關(guān)內(nèi)容的匹配，且在下一時(shí)間步長(zhǎng)中，Mo和Q)
成為Mh和Ch。
用戶界面
圖5是用于與大眾個(gè)性化應(yīng)用交互的用戶界面208的一個(gè)實(shí)施例 的流程圖。用戶界面208包括個(gè)性化層顯示區(qū)域502、評(píng)論媒介顯示區(qū) 域504、贊助鏈接顯示區(qū)域506和內(nèi)容顯示區(qū)域508。個(gè)性化層顯示區(qū) 域502提供與在內(nèi)容顯示區(qū)域508中顯示的視頻內(nèi)容相關(guān)的補(bǔ)充信息 和/或圖像?？梢允褂脤?dǎo)航條510和輸入設(shè)備(例如，鼠標(biāo)或遠(yuǎn)程控制) 來(lái)導(dǎo)航該個(gè)性化層。在導(dǎo)航條510中，每個(gè)層都有相關(guān)聯(lián)的標(biāo)簽。例 如，如果用戶選擇"時(shí)尚"標(biāo)簽，則在顯示區(qū)域502中將呈現(xiàn)包括與 "宋飛傳"相關(guān)聯(lián)的有關(guān)時(shí)尚的內(nèi)容的時(shí)尚層。
在一些實(shí)現(xiàn)方式中，客戶端側(cè)接口 102包括能夠呈現(xiàn)用戶界面208 的顯示設(shè)備210。在一些實(shí)現(xiàn)方式中，用戶界面208是由社交應(yīng)用服務(wù) 器106提供的交互式網(wǎng)頁(yè)，且被呈現(xiàn)在顯示設(shè)備210的屏幕上的瀏覽 器窗口中。在一些實(shí)現(xiàn)方式中，用戶界面208是永久的，并且當(dāng)用于 內(nèi)容匹配過(guò)程的廣播音頻隨時(shí)間遷移之后，該用戶界面仍可用于交互。 在一些實(shí)現(xiàn)方式中，隨著時(shí)間的遷移或者響應(yīng)于觸發(fā)事件(例如，新 人進(jìn)入聊天室、廣告開(kāi)始等)而動(dòng)態(tài)地更新用戶界面208。例如，每當(dāng) 廣播廣告時(shí)，可以利用與廣告的主題相關(guān)的刷新鏈接518來(lái)更新贊助 鏈接顯示區(qū)域506。
在一些實(shí)現(xiàn)方式中，可以在稍后的時(shí)間里將個(gè)性化的信息和贊助 鏈接以電子郵件發(fā)送給觀眾或者顯示在側(cè)邊欄上。
在一些實(shí)現(xiàn)方式中，客戶端側(cè)接口 102從社交應(yīng)用服務(wù)器106接 收個(gè)性化信息。該信息可以包括網(wǎng)頁(yè)、電子郵件、留言板、鏈接、即 時(shí)消息、聊天室、或加入正在進(jìn)行的討論組、eRoom、視頻會(huì)議或網(wǎng)絡(luò) 會(huì)議、語(yǔ)音呼叫(例如，Skype )的邀請(qǐng)等。在一些實(shí)現(xiàn)方式中，用
戶界面208提供對(duì)來(lái)自先前看過(guò)的廣播或電影的評(píng)論和/或到評(píng)論的鏈 接的訪問(wèn)。例如，如果用戶當(dāng)前正在觀看DVD "Shrek"，他可能想要 看看在過(guò)去關(guān)于該電影人們都說(shuō)過(guò)什么。
在一些實(shí)現(xiàn)方式中，顯示區(qū)域502包括等級(jí)區(qū)域512，其用于顯示 與廣播相關(guān)的流行等級(jí)。例如，顯示區(qū)域512可以顯示與同時(shí)在廣播 的另一個(gè)電視節(jié)目相比，當(dāng)前有多少觀眾正在觀看"Seinfeld"。
在一些實(shí)現(xiàn)方式中，評(píng)論媒介顯示區(qū)域504呈現(xiàn)聊天室風(fēng)格的環(huán) 境，在其中多個(gè)用戶可以對(duì)廣播發(fā)表評(píng)論。在一些實(shí)現(xiàn)方式中，顯示 區(qū)域504包括用于輸入評(píng)論的文本框514，通過(guò)使用輸入機(jī)構(gòu)516 (例 如，按鈕)，該評(píng)論被發(fā)送到聊天室。
贊助鏈接顯示區(qū)域506包括與跟廣播相關(guān)聯(lián)的廣告相關(guān)的信息、 圖像和/或鏈接。例如，鏈接518中的一個(gè)可以把用戶引到賣(mài)"宋飛傳" 商品的網(wǎng)站。
內(nèi)容顯示區(qū)域508是顯示廣播內(nèi)容的地方。例如，可以顯示來(lái)自 當(dāng)前廣播的場(chǎng)景，并帶有其它相關(guān)信息(例如，情節(jié)號(hào)、標(biāo)題、時(shí)間 戳等)。在一些實(shí)現(xiàn)方式中，顯示區(qū)域508包括用于導(dǎo)航顯示內(nèi)容的 控制520 (例如，滾動(dòng)按鈕)。
視頻書(shū)簽
在一些實(shí)現(xiàn)方式中，在內(nèi)容顯示區(qū)域中包括按鈕522，其可以用于 為視頻加書(shū)簽。例如，通過(guò)點(diǎn)擊按鈕522，將顯示在顯示區(qū)域508中的 "宋飛傳"情節(jié)加入到用戶的喜歡視頻庫(kù)中，然后可以通過(guò)基于web 的流應(yīng)用程序或其它訪問(wèn)方法來(lái)點(diǎn)播觀看它。根據(jù)內(nèi)容所有者所設(shè)置 的策略，該流服務(wù)可以提供免費(fèi)的僅供瀏覽的重放，作為內(nèi)容所有者 的代理來(lái)收取費(fèi)用，或者插入將向內(nèi)容所有者提供費(fèi)用的廣告。
客戶端側(cè)接口的硬件體系結(jié)構(gòu)
圖6是圖1中所示的客戶端側(cè)接口 102的硬件體系結(jié)構(gòu)600的框
圖。盡管硬件體系結(jié)構(gòu)600典型地是計(jì)算設(shè)備(例如，個(gè)人計(jì)算機(jī))，
但是所公開(kāi)的實(shí)現(xiàn)方式可以以能夠在顯示設(shè)備上呈現(xiàn)用戶界面的任何
設(shè)備來(lái)實(shí)現(xiàn)，這些設(shè)備包括但不限于臺(tái)式或便攜式計(jì)算機(jī)；電子設(shè) 備；電話；移動(dòng)電話；顯示系統(tǒng)；電視；監(jiān)視器；導(dǎo)航系統(tǒng)；便攜式 媒體播放器/記錄器；個(gè)人數(shù)字助理；游戲系統(tǒng)；手持電子設(shè)備；以及 嵌入式電子設(shè)備或裝置。
在一些實(shí)現(xiàn)方式中，系統(tǒng)600包括一個(gè)或多個(gè)處理器602 (例如， CPU)，可選的一個(gè)或多個(gè)顯示設(shè)備604 (例如，CRT、 LCD等)，麥 克風(fēng)接口 606， 一個(gè)或多個(gè)網(wǎng)絡(luò)接口 608 (例如，USB， Ethernet, FireWire⑧端口等)，可選的一個(gè)或多個(gè)輸入設(shè)備610 (例如，鼠標(biāo)、 鍵盤(pán)等)和一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)612。這些組件中的每一個(gè)都可 操作地耦接到一條或多條總線614(例如，EISA、PCI、USB、 Fire Wire 、 NuBus、 PDS等)。
在一些實(shí)現(xiàn)方式中，沒(méi)有顯示設(shè)備或輸入設(shè)備，且系統(tǒng)600僅在 后臺(tái)執(zhí)行采樣和編碼(例如，生成描述符等)而無(wú)需用戶輸入。
術(shù)語(yǔ)"計(jì)算機(jī)可讀介質(zhì)"是指參與向處理器602提供指令以供執(zhí) 行的任何介質(zhì)，包括而不限于非易失性媒介(例如，光盤(pán)或磁盤(pán))、 易失性媒介(例如，存儲(chǔ)器)和傳輸媒介。傳輸媒介包括而不限于
同軸電纜、銅線和光纖。傳輸媒介也可以采用聲、光或射頻波的形式。
計(jì)算機(jī)可讀介質(zhì)612進(jìn)一步包括操作系統(tǒng)616 (例如，MacOS⑧、 Windows⑧、Unix、 Linux等)、網(wǎng)絡(luò)通信模塊618、客戶端軟件620 和一個(gè)或多個(gè)應(yīng)用622。操作系統(tǒng)616可以是多用戶、多處理、多任務(wù)、 多線程、實(shí)時(shí)等。操作系統(tǒng)616執(zhí)行基本的任務(wù)，包括但不限于識(shí) 別來(lái)自輸入設(shè)備610的輸入；向顯示設(shè)備604發(fā)送輸出；跟蹤存儲(chǔ)設(shè)
23 備612上的文件和目錄；控制外圍設(shè)備(例如，盤(pán)驅(qū)動(dòng)器、打印機(jī)、 圖像捕獲設(shè)備等)；以及管理一條或多條總線614上的流量。
網(wǎng)絡(luò)通信模塊618包括用于建立和維護(hù)網(wǎng)絡(luò)連接的各種組件(例 如，用于實(shí)現(xiàn)通信協(xié)議的軟件，諸如TCP/IP、 HTTP、 Eth畫(huà)t、 USB、 FireWire⑧等)。
客戶端軟件620提供用于實(shí)現(xiàn)大眾個(gè)性化應(yīng)用的客戶端側(cè)及用于 執(zhí)行在關(guān)于圖l-5描述的各種客戶端側(cè)功能(例如，周?chē)纛l識(shí)別)的 各種軟件組件。在一些實(shí)現(xiàn)方式中，可以將由客戶端軟件620執(zhí)行的 一些或所有過(guò)程集成到操作系統(tǒng)616中。在一些實(shí)現(xiàn)方式中，過(guò)程可 以至少部分地以數(shù)字電子電路、或者以計(jì)算機(jī)硬件、固件、軟件，或 者以它們的任意組合來(lái)實(shí)現(xiàn)。
其它應(yīng)用624可以包括任意其它軟件應(yīng)用，包括但不限于文字 處理器、瀏覽器、電子郵件、即時(shí)消息、媒體播放器、電話軟件等。
檢測(cè)廣告和重播 重復(fù)檢測(cè)
在準(zhǔn)備用于搜索的數(shù)據(jù)庫(kù)時(shí)，它對(duì)于能夠使用前面描述的描述符 預(yù)標(biāo)志重復(fù)素材是有幫助的。重復(fù)素材可以包括但不限于重復(fù)的節(jié)目、 廣告、子片斷(例如，新聞節(jié)目中的股市新聞鏡頭)等。使用這些標(biāo) 志，可以以不推出超過(guò)執(zhí)行搜索的用戶的注意范圍(例如，超過(guò)前10-20 個(gè)命中)的所有其它素材的方式來(lái)呈現(xiàn)重復(fù)素材。下面描述的過(guò)程700 提供了在對(duì)數(shù)據(jù)庫(kù)進(jìn)行任何搜索査詢之前檢測(cè)這些副本的方式。
視頻廣告移除
廣播公司的關(guān)于允許搜索和回放素材的抱怨之一是所嵌廣告的 重播。從廣播公司的角度來(lái)看，這種重播是不利的由于它向廣告客 戶提供免費(fèi)的廣告，所以它直接降低了由廣告客戶支付的廣播的價(jià)值。
除非移除舊的廣告，并以向最初的廣播公司返還一些再瀏覽權(quán)益的方 式在適當(dāng)?shù)奈恢梅派闲碌膹V告，否則它們不會(huì)從重新播放它們以前廣 播的素材中獲益。通過(guò)查找重復(fù)，也可能與其它標(biāo)準(zhǔn)(例如，持續(xù)時(shí) 間、音量、視覺(jué)行為、空幀圍隔等)相結(jié)合，下面描述的過(guò)程700提 供了一種用于檢測(cè)所嵌廣告的方式。
視頻概要
如果需要非重復(fù)的節(jié)目素材的"概要"(即較短的版本)，獲得 該"概要"的一種方式是移除廣告(如通過(guò)重復(fù)素材所檢測(cè)的)并從 該素材中取得緊接在廣告位置之前和緊跟在廣告位置之后的片斷。在 廣播電視上，節(jié)目中的這些位置典型地包括"預(yù)熱"(在廣告之前) 和"回顧"(在廣告之后)。如果概要是由包括非重復(fù)的和重復(fù)的非 廣告素材的混合的新聞節(jié)目形成的，則重復(fù)的素材典型地對(duì)應(yīng)于原聲
摘要播出(sound bite)。這些片斷通常比新聞節(jié)目主持人對(duì)新聞事件 的敘述貢獻(xiàn)的信息要少，因而是要移除的很好候選。如果概要是由敘 述性的節(jié)目(例如，電影或系列部分)形成的，則重復(fù)的音頻音軌典 型地對(duì)應(yīng)于主題音、氣氛音樂(lè)或靜音。而且，這些典型地是要從概要 視頻中移除的很好片斷。下面描述的過(guò)程700提供了一種用于檢測(cè)這 些重復(fù)的音頻音軌的方式，從而可以從概要視頻中移除它們。
重復(fù)檢測(cè)過(guò)程
圖7是依照重復(fù)檢測(cè)過(guò)程700的一個(gè)實(shí)施例的流程圖。過(guò)程700 的步驟不必以任何特定的順序來(lái)完成，并且至少一些步驟可以在多線 程或并行處理環(huán)境中被同時(shí)執(zhí)行。
過(guò)程700以從一組諸如電視輸入、視頻上載等的內(nèi)容來(lái)創(chuàng)建音頻 統(tǒng)計(jì)量數(shù)據(jù)庫(kù)開(kāi)始(702)。例如，數(shù)據(jù)庫(kù)可以包含32比特/幀的描述 符，如Ke等人所描述的。從數(shù)據(jù)庫(kù)取得査詢并在數(shù)據(jù)庫(kù)上運(yùn)行，以査 看在何處出現(xiàn)重復(fù)(704)。在一些實(shí)現(xiàn)方式中，將音頻統(tǒng)計(jì)量的一短 片斷取作為查詢，并且使用散列技術(shù)(例如，直接散列或位置敏感散
列(LSH))運(yùn)行它來(lái)檢査非等同的匹配(不相同的匹配)，以獲得可
能的聽(tīng)覺(jué)匹配的短列表。然后在驗(yàn)證過(guò)程中處理這些候選匹配，例如
如Ke等人所描述的。可以將與所驗(yàn)證的候選匹配相對(duì)應(yīng)的內(nèi)容識(shí)別為 重復(fù)內(nèi)容(706)。
將最強(qiáng)的不一致的匹配在時(shí)間上向前或向后"增長(zhǎng)"，以找到重 復(fù)素材的開(kāi)始點(diǎn)和結(jié)束點(diǎn)(708)。在一些實(shí)現(xiàn)方式中，這可以使用已 知的動(dòng)態(tài)規(guī)劃技術(shù)(例如，Viterbi編碼)來(lái)實(shí)現(xiàn)。在時(shí)間上向前擴(kuò)展 匹配中，將強(qiáng)的"種子"匹配中的最后時(shí)間片設(shè)置為"匹配"，并且 將關(guān)于査詢和匹配之間的相同的數(shù)據(jù)庫(kù)偏移量的第一個(gè)低于可信強(qiáng)度 的匹配的最后時(shí)間片設(shè)置為"不匹配"。在一些實(shí)現(xiàn)方式中，將在這 兩個(gè)固定點(diǎn)之間的各個(gè)幀的匹配評(píng)分用作觀測(cè)結(jié)果，并且使用允許在 狀態(tài)內(nèi)轉(zhuǎn)換以及從"匹配"到"不匹配"狀態(tài)的單一轉(zhuǎn)換的第一階馬 爾可夫模型?？梢杂悬c(diǎn)武斷地將從匹配到不匹配的轉(zhuǎn)換概率設(shè)置為 1/L，其中L是在這兩個(gè)固定點(diǎn)之間的幀的數(shù)目，對(duì)應(yīng)于在允許的范圍 內(nèi)對(duì)轉(zhuǎn)換位置的最低認(rèn)識(shí)。選擇轉(zhuǎn)換概率的另一種可能是使用匹配強(qiáng) 度分布圖來(lái)將該估計(jì)偏置于較早或較晚的轉(zhuǎn)換。但這會(huì)增加動(dòng)態(tài)規(guī)劃 模型的復(fù)雜度，并且不太可能改進(jìn)結(jié)果，因?yàn)槠ヅ鋸?qiáng)度已被用作該時(shí) 間段內(nèi)的觀測(cè)結(jié)果。使用相同的過(guò)程來(lái)在時(shí)間上向后增長(zhǎng)片斷匹配(例 如，僅交換過(guò)去/將來(lái)并運(yùn)行相同的算法)。
在一些實(shí)現(xiàn)方式中，將音頻提示與非聽(tīng)覺(jué)信息(例如，視覺(jué)提示) 組合起來(lái)，以獲得更高的匹配精確度。例如，然后可以通過(guò)使用簡(jiǎn)單 的視覺(jué)相似性度量來(lái)驗(yàn)證(或者第二次檢査)利用音頻匹配發(fā)現(xiàn)的匹 配(710)。這些度量可以包括但不限于色彩柱狀圖(例如，兩幅圖 像中類(lèi)似色彩的頻率)、有關(guān)邊的數(shù)目與分布的統(tǒng)計(jì)量等。這些不必 只是在整幅圖像上來(lái)計(jì)算，也可以針對(duì)圖像的子區(qū)域來(lái)計(jì)算，并且與 目標(biāo)圖像中相應(yīng)的子區(qū)域進(jìn)行對(duì)比。
對(duì)于査找廣告(與所有類(lèi)型的重復(fù)素材相對(duì)照)的應(yīng)用，可以將
重復(fù)素材檢測(cè)的結(jié)果與度量結(jié)合(712)，所述度量目的在于將廣告與 非廣告區(qū)分開(kāi)。這些區(qū)別特征可以依賴于廣告協(xié)定(諸如持續(xù)時(shí)間(例
如，10/15/30秒的插播是很普通的))、依賴于音量(例如，廣告傾向 于比周?chē)墓?jié)目素材更響，從而如果重復(fù)素材比兩端的素材都響，則 它很有可能就是廣告)、依賴于視覺(jué)行為(例如，廣告傾向于在鏡頭 之間更快速地轉(zhuǎn)換，以及在鏡頭之內(nèi)有更多的動(dòng)作，從而如果重復(fù)素 材跟兩端的素材相比有更大的幀差別，則它很有可能就是廣告)以及 依賴于空幀圍隔(本地所插入的廣告通常不完全充滿由國(guó)家傳播為其 留下的位置，以致在長(zhǎng)度為30秒的倍數(shù)的空間上導(dǎo)致空幀和靜音)。
在識(shí)別廣告，可以分析在該廣告周?chē)乃夭?，并且可以生成統(tǒng)計(jì) 量。例如，可以生成關(guān)于使用特定的創(chuàng)意(例如，圖像、文字)對(duì)特 定產(chǎn)品做了多少次廣告、或者對(duì)特定的片斷廣播了多少次等的統(tǒng)計(jì)量。 在一些實(shí)現(xiàn)方式中，可以移除一個(gè)或多個(gè)舊廣告或用新廣告來(lái)替換一 個(gè)或多個(gè)舊廣告。在Covell， M.、 Baluja， S.、 Fink， M.的Advertisement Detection and Replacement Using Acoustic and Visual Repetition, IEEE Signal Processing Society ， MMSP 2006 International Workshop on Multimedia Signal Processing, October 3-6， 2006， BC Canada中描述了 廣告檢測(cè)和替換的其它技術(shù)，該文通過(guò)引用而被全部合并于此。
在一些實(shí)現(xiàn)方式中，可以使用來(lái)自內(nèi)容所有者的、關(guān)于內(nèi)容的詳 細(xì)結(jié)構(gòu)的信息(例如，在何處插入廣告素材、在何處重復(fù)節(jié)目等)來(lái) 擴(kuò)增過(guò)程700和提高匹配精確度。在一些實(shí)現(xiàn)方式中，可以使用視頻 統(tǒng)計(jì)量來(lái)確定重復(fù)而非音頻。在其它實(shí)現(xiàn)方式中，可以使用視頻和音 頻統(tǒng)計(jì)量的組合。
音頻片段拍賣(mài)
在一些實(shí)現(xiàn)方式中，廣告客戶可以參加與呈現(xiàn)周?chē)纛l相關(guān)的拍 賣(mài)，所述周?chē)纛l與該廣告客戶想要銷(xiāo)售的產(chǎn)品或服務(wù)相關(guān)。例如， 為取得將其產(chǎn)品或服務(wù)與和"宋飛傳"相關(guān)聯(lián)的周?chē)纛l片段或描述
27
符關(guān)聯(lián)起來(lái)的權(quán)利，多個(gè)廣告客戶可以在拍賣(mài)中競(jìng)標(biāo)。然后，當(dāng)呈現(xiàn) 該主題周?chē)纛l時(shí)，拍賣(mài)的勝出者可以在觀眾前放置一些相關(guān)的信息 (例如，贊助鏈接)。在一些實(shí)現(xiàn)方式中，廣告客戶可以對(duì)具有元級(jí) 別描述的周?chē)纛l片段競(jìng)標(biāo)。例如，廣告客戶的競(jìng)標(biāo)可以針對(duì)與電視
廣告相關(guān)聯(lián)的音頻(例如，這是與Ford Explorer電視廣告相關(guān)聯(lián)的音 頻)、針對(duì)封閉的標(biāo)題(例如，顯示"Yankees baseball"的標(biāo)題)、 針對(duì)節(jié)目片斷的位置(例如，該音頻將在"宋飛傳"中出現(xiàn)15分鐘， 并且在前一廣告間隙之后出現(xiàn)3分鐘，在下一廣告間隙之前出現(xiàn)1分 鐘)、或針對(duì)低級(jí)別的聲音或視覺(jué)屬性(例如，"背景音樂(lè)"、"會(huì) 話語(yǔ)音"、"爆炸式的"等)。
在一些實(shí)現(xiàn)方式中，當(dāng)用戶執(zhí)行諸如瀏覽另一個(gè)網(wǎng)站(例如，贊 助鏈接)的其它任務(wù)時(shí)，可以在后臺(tái)運(yùn)行一個(gè)或多個(gè)大眾個(gè)性化應(yīng)用。 與媒體廣播(例如，電視內(nèi)容)相關(guān)的素材可以作為與另一個(gè)內(nèi)容源 (例如，網(wǎng)站內(nèi)容)相關(guān)的素材而參與同一贊助鏈接拍賣(mài)。例如，可 以將與電視相關(guān)的廣告與跟當(dāng)前網(wǎng)頁(yè)的內(nèi)容相對(duì)應(yīng)的廣告混合。
可以對(duì)所公開(kāi)的實(shí)現(xiàn)方式做出各種修改，并且仍在下列權(quán)利要求 的范圍內(nèi)。
28
權(quán)利要求
1.一種方法，包括從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成查詢；在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行該查詢，以確定非等同的匹配；以及如果存在非等同的匹配，則將與所匹配的查詢相對(duì)應(yīng)的內(nèi)容識(shí)別為重復(fù)內(nèi)容。
2. 如權(quán)利要求1的方法，進(jìn)一步包括 使用非聽(tīng)覺(jué)信息來(lái)驗(yàn)證所述非等同的匹配。
3. 如權(quán)利要求1的方法，進(jìn)一步包括 確定所述重復(fù)內(nèi)容的端點(diǎn)。
4. 如權(quán)利要求3的方法，其中使用動(dòng)態(tài)規(guī)劃技術(shù)來(lái)確定該端點(diǎn)。
5. 如權(quán)利要求1的方法，進(jìn)一步包括向所述重復(fù)內(nèi)容應(yīng)用度量，以確定所述重復(fù)內(nèi)容是否是廣告。
6. 如權(quán)利要求5的方法，其中所述度量來(lái)自由持續(xù)時(shí)間、音量、 視覺(jué)行為和空幀圍隔組成的度量組。
7. 如權(quán)利要求l的方法，其中所述音頻統(tǒng)計(jì)量是從媒體廣播的周 圍音頻片段生成的。
8. 如權(quán)利要求1的方法，其中所述音頻統(tǒng)計(jì)量是幀描述符。
9. 如權(quán)利要求l的方法，其中使用視頻統(tǒng)計(jì)量與所述音頻統(tǒng)計(jì)量 一起來(lái)確定非等同的匹配。
10. 如權(quán)利要求1的方法，其中使用散列技術(shù)來(lái)確定所述非等同 的匹配。
11. 一種系統(tǒng)，包括 處理器；可操作地耦接到處理器且在其上存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)， 當(dāng)處理器執(zhí)行該指令時(shí)，使處理器執(zhí)行下面的操作 從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成査詢；在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行査詢，以確定非等同的匹配，其中所 述音頻統(tǒng)計(jì)量是從內(nèi)容生成的；以及 如果發(fā)現(xiàn)了非等同的匹配，則將與所匹配的查詢相對(duì)應(yīng)的內(nèi)容識(shí)別為重復(fù)內(nèi)容。
12. 如權(quán)利要求ll的系統(tǒng)，其中處理器進(jìn)一步執(zhí)行下面的操作 使用非聽(tīng)覺(jué)信息來(lái)驗(yàn)證所述非等同的匹配。
13. 如權(quán)利要求ll的系統(tǒng)，其中處理器進(jìn)一步執(zhí)行下面的操作 確定所述重復(fù)內(nèi)容的端點(diǎn)。
14. 如權(quán)利要求13的系統(tǒng)，其中使用動(dòng)態(tài)規(guī)劃技術(shù)來(lái)確定所述端
15. 如權(quán)利要求ll的系統(tǒng)，其中處理器進(jìn)一步執(zhí)行下面的操作 向所述重復(fù)內(nèi)容應(yīng)用度量，以確定所述重復(fù)內(nèi)容是否是廣告。
16. 如權(quán)利要求15的系統(tǒng)，其中所述度量來(lái)自由持續(xù)時(shí)間、音量、 視覺(jué)行為和空幀圍隔組成的度量組。
17. 如權(quán)利要求ll的系統(tǒng)，其中所述音頻統(tǒng)計(jì)量是從媒體廣播的 周?chē)纛l片段生成的。
18. 如權(quán)利要求11的系統(tǒng)，
19. 如權(quán)利要求11的系統(tǒng)， 量一起來(lái)確定非等同的匹配。
20. 如權(quán)利要求11的系統(tǒng)， 的匹配。其中所述音頻統(tǒng)計(jì)量是幀描述符。 其中使用視頻統(tǒng)計(jì)量與所述音頻統(tǒng)計(jì)其中使用散列技術(shù)來(lái)確定所述非等同
21. —種系統(tǒng)，包括用于從內(nèi)容生成音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)的裝置； 用于從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成査詢的裝置；用于在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行査詢以確定非等同的匹配的裝置 ;以及如果存在非等同的匹配，則用于將與所匹配的査詢相對(duì)應(yīng)的內(nèi)容識(shí)別為重復(fù)內(nèi)容的裝置。
22. —種其上存儲(chǔ)有指令的計(jì)算機(jī)可讀介質(zhì)，當(dāng)處理器運(yùn)行該指 令時(shí)，使處理器執(zhí)行下面的操作從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成查詢；在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行査詢，以確定非等同的匹配；以及 如果存在非等同的匹配，則將與所匹配的查詢相對(duì)應(yīng)的內(nèi)容識(shí)別為重復(fù)內(nèi)容。
23. —種方法，包括生成與媒體廣播相關(guān)聯(lián)的周?chē)纛l統(tǒng)計(jì)量數(shù)據(jù)庫(kù)； 從所述數(shù)據(jù)庫(kù)生成查詢；在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行査詢，以確定非等同的匹配； 根據(jù)所述査詢和所述音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)之間的正匹配識(shí)別重復(fù)內(nèi) 確定所述重復(fù)內(nèi)容的端點(diǎn)；識(shí)別在所述重復(fù)內(nèi)容的端點(diǎn)之前或之后的內(nèi)容； 根據(jù)所識(shí)別的內(nèi)容生成統(tǒng)計(jì)量。
24. 如權(quán)利要求23的方法，進(jìn)一步包括向所述重復(fù)內(nèi)容應(yīng)用至少一種度量，以確定所述重復(fù)內(nèi)容是否是 廣告。
25. 如權(quán)利要求24的方法，其中所述度量與所述媒體廣播的長(zhǎng)度 相關(guān)聯(lián)。
26. 如權(quán)利要求24的方法，其中所述度量與所述媒體廣播的音量 相關(guān)聯(lián)。
全文摘要
系統(tǒng)、方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品提供用于檢測(cè)廣播媒體中的重復(fù)內(nèi)容的社交和交互性應(yīng)用。在一些實(shí)現(xiàn)方式中，方法包括從內(nèi)容生成音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)；從音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)生成查詢；在音頻統(tǒng)計(jì)量數(shù)據(jù)庫(kù)上運(yùn)行查詢，以確定非等同的匹配；如果存在非等同的匹配，則將與所匹配的查詢相對(duì)應(yīng)的內(nèi)容識(shí)別為重復(fù)內(nèi)容。
文檔編號(hào)H04H60/56GK101361301SQ200680051559
公開(kāi)日2009年2月4日 申請(qǐng)日期2006年11月27日 優(yōu)先權(quán)日2005年11月29日
發(fā)明者米歇爾·科維爾, 舒梅特·巴盧哈, 邁克爾·芬克 申請(qǐng)人:谷歌公司