專利名稱：針對顯示的電視內(nèi)容的自動圖像發(fā)現(xiàn)和推薦的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及推薦系統(tǒng)，更具體地涉及基于當(dāng)前觀看的內(nèi)容的隱藏字幕(closedcaption)發(fā)現(xiàn)和推薦圖像。
背景技術(shù)：
電視是大眾媒體。對于同一頻道，所有的觀眾接收相同的節(jié)目序列。對于用戶而言，存在很少的或者不存在選擇權(quán)來選擇與當(dāng)前節(jié)目有關(guān)的不同信息。在選擇一頻道之后， 用戶變得被動。用戶交互被限制為改變頻道、顯示電子節(jié)目指南(EPG)，等等。對于某些節(jié)目，用戶想要取得(retrieve)有關(guān)信息。例如，在觀看旅行頻道時(shí)，許多人想要看有關(guān)的圖像。

發(fā)明內(nèi)容
本發(fā)明公開了一種能夠自動地發(fā)現(xiàn)有關(guān)圖像并且推薦它們的系統(tǒng)。其使用在同一頁上出現(xiàn)的或者由同一攝影師拍攝的圖像來進(jìn)行圖像發(fā)現(xiàn)。該系統(tǒng)還能夠使用語義相關(guān)性來過濾圖像。還能夠使用情感分析來進(jìn)行圖像評級和攝影師評級。根據(jù)一個(gè)實(shí)施例，提供了一種對顯示的內(nèi)容執(zhí)行自動圖像發(fā)現(xiàn)的方法。該方法包括以下步驟檢測正在被顯示的內(nèi)容的主題，基于所檢測的主題提取查詢術(shù)語，基于查詢術(shù)語發(fā)現(xiàn)圖像，以及顯示一個(gè)或多個(gè)發(fā)現(xiàn)的圖像。根據(jù)另一實(shí)施例，提供了一種對顯示的內(nèi)容執(zhí)行自動圖像發(fā)現(xiàn)的系統(tǒng)。該系統(tǒng)包括主題檢測模塊、關(guān)鍵詞提取模塊、圖像發(fā)現(xiàn)模塊和控制器。主題檢測模塊被配置為檢測正在被顯示的內(nèi)容的主題。關(guān)鍵詞提取模塊被配置為根據(jù)正在被顯示的內(nèi)容的主題提取查詢術(shù)語。圖像發(fā)現(xiàn)模塊被配置為基于查詢術(shù)語發(fā)現(xiàn)圖像；以及控制器被配置為控制主題檢測模塊、關(guān)鍵詞提取模塊和圖像發(fā)現(xiàn)模塊。根據(jù)以下要連同附圖閱讀的示例性實(shí)施例的詳細(xì)描述，本原理的這些和其它方面、特征和優(yōu)點(diǎn)將變得明顯。


根據(jù)以下示例性附圖，可以更好地理解本原理，在附圖中圖I示出了用于將內(nèi)容遞送到家庭或者終端用戶的系統(tǒng)的實(shí)施例的框圖；圖2表示呈現(xiàn)媒體服務(wù)器、在線社交網(wǎng)絡(luò)，和消費(fèi)媒體的消費(fèi)設(shè)備的布置的系統(tǒng)的框圖；圖3示出了機(jī)頂盒/數(shù)字視頻記錄器的實(shí)施例的框圖4示出了確定是否為視頻資產(chǎn)改變了主題的流程圖的方法圖；圖5示出了用于接收執(zhí)行圖4的功能的配置的框圖；以及圖6是利用視頻廣播顯示返回的圖像的實(shí)施例。
具體實(shí)施例方式本原理針對推薦系統(tǒng)，更具體地，針對基于當(dāng)前觀看的內(nèi)容的隱藏字幕發(fā)現(xiàn)和推薦圖像。因此，將理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出盡管沒有在此明確描述或者示出的、但是體現(xiàn)本發(fā)明并且被包括在其精神和范圍內(nèi)的各種布置。在此陳述的各種示例和條件性的語言旨在輔助讀者理解本發(fā)明和(多個(gè))發(fā)明人 貢獻(xiàn)的構(gòu)思以促進(jìn)本領(lǐng)域的教導(dǎo)性目的，并且要被解譯為不限于被這樣具體陳述的示例和條件。此外，在此陳述本發(fā)明的原理、方面，以及實(shí)施例的所有敘述，以及其具體的示例，旨在包括其結(jié)構(gòu)和功能的等效物。此外，這種等效物旨在包括當(dāng)前已知的等效物以及在未來開發(fā)的等效物(即所開發(fā)的執(zhí)行相同功能的任何元件而不論其結(jié)構(gòu)如何)這兩者。由此，例如，本領(lǐng)域的技術(shù)人員將理解的是在此呈現(xiàn)的框圖表示體現(xiàn)本發(fā)明的說明性電路的概念性視圖。類似的，將理解的是任何流程圖表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等表示各種處理，這些處理實(shí)質(zhì)上可以以計(jì)算機(jī)可讀介質(zhì)表示并且因而通過計(jì)算機(jī)或處理器來執(zhí)行，而無論是否明確地示出這樣的計(jì)算機(jī)或處理器?？梢酝ㄟ^使用專用的硬件以及能夠與合適的軟件相關(guān)聯(lián)地運(yùn)行軟件的硬件來提供圖中示出的各種元件的功能。當(dāng)通過處理器來提供時(shí)，可以通過單一的專用處理器、通過單一的共享的處理器，或者通過多個(gè)單獨(dú)的處理器(其一部分可以被共享)來提供該功能。另外，術(shù)語“處理器”或“控制器”的明確使用不應(yīng)當(dāng)被解譯為排他性地指代能夠運(yùn)行軟件的硬件，而是可以隱含地包括，但不限于，數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機(jī)存取存儲器(“RAM”)，以及非易失性存儲器。還可以包括傳統(tǒng)的和/或定制的其它硬件。類似的，在圖中所示的任何開關(guān)僅僅是概念上的。它們的功能可以通過程序邏輯的操作、通過專用的邏輯、通過程序控制和專用邏輯的交互，或者甚至通過手動來實(shí)現(xiàn)，具體的技術(shù)是可由實(shí)施者按照從上下文中更具體的理解來選擇。在其權(quán)利要求中，被表達(dá)為用于執(zhí)行指定功能的手段的任何元件旨在包含執(zhí)行該功能的任何方式，例如包括，a)執(zhí)行該功能的電路元件的組合或者b)任何形式的軟件,因此包括，與運(yùn)行該軟件以執(zhí)行該功能的合適的電路所組合的固件、微代碼等等。由這樣的權(quán)利要求所限定的本發(fā)明在于這樣的事實(shí)，以權(quán)利要求所要求的方式將通過各種陳述的手段所提供的功能相組合并且集中在一起。由此認(rèn)為能夠提供這些功能的任何手段等效于在此所示的這些手段。說明書中對于本發(fā)明的“一個(gè)實(shí)施例”或者“一實(shí)施例”以及其變型的引用，意味著連同實(shí)施例描述的具體的特性、結(jié)構(gòu)、特征，等等被包括在本發(fā)明的至少一個(gè)實(shí)施例中。由此，貫穿本說明書的各個(gè)位置中出現(xiàn)的“一個(gè)實(shí)施例中”或“一實(shí)施例中”短語以及任何其它變型的出現(xiàn)不一定都指代相同的實(shí)施例。
參照圖1，示出了用于向家庭或終端用戶遞送內(nèi)容的系統(tǒng)100的實(shí)施例的框圖。該內(nèi)容源自于內(nèi)容源102，諸如電影工作室或者制作室?？梢詢煞N形式中的至少一種來提供所述內(nèi)容。一種形式可以是內(nèi)容的廣播形式。廣播內(nèi)容被提供給廣播附屬臺管理者104，其典型地是國家廣播服務(wù)商，諸如美國廣播公司(ABC)、國家廣播公司(NBC)、哥倫比亞廣播系統(tǒng)(CBS)等等。廣播附屬臺管理者可以收集并且存儲內(nèi)容，并且可以調(diào)度內(nèi)容在遞送網(wǎng)絡(luò)(諸如遞送網(wǎng)絡(luò)I (106))上的遞送。遞送網(wǎng)絡(luò)I (106)可以包括從國家中心到一個(gè)或多個(gè)區(qū)域或者本地中心的衛(wèi)星鏈路傳輸。遞送網(wǎng)絡(luò)I (106)還可以包括使用本地遞送系統(tǒng)(諸如通過空中廣播、衛(wèi)星廣播、有線廣播或者經(jīng)由IP從外部網(wǎng)絡(luò))進(jìn)行的本地內(nèi)容遞送。將本地遞送的內(nèi)容提供給用戶家庭中的用戶機(jī)頂盒/數(shù)字視頻記錄器(DVR) 108，其中隨后將該內(nèi)容包括在可以由用戶搜索的可用內(nèi)容的主體中。內(nèi)容的第二種形式被稱為特殊內(nèi)容。特殊內(nèi)容可以包括被作為獎(jiǎng)勵(lì)觀看(premiumviewing)、付費(fèi)觀看遞送的內(nèi)容，或者以其它方式提供給廣播附屬臺管理者的其它內(nèi)容。在許多情況下，特殊內(nèi)容可以是用戶請求的內(nèi)容。特殊內(nèi)容可以被遞送到內(nèi)容管理器110。內(nèi)
容管理器110可以是服務(wù)提供商，諸如例如內(nèi)容提供商、廣播服務(wù)，或者遞送網(wǎng)絡(luò)服務(wù)附屬
的因特網(wǎng)網(wǎng)站。內(nèi)容管理器110還可以將因特網(wǎng)內(nèi)容并入遞送系統(tǒng)，或者明確地僅僅并入搜索，使得可以搜索還未被遞送到用戶機(jī)頂盒/數(shù)字視頻記錄器108的內(nèi)容。內(nèi)容管理器110可以通過單獨(dú)的遞送網(wǎng)絡(luò)(遞送網(wǎng)絡(luò)2 (112))將內(nèi)容遞送到用戶機(jī)頂盒/數(shù)字視頻記錄器108。遞送網(wǎng)絡(luò)2 (112)可以包括高速寬帶因特網(wǎng)類型的通信系統(tǒng)。重要地要注意，還可以使用遞送網(wǎng)絡(luò)2 (112)的全部或者一部分來遞送來自廣播附屬臺管理者104的內(nèi)容，以及使用遞送網(wǎng)絡(luò)I (116)的全部或者一部分來遞送來自內(nèi)容管理器110的內(nèi)容。另外，用戶還可以經(jīng)由遞送網(wǎng)絡(luò)2 (112)從因特網(wǎng)直接獲得內(nèi)容，而無需使得內(nèi)容被內(nèi)容管理器110管理。另外，搜索的范圍超出可用內(nèi)容，達(dá)到可以在將來廣播或者使得其可用的內(nèi)容。機(jī)頂盒/數(shù)字視頻記錄器108可以從遞送網(wǎng)絡(luò)I和遞送網(wǎng)絡(luò)2中的一個(gè)或者這兩者接收不同類型的內(nèi)容。機(jī)頂盒/數(shù)字視頻記錄器108處理內(nèi)容，并且基于用戶偏好和命令提供內(nèi)容的分離。機(jī)頂盒/數(shù)字視頻記錄器還可以包括存儲設(shè)備，諸如硬盤驅(qū)動器或者光盤驅(qū)動器，用于記錄和回放音頻和視頻內(nèi)容。此外，以下將連同圖3來描述機(jī)頂盒/數(shù)字視頻記錄器108的操作和與回放存儲的內(nèi)容相關(guān)的特征的進(jìn)一步的細(xì)節(jié)。處理后的內(nèi)容被提供給顯示設(shè)備114。顯示設(shè)備114可以是常規(guī)的2-D類型顯示器或者可替代地可以是高級的3-D顯示器。應(yīng)理解，具有顯示能力的其它設(shè)備，諸如無線電話、PDA、計(jì)算機(jī)、游戲平臺、遙控器、多媒體播放器等等，可以采用本公開的教導(dǎo)并且被考慮為在本公開的范圍內(nèi)。遞送網(wǎng)絡(luò)2耦接到在線社交網(wǎng)絡(luò)116，在線社交網(wǎng)絡(luò)116表示其中提供社交聯(lián)網(wǎng)功能的網(wǎng)站或者服務(wù)器。例如，操作機(jī)頂盒108的用戶可以訪問在線社交網(wǎng)絡(luò)116來訪問來自其它用戶的電子消息，檢查其它用戶做出的關(guān)于內(nèi)容選擇的推薦，查看其它用戶張貼的畫面，參考通過“因特網(wǎng)內(nèi)容”路徑可用的其它網(wǎng)站。在線社交網(wǎng)絡(luò)服務(wù)器116還可以與內(nèi)容管理器110連接，其中可以在兩個(gè)元素之間交換信息。根據(jù)這個(gè)連接可以在用于在線社交聯(lián)網(wǎng)116的電子消息中參考經(jīng)由內(nèi)容管理器110選擇用于在機(jī)頂盒108上進(jìn)行觀看的媒體?？梢韵蛘谟^看機(jī)頂盒108上的媒體的消費(fèi)用戶的狀態(tài)信息張貼該消息。也就是，使用機(jī)頂盒108的用戶可以指示從內(nèi)容管理器110發(fā)出命令，該命令向在由特定字段〈〈USERNAME 標(biāo)識的特定用戶的〈〈SERVICEID 中列出的在線社交聯(lián)網(wǎng)服務(wù)器116指示可以位于消息中的諸如特定媒體資產(chǎn)的〈〈ASSETID ，〈〈ASSETTYPE 和〈〈LOCATION 之類的信息，所述特定字段〈〈USERNAME 用于標(biāo)識用戶。標(biāo)識符可以是電子郵件地址、散列(hash)、字母數(shù)字序列，等等。內(nèi)容管理器110將該信息發(fā)送給在〈〈SERVICE ID 中列出的所指示的社交聯(lián)網(wǎng)服務(wù)器116，其中用于&USERNAME的電子消息具有與被張貼到用戶的狀態(tài)信息的媒體資產(chǎn)的〈〈ASSETID ， ASSETTYPE 和〈〈LOCATION 相稱的信息?？梢栽L問社交聯(lián)網(wǎng)服務(wù)器116的其它用戶可以讀取消費(fèi)用戶的狀態(tài)信息以便查看消費(fèi)用戶觀看了什么媒體。以下描述了這種字段的信息的示例
SERVICE ID 該字段表示特定的社交聯(lián)網(wǎng)服務(wù)或者可以使用的其它I __消息傳輸介質(zhì)_
& FACEBOOKFacebook
& TWITTER_ TwitterI
& L1NKED1N_ Linked-InI
&FLIKCER_ Flicker Photo Sharing
&QZONE_Q-Zone~
&MYSPACEMySpace
&BEBQ_Bebo
&SMS_文本消息傳輸服務(wù)I
&USERNAME使用社交_聯(lián)網(wǎng)服務(wù)的的用戶名|表I
ASSETID ■該字段表示用于標(biāo)識特定資產(chǎn)的媒體資產(chǎn)的“名稱” I&UUID用于媒體資產(chǎn)的通用唯一標(biāo)識符。這可以是唯一的
MD5、SHAK其它類髪的散列，或者其它類髮的標(biāo)識
_#_—_
&NAME_媒體資產(chǎn)的文本名稱~
&TIME訪問媒體資產(chǎn)的時(shí)間。該信息可以是秒、'〗、時(shí)、日、
_一周的日、a期，或者有關(guān)信息的其它時(shí)間_
&ASSCTCQMPLETE資產(chǎn)消費(fèi)的完成百分比|表 2術(shù)語媒體資產(chǎn)(如以下用于表3所描述的)可以是基于視頻的媒體、基于音頻的媒體、電視節(jié)目、電影、交互服務(wù)、視頻游戲、基于HTML的網(wǎng)頁、視頻點(diǎn)播、音頻/視頻廣播、無線電節(jié)目、廣告、播客等等。

權(quán)利要求
1.一種用于對顯示的內(nèi)容執(zhí)行自動圖像發(fā)現(xiàn)的方法，該方法包括 檢測顯示的內(nèi)容的主題； 基于所檢測的主題提取查詢術(shù)語； 基于查詢術(shù)語發(fā)現(xiàn)圖像；以及 顯示發(fā)現(xiàn)的一個(gè)或多個(gè)圖像。
2.根據(jù)權(quán)利要求I所述的方法，還包括 檢測主題是否已經(jīng)被改變；以及 更新查詢術(shù)語。
3.根據(jù)權(quán)利要求I所述的方法，其中檢測正被顯示的內(nèi)容的主題的步驟包括 處理被提供給正被顯示的內(nèi)容的隱藏字幕。
4.根據(jù)權(quán)利要求I所述的方法，其中基于檢測的主題提取查詢術(shù)語的步驟包括 基于帶名稱的實(shí)體和有意義的短語提取關(guān)鍵詞。
5.根據(jù)權(quán)利要求4所述的方法，其中關(guān)鍵詞提取包括以下的一項(xiàng)或多項(xiàng) 基于類別選擇關(guān)鍵詞； 基于語句結(jié)構(gòu)選擇關(guān)鍵詞；以及 基于語義相關(guān)性選擇關(guān)鍵詞。
6.根據(jù)權(quán)利要求4所述的方法，其中關(guān)鍵詞提取包括 咨詢數(shù)據(jù)庫來確定有意義的短語。
7.根據(jù)權(quán)利要求I所述的方法，其中基于檢測的主題提取查詢術(shù)語的步驟包括 解析候選短語的表面形式。
8.根據(jù)權(quán)利要求I所述的方法，還包括 根據(jù)與主題的相關(guān)性對所發(fā)現(xiàn)的圖像進(jìn)行評級。
9.根據(jù)權(quán)利要求I所述的方法，其中基于查詢術(shù)語發(fā)現(xiàn)圖像的步驟包括 搜索在線圖像數(shù)據(jù)庫。
10.根據(jù)權(quán)利要求I所述的方法，還包括 對有關(guān)圖像進(jìn)行分簇； 為每個(gè)簇選擇代表性圖像。
11.一種對顯示的內(nèi)容執(zhí)行自動圖像發(fā)現(xiàn)的系統(tǒng)，該系統(tǒng)包括 主題檢測模塊，被配置為檢測顯示的內(nèi)容的主題； 關(guān)鍵詞提取模塊，被配置為根據(jù)檢測的主題提取查詢術(shù)語； 圖像發(fā)現(xiàn)模塊，被配置為基于查詢術(shù)語發(fā)現(xiàn)圖像；以及 控制器，被配置為控制主題檢測模塊、關(guān)鍵詞提取模塊和圖像發(fā)現(xiàn)模塊。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括 顯示接口，被配置為顯示所發(fā)現(xiàn)的一個(gè)或多個(gè)圖像。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，還包括 存儲器，被配置為存儲用于控制器的數(shù)據(jù)和指令；以及 通信接口，被配置為將控制器連接到因特網(wǎng)和用戶。
14.一種包括具有計(jì)算機(jī)可讀程序的計(jì)算機(jī)可用介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，其中當(dāng)在計(jì)算機(jī)上運(yùn)行所述計(jì)算機(jī)可讀程序時(shí)，促使計(jì)算機(jī)執(zhí)行以下方法步驟，包括對顯示的內(nèi)容執(zhí)行自動圖像發(fā)現(xiàn)，該方法包括檢測正被顯示 的內(nèi)容的主題；基于所檢測的主題提取查詢術(shù)語；基于查詢術(shù)語發(fā)現(xiàn)圖像；以及顯示發(fā)現(xiàn)的一個(gè)或多個(gè)圖像。
全文摘要
提供了一種能夠自動地發(fā)現(xiàn)相關(guān)圖像并且推薦它們的方法和系統(tǒng)。其使用在同一頁面上出現(xiàn)的或者由同一攝影師拍攝的圖像來進(jìn)行圖像發(fā)現(xiàn)。該系統(tǒng)還能夠使用語義相關(guān)性來過濾圖像。還能夠使用情感分析來進(jìn)行圖像評級和攝影師評級。
文檔編號G06F17/30GK102884524SQ201180021841
公開日2013年1月16日 申請日期2011年4月29日 優(yōu)先權(quán)日2010年4月30日
發(fā)明者李德凱, A.卡什亞普, J.W.金, A.K.普德希亞維蒂爾 申請人:湯姆森特許公司