專(zhuān)利名稱(chēng)：用于個(gè)人信息檢索、更新和表示的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息檢索與組織系統(tǒng)和方法，尤其涉及一種用于(以創(chuàng)建個(gè)性化信息源的形式)檢索、處理和表示來(lái)自多種信息源，如無(wú)線電、電視或互聯(lián)網(wǎng)，的內(nèi)容的系統(tǒng)和方法。
背景技術(shù)：
現(xiàn)在有大量可利用的電視頻道、無(wú)線電信號(hào)和通過(guò)互聯(lián)網(wǎng)可以訪問(wèn)的幾乎無(wú)限的內(nèi)容流。但是，這大量的內(nèi)容使得很難找出特定觀眾要尋找的內(nèi)容類(lèi)型，而且還很難個(gè)性化在一天中不同時(shí)間可訪問(wèn)的信息。
通常，廣播電臺(tái)尤其難以根據(jù)內(nèi)容進(jìn)行搜索。電視服務(wù)提供了收視指南，并且在特定情況下觀眾可以換到導(dǎo)視頻道并觀看正在播放或?qū)⒃诓煌瑫r(shí)間段內(nèi)播放的級(jí)聯(lián)的節(jié)目信息流。所列出的節(jié)目按頻道的順序滾動(dòng)，觀眾對(duì)這種滾動(dòng)不能控制，而且通常不得不一直坐到很多頻道都顯示完以后才能去找自己想看的節(jié)目。在其它系統(tǒng)中，觀眾在他們的電視屏幕上訪問(wèn)收視指南。這些服務(wù)通常不允許用戶搜索所顯示電視節(jié)目中的特定內(nèi)容，如電視劇的一個(gè)片段。例如，觀眾可能只對(duì)本地新聞廣播中的體育部分感興趣。
在互聯(lián)網(wǎng)上，尋找內(nèi)容的用戶可以在搜索引擎中輸入搜索請(qǐng)求。但是，搜索引擎有可能不能有效地被利用而且常常將用戶指引到不希望的網(wǎng)站。此外，在獲得想要的信息之前這些網(wǎng)站要求用戶登錄，而且浪費(fèi)時(shí)間。
其內(nèi)容在此引入作為參考的美國(guó)專(zhuān)利No.5,861,881描述了一種能夠在計(jì)算機(jī)網(wǎng)絡(luò)上運(yùn)行的交互式計(jì)算機(jī)系統(tǒng)。用戶通過(guò)使用輸入設(shè)備和個(gè)人計(jì)算機(jī)或電視與交互式節(jié)目進(jìn)行交互。多種視頻/音頻數(shù)據(jù)流可以從廣播發(fā)射源接收或者駐留在本地或外部存儲(chǔ)器中。因而，‘881專(zhuān)利僅僅描述了從一組預(yù)定義的可選方案中選擇一種可選數(shù)據(jù)流，而并未提供搜索觀眾感興趣的信息以創(chuàng)建用于接收信息的個(gè)性化信息源的方法。
其內(nèi)容在此引入作為參考、標(biāo)題為“Interactive Play ListGeneration Using Annotations”的WO 00/16221描述了用戶選定的多個(gè)注解如何用于定義對(duì)應(yīng)于這些注解的媒體片段的播放列表。然后，用戶選定的注解及它們對(duì)應(yīng)的媒體片段可以無(wú)縫方式提供給用戶。用戶界面允許用戶改變播放列表及播放列表中的注解順序。因此，該用戶界面利用很短的主題行識(shí)別每個(gè)注解。
因此，′221文獻(xiàn)描述了一種在流式視頻服務(wù)器中通過(guò)網(wǎng)絡(luò)計(jì)算機(jī)系統(tǒng)產(chǎn)生視頻播放列表的完全手動(dòng)方式。用戶界面在具有雙屏幕的客戶計(jì)算機(jī)上提供了一個(gè)視窗。用戶根據(jù)注解中的信息選擇要檢索的視頻。但是，選擇仍然需要由用戶進(jìn)行，并且依賴(lài)于界面的精確性和完全性。
其內(nèi)容在此引入作為參考、標(biāo)題為“Contents Extraction Methodand System”的EP 1 052 578 A2描述了一種之前利用表示用戶喜好的用戶特征化數(shù)據(jù)進(jìn)行記錄的用戶特征化數(shù)據(jù)記錄介質(zhì)。它裝載在用戶終端設(shè)備上，從而用戶特征化數(shù)據(jù)可以記錄在用戶特征化數(shù)據(jù)記錄介質(zhì)上并輸入到用戶終端單元。以這種方式，當(dāng)檢索鍵盤(pán)識(shí)別出用戶感興趣的多媒體內(nèi)容特征時(shí)，多媒體內(nèi)容可以利用輸入的用戶特征自動(dòng)進(jìn)行檢索。根據(jù)檢索結(jié)果，期望的內(nèi)容就可以選定、提取并顯示。
因此，′578文獻(xiàn)的系統(tǒng)搜索廣播系統(tǒng)中的內(nèi)容或搜索符合觀眾興趣的多媒體數(shù)據(jù)庫(kù)。它沒(méi)有關(guān)于根據(jù)本發(fā)明可以實(shí)現(xiàn)的分割視頻及檢索片段的描述。這種系統(tǒng)還要求使用存儲(chǔ)在數(shù)據(jù)庫(kù)中或發(fā)送到廣播系統(tǒng)的附屬于多媒體內(nèi)容的關(guān)鍵字。因此，它不提供不需要使用發(fā)送或存儲(chǔ)的關(guān)于多媒體內(nèi)容的關(guān)鍵字的系統(tǒng)。它不提供可以利用現(xiàn)有數(shù)據(jù)，如字幕，或聲音識(shí)別來(lái)自動(dòng)提取匹配的系統(tǒng)。′578參考內(nèi)容也沒(méi)有描述提取廣播中相關(guān)部分，如僅僅是早間新聞中的本地交通部分，的系統(tǒng)。
因此，不存在完全方便的系統(tǒng)和方法允許用戶只搜索滿足其個(gè)人興趣的媒體內(nèi)容。

發(fā)明內(nèi)容
總的來(lái)說(shuō)，根據(jù)本發(fā)明，提供了一種信息檢索系統(tǒng)和方法。為了確定內(nèi)容是否滿足預(yù)定義的用戶簡(jiǎn)檔，對(duì)來(lái)自各種信息源，如電視、無(wú)線電和/或互聯(lián)網(wǎng)，的內(nèi)容進(jìn)行分析，其中用戶簡(jiǎn)檔對(duì)應(yīng)于手動(dòng)或自動(dòng)創(chuàng)建的用戶信息源。然后，個(gè)性化的信息源被自動(dòng)創(chuàng)建以允許訪問(wèn)音頻、視頻和/或文本形式的信息。以這種方式，可搜索媒體內(nèi)容的范圍就能夠縮小到只有那些用戶感興趣的節(jié)目或者節(jié)目的部分或片段。信息檢索可以通過(guò)PDA、無(wú)線電、計(jì)算機(jī)、MP3播放器、電視等來(lái)實(shí)現(xiàn)。因此媒體內(nèi)容的范圍就縮小到個(gè)性化組。例如，用戶可以不僅僅接收天氣或交通，還可以接收最相關(guān)的天氣或交通。此外，該系統(tǒng)還能夠根據(jù)用戶的興趣改變分析，例如，早上顯示當(dāng)前的交通狀況，而晚上則顯示第二天的交通警報(bào)。該系統(tǒng)還能夠自動(dòng)檢測(cè)特定時(shí)間的用戶興趣并依照慣例，如天氣優(yōu)先，來(lái)傳遞信息。
因此，本發(fā)明的一個(gè)目的是提供一種改進(jìn)的基于自動(dòng)個(gè)性化組織、檢索并觀看媒體內(nèi)容的系統(tǒng)和方法。
因此，本發(fā)明包括若干步驟，及這些步驟中一步或多步關(guān)于其它步驟中每一步的關(guān)系，該系統(tǒng)包含適于實(shí)現(xiàn)這些步驟的元件結(jié)構(gòu)、組合及部件布置的特征，所有這些都在下面的詳細(xì)公開(kāi)內(nèi)容中舉例說(shuō)明，本發(fā)明的范圍在權(quán)利要求中指出。


為了更加完整地理解本發(fā)明，聯(lián)系附圖參考以下描述，其中圖1是根據(jù)本發(fā)明一種優(yōu)選實(shí)施方案的用于檢索、處理并顯示信息的系統(tǒng)方框圖；圖2是描述根據(jù)本發(fā)明一種優(yōu)選實(shí)施方案的檢索和處理信息的方法流程圖；及圖3是對(duì)根據(jù)本發(fā)明一種優(yōu)選實(shí)施方案信息如何表示的描述。
具體實(shí)施例方式
本發(fā)明針對(duì)一種根據(jù)預(yù)先選定或自動(dòng)的用戶簡(jiǎn)檔從多種媒體信息源中檢索信息，以便提供根據(jù)個(gè)性化信息源提供可即時(shí)訪問(wèn)信息的系統(tǒng)和方法，其中個(gè)性化信息源可以利用最新的數(shù)據(jù)自動(dòng)更新，從而用戶能夠即時(shí)訪問(wèn)最新的可用數(shù)據(jù)(節(jié)目安排)。這種數(shù)據(jù)可以從多種信息源，包括無(wú)線電、電視和互聯(lián)網(wǎng)，收集。在數(shù)據(jù)收集到以后，它可以作為視頻、音頻和/或文字用于觀看、收聽(tīng)、閱讀或，例如，當(dāng)作節(jié)目的一部分下載到計(jì)算機(jī)或其它存儲(chǔ)媒體中，用戶還可以從那組數(shù)據(jù)中進(jìn)一步下載信息。
用戶可以提供手動(dòng)或自動(dòng)產(chǎn)生的簡(jiǎn)檔。例如，用戶可以選擇簡(jiǎn)檔中的每個(gè)要素或者例如通過(guò)點(diǎn)擊屏幕或按下按鈕從一組預(yù)先選定的簡(jiǎn)檔，如體育、新聞、電影、天氣等，中進(jìn)行選擇。這也可以自動(dòng)完成?？梢詫?duì)選定的節(jié)目進(jìn)行分析，而分析的要素可以用于編輯簡(jiǎn)檔。然后，計(jì)算機(jī)可以搜索電視、無(wú)線電和/或互聯(lián)網(wǎng)信號(hào)來(lái)找出與該簡(jiǎn)檔匹配的條目。在這一步完成以后，就可以創(chuàng)建用于訪問(wèn)音頻、視頻或文本形式信息的個(gè)性化信息源。如果最近的信息比較新并且至少同樣完整(而不是比較不完整的子集)，則這種信息源可以利用最近的信息進(jìn)行定期更新。然后，信息檢索可以由PDA、無(wú)線電、計(jì)算機(jī)、電視、VCR、TIVO、MP3播放器等來(lái)完成。
因此，在本發(fā)明的一種實(shí)施方案中，用戶利用交互式電視系統(tǒng)在計(jì)算機(jī)或屏幕上輸入或點(diǎn)擊各種簡(jiǎn)檔興趣選項(xiàng)。語(yǔ)音接口、手勢(shì)和其它交互方法都可以采用。然后，對(duì)選定的內(nèi)容進(jìn)行搜索、定位并下載，以便以后觀看和/或?yàn)榱肆⒓从^看使用戶可以訪問(wèn)它們，從而在作出收視選擇之前只需要訪問(wèn)小得多的選項(xiàng)范圍。例如，如果觀眾只想看電影，則輸入MOVIE可以用于將他的收視選擇縮小到那些播放電影的電視臺(tái)?？蛇x地，用戶可以訪問(wèn)在那一天、那一周或其它預(yù)定時(shí)間段播放的所有電影。
一種特定的不受限實(shí)例是為用戶定義其簡(jiǎn)檔包括來(lái)自各種信息源的天氣、交通、股市、體育和頭條新聞。用戶還可以在簡(jiǎn)檔中包括地理和時(shí)間信息。最好的交通信息源可能是能夠每十分鐘就提供更新的本地廣播電臺(tái)。股市信息從各種財(cái)經(jīng)或新聞網(wǎng)站可能能夠最好地訪問(wèn)到，而天氣信息可以從專(zhuān)門(mén)用于天氣報(bào)告的互聯(lián)網(wǎng)網(wǎng)站、本地早間新聞廣播或本地早間無(wú)線電廣播檢索到。對(duì)這些信息進(jìn)行編輯并使用戶可以訪問(wèn)它們，用戶將不需要切換可能好幾百個(gè)頻道、廣播電臺(tái)和互聯(lián)網(wǎng)網(wǎng)站就可以自動(dòng)地使與其預(yù)先選定簡(jiǎn)檔匹配的信息直接變得可用。此外，如果用戶想開(kāi)車(chē)去上班但已經(jīng)錯(cuò)過(guò)了本地交通報(bào)告的廣播，那么他可以訪問(wèn)并重播該交通報(bào)告。此外，他還可以獲得該信息的文字簡(jiǎn)述或閱讀該文字的合成播音員，或者將該信息下載到音頻系統(tǒng)，如MP3存儲(chǔ)設(shè)備，用于以后收聽(tīng)。然后，他就可以在坐進(jìn)汽車(chē)以后收聽(tīng)剛才錯(cuò)過(guò)的交通報(bào)告。
現(xiàn)在看圖1，根據(jù)本發(fā)明一種不受限的優(yōu)選實(shí)施方案，示出了一種用于接收信息、處理信息并使用戶可利用該信息的系統(tǒng)100的方框圖。如圖1所示，系統(tǒng)100不斷地從各種廣播源接收輸入。因此，系統(tǒng)100接收無(wú)線電信號(hào)101、電視信號(hào)102和通過(guò)互聯(lián)網(wǎng)的網(wǎng)站信息信號(hào)103。無(wú)線電信號(hào)101通過(guò)無(wú)線電調(diào)諧器111來(lái)訪問(wèn)。電視信號(hào)102通過(guò)電視調(diào)諧器112來(lái)訪問(wèn)，網(wǎng)站信號(hào)103通過(guò)網(wǎng)絡(luò)蜘蛛113來(lái)訪問(wèn)。
接收到的信息類(lèi)型將從所有領(lǐng)域接收，可以包括新聞廣播、體育信息、天氣報(bào)告、財(cái)經(jīng)信息、電影、喜劇節(jié)目、交通報(bào)告等。然后，多源信息信號(hào)120發(fā)送到用于分析信號(hào)以便提取出上述識(shí)別信息并將信號(hào)151發(fā)送到用戶簡(jiǎn)檔比較處理器160的即時(shí)信息處理器150。用戶簡(jiǎn)檔處理器160將識(shí)別標(biāo)準(zhǔn)與簡(jiǎn)檔進(jìn)行比較并輸出表示特定內(nèi)容源與簡(jiǎn)檔是否匹配的信號(hào)161。簡(jiǎn)檔160可以自動(dòng)創(chuàng)建或從多個(gè)預(yù)先格式化好的簡(jiǎn)檔中選擇。
如果信息與簡(jiǎn)檔不匹配，則按照用戶興趣賦予其低優(yōu)先級(jí)，而系統(tǒng)100繼續(xù)從下一個(gè)內(nèi)容源提取附加信息的過(guò)程。聯(lián)系本發(fā)明的某些實(shí)施方案，足夠高的廣播員重要性有可能使其成為高優(yōu)先級(jí)條目。因此，在本發(fā)明的某些實(shí)施方案中，當(dāng)沒(méi)有與簡(jiǎn)檔的匹配時(shí)，內(nèi)容不是丟棄而是按優(yōu)先級(jí)排列。當(dāng)內(nèi)容是冗余的或需要空間時(shí)內(nèi)容才被“丟棄”，最低優(yōu)先級(jí)的信息被丟棄。
一種處理所接收到的信息并將其與簡(jiǎn)檔進(jìn)行比較的優(yōu)選方法在圖2的流程圖中作為方法200更加清晰地示出。在方法200中，輸入信號(hào)120′是從各種內(nèi)容源接收的。在步驟150′中，可以包括緩沖器和計(jì)算機(jī)的即時(shí)信息系統(tǒng)150(圖1)通過(guò)字幕信息、音頻到文字識(shí)別軟件等提取信息并自動(dòng)執(zhí)行關(guān)鍵字搜索。例如，如果即時(shí)信息系統(tǒng)150檢測(cè)到單詞“天氣”，加上地點(diǎn)、可能還有與電視廣播關(guān)聯(lián)的字幕信息中一天中的某個(gè)時(shí)刻或網(wǎng)站的標(biāo)簽信息，那么它將使得該廣播或網(wǎng)站可以作為個(gè)性化信息源的一部分用于選擇。
在步驟220中，將提取出的信息(來(lái)自步驟220的信號(hào)151)同用戶簡(jiǎn)檔進(jìn)行比較。如果信息與用戶興趣221不匹配，則該信息被忽略，對(duì)下一個(gè)內(nèi)容源繼續(xù)提取信息的過(guò)程150′。當(dāng)找到一個(gè)匹配222時(shí)，在步驟230中對(duì)該信息進(jìn)行檢查以確定該信息是否比個(gè)性化信息源中現(xiàn)有的信息更新而且不是其子集。如果包含在信號(hào)中的信息顯示它比較舊231，則它被忽略而提取過(guò)程150′繼續(xù)。如果較新信息檢查步驟230顯示該信息比較新232，則在步驟240中系統(tǒng)100用它取代個(gè)性化信息源中比較舊的信息或創(chuàng)建新的信息源。
該系統(tǒng)還可以評(píng)價(jià)簡(jiǎn)檔匹配并根據(jù)用戶的興趣順序傳遞這些信息。該系統(tǒng)還可以分析賦予一個(gè)片段的廣播員重要性，如廣播中的順序和片段的持續(xù)時(shí)間。該系統(tǒng)還可以定義重要性，如“中國(guó)”。然后，不僅根據(jù)用戶的興趣(片段，關(guān)于中國(guó)政治)，還根據(jù)片段對(duì)廣播員的重要性(具有高持續(xù)時(shí)間的導(dǎo)語(yǔ)新聞報(bào)道)，該系統(tǒng)順序表示信息。通過(guò)另一個(gè)實(shí)例，如果用戶對(duì)Yankees感興趣，則系統(tǒng)可以向外查找(同時(shí)既向前又向后)并在顯示上周記載之前顯示昨天的記載，在顯示上周的賽事新聞之前顯示關(guān)于明天的賽事信息。關(guān)于交通，將會(huì)有廣播員重要性(如下所述)、用戶重要性(如下所述)和日期。對(duì)于交通，未來(lái)的事件和當(dāng)前的事件比過(guò)去的事件更重要。這些在設(shè)置表示順序時(shí)都應(yīng)當(dāng)考慮。
最后，在步驟250中，個(gè)性化信息源的選擇是可用的；然后，用戶可以觀看選定的部分、下載其它部分以后觀看和/或記錄部分。
因此，用戶簡(jiǎn)檔160用于從各種內(nèi)容源111、112和113中自動(dòng)選擇合適的信號(hào)120來(lái)創(chuàng)建包含與期望信息對(duì)應(yīng)的所有各種信息源的個(gè)性化信息源130。系統(tǒng)100還可以包括用于記錄這種信息以便以后重播和/或立即顯示該信息的各種顯示和記錄設(shè)備140。系統(tǒng)100還可以包括下載設(shè)備，從而信息可以下載到，例如，錄像帶、MP3存儲(chǔ)設(shè)備、PDA或任何一種其它存儲(chǔ)/重播設(shè)備。
此外，任何或所有部件都可以安置在一臺(tái)電視機(jī)中。此外，還可以提供一個(gè)雙調(diào)諧器或多調(diào)諧器設(shè)備，其中一個(gè)調(diào)諧器用于掃描和/或下載，而另一個(gè)用于當(dāng)前觀看。
在本發(fā)明的一種實(shí)施方案中，所有信息都下載到計(jì)算機(jī)，用戶可以簡(jiǎn)單地在各種信息源中切換直到定位到他期望顯示的信息。
在本發(fā)明的某些實(shí)施方案中，存儲(chǔ)/重播/下載設(shè)備可以是由用戶個(gè)性化簡(jiǎn)檔控制和訪問(wèn)的集中式服務(wù)器。例如，有線電視提供商可以創(chuàng)建用于根據(jù)用戶定義簡(jiǎn)檔有選擇地存儲(chǔ)信息的存儲(chǔ)系統(tǒng)并允許用戶在想看的時(shí)候觀看他們想看的信息。
在本發(fā)明的一種實(shí)施方案中，計(jì)算機(jī)系統(tǒng)，如主服務(wù)器，監(jiān)控所有的TV新聞節(jié)目。主服務(wù)器可以位于遠(yuǎn)離用戶的位置。它分析每個(gè)節(jié)目并將它們分解成獨(dú)立的情節(jié)或數(shù)據(jù)。對(duì)于每個(gè)情節(jié)或數(shù)據(jù)片段，它都可以產(chǎn)生描述各種分類(lèi)的元數(shù)據(jù)，包括下述
1.分類(lèi)情節(jié)和數(shù)據(jù)劃分為，例如，天氣、財(cái)經(jīng)新聞、體育、交通、頭條新聞和地方事件。
2.參與者情節(jié)中所涉及的人、公司、產(chǎn)品等的名字。
3.事件情節(jié)事件的簡(jiǎn)要描述4.結(jié)果基于這個(gè)事件的后果5.地點(diǎn)事件發(fā)生的地點(diǎn)或受其結(jié)果影響的地點(diǎn)。
6.時(shí)間敏感性事件發(fā)生的時(shí)間。
7.廣播員重要性根據(jù)在新聞廣播中或網(wǎng)站上的位置、片段的長(zhǎng)度及預(yù)示該情節(jié)即將發(fā)生的預(yù)覽的出現(xiàn)，對(duì)廣播員對(duì)該情節(jié)的重要性感覺(jué)進(jìn)行評(píng)定。
可以是包括主服務(wù)器的系統(tǒng)的一部分或用于從主服務(wù)器接收數(shù)據(jù)發(fā)射的客戶系統(tǒng)接收新聞廣播的發(fā)射和元數(shù)據(jù)，并且在本發(fā)明的一種實(shí)施方案中還存儲(chǔ)它們。客戶系統(tǒng)還可以檢查互聯(lián)網(wǎng)以尋找新聞情節(jié)和新聞數(shù)據(jù)。和服務(wù)器一樣，客戶也可以產(chǎn)生描述它所分析的情節(jié)和數(shù)據(jù)的元數(shù)據(jù)。
在本發(fā)明的一種實(shí)施方案中，客戶系統(tǒng)試圖將情節(jié)與用戶簡(jiǎn)檔進(jìn)行匹配。根據(jù)信息請(qǐng)求與參與者、結(jié)果和地點(diǎn)匹配到什么程度，它可以根據(jù)一個(gè)情節(jié)與用戶簡(jiǎn)檔匹配得有多么接近來(lái)產(chǎn)生一個(gè)得分。然后，客戶根據(jù)時(shí)間敏感性和分類(lèi)產(chǎn)生一個(gè)得分。它根據(jù)信息發(fā)生的時(shí)間對(duì)情節(jié)和數(shù)據(jù)分級(jí)，但根據(jù)情節(jié)的分類(lèi)這些分級(jí)可以不同。例如，來(lái)自前一天的體育記載可以認(rèn)為同明天將要發(fā)生的體育賽事一樣重要。而來(lái)自前一天的交通信息可以認(rèn)為比明天的交通預(yù)告不重要得多。時(shí)間敏感性還基于用戶的習(xí)慣。例如，工作日上下班往返早上的交通信息可以認(rèn)為比其它時(shí)間的更重要。
然后，客戶系統(tǒng)可以根據(jù)廣播員重要性對(duì)所有數(shù)據(jù)和情節(jié)分級(jí)、對(duì)參與者、事件、結(jié)果、地點(diǎn)和時(shí)間敏感性與用戶簡(jiǎn)檔進(jìn)行匹配。在本發(fā)明的一種實(shí)施方案中，當(dāng)用戶請(qǐng)求信息時(shí)，基于上述該信息的總體重要性，信息順序呈現(xiàn)給他們。
圖3示出了根據(jù)作為說(shuō)明性、不受限實(shí)例的本發(fā)明一種實(shí)施方案，用戶可以看作可用信息概述的新聞綜述屏幕301。
天氣—該系統(tǒng)初始顯示當(dāng)前溫度和今天的天氣綜述。此時(shí)，系統(tǒng)假定這是用戶想要的最重要信息。如果用戶選擇進(jìn)一步探索這個(gè)內(nèi)容領(lǐng)域，則例如通過(guò)利用鼠標(biāo)點(diǎn)擊或其它方法選擇信息入口302，明天和這周其余時(shí)間的預(yù)報(bào)也可以得到。
財(cái)經(jīng)新聞—該系統(tǒng)初始顯示按用戶喜好順序列出的指數(shù)和股票價(jià)格。如果檢測(cè)到股票或指數(shù)價(jià)格的顯著變化，則該順序可以改變。
體育—該系統(tǒng)初始顯示昨天和今晚的綜述信息。如果用戶進(jìn)一步探索這個(gè)內(nèi)容領(lǐng)域，則從星期天開(kāi)始的足球賽事記載都可以得到，但因?yàn)樗容^舊，因此看起來(lái)它不如棒球賽事記載重要。
交通—該系統(tǒng)初始顯示Tappan Zee的交通。這是一周中這一天這個(gè)時(shí)間用戶最可能采取的路線。如果另一條用戶路線存在顯著的堵車(chē)或通告，則它可以比這種信息的等級(jí)更高。
頭條新聞—該系統(tǒng)根據(jù)簡(jiǎn)檔、時(shí)間和廣播員重要性顯示兩條最高等級(jí)的頭條新聞。用戶可以進(jìn)一步探索這個(gè)內(nèi)容領(lǐng)域來(lái)看其它的頭條新聞。
事件—該系統(tǒng)顯示在最近的未來(lái)接近用戶住所的事件。因?yàn)橛脩舨豢赡軈⑴c，所以過(guò)去的事件等級(jí)非常低。
除了看所有內(nèi)容領(lǐng)域的綜述，用戶還可以請(qǐng)求覆蓋所觀看TV節(jié)目的單獨(dú)綜述。數(shù)據(jù)和情節(jié)同樣是根據(jù)用戶認(rèn)為什么最重要來(lái)進(jìn)行分級(jí)的。
包含內(nèi)容數(shù)據(jù)的信號(hào)可以遠(yuǎn)程或在當(dāng)?shù)氐膯螜C(jī)系統(tǒng)上進(jìn)行分析，從而相關(guān)信息可以提取出并以下述方式與簡(jiǎn)檔進(jìn)行比較。
在本發(fā)明的一種實(shí)施方案中，視頻信號(hào)的每一幀都可以分析，從而允許視頻數(shù)據(jù)的分割。這種分割可以包括人臉檢測(cè)、文字檢測(cè)等。信號(hào)的音頻成分可以分析，而語(yǔ)音到文字的轉(zhuǎn)換可以實(shí)現(xiàn)。副本數(shù)據(jù)，如字幕數(shù)據(jù)，也可以對(duì)關(guān)鍵字等進(jìn)行分析。屏幕文字也可以捕捉，象素比較或DCT系數(shù)比較可以用于識(shí)別關(guān)鍵幀，而關(guān)鍵幀可用于定義內(nèi)容片段。
一種從視頻信號(hào)中提取相關(guān)信息的方法在其全部公開(kāi)內(nèi)容在此引入作為參考、由Dimitrova等人所著的美國(guó)專(zhuān)利No.6,125,229中進(jìn)行了描述，下面對(duì)其進(jìn)行簡(jiǎn)單描述?？偟膩?lái)說(shuō)，處理器接收內(nèi)容并將視頻信號(hào)格式化成代表象素?cái)?shù)據(jù)的幀(幀抓取)。應(yīng)當(dāng)指出，對(duì)于每個(gè)記錄設(shè)備，抓取和分析幀的過(guò)程優(yōu)選地是按預(yù)定的時(shí)間間隔執(zhí)行的。例如，當(dāng)處理器開(kāi)始分析視頻信號(hào)時(shí)，幀可以按預(yù)定的時(shí)間間隔，如MPEG流中的I幀或每30秒，抓取并彼此進(jìn)行比較以識(shí)別出關(guān)鍵幀。
視頻分割在本領(lǐng)域中是已知的，并在SPIE Conference on Imageand Video Databases，San Jose，2000上所介紹的由N.Dimitrova、T.McGee、L.Agnihotri、S.Dagtas和R.Jasinschi所著、標(biāo)題為“OnSelective Video Content Analysis and Filtering”的文獻(xiàn)和AAAIFall 1995 Symposium on Computational Models for IntegratingLanguage and Vision 1995上由A.Hauptmann和M.Smith所著的“Text，Speech，and Vision For Video SegmentationThe InfomediaProject”中進(jìn)行了概括說(shuō)明，其全部公開(kāi)內(nèi)容在此引入作為參考。所記錄數(shù)據(jù)視頻部分包括關(guān)于由記錄設(shè)備所捕捉到的人的可視(例如，人臉)和/或文字信息的任何片段將表示該數(shù)據(jù)關(guān)于特定個(gè)體，從而可以根據(jù)這些片段進(jìn)行索引。如本領(lǐng)域中已知的，視頻分割包括但不限于顯著場(chǎng)景變化檢測(cè)其中對(duì)連續(xù)的視頻幀進(jìn)行比較以識(shí)別出突然的場(chǎng)景變化(硬剪輯)或柔和的過(guò)渡(漸隱、淡入和淡出)。對(duì)顯著場(chǎng)景變化檢測(cè)的說(shuō)明在Proc.ACM Conf.on Knowledge andInformation Management，pp.113-120，1997上由N.Dimitrova、T.McGee、H.Elenbaas所著、標(biāo)題為“Video Keyframe Extraction andFilteringA Keyframe is Not a Keyframe to Everyone”的文獻(xiàn)中提供，其全部公開(kāi)內(nèi)容在此引入作為參考。
人臉檢測(cè)其中每個(gè)包含膚色和對(duì)應(yīng)于類(lèi)似橢圓形狀的視頻幀區(qū)域都被識(shí)別出。在優(yōu)選實(shí)施方案中，一旦識(shí)別出人臉圖象，就將該圖象與存儲(chǔ)在存儲(chǔ)器中的已知人臉圖象數(shù)據(jù)庫(kù)進(jìn)行比較，以確定視頻幀中所顯示的人臉圖象是否對(duì)應(yīng)于用戶的觀看喜好。對(duì)人臉檢測(cè)的說(shuō)明在Pattern Recognition Letters，Vol.20，No.11，1999年11月上由Gang Wei和Ishwar K.Sethi所著、標(biāo)題為“Face Detection for ImageAnnotation”的文獻(xiàn)中提供，其全部公開(kāi)內(nèi)容在此引入作為參考。
可以對(duì)幀進(jìn)行分析，從而屏幕文字可以提取，如在其內(nèi)容在此引入作為參考、標(biāo)題為“System and Method for Analyzing Video Contentin Detected Text in Video Frames”的EP 1066577中所描述的。
運(yùn)動(dòng)估計(jì)/分割/檢測(cè)其中視頻序列中的運(yùn)動(dòng)對(duì)象被確定，并對(duì)運(yùn)動(dòng)對(duì)象的軌跡進(jìn)行分析。為了確定視頻序列中對(duì)象的運(yùn)動(dòng)，優(yōu)選地采用已知的操作，如光流估計(jì)、運(yùn)動(dòng)補(bǔ)償和運(yùn)動(dòng)分割。對(duì)運(yùn)動(dòng)估計(jì)/分割/檢測(cè)的說(shuō)明在International Journal of Computer Vision，Vol.10，No.2，pp.157-182，1993年4月上由Patrick Bouthemy和Francois Edouard所著、標(biāo)題為“Motion Segmentation andQualitative Dynamic Scene Analysis from an Image Sequence”的文獻(xiàn)中提供，其全部公開(kāi)內(nèi)容在此引入作為參考。
對(duì)于與用戶請(qǐng)求相關(guān)的單詞/聲音的出現(xiàn)，視頻信號(hào)的音頻成分也可以分析和監(jiān)控。音頻分割包括以下類(lèi)型的視頻節(jié)目分析語(yǔ)音到文字轉(zhuǎn)換、音頻效果和事件檢測(cè)、揚(yáng)聲器識(shí)別、節(jié)目識(shí)別、音樂(lè)分類(lèi)和基于揚(yáng)聲器識(shí)別的對(duì)話檢測(cè)。
音頻分割包括將音頻信號(hào)劃分成語(yǔ)音和非語(yǔ)音部分。音頻分割的第一步包括利用低級(jí)音頻特征，如帶寬、能量和音調(diào)的片段分類(lèi)。聲道分離用于彼此分離同時(shí)出現(xiàn)的音頻成分(如音樂(lè)和語(yǔ)音)，從而每一種都可以單獨(dú)進(jìn)行分析。然后，視頻(或音頻)輸入的音頻部分以不同的方式，如語(yǔ)音到文字轉(zhuǎn)換、音頻效果和事件檢測(cè)及揚(yáng)聲器識(shí)別，進(jìn)行處理。音頻分割在本領(lǐng)域中是已知的，并在IEEE Multimedia，pp.27-36，F(xiàn)all 1996上由E.Wold和T.Blum所著、標(biāo)題為“Content-Based Classification，Search，and Retrieval ofAudio”的文獻(xiàn)中進(jìn)行了概括說(shuō)明，其全部公開(kāi)內(nèi)容在此引入作為參考。
一旦視頻信號(hào)中音頻部分的語(yǔ)音片段從背景噪聲或音樂(lè)中識(shí)別或隔離出來(lái)，就可以使用語(yǔ)音到文字轉(zhuǎn)換(這在本領(lǐng)域中是已知的，例如，見(jiàn)DARPA Broadcast News Transcription and UnderstandingWorkshop，VA，1998年2月8日-11日上由P.Beyerlein、X.Aubert、R.Haeb-Umbach、D.Klakow、M.Ulrich、A.Wendemuth和P.Wilcox所著、標(biāo)題為“Automatic Transcription of English BroadcastNews”的文獻(xiàn)，其全部公開(kāi)內(nèi)容在此引入作為參考)。語(yǔ)音到文字轉(zhuǎn)換可以用于如關(guān)于事件檢索的關(guān)鍵字定位應(yīng)用。
音頻效果可用于檢測(cè)事件(這在本領(lǐng)域中是已知的，例如，見(jiàn)Intelligent Multimedia Information Retrieval，AAAI Press，Menlo Park，California，pp.113-135，1997上由T.Blum、D.Keislar J.Wheaton和E.Wold所著、標(biāo)題為“Audio Databases withContent-Based Retrieval”的文獻(xiàn)，其全部公開(kāi)內(nèi)容在此引入作為參考)。情節(jié)可以通過(guò)識(shí)別與特定人物或情節(jié)類(lèi)型關(guān)聯(lián)的聲音來(lái)檢測(cè)。例如，獅吼可以被檢測(cè)到，而該片段可以特征化為關(guān)于動(dòng)物的情節(jié)。
揚(yáng)聲器識(shí)別(這在本領(lǐng)域中是已知的，例如，見(jiàn)IS&T SPIEProceedingsStorage and Retrieval for Image and VideoDatabases V，pp.218-225，San Jose，CA，1997年2月上由NileshV.Patel和Ishwar K.Sethi所著、標(biāo)題為“Video ClassificationUsing Speaker Identification”的文獻(xiàn)，其全部公開(kāi)內(nèi)容在此引入作為參考)涉及分析出現(xiàn)在音頻信號(hào)中的聲音標(biāo)志，以確定人物講話的特性。例如，揚(yáng)聲器識(shí)別可用于搜索特定的名人或政治家。
音樂(lè)分類(lèi)涉及分析音頻信號(hào)的非語(yǔ)音部分，以確定存在的音樂(lè)類(lèi)型(古典、搖滾、爵士等)。這是通過(guò)，例如，分析音頻信號(hào)非語(yǔ)音部分的頻率、音調(diào)、音色、聲音和曲調(diào)并將分析結(jié)果與特定音樂(lè)類(lèi)型已知的特征進(jìn)行比較來(lái)實(shí)現(xiàn)的。音樂(lè)分類(lèi)在本領(lǐng)域中是已知的，并在1999IEEE Workshop on Applications of Signal Processing to Audioand Acoustics，New Paltz，NY，1999年10月17-20日上由EricD.Scheirer所著、標(biāo)題為“Towards Music Understanding WithoutSeparationSegmenting Music With Correlogram Comodulation”的文獻(xiàn)中進(jìn)行了概括說(shuō)明。
然后，根據(jù)用于各種情節(jié)類(lèi)型的高級(jí)已知提示表對(duì)視頻、音頻和副本文字的各種成分進(jìn)行分析。每種情節(jié)分類(lèi)優(yōu)選地都具有作為關(guān)鍵字和分類(lèi)相關(guān)表的知識(shí)樹(shù)。這些提示可以由用戶在用戶簡(jiǎn)檔中設(shè)置或由制造商預(yù)先設(shè)定。例如，“New York Jets”樹(shù)可以包括如體育、足球、NFL等關(guān)鍵字。在另一實(shí)例中，“總統(tǒng)的”情節(jié)可以與如George W.Bush的總統(tǒng)圖章、預(yù)存臉部數(shù)據(jù)的可視片段，如歡呼的音頻片段，及如單詞“總統(tǒng)”和“Bush”的文本片段關(guān)聯(lián)。在進(jìn)行統(tǒng)計(jì)處理之后，處理器利用類(lèi)別投票直方圖執(zhí)行分類(lèi)，其中統(tǒng)計(jì)處理將在下面更加詳細(xì)地描述。通過(guò)實(shí)例，如果文本文件中的一個(gè)單詞與基于知識(shí)的一個(gè)關(guān)鍵字匹配，則對(duì)應(yīng)的類(lèi)別得到一張選票。對(duì)于每一種類(lèi)別，概率是由每個(gè)關(guān)鍵字選票總數(shù)和一個(gè)文本片段選票總數(shù)之間的比率來(lái)給定的。
在一種優(yōu)選實(shí)施方案中，對(duì)分割后的音頻、視頻和文本片段的各成分進(jìn)行集成，以便從信號(hào)中提取簡(jiǎn)檔比較信息。分割后的音頻、視頻和文本信號(hào)的集成對(duì)于復(fù)雜提取是優(yōu)選的。例如，如果用戶期望選擇關(guān)于前任總統(tǒng)的節(jié)目，則不僅要求人臉識(shí)別(識(shí)別演員)，還要求揚(yáng)聲器識(shí)別(確保屏幕上的演員在講話)、語(yǔ)音到文字轉(zhuǎn)換(確保演員在說(shuō)適當(dāng)?shù)膯卧~)及運(yùn)動(dòng)估計(jì)-分割-檢測(cè)(識(shí)別演員的特定運(yùn)動(dòng))。因此，集成的檢索方法是優(yōu)選的并且產(chǎn)生較好的結(jié)果。
在本發(fā)明的一種實(shí)施方案中，本發(fā)明的系統(tǒng)100可以在包括數(shù)字記錄器的產(chǎn)品中實(shí)現(xiàn)。該數(shù)字記錄器可以包括內(nèi)容分析器處理及足夠的存儲(chǔ)容量來(lái)存儲(chǔ)必要的內(nèi)容。當(dāng)然，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到存儲(chǔ)設(shè)備可以位于數(shù)字記錄器和內(nèi)容分析器的外部。此外，不需要將數(shù)字記錄系統(tǒng)和內(nèi)容分析器安置在單個(gè)包中，它們都可以單獨(dú)包裝。在這個(gè)實(shí)例中，用戶利用單獨(dú)的輸入設(shè)備將請(qǐng)求條目輸入到內(nèi)容分析器。內(nèi)容分析器可以直接連接到一個(gè)或多個(gè)信息源。在電視的情況下，當(dāng)視頻信號(hào)緩存在內(nèi)容分析器的內(nèi)存中時(shí)，內(nèi)容分析可以如上所述對(duì)該視頻信號(hào)執(zhí)行以提取相關(guān)情節(jié)。
盡管已經(jīng)聯(lián)系優(yōu)選實(shí)施方案對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，在上述原理范圍內(nèi)對(duì)其進(jìn)行的各種修改對(duì)本領(lǐng)域技術(shù)人員是顯而易見(jiàn)的，因此本發(fā)明不限于該優(yōu)選實(shí)施方案，而是要包括這些修改。
權(quán)利要求
1.一種組合和處理來(lái)自多種信息源的媒體內(nèi)容的方法，包括建立對(duì)應(yīng)于感興趣主題的簡(jiǎn)檔(160)；自動(dòng)掃描可用的媒體信息源(101、102、103)，選擇一個(gè)信息源并從該媒體信息源提取表示該信息源內(nèi)容特征的識(shí)別信息(150′)；比較(220)該識(shí)別信息與簡(jiǎn)檔(160)，如果發(fā)現(xiàn)匹配(222)，則表示該媒體信息源可以訪問(wèn)；自動(dòng)掃描可用的媒體信息源尋找下一媒體內(nèi)容源，從所述下一信息源提取識(shí)別信息(150′)，并比較(220)所述下一信息源的識(shí)別信息與簡(jiǎn)檔(160)，如果發(fā)現(xiàn)匹配(222)，則表示所述下一媒體信息源可以訪問(wèn)。
2.如權(quán)利要求1所述的方法，其中所述簡(jiǎn)檔(160)包括地理和時(shí)間限制。
3.如權(quán)利要求1所述的方法，其中所述掃描和比較(220)步驟一直重復(fù)，直到所有可用的媒體信息源(101、102、103)都被掃描。
4.如權(quán)利要求1所述的方法，其中所述可用的媒體信息源包括電視廣播(102)、或電視廣播(102)和無(wú)線電廣播(101)，或電視廣播(102)和網(wǎng)站信息(103)。
5.如權(quán)利要求1所述的方法，其中所述識(shí)別信息是通過(guò)從視頻信號(hào)提取字幕信息來(lái)提取(150′)的。
6.如權(quán)利要求1所述的方法，其中識(shí)別信息是從屏幕文字提取(150′)的。
7.如權(quán)利要求1所述的方法，其中識(shí)別信息是利用聲音到文字轉(zhuǎn)換處理來(lái)提取(150′)的。
8.如權(quán)利要求1所述的方法，其中所述媒體內(nèi)容源(101、102、103)在第一位置可用，而在遠(yuǎn)離第一位置的第二位置的用戶訪問(wèn)該可用的媒體內(nèi)容源(250)。
9.如權(quán)利要求1所述的方法，其中所述感興趣的主題(160)選自體育、天氣和交通。
10.如權(quán)利要求1所述的方法，其中對(duì)可以訪問(wèn)的媒體信息源進(jìn)行比較以確定哪個(gè)信息源更及時(shí)或更完整(230)。
11.如權(quán)利要求1所述的方法，其中所述可以訪問(wèn)的媒體信息源是根據(jù)從廣播和從簡(jiǎn)檔獲得的信息進(jìn)行優(yōu)先級(jí)分級(jí)(240)的。
12.用于創(chuàng)建一組可用媒體的系統(tǒng)，包括用于掃描和接收包括媒體內(nèi)容(111、112、113)的信號(hào)的接收器設(shè)備；能夠接收和存儲(chǔ)用戶定義簡(jiǎn)檔信息(160)的存儲(chǔ)設(shè)備；鏈接到所述接收器、用于從包含媒體內(nèi)容的多個(gè)掃描信號(hào)中提取識(shí)別信息(150)的處理器；用于比較提取出的識(shí)別信息與簡(jiǎn)檔，并且當(dāng)檢測(cè)到匹配時(shí)使包含媒體內(nèi)容的信號(hào)可用的比較設(shè)備(150、160)。
13.如權(quán)利要求12所述的系統(tǒng)，其中所述接收器(111、112、113)、處理器和比較設(shè)備(150、160)構(gòu)建并布置成由接收器掃描所有可以掃描的媒體信息源(101、102、103)以編譯成一個(gè)與簡(jiǎn)檔(160)匹配、用于回顧的可用媒體信息源子集。
14.如權(quán)利要求12所述的系統(tǒng)，包括構(gòu)建成接收用戶定義簡(jiǎn)檔信息并將該信息與所述識(shí)別信息比較以識(shí)別出匹配(150、160)的計(jì)算機(jī)。
15.如權(quán)利要求12所述的系統(tǒng)，其中所述接收器包括構(gòu)建成處理電視信號(hào)(112)的第一調(diào)諧器，該系統(tǒng)還包括構(gòu)建成幫助顯示可用媒體或其它媒體(140)的第二調(diào)諧器。
16.如權(quán)利要求12所述的系統(tǒng)，其中所述接收器(111、112、113)、存儲(chǔ)設(shè)備(160)、處理器和比較設(shè)備(150)安置在電視機(jī)中。
17.如權(quán)利要求12所述的系統(tǒng)，其中所述存儲(chǔ)設(shè)備(160)構(gòu)建并布置成從鍵盤(pán)接收簡(jiǎn)檔信息。
18.如權(quán)利要求12所述的系統(tǒng)，其中所述存儲(chǔ)設(shè)備(160)構(gòu)建并布置成當(dāng)用戶執(zhí)行選定的鼠標(biāo)點(diǎn)擊時(shí)根據(jù)所產(chǎn)生的信號(hào)從鍵盤(pán)接收簡(jiǎn)檔信息。
19.如權(quán)利要求12所述的系統(tǒng)，其中所述存儲(chǔ)設(shè)備(160)包括多個(gè)可選擇的預(yù)定義簡(jiǎn)檔。
20.如權(quán)利要求12所述的系統(tǒng)，其中該系統(tǒng)監(jiān)視用戶的使用習(xí)慣并根據(jù)這些習(xí)慣修改簡(jiǎn)檔(160)。
全文摘要
提供了一種信息檢索系統(tǒng)和方法。為了確定這些內(nèi)容是否與預(yù)定義的用戶簡(jiǎn)檔匹配，對(duì)來(lái)自各種信息源，如電視、無(wú)線電和/或互聯(lián)網(wǎng)，的內(nèi)容進(jìn)行分析，其中用戶簡(jiǎn)檔對(duì)應(yīng)于手動(dòng)或自動(dòng)創(chuàng)建的個(gè)性化信息源。然后，個(gè)性化信息源自動(dòng)創(chuàng)建以允許訪問(wèn)音頻、視頻和/或文本形式的信息。以這種方式，可搜索的媒體內(nèi)容范圍縮小到只有那些用戶感興趣的節(jié)目。信息檢索可以通過(guò)PDA、無(wú)線電、計(jì)算機(jī)、MP3播放器、電視等來(lái)實(shí)現(xiàn)。因此，媒體內(nèi)容源的范圍縮小到個(gè)性化組。
文檔編號(hào)G06F17/30GK1585947SQ02822416
公開(kāi)日2005年2月23日 申請(qǐng)日期2002年10月22日 優(yōu)先權(quán)日2001年11月13日
發(fā)明者T·F·M·麥吉, J·Z·茲梅曼, 李東舸 申請(qǐng)人:皇家飛利浦電子股份有限公司