專利名稱：用于鏈接多媒體內(nèi)容的多模態(tài)報(bào)道分段的方法和設(shè)備的制作方法
背景技術(shù)：
1.發(fā)明領(lǐng)域本發(fā)明通常涉及多媒體數(shù)據(jù)流的分段，尤其涉及用于按內(nèi)容對(duì)多媒體數(shù)據(jù)流進(jìn)行分段的技術(shù)。
2.相關(guān)技術(shù)描述個(gè)人錄像機(jī)(PVR)能被編程來選擇性地記錄與用戶選定的話題或報(bào)道相關(guān)的多媒體。正如在下文中被使用的，“報(bào)道(story)”是一個(gè)主題的數(shù)據(jù)集合。報(bào)道的例子有一則新聞、影片或電視節(jié)目中的一個(gè)子情節(jié)以及一個(gè)特定運(yùn)動(dòng)技術(shù)的尺數(shù)(footage)。PVR可以被編程來搜索與一個(gè)特定話題、主題或題目相關(guān)的報(bào)道的實(shí)況廣播或記錄的材料。因此，例如，題目可能是阿拉斯加的石油鉆探，那個(gè)題目中的兩個(gè)報(bào)道是阿拉斯加州的石油鉆探的經(jīng)濟(jì)狀況以及阿拉斯加州的石油鉆探的政治含意。PVR向希望查看有關(guān)阿拉斯加州的石油鉆探資料的用戶呈現(xiàn)一個(gè)選擇選擇播放這兩個(gè)報(bào)道或者這兩個(gè)報(bào)道中的一個(gè)。
多媒體通常被格式化為多種模態(tài)，例如音頻、視頻和文本(或者“可聽的”、“可視的”和“文本的”)。例如，電視節(jié)目的廣播或記錄通常被格式化為至少一個(gè)音頻流和一個(gè)視頻流，并且常常也同樣被格式化為例如閉路字幕流之類的文本流。
檢測(cè)一個(gè)報(bào)道的開始和結(jié)束點(diǎn)不是一個(gè)簡(jiǎn)單的過程。一個(gè)特定報(bào)道的內(nèi)容可能整體地存在或者可以非整體地存在，因?yàn)?，例如?bào)道可能在顯示中被廣告節(jié)目或者被插入的話題所打斷。而且，在任何給定時(shí)間點(diǎn)，可能不出現(xiàn)所述模態(tài)的一種或者多種。例如，閉路字幕的文本可能不出現(xiàn)，或者如果出現(xiàn)，卻因?yàn)樵诂F(xiàn)場(chǎng)表演情況下(例如閉路字幕由于這些事件的實(shí)時(shí)轉(zhuǎn)錄)而無法領(lǐng)會(huì)。如果轉(zhuǎn)寫沒跟上現(xiàn)場(chǎng)廣播，則在閉路字幕中出現(xiàn)膺象。實(shí)際上，對(duì)于一部分分段，音頻例如在有視頻但是沒有敘述的一個(gè)自然節(jié)目中可能根本不出現(xiàn)。然而，那個(gè)分段例如可能表示熊的攝食習(xí)慣，并且可能被PVR搜索與熊相關(guān)的或者與動(dòng)物攝食習(xí)慣相關(guān)的資料遺漏。在一個(gè)報(bào)道的檢測(cè)中的另外一個(gè)考慮是一個(gè)或多個(gè)模態(tài)可能比根據(jù)報(bào)道特性來檢測(cè)一個(gè)特定報(bào)道的其他手段更可靠。
報(bào)道檢測(cè)的現(xiàn)有技術(shù)方法依賴于只與文本或音頻模態(tài)嚙合的技術(shù)，或者，可替代地，與多媒體中可用的模態(tài)嚙合的技術(shù)。在Dimitrova，N的EP 0 966 717 A2和EP1 057 129 A1“MultimediaComputer System With Story Segmentation Capability And OperatingProgram Therefor”(具有報(bào)道分段能力的多媒體計(jì)算機(jī)系統(tǒng)及其操作程序)中討論了報(bào)道分段。多媒體信息的基于內(nèi)容的記錄和選擇在標(biāo)題為“Method and Apparatus for Audio/Data/Visual InformationSelection”(音頻/數(shù)據(jù)/可視信息選擇的方法和設(shè)備)的美國專利申請(qǐng)?zhí)朜o.09/442,960中被描述。
Ahmad等人(“Ahamad”)的美國專利號(hào)No.6,253,507的公開內(nèi)容在此通過參考結(jié)合，如果它可用，則它依賴于文本作為確定報(bào)道分界中的主要因子?？墒?，有時(shí)其它模態(tài)在提供可用于檢測(cè)具體報(bào)道的線索上更可靠。在決定哪些模態(tài)在報(bào)道檢測(cè)中占優(yōu)勢(shì)或者決定它們被給予的優(yōu)先權(quán)時(shí)，最好考慮要被檢測(cè)的報(bào)道的特性。

發(fā)明內(nèi)容
本發(fā)明是針對(duì)一種用于識(shí)別多媒體數(shù)據(jù)中感興趣的預(yù)定義報(bào)道(主題數(shù)據(jù)收集)的設(shè)備及其相應(yīng)方法和程序。多媒體數(shù)據(jù)通常包括音頻、視頻或文本元素流或者例如在閉路字幕的電視廣播中的那些類型的元素的組合。已識(shí)別的報(bào)道在數(shù)據(jù)結(jié)構(gòu)中被標(biāo)注索引并被記錄在一個(gè)數(shù)據(jù)庫中以供用戶將來的檢索和觀看。用戶例如可以操作顯示設(shè)備上的一個(gè)菜單屏幕來選擇感興趣的報(bào)道類型，比如有關(guān)南美的新聞段、棒球比賽、發(fā)生以一個(gè)已知設(shè)置中的特定電視連續(xù)劇中的子情節(jié)。用戶能夠把本發(fā)明設(shè)置為記錄選定的報(bào)道并在后來的一個(gè)時(shí)刻返回去搜索已被保存并可用于觀看的報(bào)道的數(shù)據(jù)結(jié)構(gòu)。有利地，可以只根據(jù)多媒體流中的音頻、視頻或文本部分中的一個(gè)來檢測(cè)報(bào)道。因此，例如，如果在一個(gè)記錄片期間，在一個(gè)時(shí)間段上講解員沉默，雖然如此，但如果視頻內(nèi)容包括與感興趣報(bào)道相關(guān)聯(lián)的可識(shí)別特征，則仍然可以根據(jù)記錄的視頻來檢測(cè)一個(gè)報(bào)道。而且，本發(fā)明在識(shí)別多媒體數(shù)據(jù)中的報(bào)道的過程中，使用感興趣報(bào)道的已知特性來確定賦予音頻、視頻和文本的優(yōu)先權(quán)。結(jié)果，本發(fā)明比用于檢測(cè)報(bào)道的現(xiàn)有技術(shù)更有效。而且，本發(fā)明根據(jù)時(shí)間間隔的相交和/或聯(lián)合(union)使用低開銷技術(shù)更有效地分段報(bào)道。
本發(fā)明的方法包括一個(gè)準(zhǔn)備階段，用于形成檢測(cè)感興趣報(bào)道的“時(shí)間規(guī)則”；一個(gè)操作階段，用于通過把時(shí)間規(guī)則施加到一個(gè)多媒體數(shù)據(jù)來檢測(cè)一個(gè)感興趣報(bào)道，其中所述報(bào)道要從所述多媒體數(shù)據(jù)中被檢測(cè)。
在準(zhǔn)備階段中，時(shí)間規(guī)則通常通過如下來導(dǎo)出1)對(duì)于音頻、視頻和文本數(shù)據(jù)類型(或者“模態(tài)”)的每一個(gè)，并且具體說，對(duì)于每個(gè)模態(tài)的每一“屬性”(例如，“顏色”是視頻的一個(gè)屬性)，識(shí)別已知包含感興趣報(bào)道的多媒體數(shù)據(jù)中同類(uniformity)的時(shí)間段；和2)根據(jù)同類的時(shí)間段導(dǎo)出時(shí)間規(guī)則。
操作階段通常需要1)對(duì)于每個(gè)模態(tài)的每個(gè)屬性，識(shí)別在要從其檢測(cè)報(bào)道的多媒體數(shù)據(jù)中同類的時(shí)間段；2)對(duì)于每個(gè)屬性，根據(jù)“時(shí)間規(guī)則”來跨過屬性(屬性之間)合并(consolidation)同類時(shí)間段的“內(nèi)部屬性”對(duì)；和3)把受到一個(gè)停止準(zhǔn)則、合并的以及未合并的同類時(shí)間段進(jìn)行歸并(merge)，從而確定多媒體數(shù)據(jù)包含感興趣報(bào)道的時(shí)間段。
本發(fā)明的其他目的和特征將從結(jié)合附圖考慮的如下的詳細(xì)說明書中變得顯而易見?？墒?，要理解，附圖完全被設(shè)計(jì)用于說明的目的而不是用于作為本發(fā)明的限制的定義，對(duì)于本發(fā)明，應(yīng)該對(duì)附加的權(quán)利要求進(jìn)行參考。還應(yīng)該理解，附圖不一定是按比例繪制，除非特別指示出，否則它們只用來概念性地說明在此描述的結(jié)構(gòu)和程序。


在附圖中，其中在多個(gè)視圖各處類似的參考數(shù)字標(biāo)識(shí)類似的或相同的元件圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例框圖；圖2是根據(jù)本發(fā)明形成同類時(shí)間段并合并這些時(shí)間段的功能圖；圖3是根據(jù)本發(fā)明的跨過屬性歸并時(shí)間段的功能圖；和圖4是根據(jù)本發(fā)明的跨過屬性歸并時(shí)間段的另一功能圖。
具體實(shí)施例方式
圖1描述了根據(jù)本發(fā)明的一個(gè)示例個(gè)人錄像機(jī)(PVR)100。PVR100有一個(gè)視頻輸入108，通過它，多媒體數(shù)據(jù)115被傳遞給一個(gè)解復(fù)器116。多媒體數(shù)據(jù)115可以發(fā)源于各種來源，例如，衛(wèi)星、地面、廣播、有線電視提供商以及互聯(lián)網(wǎng)視頻流?？梢砸灾T如MPEG-1、MPEG-2、MPEG-4之類的各種壓縮格式來編碼數(shù)據(jù)115?？商娲?，數(shù)據(jù)115可以作為未壓縮的視頻在視頻輸入108中加以接收。
多媒體數(shù)據(jù)115被傳遞給解復(fù)器116，解復(fù)器116按照模態(tài)把多媒體數(shù)據(jù)115解復(fù)成為一個(gè)音頻流118、一個(gè)視頻流120和一個(gè)文本流122。通常，流118、120和122的每一個(gè)被劃分成幀并加上時(shí)間戳。文本流122例如可以包括一個(gè)閉路字幕抄本并且被劃分開，以使每個(gè)重要的幀(也稱為“關(guān)鍵幀”或“代表幀”)包含例如一個(gè)單詞的一個(gè)或多個(gè)字母。在N.Dimitrova，T.McGee，H.Elenbaas的標(biāo)題為“Video Keyframe Extraction and FilteringA Keyframe is Nota Keyframe to Everyone”(視頻關(guān)鍵幀提取和濾波關(guān)鍵幀不是對(duì)每個(gè)人的關(guān)鍵幀)(知識(shí)和信息管理的會(huì)刊ACM會(huì)議，1997年，第113-120頁)的出版物中進(jìn)一步討論關(guān)鍵幀，所述全部公開內(nèi)容在此通過參考結(jié)合。
每一個(gè)流由具有屬性的元素或“時(shí)間部分”組成。視頻流120例如具有諸如顏色、運(yùn)動(dòng)、紋理以及形狀之類的屬性，而音頻流118具有諸如無聲、噪聲、語音、音樂等等之類的屬性。
流118、120、122被儲(chǔ)存在緩沖器124的各部分中，緩沖器124與諸如硬盤之類的大容量存儲(chǔ)設(shè)備126通信。在Elenbaas，J H、Dimitrova，N的美國專利6119123，(2000年9月12日)(也發(fā)布在EP 0 976 071A1，2000年，2月2日)的“用于使關(guān)鍵幀和Blob檢索和存儲(chǔ)最優(yōu)化的設(shè)備和方法”中討論了大容量存儲(chǔ)以及為檢索而進(jìn)行優(yōu)化的管理。
流118、120、122還經(jīng)由屬性內(nèi)同類模塊136的一個(gè)音頻端口130、一個(gè)視頻端口2132和一個(gè)文本端口134從緩沖器124各部分中被接收。用戶操作一個(gè)操作單元145的鍵盤、鼠標(biāo)等等來從菜單中選擇或者指示感興趣的報(bào)道。然后，所述選擇被傳送給模板模塊137。模板模塊137根據(jù)所述選擇向?qū)傩詢?nèi)同類模塊136發(fā)送一個(gè)屬性同類信號(hào)。屬性內(nèi)同類模塊136使用屬性同類信號(hào)來從流118、120、122中導(dǎo)出定時(shí)信息。屬性內(nèi)同類模塊然后把定時(shí)信息發(fā)送給一個(gè)屬性合并模塊144的音頻端口138、視頻端口140和文本端口142。
屬性合并模塊144接收模板模塊根據(jù)來自操作單元145的報(bào)道選擇所發(fā)送的時(shí)間規(guī)則，操作單元145包括傳統(tǒng)PVR的組件(未示出)，比如微處理器、用戶接口等等。屬性合并模塊144根據(jù)時(shí)間規(guī)則和接收到的定時(shí)信息來導(dǎo)出定時(shí)信息，并把導(dǎo)出的定時(shí)信息發(fā)送給屬性間歸并模塊152的音頻端口146、視頻端口148和文本端口150。根據(jù)所導(dǎo)出的定時(shí)信息的參數(shù)，屬性合并模塊144選擇一個(gè)“主導(dǎo)”屬性，即在后續(xù)報(bào)道檢測(cè)中占優(yōu)勢(shì)的一個(gè)屬性，并在一條線路154上把所述選擇發(fā)送給屬性間歸并模塊152。
屬性間歸并模塊152使用所述主導(dǎo)屬性選擇和經(jīng)由端口146、148、150所接收到的導(dǎo)出定時(shí)信息來導(dǎo)出進(jìn)一步的定時(shí)信息。屬性間歸并模塊152接收來自緩沖器124各部分中的流118、120、122，并導(dǎo)出由所導(dǎo)出的定時(shí)信息來劃界的流118、120、122內(nèi)容的特性。替代地或者附加地，屬性間歸并模塊152可以從屬性內(nèi)同類模塊136獲取模塊136早已導(dǎo)出內(nèi)容的特性。屬性間歸并模塊152然后通過按照內(nèi)容特性給所導(dǎo)出的定時(shí)信息編制索引來創(chuàng)建一個(gè)“報(bào)道分段”。在下面將更詳細(xì)地解釋歸并技術(shù)?？商娲?，屬性合并模塊144和屬性間歸并模塊152可以被實(shí)現(xiàn)為單個(gè)分段識(shí)別模塊。屬性間歸并模塊152把報(bào)道分段發(fā)送給一個(gè)多媒體分段鏈接模塊156。
多媒體分段鏈接模塊156把報(bào)道分段并入到數(shù)據(jù)結(jié)構(gòu)模塊158的數(shù)據(jù)結(jié)構(gòu)中，并且如果任何相關(guān)報(bào)道分段存在于數(shù)據(jù)結(jié)構(gòu)中，則把報(bào)道分段鏈接到數(shù)據(jù)結(jié)構(gòu)內(nèi)的相關(guān)報(bào)道分段。多媒體分段鏈接模塊156還把所創(chuàng)建的報(bào)道分段的定時(shí)信息發(fā)送到緩沖器124。緩沖器124然后使用定時(shí)信息來識(shí)別在它緩沖的音頻流118、視頻流120和文本流122中的報(bào)道分段，并把所識(shí)別的報(bào)道分段存儲(chǔ)到大容量存儲(chǔ)設(shè)備126中。PVR100藉此積累與用戶經(jīng)由操作單元145所選擇的一個(gè)話題語意相關(guān)的報(bào)道。
當(dāng)用戶操作操作單元145來請(qǐng)求檢索報(bào)道以便呈現(xiàn)(或“觀看”)時(shí)，操作單元145與數(shù)據(jù)結(jié)構(gòu)模塊158通信來檢索按照一個(gè)報(bào)道分段或一組相關(guān)報(bào)道分段編制索引的定時(shí)信息。操作單元145把檢索的定時(shí)信息傳送給緩沖器124。緩沖器124使用定時(shí)信息來從大容量存儲(chǔ)設(shè)備126檢索報(bào)道分段或相關(guān)分段組，并且把分段或各分段轉(zhuǎn)發(fā)到操作單元145以供后來經(jīng)由顯示屏、音頻揚(yáng)聲器和/或任何其它裝置來對(duì)用戶顯示。
圖2示出了模態(tài)流屬性的兩個(gè)時(shí)間表示的功能圖示例，例如多媒體數(shù)據(jù)115相應(yīng)音頻、視頻和文本模態(tài)的音頻流118、視頻流120或文本流122。表示200由屬性內(nèi)同類模塊136創(chuàng)建并根據(jù)由模態(tài)流中的時(shí)間戳控制的一個(gè)模態(tài)流內(nèi)的時(shí)間順序從時(shí)刻202延伸到時(shí)刻204。
音頻屬性的一個(gè)示例集為無聲、噪聲、語音、音樂、語音加噪聲、語音加語音以及語音加音樂。其它音頻屬性是音調(diào)和音色。對(duì)于視頻，該集例如可以包括顏色、運(yùn)動(dòng)(2-D和3-D)、外形(2-D和3-D)以及紋理(隨機(jī)的和結(jié)構(gòu)的)。對(duì)于文本，該集可以包括關(guān)鍵字，即選定的單詞、句子和段落。每個(gè)屬性假定一個(gè)在任何給定時(shí)刻的特定的數(shù)值。例如，噪聲屬性的值可以是一個(gè)音頻測(cè)量值，如果測(cè)量值超過一個(gè)門限值，則其指示噪聲。顏色屬性的值例如可以是一幀的輝度或亮度值的一個(gè)測(cè)量。所述值可以由多個(gè)數(shù)字組成。例如，顏色屬性值可以由單一幀的輝度直方圖的間隔(bin)計(jì)數(shù)組成。直方圖是觀測(cè)的事件的統(tǒng)計(jì)總結(jié)，由若干間隔和每個(gè)間隔的計(jì)數(shù)組成。因此，對(duì)于輝度級(jí)別1到n，輝度直方圖對(duì)于每個(gè)輝度級(jí)有一個(gè)間隔并且對(duì)于每個(gè)間隔有一個(gè)計(jì)數(shù)，所述計(jì)數(shù)表示在檢查所述幀時(shí)，例如，一個(gè)像素一個(gè)像素地檢查，那個(gè)輝度級(jí)的事件數(shù)量。如果在輝度級(jí)為“j”的幀中有“x”個(gè)像素，則值“j”的間隔將有一個(gè)“x”的計(jì)數(shù)?？商娲?，間隔計(jì)數(shù)可以表示一個(gè)數(shù)值范圍，因此“x”指示輝度數(shù)值范圍內(nèi)的像素?cái)?shù)量。輝度直方圖可以是還包括色調(diào)和/或飽和度的間隔的直方圖的一部分，以使顏色屬性值例如可以是色調(diào)或飽和度級(jí)別的間隔計(jì)數(shù)。用與一幀的一部分和例如將為其檢查一幀的各自形狀或紋理之間的匹配度相應(yīng)的數(shù)值，可以分別定義形狀和紋理屬性--雖然一個(gè)數(shù)值不需要被定義在單一幀上。關(guān)鍵字、句子和段落的文本屬性每一個(gè)例如都可以為多個(gè)幀而被定義。因此，例如，可以為一個(gè)特定單詞定義一個(gè)關(guān)鍵字屬性，或者更典型地，為單詞的一個(gè)特定詞根定義一個(gè)關(guān)鍵字屬性。因此，單詞“yard”“yards”“yardage”等等的出現(xiàn)數(shù)量能夠在一個(gè)預(yù)確定數(shù)目連續(xù)幀上被計(jì)數(shù)，或者，能夠根據(jù)一個(gè)特定的停止準(zhǔn)則來保持一個(gè)運(yùn)行的計(jì)數(shù)。
表示200和關(guān)鍵字“yard”包括它的各個(gè)后綴的文本屬性有關(guān)。已經(jīng)看到，當(dāng)一個(gè)高爾夫球手做出一個(gè)擊球(即，一個(gè)遠(yuǎn)距離揮出)時(shí)，高爾夫比賽或者錦標(biāo)賽的播音員將常常使用單詞“yard”，或者來自那個(gè)詞干的變形。要被檢測(cè)的“報(bào)道”，即感興趣的報(bào)道，就是高爾夫擊球的尺數(shù)。
表示200有“同類”或“同種”時(shí)間段206，208，210，212，214，在此期間，一個(gè)模態(tài)的屬性值滿足一個(gè)屬性同類準(zhǔn)則。在當(dāng)前示例中，屬性同類準(zhǔn)則規(guī)定以“yard”作為它的詞根的一個(gè)單詞的出現(xiàn)數(shù)量被所檢查到的時(shí)間段長(zhǎng)度除大于預(yù)定門限值。同類206的時(shí)段有一個(gè)開始時(shí)間216和一個(gè)終止時(shí)間218。在開始時(shí)間216處的幀例如包含字母“y”，而時(shí)段206內(nèi)的后續(xù)幀顯示“y”是“yard”關(guān)鍵字的第一個(gè)字母。終止時(shí)間218被確定為關(guān)鍵字出現(xiàn)與時(shí)間段長(zhǎng)度的比值不再超過門限值的那個(gè)時(shí)刻。以類似的方式確定時(shí)段208一直到214，并且在當(dāng)前實(shí)施例中，使用同一門限值來確定。
優(yōu)選地，屬性內(nèi)同類模塊136從模板模塊137中收到的屬性同類信號(hào)規(guī)定了模態(tài)、屬性、數(shù)值以及門限值。在上面的示例中，模態(tài)是文本，屬性是“關(guān)鍵字”并且數(shù)值是“yard”作為詞干的單詞數(shù)量。
雖然關(guān)鍵字屬性的一種表示被示出，但是可以改為處理或者另外處理文本模態(tài)的或者其它模態(tài)的其它屬性來產(chǎn)生各自的表示。例如，根據(jù)上述輝度直方圖來估價(jià)的顏色屬性的一種表示可以通過屬性同類準(zhǔn)則來定義，所述屬性同類準(zhǔn)則檢查每個(gè)連續(xù)幀的輝度直方圖，并且繼續(xù)在同類時(shí)段中包括每個(gè)被檢查幀，直到在兩個(gè)連續(xù)直方圖各數(shù)值之間的距離測(cè)量大于預(yù)定門限值為止。可以使用各種距離測(cè)量，例如L1，L2，直方圖相交、Chi-平方、逐間隔直方圖相交，其在N.Dimitrova，J.Martino，L.Agnihotri、H.Elenbaas的“Superhistograms for videorepresentation”(視頻表示的超級(jí)直方圖)(IEEE ICIP，1999年，日本，神戶)中所描述。檢測(cè)同類的直方圖技術(shù)在文獻(xiàn)中是已知的。例如參見Martino，J；Dimitrova，N；Elenbaas，J H；Rutgers，J的EP1 038 269A1“A Histogram Method For Characterizing VideoContent”(一種表示視頻內(nèi)容特色的直方圖方法)。
可替代地，可以不用屬性同類信號(hào)而用屬性內(nèi)同類模塊136來實(shí)現(xiàn)PVR100，所述屬性內(nèi)同類模塊136為與要被檢測(cè)的報(bào)道無關(guān)的一個(gè)預(yù)確定屬性組以及各數(shù)值和門限值而搜索同類時(shí)段。在一種技術(shù)中，多媒體流115的每個(gè)代表幀對(duì)于預(yù)確定組中的每個(gè)屬性有一個(gè)數(shù)值。當(dāng)視頻在時(shí)間上穿過時(shí)，所述數(shù)值被監(jiān)視，并且只要連續(xù)幀的數(shù)值之間的差值停留在一個(gè)預(yù)確定范圍內(nèi)，則一個(gè)同類時(shí)段就存在。當(dāng)一個(gè)同類時(shí)段終止時(shí)，一個(gè)新的同類時(shí)段開始，不過持續(xù)時(shí)間低于給定限值的那些同類時(shí)段被消除。在另一技術(shù)中，幀的數(shù)值不與以前的幀相比，而是與已經(jīng)包括在同類時(shí)段中的幀的值的平均值相比。類似地，需要一個(gè)最小持續(xù)時(shí)間來保持一個(gè)同類時(shí)段。
Ahmad(美國專利No.6,253,507)討論了音樂識(shí)別方法，從而諸如介紹一個(gè)特定廣播電視節(jié)目之類的一個(gè)有特色的音樂題目可以用于識(shí)別音頻中的“中斷”。在本發(fā)明的環(huán)境中，題目或部分題目將是音樂屬性的一個(gè)“子屬性”。例如，題目屬性的數(shù)值可以是音頻流118的內(nèi)容和要被檢測(cè)的題目或題目部分之間的相似性測(cè)量。用于識(shí)別音頻中的同類時(shí)段的其他技術(shù)基于暫停識(shí)別、語音識(shí)別和單詞識(shí)別方法而是可實(shí)施的。本發(fā)明者對(duì)于把連續(xù)的音頻數(shù)據(jù)分段并分類成為七個(gè)類別的問題已經(jīng)研究了總數(shù)為143個(gè)的分類特征。使用于系統(tǒng)中的七個(gè)音頻類別包括無聲、單個(gè)講話者語音、音樂、環(huán)境噪聲、多個(gè)講話者語音、同步語音和音樂、以及語音和噪聲。
本發(fā)明者已經(jīng)使用工具用于提取六個(gè)組的聽覺特征，包括MFCC、LPC、delta MFCC、delta LPC、自動(dòng)相關(guān)MFCC和一些時(shí)間和頻譜特征。為這些特征所采用的定義或算法在Dongge LiD.Li、I.K.Sethi、N.Dimitrova和T.McGee的論文“Classification of GeneralAudio Data for Content-Based Retrieval，Pattern RecognitionLetters”(基于內(nèi)容檢索、模式識(shí)別字母的常規(guī)音頻數(shù)據(jù)分類)(2001年，第22卷，第533-544頁)中給出。
正如在音樂屬性和一個(gè)具體題目屬性的上述情況中一樣，某些屬性可以具有一個(gè)與其它屬性的分層關(guān)系。例如，視頻屬性“顏色”可用于檢測(cè)輝度級(jí)相對(duì)固定的同類時(shí)段?？墒牵邦伾笨梢杂幸粋€(gè)“子屬性”，比如“綠色”，它被用來檢測(cè)或識(shí)別視頻流120的可視內(nèi)容為綠色(即，光頻率十分接近于綠色的頻率)的同類時(shí)段。
屬性同類的另一示例是提取包含諸如新聞名字板、節(jié)目標(biāo)題、開始和結(jié)束片頭字幕之類的疊加視頻文本的所有視頻分段。電視圖文提取的解釋在如下文獻(xiàn)中給出MPEG-7 VideoText Description Schemefor Superimposed Text.N.Dimitrova，L.Agnihotri，C.Dorai，R Bolle，(重疊文本的MPEG-7視頻文本說明方案)(國際信號(hào)處理和圖像通信期刊，2000年9月，第16卷，No.1-2，第137-155頁(2000))。
為了識(shí)別同類時(shí)段，屬性合并模塊144施加來自模板模塊137的時(shí)間規(guī)則，以便把被識(shí)別的同類時(shí)間段對(duì)合并成為單一的同類時(shí)間段或者“報(bào)道屬性時(shí)間間隔”。所述時(shí)間規(guī)則在對(duì)多媒體流115執(zhí)行報(bào)道檢測(cè)之前形成，并且可以是靜態(tài)(固定)或動(dòng)態(tài)的(隨著新的實(shí)驗(yàn)數(shù)據(jù)而變化)。在準(zhǔn)備階段形成時(shí)間規(guī)則時(shí)，在已知包含要被檢測(cè)的報(bào)道的多個(gè)視頻序列中識(shí)別同類時(shí)段。優(yōu)選地，在準(zhǔn)備階段期間，象上面討論的操作階段的替換實(shí)施例中那樣形成同類時(shí)段。也就是說，當(dāng)一個(gè)同類時(shí)段結(jié)束時(shí)，下一個(gè)同類時(shí)段開始，服從最小持續(xù)時(shí)間需求。各種視頻序列的同類時(shí)段被檢查，以便檢測(cè)任何重現(xiàn)的時(shí)間模式，即，要被檢測(cè)的報(bào)道的模式特性。根據(jù)檢測(cè)到的重現(xiàn)時(shí)間模式來導(dǎo)出所述時(shí)間規(guī)則。通常，在形成時(shí)間規(guī)則中有其它另外的考慮，例如，已知在要被檢測(cè)的報(bào)道的顯示期間播放的、并且已知總持續(xù)時(shí)間的一系列廣告節(jié)目，可以分開有類似數(shù)值的兩個(gè)同類時(shí)段。在操作階段，合計(jì)基于時(shí)間規(guī)則的合并，以便識(shí)別兩個(gè)時(shí)間間隔指示(雖然不確定地)要被檢測(cè)的報(bào)道。然而，一個(gè)非合并同類時(shí)段可以指示要被檢測(cè)的報(bào)道。例如，在一個(gè)晴天，高爾夫擊球尺數(shù)可以有一個(gè)幾乎純天藍(lán)色視頻的不間斷的、連續(xù)的搖攝，導(dǎo)致不被合并的同類時(shí)段。
對(duì)于在目前示例中的關(guān)鍵字屬性，時(shí)間規(guī)則命令，在形成一個(gè)報(bào)道屬性時(shí)間間隔中，兩個(gè)連續(xù)的同類時(shí)段(正如上面討論的，基于“yard”的出現(xiàn)頻率所形成)相互聚集--如果它們之間的時(shí)間距離低于一個(gè)預(yù)定門限值的話。在目前示例中，根據(jù)時(shí)間規(guī)則，時(shí)段206和208沒有被相互合并，但是時(shí)段208、210和212被相互合并，來在表示230中形成在時(shí)間上跨過時(shí)段208、210、212的一個(gè)報(bào)道屬性時(shí)間間隔234。類似地，根據(jù)時(shí)間規(guī)則，同類時(shí)段214和212沒有被相互合并。作為替代，在表示230中，形成一個(gè)報(bào)道屬性時(shí)間間隔236來臨時(shí)與同類時(shí)段214相一致，并且，類似地，形成一個(gè)報(bào)道屬性時(shí)間間隔232來臨時(shí)與同類時(shí)段206相一致。
雖然已經(jīng)把屬性合并模塊144示范為合并一個(gè)屬性的相同數(shù)值的同類時(shí)段，但是同一屬性的不同數(shù)值的時(shí)段也可以被相互合并。因此，例如，屬性內(nèi)同類模塊可以為一個(gè)關(guān)鍵字的兩個(gè)數(shù)值的每一個(gè)確定各自同類時(shí)段，例如“yard”的出現(xiàn)數(shù)量以及“shot”的出現(xiàn)數(shù)量。也已經(jīng)觀測(cè)到單詞“shot”由播報(bào)高爾夫擊球的播音員說出，特別是與單詞“yard”關(guān)聯(lián)。例如，如果同類時(shí)段210代替關(guān)鍵字“yard”而表示關(guān)鍵字“shot”，則由屬性合并模塊144使用來確定是否合并的時(shí)間規(guī)則將基于所述關(guān)鍵字的兩個(gè)數(shù)值。因此，屬性合并模塊144可以如同以前一樣塊定合并時(shí)段208、210、212，來產(chǎn)生報(bào)道屬性時(shí)間間隔234。
屬性合并模塊144不被限制為同一屬性中的時(shí)段；作為替換，不同屬性內(nèi)的時(shí)段可以被合并到一個(gè)報(bào)道屬性時(shí)間間隔中。例如，文本流122是廣播器嵌入的一個(gè)閉路字幕文本。電視新聞中的閉路字幕文本有時(shí)包括指定報(bào)道邊界的標(biāo)志?？墒?，在檢測(cè)報(bào)道的過程中，也不能夠總是依賴閉路字幕文本，因?yàn)殚]路字幕有時(shí)也改為包括諸如段落邊界之類的報(bào)道邊界的較不可靠標(biāo)記，廣告的開始和結(jié)束，以及播音員的改變。播音員的改變例如可能發(fā)生在單一報(bào)道的場(chǎng)景內(nèi)而不是指示在各個(gè)報(bào)道之間的一個(gè)轉(zhuǎn)變。閉路字幕使用作為諸如“>>>”之類的定界符字符，作為在描述話題改變的多媒體流部分之間的邊界標(biāo)記。不管閉路字幕是否定界報(bào)道邊界或其它種類的邊界，如果文本流122包含閉路字幕，則屬性內(nèi)同類模塊136識(shí)別閉路字幕屬性中的同類時(shí)段，在此時(shí)段內(nèi)連續(xù)幀包含閉路字幕定界符。閉路字幕屬性的數(shù)值可以是檢測(cè)到的連續(xù)的閉路字幕標(biāo)志元素?cái)?shù)目，使得例如，三個(gè)連續(xù)的“>”標(biāo)志元素滿足三個(gè)標(biāo)志元素的一個(gè)屬性同類門限值，并因此定義一個(gè)同類時(shí)段。優(yōu)選地，對(duì)于特定關(guān)鍵字值(組)，在定界符之間中的文本流部分也被屬性內(nèi)同類模塊136處理，并且還對(duì)于所述特定關(guān)鍵字(組)形成同類時(shí)段。關(guān)鍵字(組)可以是例如已知來開始和結(jié)束要被檢測(cè)的報(bào)道的單詞。模板模塊137向?qū)傩院喜⒛K144發(fā)送時(shí)間規(guī)則，所述時(shí)間規(guī)則在確定報(bào)道屬性時(shí)間間隔中被施加到同類的閉路字幕和關(guān)鍵字時(shí)段。如果成幀閉路字幕標(biāo)記被認(rèn)為定義要被檢測(cè)的報(bào)道，則時(shí)間規(guī)則根據(jù)要被檢測(cè)的報(bào)道的特性可以例如規(guī)定在一個(gè)閉路字幕同類時(shí)段和一個(gè)必須存在的特定關(guān)鍵字的同類時(shí)段之間的時(shí)間跨度。例如，如果特定經(jīng)濟(jì)報(bào)告的新聞節(jié)目主持人通常使用已知單詞或短語來開始或結(jié)束報(bào)告，則該單詞或短語的一次或多次出現(xiàn)能夠被檢測(cè)為一個(gè)同類時(shí)段。在同類時(shí)段和同類的閉路字幕時(shí)段之間的時(shí)間跨度可以與一個(gè)預(yù)定門限值比較，以便確定成幀閉路字幕時(shí)段是否定義所述特定經(jīng)濟(jì)報(bào)告。作為選擇，廣告節(jié)目可以被檢測(cè)，定界廣告節(jié)目的指針可以在同類時(shí)段中被保持，以使在觀看感興趣報(bào)道時(shí)跳過廣告節(jié)目。檢測(cè)廣告節(jié)目在本領(lǐng)域是已知的。一種介紹插入字幕例如可以是“在這些消息之后我們?cè)僖姟！睂傩院喜⒛K144有另外的功能應(yīng)用時(shí)間規(guī)則來選擇一個(gè)主導(dǎo)屬性。選擇是基于一個(gè)門限值和一個(gè)同類時(shí)段參數(shù)之間的一個(gè)比較，并且可以用于重載主導(dǎo)屬性的缺省選擇。
如果多媒體數(shù)據(jù)115包括一個(gè)文本流122，則文本流122的屬性通常最初作為缺省被賦予主導(dǎo)性，因?yàn)橐呀?jīng)看到，與依賴于其他模態(tài)相比，報(bào)道檢測(cè)通常更多依賴于文本。
可是，正如上面討論的，不能總是依賴文本屬性，其它模態(tài)屬性可能更可靠。例如，可以根據(jù)一個(gè)特定的關(guān)鍵字來形成一個(gè)文本屬性的同類時(shí)段。返回到圖2，時(shí)間規(guī)則集中在同類時(shí)段的具體參數(shù)上，比如開始時(shí)間和終止時(shí)間和/或時(shí)段的長(zhǎng)度之類的。例如可能需要在一個(gè)時(shí)段的終止時(shí)間和后續(xù)的相鄰時(shí)段的開始時(shí)間之間的時(shí)間間隙處在一個(gè)預(yù)定門限值之內(nèi)，以便把各自同類時(shí)段合并起來。除合并之外，時(shí)間規(guī)則在評(píng)估作為檢測(cè)感興趣報(bào)道基礎(chǔ)中的一個(gè)給定屬性的報(bào)道屬性時(shí)間間隔的可靠性中還被加以使用。如果合并到單個(gè)同類時(shí)間段的時(shí)段數(shù)量超過一個(gè)根據(jù)實(shí)驗(yàn)數(shù)據(jù)而預(yù)先確定的限值，則這可能表示關(guān)鍵字屬性對(duì)于檢測(cè)報(bào)道相對(duì)不可靠。優(yōu)選地，屬性間歸并模塊152向關(guān)鍵字屬性分配一個(gè)同量的“可靠性測(cè)量”。另一方面，視頻流120的“遙攝”屬性可以展現(xiàn)表示高爾夫擊球尺數(shù)(雖然不是決定性的)的有特色的并且可預(yù)測(cè)的同類時(shí)段。遙攝是攝像機(jī)的一種水平掃描，使得一系列幀例如將表示通過水平掃描的尺數(shù)。同類時(shí)段被定義為搖攝屬性“開啟”期間的時(shí)段。如果要從其檢測(cè)報(bào)道的多媒體數(shù)據(jù)的較少同類時(shí)段處于低于預(yù)定義門限值的相互接近度之內(nèi)，則用于“搖攝”屬性的時(shí)間規(guī)則例如可以給予“搖攝”屬性更多可靠性。推理是攝像機(jī)在跟隨在高爾夫擊球中被擊打的高爾夫球的飛行中連續(xù)搖攝并且搖攝通常不被其他搖攝馬上跟隨。因此，基于歸于關(guān)鍵字和搖攝屬性的相對(duì)的可靠性測(cè)量，搖攝屬性可以被認(rèn)為是主導(dǎo)屬性，從而重載關(guān)鍵字屬性的缺省主導(dǎo)性。在當(dāng)前示例中，“搖攝”是一個(gè)屬性，該屬性假定一個(gè)表示水平運(yùn)動(dòng)的數(shù)值。該數(shù)值與門限值相比，以便逐幀確定遙攝是“開啟”還是“關(guān)閉”，并從而確定一個(gè)同類時(shí)段。除了“搖攝”之外，其它類型的攝像機(jī)運(yùn)動(dòng)是“固定”、“傾斜”、“懸臂”、“縮放”、“移動(dòng)攝像”以及“滾動(dòng)”。在Jeannin，S.、Jasinschi，R.、She，A.、Naveen，T.、Mory，B.和Tabatabai，A.的Motion descriptors forcontent-based video representation(基于內(nèi)容的視頻表示的運(yùn)動(dòng)描述符)(2000)中(信號(hào)處理圖像通信，第16卷，期刊1-2，第59-85頁)討論了這些不同類型的攝像機(jī)運(yùn)動(dòng)。
為一個(gè)給定報(bào)道的時(shí)間規(guī)則分配給一個(gè)屬性的可靠性測(cè)量可以從一個(gè)同類時(shí)段到下一個(gè)不同，并且可以取決于除了它的參數(shù)之外的同類時(shí)段特性。因此，例如，如果一個(gè)文本屬性具有基于關(guān)鍵字“經(jīng)濟(jì)”和“金錢”的同類時(shí)段，則時(shí)間規(guī)則可以命令文本只有在基于關(guān)鍵字“經(jīng)濟(jì)”的同類時(shí)段期間在音頻之上才是主導(dǎo)的。
圖3是根據(jù)本發(fā)明的屬性間歸并過程300的示例功能圖。表示310在時(shí)間上被劃分成報(bào)道屬性時(shí)間間隔312、314，其為搖攝屬性跨過各自的同類時(shí)段，因此在同類時(shí)段搖攝為“開啟”。時(shí)段312、314有各自開始和結(jié)束時(shí)間316，318，320，322。表示324在時(shí)間上被劃分成報(bào)道屬性時(shí)間間隔326和328，其跨過各自的同類時(shí)段，在此期間，視頻流120的顏色屬性有一個(gè)表示主要是天藍(lán)色的幀的數(shù)值。時(shí)段326、328有各自的開始和結(jié)束時(shí)間330，332，334，336。圖3也示出了來自圖2的表示230。報(bào)道屬性時(shí)間間隔232、234、236有各自的開始和結(jié)束時(shí)間338，340、342，344、346，348。表示350時(shí)間上被劃分成報(bào)道屬性時(shí)間間隔352、354，其跨過各自的同類時(shí)段，在此期間一個(gè)“鼓掌”屬性(噪聲屬性的一個(gè)子屬性)有一個(gè)給定范圍中的數(shù)值。鼓掌識(shí)別在本領(lǐng)域中是已知的并且例如在Ichimura的美國專利No.6,188,831中被描述。同類時(shí)段352、354有各自的開始和結(jié)束時(shí)間356，358、360，362。
在當(dāng)前示例中，“搖攝”屬性有一個(gè)可靠性測(cè)量，所述可靠性測(cè)量超過其他屬性的可靠性測(cè)量，這足夠使“搖攝”屬性成為主導(dǎo)的。因此，搖攝屬性的表示在頂部被示出。可替代地，對(duì)于特定報(bào)道，比如高爾夫擊球尺數(shù)，搖攝屬性可以被預(yù)定義為主導(dǎo)的。優(yōu)選地，正如在當(dāng)前示例中，其它屬性表明基于它們各自的可靠性測(cè)量而被排序，顏色屬性其次，關(guān)鍵字屬性第三等等。一個(gè)更高的可靠性測(cè)量在排序中不確保優(yōu)先。因此，可能要求噪聲表示350有這樣一個(gè)可靠性測(cè)量，所述可靠性測(cè)量超過顏色表示230的可靠性測(cè)量一個(gè)給定門限值，以便噪聲表示350優(yōu)于顏色表示230。可替代地，可以在PVR100中預(yù)先指定排序，并且作為選擇，排序可由用戶操作操作單元145來選擇。
表示364在時(shí)間上定義了根據(jù)一個(gè)主導(dǎo)屬性所確定的一個(gè)報(bào)道屬性時(shí)間間隔與根據(jù)另一相應(yīng)屬性所確定的至少一個(gè)其他報(bào)道屬性時(shí)間間隔的一個(gè)累積屬性間聯(lián)合。根據(jù)主導(dǎo)屬性所確定的報(bào)道屬性時(shí)間間隔是時(shí)間間隔312。根據(jù)另一報(bào)道屬性時(shí)間間隔所確定的報(bào)道屬性時(shí)間間隔是時(shí)間間隔326。一個(gè)累積屬性間聯(lián)合最初包括根據(jù)主導(dǎo)屬性所確定的一個(gè)報(bào)道屬性時(shí)間間隔，并且在當(dāng)前示例中，最初包括時(shí)間間隔312。要被包括在該累積屬性間聯(lián)合內(nèi)的下一個(gè)時(shí)間間隔是時(shí)間間隔326，因?yàn)闀r(shí)間間隔326是在表示的排序中的下一個(gè)并且因?yàn)闀r(shí)間間隔326與已經(jīng)累積的一個(gè)時(shí)間間隔，即時(shí)間間隔312至少部分地相交。因此，在累積屬性間聯(lián)合中的包涵至少部分地取決于與已經(jīng)包括在所述聯(lián)合內(nèi)的一個(gè)時(shí)間間隔的交點(diǎn)。因?yàn)橄嗤脑?，即時(shí)間間隔326被包括在累積屬性間聯(lián)合中，所以時(shí)間間隔314、328也被包括在累積屬性間聯(lián)合中。在這一點(diǎn)上，在累積中，所述聯(lián)合的開始和結(jié)束時(shí)間由時(shí)間330，318、334，322來定義。
繼續(xù)進(jìn)行排序中的下一個(gè)表示，表示230，報(bào)道屬性時(shí)間間隔232、234、236被包括在累積屬性間聯(lián)合內(nèi)。所述聯(lián)合的開始和結(jié)束時(shí)間現(xiàn)在由時(shí)間3 38，344、334，322來定義。
接下來，在表示350中，報(bào)道屬性時(shí)間間隔352被包括在累積屬性間聯(lián)合中，因?yàn)樗跁r(shí)間上與已經(jīng)包括在所述聯(lián)合中的一個(gè)報(bào)道屬性時(shí)間間隔(即間隔234)至少部分地相交?？墒?，報(bào)道屬性時(shí)間間隔354未被包括在累積屬性間聯(lián)合中，因?yàn)殚g隔354根本未與已經(jīng)包括在所述聯(lián)合內(nèi)的任何報(bào)道屬性時(shí)間間隔相交。因此，所述聯(lián)合的開始和結(jié)束時(shí)間現(xiàn)在由時(shí)間338，358、334，322來定義。這些時(shí)間被示出在表示364中，在此，類似參考數(shù)字從以前的表示中被取下。根據(jù)在這個(gè)示例中所施加的停止準(zhǔn)則，在這個(gè)點(diǎn)，即在表示350的歸并之后，停止歸并。正如將在下面看到的，其它停止準(zhǔn)則也是可能的。表示364是定義兩個(gè)報(bào)道分段時(shí)間間隔366、36g的一個(gè)累積屬性間聯(lián)合。兩個(gè)報(bào)道分段時(shí)間間隔366、368被認(rèn)為定界分開的報(bào)道，因?yàn)樗鼈儠r(shí)間上互斥。閉路字幕轉(zhuǎn)錄常常跟蹤相應(yīng)的音頻與視頻，其一般在時(shí)間上更加相互同步。因此，在屬性間歸并之前，根據(jù)閉路字幕屬性所確定的報(bào)道屬性時(shí)間間隔可選擇地在時(shí)間上移到一個(gè)早先的時(shí)間，以便補(bǔ)償閉路字幕文本中的延遲。把閉路字幕文本與其它模態(tài)對(duì)準(zhǔn)的技術(shù)在Ahmad的美國專利No.6,263,507中以及在Witteman的美國專利No.6,243,676中被討論。
在一個(gè)替換實(shí)施例中，只有當(dāng)報(bào)道分段與根據(jù)主導(dǎo)屬性所確定的報(bào)道屬性時(shí)間間隔的時(shí)間交點(diǎn)是根據(jù)主導(dǎo)屬性所確定的報(bào)道屬性時(shí)間間隔的長(zhǎng)度的至少一個(gè)預(yù)確定比值時(shí)，該報(bào)道分段被包括在累積屬性間聯(lián)合中。例如，對(duì)于一個(gè)50％的比值，間隔326時(shí)間上與間隔312相交間隔312長(zhǎng)度的至少50％，并因此被包括在累積屬性間聯(lián)合中。類似地，間隔328時(shí)間上與間隔314相交間隔314長(zhǎng)度的至少50％，并也被包括在累積屬性間聯(lián)合中。因此，在累積中的這一點(diǎn)上，所述聯(lián)合由時(shí)間330、318、334、322來定界。間隔232、234、236中沒有一個(gè)分別與間隔312、314相交間隔312、314長(zhǎng)度的至少50％，并因此未被包括在累積屬性間聯(lián)合內(nèi)。對(duì)于同樣地未被包括在累積屬性間聯(lián)合內(nèi)的間隔352、354也是同樣。因此，所述聯(lián)合的開始和結(jié)束時(shí)間現(xiàn)在由時(shí)間330，318、320，322來定義，并且停止準(zhǔn)則在這一點(diǎn)停止歸并。這些時(shí)間被示出在表示370中，在此，類似參考數(shù)字從以前的表示中被取下。表示370是定義兩個(gè)報(bào)道分段時(shí)間間隔372、374的一個(gè)累積屬性間聯(lián)合。兩個(gè)報(bào)道分段時(shí)間間隔372、374被認(rèn)為定界分開的報(bào)道，因?yàn)樗鼈冊(cè)跁r(shí)間上互斥。
圖4是一個(gè)屬性間歸并過程400的示例功能圖，其示范了在進(jìn)行歸并之前形成兩個(gè)屬性的報(bào)道屬性時(shí)間間隔的聯(lián)合的選擇。(這個(gè)屬性間“聯(lián)合”與屬性間“合并”不同，就像早先在“閉路字幕”和“關(guān)鍵字”屬性之間所示出的一樣。時(shí)間上唯一的時(shí)間間隔的聯(lián)合例如與那些時(shí)間間隔的“合并”不同，它產(chǎn)生跨過兩個(gè)在時(shí)間上唯一的時(shí)間間隔的一個(gè)時(shí)間間隔。)對(duì)于與早已在圖3中示出的結(jié)構(gòu)相關(guān)聯(lián)的那些保留參考數(shù)字。表示410包含報(bào)道屬性時(shí)間間隔412、414，它們分別是報(bào)道屬性時(shí)間間隔312、330以及報(bào)道屬性時(shí)間間隔314、328的各自的聯(lián)合。屬性間歸并模塊152在開始圖3中說明的歸并過程之前產(chǎn)生聯(lián)合412和414。報(bào)道屬性時(shí)間間隔412、414兩個(gè)都基于主導(dǎo)屬性，即“搖攝”而被確定(并且也基于一個(gè)非主導(dǎo)屬性，即“顏色”而被確定)。表示230和350也出現(xiàn)在圖3中并且相應(yīng)于文本屬性“關(guān)鍵字”和音頻屬性“噪聲”。
圖4中，表示364包含也在圖3中示出的報(bào)道屬性時(shí)間間隔的兩個(gè)累積屬性間聯(lián)合366、368。在形成聯(lián)合366、368中，該過程繼續(xù)在圖3中執(zhí)行的相同過程。與已經(jīng)包括在累積屬性間聯(lián)合中的一個(gè)報(bào)道屬性時(shí)間間隔至少部分相交的在表示410、230、350中的報(bào)道屬性時(shí)間間隔被累積。
正好發(fā)生由“至少局部交點(diǎn)方法”引起的圖4中的報(bào)道分段時(shí)間間隔366、368(其示出預(yù)先結(jié)合的搖攝和顏色屬性)與圖3中的相同方法所形成的報(bào)道分段時(shí)間間隔366、368(搖攝和顏色屬性分開的)相同。
類似地，使用“至少一個(gè)預(yù)確定比值方法的相交”來歸并表示正好產(chǎn)生圖4中的一個(gè)報(bào)道分段時(shí)間間隔372(預(yù)先結(jié)合的搖攝和顏色屬性)，其與圖3中由歸并過程產(chǎn)生的同一間隔(搖攝和顏色屬性分開的)相同。
可是，“至少一個(gè)預(yù)確定比值方法的相交”，通過產(chǎn)生圖4中的報(bào)道分段時(shí)間間隔368(預(yù)先結(jié)合的搖攝和顏色屬性)產(chǎn)生一個(gè)不同的結(jié)果，然而該方法產(chǎn)生圖3中的報(bào)道分段時(shí)間間隔374(搖攝和顏色屬性分開的)。各自的結(jié)果中的區(qū)別是由于間隔328時(shí)間上相交間隔314使得它們?cè)趫D4中被預(yù)先結(jié)合，而間隔328被從圖3中的累積屬性間聯(lián)合中排除，因?yàn)樗鼪]有與間隔314相交間隔314長(zhǎng)度的50％。
“至少局部交點(diǎn)方法”的一種變形包括通過所述表示產(chǎn)生多個(gè)傳遞，而不是產(chǎn)生單個(gè)傳遞，來回地進(jìn)行所述傳遞。也就是說，按照上面的示范方法做出一個(gè)向下傳遞，并且后面跟著一個(gè)向上的傳遞，所述向上的傳遞在累積屬性間聯(lián)合中包括現(xiàn)在在向上傳遞中與早已被累積的一個(gè)報(bào)道屬性時(shí)間間隔至少部分相交的任何另外的報(bào)道屬性時(shí)間間隔。例如，對(duì)于第一傳遞，主導(dǎo)性可以按照文本、音頻與視頻的次序加以分配，以使按照與文本、然后音頻、然后視頻相應(yīng)的一個(gè)向下的次序發(fā)生歸并。歸并的第二傳遞按照與視頻、然后音頻然后文本相應(yīng)的相反的次序發(fā)生。因此，奇數(shù)編號(hào)的傳遞按照與第一傳遞相同的次序歸并，而偶數(shù)編號(hào)的傳遞按照與第二傳遞相同的次序歸并。傳遞數(shù)按照停止準(zhǔn)則加以確定。
作為選擇，屬性的主動(dòng)性以及它們被歸并的相應(yīng)次序可以隨傳遞的不同而改變。因此，在上面段落中引用的示例中，例如，第二傳遞可以按照音頻、然后文本、然后視頻的次序來歸并。在第二傳遞或者一個(gè)后續(xù)傳遞中被分配給屬性的主導(dǎo)性以經(jīng)驗(yàn)為主地按照視頻節(jié)目的類型(類別)(例如新聞、動(dòng)作、戲劇談話節(jié)目等等)來預(yù)先確定。例如，可以通過屬性內(nèi)同類模塊136使用本領(lǐng)域已知的自動(dòng)視頻分類方法來確定類型。實(shí)驗(yàn)學(xué)習(xí)過程確定如何改變按照傳遞向?qū)傩苑峙渲鲗?dǎo)性，致使達(dá)到期望的報(bào)道分段結(jié)果。
“至少局部交點(diǎn)方法”的另一變形根據(jù)屬性的可靠性測(cè)量選擇性地包括報(bào)道屬性時(shí)間間隔，其中，根據(jù)所述屬性的可靠性測(cè)量確定所述報(bào)道屬性時(shí)間間隔。
作為另外一個(gè)替換，可以產(chǎn)生與根據(jù)一個(gè)主導(dǎo)屬性所確定的一個(gè)報(bào)道屬性時(shí)間間隔相同的報(bào)道分段時(shí)間間隔。
操作性地，一個(gè)用戶通過操作單元145規(guī)定要從多媒體數(shù)據(jù)115中提取的報(bào)道，以便保留。所述報(bào)道選擇被轉(zhuǎn)發(fā)給模板模塊137。進(jìn)入的多媒體數(shù)據(jù)115被解復(fù)器116解復(fù)，并被緩沖在緩沖器124的各部分中，其相應(yīng)于進(jìn)入的多媒體數(shù)據(jù)115各個(gè)模態(tài)流分量的模態(tài)。
屬性內(nèi)同類模塊136經(jīng)由相應(yīng)的端口130、132、134接收模態(tài)流118、120、122和來自模板模塊137中的一個(gè)屬性同類信號(hào)，模板模塊137規(guī)定要為其識(shí)別同類時(shí)段的屬性。屬性內(nèi)同類模塊136經(jīng)由相應(yīng)的模態(tài)端口138、140、142把時(shí)段的開始和終止時(shí)間發(fā)送到屬性合并模塊144。
屬性合并模塊144接收來自模板模塊137中要被檢測(cè)的報(bào)道的時(shí)間規(guī)則特性，并把規(guī)則施加到同類時(shí)段以便形成相應(yīng)報(bào)道屬性時(shí)間間隔。規(guī)則的施加還允許屬性合并模塊144導(dǎo)出用于相應(yīng)屬性的可靠性測(cè)量，并且根據(jù)所述測(cè)量重載主導(dǎo)屬性的缺省選擇(如果存在)。屬性合并模塊144把一個(gè)主導(dǎo)屬性選擇傳送到屬性間歸并模塊152，并經(jīng)由相應(yīng)模態(tài)的端口146、148、150把報(bào)道屬性時(shí)間間隔的開始和結(jié)束時(shí)間發(fā)送到屬性間歸并模塊152。
屬性間歸并模塊152累積地歸并各種屬性的報(bào)道屬性時(shí)間間隔，用屬性合并模塊144已經(jīng)識(shí)別的主導(dǎo)屬性并根據(jù)所述屬性間歸并模塊152導(dǎo)出的相應(yīng)屬性可靠性測(cè)量的一個(gè)次序來開始。歸并結(jié)果是一個(gè)或多個(gè)報(bào)道分段時(shí)間間隔。
一旦確定一個(gè)報(bào)道分段時(shí)間間隔，屬性間歸并模塊152通過用時(shí)間上屬于在報(bào)道分段時(shí)間間隔內(nèi)的多媒體數(shù)據(jù)部分的內(nèi)容特性編制時(shí)間間隔的開始時(shí)間和結(jié)束時(shí)間，賴形成一個(gè)報(bào)道分段。內(nèi)容特性的一個(gè)示例是直方圖或是在識(shí)別同類時(shí)段的過程中使用的其它數(shù)據(jù)，同類時(shí)段是屬性間歸并模塊152從屬性內(nèi)同類模塊136所獲取。另一示例是描述報(bào)道(或者報(bào)道比如“全球經(jīng)濟(jì)學(xué)”的題目)的一個(gè)或多個(gè)單詞，所述一個(gè)或多個(gè)單詞是可能在咨詢一個(gè)詞匯或“知識(shí)”數(shù)據(jù)庫之后屬性間歸并模塊152從閉路字幕文本中導(dǎo)出。另外一個(gè)示例是屬性間歸并模塊152直接從緩沖器124中的流118、120、122中導(dǎo)出的特性數(shù)據(jù)。
屬性間歸并模塊152把編制了索引的分段轉(zhuǎn)發(fā)給多媒體分段鏈接模塊156。多媒體鏈接模塊156發(fā)信號(hào)通知緩沖器124，以便把時(shí)間上在新報(bào)道分段的開始時(shí)間和結(jié)束時(shí)間內(nèi)的當(dāng)前緩沖流118、120、122的一部分存儲(chǔ)到大容量存儲(chǔ)設(shè)備126中。緩沖器124保持信息，所述信息把新報(bào)道分段的開始和結(jié)束時(shí)間標(biāo)記鏈接到儲(chǔ)存所述部分的大容量存儲(chǔ)地址。
可替代地，例如，通過保持一個(gè)給定方式的任何報(bào)道屬性時(shí)間間隔的最早開始時(shí)間和最后結(jié)束時(shí)間，包括在累積的屬性間聯(lián)合內(nèi)的報(bào)道屬性分段的開始和結(jié)束時(shí)間被在模態(tài)內(nèi)加以組合。模態(tài)開始時(shí)間然后作為指針被保持在報(bào)道分段中，并且只有臨時(shí)位于相應(yīng)指針內(nèi)的流118、120、122的部分被保存到大容量存儲(chǔ)器。
多媒體分段鏈接模塊156在數(shù)據(jù)結(jié)構(gòu)中存儲(chǔ)新的報(bào)道分段，并且在確定任何相關(guān)報(bào)道是否已經(jīng)存在于數(shù)據(jù)結(jié)構(gòu)中(即，新的報(bào)道分段和任何預(yù)先存在的報(bào)道分段一起是否滿足諸如在相關(guān)性反饋中所使用的一個(gè)之類的分段相關(guān)準(zhǔn)則)時(shí)，與數(shù)據(jù)結(jié)構(gòu)模塊158進(jìn)行協(xié)調(diào)。在Nevenka Dimitrova的EP 1 110 156A1“Method and Apparatus forLinking a Video Segment to Another Segment or Information Source”(把一個(gè)視頻分段鏈接到另一分段或信息源的方法和設(shè)備)中描述了報(bào)道鏈接。新的報(bào)道分段和任何相關(guān)報(bào)道分段在數(shù)據(jù)結(jié)構(gòu)內(nèi)被鏈接。
為了觀看一個(gè)特定的報(bào)道，用戶例如通過一個(gè)屏幕菜單操作操作單元145，以便把搜索索引發(fā)送到數(shù)據(jù)結(jié)構(gòu)模塊158。數(shù)據(jù)結(jié)構(gòu)模塊158用如果存在的所期望報(bào)道和相關(guān)報(bào)道相應(yīng)的開始和結(jié)束時(shí)間來響應(yīng)操作單元145。操作單元145把那個(gè)開始和結(jié)束時(shí)間轉(zhuǎn)發(fā)給緩沖器124，緩沖器124對(duì)所保持的鏈路參考它們來確定定界大容量存儲(chǔ)設(shè)備126中的一個(gè)或多個(gè)報(bào)道的地址。緩沖器把來自大容量存儲(chǔ)設(shè)備126的一個(gè)或多個(gè)報(bào)道轉(zhuǎn)發(fā)到操作單元145用于由用戶觀看。
本發(fā)明不限制為在PVR內(nèi)的實(shí)施，而具有例如在互聯(lián)網(wǎng)、機(jī)頂盒、智能PDA、大型視頻數(shù)據(jù)庫和普及的通信/娛樂設(shè)備上自動(dòng)新聞個(gè)性化系統(tǒng)中的應(yīng)用。
因此，雖然這里已經(jīng)示出并描述和指出了本發(fā)明應(yīng)用到它的優(yōu)選實(shí)施例上的基本新穎特點(diǎn)，但是應(yīng)該理解，在所說明的設(shè)備的形式和細(xì)節(jié)方面以及在它們的操作方面的各種省略以及替換和改變都可以被本領(lǐng)域技術(shù)人員做出來而不會(huì)偏離本發(fā)明的精神。例如，很清楚，以基本上相同的方式執(zhí)行基本上相同功能來達(dá)到相同結(jié)果的那些元件和/或方法步驟的所有組合在本發(fā)明的范圍之內(nèi)。而且，應(yīng)該承認(rèn)，結(jié)合本發(fā)明任何公開形式或?qū)嵤├境龊?或描述的結(jié)構(gòu)和/或元件和/或方法步驟可以作為一種常規(guī)的設(shè)計(jì)選擇內(nèi)容而在任何其它公開或描述或建議的形式或?qū)嵤├斜缓喜?。因此，本發(fā)明只由附加到此的權(quán)利要求書的范圍所指示的內(nèi)容來限制。
權(quán)利要求
1.一種用于識(shí)別感興趣多媒體數(shù)據(jù)的分段(366，368，372，374)的設(shè)備(100)，所述多媒體數(shù)據(jù)包括音頻(118)、視頻(120)和文本(122)元素中的至少一個(gè)元素的一個(gè)流(115)，所述元素具有至少一個(gè)有數(shù)值的屬性，所述屬性表示元素內(nèi)容，所述設(shè)備特征在于一個(gè)屬性內(nèi)同類模塊(136)，用于識(shí)別存在時(shí)的同類時(shí)間段(206-214)，在此期間，各個(gè)流的元素屬性的數(shù)值滿足一個(gè)屬性同類門限值；和一個(gè)模塊(144，152)，用于識(shí)別與所識(shí)別的同類時(shí)間段相應(yīng)的多媒體數(shù)據(jù)的一個(gè)分段。
2.如權(quán)利要求1所述的設(shè)備，其特征在于所述分段識(shí)別模塊包括一個(gè)屬性合并模塊(144)，用于把所識(shí)別的同類時(shí)間段對(duì)(208，210)合并成為臨時(shí)包括所識(shí)別的同類時(shí)間段對(duì)的單一同類時(shí)間段(234)。
3.如權(quán)利要求2所述的設(shè)備，其特征在于一個(gè)對(duì)的合并(234)以介于所述對(duì)之間的時(shí)間跨度與一個(gè)門限值之間的比較為基礎(chǔ)，所述門限值以屬性和數(shù)據(jù)的預(yù)定義主題集合的特性為基礎(chǔ)。
4.如權(quán)利要求2所述的設(shè)備，其特征在于屬性合并模塊(144)根據(jù)門限值和屬性內(nèi)同類模塊(136)識(shí)別的同類時(shí)間段的一個(gè)參數(shù)之間的比較來識(shí)別一個(gè)主導(dǎo)屬性。
5.如權(quán)利要求4所述的設(shè)備，其特征在于分段識(shí)別模塊還包括一個(gè)屬性間歸并模塊(152)，用于形成存在時(shí)根據(jù)一個(gè)主導(dǎo)屬性所確定的被識(shí)別(232，236)和單一(234)時(shí)段以及存在時(shí)根據(jù)至少一個(gè)其它相應(yīng)屬性所確定的被識(shí)別和單一時(shí)段的累積屬性間聯(lián)合(366，368，372，374)，所述聯(lián)合定義一個(gè)有開始時(shí)間(320，330，334，338)和結(jié)束時(shí)間(318，322，358)的報(bào)道分段時(shí)間間隔(366，368，372，374)，在形成所述聯(lián)合中至少一些累積以正在被累積的所識(shí)別或者單個(gè)時(shí)段(326)和在形成所述聯(lián)合時(shí)已經(jīng)累積的所識(shí)別或單個(gè)的時(shí)段(312)之間至少部分地相交的存在為條件。
6.如權(quán)利要求5所述的設(shè)備，其特征在于屬性間歸并模塊(152)按照在時(shí)間上處于報(bào)道分段時(shí)間間隔內(nèi)的一部分多媒體數(shù)據(jù)的內(nèi)容特性來編制報(bào)道分段時(shí)間間隔的開始時(shí)間(320，330，334，338)和結(jié)束時(shí)間(318，322，358)的索引。
7.如權(quán)利要求6所述的設(shè)備，其特征進(jìn)一步在于一個(gè)多媒體分段鏈接模塊(156)，用于在滿足一個(gè)分段相關(guān)度準(zhǔn)則的、編制了索引的報(bào)道分段時(shí)間間隔之間建立一條鏈路。
8.如權(quán)利要求5所述的設(shè)備，其特征在于所述至少一個(gè)其它相應(yīng)屬性包括至少兩個(gè)屬性，根據(jù)門限值和由屬性內(nèi)同類模塊(136)識(shí)別的同類時(shí)間段(206-214)的各參數(shù)之間的比較來確定屬性的一個(gè)次序，按照所述次序形成所述累積屬性間聯(lián)合(366，368，372，374)。
9.如權(quán)利要求8所述的設(shè)備，其特征在于所述累積在屬性上繼續(xù)進(jìn)行多次傳遞。
10.如權(quán)利要求9所述的設(shè)備，其特征在于多媒體數(shù)據(jù)(115)有一個(gè)類型，并且，所述次序基于存在時(shí)的、多媒體數(shù)據(jù)在第二傳遞和后續(xù)傳遞上的類型而變化。
11.如權(quán)利要求5所述的設(shè)備，其特征在于所述累積屬性間聯(lián)合(366，368，372，374)包括被識(shí)別和單個(gè)時(shí)段(328)，所述時(shí)段在時(shí)間上與一個(gè)被識(shí)別或單個(gè)時(shí)段(314)相交一個(gè)根據(jù)主導(dǎo)屬性所確定的相應(yīng)被識(shí)別時(shí)段或單個(gè)時(shí)段的至少一個(gè)預(yù)定的長(zhǎng)度比。
12.如權(quán)利要求5所述的設(shè)備，其特征在于所述屬性間歸并模塊被配置來形成根據(jù)第一屬性所確定的一個(gè)被識(shí)別或單個(gè)時(shí)段與根據(jù)第二屬性所確定的一個(gè)被識(shí)別或單個(gè)時(shí)段的一個(gè)中間聯(lián)合，所述中間聯(lián)合定義在形成述累積屬性間聯(lián)合(366，368，372，374)的過程中被累積的一個(gè)時(shí)段。
13.如權(quán)利要求5所述的設(shè)備，所述至少一個(gè)其它相應(yīng)屬性包括至少兩個(gè)屬性，屬性的一個(gè)次序在所述元素流被所述設(shè)備處理以便識(shí)別感興趣多媒體數(shù)據(jù)(115)的所述分段之一時(shí)受到修訂，按照所述次序形成所述累積屬性間聯(lián)合(366，368，372，374)。
14.如權(quán)利要求4所述的設(shè)備，其特征在于分段識(shí)別模塊(144，152)還包括一個(gè)屬性間歸并模塊(152)，用于形成時(shí)間上定義一個(gè)報(bào)道分段的報(bào)道分段時(shí)間間隔(366，368，372，374)，所述報(bào)道分段包括一部分流的內(nèi)容特性，所述流位于根據(jù)一個(gè)主導(dǎo)屬性所確定的一個(gè)被識(shí)別或者單個(gè)時(shí)段內(nèi)。
15.如權(quán)利要求2所述的設(shè)備，其特征在于分段識(shí)別模塊(144，152)還包括一個(gè)屬性間歸并模塊(152)，用于形成存在時(shí)根據(jù)一個(gè)預(yù)定義主導(dǎo)屬性所確定的被識(shí)別和單個(gè)時(shí)段與存在時(shí)根據(jù)至少一個(gè)其他相應(yīng)屬性所確定的被識(shí)別和單個(gè)時(shí)段的累積屬性間聯(lián)合(366，368，372，374)，所述聯(lián)合定義了有開始時(shí)間(320，330，334，338)和結(jié)束時(shí)間(318，322，358)的一個(gè)報(bào)道分段時(shí)間間隔。
16.如權(quán)利要求2所述的設(shè)備，其特征在于屬性有一些特性，所述屬性合并模塊(144)根據(jù)屬性的特性來識(shí)別一個(gè)主導(dǎo)屬性，分段識(shí)別模塊(144，152)還包括一個(gè)屬性間歸并模塊(152)，用于形成存在時(shí)根據(jù)一個(gè)主導(dǎo)屬性所確定的被識(shí)別和單個(gè)時(shí)段與存在時(shí)根據(jù)至少一個(gè)其他相應(yīng)屬性所確定的被識(shí)別和單個(gè)時(shí)段的累積屬性間聯(lián)合(366，368，372，374)，所述聯(lián)合定義了有開始時(shí)間(320，330，334，338)和結(jié)束時(shí)間(318，322，358)的一個(gè)報(bào)道分段時(shí)間間隔；在形成所述聯(lián)合中至少一些累積根據(jù)以正在被累積的所識(shí)別或者單個(gè)時(shí)段(326)和在形成所述聯(lián)合時(shí)已經(jīng)累積的被識(shí)別或單個(gè)時(shí)段(312)之間至少部分地相交的存在為條件。
17.如權(quán)利要求1所述的設(shè)備，其特征在于屬性包括一個(gè)閉路字幕屬性(200)，所述流包括一個(gè)含有代表幀的文本元素，所述代表幀有閉路字幕屬性，數(shù)值包括在所述識(shí)別同類時(shí)間段中在一個(gè)或多個(gè)連續(xù)代表幀中遇見的多個(gè)閉路字幕標(biāo)記元素的一個(gè)計(jì)數(shù)。
18.一種用于識(shí)別感興趣多媒體數(shù)據(jù)的分段(366，368，372，374)的方法，所述多媒體數(shù)據(jù)包括音頻(118)、視頻(120)和文本(122)元素中的至少一個(gè)元素的一個(gè)流(115)，所述元素具有至少一個(gè)有數(shù)值的屬性，所述屬性表示元素內(nèi)容，所述方法特征在于識(shí)別存在時(shí)的同類時(shí)間段(206-214)，在此期間，各個(gè)流的元素屬性的數(shù)值滿足一個(gè)屬性同類門限值；和識(shí)別與所識(shí)別的同類時(shí)間段相應(yīng)的多媒體數(shù)據(jù)的一個(gè)分段(366，368，372，374)。
19.如權(quán)利要求18的方法，其特征在于分段識(shí)別(144，152)包括把所識(shí)別的同類時(shí)間段的對(duì)(208，210)合并(200，230)成為時(shí)間上包括所識(shí)別的同類時(shí)間段對(duì)的單一同類時(shí)間段(234)。
20.如權(quán)利要求19的方法，其特征在于分段識(shí)別(144，152)還包括比較一個(gè)介于所述對(duì)之間的時(shí)間跨度和一個(gè)門限值，所述門限值以屬性和數(shù)據(jù)的預(yù)定義主題集合的特性為基礎(chǔ)，其中，一個(gè)對(duì)的合并以一次比較為基礎(chǔ)。
21.如權(quán)利要求19的方法，其特征在于分段識(shí)別(144，152)還包括在一個(gè)門限值和同類時(shí)間段的一個(gè)參數(shù)之間進(jìn)行比較，來識(shí)別一個(gè)主導(dǎo)屬性。
22.如權(quán)利要求21的方法，其特征在于分段識(shí)別(144，152)還包括存在時(shí)根據(jù)一個(gè)主導(dǎo)屬性所確定的被識(shí)別和單一時(shí)段以及存在時(shí)根據(jù)至少一個(gè)其它相應(yīng)屬性所確定的被識(shí)別和單一時(shí)段的累積屬性間聯(lián)合(366，368，372，374)，所述聯(lián)合定義一個(gè)有開始時(shí)間和結(jié)束時(shí)間的報(bào)道分段時(shí)間間隔。
23.一種用于識(shí)別感興趣多媒體數(shù)據(jù)的分段的計(jì)算機(jī)程序，所述多媒體數(shù)據(jù)包括音頻、視頻和文本元素中的至少一個(gè)元素的一個(gè)流，所述元素具有至少一個(gè)有數(shù)值的屬性，所述屬性表示元素內(nèi)容，所述程序的特征在于指令裝置，用于識(shí)別存在時(shí)的同類時(shí)間段(206-214)，在此期間，各個(gè)流的元素屬性的數(shù)值滿足一個(gè)屬性同類門限值；和指令裝置，用于識(shí)別與所識(shí)別的同類時(shí)間段相應(yīng)的多媒體數(shù)據(jù)的一個(gè)分段(366，368，372，374)。
全文摘要
在由諸如音頻、視頻和文本之類的不同模式的并行流所構(gòu)成的并鏈接到相關(guān)報(bào)道的多媒體數(shù)據(jù)中檢測(cè)報(bào)道。首先，流屬性中的同類時(shí)間段擔(dān)任根據(jù)要被檢測(cè)的報(bào)道特性規(guī)則來合并的“構(gòu)件”。然后屬性按照它們各自用于檢測(cè)要被檢測(cè)報(bào)道的可靠性而被分級(jí)。時(shí)間段的一個(gè)屬性間聯(lián)合按照根據(jù)等級(jí)的次序一個(gè)屬性一個(gè)屬性地被累積。由開始和結(jié)束時(shí)間所定界的多媒體數(shù)據(jù)的一個(gè)緩沖部分被保持在大容量存儲(chǔ)器中。開始和結(jié)束時(shí)間按照該部分的內(nèi)容特性編制索引，以便形成一個(gè)報(bào)道分段，所述報(bào)道分段被保持在與相關(guān)報(bào)道分段鏈接的一個(gè)數(shù)據(jù)結(jié)構(gòu)中。
文檔編號(hào)G11B27/00GK1613072SQ02826921
公開日2005年5月4日 申請(qǐng)日期2002年12月23日 優(yōu)先權(quán)日2002年1月9日
發(fā)明者R·S·亞辛施, N·迪米特羅瓦 申請(qǐng)人:皇家飛利浦電子股份有限公司