專利名稱：語義主題的自動化豐富呈現(xiàn)的制作方法
語義主題的自動化豐富呈現(xiàn) 背景
為了理解語義主題，人們通常從(多媒體)數(shù)據(jù)庫或因特網(wǎng)搜索信息。搜 索結(jié)果通常會導(dǎo)致帶有許多重復(fù)和/或噪聲的大量未經(jīng)組織的信息。瀏覽這些未 經(jīng)組織的、重復(fù)的和/或有噪聲的信息以標(biāo)識并理解感興趣的媒體內(nèi)容可能需要 大量的勞動并會消耗大量的時間。
提供本概述是為了用簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的 一些概念。本概述并不旨在標(biāo)識要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不 旨在用于幫助確定要求保護(hù)的主題的范圍。
鑒于上述原因，描述了一種語義主題的自動化豐富呈現(xiàn)。 一方面，評估對
應(yīng)于一語義主題的多模信息(multimodal information)的相應(yīng)各部分以定位與 該語義主題相關(guān)聯(lián)的事件。 一文檔屬于一事件的概率基于文檔對人物、時間、 地點和關(guān)鍵字中的一個或多個的包含以及文檔沿著與該事件相關(guān)聯(lián)的時間線 的分布來確定。對于每一事件，標(biāo)識被客觀地確定為充分代表了該事件的一個 或多個文檔。隨后從多模信息中提取與該事件有關(guān)的一個或多個其他類型的媒 體(例如，視頻、圖像等)。代表性的文檔和其他媒體用于在故事板(storyboard) 中向用戶呈現(xiàn)。


在附圖中，組件參考標(biāo)號最左邊的數(shù)字標(biāo)識了該組件首次出現(xiàn)的特定附圖。
圖1根據(jù)一個實施例示出了用于語義主題的自動化豐富呈現(xiàn)的示例性系統(tǒng)。
圖2根據(jù)一個實施例示出了用于顯著事件數(shù)量(salient event number)確定的示例性事件數(shù)量的圖示。
圖3根據(jù)一個實施例示出了用于顯著峰值檢測以確定事件數(shù)量的另一示例。
圖4根據(jù)一個實施例示出了故事板的一個示例性用戶界面布局。 圖5根據(jù)一個實施例示出了一個示例性的音樂開始序列評估過程。 圖6根據(jù)一個實施例示出了一個示例性的音樂子剪輯與故事板幻燈片圖 像同步的映射。
圖7根據(jù)一個實施例示出了用于語義主題的自動化豐富呈現(xiàn)的過程。 圖8根據(jù)一個實施例示出了其中能夠部分或完全實現(xiàn)語義主題的自動化 豐富呈現(xiàn)的示例性環(huán)境。
詳細(xì)說明
概覽
現(xiàn)將參考圖l-8描述用于語義主題的自動化豐富呈現(xiàn)的系統(tǒng)和方法。"語 義主題"是任意的。例如，語義主題可以是代表一個或多個事件、人名或任何 其他事的一個或多個關(guān)鍵字(例如，由用戶作為搜索查詢的一部分而輸入的， 等等)。例如，相應(yīng)的各語義主題可以分別包括"2002年世界杯"、"美國大 選"、"萬圣節(jié)前夕"、"哈利*波特"等。在某些情況下，語義主題可以代 表目標(biāo)主題和事件。例如，"萬圣節(jié)前夕"既可以是語義主題又可以是事件。 為了豐富地呈現(xiàn)語義主題，本系統(tǒng)和方法分析多媒體內(nèi)容以標(biāo)識并提取與該語 義主題相關(guān)聯(lián)的多模信息(例如，圖像、文本、音頻和/或視頻)。該多模信息 包括各類文檔，諸如描述事件和代表性媒體內(nèi)容(例如，圖像、視頻等)的新 聞文章。本系統(tǒng)和方法客觀地標(biāo)識多模信息中最能代表語義主題的各部分。本 系統(tǒng)和方法將這一代表性內(nèi)容集成到故事板內(nèi)，用以向用戶呈現(xiàn)語義主題的簡 明且信息豐富的概述。這一有組織的呈現(xiàn)允許用戶快速領(lǐng)會和理解感興趣的語 義主題，由此提供與常規(guī)多媒體內(nèi)容分析通常提供給用戶的(即，大量未經(jīng)組 織的信息)相反的結(jié)果。
現(xiàn)將更為詳細(xì)地描述用于故事板中語義主題的自動化豐富呈現(xiàn)的這些和 其他方面。示例性系統(tǒng)
雖然沒有要求，但是現(xiàn)將在由諸如個人計算機(jī)等計算設(shè)備執(zhí)行的計算機(jī)程 序指令的一般性上下文中描述用于語義主題的自動化豐富呈現(xiàn)的各實施例。程 序模塊通常包括例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等，它們執(zhí)行特定任務(wù)或 實現(xiàn)特定抽象數(shù)據(jù)類型。雖然在前述上下文中描述了本系統(tǒng)和方法，但是其后 描述的動作和操作也可以由硬件實現(xiàn)。
圖1示出了用于語義主題的自動化豐富呈現(xiàn)的示例性系統(tǒng)100。在這一實
現(xiàn)中，系統(tǒng)100包括通用計算設(shè)備102。計算設(shè)備102表示任何類型的計算設(shè) 備，諸如個人計算機(jī)、膝上型計算機(jī)、服務(wù)器、手持式或移動計算設(shè)備(例如， 小形狀因子設(shè)備)等等。計算設(shè)備102包括用于語義主題的自動化豐富呈現(xiàn)的 程序模塊104和程序數(shù)據(jù)106。程序模塊104包括例如語義主題故事板生成器 模塊108和其他程序模塊110，諸如操作系統(tǒng)、Web爬行器(Web crawler)應(yīng) 用程序等。
語義主題故事板生成器模塊108 (下文中常稱為"故事板生成器108") 從多媒體數(shù)據(jù)114中生成語義主題故事板112。在一個實現(xiàn)中，多媒體數(shù)據(jù)114 代表來自一個或多個基于Web的多媒體數(shù)據(jù)庫(例如，新聞網(wǎng)站等)的數(shù)據(jù)。 在一個實現(xiàn)中，故事板生成器108或者諸如Web爬行器應(yīng)用程序等"其他程 序模塊"110預(yù)先評價來自這些網(wǎng)站的各篇文檔，以構(gòu)建由故事板生成器108 用于獲得與一語義主題相關(guān)的文檔的全文索引。這些爬行操作使得系統(tǒng)100能 夠利用一個或多個常規(guī)信息檢索技術(shù)(諸如，搜索查詢擴(kuò)展)來消除査詢歧義， 并由此標(biāo)識并索引與該語義主題有更強(qiáng)潛在相關(guān)性的文檔(多模信息)。
故事板生成器108接收標(biāo)識感興趣的語義主題(在此也稱其為"目標(biāo)主 題")的一個或多個關(guān)鍵字。在一個實現(xiàn)中，用戶呈現(xiàn)各關(guān)鍵字作為搜索查詢。 響應(yīng)于對關(guān)鍵字的接收，故事板生成器108從多媒體數(shù)據(jù)114中提取與目標(biāo)主 題相關(guān)的多模信息118 (例如，文本、圖像、視頻、音頻等)。在一個實現(xiàn)中， 用戶與故事板生成器108交互以提供指示所提取信息的哪些部分是相關(guān)的反 饋，并提供其他/附加的相關(guān)數(shù)據(jù)(例如，媒體、圖像序列、地理信息等)等。
故事板生成器108分析所提取的多模信息118 (以及由用戶提供的任何其他/附加的相關(guān)數(shù)據(jù))以標(biāo)識并群集描述與目標(biāo)主題相關(guān)聯(lián)的各事件的文檔。事 件是在特定時間和地點發(fā)生的特定的事。對于每一事件都存在許多文檔，包括 報道與關(guān)聯(lián)于該事件的人、地點、關(guān)鍵字和時間等有關(guān)的信息的各類文章。一
個語義主題可以與多個事件相關(guān)聯(lián)。例如，語義主題"2002年世界杯"對應(yīng)于 許多事件，例如包括每場比賽或競賽。與一事件相關(guān)聯(lián)的各篇文章可以包括與 該語義主題極為相關(guān)的信息。考慮到這些，故事板生成器108將所標(biāo)識的各文 檔分組成相應(yīng)的各事件群集120，其中每一群集都分別代表與該語義主題相關(guān) 聯(lián)的各事件。
故事板生成器108隨后標(biāo)識客觀上對每一事件群集120更有代表性的一個 或多個文檔(例如，事件概述)。這些代表性文檔被示為代表性內(nèi)容122的一 相應(yīng)部分。接著，故事板生成器108評估所提取的多模信息118，以標(biāo)識與每 一事件(例如，事件群集120)相關(guān)的媒體，諸如圖像、視頻剪輯等。這一相 關(guān)媒體也可被示為代表性內(nèi)容122的一相應(yīng)部分。故事板生成器108集成代表 性內(nèi)容(例如，文檔和其他媒體)以在故事板112中向用戶呈現(xiàn)。
在一個實現(xiàn)中，故事板生成器108將音樂或其他音頻與故事板呈現(xiàn)相同步。
我們現(xiàn)將描述用于語義主題事件群集和概述、標(biāo)識與事件相關(guān)的媒體、將 帶相關(guān)媒體的事件代表文檔集成到故事板112的布局內(nèi)、以及將音頻與集成的 內(nèi)容相同步以呈現(xiàn)給用戶的各示例性操作。
多事件群集——多模追溯事件檢測
為了將各文檔分組成不同的事件，故事板生成器108計算一文檔屬于 一事件的概率，即P(力Ia)，其中a是獲取的第/個文檔，而力是第/個事 件。為了計算這一概率值，故事板生成器108基于貝葉斯準(zhǔn)則確定似然性 ; (化)。
更具體地， 一事件(以及由此的描述該事件的文檔)可由四個主要元素表
示誰(人物)、何時(時間)、何處(地點)和什么(關(guān)鍵字)。假設(shè)一文
檔是一事件的結(jié)果，并且四個主要元素是獨立的，則一文檔屬于一事件的似然
性由以下生成模型表示
<formula>formula see original document page 9</formula>(1)其中加me,.、 /oc,.和^力、"me,.是分別代表第/個文檔中的人物、地點、關(guān) 鍵字和時間的特征向量。更詳細(xì)地，"ame,是列表〈c,7, c,2,…，c,Wp>，其中 q是pe"o"。在文檔；c,中出現(xiàn)的頻率，是由所獲得的全部文檔中出 現(xiàn)的所有人物組成的人物表(person vocabulary)中的第"個人。從文檔中 提取這些元素(例如，人物、組織、地點、日期、時間、錢和百分?jǐn)?shù))的 技術(shù)是已知的。
在此實現(xiàn)中，將組織實體考慮為人物實體。
假設(shè)是人物表的大小，則p0^me,化)被進(jìn) 一 步表達(dá)為
<formula>formula see original document page 10</formula> (2)
因為人物、地點和關(guān)鍵字是由文字表示的離散變量，而且地點和關(guān)鍵字的
概率也可與(2)中的人物相類似地定義，所以故事板生成器108統(tǒng)一地將概 率/ (/ e/^o"" I e/)(對應(yīng)i也，/ (/ocC/o"" | e》禾口 />(A:e_ywoni | e/))表不為| e》， 以指示文字vv"在事件力中出現(xiàn)的概率。
另一方面，事件的時間通常有一個連續(xù)的期間。同時觀察到，特別是在新 聞領(lǐng)域，有關(guān)一事件的文檔在該事件的開始階段的數(shù)量要多于在事件接近結(jié)束 時呈下降趨勢的文檔數(shù)量。由此，故事板生成器108利用高斯模型A^^,。)粗 略地表示概率pO'me,化)，其中w,和。 分別是平均值和標(biāo)準(zhǔn)差。
為了估計概率I x,)，故事板生成器108估計模型參數(shù)0 = (p(> i力)，W> o), 1S'^Q，假設(shè)《是事件的數(shù)量(顯著事件數(shù))。在此實現(xiàn)中，使用著X"敘 然絲來估計模型參數(shù)，如下
<formula>formula see original document page 10</formula>其中X表示所獲得的文檔的全集；M和《則分別是文檔和事件的數(shù)量。
通過迭代地運行￡步驟和M步驟，故事板生成器108應(yīng)用期望值最大化 (EM)算法來最大化該似然性。這兩個步驟的簡要概述如下列出。
*在￡步驟中，后驗概率/7(力lx,)被估計為
維<formula>formula see original document page 10</formula>其中上標(biāo)^指示第"欠迭代。
，在M步驟中，模型參數(shù)被如下更新:
<formula>formula see original document page 11</formula>
其中(/r/,")是文檔x,中文字w 的項頻率(termfr叫uency)，而TV是對應(yīng)的
詞表大小。在(5)中，應(yīng)用拉普拉斯平滑以防止罕見文字的零概率。最后， 每一事件的先驗被更新為
<formula>formula see original document page 11</formula>
這一算法能夠與各迭代一致地增加對數(shù)似然性;并在隨后收斂于局部極大 值。 一旦估計了參數(shù)，故事板生成器108將每個文檔分配給一事件，以如下生 成事件群集120:
<formula>formula see original document page 11</formula> (9)
其中為是文檔A的事件標(biāo)簽。
這一生成方法不僅考慮了事件的時間連續(xù)性，它還解決了兩個或多個事件 可以在某一持續(xù)時間內(nèi)重疊的問題。在此情況下，事件時間的高斯模型也可以 通過這一數(shù)據(jù)驅(qū)動參數(shù)估計而重疊。從這一觀點，事件群集也類似時間線中的 高斯混合模型(GMM)估計。
事件數(shù)量(事件數(shù))確定
在上述事件群集的方法中，假設(shè)事件數(shù)《已知(如(3)-(8)中所示)。然而， 事件數(shù)可能難以先驗地確定。在此實現(xiàn)中，事件數(shù)是基于沿時間線的文檔分布 來估計的。更具體地，假設(shè)每一文檔都是一事件的結(jié)果，并且事件的數(shù)量隨著事件的發(fā)展而改變。根據(jù)這一性質(zhì)，文檔分布曲線的每一峰值(或?qū)?yīng)周線) 可以如圖2所示指示無重疊事件情況下的一個事件。
圖2根據(jù)一個實施例示出了用于顯著事件數(shù)確定的示例性事件數(shù)量的圖。 如圖2所示，假設(shè)每一峰值戶,都分別與關(guān)聯(lián)于一給定語義主題的一相應(yīng)事件相 關(guān)?？紤]到這些，就可以通過對峰值數(shù)計數(shù)來估計關(guān)聯(lián)于一相應(yīng)事件的事件數(shù) 量(事件數(shù))。然而，曲線可能會有噪聲。在此實現(xiàn)中，故事板生成器模塊108 處理任何這樣的含噪聲的峰，使得只有顯著峰才與事件數(shù)相關(guān)。為了檢測顯著 峰，故事板生成器108用半漢明(升余弦)窗來平滑文檔曲線，并在隨后參考 閾值移除很小的峰。圖2示出了一段時間內(nèi)(例如，四個月的時間段)代表與 一特定主題相關(guān)聯(lián)的各文檔且?guī)?yīng)閾值的平滑的文檔分布。在實驗中，閾值 被自適應(yīng)地設(shè)置為/^ /2，其中 和^分別是曲線的平均值和標(biāo)準(zhǔn)差。
在平滑并移除微小峰之后，故事板生成器108檢測每兩個偶然峰之間的最 小谷值，以標(biāo)識事件(與對應(yīng)峰相關(guān))范圍(兩谷內(nèi)的包絡(luò))。如圖2所示， 由Z,+^指示的持續(xù)時間是與峰尸,相關(guān)的粗略范圍。假設(shè)重要事件通常具有更 為關(guān)聯(lián)的文檔并且具有更長持續(xù)時間的影響，則將每個峰的顯著性定義為-
"^")(^") (10) 其中P,是第Z個峰，￡,和/ ,是從第z'個峰到前一和下一谷的持續(xù)時間；i^,是 平均峰值，而Z)^是曲線中兩谷間的平均持續(xù)時間。&是顯著性值。也可以考 慮將其作為峰A下的歸一化區(qū)域，于是它就粗略代表了對應(yīng)事件的文檔數(shù)。 在此實現(xiàn)中，選擇前《個顯著峰以如下確定事件數(shù)
"argma^CC"} (U) 其中《是從大到小的己排序的顯著性值，W是檢測到的峰的總數(shù)，而^是閾值。
在一個實現(xiàn)中，7被設(shè)為0.9，這粗略地意味著至少90%的文檔將會在(3)-(8) 中事件參數(shù)的進(jìn)一步初始化和估計中保留。可選地，用戶可以指定《的初始值 以及顯著峰的位置。
圖3根據(jù)一個實施例示出了用于顯著峰檢測以確定事件數(shù)量的另一示例。 參見圖3，左(右)是從當(dāng)前峰到左(右)邊第一個更高峰的距離。在此實現(xiàn)
中，如下確定各峰的顯著得分
<formula>formula see original document page 12</formula>該式示出了峰的算子left (左)和right (右)的定義。中間峰的顯著得分是左 與右之和。左(右)被定義為從當(dāng)前峰到左(右)手邊第一個更高峰的距離。 算子/e方和ng似返回到最近的相鄰更高峰的距離。
在初始化步驟的一個實現(xiàn)中，利用爬山法檢測所有的峰，隨后為每個檢測 到的峰計算顯著得分。將可配置數(shù)量的峰確定為顯著峰。例如在一個實現(xiàn)中，
前20%的峰用作顯著峰，并且顯著峰的數(shù)量是k (事件數(shù)量)的最初估計?？?選地，用戶能夠指定A的初始值(例如，如果用戶只對前10個事件感興趣，則 * = 10)。 一旦確定了/t的初始估計以及顯著峰的位置，就對應(yīng)地初始化了事件 參數(shù)。此外，可以通過分割/合并初始顯著峰來獲取若干個不同的初始^值。通 常情況下，代表許多新聞文章或帶重尾(heavytail)的峰可能是多個事件的混 合。在這種情形下，峰能夠被分割以增大)t并重新訓(xùn)練各模型。
在一個實現(xiàn)中，利用對數(shù)似然函數(shù)來選擇充分優(yōu)化的事件數(shù)。給定這一指 示符，應(yīng)用最小描述長度(MDL)原則來在各A值中做出選擇
<formula>formula see original document page 13</formula> (13)其中^是模型中使用的自由參數(shù)的數(shù)量。/og(p(義;^)是聯(lián)合分布的對數(shù)似 然函數(shù)。聯(lián)合分布的對數(shù)似然函數(shù)在上文中參考式(3)來描述。作為這一原 則的結(jié)果，當(dāng)帶有不同A值的模型同等良好地適合數(shù)據(jù)時，故事書生成器模 塊108就選擇最簡單的模型。
在確定了事件數(shù)并生成了初始事件群集120 (帶有其對應(yīng)范圍的最顯著的 峰)之后，隨后就可以初始化各事件參數(shù)并迭代地對其進(jìn)行更新。這一選擇方 案被設(shè)計為充分確保在生成用于故事板112的呈現(xiàn)時重要信息將不會遺漏。
在一個實現(xiàn)中，并且如上有關(guān)同步音樂與故事板內(nèi)容所述，可以基于用戶 偏好進(jìn)一步精練所呈現(xiàn)事件的數(shù)量，以將呈現(xiàn)持續(xù)時間與音樂持續(xù)時間相匹 配。
事件概括和代表性媒體的提取
在獲取事件之后，為了豐富地呈現(xiàn)與一語義主題相關(guān)聯(lián)的代表性內(nèi)容，故 事板生成器108不僅利用簡明的事件概括，而且還提取某些代表性媒體以描述 每一事件。為此，在獲得事件群集120和對應(yīng)的文檔之后，故事板生成器108生成簡明的事件概括(即， 一個或多個代表性事件)。在一個實現(xiàn)中，以兩種
途徑概括新聞事件。在一個實例中，新聞事件通過選擇帶最大概率的某些特征 以代表各事件來進(jìn)行概括。例如，對于事件j，'主角'是帶有最大p(/7ewo k,)
的人物。以類似方式選擇地點和關(guān)鍵字。然而，這些概括可能難以閱讀。于是
作為替換，可以選擇單個新聞文章作為每一新聞事件的代表性新聞文章。
一旦確定了作為事件條件的人物、地點、關(guān)鍵字和時間的概率分布，新聞
文章就如下通過最大后驗(MAP)原則分派給各事件<formula>formula see original document page 14</formula> (9)
參見式9， x是新聞文章;c,的標(biāo)簽。在分派給第7個事件的各新聞文章中帶 有最大^(x,l^)的文章x,是事件y的良好代表，或者每一事件的第一篇文章
也可以是良好代表。
提取代表性媒體
在描述事件的文檔中，通常存在許多插像，它們可能會帶有flash和 視頻剪輯。然而，當(dāng)利用爬行網(wǎng)站操作獲得這些文檔時，文檔通常會包括許多 有噪聲的多媒體資源，諸如廣告。鑒于此，故事板生成器108實現(xiàn)有噪聲媒體 檢測操作以在事件概括中去除與事件相關(guān)聯(lián)的有噪聲媒體(所提取的多模信息 118的相應(yīng)各部分)。
在一個實現(xiàn)中，為了在事件概括中去除每一相應(yīng)事件的任何有噪聲的媒體 資源，故事板生成器108定位并移除除了那些與被爬行以獲取描述該事件的文 檔的各網(wǎng)站相關(guān)聯(lián)的實體之外的其他實體提供的關(guān)聯(lián)于廣告的資源。為此，故 事板生成器108從與事件相關(guān)聯(lián)的所有多媒體資源的URL中提取廣告主機(jī)名， 并且移除與一不同主機(jī)名相關(guān)聯(lián)的資源。這些操作在事件概括中進(jìn)一步標(biāo)識代 表各事件的媒體內(nèi)容。
另外，對于事件概括內(nèi)的每一事件，當(dāng)多個文檔與該事件相關(guān)聯(lián)時，這多 個文檔就可能包括描述該事件的重復(fù)圖像。為了解決任何這類重復(fù)圖像問題， 故事板生成器108檢測并移除事件概括內(nèi)來自于與事件相關(guān)聯(lián)的媒體(所提取 的多模信息118的相應(yīng)各部分)的任何重復(fù)圖像。在此實現(xiàn)中，故事板生成器 108實現(xiàn)圖像簽名方案以檢測并移除圖像重復(fù)件。例如，在一個實現(xiàn)中，故事 書生成器108將每幅圖像轉(zhuǎn)換成灰度，并且將經(jīng)轉(zhuǎn)換的圖像降采樣至8X8，以獲取每幅圖像的64字節(jié)簽名。隨后，該64字節(jié)簽名的歐幾里得距離可用作相 異性測度。例如，展示出彼此之間的可配置距離(例如，較小距離)閾值的帶 64字節(jié)簽名的的圖像是重復(fù)圖像。對于每對重復(fù)圖像而言，故事書生成器108 可以從代表性內(nèi)容中移除這些圖像之一。在移除有噪聲的資源和重復(fù)圖像之后，故事板生成器108就為與目標(biāo)主題 相關(guān)聯(lián)的每一事件從代表性最高的文檔(例如，具有最大p(xilej)的文檔)中選 擇大型圖像的子集(例如，l-4個大型圖像)或者其他媒體(例如，視頻等)。 故事板生成器108將該子集分類為事件的代表(例如，代表性媒體122)。所 選圖像的精確數(shù)量是基于對該事件重要性的客觀判定以及與該事件相關(guān)聯(lián)的 圖像的總數(shù)。以上參考文檔數(shù)量描述了用以確定事件重要性的示例性操作。故事板的生成在這一點上，故事板生成器108集成/熔合來自事件概括120和代表性媒 體122的信息以生成簡明且信息豐富的故事板112，由此連同代表性多模信息 一起呈現(xiàn)與目標(biāo)主題相關(guān)聯(lián)的每一事件。出于示例性說明的目的，將熔合的事 件概括和代表性內(nèi)容示為代表性媒體122。圖4根據(jù)一個實施例示出了故事板112的一個示例性用戶界面(UI)布局 400。如圖所示，布局400的部分402示出了按時間順序排列的代表性媒體(與 事件相關(guān)聯(lián)的媒體)122 (即，各事件按其各自的時間戳排序)。在部分402， 一個或多個圖像的一相應(yīng)群集代表與一主題目標(biāo)相關(guān)聯(lián)的每一事件。這樣就能 夠讓用戶對一事件序列的過去和將來各方面有一個快速的縱覽。在此實現(xiàn)中， UI 400突出顯示了當(dāng)前事件。例如，圖像群集404被圈起，它代表在UI的部 分406中正示出的當(dāng)前事件。UI400的部分406呈現(xiàn)當(dāng)前事件的代表性圖像。在此實現(xiàn)中，UI400呈現(xiàn) 從中提取了一相應(yīng)代表性圖像的每個文檔的標(biāo)題和日期。對于與部分406相關(guān) 聯(lián)的每一文檔而言，部分408呈現(xiàn)與該文檔對應(yīng)的事件概括。在一個實現(xiàn)中， 部分408還呈現(xiàn)與一個或多個經(jīng)概括的事件相關(guān)聯(lián)的地理信息(例如，地圖)。 這些地圖可以通過將事件地點作為查詢提交給常規(guī)在線地圖服務(wù)來獲取。示例性音樂同步
在一個實現(xiàn)中，故事板生成器108還可以將故事板112內(nèi)的代表性媒體 122與附帶的音頻(諸如，音樂)相同步，從而改善代表性內(nèi)容的呈現(xiàn)。故事 板生成器108將各事件幻燈片(例如，在圖4的部分406中示出的幻燈片)之 間的過渡與音樂節(jié)拍對齊?？梢哉J(rèn)識到，音樂或其他音頻也可以是與目標(biāo)主題 相關(guān)的。用來與經(jīng)概括的內(nèi)容進(jìn)行同步的音樂或其他音頻可以是自動標(biāo)識的， 由用戶提供的等等，并且由一個或多個多媒體數(shù)據(jù)114和其他數(shù)據(jù)116來表示。
為此，故事板生成器108檢測所選音樂的開始序列，而非精確的節(jié)拍系列 來代表音樂旋律。這是因為節(jié)拍信息有時候不太明顯，特別是對輕音樂而言。 在一個實現(xiàn)中，將在可配置時間窗內(nèi)檢測到的最強(qiáng)開始確定為音樂節(jié)拍。這樣 做是合理的，因為在時間窗(例如，5秒)內(nèi)存在一些節(jié)拍部分；于是，最可 能的節(jié)拍部分就是由最強(qiáng)開始的部分。
圖5根據(jù)一個實施例示出了音樂開始序列估計的一個示例性過程500。如 圖所示，在對16 ms長的每一幀執(zhí)行FFT (快速傅立葉變換)之后，使用 八階濾波器組將頻域分成6個子帶，包括[O， ft>c/26], [w0/26， cyc/25],…， /22,o>。/2]，其中cy。指采樣頻率。
在通過使用半漢明(升余弦)窗提取每個子帶的幅度包絡(luò)之后，通過估計 Canny算子的差函數(shù)而將其用于開始序列檢測，
<formula>formula see original document page 16</formula>其中AW是第/個子帶中的差函數(shù)，A丫W(wǎng)是第/個子帶的幅度包絡(luò)，而c^) 是帶有高斯內(nèi)核的Canny算子，
<formula>formula see original document page 16</formula>其中4是Canny算子的長度，(x用于控制該算子的形狀，在這一具體實現(xiàn) 中，它們分別被設(shè)置為十二(12)和四(4)。
最后，這六個子帶的差曲線之和用于提取開始序列?？紤]將每個峰作為開 始，并且考慮將峰值作為開始強(qiáng)度。
基于所獲取的開始，將配樂進(jìn)一步分段成音樂子剪輯，其中將強(qiáng)開始作為 音樂子剪輯的邊界。故事書生成器108利用這些音樂子剪輯作為時間線來同步 故事板內(nèi)的事件幻燈片過渡。于是，為了滿足故事板的事件幻燈片過渡應(yīng)該在音樂節(jié)拍處出現(xiàn)的要求，故事板生成器108對齊故事板幻燈片的邊界與音樂子剪輯的邊界。在此實現(xiàn)中，故事板生成器108維護(hù)音樂子剪輯，使其不太短也不太 長，并且其長度變化(即，并不總是相同長度)。在此實現(xiàn)中，音樂子剪 輯的長度可以在[^ ， ^J秒范圍內(nèi)隨機(jī)選擇。于是，故事板生成器就能如 下提取音樂子剪輯給定前一邊界，在窗中選擇離前一邊界[^力，^。J秒的下一邊界作為最強(qiáng)開始。在此實現(xiàn)中，用戶可以手動指定音樂子剪輯的長度范圍。在此實現(xiàn)中，系統(tǒng)內(nèi)的默認(rèn)范圍被設(shè)置為可配置的[IO， 15]秒，以 便為用戶提供足夠的時間來閱讀每一事件幻燈片上的全部信息。圖6根據(jù)一個實施例示出了一個示例性的音樂子剪輯與故事板幻燈片圖 像同步的映射。為了在不同事件幻燈片的過渡和配樂節(jié)拍之間進(jìn)行同步，如前 所述，故事板生成器108對齊幻燈片邊界和音樂子剪輯邊界。實現(xiàn)這一對齊的 一種方法是將每一事件幻燈片的長度設(shè)置為與子音樂剪輯的對應(yīng)長度相等。然 而，如圖5所示，事件幻燈片的數(shù)量通常不等于音樂子剪輯的數(shù)量。在此實現(xiàn) 中，故事板生成器108使用一種或多種方案來解決這一問題。例如，在一個實現(xiàn)中，故事板生成器108基于音樂子剪輯將音樂子剪輯映 射至故事板幻燈片圖像。更具體地，故事板生成器108自適應(yīng)地只選擇目標(biāo)主 題的前W個重要事件用于豐富呈現(xiàn)，其中W是對應(yīng)配樂中的音樂子剪輯的數(shù) 量(例如，請見圖5)。在此實現(xiàn)中，假設(shè)事件越重要，對應(yīng)文檔越多，則事 件的重要性得分簡單地通過報道它的文檔數(shù)量來測得。在另一示例中，故事板生成器108基于指定的事件數(shù)將音樂子剪輯映射至 故事板幻燈片圖像。更具體地，用戶指定要査看的事件數(shù)。例如，用戶可以選 擇顯示前30個重要事件、全部事件，或者使用某一其他準(zhǔn)則來確定要査看的 事件數(shù)量。為了在音樂持續(xù)時間內(nèi)容納所有的事件，故事板生成器108將在必 要時重復(fù)配樂，并在事件呈現(xiàn)序列結(jié)束時逐漸減弱音樂。在一個實現(xiàn)中，在故事板生成器108將故事板的代表性內(nèi)容與配樂對齊之 后，故事板生成器108就應(yīng)用一個或多個幻燈片到幻燈片過渡效果，諸如平滑 轉(zhuǎn)換、擦去并溶解等。在一個實現(xiàn)中，故事板生成器108隨機(jī)選擇一種或多種 過渡效果來連接各事件幻燈片。示例性過程
圖7根據(jù)一個實施例示出了用于語義主題的自動化豐富呈現(xiàn)的過程700。 出于示例性的說明的目的，參考圖1中系統(tǒng)100的各組件描述該過程的操作。 在框702，故事板生成器模塊108確定語義主題。在一個實現(xiàn)中，語義主題由 提交的搜索查詢的一個或多個關(guān)鍵字來標(biāo)識。在框704，故事板生成器模塊108 分析多媒體數(shù)據(jù)114來檢索與語義主題相關(guān)的多模信息。在框706，故事板生 成器模塊108生成事件群集120以群集與語義主題相關(guān)聯(lián)的事件及對應(yīng)的文 檔。每個事件群集120代表與語義主題相關(guān)聯(lián)的、如來自所檢索的多模信息的 一個或多個文檔中的相應(yīng)各文檔(例如，新聞文章)所描述的相應(yīng)事件。在框 708，故事板生成器模塊108確定與語義主題相關(guān)聯(lián)的事件數(shù)量以在故事板U2 中呈現(xiàn)給用戶。在一個實現(xiàn)中，基于文檔沿對應(yīng)時間線的分布評估事件數(shù)量。
在框710，故事板生成器模塊108概括事件群集120。在框712，故事板 生成器模塊108為每個經(jīng)概括的事件標(biāo)識客觀上更能代表與對應(yīng)事件群集120 相關(guān)聯(lián)的事件的一個或多個文檔。在框714，故事板生成器模塊108標(biāo)識來自 所檢索的多模信息的其他媒體(例如，圖像、視頻等)。這些其他媒體被客觀 地確定為所概括事件的代表。在框716，故事板生成器模塊108集成代表性文 檔和其他媒體(即，代表性內(nèi)容122)用于在故事板112的布局中向用戶呈現(xiàn)。 在框718，故事板生成器模塊108對齊音樂與集成內(nèi)容用以向用戶呈現(xiàn)。在框 720,故事板生成器模塊108將故事板112呈現(xiàn)給用戶。這一經(jīng)組織的呈現(xiàn)能 讓用戶快速領(lǐng)會并理解語義主題。
示例性操作環(huán)境
圖8示出了在其中可以完全或部分實現(xiàn)語義主題的自動化豐富呈現(xiàn)的合 適計算環(huán)境的示例。示例性計算環(huán)境800僅僅是用于圖1中的示例性系統(tǒng)100 的合適計算環(huán)境的一個示例，并非對在此描述的系統(tǒng)和方法的使用范圍或功能 性提出任何局限。也不應(yīng)該把計算環(huán)境800解釋為對計算環(huán)境800中示出的任 一組件或其組合有任何依賴性或要求。
在此描述的方法和系統(tǒng)可運行于多種其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配 置。適合使用的公知的計算系統(tǒng)、環(huán)境和/或配置的示例包括，但不限于，個人 計算機(jī)、服務(wù)器計算機(jī)、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、網(wǎng)絡(luò)PC、小型機(jī)、大型機(jī)、包括上述系統(tǒng)或設(shè)備中的任一個的分布式計算機(jī)環(huán)境等?？蚣?的緊湊或子集版本也可以在有限資源的客戶內(nèi)實現(xiàn)，諸如在手持式計算機(jī)或其 他計算設(shè)備內(nèi)實現(xiàn)。本發(fā)明還能在聯(lián)網(wǎng)的計算環(huán)境中實現(xiàn)，其中任務(wù)由通過通 信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備完成。
參考圖8，提供語義主題的自動化豐富呈現(xiàn)體系結(jié)構(gòu)的示例性系統(tǒng)包括以
計算機(jī)810形式來實現(xiàn)例如與圖1的計算設(shè)備102相關(guān)聯(lián)的故事板生成操作的 通用計算設(shè)備。計算機(jī)810的組件可以包括，但不限于，處理單元818、系統(tǒng) 存儲器830和將包括系統(tǒng)存儲器在內(nèi)的各種系統(tǒng)組件耦合至處理單元818的系 統(tǒng)總線821。系統(tǒng)總線821可以是幾種類型的總線結(jié)構(gòu)中的任何一種，包括存 儲器總線或存儲控制器、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的 局部總線。作為示例，而非限制，這樣的體系結(jié)構(gòu)可以包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu) (ISA)總線、微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA (EISA)總線、視 頻電子技術(shù)標(biāo)準(zhǔn)協(xié)會(VESA)局部總線和外圍部件互連(PCI)總線(也稱為 小背板(Mezzanine)總線)。
計算機(jī)810通常包括各種計算機(jī)可讀介質(zhì)。計算機(jī)可讀介質(zhì)可以是能由計 算機(jī)810訪問的任何可用介質(zhì)，包含易失性/非易失性介質(zhì)以及可移動/不可 移動介質(zhì)。作為示例，而非限制，計算機(jī)可讀介質(zhì)可以包括計算機(jī)存儲介質(zhì)和 通信介質(zhì)。計算機(jī)存儲介質(zhì)包括易失性和非易失性、可移動和不可移動介質(zhì)， 它們以用于存儲諸如計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)這樣的 信息的任意方法或技術(shù)來實現(xiàn)。計算機(jī)存儲介質(zhì)包括，但不限于，RAM、ROM、 EEPROM、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它 光盤存儲、磁帶盒、磁帶、磁盤存儲或其它磁性存儲設(shè)備、或能用于存儲所需 信息且可以由計算機(jī)810訪問的任何其它介質(zhì)。
通信介質(zhì)通常以諸如載波或其它傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號來體現(xiàn)計算 機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，且包含任何信息傳遞介質(zhì)。術(shù) 語"已調(diào)制數(shù)據(jù)信號"是指以在該信號中編碼信息的方式來設(shè)置或改變其一個 或多個特性的信號。作為示例，而非限制，通信介質(zhì)包括有線介質(zhì)，諸如有線 網(wǎng)絡(luò)或直接線連接，以及無線介質(zhì)，諸如聲學(xué)、RF、紅外線和其它無線介質(zhì)。 上述中的任意組合也應(yīng)包括在計算機(jī)可讀介質(zhì)的范圍之內(nèi)。系統(tǒng)存儲器830包括形式為易失性和/或非易失性存儲器的計算機(jī)存儲介 質(zhì)，譬如只讀存儲器(ROM) 831和隨機(jī)存取存儲器(RAM) 832。基本輸入 /輸出系統(tǒng)833 (BIOS)包含有助于諸如啟動時在計算機(jī)810中的元件之間傳 遞信息的基本例程，它通常存儲在ROM831中。RAM 832通常包含處理單元 818可以立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非局 限，圖8示出了操作系統(tǒng)834、應(yīng)用程序835、其它程序模塊836和程序數(shù)據(jù) 837。計算機(jī)810也可以包括其它可移動/不可移動、易失性/非易失性計算機(jī)存 儲介質(zhì)。僅作為示例，圖8示出了從不可移動、非易失性磁介質(zhì)中讀取或向其 寫入的硬盤驅(qū)動器841，從可移動、非易失性磁盤852中讀取或向其寫入的磁 盤驅(qū)動器851，以及從諸如CDROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤 856中讀取或向其寫入的光盤驅(qū)動器855?？梢栽谑纠圆僮鳝h(huán)境中使用的其 它可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)包括，但不限于，盒式 磁帶、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬 盤驅(qū)動器841通常由不可移動存儲器接口 ，諸如接口 840連接至系統(tǒng)總線821 ， 磁盤驅(qū)動器851和光盤驅(qū)動器855通常由可移動存儲器接口，諸如接口 850連 接至系統(tǒng)總線821。以上描述并在圖8中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機(jī)存儲介質(zhì)為計算 機(jī)810提供了對計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的存儲。例 如，在圖8中，硬盤驅(qū)動器841被示為存儲操作系統(tǒng)844、應(yīng)用程序845、其 它程序模塊846和程序數(shù)據(jù)847。注意，這些組件可以與操作系統(tǒng)834、應(yīng)用 程序835、其它程序模塊836和程序數(shù)據(jù)837相同或不同。操作系統(tǒng)844、應(yīng) 用程序845、其它程序模塊846和程序數(shù)據(jù)847在這里被標(biāo)注了不同的標(biāo)號是 為了說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，諸如鍵盤862和定點設(shè)備861 (通常指鼠標(biāo)、跟 蹤球或觸摸墊)向計算機(jī)810輸入命令和信息。其它輸入設(shè)備(未示出)可以 包括話筒、操縱桿、圖形筆和墊、圓盤式衛(wèi)星天線、掃描儀等。這些和其它輸 入設(shè)備通常由耦合至系統(tǒng)總線821的用戶輸入接口 860連接到處理單元818， 但是也可由諸如并行端口、游戲端口或通用串行總線(USB)之類的其它接口和總線結(jié)構(gòu)連接。在此實現(xiàn)中，監(jiān)視器891或其它類型的顯示設(shè)備也經(jīng)由接口 ， 諸如視頻接口 890連接至系統(tǒng)總線821。監(jiān)視器891用于將圖1中用于語義主 題的豐富呈現(xiàn)的故事板112呈現(xiàn)給用戶。
計算機(jī)810使用至一個或多個遠(yuǎn)程計算機(jī)，諸如遠(yuǎn)程計算機(jī)880的邏輯連 接在網(wǎng)絡(luò)化環(huán)境中操作。遠(yuǎn)程計算機(jī)880可以是個人計算機(jī)、服務(wù)器、路由器、 網(wǎng)絡(luò)PC、對等設(shè)備或其它常見網(wǎng)絡(luò)節(jié)點，且取決于其具體實現(xiàn)，可以包括上 文相對于計算機(jī)810描述的許多或所有元件，盡管在圖8中只示出存儲器存儲 設(shè)備881。圖8中所示的邏輯連接包括局域網(wǎng)(LAN) 871和廣域網(wǎng)(WAN) 873，但也可以包括其它網(wǎng)絡(luò)。這樣的網(wǎng)絡(luò)環(huán)境常見于辦公室、企業(yè)范圍計算 機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)。
當(dāng)在LAN網(wǎng)絡(luò)環(huán)境中使用時，計算機(jī)810通過網(wǎng)絡(luò)接口或適配器871連 接至局域網(wǎng)870。當(dāng)在WAN網(wǎng)絡(luò)環(huán)境中使用時，計算機(jī)810通常包括調(diào)制解 調(diào)器872，或用于通過WAN873，如因特網(wǎng)建立通信的其它裝置。調(diào)制解調(diào)器 872可以是內(nèi)置或外置的，它可以通過用戶輸入接口 860或其它合適的機(jī)制連 接至系統(tǒng)總線821。在網(wǎng)絡(luò)化環(huán)境中，相對于計算機(jī)810所描述的程序模塊或 其部分可以存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例，而非限制，圖8示出了 遠(yuǎn)程應(yīng)用程序885駐留在存儲器設(shè)備881上。所示的這些網(wǎng)絡(luò)連接起示例性的 作用，并且可以使用在計算機(jī)之間建立通信鏈路的其他手段。
結(jié)論
雖然以上各部分用專用于結(jié)構(gòu)化特征和/或方法性操作或動作的語言描述 了語義主題的自動化豐富呈現(xiàn)，但是在所附權(quán)利要求中定義的各實現(xiàn)不必限于 所描述的具體特征或動作。相反地，語義主題的自動化豐富呈現(xiàn)的具體特征和 操作是作為實現(xiàn)所要求保護(hù)的主題的示例性形式來公開的。例如，在一個實現(xiàn) 中，使用貝葉斯信息準(zhǔn)則(BIC)或者最小描述長度(MDL)來估計充分優(yōu)化 的事件數(shù)量。這可以通過搜索事件數(shù)量的范圍從而找出最大化式(3)中的似然性 的事件數(shù)來實現(xiàn)。
權(quán)利要求
1.一種計算機(jī)實現(xiàn)的方法，包括確定語義主題；評估對應(yīng)于所述語義主題的多模信息的相應(yīng)各部分以標(biāo)識各事件，每一事件與人物、時間、地點和關(guān)鍵字中的一個或多個相關(guān)聯(lián)；對于所述相應(yīng)各部分內(nèi)的每篇文檔，基于關(guān)聯(lián)于所述事件的生成模型以及文檔沿時間線的分布計算該文檔屬于所述各事件中的一事件的概率；對于在所述各事件的至少一子集內(nèi)的每一事件客觀地標(biāo)識相比于其他文檔與該事件更為相關(guān)的一個或多個代表性文檔；從所述多模信息中提取對應(yīng)于所述代表性文檔的其他媒體，所述代表性文檔和所述其他媒體客觀上最能代表所述語義主題；以及其中所述一篇或多篇代表性文檔和所述其他媒體用于在故事板中向用戶呈現(xiàn)。
2. 如權(quán)利要求1所述的方法，其特征在于，所述各事件的至少一子集是 事件概括。
3. 如權(quán)利要求l所述的方法，其特征在于，計算所述概率還包括 標(biāo)識對應(yīng)于所述語義主題的顯著事件數(shù)量，所述顯著事件數(shù)量要小于所述事件的總數(shù)；以及使用所述顯著事件數(shù)量計算所述概率。
4. 如權(quán)利要求1所述的方法，其特征在于，計算所述概率還包括根據(jù)所 述文檔的日期相對于事件持續(xù)時間位于何處來表示與時間相關(guān)聯(lián)的概率。
5. 如權(quán)利要求l所述的方法，其特征在于，計算所述概率還包括 通過迭代的期望值和最大化操作，對相應(yīng)的人物、地點和關(guān)鍵字模型，獨立地估計模型參數(shù)；以及考慮所述事件的時間連續(xù)性以及兩個或多個所述事件的任何重疊，使用所 述模型計算所述概率。
6. 如權(quán)利要求1所述的方法，其特征在于，還包括對所述各代表性文檔中的每篇文檔，移除與由一實體提供的廣告相關(guān)聯(lián)的任何資源，所述實體是除 了與從中獲取所述文檔的網(wǎng)站相關(guān)聯(lián)的實體之外的其他實體。
7. 如權(quán)利要求1所述的方法，其特征在于，還包括對于在所述各事件的至少一子集中的每一事件，如果所述代表性文檔包括多篇文檔，就從所述多篇 文檔中移除任何重復(fù)的圖像。
8. 如權(quán)利要求1所述的方法，其特征在于，所述一篇或多篇代表性文檔 和所述其他媒體是代表性內(nèi)容，并且其中所述方法還包括將所述代表性內(nèi)容集 成到所述故事板中以便向用戶呈現(xiàn)，所述故事板提供顯著事件的簡明縱覽以及 與所述語義主題有關(guān)的關(guān)聯(lián)多模信息。
9. 如權(quán)利要求1所述的方法，其特征在于，還包括將所述故事板布局的 代表性內(nèi)容與音樂進(jìn)行同步。
10. 如權(quán)利要求9所述的方法，其特征在于，所述同步還包括 標(biāo)識音樂子剪輯和對應(yīng)的時間線；以及使用所述時間線將事件幻燈片過渡和所述故事板布局與所述音樂子剪輯 進(jìn)行同步。
11. 如權(quán)利要求9所述的方法，其特征在于，所述同步還包括 標(biāo)識音樂子剪輯和對應(yīng)的時間線；使用所述時間線將事件幻燈片過渡和所述故事板布局與所述音樂子剪輯 進(jìn)行同步；以及其中一事件幻燈片的長度等于相應(yīng)音樂子剪輯的對應(yīng)長度。
12. 如權(quán)利要求9所述的方法，其特征在于，所述同步還包括 標(biāo)識音樂子剪輯和對應(yīng)的時間線；使用所述時間線將事件幻燈片過渡和所述故事板布局與所述音樂子剪輯 進(jìn)行同步；以及其中與所述事件幻燈片過渡相關(guān)聯(lián)的每一事件被客觀地確定為屬于所述 至少一事件子集中的一組事件，該組事件比所述至少一事件子集中的其他事件 更為重要。
13. —種計算機(jī)實現(xiàn)的方法，包括 確定語義主題；從多媒體數(shù)據(jù)中提取與所述語義主題相關(guān)的多模信息；評估所述多模信息的相應(yīng)各部分以標(biāo)識各事件，每一事件與人物、時間、 地點和關(guān)鍵字中的一個或多個相關(guān)聯(lián)；對于所述相應(yīng)各部分內(nèi)的每篇文檔，基于關(guān)聯(lián)于所述事件的生成模型以及 文檔沿時間線的分布計算該文檔屬于所述各事件中的一事件的概率；生成概括所述各事件的事件概括；對于所述事件概括中的每一事件客觀地標(biāo)識相比于其他文檔與該事件更為相關(guān)的一篇或多篇代表性文檔；以及從所述多模信息中提取對應(yīng)于所述代表性文檔的其他媒體，所述代 表性文檔和其他媒體是代表性內(nèi)容；將所述代表性內(nèi)容集成到故事板布局中用以向用戶呈現(xiàn)，所述故事板布局 提供顯著事件的簡明縱覽以及關(guān)于所述語義主題的關(guān)聯(lián)多模信息。
14. 如權(quán)利要求13所述的方法，其特征在于，計算所述概率還包括 標(biāo)識對應(yīng)于所述語義主題的顯著事件數(shù)量，所述顯著事件數(shù)量要小于所述事件的總數(shù)；以及使用所述顯著事件數(shù)量計算所述概率。
15. 如權(quán)利要求13所述的方法，其特征在于，計算所述概率還包括通過迭代的期望值和最大化操作，對相應(yīng)的人物、地點和關(guān)鍵字模型，獨立地估計模型參數(shù)；以及考慮所述事件的時間連續(xù)性以及兩個或多個所述事件的任何重疊，使用所 述模型計算所述概率。
16. 如權(quán)利要求13所述的方法，其特征在于，還包括從所述一篇或多篇 代表性文檔的一篇文檔中移除一個或多個重復(fù)圖像以及與一實體相關(guān)聯(lián)的廣 告，所述實體是除了與從中獲得所述文檔的網(wǎng)站相關(guān)聯(lián)的實體之外的任何其他 實體。
17. 如權(quán)利要求13所述的方法，其特征在于，還包括將所述故事板布局 的代表性內(nèi)容與音樂進(jìn)行同步。
18. —種計算設(shè)備，包括用于執(zhí)行以下動作的處理裝置從多模數(shù)據(jù)源標(biāo)識語義主題的代表性多模內(nèi)容，所述代表性多模內(nèi)容包括 對應(yīng)于與所述語義主題相關(guān)聯(lián)的一個或多個顯著事件的圖像、新聞文章概括、 視頻和地點中的一種或多種；以及將所述代表性內(nèi)容集成到故事板布局中用以向用戶呈現(xiàn)；以及 向用戶呈現(xiàn)所述故事板布局以便進(jìn)行對所述代表性內(nèi)容的審閱和導(dǎo)航中 的一個或多個。
19. 如權(quán)利要求18所述的計算設(shè)備，其特征在于，標(biāo)識所述代表性多模 內(nèi)容還包括根據(jù)一文檔的日期相對于事件持續(xù)時間位于何處來計算該文檔包 括代表一事件的內(nèi)容的概率。
20. 如權(quán)利要求18所述的計算設(shè)備，其特征在于，將所述代表性內(nèi)容集 成到所述故事板布局中還包括將所述代表性多模內(nèi)容與配樂相集成用以向用 戶呈現(xiàn)。
全文摘要
描述了語義主題的自動化豐富呈現(xiàn)。一方面，評估對應(yīng)于一語義主題的多模信息的相應(yīng)各部分以定位與該語義主題相關(guān)聯(lián)的事件。一文檔屬于一事件的概率基于文檔對人物、時間、地點和關(guān)鍵字中的一個或多個的包含以及文檔沿關(guān)聯(lián)于該事件的時間線的分布來確定。對于每一事件，標(biāo)識被客觀地確定為充分代表了該事件的一個或多個文檔。隨后就可以從多模信息中提取與該事件有關(guān)的一個或多個其他媒體類型(例如，視頻、圖像等)。代表性文檔和其他媒體是用于在故事板中向用戶呈現(xiàn)。
文檔編號G06F17/00GK101292238SQ200680039211
公開日2008年10月22日 申請日期2006年10月19日 優(yōu)先權(quán)日2005年10月21日
發(fā)明者L·魯, W-Y·馬, Z-W·李 申請人:微軟公司