本發(fā)明涉及語言模型，更具體地，涉及利用知識圖的用于語音識別的語言建模。

背景技術(shù)：

統(tǒng)計語言模型是一種針對語音識別設(shè)計的用于估計單詞串的先驗概率的經(jīng)典模型。在語音識別系統(tǒng)中，所應(yīng)用的語言模型一般與非常大但有限的訓(xùn)練語料庫一起工作。雖然現(xiàn)代的商業(yè)語音識別系統(tǒng)盡可能地添加足夠且大型的訓(xùn)練語料庫，但由于諸如訓(xùn)練性能、模型大小、以及用于收集和維護包含命名實體的訓(xùn)練語料庫的成本(財務(wù)和資源等)之類的考慮，更新訓(xùn)練語料庫來收集所有可能的實體信息是困難的。然而，命名實體通常存在于語音識別系統(tǒng)中，尤其是口頭對話系統(tǒng)中。這類實體非?？赡鼙蛔R別為具有相同或相似發(fā)音的其它常見單詞，因為命名實體可能從未出現(xiàn)在有限的訓(xùn)練語料庫中。本申請針對這一一般技術(shù)環(huán)境。

技術(shù)實現(xiàn)要素：

本公開的非限制性示例描述了使用組合的語言模型對接收的話語進行語言模型處理。組合語言模型被應(yīng)用以對與接收的話語相關(guān)聯(lián)的命名實體數(shù)據(jù)進行評估。組合的語言模型使用基于位置的語言模型和實體關(guān)系概率模型來對與接收的話語相關(guān)聯(lián)的命名實體數(shù)據(jù)進行評估。在至少一個示例中，使用至少一個實體知識圖以及與所述知識圖的實體相關(guān)聯(lián)的查詢點擊數(shù)據(jù)來對接收的話語的命名實體數(shù)據(jù)進行評估以生成一個或多個轉(zhuǎn)錄包含命名實體數(shù)據(jù)的最終概率?；谒鼋M合的語言模型計算的最終概率來輸出結(jié)果，其中輸出的結(jié)果包括基于所述組合的語言模型對候選轉(zhuǎn)錄的概率進行排名的一個或多個轉(zhuǎn)錄。

本公開的其它非限制性示例描述了生成用于對與接收的輸入相關(guān)聯(lián)的轉(zhuǎn)錄概率進行評估的加權(quán)組合語言模型?；诶玫膩碜悦麑嶓w數(shù)據(jù)的知識圖以及與所 述知識圖的命名實體相關(guān)聯(lián)的查詢點擊數(shù)據(jù)的位置信息來訓(xùn)練基于位置的語言模型?；趤碜灾R圖的實體關(guān)系數(shù)據(jù)以及從查詢點擊日志數(shù)據(jù)中提取的實體關(guān)系來訓(xùn)練實體關(guān)系概率模型?；诮?jīng)訓(xùn)練的基于位置的語言模型和經(jīng)訓(xùn)練的實體關(guān)系概率模型來生成用于對與接收的輸入相關(guān)聯(lián)的命名實體數(shù)據(jù)進行評估的加權(quán)組合語言模型。

提供本概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。各示例的附加方面、特征、和/或優(yōu)點將在以下描述中闡述，并且根據(jù)該描述而部分地顯而易見，或者可通過實踐本發(fā)明而獲知。

附圖說明

參考以下附圖描述非限制性和非窮盡的示例。

圖1解說了本文所描述的用于對接收的輸入進行語言處理的示例系統(tǒng)的概覽。

圖2解說了本文所描述的用于生成加權(quán)組合的語言模型的示例流程過程的概覽。

圖3解說了本文所描述的用于生成和應(yīng)用組合的語言模型的示例方法。

圖4解說了本文所描述的用于使用組合的語言模型來進行輸入處理的示例方法。

圖5是解說可用來實現(xiàn)本公開的各方面的計算設(shè)備的示例的框圖。

圖6A和6B是可用來實施本公開的各方面的移動計算設(shè)備的簡化框圖。

圖7是可在其中實施本公開的各方面的分布式計算系統(tǒng)的簡化框圖。

具體實施方式

本公開的各示例描述了利用知識圖來增強用于在線語音識別系統(tǒng)/服務(wù)的統(tǒng)計語言建模以更正確地識別命名實體。語音識別系統(tǒng)/服務(wù)應(yīng)用至少兩個模型來評估輸入，即1)聲音模型，以及2)語言模型。輸入是提供給處理設(shè)備并由處理設(shè)備處理的任何數(shù)據(jù)。雖然各示例可將輸入描述為與語音識別處理有關(guān)，但是本領(lǐng)域技術(shù)人員將認識到此處描述的各示例適用于任何類型的輸入，包括但不限于：語音/聲音輸入、文本輸入、手勢輸入、以及手寫輸入等示例。聲音模型被用于評估話語 的發(fā)音。聲音模型處理被用于對接收到的話語建模。聲音模型的輸出是針對每個話語的點陣。點陣是有向圖形式的中間概率模型。語言模型被用于計算整份轉(zhuǎn)錄/整個句子的概率，而不僅僅是命名實體的概率。語言模型處理正嘗試使用上下文信息來將來自候選點陣的電話編制成更有意義的單詞序列。采用由聲音模型生成的候選點陣，語言模型被應(yīng)用以生成N個最佳轉(zhuǎn)錄(具有概率的由單詞構(gòu)成的句子)，例如，10個具有最高概率的句子。候選轉(zhuǎn)錄被排名，并且生成具有最高排名的轉(zhuǎn)錄的輸出(例如，從N個最佳的轉(zhuǎn)錄中)作為最終轉(zhuǎn)錄。本公開的示例性組合語言模型被設(shè)計成增加包含正確的命名實體的轉(zhuǎn)錄的概率。示例性組合語言模型的輸出可確定具有正確的命名實體的轉(zhuǎn)錄，并且輸出具有最高概率的第一名轉(zhuǎn)錄代替包含具有相同或類似發(fā)音的其它錯誤的常見單詞的轉(zhuǎn)錄。

用戶很頻繁地將命名實體說給語音識別系統(tǒng)，尤其是口頭對話系統(tǒng)。命名實體是用于標識的數(shù)據(jù)的經(jīng)分類的元素。例如，命名實體是基于特性/屬性而從一組其它元素中標識某一元素的術(shù)語或詞組。命名實體數(shù)據(jù)是與命名實體相關(guān)聯(lián)的任意數(shù)據(jù)，例如由知識圖和/或查詢點擊日志所管理的數(shù)據(jù)等。作為示例，命名實體可被歸類為包括但不限于以下的數(shù)據(jù)：姓名、組織、地理位置、年齡、人/地點/東西的特性、地址、電話號碼、電子郵件地址、時間表示、數(shù)量、貨幣值、以及百分比等。本公開涉及通過語音識別系統(tǒng)/服務(wù)來改善語言模型處理。作為示例，假設(shè)用戶對語音識別系統(tǒng)說出命名實體“Weowna park”。缺少這一命名實體數(shù)據(jù)的大型但有限的訓(xùn)練語料庫可能將這一命名實體識別為“We gonna park”。本公開的各示例改善了語音識別的語言模型處理以便正確地識別命名實體，而不是將命名實體數(shù)據(jù)識別為具有相同或類似發(fā)音的某些其它常見單詞。

在本文所描述的示例中，利用了來自知識圖數(shù)據(jù)和查詢點擊日志(例如，搜索引擎查詢點擊數(shù)據(jù))的數(shù)以十億計的命名實體的屬性以及實體關(guān)系來改善統(tǒng)計語言建模以便識別未知的命名實體以及降低語音識別的詞錯誤率(WER)。本公開的各示例提供與僅僅是將新的實體添加到語言模型中相比更多的益處。在評估輸入的命名實體時，僅僅添加命名實體來改善語言模型的訓(xùn)練語料庫導(dǎo)致實體和圍繞該命名實體的相鄰單詞之間的過渡n元的概率為0。本公開的各示例使用知識圖的擴展的能力來提取和評估命名實體的屬性和關(guān)系以改善語言模型處理。因此，本公開提供了多個技術(shù)效果，效果包括但不限于：增強的用于輸入處理的語言模型，其中包括 用于語言模型處理的訓(xùn)練語料庫中的改善的穩(wěn)健性；語音識別處理中的改善的準確性，其中包括降低了WER以及改善了命名實體檢測；基于對知識圖數(shù)據(jù)和查詢點擊日志數(shù)據(jù)的利用的改善的輸入識別應(yīng)用/服務(wù)的效率和可用性；降低了語音識別系統(tǒng)/服務(wù)的處理負載；以及對用于輸入識別處理的用戶交互的控制等。

圖1解說了本文所描述的用于對接收的輸入進行語言處理的示例系統(tǒng)100的概覽。呈現(xiàn)的示例性系統(tǒng)100是相互依賴的組件的組合，這些組件交互以形成一個整合的整體，用于基于用戶示例操作生成習(xí)得的程序。系統(tǒng)100的各組件可以是硬件組件或者在系統(tǒng)100的硬件組件上實現(xiàn)的和/或由其執(zhí)行的軟件。在各示例中，系統(tǒng)100可包括硬件組件(例如，ASIC、用于執(zhí)行/運行操作系統(tǒng)(OS)的其它設(shè)備)以及運行在硬件上的軟件組件(例如，應(yīng)用、應(yīng)用編程接口、模塊、虛擬機、運行時庫等)中的任一者。在一個示例中，示例性系統(tǒng)100可提供用于軟件組件運行的環(huán)境、遵守用于操作的約束集、以及利用系統(tǒng)100的資源或工具，其中各組件可以是運行在一個或多個處理設(shè)備上的軟件(例如，應(yīng)用、程序、模塊等)。例如，軟件(例如，應(yīng)用、操作指令、模塊等)可以是運行在諸如計算機、移動設(shè)備(例如，智能手機/電話、平板)和/或任何其它電子設(shè)備之類的處理設(shè)備上。作為處理設(shè)備操作環(huán)境的示例，參照圖5－7的操作環(huán)境。在其它示例中，本文公開的系統(tǒng)的各組件可散布在多個設(shè)備上。例如，輸入可被輸入在客戶端設(shè)備(例如，處理設(shè)備)上，而信息可由網(wǎng)絡(luò)中的其它設(shè)備(諸如一個或多個服務(wù)器設(shè)備)處理或訪問。

作為一個示例，系統(tǒng)100包括基于位置的語言處理組件102、實體關(guān)系概率處理組件104、穩(wěn)健語言模型處理組件106以及組合語言模型處理組件108，每一個組件具有一個或多個附加的組件。本領(lǐng)域技術(shù)人員將領(lǐng)會系統(tǒng)(諸如系統(tǒng)100)的規(guī)模可變化，并且可包括與圖1中描述的那些組件相比更多或更少的組件。在一些示例中，系統(tǒng)100的各組件之間的對接可能遠程地進行，例如在系統(tǒng)100的組件可能散布在分布式網(wǎng)絡(luò)的一個或多個設(shè)備中的情況下。在各示例中，一個或多個數(shù)據(jù)存儲/貯存器或其它存儲器與系統(tǒng)100相關(guān)聯(lián)。例如，系統(tǒng)100的組件可具有與其相關(guān)聯(lián)的一個或多個數(shù)據(jù)存儲。與系統(tǒng)100的組件相關(guān)聯(lián)的數(shù)據(jù)以及由系統(tǒng)100的組件執(zhí)行的處理操作/指令可被存儲在該數(shù)據(jù)存儲上。系統(tǒng)100描述了利用來自知識圖的數(shù)據(jù)以及查詢點擊數(shù)據(jù)來改善實體識別的組件。在各示例中，知識圖和查詢點擊數(shù)據(jù)可被持久存儲在系統(tǒng)100的數(shù)據(jù)存儲中。

知識圖是數(shù)以十億計的命名實體、它們的屬性、以及它們之間豐富的關(guān)系集的集合。命名實體和關(guān)系通常從跨web資源、其它的結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)源、以及資源描述框架(RDF)等可用的多個資源中提取。RDF是一種允許對結(jié)構(gòu)化元數(shù)據(jù)進行編碼、交換以及重用的基礎(chǔ)結(jié)構(gòu)。RDF基于以主謂賓表達的形式來作出有關(guān)資源的敘述的構(gòu)思。這些表達被已知為RDF術(shù)語中的三元。典型地，三元由兩個命名實體和一個將它們以主謂賓表達形式鏈接在一起的關(guān)系組成，如從(Apple,Steve Jobs)中看到的。在一個示例中，三元是知識圖中的基本單元，知識圖通常包含數(shù)以十億計個三元并且在數(shù)據(jù)庫中管理三元。在評估知識圖時，統(tǒng)一的本體論被應(yīng)用于知識圖中，以便以完整的和機器可讀的形式描述全世界的命名實體的所有不同類別的元數(shù)據(jù)。例如，人本體論包含姓名、出生日期、死亡日期、高度、體重、配偶、兒女等屬性。作為示例，在schema.org中提供了一種學(xué)術(shù)界和主要研究機構(gòu)達成共識的普遍使用的本體論。通過統(tǒng)一的本體論和巨量的命名實體和它們的關(guān)系，知識圖能夠很好的覆蓋以及理解全世界的命名實體，這促使本發(fā)明利用它的能力來改善語言模型以在實體識別方面表現(xiàn)得更好。

查詢點擊日志數(shù)據(jù)(例如，搜索引擎查詢點擊數(shù)據(jù))是與搜索查詢的被點擊的統(tǒng)一資源定位符(URL)相關(guān)聯(lián)的數(shù)據(jù)的集合。查詢是輸入到web搜索的數(shù)據(jù)。商用搜索引擎每天記錄數(shù)以億計的搜索查詢。查詢點擊數(shù)據(jù)可被收集和管理以評估與查詢相關(guān)聯(lián)的命名實體。在一個示例中，查詢?nèi)罩局械牟樵兙哂幸唤M相關(guān)聯(lián)的在用戶輸入搜索查詢之后被點擊的URL。在該示例中，包含命名實體數(shù)據(jù)(例如，實體名稱)的查詢的句子可被評估以構(gòu)建用于識別處理的訓(xùn)練語料庫。訓(xùn)練語料庫是大型的結(jié)構(gòu)化數(shù)據(jù)集。

基于位置的語言處理組件102是評估與處理設(shè)備和一個或多個命名實體相關(guān)聯(lián)的位置信息的語言模型處理組件。基于位置的語言處理組件102構(gòu)建可被用于評價命名實體的基于位置的語言模型。在這樣做時，基于位置的語言處理組件102使用如上所述的來自知識圖和查詢點擊日志的數(shù)據(jù)。基于位置的語言處理組件102所估計的位置信息指的是地球表面上的一個點或一個區(qū)域或其它地方。作為示例，如果特定命名實體(例如，餐館)不是公知的，則語音識別系統(tǒng)或應(yīng)用要標識該實體是有困難的。本公開的各示例認識到未被識別的命名實體可能是具有與處理設(shè)備所位于的城市具有強關(guān)系的本地實體。例如，餐館具有地址屬性，某個活生生的人 可能與地址相關(guān)聯(lián)，以及事件發(fā)生在特定城市等。本公開的各示例利用知識圖來評估與處理設(shè)備位置檢測相關(guān)聯(lián)的實體位置信息以改善命名實體識別。在檢測位置信息時，基于位置的語言處理組件102可與處理設(shè)備的一個或多個附加組件對接。處理設(shè)備的位置信息的檢測是本領(lǐng)域技術(shù)人員已知的。基于位置的語言處理組件102使用機器學(xué)習(xí)處理來構(gòu)建基于位置的統(tǒng)計語言模型?；谖恢玫奶幚斫M件102所作的示例性處理被進一步描述在圖2的描述中。

實體關(guān)系概率處理組件104是評估知識圖的命名實體之間的關(guān)系的語言模型處理組件。實體關(guān)系概率處理組件104生成知識圖的命名實體與同接收的輸入(例如，說出的話語)相關(guān)聯(lián)的命名實體相關(guān)聯(lián)的概率。例如，如果接收到“how much is Microsoft worth”(微軟的價值是多少)的查詢，很可能下一個查詢會類似于“how much wealth does Bill Gates have”(比爾蓋茨有多少財富)。實體關(guān)系概率處理組件104可用于評估命名實體和查詢之間的關(guān)系。實體關(guān)系概率處理組件104所執(zhí)行的建模被用于改善實體識別處理。在各示例中，實體關(guān)系概率處理組件104使用知識圖來評估一個或多個話語中的命名實體的上下文以確定話語之間的聯(lián)系/關(guān)系以提高對輸入(例如，話語)之間的關(guān)系的正確性的評價的概率。實體關(guān)系概率處理組件104使用機器學(xué)習(xí)處理來構(gòu)建用于實體關(guān)系的概率模型。實體關(guān)系概率處理組件104所作的示例性處理被進一步描述在圖2的描述中。

穩(wěn)健語言模型處理組件106是生成根據(jù)非常大的訓(xùn)練語料庫的信息訓(xùn)練而成的統(tǒng)計語言以改善輸入識別處理的語言模型處理組件。由穩(wěn)健語言模型處理組件106管理的訓(xùn)練語料庫可包含包括系統(tǒng)100的知識圖中的實體的所有單詞的數(shù)據(jù)。在各示例中，穩(wěn)健語言模型處理組件106所作的處理通過概率分布向單詞序列分配概率以評估接收到的輸入。作為示例，穩(wěn)健語言模型處理組件106可以是一個n元模型。n元模型是一類用于以(n-1)階馬爾科夫模型形式預(yù)測序列中的下一項的概率語言模型。穩(wěn)健語言模型處理組件106使用機器學(xué)習(xí)處理來評估接收的輸入。穩(wěn)健語言模型處理組件106所作的示例性處理被進一步描述在圖2的描述中。

組合語言模型處理組件108是系統(tǒng)100的組合了來自基于位置的語言處理組件102、實體關(guān)系概率處理組件104、以及穩(wěn)健語言模型處理組件106的輸出中的兩個或更多個、用于生成組合語言模型的組件。組合語言模型被用于對評估接收的輸入作出最終判斷。組合語言模型處理組件108所作的最終判斷是考慮了基于位 置的語言處理組件102、實體關(guān)系概率處理組件104、以及穩(wěn)健語言模型處理組件106所提供的處理/建模的有關(guān)于用于解讀接收的輸入的候選轉(zhuǎn)錄的排名的最終概率。在各示例中，組合語言模型處理組件108可基于對基于位置的語言處理組件102、實體關(guān)系概率處理組件104、以及穩(wěn)健語言模型處理組件106所提供的處理的加權(quán)評估來作出最終判斷。作為示例，加權(quán)參數(shù)被應(yīng)用于由基于位置的語言處理組件102、實體關(guān)系概率處理組件104、和/或穩(wěn)健語言模型處理組件106所生成的結(jié)果。用于由系統(tǒng)100的各組件所作的評估處理的加權(quán)參數(shù)可以是基于與如上所述的組合不同類型的模型有關(guān)的統(tǒng)計建模(例如，線性和非線性分配)、遙測數(shù)據(jù)、受控或非受控測試和/或在先經(jīng)驗和判斷來分配的(或更新的)。作為組合語言模型處理組件108所作的最終判斷的結(jié)果，結(jié)果可被輸出到接收的輸入。作為示例，輸出是來自N個最佳轉(zhuǎn)錄的具有最高概率的一個或多個經(jīng)排名的轉(zhuǎn)錄(例如用于轉(zhuǎn)錄接收的輸入的句子或單詞組合)。本公開的組合語言模型示例提高了轉(zhuǎn)錄包含提供了接收的輸入的用戶所預(yù)期的正確的命名實體(例如，人、地點、東西)的概率。作為示例，組合語言模型的輸出可對包括命名實體數(shù)據(jù)的轉(zhuǎn)錄排名或重新排名，并且選擇具有最高概率的一個或多個轉(zhuǎn)錄作為最終輸出。組合語言模型的應(yīng)用可對轉(zhuǎn)錄進行評估以最小化可能包含具有類似發(fā)音的其它不正確的常見單詞的命名實體。在一些示例中，可構(gòu)建與處理設(shè)備的用戶的對話，其中不止一個輸入被接收。所描述的系統(tǒng)100的各組件能夠識別話語之間的關(guān)聯(lián)，并且組合語言模型處理組件108能夠?qū)⒆罱K判斷基于接收的輸入的對話的整體。組合語言模型處理組件108使用機器學(xué)習(xí)處理來作出對于接收的輸入的最終判斷。作為一個示例，最終判斷可被語音識別系統(tǒng)/服務(wù)用來評估接收的輸入并且輸出針對接收的輸入的響應(yīng)。如上所標識的，輸出可以是組合語言模型所作的處理的結(jié)果，輸出包括通過對接收的輸入的處理得到的一個或多個經(jīng)排名的轉(zhuǎn)錄。組合語言模型處理組件108所作的示例性處理被進一步描述在圖2的描述中。

圖2解說了本文所描述的用于生成加權(quán)組合的語言模型的示例流程過程200的概覽。作為示例，過程流200可由諸如圖1的系統(tǒng)100之類的示例性系統(tǒng)來執(zhí)行。在各示例中，過程流200可以在包括被配置成存儲和執(zhí)行操作、程序或指令的至少一個處理器的設(shè)備上執(zhí)行。然而，過程流200不限于這些示例。在其它示例中，過程流200可由用于輸入識別處理的應(yīng)用或服務(wù)來執(zhí)行。在至少一個示例中，過程 流200可由分布式網(wǎng)絡(luò)(例如web服務(wù)/分布式網(wǎng)絡(luò)服務(wù)(例如，云服務(wù)))的一個或多個組件執(zhí)行(例如計算機可實施操作)用于輸入識別處理。過程流200描述了由基于位置的語言處理組件102、實體關(guān)系概率處理組件104、以及穩(wěn)健語言模型處理組件106所作的示例性處理，用于生成加權(quán)組合語言模型226(例如，通過可由諸如圖1的組合語言模型處理組件108之類的組件執(zhí)行的操作來生成)。如過程流200中所示，實體關(guān)系概率模型處理、基于位置的語言模型處理、以及穩(wěn)健語言模型處理中的任意的組合導(dǎo)致生成用于評估一個或多個收到的輸入的加權(quán)組合語言模型220。

實體關(guān)系概率模型處理指的是以上關(guān)于圖1的實體關(guān)系概率處理組件104所描述的處理。實體關(guān)系概率模型處理利用來自知識圖和查詢點擊日志數(shù)據(jù)的實體的命名實體關(guān)系來確定與接收的輸入相關(guān)聯(lián)的命名實體是知識圖的命名實體的概率。在這樣做時，知識數(shù)據(jù)202被用于評估接收的輸入。作為示例，說出的話語輸入被接收并處理(例如，被轉(zhuǎn)錄)以用于使用聲音建模進行評估。該處理(例如，被轉(zhuǎn)錄的輸入元素的序列)可使用知識數(shù)據(jù)202來評估。知識數(shù)據(jù)202是可由實體關(guān)系概率模型處理和基于位置的語言模型處理用來評估接收的輸入的任意信息。作為示例，知識數(shù)據(jù)202包括知識圖和查詢點擊日志數(shù)據(jù)。知識圖和查詢點擊數(shù)據(jù)分別在之前描述過。實體關(guān)系概率模型處理包括將知識數(shù)據(jù)202用于處理以提取顯式相關(guān)的命名實體(操作204)、處理以提取隱式相關(guān)的命名實體(操作206)、以及處理以生成可由加權(quán)組合語言模型220使用的實體關(guān)系概率模型(操作208)。

實體關(guān)系概率模型處理可直接從知識圖中收集顯式相關(guān)的命名實體。顯式相關(guān)的命名實體是與知識圖的命名實體具有直接聯(lián)系的實體。作為示例，操作204可對知識圖中在特定數(shù)目個路徑內(nèi)連接到源實體(例如，用于評估知識圖的數(shù)據(jù)的起始點)的所有的命名實體進行評估。路徑是知識圖的命名實體之間的鏈接或聯(lián)系。在一個示例中，如果命名實體Microsoft被標識為源實體，則基于對直接連接到命名實體Microsoft的路徑進行評估，可被顯式相關(guān)的實體可包括諸如Bill Gates、Steve Ballmer、Surface以及Cortana之類的命名實體。顯式命名實體可基于統(tǒng)計分析來確定(和/或排名)。作為示例，實體關(guān)系概率模型處理可使用類似于下式的距離等式對連接到源實體的命名實體進行排名：

pe(E_i|E_J)＝1/D(E_i,E_J)²+D(E_i,E_J)

其中pe(E_i|E_J)是兩個命名實體的關(guān)系概率，而D(E_i,E_J)是它們之間的距離。

隱式相關(guān)的命名實體是以間接方式與知識圖的源實體相關(guān)的實體。操作206中執(zhí)行的實體關(guān)系概率模型處理除了知識圖之外還要求附加資源來提取隱式相關(guān)命名實體，因為隱式相關(guān)命名實體之間的連接路徑可能過長或者甚至在知識圖中根本不連接。通常認為知識圖中的每一個實體具有用于標識命名實體的屬性是從哪些網(wǎng)頁中提取出的源URL，在操作206中執(zhí)行的實體關(guān)系概率模型處理使用查詢點擊日志來尋找相關(guān)的源URL以檢測命名實體之間的隱式實體關(guān)系。一旦檢測到兩個源URL之間的聯(lián)系，就能夠標識命名實體之間的關(guān)系。在各示例中，可通過評估查詢點擊日志以尋求如下數(shù)據(jù)來評估查詢點擊數(shù)據(jù)以確定隱式關(guān)系，數(shù)據(jù)包括但不限于：在同一搜索會話中都被點擊的URL、呈現(xiàn)在針對一個單個查詢的同一組搜索結(jié)果中的URL、以及包含到彼此的鏈接的URL的網(wǎng)頁等。隱式命名實體可基于統(tǒng)計分析來確定(和/或排名)。作為示例，命名實體之間的隱式實體關(guān)系概率可根據(jù)以下等式來評估：

$\mathrm{pi}\left(\mathrm{EijEj}\right)=w1\frac{\mathrm{Cc}(\mathrm{Ei};\mathrm{Ej})}{\mathrm{Cc}\left(\mathrm{Ej}\right)}+w2\frac{C\left(\mathrm{Ei}\right)}{\mathrm{Ctotal}}+w2\mathrm{Re}(\mathrm{Ei};\mathrm{Ej})$

其中，當查詢實體E_j時，在計為C_total的所有返回的搜索結(jié)果中，C_c(E_i,E_j)是一個搜索會話中實體源URL共同點擊計數(shù)，C_c(E_j)是實體E_j的源URL點擊計數(shù)，C(E_i)是實體E_i的源URL計數(shù)，R_e(E_i,E_j)是通過頁面排名算法計算出的源URL網(wǎng)頁的平均相關(guān)性，并且wi是通過線性回歸求得的權(quán)重。值得注意的是，權(quán)重遵守總概率法則：

在操作208，實體關(guān)系概率模型處理將顯式和隱式關(guān)系組合在一起以確定實體關(guān)系概率。實體關(guān)系概率可基于統(tǒng)計分析來確定。作為示例，實體關(guān)系概率可根據(jù)下式來計算：

pi(EijEj)＝w^1pe(EijEj)+w^2pi(EijEj)

假設(shè)Ej和Ek分別是從對話內(nèi)的之前的話語中檢測到的N個命名實體中的一個以及經(jīng)評估的句子Si中的M個n元中的一個，則實體關(guān)系概率模型Mr生成的Si的概率為：

$p\left(\mathrm{Si}\right|\mathrm{Mr})=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}R(\mathrm{Ej},\mathrm{Si})$

$R(\mathrm{Ej},\mathrm{Si})=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}p\left(\mathrm{Ek}\right|\mathrm{Ej}),E_k\∈S_i$

操作208中計算的實體關(guān)系概率可被提供給加權(quán)組合語言模型220以應(yīng)用于對實體關(guān)系概率模型處理、基于位置的語言模型處理、以及穩(wěn)健的語言模型處理中的兩個或更多個的加權(quán)評估。

基于位置的語言模型處理指的是以上關(guān)于圖1的基于位置的語言處理組件102所描述的處理?；谖恢玫恼Z言處理利用帶有知識圖和來自web搜索的查詢點擊數(shù)據(jù)中的位置信息的命名實體來改善語言模型的本地實體識別能力。基于位置的語言模型處理將知識數(shù)據(jù)202用于處理以與接收的輸入中標識的實體相比較地評估與知識圖的命名實體相關(guān)聯(lián)的實體位置信息。作為示例，對于說出的話語的輸入處理可確定諸如“find the address for Lake Washington”(尋找華盛頓湖的地址)之類的問題?；谳斎胩幚恚麑嶓w“Lake Washington”(華盛頓湖)可被標識并由基于位置的語言模型處理來評估。在該示例中，輸入處理可確定作出該輸入的處理設(shè)備位于華盛頓州的西雅圖。這一位置信息可被用于輔助對包括在知識圖中的命名實體“Lake Washington”(華盛頓湖)進行評估。作為示例，處理設(shè)備位置信息非常容易從移動設(shè)備的GPS數(shù)據(jù)中或者PC的IP地址中獲取。在各示例中，處理設(shè)備位置信息可與輸入(例如，話語)一起被發(fā)送到輸入識別應(yīng)用/服務(wù)。當加權(quán)組合語言模型220被應(yīng)用于接收的輸入時，這改善了對可能感興趣的命名實體的標識。

在操作210，基于位置的語言模型處理包括根據(jù)命名實體的位置聚集知識圖中的命名實體。聚集包括將一個或多個命名實體根據(jù)位置分組成多個組。在各示例中，命名實體的位置可比與命名實體相關(guān)聯(lián)的詳細地址更寬泛些。在該示例中，命名實體可根據(jù)諸如城市和州之類的位置來聚集。然而，本領(lǐng)域技術(shù)人員將認識到命名實體可按照任意形式的位置信息來聚集。

基于位置的語言模型處理前進到操作212，在此進行對于訓(xùn)練語料庫生成的處理。在操作212，使用查詢點擊日志數(shù)據(jù)(例如，搜索查詢?nèi)罩緮?shù)據(jù))來提取包含實體名稱的查詢句子來為每一個命名實體聚類構(gòu)建一個訓(xùn)練語料庫。為命名實體的聚類生成訓(xùn)練語料庫可基于統(tǒng)計分析來確定。在為命名實體的聚類生成訓(xùn)練語料庫時，每個命名實體聚類被用于處理查詢點擊日志數(shù)據(jù)以基于類似于下式來生成訓(xùn)練 語料庫：

CORPUSi＝{Sj|Ek∈Sj，Ek∈Ci}

其中Sj是搜索引擎查詢?nèi)罩局械牟樵兙渥?，而Ek和Ci分別是命名實體和實體聚類。

基于位置的語言模型處理前進到操作214，在此，基于位置的統(tǒng)計模型被構(gòu)建在每個訓(xùn)練語料庫的頂部。作為示例，基于位置的統(tǒng)計模型可以是n元語言模型。然而，本領(lǐng)域技術(shù)人員將認識到本公開不限于這一示例。操作214中生成的基于位置的統(tǒng)計語言模型可被提供給加權(quán)組合語言模型220以應(yīng)用于對實體關(guān)系概率模型處理、基于位置的語言模型處理、以及穩(wěn)健的語言模型處理中的兩個或更多個的加權(quán)評估。

穩(wěn)健的語言模型處理指的是以上關(guān)于圖1的穩(wěn)健的語言模型處理組件106所描述的處理。穩(wěn)健的語言模型處理利用訓(xùn)練語料庫216來構(gòu)建適用于加權(quán)組合語言模型200中的語言模型以改善本地實體識別能力。為穩(wěn)健的語言模型處理組件而管理的訓(xùn)練語料庫216可包含包括系統(tǒng)100的知識圖中的實體的所有單詞的數(shù)據(jù)。由訓(xùn)練語料庫216維護的數(shù)據(jù)的示例包括但不限于：知識圖數(shù)據(jù)、查詢點擊數(shù)據(jù)、消息、電子郵件、對話(例如，被錄下的電話對話)、廣播新聞、多個命名實體、詞匯表、詞典、以及由對于輸入識別/理解系統(tǒng)/服務(wù)內(nèi)部地和外部地可用的資源所提供的任何其它信息或數(shù)據(jù)。穩(wěn)健的語言模型處理前進到生成(操作218)根據(jù)訓(xùn)練語料庫216構(gòu)建的語言模型。作為示例，語言模型可以是n元模型(例如，單元模型、3元模型等)。然而，本領(lǐng)域技術(shù)人員將認識到操作218中生成的語言模型不限于這一示例。

加權(quán)組合語言模型220被用來應(yīng)用于對接收的輸入的處理。加權(quán)組合語言模型220基于所應(yīng)用的實體關(guān)系概率模型處理、基于位置的語言模型處理、以及穩(wěn)健的語言模型處理的處理來生成組合語言模型。作為示例，加權(quán)組合語言模型220是所應(yīng)用的用于評估接收的輸入的處理的加權(quán)組合。用于應(yīng)用加權(quán)組合語言模型220的操作類似于圖1的組合語言模型處理組件108所描述的那些操作。作為示例，加權(quán)參數(shù)被應(yīng)用于由實體關(guān)系概率模型處理、基于位置的語言模型處理、以及穩(wěn)健的語言模型處理所生成的結(jié)果。在一個示例中，最大后驗(MAP)估計可被用來估計或更新權(quán)重參數(shù)。然而，本領(lǐng)域技術(shù)人員將認識到用于加權(quán)組合語言模型220的參 數(shù)的權(quán)重的設(shè)置可通過以下操作來作出，操作包括但不限于：與組合不同類型的處理模型有關(guān)的統(tǒng)計建模(例如，線性和非線性分配)、遙測數(shù)據(jù)、受控或非受控測試和/或在先經(jīng)驗和判斷?；诩訖?quán)組合語言模型220的評估的判斷和輸出結(jié)合對于圖1的組合語言模型處理組件108的描述來描述。輸入識別系統(tǒng)/服務(wù)可使用統(tǒng)計分析來確定解讀接收的輸入的最終概率。該最終概率判斷可被用于作出關(guān)于用于對接收的輸入作出響應(yīng)的輸出的判斷。在一個示例中由加權(quán)組合語言模型220生成的句子的最終概率可通過類似于下式的等式來計算：

p(Si|M)＝w～1p(Si|Mg)+w～2p(Si|Ml)+w～3p(Si|Mr)

其中，M_g是在巨量通用訓(xùn)練語料庫上訓(xùn)練的通用語言模型，M_l是根據(jù)用戶位置選擇的基于位置的語言模型，M_r是根據(jù)知識圖生成的實體關(guān)系概率模型，而w_i是將這三個模型組合在一起的加權(quán)參數(shù)?；谧罱K概率的輸出可以是N個最佳轉(zhuǎn)錄中具有最高概率的轉(zhuǎn)錄(句子)。本公開的組合語言模型示例提高了轉(zhuǎn)錄包含提供了接收的輸入的用戶所預(yù)期的正確的命名實體(例如，人、地點、東西)的概率。作為示例，組合語言模型的輸出對包括命名實體數(shù)據(jù)的轉(zhuǎn)錄排名或重新排名，并且選擇具有最高概率的一個或多個轉(zhuǎn)錄作為最終輸出。組合語言模型的應(yīng)用可對轉(zhuǎn)錄進行評估以最小化可能包含具有類似發(fā)音的其它不正確的常見單詞的命名實體。

圖3解說了本文所描述的用于生成和應(yīng)用組合的語言模型的示例方法300。作為示例，方法300可由諸如圖1的系統(tǒng)100之類的示例性系統(tǒng)來執(zhí)行。在各示例中，方法300可以在包括被配置成存儲和執(zhí)行操作、程序或指令的至少一個處理器的設(shè)備上執(zhí)行。然而，方法300不限于這些示例。在其它示例中，方法300可由用于輸入識別處理的應(yīng)用或服務(wù)來執(zhí)行。在至少一個示例中，方法300可由分布式網(wǎng)絡(luò)(例如web服務(wù)/分布式網(wǎng)絡(luò)服務(wù)(例如，云服務(wù)))的一個或多個組件執(zhí)行(例如計算機可實施操作)用于輸入識別處理。在一個示例中，方法300可以是由語音識別系統(tǒng)的語言模型處理組件所應(yīng)用的操作。

方法300開始于操作302，在此，訓(xùn)練基于位置的語言模型。基于位置的語言模型的訓(xùn)練(操作302)可包括由圖1中描述的基于位置的語言處理組件102或者圖2的描述中描述的包括基于位置的語言處理的處理流程200所執(zhí)行的一個或多個處理操作。操作302包括生成基于利用的來自命名實體數(shù)據(jù)的知識圖以及與知識圖的命名實體相關(guān)聯(lián)的查詢點擊日志數(shù)據(jù)的位置信息來訓(xùn)練的基于位置的語言 模型。在一個示例中，基于位置的模型的訓(xùn)練(操作302)包括基于位置對知識圖的命名實體進行聚集，并且基于所聚集的命名實體和與聚集的命名實體的位置相關(guān)聯(lián)的查詢點擊日志數(shù)據(jù)來生成基于位置的語言模型。在該示例中，歸屬于同一位置的命名實體被聚集在一起，并且基于位置的統(tǒng)計模型被構(gòu)建在聚集的命名實體和針對實體的該位置(例如，城市/州)的查詢點擊日志數(shù)據(jù)之上。經(jīng)訓(xùn)練的基于位置的模型可被用于生成(操作308)組合語言模型。

在操作304中訓(xùn)練實體關(guān)系概率模型。實體關(guān)系概率模型的訓(xùn)練(操作304)可包括由圖1中描述的實體關(guān)系概率處理組件104或者圖2的描述中描述的包括實體關(guān)系概率模型處理的處理流程200所執(zhí)行的一個或多個處理操作。作為示例，基于根據(jù)知識圖和與命名實體相關(guān)聯(lián)的查詢點擊日志數(shù)據(jù)對實體關(guān)系數(shù)據(jù)進行評估來訓(xùn)練實體關(guān)系概率模型。在一個示例中，命名實體的顯式關(guān)系基于知識圖中標識的直接聯(lián)系來確定，而命名實體的隱式關(guān)系基于對與知識圖中的命名實體相關(guān)聯(lián)的查詢點擊日志數(shù)據(jù)進行評估來確定。經(jīng)訓(xùn)練的實體關(guān)系概率模型可被用于生成(操作308)組合語言模型。

在操作306中訓(xùn)練穩(wěn)健的語言模型。穩(wěn)健的語言模型的訓(xùn)練(操作306)可包括由圖1中描述的穩(wěn)健的語言模型處理組件106或者圖2的描述中描述的包括穩(wěn)健的語言模型處理的處理流程200所執(zhí)行的一個或多個處理操作。穩(wěn)健的語言模型基于包括巨量詞匯表的訓(xùn)練語料庫來訓(xùn)練，所述詞匯表至少包括在知識圖中維護的命名實體的全部單詞。經(jīng)訓(xùn)練的穩(wěn)健的語言模型可被用于生成(操作308)組合語言模型。

流程前進至操作308，在此，生成組合語言模型。組合語言模型被用于對與一個或多個接收的輸入(諸如接收的話語)相關(guān)聯(lián)的命名實體數(shù)據(jù)進行評估。在一個示例中，組合語言模型是根據(jù)經(jīng)訓(xùn)練的基于位置的語言模型、經(jīng)訓(xùn)練的實體關(guān)系概率模型、以及經(jīng)訓(xùn)練的穩(wěn)健的語言模型中的至少兩個來生成的。在各示例中，組合的語言模型以加權(quán)組合形式應(yīng)用經(jīng)訓(xùn)練的模型中的兩個或更多個。在應(yīng)用組合語言模型時，在操作302－306的每一個中生成的語言模型可被分配一個加權(quán)參數(shù)。加權(quán)和加權(quán)參數(shù)已在之前圖1和2的描述中討論過。

在操作310中，生成的組合語言模型被應(yīng)用于接收的輸入。作為示例，組合語言模型的應(yīng)用包括使用操作302－306中生成的經(jīng)訓(xùn)練的語言模型來對與接收的輸 入相關(guān)聯(lián)的命名實體數(shù)據(jù)進行評估。操作310包括使用基于位置的語言模型對與接收的輸入相關(guān)聯(lián)的一個或多個命名實體進行評估。操作310進一步包括使用經(jīng)訓(xùn)練的實體關(guān)系概率模型來基于對知識圖的命名實體之間的顯式關(guān)聯(lián)和知識圖的命名實體之間的隱式關(guān)聯(lián)進行評估來確定與接收的話語相關(guān)聯(lián)的命名實體是知識圖的命名實體的實體關(guān)系概率。操作310進一步包括使用經(jīng)訓(xùn)練的穩(wěn)健的語言模型來對接收的輸入進行評估。操作310進一步包括基于分配給加權(quán)組合語言模型中的至少經(jīng)訓(xùn)練的基于位置的語言模型和經(jīng)訓(xùn)練的實體關(guān)系概率模型的權(quán)重來確定對于包含命名實體數(shù)據(jù)的一個或多個轉(zhuǎn)錄的排名的最終概率。作為示例，基于聲音模型處理的候選點陣可基于組合語言模型的應(yīng)用而被重新排名。

基于組合的語言模型的應(yīng)用(操作310)，流程前進到操作312，在此，輸出被傳送。在一個示例中，操作312包括基于由加權(quán)組合語言模型計算的最終概率來輸出接收的話語的結(jié)果。作為示例，輸出可以是基于組合語言模型的應(yīng)用對聲音模型所生成的點陣的重新排名。輸出可以是語音識別系統(tǒng)/服務(wù)在作出關(guān)于對接收的輸入的輸入識別的最終判斷中使用的信號。在各示例中，輸出可包括基于組合的語音模型對候選轉(zhuǎn)錄的概率進行排名的一個或多個轉(zhuǎn)錄。

圖4解說了本文所描述的用于使用組合的語言模型來進行輸入處理的示例方法400。作為示例，方法400可由諸如圖1的系統(tǒng)100之類的示例性系統(tǒng)來執(zhí)行。在各示例中，方法400可以在包括被配置成存儲和執(zhí)行操作、程序或指令的至少一個處理器的設(shè)備上執(zhí)行。然而，方法400不限于這些示例。在其它示例中，方法400可由用于輸入識別處理的應(yīng)用或服務(wù)來執(zhí)行。在至少一個示例中，方法400可由分布式網(wǎng)絡(luò)(例如web服務(wù)/分布式網(wǎng)絡(luò)服務(wù)(例如，云服務(wù)))的一個或多個組件執(zhí)行(例如計算機可實施操作)用于輸入識別處理。在一個示例中，方法400可以是由語音識別系統(tǒng)/服務(wù)的語言模型處理組件所應(yīng)用的操作。

方法400開始于操作402，在此，語音識別系統(tǒng)/服務(wù)接收第一輸入。作為示例，輸入可以是口頭語音理解系統(tǒng)/服務(wù)或語音識別系統(tǒng)/服務(wù)所接收并處理的話語。本領(lǐng)域技術(shù)人員將認識到示例性語音識別系統(tǒng)/服務(wù)具有接收并處理輸入的能力(例如，硬件/軟件)。在一個示例中，接收的輸入是由語音識別系統(tǒng)/服務(wù)所處理的信號。

流程前進至操作404，在此，檢測發(fā)送該輸入的處理設(shè)備的位置。處理設(shè)備的位置信息的檢測是本領(lǐng)域技術(shù)人員已知的。作為示例，處理設(shè)備的位置可從處理設(shè)備的GPS數(shù)據(jù)或聯(lián)網(wǎng)數(shù)據(jù)(例如，IP地址)中獲取。在一個示例中，語音識別系統(tǒng)/服務(wù)可被編程為與接收的話語一起接收處理設(shè)備的位置信息。

流程前進至通過應(yīng)用組合的語言模型來處理(操作406)接收的話語以對第一話語進行評估。應(yīng)用的組合的語言模型是如之前在以上的圖1－3的描述中描述的組合的語言模型或加權(quán)組合語言模型。在各示例中，組合語言模型應(yīng)用包括基于位置的語言模型、實體關(guān)系概率模型、以及穩(wěn)健的語言模型的兩個或更多個不同語言模型。操作406可對檢測到的位置信息進行評估以改善對由聲音模型處理生成的候選點陣進行的評估(例如重新排名)。組合的語言模型所應(yīng)用的基于位置的模型可使用檢測到的位置信息來改善檢測與接收的輸入相關(guān)聯(lián)的命名實體的準確性。除了基于位置的模型處理，操作406包括通過應(yīng)用實體關(guān)系處理(例如，實體關(guān)系模型)來對與接收的話語中標識的命名實體相關(guān)聯(lián)的實體關(guān)系進行評估。組合語言模型應(yīng)用實體關(guān)系概率模型來對與接收的輸入的命名實體相關(guān)聯(lián)的上下文進行評估。這利用了對話內(nèi)的一個或多個話語之間的上下文中的潛在的有價值的聯(lián)系以進一步改善語言模型。組合的語言模型可使用實體關(guān)系概率模型來增強語言模型處理并改善對用于輸出的候選點陣的排名/重新排名。此外，在各示例中，組合的語言模型還可應(yīng)用穩(wěn)健的語言模型的處理來增強語言模型處理，諸如對用于實體識別的候選點陣的排名/重新排名。操作406進一步包括基于對組合的語言模型的應(yīng)用來輸出判斷。作為示例，輸出可以是基于組合語言模型的應(yīng)用對聲音模型所生成的點陣的重新排名。輸出可以是語音識別系統(tǒng)/服務(wù)在作出關(guān)于對接收的輸入的輸入識別的最終判斷中使用的信號。

流程可前進至判決操作408，在此，判斷是否接收另一話語。如果操作408確定沒有接收到另一話語，則流程分支到否，方法400的處理結(jié)束。典型地，對話或會話包括在處理設(shè)備和語音識別系統(tǒng)/服務(wù)之間的多次交換。如果操作408確定接收到另一話語，則流程分支到是，并前進到操作410。

在操作410，來自之前處理的實體關(guān)系概率被重新計算(例如，與語音識別系統(tǒng)/服務(wù)的對話中的話語)。在不止一個話語被接收的情況下，語音識別系統(tǒng)/服務(wù)可從之前的話語中進行構(gòu)建，用于利用來自知識圖的數(shù)據(jù)以增強對命名實體的標識以 及輸出最佳排名的轉(zhuǎn)錄。換言之，操作410利用知識圖中的實體關(guān)系來提升對與之前的話語中標識的命名實體有關(guān)的命名實體的識別概率，以利于整個會話對話中的接下來的話語。作為示例，與第二話語相關(guān)聯(lián)的命名實體是知識圖的命名實體的實體關(guān)系概率通過使用基于對之前接收的話語應(yīng)用組合的語音模型的實體提取數(shù)據(jù)來重新計算。

流程前進至操作412，在此，為第二話語計算最終概率。操作412基于對以上所述的組合的語言模型的應(yīng)用來計算第二話語的最終概率。在各示例中，組合的語音模型的應(yīng)用包括對重新計算的實體關(guān)系概率的考慮。例如，組合語言模型可對實體關(guān)系概率模型、基于位置的語言模型和/或穩(wěn)健的語言模型施加加權(quán)。施加給組合的語言模型中的各語言模型的加權(quán)參數(shù)可根據(jù)處理設(shè)備和語音識別系統(tǒng)/服務(wù)之間構(gòu)建的對話的話語來調(diào)整。例如，基于重新計算的實體關(guān)系概率，較高的權(quán)重可被分配給實體關(guān)系概率模型。

基于為第二話語計算的最終概率，流程前進至操作414，在此，根據(jù)組合的語音模型的處理輸出結(jié)果。在各示例中，輸出可包括基于組合的語音模型對候選轉(zhuǎn)錄的概率進行排名的一個或多個轉(zhuǎn)錄。輸出可以是語音識別系統(tǒng)/服務(wù)在作出關(guān)于對接收的輸入的輸入識別的最終判斷中使用的信號。

處理流程返回到判決操作408，在此，判斷是否接收更多的話語。如果操作408確定沒有接收到另一話語，則流程分支到否，方法400的處理結(jié)束。如果操作408確定接收到另一話語，則流程分支到是，并前進到操作410以對更多的話語進行評估。

圖5-7及相關(guān)聯(lián)的描述提供了其中可實施本發(fā)明的各示例的各種操作環(huán)境的討論。然而，關(guān)于圖5-7所示出和討論的設(shè)備和系統(tǒng)是用于示例和說明的目的，而非對可被用于實施本文所述的本發(fā)明的各示例的大量計算設(shè)備配置的限制。

圖5是解說計算設(shè)備502的物理組件(例如，可用來實現(xiàn)本公開的各示例的系統(tǒng)的組件)的框圖。下面描述的計算設(shè)備組件可適用于上述的計算設(shè)備。在基本配置中，計算設(shè)備502可包括至少一個處理單元504和系統(tǒng)存儲器506。取決于計算設(shè)備的配置和類型，系統(tǒng)存儲器506可包括，但不限于，易失性存儲(例如，隨機存取存儲器)、非易失性存儲(例如，只讀存儲器)、閃存、或這些存儲器的任何組合。系統(tǒng)存儲器506可包括操作系統(tǒng)507和適合于運行諸如應(yīng)用528、IO管理器 524、以及其它工具526之類的軟件應(yīng)用520的一個或多個程序模塊508。作為示例，系統(tǒng)存儲器506可存儲用于執(zhí)行的指令。作為示例，系統(tǒng)存儲器506的其它示例可以是持久存儲的數(shù)據(jù)存儲/儲存器。操作系統(tǒng)507例如可適合于控制計算設(shè)備502的操作。此外，本發(fā)明的各示例可結(jié)合圖形庫、其他操作系統(tǒng)、或任何其他應(yīng)用程序來實踐，并且不限于任何特定應(yīng)用或系統(tǒng)。該基本配置在圖5中由虛線522內(nèi)的那些組件示出。計算設(shè)備502可具有附加特征或功能。例如，計算設(shè)備502還可包括附加數(shù)據(jù)存儲設(shè)備(可移動和/或不可移動)，諸如，例如磁盤、光盤或磁帶。這些附加存儲在圖5中由可移動存儲設(shè)備509和不可移動存儲設(shè)備510示出。

如上所述，可在系統(tǒng)存儲器506中存儲多個程序模塊和數(shù)據(jù)文件。盡管在處理單元504上執(zhí)行，但是程序模塊508(例如輸入/輸出(I/O)管理器524、其它工具526、以及應(yīng)用528)可以執(zhí)行包括但不限于下列過程：例如圖4中所示的操作方法400的階段中的一個或多個。可根據(jù)本發(fā)明的各示例使用的其他程序模塊可包括電子郵件和聯(lián)系人應(yīng)用、文字處理應(yīng)用、電子表格應(yīng)用、數(shù)據(jù)庫應(yīng)用、幻燈片演示應(yīng)用、輸入識別應(yīng)用、繪圖或計算機輔助應(yīng)用程序等。

此外，本發(fā)明的各示例可在包括分立電子元件的電子電路、包含邏輯門的封裝或集成電子芯片、利用微處理器的電路、或在包含電子元件或微處理器的單個芯片上實踐。例如，可以通過片上系統(tǒng)(SOC)來實踐本發(fā)明的各示例，其中，可以將圖5中示出的每個或許多組件集成到單個集成電路上。這樣的SOC設(shè)備可包括一個或多個處理單元、圖形單元、通信單元、系統(tǒng)虛擬化單元以及各種應(yīng)用功能，所有這些都被集成到(或“燒錄到”)芯片基板上作為單個集成電路。當通過SOC操作時，在此所述的功能可以通過與計算設(shè)備502的其他組件一起集成在單個集成電路(芯片)上的應(yīng)用專用邏輯來操作。本發(fā)明的各示例還可使用能夠執(zhí)行諸如例如，AND(與)、OR(或)和NOT(非)的邏輯運算的其他技術(shù)來實踐，包括但不限于，機械、光學(xué)、流體和量子技術(shù)。另外，本發(fā)明的各示例可在通用計算機或任何其他電路或系統(tǒng)中實踐。

計算設(shè)備502還可具有一個或多個輸入設(shè)備512，如鍵盤、鼠標、筆、語音輸入設(shè)備、用于語音輸入/識別的設(shè)備、觸摸輸入設(shè)備等。也可包括輸出設(shè)備514，如顯示器、揚聲器、打印機等等。上述設(shè)備是示例，并且可使用其他設(shè)備。計算設(shè)備504可包括允許與其他計算設(shè)備516進行通信的一個或多個通信連接518。合適的 通信連接516的示例包括但不限于RF發(fā)射機、接收機和/或收發(fā)機電路；通用串行總線(USB)、并行和/或串行端口。

本文所使用的術(shù)語計算機可讀介質(zhì)可包括計算機存儲介質(zhì)。計算機存儲介質(zhì)可包括以任何方法或技術(shù)實現(xiàn)的用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、或程序模塊等信息的易失性和非易失性、可移動和不可移動介質(zhì)。系統(tǒng)存儲器506、可移動存儲設(shè)備509和不可移動存儲設(shè)備510都是計算機存儲介質(zhì)(即，存儲器存儲)的示例。計算機存儲介質(zhì)可以包括RAM、ROM、電可擦除只讀存儲器(EEPROM)、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光存儲、磁帶盒、磁帶、磁盤存儲或其他磁性存儲設(shè)備、或可用于存儲信息且可以由計算機設(shè)備502訪問的任何其他制造品。任何這樣的計算機存儲介質(zhì)都可以是計算設(shè)備502的一部分。計算機存儲介質(zhì)不包括載波或其他傳播或已調(diào)數(shù)據(jù)信號。

通信介質(zhì)可由諸如載波或其他傳輸機制等已調(diào)制數(shù)據(jù)信號中的計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù)來體現(xiàn)，并且包括任何信息傳遞介質(zhì)。術(shù)語“已調(diào)制數(shù)據(jù)信號”可以描述以對信號中的信息進行編碼的方式來設(shè)置或改變其一個或多個特征的信號。作為示例而非限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接線連接等有線介質(zhì)，以及諸如聲學(xué)、射頻(RF)、紅外線和其他無線介質(zhì)等無線介質(zhì)。

圖6A和6B示出可用來實施本發(fā)明的各示例的移動計算設(shè)備600，例如移動電話、智能電話、個人數(shù)據(jù)助理、平板個人計算機、膝上型計算機等。例如，移動計算設(shè)備600可以被實現(xiàn)為系統(tǒng)100，系統(tǒng)100的組件可被配置成執(zhí)行如圖4中描述的處理方法等。參考圖6A，示出了用于實現(xiàn)各示例的移動計算設(shè)備600的一個示例。在一基本配置中，移動計算設(shè)備600是具有輸入元件和輸出元件兩者的手持式計算機。移動計算設(shè)備600通常包括顯示器605以及允許用戶將信息輸入到移動計算設(shè)備600中的一個或多個輸入按鈕610。移動計算設(shè)備605的顯示器600也可充當輸入設(shè)備(如觸摸屏顯示器)。如果包括，則可任選的側(cè)輸入元件615允許進一步的用戶輸入。側(cè)輸入元件615可以是旋轉(zhuǎn)開關(guān)、按鈕、或任何其他類型的手動輸入元件。在替代示例中，移動計算設(shè)備600可納入更多或更少的輸入元件。例如，在某些示例中，顯示器605可以不是觸摸屏。在又一替代示例中，移動計算設(shè)備600是諸如蜂窩電話之類的便攜式電話系統(tǒng)。移動計算設(shè)備600還可包括可選的小鍵盤635?？蛇x的鍵區(qū)635可以是物理鍵區(qū)或者在觸摸屏顯示器上生成的“軟” 鍵區(qū)。在各示例中，輸出元件包括用于示出圖形用戶界面(GUI)的顯示器605、可視指示器620(如發(fā)光二極管)、和/或音頻換能器625(如揚聲器)。在某些示例中，移動計算設(shè)備600結(jié)合振動換能器來向用戶提供觸覺反饋。在又一示例中，移動計算設(shè)備600結(jié)合諸如音頻輸入(如傳聲器插孔)、音頻輸出(如耳機插孔)、以及視頻輸出(如HDMI端口)之類的輸入和/或輸出端口，用于將信號發(fā)送到外部設(shè)備或從外部設(shè)備接收信號。

圖6B是示出移動計算設(shè)備的一個示例的架構(gòu)的框圖。即，移動計算設(shè)備600可納入系統(tǒng)(即架構(gòu))602以實現(xiàn)某些示例。在一個示例中，系統(tǒng)602被實現(xiàn)為能夠運行一個或多個應(yīng)用(如瀏覽器、電子郵件、輸入處理、日歷、聯(lián)系人管理器、消息收發(fā)客戶端、游戲、以及媒體客戶端/播放器)的“智能電話”。在某些示例中，系統(tǒng)602被集成為計算設(shè)備，諸如集成的個人數(shù)字助理(PDA)和無線電話。

一個或多個應(yīng)用程序666可被加載到存儲器662中并在操作系統(tǒng)664上或與操作系統(tǒng)1964相關(guān)聯(lián)地運行。應(yīng)用程序的示例包括電話撥號程序、電子郵件程序、個人信息管理(PIM)程序、文字處理程序、電子表格程序、因特網(wǎng)瀏覽器程序、消息通信程序等等。系統(tǒng)602還包括存儲器668內(nèi)的非易失性存儲區(qū)662。非易失性存儲區(qū)668可被用于存儲在系統(tǒng)602斷電時不會丟失的持久信息。應(yīng)用程序666可使用信息并將信息存儲在非易失性存儲區(qū)668中，如電子郵件應(yīng)用使用的電子郵件或其他消息等。同步應(yīng)用(未示出)也駐留于系統(tǒng)602上且被編程為與駐留在主機計算機上的對應(yīng)的同步應(yīng)用交互，以保持非易失性存儲區(qū)668中存儲的信息與主機計算機處存儲的相應(yīng)信息同步。應(yīng)當理解，其它應(yīng)用也可被加載到存儲器662中并在包括在此所述的IO管理器524、其它工具526以及應(yīng)用528的移動計算設(shè)備600上運行。

系統(tǒng)602具有可被實現(xiàn)為一個或多個電池的電源670。電源670還可包括外部功率源，如補充電池或?qū)﹄姵爻潆姷腁C適配器或加電對接托架。

系統(tǒng)602可包括執(zhí)行促進系統(tǒng)602和一個或多個外圍設(shè)備之間的連接性的功能的外圍設(shè)備端口678。來往外圍設(shè)備端口672的傳輸是在操作系統(tǒng)664的控制下進行的。換言之，外圍設(shè)備端口678接收的通信可通過操作系統(tǒng)664傳播到應(yīng)用程序666，反之亦然。

系統(tǒng)602還可包括執(zhí)行發(fā)射和接收無線電頻率通信的功能的無線電672。無線 電672通過通信運營商或服務(wù)供應(yīng)商促進了系統(tǒng)602與“外部世界”之間的無線連接性。來往無線電672的傳輸是在操作系統(tǒng)664的控制下進行的。換言之，無線電672接收的通信可通過操作系統(tǒng)666傳播到應(yīng)用程序664，反之亦然。

可以使用可視指示器620來提供可視通知，和/或可以使用音頻接口674來經(jīng)由音頻換能器625產(chǎn)生可聽通知。在所示示例中，可視指示器620是發(fā)光二極管(LED)，而音頻換能器625是揚聲器。這些設(shè)備可直接耦合到電源670，使得當被激活時，即使為了節(jié)省電池功率而可能關(guān)閉處理器660和其它組件，它們也保留一段由通知機制指示的保持通電時間。LED可被編程為無限地保持通電，直到用戶采取動作指示該設(shè)備的通電狀態(tài)。音頻接口674用于向用戶提供聽覺信號并從用戶接收聽覺信號。例如，除了被耦合到音頻換能器625之外，音頻接口674還可被耦合到話筒來接收可聽輸入，例如便于電話通話。根據(jù)各本發(fā)明的各示例，話筒也可充當音頻傳感器來便于對通知的控制，如下文將描述的。系統(tǒng)602可進一步包括允許板載相機630的操作來記錄靜止圖像、視頻流等的視頻接口676。

實現(xiàn)系統(tǒng)600的移動計算設(shè)備602可具有附加特征或功能。例如，移動計算設(shè)備600還可包括附加數(shù)據(jù)存儲設(shè)備(可移動和/或不可移動)，例如磁盤、光盤或磁帶。這種附加存儲設(shè)備在圖6B中用非易失性存儲區(qū)668示出。

移動計算設(shè)備600生成或捕捉的且經(jīng)系統(tǒng)602存儲的數(shù)據(jù)/信息可如上所述本地存儲在移動計算設(shè)備600上，或數(shù)據(jù)可被存儲在可由設(shè)備通過無線電672或通過移動計算設(shè)備600和與移動計算設(shè)備600相關(guān)聯(lián)的一分開的計算設(shè)備之間的有線連接訪問的任何數(shù)量的存儲介質(zhì)上，該計算設(shè)備如例如因特網(wǎng)之類的分布式計算網(wǎng)絡(luò)中的服務(wù)器計算機。如應(yīng)理解的，此類數(shù)據(jù)/信息可經(jīng)移動計算設(shè)備600、經(jīng)無線電672或經(jīng)分布式計算網(wǎng)絡(luò)來被訪問。類似地，這些數(shù)據(jù)/信息可根據(jù)已知的數(shù)據(jù)/信息傳送和存儲手段來容易地在計算設(shè)備之間傳送以供存儲和使用，這些手段包括電子郵件和協(xié)作數(shù)據(jù)/信息共享系統(tǒng)。

圖7示出用于向一個或多個客戶端設(shè)備提供如上所述的可靠地訪問存儲系統(tǒng)上的目標數(shù)據(jù)并且處理對一個或多個客戶端設(shè)備的通信故障的應(yīng)用的系統(tǒng)架構(gòu)的一個示例。與IO管理器524、其它工具526、應(yīng)用528以及存儲相關(guān)聯(lián)地訪問、交互或編輯的目標數(shù)據(jù)可被存儲在不同的通信信道或其他存儲類型中。例如，各種文檔可使用目錄服務(wù)722、web門戶724、郵箱服務(wù)726、即時消息收發(fā)存儲728或 社交網(wǎng)站730來存儲，應(yīng)用528、IO管理器524、其它工具526以及存儲系統(tǒng)可使用這些類型的系統(tǒng)或諸如此類中的任意一種來實現(xiàn)如本文所描述的數(shù)據(jù)使用。服務(wù)器720可提供存儲系統(tǒng)以供操作在通用計算設(shè)備502和移動設(shè)備600上的客戶端通過網(wǎng)絡(luò)715來使用。作為示例，網(wǎng)絡(luò)715可包括因特網(wǎng)或任何其它類型的局域網(wǎng)或廣域網(wǎng)，并且客戶端節(jié)點可被實現(xiàn)為具體化在個人計算機、平板計算設(shè)備和/或移動計算設(shè)備600(如智能電話)中的計算設(shè)備502?？蛻舳擞嬎阍O(shè)備502或600的這些示例中的任一個可從存儲716獲得內(nèi)容。

本說明書通篇引述了“一個示例”或“一示例”，這意味著在至少一個實施例中包括特定描述的特征、結(jié)構(gòu)或特性。因此，使用這些詞組可指不止僅僅一個示例。而且，在一個或多個示例中，可以用任何合適的方式組合所描述的特征、結(jié)構(gòu)或特性。

然而，相關(guān)領(lǐng)域內(nèi)技術(shù)人員可以理解各示例可省去一個或多個特定細節(jié)而實現(xiàn)，或通過其它方法、資源、材料等實現(xiàn)。在其它實例中，公知的結(jié)構(gòu)、資源或操作尚未被示出或詳細說明以僅避免對各實施例的某些方面產(chǎn)生混淆。

雖然示出和描述了示例示例和應(yīng)用，但是應(yīng)該理解本實施例不限于上述精確配置和資源?？梢詫Υ颂幑_的方法和系統(tǒng)的排列、操作以及細節(jié)作出對本領(lǐng)域技術(shù)人員顯而易見的各種修改、改變和變化，而不背離所要求保護的本示例的范圍。