響應(yīng)自然語言語音口頭表達(dá)的系統(tǒng)和方法
【專利說明】響應(yīng)自然語言語音口頭表達(dá)的系統(tǒng)和方法
[0001]本申請是申請日為2006年8月4日、申請?zhí)枮?00680036200.6，發(fā)明名稱為“響應(yīng)自然語言語音口頭表達(dá)的系統(tǒng)和方法”的發(fā)明專利申請的分案申請。
[0002]相關(guān)申請的交叉引用
[0003]本申請要求以2005年8月5日提交的美國專利申請序列號11/197，504作為優(yōu)先權(quán)基礎(chǔ)，其全部內(nèi)容在此引用作為參考。
技術(shù)領(lǐng)域
[0004]本發(fā)明涉及通過語音接口和/或語音接口與非語音接口的組合檢索信息或處理命令。更確切地說，本發(fā)明提供了完全集成的環(huán)境，允許用戶通過語音接口和非語音接口提交自然語言的問題和命令?？梢詮膹V泛的學(xué)科中獲得信息，以自然方式進(jìn)行本地和網(wǎng)絡(luò)查詢以獲得信息并表達(dá)結(jié)果，即使在所詢問的問題或所收到的響應(yīng)不完全、多義或主觀的情況下。本發(fā)明可以進(jìn)一步地允許用戶或者在本地或者遠(yuǎn)程地控制若干設(shè)備和若干系統(tǒng)。
【背景技術(shù)】
[0005]機器以自然方式與人類交流的能力仍然是難題。關(guān)于人類互動的認(rèn)知研宄顯示，口頭交流比如某人詢問問題或給出命令，典型情況下很大地依賴于上下文和目標(biāo)人員的領(lǐng)域知識。相反，基于機器的查詢(查詢可以是問題、命令、請求和/或其他類型的通信)可能是高度結(jié)構(gòu)化的，并且對人類用戶可能并非天性自然。因此，口頭交流以及從口頭交流所取得查詢的機器處理可能從根本上就不相容。然而允許人們進(jìn)行基于自然語言語音的查詢?nèi)匀皇撬Ｍ哪繕?biāo)。
[0006]語音識別的準(zhǔn)確度已經(jīng)不斷改進(jìn)，現(xiàn)今成功地使用在范圍廣泛的應(yīng)用中。自然語言處理已經(jīng)應(yīng)用于語音查詢的語法分析。然而，現(xiàn)在的系統(tǒng)無法可靠地為用戶提供完整環(huán)境，以便通過經(jīng)處理后提供自然應(yīng)答的自然語言查詢提交口頭和/或文本交流。為了創(chuàng)建完整的基于語音的和/或基于非語音的自然語言查詢和應(yīng)答環(huán)境，仍然存在著許多重大障礙。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明的某方面，本發(fā)明的一個目的是克服現(xiàn)有系統(tǒng)的這些和其他缺點。
[0008]根據(jù)本發(fā)明的一個方面，用戶可以提供具有以自然語言格式口頭表達(dá)和/或文本交流的系統(tǒng)，包括不完全的信息，比如不完整的想法、不完整的句子、不完整的短語、俚語術(shù)語、重復(fù)單詞、單詞變種、同義字或其他不完全的信息。為了使機器(如計算機設(shè)備)正確地響應(yīng)以所述自然語言格式表達(dá)的問題和/或命令，可以對所述問題和/或命令進(jìn)行語法分析和解釋，表達(dá)為機器可處理的查詢和算法。
[0009]在本發(fā)明的另一個方面中，提供的系統(tǒng)通過應(yīng)用完整的基于語音的信息查詢、檢索、顯示和命令環(huán)境或者基于語音和基于非語音的信息查詢、檢索、顯示和命令環(huán)境的組合，克服現(xiàn)有系統(tǒng)的不足。這種環(huán)境最大限度地使用了上下文、先驗信息、領(lǐng)域知識以及用戶特定的概況數(shù)據(jù)，以完成使一位或多位用戶向多個領(lǐng)域提交查詢和命令的自然環(huán)境。通過這種整合的方案，就可以創(chuàng)建完整的基于語音的自然語言查詢和應(yīng)答環(huán)境。作為替代，也可以創(chuàng)建基于語音和基于非語音的自然語言查詢和應(yīng)答環(huán)境的組合。此外，在所述過程的每一個步驟都可以對全部或部分故障以及適度恢復(fù)進(jìn)行調(diào)節(jié)。通過在所述過程的幾個階段使用概率和模糊推理，實現(xiàn)了對部分故障的穩(wěn)健性。對部分故障的這種穩(wěn)健性提升了對問題和命令的自然應(yīng)答感覺。
[0010]根據(jù)本發(fā)明的另一個方面，所述系統(tǒng)可以包括語音單元接口設(shè)備，它接收口頭表達(dá)，包括來自用戶的口頭自然語言查詢、命令和/或其他口頭表達(dá)；以及計算機設(shè)備或系統(tǒng)，它從所述語音單元接收輸入并處理所述輸入(如響應(yīng)所述查詢而檢索信息，采取與所述命令一致的行動并執(zhí)行如本文詳述的其他功能)。所述系統(tǒng)可以進(jìn)一步產(chǎn)生自然語言應(yīng)答和/或在沒有來自用戶的任何提示時產(chǎn)生自然語言消息，比如報警消息。根據(jù)本發(fā)明的另一個實施例，可以提供非語音接口，以補充或替代所述語音單元接口。例如，所述非語音接口可以傳達(dá)非語音信息，比如文本通信、圖形或制表信息，或者其他非語音信息。
[0011]根據(jù)本發(fā)明的一個實施例，可以提供基礎(chǔ)設(shè)施以便保存多模態(tài)互動期間的上下文信息，比如語音和/或非語音互動期間。根據(jù)本發(fā)明的一個示范實施例，通過在多模態(tài)設(shè)備或移動設(shè)備與所述系統(tǒng)之間提供通信信道，可以在多模態(tài)環(huán)境中保存上下文信息。所述通信信道允許所述系統(tǒng)接收多模態(tài)輸入，比如基于文本的命令和問題以及/或者語音命令和問題。根據(jù)本發(fā)明的另一個實施例，所述多模態(tài)輸入可以包括文本字符串，比如作為命令或問題所接收的關(guān)鍵字。根據(jù)本發(fā)明又一個實施例，所述系統(tǒng)可以使所述多模態(tài)設(shè)備與所述基于語音的單元之間的上下文同步。為了向?qū)?yīng)設(shè)備發(fā)送應(yīng)答，所述系統(tǒng)可以跟蹤該來源并向?qū)?yīng)的語音接口或非語音接口發(fā)送應(yīng)答。
[0012]根據(jù)本發(fā)明的替代實施例，保存上下文信息時可以使用上下文管理器，它可以位于中心位置，以便從多個來源接收輸入并向多個來源提供輸出。根據(jù)一個實施例，與所述上下文管理器通信的設(shè)備可以通過注冊模塊進(jìn)行注冊，并且可以預(yù)訂一種或多種事件。根據(jù)本發(fā)明的另一個實施例，所述上下文管理器可以接收例如Context XML形式的輸入。通過上下文跟蹤模塊可以向其他已注冊設(shè)備通報上下文的變化，以便在若干已注冊模塊之間使上下文能夠同步。根據(jù)本發(fā)明的一個實施例，若干已注冊模塊可以添加到所述系統(tǒng)或從中去除。所述已注冊模塊可以包括專用于多模態(tài)設(shè)備的若干動態(tài)鏈接庫(DLL)。
[0013]根據(jù)本發(fā)明又一個替代實施例，從以文本格式表示的命令或請求和/或呈現(xiàn)為口頭表達(dá)的命令或請求中可以確定上下文信息，并且使用將所述口頭表達(dá)轉(zhuǎn)錄為文本消息的多步式自動語音識別模塊處理。所述命令或請求可以與上下文描述語法進(jìn)行對比以識別出匹配。上下文描述語法中的任何有效語法都可以對所述命令或請求評分，并且可以將最佳的匹配發(fā)送到應(yīng)答發(fā)生器模塊。若干代理可以與對應(yīng)的應(yīng)答發(fā)生器模塊相關(guān)聯(lián)，并且可以為產(chǎn)生應(yīng)答而檢索所請求的信息。所述代理可以更新上下文堆棧以允許跟蹤請求。
[0014]根據(jù)本發(fā)明的另一個方面，所述語音單元和/或多模態(tài)設(shè)備可以加入所述計算機設(shè)備或系統(tǒng)中，也可以是分離的構(gòu)件。如果提供了分離的構(gòu)件，所述語音單元和/或多模態(tài)設(shè)備就可以通過有線或無線連接與所述計算機設(shè)備相連。如果提供了無線連接，可以將基站單元內(nèi)部地或外部地連接到所述計算機，以便與所述語音單元和/或多模態(tài)設(shè)備進(jìn)行通信。
[0015]根據(jù)本發(fā)明的另一個方面，所述計算機設(shè)備或系統(tǒng)可以包括獨立PC或網(wǎng)絡(luò)PC、個人數(shù)字助理(PDA)、蜂窩電話或者其他計算機設(shè)備或系統(tǒng)。為了方便起見，這些和其他計算機替代品都稱為計算機。本發(fā)明的一個方面包括可以安裝在所述計算機上的軟件，所述軟件可以包括以下模塊的一種或多種:非語音信息接收模塊；捕獲用戶口頭表達(dá)的語音識別模塊；分析所述口頭表達(dá)的語法分析器；將所述文本轉(zhuǎn)錄為語音的文本到語音引擎模塊；使所述計算機能夠與一個或多個網(wǎng)絡(luò)對接的網(wǎng)絡(luò)接口 ；非語音接口模塊和管理事件的事件管理器。優(yōu)選情況下，所述事件管理器聯(lián)系著上下文描述語法、能夠創(chuàng)建、修改和訪問用戶概況的用戶概況模塊、能夠創(chuàng)建和使用多種個性的個性模塊、代理模塊、更新管理器、提供用戶與所述系統(tǒng)互動模式統(tǒng)計摘要的認(rèn)知模塊、一個或多個數(shù)據(jù)庫以及其他部件。
[0016]根據(jù)本發(fā)明的另一個方面，領(lǐng)域特定的行為和信息可以組織在數(shù)據(jù)管理器中。數(shù)據(jù)管理器是若干自主的可執(zhí)行程序，它們接收、處理并答復(fù)用戶的問題、查詢和命令。所述數(shù)據(jù)管理器提供了完整、方便和可再分配的若干程序包即功能模塊，典型情況下用于特定領(lǐng)域的應(yīng)用。數(shù)據(jù)管理器可以是可執(zhí)行代碼、腳本、信息鏈接以及其他形式的通信數(shù)據(jù)的完整程序包，提供了特定的功能程序包，通常在某特定領(lǐng)域中。換言之，數(shù)據(jù)管理器包括了將所述功能擴展到新領(lǐng)域的若干組件。此外，當(dāng)添加了新行為或新信息變得可用時可以經(jīng)過網(wǎng)絡(luò)遠(yuǎn)程地更新數(shù)據(jù)管理器及其相關(guān)聯(lián)的數(shù)據(jù)。數(shù)據(jù)管理器可以使用系統(tǒng)資源和其他，典型情況下是更專業(yè)的，數(shù)據(jù)管理器的服務(wù)。數(shù)據(jù)管理器可以以許多方式分配和重新分配，包括在可拆卸存儲介質(zhì)上、通過網(wǎng)絡(luò)傳遞或附在電子郵件和其他消息上?？梢允褂酶鹿芾砥鲗⑿碌臄?shù)據(jù)管理器添加到所述系統(tǒng)，或者更新現(xiàn)有的數(shù)據(jù)管理器。
[0017]根據(jù)本發(fā)明的另一個方面，可以提供許可證管理能力，它允許第三方將數(shù)據(jù)管理器以一次性或預(yù)訂形式銷售給一個或多個用戶。另外，具有具體專長的用戶可以創(chuàng)建數(shù)據(jù)管理器，通過添加新的行為和信息更新現(xiàn)有的數(shù)據(jù)管理器，以及使這些數(shù)據(jù)管理器成為其他用戶的代理。
[0018]為了增強所述自然查詢和應(yīng)答的環(huán)境，所述系統(tǒng)可以編排結(jié)果的格式以增加用戶的可理解性。編排結(jié)果的格式并呈現(xiàn)時可基于所述問題的上下文、所呈現(xiàn)應(yīng)答的內(nèi)容、與所述用戶的互動歷史、所述用戶的偏愛和興趣以及所述領(lǐng)域的性質(zhì)。相反，很多用戶可能認(rèn)為苛刻的、高度格式化的或結(jié)構(gòu)化的結(jié)果呈現(xiàn)是不自然的。
[0019]根據(jù)本發(fā)明的另一個實施例，所述系統(tǒng)可以仿真某些方面的人類“個性”。在某些情況下，所述應(yīng)答表達(dá)和用于提供所述應(yīng)答的術(shù)語可以隨機化以避免出現(xiàn)苛刻地格式化的即呆板的應(yīng)答。也期望使用其他仿真的個性化特征。例如，可以以表示同情的方式呈現(xiàn)可能使所述用戶不安的應(yīng)答。不僅如此，請求結(jié)果可能是長文本串、列表、表格或其他冗長的數(shù)據(jù)集。自然表現(xiàn)這種類型的信息帶來了特定的挑戰(zhàn)，因為簡單讀出長應(yīng)答通常不是首選。相反，所述系統(tǒng)可以從所述應(yīng)答中分析重要部分，并且最初可以僅提供報告。確定長應(yīng)答的哪些部分要呈現(xiàn)時可以基于所述問題的上下文、所呈現(xiàn)應(yīng)答的內(nèi)容、與所述用戶的互動歷史、所述用戶的偏愛和興趣以及所述領(lǐng)域的性質(zhì)。同時，所述系統(tǒng)可以給予所述用戶互動控制權(quán)，以控制要呈現(xiàn)何種信息以及要呈現(xiàn)多少信息、一起停止所述應(yīng)答或采取其他動作。
[0020]根據(jù)本發(fā)明的另一個方面，所述系統(tǒng)可以處理并響應(yīng)若干問題、請求和/或命令。若干關(guān)鍵字和上下文可以用于判斷所收到的口頭表達(dá)和/或文本消息是否包括請求或命令。例如，口頭表達(dá)可以包括問題、請求和/或命令的若干方面。例如，用戶可以說出“錄制我喜愛的TV節(jié)目”。對請求進(jìn)行處理以確定所述用戶喜愛TV節(jié)目的名稱、頻道和時間。為了設(shè)置錄象機捕獲這個節(jié)目，必須執(zhí)行一條命令。
[0021]對于包括若干問題和/或請求的口頭表達(dá)，所述系統(tǒng)可以執(zhí)行多個步驟，可能包括以下的一個或多個:
[0022]籲通過在多種多樣真實環(huán)境中運行的語音識別組件，捕獲所述用戶的問題和/或請求；
[0023]籲對所述問題和/或請求進(jìn)行語法分析和解釋；
[0024]?確定所述專長領(lǐng)域和上下文，調(diào)用適當(dāng)?shù)馁Y源，包括若干代理；
[0025]?將一個或多個請求表達(dá)為一個或多個本地和/或網(wǎng)絡(luò)數(shù)據(jù)源，或者向本地或遠(yuǎn)程設(shè)備或所述系統(tǒng)自身發(fā)送適當(dāng)?shù)拿睿?br>[0026]籲對顯示進(jìn)行格式編排、變量替換和變換以將所述請求修改為能夠從所述可用源產(chǎn)生所期望結(jié)果的形式；
[0027].以異步方式執(zhí)行所述多個請求或命令并適度地處理故障；
[0028]籲從可能以許多不同格式的任何一種返回的所述一個或多個結(jié)果中提取或分解所期望的信息；
[0029]籲評估并解釋所述結(jié)果，包括處理錯誤以提供一個或多個被判定為“最佳”的結(jié)果，即使所述結(jié)果是歧義、不完整或沖突的；
[0030]籲進(jìn)行格式編排、變量替換和變換以將所述結(jié)果修改為所述用戶最容易理解的形式；以及
[0031]籲通過文本到語音引擎或多模態(tài)接口，以有用和所期望的方式向所述用戶呈現(xiàn)所復(fù)合的結(jié)果。
[0032]可以利用專長領(lǐng)域的知識、所述問題或命令的上下文、領(lǐng)域特定的信息、所述用戶的互動歷史、用戶偏愛、可用信息源或命令以及從所述源獲得的應(yīng)答，執(zhí)行以上若干步驟。
[0033]概率或模糊集決策和匹配的方法可以應(yīng)用于處理不一致、歧義、沖突和不完全的信息或應(yīng)答。此外，異步查詢可以用于對請求或命令提供快速而適度的失效，允許所述系統(tǒng)穩(wěn)健、快速地返回結(jié)果，而且以對所述用戶似乎自然的方式。
[0034]許多日常問題本質(zhì)上是主觀的，并且產(chǎn)生的答案事實上是大致看法或民意。這些問題往往其本性也很特別。根據(jù)本發(fā)明的另一個方面，所述系統(tǒng)可以使用自適應(yīng)、概率和模糊集決策和匹配的方法，以便識別出所述問題的主觀本性并估計出若干可能答案的范圍，其中可以選擇最準(zhǔn)確地表示所述用戶所期望的結(jié)果類型的一種和多種答案。
[0035]具體問題的上下文和所期待的結(jié)果可能在很大程度上取決于詢問所述問題的個人。所以，所述系統(tǒng)可以創(chuàng)建、存儲和使用用于每個用戶的個人概況信息。所述概況中的信息可以隨著所述用戶使用所述系統(tǒng)而自動地添加和更新，也可以由所述用戶或其他人手工地添加或更新。領(lǐng)域特定的代理可以收集、存儲和使用特定的概況信息，因為最佳運行可能需要它。對于有規(guī)律地使用的報告、自動產(chǎn)生的警報以及用于結(jié)果格式編排和呈現(xiàn)的其他請求，用戶可以創(chuàng)建命令。所述系統(tǒng)可以在解釋問題、請求格式編排、向所述用戶解釋請求結(jié)果和呈現(xiàn)答案時使用概況數(shù)據(jù)。用戶概況中的信息實例包括，所詢問問題的歷史、通話歷史、格式編排和顯示偏愛、專用字的拼法、關(guān)注術(shù)語、關(guān)注的特殊數(shù)據(jù)源、年齡、性別、教育、位置即地址、商家地點、商家類型、投資、業(yè)余愛好、體育興趣、新聞興趣以及其他概況數(shù)據(jù)。
[0036]根據(jù)本發(fā)明的一個方面，為了提供自然的問題和應(yīng)答環(huán)境，所述系統(tǒng)可以嘗試提供若干快速應(yīng)答?？梢栽诓猾@得附加信息的情況下提供所述快速應(yīng)答。所述系統(tǒng)