背景技術(shù)：

各種口語對話系統(tǒng)已經(jīng)被研發(fā)并且被設(shè)計為提供具有與用戶會話的能力的機器。例如，移動設(shè)備當(dāng)前利用口語對話系統(tǒng)與用戶交互。交互包括取回數(shù)據(jù)、發(fā)送消息、對用戶做出口頭響應(yīng)、以及基于從用戶接收到的口頭請求或輸入來打電話。

關(guān)于這些和其他一般考慮，已經(jīng)做出在此所公開的實施例。而且，雖然可以討論相對特定的問題，但是應(yīng)當(dāng)理解，實施例不應(yīng)當(dāng)限于解決本公開中背景技術(shù)中或其他地方所標(biāo)識的特定問題。

技術(shù)實現(xiàn)要素：

總之，本公開總體上涉及用于對口頭語言輸入或多模態(tài)輸入做出響應(yīng)的系統(tǒng)和方法。更特別地，根據(jù)口頭語言輸入或多模態(tài)輸入確定或推斷一個或多個用戶意圖，以經(jīng)由對話置信跟蹤系統(tǒng)來確定一個或多個用戶目標(biāo)。在此所公開的系統(tǒng)和方法利用對話置信跟蹤系統(tǒng)，以基于所確定的一個或多個用戶目標(biāo)執(zhí)行動作，并且允許設(shè)備在會話的多輪期間與用戶參與類似人類的會話。防止用戶必須明確地陳述每個意圖和期望目標(biāo)，同時仍然從設(shè)備接收到期望目標(biāo)，這改進了用戶完成任務(wù)、執(zhí)行命令并且獲得期望的產(chǎn)品和/或服務(wù)的能力。此外，對來自用戶的口頭語言輸入的改進的響應(yīng)改進了與設(shè)備的用戶交互。

本公開的一個方面涉及一種用于控制對口頭語言輸入的響應(yīng)的方法。該方法包括從設(shè)備接收用戶數(shù)據(jù)和第一口頭語言輸入并且標(biāo)識第一口頭語言輸入內(nèi)的標(biāo)簽。該方法還包括基于標(biāo)簽和用戶數(shù)據(jù)來搜索知識庫框架。知識庫框架是包括多個實體、屬性以及實體與屬性之間的關(guān)系的數(shù)據(jù)庫。此外，該方法包括標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽和用戶數(shù)據(jù)中的至少一個匹配的實體、屬性和關(guān)系，并且標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽和用戶數(shù)據(jù)中的任一個不匹配的至少一個互連項以形成至少一個推斷項。該方法還包括基于知識庫框架中的、包括任何匹配的實體、匹配的屬性、經(jīng)標(biāo)識的關(guān)系以及至少一個推斷項的一部分并且基于標(biāo)簽來創(chuàng)建狀態(tài)圖。至少部分通過以下動作來創(chuàng)建狀態(tài)圖：通過利用加權(quán)連接替換所標(biāo)識的關(guān)系并且將置信度指示符分配給狀態(tài)圖的每個節(jié)點來將知識庫框架中的一部分轉(zhuǎn)換為概率模型圖。該方法還包括基于狀態(tài)圖來確定至少一個目標(biāo)，并且基于至少一個目標(biāo)、加權(quán)連接以及置信度指示符來將用于執(zhí)行動作的指令發(fā)送到設(shè)備。

本公開的另一方面包括一種系統(tǒng)。該系統(tǒng)包括計算設(shè)備，其包括處理單元和存儲器。處理單元實現(xiàn)口頭語言系統(tǒng)和對話狀態(tài)置信跟蹤系統(tǒng)。口頭語言系統(tǒng)可操作以接收口頭語言輸入、標(biāo)識口頭語言輸入內(nèi)的標(biāo)簽以及與對話狀態(tài)置信跟蹤系統(tǒng)通信。對話狀態(tài)置信跟蹤系統(tǒng)可操作以與口頭語言系統(tǒng)通信并且基于由口頭語言系統(tǒng)所標(biāo)識的標(biāo)簽來搜索知識庫框架。對話狀態(tài)置信跟蹤系統(tǒng)還可操作以標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽中的至少一些匹配的實體、屬性以及關(guān)系，并且基于知識庫框架中的、包括任何匹配的實體、匹配的屬性和經(jīng)標(biāo)識的關(guān)系的一部分來創(chuàng)建狀態(tài)圖。通過將該一部分轉(zhuǎn)換為概率模型圖并且通過基于標(biāo)簽將證據(jù)節(jié)點添加到概率模型圖，來形成狀態(tài)圖。狀態(tài)圖包括用于狀態(tài)圖的每個節(jié)點的置信度指示符。此外，對話狀態(tài)置信跟蹤系統(tǒng)可操作以對狀態(tài)圖的節(jié)點進行排名并且基于狀態(tài)圖的節(jié)點的排名來確定至少一個目標(biāo)。對話狀態(tài)置信跟蹤系統(tǒng)還可操作以基于至少一個目標(biāo)來發(fā)送用于執(zhí)行動作的指令。

本公開的又一方面包括計算機可讀存儲介質(zhì)，其包括存儲在其上的計算機可執(zhí)行指令。計算機可執(zhí)行指令當(dāng)由分布式網(wǎng)絡(luò)中的計算系統(tǒng)執(zhí)行時，使得計算系統(tǒng)執(zhí)行方法。方法包括從設(shè)備接收用戶數(shù)據(jù)和第二口頭語言輸入。方法還包括鑒于來自用戶與設(shè)備之間的會話中的第一口頭語言輸入的先前確定的標(biāo)簽，來標(biāo)識第二口頭語言輸入內(nèi)的標(biāo)簽。方法還包括基于標(biāo)簽和用戶數(shù)據(jù)來搜索知識庫框架，并且標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽和用戶數(shù)據(jù)中的至少一個匹配的實體、屬性和關(guān)系。此外，方法包括通過將匹配的實體和匹配的屬性中的任一個與所存儲的狀態(tài)圖中的節(jié)點對齊，并且基于知識庫框架中的、包括任何匹配的實體、匹配的屬性和經(jīng)標(biāo)識的關(guān)系的一部分，來創(chuàng)建更新的狀態(tài)圖。至少部分地通過將知識庫框架的一部分轉(zhuǎn)換為概率模型圖來形成經(jīng)更新的狀態(tài)圖。此外，該方法包括基于經(jīng)更新的狀態(tài)圖來確定至少一個用戶目標(biāo)并且基于至少一個用戶目標(biāo)和用于至少一個用戶目標(biāo)的置信度指示符來向設(shè)備發(fā)送用于執(zhí)行動作的指令。

提供該概述以引入以在詳細描述章節(jié)中下文進一步描述的簡化形式的概念的選擇。該概述不旨在標(biāo)識所要求保護的主題的關(guān)鍵特征或基本特征，其也不旨在被用于限制所要求保護的主題的范圍。

附圖說明

參考以下附圖描述非限制性和非排他性的示例。

圖1是圖示用于控制對口頭語言輸入的響應(yīng)的系統(tǒng)的示例的框圖。

圖2是圖示用于對口頭語言輸入做出響應(yīng)的系統(tǒng)的一部分的示例的示意圖。

圖3a是圖示知識庫框架的示例部分的圖示。

圖3b至圖3d圖示了基于圖3a中所示的知識庫框架的一部分的不同的示例狀態(tài)圖。

圖4a是圖示知識庫框架的示例部分的圖示。

圖4b圖示了基于圖4a中所示的知識庫框架的一部分的示例狀態(tài)圖。

圖4c是圖示知識庫框架的示例部分的圖示。

圖4d圖示了基于圖4a中所示的知識庫框架的一部分的示例狀態(tài)圖。

圖5a是圖示用于對口頭語言輸入做出響應(yīng)的方法的示例的流程圖。

圖5b是圖示用于發(fā)送圖5a中所示的動作的方法的示例的流程圖。

圖6是圖示利用其可以實踐本公開的實施例的計算設(shè)備的示例物理部件的框圖。

圖7a和圖7b是利用其可以實踐本公開的實施例的移動計算設(shè)備的簡化框圖。

圖8是在其中可以實踐本公開的實施例的分布式計算系統(tǒng)的簡化框圖。

具體實施方式

在以下詳細描述中，對形成其一部分并且以圖示的方式示出的特定實施例或示例的附圖進行參考。在不脫離本公開的精神或范圍的情況下，可以組合這些方面、可以利用其他方面、以及可以做出結(jié)構(gòu)變化。因此，以下詳細描述將不以限制性的意義理解，并且本公開的范圍由權(quán)利要求和其等價物限制。

各種口語對話系統(tǒng)已經(jīng)被研發(fā)并且被設(shè)計為提供具有與用戶會話的能力的機器。例如，移動設(shè)備當(dāng)前利用口語對話系統(tǒng)與用戶交互。交互包括取回數(shù)據(jù)、發(fā)送消息、對用戶做出口頭響應(yīng)、以及基于從用戶接收到的口頭請求或輸入來打電話。然而，這些當(dāng)前利用的對話系統(tǒng)僅足以解決小規(guī)模信息存儲庫中的面向特定任務(wù)或特定信息取回問題——這些系統(tǒng)未能在大的語料庫信息存儲庫上很好地執(zhí)行。當(dāng)前對話系統(tǒng)基本上是其核心處的請求響應(yīng)系統(tǒng)。換句話說，當(dāng)前利用的對話系統(tǒng)固有地是面向目標(biāo)或面向任務(wù)的請求響應(yīng)系統(tǒng)，其提供但是每個請求響應(yīng)對的會話的連續(xù)性的概念，但是每個響應(yīng)獨立于最后的響應(yīng)。當(dāng)前傳統(tǒng)系統(tǒng)的其他示例是使用戶走過定義明確并且常常預(yù)定的決策樹路徑的序列的那些示例以完成用戶意圖(諸如進行晚餐預(yù)定、預(yù)定航班等)。

通常不存在多輪期間與與用戶真實參與會話的對話系統(tǒng)，其可以一致地并且有效地推斷對大型多領(lǐng)域信息存儲庫上的用戶目標(biāo)或意圖，甚至當(dāng)該目標(biāo)或意圖未明確地由用戶說明時，并且然后基于所確定的(一個或多個)用戶目標(biāo)來執(zhí)行一個或多個期望的動作。雖然先前系統(tǒng)已經(jīng)嘗試推斷用戶意圖，但是這些系統(tǒng)缺少由在此所公開的系統(tǒng)和方法所提供的準確性和多功能性。例如，在當(dāng)前口語對話系統(tǒng)中，領(lǐng)域知識通過以下各項而被并入：(i)包括表示從數(shù)據(jù)庫所獲得的知識結(jié)果的特征；或(ii)將知識明確地手工編碼為對話狀態(tài)的設(shè)計(例如，并入手動設(shè)計的貝葉斯圖形模型作為對話狀態(tài)的一部分)。在應(yīng)用(i)時，雖然從若干數(shù)據(jù)庫查詢所提取的特征的平面向量可以輔助解決模糊性和不確定性，但是這些向量不可能收集與由用戶所提供的信息有關(guān)的可以做出的所有連接。在應(yīng)用(ii)時，更新知識是困難的，這是因為新收集的知識要求作為對話引擎的核心并且許多其他部分進行引用的結(jié)構(gòu)。因此，常常在抽象水平處表示貝葉斯圖形對話狀態(tài)模型中編碼的知識，因此底層知識中的變化不需要對圖形模型的變化。此外，(ii)要求針對每個新領(lǐng)域的圖形模型的手動設(shè)計。

在此所公開的系統(tǒng)和方法通過將實體的大型多領(lǐng)域圖形知識框架用作對話狀態(tài)的核心部件來解決關(guān)于以上(i)和(ii)的問題。例如，在此所公開的系統(tǒng)和方法將對話狀態(tài)映射到現(xiàn)有的圖形知識框架，以利用實體之間的連接的完全豐富性并且推斷缺少或相關(guān)的信息。

有利地，在此所描述的系統(tǒng)和方法表示對話狀態(tài)并且直接地在現(xiàn)有的大型圖形知識庫上執(zhí)行推斷，其跨越多個領(lǐng)域，并且將圖形知識框架用作會話的多輪期間的骨架來增量地且自動地構(gòu)建對話狀態(tài)圖形模型。因此，在此所公開的系統(tǒng)和方法避免圖形模型的手動設(shè)計，并且當(dāng)更新圖形知識庫時挑選底層知識更新。對于現(xiàn)有技術(shù)而言難以處理但是通過利用圖形知識庫簡單的示例場景是其中要求多步推斷(諸如來自用戶的以下口頭請求“由羅伯·馬歇爾導(dǎo)演的并且由來自剪刀手愛德華的演員主演的電影”)的那些示例，這是因為系統(tǒng)必須推斷演員是約翰尼·德普，剪刀手愛德華是電影，并且所請求的數(shù)據(jù)是電影加勒比海盜-驚濤怪浪。此外，在此所描述的系統(tǒng)和方法自動地構(gòu)建并且維持多輪期間的對話模糊性/不確定性的表示。如此，在此所描述的系統(tǒng)和方法不僅確定或推斷多個用戶意圖并且使用戶參與類似于人類交互的會話，但是這樣做利用概率模型增加準確性和與用戶的相關(guān)性。例如，在此所描述的系統(tǒng)和方法利用知識庫框架的概率模型以：a)利用多個意圖和/或意圖描述來解決模糊性；b)維持描述跨越與用戶會話的多個交換或輪次的意圖的有效意圖和/或?qū)嶓w/屬性的狀態(tài)，以便明確地推斷指代會話中先前提到的項的、由用戶做出的引用；c)每當(dāng)應(yīng)用匹配用戶的偏好時；以及d)給定理解用戶的意圖的失敗(例如，或者由于意圖不能被發(fā)現(xiàn)或者其最好猜想的置信度得分小于閾值)，參與理解用戶意圖的對話。

這些改進確保由設(shè)備所執(zhí)行的動作與用戶相關(guān)。此外，在此所公開的系統(tǒng)和方法的會話能力防止用戶必須明確地說明其意圖、防止一次僅具有一個意圖或防止必須通過名稱列出所有主題。如此，在此所公開的系統(tǒng)和方法改進用戶的與設(shè)備交互的能力，這節(jié)省用戶時間并且改進用戶的完成任務(wù)并且獲得期望的信息的能力。此外，在此所公開的系統(tǒng)和方法利用二進制概率和加權(quán)連接以防止不想要的數(shù)據(jù)和動作被呈現(xiàn)或被執(zhí)行，這改進了設(shè)備的可用性和與設(shè)備的用戶交互。

圖1總體圖示了用于控制對口頭語言輸入106和其他模態(tài)輸入的響應(yīng)的系統(tǒng)100的示例。系統(tǒng)100允許用戶102從用戶設(shè)備104經(jīng)由口頭語言輸入106和其他模態(tài)輸入而請求動作。用戶設(shè)備104(諸如移動計算機、游戲系統(tǒng)、臺式計算機、移動電話、手表、個人計算機、智能電話，等等)與用戶102相關(guān)聯(lián)。從這些設(shè)備104中的一個或多個設(shè)備收集用戶數(shù)據(jù)108。

用戶設(shè)備104被配置為從用戶102接收口頭語言輸入106和其他模態(tài)輸入。在一些實施例中，用戶設(shè)備104經(jīng)由設(shè)備104上的傳感器(諸如麥克風(fēng))接收口頭語言輸入。口頭語言輸入106是從用戶102到設(shè)備104的口頭通信。口頭語言輸出是從設(shè)備104到用戶102的口頭通信。用戶設(shè)備104將口頭語言輸入106發(fā)送到口頭語言系統(tǒng)114。在所圖示的示例中，口頭語言系統(tǒng)114將運行在遠程計算系統(tǒng)(諸如被圖示為運行在“云”110中運行的服務(wù)器)上。雖然被示出為在云110中，但是本領(lǐng)域的技術(shù)人員將理解到，口頭語言系統(tǒng)114可以本地運行(例如，在設(shè)備104上)或運行在其他環(huán)境中。

在一些實施例中，在接收到口頭語言輸入106時，用戶設(shè)備104將口頭語言輸入106發(fā)送到口頭語言系統(tǒng)114。在其他實施例中，用戶設(shè)備104被配置為周期性地(例如，以預(yù)定義時間間隔(諸如每小時一次))和/或當(dāng)設(shè)備104被連接到wifi網(wǎng)絡(luò)時，將口頭語言輸入106發(fā)送到口頭語言系統(tǒng)114。從設(shè)備104到口頭語言系統(tǒng)114的口頭語言輸入106的傳輸?shù)念l率可以改變。在一些實施例中，建立指定從設(shè)備104到口頭語言系統(tǒng)114的口頭語言輸入106的傳輸?shù)念A(yù)定義規(guī)則。在備選實施例中，口頭語言輸入106被發(fā)送到數(shù)據(jù)收集器116，并且然后數(shù)據(jù)收集器116將口頭語言輸入106發(fā)送到口頭語言系統(tǒng)114。如此，在一些實施例中，數(shù)據(jù)收集器116存儲口頭語言輸入106。在其他實施例中，口頭語言輸入106被發(fā)送到dsbt系統(tǒng)112，并且然后dsbt系統(tǒng)112將口頭語言輸入106發(fā)送到口頭語言系統(tǒng)114。

此外，用戶設(shè)備104被配置為將用戶數(shù)據(jù)108發(fā)送到對話狀態(tài)置信(belief)跟蹤系統(tǒng)112。用戶數(shù)據(jù)108可以包括用戶信號、用戶信息、用戶反饋、用戶推斷和/或由用戶錄入或由設(shè)備104確定的任何其他相關(guān)用戶數(shù)據(jù)。在一些實施例中，可以從一個或多個模態(tài)(諸如點擊、選擇、文本、加亮、姿態(tài)、面部表情、眼球跟蹤和在通信中使用的其他模態(tài))收集用戶數(shù)據(jù)。例如，如果用戶設(shè)備104是游戲系統(tǒng)，則自然用戶界面可以與用戶交互并且收集所有這些模態(tài)作為用戶數(shù)據(jù)。在進一步的實施例中，用戶設(shè)備104運行多個應(yīng)用，諸如一個或多個電子郵件應(yīng)用、社交聯(lián)網(wǎng)應(yīng)用、全球定位系統(tǒng)(gps)應(yīng)用、日歷應(yīng)用、天氣應(yīng)用等。用戶102與在設(shè)備104上操作的各種應(yīng)用之間的交互生成與用戶相關(guān)聯(lián)的“用戶信號”，其包含可以被收集并且被分析的各種主題中的信息。例如，經(jīng)由電子郵件應(yīng)用發(fā)送和/或接收到的電子郵件所生成的用戶信號、經(jīng)由社交網(wǎng)絡(luò)應(yīng)用張貼和/或讀取的社交網(wǎng)絡(luò)帖子、經(jīng)由搜索應(yīng)用提交的命令、搜索的語音識別、經(jīng)由瀏覽器應(yīng)用訪問的網(wǎng)站等可以被評價以標(biāo)識用戶數(shù)據(jù)108。

用戶數(shù)據(jù)108還包括由用戶直接錄入一個或多個設(shè)備104(諸如移動設(shè)備)中的信息。在一些實施例中，取代或者補充口頭語言輸入，從用戶數(shù)據(jù)接收用戶與設(shè)備104之間的會話的一部分或一輪會話。用戶數(shù)據(jù)還包括用戶反饋。用戶反饋是直接地給定到設(shè)備的信息，其提供用戶的特定偏好?？梢杂稍O(shè)備104直接或者間接地請求用戶反饋。例如，用戶數(shù)據(jù)108可以包括年齡、性別、喜歡、不喜歡、信用卡信息、活動水平、食物偏好、新聞偏好、社交偏好，等等。在一些實施例中，用戶信息和用戶反饋經(jīng)由來自用戶102的口頭語言輸入106和/或其他模態(tài)由設(shè)備104接收。用戶數(shù)據(jù)108還包括用戶推斷。用戶推斷是可以基于用戶數(shù)據(jù)108做出的關(guān)于用戶的假定。推斷可以被用于確定關(guān)于用戶的附加相關(guān)數(shù)據(jù)。

所選擇的用戶數(shù)據(jù)108片段(諸如用戶位置、用戶喜歡和用戶不喜歡)被發(fā)送到對話狀態(tài)置信跟蹤系統(tǒng)112。對話狀態(tài)置信跟蹤系統(tǒng)(dsbt系統(tǒng))112可以將用戶數(shù)據(jù)108發(fā)送到數(shù)據(jù)收集器116以用于存儲。在備選實施例中，用戶數(shù)據(jù)108被發(fā)送到數(shù)據(jù)收集器116，并且然后數(shù)據(jù)收集器116將用戶數(shù)據(jù)發(fā)送到dsbt系統(tǒng)112。在所圖示的示例中，dsbt系統(tǒng)112和數(shù)據(jù)收集器116將運行在遠程計算系統(tǒng)(諸如被圖示為運行在云110中的服務(wù)器)上。雖然被示出為在云110中，但是本領(lǐng)域的技術(shù)人員將理解到，數(shù)據(jù)收集器116和/或dsbt系統(tǒng)112可以本地運行(例如，在設(shè)備104上)或運行在其他環(huán)境中。

在一些實施例中，用戶設(shè)備104被配置為周期性地(例如，在預(yù)定義時間間隔處(諸如每小時一次))和/或當(dāng)設(shè)備104被連接到wifi網(wǎng)絡(luò)時，將用戶數(shù)據(jù)108發(fā)送到dsbt系統(tǒng)112。從設(shè)備104到dsbt系統(tǒng)112的用戶數(shù)據(jù)108的傳輸?shù)念l率可以例如基于用戶數(shù)據(jù)的類型而變化。在一些實施例中，建立指定從設(shè)備104到dsbt系統(tǒng)112的用戶數(shù)據(jù)108的傳輸?shù)念A(yù)定義規(guī)則。例如，每次做出或改變?nèi)諝v條目時或者每次電子郵件被發(fā)送或被接收時，對應(yīng)的用戶數(shù)據(jù)108可以間接地被發(fā)送到dsbt系統(tǒng)112。其他用戶數(shù)據(jù)108可以每小時或每天被發(fā)送，或者每次設(shè)備104被激活時被發(fā)送。

口頭語言系統(tǒng)114從設(shè)備104接收口頭語言輸入106。口頭語言系統(tǒng)114包括語音識別系統(tǒng)和自然語音理解系統(tǒng)。語音識別系統(tǒng)將口頭語言輸入106轉(zhuǎn)換為文本或可搜索的數(shù)據(jù)。自然語言理解系統(tǒng)評價來自語音視頻系統(tǒng)的文本或可搜索的數(shù)據(jù)并且標(biāo)識或標(biāo)記口頭語言系統(tǒng)114內(nèi)的用戶意圖、名詞、形容詞和其他項。在一些實施例中，口頭語言系統(tǒng)114利用先前創(chuàng)建或存儲的狀態(tài)圖信息和/或通過與dsbt系統(tǒng)112的通信接收到的用戶數(shù)據(jù)，以標(biāo)識一個或多個標(biāo)簽。例如，在一些實施例中，自然語言理解系統(tǒng)可以將文本“何時”解釋為針對時間的請求并且將文本“何處”解釋為針對位置的請求，即使用戶未特定地說明“時間”或“位置”。自然語言理解系統(tǒng)理解這是用戶如何理解這些術(shù)語并且因此對其進行解釋。然而，語音識別系統(tǒng)和自然語言理解系統(tǒng)可能常常找到兩個可行的解釋并且因此不總是特定關(guān)于標(biāo)簽確定/標(biāo)識。如此，自然語言理解系統(tǒng)給定權(quán)重或置信度水平到所標(biāo)識的項或標(biāo)簽，以指示系統(tǒng)在標(biāo)簽和/或文本中多么可能或多么置信(例如，準確性評價或指示符)。例如，如果口頭語言輸入引用“沃爾沃斯”或“伍爾維奇”，則語音識別系統(tǒng)可以是不確定的。在其他實施例中，如果“王子”指代列出的聯(lián)系人名字、歌手或皇家標(biāo)簽，自然語言理解系統(tǒng)可能是不確定的。在這些實例中，每個解釋被評價和/或被標(biāo)記并且然后被加權(quán)。口頭語言系統(tǒng)114未解決所確定的標(biāo)簽的模糊性和/或不確定性。因此，在一些實施例中，自然語言理解系統(tǒng)創(chuàng)建矛盾的和/或備選地競爭的標(biāo)簽?？陬^語言系統(tǒng)114將所有所確定的標(biāo)簽(甚至矛盾的標(biāo)簽和/或備選的競爭標(biāo)簽和其對應(yīng)的置信度水平)發(fā)送到dsbt系統(tǒng)112。雖然圖1圖示了與口頭語言系統(tǒng)114分離的dsbt系統(tǒng)112，但是在一些實施例中，口頭語言系統(tǒng)114是dsbt系統(tǒng)112的一部分或被包括在dsbt系統(tǒng)112內(nèi)。

dsbt系統(tǒng)112從口頭語言系統(tǒng)114接收標(biāo)簽。如上文所討論的，在一些實施例中，dsbt系統(tǒng)112還從設(shè)備104接收用戶數(shù)據(jù)108。dsbt系統(tǒng)112基于標(biāo)簽和/或用戶數(shù)據(jù)108來搜索知識庫框架118。知識庫框架118是收集關(guān)于實體、屬性以及實體和/或?qū)傩灾g的關(guān)系的信息的一個或多個數(shù)據(jù)存儲庫。大型的圖形知識庫框架118覆蓋各種各樣的領(lǐng)域并且已經(jīng)被創(chuàng)建以改進遞送網(wǎng)絡(luò)搜索結(jié)果中的相關(guān)性。示例知識庫框架包括freebase、谷歌的knowledgegraph(知識圖)和微軟的satory。dsbt系統(tǒng)112搜索這些和任何其他現(xiàn)有的服務(wù)，其允許現(xiàn)有的圖形知識庫框架118的大部分或全部在實時基礎(chǔ)上交互。在一些實施例中，由dsbt系統(tǒng)112搜索的用戶數(shù)據(jù)可以基于接收到的用戶數(shù)據(jù)和接收到的標(biāo)簽而變化。在進一步的實施例中，dsbt系統(tǒng)112選擇已知用戶數(shù)據(jù)的一部分以在知識庫框架118中進行搜索。在其他實施例中，dsbt系統(tǒng)112在知識庫框架118中搜索由dsbt系統(tǒng)112接收到的任何用戶數(shù)據(jù)。圖2圖示了實現(xiàn)dsbt系統(tǒng)112的服務(wù)器802的示例并且通過經(jīng)由服務(wù)器803實現(xiàn)的知識庫框架118的服務(wù)器802搜索標(biāo)簽和用戶數(shù)據(jù)。

dsbt系統(tǒng)112將標(biāo)簽和/或用戶數(shù)據(jù)108的至少一部分匹配到知識庫框架中的實體、屬性和關(guān)系。dsbt系統(tǒng)112復(fù)制包括這些匹配的知識庫框架的一部分的圖形結(jié)構(gòu)(例如，圖形的骨架)。在一些實施例中，框架的一部分包括互連項(或節(jié)點)，其不匹配標(biāo)簽和/或用戶數(shù)據(jù)但是被定位在匹配的標(biāo)簽和/或用戶數(shù)據(jù)之間。不匹配任何用戶數(shù)據(jù)或標(biāo)簽的這些互連項在此被稱為推斷項。在附加的實施例中，框架的一部分可以包括邊緣實體(或邊緣節(jié)點)，其不匹配標(biāo)簽和/或用戶數(shù)據(jù)，但是被定位脫離匹配的標(biāo)簽和/或用戶數(shù)據(jù)的一個或兩個關(guān)系。在一些實施例中，邊緣實體可以是涉及、類似于或作為搜索的標(biāo)簽或用戶數(shù)據(jù)的類型的屬性、實體或關(guān)系。

例如，如果設(shè)備104從用戶接收以下口頭語言輸入：“我想要尋找昂貴的美國餐館”，設(shè)備104將該口頭語言輸入106發(fā)送到口頭語言系統(tǒng)114?？陬^語言系統(tǒng)114可以將餐館的實體和昂貴的屬性和美國作為標(biāo)簽發(fā)送到dsbt系統(tǒng)112。dsbt系統(tǒng)112在一個或多個知識庫框架上搜索所提供的標(biāo)簽連同附加的用戶數(shù)據(jù)，諸如設(shè)備的位置和由用戶常去的餐館的列表。接下來，dsbt系統(tǒng)復(fù)制匹配這些標(biāo)簽和用戶數(shù)據(jù)的知識庫框架的一部分。例如，圖3a圖示了這些標(biāo)簽和用戶數(shù)據(jù)的已知庫框架的一部分302的示例。匹配的標(biāo)簽和用戶數(shù)據(jù)在圖3a中被示出為匹配的屬性304和匹配的實體306。如在圖3a中所圖示的，多個不匹配的實體308和不匹配的屬性310也由知識庫圖形的部分302提供。而且，部分302提供所有所選擇的實體與屬性之間的關(guān)系312。

dsbt系統(tǒng)112至少部分通過將知識庫框架118的一部分的圖形結(jié)構(gòu)轉(zhuǎn)換為概率模型圖來創(chuàng)建狀態(tài)圖120。在一些實施例中，dsbt系統(tǒng)112通過利用加權(quán)連接替換在知識庫框架上所提供的關(guān)系并且通過將置信度指示符分配給狀態(tài)圖120的每個節(jié)點，來將知識庫框架118的一部分轉(zhuǎn)換為概率模型圖。在一些實施例中，狀態(tài)圖120是馬爾可夫隨機場(mrf)。在進一步的實施例中，置信度指示符是節(jié)點的二進制變量的概率。例如，每個節(jié)點指示節(jié)點通過被標(biāo)記或者“開啟”或“關(guān)閉”如何表示用戶的目標(biāo)。在一些實施例中，如果節(jié)點被分配小于0.5的概率，則節(jié)點被標(biāo)記為“關(guān)閉”，并且如果節(jié)點的分配的概率大于0.5，則節(jié)點被標(biāo)記為“開啟”。在一些實施例中，分配的概率和加權(quán)連接至少部分地基于由口頭語言系統(tǒng)114所提供的置信度水平。此外，dsbt系統(tǒng)112定義狀態(tài)圖中的節(jié)點和連接上的潛在的功能。在一些實施例中，加權(quán)連接具有不與知識庫框架118的關(guān)系對齊(不具有一一對應(yīng))并且必須經(jīng)由分離函數(shù)被表示在概率模型圖中的概率關(guān)系。例如，圖3c圖示了標(biāo)識這些分離的功能326的狀態(tài)圖320。

在一些實施例中，狀態(tài)圖的權(quán)重是通用數(shù)學(xué)函數(shù)并且不是奇異值。例如，狀態(tài)圖中的邊緣上的權(quán)重可以被指定為編碼連接的節(jié)點的狀態(tài)之間的協(xié)方差的值的矩陣。這些“加權(quán)”函數(shù)可以被設(shè)置和/或被更新以不僅反映原始圖形結(jié)構(gòu)而且還編碼附加信息，諸如其他輔助數(shù)據(jù)中所觀察的關(guān)系的強度，例如與系統(tǒng)交互的用戶的核對的日志或備選地用戶偏好(明確地被表達或被推斷)。權(quán)重可以手動地/以編程方式被預(yù)定義以編碼期望的關(guān)系，或者使用計算最大化某個目標(biāo)函數(shù)的加權(quán)值的標(biāo)準圖形優(yōu)化技術(shù)來計算其值。

此外，dsbt系統(tǒng)112可以通過將具有針對每個匹配的標(biāo)簽和/或用戶數(shù)據(jù)的置信度指示符和加權(quán)連接的證據(jù)節(jié)點328添加到知識庫框架上的匹配的實體來創(chuàng)建狀態(tài)圖。在一些實施例中，dsbt系統(tǒng)112通過將具有針對每個不匹配的標(biāo)簽和/或用戶數(shù)據(jù)的置信度指示符和加權(quán)連接的節(jié)點添加到概率模型圖來創(chuàng)建狀態(tài)圖。在進一步的實施例中，用戶偏好、喜歡和/或不喜歡被用于改變連接和/或節(jié)點的加權(quán)。在一些實施例中，當(dāng)被添加到狀態(tài)圖時，用戶喜歡/偏好將被標(biāo)記為“開啟”，而用戶不喜歡將被標(biāo)記為“關(guān)閉”。

圖3b、圖3c和圖3d圖示了基于圖3a中所圖示的知識庫框架的示例部分302的轉(zhuǎn)換的不同的示例狀態(tài)圖320。所有的狀圖320已經(jīng)利用加權(quán)連接322來替換關(guān)系312。而且，通過使線條的厚度變化來圖示加權(quán)連接322的強度。在這些示例中，連接越強，線路越厚，并且連接越弱，線路越薄。雖然未示出在狀態(tài)圖320中，狀態(tài)圖320的每個節(jié)點324具有分配的置信度指示符(諸如二進制變量的概率)。然而，具有大于0.5的概率或被標(biāo)記為“開啟”的節(jié)點324在圖3d中是陰影的。節(jié)點324的陰影越暗，節(jié)點的概率越大。無陰影的節(jié)點具有小于0.5的概率并且因此被標(biāo)記為“關(guān)閉”。圖3d中所圖示的狀態(tài)圖320包括作為證據(jù)節(jié)點328的添加的標(biāo)簽。圖3b和圖3b圖示了具有一一對應(yīng)的加權(quán)連接的狀態(tài)圖320。圖3c圖示了具有不存在一一對應(yīng)的加權(quán)連接的狀圖320并且因此提供加權(quán)連接322內(nèi)的因素部分326。圖3b、圖3c和圖3d進一步示出邊緣節(jié)點332。

dsbt系統(tǒng)112利用創(chuàng)建的狀態(tài)圖來確定一個或多個用戶目標(biāo)。dsbt系統(tǒng)112不要求狀態(tài)圖的手動編碼或手動設(shè)計。而且，dsbt系統(tǒng)112不利用狀態(tài)圖確定標(biāo)簽的標(biāo)識在每輪會話內(nèi)是多么準確。相反，dsbt系統(tǒng)112可以利用標(biāo)簽的置信度水平來調(diào)節(jié)狀態(tài)圖的節(jié)點概率。dsbt系統(tǒng)112通過分析狀態(tài)圖內(nèi)的加權(quán)連接、排名和/或概率來確定用戶目標(biāo)。如此，dsbt系統(tǒng)112可以確定導(dǎo)致一個或多個用戶目標(biāo)的多個意圖。在一些實施例中，dsbt系統(tǒng)112基于其加權(quán)連接和/或置信度指示符對節(jié)點進行排名或排序，并且然后選擇排名靠前的(一個或多個)節(jié)點作為用戶的(一個或多個)目標(biāo)。例如，在一些實施例中，dsbt系統(tǒng)112基于其“開啟”的可能性，對節(jié)點進行排名。在一些實施例中，雖然未匹配到標(biāo)簽或用戶數(shù)據(jù)，但是推斷項可以是基于加權(quán)連接、置信度指示符和/或排名的所確定的用戶目標(biāo)。例如，圖3d示出了約翰豪伊的推斷項330(其未匹配到標(biāo)簽或用戶數(shù)據(jù))“開啟”并且被定位在所有“開啟”節(jié)點的中心處。如此，在圖3d中所圖示的實施例中，約翰豪伊可以由dsbt系統(tǒng)112選擇為用戶目標(biāo)。備選地，用戶數(shù)據(jù)可以包括約翰豪伊由用戶常去，并且因此約翰豪伊節(jié)點是匹配的用戶數(shù)據(jù)節(jié)點334并且給定基于該已知的用戶偏好的狀態(tài)圖中的高置信度指示符，如在圖3c中所圖示的。在其他實施例中，用戶數(shù)據(jù)(諸如用戶位置(例如，設(shè)備104的位置))可以驅(qū)動來自知識庫框架的所提供的餐館的選擇。

在其他實施例中，節(jié)點324可以包括意圖。如上文所討論的，由口頭語言系統(tǒng)所確定的用戶意圖被發(fā)送到dsbt系統(tǒng)112作為標(biāo)簽。如此，這些意圖被搜索并且有時被匹配到已知庫框架內(nèi)的項。如果在知識庫框架內(nèi)未找到標(biāo)簽(諸如意圖)，則在最適當(dāng)?shù)那闆r下，dsbt系統(tǒng)112可以將該標(biāo)簽添加到具有置信度指示符和加權(quán)連接的狀態(tài)圖。

例如，如果口頭語言系統(tǒng)114接收“訂票以在附近電影院觀看由約翰·麥克蒂爾南導(dǎo)演的電影”的口頭語言輸入106，則dsbt系統(tǒng)112可以從口頭語言系統(tǒng)114接收以下標(biāo)簽：訂票、觀看、電影、約翰·麥克蒂爾南、電影院、位置。在該示例中，dsbt系統(tǒng)112基于上文接收到的標(biāo)簽來標(biāo)識知識庫框架的一部分402a，這些標(biāo)簽包括與接收到的標(biāo)簽和用戶數(shù)據(jù)、不匹配的實體408、不匹配的屬性410及其關(guān)系412匹配的實體406、屬性404和意圖405，如在圖4a中所圖示的。在該實施例中，意圖標(biāo)簽“觀看”被匹配到知識庫框架。然而，意圖標(biāo)簽“訂票”未被匹配到知識庫框架。dsbt系統(tǒng)112基于圖4a中的部分402a創(chuàng)建狀態(tài)圖以形成狀態(tài)圖420a，如在圖4b中所圖示的。狀態(tài)圖通過利用加權(quán)連接422替換關(guān)系412并且通過添加或施加缺少的意圖標(biāo)簽“訂票”作為意圖節(jié)點450來將部分402a轉(zhuǎn)換到邏輯位置處的狀態(tài)圖420a。雖然未示出，圖4b中所顯示的狀態(tài)圖420a包括針對每個節(jié)點424和節(jié)點424之間的加權(quán)連接422的置信度指示符。此外，如由圖4a和圖4b所圖示的，即使其是用戶的意圖，電影天羅地網(wǎng)和林肯廣場電影院也未特別地由用戶口述。在該實施例中，dsbt系統(tǒng)112基于未被匹配到標(biāo)簽或用戶數(shù)據(jù)(例如，用戶位置)的互連節(jié)點430的加權(quán)連接和/或置信度指示符，推斷用戶的關(guān)于天羅地網(wǎng)和林肯廣場電影院的意圖。

dsbt系統(tǒng)112通過與用戶的多輪會話和/或響應(yīng)于新的或附加的用戶數(shù)據(jù)，來更新創(chuàng)建的狀態(tài)圖。例如，當(dāng)dsbt系統(tǒng)112接收新的或附加的標(biāo)簽或用戶數(shù)據(jù)時，dsbt系統(tǒng)112在實時基礎(chǔ)上或者當(dāng)dsbt系統(tǒng)112接收附加標(biāo)簽和用戶數(shù)據(jù)時執(zhí)行知識庫框架118的另一搜索。dsbt系統(tǒng)112將附加標(biāo)簽和/或用戶數(shù)據(jù)108的至少一部分匹配到知識庫框架中的實體、屬性和關(guān)系。dsbt系統(tǒng)112復(fù)制或者取回與附加標(biāo)簽和用戶數(shù)據(jù)匹配的知識庫框架的一部分。接下來，dsbt系統(tǒng)112確定知識庫框架的一部分的任何實體或?qū)傩允欠衽c先前創(chuàng)建的狀態(tài)圖上的節(jié)點對齊。如果任何實體或?qū)傩詫R，則知識庫框架的新部分基于這些對齊的特征被施加并且被轉(zhuǎn)換為概率模型圖以形成更新的狀態(tài)圖。如果沒有實體或?qū)傩詫R，則dsbt系統(tǒng)112可以將知識庫框架的新部分轉(zhuǎn)換為第二狀態(tài)圖并且維持該第二狀態(tài)圖形分離地形成第一狀態(tài)圖。在一些實施例中，如果搜索的標(biāo)簽和/或用戶數(shù)據(jù)返回知識庫框架的、不連接的兩個分離的區(qū)段，則dsbt系統(tǒng)112可以復(fù)制知識庫框架的一部分中的每個分離的區(qū)段，并且將知識庫框架的這兩個區(qū)段轉(zhuǎn)換為兩個分離的狀態(tài)圖，以及除非后續(xù)的搜索將兩個分離的狀態(tài)圖鏈接在一起，否則分離地維持這兩個狀態(tài)圖。因此，dsbt系統(tǒng)112是多功能的并且可以在與用戶的會話內(nèi)容易地改變到新話題，這是因為dsbt系統(tǒng)112可以同時地維持并且更新分離的狀態(tài)圖以達到一個或多個用戶目標(biāo)。例如，圖2圖示了全部通過由服務(wù)器802實現(xiàn)的dsbt系統(tǒng)112維持和更新的三個分離的狀態(tài)圖120。此外，圖2中所示的狀態(tài)圖120列出針對所圖示的節(jié)點的多個置信度指示符。而且，狀態(tài)圖120上的節(jié)點中的數(shù)個節(jié)點不是基于來自知識庫框架118的匹配項或推斷項，如圖2所圖示的。

此外，彼此分離地創(chuàng)建和維持知識庫框架118和狀態(tài)圖。如此，可以彼此獨立地并且分離地更新知識庫框架118和任何創(chuàng)建的狀態(tài)圖120。狀態(tài)圖120與知識庫框架118之間的分離創(chuàng)建更多功能的系統(tǒng)，其可以隨著關(guān)系改變、隨著用戶數(shù)據(jù)改變和/或隨著口頭語言輸入改變而更容易地適配。

dsbt系統(tǒng)112利用更新的狀態(tài)圖來確定一個或多個用戶目標(biāo)。dsbt系統(tǒng)112通過分析加權(quán)連接、置信度指示符(例如，更新的狀態(tài)圖內(nèi)的概率)和/或節(jié)點的排名來確定一個或多個目標(biāo)。如此，dsbt系統(tǒng)112可以確定導(dǎo)致一個或多個用戶目標(biāo)的多個意圖。在一些實施例中，dsbt系統(tǒng)112基于其“開啟”的可能性對更新的狀態(tài)圖的節(jié)點進行排名或排序，并且然后選擇一個或多個排名靠前的節(jié)點作為一個或多個用戶的(一個或多個)目標(biāo)。

dsbt系統(tǒng)112可以將任何創(chuàng)建的狀態(tài)圖發(fā)送到數(shù)據(jù)收集器116以用于存儲。dsbt系統(tǒng)112可以周期性地(例如，在預(yù)定義時間間隔(諸如每小時一次))和/或當(dāng)設(shè)備104被連接到wifi網(wǎng)絡(luò)時將任何創(chuàng)建的狀態(tài)圖120和/或用戶數(shù)據(jù)108發(fā)送到數(shù)據(jù)收集器116以用于存儲。將狀態(tài)圖120和/或用戶數(shù)據(jù)108從dsbt系統(tǒng)112傳輸?shù)綌?shù)據(jù)收集器116的頻率可以改變。在一些實施例中，建立指定將狀態(tài)圖120和/或用戶數(shù)據(jù)108從dsbt系統(tǒng)112傳輸?shù)綌?shù)據(jù)收集器116的預(yù)定義規(guī)則。在進一步的實施例中，如果在預(yù)定時間量之后或在會話中的預(yù)定數(shù)目的輪次之后未利用狀態(tài)圖，則狀態(tài)圖120可以由dsbt系統(tǒng)112和/或數(shù)據(jù)收集器116刪除。在一些實施例中，狀態(tài)圖的刪除指示用戶與設(shè)備之間的會話的結(jié)束或會話中的話題中的變化。在其他實施例中，基于用戶喜歡、偏好和/或不喜歡由dsbt系統(tǒng)112創(chuàng)建的狀態(tài)圖120總是被維持并且被存儲在數(shù)據(jù)收集器116內(nèi)以用于更新。

dsbt系統(tǒng)112至少基于一個或多個用戶目標(biāo)，將動作(或者執(zhí)行動作的指令)發(fā)送到設(shè)備。在一些實施例中，dsbt系統(tǒng)112發(fā)送提供用戶目標(biāo)的指令。在一些實施例中，提供使用目標(biāo)需要執(zhí)行所請求的動作、向用戶提供所請求的數(shù)據(jù)、和/或改變設(shè)備上的設(shè)置。在附加的實施例中，除了基于來自dsbt系統(tǒng)112的指令執(zhí)行動作以通知用戶所執(zhí)行的動作和/或維持與用戶102的會話之外，還由設(shè)備生成口頭響應(yīng)和/或其他模態(tài)響應(yīng)。在附加的實施例中，提供給用戶的任何數(shù)據(jù)通過由設(shè)備所生成的口頭語言輸出而被提供到用戶。在其他實施例中，可以由設(shè)備104顯示或列出所提供的數(shù)據(jù)。在其他實施例中，dsbt系統(tǒng)112發(fā)送從用戶請求附加數(shù)據(jù)(還被稱為用戶反饋)的指令。在一些實施例中，針對用戶反饋的請求可以在由設(shè)備104所生成的口頭語言輸出中被提供給用戶。在其他實施例中，可以由設(shè)備104顯示或列出用于用戶反饋的請求。被發(fā)送到設(shè)備104的動作可以基于置信度指示符和加權(quán)連接而發(fā)生變化。

例如，在一些實施例中，dsbt系統(tǒng)112將所確定的目標(biāo)的加權(quán)連接和/或置信度指示符與置信度閾值相比較。如果所確定的目標(biāo)的加權(quán)連接和/或置信度指示符不滿足置信度閾值，則dsbt系統(tǒng)112可以發(fā)送請求附加的用戶反饋的指令以便確定用戶目標(biāo)。如果所確定的目標(biāo)的加權(quán)連接和/或置信度指示符滿足置信度閾值，則dsbt系統(tǒng)112發(fā)送執(zhí)行所確定的用戶目標(biāo)的指令。

下面所列出的表1提供了通過多輪利用dsbt系統(tǒng)與設(shè)備的用戶會話的示例。表1所圖示的會話提供dsbt系統(tǒng)112如何對通過多輪會話未明確列出的多個用戶意圖做出響應(yīng)的示例。

表1：用戶與利用dsbt系統(tǒng)的設(shè)備之間的示例會話

如上文所圖示的，dsbt系統(tǒng)112不要求用戶明確地說明他或她的意圖并且可以推斷多個用戶意圖確定用戶的目標(biāo)。例如，在用戶的第一輪期間，dsbt系統(tǒng)112推斷參考電影是天羅地網(wǎng)并且附近的電影院是林肯廣場電影院，如參考圖4a和圖4b上文所討論的?；谶@些推斷意圖，用戶的預(yù)定該推斷電影院處的該推斷電影的票的目標(biāo)由dsbt系統(tǒng)112確定。

如果dsbt系統(tǒng)112基于用戶的位置不確定用戶在會話的第一輪中正參考哪個電影院，則dsbt系統(tǒng)可以將用戶的位置和可能的電影院的列表包含到狀態(tài)圖中。例如，表示用戶的位置的單個節(jié)點(或表示針對每個可能的電影院的用戶位置的多個節(jié)點)，并且然后添加與每個電影院距用戶的位置的距離成正比的加權(quán)連接可以被用于經(jīng)由狀態(tài)圖確定期望的電影院。

dsbt系統(tǒng)112確定系統(tǒng)112不具有用于訂票的足夠信息，并且因此發(fā)送請求用戶反饋的指令以對關(guān)于所確定的用戶目標(biāo)的已知模糊性進行澄清。dsbt系統(tǒng)112可以確定模糊性，這是因為用于觀看表演的日期和時間存在于所確定的狀態(tài)圖上，但是沒有所列出的時間滿足必要的置信度閾值。因此，在一些實施例中，確定用戶的目標(biāo)(或者對于附加信息的需要)的模糊性，這是因為所確定的用戶目標(biāo)不滿足置信度閾值。指令在系統(tǒng)的第一輪提供針對更多數(shù)據(jù)的口頭語言請求。在第二輪期間，用戶經(jīng)由第二口頭語言輸入對所請求的信息做出響應(yīng)，如由以上表1中的用戶第二輪所圖示的。

響應(yīng)于以上表1中所圖示的會話中的第二口頭語言輸入，設(shè)備104將接收到的第二口頭語言輸入發(fā)送到口頭語言系統(tǒng)114?？陬^語言系統(tǒng)114鑒于對話的先前的狀態(tài)來確定一個或多個標(biāo)簽(例如，先前確定的標(biāo)簽、推斷的意圖、用戶目標(biāo)、匹配的實體、匹配的屬性、標(biāo)識的關(guān)系、用戶數(shù)據(jù)，等等)。因此，當(dāng)其是分離的模塊并且彼此不同時，口頭語言系統(tǒng)114和dsbt模塊112彼此通信。在一些實施例中，然而，口頭語言系統(tǒng)114是dsbt系統(tǒng)112的一部分。

在該示例中，口頭語言輸入鑒于先前的所確定的標(biāo)簽和意圖推斷確定以下標(biāo)簽：林肯廣場電影院、訂票、天羅地網(wǎng)、11月1日、在下午7點附近。這些所確定的標(biāo)簽被發(fā)送到dsbt系統(tǒng)112，其搜索一個或多個知識庫框架118并且將這些標(biāo)簽匹配到知識庫框架118內(nèi)的一個或多個實體、屬性和/或關(guān)系。dsbt系統(tǒng)112復(fù)制/取回并且保存包括匹配的標(biāo)簽和任何互連的不匹配的節(jié)點的框架的一部分。dsbt系統(tǒng)112確定知識庫框架的該新部分是否具有與先前地創(chuàng)建的狀態(tài)圖共同的任何節(jié)點，如在圖4b中所圖示的。dsbt系統(tǒng)112通過將共同節(jié)點對齊來將知識庫框架的新部分施加到先前地創(chuàng)建的狀態(tài)圖上。一旦狀態(tài)圖和新部分被對齊，dsbt系統(tǒng)112將組合的圖形轉(zhuǎn)換為概率模型圖以形成更新的狀態(tài)圖。如上文所討論的，如果狀態(tài)圖和新部分未對齊，通過創(chuàng)建除了先前創(chuàng)建的狀態(tài)圖之外所維持的第二分離的狀態(tài)圖來更新狀態(tài)圖。在該示例中，狀態(tài)圖和新部分對齊。接下來，在該示例實施例中，dsbt系統(tǒng)112對被分配給更新的狀態(tài)圖的每個節(jié)點的置信度指示符進行排名。dsbt系統(tǒng)基于節(jié)點的排名，確定用戶目標(biāo)是針對在11月1日7:20上映的天羅地網(wǎng)訂票。由于所確定的目標(biāo)(包括置信度指示符)滿足預(yù)定置信度閾值，因此dsbt系統(tǒng)112發(fā)送執(zhí)行該目標(biāo)并且通知用戶的指令，如在以上表1中所示的系統(tǒng)第二輪中所圖示的。在一些實施例中，來自第一口頭輸入的推斷標(biāo)簽林肯廣場電影院和天羅地網(wǎng)未由口頭語言系統(tǒng)重新提供給dsbt系統(tǒng)，而是相反通過例如將第一輪狀態(tài)圖用作第二輪圖形的基礎(chǔ)或者通過將第一輪圖形和第二輪圖形對齊從先前輪次狀態(tài)圖而被直接并入。

在第三輪期間，用戶利用另一口頭語言輸入對訂好的票做出響應(yīng)，與表1中的用戶第三輪所示一樣。響應(yīng)于該會話中的第三口頭語言輸入，設(shè)備104將接收到的第三口頭語言輸入發(fā)送到口頭語言系統(tǒng)114?？陬^語言系統(tǒng)114鑒于對話的先前的狀態(tài)來確定一個或多個標(biāo)簽(例如，先前確定的標(biāo)簽、推斷的意圖、用戶目標(biāo)、匹配的實體、匹配的屬性、標(biāo)識的關(guān)系、用戶數(shù)據(jù)，等等)。在該示例中，口頭語言系統(tǒng)114可以鑒于先前所確定的標(biāo)簽和意圖推斷確定以下標(biāo)簽：林肯廣場電影院、停車和停車花費。

接下來，在該示例實施例中，這些所確定的標(biāo)簽被發(fā)送到dsbt系統(tǒng)112，其搜索一個或多個知識庫框架118并且將這些標(biāo)簽匹配到知識庫框架118內(nèi)的一個或多個實體、屬性和/或關(guān)系。dsbt系統(tǒng)112復(fù)制或取回并且保存包括匹配的標(biāo)簽和任何互連的不匹配的節(jié)點的框架的第三部分402b，如在圖4c中所圖示的。接下來，dsbt系統(tǒng)112確定知識庫框架的該新部分402b是否具有與先前創(chuàng)建的狀態(tài)圖上的節(jié)點324共同的任何實體或?qū)傩?。出于簡化示例目的，我們將假設(shè)先前創(chuàng)建的狀態(tài)圖是圖4b中所圖示的狀態(tài)圖420a而不是包括來自先前輪的電影日期和時間節(jié)點的圖形。dsbt系統(tǒng)112通過將共同節(jié)點對齊來將新部分402b施加到在圖4b中所圖示的先前創(chuàng)建的狀態(tài)圖420a。例如，部分402b的林肯廣場電影院實體與狀態(tài)圖420a的林肯廣場電影院節(jié)點對齊，因此dsbt系統(tǒng)將這些共同節(jié)點對齊以形成組合的圖形。接下來，在該示例實施例中，dsbt系統(tǒng)112通過利用加權(quán)連接422替換關(guān)系412賴將組合的圖形轉(zhuǎn)換為概率模型圖以形成更新的狀態(tài)圖420b，如在圖4d中所圖示的。dsbt系統(tǒng)112然后對被分配給更新的狀態(tài)圖420b的每個節(jié)點424的置信度指示符進行排名以確定用戶的目標(biāo)是進行驗證的鉆石停車場價格。dsbt系統(tǒng)112發(fā)送執(zhí)行該目標(biāo)的指令，如在以上表3中的會話的系統(tǒng)第三輪中所圖示的，這是因為所確定的目標(biāo)(包括置信度指示符)滿足預(yù)定的置信度閾值。

表1中上文所圖示的會話內(nèi)的對話狀態(tài)和置信通過以下動作被dsbt系統(tǒng)跟蹤：通過每輪維持并且更新狀態(tài)圖并且在新標(biāo)記的標(biāo)識期間參考狀態(tài)圖。此外，如果新會話對話由用戶開始，則dsbt系統(tǒng)可以平滑并且迅速地轉(zhuǎn)換到該新話題。例如，新話題將最可能地返回知識庫框架中的、不與已經(jīng)形成的狀態(tài)圖的任何節(jié)點對齊的一部分。在這些實施例中，新部分被轉(zhuǎn)換為其自身的與先前的圖形分離的狀態(tài)圖，并且被分析以由dsbt系統(tǒng)112確定用戶目標(biāo)，而不需要重新設(shè)計或重新創(chuàng)建任何先前地所確定的狀態(tài)圖。如上文所討論的，如果任何所存儲的狀態(tài)圖形在預(yù)定時間量或預(yù)定數(shù)目的輪次之后未由dsbt系統(tǒng)112利用，則dsbt系統(tǒng)112可以將狀態(tài)圖發(fā)送到數(shù)據(jù)收集器116以用于存儲或者可以刪除狀態(tài)圖。此外，多個狀態(tài)圖的使用還允許dsbt系統(tǒng)112通過簡單地同時維持并且更新分離的狀態(tài)圖而在與用戶的給定會話內(nèi)的多個話題之間跳躍。如此，系統(tǒng)100防止用戶必須明確地陳述每個意圖和期望目標(biāo)同時，仍然從設(shè)備接收期望目標(biāo)，從而改進了用戶完成任務(wù)、執(zhí)行命令并且獲得期望的產(chǎn)品和/或服務(wù)的能力。此外，系統(tǒng)100改進設(shè)備的對來自用戶的口頭語言輸入的響應(yīng)并且從而改進用戶與設(shè)備的交互。

圖5是概念地圖示用于對口頭語言輸入做出響應(yīng)的方法500的示例的流程圖。在一些實施例中，通過包括口頭語言系統(tǒng)的dsbt系統(tǒng)執(zhí)行方法500。在其他實施例中，通過dsbt系統(tǒng)和分離的口頭語言系統(tǒng)執(zhí)行方法500。在進一步的實施例中，通過計算設(shè)備、移動計算設(shè)備或者經(jīng)由遠程服務(wù)器和/或遠程計算設(shè)備的網(wǎng)絡(luò)執(zhí)行方法500。

在操作502處，接收口頭語言輸入和/或用戶數(shù)據(jù)。用戶數(shù)據(jù)包括任何相關(guān)用戶數(shù)據(jù)(例如，用戶信息、用戶信號、用戶位置、用戶推斷，等等)。如上文所指出的，可以根據(jù)與設(shè)備的用戶交互和在設(shè)備上運行的應(yīng)用來生成用戶數(shù)據(jù)和/或口頭語言輸入。在一些實施例中，在各種時間(諸如在接收時、在預(yù)定義時間間隔處或當(dāng)在操作502期間設(shè)備被連接到wifi網(wǎng)絡(luò)時)，用戶數(shù)據(jù)從設(shè)備被發(fā)送到dsbt系統(tǒng)或數(shù)據(jù)收集器。而且，如上文所討論的，在一些實施例中，只要設(shè)備在操作502期間接收到口頭語言輸入，口頭語言系統(tǒng)就從設(shè)備接收一個或多個口頭語言輸入。在其他實施例中，口頭語言系統(tǒng)在各種時間(諸如預(yù)定義時間間隔或當(dāng)在操作502期間設(shè)備被連接到wifi網(wǎng)絡(luò)時)從設(shè)備接收一個或多個口頭語言輸入。

在附加的實施例中，在操作502處接收或者收集附加的用戶數(shù)據(jù)。附加的用戶信息是在先前接收到的用戶數(shù)據(jù)之后被接收或被收集的、由用戶錄入和/或關(guān)于用戶的信息。在一些實施例中，用戶數(shù)據(jù)(初始的和/或附加的)包括用戶反饋。在一些實施例中，初始用戶數(shù)據(jù)是在操作502期間由dsbt系統(tǒng)接收到或收集的第一數(shù)據(jù)集。在一些實施例中，在操作502處連續(xù)地監(jiān)測、接收和/或收集用戶數(shù)據(jù)。在進一步的實施例中，在操作502處接收或收集附加的口頭語言輸入。附加的口頭語言輸入是在初始或先前的口頭語言輸入被接收之后由口頭語言系統(tǒng)接收到或收集的任何附加的口頭語言輸入。在一些實施例中，初始口頭語言輸入是在操作502期間由dsbt系統(tǒng)或數(shù)據(jù)收集器接收到或收集的第一口頭語言輸入。在一些實施例中，多個口頭語言輸入各自是在操作502期間用戶與設(shè)備之間的新會話的每輪。如此，在其他實施例中，初始口頭語言輸入是在操作502期間由dsbt系統(tǒng)或數(shù)據(jù)收集器被接收為會話的一部分的第一口頭語言輸入。在進一步的實施例中，口頭語言輸入(初始的和/或附加的)包括用戶反饋。在其他實施例中，用戶數(shù)據(jù)可以是操作502期間用戶與設(shè)備之間的會話中的一輪或多輪。

與設(shè)備的用戶相關(guān)聯(lián)的各種用戶數(shù)據(jù)的示例可以包括由用戶錄入的任何信息、會員信號(例如，健身房會員可以被用于標(biāo)識用于用戶的鍛煉位置；電影俱樂部會員可以被用于標(biāo)識用于用戶的優(yōu)選的電影院和/或優(yōu)惠券，等等)、社交網(wǎng)絡(luò)信號(例如，“我報名了馬拉松”郵件可以被用于標(biāo)識對健身或跑步的興趣；“咱們見面吃晚餐吧”消息可以被用于標(biāo)識優(yōu)選的用餐位置或者廚房，等等)、設(shè)備上下文信號(例如，連接性狀態(tài)和/或位置可以被用于確定喚醒或睡眠時間；用戶數(shù)據(jù)(諸如電子郵件消息和任務(wù)列表可以被用于確定計劃的未來的活動和位置，等等)、實時數(shù)據(jù)信號(例如，健身時間；估計旅行時間的交通狀況；用戶星期六通常去的咖啡店的關(guān)閉，等等)、活動數(shù)據(jù)信號(例如，在工作之前的咖啡的優(yōu)選的停止可以基于與早晨時間相對應(yīng)的、設(shè)備的設(shè)備位置而被標(biāo)識；孩子的放學(xué)后活動可以基于與傍晚時間處的足球場相對應(yīng)的、設(shè)備的設(shè)備位置而被標(biāo)識，等等)、日歷信號(例如，會議、約會等)，等等。而且，口頭語言輸入可以包括動作請求、數(shù)據(jù)請求、設(shè)置命令，等等。

在操作504處，根據(jù)接收到的口頭語言輸入標(biāo)識一個或多個標(biāo)簽。在操作504處，所標(biāo)識的標(biāo)簽可以被給定置信度水平。置信度水平指示標(biāo)簽多么可能是正確或準確的。在一些實例中，在操作504期間，根據(jù)口頭語言輸入確定矛盾和/或模糊的標(biāo)簽。每個解釋在操作504期間被評價、被加權(quán)并且然后被標(biāo)記。在操作504期間沒有解決所確定的標(biāo)簽的模糊性和/或不確定性。

在一些實施例中，在操作504期間，口頭語言系統(tǒng)標(biāo)識來自接收到的口頭語言輸入內(nèi)的一個或多個標(biāo)簽。在一些實施例中，在操作504期間，口頭語言輸入由語音識別系統(tǒng)被轉(zhuǎn)換為文本并且然后標(biāo)簽通過自然語言理解系統(tǒng)從文本被標(biāo)識。在一些實施例中，用戶數(shù)據(jù)和先前創(chuàng)建的狀態(tài)圖信息被引用以根據(jù)接收到的口頭語言輸入確定/標(biāo)識一個或多個標(biāo)簽。在一些實施例中，當(dāng)標(biāo)簽被標(biāo)識時，dsbt系統(tǒng)從口頭語言系統(tǒng)接收一個或多個標(biāo)簽。在其他實施例中，在操作504期間，dsbt系統(tǒng)在各種時間(諸如預(yù)定義時間間隔或當(dāng)設(shè)備被連接到wifi網(wǎng)絡(luò)時)從口頭語言系統(tǒng)接收一個或多個標(biāo)簽。在其他實施例中，在操作504期間，dsbt系統(tǒng)標(biāo)識接收到的口頭語言輸入內(nèi)的標(biāo)簽。在一些實施例中，在操作504期間，所標(biāo)識的標(biāo)簽由數(shù)據(jù)收集器存儲。

在操作506處，基于所標(biāo)識的標(biāo)簽和/或用戶數(shù)據(jù)，搜索一個或多個知識庫框架。如上文所討論的，知識庫框架是包括多個實體、屬性和實體和屬性彼此的關(guān)系的數(shù)據(jù)庫。大型的圖形知識庫框架覆蓋各種各樣的領(lǐng)域并且已經(jīng)被創(chuàng)建以改進遞送網(wǎng)絡(luò)搜索結(jié)果中的相關(guān)性并且慮及實時交互。在一些實施例中，在操作506期間，dsbt系統(tǒng)搜索一個或多個知識庫框架。

在操作508期間，知識庫框架的一部分基于標(biāo)簽和/或用戶數(shù)據(jù)被標(biāo)識。該部分包括與標(biāo)簽和/或用戶數(shù)據(jù)中的一個或多個匹配的至少一個實體(包括用戶意圖)或?qū)傩?。在一些實施例中，在操?08期間，標(biāo)識與標(biāo)簽和/或用戶數(shù)據(jù)不匹配的互連的實體和/或邊緣屬性。如此，該部分可以包括不匹配的互連的實體或?qū)傩?還被稱為推斷項)和/或邊緣屬性和/或?qū)嶓w。此外，知識庫框架的部分可以包括一個或多個知識庫框架的兩個分離的區(qū)段，其與一個或多個標(biāo)簽和/或用戶數(shù)據(jù)匹配但是未連接到彼此。在操作508期間，復(fù)制、取回和/或存儲知識庫框架(或者部分的圖形的骨架)的所標(biāo)識的部分。

在操作510處，至少部分地基于知識庫框架的所標(biāo)識的部分，創(chuàng)建和/或更新至少一個狀態(tài)圖。在一些實施例中，在操作510處，至少部分通過以下操作來創(chuàng)建狀態(tài)圖：通過利用加權(quán)連接替換所標(biāo)識的關(guān)系并且將置信度指示符分配給狀態(tài)圖的每個節(jié)點，來將知識庫框架的部分轉(zhuǎn)換為概率模型圖。在進一步的實施例中，在操作510處，標(biāo)簽利用其自身的置信度指示符經(jīng)由對概率模型圖的加權(quán)連接被施加到其對應(yīng)匹配的實體或?qū)傩宰鳛樽C據(jù)節(jié)點。在一些實施例中，加權(quán)連接不具有一一對應(yīng)，以及在狀態(tài)圖中表示或確定關(guān)系和這些功能。例如，圖3c圖示了其中示出這些功能326的狀態(tài)圖320。在一些實施例中，狀態(tài)圖是馬爾可夫隨機場(mrf)。在進一步的實施例中，在操作510處，每個節(jié)點的置信度指示符指示節(jié)點通過被標(biāo)記或者“開啟”或者“關(guān)閉”而表示用戶目標(biāo)多么可能。在一些實施例中，如果節(jié)點被分配小于0.5的概率，則節(jié)點被標(biāo)記為“關(guān)閉”，并且如果節(jié)點的分配的概率大于0.5，則節(jié)點被標(biāo)記為“開啟”。然而，其他概率閾值可以被用于將節(jié)點標(biāo)記為“開啟”或“關(guān)閉”，如由本領(lǐng)域的技術(shù)人員將已知的。在一些實施例中，操作502處所標(biāo)識的標(biāo)簽的置信度水平被評價以至少部分地確定分配的概率和加權(quán)連接。在一些實施例中，在操作510處，在知識庫框架的兩個分離的區(qū)段被包括在該部分中的情況下，基于知識庫框架的分離的區(qū)段，創(chuàng)建兩個分離的狀態(tài)圖。在一些實施例中，在操作510期間，存儲一個或多個創(chuàng)建的狀態(tài)圖。

在一些實施例中，在操作510處，通過與用戶的多輪會話和/或響應(yīng)于新或附加的用戶數(shù)據(jù)來更新創(chuàng)建的狀態(tài)圖。在這些實施例中，被包括在從新標(biāo)簽或用戶數(shù)據(jù)所標(biāo)識的知識庫框架的部分中的實體和屬性與任何已經(jīng)創(chuàng)建的狀態(tài)圖中的匹配節(jié)點被對齊。在操作510處，如果任何實體或?qū)傩詫R，則知識庫框架的新部分基于這些對齊的特征被施加并且被轉(zhuǎn)換為概率模型圖以形成更新的狀態(tài)圖。在一些實施例中，基于知識庫框架的附加部分的對齊，兩個分離的圖形可以被分離地更新和/或被鏈接在一起。在操作510處，如果沒有實體或?qū)傩詫R，則知識庫框架的新部分可以被轉(zhuǎn)換為第二狀態(tài)圖并且與第一狀態(tài)圖被分離地維持形成。在進一步的實施例中，在操作510處，如果在預(yù)定時間量之后或在會話中的預(yù)定數(shù)目的輪次之后未更新狀態(tài)圖，可以刪除該先前地創(chuàng)建的狀態(tài)圖。在一些實施例中，狀態(tài)圖的刪除指示用戶與設(shè)備之間的會話的結(jié)束或會話中的話題中的變化。在其他實施例中，新的或附加的狀態(tài)圖的創(chuàng)建指示一個會話的結(jié)束以及在用戶與設(shè)備之間的新話題的新會話的開始。在進一步的實施例中，如果在預(yù)定時間量之后或在預(yù)定數(shù)目輪次的會話之后未更新狀態(tài)圖，則操作510確定在用戶與設(shè)備之間的該會話已經(jīng)結(jié)束。在其他實施例中，在操作510處，總是維持、存儲和/或更新基于用戶喜歡、偏好和/或不喜歡的先前創(chuàng)建的狀態(tài)圖。

在操作512處，基于創(chuàng)建的狀態(tài)圖，確定至少一個用戶目標(biāo)。在一些實施例中，在操作512處，基于一個或多個狀態(tài)圖、加權(quán)連接和/或置信度指示符，確定用戶目標(biāo)。在附加的實施例中，在操作512處，基于加權(quán)連接和/或置信度指示符，對創(chuàng)建的狀態(tài)圖的每個節(jié)點進行排名。在這些實施例中，排名靠前的節(jié)點最可能是用戶目標(biāo)并且這些節(jié)點中的一個或多個被選擇以確定一個或多個用戶目標(biāo)。

在操作514處，基于一個或多個所確定的用戶目標(biāo)來發(fā)送動作。動作是執(zhí)行用戶命令、滿足用戶請求或請求附加數(shù)據(jù)的指令。在操作514處發(fā)送的動作基于用戶目標(biāo)、用戶目標(biāo)的置信度指示符、對用戶目標(biāo)的加權(quán)連接和/或用戶目標(biāo)的上下文而發(fā)生變化。在一些實施例中，在操作516處，用戶目標(biāo)與置信度閾值相比較，如在圖5b中所圖示的。如果在操作512處基于其置信度指示符和/或加權(quán)連接的所確定的目標(biāo)不滿足置信度閾值，則執(zhí)行操作520。如果在操作516處基于其加權(quán)連接和/或置信度指示符的所確定的目標(biāo)滿足置信度閾值，則執(zhí)行操作518。在進一步的實施例中，在操作514處，基于跨越節(jié)點的概率分布來選擇動作。例如，在操作514處，模型可以被訓(xùn)練以將跨越狀態(tài)圖中的節(jié)點和/或?qū)嶓w的置信度指示符的分布和/或散布與用于選擇的適當(dāng)?shù)膭幼飨嚓P(guān)聯(lián)。此外，在操作514處，模型可以被訓(xùn)練以學(xué)習(xí)置信度指示符與動作上的分布之間的映射和/或被訓(xùn)練以利用與每個分類標(biāo)簽相關(guān)聯(lián)的動作對分布進行分類。例如，在操作514處，對動作映射或分類的分布的重復(fù)的系統(tǒng)性能可以被用于學(xué)習(xí)最好的映射和分類。如此，在一些實施例中，在操作514處，通過對利用機器學(xué)習(xí)模型的置信度指示符的模式進行分類來確定一個或多個用戶目標(biāo)。

如在圖5b中所圖示的，在操作518處，所確定的目標(biāo)的上下文被評價，并且執(zhí)行該上下文的指令被發(fā)送用于執(zhí)行。例如，在操作518處，如果目標(biāo)是購買電影票，則執(zhí)行該任務(wù)的指令被發(fā)送到用戶。在另一示例中，在操作518處，如果所確定的目標(biāo)是改變設(shè)備上的設(shè)置，則指令被發(fā)送以改變所請求的設(shè)置。在附加的示例中，在操作518處，如果所確定的目標(biāo)是針對信息的請求，則發(fā)送將信息取回并且提供給用戶的指令。此外，經(jīng)由機器生成的口頭響應(yīng)對用戶做出響應(yīng)的指令可以是在操作518處發(fā)送的指令的一部分。備選地或者附加地，在操作518處，經(jīng)由其他模態(tài)對用戶做出響應(yīng)的指令可以是在操作518處所發(fā)送的指令的一部分。例如，口頭通知用戶購買票、做出設(shè)置改變或找到并且呈現(xiàn)該數(shù)據(jù)的指令可以被包括在指令中。由設(shè)備造成的口頭語言輸出和/或其他模態(tài)的執(zhí)行可以構(gòu)成用戶與設(shè)備之間的會話中的系統(tǒng)輪次。通過設(shè)備從用戶接收口頭語言輸入和/或其他模態(tài)可以構(gòu)成用戶與設(shè)備之間的對話中的用戶輪次。

在操作520處，發(fā)送用戶反饋(諸如附加的信息指令)。附加反饋將特定于一個或多個所確定的目標(biāo)以便對用戶意圖或期望的目標(biāo)進行澄清。例如，指令可以包括在兩個不同的潛在的用戶目標(biāo)(諸如汽車出發(fā)時間或火車出發(fā)時間)之間進行區(qū)分的澄清。在一些實施例中，在操作512處，反饋指令是機器生成的口令響應(yīng)和/或其他機器生成的模態(tài)。

因此，方法500迅速地適于用戶數(shù)據(jù)、口頭語言請求以及實體和/或?qū)傩灾g的關(guān)系中的變化。例如，方法500可以維持同時地到達分離的用戶目標(biāo)的分離的狀態(tài)圖。此外，在實時基礎(chǔ)上維持并且更新分離的狀態(tài)圖的方法500的能力允許多個意圖被推斷并且允許多個意圖在接收到跨越多輪會話的附加的口頭語言輸入時被維持并且被更新。而且，狀態(tài)圖與知識庫框架之間的分離允許各自在不影響另一個的情況下容易地被修改并且被更新。如此，方法500防止用戶必須明確地陳述每個意圖和期望目標(biāo)，同時仍然從設(shè)備確定期望目標(biāo)，以改進用戶完成任務(wù)、執(zhí)行命令并且獲得期望的產(chǎn)品和/或服務(wù)的能力。此外，方法500提供對來自用戶的口頭語言輸入的更好的響應(yīng)以改進與設(shè)備的用戶交互。

在一些實施例中，公開了用于對口頭語言輸入做出響應(yīng)的方法。該方法包括用于從設(shè)備接收用戶數(shù)據(jù)和第一口頭語言輸入的裝置和用于標(biāo)識第一口頭語言輸入內(nèi)的標(biāo)簽的裝置。方法還包括用于基于標(biāo)簽和用戶數(shù)據(jù)來搜索知識庫框架的裝置。知識庫框架是包括多個實體、屬性以及實體與屬性之間的關(guān)系的數(shù)據(jù)庫。此外，方法包括用于標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽和用戶數(shù)據(jù)中的至少一個匹配的實體、屬性和關(guān)系的裝置以及用于標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽和用戶數(shù)據(jù)中的任一個不匹配的至少一個互連項以執(zhí)行至少一個推斷項的裝置。方法還包括用于基于知識庫框架中的、包括任何匹配的實體、匹配的屬性、經(jīng)標(biāo)識的關(guān)系和至少一個推斷項的一部分并且基于標(biāo)簽來創(chuàng)建狀態(tài)圖的裝置。至少部分通過以下來創(chuàng)建狀態(tài)圖：通過利用加權(quán)連接替換所標(biāo)識的關(guān)系并且通過將置信度指示符分配給狀態(tài)圖的每個節(jié)點來將知識庫框架中的一部分轉(zhuǎn)換為概率模型圖。方法還包括用于基于狀態(tài)圖來確定至少一個目標(biāo)的裝置以及用于基于至少一個目標(biāo)、加權(quán)連接和置信度指示符將執(zhí)行動作的指令發(fā)送到設(shè)備的裝置。

在一些實施例中，公開了用于對口頭語言輸入做出響應(yīng)的方法。該方法包括用于從設(shè)備接收用戶數(shù)據(jù)和第二口頭語言輸入的裝置。方法還包括用于鑒于來自用戶與設(shè)備之間的會話中的第一口頭語言輸入的先前確定的標(biāo)簽來標(biāo)識第二口頭語言輸入內(nèi)的標(biāo)簽的裝置。方法還包括用于基于標(biāo)簽和用戶數(shù)據(jù)來搜索知識庫框架的裝置以及用于標(biāo)識知識庫框架內(nèi)的、與標(biāo)簽和用戶數(shù)據(jù)中的至少一個匹配的實體、屬性和關(guān)系的裝置。此外，方法包括用于通過將匹配的實體和匹配的屬性中的任一個與被存儲的狀態(tài)圖中的節(jié)點對齊，并且基于知識庫框架中的、包括任何匹配的實體、匹配的屬性和經(jīng)標(biāo)識的關(guān)系的一部分來創(chuàng)建更新的狀態(tài)圖的裝置。更新的狀態(tài)圖至少部分通過將知識庫框架的一部分轉(zhuǎn)換為概率模型圖而被形成。而且，方法包括基于更新的狀態(tài)圖來確定至少一個用戶目標(biāo)的裝置以及用于發(fā)送基于至少一個用戶目標(biāo)和用于至少一個用戶目標(biāo)的置信度指示符而向設(shè)備發(fā)送執(zhí)行動作的指令的裝置。

圖6至圖9和相關(guān)聯(lián)的描述提供在其中可以實踐本公開的實施例的各種操作環(huán)境的討論。然而，關(guān)于圖6至圖9所圖示和所討論的設(shè)備和系統(tǒng)出于示例和說明的目的并且不是對可以被用于實踐在此所描述的本公開的實施例的大量的計算設(shè)備配置的限制。

圖6是圖示利用其可以實踐本公開的實施例的計算設(shè)備600的物理部件(例如，硬件)的框圖。例如，可以由計算設(shè)備600實現(xiàn)被示出為在圖1中的云110中操作的dsbt系統(tǒng)112和/或口頭語言系統(tǒng)114。下面所描述的計算設(shè)備部件可以包括用于對話狀態(tài)置信跟蹤系統(tǒng)(dsbt)模塊611的計算機可執(zhí)行指令，其可以被執(zhí)行以采用方法500并且實現(xiàn)在此所公開的系統(tǒng)100的部分。在基本配置中，計算設(shè)備600可以包括至少一個處理單元602和系統(tǒng)存儲器604。取決于計算設(shè)備的配置和類型，系統(tǒng)存儲器604可以包括但不限于易失性存儲(例如，隨機存取存儲器)、非易失性存儲(例如，只讀存儲器)、閃速存儲器或者這樣的存儲器的任何組合。系統(tǒng)存儲器604可以包括操作系統(tǒng)605以及適于運行軟件應(yīng)用620的一個或多個程序模塊606(諸如dsbt模塊611)。例如，操作系統(tǒng)605可以適于控制計算設(shè)備600的操作。而且，本公開的實施例可以結(jié)合圖形庫、其他操作系統(tǒng)或者任何其他應(yīng)用程序被實踐并且不限于任何特定應(yīng)用或者系統(tǒng)。通過虛線608內(nèi)的那些部件在圖6中圖示該基本配置。計算設(shè)備600可以具有附加的特征或功能。例如，計算設(shè)備600還可以包括附加的數(shù)據(jù)存儲設(shè)備(可移除和/或不可移除的)，諸如例如磁盤、光盤或者磁帶。通過可移除的存儲設(shè)備609和不可移除的存儲設(shè)備610在圖6中圖示這樣的附加存儲裝置。例如，用戶數(shù)據(jù)108、狀態(tài)圖120、口頭語言輸入106、標(biāo)簽等可以被存儲在所圖示的存儲設(shè)備中的任一個存儲設(shè)備上。

如上文所陳述的，若干程序模塊和數(shù)據(jù)文件可以被存儲在系統(tǒng)存儲器604中。當(dāng)在處理單元602上執(zhí)行時，程序模塊606(例如，dsbt模塊611、口頭語言模塊612或電子郵件應(yīng)用613)可以執(zhí)行過程，包括但不限于用于對口頭語言輸入106做出響應(yīng)的系統(tǒng)，如在此所描述的。例如，處理單元602可以實現(xiàn)口頭語言模塊612和/或?qū)υ挔顟B(tài)置信跟蹤模塊611。在一些實施例中，dsbt模塊611包括口頭語言模塊612。根據(jù)本公開的實施例并且特別地為了生成屏幕內(nèi)容可以使用的其他程序模塊可以包括電子郵件和聯(lián)系人應(yīng)用、字處理應(yīng)用、電子表格應(yīng)用、數(shù)據(jù)庫應(yīng)用、幻燈片演示應(yīng)用、繪圖、消息應(yīng)用和/或計算機輔助應(yīng)用程序等。

此外，本公開的實施例可以被實踐在包括分離的電子元件的電路、包含邏輯門的封裝或者集成電子芯片、利用微處理器的電路中或者包含電子元件或微處理器的單個芯片上。例如，本公開的實施例可以經(jīng)由片上系統(tǒng)(soc)被實踐，其中圖6中所圖示的每個部件或許多部件可以被集成到單個集成電路上。這樣的soc設(shè)備可以包括一個或多個處理單元、圖形單元、通信單元、系統(tǒng)虛擬化單元和全部被集成(或者“被燒制”)到芯片襯底上作為單個集成電路的各種應(yīng)用功能。當(dāng)經(jīng)由soc操作時，關(guān)于客戶端切換協(xié)議的能力的在此所描述的功能可以經(jīng)由與單個集成電路(芯片)上的計算設(shè)備600的其他部件集成的專用邏輯而被操作。本公開的實施例還可以使用能夠執(zhí)行邏輯操作(諸如例如and、or和not)的其他技術(shù)被實踐，包括但不限于機械、光學(xué)、流體和量子技術(shù)。另外，本公開的實施例可以被實踐在通用計算機內(nèi)或在任何其他電路或系統(tǒng)中。

計算設(shè)備600還可以具有一個或多個輸入設(shè)備612(諸如鍵盤、鼠標(biāo)、筆、聲音或語音輸入設(shè)備、觸摸輸入設(shè)備等)。還可以包括(一個或多個)輸出設(shè)備(諸如顯示器、揚聲器、打印機等)。前述設(shè)備是示例并且可以使用其他設(shè)備。計算設(shè)備600可以包括允許與其他計算設(shè)備(諸如用戶設(shè)備104)通信的一個或多個通信連接616。適合的通信連接616的示例包括但不限于rf發(fā)射器、接收器和/或收發(fā)器電路；通用串行總線(usb)、并行和/或串行端口。

如在此所使用的術(shù)語計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)。計算機存儲介質(zhì)可以包括以用于信息(諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)或者程序模塊)的存儲的任何方法或者技術(shù)中實現(xiàn)的易失性和非易失性、可移除和不可移除的介質(zhì)。系統(tǒng)存儲器604、可移除的存儲設(shè)備609和不可移除的存儲設(shè)備610全部是計算機存儲介質(zhì)示例(例如，存儲器存儲裝置)。計算機存儲介質(zhì)可以包括ram、rom、電可擦只讀存儲器(eeprom)、閃速存儲器或者其他存儲器技術(shù)、cd-rom、數(shù)字多用光盤(dvd)或者其他光學(xué)存儲裝置、磁帶盒、磁帶、磁盤存儲或者其他磁性存儲設(shè)備或者可以被用于存儲信息并且可以由計算設(shè)備600訪問的任何其他制造品。任何這樣的計算機存儲介質(zhì)可以是計算設(shè)備600的一部分。計算機存儲介質(zhì)不包括載波或者其他傳播或者調(diào)制數(shù)據(jù)信號。

可以由計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者經(jīng)調(diào)制的數(shù)據(jù)信號(諸如載波或者其他傳輸機制)中的其他數(shù)據(jù)實現(xiàn)通信介質(zhì)，并且包括任何信息遞送介質(zhì)。術(shù)語“經(jīng)調(diào)制的數(shù)據(jù)信號”可以描述具有以關(guān)于將信息編碼在信號中的這樣的方式設(shè)定或改變的一個或多個特性的信號。以示例而非限制的方式，通信介質(zhì)包括有線介質(zhì)(諸如有線網(wǎng)絡(luò)或直接有線連接)和無線介質(zhì)(諸如聲學(xué)、射頻(rf)、紅外和其他無線介質(zhì))。

圖7a和圖7b圖示了利用其可以實踐本公開的實施例的移動計算設(shè)備700，例如，移動電話、智能電話、可穿戴計算機(諸如智能手表)、平板個人計算機、膝上型計算機等。例如，可以由移動計算設(shè)備700實現(xiàn)用戶設(shè)備104。參考圖7a，圖示了適于實現(xiàn)實施例的移動計算設(shè)備700的一個實施例。在基本配置中，移動計算設(shè)備700是具有輸入元件和輸出元件二者的手持式計算機。移動計算設(shè)備700通常地包括顯示器705和一個或多個輸入按鈕710，其允許用戶將信息輸入到移動計算設(shè)備700中。移動計算設(shè)備700的顯示器705還可以用作輸入設(shè)備(例如，觸摸屏顯示器)。

如果被包括的話，可選的側(cè)輸入元件715允許進一步的用戶輸入。側(cè)輸入元件715可以是旋轉(zhuǎn)開關(guān)、按鈕或者任何其他類型的手動輸入元件。在備選示例中，移動計算設(shè)備700可以包含更多或更少的輸入元件。例如，在一些示例中，顯示器705可以不是觸摸屏。在又一備選示例中，移動計算設(shè)備700是便攜式電話系統(tǒng)(諸如蜂窩電話)。移動計算設(shè)備700還可以包括可選的小鍵盤735?？蛇x的小鍵盤735可以是物理小鍵盤或觸摸屏顯示器上生成的“軟”小鍵盤。

補充或者代替與顯示器705和/或小鍵盤735相關(guān)聯(lián)的觸摸屏輸入設(shè)備，自然用戶界面(nui)可以被包含在移動計算設(shè)備700中。如在此所使用的，nui包括使得用戶能夠以沒有由輸入設(shè)備(諸如鼠標(biāo)、鍵盤、遙控器等)強加的人工約束的“自然的”方式與設(shè)備交互的任何接口技術(shù)。nui方法的示例包括依賴于語言識別、接觸和觸筆識別、在屏幕上和屏幕附近二者的姿態(tài)識別、空中姿態(tài)、頭和眼跟蹤、語音和語言、視覺、接觸、姿態(tài)和機器智能的那些示例。

在各種實施例中，輸出元件包括用于示出圖形用戶接口(gui)的顯示器705。在在此所公開的實施例中，各種用戶信息集合可以被顯示在顯示器705上。進一步的輸出元件可以包括視覺指示符720(例如，發(fā)光二極管)和/或音頻換能器725(例如，揚聲器)。在一些示例中，移動計算設(shè)備700包含用于向用戶提供觸覺反饋的振動換能器。在又一示例中，移動計算設(shè)備700包含輸入和/或輸出端口(諸如音頻輸入(例如，麥克風(fēng)插孔))、音頻輸出(例如，頭戴式耳機插孔)和用于將信號發(fā)送到外部設(shè)備或從外部設(shè)備接收信號的視頻輸出(例如，hdmi端口)。

圖7b是圖示移動計算設(shè)備的一個實施例的架構(gòu)的框圖。也即，移動計算設(shè)備700可以包含實現(xiàn)一些實施例的系統(tǒng)(例如，架構(gòu))702。在一個示例中，系統(tǒng)702被實現(xiàn)為能夠運行一個或多個應(yīng)用(例如，瀏覽器、電子郵件、日歷、聯(lián)系人管理器、消息客戶端、游戲和媒體客戶端/播放器)的“智能電話”。在一些示例中，系統(tǒng)702被集成為計算設(shè)備(諸如集成個人數(shù)字助理(pda)和無線電話)。

一個或多個應(yīng)用程序766和/或dsbt模塊611可以被加載到存儲器762中并且在操作系統(tǒng)764上運行或與操作系統(tǒng)764相關(guān)聯(lián)。應(yīng)用程序的示例包括電話撥號器程序、電子郵件程序、個人信息管理(pim)程序、詞語處理程序、電子表格程序、因特網(wǎng)瀏覽器程序、消息程序等。系統(tǒng)702還包括存儲器762內(nèi)的非易失性存儲區(qū)域768。非易失性存儲區(qū)域768可以被用于存儲在系統(tǒng)702斷電的情況下不應(yīng)當(dāng)丟失的持久性信息。應(yīng)用程序766可以使用和存儲非易失性存儲區(qū)域768中的信息(諸如電子郵件或由電子郵件應(yīng)用使用的其他消息等)。同步應(yīng)用(未示出)還駐留在系統(tǒng)702上并且被編程為與駐留在主機計算機上的對應(yīng)的同步應(yīng)用交互，以保持被存儲在非易失性存儲區(qū)域768中的信息與存儲在主機計算機處的對應(yīng)的信息同步。如應(yīng)當(dāng)理解，其他應(yīng)用可以被加載到存儲器762中并且在移動計算設(shè)備700上運行，包括基于接收到的用戶數(shù)據(jù)做出用戶推斷并且確定做出的用戶偏好與相關(guān)信息(例如，天氣信息、交通信息、廣告等)之間的連接的指令，如在此所描述的(例如，dsbt模塊611)。

系統(tǒng)702具有電源770，其可以被實現(xiàn)為一個或多個電池。電源770可能進一步包括外部電源(諸如對電池補充或者再充電的ac適配器或加電對接支架)。

系統(tǒng)702還可以包括無線電772，其執(zhí)行發(fā)射和接收射頻通信的功能。無線電772經(jīng)由通信載波或者服務(wù)提供商促進系統(tǒng)702與“外部世界”之間的無線連接性。在操作系統(tǒng)764的控制下進行至和自無線電772的傳輸。換句話說，由無線電772所接收的通信可以經(jīng)由操作系統(tǒng)764被傳播到應(yīng)用程序766，并且反之亦然。

視覺指示符720可以被用于提供視覺通知，和/或音頻接口774可以被用于經(jīng)由音頻換能器725產(chǎn)生可聽通知。在所圖示的示例中，視覺指示符720是發(fā)光二極管(led)，并且音頻換能器725是揚聲器。這些設(shè)備可以直接耦合到電源770，使得當(dāng)被激活時，其即使處理器760和其他部件可能關(guān)閉以用于保存電池電量，其也保持由通知機制所指示的持續(xù)時間。led可以被編程以保持無限，直到用戶采取動作指示設(shè)備的加電狀態(tài)。音頻接口774被用于將可聽信號提供給用戶和從用戶接收可聽信號。例如，除了被耦合到音頻換能器725之外，音頻接口774還可以被耦合到麥克風(fēng)以接收可聽輸入(諸如促進電話會話或通過系統(tǒng)702接收口頭語言輸入)。在一些實施例中，麥克風(fēng)還可以用作促進通知的控制的音頻傳感器，如下面將描述的。系統(tǒng)702可以進一步包括視頻接口776，其使得板上照相機730的操作能夠記錄靜止圖像、視頻流等。在一些實施例中，照相機由移動計算設(shè)備700用于收集由用戶所表達的非口頭通信動作，出于將他們信號發(fā)送到口頭語言模塊612和/或dsbt模塊611的目的，諸如面部表情、眼球凝視和姿態(tài)。

實現(xiàn)系統(tǒng)702的移動計算設(shè)備700可以具有附加的特征或功能。例如，移動計算設(shè)備700還可以包括附加的數(shù)據(jù)存儲設(shè)備(可移除和/或不可移除的)，諸如磁盤、光盤或者磁帶。通過非易失性存儲區(qū)域768在圖7b中圖示這樣的附加存儲裝置。

由移動計算設(shè)備700生成或收集并且經(jīng)由系統(tǒng)702存儲的數(shù)據(jù)/信息被本地存儲在移動計算設(shè)備700上，如上文所描述的，或者數(shù)據(jù)可以被存儲在可以經(jīng)由無線電772或者經(jīng)由移動計算設(shè)備700與關(guān)聯(lián)于移動計算設(shè)備700(例如，分布式計算網(wǎng)絡(luò)(諸如因特網(wǎng))中的服務(wù)器計算機)的分離的計算設(shè)備之間的有線連接而由設(shè)備訪問的任何數(shù)目的存儲介質(zhì)。如應(yīng)當(dāng)理解，可以通過移動計算設(shè)備700經(jīng)由無線電772或者經(jīng)由分布式計算網(wǎng)絡(luò)訪問這樣的數(shù)據(jù)/信息。類似地，根據(jù)眾所周知的數(shù)據(jù)/信息傳送和存儲裝置(包括電子郵件和合作數(shù)據(jù)/信息共享系統(tǒng))，這樣的數(shù)據(jù)/信息可以在計算設(shè)備之間容易地傳送以用于存儲和使用。用戶數(shù)據(jù)108和/或口頭語言輸入106可以以這種方式從用戶設(shè)備104被提供到dsbt系統(tǒng)112和/或口頭語言系統(tǒng)114。

圖8圖示了用于處理在計算設(shè)備處從遠程源(諸如通用計算設(shè)備804、平板電腦806或移動設(shè)備808)接收到的數(shù)據(jù)的系統(tǒng)的架構(gòu)的一個實施例，如上文所描述的。被顯示在服務(wù)器設(shè)備802處的內(nèi)容可以被存儲在不同的通信信道或其他存儲類型中。例如，可以使用目錄服務(wù)822、web門戶824、郵箱服務(wù)826、即時消息存儲庫828或社交聯(lián)網(wǎng)站點830存儲各種文檔。通過示例，用戶設(shè)備104可以被實現(xiàn)在通用計算設(shè)備804、平板計算設(shè)備806和/或移動計算設(shè)備808(例如，智能電話)中。用戶數(shù)據(jù)108和/或口頭語言輸入106可以被發(fā)射到服務(wù)器設(shè)備802，其可以被配置為經(jīng)由網(wǎng)絡(luò)815實現(xiàn)dsbt模塊611。而且，服務(wù)器802可以與服務(wù)器803通信，服務(wù)器803被配置為經(jīng)由網(wǎng)絡(luò)815創(chuàng)建、實現(xiàn)并且更新知識庫框架。在一些實現(xiàn)中，用戶數(shù)據(jù)108和/或口頭語言輸入106周期性地被傳輸?shù)椒?wù)器設(shè)備802并且被存儲在存儲裝置816的數(shù)據(jù)收集器116中。此外，知識庫框架118的一部分可以經(jīng)由網(wǎng)絡(luò)815從服務(wù)器803被傳輸?shù)椒?wù)器802或從服務(wù)器803由服務(wù)器802取回。在一些實施例中，響應(yīng)于由服務(wù)器802接收到的口頭語言輸入，實時取回該部分。在進一步的實施例中，由dsbt模塊的實現(xiàn)造成的任何創(chuàng)建的狀態(tài)圖120至少預(yù)定時間段被存儲在存儲器816裝置的數(shù)據(jù)收集器116上。

例如，上文參考根據(jù)本公開的實施例的方法、系統(tǒng)和計算機程序產(chǎn)品的框圖和/或操作圖示描述了本公開的實施例。塊中所指出的功能/動作可以脫離如任何流程圖中所示的順序而發(fā)生。例如，連續(xù)所示的兩個框可以實際上基本上并發(fā)執(zhí)行或可以有時以相反的順序執(zhí)行，這取決于所包含的功能/動作。

本公開參考在其中描述可能方面中的僅一些方面的附圖來描述本技術(shù)的一些實施例。然而，可以以許多不同的形式實現(xiàn)其他方面，并且在此所公開的特定實施例不應(yīng)當(dāng)被解釋為限于在此所闡述的本公開的各方面。相反，提供這些示范性實施例，使得本公開是透徹并且完整的，并且將其他可能的實施例的范圍完全地傳達給本領(lǐng)域的技術(shù)人員。例如，在不脫離本公開的范圍的情況下，可以修改和/或組合在此所公開的各種實施例的方面。

雖然在此描述了特定實施例，但是本技術(shù)的范圍不限于那些特定實施例。本領(lǐng)域的技術(shù)人員將認識到本技術(shù)的范圍和精神內(nèi)的其他實施例或改進。因此，特定結(jié)構(gòu)、動作或介質(zhì)僅被公開為說明性實施例。由以下權(quán)利要求和其中的任何等價物限定本技術(shù)的范圍。