背景技術(shù)：

本說(shuō)明書(shū)涉及對(duì)話。

傳統(tǒng)的移動(dòng)設(shè)備可以包括用于響應(yīng)移動(dòng)設(shè)備的用戶的話音的軟件。話音通?？梢园ǖ揭苿?dòng)設(shè)備的呼叫電話號(hào)碼、文本電話號(hào)碼或搜索移動(dòng)設(shè)備或因特網(wǎng)上的信息的指令。該軟件可以從移動(dòng)設(shè)備提供確認(rèn)指令的音頻輸出，或者可以要求澄清信息以完成指令。移動(dòng)設(shè)備可以將接收到的話音提供給服務(wù)器系統(tǒng)進(jìn)行處理，并且接收識(shí)別要執(zhí)行的操作的信息。

技術(shù)實(shí)現(xiàn)要素：

通常，本說(shuō)明書(shū)中描述的主題的一個(gè)創(chuàng)新方面可以體現(xiàn)在下述方法中，所述方法包括下述動(dòng)作：從用戶設(shè)備接收對(duì)執(zhí)行任務(wù)的請(qǐng)求；獲取對(duì)應(yīng)于所述任務(wù)的對(duì)話；向所述用戶設(shè)備提供多個(gè)協(xié)議緩沖；從所述用戶設(shè)備接收語(yǔ)音輸入和一個(gè)或多個(gè)注釋協(xié)議緩沖，所述一個(gè)或多個(gè)注釋協(xié)議緩沖識(shí)別對(duì)在對(duì)應(yīng)的協(xié)議緩沖中的內(nèi)容的對(duì)應(yīng)非口頭響應(yīng)；以及使用所接收到的協(xié)議緩沖更新對(duì)話的狀態(tài)并解釋語(yǔ)音輸入。該方面的其他實(shí)施例包括對(duì)應(yīng)的計(jì)算機(jī)系統(tǒng)、裝置和記錄在一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)設(shè)備上的計(jì)算機(jī)程序，每個(gè)計(jì)算機(jī)系統(tǒng)、裝置和計(jì)算機(jī)程序被配置為執(zhí)行所述方法的動(dòng)作。對(duì)于要被配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或多個(gè)計(jì)算機(jī)的系統(tǒng)意味著系統(tǒng)已經(jīng)在其上安裝了軟件、固件、硬件或它們的組合，它們?cè)谶\(yùn)行中使得系統(tǒng)執(zhí)行所述操作或動(dòng)作。對(duì)于要被配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或多個(gè)計(jì)算機(jī)程序意味著一個(gè)或多個(gè)程序包括當(dāng)由數(shù)據(jù)處理裝置執(zhí)行時(shí)使得所述裝置執(zhí)行操作或動(dòng)作的指令。

上述和其它實(shí)施例可以每個(gè)選用地獨(dú)立或組合地包括以下特征中的一個(gè)或多個(gè)。特別地，一個(gè)實(shí)施例包括組合的所有以下特征。每個(gè)協(xié)議緩沖都是dialogturnintent(dti)。所接收到的協(xié)議緩沖識(shí)別問(wèn)題和非口頭響應(yīng)的順序。響應(yīng)的順序用于提供用以解釋語(yǔ)音輸入的場(chǎng)境。該方法包括響應(yīng)于在語(yǔ)音輸入之后更新對(duì)話的狀態(tài)，向用戶設(shè)備提供一個(gè)或多個(gè)附加協(xié)議緩沖。多個(gè)協(xié)議緩沖包含任務(wù)的整個(gè)對(duì)話。該方法包括一旦確定對(duì)話值就完成該任務(wù)。

通常，本說(shuō)明書(shū)中描述的主題的一個(gè)創(chuàng)新方面可以體現(xiàn)在下述方法中，所述方法包括下述動(dòng)作：接收用以執(zhí)行任務(wù)的用戶輸入；向?qū)υ捪到y(tǒng)提供語(yǔ)音輸入；接收用于對(duì)話的多個(gè)協(xié)議緩沖；向用戶呈現(xiàn)第一協(xié)議緩沖的第一提示；收到對(duì)第一提示的非口頭響應(yīng)；用響應(yīng)更新對(duì)話的狀態(tài)，并向用戶呈現(xiàn)下一個(gè)協(xié)議緩沖的第二提示；響應(yīng)于第二提示接收語(yǔ)音輸入；以及將語(yǔ)音輸入和第一協(xié)議緩沖和第二協(xié)議緩沖提供給對(duì)話系統(tǒng)。該方面的其他實(shí)施例包括對(duì)應(yīng)的計(jì)算機(jī)系統(tǒng)、裝置和記錄在一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)設(shè)備上的計(jì)算機(jī)程序，每個(gè)計(jì)算機(jī)系統(tǒng)、裝置和計(jì)算機(jī)程序被配置為執(zhí)行所述方法的動(dòng)作。對(duì)于要被配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或多個(gè)計(jì)算機(jī)的系統(tǒng)意味著系統(tǒng)已經(jīng)在其上安裝了軟件、固件、硬件或它們的組合，它們?cè)谶\(yùn)行中使得系統(tǒng)執(zhí)行所述操作或動(dòng)作。對(duì)于要被配置為執(zhí)行特定操作或動(dòng)作的一個(gè)或多個(gè)計(jì)算機(jī)程序意味著一個(gè)或多個(gè)程序包括當(dāng)由數(shù)據(jù)處理裝置執(zhí)行時(shí)使得所述裝置執(zhí)行操作或動(dòng)作的指令。

上述和其它實(shí)施例可以每個(gè)選用地獨(dú)立或組合地包括以下特征中的一個(gè)或多個(gè)。特別地，一個(gè)實(shí)施例包括組合的所有以下特征。多個(gè)dti作為指示替選dti的順序的資源集合的一部分被接收。呈現(xiàn)第一dti的第一提示包括提供與第一提示相關(guān)聯(lián)的用戶界面，所述用戶能夠向所述用戶界面輸入所述非口頭響應(yīng)。更新對(duì)話的狀態(tài)包括用所接收到的非口頭響應(yīng)來(lái)注釋對(duì)應(yīng)的dti。

可以實(shí)現(xiàn)本說(shuō)明書(shū)中描述的主題的特定實(shí)施例，以便實(shí)現(xiàn)以下優(yōu)點(diǎn)中的一個(gè)或多個(gè)。用戶可以利用語(yǔ)音響應(yīng)和非口頭輸入二者來(lái)響應(yīng)對(duì)話問(wèn)題。在執(zhí)行期間，可以在用戶設(shè)備上本地維護(hù)對(duì)話的狀態(tài)，并針對(duì)非口頭響應(yīng)更新該狀態(tài)。將狀態(tài)信息作為捆綁包發(fā)送到對(duì)話系統(tǒng)以更新對(duì)話的狀態(tài)。在本地維護(hù)非口頭響應(yīng)的狀態(tài)減少了去往和來(lái)自對(duì)話系統(tǒng)的數(shù)據(jù)傳輸?shù)难舆t和數(shù)量。此外，在對(duì)話過(guò)程中可以減少數(shù)據(jù)傳輸?shù)拇笮?。在一些?shí)施方式中，在本地而不是在對(duì)話系統(tǒng)處維護(hù)和計(jì)算狀態(tài)可以維護(hù)關(guān)于私有數(shù)據(jù)(例如聯(lián)系人信息)的狀態(tài)數(shù)據(jù)，而不會(huì)將數(shù)據(jù)實(shí)際發(fā)送到對(duì)話系統(tǒng)。當(dāng)用戶的對(duì)話系統(tǒng)訪問(wèn)在對(duì)話期間例如因?yàn)樵隈{駛時(shí)在蜂窩塔之間移動(dòng)而可能改變時(shí)，本地維護(hù)狀態(tài)對(duì)于維持對(duì)話中的一致性也是有用的。

本說(shuō)明書(shū)中描述的主題的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在附圖和下面的描述中闡述。通過(guò)描述、附圖和權(quán)利要求，主題的其它特征、方面和優(yōu)點(diǎn)將變得顯而易見(jiàn)。

附圖說(shuō)明

圖1是用于管理多模態(tài)對(duì)話的示例系統(tǒng)。

圖2是用于管理多模態(tài)對(duì)話的示例過(guò)程的流程圖。

圖3是用于管理多模式對(duì)話的示例過(guò)程的流程圖。

各附圖中的相同附圖標(biāo)記和標(biāo)號(hào)表示相同的元件。

具體實(shí)施方式

用戶可以向設(shè)備提供語(yǔ)音指令以執(zhí)行特定任務(wù)，例如生成日歷項(xiàng)、發(fā)出呼叫或文本、或搜索特定信息。由設(shè)備或與設(shè)備通信的系統(tǒng)執(zhí)行任務(wù)可以由會(huì)話對(duì)話來(lái)驅(qū)動(dòng)，該會(huì)話對(duì)話向用戶詢問(wèn)針對(duì)完成任務(wù)所需的一個(gè)或多個(gè)值的問(wèn)題，類似于填寫(xiě)表單的字段。

例如，針對(duì)日歷任務(wù)的示例對(duì)話可以是：

user(用戶):[createameetingwithdave(創(chuàng)建與大衛(wèi)的會(huì)議)]

device/system(設(shè)備/系統(tǒng)):whatday(哪天)？

user/system(用戶/系統(tǒng)):[tomorrow(明天)]

device/system(設(shè)備/系統(tǒng)):whattime(什么時(shí)間)？

user(用戶):[threeo’clock(三點(diǎn)鐘)]

device/system(設(shè)備/系統(tǒng)):i’vegeneratedameetingwithdavefortomorrowat3:00(我已經(jīng)生成了明天3:00與大衛(wèi)的會(huì)議).

在一些實(shí)施方式中，給定對(duì)話是多模式的，使得用戶可以響應(yīng)于對(duì)話問(wèn)題提供話音和一個(gè)或多個(gè)手動(dòng)非口頭輸入的組合?？梢曈脩艚缑婵梢员怀尸F(xiàn)給與從對(duì)話中呈現(xiàn)的口頭問(wèn)題相關(guān)聯(lián)的用戶設(shè)備的用戶。例如，日歷任務(wù)的示例對(duì)話可以是：

user(用戶):[createameetingwithdave(創(chuàng)建與大衛(wèi)的會(huì)議)]

device/system(設(shè)備/系統(tǒng)):whatday(哪天)？

*usermanuallyentersadatefortomorrow,e.g.,usingatouchinput(用戶手動(dòng)鍵入明天的日期，例如使用觸摸輸入)*

device/system(設(shè)備/系統(tǒng)):whattime(什么時(shí)間)？

user(用戶):[threeo’clock(三點(diǎn)鐘)]

device/system(設(shè)備/系統(tǒng)):i’vegeneratedameetingwithdavefortomorrowat3:00(我已經(jīng)生成了明天3:00與大衛(wèi)的會(huì)議).

可以例如使用觸摸屏、鼠標(biāo)、鍵盤或其他合適的輸入以對(duì)用戶設(shè)備的非口頭交互來(lái)回答對(duì)話的一個(gè)或多個(gè)問(wèn)題。語(yǔ)音命令和非口頭命令可能重疊但不一定相同。例如，用戶可以利用語(yǔ)音輸入[cancel(取消)]或所呈現(xiàn)的用戶界面中的特定的滑動(dòng)動(dòng)作取消命令。然而，對(duì)于對(duì)用戶界面的每個(gè)可能的非口頭輸入，可能不存在等效的語(yǔ)音命令。

該對(duì)話具有特定狀態(tài)，所述特定狀態(tài)識(shí)別該對(duì)話中的當(dāng)前位置。在一些實(shí)施方式中，該狀態(tài)被維護(hù)在處理所接收到的語(yǔ)音輸入的系統(tǒng)上。例如，用戶設(shè)備可以例如使用一個(gè)或多個(gè)網(wǎng)絡(luò)將語(yǔ)音輸入從用戶傳送到系統(tǒng)。系統(tǒng)可以處理該語(yǔ)音輸入以識(shí)別所接收到的命令并更新對(duì)話。因此，可以利用接收到的語(yǔ)音輸入來(lái)更新?tīng)顟B(tài)。然而，與用戶界面的非口頭交互在用戶設(shè)備上本地執(zhí)行，并且可以不被立即提供給服務(wù)器。本說(shuō)明書(shū)描述了管理多模式對(duì)話的技術(shù)，該對(duì)話接收對(duì)于對(duì)話的語(yǔ)音和非口頭輸入。

圖1是用于管理多模態(tài)對(duì)話的示例性系統(tǒng)100。系統(tǒng)100包括用戶102、用戶設(shè)備104、和對(duì)話系統(tǒng)106。用戶設(shè)備104和對(duì)話系統(tǒng)106通過(guò)網(wǎng)絡(luò)103(例如互聯(lián)網(wǎng))進(jìn)行通信。

用戶設(shè)備104可以是包括移動(dòng)設(shè)備、可穿戴式計(jì)算機(jī)、平板計(jì)算機(jī)、混合體(hybrid)、膝上型計(jì)算機(jī)、或桌面型計(jì)算機(jī)的許多合適的設(shè)備之一。用戶設(shè)備104從用戶102接收口頭(例如語(yǔ)音輸入)和非口頭的交互。特別地，用戶設(shè)備104包括被配置為從用戶102接收語(yǔ)音輸入的麥克風(fēng)108。用戶設(shè)備104可以還包括配置成響應(yīng)于所接收到的用戶請(qǐng)求而廣播對(duì)話問(wèn)題的一個(gè)或多個(gè)揚(yáng)聲器。為了清楚起見(jiàn)，僅示出單個(gè)用戶設(shè)備。然而，可以存在與對(duì)應(yīng)的不同用戶相關(guān)聯(lián)的許多用戶設(shè)備。這些用戶設(shè)備中的每一個(gè)可以通過(guò)網(wǎng)絡(luò)103與對(duì)話系統(tǒng)106通信。

用戶設(shè)備還包括用戶界面110。用戶界面110可以響應(yīng)于用戶請(qǐng)求向用戶呈現(xiàn)與對(duì)話相關(guān)聯(lián)的一些或全部?jī)?nèi)容的信息。對(duì)話112定義了執(zhí)行用戶所請(qǐng)求的任務(wù)所需的值的許多問(wèn)題。在一些實(shí)施方式中，通過(guò)為該任務(wù)生成的框架來(lái)管理對(duì)話。對(duì)話112的特定問(wèn)題或其他內(nèi)容可以例如通過(guò)由一個(gè)或多個(gè)揚(yáng)聲器廣播或顯示在用戶界面110中的一系列音頻問(wèn)題以特定順序呈現(xiàn)給用戶。對(duì)話112還維護(hù)對(duì)話的本地狀態(tài)。這是指對(duì)話中的當(dāng)前位置，例如，哪一個(gè)問(wèn)題是詢問(wèn)用戶102的。如下面更詳細(xì)地討論的，這可以或可以不匹配對(duì)話系統(tǒng)106上保持的對(duì)話的狀態(tài)。

對(duì)話系統(tǒng)106可以是一個(gè)或多個(gè)計(jì)算資源，例如一個(gè)或多個(gè)計(jì)算系統(tǒng)或在一個(gè)或多個(gè)計(jì)算系統(tǒng)上執(zhí)行的虛擬機(jī)，其通過(guò)網(wǎng)絡(luò)103與用戶設(shè)備104通信。對(duì)話系統(tǒng)106包括對(duì)話管理引擎114和話音分析引擎116。

話音分析引擎116可以使用合適的話音到文本處理來(lái)將接收的語(yǔ)音輸入118轉(zhuǎn)換成文本串。話音分析引擎116還可以例如通過(guò)生成解析樹(shù)來(lái)解析音頻以識(shí)別一個(gè)或多個(gè)含義。音頻的含義可用于識(shí)別響應(yīng)于所接收到的請(qǐng)求而執(zhí)行的特定任務(wù)以及確定對(duì)于該任務(wù)的特定對(duì)話問(wèn)題的回答的含義。

對(duì)話管理引擎114管理與所請(qǐng)求的任務(wù)相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)話。這包括保持對(duì)話的狀態(tài)，例如正在回答什么問(wèn)題，使得話音分析引擎116可以正確地解釋與對(duì)話相關(guān)聯(lián)的接收到的音頻。特別地，話音分析引擎116在正確解釋所接收到的音頻時(shí)的準(zhǔn)確性可以通過(guò)知道向用戶102詢問(wèn)什么類型的響應(yīng)而得到改善。否則，話音分析引擎116可將接收到的話音解釋為與對(duì)話不相關(guān)(在這種情況下，可以返回錯(cuò)誤響應(yīng))或者與對(duì)新任務(wù)的請(qǐng)求(例如，基于所接收到的話音的內(nèi)容的搜索)不相關(guān)。

為了維持狀態(tài)，對(duì)話管理引擎114提供數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)編碼正在詢問(wèn)用戶102的對(duì)話中的什么問(wèn)題以及作為響應(yīng)對(duì)話系統(tǒng)106正在從用戶102請(qǐng)求的信息的類型。在一些實(shí)施方式中，該信息被編碼在本說(shuō)明書(shū)中稱為dialogturnintent(“dti”)的協(xié)議緩沖中。為了方便起見(jiàn)，dti將被全文使用，但可以使用其他合適的編碼數(shù)據(jù)結(jié)構(gòu)。

例如，在用于撰寫(xiě)電子郵件消息的任務(wù)的對(duì)話中，對(duì)話的一個(gè)問(wèn)題可以是對(duì)電子郵件的主題的請(qǐng)求。對(duì)話管理引擎114可以創(chuàng)建dti，其中對(duì)用戶的問(wèn)題是對(duì)主題的提示。dti被發(fā)送到用戶設(shè)備104，其中可以將其向用戶102呈現(xiàn)為例如用戶界面中的可視問(wèn)題，例如“主題是什么”，或呈現(xiàn)為從揚(yáng)聲器發(fā)出的音頻問(wèn)題，例如，“你想要主題是什么？”

對(duì)話管理引擎114可以向用戶設(shè)備102發(fā)送120多于一個(gè)dti。特別地，dti可以不僅包括給用戶的當(dāng)前提示，而且可以包括與完成所請(qǐng)求任務(wù)的對(duì)話所需的其他字段相關(guān)的其他dti。例如，當(dāng)對(duì)話管理引擎114發(fā)送“對(duì)主題的提示”dti時(shí)，它也可以在對(duì)話中發(fā)送用于隨后的問(wèn)題的dti，例如“對(duì)消息主體的提示”dti作為替選dti。

在一些實(shí)施方式中，由對(duì)話系統(tǒng)106發(fā)送到用戶設(shè)備104的包括用于填寫(xiě)表單的dti(例如，具有要填充的字段的、呈現(xiàn)給用戶102的可視界面)的封裝被表示如下：

用戶設(shè)備104不立即將一個(gè)或多個(gè)替選dti提示中的一個(gè)呈現(xiàn)給用戶102。相反，是否呈現(xiàn)替選dti提示取決于在用戶設(shè)備104處的對(duì)話112的本地狀態(tài)。具體地，如果用戶102使用非口頭輸入來(lái)回答第一個(gè)dti，例如“對(duì)主題的提示”dti，則將對(duì)話的本地狀態(tài)更新為對(duì)話的下一個(gè)字段，并且可以呈現(xiàn)替選的dti提示。由于替選dti被提供有第一dti，所以呈現(xiàn)替選dti而無(wú)需到對(duì)話系統(tǒng)106的往返消息路徑。

無(wú)論何時(shí)用戶102響應(yīng)于對(duì)話問(wèn)題而提供語(yǔ)音輸入，對(duì)應(yīng)的一個(gè)或多個(gè)dti被利用語(yǔ)音輸入122來(lái)返回到對(duì)話系統(tǒng)106。dti用用戶響應(yīng)和響應(yīng)的方式(例如，聲音與非口頭)注釋。因此，對(duì)話管理引擎114可以將對(duì)話狀態(tài)更新為由語(yǔ)音輸入正在回答的當(dāng)前問(wèn)題，并將正在回答的問(wèn)題告知話音分析引擎116使得話音分析引擎116可以正確地解釋話音輸入并提供適當(dāng)?shù)捻憫?yīng)。對(duì)話管理引擎114可以根據(jù)需要生成附加的dti以發(fā)送給用戶設(shè)備104。

在一些實(shí)施方式中，響應(yīng)于用戶語(yǔ)音輸入而發(fā)送到對(duì)話系統(tǒng)106的內(nèi)容的封裝如下表示：

如果用戶沒(méi)有進(jìn)行任何觸摸交互，則用戶設(shè)備104將僅回顯“當(dāng)前”狀態(tài)(對(duì)話系統(tǒng)106已知的最近狀態(tài))而不是未被訪問(wèn)的“可能”狀態(tài)。發(fā)送到用戶設(shè)備的音頻提示以及來(lái)自用戶的語(yǔ)音輸入的音頻不是dti本身的一部分。然而，在一些其他實(shí)施方式中，dti可以包括附加內(nèi)容，例如，表單本身、對(duì)話的特定字段等。

用戶設(shè)備104上的對(duì)話112可以保存使用非口頭輸入回答的每個(gè)dti，使得如果用戶102稍后發(fā)出語(yǔ)音響應(yīng)，則用戶設(shè)備104可以發(fā)送自最近與對(duì)話系統(tǒng)106通信以來(lái)已被回答的一組dti。該組dti為用戶的響應(yīng)提供了一個(gè)命令，使得可以正確地理解依賴于先前響應(yīng)的命令。例如，如果語(yǔ)音輸入是用于校正先前響應(yīng)的“撤銷”或“更改為7”的命令，則有序的dti允許對(duì)話系統(tǒng)106確定語(yǔ)音命令所指的是哪一個(gè)響應(yīng)。

在一些實(shí)施方式中，如果用戶通過(guò)觸摸或其他非口頭輸入提供輸入，則對(duì)話系統(tǒng)106以用戶設(shè)備104應(yīng)該提示用以提供對(duì)話字段的值的輸入的順序向用戶設(shè)備104提供dti列表。然后，用戶設(shè)備104可以按照用戶102已經(jīng)回答的順序捆綁dti，以便利用下一個(gè)語(yǔ)音響應(yīng)傳送到對(duì)話系統(tǒng)106。例如，如果用戶102響應(yīng)于提示使用觸摸輸入來(lái)提供事件的結(jié)束時(shí)間，然后使用觸摸輸入來(lái)提供事件的主題，然后觸摸麥克風(fēng)以輸入下一響應(yīng)，則發(fā)送到對(duì)話系統(tǒng)106的一組dti可以包括主題dti，然后是結(jié)束時(shí)間dti，然后是最后的“當(dāng)前”dti。dti組提供了自上次查詢對(duì)話系統(tǒng)以來(lái)用戶訪問(wèn)的所有狀態(tài)的列表，其中最新的狀態(tài)在先，以對(duì)話系統(tǒng)知道的最新?tīng)顟B(tài)結(jié)束。排序有助于系統(tǒng)正確解釋用戶的輸入。

在一些實(shí)施方式中，每次僅向用戶設(shè)備102發(fā)送指定數(shù)目的替選dti。這可以由發(fā)送到用戶設(shè)備的resourceset描述，例如如下：

僅發(fā)送指定數(shù)目的dti允許更多地控制一次發(fā)送的數(shù)據(jù)量，并且僅發(fā)送在非口頭響應(yīng)之后繼續(xù)對(duì)話立即需要的dti。

在一些其他實(shí)施方式中，用于整個(gè)對(duì)話的dti被發(fā)送到用戶設(shè)備102。這可以由發(fā)送到用戶設(shè)備的resourceset描述，例如如下：

從最近傳輸?shù)綄?duì)話系統(tǒng)以來(lái)發(fā)送整個(gè)累積的dti允許客戶端側(cè)更靈活地繼續(xù)對(duì)話，特別是響應(yīng)多于一個(gè)的非口頭響應(yīng)。

圖2是用于管理多模態(tài)對(duì)話的示例過(guò)程200的流程圖。為了方便，過(guò)程200將被描述為由位于一個(gè)或多個(gè)位置中并且根據(jù)本說(shuō)明書(shū)適當(dāng)?shù)鼐幊痰囊粋€(gè)或多個(gè)計(jì)算機(jī)的系統(tǒng)執(zhí)行。例如，適當(dāng)編程的對(duì)話系統(tǒng)，例如圖1的對(duì)話系統(tǒng)106，可以執(zhí)行過(guò)程200。

系統(tǒng)接收對(duì)執(zhí)行任務(wù)的請(qǐng)求(202)。該請(qǐng)求可以作為由用戶提供給用戶設(shè)備的語(yǔ)音輸入或?qū)τ脩粼O(shè)備(例如，圖1的用戶設(shè)備104)的手動(dòng)輸入來(lái)接收。該任務(wù)可以是例如生成日歷項(xiàng)、生成電子郵件、發(fā)出呼叫或文本、或搜索特定信息。

系統(tǒng)處理請(qǐng)求，并為對(duì)應(yīng)的任務(wù)生成對(duì)話(202)。對(duì)于語(yǔ)音請(qǐng)求，系統(tǒng)可以處理語(yǔ)音輸入以確定輸入的含義，例如解析音頻以識(shí)別特定請(qǐng)求。然后，該系統(tǒng)獲取對(duì)應(yīng)于任務(wù)的對(duì)話，例如來(lái)自特定于任務(wù)的對(duì)話的存儲(chǔ)庫(kù)或從模板生成的對(duì)話。該對(duì)話提供了用于確定完成任務(wù)所需的值的數(shù)目的結(jié)構(gòu)。例如，日歷會(huì)議任務(wù)可以包括會(huì)議的要邀請(qǐng)的人、日期、時(shí)間和地點(diǎn)的字段。根據(jù)對(duì)話請(qǐng)求這些的值。特別地，可以生成根據(jù)特定順序請(qǐng)求值的dti。

系統(tǒng)向用戶設(shè)備發(fā)送多個(gè)dti(206)。dti可以被編碼在識(shí)別dti的順序的數(shù)據(jù)結(jié)構(gòu)中，所述dti例如是主dti和具有根據(jù)任務(wù)的對(duì)話的順序的一個(gè)或多個(gè)替選dti?？梢皂憫?yīng)于對(duì)在順序上緊接在前的dti作出響應(yīng)的非口頭用戶輸入，向用戶呈現(xiàn)與特定替選dti相關(guān)聯(lián)的提示。

系統(tǒng)從用戶設(shè)備接收語(yǔ)音輸入加上一個(gè)或多個(gè)dti(208)。該一個(gè)或多個(gè)dti識(shí)別用戶在與語(yǔ)音輸入相關(guān)聯(lián)的當(dāng)前dti之前響應(yīng)的對(duì)話提示。因此，dti提供對(duì)話的當(dāng)前狀態(tài)的記錄，包括對(duì)早期提示的接收到的響應(yīng)以及用戶設(shè)備接收到響應(yīng)的順序和模式。

系統(tǒng)使用dti更新對(duì)話的狀態(tài)并解釋語(yǔ)音輸入(210)。例如，dti用于更新系統(tǒng)中的對(duì)話的狀態(tài)，使得系統(tǒng)可以確定要接收對(duì)其的響應(yīng)的對(duì)話的下一部分或替選地要發(fā)送給用戶設(shè)備的dti的下一集合。此外，經(jīng)更新的狀態(tài)提供了對(duì)語(yǔ)音輸入的分析的場(chǎng)境，使得其可以被正確解釋。這包括對(duì)dti的響應(yīng)順序，用于解釋涉及先前響應(yīng)的語(yǔ)音響應(yīng)。

系統(tǒng)在對(duì)話中存儲(chǔ)響應(yīng)(212)。對(duì)于包括經(jīng)分析的語(yǔ)音輸入的每個(gè)完成的dti，結(jié)果值可以存儲(chǔ)在對(duì)話中。系統(tǒng)可以確定是否存在所需要的附加值或?qū)υ捠欠裢瓿?。如果存在所需要的附加值，則可以向用戶設(shè)備發(fā)送一個(gè)或多個(gè)附加dti，或者系統(tǒng)可以等待來(lái)自用戶設(shè)備的附加響應(yīng)。如果不存在所需要的附加值，則系統(tǒng)可以例如通過(guò)生成日歷條目或電子郵件消息完成任務(wù)(214)。完成的任務(wù)可以在執(zhí)行之前發(fā)送到用戶設(shè)備進(jìn)行審批，或者可以自動(dòng)執(zhí)行。

圖3是用于管理多模態(tài)對(duì)話的示例過(guò)程300的流程圖。為了方便起見(jiàn)，過(guò)程300將被描述為由設(shè)備執(zhí)行并且根據(jù)本說(shuō)明書(shū)適當(dāng)?shù)鼐幊?。例如，適當(dāng)編程的用戶設(shè)備(例如，圖1的用戶設(shè)備104)可以執(zhí)行過(guò)程300。

設(shè)備接收用戶語(yǔ)音輸入以執(zhí)行任務(wù)(302)。可以例如響應(yīng)于與設(shè)備通話并由設(shè)備上的麥克風(fēng)捕獲的用戶語(yǔ)音命令來(lái)接收輸入。在一些實(shí)施方式中，用戶向設(shè)備提供指示他們將要例如通過(guò)選擇特定的用戶界面元素提交語(yǔ)音命令的輸入。

設(shè)備將語(yǔ)音輸入發(fā)送到對(duì)話系統(tǒng)(304)，例如圖1的對(duì)話系統(tǒng)106。在一些實(shí)施方式中，設(shè)備可以例如通過(guò)生成解析樹(shù)來(lái)解析語(yǔ)音輸入的音頻以識(shí)別一個(gè)或多個(gè)含義，并將經(jīng)解析的音頻作為請(qǐng)求提供給對(duì)話系統(tǒng)。替選地，設(shè)備可以向?qū)υ捪到y(tǒng)提供語(yǔ)音輸入，并且對(duì)話系統(tǒng)可以解析音頻以識(shí)別請(qǐng)求。該請(qǐng)求識(shí)別該任務(wù)，例如，生成日歷事件、生成提醒、并且向用戶提供信息等等。

設(shè)備接收對(duì)話的多個(gè)dti(306)。dti可以被編碼在識(shí)別dti的順序的數(shù)據(jù)結(jié)構(gòu)中，該dti例如是主dti和具有根據(jù)任務(wù)的對(duì)話的順序的一個(gè)或多個(gè)替選dti。

設(shè)備向用戶呈現(xiàn)用于第一dti的對(duì)話提示(308)。提示是被設(shè)計(jì)成用來(lái)引出與對(duì)話的所需值對(duì)應(yīng)的響應(yīng)的特定問(wèn)題。例如，當(dāng)生成電子郵件消息時(shí)，第一dti可以利用諸如“主題是什么”的問(wèn)題來(lái)提示用戶提供電子郵件消息的主題。提示可以呈現(xiàn)在用戶界面中或作為設(shè)備的音頻輸出呈現(xiàn)。

設(shè)備接收對(duì)第一dti的非口頭響應(yīng)(310)。例如，可以使用觸摸屏、鼠標(biāo)、鍵盤、或其他合適的輸入來(lái)提供對(duì)設(shè)備的非口頭響應(yīng)。例如，用戶可以鍵入電子郵件的主題，而不是提供語(yǔ)音響應(yīng)。

設(shè)備更新對(duì)話的本地狀態(tài)，并向用戶顯示下一個(gè)dti的對(duì)話提示(312)。該設(shè)備存儲(chǔ)回復(fù)并識(shí)別該對(duì)話中的下一個(gè)dti，而不向該對(duì)話系統(tǒng)發(fā)送關(guān)于所接收到的回復(fù)的數(shù)據(jù)。

設(shè)備接收對(duì)下一個(gè)dti的語(yǔ)音響應(yīng)(314)。然后，設(shè)備隨著自從上一次語(yǔ)音輸入被發(fā)送到對(duì)話系統(tǒng)以來(lái)回答的在先的dti一起提供對(duì)對(duì)話系統(tǒng)的語(yǔ)音響應(yīng)(316)。dti中的每一個(gè)包括它們相應(yīng)的響應(yīng)和響應(yīng)的模式。雖然在這個(gè)例子中只有一個(gè)先前的dti(第一個(gè)dti)，但是可能存在在接收到語(yǔ)音輸入之前用戶所呈現(xiàn)和回答的若干dti提示。這些可以捆綁在一起，并與語(yǔ)音響應(yīng)一起發(fā)送給對(duì)話系統(tǒng)。

如果設(shè)備具有對(duì)提示用戶可用的附加dti，則設(shè)備向用戶呈現(xiàn)下一個(gè)dti的提示。如果不存在附加dti可用，則設(shè)備可以等待來(lái)自對(duì)話系統(tǒng)的響應(yīng)。來(lái)自對(duì)話系統(tǒng)的響應(yīng)可以包括對(duì)話的附加dti或完成的任務(wù)的指示。在一些實(shí)施方式中，設(shè)備向用戶呈現(xiàn)完成的任務(wù)值的匯總，例如草稿電子郵件或日歷條目，以在執(zhí)行任務(wù)之前進(jìn)行確認(rèn)。

在本說(shuō)明書(shū)中，術(shù)語(yǔ)“引擎”將廣泛地用于指代可以執(zhí)行一個(gè)或多個(gè)特定功能的基于軟件的系統(tǒng)或子系統(tǒng)。通常，引擎將被實(shí)現(xiàn)為安裝在一個(gè)或多個(gè)位置的一個(gè)或多個(gè)計(jì)算機(jī)上的一個(gè)或多個(gè)軟件模塊或組件。在某些情況下，一個(gè)或多個(gè)計(jì)算機(jī)將專用于特定引擎；在其他情況下，可以在相同的一個(gè)或多個(gè)計(jì)算機(jī)上安裝并運(yùn)行多個(gè)引擎。

在本說(shuō)明書(shū)中描述的主題和操作的實(shí)施例可以在數(shù)字電子電路中、或在計(jì)算機(jī)軟件、固件或硬件中實(shí)現(xiàn)，包括在本說(shuō)明書(shū)中公開(kāi)的結(jié)構(gòu)及其結(jié)構(gòu)等同物，或者在它們的一個(gè)或多個(gè)的組合中實(shí)現(xiàn)。在本說(shuō)明書(shū)中描述的主題的實(shí)施例可以被實(shí)現(xiàn)為一個(gè)或多個(gè)計(jì)算機(jī)程序，即，計(jì)算機(jī)程序指令的一個(gè)或多個(gè)模塊，其編碼在計(jì)算機(jī)存儲(chǔ)介質(zhì)上以用于由數(shù)據(jù)處理裝置執(zhí)行或控制數(shù)據(jù)處理裝置的操作。替選地或另外地，程序指令可以被編碼在人工生成的傳播信號(hào)上，例如機(jī)器生成的電、光或電磁信號(hào)，其被生成以編碼用于傳輸?shù)胶线m的接收機(jī)設(shè)備以由數(shù)據(jù)處理裝置執(zhí)行的信息。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是機(jī)器可讀存儲(chǔ)設(shè)備、機(jī)器可讀存儲(chǔ)基板、隨機(jī)或串行存取存儲(chǔ)器陣列或它們中的一個(gè)或多個(gè)的組合，或者可以被包括在上述中。此外，雖然計(jì)算機(jī)存儲(chǔ)介質(zhì)不是傳播信號(hào)，但是計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是在人工生成的傳播信號(hào)中編碼的計(jì)算機(jī)程序指令的源或目的地。計(jì)算機(jī)存儲(chǔ)介質(zhì)還可以是或者包括在一個(gè)或多個(gè)分立的物理組件或介質(zhì)(例如，多個(gè)cd、盤或其他存儲(chǔ)設(shè)備)中。

在本說(shuō)明書(shū)中描述的操作可以被實(shí)現(xiàn)為由數(shù)據(jù)處理裝置對(duì)存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)設(shè)備上或從其他源接收的數(shù)據(jù)執(zhí)行。

術(shù)語(yǔ)“數(shù)據(jù)處理裝置”涵蓋用于處理數(shù)據(jù)的各種裝置、設(shè)備、和機(jī)器，包括但不限于可編程處理器、計(jì)算機(jī)、芯片上系統(tǒng)、或多個(gè)芯片上系統(tǒng)或者前述的組合。裝置可以包括專用邏輯電路，例如fpga(現(xiàn)場(chǎng)可編程門陣列)或asic(專用集成電路)。除了硬件之外，裝置還可以包括為所討論的計(jì)算機(jī)程序創(chuàng)建執(zhí)行環(huán)境的代碼，例如構(gòu)成處理器固件、協(xié)議棧、數(shù)據(jù)庫(kù)管理系統(tǒng)、操作系統(tǒng)、跨平臺(tái)運(yùn)行時(shí)環(huán)境、虛擬機(jī)、或它們中的一個(gè)或多個(gè)的組合的代碼。裝置和執(zhí)行環(huán)境可以實(shí)現(xiàn)各種不同的計(jì)算模型基礎(chǔ)設(shè)施，諸如web服務(wù)、分布式計(jì)算和網(wǎng)格計(jì)算基礎(chǔ)設(shè)施。

計(jì)算機(jī)程序(也稱為程序、軟件、軟件應(yīng)用、腳本、或代碼)可以以任何形式的編程語(yǔ)言編寫(xiě)，包括編譯或解釋語(yǔ)言、聲明性或過(guò)程語(yǔ)言，并且它可以以任何形式部署，包括作為獨(dú)立程序或作為適于在計(jì)算環(huán)境中使用的電路、組件、子例程、對(duì)象或其它單元。計(jì)算機(jī)程序可以但不需要對(duì)應(yīng)于文件系統(tǒng)中的文件。程序可以存儲(chǔ)在保存其他程序或數(shù)據(jù)的文件(例如，存儲(chǔ)在標(biāo)記語(yǔ)言文檔中的一個(gè)或多個(gè)腳本)的一部分中、專用于所討論的程序的單個(gè)文件中、或者在多個(gè)協(xié)同文件中(例如，存儲(chǔ)一個(gè)或多個(gè)模塊、子程序或代碼部分的文件)。計(jì)算機(jī)程序可以被部署為在一個(gè)計(jì)算機(jī)上或在位于一個(gè)地點(diǎn)或分布在多個(gè)地點(diǎn)并通過(guò)通信網(wǎng)絡(luò)互連的多個(gè)計(jì)算機(jī)上執(zhí)行。

本說(shuō)明書(shū)中描述的過(guò)程和邏輯流程可以由執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)程序的一個(gè)或多個(gè)可編程處理器執(zhí)行，以通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行操作并生成輸出來(lái)執(zhí)行動(dòng)作。過(guò)程和邏輯流程也可以由專用邏輯電路(例如fpga(現(xiàn)場(chǎng)可編程門陣列)或asic(專用集成電路))執(zhí)行，并且裝置也可以被實(shí)現(xiàn)為專用邏輯電路。

適合于執(zhí)行計(jì)算機(jī)程序的處理器包括例如通用和專用微處理器二者，以及任何種類的數(shù)字計(jì)算機(jī)的任何一個(gè)或多個(gè)處理器。通常，處理器將從只讀存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器或兩者接收指令和數(shù)據(jù)。計(jì)算機(jī)的基本元件是用于根據(jù)指令執(zhí)行動(dòng)作的處理器和用于存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)器設(shè)備。通常，計(jì)算機(jī)還將包括用于存儲(chǔ)數(shù)據(jù)的一個(gè)或多個(gè)大容量存儲(chǔ)設(shè)備，例如磁盤、磁光盤或光盤，或者可操作地耦合以從其接收數(shù)據(jù)或向其傳送數(shù)據(jù)。然而，計(jì)算機(jī)不需要具有這樣的設(shè)備。此外，計(jì)算機(jī)可以嵌入在另一設(shè)備中，例如移動(dòng)電話、個(gè)人數(shù)字助理(pda)、移動(dòng)音頻或視頻播放器、游戲控制臺(tái)、全球定位系統(tǒng)(gps)接收器、或便攜式存儲(chǔ)設(shè)備(例如，通用串行總線(usb)閃存驅(qū)動(dòng)器)，這里僅舉幾個(gè)例子。適合于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的設(shè)備包括所有形式的非易失性存儲(chǔ)器、介質(zhì)和存儲(chǔ)設(shè)備，包括例如半導(dǎo)體存儲(chǔ)器設(shè)備，例如eprom、eeprom和閃存設(shè)備；磁盤，例如內(nèi)部硬盤或可移動(dòng)盤；磁光盤；和cd-rom和dvd-rom盤。處理器和存儲(chǔ)器可以由專用邏輯電路補(bǔ)充或并入專用邏輯電路中。

為了提供與用戶的交互，本說(shuō)明書(shū)中描述的主題的實(shí)施例可以在具有顯示設(shè)備(例如，crt(陰極射線管)或lcd(液晶顯示器)監(jiān)視器)以用于向用戶顯示信息，以及鍵盤和例如鼠標(biāo)或軌跡球的指示設(shè)備(用戶可以通過(guò)它們向計(jì)算機(jī)提供輸入)的計(jì)算機(jī)上實(shí)現(xiàn)。其他類型的設(shè)備也可以用于提供與用戶的交互；例如，在大多數(shù)實(shí)施方式中，提供給用戶的反饋可以是任何形式的感覺(jué)反饋，例如視覺(jué)反饋、聽(tīng)覺(jué)反饋、或觸覺(jué)反饋；并且可以以任何形式接收來(lái)自用戶的輸入，包括聲音、話音或觸覺(jué)輸入。此外，計(jì)算機(jī)可以通過(guò)向用戶使用的設(shè)備發(fā)送文檔并從其接收文檔來(lái)與用戶進(jìn)行交互：例如，通過(guò)響應(yīng)于從web瀏覽器接收的請(qǐng)求，將網(wǎng)頁(yè)發(fā)送到用戶的客戶端設(shè)備上的web瀏覽器。

在本說(shuō)明書(shū)中描述的主題的實(shí)施例可以實(shí)現(xiàn)在計(jì)算系統(tǒng)中，該計(jì)算系統(tǒng)包括例如作為數(shù)據(jù)服務(wù)器的后端組件，或者包括例如應(yīng)用服務(wù)器的中間件組件，或者包括例如具有圖形用戶界面或web瀏覽器的客戶端計(jì)算機(jī)的前端組件，用戶可以通過(guò)該web瀏覽器與本說(shuō)明書(shū)中描述的主題的實(shí)施方式交互，或者包括一個(gè)或多個(gè)這樣的后端、中間件或前端組件的任何組合。系統(tǒng)的組件可以通過(guò)任何形式或介質(zhì)的數(shù)字?jǐn)?shù)據(jù)通信(例如，通信網(wǎng)絡(luò))互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“l(fā)an”)和廣域網(wǎng)(“wan”)、網(wǎng)絡(luò)間網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))和對(duì)等網(wǎng)絡(luò)(例如，自組織對(duì)等網(wǎng)絡(luò))。

計(jì)算系統(tǒng)可以包括客戶端和服務(wù)器?？蛻舳撕头?wù)器通常彼此遠(yuǎn)離并且通常通過(guò)通信網(wǎng)絡(luò)交互?？蛻舳撕头?wù)器的關(guān)系借助于在相應(yīng)計(jì)算機(jī)上運(yùn)行并且彼此具有客戶端-服務(wù)器關(guān)系的計(jì)算機(jī)程序而產(chǎn)生。在一些實(shí)施例中，服務(wù)器向客戶端設(shè)備傳送數(shù)據(jù)(例如，html頁(yè)面)(例如，為了向與客戶端設(shè)備交互的用戶顯示數(shù)據(jù)和從該用戶接收用戶輸入的目的)?？梢栽诜?wù)器處從客戶端設(shè)備接收在客戶端設(shè)備處生成的數(shù)據(jù)(例如，用戶交互的結(jié)果)。

盡管本說(shuō)明書(shū)包含許多具體實(shí)施細(xì)節(jié)，但是這些不應(yīng)被解釋為對(duì)任何發(fā)明或可以要求保護(hù)的范圍的限制，而是被解釋為特定于對(duì)特定發(fā)明的特定實(shí)施例的特征的描述。在分立實(shí)施例的場(chǎng)境中在本說(shuō)明書(shū)中描述的某些特征也可以在單個(gè)實(shí)施例中組合實(shí)現(xiàn)。相反，在單個(gè)實(shí)施例的場(chǎng)境中描述的各種特征也可以在多個(gè)實(shí)施例中分立地或以任何合適的子組合來(lái)實(shí)現(xiàn)。此外，雖然特征可以在上面描述為在某些組合中起作用并且甚至最初如此要求保護(hù)，但是來(lái)自所要求保護(hù)的組合的一個(gè)或多個(gè)特征在一些情況下可以從組合中去除，并且所要求保護(hù)的組合可以針對(duì)子組合或子組合的變體。

類似地，雖然在附圖中以特定順序描繪操作，但是這不應(yīng)被理解為要求這些操作以所示的特定順序或以依序執(zhí)行或者所有所圖示的操作被執(zhí)行，以實(shí)現(xiàn)期望的結(jié)果。在某些情況下，多任務(wù)和并行處理可能是有利的。此外，上述實(shí)施例中的各種系統(tǒng)組件的分離不應(yīng)被理解為在所有實(shí)施例中需要這種分離，并且應(yīng)當(dāng)理解，所描述的程序組件和系統(tǒng)通?？梢约稍趩蝹€(gè)軟件產(chǎn)品中或封裝到多個(gè)軟件產(chǎn)品中。

因此，已經(jīng)描述了主題的特定實(shí)施例。其他實(shí)施例在所附權(quán)利要求的范圍內(nèi)。在一些情況下，權(quán)利要求中所記載的動(dòng)作可以以不同的順序執(zhí)行并且仍然實(shí)現(xiàn)期望的結(jié)果。另外，附圖中描繪的過(guò)程不一定需要所示的特定順序或依序以實(shí)現(xiàn)期望的結(jié)果。在某些實(shí)施方式中，多任務(wù)和并行處理可能是有利的。