訓(xùn)練至少部分語(yǔ)音命令系統(tǒng)的制作方法
【專利說(shuō)明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求于2013年3月15日提交的名稱為"TRAININGANATLEASTPARTIAL VOICECOMMANDSYSTEM"的美國(guó)臨時(shí)專利申請(qǐng)61/792, 078的權(quán)益，所述美國(guó)臨時(shí)專利申請(qǐng) 全文以引用方式并入本文以用于所有目的。
技術(shù)領(lǐng)域
[0003] 所公開(kāi)的實(shí)施例整體涉及數(shù)字助理系統(tǒng)，更具體地，涉及訓(xùn)練數(shù)字助理系統(tǒng)。
【背景技術(shù)】
[0004] 正如人類個(gè)人助理一樣，數(shù)字助理系統(tǒng)可執(zhí)行所請(qǐng)求的任務(wù)并提供所請(qǐng)求的建 議、信息或服務(wù)。數(shù)字助理系統(tǒng)滿足用戶請(qǐng)求的能力取決于數(shù)字助理系統(tǒng)對(duì)請(qǐng)求或指令的 正確理解。在自然語(yǔ)言處理方面的最新進(jìn)展已使用戶能夠使用口頭或文本形式的自然語(yǔ)言 來(lái)與數(shù)字助理系統(tǒng)進(jìn)行交互。此類數(shù)字助理系統(tǒng)可解譯用戶的輸入以推斷用戶的意圖、將 推斷出的意圖轉(zhuǎn)換成可執(zhí)行的任務(wù)和參數(shù)、執(zhí)行操作或部署服務(wù)以執(zhí)行任務(wù)、以及產(chǎn)生可 被用戶理解的輸出。理想的是，由數(shù)字助理系統(tǒng)所產(chǎn)生的輸出應(yīng)實(shí)現(xiàn)用戶在用戶和數(shù)字助 理系統(tǒng)之間的自然語(yǔ)言交互期間所表達(dá)的意圖。
[0005] 數(shù)字助理系統(tǒng)對(duì)用戶請(qǐng)求產(chǎn)生令人滿意的響應(yīng)的能力取決于能夠用于數(shù)字助理 系統(tǒng)的自然語(yǔ)言處理、知識(shí)庫(kù)和人工智能。數(shù)字助理系統(tǒng)的良好設(shè)計(jì)的訓(xùn)練過(guò)程可改善用 戶與該系統(tǒng)進(jìn)行交互的體驗(yàn)，并提高用戶對(duì)該系統(tǒng)的服務(wù)和能力的信任。

【發(fā)明內(nèi)容】

[0006] 本文所公開(kāi)的實(shí)施例提供用于訓(xùn)練數(shù)字助理以更有規(guī)律地為用戶的請(qǐng)求提供令 人滿意的響應(yīng)的方法、系統(tǒng)、非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和用戶界面。
[0007] 因此，一些實(shí)施例提供用于操作數(shù)字助理的方法，該方法包括在包括一個(gè)或多個(gè) 處理器和存儲(chǔ)一個(gè)或多個(gè)程序的存儲(chǔ)器的設(shè)備處：檢測(cè)在數(shù)字助理和用戶之間的對(duì)話期間 的僵局，其中所述對(duì)話包括來(lái)自用戶的至少一個(gè)語(yǔ)音輸入；以及響應(yīng)于檢測(cè)到所述僵局，建 立與所述至少一個(gè)語(yǔ)音輸入相關(guān)聯(lián)的學(xué)習(xí)會(huì)話。在學(xué)習(xí)會(huì)話期間，該方法包括：從用戶接收 一個(gè)或多個(gè)后續(xù)澄清輸入；至少部分地基于所述一個(gè)或多個(gè)后續(xù)澄清輸入，調(diào)整與所述至 少一個(gè)語(yǔ)音輸入相關(guān)聯(lián)的意圖推斷和任務(wù)執(zhí)行中的至少一者，以生成對(duì)所述至少一個(gè)語(yǔ)音 輸入的令人滿意的響應(yīng)；以及使所述令人滿意的響應(yīng)與所述至少一個(gè)語(yǔ)音輸入相關(guān)聯(lián)，以 用于處理所述至少一個(gè)語(yǔ)音輸入的未來(lái)出現(xiàn)。
[0008] 在一些實(shí)施例中，用于訓(xùn)練數(shù)字助理的另一方法在包括一個(gè)或多個(gè)處理器和存儲(chǔ) 由該一個(gè)或多個(gè)處理器執(zhí)行的指令的存儲(chǔ)器的電子設(shè)備處被執(zhí)行。在數(shù)字助理和用戶之間 的對(duì)話期間，方法包括：接收來(lái)自用戶的初始語(yǔ)音輸入；基于初始語(yǔ)音輸入來(lái)推斷初始意 圖；提供初始響應(yīng)來(lái)滿足已推斷出的初始意圖；以及接收拒絕初始響應(yīng)的跟進(jìn)語(yǔ)音輸入。 在接收到拒絕初始響應(yīng)的跟進(jìn)語(yǔ)音輸入時(shí)，該方法包括建立與初始語(yǔ)音輸入相關(guān)聯(lián)的學(xué)習(xí) 會(huì)話。在學(xué)習(xí)會(huì)話期間，該方法包括：調(diào)整與初始語(yǔ)音輸入相關(guān)聯(lián)的意圖推斷和任務(wù)執(zhí)行中 的至少一者，以生成對(duì)初始語(yǔ)音輸入的令人滿意的響應(yīng)；以及使令人滿意的響應(yīng)與初始語(yǔ) 音輸入相關(guān)聯(lián)，以用于處理所述初始語(yǔ)音輸入的未來(lái)出現(xiàn)。
[0009] 在一些實(shí)施例中，用于訓(xùn)練數(shù)字助理的另一方法在包括一個(gè)或多個(gè)處理器和存儲(chǔ) 由該一個(gè)或多個(gè)處理器執(zhí)行的指令的存儲(chǔ)器的電子設(shè)備處被執(zhí)行。該方法包括：獲取與任 務(wù)的一個(gè)或多個(gè)先前完成相關(guān)聯(lián)的反饋信息；以及辨識(shí)與先前用于完成所述任務(wù)的語(yǔ)音識(shí) 另IJ、意圖推斷或任務(wù)執(zhí)行的方面相關(guān)聯(lián)的成功或失敗模式。該方法還包括：生成與在語(yǔ)音 識(shí)別、意圖推斷和任務(wù)執(zhí)行中的至少一者中使用的作為成功或失敗模式的原因的參數(shù)有關(guān) 的假設(shè)；識(shí)別一個(gè)或多個(gè)后續(xù)針對(duì)完成所述任務(wù)的請(qǐng)求；通過(guò)針對(duì)所述任務(wù)的后續(xù)完成而 改變?cè)谡Z(yǔ)音識(shí)別、意圖推斷和任務(wù)執(zhí)行中的所述至少一者中使用的所述參數(shù)來(lái)測(cè)試所述假 設(shè)；以及基于從所述任務(wù)的所述后續(xù)完成收集的反饋信息來(lái)采用或拒絕所述假設(shè)。
[0010] 在另一方面，一種電子設(shè)備包括一個(gè)或多個(gè)處理器和存儲(chǔ)由該一個(gè)或多個(gè)處理器 執(zhí)行的一個(gè)或多個(gè)程序的存儲(chǔ)器，其中該一個(gè)或多個(gè)程序包括指令，該指令在被該一個(gè)或 多個(gè)處理器執(zhí)行時(shí)使電子設(shè)備執(zhí)行上述方法中的任一方法。
[0011] 在另一方面，一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)一個(gè)或多個(gè)程序，該一個(gè)或多個(gè)程 序在被計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)處理器執(zhí)行時(shí)使電子設(shè)備執(zhí)行上述方法中的任一方法。
[0012] 在附圖以及下文的描述中闡述了本說(shuō)明書(shū)中所述的主題的一個(gè)或多個(gè)實(shí)施例的 細(xì)節(jié)。根據(jù)說(shuō)明書(shū)、附圖及權(quán)利要求，所述主題的其他特征、方面和優(yōu)點(diǎn)將顯而易見(jiàn)。
【附圖說(shuō)明】
[0013] 圖1為示出根據(jù)一些實(shí)施例的數(shù)字助理操作于其中的環(huán)境的框圖。
[0014] 圖2為示出根據(jù)一些實(shí)施例的數(shù)字助理客戶端系統(tǒng)的框圖。
[0015] 圖3A為示出根據(jù)一些實(shí)施例的數(shù)字助理系統(tǒng)或其服務(wù)器部分的框圖。
[0016] 圖3B為示出根據(jù)一些實(shí)施例的圖3A中所示的數(shù)字助理的功能的框圖。
[0017] 圖3C為示出根據(jù)一些實(shí)施例的圖3B中所示的知識(shí)本體的一部分的示意圖。
[0018] 圖4A至4C為根據(jù)一些實(shí)施例的用于訓(xùn)練數(shù)字助理的示例性過(guò)程的流程圖。
[0019] 圖5為根據(jù)一些實(shí)施例的包括在圖3B中的訓(xùn)練模塊的框圖。
[0020] 圖6A至6C為根據(jù)一些實(shí)施例的用于訓(xùn)練數(shù)字助理的示例性過(guò)程的流程圖。
[0021] 圖7為根據(jù)一些實(shí)施例的電子設(shè)備的功能框圖。
[0022] 圖8為根據(jù)一些實(shí)施例的電子設(shè)備的功能框圖。
[0023] 在整個(gè)附圖中，相似的附圖標(biāo)號(hào)是指對(duì)應(yīng)的部件。
【具體實(shí)施方式】
[0024] 圖1為根據(jù)一些實(shí)施例的數(shù)字助理的操作環(huán)境100的框圖。術(shù)語(yǔ)"數(shù)字助理"、"虛 擬助理"、"智能自動(dòng)化助理"或"自動(dòng)數(shù)字助理"是指解譯口頭和/或文本形式的自然語(yǔ)言 輸入以推斷用戶意圖并基于推斷出的用戶意圖來(lái)執(zhí)行動(dòng)作的任何信息處理系統(tǒng)。例如，為 了遵循推斷出的用戶意圖，系統(tǒng)可執(zhí)行以下內(nèi)容中的一個(gè)或多個(gè)：辨識(shí)具有被設(shè)計(jì)用以實(shí) 現(xiàn)所推斷出的用戶意圖的步驟和參數(shù)的任務(wù)流，將來(lái)自推斷出的用戶意圖的具體要求輸入 到任務(wù)流中；通過(guò)調(diào)用程序、方法、服務(wù)、API等來(lái)執(zhí)行任務(wù)流；以及生成聽(tīng)覺(jué)（例如，語(yǔ)音） 和/或視覺(jué)形式的對(duì)用戶的輸出響應(yīng)。
[0025] 具體地講，數(shù)字助理能夠接受至少部分地為自然語(yǔ)言命令、請(qǐng)求、聲明、講述和/ 或詢問(wèn)的形式的用戶請(qǐng)求。通常，用戶請(qǐng)求要么尋求信息回答，要么尋求數(shù)字助理執(zhí)行任 務(wù)。針對(duì)用戶請(qǐng)求的令人滿意的響應(yīng)是提供所請(qǐng)求的信息回答、或執(zhí)行所請(qǐng)求的任務(wù)、或這 兩者的組合。例如，用戶可能對(duì)數(shù)字助理提問(wèn)，諸如"我現(xiàn)在在哪里？"?；谟脩舻漠?dāng)前位 置，數(shù)字助理可回答"您在中央公園"。用戶也可能請(qǐng)求執(zhí)行任務(wù)，例如"請(qǐng)?zhí)嵝盐医裉煜挛?4點(diǎn)給媽媽打電話"。作為響應(yīng)，數(shù)字助理可確認(rèn)該請(qǐng)求，然后在用戶的電子日程表中創(chuàng)建適 當(dāng)?shù)奶嵝秧?xiàng)。在執(zhí)行所請(qǐng)求的任務(wù)期間，數(shù)字助理有時(shí)在延長(zhǎng)的時(shí)間段內(nèi)涉及多個(gè)信息交 換的連續(xù)對(duì)話中與用戶交互。存在與數(shù)字助理進(jìn)行交互以請(qǐng)求信息或執(zhí)行各種任務(wù)的許多 其他方法。除提供言語(yǔ)響應(yīng)和采取經(jīng)編程的動(dòng)作之外，數(shù)字助理還提供其他視覺(jué)或音頻形 式（例如，作為文本、警報(bào)、音樂(lè)、視頻、動(dòng)畫(huà)等）的響應(yīng)。
[0026]申請(qǐng)人的提交于2011 年 1 月 10 日的名稱為"IntelligentAutomatedAssistant" 的美國(guó)實(shí)用專利申請(qǐng)序列號(hào)No. 12/987,982中介紹了數(shù)字助理的實(shí)例，該美國(guó)實(shí)用專利申 請(qǐng)的全部公開(kāi)內(nèi)容以引用方式并入本文。
[0027] 如圖1中所示，在一些實(shí)施例中，根據(jù)客戶端_服務(wù)器模型來(lái)實(shí)施數(shù)字助理。數(shù)字 助理包括在用戶設(shè)備104a、104b上執(zhí)行的客戶端側(cè)部分102a、102b(在后文中稱作"DA客 戶端102"）、以及在服務(wù)器系統(tǒng)108上執(zhí)行的服務(wù)器側(cè)部分106 (在后文中稱作"DA服務(wù)器 106"）。DA客戶端102通過(guò)一個(gè)或多個(gè)網(wǎng)絡(luò)110與DA服務(wù)器106通信。DA客戶端102提 供客戶端側(cè)功能諸如面向用戶的輸入和輸出處理，以及與DA服務(wù)器106進(jìn)行通信。DA服務(wù) 器106為任意數(shù)量的DA客戶端102提供服務(wù)器側(cè)功能，所述任意數(shù)量的DA客戶端102各 自位于相應(yīng)的用戶設(shè)備104上。
[0028] 在一些實(shí)施例中，DA服務(wù)器106包括面向客戶端的I/O接口 112、一個(gè)或多個(gè)處理 模塊114、數(shù)據(jù)和模型116、以及到外部服務(wù)118的I/O接口。面向客戶端的I/O接口促進(jìn) 數(shù)字助理服務(wù)器106的面向客戶端的輸入和輸出處理。所述一個(gè)或多個(gè)處理模塊114利用 數(shù)據(jù)和模型116來(lái)基于自然語(yǔ)言輸入確定用戶的意圖，并基于推斷出的用戶意圖進(jìn)行任務(wù) 執(zhí)行。在一些實(shí)施例中，數(shù)據(jù)和模型116存儲(chǔ)由DA服務(wù)器106維持的與各個(gè)用戶的知識(shí)本 體（例如知識(shí)本體360)不同的多個(gè)知識(shí)本體（例如全球知識(shí)本體、區(qū)域知識(shí)本體、文化知 識(shí)本體、國(guó)家知識(shí)本體、州級(jí)知識(shí)本體、市級(jí)知識(shí)本體等等）。知識(shí)本體的功能在下文中參 考圖3B更詳細(xì)地進(jìn)行描述。在一些實(shí)施例中，DA服務(wù)器106通過(guò)網(wǎng)絡(luò)110與外部服務(wù)120 通信，以進(jìn)行任務(wù)完成或信息采集。到外部服務(wù)118的I/O接口促進(jìn)此類通信。
[0029] 用戶設(shè)備104的實(shí)例包括但不限于手持式計(jì)算機(jī)、個(gè)人數(shù)字助理（PDA)、平板 型計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、蜂窩電話、智能電話、增強(qiáng)型通用分組無(wú)線電服務(wù) (EGPRS)移動(dòng)電話、媒體播放器、導(dǎo)航設(shè)備、游戲控制器、電視機(jī)、遙控器、或者這些數(shù)據(jù)處理 設(shè)備中任意兩種或更多種的組合或其他數(shù)據(jù)處理設(shè)備。關(guān)于用戶設(shè)備104的更多細(xì)節(jié)參照 圖2中示出的示例性用戶設(shè)備104來(lái)提供。
[0030]通信網(wǎng)絡(luò)110的實(shí)例包括局域網(wǎng)（"LAN"）和廣域網(wǎng)（"WAN"），例如互聯(lián)網(wǎng)。任 選地使用任何已知的網(wǎng)絡(luò)協(xié)議，包括各種有線或無(wú)線協(xié)議，諸如例如以太網(wǎng)、通用串行總線 (USB)、火線（FIREWIRE)、全球移動(dòng)通信系統(tǒng)（GSM)、增強(qiáng)型數(shù)據(jù)GSM環(huán)境（EDGE)、碼分多址 (CDMA)、時(shí)分多址（TDMA)、藍(lán)牙、Wi-Fi、互聯(lián)網(wǎng)電話協(xié)議（VoIP)、Wi-MAX、或任何其他合適 的通信協(xié)議來(lái)實(shí)施通信網(wǎng)絡(luò)110。
[0031] 在一個(gè)或多個(gè)獨(dú)立的數(shù)據(jù)處理裝置上或者在計(jì)算機(jī)分布式網(wǎng)絡(luò)上實(shí)施服務(wù)器系 統(tǒng)108。在一些實(shí)施例中，服務(wù)器系統(tǒng)108還采用第三方服務(wù)提供方（例如，第三方云服務(wù) 提供方）的各種虛擬設(shè)備和/或服務(wù)來(lái)提供服務(wù)器系統(tǒng)108的下層計(jì)算資源和/或基礎(chǔ)結(jié) 構(gòu)資源。
[0032] 雖然圖1中所示的數(shù)字助理包括客戶端側(cè)部分（例如DA客戶端102)和服務(wù)器側(cè) 部分（例如DA服務(wù)器106)，但在一些實(shí)施例中，數(shù)字助理的功能被實(shí)現(xiàn)為安裝在用戶設(shè)備 上的獨(dú)立應(yīng)用程序。此外，數(shù)字助理的客戶端部分和服務(wù)器部分之間的功能劃分在不同的 實(shí)施例中可能不同。例如，在一些實(shí)施例中，DA客戶端為僅提供面向用戶的輸入和輸出處 理功能、且將數(shù)字助理的所有其他功能委派給后端服務(wù)器的瘦客戶端。
[0033] 如本說(shuō)明書(shū)中后面所述，數(shù)字助理可實(shí)施眾包功能。眾包功能允許數(shù)字助理采集 來(lái)自其他DA客戶端或第三方信息源（所謂的"眾包信息源"或"CS信息源"）的信息，并使 用眾包信息來(lái)促進(jìn)請(qǐng)求實(shí)現(xiàn)、以及在一些實(shí)施例中促進(jìn)意圖推斷。
[0034] 圖2為根據(jù)一些實(shí)施例的用戶設(shè)備104的框圖。用戶設(shè)備104包括存儲(chǔ)器接口 202、一個(gè)或多個(gè)處理器204以及外圍設(shè)備接口 206。用戶設(shè)備104中的各種部件通過(guò)一條 或多條通信總線或信號(hào)線耦接。用戶設(shè)備104包括各種傳感器、子系統(tǒng)、以及耦接至外圍設(shè) 備接口 206的外圍設(shè)備。傳感器、子系統(tǒng)、以及外圍設(shè)備采集信息和/或促進(jìn)用戶設(shè)備104 的各種功能。
[0035] 例如，運(yùn)動(dòng)傳感器210、光傳感器212、和接近傳感器214耦接至外圍設(shè)備接口 206 以促進(jìn)取向、光和接近感測(cè)功能。一個(gè)或多個(gè)其他傳感器216,諸如定位系統(tǒng)（例如，GPS接 收器）、溫度傳感器、生物測(cè)定傳感器、陀螺儀、指南針、加速度計(jì)等，也連接至外圍設(shè)備接口 206,以促進(jìn)相關(guān)功能。
[0036] 在一些實(shí)施例中，照相機(jī)子系統(tǒng)220和光學(xué)傳感器222用于促進(jìn)照相機(jī)功能，諸如 拍攝照片和記錄視頻剪輯。通過(guò)一個(gè)或多個(gè)有線和/或無(wú)線通信子系統(tǒng)224來(lái)促進(jìn)通信功 能，所述有線和/或無(wú)線通信子系統(tǒng)可包括各種通信端口、射頻接收器與發(fā)射器、和/或光 學(xué)（例如紅外）接收器與發(fā)射器。音頻子系統(tǒng)226耦接到揚(yáng)聲器228和麥克風(fēng)230以促進(jìn) 聲音啟用的功能，諸如聲音識(shí)別、聲音復(fù)制、數(shù)字記錄和電話功能。
[0037] 在一些實(shí)施例中，I/O子系統(tǒng)240還耦接至外圍設(shè)備接口 206。I/O子系統(tǒng)240包 括觸摸屏控制器242和/或其他輸入控制器244。觸摸屏控制器242耦接至觸摸屏246。觸 摸屏246和觸摸屏控制器242能夠例如利用多種觸摸靈敏度技術(shù)中的任一種來(lái)檢測(cè)接觸及 其移動(dòng)或間斷，所述多種觸摸靈敏度技術(shù)諸如電容技術(shù)、電阻技術(shù)、紅外技術(shù)、表面聲波技 術(shù)、接近傳感器陣列等。所述其他輸入控制器244可耦接到其他輸入/控制設(shè)備248,諸如 一個(gè)或多個(gè)按鈕、搖臂開(kāi)關(guān)、拇指滾輪、紅外端口、USB端口、和/或指針裝置諸如觸筆。
[0038] 在一些實(shí)施例中，存儲(chǔ)器接口 202耦接至存儲(chǔ)器250。存儲(chǔ)器250可包括高速隨機(jī) 存取存儲(chǔ)器和/或非易失性存儲(chǔ)器，諸如一個(gè)或多個(gè)磁盤存儲(chǔ)設(shè)備、一個(gè)或多個(gè)光學(xué)存儲(chǔ) 設(shè)備、和/或閃速存儲(chǔ)器（例如NAND、N0R)。
[0039] 在一些實(shí)施例中，存儲(chǔ)器250存儲(chǔ)操作系統(tǒng)252、通信模塊254、圖形用戶界面模塊 256、傳感器處理模塊258、電話模塊260、和應(yīng)用程序262。操作系統(tǒng)252包括用于處理基礎(chǔ) 系統(tǒng)服務(wù)以及用于執(zhí)行依賴于硬件的任務(wù)的指令。通信模塊254促進(jìn)與一個(gè)或多個(gè)附加設(shè) 備、一個(gè)或多個(gè)計(jì)算機(jī)、和/或一個(gè)或多個(gè)服務(wù)器的通信。圖形用戶界面模塊256促進(jìn)圖形 用戶界面處理。傳感器處理模塊258促進(jìn)與傳感器有關(guān)的處理和功能。電話模塊260促進(jìn) 與電話有關(guān)的過(guò)程和功能。應(yīng)用程序模塊262促進(jìn)用戶應(yīng)用程序的各種功能，諸如電子消 息傳送、網(wǎng)絡(luò)瀏覽、媒體處理、導(dǎo)航、成像和/或其他過(guò)程和功能。
[0040] 如本說(shuō)明書(shū)中所述，存儲(chǔ)器250還存儲(chǔ)客戶端側(cè)數(shù)字助理指令（例如，在數(shù)字助理 客戶端模塊264中）以及各種用戶數(shù)據(jù)266 (例如，特定于用戶的詞匯數(shù)據(jù)、偏好數(shù)據(jù)、和/ 或其他數(shù)據(jù)，諸如用戶的電子通訊錄、待辦事項(xiàng)列表、購(gòu)物清單等）以提供數(shù)字助理的客戶 端側(cè)功能。
[0041] 在各種實(shí)施例中，數(shù)字助理客戶端模塊264能夠通過(guò)用戶設(shè)備104的各種用戶接 口（例如，I/O子系統(tǒng)244)接受聲音輸入（例如語(yǔ)音輸入）、文本輸入、觸摸輸入、和/或手 勢(shì)輸入。數(shù)字助理客戶端模塊264還能夠提供音頻（例如語(yǔ)音輸出）、視覺(jué)、和/或觸覺(jué)形 式的輸出。例如，可將輸出提供為語(yǔ)音、聲音、警報(bào)、文本消息、菜單、圖形、視頻、動(dòng)畫(huà)、振動(dòng)、 和/或以上兩者或更多者的組合。在操作期間，數(shù)字助理客戶端模塊264利用通信子系統(tǒng) 224來(lái)與數(shù)字助理服務(wù)器通信。
[0042] 在一些實(shí)施例中，數(shù)字助理客戶端模塊264利用所述各種傳感器、子系統(tǒng)和外圍 設(shè)備來(lái)從用戶設(shè)備104的周圍環(huán)境采集附加信息，以建立與用戶、當(dāng)前用戶交互、和/或當(dāng) 前用戶輸入相關(guān)聯(lián)的上下文。在一些實(shí)施例中，數(shù)字助理客戶端模塊264將上下文信息或 其子集與用戶輸入一起提供至數(shù)字助理服務(wù)器以幫助推斷用戶的意圖。在一些實(shí)施例中， 數(shù)字助理還使用上下文信息來(lái)確定如何準(zhǔn)備和遞送輸出到用戶。
[0043] 在一些實(shí)施例中，與用戶輸入一起出現(xiàn)的上下文信息包括傳感器信息，例如照明、 環(huán)境噪聲、環(huán)境溫度、周圍環(huán)境的圖像或視頻等等。在一些實(shí)施例中，上下文信息還包括用 戶設(shè)備104的物理狀態(tài)（例如，設(shè)備取向、設(shè)備位置、設(shè)備溫度、電力水平、速度、加速度、運(yùn) 動(dòng)模式、蜂窩信號(hào)強(qiáng)度等等）。在一些實(shí)施例中，與用戶設(shè)備104的軟件狀態(tài)相關(guān)的信息 (例如，正在運(yùn)行的進(jìn)程、所安裝的程序、過(guò)去和當(dāng)前網(wǎng)絡(luò)活動(dòng)性、后臺(tái)服務(wù)、錯(cuò)誤日志、資源 使用等）被提供給數(shù)字助理服務(wù)器，作為與用戶輸入相關(guān)聯(lián)的上下文信息。
[0044] 在一些實(shí)施例中，數(shù)字助理客戶端模塊264響應(yīng)于來(lái)自數(shù)字助理服務(wù)器的請(qǐng)求而 選擇性地提供存儲(chǔ)在用戶設(shè)備104上的信息（例如，用戶數(shù)據(jù)266)。在一些實(shí)施例中，數(shù)字 助理客戶端模塊264還在數(shù)字助理服務(wù)器106請(qǐng)求時(shí)經(jīng)由自然語(yǔ)言對(duì)話或其他用戶接口引 出來(lái)自用戶的附加輸入。數(shù)字助理客戶端模塊264將所述附加輸入傳送至數(shù)字助理服務(wù)器 106,以幫助數(shù)字助理服務(wù)器106進(jìn)行意圖推斷和/或滿足在用戶請(qǐng)求中表達(dá)的用戶意圖。
[0045] 在各種實(shí)施例中，存儲(chǔ)器250包括附加指令或更少的指令。此外，可在硬件和/或 軟件中，包括在一個(gè)或多個(gè)信號(hào)處理和/或?qū)Ｓ眉呻娐分?，?shí)現(xiàn)用戶設(shè)備104的各種功 能。
[0046] 圖3A為根據(jù)一些實(shí)施例的示例性數(shù)字助理系統(tǒng)300的框圖。在一些實(shí)施例中，數(shù) 字助理系統(tǒng)300在獨(dú)立式計(jì)算機(jī)系統(tǒng)上實(shí)施。在一些實(shí)施例中，數(shù)字助理系統(tǒng)300跨多個(gè) 計(jì)算機(jī)分布。在一些實(shí)施例中，數(shù)字助理的模塊和功能中的一些被劃分成服務(wù)器部分和客 戶端部分，其中客戶端部分位于用戶設(shè)備（例如，用戶設(shè)備104)上并通過(guò)一個(gè)或多個(gè)網(wǎng)絡(luò) 與服務(wù)器部分（例如，服務(wù)器系統(tǒng)108)通信（例如如圖1中所示）。在一些實(shí)施例中，數(shù)字 助理系統(tǒng)300為圖1中所示的服務(wù)器系統(tǒng)108(和/或數(shù)字助理服務(wù)器106)的實(shí)施例。應(yīng) 當(dāng)指出，數(shù)字助理系統(tǒng)300僅為數(shù)字助理系統(tǒng)的一個(gè)實(shí)例，并且數(shù)字助理系統(tǒng)300可具有比 圖中所