背景技術(shù)：
：：隨著現(xiàn)代計(jì)算系統(tǒng)的出現(xiàn)，各種各樣的個(gè)人計(jì)算系統(tǒng)和設(shè)備已經(jīng)啟用了對(duì)話(huà)系統(tǒng)和應(yīng)用，其允許用戶(hù)向他/她的計(jì)算設(shè)備講出問(wèn)題，以搜索將由計(jì)算設(shè)備響應(yīng)于該問(wèn)題而提供的信息。例如，在典型的設(shè)置中，用戶(hù)向她的手持移動(dòng)電話(huà)或平板計(jì)算設(shè)備講出諸如“whereistheclosestpizzarestaurant？(最近的披薩餐廳在哪兒)”的問(wèn)題，并且該用戶(hù)預(yù)期她的設(shè)備(如果配備有適當(dāng)應(yīng)用)會(huì)用“ihavefoundthreepizzarestaurantsnearby(我已經(jīng)找到附近三家披薩餐廳)”這樣的短語(yǔ)對(duì)該問(wèn)題作出響應(yīng)。根據(jù)一些系統(tǒng)，應(yīng)用可以響應(yīng)于用戶(hù)請(qǐng)求向用戶(hù)提供地址和其它信息。在一些情況下，所接收的問(wèn)題在用戶(hù)的計(jì)算設(shè)備上被本地處理，例如，在用戶(hù)的日歷信息被詢(xún)問(wèn)以面向日歷的問(wèn)題的情況下，在本地天氣應(yīng)用被詢(xún)問(wèn)以面向天氣的信息的情況下，在本地聯(lián)系人數(shù)據(jù)庫(kù)被詢(xún)問(wèn)以用于面向聯(lián)系人的信息的情況下，等等。如果無(wú)法在本地獲得響應(yīng)于請(qǐng)求的信息，則一些系統(tǒng)使用所接收的請(qǐng)求進(jìn)行基于互聯(lián)網(wǎng)的信息搜索，并且響應(yīng)于用戶(hù)請(qǐng)求的基于互聯(lián)網(wǎng)的搜索結(jié)果被返回給用戶(hù)。在開(kāi)發(fā)和實(shí)施這種系統(tǒng)時(shí)所遇到的重大困難之一涉及語(yǔ)言理解。也就是說(shuō)，這種系統(tǒng)的開(kāi)發(fā)和實(shí)施中的一個(gè)問(wèn)題是理解用戶(hù)所講出的自然語(yǔ)言，而使得給定口頭話(huà)語(yǔ)的組成部分可以被用于執(zhí)行計(jì)算機(jī)支持的功能。對(duì)于被提供給用戶(hù)以允許用戶(hù)通過(guò)語(yǔ)音交互來(lái)利用這些應(yīng)用或功能的新應(yīng)用或功能的開(kāi)發(fā)方而言，該困難尤其成為問(wèn)題。例如，如果出租車(chē)服務(wù)提供方希望提供一種允許用戶(hù)向其手持計(jì)算設(shè)備(例如，移動(dòng)電話(huà))講出用于請(qǐng)求出租車(chē)的請(qǐng)求，則該應(yīng)用的提供方面臨著實(shí)施語(yǔ)言理解模型的艱巨任務(wù)，該語(yǔ)言理解模型將理解用戶(hù)可以向該應(yīng)用講出針對(duì)出租車(chē)服務(wù)的請(qǐng)求的許多不同方式，該應(yīng)用將理解上述方式以提供所請(qǐng)求的服務(wù)。例如，這種支持計(jì)算機(jī)的出租車(chē)服務(wù)可能會(huì)收到諸如“ineedataxi，(我需要出租車(chē)，)”、“canyougetmeacar？(你能給我安排一輛車(chē)么？)”、“isthisataxiservice？(這是出租車(chē)服務(wù)么？)”、“ineedacabtodowntown，(我需要出租車(chē)去市區(qū))”等之類(lèi)的口頭請(qǐng)求。這樣的口頭短語(yǔ)的問(wèn)題在于，它們可能以多種結(jié)構(gòu)、格式以及具有隨使用該服務(wù)的人數(shù)而有所不同的單詞和短語(yǔ)講出。也就是說(shuō)，該服務(wù)可以接收到以幾乎無(wú)限的方式不同于其它類(lèi)似口頭話(huà)語(yǔ)的口頭話(huà)語(yǔ)形式的請(qǐng)求。例如，在這些提供的示例話(huà)語(yǔ)中，使用了數(shù)個(gè)不同術(shù)語(yǔ)來(lái)描述用戶(hù)將被其運(yùn)載的物理設(shè)備，包括taxi、car、cab等。另外，短語(yǔ)中的一些是作為問(wèn)題提出的，而話(huà)語(yǔ)的一些則是作為陳述給出。話(huà)語(yǔ)的一些可以被理解為請(qǐng)求出租車(chē)服務(wù)，而話(huà)語(yǔ)的一些則可以被理解為指向購(gòu)買(mǎi)車(chē)輛的搜索。響應(yīng)于這種語(yǔ)言理解的困難，語(yǔ)言理解系統(tǒng)的開(kāi)發(fā)方和實(shí)施者通常參與到向語(yǔ)言理解系統(tǒng)的組件教授響應(yīng)于基于話(huà)音的請(qǐng)求提供服務(wù)的應(yīng)用可能預(yù)見(jiàn)到的術(shù)語(yǔ)和短語(yǔ)的許多不同變型的工作之中，這項(xiàng)工作非常緩慢、艱苦并且是勞動(dòng)密集的。例如，數(shù)據(jù)工程師收集包含目標(biāo)用戶(hù)意圖的實(shí)例的話(huà)語(yǔ)數(shù)據(jù)。用戶(hù)體驗(yàn)設(shè)計(jì)師創(chuàng)建解釋新的目標(biāo)意圖的標(biāo)記指令。眾包工程師創(chuàng)建眾包任務(wù)，其中多個(gè)工作者向多個(gè)示例用戶(hù)在眾包任務(wù)中所接收到的數(shù)據(jù)(各種話(huà)語(yǔ))應(yīng)用該標(biāo)記指令。機(jī)器學(xué)習(xí)專(zhuān)家使用該數(shù)據(jù)來(lái)構(gòu)建可以確定將向其計(jì)算設(shè)備講出請(qǐng)求的用戶(hù)的意圖的意圖檢測(cè)模型，以及提取實(shí)體(例如，口頭話(huà)語(yǔ)中可能構(gòu)成該話(huà)語(yǔ)的主語(yǔ)的術(shù)語(yǔ)，諸如“出租車(chē)”)的實(shí)體提取模型。此外，另一個(gè)難題包括定義意圖或?qū)嶓w的問(wèn)題，這經(jīng)常在在過(guò)程結(jié)尾測(cè)量模型性能時(shí)時(shí)才顯現(xiàn)出來(lái)，因此需要重復(fù)整個(gè)過(guò)程。總的來(lái)說(shuō)，這樣的過(guò)程可能需要開(kāi)發(fā)數(shù)周甚至數(shù)月的時(shí)間并影響現(xiàn)有語(yǔ)言理解模型提供方將語(yǔ)言理解擴(kuò)展到新的口頭話(huà)語(yǔ)類(lèi)型的能力。這樣的過(guò)程還影響應(yīng)用或功能提供方將應(yīng)用或功能集成到對(duì)話(huà)系統(tǒng)中的能力，原因在于這樣的提供方不具備開(kāi)發(fā)復(fù)雜語(yǔ)言理解模型從而允許口頭話(huà)語(yǔ)被他們的應(yīng)用和功能所理解從而導(dǎo)致那些應(yīng)用和功能得以執(zhí)行的能力。技術(shù)實(shí)現(xiàn)要素：示例提供了可以被快速且有效地構(gòu)建、測(cè)試并改進(jìn)的特定于域的語(yǔ)言理解模型。根據(jù)示例，提供了使得開(kāi)發(fā)方能夠快速且在無(wú)需專(zhuān)門(mén)的機(jī)器學(xué)習(xí)知識(shí)的情況下構(gòu)建用戶(hù)意圖檢測(cè)模型、語(yǔ)言實(shí)體提取模型和語(yǔ)言實(shí)體解析模型的方法、系統(tǒng)和設(shè)備。這些模型可以經(jīng)由單模型系統(tǒng)所構(gòu)建并實(shí)施，該單模型系統(tǒng)使得模型能夠隔離地或者在端到端流水線(xiàn)系統(tǒng)中被構(gòu)建，該流水線(xiàn)系統(tǒng)使得模型能夠以同時(shí)的方式被構(gòu)建和改進(jìn)。提供該
發(fā)明內(nèi)容而以簡(jiǎn)化形式對(duì)隨后將在下文的具體實(shí)施方式中進(jìn)一步進(jìn)行描述的代表性概念的選擇進(jìn)行介紹。該
發(fā)明內(nèi)容并非意在標(biāo)識(shí)所請(qǐng)求保護(hù)主題的關(guān)鍵特征或必要特征，其也并非意在被用來(lái)幫助確定所請(qǐng)求保護(hù)主題的范圍。一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在附圖和以下描述中給出。其它特征和優(yōu)勢(shì)將通過(guò)閱讀以下詳細(xì)描述以及參照附圖而是顯而易見(jiàn)的。所要理解的是，以下詳細(xì)描述僅是解釋性的而并非作為限制。附圖說(shuō)明圖1圖示了多種類(lèi)型的口頭話(huà)語(yǔ)以及這樣的口頭話(huà)語(yǔ)可以如何被對(duì)話(huà)系統(tǒng)所理解以將這樣的口頭話(huà)語(yǔ)的組成部分和理解用于請(qǐng)求功能或服務(wù)。圖2是根據(jù)示例的用于構(gòu)建和啟用特定于域的語(yǔ)言理解模型的系統(tǒng)或設(shè)備的簡(jiǎn)化框圖。圖3圖示了對(duì)話(huà)系統(tǒng)中的交互式分類(lèi)和提取模型可以通過(guò)其被接合以檢測(cè)用戶(hù)意圖、提取口頭話(huà)語(yǔ)實(shí)體以及解析口頭話(huà)語(yǔ)實(shí)體的用戶(hù)界面。圖4是圖示通過(guò)隔離的實(shí)驗(yàn)意圖建模接收的數(shù)據(jù)的表格。圖5以圖形圖示了根據(jù)示例的構(gòu)建示例意圖模型所需的時(shí)間。圖6圖示了用于與圖2所示的語(yǔ)言理解建模系統(tǒng)或設(shè)備交互的支持計(jì)算機(jī)的用戶(hù)界面。圖7是圖示根據(jù)示例的通過(guò)端到端意圖模型的實(shí)驗(yàn)操作所接收的數(shù)據(jù)的表格。圖8圖示了用于允許用戶(hù)與圖2所示的系統(tǒng)和設(shè)備進(jìn)行交互以訓(xùn)練和/或改善該系統(tǒng)或設(shè)備的輸出的支持計(jì)算機(jī)的用戶(hù)界面。圖9圖示了用于圖2所示的語(yǔ)言理解系統(tǒng)和設(shè)備的基于云的平臺(tái)。圖10是圖示根據(jù)示例的用于生成語(yǔ)言理解模型的方法的流程圖。圖11是圖示可以利用其實(shí)踐示例的計(jì)算設(shè)備的示例物理組件的框圖。圖12a和12b是可以利用其實(shí)踐示例的移動(dòng)計(jì)算設(shè)備的簡(jiǎn)化框圖。圖13是可以在其中實(shí)踐示例的分布式計(jì)算系統(tǒng)的簡(jiǎn)化框圖。具體實(shí)施方式以下的詳細(xì)描述參考附圖。盡可能地，在附圖和以下描述中使用相同的附圖標(biāo)記來(lái)指代相同或相似的要素。雖然示例可以被描述，但是修改、調(diào)適和其它實(shí)施方式是可能的。例如，可以對(duì)附圖中所圖示的要素進(jìn)行替換、添加或修改，并且可以通過(guò)對(duì)所公開(kāi)方法進(jìn)行替換、重新排名或添加階段來(lái)修改本文所描述的方法。因此，以下詳細(xì)描述并不是限制性的，而是由所附權(quán)利要求來(lái)描述適當(dāng)?shù)姆秶?。如上面?jiǎn)要描述的，示例涉及到語(yǔ)言理解模型的生成和實(shí)施，以允許軟件應(yīng)用接收從口頭話(huà)語(yǔ)所提取或開(kāi)發(fā)的輸入和/或查詢(xún)。更具體地，示例滿(mǎn)足快速地向?qū)υ?huà)系統(tǒng)添加新功能，而使得對(duì)話(huà)系統(tǒng)可以被縮放至新的域。示例允許單個(gè)用戶(hù)教導(dǎo)對(duì)話(huà)系統(tǒng)來(lái)回答新的類(lèi)型的問(wèn)題或請(qǐng)求，而使得可以基于新的類(lèi)型的問(wèn)題或請(qǐng)求來(lái)執(zhí)行或提供功能或服務(wù)。例如，如果一個(gè)對(duì)話(huà)系統(tǒng)接收到新的類(lèi)型的問(wèn)題，諸如“whichmoviesdid<director>direct？(<導(dǎo)演>導(dǎo)演了哪些電影)”或“addanewappointmenttomycalendarfor<date>about<subject>(向我的日歷添加<日期>的關(guān)于<主題>的約會(huì))”，根據(jù)示例，給定對(duì)話(huà)系統(tǒng)的語(yǔ)言理解模型可以被教授以回答這樣的問(wèn)題，并且利用這樣的口頭問(wèn)題的實(shí)體(例如，術(shù)語(yǔ)或短語(yǔ))來(lái)執(zhí)行或提供所期望的功能或服務(wù)。如利用以下描述的示例所說(shuō)明的，向用戶(hù)和系統(tǒng)以及語(yǔ)言理解的
技術(shù)領(lǐng)域：
：提供了顯著的益處和/或優(yōu)點(diǎn)。對(duì)于用戶(hù)來(lái)說(shuō)，講出自然語(yǔ)言話(huà)語(yǔ)以使得所期望功能被執(zhí)行的能力得到增強(qiáng)，因?yàn)橛糜趫?zhí)行給定功能的不同類(lèi)型的話(huà)語(yǔ)(例如，“findtaxi(找輛出租車(chē))”、“getmeataxi(給我安排輛出租車(chē))”、“ineedacar(我需要輛車(chē))”等)可以更有效地被理解和標(biāo)記以使得所期望功能(例如，出租車(chē)預(yù)定功能)被執(zhí)行。對(duì)于計(jì)算系統(tǒng)而言，如下文所述(例如，參照?qǐng)D7)，對(duì)用于執(zhí)行功能的口頭話(huà)語(yǔ)的標(biāo)記實(shí)現(xiàn)了明顯的加速，這減少了計(jì)算機(jī)處理時(shí)間、存儲(chǔ)器消耗，并且提供了對(duì)本文所描述的語(yǔ)言理解計(jì)算系統(tǒng)的整體改進(jìn)。在語(yǔ)言理解的
技術(shù)領(lǐng)域：
：方面，因?yàn)榭谡Z(yǔ)的多樣性，并由于對(duì)語(yǔ)言激勵(lì)的計(jì)算功能增長(zhǎng)的需求，增強(qiáng)理解并標(biāo)記口頭話(huà)語(yǔ)的能力是重大利好。圖1圖示了多種類(lèi)型的口頭話(huà)語(yǔ)以及這樣的口頭話(huà)語(yǔ)可以如何被對(duì)話(huà)系統(tǒng)所理解以將這樣的口頭話(huà)語(yǔ)的組件和理解用于請(qǐng)求功能或服務(wù)。根據(jù)示例，對(duì)話(huà)系統(tǒng)可以被描述為如圖1所示的處理流水線(xiàn)。首先，口頭輸入使用開(kāi)放域自動(dòng)語(yǔ)音識(shí)別器而被識(shí)別并且被轉(zhuǎn)換為諸如“amifreetodayatnoon？(我今天中午有空么？)”的多個(gè)單詞。如果該輸入由文本提供，則可以跳過(guò)這樣的話(huà)音識(shí)別步驟。本領(lǐng)域技術(shù)人員應(yīng)該意識(shí)到，自動(dòng)語(yǔ)音識(shí)別器(asr)可以根據(jù)各種公知方法進(jìn)行操作。例如，根據(jù)一種可接受的自動(dòng)語(yǔ)音識(shí)別方法，通過(guò)使用拆詞機(jī)制將口頭話(huà)語(yǔ)拆分成多個(gè)單詞，該拆詞機(jī)制基于包括空格、標(biāo)點(diǎn)符號(hào)、暫停、常見(jiàn)詞型等在內(nèi)的常用單詞分隔將口頭話(huà)語(yǔ)拆分為多個(gè)單詞。一旦這樣的口頭話(huà)語(yǔ)被拆分為多個(gè)單詞，個(gè)體單詞(實(shí)體)或者單詞或?qū)嶓w的組合就可以與單詞或?qū)嶓w的庫(kù)進(jìn)行比較，以返回基于文本的口頭話(huà)語(yǔ)轉(zhuǎn)換。如應(yīng)當(dāng)意識(shí)到的，給定的實(shí)體可以包括或跨越多個(gè)單詞。例如，多個(gè)單詞“empirestatebuilding(帝國(guó)大廈)”可能被視為單個(gè)實(shí)體。例如，通過(guò)暫?；蚱渌指舳鴱钠渌鼘?shí)體所分隔的五個(gè)數(shù)字的口頭模式可以與其它數(shù)量為5的模式進(jìn)行比較以返回郵政編碼。作為另一個(gè)示例，緊接在一個(gè)或多個(gè)單詞之前所接收的數(shù)字集合可以被用于確定/識(shí)別街道地址。應(yīng)當(dāng)理解，自動(dòng)語(yǔ)音識(shí)別系統(tǒng)對(duì)于本領(lǐng)域技術(shù)人員而言是公知的，并且不需要在本文進(jìn)一步詳細(xì)描述。一旦口頭話(huà)音被自動(dòng)語(yǔ)音識(shí)別器轉(zhuǎn)換為單詞，就可以確定用戶(hù)意圖以及用戶(hù)話(huà)語(yǔ)的實(shí)體以開(kāi)發(fā)函數(shù)調(diào)用，該函數(shù)調(diào)用可以被提供至給定應(yīng)用以請(qǐng)求所期望的函數(shù)或服務(wù)。參考圖1，多個(gè)不同的口頭話(huà)語(yǔ)根據(jù)多種不同類(lèi)型的口頭話(huà)語(yǔ)而被提供。例如，典型的社交對(duì)話(huà)115可以包括諸如“willyoumarryme？(你愿意嫁給我嗎？)”的口頭問(wèn)題。典型的物聯(lián)網(wǎng)話(huà)語(yǔ)120可以包括諸如“turnontheoutsidelights(打開(kāi)外面的燈)”的短語(yǔ)。典型的日歷話(huà)語(yǔ)12可以包括諸如“what'sonmycalendarfortomorrow？(我明天的日歷上有什么)”的問(wèn)題。以及，典型的一般信息請(qǐng)求問(wèn)題可以包括諸如“whodirectedannie？(誰(shuí)導(dǎo)演了annie)”的問(wèn)題130。根據(jù)示例，一旦這樣的話(huà)語(yǔ)被接收并且被適當(dāng)?shù)淖詣?dòng)語(yǔ)音識(shí)別器轉(zhuǎn)換為單詞，該單詞就可以通過(guò)處理流水線(xiàn)132被傳遞，在流水線(xiàn)132中用戶(hù)的意圖被檢測(cè)，話(huà)語(yǔ)中的實(shí)體(例如，單詞或單詞組合)可以被提取并解析，并且在有必要的情況下，適當(dāng)?shù)暮瘮?shù)調(diào)用可以被生成以送至應(yīng)用而用于執(zhí)行或獲得所期望的功能或服務(wù)。例如，仍然參考圖1，對(duì)于用戶(hù)所講出的短語(yǔ)“turnontheoutsidelights(打開(kāi)外面的燈)”，用戶(hù)的意圖140可以被確定為“turnon(打開(kāi))”。實(shí)體可以在話(huà)語(yǔ)已經(jīng)被轉(zhuǎn)換成諸如“outsidelights(外面的燈)”145的單詞之后從話(huà)語(yǔ)中提取。實(shí)體解析可以包括將所提取的實(shí)體解析成規(guī)范形式，諸如具體特定id150(例如，“outsidelights(外面的燈)”的具體id)。在檢測(cè)到用戶(hù)意圖，提取出實(shí)體，并且在必要情況下執(zhí)行了實(shí)體解析之后，可以生成函數(shù)調(diào)用并將其提供給適當(dāng)應(yīng)用以執(zhí)行所期望的功能或者獲得所期望的結(jié)果。例如，函數(shù)調(diào)用可以是應(yīng)用編程接口(api)的形式，該應(yīng)用編程接口(api)被傳遞給應(yīng)用或函數(shù)以請(qǐng)求執(zhí)行以獲得給定結(jié)果。用戶(hù)意圖和所提取的實(shí)體可以作為輸入而經(jīng)由函數(shù)調(diào)用被傳遞給函數(shù)。例如，用戶(hù)意圖“turnon(打開(kāi))”以及解析出的識(shí)別給定燈集合的所提取實(shí)體“id3728”可以在函數(shù)調(diào)用中被傳遞給應(yīng)用，而使得該應(yīng)用開(kāi)啟被標(biāo)識(shí)的燈。作為另一個(gè)示例，如果話(huà)語(yǔ)“amifreetodayatnoon？(我今天中午有空嗎)”從自動(dòng)語(yǔ)音識(shí)別器被轉(zhuǎn)換成多個(gè)單詞，則可以確定諸如“readfromcalendar(從日歷中讀)”的用戶(hù)意圖。與之并行地，實(shí)體提取可以標(biāo)識(shí)出包含諸如日期“today(今天)”或時(shí)間“noon(中午)”的實(shí)體的話(huà)語(yǔ)子串，并且實(shí)體解析可以將那些子串映射到諸如2014-12-31(155)或12:00:00z-08:00:00的規(guī)范形式。最后，將該意圖和實(shí)體作為輸入，可選地更新內(nèi)部對(duì)話(huà)狀態(tài)或者與數(shù)據(jù)庫(kù)交互并產(chǎn)生作為輸出170的響應(yīng)的函數(shù)被調(diào)用。仍然參考圖1，響應(yīng)于示例日歷請(qǐng)求126，功能調(diào)用接收顯示用戶(hù)日歷上指定日期的事項(xiàng)的結(jié)果，并且向用戶(hù)講出“youhavetwomeetingstomorrow.thefirstis'reviewbudget'at9:00a.m.(明天你有兩個(gè)會(huì)議。第一個(gè)是早上9點(diǎn)的“檢查預(yù)算”)”的輸出。在生成這樣的作為輸出的響應(yīng)之后，如果用戶(hù)對(duì)應(yīng)用說(shuō)出附加的話(huà)語(yǔ)，則循環(huán)可以根據(jù)需要重復(fù)進(jìn)行。應(yīng)當(dāng)理解，諸如意圖檢測(cè)和實(shí)體提取/解析之類(lèi)的處理可以如本文所描述的那樣相對(duì)于彼此分離地、聯(lián)合地、并行地或順序地進(jìn)行。根據(jù)一個(gè)示例，可以使用結(jié)果排名模塊(下文參考圖2描述)對(duì)來(lái)自所接收請(qǐng)求的結(jié)果進(jìn)行排名。在這種情況下，排名較高的結(jié)果可以作為響應(yīng)被提供，或者所有結(jié)果可以以某種類(lèi)型的適當(dāng)順序作為響應(yīng)被傳遞。在圖1所示的示例中，所找到的最早電影的導(dǎo)演165作為結(jié)果被提供，但是類(lèi)似地，最新電影的導(dǎo)演或者這兩部電影的導(dǎo)演能夠按照從最舊到最新的順序作為結(jié)果被提供，等等。作為另一個(gè)示例，如果針對(duì)出租車(chē)位置服務(wù)提出的問(wèn)題找到了兩個(gè)結(jié)果，則指示最接近用戶(hù)當(dāng)前位置的出租車(chē)服務(wù)的結(jié)果可以作為第一結(jié)果被返回，隨后是下一個(gè)最接近的服務(wù)，等等。為了向?qū)υ?huà)系統(tǒng)添加將對(duì)口語(yǔ)話(huà)語(yǔ)作出響應(yīng)的新功能，提供了意圖檢測(cè)模型、實(shí)體提取模型和實(shí)體解析模型的有所改進(jìn)的開(kāi)發(fā)和實(shí)施方式。如上文簡(jiǎn)要描述的，如果應(yīng)用提供方提供了新的功能，例如允許用戶(hù)通過(guò)向該用戶(hù)的手持計(jì)算設(shè)備(例如，移動(dòng)電話(huà))說(shuō)出話(huà)語(yǔ)來(lái)預(yù)定出租車(chē)服務(wù)的功能，則需要開(kāi)發(fā)適當(dāng)?shù)恼Z(yǔ)言理解模型從而允許該新服務(wù)的提供方盡快使得所提供的服務(wù)上線(xiàn)。例如，對(duì)于要添加到對(duì)話(huà)系統(tǒng)的新功能，可能需要一種或多種新的意圖檢測(cè)模型從而允許該對(duì)話(huà)系統(tǒng)從針對(duì)新提供功能的口頭話(huà)語(yǔ)確定用戶(hù)意圖。此外，可能需要一種或多種新的實(shí)體提取模型和實(shí)體解析模型，這是因?yàn)殡m然如時(shí)間、日期和位置的某些實(shí)體類(lèi)型可能是通用的，但是許多實(shí)體類(lèi)型是特定于域的，例如指向具體房間、建筑物或其它設(shè)施中位置、或者“物聯(lián)網(wǎng)”域、飲食記錄域中的食物類(lèi)型、健身域中的練習(xí)類(lèi)型等的實(shí)體。也就是說(shuō)，對(duì)于具有相關(guān)聯(lián)的用戶(hù)意圖和實(shí)體的任何域而言，可能需要新的意圖檢測(cè)模型以及新的實(shí)體檢測(cè)和解析模型。例如，可以提供新的健身監(jiān)測(cè)功能，并且可以針對(duì)該健身監(jiān)測(cè)功能說(shuō)出各種類(lèi)型的練習(xí)，其是現(xiàn)有意圖檢測(cè)和實(shí)體提取模型將無(wú)法理解的新練習(xí)。因此，根據(jù)示例，快速構(gòu)建新的意圖和實(shí)體提取/解析模型在向?qū)υ?huà)系統(tǒng)添加新功能時(shí)是有利的步驟，這使得從口頭話(huà)語(yǔ)所轉(zhuǎn)換的單詞可以被映射到函數(shù)調(diào)用(例如，api)，該函數(shù)調(diào)用則可以被傳遞至新功能而使得該新功能將理解所接收到的單詞和用戶(hù)意圖，從而可以根據(jù)需要來(lái)執(zhí)行該新功能中的功能。如下文將進(jìn)一步詳細(xì)描述的，示例涉及通過(guò)交互式學(xué)習(xí)的過(guò)程而生成新的用戶(hù)意圖檢測(cè)模型和實(shí)體提取/解析模型。通過(guò)交互式學(xué)習(xí)，非常大的數(shù)據(jù)集可以被加載到下文所描述的開(kāi)發(fā)工具中，以開(kāi)始隔離并標(biāo)記可被用于開(kāi)發(fā)用于從所接收到的單詞確定用戶(hù)意圖的意圖模型的單詞的處理，以及隔離可以被用于開(kāi)發(fā)用于從口頭話(huà)語(yǔ)中隔離出將被接收功能實(shí)施以動(dòng)作的實(shí)體提取/解析模型的實(shí)體。例如，如上所述，必須對(duì)諸如“turnontheoutsidelights(打開(kāi)外面的燈)”的短語(yǔ)進(jìn)行處理而使得“turnon(打開(kāi))”的用戶(hù)意圖被隔離，并且使得諸如“outsidelights(外面的燈)”之類(lèi)的實(shí)體被隔離，從而允許負(fù)責(zé)開(kāi)啟照明系統(tǒng)的功能理解開(kāi)啟一組燈的命令，并且理解目標(biāo)燈是“outsidelights(外面的燈)”。在構(gòu)建這樣的用于開(kāi)發(fā)意圖和實(shí)體提取/解析模型的交互式學(xué)習(xí)系統(tǒng)時(shí)，大量數(shù)據(jù)被輸入到端到端處理流水線(xiàn)之中以用于分析。根據(jù)一個(gè)示例，這樣的輸入可以通過(guò)從各個(gè)用戶(hù)捕獲大量語(yǔ)音輸入來(lái)接收，或者通過(guò)捕獲從用戶(hù)和開(kāi)發(fā)方等那里所捕獲的打字-手寫(xiě)輸入來(lái)接收。例如，可以使用起始短語(yǔ)“findtaxi(找出租車(chē))”作為起始的交互式學(xué)習(xí)短語(yǔ)，其因此暗示含有單詞“find(找)”和“taxi(出租車(chē))”的口語(yǔ)話(huà)語(yǔ)。一旦這樣的單詞被識(shí)別并隔離，包含該單詞的話(huà)語(yǔ)(例如，“findtaxi(找出租車(chē))”)就可以被標(biāo)記為特定類(lèi)別的肯定或否定實(shí)例，例如意圖的肯定或否定實(shí)例。例如，如“findmeataxi(給我找輛出租車(chē))”、“iwanttofindataxi(我想找輛出租車(chē))”或“howdoifindataxi？(我怎么找輛出租車(chē)？)”這樣的短語(yǔ)可以作為針對(duì)系統(tǒng)的數(shù)據(jù)輸入的一部分而被接收。這樣的短語(yǔ)可以被確定為該類(lèi)別的肯定實(shí)例，但是諸如“yesterday,iwasn'tabletofindataxi(昨天我沒(méi)能夠找到一輛出租車(chē))”(例如，從一個(gè)用戶(hù)發(fā)給另一個(gè)用戶(hù)的文本消息所捕獲的短語(yǔ))則可以被確定為該類(lèi)別的否定實(shí)例，因?yàn)樵搶?shí)例并不是找出租車(chē)，而是描述了過(guò)去在找出租車(chē)時(shí)遇到的困難。因此，對(duì)否定實(shí)例觸發(fā)函數(shù)調(diào)用將是不合適的。繼續(xù)當(dāng)前示例，一旦系統(tǒng)具有10、20、30或更多的這樣的標(biāo)簽，則可以生成相關(guān)聯(lián)的意圖分類(lèi)模型或?qū)嶓w提取(分類(lèi))/解析模型，但是這些模型此時(shí)可能是非常弱的。然而，現(xiàn)在可以在大量數(shù)據(jù)上運(yùn)行這些模型從而開(kāi)始交互式學(xué)習(xí)的過(guò)程以將該模型快速改進(jìn)到運(yùn)行狀態(tài)。應(yīng)當(dāng)理解，在這種交互式學(xué)習(xí)過(guò)程中，從口語(yǔ)話(huà)語(yǔ)中所提取的一些單詞或短語(yǔ)可以容易地被確定為該類(lèi)別的肯定實(shí)例(例如，與找出租車(chē)相關(guān)聯(lián)的類(lèi)別)，一些單詞或短語(yǔ)則可以容易地被確定作為否定實(shí)例，但是大量的單詞或短語(yǔ)可能處于確定肯定和確定否定之間的中間某處。根據(jù)示例以及如下文進(jìn)一步詳細(xì)描述的，用于生成意圖模型和實(shí)體提取/解析模型的大型數(shù)據(jù)集的分析被明顯加速，從而實(shí)現(xiàn)了將肯定實(shí)例從該數(shù)據(jù)集中隔離以改善模型的構(gòu)建。交互式學(xué)習(xí)的第二個(gè)方面在于，由于所接收到的話(huà)語(yǔ)被分析并分類(lèi)，所以用于開(kāi)發(fā)意圖和實(shí)體模型的特征可以被編輯以提高正在被生成的模型的性能。針對(duì)上述獲得出租車(chē)服務(wù)的域示例，重要特征可能包括單詞“find(找)”、單詞“me(我)”、單詞“taxi(出租車(chē))”、短語(yǔ)“findme(給我找)”、短語(yǔ)“findataxi(找輛出租車(chē))”等。其它特征可以包括話(huà)語(yǔ)的長(zhǎng)度或其它指示符，例如可以關(guān)于用戶(hù)現(xiàn)在和將來(lái)的位置提供有用信息的用戶(hù)位置、當(dāng)日時(shí)間、來(lái)自用戶(hù)日歷的信息，等等。這樣的特征和指示符可以被用于進(jìn)一步輔助對(duì)可能用于構(gòu)建如本文所描述的意圖模型和實(shí)體提取/解析模型的肯定單詞或短語(yǔ)的標(biāo)記。如應(yīng)當(dāng)意識(shí)到的，隔離和標(biāo)記用于開(kāi)發(fā)意圖模型的單詞或短語(yǔ)類(lèi)似于可用于開(kāi)發(fā)實(shí)體提取/解析模型的單詞和短語(yǔ)的隔離。例如，為了針對(duì)上述示例開(kāi)發(fā)實(shí)體提取模型，諸如taxi(出租車(chē))、cab(出租汽車(chē))、car(車(chē))、suv(運(yùn)動(dòng)型多功能車(chē))、vehicle(車(chē)輛)、transporter(運(yùn)輸車(chē))等的單詞可以被隔離并標(biāo)記為在實(shí)體提取模型中使用的肯定實(shí)體，以在用于提供出租車(chē)服務(wù)的功能的語(yǔ)言理解模型中使用。在實(shí)體解析方面，一旦實(shí)體提取模型的單詞和短語(yǔ)被隔離并且被肯定標(biāo)記，就可以利用映射過(guò)程來(lái)開(kāi)發(fā)實(shí)體解析模型。例如，諸如“cab(出租汽車(chē))”、“taxi(出租車(chē))”、“car(車(chē))”這樣的單詞的映射可以被映射到可用于出租車(chē)服務(wù)的特定類(lèi)型的轎車(chē)的規(guī)范id，而諸如“l(fā)imousine(豪華轎車(chē))”或“l(fā)imo(豪華轎車(chē))”的單詞則可以被映射到不同車(chē)輛類(lèi)型的不同規(guī)范標(biāo)識(shí)。圖2是根據(jù)示例的用于構(gòu)建和啟用特定于域的語(yǔ)言理解模型的系統(tǒng)或設(shè)備200的簡(jiǎn)化框圖。根據(jù)示例，用于有所改進(jìn)的語(yǔ)言理解的語(yǔ)言理解設(shè)備或系統(tǒng)205包括多個(gè)組件，它們操作以接收鍵入或口頭語(yǔ)言輸入，并且開(kāi)發(fā)意圖檢測(cè)模型、實(shí)體提取模型和實(shí)體解析模型，以結(jié)合如本文所描述的用于從所接收到的口頭話(huà)語(yǔ)開(kāi)發(fā)函數(shù)調(diào)用的其它組件一起使用，該函數(shù)調(diào)用可以被傳遞至應(yīng)用以執(zhí)行所期望的功能。參考圖2，系統(tǒng)205包括所接收語(yǔ)言的數(shù)據(jù)庫(kù)210，其可以用于開(kāi)發(fā)意圖檢測(cè)模型、實(shí)體提取模型和實(shí)體解析模型，以及在成功生成意圖和實(shí)體提取/解析模型之后用于開(kāi)發(fā)函數(shù)調(diào)用，從而獲得所期望功能的執(zhí)行。根據(jù)實(shí)施例，所接收的語(yǔ)言數(shù)據(jù)庫(kù)210可以被填充以來(lái)自計(jì)算設(shè)備275的基于文本的查詢(xún)，該計(jì)算設(shè)備275在功能上與系統(tǒng)205相關(guān)聯(lián)或者通過(guò)分布式計(jì)算網(wǎng)絡(luò)而從系統(tǒng)205遠(yuǎn)程操作。此外，如本文所述，一個(gè)或多個(gè)口頭話(huà)語(yǔ)可以如通過(guò)一個(gè)或多個(gè)用戶(hù)經(jīng)由話(huà)音輸入設(shè)備280(諸如手持計(jì)算設(shè)備，如移動(dòng)電話(huà)、平板計(jì)算設(shè)備、可穿戴設(shè)備，或者與臺(tái)式或膝上計(jì)算設(shè)備相關(guān)聯(lián)的麥克風(fēng)，或者任意其它適當(dāng)計(jì)算設(shè)備)輸入的語(yǔ)音所接收那樣在被存儲(chǔ)在所接收語(yǔ)言數(shù)據(jù)庫(kù)210中。自動(dòng)語(yǔ)音識(shí)別模塊215操作以從數(shù)據(jù)庫(kù)210接收口頭話(huà)語(yǔ)，并且將該口頭話(huà)語(yǔ)轉(zhuǎn)換成基于文本的單詞，該單詞可用于生成意圖和實(shí)體提取/解析模型以及用于開(kāi)發(fā)函數(shù)調(diào)用，該函數(shù)調(diào)用可以在后續(xù)被傳遞至所期望的應(yīng)用。應(yīng)當(dāng)理解，當(dāng)接收到數(shù)據(jù)庫(kù)210的語(yǔ)言是經(jīng)由鍵入-手寫(xiě)語(yǔ)言源所接收的基于文本的語(yǔ)言時(shí)，如上所述，這樣的語(yǔ)言可以跳過(guò)自動(dòng)語(yǔ)音識(shí)別模塊215并且被直接送至流水線(xiàn)206。流水線(xiàn)處理系統(tǒng)206包括意圖檢測(cè)開(kāi)發(fā)模塊220、實(shí)體提取開(kāi)發(fā)模塊225和實(shí)體解析開(kāi)發(fā)模塊230。如下所述，傳遞到流水線(xiàn)處理系統(tǒng)206的語(yǔ)言可以由意圖檢測(cè)開(kāi)發(fā)模型模塊220、實(shí)體提取開(kāi)發(fā)模塊225和實(shí)體解析開(kāi)發(fā)模塊230用于隔離地或者在整合的端到端迭代處理中生成作為結(jié)果的意圖檢測(cè)模型221、實(shí)體提取模型226和實(shí)體解析模型231并且隨后提高它們的性能，直至確定模型以得到充分訓(xùn)練可用于從隨后接收的語(yǔ)言輸入構(gòu)建函數(shù)調(diào)用。以下進(jìn)一步詳細(xì)描述用于生成和教導(dǎo)這些模型的交互式學(xué)習(xí)過(guò)程。函數(shù)調(diào)用模塊235是操作以接收經(jīng)由意圖檢測(cè)模型221從接收到的口頭話(huà)語(yǔ)所確定的用戶(hù)意圖，并且從實(shí)體提取模型226和實(shí)體解析模型231接收所提取和解析(如果有必要)的實(shí)體的模塊。然后，函數(shù)調(diào)用模塊235進(jìn)一步操作以從所接收的用戶(hù)意圖和所提取和/或解析的實(shí)體開(kāi)發(fā)函數(shù)調(diào)用，以最終傳遞到應(yīng)用265從而執(zhí)行所期望的功能，如本文所述。應(yīng)用265是口頭話(huà)語(yǔ)被指向它以執(zhí)行所期望功能的任意應(yīng)用。如本文所述，應(yīng)用265使用經(jīng)由函數(shù)調(diào)用所接收的意圖和實(shí)體作為執(zhí)行指令。如上文參考圖1所述，在給定的函數(shù)調(diào)用160被傳遞給應(yīng)用之后，通?？赡芊祷囟鄠€(gè)結(jié)果作為執(zhí)行該函數(shù)調(diào)用的結(jié)果。例如，參考結(jié)果165，從相同的函數(shù)調(diào)用返回兩個(gè)結(jié)果。例如，從問(wèn)題“whodirectedannie？(誰(shuí)導(dǎo)演了annie)”，電影“annie”的兩個(gè)不同版本的導(dǎo)演被返回。如上參考圖1所述，結(jié)果排名器模塊245操作以對(duì)來(lái)自函數(shù)調(diào)用的各種結(jié)果進(jìn)行排名。仍然參考圖2，系統(tǒng)205可以作為用于生成意圖以及實(shí)體提取和解析模型的獨(dú)立計(jì)算系統(tǒng)或設(shè)備進(jìn)行操作。因此，該系統(tǒng)/設(shè)備可以接收針對(duì)所接收語(yǔ)言數(shù)據(jù)庫(kù)的輸入，并且系統(tǒng)/設(shè)備205可以以函數(shù)調(diào)用的形式將輸出傳遞給接收的應(yīng)用。當(dāng)系統(tǒng)/設(shè)備205作為獨(dú)立計(jì)算系統(tǒng)或設(shè)備操作時(shí)，處理器255和存儲(chǔ)器260將被用來(lái)提供系統(tǒng)/設(shè)備205用于執(zhí)行本文所描述功能所需的計(jì)算能力。以下關(guān)于圖11-13提供這樣的計(jì)算組件的詳細(xì)討論。備選地，系統(tǒng)/設(shè)備205可以作為經(jīng)由互聯(lián)網(wǎng)或其它分布式計(jì)算網(wǎng)絡(luò)290從遠(yuǎn)程計(jì)算設(shè)備或系統(tǒng)285對(duì)其進(jìn)行訪(fǎng)問(wèn)的基于云或基于遠(yuǎn)程的語(yǔ)言理解系統(tǒng)來(lái)操作。如以下所圖示和描述的，根據(jù)任一方面，用戶(hù)與設(shè)備或系統(tǒng)205的交互可以通過(guò)一個(gè)或多個(gè)用戶(hù)界面如經(jīng)由系統(tǒng)或設(shè)備205在本地計(jì)算設(shè)備上提供的基于web的用戶(hù)界面或本地用戶(hù)界面來(lái)執(zhí)行。根據(jù)示例，一旦模型221、226、231被開(kāi)發(fā)，它們就可以相對(duì)于彼此獨(dú)立工作，或者它們可以為了附加的交互式學(xué)習(xí)和改進(jìn)而被鏈接在一起(如圖2所示)(即，當(dāng)它們?cè)谏a(chǎn)中工作時(shí))。例如，可以輸入諸如“ineedaridetotheairport(我需要到機(jī)場(chǎng)的車(chē))”的話(huà)語(yǔ)，隨后開(kāi)發(fā)方能夠利用模型來(lái)處理該話(huà)語(yǔ)，以查看流水線(xiàn)中的每個(gè)步驟將要完成什么。也就是說(shuō)，如果有必要，開(kāi)發(fā)方可以檢查哪些用戶(hù)意圖將被確定、哪個(gè)或哪些實(shí)體將被提取、以及哪些所提取的實(shí)體將被解析為規(guī)范參考。如果系統(tǒng)在該處理流水線(xiàn)中的某個(gè)地方做出錯(cuò)誤的決定，則開(kāi)發(fā)方可以糾正該錯(cuò)誤，隨后流水線(xiàn)的所有后續(xù)階段都基于作為改進(jìn)輸入的更正后的當(dāng)前決策重新運(yùn)行。因此，可以輸入話(huà)語(yǔ)，并且可以運(yùn)行處理流水線(xiàn)206，而且開(kāi)發(fā)方能夠看到系統(tǒng)在答案被標(biāo)記以供生產(chǎn)使用之前的結(jié)束時(shí)所產(chǎn)生的答案。如果開(kāi)發(fā)方?jīng)Q定該答案對(duì)于所接收到的話(huà)語(yǔ)是正確的，則她可以接受該答案為正確的并且它將被標(biāo)記以用于意圖模型221、實(shí)體提取模型226和/或?qū)嶓w解析模型231。在另一方面，如果答案不正確，那么開(kāi)發(fā)方可以在流水線(xiàn)中她認(rèn)為適合的任何點(diǎn)做出改變，隨后能夠重新運(yùn)行該過(guò)程，而使得該過(guò)程和正在開(kāi)發(fā)的模型221、226、231可以交互式改進(jìn)。該過(guò)程和系統(tǒng)的一項(xiàng)很大的好處是在該流水線(xiàn)運(yùn)行時(shí)，能夠有許多模型(數(shù)十個(gè)、數(shù)百個(gè)以及更多)被開(kāi)發(fā)和訓(xùn)練，因?yàn)閷?duì)于給定話(huà)語(yǔ)或話(huà)語(yǔ)集合，存在許多不同的意圖檢測(cè)和實(shí)體提取模型221、226，并且其均可以具有其自己的實(shí)體解析模型231。開(kāi)發(fā)方的很大的好處則在于，當(dāng)她運(yùn)行并檢查整個(gè)流水線(xiàn)206并且為正確答案保存標(biāo)簽時(shí)，她就是在以更快的速度開(kāi)發(fā)和訓(xùn)練模型。因此，與現(xiàn)有系統(tǒng)相比，設(shè)備/系統(tǒng)205是被大幅改進(jìn)且明顯更加有效的系統(tǒng)，因?yàn)樘幚砗痛鎯?chǔ)器的需求以及開(kāi)發(fā)方的時(shí)間消耗都大大降低。例如，開(kāi)發(fā)方可能有20種不同意圖的起始分類(lèi)，諸如“reserveataxi(預(yù)約出租車(chē))”、“reservetaxifromcurrentlocation(從當(dāng)前位置預(yù)約出租車(chē))”、“reserveblackcar(預(yù)約黑色的車(chē))”，等等。對(duì)于這種不同分類(lèi)可能有20個(gè)不同的意圖，如下所述為了讓開(kāi)發(fā)方知道她是否選擇了正確的意圖，她只需要通過(guò)系統(tǒng)用戶(hù)界面來(lái)查看答案，從而得知針對(duì)系統(tǒng)的更正是否是需要的。如上所述，示例包括能夠使開(kāi)發(fā)方能夠快速地并且在沒(méi)有專(zhuān)門(mén)的機(jī)器學(xué)習(xí)知識(shí)的情況下構(gòu)建所有三個(gè)模型221、226、231的方法和工具(系統(tǒng)和設(shè)備)。更具體地，存在單一模型方法/工具，其使得開(kāi)發(fā)方能夠單獨(dú)地構(gòu)建上述三個(gè)模型中的每一個(gè)，并且存在流水線(xiàn)方法/工具，其使得開(kāi)發(fā)方能夠同時(shí)查看并改進(jìn)流水線(xiàn)中的所有模型。也就是說(shuō)，示例包括用于“教導(dǎo)”對(duì)話(huà)系統(tǒng)如何回答新類(lèi)型的問(wèn)題的方法/工具。以下是對(duì)這三種模式的開(kāi)發(fā)的討論。出于討論的目的，考慮以下三個(gè)示例問(wèn)題類(lèi)型：示例1：用戶(hù)輸入：what’sonmycalendartomorrow？(明天我的日歷上有什么？)系統(tǒng)解析：intent＝readcalendarentity.relativedatetext＝“tomorrow”entity.relativedate＝+1函數(shù)調(diào)用：calendar.readcalendar(relativedate＝+1)計(jì)算機(jī)響應(yīng)：youhaveoneappointmenttomorrow,at11am,withfrank,titled“reviewstatusreport”(你明天上午11點(diǎn)有與frank的約會(huì)，名稱(chēng)是“檢查狀態(tài)報(bào)告”)示例2：用戶(hù)輸入：whodirectedthematrix？(誰(shuí)導(dǎo)演了matrix)系統(tǒng)解析：intent＝whodirected,entity.moviename＝”thematrix”,entity.movieid＝movie249182函數(shù)調(diào)用：movies.whodirected(movieid＝movie249182)計(jì)算機(jī)響應(yīng)：andywachowskiandlanawachowskidirectedthematrix(andywachowski和lanawachowski導(dǎo)演了matrix)示例3：用戶(hù)輸入：i’mstartingmynextrep–160poundsbenchpress(我正開(kāi)始我的下一項(xiàng)-160磅的臥推)系統(tǒng)解析：intent＝startexercise,entity.exercisetype＝”benchpress”entity.weight＝”160pounds”functioncall:fitnesstracker.startexercise(exercisetype＝”benchpress”,weight＝”160pounds”)計(jì)算機(jī)響應(yīng)：rogerthat–benching160pounds,startingnow(知道了-臥推160磅，現(xiàn)在開(kāi)始)如上所述，在有效開(kāi)發(fā)用于將這樣的用戶(hù)輸入轉(zhuǎn)換為可以被標(biāo)記為可被接收應(yīng)用所理解的用戶(hù)意圖和實(shí)體的單詞的模型中存在困難。這之所以困難是因?yàn)樽匀蝗祟?lèi)語(yǔ)言的變異性和模糊性。例如，如“whodirected<movie>？(誰(shuí)導(dǎo)演了<電影>？)”的問(wèn)題可能被表達(dá)為“whowasthedirectorof<movie>？(誰(shuí)是<電影>的導(dǎo)演)”或“<movie>directorplease(<電影>的導(dǎo)演)”。諸如“l(fā)ookfortheworddirector(尋找單詞導(dǎo)演)”的書(shū)寫(xiě)規(guī)則是不夠的。例如，該示例規(guī)則將被“whatmoviesarebythedirector<director>？(哪些電影是由導(dǎo)演<導(dǎo)演>所導(dǎo)演的)”錯(cuò)誤觸發(fā)，原因在于所產(chǎn)生的函數(shù)調(diào)用可能會(huì)返回電影標(biāo)題而不是導(dǎo)演姓名。因此，本文所描述的模型221、226、231基于對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練的統(tǒng)計(jì)模型而開(kāi)發(fā)，并且這些模型識(shí)別從話(huà)語(yǔ)所導(dǎo)出的意圖和實(shí)體而且可以應(yīng)對(duì)自然語(yǔ)言的變異性。根據(jù)一個(gè)方面，期望開(kāi)發(fā)模型以處理新的類(lèi)型的問(wèn)題的開(kāi)發(fā)方以針對(duì)他們希望他們的對(duì)話(huà)系統(tǒng)回答新的類(lèi)型的問(wèn)題(如“whodirected<movie>？(誰(shuí)導(dǎo)演了<電影>？)”)的想法開(kāi)始該過(guò)程。如上所述，為了回答新問(wèn)題，開(kāi)發(fā)方需要?jiǎng)?chuàng)建以下三種類(lèi)型的模型：1)針對(duì)該問(wèn)題類(lèi)型的意圖檢測(cè)器模型221。例如，在建立“whodirected(誰(shuí)導(dǎo)演)”的意圖時(shí)，該檢測(cè)器應(yīng)該觸發(fā)一個(gè)像“whowasthedirectorof2001？(誰(shuí)是2001的導(dǎo)演？)”的問(wèn)題，而不是像“whatmoviesarebythedirectorstanleykubrick？(哪些電影是導(dǎo)演stanleykubrick所導(dǎo)演的)”這樣的問(wèn)題。2)實(shí)體提取模型226(零個(gè)或更多)。實(shí)體提取器模型標(biāo)識(shí)包含某種類(lèi)型實(shí)體的字符串的區(qū)域。例如，電影的實(shí)體提取器會(huì)在字符串“whowasthedirectorof2001？(誰(shuí)是2001的導(dǎo)演？)”中選擇字符串“2001”。人名的實(shí)體提取器不會(huì)從此輸入中提取任何字符串。3)實(shí)體解析模型231(零個(gè)或更多)。某些類(lèi)型的實(shí)體僅作為字符串存在，例如會(huì)議主題或文本消息的內(nèi)容。然而，許多實(shí)體則需要被解析為規(guī)范形式，例如，針對(duì)月中某日的整數(shù)；電影數(shù)據(jù)庫(kù)中的id；或者機(jī)場(chǎng)的三字母代碼。對(duì)于這些類(lèi)型的實(shí)體，實(shí)體解析模型231從如movietext＝“2001”的所提取實(shí)體字符串到如movieid＝726351的id或者dayofmonthtext-“third”到dayofmonthint＝3的映射。這是利用實(shí)體解析模型來(lái)完成。對(duì)數(shù)據(jù)訓(xùn)練所有這些模型。在部署新功能之前，該數(shù)據(jù)可能來(lái)自?xún)蓚€(gè)來(lái)源。首先，在大型對(duì)話(huà)系統(tǒng)中，可能有數(shù)百萬(wàn)個(gè)來(lái)自真實(shí)用戶(hù)的可用話(huà)語(yǔ)。由于用戶(hù)并不了解系統(tǒng)的限制，所以有些用戶(hù)會(huì)表達(dá)出尚未被實(shí)施的意圖。這樣的話(huà)語(yǔ)能夠被用于訓(xùn)練模型。第二個(gè)數(shù)據(jù)源是新功能的開(kāi)發(fā)方所提供的示例。例如，用于提供出租車(chē)服務(wù)功能的開(kāi)發(fā)方可以向系統(tǒng)提供如“canyougetmeataxi？(你可以給我安排輛出租車(chē)嗎)”的話(huà)語(yǔ)。這些示例將是有效的(因?yàn)殚_(kāi)發(fā)方理解它們的域)，但是可能由于難以想象在系統(tǒng)操作時(shí)其它人會(huì)如何表達(dá)意圖而是不完整的。在新功能部署之后，真實(shí)的使用示例將會(huì)被觀察并且能夠用作訓(xùn)練數(shù)據(jù)來(lái)改進(jìn)該方法。如以上簡(jiǎn)要描述的，根據(jù)示例，可以使用單一模型方法/工具來(lái)執(zhí)行模型221、226和231的開(kāi)發(fā)，這使得開(kāi)發(fā)人員能夠隔離地構(gòu)建上述三個(gè)模型中的每一個(gè)，并且使用使得開(kāi)發(fā)方能夠同時(shí)查看和改進(jìn)流水線(xiàn)中的所有模型的流水線(xiàn)方法/工具。以下是對(duì)構(gòu)建這三種模式的兩種方法的討論。單一模型工具被用于評(píng)估或改進(jìn)用于意圖檢測(cè)、實(shí)體提取或?qū)嶓w解析的個(gè)體模型。這些都是檢查話(huà)語(yǔ)的特征(諸如存在哪些單詞或短語(yǔ)、話(huà)語(yǔ)的長(zhǎng)度、或者諸如用戶(hù)的位置的其它特征)的統(tǒng)計(jì)模型。這些模型對(duì)意圖的肯定和否定的已標(biāo)簽的示例進(jìn)行訓(xùn)練。根據(jù)示例，在數(shù)百萬(wàn)個(gè)話(huà)語(yǔ)的語(yǔ)料庫(kù)中，非常小的一部分將是肯定的。例如，有0.1％的話(huà)語(yǔ)可能處于“whodirected<movie>(誰(shuí)導(dǎo)演了<電影>)”的類(lèi)別之中。為了應(yīng)對(duì)這個(gè)挑戰(zhàn)，可以采用交互式學(xué)習(xí)方法。根據(jù)一個(gè)方面，交互式學(xué)習(xí)是一種迭代過(guò)程。作為開(kāi)始，手動(dòng)輸入幾個(gè)“種子”示例的肯定和否定示例。這些種子查詢(xún)來(lái)自開(kāi)發(fā)方，并且可以使用自動(dòng)釋義和/或翻譯方法進(jìn)行擴(kuò)展。種子標(biāo)簽被用來(lái)構(gòu)建模型，并且隨后該模型被用來(lái)從大型語(yǔ)料庫(kù)中選擇哪些未標(biāo)記示例要進(jìn)行標(biāo)記。新標(biāo)簽被用來(lái)重新訓(xùn)練該模型，并且重復(fù)該過(guò)程。不同于隨機(jī)選擇新的話(huà)語(yǔ)進(jìn)行標(biāo)記，該模型可以識(shí)別出最引起混淆的話(huà)語(yǔ)。這大大減少了所要標(biāo)記的話(huà)語(yǔ)數(shù)量，從而減少了構(gòu)建模型所需的時(shí)間。因此，大幅提高了系統(tǒng)/裝置205的效率，并且大幅降低了處理時(shí)間和存儲(chǔ)器消耗。除了選擇要標(biāo)記的實(shí)例之外，進(jìn)行中的模型還可以自動(dòng)為新實(shí)例提出標(biāo)簽。這樣可以節(jié)省更多的時(shí)間，因?yàn)樵S多預(yù)測(cè)都將是正確的，從而開(kāi)發(fā)方只需要更正模型錯(cuò)誤。進(jìn)行中的模型提出標(biāo)簽的另一個(gè)好處是它向開(kāi)發(fā)方給出了當(dāng)前模型的性能指示?，F(xiàn)在參考圖3，根據(jù)一個(gè)示例，使用交互式分類(lèi)和提取(ice)系統(tǒng)來(lái)輔助意圖檢測(cè)模型221、實(shí)體提取模型226和實(shí)體解析模型231的自動(dòng)開(kāi)發(fā)。在圖3中圖示出了用戶(hù)界面300，開(kāi)發(fā)方可以利用該界面與ice系統(tǒng)進(jìn)行交互。名稱(chēng)字段310允許輸入模型。圖3所示的示例涉及到針對(duì)如圖1所示的意圖“turnon(打開(kāi))”而開(kāi)發(fā)用戶(hù)意圖檢測(cè)模型221。描述字段320允許輸入對(duì)將會(huì)感興趣的各種話(huà)語(yǔ)中包含的短語(yǔ)的類(lèi)型的描述，并且微調(diào)字段215允許開(kāi)發(fā)方調(diào)整檢查范圍。在內(nèi)容字段330中，提供了響應(yīng)于描述而在各種話(huà)語(yǔ)中找到的短語(yǔ)和單詞?，F(xiàn)在參考圖4，作為在對(duì)話(huà)系統(tǒng)中應(yīng)用交互式學(xué)習(xí)來(lái)構(gòu)建語(yǔ)言理解模型的測(cè)試，考慮以下測(cè)試示例。出于測(cè)試的目的，分析了從用戶(hù)所接收的被輸入到對(duì)話(huà)系統(tǒng)的2500萬(wàn)個(gè)原始話(huà)語(yǔ)。對(duì)于鍵入的話(huà)語(yǔ)，日志包含所輸入文本，而對(duì)于口頭話(huà)語(yǔ)，日志則包含(并且可能是錯(cuò)誤的)自動(dòng)語(yǔ)音識(shí)別器215的輸出?？赡馨瑐€(gè)人或識(shí)別信息的話(huà)語(yǔ)已被排除。隨后采用ice系統(tǒng)來(lái)如下構(gòu)建電影域中的三個(gè)意圖檢測(cè)器221、405：1)moviesdirectedby(所導(dǎo)演的電影)：用戶(hù)請(qǐng)求找出所命名的人執(zhí)導(dǎo)的所有電影，例如“whatmoviesdidstanleykubrickdirect？(stanleykubrick導(dǎo)演了哪些電影？)”；2)whodirected(誰(shuí)導(dǎo)演了)：用戶(hù)請(qǐng)求所命名電影的導(dǎo)演的姓名，例如“whodirectedthematrix？(誰(shuí)導(dǎo)演了matrix)”；3)movieruntime(電影運(yùn)行時(shí)間)：用戶(hù)請(qǐng)求所命名電影的持續(xù)時(shí)間，例如“howlongisgonewiththewind？(隨風(fēng)而散有多長(zhǎng)時(shí)間)”。在測(cè)試期間，開(kāi)發(fā)人員加入了許多一般的n-gram功能，如“director(導(dǎo)演)”、“movie(電影)”和“whodirected(誰(shuí)導(dǎo)演了)”這樣的具體n-gram，還有包含流行電影標(biāo)題數(shù)據(jù)庫(kù)中的所有電影名稱(chēng)的類(lèi)。圖4中圖示了所耗費(fèi)的工作量410(以分鐘為單位)以及所產(chǎn)生的意圖標(biāo)簽415的數(shù)量。例如，對(duì)于movieruntime(電影運(yùn)行時(shí)間)意圖模型，標(biāo)記600個(gè)話(huà)語(yǔ)需要90分鐘。參考圖5，圖形510示出了每個(gè)話(huà)語(yǔ)的臨界時(shí)間急劇下降，其中前100個(gè)話(huà)語(yǔ)需要28分鐘而最后100個(gè)話(huà)語(yǔ)則需要9分鐘。這說(shuō)明了交互式學(xué)習(xí)的好處。也就是說(shuō)，在標(biāo)記項(xiàng)目的過(guò)程的早期，開(kāi)發(fā)方正在手動(dòng)搜索要標(biāo)記的話(huà)語(yǔ)，而模型則無(wú)法建議標(biāo)簽，這導(dǎo)致需要更多的特征工程。另一方面，對(duì)于標(biāo)記項(xiàng)目的過(guò)程的后期，該模型能夠被用于選擇要標(biāo)記的話(huà)語(yǔ)并且能夠提出準(zhǔn)確的標(biāo)簽。因此，特征是穩(wěn)定的從而需要很少的特征工程。圖形520示出了與跨連續(xù)更大數(shù)量的話(huà)語(yǔ)來(lái)標(biāo)記大量數(shù)量話(huà)語(yǔ)相關(guān)聯(lián)的累積時(shí)間。繼續(xù)該測(cè)試示例的討論，所有三個(gè)意圖檢測(cè)器的性能接下來(lái)對(duì)留存數(shù)據(jù)執(zhí)行。為了評(píng)估模型的精度，模型對(duì)隨機(jī)排名的未知話(huà)語(yǔ)來(lái)運(yùn)行。前150個(gè)得分高于閾值的話(huà)語(yǔ)被手工標(biāo)記。針對(duì)三個(gè)意圖模型得出了范圍從81％到93％的精度。留存測(cè)試集合排除了出現(xiàn)在訓(xùn)練集合中的話(huà)語(yǔ)，而在實(shí)際部署中，訓(xùn)練集合中的話(huà)語(yǔ)可能會(huì)再次出現(xiàn)。因此，這些是可能低估性能的保守估計(jì)。手動(dòng)檢查movieruntime(電影運(yùn)行時(shí)間)意圖模型的假陽(yáng)性。錯(cuò)誤的主要原因是n-gram“howlongis(多長(zhǎng)時(shí)間)”指代許多類(lèi)型的查詢(xún)，并且英文中的許多單詞都是電影的標(biāo)題，這使得一些實(shí)例難以進(jìn)行分類(lèi)。例如，在話(huà)語(yǔ)“howlongisburgerkingopen(burgerking開(kāi)多長(zhǎng)時(shí)間)”的話(huà)語(yǔ)中，“burger”和“king”這兩個(gè)單詞都在電影標(biāo)題中被發(fā)現(xiàn)，但是“burgerking”在這種情況下卻與電影無(wú)關(guān)。如下所述處理這種假陽(yáng)性結(jié)果是使用第二種方法/工具時(shí)所要考慮的，其中可以在端到端操作中被在線(xiàn)更正。根據(jù)示例，在初步的個(gè)體模型已經(jīng)被創(chuàng)建之后，如下所述開(kāi)發(fā)方可以使用端到端流水線(xiàn)工具來(lái)教導(dǎo)和改進(jìn)模型的性能。標(biāo)簽和更正的端到端交互允許開(kāi)發(fā)方按照它們將被用戶(hù)所體驗(yàn)的方式查看和調(diào)試交互。也就是說(shuō)，開(kāi)發(fā)方可以基于對(duì)用戶(hù)的響應(yīng)來(lái)決定流水線(xiàn)中多個(gè)階段的中間標(biāo)簽。流水線(xiàn)206允許針對(duì)話(huà)語(yǔ)所完成的端到端處理的可視化。如果開(kāi)發(fā)方看到流水線(xiàn)中的任何錯(cuò)誤，開(kāi)發(fā)方就能夠糾正任何處理階段的輸出，并且流水線(xiàn)的剩余部分立即使用這些更正作為修正輸入重新運(yùn)行。一旦整個(gè)流水線(xiàn)都被檢查并且在流水線(xiàn)末端輸出了正確的答案，開(kāi)發(fā)方就可以保存標(biāo)簽，這存儲(chǔ)該流水線(xiàn)的每個(gè)組件的標(biāo)簽。如同利用針對(duì)個(gè)體模型的工具，話(huà)語(yǔ)能夠來(lái)自于兩個(gè)來(lái)源。首先，開(kāi)發(fā)人員可以手動(dòng)輸入話(huà)語(yǔ)。當(dāng)感興趣的話(huà)語(yǔ)(尚且)沒(méi)有出現(xiàn)在日志210中時(shí)，這是有用的。其次，話(huà)語(yǔ)能夠從日志中采樣，例如來(lái)自給定的感興趣對(duì)話(huà)系統(tǒng)的所有話(huà)語(yǔ)。這示出了流水線(xiàn)將如何對(duì)真實(shí)話(huà)語(yǔ)作出響應(yīng)。該采樣可以是隨機(jī)的或者可以基于上文參照?qǐng)D3所描述的交互式學(xué)習(xí)。例如，通過(guò)對(duì)流水線(xiàn)針對(duì)其產(chǎn)生高置信度響應(yīng)的話(huà)語(yǔ)進(jìn)行采樣，開(kāi)發(fā)方可以檢查假陽(yáng)性。或者，通過(guò)對(duì)流水線(xiàn)高度不確定的話(huà)語(yǔ)進(jìn)行采樣，開(kāi)發(fā)方可以提供標(biāo)簽以減少模型的不確定性。圖6中圖示了用于與端到端流水線(xiàn)系統(tǒng)206進(jìn)行交互的用戶(hù)界面600。在左上方，開(kāi)發(fā)方將話(huà)語(yǔ)鍵入查詢(xún)字段605。該話(huà)語(yǔ)隨后被所有可用意圖檢測(cè)器(根據(jù)當(dāng)前的電影領(lǐng)域示例為三個(gè))進(jìn)行評(píng)分(參見(jiàn)字段610中的分?jǐn)?shù))，并且意圖模型在字段610中被選擇。隨后，系統(tǒng)206使用相對(duì)應(yīng)的實(shí)體模型226執(zhí)行實(shí)體識(shí)別，并且結(jié)果被顯示在字段625中。從字段625可以看出，實(shí)體從所輸入查詢(xún)中提取并且與之相關(guān)聯(lián)。參考字段630，實(shí)體解析模型提供了“infivedays(五天后)”到規(guī)范表示形式2014-08-25的規(guī)范轉(zhuǎn)換。隨后在字段615中生成并顯示函數(shù)調(diào)用。如果該函數(shù)調(diào)用被運(yùn)行，則生成響應(yīng)并且在字段620中顯示響應(yīng)。如果所生成的標(biāo)簽產(chǎn)生正確響應(yīng)，則開(kāi)發(fā)方可以保存標(biāo)簽640，或者如果該標(biāo)簽并未產(chǎn)生正確響應(yīng)，則開(kāi)發(fā)方可以對(duì)意圖或?qū)嶓w進(jìn)行更正(例如，選擇系統(tǒng)所提供的不同意圖和實(shí)體)，并且使得系統(tǒng)206利用更正后的輸入重新運(yùn)行以重新訓(xùn)練模型645。如果開(kāi)發(fā)方對(duì)給定話(huà)語(yǔ)的給定標(biāo)簽和響應(yīng)滿(mǎn)意，則可以將標(biāo)簽提交到ice系統(tǒng)650。端到端系統(tǒng)206的關(guān)鍵好處在于其在標(biāo)記速度方面產(chǎn)生了大幅加速。這就是說(shuō)，開(kāi)發(fā)方所檢查/標(biāo)記的每個(gè)話(huà)語(yǔ)都會(huì)針對(duì)所有組件模型產(chǎn)生標(biāo)簽，其中為所有所選擇意圖和實(shí)體自動(dòng)選擇“肯定”標(biāo)簽，并且為所有未被選擇的意圖和實(shí)體自動(dòng)選擇“否定”標(biāo)簽。因此，標(biāo)記單個(gè)話(huà)語(yǔ)能夠產(chǎn)生10個(gè)或甚至100個(gè)標(biāo)簽，并且標(biāo)記單個(gè)話(huà)語(yǔ)經(jīng)常非?？焖俚赝瓿桑@是因?yàn)殚_(kāi)發(fā)方在流水線(xiàn)尾端被顯示以答案，這允許在無(wú)需檢查整個(gè)流水線(xiàn)的內(nèi)容的情況下做出有關(guān)整個(gè)流水線(xiàn)是否處于正確配置的決策。例如，假設(shè)“whodirectedstarwars？(誰(shuí)導(dǎo)演了starwars)”從日志210被采樣。該模型將此解答為“georgelucas”，開(kāi)發(fā)方立即知道確實(shí)如此，因此開(kāi)發(fā)方點(diǎn)擊“correct(正確)”并繼續(xù)下一個(gè)話(huà)語(yǔ)。在這種情況下，標(biāo)記該話(huà)語(yǔ)所需的時(shí)間是3秒。現(xiàn)在，考慮到產(chǎn)生該答案的流水線(xiàn)206包含30個(gè)模型(10個(gè)意圖檢測(cè)模型221，10個(gè)實(shí)體提取模型226，以及10個(gè)實(shí)體解析模型231)。開(kāi)發(fā)方的行動(dòng)針對(duì)所有模型產(chǎn)生標(biāo)簽。因此，開(kāi)發(fā)方在3秒內(nèi)提供了30個(gè)標(biāo)簽，每0.1秒1個(gè)標(biāo)簽。如果模型在不使用端到端流水線(xiàn)處理系統(tǒng)206的情況下被單獨(dú)標(biāo)記，則這種速度是不可能的。端到端流水線(xiàn)的另一個(gè)好處在于，開(kāi)發(fā)方被展現(xiàn)以實(shí)際用戶(hù)體驗(yàn)而不是中間處理。這有助于發(fā)現(xiàn)在單獨(dú)利用模型工作時(shí)無(wú)法檢測(cè)到的系統(tǒng)缺陷?？紤]以下測(cè)試示例。在該測(cè)試中，執(zhí)行分析以確定是否可能使用端對(duì)端系統(tǒng)/工具206來(lái)改進(jìn)單個(gè)意圖模型。使用具有以下2個(gè)意圖的工作日歷對(duì)話(huà)系統(tǒng)：readfromcal和writetocal。如上參考圖3所述(并不在端到端工具中)，在ice工具中開(kāi)發(fā)了新的二進(jìn)制意圖檢測(cè)器deletefromcal。如圖7所示，開(kāi)發(fā)方在60分鐘內(nèi)標(biāo)記了470個(gè)實(shí)例。在使用決策閾值0.5的300萬(wàn)個(gè)留存話(huà)語(yǔ)的測(cè)試集上，該模型檢索到114個(gè)話(huà)語(yǔ)，其中的88％是正確的，其精度為88％。接下來(lái)，開(kāi)發(fā)方使用了具有三個(gè)意圖檢測(cè)模型readfromcal、writetocal和deletefromcal以及兩個(gè)實(shí)體提取模型的端到端系統(tǒng)/工具206。開(kāi)發(fā)方在30分鐘內(nèi)檢查了33個(gè)話(huà)語(yǔ)，并且所收集到的標(biāo)簽被用來(lái)更新所有意圖和實(shí)體模型(包括deletefromcal意圖模型)。deletefromcal的更新模型在與上述基線(xiàn)模型所使用的相的數(shù)據(jù)上運(yùn)行，并且閾值被調(diào)節(jié)而使得其達(dá)到與隔離開(kāi)發(fā)的基線(xiàn)模型相同的精度(88％)。以該精度，新模型檢索到134個(gè)句子，這與基線(xiàn)模型相比增加了18％，這在使用mcnemar測(cè)試的p＝0.004時(shí)具有統(tǒng)計(jì)學(xué)意義。該測(cè)試分析顯示，模型的召回的固定精度有所增加，這進(jìn)而意味著f量度有所增大。圖8圖示了用于允許用戶(hù)與圖2所示的系統(tǒng)和設(shè)備進(jìn)行交互以訓(xùn)練和/或改善該系統(tǒng)或設(shè)備的輸出的支持計(jì)算機(jī)的用戶(hù)界面。參考圖8，圖示了對(duì)開(kāi)發(fā)方有用的附加輸出。在用戶(hù)界面800中，在字段810中提供了來(lái)自所使用數(shù)據(jù)源的原始結(jié)果(多行)的可排序列表。在字段815中，圖示了可以被選擇以在響應(yīng)于函數(shù)調(diào)用所生成的響應(yīng)中使用的自然語(yǔ)言模板的列表。開(kāi)發(fā)方可以使用函數(shù)820在線(xiàn)添加新的模板。在字段830中，圖示了被填充以由函數(shù)調(diào)用和應(yīng)用執(zhí)行所產(chǎn)生的適當(dāng)術(shù)語(yǔ)的自然語(yǔ)言響應(yīng)。因此，通過(guò)該用戶(hù)界面，開(kāi)發(fā)方可以通過(guò)針對(duì)所選擇的意圖和實(shí)體模型選擇并保存某些響應(yīng)模板來(lái)訓(xùn)練該系統(tǒng)的輸出。如上參考圖2所述，語(yǔ)言理解系統(tǒng)205可以作為獨(dú)立系統(tǒng)操作，或者可以作為可以由開(kāi)發(fā)方經(jīng)由諸如互聯(lián)網(wǎng)的分布式計(jì)算系統(tǒng)進(jìn)行訪(fǎng)問(wèn)的基于云的系統(tǒng)來(lái)操作。現(xiàn)在參考圖9，圖示并描述了用于語(yǔ)言理解系統(tǒng)205的基于云的平臺(tái)900。根據(jù)示例，提供了用于表示與現(xiàn)有語(yǔ)音命令定義(vcd)文件相兼容的語(yǔ)言理解任務(wù)的簡(jiǎn)單模式940。vcd運(yùn)行時(shí)環(huán)境可以被擴(kuò)展以處理如上所述的ice模型。經(jīng)由互聯(lián)網(wǎng)290、915或者諸如內(nèi)聯(lián)網(wǎng)之類(lèi)的其它分布式計(jì)算環(huán)境，第三方訪(fǎng)問(wèn)940能夠經(jīng)由基于web的接口而被ice工具啟用。在基于云的實(shí)施方式中，云服務(wù)930被建立并且所開(kāi)發(fā)的意圖、實(shí)體提取和/或解析模型在其中運(yùn)行。話(huà)語(yǔ)日志/存儲(chǔ)210、905被保存在基于云的系統(tǒng)。如以上所描述的經(jīng)由基于web的界面而由遠(yuǎn)程開(kāi)發(fā)方運(yùn)行模型并且針對(duì)模型執(zhí)行交互式學(xué)習(xí)。在ice工具中，話(huà)語(yǔ)能夠被理解更正?？梢詮耐ㄓ迷?huà)音輸入日志210、905定期輸入910話(huà)語(yǔ)。在ice工具中，可以添加用戶(hù)界面以用于接收針對(duì)來(lái)自不同計(jì)算系統(tǒng)和開(kāi)發(fā)方的包含多個(gè)模型的話(huà)語(yǔ)的標(biāo)簽。上文已經(jīng)關(guān)于圖1至9作為示例描述了示例性操作環(huán)境。圖10是圖示根據(jù)示例的用于生成語(yǔ)言理解模型的方法的流程圖。方法1000從開(kāi)始操作1005開(kāi)始并且進(jìn)行到操作1010，其中未標(biāo)記數(shù)據(jù)的語(yǔ)料庫(kù)作為鍵入-手寫(xiě)數(shù)據(jù)或話(huà)音而被收集，并且如上文參考圖2和9所述被存儲(chǔ)在數(shù)據(jù)庫(kù)210、905中。在操作1015，意圖模塊220、實(shí)體提取模塊225和實(shí)體解析模塊230被用于構(gòu)建一個(gè)或多個(gè)意圖模型221、實(shí)體提取模型226和實(shí)體解析模型231，以針對(duì)該模型開(kāi)始交互式學(xué)習(xí)的過(guò)程以最終用于生成函數(shù)調(diào)用從而傳遞到接收應(yīng)用。在該操作中，每個(gè)模型可以利用有關(guān)從所接收輸入提取的初始標(biāo)記單詞或短語(yǔ)的初始建模而被單獨(dú)構(gòu)建。備選地，該模型可以使用端到端流水線(xiàn)處理206而被一起構(gòu)建。在操作1020，模型221、226、231經(jīng)過(guò)如上所述的端到端交互式學(xué)習(xí)過(guò)程206，以迭代且交互式地改進(jìn)每個(gè)所生成模型的操作性能。在操作1025，如上文所述參考圖2和6所述，第一個(gè)感興趣話(huà)語(yǔ)按照要求相對(duì)于意圖檢測(cè)模型、實(shí)體提取模型和實(shí)體解析模型中的每一個(gè)進(jìn)行測(cè)試，以開(kāi)始該交互式學(xué)習(xí)過(guò)程。根據(jù)一個(gè)方面，選擇感興趣的話(huà)語(yǔ)可以是模型的開(kāi)發(fā)方選擇以開(kāi)始該過(guò)程的任何話(huà)語(yǔ)。例如，一種感興趣的話(huà)語(yǔ)可能是在數(shù)據(jù)庫(kù)(日志)210、905所接收的來(lái)自真實(shí)人物的話(huà)語(yǔ)，其之前并未被生成過(guò)標(biāo)簽或者在它們當(dāng)前操作性能狀態(tài)下并未針對(duì)其從模型預(yù)計(jì)標(biāo)簽。可以將話(huà)語(yǔ)視為感興趣話(huà)語(yǔ)的另一個(gè)原因可能包括已知其在目前未被標(biāo)記，但是已知會(huì)與期望在不久的將來(lái)添加到對(duì)話(huà)系統(tǒng)的功能相關(guān)聯(lián)的話(huà)語(yǔ)。應(yīng)當(dāng)理解，用作針對(duì)正在開(kāi)發(fā)的模型221、226、231的交互式學(xué)習(xí)過(guò)程的一部分的感興趣話(huà)語(yǔ)可以根據(jù)生成模型的開(kāi)發(fā)方所期望的各種原因來(lái)選擇。在操作1030，如上所述，由處理流水線(xiàn)206對(duì)第一個(gè)輸入的感興趣話(huà)語(yǔ)進(jìn)行處理，并且處理結(jié)果可以跟據(jù)用戶(hù)界面600被提供給開(kāi)發(fā)方。在操作1035，響應(yīng)于針對(duì)所輸入的感興趣話(huà)語(yǔ)的處理輸出，開(kāi)發(fā)方可以做出更正。在操作1040，在進(jìn)行了用于處理錯(cuò)誤的更正之后，針對(duì)從所輸入的感興趣話(huà)語(yǔ)中提取的實(shí)體的標(biāo)簽被生成，并且針對(duì)所確定的用戶(hù)意圖以及針對(duì)從經(jīng)處理的感興趣話(huà)語(yǔ)所確定的實(shí)體而被保存。例如，返回參考圖1，針對(duì)話(huà)語(yǔ)“turnontheoutsidelights(打開(kāi)外面的燈)”，針對(duì)意圖檢測(cè)模型221，可以為該話(huà)語(yǔ)保存標(biāo)簽“turnon(打開(kāi))”140，并且針對(duì)從短語(yǔ)所提取的實(shí)體則可以保持實(shí)體“outsidelights(外面的燈)”145。如上所述，操作1025至1045之間的過(guò)程可以隨后續(xù)感興趣話(huà)語(yǔ)迭代地重復(fù)進(jìn)行，直到所生成的意圖檢測(cè)模塊221、實(shí)體提取模塊226和實(shí)體解析模塊231達(dá)到統(tǒng)計(jì)上可接受的操作性能。在操作1050，所生成并交互式改進(jìn)的模型221、226、231可以被放置到生產(chǎn)1055中，并且當(dāng)生產(chǎn)數(shù)據(jù)被模型221、226、231所接收并處理時(shí)，所接收的數(shù)據(jù)可以返回通過(guò)操作1025至1040，以進(jìn)一步教導(dǎo)模型221、226、231從而繼續(xù)改善其性能。一旦模型221、226、231以在統(tǒng)計(jì)上可接受的性能水平執(zhí)行，則來(lái)自每個(gè)模型的輸出就可以被用于構(gòu)建函數(shù)調(diào)用，以傳遞給應(yīng)用從而執(zhí)行如本文所述的所期望功能。方法1000在操作1095結(jié)束。雖然已經(jīng)在結(jié)合在計(jì)算機(jī)上的操作系統(tǒng)上運(yùn)行的應(yīng)用一起執(zhí)行的程序模塊的總體環(huán)境中描述了示例，但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，該示例還可以結(jié)合其它程序模塊來(lái)實(shí)施。通常，程序模塊包括執(zhí)行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類(lèi)型的例程、程序、組件、數(shù)據(jù)結(jié)構(gòu)和其它類(lèi)型的結(jié)構(gòu)。本文所描述的實(shí)施例和功能可以經(jīng)由多種計(jì)算系統(tǒng)進(jìn)行操作，包括但并不局限于臺(tái)式計(jì)算機(jī)系統(tǒng)、有線(xiàn)和無(wú)線(xiàn)計(jì)算系統(tǒng)、移動(dòng)計(jì)算系統(tǒng)(如移動(dòng)電話(huà)、上網(wǎng)本、圖形輸入板或平板型計(jì)算機(jī)、筆記本計(jì)算機(jī)和膝上型計(jì)算機(jī))、手持設(shè)備、多處理器系統(tǒng)、基于微處理器，或者可編程消費(fèi)電子產(chǎn)品、小型計(jì)算機(jī)和大型計(jì)算機(jī)。此外，本文所描述的方面和功能可以在分布式系統(tǒng)(例如，基于云的計(jì)算系統(tǒng))上進(jìn)行操作，其中應(yīng)用功能、存儲(chǔ)器、數(shù)據(jù)存儲(chǔ)和檢索，以及各種處理功能可以通過(guò)諸如互聯(lián)網(wǎng)或內(nèi)聯(lián)網(wǎng)之類(lèi)的分布式計(jì)算網(wǎng)絡(luò)彼此遠(yuǎn)程操作。各種類(lèi)型的用戶(hù)界面和信息可以經(jīng)由板載計(jì)算設(shè)備顯示器或者經(jīng)由與一個(gè)或多個(gè)計(jì)算設(shè)備相關(guān)聯(lián)的遠(yuǎn)程顯示單元被顯示。例如，各種類(lèi)型的用戶(hù)界面和信可以在各種類(lèi)型的用戶(hù)界面和信息被投射于其上的墻壁表面上進(jìn)行顯示和交互。與本發(fā)明實(shí)施例可以利用其進(jìn)行實(shí)踐的許多計(jì)算系統(tǒng)的交互包括鍵擊輸入、觸摸屏輸入、語(yǔ)音或其它音頻輸入、手勢(shì)輸入(其中相關(guān)聯(lián)的計(jì)算設(shè)備配備有用于捕獲和解釋用于控制計(jì)算設(shè)備的功能的用戶(hù)手勢(shì)的檢測(cè)(如相機(jī))功能)，等等。圖11-13以及相關(guān)聯(lián)的描述提供了其中可實(shí)施本發(fā)明的各實(shí)施例的各種操作環(huán)境的討論。然而，關(guān)于11-13所圖示和討論的設(shè)備和系統(tǒng)是用于示例和說(shuō)明的目的，而非對(duì)可被用于實(shí)施本文所述的本發(fā)明的各實(shí)施例的大量計(jì)算設(shè)備配置的限制。圖11是圖示可以利用其來(lái)實(shí)踐多個(gè)示例的計(jì)算設(shè)備205、1100的物理組件(即，硬件)的框圖。下面描述的計(jì)算設(shè)備組件可適用于以上參考圖1-9所描述的客戶(hù)端設(shè)備或系統(tǒng)205、275、280以及系統(tǒng)900的計(jì)算組件。在基本配置中，計(jì)算設(shè)備或系統(tǒng)205、275、280、900、1100可以包括至少一個(gè)處理單元1102、255和系統(tǒng)存儲(chǔ)器1104、260。取決于計(jì)算設(shè)備的配置和類(lèi)型，系統(tǒng)存儲(chǔ)器1104、260可以包括但并不局限于易失性存儲(chǔ)(例如，隨機(jī)存取存儲(chǔ)器)、非易失性存儲(chǔ)(例如，只讀存儲(chǔ)器)、閃存，或者這些存儲(chǔ)器的任何組合。系統(tǒng)存儲(chǔ)器1104可以包括操作系統(tǒng)1105和適用于運(yùn)行各種應(yīng)用1150的一個(gè)或多個(gè)程序模塊1106。操作系統(tǒng)1105例如可適用于控制計(jì)算設(shè)備或系統(tǒng)205、275、280、900、1100的操作。此外，本發(fā)明的實(shí)施例可結(jié)合圖形庫(kù)、其它操作系統(tǒng)或任何其它應(yīng)用來(lái)實(shí)踐，而并不局限于任何特定應(yīng)用或系統(tǒng)。該基本配置在圖11中由虛線(xiàn)1108內(nèi)的那些組件示出。計(jì)算設(shè)備或系統(tǒng)205、275、280、900、1100可以具有附加特征或功能。例如，計(jì)算設(shè)備或系統(tǒng)205、275、280、900、1100還可以包括諸如例如磁盤(pán)、光盤(pán)或磁帶之類(lèi)的附加數(shù)據(jù)存儲(chǔ)設(shè)備(可移動(dòng)的和/或不可移動(dòng)的)。這些附加存儲(chǔ)在圖11中由可移動(dòng)存儲(chǔ)設(shè)備1109和不可移動(dòng)存儲(chǔ)設(shè)備1110所示出。如上所述，在系統(tǒng)存儲(chǔ)器1104中可以存儲(chǔ)多個(gè)程序模塊(包括語(yǔ)言理解系統(tǒng)或設(shè)備205以及模塊206、220、225、230)和數(shù)據(jù)文件。在處理單元1102上執(zhí)行的同時(shí)，程序模塊1106可以執(zhí)行包括但并不限于圖10中所圖示的方法100的一個(gè)或多個(gè)階段的過(guò)程?？梢砸罁?jù)示例所使用的其它程序模塊可以包括多個(gè)應(yīng)用，諸如電子郵件和聯(lián)系人應(yīng)用、單詞處理應(yīng)用、電子表格應(yīng)用、數(shù)據(jù)庫(kù)應(yīng)用、幻燈片演示應(yīng)用或計(jì)算機(jī)輔助繪圖應(yīng)用等。此外，示例可以在包括分立電子部件的電子電路、包含邏輯門(mén)的封裝或集成電子芯片、利用微處理器的電路中進(jìn)行實(shí)踐，或者在包含電子部件或微處理器的單個(gè)芯片上被實(shí)踐。例如，可以通過(guò)片上系統(tǒng)(soc)來(lái)實(shí)踐示例，其中圖11中所圖示的每個(gè)或許多組件可以被集成到單個(gè)集成電路上。這樣的soc設(shè)備可以包括一個(gè)或多個(gè)處理單元、圖形單元、通信單元、系統(tǒng)虛擬化單元以及各種應(yīng)用功能，所有這些都作為單個(gè)集成電路被集成到(或“燒錄到”)芯片基板上。當(dāng)通過(guò)soc操作時(shí)，在此所述的關(guān)于跨多個(gè)工作負(fù)載提供活動(dòng)流的功能可以通過(guò)在單個(gè)集成電路(芯片)上集成有計(jì)算設(shè)備1100的其它組件的專(zhuān)用邏輯來(lái)操作。示例還可使用能夠執(zhí)行例如and(與)、or(或)和not(非)的邏輯運(yùn)算的其它技術(shù)(包括但不局限于機(jī)械、光學(xué)、流體和量子技術(shù))來(lái)實(shí)踐。另外，本發(fā)明的實(shí)施例可在通用計(jì)算機(jī)或任何其它電路或系統(tǒng)中實(shí)踐。計(jì)算設(shè)備或系統(tǒng)205、275、280、900、1100還可以具有一個(gè)或多個(gè)輸入設(shè)備1112，諸如鍵盤(pán)、鼠標(biāo)、筆、語(yǔ)音輸入設(shè)備、觸摸輸入設(shè)備等。還可以包括輸出設(shè)備1114，諸如顯示器、揚(yáng)聲器、打印機(jī)等。上述設(shè)備是作為示例并且可以使用其它設(shè)備。計(jì)算設(shè)備1100可以包括允許與其它計(jì)算設(shè)備1118進(jìn)行通信的一個(gè)或多個(gè)通信連接1116。適當(dāng)通信連接1116的示例包括但并不局限于rf傳送器、接收器和/或收發(fā)器電路；通用串行總線(xiàn)(usb)、并行和/或串行端口。本文所使用的術(shù)語(yǔ)計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括以任何方法或技術(shù)實(shí)現(xiàn)的用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)或程序模塊等信息的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器1104、可移動(dòng)存儲(chǔ)設(shè)備1109和不可移動(dòng)存儲(chǔ)設(shè)備1110都是計(jì)算機(jī)存儲(chǔ)介質(zhì)(即，存儲(chǔ)器存儲(chǔ))的示例。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括ram、rom、電可擦除只讀存儲(chǔ)器(eeprom)、閃存或其它存儲(chǔ)器技術(shù)、cd-rom、數(shù)字多功能盤(pán)(dvd)或其它光存儲(chǔ)、磁帶盒、磁帶、磁盤(pán)存儲(chǔ)或其它磁性存儲(chǔ)設(shè)備，或者可用于存儲(chǔ)信息且可以由計(jì)算機(jī)設(shè)備700訪(fǎng)問(wèn)的任何其它制造品。任何這樣的計(jì)算機(jī)存儲(chǔ)介質(zhì)都可以是計(jì)算設(shè)備或系統(tǒng)205、275、280、900、1100的一部分。計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括載波或其他傳播或調(diào)制數(shù)據(jù)信號(hào)。通信媒體可以由計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者諸如載波或其它傳輸機(jī)制的調(diào)制數(shù)據(jù)信號(hào)中的其它數(shù)據(jù)所體現(xiàn)，并且包括任意的信息傳遞媒體。術(shù)語(yǔ)“調(diào)制數(shù)據(jù)信號(hào)”可以描述具有以在信號(hào)中編碼信息的方式所設(shè)置或改變的一種或多種特性的信號(hào)。作為示例而非限制，通信媒體可以包括諸如有線(xiàn)網(wǎng)絡(luò)或直接線(xiàn)路連接的有線(xiàn)媒體，以及諸如聲音、射頻(rf)、紅外和其它無(wú)線(xiàn)媒體的無(wú)線(xiàn)媒體。圖12a和12b圖示了可以利用其實(shí)施本發(fā)明各實(shí)施例的移動(dòng)計(jì)算設(shè)備280、1200，例如移動(dòng)電話(huà)、智能電話(huà)、平板個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)等。參考圖12a，圖示了用于實(shí)施該方面的移動(dòng)計(jì)算設(shè)備280、1200的一個(gè)方面。在基本配置中，移動(dòng)計(jì)算設(shè)備280、1200是具有輸入元件和輸出元件兩者的手持式計(jì)算機(jī)。移動(dòng)計(jì)算設(shè)備280、1200通常包括顯示器1205以及允許用戶(hù)將信息輸入到移動(dòng)計(jì)算設(shè)備280、1200中的一個(gè)或多個(gè)輸入按鈕1210。移動(dòng)計(jì)算設(shè)備280、1200的顯示器1205也可充當(dāng)輸入設(shè)備(例如，觸摸屏顯示器)。如果被包括，則可選的輔助輸入元件1215允許另外的用戶(hù)輸入。輔助輸入元件1215可以是旋轉(zhuǎn)開(kāi)關(guān)、按鈕或任意其它類(lèi)型的手動(dòng)輸入部件。在替代實(shí)施例中，移動(dòng)計(jì)算設(shè)備280、1200可結(jié)合更多或更少的輸入元件。例如，在一些實(shí)施例中，顯示器1205可以不是觸摸屏。在又一替代實(shí)施例中，移動(dòng)計(jì)算設(shè)備280、1200是諸如蜂窩電話(huà)之類(lèi)的便攜式電話(huà)系統(tǒng)。移動(dòng)計(jì)算設(shè)備280、1200還可以包括可選的小鍵盤(pán)1235?？蛇x的小鍵盤(pán)1235可以是物理小鍵盤(pán)或者在觸摸屏顯示器上生成的“軟”小鍵盤(pán)。在各個(gè)實(shí)施例中，輸出部件包括用于顯示圖形用戶(hù)界面(gui)的顯示器1205、可視指示器1220(如發(fā)光二極管)和/或音頻換能器1225(如揚(yáng)聲器)。在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備1200結(jié)合振動(dòng)換能器來(lái)向用戶(hù)提供觸覺(jué)反饋。在又一實(shí)施例中，移動(dòng)計(jì)算設(shè)備1200結(jié)合諸如音頻輸入(如傳聲器插孔)、音頻輸出(如耳機(jī)插孔)、以及視頻輸出(如hdmi端口)之類(lèi)的輸入和/或輸出端口，用于將信號(hào)發(fā)送到外部設(shè)備或從外部設(shè)備接收信號(hào)。圖12b是示出移動(dòng)計(jì)算設(shè)備的一個(gè)方面的架構(gòu)的框圖。即，移動(dòng)計(jì)算設(shè)備280、1200可結(jié)合系統(tǒng)(即架構(gòu))1202來(lái)實(shí)施一些方面。在一個(gè)方面，系統(tǒng)1202被實(shí)施為能夠運(yùn)行一個(gè)或多個(gè)應(yīng)用(如瀏覽器、電子郵件、日歷、聯(lián)系人管理器、消息收發(fā)客戶(hù)端、游戲、以及媒體客戶(hù)端/播放器)的“智能手機(jī)”。在一些方面，系統(tǒng)1202被集成為計(jì)算設(shè)備，諸如集成的個(gè)人數(shù)字助理(pda)和無(wú)線(xiàn)電話(huà)。包括語(yǔ)言理解系統(tǒng)205和相關(guān)聯(lián)模塊的一個(gè)或多個(gè)應(yīng)用1250可以被加載到存儲(chǔ)器1262中并在操作系統(tǒng)1264上或與操作系統(tǒng)1264相關(guān)聯(lián)地運(yùn)行。應(yīng)用的示例包括電話(huà)撥號(hào)應(yīng)用、電子郵件應(yīng)用、個(gè)人信息管理(pim)應(yīng)用、文字處理應(yīng)用、電子表格應(yīng)用、因特網(wǎng)瀏覽器應(yīng)用、筆記應(yīng)用、消息收發(fā)應(yīng)用等等。系統(tǒng)1202還包括存儲(chǔ)器1262內(nèi)的非易失性存儲(chǔ)區(qū)1268。非易失性存儲(chǔ)區(qū)1268可被用于存儲(chǔ)在系統(tǒng)1202斷電的情況下不會(huì)丟失的持久信息。應(yīng)用可使用信息并將信息存儲(chǔ)在非易失性存儲(chǔ)區(qū)1268中，如電子郵件應(yīng)用使用的電子郵件或其它消息等。同步應(yīng)用(未示出)也駐留于系統(tǒng)1202上且被編程為與駐留在主機(jī)計(jì)算機(jī)上的對(duì)應(yīng)的同步應(yīng)用交互，以保持非易失性存儲(chǔ)區(qū)1268中存儲(chǔ)的信息與主機(jī)計(jì)算機(jī)處存儲(chǔ)的相應(yīng)信息同步。應(yīng)當(dāng)理解的是，其它應(yīng)用也可被加載到存儲(chǔ)器1262并在移動(dòng)計(jì)算設(shè)備1200上運(yùn)行。系統(tǒng)1202具有可被實(shí)施為一個(gè)或多個(gè)電池的電源供應(yīng)1270。電源供應(yīng)1270還可以包括外部功率源，諸如對(duì)電池進(jìn)行補(bǔ)充或?qū)﹄姵爻潆姷腶c適配器或充電支架。系統(tǒng)1202還可以包括執(zhí)行發(fā)射和接收無(wú)線(xiàn)電頻率通信的功能的無(wú)線(xiàn)電1272。無(wú)線(xiàn)電1272經(jīng)由通信運(yùn)營(yíng)商或服務(wù)供應(yīng)商而促成了系統(tǒng)1202與“外部世界”之間的無(wú)線(xiàn)連接。來(lái)往無(wú)線(xiàn)電1272的傳輸是在操作系統(tǒng)1264的控制下進(jìn)行的。換言之，無(wú)線(xiàn)電1272接收的通信可通過(guò)操作系統(tǒng)1264傳播到應(yīng)用120，反之亦然。可以使用視覺(jué)指示符1220來(lái)提供視覺(jué)通知和/或可以使用音頻接口1274來(lái)通過(guò)音頻換能器1225產(chǎn)生可聽(tīng)通知。在所示實(shí)施例中，可視指示符1220是發(fā)光二極管(led)，而音頻換能器1225是揚(yáng)聲器。這些設(shè)備可直接耦合到電源1270，使得在被激活時(shí)，即使為了節(jié)省電池功率而可能關(guān)閉處理器1260和其它組件，它們也保留一段由通知機(jī)制指示的保持通電時(shí)間。led可被編程為無(wú)限地保持通電，直到用戶(hù)采取動(dòng)作指示該設(shè)備的通電狀態(tài)。音頻接口1274用于向用戶(hù)提供聽(tīng)覺(jué)信號(hào)并從用戶(hù)接收聽(tīng)覺(jué)信號(hào)。例如，除了被耦合到音頻換能器1225之外，音頻接口1274還可被耦合到話(huà)筒來(lái)接收可聽(tīng)輸入，例如便于電話(huà)通話(huà)。根據(jù)各本發(fā)明的各實(shí)施例，話(huà)筒也可充當(dāng)音頻傳感器來(lái)便于對(duì)通知的控制，如下文將描述的。系統(tǒng)1202可進(jìn)一步包括允許板載相機(jī)1230的操作來(lái)記錄靜止圖像、視頻流等的視頻接口1276。實(shí)施系統(tǒng)1202的移動(dòng)計(jì)算設(shè)備280、1200可以具有附加特征或功能。例如，移動(dòng)計(jì)算設(shè)備280、1200還可以包括附加數(shù)據(jù)存儲(chǔ)設(shè)備(可移動(dòng)的和/或不可移動(dòng)的)，例如磁盤(pán)、光盤(pán)或磁帶。這種附加存儲(chǔ)設(shè)備在圖12b中用非易失性存儲(chǔ)區(qū)1268示出。由移動(dòng)計(jì)算設(shè)備280、1200所生成或捕獲的且經(jīng)系統(tǒng)1202存儲(chǔ)的數(shù)據(jù)/信息可以如上所述被本地存儲(chǔ)在移動(dòng)計(jì)算設(shè)備1200上，或者數(shù)據(jù)可被存儲(chǔ)在可由設(shè)備經(jīng)由無(wú)線(xiàn)電1272或經(jīng)由移動(dòng)計(jì)算設(shè)備1200和關(guān)聯(lián)于移動(dòng)計(jì)算設(shè)備1200的分離計(jì)算設(shè)備之間的有線(xiàn)連接進(jìn)行訪(fǎng)問(wèn)的任何數(shù)量的存儲(chǔ)介質(zhì)上，該計(jì)算設(shè)備如例如互聯(lián)網(wǎng)之類(lèi)的分布式計(jì)算網(wǎng)絡(luò)中的服務(wù)器計(jì)算機(jī)。如所應(yīng)當(dāng)理解的，此類(lèi)數(shù)據(jù)/信息可經(jīng)移動(dòng)計(jì)算設(shè)備1200、經(jīng)無(wú)線(xiàn)電1272或經(jīng)分布式計(jì)算網(wǎng)絡(luò)進(jìn)行訪(fǎng)問(wèn)。類(lèi)似地，這些數(shù)據(jù)/信息可以根據(jù)已知的數(shù)據(jù)/信息傳送和存儲(chǔ)手段來(lái)容易地在計(jì)算設(shè)備之間進(jìn)行傳送以存儲(chǔ)和使用，這些手段包括電子郵件和協(xié)作數(shù)據(jù)/信息共享系統(tǒng)。圖13圖示了用于跨分布式計(jì)算環(huán)境的組件提供本文所描述的功能的系統(tǒng)的架構(gòu)的一個(gè)方面。關(guān)聯(lián)于以上所描述的應(yīng)用所開(kāi)發(fā)、與之交互或編輯的內(nèi)容可以存儲(chǔ)在不同通信信道或其它存儲(chǔ)類(lèi)型中。例如，各個(gè)文檔可以使用目錄服務(wù)1322、web門(mén)戶(hù)1324、郵箱服務(wù)1326、即時(shí)消息存儲(chǔ)1328或社交網(wǎng)絡(luò)站點(diǎn)1330進(jìn)行存儲(chǔ)。應(yīng)用/系統(tǒng)/設(shè)備205(例如，電子通信應(yīng)用/語(yǔ)言理解系統(tǒng))可以用任意這些類(lèi)型的系統(tǒng)等以如本文所描述的跨多個(gè)工作負(fù)載提供所描述的功能。服務(wù)器1315可以通過(guò)網(wǎng)絡(luò)1310將應(yīng)用功能提供至客戶(hù)端1305a-c。作為示例，客戶(hù)端計(jì)算設(shè)備可以以個(gè)人計(jì)算機(jī)1305a、平板計(jì)算機(jī)1305b和/或移動(dòng)計(jì)算設(shè)備1305c(例如，智能電話(huà))或者其它計(jì)算設(shè)備而被實(shí)施并體現(xiàn)?？蛻?hù)端計(jì)算設(shè)備的任何這些方面都可以從存儲(chǔ)1316獲得。一種另外的示例包括但并不局限于一種用于提供語(yǔ)言理解的方法，包括：由計(jì)算機(jī)收集一個(gè)或多個(gè)未標(biāo)記話(huà)語(yǔ)；由計(jì)算機(jī)從該一個(gè)或多個(gè)未標(biāo)記話(huà)語(yǔ)中提取用戶(hù)意圖以及一個(gè)或多個(gè)語(yǔ)言實(shí)體；由計(jì)算機(jī)基于該用戶(hù)意圖構(gòu)建用戶(hù)意圖檢測(cè)模型以在后續(xù)話(huà)語(yǔ)中響應(yīng)于該用戶(hù)意圖檢測(cè)模型找出用戶(hù)意圖；由計(jì)算機(jī)基于該一個(gè)或多個(gè)語(yǔ)言實(shí)體構(gòu)建實(shí)體提取模型以在后續(xù)話(huà)語(yǔ)中響應(yīng)于該實(shí)體提取模型找出語(yǔ)言實(shí)體；針對(duì)該用戶(hù)意圖檢測(cè)模型和實(shí)體提取模型測(cè)試附加未標(biāo)記話(huà)語(yǔ)的第一未標(biāo)記話(huà)語(yǔ)；從該用戶(hù)意圖檢測(cè)模型和實(shí)體提取模型接收在附加未標(biāo)記話(huà)語(yǔ)的第一未標(biāo)記話(huà)語(yǔ)中找到的用戶(hù)意圖和語(yǔ)言實(shí)體的標(biāo)記；以及響應(yīng)于接收到針對(duì)在附加未標(biāo)記話(huà)語(yǔ)的第一未標(biāo)記話(huà)語(yǔ)中找到的用戶(hù)意圖和語(yǔ)言實(shí)體的標(biāo)記的更正，基于所接收到的針對(duì)用戶(hù)意圖和語(yǔ)言實(shí)體的標(biāo)記的更正處理附加未標(biāo)記話(huà)語(yǔ)的第二未標(biāo)記話(huà)語(yǔ)以提高該用戶(hù)意圖檢測(cè)模型和實(shí)體提取模型的性能。另一個(gè)示例包括但并不局限于一種語(yǔ)言理解系統(tǒng)，包括：包括處理器和存儲(chǔ)器的一個(gè)或多個(gè)設(shè)備操作組件；該一個(gè)或多個(gè)操作組件包括語(yǔ)言處理流水線(xiàn)，其操作以收集一個(gè)或多個(gè)未標(biāo)記話(huà)語(yǔ)；由用戶(hù)意圖模塊和實(shí)體提取模塊從該一個(gè)或多個(gè)未標(biāo)記話(huà)語(yǔ)中提取用戶(hù)意圖以及一個(gè)或多個(gè)語(yǔ)言實(shí)體；基于該用戶(hù)意圖構(gòu)建用戶(hù)意圖檢測(cè)模型以在后續(xù)話(huà)語(yǔ)中響應(yīng)于該用戶(hù)意圖檢測(cè)模型找出用戶(hù)意圖；基于該一個(gè)或多個(gè)語(yǔ)言實(shí)體構(gòu)建實(shí)體提取模型以在后續(xù)話(huà)語(yǔ)中響應(yīng)于該實(shí)體提取模型找出語(yǔ)言實(shí)體；針對(duì)該用戶(hù)意圖檢測(cè)模型和實(shí)體提取模型測(cè)試附加未標(biāo)記話(huà)語(yǔ)的第一未標(biāo)記話(huà)語(yǔ)；從該用戶(hù)意圖檢測(cè)模型和實(shí)體提取模型接收在該附加未標(biāo)記話(huà)語(yǔ)的第一未標(biāo)記話(huà)語(yǔ)中找到的用戶(hù)意圖和語(yǔ)言實(shí)體的標(biāo)記；并且基于所接收到的針對(duì)在附加未標(biāo)記話(huà)語(yǔ)的第一未標(biāo)記話(huà)語(yǔ)中找到的用戶(hù)意圖和語(yǔ)言實(shí)體的標(biāo)記的更正處理附加未標(biāo)記話(huà)語(yǔ)的第二未標(biāo)記話(huà)語(yǔ)以提高該用戶(hù)意圖檢測(cè)模型和實(shí)體提取模型的性能。以上參考方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品的框圖和/或操作圖對(duì)示例進(jìn)行了描述?？蛑械墓δ?動(dòng)作可以以與任意流程圖中所示的順序有所不同的順序進(jìn)行。例如，根據(jù)所涉及的功能/動(dòng)作，連續(xù)示出的兩個(gè)框?qū)嶋H上可以基本上同時(shí)執(zhí)行或者框有時(shí)可以以逆序執(zhí)行。本申請(qǐng)中提供的一個(gè)或多個(gè)實(shí)施例的描述和說(shuō)明并非旨在以任何方式限制或約束如權(quán)利要求所要求保護(hù)的發(fā)明范圍。本申請(qǐng)中提供的實(shí)施例、示例和細(xì)節(jié)被認(rèn)為是足以傳達(dá)所有權(quán)并且使得他人能夠制作并使用所要求保護(hù)的發(fā)明的最佳模式。所要求保護(hù)的發(fā)明不應(yīng)被理解為限制于本申請(qǐng)中所提供的任何實(shí)施例、示例或細(xì)節(jié)。無(wú)論是以組合的方式還是分開(kāi)的方式示出和描述，各種特征(結(jié)構(gòu)上的和方法邏輯上的)都旨在被選擇性地包括或忽略從而產(chǎn)生具有特定的特征集的實(shí)施例。在被提供以本申請(qǐng)的描述和說(shuō)明的情況下，本領(lǐng)域的技術(shù)人員能夠想象到落在所要求保護(hù)發(fā)明的更寬泛方面以及本申請(qǐng)中所具體化的一般發(fā)明概念的精神以?xún)?nèi)的替代實(shí)施例而并不背離該更為寬泛的范圍。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12