本說明書一般地涉及自動化語音識別。

背景技術(shù)：

語音識別涉及由人類說的單詞的轉(zhuǎn)錄。在執(zhí)行語音識別時，聲學(xué)和語言模型由自動化語音識別(asr)引擎使用來在統(tǒng)計上對編碼的話語進(jìn)行分析，以便生成反映由說話者所說的單詞的一個或多個可能的轉(zhuǎn)錄。

技術(shù)實現(xiàn)要素：

根據(jù)一個實施方式，本說明書描述用于在用戶提交給識別系統(tǒng)(例如，asr)的數(shù)據(jù)當(dāng)中標(biāo)識敏感信息并且用于將該信息用于訓(xùn)練識別器模型(例如，光學(xué)識別模型、聲學(xué)模型或語言模型)的過程，所述識別器模型在敏感信息被刪除之前通過識別系統(tǒng)的后續(xù)迭代來使用。在這樣做時，識別系統(tǒng)的進(jìn)一步迭代能夠更準(zhǔn)確地識別包括類似的敏感信息的所提交數(shù)據(jù)，同時遵守與敏感信息的收集或存儲有關(guān)的所有適當(dāng)?shù)臄?shù)據(jù)隱私方案。

在一些方面中，在本說明書中描述的主題可以體現(xiàn)在方法中，所述方法包括以下動作：由包括自動化語音識別器的系統(tǒng)從客戶端設(shè)備接收數(shù)據(jù)并且確定所接收到的數(shù)據(jù)的至少一部分是可能敏感的數(shù)據(jù)，其中敏感數(shù)據(jù)是在未被存儲在從客戶端設(shè)備接收到的數(shù)據(jù)的日志中的情況下由所述系統(tǒng)刪除的數(shù)據(jù)或者由所述系統(tǒng)在接收的預(yù)定時間段內(nèi)刪除的數(shù)據(jù)。附加的動作可以包括，在所接收到的數(shù)據(jù)的所述至少一部分被刪除之前，將所接收到的數(shù)據(jù)的所述至少一部分提供給模型訓(xùn)練引擎，所述模型訓(xùn)練引擎訓(xùn)練用于所述自動化語音識別器的識別模型。進(jìn)一步的動作可以包括在所接收到的數(shù)據(jù)的所述至少一部分被提供之后，刪除所接收到的數(shù)據(jù)的所述至少一部分。

其它版本包括對應(yīng)的系統(tǒng)、裝置和計算機(jī)程序，所述計算機(jī)程序被配置成執(zhí)行所述方法的動作，所述計算機(jī)程序被編碼在計算機(jī)存儲設(shè)備上。

這些和其它版本可以各自可選地包括以下特征中的一個或多個。例如，在一些實施方式中，所接收到的數(shù)據(jù)包括音頻數(shù)據(jù)、轉(zhuǎn)錄數(shù)據(jù)和場境元數(shù)據(jù)中的一個或多個。在某些方面中，所述預(yù)定時間段比被確定為不是可能敏感的數(shù)據(jù)被刪除之后的缺省時間段短。

在一些方面中，動作包括確定所接收到的數(shù)據(jù)的至少一部分是可能敏感的數(shù)據(jù)包括：將所接收到的數(shù)據(jù)的所述至少一部分提供給多個分類器，其中所述多個分類器中的每個分類器與不同類型的敏感數(shù)據(jù)相關(guān)聯(lián)；以及從與特定類型的敏感數(shù)據(jù)相關(guān)聯(lián)的特定分類器接收所接收到的數(shù)據(jù)的所述至少一部分被指示為與所述特定類型的敏感數(shù)據(jù)相關(guān)聯(lián)高于置信閾值的指示。在一些實施方式中，每種類型的敏感數(shù)據(jù)具有用于刪除的關(guān)聯(lián)的預(yù)定時間段。

在某些方面中，動作包括使所接收到的數(shù)據(jù)的所述至少一部分匿名并且將經(jīng)匿名的數(shù)據(jù)存儲在從客戶端設(shè)備接收到的數(shù)據(jù)的日志中。在一些方面中，動作包括：從所述模型訓(xùn)練引擎接收經(jīng)更新的識別模型；將經(jīng)更新的識別模型提供給所述自動化語音識別器；以及使用經(jīng)更新的識別模型來識別隨后接收到的音頻數(shù)據(jù)。

在一些實施方式中，敏感數(shù)據(jù)包括聯(lián)系人信息、背景音頻數(shù)據(jù)、個人標(biāo)識信息、預(yù)定轉(zhuǎn)錄關(guān)鍵詞和地理坐標(biāo)中的一個或多個。

有利的實施方式可以包括以下特征中的一個或多個。所描述的語音識別技術(shù)可以總是隨著語音記錄進(jìn)入到日志中而在連續(xù)循環(huán)中訓(xùn)練，而不是假定存在語音識別模型將適于的某個靜態(tài)話語或數(shù)據(jù)集，例如，來自新電話、新噪聲條件或新口音的查詢。這解決某些語音話語和/或準(zhǔn)確地識別這些話語所需的場境信息可以不是可記錄的并且可能需要被迅速地(例如，在數(shù)秒鐘、數(shù)分鐘、數(shù)天等內(nèi))從系統(tǒng)中移除的挑戰(zhàn)。利用本文中所描述的技術(shù)，模型訓(xùn)練可遵循分布式反向傳播神經(jīng)網(wǎng)絡(luò)訓(xùn)練實施方式。選擇和轉(zhuǎn)錄算法可以被并入生產(chǎn)設(shè)置，并且數(shù)據(jù)點(diǎn)可以隨著所述時間點(diǎn)在日志中到達(dá)而被在實時基礎(chǔ)上饋送到訓(xùn)練服務(wù)器中。所描述的技術(shù)可潛在地允許大型語音識別系統(tǒng)在有挑戰(zhàn)性的法定環(huán)境規(guī)定必須使記錄保持至最小或者必須在短暫儲存器中實現(xiàn)日志的市場中更成功地操作。

在下面的附圖和說明書中闡述了本說明書中所描述的主題的一個或多個實施方式的細(xì)節(jié)。該主題的其它潛在的特征、方面和優(yōu)點(diǎn)將根據(jù)本說明書、附圖和權(quán)利要求變得顯而易見。

附圖說明

圖1是示例語音識別系統(tǒng)的圖。

圖2是圖示用于訓(xùn)練語音識別器的示例過程的流程圖。

圖3是示例隱私保護(hù)語音識別系統(tǒng)的圖。

圖4示出可用于實現(xiàn)這里所描述的技術(shù)的計算設(shè)備的示例和移動計算設(shè)備的示例。

在各個附圖中相同的附圖標(biāo)記和名稱指示相同的元件。

具體實施方式

用于語音識別的聲學(xué)模型的訓(xùn)練可牽涉消耗大量計算資源(例如，數(shù)百或甚至數(shù)千個機(jī)器)并且花費(fèi)非常長的時間(例如，一星期或更多)來實現(xiàn)良好質(zhì)量的算法。一些訓(xùn)練方法假定總是可存儲語音數(shù)據(jù)的音頻記錄，由于用戶隱私限制情況可以不是這樣的。在隱私敏感生產(chǎn)設(shè)置中，有時不可記錄語音數(shù)據(jù)，或者可僅在短時間段內(nèi)記錄語音數(shù)據(jù)。有時不可記錄準(zhǔn)確地轉(zhuǎn)錄話語所需的附加的場境信息。

作為示例，針對諸如“向john發(fā)送文本消息”這樣的話音動作的聯(lián)系人識別可以要求用戶的聯(lián)系人在識別完成時為語音識別器所知。此信息在生產(chǎn)查詢傳入時可以是可訪問的，但是存儲用戶的聯(lián)系人數(shù)據(jù)庫可以具有各種隱私含意。這種場境信息有時可允許大語音識別質(zhì)量增益。因此期望將這樣的非記錄的場境信息用于在語音識別和分析環(huán)境內(nèi)處置這樣的信息，同時滿足所有法定和安全標(biāo)準(zhǔn)。因此，存在對用于為敏感數(shù)據(jù)提供高質(zhì)量語音識別的改進(jìn)的技術(shù)、系統(tǒng)和方法的需要，所述敏感數(shù)據(jù)受限于在這種數(shù)據(jù)如何在語音識別和分析環(huán)境內(nèi)被處置、存儲或者處理方面的一個或多個限制。

因此，本公開描述用于在為了自動語音識別而訓(xùn)練聲學(xué)模型時使用敏感數(shù)據(jù)的技術(shù)。例如，敏感數(shù)據(jù)可以是在未被存儲在從客戶端設(shè)備接收到的數(shù)據(jù)的日志中的情況下由系統(tǒng)刪除的數(shù)據(jù)。作為另一示例，敏感數(shù)據(jù)可以是由系統(tǒng)在接收的預(yù)定時間段內(nèi)刪除的數(shù)據(jù)。所述技術(shù)包括敏感數(shù)據(jù)在語音識別期間的標(biāo)識。在經(jīng)標(biāo)識的敏感數(shù)據(jù)被刪除之前，該數(shù)據(jù)可用于訓(xùn)練自動化語音識別器。敏感數(shù)據(jù)可包括例如數(shù)據(jù)的音頻內(nèi)容內(nèi)的敏感信息或與音頻內(nèi)容的場境有關(guān)的敏感信息。

圖1是示例語音識別系統(tǒng)100的圖。用戶102將話語104提交給語音處理系統(tǒng)106以用于識別和轉(zhuǎn)錄。在此示例中，由用戶102提交的話語104是短語“thisisbobsmith.mycreditcardnumberis01-234(我是鮑勃·史密斯。我的信用卡號碼是01-234)”。用戶102將話語104說到計算設(shè)備112(例如，移動計算設(shè)備、平板計算機(jī)、可穿戴計算機(jī)、電子書閱讀器、臺式計算機(jī)、膝上型計算機(jī)等)中。計算設(shè)備112可以在運(yùn)行例如具有語音識別輸入的文本編輯器、具有自由形式語音輸入的搜索欄或任何其它適當(dāng)?shù)某绦?。計算設(shè)備112可以生成包含語音數(shù)據(jù)項108a的語音識別請求107，所述語音數(shù)據(jù)項108a例如波形的數(shù)據(jù)文件、音頻文件或?qū)υ捳Z104進(jìn)行編碼的其它數(shù)據(jù)類型。

語音識別請求107也可以包括場境數(shù)據(jù)108b。場境數(shù)據(jù)108b可以包括場境信息，諸如例如與用戶102在話語104期間正訪問的應(yīng)用或web頁面相關(guān)聯(lián)的信息、用戶102的地理坐標(biāo)、與用戶102的聯(lián)系人列表相關(guān)聯(lián)的信息或其它場境信息。場境數(shù)據(jù)108b的其它示例包括請求107元數(shù)據(jù)、用戶102的生物計量特性(例如，性別、年齡、口音或其它特性)、噪聲條件、用戶102的居住國家/地區(qū)以及對話狀態(tài)。在一些情況下，語音識別請求107可以包括敏感數(shù)據(jù)。計算設(shè)備112可以將請求107傳送到語音處理系統(tǒng)106。

語音處理系統(tǒng)106是接收與話語104相關(guān)聯(lián)的語音識別請求107、對請求107進(jìn)行分析并且生成話語104的文本轉(zhuǎn)錄110的系統(tǒng)。通常，文本轉(zhuǎn)錄110可以包括表示語音識別器對請求107的話語的內(nèi)容的頂級假設(shè)的字符串或其它文本表示?？梢詫⑥D(zhuǎn)錄110傳送到計算設(shè)備112或者到另一系統(tǒng)或程序。語音處理系統(tǒng)106可以實時地或幾乎實時地(例如，在幾十毫秒、數(shù)百毫秒或另一持續(xù)時間中)將轉(zhuǎn)錄110傳送到用戶102。

一般而言，諸如語音處理系統(tǒng)106的系統(tǒng)可以在龐大用戶基礎(chǔ)上從用戶接收語音識別請求107。語音識別器系統(tǒng)可以響應(yīng)于每個請求107而生成由語音識別器應(yīng)請求107運(yùn)行的一個或多個識別過程的文本結(jié)果110。盡管為了清楚示出單個用戶102，然而語音識別器可以從大得多數(shù)量的用戶(例如，幾千個)接收請求107，并且可以并行地處理所接收到的請求107中的一些或全部，從而在正在接收和處理其它請求107的同時給每個用戶提供文本結(jié)果110。

附加地，語音識別器系統(tǒng)可以是用于執(zhí)行語音識別任務(wù)的任何類型的適當(dāng)?shù)南到y(tǒng)。例如，語音識別器可以由在大規(guī)模分布式計算環(huán)境上運(yùn)行的一組虛擬機(jī)或作業(yè)構(gòu)成，所述大規(guī)模分布式計算環(huán)境也托管用于不同的服務(wù)、任務(wù)或應(yīng)用的虛擬機(jī)或作業(yè)。在一些實施方式中，語音識別器可以是服務(wù)器或服務(wù)的大型系統(tǒng)的組件，或者可以是與某個產(chǎn)品或服務(wù)相結(jié)合而提供的許多服務(wù)中的僅一個。

示例語音處理系統(tǒng)106包括從計算設(shè)備112接收語音識別請求107的前端114。前端114例如可以接收語音識別請求107并且準(zhǔn)備請求107數(shù)據(jù)以供處理。前端114可以將請求107傳送到敏感信息標(biāo)識器116。敏感信息標(biāo)識器116可以對請求107進(jìn)行分析以確定請求107中的數(shù)據(jù)的至少一部分是否是可能敏感的數(shù)據(jù)。

敏感信息標(biāo)識器116可以在請求107中標(biāo)識幾種類型的可能敏感的數(shù)據(jù)。能將可能敏感的數(shù)據(jù)包括在音頻數(shù)據(jù)108a中和/或在場境數(shù)據(jù)108b中。敏感信息標(biāo)識器116可以對存在于音頻數(shù)據(jù)108a中的背景音頻進(jìn)行分析以得到可能敏感的信息。例如，背景音頻可以包含標(biāo)識用戶的位置的信息、標(biāo)識除用戶以外的說話者的信息或其它可能敏感的信息。

敏感信息標(biāo)識器116可以標(biāo)識可能敏感的金融信息，諸如信用卡信息、銀行賬戶信息、貨幣金額或其它可能敏感的金融信息。敏感信息標(biāo)識器116也可以標(biāo)識用戶聯(lián)系人信息，諸如用戶的聯(lián)系人列表上的人、電話號碼、電子郵件地址或其它可能敏感的聯(lián)系人信息。敏感信息標(biāo)識器116可以標(biāo)識可能敏感的個人信息，諸如名字、社會安全號碼、地址、電話號碼或其它可能敏感的個人信息。這些是可以被標(biāo)識的敏感數(shù)據(jù)的示例類型；在其它實施方式中，可以標(biāo)識其它類型的敏感數(shù)據(jù)。例如，其它信息可以包括位置信息(例如，全球定位系統(tǒng)(gps)坐標(biāo))、移動電話信息、無線接入信息、web頁面信息或者其它信息或數(shù)據(jù)。

敏感信息標(biāo)識器116可以包括一個或多個敏感數(shù)據(jù)分類器118a-e，其中每個分類器118a-e與不同類型的敏感數(shù)據(jù)相關(guān)聯(lián)。例如，上面所描述的每種類型的敏感數(shù)據(jù)可以具有關(guān)聯(lián)的分類器。每個分類器可以提供請求107的至少一部分包括與該分類器相關(guān)聯(lián)的敏感數(shù)據(jù)的指示。例如，分類器可以提供請求107具有包含敏感數(shù)據(jù)的可能性高于與該分類器的關(guān)聯(lián)類型的敏感數(shù)據(jù)相關(guān)聯(lián)的置信閾值的指示。

參考圖1中所示的示例，敏感信息標(biāo)識器116已經(jīng)在請求107內(nèi)標(biāo)識了一些可能敏感的信息。背景音頻分類器118a已經(jīng)標(biāo)識了背景音頻很可能包含敏感信息。例如，背景音頻可以包含指示用戶102位于醫(yī)院中的音頻。信用卡分類器118b已經(jīng)標(biāo)識了話語104的音頻數(shù)據(jù)108a包括可能敏感的信用卡信息，即，信用卡號碼“01-234”。然而，用戶聯(lián)系人列表分類器118c已經(jīng)確定了音頻數(shù)據(jù)108a不包括與用戶的聯(lián)系人列表有關(guān)的可能敏感的信息。個人信息分類器118d已經(jīng)標(biāo)識了可能敏感的個人信息，即，名字“bobsmith”。由分類器118e表示的其它分類器可以確定其它類型的敏感數(shù)據(jù)。

敏感信息標(biāo)識器116可以將請求107數(shù)據(jù)中的一些或全部傳送到訓(xùn)練引擎118。在一些情況下，請求107數(shù)據(jù)中的一些或全部由前端114直接地傳送到訓(xùn)練引擎118。訓(xùn)練引擎118是訓(xùn)練可以由自動化語音識別器(例如，自動化語音識別器120)使用的識別模型的組件。

訓(xùn)練引擎118可以使用音頻數(shù)據(jù)108a和場境數(shù)據(jù)108b中的一些或全部來生成語音識別模型或者更新現(xiàn)有的語音識別模型。在一些情況下，場境數(shù)據(jù)108b與音頻數(shù)據(jù)108a一起的使用與單獨(dú)使用音頻數(shù)據(jù)108a相比可使得能實現(xiàn)更準(zhǔn)確的語音識別模型?？梢詫⒄Z音識別模型提供給自動化語音識別器，在圖1中通過將訓(xùn)練引擎118連接到自動化語音識別器120的箭頭119來示出。以這種方式，訓(xùn)練引擎118可在任何可能敏感的數(shù)據(jù)被刪除之前使用從請求107接收到的數(shù)據(jù)，包括可能敏感的數(shù)據(jù)。

請求107數(shù)據(jù)中的一些或全部也被傳送到自動化語音識別器120。自動化語音識別器120使用由訓(xùn)練引擎118提供的語音識別模型來生成音頻數(shù)據(jù)108a的轉(zhuǎn)錄110。轉(zhuǎn)錄110被提供給計算設(shè)備112。

請求107數(shù)據(jù)中的一些或全部也被傳送到敏感信息管理器122。附加地，可以從敏感信息標(biāo)識器116向敏感信息管理器122發(fā)送敏感信息信號123。也可以將轉(zhuǎn)錄110提供給敏感信息管理器122。敏感信息信號123可以例如指示請求107和/或轉(zhuǎn)錄110的哪些部分很可能包含敏感信息。敏感信息信號123可以基于來自分類器118a-e的指示。基于敏感信息信號123，敏感信息管理器122可以確定請求107和/或轉(zhuǎn)錄110的哪些部分將被記錄以及哪些部分將不被記錄。例如，可以刪除請求107和/或轉(zhuǎn)錄110的將不被記錄的部分。在一些情況下，敏感信息管理器122可以使請求數(shù)據(jù)107和/或轉(zhuǎn)錄110匿名。例如，可以使轉(zhuǎn)錄“thisisbobsmith”匿名為“thisis<name>”。其它匿名技術(shù)是可能的。敏感信息管理器122可以將請求107和/或轉(zhuǎn)錄110的部分提供給記錄器124以用于存儲。

圖2是圖示用于訓(xùn)練自動化語音識別器的示例過程200的流程圖。示例過程200可以例如由語音識別系統(tǒng)100的一些或全部來實現(xiàn)。在202處，來自客戶端設(shè)備的數(shù)據(jù)由包括自動化語音識別器的系統(tǒng)接收。例如，該數(shù)據(jù)可以包括波形的數(shù)據(jù)文件、音頻文件或?qū)υ捳Z進(jìn)行編碼的其它數(shù)據(jù)類型、與話語相關(guān)聯(lián)的元數(shù)據(jù)、轉(zhuǎn)錄數(shù)據(jù)和/或與話語相關(guān)聯(lián)的場境數(shù)據(jù)?？蛻舳嗽O(shè)備可以是便攜式計算機(jī)、智能電話，或如先前所描述的其它客戶端設(shè)備。語音識別器可以在生成語音數(shù)據(jù)項的轉(zhuǎn)錄時使用一個或多個語音識別器組件，諸如聲學(xué)模型、語言模型或另一類型的語音識別器組件。所述語音識別器組件中的一個或多個可以是基于神經(jīng)網(wǎng)絡(luò)的。

在204處，所接收到的數(shù)據(jù)的至少一部分被確定為可能是敏感數(shù)據(jù)。在一些情況下，敏感數(shù)據(jù)是在未被存儲在從客戶端設(shè)備接收到的數(shù)據(jù)的日志中的情況下由系統(tǒng)刪除的數(shù)據(jù)。在一些情況下，敏感數(shù)據(jù)可以包括聯(lián)系人信息、背景音頻數(shù)據(jù)、個人標(biāo)識信息、預(yù)定轉(zhuǎn)錄關(guān)鍵詞或地理坐標(biāo)中的一個或多個。敏感數(shù)據(jù)也可以是由系統(tǒng)在接收的預(yù)定時間段內(nèi)刪除的數(shù)據(jù)。例如，預(yù)定時間段可以比被確定為不是可能敏感的數(shù)據(jù)被刪除之后的缺省時間段短。在一些實施方式中，每種類型的敏感數(shù)據(jù)具有用于刪除的關(guān)聯(lián)的預(yù)定時間段。

確定所接收到的數(shù)據(jù)的至少一部分是可能敏感的數(shù)據(jù)可以包括將所接收到的數(shù)據(jù)的至少一部分提供給一個或多個分類器。每個分類器可以與不同類型的敏感數(shù)據(jù)相關(guān)聯(lián)。與特定類型的敏感數(shù)據(jù)相關(guān)聯(lián)的特定分類器可以生成所接收到的數(shù)據(jù)與該特定類型的敏感數(shù)據(jù)相關(guān)聯(lián)的指示。

在206處，在所接收到的數(shù)據(jù)的至少一部分被刪除之前，所接收到的數(shù)據(jù)的至少一部分被提供給模型訓(xùn)練引擎，所述模型訓(xùn)練引擎訓(xùn)練用于自動化語音識別器的識別模型。接收到的數(shù)據(jù)的至少一部分可以包括音頻數(shù)據(jù)和/或場境數(shù)據(jù)。在一些實施方式中，自動化語音識別器可以從模型訓(xùn)練引擎接收經(jīng)更新的識別模型。經(jīng)更新的識別模型可以由自動化語音識別器使用來識別隨后接收到的音頻數(shù)據(jù)。

在208處，所接收到的數(shù)據(jù)的至少一部分在所接收到的數(shù)據(jù)的至少一部分已被提供給模型訓(xùn)練引擎之后被刪除。在一些實施方式中，可以使所接收到的數(shù)據(jù)的至少一部分匿名，并且可以將經(jīng)匿名的數(shù)據(jù)存儲在從客戶端設(shè)備接收到的數(shù)據(jù)的日志中。

圖3是示例語音識別系統(tǒng)300的圖。系統(tǒng)300可以由例如圖1中所示的語音識別系統(tǒng)100或圖2中所示的過程來實現(xiàn)。語音識別系統(tǒng)300包括隱私敏感數(shù)據(jù)302。隱私敏感數(shù)據(jù)302可以是語音識別請求。隱私敏感數(shù)據(jù)302可以包括場境信息304和音頻數(shù)據(jù)306。

隱私敏感數(shù)據(jù)302的一部分可以被確定為是可記錄的。例如，隱私敏感數(shù)據(jù)302的一部分可以不包括敏感信息，并且該部分可以能夠被記錄。作為另一示例，可以使隱私敏感數(shù)據(jù)302的一部分匿名。可以將隱私敏感數(shù)據(jù)的可記錄部分提供給記錄器308以用于存儲。在一些實施方式中，記錄器308包括單獨(dú)的音頻儲存器310a和單獨(dú)的場境儲存器310b。例如，音頻儲存器310a可以存儲音頻數(shù)據(jù)306并且場境儲存器可以存儲場境數(shù)據(jù)304。在一些實施方式中音頻數(shù)據(jù)306不與場境數(shù)據(jù)304分開地存儲。

可以將隱私敏感數(shù)據(jù)中的一些或全部提供給示例模型訓(xùn)練器312。模型訓(xùn)練器310可以是例如用于語音識別器的訓(xùn)練引擎。在一些實施方式中，隱私敏感數(shù)據(jù)302在刪除之前被用于訓(xùn)練僅一次，并且新隱私敏感數(shù)據(jù)302被連續(xù)地提供給模型訓(xùn)練器312。模型訓(xùn)練器312可以包括一個或多個組件。例如，模型訓(xùn)練器312可以使用基于啟發(fā)式的數(shù)據(jù)選擇來從隱私敏感數(shù)據(jù)302中選擇訓(xùn)練數(shù)據(jù)，示出在314a處。模型訓(xùn)練器312可以例如使用小批次(minibatch)訓(xùn)練技術(shù)和訓(xùn)練循環(huán)技術(shù)來生成候選模型，示出在314b處?？梢詫蜻x模型進(jìn)行審查和分析以標(biāo)識具有最好性能的模型，示出在314c處。模型訓(xùn)練器312可以包括其它組件或者使用其它技術(shù)。

可以從模型訓(xùn)練器312向生產(chǎn)語音識別服務(wù)器318提供語音模型316。生產(chǎn)語音識別服務(wù)器318可從客戶端設(shè)備接收語音識別請求，并且，使用一個或多個語音模型316來將語音轉(zhuǎn)錄提供回給客戶端設(shè)備。以這種方式，可在維護(hù)與隱私敏感數(shù)據(jù)保存有關(guān)的系統(tǒng)的任何策略的同時使用隱私敏感數(shù)據(jù)302和模型訓(xùn)練器312來連續(xù)地更新語音模型316。

圖4是可用于實現(xiàn)這里所描述的技術(shù)的計算設(shè)備400的示例和移動計算設(shè)備的示例。計算設(shè)備400旨在表示各種形式的數(shù)字計算機(jī)，諸如膝上型計算機(jī)、臺式機(jī)、工作站、個人數(shù)字助理、服務(wù)器、刀片服務(wù)器、主機(jī)和其它適當(dāng)?shù)挠嬎銠C(jī)。移動計算設(shè)備旨在表示各種形式的移動設(shè)備，諸如個人數(shù)字助理、蜂窩電話、智能電話和其它類似的計算設(shè)備。這里所示的組件、它們的連接和關(guān)系及其功能意在僅為示例性的，而不意在限制本文檔中所描述和/或要求保護(hù)的本發(fā)明的實施方式。

計算設(shè)備400包括處理器402、存儲器404、存儲設(shè)備406、連接到存儲器404和多個高速擴(kuò)展端口410的高速接口408以及連接到低速擴(kuò)展端口414和存儲設(shè)備406的低速接口412。處理器402、存儲器404、存儲設(shè)備406、高速接口408、高速擴(kuò)展端口410和低速接口412中的每一個使用各種總線來互連，并且可以酌情被安裝在公共母版上或者以其它方式安裝。處理器402可處理在計算設(shè)備400內(nèi)執(zhí)行的指令，包括存儲在存儲器404中或者在存儲設(shè)備406上以將gui的圖形信息顯示在外部輸入/輸出設(shè)備(諸如，耦合到高速接口408的顯示器416)上的指令。在其它實施方式中，可以酌情使用多個處理器和/或多個總線以及多個存儲器和多種類型的存儲器。另外，可以連接多個計算設(shè)備，其中每個設(shè)備提供必要操作的部分，例如，作為服務(wù)器群、刀片服務(wù)器組或多處理器系統(tǒng)。

存儲器404將信息存儲在計算設(shè)備400內(nèi)。在一些實施方式中，存儲器404是一個或多個易失性存儲器單元。在一些實施方式中，存儲器404是一個或多個非易失性存儲器單元。存儲器404也可以是另一形式的計算機(jī)可讀介質(zhì)，諸如磁盤或光盤。

存儲設(shè)備406能夠為計算設(shè)備400提供海量存儲。在一些實施方式中，存儲設(shè)備406可以是或者包含計算機(jī)可讀介質(zhì)，諸如軟盤設(shè)備、硬盤設(shè)備、光盤設(shè)備或磁帶設(shè)備、閃速存儲器或其它類似的固態(tài)存儲器設(shè)備、或設(shè)備的陣列，包括存儲區(qū)域網(wǎng)絡(luò)或其它配置中的設(shè)備。計算機(jī)程序產(chǎn)品可有形地體現(xiàn)在信息載體中。計算機(jī)程序產(chǎn)品也可以包含指令，所述指令當(dāng)被執(zhí)行時，執(zhí)行一個或多個方法，諸如上述的那些方法。計算機(jī)程序產(chǎn)品也可被有形地體現(xiàn)在計算機(jī)或機(jī)器可讀介質(zhì)中，所述計算機(jī)或機(jī)器可讀介質(zhì)諸如存儲器404、存儲設(shè)備406或處理器402上的存儲器。

高速接口408管理計算設(shè)備400的帶寬密集操作，而低速接口412管理較低帶寬密集操作。功能的這種分配僅是示例性的。在一些實施方式中，高速接口408被耦合到存儲器404、顯示器416(例如，通過圖形處理器或加速器)，并且被耦合到可以接受各種擴(kuò)展卡(未示出)的高速擴(kuò)展端口410。在該實施方式中，低速接口412被耦合到存儲設(shè)備406和低速擴(kuò)展端口414?？梢园ǜ鞣N通信端口(例如，usb、藍(lán)牙、以太網(wǎng)、無線以太網(wǎng)或其它)的低速擴(kuò)展端口414可以被耦合到一個或多個輸入/輸出設(shè)備，諸如鍵盤、指針設(shè)備、掃描器或例如通過網(wǎng)絡(luò)適配器的聯(lián)網(wǎng)設(shè)備，諸如交換機(jī)或路由器。

如圖中所示，可以以許多不同的形式實現(xiàn)計算設(shè)備400。例如，它可以被實現(xiàn)為標(biāo)準(zhǔn)服務(wù)器420，或在一組這些服務(wù)器中多次實現(xiàn)。此外，它可以被實現(xiàn)在諸如膝上型計算機(jī)422的個人計算機(jī)中。它也可以作為機(jī)架服務(wù)器系統(tǒng)424的一部分被實現(xiàn)。替選地，來自計算設(shè)備400的組件可以與諸如移動計算設(shè)備450的移動設(shè)備(未示出)中的其它組件組合。這樣的設(shè)備中的每一個可以包含計算設(shè)備400和移動計算設(shè)備450中的一個或多個，并且整個系統(tǒng)可以由彼此通信的多個計算設(shè)備組成。

除其它組件之外，移動計算設(shè)備450也包括處理器452、存儲器464、諸如顯示器454、通信接口466和收發(fā)器468的輸入/輸出設(shè)備。移動計算設(shè)備450也可以被提供有存儲設(shè)備，諸如微型驅(qū)動器或其它設(shè)備，以提供附加的存儲。處理器452、存儲器464、顯示器454、通信接口466和收發(fā)器468中的每一個使用各種總線來互連，并且可以酌情在公共母版上或者按照其它方式安裝這些組件中的數(shù)個。

處理器452可執(zhí)行移動計算設(shè)備450內(nèi)的指令，包括存儲在存儲器464中的指令。處理器452可以被實現(xiàn)為包括單獨(dú)的和多個模擬和數(shù)字處理器的芯片的芯片集。處理器452可以提供例如移動計算設(shè)備450的其它組件的協(xié)同，諸如對用戶界面、由移動計算設(shè)備450運(yùn)行的應(yīng)用以及通過移動計算設(shè)備450的無線通信的控制。

處理器452可以通過耦合到顯示器454的控制接口458和顯示接口456來與用戶進(jìn)行通信。顯示器454可以是例如tft(薄膜晶體管液晶顯示)顯示器或oled(有機(jī)發(fā)光二極管)顯示器或其它適當(dāng)?shù)娘@示技術(shù)。顯示接口456可以包括用于驅(qū)動顯示器454以向用戶呈現(xiàn)圖形和其它信息的適當(dāng)電路。控制接口458可以接收來自用戶的命令并且對它們進(jìn)行轉(zhuǎn)換以用于提交給處理器452。此外，外部接口462可以提供與處理器452的通信，以便使得能實現(xiàn)移動計算設(shè)備450與其它設(shè)備的近區(qū)域通信。外部接口462可以在一些實施方式中提供例如有線通信，或者在其它實施方式中提供無線通信，并且也可以使用多個接口。

存儲器464存儲移動計算設(shè)備450內(nèi)的信息。存儲器464可被實現(xiàn)為一個或多個計算機(jī)可讀介質(zhì)、一個或多個易失性存儲器單元或一個或多個非易失性存儲器單元中的一個或多個。擴(kuò)展存儲器474也可以通過擴(kuò)展接口472來提供并且連接到移動計算設(shè)備450，所述擴(kuò)展接口472可以包括例如simm(單列直插內(nèi)存模塊)卡接口。擴(kuò)展存儲器474可以為移動計算設(shè)備450提供額外的存儲空間，或者也可以為移動計算設(shè)備450存儲應(yīng)用或其它信息。具體地，擴(kuò)展存儲器474可以包括用于執(zhí)行或者補(bǔ)充上述的過程的指令，并且同樣可以包括安全信息。因此，例如，擴(kuò)展存儲器474可以作為移動計算設(shè)備450的安全模塊被提供，并且可以被編程有許可移動計算設(shè)備450的安全使用的指令。此外，可以經(jīng)由simm卡連同附加的信息一起提供安全應(yīng)用，諸如按照不可刪節(jié)的方式將標(biāo)識信息置于simm卡上。

如在下面所討論的，存儲器可以包括例如閃速存儲器和/或nvram存儲器(非易失性隨機(jī)存取存儲器)。在一些實施方式中，計算機(jī)程序產(chǎn)品被有形地體現(xiàn)在信息載體中。計算機(jī)程序產(chǎn)品包含指令，所述指令當(dāng)被執(zhí)行時，執(zhí)行一個或多個方法，諸如上述的那些方法。計算機(jī)程序產(chǎn)品可以是計算機(jī)或機(jī)器可讀介質(zhì)，諸如存儲器464、擴(kuò)展存儲器474或處理器452上的存儲器。在一些實施方式中，可例如通過收發(fā)器468或外部接口462在傳播信號中接收計算機(jī)程序產(chǎn)品。

移動計算設(shè)備450可以通過通信接口466以無線方式通信，所述通信接口466必要時可以包括數(shù)字信號處理電路。通信接口466可以在各種模式或協(xié)議下提供通信，所述各種模式或協(xié)議諸如gsm語音呼叫(全球移動通信系統(tǒng))、sms(短消息服務(wù))、ems(增強(qiáng)消息傳送服務(wù))或mms消息傳送(多媒體消息傳送服務(wù))、cdma(碼分多址)、tdma(時分多址)、pdc(個人數(shù)字蜂窩)、wcmda(寬帶碼分多址)、cdma2000或gprs(通用分組無線服務(wù))等。這種通信可以例如通過使用射頻的收發(fā)器468而發(fā)生。此外，短距離通信可以諸如使用藍(lán)牙、wifi或其它這種收發(fā)器(未示出)而發(fā)生。此外，gps(全球定位系統(tǒng))接收器模塊470可以向移動計算設(shè)備450提供附加的導(dǎo)航和位置相關(guān)無線數(shù)據(jù)，其可以酌情由在移動計算設(shè)備450上運(yùn)行的應(yīng)用使用。

移動計算設(shè)備450也可以使用音頻編解碼器460可聽見地通信，所述音頻編解碼器460可以從用戶接收口語信息并且將它轉(zhuǎn)換為可用的數(shù)字信息。音頻編解碼器460可以同樣地諸如通過揚(yáng)聲器(例如，在移動計算設(shè)備450的頭戴式耳機(jī)中)為用戶生成可聽聲音。這種聲音可以包括來自話音電話呼叫的聲音，可以包括記錄的聲音(例如，話音消息、音樂文件或其它)，并且也可以包括由在移動計算設(shè)備450上操作的應(yīng)用所生成的聲音。

如圖中所示，可以以許多不同的形式實現(xiàn)移動計算設(shè)備450。例如，它可以被實現(xiàn)為蜂窩電話380。它也可以被實現(xiàn)為智能電話382、個人數(shù)字助理或其它類似的移動設(shè)備的一部分。

這里所描述的系統(tǒng)和技術(shù)的各種實施方式可以用數(shù)字電子電路、集成電路、特別設(shè)計的asic(專用集成電路)、計算機(jī)硬件、固件、軟件和/或其組合來實現(xiàn)。這些各種實施方式可以包括在包括至少一個可編程處理器的可編程系統(tǒng)上可執(zhí)行的和/或可解釋的一個或多個計算機(jī)程序中的實施方式，所述至少一個可編程處理器可以是專用的或通用的，耦合以從存儲系統(tǒng)、至少一個輸入設(shè)備和至少一個輸出設(shè)備接收數(shù)據(jù)和指令，并且將數(shù)據(jù)和指令傳發(fā)送到存儲系統(tǒng)、至少一個輸入設(shè)備和至少一個輸出設(shè)備。

這些計算機(jī)程序(也被稱為程序、軟件、軟件應(yīng)用或代碼)包括用于可編程處理器的機(jī)器指令，并且可以用高級過程和/或面向?qū)ο蟮木幊陶Z言來實現(xiàn)，和/或用匯編/機(jī)器語言來實現(xiàn)。如本文中所使用的，術(shù)語“機(jī)器可讀介質(zhì)”和“計算機(jī)可讀介質(zhì)”指代用于將機(jī)器指令和/或數(shù)據(jù)提供給可編程處理器的任何計算機(jī)程序產(chǎn)品、裝置和/或設(shè)備，例如磁盤、光盤、存儲器、可編程邏輯設(shè)備(pld)，包括接收機(jī)器指令作為機(jī)器可讀信號的機(jī)器可讀介質(zhì)。術(shù)語“機(jī)器可讀信號”指代用于將機(jī)器指令和/或數(shù)據(jù)提供給可編程處理器的任何信號。

為了提供與用戶的交互，可以在計算機(jī)上實現(xiàn)這里所描述的系統(tǒng)和技術(shù)，所述計算機(jī)具有用于向用戶顯示信息的顯示設(shè)備(例如，crt(陰極射線管)或lcd(液晶顯示)監(jiān)視器)以及鍵盤和指針設(shè)備(例如，鼠標(biāo)或軌跡球)，用戶可以通過所述鍵盤和指針設(shè)備來將輸入提供給計算機(jī)。其它種類的設(shè)備也可以用于提供與用戶的交互；例如，提供給用戶的反饋可以是任何形式的感覺反饋，例如，視覺反饋、聽覺反饋或觸覺反饋；并且可以以任何形式(包括聲學(xué)輸入、語音輸入或觸覺輸入)接收來自用戶的輸入。

這里所描述的系統(tǒng)和技術(shù)可以被實現(xiàn)在計算系統(tǒng)中，所述計算系統(tǒng)包括后端組件(例如，作為數(shù)據(jù)服務(wù)器)，或者包括中間件組件(例如，應(yīng)用服務(wù)器)，或者包括前端組件(例如，具有用戶可以用來與這里所描述的系統(tǒng)和技術(shù)的實施方式交互的圖形用戶界面或web瀏覽器的客戶端計算機(jī))，或這樣的后端、中間件或前端組件的任何組合。本系統(tǒng)的組件可以通過任何形式或介質(zhì)的數(shù)字?jǐn)?shù)據(jù)通信(例如，通信網(wǎng)絡(luò))來互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“l(fā)an”)、廣域網(wǎng)(“wan”)和互聯(lián)網(wǎng)。

該計算系統(tǒng)可以包括客戶端和服務(wù)器。客戶端和服務(wù)器通常遠(yuǎn)離彼此并且通常通過通信網(wǎng)絡(luò)交互?？蛻舳撕头?wù)器的關(guān)系借助于在相應(yīng)的計算機(jī)上運(yùn)行并且彼此具有客戶端-服務(wù)器關(guān)系的計算機(jī)程序來產(chǎn)生。

已經(jīng)對許多實施例進(jìn)行了描述。然而，將理解的是，可以在不脫離本發(fā)明的精神和范圍的情況下做出各種修改。此外，在圖中描繪的邏輯流不要求所示的特定次序或順序次序，以實現(xiàn)所希望的結(jié)果。此外，可以提供其它步驟，或者可以從所描述的流程中消除步驟，并且其它組件可以被添加到所描述的系統(tǒng)，或者從所描述的系統(tǒng)中移除。因此，其它實施例在以下權(quán)利要求的范圍內(nèi)。