相關(guān)申請的交叉引用

本申請要求于2015年10月16日提交的美國臨時(shí)專利申請?zhí)?2/242,650的權(quán)益，其內(nèi)容通過引用并入于此。

本說明書一般地涉及語音識(shí)別。

背景技術(shù)：

自動(dòng)語音識(shí)別是計(jì)算設(shè)備中使用的重要技術(shù)。電子設(shè)備的語音識(shí)別服務(wù)通常接收包括來自用戶的說出詞的發(fā)音話語，并且將該說出詞轉(zhuǎn)錄為文本。發(fā)音話語可以包括熱詞，即預(yù)先確定的保留詞，其使得系統(tǒng)或設(shè)備執(zhí)行對應(yīng)的動(dòng)作。

技術(shù)實(shí)現(xiàn)要素：

本公開的實(shí)施方式涉及熱詞識(shí)別，例如使用熱詞來經(jīng)由話音解鎖或啟用對移動(dòng)設(shè)備的訪問，并且抑制重放攻擊。重放攻擊是一種過程，未經(jīng)授權(quán)的用戶通過該過程捕捉由設(shè)備的所有者或授權(quán)的用戶說出的熱詞的音頻并且將其重放以便獲得對該設(shè)備的某種等級(jí)的未經(jīng)授權(quán)的訪問。根據(jù)本公開的實(shí)施方式，可以通過驗(yàn)證每個(gè)話語的獨(dú)特性來抑制熱詞或任何基于語音的重放攻擊。特別地，可以記錄并存儲(chǔ)針對特定設(shè)備或者針對特定用戶而識(shí)別的最近、最后n個(gè)或所有熱詞話語。可以生成音頻指紋并且將其針對每個(gè)熱詞話語存儲(chǔ)，并且可以在從新的話語生成的音頻指紋之間執(zhí)行與每個(gè)先前記錄的音頻指紋的比較以檢查先前是否已經(jīng)使用指示重放的相同的話語音頻。此外，在某些實(shí)施方式中，其它信號(hào)，例如超聲波音頻注入和跨話語驗(yàn)證，可被用于進(jìn)一步限制重放攻擊的有效性。

在本說明書中所述的主題的一個(gè)創(chuàng)造性方面體現(xiàn)在包括以下動(dòng)作的方法中：接收對應(yīng)于話語的音頻數(shù)據(jù)；確定所述音頻數(shù)據(jù)對應(yīng)于熱詞；生成被確定為對應(yīng)于所述熱詞的所述音頻數(shù)據(jù)的熱詞音頻指紋；確定所述熱詞音頻指紋與先前被確定為對應(yīng)于所述熱詞的音頻數(shù)據(jù)的一個(gè)或多個(gè)所存儲(chǔ)的音頻指紋之間的相似度；基于所述熱詞音頻指紋與所述一個(gè)或多個(gè)所存儲(chǔ)的音頻指紋中的一個(gè)之間的所述相似度是否滿足預(yù)先確定的閾值，檢測所述熱詞音頻指紋是否與先前被確定為對應(yīng)于所述熱詞的音頻數(shù)據(jù)的所存儲(chǔ)的音頻指紋相匹配；以及響應(yīng)于檢測到所述熱詞音頻指紋與所存儲(chǔ)的音頻指紋相匹配，禁止對向其說出了所述話語的計(jì)算設(shè)備的訪問。

通常，在本說明書中所述的主題的另一方面體現(xiàn)在包括以下動(dòng)作的方法中：接收對應(yīng)于附加話語的附加音頻數(shù)據(jù)；使用所述附加音頻數(shù)據(jù)辨識(shí)說話者辨識(shí)d-向量；確定來自所述附加音頻數(shù)據(jù)的所述說話者辨識(shí)d-向量與來自對應(yīng)于所述話語的所述音頻數(shù)據(jù)的熱詞d-向量之間的相似度；基于來自對應(yīng)于所述話語的所述音頻數(shù)據(jù)的所述熱詞d-向量與來自所述附加音頻數(shù)據(jù)的所述說話者辨識(shí)d-向量之間的所述相似度是否滿足特定閾值，檢測對應(yīng)于所述熱詞的所述音頻數(shù)據(jù)是否匹配所述附加音頻數(shù)據(jù)；以及響應(yīng)于檢測到對應(yīng)于所述熱詞的所述音頻數(shù)據(jù)不匹配所述附加音頻數(shù)據(jù)，禁止對所述計(jì)算設(shè)備的訪問。

根據(jù)在本說明書中所述的主題的另一方面，所述熱詞可以是特定詞項(xiàng)，所述特定詞項(xiàng)觸發(fā)對跟在所述特定詞項(xiàng)之后的一個(gè)或多個(gè)詞項(xiàng)中的附加詞項(xiàng)的語義解釋。跟在所述特定詞項(xiàng)之后的一個(gè)或多個(gè)詞項(xiàng)中的附加詞項(xiàng)可以與查詢或命令相關(guān)聯(lián)。

在本說明書中所述的主題的另一方面可以體現(xiàn)在包括以下動(dòng)作的方法中：接收對應(yīng)于話音命令或查詢的附加音頻數(shù)據(jù)，以及確定所述話音命令或查詢的類型。此外，所述預(yù)先確定的閾值可以基于所述話音命令或查詢的所確定的類型來調(diào)整。

這些以及其它實(shí)施方式可以各自可選地包括以下特征中的一個(gè)或多個(gè)。例如，確定所述音頻數(shù)據(jù)對應(yīng)于熱詞可以包括：辨識(shí)所述音頻數(shù)據(jù)的一個(gè)或多個(gè)聲學(xué)特征；將所述音頻數(shù)據(jù)的所述一個(gè)或多個(gè)聲學(xué)特征跟與存儲(chǔ)在數(shù)據(jù)庫中的一個(gè)或多個(gè)熱詞相關(guān)聯(lián)的一個(gè)或多個(gè)聲學(xué)特征相比較；以及基于所述音頻數(shù)據(jù)的所述一個(gè)或多個(gè)聲學(xué)特征跟與存儲(chǔ)在所述數(shù)據(jù)庫中的一個(gè)或多個(gè)熱詞相關(guān)聯(lián)的所述一個(gè)或多個(gè)聲學(xué)特征的比較，確定所述音頻數(shù)據(jù)對應(yīng)于存儲(chǔ)在所述數(shù)據(jù)庫中的所述一個(gè)或多個(gè)熱詞中的一個(gè)。

在一些實(shí)施方式中，確定所述音頻數(shù)據(jù)對應(yīng)于熱詞包括：確定所述音頻數(shù)據(jù)的初始部分對應(yīng)于所述熱詞的初始部分；以及響應(yīng)于確定所述音頻數(shù)據(jù)的所述初始部分對應(yīng)于所述熱詞的所述初始部分，使得多個(gè)獨(dú)特超聲波音頻樣本中的一個(gè)在所述音頻數(shù)據(jù)的所述初始部分被接收以后被輸出。

在本說明書中所述的主題的另一方面可以體現(xiàn)在包括以下動(dòng)作的方法中：確定所接收的音頻數(shù)據(jù)包括對應(yīng)于所述多個(gè)獨(dú)特超聲波音頻樣本中的一個(gè)的音頻數(shù)據(jù)；以及響應(yīng)于確定所接收的音頻數(shù)據(jù)包括對應(yīng)于所述多個(gè)獨(dú)特超聲波音頻樣本中的一個(gè)的音頻數(shù)據(jù)，禁止對所述計(jì)算設(shè)備的訪問。

這些方面的其它實(shí)施方式包括對應(yīng)的系統(tǒng)、裝置以及計(jì)算機(jī)程序，其被配置成執(zhí)行編碼在計(jì)算機(jī)存儲(chǔ)設(shè)備上的方法的動(dòng)作。

在附圖和以下的說明中闡明了本發(fā)明的一個(gè)或多個(gè)實(shí)施方式的細(xì)節(jié)。本發(fā)明的其它特征和優(yōu)勢將根據(jù)說明、附圖以及權(quán)利要求而變得顯而易見。

附圖說明

圖1描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例系統(tǒng)。

圖2a和圖2b描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例過程的圖。

圖3描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例流程圖。

圖4描繪可以用于實(shí)施本文所述的技術(shù)的計(jì)算機(jī)設(shè)備和移動(dòng)計(jì)算機(jī)設(shè)備。

在各個(gè)附圖中，相似的參考數(shù)字和名稱指示相似的元素。

具體實(shí)施方式

圖1描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例系統(tǒng)100。這樣的系統(tǒng)100可以抑制重放攻擊。在一些實(shí)施方式中，系統(tǒng)100包括音頻子系統(tǒng)120、熱詞檢測器130、音頻指紋生成器140以及重放攻擊引擎150。在一些示例中，系統(tǒng)100可以體現(xiàn)在計(jì)算設(shè)備中，例如，智能電話、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)或個(gè)人計(jì)算機(jī)、平板電腦等或其組合。計(jì)算設(shè)備可以包括用于檢測來自用戶的話語的任何音頻檢測裝置，例如，麥克風(fēng)。

本公開的實(shí)施方式實(shí)現(xiàn)熱詞識(shí)別，例如使用熱詞來經(jīng)由話音解鎖或啟用對移動(dòng)設(shè)備的訪問。實(shí)現(xiàn)對熱詞的使用的一種方式通過總是開啟(always-on)的熱詞識(shí)別?？偸情_啟的熱詞識(shí)別是連續(xù)聆聽預(yù)定義短語例如“okcomputer(好的，計(jì)算機(jī))”以便喚醒計(jì)算設(shè)備并且發(fā)起行動(dòng)的過程。熱詞檢測相比于運(yùn)行全語音識(shí)別器的一個(gè)優(yōu)勢在于熱詞檢測允許高效率且穩(wěn)健的識(shí)別，因?yàn)橹恍枰R(shí)別固定的觸發(fā)短語。此外。熱詞識(shí)別可以涉及將輸入語音的音頻特征與熱詞的已知話語的音頻特征相比較，而不需要執(zhí)行對輸入話語的語音識(shí)別。可以以比實(shí)施語音識(shí)別器大幅減少的計(jì)算成本來執(zhí)行這樣的操作。

由于說出的熱詞提供對設(shè)備的訪問，該熱詞是特定的話語，并且該熱詞被大聲說出，對熱詞識(shí)別的使用可能易受重放攻擊。重放攻擊是一種過程，未經(jīng)授權(quán)的用戶通過該過程捕捉由設(shè)備的所有者或授權(quán)的用戶說出的熱詞的音頻并且將其重放以便獲得對該設(shè)備的某種等級(jí)的未經(jīng)授權(quán)的訪問。根據(jù)本公開的實(shí)施方式，可以通過驗(yàn)證每個(gè)話語的獨(dú)特性來抑制熱詞或任何基于語音的重放攻擊。

在某些實(shí)施方式中，總是開啟的熱詞識(shí)別可以與說話者驗(yàn)證相結(jié)合地使用來過濾出不是由設(shè)備的所有者說出的話語。說話者驗(yàn)證與熱詞識(shí)別的結(jié)合是有利的，因?yàn)闊嵩~識(shí)別是依賴于文本的，即對于給定熱詞說出的話語是相同的。

在一些實(shí)施方式中，用戶可以說計(jì)算設(shè)備檢測為話語的一個(gè)或多個(gè)詞。該話語可以包括一個(gè)或多個(gè)熱詞或部分熱詞，所述熱詞或部分熱詞使得計(jì)算設(shè)備執(zhí)行動(dòng)作。

在某些實(shí)施方式中，當(dāng)計(jì)算設(shè)備被鎖定時(shí)，熱詞可以充當(dāng)獲取對該設(shè)備的部分或完全訪問的方式。例如，如果當(dāng)屏幕關(guān)閉和/或設(shè)備被鎖定時(shí)用戶說“okcomputer”，并且該說話者簡檔被成功驗(yàn)證，可以允許訪問私人或敏感數(shù)據(jù)的某些查詢，諸如“whenismynextmeeting(我的下一個(gè)會(huì)議在什么時(shí)候)”，“sendamessagetoboss(給boss發(fā)送消息)”等。在一些實(shí)施方式中，熱詞可以允許用戶這行話音動(dòng)作，諸如“sendanemail(發(fā)送郵件)”，或者熱詞可以用于完全解鎖設(shè)備，特別是在與諸如位置的附加場境信號(hào)相結(jié)合使用時(shí)。

如在所闡述的示例中所描繪的，例如，用戶可以說“okcomputer”。計(jì)算設(shè)備可以檢測話語“okcomputer”110，其中音頻子系統(tǒng)120適當(dāng)?shù)亟邮赵捳Z“okcomputer”110的音頻數(shù)據(jù)。

在所闡述的示例中，音頻子系統(tǒng)120可以接收與話語“okcomputer”110相關(guān)聯(lián)的音頻數(shù)據(jù)。所接收的音頻數(shù)據(jù)可以包括話語的一系列音頻幀或者與話語相關(guān)聯(lián)的音頻數(shù)據(jù)的預(yù)先確定的時(shí)間量。在一些實(shí)施方式中，音頻子系統(tǒng)120可以處理該話語以生成包括該話語的一部分或者基本上包括該話語的整個(gè)部分的波形數(shù)據(jù)。

在一些實(shí)施方式中，音頻子系統(tǒng)120可以適當(dāng)?shù)靥幚硭邮盏囊纛l數(shù)據(jù)。例如，音頻子系統(tǒng)120可以辨識(shí)音頻數(shù)據(jù)的一個(gè)或多個(gè)聲學(xué)特征。在所闡述的示例中，音頻子系統(tǒng)120可以辨識(shí)與關(guān)聯(lián)于話語“okcomputer”的音頻數(shù)據(jù)相關(guān)聯(lián)的聲學(xué)特征。

在一些實(shí)施方式中，音頻子系統(tǒng)120可以向熱詞檢測器130提供經(jīng)處理的音頻數(shù)據(jù)。例如，音頻子系統(tǒng)120可以向熱詞檢測器130提供與話語“okcomputer”相關(guān)聯(lián)的經(jīng)處理的音頻數(shù)據(jù)。在一些實(shí)施方式中，經(jīng)處理的音頻數(shù)據(jù)可以包括與話語“okcomputer”相關(guān)聯(lián)的聲學(xué)特征、與話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)、與話語“okcomputer”相關(guān)聯(lián)的轉(zhuǎn)錄或其任何組合。

熱詞檢測器130可以接收經(jīng)處理的音頻數(shù)據(jù)。在所闡述的示例中，熱詞檢測器130可以接收與話語“okcomputer”相關(guān)聯(lián)的經(jīng)處理的音頻數(shù)據(jù)。熱詞檢測器130可以確定所接收的音頻數(shù)據(jù)對應(yīng)于熱詞。具體地，熱詞可以確定音頻數(shù)據(jù)對應(yīng)于熱詞。在所闡述的示例中，熱詞檢測器可以確定與話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)對應(yīng)于熱詞“okcomputer”。

在一些實(shí)施方式中，所接收的音頻數(shù)據(jù)可以包括相關(guān)聯(lián)的聲學(xué)特征，例如，如由音頻子系統(tǒng)120辨識(shí)的聲學(xué)特征。熱詞檢測器130可以將與話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)的聲學(xué)特征跟與存儲(chǔ)在數(shù)據(jù)庫中的一個(gè)或多個(gè)熱詞相關(guān)聯(lián)的聲學(xué)特征相比較。具體地，每個(gè)熱詞可以與一個(gè)或多個(gè)聲學(xué)特征相關(guān)聯(lián)，所述聲學(xué)特征例如熱詞的語音學(xué)。數(shù)據(jù)庫或表可以存儲(chǔ)熱詞與相關(guān)聯(lián)的聲學(xué)特征之間的映射。在一些實(shí)施方式中，熱詞可以與兩個(gè)或更多個(gè)聲學(xué)特征相關(guān)聯(lián)。在一些實(shí)施方式中，聲學(xué)特征可以與兩個(gè)或更多個(gè)熱詞相關(guān)聯(lián)。

基于對聲學(xué)特征的比較，可以確定與話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)對應(yīng)于存儲(chǔ)在數(shù)據(jù)庫中的熱詞。例如，基于話語“okcomputer”的聲學(xué)特征與熱詞“okcomputer”的聲學(xué)特征的比較可以確定與話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)的聲學(xué)特征對應(yīng)于熱詞“okcomputer”?？梢愿鶕?jù)本公開的實(shí)施方式使用的示例性熱詞識(shí)別技術(shù)在美國專利公開號(hào)2015/0279351a1中描述，其通過引用并入于此；并且更具體地，圖6的過程，其細(xì)節(jié)在圖2至圖5中描繪，其全部通過引用并入于此。

熱詞檢測器130可以向音頻指紋生成器140提供音頻數(shù)據(jù)對應(yīng)于熱詞的確定的結(jié)果。具體地，在所闡述的示例中，熱詞檢測器130可以向音頻指紋生成器140提供熱詞“okcomputer”或者與熱詞“okcomputer”相關(guān)聯(lián)的信號(hào)。

音頻指紋生成器140可以從熱詞檢測器130接收音頻數(shù)據(jù)對應(yīng)于熱詞的確定的結(jié)果。具體地，在所闡述的示例中，音頻指紋生成器140可以從熱詞檢測器130接收對應(yīng)于熱詞“okcomputer”的音頻數(shù)據(jù)或者與熱詞“okcomputer”相關(guān)聯(lián)的信號(hào)。該信號(hào)可以包括與話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)對應(yīng)于熱詞的指示。

音頻指紋生成器140可以生成與熱詞的話語相關(guān)聯(lián)的音頻數(shù)據(jù)的指紋。特別地，在所闡述的示例中，音頻指紋生成器140可以處理與對應(yīng)于熱詞的話語“okcomputer”相關(guān)聯(lián)的音頻數(shù)據(jù)，以生成話語“okcomputer”的音頻指紋。

在一些實(shí)施方式中，音頻指紋可以被設(shè)計(jì)為允許在存在諸如音高偏移和時(shí)間延展的極端噪音或其它失真時(shí)的精確匹配。此外，每個(gè)相應(yīng)的音頻指紋是獨(dú)特的。例如，來自在相同環(huán)境下的相同說話者的多個(gè)熱詞話語仍具有不同的指紋。除說出話語，音頻指紋可以包括任何背景噪音。

可以根據(jù)本發(fā)明的實(shí)施方式使用任何類型的音頻指紋。例如，在美國專利號(hào)8,411,977b1中所述的音頻指紋，其通過引用并入于此。音頻指紋可以提供抗噪性、音高和時(shí)間偏移，其是可由重放攻擊者應(yīng)用的變換。可以通過檢測在音頻信號(hào)中的時(shí)間-頻率峰值來生成指紋，該峰值可以被組合成三元組并且特征在于頻率比，以提供高音的不變性。

可替代地，可以使用其它特征來生成指紋。例如，指紋可以由過濾器組能量的一系列幀組成。該一系列幀可以使用諸如l2距離的距離函數(shù)來正規(guī)化并且與來自另一話語的幀相比較。根據(jù)另一個(gè)替代，用于生成指紋的特征可以是對于近準(zhǔn)確匹配任務(wù)所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中的中間層的激活。

在一些實(shí)施方式中，音頻指紋生成器140可以向重放攻擊引擎150提供熱詞話語的音頻指紋。具體地，在所闡述的示例中，音頻指紋生成器140可以向重放攻擊引擎150提供話語“okcomputer”的音頻指紋。

重放攻擊引擎150可以接收由音頻指紋生成器140生成的熱詞話語的音頻指紋。在一些實(shí)施方式中，重放攻擊引擎可以訪問熱詞指紋數(shù)據(jù)庫160。該熱詞指紋數(shù)據(jù)庫160可以是存儲(chǔ)最近的、最后的n個(gè)或所有的與特定設(shè)備或與特定用戶或二者相關(guān)聯(lián)的熱詞話語的數(shù)據(jù)庫。最近的熱詞話語可以根據(jù)特定時(shí)間段確定。熱詞指紋數(shù)據(jù)庫160可以是存儲(chǔ)例如最可能易受重放攻擊的熱詞話語的特定子集的數(shù)據(jù)庫。例如，熱詞指紋數(shù)據(jù)庫160可以例如基于位置、背景噪音等或其任何組合存儲(chǔ)在公共場所進(jìn)行的熱詞話語，或者存儲(chǔ)在受信環(huán)境外進(jìn)行的熱詞話語，所述受信環(huán)境例如用戶的家、車、辦公室等。熱詞指紋數(shù)據(jù)庫160可以存儲(chǔ)熱詞話語的特定子集的最近的、最后的n個(gè)或所有的熱詞話語。

重放攻擊引擎150可以將由音頻指紋生成器140生成的熱詞話語的音頻指紋與存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的熱詞指紋相比較。通過將由音頻指紋生成器140生成的熱詞話語的音頻指紋與存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的熱詞指紋相比較，重放攻擊引擎150可以確定由音頻指紋生成器140生成的熱詞話語是否匹配存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的熱詞指紋中的一個(gè)或多個(gè)。

通過將在兩個(gè)話語(即，所接收的熱詞話語和所存儲(chǔ)的熱詞話語中的每一個(gè))中的所有時(shí)間對x和y處的指紋或特征相比較，可以確定一對指紋相匹配。例如，可以使用相似度函數(shù)諸如l2相似度或者使用對三個(gè)描述符的重疊的測量或者使用對興趣點(diǎn)和其它導(dǎo)出特征的重疊的測量來比較指紋。相似度函數(shù)可以用于生成圖形熱圖(heatmap)?？梢曰谠跓釄D中沿著對角線的強(qiáng)相似度來檢測匹配。該線可以垂直或水平偏移以允許該匹配開始處的可變起始偏移量?？梢酝ㄟ^針對所有的(x-y)聚集相似度分?jǐn)?shù)來檢測相似度的強(qiáng)度。在得到的直方圖中的強(qiáng)峰值指示在某個(gè)偏移處兩者之間的匹配。如果話語已經(jīng)在時(shí)間上被延展，在直方圖中的峰值也可以具有寬峰值。可替代地，熱圖可以作為輸入提供給分類器，該分類器可以確定該對指紋是否匹配。總之，重放攻擊引擎150可以基于滿足預(yù)先確定的相似度閾值確定匹配。例如，重放攻擊引擎150可以生成相似度分?jǐn)?shù)或值，并且可以確定該相似度分?jǐn)?shù)或值是否滿足預(yù)先確定的閾值分?jǐn)?shù)或值。

在一些實(shí)施方式中，重放攻擊引擎150確定由音頻指紋生成器140生成的熱詞話語的音頻指紋匹配存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的熱詞指紋指示重放攻擊。特別地，由音頻指紋生成器140生成的的話語“okcomputer”的音頻指紋匹配存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的音頻指紋指示：相同的話語“okcomputer”先前已被接收到并且正在被重放以試圖由未經(jīng)授權(quán)的用戶訪問或使用該設(shè)備。

響應(yīng)于確定由音頻指紋生成器140生成的熱詞話語的音頻指紋匹配存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的熱詞指紋，重放攻擊引擎可以輸出防止該設(shè)備被解鎖、鎖定該設(shè)備、禁止對該設(shè)備的訪問、發(fā)起二次認(rèn)證過程等的信號(hào)。響應(yīng)于確定由音頻指紋生成器140生成的熱詞話語的音頻指紋不匹配存儲(chǔ)在熱詞指紋數(shù)據(jù)庫160中的熱詞指紋，重放攻擊引擎可以輸出允許在該設(shè)備上執(zhí)行動(dòng)作的信號(hào)。

圖2a描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例過程的圖。該圖示出狀態(tài)201至219，其可能或者可能沒有以特定順序圖示。

在201，音頻子系統(tǒng)220可以接收對應(yīng)于話語“okcomputer”這一部分的音頻數(shù)據(jù)。該音頻子系統(tǒng)220可以處理對應(yīng)于話語“okcomputer”的所接收的音頻數(shù)據(jù)并且向熱詞檢測器230提供該音頻數(shù)據(jù)。在202，熱詞檢測器230可以接收對應(yīng)于話語“okcomputer”的音頻數(shù)據(jù)并且例如基于如上所述的對聲學(xué)特征的比較來確定該話語“okcomputer”是否對應(yīng)于針對該設(shè)備的熱詞。

如果熱詞檢測器230確定所接收的話語不對應(yīng)于針對該設(shè)備的熱詞，熱詞檢測器230可以提供指示還沒有接收到熱詞的信號(hào)，并且該過程可以以音頻子系統(tǒng)220聆聽話語來重新開始。然而，響應(yīng)于熱詞檢測器230確定話語“okcomputer”對應(yīng)于針對該設(shè)備的熱詞，音頻指紋生成器240可以在203生成話語“okcomputer”的音頻指紋。由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋可以在204存儲(chǔ)。

在205，重放攻擊引擎250可以接收由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋并且將所生成的音頻指紋與例如存儲(chǔ)在數(shù)據(jù)庫中的熱詞指紋相比較。特別地，重放攻擊引擎250可以在206訪問所存儲(chǔ)的熱詞指紋以進(jìn)行與由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋的比較。

如果重放攻擊引擎250確定在由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋與所存儲(chǔ)的熱詞指紋中的一個(gè)或多個(gè)之間不匹配208，則可以準(zhǔn)予對該設(shè)備的訪問或者可以在209啟用對跟在該熱詞之后的查詢或命令的處理。如果重放攻擊引擎250確定了在由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋與所存儲(chǔ)的熱詞指紋中的一個(gè)或多個(gè)之間的匹配207，則可以在210禁止或限制對該設(shè)備的訪問或者可以防止該設(shè)備被解鎖或喚醒等。

在一些實(shí)施方式中，由于熱詞話語可能后面跟有查詢或命令話語，可以確定從熱詞話語提取的d-向量是否近似匹配從查詢或命令話語提取的d-向量。熱詞話語與查詢或命令話語之間的比較可以抑制未經(jīng)授權(quán)的用戶重放所記錄的熱詞或者以其自己的話音發(fā)出新的查詢或命令的能力。

在211，音頻子系統(tǒng)220可以接收跟在熱詞的話語之后的查詢或命令話語。在所闡述的示例中，音頻子系統(tǒng)220可以在熱詞話語“okcomputer”以后接收命令話語“callmom(打電話給媽媽)”。音頻子系統(tǒng)220可以處理對應(yīng)于話語“callmom”的所接收的音頻數(shù)據(jù)并且向熱詞檢測器230提供該音頻數(shù)據(jù)。

在212，熱詞檢測器230可以接收對應(yīng)于話語“callmom”的音頻數(shù)據(jù)并且例如基于如上所述的對聲學(xué)特征的比較來確定話語“callmom”是否對應(yīng)于針對該設(shè)備的熱詞。在所闡述的示例中，熱詞檢測器230可以確定話語“callmom”不對應(yīng)于針對該設(shè)備的熱詞。如果熱詞檢測器230確定所接收的話語不對應(yīng)于針對該設(shè)備的熱詞，熱詞檢測器230可以提供指示還沒有接收到熱詞的信號(hào)。

在一些實(shí)施方式中，當(dāng)確定還沒有接收到熱詞時(shí)，可以確定接收到查詢或命令。例如，響應(yīng)于確定已經(jīng)接收到熱詞并且驗(yàn)證沒有與先前接收的所存儲(chǔ)的熱詞的匹配，可以針對跟在該熱詞話語之后的話語啟用查詢或命令處理。在所闡述的示例中，音頻指紋生成器240可以在213生成話語“callmom”的音頻指紋。

在一些實(shí)施方式中，查詢或命令的音頻指紋可以被用于執(zhí)行對熱詞的跨話語驗(yàn)證。特別地，在214，重放攻擊引擎250可以接收從話語“callmom”生成的說話者辨識(shí)d-向量，并且將所生成的話語“callmom”的說話者辨識(shí)d-向量與所生成的話語“okcomputer”的熱詞d-向量相比較。在一些實(shí)施方式中，重放攻擊引擎250可以將話語“callmom”的說話者辨識(shí)d-向量與例如存儲(chǔ)在數(shù)據(jù)庫中的話語“okcomputer”的熱詞d-向量相比較。

如果重放攻擊引擎250確定對應(yīng)于話語“okcomputer”的音頻數(shù)據(jù)與對應(yīng)于話語“callmom”的音頻數(shù)據(jù)之間的匹配215，則可以準(zhǔn)予對該設(shè)備的訪問或者可以在219執(zhí)行對跟在該熱詞之后的查詢或命令的處理。如果重放攻擊引擎250確定對應(yīng)于話語“okcomputer”的音頻數(shù)據(jù)與對應(yīng)于話語“callmom”的音頻數(shù)據(jù)之間的不匹配208，則在218，可以不執(zhí)行該查詢或命令，可以禁止或限制對該設(shè)備的訪問、可以發(fā)起二次認(rèn)證過程或者可以防止該設(shè)備被解鎖或喚醒等或其任何組合?？商娲兀谙嗨七^程中，對應(yīng)于熱詞話語的音頻數(shù)據(jù)可以與所接收并存儲(chǔ)的任何先前話語相比較。

如上所述，重放攻擊引擎250可以生成相似度分?jǐn)?shù)或值以用于將話語“callmom”的所生成的音頻指紋與話語“okcomputer”的所生成的熱詞指紋相比較，并且確定該相似度分?jǐn)?shù)或值是否滿足預(yù)先確定的閾值分?jǐn)?shù)或值。在一些實(shí)施方式中，可以確定該查詢或命令的場境。該查詢或命令的所確定的場境例如可以用于對相似度分?jǐn)?shù)或值加權(quán)或者用于調(diào)整預(yù)先確定的閾值分?jǐn)?shù)或值。

例如，如果命令或查詢的場境指示關(guān)于個(gè)人或私人數(shù)據(jù)的較低水平的敏感度，則相似度分?jǐn)?shù)或值可以被加權(quán)或者預(yù)先確定的閾值分?jǐn)?shù)或值可以被調(diào)整為更經(jīng)常允許執(zhí)行該查詢或命令，而不管話語“callmom”的所生成的音頻指紋與話語“okcomputer”的所生成的熱詞指紋之間的高相似度。相反，如果命令或查詢的場境指示較高水平的敏感度，則相似度分?jǐn)?shù)或值可以被加權(quán)或者預(yù)先確定的閾值分?jǐn)?shù)或值可以被調(diào)整為不太經(jīng)常允許執(zhí)行該查詢或命令，例如要求話語“callmom”的所生成的音頻指紋與話語“okcomputer”的所生成的熱詞指紋之間更高的相似度。因此，熱詞話語與查詢或命令話語之間的比較可以抑制未經(jīng)授權(quán)的用戶重放所記錄的熱詞并且以其自己的話音發(fā)出新的查詢或命令的能力。

可以檢測部分熱詞，例如，如在美國專利8,768,712b1中所述，其通過引用并入于此；并且更具體地，如在圖3的過程中所述，其一些細(xì)節(jié)在圖2a中所描繪，其中的每一個(gè)通過引用并入于此。在一些實(shí)施方式中，在檢測到部分熱詞以后或者在跟在熱詞之后的話語期間，設(shè)備可以例如使用頻移鍵控來輸出獨(dú)特超聲波音頻片段，該頻移鍵控可以編碼獨(dú)特令牌以用于識(shí)別。如果先前令牌被識(shí)別作為熱詞的一部分，可以拒絕該熱詞。可以采用一組獨(dú)特頻率來編碼每個(gè)令牌，以便在設(shè)備正輸出新的令牌時(shí)可以檢測到該令牌?？商娲兀〈O(shè)備檢測已編碼的令牌，設(shè)備可以在該設(shè)備正在針對該新令牌使用的頻帶之外檢測任何顯著的超聲波音頻。如果檢測到任何顯著的超聲波音頻，可以拒絕該熱詞。

例如，如在圖1中所描繪的，熱詞檢測器130可以包括部分熱詞檢測器135。此外，音頻子系統(tǒng)120可以包括超聲波音頻子系統(tǒng)125。該超聲波音頻子系統(tǒng)125可以被配置為輸出獨(dú)特超聲波音頻片段。該超聲波音頻子系統(tǒng)125可以被配置為接收并處理超聲波音頻樣本。

圖2b描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例過程的圖。例如，如圖2b中所描繪的，音頻子系統(tǒng)220可以在281接收與話語“ok”相關(guān)聯(lián)的音頻數(shù)據(jù)的初始部分。音頻數(shù)據(jù)的該初始部分可以包括話語的第一多個(gè)音頻幀或者與該話語相關(guān)聯(lián)的音頻數(shù)據(jù)的第一幾百毫秒。在一些示例中，音頻子系統(tǒng)220處理該話語以生成包括該話語的一部分或者基本上包括該話語的整個(gè)部分的波形數(shù)據(jù)。音頻子系統(tǒng)220可以辨識(shí)音頻數(shù)據(jù)的一個(gè)或多個(gè)聲學(xué)特征。在所闡述的示例中，音頻子系統(tǒng)220可以辨識(shí)與關(guān)聯(lián)于話語“ok”的音頻數(shù)據(jù)的初始部分相關(guān)聯(lián)的聲學(xué)特征。

在所闡述的示例中，熱詞檢測器230初始接收與例如音頻數(shù)據(jù)的初始部分的話語“ok”相關(guān)聯(lián)的經(jīng)處理的音頻數(shù)據(jù)。熱詞檢測器230可以確定所接收的音頻數(shù)據(jù)對應(yīng)于熱詞的初始部分。具體地，熱詞檢測器230包括部分熱詞檢測器225。該部分熱詞檢測器225可以確定音頻數(shù)據(jù)的初始部分對應(yīng)于熱詞的初始部分。在所闡述的示例中，部分熱詞檢測器225可以確定與話語“ok”相關(guān)聯(lián)的音頻數(shù)據(jù)的初始部分對應(yīng)于熱詞“okcomputer”的初始部分。在一些實(shí)施方式中，熱詞的初始部分包括少于整個(gè)熱詞。例如，初始部分“ok”少于整個(gè)熱詞“okcomputer”。部分熱詞檢測器225可以將與話語“ok”相關(guān)聯(lián)的音頻數(shù)據(jù)的初始部分的聲學(xué)特征跟與存儲(chǔ)在數(shù)據(jù)庫中的一個(gè)或多個(gè)熱詞相關(guān)聯(lián)的聲學(xué)特征相比較。

基于對聲學(xué)特征的比較，可以將與話語“ok”相關(guān)聯(lián)的音頻數(shù)據(jù)的初始部分確定為對應(yīng)于存儲(chǔ)在數(shù)據(jù)庫中的熱詞的初始部分。例如，熱詞檢測器230可以在282基于話語“ok”的聲學(xué)特征與熱詞“okcomputer”的聲學(xué)特征的比較確定與話語“ok”相關(guān)聯(lián)的音頻數(shù)據(jù)的初始部分的聲學(xué)特征對應(yīng)于熱詞“okcomputer”的初始部分。

在一些實(shí)施方式中，響應(yīng)于確定與話語相關(guān)聯(lián)的音頻數(shù)據(jù)的初始部分對應(yīng)于熱詞的初始部分，超聲波音頻子系統(tǒng)225可以在283輸出獨(dú)特超聲波音頻片段。在一些實(shí)施方式中，超聲波音頻子系統(tǒng)225可以在已經(jīng)接收到完全熱詞以后輸出該獨(dú)特超聲波音頻片段。

在284，音頻子系統(tǒng)220可以接收對應(yīng)于話語“computer”的部分的音頻數(shù)據(jù)。音頻子系統(tǒng)220可以處理對應(yīng)于話語“computer”的所接收的音頻數(shù)據(jù)并且向熱詞檢測器230提供該音頻數(shù)據(jù)。在285，除了先前接收的對應(yīng)于話語“ok”的音頻數(shù)據(jù)以外，熱詞檢測器230可以接收對應(yīng)于話語“computer”的音頻數(shù)據(jù)，并且例如基于如上所述的對聲學(xué)特征的比較確定話語“okcomputer”是否對應(yīng)于針對該設(shè)備的熱詞。

如果熱詞檢測器230確定所接收的話語不對應(yīng)于針對該設(shè)備的熱詞，熱詞檢測器230可以提供指示還沒有接收到熱詞的信號(hào)，并且該過程可以以音頻子系統(tǒng)220聆聽話語來重新開始。然而，響應(yīng)于熱詞檢測器230確定話語“okcomputer”對應(yīng)于針對該設(shè)備的熱詞，音頻指紋生成器240可以在286生成話語“okcomputer”的音頻指紋。由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋可以在287存儲(chǔ)。

在288，重放攻擊引擎250可以接收由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋并且將所生成的音頻指紋與例如存儲(chǔ)在數(shù)據(jù)庫中的熱詞指紋相比較。特別地，重放攻擊引擎250可以在289訪問所存儲(chǔ)的熱詞指紋以進(jìn)行與由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋的比較。

如果重放攻擊引擎250確定在由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋與所存儲(chǔ)的熱詞指紋中的一個(gè)或多個(gè)之間的不匹配291，則可以準(zhǔn)予對該設(shè)備的訪問或者可以在292啟用對跟在該熱詞之后的查詢或命令的處理。如果重放攻擊引擎250確定在由音頻指紋生成器240生成的話語“okcomputer”的該音頻指紋與所存儲(chǔ)的熱詞指紋中的一個(gè)或多個(gè)之間的匹配290，則可以在293禁止或限制對該設(shè)備的訪問或者可以防止該設(shè)備被解鎖或喚醒等。

因此，根據(jù)本公開的實(shí)施方式，可以通過驗(yàn)證每個(gè)話語的獨(dú)特性來抑制熱詞或任何基于語音的重放攻擊。特別地，可以記錄并存儲(chǔ)由特定設(shè)備或者由特定用戶識(shí)別的最近、最后n個(gè)或所有熱詞話語?？梢葬槍γ總€(gè)熱詞話語生成音頻指紋并且將其存儲(chǔ)，并且可以在從新的話語生成的音頻指紋與每個(gè)先前記錄的音頻指紋之間執(zhí)行比較以檢查同一個(gè)話語音頻先前是否已經(jīng)被使用過，其指示重放。例如，當(dāng)識(shí)別出熱詞時(shí)，可以生成熱詞話語的音頻指紋并且可以將導(dǎo)出的指紋與來自熱詞的先前話語的指紋相比較。如果確定匹配，該話語可能先前已被使用過，其指示可能的重放，并且可被拒絕。響應(yīng)于該話語被拒絕，可以采取附加動(dòng)作，例如關(guān)閉該設(shè)備、提醒該設(shè)備所有者、顯示報(bào)警等或其任何組合。此外，在某些實(shí)施方式中，其它信號(hào)，例如超聲波音頻注入和跨話語驗(yàn)證可以用于進(jìn)一步限制重放攻擊的有效性。

圖3描繪根據(jù)本發(fā)明的實(shí)施方式用于檢測并驗(yàn)證熱詞的示例流程圖。如圖3中所描繪的，過程300可以包括在310接收對應(yīng)于話語的音頻數(shù)據(jù)。在320，所接收的音頻數(shù)據(jù)可以被處理并且然后用于確定與該話語相關(guān)聯(lián)的音頻數(shù)據(jù)是否對應(yīng)于熱詞。例如，可以在所接收的話語的音頻特性和針對該設(shè)備的熱詞話語的音頻特性之間進(jìn)行比較。特別地，可以從對應(yīng)于話語的所接收的音頻數(shù)據(jù)生成向量的序列，并且可以將該向量的序列與關(guān)聯(lián)于該設(shè)備的熱詞的話語的向量相比較。

在330，可以針對所接收的話語生成音頻指紋。例如，對應(yīng)于所接收的話語的音頻數(shù)據(jù)可以用于生成或計(jì)算所接收的熱詞話語的熱詞音頻指紋。在340，可以將該熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋相比較。例如，可以訪問所存儲(chǔ)的熱詞音頻指紋的數(shù)據(jù)庫，并且可以將熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋相比較，例如，確定所生成的熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋中的每一個(gè)之間的相似度。

在350，所生成的熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋之間的比較可以用于確定在所存儲(chǔ)的熱詞音頻指紋中的任何一個(gè)與所生成的熱詞音頻指紋之間是否存在匹配。例如，可以確定所生成的熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋中的一個(gè)或多個(gè)之間的相似度是否滿足預(yù)先確定的閾值。

如果確定所生成的熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋中的一個(gè)或多個(gè)匹配(“是”)，則可以在360禁止或阻止對該設(shè)備的訪問。例如，匹配可以指示未經(jīng)授權(quán)的用戶正在重放由授權(quán)的用戶先前講出的熱詞的所記錄的音頻，以試圖獲得對該設(shè)備的未經(jīng)授權(quán)的訪問。

如果確定所生成的熱詞音頻指紋與所存儲(chǔ)的熱詞音頻指紋中的一個(gè)或多個(gè)不匹配(“否”)，則可以在370啟用對該設(shè)備的訪問或者執(zhí)行動(dòng)作。例如，不匹配的確定可以指示該話語是該熱詞的新的獨(dú)特話語而不是由授權(quán)的用戶先前講出的熱詞的所記錄的音頻的重放。

根據(jù)本公開的實(shí)施方式，可以在硬件或軟件或在硬件和軟件二者的組合中執(zhí)行熱詞檢測和說話者驗(yàn)證。基于指紋的熱詞驗(yàn)證可以在單個(gè)設(shè)備的等級(jí)上應(yīng)用或者在多個(gè)設(shè)備上應(yīng)用。

如果熱詞驗(yàn)證在單個(gè)設(shè)備的等級(jí)上應(yīng)用，來自先前話語的指紋集合可以被本地存儲(chǔ)在該設(shè)備上。如果來自先前話語的指紋集合被本地存儲(chǔ)在該設(shè)備上，可以在喚醒該設(shè)備以前例如在設(shè)備的數(shù)字信號(hào)處理器上在熱詞檢測以后發(fā)生指紋和匹配過程和功能。

如果熱詞驗(yàn)證在多個(gè)設(shè)備上應(yīng)用，來自先前話語的指紋集合可以被存儲(chǔ)在服務(wù)器上。如果來自先前話語的指紋集合被存儲(chǔ)在服務(wù)器上，熱詞可以喚醒該設(shè)備，并且該熱詞話語或者該熱詞話語的音頻指紋可以被發(fā)送至用于執(zhí)行對后續(xù)查詢或命令的識(shí)別的相同的服務(wù)器。該服務(wù)器可以驗(yàn)證該熱詞話語的獨(dú)特性，并且可以返回指示應(yīng)該允許還是應(yīng)該拒絕該查詢或命令的狀態(tài)?？商娲?，如果熱詞驗(yàn)證在多個(gè)設(shè)備上應(yīng)用，來自先前話語的指紋集合可以在多個(gè)設(shè)備上被同步以使能待在客戶端設(shè)備上執(zhí)行的驗(yàn)證。

圖4示出通用計(jì)算機(jī)設(shè)備400和通用移動(dòng)計(jì)算設(shè)備450的示例，可通過本文所述技術(shù)來使用它們。計(jì)算設(shè)備400意欲表示各種形式的數(shù)字計(jì)算機(jī)，諸如膝上型、桌上型、工作站、個(gè)人數(shù)字助理、服務(wù)器、刀片服務(wù)器、主機(jī)、以及其他適當(dāng)?shù)挠?jì)算機(jī)。計(jì)算設(shè)備450意欲表示各種形式的移動(dòng)設(shè)備，諸如個(gè)人數(shù)字助理、蜂窩電話、智能電話、以及其他類似的計(jì)算設(shè)備。本文所示的組件、它們的連接和關(guān)系、以及它們的功能只是作為示例，并非要限制本文獻(xiàn)所述和/或所要求保護(hù)的發(fā)明的實(shí)施方式。

計(jì)算設(shè)備400包括處理器402、存儲(chǔ)器404、存儲(chǔ)設(shè)備406、連接存儲(chǔ)器404和高速擴(kuò)展端口410的高速接口408、以及連接低速總線414和存儲(chǔ)設(shè)備406的低速接口412。組件402、404、406、408、410和412中的每個(gè)組件使用各種總線互連，并且可以安裝在公共主板上，或者視情況以其他方式安裝。處理器402可以處理在計(jì)算設(shè)備400中執(zhí)行的指令，包括存儲(chǔ)器404中或者存儲(chǔ)設(shè)備406上存儲(chǔ)的指令，從而在外部輸入/輸出設(shè)備諸如耦接到高速接口408的顯示器416上顯示用于gui的圖形信息。在其他實(shí)施方式中，可以視情況連同多個(gè)存儲(chǔ)器和多種存儲(chǔ)器一起使用多個(gè)處理器和/或多個(gè)總線。此外，可將多個(gè)計(jì)算設(shè)備400與提供必要操作部分的每個(gè)設(shè)備相連接(例如，作為服務(wù)器群、刀片服務(wù)器群、或者多處理器系統(tǒng))。

存儲(chǔ)器404將信息存儲(chǔ)在計(jì)算設(shè)備400中。在一個(gè)實(shí)施方式中，存儲(chǔ)器404是易失性存儲(chǔ)器單元或多個(gè)單元。在另一個(gè)實(shí)施方式中，存儲(chǔ)器404是非易失性存儲(chǔ)器單元或多個(gè)單元。存儲(chǔ)器404也可以是其他形式的計(jì)算機(jī)可讀介質(zhì)，諸如磁盤或光盤。

存儲(chǔ)設(shè)備406能夠?yàn)橛?jì)算設(shè)備400提供大容量存儲(chǔ)。在一個(gè)實(shí)施方式中，存儲(chǔ)設(shè)備406可以是計(jì)算機(jī)可讀介質(zhì)或包含計(jì)算機(jī)可讀介質(zhì)，諸如軟盤設(shè)備、硬盤設(shè)備、光盤設(shè)備、或磁帶設(shè)備，閃存或其他類似的固態(tài)存儲(chǔ)器設(shè)備，或者設(shè)備的陣列，包括存儲(chǔ)區(qū)域網(wǎng)絡(luò)或其他配置中的設(shè)備?？梢栽谛畔⑤d體中有形地具體實(shí)施計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品也可以包含指令，該指令在執(zhí)行時(shí)進(jìn)行諸如上述的一個(gè)或多個(gè)方法。信息載體是計(jì)算機(jī)可讀介質(zhì)或機(jī)器可讀介質(zhì)，諸如存儲(chǔ)器404、存儲(chǔ)設(shè)備406、或處理器402上的存儲(chǔ)器。

高速控制器408管理用于計(jì)算設(shè)備400的帶寬密集型操作，而低速控制器412管理較低的帶寬密集型操作。這種功能分配只是示例性的。在一個(gè)實(shí)施方式中，高速控制器408耦接到存儲(chǔ)器404、顯示器416(例如通過圖形處理器或加速器)，并耦接到高速擴(kuò)展端口410，該高速擴(kuò)展端口410可接受各種擴(kuò)展卡(未示出)。在該實(shí)施方式中，低速控制器412耦接到存儲(chǔ)設(shè)備406和低速擴(kuò)展端口414。可包括各種通信端口(例如，usb、藍(lán)牙、以太網(wǎng)、無線以太網(wǎng))的低速擴(kuò)展端口可以例如通過網(wǎng)絡(luò)適配器耦接到一個(gè)或多個(gè)輸入/輸出設(shè)備，諸如鍵盤、點(diǎn)擊設(shè)備、掃描儀、或網(wǎng)絡(luò)設(shè)備,諸如交換機(jī)或路由器。

計(jì)算設(shè)備400可通過多種不同形式實(shí)施，如圖所示。例如，可將其實(shí)施為標(biāo)準(zhǔn)服務(wù)器420，或者在這種服務(wù)器的群組中實(shí)施多次。也可將其實(shí)施為機(jī)架服務(wù)器系統(tǒng)424的一部分。此外，可將其實(shí)施在個(gè)人計(jì)算機(jī)中,諸如膝上型計(jì)算機(jī)422?；蛘?，可將來自計(jì)算設(shè)備400的組件與移動(dòng)設(shè)備中的其他組件(未示出)組合，諸如設(shè)備450。這些設(shè)備中的每個(gè)設(shè)備都可包含計(jì)算設(shè)備400、450中的一個(gè)或多個(gè)，并且整個(gè)系統(tǒng)可以由相互通信的多個(gè)計(jì)算設(shè)備400、450組成。

除了其他組件之外，計(jì)算設(shè)備450包括處理器452、存儲(chǔ)器464、輸入/輸出設(shè)備諸如顯示器454、通信接口466、以及收發(fā)器468。也可以向設(shè)備450提供存儲(chǔ)設(shè)備，諸如微型驅(qū)動(dòng)器或其他設(shè)備，以提供額外的存儲(chǔ)。組件450、452、464、454、466和468中的每個(gè)組件使用各種總線互連，并且可將若干組件安裝在公共主板上，或者視情況以其他方式安裝。

處理器452可以執(zhí)行計(jì)算設(shè)備640中的指令，包括存儲(chǔ)器464中存儲(chǔ)的指令?？蓪⑻幚砥鲗?shí)施為芯片的芯片組，包括獨(dú)立的多個(gè)模擬處理器和數(shù)字處理器。例如，處理器可以提供設(shè)備450的其他組件的協(xié)調(diào)，諸如用戶界面的控制、設(shè)備450運(yùn)行的應(yīng)用、以及設(shè)備450的無線通信。

處理器452可通過控制接口648以及耦接到顯示器454的顯示接口456與用戶通信。顯示器454例如可以是tftlcd(薄膜晶體管液晶顯示器)或oled(有機(jī)發(fā)光二極管)顯示器，或其他適當(dāng)?shù)娘@示器技術(shù)。顯示接口456可包括用于驅(qū)動(dòng)顯示器454的適當(dāng)電路，以向用戶呈現(xiàn)圖形信息和其他信息?？刂平涌?58可接收來自用戶的命令并將它們轉(zhuǎn)化，用于提交給處理器452。此外，可提供外部接口462與處理器452通信，從而實(shí)現(xiàn)設(shè)備450與其他設(shè)備的近區(qū)域通信。外部接口462例如在一些實(shí)施方式中提供有線通信，在其他實(shí)施方式中提供無線通信，并且還可以使用多個(gè)接口。

存儲(chǔ)器464將信息存儲(chǔ)在計(jì)算設(shè)備450中?？蓪⒋鎯?chǔ)器464實(shí)施為計(jì)算機(jī)可讀介質(zhì)或媒體、易失性存儲(chǔ)器單元或多個(gè)單元、或者非易失性存儲(chǔ)器單元或多個(gè)單元中的一個(gè)或多個(gè)。此外，可提供擴(kuò)展存儲(chǔ)器454并通過擴(kuò)展接口452連接到設(shè)備450，該擴(kuò)展接口452例如可包括simm(單列直插式內(nèi)存模塊)卡接口。這種擴(kuò)展存儲(chǔ)器454可以為設(shè)備450提供額外的存儲(chǔ)空間，或者還可以存儲(chǔ)用于設(shè)備450的應(yīng)用或其他信息。具體而言，擴(kuò)展存儲(chǔ)器454可包括執(zhí)行或補(bǔ)充上述過程的指令，并且還可包括安全信息。因此,例如，可以提供擴(kuò)展存儲(chǔ)器454作為用于設(shè)備450的安全模塊，并且可通過允許安全使用設(shè)備450的指令編程。此外，可經(jīng)由simm卡連同附加信息一起提供安全應(yīng)用，諸如按照不可破解的方式將識(shí)別信息放入simm卡。

存儲(chǔ)器例如可包括閃存和/或nvram存儲(chǔ)器，如下所述。在一個(gè)實(shí)施方式中，在信息載體中有形地具體實(shí)施計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品包含指令，該指令在執(zhí)行時(shí)進(jìn)行如上所述的一個(gè)或多個(gè)方法。信息載體是計(jì)算機(jī)可讀介質(zhì)或機(jī)器可讀介質(zhì)，例如存儲(chǔ)器464、擴(kuò)展存儲(chǔ)器454、處理器452上的存儲(chǔ)器、或者例如可通過收發(fā)器468或外部接口462接收的傳播信號(hào)。

設(shè)備450可通過通信接口466無線地通信，在必要時(shí)候通信接口466可包括數(shù)字信號(hào)處理電路。除了別的之外，通信接口466可以在各種模式或協(xié)議下提供通信，諸如gsm語音呼叫、sms、ems、或mms消息、cdma、tdma、pdc、wcdma、cdma2000或gprs。這種通信例如可通過射頻收發(fā)器468發(fā)生。此外，短距通信諸如可使用藍(lán)牙、wifi、或其他這種收發(fā)器(未示出)發(fā)生。此外，gps(全球定位系統(tǒng))接收器模塊450可將附加導(dǎo)航數(shù)據(jù)以及位置相關(guān)無線數(shù)據(jù)提供給設(shè)備450，它們可以視情況通過設(shè)備450上運(yùn)行的應(yīng)用來使用。

設(shè)備450也可使用音頻編譯碼器460有聲地通信，該音頻編譯碼器460可以接收來自用戶的說出的信息，并將其轉(zhuǎn)化為可用的數(shù)字信息。同樣，音頻編譯碼器460可以為用戶生成可聽的聲音，諸如通過揚(yáng)聲器，例如在設(shè)備450的耳機(jī)中。這種聲音可包括來自話音電話呼叫的聲音，可包括所記錄的聲音(例如話音消息、音樂文件等等)，還可包括通過設(shè)備450上操作的應(yīng)用所生成的聲音。

可通過多種不同形式來實(shí)施計(jì)算設(shè)備450，如圖所示。例如，可將其實(shí)施為蜂窩電話480。也可將其實(shí)施為智能電話482、個(gè)人數(shù)字助理、或其他類似移動(dòng)設(shè)備的一部分。

描述了多個(gè)實(shí)施方式。但是應(yīng)當(dāng)理解，在不脫離本公開精神和范圍的情況下可以進(jìn)行各種修改。例如，可以使用上述流程的各種形式，將步驟重新排序，增加步驟，或去除步驟。因此，其他實(shí)施方式也落入所附權(quán)利要求書的范圍內(nèi)。

本發(fā)明的實(shí)施方式已經(jīng)在說明書中所述的所有功能操作可以在數(shù)字電子電路中實(shí)施，或者在計(jì)算機(jī)軟件、固件或硬件中實(shí)施，包括在本說明書中公開的結(jié)構(gòu)及其結(jié)構(gòu)等同物，或者在其一個(gè)或多個(gè)的組合中實(shí)施。本發(fā)明的實(shí)施方式可以被實(shí)施為一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，即，編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序指令的一個(gè)或多個(gè)模塊，以用于由數(shù)據(jù)處理裝置執(zhí)行或者控制數(shù)據(jù)處理裝置的操作。該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是機(jī)器可讀存儲(chǔ)設(shè)備、機(jī)器可讀存儲(chǔ)基底、存儲(chǔ)器設(shè)備、產(chǎn)生機(jī)器可讀傳播信號(hào)的組合物或者其一個(gè)或多個(gè)的組合。術(shù)語“數(shù)據(jù)處理裝置”涵蓋用于處理數(shù)據(jù)的所有裝置、設(shè)備和機(jī)器，例如，包括可編程處理器、計(jì)算機(jī)或多個(gè)處理器或多個(gè)計(jì)算機(jī)。裝置除了硬件以外還可以包括代碼，其創(chuàng)建用于所討論的計(jì)算機(jī)程序的執(zhí)行環(huán)境，例如構(gòu)成處理器固件、協(xié)議棧、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)或者其一個(gè)或多個(gè)的組合的代碼。傳播信號(hào)是人工生成的信號(hào)，例如，機(jī)器生成的電學(xué)、光學(xué)或電磁信號(hào)，其被生成以編碼信息以傳輸?shù)胶线m的接收機(jī)裝置。

計(jì)算機(jī)程序(又稱為程序、軟件、軟件應(yīng)用、腳本或代碼)可以以任何形式的編程語言編寫，包括編譯或解釋語言；并且其可以以任何形式部署，包括作為獨(dú)立程序或作為模塊、組件、子例程、或適合于在計(jì)算環(huán)境中使用的其它單元。計(jì)算機(jī)程序不必對應(yīng)于文件系統(tǒng)中的文件。程序可以存儲(chǔ)在保存其它程序或數(shù)據(jù)的文件的一部分中(例如，存儲(chǔ)在標(biāo)記語言文檔中的一個(gè)或多個(gè)腳本)、在專用于所討論的程序的單個(gè)文件中或者多個(gè)協(xié)同文件中(例如存儲(chǔ)一個(gè)或多個(gè)模塊、子程序或代碼的部分的文件)。計(jì)算機(jī)程序可以被部署為在一個(gè)計(jì)算機(jī)上執(zhí)行或者在位于一地或者跨多地分布并通過通信網(wǎng)絡(luò)互連的多個(gè)計(jì)算機(jī)上執(zhí)行。

計(jì)算機(jī)程序(又稱為程序、軟件、軟件應(yīng)用或代碼)包括用于可編程處理器的機(jī)器指令，并且可以以高級(jí)程序語言和/或面向?qū)ο蟮木幊陶Z言和/或匯編/機(jī)器語言實(shí)施。如同本文使用的，術(shù)語“機(jī)器可讀介質(zhì)”、“計(jì)算機(jī)可讀介質(zhì)”表示用于將機(jī)器指令和/或數(shù)據(jù)提供給可編程處理器的任何計(jì)算機(jī)程序產(chǎn)品、設(shè)備和/或設(shè)備(例如，磁盤、光盤、存儲(chǔ)器、可編程邏輯器件(pld))，包括接收機(jī)器指令作為機(jī)器可讀信號(hào)的機(jī)器可讀介質(zhì)。術(shù)語“機(jī)器可讀信號(hào)”表示用于將機(jī)器指令和/或數(shù)據(jù)提供給可編程處理器的任何信號(hào)。

在本說明書中所述的過程和邏輯流可以由執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)程序的一個(gè)或多個(gè)可編程處理器執(zhí)行以通過對輸入數(shù)據(jù)執(zhí)行操作并生成輸出來執(zhí)行功能。所述過程和邏輯流也可以由專用邏輯電路執(zhí)行，或者裝置也可以被實(shí)施為專用邏輯電路，所述專用邏輯電路例如fpga(現(xiàn)場可編程門陣列)或asic(專用集成電路)。

適合于執(zhí)行計(jì)算機(jī)程序的處理器例如包括通用微處理器和專用微處理器二者，以及任何類型的數(shù)字計(jì)算機(jī)的任何一個(gè)或多個(gè)處理器。通常，處理器將接收來自只讀存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器或二者的指令和數(shù)據(jù)。計(jì)算機(jī)的基本元件是用于執(zhí)行指令的處理器和用于存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)器設(shè)備。通常，計(jì)算機(jī)也將包括用于存儲(chǔ)數(shù)據(jù)的一個(gè)或多個(gè)大容量存儲(chǔ)設(shè)備，例如磁盤、磁光盤或光盤，或者可以可操作地耦接到一個(gè)或多個(gè)大容量存儲(chǔ)設(shè)備以從其接收數(shù)據(jù)或向其輸送數(shù)據(jù)。然而，計(jì)算機(jī)不需要具有這樣的設(shè)備。此外，計(jì)算機(jī)可以嵌入另一設(shè)備中，例如平板計(jì)算機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理(pda)、移動(dòng)音頻播放器、全球定位系統(tǒng)(gps)接收機(jī)，等等。適合于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)包括所有形式的非易失性存儲(chǔ)器、介質(zhì)和存儲(chǔ)器設(shè)備，例如包括半導(dǎo)體存儲(chǔ)器設(shè)備，例如eprom、eeprom以及閃存設(shè)備；磁盤，例如內(nèi)部硬盤或可移除盤；磁光盤；以及cdrom和dvd-rom盤。處理器和存儲(chǔ)器可以通過專用邏輯電路補(bǔ)充或并入專用邏輯電路中。

為了提供與用戶的交互，可以在計(jì)算機(jī)上實(shí)施本發(fā)明的實(shí)施方式，該計(jì)算機(jī)具有用于向用戶顯示信息的顯示設(shè)備，例如crt(陰極射線管)或lcd(液晶顯示器)監(jiān)視器；以及用戶由其向計(jì)算機(jī)提供輸入的鍵盤和點(diǎn)擊設(shè)備，例如鼠標(biāo)和軌跡球。也可以使用其他類型的設(shè)備來提供與用戶的交互；例如，向用戶提供的反饋可以是任何形式的感覺反饋，例如，視覺反饋、聽覺反饋、或觸覺反饋；并且可以按照任何形式接收來自用戶的輸入，包括聲學(xué)、語音、或觸覺輸入。

可以在計(jì)算系統(tǒng)中實(shí)施本發(fā)明的實(shí)施方式，該計(jì)算系統(tǒng)包括后端組件，例如作為數(shù)據(jù)服務(wù)器；或者包括中間件組件，例如應(yīng)用服務(wù)器；或者包括前端組件，例如具有圖形用戶界面或web瀏覽器的客戶端計(jì)算機(jī)，用戶由其可與本發(fā)明的實(shí)施方式交互；或者包括一個(gè)或多個(gè)這些后端組件、中間件組件、或前端組件的任何組合。系統(tǒng)的組件可通過任何形式或介質(zhì)的數(shù)字?jǐn)?shù)據(jù)通信例如通信網(wǎng)絡(luò)來互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“l(fā)an”)以及廣域網(wǎng)(“wan”)，例如，互聯(lián)網(wǎng)。

計(jì)算系統(tǒng)可包括客戶端和服務(wù)器?？蛻舳撕头?wù)器通常相互遠(yuǎn)離，且一般通過通信網(wǎng)絡(luò)來交互。客戶端與服務(wù)器的關(guān)系由于在相應(yīng)計(jì)算機(jī)上運(yùn)行并且相互具有客戶端-服務(wù)器關(guān)系的計(jì)算機(jī)程序而出現(xiàn)。

雖然本公開包含許多特例，但是這些特例不應(yīng)解釋為對本發(fā)明的范圍或者要求保護(hù)的范圍的限制，而是作為對本發(fā)明的特定實(shí)施方式所特有的特征的描述。在獨(dú)立實(shí)施方式的背景下本說明書所述的某些特征也可以在單個(gè)實(shí)施方式中組合實(shí)施。相反，在單個(gè)實(shí)施方式的背景下描述的不同特征也可以單獨(dú)地或者按照任何合適的子組合在多個(gè)實(shí)施方式中實(shí)施。此外，雖然上面可將特征描述為在某些組合中起作用，甚至一開始就這樣要求保護(hù)，但是在有些情況下可將來自所要求保護(hù)的組合的一個(gè)或多個(gè)特征從組合中刪除，并且所要求保護(hù)的組合可以指向子組合或者子組合的變型。

類似地，雖然按照特定順序在附圖中描繪了操作，但是這不應(yīng)理解為要求按照所示特定順序或者按照依次順序進(jìn)行這些操作，或者要求進(jìn)行全部所示的操作，以實(shí)現(xiàn)期望的結(jié)果。在某些情況下，多任務(wù)和并行處理可能是有利的。此外，在上述實(shí)施方式中各種系統(tǒng)組件的分離不應(yīng)理解為在所有實(shí)施方式中都要求這種分離，并且應(yīng)當(dāng)理解，所述程序組件和系統(tǒng)通?？梢约稍趩蝹€(gè)軟件產(chǎn)品中或者封裝在多個(gè)軟件產(chǎn)品中。

在其中提及html文件的每個(gè)實(shí)例中，可以代之以其它文件類型或格式。例如，html文件可以由xml、json、純文本或其它類型的文件來替代。此外，在提及表或哈希表的情況下，可以使用其它數(shù)據(jù)結(jié)構(gòu)(諸如，電子表格、關(guān)系數(shù)據(jù)庫或結(jié)構(gòu)化文件)。

本文所述的系統(tǒng)和技術(shù)的各種實(shí)施方式可以在數(shù)字電子電路、集成電路、專門設(shè)計(jì)的asic(專用集成電路)、計(jì)算機(jī)硬件、固件、軟件和/或其組合中實(shí)現(xiàn)。這些各種實(shí)施方式可以包括一個(gè)或多個(gè)計(jì)算機(jī)程序中的實(shí)施方式，所述計(jì)算機(jī)程序可在可編程系統(tǒng)上執(zhí)行和/或解釋，所述可編程系統(tǒng)包括至少一個(gè)可編程處理器、存儲(chǔ)系統(tǒng)、至少一個(gè)輸入設(shè)備以及至少一個(gè)輸出設(shè)備，所述可編程處理器可以是專用的或通用的，其耦接以從所述存儲(chǔ)系統(tǒng)接收數(shù)據(jù)和指令并向其傳送數(shù)據(jù)和指令。

因此，描述了本公開的特定實(shí)施方式。其他實(shí)施方式落入所附權(quán)利要求書的范圍內(nèi)。例如，權(quán)利要求中列舉的動(dòng)作可以按照不同的順序進(jìn)行，并且仍然實(shí)現(xiàn)期望的結(jié)果。描述了多個(gè)實(shí)施方式。但是應(yīng)當(dāng)理解，在不脫離本公開精神和范圍的情況下可以進(jìn)行各種修改。例如，可以使用上述流程的各種形式，將步驟重新排序，增加步驟，或去除步驟。因此，其他實(shí)施方式也落入所附權(quán)利要求書的范圍內(nèi)。