相關申請的交叉引用
本申請要求于2012年7月3日提交的美國臨時專利申請第61/667,817號以及于2012年8月6日提交的美國專利申請第13/567,572號的權益,這兩個申請的通過引用全文結合于此。
技術領域
本說明書涉及熱詞適合度的確定。
背景技術:
熱詞有時也被稱作“關注詞”或“喚醒詞”,其為用戶提供了與支持語音的計算設備開始交互的免提方式。當該計算設備檢測到用戶講出熱詞時,該設備進入接收進一步的用戶命令的準備狀態(tài)。設備制造商和軟件開發(fā)商通常提供供用戶采用以便與其設備或軟件應用進行交互的預定熱詞。
技術實現(xiàn)要素:
根據(jù)該說明書中所描述的主題的一個創(chuàng)新方面,移動設備的用戶可以定義其自己的熱詞以便由移動設備使用。候選熱詞能夠被評估以例如確定該候選熱詞是否容易被設備與另一個詞進行混淆,或者該候選熱詞是否不適合作為熱詞使用。該評估結果被顯示給用戶,用戶隨后可以確認其是否想要指定該候選熱詞作為熱詞,或者提交不同的候選熱詞進行評估。
作為該說明書中所描述的主題的另一個創(chuàng)新方面,一種過程包括:接收對用戶所講出的候選熱詞進行編碼的語音數(shù)據(jù);使用一種或多種預定準則對該語音數(shù)據(jù)或者候選熱詞的轉錄進行評估;使用一種或多種預定準則,基于對該語音數(shù)據(jù)或該候選熱詞的轉錄的評估而針對該候選熱詞生成熱詞適合度分數(shù);以及提供該熱詞適合度分數(shù)的表示以便向用戶顯示。
這些方面的其它實施例包括相應的系統(tǒng)、裝置以及在計算機存儲設備上編碼的計算機程序,其被配置為執(zhí)行該方法的操作。
這些和其它實施例可選地均可以包括以下一個或多個特征。例如,該熱詞適合度分數(shù)反映候選熱詞作為熱詞使用的適合度;熱詞是用于喚醒設備的關鍵詞或關鍵短語;熱詞是用于解鎖設備的關鍵詞或關鍵短語;熱詞是語音密碼;該語音數(shù)據(jù)從用戶所操作的移動設備進行接收;生成熱詞適合度分數(shù)包括使用兩個或更多預定準則,基于對該語音數(shù)據(jù)或者該候選熱詞的轉錄的評估而針對該預定準則中的每一個預定準則生成特征分數(shù),對該特征分數(shù)進行匯總,并且輸出經(jīng)匯總的特征分數(shù)以作為熱詞適合度分數(shù);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括以幀為單位確定該語音數(shù)據(jù)的詞長度,其中較長的詞長度與較高的熱詞適合度分數(shù)相關聯(lián);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括確定與候選熱詞相關聯(lián)的音節(jié)或音素的數(shù)量,其中較大的音節(jié)或音素的數(shù)量與較高的熱詞適合度分數(shù)相關聯(lián);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括確定該候選熱詞的轉錄和與該候選熱詞共享相同語言的一個或多個其它詞之間的編輯距離,其中較小的編輯距離與較低的熱詞適合度分數(shù)相關聯(lián);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括確定針對該候選熱詞規(guī)定的發(fā)音的數(shù)量,其中較少的發(fā)音的數(shù)量與較高的熱詞適合度分數(shù)相關聯(lián);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括確定在該候選熱詞的轉錄中出現(xiàn)一個或多個特定音素;特定音素在該轉錄中的出現(xiàn)與較高的熱詞適合度分數(shù)相關聯(lián);特定音素在該轉錄中的出現(xiàn)與較低的熱詞適合度分數(shù)相關聯(lián);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括確定語音識別器可用的熱詞的訓練示例的數(shù)量,其中較小的訓練示例的數(shù)量與較低的熱詞適合度分數(shù)相關聯(lián);評估該語音數(shù)據(jù)或候選熱詞的轉錄包括確定該候選熱詞的發(fā)音在用戶對該候選熱詞的多個語音表達(utterance)中發(fā)生變化的程度,其中較大的程度與較低的熱詞適合度分數(shù)相關聯(lián);熱詞適合度分數(shù)的表示包括指示候選熱詞適合作為熱詞的數(shù)據(jù);熱詞適合度分數(shù)的表示包括指示候選熱詞已經(jīng)被接受作為熱詞的數(shù)據(jù);熱詞適合度分數(shù)的表示包括熱詞適合度分數(shù)的經(jīng)色彩編碼的表示;和/或熱詞適合度分數(shù)的表示包括條(bar)、量計(gauge)或儀表。
有利的實施方式可以包括以下一個或多個特征。在對熱詞進行評估時可以考慮與候選熱詞以及特定講話者(例如,設備用戶)相關的準則??梢詫Ω鞣N熱詞適合度準則進行計分并匯總,這確保了每個準則都被加以考慮,并且特定準則在熱詞評估過程期間不會占據(jù)主導。設備用戶可以在為其設備選擇熱詞時接收熱詞適合度分數(shù)以便做出知情決策。使用適當熱詞可以改進設備執(zhí)行熱詞檢測的能力,因此改善設備性能和用戶體驗。此外,使用適當熱詞可以限制出現(xiàn)“錯誤肯定”的熱詞檢測而錯誤地激活設備的可能性,因此節(jié)省了設備資源。
附圖和以下的描述中給出了一種或多種實施方式的細節(jié)。其它可能的特征和優(yōu)勢將由于描述、附圖和權利要求變得顯而易見。
附圖說明
圖1和2是可以確定所講出的熱詞的適合度的示例系統(tǒng)的示圖。
圖3是圖示用于確定所講出的關鍵詞并且用于提供適合度的表示的示例處理的流程圖。
圖4示出了一般計算機設備和一般移動計算機設備的示例。
各圖中同樣的附圖標記和標注指示同樣的元素。
具體實施方式
圖1是可以確定所講出的熱詞的適合度的示例系統(tǒng)100的示圖。圖1還圖示了以階段(A)至(H)所示的示例數(shù)據(jù)流。階段(A)至(H)可以以所圖示的順序進行,或者它們可以以與所圖示的順序不同的順序進行。
通常,熱詞適合度可以由系統(tǒng)100作為熱詞指定處理的一部分來確定。熱詞可以包括用戶所講出的用于與靜態(tài)、便攜式或移動計算設備進行交互或者對它們進行控制的關鍵詞或關鍵短語。例如,熱詞可以由用戶講出以發(fā)起與計算設備的通信,這通常將設備置于其可以接收另外的語音命令的狀態(tài)。例如,在檢測到所講出的熱詞時,計算設備可以執(zhí)行各種操作,包括激活(即,從休眠或空閑狀態(tài)“喚醒”)、解鎖、開啟設備應用(例如,搜索應用、地圖應用等)、加載優(yōu)選用戶設置和/或其它適當操作。
設備用戶可能想要選擇特定的詞或短語來用作其計算設備的熱詞。例如,對個人具有意義的詞或短語可以用來對設備進行定制,可以以幽默的方式對設備進行個性化,并且與設備制造商所提供的詞或短語相比用戶更易于記住或發(fā)音。此外,用戶所選擇的熱詞可以提供安全措施,特別是用作密碼。然而,一些詞或短語與其它詞或短語相比可能更容易被計算設備所檢測,并且因此可以用作更好的熱詞。如以下示例中所描述的,熱詞的可檢測性取決于與特定詞或短語相關并且與特定講話者相關的各種因素,諸如詞或短語的長度、詞或短語中所包括的音節(jié)或語音的數(shù)量、特定語音的出現(xiàn)、詞或短語被識別的發(fā)音的數(shù)量、講話者所講出的詞或短語發(fā)音的變化、來自各個其它講話者的詞或短語的訓練示例的可用性以及所講出的詞或短語與共享語言的其它詞或短語之間的編輯距離。每種準則可以進行打分、匯總并且向用戶輸出,因此提供候選熱詞的適合度的整體指示。例如,基于熱詞適合度分數(shù),用戶可以在為其設備選擇熱詞時做出知情決策。
更為詳細地,系統(tǒng)100包括計算設備102(這里在各個操作階段被示為計算設備102a、102b和102c),其能夠呈現(xiàn)界面104(這里在各個操作階段被示為界面104a、104b和104c)以便向用戶顯示。計算設備102包括一個或多個處理器,其被配置為執(zhí)行由計算機可讀介質所存儲的用于執(zhí)行諸如輸入/輸出、通信、數(shù)據(jù)處理等的各種設備操作的指令。例如,計算設備102可以包括一個或多個客戶端計算設備(例如,臺式計算機、膝上型計算機、筆記本計算機、導航系統(tǒng)、智能電話和或者其它適當計算設備)和/或可以包括一個或多個服務器(例如,后端服務器集群)。例如,客戶端計算設備所接收的輸入可以在本地進行處理,或者可以被提供至后端系統(tǒng)(例如,云端)以便進行處理。作為另一個示例,該處理可以在一個或多個客戶端計算設備(例如,處于端對端配置)和/或服務器之間進行分布。
參考示例數(shù)據(jù)流,在階段(A),提示用戶講出或鍵入候選熱詞。例如,計算設備102(這里被示為102a)可以經(jīng)由界面104(這里被示為界面104a)向用戶提供指令消息“請講出您所期望的熱詞”。在當前示例中,用戶語音表達出候選熱詞“pizza”并且計算設備102基于該語音表達捕獲、編碼和/或生成語音數(shù)據(jù)110。
該語音數(shù)據(jù)110例如可以包括音頻源數(shù)據(jù)112(例如,音頻流、數(shù)字采樣的音頻文件或者另一種適當?shù)臄?shù)據(jù)格式)、相對應的音素(phone)集合114(即,說話聲),以及可選地包括轉錄116。例如,為了識別音素集合114(例如,在用戶語音表達的“pizza”中所檢測到的語音聲音),計算設備102和/或后端計算設備能夠對音頻源數(shù)據(jù)112中所包括的聲信號進行分析,并且能夠基于該分析來計算聲音特征并對其進行分類。另外,為了生成轉錄116(例如,所轉錄的詞“pizza”),計算設備102和/或后端計算設備能夠使用語音識別技術(例如,隱馬爾科夫模型、神經(jīng)網(wǎng)絡或其它適當技術)將音素集合114與詞或短語相關聯(lián)。例如,在捕獲、編碼和/或生成語音數(shù)據(jù)110時,該數(shù)據(jù)可以被提供至一個或多個熱詞強度評估引擎120。
在階段(B)期間,對語音數(shù)據(jù)進行處理和評估。在當前示例中,熱詞強度評估引擎120可以處理并評估語音數(shù)據(jù)110。熱詞強度評估引擎120例如可以包括被配置為對語音數(shù)據(jù)進行處理和評估的一個或多個硬件和/或軟件組件(例如,模塊、對象、庫等),并且可以由計算設備102和/或其它相關聯(lián)的設備(例如,后端服務器、對等設備等)的一個或多個處理器執(zhí)行。
通常,可以使用各種準則來評估語音數(shù)據(jù)。例如,每種準則可以與不同的熱詞強度評估引擎相關聯(lián),后者進而可以基于特定準則產(chǎn)生特征分數(shù)。每個不同的熱詞強度評估引擎例如可以評估音頻源數(shù)據(jù)、所得出的音素集合、轉錄和/或與候選熱詞相關聯(lián)的其它適當語音數(shù)據(jù)。此外,在一些實施方式中,可以對訓練示例(與講話者和/或其它講話者所講出的候選熱詞的過去語音表達相關聯(lián)的語音數(shù)據(jù))進行評估。例如,訓練示例可以由訓練示例數(shù)據(jù)存儲庫122進行維護。訓練示例數(shù)據(jù)存儲庫122能夠實施數(shù)據(jù)庫、數(shù)據(jù)服務、文件系統(tǒng)等以增加、刪除并維護系統(tǒng)100所使用的數(shù)據(jù)。
在當前示例中,熱詞強度評估引擎120中的一個或多個可以對音頻源數(shù)據(jù)112進行評估以按照幀(即,基于時間的音頻分段)來確定詞長度。例如,后選熱詞“pizza”可以被認為與其它詞相比相對簡短,或者特定講話者可能與其它詞或其它講話者相比恰好相對快速地語音表達出詞“pizza”。例如,基于詞長度準則,熱詞長度評估引擎120之一可以產(chǎn)生相對應的特征分數(shù)124a(例如,低分數(shù))。
繼續(xù)當前示例,熱詞強度評估引擎120之一可以對音素集合114和/或轉錄116進行評估以識別候選熱詞與講話者的語言中的其它詞或短語的編輯距離或音素混淆度。例如,為了識別編輯距離,可以使用有限狀態(tài)換能器、音素至音素換能器和/或語言模型來確定可能與候選熱詞相混淆的最可能的詞或短語。在當前示例中,可以確定諸如“visa”、“piece of”和“beet saw”(除其它之外)之類的若干個詞或短語很可能與候選熱詞“pizza”相混淆?;诰庉嬀嚯x準則,例如,熱詞強度評估引擎120之一可以確定有中等數(shù)量的詞或短語與候選熱詞“pizza”具有小的編輯距離,并且因此可以產(chǎn)生相對應的特征分數(shù)124b(例如,中等或低等分)。
另外,在當前示例中,熱詞強度評估引擎120之一可以對轉錄116和/或訓練示例數(shù)據(jù)存儲庫122所提供的數(shù)據(jù)進行評估以識別針對候選熱詞所指定的發(fā)音數(shù)量。例如,為了識別詞“pizza”的可能發(fā)音,熱詞強度評估引擎可以基于轉錄116參考詞典或發(fā)音指南中的詞。作為另一個示例,熱詞強度評估引擎可以參考訓練示例數(shù)據(jù)存儲庫122中的詞“pizza”,并且可以識別各個講話者如何對該詞進行發(fā)音的變化。在當前示例中,可以確定的是,雖然在詞典或發(fā)音指南中僅找到了詞“pizza”的一種官方美式英語發(fā)音,但是美國講話者如何對該詞發(fā)音則存在一些變化。例如,一些美國講話者可能會使用詞“pizza”的本土意大利講話者的發(fā)音。例如,基于發(fā)音數(shù)量準則,熱詞強度評估引擎120之一可以確定針對候選詞“pizza”存在少量到中等數(shù)量的發(fā)音,并且因此可以產(chǎn)生相對應的特征分數(shù)124c(例如,高或中等分數(shù))。
在階段(C)期間,生成熱詞適合度分數(shù)。例如,在生成每個特征分數(shù)124a、124b和124c時,特征分數(shù)的集合126可以被提供至熱詞分數(shù)生成器128。熱詞分數(shù)生成器128例如可以對分數(shù)124a、124b和124c進行匯總并且提供經(jīng)匯總的特征分數(shù)作為熱詞適合度分數(shù)。例如,為了生成熱詞適合度分數(shù),熱詞分數(shù)生成器128可以使用邏輯回歸或可替換分類器來訓練用于估計候選熱詞(例如,詞“pizza”)的置信度值的模型。通常,高的置信度值可以與可能適合的熱詞相關聯(lián)。作為另一個示例,熱詞分數(shù)生成器可以為每個特征分數(shù)124a、124b和124c指定適當權重(例如,基于經(jīng)驗分析)并且可以執(zhí)行匯總操作。
在階段(D)期間,提供熱詞適合度分數(shù)的表示以便向用戶顯示。例如,計算設備102(在這里被示為設備102b)可以經(jīng)由界面(這里被示為界面104b)向用戶提供熱詞適合度的一個或多個指示(例如,視覺和/或音頻的)。在當前示例中,界面104b可以向用戶呈現(xiàn)消息(例如,候選熱詞“pizza”相對“弱”),以及與各種熱詞打分準則(例如,匯總熱詞適合度分數(shù)12/100)相關聯(lián)的特征和/或匯總分數(shù)的一種或多種文本或圖形表示(例如,線狀圖、柱狀圖、象限圖等)。此外,在當前示例中,用戶可以被呈現(xiàn)以提交另一個候選熱詞的提示(例如,“請重試”)。該提示例如可以在熱詞適合度分數(shù)低于預定閾值的情況下被提供。
同樣參考該示例數(shù)據(jù)流,類似于階段(A),在階段(E)期間,用戶再次被提示提供候選熱詞。在當前示例中,用戶語音表達出候選熱詞“smorgasbord(自助餐)”,并且計算設備102基于該語音表達捕獲、編碼和/或生成語音數(shù)據(jù)130。例如,類似于語音數(shù)據(jù)110,語音數(shù)據(jù)130可以包括音頻源數(shù)據(jù)132、相對應的音素集合134,以及可選地包括轉錄136。例如,在捕獲、編碼和/或生成語音數(shù)據(jù)130時,可以向一個或多個熱詞強度評估引擎120提供該數(shù)據(jù)。
類似于階段(B),在階段(F)期間,對語音數(shù)據(jù)進行處理和評估。在當前示例中,熱詞強度評估引擎120可以對語音數(shù)據(jù)130進行處理和評估。例如,熱詞強度評估引擎120可以對音頻源數(shù)據(jù)132、音素集合134、轉錄136以及與候選熱詞“smorgasbord”相關聯(lián)的其它適當語音數(shù)據(jù)進行評估。
在當前示例中,熱詞強度評估引擎120之一可以對音頻源數(shù)據(jù)132進行評估以按幀確定詞長度。例如,候選熱詞“smorgasbord”可以被認為與其它詞相比相對更長(例如,基于平均詞長度),或者特定講話者恰好與其它詞或其它講話者相比相對緩慢地語音表達出詞“pizza”。例如,基于詞長度準則,一個或多個熱詞強度評估引擎120可以產(chǎn)生相對應的特征分數(shù)124a(例如,高分數(shù))。
繼續(xù)當前示例,熱詞強度評估引擎120之一可以對音素集合134和/或轉錄136進行評估以識別候選熱詞與講話者語言中的其它詞或短語的編輯距離。在當前示例中,可以確定詞“harpsichord”具有與候選熱詞“smorgasbord”相混淆的極小可能性。例如,基于編輯距離準則,熱詞強度評估引擎120之一可以確定少量詞或短語與候選熱詞“smorgasbord”具有中等的編輯距離,并且因此可以產(chǎn)生相對應的特征分數(shù)124b(例如,高分數(shù))。
另外,在當前示例中,熱詞強度評估引擎120之一可以對轉錄136和/或訓練示例數(shù)據(jù)存儲庫122所提供的數(shù)據(jù)進行評估以識別針對該候選熱詞所指定的發(fā)音數(shù)量。例如,類似于詞“pizza”,可以確定的是,雖然在詞典或發(fā)音指南中僅找到了詞“smorgasbord”的一種官方美式英語發(fā)音,但是美國講話者如何對該詞進行發(fā)音具有一些變化。例如,一些美國講話者可能會使用詞“smorgasbord”的瑞典發(fā)音。例如,基于發(fā)音數(shù)量準則,熱詞強度評估引擎120之一可以確定針對候選熱詞“smorgasbord”存在少量到中等數(shù)量的發(fā)音,并且因此可以產(chǎn)生相對應的特征分數(shù)124c(例如,高或中等分數(shù))。
類似于階段(C),在階段(G)期間,生成熱詞適合度分數(shù)。例如,在針對語音數(shù)據(jù)130生成每個特征分數(shù)124a、124b和124c時,特征分數(shù)的集合126可以被提供至熱詞分數(shù)生成器128。另外,類似于階段(D),在階段(H)期間,提供熱地適合度分數(shù)的表示以便向用戶顯示。在當前示例中,界面104(這里被示為界面104c)可以向用戶呈現(xiàn)消息(例如,候選熱詞“smorgasbord”相對“強”),以及與各種熱詞打分準則(例如,匯總熱詞適合度分數(shù)93/100)相關聯(lián)的特征和/或匯總分數(shù)的一種或多種文本或圖形表示。此外,在當前示例中,用戶可以被呈現(xiàn)有候選熱詞被指定為設備熱詞的消息(例如,熱詞“被接受”)。該消息例如可以在熱詞適合度分數(shù)高于預定閾值的情況下被提供。
如之前示例中所描述的,在對熱詞進行評估時可以考慮與候選熱詞以及特定講話者相關的準則。設備用戶可以對計算設備102所提供的熱詞適合度信息進行審閱以選擇熱詞。使用適當?shù)臒嵩~可以改善設備所進行的熱詞檢測,因此提高設備性能并節(jié)約設備資源。在之前示例中已經(jīng)描述了用于評估語音數(shù)據(jù)并且用于生成熱詞適合度分數(shù)的若干準則。然而,如以下另外的示例中將要描述的,可以考慮另外的準則、較少的準則和/或不同的準則。
圖2是可以確定所講出的熱詞的適合度的示例系統(tǒng)200的示圖。例如,系統(tǒng)200可以包括一個或多個客戶端計算設備和/或后端服務器的硬件和/或軟件組件。總體上,系統(tǒng)200可以接收對用戶所講出的候選熱詞進行編碼的語音數(shù)據(jù),并且能夠對該語音數(shù)據(jù)進行評估和轉錄,能夠針對候選熱詞生成熱詞適合度分數(shù),并且能夠提供熱詞適合度分數(shù)的表示以便向用戶顯示。
系統(tǒng)200可以包括計算機可讀介質202(例如,一個或多個軟盤設備、硬盤設備、光盤設備、帶式設備、閃存設備或其它類似固態(tài)存儲器設備,或者設備的陣列)以用于存儲執(zhí)行這里所描述的處理的指令(例如,應用程序代碼)。另外,系統(tǒng)200可以包括一個或多個處理器204,其被配置為執(zhí)行指令并且實施各種設備操作,諸如輸入/輸出、通信、數(shù)據(jù)處理等。
系統(tǒng)200可以包括用戶界面生成器206,其用于在系統(tǒng)200和用戶之間提供接口(例如,圖形、音頻和/或觸覺)界面。例如,用戶界面生成器206可以提供(圖1所示的)界面104a、104b和104c以便向用戶提供提示、消息以及熱詞適合度的表示。另外,系統(tǒng)200可以包括音頻接口208。音頻接口208例如可以包括一個或多個用于從用戶接收所講出的詞和短語的麥克風,以及一個或多個用于向用戶提供音頻提示和反饋(例如,音調、錄音、計算機所生成的語音等)的揚聲器。此外,音頻接口208可以向處理器204提供與所接收的所講出的詞和短語相關聯(lián)的音頻信號以便進行數(shù)字采樣和編碼。
系統(tǒng)200可以包括n-gram/音素生成器210。例如,n-gram/音素生成器210可以對經(jīng)由音頻接口208和處理器204提供的編碼語音數(shù)據(jù)進行分析,并且可以識別相對應的一系列n-gram和/或音素。例如,n-gram/音素可以被語音識別引擎212用來執(zhí)行機器翻譯和轉錄。
系統(tǒng)200可以包括多個熱詞強度評估引擎214。熱詞強度評估引擎214可以考慮各種預定的準則來評估語音數(shù)據(jù)。例如,準則可以包括詞或短語的長度、詞或短語中所包括的音節(jié)或音素的數(shù)量、特定音素的出現(xiàn)、針對詞或短語所識別的發(fā)音的數(shù)量、講話者對詞或短語的發(fā)音可變性、來自各個講話者的詞或短語的訓練示例的可用性和/或所講出的詞或短語與共享語言的其它詞或短語之間的編輯距離。例如,每個熱詞強度評估引擎214可以使用一種或多種準則對語音數(shù)據(jù)進行評估。
系統(tǒng)200可以包括分數(shù)生成器216。例如,分數(shù)生成器216可以針對每個熱詞強度評估引擎214確定特征分數(shù),并且總的熱詞可用性分數(shù)可以通過對特征分數(shù)進行匯總來確定。熱詞適合度分數(shù)的表示例如可以經(jīng)由用戶界面生成器206所生成的界面而被提供給用戶。
圖3是圖示用于確定所講出的熱詞的適合度并且用于提供該適合度的表示的示例過程300的流程圖。在一些實施方式中,過程300可以由系統(tǒng)100和/或200執(zhí)行,并且出于清楚的原因將如此進行描述。簡單來講,過程300包括接收所講出的熱詞,對該熱詞進行評估,對該熱詞進行打分,并且提供熱詞適合度的表示。
更為詳細地,當過程300開始時(302),接收對用戶所講出的候選熱詞進行編碼的語音數(shù)據(jù)(304)。例如,用戶可能想要提供用于喚醒和/或解鎖其靜態(tài)設備(例如,家庭自動化系統(tǒng))或移動設備(例如,智能電話)的關鍵詞或關鍵短語。在當前示例中,用戶可以選擇提供其能夠記住而且還不太可能被其它用戶所想到的短語(即,語音密碼)。因此,當前示例中的用戶講出了短語“pizza smorgasbord”。
參考圖2,例如,音頻接口208能夠接收用戶所語音表達出的候選熱詞并且能夠將與所接收到的語音表達相關聯(lián)的音頻信號提供至處理器204以便進行數(shù)字采樣和編碼。另外,經(jīng)采樣和編碼的音頻信號能夠被n-gram/音素生成器210分解為一系列n-gram和音素,并且能夠被語音識別引擎212進行轉錄。例如,該語音數(shù)據(jù)和轉錄可以被提供至熱詞強度評估引擎214。
使用一種或多種預定準則對該語音數(shù)據(jù)或者候選熱詞的轉錄進行評估(306)。例如,每個熱詞強度評估引擎214可以被配置為基于特定準則或相關準則集合對語音數(shù)據(jù)和/或轉錄進行評估。通常,可以提取并評估可能與熱詞檢測性能相關的熱詞特征或特性。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定該語音數(shù)據(jù)的詞長度(例如,以幀為單位)。例如,可以使用幀化處理將與候選熱詞相關聯(lián)的語音信號劃分為較短的語音信號,由此識別相對穩(wěn)定的頻率特性。通常,較長的詞長度(例如,較大的幀數(shù)量)可以與較高的熱詞適合度分數(shù)相關聯(lián)。在當前示例中,候選熱詞“pizza smorgasbord”與典型熱詞相比可以是相對更長的,并且在考慮詞長度特征時可以與相對高的熱詞適合度分數(shù)相關聯(lián)。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定與候選熱詞相關聯(lián)的音節(jié)或音素的數(shù)量。例如,與候選熱詞相關聯(lián)的音節(jié)數(shù)量可以通過使用語音識別引擎212所生成的熱詞的轉錄來參考包括各個詞的音節(jié)計數(shù)的詞典來確定。作為另一個示例,與候選熱詞相關聯(lián)的音素的數(shù)量可以通過由n-gram/音素生成器210對針對熱詞所識別的音素集合進行評估而確定。在當前示例中,候選熱詞“pizza smorgasbord”可以被識別為總共包括五個音節(jié)(例如,單個詞“pizza”包括兩個音節(jié)以及詞“smorgasbord”包括三個音節(jié)),并且可以被識別為總共包括十個音素(例如,單個詞“pizza”包括三個音素以及詞“smorgasbord”包括七個音素)。通常,較大的詞或音素數(shù)量可以與較高的熱詞適合度分數(shù)相關聯(lián)。當前示例中的候選熱詞“pizza smorgasbord”與典型熱詞相比可以具有相對更大數(shù)量的音節(jié)和/或音素,并且在考慮音節(jié)和/或音素數(shù)量特征時可以與相對高的熱詞適合度分數(shù)相關聯(lián)。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定候選熱詞的轉錄與和該候選熱詞共享相同語言的一個或多個其它詞之間的編輯距離。例如,彼此之間具有小的編輯距離的詞或短語一般可能是易混淆的,而彼此之間具有大的編輯距離的詞或短語一般更容易區(qū)分。在當前示例中,可以確定短語“piece of harpsichord(大鍵琴)”與候選熱詞“pizza smorgasbord”可能具有中等的編輯距離(即,可能稍微容易與其混淆)。通常,較小的編輯距離可以與較低的熱詞適合度分數(shù)相關聯(lián)。因此,在當前示例中,由于短語“piece of harpsichord”與候選熱詞“pizza smorgasbord”之間具有中等的編輯距離,所以該候選熱詞在考慮編輯距離特征時可以與中等的熱詞適合度分數(shù)相關聯(lián)。
在一些實施方式中,在識別出在候選熱詞的預定編輯距離范圍之內的一個或多個詞或短語時,可以在確定編輯距離特征分數(shù)時考慮這樣的詞的數(shù)量。例如,短語“piece of harpsichord”可能已經(jīng)被識別為在候選熱詞“pizza smorgasbord”的預定編輯距離范圍內,但是可能僅有幾個(如果存在)其它短語可能同樣被識別為在該編輯距離范圍內。因此,在當前示例中,該候選熱詞可以與較高的特征分數(shù)相關聯(lián)。另外,在一些實施方式中,在確定熱詞適合度分數(shù)時可以考慮候選熱詞和/或處于該候選熱詞的預定編輯距離范圍之內的每個詞或短語(即,可能易混淆的詞或短語)在一般對話中被使用的可能性。例如,一個或多個候選熱詞評估引擎214可以確定候選熱詞“pizza smorgasbord”和/或可能混淆的短語“piece of harpsichord”在一般對話中被講出(例如,由設備用戶和/或一般由人)的可能性相對低,并且該候選熱詞可以與平均更高的特征分數(shù)相關聯(lián)。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定針對該候選熱詞所指定的發(fā)音的數(shù)量。例如,與候選熱詞相關聯(lián)的發(fā)音的數(shù)量可以通過使用語音識別引擎212所生成的熱詞的轉錄來參考包括該熱詞的常見或被接受的發(fā)音的詞典而被確定。作為另一個示例,可以對用戶和/或其它用戶已經(jīng)講出的候選熱詞的錄制實例進行評估。通常,較少的發(fā)音數(shù)量可以與較高的熱詞適合度分數(shù)相關聯(lián)。例如,熱詞強度評估引擎214之一可以從詞典源識別出短語“pizza smorgasbord”的單個官方發(fā)音,但是可以識別出講話者群體對該短語的較少或中等數(shù)量的不同發(fā)音。因此,在當前示例中,候選熱詞“pizza smorgasbord”在考慮發(fā)音數(shù)量特征時可以與相對高到中等的熱詞適合度分數(shù)相關聯(lián)。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定在候選熱詞的轉錄中出現(xiàn)的一個或多個特定音素或音節(jié)。例如,為了識別特定音節(jié),候選熱詞的轉錄可以被用來參考詞典或發(fā)音指南,并且可以識別與熱詞相關聯(lián)的定義的音節(jié)。作為另一個示例,熱詞強度評估引擎214之一可以評估由n-gram/音素生成器210針對講出的候選熱詞所識別出的音素。通常,在轉錄中出現(xiàn)的某些音素或音節(jié)可以與較高的熱詞適應性分數(shù)相關聯(lián)。例如,短語“pizza smorgasbord”中所包括的詞“pizza”的第二音節(jié)(即,“suh”)可以與高的可檢測置信水平相關聯(lián),并且與相對高的熱詞適合度相關聯(lián)。然而,轉錄中出現(xiàn)的某些其他音素一般可以與較低的熱詞適合度分數(shù)相關聯(lián)。例如,詞“pizza”的第一音節(jié)(即,“peet”)可以與低的可檢測置信水平相關聯(lián)(例如,其可能容易與音節(jié)“beet相混淆”),并且與相對低的熱詞適合度相關聯(lián)。例如,當確定并評估了出現(xiàn)在候選熱詞中的特定音素或音節(jié)時,與每個音素或音節(jié)相關聯(lián)的構成分數(shù)可以被用于確定匯總分數(shù)。例如,候選熱詞“pizza smorgasbord”可以包括與低、中等和高分數(shù)相關聯(lián)的特定音素或音節(jié)。因此,當前示例中的候選熱詞在考慮特定音素和/或音節(jié)特征時可以與中等熱詞適合度分數(shù)相關聯(lián)。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定語音識別器可用的熱詞的訓練示例的數(shù)量。例如,參考圖1,各個個體(例如,設備用戶和/或其它用戶)已經(jīng)講出的各種詞和短語的錄制實例可以由訓練示例數(shù)據(jù)存儲庫122維護。此外,訓練示例數(shù)據(jù)存儲庫122例如可以包括轉錄和/或索引數(shù)據(jù),從而所錄制的特定詞和/或短語的實例可以被參考并分析。通常,較小數(shù)量的訓練示例可以與較低的熱詞適合度分數(shù)相關聯(lián)。當前示例中的候選熱詞“pizza smorgasbord”與典型熱詞相比可以具有相對較小數(shù)量的訓練示例,并且在考慮訓練示例數(shù)量特征時可以與相對低的熱詞適合度分數(shù)相關聯(lián)。
如果針對特定候選熱詞沒有找到訓練示例,則在一些實施方式中,可以對最接近的相鄰熱詞(即,與相似音素、音節(jié)或其它適當特征相關聯(lián)的詞或短語)進行評估。例如,用戶可以選擇提供所發(fā)明的詞(即,詞典中并不存在的詞)作為候選熱詞。在當前示例中,由于針對所發(fā)明的候選熱詞無法找到訓練示例,所以該熱詞的訓練示例特征分數(shù)可以較低,但是其它特征分數(shù)可以相對較高,因此在確定匯總的熱詞適合度分數(shù)時抵消低的特征分數(shù)。例如,特定的所發(fā)明的詞可以包括與高特征分數(shù)相關聯(lián)的一個或多個音節(jié)或音素,并且所發(fā)明的詞可以在考慮編輯距離特征時與高分數(shù)相關聯(lián)。
在一些實施方式中,評估語音數(shù)據(jù)和/或候選熱詞的轉錄可以包括確定候選熱詞的發(fā)音在用戶所進行的該候選熱詞的多個語音表達中發(fā)生變化的程度。參考圖1,例如,用戶可以被計算設備102a多次提示“請講出您所期望的熱詞”,并且所講出的熱詞的多個實例(例如,相關聯(lián)的音頻信號)可以由一個或多個熱詞強度評估引擎120針對一致性而進行互相比較。在當前示例中,用戶可能在對候選熱詞“pizza smorgasbord”發(fā)音時稍有不一致——該短語對于特定講話者而言可能難以一致地發(fā)音。通常,較大的發(fā)音變化程度可以與較低的熱詞適合度分數(shù)相關聯(lián)。因此,在當前示例中,在考慮發(fā)音變化特征時,候選熱詞“pizza smorgasbord”可以與相對低的熱詞適合度分數(shù)相關聯(lián)。
之前的示例中已經(jīng)對各種可能的熱詞特征,用于評估語音數(shù)據(jù)的準則以及用于生成熱詞適合度分數(shù)的技術進行了描述。然而,可以采用附加、更少和/或不同的特征、準則和/或技術。通常,可以對分類器進行訓練以識別并考慮與語音數(shù)據(jù)相關的可能有所影響的特征和準則。此外,用于生成熱詞適合度分數(shù)的技術可以在考慮附加語音數(shù)據(jù)(例如,訓練示例)時隨時間發(fā)生變化。
使用一種或多種預定準則(例如,在之前示例中所描述的準則),基于對語音數(shù)據(jù)或候選熱詞的轉錄的評估而生成候選熱詞的熱詞適合度分數(shù)(308)。該熱詞適合度分數(shù)可以反映候選熱詞被作為熱詞使用的適合度。例如,高的熱詞適合度分數(shù)可以與在被用來激活計算設備時可能工作良好的候選熱詞相關聯(lián),而低的熱詞適合度分數(shù)則可以與可能工作不佳的候選熱詞相關聯(lián)。例如,工作良好的熱詞可以被容易檢測到并且不太可能與自然語言對話相混淆。例如,工作不佳的熱詞令計算設備難以檢測并且可能與其它詞和短語相混淆。
在一些實施方式中,生成熱詞適合度分數(shù)可以包括使用預定準則,針對兩種或更多的預定準則基于對語音數(shù)據(jù)(或者候選熱詞的轉錄)的評估生成特征分數(shù),對該特征分數(shù)進行匯總,并且輸出經(jīng)匯總的特征分數(shù)作為熱詞適合度分數(shù)。在當前示例中,候選熱詞“pizza smorgasbord”針對詞長度準則、音節(jié)或音素數(shù)量準則、編輯距離準則、發(fā)音數(shù)量準則以及出現(xiàn)特定音素或音節(jié)的準則而具有高或中等的特征分數(shù)。然而,當前示例中的候選熱詞“pizza smorgasbord”也可以針對訓練示例數(shù)量準則和發(fā)音變化準則而具有低的特征分數(shù)。例如,對熱詞適合度分數(shù)進行匯總可以取決于如何向各個特征分數(shù)應用權重,和/或可以取決于如何對生成分數(shù)的分類器進行訓練。在當前示例中,候選熱詞“pizza smorgasbord”可以與中等至高的熱詞適合度分數(shù)相關聯(lián)。
提供熱詞適合度分數(shù)的表示(310)以便向用戶顯示,由此結束該過程(312)。參考圖1,例如,示出界面104b和104c以便向用戶顯示熱詞適合度分數(shù)的表示。例如,界面104b示出了熱詞適合度分數(shù)的表示,其中該表示包括指示該候選熱詞不適合作為熱詞并且該候選熱詞已經(jīng)被拒絕的數(shù)據(jù)。例如,界面104c示出了熱詞適合度分數(shù)的表示,其中該表示包括指示該候選熱詞適合作為熱詞并且該候選熱詞已經(jīng)被接受的數(shù)據(jù)。然而,在一些實施方式中,熱詞適合度分數(shù)可以作為關于熱詞被預測在計算設備上工作得如何的一般信息,并且用戶可以選擇對該信息施加操作或者將其忽略。
可以向用戶提供熱詞適合度分數(shù)的各種表示(例如,視覺和/或音頻的)。在一些實施方式中,可以提供文本分數(shù)(例如,十分制規(guī)模、百分制規(guī)模、字母等級等)。例如,界面可以針對候選熱詞“pizza smorgasbord”顯示字母等級“B+”。在一些實施方式中,熱詞適合度分數(shù)的表示可以包括分數(shù)的經(jīng)色彩編碼的表示。例如,與交通燈類似,綠色可以與高適合度分數(shù)相關聯(lián),黃色可以與中等適合度分數(shù)相關聯(lián),而紅色則可以與低適合度分數(shù)相關聯(lián)。在一些實施方式中,熱詞適合度分數(shù)的表示包括條、量計或儀表。例如,高的總體適合度分數(shù)可以利用成比例地高(或長)的條狀指示器來表示。作為另一個示例,所匯總的熱詞適合度分數(shù)中所包括的每個個體特征分數(shù)可以由單獨的條、量計或儀表來表示。因此,在當前示例中,如果用戶被通知候選熱詞“pizza smorgasbord”已經(jīng)針對除了訓練示例準則和發(fā)音變化準則之外的大多數(shù)特征而獲得了相對高的分數(shù),則該用戶可以使用該信息來改進候選熱詞(例如,通過提供更多訓練示例和/或更為清晰的發(fā)音),或者選擇不同的候選熱詞。
圖4示出了可與這里所描述的技術一起使用的通用計算設備400和通用移動計算設備450的示例。計算設備400意在表示各種形式的數(shù)字計算機,諸如膝上型計算機、臺式機、工作站、個人數(shù)字助理、服務器、刀片式服務器、主機和其它適當計算機。計算設備450意在表示各種形式的移動設備,諸如個人數(shù)字助理、移動電話、智能電話和其它類似的計算設備。這里所示出的組件、其連接和關系以及其功能僅意在進行示例,而并非意在對本文中所描述和/或要求保護的發(fā)明的實施方式進行限制。
計算設備400包括處理器402、存儲器404、存儲設備406、連接到存儲器404和高速擴展端口410的高速接口408,以及連接到低速總線414和存儲設備406的低速接口412。每個組件402、404、406、408、410和412使用各種總線進行互連,并且可以安裝在共用主板上,或者以其它適宜方式進行安裝。處理器402能夠處理指令以便在計算設備400內執(zhí)行以在諸如耦合到高速接口408的顯示器416的外部輸入/輸出設備上顯示用于GUI的圖形信息,該指令包括存儲在存儲器404中或者存儲設備406中的指令。在其它實施方式中,如果適宜,可使用多個處理器和/或多個總線,以及多個存儲器和存儲器類型。而且,多個計算設備400可以與提供各部分必要操作的每個設備進行連接(例如,作為服務器組、刀刃服務器分組或多處理器系統(tǒng))。
存儲器404存儲計算設備400內的信息。在一種實施方式中,存儲器404是一個或多個易失性存儲單元。在另一實施方式中,存儲器404是一個或多個非易失性存儲單元。存儲器404還可以是其它形式的計算機可讀介質,諸如磁盤或光盤。
存儲設備406能夠為計算設備400提供大型存儲。在一種實施方式中,存儲設備406可以是或者可包含計算機可讀介質,諸如軟盤設備、硬盤設備、光盤設備、磁帶設備、閃存或其它類似固態(tài)存儲設備,或者設備陣列,包括存儲域網(wǎng)絡或其它配置中的設備。計算機程序產(chǎn)品可有形地實現(xiàn)在信息載體中。該計算機程序產(chǎn)品還可以包含指令,當被執(zhí)行時,該指令執(zhí)行諸如以上所描述的一個或多個方法。該信息載體是計算機或機器可讀介質,諸如存儲器404、存儲設備406、處理器402上的存儲器或傳播信號。
高速控制器408管理計算設備400的帶寬密集操作,而低速控制器412管理較低帶寬密集的操作。這樣的功能分配僅是示例性的。在一種實施方式中,高速控制器408耦合到存儲器404、顯示器416(例如,通過圖形處理器或加速器),并且耦合到可接受各種擴展卡(未示出)的高速擴展端口410。在該實施方式中,低速控制器412耦合到存儲設備406和低速擴展端口414??梢园ǜ鞣N通信端口(例如,USB、藍牙、以太網(wǎng)、無線以太網(wǎng))的低速控制端口414可耦合到一個或多個輸入/輸出設備,諸如鍵盤、指示設備、掃描儀,或者例如通過網(wǎng)絡適配器耦合到諸如交換機和路由器之類的聯(lián)網(wǎng)設備。
如圖所示,計算設備400能夠以各種不同形式來實現(xiàn)。例如,其可以實現(xiàn)為標準服務器420,或者這種服務器的群組中的多個服務器。其還可以被實現(xiàn)為機架式服務器系統(tǒng)424的一部分。此外,其還可以以諸如膝上計算機422的個人計算機來實施。作為選擇,來自計算設備400的組件可以與諸如設備450的移動設備(未示出)中的其它組件相結合。每個這樣的設備可包含一個或多個計算設備400、450,并且整個系統(tǒng)可由多個互相通信的計算設備400、450所構成。
除其它組件之外,計算設備450包括處理器452、存儲器464、諸如顯示器454的輸入/輸出設備、通信接口466和收發(fā)器468。設備450還可以被提供以諸如微驅動器或其它設備的存儲設備以提供附加存儲。每個組件450、452、464、454、466和468使用各種總線進行互連,并且若干組件可安裝在共用主板上或者以其它適宜方式進行安裝。
處理器452可以執(zhí)行計算設備450內的指令,包括存儲在存儲器464中的指令。該處理器可以被實現(xiàn)為包括單獨且多個的模擬和數(shù)字處理器的芯片的芯片組。例如,該處理器可提供設備450的其它組件的協(xié)同,諸如控制用戶接口、設備450所運行的應用程序以及設備450所進行的無線通信。
處理器452可以通過耦合到顯示器454的控制接口458和顯示接口456與用戶進行通信。顯示器454例如可以是TFT LCD(薄膜晶體管液晶顯示器)顯示器或OLED(有機發(fā)光二極管)顯示器,或者其它適當?shù)娘@示技術。顯示接口456可以包括用于驅動顯示器454以向用戶顯示圖形和其它信息的適當電路??刂平涌?58可以接收來自用戶的命令并且對其進行轉以便向提交至處理器452。此外,可提供與處理器452進行通信的外部接口462,從而使得設備450能夠與其它設備進行近域通信。例如,外部接口462在一些實施方式中可提供有線通信,或者在其它實施方式中提供無線通信,并且也可使用多個接口。
存儲器464存儲計算設備450內的信息。存儲器464可以實施為一個或多個計算機可讀介質、一個或多個易失性存儲器單元或者一個或多個非易失性存儲器單元。也可以提供擴展存儲器474并通過擴展接口442連接到設備450,例如,該擴展接口442可以包括SIMM(單列存儲模塊)卡接口。這樣的擴展存儲器474可為設備450提供額外的存儲空間,或者還可以為設備450存儲應用程序或其它信息。特別地,擴展存儲器474可以包括指令以執(zhí)行或補充以上所描述的處理,并且還可以包括安全信息。例如,擴展存儲器474由此可被提供作為設備450的安全模塊,并且可利用允許對設備450進行安全使用的指令進行編程。此外,可經(jīng)由SIMM卡提供安全應用程序以及附加信息,諸如以不可破壞的方式在SIMM卡上設置識別信息。
例如,如以下所描述的,該存儲器可以包括閃存和/或NVRAM存儲器。在一種實施方式中,計算機程序產(chǎn)品有形地實現(xiàn)在信息載體中。該計算機程序產(chǎn)品還可包含指令,當被執(zhí)行時,該指令執(zhí)行諸如以上所描述的一種或多種方法。該信息載體是計算機或機器可讀介質,諸如存儲器464、擴展存儲器474、處理器452上的存儲器或者可例如在收發(fā)器468或外部接口462上接收的傳播信號。
設備450可通過通信接口466進行無線通信,在必要情況下,該通信接口466包括數(shù)字信號處理電路。通信接口466可在各種模式或協(xié)議下提供通信,除其它之外,該模式或協(xié)議諸如GSM語音呼叫、SMS、EMS或MMS消息發(fā)送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS。例如,這樣通信可通過射頻收發(fā)器468進行。此外,諸如可使用藍牙、WiFi或其它這樣的收發(fā)器(未示出)進行短距離通信。此外,GPS(全球定位系統(tǒng))接收器模塊440可為設備450提供附加的導航和位置相關的無線數(shù)據(jù),其可由設備450上運行的應用程序適當使用。
設備450還使用音頻編解碼器460進行可聽通信,該音頻編解碼器460接收來自用戶的語音信息并且將其轉換為可用的數(shù)字信息。音頻編解碼器460同樣可以諸如通過揚聲器為用戶生成可聽聲音,例如在設備450的聽筒中。這樣的聲音可以包括來自語音電話呼叫的聲音,可以包括錄制的聲音(例如,語音消息、音樂文件等),并且還可以包括設備450上運行的應用程序所生成的聲音。
如圖所示,計算設備450可以以多種不同方式來實現(xiàn)。例如,其可以實現(xiàn)為蜂窩電話480。其還可以實現(xiàn)為智能電話482、個人數(shù)字助理或其它類似移動設備的一部分。
這里所描述的系統(tǒng)和技術的各種實施方式可以以數(shù)字電路、集成電路、專門設計的ASIC(應用特定集成電路)、計算機硬件、固件、軟件和/或其組合來實現(xiàn)。這些各種實施方式可以包括一個或多個計算機程序中的實施方式,該計算機程序可在包括至少一個可編程處理器的可編程系統(tǒng)上執(zhí)行和/或解釋,該可編程系統(tǒng)可以為專用或通用,其耦合以從存儲設備、至少一個輸入設備以及至少一個輸出設備接收數(shù)據(jù)和指令并且向其傳送數(shù)據(jù)和指令。
這些計算機程序(也稱作程序、軟件、軟件應用程序或代碼)包括用于可編程處理器的機器指令,并且能夠以高級程序和/或面向對象編程語言來實施,和/或以匯編/機器語言來實施。如這里所使用的,術語“機器可讀介質”、“計算機可讀介質”是指用來向可編程處理器提供機器指令和/或數(shù)據(jù)的任意計算機程序產(chǎn)品、裝置和/或設備(例如,磁碟、光盤、存儲器、可編程邏輯設備PLD),其包括接收機器指令作為機器可讀信號的機器可讀介質。術語“機器可讀信號”是指被用來為可編程處理器提供機器指令和/或數(shù)據(jù)的任意信號。
為了提供與用戶的交互,這里所描述的系統(tǒng)和技術可在具有用于向用戶顯示信息的顯示設備(例如,CRT(陰極射線管)或LCD(液晶顯示器)監(jiān)視器)和用戶能夠通過其為計算機提供輸入的鍵盤和指示設備(例如,鼠標或軌跡球)的計算機上實施。也可以使用其它類型的設備來提供與用戶的交互;例如,提供給用戶的反饋可以為任意形式的傳感器反饋(例如,視覺反饋、聽覺反饋或觸覺反饋);并且來自用戶的輸入可以以任意形式接收,包括聲音、語音或觸覺輸入。
這里所描述的系統(tǒng)和技術可在計算系統(tǒng)中實現(xiàn),該計算系統(tǒng)包括后端組件(例如,數(shù)據(jù)服務器),或者其包括中間件組件(例如,應用服務器),或者其包括前端組件(例如,具有用戶能夠通過其與這里所描述的系統(tǒng)和技術的實施方式進行交互的圖形用戶節(jié)目或網(wǎng)絡瀏覽器的客戶端計算機),或者這些后端、中間件或前端組件的任意組合。該系統(tǒng)的組件可通過任意形式的介質或數(shù)字數(shù)據(jù)通信(例如,通信網(wǎng)絡)進行互連。通信網(wǎng)絡的示例包括局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)和互聯(lián)網(wǎng)。
該計算系統(tǒng)可以包括客戶端和服務器??蛻舳撕头掌魍ǔ1舜诉h離并且典型地通過通信網(wǎng)絡進行交互??蛻舳撕头掌鞯年P系源自于在各自計算機上運行的計算機程序并且具有彼此的客戶端-服務器關系。
已經(jīng)描述了多個實施例。然而,將要理解的是,能夠進行各種修改而并不背離本發(fā)明的精神和范圍。此外,圖中所描繪的邏輯流程并不要求所示出的特定順序或連續(xù)順序來實現(xiàn)所期望的結果。此外,可以提供其它步驟,或者可以從所描述的流程中消除捕獲,并且可以向所描述的系統(tǒng)增加其它組件或者從中去除組件。因此,其它實施例處于以下權利要求的范圍之內。