本申請(qǐng)案主張2014年8月19日申請(qǐng)的標(biāo)題為“用于語(yǔ)音驗(yàn)證的系統(tǒng)及方法(System and Method for Speech Validation)”的第14/463,014號(hào)美國(guó)專(zhuān)利申請(qǐng)案的權(quán)利。所述案的全部揭示內(nèi)容以引用方式并入本文中。
技術(shù)領(lǐng)域
本發(fā)明大體上涉及一種用于語(yǔ)音辨識(shí)的方法,且更特定來(lái)說(shuō),涉及一種用于驗(yàn)證可在計(jì)算裝置處接收的語(yǔ)音(例如喚醒話語(yǔ))的方法。
背景技術(shù):
語(yǔ)音辨識(shí)或自動(dòng)語(yǔ)音辨識(shí)(“ASR”)涉及識(shí)別口頭話語(yǔ)的計(jì)算機(jī)化過(guò)程。語(yǔ)音辨識(shí)存在許多用途,包含語(yǔ)音轉(zhuǎn)錄、語(yǔ)音翻譯、通過(guò)話音控制裝置及軟件應(yīng)用的能力、呼叫路由系統(tǒng)、互聯(lián)網(wǎng)的話音搜索等。語(yǔ)音辨識(shí)系統(tǒng)可視需要與口語(yǔ)理解系統(tǒng)配對(duì)以提取在與系統(tǒng)交互時(shí)執(zhí)行的語(yǔ)義及/或命令。
語(yǔ)音辨識(shí)系統(tǒng)是高度復(fù)雜的且通過(guò)匹配發(fā)聲的聲學(xué)標(biāo)記圖與話語(yǔ)的聲學(xué)標(biāo)記圖來(lái)操作。此匹配可視需要組合統(tǒng)計(jì)語(yǔ)言模型。因此,聲學(xué)建模及語(yǔ)言建模兩者用于語(yǔ)音辨識(shí)過(guò)程中。聲學(xué)模型可從口頭發(fā)聲的音頻記錄以及相關(guān)聯(lián)轉(zhuǎn)錄產(chǎn)生。聲學(xué)模型然后定義對(duì)應(yīng)話語(yǔ)的個(gè)別聲音的統(tǒng)計(jì)表示。語(yǔ)音辨識(shí)系統(tǒng)使用聲學(xué)模型以識(shí)別聲音序列,同時(shí)語(yǔ)音辨識(shí)系統(tǒng)使用統(tǒng)計(jì)語(yǔ)言模型以從經(jīng)識(shí)別聲音識(shí)別可能的話語(yǔ)序列。
提供話音啟動(dòng)或話音命令功能的語(yǔ)音辨識(shí)使說(shuō)話人能夠通過(guò)說(shuō)出各種指令來(lái)控制裝置及系統(tǒng)。舉例來(lái)說(shuō),說(shuō)話人可發(fā)出命令以執(zhí)行具體任務(wù)或發(fā)出詢問(wèn)以檢索具體結(jié)果??陬^輸入可遵循執(zhí)行具體任務(wù)的一組嚴(yán)格短語(yǔ),或口頭輸入可為由語(yǔ)音辨識(shí)系統(tǒng)的自然語(yǔ)言單元解譯的自然語(yǔ)言。在便攜式裝置尤其是電池供電便攜式裝置(例如手機(jī)、膝上型計(jì)算機(jī)及桌上型計(jì)算機(jī))上,話音命令功能變得越來(lái)越流行。一些裝置可包含喚醒話語(yǔ)特征,其中主要話音控制應(yīng)用保持處于“睡眠”狀態(tài)直到檢測(cè)到口頭喚醒命令為止。在一些喚醒實(shí)施方案中,裝置允許包含對(duì)話音控制應(yīng)用的喚醒命令及隨后而來(lái)的主要命令兩者的連續(xù)音頻流的無(wú)縫處理。
技術(shù)實(shí)現(xiàn)要素:
在一個(gè)實(shí)施方案中,提供一種用于驗(yàn)證喚醒話語(yǔ)的方法。本發(fā)明的實(shí)施例可包含在第一計(jì)算裝置處從第二計(jì)算裝置接收音頻信號(hào),所述音頻信號(hào)被識(shí)別為可能包含喚醒話語(yǔ)。實(shí)施例可進(jìn)一步包含將所述音頻信號(hào)倒回到所述喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。實(shí)施例還可包含確定所述經(jīng)倒回音頻信號(hào)是否包含所述喚醒話語(yǔ)。實(shí)施例可進(jìn)一步包含將反饋傳輸?shù)剿龅诙?jì)算裝置,其中所述反饋包含繼續(xù)睡眠指示及接受檢測(cè)指示中的至少一者。
可包含下列特征中的一或多者。在一些實(shí)施例中,所述開(kāi)始點(diǎn)可包含所述喚醒話語(yǔ)之前的預(yù)定量的靜音。所述方法可包含將所述經(jīng)確定喚醒話語(yǔ)傳輸?shù)剿龅诙?jì)算裝置。所述方法可進(jìn)一步包含從所述第二計(jì)算裝置接收反饋,其中所述反饋包含繼續(xù)睡眠指示及接受檢測(cè)指示中的至少一者。在一些實(shí)施例中,反饋可包含所述喚醒話語(yǔ)的經(jīng)改良發(fā)音及閾值設(shè)置變更建議中的至少一者。所述方法還可包含對(duì)所述音頻信號(hào)及所述經(jīng)倒回音頻信號(hào)中的至少一者執(zhí)行話音生物統(tǒng)計(jì)學(xué)分析。所述方法可進(jìn)一步包含計(jì)算與所述可能的喚醒話語(yǔ)相關(guān)聯(lián)的置信度得分。所述方法還可包含至少部分基于所述置信度得分確定是否傳輸所述經(jīng)倒回信號(hào)。
在另一實(shí)施方案中,提供一種用于驗(yàn)證喚醒話語(yǔ)的方法。本發(fā)明的實(shí)施例可包含在第一計(jì)算裝置處從第二計(jì)算裝置接收音頻信號(hào),所述音頻信號(hào)被識(shí)別為可能包含喚醒話語(yǔ)。所述方法可進(jìn)一步包含將所述音頻信號(hào)倒回到所述喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。所述方法還可包含確定所述經(jīng)倒回音頻信號(hào)是否包含所述喚醒話語(yǔ)。所述方法可另外包含將反饋傳輸?shù)剿龅诙?jì)算裝置,其中所述反饋包含繼續(xù)睡眠指示及接受檢測(cè)指示中的至少一者。
可包含下列特征中的一或多者。在一些實(shí)施例中,所述開(kāi)始點(diǎn)可包含所述喚醒話語(yǔ)之前的預(yù)定量的靜音。所述方法可進(jìn)一步包含從所述第一計(jì)算裝置接收可能的喚醒話語(yǔ)。在一些實(shí)施例中,反饋可包含所述喚醒話語(yǔ)的經(jīng)改良發(fā)音及閾值設(shè)置變更建議中的至少一者。所述方法還可包含對(duì)所述音頻信號(hào)及所述經(jīng)倒回音頻信號(hào)中的至少一者執(zhí)行話音生物統(tǒng)計(jì)學(xué)分析。
在另一實(shí)施方案中,提供一種系統(tǒng)。所述系統(tǒng)可包含一或多個(gè)處理器,所述一或多個(gè)處理器經(jīng)配置以在第一計(jì)算裝置處從第二計(jì)算裝置接收音頻信號(hào),所述音頻信號(hào)被識(shí)別為可能包含喚醒話語(yǔ)。所述一或多個(gè)處理器可經(jīng)配置以將所述音頻信號(hào)倒回到所述喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。所述一或多個(gè)處理器可進(jìn)一步經(jīng)配置以確定所述經(jīng)倒回音頻信號(hào)是否包含所述喚醒話語(yǔ)。所述一或多個(gè)處理器可進(jìn)一步經(jīng)配置以將反饋傳輸?shù)剿龅诙?jì)算裝置,其中所述反饋包含繼續(xù)睡眠指示及接受檢測(cè)指示中的至少一者。
可包含下列特征中的一或多者。在一些實(shí)施例中,所述開(kāi)始點(diǎn)可包含所述喚醒話語(yǔ)之前的預(yù)定量的靜音。所述一或多個(gè)處理器可經(jīng)配置以從所述第一計(jì)算裝置接收可能的喚醒話語(yǔ)。反饋可包含所述喚醒話語(yǔ)的經(jīng)改良發(fā)音及閾值設(shè)置變更建議中的至少一者。所述一或多個(gè)處理器可經(jīng)配置以對(duì)所述音頻信號(hào)及所述經(jīng)倒回音頻信號(hào)中的至少一者執(zhí)行話音生物統(tǒng)計(jì)學(xué)分析。
在附圖及下文描述中陳述一或多個(gè)實(shí)施方案的細(xì)節(jié)。從具體實(shí)施方式、附圖說(shuō)明及權(quán)利要求書(shū),其它特征及優(yōu)點(diǎn)將變得顯而易見(jiàn)。
附圖說(shuō)明
圖1是根據(jù)本發(fā)明的實(shí)施例的語(yǔ)音驗(yàn)證過(guò)程的實(shí)例的示意視圖;
圖2是根據(jù)本發(fā)明的實(shí)施例的語(yǔ)音驗(yàn)證過(guò)程的流程圖;
圖3是根據(jù)本發(fā)明的實(shí)施例的語(yǔ)音驗(yàn)證過(guò)程的流程圖;及
圖4展示可用來(lái)實(shí)施本文中描述的語(yǔ)音驗(yàn)證過(guò)程的計(jì)算機(jī)裝置及移動(dòng)計(jì)算機(jī)裝置的實(shí)例。
各個(gè)圖式中的相同參考符號(hào)可指示相同元件。
具體實(shí)施方式
本文中提供的實(shí)施例旨在一種用于驗(yàn)證語(yǔ)音的系統(tǒng)及方法。如本文中使用,短語(yǔ)“喚醒特征”可指代其中可在裝置上處理連續(xù)音頻流以檢測(cè)是否說(shuō)出喚醒短語(yǔ)或喚醒話語(yǔ)的情況。在許多產(chǎn)品中提供有喚醒特征(例如在手持機(jī)上、在電視機(jī)中、在汽車(chē)中及/或在其中可需要免提接口的實(shí)例中的個(gè)人助理)。所述特征的一個(gè)挑戰(zhàn)是其可連續(xù)地運(yùn)行,此常暗指所述特征必須以小CPU/電池/存儲(chǔ)器預(yù)算操作且無(wú)需網(wǎng)絡(luò)連接。在檢測(cè)到喚醒之后,可建立網(wǎng)絡(luò)連接,相同發(fā)聲中或新采集物上的循序音頻可透過(guò)所述網(wǎng)絡(luò)連接輸送到運(yùn)行應(yīng)用(例如,消息傳送、網(wǎng)頁(yè)搜索等)的全部極大詞匯表的網(wǎng)絡(luò)ASR服務(wù)器。關(guān)于語(yǔ)音辨識(shí)方法及喚醒話語(yǔ)的額外信息可在可購(gòu)自本發(fā)明的受讓人的具有申請(qǐng)案序號(hào)13/456,959的第2013/0289994號(hào)美國(guó)公開(kāi)案中找到,所述案的副本的全文以引用方式并入本文中。
此方法的一個(gè)問(wèn)題是小CPU/電池/存儲(chǔ)器預(yù)算通常暗指最佳算法可能尚未被使用,借此導(dǎo)致許多分類(lèi)錯(cuò)誤(例如,錯(cuò)誤檢測(cè)及錯(cuò)誤拒絕)。一些檢測(cè)管線是分階段的,其中后期階段運(yùn)行越來(lái)越復(fù)雜的算法,然而,管線通常仍在比可用于服務(wù)器中的硬件更低效的嵌入式硬件上運(yùn)行。因此,檢測(cè)算法可具有高分類(lèi)錯(cuò)誤率。
據(jù)此,本文中包含的實(shí)施例建議在服務(wù)器端處應(yīng)用更復(fù)雜喚醒短語(yǔ)檢測(cè)以便減小錯(cuò)誤檢測(cè)的影響。服務(wù)器端可運(yùn)行更復(fù)雜聲學(xué)模型且相對(duì)于嵌入式系統(tǒng)可能夠?qū)崿F(xiàn)的錯(cuò)誤檢測(cè)率可能夠顯著地減小錯(cuò)誤檢測(cè)率。
參考圖1,圖中展示可常駐在計(jì)算機(jī)12上且可由計(jì)算機(jī)12執(zhí)行的語(yǔ)音驗(yàn)證過(guò)程10,計(jì)算機(jī)12可連接到網(wǎng)絡(luò)14(例如,互聯(lián)網(wǎng)或局域網(wǎng))。服務(wù)器應(yīng)用20可包含本文中描述的語(yǔ)音驗(yàn)證過(guò)程10的一些或所有元素。計(jì)算機(jī)12的實(shí)例可包含但不限于單個(gè)服務(wù)器計(jì)算機(jī)、一系列服務(wù)器計(jì)算機(jī)、單個(gè)個(gè)人計(jì)算機(jī)、一系列個(gè)人計(jì)算機(jī)、迷你型計(jì)算機(jī)、主機(jī)計(jì)算機(jī)、電子郵件服務(wù)器、社交網(wǎng)絡(luò)服務(wù)器、短信服務(wù)器、照片服務(wù)器、多處理器計(jì)算機(jī)、在計(jì)算云端上運(yùn)行的一或多個(gè)虛擬機(jī)器及/或分布式系統(tǒng)。計(jì)算機(jī)12的各種組件可執(zhí)行一或多個(gè)操作系統(tǒng),所述操作系統(tǒng)的實(shí)例舉例來(lái)說(shuō)可包含但不限于:Microsoft Windows ServerTM;Novell NetwareTM;Redhat LinuxTM、Unix或定制操作系統(tǒng)。
如下文將在圖2至5中更詳細(xì)論述,語(yǔ)音驗(yàn)證過(guò)程10可包含在第一計(jì)算裝置處從第二計(jì)算裝置接收(202)音頻信號(hào),音頻信號(hào)被識(shí)別為可能包含喚醒話語(yǔ)。實(shí)施例可進(jìn)一步包含將音頻信號(hào)倒回(204)到喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。實(shí)施例還可包含確定(206)經(jīng)倒回音頻信號(hào)是否包含喚醒話語(yǔ)。實(shí)施例可進(jìn)一步包含將反饋傳輸(208)到第二計(jì)算裝置,其中反饋包含繼續(xù)睡眠指示及接受檢測(cè)指示中的至少一者。眾多其它特征及配置也在本發(fā)明的范圍內(nèi),如下文中進(jìn)一步詳細(xì)論述。
可由計(jì)算機(jī)12內(nèi)包含的一或多個(gè)處理器(未展示)及一或多個(gè)存儲(chǔ)器架構(gòu)(未展示)執(zhí)行可存儲(chǔ)在耦合到計(jì)算機(jī)12的存儲(chǔ)裝置16上的語(yǔ)音驗(yàn)證過(guò)程10的指令集及子程序。存儲(chǔ)裝置16可包含但不限于:硬盤(pán)驅(qū)動(dòng)器;閃盤(pán)驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器;光學(xué)驅(qū)動(dòng)器;RAID陣列;隨機(jī)訪問(wèn)存儲(chǔ)器(RAM);及只讀存儲(chǔ)器(ROM)。
網(wǎng)絡(luò)14可連接到一或多個(gè)次級(jí)網(wǎng)絡(luò)(例如,網(wǎng)絡(luò)18),所述次級(jí)網(wǎng)絡(luò)的實(shí)例舉例來(lái)說(shuō)可包含但不限于:局域網(wǎng);廣域網(wǎng);或內(nèi)聯(lián)網(wǎng)。
在一些實(shí)施例中,可經(jīng)由客戶端應(yīng)用22、24、26、28訪問(wèn)及/或啟動(dòng)語(yǔ)音驗(yàn)證過(guò)程10??蛻舳藨?yīng)用22、24、26、28的實(shí)例可包含但不限于標(biāo)準(zhǔn)網(wǎng)頁(yè)瀏覽器、定制化網(wǎng)頁(yè)瀏覽器、或可向用戶顯示數(shù)據(jù)的定制應(yīng)用。可由(分別)并入到客戶端電子裝置38、40、42、44的一或多個(gè)處理器(未展示)及一或多個(gè)存儲(chǔ)器架構(gòu)(未展示)執(zhí)行可(分別)存儲(chǔ)在(分別)耦合到客戶端電子裝置38、40、42、44的存儲(chǔ)裝置30、32、34、36上的客戶端應(yīng)用22、24、26、28的指令集及子程序。
存儲(chǔ)裝置30、32、34、36可包含但不限于:硬盤(pán)驅(qū)動(dòng)器;閃盤(pán)驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器;光學(xué)驅(qū)動(dòng)器;RAID陣列;隨機(jī)訪問(wèn)存儲(chǔ)器(RAM);及只讀存儲(chǔ)器(ROM)??蛻舳穗娮友b置38、40、42、44的實(shí)例可包含但不限于個(gè)人計(jì)算機(jī)38、膝上型計(jì)算機(jī)40、智能電話42、電視機(jī)43、筆記型計(jì)算機(jī)44、服務(wù)器(未展示)、具備數(shù)據(jù)功能的蜂窩式電話(未展示)、專(zhuān)用網(wǎng)絡(luò)裝置(未展示)、音頻記錄裝置等。
客戶端應(yīng)用22、24、26、28中的一或多者可經(jīng)配置以實(shí)行語(yǔ)音驗(yàn)證過(guò)程10的一些或所有功能。據(jù)此,語(yǔ)音驗(yàn)證過(guò)程10可為純粹服務(wù)器端應(yīng)用、純粹客戶端應(yīng)用、或由客戶端應(yīng)用22、24、26、28中的一或多者與語(yǔ)音驗(yàn)證過(guò)程10協(xié)作地執(zhí)行的混合服務(wù)器端/客戶端應(yīng)用。
客戶端電子裝置38、40、42、44可各自執(zhí)行操作系統(tǒng),所述操作系統(tǒng)的實(shí)例可包含但不限于Apple iOSTM、Microsoft WindowsTM、AndroidTM、Redhat LinuxTM或定制操作系統(tǒng)。在一些情況下,客戶端電子裝置可包含音頻記錄功能及/或可為音頻記錄裝置。另外及/或替代地,在一些實(shí)施例中,音頻記錄裝置可與如本文中進(jìn)一步詳細(xì)論述的客戶端電子裝置中的一或多者通信。
用戶46、48、50、52可直接透過(guò)網(wǎng)絡(luò)14或透過(guò)次級(jí)網(wǎng)絡(luò)18訪問(wèn)計(jì)算機(jī)12及語(yǔ)音驗(yàn)證過(guò)程10。此外,計(jì)算機(jī)12可透過(guò)次級(jí)網(wǎng)絡(luò)18連接到網(wǎng)絡(luò)14,如用虛連線54說(shuō)明。在一些實(shí)施例中,用戶可透過(guò)一或多個(gè)電信網(wǎng)絡(luò)設(shè)施62訪問(wèn)語(yǔ)音驗(yàn)證過(guò)程10。
各種客戶端電子裝置可直接或間接耦合到網(wǎng)絡(luò)14(或網(wǎng)絡(luò)18)。舉例來(lái)說(shuō),個(gè)人計(jì)算機(jī)38被展示為經(jīng)由硬接線網(wǎng)絡(luò)連接直接耦合到網(wǎng)絡(luò)14。此外,筆記型計(jì)算機(jī)44被展示為經(jīng)由硬接線網(wǎng)絡(luò)連接直接耦合到網(wǎng)絡(luò)18。膝上型計(jì)算機(jī)40被展示為經(jīng)由建立在膝上型計(jì)算機(jī)40與無(wú)線訪問(wèn)點(diǎn)(即,WAP)58之間的無(wú)線通信通道56無(wú)線地耦合到網(wǎng)絡(luò)14,WAP 58被展示為直接耦合到網(wǎng)絡(luò)14。WAP 58可舉例來(lái)說(shuō)為IEEE 802.11a、802.11b、802.11g、Wi-Fi、及/或能夠在膝上型計(jì)算機(jī)40與WAP 58之間建立無(wú)線通信通道56的藍(lán)牙裝置。所有IEEE 802.11x規(guī)范可將以太網(wǎng)協(xié)議及載波偵聽(tīng)多址訪問(wèn)/沖突避免(即,CSMA/CA)用于路徑共享。舉例來(lái)說(shuō),各種802.11x規(guī)范可使用相移鍵控(即,PSK)調(diào)制或補(bǔ)碼鍵控(即,CCK)調(diào)制。藍(lán)牙是允許例如使用短程無(wú)線連接使移動(dòng)電話、計(jì)算機(jī)及智能電話互連的電信行業(yè)規(guī)范。
智能電話42被展示為經(jīng)由建立在智能電話42與電信網(wǎng)絡(luò)設(shè)施62之間的無(wú)線通信通道60無(wú)線地耦合到網(wǎng)絡(luò)14,電信網(wǎng)絡(luò)設(shè)施62被展示為直接耦合到網(wǎng)絡(luò)14。在一些實(shí)施例中,智能電話42可為音頻記錄裝置或可包含音頻記錄功能且可使終端用戶能夠記錄語(yǔ)音信號(hào)。語(yǔ)音信號(hào)可存儲(chǔ)及/或傳輸?shù)奖疚闹忻枋龅娜魏窝b置。舉例來(lái)說(shuō),語(yǔ)音信號(hào)透過(guò)網(wǎng)絡(luò)14傳輸?shù)娇蛻舳穗娮友b置40。
如本文中使用,短語(yǔ)“電信網(wǎng)絡(luò)設(shè)施”可指代經(jīng)配置以將傳輸物傳輸?shù)揭换蚨鄠€(gè)移動(dòng)裝置(例如,手機(jī)等)及/或從一或多個(gè)移動(dòng)裝置(例如,手機(jī)等)接收傳輸物的設(shè)施。在圖1中展示的實(shí)例中,電信網(wǎng)絡(luò)設(shè)施62可允許圖1中展示的任何計(jì)算裝置之間(例如,手機(jī)42與服務(wù)器計(jì)算裝置12之間)的通信。
如上文論述,在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含在第一計(jì)算裝置(舉例來(lái)說(shuō)圖1中展示的客戶端裝置38、40、42、44中的一者)處接收音頻信號(hào)。音頻信號(hào)可包含由用戶(例如圖1中展示的用戶)發(fā)出的語(yǔ)音信號(hào)。語(yǔ)音驗(yàn)證過(guò)程10可包含確定音頻信號(hào)是否可能包含喚醒話語(yǔ)。舉例來(lái)說(shuō),客戶端裝置38、40、42、44中的一者可確定可能已發(fā)出喚醒話語(yǔ)且然后可將音頻信號(hào)倒回到喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。在此特定實(shí)例中,倒回可在客戶端裝置上發(fā)生,然而,倒回可在任何合適裝置上(舉例來(lái)說(shuō)在圖1中展示的服務(wù)器計(jì)算裝置12上)發(fā)生。在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含將經(jīng)倒回音頻信號(hào)從客戶端裝置傳輸?shù)降诙?jì)算裝置,舉例來(lái)說(shuō)服務(wù)器計(jì)算裝置12。
在一些實(shí)施例中,倒回可包含將音頻信號(hào)倒回到與特定信號(hào)相關(guān)聯(lián)的任何時(shí)刻。舉例來(lái)說(shuō),在一些情況下,此可包含倒回到喚醒話語(yǔ)的開(kāi)始點(diǎn),其可包含倒回為包含恰好在發(fā)出喚醒話語(yǔ)之前的一些預(yù)定量的靜音。
在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含將經(jīng)確定喚醒話語(yǔ)傳輸?shù)降诙?jì)算裝置。舉例來(lái)說(shuō),客戶端裝置42可經(jīng)配置以將疑似喚醒話語(yǔ)傳輸?shù)椒?wù)器計(jì)算裝置12。一旦服務(wù)器計(jì)算裝置已對(duì)經(jīng)接收音頻信號(hào)執(zhí)行必要處理,客戶端裝置42便可經(jīng)配置以從第二計(jì)算裝置(例如,服務(wù)器計(jì)算裝置12)接收反饋。取決于在第二計(jì)算裝置處所作的確定,反饋可包含繼續(xù)睡眠指示及/或接受檢測(cè)指示。在一些實(shí)例中,反饋可包含喚醒話語(yǔ)的經(jīng)改良發(fā)音、閾值設(shè)置變更建議或任何其它合適反饋。
在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含對(duì)音頻信號(hào)及經(jīng)倒回音頻信號(hào)中的至少一者執(zhí)行話音生物統(tǒng)計(jì)學(xué)分析。此可在任何合適裝置(例如客戶端裝置42、服務(wù)器計(jì)算裝置12、混合組合等)處發(fā)生。
在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含計(jì)算與可能的喚醒話語(yǔ)相關(guān)聯(lián)的置信度得分。舉例來(lái)說(shuō),客戶端裝置42可對(duì)音頻信號(hào)執(zhí)行分析以確定說(shuō)出喚醒話語(yǔ)的可能性有多大。如果置信度得分高于某個(gè)預(yù)定義閾值,那么語(yǔ)音驗(yàn)證過(guò)程10可至少部分基于置信度得分確定是否傳輸經(jīng)倒回信號(hào)。
如上文論述,可經(jīng)由客戶端裝置、服務(wù)器裝置或其組合執(zhí)行與語(yǔ)音驗(yàn)證過(guò)程10相關(guān)聯(lián)的某些操作。舉例來(lái)說(shuō),在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含在第一計(jì)算裝置(例如,服務(wù)器計(jì)算裝置12)處從第二計(jì)算裝置(例如,客戶端裝置42)接收音頻信號(hào),音頻信號(hào)被識(shí)別為可能包含喚醒話語(yǔ)。在此特定實(shí)例中,語(yǔ)音驗(yàn)證過(guò)程10可包含在服務(wù)器計(jì)算裝置12處將音頻信號(hào)倒回到喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。語(yǔ)音驗(yàn)證過(guò)程10可包含在服務(wù)器計(jì)算裝置12處確定經(jīng)倒回音頻信號(hào)是否包含喚醒話語(yǔ)。服務(wù)器計(jì)算裝置12然后可將反饋傳輸?shù)降诙?jì)算裝置(例如,客戶端裝置42),其中反饋包含繼續(xù)睡眠指示及接受檢測(cè)指示中的至少一者,及/或用來(lái)在第一計(jì)算裝置處調(diào)諧喚醒檢測(cè)的信息。
語(yǔ)音驗(yàn)證過(guò)程10的實(shí)施例可結(jié)合喚醒特征工作,其中在嵌入式裝置上處理連續(xù)音頻流以檢測(cè)是否說(shuō)出喚醒短語(yǔ)。通常僅在裝置處檢測(cè)到喚醒之后調(diào)用在網(wǎng)絡(luò)上運(yùn)行的對(duì)話/ASR系統(tǒng),但喚醒檢測(cè)固有地是可致使錯(cuò)誤的統(tǒng)計(jì)過(guò)程。在所述錯(cuò)誤檢測(cè)到達(dá)服務(wù)器時(shí),其可導(dǎo)致失控對(duì)話,其中系統(tǒng)被喚醒且開(kāi)始與不想要在此時(shí)占用系統(tǒng)的用戶交互,或如果(例如,從背景無(wú)線電等)錯(cuò)誤地觸發(fā)喚醒,那么系統(tǒng)與不真實(shí)用戶交互。對(duì)話系統(tǒng)通常無(wú)需來(lái)自用戶的進(jìn)一步觸覺(jué)輸入,因此失控對(duì)話可伴隨意外后果。在檢測(cè)到喚醒短語(yǔ)之后,來(lái)自用戶的命令通常隨后而來(lái)且常見(jiàn)的是嵌入式系統(tǒng)對(duì)聲學(xué)信號(hào)執(zhí)行音頻手術(shù)(audio surgery)以去除經(jīng)檢測(cè)喚醒短語(yǔ),從而僅留下命令供服務(wù)器處理。出于多個(gè)理由,此被發(fā)現(xiàn)是次優(yōu)的。舉例來(lái)說(shuō),音頻手術(shù)從音頻流移除服務(wù)器需要用于聲學(xué)規(guī)范化的重要聲學(xué)情境。歸因于由小聲學(xué)模型驅(qū)動(dòng)的分段,音頻手術(shù)可有缺陷。還可能的是根本就沒(méi)有說(shuō)出喚醒短語(yǔ)。
據(jù)此,語(yǔ)音驗(yàn)證過(guò)程10的實(shí)施例可允許采集系統(tǒng)執(zhí)行緩沖使得應(yīng)用能夠?qū)⒁纛l流倒回到其中喚醒短語(yǔ)開(kāi)始的點(diǎn),且可能包含之前的一些靜音。在網(wǎng)絡(luò)ASR請(qǐng)求中,應(yīng)用可傳遞連同全部(例如,經(jīng)倒回)音頻流檢測(cè)的喚醒短語(yǔ)的識(shí)別碼。網(wǎng)絡(luò)引擎可經(jīng)配置以重新限定所述喚醒短語(yǔ)是否確實(shí)存在,且如果網(wǎng)絡(luò)引擎發(fā)現(xiàn)喚醒短語(yǔ)不存在,那么還可將“繼續(xù)睡眠”指示發(fā)到裝置。服務(wù)器端檢測(cè)也可為固有統(tǒng)計(jì)系統(tǒng)且其可引入錯(cuò)誤,但聲學(xué)模型及語(yǔ)言模型越大,服務(wù)器端的分類(lèi)錯(cuò)誤率通常越低。服務(wù)器端然后可被視為喚醒檢測(cè)過(guò)程中的最終階段。于是,早期階段處的拒絕閾值可經(jīng)放寬以改良初期階段中的召回,從而使后期階段變得精確。
在一些實(shí)施例中,服務(wù)器可將反饋連同“繼續(xù)睡眠”指示或接受檢測(cè)指示提供到嵌入式ASR喚醒系統(tǒng)。舉例來(lái)說(shuō),服務(wù)器可經(jīng)配置以傳回喚醒話語(yǔ)的經(jīng)改良發(fā)音,或可能傳回閾值設(shè)置變更建議。
在一些實(shí)施例中,語(yǔ)音驗(yàn)證過(guò)程10可包含嵌入式ASR的喚醒決定的服務(wù)器端再詢問(wèn)。在一些實(shí)施例中,可在嵌入式裝置上執(zhí)行喚醒,其還可涉及音頻手術(shù),從而在串流到服務(wù)器之前從音頻移除喚醒短語(yǔ)或話語(yǔ)。
在一些實(shí)施例中,第一計(jì)算裝置可經(jīng)配置以將從喚醒命令之后的點(diǎn)開(kāi)始的音頻串流到第二計(jì)算裝置。語(yǔ)音驗(yàn)證過(guò)程10可進(jìn)一步包含第一計(jì)算裝置將音頻信號(hào)倒回到喚醒話語(yǔ)的開(kāi)始點(diǎn),以產(chǎn)生經(jīng)倒回音頻信號(hào)。實(shí)施例還可包含第二裝置確定或重新確定經(jīng)倒回音頻信號(hào)是否包含喚醒話語(yǔ)。
參考圖4,圖中提供可結(jié)合此處描述的技術(shù)使用的通用計(jì)算機(jī)裝置400及通用移動(dòng)計(jì)算機(jī)裝置470的實(shí)例。計(jì)算裝置400意圖表示各種形式的數(shù)字計(jì)算機(jī),例如桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、工作站、個(gè)人數(shù)字助理、服務(wù)器、刀片式服務(wù)器、主機(jī)及其它適當(dāng)計(jì)算機(jī)。在一些實(shí)施例中,計(jì)算裝置470可包含各種形式的移動(dòng)裝置,例如個(gè)人數(shù)字助理、蜂窩式電話、智能電話及其它相似計(jì)算裝置。計(jì)算裝置470及/或計(jì)算裝置400還可包含一或多個(gè)處理器嵌入其中或附接到其的其它裝置,例如電視機(jī)。此處展示的組件、其連接及關(guān)系,及其功能意在僅為示例性,且并非意在限制本文獻(xiàn)中描述及/或主張的發(fā)明的實(shí)施方案。
在一些實(shí)施例中,計(jì)算裝置400可包含處理器402、存儲(chǔ)器404、存儲(chǔ)裝置406、連接到存儲(chǔ)器404及高速擴(kuò)展端口410的高速接口408、及連接到低速總線414及存儲(chǔ)裝置406的低速接口412。組件402、404、406、408、410及412中的每一者可使用各種總線互連,且可安裝在共同母板上或適當(dāng)時(shí)以其它方式安裝。處理器402可處理用于在計(jì)算裝置400內(nèi)執(zhí)行以將GUI的圖形信息顯示在外部輸入/輸出裝置(例如耦合到高速接口408的顯示器416)上的指令,包含存儲(chǔ)在存儲(chǔ)器404中或存儲(chǔ)在存儲(chǔ)裝置406上的指令。在其它實(shí)施方案中,適當(dāng)時(shí)可使用多個(gè)處理器及/或多個(gè)總線連同多個(gè)存儲(chǔ)器及多種類(lèi)型的存儲(chǔ)器。又,可連接多個(gè)計(jì)算裝置400,其中每一裝置提供必要操作的部分(例如,作為服務(wù)器庫(kù)、刀片式服務(wù)器群或多處理器系統(tǒng))。
存儲(chǔ)器404可將信息存儲(chǔ)在計(jì)算裝置400內(nèi)。在一個(gè)實(shí)施方案中,存儲(chǔ)器404可為易失性存儲(chǔ)器單元。在另一實(shí)施方案中,存儲(chǔ)器404可為非易失性存儲(chǔ)器單元。存儲(chǔ)器404還可為另一形式的計(jì)算機(jī)可讀媒體,例如磁盤(pán)或光盤(pán)。
存儲(chǔ)裝置406可能夠?yàn)橛?jì)算裝置400提供大容量存儲(chǔ)。在一個(gè)實(shí)施方案中,存儲(chǔ)裝置406可為或含有計(jì)算機(jī)可讀媒體,例如軟盤(pán)裝置、硬盤(pán)裝置、光盤(pán)裝置、或磁帶裝置、快閃存儲(chǔ)器或其它相似固態(tài)存儲(chǔ)器裝置、或裝置陣列,包含存儲(chǔ)區(qū)域網(wǎng)絡(luò)中的裝置或其它配置。可在信息載體中有形地具體實(shí)施計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品還可含有在被執(zhí)行時(shí)執(zhí)行一或多種方法(例如上文描述的方法)的指令。信息載體是計(jì)算機(jī)或機(jī)器可讀媒體,例如存儲(chǔ)器404、存儲(chǔ)裝置406、處理器上存儲(chǔ)器402或傳播信號(hào)。
高速控制器408可針對(duì)計(jì)算裝置400管理帶寬密集型操作,而低速控制器412可管理較低帶寬密集型操作。此功能分配僅為示例性。在一個(gè)實(shí)施方案中,高速控制器408可耦合到存儲(chǔ)器404、顯示器416(例如,透過(guò)圖形處理器或加速器),且耦合到可接受各種擴(kuò)展卡(未展示)的高速擴(kuò)展端口410。在所述實(shí)施方案中,低速控制器412耦合到存儲(chǔ)裝置406及低速擴(kuò)展端口414??砂鞣N通信端口(例如,USB、藍(lán)牙、以太網(wǎng)、無(wú)線以太網(wǎng))的低速擴(kuò)展端口可例如透過(guò)網(wǎng)絡(luò)適配器耦合到一或多個(gè)輸入/輸出裝置,例如鍵盤(pán)、指向裝置、掃描器或網(wǎng)絡(luò)化裝置,例如交換機(jī)或路由器。
計(jì)算裝置400可以如圖中展示的多種不同形式加以實(shí)施。舉例來(lái)說(shuō),計(jì)算裝置400可被實(shí)施為標(biāo)準(zhǔn)服務(wù)器420,或在此些服務(wù)器群中被實(shí)施多次。計(jì)算裝置400還可被實(shí)施為機(jī)架式服務(wù)器系統(tǒng)424的部分。另外,計(jì)算裝置400可在個(gè)人計(jì)算機(jī)(例如膝上型計(jì)算機(jī)422)中加以實(shí)施。替代地,來(lái)自計(jì)算裝置400的組件可與移動(dòng)裝置(未展示)(例如裝置470)中的其它組件組合。此些裝置中的每一者可含有計(jì)算裝置400、470中的一或多者,且整個(gè)系統(tǒng)可由彼此通信的多個(gè)計(jì)算裝置400、470組成。
除其它組件外,計(jì)算裝置470還可包含處理器472、存儲(chǔ)器464、輸入/輸出裝置(例如顯示器)474、通信接口466及收發(fā)器468。裝置470還可具備存儲(chǔ)裝置(例如微硬盤(pán)或其它裝置),以提供額外存儲(chǔ)。組件470、472、464、474、466及468中的每一者可使用各種總線互連,且所述組件中的若干者可安裝在共同母板上或適當(dāng)時(shí)以其它方式安裝。
處理器472可執(zhí)行計(jì)算裝置470內(nèi)的指令,包含存儲(chǔ)在存儲(chǔ)器464中的指令。所述處理器可被實(shí)施為包含單獨(dú)及多個(gè)模擬及數(shù)字處理器的芯片的芯片組。所述處理器可提供(舉例來(lái)說(shuō))裝置470的其它組件的協(xié)調(diào),例如控制用戶接口、由裝置470運(yùn)行的應(yīng)用及由裝置470進(jìn)行的無(wú)線通信。
在一些實(shí)施例中,處理器472可透過(guò)耦合到顯示器474的控制接口478及顯示接口476與用戶通信。顯示器474可為(舉例來(lái)說(shuō))TFT LCD(薄膜晶體管液晶顯示器)或OLED(有機(jī)發(fā)光二極管)顯示器、或其它適當(dāng)顯示技術(shù)。顯示接口476可包括用于驅(qū)動(dòng)顯示器474向用戶呈現(xiàn)圖形信息及其它信息的適當(dāng)電路??刂平涌?78可從用戶接收命令并轉(zhuǎn)換命令以提交到處理器472。另外,外部接口462可提供為與處理器472通信,以便使裝置470能夠與其它裝置進(jìn)行近區(qū)域通信。外部接口462可在一些實(shí)施方案中提供(舉例來(lái)說(shuō))有線通信,或在其它實(shí)施方案中提供無(wú)線通信,且還可使用多個(gè)接口。
在一些實(shí)施例中,存儲(chǔ)器464可將信息存儲(chǔ)在計(jì)算裝置470內(nèi)。存儲(chǔ)器464可被實(shí)施為計(jì)算機(jī)可讀媒體、易失性存儲(chǔ)器單元或非易失性存儲(chǔ)器單元中的一或多者。擴(kuò)展存儲(chǔ)器474也可被提供且透過(guò)擴(kuò)展接口472(其可包含舉例來(lái)說(shuō)SIMM(單列直插存儲(chǔ)器模塊)卡接口)連接到裝置470。此擴(kuò)展存儲(chǔ)器474可為裝置470提供額外存儲(chǔ)空間,或還可存儲(chǔ)用于裝置470的應(yīng)用或其它信息。具體來(lái)說(shuō),擴(kuò)展存儲(chǔ)器474可包含用來(lái)實(shí)行或補(bǔ)充上文描述的過(guò)程的指令,且還可包含安全信息。因此,舉例來(lái)說(shuō),擴(kuò)展存儲(chǔ)器474可被提供為用于裝置470的安全模塊,且可使用允許裝置470的安全使用的指令加以編程。另外,可經(jīng)由SIMM卡提供安全應(yīng)用連同額外信息,例如以不可破解方式將識(shí)別信息放置在SIMM卡上。
存儲(chǔ)器可包含舉例來(lái)說(shuō)快閃存儲(chǔ)器及/或NVRAM存儲(chǔ)器,如下文論述。在一個(gè)實(shí)施方案中,在信息載體中有形地具體實(shí)施計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品可含有在被執(zhí)行時(shí)執(zhí)行一或多種方法(例如上文描述的方法)的指令。信息載體可為計(jì)算機(jī)或機(jī)器可讀媒體,例如存儲(chǔ)器464、擴(kuò)展存儲(chǔ)器474、處理器上存儲(chǔ)器472、或可舉例來(lái)說(shuō)透過(guò)收發(fā)器468或外部接口462接收的傳播信號(hào)。
裝置470可透過(guò)通信接口466無(wú)線地通信,通信接口466在必要情況下可包含數(shù)字信號(hào)處理電路。通信接口466可提供在各種模式或協(xié)議下的通信,尤其是例如GSM話音呼叫、SMS、EMS或MMS語(yǔ)音辨識(shí),CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS。此通信可舉例來(lái)說(shuō)透過(guò)射頻收發(fā)器468發(fā)生。另外,短程通信可例如使用藍(lán)牙、WiFi或其它此類(lèi)收發(fā)器(未展示)而發(fā)生。另外,GPS(全球定位系統(tǒng))接收器模塊470可將額外導(dǎo)航及位置相關(guān)無(wú)線數(shù)據(jù)提供到裝置470,適當(dāng)時(shí)可由在裝置470上運(yùn)行的應(yīng)用使用所述數(shù)據(jù)。
裝置470還可使用音頻編解碼器460可聽(tīng)地通信,音頻編解碼器460可從用戶接收口頭信息并將口頭信息轉(zhuǎn)換成可用數(shù)字信息。音頻編解碼器460可同樣地例如透過(guò)揚(yáng)聲器在(例如)裝置470的手持機(jī)中產(chǎn)生用于用戶的可聽(tīng)聲音。此聲音可包含來(lái)自話音電話呼叫的聲音,可包含經(jīng)記錄聲音(例如,話音消息、音樂(lè)文件等),且還可包含由在裝置470上操作的應(yīng)用產(chǎn)生的聲音。
計(jì)算裝置470可以如圖中展示的多種不同形式加以實(shí)施。舉例來(lái)說(shuō),計(jì)算裝置470可被實(shí)施為蜂窩式電話480。計(jì)算裝置470還可被實(shí)施為智能電話482、個(gè)人數(shù)字助理、遠(yuǎn)程控制器或其它相似移動(dòng)裝置的部分。
可在數(shù)字電子電路、集成電路、特殊設(shè)計(jì)ASIC(特定應(yīng)用集成電路)、計(jì)算機(jī)硬件、固件、軟件及/或其組合中實(shí)現(xiàn)此處描述的系統(tǒng)及技術(shù)的各種實(shí)施方案。此些各種實(shí)施方案可包含可在包含至少一個(gè)可編程處理器的可編程系統(tǒng)上執(zhí)行及/或解譯的一或多個(gè)計(jì)算機(jī)程序中的實(shí)施方案,所述可編程處理器可為特殊的或通用的,經(jīng)耦合以從存儲(chǔ)系統(tǒng)、至少一個(gè)輸入裝置及至少一個(gè)輸出裝置接收數(shù)據(jù)及指令,以及將數(shù)據(jù)及指令傳輸?shù)酱鎯?chǔ)系統(tǒng)、至少一個(gè)輸入裝置及至少一個(gè)輸出裝置。
此些計(jì)算機(jī)程序(也稱為程序、軟件、軟件應(yīng)用或代碼)包含用于可編程處理器的機(jī)器指令,且可以高級(jí)過(guò)程語(yǔ)言及/或面向?qū)ο缶幊陶Z(yǔ)言及/或以匯編/機(jī)器語(yǔ)言加以實(shí)施。如本文中使用,術(shù)語(yǔ)“機(jī)器可讀媒體”、“計(jì)算機(jī)可讀媒體”指代用來(lái)將機(jī)器指令及/或數(shù)據(jù)提供到可編程處理器的任何計(jì)算機(jī)程序產(chǎn)品、設(shè)備及/或裝置(例如,磁盤(pán)、光盤(pán)、存儲(chǔ)器、可編程邏輯裝置(PLD)),包含將機(jī)器指令接收為機(jī)器可讀信號(hào)的機(jī)器可讀媒體。術(shù)語(yǔ)“機(jī)器可讀信號(hào)”指代用來(lái)將機(jī)器指令及/或數(shù)據(jù)提供到可編程處理器的任何信號(hào)。
如所屬領(lǐng)域的技術(shù)人員將明白,本發(fā)明可被具體實(shí)施為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。據(jù)此,本發(fā)明可采取下列實(shí)施例的形式:完全硬件實(shí)施例、完全軟件實(shí)施例(包含固件、常駐軟件、偽代碼等)或組合通常均可在本文中稱為“電路”、“模塊”或“系統(tǒng)”的軟件方面及硬件方面的實(shí)施例。此外,本發(fā)明可采取計(jì)算機(jī)可用存儲(chǔ)媒體上的計(jì)算機(jī)程序產(chǎn)品的形式,計(jì)算機(jī)可用存儲(chǔ)媒體具有在所述媒體中具體實(shí)施的計(jì)算機(jī)可用程序代碼。
可利用任何合適計(jì)算機(jī)可用或計(jì)算機(jī)可讀媒體(例如,非暫時(shí)性媒體)。計(jì)算機(jī)可用或計(jì)算機(jī)可讀媒體可為舉例來(lái)說(shuō)但不限于電子的、磁性的、光學(xué)的、電磁的、紅外的或半導(dǎo)體的系統(tǒng)、設(shè)備、裝置或傳播媒體。計(jì)算機(jī)可讀媒體的更具體實(shí)例(非詳盡列表)將包含下列項(xiàng):具有一或多個(gè)導(dǎo)線的電連接件、便攜式計(jì)算機(jī)磁盤(pán)、硬盤(pán)、隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPROM或快閃存儲(chǔ)器)、光纖、便攜式光盤(pán)只讀存儲(chǔ)器(CD-ROM)、光學(xué)存儲(chǔ)裝置、傳輸媒體(例如支持互聯(lián)網(wǎng)或內(nèi)聯(lián)網(wǎng)的傳輸媒體)或磁性存儲(chǔ)裝置。應(yīng)注意,計(jì)算機(jī)可用或計(jì)算機(jī)可讀媒體可甚至是上面印有程序的紙張或另一合適媒體,因?yàn)槌绦蚩山?jīng)由舉例來(lái)說(shuō)紙張或另一媒體的光學(xué)掃描經(jīng)電捕獲,然后經(jīng)編譯、經(jīng)解譯或另外以合適方式處理(如果需要),且然后存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。在本文獻(xiàn)的上下文中,計(jì)算機(jī)可用或計(jì)算機(jī)可讀媒體可為可含有、存儲(chǔ)、傳達(dá)、傳播或輸送程序以供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或以結(jié)合指令執(zhí)行系統(tǒng)、設(shè)備或裝置的任何媒體。
可以面向?qū)ο缶幊陶Z(yǔ)言(例如Java、Smalltalk、C++等)撰寫(xiě)用于實(shí)行本發(fā)明的操作的計(jì)算機(jī)程序代碼。然而,也可以常規(guī)過(guò)程編程語(yǔ)言(例如“C”編程語(yǔ)言或相似編程語(yǔ)言)撰寫(xiě)用于實(shí)行本發(fā)明的操作的計(jì)算機(jī)程序代碼。程序代碼可全部在用戶計(jì)算機(jī)上執(zhí)行,部分在用戶計(jì)算機(jī)上作為獨(dú)立軟件包來(lái)執(zhí)行,部分在用戶計(jì)算機(jī)上且部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行,或全部在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在后者案例中,遠(yuǎn)程計(jì)算機(jī)可透過(guò)局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)連接到用戶計(jì)算機(jī),或可連接到外部計(jì)算機(jī)(舉例來(lái)說(shuō),透過(guò)使用互聯(lián)網(wǎng)服務(wù)提供者的互聯(lián)網(wǎng))。
下文參考根據(jù)本發(fā)明的實(shí)施例的方法、設(shè)備(系統(tǒng))及計(jì)算機(jī)程序產(chǎn)品的流程圖說(shuō)明及/或框圖描述本發(fā)明。將理解,可由計(jì)算機(jī)程序指令實(shí)施流程圖說(shuō)明及/或框圖的每一框以及流程圖說(shuō)明及/或框圖中的框組合。此些計(jì)算機(jī)程序指令可提供到通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生機(jī)器,使得經(jīng)由計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令創(chuàng)建用于實(shí)施流程圖及/或框圖框中指定的功能/動(dòng)作的構(gòu)件。
此些計(jì)算機(jī)程序指令還可存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中,可引導(dǎo)計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備以特定方式運(yùn)作,使得存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包含實(shí)施流程圖及/或框圖框中指定的功能/動(dòng)作的指令構(gòu)件的制品。
計(jì)算機(jī)程序指令還可加載到計(jì)算機(jī)或其它可編程數(shù)據(jù)處理設(shè)備上以造成在計(jì)算機(jī)或其它可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)施過(guò)程,使得在計(jì)算機(jī)或其它可編程設(shè)備上執(zhí)行的指令提供用于實(shí)施流程圖及/或框圖框中指定的功能/動(dòng)作的步驟。
為了提供與用戶的交互,可在具有用于向用戶顯示信息的顯示裝置(例如,CRT(陰極射線管)或LCD(液晶顯示器)監(jiān)視器)的計(jì)算機(jī)以及用戶可通過(guò)其將輸入提供到計(jì)算機(jī)的鍵盤(pán)及指向裝置(例如,鼠標(biāo)或軌跡球)上實(shí)施此處描述的系統(tǒng)及技術(shù)。其它種類(lèi)的裝置也可用來(lái)提供與用戶的交互;舉例來(lái)說(shuō),提供到用戶的反饋可為任何形式的感覺(jué)反饋(例如,視覺(jué)反饋、聽(tīng)覺(jué)反饋或觸覺(jué)反饋);且來(lái)自用戶的輸入可以任何形式加以接收,包含聲學(xué)、語(yǔ)音或觸覺(jué)輸入。
可在計(jì)算系統(tǒng)中實(shí)施此處描述的系統(tǒng)及技術(shù),所述計(jì)算系統(tǒng)包含后端組件(例如,作為數(shù)據(jù)服務(wù)器),或包含中間件組件(例如,應(yīng)用服務(wù)器),或包含前端組件(例如,具有用戶可透過(guò)其與此處描述的系統(tǒng)及技術(shù)的實(shí)施方案交互的圖形用戶接口或網(wǎng)頁(yè)瀏覽器的客戶端計(jì)算機(jī)),或包含此些后端組件、中間件組件或前端組件的任何組合。系統(tǒng)的組件可通過(guò)數(shù)字?jǐn)?shù)據(jù)通信的任何形式或媒體(例如,通信網(wǎng)絡(luò))互連。通信網(wǎng)絡(luò)的實(shí)例包含局域網(wǎng)(“LAN”)、廣域網(wǎng)(“WAN”)及互聯(lián)網(wǎng)。
計(jì)算系統(tǒng)可包含客戶端及服務(wù)器??蛻舳伺c服務(wù)器通常彼此遠(yuǎn)離且通常透過(guò)通信網(wǎng)絡(luò)交互。客戶端與服務(wù)器的關(guān)系憑借在相應(yīng)計(jì)算機(jī)上運(yùn)行且彼此具有客戶端-服務(wù)器關(guān)系的計(jì)算機(jī)程序而出現(xiàn)。
圖中的流程圖及框圖說(shuō)明根據(jù)本發(fā)明的各個(gè)實(shí)施例的系統(tǒng)、方法及計(jì)算機(jī)程序產(chǎn)品的可能實(shí)施方案的架構(gòu)、功能及操作。就此來(lái)說(shuō),流程圖或框圖中的每一框可表示包括用于實(shí)施指定邏輯功能的一或多個(gè)可執(zhí)行指令的模塊、片段或代碼部分。還應(yīng)注意,在一些替代實(shí)施方案中,框中提及的功能不按圖中提及的順序發(fā)生。舉例來(lái)說(shuō),被展示為連續(xù)的兩個(gè)框可事實(shí)上基本上同時(shí)加以執(zhí)行,或所述框可有時(shí)按相反順序加以執(zhí)行,此取決于所涉及功能。還將注意,可由執(zhí)行指定功能或動(dòng)作、或?qū)S糜布噶钆c計(jì)算機(jī)指令的組合的基于專(zhuān)用硬件的系統(tǒng)實(shí)施框圖及/或流程圖說(shuō)明的每一框以及框圖及/或流程圖說(shuō)明中的框的組合。
本文中使用的術(shù)語(yǔ)僅出于描述特定實(shí)施例的目的且并非意圖限制本發(fā)明。如本文中使用,除非上下文另外清楚地指示,否則單數(shù)形式“一(a/an)”及“所述”也意圖包含復(fù)數(shù)形式。進(jìn)一步將理解,在用于本說(shuō)明書(shū)中時(shí),術(shù)語(yǔ)“包括(comprises及/或comprising)”指定所陳述特征、整數(shù)、步驟、操作、元件及/或組件的存在,但不排除一或多個(gè)其它特征、整數(shù)、步驟、操作、元件、組件及/或其群的存在或添加。
下文權(quán)利要求書(shū)中的所有構(gòu)件或步驟加功能元件的對(duì)應(yīng)結(jié)構(gòu)、材料、動(dòng)作及等效物意圖包含用于組合如具體主張的其它所主張?jiān)?zhí)行功能的任何結(jié)構(gòu)、材料或動(dòng)作。本發(fā)明的描述已出于說(shuō)明及描述的目的而提出,但并非意圖為詳盡性或?qū)⒈景l(fā)明限于所揭示形式。在不背離本發(fā)明的范圍及精神的情況下,許多修改及變動(dòng)將對(duì)所屬領(lǐng)域的一般人員顯而易見(jiàn)。選擇及描述實(shí)施例以便最佳地解釋本發(fā)明的原理及實(shí)際應(yīng)用,且以便使所屬領(lǐng)域的其它一般人員能夠理解本發(fā)明中具有各種修改的各個(gè)實(shí)施例適于所預(yù)期的特定用途。
因此在已詳細(xì)描述本申請(qǐng)案的揭示內(nèi)容且參考其實(shí)施例情況下,將顯而易見(jiàn)的是,在不背離所附權(quán)利要求書(shū)中界定的本發(fā)明的范圍的情況下,修改及變動(dòng)是可能的。