本申請是于2013年4月5日提交的、申請?zhí)枮?01310394518.3、名稱為“使用環(huán)境上下文回答問題”的中國發(fā)明專利申請的分案申請。

相關(guān)申請的交叉引用

本申請要求以下美國專利申請的權(quán)益，在此通過引用合并其全部內(nèi)容：2012年9月10日提交的，專利申請?zhí)枮镹o.61/698,934的美國臨時專利申請；2012年9月10日提交的，專利申請?zhí)枮镹o.61/698,949的美國臨時專利申請；2012年9月25日提交的，專利申請?zhí)枮镹o.13/626,439的美國專利申請；2012年9月25日提交的，專利申請?zhí)枮镹o.13/626,351的美國專利申請；以及2013年2月15日提交的，專利申請?zhí)枮镹o.13/768,232的美國專利申請。

技術(shù)領(lǐng)域

本說明書涉及標識基于自然語言查詢和環(huán)境信息的查詢結(jié)果，例如使用環(huán)境信息作為上下文來回答問題。

背景技術(shù)：

通常，搜索查詢包括當用戶請求搜索引擎執(zhí)行搜索時用戶提交給搜索引擎的一個或多個術(shù)語。除了其它方式之外，用戶可以通過在鍵盤上打字或在話音查詢的上下文中通過將查詢術(shù)語口述到移動設(shè)備的麥克風中來錄入搜索查詢的查詢術(shù)語。可以使用語音識別技術(shù)來處理話音查詢。

技術(shù)實現(xiàn)要素：

根據(jù)本說明書中描述的主題的一些創(chuàng)新方面，環(huán)境信息(諸如環(huán)境噪聲)可以輔助查詢處理系統(tǒng)回答自然語言查詢。例如，用戶可以詢問關(guān)于他們正在收看的電視節(jié)目的問題，諸如“這部電影中的演員是誰？”。用戶的移動設(shè)備檢測用戶的發(fā)聲(utterance)和環(huán)境數(shù)據(jù)，環(huán)境數(shù)據(jù)可以包括電視節(jié)目的配樂音頻。移動計算設(shè)備將發(fā)聲和環(huán)境數(shù)據(jù)編碼為波形數(shù)據(jù)，并將該波形數(shù)據(jù)提供給基于服務(wù)器的計算環(huán)境。

計算環(huán)境將發(fā)聲從波形數(shù)據(jù)的環(huán)境數(shù)據(jù)分離，并且繼而獲取發(fā)聲的轉(zhuǎn)寫文本。計算環(huán)境諸如通過標識電影的名稱進一步標識與環(huán)境數(shù)據(jù)和發(fā)聲相關(guān)的實體數(shù)據(jù)。計算環(huán)境繼而可以從轉(zhuǎn)寫文本和實體數(shù)據(jù)標識一個或多個結(jié)果，例如，響應(yīng)于用戶的問題的結(jié)果。特別地，一個或多個結(jié)果可以包括對用戶的“這部電影中的演員是誰”的問題的回答(例如，演員的姓名)。計算環(huán)境可以向移動計算設(shè)備的用戶提供這種結(jié)果。

本說明書中所描述的主題的創(chuàng)新方面可以體現(xiàn)于方法中，該方法包括以下動作：接收編碼發(fā)聲和環(huán)境數(shù)據(jù)的音頻數(shù)據(jù)，獲取發(fā)聲的轉(zhuǎn)寫文本，使用環(huán)境數(shù)據(jù)標識實體，向自然語言查詢處理引擎提交查詢，其中查詢至少包括轉(zhuǎn)寫文本的一部分和標識實體的數(shù)據(jù)，以及獲取查詢的一個或多個結(jié)果。

這些方面的其它實施方式包括對應(yīng)的系統(tǒng)、裝置和在計算機存儲設(shè)備上編碼的計算機程序，其被配置為執(zhí)行方法的動作。

這些和其它實施方式可以各自可選地包括下列特征中的一個或多個特征。例如，輸出結(jié)果中的至少一個結(jié)果的表示。進一步使用發(fā)聲標識實體。生成查詢。生成查詢包括將轉(zhuǎn)寫文本與標識實體的數(shù)據(jù)關(guān)聯(lián)。關(guān)聯(lián)進一步包括使用標識實體的數(shù)據(jù)標記轉(zhuǎn)寫文本。關(guān)聯(lián)進一步包括使用標識實體的數(shù)據(jù)代替轉(zhuǎn)寫文本的一部分。代替進一步包括使用標識實體的數(shù)據(jù)代替轉(zhuǎn)寫文本的一個或多個單詞。接收環(huán)境數(shù)據(jù)進一步包括接收環(huán)境音頻數(shù)據(jù)、環(huán)境圖像數(shù)據(jù)或者二者。接收環(huán)境音頻數(shù)據(jù)進一步包括接收包括背景噪聲的附加的音頻數(shù)據(jù)。

根據(jù)本發(fā)明書中描述的主題的一些創(chuàng)新方面，基于環(huán)境音頻數(shù)據(jù)和口述的自然語言查詢標識媒體內(nèi)容的項目。例如，用戶可以詢問關(guān)于他們正在收看的電視節(jié)目的問題，諸如“我們正在觀看什么？”。問題可以包括關(guān)鍵詞，諸如“觀看”，其建議問題是關(guān)于電視節(jié)目而不是一些其它類型的媒體內(nèi)容。用戶的移動設(shè)備檢測用戶的發(fā)聲和環(huán)境數(shù)據(jù)，環(huán)境數(shù)據(jù)可以包括電視節(jié)目的配樂音頻。移動計算設(shè)備將發(fā)聲和電視環(huán)境數(shù)據(jù)編碼為波形數(shù)據(jù)，并將該波形數(shù)據(jù)提供給基于服務(wù)器的計算環(huán)境。

計算環(huán)境將發(fā)聲與波形數(shù)據(jù)的環(huán)境數(shù)據(jù)分離，并且繼而處理發(fā)聲以獲得發(fā)聲的轉(zhuǎn)寫文本。計算環(huán)境從該轉(zhuǎn)寫文本檢測任意特定內(nèi)容類型的關(guān)鍵詞，諸如關(guān)鍵詞“觀看”。計算環(huán)境可以繼而基于環(huán)境數(shù)據(jù)標識媒體內(nèi)容的項目，并可以從標識的項目選擇媒體內(nèi)容的特定項目，其與和關(guān)鍵詞關(guān)聯(lián)的特定內(nèi)容類型匹配。計算環(huán)境向移動計算設(shè)備的用戶提供媒體內(nèi)容的特定項目的表示。

本說明書中描述的主題的創(chuàng)新方面可以體現(xiàn)于方法中，其包括以下動作：接收(i)編碼口述自然語言查詢的音頻數(shù)據(jù)，以及(ii)環(huán)境音頻數(shù)據(jù)，獲取口述自然語言查詢的轉(zhuǎn)寫文本，確定與轉(zhuǎn)寫文本中的一個或多個關(guān)鍵詞關(guān)聯(lián)的特定內(nèi)容類型，向內(nèi)容識別引擎提供至少環(huán)境音頻數(shù)據(jù)的一部分，標識已經(jīng)由內(nèi)容識別引擎輸出并匹配特定內(nèi)容類型的內(nèi)容項目。

這些方面的其它實施方式包括對應(yīng)的系統(tǒng)、裝置和在計算機存儲設(shè)備上編碼的計算機程序，其被配置為執(zhí)行方法的動作。

這些和其它實施方式可以各自可選地包括下列特征中的一個或多個。例如，特定內(nèi)容類型是電影內(nèi)容類型、音樂內(nèi)容類型、電視節(jié)目內(nèi)容類型、音頻播客內(nèi)容類型、書籍內(nèi)容類型、藝術(shù)品內(nèi)容類型、預(yù)告片內(nèi)容類型、視頻播客內(nèi)容類型、因特網(wǎng)視頻內(nèi)容類型或視頻游戲內(nèi)容類型。接收環(huán)境音頻數(shù)據(jù)進一步包括接收包括背景噪聲的附加的音頻數(shù)據(jù)。背景噪聲與特定內(nèi)容類型關(guān)聯(lián)。接收包括視頻數(shù)據(jù)或圖像數(shù)據(jù)的附加的環(huán)境數(shù)據(jù)。視頻數(shù)據(jù)或圖像數(shù)據(jù)與特定內(nèi)容類型關(guān)聯(lián)。向內(nèi)容識別引擎提供至少環(huán)境音頻數(shù)據(jù)的該一部分進一步包括向音頻指紋識別引擎提供環(huán)境音頻數(shù)據(jù)的該一部分。確定特定內(nèi)容類型進一步包括使用一個或多個數(shù)據(jù)庫標識一個或多個關(guān)鍵詞，對于多個內(nèi)容類型中每個內(nèi)容類型，數(shù)據(jù)庫將關(guān)鍵詞中的至少一個關(guān)鍵詞映射到多個內(nèi)容類型中的至少一個內(nèi)容類型。多個內(nèi)容類型包括特定內(nèi)容類型，并且其中映射進一步包括將關(guān)鍵詞中的至少一個關(guān)鍵詞映射到特定內(nèi)容類型。輸出標識內(nèi)容項目的數(shù)據(jù)。

特征進一步包括，例如，提供進一步包括將標識特定內(nèi)容類型的數(shù)據(jù)提供給內(nèi)容識別引擎，以及標識內(nèi)容項目進一步包括從內(nèi)容識別引擎接收標識內(nèi)容項目的數(shù)據(jù)。從內(nèi)容識別系統(tǒng)接收兩個或更多個內(nèi)容識別候選者，以及標識內(nèi)容項目進一步包括基于特定內(nèi)容類型選擇特定內(nèi)容識別候選者。兩個或更多個內(nèi)容識別候選者中的每個內(nèi)容識別候選者與排名得分關(guān)聯(lián)，該方法進一步包括基于特定內(nèi)容類型調(diào)整兩個或更多個內(nèi)容識別候選者的排名得分?；谡{(diào)整的排名得分對兩個或更多個內(nèi)容識別候選者排名。

本說明書中描述的主題的一個或多個實施方式的細節(jié)在附圖和下面的描述中闡明。主題的其它潛在特征、方面和優(yōu)點將從說明書、附圖和權(quán)利要求中變得明顯。

附圖簡要描述

圖1描繪了用于基于環(huán)境音頻數(shù)據(jù)和口述自然語言查詢標識內(nèi)容項目數(shù)據(jù)的示例系統(tǒng)。

圖2描繪了用于基于環(huán)境音頻數(shù)據(jù)和口述自然語言查詢標識內(nèi)容項目數(shù)據(jù)的示例過程的流程圖。

圖3A-圖3B描繪了用于標識內(nèi)容項目的示例系統(tǒng)的多個部分。

圖4描繪了用于基于環(huán)境圖像數(shù)據(jù)和口述自然語言查詢標識媒體內(nèi)容項目的示例系統(tǒng)。

圖5描繪了用于基于環(huán)境音頻數(shù)據(jù)和發(fā)聲標識一個或多個結(jié)果的系統(tǒng)。

圖6描繪了用于基于環(huán)境數(shù)據(jù)和發(fā)聲標識一個或多個結(jié)果的示例過程的流程圖。

圖7描繪了可以用于實現(xiàn)此處所描述的技術(shù)的計算機設(shè)備和移動計算機設(shè)備。

不同附圖中的相同參考標記表示同樣的元件。

具體實施方式

使用環(huán)境信息作為上下文回答口述自然語言查詢的計算環(huán)境可以使用多個過程處理查詢。在一些過程的示例中，如圖1到圖4中所示，計算環(huán)境可以基于環(huán)境信息(諸如周圍噪聲)來標識媒體內(nèi)容。在其它過程的示例中，如圖5和圖6中所示，為了提供對口述自然語言查詢的更加滿意的回答，計算環(huán)境可以用源自環(huán)境信息的上下文(諸如標識媒體內(nèi)容的數(shù)據(jù))來擴展口述自然語言查詢。

圖1更詳細地描繪了用于基于環(huán)境音頻數(shù)據(jù)和口述自然語言查詢標識內(nèi)容項目數(shù)據(jù)的系統(tǒng)100。簡而言之，系統(tǒng)100可以標識基于環(huán)境音頻數(shù)據(jù)并匹配與口述自然語言查詢關(guān)聯(lián)的特定內(nèi)容類型的內(nèi)容項目數(shù)據(jù)。系統(tǒng)100包括移動計算設(shè)備102、消除歧義引擎104、語音識別引擎106、關(guān)鍵詞映射引擎108和內(nèi)容識別引擎110。移動計算設(shè)備102通過一個或多個網(wǎng)絡(luò)與消除歧義引擎104通信。移動設(shè)備110可以包括麥克風、照相機或其它用于從用戶112和/或與用戶112關(guān)的環(huán)境數(shù)據(jù)檢測發(fā)聲的檢測機構(gòu)。

在一些示例中，用戶112正在觀看電視節(jié)目。在所示的示例中，用戶112想要知道誰導(dǎo)演了當前正在播放的電視節(jié)目。在一些示例中，用戶112可能不知道當前正在播放的電視節(jié)目的名稱，并為此提出問題“誰導(dǎo)演了這個節(jié)目？”移動計算設(shè)備102檢測這個發(fā)聲和與用戶112的環(huán)境關(guān)聯(lián)的環(huán)境音頻數(shù)據(jù)。

在一些示例中，與用戶112的環(huán)境關(guān)聯(lián)的環(huán)境音頻數(shù)據(jù)可以包括用戶112的環(huán)境的背景噪聲。例如，環(huán)境音頻數(shù)據(jù)包括電視節(jié)目的聲音。在一些示例中，與當前顯示的電視節(jié)目關(guān)聯(lián)的環(huán)境音頻數(shù)據(jù)可以包括當前顯示的電視節(jié)目的音頻(例如，當前顯示的電視節(jié)目的對話、當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻等等)。

在一些示例中，移動計算設(shè)備102在檢測到發(fā)聲之后檢測環(huán)境音頻數(shù)據(jù)；檢測發(fā)聲的同時檢測環(huán)境音頻數(shù)據(jù)；或者兩種方式都采用。在操作(A)期間，移動計算設(shè)備102處理檢測到的發(fā)聲和環(huán)境音頻數(shù)據(jù)以生成表示檢測到的發(fā)聲和環(huán)境音頻數(shù)據(jù)的波形數(shù)據(jù)114，并將該波形數(shù)據(jù)114傳輸給消除歧義引擎104(例如，通過網(wǎng)絡(luò))。在一些示例中，從移動計算設(shè)備110流傳輸環(huán)境音頻數(shù)據(jù)。

消除歧義引擎104從移動計算設(shè)備102接收波形數(shù)據(jù)114。在操作(B)期間，消除歧義引擎104處理波形數(shù)據(jù)114，包括將發(fā)聲從波形數(shù)據(jù)114的其它部分分離(或提取)以及將發(fā)聲傳輸給語音識別引擎106(例如，通過網(wǎng)絡(luò))。例如，消除歧義引擎104將發(fā)聲(“誰導(dǎo)演了這個節(jié)目？”)從用戶112的環(huán)境的的背景噪聲(例如，當前顯示的電視節(jié)目)分離。

在一些示例中，消除歧義引擎104使用話音檢測器以有助于通過標識波形數(shù)據(jù)114的包括話音活動或與計算設(shè)備102的用戶關(guān)聯(lián)的話音活動的一部分從背景噪聲分離發(fā)聲。在一些示例中，發(fā)聲涉及查詢(例如，涉及當前顯示的電視節(jié)目的查詢)。在一些示例中，波形數(shù)據(jù)114包括檢測到的發(fā)聲。作為響應(yīng)，消除歧義引擎104可以從涉及發(fā)聲的移動計算設(shè)備102請求環(huán)境音頻數(shù)據(jù)。

語音識別引擎106從消除歧義引擎104接收波形數(shù)據(jù)114的對應(yīng)于發(fā)聲的部分。在操作(C)期間，語音識別引擎106獲取發(fā)聲的轉(zhuǎn)寫文本并將該轉(zhuǎn)寫文本提供給關(guān)鍵詞映射引擎108。特別地，語音識別引擎106處理接收自語音識別引擎106的發(fā)聲。在一些示例中，由語音識別系統(tǒng)106處理發(fā)聲包括生成發(fā)聲的轉(zhuǎn)寫文本。生成發(fā)聲的轉(zhuǎn)寫文本可以包括將該發(fā)聲轉(zhuǎn)寫為文本或文本相關(guān)數(shù)據(jù)。換句話說，語音識別系統(tǒng)106可以按照發(fā)聲的書面形式提供語言的表示。

例如，語音識別系統(tǒng)106轉(zhuǎn)寫發(fā)聲以生成“誰導(dǎo)演了這個節(jié)目？”的轉(zhuǎn)寫文本。在一些實施方式中，語音識別系統(tǒng)106提供發(fā)聲的兩個或更多個轉(zhuǎn)寫文本。例如，語音識別系統(tǒng)106轉(zhuǎn)寫發(fā)聲以生成“誰導(dǎo)演了這個節(jié)目？”和“誰導(dǎo)演了這只鞋？”的轉(zhuǎn)寫文本。

關(guān)鍵詞映射引擎108從語音識別引擎106接收轉(zhuǎn)寫文本。在操作(D)期間，關(guān)鍵詞映射引擎108標識轉(zhuǎn)寫文本中的與特定內(nèi)容類型關(guān)聯(lián)的一個或多個關(guān)鍵詞并將該特定內(nèi)容類型提供給消除歧義引擎104。在一些實施方式中，一個或多個內(nèi)容類型可以包括“電影”、“音樂”、“電視節(jié)目”、“音頻播客”、“圖像”、“藝術(shù)品”、“書籍”、“雜志”、“預(yù)告片”、“視頻播客”、“因特網(wǎng)視頻”或“視頻游戲”。

例如，關(guān)鍵詞映射引擎108從“誰導(dǎo)演了這個節(jié)目”的轉(zhuǎn)寫文本標識關(guān)鍵詞“導(dǎo)演”。關(guān)鍵詞“導(dǎo)演”與“電視節(jié)目”內(nèi)容類型關(guān)聯(lián)。在一些實施方式中，由關(guān)鍵詞映射引擎108標識的轉(zhuǎn)寫文本的關(guān)鍵詞與兩個或更多個內(nèi)容類型關(guān)聯(lián)。例如，關(guān)鍵詞“導(dǎo)演”與“電視節(jié)目”和“電影”內(nèi)容類型關(guān)聯(lián)。

在一些實施方式中，關(guān)鍵詞映射引擎108標識轉(zhuǎn)寫文本中的與特定內(nèi)容類型關(guān)聯(lián)的兩個或更多個關(guān)鍵詞。例如，關(guān)鍵詞映射引擎108標識與特定內(nèi)容類型關(guān)聯(lián)的關(guān)鍵詞“導(dǎo)演”和“節(jié)目”。在一些實施方式中，標識的兩個或更多個關(guān)鍵詞與同一個內(nèi)容類型關(guān)聯(lián)。例如，標識的關(guān)鍵詞“導(dǎo)演”和“節(jié)目”都與“電視節(jié)目”內(nèi)容類型關(guān)聯(lián)。在一些實施方式中，標識的兩個或更多個關(guān)鍵詞與不同的內(nèi)容類型關(guān)聯(lián)。例如，標識的關(guān)鍵詞“導(dǎo)演”與“電影”內(nèi)容類型關(guān)聯(lián)并且標識的關(guān)鍵詞“節(jié)目”與“電視節(jié)目”內(nèi)容類型關(guān)聯(lián)。關(guān)鍵詞映射引擎108將特定內(nèi)容類型傳輸(例如，通過網(wǎng)絡(luò))到消除歧義引擎108。

在一些實施方式中，關(guān)鍵詞映射引擎108使用一個或多個數(shù)據(jù)庫(對于多個內(nèi)容類型中的每個內(nèi)容類型，該數(shù)據(jù)庫將關(guān)鍵詞中的至少一個關(guān)鍵詞映射到多個內(nèi)容類型中的至少一個內(nèi)容類型)標識轉(zhuǎn)寫文本中的與特定內(nèi)容類型關(guān)聯(lián)的一個或多個關(guān)鍵詞。特別地，關(guān)鍵詞映射引擎108包括數(shù)據(jù)庫(或多個數(shù)據(jù)庫)或與數(shù)據(jù)庫(或多個數(shù)據(jù)庫)通信。數(shù)據(jù)庫包括關(guān)鍵詞和內(nèi)容類型之間的映射或與該映射關(guān)聯(lián)。特別地，數(shù)據(jù)庫提供了關(guān)鍵詞和內(nèi)容類型之間的連接(例如，映射)從而使得關(guān)鍵詞映射引擎108能夠標識轉(zhuǎn)寫文本中的與特定內(nèi)容類型關(guān)聯(lián)的一個或多個關(guān)鍵詞。

在一些實施方式中，關(guān)鍵詞與內(nèi)容類型之間的映射中的一個或多個映射可以包括單方向(例如，單向)映射(即，從關(guān)鍵詞到內(nèi)容類型的映射)。在一些實施方式中，關(guān)鍵詞與內(nèi)容類型之間的映射中的一個或多個映射可以包括雙方向(例如，雙向)映射(即，從關(guān)鍵詞到內(nèi)容類型以及從內(nèi)容類型到關(guān)鍵詞的映射)。在一些實施方式中，一個或多個數(shù)據(jù)庫將關(guān)鍵詞中的一個或多個關(guān)鍵詞映射到兩個或更多個內(nèi)容類型。

例如，關(guān)鍵詞映射引擎108使用將關(guān)鍵詞“導(dǎo)演”映射到“電影”和“電視節(jié)目”內(nèi)容類型的一個或多個數(shù)據(jù)庫。在一些實施方式中，關(guān)鍵詞和內(nèi)容類型之間的映射可以包括多個不同版本的根關(guān)鍵詞(例如，詞族)和內(nèi)容類型之間的映射。不同版本的關(guān)鍵詞可以包括不同的語法種類，諸如時態(tài)(例如，過去時，現(xiàn)在時，將來時)和詞類(例如，名詞，動詞)。例如，數(shù)據(jù)庫可以包括將根詞“導(dǎo)演(direct)”的詞族(諸如“導(dǎo)演們(directors)”和“導(dǎo)演(direction)”)映射到一個或多個內(nèi)容類型的映射。

消除歧義引擎104從關(guān)鍵詞映射引擎108接收標識與發(fā)聲的轉(zhuǎn)寫文本關(guān)聯(lián)的特定內(nèi)容類型的數(shù)據(jù)。此外，如上所述，消除歧義引擎104從移動計算設(shè)備102接收波形數(shù)據(jù)114，其包括與發(fā)聲關(guān)聯(lián)的環(huán)境音頻數(shù)據(jù)。繼而，在操作(E)期間，消除歧義引擎104向內(nèi)容識別引擎110提供環(huán)境音頻數(shù)據(jù)和特定內(nèi)容類型。

例如，消除歧義引擎104向內(nèi)容識別引擎110傳送包括當前顯示的電視節(jié)目的音頻的涉及當前顯示的電視節(jié)目的環(huán)境音頻數(shù)據(jù)(例如，當前顯示的電視節(jié)目的對話，與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻，等等)和特定內(nèi)容類型的發(fā)聲的轉(zhuǎn)寫文本(例如，“電視節(jié)目”內(nèi)容類型)。

在一些實施方式中，消除歧義引擎104向內(nèi)容識別引擎110提供環(huán)境音頻數(shù)據(jù)的一部分。在一些示例中，環(huán)境音頻數(shù)據(jù)的一部分可以包括由移動計算設(shè)備102在檢測發(fā)聲之后檢測的背景噪聲。在一些示例中，環(huán)境音頻數(shù)據(jù)的一部分可以包括由移動計算設(shè)備102在檢測發(fā)聲的同時檢測的背景噪聲。

在一些實施方式中，(波形數(shù)據(jù)114的)背景噪聲與特定內(nèi)容類型關(guān)聯(lián)，該特定內(nèi)容類型與轉(zhuǎn)寫文本的關(guān)鍵詞關(guān)聯(lián)。例如，轉(zhuǎn)寫文本“誰導(dǎo)演了這個節(jié)目”的關(guān)鍵詞“導(dǎo)演”與“電視節(jié)目”內(nèi)容類型關(guān)聯(lián)，并且背景噪聲(例如，涉及當前顯示的電視節(jié)目的環(huán)境音頻數(shù)據(jù))也與“電視節(jié)目”內(nèi)容類型關(guān)聯(lián)。

內(nèi)容識別引擎110從消除歧義引擎104接收環(huán)境音頻數(shù)據(jù)和特定內(nèi)容類型。在操作(F)期間，內(nèi)容識別引擎110標識基于環(huán)境音頻數(shù)據(jù)并與特定內(nèi)容類型相匹配的內(nèi)容項目數(shù)據(jù)，并將該內(nèi)容項目數(shù)據(jù)提供給消除歧義引擎104。特別地，內(nèi)容識別引擎110適當?shù)靥幚憝h(huán)境音頻數(shù)據(jù)以標識與環(huán)境音頻數(shù)據(jù)關(guān)聯(lián)的內(nèi)容項目數(shù)據(jù)(例如，電視節(jié)目的名稱、歌曲的名稱，等等)。另外，內(nèi)容識別引擎110將標識的內(nèi)容項目數(shù)據(jù)與特定內(nèi)容類型(例如，發(fā)聲的轉(zhuǎn)寫文本的內(nèi)容類型)匹配。內(nèi)容識別引擎110將標識的內(nèi)容項目數(shù)據(jù)傳輸(例如，通過網(wǎng)絡(luò))給消除歧義引擎104。

例如，內(nèi)容識別引擎110標識基于涉及當前顯示的電視節(jié)目的環(huán)境音頻數(shù)據(jù)并進一步匹配“電視節(jié)目”內(nèi)容類型的內(nèi)容項目數(shù)據(jù)。為此，依靠由內(nèi)容識別引擎110接收的部分環(huán)境音頻數(shù)據(jù)，內(nèi)容識別引擎110可以基于當前顯示的電視節(jié)目的對話或者與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻標識內(nèi)容項目數(shù)據(jù)。

在一些實施方式中，內(nèi)容識別引擎110是音頻指紋引擎，其利用使用小波(wavelet)的內(nèi)容指紋以標識內(nèi)容項目數(shù)據(jù)。特別地，內(nèi)容識別引擎110將波形數(shù)據(jù)114轉(zhuǎn)換為頻譜圖。內(nèi)容識別引擎110從頻譜圖提取頻譜圖像。頻譜圖像可以被表示為小波。對于提取自頻譜圖的頻譜圖像中的每個頻譜圖像，內(nèi)容識別引擎110基于小波的各自量值提取“頂部”小波。對于每個頻譜圖像，內(nèi)容識別引擎110計算圖像的小波簽名。在一些示例中，小波簽名是圖像的小波分解的截斷的、量化的版本。

例如，為了使用小波描述m×n的圖像，返回m×n的小波而無需壓縮。此外，內(nèi)容識別引擎110利用最能特征化歌曲的小波子集。特別地，選擇t個“頂部”小波(通過量值)，其中t＜＜m×n。此外，內(nèi)容識別引擎110創(chuàng)建上述稀疏小波向量的緊湊表示，例如，使用Minhash計算這些稀疏位向量的子指紋。

在一些示例中，當環(huán)境音頻數(shù)據(jù)至少包括與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻時，內(nèi)容識別引擎110標識內(nèi)容項目數(shù)據(jù)，該內(nèi)容項目數(shù)據(jù)基于與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻并也與“電視節(jié)目”內(nèi)容類型相匹配。因此，在一些示例中，內(nèi)容識別引擎110標識涉及當前顯示的電視節(jié)目名稱的內(nèi)容項目數(shù)據(jù)。例如，內(nèi)容識別引擎110可以確定特定內(nèi)容項目(例如，具體電視節(jié)目)與主題歌(例如，配樂音頻)關(guān)聯(lián)，以及特定內(nèi)容項目(例如，具體電視節(jié)目)匹配特定內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)。因此，內(nèi)容識別引擎110可以標識涉及特定內(nèi)容項目(例如，當前顯示的電視節(jié)目)的數(shù)據(jù)(例如，具體電視節(jié)目的名稱)，該特定內(nèi)容項目基于環(huán)境音頻數(shù)據(jù)(例如，配樂音頻)，并進一步匹配特定內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)。

消除歧義引擎104從內(nèi)容識別引擎110接收標識的內(nèi)容項目數(shù)據(jù)。在操作(G)，消除歧義引擎104繼而將標識的內(nèi)容項目數(shù)據(jù)提供給移動計算設(shè)備102。例如，消除歧義引擎104將涉及當前顯示的電視節(jié)目的標識的內(nèi)容項目數(shù)據(jù)(例如，當前顯示的電視節(jié)目的名稱)傳輸給移動計算設(shè)備102。

在一些示例中，移動計算設(shè)備102、消除歧義引擎104，語音識別引擎106、關(guān)鍵詞映射引擎108和內(nèi)容識別引擎110中的一個或多個可以與移動計算設(shè)備102、消除歧義引擎104、語音識別引擎106、關(guān)鍵詞映射引擎108和內(nèi)容識別引擎110的子集(或其中的每一個)通信。在一些實施方式中，消除歧義引擎104、語音識別引擎106、關(guān)鍵詞映射引擎108和內(nèi)容識別引擎110中的一個或多個可以使用一個或多個計算設(shè)備(諸如一個或多個計算服務(wù)器、分布式計算系統(tǒng)或服務(wù)器群或集群)來實現(xiàn)。

在一些實施方式中，如上所述，從移動計算設(shè)備110向消除歧義引擎104流傳輸環(huán)境音頻數(shù)據(jù)。當環(huán)境音頻數(shù)據(jù)被流傳輸時，隨著環(huán)境音頻數(shù)據(jù)由消除歧義引擎104接收執(zhí)行上述的過程(例如，操作(A)-(H))(即，遞增地執(zhí)行)。換句話說，隨著環(huán)境音頻數(shù)據(jù)的每個部分由消除歧義引擎104接收(例如，流傳輸?shù)较缌x引擎104)，迭代執(zhí)行操作(A)-(H)直到標識內(nèi)容項目數(shù)據(jù)。

圖2描繪了用于基于環(huán)境音頻數(shù)據(jù)和口述自然語言查詢標識內(nèi)容項目數(shù)據(jù)的示例過程200的流程圖?？梢允褂靡粋€或多個計算設(shè)備執(zhí)行示例過程200。例如，移動計算設(shè)備102、消除歧義引擎104、語音識別引擎106、關(guān)鍵詞映射引擎108和/或內(nèi)容識別引擎110可以用于執(zhí)行示例過程200。

接收編碼口述自然語言查詢和環(huán)境音頻數(shù)據(jù)的音頻數(shù)據(jù)(202)。例如，消除歧義引擎104從移動計算設(shè)備102接收波形數(shù)據(jù)114。波形數(shù)據(jù)114包括用戶的口述自然語言查詢(例如，“誰導(dǎo)演了這個節(jié)目？”)和環(huán)境音頻數(shù)據(jù)(例如，當前顯示的電視節(jié)目的音頻)。消除歧義引擎104將口述自然語言查詢(“誰導(dǎo)演了這個節(jié)目”)從用戶112的環(huán)境的背景噪聲(例如，當前顯示的電視節(jié)目)分離。

獲取自然語言查詢的轉(zhuǎn)寫文本(204)。例如，語音識別系統(tǒng)106轉(zhuǎn)寫自然語言查詢以生成自然語言查詢的轉(zhuǎn)寫文本(例如，“誰導(dǎo)演了這個節(jié)目？”)。

確定與轉(zhuǎn)寫文本中的一個或多個關(guān)鍵詞關(guān)聯(lián)的特定內(nèi)容類型(206)。例如，關(guān)鍵詞映射引擎108標識轉(zhuǎn)寫文本(例如，“誰導(dǎo)演了這個節(jié)目”)中的與特定內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)關(guān)聯(lián)的一個或多個關(guān)鍵詞(例如，“導(dǎo)演”)。在一些實施方式中，關(guān)鍵詞映射引擎108使用一個或多個數(shù)據(jù)庫確定與轉(zhuǎn)寫文本中的一個或多個關(guān)鍵詞關(guān)聯(lián)的特定內(nèi)容類型，對于多個內(nèi)容類型中的每個內(nèi)容類型，該數(shù)據(jù)庫將關(guān)鍵詞中的至少一個關(guān)鍵詞映射到多個內(nèi)容類型中的至少一個內(nèi)容類型。數(shù)據(jù)庫提供了關(guān)鍵詞(例如，“導(dǎo)演”)和內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)之間的連接(例如，映射)。

向內(nèi)容識別引擎提供至少環(huán)境音頻數(shù)據(jù)的一部分(208)。例如，消除歧義引擎104向內(nèi)容識別引擎110提供由波形數(shù)據(jù)114編碼的至少環(huán)境音頻數(shù)據(jù)的一部分(例如，當前顯示的電視節(jié)目的音頻)。在一些示例中，消除歧義引擎104還向內(nèi)容識別引擎110提供與轉(zhuǎn)寫文本中的一個或多個關(guān)鍵詞(例如，“導(dǎo)演”)關(guān)聯(lián)的特定內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)。

內(nèi)容識別引擎輸出標識的內(nèi)容項目，標識的內(nèi)容匹配特定內(nèi)容類型(210)。例如，內(nèi)容識別引擎110標識內(nèi)容項目或基于環(huán)境音頻數(shù)據(jù)(例如，當前顯示的電視節(jié)目的音頻)并與特定內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)匹配的內(nèi)容項目數(shù)據(jù)。

圖3A和圖3B分別描繪了用于標識內(nèi)容項目數(shù)據(jù)的系統(tǒng)的部分300a和300b。特別地，圖3A和圖3B分別包括消除歧義引擎304a和304b；并分別包括內(nèi)容識別引擎310a和310b。消除歧義引擎304a和304b與圖1中所描繪的系統(tǒng)100的消除歧義引擎104類似；內(nèi)容識別引擎310a和310b與圖1中所描繪的系統(tǒng)100的內(nèi)容識別引擎110類似。

圖3A描繪了包括內(nèi)容識別引擎310a的部分300a。內(nèi)容識別引擎310a能夠標識基于環(huán)境數(shù)據(jù)并匹配特定內(nèi)容類型的內(nèi)容項目數(shù)據(jù)。換句話說，內(nèi)容識別引擎310a能夠適當處理環(huán)境數(shù)據(jù)以基于環(huán)境數(shù)據(jù)標識內(nèi)容項目數(shù)據(jù)，并進一步的選擇標識的內(nèi)容項目數(shù)據(jù)中的一個或多個標識的內(nèi)容項目數(shù)據(jù)，從而使得所選擇的內(nèi)容項目數(shù)據(jù)與特定內(nèi)容類型匹配。

特別地，在操作(A)期間，消除歧義引擎304a向內(nèi)容識別引擎310a提供環(huán)境數(shù)據(jù)和特定內(nèi)容類型。在一些實施方式中，消除歧義引擎304a向內(nèi)容識別引擎310a提供環(huán)境數(shù)據(jù)的一部分。

內(nèi)容識別引擎310a從消除歧義引擎304a接收環(huán)境數(shù)據(jù)和特定內(nèi)容類型。在操作(B)期間，內(nèi)容識別引擎310a繼而標識基于環(huán)境數(shù)據(jù)并與特定內(nèi)容類型匹配的內(nèi)容項目數(shù)據(jù)，并將標識的內(nèi)容項目數(shù)據(jù)提供給消除歧義引擎304a。特別地，內(nèi)容識別引擎310a標識基于環(huán)境數(shù)據(jù)的內(nèi)容項目數(shù)據(jù)(例如，電視節(jié)目的名稱、歌曲的名稱，等等)。內(nèi)容識別引擎310a繼而選擇與特定內(nèi)容類型相匹配的標識的內(nèi)容項目數(shù)據(jù)中的一個或多個標識的內(nèi)容項目數(shù)據(jù)。換句話說，內(nèi)容識別引擎310a基于特定內(nèi)容類型過濾標識的內(nèi)容項目數(shù)據(jù)。內(nèi)容識別引擎310a將標識的內(nèi)容項目數(shù)據(jù)傳輸(例如，通過網(wǎng)絡(luò))給消除歧義引擎304a。

在一些示例中，當環(huán)境數(shù)據(jù)至少包括與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻時，如以上關(guān)于圖1所提及的那樣，則內(nèi)容識別引擎310a標識基于與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻的內(nèi)容項目數(shù)據(jù)。內(nèi)容識別引擎310a繼而基于“電視節(jié)目”內(nèi)容類型過濾標識的內(nèi)容項目數(shù)據(jù)。例如，內(nèi)容識別引擎310a標識與配樂音頻關(guān)聯(lián)的“主題歌名稱”和“電視節(jié)目名稱”。內(nèi)容識別引擎310a繼而過濾標識的內(nèi)容項目數(shù)據(jù)，從而使得標識的內(nèi)容項目數(shù)據(jù)也匹配“電視節(jié)目”內(nèi)容類型。例如，內(nèi)容識別引擎310a選擇“電視節(jié)目名稱”標識數(shù)據(jù)，并將“電視節(jié)目名稱”標識數(shù)據(jù)傳輸給消除歧義引擎304a。

在一些示例中，內(nèi)容識別引擎310a基于內(nèi)容類型(例如，“電視節(jié)目”內(nèi)容類型)選擇語料庫(或索引)。特別地，內(nèi)容識別引擎310a可以訪問關(guān)于“電視節(jié)目”內(nèi)容類型的第一索引和關(guān)于“電影”內(nèi)容類型的第二索引。內(nèi)容識別引擎310a基于“電視節(jié)目”內(nèi)容類型適當?shù)剡x擇第一索引。因此，通過選擇第一索引(而不選擇第二索引)，內(nèi)容識別引擎310a可以更有效率地標識內(nèi)容項目數(shù)據(jù)(例如，電視節(jié)目的名稱)。

消除歧義引擎304a從內(nèi)容識別引擎310a接收內(nèi)容項目數(shù)據(jù)。例如，消除歧義引擎304a從內(nèi)容識別引擎310a接收“電視節(jié)目名稱”標識數(shù)據(jù)。在操作(C)期間，消除歧義引擎304a繼而向第三方(例如，圖1的移動計算設(shè)備102)提供標識數(shù)據(jù)。例如，消除歧義引擎304a向第三方提供“電視節(jié)目名稱”標識數(shù)據(jù)。

圖3b描繪了包括內(nèi)容識別引擎310b的部分300b。內(nèi)容識別引擎310b能夠基于環(huán)境數(shù)據(jù)標識內(nèi)容項目數(shù)據(jù)。換句話說，內(nèi)容識別引擎310b能夠適當?shù)靥幚憝h(huán)境數(shù)據(jù)以基于環(huán)境數(shù)據(jù)標識內(nèi)容項目數(shù)據(jù)，并向消除歧義引擎304b提供內(nèi)容項目數(shù)據(jù)。消除歧義引擎310b選擇標識的內(nèi)容項目數(shù)據(jù)中的一個或多個標識的內(nèi)容項目數(shù)據(jù)，從而使得所選擇的內(nèi)容項目數(shù)據(jù)匹配特定內(nèi)容類型。

特別地，在操作(A)期間，消除歧義引擎304b向內(nèi)容識別引擎310b提供環(huán)境數(shù)據(jù)。在一些實施方式中，消除歧義引擎304b向內(nèi)容識別引擎310b提供環(huán)境數(shù)據(jù)的一部分。

內(nèi)容識別引擎310b從消除歧義引擎304b接收環(huán)境數(shù)據(jù)。在操作(B)期間，內(nèi)容識別引擎310b繼而標識基于環(huán)境數(shù)據(jù)的內(nèi)容項目數(shù)據(jù)，并向消除歧義引擎304b提供標識的內(nèi)容項目數(shù)據(jù)。特別地，內(nèi)容識別引擎310b標識基于環(huán)境數(shù)據(jù)的、與兩個或更多個內(nèi)容項目(例如，電視節(jié)目的名稱、歌曲的名稱，等等)關(guān)聯(lián)的內(nèi)容項目數(shù)據(jù)。內(nèi)容識別引擎310b將表示標識的內(nèi)容項目數(shù)據(jù)的兩個或更多個候選者傳輸(例如，通過網(wǎng)絡(luò))給消除歧義引擎304b。

在一些示例中，當環(huán)境數(shù)據(jù)至少包括與當前顯示的電視節(jié)目相關(guān)聯(lián)的配樂音頻時，如圖1中所提到的那樣，內(nèi)容識別引擎310b標識涉及兩個或更多個內(nèi)容項目的內(nèi)容項目數(shù)據(jù)，該內(nèi)容項目基于與當前顯示的電視節(jié)目相關(guān)聯(lián)的配樂音頻。例如，內(nèi)容識別引擎310b標識與配樂音頻相關(guān)聯(lián)的“主題曲名稱”和“電視節(jié)目名稱”，并將“主題曲名稱”和“電視節(jié)目名稱”識別數(shù)據(jù)發(fā)送到消除歧義引擎304b。

消除歧義引擎304b從內(nèi)容識別引擎310b接收兩個或更多個候選者。例如，消除歧義引擎304b從內(nèi)容識別引擎310b接收“主題曲名稱”和“電視節(jié)目名稱”候選者。在操作(C)期間，消除歧義引擎304b繼而基于特定內(nèi)容類型選擇兩個或更多個候選者中的一個候選者，并將所選的候選者提供給第三方(例如，圖1的移動計算設(shè)備102)。特別地，如關(guān)于圖1所描述的，消除歧義引擎304b預(yù)先接收特定內(nèi)容類型(例如，與發(fā)聲關(guān)聯(lián)的特別類型)。消除歧義引擎304b基于特定內(nèi)容類型選擇兩個或更多個候選者中的特定候選者。特別地，消除歧義引擎304b選擇兩個或更多個候選者中匹配特定內(nèi)容類型的特定候選者。例如，消除歧義引擎304b選擇“電視節(jié)目名稱”候選者，因為“電視節(jié)目名稱”候選者與“電視節(jié)目”內(nèi)容類型相匹配。

在一些實施方式中，來自內(nèi)容識別引擎310b的兩個或更多個候選者與排名得分關(guān)聯(lián)。排名得分可以與由消除歧義引擎304b確定的任意評分度量關(guān)聯(lián)。消除歧義引擎304b可以基于特定內(nèi)容類型進一步調(diào)整兩個或更多個候選者的排名得分。特別地，當各個候選者與特定內(nèi)容類型匹配時，消除歧義引擎304b可以增加候選者中的一個或多個候選者的排名得分。例如，可以增加候選者“電視節(jié)目名稱”的排名得分，因為其與“電視節(jié)目”內(nèi)容類型匹配。此外，當各個候選者與特定內(nèi)容類型不匹配時，消除歧義引擎304b可以降低一個或多個候選者的排名得分。例如，可以降低候選者“主題曲名稱”的排名得分，因為其與“電視節(jié)目”內(nèi)容類型不匹配。

在一些實施方式中，可以基于消除歧義引擎304b的各自調(diào)整的排名得分對兩個或更多個候選者進行排名。例如，消除歧義引擎304b可以將“電視節(jié)目名稱”候選者排名在“主題曲名稱”候選者之上，因為“電視節(jié)目名稱”候選者相比于“主題曲名稱”候選者的調(diào)整的排名得分而言具有較高的調(diào)整的排名得分。在一些示例中，消除歧義引擎304b選擇排名最高的候選者(也就是，具有最高調(diào)整的排名得分的候選者)。

圖4描繪了用于基于環(huán)境圖像數(shù)據(jù)和口述自然語言查詢標識內(nèi)容項目數(shù)據(jù)的系統(tǒng)400。簡而言之，系統(tǒng)400可以標識基于環(huán)境圖像數(shù)據(jù)并與和口述自然語言查詢關(guān)聯(lián)的特定內(nèi)容類型匹配的內(nèi)容項目數(shù)據(jù)。系統(tǒng)400包括移動計算設(shè)備402、消除歧義引擎404、語音識別引擎406、關(guān)鍵詞映射引擎408和內(nèi)容識別引擎410，它們分別類似于圖1中所示的系統(tǒng)100的移動計算設(shè)備102、消除歧義引擎104、語音識別引擎106、關(guān)鍵詞映射引擎108和內(nèi)容識別引擎110。

在一些示例中，用戶112正在觀看電影的配樂的CD唱片集封面。在所示的示例中，用戶112想要了解在配樂中有那些歌曲。在一些示例中，用戶112可能不知道電影配樂的名稱，并且因此可能會問“這上面有什么歌曲？”或者“電影中播放的是什么歌曲？”移動計算設(shè)備402檢測這個發(fā)聲，以及與用戶112的環(huán)境關(guān)聯(lián)的環(huán)境圖像數(shù)據(jù)。

在一些示例中，與用戶112的環(huán)境相關(guān)聯(lián)的環(huán)境圖像數(shù)據(jù)包括用戶112的環(huán)境圖像數(shù)據(jù)。例如，環(huán)境圖像數(shù)據(jù)包括描繪了與電影相關(guān)圖像(例如，相關(guān)電影的電影海報的圖像)的CD唱片集封面的圖像。在一些示例中，移動計算設(shè)備402使用移動計算設(shè)備402的照相機捕獲CD唱片集封面的圖像(或視頻)，以此來檢測環(huán)境圖像數(shù)據(jù)。

在操作(A)期間，移動計算設(shè)備402處理檢測到的發(fā)聲以生成表示檢測到的發(fā)聲的波形數(shù)據(jù)414，并將波形數(shù)據(jù)414和環(huán)境圖像數(shù)據(jù)發(fā)送到消除歧義引擎404(例如，通過網(wǎng)絡(luò))。

消除歧義引擎404從移動計算設(shè)備402接收波形數(shù)據(jù)414和環(huán)境圖像數(shù)據(jù)。在操作(B)期間，消除歧義引擎404處理波形數(shù)據(jù)414并將發(fā)聲傳送到語音識別引擎406(例如，通過網(wǎng)絡(luò))。在一些示例中，發(fā)聲涉及查詢(例如，涉及電影配樂的查詢)。

語音識別系統(tǒng)406從消除歧義引擎404接收發(fā)聲。在操作(C)期間，語音識別系統(tǒng)406獲取發(fā)聲的轉(zhuǎn)寫文本，并將轉(zhuǎn)寫文本提供給關(guān)鍵詞映射引擎408。特別地，語音識別系統(tǒng)406通過生成發(fā)聲的轉(zhuǎn)寫文本處理接收自語音識別引擎406的發(fā)聲。

例如，語音識別系統(tǒng)406轉(zhuǎn)寫發(fā)聲以生成“這上面有什么歌曲？”的轉(zhuǎn)寫文本。在一些實施方式中，語音識別系統(tǒng)406提供發(fā)聲的兩個或更多個轉(zhuǎn)寫文本。例如，語音識別系統(tǒng)406轉(zhuǎn)寫發(fā)聲以生成“這上面有什么歌曲？”和“這上面有什么水池？”的轉(zhuǎn)寫文本。

關(guān)鍵詞映射引擎408從語音識別引擎406接收轉(zhuǎn)寫文本。在操作(D)期間，關(guān)鍵詞映射引擎408標識轉(zhuǎn)寫文本中的與特定內(nèi)容類型關(guān)聯(lián)的一個或多個關(guān)鍵詞，并將特定內(nèi)容類型提供給消除歧義引擎404。

例如，關(guān)鍵詞映射引擎408標識來自轉(zhuǎn)寫文本“這上面有什么歌曲？”的的關(guān)鍵詞“歌曲”。關(guān)鍵詞“歌曲”與“音樂”內(nèi)容類型關(guān)聯(lián)。在一些實施方式中，由關(guān)鍵詞映射引擎408標識的轉(zhuǎn)寫文本的關(guān)鍵詞與兩個或更多個內(nèi)容類型關(guān)聯(lián)。例如，關(guān)鍵詞“歌曲”與“音樂”和“歌手”內(nèi)容類型關(guān)聯(lián)。關(guān)鍵詞映射引擎408將特定內(nèi)容類型傳輸(例如，通過網(wǎng)絡(luò))給消除歧義引擎408。

在一些實施方式中，類似于上面提到的，關(guān)鍵詞映射引擎408使用一個或多個數(shù)據(jù)庫標識轉(zhuǎn)寫文本中的與特定內(nèi)容類型關(guān)聯(lián)的一個或多個關(guān)鍵詞，對于多個內(nèi)容類型中的每個內(nèi)容類型，該數(shù)據(jù)庫將關(guān)鍵詞中的至少一個關(guān)鍵詞映射到多個內(nèi)容類型中的至少一個內(nèi)容類型。例如，關(guān)鍵詞映射引擎408使用將關(guān)鍵詞“歌曲”映射到“音樂”和“歌手”內(nèi)容類型的一個或多個數(shù)據(jù)庫。

消除歧義引擎404從關(guān)鍵詞映射引擎408接收與發(fā)聲的轉(zhuǎn)寫文本關(guān)聯(lián)的特定內(nèi)容類型。此外，如上所述，消除歧義引擎404接收與發(fā)聲關(guān)聯(lián)的環(huán)境圖像數(shù)據(jù)。在操作(E)期間，消除歧義引擎404繼而向內(nèi)容識別引擎410提供環(huán)境圖像數(shù)據(jù)和特定內(nèi)容類型。

例如，消除歧義引擎404向內(nèi)容識別引擎410傳輸涉及電影配樂的環(huán)境圖像數(shù)據(jù)(例如，電影海報CD唱片集封面的圖像)和發(fā)聲的轉(zhuǎn)寫文本的特定內(nèi)容類型(例如，“音樂”內(nèi)容類型)。

內(nèi)容識別引擎410從消除歧義引擎404接收環(huán)境圖像數(shù)據(jù)和特定內(nèi)容類型。在操作(F)期間，內(nèi)容識別引擎410繼而標識基于環(huán)境圖像數(shù)據(jù)并與特定內(nèi)容類型匹配的內(nèi)容項目數(shù)據(jù)，并將標識的內(nèi)容項目數(shù)據(jù)提供給消除歧義引擎404。特別地，內(nèi)容識別引擎410適當?shù)靥幚憝h(huán)境圖像數(shù)據(jù)以標識內(nèi)容項目數(shù)據(jù)(例如，內(nèi)容項目的名稱)。此外，內(nèi)容識別引擎410用特定內(nèi)容類型(例如，發(fā)聲的轉(zhuǎn)寫文本的內(nèi)容類型)匹配標識的內(nèi)容項目。內(nèi)容識別引擎408向消除歧義引擎408傳輸(例如，通過網(wǎng)絡(luò))標識的內(nèi)容項目數(shù)據(jù)。

例如，內(nèi)容識別引擎410標識基于環(huán)境圖像數(shù)據(jù)并進一步匹配于“音樂”內(nèi)容類型的數(shù)據(jù)，該環(huán)境圖像數(shù)據(jù)涉及電影海報CD唱片集封面的圖像。

在一些示例中，當環(huán)境圖像數(shù)據(jù)至少包括與CD唱片集封面關(guān)聯(lián)的電影海報圖像時，內(nèi)容識別引擎410標識基于與CD唱片集封面關(guān)聯(lián)的電影海報并也與“音樂”內(nèi)容類型匹配的內(nèi)容項目數(shù)據(jù)。因此，在一些示例中，內(nèi)容識別引擎410標識涉及電影配樂名稱的內(nèi)容項目數(shù)據(jù)。例如，內(nèi)容識別引擎410可以確定特定內(nèi)容項目(例如，具體電影配樂)與電影海報關(guān)聯(lián)，并且特定內(nèi)容項目(例如，具體電影配樂)與特定內(nèi)容類型(例如，“音樂”內(nèi)容類型)匹配。因此，內(nèi)容識別引擎410可以標識涉及基于環(huán)境圖像數(shù)據(jù)(例如，CD唱片集封面的圖像)并進一步與特定內(nèi)容類型(例如，“音樂”內(nèi)容類型)匹配的特定內(nèi)容項目(例如，具體電影配樂)的數(shù)據(jù)(例如，具體電影配樂的名稱)。

消除歧義引擎404從內(nèi)容識別引擎410接收標識的內(nèi)容項目數(shù)據(jù)。在操作(G)期間，消除歧義引擎404繼而向移動計算設(shè)備402提供標識的內(nèi)容項目數(shù)據(jù)。例如，消除歧義引擎404向移動計算設(shè)備402傳輸涉及電影配樂的標識的內(nèi)容項目數(shù)據(jù)(例如，電影配樂的名稱)。

如上所述，圖1到圖4示出了其中計算環(huán)境可以基于環(huán)境信息(諸如周圍噪聲)標識媒體內(nèi)容(或其它內(nèi)容)的幾個示例過程。也可以使用用于標識內(nèi)容的其它過程。圖5和圖6大體上示出了其它示例過程，其中為了提供對口述自然語言查詢的更加滿意的回答，計算環(huán)境可以使用源自環(huán)境信息的上下文(諸如標識媒體內(nèi)容的數(shù)據(jù))擴展口述自然語言查詢。

圖5更詳細地描繪了用于基于環(huán)境音頻數(shù)據(jù)和發(fā)聲標識一個或多個結(jié)果的系統(tǒng)500。在一些示例中，一個或多個結(jié)果可以表示對自然語言查詢的一個或多個回答。系統(tǒng)500包括移動計算設(shè)備502、協(xié)作引擎504、語音識別引擎506、內(nèi)容標識引擎508、，和自然語言查詢處理引擎510。移動計算設(shè)備502通過一個或多個網(wǎng)絡(luò)與協(xié)作引擎504通信。移動設(shè)備510可以包括麥克風、照相機或其它用于從用戶512和/或與用戶512關(guān)聯(lián)的環(huán)境數(shù)據(jù)檢測發(fā)聲的檢測結(jié)構(gòu)。

與圖1的系統(tǒng)100類似，用戶512正在觀看電視節(jié)目。在所示的示例中，用戶512想要知道誰導(dǎo)演了正在播放的電視節(jié)目(例如，實體)。在一些示例中，用戶512可能不知道當前播放的電視節(jié)目的名稱，并且因為可能會提問問題“誰導(dǎo)演了這個節(jié)目？”移動計算設(shè)備502檢測這個發(fā)聲以及與用戶512的環(huán)境關(guān)聯(lián)的環(huán)境數(shù)據(jù)。

在一些示例中，與用戶512的環(huán)境關(guān)聯(lián)的環(huán)境數(shù)據(jù)可以包括用戶512的環(huán)境的背景噪聲。例如，環(huán)境數(shù)據(jù)包括電視節(jié)目(例如，實體)的聲音。在一些示例中，與當前顯示的電視節(jié)目關(guān)聯(lián)的環(huán)境數(shù)據(jù)可以包括當前顯示的電視節(jié)目的音頻(例如，當前顯示的電視節(jié)目的對話、與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻，等等)。在一些示例中，環(huán)境數(shù)據(jù)可以包括環(huán)境音頻數(shù)據(jù)、環(huán)境圖像數(shù)據(jù)或二者都包括。在一些示例中，移動計算設(shè)備502在檢測發(fā)聲之后檢測環(huán)境音頻數(shù)據(jù)；在檢測發(fā)聲的同時檢測環(huán)境音頻數(shù)據(jù)；或二者。在操作(A)期間，移動計算設(shè)備502處理檢測到的發(fā)聲和環(huán)境數(shù)據(jù)以生成表示檢測到的發(fā)聲和檢測到的環(huán)境音頻數(shù)據(jù)(例如，電視節(jié)目的聲音)的波形數(shù)據(jù)514，并將波形數(shù)據(jù)514傳輸給協(xié)作引擎504(例如，通過網(wǎng)絡(luò))。

協(xié)作引擎504從移動計算設(shè)備502接收波形數(shù)據(jù)514。在操作(B)期間，協(xié)作引擎504處理波形數(shù)據(jù)514，包括，將發(fā)聲從波形數(shù)據(jù)514的其它部分分離(或提取)，將波形數(shù)據(jù)514的對應(yīng)于發(fā)聲的部分傳輸給語音識別引擎506(例如，通過網(wǎng)絡(luò))。例如，協(xié)作引擎504將發(fā)聲(“誰導(dǎo)演了這個節(jié)目”)從用戶512的環(huán)境的背景噪聲(例如，當前顯示的電視節(jié)目的音頻)分離。在一些示例中，協(xié)作引擎504使用話音檢測器以有助于通過標識波形數(shù)據(jù)514的包括話音活動的一部分將發(fā)聲從背景噪聲分離。在一些示例中，發(fā)聲涉及查詢(例如，涉及當前顯示的電視節(jié)目的查詢)。

語音識別引擎506從協(xié)作引擎504接收波形數(shù)據(jù)514的對應(yīng)于發(fā)聲的一部分。在操作(C)期間，協(xié)作引擎506獲取發(fā)聲的轉(zhuǎn)寫文本并將轉(zhuǎn)寫文本提供給協(xié)作引擎504。特別地，語音識別系統(tǒng)506適當?shù)靥幚聿ㄐ螖?shù)據(jù)514的對應(yīng)于接收自協(xié)作引擎504的發(fā)聲的一部分。在一些示例中，語音識別引擎506處理波形數(shù)據(jù)514的對應(yīng)于發(fā)聲的一部分包括生成發(fā)聲的轉(zhuǎn)寫文本。生成發(fā)聲的轉(zhuǎn)寫文本可以包括將發(fā)聲轉(zhuǎn)寫為文本或文本相關(guān)數(shù)據(jù)。換句話說，語音識別引擎506可以按照發(fā)聲的書面形式提供語言的表示。

例如，語音識別引擎506轉(zhuǎn)寫發(fā)聲以生成“誰導(dǎo)演了這個節(jié)目？”的轉(zhuǎn)寫文本。在一些實施方式中，語音識別引擎506提供發(fā)聲的兩個或更多個轉(zhuǎn)寫文本。例如，語音識別引擎506轉(zhuǎn)寫發(fā)聲以生成“誰導(dǎo)演了這個節(jié)目？”和“誰導(dǎo)演了這只鞋？”的轉(zhuǎn)寫文本。

協(xié)作引擎504從語音識別引擎506接收發(fā)聲的轉(zhuǎn)寫文本。此外，如上所述，協(xié)作引擎504從移動計算設(shè)備502接收包括與發(fā)聲關(guān)聯(lián)的環(huán)境音頻數(shù)據(jù)的波形數(shù)據(jù)514。協(xié)作引擎504繼而使用環(huán)境數(shù)據(jù)標識實體。特別地，協(xié)作引擎504從內(nèi)容標識引擎508獲取標識實體的數(shù)據(jù)。為此，在操作(D)期間，協(xié)作引擎504向內(nèi)容標識引擎508提供環(huán)境音頻數(shù)據(jù)和波形數(shù)據(jù)514的對應(yīng)于發(fā)聲的一部分(例如，通過網(wǎng)絡(luò))。

例如，協(xié)作引擎504向內(nèi)容標識引擎508傳輸涉及當前顯示的電視節(jié)目(例如，實體)的環(huán)境數(shù)據(jù)和波形514的對應(yīng)于發(fā)聲(“誰導(dǎo)演了這個節(jié)目？”)的一部分，該環(huán)境數(shù)據(jù)包括當前顯示的電視節(jié)目的音頻(例如，當前顯示的電視節(jié)目的對話、與當前顯示的電視節(jié)目關(guān)聯(lián)的配樂音頻，等等)。

在一些實施方式中，協(xié)作引擎504向內(nèi)容標識引擎508提供環(huán)境數(shù)據(jù)的一部分。在一些示例中，環(huán)境數(shù)據(jù)的一部分可以包括由移動計算設(shè)備502在檢測發(fā)聲之后檢測的背景噪聲。在一些示例中，環(huán)境數(shù)據(jù)的一部分可以包括由移動計算設(shè)備502在檢測發(fā)聲的同時檢測的背景噪聲。

內(nèi)容標識引擎508從協(xié)作引擎504接收環(huán)境數(shù)據(jù)和波形514的對應(yīng)于發(fā)聲的一部分。在操作(E)期間，內(nèi)容標識引擎508標識如下數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))，該數(shù)據(jù)標識基于環(huán)境數(shù)據(jù)和發(fā)聲的實體，并將標識實體的數(shù)據(jù)提供給協(xié)作引擎504(例如，通過網(wǎng)絡(luò))。特別地，內(nèi)容標識引擎508適當?shù)靥幚憝h(huán)境數(shù)據(jù)和波形514的對應(yīng)于發(fā)聲的一部分以標識如下數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))，該數(shù)據(jù)標識實體，其與環(huán)境數(shù)據(jù)(例如，電視節(jié)目的名稱、歌曲的名稱，等等)關(guān)聯(lián)。

例如，內(nèi)容標識引擎508處理環(huán)境音頻數(shù)據(jù)以標識與當前顯示的電視節(jié)目關(guān)聯(lián)的內(nèi)容項目數(shù)據(jù)。在一些實施方式中，內(nèi)容標識引擎508是圖1的系統(tǒng)100。

協(xié)作引擎504從內(nèi)容標識引擎508接收標識實體的數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))。此外，如上所述，協(xié)作引擎504從語音識別引擎506接收轉(zhuǎn)寫文本。在操作(F)期間，協(xié)作引擎504繼而向自然語言查詢處理引擎510提供包括轉(zhuǎn)寫文本和標識實體的數(shù)據(jù)的查詢(例如，通過網(wǎng)絡(luò))。例如，協(xié)作引擎504向自然語言查詢處理引擎510提交查詢，其包括發(fā)聲(“誰導(dǎo)演了這個節(jié)目？”)的轉(zhuǎn)寫文本和內(nèi)容項目數(shù)據(jù)(“電視節(jié)目名稱”)。

在一些示例中，協(xié)作引擎504生成查詢。在一些示例中，協(xié)作引擎504獲取查詢(例如，從第三方服務(wù)器處)。例如，協(xié)作引擎504可以向第三方服務(wù)器提交發(fā)聲的轉(zhuǎn)寫文本和標識實體的數(shù)據(jù)，并接收回基于轉(zhuǎn)寫文本和標識實體的數(shù)據(jù)的查詢。

在一些實施方式中，由協(xié)作引擎504生成查詢可以包括將發(fā)聲的轉(zhuǎn)寫文本與標識實體的數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))關(guān)聯(lián)。在一些示例中，將發(fā)聲的轉(zhuǎn)寫文本與標識內(nèi)容項目數(shù)據(jù)關(guān)聯(lián)可以包括使用標識實體的數(shù)據(jù)標記轉(zhuǎn)寫文本。例如，協(xié)作引擎504可以使用“電視節(jié)目名稱”或其它與內(nèi)容項目數(shù)據(jù)關(guān)聯(lián)的標識信息(例如，標識(ID)號)標記轉(zhuǎn)寫文本“誰導(dǎo)演了這個節(jié)目？”在一些示例中，將發(fā)聲的轉(zhuǎn)寫文本與標識實體的數(shù)據(jù)關(guān)聯(lián)可以包括使用標識實體的數(shù)據(jù)代替轉(zhuǎn)寫文本的一部分。例如，協(xié)作引擎504可以使用“電視節(jié)目名稱”或標識“電視節(jié)目名稱”的數(shù)據(jù)代替轉(zhuǎn)寫文本“誰導(dǎo)演了這個節(jié)目？”的一部分。在一些示例中，使用標識實體的數(shù)據(jù)代替轉(zhuǎn)寫文本的一部分可以包括使用標識實體的數(shù)據(jù)代替發(fā)聲的轉(zhuǎn)寫文本的一個或多個單詞。例如，協(xié)作引擎504可以代替轉(zhuǎn)寫文本“誰導(dǎo)演了這個節(jié)目？”中的“電視節(jié)目名稱”或標識“電視節(jié)目名稱”的數(shù)據(jù)。例如，這種代替會導(dǎo)致包括“誰導(dǎo)演了“電視節(jié)目名稱”？”或“誰導(dǎo)演了“標識號”？”的轉(zhuǎn)寫文本。

自然語言查詢處理引擎510從協(xié)作引擎504接收包括轉(zhuǎn)寫文本和標識實體的數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))的查詢。在操作(G)期間，自然語言查詢處理引擎510適當?shù)靥幚聿樵儯⑶一谠撎幚?，向協(xié)作引擎504提供一個或多個結(jié)果(例如，通過網(wǎng)絡(luò))。換句話說，協(xié)作引擎510(例如，從自然語言查詢處理引擎510)獲取查詢的一個或多個結(jié)果。

特別地，自然語言查詢處理引擎510(從信息資源的匯集)獲取與查詢(發(fā)聲的轉(zhuǎn)寫文本和內(nèi)容項目數(shù)據(jù))相關(guān)的信息資源。在一些示例中，自然語言查詢處理引擎510將查詢與數(shù)據(jù)庫信息(例如，文本文檔、圖像、音頻、視頻，等等)匹配，并且計算數(shù)據(jù)庫中的每個對象在多大程度上匹配查詢的得分。自然語言查詢處理引擎510基于匹配的對象(例如，具有在閾值得分之上的得分的對象)標識一個或多個結(jié)果。

例如，自然語言處理引擎510接收包括“電視節(jié)目名稱”(或其它標識信息)和發(fā)聲“誰導(dǎo)演了這個節(jié)目？”的轉(zhuǎn)寫文本的查詢。自然語言查詢處理引擎510將查詢與數(shù)據(jù)庫信息匹配，并提供匹配查詢的一個或多個結(jié)果。自然語言查詢處理引擎510計算匹配對象中的每個匹配對象的得分。

協(xié)作引擎504從自然語言處理引擎510接收一個或多個結(jié)果。在操作(H)，協(xié)作引擎504繼而向移動計算設(shè)備502提供一個或多個結(jié)果(例如，通過網(wǎng)絡(luò))。例如，協(xié)作引擎504向移動計算設(shè)備502傳輸一個或多個結(jié)果(例如，電視節(jié)目的導(dǎo)演的姓名)。

在一些示例中，移動計算設(shè)備502、協(xié)作引擎504、語音識別引擎506、內(nèi)容標識引擎508和自然語言查詢處理引擎510中的一個或多個可以與移動計算設(shè)備502、協(xié)作引擎504、語音識別引擎506、內(nèi)容標識引擎508和自然語言查詢處理引擎510的子集(或其中的每一個)通信。在一些實施方式中，可以使用一個或多個計算設(shè)備(諸如一個或多個服務(wù)器、分布式計算系統(tǒng)或服務(wù)器群或集群)實現(xiàn)協(xié)作引擎504、語音識別引擎506、內(nèi)容標識引擎508和自然語言查詢處理引擎510中的一個或多個。

圖6描繪了用于基于環(huán)境數(shù)據(jù)和發(fā)聲標識一個或多個結(jié)果的示例過程600的流程圖。示例過程600可以使用一個或多個計算設(shè)備執(zhí)行。例如，移動計算設(shè)備502、協(xié)作引擎504、語音識別引擎506、內(nèi)容標識引擎508和/或自然語言查詢處理引擎510可以用于執(zhí)行示例過程600。

接收編碼發(fā)聲和環(huán)境數(shù)據(jù)的音頻數(shù)據(jù)(602)。例如，協(xié)作引擎504從移動計算設(shè)備502接收波形數(shù)據(jù)514。波形數(shù)據(jù)514包括用戶的發(fā)聲(例如，“誰導(dǎo)演了這個節(jié)目？”)和環(huán)境數(shù)據(jù)(例如，當前顯示的電視節(jié)目的音頻)。在一些示例中，接收環(huán)境數(shù)據(jù)可以包括接收環(huán)境音頻數(shù)據(jù)、環(huán)境圖像數(shù)據(jù)或者二者。在一些示例中，接收環(huán)境數(shù)據(jù)包括接收包括背景噪聲的附加的音頻數(shù)據(jù)。

獲取發(fā)聲的轉(zhuǎn)寫文本(604)。例如，協(xié)作引擎504使用語音識別引擎506獲取發(fā)聲的轉(zhuǎn)寫文本。語音識別引擎506轉(zhuǎn)寫發(fā)聲以生成發(fā)聲的轉(zhuǎn)寫文本(例如，“誰導(dǎo)演了這個節(jié)目？”)。

使用環(huán)境數(shù)據(jù)標識實體(606)。例如，協(xié)作引擎504使用內(nèi)容標識引擎508獲取標識實體的數(shù)據(jù)。內(nèi)容標識引擎508可以適當?shù)靥幚憝h(huán)境數(shù)據(jù)(例如，與顯示的電視節(jié)目關(guān)聯(lián)的環(huán)境音頻數(shù)據(jù))以標識如下數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))，該數(shù)據(jù)標識與環(huán)境數(shù)據(jù)(例如，電視節(jié)目的名稱、歌曲的名稱，等等)關(guān)聯(lián)的實體。在一些示例中，內(nèi)容標識引擎508可以進一步處理對應(yīng)于發(fā)聲的波形514(與處理環(huán)境數(shù)據(jù)同時或在處理環(huán)境數(shù)據(jù)之后)以標識實體。

在一些示例中，協(xié)作引擎504生成查詢。在一些示例中，由協(xié)作引擎504生成查詢可以包括將發(fā)聲的轉(zhuǎn)寫文本與標識實體的數(shù)據(jù)關(guān)聯(lián)。在一些示例中，將發(fā)聲的轉(zhuǎn)寫文本與內(nèi)容項目數(shù)據(jù)關(guān)聯(lián)可以包括用標識實體的數(shù)據(jù)代替轉(zhuǎn)寫文本的一部分。在一些示例中，使用標識實體的數(shù)據(jù)代替轉(zhuǎn)寫文本的一部分可以包括使用標識實體的數(shù)據(jù)代替發(fā)聲的轉(zhuǎn)寫文本中的一個或多個單詞。

向自然語言處理引擎提交查詢(608)。例如，協(xié)作引擎504向自然語言查詢處理引擎510提交查詢。查詢可以至少包括轉(zhuǎn)寫文本的一部分和標識實體的數(shù)據(jù)(例如，內(nèi)容項目數(shù)據(jù))。例如，協(xié)作引擎504向自然語言查詢處理引擎510提交包括發(fā)聲(“誰導(dǎo)演了這個節(jié)目？”)的轉(zhuǎn)寫文本和內(nèi)容項目數(shù)據(jù)(“電視節(jié)目名稱”)的查詢。

獲取查詢的一個或多個結(jié)果(610)。例如，協(xié)作引擎510從自然語言查詢處理引擎510獲取查詢的一個或多個結(jié)果(例如，電視節(jié)目的導(dǎo)演的姓名)。在一些示例中，協(xié)作引擎504繼而向移動計算設(shè)備502提供一個或多個結(jié)果。

圖7描繪了通用計算機設(shè)備700和通用移動計算機設(shè)備750的示例，其可以與此處所描述的技術(shù)一起使用。計算設(shè)備700旨在表示各種形式的數(shù)字計算機，諸如膝上型計算機，臺式計算機、工作站、個人數(shù)字助理、服務(wù)器、刀片服務(wù)器、大型機和其它適當?shù)挠嬎銠C。計算設(shè)備750旨在表示各種形式的移動設(shè)備，諸如個人數(shù)字助理、蜂窩電話、智能電話和其它類似的計算設(shè)備。此處所示的組件、它們的連接和關(guān)系以及它們的功能僅僅是示例性的，而不是用于限制本文檔中描述和/或請求保護的發(fā)明的實現(xiàn)方式。

計算設(shè)備700包括處理器702、存儲器704、存儲設(shè)備706、連接到存儲器704和高速擴展端口710的高速接口708以及連接到低速總線714和存儲設(shè)備706的低速接口712。組件702、704、706、708、710和712中的每個組件使用各種總線互連，并可以安裝于通用主板上或以其它合適的方式安裝。處理器702可以處理用于在計算設(shè)備700內(nèi)執(zhí)行的指令，包括存儲于存儲器704或存儲設(shè)備706上的指令，以便在外部輸入/輸出設(shè)備(諸如耦合到高速接口708的顯示器716)上顯示GUI的圖形信息。在其它實現(xiàn)方式中，在合適時，可以使用多個處理器和/或多個總線，連同多個存儲器和多個存儲器類型。此外，多個計算機設(shè)備700可以與提供必要操作的部分的每個設(shè)備(例如，作為服務(wù)器陣列、刀片服務(wù)器組或多處理器系統(tǒng))連接。

存儲器704儲存計算設(shè)備700內(nèi)的信息。在一個實現(xiàn)方式中，存儲器704是一個或多個易失性存儲器單元。在另一實現(xiàn)方式中，存儲器704是一個或多個非易失性存儲器單元。存儲器704還可以是另一形式的計算機可讀介質(zhì)，諸如磁盤或光盤。

存儲設(shè)備706能夠為計算設(shè)備700提供大規(guī)模存儲。在一個實現(xiàn)方式中，存儲設(shè)備706可以是或包含計算機可讀介質(zhì)，諸如軟盤設(shè)備、硬盤設(shè)備、光盤設(shè)備，或磁帶設(shè)備、閃存或其它類似的固態(tài)存儲設(shè)備、或設(shè)備的陣列，其包括存儲區(qū)域網(wǎng)絡(luò)中的設(shè)備或其它配置。計算機程序產(chǎn)品可以有形地嵌入于信息載體中。計算機程序產(chǎn)品還可以包括指令，當執(zhí)行該指令時，執(zhí)行一種或多個方法，諸如以上所述的那些方法。信息載體是計算機或機器可讀介質(zhì)，諸如存儲器704、存儲設(shè)備706或處理器702上的存儲器。

高速控制器708管理計算設(shè)備700的帶寬密集型操作，而低速控制器712管理較低的帶寬密集型操作。這種功能分配僅僅是示例性的。在一個實現(xiàn)方式中，高速控制器708耦合到存儲器704、顯示器716(例如，通過圖形處理器或加速器)和高速擴展端口710，其可以接受各種擴展卡(未示出)。在該實現(xiàn)方式中，低速控制器712耦合到存儲設(shè)備706和低速擴展端口714。其可以包括各種通信端口(例如，USB、藍牙、以太網(wǎng)、無線以太網(wǎng))的低速擴展端口可以例如通過網(wǎng)絡(luò)適配器耦合到一個或多個輸入/輸出設(shè)備，諸如鍵盤、指點設(shè)備、掃描儀或網(wǎng)絡(luò)設(shè)備(諸如交換機或路由器)。

如圖中所示，計算設(shè)備700可以按照多種不同方式實現(xiàn)。例如，其可以被實施為標準服務(wù)器720，或在這樣的服務(wù)器群中的多次實施。其還可以被實施為架式服務(wù)器系統(tǒng)724的一部分。此外，可以在個人計算機(諸如膝上型計算機722中)實現(xiàn)它。備選地，來自計算設(shè)備700的組件可以與移動設(shè)備(未示出)(諸如設(shè)備750)中的其它組件組合。這樣的設(shè)備中的每個設(shè)備可以包括計算設(shè)備700、750中的一個或者多個計算設(shè)備，并且整個系統(tǒng)可以由彼此通信的多個計算設(shè)備700、750組成。

計算設(shè)備750包括處理器752、存儲器764、輸入/輸出設(shè)備，諸如顯示器754、通信接口766和收發(fā)器768以及其他組件。設(shè)備750可以具有用于提供附加存儲裝置的存儲設(shè)備，諸如微驅(qū)動器或其它設(shè)備。組件750、752、754、766和768中的每個組件使用各種總線互連，并且?guī)讉€組件可以安裝于通用主板上或以其它合適的方式安裝。

處理器752可以執(zhí)行計算設(shè)備750內(nèi)的指令，包括存儲于存儲器764中的指令。處理器可以被實施為包括單獨和多個模擬和數(shù)字處理器的芯片的芯片組。處理器可以例如提供協(xié)調(diào)設(shè)備750的其它部件，諸如控制用戶接口、設(shè)備750運行的應(yīng)用和設(shè)備750的無線通信。

處理器752可以通過控制接口758和耦合到顯示器754的顯示接口756與用戶通信。顯示器754可以是例如TFT LCD(薄膜晶體管液晶顯示器)或OLED(有機發(fā)光二級管)顯示器或其它適當?shù)娘@示技術(shù)。顯示器接口756可以包括用于驅(qū)動顯示器754以向用戶呈現(xiàn)圖形和其它信息的合適的電路裝置?？刂平涌?58可以從用戶接收命令并將其轉(zhuǎn)化以用于向處理器752提交。此外，可以提供與處理器752通信的外部接口以便實現(xiàn)設(shè)備750與其它設(shè)備近距離通信。在一些實現(xiàn)方式中，外部接口762可以提供例如有線通信，或者在其它實現(xiàn)方式中提供無線通信，還可以使用多個接口。

存儲器764存儲計算設(shè)備750內(nèi)的信息。存儲器764可以被實施為一個或多個計算機可讀介質(zhì)、一個或多個易失性存儲器單元或一個或多個非易失性存儲器單元。還可以提供擴展存儲器754并通過擴展接口752將其連接到設(shè)備750，其可以包括例如SIMM(單列直插存儲器模塊)卡接口。這種擴展存儲器754可以為設(shè)備750提供額外的存儲空間，或者還可以存儲設(shè)備750的應(yīng)用或其它信息。特別地，擴展存儲器754可以包括指令以執(zhí)行或補充上述過程，并且可以包括安全信息。因此，例如，可以提供擴展存儲器754作為設(shè)備750的安全模塊，并且可以用允許設(shè)備750的安全使用的指令對其編程。此外，可以經(jīng)由SIMM卡將安全應(yīng)用與附加信息一起提供，諸如以不可黑客的方式將標識信息放置于SIMM卡上。

如下文討論的那樣，存儲器可以例如包括閃存和/或NVRAM存儲器。在一個實現(xiàn)方式中，在信息載體中有形地實現(xiàn)計算機程序產(chǎn)品。計算機程序產(chǎn)品包含在被執(zhí)行時執(zhí)行一種或者多種方法(諸如上文描述的方法)的指令。信息載體是計算機或者機器可讀介質(zhì)，諸如存儲器764、擴展存儲器774、在處理器752上的存儲器或者可以例如通過收發(fā)器768或者外部接口762接收的傳播的信號。

設(shè)備750可以通過通可以在必要時可以包括數(shù)字信號處理電路裝置的通信接口766無線地通信。通信接口766可以在各種模式或者協(xié)議(諸如GSM語音呼叫、SMS、EMS或者MMS消息接發(fā)、CDMA、TDMA、PDC、WCDMA、CDMA2000或者GPRS以及其它模式或者協(xié)議之下)提供通信?？梢岳缤ㄟ^射頻收發(fā)器768發(fā)生這樣的通信。此外，可以諸如使用藍牙、WiFi或者其它這樣的收發(fā)器(未示出)來發(fā)生短程通信。此外，GPS(全球定位系統(tǒng))接收器模塊770可以向設(shè)備750提供附加的與導(dǎo)航和位置有關(guān)的無線數(shù)據(jù)，該數(shù)據(jù)可以如適當?shù)哪菢佑稍谠O(shè)備750上運行的應(yīng)用使用。

設(shè)備750也可以使用音頻編碼解碼器760來可聽地通信，該編碼解碼器可以從用戶接收口述信息并且將它轉(zhuǎn)換成可用數(shù)字信息。音頻編碼解碼器760可以類似地諸如通過例如在設(shè)備750的頭戴式受話器中的揚聲器生成用于用戶的可聽聲音。這樣的聲音可以包括來自語音電話呼叫的聲音、可以包括記錄的聲音(例如，語音消息、音樂文件等)并且也可以包括由在設(shè)備750上操作的應(yīng)用生成的聲音。

如圖中所示，可以用多個不同形式實施計算設(shè)備750。例如，可以將它實施為蜂窩電話780。也可以將它實施為智能電話782、個人數(shù)字助理或者其它相似移動設(shè)備的部分。

可以在數(shù)字電子電路裝置、集成電路裝置、特殊設(shè)計的ASIC(專用集成電路)、計算機硬件、固件、軟件和/或其組合中實現(xiàn)這里描述的系統(tǒng)和技術(shù)的各種實現(xiàn)方式。這些各種實現(xiàn)方式可以包括在如下可編程系統(tǒng)上可執(zhí)行和/或可解譯的一個或者多個計算機程序中的實現(xiàn)方式，該可編程系統(tǒng)包括可以是特殊或者通用的至少一個可編程處理器、至少一個輸入設(shè)備和至少一個輸出設(shè)備，該可編程處理器被耦合用于從存儲系統(tǒng)接收數(shù)據(jù)和指令以及向存儲系統(tǒng)傳輸數(shù)據(jù)和指令。

這些計算機程序(也被稱為程序、軟件、軟件應(yīng)用或者代碼)包括用于可編程處理器的機器指令并且可以用高級過程和/或面向?qū)ο缶幊陶Z言和/或用匯編/機器語言來實施。如這里所用，術(shù)語“機器可讀介質(zhì)”、“計算機可讀介質(zhì)”指代用來向可編程處理器提供機器指令和/或數(shù)據(jù)的任何計算機程序產(chǎn)品、裝置和/或設(shè)備(例如，磁盤、光盤、存儲器、可編程邏輯器件(PLD))，該計算機程序產(chǎn)品、裝置和/或設(shè)備包括接收機器指令作為機器可讀信號的機器可讀介質(zhì)。術(shù)語“機器可讀信號”指代用來向可編程處理器提供機器指令和/或數(shù)據(jù)的任何信號。

為了提供與用戶的交互，可以在如下計算機上實施這里描述的系統(tǒng)和技術(shù)，該計算機具有用于向用戶顯示信息的顯示設(shè)備(例如CRT(陰極射線管)或者LCD(液晶顯示器)監(jiān)視器)以及用戶可以用來向計算機提供輸入的鍵盤和指點設(shè)備(例如，鼠標或者跟蹤球)。其它種類的設(shè)備也可以用來提供與用戶的交互；例如向用戶提供的反饋可以是任何形式的感官反饋(例如，視覺反饋、聽覺反饋或者觸覺反饋)；并且可以用包括聲音、話音或者觸覺輸入的任何形式接收來自用戶的輸入。

可以在如下計算系統(tǒng)中實施這里描述的系統(tǒng)和技術(shù)，該計算系統(tǒng)包括后端部件(例如，作為數(shù)據(jù)服務(wù)器)或者包括中間件部件(例如，應(yīng)用服務(wù)器)或者包括前端部件(例如，具有如下圖形用戶接口或者Web瀏覽器的客戶端計算機，用戶可以通過該圖形用戶接口或者Web瀏覽器來與這里描述的系統(tǒng)和技術(shù)的實現(xiàn)方式交互)或者這樣的后端、中間件或者前端部件的任何組合。系統(tǒng)的部件可以由任何數(shù)字數(shù)據(jù)通信形式或者介質(zhì)(例如，通信網(wǎng)絡(luò))互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“LAN”)、廣域網(wǎng)(“WAN”)和因特網(wǎng)。

計算系統(tǒng)可以包括客戶端和服務(wù)器。客戶端和服務(wù)器通常彼此相距遙遠而且典型地通過通信網(wǎng)絡(luò)交互。借助在相應(yīng)計算機上運行的并且相互具有客戶端-服務(wù)器關(guān)系的計算機程序產(chǎn)生客戶端和服務(wù)器關(guān)系。

盡管本公開內(nèi)容包含許多細節(jié)，但是這些不應(yīng)被解釋為對公開內(nèi)容的或者可以要求保護的內(nèi)容的范圍的限制，而是實際上解釋為對公開內(nèi)容的具體實現(xiàn)方式特有的特征的描述。也可以在單個實現(xiàn)方式中組合提供本公開內(nèi)容中的在單獨實現(xiàn)方式的背景中描述的某些特征。反言之，也可以在多個實現(xiàn)方式中單獨或者在任何適當子組合中提供在單個實現(xiàn)方式的背景中描述的各種特征。另外，雖然上文可以描述特征為在某些組合中作用并且甚至起初這樣要求保護，但是在一些情況下可以從要求保護的組合中去除來自該組合的一個或者多個特征，并且要求保護的組合可以涉及子組合或者子組合的變化。

類似地，盡管在附圖中按特定順序描繪操作，但是這不應(yīng)理解為要求按所示特定順序或者按依次順序執(zhí)行這樣的操作或者執(zhí)行所有所示操作以實現(xiàn)希望的結(jié)果。在某些境況中，多任務(wù)和并行處理可以是有利的。另外，在上文描述的實現(xiàn)方式中分離各種系統(tǒng)部件不應(yīng)理解為在所有實現(xiàn)方式中要求這樣的分離，并且應(yīng)當理解，描述的程序部件和系統(tǒng)一般可以一起集成于單個軟件產(chǎn)品中或者封裝到多個軟件產(chǎn)品中。

已經(jīng)這樣描述了本公開內(nèi)容的具體實現(xiàn)方式。其它實現(xiàn)方式在所附權(quán)利要求的范圍內(nèi)。例如，在權(quán)利要求中記載的動作可以按不同順序來執(zhí)行而仍然實現(xiàn)希望的結(jié)果。已經(jīng)描述了多個實現(xiàn)方式。不過，可以理解，可以在不脫離本公開內(nèi)容的精神和范圍的情況下進行各種修改。例如，可以使用各種形式的上述流程，其中對步驟進行重新排序、添加或移除。因此，其它實現(xiàn)方式也在下列權(quán)利要求的范圍內(nèi)。