用戶經(jīng)常想要或需要進行多任務(wù)以使得可以執(zhí)行各種任務(wù)而同時使用諸如智能電話或計算機之類的設(shè)備與其他人通信。然而,在通信中嘗試多任務(wù)經(jīng)常可能引起不連貫的、結(jié)結(jié)巴巴的或令人困惑的交互。一些常規(guī)的解決方案已經(jīng)通過將附加控件(例如,按鈕)添加到通信應(yīng)用中來試圖解決在嘗試多任務(wù)時的不連貫通信的問題。不幸的是,這樣的附加控件經(jīng)常會使通信應(yīng)用用戶界面(GUI)對于用戶而言是擁擠的、更難以操作的和令人困惑的。此外,這樣的解決方案的結(jié)局是使得用戶更容易離開通信應(yīng)用且不做任何事情去使遠程方保持專注于正發(fā)生的事情。其它常規(guī)解決方案使用某種形式的數(shù)字助手,它們在各種各樣的計算平臺上可獲得,但是在與另一方通信期間以有用方式利用它們的能力非常有限。
本背景被提供來介紹針對以下概要和詳細描述的簡要上下文。本背景既不打算幫助確定所要求保護的主題的范圍,也不打算被看作將所要求保護的主題限于用來解決以上提出的所有或任何缺點或問題的實現(xiàn)。
技術(shù)實現(xiàn)要素:
諸如智能電話、個人計算機或游戲操控臺之類的設(shè)備上所支持的數(shù)字助手被配置成通過監(jiān)聽語音和視頻呼叫,并參與消息傳送會話,而作為主動參與者參加到在本地和遠程方之間的通信中。數(shù)字助手典型地可以使用關(guān)鍵詞或短語通過語音而被發(fā)起,然后使用語音命令、自然語言請求或者在一些情況下使用手勢來請求數(shù)字助手執(zhí)行任務(wù)、提供信息和服務(wù)等。數(shù)字助手可以對請求做出響應(yīng)并且采取適當(dāng)?shù)膭幼?。在語音和視頻呼叫中,與數(shù)字助手的交互(即,請求、響應(yīng)和動作)可以由呼叫的雙方聽到,就好像數(shù)字助手是呼叫中的第三方那樣。在消息傳送會話中,生成消息并且將其顯示給每一個參與者,以使得他們可以看到與數(shù)字助手的交互,就好像其是參與者那樣。
在各種說明性示例中,數(shù)字助手使用來自各種源的輸入去維持對呼叫狀態(tài)和其它上下文的感知,使得它被使能去采取看起來自然的動作而同時減少用戶的負擔(dān)。因而,在約翰(用戶)和湯姆、理查德以及哈里的四路會議呼叫上,用戶可以說“為我們安排會議”,而數(shù)字助手理解:詞語“我們”是指這四個參與者。數(shù)字助手可以確認該請求并且口頭地陳述其正發(fā)送出會議請求。陳述被注入呼叫的音頻中以使得所有會議呼叫參與者可以聽到數(shù)字助手說話。在語音呼叫中,與數(shù)字助手的交互在由設(shè)備的電話應(yīng)用所支持的UI上被視覺地證實。在視頻呼叫中,數(shù)字助手交互被截?。╟apture)到畫中畫(PIP)覆蓋中,畫中畫覆蓋被本地顯示且插入外出的視頻流中以使得所有呼叫參與者可以看到它。
由數(shù)字助手對上下文進行使用的其它示例包括:在執(zhí)行給定動作或任務(wù)時考慮到時刻、用戶的位置、用戶的日程安排、其他方的屬性等。因而,取決于用戶是在國外度假勝地的假期中,還是用戶是工作時段期間處于辦公室中(正好在所安排的、審查針對所提出建筑的建筑規(guī)劃的會議之前),數(shù)字助手可以采取不同的動作。例如,在度假情景中,數(shù)字助手可以在進行與親戚的呼叫時通過在電子郵件或文本消息中將白天早前由用戶拍攝的度假勝地的照片發(fā)送給親戚而響應(yīng)于用戶的請求“發(fā)送我拍攝的圖片”。在辦公室情景中,當(dāng)用戶在進行與助手的呼叫時,數(shù)字助手可以發(fā)送需要用來在會議時演示的針對所提出建筑物的當(dāng)前工地的照片。
在通信期間,可以由數(shù)字助手執(zhí)行各種各樣的任務(wù)并且采取動作。這些包括例如與用戶交互(其可以涉及數(shù)字助手要求澄清問題和/或跟進(follow up with)用戶)、執(zhí)行各種任務(wù)、提供服務(wù)、搜集信息(例如,通過訪問搜索服務(wù))、操作設(shè)備、以及執(zhí)行各種其它功能,以在不管是語音、視頻還是消息傳送的通信會話期間幫助用戶。此外,在一些情況下,運行在設(shè)備上的應(yīng)用可以與數(shù)字助手交互。例如,用戶可能想要使用文本消息應(yīng)用與數(shù)字助手交互(例如,使用通常稱為“過頂(over-the-top)消息傳送應(yīng)用”的應(yīng)用,而不是由移動網(wǎng)絡(luò)運營商提供的第一方文本傳送應(yīng)用),其中數(shù)字助手可以表現(xiàn)得就像常規(guī)的消息傳送參與者那樣。這使能靜默的交互以及提供便捷的方式來保持與數(shù)字助手的交互的記錄。
有利地,數(shù)字助手在通信中的當(dāng)前使用使得能夠以以下方式執(zhí)行任務(wù):使用流線型且簡化的UI提供綜合的特征集,而同時使得與數(shù)字助手的交互對于通信的其他方是可理解的。數(shù)字助手參與通信并且執(zhí)行動作和任務(wù),而不需要用戶離開通信應(yīng)用,以使得總體用戶體驗無縫地增強有附加功能性,而不會打斷呼叫或通信或不得不致使呼叫或通信暫停。在真實世界場景中的成功的多任務(wù)也被使能,因為數(shù)字助手作為通信的受歡迎的第三方起作用,這樣使得大幅地減少了對用戶必須切換入和切換出各種應(yīng)用和上下文的需要。
提供本概要來以簡化的形式介紹概念的選擇,這些概念在下面的詳細描述中被進一步描述。本概要既不打算標(biāo)識所要求保護的主題的關(guān)鍵特征或必要特征,也不打算用作確定所要求保護的主題的范圍時的幫助。此外,所要求保護的主題不限于解決在本公開的任何部分中指出的任何或所有缺點的實現(xiàn)。將領(lǐng)會到,以上描述的主題可以被實現(xiàn)為計算機控制的裝置、計算機進程、計算系統(tǒng)或者制造品,諸如一個或多個計算機可讀存儲介質(zhì)。這些和各種其它特征將從對以下詳細描述的閱讀以及對相關(guān)聯(lián)的附圖的審閱而顯而易見。
附圖說明
圖1示出了其中具有通信能力的設(shè)備通過網(wǎng)絡(luò)交互的說明性環(huán)境;
圖2示出了各種說明性通信類型,包括語音呼叫、消息傳送通信和視頻呼叫;
圖3示出了包括數(shù)字助手組件的說明性分層架構(gòu);
圖4和5示出了用戶與數(shù)字助手之間的說明性界面;
圖6示出了對數(shù)字助手的說明性輸入以及可以由數(shù)字助手執(zhí)行的一般功能的說明性分類;
圖7、8和9示出了由數(shù)字助手顯露的說明性用戶界面(UI)的屏幕截圖;
圖10示出了其中由話筒捕獲的音頻被分開以使得其由數(shù)字助手和電話/視頻呼叫應(yīng)用接收的說明性布置;
圖11示出了其中進入的音頻被分開以使得其由數(shù)字助手和電話/視頻呼叫應(yīng)用接收的說明性布置;
圖12示出了在數(shù)字助手與語音呼叫的各方之間的音頻交互的說明性轉(zhuǎn)錄本(transcript);
圖13-18示出了在語音呼叫通信期間在各種點處由設(shè)備上的電話應(yīng)用示出的說明性UI的屏幕截圖;
圖19和20示出了在消息傳送會話期間在各種點處由消息傳送應(yīng)用示出的說明性UI的屏幕截圖;
圖21示出了在數(shù)字助手和視頻呼叫的各方之間的音頻交互的說明性轉(zhuǎn)錄本;
圖22、23和24示出了在視頻呼叫通信期間在各種點處由設(shè)備上的視頻呼叫應(yīng)用示出的說明性UI的屏幕截圖;
圖25示出了可以由數(shù)字助手在通信期間執(zhí)行的功能的說明性分類;
圖26示出了其中不同設(shè)備上的數(shù)字助手可以彼此交互的說明性布置;
圖27示出了其中應(yīng)用可以與數(shù)字助手交互的說明性布置;
圖28和29示出了由消息傳送應(yīng)用在與數(shù)字助手交互時顯露的各種UI的屏幕截圖;
圖30、31和32示出了在實現(xiàn)數(shù)字助手在通信中的當(dāng)前使用時可以執(zhí)行的說明性方法;
圖33是說明性計算機系統(tǒng)的簡化框圖,諸如可以部分地被使用來實現(xiàn)數(shù)字助手在通信中的當(dāng)前使用的個人計算機(PC);
圖34示出了可以部分地被使用來實現(xiàn)數(shù)字助手在通信中的當(dāng)前使用的說明性設(shè)備的框圖;
圖35是說明性移動設(shè)備的框圖;
圖36是說明性多媒體操控臺的框圖。
同樣的參考標(biāo)號在附圖中指示同樣的元件。除非以其它方式指示,否則元件不是按照比例繪制的。
具體實施方式
圖1示出了其中各種用戶105采用通過通信網(wǎng)絡(luò)115通信的相應(yīng)設(shè)備110的說明性環(huán)境100。設(shè)備110提供語音電話能力并且典型地除各種其它特征之外還支持數(shù)據(jù)消費應(yīng)用,諸如互聯(lián)網(wǎng)瀏覽和多媒體(例如,音樂、視頻等)消費。設(shè)備110可以包括例如用戶設(shè)備、移動電話、蜂窩電話、功能型電話、平板計算機以及智能電話,用戶經(jīng)常利用它們來進行和接收語音和/或多媒體(即,視頻)呼叫、參與消息傳送(例如,文本傳送)和電子郵件通信、使用采用數(shù)據(jù)的應(yīng)用和訪問服務(wù)、瀏覽萬維網(wǎng)等。然而,還設(shè)想到可在通信環(huán)境100內(nèi)使用可替換類型的電子設(shè)備,只要它們配置有通信能力并且可以連接到通信網(wǎng)絡(luò)115即可。這樣的可替換的設(shè)備不同地包括手持式計算設(shè)備、PDA(個人數(shù)字助手)、便攜式媒體播放器、使用頭戴式受話器和耳機的設(shè)備(例如,藍牙兼容設(shè)備)、手機平板(phablet)設(shè)備(即,組合智能電話/平板設(shè)備)、可穿戴式計算機、諸如GPS(全球定位系統(tǒng))系統(tǒng)之類的導(dǎo)航設(shè)備、膝上型PC(個人計算機)、桌上型計算機、多媒體操控臺、游戲系統(tǒng)等。在接下來的討論中,術(shù)語“設(shè)備”的使用打算涵蓋配置有通信能力并且能夠連接到通信網(wǎng)絡(luò)115的所有設(shè)備。
環(huán)境100中的各種設(shè)備110可以支持不同特征、功能性和能力(此處一般地稱為“特征”)。在給定設(shè)備上支持的一些特征可以類似于在其它設(shè)備上支持的那些特征,而其它特征可能是給定設(shè)備所獨特的。在各種設(shè)備110上支持的特征之中的重疊程度和/或區(qū)別程度可以由于實現(xiàn)而變化。例如,一些設(shè)備110可以支持觸摸控件、手勢識別和語音命令,而其它設(shè)備可以使能更為有限的UI。一些設(shè)備可以支持視頻消費和互聯(lián)網(wǎng)瀏覽,而其它設(shè)備可以支持更為有限的媒體操控和網(wǎng)絡(luò)接口特征。
如所示出的,設(shè)備110可以訪問通信網(wǎng)絡(luò)115以便實現(xiàn)各種用戶體驗。通信網(wǎng)絡(luò)可以包括以各種組合或子組合形式的各種各樣網(wǎng)絡(luò)類型和網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)中的任何一種,包括蜂窩網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、諸如Wi-Fi和以太網(wǎng)網(wǎng)絡(luò)之類的IP(互聯(lián)網(wǎng)協(xié)議)網(wǎng)絡(luò)、公共交換電話網(wǎng)絡(luò)(PSTN)和/或諸如藍牙網(wǎng)絡(luò)之類的短程網(wǎng)絡(luò)。網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)可以例如由移動運營商、企業(yè)、互聯(lián)網(wǎng)服務(wù)提供商(ISP)、電話服務(wù)提供商、數(shù)據(jù)服務(wù)提供商等支持。通信網(wǎng)絡(luò)115典型地包括支持到互聯(lián)網(wǎng)120的連接的接口,其典型地還被支持來使得移動設(shè)備110可以訪問由一個或多個內(nèi)容提供商125提供的內(nèi)容并且在一些情況下訪問服務(wù)提供商130。相應(yīng)地,典型地使得通信網(wǎng)絡(luò)115能夠支持包括過頂通信的各種類型的設(shè)備到設(shè)備通信,以及不利用常規(guī)電話號碼的通信,以便提供各方之間的連接性。
設(shè)備110和通信網(wǎng)絡(luò)115可以被配置為使能設(shè)備到設(shè)備的通信。如圖2中所示,這樣的設(shè)備到設(shè)備的通信200可以包括例如語音呼叫205、消息傳送會話210和視頻呼叫215。對于設(shè)備到設(shè)備的通信200的支持可以使用在設(shè)備110上運行的各種應(yīng)用來提供。
例如,圖3示出了可以在支持這些應(yīng)用的給定設(shè)備110上實例化的說明性分層架構(gòu)300。架構(gòu)300典型地被實現(xiàn)在軟件中,然而在一些情況下也可以利用軟件、固件和/或硬件的組合來實現(xiàn)。架構(gòu)300被布置在層中,并且包括應(yīng)用層305、OS(操作系統(tǒng))層310和硬件層315。硬件層315向在其之上的層提供由設(shè)備100使用的各種硬件的抽象(例如輸入和輸出設(shè)備、聯(lián)網(wǎng)和無線電硬件等)。在該說明性示例中,硬件層支持話筒320和音頻端點325,其可以包括例如設(shè)備的內(nèi)部揚聲器、有線或無線頭戴式受話器/聽筒、外部揚聲器/設(shè)備等。
在該說明性示例中,應(yīng)用層305支持各種應(yīng)用(app)330(例如,web瀏覽器、地圖app、電子郵件app等),以及電話app 335、消息傳送app 340和視頻呼叫app 345,諸如SkypeTM。App經(jīng)常使用本地執(zhí)行的代碼實現(xiàn)。然而在一些情況下,這些app可以依賴由遠程服務(wù)器或其它計算平臺提供的服務(wù)和/或遠程代碼執(zhí)行,其它計算平臺是諸如由服務(wù)提供商130或其它基于云的資源支持的那些。盡管app 330、335、340和345在這里示出為被實例化在應(yīng)用層305中的組件,但是將意識到,由給定app提供的功能性可以整體地或者部分地通過使用在OS或硬件層中被支持的組件來實現(xiàn)。
OS層310支持數(shù)字助手350和各種其它OS組件355。在一些情況下,數(shù)字助手350可以與服務(wù)提供商130交互,如由線360指示的。也就是說,數(shù)字助手在一些實現(xiàn)中可以部分地利用或者完全地利用在服務(wù)提供商130處支持的或者使用其它遠程資源的遠程代碼執(zhí)行。此外,其可以利用對于實現(xiàn)本文描述的各種特征和功能可能需要的其它OS組件355(和/或被實例化在架構(gòu)300的其它層中的其它組件)和/或與其交互。盡管在本說明性示例中將數(shù)字助手350示出為被實例化在OS層310中,但是將意識到,由數(shù)字助手提供的功能性可以整體地或者部分地通過使用在應(yīng)用或硬件層中被支持的組件來實現(xiàn)。
如圖4中所示,數(shù)字助手350可以采用自然語言用戶界面(UI)405,其可以采取語音命令410作為來自用戶105輸入。語音命令410可以被使用來調(diào)用設(shè)備110上的各種動作、特征和功能、向系統(tǒng)和應(yīng)用提供輸入等。在一些情況下,語音命令410可以在特定用戶體驗的支持下獨自地被利用,而在其它情況下,語音命令可以與其它非語音命令或輸入組合地被利用,所述非語音命令或輸入是諸如實現(xiàn)設(shè)備上的物理控件或者在UI上實現(xiàn)的虛擬控件的那些,或者使用手勢的那些(如下文所述)。
數(shù)字助手350還可以采用手勢UI 505,如圖5中所示。在這里,手勢UI 505可以將由用戶105執(zhí)行的手勢510感測為輸入,以調(diào)用設(shè)備110上的各種動作、特征和功能、向系統(tǒng)和應(yīng)用提供輸入等。用戶手勢510可以使用各種技術(shù)來感測,諸如光學(xué)感測、觸摸感測、接近度感測等。在一些情況下,語音命令、手勢以及真實或虛擬控件的物理操縱的各種組合可以被利用于與數(shù)字助手交互。在一些情景下,可以自動地調(diào)用數(shù)字助手。例如,因為數(shù)字助手典型地維持對呼叫狀態(tài)和其它上下文的感知,所以可以通過諸如掉線的呼叫之類的特定上下文來調(diào)用數(shù)字助手。在該情況下,數(shù)字助手可以發(fā)起重撥以重新連接呼叫并且向用戶告知該重新連接嘗試。當(dāng)數(shù)字助手檢測到重新連接不可能(例如,沒有蜂窩信號或者蜂窩信號較低)、線路繁忙時,或者在某數(shù)目的不成功的重新連接嘗試之后,數(shù)字助手還可以向用戶提供其它通信選項,諸如發(fā)送文本消息。
圖6示出了可以典型地由數(shù)字助手350支持的功能600的說明性分類。向數(shù)字助手350的輸入典型地可以包括用戶輸入605(其中這樣的用戶輸入可以包括從本地和遠程方中的一方或兩方到給定通信的輸入)、來自內(nèi)部源610的數(shù)據(jù)以及來自外部源615的數(shù)據(jù)。例如,來自內(nèi)部源610的數(shù)據(jù)可以包括由設(shè)備110上的GPS(全球定位系統(tǒng))組件或者某種其它位置感知組件報告的設(shè)備110的當(dāng)前地理位置。來源于外部的數(shù)據(jù)615包括例如由外部系統(tǒng)、數(shù)據(jù)庫、服務(wù)以及諸如服務(wù)提供商130等提供的數(shù)據(jù)(圖1)。各種輸入可以單獨地或者以各種組合被使用,以使得數(shù)字助手350能夠在其操作時利用上下文數(shù)據(jù)620。上下文數(shù)據(jù)可以包括例如時間/日期、用戶的位置、語言、日程安排、安裝在設(shè)備上的應(yīng)用、用戶的偏好、用戶的行為(其中這樣的行為在通知用戶且用戶準(zhǔn)許的情況下被監(jiān)控/追蹤)、所存儲的聯(lián)系人(在一些情況下包括到本地用戶或遠程用戶的社交圖的鏈接,諸如由外部社交聯(lián)網(wǎng)服務(wù)維持的那些)、呼叫歷史、消息傳送歷史、瀏覽歷史、設(shè)備類型、設(shè)備能力、通信網(wǎng)絡(luò)類型和/或其中所提供的特征/功能性、移動數(shù)據(jù)計劃約束/限制、與通信的其它方相關(guān)聯(lián)的數(shù)據(jù)(例如,他們的日程安排、偏好等)等。在下文提供由數(shù)字助手對上下文的使用的附加說明性示例。
如所示出的,功能600說明性地包括與用戶交互625(例如通過自然語言UI和其它圖形UI);執(zhí)行任務(wù)630(例如,在用戶的日程表中標(biāo)記約會,發(fā)送消息和電子郵件等);提供服務(wù)635(例如,回答來自用戶的問題,在地圖上標(biāo)出到目的地的方向等);搜集信息640(例如,尋找由用戶請求的關(guān)于書籍或電影的信息,定位最近的意大利餐館等);操作設(shè)備645(例如,設(shè)定偏好、調(diào)節(jié)屏幕明亮度、接通和關(guān)斷諸如Wi-Fi和藍牙之類的無線連接等);以及執(zhí)行各種其他功能650。功能600的列表不打算是窮舉性的,并且可以由數(shù)字助手提供對于數(shù)字助手在通信中的當(dāng)前使用的特定實現(xiàn)可能需要的其他功能。
數(shù)字助手350可以通過顯示在設(shè)備上的UI而顯露給用戶105。例如,圖7、8和9示出了在數(shù)字助手在通信的當(dāng)前使用中可以利用的UI的各種說明性屏幕截圖。要強調(diào)的是,顯示在附圖中的特定UI可以根據(jù)特定實現(xiàn)的需要而從所顯示的那樣變化。圖7中的UI 700示出了由圖塊(tile)705表示的數(shù)字助手(在該示例中命名為“微軟小娜(Cortana)”),圖塊705與表示設(shè)備的開始屏幕上的其它app或用戶體驗的圖塊一起顯示。數(shù)字助手還可以被配置為從設(shè)備上的任何UI內(nèi)的任何位置啟動,或者從任何當(dāng)前用戶體驗內(nèi)啟動。例如,用戶105可以處于電話呼叫中、在瀏覽web、觀看視頻或者聽音樂,并且同時地從那些體驗的任一個內(nèi)啟動數(shù)字助手。在一些情況下,數(shù)字助手可以通過對物理或虛擬用戶控件的操縱而啟動,和/或在其它情況下通過語音命令和/或手勢而啟動。
當(dāng)用戶例如通過觸摸圖塊705或者通過調(diào)用語音命令或手勢而調(diào)用數(shù)字助手時,在圖8中示出的UI 800被顯示在包括文本串805的設(shè)備110上,文本串805詢問用戶是否需要什么東西。在可替換實現(xiàn)中,可以采用文本到語音的翻譯,使得可以播放音頻消息以替代于文本串805或者作為文本串805的補充。如所示出的,UI包括被配置用于示出所接收的語音命令或其它用戶輸入的文本表示的框810。
一個或多個圖形對象815可以顯示在UI 800上以向用戶表示數(shù)字助手。圖形對象815在本示例中是圓形形狀,其可以被動畫化(animate)以使得例如其在數(shù)字助手執(zhí)行任務(wù)、提供信息、與用戶交互等時改變它的形狀、顏色、透明度、運動或外觀。
如圖9的UI 900中所示,用戶已經(jīng)使用例如小鍵盤輸入或語音命令而將串“打開郵件”905輸入到框810中。響應(yīng)于該輸入,數(shù)字助手可以啟動設(shè)備上的電子郵件應(yīng)用。因而,例如當(dāng)用戶在呼叫中并且遠程方詢問“你是否已經(jīng)閱讀了我發(fā)送給你的電子郵件”時,用戶可以讓數(shù)字助手打開來自遠程方的電子郵件并且把它重讀一遍。因為數(shù)字助手維持對呼叫狀態(tài)和上下文的感知,所以其知道遠程方的身份并且可以為用戶定位期望的電子郵件。
當(dāng)該用戶牽涉到與一個或多個遠程方的語音或視頻通信中時,數(shù)字助手可以被配置為通信的一部分并且按需要執(zhí)行任務(wù)。如圖10中所示,來自話筒320的音頻在分離點1005被分開成兩個流,使得電話及視頻呼叫app 335和345以及數(shù)字助手350二者都可以從用戶105接收音頻信號。來自app的音頻與由數(shù)字助手生成的音頻被組合來創(chuàng)建組合的音頻流1010,使得在通信的遠端處的遠程用戶可以聽到本地用戶和數(shù)字助手二者在說什么。數(shù)字助手顯露監(jiān)聽器1015,其監(jiān)聽來自用戶的關(guān)鍵詞或短語,該關(guān)鍵詞或短語被使用來調(diào)用數(shù)字助手。同樣地,如圖11中所示,來自在遠端處的遠程方的進入的音頻1110在分離點1105被分開成兩個流,使得數(shù)字助手350和電話及視頻呼叫app 335和345二者都可以接收進入的音頻。要指出的是,術(shù)語“用戶”和“方”可以在接下來的討論中互換地使用。
使數(shù)字助手350變成諸如電話呼叫、消息傳送會話和音頻呼叫之類的通信的一部分可以使能寬范圍的豐富的用戶體驗。一個示范性體驗在圖12中示出,圖12提供了在說明性語音呼叫205期間所談的話的轉(zhuǎn)錄本。當(dāng)各方在呼叫中交談時,本地用戶通過在塊1205處在呼叫的點1處說出關(guān)鍵短語“你好微軟小娜”而調(diào)用數(shù)字助手。要強調(diào)的是,這個特定的關(guān)鍵短語打算是說明性的,并且可以取決于數(shù)字助手在通信中的當(dāng)前使用的特定實現(xiàn)的需要而利用其它關(guān)鍵詞、短語或其它調(diào)用方法。
例如,可以利用各種啟發(fā)術(shù)、學(xué)習(xí)算法和/或策略,其考慮到可用的輸入、上下文、用戶的行為和與數(shù)字助手的交互。相應(yīng)地,如果用戶已經(jīng)建立了例如在每周銷售會議期間調(diào)用數(shù)字助手的歷史,則可以為該會議的所有將來的實例自動地調(diào)用數(shù)字助手?;蛘?,如果用戶傾向于在駕車上下班的時候調(diào)用數(shù)字助手,則數(shù)字助手可以在下一次上下班行程期間自動地被調(diào)用(但是在用戶駕車去購物商場時不必自動地調(diào)用)。在一些實現(xiàn)中,可以顯露用戶界面,這使得用戶能夠選擇或調(diào)節(jié)數(shù)字助手將如何被自動調(diào)用。還可以使得用戶能夠在一些情況下推翻(override)自動調(diào)用,其中用戶推翻的實例可以作為數(shù)字助手的已學(xué)習(xí)行為的部分而被包括。
圖13描繪了當(dāng)用戶在呼叫的點1處調(diào)用數(shù)字助手時由電話app在設(shè)備上示出的UI 1300的屏幕截圖。要指出的是,在附圖中示出的所有UI打算是說明性的,并且信息、所顯露的特征和控件的呈現(xiàn)以及UI的總體外觀和感覺可以通過實現(xiàn)而從所示出的那樣變化。如圖13中所示,UI 1300示出了被叫方(即,遠程方)的圖片和姓名、所撥的號碼和在UI底部的各種呼叫控件1305。與數(shù)字助手相關(guān)聯(lián)的圖形對象1310與文本串“正在聽”(由參考標(biāo)號1315指示)一起顯示在UI上,以向用戶圖形化地示出數(shù)字助手成功啟動、在聽電話會談并且能夠致力于用戶的任務(wù)、提供信息等。如上文所指出的,圖形對象1310可以被動畫化。
在本地用戶利用該示例中的關(guān)鍵短語而發(fā)起數(shù)字助手之后,用戶請求數(shù)字助手向遠程用戶發(fā)送用于餐館的聯(lián)系人信息。在圖12中的塊1210,數(shù)字助手在呼叫的點2處通過說出將把聯(lián)系人信息作為消息發(fā)送給遠程用戶來響應(yīng)。在數(shù)字助手對用戶請求的響應(yīng)中的所生成的音頻可以被本地方和遠程方二者聽到。數(shù)字助手還可以通過姓名查閱遠程方。姓名的使用是數(shù)字助手可以如何應(yīng)用其可獲得的上下文數(shù)據(jù)的示例,這樣使得其與各方的交互更為自然并且由數(shù)字助手支持的總體用戶體驗得以增強。也就是說,數(shù)字助手維持對呼叫上下文的感知,并且因而知道遠程用戶的身份以及其它呼叫參數(shù)。
圖14描繪了當(dāng)數(shù)字助手在呼叫的點2處對用戶的請求響應(yīng)時由電話app在設(shè)備上示出的UI 1400的屏幕截圖。文本串1415被顯示在電話app的UI上,以便視覺地向本地用戶證實數(shù)字助手在說的事情,即,餐館聯(lián)系人信息正被發(fā)送給在呼叫的遠端處的遠程用戶。
圖15描繪了在圖12中的塊1215處在呼叫的點3處顯示在遠程用戶的設(shè)備上的UI 1500的屏幕截圖。此處,由數(shù)字助手發(fā)送的聯(lián)系人信息作為新消息通知1505進入,其被顯示在遠程用戶的設(shè)備上的UI的頂部。在本說明性示例中,通知示出發(fā)送者以及包含在消息中的內(nèi)容的摘錄。典型地,遠程用戶可以啟動文本傳送應(yīng)用來查看消息的完整內(nèi)容,其可以包括各種類型的聯(lián)系人信息,諸如街道地址、到網(wǎng)站的鏈接、電話號碼、地圖等。
返回到圖12,隨后在塊1220處在呼叫的點4處,本地用戶請求數(shù)字助手向遠程用戶發(fā)送用戶的位置信息。用戶通過使用關(guān)鍵短語(在本示例中是“你好微軟小娜”)而發(fā)起數(shù)字助手。文本串“正在聽”再次顯示在電話app的UI 1600上,如由圖16中的參考標(biāo)號1615所指示的,以視覺地向本地用戶證實數(shù)字助手正在呼叫中監(jiān)聽并且準(zhǔn)備致力于任務(wù)、提供信息等。
數(shù)字助手在圖12中的塊1225處在呼叫的點5處通過說出用戶的位置信息將作為消息被發(fā)送給遠程用戶而響應(yīng)。如之前那樣,在數(shù)字助手對用戶請求的響應(yīng)中的所生成的音頻可以被本地方和遠程方二者都聽到,并且數(shù)字助手可以通過姓名查閱遠程用戶。這提供了數(shù)字助手可以如何應(yīng)用可獲得的上下文數(shù)據(jù)來增強用戶體驗的另一個示例。此處,數(shù)字助手通過由設(shè)備的內(nèi)部源供應(yīng)的地理位置數(shù)據(jù)而維持對本地用戶的位置的感知。
圖17描繪了當(dāng)數(shù)字助手在呼叫的點5處對用戶的請求響應(yīng)時由電話app在設(shè)備上顯示的UI 1700的屏幕截圖。文本串1715被顯示在電話app的UI上,以視覺地向本地用戶證實數(shù)字助手在口頭上說的事情,即,用戶的位置信息正被發(fā)送給在語音呼叫的遠端處的遠程用戶。
圖18描繪了在圖12中的塊1230處在呼叫的點6處顯示于遠程用戶的設(shè)備上的UI 1800的屏幕截圖。此處,由數(shù)字助手發(fā)送的本地用戶的聯(lián)系人信息作為新消息通知1805進入,新消息通知1805被顯示在遠程用戶的設(shè)備上的UI的頂部。
圖19和20說明性地示出在本地方和遠程方之間的消息傳送會談210的過程中可以如何利用數(shù)字助手。UI 1905和1910分別由本地和遠程設(shè)備上的消息傳送app顯露。文本消息鏈被顯示在每一個UI中,令外出的消息顯示在右側(cè),而來自其他方的進入的消息顯示在左側(cè)。盡管在這個特定說明性示例中使用了文本消息,但是要指出的是,數(shù)字助手在通信中的當(dāng)前使用可以支持其他形式和類型的消息,包括多媒體消息、語音和視頻消息。相應(yīng)地,除非另外地聲明,否則術(shù)語“消息傳送”可以被視為是指所有這樣的形式和類型的消息。此外,盡管目前的示例示出了消息鏈,但是要強調(diào)的是,數(shù)字助手也可以在每個消息的基礎(chǔ)上與用戶交互。
在文本消息的交換期間的某一點處,本地用戶通過說出關(guān)鍵短語“你好微軟小娜”而啟動數(shù)字助手,如由參考標(biāo)號1915所指示的。本地用戶然后口頭地請求數(shù)字助手將聯(lián)系人信息發(fā)送給遠程用戶。
數(shù)字助手將其自身的文本消息注入本地設(shè)備上的消息傳送app UI中,如由圖19中的參考標(biāo)號1920所指示的,以視覺地為本地用戶示出其正如何對請求做出響應(yīng)。此處,數(shù)字助手指示其正在文本消息1920中向遠程用戶發(fā)送聯(lián)系人信息。在一些情況下,數(shù)字助手可以使用音頻來響應(yīng)請求。文本消息1920可以典型地以某種方式顯著地標(biāo)記,以使得本地用戶清楚該消息是來自數(shù)字助手而不是來自遠程用戶。例如,消息可以標(biāo)注有如所示的數(shù)字助手的名稱,或者使用特殊文本、字體、顏色、圖形等而高亮顯示。在一些情況下也可以利用示出數(shù)字助手的存在的消息。例如,視情況而定,可以利用諸如“微軟小娜已經(jīng)進入會談”或者“微軟小娜已經(jīng)離開會談”之類的消息。
在典型的實現(xiàn)中,來自數(shù)字助手的消息以全保真度持久存留在該用戶與遠程用戶的通信歷史中。這意味著,對于許多消息傳送體驗,諸如由豐富的過頂應(yīng)用所支持的那些,通信的所有參與方均獲得與數(shù)字助手交互的益處。因而,例如,遠程消息傳送應(yīng)用用戶在不必離開其當(dāng)前上下文的情況下,可以看到對由數(shù)字助手提供的事件的指引。
以與上文的電話呼叫示例相似的方式(其中使得遠程用戶在與本地設(shè)備處的本地用戶交互時能夠聽到數(shù)字助手在說什么),此處遠程用戶被提供有進入的文本消息1925,其示出在本地用戶和數(shù)字助手之間的交互。如圖20中所示,數(shù)字助手在本地設(shè)備上的文本消息2005中以及在遠程設(shè)備處的進入的文本消息2010中提供聯(lián)系人信息。在本示例中,文本消息包括感興趣的餐館的名稱和地址來作為可以被關(guān)注(follow)以得到更多信息的鏈接。在本示例中,還在文本消息中提供地圖,其典型地可以被使用來啟動相應(yīng)設(shè)備上的地圖app,地圖app可以提供區(qū)域的地圖、到餐館的指引、感興趣的附近點等。
圖21至24說明性地示出了可以在本地方和遠程方之間的視頻呼叫215的過程中如何利用數(shù)字助手。圖21示出了視頻呼叫的音頻部分的轉(zhuǎn)錄本,其中本地用戶在塊2105處通過在視頻呼叫的點1處說出“你好微軟小娜”而啟動數(shù)字助手。本地用戶然后請求數(shù)字助手向遠程用戶發(fā)送餐館聯(lián)系人信息。圖22示出了分別由本地和遠程設(shè)備上的視頻呼叫app在視頻呼叫的點1處顯露的UI 2205和2210。每一個UI示出了在視頻呼叫的另一端處的參與方的大視頻圖像連同設(shè)備的用戶的較小插入圖像(也就是說,在典型的視頻呼叫中,用戶可以在視頻呼叫app UI上的大視圖中看到其他人,并且在小視圖中看到他們自己)。
以與上文討論的語音呼叫示例類似的方式,PIP覆蓋2215被插入在呈現(xiàn)于本地設(shè)備上的UI中的視頻圖像中。PIP覆蓋在本示例中包括與數(shù)字助手相關(guān)聯(lián)的圖形對象和文本串。從本地設(shè)備外出的視頻流還被配置成包括PIP覆蓋2220,其可以顯示在遠程設(shè)備上的視頻呼叫app UI上。相應(yīng)地,在視頻呼叫的上下文中本地用戶和數(shù)字助手之間的交互通過使用視頻PIP覆蓋2220而指示給遠程用戶。
圖23示出了當(dāng)數(shù)字助手在圖21中的塊2110處在視頻呼叫的點2處響應(yīng)用戶的請求時,分別在本地和遠程設(shè)備上的視頻app UI 2305和2310。文本串2315和2320被顯示在相應(yīng)視頻app的UI上的視頻PIP覆蓋中,以視覺地向本地和遠程用戶證實數(shù)字助手在視頻呼叫中口頭上說的事情,即,餐館聯(lián)系人信息正被發(fā)送給在視頻呼叫的遠端處的遠程用戶。
圖24示出了當(dāng)數(shù)字助手在圖21中的塊2115處在視頻呼叫的點3處響應(yīng)用戶的請求時,分別在本地和遠程設(shè)備上的視頻app UI 2405和2410。聯(lián)系人信息通過視頻流顯示在相應(yīng)視頻app的UI上的窗口2415和2420中。在該示例中,窗口包括感興趣的餐館的名稱和地址來作為可以被關(guān)注以得到更多信息的鏈接。在該示例中,還提供地圖,其可以典型地被使用來啟動相應(yīng)設(shè)備上的地圖app。
提供數(shù)字助手在通信中——在語音呼叫、消息傳送和視頻呼叫中——的使用的三個說明性示例,以強調(diào)通信中數(shù)字助手的當(dāng)前使用的某些原理。然而,要強調(diào)的是,數(shù)字助手不限于如在以上示例中所示的任務(wù)的執(zhí)行和信息的提供。圖25提供了可以被提供的特征的各種說明性示例的分類2500,以及可以由數(shù)字助手在通信200中執(zhí)行的功能。
如所示,分類包括數(shù)字助手:共享當(dāng)前位置(如由參考標(biāo)號2505指示的);共享聯(lián)系人信息2510;共享所存儲的聯(lián)系人2515;安排會議2520;查看用戶的日程表2525;安排提醒2530(例如,呼叫中的遠程用戶可能要求本地用戶在下班回家的路上取回牛奶;數(shù)字助手監(jiān)聽該呼叫并且可以安排提醒且然后在下班時提示用戶);將另一方添加到當(dāng)前的呼叫或群組消息傳送線程2535;播放游戲2540,諸如益智問答(其中數(shù)字助手可以充當(dāng)游戲主持人和/或提供答案);記筆記2550;安排鬧鐘或喚醒提醒2555;將當(dāng)前呼叫從語音呼叫改變成視頻呼叫2560;將當(dāng)前呼叫從視頻呼叫改變成語音呼叫2565;重新連接掉線的呼叫2570;安排呼叫中斷2575(例如,讓數(shù)字助手在特定時間向設(shè)備發(fā)出呼入以作為打斷當(dāng)前呼叫、會議或交互的方式——例如作為提供借口以結(jié)束當(dāng)前呼叫、離開會議等的方式);與諸如Microsoft BingTM的搜索服務(wù)交互2580,以執(zhí)行搜索并且顯現(xiàn)涉及例如電影時間、餐館、旅行、天氣、交通、方向等的信息;示出或共享電子郵件和/或其它文件2585;發(fā)送到網(wǎng)站或其它資源的鏈接2590;采購2592(例如,從在線商店、網(wǎng)站等)或者提供其它特征和執(zhí)行其它功能2595。
在說明性示例中,數(shù)字助手可以被配置成維持對用戶的安排、活動、行為和其它上下文的感知,以提供超出在呼叫內(nèi)體驗中所提供的那些服務(wù)的其它服務(wù)。例如,數(shù)字助手可以從用戶的日程表和位置確定對于會議而言用戶將遲到。用戶可以偏向于不發(fā)送電子郵件(因為會議出席者可能不會查看他們的電子郵件和/或如果用戶在駕車,則不可能靠邊停車來發(fā)送電子郵件)。替代地,數(shù)字助手可以提出代表用戶發(fā)出呼叫以便向其它會議出席者告知用戶的遲到狀態(tài)并且讓他們知道用戶在路上。在一些情況下,數(shù)字助手可以將UI顯露給遠程用戶(即,會議出席者),這使得他們能夠請求與用戶的呼叫。在該情況下,數(shù)字助手可以對用戶振鈴并且在呼叫得到應(yīng)答時連接各方。
在另一個說明性示例中,當(dāng)數(shù)字助手檢測到用戶對于會議遲到或者對于會議可能遲到時(例如,會議地點跨越校園,并且用戶位于辦公室而沒有足夠的時間到達那里),數(shù)字助手可以使用語音或視頻設(shè)立會議橋并且利用適當(dāng)?shù)闹噶钛垥h參與者加入該橋。當(dāng)安排會議開始時,數(shù)字助手可以代表用戶向會議橋發(fā)出呼叫。
圖26示出了其中由本地和遠程用戶中的每一個使用的設(shè)備配置有相應(yīng)的數(shù)字助手350和2650的說明性示例。在該情況下,數(shù)字助手可以彼此交互,如由參考標(biāo)號2605所指示的,以便在各方之間的通信200的過程期間增強用戶體驗。例如,本地設(shè)備上的數(shù)字助手350可以從遠程設(shè)備上的數(shù)字助手2650請求遠程用戶的日程表信息以便安排各方之間將來的會議。
圖27示出了其中設(shè)備110上的app 2725可以與數(shù)字助手350交互的說明性示例,所述交互是如由參考標(biāo)號2705所指示的。例如,如在圖28和29中的說明性消息傳送app UI的屏幕截圖中所示,用戶105可以使用消息傳送app發(fā)送文本消息來與數(shù)字助手交互,而不是如上文示例中那樣使用語音命令。用戶文本消息在UI中示于右邊,而由數(shù)字助手生成的消息示于左邊。文本傳送使得用戶和數(shù)字助手之間的交互能夠相對靜默地(并且異步地,這通常是優(yōu)選的通信模式)發(fā)生,這例如在用戶處于其中語音或手勢的使用不可能或者不適當(dāng)?shù)奈恢锰帟r可能是有利的。在一些情況下,靜默操作可以在語音和視頻通信的上下文中通過以下方式而被實現(xiàn)和/或進一步增強,即禁用揚聲器電話操作以使得數(shù)字助手的語音僅在設(shè)備被拿到用戶耳邊時或者通過使用諸如頭戴式受話器或耳機之類的音頻端點設(shè)備才可以聽到。在這樣的情況下,數(shù)字助手可以私密地向用戶提供信息,就像在用戶耳邊耳語那樣。
在另一個說明性示例中,數(shù)字助手可以被配置成在用戶繁忙時應(yīng)答進入的語音和視頻呼叫。數(shù)字助手可以解釋用戶不能交談(unavailable)并且提供UI,這使得遠程用戶能夠使用音頻或文本留下消息。UI可以顯示對于該消息的文本,并且數(shù)字助手在一些情況下也可以向遠程用戶復(fù)述該消息。
圖28中的UI 2800示出了其中用戶向數(shù)字助手寫文本的一個說明性示例。此處,數(shù)字助手可以使用來自設(shè)備的電話呼叫狀態(tài)的上下文,以在適當(dāng)?shù)臅r間觸發(fā)給用戶的提醒,如在塊2805中示出的文本消息中所指示的。圖29中的UI 2900示出了其中本地設(shè)備上的數(shù)字助手與遠程設(shè)備上的數(shù)字助手交互以便安排各方之間的會議的另一個說明性示例,如在塊2905中示出的文本消息中所指示的。
圖30示出了其中數(shù)字助手參與到在遠程方和本地方之間的語音呼叫中的說明性方法3000的流程圖。除非明確地陳述,否則在以下流程圖中示出并且在隨附文本中描述的方法或步驟不被限制于特定的次序或順序。此外,方法或其步驟中的一些可以并發(fā)地發(fā)生或被執(zhí)行,并且取決于給定的實現(xiàn)的要求而不必在這樣的實現(xiàn)中執(zhí)行所有的方法或步驟,并且一些方法或步驟可以可選地被利用。
在步驟3005中,在由本地和遠程方使用的設(shè)備之間建立語音呼叫。在步驟3010中,數(shù)字助手設(shè)立監(jiān)聽器以使得在呼叫期間本地用戶可以通過說出關(guān)鍵詞或短語而調(diào)用數(shù)字助手。典型地,如在步驟3015中所示,數(shù)字助手問候呼叫中的每一方。因為數(shù)字助手維持對呼叫上下文的感知,包括各方的身份,因而在一些情況下可以通過姓名而個性化問候。問候使每一個人知道數(shù)字助手是呼叫的一方并且準(zhǔn)備執(zhí)行任務(wù)以及提供服務(wù)。當(dāng)用戶說話時,數(shù)字助手監(jiān)聽,如在步驟3020中所示的。
在步驟3025中,數(shù)字助手確定其可以響應(yīng)于用戶的言語而采取的動作。在典型的實現(xiàn)中,當(dāng)進行確定時定位并且利用適用的上下文。也就是說,在一些情況下,取決于包括呼叫狀態(tài)的上下文,數(shù)字助手可以采取不同的動作。此外,數(shù)字助手可以被配置為向用戶問問題,例如以澄清該請求、或者執(zhí)行與用戶的一些后續(xù)交互,這些交互是在完成任務(wù)時可能需要的。在步驟3030中,將音頻注入到呼叫的流中以使得本地和遠程用戶可以聽到數(shù)字助手確認用戶的請求并且宣布其響應(yīng)于該請求而正采取的動作(即,其是在共享聯(lián)系人信息、記筆記,還是向呼叫添加某人等)。
除數(shù)字助手口頭地宣布動作之外,還在步驟3035中使用文本或圖形把動作顯示在本地設(shè)備上的電話app的UI上,并且在步驟3040中數(shù)字助手執(zhí)行該動作。在一些實現(xiàn)中,數(shù)字助手可以在采取所宣布的動作之前要求用戶證實該動作。在步驟3045中,數(shù)字助手返回到監(jiān)聽模式并且監(jiān)聽在呼叫中說話的用戶,且方法3000可以酌情從步驟3020起重復(fù)??商鎿Q地,數(shù)字助手可以離開語音呼叫并且對該效果做出宣布(例如,通過說“再見”),正如在步驟3050中所示的。
圖31示出了其中數(shù)字助手參與到在本地方和遠程方之間的視頻呼叫中的說明性方法3100的流程圖。在步驟3105中,在由本地方和遠程方使用的設(shè)備之間建立視頻呼叫。在步驟3110中,數(shù)字助手設(shè)立監(jiān)聽器以使得在視頻呼叫期間本地用戶可以通過說出關(guān)鍵詞或短語而調(diào)用數(shù)字助手。在步驟3115中,數(shù)字助手問候視頻呼叫的每一方(其中問候可以通過姓名而個性化)以宣布它的存在。當(dāng)用戶說話時,用戶助手監(jiān)聽,如在步驟3120中所示的。
在步驟3125,數(shù)字助手確定其可以響應(yīng)于用戶的言語而采取的動作。在典型的實現(xiàn)中,當(dāng)進行確定時定位并且利用適用的上下文,如同以上描述的語音呼叫的示例的那樣。此外,數(shù)字助手可以被配置成向用戶問問題,例如以澄清該請求、或者執(zhí)行與用戶的一些后續(xù)交互,這些交互是在完成任務(wù)時可能需要的。在步驟3130中,將音頻注入到呼叫的流中以使得本地和遠程用戶可以聽到數(shù)字助手確認用戶的請求并且宣布其響應(yīng)于該請求而正采取的動作。
除數(shù)字助手口頭地宣布動作之外,還在步驟3135中使用文本或圖形把動作顯示在本地設(shè)備上的電話app的UI上。示出本地用戶和數(shù)字助手之間的交互的PIP覆蓋在步驟3140中被注入到外出的視頻流中,以使得視覺地向遠程用戶告知對于數(shù)字助手正發(fā)生什么。
在步驟3145中,數(shù)字助手執(zhí)行動作。在一些實現(xiàn)中,數(shù)字助手可以在采取所宣布的動作之前要求用戶證實該動作。在步驟3150中,數(shù)字助手返回到監(jiān)聽模式并且監(jiān)聽在視頻呼叫中說話的用戶,并且方法3100可以酌情從步驟3120起重復(fù)??商鎿Q地,數(shù)字助手可以離開視頻呼叫并且對該效果做出宣布(例如,通過說出“再見”),如在步驟3155中所示的。
圖32示出了其中數(shù)字助手參與在本地方和遠程方之間的消息傳送會話的說明性方法3200的流程圖。在步驟3205中,在由本地方和遠程方使用的設(shè)備之間建立消息傳送會話。在步驟3210中,數(shù)字助手設(shè)立監(jiān)聽器以使得在消息傳送會話期間本地用戶可以通過說出關(guān)鍵詞或短語而調(diào)用數(shù)字助手。當(dāng)用戶說話時,數(shù)字助手監(jiān)聽,如在步驟3215中所示的。
在步驟3220中,數(shù)字助手使用被發(fā)送給本地和遠程用戶二者的文本消息來宣布來自本地用戶的請求,文本消息可以示出在消息傳送app的UI上。在步驟3225中,數(shù)字助手確定其可以響應(yīng)于用戶的言語而采取的動作。在典型的實現(xiàn)中,當(dāng)進行確定時定位并且利用適用的上下文,如同在以上描述的語音和視頻呼叫的示例那樣。在步驟3230中,數(shù)字助手確認用戶的請求,并且使用被發(fā)送給本地和遠程用戶二者的文本消息宣布其正作為響應(yīng)而采取的動作,文本消息可以示出在消息傳送app的UI上。
在步驟3235中,數(shù)字助手執(zhí)行動作。在步驟3240中,數(shù)字助手返回到監(jiān)聽模式并且監(jiān)聽在視頻呼叫中說話的用戶,并且方法3200可以酌情從步驟3215起重復(fù)。
圖33是利用其可以實現(xiàn)數(shù)字助手在通信中的當(dāng)前使用的說明性計算機系統(tǒng)3300的簡化框圖,所述計算機系統(tǒng)是諸如PC、客戶端機器或服務(wù)器。計算機系統(tǒng)3300包括處理器3305、系統(tǒng)存儲器3311和系統(tǒng)總線3314,系統(tǒng)總線3314將包括系統(tǒng)存儲器3311的各種系統(tǒng)組件耦合到處理器3305。系統(tǒng)總線3314可以是若干類型的總線結(jié)構(gòu)的任何一種,包括存儲器總線或存儲器控制器、外圍總線或者使用任何各種總線架構(gòu)的本地總線。系統(tǒng)存儲器3311包括只讀存儲器(ROM)3317和隨機存取存儲器(RAM)3321。在ROM 3317中存儲有基本輸入/輸出系統(tǒng)(BIOS)3325,其包含諸如在啟動期間幫助在計算機系統(tǒng)3300內(nèi)的元件之間轉(zhuǎn)移信息的基本例程。計算機系統(tǒng)3300還可以包括:硬盤驅(qū)動器3328,用于從內(nèi)部安放的硬盤(沒有示出)讀取并且向其寫入;磁盤驅(qū)動器3330,用于從可拆卸磁盤3333(例如,軟盤)讀取或者向其寫入;以及光盤驅(qū)動器3338,用于從可拆卸光盤3343讀取或者向其寫入,可拆卸光盤3343是諸如CD(壓縮盤)、DVD(數(shù)字多功能盤)或其它光學(xué)介質(zhì)。硬盤驅(qū)動器3328、磁盤驅(qū)動器3330和光盤驅(qū)動器3338分別通過硬盤驅(qū)動器接口3346、磁盤驅(qū)動器接口3349和光學(xué)驅(qū)動器接口3352連接到系統(tǒng)總線3314。驅(qū)動器及其相關(guān)聯(lián)的計算機可讀存儲介質(zhì)提供對用于計算機系統(tǒng)3300的計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)的非易失性存儲。盡管本說明性示例包括硬盤、可拆卸磁盤3333和可拆卸光盤3343,但是在數(shù)字助手在通信中的當(dāng)前使用的一些應(yīng)用中也可以使用其它類型的能存儲可由計算機訪問的數(shù)據(jù)的計算機可讀存儲介質(zhì),諸如盒式磁帶、閃速存儲卡、數(shù)字視頻盤、數(shù)據(jù)盒式磁帶、隨機存取存儲器(RAM)、只讀存儲器(ROM)等。此外,當(dāng)在本文中使用時,術(shù)語計算機可讀存儲介質(zhì)包括介質(zhì)類型的一個或多個實例(例如,一個或多個磁盤、一個或多個CD等)。出于本說明書和權(quán)利要求的目的,短語“計算機可讀存儲介質(zhì)”及其變形不包括波、信號和/或其它暫時性和/或非有形通信介質(zhì)。
許多程序模塊可以被存儲在硬盤、磁盤3333、光盤3343、ROM 3317或RAM 3321上,包括操作系統(tǒng)3355、一個或多個應(yīng)用程序3357、其它程序模塊3360和程序數(shù)據(jù)3363。用戶可以通過輸入設(shè)備將命令和信息輸入到計算機系統(tǒng)3300中,輸入設(shè)備是諸如鍵盤3366和指向設(shè)備3368,比如鼠標(biāo)。其它輸入設(shè)備(沒有示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀、追蹤球、觸摸板、觸摸屏、觸敏設(shè)備、語音命令模塊或設(shè)備、用戶運動或用戶手勢捕獲設(shè)備等。這些和其它輸入設(shè)備經(jīng)常通過耦合到系統(tǒng)總線3314的串行端口接口3371而被連接到處理器3305,但是也可以通過其它接口連接,諸如并行端口、游戲端口或通用串行總線(USB)。監(jiān)控器3373或其它類型的顯示設(shè)備也經(jīng)由諸如視頻適配器3375這樣的接口連接到系統(tǒng)總線3314。除監(jiān)控器3373之外,個人計算機典型地還包括其它外圍輸出設(shè)備(沒有示出),諸如揚聲器和打印機。在圖33中所示的說明性示例還包括主機適配器3378、小型計算機系統(tǒng)接口(SCSI)總線3383以及連接到SCSI總線3383的外部存儲設(shè)備3376。
計算機系統(tǒng)3300通過使用到一個或多個遠程計算機(諸如遠程計算機3388)的邏輯連接而可操作在聯(lián)網(wǎng)環(huán)境中。遠程計算機3388可以被選擇為另一個個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或者其它公共網(wǎng)絡(luò)節(jié)點,并且典型地包括以上相對于計算機系統(tǒng)3300描述的元件中的許多或全部,然而僅在圖33中示出單個代表性遠程存儲器/存儲設(shè)備3390。在圖33中描繪的邏輯連接包括局域網(wǎng)(LAN)3393和廣域網(wǎng)(WAN)3395。這樣的聯(lián)網(wǎng)環(huán)境經(jīng)常部署在例如辦公室、企業(yè)范圍的計算機網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)中。
當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時,計算機系統(tǒng)3300通過網(wǎng)絡(luò)接口或適配器3396被連接到局域網(wǎng)3393。當(dāng)使用在WAN聯(lián)網(wǎng)環(huán)境中時,計算機系統(tǒng)3300典型地包括寬帶調(diào)制解調(diào)器3398、網(wǎng)絡(luò)網(wǎng)關(guān)或者用于通過諸如互聯(lián)網(wǎng)之類的廣域網(wǎng)3395而建立通信的其它裝置??梢栽趦?nèi)部或外部的寬帶調(diào)制解調(diào)器3398經(jīng)由串行端口接口3371而連接到系統(tǒng)總線3314。在聯(lián)網(wǎng)環(huán)境中,涉及計算機系統(tǒng)3300的程序模塊或其一些部分可以被存儲在遠程存儲器存儲設(shè)備3390中。要指出,在圖33中所示的網(wǎng)絡(luò)連接是說明性的,并且取決于數(shù)字助手在通信中的當(dāng)前使用的應(yīng)用的特定要求,可以使用在計算機之間建立通信鏈接的其它手段。
圖34示出了用于能夠執(zhí)行本文描述的各種組件以便提供數(shù)字助手在通信中的當(dāng)前使用的設(shè)備的說明性架構(gòu)3400。因而,在圖34中圖示的架構(gòu)3400示出了可以適配于服務(wù)器計算機、移動電話、PDA、智能電話、桌上型計算機、上網(wǎng)本計算機、平板計算機、GPS設(shè)備、游戲操控臺和/或膝上型計算機的架構(gòu)。架構(gòu)3400可被用來執(zhí)行本文提出的組件的任何方面。
在圖34中圖示的架構(gòu)3400包括CPU(中央處理單元)3402、系統(tǒng)存儲器3404,包括RAM 3406和ROM 3408,以及將存儲器3404耦合到CPU 3402的系統(tǒng)總線3410。在ROM 3408中存儲有基本輸入/輸出系統(tǒng),其包含諸如在啟動期間幫助在架構(gòu)3400內(nèi)的元件之間轉(zhuǎn)移信息的基本例程。架構(gòu)3400還包括大容量存儲設(shè)備3412以用于存儲軟件代碼或其它計算機執(zhí)行的代碼,其被用來實現(xiàn)應(yīng)用、文件系統(tǒng)和操作系統(tǒng)。
大容量存儲設(shè)備3412通過連接到總線3410的大容量存儲控制器(沒有示出)而被連接到CPU 3402。大容量存儲設(shè)備3412及其相關(guān)聯(lián)的計算機可讀存儲介質(zhì)為架構(gòu)3400提供非易失性存儲。
盡管本文中所包含的對計算機可讀存儲介質(zhì)的描述是指大容量存儲設(shè)備,諸如硬盤或CD-ROM驅(qū)動器,但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)意識到,計算機可讀存儲介質(zhì)可以是能被架構(gòu)3400訪問的任何可獲得的存儲介質(zhì)。
作為示例而非限制,計算機可讀存儲介質(zhì)可以包括易失性和非易失性、可拆卸和不可拆卸介質(zhì),其以任何方法或技術(shù)實現(xiàn)來用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)之類的信息。例如,計算機可讀介質(zhì)包括但不限于RAM、ROM、EPROM(可擦除可編程只讀存儲器)、EEPROM(電可擦除可編程只讀存儲器)、閃速存儲器或其它固態(tài)存儲器技術(shù)、CD-ROM、DVD、HD-DVD(高清晰度DVD)、藍光或其它光學(xué)存儲裝置、盒式磁帶、磁帶、磁盤存儲或其它磁性存儲設(shè)備、或者可以被用來存儲期望的信息并且可以被架構(gòu)3400訪問的任何其它介質(zhì)。
根據(jù)各種實施例,架構(gòu)3400可以使用通過網(wǎng)絡(luò)到遠程計算機的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。架構(gòu)3400可以通過連接到總線3410的網(wǎng)絡(luò)接口單元3416而連接到網(wǎng)絡(luò)。應(yīng)當(dāng)意識到,網(wǎng)絡(luò)接口單元3416還可以被用來連接到其它類型的網(wǎng)絡(luò)和遠程計算機系統(tǒng)。架構(gòu)3400還可以包括輸入/輸出控制器3418以用于接收和處理來自多個其它設(shè)備的輸入,其它設(shè)備包括鍵盤、鼠標(biāo)或電子觸筆(沒有在圖34中示出)。類似地,輸入/輸出控制器3418可以向顯示屏、打印機或者其它類型的輸出設(shè)備(也沒有在圖34中示出)提供輸出。
應(yīng)當(dāng)意識到,本文描述的軟件組件在被加載到CPU 3402上且被執(zhí)行時,可以將CPU 3402和總體架構(gòu)3400從通用計算系統(tǒng)變換成被定制來便利于本文提出的功能性的專用計算系統(tǒng)。CPU 3402可以用任何數(shù)目的晶體管或其它分立電路元件來構(gòu)造,所述晶體管或其它分立電路單元可以單獨地或者集體地呈現(xiàn)任何數(shù)目的狀態(tài)。更明確地,CPU 3402可以響應(yīng)于包含在本文公開的軟件模塊內(nèi)的可執(zhí)行指令而作為有限狀態(tài)機來操作。這些計算機可執(zhí)行指令可以通過如下方式變換CPU 3402,即:指定CPU 3402如何在狀態(tài)之間轉(zhuǎn)移,從而變換構(gòu)成CPU 3402的晶體管或者其它分立硬件元件。
對本文提出的軟件模塊進行編碼也可以變換本文提出的計算機可讀存儲介質(zhì)的物理結(jié)構(gòu)。在本描述的不同實現(xiàn)中,物理結(jié)構(gòu)的特定變換可以取決于各種因素。這樣的因素的示例可以包括但不限于:被使用來實現(xiàn)計算機可讀存儲介質(zhì)的技術(shù),計算機可讀存儲介質(zhì)是被表征為主要還是次要存儲裝置等等。例如,如果計算機可讀存儲介質(zhì)被實現(xiàn)為基于半導(dǎo)體的存儲器,則本文公開的軟件可以通過變換半導(dǎo)體存儲器的物理狀態(tài)而被編碼在計算機可讀存儲介質(zhì)上。例如,軟件可以變換構(gòu)成半導(dǎo)體存儲器的晶體管、電容器或其它分立電路元件的狀態(tài)。軟件還可以變換這樣的組件的物理狀態(tài)以便在其上存儲數(shù)據(jù)。
作為另一示例,本文公開的計算機可讀存儲介質(zhì)可以使用磁性或光學(xué)技術(shù)來實現(xiàn)。在這樣的實現(xiàn)中,當(dāng)在其中編碼軟件時,本文提出的軟件可以變換磁性或光學(xué)介質(zhì)的物理狀態(tài)。這些變換可以包括更改給定磁性介質(zhì)內(nèi)的特定位置的磁性特性。這些變換還可以包括更改給定光學(xué)介質(zhì)內(nèi)的特定位置的物理特征或特性以改變那些位置的光學(xué)特性。在不脫離本描述的范圍和精神的情況下,物理介質(zhì)的其它變換是可能的,所提供的前面的示例僅是為了促進該討論。
鑒于上文所述,應(yīng)當(dāng)意識到,許多類型的物理變換發(fā)生在架構(gòu)3400中以便存儲和執(zhí)行本文所提出的軟件組件。還應(yīng)當(dāng)意識到,架構(gòu)3400可以包括其它類型的計算設(shè)備,包括手持式計算機、嵌入式計算機系統(tǒng)、智能電話、PDA以及本領(lǐng)域技術(shù)人員所已知的其它類型的計算設(shè)備。還設(shè)想到,架構(gòu)3400可以不包括在圖34中示出的所有組件,可以包括未在圖34中明確示出的其它組件,或者可以利用與圖34中示出的架構(gòu)完全不同的架構(gòu)。
圖35是說明性設(shè)備110的功能框圖,所述設(shè)備110諸如是移動電話或智能電話,其包括總體地在3502處示出的各種各樣可選的硬件和軟件組件。移動設(shè)備中的任何組件3502可以與任何其它組件通信,然而為了圖示的方便而沒有示出所有連接。移動設(shè)備可以是各種各樣計算設(shè)備(例如,手機、智能電話、手持式計算機、PDA等)中的任何一種,并且可以允許與一個或多個移動通信網(wǎng)絡(luò)3504——諸如蜂窩或衛(wèi)星網(wǎng)絡(luò)——的雙向通信。
所圖示的設(shè)備110可以包括控制器或處理器3510(例如,信號處理器、微處理器、微控制器、ASIC(專用集成電路)或者其它控制和處理邏輯電路),以用于執(zhí)行諸如信號編碼、數(shù)據(jù)處理、輸入/輸出處理、功率控制和/或其它功能之類的任務(wù)。操作系統(tǒng)3512可以控制組件3502的分配和使用,包括電源狀態(tài)、上鎖(above-lock)狀態(tài)和下鎖(below-lock)狀態(tài),并且提供對于一個或多個應(yīng)用程序3514的支持。應(yīng)用程序可以包括常見的移動計算應(yīng)用(例如,圖像捕獲應(yīng)用、電子郵件應(yīng)用、日程表、聯(lián)系人管理器、web瀏覽器、消息傳送應(yīng)用)或者任何其它計算應(yīng)用。
所圖示的設(shè)備110可以包括存儲器3520。存儲器3520可以包括不可拆卸存儲器3522和/或可拆卸存儲器3524。不可拆卸存儲器3522可以包括RAM、ROM、閃速存儲器、硬盤或其它公知的存儲器存儲技術(shù)??刹鹦洞鎯ζ?524可以包括閃速存儲器或訂戶身份模塊(SIM)卡,其在GSM(全球移動通信系統(tǒng))系統(tǒng)中是公知的,或者其它公知的存儲器存儲技術(shù),諸如“智能卡”。存儲器3520可被使用于存儲數(shù)據(jù)和/或代碼以用于運行操作系統(tǒng)3512和應(yīng)用程序3514。示例性數(shù)據(jù)可以包括將經(jīng)由一個或多個有線或無線網(wǎng)絡(luò)而發(fā)送到和/或接收自一個或多個網(wǎng)絡(luò)服務(wù)器或其它設(shè)備的網(wǎng)頁、文本、圖像、聲音文件、視頻數(shù)據(jù)或其它數(shù)據(jù)集。
存儲器3520還可以被布置作為或者包括一個或多個計算機可讀存儲介質(zhì),其以任何方法或技術(shù)被實現(xiàn)來用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)之類的信息。例如,計算機可讀介質(zhì)包括但不限于RAM、ROM、EPROM、EEPROM、閃速存儲器或其它固態(tài)存儲器技術(shù)、CD-ROM(壓縮盤ROM)、DVD(數(shù)字多功能盤)、HD-DVD(高清晰度DVD)、藍光或其它光學(xué)存儲、盒式磁帶、磁帶、磁盤存儲或其它磁性存儲設(shè)備、或者可被用來存儲期望的信息并可被設(shè)備110訪問的任何其它介質(zhì)。
存儲器3520可以被使用來存儲訂戶標(biāo)識符,諸如國際移動訂戶身份(IMSI),以及設(shè)備標(biāo)識符,諸如國際移動設(shè)備標(biāo)識符(IMEI)。這樣的標(biāo)識符可以被傳送給網(wǎng)絡(luò)服務(wù)器以識別用戶和設(shè)備。設(shè)備110可以支持一個或多個輸入設(shè)備3530;諸如:觸摸屏3532;用于實現(xiàn)語音輸入以用于語音識別、語音命令等的話筒3534;相機3536;物理鍵盤3538;追蹤球3540;和/或接近度傳感器3542;以及一個或多個輸出設(shè)備3550,諸如揚聲器3552和一個或多個顯示器3554。使用手勢識別的其它輸入設(shè)備(沒有示出)也可以在一些情況下被利用。其它可能的輸出設(shè)備(沒有示出)可以包括壓電或觸覺輸出設(shè)備。一些設(shè)備可以服務(wù)于一個以上的輸入/輸出功能。例如,觸摸屏3532和顯示器3554可以被組合成單個輸入/輸出設(shè)備。
無線調(diào)制解調(diào)器3560可以耦合到天線(沒有示出)并且可以支持處理器3510和外部設(shè)備之間的雙向通信,如本領(lǐng)域中很好理解的。調(diào)制解調(diào)器3560被一般性地示出,并且它可以包括用于與移動通信網(wǎng)絡(luò)3504通信的蜂窩調(diào)制解調(diào)器和/或其它基于無線電的調(diào)制解調(diào)器(例如,藍牙3564或Wi-Fi 3562)。無線調(diào)制解調(diào)器3560典型地被配置用于與一個或多個蜂窩網(wǎng)絡(luò)(諸如GSM網(wǎng)絡(luò))通信,以用于在單個蜂窩網(wǎng)絡(luò)內(nèi)、在蜂窩網(wǎng)絡(luò)之間、或者在設(shè)備與公共交換電話網(wǎng)絡(luò)(PSTN)之間的數(shù)據(jù)和語音通信。
設(shè)備還可以包括至少一個輸入/輸出端口3580、電源3582、諸如GPS接收器之類的衛(wèi)星導(dǎo)航系統(tǒng)接收器3584、加速度計3586、陀螺儀(沒有示出)和/或物理連接器3590,其可以是USB端口、IEEE 1394(火線)端口和/或RS-232端口。所圖示的組件3502并非是必需的或者全部包括的,因為可以刪除任何組件并且可以添加其它組件。
圖36是多媒體操控臺1104的說明性功能框圖。多媒體操控臺1104具有中央處理單元(CPU)3601,其具有1級高速緩存3602、2級高速緩存3604和閃速ROM(只讀存儲器)3606。1級高速緩存3602和2級高速緩存3604臨時存儲數(shù)據(jù)并且因而減少存儲器訪問周期的數(shù)目,由此改進處理速度和吞吐量。CPU 3601可以配置有多于一個核,以及因而有附加的1級和2級高速緩存3602和3604。閃速ROM 3606可以存儲可執(zhí)行代碼,其在多媒體操控臺1104通電時的自舉過程的初始階段期間加載。
圖形處理單元(GPU)3608和視頻編碼器/視頻編解碼器(編碼器/譯碼器)3614形成用于高速和高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從GPU 3608被載送到視頻編碼器/視頻編解碼器3614。視頻處理流水線將數(shù)據(jù)輸出到A/V(音頻/視頻)端口3640以用于傳送給電視或其它顯示器。存儲器控制器3610連接到GPU 3608以便便利處理器訪問各種類型的存儲器3612,諸如但不限于RAM。
多媒體操控臺1104包括I/O控制器3620、系統(tǒng)管理控制器3622、音頻處理單元3623、網(wǎng)絡(luò)接口控制器3624、第一USB(通用串行總線)主機控制器3626、第二USB控制器3628和前面板I/O子配件3630,其優(yōu)選地實現(xiàn)在模塊3618上。USB控制器3626和3628充當(dāng)用于外圍控制器3642(1)和3642(2)、無線適配器3648和外部存儲器設(shè)備3646(例如,閃速存儲器、外部CD/DVD ROM驅(qū)動器、可拆卸介質(zhì)等)的主機。網(wǎng)絡(luò)接口控制器3624和/或無線適配器3648提供對網(wǎng)絡(luò)(例如,互聯(lián)網(wǎng)、家用網(wǎng)絡(luò)等)的訪問,且可以是多種多樣的不同的有線或無線適配器組件的任何一種,包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙模塊、線纜調(diào)制解調(diào)器等。
系統(tǒng)存儲器3643被提供來存儲在自舉過程期間加載的應(yīng)用數(shù)據(jù)。提供了介質(zhì)驅(qū)動器3644,并且可以包括DVD/CD驅(qū)動器、硬驅(qū)動器或其它可拆卸介質(zhì)驅(qū)動器等。介質(zhì)驅(qū)動器3644可以在多媒體操控臺1104內(nèi)部或外部。應(yīng)用數(shù)據(jù)可以經(jīng)由介質(zhì)驅(qū)動器3644而被訪問,以用于通過多媒體操控臺1104來執(zhí)行、回放等。介質(zhì)驅(qū)動器3644經(jīng)由總線連接到I/O控制器3620,所述總線諸如是串行ATA總線或其它高速連接(例如,IEEE 1394)。
系統(tǒng)管理控制器3622提供涉及確保多媒體操控臺1104的可用性的各種各樣的服務(wù)功能。音頻處理單元3623和音頻編解碼器3632形成具有高保真度和立體處理的對應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈接被載送于音頻處理單元3623和音頻編解碼器3632之間。音頻處理流水線向A/V端口3640輸出數(shù)據(jù)以用于由具有音頻能力的外部音頻播放器或設(shè)備再現(xiàn)。
前面板I/O子配件3630支持電源按鈕3650和彈出按鈕3652、以及任何LED(發(fā)光二極管)或顯露在多媒體操控臺1104的外表面上的其它指示器的功能性。系統(tǒng)電源模塊3636向多媒體操控臺1104的組件提供電力。風(fēng)扇3638冷卻多媒體操控臺1104內(nèi)的電路。
多媒體操控臺1104內(nèi)的CPU 3601、GPU 3608、存儲器控制器3610以及各種其它組件經(jīng)由一個或多個總線互連,所述總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種各樣總線架構(gòu)的任一種的處理器或本地總線。作為示例,這樣的架構(gòu)可以包括外圍組件互連(PCI)總線、PCI-Express總線等。
當(dāng)多媒體操控臺1104通電時,應(yīng)用數(shù)據(jù)可以從系統(tǒng)存儲器3634加載到存儲器3612和/或高速緩存3602和3604中并且在CPU 3601上執(zhí)行。應(yīng)用可以呈現(xiàn)圖形用戶界面,其在導(dǎo)航到在多媒體操控臺1104上可用的不同媒體類型時提供一致的用戶體驗。在操作中,包含在介質(zhì)驅(qū)動器3644內(nèi)的應(yīng)用和/或其它介質(zhì)可以從介質(zhì)驅(qū)動器3644啟動或播放以向多媒體操控臺1104提供附加的功能性。
多媒體操控臺1104可以通過簡單地將系統(tǒng)連接到電視或其它顯示器而作為獨立系統(tǒng)進行操作。在這種獨立模式中,多媒體操控臺1104允許一個或多個用戶與系統(tǒng)交互、觀看電影或聽音樂。然而,在集成有通過網(wǎng)絡(luò)接口控制器3624或無線適配器3648而可用的寬帶連接性的情況下,多媒體操控臺1104還可以作為更大網(wǎng)絡(luò)社區(qū)中的參與者進行操作。
當(dāng)多媒體操控臺1104通電時,設(shè)定量的硬件資源被預(yù)留用于由多媒體操控臺操作系統(tǒng)進行的系統(tǒng)使用。這些資源可以包括存儲器(例如,16MB)、CPU和GPU周期(例如,5%)、聯(lián)網(wǎng)帶寬(例如,8kps)等的預(yù)留。因為這些資源在系統(tǒng)自舉時間預(yù)留,所以預(yù)留的資源從應(yīng)用的視角來看不存在。
特別地,存儲器預(yù)留優(yōu)選地大到足以包含啟動內(nèi)核、并發(fā)的系統(tǒng)應(yīng)用和驅(qū)動器。CPU預(yù)留優(yōu)選地是恒定的,使得如果預(yù)留的CPU使用沒有被系統(tǒng)應(yīng)用所用,則空閑線程將消耗任何未用的周期。
關(guān)于GPU預(yù)留,由系統(tǒng)應(yīng)用(例如,彈出窗口)生成的輕量消息被通過使用GPU中斷來安排代碼以將彈出窗口渲染到覆蓋中而顯示。覆蓋所需的存儲器的量取決于覆蓋區(qū)域大小,并且覆蓋優(yōu)選地按屏幕分辨率縮放。在由并發(fā)的系統(tǒng)應(yīng)用使用全部用戶界面的情況下,優(yōu)選的是使用與應(yīng)用分辨率無關(guān)的分辨率??梢允褂每s放器來設(shè)定該分辨率,以使得消除對改變頻率并使TV重新同步的需要。
在多媒體操控臺1104自舉并且系統(tǒng)資源被預(yù)留之后,并發(fā)的系統(tǒng)應(yīng)用執(zhí)行以提供系統(tǒng)功能性。系統(tǒng)功能性被封裝于在以上描述的預(yù)留系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核相對于游戲應(yīng)用線程標(biāo)識是系統(tǒng)應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被安排成以預(yù)定的時間和間隔在CPU 3601上運行以便向應(yīng)用提供一致的系統(tǒng)資源視圖。所述安排是最小化針對在操控臺上運行的游戲應(yīng)用的高速緩存中斷。
當(dāng)并發(fā)的系統(tǒng)應(yīng)用要求音頻時,由于時間敏感性而與游戲應(yīng)用異步地安排音頻處理。多媒體操控臺應(yīng)用管理器(下文描述)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用音頻等級(例如,靜音、衰減)。
輸入設(shè)備(例如,控制器3642(1)和3642(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是預(yù)留的資源,而是要在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換,使得每一個應(yīng)用都將得到該設(shè)備的關(guān)注。應(yīng)用管理器優(yōu)選地控制輸入流的切換,而無需知道游戲應(yīng)用的知識,并且驅(qū)動器維持關(guān)于關(guān)注切換的狀態(tài)信息。
基于前文,應(yīng)當(dāng)意識到,已經(jīng)在本文中公開了用于數(shù)字助手在通信中的使用的技術(shù)。盡管本文所提出的主題是以特定于計算機結(jié)構(gòu)特征、方法和變形的動作、具體的計算機器和計算機可讀存儲介質(zhì)的語言進行描述的,但是要理解,在所附權(quán)利要求中限定的本發(fā)明不一定限于在本文中描述的特定特征、動作或介質(zhì)。而是,該特定特征、動作和介質(zhì)是作為實現(xiàn)本權(quán)利要求的示例性形式而公開的。
以上描述的主題僅作為說明而提供,其不應(yīng)當(dāng)被解釋為限制性的。可以在不遵循所圖示和描述的示例性實施例和應(yīng)用、且不脫離以下權(quán)利要求中闡述的本發(fā)明的真實精神和范圍的情況下,對本文描述的主題做出各種修改和改變。