背景技術：

用戶可以依靠各種常規(guī)機構(gòu)來生成和執(zhí)行旅行計劃和/或以更自發(fā)和無約束的方式探索他或她的環(huán)境。例如，用戶可以使用路線選擇應用來生成用于在兩個位置之間行進的路線。然后，當用戶通過一系列提示在路線上行進時，該相同的應用可以引導用戶。提示可以對應于有聲和/或顯示的消息，例如，口頭指示用戶在規(guī)定距離內(nèi)進行轉(zhuǎn)彎的消息。然而，在這些常規(guī)機構(gòu)中仍然存在相當大的改進空間。

技術實現(xiàn)要素：

本文中描述了用于輔助用戶與物理和/或虛擬空間交互的各種工具。這樣的輔助例如可以促進用戶在物理和/或虛擬空間內(nèi)的導航。如本文中所使用的，導航是指用戶根據(jù)預定計劃通過空間的有目的的移動、和/或可以反映不一定符合任何預定計劃的自發(fā)決定的移動。工具還可以在任何給定時刻輔助用戶在空間內(nèi)的探索(例如，對應于用戶在空間中將他或她自己定向的過程)。

作為一般原理，工具被設計為以用戶友好的方式向用戶提供高度信息化和及時的輔助，從而在沒有從與空間交互的實際任務不適當?shù)胤稚⒂脩舻淖⒁饬Φ那闆r下，豐富用戶對用戶移動所經(jīng)過的物理和虛擬空間的體驗。考慮到這些特性，甚至對于具有視覺障礙和/或其他障礙的用戶也可以成功地使用這些工具。然而，工具本質(zhì)上是通用的，并且因此可以向任何用戶提供用戶友好的且不顯眼的引導，以執(zhí)行用戶在他或她的環(huán)境內(nèi)進行交互的任何任務。

工具具有有助于上述總結(jié)的性能的各個方面。根據(jù)一方面，本文中描述了一種計算設備，該計算設備提供用于輔助用戶與空間交互并且體驗空間的空間交互(si)模塊。si模塊進而包括在多個工作空間內(nèi)呈現(xiàn)信息和/或暴露功能的應用接口模塊。每個工作空間關于其他工作空間具有確定的空間關系。

例如，多個工作空間可以包括用作允許用戶能夠與和所述當前上下文相關聯(lián)的信息和功能交互的主要區(qū)域的主頁工作空間。其他相鄰工作空間可以包括主工作空間、設置工作空間、信息工作空間、和“我附近”工作空間(用于呈現(xiàn)關于當前時間在用戶附近的感興趣項目的信息)。

另外，應用接口模塊可以使用允許用戶在工作空間之間移動并且與這些工作空間中呈現(xiàn)的菜單和其他信息交互的各種手勢。用戶與這些工作空間和菜單的交互可以用聲音生成模塊生成的各種聲音和/或觸覺提示生成模塊生成的各種觸覺提示(例如，振動提示)來補充。

以上特征貢獻于允許用戶安全和有效地移動通過他或她的環(huán)境的上述目標。例如，工作空間提供一種當用戶移動通過環(huán)境時向用戶呈現(xiàn)最相關信息的用戶友好的方法。另外，一些特征允許用戶與用戶界面呈現(xiàn)交互而不將視覺注意力指向該呈現(xiàn)，和/或不必執(zhí)行將用戶的注意力從與環(huán)境交互的物理任務轉(zhuǎn)移的煩人且復雜的手勢。例如，用戶可以用單個手執(zhí)行一些手勢而不看用戶界面呈現(xiàn)。

上述方法可以在各種類型的系統(tǒng)、設備、部件、方法、計算機可讀存儲介質(zhì)、數(shù)據(jù)結(jié)構(gòu)、圖形用戶界面演示、制品等中實施。

提供本發(fā)明內(nèi)容來以簡化的形式介紹概念的選擇；這些概念在下面的詳細描述中進一步描述。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

附圖說明

圖1示出了用于輔助用戶與物理和/或虛擬空間交互的系統(tǒng)的概述。

圖2示出了用戶使用圖1的系統(tǒng)來進行由多個航點定義的行程的示例。在其他情況下，用戶可以使用系統(tǒng)來以更開放和自發(fā)的方式與環(huán)境進行交互。

圖3示出了可以用于實現(xiàn)圖1的系統(tǒng)的計算功能的概述。

圖4示出了空間交互模塊的一個實現(xiàn)，其是圖3的計算功能的部件。

圖5示出了應用接口模塊的一個實現(xiàn)，其是圖4的空間交互模塊的部件。

圖6示出了耳機、手持用戶計算設備(為了簡明起見，稱為“用戶設備”)和另一用戶計算設備的示例；這些設備可以實現(xiàn)圖1的系統(tǒng)的一個或多個方面。

圖7示出了實現(xiàn)圖6的耳機和用戶設備的一個方式。

圖8示出了實現(xiàn)圖6的耳機和(可選的)用戶設備的另一方式。

圖9示出了用戶在車輛內(nèi)與圖6的用戶設備交互的場景。

圖10是示出圖6所示的設備的一個操作方式的流程圖。

圖11示出了例如在由用戶設備的顯示輸出機構(gòu)提供的用戶界面演示中，可以由圖4和圖5的應用接口模塊呈現(xiàn)的不同工作空間。

圖12示出了可以被用于從第一工作空間轉(zhuǎn)換到第二工作空間的手勢。

圖13示出了根據(jù)一個實現(xiàn)的可以在主頁工作空間中呈現(xiàn)的默認中樞菜單。

圖14至圖16示出了可以在主頁工作空間中呈現(xiàn)的相應境況菜單。

圖17示出了標識可以被調(diào)用的多個功能的菜單；該菜單可以呈現(xiàn)在主頁工作空間中。

圖18示出了用戶可以用來設置各種參數(shù)的菜單；該菜單可以呈現(xiàn)在設置工作空間中。

圖19示出了當他或她進行旅行或以其他方式與環(huán)境交互時，用戶可以用來訪問與用戶相關的信息的菜單；該菜單可以呈現(xiàn)在信息工作空間中。

圖20示出了用戶可以用來訪問關于附近的感興趣項(ioi)的信息的菜單；該菜單可以呈現(xiàn)在“我附近”工作空間中。

圖21示出了可以在主頁工作空間中呈現(xiàn)的暫時性菜單的示例。

圖22示出了在該特定情況下在設置工作空間中呈現(xiàn)的覆蓋菜單的示例。

圖23示出了用戶可以用來獲得關于他或她的當前境況的音頻信息的手勢。

圖24示出了用戶可以用來激活任何工作空間中的任何菜單的手勢。

圖25示出了用戶可以用來在任何菜單中導航通過菜單項集合的手勢。

圖26示出了用戶可以用來從當前菜單導航到某個其他在前菜單的后退手勢。

圖27示出了與圖11的實現(xiàn)相比的工作空間的備選組織。

圖28示出了圖27的主頁工作空間中對應于用戶尚未創(chuàng)建任何標簽的狀態(tài)的標簽信息。

圖29示出了圖27的主頁工作空間中對應于用戶現(xiàn)在已經(jīng)創(chuàng)建標簽集合的狀態(tài)的標簽菜單。

圖30示出了與圖25的實現(xiàn)相比，組織菜單內(nèi)的菜單項的備選方式。

圖31和圖32示出了與圖25的實現(xiàn)相比，滾動菜單內(nèi)的菜單項并且然后選擇菜單項的備選方式。

圖33示出了在菜單的周邊處執(zhí)行的后退手勢以及響應于該手勢而執(zhí)行的動作。

圖34示出了通過在菜單上繪制圓形形狀所執(zhí)行的手勢，以及響應于該手勢而執(zhí)行的后退動作。

圖35示出了通過在菜單上繪制半圓而執(zhí)行的手勢，以及響應于手勢而執(zhí)行的后退動作。

圖36和圖37示出了可以用于分別增加和減少由圖1的系統(tǒng)提供的詳細級別以及由系統(tǒng)提供的境況信息的級別的不同手勢。

圖38是概述圖4和圖5的應用接口模塊的一個操作方式的流程圖。

圖39示出了使用三維音頻信息來創(chuàng)建從空間內(nèi)的特定位置發(fā)出的聲音的感知。

圖40示出了使用三維音頻信息來創(chuàng)建跨越空間內(nèi)的一系列位置移動的聲音的感知。

圖41示出了路徑引導模塊可以使用三維聲音(例如，周期性節(jié)拍聲)來以期望的方向引導用戶的方式。

圖42示出了其中探索模塊可以使用三維聲音來標識與用戶感興趣的當前焦點相關聯(lián)的ioi的位置的方式。

圖43示出了其中定向模塊可以使用三維聲音來標識與用戶周圍的整個空間相關聯(lián)的ioi的方式。

圖44是描述使用三維聲音來輔助用戶與空間交互的流程圖。

圖45是描述(圖4和圖41的)路徑引導模塊可以使用三維聲音來沿期望路線引導用戶的一個方式的流程圖。

圖46是描述例如在自動模式下(例如，當用戶遍歷路線或以其他方式在空間中移動時)、在探索模式下、或在定向模式下，空間交互模塊可以使用三維聲音來標識ioi的一個方式的流程圖。

圖47示出了具有多個信標的環(huán)境。在一個示例性實現(xiàn)中，信標產(chǎn)生非重疊范圍，其中其相應信號可以由跨越環(huán)境移動或以其他方式與環(huán)境交互的用戶來檢測。

圖48-圖50示出了與圖47的示例相比，每個環(huán)境具有更多數(shù)目的信標的其他環(huán)境。

圖51是示出在圖47至圖50的環(huán)境類型的境況中，基于信標的引導模塊的一個操作方式的流程圖。

圖52是提供關于基于信標的引導模塊可以確定用戶在環(huán)境內(nèi)的當前位置的一個方式的進一步細節(jié)的流程圖。

圖53示出了可以用于實現(xiàn)前述附圖中所示特征的任何方面的示例性計算功能。

在整個公開和附圖中使用相同的附圖標記來指代相同的部件和特征。系列100數(shù)字指的是最初在圖1中找到的特征，系列200數(shù)字指的是最初在圖2中找到的特征，系列300數(shù)字指的是最初在圖3中找到的特征，等。

具體實施方式

本公開組織如下。部分a提供了用于輔助用戶與真實和/或虛擬空間交互的系統(tǒng)的概述。部分b描述了可以在部分a的系統(tǒng)中使用的不同類型的耳機和手持用戶計算設備。部分c描述了可以由部分a的系統(tǒng)提供的示例性用戶界面體驗。部分d描述了用于生成和使用三維聲音和其他(非三維)類型的聲音的功能。部分e描述了用于輔助用戶導航通過填充有信標的環(huán)境的、基于信標的引導功能，在一個示例性實現(xiàn)中，信標具有不重疊的范圍。以及部分f描述了可以用于實現(xiàn)先前部分中描述的特征的任何方面的示例性計算功能。

作為初步事項，一些附圖在一個或多個結(jié)構(gòu)部件(各自被稱為功能、模塊、特征、元件等)的上下文中描述概念。附圖中所示的各個部件可以通過任何物理和有形的機構(gòu)(例如，通過在計算機設備上運行的軟件、硬件(例如，芯片實現(xiàn)的邏輯功能)等、和/或其任何組合)以任何方式來實現(xiàn)。在一種情況下，圖中所示的各個部件分離成不同的單元可以反映在實際實現(xiàn)中相應的不同物理和有形部件的使用。備選地或附加地，圖中所示的任何單個部件可以由多個實際物理部件實現(xiàn)。備選地或附加地，圖中的任何兩個或更多個分離部件的描繪可以反映由單個實際物理部件執(zhí)行的不同功能。將依次描述的圖53提供關于圖中所示的功能的一個示例性物理實現(xiàn)的附加細節(jié)。

其他附圖以流程圖形式描述概念。在這種形式中，某些操作被描述為構(gòu)成以特定順序執(zhí)行的不同框。這樣的實現(xiàn)是示例性的而非限制性的。本文中所描述的某些框可以被分組在一起并且在單個操作中執(zhí)行，某些框可以被分解成多個組成框，并且某些框可以以與本文中所示的順序(包括執(zhí)行框的并行方式)不同的順序執(zhí)行。流程圖中所示的框可以通過任何物理和有形機構(gòu)(例如，通過在計算機設備上運行的軟件、硬件(例如，芯片實現(xiàn)的邏輯功能)等、和/或其任何組合)以任何方式實現(xiàn)。

關于術語，短語“被配置為”涵蓋可以構(gòu)造任何種類的物理和有形功能以執(zhí)行所標識的操作的任何方式。該功能可以被配置為使用例如在計算機設備上運行的軟件、硬件(例如，芯片實現(xiàn)的邏輯功能)等、和/或其任何組合來執(zhí)行操作。

術語“邏輯”涵蓋用于執(zhí)行任務的任何物理和有形功能。例如，流程圖中所示的每個操作對應于用于執(zhí)行該操作的邏輯部件。可以使用例如在計算機設備上運行的軟件、硬件(例如，芯片實現(xiàn)的邏輯功能)等、和/或其任何組合來執(zhí)行操作。當由計算設備實現(xiàn)時，邏輯部件表示電氣部件，電氣部件是計算系統(tǒng)的、被實現(xiàn)的物理部分。

以下解釋可以將一個或多個特征標識為“可選的”。這種類型的語句不應被解釋為可以被認為是可選的特征的詳盡指示；即，雖然在文本中沒有明確地標識，其他特征可以被認為是可選的。此外，單個實體的任何描述并不旨在排除使用多個這樣的實體；類似地，多個實體的描述并不旨在排除使用單個實體。此外，雖然描述可以將某些特征解釋為執(zhí)行所標識的功能或?qū)崿F(xiàn)所標識的機構(gòu)的備選方式，但是特征也可以以任何組合方式組合在一起。最后，術語“示例性”或“例示性”是指潛在的很多實現(xiàn)中的一個實現(xiàn)。

a.系統(tǒng)概述

圖1示出了用于輔助用戶104與物理和/或虛擬空間交互的系統(tǒng)102的概述。物理空間可以對應于例如由一個或多個建筑物的內(nèi)部限定的室內(nèi)空間，或者對應于存在于建筑物內(nèi)部之外的外部空間，或者對應于室內(nèi)和室外空間的某種組合。虛擬空間可以例如對應于填充有任何類型(一個或多個)的虛擬對象的域。在一些情況下，虛擬空間可以被覆蓋在用戶可以物理移動通過其的物理空間上。在這些情況下，虛擬空間中的一些虛擬對象可以被分配物理空間中的對應真實位置(將在下面闡明)。

圖1廣泛地介紹了可以在系統(tǒng)102中使用的示例性部件。在系統(tǒng)102的特定實現(xiàn)可以省略一個或多個所示部件的意義上，這些部件是可選的。附加地或備選地，系統(tǒng)102的特定實現(xiàn)可以包括圖1中未示出的附加部件。

在他或她對空間(一個或多個)的探索期間，用戶104可以經(jīng)由任何類型的用戶計算設備106(為了簡潔，在下文中簡稱為“用戶設備”)和耳機108或僅單獨經(jīng)由耳機108與系統(tǒng)102交互。用戶設備106可以對應于具有任何形狀因子的任何類型的便攜式計算設備。例如，用戶設備106可以對應于智能電話、平板型計算設備、膝上型計算設備、上網(wǎng)本型計算設備、媒體消費設備(例如，書閱讀器型計算設備或音樂-播放計算設備)、便攜式游戲設備、可穿戴計算設備(例如，眼鏡、護目鏡等)等。在其他情況下(未示出)，用戶104可以攜帶和利用兩個或更多個用戶計算設備(例如，與平板型計算設備組合的智能電話)。

耳機108可以類似地對應于用于向用戶104遞送音頻信息的任何類型的設備。在一種情況下，例如，耳機108可以使用位于用戶104一個或多個耳朵之上或附近的傳統(tǒng)揚聲器遞送音頻信息。在另一種情況下，耳機108可以使用骨傳導技術遞送音頻信息。在骨傳導技術中，耳機108經(jīng)由施加到用戶頭部的骨骼的振動將信息傳送到用戶的鼓膜。使用骨傳導的耳機可以不阻擋用戶104的耳道，并且因此允許用戶104聽到由他或她導航通過的空間產(chǎn)生的其他(外部)聲音；在一些情況下，特別是對于視力受損的用戶的情況和不熟悉其環(huán)境的用戶的情況，這種結(jié)果可能是期望的，以增加用戶與其物理環(huán)境交互的安全性。

根據(jù)一個一般的使用方式，用戶104可以與用戶設備106交互，以接收關于他或她主要以視覺形式與空間的交互的信息。附加地或備選地，用戶設備106可以例如通過產(chǎn)生觸覺反饋提示(例如，基于振動的提示)以非視覺形式遞送信息。用戶104可以主要與耳機108交互，以接收關于他或她與空間的交互的音頻信息。該音頻信息可以包括有聲信息、其他聲音等。系統(tǒng)102還可以從用戶設備106或耳機108或兩者接收指令。

用戶104還可以可選地經(jīng)由一個或多個傳統(tǒng)上固定的計算設備110(例如，臺式計算設備、游戲控制臺設備、機頂盒設備等)與系統(tǒng)102交互。例如，用戶104可以在創(chuàng)建定義經(jīng)過空間的特定路線的行程信息的行程之前，使用其他用戶計算設備110與系統(tǒng)102交互。用戶104然后可以在用戶設備106和/或耳機108上加載該行程信息。在行程之后，用戶104可以再次經(jīng)由其他用戶計算設備110與系統(tǒng)102交互。例如，系統(tǒng)102可以將關于完成的行程的信息下載到其他用戶計算設備110，允許用戶104為了任何目的在任何時間查看關于該行程的信息。

在一種情況下，通過處理由上述標識的部件(即，用戶設備106、耳機108和其他用戶計算設備110)提供的功能來執(zhí)行與系統(tǒng)102相關聯(lián)的所有功能。在另一種情況下，一個或多個遠程處理資源112可以實現(xiàn)由系統(tǒng)102執(zhí)行的處理的至少一些方面，例如，本質(zhì)上是特別計算密集的那些方面。例如，遠程處理資源112可以包括用于創(chuàng)建新行程、修改現(xiàn)有行程、解釋用戶的口頭指令等的功能。在一種情況下，遠程處理資源112可以對應于一個或多個服務器計算設備、一個或多個數(shù)據(jù)存儲庫等。

系統(tǒng)102可以使用通信管道114的任何組合來將上述部件耦合在一起。例如，用戶設備106可以經(jīng)由任何無線通信機構(gòu)(例如，使用藍牙通信)和/或任何硬連線通信機構(gòu)(例如，經(jīng)由usb連接等)與耳機108交互。用戶設備106和耳機108可以經(jīng)由蜂窩連接、wi-fi連接、硬連線連接等或其任何組合與系統(tǒng)102的遠程部件通信。

此外，雖然未示出，但是為了確定用戶設備106的位置，用戶設備106可以與任何遠程位置確定系統(tǒng)交互。耳機108可以執(zhí)行相同的功能。遠程位置確定機構(gòu)可以對應于任何基于衛(wèi)星的位置確定系統(tǒng)(例如，gps系統(tǒng))、地面通信塔等。此外，用戶設備106和/或耳機108還可以通過任何通信機構(gòu)(例如，經(jīng)由藍牙通信、wi-fi通信等)與本地信標交互。

本部分(部分a)的其余部分提供了由系統(tǒng)102提供的功能的概述。后面的部分提供關于系統(tǒng)的各個部件的附加細節(jié)。

通常地，用戶可以使用系統(tǒng)102作為在用戶移動通過熟悉或不熟悉的任何類型的空間時，豐富用戶體驗的方式。在一種情況下，例如，用戶可以根據(jù)期望的時間表，使用系統(tǒng)102作為進行從源位置到目標位置的計劃旅程的引導。在其他情況下，用戶可以例如在沒有預先計劃的旅程和/或時間表的情況下，使用系統(tǒng)102來以更開放和自發(fā)的方式提供探索空間時的輔助。例如，用戶可以在他或她漫游通過不熟悉的城市或者蜿蜒穿過展覽會或博物館的展覽時，使用系統(tǒng)102來提供輔助；用戶可以在沒有固定旅程的情況下參與該活動，并且可以以自由形式和自發(fā)的方式改變他或她的行程的過程和目標。在另一種情況下，用戶可以使用系統(tǒng)102作為激活通過熟悉環(huán)境的熟悉路線的方式，等。在另一種情況下，用戶可以以混合操作方式使用系統(tǒng)，例如，其中用戶的交互的一些方面符合準備的計劃，并且其他方面在本質(zhì)上是更開放的和自發(fā)的。

進行到圖2，該圖示出了用戶使用圖1的系統(tǒng)102進行預先計劃的行程的一個示例。下面將描述用戶在進行該行程時的示例性體驗，作為將讀者介紹到系統(tǒng)102可以執(zhí)行的功能類型的方式。注意，該示例體驗是以示例的精神而不是限制的方式呈現(xiàn)的；如上所述，系統(tǒng)102可以應用于其中用戶出于任何目的而與他或她的環(huán)境進行交互的各種其他境況中。

在圖2的非限制性情況下，假定用戶(名為john的人)在開始旅行之前創(chuàng)建了行程(但是，不一定是這種情況)。例如，假定用戶已創(chuàng)建了將他從他在倫敦的住所帶到醫(yī)生在城市的另一部分中的約會的路線。因為他不熟悉他要旅行的城市的部分，用戶可能已經(jīng)為這個任務創(chuàng)建了行程。或者，用戶可能具有呈現(xiàn)各種移動性相關挑戰(zhàn)的一個或多個障礙。例如，用戶可能具有任何形式(和程度)的視力損傷。在這種情況下，即使他可能熟悉路線，用戶也可能已經(jīng)創(chuàng)建了行程以輔助他導航路線。在另一種情況下，除了用戶之外的一些實體可能已經(jīng)代表用戶創(chuàng)建了行程。在這些情況下，計劃的行程由描述行程的所有方面的行程信息定義。

圖2具體地以實線表示所計劃的行程路線202。在一些情況下，用戶可以使用系統(tǒng)102來大致堅持所計劃的路線202。在其他情況下，用戶可能出于任何原因而偏離所計劃的路線202，例如，因為他沿所計劃的路線202遇到障礙物，或者他出于任何原因作出自發(fā)決定來改變他的旅行過程。例如，在這種僅是示例性的情況下，為了在途中訪問商店204以購買一些物品(例如，三明治等)，用戶已經(jīng)脫離所計劃的路線202。圖2以虛線表示用戶的實際路線206。

在圖2所示的情況下的所計劃的路線202由一系列過渡點(w1、w2、w3、w4和w5)或站點來定義(這里稱為航點)。例如，航點w1可以對應于用戶行程的起點，而航點w5可以對應于用戶行程的目的地。航點w2和w3可以對應于兩個交叉點；在每個這樣的交叉點處，用戶從第一道路轉(zhuǎn)換到第二道路。航點w4可以對應于用戶可以改變其交通模式的任何站點。例如，用戶可以徒步行進到航點w4。航點w4可以對應于擺渡車(shuttle)站，在擺渡車站處，用戶等待擺渡車208的到達，擺渡車208根據(jù)預定的時間表到達。然后，用戶可以在擺渡車208上繼續(xù)到航點w5。在其他情況下，交通模式可以對應于火車、地鐵、有軌電車或任何私人交通模式(例如，私人汽車、自行車等)。

因此，所計劃的路線可以被概念化為具有一系列分段(s1、s2、s3和s4)。圖2的示例是簡化情況。在其他情況下，行程可以包括更多的航點和相關聯(lián)的分段。并且該行程可以包括交通模式的任何組合。在其他情況下，行程可能沒有圖2所示的行程復雜，例如，僅包括開始和結(jié)束航點。注意，在其他情況下，行程可以不提前定義。

如本文中所使用的術語“境況”通常是指在進行行程或以其他方式與環(huán)境交互時，在任何給定時間用戶面對的情況。該情況又至少受用戶可能希望與之交互的環(huán)境的特征、一天中的當前時間(一周中的星期幾)等以及在當前時間用戶面對的目標等支配。例如，在時間t1，用戶在嘗試從航點w1行進到航點w2時，遍歷分段s1。因此，用戶的行程的境況c1至少部分地由用戶沿所計劃的行程的當前位置以及用戶在所計劃的分段s2上到達航點w2的努力來定義。用戶在其他時間的境況將根據(jù)用戶在當時所面對的環(huán)境以及當時用戶相應的局部目標而有所不同。

利用所計劃的路線202和實際路線206的上述初步描述，現(xiàn)在考慮當用戶從航點w1行進到航點w5時的示例性用戶體驗。在一個示例中，假定用戶至少攜帶用戶設備106，并且佩戴耳機108(圖1所示)。用戶設備106在下面被稱為智能手機以簡化對該設備的引用，但是用戶設備106可以包括上面參考圖1所述的任何類型的設備。在其他情況下，用戶可以僅使用耳機108進行導航(即，通過去除對智能電話的使用)。

作為一般原則，當用戶進行其行程或以其他方式與空間交互時，系統(tǒng)102在沿用戶路徑的適當接合點(juncture)將用戶暴露于相關信息?？梢砸月犛X、視覺和/或觸覺的形式自動呈現(xiàn)給用戶的信息的實例在本文中被稱為感興趣項(ioi)。為了執(zhí)行該功能，系統(tǒng)102在每個時刻確定用戶的當前境況。例如，系統(tǒng)102在每個特定時間感測用戶的位置和定向(以及可選地，運動)。系統(tǒng)102可以使用任何技術或技術的組合來執(zhí)行該任務，技術或技術組合的示例在下文圖3的描述的上下文中提供。然后，系統(tǒng)102標識與用戶的當前境況相關的ioi。在一些情況下，例如，系統(tǒng)102可以確定ioi與用戶的當前境況相關，因為用戶在與ioi相關聯(lián)的物理對象(或區(qū)域)的規(guī)定距離內(nèi)，其中該距離預先被定義并且存儲。然后，系統(tǒng)102將關于那些ioi的信息遞送給用戶。如下面將更詳細地描述的，用戶還可以在行程中的稍后時間手動探索其將(或可能)面對的未來境況，從而允許用戶為這些情況做準備。

系統(tǒng)102可以基于從各個源提取的信息來提供ioi。例如，系統(tǒng)102可以從公開可用的地圖信息(例如，由華盛頓州雷德蒙德的microsoft公司提供的bing地圖服務提供的地圖信息)確定道路、自然特征等的位置。系統(tǒng)102可以從任何公布的目錄信息確定公共和私有實體(例如，商店、政府建筑物等)的位置。系統(tǒng)102可以從各個公布的源(例如，公共交通時間表信息、公共安全信息)確定相關事件的發(fā)生。系統(tǒng)102可以從各個服務(例如，一個或多個在線社交網(wǎng)絡應用、一個或多個日歷應用等)確定用戶相關的信息，等。

每個ioi涉及特定主題或經(jīng)驗焦點。ioi可以按照不同的解釋性維度以不同的方式分類。例如，第一類ioi直接映射到用戶正在移動或以其他方式交互的空間中的物理對象或物理事件。例如，該類型的ioi可以對應于位于用戶附近的商店、或者位于用戶前面的開放檢修孔、或者用戶在規(guī)定的到達距離內(nèi)的下一航點等。第二類ioi中的ioi在環(huán)境中不一定具有直接的物理對應物。例如，該類型的ioi可以對應于當用戶接近公共汽車站時播放的廣告。廣告可以與公共汽車站周圍的空間相關聯(lián)，但是，不是對公共汽車站本身的描述。

另一“虛擬類型”ioi可以對應于當他接近咖啡臺時，引起用戶注意的新聞標題。系統(tǒng)102可以基于用戶可能希望在喝一杯咖啡的同時消費該ioi的前提，向用戶呈現(xiàn)關于該ioi的信息。另一虛擬類型ioi可以對應于當用戶離開地鐵站時，遞送給用戶的天氣報告。系統(tǒng)102可以基于用戶可能希望為他在離開站點時將要面對的天氣做準備的前提，向用戶呈現(xiàn)關于該ioi的信息。另一虛擬類型的ioi可以對應于當用戶接近他或她的個人住宅時，從社交網(wǎng)絡應用檢索的消息。系統(tǒng)102可以基于用戶可能希望在進入他的家之前，趕上家庭成員或朋友發(fā)送的任何消息的前提，向用戶呈現(xiàn)關于該ioi的信息。設想很多其他場景，其中用戶接收與用戶當前情況密切相關的某個類型的信息(和/或與功能交互的機會)，但可能不用于描述用戶緊鄰附近的實際對象或事件。

還可以基于其在空間探索中所起的作用，對不同的ioi(上述第一“真實”類或第二“虛擬”類)進行分類。例如，可以沿該維度將ioi分類為警告ioi、行程ioi、境況ioi和可用信息ioi等(但是嚴格來說這些類別可能不是相互排斥的)。系統(tǒng)102發(fā)送關于警告ioi的信息，以向用戶提醒可能在行程期間影響用戶安全的事件(例如，在用戶前面存在開放檢修孔的指示)。警告消息是尖銳的和中肯的。系統(tǒng)102發(fā)送關于行程ioi的信息，以向用戶提醒可能影響用戶行程的進展的事件(例如，下一航點接近的指示、或公共汽車將遲到的指示)。系統(tǒng)102向用戶發(fā)送關于境況ioi的信息，以向用戶提醒用戶可能感興趣的、用戶附近(無論是真實的還是虛擬的)的對象和事件(例如，咖啡店在其行程的前方的指示)。系統(tǒng)102提醒用戶存在可用信息ioi，而不自動地遞送信息。然后，用戶可以選擇以按需方式接收該信息，或者忽略它。例如，用戶可以通過點擊耳機108上的適當功能按鈕或通過用戶設備106提供的信息菜單或使用等效語音命令來訪問可用信息。

系統(tǒng)可以以任何方式遞送關于每個ioi的信息。例如，對于至少一些ioi，系統(tǒng)可以通過發(fā)送指示聲音然后發(fā)送有聲消息來遞送ioi。初步聲音使得用戶能夠“收聽”來聽到有聲通知(即，通過將注意力引導向有聲通知)。該聲音還提醒用戶關于要遵循的信息的類型，使得用戶能夠更好地決定他或她是否會注意信息。例如，用戶可以選擇對行程信息給予高度關注，但是對于境況信息(例如，關于用戶附近的商店或者關于用戶的當前情況的促銷供應)不太注意。

在行程中的任何點處，用戶可以做出聽到關于最近大聲讀出的一個或多個行程ioi(和/或其他類型的ioi)的信息的請求。該請求可以以下面描述的各種方式進行。如果在最近30秒內(nèi)已經(jīng)大聲讀出了警告，則系統(tǒng)102將通過也重復警告隨后重復旅程信息來響應用戶的動作。在一些情況下，用戶可以請求系統(tǒng)102重復信息，但是該信息不再可用。系統(tǒng)102可以播放適當?shù)穆曇?，隨后通過有聲消息、“此時信息不可用”等，向用戶提醒這種情況。

作為另一一般特征，系統(tǒng)102可以在用戶不期望被來自環(huán)境的其他感知信息淹沒的時間自動地呈現(xiàn)關于一些ioi的信息。例如，系統(tǒng)102可以制止向用戶發(fā)送關于所計劃的路線202的消息，直到用戶沿所計劃的路線到達規(guī)定的“安靜區(qū)”，在安靜區(qū)處，用戶可以安全且愉快地消費信息。系統(tǒng)102可以預先存儲被認為是“安靜區(qū)”的區(qū)域的位置。

現(xiàn)在更加仔細地考慮在圖2所示的空間上導航時，用戶的特定體驗。假定在時間t1，用戶正試圖到達第二航點w2。在感測用戶的位置(和前進方向)之后，系統(tǒng)102可以向用戶發(fā)送輔助用戶到達第二航點w2的方向(以視覺和/或聽覺的形式)。此外，當用戶在距第二航點w2的規(guī)定距離內(nèi)時，系統(tǒng)102可以向用戶發(fā)送關于第二航點w2本身的信息。這將使得用戶能夠?qū)Φ诙近cw2可能需要的進程的任何變化做出適當?shù)臏蕚?。上述信息可以主要被形成為行程ioi。

在某些情況下，例如相對于實際采取的路線和/或用戶遍歷空間的定時，用戶的實際行程可能偏離所計劃的行程。為了解決這些情況，系統(tǒng)102可以自動地(或以按需方式)確定用戶的當前情況是否將影響用戶行程的任何剩余部分。例如，系統(tǒng)102可以更新用戶到達公共汽車站的估計時間，然后確定用戶是否將繼續(xù)以及時到達來趕上先前標識的公共汽車或擺渡車。如果用戶的當前情況以這種方式影響用戶的行程，則系統(tǒng)102可以自動地重新生成用于輔助用戶在空間內(nèi)導航的信息。該信息可以被表示為ioi的新的集合。例如，系統(tǒng)102可以建議用戶乘坐較晚的公共汽車或擺渡車(并且可以自動進行適當?shù)念A訂，發(fā)送適當?shù)耐ㄖ?或作出其他安排)。此外，如上所述，用戶可以以任何方式(例如，通過明確請求關于將來遇到的航點的信息等)探索更新后的信息。

圖2通常還指示在時間t1，系統(tǒng)102自動通知用戶存在境況性質(zhì)的各種感興趣項(ioi)(即，上文闡述的術語中的“境況ioi”)。例如，示例性境況ioi可以對應于商店、餐館、政府辦公室、自然地標等。在一種情況下，系統(tǒng)102可以僅在境況ioi在用戶的當前時間的規(guī)定距離內(nèi)并且用戶尚未通過的情況下，呈現(xiàn)用于用戶考慮的境況ioi。

用戶可以以任何方式(關于境況ioi和/或任何其他類型的ioi)定制系統(tǒng)102的行為。例如，用戶可以規(guī)定他希望沿他的路線接收的提示的類型(例如，通過指示他想要接收關于第一類型的商店但不是第二類型的商店的信息)。用戶還可以規(guī)定他想要接收信息的定時。例如，用戶可以規(guī)定當通知他存在境況ioi時，應當考慮的最大距離(距他的當前位置)。用戶可以在開始行程之前進行這些設置。此外，用戶可以動態(tài)地改變由系統(tǒng)在行程中遞送的信息的類型和數(shù)量(例如，通過回撥由系統(tǒng)自動提供的信息量)。因為用戶發(fā)現(xiàn)信息在沿行程的特定接合點不必要或分散注意力，用戶可以選擇減少信息量。

系統(tǒng)102可以以任何應用特定的方式呈現(xiàn)關于境況ioi的信息。例如，在一種情況下，系統(tǒng)102可以按照境況ioi在用戶前面從左到右或從右到左(例如，通過基本上形成角掃描，其中用戶位于掃描原點)、或者從前到后(根據(jù)與用戶的距離)、或者從后到前等出現(xiàn)的順序來宣布一些境況ioi。如上所述，在一個實現(xiàn)中，系統(tǒng)102可以在每個通知之前具有指示聲音，該指示聲音提醒用戶關于境況ioi的信息即將要遵循。系統(tǒng)102然后可以例如通過提供宣布“jane的咖啡店，150英尺”的音頻信息來描述境況ioi。系統(tǒng)102可以例如通過為餐廳提供第一類型的初步聲音，以及為公共汽車站等提供第二類型的聲音等備選地提供與不同類型的場所相關聯(lián)的不同的初步聲音。

在一些情況下，在當前時間，用戶的附近內(nèi)可能存在大量的境況ioi。為了縮減賦予用戶的信息量，系統(tǒng)102可以例如通過宣布“通常在100英尺的餐館”將該信息合并成一個或多個概要消息。這對于任何類型的ioi成立。一般來說，系統(tǒng)102可以確定要在給定時間遞送給用戶的一組單獨ioi是否具有至少一個共同特性。系統(tǒng)102然后可以提供將該組ioi作為塊或集合而不是單獨地宣布的概要消息。在上述特定示例中，系統(tǒng)102確定一組境況ioi位于用戶附近，并且這些ioi涉及相同類型的場所。在另一示例中，系統(tǒng)102可以提供概要警告ioi“在接下來的100碼處有許多凹坑”。

系統(tǒng)102可以使用其他規(guī)則，來以智能方式提供通知。例如，一些ioi僅在用戶接近這些ioi時才是相關的。例如，僅當用戶在該對象的幾英尺內(nèi)時，用戶才可以對公園長椅感興趣。因此，系統(tǒng)102可以僅在用戶相對接近這些對象時，才宣布這類型的對象的存在。但是在這里，用戶可以在這方面定制系統(tǒng)的行為。

根據(jù)另一示例性特征，系統(tǒng)102可以使用三維聲音來宣布某些類型的ioi(例如，一些類型的境況ioi)的存在。三維聲音是指用戶感知為從物理空間內(nèi)的特定位置(一個或多個)發(fā)出的聲音。然而，實際上，音頻信息經(jīng)由耳機108呈現(xiàn)給用戶，并且在環(huán)境內(nèi)沒有物理起源。如下面將在部分d中描述的，系統(tǒng)102可以通過使用頭部相關的傳遞函數(shù)(hrtf)結(jié)合不同類型的寬帶音頻聲音來實現(xiàn)上述結(jié)果。在其他實現(xiàn)中，系統(tǒng)102可以使用其他技術和科技(例如，環(huán)境立體聲(ambiophonics)、高保真度立體聲響復制、波場合成等)來創(chuàng)建三維音頻效果(而不是hrtf或除了hrtf之外)。

例如，在境況c1(在時間t1)，系統(tǒng)102可以向用戶發(fā)送標識至少三個境況ioi(ioi1、ioi2和ioi3)的一系列的方向通知。系統(tǒng)102例如可以通過向用戶發(fā)送初步聲音來宣布境況ioi1的存在，用戶感知初步聲音是從與境況ioi相關聯(lián)的實體物理定位的空間中的特定位置發(fā)出的。即，如果境況ioi對應于jane的咖啡店，則該消息將用戶的注意力引導到jane的咖啡店的實際位置。系統(tǒng)102還可以使用三維聲音(例如，通過以定向方式(即，使用三維有聲信息)宣布“jane的咖啡店，150英尺”)來提供對該場所的描述。

附加地或備選地，系統(tǒng)102可以向用戶發(fā)送關于一個或多個信息可用的ioi的信息。如上所述，在不立即宣布該信息的特定內(nèi)容的情況下，系統(tǒng)102可以通過發(fā)送通常向用戶提醒可能存在與用戶的當前境況相關的信息的消息來執(zhí)行該操作。然后，用戶可以例如通過做出“更多信息”的指令來手動請求系統(tǒng)102接收信息。或者用戶可以忽略該信息。

所有上述信息遞送特征有助于在用戶遍歷空間時向用戶展現(xiàn)有用信息的目標，而不會使用戶被太多信息壓倒。

作為另一特征，在沿用戶的路徑的任何接合點，系統(tǒng)102可以將用戶的實際行進方向與期望的行進方向進行比較。系統(tǒng)102可以使用下面結(jié)合圖3描述的任何機構(gòu)來確定用戶的實際行進方向。系統(tǒng)102可以通過確定用戶在當前時間期望朝向哪里來確定期望的方向。系統(tǒng)102然后可以確定偏離信息，該偏離信息確定用戶的實際方向偏離期望方向的程度。然后，系統(tǒng)102可以向用戶發(fā)送嘗試沿期望路徑引導用戶的信息。

例如，在時間t2考慮用戶。在這個接合點，用戶正試圖到達航點w3。假定用戶的實際方向由箭頭210表示，并且用戶的期望方向由箭頭212表示。系統(tǒng)102將向用戶發(fā)送嘗試朝向期望方向?qū)⒂脩粢龑щx開他的當前錯誤方向的指令。

在一個實現(xiàn)中，系統(tǒng)102使用三維節(jié)拍聲或其他類型的周期性聲音來實現(xiàn)上述目標。三維節(jié)拍聲是由用戶感知為源自物理空間中的特定位置(一個或多個)的任何類型的重復聲音(例如，點擊聲)。在圖2的情況下，在時間t2，系統(tǒng)102將遞送似乎起源于用戶沿其行進方向的左側(cè)的三維節(jié)拍聲。這將向用戶建議以下事實：(a)他走向非最佳方向；和(b)他應當稍微向左轉(zhuǎn)，以實現(xiàn)更期望的軌跡。

系統(tǒng)102可以調(diào)節(jié)節(jié)拍聲以實現(xiàn)其他效果。例如，系統(tǒng)102可以根據(jù)用戶當前在非最佳方向上前進的程度來改變節(jié)拍聲的音調(diào)和/或周期性和/或音量(和/或一些其他方面)。用戶將節(jié)拍聲解釋為其在錯誤方向上前進的程度的指示。

到目前為止，該描述大多強調(diào)了系統(tǒng)102在沿用戶路徑的適當接合點向用戶自動遞送信息的能力。在這種操作模式下，用戶與環(huán)境的相遇(encounter)可以構(gòu)成觸發(fā)例如以上述不同類型的ioi的形式遞送信息的事件。另外，在任何時間，用戶可以手動地與智能手機或耳機108交互，以手動地探索其環(huán)境并且獲得關于上述任何ioi的信息。例如，在第一交互方式中，用戶可以在沿行程的任何給定時間在智能手機的觸敏表面上點擊。響應于單個點擊，系統(tǒng)102將宣布關于用戶當前境況的頂級信息。例如，在時間t1，系統(tǒng)可以通過宣布用戶前往航點w2(這可以被視為行程ioi)來響應于單個點擊。響應于雙個點擊，系統(tǒng)102將提供關于當前境況的更詳細的信息。響應于三次點擊，系統(tǒng)102將提供允許用戶與智能手機交互(例如，為了獲得關于境況的附加信息的目的)并且調(diào)用與當前境況有關的各種功能的指令。

作為另一特征，在任何接合點，用戶可以在給定時間與智能手機交互，以激活與用戶相關的一個或多個菜單。例如，在時間t1，用戶可以在智能手機的表面上執(zhí)行點擊并保持(tap-and-hold)的手勢。作為響應，系統(tǒng)102可以激活與用戶的當前境況相關聯(lián)的菜單。然后，用戶可以與智能手機交互，以探索立即呈現(xiàn)的菜單，或者導航到任何其他菜單。

更具體地，如將在下面的部分c中詳細解釋的，系統(tǒng)102可以表示通過工作空間集合可訪問的菜單的集合。每個工作空間相對于彼此的工作空間具有固定的位置關系。用戶可以通過導航到適當?shù)墓ぷ骺臻g和相關聯(lián)的菜單來訪問期望的信息和/或功能。

根據(jù)一個特征，用戶可以使用單個手(例如，使用握持智能手機的手的拇指)執(zhí)行所有上述屏幕交互任務。當用戶與智能手機的觸敏表面交互時，系統(tǒng)102還可以提供聽覺和/或觸覺反饋提示?？偟膩碚f，所有這些特征減小到用戶在與系統(tǒng)102交互時需要將其注意力從環(huán)境轉(zhuǎn)移的程度。例如，用戶可以在與智能手機交互時，將其眼睛保持在其正在行進的道路上。由于上面概括的非視覺特性，視力受損的人也可以成功地與系統(tǒng)102交互。

如將在子部分c.3中描述的，用戶還可以經(jīng)由語音指令手動地與系統(tǒng)102交互。附加地或備選地，用戶可以經(jīng)由由耳機108提供的輸入機構(gòu)與系統(tǒng)102手動交互(如部分b中所描述)。系統(tǒng)102可以提供用戶可以通過其手動地與系統(tǒng)102交互的其他機構(gòu)。

用戶還可以調(diào)用特殊模式，以用于探索其直接環(huán)境(immediateenvironment)。例如，響應于激活探索模式，系統(tǒng)102可以確定用戶的當前注意焦點(其可以對應于用戶被推測為當前時間正在注視的方向)(其進而可以基于一個或多個定向確定機構(gòu)來確定)。然后，系統(tǒng)102可以確定由圍繞用戶的注意方向形成的子空間包圍(或以其他方式與其相關聯(lián))的境況ioi。然后，系統(tǒng)102可以通過使用三維聲音宣布這些境況ioi、和/或通過發(fā)送用于在用戶的智能手機上呈現(xiàn)的視覺消息等來讀取這些境況ioi。

這些境況ioi中的一些可以屬于子空間內(nèi)具有相應真實位置的環(huán)境中的真實對象。這些ioi主要用于在物理空間中標識或標記這些物理實體的位置。其他境況ioi本質(zhì)上可以是虛擬的(因為它們屬于子空間(給定用戶的當前境況))，但是可以不直接描述該子空間中的對象。換言之，除了標識物理實體的位置之外，這些其他境況ioi傳達與用戶的當前境況相關的信息和/或體驗。

舉一個示例，“虛擬”種類的境況ioi可以對應于當用戶接近軍營時的消息“記住我們倒下的士兵”。該消息與軍營有關，但不能準確地說，只是標記軍營的位置。該消息的目的是創(chuàng)建精神關聯(lián)，以在其接近軍營時豐富用戶的體驗。備選地，在那種情況下的境況ioi可以對應于來自對用戶具有特定意義的激勵語音或個人消息(如先前由用戶指定并且加載到系統(tǒng)102中)的歌曲或摘錄。

對于其他類型的ioi(除了境況ioi)也是如此。即，一些ioi主要用作標記標簽，而其他ioi旨在刺激認知關聯(lián)、記憶、情緒等。后一組ioi在本文中被稱為“虛擬的”，因為它們涉及不是環(huán)境中事件和對象的表面級轉(zhuǎn)錄的關聯(lián)、經(jīng)驗、意義等的領域。這樣的ioi可以備選地被稱為推理、暗示、關系等ioi。

根據(jù)另一特征，響應于激活定向模式，系統(tǒng)102可以圍繞用戶執(zhí)行完整的360掃描，以標識與距用戶的規(guī)定距離相關聯(lián)的所有感興趣項。系統(tǒng)102還可以對垂直維度中的連續(xù)級執(zhí)行這樣的360度掃描，例如以確定在商場綜合樓等的不同級上提供的商店。例如通過改變所標識的ioi的類型、搜索ioi的存在的空間的維度等，用戶可以以上述任何方式定制探索模式和定向模式的行為。另外，用戶可以與系統(tǒng)102交互，以管理系統(tǒng)102讀出ioi的方式。

現(xiàn)在假定在時間t3，用戶自發(fā)地決定偏離所計劃的路線202，以訪問商店204例如來購買三明治。當在商店中時，此時用戶的境況(c3)屬于商店環(huán)境。因此，系統(tǒng)102可以執(zhí)行與上述相同的功能(但是現(xiàn)在在商店的室內(nèi)環(huán)境的境況中)。例如，系統(tǒng)102可以在用戶遍歷商店204的區(qū)(isle)時，自動確定境況ioi，并且向用戶宣布這些境況ioi。例如，在接近商店204的乳制品部分時，用戶可以接收到讀取“前方20英尺，牛奶、奶酪和酸奶”的消息。系統(tǒng)102可以在用戶靠近可能感興趣的產(chǎn)品時逐漸發(fā)送更詳細的信息。再次，一些境況ioi可以具有與商店中的物理對象的較不直接的對應，例如在湯的部分中遞送的消息中，其提醒用戶很多湯中存在高鈉。

用戶還可以以任何方式在商店環(huán)境內(nèi)手動地與系統(tǒng)102交互。例如，用戶可以手動地探索與不同產(chǎn)品相關聯(lián)的不同菜單。用戶還可以使用智能電話，以在商店環(huán)境中執(zhí)行各種交易(例如，購買物品、搜索物品等)。

在一些實現(xiàn)中，系統(tǒng)102可以通過確定用戶是否在信標集合中的一個信標的范圍內(nèi)來確定用戶在商店204內(nèi)的位置，信標已經(jīng)被放置(預先)在商店204內(nèi)的不同的位置處。如將在部分e中描述的，信標可以具有不重疊的范圍。

在離開商店204時，系統(tǒng)102可以重新計算用戶的行程，以引導用戶回到所計劃的路線202。例如，系統(tǒng)102可以向用戶提供允許用戶到達與擺渡車站相關聯(lián)的航點w4的指令。在到達該航點時，系統(tǒng)102然后可以在該接合點處例如通過宣布用戶的擺渡車208的預期到達時間遞送與用戶相關的信息。該信息可以作為一個或多個行程ioi被遞送。

當用戶在擺渡車208上行進時，系統(tǒng)102可以繼續(xù)向用戶提供服務。例如，系統(tǒng)102可以通知用戶到達最終目的地(即，航點w5(用戶醫(yī)生的辦公室))的預期時間。取決于用戶正在其上行進的公共(或私人)交通工具的性質(zhì)，系統(tǒng)102還可以提供可能對用戶有用的其他消息。例如，當乘坐公共汽車并接近最終目的地時，系統(tǒng)102可以提醒用戶其在退出公共汽車時預期會遇到的高的路緣的存在。此外，系統(tǒng)102可以在用戶的允許下提醒公共汽車的駕駛員需要輔助的人將在即將到來的公共汽車站下車。

總之，在整個用戶的行程中，用戶可以接收聽覺形式(例如，有聲消息、其他聲音(三維聲音和非三維聲音)等的形式)的大量信息。系統(tǒng)102可以使用各種技術來管理該信息的呈現(xiàn)，其中一些技術已經(jīng)在上面已經(jīng)提到(例如，對被遞送的信息量進行回撥或撥打的能力)。該特征允許用戶及時接收最相關的信息，而不會使用戶被太多信息壓倒。

例如，系統(tǒng)102可以在受到不同規(guī)則的行程期間回放聲音，以解決一個聲音的遞送潛在地干擾另一聲音的遞送的情況。根據(jù)一個示例性規(guī)則，系統(tǒng)102將在連續(xù)循環(huán)中播放節(jié)拍聲，以在所需方向(例如，在步行時)操縱用戶。然而，當正在播放任何其他聲音時，系統(tǒng)102可以暫時禁止該聲音(或者與該聲音的正常狀態(tài)相比，減小該聲音的音量)。這使得用戶能夠聽到其他聲音，而不受到被認為是低優(yōu)先級聲音的節(jié)拍聲的干擾。

根據(jù)另一示例性規(guī)則，系統(tǒng)102可以無條件地播放表示界面相關事件的聲音，例如改變向用戶呈現(xiàn)哪個菜單或上下文的輕彈手勢。為了避免用戶被太多的音頻信息過載，這些類型的聲音可以被設計為短而明顯。用戶可以通過暫時地暫停他或她與系統(tǒng)102的交互來至少在一些程度上控制這些類型的線索的回放(因為如果用戶沒有主動地與系統(tǒng)102交互，則不會產(chǎn)生交互線索)。

根據(jù)附加的示例性規(guī)則，系統(tǒng)102可以通過以下方式來對導航聲音進行優(yōu)先級排序：將最高優(yōu)先級分配給警告聲音(例如，用于警告ioi)，將下一最高優(yōu)先級分配給行程信息(例如，用于行程ioi)，并且將再下一最高優(yōu)先級分配給境況信息(例如，用于任何類型的境況ioi)。在一些情況下，例如因為正在回放更關鍵的信息，系統(tǒng)102將延遲信息的遞送。此外，在一些情況下，所延遲的消息在系統(tǒng)102能夠呈現(xiàn)它的時間將不再相關(例如，因為用戶已移動到其中信息不再相關的新境況)；如果是，則系統(tǒng)102可以避免呈現(xiàn)該信息。

總之，上述場景在強調(diào)系統(tǒng)102的一些有利的技術效果時也是有用的。通常，系統(tǒng)102允許任何用戶接收服務于不同但相關目標的引導。首先，系統(tǒng)102嘗試在他或她的行程的任何給定時間向用戶暴露最有用的信息，從而使用戶能夠在他或她的環(huán)境中更有效地導航，或者實現(xiàn)其他目的。第二，除了提供導航輔助之外，系統(tǒng)102豐富了用戶的環(huán)境體驗，允許用戶學習關于環(huán)境的新信息，在不使用系統(tǒng)102的情況下，該信息可能不會立即向用戶顯現(xiàn)；在這方面，系統(tǒng)102允許用戶在環(huán)境的表面之下隱喻地探究，以理解與環(huán)境102有關的先前隱藏的方面和連接。第三，系統(tǒng)102嘗試以最小化對用戶的干擾的方式向用戶提供這個有用的信息。例如，通過允許用戶保持主要關注他或她與“真實世界”的交互而不是他或她正在使用以與真實世界交互的工具，第三目標對于向用戶提供更愉快和有用的體驗是有用的。相反，第三目標嘗試通過要求用戶與麻煩和復雜的工具交互來減少可能發(fā)生的焦慮，用戶將被期望向該工具投入相當大的注意力。第三目標還允許用戶以安全的方式有效且快速地訪問期望的信息，而不會在任何給定時間被太多信息壓倒。

很多技術特征有助于上述目標(特別是關于第三目標)。這些特征包括但不限于：a)使用單手交互體驗；b)使用用戶友好的菜單結(jié)構(gòu)，該菜單結(jié)構(gòu)適應可以以位置不可知方式在觸敏表面上執(zhí)行的手勢(將在下面描述)；c)使用用戶友好且易于學習的工作空間結(jié)構(gòu)，該工作空間結(jié)構(gòu)提供對“安全”主頁工作空間的訪問(將在下面描述)；d)使用多個機構(gòu)來輸入命令(例如，經(jīng)由耳機108、用戶設備106、語音識別等)；e)在不會不適當?shù)財_亂用戶對行程的關注的情況下，使用音頻信息和/或觸覺提示來傳送信息；f)在沒有用復雜的指令淹沒用戶的情況下，使用三維和非三維聲音輔助以期望的方向引導用戶或者提醒用戶ioi的位置等。

上述優(yōu)點適用于系統(tǒng)102的任何用戶。系統(tǒng)102還可以被具有損害他們進行行程的能力的任何類型的條件的人成功地使用。這些用戶可以包括具有部分或全部視力喪失的用戶、具有認知或其他心理損傷的用戶、具有移動性相關障礙的用戶等。對于這些用戶，不論此刻用戶的目標是什么，系統(tǒng)102充當虛擬引導狗，以安全的方式在他們行程的每個階段中輔助用戶，或以其他方式輔助用戶與其環(huán)境交互。對于這些用戶，除了上面總結(jié)的總體益處之外，系統(tǒng)102還允許用戶訪問對用戶將不可用的信息和引導，因此潛在地改善這些用戶的移動性、置信度和一般生活質(zhì)量。

現(xiàn)在前進到圖3，該圖示出了可以用于實現(xiàn)圖1的系統(tǒng)102的計算功能的高級概述。圖3的功能以設備不可知的方式示出。在實際實現(xiàn)中，可以將功能分配給例如圖1中介紹的任何部件、或這些部件的任何組合。例如，圖3示出了該功能包括空間交互(si)模塊302。si模塊302執(zhí)行關于圖2的場景描述的所有(或大多數(shù))功能。si模塊302的一些部分可以由用戶設備106實現(xiàn)，而si模塊302的其他部分可以由位于耳機108上的處理部件來實現(xiàn)。附加地或者備選地，si模塊302的一些部分可以由遠程處理資源112執(zhí)行。

si模塊302可以從輸入機構(gòu)304的任何組合接收輸入信息，并且可以提供其輸出信息以用于在任何輸出機構(gòu)306上呈現(xiàn)。例如，輸入機構(gòu)304可以包括一個或多個定向確定機構(gòu)308、和/或一個或多個運動確定機構(gòu)310、和/或一個或多個位置確定機構(gòu)312等。

定向確定機構(gòu)(一個或多個)308確定并入這些機構(gòu)(一個或多個)308的設備的定向。例如，如果由用戶設備106容納，則定向確定機構(gòu)308確定該用戶設備106的三維定向。如果由耳機108容納，則定向確定機構(gòu)(一個或多個)確定耳機108的三維定向。更一般地說，定向確定機構(gòu)(一個或多個)308可以確定用戶指向其智能手機或轉(zhuǎn)動他或她的頭部(其上放置耳機108)的方向。運動確定機構(gòu)(一個或多個)310確定并入這些機構(gòu)(一個或多個)310的設備的運動性質(zhì)和運動程度。位置確定機構(gòu)(一個或多個)312確定并入這些機構(gòu)(一個或多個)312的設備的絕對和/或相對位置。

機構(gòu)(308、310、312)可以使用傳感器的任何組合來實現(xiàn)，傳感器包括但不限于：磁力計、加速度計、陀螺儀傳感器、基于重力的傳感器、扭矩傳感器、應變計、彎曲傳感器、光學編碼器機構(gòu)等。另外，一些機構(gòu)(308、310、312)可以從外部系統(tǒng)或源接收信號。例如，機構(gòu)(308、310、312)可以包括用于基于從基于衛(wèi)星的導航系統(tǒng)(例如，全球定位系統(tǒng)(gps)系統(tǒng))接收的信號來確定設備的位置的傳感器。附加地或備選地，機構(gòu)(308、310、312)可以包括用于通過基于從多個外部源接收的信號(例如，從多個無線電塔和/或局部定向天線等接收的信號)執(zhí)行三角測量和/或其他處理來確定設備的位置的功能。附加地或備選地，機構(gòu)(308、310、312)可以包括用于使用航位推算技術確定設備的位置的功能。附加地或備選地，機構(gòu)(308、310、312)可以包括用于通過處理來自本地信標(例如，wi-fi和/或藍牙信標等)的信息等來確定設備的位置的功能。

輸入機構(gòu)304還可以包括手動輸入機構(gòu)314的任何組合。這些機構(gòu)可以包括以下中的任一個：鍵輸入機構(gòu)、觸敏輸入機構(gòu)(例如，觸敏屏314')、操縱桿、麥克風(例如，用于接收語音指令)、攝像機和/或深度相機(例如，用于接收自由空間手勢)等。例如，在圖1的情況下，用戶設備106可以使用觸敏顯示屏作為與用戶交互的主要方式。例如而非限制，該觸敏顯示屏可以并入確定用戶何時觸摸和/或懸停在屏幕上方的電容性觸摸屏機構(gòu)。用戶設備106還可以包括相機、麥克風等。耳機108可以包括麥克風(用于接收語音指令)連同一個或多個專用輸入機構(gòu)(例如，實現(xiàn)為在耳機108的側(cè)面上的按鈕(將在下一部分中更詳細地描述))。

輸出機構(gòu)306可以并入一個或多個音頻輸出機構(gòu)316、一個或多個顯示輸出機構(gòu)318、一個或多個觸覺輸出機構(gòu)320等。例如，音頻輸出機構(gòu)(一個或多個)316可以對應于任何類型的常規(guī)揚聲器。附加地或備選地，音頻輸出機構(gòu)(一個或多個)316可以并入骨傳導音頻設備(例如，由耳機108提供)，例如由紐約州syracuse的aftershokz有限公司生產(chǎn)的骨傳導換能器。顯示輸出機構(gòu)(一個或多個)318可以對應于例如lcd類型的顯示器(例如，如由用戶設備106提供)。觸覺輸出機構(gòu)(一個或多個)320可以對應于例如振動產(chǎn)生機構(gòu)(例如，如由用戶設備106和/或耳機108等提供的)。振動產(chǎn)生機構(gòu)可以使用旋轉(zhuǎn)失衡重量和/或通過一些其他機構(gòu)來實現(xiàn)振動效果。

si模塊302還可以與被認為在si模塊302本身外部的遠程功能322交互。例如，si模塊302可以與搜索引擎324交互，以進行搜索。例如，搜索引擎324可以對應于由華盛頓州雷德蒙德的微軟公司提供的bing搜索引擎。附加地或備選地，si模塊302可以與行程計算引擎326交互，以用于生成新行程和/或修改現(xiàn)有行程。附加地或備選地，si模塊302可以與語音處理引擎328交互，以解釋由用戶做出的口頭指令。例如，語音處理引擎328可以對應于由華盛頓州雷德蒙德的微軟公司提供的cortana系統(tǒng)。在其他情況下，遠程功能322的一個或多個方面可以作為本地資源被并入si模塊302中。

另外，si模塊302可以與一個或多個數(shù)據(jù)存儲庫330中提供的任何外部信息交互。例如，外部信息可以提供公共可訪問的地圖信息、運輸調(diào)度信息、警報信息、商業(yè)和個人目錄信息、社交網(wǎng)絡信息、日歷信息等。在一些情況下，si模塊302可以使用由外部源提供的應用編程接口(api)與那些外部源(例如，外部網(wǎng)站)交互。

現(xiàn)在參考圖4，該圖示出了上面介紹的si模塊302的一個實現(xiàn)。從高級別的觀點來看，si模塊302可以包括(或者可以被概念化為包括)執(zhí)行不同的相應功能的多個子部件。此外，一些子部件可以依賴于由其他子部件生成的結(jié)果。應用接口模塊(aim)402允許用戶與任何子部件交互。例如，應用接口模塊402可以提供暴露由子部件提供的各種功能的菜單功能。

通常從頂部到底部參考子部件，si模塊302可以包括用于存儲可以由si模塊302在執(zhí)行其功能時使用的信息的各種數(shù)據(jù)存儲庫。例如，數(shù)據(jù)存儲庫404可以存儲定義一個或多個行程的信息。例如，行程信息可以描述行程中的航點、和/或關于行程的任何其他信息。數(shù)據(jù)存儲庫406可以存儲由搜索引擎提供的搜索結(jié)果；這些結(jié)果可以在用戶的引導下，在行程的過程中或用戶與空間的更一般的交互中產(chǎn)生。數(shù)據(jù)存儲庫408可以存儲由用戶在與si模塊302的交互過程中創(chuàng)建的標簽的歷史。標簽通常對應于菜單的書簽或其他信息和/或功能項和/或選項。用戶可以在他或她訪問該菜單或其他項或信息和/或功能和/或選項時創(chuàng)建標簽；在一個實現(xiàn)中，當用戶開始行程并且還沒有開始與系統(tǒng)102交互時，數(shù)據(jù)存儲庫408最初不包含標簽。系統(tǒng)102可以使用表示標簽集合的任何方式，例如，作為標簽列表、標簽的徑向菜單等。

si模塊302還可以提供執(zhí)行任何類型的支持服務的各種支持模塊410。例如，設置模塊可以允許用戶向影響系統(tǒng)102的操作的任何參數(shù)分配值。數(shù)據(jù)存儲庫412可以存儲所有這樣的設置。支持模塊410還可以包括用于與外部搜索引擎交互以提供搜索結(jié)果的門戶。或者支持模塊410可以包括本地提供的搜索引擎。

聲音生成模塊414執(zhí)行與聲音的生成相關的各種操作。例如，當遇到各種觸發(fā)情況時，聲音生成模塊414可以播放特定的聲音。一些觸發(fā)情況對應于用戶在與應用接口模塊402交互時做出的動作。其他觸發(fā)情況對應于不是由用戶與系統(tǒng)102的交互直接引起的系統(tǒng)102的狀態(tài)的變化。其他觸發(fā)情況對應于在行程過程中發(fā)生的事件(或更一般地，用戶與空間的交互)等。數(shù)據(jù)存儲庫416可以存儲當回放時產(chǎn)生期望聲音的文件。子部分c.2(下文)提供了關于可能生成的不同類型的聲音以及播放這些聲音的情況的附加信息。

一些聲音本質(zhì)上是非三維或非空間的。此外，聲音生成模塊414可以產(chǎn)生三維音頻信息。如上所述，在用戶感知該信息為從三維物理或虛擬環(huán)境內(nèi)的一個或多個位置發(fā)出的意義上，音頻信息是三維的。聲音生成模塊414可以通過使用一個或多個頭部相關的傳遞函數(shù)(hrtf)轉(zhuǎn)換原始聲音信息來創(chuàng)建這些聲音。

類似地，觸覺提示生成模塊418可以在不同的觸發(fā)情況中產(chǎn)生不同類型的觸覺反饋體驗。在一種情況下，觸覺提示生成模塊418產(chǎn)生信號，該信號例如在被遞送到用戶設備106、耳機108和/或一些其他設備時產(chǎn)生振動提示。

路徑引導模塊420使用聲音生成模塊414來生成上述三維周期性(例如，節(jié)拍)聲音。這種周期性聲音的目的是在特定方向上引導用戶。路徑引導模塊420通過確定用戶的當前實際航向、期望航向以及實際航向和期望航向之間的差(對應于偏離信息)來產(chǎn)生這種效果。然后，路徑引導模塊420利用聲音生成模塊414產(chǎn)生被用戶感知為源自特定方向的適當?shù)难h(huán)聲音。即，聲音生成模塊414基于由路徑引導模塊420饋送給它的偏離信息產(chǎn)生循環(huán)聲音。用戶可以通過在期望方向上移動來響應該聲音。在另一種情況下，節(jié)拍聲可以被感知為跨越物理空間中的一系列位置行進。用戶可以將該體驗解釋為在行進聲音的方向上移動的指令。

基于信標的引導模塊422通過檢測從信標集合發(fā)射的信號來在室內(nèi)和/或輸出空間內(nèi)進行導航時向用戶提供輔助，在一個示例性實現(xiàn)中，信標具有相應的非重疊范圍。部分e提供關于基于信標的引導模塊422的操作的附加信息?；谛艠说囊龑K422可以查閱在數(shù)據(jù)存儲庫424中提供的信標信息。信標信息可以描述與已經(jīng)放置在環(huán)境中的信標及其在環(huán)境內(nèi)的相應位置相關聯(lián)的代碼。

相關信息確定(rid)模塊426執(zhí)行確定相關信息以在任何給定時間呈現(xiàn)給用戶的一般功能。在圖2的描述的上下文中，rid模塊426確定與用戶的當前境況有關的不同類型的信息項(ioi)。為了執(zhí)行該任務，rid模塊426接收定義當前時刻用戶的境況的各種境況輸入。這些境況輸入可以描述用戶的當前位置、用戶的當前航向、用戶的當前目標等。境況輸入還可以描述環(huán)境本身，例如，與物理和虛擬環(huán)境相關聯(lián)的對象和事件。任何這樣的輸入可以從地圖信息、目錄信息、社交網(wǎng)絡信息、日歷信息等中挖掘。境況輸入還可以描述影響用戶與空間的交互的環(huán)境因素，例如，如從任何源(一個或多個)獲得的公共交通信息、天氣信息等。

rid模塊426通過基于當前時間的境況輸入以及基于各種規(guī)則(在數(shù)據(jù)存儲庫428中提供)確定在給定時間是否適于通知用戶任何信息來操作。rid模塊426的行為還可以由用戶設置并存儲在數(shù)據(jù)存儲庫412中的一個或多個參數(shù)來定義。例如，基于由用戶定義的深度范圍，rid模塊426可以確定當前時間在用戶附近是否存在任何境況ioi。如果存在這樣的境況ioi，則rid模塊426可以與聲音生成模塊414和/或由應用接口模塊402提供的菜單功能交互，以向用戶通知這些境況ioi。

探索模塊430和定向模塊432執(zhí)行可以由用戶以按需方式調(diào)用的相應服務。如參考圖2的場景所描述的，探索模塊430確定與位于用戶前面的子空間相關聯(lián)的任何境況ioi(其又可以由用戶頭部的位置、連同定義探測深度的設置參數(shù)、和描述搜索空間的跨度的設置參數(shù)確定)。為了執(zhí)行該任務，探索模塊430利用rid模塊426的服務。探索模塊430然后使用三維聲音、顯示的消息等向用戶通知境況ioi。定向模塊432執(zhí)行類似于探索模塊430的任務。但是定向模塊432不是探測與用戶前面突出的子空間相關聯(lián)的ioi，而是可以掃描當前時間存在于用戶周圍的整個三維空間。

圖5示出了應用接口模塊(aim)402的一個實現(xiàn)。如上所述，應用接口模塊402通常提供允許用戶與以上參考圖4描述的各種子部件交互的接口。

應用接口模塊402可以包括解釋用戶的輸入的各種部件，例如，以確定用戶正在進行的指令的性質(zhì)。例如，手勢解釋模塊502可以確定用戶通過與用戶設備106的觸敏屏交互做出的手勢或者自由空間手勢等。手勢解釋模塊502可以通過將用戶做出的標記或觸摸或懸停(或其他行為)與數(shù)據(jù)存儲庫(標識與已知手勢相關聯(lián)的模式)進行比較來執(zhí)行該任務。如果用戶的行為使得與特定手勢相關聯(lián)的模式與所確定的匹配置信度相匹配，則手勢解釋模塊502可以推斷用戶已做出該手勢。

語音解釋模塊504可以解釋用戶的語音指令(例如，其可以經(jīng)由用戶設備106和/或耳機108上的麥克風接收)。在一種情況下，語音解釋模塊504可以對應于到遠程語音處理引擎328(例如，cortana系統(tǒng))的門戶。在另一種情況下，語音解釋模塊504可以對應于用于解釋說出的話語的任何類型的本地功能。在任何情況下，執(zhí)行語音識別的代理可以使用任何技術來執(zhí)行該任務，例如，基于隱馬爾可夫模型的技術、基于神經(jīng)網(wǎng)絡的技術等。

耳機按鈕解釋模塊506解釋用戶與耳機108的輸入機構(gòu)交互的方式(將在下面描述)。例如，在一些情況下，按鈕集合可以根據(jù)用戶與其交互的方式(例如，根據(jù)用戶是否是觸摸按鈕但是不按下按鈕、或者基于用戶是否觸摸并且釋放按鈕一次或多次，或者基于用戶是否按下并保持按鈕等)來執(zhí)行不同的功能。耳機按鈕解釋模塊506將用戶的行為映射到特定指令。

動作采取模塊508可以基于由上述解釋模塊(502、504、506)提供的解釋來調(diào)用動作。例如，響應于解釋，動作采取模塊508可以：調(diào)用菜單；關閉菜單；在工作空間之間轉(zhuǎn)換(將在下面描述)；執(zhí)行功能；保存設置；呈現(xiàn)信息項等。

b.用于促進用戶與其環(huán)境之間的交互的耳機和用戶設備選項

圖6示出了在圖1的上下文中，關于上面介紹的耳機108、用戶設備106和其他用戶計算設備110的附加細節(jié)。這些設備的特征在本文中以示例的精神而不是限制的方式呈現(xiàn)。

首先參考耳機108，該設備可以提供由塑料和/或金屬和/或任何其他材料制成的框架602?？蚣?02可以是柔性的，并且可以經(jīng)由框架中的張力和/或通過一些其他固定機構(gòu)固定到用戶的頭部，框架中的張力朝著用戶的頭部橫向向內(nèi)推動。耳機108包括將振動傳送到用戶頭部的骨骼的換能器(604、606)；用戶頭部的骨骼然后將這些振動傳遞到用戶的鼓膜，在那里它們被感知為音頻信息。骨傳導型耳機的使用防止耳機108阻塞用戶的耳道，從而允許用戶安全地響應環(huán)境中的其他聲音。然而，備選地，耳機108可以包括放置在用戶耳朵之上或附近的常規(guī)揚聲器。

耳機108還可以可選地在其框架上的任何地方包括輸入機構(gòu)608的集合。用戶可以使用他或她的手610(或兩只手)的一個或多個手指與輸入機構(gòu)608交互。備選地，分離設備(未示出)可以提供輸入機構(gòu)608，并且該分離設備可以經(jīng)由無線通信(例如，藍牙通信)和/或有線通信與耳機108通信。圖6示出了輸入機構(gòu)608包括三個按鈕，但是更一般地，輸入機構(gòu)608可以包括任何數(shù)目的機構(gòu)，并且這些輸入機構(gòu)可以以任何方式放置在框架上。此外，輸入機構(gòu)608可以包括除了按鈕之外的其他類型的輸入機構(gòu)，例如輪或旋鈕機構(gòu)、滑塊機構(gòu)等。備選地或附加地，耳機108可以并入一個或多個觸敏表面。例如，耳機108的不同區(qū)域可以并入不同的觸敏機構(gòu)，并且這些區(qū)域可以與不同的相應功能相關聯(lián)。

耳機108可以包括執(zhí)行各種任務的處理機構(gòu)(下面將描述)。耳機108可以包括容納那些處理機構(gòu)的隔室612。例如，在一種情況下，隔室612位于耳機108的后部。然而，處理機構(gòu)可以物理地位于耳機108上的任何位置(一個或多個)處。處理機構(gòu)本身可以包括任何類型的一個或多個處理設備、存儲器等、和/或?qū)Ｓ眠壿嫴考?例如，一個或多個專用集成電路(asic))等。

輸入機構(gòu)608可以在被激活時發(fā)起任何操作。例如而非限制，用戶可以使用輸入機構(gòu)608來指示si模塊302調(diào)用探索模式或定向模式(如上所述)。附加地或備選地，在聽到某一主題的概要(例如，境況ioi的名稱)之后，用戶可以使用輸入機構(gòu)608來指示si模塊302提供關于所標識的主題的附加信息；該指令可以被稱為“更多信息”指令。

附加地或備選地，用戶可以使用輸入機構(gòu)608來指令si模塊302激活收聽模式或停止收聽模式。在收聽模式下，語音解釋模塊504處理用戶的語音以確定用戶是否已經(jīng)說出指令。

附加地或備選地，用戶可以使用輸入機構(gòu)608來指示si模塊302重復其已經(jīng)提供的最近的音頻消息。附加地或備選地，用戶可以使用輸入機構(gòu)608來請求si模塊302重復(例如諸如，針對預定數(shù)量的在先消息，通過從最近的消息開始并且在時間上逐消息回退)先前遞送的音頻消息的集合。這樣的指令可以被稱為“倒回”指令。

備選地或附加地，用戶可以使用輸入機構(gòu)608來打開或關閉三維節(jié)拍聲等。其他實現(xiàn)可以使用輸入機構(gòu)608來發(fā)出其他指令，和/或省略上面闡述的一個或多個指令。

上述功能或其某一子集可以以任何方式映射到任何數(shù)目的相應按鈕和/或其他輸入機構(gòu)。此外，在一些實現(xiàn)中，系統(tǒng)102可以包括定制模塊，定制模塊允許用戶定義輸入機構(gòu)和機構(gòu)調(diào)用的操作之間的映射。此外，如上所述，相同的按鈕還可以根據(jù)用戶與其交互的方式來執(zhí)行兩個或更多個功能。在一個實現(xiàn)中，si模塊302可以在用戶觸摸按鈕但不按下按鈕時宣布由按鈕執(zhí)行的功能。

根據(jù)另一特征，用戶可以通過按下用于激活它的相同按鈕來停用當前處于活動狀態(tài)的功能。例如，用戶可以通過按下用于請求si模塊302遞送該信息的相同按鈕來停止si模塊302宣布信息，等。備選地或附加地，耳機108可以并入停止當前正在被執(zhí)行的功能的專用按鈕。

用戶設備106可以對應于上述任何類型的便攜式設備，例如，智能電話或平板型計算設備。如上所述，用戶可以使用單個手614(和/或可選地用兩只手)與用戶設備106交互。其他用戶計算設備110可以對應于任何類型的傳統(tǒng)上固定的計算設備，例如，工作站計算設備、游戲控制臺、機頂盒設備等。

一個或多個通信路徑616可以將用戶設備106與耳機108耦合。這樣的通信路徑例如可以對應于藍牙通信路徑、硬連線通信路徑(例如，usb通信路徑)等。一個或多個通信路徑618可以將其他用戶計算設備110耦合到用戶設備106和/或耳機108。如上所述，用戶可能希望在其他用戶計算設備110和用戶設備106和/或耳機108之間建立連接的一個原因是將信息上傳到這些設備。通信路徑618可以以任何方式(例如，經(jīng)由上述任何類型的無線和/或有線通信路徑)實現(xiàn)。

例如與圖6所示的特定類型的耳機108相比，系統(tǒng)102的其他實現(xiàn)可以使用不同類型的耳機。例如，在另一實現(xiàn)中，耳機可以并入任何上述標識的特征(包括輸入機構(gòu)608)連同任何類型的頭戴式顯示(hmd)設備(例如，物理地實現(xiàn)為眼鏡(例如，護目鏡)、頭盔等)。系統(tǒng)102可以使用頭戴式顯示設備顯示任何類型的信息。例如，系統(tǒng)102可以經(jīng)由頭戴式顯示設備或其某個子集來顯示在下一部分(部分c)中描述的菜單和其他信息中的任一個。在另一種情況下，系統(tǒng)102可以顯示與信息(與用戶與之交互的現(xiàn)實世界相關聯(lián))混合的計算機生成的信息，從而提供增強現(xiàn)實體驗。例如，系統(tǒng)102可以在與用戶視場內(nèi)的相關聯(lián)的對象和事件位置接近的位置顯示描述性標簽。在另一種情況下，系統(tǒng)102可以顯示輔助用戶在推薦方向上移動的方向提示等。此外，系統(tǒng)102可以修改顯示的信息的類型(例如，通過為具有視力損傷的用戶顯示簡化和放大的信息)，以適應可能影響特定用戶的任何視覺障礙。

系統(tǒng)102可以使用任何技術(例如，通過使用光學混合器，其顯示計算機生成的信息“超過”用戶對實際環(huán)境的直接視覺感知(例如，使用部分反射鏡等))來實現(xiàn)增強現(xiàn)實體驗。在另一實現(xiàn)中，系統(tǒng)102可以使用捕獲實際環(huán)境的視頻相機、以及將來自視頻相機的視頻信息與計算機生成的信息混合的光學混合器。在任一情況下，系統(tǒng)102可以使用檢測用戶在環(huán)境內(nèi)的位置的一個或多個設備、檢測用戶頭部的位置和定向的一個或多個設備、和/或檢測用戶注視的方向的一個或多個設備等來確定用戶的假定視場。

在另一種情況下，除了耳機之外，另一類型的可穿戴設備可以執(zhí)行上述任何功能。例如，可穿戴設備可以對應于腕戴式設備、服裝物品等。

為了簡化說明，以下描述將假定用戶與圖6所示的基本類型的耳機108交互，然而，注意，耳機108可以并入任何數(shù)目的上述補充特征(例如，頭戴式顯示器)。此外，代替耳機，或者除耳機之外，可以使用另一類型的可穿戴設備。

圖7示出了實現(xiàn)圖1的系統(tǒng)102的一種方式。在該實現(xiàn)中，系統(tǒng)102利用用戶計算設備702(為了簡潔起見，稱為“用戶設備”)和耳機704。更具體地，根據(jù)功能的一個分配，用戶設備702實現(xiàn)系統(tǒng)102的大多數(shù)功能。即，用戶設備702包括si模塊302和輸入/輸出機構(gòu)706的集合(包括任何定向、運動和/或位置確定機構(gòu)708、任何觸敏輸入機構(gòu)710、任何觸覺輸出機構(gòu)712、任何顯示輸出機構(gòu)714等)。上面結(jié)合圖3的描述提供了這些機構(gòu)的示例。用戶設備702還包括電源716(例如，電池)以及用于與耳機704通信的一個或多個通信機構(gòu)718。

另一方面，耳機704包括一個或多個音頻輸出機構(gòu)720(例如，骨傳導音頻機構(gòu))、電源722(例如，電池)、以及用于與用戶設備702通信的一個或多個通信機構(gòu)724。此外，耳機704可以包括上面參考圖6描述的任何類型的輸入機構(gòu)726(例如，對應于圖6的輸入機構(gòu)608)。通信機構(gòu)724可以將由輸入機構(gòu)726調(diào)用的指令傳輸給用戶設備702。用戶設備702進而可以向耳機704發(fā)送音頻信息，以用于由音頻輸出機構(gòu)(一個或多個)720呈現(xiàn)。

圖8示出了實現(xiàn)系統(tǒng)102的另一種方式。這里，系統(tǒng)102包括與圖7的耳機704相比具有更多處理能力的耳機802。實際上，在一個實現(xiàn)中，在不使用任何分離的用戶設備106的情況下，耳機802可以執(zhí)行系統(tǒng)102的所有與空間交互相關的方面。在另一實現(xiàn)中，耳機802仍然可以與分離的用戶設備106(圖8中未示出)交互。該分離的用戶設備106可以包括圖7的用戶設備702的所有部件或其任何子集。

更具體地，在圖8的情況下的耳機802可以包括執(zhí)行上面參考圖4描述的功能的任何子集的耳機側(cè)si模塊804。另外，耳機802可以包括任何定向、運動和/或位置確定機構(gòu)806。這些機構(gòu)在下文中通常被稱為頭部感測機構(gòu)，因為它們確定用戶頭部的身體姿勢或運動(其可以進而反映用戶的注意焦點的方向)。另外，耳機802可以包括以上參考圖6描述的任何類型的輸入機構(gòu)808。另外，耳機802可以包括電源810和用于與用戶設備106交互的一個或多個通信機構(gòu)812(如果系統(tǒng)102在該實現(xiàn)中使用這樣的用戶設備106，則不需要)。此外，耳機802包括上述任何類型的音頻輸出機構(gòu)814。

在一種操作模式下，當耳機802被提供并且工作正常時，圖8的系統(tǒng)102可以利用提供在耳機802上的頭部感測機構(gòu)。由耳機802提供的頭部感測機構(gòu)可以優(yōu)于由用戶設備106提供的相應感測機構(gòu)，因為頭部感測機構(gòu)可以更準確地反映用戶的定向、移動和/或位置。此外，頭部感測機構(gòu)的使用消除了用戶與用戶設備106交互以寄存他或她的定向、移動和/或位置的需要。

在一些情況下，耳機108可以可選地將由頭部感測機構(gòu)生成的信息轉(zhuǎn)發(fā)給用戶設備106。用戶設備106可以使用該信息來執(zhí)行處理，然后將其處理的結(jié)果轉(zhuǎn)發(fā)回到耳機802。耳機802然后可以經(jīng)由傳送結(jié)果的骨傳導技術將聲音傳輸?shù)接脩舻亩?。在另一種情況下，在不需要將由頭部感測機構(gòu)提供的信息轉(zhuǎn)發(fā)給用戶設備106的情況下，耳機側(cè)si模塊804可以執(zhí)行該處理。在另一種情況下，耳機側(cè)si模塊804可以本地執(zhí)行一些操作，并且依靠用戶設備106來執(zhí)行其他操作。例如，耳機側(cè)si模塊804可以依靠用戶設備106來執(zhí)行計算密集的操作(例如，三維聲音的計算等)，因為與耳機108相比，這些操作可以在用戶設備106上被更有效地執(zhí)行。

在另一種情況下，當相應部件不能在耳機802上正常工作時，系統(tǒng)102可以利用由用戶設備106提供的定向確定機構(gòu)(一個或多個)、運動確定機構(gòu)(一個或多個)和/或位置確定機構(gòu)(一個或多個)。

在另一種情況下，系統(tǒng)102可以利用由耳機802和用戶設備106提供的傳感器讀數(shù)，例如通過使用一個設備的傳感器讀數(shù)來標識另一設備的傳感器讀數(shù)中的明顯錯誤，和/或形成傳感器讀數(shù)的兩個不同版本的平均值，等。

在圖7和圖8的任一實現(xiàn)中，由耳機(例如，704、802)和/或用戶設備(例如，702、106)執(zhí)行的功能中的至少一些可以備選地或者附加地由圖1的遠程處理資源112(例如，對應于云計算資源)來執(zhí)行。

圖9示出了用戶902與車輛內(nèi)的用戶設備904交互的場景。盡管在圖9中未具體示出，但是用戶902還可以利用將音頻信息中繼到用戶而不遮擋用戶的耳朵的骨傳導耳機。更一般地，與上述情況相比，圖9是以上描述的功能可以應用于附加使用場景的更一般的示例。

在圖9的情況下，用戶902已經(jīng)使用安裝件906將用戶設備904安裝到車輛的儀表板區(qū)域上。用戶902可以是車輛的駕駛員(如圖9所示)或乘客。電源線908可以從由車輛提供的電源插座向用戶設備904輸送電力。

圖10示出了描述圖6所示的設備的一種操作方式的過程1004。在框1004中，作為用戶致動至少一個耳機輸入機構(gòu)的結(jié)果(例如，基于用戶對圖6所示的耳機輸入機構(gòu)608中的一個的致動)，系統(tǒng)102接收指令。在框1006中，系統(tǒng)102基于框1004中提供的指令來執(zhí)行功能，以提供輸出結(jié)果?？?006可以由耳機108和/或用戶設備106執(zhí)行。在框1008中，耳機108應用輸出結(jié)果來遞送音頻信息，這有助于用戶在路線上、在空間內(nèi)導航，或者更多一般來說與空間交互。

總之，上述特征有助于允許用戶安全和有效地移動通過他或她的環(huán)境的上述目標。例如，這些特征提供了方便的方式，通過該方式用戶可以在不在用戶移動通過環(huán)境時過度地分散用戶的注意力的情況下(例如，在不需要用戶訪問分離的用戶設備以及與分離的用戶設備交互的情況下)激活(例如，通過與耳機108的用戶輸入機構(gòu)608交互)各種操作模式。

c.用于促進用戶及其環(huán)境之間的交互的示例性用戶接口功能

本部分提供關于圖4和圖5的應用接口模塊402的一種操作方式的示例性細節(jié)。注意，應用接口模塊402允許用戶與si模塊302的各種部件交互。為了便于對應用接口模塊402的重復引用，該部分將以縮寫形式將該部件引用為aim402。aim402可以指代分立部件、或在系統(tǒng)102的實際實現(xiàn)中由兩個或更多個部件執(zhí)行的功能的聚合。

用戶接口體驗又具有不同的部件或方面。以下子部分c.1提供關于aim402允許用戶經(jīng)由例如由用戶設備106提供的可視用戶界面演示與si模塊302交互的一種示例性方式的細節(jié)。子部分c.2提供關于aim402可以向用戶提供各種聲音和觸覺反饋提示的一種示例性方式的細節(jié)。子部分c.3提供關于aim402允許用戶經(jīng)由語音指令與si模塊302交互的一種示例性方式的細節(jié)。

通常，注意，例如，如圖2的示例中，以下解釋在由用戶通過空間拍攝的行程的上下文中描述aim402。但是，在用戶與空間交互的其他場景中(包括沒有準備的路線的情況下，用戶為了以自組織方式探索空間的目的而漫游通過空間)，aim402提供類似的服務。還注意，下面描述的用戶接口特征本質(zhì)上也是通用的，并且因此可以應用于不一定和用戶與空間的交互相關的其他上下文中。

作為另一優(yōu)選注釋，該描述闡述了由aim402通過描述由用戶執(zhí)行的姿勢相關動作以及由aim402響應于姿勢相關動作而進行的相應操作來解釋的很多姿勢。如上面參考圖5更全面地描述的，aim402在每種情況下通過以下方式來執(zhí)行該任務：(a)例如，當用戶做出指示輕彈手勢等時，檢測描述由用戶執(zhí)行的手勢的輸入信息；(b)將輸入信息與所存儲的與已知手勢相關聯(lián)的模式進行比較，以確定用戶已經(jīng)調(diào)用的特定手勢；和(c)執(zhí)行與所檢測的手勢相關聯(lián)的操作。為了簡潔起見，在下面的很多情況中省略了對這些單獨操作的顯式描述。

c.1.視覺體驗：與工作空間和菜單交互

在一個方法中，aim402將主工作空間組織成較小工作空間的集合。工作空間相對于彼此具有位置關系。這種結(jié)構(gòu)是有益的，因為它允許用戶開發(fā)應用程序的組織的心理圖像，就像他或她將通過與其區(qū)域的重復遇到而變得熟悉物理空間的區(qū)域。這個功能反過來又允許用戶有效地訪問所尋求的信息和/或功能。

例如，圖11示出了aim402將主工作空間組織成五個較小的工作空間的一個示例。在進行行程時，主頁工作空間1102用作用戶交互中的中心焦點。例如，如下面將描述的，主頁工作空間1102呈現(xiàn)關于用戶在行程中的每個特定點處的當前境況、或與空間的任何其他交互的信息。如果用戶還沒有開始行程，則主頁工作空間1002可以呈現(xiàn)默認中樞頁面。

主要工作空間1104位于主頁工作空間1102的左邊，并且“我附近”工作空間1106位于主頁工作空間1102的右邊。信息工作空間1108位于主頁工作空間1102的頂部，而設置工作空間1110位于主頁工作空間1102的底部。這些工作空間的相應角色將在下面更詳細地描述。

上述每個工作空間的位置在示例而不是限制的精神內(nèi)闡述。其他實現(xiàn)可以提供工作空間的其他放置。此外，其他實現(xiàn)可以改變由aim402提供的工作空間的數(shù)目。例如，另一實現(xiàn)可以通過提供相對于主頁工作空間1102對角定位的工作空間來提供另外四個工作空間。

圖12示出了用戶可以通過其從主頁工作空間1102導航到主要工作空間1104的一種方式。在該非限制性情況下，用戶在主頁工作空間1102上執(zhí)行向右輕彈手勢以導航到主要工作空間1104。雖然未示出，但是用戶可以執(zhí)行向左輕彈手勢(或另一向右輕彈手勢)以從主要工作空間1104移動回到主頁工作空間1102。

以類似的方式，用戶可以在主頁工作空間1102上執(zhí)行向左輕彈手勢以導航到“我附近”工作空間1106。用戶可以在主頁工作空間1102上執(zhí)行向下輕彈手勢以導航到信息工作空間1108和在主頁工作空間1102上執(zhí)行向上輕彈手勢以導航到設置工作空間1110。用戶可以例如使用握持用戶設備的手的拇指，例如通過將拇指放置在用戶設備106的觸敏表面上并且在期望的方向上輕彈它來執(zhí)行這些手勢中的任何一個。在輕彈移動中，用戶使用一個或多個手指接觸觸敏表面，使手指(一個或多個)跨越表面移動一段距離，然后從表面移除手指(一個或多個)，所有這些都是相對快速的連續(xù)(好像在平坦表面上輕彈物理對象)。

在一個實現(xiàn)中，為了導航到任何外圍區(qū)域，期望用戶首先導航到主頁工作空間1102。然而，在另一實現(xiàn)中，在不首先移動回到主頁工作空間1102的情況下，aim402可以允許用戶從一個外圍區(qū)域?qū)Ш降搅硪煌鈬鷧^(qū)域。

更一般地，在本部分中的所有示例中，顯示器表面上的虛線圓表示用戶用手指接觸表面的點。在一些情況下，顯示器的表面將顯示不同尺寸的兩個虛線圓。兩個圓中較大的一個表示用戶應用他或她的手指的位置，而兩個圓中較小的一個表示用戶移除他或她的手指的位置。在其他情況下(未示出)，用戶可以執(zhí)行涉及同時在兩個或更多個位置觸摸觸敏表面的至少一個手勢(例如，以執(zhí)行捏縮類型手勢)。在其他情況下(未示出)，用戶可以通過懸停在設備的表面上而不實際觸摸它來執(zhí)行至少一個手勢。在其他情況下(未示出)，用戶可以執(zhí)行自由空間手勢，自由空間手勢可以由攝像機和/或深度相機等檢測。

作為最后的介紹，本部分描述了具體的手勢、菜單結(jié)構(gòu)和菜單項，所有這些都在精神和示例性的意義上而非限制性的。其他實現(xiàn)可以改變這些用戶接口特征的任何方面。例如，在另一實現(xiàn)(未示出)中，aim402可以允許用戶使用敲擊類型手勢或通過在顯示器的表面上繪制特定形狀等在工作空間之間轉(zhuǎn)換

圖13至圖16示出了可以在主頁工作空間1102中呈現(xiàn)的信息類型。如上所述，當主頁工作空間1102在路線上導航或以其他方式與空間交互時，其用作用戶注意力的主焦點。在默認狀態(tài)下，如圖13所示，主頁工作空間1102可以呈現(xiàn)中樞頁面。下面將描述菜單結(jié)構(gòu)的特定性質(zhì)以及該結(jié)構(gòu)內(nèi)的菜單項。

在用戶行程的過程中，主頁工作空間1102可以呈現(xiàn)關于用戶的當前境況的信息(但是在行程期間，根據(jù)用戶的請求，其他信息也可以在主頁工作空間1102中呈現(xiàn))。例如，在圖14的情況下，假定用戶當前正在乘坐火車。主頁工作空間1102可以呈現(xiàn)集中于用戶在火車中的體驗的菜單。在圖15的情況下，假定用戶現(xiàn)在正沿特定街道行走。作為默認，主頁工作空間1102現(xiàn)在將呈現(xiàn)關于用戶在街道上的體驗的信息。例如，主頁工作空間1102可以呈現(xiàn)示出用戶在街道上的當前位置1502的地圖。備選地，用戶可以與aim402交互，以產(chǎn)生圖14所示的菜單類型，但是其中該菜單現(xiàn)在將包含與在街道上行走時的用戶體驗有關的菜單項。憑借上述行為，aim402在他或她的環(huán)境中的當前境況中顯示與用戶最相關的信息，并且在主頁工作空間1102內(nèi)呈現(xiàn)該信息；在不必“尋找”最相關的信息的情況下(例如，在無需導航通過繁瑣的菜單結(jié)構(gòu)的情況下)，用戶因此可以容易地找到并且消費最相關的信息。這樣的特征還減少了對用戶的干擾，并且因此有助于系統(tǒng)102的安全性。

然而，用戶可以與aim402交互，以激活與用戶的直接周圍環(huán)境無關的信息，用于在主頁工作空間1102中呈現(xiàn)。例如，用戶可以例如通過激活標簽菜單選項來激活將在下面描述的標簽菜單。作為響應，aim402將呈現(xiàn)圖16所示的標簽菜單。標簽菜單顯示對應于先前打開的菜單的打開的標簽的集合。這些標簽式菜單中的一些可以對應于關于用戶已經(jīng)完成的先前行程分段的信息。用戶可以激活任何這樣的標簽相關的菜單項。作為響應，aim402可以例如以菜單或某種其他格式的形式表示關于主頁工作空間1102中的先前行程步驟的信息。菜單結(jié)構(gòu)還可以允許用戶在用戶請求時檢查未在行程中遇到的未來行程步驟。

此外，即使在已經(jīng)開始行程之后，用戶可以指示aim402返回到圖13所示的中樞菜單，例如使得用戶可以訪問在該默認中樞菜單中指定的信息和/或功能。

作為進一步的澄清，在上面的示例中，當前境況涉及用戶的整個行程中的物理位置或分段。在其他情況下，主頁工作空間1102可以呈現(xiàn)關于用戶對虛擬空間的探索的境況信息。例如，用戶可以在由商店提供的產(chǎn)品的層級內(nèi)導航。在該情況下，主頁工作空間1102可以呈現(xiàn)關于一組產(chǎn)品、單個產(chǎn)品等的菜單。

一般來說，圖13至圖16所示的上述類型的菜單對應于主菜單。aim402在主頁工作空間1102中顯示這些類型的菜單。相反，aim402在位于主頁工作空間1102的外圍的其他工作空間中呈現(xiàn)次級菜單。圖17至圖20示出了可以在這些外圍工作空間中呈現(xiàn)的示例性次級菜單。

例如，圖17示出了用于在主要工作空間1104中呈現(xiàn)的主要菜單。主要菜單標識當與si模塊302的不同方面交互時通常使用的動作。圖18示出了用于在設置工作空間1110中呈現(xiàn)的設置菜單。設置菜單允許用戶改變影響si模塊302的操作的各種參數(shù)。圖19示出了用于在信息工作空間1108中呈現(xiàn)的信息菜單。信息菜單呈現(xiàn)對諸如剩余電池壽命、信號強度等系統(tǒng)信息的方便訪問。信息菜單還提供了到通知和其他有用的警告信息和行程信息(例如，公共交通服務的實時更新)的方便門戶。

圖20提供用于在“我附近”工作空間1106中呈現(xiàn)的“我附近”菜單?！拔腋浇辈藛纬尸F(xiàn)關于當前時間在用戶的近距離內(nèi)的(或以其他方式與用戶的當前境況相關聯(lián)的)、如圖4的rid模塊426所標識的感興趣的境況項(ioi)的信息。用戶可以使用設置菜單來指定最大距離，最大距離確定什么構(gòu)成“附近”境況ioi。每個境況ioi在“我附近”菜單中通過其名稱、其類別(例如，“食物和飲料”類別)以及其與用戶的距離被標識。用戶可以激活該菜單中的項，使得si模塊302提供關于該境況ioi的音頻信息。該音頻信息可以被公式化為三維聲音信息，使得在遞送時，其似乎起源于在物理空間中可以找到與境況ioi相關聯(lián)的實體的相同方向。

圖21示出了可以在主頁工作空間1102中呈現(xiàn)的暫時性菜單的示例。例如，用戶可以通過首先導航到圖19所示的、在信息工作空間1108中呈現(xiàn)的信息菜單來激活該暫時性菜單。然后，用戶可以激活菜單中的“通知”菜單項。作為響應，aim402可以呈現(xiàn)圖21所示的暫時性菜單。

相反，圖22示出了覆蓋菜單的示例。在該特定示例中，用戶可以通過首先前進到圖18所示的、如設置工作空間1110中所呈現(xiàn)的設置菜單來激活覆蓋菜單。然后，用戶可以激活該菜單中的“境況意識”菜單項。aim402通過呈現(xiàn)圖22所示的覆蓋菜單來響應用戶的動作。與圖21所示的暫時性菜單不同，圖22所示的覆蓋菜單在設置工作空間1110中被呈現(xiàn)在圖18所示的設置菜單“之上”，而非在主頁工作空間1102中。如在下面將描述的，覆蓋菜單和暫時性菜單也可以響應于“返回”命令的執(zhí)行而展現(xiàn)不同的行為。

在圖22的特定情況下，覆蓋菜單允許用戶改變由si模塊302提供的境況意識的水平。例如，通過該菜單，用戶可以設置確定轉(zhuǎn)發(fā)給用戶的信息的數(shù)量的參數(shù)值。在一種情況下，用戶可以選擇接收與他或她的當前境況潛在相關的所有信息。在另一種情況下，用戶可以選擇僅接收被認為具有高重要性的警告和其他信息項。

圖23示出了用戶可以在用戶的行程中的任何接合點處指示si模塊302呈現(xiàn)關于他或她的當前境況的信息的一種方式。根據(jù)一個非限制性情況，用戶可以使用手指(例如，拇指)，以在用戶設備106的觸敏表面上(在表面上的任何位置處)進行單個點擊手勢。響應于檢測到該手勢，si模塊302可以呈現(xiàn)關于用戶的當前境況的高級信息作為有聲消息。例如，si模塊302可以宣布將適合于該境況的境況菜單的標題。例如，在圖14的示例中，si模塊302可以宣布“客車e：倫敦帕丁頓”。

備選地，用戶可以做出雙個點擊手勢。響應于檢測到該手勢，si模塊302可以再次呈現(xiàn)關于用戶的當前境況的更詳細的信息作為有聲消息。例如，在雙個點擊時，si模塊302可以宣布圖14所示的菜單中的菜單項。

接下來假定用戶執(zhí)行三個點擊手勢。響應于檢測到該手勢，si模塊302可以宣布以下指令：如果該菜單實際上關于用戶的當前境況，則該指令通知用戶如何與圖14所示的菜單類型交互。例如，指令可以通知用戶如何激活菜單、如何在菜單內(nèi)導航、如何選擇菜單內(nèi)的菜單項等。

前進到圖24，該圖示出了用戶如何激活菜單，以及用戶隨后如何與菜單交互。在一個非限制性情況下，通過在用戶設備106的觸敏顯示表面的表面上的任何地方進行點擊并保持手勢，用戶可以激活圖24所示的菜單。例如，如圖24所示，虛線圓2402指示用戶已點擊并將他或她的拇指保持在觸敏表面的表面上的位置。

響應于檢測到該手勢，aim402呈現(xiàn)菜單2404。菜單以用戶觸摸表面(對應于觸摸位置)的表面上的點(對應于顯示位置)為中心。用戶可以發(fā)現(xiàn)這個特征是有用的，因為它消除了為了激活菜單2404而在用戶界面演示中尋找特定元素的需要。相反，用戶可以在表面上的任何地方執(zhí)行點擊并保持手勢。該特征反過來減少了在使用系統(tǒng)102時對用戶的干擾。但是不是所有的位置都將導致菜單2404的成功激活。例如，如果用戶點擊太靠近表面的頂部或底部，則aim402可以可選地向用戶呈現(xiàn)錯誤消息(例如，作為有聲消息)，要求用戶更接近表面中間重復他或她的點擊并保持手勢。

到目前為止示出的菜單具有特定的統(tǒng)一菜單結(jié)構(gòu)。圖24所示的菜單2404具有相同的結(jié)構(gòu)，該結(jié)構(gòu)現(xiàn)在將在下面描述，同時注意，該結(jié)構(gòu)以示例而非限制的精神闡述。其他實現(xiàn)可以采用其他菜單結(jié)構(gòu)和行為。例如，該子部分將以采用不同菜單結(jié)構(gòu)(與圖24的菜單2404相比)、展現(xiàn)不同菜單行為的實現(xiàn)的示例來結(jié)束。此外，本文中所描述的菜單以線性列表的形式呈現(xiàn)其菜單項；但是可以使用以其他方式呈現(xiàn)其菜單項的其他菜單(例如，徑向菜單或餅形菜單等)。

圖24所示的菜單結(jié)構(gòu)具有由標記項2406分隔的兩個菜單項分組。更具體地，菜單項的第一分組2408呈現(xiàn)特別與用戶當前境況或手頭任務相關的菜單項。菜單項的第二分組2410呈現(xiàn)與可以在不同工作空間中呈現(xiàn)的多個類型的菜單相關的菜單項，因此可被稱為全局或通用菜單項。例如，作為第二分組2410中的菜單項的“停止收聽”命令跨越不同的菜單和工作空間相關，而作為第一分組2408中的菜單項的菜單項“項a”可以被選擇，因為其與用戶試圖通過與菜單2404交互來完成的任何任務特別相關。

然而，第二分組2410可以省略針對特定菜單不相關的某些全局選擇。例如，如果用戶已經(jīng)在觀看“標簽”菜單，則與該菜單相關聯(lián)的第二分組可以省略允許用戶訪問標簽菜單的菜單選項(因為用戶已經(jīng)在觀看該菜單)。

不同的菜單項(在第一分組2408或第二分組2410中)在被選擇時調(diào)用不同的操作。例如，第一類型的菜單項可以在被選擇時調(diào)用動作。例如，菜單項“開始收聽”在被調(diào)用時，指示si模塊302開始收聽用戶的語音命令。第二類型的菜單項可以在被調(diào)用時呈現(xiàn)信息(例如，電池狀態(tài)信息等)。第三類型的菜單項可以在該菜單項被調(diào)用時為用戶呈現(xiàn)改變屬性值的機會。例如，在一些情況下，用戶激活這種類型的菜單項可以激活覆蓋菜單。然后，用戶可以與覆蓋菜單交互，以改變所考慮的屬性值。在另一種情況下，用戶激活這種類型的菜單項可以直接改變屬性值(例如，通過將設置從“開”狀態(tài)切換到“關”狀態(tài)或反之亦然)。也可以是其他類型的菜單項和相關聯(lián)的調(diào)用行為。

標記項2406顯示消息“釋放以解除”。該消息通知用戶他或她可以從觸摸敏感表面的表面釋放他們的手指而不選擇任何菜單項，假定，即，當手指放置在標記項2406上、而不是某個其他菜單項時，用戶釋放他或她的手指。響應于這樣的手勢，aim402可以將菜單2412顯示在其初始的未激活狀態(tài)。該菜單2412中的標記項2414承載消息“點擊并保持”，其邀請用戶執(zhí)行點擊并保持手勢，以重新激活處于其活動狀態(tài)的菜單2404。

前進到圖25，假定用戶不是停用菜單2404，而是決定向上滾動通過第一分組2408中的項。用戶可以通過在向上方向上移動他或她的手指、同時將他或她的手指保持在觸敏表面上來執(zhí)行這個動作。作為響應，aim402可以產(chǎn)生圖25所示的菜單狀態(tài)2502。具體地，aim402響應于用戶的手勢可以沿向下方向移動菜單項，這使得第一菜單項2504(而不是標記項2406)變?yōu)橥怀鲲@示。為了選擇該菜單項2504，用戶可以從菜單項2504釋放他或她的手指。備選地，用戶可以通過移動回到標記項2406然后在被定位在該項處時釋放他或她的手指來停用菜單?；蛘哂脩艨梢栽谂c菜單項的第二分組2410相對的方向上向下滾動。用戶可以在手指位于第二分組2410中的菜單項之一時釋放他或她的手指，以選擇該菜單項。用戶可以發(fā)現(xiàn)上述用戶界面行為是有益的，因為他或她可以用一只手以無縫和流暢的方式與用戶設備106交互，在他或她移動通過環(huán)境時對用戶的干擾最小。例如，在該實現(xiàn)中，用戶不需要尋找并選擇一系列命令按鈕或菜單項；這樣做將需要用戶特別注意用戶設備106。

在圖25的具體示例中，假定用戶向上滾動到項的第一分組2408的頂部以選擇“更多項”的菜單項2506，然后在該菜單項2506上釋放他或她的手指。作為響應，aim402呈現(xiàn)圖26所示的菜單2602。該菜單提供菜單項中表示在先前菜單中示出的第一分組2408的繼續(xù)的另一第一分組2604；即，雖然圖25中的第一分組2408呈現(xiàn)菜單項1、2和3，但是圖26的第一分組2604呈現(xiàn)菜單項4、5和6。更一般地，菜單結(jié)構(gòu)可以將菜單項的完整列表表示為一系列鏈接的較小列表。在圖25和圖26的示例中示出了兩個鏈接的列表，但是可以通過任何數(shù)目的鏈接列表形成完整列表。

用戶可以通過向上滾動到“先前頁”菜單項2606并且然后從該項釋放他的或手指來返回到圖25所示的菜單狀態(tài)2502。備選地，為了執(zhí)行該返回指令，如圖26所示，用戶可以將他或她的手指移動到觸敏表面的周邊(例如，如虛線圓2608所示)，然后向內(nèi)朝向表面的中心輕彈。用戶可以通過從表面的相對邊緣向內(nèi)輕彈來執(zhí)行相同的操作。

雖然在圖26中未示出，但是菜單2606還可以給予用戶(經(jīng)由適當?shù)牟藛雾?返回到一系列級聯(lián)菜單列表中的第一頁的選項，例如，而不是通過發(fā)出一系列返回指令借助鏈接的列表來連續(xù)地移動返回。此外，雖然在附圖中也未示出，但是每個分組可以包括列表末端標記項，其指定分組的末端。用戶可以通過移動到該項并在被放置在該項上時移除他或她的手指來停用菜單。

更一般地，用戶可以在不同類型的菜單上執(zhí)行圖26所示的后退手勢的類型，這可以產(chǎn)生不同類型的動作。例如，在用戶確認這是他或她打算做的事情之后，在主頁工作空間1102中呈現(xiàn)的根(主)菜單上的返回動作可以使得用戶退出與si模塊302相關聯(lián)的應用。在主頁工作空間1102中呈現(xiàn)的暫時性菜單上的返回動作可以使得aim402呈現(xiàn)主頁工作空間1102中最后呈現(xiàn)的任何上下文菜單。在覆蓋菜單上的返回動作有時可以導致呈現(xiàn)次級工作空間中的“下層”次級菜單。例如，特定設置相關的覆蓋菜單(例如，如圖22所示)上的后退動作可以導致顯示設置工作空間1110中的下層設置菜單(例如，如圖18所示)。

圖27示出了工作空間與圖11的實現(xiàn)相比的、對應于由aim402提供的菜單功能的第二實現(xiàn)的備選組織。以概述的方式，圖27的工作空間結(jié)構(gòu)包括具有與圖11所示的功能相同的基本功能的五個工作空間(2702、2704、2706、2708、2710)。例如，在整個行程中，主頁工作空間2702繼續(xù)用作用戶注意力的中心焦點。主頁工作空間2702還繼續(xù)顯示與用戶行程中遇到的當前境況(或與空間的其他類型的交互)相關聯(lián)的菜單和其他信息。但是主頁工作空間2702不再將中樞菜單呈現(xiàn)為默認值。相反，主頁工作空間用于將標簽相關的信息示出為默認值。

更具體地，主頁工作空間2702示出了在不存在活動標簽時，圖28所示的默認標簽信息。默認標簽信息可以提供關于用戶如何開始創(chuàng)建標簽的引導。相反，主頁工作空間2702可以顯示當存在活動標簽時，圖29所示的標簽菜單。默認地，在列表中具有第一位置(即，標簽號1)的標簽菜單項對應于當前境況。

圖29還示出了與迄今為止描述的菜單結(jié)構(gòu)相比，第二實現(xiàn)提供了不同的菜單結(jié)構(gòu)。例如，第二實現(xiàn)不再將菜單組織成由菜單標記分隔的兩組菜單項。相反，第二實現(xiàn)呈現(xiàn)被確定為與用戶的當前感興趣焦點相關的菜單項的單個列表。如果用戶希望訪問先前在第二分組中呈現(xiàn)的全局菜單項的類型，則用戶可以導航到主要工作空間2704以訪問那些項。

圖30呈現(xiàn)關于菜單項列表中的菜單項的一個可能組織的附加信息。這里，菜單項表示響應于對用戶附近的商店進行搜索而產(chǎn)生的搜索結(jié)果項。通過執(zhí)行上面關于第一實現(xiàn)(并且如圖23和圖24所示)描述的點擊并保持手勢，用戶可以激活任何菜單(例如，圖30所示的菜單)。

在激活菜單時，在第二實現(xiàn)中，aim402在用戶設備的顯示表面的中間附近呈現(xiàn)列表中第一條目。然后，用戶可以通過在向上方向上進行一個或多個平移手勢來向上移動列表，或者通過在向下方向上進行一個或多個平移手勢來向下移動列表。當用戶在任一方向上到達列表的末端時，列表重復。即，當用戶前進經(jīng)過列表中的最后項時，用戶將遇到作為下一條目的第一項。當用戶前進經(jīng)過列表中的第一項時，用戶將遇到最后項。由于這種菜單呈現(xiàn)策略，第二實現(xiàn)可以省去使用如第一實現(xiàn)中所使用的多頁列表。即，用戶使用一個或多個平移手勢來導航通過單個主列表。用戶通過將一個或多個手指放置與觸敏表面接觸并沿期望的平移方向拖動這些手指來做出平移手勢；這里的移動與輕彈手勢相比較慢。

圖31提供關于上述行為的附加信息。這里，用戶通過沿向下方向拖動所顯示的菜單來進行平移手勢。但是與第一實現(xiàn)的情況不同，當導航通過列表時，用戶不需要將他或她的手指保持在表面上。例如，用戶可以進行多個平移手勢；在每個平移手勢之間，用戶可以從表面移除他或她的手指。第二實現(xiàn)不將用戶的手指從表面的移除解釋為在該時間選擇被突出顯示的任何菜單項的指令。在由用戶規(guī)定的不活動時間量之后，或者當用戶做出后退手勢時，第二實現(xiàn)可以停用菜單。

如圖32所示，用戶可以通過朝向表面的周邊進行短觸摸和拖動手勢來選擇列表中突出顯示的項。當aim402將用戶的手勢解釋為選擇突出顯示的項的請求時，aim402將提供聽覺和/或觸覺反饋。然后，當用戶從用戶設備106的表面移除他或她的手指時，aim402將選擇該項。備選地，代替移除他或她的手指，用戶可以以相對方向拖動他或她的手指后退，以取消aim402將再次確認(例如，通過提供適當?shù)囊粋€或多個提示)的選擇操作。

圖33示出了在菜單的周圍執(zhí)行的后退手勢以及對該手勢的響應。更具體地，用戶現(xiàn)在可以通過從相應邊緣向左或向右拉動短距離直到aim402指示其已經(jīng)理解用戶的手勢(例如，通過提供適當?shù)囊粋€或多個提示)來執(zhí)行后退手勢。此時，用戶可以釋放他或她的手指以執(zhí)行后退動作?；蛘哂脩艨梢栽谙鄬Ψ较蛏弦苿铀蛘呤种?，直到aim402將用戶的動作解釋為撤銷后退動作的請求。在圖33的示例中，后退動作使得aim402從搜索結(jié)果菜單轉(zhuǎn)換到標簽菜單。

圖34示出了用戶可以通過在菜單上繪制圓形3402(例如，通過在主頁工作空間2702中呈現(xiàn)的搜索結(jié)果菜單(例如)上繪出圓)來執(zhí)行的手勢。響應于該手勢，aim402將返回到標簽菜單。盡管未示出，但是用戶可以隨后在標簽菜單上執(zhí)行相同的圓手勢。作為響應，aim402將返回到搜索結(jié)果菜單(或用戶發(fā)起的任何頁面—即，用戶繪制原始圓的任何頁面)。

圖35示出了用戶可以通過在菜單上繪制半圓3502(例如，通過在主頁工作空間2702中呈現(xiàn)的搜索結(jié)果菜單(例如)上畫出半圓)來執(zhí)行的手勢。作為響應，aim402將焦點返回到當前境況中呈現(xiàn)的任何內(nèi)容。在圖35的示例中，aim402返回到與行程中的當前步驟相關聯(lián)的信息(如圖35的右側(cè)所示)。如果用戶當前沒有進行行程，則當前境況可以對應于最后打開的任何菜單。用戶可以通過在圖35的右側(cè)所示的頁面上繪制半圓來將該轉(zhuǎn)換反向。

圖36和圖37示出了可以用于分別增加和降低由圖1的系統(tǒng)提供的詳細級別以及由系統(tǒng)提供的境況信息的級別的不同手勢。例如，如圖36所示，用戶可以在任何菜單(這里，標簽菜單)上繪制右箭頭形狀3602來增加si模塊302的詳細級別。如圖37所示，用戶可以在任何菜單上繪制左箭頭形狀3702來降低si模塊302的詳細級別。詳細級別指的是si模塊302遞送其例如從簡潔到詳細的音頻信息的簡潔性。

也如圖37所示，用戶可以在任何菜單上繪制向上箭頭形狀3704或向下箭頭形狀3706，以分別增加或降低提供給用戶的信息的級別。例如，用戶可以通過避免發(fā)送關于一個或多個最不關鍵的信息項類別的用戶信息(例如，通過省略境況信息、但是發(fā)送警告信息和行程信息)來縮小境況信息的數(shù)量。

盡管在附圖中未具體示出，但是(與第一實現(xiàn)相比)第二實現(xiàn)方式還可以執(zhí)行其他新手勢。例如，用戶可以在第一菜單上執(zhí)行點擊并保持手勢，以從該菜單轉(zhuǎn)換到動作菜單(其中動作涉及與上下文相關的動作，上下文與第一菜單相關聯(lián))。用戶可以在動作菜單上執(zhí)行相同的手勢以返回到原始(第一)菜單。在這種情況下，與通常用于激活任何菜單的點擊并保持手勢相比，點擊并保持手勢涉及更長的保持動作。

作為另一新手勢，用戶可在菜單的菜單項上執(zhí)行豎直輕彈手勢。aim402將根據(jù)輕彈的方向?qū)⒃搫幼鹘忉尀樵谏匣蛳路较蛏峡焖偾斑M通過菜單項的請求。作為另一新手勢，用戶可對菜單中的菜單項執(zhí)行水平輕彈手勢，以前進到列表中的下一菜單項。用戶可以做出多個這樣的水平輕彈特征，以連續(xù)地前進通過列表，每次通過一個菜單項。

在第一或第二實現(xiàn)(對應于圖11和圖27)中，用戶可以執(zhí)行手勢以將用戶設備106置于口袋模式。當用戶設備106檢測到該手勢時，除了具有取消口袋模式的效果的手勢之外，其將忽略用戶可以做出的任何后續(xù)手勢。如名稱所暗示的，口袋模式在用戶希望將用戶設備106收藏在口袋或一些其他隔室(例如，錢包，包等)中的情況下是有用的。當激活時，口袋模式防止用戶意外觸摸接觸和/或移動被(不正確地)解釋為有意義的手勢。用于調(diào)用和撤銷模式的手勢可以對應于例如指示滑動手勢等。

c.2.聲音和觸覺提示

aim402可以通過利用聲音生成模塊414的使用來呈現(xiàn)各種聲音。aim402還可以使用觸覺提示生成模塊418來呈現(xiàn)各種觸覺反饋體驗(例如，振動提示)。aim402可以響應于不同類型的觸發(fā)事件產(chǎn)生這樣的聲音和振動提示。例如，響應于狀態(tài)的某些改變、響應于用戶采取的某些界面動作(例如，菜單項之間的導航)、響應于行程中的某些事件等，aim402可以呈現(xiàn)這些聲音和觸覺提示。

以下列表描述代表性聲音(和相關聯(lián)的觸覺提示)、以及調(diào)用它們的示例性情況。

加載/忙。當si模塊302處于用戶不能與其交互的狀態(tài)時，aim402可以重復地播放加載/忙的聲音。該聲音向用戶確保si模塊302正在工作，但是它當前正忙于執(zhí)行動作。例如，該聲音可能類似于乒乓球上下彈起；反彈的頻率可以隨著處理接近完成而增加，并且可以以嘹亮的聲音結(jié)束。

到區(qū)域菜單的轉(zhuǎn)換。該聲音指示在專用輔助次級工作空間區(qū)域之一中呈現(xiàn)的次級菜單(而不是在主頁工作空間中的當前上下文菜單)已經(jīng)移動到焦點，并且現(xiàn)在正在呈現(xiàn)。該聲音還可以傳達用戶已經(jīng)執(zhí)行相應手勢的方向。例如，聲音可以類似于嗖嗖聲(swoosh)，如在相應方向上的陣風。此外，在一種情況下，aim402可以將該聲音表達為三維聲音。

從區(qū)域菜單的轉(zhuǎn)換。該聲音指示當前上下文菜單(而不是在專用工作空間區(qū)域之一中呈現(xiàn)的次級菜單)已經(jīng)移回焦點并且現(xiàn)在正被呈現(xiàn)。該聲音還可以傳達用戶已經(jīng)執(zhí)行相應手勢的方向。例如，聲音可能類似于“到區(qū)域菜單的轉(zhuǎn)換”的嗖嗖聲，但是以與“到區(qū)域菜單的轉(zhuǎn)換”的聲音相對的方向移動。同樣，aim402可以可選地將該聲音表達為三維聲音。

菜單激活。該聲音表示菜單現(xiàn)在處于活動狀態(tài)，并且可以被操縱。該聲音可以被描述為漸現(xiàn)(fade-in)聲音，淡入聲音以咬合型(snap-in-type)聲音終止。另外，aim402可以呈現(xiàn)短的振動提示，短的振動提示確認用戶產(chǎn)生狀態(tài)變化的意圖。此外，aim402可以調(diào)用宣布例如“菜單釋放以解除(dismiss)”的語言提示。該提示通知用戶菜單是活動的，并且用戶可以通過將他或她的手指從標記項釋放來停用菜單。

菜單停用。該聲音表示菜單已經(jīng)被停用，因此在不重新激活菜單的情況下，菜單不再可以被操縱。該聲音可以被描述為逐漸消失型(fade-away-type)聲音。

不支持手勢。aim402可以播放指示手勢被識別但是手勢無效(例如，因為它當前不被支持)的該短的聲音。該聲音可能類似于重擊聲(thud)，然后是溫和的雙調(diào)拒絕訪問型通知。aim402可以播放更具體的“不可以后退(cannotgoback)”的聲音，以指示已經(jīng)執(zhí)行了后退手勢，但是例如由于不可能進一步向后，所以后退手勢不能被執(zhí)行。

菜單項改變選擇。該聲音表示用戶已經(jīng)移動到菜單中的菜單項。該聲音的音調(diào)取決于菜單中菜單項的位置，例如，其中音調(diào)可以隨著用戶向上移動列表而增加，并且隨著用戶向下移動列表而減小。此外，在一個實現(xiàn)中，與菜單項的第二分組(與全局項相關聯(lián))相比，aim402可以在遍歷菜單項的第一分組(與上下文特定項相關聯(lián))時呈現(xiàn)不同的比例。在這兩種情況下，用戶可以感知類似于在鋼琴的鍵上運行手產(chǎn)生的聲音；但是在這種情況下每個聲音可以比鋼琴音調(diào)更短，并且類似于氣泡的破裂。

此外，aim402可以在遍歷每個菜單項時呈現(xiàn)振動提示。用戶可以體驗類似于在高低不平的表面上運行手的振動提示，每個隆起表示不同的菜單項。用戶可以有意識地或潛意識地對隆起計數(shù)，以快速獲得他或她在列表中的位置的一般概念。此外，aim402可以在前進到菜單項時呈現(xiàn)音頻消息，音頻消息通知用戶菜單項處于焦點中并且在用戶釋放手指時被選擇。例如，aim402可以通過在列表中給出其號碼并且然后宣布該項的描述來宣布菜單項。

確認菜單選擇。該短聲音指示動作何時導致狀態(tài)的改變。它可以被實現(xiàn)為短而精確的、末端具有嘹亮的樂段的聲音。例如，聲音可能類似于嗶嗶聲，隨后是朝向其末端漸弱的移動摩擦聲音。aim402還可以執(zhí)行確認選擇動作的短振動提示。此外，aim402可以播放確認該項已經(jīng)被選擇的語言提示。

示出對話框菜單。該短聲音表示覆蓋菜單現(xiàn)在正在其他內(nèi)容的頂部呈現(xiàn)。該聲音可以類似于漸現(xiàn)的上升型聲音。aim402還可以提供進一步確認狀態(tài)的改變已經(jīng)發(fā)生的、伴隨的短振動提示。此外，aim402可以播放說明現(xiàn)在正在呈現(xiàn)覆蓋菜單的語言提示。

關閉對話框菜單。該短聲音指示對話框(例如，覆蓋菜單)已經(jīng)被關閉并且焦點已經(jīng)返回到先前的上下文。該聲音可以類似于漸弱的下降型聲音。

上下文切換。該短而明顯的聲音指示例如因為用戶已經(jīng)前進到新的行程步驟等，當前上下文菜單的狀態(tài)已經(jīng)被轉(zhuǎn)換，以呈現(xiàn)新內(nèi)容。該聲音可以類似于嗶嗶聲，隨后是微妙的十字轉(zhuǎn)門噪聲。

上述聲音是代表性的，并且不是aim402可以提供的全套聲音的窮舉。例如，在用戶與aim402交互的同時，以下附加的聲音可以在用戶執(zhí)行某些動作時被觸發(fā)：a)“去往動作(to-actions)”的聲音，其指示動作菜單基于對在先前菜單中的菜單項的選擇被呈現(xiàn)；b)“來自動作(from-actions)”的聲音，其指示活動菜單響應于從動作菜單的返回而被呈現(xiàn)；c)“動作不可用”聲音，其指示已經(jīng)識別針對特定菜單呈現(xiàn)動作的指令，但是不存在與特定菜單相關聯(lián)的動作；d)“項可選擇”聲音，其指示在釋放用戶的手指時，已經(jīng)成功地標記菜單項以供選擇；e)“項不可選擇”的聲音，其指示先前被標記用于釋放時選擇的項現(xiàn)在已經(jīng)被成功地未選擇，并且因此將在用戶的手指釋放時不再被選擇；f)“項不可選擇”的聲音，其指示用于標記用來選擇的項的手勢已經(jīng)被識別，但是手勢不適用于所考慮的項；g)“選擇但不改變”聲音，其指示已經(jīng)進行了選擇，但是焦點沒有改變是適當?shù)?；h)“后退成功”聲音，其指示后退手勢已被識別并且后退動作已被調(diào)用；i)“到標簽的切換”的聲音，其指示“到標簽的切換”手勢已經(jīng)被成功地識別并且標簽菜單現(xiàn)在被呈現(xiàn)；j)“來自標簽的切換”的聲音，以指示“來自標簽的切換”的聲音已經(jīng)被識別，并且已經(jīng)恢復在切換到標簽菜單之前呈現(xiàn)的先前菜單；k)“開始收聽”聲音，其指示si模塊302正在收聽用戶的語音命令；l)“取消收聽”聲音，其指示語音識別模式現(xiàn)在已經(jīng)被取消；m)“完成處理”聲音，其指示應用程序已經(jīng)完成了對語音輸入的接收和處理；n)“動作采取”聲音，其指示已經(jīng)采取動作作為基于語音的輸入的結(jié)果，等。此外，aim402還可以呈現(xiàn)將伴隨上述任何聲音的任何類型的觸覺提示。

可以在用戶與耳機108交互的過程中發(fā)生的某些事件上觸發(fā)以下示例性聲音：a)“按鈕點擊”聲音(在執(zhí)行動作之前播放)，以指示在耳機按鈕上點擊手勢已被識別；b)“按鈕按壓”聲音(在執(zhí)行任何動作之前播放)，以指示在耳機按鈕上已識別了按壓手勢；c)“按鈕保持”的聲音(在執(zhí)行動作之前播放)，其指示在耳機按鈕上已識別保持手勢；d)“取消動作”聲音，其指示從耳機按鈕調(diào)用的任何先前動作已被取消(例如，針對停止宣布作為定向動作的一部分的境況ioi的請求等)。此外，aim402還可以呈現(xiàn)將伴隨上述任何聲音的任何類型的觸覺提示。

在行程過程期間，以下示例性聲音可以在發(fā)生某些事件時被觸發(fā)：a)“開始行程”聲音，以指示行程已經(jīng)開始并且導航正在進行中；b)“模式切換”聲音，其指示用戶已經(jīng)切換他或她的交通模式(例如，從步行到火車等)；c)“節(jié)拍”聲音，以有向地指示用戶嘗試獲得作為導航的一部分的、沿行程的下一點而；d)“警告”聲音，以指示警告信息將要被大聲的讀出、播放，以提高用戶的意識并給予用戶調(diào)入該信息的時間；e)“航點到達”聲音，以指示用戶已經(jīng)到達行程航點并且導航信息將要被大聲讀出、播放，以提高用戶的意識并給予用戶調(diào)入該信息的時間；f)“接近航點”聲音，以指示用戶正在接近航點并且導航信息將要被讀出、播放，以提高用戶的意識并給予用戶調(diào)入該信息的時間；g)“行程更新”聲音，其被播放以指示關于當前行程的改變的信息將被大聲讀出、播放，以提高用戶的意識并給予用戶調(diào)入該信息的時間；h)“境況信息”聲音，其指示境況信息將要被讀出；i)“進一步信息”聲音，其指示附加信息將要被大聲讀出，等。此外，aim402還可以呈現(xiàn)將伴隨上述任何聲音的任何類型的觸覺提示。

一般來說，上述聲音和觸覺提示進一步促進當用戶與他或她的環(huán)境交互時向用戶提供有用信息的目標，而不會不適當?shù)胤稚⒂脩舻淖⒁饬?。例如，用戶在導航菜單時聽到的聲音和觸覺提示允許用戶在不將他或她的注意力從環(huán)境轉(zhuǎn)移的情況下，與菜單交互。

c.3.語音識別模式

系統(tǒng)102支持語音識別模式，其中用戶可以例如除了與耳機108和/或用戶設備106手動交互之外，還經(jīng)由口頭指令向系統(tǒng)102發(fā)出命令?；蛘?，系統(tǒng)102可以使用語音識別模式作為用戶與系統(tǒng)102交互的唯一模式。為了執(zhí)行用戶語音命令的識別，系統(tǒng)102可以依賴于預先存在的語音識別技術(例如，由microsoft公司提供的cortana系統(tǒng))、和/或本地語音識別技術。圖3示出了作為語音處理引擎328的語音識別技術。

如上所述，用戶可以經(jīng)由適當?shù)拿顏碚{(diào)用語音識別模式，適當?shù)拿钔ㄟ^耳機108和/或用戶設備106的菜單發(fā)出。在其他情況下，用戶設備106可能已經(jīng)與作為其默認操作方式的一部分(而不是在執(zhí)行導航的上下文中)的語音識別系統(tǒng)(例如，cortana)交互。這里，用戶可以在語音識別模式下通過在導航應用的名稱之后發(fā)出口頭命令(例如，通過說出命令“soundscape，開始探索模式”)來與si模塊302交互。如果用戶已經(jīng)在導航應用的上下文中激活了語音識別模式，則用戶可以僅僅說“開始探索模式”等。

以下列表標識可以在語音模式下發(fā)起的示例性操作：a)用戶可以打開現(xiàn)有的(保存的)行程；b)用戶可以激活或重新激活定向模式；c)用戶可以激活或停用探索模式；d)用戶可以請求關于特定主題的更多信息；e)用戶可以請求停止所有(或一些)有聲消息；f)用戶可以進行各種參數(shù)設置；g)用戶可以保存旅行信息，等。

示例性命令可以對應于：a)“創(chuàng)建到目的地[x]的路線，在時間[y]處離開，僅使用公共交通[z]”；“找到最近的咖啡店”；c)“將我?guī)У交疖囌尽?；d)“什么時間？e)“增大音量”；f)“從感興趣項中刪除餐館”等。

語音處理引擎328有時可能遇到其理解用戶的命令、但其確定命令省略一個或多個必要信息項的情況。作為響應，語音處理引擎328可以請求用戶提供缺失的信息項。

在其他情況下，語音處理引擎328可能遇到其不理解用戶的命令的情況。在這些情況下，語音處理引擎328可以要求用戶重述該命令。如果不成功，則語音處理引擎328可以向用戶呈現(xiàn)對用戶的話語所提出的解釋(例如，基于對用戶命令中的關鍵字的檢測)，然后詢問用戶解釋中的任一個是否正確。如果不成功，則語音處理引擎328可以邀請用戶經(jīng)由耳機108和/或用戶設備106輸入等效命令。

圖38示出了總結(jié)圖4和圖5的aim402的一種操作方式的過程3802。在框3804中，aim402檢測由用戶執(zhí)行的、與激活相關聯(lián)的工作空間中的菜單的指令相對應的第一手勢。相關聯(lián)的工作空間對應于多個工作空間中的一個，并且相關聯(lián)的工作空間具有相對于多個工作空間中的其他工作空間的確定的空間關系。例如，第一手勢可以對應于參考圖24描述的上述點擊并保持手勢。在框3206中，aim402響應于第一手勢激活菜單。

在框3808中，aim402在菜單中的菜單項集合之間檢測由用戶執(zhí)行的、對應于前進到特定菜單項的指令的第二手勢。例如，第二手勢可以對應于上述(例如，參考圖25和圖31)任何類型的滾動或平移手勢。在框3810中，aim402響應于第二手勢前進到特定菜單項。

在框3812中，aim402檢測由用戶執(zhí)行的、與選擇特定菜單項的指令相對應的第三手勢。例如，第三手勢可以對應于圖25所示的釋放手勢的類型或者圖32所示的“拉到側(cè)面”手勢的類型。在框3814中，aim402響應于第三手勢執(zhí)行操作。操作可以對應于動作的調(diào)用、參數(shù)的設置、信息的呈現(xiàn)等。

總之，上述特征允許用戶安全和有效地移動通過他或她的環(huán)境。例如，當用戶在環(huán)境中移動時，工作空間提供用戶友好的方式來向用戶展現(xiàn)最相關的信息。此外，一些特征允許用戶與用戶界面演示交互，而不將視覺注意力引導到該演示，和/或不必執(zhí)行將用戶的注意力從與環(huán)境交互的物理任務轉(zhuǎn)移的麻煩和復雜的手勢。例如，在不查看用戶界面演示的情況下，用戶可以使用單個手執(zhí)行一些手勢。

d.使用聲音促進用戶與其環(huán)境之間的交互

如在開端部分a中所描述的，(圖4的)聲音生成模塊414可以生成非三維(非空間)聲音和三維(空間)聲音。三維聲音是即使其在物理空間中沒有實際起源，但是用戶感知為從物理空間中的至少一個位置發(fā)出的聲音。具體地，圖39示出了使用三維音頻信息來創(chuàng)建對從空間內(nèi)的特定位置發(fā)出的聲音的感知。圖40示出了使用三維音頻信息來創(chuàng)建對跨越空間內(nèi)的一系列位置移動的聲音的感知。

在一個實現(xiàn)中，聲音生成模塊414可以使用例如在數(shù)據(jù)存儲庫416中提供的頭部相關的傳遞函數(shù)(hrtf)的庫來產(chǎn)生三維聲音。hrtf對人臉的解剖特征進行建模，人臉的解剖特征具有與人在其環(huán)境中感知聲源的方式有關的個人特征。為了產(chǎn)生三維聲音，聲音生成模塊414可以選擇適合于特定人以及空間中的特定聲音位置(相對于人的位置)的hrtf。然后，聲音生成模塊414可以應用該hrtf來修改非三維聲音(例如，平坦的或非空間聲音)，以例如通過將非空間聲音與所選擇的hrtf進行卷積來產(chǎn)生三維聲音。

更具體地，在一種情況下，聲音生成模塊414可以接收輸入信息，該輸入信息描述：(a)待播放的非三維聲音；(b)空間中聲音被感知為源自其的位置；以及(c)(可選地)用戶的身份。輸入信息可以通過提供標識數(shù)據(jù)存儲庫416中的音頻信息和/或可以提供音頻信息本身的參考信息來描述非三維聲音。例如，非三維聲音可以對應于指示音和/或有聲消息。然后，對于用戶的每個耳朵，聲音生成模塊414可以：(a)針對考慮中的特定用戶，標識與位置相關聯(lián)的hrtf；和(b)將hrtf應用于非三維聲音，以產(chǎn)生三維聲音。提供給聲音生成模塊414的輸入信息可以源自下面描述的si模塊302的其他模塊中的一個或多個(例如，對應于路徑引導模塊420、相關信息確定(rid)模塊426、探索模塊430、定向模塊432等)。

聲音生成模塊414關于在數(shù)據(jù)存儲庫416中提供的hrtf庫來執(zhí)行上述功能。在一個實現(xiàn)中，si模塊302可以在數(shù)據(jù)存儲庫416中存儲已經(jīng)為特定個體準備的(并因此考慮這些人的特定解剖特征的)hrtf。例如，針對每個人，可以通過測量每個人的面部物理特征來獲得hrtf。該任務又可以以手動方式(例如，通過使用物理距離測量工具)、通過使用深度相機(例如，通過使用由華盛頓州雷德蒙德的微軟公司提供的kinect系統(tǒng))等來執(zhí)行。更具體地，針對特定人生成的hrtf集合包括針對空間中的聲音的每個位置(相對于用戶的頭部的位置)以及針對用戶的兩只耳朵中的每一個的hrtf。不同的實現(xiàn)可以委托不同的個人(例如，聲學工程師、系統(tǒng)管理員、最終用戶等)來創(chuàng)建這些hrtf。

在第二實現(xiàn)中，聲音生成模塊414可以存儲hrtf針對不同的相應人群執(zhí)行良好的單獨的組。系統(tǒng)102然后可以邀請最終用戶選擇被感知為產(chǎn)生最真實的三維聲音的hrtf的集合。例如，用戶可以通過請求系統(tǒng)102使用不同的hrtf產(chǎn)生相同的三維聲音(一個或多個)來在設置階段做出該選擇；用戶可以選擇產(chǎn)生最期望的結(jié)果的聲音(一個或多個)(和對應的hrtf)。在第三實現(xiàn)中，聲音生成模塊414可以存儲已經(jīng)被證明適合于大量用戶的hrtf的單個集合，即使這些hrtf沒有針對任何特定的人或人群定制。還可以使用其他技術來生成和/或選擇合適的hrtf。

在一個實現(xiàn)中，聲音生成模塊414生成傳達寬帶音頻信息的三維聲音。寬帶音頻信息是包括廣泛分布的音頻頻率(例如，在一個實現(xiàn)中，在300hz到3.4khz的范圍中)的音頻信息。此外，各個三維聲音本質(zhì)上是表達性的，以進一步強調(diào)它們的方向性。例如，一個這樣的三維聲音可以類似于從左到右或從左到右吹來的陣風。音頻信息的其他屬性(除了其基于hrtf的方向性之外)(例如，通過提供音量、音調(diào)、混響、循環(huán)頻率(用于重復聲音)等的變化等)可以有助于其表現(xiàn)性。所有這些因素有助于對聲音源自物理空間中的特定位置(一個或多個)的真實感知。

還如部分a中所述，不同的模塊可以利用三維聲音來用于不同的目的和不同的操作模式。這些模塊包括路徑引導模塊420、rid模塊426、探索模塊420、定向模塊432等。為了簡化描述，每個這樣的模塊有時被描述為產(chǎn)生三維聲音。實際上，每個模塊通過生成上述輸入信息來產(chǎn)生聲音，并將輸入信息饋送給聲音生成模塊414；聲音生成模塊414然后使用輸入信息來產(chǎn)生實際的三維聲音。

參考圖41，首先考慮路徑引導模塊420的操作。如已經(jīng)描述的，路徑引導模塊420確定用戶前進的當前方向。路徑引導模塊420可以基于由系統(tǒng)的定向確定機構(gòu)(一個或多個)、運動確定機構(gòu)(一個或多個)、位置確定機構(gòu)(一個或多個)等提供的任何信息進行該評估。在一種情況下，例如，路徑引導模塊420可以確定用戶的頭部被指向的方向(例如，基于耳機108中的定向確定機構(gòu))，然后使用該信息作為用戶被推定為前進的方向的代理(proxy)。備選地或附加地，路徑引導模塊420可以確定用戶最近經(jīng)過的一系列位置。路徑引導模塊420可以使用該信息來計劃用戶看起來前進的方向。備選地或附加地，路徑引導模塊420可以確定用戶有意指向他或她的用戶設備106的方向。

路徑引導模塊420還可以確定用戶的期望方向。路徑引導模塊420可以至少基于用戶的當前位置和下一航點的位置來確定期望的方向。路徑引導模塊420還可以在確定期望方向時考慮地圖信息。例如，地圖信息可以以各種方式(例如，通過道路的線路、任何類型的障礙物等)顯示用戶的路徑被限制。路徑引導模塊420可以使用所有這些信息來確定用戶應當前進的方向，以最終將用戶放置到可能以最有效的方式達到下一個航點的線路上。

基于實際方向和期望方向，路徑引導模塊420然后可以確定用戶可能偏離期望方向的程度，例如以提供偏離信息。路徑引導模塊420然后可以使用偏離信息(例如，通過將偏離信息作為輸入信息的一部分饋送到聲音生成模塊414)來生成三維聲音，該三維聲音將具有將用戶轉(zhuǎn)向期望方向的效果。

為了闡明以上描述，考慮圖41的圖示。這里，用戶位于當前位置4102處。下一航點(w)位于目標位置4104處。用戶的當前(實際)方向被表示為方向4106。用戶期望的方向4108對應于將用戶的當前位置4102與目標位置4104連接的向量，但是如上所述，這不需要在所有情況(例如，由于阻塞從當前位置4102到目標位置4104的直接路線的障礙)下都是這種情況。偏離信息可以對應于當前方向4106和期望方向4108之間的角度差。

響應于上述確定，路徑引導模塊420可以(使用聲音生成模塊414)產(chǎn)生看起來源自位置4110的三維聲音。換言之，用戶當前朝向期望方向4108的左側(cè)。用戶將聽到向右發(fā)出的方向提示。用戶將該提示感知為促使用戶向右移動以校正他或她的路徑的方向。如果用戶開始以離期望方向4108的右側(cè)太遠的方向移動，則路徑引導模塊420可以在用戶左側(cè)產(chǎn)生(使用聲音生成模塊414)三維聲音。用戶可以繼續(xù)，以基本上跟隨或追求感知的三維聲音的方向。當用戶朝正確的方向前進時，三維聲音將被感知為直接在用戶前方發(fā)出；用戶然后直接朝向該聲音。

如上所述，路徑引導模塊420可以使用聲音生成模塊414來創(chuàng)建本質(zhì)上周期性的三維聲音，例如，對應于節(jié)拍聲。例如，節(jié)拍聲可以對應于重復的單音調(diào)或雙音調(diào)或n音調(diào)剪輯聲音等。附加地或備選地，三維聲音可以看起來為以用戶被促使移動的方向(例如，從左到右或從右到左等)移動。

此外，路徑引導模塊420可以向聲音生成模塊414提供輸入信息，聲音生成模塊414具有根據(jù)用戶的實際當前方向4106偏離期望方向4108的程度來改變節(jié)拍聲音的一個或多個音頻特性的效果。例如，路徑引導模塊420(結(jié)合聲音生成模塊414)可以在用戶與理想路徑的當前偏離在第一閾值內(nèi)時，產(chǎn)生具有第一音調(diào)和/或第一循環(huán)頻率的節(jié)拍聲。當用戶的當前偏離在第一閾值之外但在第二閾值內(nèi)時，路徑引導模塊420(結(jié)合聲音生成模塊414)可以產(chǎn)生具有第二音調(diào)和/或第二循環(huán)頻率的節(jié)拍聲，等。路徑引導模塊420可以將用戶的偏離分類為任何數(shù)目的這樣的偏離類別，每個偏離類別與特定節(jié)拍聲音相關聯(lián)。

在圖41的特定示例中，路徑引導模塊420限定了與期望方向4108的偏離的第一范圍4112和與期望方向4108的偏離的第二范圍4114，第二范圍4114大于第一范圍4112。當前方向4106落入第二范圍4114內(nèi)，因此路徑引導模塊420(結(jié)合聲音生成模塊414)將生成適合于該范圍4114的節(jié)拍聲。

在實際實踐中，路徑引導模塊420在很多情況下是有用的，但是在兩種情況下可以被認為是最有用的。在第一種情況下，在可用選項的固定集合中，用戶可以到達他或她預期在特定方向上轉(zhuǎn)向的交叉點。或者用戶可以到達道路中其期望選擇可能路徑之一的分叉。路徑引導模塊420(結(jié)合聲音生成模塊414)可以通過播放用戶感知為解決他或她的導航選擇的三維節(jié)拍聲音來向用戶提供明確的引導。例如，當站在交叉點時，用戶將聽到引導他或她向左或向右(例如)的節(jié)拍聲音。當站在路上的分叉處時，用戶將感知將他或她沿道路中的正確分叉引導的節(jié)拍聲音。

在第二種情景中，用戶正在跨越更多的開放空間移動，在該空間中，他或她被給予更大的活動范圍以逐漸偏離線路(與用戶沿明確限定的道路或路徑行走的情況相比)。這里，路徑引導模塊420可以以圖41所示的方式給予用戶增量的微移，以使用戶保持正確的航向。

在另一使用場景中，相關信息確定(rid)模塊426可以在沿用戶路徑的每個點處以及針對每個對應的當前境況，確定相關感興趣項(ioi)(例如，境況ioi)的位置。然后，rid模塊426可以使用聲音生成模塊414來為每個ioi生成三維聲音。用戶將感知到該聲音源自物理空間中對應物理實體的實際位置，即，假定ioi對應于空間中具有離散物理位置的物理實體。例如，rid模塊426(結(jié)合聲音生成模塊414)可以為在用戶附近具有對應物理實體的特定ioi生成以下音頻信息：[3d聲音]，“jane的咖啡店，餐館，向前30英尺”。換言之，在這種情況下，音頻信息包括三維聲音，之后緊接著是有聲消息。用戶將三維初步聲音感知為從jane的咖啡店的物理位置發(fā)出。有聲消息也可以呈現(xiàn)為三維聲音(但不一定是)?？蛇x地，有聲消息可以備選地包括附加(或更少)的信息字段，或者可以完全省略。

在其他情況下，ioi可以在空間中具有一般來源，而不是精確位置。例如，ioi可以對應于與一般區(qū)域相關聯(lián)的廣告，該一般區(qū)域又對應于公共汽車站。rid模塊426(結(jié)合聲音生成模塊414)可以針對該ioi生成用戶感知為從公共汽車站的一般區(qū)域或從該區(qū)域的中心等發(fā)出的聲音。該類型的ioi可以被認為是虛擬的，因為其不旨在描述公共汽車站，而是作為公共汽車站的音頻屬性操作。

在另一實現(xiàn)中，音頻信息還可以包括規(guī)定ioi相對于用戶的方向位置的語言提示。該方向提示可以被概況地表示(例如，通過規(guī)定jane的咖啡店在用戶前方且向右)，或者更詳細地表示(例如，通過規(guī)定jane的咖啡店相對于用戶的當前方向位于10點鐘)。附加地或備選地，rid模塊426(結(jié)合聲音生成模塊414)可以例如通過針對餐館播放第一類型的聲音和針對洗手間設施播放第二類型的聲音等為不同的相應ioi類別提供不同的三維聲音。

例如，在探索模式和定向模式下，探索模塊430和定向模塊432分別利用rid模塊426的上述行為。如部分a中所述，用戶可以例如經(jīng)由與耳機108和/或用戶設備106的手動交互和/或經(jīng)由語音指令來輸入明確地激活和停用這些模式的命令。

更具體地，圖42示出了以探索模式操作的探索模塊430的示例性行為。在該模式下，一旦探索模式被用戶激活，則探索模塊430確定用戶的當前位置和用戶的當前感興趣焦點。例如，探索模塊430可以使用耳機108和/或用戶設備106上的任何位置確定機構(gòu)(一個或多個)來確定(例如，使用gps傳感器等)用戶在當前時間的位置。探索模塊430可以使用耳機108和/或用戶設備106上的任何定向機構(gòu)(一個或多個)來確定用戶看起來將其身體定向的方向。例如，耳機108上的定向機構(gòu)(一個或多個)可以確定用戶頭部指向的方向，用戶頭部指向的方向可以用作用戶感興趣的焦點的代理指示。備選地或附加地，系統(tǒng)102可以指示用戶將用戶設備106指向與他或她的感興趣焦點匹配的方向；在這種情況下，用戶設備106的定向機構(gòu)(一個或多個)將正確地反映用戶期望的感興趣的焦點。還可以使用其他技術來評估用戶的推定的感興趣焦點。

接下來，探索模塊430定義感興趣的搜索空間。在一種情況下，探索模塊430可以將搜索空間定義為以用戶的推定的感興趣焦點為中心的任何形狀的體積。例如，體積可以對應于源自用戶的當前位置的并且被用戶的假定的感興趣焦點二等分的楔形體積。系統(tǒng)定義和/或用戶定義的參數(shù)設置可以規(guī)定體積的深度、體積的角度跨度、體積的寬度等。

接下來，探索模塊430可以使用rid模塊416來針對感興趣的ioi(例如但不限于境況ioi)的存在搜索該體積。rid模塊416可以通過咨詢提供關于ioi的信息的一個或多個數(shù)據(jù)存儲庫連同定義用戶的特定興趣的任何參數(shù)設置來執(zhí)行該任務(例如，用戶可能已經(jīng)通過排除咖啡店信息來指示他或她默認地對餐廳信息感興趣)。在一些情況下，ioi可以與搜索空間相關聯(lián)，因為ioi具有物理上位于搜索空間中的對應的物理實體。在其他情況下，由于以任何其他方式建立的某種其他關系，ioi可以與搜索空間相關聯(lián)。例如，管理員(或最終用戶自己)可以預先手動地規(guī)定地鐵站的出口附近的區(qū)域?qū)⑴c天氣報告ioi相關聯(lián)，等。

最后，探索模塊430可以生成宣布已經(jīng)標識的ioi的存在的三維音頻消息。探索模塊430可以通過利用聲音生成模塊414以上述任何方式生成這些消息。例如，如上所述，音頻信息可以對應于簡介性聲音，隨后是宣布ioi的有聲消息。探索模塊430(結(jié)合聲音生成模塊414)可以按順序(例如，以跨越體積的順時針順序或逆時針順序，和/或通過增加或減小相對于用戶的位置的距離等)讀取這些ioi。

圖42闡明了上述操作的方式。這里，用戶當前位于當前位置4202處。用戶的當前注意力方向由虛線4204指示。搜索體積由輪廓4206限定，輪廓4206被用戶的注意力方向二等分。該搜索體積限定角度寬度(angularswath)，并且還可具有規(guī)定的高度(未示出)(例如，30英尺)?？傮w來說，搜索體積類似于楔形。探索模塊430使用rid模塊426來在搜索體積中找到三個境況ioi。探索模塊430(結(jié)合聲音生成模塊414)通過看起來源自與境況ioi相關聯(lián)的物理實體的位置的三維聲音來宣布這些境況ioi。

總的來說，用戶可以通過旋轉(zhuǎn)其注意力方向(圍繞其當前位置旋轉(zhuǎn))分階段地與探索模塊430交互。在每個階段，在移動到新的注意力焦點之前，用戶可以等待聽到ioi，該ioi位于由用戶當前推定的注意力焦點限定的搜索體積內(nèi)(或者以其他方式與該搜索體積相關聯(lián))。例如，在一種情況下，由用戶的感興趣的方向包圍的寬度(swath)是45度。用戶可以通過向東北、東南、西南和西北轉(zhuǎn)向，連續(xù)地對其周圍的ioi進行完整的盤點。在每個定向處，用戶將聽到包圍在感興趣的象限中的ioi。

根據(jù)另一示例性特征，用戶可以在聽到其宣布之后以任何方式選擇ioi。例如，用戶可以在聽到關于jane的咖啡店之后發(fā)出語音指令“帶我去”或“更多信息”?；蛘?，用戶可以通過將他或她的注意力焦點轉(zhuǎn)向ioi的感知位置(例如，基于宣布該ioi的、感知到的三維聲音的位置)來選擇ioi。用戶可以例如通過將他的頭部或身體或用戶設備106直接轉(zhuǎn)向ioi的感知位置來執(zhí)行該任務?；蛘?，用戶可以通過由用戶設備106提供的適當菜單來選擇ioi?；蛘撸脩艨梢栽诼牭絠oi被宣布之后，經(jīng)由耳機按鈕做出適當?shù)倪x擇，等。響應于以任何方式作出的ioi的選擇，si模塊302可以呈現(xiàn)關于ioi的附加信息，或提供關于如何到達ioi的指令，等。si模塊302還可以通過增加宣布所選擇的ioi的存在的三維聲音的音量或者通過以其他方式使該聲音在用戶體驗中更突出來確認用戶的選擇。

最后，定向模塊432通過以上述方式確定用戶的當前位置來操作。然后它定義用戶周圍的三維體積。例如，三維體積可以對應于圓柱體或球體或者盒體或矩形(例如)，其中用戶位于體積的中心。定向模塊432然后使用rid模塊426來標識存在于體積內(nèi)的ioi集合(如果存在)。定向模塊432然后使用聲音生成模塊414以任何順序讀出ioi。

例如，在圖43中，定向模塊432限定具有圓柱體形狀的三維體積，用戶位于其當前位置4302的中心處。定向模塊432使用rid模塊426來標識位于圓柱體內(nèi)的、或者以其他方式與由圓柱體限定的空間相關聯(lián)的ioi。然后，定向模塊432以任何順序讀出ioi。例如，考慮訪問具有三層樓的商場的用戶。假定用戶站在商場一樓的露天中庭。定向模塊432可以讀取它在逐層(例如，樓層z1、樓層z2、然后樓層z3)的基礎上找到的ioi。定向模塊432可以以任何順序(例如，順時針順序、逆時針順序等)宣布每個樓層上的ioi。然后，用戶可以可選地以上述任何方式選擇任何ioi。

作為結(jié)束評論，上述解釋闡述了使用三維聲音來宣布諸如餐館等的境況ioi的存在。但是si模塊302可以使用三維聲音來宣布存在任何類型的ioi，例如，警告ioi和行程ioi。例如，si模塊302可以生成關于道路中坑洼的警告，坑洼看起來源于坑洼的位置。作為另一闡明，si模塊302還可以以平面或非空間方式遞送很多類型的ioi。例如，si模塊302可以產(chǎn)生不具有方向性的另一警告ioi，以整體地通知用戶其當前正在行進的道路由于下雨而打滑。

此外，以上描述基于使用用戶感知為源自物理空間中的位置的聲音。附加地或備選地，觸覺提示生成模塊418可以生成傳送方向信息的振動提示。例如，耳機108可以包括兩個或更多個振動機構(gòu)，例如在其框架602的左側(cè)上的第一振動機構(gòu)和在其框架602的右側(cè)上的第二振動機構(gòu)。觸覺提示生成模塊418可以激活第一或第二振動機構(gòu)，以分別向用戶提供左轉(zhuǎn)或右轉(zhuǎn)的指令。這種類型的指令可以通過包括附加的振動機構(gòu)而包括附加的分級。通過激活用戶設備106上的不同振動機構(gòu)(例如，通過激活左側(cè)振動機構(gòu)來提供左轉(zhuǎn)的提示，并且通過激活右側(cè)振動機構(gòu)來提供右轉(zhuǎn)的提示)，可以實現(xiàn)相同的效果。振動機構(gòu)可以被耦合到用戶身體的其他設備或部分。

圖44示出了描述使用三維聲音來引導用戶沿期望路線導航的過程4402。在框4404中，si模塊302確定在空間內(nèi)沿路線的用戶的當前位置。在框4406中，si模塊302生成三維聲音。三維聲音創(chuàng)建由用戶感知為三維聲音從空間內(nèi)的至少一個特定位置發(fā)出的感知。在框4408中，si模塊302將三維聲音遞送給用戶。三維聲音輔助用戶沿路線導航。

圖45示出了描述以下一個方式的過程4502：路徑引導模塊420可以使用三維聲音來沿期望路線引導用戶。在框4504中，路徑引導模塊420確定用戶朝向的當前方向。在框4506中，路徑引導模塊420標識期望用戶朝向的期望方向。在框4508中，路徑引導模塊420確定當前方向和期望方向之間的差，以提供偏離信息。在框4510中，路徑引導模塊420使用聲音生成模塊414來基于偏離信息生成周期性三維聲音(例如，節(jié)拍聲音)。該三維聲音將用戶朝著期望的方向指導。三維聲音可以具有取決于用戶偏離期望方向的程度的一個或多個屬性(例如，音調(diào))。

圖46示出了描述其中si模塊302可以使用三維聲音來標識和宣布ioi的一個方式的過程4602。在框4604中，si模塊302確定感興趣項(ioi)的集合，每個感興趣項對應于在當前境況中與用戶相關的實體或事件或信息片段。在框4606中，si模塊302為每個感興趣項生成三維聲音。用戶將聲音感知為源自與感興趣項相關聯(lián)的相同物理位置(一個或多個)(例如，通過將與商店相關聯(lián)的聲音感知為從商店的位置發(fā)出)。

在一種情況下，當用戶遍歷路線時，si模塊302可以將過程4602應用為后臺服務。例如，如由任何基于距離的參數(shù)設置所管理的，當用戶充分接近與這些ioi相關聯(lián)的位置時，rid模塊426可以提醒用戶ioi的存在。

在另一場景中，如框4608所示，探索模塊430可以通過使用rid模塊426來應用上述一般過程4602，以標識與用戶的注意力當前被指向或者推測為當前被指向的子空間相關聯(lián)的ioi集合。在另一場景中，如方框4610所示，定向模塊432可以通過使用rid模塊416來應用上述一般過程4602，以標識與當前時間用戶周圍的整個空間相關聯(lián)的ioi集合，而不需要參考用戶的當前感興趣焦點(因為用戶現(xiàn)在對他或她周圍的空間的完整體積感興趣)。用戶可以通過例如經(jīng)由耳機108或用戶設備106發(fā)出適當?shù)闹噶顏碚{(diào)用和暫停探索模塊430或定向模塊432的讀出。

作為最后一個話題，上述示例基于如下簡化的假定：虛擬聲音產(chǎn)生實體(例如，虛擬聲源)在空間中的位置相對于收聽者的位置至少在遞送三維聲音的過程中是穩(wěn)定的。在很多情況下，這可能是一個有效的假定，但它可能不適用于所有情況。

例如，考慮以下場景。在第一種情況下，當用戶在任何類型的交通工具中(例如，在火車上)通過實體時，用戶可以收聽描述(或以其他方式涉及)固定位置實體的三維聲音。例如，當用戶作為乘客在汽車中行進時，在相對于spaceneedle的任何方向上，用戶可以收聽描述西雅圖spaceneedle塔的消息。在第二種情況下，當用戶靜止不動但是仍然移動他或她的頭部，使得用戶的左耳和右耳相對于固定位置實體的位置改變時，可以收聽描述(或以其他方式涉及)固定位置實體的三維聲音。在第三種情況下，用戶可以收聽描述(或以其他方式涉及)相對于收聽者的固定位置處于運動中的實體的三維聲音。例如，當用戶保持在機場航站樓中的固定位置時，用戶可以收聽宣布正沿跑道移動的飛機到達的消息。在第四種情況下，ioi和用戶的位置均可能在音頻信息的遞送期間處于運動中。

另外注意，ioi不需要總是對應于物理實體(例如，spaceneedle塔或移動的飛機)。例如，移動的“虛擬”ioi可以對應于虛擬廣告牌，該虛擬廣告牌遞送用戶感知為沿街道朝夜總會的入口移動的空間消息，誘使用戶進入該場所。此外，本文中關于與ioi相關聯(lián)的聲音闡述的一切同樣適用于其他聲音(例如，周期性節(jié)拍聲)。

為了解決上述任何情況，si模塊302可以動態(tài)地更新其在其遞送過程中產(chǎn)生的三維音頻信息，以在每個時刻反映用戶的頭部和ioi之間的相對位置(例如，在上面引用的示例中的spaceneedle或移動的飛機的位置)。si模塊302可以以不同的方式執(zhí)行該任務。在一個非限制性方法中，si模塊302可以在音頻信息遞送上的迭代過程中執(zhí)行以下操作：(a)確定用戶的頭部相對于ioi的位置，以提供相對位置信息；(b)基于相對位置信息選擇hrtf(每個耳朵)；(c)對由所選擇的hrtf在當前時間要遞送的任何音頻信息進行卷積，以基于相對位置信息產(chǎn)生適合的三維聲音。

舉一個具體示例，考慮需要五秒來遞送給用戶的消息。針對該遞送的每秒，si模塊302可以確定用戶的頭部和ioi之間的相對位置。si模塊302可以使用該信息來針對消息遞送的每一秒產(chǎn)生基于在該時刻用戶頭部和ioi之間的相對位置的三維聲音。

更一般地，可以以不同的更新速率執(zhí)行上述迭代處理。更新速率可以取決于收聽者和ioi之間的相對位置變化的速率。即，si模塊302可以針對相對位置信息的大的相對變化以相對快的速率更新hrtf，并且針對較慢的變化以較慢的速率來更新hrtf。更新速率還可以考慮在系統(tǒng)102中可用以更新三維聲音信息的處理資源的量。

si模塊302還可以應用被設計為加速上述動態(tài)處理(其可以表示對其資源的大處理負擔)的各種技術。例如，在一些情況下，由于：(a)收聽者在空間中的移動；或(b)ioi在空間中的移動；或(c)收聽者和ioi的移動，系統(tǒng)102可以針對至少一個預測軌跡預先計算動態(tài)聲音；每個這樣的軌跡定義了收聽者和ioi之間的某種類型的預期相對運動。例如，假定火車每天以大致相同的速度經(jīng)過ioi。在這種情況下，可以預先計算基于動態(tài)變化的hrtf的三維聲音(每個耳朵)。當列車沿軌道移動時，該三維聲音考慮了用戶頭部的假定的進展，并且可以基于當用戶沿軌道移動時，用戶的頭部具有預定的固定定向的簡化假定。si模塊302可以在其檢測到收聽者的位置相對于ioi到達預定觸發(fā)位置(例如，沿軌道、距ioi預定距離的位置)時，啟動該三維聲音。

可以擴展上述操作方式以解釋不同的場景。例如，系統(tǒng)102可以預先計算不同的動態(tài)三維聲音，以考慮不同的列車速度、不同的固定頭部定向(例如，指示用戶在消息的遞送期間是否正向前看，或者是否正在看向窗戶外面等)等。

上述情況還可以擴展到更一般的設置，其中用戶和ioi之間的移動可以被分解成多種可能性，從而允許針對這些可能性預先計算相應的動態(tài)三維聲音。si模塊302然后可以在確定用戶的當前境況匹配預定可能性中的一個時發(fā)出任何預先計算的聲音。

在另一種情況下，si模塊302可以動態(tài)地執(zhí)行處理，以例如基于用戶的當前航向來預測用戶相對于ioi的位置的移動。si模塊302然后可以基于用戶相對于ioi的計劃軌跡來動態(tài)地預先計算三維聲音。

還可以使用其他技術來加速動態(tài)變化的三維聲音的計算。在一些實現(xiàn)中，例如，si模塊302可以利用遠程處理資源112的增強的處理能力(例如，通過利用由這些資源112執(zhí)行的并行處理)。

總之，上述特征有助于允許用戶有效地、安全地和愉快地移動通過他或她的環(huán)境的上述目標。例如，當用戶穿過環(huán)境時，使用不同的演示模式，特征向用戶提供不同類別的信息。該功能以用戶友好的方式將該信息呈現(xiàn)給用戶，從而避免在任何給定時間使用戶被太多信息壓倒。使用三維聲音還增強了用戶理解所提供的信息與環(huán)境中的對象、區(qū)域和事件之間的聯(lián)系的能力。

e.使用信標來輔助用戶與其環(huán)境交互

以下部分提供關于基于信標的引導模塊422的操作的附加信息。注意，基于信標的引導模塊422提供用于通過利用信標來引導用戶通過空間的策略，信標具有限定的相應范圍?？臻g可以對應于室內(nèi)空間，例如由一個或多個建筑物或任何類型的結(jié)構(gòu)的內(nèi)部限定的空間。備選地或附加地，空間可對應于戶外空間。

信標可以發(fā)射任何類型的電磁輻射，例如無線電波、紅外波等。在其他情況下，信標可以發(fā)射聲波(例如，在超聲波范圍內(nèi))。此外，在一些情況下，信標可以根據(jù)任何協(xié)議(例如，藍牙協(xié)議、wi-fi協(xié)議等)或協(xié)議組合生成信號。例如而非限制，信標可以對應于藍牙低能量(ble)信標。此外，信標可以具有任何期望深度的范圍，以最佳地適應其被部署的目標環(huán)境。在一些室內(nèi)設置中，例如，選擇具有相對較短范圍(例如，一個或多個米的范圍)的信標。在一些情況下，信標的規(guī)定范圍可以基于其信號要由特定類型的用戶設備(例如，特定智能電話)或特定類別的用戶設備(例如，特定類型的智能手機)檢測的隱含或明確陳述的假定，用戶設備具有已知和穩(wěn)定的信號接收特性。

在另一種情況下，每個信標是無源設備(例如，無源rfid)，當該設備在距信標的規(guī)定距離內(nèi)時，無源設備可以由用戶設備106(或一些其他詢問設備)詢問。該規(guī)定距離對應于設備的范圍。然而，為了便于解釋，剩余的描述將假定每個信標主動地發(fā)射信號。

在一個實現(xiàn)中，每個信標擁有定義其身份的代碼。信標可以持續(xù)地或周期性地(或以按需方式)發(fā)出宣告其代碼(和/或任何其他應用特定的信息)的信號，該信號可以由信標的范圍內(nèi)的接收設備檢測。例如，考慮具有大約一米的范圍的ble信標。位于該范圍內(nèi)的接收設備可以檢測信標的信號并讀取其特定代碼。

在圖47的示例中，室內(nèi)(和/或室外)環(huán)境的特征在于走廊和障礙物(例如，障礙物1、障礙物2和障礙物3)的集合。該場景涉及例如通過將信標放置在兩個或更多個走廊的每個交叉點處來使用信標的集合(例如，信標b1、b2、...b7)預先填充環(huán)境。圍繞每個信標的最外的虛線圓表示信標的范圍。如上所述，位于信標的范圍內(nèi)的接收設備可以成功地檢測信標；否則，接收設備將不知道信標。注意，在一個示例性實現(xiàn)中，信標的范圍不重疊。該特征是有利的，因為它消除了在任何給定時間，用戶的位置的任何模糊性。換言之，用戶的設備不能同時檢測兩個或更多個信標，因為這些信標的范圍不重疊，并且用戶不能同時存在于兩個地方。在一些環(huán)境中，還可以通過考慮將接收從信標發(fā)射的信號的用戶設備(或設備類別)的性質(zhì)來確保信標范圍的非重疊性質(zhì)。

作為第一初步步驟，所有信標在圖47的環(huán)境中的位置可以被加載到數(shù)據(jù)存儲庫424中。數(shù)據(jù)存儲庫424還可以存儲與這些信標相關聯(lián)的代碼。

作為第二初步步驟，系統(tǒng)102可以使用任何路線規(guī)劃工具來生成通過圖47的環(huán)境的路線。路線規(guī)劃工具可以應用任何算法來執(zhí)行此任務。例如，路線規(guī)劃工具可以將由走廊和障礙物限定的搜索空間表達為具有多個節(jié)點和鏈路的圖表。即，鏈路表示走廊，節(jié)點表示走廊的交叉點。路線規(guī)劃工具然后可以使用任何算法(例如，公知的dijkstra算法)來找到通過圖表的最有效的路徑。一旦定義了路線，基于信標的引導模塊422就可以標識將由用戶在路線中行進時遍歷的信標子集(在本文中被稱為路線特定的信標)，并且存儲這些信標的身份。在圖47的情況下，用戶預期會遇到所有的信標，但通常不是這種情況(下文將闡明)。

現(xiàn)在假定用戶使用上述系統(tǒng)102作為引導來開始路線。系統(tǒng)102可以經(jīng)由耳機108和/或用戶設備106來以上述方式向用戶提供實時引導。然而，在這種情況下，與上述技術相比，系統(tǒng)102使用不同的技術來確定用戶在每個時間的當前位置。

更具體地，基于信標的引導模塊422持續(xù)地掃描環(huán)境，以確定用戶是否在任何信標的范圍內(nèi)。如果是，則基于信標的引導模塊422將用戶的當前位置標識為已經(jīng)檢測到的信標的當前位置。換言之，基于信標的引導模塊422先驗地知道與檢測到的信標及其在環(huán)境中的位置相關聯(lián)的代碼。如果用戶的耳機108或用戶設備106檢測到該信標的存在(基于由所檢測的信號傳送的代碼)，則基于信標的引導模塊422可以假定用戶具有與所檢測的信標相同的位置。

在該接合點處，基于信標的引導模塊422可以利用路徑引導模塊420的服務，以使用三維聲音和/或基于其他引導信息(例如，非三維聲音、顯示的指令等)以期望方向引導用戶。例如，假定用戶的用戶設備106檢測到它在信標b4的范圍中。路徑引導模塊420將基于預定旅程信息確定沿用戶行程的下一航點對應于信標b5。路徑引導模塊420然后可以生成用戶將感知為源自用戶的右側(cè)的三維聲音，三維聲音用于將用戶引向下一航點(例如，信標b5)。用戶將該提示解釋為他或她應該向右轉(zhuǎn)向的指令。用戶將以該方向繼續(xù)，直到他或她遇到另一信標(例如，信標b5)，此時可以更新用戶的方向。

在一些情況下，用戶可能以非預期的方式偏離所計劃的路徑，使得他或她落在他或她預期下一次遇到信標的范圍之外。圖48表示解決這種情況的一個方式。這里的策略是增加沿用戶所計劃路線的信標的數(shù)目，這具有增加評估用戶的當前位置的頻率的效果，并且因此降低用戶可能離開路線的可能性(例如，他或她落在他或她預期遇到的信標的范圍之外的程度)。注意，圖48僅示出了用戶期望在所計劃的路線上遍歷的那些信標。但是環(huán)境可以包括用戶不期望遍歷的附加信標(未示出)。

用戶明顯迷路的機會在圖47和圖48中并不大，例如，因為用戶的選擇被障礙物顯著地限制。然而，用戶可能變得困惑并且錯誤地轉(zhuǎn)彎，使得他離開所計劃的路線?；蛘哂脩艨赡苡幸獾貨Q定偏離所計劃的路徑。例如，在與圖48中的信標b9相關聯(lián)的交叉點處，用戶可以采取左轉(zhuǎn)而不是右轉(zhuǎn)。因此，用戶可能最終遇到其不期望遇到的路徑外的信標(未示出)。

基于信標的引導模塊422可以以不同的方式解決這種情況。在一種情況下，基于信標的引導模塊422可以通知用戶不再可以向用戶提供引導，因為用戶似乎已經(jīng)離開軌道，并且不再可以確定用戶的航向和意圖?；谛艠说囊龑K422還可以向用戶詢問他或她是否打算追隨通過環(huán)境的原始定義的路徑。

在另一情況下，如果可以獲得關于用戶的當前位置、航向和意圖的足夠信息，則基于信標的引導模塊422可以將用戶引導回到所計劃的路線上。例如，基于信標的引導模塊422可以通過基于用戶的最近已知位置的集合形成軌跡來確定用戶看起來當前前進的方向(盡管它看起來是錯誤的)。基于信標的引導模塊422然后可以使用該航向信息連同關于用戶的當前位置(如果已知)的信息來將用戶引導回到所計劃的路線上。或者基于信標的引導模塊422可以詢問用戶以確定他或她是打算仍然追隨所計劃的路線，還是選擇另一路線。

在任何場景中，當該信息可用時，基于信標的引導模塊422還可以依賴于用戶的當前位置和航向的其他證據(jù)(除了由ble信標提供的信息之外)。例如，基于信標的引導模塊422可以從gps傳感器源、航位推算技術等收集該信息。在其他情況下，假定這些附加源中的至少一些不可用或不可靠。

圖49描述了另一種情況，其中用戶遍歷的空間比圖47和圖48的示例更加開放。該空間預先填充有短距離信標的集合。例如，如果空間的物理特性允許，則可以用這種信標的規(guī)則矩陣來填充該空間。信標具有彼此不重疊的范圍。

再次，路線規(guī)劃工具可以基于任何輸入目標、并且使用為此目的使用任何路線規(guī)劃算法來生成通過空間的路線4902。然后，基于信標的引導模塊422確定用戶在他或她行進所計劃的路線4902時，預期要遍歷的信標。這些信標被表示為實心黑色信標符號。

在路線4902的實際遍歷期間，基于信標的引導模塊422執(zhí)行與上述相同的功能。即，當基于信標的引導模塊422確定用戶已經(jīng)沿預期路徑進入信標(例如，信標b22)的范圍時，則其接受該信標的位置作為用戶的當前位置。然后，其重新計算用戶的航向并更新三維節(jié)拍聲(和/或其他引導信息)，以將用戶朝向下一信標(例如，信標b33)引導。

在圖49的情況下，因為錯誤地給予用戶更多的自由度，用戶將偏離軌道的風險大于圖48的情況。圖50描述了解決這種情況的一種方式。這里，基于信標的引導模塊422定義用戶可以以更一般的方式(例如，通過也包括位于最優(yōu)路線5002的任一側(cè)的相鄰信標)沿所計劃的路線5002遇到的信標(表示為實心黑色信標符號)。在假定用戶仍然試圖遵守所計劃的路線5002，但已經(jīng)略微偏離了路線的情況下，如果他或她漫步進入這些相鄰信標的范圍內(nèi)，則基于信標的引導模塊422可以繼續(xù)向用戶提供引導?；谛艠说囊龑K422可以僅當用戶漫游超過與最外相鄰信標相關聯(lián)的邊界時生成錯誤條件。

在另一實現(xiàn)中，基于信標的引導模塊422可以基于用戶沿他或她的路徑到目前為止已經(jīng)遇到的信標，形成關于用戶的期望目的地的假設。例如，基于信標的引導模塊422可以基于到目前為止遇到的信標的位置來形成軌跡。然后，基于信標的引導模塊422可以例如通過沿其當前方向延伸軌跡來確定軌跡所指向的可能的中間點或最終目的地?；谛艠说囊龑K422然后可以詢問用戶他或她是否希望追隨朝向假定目的地的路徑。如果是，則基于信標的引導模塊422此后可以提供上述的輔助用戶到達所標識的目的地的相同類型的導航輔助。

在本文所述的任何情況下，基于信標的引導模塊422還可以考慮關于用戶的先前旅行習慣的歷史信息和/或關于其他人的旅行習慣的歷史信息(相對于特定環(huán)境)。該信息在可用時可以提供用戶到達期望目的地的意圖的進一步證據(jù)。

圖51示出了描述例如在圖47-圖50的環(huán)境類型的上下文中，基于信標的引導模塊422的一個操作方式的過程5102。在框5104中，基于信標的引導模塊422從在環(huán)境內(nèi)的當前位置操作的計算設備的傳感器(一個或多個)接收特定信標信號。計算設備可以對應于用戶設備108或耳機108等。如上所述，在一個示例性實現(xiàn)中，環(huán)境填充有具有相應的非重疊范圍的多個信標。此外，作為預備步驟，路線規(guī)劃模塊可以定義由行程信息描述的期望路線?；蛘?，當用戶遍歷環(huán)境時，可以基于針對用戶的意圖中間點或最終目的地做出的假定，以動態(tài)方式生成期望路線。在任何情況下，該期望路線遍歷與路線特定的信標集合(來自環(huán)境中的信標的總集合)相關聯(lián)的范圍。

在框5106中，基于信標的引導模塊422基于特定信標信號確定用戶是否在路線特定的信標中的一個信標的范圍內(nèi)；當用戶在該范圍內(nèi)時，該操作產(chǎn)生當前位置信息。在框5108中，基于信標的引導模塊422基于預定行程信息確定用戶期望到達的下一航點，以提供下一航點信息。在一些情況下，該下一航點可以對應于沿用戶的預定行程的下一信標。在框5110中，基于信標的引導模塊422接下來基于當前位置信息和下一航點信息來確定方向信息。方向信息反映了建議用戶旅行以到達下一航點的方向。在框5112中，基于信標的引導模塊422基于方向信息生成音頻信息(和/或其他引導信息)。在框5114中，基于信標的引導模塊422將音頻信息遞送給用戶，例如作為三維節(jié)拍聲。音頻信息輔助用戶到達下一航點。基于信標的引導模塊422可以在路徑引導模塊420和聲音生成模塊414的輔助下執(zhí)行上述功能。

圖52示出了提供關于基于信標的引導模塊422可以確定用戶在環(huán)境內(nèi)的當前位置的一種方式的進一步細節(jié)的過程5202。在框5204中，基于信標的引導模塊422標識與已接收的特定信標信號相關聯(lián)的特定信標代碼。在框5206中，基于信標的引導模塊422基于特定信標代碼標識與特定信標代碼相關聯(lián)的特定信標。在框5208中，基于信標的引導模塊422基于(在數(shù)據(jù)存儲庫424中)所存儲的信息來標識特定信標的位置，所存儲的信息標識信標代碼以及環(huán)境內(nèi)信標的相應位置。

總之，上述特征有助于上述目標，即特別是在用戶不能依賴于確定他或她的位置的其他模式(例如，基于使用基于衛(wèi)星的導航系統(tǒng))的那些情況下，允許用戶安全和有效地移動通過他或她的環(huán)境。此外，因為用戶不能同時存在于兩個或更多個信標的范圍內(nèi)，使用非重疊的信標范圍(根據(jù)一個示例性實現(xiàn))提供了用于消除用戶的位置歧義的有效機構(gòu)。

在第一實現(xiàn)的以上描述中，假定用戶設備106(和/或耳機108)在任何給定時間接收由零個信標或單個信標但不是多個信標發(fā)射的信號。在其他實現(xiàn)中，可以以不同的方式放款上述特性。

例如，在第二實現(xiàn)中，如果基于信標的引導模塊422接收來自該信標的、具有高于規(guī)定閾值的信號強度的信號，則基于信標的引導模塊422將斷定用戶設備106和/或耳機108在特定信標的范圍內(nèi)。但是與第一實現(xiàn)不同，基于信標的引導模塊422還可以同時從環(huán)境中的一個或多個其他信標接收較弱的信號，其中這些信號中的每個的強度低于規(guī)定的閾值。在該場景中，使用具有位置的信標來填充環(huán)境，使得在任何給定時間，基于信標的引導模塊422將接收：(1)不具有高于閾值的信號強度的信號；或(2)僅一個具有高于閾值的信號強度的信號。在實踐中，第二實現(xiàn)以與第一實現(xiàn)相同的方式運行，并且提供相同的益處(例如，通過假定用戶在信標中的一個信標的范圍內(nèi)，提供用于在任何給定時間消除用戶位置歧義的二元機構(gòu))。因此，由于上述行為，第二實現(xiàn)中的信標可以被認為是功能上或有效地非重疊的。并且因此，如本文中所使用的對“非重疊”的任何引用應理解為涵蓋信標具有字面上不重疊的范圍的情況，以及因為用戶設備106和/或耳機108最多可以從具有高于規(guī)定閾值的信號強度的一個信標接收信號而可以認為范圍不重疊的情況。

在第三實現(xiàn)中，基于信標的引導模塊422可以在任何給定時間接收來自具有任意信號強度的任何數(shù)目的信標的信號。特定位置處的信號(和強度)集合定義了針對該位置的信號配置信息(profileinformation)。在初步操作中，基于信標的引導模塊422可以存儲針對環(huán)境中每個可導航位置的信號配置信息，例如，構(gòu)成關于信號及其在該位置處的相應強度的信息?？偟膩碚f，所存儲的信息構(gòu)成環(huán)境的剖面圖(profilemap)。在導航期間，基于信標的引導模塊422可以確定其在給定時間在給定位置處正在接收的信號，以提供當前信號配置信息。然后，基于信標的引導模塊422可以使用當前信號配置信息作為密鑰來找到具有最接近的匹配信號配置信息的位置。該位置定義了在給定時間用戶的可能位置。在一些環(huán)境中，由于各種環(huán)境特定的原因，由信標發(fā)射的信號的強度和/或檢測這些信號的能力可以隨時間變化?；谛艠说囊龑K422可以通過比較信號配置信息的標準化版本來解決這個問題。注意，第三實現(xiàn)中的信標的位置不需要滿足與上述第一或第二實現(xiàn)相關聯(lián)的非重疊約束。

f.代表性計算功能

圖53示出了可以用于實現(xiàn)上述系統(tǒng)102的任何方面的計算功能5302。例如，圖53所示的計算功能5302的類型可以用于實現(xiàn)任何用戶設備106、任何遠程處理資源112中、由耳機108使用的處理設備、單獨的用戶計算設備110等。在所有情況下，計算功能5302表示一個或多個物理和有形處理機構(gòu)。

計算功能5302可以包括一個或多個處理設備5304(例如，一個或多個中央處理單元(cpu)、和/或一個或多個圖形處理單元(gpu)等)。

計算功能5302還可以包括用于存儲諸如代碼、設置、數(shù)據(jù)等的任何種類的信息的任何存儲資源5306。例如而非限制，存儲資源5306可以包括以下中的任一個：任何類型(一個或多個)的ram、任何類型(一個或多個)的rom、閃存設備、硬盤、光盤等。更一般地，任何存儲資源可以使用用于存儲信息的任何技術。此外，任何存儲資源可以提供信息的易失性或非易失性保留。此外，任何存儲資源可以表示計算功能5302的固定或可移除部件。當處理設備5304執(zhí)行存儲在任何存儲資源或存儲資源組合中的指令時，計算功能5302可以執(zhí)行上述功能中的任何功能。

關于術語，任何存儲資源5306或存儲資源5306的任何組合可以被視為計算機可讀介質(zhì)。在很多情況下，計算機可讀介質(zhì)表示某種形式的物理和有形實體。術語計算機可讀介質(zhì)還包括例如經(jīng)由物理導管和/或空氣或其他無線介質(zhì)等發(fā)送或接收的傳播信號。然而，特定術語“計算機可讀存儲介質(zhì)”和“計算機可讀介質(zhì)設備”明確地排除傳播信號本身，同時包括所有其他形式的計算機可讀介質(zhì)。

計算功能5302還包括用于與任何存儲資源交互的一個或多個驅(qū)動機構(gòu)5308(例如，硬盤驅(qū)動機構(gòu)、光盤驅(qū)動機構(gòu)等)。

計算功能5302還包括用于接收各種輸入(經(jīng)由輸入設備5312)以及用于提供各種輸出(經(jīng)由輸出設備5314)的輸入/輸出模塊5310。示例性輸入設備包括鍵盤設備、鼠標輸入設備、觸敏輸入設備、數(shù)字化墊、一個或多個攝像機、一個或多個深度相機、自由空間手勢識別機構(gòu)、一個或多個麥克風、語音識別機構(gòu)、任何運動檢測機構(gòu)(例如，加速度計、陀螺儀等)等。一個特定輸出機構(gòu)可以包括演示設備5316和相關聯(lián)的圖形用戶界面(gui)5318。其他輸出設備包括打印機、模型生成機構(gòu)、觸覺輸出機構(gòu)、存檔機構(gòu)(用于存儲輸出信息)等。計算功能5302還可以包括用于經(jīng)由一個或多個通信管道5322與其他設備交換數(shù)據(jù)的一個或多個網(wǎng)絡接口5320。一個或多個通信總線5324將上述部件通信地耦合在一起。

通信管道(一個或多個)5322可以以任何方式(例如，通過局域網(wǎng)、廣域網(wǎng)(例如，因特網(wǎng))、點對點連接等或其任何組合)實現(xiàn)。通信管道(一個或多個)5322可以包括由任何協(xié)議或協(xié)議組合管理的硬連線鏈路、無線鏈路、路由器、網(wǎng)關功能、名稱服務器等的任何組合。

備選地或附加地，可以至少部分地通過一個或多個硬件邏輯部件來執(zhí)行前面部分中描述的任何功能。例如而非限制，計算功能5302可以使用以下中的一個或多個來實現(xiàn)：現(xiàn)場可編程門陣列(fpga)；專用集成電路(asic)；應用特定標準產(chǎn)品(assp)；片上系統(tǒng)(soc)；復雜可編程邏輯器件(cpld)等。

最后，以下陳述總結(jié)了上述系統(tǒng)102的相應方面。

根據(jù)第一方面，描述了一種用于輔助用戶與空間交互的、實現(xiàn)空間交互模塊的計算設備。計算設備具有用于呈現(xiàn)用戶界面呈現(xiàn)并且用于從用戶接收輸入的觸敏屏幕。計算設備還具有被配置為在觸敏屏幕上在多個工作空間內(nèi)呈現(xiàn)信息的應用接口模塊。每個工作空間關于其他工作空間具有預定的空間關系，并且每個工作空間呈現(xiàn)用戶能夠通過其來與空間交互的相應焦點。應用接口模塊還被配置為：檢測包括用戶與觸敏屏幕的觸敏表面上的觸摸位置的接觸的手勢；以及在觸敏屏幕上在觸摸位置處顯示菜單，菜單具有多個菜單項，其中觸摸位置對應于多個可能的觸摸位置中用戶能夠在此觸摸表面以激活菜單的一個觸摸位置。

根據(jù)第二方面，應用接口模塊還被配置為：檢測與從第一工作空間前進到第二工作空間的指令相對應的由用戶執(zhí)行的另一手勢；以及響應于手勢來從第一工作空間前進到第二工作空間。

根據(jù)第三方面，用戶在其上移動的通過空間的路徑的特征在于一系列上下文。每個上下文涉及在特定時間、在沿著路徑的特定連結(jié)點處與用戶相關的一個或多個環(huán)境相關特征。當前上下文對應于在當前時間、在沿著路徑的當前連結(jié)點處影響用戶的一個或多個環(huán)境相關特征。

根據(jù)第四方面，主頁工作空間用作允許用戶與和當前上下文相關聯(lián)的信息和功能交互的主要區(qū)域。主頁工作空間對應于第一工作空間或第二工作空間。

根據(jù)第五方面，另一工作空間向與穿過路徑時的用戶相關的通知信息提供入口。另一工作空間向用戶可訪問的不同功能提供主入口。另一工作空間向用戶能夠通過其來設置影響空間交互模塊的操作的參數(shù)值的機制提供入口。另一工作空間提供關于與當前上下文相關聯(lián)的感興趣項目的信息。

根據(jù)第六方面，除了主頁工作空間之外的其他工作空間對應于關于主頁工作空間的不同相應側(cè)的相鄰工作空間。

根據(jù)第七方面，應用接口模塊還被配置為接收另一手勢。應用接口模塊還被配置為響應于另一手勢的檢測來遞送描述當前上下文的音頻信息。

根據(jù)第八方面，對于給定菜單，菜單項的第一子集涉及當前上下文，并且菜單項的第二子集涉及兩個或更多個上下文和/或兩個或更多個工作空間。

根據(jù)第九方面，應用接口模塊還被配置為接收另一手勢，并且應用接口模塊還被配置為響應于另一手勢的檢測來在菜單中的菜單項上進行導航。

根據(jù)第十方面，空間交互模塊包括聲音生成模塊，聲音生成模塊被配置為當用戶從初始菜單項開始在菜單項上導航時呈現(xiàn)逐漸增加或減小的音調(diào)的聲音。

根據(jù)第十一方面，空間交互模塊還包括被配置為每次用戶移動到菜單中的菜單項時呈現(xiàn)觸覺提示的觸覺提示生成模塊。

根據(jù)第十二方面，描述了一種由至少一個計算設備實現(xiàn)的用于輔助用戶與空間交互的方法。方法包括檢測與激活相關聯(lián)的工作空間中的菜單的指令相對應的由用戶執(zhí)行的第一手勢。相關聯(lián)的工作空間對應于多個工作空間中的一個工作空間，并且相關聯(lián)的工作空間關于多個工作空間中的其他工作空間具有預定的空間關系，并且每個工作空間呈現(xiàn)用戶能夠通過其來與空間交互的相應焦點。方法還包括：響應于第一手勢來激活菜單；檢測菜單中的菜單項的集合中與前進到特定菜單項的指令相對應的由用戶執(zhí)行的第二手勢；響應于第二手勢來前進到特定菜單項；檢測與選擇特定菜單項的指令相對應的由用戶執(zhí)行的第三手勢；以及響應于第三手勢來執(zhí)行操作。

根據(jù)第十三方面，上述第一手勢、第二手勢和第三手勢對應于由用戶通過單個手執(zhí)行的手勢。

根據(jù)第十四方面，第一手勢包括用戶與觸敏屏幕的觸敏表面上的觸摸位置的接觸。激活所述菜單包括在觸敏屏幕上以觸摸位置為中心顯示菜單。另外，觸摸位置對應于多個可能的觸摸位置中用戶能夠在此觸摸表面以激活菜單的一個觸摸位置。

根據(jù)第十五方面，上述第三手勢包括去除用戶與觸敏屏幕的觸敏表面上的觸摸位置的接觸。

根據(jù)第十六方面，在上述方法中(對于第十二方面)，用戶在其上移動的通過空間的路徑的特征在于一系列上下文。每個上下文涉及在特定時間、在沿著路徑的特定連結(jié)點處與用戶相關的一個或多個環(huán)境相關特征。當前上下文對應于在當前時間、在沿著路徑的當前連結(jié)點處影響用戶的一個或多個環(huán)境相關特征。另外，主頁工作空間用作允許用戶與和當前上下文相關聯(lián)的信息和功能交互的主要區(qū)域。另一工作空間向與穿過路徑時的用戶相關的通知信息提供入口。另一工作空間向用戶可訪問的不同功能提供主入口。另一工作空間向用戶能夠通過其來設置影響空間交互模塊的操作的參數(shù)值的機制提供入口。另一工作空間提供關于與當前上下文相關聯(lián)的感興趣項目的信息。

根據(jù)第十七方面，上述方法還包括應于第一手勢、第二手勢和第三手勢中的每個來呈現(xiàn)一個或多個聲音的操作。

根據(jù)第十八方面，上述方法還包括響應于第一手勢、第二手勢和第三手勢中的每個來呈現(xiàn)一個或多個觸覺提示。

根據(jù)第十九方面，描述了一種用于存儲計算機可讀指令的計算機可讀存儲介質(zhì)。當由一個或多個處理設備執(zhí)行時，計算機可讀指令實現(xiàn)應用接口模塊。計算機可讀指令包括：被配置為提供用戶界面呈現(xiàn)的邏輯，用戶界面呈現(xiàn)在至少一個工作空間內(nèi)呈現(xiàn)具有多個菜單項的菜單；被配置為響應于由用戶做出的相應手勢的檢測來在菜單中的菜單項上導航的邏輯；被配置為當用戶從初始菜單項開始前進通過菜單項時生成逐漸增加或減小的音調(diào)的聲音的邏輯；以及被配置為每次用戶移動到菜單中的菜單項時生成觸覺提示的邏輯。

根據(jù)第二十方面，計算機可讀指令還包括：用于呈現(xiàn)與所穿過的每個菜單項相關聯(lián)的有聲描述的邏輯。

第二十一方面對應于上述第一到第二十方面的任何組合(例如，任何置換或子集)。

根據(jù)第二十二方面，提供了用于實現(xiàn)第一至第二十一方面中任一方面的一個或多個計算設備(和/或一個或多個耳機)。

根據(jù)第二十三方面，提供了一種用于實現(xiàn)第一至第二十一方面中任一方面的系統(tǒng)。

根據(jù)第二十四方面，提供一個或多個計算機可讀存儲介質(zhì)，一個或多個計算機可讀存儲介質(zhì)包括被配置為實現(xiàn)第一至第二十一方面中任一方面的邏輯。

根據(jù)第二十五方面，提供用于實現(xiàn)第一至第二十一方面中任一方面的一個或多個裝置。

此外，在結(jié)束時，本文中所描述的功能可以采用各種機構(gòu)來確保以符合適用的法律、社會規(guī)范以及個體用戶的期望和偏好的方式來處理任何用戶數(shù)據(jù)。例如，功能可以允許用戶明確地選擇(并且然后明確地選擇退出)功能的規(guī)定。功能還可以提供合適的安全機構(gòu)(例如，數(shù)據(jù)清理機構(gòu)、加密機構(gòu)、密碼保護機構(gòu)等)，以確保用戶數(shù)據(jù)的隱私。

此外，盡管以結(jié)構(gòu)特征和/或方法動作專用的語言描述了主題，但是應當理解，所附權利要求中定義的主題不一定限于上述具體特征或動作。相反，上面描述的具體特征和動作被公開作為實現(xiàn)權利要求的示例形式。