專利名稱：：使用動(dòng)作及語音命令的主機(jī)應(yīng)用程序的高級(jí)遠(yuǎn)程控制的制作方法使用動(dòng)作及語音命令的主機(jī)應(yīng)用程序的高級(jí)遠(yuǎn)程控制相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求于2010年9月20日提交的美國臨時(shí)申請(qǐng)?zhí)?1/384，586的權(quán)益。通過引用將以上一項(xiàng)或多項(xiàng)申請(qǐng)的全部教導(dǎo)結(jié)合在此。
背景技術(shù)：
：本申請(qǐng)涉及人類/計(jì)算機(jī)接口，更具體地涉及一種接受語音命令并跟蹤手勢和/或頭部運(yùn)動(dòng)的設(shè)備，以向如在本地或在遠(yuǎn)程主計(jì)算機(jī)上執(zhí)行的軟件提供輸入。能夠存儲(chǔ)和顯示大量高分辨率計(jì)算機(jī)圖形信息甚至視頻內(nèi)容的小型便攜式電子設(shè)備繼續(xù)越來越受歡迎。這些智能電話設(shè)備(如AppleiPhone和GoogleAndroid電話)代表了移動(dòng)電話、便攜式計(jì)算機(jī)和數(shù)字媒體播放器之間的融合的顯著趨勢。(iPhone是California的Cupertino的AppleComputer,Inc.的商標(biāo)；Android是California的MountainView的Google,Inc.的商標(biāo)。)雖然這些設(shè)備通常包括顯示屏,但是由于它們的物理尺寸的限制，高分辨率大幅面的顯示器的視覺體驗(yàn)無法在此類設(shè)備中輕易地復(fù)制。因此，消費(fèi)者現(xiàn)在追求一種高品質(zhì)、便攜式、彩色顯示器來加強(qiáng)他們的手持設(shè)備。一種此類設(shè)備是頭戴式眼鏡設(shè)備，其佩戴在用戶的臉部或頭部周圍，類似一副眼鏡或耳機(jī)。這些設(shè)備包括小型高分辨率微型顯示器和放大圖像的鏡頭。無線接口為此類設(shè)備提供了極大的便利性和移動(dòng)性。該微型顯示器可以提供超級(jí)視頻圖形陣列(SVGA)(800X600)分辨率，或者甚至擴(kuò)展圖形陣列(XGA)(1024X768)或更高的分辨率。如需有關(guān)此類顯示器的更多信息，請(qǐng)參閱于2009年I月5日提交的美國申請(qǐng)第12/348，648號(hào)的標(biāo)題為“用于控制其他系統(tǒng)和設(shè)備的移動(dòng)無線顯不軟件平臺(tái)(MobileWirelessDisplaySoftwarePlatformforControllingOtherSystemsandDevices)”以及于2009年3月27日提交的PCT國際申請(qǐng)第PCT/US09/38601號(hào)的標(biāo)題為“具有適合用作移動(dòng)互聯(lián)網(wǎng)設(shè)備的高分辨率顯示器的手持無線顯不設(shè)備(HandheldWirelessDisplayDevicesHavingHighResolutionDisplaySuitableforUseasMobileInternetDevice)”的共同未決的專利申請(qǐng),其中每個(gè)文件的全部內(nèi)容通過引用結(jié)合于此。
發(fā)明內(nèi)容便攜式個(gè)人計(jì)算機(jī)有微型顯示器、輸入設(shè)備(如頭部跟蹤加速計(jì))、一個(gè)或多個(gè)陀螺儀或檢測運(yùn)動(dòng)(如頭部運(yùn)動(dòng)、手部動(dòng)作和/或姿勢)的攝像機(jī)、多個(gè)檢測語音命令的音頻處理電路。這些組合的輸入提供對(duì)在該設(shè)備本身上和/或在遠(yuǎn)程主處理器上運(yùn)行的一個(gè)或多個(gè)操作系統(tǒng)和/或一個(gè)或多個(gè)應(yīng)用程序的控制。頭戴式顯示器(HMD)設(shè)備包括微型顯示器。在一個(gè)實(shí)施例中，用于顯示從本地處理器接收到的視覺信息。動(dòng)作檢測器檢測用戶的頭部和/或身體部分的物理運(yùn)動(dòng)，以提供動(dòng)作或姿勢輸入。麥克風(fēng)提供音頻信號(hào)，該音頻信號(hào)被該本地處理器解釋為語音命令。該本地處理器將文字、圖形或其他用戶提示疊加到該微型顯示器上以指示將要激活某些命令的動(dòng)作/姿勢/語音輸入。該處理器將這些語音、動(dòng)作或姿勢輸入或其組合轉(zhuǎn)換成用戶命令。該用戶命令然后由操作系統(tǒng)或應(yīng)用程序解釋，以改變顯示在該微型顯示器上的信息的多個(gè)方面。這可以包括該本地處理器已經(jīng)處理了該用戶命令的視覺或音頻確認(rèn)。根據(jù)示例實(shí)施例的以下更具體的說明，上述內(nèi)容將是清楚的，如在這些附圖中展示的，其中貫穿這些不同的視圖，相同的附圖標(biāo)記是指相同的部分。這些圖不一定是按比例繪出，而是著重展示實(shí)施例。圖1是高層次圖，示出了頭戴式顯示器(HMD)設(shè)備，以及使用手勢和/或頭部運(yùn)動(dòng)控制本地或遠(yuǎn)程計(jì)算機(jī)的行動(dòng)的人。圖2A是使用頭部條帶的實(shí)施例。圖2B示出了可選的攝像機(jī)元件。圖3是該設(shè)備及到主機(jī)的可選連接的高層次方框圖，展示了語音、手勢和頭部動(dòng)作跟蹤命令是如何被翻譯的。圖4是該HMD設(shè)備的組件的更詳細(xì)的圖。圖5是到如MicrosoftWindows桌面上的示例軟件疊加，以向該用戶指示可用的頭部運(yùn)動(dòng)和語首命令。圖6是一組由一個(gè)或多個(gè)操作系統(tǒng)業(yè)務(wù)執(zhí)行的功能。圖7是這個(gè)或這些業(yè)務(wù)保持的示例表。圖8是示例滾動(dòng)列表。圖9示出了用戶用頭部動(dòng)作和語音輸入從多個(gè)桌面做出選擇。具體實(shí)施例方式下面是對(duì)示例實(shí)施例的說明。圖1示出了無線計(jì)算頭戴式耳機(jī)設(shè)備(HMD)100(也稱為視頻眼鏡設(shè)備100)，其結(jié)合了高分辨率(VGA或更好)微型顯示器元件和下面描述的其他特征。HMD設(shè)備100通常包括許多不同類型的集成電路，包括微型計(jì)算機(jī)(單核或多核)、一個(gè)或多個(gè)無線接口、相關(guān)聯(lián)的存儲(chǔ)器或其他存儲(chǔ)設(shè)備、一個(gè)或多個(gè)攝像機(jī)(光學(xué)傳感器)和/或各種傳感器。這些傳感器可以包括音頻輸入和/或輸出設(shè)備(如一個(gè)或多個(gè)麥克風(fēng)輸入和一個(gè)或多個(gè)輸出揚(yáng)聲器)，這些傳感器可以包括地理位置傳感的3軸至9軸自由度的定向傳感器(如數(shù)字磁強(qiáng)計(jì))、大氣傳感器、健康狀況傳感器、GPS、數(shù)字羅盤、壓力傳感器、環(huán)境傳感器、能量傳感器、加速度傳感器、位置傳感器、姿態(tài)傳感器、動(dòng)作傳感器、速度傳感器或光學(xué)傳感器、攝像機(jī)(可見光、紅外線等)。進(jìn)一步的電路(如額外的無線電波、輔助照明、測距儀等等)和/或傳感器陣列可以嵌入在和/或附裝到該設(shè)備中。如“熱靴”(圖1中未示出)的一個(gè)或多個(gè)外圍底座也通常位于HMD100內(nèi)，用于安裝如攝像機(jī)或額外傳感器的可選附件。這個(gè)或這些攝像機(jī)、這個(gè)或這些動(dòng)作傳感器和/或這個(gè)或這些傳感器用于在至少第一軸111(水平)但也優(yōu)選在第二軸(垂直)112、第三軸(深度)113、第四軸(斜角)114、第五軸(坡角)115及第六軸(偏航角)116跟蹤該用戶的頭部、手部和/或身體的動(dòng)作和/或位置。設(shè)備100可以以各種方式使用。它可以用作完全包含的頭戴式全功能便攜式個(gè)人計(jì)算機(jī)/智能電話，通過短和/或長距離無線鏈路150(如藍(lán)牙、WiF1、蜂窩、LTE、WiMAX或其他無線電波)與外部計(jì)算機(jī)和網(wǎng)絡(luò)完全連接。設(shè)備100還可以用作由遠(yuǎn)程主計(jì)算機(jī)200提供的視頻流信號(hào)的遠(yuǎn)程顯示器。主機(jī)200可以是例如筆記本計(jì)算機(jī)、手機(jī)、Blackberry、iPhone或具有比視頻眼鏡設(shè)備100本身更小或更大的計(jì)算復(fù)雜度的其他計(jì)算設(shè)備。然后，主機(jī)200向設(shè)備100提供將要顯示的信息。設(shè)備100與主機(jī)200通過如由藍(lán)牙、WiF1、蜂窩、LTE、WiMax或其他無線電波鏈路150提供的一個(gè)或多個(gè)合適的無線連接進(jìn)行連接。主機(jī)200本身可以進(jìn)一步連接到其他網(wǎng)絡(luò)，如通過有線或無線連接連接到互聯(lián)網(wǎng)210。設(shè)備100還可以用作主機(jī)200的遙控器。包含在HMD100中的各種音頻輸入設(shè)備和動(dòng)作傳感器和/或一個(gè)或多個(gè)攝像機(jī)可以允許用戶在虛擬顯示器400所定義的更大的區(qū)域內(nèi)選擇視野300，該虛擬顯示器由設(shè)備100本地的處理器和/或由主機(jī)200內(nèi)部的處理器提供。例如，該用戶通常可以使用頭部運(yùn)動(dòng)或手部運(yùn)動(dòng)或身體姿勢或以其他方式(如用語音輸入)控制該更大的虛擬顯示區(qū)域400的視野300的位置、范圍(例如X-Y或3D范圍)和/或放大率。因此，無線計(jì)算耳機(jī)設(shè)備100可以對(duì)來自這些外設(shè)的輸入做出響應(yīng)，并將其處理以例如平移、縮放改變視野300，并控制虛擬顯示器400的其他方面，如視野300的位置、范圍(例如X-Y或3D范圍)和/或放大率。如將在下面更詳細(xì)說明的，語音、動(dòng)作和姿勢輸入還可以控制該微型顯示器上信息呈現(xiàn)的進(jìn)一步的方面，或者甚至顯示哪些信息。雖然圖1中所示的內(nèi)容是單眼微型顯示器，展示出用懸臂式吊桿將單一的固定顯示元件支撐在該用戶的臉部，但是應(yīng)該理解的是，各種視頻眼鏡設(shè)備100的其他機(jī)械配置也是可能的。圖2是透視圖，示出了HMD設(shè)備100的更多細(xì)節(jié)。設(shè)備100通常包括框架1000、條帶1002、背部1004、揚(yáng)聲器1006、懸臂或臂1008以及微型顯示器子組件1010。在設(shè)備100相對(duì)懸臂1008的一側(cè)上是外圍端口1020。外圍端口1020提供了到一個(gè)或多個(gè)外圍設(shè)備的相應(yīng)連接，這樣用戶就可以將各種附件可移除地附裝到設(shè)備100。示例端口1020提供了機(jī)械和電氣配件底座，如熱靴。接線將電信號(hào)從端口1020穿過例如背部1004傳遞到安置在其中的電路。熱靴1020可以很像攝像機(jī)上的熱靴一樣操作，自動(dòng)提供連接從而為該配件供電并且傳遞來自設(shè)備100外圍揚(yáng)聲器1031的其余部分的信號(hào)并向其傳遞信號(hào)。因此可以與端口1020—起使用各種類型的配件以向該系統(tǒng)提供手部運(yùn)動(dòng)、頭部運(yùn)動(dòng)和/或語音輸入，例如但并不限于麥克風(fēng)、位置、定向及其他先前描述的傳感器、攝像機(jī)等等。圖2B是戴在用戶頭部的HMD設(shè)備100的視圖，其中配件1060已經(jīng)放置在熱靴端口1020中。此配件1060是自包含的攝像機(jī)(或其他動(dòng)作傳感器)組件。攝像機(jī)1060可以在類似“子彈凸輪”的程序包中包括音頻和視頻傳感和記錄兩個(gè)能力。它可以通過背部1004中的內(nèi)置接線連接到設(shè)備100中的其余組件(如在前面描述的揚(yáng)聲器的情況)，或者可以通過Bluetooth或WiFi連接進(jìn)行無線連接。攝像機(jī)1060可以不一定是視頻攝像機(jī)，還可以檢測紅外線、紫外線或其他波長。攝像機(jī)1060還可以包括用戶可調(diào)節(jié)的輔助光源。使用該光源，攝像機(jī)1060還可以根據(jù)需要用作手電筒，而無需激活該攝像機(jī)部分。該攝像機(jī)、到設(shè)備100的動(dòng)作跟蹤和音頻輸入被以各種方式解釋為用戶命令，以控制該本地處理器、微型顯示器或外部主機(jī)200的操作。頭部運(yùn)動(dòng)跟蹤和/或語音命令還可以由用戶1050提供以操縱攝像機(jī)1060的設(shè)置。例如，用戶語音命令(如“縮放”或“平移”)可以由該本地處理器識(shí)別并導(dǎo)致攝像機(jī)1060拉近或長焦。攝像機(jī)1060還可以通過利用該3軸直到9軸自由度的位置傳感器具有內(nèi)置的圖像穩(wěn)定化系統(tǒng)和/或運(yùn)動(dòng)跟蹤解決方案，以便設(shè)備100中的軟件或附裝的外圍設(shè)備可以通過檢測到的運(yùn)動(dòng)校正傳入視頻饋送中的微弱振動(dòng)的頭部運(yùn)動(dòng)或微弱的攝像機(jī)運(yùn)動(dòng)，尤其是當(dāng)攝像機(jī)圖像被放大時(shí)。在此配置中，設(shè)備100還可以比單獨(dú)由攝像機(jī)1060實(shí)際上捕獲的更高的幀速率操作。此類攝像機(jī)1060外設(shè)存在眾多應(yīng)用。例如，它可以放置在老年人的頭部，然后設(shè)備100可以識(shí)別和校正由于通常隨著年齡增加的人類自然穩(wěn)定性顫動(dòng)而導(dǎo)致的他們頭部運(yùn)動(dòng)中的振動(dòng)。這可以有助于當(dāng)該用戶正在設(shè)備100上查看該微型顯示器時(shí)光標(biāo)移動(dòng)的準(zhǔn)確性，或校正當(dāng)在粗糙的表面上、在惡劣天氣中或在惡劣的環(huán)境中(如土路)乘坐移動(dòng)車輛或運(yùn)輸工具時(shí)使用設(shè)備100時(shí)的動(dòng)作，從而校正顯示器1010上的視圖的振動(dòng)，并再次提供對(duì)光標(biāo)移動(dòng)的更好的控制。圖3是方框圖，示出了HMD100、可選主機(jī)200及它們之間行進(jìn)的數(shù)據(jù)的更多細(xì)節(jié)。HMD100通過麥克風(fēng)接收音頻信號(hào)輸入，通過位置和定向傳感器、攝像機(jī)或一個(gè)或多個(gè)光學(xué)傳感器接收手部運(yùn)動(dòng)或身體姿勢，并通過頭部跟蹤電路(如3軸至9軸自由度定向傳感器)接收頭部運(yùn)動(dòng)輸入。這些內(nèi)容由設(shè)備100本地的處理器中的軟件翻譯成鍵盤和/或鼠標(biāo)命令。然后，這些命令可由HMD100內(nèi)部的處理器解釋，以控制該微型顯示器上的信息呈現(xiàn)的多個(gè)方面。這些命令還可以通過藍(lán)牙或其他無線接口150被發(fā)送到主機(jī)200。然后，主機(jī)200按照其自己的操作系統(tǒng)/應(yīng)用軟件解釋這些已翻譯的命令以執(zhí)行各種功能和/或向設(shè)備100返回信息。在這些可以在該本地處理器和/或遠(yuǎn)程主機(jī)200上執(zhí)行的命令中有用于在該虛擬顯示器內(nèi)選擇視野300的命令。因此，應(yīng)當(dāng)理解的是，非常大幅面的虛擬顯示區(qū)域可能與HMD100或主機(jī)200上運(yùn)行的操作系統(tǒng)或應(yīng)用軟件相關(guān)聯(lián)。然而，只有視野300內(nèi)的該大虛擬顯示區(qū)域的一部分被返回并實(shí)際由遠(yuǎn)程控制顯示設(shè)備100顯示，如語音、手勢或頭部動(dòng)作命令所選擇的。例如，該虛擬顯示區(qū)域可以包括美國的詳細(xì)地圖。用戶可能在該微型顯示器上首先看到整個(gè)美國區(qū)域，盡管以降低的分辨率。視野最初可能以低放大率集中在中心位置，如在Kansas的Lawrence。然后,該用戶移動(dòng)他的頭部或做出手勢以查看特別感興趣的區(qū)域(如Seattle、Washington)的更多細(xì)節(jié)。該手勢可以是斜掃動(dòng)作。該頭部運(yùn)動(dòng)可以是向左然后向上或者可以是直線斜向運(yùn)動(dòng)到新的感興趣的區(qū)域。用相應(yīng)的語音命令(如“放大”)，所展示的虛擬顯示區(qū)域然后被放大以在該微型顯示器上看到Seattle周圍地區(qū)的更多細(xì)節(jié)。圖4是HMD系統(tǒng)100的非限制性示例實(shí)施例的簡化的高層次方框圖。系統(tǒng)電子元件可以放在該框架上或該框架中的適當(dāng)位置(如背部1004)，并且包括開放式媒體應(yīng)用平臺(tái)(OMAP)作為本地處理器4110、電源/音頻同伴芯片(companionchip)4102、顯示器驅(qū)動(dòng)器4104、頭部跟蹤器電路板4106以及無線LAN/藍(lán)牙接口4108。該殼體中還設(shè)置有電源，例如鋰離子電池4200。HMD設(shè)備100還可以包括眼容器(eyepod)組件4000，其包括上述微型顯示器4010(例如，圖2A的微型顯示器1010和吊桿1008)，及一個(gè)或多個(gè)麥克風(fēng)4020。一個(gè)或多個(gè)揚(yáng)聲器4030被放置在靠近用戶耳朵的HMD殼體聽筒中(圖2A中的項(xiàng)目1006)。頭部跟蹤器電路4106可以包括使用霍爾效應(yīng)傳感器、MIM二極管、加速計(jì)、陀螺儀和/或變頻器或其他上述傳感器確定由設(shè)備100中的傳感器檢測到的頭部運(yùn)動(dòng)和姿勢的電路，如沿著或繞著X軸、Y軸和Z軸的橫向運(yùn)動(dòng)及旋轉(zhuǎn)姿勢。HMD系統(tǒng)100還可以接收來自外部輸入設(shè)備(如無線鼠標(biāo)、軌跡球或可以通過藍(lán)牙接口4108無線連接的鍵盤)的輸入。WLAN/BT前端4108、OMAP4100和/或主機(jī)200中的軟件可以用于解釋該攝像機(jī)或其他傳感器檢測到的手勢。攝像機(jī)板4060同樣可以任選地提供視頻輸入。OMAP處理器4100可包括中央處理單元，以及可能包括非易失性存儲(chǔ)器和/或只讀存儲(chǔ)器(ROM)的片上存儲(chǔ)器，如隨機(jī)存取存儲(chǔ)器(RAM)。該OMAP可以是由TexasInstruments,Inc.銷售并使用多媒體處理器的TexasInstruments型號(hào)OMAP3530的處理器或更新版本。OMAP4100通?？梢詧?zhí)行嵌入式系統(tǒng)，如操作MicrosoftWindows的特定版本。OMAP4100通常是比WLAN/BT接口4108更強(qiáng)大、更耗電的處理器。在此示例中，也是從TexasInstruments可得的TPS65950電源/音頻同伴芯片向該系統(tǒng)提供了音頻、USB、鍵盤控制和電池充電功能。WLAN/BT接口4108可以是型號(hào)LBEE1W8的NEC接口電路、從UnitedKingdom的Cambridge的CDRLtd.可得的藍(lán)牙電路或其他具有類似或更強(qiáng)功能的無線電模塊。該顯不器驅(qū)動(dòng)器可以是從Massachusetts的Westborough的KopinCorporation可得的型號(hào)K⑶-A910的顯不器驅(qū)動(dòng)器。也是從Kopin可得的微型顯示器4010可以包括型號(hào)113LV、152LV、230LV、WQVGA或其他制造商可接受的微型顯示器。NCS模塊4400處理接收到的麥克風(fēng)信號(hào)，以提供語音識(shí)別功能并向音頻同伴芯片4102產(chǎn)生音頻信號(hào)并從此處發(fā)送到OMAP處理器4100。在實(shí)施例中，OMAP處理器4100被設(shè)計(jì)成以“左眼”或“右眼”定向運(yùn)行。如果標(biāo)準(zhǔn)配置是運(yùn)行“右眼”，則當(dāng)使用左眼運(yùn)行時(shí)，該軟件必須考慮到該顯示屏現(xiàn)在物理上旋轉(zhuǎn)了180度。這意味著該軟件必須還能夠“倒置”運(yùn)行。該屏幕可能能夠用口頭命令或鼠標(biāo)點(diǎn)擊被手動(dòng)“翻轉(zhuǎn)”倒置?？商娲?，可以產(chǎn)生硬件信號(hào)以允許該處理器檢測屏幕翻轉(zhuǎn)，并且由此在軟件(即硬件陀螺儀、加速計(jì)或開關(guān)等)中導(dǎo)致相同結(jié)果。圖5展示了實(shí)現(xiàn)為HMD100的一部分的一個(gè)特征。此處，該HMD設(shè)備將軟件疊加器強(qiáng)加于該用戶的信息呈現(xiàn)上。該疊加器添加了與口頭命令、手勢或頭部運(yùn)動(dòng)相關(guān)聯(lián)的圖形圖像和/或文本，該口頭命令、手勢或頭部運(yùn)動(dòng)是在該屏幕上啟動(dòng)由圖標(biāo)、按鈕、滑動(dòng)條、下拉列表或其他物體指示的行動(dòng)所需的。這些疊加器由用戶的Windows桌面上的圖標(biāo)旁邊的方框中的文本示出。在此示例中，該疊加器向該用戶指示口頭命令(如“Excel”或“Word”)將因此激活相應(yīng)的MicrosoftOffice程序。手部擺動(dòng)的姿勢將激活A(yù)dobeAerobat程序。并且頭部向上傾斜并擺動(dòng)的姿勢的組合將打開“新建”文件夾。應(yīng)當(dāng)理解的是，圖5僅是示例，并且這些疊加器可以應(yīng)用到各種應(yīng)用程序、菜單、對(duì)話框、滾動(dòng)列表、操作系統(tǒng)桌面/命令或其他該系統(tǒng)要捕獲用戶鍵盤或鼠標(biāo)姿勢或命令的地方中。成功識(shí)別命令時(shí)，HMD設(shè)備100可以播放音頻樣本(蜂鳴聲)以向該用戶指示成功識(shí)別。設(shè)備100還可以在很短的持續(xù)時(shí)間(I秒)內(nèi)在該屏幕的中心顯示所識(shí)別的單詞，以再次向該用戶反饋HMD設(shè)備100正確識(shí)別了所說的內(nèi)容?，F(xiàn)在結(jié)合圖6和圖7描述這些疊加特征的示例實(shí)現(xiàn)方式。該軟件疊加器可被實(shí)現(xiàn)為用戶界面業(yè)務(wù)或在例如OMAP處理器4100上執(zhí)行的MicrosoftWindows嵌入式操作系統(tǒng)下運(yùn)行的業(yè)務(wù)。這些業(yè)務(wù)提供了許多功能，如在圖6中列出的。第一步6100是詢問用戶桌面的狀態(tài)，以確定所顯示的任何圖標(biāo)。接著，在6102，與所顯示的圖標(biāo)相關(guān)聯(lián)的疊加文本然后被確定。作為此狀態(tài)6102的一部分，可查閱如在圖7中所示的表。該表將圖標(biāo)(如在最左邊的欄中所示)與疊加文本相關(guān)聯(lián)。對(duì)于定位的任何疊加文本，在狀態(tài)6104下在與每個(gè)相關(guān)聯(lián)的圖標(biāo)相鄰的桌面上生成圖標(biāo)置加。在狀態(tài)6106下，這個(gè)或這些業(yè)務(wù)然后等待檢測任何語音、姿勢或動(dòng)作輸入。然后在6108，再次在該表中找到這些檢測到的輸入。接著在6110，然后激活與該檢測到的輸入相關(guān)聯(lián)的行動(dòng)或采取其他行動(dòng)。例如，如果在桌面上檢測到標(biāo)有“新建文件夾”的文件夾，在此類圖標(biāo)旁邊顯示了該疊加文本“傾斜加擺動(dòng)”。然后，這個(gè)或這些業(yè)務(wù)等待檢測該頭部跟蹤器的動(dòng)作與該姿勢檢測器檢測到的手部擺動(dòng)動(dòng)作的組合。一旦發(fā)生這種現(xiàn)象，則采取行動(dòng)打開該新文件夾，即在該桌面上激活該圖標(biāo)。應(yīng)當(dāng)理解的是，不管疊加文本和/或圖標(biāo)與該桌面是否相關(guān)聯(lián)，都可以采取行動(dòng)。如圖7的表中所示，作為示例，可以檢測到口頭“關(guān)閉窗口”的命令，引起關(guān)閉活動(dòng)窗口的行動(dòng)。在另一個(gè)示例中，該頭部跟蹤器檢測到的頭部向上的動(dòng)作可以引起滾動(dòng)條在向上的方向上滾動(dòng)。另一個(gè)行動(dòng)(如手部滑動(dòng))可以引起一系列桌面中的下一個(gè)桌面的選擇。用采取的類似行動(dòng)和圖7的表的編程，可以實(shí)現(xiàn)其他特征。一個(gè)特征是在完成菜單命令后協(xié)助該用戶。該用戶通過頭部動(dòng)作、手勢和/或口頭語言輸入了菜單命令后，該疊加菜單然后可能消失，允許再次查看相關(guān)信息?？商娲?，這些“彈出”窗口元素都可以有自動(dòng)關(guān)閉特征。這意味著，如果該用戶尚未在該窗口中選擇任何命令，所有此類窗口都將在特定的持續(xù)時(shí)間后(即10秒等)關(guān)閉自己。以此方式，(其中用戶否則一般用鼠標(biāo)在對(duì)話框上單擊“關(guān)閉”、“確定”或“取消”)，消除了進(jìn)一步輸入的需要。用鼠標(biāo)或語音輸入說出“關(guān)閉”、“確認(rèn)”等來手動(dòng)關(guān)閉窗口仍然是可用的。在一些實(shí)施例中，要幫助該用戶，這些自動(dòng)關(guān)閉窗口可以顯示定時(shí)器倒計(jì)時(shí)以指示該窗口還要多長時(shí)間就會(huì)自動(dòng)關(guān)閉。這些頭部動(dòng)作跟蹤和手勢輸入還可以控制其他特征，如滾動(dòng)列表。許多用戶界面元素利用滾動(dòng)列表的概念，即大于該屏幕或用戶界面元素本身的可選項(xiàng)目的列表。此類滾動(dòng)列表的示例是如圖8中所示，其中該用戶被要求從數(shù)據(jù)庫應(yīng)用程序中選擇特定的字段進(jìn)行編輯。然而，有很多其他示例，如下拉菜單、媒體播放列表(如Apple的iTunes)及此特征可以幫助的類似物。這些項(xiàng)目列表通常是向上和向下(或左/右)滾動(dòng)的，使用滾動(dòng)條、鼠標(biāo)移動(dòng)或在典型筆記本電腦中的觸摸板或觸摸屏的“滑動(dòng)”姿勢。然而，此處人們可以使用HMD設(shè)備100的頭部跟蹤輸入來操作這些用戶界面元素:例如，左/右或上/下的頭部移動(dòng)可以導(dǎo)致滾動(dòng)該列表或選擇其他列表。這些運(yùn)動(dòng)可以與以下口頭命令相結(jié)合，以在該列表中選擇項(xiàng)目(例如，“點(diǎn)擊”或“選擇”)。圖9展示了另一種實(shí)現(xiàn)方式，用于說明這些頭部跟蹤和/或語音輸入如何可以用來操作多個(gè)桌面和/或運(yùn)行的應(yīng)用程序。此處，可以在OMAP4100或主機(jī)200上執(zhí)行的操作系統(tǒng)內(nèi)配置多個(gè)桌面屏幕，并使用頭部運(yùn)動(dòng)和/或語音命令導(dǎo)航。每個(gè)桌面都可被配置成在同一時(shí)間運(yùn)行不同的應(yīng)用程序。例如，可以使用第一桌面運(yùn)行占用整個(gè)屏幕的圖片查看應(yīng)用程序。要看電影，該用戶可以發(fā)出“新桌面”口頭命令，并且然后從該新桌面中選擇觀看電影的應(yīng)用程序。這則允許在該當(dāng)前窗口中觀看電影。然而，該圖片查看應(yīng)用程序仍然在運(yùn)行但不可見。該用戶可以通過發(fā)出切換可視桌面(“去桌面I”)的適當(dāng)命令來切換到該圖片查看應(yīng)用程序，或通過向左、右、上或下移動(dòng)頭部在打開的桌面間四處移動(dòng)。因此，該用戶能夠快速瀏覽所有打開的桌面及其正在運(yùn)行的應(yīng)用程序。應(yīng)當(dāng)理解的是，由HMD設(shè)備100執(zhí)行的功能中的一個(gè)或多個(gè)還可以以其他形狀因素實(shí)現(xiàn)，如其他類型的手提外殼。在此引用的所有專利、公開申請(qǐng)以及參考文獻(xiàn)的教導(dǎo)都通過引用以其全部內(nèi)容結(jié)合在此。雖然已經(jīng)參考其示例實(shí)施例具體地展示和說明了本發(fā)明，但是本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解的是，在不偏離由所附權(quán)利要求所包括的本發(fā)明的范圍的情況下，其中可以在形式和細(xì)節(jié)方面進(jìn)行多種改變。權(quán)利要求1.一種手提設(shè)備，包括:微型顯示器，用于顯示從本地處理器接收到的視覺信息；動(dòng)作檢測器，用于檢測用戶的身體部分的物理運(yùn)動(dòng)，并且提供動(dòng)作或姿勢輸入；以及位于所述手提設(shè)備中的所述本地處理器，并且進(jìn)一步包括:收發(fā)器，用于接收所述動(dòng)作或姿勢輸入；翻譯器，用于將所述動(dòng)作或姿勢輸入翻譯成用戶命令；疊加器，用于生成依賴于一個(gè)或多個(gè)可能的動(dòng)作或姿勢輸入的信息疊加；顯示器控制器，用于轉(zhuǎn)發(fā)將要在所述微型顯示器上包括在所述信息疊加處顯示的信肩、O2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述手提設(shè)備是頭戴式顯示器(HMD)設(shè)備。3.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述將要顯示的信息進(jìn)一步包括所述本地處理器已經(jīng)處理了所述用戶命令的視覺或音頻確認(rèn)。4.根據(jù)權(quán)利要求1所述的設(shè)備，進(jìn)一步包括:無線通信接口，用于向主處理器轉(zhuǎn)發(fā)所述用戶命令，并且用于從所述主處理器接收應(yīng)答。全文摘要一種頭戴式微型顯示器(HMD)設(shè)備，該設(shè)備使用手部、身體、頭部運(yùn)動(dòng)或姿勢及語音命令來控制與本地處理器或主計(jì)算機(jī)的相互作用。該本地處理器將信息疊加到諸如操作系統(tǒng)桌面或應(yīng)用程序菜單上，該信息指示激活相關(guān)聯(lián)行動(dòng)所需的動(dòng)作、姿勢和/或語音輸入。文檔編號(hào)G06F3/01GK103180800SQ201180050790公開日2013年6月26日申請(qǐng)日期2011年9月19日優(yōu)先權(quán)日2010年9月20日發(fā)明者J·J·雅各布森,C·帕金森,S·A·波姆博申請(qǐng)人:寇平公司