用于具擴(kuò)增實(shí)境能力的裝置的用戶接口的制作方法
【專利說明】用于具擴(kuò)増實(shí)境能力的裝置的用戶接口
[0001]相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張2012年12月18日申請(qǐng)且標(biāo)題為“用于具擴(kuò)增實(shí)境能力的裝置的用戶接口(User Interface for Augmented Reality Enabled Devices)，，的第 13/718，923號(hào)美國申請(qǐng)案的權(quán)益及優(yōu)先權(quán)，所述申請(qǐng)案轉(zhuǎn)讓給本受讓人，且以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明涉及擴(kuò)增實(shí)境的領(lǐng)域。確切地說，本發(fā)明涉及用于具擴(kuò)增實(shí)境能力的裝置的用戶接口。
【背景技術(shù)】
[0004]頭戴式顯示器可經(jīng)配置以允許用戶看見位于其前面的世界，同時(shí)仍能夠閱讀其電子郵件、得到股票報(bào)價(jià)等。然而，現(xiàn)有裝置的共同問題為所述現(xiàn)有裝置可導(dǎo)致信息超載，這是因?yàn)橛脩舨坏貌粰z視真實(shí)世界且還不得不改變焦點(diǎn)以檢視AR內(nèi)容。現(xiàn)有裝置的另一問題為所述現(xiàn)有裝置并不基于待顯示的內(nèi)容來對(duì)在用戶的視界中的可用區(qū)域進(jìn)行優(yōu)先順序排列及組織。圖1說明根據(jù)某些常規(guī)應(yīng)用所顯示的信息的實(shí)例。如圖1中所示，各種廣告被置放于顯示器屏幕上。所述廣告中的一些廣告(例如，152、154及156)可能已阻擋場景的某些部分使之不被用戶看見。因此，常規(guī)應(yīng)用尚未在使用戶能夠與其周圍事物自然地交互的同時(shí)有效地將擴(kuò)增實(shí)境內(nèi)容整合到環(huán)境中，從而可能不利地影響頭戴式顯示器的用戶體驗(yàn)。
[0005]因此，需要可解決常規(guī)解決方案的以上問題的方法及裝置。

【發(fā)明內(nèi)容】

[0006]本發(fā)明涉及用于具擴(kuò)增實(shí)境能力的裝置的用戶接口。根據(jù)本發(fā)明的實(shí)施例，一種顯示擴(kuò)增實(shí)境內(nèi)容的方法包括:控制相機(jī)來掃描在用戶的視界中的環(huán)境；根據(jù)所述環(huán)境的特性來識(shí)別在所述環(huán)境中的一組表面以用于顯示用戶接口視窗；相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序；及在顯示器中將所述組擴(kuò)增實(shí)境內(nèi)容顯示于所述組表面上。所述環(huán)境的特性至少包括:所述組表面相對(duì)于待顯示的所述組擴(kuò)增實(shí)境內(nèi)容的寬高比；及/或所述組表面相對(duì)于待顯示的所述組擴(kuò)增實(shí)境內(nèi)容的背景色彩。
[0007]在一些實(shí)施方案中，相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的方法包括基于以下各者來排列供顯示的所述組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序:所述組表面的面積、所述組表面的定向、所述組表面相對(duì)于用戶的視野的位置及所述組表面的可跟蹤性。
[0008]在一些其它實(shí)施方案中，相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的方法進(jìn)一步包括基于以下各者中的至少一者來排列供顯示的所述組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序:所述組表面相對(duì)于待顯示的所述組擴(kuò)增實(shí)境內(nèi)容的寬高比；及所述組表面相對(duì)于待顯示的所述組擴(kuò)增實(shí)境內(nèi)容的背景色彩。
[0009]在又一些其它實(shí)施方案中，相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的方法進(jìn)一步包括根據(jù)用戶在環(huán)境中的先前使用模式的歷史來確定供顯示的一組擴(kuò)增實(shí)境內(nèi)容。確定供顯示的一組擴(kuò)增實(shí)境內(nèi)容的方法包括以下各者中的至少一者:響應(yīng)于確定用戶正在工作來選擇供顯示的第一組擴(kuò)增實(shí)境內(nèi)容；響應(yīng)于確定用戶正在家中來選擇供顯示的第二組擴(kuò)增實(shí)境內(nèi)容；響應(yīng)于確定用戶正身處商務(wù)會(huì)議中來選擇供顯示的第三組擴(kuò)增實(shí)境內(nèi)容；及響應(yīng)于確定用戶正身處社交事件中來選擇供顯示的第四組擴(kuò)增實(shí)境內(nèi)容。
[0010]應(yīng)注意，第一組擴(kuò)增實(shí)境內(nèi)容包含用戶習(xí)慣于在工作時(shí)使用的用于通信及文件處理的應(yīng)用程序，且第二組擴(kuò)增實(shí)境內(nèi)容包含用戶習(xí)慣于在家中使用的用于通信及娛樂的應(yīng)用程序。用于通信及文件處理的第一組擴(kuò)增實(shí)境內(nèi)容包含電子郵件、網(wǎng)頁瀏覽器及辦公室生產(chǎn)率(office productivity)應(yīng)用程序，且用于通信及娛樂的第二組擴(kuò)增實(shí)境內(nèi)容包含F(xiàn)acebook、Twitter、電影及視頻游戲應(yīng)用程序。
[0011]在又一些其它實(shí)施方案中，相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的方法進(jìn)一步包括基于以下各者中的至少一者來排列供顯示的所述組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序:待顯示的所述組擴(kuò)增實(shí)境內(nèi)容的比例因子；及待顯示的所述組擴(kuò)增實(shí)境內(nèi)容的邏輯關(guān)系。
[0012]在又一些其它實(shí)施方案中，相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的方法進(jìn)一步包括:根據(jù)預(yù)定義的用戶偏好來確定供顯示的一組擴(kuò)增實(shí)境內(nèi)容；及在顯示器中將所述組擴(kuò)增實(shí)境內(nèi)容顯示于所述組表面上。所述預(yù)定義的用戶偏好包括以下各者中的至少一者:擴(kuò)增實(shí)境內(nèi)容對(duì)用戶的重要性；待顯示的擴(kuò)增實(shí)境內(nèi)容的量；及擴(kuò)增實(shí)境內(nèi)容相對(duì)于所述組表面的檢視定向。
[0013]在另一實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)供一或多個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行的計(jì)算機(jī)程序的非暫時(shí)性媒體；所述計(jì)算機(jī)程序產(chǎn)品包括:用于控制相機(jī)來掃描在用戶的視界中的環(huán)境的代碼；用于根據(jù)所述環(huán)境的特性來識(shí)別在所述環(huán)境中的一組表面以用于顯示用戶接口視窗的代碼；用于相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的代碼；用于在顯示器中將所述組擴(kuò)增實(shí)境內(nèi)容顯示于所述組表面上的代碼。
[0014]在又一實(shí)施例中，設(shè)備包括至少一個(gè)處理器，其中所述至少一個(gè)處理器包括:經(jīng)配置以控制相機(jī)來掃描在用戶的視界中的環(huán)境的邏輯；經(jīng)配置以根據(jù)所述環(huán)境的特性來識(shí)別在所述環(huán)境中的一組表面以用于顯示用戶接口視窗的邏輯；經(jīng)配置以相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的邏輯；及經(jīng)配置以在顯示器中將所述組擴(kuò)增實(shí)境內(nèi)容顯示于所述組表面上的邏輯。
[0015]在又一實(shí)施例中，用于顯示擴(kuò)增實(shí)境內(nèi)容的系統(tǒng)包括:用于控制相機(jī)來掃描在用戶的視界中的環(huán)境的裝置；用于根據(jù)所述環(huán)境的特性來識(shí)別在所述環(huán)境中的一組表面以用于顯示用戶接口視窗的裝置；用于相對(duì)于環(huán)境中的所述組表面來排列供顯示的一組擴(kuò)增實(shí)境內(nèi)容的優(yōu)先順序的裝置；及用于在顯示器中將所述組擴(kuò)增實(shí)境內(nèi)容顯示于所述組表面上的裝置。
【附圖說明】
[0016]在結(jié)合以下圖式閱讀本發(fā)明的實(shí)施例的詳細(xì)描述之后將可更加清楚地理解本發(fā)明的上述特征及優(yōu)點(diǎn)以及其額外特征及優(yōu)點(diǎn)。
[0017]圖1說明根據(jù)某些常規(guī)應(yīng)用所顯示的信息的實(shí)例。
[0018]圖2說明根據(jù)本發(fā)明的一些方面的具擴(kuò)增實(shí)境能力的裝置。
[0019]圖3說明根據(jù)本發(fā)明的一些方面的示范性具擴(kuò)增實(shí)境能力的裝置的框圖。
[0020]圖4說明根據(jù)本發(fā)明的一些方面的另一示范性具擴(kuò)增實(shí)境能力的裝置。
[0021]圖5說明根據(jù)本發(fā)明的一些方面的圖4的具擴(kuò)增實(shí)境能力的裝置的框圖。
[0022]圖6說明根據(jù)本發(fā)明的一些方面的用于具擴(kuò)增實(shí)境能力的裝置的示范性用戶接
□ O
[0023]圖7說明根據(jù)本發(fā)明的一些方面的顯示擴(kuò)增實(shí)境內(nèi)容的示范性方法。
【具體實(shí)施方式】
[0024]揭示了用于具擴(kuò)增實(shí)境能力的裝置的用戶接口的實(shí)施例。呈現(xiàn)以下描述以使所屬領(lǐng)域的技術(shù)人員能夠制作并使用本發(fā)明。對(duì)特定實(shí)施例及應(yīng)用的描述僅被提供作為實(shí)例。本文中所描述的實(shí)例的各種修改及組合將容易被所屬領(lǐng)域的技術(shù)人員顯而易見，且可在不背離本發(fā)明的精神及范圍的情況下將本文中所界定的一般原理應(yīng)用于其它實(shí)例及應(yīng)用。因此，本發(fā)明并不意欲受限于所描述并展示的實(shí)例，而是將符合與本文中所揭示的原理及特征一致的最廣范圍。詞語“示范性”或“實(shí)例”在本文中用以意謂“充當(dāng)實(shí)例、例子或說明”。本文中被描述為“示范性”或“實(shí)例”的任何方面或?qū)嵤├灰欢ū唤忉尀楸绕渌矫婊驅(qū)嵤├^佳或有利。
[0025]圖2說明根據(jù)本發(fā)明的一些方面的具擴(kuò)增實(shí)境能力的裝置。如圖2中所示，具擴(kuò)增實(shí)境能力的裝置(ARD) 200包含外殼101、顯示器102、一或多個(gè)揚(yáng)聲器104及麥克風(fēng)106。顯示器102 (其可為觸摸屏顯示器)可說明由相機(jī)105俘獲的圖像，或任何其它所要的用戶接口信息。當(dāng)然，ARD 200可包含未必與本發(fā)明相關(guān)的額外組件。
[0026]如本文中所使用，ARD裝置是指任何便攜式電子裝置，例如蜂窩式或其它無線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型或其它合適的移動(dòng)平臺(tái)。移動(dòng)平臺(tái)可能夠接收無線通信信號(hào)及/或?qū)Ш叫盘?hào)(例如，導(dǎo)航定位信號(hào))。術(shù)語ARD還意欲包含例如通過短程無線、紅外線、有線連接或其它連接而與個(gè)人導(dǎo)航裝置(PND)通信的裝置，此與衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及/或位置相關(guān)處理發(fā)生在所述裝置處還是在PND處無關(guān)。而且，ARD意欲包含能夠俘獲在姿勢跟蹤中所使用的圖像以及能夠執(zhí)行擴(kuò)增實(shí)境用戶接口功能的所有電子裝置，包含無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話、數(shù)字相機(jī)等。
[0027]圖3說明根據(jù)本發(fā)明的一些方面的示范性具擴(kuò)增實(shí)境能力的裝置的框圖。ARD300的移動(dòng)平臺(tái)包含用于俘獲環(huán)境的圖像的相機(jī)108，所述圖像可為個(gè)別照片或視頻幀。ARD 300的移動(dòng)平臺(tái)還可包含傳感器116，所述傳感器116可用以提供ARD 300的移動(dòng)平臺(tái)可借以確定其位置及定向(即，姿勢)的數(shù)據(jù)?？膳cARD 300的移動(dòng)平臺(tái)一起使用的傳感器的實(shí)例包含加速計(jì)、石英傳感器、陀螺儀、被用作線性加速計(jì)的微機(jī)電系統(tǒng)(MEMS)傳感器，以及磁力計(jì)。
[0028]ARD 300的移動(dòng)平臺(tái)還可包含用戶接口 110，所述用戶接口 110包含能夠顯示圖像的顯示器112。用戶接口 110還可包含小鍵盤114或用戶可借以將信息輸入到ARD 300的移動(dòng)平臺(tái)中的其它輸入裝置。如果需要，可通過將虛擬小鍵盤集成到具有觸控傳感器的顯示器112中而排除小鍵盤114。用戶接口 110還可包含麥克風(fēng)117及一或多個(gè)揚(yáng)聲器118 (例如，如果移動(dòng)平臺(tái)為蜂窩式電話)。當(dāng)然，ARD 300的移動(dòng)平臺(tái)可包含與本發(fā)明無關(guān)的其它組件。
[0029]ARD 300的移動(dòng)平臺(tái)另外包含控制單元120，所述控制單元120連接到以下各者并與以下各者通信:相機(jī)108及傳感器116，以及用戶接口 110，連同任何其它所要特征?？赏ㄟ^一或多個(gè)處理器122及/或相關(guān)聯(lián)的存儲(chǔ)器/存儲(chǔ)器124來提供控制單元120?？刂茊卧?20還可包含軟件126以及硬件128與固件130?？刂茊卧?20包含跟蹤模塊132，所述跟蹤模塊132經(jīng)配置以跟蹤ARD 300的位置以及跟蹤由ARD 300監(jiān)視的一或多個(gè)對(duì)象的位置?？刂茊卧?20進(jìn)一步包含擴(kuò)增實(shí)境用戶接口模塊134，所述擴(kuò)增實(shí)境用戶接口模塊134經(jīng)配置以將擴(kuò)增實(shí)境交互呈現(xiàn)于ARD 300的顯示器112上。出于清晰性，跟蹤模塊132及擴(kuò)增實(shí)境用戶接口模塊134是與處理器122及/或硬件128分開來加以說明的，但可基于軟件126及固件130中的指令將跟蹤模塊132及擴(kuò)增實(shí)境用戶接口模塊134組合及/或?qū)嵤┯谔幚砥?22及/或硬件128中。
[0030]圖4說明根據(jù)本發(fā)明的一些方面的另一示范性具擴(kuò)增實(shí)境能力的裝置400。如圖4中所示，具擴(kuò)增實(shí)境能力的裝置400可為頭戴式裝置。根據(jù)本發(fā)明的方面，頭戴式裝置可經(jīng)配置以學(xué)習(xí)用戶的以往的使用模式及偏好，且基于用戶可能身處的時(shí)間及環(huán)境來自動(dòng)地調(diào)適用戶接口視窗。舉例來說，頭戴式裝置可經(jīng)配置以根據(jù)用戶在某一環(huán)境中的先前使用模式的歷史來確定供顯示的一組擴(kuò)增實(shí)境內(nèi)容，且接著相應(yīng)地顯示所述組擴(kuò)增實(shí)境內(nèi)容。
[0031]在一種方法中，頭戴式裝置可經(jīng)配置以響應(yīng)于確定用戶正在工作來選擇供顯示的第一組擴(kuò)增實(shí)境內(nèi)容。在另一種方法中，頭戴式裝置可經(jīng)配置以響應(yīng)于確定用戶正在家中來選擇供顯示的第二組擴(kuò)增實(shí)境內(nèi)