在頭戴式顯示器上提供用戶界面的裝置和方法及其頭戴式顯示器的制造方法
【專利說明】在頭戴式顯示器上提供用戶界面的裝置和方法及其頭戴式業(yè)不命
技術(shù)領(lǐng)域
[0001]本發(fā)明的示例的實(shí)施例涉及提供用戶界面(UI)和/或用戶體驗(yàn)(UX)(在此處，以后稱為“UI”)的裝置和方法，更具體涉及確定最佳的UI，和在頭戴式顯示器上提供UI的裝置和方法及其頭戴式顯示器。
【背景技術(shù)】
[0002]UI技術(shù)是一種幫助用戶方便地利用各種的數(shù)字設(shè)備的界面方法。更詳細(xì)地，Π技術(shù)是用戶相對交互作用以便用戶和數(shù)字設(shè)備提供和獲得信息的程序的一部分。例如，其被稱作命令行界面，其中用戶輸入運(yùn)行程序的命令，由菜單選擇的命令操作的菜單驅(qū)動(dòng)的界面，和圖形用戶界面(GUI)，其中圖形顯示程序通過使用位置定位設(shè)備，諸如光筆、鼠標(biāo)、控制球和操縱桿操作。此外，近來，由用戶的動(dòng)作命令操作的手勢UI，和無需他的或者她的動(dòng)作由用戶的語音操作的語音識別UI已經(jīng)被開發(fā)去應(yīng)用于數(shù)字設(shè)備。
[0003]此外，作為朝著最小化數(shù)字設(shè)備的重量和尺寸方向的趨勢，已經(jīng)開發(fā)了各種的可佩帶的數(shù)字設(shè)備。作為可佩帶的數(shù)字設(shè)備的一種，已經(jīng)開發(fā)了可以在面部上佩戴的頭戴式顯示器(HMD)，就像眼鏡。除簡單顯示器使用以外，HMD可以與諸如增加實(shí)體技術(shù)，和N個(gè)屏幕技術(shù)的技術(shù)協(xié)作，提供用戶許多各種的便利。

【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]因此，前面提到的各種的Π技術(shù)可以應(yīng)用于HMD。但是，因?yàn)镠MD可以由用戶佩戴，并且自由地移動(dòng)，所以其很難確定用于HMD的最佳的UI。因此，考慮到HMD的特征和在HMD附近的周圍環(huán)境條件，需要提供非常有效和便利的UI的技術(shù)。
[0006]技術(shù)方案
[0007]因此，本發(fā)明示例的實(shí)施例提出一種提供用戶界面的裝置和方法，其大體上消除由于現(xiàn)有技術(shù)的限制和缺點(diǎn)而造成的一個(gè)或多個(gè)問題。
[0008]有益效果
[0009]本發(fā)明示例的實(shí)施例提供一種考慮到HMD的特征和在HMD附近的周圍環(huán)境條件，提供非常有效和便利的Π的技術(shù)。
【附圖說明】
[0010]該伴隨的附圖被包括以提供對本發(fā)明進(jìn)一步的理解，并且被結(jié)合進(jìn)和構(gòu)成本申請書的一部分，其圖示本發(fā)明的示例的實(shí)施例，并且與該說明書一起可以起解釋示例的實(shí)施例原理的作用。在附圖中:
[0011]圖1a和Ib示出根據(jù)本發(fā)明示例的實(shí)施例解釋HMD的圖；
[0012]圖2示出根據(jù)本發(fā)明示例的實(shí)施例用于HMD內(nèi)部配置的框圖；
[0013]圖3和4示出作為本發(fā)明的第一示例的實(shí)施例根據(jù)目標(biāo)位置的Π模式確定過程的流程圖；
[0014]圖5a、5b和5c是示出UI模式確定過程如何應(yīng)用于本發(fā)明的第一示例的實(shí)施例的圖；
[0015]圖6a和6b示出根據(jù)本發(fā)明示例的實(shí)施例的實(shí)體Π模式(例如，鍵盤、繪圖)的示例；
[0016]圖7a和7b示出根據(jù)本發(fā)明示例的實(shí)施例的非實(shí)體Π模式(例如，語音、手勢)的示例；
[0017]圖8和9示出作為本發(fā)明第二示例的實(shí)施例考慮到HMD視角的UI模式確定的流程圖；
[0018]圖1Oa和1b是示出UI模式確定過程如何應(yīng)用于本發(fā)明的第二示例的實(shí)施例的圖；
[0019]圖11和12示出作為本發(fā)明的第三示例的實(shí)施例考慮到目標(biāo)類型的Π模式確定的流程圖；
[0020]圖13a和13b是示出UI模式確定過程如何應(yīng)用于本發(fā)明的第三示例的實(shí)施例的圖；
[0021]圖14和15示出作為本發(fā)明的第四示例的實(shí)施例利用在視角內(nèi)的數(shù)字設(shè)備的Π模式確定過程的流程圖；
[0022]圖16是示出Π模式確定過程如何應(yīng)用于本發(fā)明的第四示例的實(shí)施例的圖；
[0023]圖17和18示出作為本發(fā)明的第五示例的實(shí)施例利用數(shù)字設(shè)備的UI模式確定過程的流程圖；
[0024]圖19a和19b圖示顯示包括一個(gè)觸摸識別表面的虛擬的3D目標(biāo)的HMD ；
[0025]圖20a和20b圖示顯示包括多個(gè)觸摸識別表面的虛擬的3D目標(biāo)的HMD ；
[0026]圖21a、21b、21c和21d圖不基于用戶的手勢顯不包括多個(gè)觸?旲識別表面的虛擬的3D目標(biāo)的HMD ；
[0027]圖22是根據(jù)本公開的實(shí)施例在HMD中提供用戶界面的流程圖；和
[0028]圖23是根據(jù)本公開的另一個(gè)實(shí)施例在HMD中提供用戶界面的流程圖。
【具體實(shí)施方式】
[0029]示例的實(shí)施例的一個(gè)目的是提供頭戴式顯示器用戶界面(HMDn)，提供考慮到在HMD附近的周圍環(huán)境條件而最佳的HMDn。特別地，示例的實(shí)施例的另一個(gè)目的是基于是否用于HMD Π的可使用的目標(biāo)存在于HMD的附近，不同地應(yīng)用HMD U10
[0030]示例的實(shí)施例的另一個(gè)目的是基于在目前使用的HMD附近的周圍環(huán)境條件，改變和提供最佳的HMD U1
[0031]在下面的描述中將在某種程度上闡述示例的實(shí)施例的額外的優(yōu)點(diǎn)、目的和特點(diǎn)，在參閱以下內(nèi)容時(shí)或者可以從示例的實(shí)施例的實(shí)踐中獲悉，在某種程度上對于那些本領(lǐng)域普通的技術(shù)人員將變得顯而易見。通過尤其在著述的說明書和此處的權(quán)利要求以及所附的附圖中指出的結(jié)構(gòu)，可以實(shí)現(xiàn)和獲得示例的實(shí)施例的目的和其它的優(yōu)點(diǎn)。
[0032]為了實(shí)現(xiàn)這些目的和其它的優(yōu)點(diǎn)，和按照示例的實(shí)施例的目的，如在此處實(shí)施和廣泛地描述的，一種提供用戶界面(UI)的方法，包括:檢測是否目標(biāo)存在于HMD的附近；感測在檢測到的目標(biāo)和HMD之間的距離；如果目標(biāo)是在離HMD預(yù)先確定的距離范圍之內(nèi)，應(yīng)用實(shí)體用戶界面(UI)模式，其中實(shí)體Π模式提供用于虛擬目標(biāo)的顯示；當(dāng)虛擬目標(biāo)是3維(3D)目標(biāo)，并且3D目標(biāo)包括觸摸識別表面時(shí)，調(diào)整虛擬目標(biāo)的顯示距離，以便觸摸識別表面與目標(biāo)的表面重合；和基于調(diào)整的顯示距離，顯示虛擬目標(biāo)。
[0033]在示例的實(shí)施例的另一個(gè)方面中，一種包括用于頭戴式顯示器(HMD)的用戶界面(UI)裝置的UI裝置，包括:傳感器單元，配置成檢測是否目標(biāo)存在于HMD的附近，并且如果檢測到目標(biāo)，則感測在目標(biāo)和HMD之間的距離；和處理器，其被配置成，如果檢測到的目標(biāo)是在離HMD預(yù)先確定的距離范圍之內(nèi)，則應(yīng)用實(shí)體用戶界面(UI)模式，其中實(shí)體Π模式提供用于虛擬目標(biāo)的顯示，處理器被進(jìn)一步配置成:當(dāng)虛擬目標(biāo)是3維(3D)目標(biāo)，并且3D目標(biāo)包括觸摸識別表面時(shí)，調(diào)整虛擬目標(biāo)的顯示距離，以便觸摸識別表面與目標(biāo)的表面重合，和基于調(diào)整的顯示距離，顯示虛擬目標(biāo)。
[0034]應(yīng)該明白，實(shí)施例的上文的概述和后面的詳細(xì)說明兩者是示例性和說明性的，并且作為權(quán)利要求意欲對示例的實(shí)施例提供進(jìn)一步解釋。
[0035]現(xiàn)在將詳細(xì)地介紹本發(fā)明的示例的實(shí)施例，其示例在伴隨的附圖中圖示。只要可能，貫穿本附圖將使用相同的附圖標(biāo)記以涉及相同的或者類似的部分。
[0036]圖1a和Ib示出根據(jù)本發(fā)明示例的實(shí)施例作為例子解釋HMD的圖。更詳細(xì)地，圖1a表示HMD 100的外部配置的示例，并且圖1b表示在用戶10上佩戴的HMD 100的示例。因此，本發(fā)明不局限于HMD100的外部配置，并且明顯地可以使用HMD的任何外部配置以實(shí)現(xiàn)示例的實(shí)施例。
[0037]特別地，UI被應(yīng)用于的HMD 100包括顯示屏幕101和至少一個(gè)傳感器102。不僅所有內(nèi)容和圖像由HMD經(jīng)由顯示屏幕101提供給用戶10，而且提供有關(guān)示例的實(shí)施例的Π的信息。此外，HMD 100包括至少一個(gè)傳感器102，檢測在HMD 100附近的周圍環(huán)境條件，并且被使用作為確定運(yùn)行這樣的傳感器功能的HMD Π的重要的元素。此外，HMD 100能夠包括以便用戶10在頭部佩戴HMD 100的支撐部件103和在耳朵中可佩帶的音頻輸出單元104。
[0038]圖1b示出在用戶10上佩帶的HMD 100，以便解釋目前使用的HMD 100的狀態(tài)的圖。按照提及的實(shí)施例，HMD 100包括視角區(qū)200的預(yù)先確定的距離。視角區(qū)200是對應(yīng)于佩帶HMD 100的用戶10的預(yù)先確定的區(qū)域，并且可以包括在HMD 100的正向中具有某個(gè)角度的區(qū)域。此外，按照該實(shí)施例，HMD 100和外部數(shù)字設(shè)備(在圖中未示出)可以由網(wǎng)絡(luò)300連接去通信。例如，可使用的無線網(wǎng)絡(luò)是近場通信(NFC)、Zigbee、紅外通信、藍(lán)牙和WIF1也就是說，在示例的實(shí)施例中，在HMD 100和數(shù)字設(shè)備之間的通信可以由以上列舉的網(wǎng)絡(luò)300或者它們的組合的一個(gè)實(shí)現(xiàn)。但是，示例的實(shí)施例不局限于如上所述的那些。
[0039]圖2示出用于HMD內(nèi)部配置的框圖。
[0040]按照圖2，示例的實(shí)施例的HMD 100包括處理器110、傳感器單元120、存儲(chǔ)單元130、通信單元140、用戶輸入單元150、顯示控制器160、Π控制單元170。
[0041]傳感器單元120可以內(nèi)部地或者外部地配備在HMD 100中，并且通知處理器110該HMD 100識別的周圍環(huán)境條件。因而，傳感器單元120可以包括多個(gè)感測方法。例如，傳感器單元120不僅檢測在HMD100附近，稱作“目標(biāo)”的目標(biāo)或者事物，而且確保檢測到的目標(biāo)的類型，并且可以包括感測在檢測到的目標(biāo)和HMD之間距離的目標(biāo)傳感器121。此外，傳感器單元120可以包括感測HMD 100視角的視角傳感器122。目標(biāo)傳感器121和視角傳感器122的更加詳細(xì)的功能和操作將在下面圖示。因此，傳感器單元，例如，可以類似在圖1a中的102內(nèi)部地或者外部地配備在HMD中。
[0042]此外，可以配置有多個(gè)感測方法的傳感器單元120例如包括重力傳感器、磁性傳感器、運(yùn)動(dòng)傳感器、陀螺傳感器、加速度傳感器、紅外傳感器、傾斜傳感器、亮度傳感器、仰角傳感器、嗅覺傳感器、溫度傳感器、深度傳感器、壓力傳感器、彎曲傳感器、音頻傳感器、視頻傳感器、全球定位系統(tǒng)(GPS)傳感器和觸摸傳感器。但是，示例的實(shí)施例不局限于該列舉的。也就是說，傳感器單元120感測HMD用戶和在他或者她附近的周圍環(huán)境條件，并且發(fā)送感測的結(jié)果，以便處理器110據(jù)此操作是足夠的，并且傳感器單元120的詳細(xì)感測方法不局限于列舉的感測方法。
[0043]此外，存儲(chǔ)單元130可以存儲(chǔ)各種的數(shù)字?jǐn)?shù)據(jù)，諸如視頻、音頻、圖片、電影片斷和應(yīng)用。存儲(chǔ)單元130表示各種的數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)空間，諸如閃存、隨機(jī)存取存儲(chǔ)器(RAM)和固態(tài)硬盤(SSD)。
[0044]此外，通信單元140通過與外部數(shù)字設(shè)備執(zhí)行通信發(fā)送和接收數(shù)據(jù)和各種的協(xié)議。示例的實(shí)施例的HMD 100通過使用通信單元140與在HMD 100附近的數(shù)字設(shè)備執(zhí)行配對和連接通信。另一方面，通信單元140可以包括多個(gè)天線。HMD 100通過使用多個(gè)天線檢測正在與HMD通信的數(shù)字設(shè)備的位置。也就是說，HMD 100通過使用在經(jīng)由多個(gè)天線發(fā)送或者接收的信號之間的時(shí)間和高度差，檢測正在與HMD通信的數(shù)字設(shè)備的位置。
[0045]此外，用戶輸入單元是接收控制HMD 100的使用的用戶控制命令的設(shè)備。用戶控制命令可以包括用戶配置命令。例如，按照示例的實(shí)施例的實(shí)施例，用戶10可以設(shè)置對應(yīng)于在HMD UI附近的周圍環(huán)境條件的操作，并且無需周圍環(huán)境條件，通過使用來自用戶輸入單元150的用戶控制信息預(yù)先確定某個(gè)Π模式。因此，基于由用戶預(yù)先確