數(shù)字設(shè)備檢測和位置確定S440和HMD UI模式確定S450的步驟。一旦HMD UI模式確定過程開始S410，HMD處理器110通過目標(biāo)傳感器121檢測在HMD附近的目標(biāo)，并且確定目標(biāo)的位置S421。在確定S421的步驟之后，處理器110確定在HMD和目標(biāo)之間的關(guān)系作為前面提到的Fl、F2和F3狀態(tài)的一個。例如，當(dāng)檢測到目標(biāo)時，并且檢測到的目標(biāo)保持在其中實體反饋是可能的距離之內(nèi)時，其被稱作Fl狀態(tài)，如在S422中示出的。此外，當(dāng)檢測到目標(biāo)時，并且檢測到的目標(biāo)沒有保持在其中實體反饋是可能的距離之內(nèi)時，其被稱作F2狀態(tài)，如在S423中示出的。最后，在S424中示出，當(dāng)目標(biāo)不存在于HMD附近時，其被稱作F3狀態(tài)。
[0092]然后，在已經(jīng)確定Fl狀態(tài)(S422)的情況下，HMD 100處理器110進(jìn)一步通過視角傳感器120確定是否檢測到的目標(biāo)是在HMD視角的范圍之內(nèi)(S431)。例如，按照S431的步驟，其可以確定或者SI或者S2狀態(tài)。
[0093]經(jīng)由S431的步驟，如果HMD處理器110確定檢測到的目標(biāo)不在視角(S2狀態(tài)，S433)內(nèi)，則其確定是否在預(yù)先確定的距離內(nèi)存在新的數(shù)字設(shè)備(S441)。例如，按照圖16，HMD用戶10可以從初始檢測到的目標(biāo)400轉(zhuǎn)移目光到附近數(shù)字設(shè)備500。因此，在那種情況下，如果經(jīng)由S441的步驟在預(yù)先確定的距離內(nèi)檢測到新的設(shè)備500，則HMD處理器110通過使用通信單元140試圖執(zhí)行與相應(yīng)的數(shù)字設(shè)備500的連接通信。一旦在HMD 100和設(shè)備500之間連接通信，HMD處理器110通過使用UI控制單元170利用在數(shù)字設(shè)備500中的顯示方法510作為實體模式(S452)。
[0094]此外，在S441的步驟中，如果其被認(rèn)為新的數(shù)字設(shè)備在視角內(nèi)不存在，則HMD處理器110解釋用戶意欲長期的轉(zhuǎn)移目光，并且保持非實體UI模式。如果初始UI模式是實體UI模式，則其可以被轉(zhuǎn)變?yōu)榉菍嶓wUI模式。
[0095]另一方面，經(jīng)由視角確定S431的步驟，如果HMD處理器110確定檢測到的目標(biāo)是在預(yù)先確定的距離范圍之內(nèi)(SI狀態(tài)，S432)，則HMD處理器110將實體Π模式作為HMD UI模式操作(S451)。在第一修改中示出的實體和非實體UI的類型和操作方法將在第四修改中同樣應(yīng)用。
[0096]此外，雖然在圖中沒有示出，按照S451的步驟，如果在預(yù)先確定的距離內(nèi)檢測到新的數(shù)字設(shè)備，同時在預(yù)先確定的距離內(nèi)的目標(biāo)正在作為實體UI應(yīng)用，則相應(yīng)的新的數(shù)字設(shè)備的顯示功能可以作為實體Π模式使用。例如，在目標(biāo)表面上的實體Π可以被刪除，但是，刪除的實體UI可以被除去，并且應(yīng)用于數(shù)字設(shè)備的顯示。此外，實體UI可以停留在目標(biāo)的表面上，并且數(shù)字設(shè)備的顯示功能可以用作不同于目標(biāo)的表面的實體Π的另一個實體Π。例如，目標(biāo)表面的實體Π可以用作虛擬鍵盤Π，并且數(shù)字設(shè)備的顯示功能可以用作繪圖Π。此外，例如，目標(biāo)表面的實體Π可以用作虛擬鍵盤的數(shù)字鍵區(qū)，并且數(shù)字設(shè)備的顯示功能可以用作虛擬鍵盤的字母鍵區(qū)。
[0097]此外，在實體Π模式就像在S451和S452中示出的那樣應(yīng)用的情況下，處理器110連續(xù)地確定是否用于實體UI的目標(biāo)400或者數(shù)字設(shè)備500沒有保持在HMD視角內(nèi)(S451/S452->S431)。另一方面，在非實體Π模式就像在S453和S454中示出的那樣應(yīng)用的情況下，處理器110連續(xù)地確定是否在預(yù)先確定的距離內(nèi)檢測到目標(biāo)(S453/S454->S321)。
[0098]圖17和18作為示例的實施例的第五個實施例示出考慮數(shù)字設(shè)備檢測的UI模式確定的流程圖。進(jìn)一步說明如下。
[0099]按照第五個實施例，HMD UI模式包括數(shù)字設(shè)備檢測和位置確定S520和HMD UI模式確定S530的步驟。當(dāng)HMD Π模式確定過程開始時S510，HMD處理器110使用目標(biāo)傳感器121和通信單元140檢測在HMD附近的數(shù)字設(shè)備，并且確定檢測的數(shù)字設(shè)備的位置(S521)。在確定S521的步驟之后，處理器110確定在HMD和數(shù)字設(shè)備之間的關(guān)系作為前面提到的FU F2和F3狀態(tài)的一個。例如，當(dāng)檢測到設(shè)備時，并且檢測的設(shè)備保持在其中實體反饋是可能的距離之內(nèi)時，其被稱作Fl狀態(tài)，如在S522中示出的。此外，當(dāng)檢測到設(shè)備時，并且檢測的設(shè)備沒有保持在其中實體反饋是可能的距離之內(nèi)時，其被稱作F2狀態(tài)，如在S523中示出的。最后，在S524中示出，當(dāng)設(shè)備在HMD附近不存在時，其被稱作F3狀態(tài)。
[0100]如果HMD處理器110確定其是Fl狀態(tài)S522，則HMD處理器110經(jīng)由通信140執(zhí)行連接通信(S531)。如果通信連接完成，則HMD處理器110經(jīng)由前面提到的UI控制單元170通過使用在設(shè)備中的顯示器操作實體Π模式(S531)。也就是說，配備在相應(yīng)的設(shè)備中的顯示器可以作為HMD虛擬鍵盤使用。另一方面，如果HMD處理器110確定其是F2狀態(tài)(S523)或者F3狀態(tài)(S524)，則HMD處理器110經(jīng)由前面提到的UI控制單元170操作非實體UI模式(S533)ο
[0101]在下文中，將解釋用于應(yīng)用實體Π模式的HMD的額外的實施例。
[0102]如上所述，實體UI模式通常公知使用其中用戶可以實際接觸的各種的方法描述在HMD中Π的方法，并且包括要在下面解釋的虛擬的3D目標(biāo)Π方法。當(dāng)檢測到的目標(biāo)是在離HMD預(yù)先確定的距離范圍之內(nèi)時，如在第一個實施例中與圖3至圖7 —起解釋的實體UI模式是可應(yīng)用的。
[0103]在這里，虛擬的3D目標(biāo)Π方法指的是提供用于包括至少一個觸摸識別界面的虛擬的3D目標(biāo)顯示的Π方法。更詳細(xì)地，虛擬的3D目標(biāo)Π方法顯示虛擬目標(biāo)，以便虛擬目標(biāo)的觸摸識別表面與經(jīng)由傳感器單元檢測的真實目標(biāo)的表面重合，并且基于有關(guān)觸摸識別表面的用戶觸摸輸入，通過接收用戶命令操作。經(jīng)由這個過程，由于虛擬目標(biāo)的觸摸識別表面和真實目標(biāo)的表面重合，所以與真實目標(biāo)的觸摸輸入相同的實體反饋可以提供給虛擬目標(biāo)的觸摸輸入。在本公開中表面的重合不僅指的是它們是精確地一致，而且包括大體上重合，以及包括在預(yù)先確定的范圍內(nèi)重合。
[0104]在這里，虛擬的3D目標(biāo)指的是包括至少一個觸摸識別表面的虛擬的3D目標(biāo)。例如，虛擬的3D目標(biāo)可以是虛擬的3D開關(guān)，虛擬的3D開關(guān)包括用作控制在HMD附近的數(shù)字設(shè)備的電源開/關(guān)的輸入按鈕的觸摸識別表面。在另一個示例中，虛擬的3D目標(biāo)可以是包括用作鍵盤輸入的多個觸摸識別表面的虛擬的3D鍵盤。在下文中，虛擬的3D目標(biāo)Π方法可以稱為虛擬目標(biāo)UI方法，并且虛擬的3D目標(biāo)可以稱為虛擬目標(biāo)。
[0105]在這里，觸摸識別表面指的是經(jīng)由HMD產(chǎn)生的虛擬的觸摸表面。例如，觸摸識別表面可以經(jīng)由安裝在HMD中的3D運動傳感器產(chǎn)生，但是，不僅僅受限于3D運動傳感器。在實施例中，觸摸識別表面可以在虛擬目標(biāo)的前側(cè)上產(chǎn)生，但是，不僅僅受限于前側(cè)。更詳細(xì)地，HMD可以使用3D運動傳感器在虛擬目標(biāo)的前側(cè)中產(chǎn)生觸摸識別表面，通過感測觸摸輸入目標(biāo)的向上/向下和向右/向左運動，控制指針的運動，并且通過感測觸摸輸入目標(biāo)的深度，確定觸摸識別表面的觸摸識別。
[0106]此外，虛擬目標(biāo)Π方法可以基于用戶輸入或者預(yù)先存儲的系統(tǒng)設(shè)置被設(shè)置為自動模式或者半自動模式的一個。自動模式自動地調(diào)整虛擬目標(biāo)的顯示距離，以便與檢測到的真實目標(biāo)的表面和虛擬目標(biāo)的觸摸識別表面重合。以自動模式應(yīng)用虛擬目標(biāo)Π方法的HMD的實施例在圖19和圖20中圖示。此外，在半自動模式中，視覺目標(biāo)首先由預(yù)置的距離顯示，并且基于用戶輸入，諸如顯示的視覺目標(biāo)的用戶的手勢，通過自動地調(diào)整顯示距離以與虛擬目標(biāo)的觸摸識別表面和檢測到的真實目標(biāo)的表面重合來顯示虛擬目標(biāo)。圖21是圖示以半自動模式應(yīng)用視覺目標(biāo)UI方法的HMD的實施例。
[0107]在這里，顯示距離指的是對于顯示，以便在HMD中具有虛擬目標(biāo)的空間感覺說來必需的距離。例如，顯示距離可以是用于顯示虛擬的3D目標(biāo)的深度信息。在一個實施例中，顯示距離可以被設(shè)置為在HMD和在HMD中顯示的虛擬目標(biāo)的觸摸識別表面之間的距離。在另一個實施例中，顯示距離可以被設(shè)置為在HMD和在HMD中顯示的虛擬目標(biāo)的后側(cè)之間的距離。
[0108]參考該圖，將解釋應(yīng)用循環(huán)出現(xiàn)處理器操作的虛擬目標(biāo)Π方法的HMD。
[0109]圖19至圖21圖示顯示在HMD中應(yīng)用虛擬的3D目標(biāo)Π方法的實體Π模式的虛擬的3D目標(biāo)的各種的實施例。
[0110]特別地，圖19圖示顯示包括一個觸摸識別表面的虛擬的3D目標(biāo)的HMD，圖20圖示顯示包括多個觸摸識別表面的虛擬的3D目標(biāo)的HMD，和圖21圖示基于用戶的手勢顯示包括多個觸摸識別表面的虛擬的3D目標(biāo)的HMD。
[0111]圖19a和19b圖示按照該實施例顯示包括一個觸摸識別表面的虛擬的3D目標(biāo)的HMD的透視圖和側(cè)視圖。
[0112]在圖19b中的Dvs表示在HMD 100和在HMD中顯示的虛擬目標(biāo)的觸摸識別表面610之間的距離。另外，Drs是在HMD 100和由HMD檢測到的目標(biāo)的表面400之間的距離。此外，Dv指的是在虛擬目標(biāo)的前側(cè)610和后側(cè)620之間的距離。虛擬目標(biāo)的前側(cè)可以包括至少一個觸摸識別表面。Dth指的是確定是否HMD將應(yīng)用實體UI模式的預(yù)先確定的距離。因此，Dth可以被設(shè)置為是用戶可以實體地觸摸檢測到的目標(biāo)的距離。在這樣的情況下，Dth可以與在圖5中解釋的Th相同。
[0113]參考圖19a和19b，經(jīng)由傳感器單元檢測到目標(biāo)的表面400，并且如果檢測到的目標(biāo)的表面400是在其中實體反饋是可能的(Drs〈Dth)預(yù)先確定的距離范圍之內(nèi)，貝U處理器可以通過HMD的Π方法應(yīng)用實體Π模式。此時，如果在HMD中顯示的虛擬目標(biāo)是3D目標(biāo)并且3D目標(biāo)包括觸摸識別表面，則處理器可以選擇虛擬目標(biāo)Π方法的實體Π模式。處理器可以由系統(tǒng)或者由用戶設(shè)置去選擇這樣的過程。
[0114]此外，當(dāng)實體UI模式通過虛擬目標(biāo)UI方法應(yīng)用時，當(dāng)虛擬目標(biāo)600僅僅包括一個觸摸識別表面610時，處理器可以調(diào)整虛擬目標(biāo)600的顯示距離，以便觸摸識別表面600與檢測到的目標(biāo)的表面400重合。例如，如果在HMD和在HMD中顯示的虛擬目標(biāo)的觸摸識別表面之間的顯示距離被設(shè)置為Dvs，則處理器可以調(diào)整顯示距離，使得Dvs值與Drs值相同。
[0115]此外，處理器可以基于調(diào)整的顯示距離(Dvs = Drs)顯示虛擬目標(biāo)600。經(jīng)由這個過程，虛擬目標(biāo)的觸摸識別表面610與檢測到的目標(biāo)的表面500重合，與真實目標(biāo)的觸摸輸入相同的實體反饋可以提供給虛擬目標(biāo)600的觸摸輸入。
[0116]圖20a和20b圖示按照每個實施例基于選擇的信息顯示包括多個觸摸識別表面的虛擬的3D目標(biāo)的HMD的透視圖和側(cè)視圖。
[0117]在圖20b中，Drs和Dth的定義與在以上的圖19b中描述的定義相同。Dvs-1是在HMD 100和第一觸摸識別表面610-1之間的距離，并且Dvs_2是在HMD 100和第二觸摸識別表面610-2之間的距離。此外，Dv-1表示在第一觸摸識別表面610-1和虛擬目標(biāo)的后側(cè)610之間的距離，并且Dv-2表示在第二觸摸識別表面610-1和虛擬目標(biāo)的后側(cè)620之間的距離。
[0118]參考圖20a和20b，當(dāng)應(yīng)用虛擬目標(biāo)Π方法的實體Π模式，并且虛擬目標(biāo)600包括多個觸摸識別