本公開的示例涉及用于顯示圖像的方法、設(shè)備和計(jì)算機(jī)程序。不影響前述內(nèi)容，一些示例涉及用于在虛擬現(xiàn)實(shí)顯示設(shè)備中顯示真實(shí)世界中所捕獲圖像的方法、設(shè)備和計(jì)算機(jī)程序。

背景技術(shù)：

虛擬現(xiàn)實(shí)顯示設(shè)備(例如，諸如頭戴式顯示器(HMD)，近眼顯示器(NED)，虛擬現(xiàn)實(shí)護(hù)目鏡/頭盔)通常是完全沉浸式的，因?yàn)樘摂M現(xiàn)實(shí)顯示設(shè)備的用戶可能僅能夠看到在虛擬現(xiàn)實(shí)顯示設(shè)備的顯示器上所顯示的內(nèi)容，例如，在虛擬世界中發(fā)生了什么。然而，這種完全沉浸式虛擬現(xiàn)實(shí)顯示設(shè)備在虛擬現(xiàn)實(shí)顯示設(shè)備的用戶希望與真實(shí)世界交互時(shí)呈現(xiàn)出一些問題。

任何先前公布的文檔或本說明書中的任何背景技術(shù)的列舉或討論不應(yīng)被視為承認(rèn)文檔或背景技術(shù)是現(xiàn)有技術(shù)的一部分或是公知常識(shí)。本公開的一個(gè)或多個(gè)方面/示例可以解決或者不解決一個(gè)或多個(gè)背景技術(shù)中的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明如獨(dú)立權(quán)利要求闡明的那樣。

根據(jù)本公開的至少一些但不一定是所有示例，提供了一種方法，包括至少部分地引起產(chǎn)生以下操作的動(dòng)作：

檢測(cè)位于頭戴式顯示器的用戶的真實(shí)世界視點(diǎn)中的真實(shí)世界物理對(duì)象；以及

響應(yīng)于所述檢測(cè)，觸發(fā)檢測(cè)到的真實(shí)世界物理對(duì)象的至少一部分的至少一個(gè)捕獲圖像在頭戴式顯示器上的顯示。

根據(jù)本公開的至少一些但不一定是所有示例，提供了一種設(shè)備，包括被配置為使得該設(shè)備能夠至少執(zhí)行上述方法的裝置。

根據(jù)本公開的至少一些但不一定是所有示例，提供了一種設(shè)備，包括：至少一個(gè)處理器；以及至少一個(gè)包括計(jì)算機(jī)程序代碼的存儲(chǔ)器；至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置為與至少一個(gè)處理器一起使得裝置至少執(zhí)行上述方法。

根據(jù)本公開的至少一些但不一定是所有示例，提供了一種計(jì)算機(jī)程序，當(dāng)由至少一個(gè)處理器執(zhí)行時(shí)，使得至少上述方法被執(zhí)行。

根據(jù)本公開的至少一些但不一定是所有的示例，提供了一種由指令編碼的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，當(dāng)由至少一個(gè)處理器執(zhí)行時(shí)，使得至少上述方法被執(zhí)行。

根據(jù)本公開的至少一些但不一定是所有示例，提供了一種芯片組或模塊，其包括被配置為使得至少上述方法被執(zhí)行的處理電路系統(tǒng)。

當(dāng)前討論的示例和所附權(quán)利要求可以以對(duì)本領(lǐng)域普通技術(shù)人員顯而易見的任何方式適當(dāng)?shù)亟M合。

附圖說明

為了更好地理解對(duì)于理解本發(fā)明的詳細(xì)描述和某些實(shí)施例有用的本公開的各種示例，現(xiàn)在將僅通過示例的方式參考附圖，其中：

圖1示意性地示出了一種方法；

圖2示意性地示出了另一種方法；

圖3示意性地示出了一種設(shè)備；

圖4示意性地示出了另一設(shè)備；

圖5示意性地示出了一種方法流程圖；

圖6A、7A和8A示意性地示出了使用中的設(shè)備，圖6B、7B和8B示出了設(shè)備的顯示器的對(duì)應(yīng)示例屏幕截圖；

圖9A和10A示意性地示出了設(shè)備的進(jìn)一步使用，圖9B和10B示出了設(shè)備的顯示器的對(duì)應(yīng)示例屏幕截圖；

圖11A和11B示出了設(shè)備的顯示器的示例屏幕截圖；并且

圖12A和12B示出了設(shè)備的顯示器的示例屏幕截圖。

具體實(shí)施方式

附圖示意性地示出了包括至少部分地引起導(dǎo)致以下結(jié)果的動(dòng)作的方法：檢測(cè)(101)位于頭戴式顯示器(610)的用戶(603)的真實(shí)世界視點(diǎn)(602)中的真實(shí)世界物理對(duì)象(601)；響應(yīng)于所述檢測(cè)，觸發(fā)(102)所檢測(cè)到的真實(shí)世界對(duì)象(601)的至少一部分的至少一個(gè)捕獲圖像(601')在頭戴式顯示器(610)上的顯示。

在不限制權(quán)利要求的范圍的情況下，本公開的一些示例的優(yōu)點(diǎn)可以是使得用戶能夠在佩戴頭戴式顯示器時(shí)觀看所捕獲的真實(shí)世界對(duì)象的圖像，從而有助于用戶與物理真實(shí)世界對(duì)象的交互。在某些特定示例中，頭戴式顯示器被配置為顯示虛擬現(xiàn)實(shí)環(huán)境以及所檢測(cè)到的真實(shí)世界對(duì)象，該真實(shí)世界對(duì)象的所捕獲到的圖像對(duì)應(yīng)于用于在虛擬現(xiàn)實(shí)環(huán)境中控制或通信的用戶輸入設(shè)備而被顯示。在某些方面，可以想到提供“增強(qiáng)的虛擬現(xiàn)實(shí)”(參見“增強(qiáng)現(xiàn)實(shí)”)的本公開的示例，其中虛擬現(xiàn)實(shí)用“現(xiàn)實(shí)”增強(qiáng)，“現(xiàn)實(shí)”即真實(shí)世界對(duì)象的捕獲圖像。

頭戴式顯示器(HMD)例如可以是可佩戴的顯示設(shè)備，并且可以包括近眼顯示器(NED)。頭戴式顯示器可以采取例如以下形式：眼鏡，護(hù)目鏡或頭盔。頭戴式顯示器可以被配置為虛擬現(xiàn)實(shí)顯示設(shè)備，以在除了虛擬現(xiàn)實(shí)環(huán)境之外，還顯示所捕獲的真實(shí)世界物理對(duì)象的圖像。

用戶的真實(shí)世界視點(diǎn)可以是例如用戶的真實(shí)世界：視點(diǎn)、視場(chǎng)、視角(perspective)、視線或參照系。用戶的真實(shí)世界視點(diǎn)可以取決于或涉及用戶的眼睛和/或頭部的方位/方向。

現(xiàn)在將參考附圖描述本公開的各種示例。在附圖中使用類似的附圖標(biāo)記來表示類似的特征。為了清楚起見，不一定在所有附圖中顯示所有附圖標(biāo)記。

圖1示意性地示出了根據(jù)本公開的示例的方法100的流程圖。圖1的組件框是功能性的，并且所描述的功能可以或可以不由單個(gè)物理實(shí)體(諸如參考圖3中300所描述的)來執(zhí)行。

在框101中，檢測(cè)位于頭戴式顯示器(圖7A的610)的用戶(圖7A的603)的真實(shí)世界視點(diǎn)(圖7A的602a)中的真實(shí)世界物理對(duì)象(例如圖7A的鍵盤601)。在框102中，對(duì)用戶真實(shí)世界視點(diǎn)(602a)中的真實(shí)世界物理對(duì)象(601)的檢測(cè)觸發(fā)在頭戴式顯示器(610)上生成檢測(cè)到的真實(shí)世界對(duì)象的至少一部分的至少一個(gè)捕獲圖像(圖7A的601')的顯示。

圖2示意性地示出了根據(jù)本公開的示例的另一方法200的流程圖。圖2的流程圖表示其中的一個(gè)可能的場(chǎng)景。所示的流程框的順序不是絕對(duì)必需的，因此原則上可以不按順序執(zhí)行各個(gè)框。此外，不是所有的框都是必要的。

在方法200中，用戶使用頭戴式顯示器來觀看虛擬現(xiàn)實(shí)環(huán)境(例如，圖6B的虛擬世界602')。在框201中，確定在虛擬現(xiàn)實(shí)環(huán)境內(nèi)是否存在用于與真實(shí)世界對(duì)象進(jìn)行用戶交互的可用性/機(jī)會(huì)。例如，在真實(shí)世界對(duì)象是用于向虛擬現(xiàn)實(shí)環(huán)境中提供用戶輸入(諸如命令或通信)的用戶輸入設(shè)備的情況下，可以確定是否存在用于經(jīng)由用戶輸入設(shè)備來進(jìn)行用戶輸入的合適的機(jī)會(huì)。在某些特定示例中，諸如圖6A至圖8B所示，這可以對(duì)應(yīng)于彈出聊天框605'或用于文本輸入的其它機(jī)會(huì)。響應(yīng)于框201的確定用戶與真實(shí)世界對(duì)象的交互的可用性，這然后可以觸發(fā)用于根據(jù)框101在用戶的真實(shí)世界視點(diǎn)中檢測(cè)真實(shí)世界物理對(duì)象的過程。

由于顯示真實(shí)世界對(duì)象的捕獲圖像占據(jù)了頭戴式顯示器上的顯示空間，因此希望僅在必要時(shí)顯示捕獲的圖像。在本公開的一些示例中，通過僅在確定用于經(jīng)由真實(shí)世界對(duì)象的用戶交互的機(jī)會(huì)之后開始框101的過程，這可以提供以下技術(shù)效果：當(dāng)不存在用戶與真實(shí)世界對(duì)象交互的機(jī)會(huì)時(shí)，避免框101的檢測(cè)以及后續(xù)的框102的顯示的不必要的發(fā)生。例如，如果沒有用于文本輸入的機(jī)會(huì)，則這避免了對(duì)鍵盤的不必要的檢測(cè)和在虛擬現(xiàn)實(shí)環(huán)境中顯示所捕獲的鍵盤的圖像，否則這將不僅浪費(fèi)資源(例如，尤其是處理和功率)，而且還避免遮蔽虛擬現(xiàn)實(shí)環(huán)境，從而不必要地不利地影響用戶在虛擬現(xiàn)實(shí)環(huán)境中的沉浸水平。

響應(yīng)于框201的確定過程，可以發(fā)生框101中的對(duì)用戶的真實(shí)世界視點(diǎn)中的真實(shí)世界物理對(duì)象的檢測(cè)。該檢測(cè)可以包括框202中的捕獲用戶的真實(shí)世界視點(diǎn)的至少一部分的一個(gè)或多個(gè)圖像。這可以例如經(jīng)由包括一個(gè)或多個(gè)圖像捕獲設(shè)備的頭戴式顯示器來實(shí)現(xiàn)，一個(gè)或多個(gè)圖像捕獲設(shè)備在頭戴式顯示器上被適當(dāng)?shù)胤胖貌⑶倚?zhǔn)，使得它們捕獲對(duì)應(yīng)于用戶真實(shí)世界視點(diǎn)的對(duì)象場(chǎng)景的一個(gè)或多個(gè)第一人稱視點(diǎn)圖像。即實(shí)際上，捕獲在用戶沒有佩戴頭戴式顯示器的情況下將會(huì)看到的真實(shí)世界場(chǎng)景的一個(gè)或多個(gè)圖像。在框203中，對(duì)在框202中捕獲的一個(gè)或多個(gè)圖像執(zhí)行對(duì)象/圖像識(shí)別過程，以便標(biāo)識(shí)和檢測(cè)真實(shí)世界物理對(duì)象，例如確定步驟201所確定的存在進(jìn)行交互的可用性的真實(shí)世界物理對(duì)象。通過對(duì)象/圖像識(shí)別來檢測(cè)的真實(shí)世界物理對(duì)象可以對(duì)應(yīng)于一個(gè)或多個(gè)預(yù)定的物理對(duì)象，例如用戶輸入設(shè)備，諸如鍵盤、小型鍵盤、游戲控制器、以及包括觸敏輸入設(shè)備和觸敏顯示器的其他手動(dòng)操作的輸入設(shè)備。

在已經(jīng)在用戶的真實(shí)世界視點(diǎn)602a中檢測(cè)到真實(shí)世界物理對(duì)象之后，在框102中使得檢測(cè)到的真實(shí)世界對(duì)象的一個(gè)或多個(gè)圖像被顯示在頭戴式顯示器上。如框204所示，這可以包含裁剪所捕獲的用戶的整個(gè)真實(shí)世界視點(diǎn)的圖像，使得裁剪后的圖像基本上僅由檢測(cè)到的真實(shí)世界物理對(duì)象組成。然后，可以與虛擬現(xiàn)實(shí)環(huán)境(602a')的顯示同時(shí)地在頭戴式顯示器的顯示器上顯示裁剪后的圖像(例如，圖7B的601')。由此，提供了虛擬現(xiàn)實(shí)和真實(shí)世界圖像的混合，其中真實(shí)世界對(duì)象的捕獲圖像被結(jié)合到虛擬環(huán)境的顯示中。

在框205中，監(jiān)測(cè)和跟蹤用戶的視點(diǎn)。這可以通過可安裝在頭戴式顯示器中的一個(gè)或多個(gè)方位或方向傳感器來實(shí)現(xiàn)，其可以監(jiān)視和檢測(cè)頭戴式顯示器的方位和方向的變化，從而基于感測(cè)到的用戶頭部的方向和方位(例如，搖、俯仰和轉(zhuǎn)動(dòng))來顯示確定佩戴頭戴式顯示器的用戶的真實(shí)世界視點(diǎn)。在替代示例中，不基于用戶的頭部運(yùn)動(dòng)來確定用戶的視點(diǎn)，而是可以基于用戶的眼睛的方向和方位來確定用戶的視點(diǎn)。在該示例中，可以在頭戴式顯示器中提供用于感測(cè)用戶眼睛的視線的方位和方向的一個(gè)或多個(gè)設(shè)備，諸如面向用戶眼睛跟蹤用戶眼睛運(yùn)動(dòng)的內(nèi)置式相機(jī)。

在框206中，確定真實(shí)世界對(duì)象相對(duì)于用戶的真實(shí)世界視點(diǎn)的相對(duì)位置。這可以例如基于分析從用戶的真實(shí)世界視點(diǎn)捕獲的圖像并且確定所捕獲的圖像中檢測(cè)到的真實(shí)世界物體的位置來實(shí)現(xiàn)。在框207中，所確定的真實(shí)世界對(duì)象相對(duì)于用戶的真實(shí)世界視點(diǎn)的相對(duì)位置被用來調(diào)整在頭戴式顯示器的顯示器內(nèi)顯示的真實(shí)世界對(duì)象的所捕獲圖像的相對(duì)位置。具體地，調(diào)整所捕獲的圖像在顯示器中的位置，使得其在虛擬環(huán)境的顯示的視角/用戶的虛擬視點(diǎn)中的相對(duì)位置對(duì)應(yīng)于所確定的真實(shí)世界對(duì)象相對(duì)于用戶的真實(shí)世界視點(diǎn)的相對(duì)位置。在不限制權(quán)利要求的范圍的情況下，本公開的一些示例的優(yōu)點(diǎn)可以是使得捕獲的圖像能夠顯示在頭戴式顯示器的顯示器中的虛擬位置處，該虛擬位置對(duì)應(yīng)于相對(duì)于該用戶的真實(shí)世界視點(diǎn)的該對(duì)象的真實(shí)世界位置。通過跟蹤真實(shí)世界對(duì)象相對(duì)于用戶的真實(shí)世界視點(diǎn)的相對(duì)位置，可以保持真實(shí)世界對(duì)象相對(duì)于用戶的真實(shí)世界視點(diǎn)/真實(shí)世界參照系的位置與真實(shí)世界對(duì)象相對(duì)于用戶的虛擬視點(diǎn)/虛擬參照系的所顯示的捕獲圖像的位置之間的對(duì)應(yīng)關(guān)系。

在框208中，可以檢測(cè)用戶輸入，諸如由頭戴式顯示器的圖像捕獲設(shè)備捕獲和識(shí)別的預(yù)定手勢(shì)，其在框209中導(dǎo)致捕獲圖像的顯示的移除。這使得用戶能夠選擇性地控制所捕獲的圖像的顯示的移除，當(dāng)用戶不再需要/要求其顯示時(shí)。例如，用戶可能已經(jīng)完成了他或她與真實(shí)世界對(duì)象的交互和/或不希望與真實(shí)世界對(duì)象交互，并且因而不需要顯示該對(duì)象的捕獲的圖像。

上文所描述的方法討論了捕獲用戶的真實(shí)世界視點(diǎn)的一個(gè)或多個(gè)圖像，并且基于所捕獲的圖像在頭戴式顯示器的顯示器中顯示一個(gè)或多個(gè)圖像。應(yīng)當(dāng)理解，捕獲的至少一個(gè)圖像可以對(duì)應(yīng)于以下中的任何一個(gè)：圖像序列、視頻和實(shí)時(shí)圖像。所顯示的至少一個(gè)捕獲的圖像還可以對(duì)應(yīng)于檢測(cè)到對(duì)象的區(qū)域的實(shí)況相機(jī)饋送。在不限制權(quán)利要求的范圍的情況下，本公開的一些示例的優(yōu)點(diǎn)可以是使得用戶能夠看到他或她自己，看到他或她自己的與真實(shí)世界對(duì)象的實(shí)時(shí)用戶交互，從而便于用戶仍在佩戴頭戴式顯示器并且觀看虛擬現(xiàn)實(shí)環(huán)境的同時(shí)與真實(shí)世界對(duì)象交互(例如，如圖7B所示，看到用戶自己的手606'在鍵盤601'上的顯示)。

在某些示例中，一個(gè)或多個(gè)框可以以不同的順序執(zhí)行，或者在時(shí)間上重疊、串行或并行地執(zhí)行，一個(gè)或多個(gè)框可以以某些方式的組合被省略或添加或改變。例如，框208和209可以被移動(dòng)或添加到流程圖的任何部分，例如在框201、101和102中的任一個(gè)之前或之后。

本公開的示例可以采取方法，設(shè)備或計(jì)算機(jī)程序的形式。因此，示例可以在硬件、軟件或硬件和軟件的組合中實(shí)現(xiàn)。

圖1和圖2中所示的框可以表示方法中的動(dòng)作和/或計(jì)算機(jī)程序中的指令/代碼的片段。

將理解，每個(gè)框和框的組合可以通過各種裝置來實(shí)現(xiàn)，裝置諸如硬件、固件和/或包括一個(gè)或多個(gè)計(jì)算機(jī)程序指令的軟件。例如，上述的一個(gè)或多個(gè)過程可以由計(jì)算機(jī)程序指令體現(xiàn)。在這方面，體現(xiàn)上文描述的過程的計(jì)算機(jī)程序指令可以由存儲(chǔ)器設(shè)備存儲(chǔ)并且由處理器執(zhí)行。

如將理解的，任何這樣的計(jì)算機(jī)程序指令可以被加載到計(jì)算機(jī)或其他可編程設(shè)備(即硬件)上以產(chǎn)生機(jī)器，使得當(dāng)在可編程設(shè)備上執(zhí)行時(shí)，指令創(chuàng)建用于實(shí)現(xiàn)在框中所規(guī)定的功能的裝置。這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在可指導(dǎo)可編程裝置以特定方式工作的計(jì)算機(jī)可讀介質(zhì)中，以使得存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括實(shí)現(xiàn)在框中所規(guī)定的功能的指令裝置的制品。計(jì)算機(jī)程序指令還可以被加載到可編程設(shè)備上，以使得在可編程設(shè)備上執(zhí)行一系列操作動(dòng)作，以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，使得在可編程裝置上執(zhí)行的指令提供用于實(shí)現(xiàn)在框中所規(guī)定的功能的動(dòng)作。

現(xiàn)在將參照?qǐng)D3描述根據(jù)本公開中的示例的設(shè)備300。圖3重點(diǎn)在于描述設(shè)備的操作所必需的功能性組件。

設(shè)備300包括控制器301?？刂破?01的實(shí)現(xiàn)可以是單獨(dú)的硬件(例如，包括一個(gè)或多個(gè)處理器的處理電路系統(tǒng)和包括一個(gè)或多個(gè)存儲(chǔ)器元件的存儲(chǔ)器電路系統(tǒng))、某些方面具有軟件的形式，包括單獨(dú)的固件或可以是硬件和軟件(包括固件)的組合。

控制器301可以使用能夠?qū)崿F(xiàn)硬件功能的指令來實(shí)現(xiàn)，例如通過使用通用或?qū)Ｓ锰幚砥髦械目蓤?zhí)行計(jì)算機(jī)程序指令，其可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(磁盤，存儲(chǔ)器等)或由將由這樣的處理器執(zhí)行的信號(hào)載體來承載。

在所圖示的示例中，設(shè)備300包括由處理器302和存儲(chǔ)器303提供的控制器301。雖然在其他實(shí)現(xiàn)中示出了單個(gè)處理器和單個(gè)存儲(chǔ)器，但是可以存在多個(gè)處理器和/或可以存在多個(gè)存儲(chǔ)器，其中的一些或全部可以是集成的/可移除的和/或可以提供永久/半永久/動(dòng)態(tài)/高速緩存的存儲(chǔ)器。

存儲(chǔ)器303存儲(chǔ)包括計(jì)算機(jī)程序指令305的計(jì)算機(jī)程序304，計(jì)算機(jī)程序指令305在被加載到處理器302中時(shí)控制設(shè)備的操作。計(jì)算機(jī)程序指令提供使設(shè)備能夠執(zhí)行當(dāng)前描述的方法的邏輯和例程。

至少一個(gè)存儲(chǔ)器303和計(jì)算機(jī)程序指令305被配置為利用至少一個(gè)處理器302使設(shè)備300至少執(zhí)行例如關(guān)于圖1和圖2所描述的方法。

處理器302被配置為從存儲(chǔ)器303讀取和向存儲(chǔ)器303寫入。處理器302還可以包括輸入接口306，經(jīng)由輸入接口306，數(shù)據(jù)(尤其是例如用于檢測(cè)和顯示真實(shí)世界對(duì)象的圖像的圖像捕獲數(shù)據(jù)、用于確定用戶視點(diǎn)的傳感器數(shù)據(jù)、用于顯示虛擬現(xiàn)實(shí)環(huán)境的虛擬現(xiàn)實(shí)環(huán)境數(shù)據(jù)和用戶輸入數(shù)據(jù))和/或命令被輸入到處理器302。處理器302還可以包括輸出接口307，經(jīng)由輸出接口307，數(shù)據(jù)(尤其是例如真實(shí)世界對(duì)象的捕獲圖像數(shù)據(jù)，以及用于在頭戴式顯示器上顯示的虛擬現(xiàn)實(shí)環(huán)境數(shù)據(jù))和/或命令由處理器302輸出。

計(jì)算機(jī)程序可以經(jīng)由任何合適的傳遞機(jī)制311到達(dá)設(shè)備300。傳遞機(jī)制311可以是例如非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品、存儲(chǔ)器設(shè)備、諸如光盤只讀存儲(chǔ)器或數(shù)字通用盤的記錄介質(zhì)或有形地體現(xiàn)計(jì)算機(jī)程序304的制品。傳遞機(jī)制可以是被配置為可靠地傳送計(jì)算機(jī)程序304的信號(hào)。

設(shè)備300可以接收、傳播或傳輸計(jì)算機(jī)程序304作為計(jì)算機(jī)數(shù)據(jù)信號(hào)。

對(duì)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”、“計(jì)算機(jī)程序產(chǎn)品”、“有形地體現(xiàn)的計(jì)算機(jī)程序”等或者“控制器”、“計(jì)算機(jī)”、“處理器”等的引用應(yīng)當(dāng)被理解為不僅涵蓋具有諸如單/多處理器架構(gòu)和順序(馮·諾依曼)/并行架構(gòu)之類的不同架構(gòu)的計(jì)算機(jī)，而且還涵蓋了專用電路，諸如現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)、信號(hào)處理設(shè)備以及其它設(shè)備。針對(duì)計(jì)算機(jī)程序、指令、代碼等的引用應(yīng)當(dāng)被理解為包含用于可編程處理器的軟件或者固件，諸如作為示例，硬件設(shè)備的可編程內(nèi)容，無論其是用于處理器的指令，還是針對(duì)固定功能設(shè)備、門陣列或可編程邏輯設(shè)備等的配置設(shè)置。

設(shè)備可以例如是：電路系統(tǒng)、芯片組、模塊或設(shè)備/系統(tǒng)310，其額外地包括額外的設(shè)備/組件，例如一個(gè)或多個(gè)圖像捕獲設(shè)備308、顯示設(shè)備309和用于檢測(cè)和監(jiān)測(cè)用戶的真實(shí)世界視點(diǎn)的傳感器(未示出)。該設(shè)備可以被包括在頭戴式顯示器中，或者可以與頭戴式顯示器分離并且與頭戴式顯示器(直接或以其他方式)通信，例如經(jīng)由有線或無線通信。該裝置可以用于在頭戴式顯示器上顯示在頭戴式顯示器的用戶的真實(shí)世界視點(diǎn)內(nèi)檢測(cè)到的真實(shí)世界對(duì)象的至少一部分的至少一個(gè)捕獲圖像。

圖4示意性地示出了根據(jù)本公開的示例的另一設(shè)備410。設(shè)備410具有提供近眼顯示設(shè)備的頭戴式顯示器的形式，特別是具有用戶佩戴的眼鏡/護(hù)目鏡的形式。頭戴式顯示器可以提供不透明/不透光/不可看透的可佩戴顯示器。

設(shè)備410包括圖3的設(shè)備300以及另外兩個(gè)向用戶提供立體顯示的顯示設(shè)備409，以及兩個(gè)圖像捕獲設(shè)備408和408，以使得能夠捕獲用戶的真實(shí)世界視點(diǎn)的立體圖像。該設(shè)備可以包括一個(gè)或多個(gè)傳感器408'以檢測(cè)和監(jiān)測(cè)用戶的真實(shí)世界的視點(diǎn)(例如，用于測(cè)量方向/方位的傳感器)。該設(shè)備還可以包括一個(gè)或多個(gè)音頻輸出設(shè)備409'。此外，該設(shè)備還可以包括用于與遠(yuǎn)程計(jì)算設(shè)備通信的通信接口(未示出)，遠(yuǎn)程計(jì)算設(shè)備例如是提供用于在設(shè)備上顯示的虛擬現(xiàn)實(shí)環(huán)境的數(shù)據(jù)的數(shù)據(jù)源。

設(shè)備300/410可以另外提供一個(gè)或多個(gè)音頻/文本/視頻通信功能(例如，電信通信、視頻通信和/或文本傳輸(短消息服務(wù)(SMS)/多媒體消息服務(wù)(MMS)/電子郵件)功能)，交互式/非交互式觀看功能(例如網(wǎng)絡(luò)瀏覽、導(dǎo)航、TV/節(jié)目觀看功能)，音樂錄制/播放功能(例如，運(yùn)動(dòng)圖像專家組-1音頻層3(MP3)或其他格式和/或(頻率調(diào)制/幅度調(diào)制)無線電廣播記錄/播放)，數(shù)據(jù)功能的下載/發(fā)送，圖像捕獲功能(例如，使用(例如內(nèi)置的)數(shù)字照相機(jī))和游戲功能。

盡管上文已經(jīng)按照包括各種組件的方式描述了上文的裝置，但是應(yīng)當(dāng)理解，組件可以實(shí)現(xiàn)為或者由裝置的相應(yīng)處理元件或處理器控制。就這一點(diǎn)而言，下文描述的每個(gè)組件可以是以硬件、軟件或硬件和軟件的組合體現(xiàn)的任何設(shè)備、裝置或電路系統(tǒng)中的一個(gè)或多個(gè)，其被配置為執(zhí)行各自元件的相應(yīng)的功能，如下文更為具體的描述的那樣。

如在本申請(qǐng)中所使用的，術(shù)語“電路系統(tǒng)”是指以下全部?jī)?nèi)容：

(a)僅硬件的電路實(shí)現(xiàn)(諸如僅以模擬和/或數(shù)字電路系統(tǒng)的實(shí)現(xiàn))；以及

(b)電路和軟件(和/或固件)的組合，諸如(如可應(yīng)用的)：(i)處理器的組合或者(ii)一起工作而使得諸如移動(dòng)電話或服務(wù)器的設(shè)備執(zhí)行各種功能的處理器/軟件(包括數(shù)字信號(hào)處理器)、軟件和存儲(chǔ)器的部分；以及

(c)電路，諸如微處理器或者微處理器的部分，其需要軟件或固件進(jìn)行操作，即使該軟件或固件并非物理上存在。

“電路系統(tǒng)”的該定義應(yīng)用于本申請(qǐng)中對(duì)該術(shù)語的所有使用，包括在任意權(quán)利要求中。作為另外的示例，如本申請(qǐng)所使用的，術(shù)語“電路系統(tǒng)”還將覆蓋僅一個(gè)處理器(或多個(gè)處理器)或者處理器的一部分及其伴隨軟件和/或固件的實(shí)施方式。例如并且在能夠應(yīng)用于特定權(quán)利要求要素的情況下，術(shù)語“電路系統(tǒng)”還將覆蓋用于移動(dòng)電話的基帶集成電路或應(yīng)用處理器集成電路，或者服務(wù)器、蜂窩網(wǎng)絡(luò)設(shè)備或其它網(wǎng)絡(luò)設(shè)備中類似的集成電路。

本公開的示例提供方法和由提供用于執(zhí)行該方法的動(dòng)作的功能的各種模塊或裝置組成的相應(yīng)的設(shè)備。模塊或裝置可以被實(shí)現(xiàn)為硬件，或者可以被實(shí)現(xiàn)為由計(jì)算機(jī)處理器執(zhí)行的軟件或固件。特別地，在固件或軟件的情況下，本公開的示例可以被提供為包括計(jì)算機(jī)可讀存儲(chǔ)結(jié)構(gòu)的計(jì)算機(jī)程序產(chǎn)品，在該計(jì)算機(jī)可讀存儲(chǔ)結(jié)構(gòu)之上包含用于由計(jì)算機(jī)處理器執(zhí)行的計(jì)算機(jī)程序指令(即，軟件或固件)。

可以在模塊中提供設(shè)備。如本文所使用的，“模塊”是指排除將由終端制造商或用戶添加的某些部分/組件的單元或設(shè)備。例如，設(shè)備可以被提供為與頭戴式顯示器結(jié)合使用的模塊。

雖然在某些實(shí)現(xiàn)方式的示例中，可以在頭戴式顯示器本身中提供該設(shè)備，但是其他類型的電子設(shè)備，例如但不限于手持便攜式電子設(shè)備、平板計(jì)算機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、尋呼機(jī)、移動(dòng)計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、電視機(jī)、游戲設(shè)備、膝上型計(jì)算機(jī)、相機(jī)、視頻記錄器和其他類型的電子系統(tǒng)，可以設(shè)置有根據(jù)本公開的示例的設(shè)備。這樣的其他設(shè)備和類型的系統(tǒng)被配置為與頭戴式設(shè)備的顯示器通信并且控制頭戴式設(shè)備的顯示器。

圖5示出了與在虛擬現(xiàn)實(shí)環(huán)境/世界中通過鍵盤輸入文本輸入(entry)有關(guān)的本公開的特定示例的流程圖500。還參考圖6A至8B。

首先，在框501中，確定用戶是否能夠使用鍵盤輸入任何內(nèi)容。由于在虛擬環(huán)境/世界視圖中顯示用戶的鍵盤占用屏幕空間，因此希望僅在需要時(shí)顯示鍵盤。如果沒有輸入任何內(nèi)容的可能性，則不執(zhí)行過程的后序部分，并且將不顯示鍵盤。如果沒有輸入文本的可能性，系統(tǒng)將等待，直到在繼續(xù)過程之前有輸入文本的可能性。

輸入文本的可能性可以對(duì)應(yīng)于在虛擬環(huán)境602'中存在/顯示的聊天窗口評(píng)論框605'。這可以指示鍵盤輸入是可能的。如果存在輸入文本的可能性，則流程圖繼續(xù)到框502。

在框502中，確定鍵盤是否在頭戴式顯示設(shè)備的相機(jī)的視點(diǎn)中，并且從而確定鍵盤是否在用戶的真實(shí)世界視點(diǎn)中。如果用戶的鍵盤不在相機(jī)饋送中(即，根據(jù)圖6A)，則系統(tǒng)等待，直到鍵盤在相機(jī)饋送中和/或存在輸入文本的可能性。在圖6A和8A中，用戶的真實(shí)世界視點(diǎn)602為鍵盤601不位于用戶的真實(shí)世界視點(diǎn)602內(nèi)。因此，沒有捕獲到鍵盤的圖像并且在頭戴式顯示器上顯示，如圖6B和8B所示，其中只有虛擬世界環(huán)境602'的顯示。所顯示的虛擬世界環(huán)境602a'具有對(duì)應(yīng)于用戶的真實(shí)世界視點(diǎn)602a的虛擬視點(diǎn)602a'，例如，用戶是將他/她的頭部向左、向右還是向上轉(zhuǎn)動(dòng)，所顯示的虛擬環(huán)境的視角將進(jìn)行調(diào)整以便表示朝向左、向右或向上看的相應(yīng)的虛擬視角/視點(diǎn)。

如果鍵盤在相機(jī)的視圖中(例如，用戶向下看，使得相機(jī)的視圖改變并且該相機(jī)現(xiàn)在可以檢測(cè)到鍵盤，或者替選地用戶可以向上移動(dòng)鍵盤，使得該鍵盤出現(xiàn)在相機(jī)的視圖中并且能夠被檢測(cè))，則流程圖進(jìn)行到框503，其中向用戶顯示相機(jī)饋送?？梢栽陬^戴式顯示器中顯示視頻窗口，其顯示相機(jī)視圖的至少一部分。為了確定鍵盤是否在相機(jī)的視圖中，可以對(duì)捕獲的圖像執(zhí)行對(duì)象識(shí)別方法。用戶可以執(zhí)行初始設(shè)置以教導(dǎo)對(duì)象識(shí)別系統(tǒng)他或她的鍵盤看起來像什么，以便改善對(duì)象識(shí)別和對(duì)鍵盤的跟蹤。在圖7A中，用戶向下看，即調(diào)整了他的真實(shí)世界視點(diǎn)602a，使得鍵盤601現(xiàn)在位于用戶的新的真實(shí)世界視點(diǎn)602a內(nèi)。在對(duì)該視點(diǎn)處的相機(jī)饋送的圖像進(jìn)行識(shí)別之后，可以檢測(cè)鍵盤，并且可以與虛擬現(xiàn)實(shí)環(huán)境602a'(其具有對(duì)應(yīng)于用戶的真實(shí)世界視點(diǎn)602a的虛擬視點(diǎn)602a')一起顯示鍵盤601'的圖像。由于在覆蓋虛擬現(xiàn)實(shí)環(huán)境的視頻窗口中向用戶呈現(xiàn)實(shí)時(shí)饋送的鍵盤的捕獲圖像，所以用戶能夠在鍵盤附近看到用戶的手606的鏡頭606'，使得用戶可以看到他或她自己操作鍵盤并選擇所需的鍵進(jìn)行鍵入。

可以裁剪相機(jī)饋送，使得僅顯示相機(jī)饋送的相關(guān)部分，也即鍵盤本身，而不是相機(jī)饋送的整個(gè)視野。用戶能夠看到鍵盤以及他或她的操作鍵盤的手，用戶可以輸入文本并且響應(yīng)聊天窗口。一旦用戶已經(jīng)完成使用鍵盤，則用戶可以再次向上看，如圖8A所示，使得用戶的視野不再包括鍵盤，并且不再顯示鍵盤的圖像，如圖8B所示。

如圖9A所示，用戶的真實(shí)世界視點(diǎn)602a使得鍵盤601位于用戶的真實(shí)世界視點(diǎn)602a的底部。相應(yīng)地顯示鍵盤601'的捕獲的圖像，使得其位于用戶的虛擬環(huán)境602a'的虛擬視野的底部。相比之下，在圖10A中，用戶的真實(shí)世界視點(diǎn)602b使得鍵盤601位于用戶的真實(shí)世界視點(diǎn)602b的頂部，并且相應(yīng)地將鍵盤601'的捕獲的圖像顯示在虛擬環(huán)境602b'的用戶虛擬視點(diǎn)的頂部。因此，所顯示的鍵盤圖像601'被顯示在相對(duì)于虛擬觀察點(diǎn)602b'的位置處，該虛擬觀察點(diǎn)602b'對(duì)應(yīng)于實(shí)際鍵盤相對(duì)于用戶的真實(shí)世界觀察點(diǎn)602b的位置。這有助于用戶與鍵盤的交互，因?yàn)橄鄬?duì)于鍵盤在真實(shí)生活中的真實(shí)位置，鍵盤的圖像被感知為處于合適的位置。

圖11A示出頭戴式顯示器的顯示的屏幕截圖，其中為向下看鍵盤的用戶呈現(xiàn)鍵盤601'的捕獲圖像的顯示以及具有特定虛擬視野的虛擬世界環(huán)境602'的表示。如果用戶不希望看到所顯示的鍵盤601'的捕獲圖像，則用戶可以用他或她的手112來執(zhí)行手勢(shì)，例如，將他的雙手手掌轉(zhuǎn)為向上并且使它們彼此遠(yuǎn)離，并且移出相機(jī)的視野范圍。該預(yù)定用戶輸入或手勢(shì)可以被檢測(cè)和解釋為移除鍵盤601'的顯示的控制信號(hào)，之后如圖11B所示，鍵盤的圖像被移除。可以使用對(duì)象識(shí)別技術(shù)來跟蹤用戶的手以確定手勢(shì)。

圖12和12B示出了頭戴式顯示器的屏幕截圖的示例，其中虛擬世界環(huán)境702a'可以被拉伸/壓縮、變形或以其他方式變換，以容納鍵盤601'的捕獲圖像的顯示的包含物，同時(shí)將虛擬世界環(huán)境被鍵盤的顯示遮蔽的程度降到最低。如圖12A所示，鍵盤601'的圖像簡(jiǎn)單地覆蓋在虛擬世界環(huán)境702a'的背景圖像的上面。因此，鍵盤的圖像遮蔽了虛擬世界環(huán)境的某些方面，例如三個(gè)房子的較低層的窗戶。在本公開的某些示例中，呈現(xiàn)的虛擬世界環(huán)境被變換(例如，調(diào)整其形狀、大小和視角)，以便容納鍵盤的圖像，同時(shí)仍然保持虛擬世界中的一切對(duì)用戶可見。如圖12B所示，虛擬世界702a”的圖像在鍵盤的上方和下方被壓縮并且在鍵盤周圍被拉伸，以便減少/避免鍵盤的覆蓋圖像遮蔽真實(shí)世界環(huán)境背景。因此，如圖12B所示，房屋的底層窗戶仍保持可見。在本公開的某些示例中，該方法可以包括：盡管存在鍵盤的附加顯示，確定用戶希望保持顯示的虛擬世界環(huán)境(例如，圖12A和12B的示例中的較低層的窗戶)中是否存在任何感興趣區(qū)域/點(diǎn)，在這種情況下，虛擬現(xiàn)實(shí)環(huán)境可以被適當(dāng)?shù)刈儞Q，以便最大化虛擬世界環(huán)境的可見性，特別是虛擬世界環(huán)境中的感興趣的區(qū)域/點(diǎn)。

使用流程圖和示意框圖來描述本公開的示例。應(yīng)當(dāng)理解，(流程圖和框圖的)每個(gè)框以及框的組合可以由計(jì)算機(jī)程序的計(jì)算機(jī)程序指令來實(shí)現(xiàn)。這些程序指令可以提供給一個(gè)或多個(gè)處理器、處理電路系統(tǒng)或控制器，使得在一個(gè)或多個(gè)處理器、處理電路系統(tǒng)或控制器上執(zhí)行的指令創(chuàng)建用于引起實(shí)現(xiàn)在一個(gè)或多個(gè)框中指定的功能的裝置。計(jì)算機(jī)程序指令可以由處理器執(zhí)行以使一系列操作步驟由處理器執(zhí)行以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，使得在處理器上執(zhí)行的指令提供步驟用于實(shí)現(xiàn)一個(gè)或多個(gè)框中指定的功能。

因此，框支持：用于執(zhí)行指定功能的裝置的組合；用于執(zhí)行指定功能的動(dòng)作的組合；以及用于執(zhí)行指定功能的計(jì)算機(jī)程序指令/算法。還將理解，每個(gè)框和框的組合可以由執(zhí)行指定的功能或步驟的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或由專用硬件和計(jì)算機(jī)程序指令的組合來實(shí)現(xiàn)。

在先前的說明書中描述的特征，可以以除了已明確描述的組合之外的組合來使用。

雖然已經(jīng)參考某些特征描述了功能，但是這些功能可以由其它特征來執(zhí)行，無論是否描述。雖然已經(jīng)參考特定示例描述了特征，但是這些特征也可以存在于其他示例中，無論是否被描述。

應(yīng)當(dāng)理解，在不脫離如權(quán)利要求中所述的本發(fā)明的范圍的情況下，可以對(duì)給出的示例進(jìn)行修改。

術(shù)語“包括”在本文中以包含而非排他的含義被使用。也就是說，對(duì)于X包括Y的任何引用都指示X可以包括僅一個(gè)Y或者可以包括多于一個(gè)Y。如果意在以排他性含義來使用“包括”，則將在上下文中通過提到“僅包括一個(gè)…”或者通過使用“構(gòu)成”而清楚地表明。

在本描述中，參考了各種示例。與示例有關(guān)的特征或功能的描述指示那些特征或功能在該示例中出現(xiàn)。無論是否明確指出，文本中使用的術(shù)語“示例”或“例如”或“可以”都表示這樣的特征或功能至少存在于所描述的示例中，而無論其是否作為一個(gè)示例進(jìn)行描述，并且它們可以在一些或全部的其它示例中出現(xiàn)，但并非必然如此。因此，“示例”、“例如”或“可以”是指一類示例中的特定實(shí)例。該實(shí)例的性質(zhì)可以僅是該實(shí)例的性質(zhì)，或者是該類別的性質(zhì)，或者是該類別中包括該類別中的一些但非全部實(shí)例的子類別的性質(zhì)。

在上文的描述中，所描述的設(shè)備可以可選地或附加地包括在一些其他示例中的、包括分布式系統(tǒng)(例如，客戶端/服務(wù)器設(shè)備系統(tǒng))的設(shè)備。在其中所提供的設(shè)備形成為(或方法實(shí)現(xiàn)為)分布式系統(tǒng)的示例中，形成系統(tǒng)的組件和/或部分的每個(gè)設(shè)備提供(或?qū)崿F(xiàn))可以共同實(shí)現(xiàn)本公開的實(shí)施例的一個(gè)或多個(gè)特征。在一些示例中，設(shè)備由除了其初始制造商之外的實(shí)體重新配置以通過提供附加軟件(例如通過用戶下載這樣的軟件)來實(shí)現(xiàn)本公開的實(shí)施例，當(dāng)執(zhí)行該軟件時(shí)，該設(shè)備實(shí)現(xiàn)本公開的實(shí)施例的示例(這樣的實(shí)現(xiàn)或者完全基于該設(shè)備，或者作為如本文中上文所提到的設(shè)備系統(tǒng)的一部分)。

上文的描述描述了本公開的一些示例，然而本領(lǐng)域普通技術(shù)人員將意識(shí)到可能的替選結(jié)構(gòu)和方法特征，其提供與本文中上文所描述的這種結(jié)構(gòu)和特征的具體示例等同的功能，并且為了簡(jiǎn)潔和清楚起見，從上面的描述中省略了。盡管如此，上述描述應(yīng)當(dāng)被隱含地理解為包括對(duì)提供等同功能的這種替代結(jié)構(gòu)和方法特征的引用，除非在本公開的實(shí)施例的上述描述中明確地排除了這樣的替代結(jié)構(gòu)或方法特征。

盡管在之前的說明書中，努力將注意力集中于本發(fā)明中被認(rèn)為特別重要的那些特征，但是應(yīng)當(dāng)理解的是，申請(qǐng)人要求保護(hù)關(guān)于之前所涉及和/或在附圖中所示出的任何可專利的特征或特征的組合，而無論是否對(duì)其進(jìn)行了特別強(qiáng)調(diào)。