利用追蹤的頭戴式顯示器的制造方法
【專利說明】利用追蹤的頭戴式顯示器
[0001] 背景 1.發(fā)明領(lǐng)域
[0002] 本發(fā)明涉及用于使用頭戴式顯示器（HMD)和控制器、以及HMD裝置單元的游戲玩 法的方法和系統(tǒng)。
[0003] 2.相關(guān)技術(shù)的描述
[0004] 視頻游戲行業(yè)這些年已經(jīng)發(fā)生了許多變化。隨著計(jì)算能力的擴(kuò)展，視頻游戲的開 發(fā)者同樣已經(jīng)創(chuàng)建了利用這些增加的計(jì)算能力的游戲軟件。為此目的，視頻游戲開發(fā)者一 直在編碼并入有復(fù)雜操作和數(shù)學(xué)運(yùn)算的游戲，以產(chǎn)生非常逼真的游戲體驗(yàn)。然而，使用HMD 設(shè)備的游戲仍然需要許多改進(jìn)。
[0005] 正是在這種情況下，本發(fā)明的實(shí)施方案應(yīng)運(yùn)而生。
[0006] 概述
[0007] 本發(fā)明的實(shí)施方案提供用于在頭戴式顯示器（HMD)上渲染游戲的方法和系統(tǒng)。在 一些實(shí)施方案中，游戲玩法可與用戶所使用的控制器相關(guān)或用所述控制器進(jìn)行。所述方法 限定追蹤HMD和控制器以及提供沉浸式交互性的方式。所追蹤的HMD和控制器能夠在三維 空間內(nèi)實(shí)現(xiàn)相關(guān)的交互式玩法。應(yīng)理解的是，本發(fā)明可以多種方式來(lái)實(shí)行，如程序、裝置、系 統(tǒng)、設(shè)備或計(jì)算機(jī)可讀介質(zhì)上的方法。以下描述本發(fā)明的若干發(fā)明性實(shí)施方案。
[0008] 公開了一種頭戴式顯示器，其包括頭部附接部分。還包括觀察模塊，所述觀察模塊 聯(lián)接到頭部附接部分。所述觀察模塊包括內(nèi)部部分和外部殼體，所述內(nèi)部?jī)?nèi)部具有進(jìn)入配 置用于渲染圖像內(nèi)容的屏幕中的觀察窗。還包括多個(gè)照明元件，所述多個(gè)照明元件與觀察 模塊的外部殼體整合在一起。多個(gè)照明元件被限定用于頭戴式顯示器的圖像追蹤，并且照 明邏輯用于將多個(gè)照明元件控制為活動(dòng)的或不活動(dòng)的。
[0009] 在一些實(shí)施方案中，由通信模塊交換的數(shù)據(jù)包括輸入數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)、 和慣性數(shù)據(jù)。
[0010] 在一些實(shí)施方案中，多個(gè)照明元件被限定為發(fā)光二極管（LED)或紅外（IR)發(fā)射 器。
[0011] 在一些實(shí)施方案中，LED被限定來(lái)照明一種或多種顏色，所述一種或多種顏色的照 明是由照明邏輯控制。
[0012] 在一些實(shí)施方案中，多個(gè)照明元件以限定的圖案布置在外部殼體上。
[0013] 在一些實(shí)施方案中，外部殼體具有部分彎曲形狀，并且多個(gè)照明元件以圍繞所述 部分彎曲形狀的圖案布置。
[0014] 在一些實(shí)施方案中，外部殼體具有多個(gè)表面區(qū)域，并且多個(gè)照明元件以圍繞所述 多個(gè)表面區(qū)域的圖案布置。
[0015] 在一些實(shí)施方案中，其中多個(gè)照明元件包括兩個(gè)或更多個(gè)形狀或尺寸。
[0016] 在一些實(shí)施方案中，其中多個(gè)照明元件中的額外照明元件連接到頭部附接部分。
[0017] 在另一個(gè)實(shí)施方案中，公開了一種頭戴式顯示器（HMD)。所述HMD包括用于放置在 用戶頭部上的頭部附接部分以及聯(lián)接到所述頭部附接部分并且被配置用于放置在用戶的 眼睛前方的觀察模塊。觀察模塊包括內(nèi)側(cè)和包圍所述內(nèi)側(cè)的外部殼體，所述內(nèi)側(cè)具有進(jìn)入 配置用于渲染圖像內(nèi)容的屏幕中的觀察窗。所述HMD還包括用于與計(jì)算機(jī)系統(tǒng)交換數(shù)據(jù)的 通信模塊。數(shù)據(jù)包括輸入數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)、和慣性數(shù)據(jù)（以及可能的其他數(shù)據(jù)）。 所述HMD還包括用于處理圖像數(shù)據(jù)以便在屏幕上渲染圖像內(nèi)容的圖像處理模塊以及與觀 察模塊的外部殼體整合在一起的多個(gè)照明元件。多個(gè)照明元件被限定用于通過攝像機(jī)實(shí)現(xiàn) 的頭戴式顯示器的圖像追蹤。所述HMD還包括照明邏輯，所述照明邏輯用于在特定時(shí)間或 在使用期間將多個(gè)照明元件中的特定照明元件控制為活動(dòng)的和/或不活動(dòng)的。
[0018] 在一些實(shí)施方案中，外部殼體具有面向前部部分、第一側(cè)部分、和第二側(cè)部分。
[0019] 在一些實(shí)施方案中，多個(gè)照明元件中的第一個(gè)安置在面向前部部分的左側(cè)上，并 且多個(gè)照明元件中的第二個(gè)安置在面向前部部分的右側(cè)上。
[0020] 在一些實(shí)施方案中，多個(gè)照明元件中的第一個(gè)具有部分安置在面向前部部分和第 一側(cè)部分中的兩部分形狀，并且多個(gè)照明元件中的第二個(gè)具有部分安置在面向前部部分和 第二側(cè)部分中的兩部分形狀。
[0021] 在一些實(shí)施方案中，多個(gè)照明元件被限定為發(fā)光二極管（LED)或紅外（IR)發(fā)射 器。
[0022] 在一些實(shí)施方案中，LED被限定來(lái)照明一種或多種顏色，所述一種或多種顏色的照 明是由照明邏輯控制。
[0023] 在一些實(shí)施方案中，多個(gè)照明元件以限定的圖案布置在外部殼體上。
[0024] 在一些實(shí)施方案中，通信模塊是與計(jì)算機(jī)有線連接或無(wú)線連接的通信模塊。
[0025] 在一些實(shí)施方案中，慣性數(shù)據(jù)是由頭戴式顯示器響應(yīng)于在被用戶佩戴時(shí)檢測(cè)到的 移動(dòng)生成。
[0026] 在一些實(shí)施方案中，輸入數(shù)據(jù)是由頭戴式顯示器響應(yīng)于在被用戶佩戴時(shí)的用戶輸 入生成。
[0027] 在一些實(shí)施方案中，音頻數(shù)據(jù)和圖像數(shù)據(jù)與待渲染在頭戴式顯示器處的交互式媒 體內(nèi)容相關(guān)聯(lián)。
[0028] 在一些實(shí)施方案中，交互式媒體內(nèi)容包括游戲數(shù)據(jù)、視頻數(shù)據(jù)、互聯(lián)網(wǎng)導(dǎo)航數(shù)據(jù)、 游戲數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)的組合、社交媒體數(shù)據(jù)、或其組合。
[0029] 在一些實(shí)施方案中，外部殼體具有部分彎曲形狀，并且多個(gè)照明元件以圍繞所述 部分彎曲形狀的圖案布置。
[0030] 在一些實(shí)施方案中，外部殼體具有多個(gè)表面區(qū)域，并且多個(gè)照明元件以圍繞所述 多個(gè)表面區(qū)域的圖案布置。
[0031 ] 在一些實(shí)施方案中，多個(gè)照明元件包括兩個(gè)或更多個(gè)形狀或尺寸。
[0032] 在一些實(shí)施方案中，多個(gè)照明元件中的額外照明元件連接到頭部附接部分。
[0033] 在一些實(shí)施方案中，多個(gè)照明元件以限定的圖案布置在外部殼體上。
[0034] 在另一個(gè)實(shí)施方案中，公開了一種頭戴式顯示器。所述頭戴式顯示器包括主體，所 述主體包括頭部附接部分和觀察模塊。觀察模塊包括具有進(jìn)入配置用于渲染圖像內(nèi)容的屏 幕中的觀察窗的內(nèi)部部分，并且主體包括覆蓋觀察模塊的外部殼體。所述頭戴式顯示器還 包括與觀察模塊的外部殼體整合在一起的多個(gè)照明元件。多個(gè)照明元件被限定用于頭戴式 顯示器的圖像追蹤。多個(gè)照明元件以適當(dāng)?shù)膱D案布置。還包括照明邏輯，所述照明邏輯用 于將多個(gè)照明元件控制為活動(dòng)的以便有助于圖像追蹤。
[0035] 提供了一種用于執(zhí)行展示在頭戴式顯示器（HMD)的屏幕上的游戲的方法。執(zhí)行 在屏幕上渲染游戲的交互式場(chǎng)景。所述方法包括接收由用戶佩戴的HMD的數(shù)據(jù)，以便識(shí)別 HMD空間位置。所述方法還包括接收由用戶握持的控制器的數(shù)據(jù)，以便識(shí)別控制器空間位 置。在玩游戲期間，所述方法包括在屏幕上渲染進(jìn)入游戲的交互式場(chǎng)景中的視角，其中所述 視角是在三維中渲染的空間體積。所述方法包括在檢測(cè)到HMD空間位置改變時(shí)調(diào)整視角。 控制器可以驅(qū)動(dòng)游戲中的交互性，并且控制器位置的變化與HMD位置的變化是相關(guān)的以便 提供沉浸式三維玩游戲體驗(yàn)。
[0036] 在一些實(shí)施方案中，控制器提供驅(qū)動(dòng)交互性的輸入。
[0037] 在一些實(shí)施方案中，控制器空間位置的變化提供額外的輸入。
[0038] 在一些實(shí)施方案中，額外的輸入包括燈或慣性數(shù)據(jù)中的一個(gè)。
[0039] 在一些實(shí)施方案中，當(dāng)由攝像機(jī)觀察時(shí)燈提供位置數(shù)據(jù)，并且燈的顏色提供額外 的數(shù)據(jù)。
[0040] 在一些實(shí)施方案中，顏色基于室內(nèi)條件指示玩家編號(hào)或模式或設(shè)置。
[0041] 在一些實(shí)施方案中，控制器在交互式場(chǎng)景中被表示為虛擬對(duì)象，所述虛擬對(duì)象在 交互式場(chǎng)景中渲染在大致映射到控制器空間位置的虛擬空間位置，并且控制器空間位置的 變化改變?nèi)缢聊簧鲜境龅奶摂M對(duì)象的虛擬空間位置。
[0042] 提供了另一種用于執(zhí)行展示在頭戴式顯示器（HMD)的屏幕上的游戲的方法。所述 方法包括執(zhí)行游戲，其中所述執(zhí)行在屏幕上渲染游戲的交互式場(chǎng)景。所述方法包括：接收由 用戶佩戴的HMD的數(shù)據(jù)，以便識(shí)別HMD空間位置；接收由用戶握持的控制器的數(shù)據(jù)，以便識(shí) 別控制器空間位置；在屏幕上渲染進(jìn)入游戲的交互式場(chǎng)景中的視角；以及在檢測(cè)到HMD空 間位置改變時(shí)調(diào)整所述視角，所述方法由處理器執(zhí)行。
[0043] 在一些實(shí)施方案中，控制器在交互式場(chǎng)景中被表示為虛擬對(duì)象，所述虛擬對(duì)象在 交互式場(chǎng)景中渲染在映射到控制器空間位置的虛擬空間位置，并且控制器空間位置的變化 改變虛擬對(duì)象的虛擬空間位置。
[0044] 在一些實(shí)施方案中，交互式場(chǎng)景以三維格式渲染，從而使得在交互式場(chǎng)景中的對(duì) 象出現(xiàn)在HMD的前方并且延伸一段距離進(jìn)入交互式場(chǎng)景中。
[0045] 在一些實(shí)施方案中，使用圖像數(shù)據(jù)、慣性數(shù)據(jù)、無(wú)線數(shù)據(jù)、紅外數(shù)據(jù)、或其組合中的 一個(gè)或多個(gè)來(lái)追蹤HMD空間位置和控制器空間位置。
[0046] 在一些實(shí)施方案中，使用圖像數(shù)據(jù)追蹤包括使用提供深度數(shù)據(jù)的立體攝像機(jī)來(lái)檢 測(cè)HMD空間位置和控制器空間位置中的一個(gè)或兩個(gè)。
[0047] 在另一個(gè)實(shí)施方案中，提供了一種用于執(zhí)行展示在頭戴式顯示器（HMD)的屏幕上 的游戲的方法。所述方法包括執(zhí)行游戲，其中所述執(zhí)行在屏幕上渲染游戲的交互式場(chǎng)景。所 述方法包括：接收由用戶佩戴的HMD的圖像，以便相對(duì)于指向用戶的捕獲位置識(shí)別HMD空間 位置；接收由用戶握持的控制器的圖像，以便相對(duì)于捕獲位置識(shí)別控制器空間位置，所述控 制器提供輸入以便至少部分地驅(qū)動(dòng)與正執(zhí)行的游戲的交互作用；在屏幕上渲染進(jìn)入游戲的 交互式場(chǎng)景中的視角；以及當(dāng)在HMD的接收到的圖像中檢測(cè)到HMD空間位置改變時(shí)調(diào)整所 述視角。
[0048] 在一些實(shí)施方案中，控制器在交互式場(chǎng)景中被表示為虛擬對(duì)象，所述虛擬對(duì)象在 交互式場(chǎng)景中渲染在映射到控制器空間位置的虛擬空間位置，并且控制器空間位置的變化 改變虛擬對(duì)象的虛擬空間位置。
[0049] 在一些實(shí)施方案中，在通信地連接到頭戴式顯示器的計(jì)算機(jī)上執(zhí)行游戲。
[0050] 在一些實(shí)施方案中，在游戲云上執(zhí)行游戲，并且頭戴式顯示器通信地連接到所述 游戲云。
[0051] 在一些實(shí)施方案中，HMD空間位置和控制器空間位置中的每一個(gè)另外可通過慣性 數(shù)據(jù)識(shí)別。
[0052] 結(jié)合附圖來(lái)閱讀以下詳細(xì)描述，本發(fā)明的其他方面將變得顯而易見，以下詳細(xì)描 述通過舉例的方式來(lái)說明本發(fā)明的原理。
[0053] 附圖簡(jiǎn)述
[0054] 結(jié)合附圖來(lái)參閱以下描述可以最好地理解本發(fā)明，在附圖中：
[0055] 圖1示出根據(jù)本發(fā)明的實(shí)施方案的用于視頻游戲的交互性游戲玩法的系統(tǒng)。
[0056] 圖2示出根據(jù)本發(fā)明的實(shí)施方案的頭戴式顯示器（HMD)。
[0057] 圖3概念性地示出根據(jù)本發(fā)明的實(shí)施方案的與正執(zhí)行的視頻游戲相結(jié)合的HMD的 功能。
[0058] 圖4A-4B示出根據(jù)本發(fā)明的實(shí)施方案的可從HMD的3D中觀察到的虛擬空間以及 與控制器的交互作用和與控制器的協(xié)調(diào)的實(shí)例。
[0059] 圖5A-9B示出根據(jù)本發(fā)明的實(shí)施方案的用戶佩戴HMD并且握持控制器以及改變進(jìn) 入針對(duì)視頻游戲生成的交互式場(chǎng)景中的視角的額外的實(shí)例。
[0060] 圖10和圖11示出用戶在與視頻游戲接口連接時(shí)佩戴HMD并且握持