混合現(xiàn)實(shí)顯示調(diào)節(jié)的制作方法
【專利說明】
【背景技術(shù)】
[0001]諸如頭戴式顯示設(shè)備那樣的增強(qiáng)現(xiàn)實(shí)或混合現(xiàn)實(shí)設(shè)備可以用在各種各樣的真實(shí)世界環(huán)境和情境中。這樣的設(shè)備提供了通過全息對(duì)象和/或其他虛擬現(xiàn)實(shí)信息而擴(kuò)增(augment)的物理環(huán)境的視圖。這些設(shè)備可以接收由已知開發(fā)者和未知開發(fā)者開發(fā)的全息對(duì)象以及由已知源和未知源公布或分發(fā)的全息對(duì)象，以用于顯示。
[0002]由混合現(xiàn)實(shí)設(shè)備顯示的全息對(duì)象可以改變用戶對(duì)于物理環(huán)境的觀察。在一些示例中，一個(gè)全息對(duì)象還可以與另一個(gè)全息對(duì)象交互。全息對(duì)象還可以按照變化的真實(shí)感等級(jí)被顯示，比如變化的透明度/不透明度、銳度/模糊、現(xiàn)實(shí)對(duì)想象行為等等。取決于全息對(duì)象的真實(shí)感等級(jí)和大體外觀，顯示全息對(duì)象可以改變用戶對(duì)物理環(huán)境的感知和/或使用戶的注意力從物理環(huán)境的某些方面轉(zhuǎn)移開。此外，取決于在其中正使用混合現(xiàn)實(shí)設(shè)備的真實(shí)世界環(huán)境和/或情境，在一些情況下，這樣的改變的感知和/或轉(zhuǎn)移的注意力可減少用戶對(duì)于物理環(huán)境中安全相關(guān)問題的警覺性。

【發(fā)明內(nèi)容】

[0003]本文公開了各種實(shí)施例，所述實(shí)施例涉及顯示全息對(duì)象以便調(diào)節(jié)(accommodate)包括物理環(huán)境的混合現(xiàn)實(shí)環(huán)境。在一個(gè)示例中，一種方法可以包括:提供頭戴式顯示設(shè)備，所述頭戴式顯示設(shè)備被配置成由用戶穿戴并且可操作地連接到計(jì)算設(shè)備。頭戴式顯示設(shè)備可以包括多個(gè)傳感器和顯示系統(tǒng)。該方法可以包括經(jīng)由傳感器中的一個(gè)或多個(gè)從物理環(huán)境接收物理環(huán)境數(shù)據(jù)。可以從源接收全息對(duì)象，其中所述全息對(duì)象與內(nèi)容提供商ID相關(guān)聯(lián)。該方法可以包括基于內(nèi)容提供商ID向全息對(duì)象指派信任等級(jí)。
[0004]如果信任等級(jí)小于信任等級(jí)閾值，則該方法可以包括:對(duì)全息對(duì)象施加提供保護(hù)性顯示限制等級(jí)的第一組安全規(guī)則。該方法然后可以包括:根據(jù)第一組安全規(guī)則經(jīng)由顯示系統(tǒng)來顯示全息對(duì)象。如果信任等級(jí)大于或等于信任等級(jí)閾值，則該方法可以包括:對(duì)全息對(duì)象施加提供許可性顯示限制等級(jí)的第二組安全規(guī)則，其中所述許可性限制等級(jí)小于所述保護(hù)性限制等級(jí)。該方法然后可以包括:根據(jù)第二組安全規(guī)則經(jīng)由顯示系統(tǒng)來顯示全息對(duì)象。
[0005]本概要被提供來以簡化的形式介紹概念的選擇，這些概念還將在下面的詳細(xì)說明中進(jìn)行描述。本概要既不打算標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不打算被用來限制所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決了在本公開內(nèi)容的任何部分中提到的任何或全部缺點(diǎn)的那些實(shí)現(xiàn)。
【附圖說明】
[0006]圖1是根據(jù)本公開內(nèi)容的實(shí)施例的混合現(xiàn)實(shí)調(diào)節(jié)系統(tǒng)的示意圖。
[0007]圖2示出了根據(jù)本公開內(nèi)容的實(shí)施例的示例性頭戴式顯示設(shè)備。
[0008]圖3是示例性物理環(huán)境的示意圖，所述示例性物理環(huán)境包括兩個(gè)用戶，他們穿戴有圖2的頭戴式顯示設(shè)備并且使用圖1的混合現(xiàn)實(shí)調(diào)節(jié)系統(tǒng)。
[0009]圖4A、4B和4C是根據(jù)本公開內(nèi)容的實(shí)施例的、用于顯示全息對(duì)象的方法的流程圖。
[0010]圖5是計(jì)算系統(tǒng)的實(shí)施例的簡化示意說明圖。
【具體實(shí)施方式】
[0011]圖1示出了混合現(xiàn)實(shí)調(diào)節(jié)系統(tǒng)10的一個(gè)實(shí)施例的示意圖?；旌犀F(xiàn)實(shí)調(diào)節(jié)系統(tǒng)10包括混合現(xiàn)實(shí)安全程序14，所述混合現(xiàn)實(shí)安全程序14可以被存儲(chǔ)于計(jì)算設(shè)備22的海量存儲(chǔ)裝置18中。混合現(xiàn)實(shí)安全程序14可以被加載到存儲(chǔ)器26中，并由計(jì)算系統(tǒng)22的處理器30執(zhí)行來完成以下更詳細(xì)描述的方法和過程中的一個(gè)或多個(gè)。
[0012]在一個(gè)示例中，混合現(xiàn)實(shí)調(diào)節(jié)系統(tǒng)10可以包括混合現(xiàn)實(shí)顯示程序34，所述混合現(xiàn)實(shí)顯示程序34可以被存儲(chǔ)于計(jì)算設(shè)備22的海量存儲(chǔ)裝置18中?；旌犀F(xiàn)實(shí)顯示程序34可以產(chǎn)生虛擬環(huán)境38以用于在諸如頭戴式顯示(HMD)設(shè)備42那樣的顯示設(shè)備上顯示，從而創(chuàng)建混合現(xiàn)實(shí)環(huán)境40。虛擬環(huán)境38可以包括一個(gè)或多個(gè)虛擬對(duì)象表示，比如全息對(duì)象44。在一些示例中，可以產(chǎn)生虛擬環(huán)境38來以交互式視頻游戲、運(yùn)動(dòng)畫面體驗(yàn)、廣告、商業(yè)或其他合適體驗(yàn)的形式在混合現(xiàn)實(shí)環(huán)境40中提供混合現(xiàn)實(shí)體驗(yàn)。
[0013]在另一示例中，混合現(xiàn)實(shí)顯示程序34和/或混合現(xiàn)實(shí)安全程序14可被遠(yuǎn)程存儲(chǔ)，并且可由計(jì)算設(shè)備22通過與計(jì)算設(shè)備可操作地連接的網(wǎng)絡(luò)(比如網(wǎng)絡(luò)46)來訪問。
[0014]計(jì)算設(shè)備22可以采取以下形式:臺(tái)式計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備(比如智能電話、膝上型計(jì)算機(jī)、筆記本計(jì)算機(jī)或平板計(jì)算機(jī))、網(wǎng)絡(luò)計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、交互式電視、游戲系統(tǒng)或其他合適類型的計(jì)算設(shè)備。以下參考圖5來更詳細(xì)地描述與計(jì)算設(shè)備22的組件和計(jì)算方面有關(guān)的附加細(xì)節(jié)。
[0015]計(jì)算設(shè)備22可以使用有線連接與HMD設(shè)備42可操作地連接，或者可以采用經(jīng)由WiF1、藍(lán)牙或任何其他合適無線通信協(xié)議的無線連接。此外，圖1所例示的示例將計(jì)算設(shè)備22示為與HMD設(shè)備42分離的組件。將意識(shí)到，在其他示例中，計(jì)算設(shè)備22還可以被集成到HMD設(shè)備42中。
[0016]計(jì)算設(shè)備22還可以經(jīng)由網(wǎng)絡(luò)46與一個(gè)或多個(gè)附加設(shè)備可操作地連接。網(wǎng)絡(luò)46可以采取局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、個(gè)人區(qū)域網(wǎng)或其組合的形式，并且可以包括互聯(lián)網(wǎng)。
[0017]現(xiàn)在還參考圖2，提供了 HMD設(shè)備200的一個(gè)示例，HMD設(shè)備200采取具有透明顯示器50的一副可穿戴眼鏡的形式。將意識(shí)到，在其他示例中，HMD設(shè)備200可以采取在觀看者的一只或者兩只眼前支持透明、半透明或不透明顯示的其他合適形式。還將意識(shí)到，圖1所示的HMD設(shè)備42可以采取如以下更詳細(xì)地描述的HMD設(shè)備200的形式，或者采取任何其他合適的HMD設(shè)備的形式。此外，在本公開內(nèi)容的范圍內(nèi)，還可以使用具有各種形狀因子的許多其他類型和配置的顯示設(shè)備。
[0018]參考圖1和圖2，在該示例中，HMD設(shè)備42包括顯示系統(tǒng)48以及使圖像能夠被傳遞到用戶眼睛的透明顯示器50。透明顯示器50可以被配置成:對(duì)于通過透明顯示器觀看物理環(huán)境的用戶在視覺上擴(kuò)增物理環(huán)境52的景象。例如，可以通過經(jīng)由透明顯示器50呈現(xiàn)的圖形內(nèi)容(例如，各自具有相應(yīng)的顏色和亮度的一個(gè)或多個(gè)像素)來擴(kuò)增物理環(huán)境的景象，以創(chuàng)建混合現(xiàn)實(shí)環(huán)境40。
[0019]透明顯示器50還可以被配置成使得用戶能夠通過正在顯示虛擬對(duì)象表示的一個(gè)或多個(gè)部分地透明的像素來觀看物理環(huán)境52中的物理的真實(shí)世界對(duì)象。在一個(gè)示例中，透明顯示器50可以包括位于透鏡204 (例如像透明有機(jī)發(fā)光二極管(OLED)顯示器)內(nèi)的圖像生成元件。作為另一示例，透明顯示器50可以包括在透鏡204邊緣上的光調(diào)制器。在這個(gè)示例中，透鏡204可以充當(dāng)用于從光調(diào)制器向用戶眼睛傳遞光的光導(dǎo)。這樣的光導(dǎo)可以使用戶能夠感知位于用戶正在觀看的物理環(huán)境中的3D虛擬圖像，同時(shí)還允許用戶觀看物理環(huán)境中的物理對(duì)象。
[0020]在其他示例中，透明顯示器50可以支持在從物理環(huán)境接收的光到達(dá)穿戴HMD設(shè)備200的用戶的眼睛之前對(duì)所述光進(jìn)行選擇性過濾?？梢灾饌€(gè)像素地或者按照像素組來執(zhí)行這種過濾。在一個(gè)示例中，透明顯示器50可以包括以一個(gè)或多個(gè)被照亮的像素的形式來增加光的第一顯示層、以及對(duì)于從物理環(huán)境接收到的環(huán)境光進(jìn)行過濾的第二顯示層。這些層可以具有不同的顯示分辨率、像素密度和/或顯示能力。
[0021]在一些示例中，第二顯示層可以包括一個(gè)或多個(gè)不透明層，在其中可以生成阻擋圖像。一個(gè)或多個(gè)不透明層可以整體地形成在透明顯示器50內(nèi)。在其他示例中，一個(gè)或多個(gè)不透明層可以例如以單獨(dú)的擋板的形式被單獨(dú)安裝或附著到透明顯示器50附近。
[0022]HMD設(shè)備42還可以包括各種系統(tǒng)和傳感器。例如，HMD設(shè)備42可以包括利用至少一個(gè)面向內(nèi)的傳感器212 (參見圖2)的眼睛跟蹤傳感器系統(tǒng)54。面向內(nèi)的傳感器212可以是被配置成從用戶的眼睛獲取眼睛跟蹤信息形式的圖像數(shù)據(jù)的圖像傳感器。假定用戶同意獲取和使用此信息，則眼睛跟蹤傳感器系統(tǒng)54可以使用此信息來跟蹤用戶眼睛的瞳孔反應(yīng)、位置和/或移動(dòng)。眼睛跟蹤傳感器系統(tǒng)54然后可以確定用戶正在盯著哪里和/或用戶正在盯著什么物理對(duì)象或虛擬對(duì)象。
[0023]HMD設(shè)備42還可以包括利用至少一個(gè)面向外的傳感器216 (比如光學(xué)傳感器)的光學(xué)傳感器系統(tǒng)58。面向外的傳感器216可以檢測其視場內(nèi)的移動(dòng)，比如由用戶或者由視場內(nèi)的人或物理對(duì)象執(zhí)行的基于姿勢的輸入或其他移動(dòng)。面向外的傳感器216還可以從物理環(huán)境以及環(huán)境中的物理對(duì)象捕獲圖像信息和深度信息。例如，面向外的傳感器216可以包括深度攝像機(jī)、可見光攝像機(jī)、紅外光攝像機(jī)和/或位置跟蹤攝像機(jī)。在一些示例中，面向外的傳感器216可以包括用于從物理環(huán)境中的真實(shí)世界照明情況觀測可見光譜和/或紅外光的一個(gè)或多個(gè)光學(xué)傳感器。這樣的傳感器可以包括例如電荷耦合器件圖像傳感器。
[0024]如上所述，HMD設(shè)備42可以包括經(jīng)由一個(gè)或多個(gè)深度攝像機(jī)進(jìn)行的深度感測。例如，每個(gè)深度攝像機(jī)可以包括立體視覺系統(tǒng)的左攝像機(jī)和右攝像機(jī)。來自這些深度攝像機(jī)中的一個(gè)或多個(gè)深度攝像機(jī)的時(shí)間分辨(time-resolved)圖像可以被彼此配準(zhǔn)，和/或配準(zhǔn)到來自另一光學(xué)傳感器(比如可見光譜攝像機(jī))的圖像，并且可以被組合以產(chǎn)生深度分辨(depth-resolved)視頻。
[0025]在一些示例中，深度攝像機(jī)可以采取結(jié)構(gòu)光深度攝像機(jī)的形式，所述結(jié)構(gòu)光深度攝像機(jī)被配置成投影包括多個(gè)離散特征(例如，線或點(diǎn))的結(jié)構(gòu)化紅外照明。深度攝像機(jī)可以被配置成:對(duì)于從結(jié)構(gòu)化照明被投影到的場景反射的結(jié)構(gòu)化照明進(jìn)行成像?？梢曰诒怀上駡鼍暗母鱾€(gè)區(qū)域中的相鄰特征之間的間隔來構(gòu)造場景的深度圖。
[0026]在其他示例中，深度攝像機(jī)可以采取飛行時(shí)間(time-of-flight)深度攝像機(jī)的形式，所述飛行時(shí)間深度攝像機(jī)被配置成將脈沖式紅外照明投影到場景上。這種深度攝像機(jī)可以被配置來檢測從場景反射的脈沖式照明。這些深度攝像機(jī)中的兩個(gè)或更多個(gè)可以包括與脈沖式照明同步的電子快門。對(duì)于兩個(gè)或更多個(gè)深度攝像機(jī)的積分時(shí)間可以不同，以使得從源到場景然后到深度攝像機(jī)的脈沖式照明的像素分辨(pixel-resolved)飛行時(shí)間是根據(jù)在兩個(gè)深度攝像機(jī)的對(duì)應(yīng)像素中接收到的相對(duì)光量而可辨別的。HMD設(shè)備42還可以包括紅外投影儀，以幫助結(jié)構(gòu)光和/或飛行時(shí)間深度分析。
[0027]在其他示例中，還可以經(jīng)由一個(gè)或多個(gè)深度攝像機(jī)來檢測來自物理環(huán)境中的用戶和/或人的基于姿勢的輸入和其他運(yùn)動(dòng)輸入。例如，面向外的傳感器216可以包括具有已知相對(duì)位置的兩個(gè)或更多個(gè)光學(xué)傳感器，以用于創(chuàng)建深度圖。通過使用來自這些具有已知相對(duì)位置的光學(xué)傳感器的運(yùn)動(dòng)結(jié)果，可以生成