60可移回HUD460的默認(rèn)身體鎖定位置,例如在用戶前方且超出水平線。此后,HUD460 可在步驟716保持身體鎖定直到系統(tǒng)再次在步驟714確定用戶在HUD460的方向中看了預(yù) 定時(shí)間段為止。
[0122] 如上所述,用戶可選擇一個(gè)或多個(gè)虛擬物體來(lái)交互,諸如舉例來(lái)說(shuō)HUD460。對(duì) HUD460或其他虛擬物體的選擇可通過(guò)若干姿勢(shì)中的任何一種來(lái)指示,諸如舉例來(lái)說(shuō)用戶 指向了一個(gè)或多個(gè)虛擬物體。當(dāng)用戶選擇了HUD460時(shí),用戶可與HUD460的內(nèi)容交互,例 如獲得關(guān)于某一內(nèi)容項(xiàng)的更詳細(xì)的信息或者更改某一內(nèi)容項(xiàng)。一旦被選擇,該一個(gè)或多個(gè) 虛擬物體可保持被選擇,直至用戶執(zhí)行了指示解除對(duì)一個(gè)或多個(gè)虛擬物體的選擇的另一姿 勢(shì)為止。解除選擇姿勢(shì)可以例如是身體手姿勢(shì)或用戶將目光從該一個(gè)或多個(gè)虛擬物體移開(kāi) 達(dá)預(yù)定時(shí)段。
[0123] 用戶也可抓住諸如HUD460之類的虛擬物體并將其從它們的默認(rèn)位置移動(dòng)到F0V 中的新位置。這些新位置可被設(shè)置為新的默認(rèn)位置,或者這些位置可在用戶解除選擇虛擬 物體之后返回先前的默認(rèn)位置。
[0124] 一旦如圖14所描述地設(shè)置了包括HUD460的虛擬物體的位置,中樞12就可在步 驟626 (圖12)將所確定的信息傳送給一個(gè)或多個(gè)處理單元4。在步驟626傳送的信息包括 將場(chǎng)景圖傳輸給所有用戶的處理單元4。所傳送的信息可進(jìn)一步包括將每一頭戴式顯示設(shè) 備2的所確定的F0V傳輸給相應(yīng)頭戴式顯示設(shè)備2的處理單元4。所傳送的信息可進(jìn)一步 包括對(duì)虛擬物體特征的傳輸,包括所確定的位置、定向、形狀以及外觀。
[0125] 上面以示例的方式描述了處理步驟600至626。理解到,這些步驟中的一個(gè)或多個(gè) 步驟在另外的實(shí)施例中可被省略,這些步驟可以按不同次序來(lái)執(zhí)行,或者可以添加附加步 驟。處理步驟604到618可能在計(jì)算上是昂貴的,但強(qiáng)大的中樞12可在60赫茲幀中執(zhí)行 這些步驟若干次。在另外的實(shí)施例中,步驟604到618中的一個(gè)或多個(gè)步驟可替代地或附 加地由處理單元4中的一個(gè)或多個(gè)來(lái)執(zhí)行。此外,盡管圖12示出了對(duì)各種參數(shù)的確定,以 及然后在步驟626中對(duì)所有這些參數(shù)一次傳送,但是理解到,所確定的參數(shù)可以一被確定 就被異步地發(fā)送給(一個(gè)或多個(gè))處理單元4。
[0126] 現(xiàn)在將參考步驟630至658解釋處理單元4和頭戴式顯示設(shè)備2的操作。以下描 述關(guān)于單個(gè)處理單元4和頭戴式顯示設(shè)備2。然而,以下描述可適用于該系統(tǒng)中的每一處理 單元4和顯示設(shè)備2。
[0127] 如上所述,在初始步驟656,頭戴式顯示設(shè)備2生成圖像和頂U(kuò)數(shù)據(jù),所述圖像和 MU數(shù)據(jù)在步驟630經(jīng)處理單元4被發(fā)送給中樞12。在中樞12處理圖像數(shù)據(jù)的同時(shí),處理 單元4也在處理圖像數(shù)據(jù),以及執(zhí)行準(zhǔn)備渲染圖像的步驟。
[0128] 在步驟634,處理單元4可精選渲染操作使得僅僅有可能在該頭戴式顯示設(shè)備2的 最終F0V內(nèi)出現(xiàn)的那些虛擬物體被渲染。其他虛擬物體(諸如身體鎖定的HUD460)的位 置仍可被跟蹤,但是它們不被渲染。還可設(shè)想,在另外的實(shí)施例中,步驟634可以被完全跳 過(guò),而整個(gè)圖像被渲染。
[0129] 處理單元4接下來(lái)可執(zhí)行渲染設(shè)置步驟638,在該步驟使用在步驟626中接收到的 場(chǎng)景圖和F0V來(lái)執(zhí)行設(shè)置渲染操作。一旦接收到虛擬物體數(shù)據(jù),處理單元就可以對(duì)要在該 F0V中被渲染的虛擬物體執(zhí)行步驟638中的渲染設(shè)置操作。步驟638中的設(shè)置渲染操作可 包括與要在最終F0V中顯示的虛擬物體相關(guān)聯(lián)的常見(jiàn)渲染任務(wù)。這些渲染任務(wù)可包括例如 陰影圖生成、光照和動(dòng)畫。在一些實(shí)施例中,渲染設(shè)置步驟638可進(jìn)一步包括對(duì)可能的繪制 信息的編譯,諸如要在預(yù)測(cè)的最終F0V中顯示的虛擬物體的頂點(diǎn)緩沖區(qū)、紋理和狀態(tài)。
[0130] 再次參考圖12,使用在步驟626從中樞12接收到的信息,處理單元4可接著在步 驟644確定用戶的F0V中的遮擋和陰影。具體而言,該場(chǎng)景圖具有該場(chǎng)景中所有物體(包括 移動(dòng)的和非移動(dòng)的物體和虛擬物體)的x、y和z位置。已知用戶的位置以及他們對(duì)該F0V 中的物體的視線的情況下,處理單元4隨后可確定某一虛擬物體是否全部或部分地遮擋了 該用戶對(duì)一現(xiàn)實(shí)世界物體的查看。此外,處理單元4可確定某一現(xiàn)實(shí)世界物體是否部分或 全部地遮擋了該用戶對(duì)一虛擬物體的查看。遮擋是因用戶而異的。一虛擬物體可能在第一 用戶的查看中阻擋或被阻擋,但是對(duì)于第二用戶則不然。因此,遮擋確定可以在每個(gè)用戶的 處理單元4中執(zhí)行。然而,理解到,遮擋確定可附加地或替代地由中樞12來(lái)執(zhí)行。
[0131] 在步驟646,處理單元4的GPU322可以接下來(lái)渲染要顯示給該用戶的圖像。渲染 操作的各部分可能已經(jīng)在渲染設(shè)置步驟638中被執(zhí)行并且被周期性地更新。步驟646的進(jìn) 一步細(xì)節(jié)在題為"Low-LatencyFusingofVirtualAndRealContent"(虛擬和現(xiàn)實(shí)內(nèi)容 的低等待時(shí)間融合)的美國(guó)專利公開(kāi)號(hào)2012/0105473中被描述。
[0132] 在步驟650,處理單元4檢查:是否到了該將渲染出的圖像發(fā)送給頭戴式顯示設(shè)備 2的時(shí)間、或者是否還有時(shí)間使用來(lái)自中樞12和/或頭戴式顯示設(shè)備2的更新近的位置反 饋數(shù)據(jù)來(lái)進(jìn)一步細(xì)化圖像。在使用60赫茲幀刷新率的系統(tǒng)中,單幀可以大約為16ms。
[0133] 在步驟650如果到了顯示幀的時(shí)間,則合成圖像被發(fā)送給微顯示器120。在此時(shí), 用于不透明濾光器的控制數(shù)據(jù)也從處理單元4被傳送至頭戴式顯示設(shè)備2以控制不透明濾 光器114。該頭戴式顯示器隨后可在步驟658向該用戶顯示該圖像。
[0134] 另一方面,在步驟650還沒(méi)到發(fā)送要被顯示的圖像數(shù)據(jù)幀的時(shí)間的情況下,處理 單元可為了獲得更多經(jīng)更新數(shù)據(jù)而循環(huán)回以進(jìn)一步細(xì)化最終F0V的預(yù)測(cè)以及F0V中的物體 的最終位置的預(yù)測(cè)。具體而言,如果在步驟650中仍然有時(shí)間,則處理單元4可返回步驟 608以從中樞12獲得更新近的傳感器數(shù)據(jù),并且可返回步驟656以從頭戴式顯示設(shè)備2獲 得更新近的傳感器數(shù)據(jù)。
[0135] 上面以示例的方式描述了處理步驟630至652。理解到,這些步驟中的一個(gè)或多個(gè) 步驟在另外的實(shí)施例中可被省略,這些步驟可以按不同次序來(lái)執(zhí)行,或者可以添加附加步 驟。
[0136] 此外,圖12中的處理單元步驟的流程圖示出了來(lái)自中樞12和頭戴式顯示設(shè)備2 的所有數(shù)據(jù)都在單個(gè)步驟634被循環(huán)地提供給處理單元4。然而,理解到,處理單元4可以 在不同時(shí)刻異步地從中樞12和頭戴式顯示設(shè)備2的不同傳感器接收數(shù)據(jù)更新。頭戴式顯 示設(shè)備2提供來(lái)自相機(jī)112的圖像數(shù)據(jù)和來(lái)自頂U(kuò)132的慣性數(shù)據(jù)。來(lái)自這些傳感器的數(shù) 據(jù)的采樣可按不同的速率發(fā)生且可在不同的時(shí)刻被發(fā)送給處理單元4。類似地,來(lái)自中樞 12的經(jīng)處理的數(shù)據(jù)可在某一時(shí)刻且以與來(lái)自相機(jī)112和頂U(kuò)132兩者的數(shù)據(jù)不同的周期性 被發(fā)送給處理單元4。一般而言,處理單元4可在一幀期間異步地多次接收來(lái)自中樞12和 頭戴式顯示設(shè)備2的經(jīng)更新的數(shù)據(jù)。在處理單元循環(huán)通過(guò)其各步驟時(shí),在外插FOV和物體 位置的最終預(yù)測(cè)時(shí),它使用它接收到的最新近數(shù)據(jù)。
[0137]盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了本主題,但可以理解,所附權(quán) 利要求書(shū)中定義的主題不必限于上述具體特征或動(dòng)作。更確切而言,上述具體特征和動(dòng)作 是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開(kāi)的。本發(fā)明的范圍由所附的權(quán)利要求進(jìn)行定義。
【主權(quán)項(xiàng)】
1. 一種用于向一個(gè)或多個(gè)用戶呈現(xiàn)混合現(xiàn)實(shí)體驗(yàn)的系統(tǒng),所述系統(tǒng)包括: 包括用于顯示虛擬物體的顯示單元的顯示設(shè)備;以及 操作上耦合于所述顯示設(shè)備的計(jì)算系統(tǒng),所述計(jì)算系統(tǒng)生成所述虛擬物體以供在所述 顯示設(shè)備上顯示,當(dāng)確定所述虛擬物體不在所述顯示設(shè)備的視野內(nèi)時(shí),所述計(jì)算系統(tǒng)將所 述虛擬物體安置成相對(duì)于所述顯示設(shè)備是身體鎖定的,而當(dāng)確定所述虛擬物體在所述顯示 設(shè)備的視野內(nèi)時(shí),所述計(jì)算系統(tǒng)將所述虛擬物體安置成世界鎖定的。2. 如權(quán)利要求1所述的系統(tǒng),其特征在于,所述計(jì)算系統(tǒng)包括以下至少之一:中樞計(jì)算 系統(tǒng)或一個(gè)或多個(gè)處理單元。3. 如權(quán)利要求1所述的系統(tǒng),其特征在于,當(dāng)確定所述虛擬物體保持在所述顯示設(shè)備 的視野內(nèi)達(dá)預(yù)定時(shí)間段時(shí),所述計(jì)算系統(tǒng)將所述虛擬物體的位置從身體鎖定位置切換到世 界鎖定位置。4. 如權(quán)利要求1所述的系統(tǒng),其特征在于,當(dāng)確定所述用戶沒(méi)有在所述虛擬物體的方 向中看時(shí),所述計(jì)算系統(tǒng)將所述虛擬物體的位置從世界鎖定位置切換到身體鎖定位置。5. 如權(quán)利要求1所述的系統(tǒng),其特征在于,所述虛擬物體是包括內(nèi)容的HUD。6. 如權(quán)利要求1所述的系統(tǒng),其特征在于,當(dāng)所述虛擬物體是世界鎖定時(shí),所述計(jì)算 系統(tǒng)允許用戶選擇所述虛擬物體,以及使用一姿勢(shì)將所述虛擬物體移至三維空間中的新位 置。7. -種用于呈現(xiàn)混合現(xiàn)實(shí)體驗(yàn)的系統(tǒng),所述系統(tǒng)包括: 顯示設(shè)備,所述顯示設(shè)備包括用于感測(cè)與所述顯示設(shè)備的位置相關(guān)的數(shù)據(jù)的第一組傳 感器,以及用于將虛擬物體顯示給所述顯示設(shè)備的用戶的顯示單元;以及 操作上耦合于所述顯示設(shè)備的計(jì)算系統(tǒng),所述計(jì)算系統(tǒng)包括用于感測(cè)與所述用戶的位 置相關(guān)的數(shù)據(jù)的第二組傳感器,所述計(jì)算系統(tǒng)生成所述虛擬物體以供在所述顯示設(shè)備上顯 示,當(dāng)用戶沒(méi)有關(guān)注所述虛擬物體時(shí),所述計(jì)算系統(tǒng)在所述顯示設(shè)備的視野之外將所述虛 擬物體保持在身體鎖定位置,而當(dāng)所述用戶關(guān)注所述虛擬物體時(shí),所述計(jì)算系統(tǒng)在所述顯 示設(shè)備的視野內(nèi)將所述虛擬物體保持在世界鎖定位置。8. 如權(quán)利要求7所述的系統(tǒng),其特征在于,當(dāng)所述虛擬物體是世界鎖定時(shí),用戶可從不 同視角和位置查看所述虛擬物體。9. 一種用于向一個(gè)或多個(gè)用戶呈現(xiàn)混合現(xiàn)實(shí)體驗(yàn)的方法,所述方法包括: (a) 當(dāng)用戶沒(méi)有關(guān)注虛擬物體時(shí)將所述虛擬物體的位置鎖定在相對(duì)于所述用戶的身體 的一部分的固定位置;以及 (b) 當(dāng)所述用戶沒(méi)有關(guān)注所述虛擬物體時(shí),將所述虛擬物體的位置鎖定在三維空間中 的一固定位置。10. 如權(quán)利要求9所述的方法,其特征在于,所述步驟(a)包括當(dāng)用戶沒(méi)有關(guān)注所述虛 擬物體時(shí)相對(duì)于所述用戶的頭部鎖定所述虛擬物體的位置的步驟。
【專利摘要】公開(kāi)了一種用于按最優(yōu)且最舒適的方式將虛擬物體顯示在混合現(xiàn)實(shí)環(huán)境中以供用戶與虛擬物體進(jìn)行交互的系統(tǒng)和方法。當(dāng)用戶沒(méi)有關(guān)注虛擬物體(可以是平視顯示器,即HUD)時(shí),HUD可保持對(duì)用戶身體鎖定。如此,用戶可對(duì)頭戴式顯示設(shè)備所呈現(xiàn)的混合現(xiàn)實(shí)環(huán)境進(jìn)行探索和交互,而沒(méi)有來(lái)自HUD的干擾。當(dāng)用戶希望查看HUD和/或與HUD交互時(shí),用戶可看向HUD。此時(shí),HUD可從身體鎖定的虛擬物體改變成世界鎖定的虛擬物體。用戶然后能夠從HUD的不同的位置和視角來(lái)查看HUD并與之交互。
【IPC分類】G02B27/01, G06F3/01
【公開(kāi)號(hào)】CN105408837
【申請(qǐng)?zhí)枴緾N201480034933
【發(fā)明人】T·G·薩爾特, B·J·蘇格登, D·德普福德, R·L·小克羅可, B·E·基恩, L·K·梅賽, A·A-A·基普曼, P·T·金內(nèi)布魯, N·F·卡姆達(dá)
【申請(qǐng)人】微軟技術(shù)許可有限責(zé)任公司
【公開(kāi)日】2016年3月16日
【申請(qǐng)日】2014年6月11日
【公告號(hào)】EP3011411A1, US20140368535, WO2014204759A1