使用鏡子暗喻來提供遠(yuǎn)程沉浸式體驗(yàn)的制作方法
【專利說明】使用鏡子暗喻來提供遠(yuǎn)程沉浸式體驗(yàn)
[0001]
[0002]遠(yuǎn)程沉浸式協(xié)作系統(tǒng)能夠?qū)崿F(xiàn)地理上相互分開的兩個(gè)或更多個(gè)參與者之間的實(shí)時(shí)交互。通過向每個(gè)參與者給出他或她正與其他遠(yuǎn)程參與者在同一物理空間中工作的感覺，這種類型的系統(tǒng)不同于傳統(tǒng)的視頻會議系統(tǒng)。
[0003]—種遠(yuǎn)程沉浸式協(xié)作系統(tǒng)使用窗戶暗喻來提供共享空間體驗(yàn)。S卩，這種類型的系統(tǒng)向第一參與者給出他或她通過透明的窗戶來看向第二參與者(其位于窗戶的對面)的感覺。但是這種類型的協(xié)作系統(tǒng)可具有一個(gè)或多個(gè)缺點(diǎn)。第一，這個(gè)系統(tǒng)不能很好地適用于兩個(gè)以上的參與者，這是因?yàn)榇皯舭涤黝A(yù)先假定只有兩個(gè)位置，對應(yīng)于窗戶窗格的前面和后面。第二，即，在不偏離窗戶暗喻的原理達(dá)某個(gè)程度的情況下，這個(gè)系統(tǒng)不能容易地容納其中參與者可操縱虛擬對象的共享工作空間。第三，這個(gè)系統(tǒng)不能提供藉此每個(gè)本地參與者能監(jiān)視他或她對遠(yuǎn)程參與者而言出現(xiàn)的方式的合適機(jī)制。一些視頻會議系統(tǒng)通過在顯示器的周圍區(qū)域中包括顯示被呈現(xiàn)給其他參與者的本地參與者的圖像的小的圖片來實(shí)現(xiàn)這個(gè)結(jié)果；但是這種類型的圖片可被視為使本地參與者分心且對本地參與者而言不自然。
[0004]以上提到的潛在缺點(diǎn)是作為示例而非限制被引述的。

【發(fā)明內(nèi)容】

[0005]本文中描述了包括兩個(gè)或更多個(gè)設(shè)置的遠(yuǎn)程沉浸式環(huán)境。本地參與者對應(yīng)于物理地出現(xiàn)在特定本地設(shè)置處的參與者；遠(yuǎn)程參與者對應(yīng)于物理地出現(xiàn)在相對于本地設(shè)置而言遠(yuǎn)程的設(shè)置處的參與者。每個(gè)設(shè)置進(jìn)而包括用于產(chǎn)生三維虛擬空間以供本地參與者查看的鏡子功能。該虛擬空間顯示參與者中的至少一些，就好像參與者物理地出現(xiàn)在同一位置并看向鏡子那樣。
[0006]在一個(gè)說明性實(shí)現(xiàn)中，由每個(gè)設(shè)置提供的鏡子功能包括被放置在顯示設(shè)備的前面的物理半透明鏡子。半透明鏡子呈現(xiàn)本地參與者的虛擬圖像，而顯示設(shè)備呈現(xiàn)遠(yuǎn)程參與者的虛擬圖像。
[0007]在另一說明性實(shí)現(xiàn)中，鏡子功能包括模擬物理鏡子的顯示設(shè)備。S卩，在這個(gè)實(shí)施例中的顯示設(shè)備呈現(xiàn)本地參與者和遠(yuǎn)程參與者兩者的虛擬圖像，而不使用物理半透明鏡子。
[0008]根據(jù)另一說明性方面，每個(gè)設(shè)置包括用于構(gòu)造其本地參與者的深度圖像的功能。
[0009]根據(jù)另一說明性方面，每個(gè)設(shè)置包括其中本地參與者可放置物理對象的物理工作空間。設(shè)置產(chǎn)生作為物理對象的對應(yīng)物的虛擬對象。在一個(gè)實(shí)現(xiàn)中，物理工作空間包括在其上本地參與者可放置物理對象的工作空間桌子。
[0010]根據(jù)另一說明性方面，每個(gè)設(shè)置處的鏡子功能提供允許參與者聯(lián)合地操縱虛擬對象的功能。虛擬對象可具有或可不具有在設(shè)置之一的工作空間中的對應(yīng)物理對象。
[0011]根據(jù)另一說明性方面，由環(huán)境產(chǎn)生的虛擬空間包括虛擬反射空間和虛擬實(shí)際空間。虛擬反射空間包括從鏡子表面上的反射的視角投射的一個(gè)或多個(gè)虛擬反射對象。虛擬實(shí)際空間包括從被放置在鏡子表面之前的實(shí)體的視角投射的一個(gè)或多個(gè)虛擬實(shí)際對象。
[0012]上面的方法可以顯現(xiàn)在各種類型的系統(tǒng)、組件，方法、計(jì)算機(jī)可讀介質(zhì)、數(shù)據(jù)結(jié)構(gòu)、廣品等等中O
[0013]提供本
【發(fā)明內(nèi)容】
以便以簡化形式介紹一些概念；這些概念將在以下的詳細(xì)描述中進(jìn)一步描述。本概述并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。
[0014]附圖簡沐
[0015]圖1顯示了使用鏡子暗喻的遠(yuǎn)程沉浸式環(huán)境的概覽。
[0016]圖2描繪了被提供給使用圖1中顯示的那種環(huán)境的兩個(gè)參與者的遠(yuǎn)程沉浸式體驗(yàn)。
[0017]圖3顯示可產(chǎn)生圖2中示出的體驗(yàn)的環(huán)境的第一實(shí)現(xiàn)。該實(shí)現(xiàn)提供使用物理半透明鏡子結(jié)合被放置在鏡子后面的顯示設(shè)備的鏡子功能。
[0018]圖4顯示可產(chǎn)生圖2中示出的體驗(yàn)的環(huán)境的第二實(shí)現(xiàn)。該實(shí)現(xiàn)提供單獨(dú)使用顯示設(shè)備(例如，而不使用物理半透明鏡子)的鏡子功能。
[0019]圖5顯示可被用于提供三維(3D)場景信息的本地處理系統(tǒng)的一個(gè)實(shí)現(xiàn)。圖3或4的鏡子功能顯示3D場景信息。
[0020]圖6顯不使用具有彎曲顯不表面的顯不設(shè)備的鏡子功能。
[0021]圖7顯示使用便攜式顯示設(shè)備的鏡子功能。
[0022]圖8顯示涉及呈現(xiàn)由虛擬反射空間和虛擬實(shí)際空間組成的虛擬空間的遠(yuǎn)程沉浸式體驗(yàn)。
[0023]圖9顯示解釋本地處理系統(tǒng)的一種操作方式的說明性過程。
[0024]圖10示出了可以被用來實(shí)現(xiàn)前面的附圖中所示出的特征的任何方面的說明性計(jì)算功能。
[0025]貫穿本公開和各附圖，相同的編號參考相同的組件和特征。100系列標(biāo)號指的是最初在圖1中所找到的特征，200系列的標(biāo)號指的是最初在圖2中找到的特征，300系列的標(biāo)號指的是最初在圖3中找到的特征，依此類推。
【具體實(shí)施方式】
[0026]本發(fā)明是按如下方式來組織的。章節(jié)A提供關(guān)于使用鏡子暗喻的遠(yuǎn)程沉浸式環(huán)境的概覽；更具體的，本章節(jié)強(qiáng)調(diào)了被提供給遠(yuǎn)程沉浸式會話的參與者的體驗(yàn)。章節(jié)B描述了在章節(jié)A中介紹的環(huán)境的說明性實(shí)現(xiàn)。章節(jié)C闡述了在章節(jié)A和B中描述的概念和功能的說明性變體和擴(kuò)展。章節(jié)D闡述了解釋章節(jié)A — C的功能的操作的說明性方法。并且章節(jié)E描述了可以被用來實(shí)現(xiàn)章節(jié)A-D中所描述的特征的任何方面的說明性計(jì)算功能。
[0027]初步地，一些附圖描述一個(gè)或多個(gè)結(jié)構(gòu)組件(不同地稱為功能、模塊、特征、元件等)的上下文中的概念。附圖所示的各個(gè)組件可通過任何物理和有形的機(jī)制，例如通過軟件、硬件(例如芯片實(shí)現(xiàn)的邏輯功能)、固件等和/或其任何組合，以任何方式實(shí)現(xiàn)。在一種情況下，附圖中所示出的將各種組件分離為不同的單元可以反映在實(shí)際實(shí)現(xiàn)中使用對應(yīng)的不同的物理和有形的組件。另選地或者另外地，附圖中所示出的任何單個(gè)組件都可以通過多個(gè)實(shí)際物理組件來實(shí)現(xiàn)。另選地或另外地，附圖中的任何兩個(gè)或更多分開組件的描繪可以反映單個(gè)實(shí)際物理組件所執(zhí)行的不同功能。圖10(將依次討論)提供關(guān)于附圖中所示的功能的一個(gè)說明性物理實(shí)現(xiàn)的附加細(xì)節(jié)。
[0028]其他附圖以流程圖形式描述了概念。以此形式，某些操作被描述為構(gòu)成以某一順序執(zhí)行的不同的框。這些實(shí)現(xiàn)是說明性而非限制性的。此處描述的某些框可被分組在一起并在單個(gè)操作中執(zhí)行，某些框可被分成多個(gè)組件框，并且某些框可以按與此處所示出的不同的次序來執(zhí)行(包括以并行方式執(zhí)行這些框)。流程圖中示出的框可以任何方式由任何物理和有形機(jī)制來實(shí)現(xiàn)，例如由軟件、硬件(如芯片實(shí)現(xiàn)的邏輯功能)、固件等，和/或它們的任何組合來實(shí)現(xiàn)。
[0029]至于術(shù)語，短語“被配置成”包含任何類型的物理和有形的功能可以被構(gòu)建來執(zhí)行已標(biāo)識的操作的任何方式。功能可以被配置成使用例如軟件、硬件(例如，芯片實(shí)現(xiàn)的邏輯功能)、固件等，和/或其任何組合來執(zhí)行操作。
[0030]術(shù)語“邏輯”包含用于執(zhí)行任務(wù)的任何物理和有形的功能。例如，流程圖中示出的每一個(gè)操作都對應(yīng)于用于執(zhí)行該操作的邏輯組件。操作可以使用例如軟件、硬件(例如，芯片實(shí)現(xiàn)的邏輯功能)、固件等，和/或其任何組合來執(zhí)行操作。在由計(jì)算系統(tǒng)實(shí)現(xiàn)時(shí)，邏輯組件表示作為計(jì)算系統(tǒng)的物理部分的、不管用何種方式實(shí)現(xiàn)的電子組件。
[0031]權(quán)利要求中的短語“用于…的裝置”(如果被使用)旨在援引35U.S.C.§ 112第六段的規(guī)定。除了本特定短語之外，沒有其他語言旨在援引該法條的該部分的規(guī)定。
[0032]下列的說明可以將一個(gè)或多個(gè)特征標(biāo)識為“可選”。這種類型的陳述不應(yīng)該被解讀為可以被視為可選的特征的窮盡的指示；也就是說，其他特征也可以被視為可選，雖然在文本中沒有明確地標(biāo)識。最后，術(shù)語“示例性”或“說明性”指的是可能的多個(gè)實(shí)現(xiàn)中的一個(gè)實(shí)現(xiàn)。
[0033]A.說_件參與者體驗(yàn)
[0034]本章節(jié)提供關(guān)于使用鏡子暗喻來操作的遠(yuǎn)程沉浸式環(huán)境的概覽。更具體地，本章節(jié)通過主要描述遠(yuǎn)程沉浸式環(huán)境提供給其每個(gè)參與者的體驗(yàn)的類型來介紹該遠(yuǎn)程沉浸式環(huán)境。章節(jié)B—D (以下)提供關(guān)于該體驗(yàn)?zāi)鼙粚?shí)現(xiàn)的各種方式的細(xì)節(jié)。
[0035]從圖1開始，該附圖顯示了遠(yuǎn)程沉浸式環(huán)境100的概覽，該遠(yuǎn)程沉浸式環(huán)境100向標(biāo)記為參與者P1、參與者匕和參與者P3的三個(gè)參與者提供遠(yuǎn)程沉浸式體驗(yàn)。然而，該環(huán)境100可提供涉及僅兩個(gè)參與者或三個(gè)參與者以上的遠(yuǎn)程沉浸式會話。每個(gè)參與者相比于其他兩個(gè)參與者而言在不同的地理位置處操作。即，參與者P1在位置L i處操作，參與者P 2在位置L2處操作，并且參與者P 3在位置L 3處操作等。當(dāng)從任一參與者位置的有利視點(diǎn)來描述環(huán)境100時(shí)，在該位置處的參與者被稱為本地參與者，而其他參與者被稱為遠(yuǎn)程參與者。此外，本地設(shè)置指在與本地參與者相關(guān)聯(lián)的特定站點(diǎn)處提供的功能。遠(yuǎn)程設(shè)置指在與遠(yuǎn)程參與者相關(guān)聯(lián)的站點(diǎn)處提供的功能。
[0036]每個(gè)位置可與任一其他位置分開任意距離。例如，在一個(gè)情況下，如當(dāng)兩個(gè)參與者占據(jù)校園環(huán)境中的同一建筑物的不同房間或不同建筑物時(shí)，該兩個(gè)參與者可相對靠近在一起。在另一情況下，如當(dāng)兩個(gè)參與者位于不同的州、省份或國家等時(shí)，該兩個(gè)參與者可相距很遠(yuǎn)。圖1通過指示三個(gè)參與者(P1, P2, P3)全部都占據(jù)真實(shí)空間104來簡化對他們的描繪。真實(shí)空間是包括物理實(shí)體(例如，人、物理對象等)的空間。
[0037]環(huán)境100使用鏡子功能106來呈現(xiàn)三維虛擬空間108。虛擬空間108使用鏡子暗喻來提供參與者102的虛擬圖像110。當(dāng)事實(shí)上參與者實(shí)際上處于不同的位置(例如，位置L1, L2, L3)時(shí)，鏡子暗喻給予每個(gè)參與者以下感覺:所有的參與者都出現(xiàn)在同一物理位置處并看向同一鏡子。即，每個(gè)參與者都將在由鏡子功能106產(chǎn)生的虛擬空間108中看到虛擬圖像VpVjPV313虛擬圖像V1是真實(shí)參與者虛擬對應(yīng)物。虛擬圖像￥2是真實(shí)參與者？2的虛擬對應(yīng)物。并且虛擬圖像V3是真實(shí)參與者P 3的虛擬對應(yīng)物。(然而，如將在以下描述的，每個(gè)參與者的虛擬空間108的視圖可在一些方面與其他參與者的視圖不同；例如，基于配置設(shè)置，本地參與者可選擇從虛擬空間108中省略他的虛擬圖像。)
[0038]圖1指示出環(huán)境100將虛擬圖像110安排為給出參與者P2位于參與者P P 3中間的感覺，例如，其中參與者？:在參與者P 2的左邊，而參與者P 3在參與者P 2的右邊。但是對虛擬圖像I1排序的這種方式可被改變。例如，環(huán)境100可按任意方式來分派次序，或可使用任意一個(gè)或多個(gè)因素來選擇次序。例如，環(huán)境100可基于參與者的與次序有關(guān)的偏好來分派次序?；蛘攮h(huán)境100可基于每個(gè)參與者加入會話的時(shí)間次序等來分派次序。此外，環(huán)境100可在遠(yuǎn)程沉浸式會話期間基于任意觸發(fā)因素來動(dòng)態(tài)地改變參與者的次序。
[0039]在圖1的示例中，虛擬圖像(Vp VjP V3)