用于增強(qiáng)和虛擬現(xiàn)實(shí)的系統(tǒng)和方法
【專(zhuān)利摘要】一個(gè)實(shí)施例針對(duì)用于使得兩個(gè)或更多的用戶(hù)能夠在包括虛擬世界數(shù)據(jù)的虛擬世界內(nèi)進(jìn)行交互的系統(tǒng)，所述系統(tǒng)包括計(jì)算機(jī)網(wǎng)絡(luò)，所述計(jì)算機(jī)網(wǎng)絡(luò)包括一個(gè)或多個(gè)計(jì)算設(shè)備，所述一個(gè)或多個(gè)計(jì)算設(shè)備包括：存儲(chǔ)器、處理電路和至少部分地存儲(chǔ)在所述存儲(chǔ)器中并且可以由所述處理電路執(zhí)行以處理所述虛擬世界數(shù)據(jù)的至少一部分的軟件；其中所述虛擬世界數(shù)據(jù)的至少第一部分來(lái)源于第一用戶(hù)本地的第一用戶(hù)虛擬世界，以及其中所述計(jì)算機(jī)網(wǎng)絡(luò)可操作地向用于向第二用戶(hù)呈現(xiàn)的用戶(hù)設(shè)備傳輸所述第一部分，使得所述第二用戶(hù)可以從所述第二用戶(hù)的位置來(lái)體驗(yàn)所述第一部分，使得所述第一用戶(hù)的虛擬世界的方面被高效地傳送給所述第二用戶(hù)。
【專(zhuān)利說(shuō)明】用于增強(qiáng)和虛擬現(xiàn)實(shí)的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)數(shù)據(jù)
[0002]本申請(qǐng)依據(jù)美國(guó)法典第35編第119節(jié)的規(guī)定要求于2011年10月28日提交的申請(qǐng)序列號(hào)為61/552，941的美國(guó)臨時(shí)申請(qǐng)的權(quán)益。據(jù)此通過(guò)引用將上述申請(qǐng)以其整體并入到本申請(qǐng)中。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明一般涉及被配置為促進(jìn)針對(duì)一個(gè)或多個(gè)用戶(hù)的交互性的虛擬或增強(qiáng)現(xiàn)實(shí)環(huán)境的系統(tǒng)和方法。
【背景技術(shù)】
[0004]由計(jì)算機(jī)(部分地)使用描述環(huán)境的數(shù)據(jù)來(lái)生成虛擬和增強(qiáng)現(xiàn)實(shí)環(huán)境。這種數(shù)據(jù)可以描述例如用戶(hù)可以感知并與其交互的各種對(duì)象。這些對(duì)象的示例包含:為了使用戶(hù)看見(jiàn)而被渲染和顯示的對(duì)象、為了使用戶(hù)聽(tīng)見(jiàn)而播放的音頻、以及為了使用戶(hù)感覺(jué)到的觸覺(jué)(觸感)反饋。用戶(hù)可以通過(guò)各種視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)的構(gòu)件來(lái)感知虛擬和增強(qiáng)現(xiàn)實(shí)環(huán)境并與虛擬和增強(qiáng)現(xiàn)實(shí)環(huán)境交互。

【發(fā)明內(nèi)容】

[0005]一個(gè)實(shí)施例針對(duì)用于使得兩個(gè)或更多的用戶(hù)能夠在包括虛擬世界數(shù)據(jù)的虛擬世界內(nèi)進(jìn)行交互的系統(tǒng)，所述系統(tǒng)包括計(jì)算機(jī)網(wǎng)絡(luò)，所述計(jì)算機(jī)網(wǎng)絡(luò)包括一個(gè)或多個(gè)計(jì)算設(shè)備，所述一個(gè)或多個(gè)計(jì)算設(shè)備包括:存儲(chǔ)器、處理電路和至少部分地存儲(chǔ)在所述存儲(chǔ)器中并且可以由所述處理電路執(zhí)行以處理所述虛擬世界數(shù)據(jù)的至少一部分的軟件；其中所述虛擬世界數(shù)據(jù)的至少第一部分來(lái)源于第一用戶(hù)本地的第一用戶(hù)虛擬世界，以及其中所述計(jì)算機(jī)網(wǎng)絡(luò)可操作地向用于向第二用戶(hù)呈現(xiàn)的用戶(hù)設(shè)備傳輸所述第一部分，使得所述第二用戶(hù)可以從所述第二用戶(hù)的位置來(lái)體驗(yàn)所述第一部分，使得所述第一用戶(hù)的虛擬世界的方面被高效地傳送給所述第二用戶(hù)。所述第一用戶(hù)和第二用戶(hù)可以在不同的物理位置中或基本上在同一物理位置中。所述虛擬世界的至少一部分可以被配置為響應(yīng)于所述虛擬世界數(shù)據(jù)的變化而變化。所述虛擬世界的至少一部分可以被配置為響應(yīng)于由所述用戶(hù)設(shè)備感知的物理對(duì)象而變化。所述虛擬世界數(shù)據(jù)中的變化可以表示表示虛擬對(duì)象與所述物理對(duì)象具有預(yù)定關(guān)系?？梢詫⑺鎏摂M世界數(shù)據(jù)中的變化提供給第二用戶(hù)設(shè)備以用于根據(jù)所述預(yù)定關(guān)系向所述第二用戶(hù)呈現(xiàn)。所述虛擬世界可以可操作地由計(jì)算機(jī)服務(wù)器或用戶(hù)設(shè)備中的至少一個(gè)來(lái)渲染?？梢砸远S格式來(lái)呈現(xiàn)所述虛擬世界?？梢砸匀S格式來(lái)呈現(xiàn)所述虛擬世界。所述用戶(hù)設(shè)備可以可操作地提供接口以用于使得能夠在增強(qiáng)現(xiàn)實(shí)模式中在用戶(hù)和所述虛擬世界之間進(jìn)行交互。所述用戶(hù)設(shè)備可以可操作地提供接口以用于使得能夠在虛擬現(xiàn)實(shí)模式中在用戶(hù)和所述虛擬世界之間進(jìn)行交互。所述用戶(hù)設(shè)備可以可操作地提供接口以用于使得能夠在增強(qiáng)和虛擬現(xiàn)實(shí)模式的組合中在用戶(hù)和所述虛擬世界之間進(jìn)行交互。可以在數(shù)據(jù)網(wǎng)絡(luò)上來(lái)傳輸所述虛擬世界數(shù)據(jù)。所述計(jì)算機(jī)網(wǎng)絡(luò)可以可操作地接收來(lái)自用戶(hù)設(shè)備的所述虛擬世界數(shù)據(jù)的至少一部分。傳輸給所述用戶(hù)設(shè)備的所述虛擬世界數(shù)據(jù)的至少一部分可以包括用于生成所述虛擬世界的至少一部分的指令?？梢詫⑺鎏摂M世界數(shù)據(jù)的至少一部分傳輸給網(wǎng)關(guān)以用于處理或分發(fā)中的至少一個(gè)。所述一個(gè)或多個(gè)計(jì)算機(jī)服務(wù)器中的至少一個(gè)計(jì)算機(jī)服務(wù)器可以可操作地處理由所述網(wǎng)關(guān)分發(fā)的虛擬世界數(shù)據(jù)。
[0006]另一個(gè)實(shí)施例針對(duì)用于虛擬和/或增強(qiáng)用戶(hù)體驗(yàn)的系統(tǒng)，其中至少部分地基于具有來(lái)自音調(diào)變化和面部識(shí)別軟件的可選輸入的可穿戴設(shè)備上的數(shù)據(jù)來(lái)制作化身的動(dòng)畫(huà)。
[0007]另一個(gè)實(shí)施例針對(duì)用于虛擬和/或增強(qiáng)用戶(hù)體驗(yàn)的系統(tǒng)，其中相機(jī)姿勢(shì)或視點(diǎn)方位和向量可以被布置在世界扇區(qū)(sector)中的任何地方。
[0008]另一個(gè)實(shí)施例針對(duì)用于虛擬和/或增強(qiáng)用戶(hù)體驗(yàn)的系統(tǒng)，其中可以在各種和可選擇的比例上針對(duì)觀察用戶(hù)來(lái)渲染世界或其部分。
[0009]另一個(gè)實(shí)施例針對(duì)用于虛擬和/或增強(qiáng)用戶(hù)體驗(yàn)的系統(tǒng)，其中特征(諸如除了姿勢(shì)加標(biāo)記的圖像外的點(diǎn)或參數(shù)線)可以用作用于世界模型的基礎(chǔ)數(shù)據(jù)，從該基礎(chǔ)數(shù)據(jù)，軟件機(jī)器人或?qū)ο笞R(shí)別器可以用于創(chuàng)建真實(shí)世界對(duì)象的參數(shù)表示，標(biāo)記用于相互包含在分割的對(duì)象和世界模型中的源特征。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0010]圖1說(shuō)明了用于促進(jìn)針對(duì)多個(gè)用戶(hù)的交互性的虛擬或增強(qiáng)現(xiàn)實(shí)環(huán)境的所公開(kāi)的系統(tǒng)的代表性實(shí)施例。
[0011]圖2說(shuō)明了用于與圖1中所說(shuō)明的系統(tǒng)進(jìn)行交互的用戶(hù)設(shè)備的示例。
[0012]圖3說(shuō)明了移動(dòng)的可穿戴的用戶(hù)設(shè)備的示例實(shí)施例。
[0013]圖4說(shuō)明了當(dāng)圖3的移動(dòng)的可穿戴的用戶(hù)設(shè)備操作在增強(qiáng)模式中時(shí)由用戶(hù)看到的對(duì)象的示例。
[0014]圖5說(shuō)明了當(dāng)圖3的移動(dòng)的可穿戴的用戶(hù)設(shè)備操作在虛擬模式中時(shí)由用戶(hù)看到的對(duì)象的示例。
[0015]圖6說(shuō)明了當(dāng)圖3的移動(dòng)的可穿戴的用戶(hù)設(shè)備操作在混雜虛擬接口模式中時(shí)由用戶(hù)看到的對(duì)象的示例。
[0016]圖7說(shuō)明了位于不同的地理位置中的兩個(gè)用戶(hù)每一個(gè)用戶(hù)通過(guò)他們各自的用戶(hù)設(shè)備與另一個(gè)用戶(hù)和共同的虛擬世界進(jìn)行交互的實(shí)施例。
[0017]圖8說(shuō)明了圖7的實(shí)施例被擴(kuò)展為包含使用觸感設(shè)備的實(shí)施例。
[0018]圖9A說(shuō)明了混合模式接口連接的示例，其中在混合虛擬接口模式中第一用戶(hù)通過(guò)接口與數(shù)字世界連接，以及在虛擬現(xiàn)實(shí)模式中第二用戶(hù)通過(guò)接口與同一數(shù)字世界接連。
[0019]圖9B說(shuō)明了混合模式接口連接的另一個(gè)示例，其中在混雜虛擬接口模式中第一用戶(hù)通過(guò)接口與數(shù)字世界連接，以及增強(qiáng)現(xiàn)實(shí)模式中第二用戶(hù)通過(guò)接口與同一數(shù)字世界連接。
[0020]圖10說(shuō)明了當(dāng)在增強(qiáng)現(xiàn)實(shí)模式中通過(guò)接口與系統(tǒng)連接時(shí)用戶(hù)的視圖的示例說(shuō)明。
[0021]圖11說(shuō)明了當(dāng)在增強(qiáng)現(xiàn)實(shí)模式中的用戶(hù)通過(guò)接口與系統(tǒng)連接時(shí)示出由物理對(duì)象觸發(fā)的虛擬對(duì)象的用戶(hù)視圖的示例說(shuō)明。
[0022]圖12說(shuō)明了增強(qiáng)和虛擬現(xiàn)實(shí)集成配置的一個(gè)實(shí)施例，其中在增強(qiáng)現(xiàn)實(shí)體驗(yàn)中的一個(gè)用戶(hù)可視化在虛擬現(xiàn)實(shí)體驗(yàn)中的另一個(gè)用戶(hù)的呈現(xiàn)。
[0023]圖13說(shuō)明了基于時(shí)間和/或意外事件的增強(qiáng)現(xiàn)實(shí)體驗(yàn)配置的一個(gè)實(shí)施例。
[0024]圖14說(shuō)明了適用于虛擬和/或增強(qiáng)現(xiàn)實(shí)體驗(yàn)的用戶(hù)顯示配置的一個(gè)實(shí)施例。
[0025]圖15說(shuō)明了基于本地和云的計(jì)算協(xié)調(diào)的一個(gè)實(shí)施例。
[0026]圖16說(shuō)明了注冊(cè)配置的各種方面。
【具體實(shí)施方式】
[0027]參照?qǐng)D1，系統(tǒng)100是用于實(shí)現(xiàn)以下描述的過(guò)程的代表性硬件。這種代表性系統(tǒng)包括:計(jì)算網(wǎng)絡(luò)105，其由通過(guò)一個(gè)或多個(gè)高帶寬接口 115連接的一個(gè)或多個(gè)計(jì)算機(jī)服務(wù)器110組成。在計(jì)算網(wǎng)絡(luò)中的服務(wù)器不必是位于一處的。一個(gè)或多個(gè)服務(wù)器110中的每個(gè)服務(wù)器包括用于執(zhí)行程序指令的一個(gè)或多個(gè)處理器。服務(wù)器還包含用于存儲(chǔ)程序指令和數(shù)據(jù)的存儲(chǔ)器，所述數(shù)據(jù)在程序指令的引導(dǎo)下由服務(wù)器執(zhí)行的進(jìn)程來(lái)使用和/或生成。
[0028]計(jì)算網(wǎng)絡(luò)105在服務(wù)器110之間以及在服務(wù)器和一個(gè)或多個(gè)用戶(hù)設(shè)備120之間通過(guò)一個(gè)或多個(gè)數(shù)據(jù)網(wǎng)絡(luò)連接130來(lái)傳遞數(shù)據(jù)。此類(lèi)數(shù)據(jù)網(wǎng)絡(luò)的示例包含但不限制于任何或所有類(lèi)型的公共和私有數(shù)據(jù)網(wǎng)絡(luò)(移動(dòng)的和有線的兩者)，包含例如通常被稱(chēng)為互聯(lián)網(wǎng)的許多此類(lèi)網(wǎng)絡(luò)的互聯(lián)。沒(méi)有特定的介質(zhì)、拓?fù)浠騾f(xié)議旨在由該圖所暗含。
[0029]用戶(hù)設(shè)備被配置為直接與計(jì)算網(wǎng)絡(luò)105或服務(wù)器110中的任何服務(wù)器通信。備選地，用戶(hù)設(shè)備120與遠(yuǎn)程服務(wù)器110通信，以及可選地，通過(guò)用于處理數(shù)據(jù)和/或用于在網(wǎng)絡(luò)105和一個(gè)或多個(gè)本地用戶(hù)設(shè)備120之間傳遞數(shù)據(jù)的特別編程的本地網(wǎng)關(guān)140與其它用戶(hù)設(shè)備本地地通信。
[0030]如說(shuō)明的，網(wǎng)關(guān)140被實(shí)現(xiàn)成單獨(dú)的硬件組件，其包含用于執(zhí)行軟件指令的處理器和用于存儲(chǔ)軟件指令和數(shù)據(jù)的存儲(chǔ)器。網(wǎng)關(guān)具有至數(shù)據(jù)網(wǎng)絡(luò)的其自己的有線和/或無(wú)線連接以用于與包括計(jì)算網(wǎng)絡(luò)105的服務(wù)器110通信。備選地，網(wǎng)關(guān)140能夠與用戶(hù)設(shè)備120集成，用戶(hù)設(shè)備120由用戶(hù)穿戴或攜帶。例如，可以將網(wǎng)關(guān)140實(shí)現(xiàn)成可下載的軟件應(yīng)用，該軟件應(yīng)用被安裝以及在被包含在用戶(hù)設(shè)備120的處理器上運(yùn)行。在一個(gè)實(shí)施例中，網(wǎng)關(guān)140經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)130提供至計(jì)算網(wǎng)絡(luò)105的一個(gè)或多個(gè)用戶(hù)接入。
[0031]服務(wù)器110每個(gè)都包含:例如，用于存儲(chǔ)數(shù)據(jù)和軟件程序的工作存儲(chǔ)器和存儲(chǔ)設(shè)備，用于執(zhí)行程序指令的微處理器，用于渲染和生成圖形、圖像、視頻、音頻和多媒體文件的圖形處理器和其它專(zhuān)用處理器。計(jì)算網(wǎng)絡(luò)105還可以包括用于存儲(chǔ)由服務(wù)器110訪問(wèn)、使用或創(chuàng)建的數(shù)據(jù)。
[0032]運(yùn)行在服務(wù)器以及可選擇地用戶(hù)設(shè)備120和網(wǎng)關(guān)140上的軟件程序用于生成數(shù)字世界(在本文中還被稱(chēng)為虛擬世界)，用戶(hù)使用該數(shù)字世界與用戶(hù)設(shè)備120進(jìn)行交互。數(shù)字世界由數(shù)據(jù)和進(jìn)程來(lái)表示，數(shù)據(jù)和進(jìn)程描述和/或定義能夠通過(guò)用戶(hù)設(shè)備120呈現(xiàn)給用戶(hù)的虛擬的不存在的實(shí)體、環(huán)境和條件以用于用戶(hù)體驗(yàn)和與之交互。例如，當(dāng)在由用戶(hù)觀看或體驗(yàn)的場(chǎng)景中進(jìn)行實(shí)例化時(shí)好像將物理呈現(xiàn)的某些類(lèi)型的對(duì)象、實(shí)體或項(xiàng)目可以包含它的外觀、它的行為、允許用戶(hù)如何與它進(jìn)行交互以及其它特點(diǎn)的描述。用于創(chuàng)建虛擬世界(包含虛擬對(duì)象)的環(huán)境的數(shù)據(jù)可以包含:例如,大氣數(shù)據(jù)、地形數(shù)據(jù)、天氣數(shù)據(jù)、溫度數(shù)據(jù)、位置數(shù)據(jù)以及用于定義和/或描述虛擬環(huán)境的其它數(shù)據(jù)。另外，定義管理虛擬世界的操作的各種條件的數(shù)據(jù)可以包含:例如，物理定律、時(shí)間、空間關(guān)系和可用于定義和/或創(chuàng)建管理虛擬世界(包含虛擬對(duì)象)的操作的虛擬條件的其它數(shù)據(jù)。
[0033]在本文中，除非上下文以其它方式指示，否則將數(shù)字世界的實(shí)體、對(duì)象、條件、特點(diǎn)、行為或其它特征一般地稱(chēng)為對(duì)象(例如，數(shù)字對(duì)象、虛擬對(duì)象、渲染的物理對(duì)象等)。對(duì)象可以是任何類(lèi)型的動(dòng)畫(huà)或非動(dòng)畫(huà)的對(duì)象，包含但不限于建筑物、植物、車(chē)輛、人、動(dòng)物、生物、機(jī)器、數(shù)據(jù)、視頻、文本、圖片和其它用戶(hù)。還可以在用于存儲(chǔ)關(guān)于實(shí)際上呈現(xiàn)在物理世界中的項(xiàng)目、行為或條件的信息的數(shù)字世界中來(lái)定義對(duì)象。在本文中，將描述或定義實(shí)體、對(duì)象或項(xiàng)目或者存儲(chǔ)它的當(dāng)前狀態(tài)的數(shù)據(jù)一般稱(chēng)為對(duì)象數(shù)據(jù)。這種數(shù)據(jù)由服務(wù)器110或取決于實(shí)現(xiàn)方式由網(wǎng)關(guān)140或用戶(hù)設(shè)備120來(lái)處理以實(shí)例化對(duì)象的實(shí)例以及以適當(dāng)?shù)姆绞絹?lái)渲染對(duì)象以用于用戶(hù)通過(guò)用戶(hù)設(shè)備進(jìn)行體驗(yàn)。
[0034]開(kāi)發(fā)和/或策劃數(shù)字世界的程序員創(chuàng)建或定義對(duì)象以及實(shí)例化對(duì)象的條件。然而，數(shù)字世界能夠允許他者來(lái)創(chuàng)建或修改對(duì)象。一旦對(duì)象被實(shí)例化，則可以允許由體驗(yàn)數(shù)字世界的一個(gè)或多個(gè)用戶(hù)來(lái)改變、控制或操縱該對(duì)象的狀態(tài)。
[0035]例如，在一個(gè)實(shí)施例中，一般由一個(gè)或多個(gè)系統(tǒng)管理程序員來(lái)提供數(shù)字世界的開(kāi)發(fā)、制作和管理。在一些實(shí)施例中，這可以包含:數(shù)字世界中的故事情節(jié)、主題和事件的開(kāi)發(fā)、設(shè)計(jì)和/或執(zhí)行，以及通過(guò)各種形式的事件和媒體(諸如例如電影、數(shù)字、網(wǎng)絡(luò)、移動(dòng)、±曾強(qiáng)現(xiàn)實(shí)以及現(xiàn)場(chǎng)娛樂(lè))的敘事的分發(fā)。系統(tǒng)管理程序員還可以處置數(shù)字世界和與其相關(guān)聯(lián)的用戶(hù)社區(qū)的技術(shù)管理、節(jié)制和策劃，以及通常由網(wǎng)絡(luò)管理人員執(zhí)行的其它任務(wù)。
[0036]用戶(hù)使用某類(lèi)型的本地技術(shù)設(shè)備(其通常被表示為用戶(hù)設(shè)備120)與一個(gè)或多個(gè)數(shù)字世界進(jìn)行交互。此類(lèi)用戶(hù)設(shè)備的示例包含但不限于:智能電話、平板設(shè)備、抬頭顯示器(HUD)、游戲控制臺(tái)或能夠向用戶(hù)傳遞數(shù)據(jù)和提供接口或顯示的任何其它設(shè)備，以及此類(lèi)設(shè)備的組合。在一些實(shí)施例中，用戶(hù)設(shè)備120可以包含本地外圍設(shè)備或輸入/輸出組件(諸如例如，鍵盤(pán)，鼠標(biāo)，游戲桿，游戲控制器，觸感接口設(shè)備，運(yùn)動(dòng)捕獲控制器，光學(xué)跟蹤設(shè)備(諸如那些可以從體感控制(Leap Motion)公司獲得的,或那些在商標(biāo)名Kinect (RTM)下從微軟獲得的)，音頻設(shè)備，語(yǔ)音設(shè)備，投影系統(tǒng)，3D顯示器和全息3D接觸鏡片)或與其進(jìn)行通信。
[0037]在圖2中說(shuō)明的用于與系統(tǒng)100進(jìn)行交互的用戶(hù)設(shè)備120的示例。在圖2示出的示例實(shí)施例中，用戶(hù)210可以通過(guò)智能電話220通過(guò)接口與一個(gè)或多個(gè)數(shù)字世界連接。由被存儲(chǔ)在以及運(yùn)行在智能電話220上的軟件應(yīng)用230來(lái)實(shí)現(xiàn)網(wǎng)關(guān)。在這個(gè)特定示例中，數(shù)據(jù)網(wǎng)絡(luò)130包含將用戶(hù)設(shè)備(即，智能電話220)連接到計(jì)算機(jī)網(wǎng)絡(luò)105的無(wú)線移動(dòng)網(wǎng)絡(luò)。
[0038]在優(yōu)選實(shí)施例的一種實(shí)現(xiàn)方式中，系統(tǒng)100能夠支持大量的同時(shí)存在的用戶(hù)(例如，數(shù)百萬(wàn)用戶(hù))，每個(gè)用戶(hù)使用某類(lèi)型的用戶(hù)設(shè)備120通過(guò)接口與同一個(gè)數(shù)字世界或與多個(gè)數(shù)字世界連接。
[0039]用戶(hù)設(shè)備向用戶(hù)提供用于使得能夠在用戶(hù)和由服務(wù)器110生成的數(shù)字世界(包含其它用戶(hù)和被呈現(xiàn)給用戶(hù)的對(duì)象(真實(shí)的或虛擬的))之間的視覺(jué)、聽(tīng)覺(jué)和/或物理交互。接口向用戶(hù)提供能夠觀看、聽(tīng)到或以其它方式感知的渲染的場(chǎng)景，以及與場(chǎng)景實(shí)時(shí)交互的能力。用戶(hù)與渲染的場(chǎng)景的交互的方式可以由用戶(hù)設(shè)備的能力來(lái)指定。例如，如果用戶(hù)設(shè)備是智能電話，則可以由用戶(hù)接觸觸摸屏來(lái)實(shí)現(xiàn)用戶(hù)交互。在另一個(gè)示例中，如果用戶(hù)設(shè)備是計(jì)算機(jī)或游戲控制臺(tái)，則可以使用鍵盤(pán)或游戲控制器來(lái)實(shí)現(xiàn)用戶(hù)交互。用戶(hù)設(shè)備可以包含使得能夠用戶(hù)交互的另外的組件(諸如傳感器)，其中由傳感器檢測(cè)到的對(duì)象和信息(包含手勢(shì))可以被提供作為表示使用用戶(hù)設(shè)備與虛擬世界的用戶(hù)交互的輸入。[0040]可以以各種格式(諸如例如，二維或三維視覺(jué)顯示器(包含投影儀)、聲音和觸感或觸覺(jué)反饋)來(lái)呈現(xiàn)渲染的場(chǎng)景。可以由用戶(hù)以一種或多種模式(包含:例如增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和其組合)來(lái)通過(guò)接口與渲染的場(chǎng)景連接。渲染的場(chǎng)景的格式以及接口模式可以由以下中的一個(gè)或多個(gè)來(lái)指定:用戶(hù)設(shè)備、數(shù)據(jù)處理能力、用戶(hù)設(shè)備連通性、網(wǎng)絡(luò)容量和系統(tǒng)工作負(fù)載。由計(jì)算網(wǎng)絡(luò)105、服務(wù)器110、網(wǎng)關(guān)組件140 (可選地)以及用戶(hù)設(shè)備120使得能夠具有大量的用戶(hù)同時(shí)與數(shù)字世界進(jìn)行交互以及數(shù)據(jù)交換的實(shí)時(shí)性質(zhì)。
[0041]在一個(gè)示例中，計(jì)算網(wǎng)絡(luò)105由通過(guò)高速連接(例如，高帶寬接口 115)的具有單個(gè)和/或多個(gè)核心的服務(wù)器(即，服務(wù)器110)的大規(guī)模計(jì)算系統(tǒng)組成。計(jì)算網(wǎng)絡(luò)105可以形成云或網(wǎng)格網(wǎng)絡(luò)。服務(wù)器中的每個(gè)服務(wù)器包含存儲(chǔ)器，或與用于存儲(chǔ)軟件的計(jì)算機(jī)可讀存儲(chǔ)器耦合，該軟件用于實(shí)現(xiàn)數(shù)據(jù)以創(chuàng)建、設(shè)計(jì)、改變或處理數(shù)字世界的對(duì)象。這些對(duì)象和它們的實(shí)例可以是動(dòng)態(tài)的，進(jìn)入和離開(kāi)，隨著時(shí)間變化以及響應(yīng)于其它條件而變化。在本文中相對(duì)于各種實(shí)施例來(lái)一般地論述對(duì)象的動(dòng)態(tài)能力的示例。在一些實(shí)施例中，通過(guò)接口與系統(tǒng)100連接的每個(gè)用戶(hù)還被表示成一個(gè)或多個(gè)數(shù)字世界內(nèi)的對(duì)象和/或?qū)ο蟮募稀?br> [0042]計(jì)算網(wǎng)絡(luò)105內(nèi)的服務(wù)器110還存儲(chǔ)用于數(shù)字世界中的每個(gè)數(shù)字世界的計(jì)算狀態(tài)數(shù)據(jù)。計(jì)算狀態(tài)數(shù)據(jù)(在本文中，還被稱(chēng)為狀態(tài)數(shù)據(jù))可以是對(duì)象數(shù)據(jù)的組成部分，以及一般定義時(shí)間中的給定時(shí)刻處的對(duì)象的實(shí)例的狀態(tài)。因此，計(jì)算狀態(tài)數(shù)據(jù)可以隨著時(shí)間而變化，以及可以受維護(hù)系統(tǒng)100的一個(gè)或多個(gè)用戶(hù)和/或程序員的動(dòng)作的影響。當(dāng)用戶(hù)影響計(jì)算狀態(tài)數(shù)據(jù)(或包括數(shù)字世界的其它數(shù)據(jù))時(shí)，用戶(hù)直接改變或以其它方式操縱數(shù)字世界。如果數(shù)字世界與其它用戶(hù)共享或由其它用戶(hù)通過(guò)接口連接，則用戶(hù)的動(dòng)作可能影響由與數(shù)字世界交互的其它用戶(hù)所體驗(yàn)的數(shù)字世界。因此，在一些實(shí)施例中，由用戶(hù)做出的對(duì)數(shù)字世界的改變將由通過(guò)接口與系統(tǒng)100連接的其它用戶(hù)體驗(yàn)到。
[0043]在一個(gè)實(shí)施例中，存儲(chǔ)在計(jì)算網(wǎng)絡(luò)105內(nèi)的一個(gè)或多個(gè)服務(wù)器110中的數(shù)據(jù)以高速度和低時(shí)延被傳送給或部署到一個(gè)或多個(gè)用戶(hù)設(shè)備120和/或網(wǎng)關(guān)組件140。在一個(gè)實(shí)施例中，由服務(wù)器共享的對(duì)象數(shù)據(jù)可以是完整的數(shù)據(jù)或者可以是壓縮的，以及含有用于在用戶(hù)側(cè)重新創(chuàng)建全部的對(duì)象數(shù)據(jù)的指令，由用戶(hù)的本地計(jì)算設(shè)備(例如，網(wǎng)關(guān)140和/或用戶(hù)設(shè)備120)來(lái)渲染和可視化。在一些實(shí)施例中，運(yùn)行在計(jì)算網(wǎng)絡(luò)105的服務(wù)器110上的軟件可以根據(jù)用戶(hù)的特定設(shè)備和帶寬來(lái)針對(duì)數(shù)字世界內(nèi)的對(duì)象(或者由計(jì)算網(wǎng)絡(luò)105交換的任何數(shù)據(jù))適應(yīng)它生成和發(fā)送給特定用戶(hù)設(shè)備120的數(shù)據(jù)。例如，當(dāng)用戶(hù)通過(guò)用戶(hù)設(shè)備120與數(shù)字世界進(jìn)行交互時(shí)，服務(wù)器110可以識(shí)別由用戶(hù)使用的特定類(lèi)型的設(shè)備、設(shè)備的連通性和/或用戶(hù)設(shè)備和服務(wù)器之間的可用帶寬，以及適當(dāng)?shù)卣{(diào)整大小和平衡將被遞送給設(shè)備的數(shù)據(jù)以?xún)?yōu)化用戶(hù)交互。這種情況的示例可以包含:將傳輸?shù)臄?shù)據(jù)的大小減小到低分辨率質(zhì)量，以便可以在具有低分辨率顯示器的特定用戶(hù)設(shè)備上顯示數(shù)據(jù)。在優(yōu)選實(shí)施例中，計(jì)算網(wǎng)絡(luò)105和/或網(wǎng)關(guān)組件140以足以操作在15幀/每秒或更高來(lái)呈現(xiàn)界面的速率，以及以高清晰度或更高清晰度的分辨率向用戶(hù)設(shè)備120遞送數(shù)據(jù)。
[0044]網(wǎng)關(guān)140為一個(gè)或多個(gè)用戶(hù)提供至計(jì)算網(wǎng)絡(luò)105的本地連接。在一些實(shí)施例中，可以由運(yùn)行在用戶(hù)設(shè)備120或另一個(gè)本地設(shè)備(諸如在圖2中示出的本地設(shè)備)上的可下載的軟件應(yīng)用來(lái)實(shí)現(xiàn)網(wǎng)關(guān)140。在其它實(shí)施例中，可以由硬件組件(具有存儲(chǔ)在該組件上的適當(dāng)?shù)能浖?固件，該組件具有處理器)來(lái)實(shí)現(xiàn)網(wǎng)關(guān)140，該硬件組件與用戶(hù)設(shè)備120通信(但是不與用戶(hù)設(shè)備120合并或附接到用戶(hù)設(shè)備120)，或與用戶(hù)設(shè)備120合并。網(wǎng)關(guān)140經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)130與計(jì)算網(wǎng)絡(luò)105通信，以及提供計(jì)算網(wǎng)絡(luò)105和一個(gè)或多個(gè)本地用戶(hù)設(shè)備120之間的數(shù)據(jù)交換。如以下更詳細(xì)地論述的，網(wǎng)關(guān)組件140可以包含:軟件、固件、存儲(chǔ)器和處理電路，以及可能能夠處理網(wǎng)絡(luò)105和一個(gè)或多個(gè)本地用戶(hù)設(shè)備120之間傳遞的數(shù)據(jù)。
[0045]在一些實(shí)施例中，網(wǎng)關(guān)組件140監(jiān)測(cè)和調(diào)節(jié)用戶(hù)設(shè)備120和計(jì)算機(jī)網(wǎng)絡(luò)105之間交換的數(shù)據(jù)的速率，以允許針對(duì)特定用戶(hù)設(shè)備120的最佳數(shù)據(jù)處理能力。例如，在一些實(shí)施例中，網(wǎng)關(guān)140緩沖和下載數(shù)字世界的靜態(tài)和動(dòng)態(tài)方面兩者，甚至那些超出了通過(guò)與用戶(hù)設(shè)備連接的接口呈現(xiàn)給用戶(hù)的視野。在此類(lèi)實(shí)施例中，靜態(tài)對(duì)象的實(shí)例(結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)方法的軟件，或這兩者)可以存儲(chǔ)在存儲(chǔ)器中(位于網(wǎng)關(guān)組件140、用戶(hù)設(shè)備120或這兩者的本地)，以及根據(jù)本地用戶(hù)的當(dāng)前方位(如由計(jì)算網(wǎng)絡(luò)105和/或用戶(hù)設(shè)備120提供的數(shù)據(jù)來(lái)指示)被引用。動(dòng)態(tài)對(duì)象的實(shí)例(其可以包含例如智能軟件代理和由其它用戶(hù)和/或本地用戶(hù)控制的對(duì)象)可以存儲(chǔ)在高速存儲(chǔ)緩沖器中。表示呈現(xiàn)給用戶(hù)的場(chǎng)景內(nèi)的兩維或三維對(duì)象的動(dòng)態(tài)對(duì)象能夠例如被分解成組件形狀，諸如移動(dòng)但不變化的靜態(tài)形狀，以及變化的動(dòng)態(tài)形狀。變化的動(dòng)態(tài)對(duì)象的部分能夠通過(guò)計(jì)算網(wǎng)絡(luò)105由來(lái)自網(wǎng)關(guān)組件140管理的服務(wù)器110的實(shí)時(shí)的線程化的高優(yōu)先級(jí)的數(shù)據(jù)流來(lái)更新。作為優(yōu)先化的線程化的數(shù)據(jù)流的一種示例，在用戶(hù)的眼睛的60度的視野內(nèi)的數(shù)據(jù)可以給予比更外圍的數(shù)據(jù)更高的優(yōu)先級(jí)。另一個(gè)示例包含優(yōu)先化背景中的靜態(tài)對(duì)象上的用戶(hù)視野內(nèi)的動(dòng)態(tài)角色和/或?qū)ο蟆?br> [0046]除了管理計(jì)算網(wǎng)絡(luò)105和用戶(hù)設(shè)備120之間的數(shù)據(jù)連接外，網(wǎng)關(guān)組件140可以存儲(chǔ)和/或處理可以呈現(xiàn)給用戶(hù)設(shè)備120的數(shù)據(jù)。例如，在一些實(shí)施例中，網(wǎng)關(guān)組件140可以接收來(lái)自計(jì)算網(wǎng)絡(luò)105的例如描述將被渲染的以用于由用戶(hù)觀看的圖形對(duì)象的壓縮數(shù)據(jù)，以及執(zhí)行高級(jí)渲染技術(shù)以減輕從計(jì)算網(wǎng)絡(luò)105傳輸給用戶(hù)設(shè)備120的數(shù)據(jù)負(fù)載。在另一個(gè)示例中，其中網(wǎng)關(guān)140是獨(dú)立的設(shè)備，網(wǎng)關(guān)140可以存儲(chǔ)和/或處理用于對(duì)象的本地實(shí)例的數(shù)據(jù)，而不是將該數(shù)據(jù)傳輸給計(jì)算網(wǎng)絡(luò)105以用于處理。
[0047]現(xiàn)在還參照?qǐng)D3，可以以各種格式(其取決于用戶(hù)設(shè)備的能力)由一個(gè)或多個(gè)用戶(hù)來(lái)體驗(yàn)數(shù)字世界。在一些實(shí)施例中，用戶(hù)設(shè)備120可以包含:例如，智能電話、平板設(shè)備、抬頭顯示器(HUD)、游戲控制臺(tái)或可穿戴設(shè)備。一般來(lái)說(shuō)，用戶(hù)設(shè)備將包含用于執(zhí)行存儲(chǔ)在設(shè)備上的存儲(chǔ)器中的程序代碼的處理器，與顯示器耦合，以及通信接口。在圖3中說(shuō)明了用戶(hù)設(shè)備的示例實(shí)施例，其中用戶(hù)設(shè)備包括移動(dòng)的可穿戴設(shè)備，即頭戴式顯示系統(tǒng)300。依照本公開(kāi)的實(shí)施例，頭戴式顯示系統(tǒng)300包含用戶(hù)界面302、用戶(hù)感知系統(tǒng)304、環(huán)境感知系統(tǒng)306以及處理器308。雖然在圖3中處理器308被示出為與頭戴式顯示系統(tǒng)300分離的單獨(dú)的組件，但是在備選實(shí)施例中，處理器308可以與頭戴式顯示系統(tǒng)300中的一個(gè)或多個(gè)組件集成，或可以集成到其它系統(tǒng)100組件(諸如例如網(wǎng)關(guān)140)中。
[0048]用戶(hù)設(shè)備向用戶(hù)呈現(xiàn)用于與數(shù)字世界交互和體驗(yàn)數(shù)字世界的界面302。此類(lèi)交互可以涉及用戶(hù)和數(shù)字世界、通過(guò)接口與系統(tǒng)100連接的一個(gè)或多個(gè)其它用戶(hù)、以及數(shù)字世界內(nèi)的對(duì)象。界面302 —般向用戶(hù)提供圖像和/或音頻感覺(jué)輸入(以及在一些實(shí)施例中，物理感覺(jué)輸入)。因此，界面302可以包含:揚(yáng)聲器(未示出)和顯示組件303，在一些實(shí)施例中，顯示組件303能夠使得能夠立體三維顯示和/或體現(xiàn)人類(lèi)視覺(jué)系統(tǒng)的更多自然特點(diǎn)的三維顯示。在一些實(shí)施例中，顯示組件303可以包括透明接口(諸如清晰的0LED)，當(dāng)處于“關(guān)閉(off) ”設(shè)置時(shí)，該透明接口使得能夠在具有很少至沒(méi)有光學(xué)變形或計(jì)算疊加的情況下光學(xué)地糾正用戶(hù)周?chē)奈锢憝h(huán)境的視圖。如以下更詳細(xì)地論述的，界面302可以包含考慮到各種視覺(jué)/接口性能和功能的另外的設(shè)置。
[0049]在一些實(shí)施例中，用戶(hù)感知系統(tǒng)304可以包含:一個(gè)或多個(gè)傳感器310，其可操作地檢測(cè)與穿戴系統(tǒng)300的個(gè)體用戶(hù)有關(guān)的某些特征、特點(diǎn)或信息。例如，在一些實(shí)施例中，傳感器310可以包含:相機(jī)或光學(xué)檢測(cè)/掃描電路，其能夠?qū)崟r(shí)檢測(cè)用戶(hù)的光學(xué)特點(diǎn)/測(cè)量，諸如例如以下中的一個(gè)或多個(gè):瞳孔收縮/擴(kuò)張、每個(gè)瞳孔的角度測(cè)量/定位、二次球度(spheiOcity)、眼睛形狀(如隨著時(shí)間眼睛形狀的變化)以及其它解剖學(xué)數(shù)據(jù)。這種數(shù)據(jù)可以提供或用于計(jì)算可以由頭戴式系統(tǒng)300和/或接口系統(tǒng)100使用的信息(例如，用戶(hù)的視覺(jué)焦點(diǎn))以?xún)?yōu)化用戶(hù)的觀看體驗(yàn)。例如，在一個(gè)實(shí)施例中，傳感器310可以各自測(cè)量用戶(hù)每個(gè)眼睛的瞳孔收縮的速率?？梢詫⑦@種數(shù)據(jù)傳輸給處理器308(或網(wǎng)關(guān)組件140或服務(wù)器110)，其中該數(shù)據(jù)用于確定例如用戶(hù)對(duì)界面顯示器303的亮度設(shè)置的反應(yīng)?？梢砸勒沼脩?hù)的反應(yīng)通過(guò)例如如果用戶(hù)的反應(yīng)指示顯示器303的零度級(jí)別太高則調(diào)暗顯示器303來(lái)對(duì)界面302進(jìn)行調(diào)節(jié)。用戶(hù)感知系統(tǒng)304可以包含除了上述的或在圖3中說(shuō)明的那些組件以外的其它組件。例如，在一些實(shí)施例中，用戶(hù)感知系統(tǒng)304可以包含:用于接收來(lái)自用戶(hù)的語(yǔ)音輸入的麥克風(fēng)。用戶(hù)感知系統(tǒng)還可以包含:一個(gè)或多個(gè)紅外線相機(jī)傳感器、一個(gè)或多個(gè)可見(jiàn)光頻譜相機(jī)傳感器、結(jié)構(gòu)光發(fā)射器和/或傳感器、紅外線光發(fā)射器、相干光發(fā)射器和/或傳感器、陀螺儀、加速計(jì)、磁力儀、接近傳感器、GPS傳感器、超聲波發(fā)射器和檢測(cè)器以及觸感接口。
[0050]環(huán)境感知系統(tǒng)306包含用于獲得來(lái)自用戶(hù)周?chē)奈锢憝h(huán)境的數(shù)據(jù)的一個(gè)或多個(gè)傳感器312。可以將由傳感器檢測(cè)的對(duì)象或信息提供作為至用戶(hù)設(shè)備的輸入。在一些實(shí)施例中，這種輸入可以表示與虛擬世界的用戶(hù)交互。例如，觀看桌面上的虛擬鍵盤(pán)的用戶(hù)可以使用他的手指做手勢(shì)，好像它正在虛擬鍵盤(pán)上鍵入。手指移動(dòng)的運(yùn)動(dòng)可以由傳感器312來(lái)捕獲并且提供給用戶(hù)設(shè)備或系統(tǒng)作為輸入，其中該輸入可以用于改變虛擬世界或創(chuàng)建新的虛擬對(duì)象。例如，可以將手指的運(yùn)動(dòng)識(shí)別(使用軟件程序)為鍵入，以及所識(shí)別的鍵入的手勢(shì)可以與虛擬鍵盤(pán)上的虛擬鍵的已知位置進(jìn)行組合。然后，系統(tǒng)可以渲染向用戶(hù)(或通過(guò)接口與系統(tǒng)連接的其它用戶(hù))顯示的虛擬監(jiān)視器，其中虛擬監(jiān)視器顯示由用戶(hù)鍵入的文本。
[0051]傳感器312可以包含:例如，普遍朝外的相機(jī)或用于例如通過(guò)不斷地和/或間歇地投影紅外線結(jié)構(gòu)光來(lái)解釋場(chǎng)景信息的掃描儀。環(huán)境感知系統(tǒng)306可以用于通過(guò)檢測(cè)或注冊(cè)本地環(huán)境來(lái)映射用戶(hù)周?chē)奈锢憝h(huán)境的一個(gè)或多個(gè)元素，包含靜態(tài)對(duì)象、動(dòng)態(tài)對(duì)象、人、手勢(shì)和各種照明、大氣和聲學(xué)條件。因此，在一些實(shí)施例中，環(huán)境感知系統(tǒng)306可以包含:基于圖像的三維重建軟件，其被嵌入在本地系統(tǒng)(例如網(wǎng)關(guān)組件140或處理器308)中以及可操作地?cái)?shù)字化地重建由傳感器312檢測(cè)的一個(gè)或多個(gè)對(duì)象或信息。在一個(gè)示例性實(shí)施例中，環(huán)境感知系統(tǒng)306提供以下中的一個(gè)或多個(gè):運(yùn)動(dòng)捕獲數(shù)據(jù)(捕獲手勢(shì)識(shí)別)、深度感知、面部識(shí)別、對(duì)象識(shí)別、唯一對(duì)象特征識(shí)別、語(yǔ)音/音頻識(shí)別和處理、聲音源定位、噪音降低、紅外線或類(lèi)似的激光投影、以及單色和/或彩色CMOS傳感器(或其它類(lèi)似傳感器)、視野傳感器、以及各種其它光學(xué)增強(qiáng)傳感器。應(yīng)當(dāng)了解的是，環(huán)境感知系統(tǒng)306可以包含除了上述或在圖3中說(shuō)明的那些組件之外的其它組件。例如，在一些實(shí)施例中，環(huán)境感知系統(tǒng)306可以包含用于接收來(lái)自本地環(huán)境的音頻的麥克風(fēng)。用戶(hù)感知系統(tǒng)還可以包含:一個(gè)或多個(gè)紅外線相機(jī)傳感器、一個(gè)或多個(gè)可見(jiàn)光頻譜相機(jī)傳感器、結(jié)構(gòu)光發(fā)射器和/或傳感器、紅外線光發(fā)射器、相干光發(fā)射器和/或傳感器、陀螺儀、加速計(jì)、磁力儀、接近傳感器、GPS傳感器、超聲波發(fā)射器和檢測(cè)器以及觸感接口。
[0052]如上所述，在一些實(shí)施例中，處理器308可以與頭戴式系統(tǒng)300中的其它組件集成，與接口系統(tǒng)100中的其它組件集成，或可以是如圖3中示出的單獨(dú)的設(shè)備(可穿戴的或與用戶(hù)分離的)。處理器308可以通過(guò)物理的有線連接或通過(guò)無(wú)線連接(諸如例如，移動(dòng)網(wǎng)絡(luò)連接(包含蜂窩電話和數(shù)據(jù)網(wǎng)絡(luò))、W1-Fi或藍(lán)牙)連接到頭戴式系統(tǒng)300中的各種組件和/或接口系統(tǒng)100中的組件。處理器308可以包含:存儲(chǔ)模塊、集成的和/或另外的圖形處理單元、無(wú)線和/或有線互聯(lián)網(wǎng)連通性以及能夠?qū)?lái)自源(例如，計(jì)算網(wǎng)絡(luò)105、用戶(hù)感知系統(tǒng)304、環(huán)境感知系統(tǒng)306或網(wǎng)關(guān)組件140)的數(shù)據(jù)變換成圖像和音頻數(shù)據(jù)的編解碼器和/或固件，其中圖像/視頻和音頻可以經(jīng)由界面302呈現(xiàn)給用戶(hù)。
[0053]處理器308處置用于頭戴式系統(tǒng)300中的各種組件的數(shù)據(jù)處理以及頭戴式系統(tǒng)300與網(wǎng)關(guān)140以及在一些實(shí)施例中計(jì)算網(wǎng)絡(luò)105之間的數(shù)據(jù)交換。例如，處理器308可以用于緩沖和處理用戶(hù)和計(jì)算網(wǎng)絡(luò)105之間的數(shù)據(jù)流，從而使得能夠平滑的連續(xù)的和高保真度的用戶(hù)體驗(yàn)。在一些實(shí)施例中，處理器308可以以足以實(shí)現(xiàn)以320x240分辨率8幀/秒到以高清晰度分辨率(1280x720) 24幀/秒，或更高的，諸如60-120幀/秒和4k分辨率和更高的(IOk+分辨率和50000幀/秒)之間的任何地方的速率來(lái)處理數(shù)據(jù)。另外，處理器308可以存儲(chǔ)和/或處理可以呈現(xiàn)給用戶(hù)的數(shù)據(jù)，而不是實(shí)時(shí)地從計(jì)算網(wǎng)絡(luò)105流出。例如，在一些實(shí)施例中，處理器308可以接收來(lái)自計(jì)算網(wǎng)絡(luò)105的壓縮數(shù)據(jù)，以及執(zhí)行高級(jí)渲染技術(shù)(諸如照明或陰影)以減輕從計(jì)算網(wǎng)絡(luò)105傳輸給用戶(hù)設(shè)備120的數(shù)據(jù)負(fù)載。在另一個(gè)示例中，處理器308可以存儲(chǔ)和/或處理本地對(duì)象數(shù)據(jù)，而不是將該數(shù)據(jù)傳輸給網(wǎng)關(guān)組件140或計(jì)算網(wǎng)絡(luò)105。
[0054]在一些實(shí)施例中，頭戴式系統(tǒng)300可以包含考慮到各種視覺(jué)/接口性能和功能的各種設(shè)置或模式。模式可以由用戶(hù)手工地選擇，或由頭戴式系統(tǒng)300中的組件或網(wǎng)關(guān)組件140自動(dòng)地選擇。如先前所述，頭戴式系統(tǒng)300的一個(gè)示例包含:“關(guān)閉”模式，其中界面302基本上不提供數(shù)字或虛擬內(nèi)容。在關(guān)閉模式中，顯示組件303可以是透明的，從而使得能夠在具有很少-至-沒(méi)有光學(xué)變形或計(jì)算重疊的情況下來(lái)光學(xué)地糾正用戶(hù)周?chē)奈锢憝h(huán)境的視圖。
[0055]在一個(gè)示例實(shí)施例中，頭戴式系統(tǒng)300包含:“增強(qiáng)”模式，其中界面302提供增強(qiáng)現(xiàn)實(shí)界面。在增強(qiáng)模式中，界面顯示器303可以是基本上透明的，從而允許用戶(hù)觀看本地的物理環(huán)境。同時(shí)，由計(jì)算網(wǎng)絡(luò)105、處理器308和/或網(wǎng)關(guān)組件140提供的虛擬對(duì)象數(shù)據(jù)與物理的本地環(huán)境結(jié)合被呈現(xiàn)在顯示器303上。
[0056]圖4說(shuō)明了當(dāng)界面302操作在增強(qiáng)模式中時(shí)由用戶(hù)看到的對(duì)象的示例實(shí)施例。如圖4中示出的，界面302呈現(xiàn)物理對(duì)象402和虛擬對(duì)象404。如圖4中說(shuō)明的實(shí)施例中，物理對(duì)象402是存在于用戶(hù)的本地環(huán)境中的真實(shí)的物理對(duì)象，而虛擬對(duì)象404是由系統(tǒng)100創(chuàng)建的經(jīng)由用戶(hù)界面302顯示的對(duì)象。在一些實(shí)施例中，虛擬對(duì)象404可以被顯示在物理環(huán)境內(nèi)的固定的方位或位置(例如，虛擬的猴子站在位于物理環(huán)境中的特定路標(biāo)的旁邊)，或者可以顯示給用戶(hù)作為位于與用戶(hù)界面顯示器303的方位有關(guān)的對(duì)象(例如，在顯示器303的左上方中可以看見(jiàn)的虛擬時(shí)鐘或溫度計(jì))。[0057]在一些實(shí)施例中，可以提示虛擬對(duì)象離開(kāi)用戶(hù)的視野內(nèi)部或外部物理呈現(xiàn)的對(duì)象，或者由用戶(hù)的視野內(nèi)部或外部物理呈現(xiàn)的對(duì)象來(lái)觸發(fā)虛擬對(duì)象。提示虛擬對(duì)象404離開(kāi)物理對(duì)象402或由物理對(duì)象402來(lái)觸發(fā)虛擬對(duì)象404。例如,物理對(duì)象402可能實(shí)際上是凳子，以及可以將如站在凳子上的虛擬動(dòng)物的虛擬對(duì)象404顯示給用戶(hù)(以及在一些實(shí)施例中，通過(guò)接口與系統(tǒng)100連接的其它用戶(hù))。在此類(lèi)實(shí)施例中，環(huán)境感知系統(tǒng)306可以使用例如存儲(chǔ)在處理器308中的軟件和/或固件以識(shí)別各種特征和/或形狀模式(由傳感器312捕獲的)以將物理對(duì)象402識(shí)別為凳子。這些識(shí)別的形狀模式(諸如例如凳子頂部)可以用于觸發(fā)虛擬對(duì)象404的放置。其它示例包含:墻、桌子、家具、汽車(chē)、建筑物、人、樓層、植物、動(dòng)物-能夠被看到的任何對(duì)象能夠用于觸發(fā)與對(duì)象或多個(gè)對(duì)象有一些關(guān)系的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。
[0058]在一些實(shí)施例中，被觸發(fā)的特定的虛擬對(duì)象404可以由用戶(hù)選擇或者由頭戴式系統(tǒng)300中的其它組件或接口系統(tǒng)100自動(dòng)地選擇。另外，在虛擬對(duì)象404被自動(dòng)地觸發(fā)的實(shí)施例中，可以基于提示虛擬對(duì)象404離開(kāi)特定物理對(duì)象402 (或其特征)或觸發(fā)虛擬對(duì)象404的特定物理對(duì)象402 (或其特征)來(lái)選擇特定的虛擬對(duì)象404。例如，如果物理對(duì)象被識(shí)別為在水池上延伸的跳水板，則所觸發(fā)的虛擬對(duì)象可以是穿戴通氣管、泳衣、漂浮設(shè)備或其它相關(guān)項(xiàng)目的生物。
[0059]在另一個(gè)示例實(shí)施例中，頭戴式系統(tǒng)300可以包含“虛擬”模式，其中界面302提供虛擬現(xiàn)實(shí)界面。在虛擬模式中，從顯示器303中省略物理環(huán)境，以及由計(jì)算網(wǎng)絡(luò)105、處理器308和/或網(wǎng)關(guān)組件140提供的虛擬對(duì)象數(shù)據(jù)被呈現(xiàn)在顯示器303上?？梢酝ㄟ^(guò)物理地阻塞視覺(jué)顯示器303 (例如，經(jīng)由覆蓋)或通過(guò)界面302的特征來(lái)完成物理環(huán)境的省略，其中顯示器303轉(zhuǎn)變到不透明設(shè)置。在虛擬模式中，可以通過(guò)界面302將直播和/或存儲(chǔ)的視覺(jué)和音頻感覺(jué)呈現(xiàn)給用戶(hù)，以及用戶(hù)通過(guò)界面302的虛擬模式來(lái)體驗(yàn)數(shù)字世界(數(shù)字對(duì)象、其它用戶(hù)等)并與其進(jìn)行交互。因此，在虛擬模式中提供給用戶(hù)的界面由包括虛擬數(shù)字世界的虛擬對(duì)象數(shù)字組成。
[0060]圖5說(shuō)明了當(dāng)頭戴式界面302操作在虛擬模式中時(shí)用戶(hù)界面的示例實(shí)施例。如圖5中示出的，用戶(hù)界面呈現(xiàn)由數(shù)字對(duì)象510組成的虛擬世界500，其中數(shù)字對(duì)象510可以包含:大氣、天氣、地形、建筑物和人。雖然未在圖5中說(shuō)明，但是數(shù)字對(duì)象還可以包含:例如，植物、車(chē)輛、動(dòng)物、生物、機(jī)器、人工智能、位置信息以及定義虛擬世界500的任何其它對(duì)象或信息。
[0061]在另一個(gè)示例實(shí)施例中，頭戴式系統(tǒng)300可以包含:“混雜”模式，其中可以將頭戴式系統(tǒng)300中的各種特征(以及虛擬模式和增強(qiáng)模式中的特征)進(jìn)行組合以創(chuàng)建一個(gè)或多個(gè)定制的接口模式。在一個(gè)示例定制接口模式中，從顯示器303中省略了物理環(huán)境，以及以類(lèi)似于虛擬模式的方式在顯示器303上呈現(xiàn)虛擬對(duì)象數(shù)據(jù)。然而，在這個(gè)示例定制接口模式中，虛擬對(duì)象可以是完全虛擬的(即，它們不存在于本地的物理環(huán)境中)或者它們可以是被渲染為界面302中的虛擬對(duì)象以替代物理對(duì)象的真實(shí)的本地物理對(duì)象。因此，在這個(gè)特定定制模式中(在本文中被稱(chēng)為混雜虛擬接口模式)，直播和/或存儲(chǔ)的視覺(jué)和音頻感覺(jué)可以通過(guò)界面302呈現(xiàn)給用戶(hù)，以及用戶(hù)體驗(yàn)并與包括完全虛擬對(duì)象和渲染的物理對(duì)象的數(shù)字世界進(jìn)行交互。
[0062]圖6說(shuō)明了依照混雜虛擬接口模式操作的用戶(hù)界面的示例實(shí)施例。如圖6中示出的，用戶(hù)界面呈現(xiàn)虛擬世界600，該虛擬世界600由完全的虛擬對(duì)象610和被渲染的物理對(duì)象620(以其它方式物理地呈現(xiàn)在場(chǎng)景中的對(duì)象的渲染)組成。依照?qǐng)D6中說(shuō)明的示例，渲染的物理對(duì)象620包含:建筑物620A、地面620B和平臺(tái)620C，以及使用粗體輪廓630示出以向用戶(hù)指示對(duì)象是渲染的。另外，完全的虛擬對(duì)象610包含:另外的用戶(hù)610A、云610B、太陽(yáng)610C和平臺(tái)620C上的火焰610D。應(yīng)當(dāng)了解的是，完全的虛擬對(duì)象610可以包含:例如，大氣、天氣、地形、建筑物、人、植物、車(chē)輛、動(dòng)物、生物、機(jī)器、人工智能、位置信息以及定義虛擬世界600并且不能從存在于本地的物理環(huán)境中的對(duì)象渲染的任何其它對(duì)象或信息。相反地,渲染的物理對(duì)象620是被渲染為界面302中的虛擬對(duì)象的真實(shí)的本地的物理對(duì)象。粗線輪廓630表示用于向用戶(hù)指示渲染的物理對(duì)象的一個(gè)示例。照此，可以像這樣使用除了本文中公開(kāi)的那些方法外的方法來(lái)指示渲染的物理對(duì)象。
[0063]在一些實(shí)施例中，渲染的物理對(duì)象620可以使用環(huán)境感知系統(tǒng)306的傳感器312 (或使用諸如運(yùn)動(dòng)或圖像捕獲系統(tǒng)的其它設(shè)備)來(lái)檢測(cè)，并且通過(guò)例如存儲(chǔ)在處理電路308中的軟件和/或固件被轉(zhuǎn)換成數(shù)字對(duì)象數(shù)據(jù)。因此，當(dāng)用戶(hù)通過(guò)接口與混雜虛擬接口模式中的系統(tǒng)100連接時(shí)，可以將各種物理對(duì)象作為渲染的物理對(duì)象顯示給用戶(hù)。對(duì)于允許用戶(hù)通過(guò)接口與系統(tǒng)100連接，同時(shí)仍然能夠安全地導(dǎo)航本地物理環(huán)境而言，這可能特別有用。在一些實(shí)施例中，用戶(hù)可能能夠有選擇地移除渲染的物理對(duì)象或?qū)秩镜奈锢韺?duì)象添加到界面顯示器303。
[0064]在另一個(gè)示例用戶(hù)界面模式中，界面顯示器303可以是基本上透明的，從而允許用戶(hù)觀看本地的物理環(huán)境，同時(shí)各種本地的物理對(duì)象作為渲染的物理對(duì)象被顯示給用戶(hù)。這種示例的定制接口模式類(lèi)似于增強(qiáng)模式，除了如以上相對(duì)于先前示例所述的，虛擬對(duì)象中的一個(gè)或多個(gè)虛擬對(duì)象可能是渲染的物理對(duì)象。
[0065]上述示例定制接口模式表示能夠由頭戴式系統(tǒng)300的混雜模式提供的各種定制接口模式的若干示例實(shí)施例。因此，在不背離本公開(kāi)的范圍的情況下，可以從由頭戴式系統(tǒng)300中的組件提供的特征和功能以及上述所述的各種模式的各種組合來(lái)創(chuàng)建各種其它定制接口模式。
[0066]本文論述的實(shí)施例僅描述了用于提供操作在關(guān)閉、增強(qiáng)、虛擬或混雜模式中的接口的若干示例，并且不旨在限制頭戴式系統(tǒng)300的組件的功能或各自接口模式的范圍或內(nèi)容。例如，在一些實(shí)施例中，虛擬對(duì)象可以包含顯示給用戶(hù)的數(shù)據(jù)(時(shí)間、溫度、海拔等)、由系統(tǒng)100創(chuàng)建和/或選擇的對(duì)象、由用戶(hù)創(chuàng)建和/或選擇的對(duì)象，或甚至表示通過(guò)接口與系統(tǒng)100連接的其它用戶(hù)的對(duì)象。另外，虛擬對(duì)象可以包含物理對(duì)象的延伸(例如，從物理平臺(tái)長(zhǎng)大的虛擬造型)，以及可以可視地連接到物理對(duì)象，或從物理對(duì)象斷開(kāi)連接。
[0067]虛擬對(duì)象還可以是動(dòng)態(tài)的以及隨著時(shí)間而變化，依照用戶(hù)或其它用戶(hù)、物理對(duì)象和其它虛擬對(duì)象之間的各種關(guān)系(例如，位置、距離等)而變化，和/或依照在頭戴式系統(tǒng)300、網(wǎng)關(guān)組件140或服務(wù)器110的軟件和/或固件中指定的各種變量而變化。例如，在某些實(shí)施例中，虛擬對(duì)象可以響應(yīng)于用戶(hù)設(shè)備或其組件(例如當(dāng)觸感設(shè)備被放置在虛擬球的旁邊時(shí)虛擬球移動(dòng))、物理的或言語(yǔ)的用戶(hù)交互(例如，當(dāng)用戶(hù)接近虛擬生物時(shí)，該虛擬生物跑走，或當(dāng)用戶(hù)向它說(shuō)話時(shí)，該虛擬生物說(shuō)話)、椅子被扔向虛擬生物以及該生物躲避椅子、其它虛擬對(duì)象(例如，當(dāng)?shù)谝惶摂M生物看到第二虛擬生物時(shí)，第一虛擬生物做出反應(yīng))，物理變量(諸如位置、距離、溫度、時(shí)間等)、或在用戶(hù)環(huán)境中的其它物理對(duì)象(例如，當(dāng)物理汽車(chē)經(jīng)過(guò)時(shí)，被示出為站在物理街道中的虛擬生物變成扁平的)。
[0068]本文中論述的各種模式可以應(yīng)用于除了頭戴式系統(tǒng)300之外的用戶(hù)設(shè)備。例如，可以經(jīng)由移動(dòng)電話或平板設(shè)備來(lái)提供增強(qiáng)現(xiàn)實(shí)接口。在此類(lèi)實(shí)施例中，電話或平板可以使用相機(jī)來(lái)捕獲用戶(hù)附近的物理環(huán)境，以及可以在電話/平板的顯示屏上疊放虛擬對(duì)象。另夕卜，可以通過(guò)在電話/平板的顯示屏上顯示數(shù)字世界來(lái)提供虛擬模式。因此，使用本文所述的電話/平板的組件以及連接到用戶(hù)設(shè)備的其它組件或與用戶(hù)設(shè)備結(jié)合使用的其它組件，可以將這些模式混雜以創(chuàng)建如上所述的各種定制接口。例如，可以由缺少與運(yùn)動(dòng)或圖像捕獲系統(tǒng)結(jié)合操作的相機(jī)的計(jì)算機(jī)監(jiān)視器、電視屏幕或其它設(shè)備來(lái)提供混雜的虛擬接口模式。在這個(gè)示例實(shí)施例中，可以從監(jiān)視器/屏幕來(lái)觀看虛擬世界，以及可以由運(yùn)動(dòng)或圖像捕獲系統(tǒng)來(lái)執(zhí)行對(duì)象檢測(cè)和渲染。
[0069]圖7說(shuō)明了本公開(kāi)的示例實(shí)施例，其中位于不同地理位置中的兩個(gè)用戶(hù)每個(gè)用戶(hù)通過(guò)他們各自的用戶(hù)設(shè)備與其它用戶(hù)和共同的虛擬世界進(jìn)行交互。在這個(gè)實(shí)施例中，兩個(gè)用戶(hù)701和702正在來(lái)回地扔虛擬球703 ( —種類(lèi)型的虛擬對(duì)象)，其中每個(gè)用戶(hù)能夠觀察到虛擬世界中的其它用戶(hù)的影響(例如，每個(gè)用戶(hù)觀察到改變方向的虛擬球，由其它用戶(hù)抓住的虛擬球等)。因?yàn)橛捎?jì)算網(wǎng)絡(luò)105中的服務(wù)器110來(lái)跟蹤虛擬球(即，虛擬球703)的移動(dòng)和位置，所以在一些實(shí)施例中，系統(tǒng)100可以向用戶(hù)701和用戶(hù)702傳遞相對(duì)于每個(gè)用戶(hù)的球703的準(zhǔn)確位置和到達(dá)計(jì)時(shí)。例如，如果第一用戶(hù)701位于倫敦，用戶(hù)701可以向位于洛杉磯的第二用戶(hù)702以由系統(tǒng)100計(jì)算的速率扔球703。因此，系統(tǒng)100可以向第二用戶(hù)702(例如，經(jīng)由電子郵件、文本消息、即時(shí)消息等)傳遞球到達(dá)的準(zhǔn)確時(shí)間和位置。照此，第二用戶(hù)702可以使用他的設(shè)備以看到球703在指定時(shí)間和位置到達(dá)。當(dāng)一個(gè)或多個(gè)虛擬對(duì)象虛擬地穿越全球時(shí)，一個(gè)或多個(gè)用戶(hù)還可以使用地理位置映射軟件(或類(lèi)似的)以跟蹤一個(gè)或多個(gè)虛擬對(duì)象。這種情況的示例可以是穿戴三維頭戴式顯示器的用戶(hù)在天空中查找和看到飛過(guò)頭頂?shù)寞B加在真實(shí)世界上的虛擬飛機(jī)。可以由用戶(hù)、由智能軟件代理(運(yùn)行在用戶(hù)設(shè)備或網(wǎng)關(guān)上的軟件)，可能是本地和/或遠(yuǎn)程的其它用戶(hù)，和/或這些組合中的任何組合來(lái)駕駛虛擬飛機(jī)。
[0070]如前所述，用戶(hù)設(shè)備可以包含觸感接口設(shè)備，其中當(dāng)系統(tǒng)100確定觸感設(shè)備位于與虛擬對(duì)象有關(guān)的物理的空間位置時(shí)，觸感接口設(shè)備向用戶(hù)提供反饋(例如，阻力、振動(dòng)、光線、聲音等)。例如，如圖8中示出的，以上相對(duì)于圖7描述的實(shí)施例可以被擴(kuò)展為包含使用觸感設(shè)備802。
[0071]在這個(gè)示例實(shí)施例中，在虛擬世界中可以將觸感設(shè)備802顯示為棒球棒。當(dāng)球703到達(dá)時(shí)，用戶(hù)702可以向虛擬球703揮舞觸感設(shè)備802。如果系統(tǒng)100確定由觸感設(shè)備802提供的虛擬棒與球703進(jìn)行了 “接觸”，則觸感設(shè)備802可以振動(dòng)或向用戶(hù)702提供其它反饋，以及虛擬棒703可以在由系統(tǒng)100計(jì)算的方向中依照球至棒的接觸的檢測(cè)的速度、方向和計(jì)時(shí)彈跳離開(kāi)虛擬棒。
[0072]在一些實(shí)施例中，所公開(kāi)的系統(tǒng)100可以促進(jìn)混合模式接口連接，其中多個(gè)用戶(hù)可以使用不同的接口模式(例如，增強(qiáng)的、虛擬的、混雜的等)通過(guò)接口與共同的虛擬世界進(jìn)行連接(含有在其中的虛擬對(duì)象)。例如，在虛擬接口模式中通過(guò)接口與特定虛擬世界連接的第一用戶(hù)可以與在增強(qiáng)現(xiàn)實(shí)模式中通過(guò)接口與同一個(gè)虛擬世界連接的第二用戶(hù)進(jìn)行交互。[0073]圖9a說(shuō)明了第一用戶(hù)901(在混合虛擬接口模式中通過(guò)接口與系統(tǒng)100的數(shù)字世界連接)和第一對(duì)象902對(duì)于在完全虛擬現(xiàn)實(shí)模式中通過(guò)接口與系統(tǒng)100的同一數(shù)字世界連接的第二用戶(hù)922而言似乎是虛擬對(duì)象的示例。如上所述，當(dāng)經(jīng)由混雜的虛擬接口模式通過(guò)接口與數(shù)字世界連接時(shí)，可以將本地的物理對(duì)象(例如第一用戶(hù)901和第一對(duì)象902)掃描和渲染成虛擬世界中的虛擬對(duì)象。第一用戶(hù)901例如可以由運(yùn)動(dòng)捕獲系統(tǒng)或類(lèi)似的設(shè)備來(lái)掃描，以及在虛擬世界中(由存儲(chǔ)在運(yùn)動(dòng)捕獲系統(tǒng)、網(wǎng)關(guān)組件140、用戶(hù)設(shè)備120、系統(tǒng)服務(wù)器110或其它設(shè)備中的軟件/固件)被渲染成第一渲染物理對(duì)象931。類(lèi)似地，第一對(duì)象902例如可以由頭戴式接口 300的環(huán)境感知系統(tǒng)306來(lái)掃描，以及在虛擬世界中(由存儲(chǔ)在處理器308、網(wǎng)關(guān)組件140、系統(tǒng)服務(wù)器110或其它設(shè)備中的軟件/固件)被渲染成第二渲染物理對(duì)象932。在圖9A的第一部分910中，第一用戶(hù)901和第一對(duì)象902被示出為物理世界中的物理對(duì)象。在圖9A的第二部分920中，第一用戶(hù)901和第一對(duì)象902被示出為對(duì)于在完全虛擬現(xiàn)實(shí)模式中與通過(guò)接口與系統(tǒng)100的同一數(shù)字世界連接的第二用戶(hù)922而言他們好像是第一渲染的物理對(duì)象931和第二渲染的物理對(duì)象932。
[0074]圖9B說(shuō)明了混合模式接口連接的另一個(gè)示例實(shí)施例，其中如上所述，在混雜虛擬接口模式中第一用戶(hù)901通過(guò)接口與數(shù)字世界連接，以及在增強(qiáng)現(xiàn)實(shí)模式中第二用戶(hù)922通過(guò)接口與同一數(shù)字世界(以及第二用戶(hù)的物理的本地環(huán)境925)連接。在圖9B中的實(shí)施例中，第一用戶(hù)901和第一對(duì)象902位于第一物理位置915處，以及第二用戶(hù)922位于由距離第一位置915的一些距離分開(kāi)的不同的第二物理位置925。在這個(gè)實(shí)施例中，可以將虛擬對(duì)象931和虛擬對(duì)象932實(shí)時(shí)地(或接近實(shí)時(shí)地)轉(zhuǎn)換到對(duì)應(yīng)于第二位置925的虛擬世界內(nèi)的位置。因此，第二用戶(hù)922在第二用戶(hù)的物理的本地環(huán)境925中可以觀察到分別表示第一用戶(hù)901和第一對(duì)象902的渲染的物理對(duì)象931和物理對(duì)象932并且與其進(jìn)行交互。
[0075]圖10說(shuō)明了當(dāng)在增強(qiáng)現(xiàn)實(shí)模式中通過(guò)接口與系統(tǒng)100連接時(shí)用戶(hù)的視圖的示例說(shuō)明。如在圖10中示出的，用戶(hù)看到本地的物理環(huán)境(S卩，具有多個(gè)建筑物的城市)以及虛擬角色1010( S卩，虛擬對(duì)象)?？梢杂啥S視覺(jué)目標(biāo)(例如，廣告牌、明信片或雜志)和/或一個(gè)或多個(gè)三維參考系(諸如，建筑物、汽車(chē)、人、動(dòng)物、飛行器、建筑物的部分和/或任何三維物理對(duì)象、虛擬對(duì)象和/或其組合)來(lái)觸發(fā)虛擬角色1010的方位。在圖10中說(shuō)明的示例中，在城市中的建筑物的已知方位可以提供注冊(cè)基準(zhǔn)點(diǎn)和/或信息和關(guān)鍵特征以用于渲染虛擬角色1010。另外，用戶(hù)的地理空間位置(例如，由GPS，姿態(tài)/方位傳感器等來(lái)提供)或與建筑物有關(guān)的移動(dòng)位置可以包括由計(jì)算網(wǎng)絡(luò)105使用的數(shù)據(jù)以觸發(fā)用于顯示虛擬角色(多個(gè))1010的數(shù)據(jù)的傳輸。在一些實(shí)施例中，用于顯示虛擬角色1010的數(shù)據(jù)可以包括渲染的角色101和/或用于渲染虛擬角色1010或其部分的指令(由網(wǎng)關(guān)組件140和/或用戶(hù)設(shè)備120來(lái)執(zhí)行)。在一些實(shí)施例中，如果用戶(hù)的地理空間位置是不可獲得或未知的，則服務(wù)器110、網(wǎng)關(guān)組件140和/或用戶(hù)設(shè)備120仍然可以使用估計(jì)特定虛擬對(duì)象和/或物理對(duì)象可能位于的地方的估計(jì)算法，使用根據(jù)時(shí)間和/或其它參數(shù)的用戶(hù)最后已知的方位來(lái)顯示虛擬對(duì)象1010。萬(wàn)一用戶(hù)的傳感器變成閉塞的和/或經(jīng)歷了其它故障時(shí)，這還可以用于確定任何虛擬對(duì)象的方位。
[0076]在一些實(shí)施例中，虛擬角色或虛擬對(duì)象可以包括虛擬塑像，其中由物理對(duì)象來(lái)觸發(fā)虛擬塑像的渲染。例如，現(xiàn)在參照?qǐng)D11，可以由真實(shí)的物理平臺(tái)1120來(lái)觸發(fā)虛擬塑像1110。塑像1110的觸發(fā)可以是響應(yīng)于由用戶(hù)設(shè)備或系統(tǒng)100的其它組件檢測(cè)的虛擬對(duì)象或特征(例如，基準(zhǔn)點(diǎn)、設(shè)計(jì)特征、幾何結(jié)構(gòu)、模式、物理位置、高度等)。當(dāng)用戶(hù)不使用用戶(hù)設(shè)備來(lái)觀看平臺(tái)1120時(shí)，用戶(hù)看到不具有塑像1110的平臺(tái)1120。然而，當(dāng)用戶(hù)通過(guò)用戶(hù)設(shè)備來(lái)觀看平臺(tái)1120時(shí)，用戶(hù)看到如圖11示出的平臺(tái)1120上的塑像1110。塑像1110是虛擬對(duì)象，以及因此可以是固定的、動(dòng)畫(huà)的、隨著時(shí)間或相對(duì)于用戶(hù)觀看的方位而變化，或甚至取決于正在觀看塑像1110的那個(gè)特定用戶(hù)而變化。例如，如果用戶(hù)是小孩，則塑像可能是狗；但是如果觀看者是成年男性，則塑像可能是圖11中示出的大機(jī)器人。這些是用戶(hù)依從性和/或狀態(tài)依從性經(jīng)驗(yàn)的示例。這將使得一個(gè)或多個(gè)用戶(hù)能夠獨(dú)立地和/或與物理對(duì)象結(jié)合來(lái)感知一個(gè)或多個(gè)虛擬對(duì)象，以及體驗(yàn)定制的和個(gè)性化版本的虛擬對(duì)象?？梢杂砂绨惭b在用戶(hù)設(shè)備上的軟件/固件的系統(tǒng)的各種組件來(lái)渲染塑像1110(或其部分)。使用指示用戶(hù)設(shè)備的位置和姿態(tài)的數(shù)據(jù)，結(jié)合虛擬對(duì)象(即，塑像1110)的注冊(cè)特征，虛擬對(duì)象(即，塑像1110)形成與物理對(duì)象(即，平臺(tái)1120)的關(guān)系。例如，一個(gè)或多個(gè)虛擬對(duì)象與一個(gè)或多個(gè)物理對(duì)象之間的關(guān)系可以是距離、定位、時(shí)間、地理位置、至一個(gè)或多個(gè)其它虛擬對(duì)象的接近性的函數(shù)，和/或包含任何種類(lèi)的虛擬和/或物理數(shù)據(jù)的任何其它功能關(guān)系。在一些實(shí)施例中，用戶(hù)設(shè)備中的圖像識(shí)別軟件還可以增強(qiáng)數(shù)字-至-物理對(duì)象的關(guān)系O
[0077]由所公開(kāi)的系統(tǒng)和方法提供的交互式接口可以被實(shí)現(xiàn)以促進(jìn)各種活動(dòng)，諸如例如，與一個(gè)或多個(gè)虛擬環(huán)境和對(duì)象進(jìn)行交互，與其它用戶(hù)進(jìn)行交互，以及體驗(yàn)各種形式的媒體內(nèi)容，包含廣告、音樂(lè)會(huì)和電影。因此，所公開(kāi)的系統(tǒng)促進(jìn)了用戶(hù)交互，使得用戶(hù)不僅看或聽(tīng)媒體內(nèi)容，而且主動(dòng)地參與并體驗(yàn)媒體內(nèi)容。在一些實(shí)施例中，用戶(hù)參與可以包含改變現(xiàn)有的內(nèi)容或創(chuàng)建將在一個(gè)或多個(gè)虛擬世界中渲染的新的內(nèi)容。在一些實(shí)施例中，媒體內(nèi)容和/或用戶(hù)創(chuàng)建的內(nèi)容可以圍繞一個(gè)或多個(gè)虛擬世界的神話創(chuàng)作為主題。
[0078]在一個(gè)示例中，音樂(lè)家(或其它用戶(hù))可以創(chuàng)建將被渲染給與特定虛擬世界進(jìn)行交互的用戶(hù)的音樂(lè)內(nèi)容。音樂(lè)內(nèi)容可以包含:例如各種信號(hào)、EP、專(zhuān)輯、視頻、短片和音樂(lè)會(huì)演出。在一個(gè)示例中，許多用戶(hù)可以通過(guò)接口與系統(tǒng)100連接以同時(shí)地體驗(yàn)由音樂(lè)家表演的虛擬音樂(lè)會(huì)。
[0079]在一些實(shí)施例中，所產(chǎn)生的媒體可以含有與特定實(shí)體(例如，樂(lè)隊(duì)、藝術(shù)家、用戶(hù)等)相關(guān)聯(lián)的唯一標(biāo)識(shí)碼。該碼可以是一組字母數(shù)字字符、UPC碼、QR碼、二維圖像觸發(fā)器、三維物理對(duì)象特征觸發(fā)器或其它數(shù)字標(biāo)記，以及聲音、圖像和/或這兩者的形式。在一些實(shí)施例中，還可以將該碼與數(shù)字媒體一起嵌入，可以使用系統(tǒng)100通過(guò)接口與該數(shù)字媒體連接。用戶(hù)可以獲得該碼(例如，經(jīng)由支付費(fèi)用)以及兌換該碼以訪問(wèn)由與標(biāo)識(shí)碼相關(guān)聯(lián)的實(shí)體產(chǎn)生的媒體內(nèi)容。可以在用戶(hù)界面上添加或從用戶(hù)界面移除媒體內(nèi)容。
[0080]在一個(gè)實(shí)施例中，為了避免從一個(gè)計(jì)算系統(tǒng)向另一個(gè)計(jì)算系統(tǒng)(諸如，從云計(jì)算系統(tǒng)到耦合到用戶(hù)的本地處理器)實(shí)時(shí)地或接近實(shí)時(shí)地低時(shí)延地傳送視頻數(shù)據(jù)的計(jì)算和帶寬的限制，關(guān)于各種形狀和幾何形狀的參數(shù)信息可以被轉(zhuǎn)移(transfer)以及用于定義表面，同時(shí)紋理可以被轉(zhuǎn)移以及添加到這些表面以帶來(lái)關(guān)于靜態(tài)或動(dòng)態(tài)的細(xì)節(jié)，諸如根據(jù)參數(shù)地重現(xiàn)面孔的幾何形狀來(lái)映射的人的面孔的基于位圖的視頻細(xì)節(jié)。作為另一個(gè)示例，如果系統(tǒng)被配置為識(shí)別人的面孔，并且知道人的化身位于增強(qiáng)世界中，則系統(tǒng)可以被配置為以一種相對(duì)大的設(shè)置轉(zhuǎn)移來(lái)傳送相關(guān)的世界信息以及人的化身的信息，在此之后，剩下的轉(zhuǎn)移給本地計(jì)算系統(tǒng)，諸如圖1中描繪的那個(gè)308，因?yàn)榭梢允贡镜劁秩鞠拗朴趨?shù)和紋理更新，諸如人的骸骨結(jié)構(gòu)的運(yùn)動(dòng)參數(shù)以及人的面孔的移動(dòng)位圖-所有這些以低于與實(shí)時(shí)視頻的初始設(shè)置轉(zhuǎn)移或傳送的帶寬有關(guān)的數(shù)量級(jí)。因此，基于云和本地計(jì)算資產(chǎn)可以在集成方式中使用，使得云處置不需要相對(duì)低時(shí)延的計(jì)算，以及本地處理資產(chǎn)處置低時(shí)延是非常珍貴的任務(wù)，以及在此類(lèi)情況下，由于此類(lèi)數(shù)據(jù)(即，參數(shù)信息、紋理等對(duì)一切事務(wù)的實(shí)時(shí)視頻)的總量的形式，轉(zhuǎn)移給本地系統(tǒng)的數(shù)據(jù)的形式優(yōu)選地以相對(duì)低的帶寬來(lái)傳送。
[0081]向前參照?qǐng)D15，示意性說(shuō)明了云計(jì)算資產(chǎn)(46)和本地計(jì)算資產(chǎn)(308，120)之間的合作。在一個(gè)實(shí)施例中，云(46)資產(chǎn)可操作地諸如經(jīng)由有線或無(wú)線網(wǎng)絡(luò)(可能期望的是，無(wú)線優(yōu)選地用于移動(dòng)性，有線優(yōu)選地用于某些高帶寬或高數(shù)據(jù)量轉(zhuǎn)移)直接耦合到(40，42)本地計(jì)算資產(chǎn)(120，308)(諸如可以被安裝在結(jié)構(gòu)中的處理器和存儲(chǔ)器配置，該結(jié)構(gòu)被配置為與用戶(hù)頭(120)或帶子(308)耦合)中的一者或兩者。位于用戶(hù)本地的這些計(jì)算資產(chǎn)還可以經(jīng)由有線和/或無(wú)線連通性配置(44)可操作地彼此相互耦合。在一個(gè)實(shí)施例中，為了維持低慣性和小尺寸的頭戴式子系統(tǒng)(120)，用戶(hù)和云(46)之間的主要轉(zhuǎn)移可以經(jīng)由基于帶的子系統(tǒng)(308)和云之間的鏈路，使用無(wú)線連通性(諸如超寬帶(“UWB”)連通性，如例如在個(gè)人計(jì)算外圍設(shè)備連通性應(yīng)用中當(dāng)前使用的)將頭戴式子系統(tǒng)(120)的主要數(shù)據(jù)綁縛到基于帶的子系統(tǒng)(308)。
[0082]使用高效的本地和遠(yuǎn)程處理合作，以及針對(duì)用戶(hù)的適當(dāng)?shù)娘@示設(shè)備，諸如在圖3中描述特征的用戶(hù)界面302或用戶(hù)“顯示設(shè)備”，以下參照?qǐng)D14描述的顯示設(shè)備14，或其變型，關(guān)于用戶(hù)的當(dāng)前真實(shí)或虛擬位置的一個(gè)世界的方面可以被轉(zhuǎn)移或“傳送”給用戶(hù)以及以高效的方式進(jìn)行更新。實(shí)際上，在一個(gè)實(shí)施例中，在增強(qiáng)現(xiàn)實(shí)模式中使用虛擬現(xiàn)實(shí)系統(tǒng)(“VRS”)的一個(gè)人和在完全虛擬模式中使用VRS的另一個(gè)人為了探索位于第一個(gè)人的本地同一世界，這兩個(gè)用戶(hù)可以以各種方式彼此體驗(yàn)位于彼此世界中用戶(hù)。例如，參照?qǐng)D12，描繪了類(lèi)似于參照?qǐng)D11描述的場(chǎng)景，外加正在飛行通過(guò)所描述的增強(qiáng)現(xiàn)實(shí)世界的來(lái)自完全虛擬現(xiàn)實(shí)場(chǎng)景的第二用戶(hù)的化身2的虛擬化。也就是說(shuō)，可以在針對(duì)第一人的增強(qiáng)現(xiàn)實(shí)中體驗(yàn)和顯示圖12中描繪的場(chǎng)景-除了在場(chǎng)景中的本地世界附近的真實(shí)物理元素(諸如，地面、背景中的建筑物、塑像平臺(tái)1120)外還顯示兩個(gè)增強(qiáng)現(xiàn)實(shí)元素(塑像1110和第二人的飛翔的大黃蜂化身2)。動(dòng)態(tài)更新可以用于允許第一人可視化第二人的化身2的過(guò)程，如化身2飛行通過(guò)位于第一人的本地的世界。
[0083]此外，使用如上所述的配置，其中有一個(gè)世界模型，其可以駐留在云計(jì)算資源上以及可以從那里進(jìn)行分布，優(yōu)選地試著分發(fā)實(shí)時(shí)視頻數(shù)據(jù)或諸如此類(lèi)，此類(lèi)世界能夠以相對(duì)低的帶寬形式“可傳送“給一個(gè)或多個(gè)用戶(hù)。可以由基于云的世界模型來(lái)通知站在塑像(即，如圖12中示出的)附近的人的增強(qiáng)體驗(yàn)，可以將其的子集向下傳送給他們和他們的本地顯示設(shè)備以完成視圖。坐在遠(yuǎn)程顯示設(shè)備處的人(其可以是如位于桌子上的個(gè)人計(jì)算機(jī)一樣簡(jiǎn)單)能夠高效地下載來(lái)自云的信息的同一部分，以及使得它被渲染在他們的顯不器上。實(shí)際上，事實(shí)上呈現(xiàn)在位于塑像附近的公園中的一個(gè)人可以與位于遠(yuǎn)程的朋友在那個(gè)公園中散步，該朋友通過(guò)虛擬和增強(qiáng)現(xiàn)實(shí)來(lái)加入。系統(tǒng)將需要知道街道位于何處，樹(shù)在哪里，塑像在何處-但是在云上具有該信息時(shí)，加入的朋友能夠從云下載場(chǎng)景的方面，以及然后開(kāi)始散步，作為與實(shí)際上在公園中的人有關(guān)的本地的增強(qiáng)現(xiàn)實(shí)。
[0084]參照?qǐng)D13，描繪了基于時(shí)間和/或其它偶然性參數(shù)的實(shí)施例，其中與虛擬和/或增強(qiáng)現(xiàn)實(shí)接口(諸如具有圖3中描繪特征的用戶(hù)界面302或用戶(hù)顯示設(shè)備、以下參照?qǐng)D14描述的顯示設(shè)備14，或其組合)結(jié)合的人正使用系統(tǒng)(4)以及進(jìn)入咖啡經(jīng)營(yíng)場(chǎng)所以點(diǎn)了一杯咖啡出)。VRS可以被配置為使用感知和數(shù)據(jù)收集能力(本地地和/或遠(yuǎn)程地)以在針對(duì)該人在增強(qiáng)和/或虛擬現(xiàn)實(shí)中提供顯示加強(qiáng)，諸如高亮咖啡經(jīng)營(yíng)場(chǎng)所中的門(mén)的位置或相關(guān)的咖啡菜單(8)的氣泡窗口。當(dāng)人接收到他已經(jīng)點(diǎn)的一杯咖啡時(shí)或在系統(tǒng)檢測(cè)到一些其它相關(guān)參數(shù)后，系統(tǒng)可以被配置為在具有顯示設(shè)備的本地環(huán)境中顯示(10) —個(gè)或多個(gè)基于時(shí)間的增強(qiáng)或虛擬現(xiàn)實(shí)圖像、視頻和/或聲音，諸如來(lái)自墻和天花板的馬達(dá)加斯加島叢林場(chǎng)景，具有或不具有叢林聲音和其它效果，靜態(tài)或動(dòng)態(tài)的?；诙〞r(shí)參數(shù)(即，在已經(jīng)識(shí)別到滿(mǎn)杯的咖啡杯以及遞給用戶(hù)后的5分鐘；在已經(jīng)識(shí)別到用戶(hù)走進(jìn)經(jīng)營(yíng)場(chǎng)所的前門(mén)之后的10分鐘，等)或其它參數(shù)(諸如由當(dāng)用戶(hù)從杯子攝食了最后一口的咖啡時(shí)，系統(tǒng)通過(guò)注意到咖啡杯的倒置指向識(shí)別到用戶(hù)已經(jīng)喝完了咖啡-或由系統(tǒng)識(shí)別到用戶(hù)已經(jīng)離開(kāi)經(jīng)營(yíng)場(chǎng)所(12)的前門(mén))，至用戶(hù)的此類(lèi)呈現(xiàn)可以中止。
[0085]參照?qǐng)D14，示出了合適的用戶(hù)顯示設(shè)備(14)的一個(gè)實(shí)施例，該用戶(hù)顯示設(shè)備包括:顯示鏡頭(82)，其通過(guò)殼體或框架(84)被安裝在用戶(hù)的頭或眼。顯示鏡頭(82)可以包括通過(guò)用戶(hù)的眼睛(20)的前面中的殼體(84)定位的一個(gè)或多個(gè)透明鏡子，以及被配置為將投影光反射到眼睛(20)中以及促進(jìn)光束整形，同時(shí)還允許傳輸來(lái)自增強(qiáng)現(xiàn)實(shí)配置中的本地環(huán)境的至少一些光(在虛擬現(xiàn)實(shí)配置中，對(duì)于顯示系統(tǒng)14而言，可能期望的是能夠基本上阻塞來(lái)自本地環(huán)境的所有光，諸如通過(guò)黑暗的遮護(hù)，阻塞窗簾，全黑LCD面板模式或諸如此類(lèi))。在所描繪的實(shí)施例中，兩個(gè)寬視野的機(jī)器視覺(jué)相機(jī)(16)被耦合到殼體(84)以成像用戶(hù)周?chē)沫h(huán)境；在一個(gè)實(shí)施例中，這些相機(jī)(16)是雙重捕獲可見(jiàn)光/紅外線相機(jī)。如所示的，所描繪的實(shí)施例還包括具有顯示鏡子和被配置為將光(38)投影到眼睛(20)中的光學(xué)器件的一對(duì)激光掃描成形波前(即，針對(duì)深度)光投影模塊。所描繪的實(shí)施例還包括:與紅外線光源(26，諸如發(fā)光二極管“LED”)成對(duì)的兩個(gè)微型紅外線相機(jī)(24)，其被配置為能夠跟蹤用戶(hù)的眼睛(20)以支持渲染和用戶(hù)輸入。系統(tǒng)(14)還以傳感器總成(39)的特征，其可以包括X，Y和Z軸加速計(jì)能力以及磁羅盤(pán)和X，Y和Z軸陀螺儀能力，優(yōu)選地以相對(duì)高的頻率(諸如200Hz)來(lái)提供數(shù)據(jù)。所描繪系統(tǒng)(14)還包括頭部姿勢(shì)處理器(36)，諸如ASIC (專(zhuān)用集成電路)、FPGA (現(xiàn)場(chǎng)可編程門(mén)陣列)、和/或ARM處理器(高級(jí)精簡(jiǎn)指令集機(jī)器)，其可以被配置為從捕獲設(shè)備(16)輸出的寬視野圖像信息實(shí)時(shí)或接近實(shí)時(shí)地計(jì)算用戶(hù)的頭部姿勢(shì)。還示出示出的是另一個(gè)處理器(32)，其被配置為執(zhí)行數(shù)字和/或模擬處理以從來(lái)自傳感器總成(39)的陀螺儀、羅盤(pán)和/或加速計(jì)數(shù)據(jù)來(lái)導(dǎo)出姿勢(shì)。所描繪的實(shí)施例還以GPS (37，全球定位衛(wèi)星)子系統(tǒng)以幫助姿勢(shì)和定位為特征。最后，所描繪的實(shí)施例包括渲染引擎(34)，其可以以運(yùn)行軟件程序的硬件為特征，該軟件程序被配置為針對(duì)世界的用戶(hù)視圖提供該用戶(hù)本地的渲染信息以促進(jìn)掃描儀的操作以及成像到用戶(hù)的眼睛中。渲染引擎
(34)可以操作地耦合到(81，70，76/78，80 ;S卩，經(jīng)由有線或無(wú)線連通性)傳感器姿勢(shì)處理器(32)、圖像姿勢(shì)傳感器(36)、眼睛跟蹤相機(jī)(24)和投影子系統(tǒng)(18)，使得以類(lèi)似于視網(wǎng)膜掃描顯示器的方式使用掃描激光裝置(18)來(lái)投影渲染的增強(qiáng)和/或虛擬現(xiàn)實(shí)對(duì)象的光。投影光束(38)的波前可以彎曲或聚焦以符合增強(qiáng)和/或虛擬現(xiàn)實(shí)對(duì)象的期望的焦點(diǎn)距離。微型紅外線相機(jī)(24)可以用于跟蹤眼睛以支持渲染和用戶(hù)輸入(即，用戶(hù)觀看的地方，他聚焦有多深；如以下論述的，眼睛邊緣可以用于估計(jì)焦點(diǎn)的深度)。GPS(37)、陀螺儀、羅盤(pán)和加速計(jì)(39)可以用于提供粗略和/或快速姿勢(shì)估計(jì)。相機(jī)(16)圖像和姿勢(shì)結(jié)合來(lái)自相關(guān)聯(lián)的云計(jì)算資源的數(shù)據(jù)可以用于映射本地世界，以及與虛擬和增強(qiáng)現(xiàn)實(shí)社區(qū)共享用戶(hù)視圖。雖然在圖14中描述特征的顯示系統(tǒng)(14)中硬件中的大多數(shù)硬件被描繪為直接耦合到殼體(84)，該殼體(84)鄰近顯示器(82)和用戶(hù)的眼睛(20)，但是所描繪的硬件組件可以被安裝到其它組件內(nèi)或封裝在其它組件內(nèi)，諸如安裝帶組件，如例如在圖3中示出的。在一個(gè)實(shí)施例中，在圖14中描述特征的系統(tǒng)(14)的所有組件(除了圖像姿勢(shì)處理器(36)、傳感器姿勢(shì)處理器(32)和渲染引擎(34)之外)直接耦合到顯示殼體(84)，以及上面后三個(gè)組件與系統(tǒng)(14)的剩余組件之間的通信可以是通過(guò)無(wú)線通信(諸如超寬帶)或有線通信。所描繪的殼體(84)優(yōu)選地可以由用戶(hù)頭戴和可以穿戴。它還可以以揚(yáng)聲器(諸如可以被插入到用戶(hù)的耳朵中以及用于向可能與增強(qiáng)或虛擬現(xiàn)實(shí)體驗(yàn)相關(guān)的用戶(hù)提供聲音(諸如參照?qǐng)D13提及的叢林聲音)的那些揚(yáng)聲器)以及麥克風(fēng)(其可以用于捕獲用戶(hù)本地的聲首)為特征。
[0086]關(guān)于進(jìn)入用戶(hù)的眼睛(20)中的光(38)的投影，在一個(gè)實(shí)施例中，微型相機(jī)(24)可以用于測(cè)量用戶(hù)的眼睛(20)的中心在幾何上地趨向哪里，一般地其與眼睛(20)的焦點(diǎn)的方位或“焦點(diǎn)的深度” 一致。眼睛趨向的所有點(diǎn)的三維表面被稱(chēng)為“兩眼視界”。焦點(diǎn)距離可以具有有限數(shù)量的深度或可以是無(wú)限變化的。來(lái)自視線聚合距離的投射的光好像是被聚焦到主題(subject)眼(20)，而在視線聚合距離前面或后面的光是模糊不清的。此外，已經(jīng)發(fā)現(xiàn)的是，具有小于大約0.7毫米的光束直徑的空間相干光由人的眼睛正確的解析，而不管眼睛聚焦在哪里；給定這種理解，為了創(chuàng)建適當(dāng)?shù)慕裹c(diǎn)深度的錯(cuò)覺(jué)，可以使用微型相機(jī)(24)來(lái)跟蹤眼睛視線聚合，以及渲染引擎(34)和投影子系統(tǒng)(18)可以用于渲染在焦點(diǎn)對(duì)準(zhǔn)的兩眼視界上或接近兩眼視界上的所有對(duì)象，以及在散焦不同度數(shù)處的所有其它對(duì)象(即，使用有意創(chuàng)建的模糊)。被配置為將相關(guān)光投影到眼睛中的穿透光引導(dǎo)光線器件可以由諸如Lumus公司的供應(yīng)商來(lái)提供。優(yōu)選地，系統(tǒng)(14)以每秒約60幀的幀率或更高向用戶(hù)進(jìn)行渲染。如上所述，優(yōu)選地，微型相機(jī)(24)可以用于眼睛跟蹤，以及軟件可以被配置為獲取不僅視線聚合幾何而且聚焦位置線索以用作用戶(hù)輸入。優(yōu)選地，此類(lèi)系統(tǒng)被配置為具有適合于白天和夜晚使用的亮度和對(duì)比度。在一個(gè)實(shí)施例中，此類(lèi)系統(tǒng)優(yōu)選地具有小于約20毫秒的時(shí)延以用于虛擬對(duì)象對(duì)齊，小于約0.1度的角度對(duì)齊，以及約I弧分的分辨率，其大約是人類(lèi)眼睛的限制。顯示系統(tǒng)(14)可以與定位系統(tǒng)集成，其可以涉及GPS元素、光學(xué)跟蹤、羅盤(pán)、加速計(jì)和/或其它數(shù)據(jù)源以幫助方位和姿勢(shì)確定；定位信息可以用于促進(jìn)在相關(guān)世界的用戶(hù)視圖中的準(zhǔn)確渲染(即，此類(lèi)信息將促進(jìn)眼鏡知道它們相對(duì)于真實(shí)世界在什么地方)。
[0087]其它合適的顯示設(shè)備包含但不限于:臺(tái)式和移動(dòng)計(jì)算機(jī)、智能電話、可以另外地使用軟件和硬件特征以促進(jìn)或仿真三維透視圖(例如，在一個(gè)實(shí)施例中，幀可以可移除地耦合到智能電話，幀以200Hz陀螺儀和加速計(jì)傳感器子集為特征，具有寬視界鏡頭的兩個(gè)小機(jī)器視覺(jué)相機(jī)，以及ARM處理器-以仿真在圖14中描述特征的配置的功能中的一些功能)來(lái)增強(qiáng)的智能電話、平臺(tái)計(jì)算機(jī)、如以上針對(duì)智能電話所述的可以增強(qiáng)的平板計(jì)算機(jī)、使用另外的處理和感知硬件來(lái)增強(qiáng)的平板計(jì)算機(jī)、頭戴式系統(tǒng)(其使用智能電話和/或平板計(jì)算機(jī)以顯示增強(qiáng)和虛擬的視點(diǎn)(經(jīng)由放大光學(xué)器件、鏡子、接觸鏡頭或光結(jié)構(gòu)元素的視覺(jué)調(diào)節(jié)))、非透明的光發(fā)射元素顯示器(IXD、0LED、垂直腔表面發(fā)射激光器、控制激光束等)、透明顯示器(其同時(shí)允許人看到自然世界和人工生成的圖像(例如，光引導(dǎo)光學(xué)元素、照進(jìn)近焦接觸鏡頭的透明和極化OLED、控制激光束等))、具有光發(fā)射元素的接觸鏡頭(諸如，來(lái)自華盛頓州的貝爾維爾的Innovega公司的,在商標(biāo)1ptik RTM下的可獲得的那些具有光發(fā)射元素的接觸鏡頭；它們可以與專(zhuān)用的互補(bǔ)眼鏡組件進(jìn)行組合)、具有光發(fā)射元素的可植入設(shè)備、以及仿真人腦的光學(xué)接收器的可植入設(shè)備。
[0088]使用諸如圖3和圖14中描繪的系統(tǒng)的系統(tǒng)，可以從環(huán)境捕獲三維點(diǎn)，以及可以確定捕獲那些圖像或點(diǎn)的相機(jī)的姿勢(shì)(即，有關(guān)于世界的向量和/或源方位信息)，以便這些點(diǎn)或圖像可以使用這個(gè)姿勢(shì)信息“加標(biāo)記”或與這個(gè)姿勢(shì)信息相關(guān)聯(lián)。然后，由第二相機(jī)捕獲的點(diǎn)可以用于確定第二相機(jī)的姿勢(shì)。也就是說(shuō)，一個(gè)人能夠基于與來(lái)自第一相機(jī)的標(biāo)記的圖像的比較來(lái)定向和定位第二相機(jī)。然后，這個(gè)知識(shí)可以用于提取紋理、制作映射以及創(chuàng)建真實(shí)世界的虛擬拷貝(因?yàn)槿缓笤诒蛔?cè)的真實(shí)世界周?chē)袃蓚€(gè)相機(jī))。因此在基面，在一個(gè)實(shí)施例中，你具有穿戴用于捕獲三維點(diǎn)和產(chǎn)生該點(diǎn)的二維圖像的系統(tǒng)的人，以及可以將這些點(diǎn)和圖像發(fā)送出去給云存儲(chǔ)和處理資源。還可以將它們與嵌入式姿勢(shì)信息本地地緩存(即，緩存標(biāo)記的圖像)；以便云可以準(zhǔn)備好(即，在可用的緩存中)標(biāo)記的二維圖像(即，使用三維姿勢(shì)來(lái)標(biāo)記)，連同三維點(diǎn)。如果用戶(hù)正在觀察某些動(dòng)態(tài)的東西，則他還可以將關(guān)于運(yùn)動(dòng)的另外的信息向上發(fā)送給云(例如，如果看另一個(gè)人的面孔，則用戶(hù)能夠獲得該面孔的紋理圖以及以?xún)?yōu)化的頻率來(lái)向上推送該紋理圖，即使周?chē)澜缭谄渌矫婊旧鲜庆o態(tài)的)。
[0089]云系統(tǒng)可以被配置為保存一些點(diǎn)作為僅用于姿勢(shì)的基準(zhǔn)點(diǎn)，以減少整體的姿勢(shì)跟蹤計(jì)算。一般而言，可能期望的是具有一些輪廓特征以便當(dāng)用戶(hù)在房間周?chē)苿?dòng)時(shí)能夠跟蹤用戶(hù)環(huán)境中的主要項(xiàng)目，諸如墻、桌子等，以及用戶(hù)可能希望能夠“共享”世界以及使一些其它用戶(hù)走進(jìn)該房間并且也看到這些點(diǎn)。此類(lèi)有用的和關(guān)鍵的點(diǎn)可以被稱(chēng)為“基準(zhǔn)點(diǎn)”，因?yàn)樗鼈冏鳛殄^點(diǎn)是相當(dāng)有用的-它們與可以由機(jī)器視覺(jué)識(shí)別的特征以及能夠從在用戶(hù)硬件的不同塊上一致地和重復(fù)地從世界提取的特征有關(guān)。因此，優(yōu)選地可以將這些基準(zhǔn)點(diǎn)保存到云以供進(jìn)一步使用。
[0090]在一個(gè)實(shí)施例中，優(yōu)選的是，在整個(gè)相關(guān)世界上具有相對(duì)均勻分布的基準(zhǔn)點(diǎn)，因?yàn)樗鼈兪窍鄼C(jī)能夠容易地用于識(shí)別位置的各種種類(lèi)的項(xiàng)目。
[0091]在一個(gè)實(shí)施例中，相關(guān)的云計(jì)算配置可以被配置為周期性地整理三維點(diǎn)和任何相關(guān)聯(lián)的元數(shù)據(jù)的數(shù)據(jù)庫(kù)以將來(lái)自各種用戶(hù)的最佳數(shù)據(jù)用于基準(zhǔn)點(diǎn)求精和世界創(chuàng)建兩者。也就是說(shuō)，系統(tǒng)可以被配置為通過(guò)使用來(lái)自觀看相關(guān)世界以及在相關(guān)世界內(nèi)執(zhí)行功能的各種用戶(hù)的輸入來(lái)獲得最佳的數(shù)據(jù)集。在一個(gè)實(shí)施例中，數(shù)據(jù)庫(kù)是固有的不規(guī)則的碎片形-當(dāng)用戶(hù)移動(dòng)到更接近于對(duì)象時(shí)，云向此類(lèi)用戶(hù)傳送更高分辨率的信息。當(dāng)用戶(hù)更接近地映射對(duì)象時(shí)，該數(shù)據(jù)被發(fā)送給云，以及如果新的三維點(diǎn)和基于圖像的紋理圖比先前存儲(chǔ)在數(shù)據(jù)庫(kù)中的那些三維點(diǎn)和基于圖像的紋理圖更好，則云能夠?qū)⑺鼈兲砑拥綌?shù)據(jù)庫(kù)。所有一切可被配置為從許多用戶(hù)同時(shí)發(fā)生。
[0092]如上所述，增強(qiáng)或虛擬現(xiàn)實(shí)體驗(yàn)可以基于識(shí)別某些類(lèi)型的對(duì)象。例如，重要的是理解特定對(duì)象具有深度以便識(shí)別和理解此類(lèi)對(duì)象。識(shí)別器軟件對(duì)象(“識(shí)別器”)可以部署在云或本地資源上，以便當(dāng)用戶(hù)在世界中導(dǎo)航數(shù)據(jù)時(shí)特別地幫助識(shí)別一個(gè)或兩個(gè)平臺(tái)上的各種對(duì)象。例如，如果系統(tǒng)具有針對(duì)包括三維點(diǎn)云和姿勢(shì)標(biāo)記圖像的世界模型的數(shù)據(jù)，以及具有在其上具有一群點(diǎn)的桌子以及該桌子的圖像，則可能不能如人將知道它是桌子那樣來(lái)確定正在觀察的是(實(shí)際上)是桌子。也就是說(shuō)，在空間中的某些三維點(diǎn)和在空間中離開(kāi)某處的示出桌子的大部分的圖像可能不足以立刻識(shí)別正在被觀察的是桌子。為了幫助這種識(shí)別，可以創(chuàng)建特定對(duì)象識(shí)別器，其將進(jìn)入原始三維點(diǎn)云，分割一組點(diǎn)，以及例如提取桌子的頂部表面的平面。類(lèi)似地，可以創(chuàng)建識(shí)別器以分割來(lái)自三維點(diǎn)的墻，以便用戶(hù)能夠在虛擬或增強(qiáng)現(xiàn)實(shí)中改變墻紙或移除墻的一部分，以及具有至另一個(gè)房間的入口(在真實(shí)世界中其實(shí)際上不是存在于那里)。此類(lèi)識(shí)別器操作在世界模型的數(shù)據(jù)內(nèi)，以及可以被認(rèn)為是軟件“機(jī)器人”，其爬行世界模型以及將該世界模型灌輸語(yǔ)義信息，或關(guān)于被認(rèn)為是存在于空間中的點(diǎn)之間的本體論。此類(lèi)識(shí)別器或軟件機(jī)器人可以被配置為使得它們整體存在是關(guān)于在數(shù)據(jù)的相關(guān)世界四處走動(dòng)以及找到它認(rèn)為是墻或椅子或其它項(xiàng)目的東西。它們可以被配置為將一組點(diǎn)標(biāo)記為具有“這組點(diǎn)屬于墻”的功能性等同性，以及可以包括基于點(diǎn)的算法和標(biāo)記姿勢(shì)的圖像分析的組合以用于相互通知系統(tǒng)關(guān)于在點(diǎn)中是什么。
[0093]可以取決于視角出于各種效用的許多目的來(lái)創(chuàng)建對(duì)象識(shí)別器。例如，在一個(gè)實(shí)施例中，咖啡的供應(yīng)商(諸如星巴克)可以投資于在數(shù)據(jù)的相關(guān)世界內(nèi)創(chuàng)建星巴克的咖啡杯的準(zhǔn)確識(shí)別器。此類(lèi)識(shí)別器可以被配置為爬行大大小小的數(shù)據(jù)世界以搜索星巴克的咖啡杯，因此當(dāng)操作在相關(guān)的附近空間中時(shí)(即，可能的是，在剛好位于角落附近的星巴克的批發(fā)商店中，當(dāng)用戶(hù)在一段時(shí)間內(nèi)看他的星巴克杯時(shí)向用戶(hù)提供咖啡)，可以將它們分割出并且識(shí)別到用戶(hù)。隨著杯子被分割出，當(dāng)用戶(hù)在他的桌子上移動(dòng)它時(shí)，它可以被快速地識(shí)別。取決于可以使用的計(jì)算資源，此類(lèi)識(shí)別器可以被配置為不僅運(yùn)行或操作在云計(jì)算資源和數(shù)據(jù)上，而且運(yùn)行或操作在本地資源和數(shù)據(jù)上，或者云和本地兩者。在一個(gè)實(shí)施例中，在具有數(shù)百萬(wàn)的用戶(hù)貢獻(xiàn)于那個(gè)全球模型的云上有世界模型的全球拷貝，但是對(duì)于類(lèi)似于特定城鎮(zhèn)中的特定個(gè)體的辦公室的小世界或子世界而言，全球世界的大多數(shù)將不關(guān)心該辦公室看起來(lái)像什么，因此系統(tǒng)可以被配置為整理數(shù)據(jù)以及移動(dòng)到本地緩存信息(其被認(rèn)為是與給定用戶(hù)最本地相關(guān)的)。在一個(gè)實(shí)施例中，例如，當(dāng)用戶(hù)走向桌子時(shí)，有關(guān)信息(諸如在他的桌子上的特定杯子的分割)可以被配置為僅駐留在他的本地計(jì)算資源而不是在云上，因?yàn)楸蛔R(shí)別為經(jīng)常移動(dòng)的對(duì)象(諸如桌子上的杯子)的對(duì)象不必加重云模型以及云和本地資源之間的傳輸負(fù)擔(dān)的負(fù)擔(dān)。因此，云計(jì)算資源可以被配置為分割三維點(diǎn)和圖像，因此將永久(即，一般不移動(dòng)的)對(duì)象從可移動(dòng)對(duì)象分解開(kāi)，以及這可能影響哪里的相關(guān)聯(lián)數(shù)據(jù)將保留，哪里的將被處理，針對(duì)于更永久的對(duì)象有關(guān)的某種數(shù)據(jù)而言從可穿戴/本地系統(tǒng)中移除處理負(fù)擔(dān)，允許位置的一次處理(然后，該位置可以與無(wú)限的其它用戶(hù)共享)，允許多個(gè)數(shù)據(jù)源在特定物理位置中同時(shí)地建立固定和可移動(dòng)對(duì)象的數(shù)據(jù)庫(kù)，以及從背景中分割出對(duì)象以創(chuàng)建對(duì)象特定的基準(zhǔn)點(diǎn)和紋理圖。
[0094]在一個(gè)實(shí)施例中，系統(tǒng)可以被配置為向用戶(hù)詢(xún)問(wèn)關(guān)于某些對(duì)象的身份的輸入(例如，系統(tǒng)可以向用戶(hù)呈現(xiàn)問(wèn)題，諸如“那是星巴克咖啡杯嗎？ ”)，以便用戶(hù)可以訓(xùn)練系統(tǒng)以及允許系統(tǒng)將語(yǔ)義信息與真實(shí)世界中的對(duì)象相關(guān)聯(lián)。本體論可以提供關(guān)于從世界分割的對(duì)象能夠做什么、它們?nèi)绾伪憩F(xiàn)行為等的指導(dǎo)。在一個(gè)實(shí)施例中，系統(tǒng)可以具有虛擬或真實(shí)的小鍵盤(pán)的特征，諸如無(wú)線連接的小鍵盤(pán)，至智能電話的小鍵盤(pán)的連通性，或諸如此類(lèi)，以促進(jìn)至系統(tǒng)的某種用戶(hù)輸入。
[0095]系統(tǒng)可以被配置為與以虛擬或增強(qiáng)現(xiàn)實(shí)走進(jìn)房間的任何用戶(hù)共享基本元素(墻、窗口、桌子幾何形狀等)，以及在一個(gè)實(shí)施例中，人的系統(tǒng)將被配置為從他的特定視角來(lái)得到圖像并且將那些圖像上傳到云。然后云開(kāi)始填充舊的和新的數(shù)據(jù)集合，以及能夠運(yùn)行優(yōu)化例程以及建立在個(gè)體對(duì)象上存在的基準(zhǔn)點(diǎn)。
[0096]GPS和其它定位信息可以用作至此類(lèi)處理的輸入。此外，其它計(jì)算系統(tǒng)和數(shù)據(jù)(諸如人的在線日程表或臉書(shū)賬戶(hù)信息)可以用作輸入(例如，在一個(gè)實(shí)施例中，云和/或本地系統(tǒng)可以被配置為針對(duì)飛機(jī)票、日期和目的地來(lái)分析用戶(hù)日程表的內(nèi)容，以便隨著時(shí)間，可以從云中將信息移動(dòng)到用戶(hù)的本地系統(tǒng)中以便為在給定目的地中用戶(hù)的到達(dá)時(shí)間做準(zhǔn)備)。
[0097]在一個(gè)實(shí)施例中，可以將諸如QR碼的標(biāo)簽和諸如此類(lèi)插入到世界中以供非統(tǒng)計(jì)姿勢(shì)計(jì)算、安全性/訪問(wèn)控制、特別信息的通信、空間消息傳送、非統(tǒng)計(jì)對(duì)象識(shí)別等的使用。
[0098]在一個(gè)實(shí)施例中，如以上參照“可傳送的世界”描述的，云資源可以被配置為在用戶(hù)之間傳送真實(shí)和虛擬世界的數(shù)字模型，具有由個(gè)體用戶(hù)基于參數(shù)和紋理來(lái)渲染的模式。這降低了有關(guān)于傳送實(shí)時(shí)視頻的帶寬，允許場(chǎng)景的虛擬視點(diǎn)的渲染，以及允許數(shù)百萬(wàn)或更多的用戶(hù)參與一個(gè)虛擬收集而在它們之間相互發(fā)送的他們需要觀看的數(shù)據(jù)(諸如視頻)，因?yàn)樗麄兊囊晥D是通過(guò)他們的本地計(jì)算資源來(lái)渲染的。
[0099]虛擬現(xiàn)實(shí)系統(tǒng)(“VRS”)可以被配置為通過(guò)以下中的一個(gè)或多個(gè)來(lái)注冊(cè)用戶(hù)位置和視野(一起被稱(chēng)為“姿勢(shì)“):使用相機(jī)的實(shí)時(shí)度量的計(jì)算機(jī)視覺(jué)、同時(shí)定位和映射技術(shù)、地圖和來(lái)自傳感器(諸如陀螺儀、加速計(jì)、羅盤(pán)、氣壓計(jì)、GPS、無(wú)線電信號(hào)強(qiáng)度三角測(cè)量、信號(hào)飛行時(shí)間分析、LIDAR范圍、RADAR范圍、測(cè)程法和聲納范圍)的數(shù)據(jù)?？纱┐髟O(shè)備系統(tǒng)可以被配置為同時(shí)地繪制地圖和定向。例如，在未知的環(huán)境中，VRS可以被配置為收集關(guān)于環(huán)境的信息、確定適用于用戶(hù)姿勢(shì)計(jì)算的基準(zhǔn)點(diǎn)、用于世界建模的其它點(diǎn)、用于提供世界的紋理圖的圖像?；鶞?zhǔn)點(diǎn)可以用于光學(xué)地計(jì)算姿勢(shì)。當(dāng)使用更多的細(xì)節(jié)來(lái)映射世界時(shí)，可以分割出更多的對(duì)象以及給出它們自己的紋理圖，但是世界仍然優(yōu)選地使用低分辨率紋理圖以簡(jiǎn)單多邊形低空間分辨率來(lái)表示。其它傳感器，諸如上述論述的那些傳感器，可以用于支持這種建模工作。世界可以是固有的不規(guī)則形狀，在于移動(dòng)或以其它方式搜尋更好的視圖(通過(guò)視點(diǎn)、“監(jiān)督”模式、放大等)要求來(lái)自云資源的高分辨率的信息。更接近地移動(dòng)到對(duì)象捕獲更高的分辨率數(shù)據(jù)，以及這可以被發(fā)送給云，其可以計(jì)算世界模型中的間隙位置處的新的數(shù)據(jù)和/或在世界模型中的間隙位置處插入新的數(shù)據(jù)。
[0100]現(xiàn)在參照?qǐng)D16，可穿戴系統(tǒng)可以被配置為捕獲圖像信息以及提取基準(zhǔn)點(diǎn)和識(shí)別點(diǎn)
(52)?？纱┐鞯谋镜叵到y(tǒng)可以使用以下提及的姿勢(shì)計(jì)算技術(shù)中的一種姿勢(shì)計(jì)算技術(shù)來(lái)計(jì)算姿勢(shì)。云(54)可以被配置為使用圖形和基準(zhǔn)點(diǎn)以從更靜態(tài)的三維背景中分割出三維對(duì)象；圖像提供針對(duì)對(duì)象和世界的紋理圖(紋理可以是實(shí)時(shí)視頻)。云資源(56)可以被配置為存儲(chǔ)和提供用于世界注冊(cè)的靜態(tài)基準(zhǔn)點(diǎn)和紋理。云資源可以被配置為管理用于注冊(cè)的最優(yōu)點(diǎn)密度的點(diǎn)云。云資源可以被配置為(62)使用所有有效的點(diǎn)和紋理以生成對(duì)象的分形實(shí)體模型；云可以管理用于最優(yōu)基準(zhǔn)點(diǎn)密度的點(diǎn)云信息。云資源(64)可以被配置為向用戶(hù)詢(xún)問(wèn)關(guān)于分割對(duì)象和世界的密度的訓(xùn)練；本體論數(shù)據(jù)庫(kù)可以使用應(yīng)答以使用可動(dòng)作的屬性來(lái)灌輸對(duì)象和世界。
[0101] 以下注冊(cè)和映射的特定模式以術(shù)語(yǔ)“O-姿勢(shì)”為特征，其表示從光學(xué)或相機(jī)系統(tǒng)確定的姿勢(shì)；“s-姿勢(shì)”，其表示從傳感器(即，如上所述的，諸如GPS、陀螺儀、羅盤(pán)、加速計(jì)等數(shù)據(jù)的組合)確定的姿勢(shì)；以及“MLC”，其表示云計(jì)算和數(shù)據(jù)管理資源。[0102]1.定向:制作出新環(huán)境的基本圖
[0103]目的:如果環(huán)境沒(méi)有被映射或(等同的)或者如果沒(méi)有連接到MLC，則建立姿勢(shì)。
[0104].從圖像提取點(diǎn)，逐幀進(jìn)行跟蹤，使用S-姿勢(shì)來(lái)三間測(cè)量基準(zhǔn)點(diǎn)。
[0105].使用S-姿勢(shì)，因?yàn)闆](méi)有基準(zhǔn)點(diǎn)
[0106]?基于持久性過(guò)濾差的基準(zhǔn)點(diǎn)。
[0107].這是最基本的模式:對(duì)于低精確度的姿勢(shì)它將總是工作的。使用很少時(shí)間以及一些相對(duì)運(yùn)動(dòng)，它將建立用于O-姿勢(shì)和/或映射的最小化的基準(zhǔn)點(diǎn)集合。 [0108].一旦O-姿勢(shì)可靠就跳出這種模式。
[0109]2.映射和O-姿勢(shì):映射環(huán)境
[0110]目的:建立高準(zhǔn)確度的姿勢(shì)，映射環(huán)境，以及向MLC提供地圖(具有圖像)。
[0111]?從成熟世界基準(zhǔn)點(diǎn)來(lái)計(jì)算O-姿勢(shì)。使用S-姿勢(shì)作為O-姿勢(shì)解決方案的檢查以及用于加速計(jì)算(O-姿勢(shì)是非線性梯度搜索)。
[0112].成熟基準(zhǔn)點(diǎn)可能來(lái)自MLC，或是本地確定的那些基準(zhǔn)點(diǎn)。
[0113].從圖像提取點(diǎn)，逐幀進(jìn)行跟蹤，使用O-姿勢(shì)來(lái)進(jìn)行三角測(cè)量基準(zhǔn)點(diǎn)。
[0114]?基于持久性過(guò)濾差的基準(zhǔn)點(diǎn)
[0115].向MLC提供基準(zhǔn)點(diǎn)和姿勢(shì)標(biāo)記的圖像
[0116]?后三個(gè)步驟不需要實(shí)時(shí)發(fā)生。
[0117]3.0-姿勢(shì):確定姿勢(shì)
[0118]目的:使用最小化的處理功率在已經(jīng)映射的環(huán)境中建立高準(zhǔn)確度的姿勢(shì)。
[0119]?使用歷史的S-姿勢(shì)或O-狀態(tài)(n-l，n-2，n-3等)以估計(jì)在η處的姿勢(shì)。
[0120]?使用在η處的姿勢(shì)以將基準(zhǔn)點(diǎn)投影到在η處捕獲的圖像中，然后從該投影來(lái)創(chuàng)建圖像遮障。
[0121].從遮障區(qū)域來(lái)提取點(diǎn)(僅通過(guò)從圖像的遮障子集中來(lái)搜索/提取點(diǎn)極大地降低了處理負(fù)擔(dān))。
[0122].從提取的點(diǎn)和成熟的世界基準(zhǔn)點(diǎn)來(lái)計(jì)算O-姿勢(shì)。
[0123].使用在η處的S-姿勢(shì)和O-姿勢(shì)以估計(jì)在η+1處的姿勢(shì)。
[0124]?選項(xiàng):向MLC云提供姿勢(shì)標(biāo)記的圖像/視頻。
[0125]4.超級(jí)Res:確定超級(jí)分辨率圖像和基準(zhǔn)點(diǎn)
[0126]目的:創(chuàng)建超級(jí)分辨率圖像和基準(zhǔn)點(diǎn)。
[0127].使姿勢(shì)標(biāo)記的圖像復(fù)合以創(chuàng)建超級(jí)分辨率圖像。
[0128].使用超級(jí)分辨率圖像以增強(qiáng)基準(zhǔn)點(diǎn)方位的估計(jì)。
[0129].從超級(jí)分辨率基準(zhǔn)點(diǎn)和圖像來(lái)迭代O-姿勢(shì)估計(jì)。
[0130].選項(xiàng):在可穿戴設(shè)備(實(shí)時(shí)地)或(MLC)(用于更好的世界)循環(huán)以上步驟。
[0131]在一個(gè)實(shí)施例中，VLS系統(tǒng)可以被配置為具有某些基本功能，以及由可以通過(guò)VLS分發(fā)以提供某些特定功能的“應(yīng)用(app)”或應(yīng)用促進(jìn)的功能。例如，可以將以下應(yīng)用安裝到主題VLS以提供特定功能。
[0132]美術(shù)繪制的應(yīng)用。藝術(shù)家創(chuàng)建表示他們看到的世界的圖像轉(zhuǎn)換。用戶(hù)能夠使用這些轉(zhuǎn)換，因此“通過(guò)”藝術(shù)家的眼睛觀看世界。
[0133]桌面建模應(yīng)用。用戶(hù)從被放在桌子上的物理對(duì)象來(lái)“建立”的對(duì)象。[0134]虛擬臨場(chǎng)應(yīng)用。用戶(hù)向其它用戶(hù)傳送空間的虛擬模型，然后其它用戶(hù)使用虛擬化身在空間附近移動(dòng)。
[0135]化身情感應(yīng)用。微妙的音調(diào)變化的測(cè)量，監(jiān)測(cè)頭部移動(dòng)、體溫、心跳等，在虛擬臨場(chǎng)化身上制作微妙的效果的動(dòng)畫(huà)。數(shù)字化人的狀態(tài)信息以及使用低于視頻的帶寬將其傳送給遠(yuǎn)程化身。另外，此類(lèi)數(shù)據(jù)是可映射到有情感的非人類(lèi)化身。例如，狗的化身能夠基于興奮的音調(diào)變化通過(guò)搖它的尾巴示出興奮。
[0136]與將一切發(fā)送回給服務(wù)器作為對(duì)照，高效的網(wǎng)格類(lèi)型網(wǎng)絡(luò)可能是期望用于移動(dòng)數(shù)據(jù)。然而，許多網(wǎng)格網(wǎng)絡(luò)具有次優(yōu)的性能，因?yàn)闆](méi)有很好地描述方位信息和拓?fù)涞奶攸c(diǎn)。在一個(gè)實(shí)施例中，系統(tǒng)可以用于以較高的準(zhǔn)確性來(lái)確定所有用戶(hù)的位置，以及因此網(wǎng)格網(wǎng)絡(luò)配置可以用于高性能。
[0137]在一個(gè)實(shí)施例中，系統(tǒng)可以用于搜索。使用增強(qiáng)現(xiàn)實(shí)，例如，用戶(hù)將生成和留下有關(guān)于物理世界的許多方面的內(nèi)容。這種內(nèi)容中的許多內(nèi)容不是文本的，以及因此不易于由典型的方法來(lái)搜索。系統(tǒng)可以被配置為提供用于跟蹤個(gè)人和社交網(wǎng)絡(luò)內(nèi)容以用于搜索和參考目的的設(shè)施。
[0138]在一個(gè)實(shí)施例中，如果顯示設(shè)備通過(guò)連續(xù)幀來(lái)跟蹤二維點(diǎn)，則將向量值函數(shù)適配到那些點(diǎn)的時(shí)間演化，有可能的是簡(jiǎn)化在時(shí)間中的任何點(diǎn)(例如，幀之間)或在不久的將來(lái)中的某些點(diǎn)處(通過(guò)將向量值函數(shù)在時(shí)間中向前推進(jìn))的向量值函數(shù)。這允許創(chuàng)建高分辨率的后處理，以及在下一個(gè)圖像被實(shí)際捕獲之前預(yù)測(cè)未來(lái)的姿勢(shì)(例如，在沒(méi)有雙倍相機(jī)幀速率的情況下，雙倍注冊(cè)速度是可能的)。
[0139]對(duì)于身體固定渲染(與頭上固定或世界固定渲染對(duì)比)，期望的是身體的準(zhǔn)確視圖。而不是測(cè)量身體，在一個(gè)實(shí)施例中通過(guò)用戶(hù)頭部的平均方位來(lái)導(dǎo)出它的位置是可能的。如果用戶(hù)的面孔絕大對(duì)數(shù)時(shí)間指向前方，則頭部方位的多天的平均值將揭示那個(gè)方向。結(jié)合重力向量，這提供了合理的穩(wěn)定的坐標(biāo)系以用于身體固定的渲染。使用相對(duì)于這種長(zhǎng)期持續(xù)時(shí)間的坐標(biāo)系的頭部方位的當(dāng)前測(cè)量允許在用戶(hù)身體上或用戶(hù)身體附近的對(duì)象的一致性渲染-不使用額外的儀器。對(duì)于這種實(shí)施例的實(shí)現(xiàn)方式，可以啟動(dòng)頭部方向向量的單個(gè)寄存器的平局值，以及數(shù)據(jù)的當(dāng)前和除以德?tīng)査?delta)-t將給出當(dāng)前平均的頭部方位。保持五個(gè)左右的寄存器，在第n-5天、第n-4天、第n_3天、第n_2天、第n_l天啟動(dòng)允許使用前“ η ”天的滾動(dòng)平均值。
[0140]在一個(gè)實(shí)施例中，場(chǎng)景可以被縮小以及以小于實(shí)際空間呈現(xiàn)給用戶(hù)。例如，在存在必須以巨大空間(即，諸如足球場(chǎng))渲染的場(chǎng)景的情況下，可能沒(méi)有等同的巨大空間呈現(xiàn)，或?qū)τ谟脩?hù)而言此類(lèi)大空間可能是不方便的。在一個(gè)實(shí)施例中，系統(tǒng)可以被配置為降低場(chǎng)景的比例，以便用戶(hù)可以觀看小型中的它。例如，一個(gè)人可能具有神眼視圖視頻游戲，或世界杯足球游戲，在未縮放的場(chǎng)地中-或按比例縮小場(chǎng)地中進(jìn)行以及呈現(xiàn)在客廳地板上。系統(tǒng)可以被配置為僅僅轉(zhuǎn)變渲染的視角、比例和相關(guān)聯(lián)的適應(yīng)距離。
[0141]系統(tǒng)還被配置為通過(guò)操縱虛擬或增強(qiáng)現(xiàn)實(shí)對(duì)象的焦點(diǎn)，通過(guò)高亮它們，變化對(duì)比度、亮度、比例等引起用戶(hù)注意到特定項(xiàng)目。
[0142]優(yōu)選地，系統(tǒng)可以被配置為實(shí)現(xiàn)以下模式:
[0143]開(kāi)放空間渲染:
[0144].從結(jié)構(gòu)化環(huán)境中抓取關(guān)鍵點(diǎn)，然后使用ML渲染在空間之間進(jìn)行填充。[0145].潛在的場(chǎng)所:舞臺(tái)、輸出空間、大室內(nèi)空間(體育館)。
[0146]對(duì)象包裝:
[0147].識(shí)別真實(shí)世界中的三維對(duì)象，然后增強(qiáng)它們。
[0148].這里的“識(shí)別”意味著具有足夠高準(zhǔn)確性將三維物件(blob)辨認(rèn)為錨圖像。
[0149].有兩種類(lèi)型的識(shí)別:1)分類(lèi)對(duì)象的類(lèi)型(例如，“面孔”);2)分類(lèi)對(duì)象的特定實(shí)例(例如，喬，一個(gè)人)。
[0150].建立針對(duì)各種東西(墻、天花板、地板、面孔、路、天空、摩天大樓、低矮的平房、桌子、椅子、汽車(chē)、路標(biāo)、廣告牌、門(mén)、窗戶(hù)、書(shū)架等)的識(shí)別軟件對(duì)象。
[0151].一些標(biāo)識(shí)器是類(lèi)型I，以及具有通用的功能，例如“把我的視頻放在那個(gè)墻上”，“那是狗”。
[0152].其它識(shí)別器是類(lèi)型II，以及具有特定的功能，例如“我的電視在_我的_客廳的墻上距離天花板3.2英尺”，“那是菲多(Fido) ” (這是更有能力的通用識(shí)別器的版本)
[0153].建立作為軟件對(duì)象的識(shí)別器允許功能的計(jì)量釋放，以及體驗(yàn)的更細(xì)粒度的控制
[0154]身體為中心的渲染
[0155]?渲染固定到 用戶(hù)身體的虛擬對(duì)象。
[0156].一些東西應(yīng)當(dāng)在用戶(hù)身體的周?chē)?，像?shù)字工具帶。
[0157]?這要求知道身體在何處，而不是僅僅是頭部。通過(guò)具有用戶(hù)頭部方位的長(zhǎng)期平局值可以獲得身體方位的合理的準(zhǔn)確性(頭部通常平行于地面指向前方)。
[0158].簡(jiǎn)單的情況是在頭部周?chē)〉膶?duì)象。
[0159]透明度/刨面圖
[0160].對(duì)于類(lèi)型II的識(shí)別的對(duì)象，示出了刨面圖
[0161].將類(lèi)型II的識(shí)別的對(duì)象鏈接到三維模型的在線數(shù)據(jù)庫(kù)。
[0162].應(yīng)當(dāng)從具有通?？梢垣@得的三維模型(諸如汽車(chē)和公共設(shè)施)的對(duì)象開(kāi)始。
[0163]虛擬臨場(chǎng)
[0164].將遠(yuǎn)程人的化身描繪到開(kāi)放空間中。
[0165]ο “開(kāi)放空間渲染”的子集(以上)。
[0166]O用戶(hù)創(chuàng)建本地環(huán)境的粗略幾何形狀，以及迭代地向其它用戶(hù)發(fā)送幾何形狀和紋
理圖兩者。
[0167]O用戶(hù)必須向其它用戶(hù)授予準(zhǔn)許以進(jìn)入他們的環(huán)境。
[0168]O微妙的聲音隊(duì)列、手勢(shì)跟蹤、和頭部運(yùn)動(dòng)被發(fā)送給遠(yuǎn)程化身。根據(jù)這些模糊輸入使化身動(dòng)畫(huà)。
[0169]O以上最小化帶寬。
[0170].使墻成為至另一個(gè)房間的“入口”
[0171]O正如其它方法，傳送幾何形狀和紋理圖。
[0172]O替代示出本地房間中的化身，將識(shí)別的對(duì)象(例如，墻)指定為至其它環(huán)境的入口。以這種方式，多個(gè)人能夠坐在它們自己的房間中，“通過(guò)”墻看到其它人的環(huán)境。
[0173]虛擬視點(diǎn)
[0174]?當(dāng)一組相機(jī)(人)查看來(lái)自不同視角的場(chǎng)景時(shí)，創(chuàng)建區(qū)域的密集數(shù)字模型。這種豐富的數(shù)字模型是可以從至少一個(gè)相機(jī)能夠看到的任何有利位置來(lái)渲染的。[0175]?示例。在婚禮處的人。由所有的參加者來(lái)聯(lián)合地建模場(chǎng)景。識(shí)別器進(jìn)行區(qū)分以及紋理圖靜止對(duì)象不同于移動(dòng)對(duì)象(例如，墻具有穩(wěn)定的紋理圖，人具有更高頻的移動(dòng)紋理圖。)
[0176]?使用實(shí)時(shí)更新的豐富數(shù)字模型，場(chǎng)景可以從任何視角來(lái)渲染。在后面的參加者為了更好的視圖能夠在空氣中飛到前排。
[0177].參加者能夠示出它們移動(dòng)的化身，或使它們的視角被隱藏。
[0178]?場(chǎng)外的參加者能夠使用它們的化身或者如果組織者允許不可見(jiàn)地找到“座位”。
[0179]?很可能要求非常高的帶寬。概念上地，高頻數(shù)據(jù)在高速本地?zé)o線上流過(guò)人群。低頻數(shù)據(jù)來(lái)自MLC。
[0180].由于所有的參加者具有高準(zhǔn)確性的方位信息，所以為本地網(wǎng)絡(luò)建立最佳路由路徑是簡(jiǎn)單的。
[0181]消息傳送
[0182].簡(jiǎn)單的無(wú)聲的消息傳送可能是期望的
[0183].對(duì)于這個(gè)和其它應(yīng)用，可能期望的是具有手指和弦鍵盤(pán)。
[0184].觸覺(jué)手套解決方案可以提供增強(qiáng)的性能。
[0185]完全虛擬現(xiàn)實(shí)(VR)
[0186].隨著視覺(jué)系統(tǒng)變暗，示出在真實(shí)世界上沒(méi)有被覆蓋的視圖。
[0187].注冊(cè)系統(tǒng)仍然需要根據(jù)頭部方位。
[0188].“睡椅模式”允許用戶(hù)飛行。
[0189]?“行走模式”將真實(shí)世界中的對(duì)象重新渲染成虛擬對(duì)象，因此用戶(hù)不會(huì)與真實(shí)世界混淆。
[0190].對(duì)于暫停不相信而言，渲染身體部分是必要的。這意味著在FOV中具有用于跟蹤和渲染身體部分的方法。
[0191]?非透明面具(visor)是具有許多圖像加強(qiáng)優(yōu)點(diǎn)而不可能具有直接疊加的VR的一種形式。
[0192].寬F0V，可能甚至具有看到后部的能力
[0193].各種形式的“超級(jí)視覺(jué)”:望遠(yuǎn)鏡、透視、紅外線、神眼等。
[0194]在一個(gè)實(shí)施例中，用于虛擬和/或增加用戶(hù)體驗(yàn)的系統(tǒng)被配置為使得可以至少部分地基于具有來(lái)自諸如語(yǔ)音音調(diào)變化分析和面部識(shí)別分析(如由相關(guān)軟件模塊執(zhí)行的)的源的輸入的可穿戴設(shè)備上的數(shù)據(jù)使與用戶(hù)相關(guān)聯(lián)的遠(yuǎn)程化身進(jìn)行動(dòng)畫(huà)。例如，參照回圖12，可以基于在用戶(hù)面孔上的微笑的面部識(shí)別，或基于語(yǔ)音或說(shuō)話的友好語(yǔ)調(diào)(如由被配置為分析至麥克風(fēng)(其可從用戶(hù)本地地捕獲語(yǔ)音樣本)的語(yǔ)音輸入的軟件來(lái)確定)，使得蜜蜂化身(2)進(jìn)行動(dòng)畫(huà)以具有友好的微笑。此外，可以以化身好像表達(dá)某種情感的方式使得化身角色進(jìn)行動(dòng)畫(huà)。例如，在化身是狗的實(shí)施例中，由人類(lèi)用戶(hù)的本地的系統(tǒng)檢測(cè)到的高興的微笑或語(yǔ)調(diào)在化身中可以被表示成搖著尾巴的狗的化身。
[0195] 本文中描述了本發(fā)明的各種示例性實(shí)施例。以非限制性的含義來(lái)參照這些示例。提供它們以說(shuō)明本發(fā)明的更寬廣的應(yīng)用方面。在不背離本發(fā)明的真實(shí)精神和范圍的情況下，可以做出對(duì)于所述的本發(fā)明的各種變化以及可以使用等同形式來(lái)替代。另外，可以做出許多修改以將特定情況、材料、物質(zhì)的組合、過(guò)程、過(guò)程動(dòng)作(多個(gè))或步驟(多個(gè))適應(yīng)于本發(fā)明的目的(多個(gè))、精神或范圍。此外，如本領(lǐng)域的技術(shù)人員將了解的是，在本文中描述和說(shuō)明的個(gè)體變型中的每個(gè)個(gè)體變型具有離散的組件和特征，在不背離本發(fā)明的范圍或精神的情況下，該組件和特征可以容易地與其它若干實(shí)施例中的任何實(shí)施例的特征分離或與其組合。所有此類(lèi)修改旨在是落入與本公開(kāi)相關(guān)聯(lián)的權(quán)利要求書(shū)的范圍內(nèi)。
[0196]本發(fā)明包含可以使用主題設(shè)備來(lái)執(zhí)行的方法。該方法可以包括提供此類(lèi)合適設(shè)備的動(dòng)作。此類(lèi)提供可以由終端用戶(hù)來(lái)執(zhí)行。也就是說(shuō)，“提供”動(dòng)作僅要求終端用戶(hù)獲得、訪問(wèn)、接近、定位、設(shè)置、激活、升高或其它方式的動(dòng)作來(lái)提供主題方法中必須的設(shè)備。本文所述方法可以以所述事件的邏輯上可能的任何順序，以及以時(shí)間的所述順序來(lái)執(zhí)行。
[0197]本發(fā)明的示例性方面，連同關(guān)于材料選擇和制作的細(xì)節(jié)已經(jīng)在上面進(jìn)行了闡述。至于本發(fā)明的其它細(xì)節(jié)，這些細(xì)節(jié)可以結(jié)合上述引用的專(zhuān)利和出版物以及本領(lǐng)域的技術(shù)人員眾所周知的或了解的來(lái)了解。在如通?；蜻壿嬌鲜褂玫牧硗鈩?dòng)作方面，相對(duì)于本發(fā)明的基于方法的方面，這可以同樣適用。
[0198]另外，通過(guò)已經(jīng)參照可選地并入各種特征的若干示例來(lái)描述的本發(fā)明，本發(fā)明不限制于根據(jù)相對(duì)于本發(fā)明的每種變型所預(yù)期的來(lái)描述或指示的那些方面。在不背離本發(fā)明的真實(shí)精神和范圍的情況下，可以針對(duì)所述的本發(fā)明做出各種變化，以及使用等同形式(不論是在本文中敘述的還是出于某種簡(jiǎn)明的原因未包含的)來(lái)替代。另外，這里提供了值的范圍，應(yīng)當(dāng)理解的是，每個(gè)介于中間的值(在該范圍的上限和下限之間)，以及在那個(gè)闡明的范圍中的任何其它闡明的或介于中間的值被涵蓋在本發(fā)明內(nèi)。
[0199]此外，可以預(yù)期的是，所述的本發(fā)明的變型的任何可選特征可以獨(dú)立地或與本文所述的特征中的一個(gè)或多個(gè)特征組合來(lái)闡述和要求保護(hù)。提及的單數(shù)項(xiàng)，包含具有多個(gè)相同項(xiàng)目存在的可能性。更具體地，如在本文中和在與本文相關(guān)聯(lián)的權(quán)利要求書(shū)中使用的，單數(shù)形式“一個(gè)”、“一種”、“所述”和“該”包含復(fù)數(shù)指示物，除非以其它方式明確地闡明。也就是說(shuō)，在以上描述以及與本公開(kāi)相關(guān)聯(lián)的權(quán)利要求書(shū)中，冠詞的使用允許主題項(xiàng)目中的“至少一個(gè)”。還需注意的是，此類(lèi)權(quán)利要求書(shū)可以被起草成排除任何可選的元素。照此，這個(gè)聲明旨在用作針對(duì)此類(lèi)排他性術(shù)語(yǔ)(如，“僅”、“只有”和諸如此類(lèi))連同要求保護(hù)的元素的敘述的使用，或“否定”限制的使用的前置基礎(chǔ)。
[0200]在不使用此類(lèi)排他性術(shù)語(yǔ)的情況下，在與本公開(kāi)相關(guān)聯(lián)的權(quán)利要求書(shū)中的術(shù)語(yǔ)“包括”應(yīng)當(dāng)允許包含任何另外元素-不管在此類(lèi)權(quán)利要求書(shū)中是否列舉給定數(shù)目的元素，或者特征的添加可以被認(rèn)為轉(zhuǎn)變?cè)诖祟?lèi)權(quán)利要求書(shū)中闡述的元素的性質(zhì)。除了本文中明確定義的外，本文中使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)被給予如通常理解的含義盡可能寬的范圍同時(shí)維持權(quán)利要求的有效性。
[0201]本發(fā)明的寬度不限制于提供的示例和/或主題說(shuō)明書(shū)，而是相反僅由與本公開(kāi)相關(guān)聯(lián)的權(quán)利要求語(yǔ)言的范圍來(lái)限制。
【權(quán)利要求】
1.一種用于使得兩個(gè)或更多的用戶(hù)能夠在包括虛擬世界數(shù)據(jù)的虛擬世界內(nèi)進(jìn)行交互的系統(tǒng)，包括: 計(jì)算機(jī)網(wǎng)絡(luò)，其包括一個(gè)或多個(gè)計(jì)算設(shè)備，所述一個(gè)或多個(gè)計(jì)算設(shè)備包括:存儲(chǔ)器、處理電路和至少部分地存儲(chǔ)在所述存儲(chǔ)器中并且由所述處理電路執(zhí)行以處理所述虛擬世界數(shù)據(jù)的至少一部分的軟件； 其中所述虛擬世界數(shù)據(jù)的至少第一部分來(lái)源于第一用戶(hù)本地的第一用戶(hù)虛擬世界，以及其中所述計(jì)算機(jī)網(wǎng)絡(luò)可操作地向用于向第二用戶(hù)呈現(xiàn)的用戶(hù)設(shè)備傳輸所述第一部分，使得所述第二用戶(hù)可以從所述第二用戶(hù)的位置來(lái)體驗(yàn)所述第一部分，使得所述第一用戶(hù)的虛擬世界的方面被高效地傳送給所述第二用戶(hù)。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述第一用戶(hù)和第二用戶(hù)在不同的物理位置中。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述第一用戶(hù)和第二用戶(hù)基本上在同一物理位置中。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述虛擬世界的至少一部分響應(yīng)于所述虛擬世界數(shù)據(jù)的變化而變化。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述虛擬世界的至少一部分響應(yīng)于由所述用戶(hù)設(shè)備感知的物理對(duì)象而變化。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中在所述虛擬世界數(shù)據(jù)中的所述變化表示虛擬對(duì)象與所述物理對(duì)象具有預(yù)定關(guān)系。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中將在所述虛擬世界數(shù)據(jù)中的所述變化提供給第二用戶(hù)設(shè)備以用于根據(jù)所述預(yù)定關(guān)系向所述第二用戶(hù)呈現(xiàn)。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述虛擬世界可操作地由計(jì)算機(jī)服務(wù)器或用戶(hù)設(shè)備中的至少一個(gè)來(lái)渲染。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中以二維格式來(lái)呈現(xiàn)所述虛擬世界。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中以三維格式來(lái)呈現(xiàn)所述虛擬世界。
11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述用戶(hù)設(shè)備可操作地提供接口以用于使得能夠在增強(qiáng)現(xiàn)實(shí)模式中在用戶(hù)和所述虛擬世界之間進(jìn)行交互。
12.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述用戶(hù)設(shè)備可操作地提供接口以用于使得能夠在虛擬現(xiàn)實(shí)模式中在用戶(hù)和所述虛擬世界之間進(jìn)行交互。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述用戶(hù)設(shè)備可操作地提供接口以用于使得能夠在增強(qiáng)和虛擬現(xiàn)實(shí)模式的組合中在用戶(hù)和所述虛擬世界之間進(jìn)行交互。
14.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中在數(shù)據(jù)網(wǎng)絡(luò)上來(lái)傳輸所述虛擬世界數(shù)據(jù)。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述計(jì)算機(jī)網(wǎng)絡(luò)可操作地接收來(lái)自用戶(hù)設(shè)備的所述虛擬世界數(shù)據(jù)的至少一部分。
16.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中傳輸給所述用戶(hù)設(shè)備的所述虛擬世界數(shù)據(jù)的至少一部分包括用于生成所述虛擬世界的至少一部分的指令。
17.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中將所述虛擬世界數(shù)據(jù)的至少一部分傳輸給網(wǎng)關(guān)以用于處理或分發(fā)中的至少一個(gè)。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述一個(gè)或多個(gè)計(jì)算機(jī)服務(wù)器中的至少一個(gè)計(jì)算機(jī)服務(wù)器可操作地處理由所述網(wǎng)關(guān)分發(fā)的虛擬世界數(shù)據(jù)。
【文檔編號(hào)】G09G5/00GK104011788SQ201280064922
【公開(kāi)日】2014年8月27日 申請(qǐng)日期:2012年10月29日 優(yōu)先權(quán)日:2011年10月28日
【發(fā)明者】S·A·米勒 申請(qǐng)人:奇躍公司