物理環(huán)境可由計(jì)算機(jī)使用各種傳感器來映射以檢測(cè)對(duì)象的位置和/或移動(dòng)以及環(huán)境中的其它特征。然而,某些環(huán)境可能是動(dòng)態(tài)的并且包括彼此相對(duì)地移動(dòng)的特征。在這樣的環(huán)境中,諸如姿勢(shì)識(shí)別和現(xiàn)實(shí)世界視覺增強(qiáng)的各應(yīng)用可受現(xiàn)實(shí)世界特征的移動(dòng)影響。
概述
揭示了涉及通過計(jì)算設(shè)備確定可彼此相對(duì)地移動(dòng)的現(xiàn)實(shí)世界對(duì)象的坐標(biāo)框架的各實(shí)施例。例如,一個(gè)公開的實(shí)施例提供一種用于確定物理環(huán)境中的坐標(biāo)框架的方法。該方法包括獲得兩個(gè)或更多個(gè)坐標(biāo)框架中的現(xiàn)實(shí)世界特征的表示,并從頭戴式顯示設(shè)備外部的一個(gè)或多個(gè)傳感器獲得運(yùn)動(dòng)數(shù)據(jù)。該方法還包括基于傳感器數(shù)據(jù)將一個(gè)坐標(biāo)框架中的特征與另一坐標(biāo)框架中的特征區(qū)別開。
提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本
技術(shù)實(shí)現(xiàn)要素:
并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征,也不旨在用于限制所要求保護(hù)主題的范圍。而且,所要求保護(hù)的主題不限于解決該公開的任一部分中所注的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。
附圖簡(jiǎn)述
圖1A-1C示出根據(jù)本發(fā)明的一實(shí)施例的示例物理環(huán)境并解說了虛擬圖像的顯示用以增強(qiáng)環(huán)境。
圖2是根據(jù)本發(fā)明的一實(shí)施例的示例坐標(biāo)框架檢測(cè)和分派系統(tǒng)的框圖。
圖3是描繪了根據(jù)本方面的一個(gè)實(shí)施例的用于在物理環(huán)境中確定坐標(biāo)框架的方法的流程圖。
圖4是說明根據(jù)本發(fā)明的一實(shí)施例的用于分割和合并坐標(biāo)框架的方法的流程圖。
圖5示出根據(jù)本公開的一實(shí)施例的頭戴式顯示設(shè)備的示例。
圖6是計(jì)算系統(tǒng)的示例實(shí)施例的框圖。
詳細(xì)描述
增強(qiáng)現(xiàn)實(shí)體驗(yàn)可通過在透視顯示器(現(xiàn)實(shí)世界環(huán)境透過其可見)上顯示虛擬圖像,來被提供在諸如頭戴式顯示設(shè)備(HMD)之類的透視顯示設(shè)備上?,F(xiàn)實(shí)世界可通過來自HMD上面朝外的圖像傳感器來被檢測(cè)并定位,并且虛擬圖像可接著被定位在該顯示上增強(qiáng)該現(xiàn)實(shí)世界對(duì)象的位置處。
為了實(shí)現(xiàn)從HMD的佩戴者的視角正確地對(duì)齊到現(xiàn)實(shí)世界環(huán)境的增強(qiáng)現(xiàn)實(shí)體驗(yàn),佩戴者的移動(dòng)可被跟蹤以幫助確定在哪里顯示內(nèi)容。然而,佩戴者的移動(dòng)可起源于多個(gè)運(yùn)動(dòng)源(諸如佩戴者被定位在其中的移動(dòng)車輛)。這樣的相對(duì)運(yùn)動(dòng)可能使得將虛擬圖像與現(xiàn)實(shí)世界對(duì)象對(duì)齊的任務(wù)復(fù)雜化。
因此,在此揭示了有關(guān)通過從一個(gè)或多個(gè)傳感器接收到的動(dòng)作數(shù)據(jù)來區(qū)分在不同坐標(biāo)框架中的現(xiàn)實(shí)世界特征的移動(dòng)以幫助虛擬圖像增強(qiáng)對(duì)現(xiàn)實(shí)世界特征的正確對(duì)齊的各實(shí)施例,其中一個(gè)或多個(gè)傳感器在增強(qiáng)現(xiàn)實(shí)顯示設(shè)備外部。圖1A-1C示出了示例物理環(huán)境100,其中傳感器數(shù)據(jù)可被用來將在圖像數(shù)據(jù)中捕捉的現(xiàn)實(shí)世界特征與不同的所標(biāo)識(shí)的坐標(biāo)框架相關(guān)聯(lián)。首先,圖1A示出了車輛102沿著路行駛并且正在被駕駛員104駕駛。隨著車輛沿著路移動(dòng),不同對(duì)象或其它特征可彼此相對(duì)地移動(dòng)。例如,車輛102可能正相對(duì)于基本上固定的現(xiàn)實(shí)世界對(duì)象(諸如標(biāo)志106和樹木108)移動(dòng)。車輛102還可進(jìn)一步相對(duì)于車輛110移動(dòng)。此外,盡管駕駛員104可與車輛102一致地(例如,相對(duì)于固定的現(xiàn)實(shí)世界對(duì)象和其它車輛110)移動(dòng),駕駛員104也可相對(duì)于車輛移動(dòng),諸如當(dāng)駕駛員104轉(zhuǎn)動(dòng)以查看不同方向或作出相對(duì)于車輛102的坐標(biāo)框架的其它移動(dòng)時(shí)。因此,在此示例中,標(biāo)志106和樹木108可被看成是處在第一坐標(biāo)框架內(nèi)、車輛102處在第二坐標(biāo)框架內(nèi)、車輛110處在第三坐標(biāo)框架內(nèi)、(當(dāng)駕駛員104相對(duì)于車輛102移動(dòng)時(shí))駕駛員104處在第四坐標(biāo)框架內(nèi)。
區(qū)分與駕駛員相關(guān)聯(lián)的坐標(biāo)框架和與車輛相關(guān)聯(lián)的不同的坐標(biāo)框架可使得增強(qiáng)現(xiàn)實(shí)顯示設(shè)備在確定駕駛員的移動(dòng)時(shí)能夠補(bǔ)償車輛的移動(dòng)。這可允許關(guān)于因處于車輛102中所導(dǎo)致的駕駛員104的運(yùn)動(dòng)的信息被從與駕駛員104的坐標(biāo)框架相關(guān)聯(lián)的運(yùn)動(dòng)信號(hào)傳感器中減去,從而幫助獲得關(guān)于駕駛員104相對(duì)于車輛102的運(yùn)動(dòng)的信息。此外,對(duì)來自IMU或其它運(yùn)動(dòng)傳感器的運(yùn)動(dòng)數(shù)據(jù)的使用相比于單單從圖像數(shù)據(jù)確定物理世界特征的相對(duì)運(yùn)動(dòng)而言可簡(jiǎn)化對(duì)這樣的坐標(biāo)框架的確定。
物理環(huán)境內(nèi)的坐標(biāo)框架可基于來自任何合適的傳感器的數(shù)據(jù)來被確定。例如,諸如慣性測(cè)量單元的運(yùn)動(dòng)傳感器和/或其它合適的傳感器可被定位在環(huán)境內(nèi)的對(duì)象中或上。作為更具體的示例,標(biāo)志106被示為包括附于和/或集成在標(biāo)志內(nèi)的傳感器112。傳感器112可測(cè)量并廣播和/或發(fā)送與標(biāo)志106相關(guān)聯(lián)的位置和/或運(yùn)動(dòng)特性。例如,傳感器112可指示標(biāo)志的位置(例如,在絕對(duì)或相對(duì)坐標(biāo)中,諸如緯度/經(jīng)度等)。將理解這樣的傳感器可位于標(biāo)志的坐標(biāo)框架中的任何其它合適的位置,并可被配置來以任何合適的方式傳送傳感器數(shù)據(jù)。此外,與大地的坐標(biāo)框架相關(guān)的運(yùn)動(dòng)也可通過其它傳感器,諸如全球定位系統(tǒng)(GPS)傳感器,來確定。
類似地,車輛102和110分別可包括傳感器114和116。此外,由駕駛員104佩戴的頭戴式顯示設(shè)備(HMD)118可包括一個(gè)或多個(gè)傳感器,如以下參考圖5描述的。這些對(duì)象的每一個(gè)可包括用于獲得有關(guān)現(xiàn)實(shí)世界特征的位置和相對(duì)運(yùn)動(dòng)的信息的任何合適數(shù)量、類型的傳感器和/或其組合。例如,傳感器可包括一個(gè)或多個(gè)相機(jī)(例如深度、紅外、可見光、立體等等)、慣性測(cè)量單元(IMU)、加速度計(jì)、陀螺儀、GPS傳感器、磁力計(jì)等。類似地,傳感器114可隨時(shí)間提供關(guān)于車輛102的位置和/或運(yùn)動(dòng)特性的傳感器數(shù)據(jù)。此外,HMD 118的傳感器可提供關(guān)于駕駛員104的位置和/或運(yùn)動(dòng)特性的運(yùn)動(dòng)信號(hào)。
具有這樣的傳感器的設(shè)備可例如通過直接配對(duì)、通過計(jì)算機(jī)網(wǎng)絡(luò)、和/或以任何其它方式來相互通信。在一個(gè)非限制性實(shí)施例中,配置來向其它設(shè)備提供傳感器數(shù)據(jù)的設(shè)備可輸出信標(biāo)信號(hào)以警告其它設(shè)備有關(guān)傳感器數(shù)據(jù)的可用性,且其它設(shè)備可自動(dòng)地或經(jīng)由手動(dòng)配對(duì)過程來與該信標(biāo)信號(hào)連接。一旦與HMD 118配對(duì),傳感器設(shè)備可接著向HMD提供傳感器數(shù)據(jù)。
在配對(duì)之后,數(shù)據(jù)可從各傳感器被接收以幫助區(qū)分現(xiàn)實(shí)世界特征的彼此相對(duì)移動(dòng)。例如,HMD 118可從車輛102和110中的GPS單元接收GPS數(shù)據(jù),并基于接收到的GPS數(shù)據(jù)來確定這兩輛車的相對(duì)移動(dòng)。這可幫助從HMD的用戶的視角以相對(duì)于物理現(xiàn)實(shí)世界對(duì)象一致且穩(wěn)定的位置來顯示虛擬對(duì)象。IMU和/或其它合適的數(shù)據(jù)也可被用來將車輛的移動(dòng)相互區(qū)分。
圖1B和1C示出了從圖1A的駕駛員104的視角的示例視場(chǎng)(分別為120和130)。在圖1B中,虛擬對(duì)象122,在此示為車輛速度的文本表示,被顯示在相對(duì)于車輛102固定的位置。在所描繪的示例中,虛擬對(duì)象122,在通過HMD 118的透視顯示器查看時(shí),可看上去覆蓋車輛的擋風(fēng)玻璃124的一部分??赡芟胍憫?yīng)于車輛和HMD之間的相對(duì)運(yùn)動(dòng)來調(diào)節(jié)虛擬對(duì)象122在HMD 118上顯示的位置,使得虛擬對(duì)象看上去穩(wěn)定在位置中。然而,即使當(dāng)所檢測(cè)到的運(yùn)動(dòng)實(shí)際上是載有該HMD的轎車的運(yùn)動(dòng),HMD上的慣性運(yùn)動(dòng)單元也可能指示HMD正在移動(dòng)。因此,為了將由車輛引起的HMD的運(yùn)動(dòng)與HMD相對(duì)于車輛的運(yùn)動(dòng)進(jìn)行區(qū)分,傳感器數(shù)據(jù)可由HMD從傳感器114(例如,位于轎車中的IMU、車輛的GPS系統(tǒng),等)獲得,并且轎車的運(yùn)動(dòng)可從HMD的運(yùn)動(dòng)中被減去。以此方式,HMD相對(duì)于車輛的運(yùn)動(dòng)的表示可被獲得。通過相比于由車輛運(yùn)動(dòng)引起的移動(dòng)區(qū)分由用戶運(yùn)動(dòng)引起的HMD 118的移動(dòng),HMD 118對(duì)虛擬對(duì)象112的呈現(xiàn)可針對(duì)HMD和車輛之間的相對(duì)運(yùn)動(dòng)來被調(diào)節(jié)。
圖1C示出了包括對(duì)車輛102外部的現(xiàn)實(shí)世界特征(即標(biāo)志106)的增強(qiáng)的虛擬對(duì)象126的示例。由車輛102引起的HMD 118的移動(dòng)以及HMD 118相對(duì)于車輛102的移動(dòng)可影響透過HMD 118的透視顯示器所感知的標(biāo)志106的位置。因此,標(biāo)志106的坐標(biāo)框架可例如通過從HMD 118中的IMU確定的運(yùn)動(dòng)信號(hào)來被確定,因?yàn)镠MD 118捕捉到的圖像數(shù)據(jù)中標(biāo)志106的明顯運(yùn)動(dòng)將對(duì)應(yīng)于這個(gè)傳感器感測(cè)到的車輛和HMD的運(yùn)動(dòng)。來自車輛102的GPS數(shù)據(jù)和/或來自車輛102的IMU數(shù)據(jù)也可被用來確定標(biāo)志106的坐標(biāo)框架。這可允許所感知的虛擬對(duì)象126的位置相應(yīng)地被更新。
在一些實(shí)施例中,物理環(huán)境中的對(duì)象(例如,基本固定的對(duì)象、車輛、HMD等)的相對(duì)移動(dòng)可被車輛102和/或HMD 118上的傳感器來單獨(dú)確定。在其它實(shí)施例中,這樣的相對(duì)移動(dòng)可使用大地坐標(biāo)框架中的傳感器,連同車輛和/或HMD上的傳感器來確定。固定傳感器可遍布物理環(huán)境以提供現(xiàn)實(shí)世界中相對(duì)于大地固定的位置/對(duì)象的容易獲得的指示。例如,相對(duì)于大地固定的傳感器可被集成在公共或私有基礎(chǔ)設(shè)施內(nèi)(例如,在道路、建筑、交通信號(hào)燈等中)、位于自然特征內(nèi)或上(例如,埋在地里/粘在地上、附于植物等)、在固定的相對(duì)位置圍繞地球、和/或以任何其它合適的方式提供/分布。結(jié)合到對(duì)象中的可被移動(dòng)的傳感器通過任何合適的機(jī)制可同樣對(duì)其它設(shè)備容易地可用。
圖2示出了描繪示例坐標(biāo)框架檢測(cè)和分派系統(tǒng)200的框圖。系統(tǒng)200可被至少部分包括在頭戴式顯示設(shè)備202(諸如圖1的HMD 118)中,或可被結(jié)合到任何其它合適的設(shè)備中。系統(tǒng)200還被描繪成包括與HMD通信但可不與HMD結(jié)合的組件,諸如用于HMD外部的坐標(biāo)框架的運(yùn)動(dòng)傳感器。
系統(tǒng)200包括被配置用于對(duì)環(huán)境進(jìn)行成像并向特征標(biāo)識(shí)模塊206提供圖像數(shù)據(jù)的一個(gè)或多個(gè)相機(jī)204。一個(gè)或多個(gè)相機(jī)204可包括位于頭戴式顯示設(shè)備202遠(yuǎn)程(例如外部地)和位于頭戴式顯示設(shè)備202上的任何合適的相機(jī)的組合。一個(gè)或多個(gè)相機(jī)204可包括任何合適類型和數(shù)量的相機(jī)。例如,HMD 202可包括耦合到HMD的RGB(紅/綠/藍(lán))立體對(duì)相機(jī)、單個(gè)RGB相機(jī)、一個(gè)或多個(gè)深度相機(jī)及其組合等等。
特征標(biāo)識(shí)模塊206可從一個(gè)或多個(gè)相機(jī)204接收并分析圖像數(shù)據(jù)以標(biāo)識(shí)相機(jī)所成像的物理環(huán)境中的一個(gè)或多個(gè)現(xiàn)實(shí)世界特征。例如,特征標(biāo)識(shí)模塊206可檢測(cè)各物理對(duì)象、各對(duì)象的各邊、各對(duì)象的各角、和/或任何其它合適的結(jié)構(gòu),并可執(zhí)行任何合適的圖像分析以標(biāo)識(shí)現(xiàn)實(shí)世界特征。
特征標(biāo)識(shí)模塊206可向特征跟蹤器208提供關(guān)于所檢測(cè)到的現(xiàn)實(shí)世界特征的標(biāo)識(shí)信息。該特征跟蹤器208可隨時(shí)間跟蹤現(xiàn)實(shí)世界特征的位置以便確定與該現(xiàn)實(shí)世界特征相關(guān)聯(lián)的一個(gè)或多個(gè)運(yùn)動(dòng)特性。例如,基于來自特征標(biāo)識(shí)模塊206的數(shù)據(jù),特征跟蹤器208可確定被跟蹤特征的速度、加速度、方向、速率、和/或其它合適的運(yùn)動(dòng)特性。
此外,諸如慣性測(cè)量單元(IMU)210和被配置來提供有關(guān)運(yùn)動(dòng)的信息的其它傳感器212的運(yùn)動(dòng)傳感器,可將運(yùn)動(dòng)信號(hào)發(fā)送到坐標(biāo)框架生成器214。其它傳感器212可包括可用于檢測(cè)現(xiàn)實(shí)世界特征的運(yùn)動(dòng)的任何合適的傳感器,包括但不限于加速度計(jì)、陀螺儀、GPS單元、相機(jī)等。IMU210和其它傳感器212可被放置在物理環(huán)境的任何位置的組合中。例如,一個(gè)或多個(gè)IMU 210和/或傳感器212可位于頭戴式顯示設(shè)備202的外部,并且一個(gè)或多個(gè)IMU 210和/或傳感器212可被集成在頭戴式顯示設(shè)備202的內(nèi)部。外部IMU 210和/或傳感器212可相對(duì)于物理環(huán)境中的一個(gè)或多個(gè)對(duì)象固定,如以上結(jié)合圖1A-1C中的傳感器112、114和116描述的,并且因此與這些對(duì)象的坐標(biāo)框架相關(guān)聯(lián)。
坐標(biāo)框架生成器214可分析運(yùn)動(dòng)信號(hào),并為每個(gè)檢測(cè)到的運(yùn)動(dòng)信號(hào)生成坐標(biāo)框架,其中坐標(biāo)框架相對(duì)于運(yùn)動(dòng)信號(hào)從其被接收的傳感器的位置固定。
特征跟蹤器208和坐標(biāo)框架生成器214的每一個(gè)可向坐標(biāo)框架分派模塊216提供輸入。坐標(biāo)框架分派模塊216可把由特征跟蹤器208跟蹤的特征的運(yùn)動(dòng)特性和與坐標(biāo)框架生成器214生成的每個(gè)坐標(biāo)框架相關(guān)聯(lián)的運(yùn)動(dòng)特性進(jìn)行比較。具有與一坐標(biāo)框架的運(yùn)動(dòng)特性相匹配(例如,一致和/或在一閾值范圍內(nèi))的運(yùn)動(dòng)特性的特征可被分派到那個(gè)坐標(biāo)框架。
來自特征跟蹤器208和/或坐標(biāo)框架分派模塊216的信息可被提供給圖像呈現(xiàn)器218。圖像呈現(xiàn)器218可被配置來呈現(xiàn)增強(qiáng)現(xiàn)實(shí)顯示輸出以供顯示在頭戴式顯示設(shè)備200的顯示器220(例如,透視顯示器)上。例如,圖像呈現(xiàn)器218可從定義與現(xiàn)實(shí)世界對(duì)象在位置上相關(guān)聯(lián)的圖像元素的虛擬圖像生產(chǎn)引擎222接收一個(gè)或多個(gè)虛擬對(duì)象。圖像呈現(xiàn)器218可基于如用戶通過透視顯示器220所感知的現(xiàn)實(shí)世界對(duì)象的位置來控制虛擬對(duì)象的顯示位置,現(xiàn)實(shí)世界對(duì)象的位置例如通過特征跟蹤器208接收的信息來確定。圖像呈現(xiàn)器218可基于檢測(cè)到的現(xiàn)實(shí)世界對(duì)象相對(duì)于頭戴式顯示設(shè)備的坐標(biāo)框架的位置(如基于來自特征跟蹤器208和坐標(biāo)框架分派模塊216的信息來確定)的改變來更新虛擬對(duì)象被顯示的位置。對(duì)現(xiàn)實(shí)世界對(duì)象的坐標(biāo)框架的知曉可允許虛擬對(duì)象的顯示保持在相對(duì)于現(xiàn)實(shí)世界對(duì)象固定的位置。
圖3示出描繪用于確定物理環(huán)境中的坐標(biāo)框架的方法300的實(shí)施例的流程圖。方法300可被頭戴式顯示設(shè)備,諸如圖1A-C的HMD 118,或任何其它合適類型的設(shè)備執(zhí)行。在302,方法300包括:獲得物理環(huán)境中的現(xiàn)實(shí)世界特征的表示。例如,如在304指示的,表示可通過用相機(jī)對(duì)物理環(huán)境進(jìn)行成像來獲得。現(xiàn)實(shí)世界特征可包括各物理對(duì)象、各對(duì)象的各邊、各對(duì)象的各角、和/或任何其它合適的對(duì)象特征,如在306所指示的。
如上面提及的,歸因于物理世界中各對(duì)象的坐標(biāo)框架的相對(duì)運(yùn)動(dòng),現(xiàn)實(shí)世界特征可具有相對(duì)彼此的不同運(yùn)動(dòng)特性。因此,在308,方法300包括獲得來自一個(gè)或多個(gè)傳感器的運(yùn)動(dòng)數(shù)據(jù)。各傳感器可在頭戴式顯示設(shè)備的外部和/或集成在頭戴式顯示設(shè)備的內(nèi)部/安裝到頭戴式顯示設(shè)備。進(jìn)一步,傳感器數(shù)據(jù)可從任何合適類型的傳感器獲得,包括但不限于以上參考圖1A-1C討論的那些。獲得傳感器數(shù)據(jù)可包括接收運(yùn)動(dòng)信號(hào),如在310所指示的。此外,獲得傳感器數(shù)據(jù)可包括從與不同坐標(biāo)框架相關(guān)聯(lián)的各傳感器接收數(shù)據(jù),如在312所指示并在以下文進(jìn)一步詳述。例如,坐標(biāo)框架可基于從各傳感器接收的描述物理環(huán)境中的特征的運(yùn)動(dòng)特性的運(yùn)動(dòng)數(shù)據(jù)來被標(biāo)識(shí)。
方法300進(jìn)一步包括跟蹤在圖像數(shù)據(jù)中標(biāo)識(shí)的現(xiàn)實(shí)世界特征的位置,如在314所指示的。例如,現(xiàn)實(shí)世界特征的位置可相對(duì)于HMD的相機(jī)的位置來被跟蹤,如在316所指示的。因在308獲得的傳感器數(shù)據(jù)被應(yīng)用于如在304/306描述的被成像的物理環(huán)境中的特征,可基于該傳感器數(shù)據(jù)來跟蹤各位置。在318,方法300包括基于隨時(shí)間跟蹤的各位置來確定一個(gè)或多個(gè)運(yùn)動(dòng)特性。
方法300還包括,在322,通過傳感器數(shù)據(jù)將一個(gè)坐標(biāo)框架中的一個(gè)或多個(gè)現(xiàn)實(shí)世界特征與另一個(gè)坐標(biāo)框架中的一個(gè)或多個(gè)特征進(jìn)行區(qū)分。例如,方法300可包括將從圖像數(shù)據(jù)中確定的現(xiàn)實(shí)世界的特征的運(yùn)動(dòng)特性與從一個(gè)或多個(gè)傳感器(例如,頭戴式顯示器的傳感器和/或與另一個(gè)現(xiàn)實(shí)世界特征相關(guān)聯(lián)的傳感器)接收的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行比較,如在324所指示的。以此方式,對(duì)應(yīng)于所標(biāo)識(shí)的現(xiàn)實(shí)世界特征的運(yùn)動(dòng)特性可與傳感器數(shù)據(jù)進(jìn)行比較以將每個(gè)現(xiàn)實(shí)世界特征與所檢測(cè)的坐標(biāo)框架相關(guān)聯(lián)。此外,一個(gè)坐標(biāo)框架(例如,HMD坐標(biāo)框架)相對(duì)于另一坐標(biāo)框架的移動(dòng)可通過針對(duì)兩個(gè)坐標(biāo)框架減去運(yùn)動(dòng)信號(hào)來被隔離。
在某些實(shí)例中,物理世界特征可從處在單個(gè)坐標(biāo)框架中切換到處在不同坐標(biāo)框架中。例如,當(dāng)佩戴著HMD的人正站在人行橫道上觀察在紅綠燈處停止的車輛時(shí),該車輛和圍繞該車輛的物理環(huán)境可在相同坐標(biāo)框架中。然而,當(dāng)車輛在燈變綠后繼續(xù)行駛時(shí),該車輛和該車輛外的物理環(huán)境在不同坐標(biāo)框架中。
因此,圖4示出了描繪用于基于各現(xiàn)實(shí)世界特征之間的相對(duì)移動(dòng)的開始和停止來分割和合并各現(xiàn)實(shí)世界特征的各坐標(biāo)框架的方法400的流程圖。方法400可被頭戴式顯示設(shè)備和/或任何其它合適的計(jì)算設(shè)備執(zhí)行。
方法400包括,在402,跟蹤現(xiàn)實(shí)世界特征的位置和/或移動(dòng)。被跟蹤的現(xiàn)實(shí)世界特征的至少一些可在相同坐標(biāo)框架中,如在404指示的??墒褂脠D像數(shù)據(jù)和/或其它傳感器數(shù)據(jù)來跟蹤現(xiàn)實(shí)世界特征,如以上參考圖2描述的。
方法400還包括,在408,檢測(cè)第一現(xiàn)實(shí)世界特征相對(duì)于第二現(xiàn)實(shí)世界特征的移動(dòng)。該移動(dòng)可以以任何合適的方式來檢測(cè),諸如通過在410通過圖像數(shù)據(jù)和/或運(yùn)動(dòng)傳感器數(shù)據(jù)來標(biāo)識(shí)特征的不同運(yùn)動(dòng)特性。例如,一旦車輛開始移動(dòng),從傳感器接收到的運(yùn)動(dòng)數(shù)據(jù)可指示移動(dòng)。此外,在運(yùn)動(dòng)數(shù)據(jù)從多個(gè)傳感器接收時(shí),不同坐標(biāo)框架中的不同傳感器可通過檢測(cè)不同運(yùn)動(dòng)特性來指示相互的相對(duì)運(yùn)動(dòng)。
在412,方法400包括對(duì)應(yīng)于各特征之間相對(duì)運(yùn)動(dòng),將各物理世界特征共享的初始坐標(biāo)框架分割成針對(duì)不同特征的不同坐標(biāo)框架。例如,坐標(biāo)框架可通過從一個(gè)或多個(gè)傳感器接收的運(yùn)動(dòng)數(shù)據(jù)來被標(biāo)識(shí)。這進(jìn)一步可包括基于那個(gè)傳感器/特征的檢測(cè)到的/測(cè)量到的運(yùn)動(dòng)(與從圖像數(shù)據(jù)確定的特征的運(yùn)動(dòng)相比),將各物理世界特征匹配到不同標(biāo)識(shí)的坐標(biāo)框架,如在414所指示的。
被跟蹤的現(xiàn)實(shí)世界特征的運(yùn)動(dòng)特性可被連續(xù)跟蹤(例如,通過周期性更新)。在某些點(diǎn),第一和第二特征之間的相對(duì)運(yùn)動(dòng)可停止,如此這些特征是相同坐標(biāo)框架的部分。如此,在416,方法400包括從運(yùn)動(dòng)傳感器數(shù)據(jù)中檢測(cè)匹配運(yùn)動(dòng)特性,諸如匹配加速度數(shù)據(jù)、匹配速率數(shù)據(jù)、匹配方向數(shù)據(jù)。圖像數(shù)據(jù)還可被用來檢測(cè)匹配運(yùn)動(dòng)。響應(yīng)于檢測(cè)匹配運(yùn)動(dòng)特性,方法400包括合并具有匹配運(yùn)動(dòng)特性的各傳感器和/或相關(guān)聯(lián)的特征的各坐標(biāo)框架,如在418所指示的。例如,如果在沿著道路移動(dòng)之后,以上示例中的車輛再次停下,與該車輛相關(guān)聯(lián)的坐標(biāo)框架可再次和與物理環(huán)境中的固定對(duì)象相關(guān)聯(lián)的坐標(biāo)框架進(jìn)行合并。
因此,通過從與各坐標(biāo)框架相關(guān)聯(lián)的各傳感器接收運(yùn)動(dòng)數(shù)據(jù),動(dòng)態(tài)環(huán)境中的運(yùn)動(dòng)的源可被區(qū)分并與不同坐標(biāo)框架相關(guān)聯(lián)。如上面所描述的,這可便于相對(duì)于現(xiàn)實(shí)世界特征顯示增強(qiáng)現(xiàn)實(shí)呈現(xiàn),同時(shí)補(bǔ)償各特征彼此相對(duì)的實(shí)際移動(dòng)。
圖5示出具有透明顯示器502的一副可佩戴眼鏡形式的示例HMD設(shè)備500。將理解,在其他示例中,HMD設(shè)備500可以采取其他合適的形式,其中透明、半透明和/或可變地透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將理解,圖1A-1C中所示的HMD設(shè)備118可以采取HMD設(shè)備500的形式(如在下文更詳細(xì)地描述的)或任何其他合適的HMD設(shè)備。
HMD設(shè)備500包括在504示意性地指示的圖像生成系統(tǒng),以及使得諸如全息對(duì)象和/或虛擬對(duì)象等的圖像能通過透明顯示器502被遞送到HMD的佩戴者的眼睛。透明顯示器502和圖像生成系統(tǒng)504可被配置來,通過經(jīng)由透明顯示器502呈現(xiàn)圖像,向查看物理環(huán)境的佩戴者在視覺上增強(qiáng)該物理環(huán)境的外觀。
透明顯示器502還可被配置成使用戶能夠透過顯示虛擬對(duì)象表示的一個(gè)或多個(gè)部分透明的像素來查看物理環(huán)境中的物理現(xiàn)實(shí)世界對(duì)象。如圖5所示,在一個(gè)示例中,透明顯示器502可包括位于透鏡506內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(OLED)顯示器)。作為另一示例,透明顯示器502可包括在透鏡506邊緣上的光調(diào)制器或以其他方式被配置以將圖像傳遞到透鏡506。在這一示例中,透鏡506可以擔(dān)當(dāng)光導(dǎo)以供將光從光調(diào)制器遞送到用戶的眼睛。這樣的光導(dǎo)可使得用戶能夠感知位于物理環(huán)境內(nèi)的用戶正在查看的3D全息圖像,同時(shí)還允許用戶查看物理環(huán)境中的物理對(duì)象,由此創(chuàng)建混合現(xiàn)實(shí)環(huán)境。
HMD設(shè)備500還可包括各種傳感器和相關(guān)系統(tǒng)。例如,HMD設(shè)備500可包括包含配置成獲取來自用戶的眼睛的注視跟蹤數(shù)據(jù)形式的圖像數(shù)據(jù)的一個(gè)或多個(gè)圖像傳感器(諸如面向內(nèi)傳感器509)的注視跟蹤系統(tǒng)。假定用戶已同意獲取和使用這一信息,注視跟蹤系統(tǒng)可以使用這一信息來跟蹤用戶的眼睛的位置和/或運(yùn)動(dòng)。在一個(gè)示例中,注視跟蹤系統(tǒng)包括被配置成檢測(cè)用戶的每一個(gè)眼睛的注視方向的注視檢測(cè)子系統(tǒng)。該注視檢測(cè)子系統(tǒng)可被配置成以任何合適方式確定每一只用戶眼睛的注視方向。例如,注視檢測(cè)子系統(tǒng)可包括諸如紅外光源等被配置成使得從用戶的每一只眼睛反射閃光的一個(gè)或多個(gè)光源。一個(gè)或多個(gè)圖像傳感器然后可被配置成捕捉用戶眼睛的圖像。如從收集自圖像傳感器的圖像數(shù)據(jù)確定的閃爍和瞳孔的圖像可用于確定每一眼睛的光軸。使用這一信息,注視跟蹤系統(tǒng)隨后可確定用戶的注視方向。作為補(bǔ)充或替換,注視跟蹤系統(tǒng)可確定用戶注視哪一物理或虛擬對(duì)象。此類注視跟蹤數(shù)據(jù)然后可被提供給HMD設(shè)備500。還將理解,注視跟蹤系統(tǒng)可以具有任意適當(dāng)數(shù)量和布置的光源和圖像傳感器。
HMD設(shè)備500還可包括從物理環(huán)境接收物理環(huán)境數(shù)據(jù)的傳感器系統(tǒng)。例如,HMD設(shè)備500還可包括利用一個(gè)或多個(gè)運(yùn)動(dòng)傳感器512(諸如IMU)來捕捉頭部姿態(tài)數(shù)據(jù)并從而允許對(duì)用戶頭部的位置跟蹤、方向以及定向感測(cè)和/或運(yùn)動(dòng)檢測(cè)的頭部跟蹤系統(tǒng)610。如以上更詳細(xì)地描述的,來自這樣的傳感器的信息可允許歸因于由用戶對(duì)HMD設(shè)備500的移動(dòng)的運(yùn)動(dòng)來從源自其它源的運(yùn)動(dòng)中區(qū)別出來。
在一個(gè)示例中,頭部跟蹤系統(tǒng)510的運(yùn)動(dòng)傳感器512可包括配置成三軸或三自由度的位置傳感器系統(tǒng)的一個(gè)或多個(gè)慣性測(cè)量單元。這一示例定位傳感器系統(tǒng)可以例如包括用于指示或測(cè)量HMD設(shè)備500在3D空間內(nèi)繞三個(gè)正交軸(例如,x、y、z)(例如,滾轉(zhuǎn)、俯仰、偏航)的定向變化的三個(gè)陀螺儀。在另一示例中,頭部跟蹤系統(tǒng)510可包括配置成六自由度的位置傳感器系統(tǒng)的慣性測(cè)量單元。這一示例位置傳感器系統(tǒng)可以例如包括用于指示或測(cè)量HMD設(shè)備500沿三個(gè)正交軸的位置變化和繞該三個(gè)正交軸的設(shè)備定向變化的三個(gè)加速度計(jì)和三個(gè)陀螺儀。
頭部跟蹤系統(tǒng)510還可以支持其他合適的定位技術(shù),如GPS513或其他全球?qū)Ш较到y(tǒng)。此外,盡管描述了位置傳感器系統(tǒng)的具體示例,但將明白,可以使用任何其他合適的位置傳感器系統(tǒng)。例如,頭部姿態(tài)和/或移動(dòng)數(shù)據(jù)可以基于來自集成在HMD設(shè)備500內(nèi)、安裝在HMD設(shè)備500上、安裝在佩戴者上、和/或佩戴者/HMD設(shè)備500外部的傳感器的任何組合的傳感器信息來確定,包括但不限于任何數(shù)量的陀螺儀、加速度計(jì)、慣性測(cè)量單元(IMU)、GPS設(shè)備、氣壓計(jì)、磁力計(jì)、相機(jī)(例如,可見光相機(jī)、紅外光相機(jī)、飛行時(shí)間深度相機(jī)、結(jié)構(gòu)化光深度相機(jī),等等)、通信設(shè)備(例如,WIFI天線/接口、藍(lán)牙天線/接口等等),用于與外部傳感器和/或具有傳感器的外部設(shè)備等進(jìn)行通信。
在一些實(shí)例中,HMD設(shè)備500還可包括利用一個(gè)或多個(gè)面向外的傳感器來捕捉圖像數(shù)據(jù)的可任選傳感器系統(tǒng),諸如HMD設(shè)備500上的光傳感器514。一個(gè)或多個(gè)面向外的傳感器可以檢測(cè)其視野內(nèi)的移動(dòng),如視野內(nèi)的用戶或人或物理對(duì)象所執(zhí)行的基于姿勢(shì)的輸入或其他移動(dòng)。該一個(gè)或多個(gè)面向外的傳感器還可從物理環(huán)境和該環(huán)境內(nèi)的物理對(duì)象捕捉2D圖像信息和深度信息。例如,該一個(gè)或多個(gè)面向外的傳感器可包括深度相機(jī)、可見光相機(jī)、紅外光相機(jī),和/或位置跟蹤相機(jī)。
光學(xué)傳感器系統(tǒng)可包括經(jīng)由一個(gè)或多個(gè)深度相機(jī)來生成深度跟蹤數(shù)據(jù)的深度跟蹤系統(tǒng)。在一個(gè)示例中,每一深度相機(jī)可包括立體視覺系統(tǒng)的左和右相機(jī)。來自這些深度相機(jī)中的一個(gè)或多個(gè)的時(shí)間分辨的圖像可被彼此配準(zhǔn)和/或與來自另一光學(xué)傳感器(如可見光譜相機(jī))的圖像配準(zhǔn),且可被組合以產(chǎn)生深度分辨的視頻。
在其他示例中,結(jié)構(gòu)化光深度相機(jī)可被配置成投影結(jié)構(gòu)化紅外照明并對(duì)從照明被投影到其之上的場(chǎng)景中反射的該照明進(jìn)行成像。基于所成像的場(chǎng)景的各個(gè)區(qū)域內(nèi)鄰近特征之間的間隔,可構(gòu)造該場(chǎng)景的深度圖。在其他示例中,深度相機(jī)可以采取飛行時(shí)間深度相機(jī)的形式,其被配置成將脈沖的紅外照明投影到該場(chǎng)景上以及檢測(cè)從該場(chǎng)景反射的照明。例如,照明可由紅外光源516提供。可以理解,在本發(fā)明的范圍內(nèi)可使用任意其他合適的深度相機(jī)。
面向外的傳感器可以捕捉用戶位于其中的物理環(huán)境的圖像。參考HMD設(shè)備500,在一個(gè)示例中,混合現(xiàn)實(shí)顯示程序可包括使用這樣的所捕捉的圖像來生成對(duì)用戶周圍的物理環(huán)境進(jìn)行建模的虛擬環(huán)境的3D建模系統(tǒng)。
HMD設(shè)備500還可包括話筒系統(tǒng),該話筒系統(tǒng)包括捕捉音頻數(shù)據(jù)的一個(gè)或多個(gè)話筒,諸如HMD設(shè)備500上的話筒518。在其他示例中,音頻可經(jīng)由一個(gè)或多個(gè)揚(yáng)聲器(諸如HMD設(shè)備500上的揚(yáng)聲器520)被呈現(xiàn)給用戶。
HMD設(shè)備500還可包括控制器,諸如HMD設(shè)備500上的控制器522。該控制器可包括與HMD設(shè)備和顯示器的各傳感器和系統(tǒng)通信的邏輯機(jī)和存儲(chǔ)機(jī),如下文參考圖6更詳細(xì)地討論的。在一個(gè)示例中,存儲(chǔ)子系統(tǒng)可包括能由邏輯子系統(tǒng)執(zhí)行以接收來自傳感器的輸入、確定HMD設(shè)備500的姿態(tài)、以及調(diào)整系數(shù)值透明顯示器502上的內(nèi)容的顯示屬性的指令。
在一些實(shí)施例中,在此描述的方法和過程可以與一個(gè)或多個(gè)計(jì)算設(shè)備的計(jì)算系統(tǒng)綁定。尤其地,這樣的方法和過程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用程序或服務(wù)、應(yīng)用編程接口(API)、庫(kù)和/或其他計(jì)算機(jī)程序產(chǎn)品。
圖6示意性地示出可以執(zhí)行上述方法和過程中的一個(gè)或多個(gè)的計(jì)算系統(tǒng)600的非限制性實(shí)施例。以簡(jiǎn)化形式示出了計(jì)算系統(tǒng)600。計(jì)算系統(tǒng)600可采取以下形式:一個(gè)或多個(gè)頭戴式顯示設(shè)備、或與頭戴式顯示設(shè)備協(xié)作的一個(gè)或多個(gè)設(shè)備(例如,個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、游戲設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備(例如,智能電話)和/或其他計(jì)算設(shè)備)。
計(jì)算系統(tǒng)600包括邏輯機(jī)602和存儲(chǔ)機(jī)604。計(jì)算系統(tǒng)600可任選地包括顯示子系統(tǒng)606、輸入子系統(tǒng)608、通信子系統(tǒng)610和/或在圖6中未示出的其他組件。
邏輯機(jī)602包括被配置成執(zhí)行指令的一個(gè)或多個(gè)物理設(shè)備。例如,邏輯機(jī)可被配置成執(zhí)行作為以下各項(xiàng)的一部分的指令:一個(gè)或多個(gè)應(yīng)用、服務(wù)、程序、例程、庫(kù)、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造。這種指令可被實(shí)現(xiàn)以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、轉(zhuǎn)換一個(gè)或多個(gè)部件的狀態(tài)、實(shí)現(xiàn)技術(shù)效果、或以其它方式得到期望結(jié)果。
邏輯機(jī)可包括被配置成執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。作為補(bǔ)充或替換,邏輯機(jī)可包括被配置成執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯設(shè)備。邏輯機(jī)的處理器可以是單核或多核,且在其上執(zhí)行的指令可被配置為串行、并行和/或分布式處理。邏輯機(jī)的各個(gè)組件可任選地分布在兩個(gè)或更多單獨(dú)設(shè)備上,這些設(shè)備可以位于遠(yuǎn)程和/或被配置成進(jìn)行協(xié)同處理。邏輯機(jī)的各方面可由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問的聯(lián)網(wǎng)計(jì)算設(shè)備來虛擬化和執(zhí)行。
存儲(chǔ)機(jī)604包括被配置成保存可由邏輯機(jī)執(zhí)行以實(shí)現(xiàn)此處所述的方法和過程的機(jī)器可讀指令的一個(gè)或多個(gè)物理設(shè)備。在實(shí)現(xiàn)這些方法和過程時(shí),可以變換存儲(chǔ)機(jī)604的狀態(tài)(例如,保存不同的數(shù)據(jù))。
存儲(chǔ)機(jī)604可以包括可移動(dòng)和/或內(nèi)置設(shè)備。存儲(chǔ)機(jī)604可包括光學(xué)存儲(chǔ)器(例如,CD、DVD、HD-DVD、藍(lán)光盤等)、半導(dǎo)體存儲(chǔ)器(例如,RAM、EPROM、EEPROM等)和/或磁存儲(chǔ)器(例如,硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、MRAM等)等等。存儲(chǔ)機(jī)604可包括易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址和/或內(nèi)容可尋址設(shè)備。
可以理解,存儲(chǔ)機(jī)604包括一個(gè)或多個(gè)物理設(shè)備。然而,本文描述的指令的各方面可另選地通過不由物理設(shè)備在有限時(shí)長(zhǎng)內(nèi)持有的通信介質(zhì)(例如,電磁信號(hào)、光信號(hào)等)來傳播。
邏輯機(jī)602和存儲(chǔ)機(jī)604的各方面可被一起集成到一個(gè)或多個(gè)硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場(chǎng)可編程門陣列(FPGA)、程序和應(yīng)用專用的集成電路(PASIC/ASIC)、程序和應(yīng)用專用的標(biāo)準(zhǔn)產(chǎn)品(PSSP/ASSP)、片上系統(tǒng)(SOC)以及復(fù)雜可編程邏輯器件(CPLD)。
術(shù)語“模塊”可用于描述被實(shí)現(xiàn)來執(zhí)行特定功能的計(jì)算系統(tǒng)600的一方面。在某些情況下,可以經(jīng)由執(zhí)行存儲(chǔ)機(jī)602所保持的指令的邏輯機(jī)604來實(shí)例化模塊。將理解,可以從同一應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫(kù)、例程、API、函數(shù)等實(shí)例化不同的模塊。同樣,可以由不同的應(yīng)用、服務(wù)、代碼塊、對(duì)象、例程、API、函數(shù)等來實(shí)例化同一模塊。術(shù)語“模塊”可涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫(kù)、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫(kù)記錄等。
在被包括時(shí),顯示子系統(tǒng)606可用于呈現(xiàn)由存儲(chǔ)機(jī)604保存的數(shù)據(jù)的視覺表示。該視覺表示可采用圖形用戶界面(GUI)的形式。由于此處所描述的方法和過程改變了由存儲(chǔ)機(jī)保持的數(shù)據(jù),并由此變換了存儲(chǔ)機(jī)的狀態(tài),因此同樣可以轉(zhuǎn)變顯示子系統(tǒng)606的狀態(tài)以視覺地表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)606可包括實(shí)際上利用任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備,諸如圖5中所示的HMD 502的顯示器500??蓪⒋祟愶@示設(shè)備與邏輯機(jī)602和/或存儲(chǔ)機(jī)604組合在共享封裝中,或者此類顯示設(shè)備可以是外圍顯示設(shè)備。
在包括輸入子系統(tǒng)608時(shí),輸入子系統(tǒng)1208可以包括諸如鍵盤、鼠標(biāo)、觸摸屏或游戲控制器之類的一個(gè)或多個(gè)用戶輸入設(shè)備或者與其對(duì)接。在一些實(shí)施例中,輸入子系統(tǒng)可以包括所選擇的自然用戶輸入(NUI)部件或與其對(duì)接。這種元件部分可以是集成的或外圍的,并且輸入動(dòng)作的轉(zhuǎn)導(dǎo)和/或處理可以在板上或板外被處理。示例NUI部件可包括用于語言和/或語音識(shí)別的話筒;用于機(jī)器視覺和/或姿勢(shì)識(shí)別的紅外、色彩、立體顯示和/或深度相機(jī);用于運(yùn)動(dòng)檢測(cè)和/或意圖識(shí)別的頭部跟蹤器、眼睛跟蹤器、加速計(jì)和/或陀螺儀;以及用于評(píng)估腦部活動(dòng)和/或身體運(yùn)動(dòng)的電場(chǎng)感測(cè)部件;以上參考圖5的頭部跟蹤系統(tǒng)510描述的傳感器中的任一者;和/或任何其他合適的傳感器。
當(dāng)包括通信子系統(tǒng)610時(shí),通信子系統(tǒng)600可以被配置成將計(jì)算系統(tǒng)1200與一個(gè)或多個(gè)其它計(jì)算設(shè)備可通信地耦合。通信子系統(tǒng)610可以包括與一個(gè)或多個(gè)不同通信協(xié)議兼容的有線和/或無線通信設(shè)備。作為非限制性示例,通信子系統(tǒng)可被配置成用于經(jīng)由無線電話網(wǎng)絡(luò)或者有線或無線局域網(wǎng)或廣域網(wǎng)來進(jìn)行通信。在一些實(shí)施例中,通信子系統(tǒng)可允許計(jì)算系統(tǒng)600經(jīng)由諸如因特網(wǎng)這樣的網(wǎng)絡(luò)將消息發(fā)送至其他設(shè)備以及/或者從其它設(shè)備接收消息。例如,通信子系統(tǒng)610可允許計(jì)算系統(tǒng)600向外部運(yùn)動(dòng)相關(guān)數(shù)據(jù)源發(fā)送數(shù)據(jù)(諸如IMU和位于遠(yuǎn)離計(jì)算系統(tǒng)600并且在計(jì)算系統(tǒng)600之外的其它傳感器)和/或從外部運(yùn)動(dòng)相關(guān)數(shù)據(jù)源接收數(shù)據(jù)。
將會(huì)理解,此處描述的配置和/或方法本質(zhì)是示例性的,這些具體實(shí)施例或示例不應(yīng)被視為限制性的,因?yàn)樵S多變體是可能的。此處描述的具體例程或方法可以表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。如此,所示和/或所述的各種動(dòng)作可以以所示和/或所述順序、以其它順序、并行地執(zhí)行,或者被省略。同樣,上述過程的次序可以改變。
本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動(dòng)作和/或?qū)傩?、以及它們的任一和全部等價(jià)物的所有新穎且非顯而易見的組合和子組合。