用于空間輸入裝置的自適應(yīng)跟蹤系統(tǒng)的制作方法
【專利摘要】用于空間輸入裝置的自適應(yīng)跟蹤系統(tǒng)提供對空間輸入裝置的實時跟蹤以便在空間操作環(huán)境(SOE)中進(jìn)行人機(jī)交互。SOE的部件包括:姿勢輸入/輸出;基于網(wǎng)絡(luò)的數(shù)據(jù)表示、轉(zhuǎn)變和互換;以及空間上符合的顯示網(wǎng)格。SOE包括:由一個或更多個用戶占據(jù)的工作空間;向用戶提供視覺反饋的一組屏幕;以及將用戶運動翻譯成命令輸入的姿勢控制系統(tǒng)。用戶利用身體部分和/或物理指點裝置來作出姿勢,并且該系統(tǒng)將那些姿勢翻譯成動作,例如指點、拖拽、選擇或其它直接操縱。該跟蹤系統(tǒng)通過維持工作空間內(nèi)的用戶、屏幕、指點裝置和其它物理對象之間的空間關(guān)系的模型來提供用于創(chuàng)建沉浸式環(huán)境所必需的數(shù)據(jù)。
【專利說明】用于空間輸入裝置的自適應(yīng)跟蹤系統(tǒng)
[0001]相關(guān)申請
[0002]本申請要求2011年6月23日提交的美國專利申請?zhí)?1/500,416的優(yōu)先權(quán)。
[0003]本申請是美國專利申請?zhí)?2/572,689、12/572,698、12/109,263、12/417,252、12/487,623、12/553,845、12/553,902、12/553,929、12/557,464、12/579,340、12/579,354、12/579,372,12/773,605,12/773,667,12/789,129,12/789,262,12/789,302,13/430,509和13/430,626的部分延續(xù)申請。
【技術(shù)領(lǐng)域】
[0004]描述了涉及控制系統(tǒng)和裝置、更具體而言用于在基于視覺的跟蹤系統(tǒng)中進(jìn)行檢測和初始化的控制系統(tǒng)和裝置的實施方式。
【背景技術(shù)】
[0005]存在對用于空間輸入裝置的自適應(yīng)跟蹤系統(tǒng)的需要,該自適應(yīng)跟蹤系統(tǒng)提供對空間輸入裝置的實時跟蹤以便在空間操作環(huán)境(SOE)中進(jìn)行人機(jī)交互(HCI)。
[0006]通過引用的合并
[0007]在本說明書中提到的每個專利、申請和/或公布通過引用以其全部內(nèi)容相同程度地合并到本文中,如同每個單獨的專利、專利申請和/或公布具體地單獨地被指出通過引
用被合并一樣。
【專利附圖】
【附圖說明】
[0008]圖1A是根據(jù)實施方式的空間操作環(huán)境(SOE)的框圖。
[0009]圖1B是根據(jù)實施方式的運動跟蹤系統(tǒng)的框圖。
[0010]圖1C示出了根據(jù)實施方式的包括兩個平行的線性局部標(biāo)簽(LPT)的8標(biāo)記標(biāo)簽。
[0011]圖1D是根據(jù)實施方式的實施跟蹤的流程圖。
[0012]圖2是根據(jù)實施方式的標(biāo)記標(biāo)簽的圖。
[0013]圖3是根據(jù)實施方式的姿勢詞匯中的姿態(tài)的圖。
[0014]圖4是根據(jù)實施方式的姿勢詞匯中的取向的圖。
[0015]圖5是根據(jù)實施方式的姿勢詞匯中的雙手組合的圖。
[0016]圖6是根據(jù)實施方式的姿勢詞匯中的取向混合的圖。
[0017]圖7是根據(jù)實施方式的系統(tǒng)操作的流程圖。
[0018]圖8/1和圖8/2示出了根據(jù)實施方式的示例命令。
[0019]圖9是根據(jù)實施方式的包括使用色拉(slaw)、蛋白質(zhì)和池(pool)的數(shù)據(jù)表示的處理環(huán)境的框圖。
[0020]圖10是根據(jù)實施方式的蛋白質(zhì)的框圖。
[0021]圖11是根據(jù)實施方式的描述的框圖。
[0022]圖12是根據(jù)實施方式的攝取的框圖。[0023]圖13是根據(jù)實施方式的色拉的框圖。
[0024]圖14A是根據(jù)實施方式的池中的蛋白質(zhì)的框圖。
[0025]圖14B1和圖14B2示出了根據(jù)實施方式的色拉頭格式。
[0026]圖14C是根據(jù)實施方式的使用蛋白質(zhì)的流程圖。
[0027]圖14D是根據(jù)實施方式的構(gòu)造或生成蛋白質(zhì)的流程圖。
[0028]圖15是根據(jù)實施方式的包括使用色拉、蛋白質(zhì)和池的數(shù)據(jù)交換的處理環(huán)境的框圖。
[0029]圖16是根據(jù)實施方式的處理環(huán)境的框圖,該處理環(huán)境包括多個裝置以及在多個裝置中的一個或更多個裝置上運行的大量程序,其中,等離子體構(gòu)造(即,池、蛋白質(zhì)和色拉)用于允許大量運行的程序共享并且集體地響應(yīng)于裝置而生成的事件。
[0030]圖17是根據(jù)可替選實施方式的處理環(huán)境的框圖,該處理環(huán)境包括多個裝置以及在多個裝置中的一個或更多個裝置上運行的大量程序,其中,等離子體構(gòu)造(即,池、蛋白質(zhì)和色拉)用于允許大量運行的程序共享并且集體地響應(yīng)于裝置而生成的事件。
[0031]圖18是根據(jù)另一可替選實施方式的處理環(huán)境的框圖,該處理環(huán)境包括多個輸入裝置,該多個輸入裝置耦接在運行于多個裝置中的一個或更多個裝置上的大量程序中,其中,等離子體構(gòu)造(即,池、蛋白質(zhì)和色拉)用于允許大量運行的程序共享并且集體地響應(yīng)于裝置而生成的事件。
[0032]圖19是根據(jù)又另一可替選實施方式的處理環(huán)境的框圖,該處理環(huán)境包括多個裝置,該多個裝置耦接在運行于多個裝置中的一個或更多個裝置上的大量程序中,其中,等離子體構(gòu)造(即,池、蛋白質(zhì)和色拉)用于允許大量運行的程序共享并且集體地響應(yīng)于裝置而生成的事件。
[0033]圖20是根據(jù)再又一可替選實施方式的處理環(huán)境的框圖,該處理環(huán)境包括多個裝置,該多個裝置耦接在運行于多個裝置中的一個或更多個裝置上的大量程序之間,其中,等離子體構(gòu)造(即,池、蛋白質(zhì)和色拉)用于允許對運行的程序進(jìn)行狀態(tài)檢測、可視化和調(diào)試。
[0034]圖21是根據(jù)額外的可替選實施方式的處理環(huán)境的框圖,該處理環(huán)境包括多個裝置,該多個裝置耦接在運行于多個裝置中的一個或更多個裝置上的大量程序中,其中,等離子體構(gòu)造(即,池、蛋白質(zhì)和色拉)用于允許影響和控制在該處理池中產(chǎn)生和放置的狀態(tài)信息的特征。
[0035]圖22示出了根據(jù)實施方式的筆狀多模態(tài)輸入裝置(麗ID)。
[0036]圖23是根據(jù)實施方式的使用磁場跟蹤的麗ID的框圖。
[0037]圖24是根據(jù)實施方式的在跟蹤環(huán)境中的麗ID的框圖。
[0038]圖25A和圖25B示出了根據(jù)實施方式的具有紅外(IR)發(fā)光二極管(LED)(IR LED)的麗ID的輸入狀態(tài)。
[0039]圖26A和圖26B示出了根據(jù)可替選實施方式的具有IR LED的麗ID的輸入狀態(tài)?!揪唧w實施方式】
[0040]本文中描述的實施方式包括用于空間輸入裝置的自適應(yīng)跟蹤系統(tǒng),該自適應(yīng)跟蹤系統(tǒng)提供對空間輸入裝置的實時跟蹤以便在空間操作環(huán)境(SOE)中進(jìn)行人機(jī)交互(HCI)。類似于操作系統(tǒng),SOE的部件包括:姿勢輸入/輸出;基于網(wǎng)絡(luò)的數(shù)據(jù)表示、轉(zhuǎn)變和互換;以及空間上符合的顯示網(wǎng)格。SOE包括:由一個或更多個用戶占據(jù)的工作空間;向用戶提供視覺反饋的一組屏幕;以及將用戶運動翻譯成命令輸入的姿勢控制系統(tǒng)。用戶利用身體部分和/或物理指點裝置來作出姿勢,并且該系統(tǒng)將那些姿勢翻譯成動作,例如指點、拖拽、選擇或其它直接操縱。該跟蹤系統(tǒng)通過維持工作空間內(nèi)的用戶、屏幕、指點裝置和其它物理對象之間的空間關(guān)系的模型來提供用于創(chuàng)建沉浸式環(huán)境所必需的數(shù)據(jù)。
[0041]在下面詳細(xì)描述的SOE的上下文中提供系統(tǒng)和方法的實施方式。通常,圖1A是根據(jù)實施方式的空間操作環(huán)境(SOE)的框圖??梢詫ㄗ藙菘刂葡到y(tǒng)或基于姿勢的控制系統(tǒng)的SOE可替代地稱為空間用戶接口(SM)或空間接口(SI)。如本文中所述的跟蹤包括用于檢測或定位一個或更多個空間輸入裝置的位置的處理。在SOE或其它姿勢接口的上下文中,這樣的跟蹤用于確定用戶何時試圖與系統(tǒng)進(jìn)行通信,提供用于檢測和識別臨時擴(kuò)展的姿勢所需要的基本信息以及允許交互的實施控制和反饋。
[0042]實施方式的自適應(yīng)跟蹤系統(tǒng)提供對空間輸入裝置的實時跟蹤以便在SOE中進(jìn)行人機(jī)交互,SOE包括由一個或更多個用戶占據(jù)的工作空間、向用戶提供視覺反饋的一組屏幕;以及將用戶運動翻譯成命令輸入的姿勢控制系統(tǒng)。用戶利用身體部分和/或物理指點裝置作出姿勢,并且該系統(tǒng)將那些姿勢翻譯成動作,例如,指點、拖拽、選擇或其它直接操縱。在本文和相關(guān)申請中詳細(xì)描述這樣的系統(tǒng)的功能和目的。
[0043]姿勢控制系統(tǒng)的最底層是跟蹤用戶在工作空間內(nèi)的運動的部件。該跟蹤部件使用傳感器來捕捉并數(shù)字化物理運動,從而提供用于進(jìn)行姿勢檢測和翻譯層的基礎(chǔ)。
[0044]已經(jīng)將其中跟蹤部件使用相機(jī)來捕捉物理運動的基于相機(jī)的系統(tǒng)用于電影和視頻游戲行業(yè)中,以數(shù)字化和記錄演員和對象的三維(3D)運動。當(dāng)相機(jī)設(shè)置一組容易訪問的硬件和軟件時,對于直接應(yīng)用于HCI而言,這樣的系統(tǒng)可能不是最適合的,這是因為這樣的系統(tǒng)需要剛性的相機(jī)架、大量的相機(jī)重疊和/或大量相機(jī)、在用于捕捉數(shù)據(jù)前的校準(zhǔn)以及有意義的人工干預(yù),以初始化對象跟蹤,并且有時需要后處理步驟,以消除數(shù)據(jù)不一致性。
[0045]相反,計算機(jī)用戶可以期望其輸入裝置在不進(jìn)行廣泛配置的情況下工作。例如,用戶可以將外圍設(shè)備(例如鍵盤或鼠標(biāo))附接到其個人計算機(jī),并且立即開始使用。針對實施方式的HCI的運動跟蹤系統(tǒng)以相同的方式進(jìn)行,而不進(jìn)行廣泛配置或?qū)τ脩羰┘泳S持要求。
[0046]實施方式的跟蹤系統(tǒng)和姿勢控制的核心是相符合的虛擬空間和物理空間的概念,其中,系統(tǒng)創(chuàng)建如下感覺:在工作空間內(nèi)的屏幕上所顯示的虛擬信息簡單地是物理工作空間的延伸。相關(guān)申請描述示例,該示例包括精確指點、對屏幕的移動和重新定位的自動補(bǔ)償、依據(jù)用戶位置而改變的圖形以及屏幕顯示中所包括的物理對象,這里僅舉幾例。
[0047]為了提供用于創(chuàng)建這樣的沉浸式環(huán)境所必需的數(shù)據(jù),實施方式的跟蹤系統(tǒng)維持工作空間內(nèi)的用戶、屏幕、指點裝置和其它物理對象之間的空間關(guān)系的模型。實施方式包括運動跟蹤系統(tǒng),該運動跟蹤系統(tǒng)的特征在于使得其非常適合于在實時姿勢控制系統(tǒng)中使用。該特征包括但不限于以下內(nèi)容:在不進(jìn)行校準(zhǔn)的情況下系統(tǒng)的快速引導(dǎo);使用相對少的傳感器來覆蓋工作空間的能力;對工作空間內(nèi)的傳感器、屏幕、用戶、指點設(shè)備和其它對象之間的空間模型進(jìn)行建模;對工作空間的意外的重新配置或故意的重新配置的快速自適應(yīng);以及實時的傳感器融合以在不進(jìn)行后處理的情況下產(chǎn)生在空間上一致的運動跟蹤。實施方式的運動跟蹤使用與傳統(tǒng)的運動捕捉所使用的相機(jī)和硬件一樣的相機(jī)和硬件。[0048]實施方式的運動跟蹤系統(tǒng)的部件包括但不限于傳感器、標(biāo)簽、計算硬件和軟件。圖1B是根據(jù)實施方式的運動跟蹤系統(tǒng)的框圖。該運動跟蹤系統(tǒng)在由用戶200占據(jù)的工作空間環(huán)境100下工作,用戶200具有被貼標(biāo)簽的棒(wand) 300和/或被貼標(biāo)簽的手套310并且使用在固定屏幕400和移動屏幕410上呈現(xiàn)的應(yīng)用。通過在工作空間500內(nèi)安裝的或者附接到屏幕510的固定相機(jī)來提供標(biāo)簽感測,同時計算硬件和軟件600運行感測算法和用戶應(yīng)用。
[0049]跟蹤系統(tǒng)的傳感器收集與工作空間內(nèi)的標(biāo)簽的位置和取向(姿態(tài))有關(guān)的信息。標(biāo)簽是能夠容易地根據(jù)傳感器所收集的數(shù)據(jù)進(jìn)行檢測、標(biāo)識和定位的特定對象。計算硬件和軟件將來自傳感器的數(shù)據(jù)融合,以創(chuàng)建屏幕、傳感器和標(biāo)簽之間的運動模型和空間關(guān)系。除了存在能夠測量包括標(biāo)簽相對于傳感器的位置和取向的六自由度(DOF)的姿態(tài)的感測裝置以外,實施方式的系統(tǒng)對什么構(gòu)成標(biāo)簽沒有其它限制。使用被系統(tǒng)跟蹤的標(biāo)簽來裝飾相關(guān)對象(例如,指點裝置、用戶的身體部分、衣服、手套、屏幕等)。
[0050]在使用期間,實施方式的系統(tǒng)自動地建立工作空間內(nèi)的傳感器、屏幕和被貼標(biāo)簽的對象之間的空間關(guān)系的相干(coherent)估計。每個傳感器估計在其感測體積內(nèi)的每個標(biāo)簽的姿態(tài)。每個傳感器的感測體積與至少一個其它傳感器的感測體積部分相重疊,并且所有傳感器的組合感測體積是毗連的(contiguous),以允許建立完整的相干模型。此外,雖然所有傳感器不一定同步地收集測量,但是所有傳感器的測量與相同的時鐘同步。針對每個傳感器,系統(tǒng)對相對于工作空間的6-D0F姿態(tài)進(jìn)行建模。當(dāng)多個傳感器在時間上的相同時刻檢測相同標(biāo)簽時,恢復(fù)那些傳感器之間的空間關(guān)系,并且用來更新工作空間模型。因為傳感器僅測量相對空間信息,所以模型的原點被錨定至特定傳感器或者具有相對于物理工作空間的已知固定姿態(tài)的標(biāo)簽。
[0051]實施方式包括姿態(tài)檢測算法,該姿態(tài)檢測算法用于進(jìn)行平滑的姿態(tài)檢測以及在其中傳感器產(chǎn)生分歧、吵雜并且偶爾不正確的姿態(tài)假設(shè)的環(huán)境下來跟蹤標(biāo)簽。實施方式的姿態(tài)檢測算法提出實際系統(tǒng)中存在的兩個條件。
[0052]在來自多個傳感器的姿態(tài)假設(shè)不一致的情況下,遇到第一條件。該第一條件可以由工作空間、傳感器和/或標(biāo)簽?zāi)P椭械牟煌昝喇a(chǎn)生。在實際應(yīng)用中,較低的系統(tǒng)成本可以換來較差的數(shù)據(jù)質(zhì)量,其中,可以將更少的、更不吵雜并且更慢更新的傳感器用于覆蓋給定區(qū)域。此外,系統(tǒng)對工作空間配置的變化的快速自適應(yīng)暗示:在構(gòu)造和細(xì)化工作空間模型的任意給定時刻處,少量信息是可用的。
[0053]當(dāng)單個傳感器針對單個標(biāo)簽產(chǎn)生多個姿態(tài)假設(shè)時,遇到第二條件,并且第二條件可以由固有的傳感器特征或偽造的標(biāo)簽檢測產(chǎn)生。例如,在觀測平面標(biāo)簽的特定光學(xué)系統(tǒng)中存在固有模糊性:兩個相異的假設(shè)可同等地很好地適配于給定測量,即使在具有輕微測量噪聲的情況下也如此。另外,傳感器噪聲可以直接產(chǎn)生偽造的標(biāo)簽測量和假設(shè)?;趤碜詥蝹€傳感器的單個測量,可能無法區(qū)別正確的假設(shè)與不正確的假設(shè)。
[0054]實施方式的系統(tǒng)使用兩種方法來確定來自單個傳感器的哪個姿態(tài)假設(shè)是正確的。當(dāng)已針對多個時間步長以高置信度跟蹤標(biāo)簽時,在標(biāo)簽最后已知的良好姿態(tài)與新的假設(shè)之間的一致性是用于剔選出離群假設(shè)的良好量度。當(dāng)多個傳感器檢測相同標(biāo)簽時,系統(tǒng)剔選出跨多個傳感器不一致的假設(shè)。最后,如果沒有條件為真,則將所有假設(shè)傳播至下面的時間步長,直至已經(jīng)收集足夠的證據(jù)剔選出離群假設(shè)為止。[0055]在一組固定的傳感器在每個時間步長處始終檢測和測量特定標(biāo)簽的姿態(tài)的情況下,在給定可用信息的情況下,對假設(shè)取平均近似于標(biāo)簽的真實姿態(tài)的最大似然性估計。該量被稱為在特定時間步長處特定標(biāo)簽的“平均假設(shè)”。針對平均假設(shè)的位置部分的等式為:
[0056]
【權(quán)利要求】
1.一種系統(tǒng),包括: 被貼附到多個對象的多個標(biāo)簽,其中,所述多個標(biāo)簽包括多個特征,使得每個標(biāo)簽包括至少一個特征; 多個傳感器,其中,所述多個傳感器的位置限定包括所述多個對象的空間操作環(huán)境(SOE),其中,所述多個傳感器檢測所述多個特征;以及 在處理器上運行的自適應(yīng)跟蹤部件(ATC),其中,所述ATC從所述多個傳感器中的每個傳感器接收由相應(yīng)傳感器檢測到的與所述多個對象中的每個對象對應(yīng)的特征數(shù)據(jù),其中,所述ATC通過對來自所述多個傳感器的所述特征數(shù)據(jù)進(jìn)行整合來生成并維持所述多個對象與所述SOE之間的關(guān)系的相干模型。
2.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述相干模型包括所述多個對象之間的空間關(guān)系O
3.根據(jù)權(quán)利要求2所述的系統(tǒng),其中,所述相干模型包括所述多個對象的位置、取向和運動中的至少一個。
4.根據(jù)權(quán)利要求2所述的系統(tǒng),其中,所述相干模型包括所述多個對象的位置、取向和運動。
5.根據(jù)權(quán)利要求1所述 的系統(tǒng),其中,所述SOE包括所述ATC的虛擬空間,其中,所述ATC生成所述虛擬空間與包括所述SOE的物理空間之間的符合性。
6.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,傳感器從至少一個標(biāo)簽檢測包括所述至少一個標(biāo)簽相對于所述傳感器的位置和取向的姿態(tài)。
7.根據(jù)權(quán)利要求6所述的系統(tǒng),其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
8.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述多個對象包括身體、身體的附肢、裝置、衣月艮、手套、顯示裝置、家具中的至少一個。
9.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述相干模型的原點是相對于所述多個傳感器中的特定傳感器而限定的。
10.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述相干模型的原點是相對于所述多個標(biāo)簽中的特定標(biāo)簽而限定的,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
11.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述相干模型的原點是相對于所述多個傳感器中的特定傳感器和所述多個標(biāo)簽中的特定標(biāo)簽而限定的,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
12.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述多個標(biāo)簽中的每個標(biāo)簽包括由所述多個傳感器檢測和定位的至少一個特征。
13.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,每個標(biāo)簽包括標(biāo)簽設(shè)定信息。
14.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,每個標(biāo)簽包括身份信息。
15.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,每個標(biāo)簽包括姿態(tài)信息。
16.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,每個標(biāo)簽包括標(biāo)簽設(shè)定信息、身份信息和姿態(tài)信息中的至少一個。
17.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,每個標(biāo)簽包括標(biāo)簽設(shè)定信息、身份信息和姿態(tài)信息。
18.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,標(biāo)簽的投影圖像包括標(biāo)簽設(shè)定。
19.根據(jù)權(quán)利要求18所述的系統(tǒng),其中,所述至少一個特征包括至少一個標(biāo)記。
20.根據(jù)權(quán)利要求19所述的系統(tǒng),其中,所述標(biāo)簽設(shè)定使所述投影圖像中的至少一個點與至少一個對應(yīng)標(biāo)記相關(guān)。
21.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,標(biāo)簽的投影圖像包括身份。
22.根據(jù)權(quán)利要求21所述的系統(tǒng),其中,所述至少一個特征包括所述標(biāo)簽上的多個標(biāo)記。
23.根據(jù)權(quán)利要求22所述的系統(tǒng),其中,所述身份將所述多個標(biāo)簽中的第一標(biāo)簽與所述多個標(biāo)簽中的第二標(biāo)簽區(qū)別開。
24.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,標(biāo)簽的投影圖像包括姿態(tài)信息。
25.根據(jù)權(quán)利要求24所述的系統(tǒng),其中,所述姿態(tài)信息包括平移信息和旋轉(zhuǎn)信息。
26.根據(jù)權(quán)利要求25所述的系統(tǒng),其中,所述平移信息包括三自由度平移。
27.根據(jù)權(quán)利要求26所述的系統(tǒng),其中,所述旋轉(zhuǎn)信息包括三自由度旋轉(zhuǎn)。
28.根據(jù)權(quán)利要求25所述的系統(tǒng),其中,所述姿態(tài)信息使標(biāo)簽的位置和取向與所述SOE的位置和取向相關(guān)。
29.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,每個傳感器與所述SOE中的感測體積對應(yīng)。
30.根據(jù)權(quán)利要求29所述的系統(tǒng),其中,每個傳感器估計所述感測體積內(nèi)的每個標(biāo)簽的姿態(tài)。
31.根據(jù)權(quán)利要求30所述的系統(tǒng),其中,所述姿態(tài)包括標(biāo)簽的位置。
32.根據(jù)權(quán)利要求30所述的系統(tǒng),其中,所述姿態(tài)包括標(biāo)簽的取向。
33.根據(jù)權(quán)利要求30所述的系統(tǒng),其中,所述姿態(tài)包括標(biāo)簽的位置和取向。
34.根據(jù)權(quán)利要求33所述的系統(tǒng),其中,所述位置和所述取向是相對于每個相應(yīng)傳感器的。
35.根據(jù)權(quán)利要求29所述的系統(tǒng),其中,每個傳感器的所述感測體積與所述多個傳感器中的至少一個其它傳感器的所述感測體積至少部分地交疊。
36.根據(jù)權(quán)利要求35所述的系統(tǒng),其中,所述多個傳感器的組合感測體積是毗連的。
37.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述特征數(shù)據(jù)是同步的。
38.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述ATC針對所述多個傳感器中的每個傳感器生成相對于所述SOE的姿態(tài)的姿態(tài)模型。
39.根據(jù)權(quán)利要求38所述的系統(tǒng),其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
40.根據(jù)權(quán)利要求38所述的系統(tǒng),其中,當(dāng)多個傳感器全部都在一瞬間檢測第一標(biāo)簽時,所述ATC生成所述多個傳感器之間的空間關(guān)系。
41.根據(jù)權(quán)利要求40所述的系統(tǒng),其中,所述ATC使用所述空間關(guān)系來更新所述相干模型。
42.根據(jù)權(quán)利要求41所述的系統(tǒng),其中,所述ATC相對于所述多個傳感器中的特定傳感器而限定所述相干模型的原點。
43.根據(jù)權(quán)利要求41所述的系統(tǒng),其中,所述ATC相對于所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
44.根據(jù)權(quán)利要求41所述的系統(tǒng),其中,所述ATC相對于所述多個傳感器中的特定傳感器和所述多個標(biāo)簽中的特定標(biāo) 簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
45.根據(jù)權(quán)利要求41所述的系統(tǒng),其中,針對每個傳感器確定正確的姿態(tài)模型。
46.根據(jù)權(quán)利要求45所述的系統(tǒng),其中,由傳感器在多個時間點處跟蹤標(biāo)簽,并且針對所述標(biāo)簽生成多個姿態(tài)模型。
47.根據(jù)權(quán)利要求46所述的系統(tǒng),其中,針對所述多個姿態(tài)模型生成多個置信量度,并且基于所述多個置信量度對所述多個姿態(tài)模型進(jìn)行剔選以去除任何不一致的姿態(tài)模型。
48.根據(jù)權(quán)利要求45所述的系統(tǒng),其中,由多個傳感器在多個時間點處跟蹤標(biāo)簽,并且針對所述標(biāo)簽開發(fā)多組姿態(tài)模型,其中,每組姿態(tài)模型包括與每個時間點對應(yīng)的多個姿態(tài)模型。
49.根據(jù)權(quán)利要求48所述的系統(tǒng),其中,針對每組姿態(tài)模型中的所述多個姿態(tài)模型生成多個置信量度,并且基于所述多個置信量度對所述多組姿態(tài)模型進(jìn)行剔選以去除任何不一致的姿態(tài)模型。
50.根據(jù)權(quán)利要求48所述的系統(tǒng),其中,平均假設(shè)包括每組姿態(tài)模型中的所述多個姿態(tài)模型的平均。
51.根據(jù)權(quán)利要求50所述的系統(tǒng),其中,所述平均假設(shè)近似于針對對應(yīng)標(biāo)簽的真實姿態(tài)的最大似然性估計。
52.根據(jù)權(quán)利要求51所述的系統(tǒng),其中,所述平均假設(shè)包括位置分量。
53.根據(jù)權(quán)利要求51所述的系統(tǒng),其中,所述平均假設(shè)包括旋轉(zhuǎn)分量。
54.根據(jù)權(quán)利要求51所述的系統(tǒng),其中,所述平均假設(shè)包括位置分量和旋轉(zhuǎn)分量。
55.根據(jù)權(quán)利要求54所述的系統(tǒng),其中,所述位置分量由下面的第一等式給出:
56.根據(jù)權(quán)利要求55所述的系統(tǒng),其中,通過如下方式來對所述旋轉(zhuǎn)分量取近似:將所述第一等式應(yīng)用于形成所述SOE內(nèi)的旋轉(zhuǎn)坐標(biāo)系的基的單位方向向量;并且重新歸一化所述單位方向向量。
57.根據(jù)權(quán)利要求50所述的系統(tǒng),其中,通過將校正因子應(yīng)用于所述平均假設(shè)來生成經(jīng)平滑的假設(shè)。
58.根據(jù)權(quán)利要求57所述的系統(tǒng),其中,當(dāng)至少一個額外的傳感器檢測標(biāo)簽時生成所述經(jīng)平滑的假設(shè),其中,所述至少一個額外的傳感器先前未檢測過所述標(biāo)簽。
59.根據(jù)權(quán)利要求57所述的系統(tǒng),其中,當(dāng)所述多個傳感器中的至少一個傳感器停止檢測標(biāo)簽時生成所述經(jīng)平滑的假設(shè),其中,所述至少一個額外的傳感器先前已檢測過所述標(biāo)簽。
60.根據(jù)權(quán)利要求57所述的系統(tǒng),其中,所述經(jīng)平滑的假設(shè)包括位置分量。
61.根據(jù)權(quán)利要求57所述的系統(tǒng),其中,所述經(jīng)平滑的假設(shè)包括旋轉(zhuǎn)分量。
62.根據(jù)權(quán)利要求57所述的系統(tǒng),其中,所述經(jīng)平滑的假設(shè)包括位置分量和旋轉(zhuǎn)分量。
63.根據(jù)權(quán)利要求62所述的系統(tǒng),其中,所述位置分量由下面的第二等式給出:
64.根據(jù)權(quán)利要求63所述的系統(tǒng),其中,所述校正因子被應(yīng)用于所述平均假設(shè),其中,所述校正因子是被定義為下式的向量:
65.根據(jù)權(quán)利要求64所述的系統(tǒng),其中,所述常數(shù)k的值被選擇為當(dāng)貼附有標(biāo)簽的對象經(jīng)歷精細(xì)操縱和粗糙運動時為所述相干模型提供相對高的準(zhǔn)確度。
66.根據(jù)權(quán)利要求64所述的系統(tǒng),其中,所述常數(shù)k被選擇為遠(yuǎn)小于I。
67.根據(jù)權(quán)利要求66所述的系統(tǒng),其中,所述常數(shù)k被選擇為使得經(jīng)校正的假設(shè)Xi+Ci相對接近所述經(jīng)平滑的假設(shè)。
68.根據(jù)權(quán)利要求66所述的系統(tǒng),其中,所述常數(shù)k被選擇為大于零,以確保所述經(jīng)平滑的假設(shè)在每個時間段被迫朝向所述平均假設(shè)。
69.根據(jù)權(quán)利要求68所述的系統(tǒng),其中,所述常數(shù)k的值變化為使得當(dāng)在時間段之間所述標(biāo)簽的運動大時,所述經(jīng)平滑的假設(shè)相對地在空間上準(zhǔn)確。
70.根據(jù)權(quán)利要求69所述的系統(tǒng),其中,當(dāng)在時間段期間所述標(biāo)簽的運動小時,所述常數(shù)k的值被選擇為相對小,使得所述經(jīng)平滑的假設(shè)維持相對較大的空間和時間平滑度。
71.根據(jù)權(quán)利要求63所述的系統(tǒng),其中,通過如下方式來對所述旋轉(zhuǎn)分量取近似:將所述第二等式應(yīng)用于形成所述SOE內(nèi)的旋轉(zhuǎn)坐標(biāo)系的基的單位方向向量;并且重新歸一化所述單位方向向量。
72.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述多個傳感器中的至少一個傳感器實時地測量所述多個對象中的至少一個對象的對象姿態(tài)。
73.根據(jù)權(quán)利要求72所述的系統(tǒng),其中,所述至少一個傳感器包括被貼附到對象的多個傳感器。
74.根據(jù)權(quán)利要求72所述的系統(tǒng),其中,所述至少一個傳感器被貼附到所述至少一個對象。
75.根據(jù)權(quán)利要求74所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述對象姿態(tài)的改變。
76.根據(jù)權(quán)利要求75所述的系統(tǒng),其中,所述ATC生成所述至少一個對象的物理尺寸和姿態(tài)的模型。
77.根據(jù)權(quán)利要求76所述的系統(tǒng),其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
78.根據(jù)權(quán)利要求75所述的系統(tǒng),其中,所述至少一個傳感器被貼附到所述至少一個對象的周界上的至少一個位置,其中,所述至少一個對象是顯示裝置。
79.根據(jù)權(quán)利要求78所述的系統(tǒng),其中,所述ATC自動地確定所述至少一個位置。
80.根據(jù)權(quán)利要求79所述的系統(tǒng),其中,所述至少一個位置的位置數(shù)據(jù)是人工輸入的。
81.根據(jù)權(quán)利要求78所述的系統(tǒng),其中,所述至少一個傳感器實時地測量顯示裝置姿態(tài)。
82.根據(jù)權(quán)利要求81所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述顯示裝置姿態(tài)的改變。
83.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述多個標(biāo)簽中的至少一個標(biāo)簽被貼附到所述多個對象中的至少一個對象。
84.根據(jù)權(quán)利要求83所述的系統(tǒng),其中,所述至少一個標(biāo)簽包括被貼附到對象的多個標(biāo)簽。
85.根據(jù)權(quán)利要求83所述的系統(tǒng),其中,所述多個傳感器使用所述至少一個標(biāo)簽的信息來實時地測量所述至少一個對象的對象姿態(tài)。
86.根據(jù)權(quán)利要求85所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述對象姿態(tài)的改變。
87.根據(jù)權(quán)利要求86所述的系統(tǒng),其中,所述ATC生成所述至少一個對象的物理尺寸和姿態(tài)的模型。
88.根據(jù)權(quán)利要求87所述的系統(tǒng),其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
89.根據(jù)權(quán)利要求86所述的系統(tǒng),其中,所述至少一個標(biāo)簽被貼附到所述至少一個對象的周界上的至少一個位置,其中,所述至少一個對象是顯示裝置。
90.根據(jù)權(quán)利要求89所述的系統(tǒng),其中,所述ATC自動地確定所述至少一個位置。
91.根據(jù)權(quán)利要求90所述的系統(tǒng),其中,所述至少一個位置的位置數(shù)據(jù)是人工輸入的。
92.根據(jù)權(quán)利要求89所述的系統(tǒng),其中,所述多個傳感器使用所述至少一個標(biāo)簽的信息來實時地測量顯示裝置姿態(tài)。
93.根據(jù)權(quán)利要求92所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述顯示裝置姿態(tài)的改變。
94.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述多個傳感器中的至少一個傳感器實時地測量所述多個對象中的至少一個對象的對象姿態(tài),其中,所述至少一個對象是被標(biāo)記的對象。
95.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,使用被貼標(biāo)簽的對象來標(biāo)記所述被標(biāo)記的對象,其中,所述被貼標(biāo)簽的對象包括被貼附到對象的標(biāo)簽。
96.根據(jù)權(quán)利要求95所述的系統(tǒng),其中,當(dāng)所述被貼標(biāo)簽的對象被放置成與所述至少一個對象上的至少一個位置直接接觸時,標(biāo)記所述被標(biāo)記的對象。
97.根據(jù)權(quán)利要求96所述的系統(tǒng),其中,所述至少一個位置包括所述被標(biāo)記的對象上的多個位置。
98.根據(jù)權(quán)利要求97所述的系統(tǒng),其中,所述多個傳感器測量所述被貼標(biāo)簽的對象相對于所述被標(biāo)記的對象和所述SOE的姿態(tài)。
99.根據(jù)權(quán)利要求98所述的系統(tǒng),其中,在所述多個位置處感測到的所述被貼標(biāo)簽的對象的所述姿態(tài)表示所述被標(biāo)記的對象的姿態(tài)。
100.根據(jù)權(quán)利要求95所述的系統(tǒng),其中,當(dāng)所述被貼標(biāo)簽的對象指向所述至少一個對象上的多個位置時,標(biāo)記所述被標(biāo)記的對象。
101.根據(jù)權(quán)利要求100所述的系統(tǒng),其中,所述多個傳感器測量所述被貼標(biāo)簽的對象相對于所述被標(biāo)記的對象和所述SOE的姿態(tài)。
102.根據(jù)權(quán)利要求101所述的系統(tǒng),其中,所述被貼標(biāo)簽的對象的所述姿態(tài)表示所述被標(biāo)記的對象的姿態(tài)。
103.根據(jù)權(quán)利要求102所述的系統(tǒng),其中,所述被貼標(biāo)簽的對象的所述姿態(tài)表示在與所述被貼標(biāo)簽的對象指向所述多個位置之時對應(yīng)的時間點處所述被標(biāo)記的對象的姿態(tài)。
104.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述至少一個特征包括光學(xué)基準(zhǔn)。
105.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述至少一個特征包括發(fā)光二極管(LED)。
106.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述至少一個特征包括紅外(IR)發(fā)光二極管(LED)。
107.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述至少一個特征包括包含回射材料的標(biāo)記。
108.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述至少一個特征包括如下標(biāo)記:該標(biāo)記包括包含至少一個顏色的至少一個區(qū)域。
109.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述至少一個特征包括多個共線標(biāo)記。
110.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,標(biāo)簽包括線性局部標(biāo)簽(LPT),所述LPT包括多個共線標(biāo)記。
111.根據(jù)權(quán)利要求110所述的系統(tǒng),其中,所述多個共線標(biāo)記傳達(dá)所述標(biāo)簽的身份。
112.根據(jù)權(quán)利要求111所述的系統(tǒng),其中,標(biāo)簽包括多個LPT,其中,每個LPT包括多個共線標(biāo)記。
113.根據(jù)權(quán)利要求112所述的系統(tǒng),其中,標(biāo)簽包括位于襯底上的與第二LPT相鄰的第一 LPT,其中,所述第一 LPT包括第一組共線標(biāo)記,并且所述第二 LPT包括第二組共線標(biāo)記。
114.根據(jù)權(quán)利要求113所述的系統(tǒng),其中,所述第一組共線標(biāo)記包括四(4)個共線標(biāo)記,并且所述第二組共線標(biāo)記包括四(4)個共線標(biāo)記。
115.根據(jù)權(quán)利要求113所述的系統(tǒng),其中,所述多個傳感器包括至少一個相機(jī),并且所述特征數(shù)據(jù)包括由所述至少一個相機(jī)獲取的投影圖像,其中,所述投影圖像包括所述標(biāo)簽。
116.根據(jù)權(quán)利要求115所述的系統(tǒng),包括:搜索所述投影圖像并且在所述投影圖像中標(biāo)識所述第一 LPT。
117.根據(jù)權(quán)利要求116所述的系統(tǒng),包括:將線與所述第一LPT中的所述第一組共線標(biāo)記相擬合。
118.根據(jù)權(quán)利要求117所述的系統(tǒng),包括:計算所述第一組共線標(biāo)記的交比,其中,所述交比是所述第一組共線標(biāo)記中的所述多個共線標(biāo)記之間的成對距離的函數(shù)。
119.根據(jù)權(quán)利要求118所述的系統(tǒng),包括:將所述交比與與一組已知LPT對應(yīng)的一組交比相比較。
120.根據(jù)權(quán)利要求119所述的系統(tǒng),包括:搜索所述投影圖像并且標(biāo)識所述第二LPT ;以及將所述第一 LPT和所述第二 LPT組合成標(biāo)簽候選。
121.根據(jù)權(quán)利要求120所述的系統(tǒng),包括:計算與所述標(biāo)簽候選對應(yīng)的一組姿態(tài)假設(shè)。
122.根據(jù)權(quán)利要求121所述的系統(tǒng),其中,所述姿態(tài)假設(shè)包括六自由度(DOF)姿態(tài)。
123.根據(jù)權(quán)利要求121所述的系統(tǒng),包括:計算作為所述組姿態(tài)假設(shè)中的姿態(tài)的重新投影誤差的置信量度。
124.根據(jù)權(quán)利要求123所述的系統(tǒng),其中,所述置信量度由下面的等式給出:
125.根據(jù)權(quán)利要求115所述的系統(tǒng),其中,所述至少一個相機(jī)收集所述投影圖像的圖像坐標(biāo)與所述多個共線標(biāo)記之間的對應(yīng)關(guān)系數(shù)據(jù)。
126.根據(jù)權(quán)利要求125所述的系統(tǒng),包括相機(jī)校準(zhǔn)應(yīng)用,其中,使用所述相機(jī)校準(zhǔn)應(yīng)用來對所述至少一個相機(jī)的固有參數(shù)進(jìn)行建模,其中,所述固有參數(shù)包括焦比、光心、偏斜度和鏡頭畸變中的至少一個。
127.根據(jù)權(quán)利要求126所述的系統(tǒng),其中,至所述相機(jī)校準(zhǔn)應(yīng)用的輸入包括所述對應(yīng)關(guān)系數(shù)據(jù)。
128.根據(jù)權(quán)利要求1所述的系統(tǒng),其中,所述處理器根據(jù)經(jīng)由所述多個傳感器接收到的所述特征數(shù)據(jù)來自動地檢測身體的姿勢,其中,所述多個對象包括所述身體,其中,所述特征數(shù)據(jù)是在時間和空間中的一點處所述身體的瞬時狀態(tài)的絕對三度空間位置數(shù)據(jù),所述檢測包括聚集所述特征數(shù)據(jù)并且僅使用所述特征數(shù)據(jù)標(biāo)識所述姿勢。
129.根據(jù)權(quán)利要求128所述的系統(tǒng),其中,所述控制包括控制以下中的至少一個:在所述處理器上運行的應(yīng)用的功能;由所述處理器顯示的部件;以及耦接到所述處理器的部件。
130.根據(jù)權(quán)利要求128所述的系統(tǒng),其中,所述處理器將所述姿勢翻譯成姿勢信號、并且響應(yīng)于所述姿勢信號來控制耦接到所述處理器的部件。
131.根據(jù)權(quán)利要求130所述的系統(tǒng),其中,所述檢測包括標(biāo)識所述姿勢,其中,所述標(biāo)識包括標(biāo)識所述身體的一部分的姿態(tài)和取向。
132.根據(jù)權(quán)利要求131所述的系統(tǒng),其中,所述翻譯包括將所述姿勢的信息翻譯成姿勢記號。
133.根據(jù)權(quán)利要求132所述的系統(tǒng),其中,所述姿勢記號表示姿勢詞匯,并且所述姿勢信號包括所述姿勢詞匯的通信。
134.根據(jù)權(quán)利要求133所述的系統(tǒng),其中,所述姿勢詞匯以文本形式表示所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的瞬時姿態(tài)狀態(tài)。
135.根據(jù)權(quán)利要求133所述的系統(tǒng),其中,所述姿勢詞匯以文本形式表示所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的取向。
136.根據(jù)權(quán)利要求133所述的系統(tǒng),其中,所述姿勢詞匯以文本形式表示所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的取向的組合。
137.根據(jù)權(quán)利要求133所述的系統(tǒng),其中,所述姿勢詞匯包括表示所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的狀態(tài)的字符串。
138.根據(jù)權(quán)利要求130所述的系統(tǒng),其中,控制所述部件包括通過將所述姿勢映射到三度空間對象來同時以六自由度控制所述三度空間對象,其中,所述多個對象包括所述三度空間對象。
139.根據(jù)權(quán)利要求138所述的系統(tǒng),其中,所述三度空間對象被呈現(xiàn)在耦接到所述處理器的顯示裝置上。
140.根據(jù)權(quán)利要求138所述的系統(tǒng),其中,所述三度空間對象耦接到所述處理器。
141.根據(jù)權(quán)利要求138所述的系統(tǒng),包括:通過將多個姿勢映射到所述三度空間對象的多個對象平移來控制所述三度空間對象的移動。
142.根據(jù)權(quán)利要求138所述的系統(tǒng),其中,所述檢測包括檢測所述對象的被外推出的位置何時與虛擬空間相交,其中,所述虛擬空間包括在耦接到所述處理器的顯示裝置上描繪出的空間。
143.根據(jù)權(quán)利要求142所述的系統(tǒng),其中,控制所述部件包括當(dāng)所述被外推出的位置與所述虛擬空間中的虛擬對象相交時控制所述虛擬對象。
144.根據(jù)權(quán)利要求143所述的系統(tǒng),其中,控制所述部件包括響應(yīng)于所述虛擬空間中的所述被外推出的位置來控制所述虛擬對象在所述虛擬空間中的位置。
145.根據(jù)權(quán)利要求144所述的系統(tǒng),其中,控制所述部件包括響應(yīng)于所述姿勢來控制所述虛擬對象在所述虛擬空間中的姿態(tài)。
146.一種方法,包括: 將多個標(biāo)簽貼附到多個對象,所述多個標(biāo)簽包括多個特征,使得每個標(biāo)簽包括至少一個特征; 通過定位多個傳感器來限定空間操作環(huán)境(SOE),其中,所述SOE包括所述多個對象; 利用所述多個傳感器來檢測所述多個特征; 從所述多個傳感器中的每個傳感器接收由相應(yīng)傳感器檢測到的與所述多個對象中的每個對象對應(yīng)的特征數(shù)據(jù);并且 通過對來自所述多個傳感器的所述特征數(shù)據(jù)進(jìn)行整合來生成并維持所述多個對象與所述SOE之間的關(guān)系的相干模型。
147.根據(jù)權(quán)利要求146所述的方法,其中,所述相干模型包括所述多個對象之間的空間關(guān)系。
148.根據(jù)權(quán)利要求147所述的方法,其中,所述相干模型包括所述多個對象的位置、取向和運動中的至少一個。
149.根據(jù)權(quán)利要求147所述的方法,其中,所述相干模型包括所述多個對象的位置、取向和運動。
150.根據(jù)權(quán)利要求146所述的方法,包括:生成虛擬空間與包括所述SOE的物理空間之間的符合性。
151.根據(jù)權(quán)利要求146所述的方法,其中,所述檢測包括從至少一個標(biāo)簽檢測包括所述至少一個標(biāo)簽相對于所述傳感器的位置和取向的姿態(tài),其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
152.根據(jù)權(quán)利要求146所述的方法,其中,所述多個對象包括身體、身體的附肢、裝置、衣服、手套、顯示裝置、家具中的至少一個。
153.根據(jù)權(quán)利要求146所述的方法,包括:相對于所述多個傳感器中的特定傳感器而限定所述相干模型的原點。
154.根據(jù)權(quán)利要求146所述的方法,包括:相對于所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
155.根據(jù)權(quán)利要求146所述的方法,包括:相對于所述多個傳感器中的特定傳感器和所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
156.根據(jù)權(quán)利要求146所述的方法,其中,所述多個標(biāo)簽中的每個標(biāo)簽包括由所述多個傳感器檢測和定位的至少一個特征。
157.根據(jù)權(quán)利要求146所述的方法,其中,每個標(biāo)簽包括標(biāo)簽設(shè)定信息、身份信息和姿態(tài)信息中的至少一個。
158.根據(jù)權(quán)利要求146所述的方法,其中,每個標(biāo)簽包括標(biāo)簽設(shè)定信息、身份信息和姿態(tài)息。
159.根據(jù)權(quán)利要求146所述的方法,其中,標(biāo)簽的投影圖像包括標(biāo)簽設(shè)定,其中,所述至少一個特征包括至少一個標(biāo)記,其中,所述標(biāo)簽設(shè)定使所述投影圖像中的至少一個點與至少一個對應(yīng)標(biāo)記相關(guān)。
160.根據(jù)權(quán)利要求146所述的方法,其中,標(biāo)簽的投影圖像包括身份,其中,所述至少一個特征包括所述標(biāo)簽上的多個標(biāo)記,其中,所述身份將所述多個標(biāo)簽中的第一標(biāo)簽與所述多個標(biāo)簽中的第二標(biāo)簽區(qū)別開。
161.根據(jù)權(quán)利要求146所述的方法,其中,標(biāo)簽的投影圖像包括姿態(tài)信息,其中,所述姿態(tài)息包括平移息和旋轉(zhuǎn)息。
162.根據(jù)權(quán)利要求161所述的方法,其中,所述平移信息包括三自由度平移,其中,所述旋轉(zhuǎn)信息包括三自由度 旋轉(zhuǎn)。
163.根據(jù)權(quán)利要求161所述的方法,其中,所述姿態(tài)信息使標(biāo)簽的位置和取向與所述SOE的位置和取向相關(guān)。
164.根據(jù)權(quán)利要求146所述的方法,包括:利用每個傳感器估計感測體積內(nèi)的每個標(biāo)簽的姿態(tài),其中,每個傳感器與所述SOE中的相應(yīng)感測體積對應(yīng)。
165.根據(jù)權(quán)利要求164所述的方法,其中,所述姿態(tài)包括標(biāo)簽的位置和標(biāo)簽的取向中的至少一個。
166.根據(jù)權(quán)利要求164所述的方法,其中,所述姿態(tài)包括標(biāo)簽的位置和標(biāo)簽的取向,其中,所述位置和所述取向是相對于每個相應(yīng)傳感器的。
167.根據(jù)權(quán)利要求164所述的方法,其中,每個傳感器的所述感測體積與所述多個傳感器中的至少一個其它傳感器的所述感測體積至少部分地交疊,其中,所述多個傳感器的組合感測體積是毗連的。
168.根據(jù)權(quán)利要求146所述的方法,其中,所述特征數(shù)據(jù)是同步的。
169.根據(jù)權(quán)利要求146所述的方法,包括:針對所述多個傳感器中的每個傳感器生成相對于所述SOE的姿態(tài)的姿態(tài)模型,其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
170.根據(jù)權(quán)利要求169所述的方法,包括:當(dāng)多個傳感器全部都在一瞬間檢測第一標(biāo)簽時,生成所述多個傳感器之間的空間關(guān)系;并且使用所述空間關(guān)系來更新所述相干模型。
171.根據(jù)權(quán)利要求170所述的方法,包括:相對于所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
172.根據(jù)權(quán)利要求170所述的方法,包括:相對于所述多個傳感器中的特定傳感器和所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
173.根據(jù)權(quán)利要求170所述的方法,包括:針對每個傳感器確定正確的姿態(tài)模型。
174.根據(jù)權(quán)利要求173所述的方法,包括: 由傳感器在多個時間點處跟蹤標(biāo)簽,并且針對所述標(biāo)簽生成多個姿態(tài)模型; 針對所述多個姿態(tài)模型生成多個置信量度,并且基于所述多個置信量度對所述多個姿態(tài)模型進(jìn)行剔選以去除任何不一致的姿態(tài)模型。
175.根據(jù)權(quán)利要求173所述的方法,包括:由多個傳感器在多個時間點處跟蹤標(biāo)簽,并且針對所述標(biāo)簽開發(fā)多組姿態(tài)模型,其中,每組姿態(tài)模型包括與每個時間點對應(yīng)的多個姿態(tài)模型。
176.根據(jù)權(quán)利要求175所述的方法,包括:針對每組姿態(tài)模型中的所述多個姿態(tài)模型生成多個置信量度,并且基于所述多個置信量度對所述多組姿態(tài)模型進(jìn)行剔選以去除任何不一致的姿態(tài)模型。
177.根據(jù)權(quán)利要求175所述的方法,其中,平均假設(shè)包括每組姿態(tài)模型中的所述多個姿態(tài)模型的平均,其中,所述平均假設(shè)近似于針對對應(yīng)標(biāo)簽的真實姿態(tài)的最大似然性估計。
178.根據(jù)權(quán)利要求177所述的方法,其中,所述平均假設(shè)包括位置分量和旋轉(zhuǎn)分量中的至少一個。
179.根據(jù)權(quán)利要求177所述的方法,其中,所述平均假設(shè)包括位置分量和旋轉(zhuǎn)分量。
180.根據(jù)權(quán)利要求179所述的方法,包括:使用第一等式確定所述位置分量:
181.根據(jù)權(quán)利要求177所述的方法,包括:通過將校正因子應(yīng)用于所述平均假設(shè)來生成經(jīng)平滑的假設(shè)。
182.根據(jù)權(quán)利要求181所述的方法,包括:當(dāng)至少一個額外的傳感器檢測標(biāo)簽時生成所述經(jīng)平滑的假設(shè),其中,所述至少一個額外的傳感器先前未檢測過所述標(biāo)簽。
183.根據(jù)權(quán)利要求181所述的方法,包括:當(dāng)所述多個傳感器中的至少一個傳感器停止檢測標(biāo)簽時生成所述經(jīng)平滑的假設(shè),其中,所述至少一個額外的傳感器先前已檢測過所述標(biāo)簽。
184.根據(jù)權(quán)利要求181所述的方法,其中,所述經(jīng)平滑的假設(shè)包括位置分量和旋轉(zhuǎn)分量中的至少一個。
185.根據(jù)權(quán)利要求181所述的方法,其中,所述經(jīng)平滑的假設(shè)包括位置分量和旋轉(zhuǎn)分量。
186.根據(jù)權(quán)利要求185所述的方法,包括:使用第二等式確定所述位置分量:
187.根據(jù)權(quán)利要求186所述的方法,包括:將所述校正因子應(yīng)用于所述平均假設(shè),其中,所述校正因子是被定義為下式的向量:
188.根據(jù)權(quán)利要求187所述的方法,包括:將所述常數(shù)k的值選擇為當(dāng)貼附有標(biāo)簽的對象經(jīng)歷精細(xì)操縱和粗糙運動時為所述相干模型提供相對高的準(zhǔn)確度。
189.根據(jù)權(quán)利要求187所述的方法,包括:將所述常數(shù)k選擇為遠(yuǎn)小于I。
190.根據(jù)權(quán)利要求189所述的方法,包括:將所述常數(shù)k選擇為使得經(jīng)校正的假設(shè)Xdci相對接近所述經(jīng)平滑的假設(shè)。
191.根據(jù)權(quán)利要求189所述的方法,包括:將所述常數(shù)k選擇為大于零,以迫使所述經(jīng)平滑的假設(shè)在每個時間段朝向所述平均假設(shè)。
192.根據(jù)權(quán)利要求191所述的方法,包括:使所述常數(shù)k的值變化為使得在在時間段之間所述標(biāo)簽相對大的運動期間,所述經(jīng)平滑的假設(shè)保持相對地在空間上準(zhǔn)確。
193.根據(jù)權(quán)利要求192所述的方法,包括:在所述標(biāo)簽的運動相對小的時間段期間,將所述常數(shù)k的值選擇為相對小,使得所述經(jīng)平滑的假設(shè)維持相對較大的空間和時間平滑度。
194.根據(jù)權(quán)利要求186所述的方法,包括:通過如下方式來對所述旋轉(zhuǎn)分量取近似:將所述第二等式應(yīng)用于形成所述SOE內(nèi)的旋轉(zhuǎn)坐標(biāo)系的基的單位方向向量;并且重新歸一化所述單位方向向量。
195.根據(jù)權(quán)利要求146所述的方法,包括:使用所述多個傳感器中的至少一個傳感器來實時地測量所述多個對象中的至少一個對象的對象姿態(tài)。
196.根據(jù)權(quán)利要求195所述的方法,其中,所述至少一個傳感器包括被貼附到對象的多個傳感器。
197.根據(jù)權(quán)利要求195所述的方法,其中,所述至少一個傳感器被貼附到所述至少一個對象。
198.根據(jù)權(quán)利要求197所述的方法,包括:自動地適應(yīng)于所述對象姿態(tài)的改變。
199.根據(jù)權(quán)利要求198所述的方法,包括:生成所述至少一個對象的物理尺寸和姿態(tài)的模型,其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
200.根據(jù)權(quán)利要求198所述的方法,包括:將所述至少一個傳感器貼附到所述至少一個對象的周界上的至少一個位置,其中,所述至少一個對象是顯示裝置。
201.根據(jù)權(quán)利要求200所述的方法,包括:自動地確定所述至少一個位置。
202.根據(jù)權(quán)利要求200所述的方法,其中,所述至少一個位置的位置數(shù)據(jù)是人工輸入的。
203.根據(jù)權(quán)利要求200所述的方法,使用所述至少一個傳感器實時地測量顯示裝置姿態(tài);并且自動地適應(yīng)于所述顯示裝置姿態(tài)的改變。
204.根據(jù)權(quán)利要求146所述的方法,包括:將所述多個標(biāo)簽中的至少一個標(biāo)簽貼附到所述多個對象中的至少一個對象。
205.根據(jù)權(quán)利要求204所述的方法,其中,所述至少一個標(biāo)簽包括被貼附到對象的多個標(biāo)簽。
206.根據(jù)權(quán)利要求204所述的方法,包括:利用所述多個傳感器、使用所述至少一個標(biāo)簽的信息來實時地測量所述至少一個對象的對象姿態(tài)。
207.根據(jù)權(quán)利要求206所述的方法,包括:自動地適應(yīng)于所述對象姿態(tài)的改變。
208.根據(jù)權(quán)利要求207所述的方法,包括:生成所述至少一個對象的物理尺寸和姿態(tài)的模型,其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
209.根據(jù)權(quán)利要求207所述的方法,包括:將所述至少一個標(biāo)簽貼附到所述至少一個對象的周界上的至少一個位置,其中,所述至少一個對象是顯示裝置。
210.根據(jù)權(quán)利要求209所述的方法,包括:自動地確定所述至少一個位置。
211.根據(jù)權(quán)利要求209所述的方法,其中,所述至少一個位置的位置數(shù)據(jù)是人工輸入的。
212.根據(jù)權(quán)利要求209所述的方法,包括:利用所述多個傳感器、使用所述至少一個標(biāo)簽的信息來實時地測量顯示裝置姿態(tài);并且自動地適應(yīng)于所述顯示裝置姿態(tài)的改變。
213.根據(jù)權(quán)利要求146所述的方法,包括:利用所述多個傳感器實時地測量所述多個對象中的至少一個對象的對象姿態(tài),其中,所述至少一個對象是被標(biāo)記的對象。
214.根據(jù)權(quán)利要求146所述的方法,包括:使用被貼標(biāo)簽的對象來標(biāo)記所述被標(biāo)記的對象,其中,所述被貼標(biāo)簽的對象包括被貼附到對象的標(biāo)簽。
215.根據(jù)權(quán)利要求214所述的方法,包括:當(dāng)所述被貼標(biāo)簽的對象被放置成與所述至少一個對象上的至少一個位置直接接觸時,標(biāo)記所述被標(biāo)記的對象。
216.根據(jù)權(quán)利要求215所述的方法,包括:利用所述多個傳感器測量所述被貼標(biāo)簽的對象相對于所述被標(biāo)記的對象和所述SOE的姿態(tài),其中,所述至少一個位置包括所述被標(biāo)記的對象上的多個位置,其中,在所述多個位置處感測到的所述被貼標(biāo)簽的對象的所述姿態(tài)表示所述被標(biāo)記的對象的姿態(tài)。
217.根據(jù)權(quán)利要求214所述的方法,包括:當(dāng)所述被貼標(biāo)簽的對象指向所述至少一個對象上的多個位置時,標(biāo)記所述被標(biāo)記的對象。
218.根據(jù)權(quán)利要求217所述的方法,包括:利用所述多個傳感器測量所述被貼標(biāo)簽的對象相對于所述被標(biāo)記的對象和所述SOE的姿態(tài),其中,所述被貼標(biāo)簽的對象的所述姿態(tài)表示所述被標(biāo)記的對象的姿態(tài),其中,所述被貼標(biāo)簽的對象的所述姿態(tài)表示在與所述被貼標(biāo)簽的對象指向所述多個位置之時對應(yīng)的時間點處所述被標(biāo)記的對象的姿態(tài)。
219.根據(jù)權(quán)利要求146所述的方法,其中,所述至少一個特征包括以下中的至少一個:光學(xué)基準(zhǔn);發(fā)光二極管(LED);紅外(IR)發(fā)光二極管(LED);包含回射材料的標(biāo)記;包括包含至少一個顏色的至少一個區(qū)域的標(biāo)記;以及多個共線標(biāo)記。
220.根據(jù)權(quán)利要求146所述的方法,其中,標(biāo)簽包括線性局部標(biāo)簽(LPT),所述LPT包括多個共線標(biāo)記。
221.根據(jù)權(quán)利要求220所述的方法,包括:利用所述多個共線標(biāo)記傳達(dá)所述標(biāo)簽的身份。
222.根據(jù)權(quán)利要求221所述的方法,其中,標(biāo)簽包括多個LPT,其中,每個LPT包括多個共線標(biāo)記,其中,標(biāo)簽包括位于襯底上的與第二 LPT相鄰的第一 LPT,其中,所述第一 LPT包括第一組共線標(biāo)記,并且所述第二 LPT包括第二組共線標(biāo)記。
223.根據(jù)權(quán)利要求222所述的方法,其中,所述多個傳感器包括至少一個相機(jī),并且所述特征數(shù)據(jù)包括由所述至少一個相機(jī)獲取的投影圖像,其中,所述投影圖像包括所述標(biāo)簽。
224.根據(jù)權(quán)利要求223所述的方法,包括:搜索所述投影圖像并且在所述投影圖像中標(biāo)識所述第一 LPT ;并且將線與所述第一 LPT中的所述第一組共線標(biāo)記相擬合。
225.根據(jù)權(quán)利要求224所述的方法,包括:計算所述第一組共線標(biāo)記的交比,其中,所述交比是所述第一組共線標(biāo)記中的所述多個共線標(biāo)記之間的成對距離的函數(shù);并且將所述交比與與一組已知LPT對應(yīng)的一組交比相比較。
226.根據(jù)權(quán)利要求225所述的方法,包括:搜索所述投影圖像并且標(biāo)識所述第二LPT ;將所述第一 LPT和所述第二 LPT組合成標(biāo)簽候選;并且計算與所述標(biāo)簽候選對應(yīng)的一組姿態(tài)假設(shè)。
227.根據(jù)權(quán)利要求226所述的方法,包括:計算作為所述組姿態(tài)假設(shè)中的姿態(tài)的重新投影誤差的置信量度。
228.根據(jù)權(quán)利要求227所述的方法,其中,所述置信量度由下面的等式給出:
229.根據(jù)權(quán)利要求223所述的方法,其中,所述至少一個相機(jī)收集所述投影圖像的圖像坐標(biāo)與所述多個共線標(biāo)記之間的對應(yīng)關(guān)系數(shù)據(jù)。
230.根據(jù)權(quán)利要求229所述的方法,包括相機(jī)校準(zhǔn)應(yīng)用,其中,使用所述相機(jī)校準(zhǔn)應(yīng)用來對所述至少一個相機(jī)的固有參數(shù)進(jìn)行建模,其中,所述固有參數(shù)包括焦比、光心、偏斜度和鏡頭畸變中的至少一個。
231.根據(jù)權(quán)利要求230所述的方法,其中,至所述相機(jī)校準(zhǔn)應(yīng)用的輸入包括所述對應(yīng)關(guān)系數(shù)據(jù)。
232.根據(jù)權(quán)利要求146所述的方法,包括:根據(jù)經(jīng)由所述多個傳感器接收到的所述特征數(shù)據(jù)來自動地檢測身體的姿勢,其中,所述多個對象包括所述身體,其中,所述特征數(shù)據(jù)是在時間和空間中的一點處所述身體的瞬時狀態(tài)的絕對三度空間位置數(shù)據(jù),所述檢測包括聚集所述特征數(shù)據(jù)并且僅使用所述特征數(shù)據(jù)標(biāo)識所述姿勢。
233.根據(jù)權(quán)利要求232所述的方法,其中,所述控制包括控制應(yīng)用的功能、顯示部件和遠(yuǎn)程部件中的至少一個。
234.根據(jù)權(quán)利要求232所述的方法,包括:將所述姿勢翻譯成姿勢信號,并且響應(yīng)于所述姿勢信號來控制部件。
235.根據(jù)權(quán)利要求234所述的方法,其中,所述檢測包括標(biāo)識所述姿勢,其中,所述標(biāo)識包括標(biāo)識所述身體的一部分的姿態(tài)和取向。
236.根據(jù)權(quán)利要求235所述的方法,其中,所述翻譯包括將所述姿勢的信息翻譯成姿勢記號,其中,所述姿勢記號表示姿勢詞匯,并且所述姿勢信號包括所述姿勢詞匯的通信。
237.根據(jù)權(quán)利要求236所述的方法,其中,所述姿勢詞匯以文本形式表示以下中的至少一個:所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的瞬時姿態(tài)狀態(tài);所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的取向;以及所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的取向的組合。
238.根據(jù)權(quán)利要求236所述的方法,其中,所述姿勢詞匯包括表示所述身體的運動學(xué)聯(lián)動機(jī)構(gòu)的狀態(tài)的字符串。
239.根據(jù)權(quán)利要求234所述的方法,其中,控制所述部件包括通過將所述姿勢映射到三度空間對象來同時以六自由度控制所述三度空間對象,其中,所述多個對象包括所述三度空間對象。
240.根據(jù)權(quán)利要求239所述的方法,包括:在顯示裝置上呈現(xiàn)所述三度空間對象。
241.根據(jù)權(quán)利要求239所述的方法,包括:通過將多個姿勢映射到所述三度空間對象的多個對象平移來控制所述三度空間對象的移動。
242.根據(jù)權(quán)利要求239所述的方法,其中,所述檢測包括檢測所述對象的被外推出的位置何時與虛擬空間相交,其中,所述虛擬空間包括在顯示裝置上描繪出的空間。
243.根據(jù)權(quán)利要求242所述的方法,其中,控制所述部件包括當(dāng)所述被外推出的位置與所述虛擬空間中的虛擬對象相交時控制所述虛擬對象。
244.—種系統(tǒng),包 括: 被貼附到多個對象的多個標(biāo)簽,其中,所述多個標(biāo)簽包括多個特征,使得每個標(biāo)簽包括至少一個特征; 多個傳感器,其中,所述多個傳感器的位置限定包括所述多個對象的空間操作環(huán)境(SOE);以及 在處理器上運行的自適應(yīng)跟蹤部件(ATC),其中,所述ATC從所述多個傳感器中的每個傳感器接收由相應(yīng)傳感器檢測到的與所述多個對象中的每個對象對應(yīng)的特征數(shù)據(jù),其中,所述特征數(shù)據(jù)是在時間和空間中的一點處相應(yīng)身體的瞬時狀態(tài)的絕對三度空間位置數(shù)據(jù),其中,所述ATC通過對來自所述多個傳感器的所述特征數(shù)據(jù)進(jìn)行整合來生成并維持所述多個對象與所述SOE之間的關(guān)系的相干模型,其中,所述ATC根據(jù)所述特征數(shù)據(jù)自動地檢測所述多個對象中的至少一個對象的姿勢,所述檢測包括僅使用所述特征數(shù)據(jù)標(biāo)識所述姿勢。
245.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述相干模型包括所述多個對象之間的空間關(guān)系。
246.根據(jù)權(quán)利要求245所述的系統(tǒng),其中,所述相干模型包括所述多個對象的位置、取向和運動中的至少一個。
247.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述ATC生成虛擬空間與包括所述SOE的物理空間之間的符合性。
248.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,傳感器從至少一個標(biāo)簽檢測包括所述至少一個標(biāo)簽相對于所述傳感器的位置和取向的姿態(tài),其中,所述姿態(tài)包括六自由度(DOF)姿態(tài)。
249.根據(jù)權(quán)利要求244所述的系統(tǒng),其中所述多個對象包括身體、身體的附肢、裝置、衣服、手套、顯示裝置、家具中的至少一個。
250.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述相干模型的原點是相對于所述多個傳感器中的特定傳感器而限定的。
251.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述相干模型的原點是相對于所述多個標(biāo)簽中的特定標(biāo)簽而限定的,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
252.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述ATC的輸出控制以下中的至少一個:應(yīng)用的功能;顯示部件;以及耦接到所述處理器的遠(yuǎn)程部件。
253.根據(jù)權(quán)利要求244所述的系統(tǒng),包括:將所述姿勢翻譯成姿勢信號、并且響應(yīng)于所述姿勢信號來控制耦接到所述處理器的部件。
254.根據(jù)權(quán)利要求253所述的系統(tǒng),其中,所述檢測包括標(biāo)識所述姿勢,其中,所述標(biāo)識包括標(biāo)識所述對象的一部分的姿態(tài)和取向。
255.根據(jù)權(quán)利要求254所述的系統(tǒng),其中,所述翻譯包括將所述姿勢的信息翻譯成姿勢記號,其中,所述姿勢記號表示姿勢詞匯,并且所述姿勢信號包括所述姿勢詞匯的通信。
256.根據(jù)權(quán)利要求255所述的系統(tǒng),其中,所述姿勢詞匯以文本形式表示以下中的至少一個:所述對象的運動學(xué)聯(lián)動機(jī)構(gòu)的瞬時姿勢狀態(tài);所述對象的運動學(xué)聯(lián)動機(jī)構(gòu)的取向;以及所述對象的運動學(xué)聯(lián)動機(jī)構(gòu)的取向的組合。
257.根據(jù)權(quán)利要求255所述的系統(tǒng),其中,所述姿勢詞匯包括表示所述對象的運動學(xué)聯(lián)動機(jī)構(gòu)的狀態(tài)的字符串。
258.根據(jù)權(quán)利要求253所述的系統(tǒng),其中,控制所述部件包括通過將所述姿勢映射到三度空間對象來同時以六自由度控制所述三度空間對象,其中,所述多個對象包括所述三度空間對象。
259.根據(jù)權(quán)利要求258所述的系統(tǒng),包括:在顯示裝置上呈現(xiàn)所述三度空間對象。
260.根據(jù)權(quán)利要求258所述的系統(tǒng),包括:通過將多個姿勢映射到所述三度空間對象的多個對象平移來控制所述三度空間對象的移動。
261.根據(jù)權(quán)利要求258所述的系統(tǒng),其中,所述檢測包括檢測所述對象的被外推出的位置何時與虛擬空間相交,其中,所述虛擬空間包括在顯示裝置上描繪出的空間。
262.根據(jù)權(quán)利要求261所述的系統(tǒng),其中,控制所述部件包括當(dāng)所述被外推出的位置與所述虛擬空間中的虛擬對象相交時控制所述虛擬對象。
263.根據(jù)權(quán)利要求244所述的系統(tǒng),包括:檢測源裝置的事件,其中,所述事件包括所述姿勢,并且所述源裝置包括在所述處理器上運行的所述ATC ;生成包括規(guī)定所述事件的裝置事件數(shù)據(jù)和所述事件的狀態(tài)信息的至少一個數(shù)據(jù)序列,其中,所述裝置事件數(shù)據(jù)和所述狀態(tài)信息是具有與所述源裝置的應(yīng)用對應(yīng)的類型的特定于類型的數(shù)據(jù);以及形成數(shù)據(jù)容器以包括所述至少一個數(shù)據(jù)序列,具有數(shù)據(jù)結(jié)構(gòu)的所述數(shù)據(jù)容器包括所述至少一個數(shù)據(jù)序列的獨立于應(yīng)用的表示。
264.根據(jù)權(quán)利要求263所述的系統(tǒng),其中,所述至少一個數(shù)據(jù)序列的生成包括: 生成包括第一相應(yīng)裝置事件數(shù)據(jù)的第一相應(yīng)數(shù)據(jù)組; 生成包括第二相應(yīng)狀態(tài)信息的第二相應(yīng)數(shù)據(jù)組;以及 形成第一數(shù)據(jù)序列以包括所述第一相應(yīng)數(shù)據(jù)組和所述第二相應(yīng)數(shù)據(jù)組。
265.根據(jù)權(quán)利要求264所述的系統(tǒng),其中,所述第一相應(yīng)數(shù)據(jù)組的生成包括形成所述第一相應(yīng)數(shù)據(jù)組以包括所述源裝置的標(biāo)識數(shù)據(jù),所述標(biāo)識數(shù)據(jù)包括標(biāo)識所述源裝置的數(shù)據(jù)。
266.根據(jù)權(quán)利要求264所述的系統(tǒng),其中,所述至少一個數(shù)據(jù)序列的生成包括:生成包括第一相應(yīng)裝置事件數(shù)據(jù)的第一相應(yīng)數(shù)據(jù)組; 生成包括第二相應(yīng)狀態(tài)信息的第二相應(yīng)數(shù)據(jù)組;以及 形成第二數(shù)據(jù)序列以包括所述第一相應(yīng)數(shù)據(jù)組和所述第二相應(yīng)數(shù)據(jù)組。
267.根據(jù)權(quán)利要求266所述的系統(tǒng),其中,所述第一相應(yīng)數(shù)據(jù)組的生成包括生成第一相應(yīng)數(shù)據(jù)組偏移,其中,所述第一相應(yīng)數(shù)據(jù)組偏移指向所述第二數(shù)據(jù)序列中的所述第一相應(yīng)數(shù)據(jù)組。
268.根據(jù)權(quán)利要求266所述的系統(tǒng),其中,所述第二相應(yīng)數(shù)據(jù)組的生成包括生成第二相應(yīng)數(shù)據(jù)組偏移,其中,所述第二相應(yīng)數(shù)據(jù)組偏移指向所述第二數(shù)據(jù)序列中的所述第二相應(yīng)數(shù)據(jù)組。
269.根據(jù)權(quán)利要求264所述的系統(tǒng),其中,所述第一相應(yīng)數(shù)據(jù)組是描述列表,所述描述列表包括對所述數(shù)據(jù)的描述。
270.根據(jù)權(quán)利要求263所述的系統(tǒng),其中,所述裝置事件數(shù)據(jù)是表示定型數(shù)據(jù)的被貼標(biāo)簽的字節(jié)序列,其中,所述裝置事件數(shù)據(jù)包括類型頭和特定于類型的數(shù)據(jù)布局。
271.根據(jù)權(quán)利要求263所述的系統(tǒng),其中,所述狀態(tài)信息是表示定型數(shù)據(jù)的被貼標(biāo)簽的字節(jié)序列,其中,所述狀態(tài)信息包括類型頭和特定于類型的數(shù)據(jù)布局。
272.根據(jù)權(quán)利要求263所述的系統(tǒng),包括: 生成至少一個偏移;以及 形成所述數(shù)據(jù)容器以包括所述至少一個偏移。
273.根據(jù)權(quán)利要求272所述的系統(tǒng),包括: 生成具有第一可變長度的第一偏移; 其中,所述第一偏移指向所述至少一個數(shù)據(jù)序列中的第一數(shù)據(jù)序列的所述裝置事件數(shù)據(jù)。
274.根據(jù)權(quán)利要求272所述的系統(tǒng),包括: 生成具有第二可變長度的第二偏移; 其中,所述第二偏移指向所述至少一個數(shù)據(jù)序列中的第一數(shù)據(jù)序列的所述狀態(tài)信息。
275.根據(jù)權(quán)利要求272所述的系統(tǒng),包括: 使用所述至少一個偏移中的第一偏移來形成通過所述數(shù)據(jù)容器的第一代碼路徑; 使用所述至少一個偏移中的第二偏移來形成通過所述數(shù)據(jù)容器的第二代碼路徑; 其中,所述第一代碼路徑和所述第二代碼路徑是不同的路徑。
276.根據(jù)權(quán)利要求275所述的系統(tǒng),其中,所述第一偏移和所述第二偏移中的至少一個包括元數(shù)據(jù),所述元數(shù)據(jù)包括與所述應(yīng)用的上下文對應(yīng)的特定于上下文的元數(shù)據(jù)。
277.根據(jù)權(quán)利要求263所述的系統(tǒng),包括: 生成包括所述數(shù)據(jù)容器的長度的頭; 形成所述數(shù)據(jù)容器以包括所述頭。
278.根據(jù)權(quán)利要求263所述的系統(tǒng),包括:將所述數(shù)據(jù)容器傳遞到耦接到所述處理器的儲存庫。
279.根據(jù)權(quán)利要求278所述的系統(tǒng),包括: 檢測第二源裝置的第二事件; 在所述儲存庫中搜索與所述第二事件對應(yīng)的數(shù)據(jù)容器。
280.根據(jù)權(quán)利要求279所述的系統(tǒng),包括: 標(biāo)識所述數(shù)據(jù)容器與所述第二事件之間的對應(yīng)關(guān)系; 響應(yīng)于所述標(biāo)識,從所述儲存庫提取所述數(shù)據(jù)容器;以及 響應(yīng)于所述數(shù)據(jù)容器的內(nèi)容,代表所述第二源裝置執(zhí)行與代表所述第二源裝置的所述第二事件對應(yīng)的處理操作,其中,所述源裝置與第一類型的應(yīng)用對應(yīng),并且所述第二源裝置與第二類型的第二應(yīng)用對應(yīng)。
281.根據(jù)權(quán)利要求278所述的系統(tǒng),其中,所述儲存庫耦接到多個應(yīng)用,所述儲存庫包括與所述多個應(yīng)用對應(yīng)的多個數(shù)據(jù)容器,所述儲存庫通過所述多個應(yīng)用來提供對所述多個數(shù)據(jù)容器的訪問,其中,所述多個應(yīng)用中的至少兩個應(yīng)用是不同的應(yīng)用。
282.根據(jù)權(quán)利要求278所述的系統(tǒng),其中,所述儲存庫提供多個數(shù)據(jù)容器的狀態(tài)緩存。
283.根據(jù)權(quán)利要求278所述的系統(tǒng),其中,所述儲存庫提供多個數(shù)據(jù)容器的線性排序。
284.根據(jù)權(quán)利要求263所述的系統(tǒng),其中,所述數(shù)據(jù)結(jié)構(gòu)是未定型的。
285.根據(jù)權(quán)利要求263所述的系統(tǒng),其中,所述數(shù)據(jù)容器的所述數(shù)據(jù)結(jié)構(gòu)提供所述裝置事件數(shù)據(jù)和所述狀態(tài)信息的獨立于平臺的表示以及對所述裝置事件數(shù)據(jù)和所述狀態(tài)信息的獨立于平臺的訪問。
286.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述多個標(biāo)簽中的每個標(biāo)簽包括由所述多個傳感器檢測和定位的至少一個特征。
287.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,每個標(biāo)簽包括標(biāo)簽設(shè)定信息、身份信息和姿態(tài)信息中的至少一個。
288.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,標(biāo)簽的投影圖像包括標(biāo)簽設(shè)定,其中,所述至少一個特征包括至少一個標(biāo)記,其中,所述標(biāo)簽設(shè)定使所述投影圖像中的至少一個點與至少一個對應(yīng)標(biāo)記相關(guān)。
289.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,標(biāo)簽的投影圖像包括身份,其中,所述至少一個特征包括所述標(biāo)簽上的多個標(biāo)記,其中,所述身份將所述多個標(biāo)簽中的第一標(biāo)簽與所述多個標(biāo)簽中的第二標(biāo)簽區(qū)別開。
290.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,標(biāo)簽的投影圖像包括姿態(tài)信息。
291.根據(jù)權(quán)利要求290所述的系統(tǒng),其中,所述姿態(tài)信息包括平移信息和旋轉(zhuǎn)信息。
292.根據(jù)權(quán)利要求291所述的系統(tǒng),其中,所述姿態(tài)信息使標(biāo)簽的位置和取向與所述SOE的位置和取向相關(guān)。
293.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,每個傳感器與所述SOE中的感測體積對應(yīng),其中,每個傳感器估計所述感測體積內(nèi)的每個標(biāo)簽的姿態(tài)。
294.根據(jù)權(quán)利要求293所述的系統(tǒng),其中,所述姿態(tài)包括標(biāo)簽的位置和取向中的至少一個。
295.根據(jù)權(quán)利要求293所述的系統(tǒng),其中,每個傳感器的所述感測體積與所述多個傳感器中的至少一個其它傳感器的所述感測體積至少部分地交疊,其中,所述多個傳感器的組合感測體積是毗連的。
296.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述ATC針對所述多個傳感器中的每個傳感器生成相對于所述SOE的姿態(tài)的姿態(tài)模型。
297.根據(jù)權(quán)利要求296所述的系統(tǒng),當(dāng)多個傳感器全部都在一瞬間檢測第一標(biāo)簽時,所述ATC生成所述多個傳感器之間的空間關(guān)系,其中,所述ATC使用所述空間關(guān)系來更新所述相干模型。
298.根據(jù)權(quán)利要求297所述的系統(tǒng),其中,所述ATC相對于所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
299.根據(jù)權(quán)利要求297所述的系統(tǒng),其中,所述ATC相對于所述多個傳感器中的特定傳感器和所述多個標(biāo)簽中的特定標(biāo)簽而限定所述相干模型的原點,其中,所述特定標(biāo)簽具有相對于所述SOE的固定姿態(tài)。
300.根據(jù)權(quán)利要求297所述的系統(tǒng),其中,針對每個傳感器確定正確的姿態(tài)模型。
301.根據(jù)權(quán)利要求300所述的系統(tǒng),其中,由傳感器在多個時間點處跟蹤標(biāo)簽,并且針對所述標(biāo)簽生成多個姿態(tài)模型,其中,針對所述多個姿態(tài)模型生成多個置信量度,并且基于所述多個置信量度對所述多個姿態(tài)模型進(jìn)行剔選以去除任何不一致的姿態(tài)模型。
302.根據(jù)權(quán)利要求300所述的系統(tǒng),其中,由多個傳感器在多個時間點處跟蹤標(biāo)簽,并且針對所述標(biāo)簽開發(fā)多組姿態(tài)模型,其中,每組姿態(tài)模型包括與每個時間點對應(yīng)的多個姿態(tài)模型。
303.根據(jù)權(quán)利要求302所述的系統(tǒng),其中,針對每組姿態(tài)模型中的所述多個姿態(tài)模型生成多個置信量度,并且基于所述多個置信量度對所述多組姿態(tài)模型進(jìn)行剔選以去除任何不一致的姿態(tài)模型。
304.根據(jù)權(quán)利要求302所述的系統(tǒng),其中,平均假設(shè)包括每組姿態(tài)模型中的所述多個姿態(tài)模型的平均,其中,所述平均假設(shè)近似于針對對應(yīng)標(biāo)簽的真實姿態(tài)的最大似然性估計。
305.根據(jù)權(quán)利要求304所述的系統(tǒng),其中,所述平均假設(shè)包括位置分量和旋轉(zhuǎn)分量中的至少一個。
306.根據(jù)權(quán)利要求304所述的系統(tǒng),其中,通過將校正因子應(yīng)用于所述平均假設(shè)來生成經(jīng)平滑的假設(shè)。
307.根據(jù)權(quán)利要求306所述的系統(tǒng),其中,當(dāng)至少一個額外的傳感器檢測標(biāo)簽時生成所述經(jīng)平滑的假設(shè),其中,所述至少一個額外的傳感器先前未檢測過所述標(biāo)簽。
308.根據(jù)權(quán)利要求306所述的系統(tǒng),其中,當(dāng)所述多個傳感器中的至少一個傳感器停止檢測標(biāo)簽時生成所述經(jīng)平滑的假設(shè),其中,所述至少一個額外的傳感器先前已檢測過所述標(biāo)簽。
309.根據(jù)權(quán)利要求306所述的系統(tǒng),其中,所述經(jīng)平滑的假設(shè)包括位置分量和旋轉(zhuǎn)分量中的至少一個。
310.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述多個傳感器中的至少一個傳感器實時地測量所述多個對象中的至少一個對象的對象姿態(tài)。
311.根據(jù)權(quán)利要求310所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述對象姿態(tài)的改變。
312.根據(jù)權(quán)利要求311所述的系統(tǒng),其中,所述ATC生成所述至少一個對象的物理尺寸和姿態(tài)的模型。
313.根據(jù)權(quán)利要求311所述的系統(tǒng),其中,所述至少一個傳感器被貼附到所述至少一個對象的周界上的至少一個位置,其中,所述至少一個對象是顯示裝置。
314.根據(jù)權(quán)利要求313所述的系統(tǒng),其中,所述ATC自動地確定所述至少一個位置。
315.根據(jù)權(quán)利要求313所述的系統(tǒng),其中,所述至少一個傳感器實時地測量顯示裝置姿態(tài),并且所述ATC自動地適應(yīng)于所述顯示裝置姿態(tài)的改變。
316.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述多個標(biāo)簽中的至少一個標(biāo)簽被貼附到所述多個對象中的至少一個對象。
317.根據(jù)權(quán)利要求316所述的系統(tǒng),其中,所述多個傳感器使用所述至少一個標(biāo)簽的信息來實時地測量所述至少一個對象的對象姿態(tài)。
318.根據(jù)權(quán)利要求317所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述對象姿態(tài)的改變。
319.根據(jù)權(quán)利要求318所述的系統(tǒng),其中,所述ATC生成所述至少一個對象的物理尺寸和姿態(tài)的模型。
320.根據(jù)權(quán)利要求318所述的系統(tǒng),其中,所述至少一個標(biāo)簽被貼附到所述至少一個對象的周界上的至少一個位置,其中,所述至少一個對象是顯示裝置。
321.根據(jù)權(quán)利要求320所述的系統(tǒng),其中,所述ATC自動地確定所述至少一個位置。
322.根據(jù)權(quán)利要求320所述的系統(tǒng),其中,所述多個傳感器使用所述至少一個標(biāo)簽的信息來實時地測量顯示裝置姿態(tài)。
323.根據(jù)權(quán)利要求322所述的系統(tǒng),其中,所述ATC自動地適應(yīng)于所述顯示裝置姿態(tài)的改變。
324.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述多個傳感器中的至少一個傳感器實時地測量所述多個對象中的至少一個對象的對象姿態(tài),其中,所述至少一個對象是被標(biāo)記的對象。
325.根據(jù)權(quán)利要求324所述的系統(tǒng),其中,使用被貼標(biāo)簽的對象來標(biāo)記所述被標(biāo)記的對象,其中,所述被貼標(biāo)簽的對象包括被貼附到對象的標(biāo)簽。
326.根據(jù)權(quán)利要求325所述的系統(tǒng),其中,當(dāng)所述被貼標(biāo)簽的對象被放置成與所述至少一個對象上的至少一個位置直接接觸時,標(biāo)記所述被標(biāo)記的對象。
327.根據(jù)權(quán)利要求326所述的系統(tǒng),其中,所述至少一個位置包括所述被標(biāo)記的對象上的多個位置。
328.根據(jù)權(quán)利要求327所述的系統(tǒng),其中,所述多個傳感器測量所述被貼標(biāo)簽的對象相對于所述被標(biāo)記的對象和所述SOE的姿態(tài),其中,在所述多個位置處感測到的所述被貼標(biāo)簽的對象的所述姿態(tài)表示所述被標(biāo)記的對象的姿態(tài)。
329.根據(jù)權(quán)利要求325所述的系統(tǒng),其中,當(dāng)所述被貼標(biāo)簽的對象指向所述至少一個對象上的多個位置時,標(biāo)記所述被標(biāo)記的對象。
330.根據(jù)權(quán)利要求329所述的系統(tǒng),其中,所述多個傳感器測量所述被貼標(biāo)簽的對象相對于所述被標(biāo)記的對象和所述SOE的姿態(tài),其中,所述被貼標(biāo)簽的對象的所述姿態(tài)表示在與所述被貼標(biāo)簽的對象指向所述多個位置之時對應(yīng)的時間點處所述被標(biāo)記的對象的姿態(tài)。
331.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,所述至少一個特征包括以下中的至少一個:光學(xué)基準(zhǔn);發(fā)光二極管(LED);紅外(IR)發(fā)光二極管(LED);包含回射材料的標(biāo)記;包括包含至少一個顏色的至少一個區(qū)域的標(biāo)記;以及多個共線標(biāo)記。
332.根據(jù)權(quán)利要求244所述的系統(tǒng),其中,標(biāo)簽包括線性局部標(biāo)簽(LPT),所述LPT包括多個共線標(biāo)記,其中,所述多個共線標(biāo)記傳達(dá)所述標(biāo)簽的身份。
333.根據(jù)權(quán)利要求332所述的系統(tǒng),其中,標(biāo)簽包括多個LPT,其中,每個LPT包括多個共線標(biāo)記。
334.根據(jù)權(quán)利要求333所述的系統(tǒng),其中,標(biāo)簽包括位于襯底上的與第二LPT相鄰的第一 LPT,其中,所述第一 LPT包括第一組共線標(biāo)記,并且所述第二 LPT包括第二組共線標(biāo)記。
335.根據(jù)權(quán)利要求334所述的系統(tǒng),其中,所述多個傳感器包括至少一個相機(jī),并且所述特征數(shù)據(jù)包括由所述至少一個相機(jī)獲取的投影圖像,其中,所述投影圖像包括所述標(biāo)簽。
336.根據(jù)權(quán)利要求335所述的系統(tǒng),包括:搜索所述投影圖像并且在所述投影圖像中標(biāo)識所述第一 LPT ;以及將線與所述第一 LPT中的所述第一組共線標(biāo)記相擬合。
337.根據(jù)權(quán)利要求336所述的系統(tǒng),包括:計算所述第一組共線標(biāo)記的交比,其中,所述交比是所述第一組共線標(biāo)記中的所述多個共線標(biāo)記之間的成對距離的函數(shù);以及將所述交比與與一組已知LPT對應(yīng)的一組交比相比較。
338.根據(jù)權(quán)利要求337所述的系統(tǒng),包括:搜索所述投影圖像并且標(biāo)識所述第二LPT ;將所述第一 LPT和所述第二 LPT組合成標(biāo)簽候選;計算與所述標(biāo)簽候選對應(yīng)的一組姿態(tài)假設(shè);以及計算作為所述組姿態(tài)假設(shè)的姿態(tài)的重新投影誤差的置信量度。
339.根據(jù)權(quán)利要求335所述的系統(tǒng),其中,所述至少一個相機(jī)收集所述投影圖像的圖像坐標(biāo)與所述多個共線標(biāo)記之間的對應(yīng)關(guān)系數(shù)據(jù)。
340.根據(jù)權(quán)利要求339所述的系統(tǒng),包括相機(jī)校準(zhǔn)應(yīng)用,其中,使用所述相機(jī)校準(zhǔn)應(yīng)用來對所述至少一個相機(jī)的固有參數(shù)進(jìn)行建模,其中,所述固有參數(shù)包括焦比、光心、偏斜度和鏡頭畸變中的至少一個。
341.根據(jù)權(quán)利要求 340所述的系統(tǒng),其中,至所述相機(jī)校準(zhǔn)應(yīng)用的輸入包括所述對應(yīng)關(guān)系數(shù)據(jù)。
【文檔編號】G09G5/00GK103930944SQ201280040950
【公開日】2014年7月16日 申請日期:2012年6月25日 優(yōu)先權(quán)日:2011年6月23日
【發(fā)明者】安布魯·斯恰薩爾, 迪馬·科根, 保羅·亞林 申請人:奧布隆工業(yè)有限公司