一些版本可以涉及確定包括顯示器和相機(jī)的便攜式設(shè)備的位置。

背景技術(shù)：

便攜式設(shè)備可以包括顯示器和相機(jī)。點(diǎn)云可以代表設(shè)備的環(huán)境。由相機(jī)捕獲的圖像幀可以包括多個(gè)視覺(jué)特征?？梢酝ㄟ^(guò)將視覺(jué)特征與點(diǎn)云進(jìn)行比較來(lái)確定便攜式設(shè)備的位置。便攜式設(shè)備可以被使用在例如增強(qiáng)現(xiàn)實(shí)應(yīng)用中。

技術(shù)實(shí)現(xiàn)要素：

一些版本可以涉及一種用于確定便攜式設(shè)備的位置的方法。一些版本可以涉及一種便攜式設(shè)備。一些版本可以涉及一種用于確定便攜式設(shè)備的位置的計(jì)算機(jī)程序。一些版本可以涉及一種用于確定便攜式設(shè)備的位置的計(jì)算機(jī)程序產(chǎn)品。一些版本可以涉及一種用于在便攜式設(shè)備的顯示器上顯示信息的方法。一些版本可以涉及用戶接口。

根據(jù)一個(gè)方面，提供了一種方法，包括：

－從便攜式設(shè)備的相機(jī)中獲取所捕獲的圖像幀的序列，

－通過(guò)使用便攜式設(shè)備的慣性傳感器來(lái)獲取移動(dòng)數(shù)據(jù)，

－根據(jù)移動(dòng)數(shù)據(jù)確定采樣幀速率，

－根據(jù)采樣幀速率，從所捕獲的圖像幀中選擇跟蹤圖像，

－通過(guò)將跟蹤圖像與點(diǎn)云進(jìn)行比較來(lái)確定便攜式設(shè)備的位置，以及

－基于所確定的位置在設(shè)備的顯示器上顯示信息。

根據(jù)一個(gè)方面，提供了一種便攜式設(shè)備，包括：

－顯示器，

－相機(jī)，被布置為捕獲圖像幀序列，

－慣性傳感器，用于提供移動(dòng)數(shù)據(jù)，

－控制單元，用于根據(jù)移動(dòng)數(shù)據(jù)確定采樣幀速率，用于通過(guò)將跟蹤圖像與點(diǎn)云進(jìn)行比較來(lái)確定便攜式設(shè)備的位置，并且用于基于所確定的位置控制在顯示器上顯示信息。

根據(jù)一個(gè)方面，提供了一種計(jì)算機(jī)程序，包括計(jì)算機(jī)代碼，該計(jì)算機(jī)代碼被配置為當(dāng)在至少一個(gè)處理器上執(zhí)行時(shí)使得裝置或系統(tǒng)：

－從便攜式設(shè)備的相機(jī)中獲取捕獲的圖像幀的序列，

－從便攜式設(shè)備的慣性傳感器中獲取移動(dòng)數(shù)據(jù)，

－根據(jù)移動(dòng)數(shù)據(jù)確定采樣幀速率，

－根據(jù)采樣幀速率，從所捕獲的圖像幀中選擇跟蹤圖像，

－通過(guò)將跟蹤圖像與點(diǎn)云進(jìn)行比較來(lái)確定便攜式設(shè)備的位置，以及

－基于所確定的位置在設(shè)備的顯示器上顯示信息。

根據(jù)一個(gè)方面，提供了一種用于顯示信息的裝置，包括：

－用于從便攜式設(shè)備的相機(jī)中獲取捕獲的圖像幀的序列的部件，

－用于從便攜式設(shè)備的慣性傳感器中獲取移動(dòng)數(shù)據(jù)的部件，

－用于根據(jù)移動(dòng)數(shù)據(jù)確定采樣幀速率的部件，

－用于根據(jù)采樣幀速率從所捕獲的圖像幀中選擇跟蹤圖像的部件，

－用于通過(guò)將跟蹤圖像與點(diǎn)云進(jìn)行比較來(lái)確定便攜式設(shè)備的位置的部件，以及

－用于基于所確定的位置在設(shè)備的顯示器上顯示信息的部件。

可以通過(guò)捕獲外部物體的圖像，并且通過(guò)將該圖像與代表所述外部物體的點(diǎn)云進(jìn)行比較，來(lái)測(cè)量便攜式設(shè)備的位置。然而，所述比較可以包含大量跟蹤運(yùn)算，這又可能消耗來(lái)自便攜式設(shè)備的電池的電能。

可以使用從運(yùn)動(dòng)傳感器獲得的運(yùn)動(dòng)傳感器數(shù)據(jù)來(lái)減少視覺(jué)跟蹤計(jì)算的次數(shù)，例如，當(dāng)跟蹤的圖像沒(méi)有明顯變化和/或當(dāng)視覺(jué)跟蹤可能失敗時(shí)。減少視覺(jué)跟蹤計(jì)算的次數(shù)可以降低設(shè)備的功耗。

便攜式設(shè)備可以由電池供電。降低平均功耗可以允許減小電池的尺寸。降低功耗可以增加便攜式設(shè)備單次充電的操作時(shí)間。降低功耗可以明顯延長(zhǎng)電池供電的增強(qiáng)現(xiàn)實(shí)設(shè)備的使用時(shí)間。降低平均功耗可以促進(jìn)便攜式設(shè)備的電池的無(wú)線再充電。

當(dāng)圖像幀與點(diǎn)云的比較指示緩慢的變化時(shí)，可以降低視覺(jué)跟蹤計(jì)算的幀速率。在這種情況下，運(yùn)動(dòng)傳感器數(shù)據(jù)可以被用于確定位置的細(xì)微變化。

可以降低視覺(jué)跟蹤計(jì)算的幀速率，例如，當(dāng)連續(xù)圖像之間的差異很小時(shí)。在這種情況下，通過(guò)使用運(yùn)動(dòng)傳感器數(shù)據(jù)可以確定便攜式設(shè)備的位置的細(xì)微變化。

可以僅通過(guò)使用不會(huì)由于相機(jī)的移動(dòng)而太模糊的那些特征來(lái)執(zhí)行特征匹配。

視覺(jué)質(zhì)量評(píng)估方法可以可選地用于監(jiān)控視覺(jué)跟蹤質(zhì)量。只要視覺(jué)跟蹤質(zhì)量保持在某一閾值以上，則可以降低圖像分析的幀速率。如果視覺(jué)跟蹤質(zhì)量太低，則可以增加圖像分析的幀速率。

附圖說(shuō)明

在以下示例中，將參考附圖更詳細(xì)地描述若干變型，其中：

圖1a以示例的方式示出了環(huán)境中的便攜式設(shè)備，

圖1b以示例的方式示出了環(huán)境中的頭戴式設(shè)備，

圖2以示例的方式示出了便攜式設(shè)備的功能單元，

圖3a以示例的方式示出了從由便攜式設(shè)備的相機(jī)捕獲的視頻序列的圖像幀中對(duì)跟蹤圖像的采樣，

圖3b以示例的方式示出了從由便攜式設(shè)備的相機(jī)捕獲的圖像幀中選擇跟蹤圖像，

圖4a以示例的方式示出了通過(guò)將跟蹤圖像的視覺(jué)特征與點(diǎn)云的點(diǎn)進(jìn)行比較來(lái)確定便攜式設(shè)備的位置，

圖4b以示例的方式示出了選擇點(diǎn)到點(diǎn)云的子集，

圖5a以示例的方式示出了用于選擇跟蹤圖像和用于確定便攜式設(shè)備的位置的方法步驟，

圖5b以示例的方式示出了用于選擇跟蹤圖像、用于形成點(diǎn)云的子集和用于確定便攜式設(shè)備的位置的方法步驟，

圖5c以示例的方式示出了用于選擇跟蹤圖像、用于形成點(diǎn)云的子集和用于推斷便攜式設(shè)備的位置的方法步驟，

圖6以示例的方式示出了用于監(jiān)控跟蹤的魯棒性的方法步驟，

圖7a以示例的方式示出了通信系統(tǒng)，以及

圖7b以示例的方式示出了便攜式設(shè)備。

具體實(shí)施方式

參照?qǐng)D1a，在環(huán)境env1中可以移動(dòng)和使用便攜式設(shè)備500。環(huán)境env1可以包括一個(gè)或多個(gè)實(shí)際物體obj1、obj2、obj3、obj4。該物體可以包括特征f1、f2。設(shè)備500可以包括相機(jī)cam1，相機(jī)cam1被布置為捕獲視覺(jué)特征f1、f2的圖像。設(shè)備500可以包括用于捕獲外部物體的圖像的相機(jī)cam1。設(shè)備500可以被布置為通過(guò)將視覺(jué)特征f1、f2與點(diǎn)云pc進(jìn)行比較來(lái)確定設(shè)備500的位置pos。點(diǎn)云pc可以代表環(huán)境的物體obj1、obj2，并且點(diǎn)云pc可以被存儲(chǔ)在例如設(shè)備500的存儲(chǔ)器中。所確定的設(shè)備500的位置pos隨后可以用于例如控制設(shè)備500的操作。

點(diǎn)云pck可以包括多個(gè)點(diǎn)p。該點(diǎn)可以代表一個(gè)或多個(gè)物體obj1、obj2。設(shè)備500可以包括用于存儲(chǔ)點(diǎn)云pck的存儲(chǔ)器。設(shè)備500可以被配置為通過(guò)將跟蹤圖像imgk與點(diǎn)云pck進(jìn)行比較來(lái)確定設(shè)備的瞬時(shí)位置posk。

設(shè)備500可以包括用于顯示所捕獲的圖像和信息inf1、inf2的顯示器disp1。該顯示器disp1可以為例如觸摸屏。

設(shè)備500可以被布置為在顯示器disp1上顯示信息inf1、inf2，使得基于所確定的設(shè)備500的位置pos從數(shù)據(jù)庫(kù)中選擇信息inf1、inf2。設(shè)備500可以被布置為顯示信息inf1、inf2，使得基于所確定的設(shè)備500的位置來(lái)選擇在顯示器disp1上所顯示的信息inf1、inf2的位置。所確定的位置pos可以被用作在設(shè)備500上運(yùn)行的應(yīng)用的用戶輸入。

所確定的位置pos可以用作用戶輸入，以控制例如在設(shè)備500上運(yùn)行的增強(qiáng)現(xiàn)實(shí)應(yīng)用。例如，設(shè)備可以確定設(shè)備靠近與信息inf1(例如“abc”)相關(guān)聯(lián)的商店的門obj1。設(shè)備可以基于所確定的設(shè)備的位置從數(shù)據(jù)庫(kù)中搜索相關(guān)信息?？梢曰谒_定的位置pos從數(shù)據(jù)庫(kù)中檢索信息inf1。設(shè)備500可以將門obj1的圖像sub1與信息inf1一起顯示，以向設(shè)備500的用戶提供附加信息。例如，設(shè)備可以確定設(shè)備靠近地鐵站的門obj3。設(shè)備500可以將門obj3的圖像sub3與信息inf2(例如“m”)一起顯示，以向設(shè)備500的用戶提供附加信息。顯示器disp1可以被配置為顯示圖像dimg1。所顯示的圖像dimg1可以包括在設(shè)備500的視野中的物體的圖像。所顯示的圖像dimg1可以包括所顯示的信息inf1、inf2。物體obj1、obj3的圖像sub1、sub3可以被稱為例如子圖像。

物體obj1、obj2、obj3、obj4和設(shè)備500可以具有在由正交方向sx、sy和sz以及固定參考點(diǎn)ref1限定的實(shí)際空間中的位置。設(shè)備500的位置可以指設(shè)備500的預(yù)定點(diǎn)c1的位置。點(diǎn)c1可以例如在相機(jī)cam1的鏡頭lns1的中心處。設(shè)備500可以在三個(gè)空間維度和三個(gè)角維度內(nèi)移動(dòng)。在時(shí)間tk設(shè)備500的位置posk可以通過(guò)指定設(shè)備500的空間位置以及通過(guò)定義設(shè)備500的角位置來(lái)完全定義?？臻g位置可以通過(guò)三個(gè)空間坐標(biāo)(xk，yk，zk)來(lái)指定，并且角位置可以由三個(gè)角坐標(biāo)(αk，βk，γk)來(lái)指定。設(shè)備500可以具有由正交方向su、sv、sw限定的移動(dòng)坐標(biāo)系。移動(dòng)坐標(biāo)系固定在設(shè)備500上并與設(shè)備500一起移動(dòng)。

參見(jiàn)圖1b，設(shè)備500可以是頭戴式設(shè)備500。頭戴式設(shè)備500可以包括用于向用戶u1顯示虛擬圖像vob1、vob2的虛擬顯示器disp1。用戶u1可以佩戴設(shè)備500。相機(jī)cam1可以被布置成捕獲位于頭戴式設(shè)備500的用戶u1的視野中的物體obj1、obj2的圖像imgk。

虛擬顯示器disp1可以包括第一光學(xué)引擎10a。虛擬顯示器disp1可以可選地包括出射光瞳擴(kuò)展器(epe)20a，用于擴(kuò)展光學(xué)引擎10a的出射光瞳。出射光瞳擴(kuò)展器也可以稱為例如光束擴(kuò)展器。虛擬顯示器disp1可以生成一個(gè)或多個(gè)光束b1，其可以撞擊用戶u1的眼睛e1，以便在用戶u1的眼睛e1的視網(wǎng)膜上形成光學(xué)圖像。光束b1可以在視網(wǎng)膜上形成光學(xué)圖像。虛擬顯示器disp1可以被布置為向用戶u1顯示一個(gè)或多個(gè)虛擬圖像vob1、vob2。設(shè)備500可以被布置為基于所確定的設(shè)備500的位置在顯示器disp1上顯示信息inf1、inf2。虛擬圖像vob1可以表示信息inf1，并且虛擬圖像vob1可以表示信息inf2。設(shè)備500可以顯示虛擬圖像vob1，使得當(dāng)由設(shè)備500的用戶u1查看時(shí)，虛擬圖像vob1的位置與實(shí)際物體obj1的位置相匹配，以向設(shè)備500的用戶提供附加信息。設(shè)備500可以顯示虛擬圖像vob1，使得當(dāng)由設(shè)備500的用戶u1察看時(shí)，虛擬圖像vob1的位置與實(shí)際物體obj1的位置相關(guān)。

對(duì)于增強(qiáng)現(xiàn)實(shí)應(yīng)用，出射光瞳擴(kuò)展器20a可以至少部分是透明的，使得用戶u1可以通過(guò)出射光瞳擴(kuò)展器20a來(lái)察看環(huán)境env1的實(shí)際物體。然而，虛擬顯示器disp1還可以向用戶u1顯示環(huán)境env1的真實(shí)物體的圖像。在這種情況下，出射光瞳擴(kuò)展器20a不需要允許通過(guò)出射光瞳擴(kuò)展器20a直接察看實(shí)際物體。

設(shè)備500可以可選地包括用于向用戶u1的另一只眼睛e2顯示虛擬圖像的第二光學(xué)引擎10b和/或第二出射光瞳擴(kuò)展器20b。虛擬顯示器disp1可以生成一個(gè)或多個(gè)光束b2，其可以撞擊用戶u1的第二只眼睛e2，以便在用戶u1的眼睛e2的視網(wǎng)膜上形成光學(xué)圖像。光束b2可以在視網(wǎng)膜上形成光學(xué)圖像。光學(xué)引擎10a、10b可以被布置為針對(duì)雙眼e1、e2生成相同的圖像。光學(xué)引擎10a可以被布置為向眼睛e1生成第一圖像，并且光學(xué)引擎10b可以被布置為向眼睛e2生成不同的第二圖像，以便顯示立體圖像。

設(shè)備500可以可選地包括例如一個(gè)或多個(gè)頭戴式耳機(jī)91a、91b以便于佩戴設(shè)備500。設(shè)備500也可以附接到例如頭飾或頭盔。

參見(jiàn)圖2，設(shè)備500可以包括用于處理數(shù)據(jù)和/或用于控制設(shè)備500的操作的控制單元cnt1?？刂茊卧猚nt1可以包括一個(gè)或多個(gè)數(shù)據(jù)處理器。

設(shè)備500可以包括用于捕獲視頻的相機(jī)cam1。相機(jī)cam1可以捕獲圖像序列seq1，其包括外部物體obj1、obj2的多個(gè)連續(xù)圖像幀fj、fj+、fj+2...。相機(jī)cam1可以包括成像光學(xué)器件lns1和圖像傳感器det1。圖像傳感器det1可以包括二維檢測(cè)器像素陣列。圖像傳感器det1可以是例如cmos器件(互補(bǔ)金屬氧化物半導(dǎo)體)或ccd器件(電荷耦合器件)。

設(shè)備500可以包括傳感器sen1、傳感器sen2和/或傳感器sen3，其可以被布置為提供移動(dòng)數(shù)據(jù)mdat。移動(dòng)數(shù)據(jù)mdat也可以被稱為運(yùn)動(dòng)傳感器數(shù)據(jù)。

設(shè)備500可以包括慣性傳感器sen1，其包括陀螺儀。陀螺儀可以是例如激光陀螺儀或振動(dòng)結(jié)構(gòu)陀螺儀。慣性傳感器sen1可以例如通過(guò)使用微機(jī)電系統(tǒng)(mems)來(lái)實(shí)現(xiàn)。慣性傳感器sen1可以被布置為提供傳感器信號(hào)smv，其指示角速度ωu、ωv和/或ωw。從慣性傳感器sen1獲得的傳感器信號(hào)smv可以包括指示角速度ωu、ωv和/或ωw的移動(dòng)數(shù)據(jù)mdat。ωu表示圍繞軸su的角速度。ωv表示圍繞軸線sv的角速度。ωw表示圍繞軸線sw的角速度。陀螺儀可以是三軸陀螺儀。

設(shè)備500可以包括慣性傳感器sen2，其包括加速度傳感器。慣性傳感器sen2可以例如通過(guò)使用微機(jī)電系統(tǒng)(mems)來(lái)實(shí)現(xiàn)。慣性傳感器sen2可以被布置為提供傳感器信號(hào)smv，其指示加速度au、av和/或aw。從慣性傳感器sen2獲得的傳感器信號(hào)smv可以包括指示加速度au、av和/或aw的移動(dòng)數(shù)據(jù)mdat。au表示沿su方向的加速度。av表示沿sv方向的加速度。aw表示沿sw方向的加速度。慣性傳感器sen2可以是三軸加速度傳感器。加速度傳感器sen2還可以提供用于確定重力方向的信息。

設(shè)備500可以包括磁羅盤sen3。磁羅盤sen3可以被布置為提供傳感器信號(hào)smv，其指示設(shè)備500的取向角α、β和/或γ。從磁羅盤sen3獲得的傳感器信號(hào)smv可以包括指示設(shè)備500的取向角α、β和/或γ的移動(dòng)數(shù)據(jù)mdat。設(shè)備500相對(duì)于方向sx、sy和sz的取向可以通過(guò)測(cè)量設(shè)備500相對(duì)于地球的磁場(chǎng)和相對(duì)于重力的方向的取向來(lái)測(cè)量。設(shè)備500的角速度可以根據(jù)設(shè)備500的取向角α、β和/或γ的變化速率來(lái)確定。設(shè)備500可以被配置為根據(jù)從傳感器sen3獲得的傳感器信號(hào)smv來(lái)確定一個(gè)或多個(gè)角速度值。設(shè)備500可以被配置為根據(jù)從傳感器sen3獲得的移動(dòng)數(shù)據(jù)mdat來(lái)確定一個(gè)或多個(gè)角速度值。

設(shè)備500可以包括用戶接口uif1。用戶接口uif1可以包括顯示器disp1。顯示器disp1可以是例如虛擬顯示器或觸摸屏。用戶接口uif1可以包括用于接收來(lái)自用戶u1的用戶輸入的輸入單元key1。輸入單元key1可以包括例如觸摸屏、一個(gè)或多個(gè)鍵、鼠標(biāo)、視線跟蹤單元和/或語(yǔ)音識(shí)別單元(和麥克風(fēng))。也可以根據(jù)設(shè)備500的位置pos來(lái)確定用戶輸入。例如，以某種方式搖動(dòng)設(shè)備500可以表示預(yù)定的用戶輸入。

設(shè)備500可以包括用于從第二設(shè)備接收數(shù)據(jù)和用于向第二設(shè)備發(fā)送數(shù)據(jù)的通信單元rxtx1。第二設(shè)備可以是例如互聯(lián)網(wǎng)服務(wù)器serv1。com1表示通信信號(hào)。

設(shè)備500可以包括用于向設(shè)備500的其他單元提供電能的電池bat1。電池可以是例如可充電鋰離子電池或可充電鎳氫電池。特別地，電池bat1可以向控制單元cnt1提供能量。

設(shè)備500可以包括用于存儲(chǔ)用于控制設(shè)備500的操作的計(jì)算機(jī)程序prog1的存儲(chǔ)器mem1。設(shè)備500可以包括用于存儲(chǔ)點(diǎn)云pck的存儲(chǔ)器mem2。設(shè)備500可以包括用于存儲(chǔ)例如所確定的設(shè)備500的位置的存儲(chǔ)器mem3。

參見(jiàn)圖3a，相機(jī)cam1可以捕獲包括多個(gè)連續(xù)圖像幀fj-2，...fj，fj+，fj+2，...，fj+11的圖像序列seq1。當(dāng)從設(shè)備500的瞬時(shí)位置察看時(shí)，每個(gè)圖像幀可以表示環(huán)境env1的瞬時(shí)視圖。圖像幀fj-2，...fj，fj+，fj+2，...，fj+11可以以幀速率fseq1來(lái)捕獲。

視覺(jué)跟蹤通常以相機(jī)cam1的幀速率fseq1運(yùn)行。幀速率fseq1可以是例如在24hz至120hz的范圍內(nèi)。如果相機(jī)cam1沒(méi)有實(shí)際移動(dòng)或旋轉(zhuǎn)，則連續(xù)圖像之間的差異可能很小，并且大部分跟蹤計(jì)算可能變得多余。如果傳感器信號(hào)smv指示有很小的旋轉(zhuǎn)或者沒(méi)有旋轉(zhuǎn)，這也指示連續(xù)圖像幀之間的差異可能很小。在這種情況下，與相機(jī)cam1的幀速率fseq1相比，可以減小用于視覺(jué)跟蹤計(jì)算的幀速率fa。

可以通過(guò)將跟蹤圖像img的視覺(jué)特征f1、f2與點(diǎn)云pc進(jìn)行比較來(lái)確定設(shè)備500的位置。可以根據(jù)幀采樣速率fa從連續(xù)圖像幀fj-2，...fj，fj+，fj+2，...，fj+11中選擇跟蹤圖像imgk-1、imgk、imgk+1、imgk+2、imgk+3、imgk+4。幀采樣速率fa可以是例如幀速率fseq1的1/2、1/3、1/4、1/6、1/6、1/7或1/8倍?？梢砸缘谝粠俾蔲seq1捕獲序列seq1，并且采樣幀速率fa可以等于第一幀速率除以整數(shù)ndiv?？梢源_定采樣幀速率fa，使得采樣幀速率fa等于幀速率fseq1除以整數(shù)ndiv。整數(shù)ndiv可以在第一時(shí)間段期間具有第一值，并且整數(shù)ndiv可以在第二時(shí)間段期間具有不同的第二值。例如，在從tk-1到tk+1的第一時(shí)間段期間，整數(shù)ndiv可以等于3，并且在從tk+1到tk+4的第二時(shí)間段期間，整數(shù)ndiv可以等于2。

可以通過(guò)使用慣性傳感器sen1和/或sen2來(lái)檢測(cè)便攜式設(shè)備500的移動(dòng)。慣性傳感器可以包括例如三軸加速計(jì)和/或三軸陀螺儀。陀螺儀可以是例如激光陀螺儀或振動(dòng)結(jié)構(gòu)陀螺儀。慣性傳感器sen1可以例如通過(guò)使用微機(jī)電系統(tǒng)(mems)來(lái)實(shí)現(xiàn)。慣性傳感器sen1可以被布置為提供指示便攜式設(shè)備的移動(dòng)的傳感器信號(hào)smv。傳感器信號(hào)smv可以包括指定便攜式設(shè)備500的移動(dòng)的移動(dòng)數(shù)據(jù)mdat。移動(dòng)數(shù)據(jù)mdat可以指定在一個(gè)方向(例如在方向su)上的設(shè)備500的加速度ak，和/或圍繞軸(例如圍繞方向su)的設(shè)備500的角速度ωk。

傳感器信號(hào)smv還可以包括從羅盤獲得的移動(dòng)數(shù)據(jù)mdat。傳感器信號(hào)可以包括從磁羅盤獲得的移動(dòng)數(shù)據(jù)mdat。

用于視覺(jué)跟蹤的幀速率fa可以是例如通過(guò)分析由相機(jī)cam1捕獲的每個(gè)第二圖像幀的幀速率fseq1的1/2。用于視覺(jué)跟蹤的幀速率fa可以是例如通過(guò)分析由相機(jī)cam1捕獲的每個(gè)第三圖像幀的幀速率fseq1的1/3。用于視覺(jué)跟蹤的幀速率fa可以是例如通過(guò)分析由相機(jī)cam1捕獲的每個(gè)第四圖像幀的幀速率fseq1的1/4。用于視覺(jué)跟蹤的幀速率fa可以是例如幀速率fseq1的1/2、1/3、1/4、1/5、1/6、1/7、1/8、..、1/15、1/16、1/17...1/31、1/32、1/33...?？梢愿鶕?jù)傳感器信號(hào)來(lái)確定便攜式設(shè)備500的位置。便攜式設(shè)備500的位置可以通過(guò)根據(jù)圖像幀確定先前位置以及根據(jù)傳感器信號(hào)確定位置的變化來(lái)進(jìn)行推斷。當(dāng)傳感器信號(hào)指示便攜式設(shè)備500開(kāi)始移動(dòng)或者轉(zhuǎn)動(dòng)更快時(shí)，可以增加用于視覺(jué)跟蹤的幀速率fa?？梢栽黾訋俾蔲a，使得用于視覺(jué)跟蹤的幀速率fa等于相機(jī)cam1的幀速率fseq1，即可以分析由相機(jī)cam1捕獲的每個(gè)圖像幀。在一個(gè)實(shí)施例中，相機(jī)cam1的幀速率fseq1可以從標(biāo)稱幀速率f0減小。

跟蹤圖像imgk-1可以是在時(shí)間tk-1捕獲的圖像幀f。跟蹤圖像imgk可以是在時(shí)間tk捕獲的圖像幀f。跟蹤圖像imgk+1可以是在時(shí)間tk+1捕獲的圖像幀f。

點(diǎn)云可以被重建或更新?？梢酝ㄟ^(guò)更新先前的點(diǎn)云pck-1來(lái)確定點(diǎn)云pck?？梢酝ㄟ^(guò)更新點(diǎn)云pck來(lái)確定下一點(diǎn)云pck+1。

點(diǎn)云pck可以已經(jīng)通過(guò)分析多個(gè)先前捕獲的圖像imgk-2、imgk-1而形成。點(diǎn)云pck可以是重新構(gòu)造的點(diǎn)云?？梢曰趯?duì)所捕獲的圖像imgk的分析來(lái)更新點(diǎn)云pck?？梢愿鶕?jù)先前的點(diǎn)云pck并且基于對(duì)一個(gè)或多個(gè)先前圖像imgk-2、imgk-1、imgk的分析來(lái)確定更新的點(diǎn)云pck+1。

點(diǎn)云pck或pck+1也可以例如從數(shù)據(jù)庫(kù)或者從第二設(shè)備的存儲(chǔ)器中獲得。點(diǎn)云pck或pck+1可以被傳送到設(shè)備500，例如經(jīng)由互聯(lián)網(wǎng)或者經(jīng)由移動(dòng)通信系統(tǒng)。

可以將在時(shí)間tk-1，tk，tk+1，tk+2，tk+3，tk+4…捕獲的圖像幀用作跟蹤圖像imgk，imgk+1，imgk+2，imgk+3，imgk+4，…。該方法可以包括確定對(duì)應(yīng)于時(shí)間tk-1，tk，tk+1，tk+2，tk+3，tk+4，...的多個(gè)連續(xù)點(diǎn)云pck-1，pck+1，pck+2，pck+3，pck+4。當(dāng)采樣幀速率fa低于幀速率fseq1時(shí)，一個(gè)或多個(gè)所捕獲的圖像幀不被用作跟蹤圖像。例如，所捕獲的圖像幀fj+1和fj+4可以用作跟蹤圖像imgk，imgk+1，使得圖像幀fj+2和fj+3不被用作跟蹤圖像。圖像幀fj+3可以在時(shí)間tj+3被捕獲。在捕獲圖像幀fj+1之后并且在捕獲圖像幀fj+4之前可以捕獲圖像幀fj+3。

跟蹤圖像與點(diǎn)云的比較可能會(huì)消耗電力。幀采樣速率fa可以低于幀速率fseq1，以便節(jié)省能量?？梢曰趶膽T性傳感器sen1獲得的傳感器信號(hào)smv來(lái)調(diào)整幀采樣速率fa?？梢曰趶膽T性傳感器sen2獲得的傳感器信號(hào)smv來(lái)調(diào)整幀采樣速率fa?？梢曰趶拇帕_盤sen3獲得的傳感器信號(hào)smv來(lái)調(diào)整幀采樣速率fa。

參見(jiàn)圖3b，當(dāng)從設(shè)備500的瞬時(shí)位置察看時(shí)，序列seq1的圖像幀可以表示環(huán)境env1的瞬時(shí)視圖?？梢愿鶕?jù)幀采樣速率fa從圖像幀fj-1、fj、fj+1、fj+2中選擇跟蹤圖像imgk。跟蹤圖像的數(shù)量可以低于序列seq1的圖像幀的數(shù)量。此外，最近的跟蹤圖像可以是如下圖像幀：其不是由相機(jī)cam1捕獲的最近的圖像幀。

參見(jiàn)圖4a，跟蹤圖像imgk可以包括多個(gè)特征f1，f2，…。特征f1，f2，…可以被稱為例如視覺(jué)特征，并且圖像imgk可以被稱為例如跟蹤圖像。圖像imgk的特征f1，f2，…可以是環(huán)境env1的實(shí)際物體obj1、obj2的特征f1、f2的子圖像。

點(diǎn)云pck可以包括三維虛擬空間中的多個(gè)點(diǎn)。點(diǎn)云的每個(gè)點(diǎn)可以表示出現(xiàn)在圖像幀中的候選特征。

虛擬空間可以由正交方向sx'，sy'，sz'和參考點(diǎn)ref2定義。點(diǎn)云pck的每個(gè)點(diǎn)p的空間位置可以由空間坐標(biāo)(x'，y'，z')定義。設(shè)備500可以包括用于存儲(chǔ)點(diǎn)云pck的點(diǎn)的位置的存儲(chǔ)器。

設(shè)備500在虛擬空間中可以具有虛擬位置pos2k。可以通過(guò)指定設(shè)備500的虛擬空間位置以及通過(guò)定義設(shè)備500的虛擬角位置來(lái)定義設(shè)備500的虛擬位置pos2k?？臻g位置可以由三個(gè)空間坐標(biāo)(x'，y'，z')指定，并且角位置可以由三個(gè)角坐標(biāo)(α'，β'，γ')指定。

設(shè)備500可以被配置為通過(guò)將跟蹤圖像imgk的視覺(jué)特征f1，f2，...與點(diǎn)云pck的點(diǎn)p進(jìn)行比較來(lái)確定虛擬位置pos2k。設(shè)備500可以被配置為確定設(shè)備500在虛擬空間中的虛擬位置pos2k，使得跟蹤圖像imgk的視覺(jué)特征f1，f2，…與點(diǎn)云pck的點(diǎn)p匹配到足夠程度。位置pos2k可以指定設(shè)備相對(duì)于點(diǎn)云pck的點(diǎn)p的位置，即在虛擬空間中的位置。隨后可以通過(guò)坐標(biāo)變換根據(jù)虛擬位置pos2k確定設(shè)備500在環(huán)境env1中的位置posk。也可以選擇虛擬空間的坐標(biāo)系，使得設(shè)備500的位置posk等于虛擬位置pos2k。在這種情況下，不需要坐標(biāo)變換。

設(shè)備500可以被配置為根據(jù)點(diǎn)云pck確定一個(gè)或多個(gè)候選圖像。當(dāng)從虛擬位置pos2k察看點(diǎn)p時(shí)，候選圖像意味著點(diǎn)云pck的點(diǎn)p的圖像。點(diǎn)云pck的每個(gè)點(diǎn)p可以對(duì)應(yīng)于候選圖像的一個(gè)點(diǎn)。設(shè)備500可以被配置為計(jì)算候選圖像的多個(gè)點(diǎn)，并且檢查候選的點(diǎn)是否與跟蹤圖像imgk的點(diǎn)匹配。

換句話說(shuō)，設(shè)備500可以被配置為進(jìn)行跟蹤運(yùn)算。當(dāng)從不同的方向察看時(shí)，點(diǎn)云pck通常看起來(lái)不同。設(shè)備500可以被配置為確定位置pos2k，使得候選圖像的點(diǎn)與跟蹤圖像的特征f1、f2相匹配。

設(shè)備的位置可以通過(guò)一種方法確定，該方法包括：

－從便攜式設(shè)備500的相機(jī)cam1獲取所捕獲的圖像幀fj、fj+1、fj+2的序列seq，

－通過(guò)使用慣性傳感器sen1、通過(guò)使用慣性傳感器sen2和/或通過(guò)使用便攜式設(shè)備500的羅盤sen3來(lái)獲取移動(dòng)數(shù)據(jù)mdat，

－根據(jù)移動(dòng)數(shù)據(jù)mdat確定采樣幀速率fa，

－根據(jù)采樣幀速率fa從所捕獲的圖像幀fj、fj+1、fj+2中選擇跟蹤圖像imgk，以及

－通過(guò)將跟蹤圖像imgk與點(diǎn)云pck進(jìn)行比較，來(lái)確定便攜式設(shè)備500的位置posk、posk2。

基于所確定的位置posk、pos2k，信息inf1、inf2隨后可以被顯示在設(shè)備500的顯示器disp1上。顯示器disp1可以為例如虛擬顯示器或者觸摸屏。

如果將跟蹤圖像imgk的每個(gè)視覺(jué)特征與點(diǎn)云pck的每個(gè)點(diǎn)進(jìn)行比較，則跟蹤圖像imgk的比較可能需要大量的數(shù)據(jù)處理。

為了便于比較，可以形成點(diǎn)云pck的子集sck。子集sck的點(diǎn)的數(shù)量可以遠(yuǎn)遠(yuǎn)小于點(diǎn)云pck的點(diǎn)的數(shù)量。

例如，視覺(jué)特征f1可以表示靠近設(shè)備的物體obj1的點(diǎn)，以及視覺(jué)特征f2可以表示遠(yuǎn)離設(shè)備500的物體obj3的點(diǎn)。如果設(shè)備500快速移動(dòng)，則與視覺(jué)特征f2相比，視覺(jué)特征f1在跟蹤圖像imgk中更可能被模糊。在設(shè)備500平移運(yùn)動(dòng)的情況下，與遠(yuǎn)距離的物體obj3的視覺(jué)特征f2相比，視覺(jué)特征f1在跟蹤圖像imgk中更可能被模糊。設(shè)備500可以通過(guò)省略與模糊特征相關(guān)的比較操作來(lái)節(jié)省電力。

設(shè)備500可以被配置為通過(guò)選擇可能對(duì)應(yīng)于跟蹤圖像imgk中的尖銳特征的點(diǎn)p來(lái)形成點(diǎn)云pck的子集sck。設(shè)備500可以被配置為通過(guò)丟棄可能對(duì)應(yīng)于跟蹤圖像imgk中的模糊特征的點(diǎn)p來(lái)形成點(diǎn)云pck的子集sck。設(shè)備500可以被配置為確定針對(duì)點(diǎn)云pck的每個(gè)點(diǎn)的模糊值bv。點(diǎn)的模糊值bv可以指示對(duì)應(yīng)于所述點(diǎn)的特征的估計(jì)的模糊程度。

當(dāng)相機(jī)轉(zhuǎn)動(dòng)或移動(dòng)太快時(shí)，出現(xiàn)在圖像幀中的特征可能會(huì)被模糊。在這種情況下，視覺(jué)跟蹤可能會(huì)失敗。有時(shí)根本無(wú)法識(shí)別視覺(jué)特征。然而，可以基于傳感器信號(hào)來(lái)計(jì)算對(duì)應(yīng)于點(diǎn)云的點(diǎn)的特征的模糊程度。模糊程度可以例如由模糊值指定。如果特征的模糊值超過(guò)閾值，則這可能表示該特征太模糊以致無(wú)法識(shí)別。在跟蹤計(jì)算中可以忽略與模糊特征相關(guān)聯(lián)的點(diǎn)。特征匹配可以僅對(duì)對(duì)應(yīng)于相對(duì)尖銳特征的那些點(diǎn)進(jìn)行。傳感器信號(hào)可用于確定便攜式設(shè)備在快速移動(dòng)期間的位置。閾值可以取決于例如相機(jī)的分辨率和/或相機(jī)的曝光時(shí)間。

設(shè)備500可以以速度vk移動(dòng)和/或設(shè)備可以以角速度ωk旋轉(zhuǎn)。如果速度vk和/或如果角速度ωk太高，則可能會(huì)使跟蹤圖像imgk的一個(gè)或多個(gè)視覺(jué)特征f1、f2模糊。例如，穿戴設(shè)備500的用戶u1可能跑或轉(zhuǎn)動(dòng)他的頭部，使得跟蹤圖像imgk包括模糊的視覺(jué)特征f1、f2。如果相機(jī)cam1快速加速，則也可能使跟蹤圖像imgk的一個(gè)或多個(gè)視覺(jué)特征f1、f2模糊。物體的特征的模糊程度可以取決于相機(jī)cam1和物體obj1、obj2之間的距離。模糊程度也可能取決于相機(jī)cam1的分辨率和/或照明條件。

設(shè)備500可以包括用于提供一個(gè)或多個(gè)傳感器信號(hào)smv的慣性傳感器sen1、sen2。設(shè)備500可以包括用于提供傳感器信號(hào)smv的一個(gè)或多個(gè)慣性傳感器sen1、sen2。慣性傳感器sen1、sen2可以是例如加速度傳感器和陀螺儀。傳感器信號(hào)smv可以指示設(shè)備500的加速度和/或角速度ωk。速度vk可以通過(guò)對(duì)設(shè)備500的加速度進(jìn)行積分來(lái)確定。

參見(jiàn)圖4b，設(shè)備500可以具有先前的虛擬位置pos2k-1。點(diǎn)云pck的每個(gè)點(diǎn)p可以與所述點(diǎn)p和先前的虛擬位置pos2k-1之間的距離l'相關(guān)聯(lián)?？梢曰谒鳇c(diǎn)p的空間坐標(biāo)(x'，y'，z')來(lái)計(jì)算設(shè)備500的點(diǎn)p和先前的虛擬位置pos2k-1之間的距離l'。該點(diǎn)p的模糊值bv可以通過(guò)使用角速度ωk、速度vk和/或加速度ak以及通過(guò)使用距離l'來(lái)計(jì)算。如果所述點(diǎn)的模糊值bv超過(guò)限定值bvblur，則點(diǎn)p可以從子集sck被丟棄。

設(shè)備500可以被配置為通過(guò)將跟蹤圖像imgk的視覺(jué)特征f1，f2，…與子集sck的點(diǎn)p進(jìn)行比較來(lái)確定設(shè)備500的虛擬位置pos2k。設(shè)備500可以被配置為確定設(shè)備500在虛擬空間中的虛擬位置pos2k，使得跟蹤圖像imgk的視覺(jué)特征f1，f2，…與子集sck的點(diǎn)p匹配到足夠的程度。

圖5a示出了用于選擇跟蹤圖像以及用于通過(guò)將跟蹤圖像的視覺(jué)特征與點(diǎn)云進(jìn)行比較來(lái)確定設(shè)備500的位置的方法步驟。

在步驟810中，可以從設(shè)備500的相機(jī)cam1獲取所捕獲的圖像幀fj、fj+1、fj+2的序列。傳感器信號(hào)smv可以從傳感器sen1、sen2和/或sen3獲得。移動(dòng)數(shù)據(jù)mdat可以從傳感器sen1、sen2和/或sen3獲得。

在步驟815中，可以基于傳感器信號(hào)smv來(lái)確定幀采樣速率fa?？梢曰谝苿?dòng)數(shù)據(jù)mdat來(lái)確定幀采樣速率fa。例如，幀采樣速率fa可以根據(jù)設(shè)備的加速度和角速度來(lái)確定。例如，幀采樣速率fa可以被確定為低于序列seq1的幀速率，例如當(dāng)設(shè)備500的加速度低于預(yù)定限制alim1并且設(shè)備的角速度低于預(yù)定限制ωlim1時(shí)。例如，當(dāng)設(shè)備500的加速度高于限制alim2和/或設(shè)備的角速度高于預(yù)定限制ωlim2時(shí)，可以將幀采樣速率fa確定為等于序列seq1的幀速率fseq1。

可以確定采樣幀速率fa，使得采樣幀速率fa等于幀速率fseq1除以整數(shù)ndiv。當(dāng)設(shè)備的角速度ω低于第一預(yù)定限制ωlim1并且設(shè)備的加速度低于第二預(yù)定限制alim1時(shí)，整數(shù)ndiv可以是例如大于或等于2。

在步驟820中，可以根據(jù)幀采樣速率fa從序列seq1的圖像幀中采樣一個(gè)或多個(gè)跟蹤圖像。

在步驟850中，可以通過(guò)將跟蹤圖像imgk的視覺(jué)特征f1、f2與點(diǎn)云pck的點(diǎn)進(jìn)行比較來(lái)確定設(shè)備500的位置posk。

在步驟890中，可以基于所確定的位置posk來(lái)控制設(shè)備500的操作。例如，可以基于位置posk從數(shù)據(jù)庫(kù)檢索信息。例如，可以在運(yùn)行增強(qiáng)現(xiàn)實(shí)應(yīng)用時(shí)，基于位置posk從數(shù)據(jù)庫(kù)檢索信息。例如，可以基于位置posk來(lái)選擇所顯示的信息inf1、inf2。例如，可以基于位置posk來(lái)確定信息在顯示器上的位置。例如，所確定的位置posk可以用作用戶輸入，例如，用于從兩個(gè)或多個(gè)選項(xiàng)進(jìn)行選擇。

參見(jiàn)圖5b，可以通過(guò)使用點(diǎn)云的子集sck來(lái)減少比較操作的數(shù)量。在步驟825中，可以通過(guò)使用設(shè)備500的移動(dòng)數(shù)據(jù)mdat和先前的(虛擬)位置pos2k-1來(lái)形成子集sck。點(diǎn)云pck的點(diǎn)p的模糊值bv可以通過(guò)使用角速度ωk、速度vk和/或加速度ak以及通過(guò)使用距離l'來(lái)計(jì)算。如果所述點(diǎn)的模糊值bv超過(guò)限定值bvblur，則點(diǎn)p可以從子集sck被丟棄。步驟825可以例如在步驟820之后、在步驟820之前、或在步驟815之前(但在步驟810之后)執(zhí)行。

該方法可以包括：

－基于點(diǎn)云pck的點(diǎn)p的位置以及基于移動(dòng)數(shù)據(jù)mdat來(lái)針對(duì)所述點(diǎn)p確定模糊值bv，

－如果模糊值bv超過(guò)預(yù)定限制bvblur，則從點(diǎn)云pck的子集sck中丟棄所述點(diǎn)p，以及

－通過(guò)將跟蹤圖像imgk與子集sck進(jìn)行比較來(lái)確定便攜式設(shè)備500的位置posk。

較高的模糊值bv可以指示較高的模糊程度。在這種情況下，如果所述點(diǎn)的模糊值bv高于預(yù)定限制bvblur，則點(diǎn)p可以被點(diǎn)云pck的子集sck丟棄。可選地，較低的模糊值bv可以指示較高的模糊程度。在這種情況下，如果所述點(diǎn)的模糊值bv低于預(yù)定限制bvblur，則可以從點(diǎn)云pck的子集sck丟棄點(diǎn)p。

該方法可以包括：

－基于點(diǎn)云pck的點(diǎn)p的位置以及基于移動(dòng)數(shù)據(jù)mdat來(lái)針對(duì)所述點(diǎn)p確定模糊值bv，

－將所述模糊值bv與預(yù)定限制bvblur進(jìn)行比較，

－基于該比較，將所述點(diǎn)選擇到點(diǎn)云pck的子集sck或者從點(diǎn)云pck的子集sck丟棄所述點(diǎn)，以及

－通過(guò)將跟蹤圖像imgk與子集sck進(jìn)行比較來(lái)確定便攜式設(shè)備500的位置posk。

參見(jiàn)圖5c，有時(shí)可以通過(guò)使用移動(dòng)數(shù)據(jù)mdat來(lái)校正所確定的位置。δta可以表示當(dāng)前時(shí)間t和捕獲跟蹤圖像imgk的時(shí)間tk之間的時(shí)間延遲(t-tk)。如果時(shí)間延遲短(例如比限制lim1更短)，則跟蹤圖像imgk可以表示當(dāng)前的情況。如果時(shí)間延遲長(zhǎng)，則通過(guò)分析跟蹤圖像imgk確定的位置posk可能不同于當(dāng)前位置。

可以在步驟860中檢查時(shí)間延遲δta。如果時(shí)間延遲δta小于預(yù)定值，則在步驟850中確定的中間位置posk可以用作設(shè)備500在時(shí)間t的位置pos(t)(步驟880)。如果時(shí)間延遲δta不小于預(yù)定值，則可以通過(guò)使用移動(dòng)數(shù)據(jù)mdat來(lái)校正位置。在步驟865中，可以通過(guò)使用傳感器信號(hào)smv并且基于時(shí)間延遲δta來(lái)計(jì)算設(shè)備的橫向位移dpos和/或設(shè)備的取向的角度變化?？梢酝ㄟ^(guò)使用從傳感器sen1、sen2和/或sen3獲得的移動(dòng)數(shù)據(jù)mdat并且基于時(shí)間延遲δta來(lái)計(jì)算設(shè)備的橫向位移dpos和/或設(shè)備的取向的角度變化。

該方法可以包括：

－通過(guò)使用移動(dòng)數(shù)據(jù)mdat來(lái)確定位置dpos的變化，以及

－通過(guò)使用所述變化dpos和先前確定的位置posk來(lái)確定校正的位置pos(t)。

在步驟870中，隨后可以通過(guò)將變化dpos添加到中間位置posk來(lái)確定設(shè)備500在時(shí)間t的瞬時(shí)位置pos(t)。

在步驟890中，可以基于所確定的瞬時(shí)位置pos(t)來(lái)控制設(shè)備500的操作。

參見(jiàn)圖6，設(shè)備500可以被布置為自動(dòng)適應(yīng)更具挑戰(zhàn)性的跟蹤條件。

在步驟852中，可以對(duì)匹配點(diǎn)的數(shù)量nmp進(jìn)行計(jì)數(shù)。在比較操作中可以找到點(diǎn)云pck的匹配點(diǎn)。因此，對(duì)匹配點(diǎn)的數(shù)量nmp進(jìn)行計(jì)數(shù)可能需要非常低的或可忽略的數(shù)據(jù)處理能力。

在步驟855中可以檢查數(shù)量nmp。如果匹配點(diǎn)的數(shù)量nmp低于預(yù)定值nmp，lim1，則在步驟856中可以暫時(shí)增大幀采樣速率fa。在步驟856中還可以重置計(jì)時(shí)器值tim。

該方法可以包括：

－確定指示出現(xiàn)在圖像幀中的匹配特征的數(shù)量的指示值nmp，以及

－當(dāng)匹配特征的數(shù)量nmp小于預(yù)定限制nmp，lim1時(shí)，增大幀采樣速率fa。

如果匹配點(diǎn)的數(shù)量nmp高于預(yù)定值，并且如果計(jì)時(shí)器值tim低于預(yù)定值interval1，則可以將幀采樣速率fa保持在步驟815中確定的值。

計(jì)時(shí)器值tim可以隨時(shí)間增大或者例如在步驟852中增大?？梢栽诓襟E857中檢查計(jì)時(shí)器值tim。如果計(jì)時(shí)器值tim高于預(yù)定值interval1，則在步驟858中可以暫時(shí)減小幀采樣速率fa。

如圖5a、圖5b或圖5c所示，在圖6的步驟850中確定的位置可以在步驟890中被用于控制設(shè)備500的操作。

可以監(jiān)控視覺(jué)跟蹤的魯棒性。特別地，可以在設(shè)備500基本靜止的情況下監(jiān)控魯棒性。當(dāng)使用低幀速率進(jìn)行分析時(shí)，魯棒性可能會(huì)受到影響。例如由于可能引起圖像噪音的低照明強(qiáng)度，魯棒性可能會(huì)受到影響。如果視覺(jué)跟蹤呈現(xiàn)出在傳感器信號(hào)未指示明顯運(yùn)動(dòng)時(shí)提供少量的匹配特征，則可以暫時(shí)增大用于跟蹤的幀速率，直到恢復(fù)魯棒跟蹤。之后，可以減小用于跟蹤的幀速率，以便測(cè)試是否可以以較低幀速率維持魯棒跟蹤。以這種方式，設(shè)備可以自動(dòng)地適應(yīng)于具有挑戰(zhàn)性和/或變化的跟蹤條件。視覺(jué)質(zhì)量評(píng)估方法可以被用于監(jiān)控視覺(jué)跟蹤的質(zhì)量。評(píng)估方法可以包括例如對(duì)匹配特征的數(shù)量進(jìn)行計(jì)數(shù)?？梢栽诓辉黾佑?jì)算成本和/或功率消耗的情況下實(shí)現(xiàn)評(píng)估方法。

視頻序列seq1可以通過(guò)使用數(shù)據(jù)壓縮編解碼器來(lái)存儲(chǔ)和/或傳送，例如通過(guò)使用mpeg-4part2編解碼器、h.264/mpeg-4avc編解碼器、h.265編解碼器、window媒體視頻(wmv)、divxpro編解碼器或未來(lái)編解碼器(例如，高效率視頻編碼、hevc、h.265)。視頻數(shù)據(jù)vdata1、vdata2可以被編碼和/或解碼，例如通過(guò)使用mpeg-4part2編解碼器，h.264/mpeg-4avc編解碼器，h.265編解碼器，windows媒體視頻(wmv)，divxpro編解碼器，或未來(lái)編解碼器(例如，高效率視頻編碼、hevc、h.265)。視頻數(shù)據(jù)也可以被編碼和/或解碼，例如通過(guò)使用無(wú)損編解碼器。

圖7a以示例的方式示出了通信系統(tǒng)1000，其可以包括便攜式設(shè)備500。系統(tǒng)1000可以包括多個(gè)設(shè)備500、600，這些設(shè)備可以被布置為彼此通信和/或與服務(wù)器1240進(jìn)行通信。設(shè)備500、600可以是便攜式的。一個(gè)或多個(gè)設(shè)備500可以包括用于接收用戶輸入的用戶接口uif1。一個(gè)或多個(gè)設(shè)備500和/或服務(wù)器1240可以包括被配置為生成點(diǎn)云pck的一個(gè)或多個(gè)數(shù)據(jù)處理器。系統(tǒng)1000可以包括終端用戶設(shè)備，例如一個(gè)或多個(gè)便攜式設(shè)備500、600，移動(dòng)電話或智能電話600，互聯(lián)網(wǎng)接入設(shè)備(互聯(lián)網(wǎng)平板電腦)，個(gè)人計(jì)算機(jī)1260，顯示器或圖像投影儀1261(例如電視)，和/或視頻播放器1262。設(shè)備500或便攜式相機(jī)中的一個(gè)或多個(gè)可以包括用于捕獲圖像數(shù)據(jù)的圖像傳感器det1。服務(wù)器、移動(dòng)電話、智能電話、互聯(lián)網(wǎng)接入設(shè)備或個(gè)人計(jì)算機(jī)可以被布置為分發(fā)圖像數(shù)據(jù)、信息inf1、inf2和/或點(diǎn)云數(shù)據(jù)pck。可以在具有一個(gè)或多個(gè)服務(wù)器1240、1241、1242和一個(gè)或多個(gè)用戶設(shè)備的網(wǎng)絡(luò)服務(wù)框架中實(shí)現(xiàn)分發(fā)和/或存儲(chǔ)數(shù)據(jù)。如圖7a的示例所示，系統(tǒng)1000的不同設(shè)備可以經(jīng)由諸如互聯(lián)網(wǎng)或局域網(wǎng)(lan)的固定網(wǎng)絡(luò)1210來(lái)連接。這些設(shè)備可以經(jīng)由移動(dòng)通信網(wǎng)絡(luò)1220來(lái)連接，諸如全球移動(dòng)通信系統(tǒng)(gsm)網(wǎng)絡(luò)、第三代(3g)網(wǎng)絡(luò)、第3.5代(3.5g)網(wǎng)絡(luò)、第四代(4g)網(wǎng)絡(luò)、無(wú)線局域網(wǎng)(wlan)、或其他當(dāng)代和未來(lái)的網(wǎng)絡(luò)。不同的網(wǎng)絡(luò)可以借助于通信接口1280彼此連接。網(wǎng)絡(luò)(1210和/或1220)可以包括諸如路由器和交換機(jī)的網(wǎng)絡(luò)元件以處理數(shù)據(jù)(未示出)。網(wǎng)絡(luò)可以包括諸如一個(gè)或多個(gè)基站1230和1231的通信接口，以向不同的設(shè)備提供對(duì)網(wǎng)絡(luò)的訪問(wèn)?；?230、1231本身可以經(jīng)由固定連接1276和/或經(jīng)由無(wú)線連接1277連接到移動(dòng)通信網(wǎng)絡(luò)1220?？梢杂卸鄠€(gè)服務(wù)器連接到網(wǎng)絡(luò)。例如，用于提供諸如社交媒體服務(wù)的網(wǎng)絡(luò)服務(wù)的服務(wù)器1240可以連接到網(wǎng)絡(luò)1210。服務(wù)器1240可以針對(duì)在設(shè)備500上運(yùn)行的增強(qiáng)現(xiàn)實(shí)應(yīng)用生成和/或分發(fā)附加信息inf1、inf2。用于提供網(wǎng)絡(luò)服務(wù)的第二服務(wù)器1241可以連接到網(wǎng)絡(luò)1210。用于提供網(wǎng)絡(luò)服務(wù)的服務(wù)器1242可以連接到移動(dòng)通信網(wǎng)絡(luò)1220。上述設(shè)備中的一些，例如服務(wù)器1240、1241、1242可以被布置為使得它們與駐留在網(wǎng)絡(luò)1210中的通信元件一起組成互聯(lián)網(wǎng)。設(shè)備500、600、1260、1261、1262也可以由多個(gè)部分組成。一個(gè)或多個(gè)設(shè)備可以經(jīng)由無(wú)線連接1273連接到網(wǎng)絡(luò)1210、1220。設(shè)備500與系統(tǒng)1000的第二設(shè)備之間的通信com1可以是固定和/或無(wú)線的?？梢越?jīng)由諸如固定連接1270、1271、1272和1280的通信連接將一個(gè)或多個(gè)設(shè)備連接到網(wǎng)絡(luò)1210、1220。一個(gè)或多個(gè)設(shè)備可以經(jīng)由無(wú)線連接1273連接到互聯(lián)網(wǎng)。一個(gè)或多個(gè)設(shè)備可以經(jīng)由固定連接1275連接到移動(dòng)網(wǎng)絡(luò)1220。設(shè)備500、600可以經(jīng)由無(wú)線連接com1、1279和/或1282連接到移動(dòng)網(wǎng)絡(luò)1220。連接1271至1282可以借助于在通信連接的相應(yīng)端部處的通信接口來(lái)實(shí)現(xiàn)。用戶設(shè)備500、600或1260也可以像各種網(wǎng)絡(luò)設(shè)備1240、1241和1242那樣用作web服務(wù)服務(wù)器。該web服務(wù)服務(wù)器的功能可以分布在多個(gè)設(shè)備上。應(yīng)用元素和庫(kù)可以被實(shí)現(xiàn)為駐留在一個(gè)設(shè)備上的軟件組件?？蛇x地，軟件組件可以分布在多個(gè)設(shè)備上。軟件組件可以分布在多個(gè)設(shè)備上以形成云。

圖7b示出了可以用作通信系統(tǒng)1000的一部分的便攜式設(shè)備500。該設(shè)備可以為例如頭戴式設(shè)備、虛擬顯示器、移動(dòng)電話、智能電話、通信器、便攜式計(jì)算機(jī)、相機(jī)或個(gè)人數(shù)字助理(pda)。設(shè)備500可以包括控制單元cnt1，該控制單元用于確定設(shè)備500的位置、用于控制設(shè)備500的操作和/或用于根據(jù)所確定的設(shè)備500的位置顯示信息inf1、inf2。該設(shè)備可以包括用于接收和/或發(fā)送數(shù)據(jù)的通信單元rxtx1。設(shè)備500可以通過(guò)使用通信單元rxtx1來(lái)接收信息inf1、inf2。設(shè)備500可以通過(guò)使用通信單元rxtx1將所確定的位置傳送到通信系統(tǒng)1000的一個(gè)或多個(gè)其他設(shè)備。設(shè)備500可以包括用于捕獲環(huán)境env1的外部物體的圖像幀的一個(gè)或多個(gè)相機(jī)單元cam1。設(shè)備500可以包括用于提供移動(dòng)數(shù)據(jù)mdat的傳感器sen1。傳感器sen1可以是非成像傳感器。sen1可以是慣性傳感器。該設(shè)備可以包括用于從用戶u1接收命令的用戶接口uif1。用戶接口uif1可以包括顯示器disp1。顯示器disp1可以被布置為向用戶u1顯示虛擬圖像。用戶接口uif1可以包括例如觸摸屏、觸摸板、一個(gè)或多個(gè)鍵、鼠標(biāo)、手勢(shì)輸入設(shè)備和/或語(yǔ)音識(shí)別單元。設(shè)備500可以包括用于存儲(chǔ)計(jì)算機(jī)程序代碼的存儲(chǔ)器mem1。代碼可以使得設(shè)備500例如確定設(shè)備500的位置、控制設(shè)備500的操作和/或根據(jù)所確定的設(shè)備500的位置顯示信息inf1、inf2。設(shè)備500可以包括用于存儲(chǔ)其他數(shù)據(jù)(例如，點(diǎn)云數(shù)據(jù)(圖2))的存儲(chǔ)器。便攜式設(shè)備500可以包括用于向控制單元cnt1提供電能的電池bat1。

對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，將清楚的是，根據(jù)本發(fā)明的設(shè)備和方法的修改和變化是可感知的。附圖是示意性的。上面參考附圖所描述的特定實(shí)施例僅是說(shuō)明性的，并不旨在限制本發(fā)明的范圍，本發(fā)明的范圍由所附權(quán)利要求限定。