依據(jù)slam地圖的廣域定位的制作方法
【專利說(shuō)明】依據(jù)SLAM地圖的廣域定位
[0001]相關(guān)串請(qǐng)案的交叉參考
[0002]本申請(qǐng)要求美國(guó)臨時(shí)申請(qǐng)US 61/817,782的權(quán)益，本申請(qǐng)于2013年4月30日提出，且將本申請(qǐng)清楚地并入本文作為參考。
技術(shù)領(lǐng)域
[0003]本申請(qǐng)大體涉及在客戶端-服務(wù)器環(huán)境中的定位和建圖的領(lǐng)域。
【背景技術(shù)】
[0004]移動(dòng)裝置(例如智能電話)可用于聯(lián)機(jī)創(chuàng)建和追蹤三維地圖環(huán)境(例如，同時(shí)定位及建圖)。然而，移動(dòng)裝置可具有有限的存儲(chǔ)和處理，尤其是相對(duì)于強(qiáng)大的固定安裝服務(wù)器系統(tǒng)而言。因此，移動(dòng)裝置精確且獨(dú)立地確定環(huán)境的特征豐富且詳細(xì)的地圖的能力可能受到限制。移動(dòng)裝置可能不具有地圖的本地?cái)?shù)據(jù)庫(kù)，或者即使確實(shí)存在本地?cái)?shù)據(jù)庫(kù)，但本地?cái)?shù)據(jù)庫(kù)可存儲(chǔ)有限數(shù)量的地圖元素或具有有限的地圖細(xì)節(jié)。特別是在大城市的環(huán)境中，需要存儲(chǔ)大型廣域地圖的存儲(chǔ)器可能超出典型的移動(dòng)裝置的能力范圍。
[0005]存儲(chǔ)大型地圖的一個(gè)替代方案是使移動(dòng)裝置訪問(wèn)服務(wù)器處的地圖。然而，遠(yuǎn)程訪問(wèn)地圖的一個(gè)問(wèn)題是在與服務(wù)器通信時(shí)可能有長(zhǎng)等待時(shí)間。例如，將查詢數(shù)據(jù)發(fā)送到服務(wù)器、處理查詢以及將響應(yīng)數(shù)據(jù)返回到移動(dòng)裝置可能有關(guān)聯(lián)的延遲時(shí)間，而所述關(guān)聯(lián)的延遲時(shí)間使這樣的系統(tǒng)不適于現(xiàn)實(shí)世界使用。在等待服務(wù)器響應(yīng)時(shí)，移動(dòng)裝置可能已從第一服務(wù)器查詢所表示的位置移開(kāi)。結(jié)果，所計(jì)算的以及與服務(wù)器交換的環(huán)境數(shù)據(jù)在其到達(dá)移動(dòng)裝置時(shí)可能過(guò)時(shí)了。

【發(fā)明內(nèi)容】

[0006]本文公開(kāi)的實(shí)施例可涉及一種用于廣域定位的方法。所述方法包含:用一或多個(gè)圖像來(lái)初始化本地環(huán)境的基于關(guān)鍵幀的同時(shí)定位及建圖(SLAM)地圖，其中所述初始化包括從所述圖像中的一者中選擇第一關(guān)鍵幀。所述方法進(jìn)一步包含:在移動(dòng)裝置處確定移動(dòng)裝置在本地環(huán)境內(nèi)的相應(yīng)定位，其中所述相應(yīng)定位基于所述基于關(guān)鍵幀的SLAM地圖。所述方法進(jìn)一步包含:從移動(dòng)裝置將第一關(guān)鍵幀發(fā)送到服務(wù)器，以及在移動(dòng)裝置處接收來(lái)自服務(wù)器的第一全球定位響應(yīng)。
[0007]本文公開(kāi)的實(shí)施例可涉及一種用于廣域定位的設(shè)備，所述設(shè)備包含:用于由移動(dòng)裝置用一或多個(gè)圖像來(lái)初始化本地環(huán)境的基于關(guān)鍵幀的同時(shí)定位及建圖(SLAM)地圖的裝置，其中所述初始化包括從所述圖像中的一者中選擇第一關(guān)鍵幀。所述設(shè)備進(jìn)一步包含:用于在移動(dòng)裝置處確定移動(dòng)裝置在本地環(huán)境內(nèi)的相應(yīng)定位的裝置，其中所述相應(yīng)定位基于所述基于關(guān)鍵幀的SLAM地圖。所述設(shè)備進(jìn)一步包含:用于從移動(dòng)裝置將第一關(guān)鍵幀發(fā)送到服務(wù)器的裝置和用于在移動(dòng)裝置處接收來(lái)自服務(wù)器的第一全球定位響應(yīng)的裝置。
[0008]本文公開(kāi)的實(shí)施例可涉及一種用以執(zhí)行廣域定位的移動(dòng)裝置，所述移動(dòng)裝置包括硬件和軟件，所述硬件和軟件用于:由所述移動(dòng)裝置用一或多個(gè)圖像來(lái)初始化本地環(huán)境的基于關(guān)鍵幀的同時(shí)定位及建圖(SLAM)地圖，其中所述初始化包括從所述圖像中的一者中選擇第一關(guān)鍵幀。所述移動(dòng)裝置還可以在所述移動(dòng)裝置處確定所述移動(dòng)裝置在本地環(huán)境內(nèi)的相應(yīng)定位，其中所述相應(yīng)定位基于所述基于關(guān)鍵幀的SLAM地圖。所述移動(dòng)裝置還可以從所述移動(dòng)裝置將第一關(guān)鍵幀發(fā)送到服務(wù)器，以及在所述移動(dòng)裝置處接收來(lái)自服務(wù)器的第一關(guān)鍵幀響應(yīng)。
[0009]本文公開(kāi)的實(shí)施例涉及一種非暫時(shí)性存儲(chǔ)媒體，其上存儲(chǔ)有指令，所述指令響應(yīng)于由移動(dòng)裝置中的處理器實(shí)施而實(shí)施以下操作:由移動(dòng)裝置用一或多個(gè)圖像來(lái)初始化本地環(huán)境的基于關(guān)鍵幀的同時(shí)定位及建圖(SLAM)地圖，其中所述初始化包括從所述圖像中的一者中選擇第一關(guān)鍵幀。所述非暫時(shí)性存儲(chǔ)媒體進(jìn)一步包含:在移動(dòng)裝置處確定移動(dòng)裝置在本地環(huán)境內(nèi)的相應(yīng)定位，其中所述相應(yīng)定位基于所述基于關(guān)鍵幀的SLAM地圖。所述非暫時(shí)性存儲(chǔ)媒體進(jìn)一步包含從移動(dòng)裝置將第一關(guān)鍵幀發(fā)送到服務(wù)器，以及在移動(dòng)裝置處接收來(lái)自服務(wù)器的第一全球定位響應(yīng)。
[0010]本文公開(kāi)的實(shí)施例可涉及一種用于在服務(wù)器處的廣域定位的機(jī)器實(shí)現(xiàn)的方法。在一個(gè)實(shí)施例中，在服務(wù)器處接收到來(lái)自移動(dòng)裝置的基于關(guān)鍵幀的SLAM地圖的一或多個(gè)關(guān)鍵幀，并且定位所述一或多個(gè)關(guān)鍵幀。定位可以包括使來(lái)自所述一或多個(gè)接收到的關(guān)鍵幀的關(guān)鍵幀特征與服務(wù)器地圖的特征匹配。在一個(gè)實(shí)施例中，將定位結(jié)果提供到移動(dòng)裝置。
[0011]本文公開(kāi)的實(shí)施例可以涉及一種用以執(zhí)行廣域定位的服務(wù)器。在一個(gè)實(shí)施例中，在服務(wù)器處接收到來(lái)自移動(dòng)裝置的基于關(guān)鍵幀的SLAM地圖的一或多個(gè)關(guān)鍵幀，并且定位所述一或多個(gè)關(guān)鍵幀。定位可以包括使來(lái)自所述一或多個(gè)接收到的關(guān)鍵幀的關(guān)鍵幀特征與服務(wù)器地圖的特征匹配。在一個(gè)實(shí)施例中，將定位結(jié)果提供到移動(dòng)裝置。
[0012]本文公開(kāi)的實(shí)施例涉及一種裝置，所述裝置包括用于廣域定位的硬件和軟件。在一個(gè)實(shí)施例中，在服務(wù)器處接收到來(lái)自移動(dòng)裝置的基于關(guān)鍵幀的SLAM地圖的一或多個(gè)關(guān)鍵幀，并且定位所述一或多個(gè)關(guān)鍵幀。定位可以包括使來(lái)自所述一或多個(gè)接收到的關(guān)鍵幀的關(guān)鍵幀特征與服務(wù)器地圖的特征匹配。在一個(gè)實(shí)施例中，將定位結(jié)果提供到移動(dòng)裝置。
[0013]本文公開(kāi)的實(shí)施例可涉及一種非暫時(shí)性存儲(chǔ)媒體，其上存儲(chǔ)有指令，所述指令用于:在服務(wù)器處接收到來(lái)自移動(dòng)裝置的基于關(guān)鍵幀的SLAM地圖的一或多個(gè)關(guān)鍵幀，并且定位所述一或多個(gè)關(guān)鍵幀。定位可以包括使來(lái)自所述一或多個(gè)接收到的關(guān)鍵幀的關(guān)鍵幀特征與服務(wù)器地圖的特征匹配。在一個(gè)實(shí)施例中，將定位結(jié)果提供到移動(dòng)裝置。
[0014]根據(jù)附圖和【具體實(shí)施方式】，其它特征和優(yōu)點(diǎn)將顯而易見(jiàn)。
【附圖說(shuō)明】
[0015]圖1示出了一個(gè)實(shí)施例中的經(jīng)配置以執(zhí)行廣域定位的裝置的示范性框圖；
[0016]圖2示出了經(jīng)配置以執(zhí)行廣域定位的示范性服務(wù)器的框圖；
[0017]圖3示出了與廣域環(huán)境進(jìn)行的示范性客戶端-服務(wù)器交互的框圖；
[0018]圖4是示出了一種在移動(dòng)裝置處執(zhí)行的廣域定位的示范性方法的流程圖；
[0019]圖5是示出了一種在服務(wù)器處執(zhí)行的廣域定位的示范性方法的流程圖；和
[0020]圖6示出了執(zhí)行廣域定位的服務(wù)器與客戶端之間的通信的示范性流程圖。
【具體實(shí)施方式】
[0021]詞“示范性”或“實(shí)例”在本文中用來(lái)指“用作實(shí)例、例子或說(shuō)明”。本文中描述為“示范性”或描述為“實(shí)例”的任何方面或?qū)嵤├灰欢ㄒ忉尦蓛?yōu)于或勝于其它方面或?qū)嵤├?br>[0022]圖1是示出了一種可在其中實(shí)踐本發(fā)明的實(shí)施例的系統(tǒng)的框圖。所述系統(tǒng)可以是裝置100，裝置100可包含控制單元160?？刂茊卧?60可以包含通用處理器161、廣域定位(WAL)模塊167和存儲(chǔ)器164。為了清楚起見(jiàn)，WAL模塊167與處理器161和/或硬件162分離地示出，但是WAL模塊167可以基于軟件165和固件163中的指令而組合和/或?qū)崿F(xiàn)在處理器161和/或硬件162中。注意，控制單元160可以經(jīng)配置以實(shí)現(xiàn)如下面描述的執(zhí)行廣域定位的各方法。例如，控制單元160可以經(jīng)配置以實(shí)現(xiàn)下面圖4中描述的移動(dòng)裝置100的各功能。
[0023]裝置100還可以包含耦合到一或多個(gè)總線177或信號(hào)線的若干裝置傳感器，所述總線177或信號(hào)線進(jìn)一步耦合到處理器或者模塊中的至少一者。裝置100可以是:移動(dòng)裝置、無(wú)線裝置、蜂窩電話、個(gè)人數(shù)字助理、可佩戴的裝置(例如，眼鏡、手表、頭部佩戴物或類似的附接到身體的裝置)、機(jī)器人、移動(dòng)計(jì)算機(jī)、平板電腦、個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)或具有處理能力的任何類型的裝置。
[0024]在一個(gè)實(shí)施例中，裝置100是移動(dòng)/便攜式平臺(tái)。裝置100可以包含俘獲圖像的裝置，例如相機(jī)114，并且可選地可包含傳感器111，傳感器111可用于提供數(shù)據(jù)，裝置100用所述數(shù)據(jù)可以用于確定位置和定向(即姿勢(shì))。例如，傳感器可包含加速度計(jì)、陀螺儀、石英石傳感器、用作線性加速度計(jì)的微機(jī)電系統(tǒng)(MEMS)傳感器、電子羅盤(pán)、磁強(qiáng)計(jì)或其它類似的運(yùn)動(dòng)感測(cè)元件。裝置100還可以用正面或背面的相機(jī)(例如相機(jī)114)俘獲環(huán)境的圖像。裝置100還可包含用戶接口 150，用戶接口 150包含用于顯示增強(qiáng)現(xiàn)實(shí)圖像的裝置，例如顯示器112。用戶接口 150還可包括鍵盤(pán)、小鍵盤(pán)152或用戶通過(guò)其可以將信息輸入到裝置100中的其它輸入裝置。如果需要，用觸摸屏/傳感器將虛擬鍵盤(pán)集成到顯示器112中，可使鍵盤(pán)或小鍵盤(pán)152成為不必要。用戶接口 150還可包含麥克風(fēng)154和揚(yáng)聲器156，例如，如果裝置100是移動(dòng)平臺(tái)(例如蜂窩電話)的話。裝置100可包含其它元件，例如衛(wèi)星位置系統(tǒng)接收器、動(dòng)力裝置(例如電池)以及通常與便攜式電子設(shè)備和非便攜式電子設(shè)備相關(guān)聯(lián)的其它組件。
[0025]裝置100可用作移動(dòng)裝置或無(wú)線裝置，并且可通過(guò)穿過(guò)無(wú)線網(wǎng)絡(luò)的一或多個(gè)無(wú)線通信鏈路進(jìn)行通信，所述一或多個(gè)無(wú)線通信鏈路基于任何合適的無(wú)線通信技術(shù)或以其它方式支持任何合適的無(wú)線通信技術(shù)。例如，在某些方面中，裝置100可以是客戶端或服務(wù)器，并且可與無(wú)線網(wǎng)絡(luò)相關(guān)聯(lián)。在一些方面中，無(wú)線網(wǎng)絡(luò)可包括人體區(qū)域網(wǎng)絡(luò)或個(gè)人區(qū)域網(wǎng)絡(luò)(例如超寬帶網(wǎng)絡(luò))。在一些方面中，網(wǎng)絡(luò)可以包括局域網(wǎng)或廣域網(wǎng)。無(wú)線裝置可支持或以其它方式使用各種無(wú)線通信技術(shù)、協(xié)議或標(biāo)準(zhǔn)(例如3G、LTE、高級(jí)LTE、4G、CDMA, TDMA,OFDM、OFDMA、WiMAX和W1-Fi)中的一或多者。類似地，無(wú)線裝置可支持或以其它方式使用各種相應(yīng)的調(diào)制或多路復(fù)用方案中的一或多者。移動(dòng)無(wú)線裝置可與服務(wù)器、其它移動(dòng)裝置、蜂窩電話、其它有線和無(wú)線計(jì)算機(jī)、互聯(lián)網(wǎng)網(wǎng)站等進(jìn)行無(wú)線通信。
[0026]如上所述，裝置100可以是便攜式電子裝置(例如智能電話、專用的增強(qiáng)現(xiàn)實(shí)(AR)裝置、游戲裝置或具有AR處理和顯示能力的其它裝置)。本文描述的實(shí)現(xiàn)AR系統(tǒng)的裝置可用于各種環(huán)境(例如購(gòu)物中心、街上、辦公室、家里或用戶可使用他們的裝置的任何地方)。用戶可以在各種情形下與他們的裝置100的多個(gè)特征通過(guò)接口相聯(lián)系。在AR環(huán)境下，用戶可使用他們的裝置，通過(guò)他們的裝置的顯示器來(lái)查看現(xiàn)實(shí)世界的表示。用戶可通過(guò)使用他們的裝置的相機(jī)與他們的允許AR的裝置交互，以接收現(xiàn)實(shí)世界的圖像/視頻以及以一方式處理圖像