本公開一般涉及影像捕捉和處理，更具體涉及使用捕捉的影像的機(jī)器視覺。

背景技術(shù)：

機(jī)器視覺技術(shù)，諸如同時(shí)定位和映射(SLAM)、增強(qiáng)現(xiàn)實(shí)(AR)以及虛擬現(xiàn)實(shí)(VR)，通常依賴于通過對(duì)設(shè)備所捕捉的本地環(huán)境的影像的分析而進(jìn)行的對(duì)設(shè)備本地環(huán)境內(nèi)的對(duì)象的識(shí)別。這樣的技術(shù)的效率可以通過識(shí)別設(shè)備的位置而得到增強(qiáng)。但是，用于定位設(shè)備的傳統(tǒng)技術(shù)通常不具有足夠的分辨率來增強(qiáng)對(duì)象識(shí)別。進(jìn)一步，用來識(shí)別設(shè)備的位置的時(shí)間量限制了位置信息的效用。

附圖說明

通過參考附圖，本領(lǐng)域技術(shù)人員可以更好地理解本公開并使得許多特征和優(yōu)點(diǎn)變得顯然。不同圖中相同附圖標(biāo)記的使用指示相似或相同的項(xiàng)目。

圖1是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明被配置用于通過使用非圖像傳感器數(shù)據(jù)來估計(jì)姿態(tài)并使用圖像傳感器數(shù)據(jù)來改善姿態(tài)而確定電子設(shè)備在本地環(huán)境中的相對(duì)姿態(tài)的電子設(shè)備的圖。

圖2是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明在自由參照架構(gòu)中基于對(duì)圖1的電子設(shè)備的姿態(tài)跟蹤來進(jìn)行改善姿態(tài)的調(diào)整的圖。

圖3是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明用于識(shí)別圖1的電子設(shè)備的姿態(tài)的系統(tǒng)的圖。

圖4是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明用于從捕捉的本地環(huán)境的影像來確定空間特征數(shù)據(jù)的電子設(shè)備的處理系統(tǒng)的框圖。

圖5是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明基于圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定電子設(shè)備在本地環(huán)境中的姿態(tài)的電子設(shè)備的操作的流程圖。

圖6是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明平衡在圖1的電子設(shè)備處的定位和運(yùn)動(dòng)估計(jì)的資源指派的圖。

圖7是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明平衡用于在圖1的電子設(shè)備處的定位和運(yùn)動(dòng)估計(jì)的資源指派的方法的流程圖。

圖8是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明具有隱私設(shè)定信息以限制對(duì)該特征描述符的訪問的特征描述符的框圖。

圖9是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明基于隱私設(shè)定而限制對(duì)特征描述符的訪問的方法的流程圖。

具體實(shí)施方式

下面的描述旨在通過提供涉及基于電子設(shè)備的本地環(huán)境中的對(duì)象的基于圖像的識(shí)別來進(jìn)行電子設(shè)備的相對(duì)方位或相對(duì)取向的確定的多個(gè)具體實(shí)施例以及細(xì)節(jié)來傳遞對(duì)本公開的透徹的理解。但是，要理解的是，本公開不限于這些僅僅為示例的具體實(shí)施例和細(xì)節(jié)，本公開的范圍因此旨在僅由所附權(quán)利要求書及其等價(jià)物來限定。進(jìn)一步要理解的是，普通技術(shù)人員根據(jù)已知系統(tǒng)和方法將認(rèn)識(shí)到本公開的使用，在任意數(shù)量的實(shí)施例中用于其想要的目的和利益，取決于具體設(shè)計(jì)及其他需求。

圖1-9圖示說明了各種技術(shù)用于確定電子設(shè)備在本地環(huán)境內(nèi)的姿態(tài)，由此支持基于位置的功能，諸如增強(qiáng)現(xiàn)實(shí)(AR)功能、視覺測(cè)程或其他同時(shí)定位和映射(SLAM)功能等。術(shù)語“姿態(tài)”這里用來指代方位(也被稱為位置)和取向(也被稱為視點(diǎn))之一或二者。在一些實(shí)施例中，電子設(shè)備包括一個(gè)或多個(gè)成像相機(jī)。在設(shè)備處的重置事件之后，電子設(shè)備基于諸如全球定位系統(tǒng)(GPS)數(shù)據(jù)、蜂窩塔三角測(cè)量信息、無線網(wǎng)絡(luò)地址位置數(shù)據(jù)等的非視覺位置數(shù)據(jù)(也就是，以非視覺的方式指示位置的數(shù)據(jù))來識(shí)別設(shè)備的姿態(tài)的估計(jì)。如這里所使用的，重置事件是在設(shè)備處使得設(shè)備放置或返回到指定初始起動(dòng)狀態(tài)的事件，且可以包括設(shè)備的啟動(dòng)、設(shè)備的硬重置、設(shè)備的軟重置等。電子設(shè)備的一個(gè)或多個(gè)成像相機(jī)可以被用于捕捉電子設(shè)備的本地環(huán)境的影像，且該影像被用于改善估計(jì)的姿態(tài)以識(shí)別電子設(shè)備的改善的姿態(tài)。因?yàn)楦纳频淖藨B(tài)是基于非視覺和視覺位置數(shù)據(jù)來識(shí)別的，改善的姿態(tài)可以相對(duì)快速地被識(shí)別。進(jìn)一步，改善的姿態(tài)可以被用于識(shí)別附加的影像信息，諸如環(huán)境特征，其可以被用于增強(qiáng)電子設(shè)備的基于位置的功能。例如，改善的姿態(tài)可以被用于識(shí)別電子設(shè)備的所在位置的已知特征，電子設(shè)備所使用的這些已知特征可被用于生成模擬已知特征的視覺網(wǎng)。視覺網(wǎng)可以被用于創(chuàng)建對(duì)電子設(shè)備的本地環(huán)境的模擬，允許用戶與模擬的本地環(huán)境交互。

在至少一個(gè)實(shí)施例中，為了改善估計(jì)的姿態(tài)，電子設(shè)備可以使用捕捉的影像來識(shí)別表示本地環(huán)境中的對(duì)象以及它們與電子設(shè)備的距離的空間特征。電子設(shè)備生成特征描述符集合來描述空間特征，且將所生成的集合與識(shí)別已知(例如，之前識(shí)別的)空間特征及其對(duì)應(yīng)位置的所存儲(chǔ)的特征描述符的子集進(jìn)行比較。響應(yīng)于將所生成的特征描述符的集合與一個(gè)或多個(gè)所存儲(chǔ)的特征描述符相匹配，電子設(shè)備基于在相匹配的所存儲(chǔ)的描述符中識(shí)別的位置信息來改善其估計(jì)的位置。在至少一個(gè)實(shí)施例中，所存儲(chǔ)的描述符的子集基于估計(jì)的位置而被識(shí)別，由此加速匹配過程。

與匹配所生成的描述符的集合同時(shí)，電子設(shè)備可以在任意或“自由”參照架構(gòu)(有時(shí)這里被稱為“自由空間”)中跟蹤其姿態(tài)的變化(例如，其位置、視點(diǎn)或二者的變化)。一旦電子設(shè)備已經(jīng)基于生成的描述符的集合而識(shí)別出改善的姿態(tài)，其可以基于自由參照架構(gòu)中的姿態(tài)變化而調(diào)整改善的方位以便識(shí)別電子設(shè)備的當(dāng)前的改善姿態(tài)。電子設(shè)備由此本地化其參照架構(gòu)，允許增強(qiáng)的基于位置的功能，諸如基于電子設(shè)備的姿態(tài)，電子設(shè)備所捕捉的影像的顯示中的附加信息的圖形覆蓋。

圖1根據(jù)本公開的至少一個(gè)實(shí)施例圖示說明了電子設(shè)備100，被配置用于使用圖像和非圖像傳感器數(shù)據(jù)來支持基于位置的功能，諸如SLAM或AR。電子設(shè)備100可以包括用戶便攜移動(dòng)設(shè)備，諸如平板計(jì)算機(jī)、具有計(jì)算能力的蜂窩電話(例如，“智能電話”)、筆記本計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、游戲系統(tǒng)遙控器、電視遙控器等。在其他實(shí)施例中，電子設(shè)備100可以包括另一類型的移動(dòng)設(shè)備，諸如汽車、遙控?zé)o人機(jī)、或其他空運(yùn)設(shè)備等。為了易于說明，電子設(shè)備100通常在此以移動(dòng)設(shè)備的示例場(chǎng)境來描述，諸如平板計(jì)算機(jī)或智能電話；但是，電子設(shè)備100不限于這些示例實(shí)施方式。

在描繪的示例中，電子設(shè)備100包括殼體102，殼體102具有表面104，與另一表面106相對(duì)。在示例的所描繪的薄矩形方塊形狀因數(shù)中，表面104和106大致平行且殼體102進(jìn)一步包括在表面104和表面106之間的四個(gè)側(cè)表面(頂、底、左、和右)。殼體102可以用許多其他形狀因數(shù)來實(shí)現(xiàn)，且表面104和106可以具有非平行的取向。對(duì)于圖示的平板實(shí)施方式，電子設(shè)備100包括設(shè)置在表面106處的顯示器108，用于呈現(xiàn)可視信息給用戶110。因此，為了易于參考，表面106在此被稱為“面向前”表面，而表面104在此被稱為“面向用戶”表面，作為電子設(shè)備100相對(duì)于用戶110的這個(gè)示例取向的反射，盡管這些表面的取向不受這些相對(duì)名稱的限制。

電子設(shè)備100包括多個(gè)傳感器以獲得關(guān)于電子設(shè)備100的本地環(huán)境112的信息。電子設(shè)備100經(jīng)由設(shè)置在面向前的表面106的成像相機(jī)114和116和深度傳感器120以及設(shè)置在面向用戶表面104的成像相機(jī)118獲得用于本地環(huán)境112的視覺信息(影像)。在一個(gè)實(shí)施例中，成像相機(jī)114被實(shí)現(xiàn)為具有魚眼鏡頭或其他廣角鏡頭的廣角成像相機(jī)以提供面向表面106的本地環(huán)境112的更寬視角。成像相機(jī)116被實(shí)現(xiàn)為具有典型視角鏡頭的窄角成像相機(jī)以提供面向表面106的本地環(huán)境112的更窄視角。因此，成像相機(jī)114和成像相機(jī)116在此也被分別稱為“廣角成像相機(jī)114”和“窄角成像相機(jī)116”。如下面更詳細(xì)所述，廣角成像相機(jī)114和窄角成像相機(jī)116可以在面向前的表面106上定位和取向，使得它們的視野重疊開始于與電子設(shè)備100的指定距離，由此經(jīng)由圖像分析能夠進(jìn)行在重疊視野的區(qū)域中定位的本地環(huán)境112中對(duì)象的深度感測(cè)。成像相機(jī)118可以被用于捕捉用于面向表面104的本地環(huán)境112的圖像數(shù)據(jù)。進(jìn)一步，在一些實(shí)施例中，成像相機(jī)118被配置用于跟蹤頭部122的移動(dòng)或面部識(shí)別，并由此提供頭部跟蹤信息，其可被用于調(diào)整經(jīng)由顯示器108呈現(xiàn)的影像的視圖。

成像相機(jī)114、116和118中的一個(gè)或多個(gè)可以服務(wù)電子設(shè)備100除了支持方位和取向檢測(cè)之外的其他成像功能。為了說明，窄角成像相機(jī)116可以被配置或優(yōu)化用于用戶發(fā)起的圖像捕捉，諸如用于在智能電話和平板計(jì)算機(jī)中常見的消費(fèi)者水平的照片和視頻的捕捉，且成像相機(jī)118可以被配置或優(yōu)化用于也在智能電話和平板計(jì)算機(jī)中常見的視頻會(huì)議或視頻電話，而廣角成像相機(jī)114可以主要配置用于位置檢測(cè)用途的機(jī)器視覺圖像捕捉。該特定于機(jī)器視覺的配置可以針對(duì)光敏感度、鏡頭失真、幀率、全局快門性能、以及在關(guān)注例如像素分辨率的以用戶為中心的相機(jī)配置上從圖像傳感器更快數(shù)據(jù)讀出，來排列優(yōu)先級(jí)。

在一個(gè)實(shí)施例中，深度傳感器120使用調(diào)制光投影儀119來將調(diào)制光圖案從面向前的表面106投射到本地環(huán)境中，并且使用成像相機(jī)114和116之一或二者來在調(diào)制光圖案從本地環(huán)境112中的對(duì)象反射回時(shí)捕捉調(diào)制光圖案的反射。這些調(diào)制光圖案可以是空間調(diào)制的光圖案或時(shí)間調(diào)制的光圖案。所捕捉的調(diào)制光圖案的反射在此被稱為“深度影像”。深度傳感器120隨后可以基于對(duì)深度影像的分析而計(jì)算對(duì)象的深度，也就是，對(duì)象與電子設(shè)備100的距離。從深度傳感器120獲得的所產(chǎn)生的深度數(shù)據(jù)可以被用于校準(zhǔn)或以其他方式增強(qiáng)從對(duì)由成像相機(jī)114和116捕捉的圖像數(shù)據(jù)的圖像分析(例如，立體分析)而獲得的深度信息。替選地，來自深度傳感器120的深度數(shù)據(jù)可以代替從圖像分析而獲得的深度信息而使用。為了說明，多視圖分析通常更適合用于明亮照明條件以及對(duì)象相對(duì)遠(yuǎn)時(shí)，而基于調(diào)制光的深度感測(cè)更好地適用于較低照明條件或者當(dāng)觀測(cè)的對(duì)象相對(duì)接近(例如，在4-5米內(nèi))時(shí)。因此，當(dāng)電子設(shè)備100感測(cè)到其在戶外或者以其他方式處于相對(duì)較好照明條件時(shí)，電子設(shè)備100可以選擇使用多視圖分析來確定對(duì)象深度。相反地，當(dāng)電子設(shè)備100感測(cè)到其在室內(nèi)或以其他方式處于相對(duì)較差照明條件時(shí)，電子設(shè)備100可以切換到經(jīng)由深度傳感器120使用基于調(diào)制光的深度感測(cè)。

電子設(shè)備100還可以依賴于非圖像信息進(jìn)行姿態(tài)檢測(cè)。這個(gè)非圖像信息可以由電子設(shè)備100經(jīng)由諸如陀螺儀或環(huán)境光傳感器的一個(gè)或多個(gè)非圖像傳感器(圖1中未示出)來獲得。在至少一個(gè)實(shí)施例中，非圖像傳感器可以被用于識(shí)別用于所捕捉的影像的重力方向(即，重力相對(duì)于所捕捉的影像牽引的方向)。非圖像傳感器還可以包括位置傳感器，諸如GPS傳感器或者能夠用于識(shí)別電子設(shè)備100的位置的其他傳感器，諸如一個(gè)或多個(gè)無線無線電、蜂窩無線電等。

非圖像傳感器還可以包括用戶接口部件，諸如小鍵盤(例如觸摸屏或鍵盤)、麥克風(fēng)、鼠標(biāo)等。表示電子設(shè)備100在給定時(shí)間點(diǎn)的狀態(tài)的非圖像傳感器信息被稱為電子設(shè)備用于該時(shí)間點(diǎn)的“當(dāng)前場(chǎng)境”。這個(gè)當(dāng)前場(chǎng)境可以包括顯式場(chǎng)境，諸如電子設(shè)備100的相對(duì)旋轉(zhuǎn)取向或在電子設(shè)備100上入射的來自本地環(huán)境112的環(huán)境光。當(dāng)前場(chǎng)境還可以包括隱式場(chǎng)境信息，諸如從日歷信息或時(shí)鐘信息推斷的信息，或者從用戶與電子設(shè)備100的交互推斷的信息。用戶的交互可以包括用戶觀測(cè)的過去行為(例如，用戶工作日通勤路徑和時(shí)間的確定)、用戶所進(jìn)行的近來的搜索查詢、對(duì)電子郵件、文本消息或其他用戶通信或用戶發(fā)起的操作的關(guān)鍵術(shù)語搜索或其他分析等。

操作中，電子設(shè)備100使用圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定電子設(shè)備100的姿態(tài)(例如位置)。在至少一個(gè)實(shí)施例中，電子設(shè)備100基于非圖像位置傳感器和信息(諸如GPS信息、蜂窩塔三角測(cè)量等)，來識(shí)別估計(jì)的姿態(tài)?？梢曰趶姆菆D像傳感器接收到的位置信息以及從與電子設(shè)備100相關(guān)聯(lián)的服務(wù)提供商接收到的信息的組合來識(shí)別估計(jì)的姿態(tài)。例如，非圖像傳感器數(shù)據(jù)可以記錄位置數(shù)據(jù)，諸如GPS數(shù)據(jù)、無線網(wǎng)絡(luò)地址數(shù)據(jù)、一個(gè)或多個(gè)蜂窩塔的信號(hào)強(qiáng)度數(shù)據(jù)、以及指示電子設(shè)備100的方位的其他數(shù)據(jù)。經(jīng)由網(wǎng)絡(luò)接口(未示出)或其他接口，電子設(shè)備100可以將位置數(shù)據(jù)傳送到服務(wù)提供商。作為響應(yīng)，服務(wù)提供商識(shí)別電子設(shè)備的估計(jì)位置并且將指示該位置的位置數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)接口提供給電子設(shè)備100。根據(jù)這個(gè)位置數(shù)據(jù)，電子設(shè)備100識(shí)別估計(jì)的姿態(tài)。估計(jì)的姿態(tài)可以在電子設(shè)備100上以多種格式中的任何一種來表示，諸如經(jīng)緯度、任意地圖系統(tǒng)中的坐標(biāo)等。

電子設(shè)備100基于在由成像相機(jī)114、116和118中的一個(gè)或多個(gè)捕捉的圖像數(shù)據(jù)中的空間特征的檢測(cè)來改善估計(jì)的姿態(tài)。為了圖示說明，在圖1的描繪示例中，本地環(huán)境112包括辦公樓的門廳，其包括三個(gè)拐角124、126和128、踢腳板130和電插座132。用戶110使設(shè)備100定位和取向以使得前向成像相機(jī)114和116分別捕捉廣角成像相機(jī)圖像數(shù)據(jù)134和窄角成像相機(jī)圖像數(shù)據(jù)136，包括門廳的這些空間特征。在這個(gè)示例中，深度傳感器120還捕捉深度數(shù)據(jù)138，其反映這些空間特征相對(duì)于電子設(shè)備100的當(dāng)前姿態(tài)的相對(duì)距離。進(jìn)而，面向用戶的成像相機(jī)118捕捉表示用于用戶110的頭部122的當(dāng)前姿態(tài)的頭部跟蹤數(shù)據(jù)140的圖像數(shù)據(jù)。非圖像傳感器數(shù)據(jù)142，諸如來自陀螺儀、磁力計(jì)、環(huán)境光傳感器、鍵盤、麥克風(fēng)等的讀數(shù)，也被電子設(shè)備100在其當(dāng)前姿態(tài)收集。

根據(jù)這個(gè)輸入數(shù)據(jù)，電子設(shè)備100可以確定其相對(duì)姿態(tài)而不用來自外部源的明確絕對(duì)定位信息。為了圖示說明，電子設(shè)備100可以執(zhí)行廣角成像相機(jī)圖像數(shù)據(jù)134和窄角成像相機(jī)圖像數(shù)據(jù)136的分析以確定電子設(shè)備100與拐角124、126、128之間的距離。替選地，從深度傳感器120獲得的深度數(shù)據(jù)138可以用來確定空間特征的距離。根據(jù)這些距離，電子設(shè)備100可以三角測(cè)量或以其他方式推斷其在由本地環(huán)境112所表示的辦公室中的相對(duì)方位。作為另一示例，電子設(shè)備100可以識(shí)別在圖像數(shù)據(jù)134和136的所捕捉的圖像的一個(gè)集合中呈現(xiàn)的空間特征、確定到這些空間特征的初始距離、然后跟蹤這些空間特征在后續(xù)所捕捉的影像中的方位變化和距離變化以確定電子設(shè)備100在自由參照架構(gòu)中的姿態(tài)變化。在這個(gè)方法中，諸如陀螺儀數(shù)據(jù)或加速度計(jì)數(shù)據(jù)的某些非圖像傳感器數(shù)據(jù)可以用來將一個(gè)圖像中觀察到的空間特征與后續(xù)圖像中觀察到的空間特征進(jìn)行相關(guān)。此外，如這里進(jìn)一步描述的，自由參照架構(gòu)中姿態(tài)的變化可以被用來調(diào)整電子設(shè)備100的改善姿態(tài)，由此識(shí)別設(shè)備的定位姿態(tài)。

電子設(shè)備100為在所捕捉的影像中識(shí)別的空間特征生成特征描述符。每個(gè)生成的特征描述符描述了取向、重力方向、規(guī)模、以及一個(gè)或多個(gè)所識(shí)別空間特征的其他方面。將所生成的特征描述符與所存儲(chǔ)的描述符(出于描述的目的而被稱為“已知特征描述符”)集合進(jìn)行比較，每個(gè)已知特征描述符都識(shí)別了之前識(shí)別的空間特征及其對(duì)應(yīng)姿態(tài)。在至少一個(gè)實(shí)施例中，已知特征描述符中的每一個(gè)是之前已經(jīng)生成的描述符，且其姿態(tài)已被電子設(shè)備100或另一電子設(shè)備確定性地建立。已知特征描述符可以存儲(chǔ)在電子設(shè)備100上、遠(yuǎn)程服務(wù)器或其他存儲(chǔ)設(shè)備上、或者上述組合中。因此，所生成的特征描述符的比較可以在電子設(shè)備100上、在遠(yuǎn)程服務(wù)器或其他設(shè)備上、或在上述組合中執(zhí)行。

在至少一個(gè)實(shí)施例中，通過比較所生成特征描述符的每個(gè)方面(例如，對(duì)應(yīng)特征的取向、對(duì)應(yīng)特征的規(guī)模等)與已知特征描述符的對(duì)應(yīng)方面進(jìn)行比較并且確定指示比較特征之間的差異的誤差值而將生成的特征描述符與已知特征描述符進(jìn)行比較。因此，例如，如果所生成特征描述符中的特征的取向由矢量A識(shí)別，而已知特征描述符中的特征的取向由矢量B識(shí)別，則電子設(shè)備100可以通過計(jì)算矢量A和B之間的差來識(shí)別特征描述符的取向方面的誤差值。根據(jù)諸如最小平方技術(shù)的指定的統(tǒng)計(jì)技術(shù)，誤差值可以被組合，以識(shí)別正在被比較的每個(gè)已知描述描述符的組合誤差值，且匹配的已知特征描述符識(shí)別為具有最小組合誤差值的已知特征描述符。

已知特征描述符中的每一個(gè)包括一個(gè)或多個(gè)字段，用于識(shí)別對(duì)應(yīng)空間特征的姿態(tài)(例如，取向或視點(diǎn))。因此，已知特征描述符可以包括姿態(tài)信息，所述姿態(tài)信息在指定分辨率(例如1cm)內(nèi)指示空間特征在指定坐標(biāo)系(例如表示地球的地理坐標(biāo)系)內(nèi)的位置、空間特征的視點(diǎn)的取向、視點(diǎn)與特征的距離等。所生成的特征描述符與已知特征描述符進(jìn)行比較以識(shí)別一個(gè)或多個(gè)匹配的已知特征描述符。匹配的已知特征描述符隨后用于識(shí)別電子設(shè)備100的姿態(tài)。

在一些場(chǎng)景中，匹配過程將識(shí)別出多個(gè)已知特征描述符，其匹配對(duì)應(yīng)的所生成的特征描述符，從而指示在電子設(shè)備100的本地環(huán)境中存在多個(gè)之前已被識(shí)別出的特征。匹配已知特征描述符的對(duì)應(yīng)姿態(tài)可能變化，指示電子設(shè)備不處于匹配已知特征描述符所指示的特定的一個(gè)姿態(tài)。因此，電子設(shè)備100可通過使用常規(guī)內(nèi)插技術(shù)在由匹配已知特征描述符所指示的姿態(tài)之間插入其姿態(tài)以改善其估計(jì)姿態(tài)。

在至少一個(gè)實(shí)施例中，所生成的特征描述符不與所有可用已知特征描述符進(jìn)行比較，而是與基于電子設(shè)備100的估計(jì)的姿態(tài)而識(shí)別的可用已知特征描述的一個(gè)子集進(jìn)行比較。例如，該已知特征描述符的子集可以被識(shí)別為在與所生成的特征描述符之一的姿態(tài)的指定距離內(nèi)。這限制了用于匹配的已知特征描述符的數(shù)量，由此加速了匹配過程。

電子設(shè)備100接收基于匹配的已知特征描述符而識(shí)別的改善姿態(tài)，并且使用該姿態(tài)來啟用或增強(qiáng)其基于位置的功能。例如，姿態(tài)可以被用來識(shí)別表示已知接近改善姿態(tài)的空間特征的簡(jiǎn)化表示的網(wǎng)或圖像。網(wǎng)或圖像可以被饋送到在電子設(shè)備100上執(zhí)行的應(yīng)用以啟用增強(qiáng)現(xiàn)實(shí)或其他基于位置的功能。

在至少一個(gè)實(shí)施例中，與將所生成的特征描述符匹配到一個(gè)或多個(gè)已知特征描述符以識(shí)別改善姿態(tài)同時(shí)，電子設(shè)備可以跟蹤其自身姿態(tài)在自由參照架構(gòu)中的變化。一旦改善姿態(tài)被識(shí)別，電子設(shè)備100可以將跟蹤到的自由參照架構(gòu)中的變化變換為用于改善姿態(tài)的參照架構(gòu)。電子設(shè)備100可以由此在用于改善姿態(tài)的參照架構(gòu)中識(shí)別其當(dāng)前姿態(tài)，并且使用當(dāng)前姿態(tài)來啟用或增強(qiáng)其基于位置的功能。

圖2是根據(jù)本公開的至少一個(gè)實(shí)施例的圖示說明基于對(duì)電子設(shè)備100在自由參照架構(gòu)中的姿態(tài)跟蹤而調(diào)整改善的姿態(tài)的圖。特別是，圖2圖示說明了對(duì)應(yīng)于重置事件的電子設(shè)備100的姿態(tài)201，進(jìn)一步圖示說明了對(duì)應(yīng)于在姿態(tài)201之后的電子設(shè)備100的姿態(tài)序列的姿態(tài)202-205。還圖示說明了電子設(shè)備100所建模的自由參照架構(gòu)220和表示用于建立電子設(shè)備100的改善方位的已知特征描述符的集合中的姿態(tài)的參照架構(gòu)的被稱為“地理參照架構(gòu)”的參照架構(gòu)230。在至少一個(gè)實(shí)施例中，地理參照架構(gòu)是用于地球地理的參照架構(gòu)。為了簡(jiǎn)化描述，參照架構(gòu)220和230都被圖示說明和描述為二維參照架構(gòu)。但是，將理解，在其他實(shí)施例中，參照架構(gòu)220和230可以是三維參照架構(gòu)，或者更高維度的參照架構(gòu)，從而指示方位和取向二者，諸如6個(gè)自由度(DOF)的參照架構(gòu)。

在所描繪的示例中，響應(yīng)于重置事件，電子設(shè)備100在自由參照架構(gòu)220的原點(diǎn)放置點(diǎn)221，使得點(diǎn)221與電子設(shè)備100的姿態(tài)201相對(duì)應(yīng)。如這里所使用的，參照架構(gòu)的原點(diǎn)指的是周邊空間幾何的參考點(diǎn)，且由參照架構(gòu)的軸的相交而建立。隨著電子設(shè)備100移動(dòng)通過姿態(tài)202-205，電子設(shè)備100跟蹤方位的變化且基于這些變化來建立點(diǎn)222-225來分別與姿態(tài)202-205(即姿態(tài)202對(duì)應(yīng)于點(diǎn)222、姿態(tài)203對(duì)應(yīng)于點(diǎn)223、姿態(tài)204對(duì)應(yīng)于點(diǎn)224以及姿態(tài)205對(duì)應(yīng)于點(diǎn)225)相對(duì)應(yīng)。

與跟蹤變化和建立點(diǎn)201-205同時(shí)，電子設(shè)備100利用諸如GPS數(shù)據(jù)的位置數(shù)據(jù)，來估計(jì)電子設(shè)備在全局參照架構(gòu)230中的姿態(tài)。估計(jì)的姿態(tài)由點(diǎn)238來表示。使用所捕捉的影像，電子設(shè)備100改善之前所描述的估計(jì)的姿態(tài)。改善的姿態(tài)對(duì)應(yīng)于全局參照架構(gòu)230中的點(diǎn)231。由此，因?yàn)楦纳频淖藨B(tài)對(duì)應(yīng)于電子設(shè)備100的姿態(tài)，點(diǎn)231對(duì)應(yīng)于自由參照架構(gòu)220中的點(diǎn)221。因此，一旦電子設(shè)備100識(shí)別了點(diǎn)231，其使用常規(guī)變換技術(shù)將自由參照架構(gòu)220中的點(diǎn)221-225變換為全局參照架構(gòu)220中的點(diǎn)231-235。電子設(shè)備100因此識(shí)別全局參照架構(gòu)220中對(duì)應(yīng)于點(diǎn)232-235的姿態(tài)，而不需要對(duì)于每個(gè)姿態(tài)的影像特征進(jìn)行匹配。這允許電子設(shè)備100的當(dāng)前姿態(tài)以及重置事件和當(dāng)前姿態(tài)之間的任何中間姿態(tài)，被更快速地識(shí)別，由此提高基于位置的功能。

圖3是根據(jù)本公開的至少一個(gè)實(shí)施例圖示說明用于識(shí)別圖1的電子設(shè)備100的姿態(tài)(例如位置或視點(diǎn))的系統(tǒng)300的圖。系統(tǒng)300包括電子設(shè)備100、網(wǎng)絡(luò)310、和影像服務(wù)器315。網(wǎng)絡(luò)310可以是局域網(wǎng)、諸如蜂窩網(wǎng)絡(luò)或互聯(lián)網(wǎng)的廣域網(wǎng)、或者其任意組合。

影像服務(wù)器315包括一個(gè)或多個(gè)服務(wù)器設(shè)備和對(duì)應(yīng)的存儲(chǔ)設(shè)備，其一起被配置為存儲(chǔ)和搜索已知特征描述符325。已知特征描述符325中的每一個(gè)識(shí)別至少一個(gè)空間特征和相對(duì)于該至少一個(gè)空間特征的視點(diǎn)的對(duì)應(yīng)姿態(tài)。例如，在圖示說明的實(shí)施例中，已知特征描述符325包括已知特征描述符360，其包括識(shí)別對(duì)應(yīng)特征的規(guī)模、取向、重力方向、和其他描述性信息的特征描述符361，以及指示當(dāng)相機(jī)捕捉用來生成特征描述符361的影像時(shí)相機(jī)的方位和取向的相機(jī)姿態(tài)362。已知特征描述符325存儲(chǔ)在數(shù)據(jù)庫中且由空間特征和由姿態(tài)二者進(jìn)行索引，以便基于包括空間特征類型、姿態(tài)、及其任意組合的多個(gè)標(biāo)準(zhǔn)中的任何一個(gè)來相對(duì)快速搜索。

操作中，響應(yīng)于重置事件，電子設(shè)備100基于諸如GPS數(shù)據(jù)、無線或有線網(wǎng)絡(luò)地址、蜂窩塔三角測(cè)量等位置數(shù)據(jù)來估計(jì)其姿態(tài)，并且將估計(jì)的姿態(tài)經(jīng)由網(wǎng)絡(luò)310傳送到影像服務(wù)器315?；诠烙?jì)的姿態(tài)，影像服務(wù)器315從已知特征描述符325識(shí)別特征描述符子集327。例如，在一個(gè)實(shí)施例中，影像服務(wù)器315選擇在估計(jì)姿態(tài)的閾值距離內(nèi)的已知特征描述符325的所有描述符以包括在特征描述符子集327中。

影像服務(wù)器315提供特征描述符子集327給電子設(shè)備100，其比較特征描述符子集327與基于在電子設(shè)備100的一個(gè)或多個(gè)相機(jī)處捕捉的影像而生成的特征描述符。響應(yīng)于定位與特征描述符子集中一個(gè)或多個(gè)的匹配，電子設(shè)備100基于這一個(gè)或多個(gè)匹配而識(shí)別其姿態(tài)。例如，電子設(shè)備100可以在與特征描述符子集327中和基于捕捉的影像而生成的一個(gè)或多個(gè)特征描述符相匹配的那些特征描述符相對(duì)應(yīng)的姿態(tài)之間進(jìn)行內(nèi)插。電子設(shè)備100由此生成改善的姿態(tài)。在至少一個(gè)實(shí)施例中，電子設(shè)備100根據(jù)自從重置事件以來跟蹤的姿態(tài)的變化來調(diào)整改善的姿態(tài)，如關(guān)于圖2所述。

電子設(shè)備100將改善的姿態(tài)傳送到影像服務(wù)器315。作為響應(yīng)，影像服務(wù)器315在特征描述符子集327中搜索特征描述符328，特征描述符328表示用于在改善姿態(tài)的指定距離和取向內(nèi)的空間特征的特征描述符。影像服務(wù)器315將特征描述符328傳送到電子設(shè)備100，其在其基于位置的功能中利用特征描述符328。例如，在一個(gè)實(shí)施例中，電子設(shè)備100使用特征描述符328來生成與接近電子設(shè)備100的姿態(tài)的空間特征相對(duì)應(yīng)的虛擬網(wǎng)。虛擬網(wǎng)可以被在電子設(shè)備100上執(zhí)行的應(yīng)用所利用來向用戶提供與其直接環(huán)境的虛擬表現(xiàn)相交互的體驗(yàn)。

在至少一個(gè)實(shí)施例中，電子設(shè)備100可以保持閾值數(shù)量的其最近姿態(tài)的特征歷史以及在全局參照架構(gòu)中的對(duì)應(yīng)特征描述符。響應(yīng)于導(dǎo)致電子設(shè)備100失去其在全局參照架構(gòu)中的姿態(tài)的事件(例如電子設(shè)備100被放在口袋中以及從口袋中取出或者快速被搖動(dòng))，電子設(shè)備100可以捕捉影像、生成對(duì)應(yīng)描述符、以及使用所生成的特征描述符來搜索特征歷史。響應(yīng)于匹配，電子設(shè)備100可以基于與特征歷史中的匹配描述符相對(duì)應(yīng)的姿態(tài)而識(shí)別其當(dāng)前姿態(tài)。特征歷史由此允許電子設(shè)備100相對(duì)快速地再次建立其方位。如果特征歷史不包括匹配描述符，則電子設(shè)備可以生成估計(jì)的姿態(tài)并使用已知特征描述符325來改善該姿態(tài)，如上所述。

圖4根據(jù)本公開的至少一個(gè)實(shí)施例圖示說明由電子設(shè)備100實(shí)現(xiàn)的示例處理系統(tǒng)400。處理系統(tǒng)400包括廣角成像相機(jī)114、窄角成像相機(jī)116、面向用戶的成像相機(jī)118、和深度傳感器120。處理系統(tǒng)400進(jìn)一步包括2D處理器402、應(yīng)用處理器404、顯示器控制器406、電源408、非圖像傳感器集合410和用戶接口412。

在諸如平板計(jì)算機(jī)或智能電話實(shí)施方式的便攜用戶設(shè)備實(shí)施方式中，電源408可以包括電池、太陽能陣列、或者用于向電子設(shè)備的電組件供電的其他便攜電源。在非便攜設(shè)備實(shí)施方式中，電源408可以包括電轉(zhuǎn)換器，用于將外部電壓供應(yīng)轉(zhuǎn)換為適合于電子設(shè)備100的組件的電壓水平。用戶接口412包括一個(gè)或多個(gè)組件，由用戶操作來提供對(duì)電子設(shè)備100的用戶輸入，諸如觸摸屏414、鼠標(biāo)、鍵盤、麥克風(fēng)416、各種按鈕或開關(guān)、以及各種觸覺致動(dòng)器418。非圖像傳感器的集合410可以包括用于提供電子設(shè)備100的非圖像場(chǎng)境或狀態(tài)的各種傳感器中的任何一個(gè)。這樣的傳感器的示例包括陀螺儀420、磁力計(jì)422、加速度計(jì)424、以及環(huán)境光傳感器426。非圖像傳感器進(jìn)一步可以包括各種基于無線接收或發(fā)射的傳感器(諸如GPS接收機(jī)428)、無線局域網(wǎng)(WLAN)接口430、蜂窩接口432、點(diǎn)對(duì)點(diǎn)(P2P)無線接口434、以及近場(chǎng)通信(NFC)接口436。非圖像傳感器還可以包括用戶接口412的用戶輸入組件，諸如觸摸屏414或麥克風(fēng)416。

電子設(shè)備100進(jìn)一步可以訪問存儲(chǔ)結(jié)合其圖像處理、位置映射和位置利用處理而使用的信息或元數(shù)據(jù)的各種數(shù)據(jù)儲(chǔ)存器。這些數(shù)據(jù)儲(chǔ)存器可以包括2D特征數(shù)據(jù)庫438以存儲(chǔ)用于從由電子設(shè)備100的成像相機(jī)捕捉的影像中識(shí)別的2D空間特征的元數(shù)據(jù)，并且包括3D空間特征數(shù)據(jù)440以存儲(chǔ)用于從使用分析或基于調(diào)制光的深度感測(cè)對(duì)2D空間特征的深度感測(cè)中識(shí)別的3D特征的元數(shù)據(jù)。為2D和3D特征所存儲(chǔ)的元數(shù)據(jù)可以包括，例如，用于同步目的的時(shí)間戳、識(shí)別空間特征的圖像的圖像標(biāo)識(shí)符、使用的捕捉設(shè)備標(biāo)識(shí)符、校準(zhǔn)信息等。這些元數(shù)據(jù)進(jìn)一步可以包括與包含所識(shí)別空間特征的圖像同期的非圖像傳感器數(shù)據(jù)，諸如GPS、wifi、或者其他無線電信息、日時(shí)間信息、天氣狀況信息(其影響照明)等。數(shù)據(jù)儲(chǔ)存器進(jìn)一步可以包括SLAM/AR數(shù)據(jù)儲(chǔ)存器442，其存儲(chǔ)基于SLAM的信息，諸如用于已經(jīng)由電子設(shè)備100開拓的本地環(huán)境112(圖1)的區(qū)域的映射信息，或者AR信息，諸如本地環(huán)境112中感興趣的對(duì)象的相對(duì)位置的基于CAD的表示。數(shù)據(jù)儲(chǔ)存器438和440還可以存儲(chǔ)已知特征描述符和基于在電子設(shè)備100上捕捉的影像而生成的特征描述符。數(shù)據(jù)儲(chǔ)存器可以對(duì)于電子設(shè)備100而言是本地的，諸如在硬盤驅(qū)動(dòng)、固態(tài)存儲(chǔ)器、或可移動(dòng)存儲(chǔ)介質(zhì)(未示出)上，數(shù)據(jù)儲(chǔ)存器可以遠(yuǎn)程定位以及可以經(jīng)由例如電子設(shè)備100的一個(gè)或多個(gè)無線接口來訪問，或者數(shù)據(jù)儲(chǔ)存器可以實(shí)現(xiàn)為本地和遠(yuǎn)程數(shù)據(jù)儲(chǔ)存器的組合。

在描繪的實(shí)施方式中，處理系統(tǒng)400利用兩個(gè)處理器：2D處理器402，被配置為從由電子設(shè)備100的成像相機(jī)所捕捉的可見光影像和深度傳感器影像中有效識(shí)別2D空間特征；以及應(yīng)用處理器404，被配置為從2D空間特征中有效識(shí)別3D空間特征并且有效提供基于位置的功能，諸如視覺測(cè)距或其他SLAM功能、AR功能等。但是，在其他實(shí)施例中，所描述的2D處理器402和應(yīng)用處理器404的功能可以在單一處理器中實(shí)現(xiàn)，或者多于兩個(gè)的處理器一起可以實(shí)現(xiàn)所述的功能。2D處理器402可以被實(shí)現(xiàn)為例如單核或多核圖形處理單元(GPU)且應(yīng)用處理器404可以被實(shí)現(xiàn)為例如GPU或單核或多核中央處理單元(CPU)。

2D處理器402耦合到廣角成像相機(jī)114、窄角成像相機(jī)116和面向用戶的成像相機(jī)118，以便在一個(gè)或多個(gè)像素行緩沖區(qū)444中接收由成像相機(jī)所捕捉的圖像數(shù)據(jù)。在一個(gè)實(shí)施例中，2D處理器402包括用于每個(gè)成像相機(jī)的接口和像素行緩沖區(qū)444以便能夠并行地從每個(gè)成像相機(jī)接收?qǐng)D像數(shù)據(jù)。在另一實(shí)施例中，2D處理器402包括單個(gè)接口和像素行緩沖區(qū)444，且因此2D處理器402在成像相機(jī)之間多路復(fù)用。像素行緩沖區(qū)444可以包括足夠來自由對(duì)應(yīng)成像相機(jī)捕捉的圖像的一行或多行像素(直到全幀緩沖區(qū))的存儲(chǔ)。為了圖示說明，一個(gè)或多個(gè)成像相機(jī)可以包括卷簾快門成像相機(jī)，由此成像相機(jī)的圖像傳感器一次掃描一行，或一次掃描幾行。當(dāng)掃描每行或幾行時(shí)，其像素?cái)?shù)據(jù)被臨時(shí)緩沖到像素行緩沖區(qū)444。緩沖的像素行隨后可以轉(zhuǎn)移到更大的存儲(chǔ)區(qū)域，諸如用于全幀處理的獨(dú)立幀緩沖區(qū)(未示出)。

2D處理器402被配置為處理來自成像相機(jī)的所捕捉的圖像數(shù)據(jù)以識(shí)別在圖像數(shù)據(jù)中存在的2D空間特征。在一些實(shí)施例中，2D處理器402實(shí)現(xiàn)具體為此任務(wù)所設(shè)計(jì)的硬件配置。在其他實(shí)施例中，2D處理器402包括更一般的處理器構(gòu)造，其通過執(zhí)行被配置為實(shí)現(xiàn)2D空間特征檢測(cè)過程的軟件程序而提供2D空間特征檢測(cè)。2D處理器402還可以實(shí)現(xiàn)為此目的的專用硬件和專用軟件的組合。如上所述，各種公知2D空間特征檢測(cè)或提取算法中的任何一個(gè)可以由2D處理器402來實(shí)現(xiàn)。2D處理器402存儲(chǔ)屬于所識(shí)別的2D空間特征的元數(shù)據(jù)和其他信息到2D特征數(shù)據(jù)庫438。

在一個(gè)實(shí)施例中，2D處理器402被配置為分析由面向用戶的成像相機(jī)118捕捉的影像以使用各種公知頭部跟蹤算法中的任何一個(gè)來跟蹤用戶頭部的當(dāng)前姿態(tài)(例如當(dāng)前位置)。在所描繪的示例中，2D處理器402提供頭部跟蹤信息給顯示器控制器406，其進(jìn)而被配置為調(diào)整顯示的影像以對(duì)用戶頭部姿態(tài)的變化所反映出來的用戶視角的變化做出反應(yīng)。在另一實(shí)施例中，2D處理器402提供頭部跟蹤信息給應(yīng)用處理器404，其進(jìn)而在將顯示器數(shù)據(jù)提供到顯示器控制器406之前修改顯示器數(shù)據(jù)以反映更新的視角。

2D處理器402還充當(dāng)控制器來操作調(diào)制光投影儀119將其用于確定在本地環(huán)境112的所捕捉的影像中識(shí)別的空間特征的深度數(shù)據(jù)。在特定條件下，諸如相對(duì)明亮設(shè)定(使用環(huán)境光傳感器426所感測(cè)到的)，2D處理器402可以使用由廣角成像相機(jī)114和窄角成像相機(jī)116同時(shí)捕捉的影像的圖像分析以確定在所捕捉的影像中呈現(xiàn)的空間特征的深度數(shù)據(jù)。在其他條件下，諸如相對(duì)低照明條件下，2D處理器402可以切換到使用深度傳感器120(圖1)來確定該深度數(shù)據(jù)。在其他實(shí)施例中，處理系統(tǒng)400與2D處理器402相獨(dú)立地實(shí)現(xiàn)控制器(未示出)來控制調(diào)制光投影儀119的操作。

如上所述，深度傳感器120依賴于調(diào)制光投影儀119在本地環(huán)境中的調(diào)制光圖案的投影以及一個(gè)或多個(gè)成像相機(jī)對(duì)調(diào)制光圖案的反射的捕捉。因此，2D處理器402可以使用一個(gè)或兩個(gè)前向成像相機(jī)114和116來捕捉調(diào)制光圖案的投影的反射并且處理反射的調(diào)制光圖案的得到的影像以確定在反射的調(diào)制光圖案中表現(xiàn)的對(duì)應(yīng)空間特征的深度。為了使深度讀數(shù)與對(duì)應(yīng)2D空間特征匹配，2D處理器402可以針對(duì)深度影像執(zhí)行2D空間特征分析以確定2D空間特征及其相對(duì)深度，然后試圖將2D空間特征與在與捕捉反射的調(diào)制光影像相同或接近時(shí)間捕捉的可見光影像中識(shí)別的對(duì)應(yīng)空間特征相匹配。在另一實(shí)施例中，2D處理器402可以捕捉可見光圖像，并且此后快速控制調(diào)制光投影儀119以投射調(diào)制光圖案并捕捉反射的調(diào)制光圖像。2D處理器402隨后可以從反射的調(diào)制光圖像發(fā)展用于可見光圖像的深度映射，這是因?yàn)?，由于可見光圖像和反射的調(diào)制光圖像的同期捕捉，它們有效表現(xiàn)了具有處于相同坐標(biāo)的相同空間特征的相同場(chǎng)景。

應(yīng)用處理器404被配置為使用在2D特征數(shù)據(jù)儲(chǔ)存器438中表示的2D空間特征和使用來自非圖像傳感器集合410的非圖像傳感器信息來識(shí)別在所捕捉的影像中表示的空間特征。與2D處理器402一樣，應(yīng)用處理器404可以被配置為通過專用硬件配置、通過執(zhí)行配置用于該過程的軟件、或者專用硬件和軟件的組合來執(zhí)行該過程。用于所識(shí)別的3D空間特征的元數(shù)據(jù)和其他信息被存儲(chǔ)在3D特征數(shù)據(jù)儲(chǔ)存器440中。

應(yīng)用處理器404進(jìn)一步被配置為使用在3D特征數(shù)據(jù)儲(chǔ)存器440中表示的3D空間特征以及使用由非圖像傳感器數(shù)據(jù)所表示的電子設(shè)備100的當(dāng)前場(chǎng)境來提供SLAM、AR、VR以及其他基于位置的功能。當(dāng)前場(chǎng)境可以包括例如從用戶接口412或經(jīng)由用戶交互分析而獲得的明顯或隱含的用戶輸入。該功能可以包括基于使用3D空間特征和諸如來自陀螺儀420的3DoF讀數(shù)、使用加速度計(jì)424保持的推測(cè)航行法歷史、使用GPS接收機(jī)428確定或使用無線電遙測(cè)經(jīng)由蜂窩接口432確定的粗略絕對(duì)方位指示符等的各種位置相關(guān)非圖像傳感器數(shù)據(jù)的視覺測(cè)距過程而確定電子設(shè)備100的當(dāng)前相對(duì)姿態(tài)。類似地，應(yīng)用處理器404可以使用電子設(shè)備100的方位/取向的歷史和在這些方位/取向中觀察到的空間特征的歷史來創(chuàng)建本地環(huán)境112的映射。

應(yīng)用處理器404所提供的基于位置的功能進(jìn)一步可以包括AR相關(guān)或VR相關(guān)的功能，包括基于由應(yīng)用處理器404所確定的當(dāng)前姿態(tài)來識(shí)別和訪問來自SLAM/AR數(shù)據(jù)儲(chǔ)存器442的要被提供作為顯示器108上的圖形覆蓋的圖形信息。該圖形覆蓋可以與由成像相機(jī)在用于經(jīng)由顯示器控制器406而在顯示器108上顯示的當(dāng)前姿態(tài)所捕捉的影像相關(guān)聯(lián)地提供。顯示器控制器406操作為控制顯示器108(圖1)以顯示由從應(yīng)用處理器404接收到的顯示器數(shù)據(jù)所表示的影像。進(jìn)一步，在一些實(shí)施例中，顯示器控制器406可以從2D處理器402接收頭部跟蹤信息并且基于在接收到的頭部跟蹤信息中所表示的用戶頭部方位或眼睛方位來調(diào)整正在顯示的影像的視角。

在常規(guī)2D空間特征檢測(cè)應(yīng)用中，整個(gè)圖像被捕捉，并且隨后在GPU或其他處理器開始對(duì)圖像的空間特征提取之前在幀緩沖區(qū)中被緩沖。這個(gè)方法可以引入空間特征檢測(cè)的顯著延時(shí)或延遲，且因此引入了姿態(tài)檢測(cè)的顯著延時(shí)或延遲，其原因在于轉(zhuǎn)移圖像數(shù)據(jù)到幀緩沖區(qū)以準(zhǔn)備其被GPU訪問所招致的延遲。為了減小或消除該延遲，在一些實(shí)施例中，2D處理器402被配置為當(dāng)所捕捉的圖像數(shù)據(jù)從對(duì)應(yīng)成像相機(jī)被流送到2D處理器時(shí)執(zhí)行2D空間特征提取。當(dāng)像素行緩沖區(qū)444從成像相機(jī)接收一個(gè)或多個(gè)像素行的子集時(shí)，2D處理器402處理由緩沖的像素的子集所表示的圖像部分以識(shí)別在圖像部分中存在的2D空間特征。隨著被從圖像部分中識(shí)別出來，2D處理器402隨后可以將2D空間特征流送到2D特征數(shù)據(jù)儲(chǔ)存器438，或者直接流送到應(yīng)用處理器404的輸入。隨著圖像數(shù)據(jù)被流送進(jìn)來2D空間特征被識(shí)別，且隨著所識(shí)別的2D空間特征被識(shí)別而被流送到應(yīng)用處理器404，2D空間特征檢測(cè)過程和3D空間特征檢測(cè)過程可以相比于依賴于整個(gè)圖像分析的常規(guī)圖像處理技術(shù)，以更快速率進(jìn)行。

在至少一個(gè)實(shí)施例中，2D處理器402或應(yīng)用處理器404中的任何一個(gè)，或者兩個(gè)處理器相結(jié)合，可以根據(jù)這里描述的技術(shù)來識(shí)別電子設(shè)備的位置。例如，2D處理器402可以基于從非圖像傳感器410接收到的非可視位置數(shù)據(jù)來識(shí)別電子設(shè)備100的估計(jì)的姿態(tài)。進(jìn)一步，2D處理器402可以經(jīng)由成像相機(jī)114和116捕捉對(duì)于電子設(shè)備100而言是本地的影像，并且生成特征描述符集合，識(shí)別在影像中捕捉的本地特征。生成的特征描述符集合可以存儲(chǔ)在2D特征數(shù)據(jù)儲(chǔ)存器438中、3D特征數(shù)據(jù)儲(chǔ)存器440中、或者其組合中。2D處理器402可以比較生成的特征描述符集合與存儲(chǔ)在數(shù)據(jù)儲(chǔ)存器438和440中的已知特征描述符集合，并且基于描述符之間的任何識(shí)別的匹配，識(shí)別電子設(shè)備100的改善的姿態(tài)?；诟纳频淖藨B(tài)，應(yīng)用處理器404可以在SLAM/AR數(shù)據(jù)儲(chǔ)存器442上存儲(chǔ)表示電子設(shè)備100的本地環(huán)境的特征的數(shù)據(jù)，由此增強(qiáng)任何執(zhí)行應(yīng)用的基于位置的特征。

圖5圖示根據(jù)本公開的至少一個(gè)實(shí)施例的用于基于圖像傳感器數(shù)據(jù)和非圖像傳感器數(shù)據(jù)來確定電子設(shè)備在本地環(huán)境中的姿態(tài)的示例方法500。為了描述的目的，方法500被關(guān)于在圖1的電子設(shè)備100上的示例實(shí)施方式來描述。在塊502，電子設(shè)備100重置，通過循環(huán)電子設(shè)備100上的電力、經(jīng)由軟件重置等。在塊504，響應(yīng)于重置，電子設(shè)備100基于諸如GPS數(shù)據(jù)、蜂窩塔三角測(cè)量等的位置數(shù)據(jù)來估計(jì)其姿態(tài)。在塊506，電子設(shè)備在其定位使用其成像相機(jī)中的一個(gè)或多個(gè)來捕捉影像。在塊508，電子設(shè)備100識(shí)別捕捉的影像中的特征，諸如通過像素顏色變化所識(shí)別的拐角，并且生成用于識(shí)別的特征的描述符。

在塊510，電子設(shè)備100基于在塊504從位置數(shù)據(jù)中估計(jì)的姿態(tài)來識(shí)別描述從之前捕捉的影像(由電子設(shè)備100或其他成像捕捉設(shè)備所捕捉的)中識(shí)別出的特征的已知特征描述符的子集。在塊512，電子設(shè)備100將描述來自本地捕捉的影像的特征的特征描述符與在塊510中識(shí)別的已知特征描述符的子集中的描述符進(jìn)行比較，由此從子集中識(shí)別一個(gè)或多個(gè)匹配的描述符。在塊514，電子設(shè)備100基于匹配描述符的姿態(tài)信息來識(shí)別改善的姿態(tài)。

在塊516，電子設(shè)備100在自由空間中將其原點(diǎn)設(shè)置為在響應(yīng)于設(shè)備重置而被置于指定狀態(tài)之后的設(shè)備重置時(shí)設(shè)備的方位。在塊518，與識(shí)別其估計(jì)姿態(tài)和基于捕捉的影像改善估計(jì)姿態(tài)同時(shí)，電子設(shè)備跟蹤其姿態(tài)相對(duì)于自由空間中的原點(diǎn)的變化。在塊520，響應(yīng)于識(shí)別其改善的姿態(tài)，電子設(shè)備100基于自由空間中的方位變化而變換改善的姿態(tài)，以識(shí)別電子設(shè)備100的當(dāng)前姿態(tài)。當(dāng)前姿態(tài)可以用來啟用或增強(qiáng)電子設(shè)備100的基于位置的功能。

在一些場(chǎng)景中，與識(shí)別其姿態(tài)(定位)以及識(shí)別其姿態(tài)的變化(運(yùn)動(dòng)估計(jì))同時(shí)，電子設(shè)備100通過執(zhí)行軟件而被指派了其他任務(wù)。為了避免對(duì)用戶體驗(yàn)的不利影響，這些任務(wù)中的一些，諸如針對(duì)顯示器108(圖1)進(jìn)行圖像的渲染可能需要在指定時(shí)間量內(nèi)完成。因此，在至少一個(gè)實(shí)施例中，單子設(shè)備100可以選擇性指派其資源給不同任務(wù)以便確保時(shí)間敏感的任務(wù)在指定時(shí)間量內(nèi)完成。進(jìn)一步，電子設(shè)備100可以基于對(duì)特定類型的一個(gè)或多個(gè)任務(wù)將置于電子設(shè)備100上的預(yù)測(cè)負(fù)擔(dān)、或負(fù)載的預(yù)測(cè)而繼續(xù)或間歇重新指派資源給不同任務(wù)。這個(gè)資源平衡的示例在圖6圖示說明，其描繪了圖600，示出電子設(shè)備100的資源被指派給兩個(gè)不同任務(wù)類型中的每個(gè)：定位/運(yùn)動(dòng)估計(jì)和針對(duì)顯示器108的圖像渲染(由于描述目的被簡(jiǎn)單稱為“渲染”)。圖600包括表示時(shí)間的x軸602和表示電子設(shè)備100的資源的y軸601。y軸601所表示的資源可以是處理器循環(huán)、高速緩存空間、存儲(chǔ)器空間、緩沖區(qū)空間、處理器執(zhí)行單元、或者上述任意組合。

圖600圖示說明基于預(yù)測(cè)任務(wù)負(fù)載的變化而對(duì)電子設(shè)備100上的資源進(jìn)行重新指派。在時(shí)間610，電子設(shè)備100已經(jīng)預(yù)測(cè)出相對(duì)小渲染負(fù)載(例如，已經(jīng)預(yù)測(cè)出將相對(duì)少的渲染任務(wù)或者渲染任務(wù)將需要相對(duì)少量資源)且預(yù)測(cè)出相對(duì)大的定位/運(yùn)動(dòng)估計(jì)負(fù)載。因此，在時(shí)間610，電子設(shè)備100指派相對(duì)較高量的資源給運(yùn)動(dòng)估計(jì)/定位而指派較低量的資源給渲染。在時(shí)間610之后，電子設(shè)備100預(yù)測(cè)渲染負(fù)載增加，使得用戶體驗(yàn)可能受到指派給渲染任務(wù)的相對(duì)小量的資源的影響。作為響應(yīng)，在時(shí)間611，電子設(shè)備100減少了指派給運(yùn)動(dòng)估計(jì)/定位的資源的量而增加了指派給渲染的資源的量，且由此確保存在額外的資源來處置增加的渲染負(fù)載。

電子設(shè)備100可以以各種方式中的任意一種來預(yù)測(cè)對(duì)各種任務(wù)類型的負(fù)載。在至少一個(gè)實(shí)施例中，電子設(shè)備100執(zhí)行跟蹤來自同時(shí)在電子設(shè)備100上執(zhí)行的應(yīng)用、線程或進(jìn)程的任務(wù)請(qǐng)求的操作系統(tǒng)，并且基于任務(wù)請(qǐng)求來預(yù)測(cè)每種類型任務(wù)的負(fù)載。在另一實(shí)施例中，操作系統(tǒng)基于指示電子設(shè)備100怎樣被使用以及其被請(qǐng)求執(zhí)行的任務(wù)類型的歷史數(shù)據(jù)來預(yù)測(cè)每種任務(wù)類型的負(fù)載。在又一實(shí)施例中，操作系統(tǒng)使用啟發(fā)方式來預(yù)測(cè)每種類型任務(wù)的負(fù)載。例如，操作系統(tǒng)可以響應(yīng)于電子設(shè)備100的重置而預(yù)測(cè)特定任務(wù)負(fù)載，并且隨后響應(yīng)于執(zhí)行特定類型應(yīng)用的請(qǐng)求而改變預(yù)測(cè)的任務(wù)負(fù)載。

圖7圖示說明根據(jù)本公開的至少一個(gè)實(shí)施例的在電子設(shè)備100上平衡用于定位和運(yùn)動(dòng)估計(jì)的資源指派的方法700的流程圖。在塊702，在電子設(shè)備100上執(zhí)行的操作系統(tǒng)預(yù)測(cè)指示預(yù)測(cè)在指定時(shí)間量中要請(qǐng)求的大量渲染任務(wù)的渲染負(fù)載。作為響應(yīng)，在塊704，電子設(shè)備100基于預(yù)測(cè)負(fù)載而指派資源給渲染任務(wù)。在塊706，電子設(shè)備100指派其剩余資源給運(yùn)動(dòng)估計(jì)和定位。在塊708，電子設(shè)備100使用指派給每個(gè)任務(wù)的資源來分別執(zhí)行渲染與運(yùn)動(dòng)估計(jì)和定位。在塊710，電子設(shè)備100識(shí)別預(yù)測(cè)渲染負(fù)載是否存在變化。如果不存在，則方法流程返回到塊708且電子設(shè)備100根據(jù)其指派的資源繼續(xù)執(zhí)行渲染與運(yùn)動(dòng)估計(jì)和定位。如果預(yù)測(cè)渲染負(fù)載存在變化，則方法流程返回到塊704且電子設(shè)備100基于新預(yù)測(cè)的渲染負(fù)載來重新指派資源給渲染以及給運(yùn)動(dòng)估計(jì)和定位。

在至少一個(gè)實(shí)施例中，已知特征描述符，及其對(duì)應(yīng)圖像，可以基于隱私數(shù)據(jù)而限制其訪問權(quán)限。這允許用戶或系統(tǒng)管理員制定對(duì)已知特征描述符的基于許可的訪問系統(tǒng)，由此，未授權(quán)人員不能訪問所選擇的已知特征描述符的子集。因此，例如，用戶可以限制對(duì)與她公寓的圖像相關(guān)聯(lián)的已知特征描述符的訪問以便防止未知人員使用這些特征描述符進(jìn)行基于位置的功能。在至少一個(gè)實(shí)施例中，特征描述符被配置為使得難以從其對(duì)應(yīng)的描述符集合而重新構(gòu)建圖像。描述符的集合由此作用為圖像數(shù)據(jù)的單向散列。這保護(hù)了圖像數(shù)據(jù)，即使特征描述符可被訪問。

圖8圖示說明根據(jù)本公開的一個(gè)實(shí)施例的已知特征描述符860的示例。特征描述符860包括描述在對(duì)應(yīng)圖像中識(shí)別出的特征的描述符861以及指示捕捉到該圖像的相機(jī)的姿態(tài)的相機(jī)姿態(tài)信息862。此外，特征描述符860包括隱私設(shè)定863，其指示對(duì)特征描述符860的隱私設(shè)定。隱私設(shè)定863可以是密碼、散列、隱私級(jí)信息、請(qǐng)求設(shè)備的位置信息、或者可以被用來限制對(duì)特征描述符860的訪問的其他信息。

操作中，響應(yīng)于電子設(shè)備100、影像服務(wù)器315(圖1)或其他設(shè)備識(shí)別對(duì)訪問特征描述符860的請(qǐng)求，對(duì)應(yīng)設(shè)備識(shí)別請(qǐng)求中的認(rèn)證信息，諸如密碼、訪問代碼等，并且將認(rèn)證信息與隱私設(shè)定863進(jìn)行比較。響應(yīng)于匹配，設(shè)備提供對(duì)特征描述符860的訪問。響應(yīng)于認(rèn)證信息不匹配隱私設(shè)定863，設(shè)備否定對(duì)特征描述符860的訪問，并且可以采取其他行動(dòng)，諸如警告用戶或系統(tǒng)管理員。

在至少一個(gè)實(shí)施例中，在特征描述符860被生成時(shí)基于用戶提供的信息而識(shí)別隱私設(shè)定863。例如，電子設(shè)備100的用戶可以與圖形用戶界面交互以設(shè)置用于通過設(shè)備捕捉的影像的隱私設(shè)定。隱私設(shè)定可以基于電子設(shè)備100的位置、日時(shí)間、在電子設(shè)備上輸入的訪問代碼或密碼等而變化。當(dāng)電子設(shè)備100捕捉影像時(shí)，其訪問隱私設(shè)定。在為捕捉的影像生成特征描述符860的過程中，電子設(shè)備100基于用戶所輸入的隱私設(shè)定而指派值給隱私設(shè)定863。

圖9圖示說明根據(jù)本公開的至少一個(gè)實(shí)施例的基于隱私設(shè)定來限制對(duì)特征描述符的訪問的方法900的流程圖。為了描述的目的，方法900關(guān)于電子設(shè)備100上的示例實(shí)施方式而被描述。在塊902，電子設(shè)備100接收指示電子設(shè)備100的姿態(tài)的信息。作為響應(yīng)，在塊904，電子設(shè)備100從已知特征描述符集合中識(shí)別出姿態(tài)在接近接收到的姿態(tài)的閾值內(nèi)的特征描述符的子集。在塊906，電子設(shè)備100接收認(rèn)證信息，諸如密碼或用于電子設(shè)備100的設(shè)備標(biāo)識(shí)符。在塊908，電子設(shè)備100基于認(rèn)證信息來過濾在塊904識(shí)別的特征描述符的子集。例如，電子設(shè)備100將認(rèn)證信息與特征描述符子集中每個(gè)特征描述符的對(duì)應(yīng)的隱私設(shè)定進(jìn)行比較，并且移除認(rèn)證信息不匹配隱私設(shè)定的那些特征描述符。電子設(shè)備100由此識(shí)別了特征描述符的過濾子集。在塊910，電子設(shè)備100提供過濾子集給例如具有基于位置的特征的應(yīng)用。

上述的許多發(fā)明功能與許多發(fā)明原理很好地適用于通過或用軟件程序或指令和諸如專用集成電路(ASIC)的集成電路(IC)來實(shí)現(xiàn)。期望的是，本領(lǐng)域普通技術(shù)人員，盡管可能經(jīng)過顯著努力且由例如可用時(shí)間、當(dāng)前技術(shù)和經(jīng)濟(jì)考量激勵(lì)的許多設(shè)計(jì)選擇，當(dāng)受到這里所公開的概念和原理的指導(dǎo)時(shí)，將易于能夠以最少的實(shí)驗(yàn)而產(chǎn)生這樣的軟件指令和程序和IC。因此，就簡(jiǎn)化和最小化使根據(jù)本公開的原理和概念模糊的任何風(fēng)險(xiǎn)而言，對(duì)這樣的軟件和IC的進(jìn)一步討論，如果有的話，將被限制于關(guān)于優(yōu)選實(shí)施例內(nèi)的原理和概念的必要內(nèi)容。

在本文檔中，關(guān)系術(shù)語，諸如第一和第二等，可以僅用來區(qū)分一個(gè)實(shí)體或動(dòng)作與另一實(shí)體或動(dòng)作，而不必要求或暗示這樣的實(shí)體或動(dòng)作之間的任何實(shí)際這樣的關(guān)系或次序。術(shù)語“包括”或任何其他其變化形式，都旨在涵蓋非排他的包含，因此，包括一個(gè)要素列表的過程、方法、物品或裝置不僅僅包括這些要素，而且還可以包括未明確列出的或這樣的過程、方法、物品或裝置所固有的其他要素?！鞍ā敝蟮囊?，沒有更多限制，不排除包括該要素的過程、方法、物品或裝置中的額外相同要素的存在。術(shù)語“另一”，如這里所使用的，被定義為至少第二或更多。術(shù)語“包括”和/或“具有”，如這里使用的，被定義為包括。術(shù)語“耦合”，如這里結(jié)合光電技術(shù)所使用的，被定義為連接，盡管不必直接地連接，也不必機(jī)械地連接。術(shù)語“程序”，如這里使用的，被定義為設(shè)計(jì)用于在計(jì)算機(jī)系統(tǒng)上執(zhí)行的指令序列。“程序”、或“計(jì)算機(jī)程序”，可以包括子例程、函數(shù)、流程、對(duì)象方法、對(duì)象事項(xiàng)、可執(zhí)行應(yīng)用、小應(yīng)用、小服務(wù)程序、源代碼、對(duì)象代碼、共享庫/動(dòng)態(tài)負(fù)載庫和/或設(shè)計(jì)用于在計(jì)算機(jī)系統(tǒng)上執(zhí)行的其他指令序列。

說明書和附圖應(yīng)該僅僅被視作示例，公開的范圍因此旨在僅由所附權(quán)利要求及其等價(jià)物來限定。注意，一般描述中的上述的所有活動(dòng)或要素并非都是需要的，具體活動(dòng)或設(shè)備的一部分可能不被需要，且除了這些被描述的以外，一個(gè)或多個(gè)進(jìn)一步的活動(dòng)可能被執(zhí)行，或者一個(gè)或多個(gè)進(jìn)一步的要素可能被包括。而且，所列活動(dòng)的次序不必須是它們執(zhí)行的次序。上面描繪的流程圖的步驟可以是任何次序，除非指定，且步驟可以被消除、重復(fù)和/或添加，取決于實(shí)施方式。而且，概念是結(jié)合特定實(shí)施例來描述的。但是，本領(lǐng)域普通技術(shù)人員認(rèn)識(shí)到，可以進(jìn)行各種修改和變化，而不背離本公開如權(quán)利要求書中所闡述的范圍。因此，說明書和附圖應(yīng)該被視為說明性的而非限制意味的，且所有這樣的修改都想要被包括在本公開的范圍之內(nèi)。

上面已經(jīng)關(guān)于特定實(shí)施例描述了益處、其他優(yōu)點(diǎn)、和問題的解決方案。但是，益處、優(yōu)點(diǎn)、問題的解決方案、以及可能使得任何益處、優(yōu)點(diǎn)、或解決方案出現(xiàn)或變得更加顯著的任何特征都不應(yīng)被解釋為任何或所有權(quán)利要求的關(guān)鍵、所需或必要特征。