外部混合照片制圖的制作方法
【專利說(shuō)明】外部混合照片制圖
[0001 ] 對(duì)相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張2014年9月25日申請(qǐng)的題為“夕卜部混合照片制圖(Exter1r HybridPhoto Mapping)”的美國(guó)申請(qǐng)案第14/497,235號(hào)的權(quán)益和優(yōu)先權(quán)，所述美國(guó)申請(qǐng)案主張2013年年9月27日申請(qǐng)的題為“在慣性導(dǎo)航的情境中使用特征輔助的偏離目標(biāo)追蹤(Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigat1n)，，的美國(guó)臨時(shí)申請(qǐng)案第61/883,921號(hào)的權(quán)益和優(yōu)先權(quán)，所述兩個(gè)申請(qǐng)案被以引用的方式全部并入本文中。
技術(shù)領(lǐng)域
[0003]本文中揭示的標(biāo)的物大體涉及地面定位系統(tǒng)，且明確地說(shuō)，涉及用于外部混合照片制圖的系統(tǒng)和方法。
【背景技術(shù)】
[0004]制圖技術(shù)正日益移動(dòng)遠(yuǎn)離基于衛(wèi)星成像和攝影測(cè)量的政府地圖，到詳細(xì)的局部化地圖。大多數(shù)當(dāng)前室外制圖策略聚焦于使用能夠收集大量數(shù)據(jù)的重設(shè)備且昂貴的“戰(zhàn)爭(zhēng)駕駛”車。然而，由戰(zhàn)爭(zhēng)駕駛車收集的數(shù)據(jù)常為私有的且不能由絕大多數(shù)移動(dòng)裝置用戶使用。此外，因?yàn)閼?zhàn)爭(zhēng)駕駛車的使用限于車輛能進(jìn)入的區(qū)域，所以用戶常去的許多位置不能被制圖。
[0005]另外，嘗試使用GPS接收器、相機(jī)和線上繪圖工具來(lái)制圖已受到限制且繁瑣。此外，尚無(wú)顯著嘗試來(lái)例如通過(guò)確定結(jié)構(gòu)的大小、三維(3D)形狀、定向和位置來(lái)對(duì)室外結(jié)構(gòu)的外部制圖。結(jié)構(gòu)的巨大量使傳統(tǒng)制圖技術(shù)不可行。另一方面，所述許多這些未制圖的結(jié)構(gòu)留下了限制本地地圖中的細(xì)節(jié)的空隙。此外，因?yàn)榻Y(jié)構(gòu)不斷地拆毀、改建、更新或重建造，所以保持室外結(jié)構(gòu)的外部的準(zhǔn)確被更新地圖常常成本過(guò)高。
[0006]因此，存在對(duì)于相關(guān)策略以成本節(jié)約方式獲取且維持結(jié)構(gòu)的外部地圖的需求。

【發(fā)明內(nèi)容】

[0007]在一些實(shí)施例中，一種在用戶設(shè)備(UE)上的方法可包括:當(dāng)穿越結(jié)構(gòu)附近的多個(gè)位置時(shí)捕獲所述結(jié)構(gòu)的外部的多個(gè)圖像;捕獲多個(gè)測(cè)量集合，其中每一測(cè)量集合對(duì)應(yīng)于至少一個(gè)圖像且包括慣性測(cè)量單元(MU)測(cè)量或具有用于可用無(wú)線測(cè)量的校正信息的所述無(wú)線測(cè)量中的至少一者；以及部分基于所述捕獲的圖像和所述對(duì)應(yīng)的多個(gè)測(cè)量集合估計(jì)所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)和所述UE的軌跡。在一些實(shí)施例中，可將所述UE的所述估計(jì)的軌跡和所述3D結(jié)構(gòu)包絡(luò)、捕獲的圖像或所述對(duì)應(yīng)的測(cè)量集合中的一或多者發(fā)送到無(wú)線耦合到所述UE的服務(wù)器;且可從所述服務(wù)器接收對(duì)齊到絕對(duì)坐標(biāo)的所述UE的經(jīng)校正軌跡和所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)，其中所述接收到的經(jīng)校正軌跡部分基于所述UE的所述估計(jì)的軌跡、捕獲的圖像和/或測(cè)量集合。
[0008]在另一方面，一種用戶設(shè)備(UE)可包括:相機(jī)，其經(jīng)配置以當(dāng)穿越結(jié)構(gòu)附近的多個(gè)位置時(shí)捕獲所述結(jié)構(gòu)的外部的多個(gè)圖像；多個(gè)傳感器，所述傳感器包括慣性測(cè)量單元(IMU);無(wú)線模塊，其經(jīng)配置以進(jìn)行可用無(wú)線信號(hào)的測(cè)量，和獲取用于所述無(wú)線測(cè)量的校正信息；以及一處理器，其耦合到所述相機(jī)、傳感器和無(wú)線模塊。另外，所述處理器可經(jīng)配置以:獲得結(jié)構(gòu)的所述外部的所述多個(gè)圖像;獲得多個(gè)測(cè)量集合，其中每一測(cè)量集合對(duì)應(yīng)于所述多個(gè)圖像中的至少一個(gè)圖像，且每一測(cè)量集合包括IMU測(cè)量和具有用于無(wú)線測(cè)量的校正信息的所述可用無(wú)線測(cè)量中的至少一者;部分基于所述捕獲的圖像和所述對(duì)應(yīng)的多個(gè)測(cè)量集合估計(jì)所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)和所述UE的軌跡;將所述UE的所述估計(jì)的軌跡和所述3D結(jié)構(gòu)包絡(luò)、捕獲的圖像或所述對(duì)應(yīng)的測(cè)量集合中的一或多者發(fā)送到無(wú)線耦合到所述UE的服務(wù)器；以及部分基于所述UE的所述估計(jì)的軌跡、捕獲的圖像和測(cè)量集合接收對(duì)齊到絕對(duì)坐標(biāo)的所述UE的經(jīng)校正軌跡和所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)。
[0009]在另一方面，一種用戶設(shè)備(UE)可包括:成像裝置，其經(jīng)配置以當(dāng)穿越結(jié)構(gòu)附近的多個(gè)位置時(shí)捕獲所述結(jié)構(gòu)的外部的多個(gè)圖像;感測(cè)裝置，所述感測(cè)裝置慣性測(cè)量單元(IMU)裝置;無(wú)線測(cè)量裝置，其經(jīng)配置以進(jìn)行可用無(wú)線信號(hào)的測(cè)量，和獲取用于所述無(wú)線測(cè)量的校正信息；用于獲得結(jié)構(gòu)的所述外部的所述多個(gè)圖像的裝置;用于獲得多個(gè)測(cè)量集合的裝置，其中每一測(cè)量集合對(duì)應(yīng)于所述多個(gè)圖像中的至少一個(gè)圖像，且每一測(cè)量集合包括MU測(cè)量和具有用于無(wú)線測(cè)量的校正信息的所述可用無(wú)線測(cè)量中的至少一者；用于部分基于所述捕獲的圖像和所述對(duì)應(yīng)的多個(gè)測(cè)量集合估計(jì)所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)和所述UE的軌跡的裝置；用于將所述UE的所述估計(jì)的軌跡和所述3D結(jié)構(gòu)包絡(luò)、捕獲的圖像或所述對(duì)應(yīng)的測(cè)量集合中的一或多者發(fā)送到無(wú)線耦合到所述UE的服務(wù)器的裝置；以及部分基于所述UE的所述估計(jì)的軌跡、捕獲的圖像和測(cè)量集合接收對(duì)齊到絕對(duì)坐標(biāo)的所述UE的經(jīng)校正軌跡和所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)的裝置。
[0010]在一些實(shí)施例中，一種非暫時(shí)性計(jì)算機(jī)可讀媒體可包括在由處理器執(zhí)行時(shí)使所述處理器經(jīng)配置以進(jìn)行以下操作的指令:當(dāng)穿越結(jié)構(gòu)附近的多個(gè)位置時(shí)捕獲所述結(jié)構(gòu)的外部的多個(gè)圖像;捕獲多個(gè)測(cè)量集合，其中每一測(cè)量集合對(duì)應(yīng)于至少一個(gè)圖像且包括慣性測(cè)量單元(MU)測(cè)量或具有用于可用無(wú)線測(cè)量的校正信息的所述無(wú)線測(cè)量中的至少一者；部分基于所述捕獲的圖像和所述對(duì)應(yīng)的多個(gè)測(cè)量集合估計(jì)所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)和所述UE的軌跡;將所述UE的所述估計(jì)的軌跡和所述3D結(jié)構(gòu)包絡(luò)、捕獲的圖像或所述對(duì)應(yīng)的測(cè)量集合中的一或多者發(fā)送到無(wú)線耦合到所述UE的服務(wù)器；以及部分基于所述UE的所述估計(jì)的軌跡、捕獲的圖像和測(cè)量集合接收對(duì)齊到絕對(duì)坐標(biāo)的所述UE的經(jīng)校正軌跡和所述結(jié)構(gòu)的3D結(jié)構(gòu)包絡(luò)。
[0011]揭示的方法可由例如服務(wù)器(包含位置服務(wù)器)、移動(dòng)臺(tái)、移動(dòng)裝置等的一或多個(gè)UE使用LPP、LPPe或其它協(xié)議執(zhí)行。揭示的實(shí)施例還涉及由處理器使用非暫時(shí)性計(jì)算機(jī)可讀媒體或計(jì)算機(jī)可讀存儲(chǔ)器創(chuàng)建、存儲(chǔ)、存取、讀取或修改的軟件、固件和程序指令。
【附圖說(shuō)明】
[0012]圖1A展示說(shuō)明使得能夠以與所揭示的實(shí)施例一致的方式支持混合照片導(dǎo)航和制圖的UE的某些示范性特征的示意性框圖。
[0013]圖1B展示示范性可佩戴用戶裝置。
[0014]圖2展示能夠?qū)⑽恢煤?或?qū)Ш椒?wù)提供到UE(包含位置輔助數(shù)據(jù)或位置信息的傳送)的系統(tǒng)的架構(gòu)。
[0015]圖3A和3B展示指示在多種情形中的不同定位技術(shù)的可用性連同相關(guān)聯(lián)的位置精確度、定位不明確性和功率消耗的表。
[0016]圖4A為能夠以與所揭示的實(shí)施例一致的方式執(zhí)行制圖的示范性應(yīng)用程序400的框圖。
[0017]圖4B展示在可運(yùn)行制圖應(yīng)用程序且自人造衛(wèi)星(SV)和/或無(wú)線網(wǎng)絡(luò)的信號(hào)接收可為可用的環(huán)境中的用戶。
[0018]圖5A展示用于無(wú)線地圖產(chǎn)生的示范性方法的流程圖。
[0019]圖5B展示當(dāng)UE沿著軌跡時(shí)在各種位置和時(shí)間點(diǎn)出現(xiàn)的視線和非視線條件。
[0020]圖6展示與所揭示的實(shí)施例一致的制圖數(shù)據(jù)收集的示范性方法的流程圖。
[0021]圖7展示在混合照片制圖期間的示范性高階數(shù)據(jù)流。
[0022]圖8A和SB展示說(shuō)明用于基于照片、無(wú)線、磁性和氣壓數(shù)據(jù)的地圖產(chǎn)生的方法的流程圖。
[0023]圖9展示說(shuō)明能夠確定UE的位置的系統(tǒng)中一些實(shí)體的簡(jiǎn)化框圖。
[0024]圖10展示說(shuō)明使得能夠混合照片制圖和導(dǎo)航的服務(wù)器的示意性框圖。
[0025]圖11展示與所揭示的實(shí)施例一致的混合照片制圖的示范性方法的流程圖。
【具體實(shí)施方式】
[0026]術(shù)語(yǔ)“用戶裝置(UD)”、“用戶設(shè)備(UE)”在本文中可互換地使用且可指一種裝置，例如，蜂窩式或其它無(wú)線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PIM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或能夠接收無(wú)線通信和/或?qū)Ш叫盘?hào)的其它合適的移動(dòng)裝置。術(shù)語(yǔ)還希望包含例如通過(guò)短程無(wú)線、紅外、有線連接或其它連接與個(gè)人導(dǎo)航裝置(PND)通信的裝置，不管在所述裝置或所述PND處是否發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收和/或與位置有關(guān)的處理。UE可表示移動(dòng)電話、記事本計(jì)算機(jī)或膝上型計(jì)算機(jī)，或其可為本文中出于創(chuàng)建街道地圖和/或延遲和/或信號(hào)強(qiáng)度圖的目的收集測(cè)量集的車輛。
[0027]另外，術(shù)語(yǔ)UD、UE、“移動(dòng)臺(tái)”、“移動(dòng)裝置”或“目標(biāo)”希望包含所有裝置，包含無(wú)線和纜線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)等，其能夠例如經(jīng)由因特網(wǎng)、W1-F1、蜂窩式無(wú)線網(wǎng)絡(luò)、DSL網(wǎng)絡(luò)、封包電纜網(wǎng)絡(luò)或其它網(wǎng)絡(luò)與服務(wù)器通信，且不管在所述裝置處、在服務(wù)器處或在與所述網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處是否發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收和/或與位置有關(guān)的處理。上述各者的任何可操作的組合也被考慮為“用戶裝置”。
[0028]圖1A展示說(shuō)明使得能夠支持基于無(wú)線信號(hào)與基于傳感器的測(cè)量的組合的制圖(包含基于相機(jī)或其它圖像的技術(shù))的UE 100的某些示范性特征的示意性框圖。另外，在一些實(shí)施例中，UE 100也可通過(guò)組合基于圖像的技術(shù)與基于無(wú)線信號(hào)和/或傳感器的技術(shù)來(lái)支持混合照片制圖。術(shù)語(yǔ)“混合”用以指使用基于傳感器、基于圖像和/或基于無(wú)線信號(hào)的技術(shù)中的一或多者的組合以與本文中揭示的實(shí)施例一致的方式執(zhí)行制圖和外部結(jié)構(gòu)包絡(luò)判定。在一些實(shí)施例中，UE 100可支持混合照片制圖。在一些實(shí)施例中，UE 100可進(jìn)一步支持混合照片導(dǎo)航和位置確定。
[0029]UE 100可(例如)包含用一或多個(gè)連接120 (例如，總線、線、纖維、連結(jié)等)操作性地相互耦合的一或多個(gè)處理單元或處理單元150、存儲(chǔ)器130、收發(fā)器110(例如，無(wú)線網(wǎng)絡(luò)接口)和(如可適用)GNSS或衛(wèi)星定位系統(tǒng)(SPS)接收器140、光學(xué)傳感器/相機(jī)180、磁力計(jì)、高度計(jì)、氣壓計(jì)和傳感器組185(共同地被稱作傳感器185)、慣性測(cè)量單元aMU) 170、非暫時(shí)性計(jì)算機(jī)可讀媒體160、顯示器190和存儲(chǔ)器130。在某些實(shí)例實(shí)施方案中，UE 100的全部或部分可呈芯片組和/或類似者的形式。磁力計(jì)可能能夠測(cè)量地球磁場(chǎng)的強(qiáng)度和/或方向，且可充當(dāng)指南針和/或提供UE 100的行進(jìn)方向的指示。高度計(jì)可用以提供在經(jīng)校準(zhǔn)層面上的海拔的指示，而氣壓計(jì)可提供大氣壓力的指示，其也可用以獲得海拔的判定。
[0030]可使GNSS/SPS接收器140能夠接收與一或多個(gè)SPS資源相關(guān)聯(lián)的信號(hào)。接收到的GNSS/SPS信號(hào)可用以確定UE 100的位置。收發(fā)器110可(例如)包含使得能夠在一或多個(gè)類型的無(wú)線通信網(wǎng)絡(luò)上發(fā)射一或多個(gè)信號(hào)的傳輸器112和接收在一或多個(gè)類型的無(wú)線通信網(wǎng)絡(luò)上發(fā)射的一或多個(gè)信號(hào)的接收器114。
[0031]在一些實(shí)施例中，UE 100可包括例如CCD或CMOS傳感器的圖像傳感器及/或相機(jī)180，其在下文被稱作“相機(jī)180”。相機(jī)180可將光學(xué)圖像轉(zhuǎn)換成電子或數(shù)字圖像，且可將捕獲的圖像發(fā)送到處理單元150。舉例來(lái)說(shuō)，如圖1B中所展示，在一些實(shí)施例中，相機(jī)180可容納于可佩戴用戶裝置中，且可操作耦合到UE 100中的顯示器190、處理單元150和/或其它功能單元。
[0032]在一些實(shí)施例中，處理單元150也可接收來(lái)自可包含磁力計(jì)、高度計(jì)和/或氣壓計(jì)的一或多個(gè)傳感器185的輸入。此外，傳感器185可包含環(huán)境光傳感器、聲換能器(例如，麥克風(fēng)/揚(yáng)聲器)、超聲換能器和/或深度傳感器中的一或多者，深度傳感器可用以獲取深度信息和/或確定到目標(biāo)的距離。一般來(lái)說(shuō)，在不詳盡的傳感器組185中的以上傳感器的列表可包含正日益被并入到現(xiàn)代智能手機(jī)和其它用戶設(shè)備內(nèi)的各種其它類型的傳感器和換能器。
[0033]在一些實(shí)施例中，UE 100還可包含慣性測(cè)量單元aMU)170。在一些實(shí)施例中，可包括3軸加速度計(jì)、3軸回轉(zhuǎn)儀和/或磁力計(jì)的IMU 170可將速度、定向和/或其它與位置有關(guān)的信息提供到處理單元150。在一些實(shí)施例中JMU 170可經(jīng)配置以測(cè)量與相機(jī)180進(jìn)行的每一圖像幀的捕獲同步的信息，且輸出測(cè)量的信息，和/或由UE 100中的傳感器185進(jìn)行的測(cè)量。在一些實(shí)施例中，頂U(kuò) 170的輸出可由處理單元150用以確定UE 100的位置及定向。
[0034]術(shù)語(yǔ)“無(wú)線測(cè)量”在本文中用以指SPS、蜂窩式、WLAN、WPAN和其它無(wú)線電信號(hào)的測(cè)量。術(shù)語(yǔ)“非無(wú)線測(cè)量”指包含(但不限于)IMU、氣壓計(jì)、高度計(jì)和磁力計(jì)測(cè)量的傳感器測(cè)量。在一些實(shí)施例中，可將由UE進(jìn)行的無(wú)線測(cè)量的捕獲與非無(wú)線測(cè)量的捕獲同步。另外，可將無(wú)線和/或非無(wú)線測(cè)量的捕獲與由UE進(jìn)行的圖像的捕獲同步。舉例來(lái)說(shuō)，測(cè)量(無(wú)線和/或非無(wú)線)和捕獲的圖像可帶時(shí)間戳，且測(cè)量和圖像可基于時(shí)間戳而相互關(guān)聯(lián)。測(cè)量與圖像和/或與彼此的關(guān)聯(lián)可與測(cè)量/圖像記錄同時(shí)發(fā)生，和/或在基于與測(cè)量相關(guān)聯(lián)的時(shí)間戳的稍后時(shí)間點(diǎn)發(fā)生。
[0035]術(shù)語(yǔ)“測(cè)量集合”用以指由UE在測(cè)量位置在一時(shí)間點(diǎn)或在時(shí)間點(diǎn)的某一指定間隔內(nèi)執(zhí)行的信號(hào)測(cè)量。進(jìn)行的信號(hào)測(cè)量可與制圖和/或位置確定有關(guān)。進(jìn)行的信號(hào)測(cè)量也可取決于UE 100,UE 100的能力、環(huán)境特性和/或可用于UE 100在特定位置/時(shí)間進(jìn)行的測(cè)量的信號(hào)特性。典型地，測(cè)量集合可包括圖像、無(wú)線測(cè)量和非無(wú)線測(cè)量，其中測(cè)量集合中的每一元素可已在時(shí)間點(diǎn)的某一指定時(shí)間間隔內(nèi)記錄。由UE 100記錄的測(cè)量集合可存儲(chǔ)在UE 100上的存儲(chǔ)器130中和/或發(fā)送到服務(wù)器，在服務(wù)器處，其可經(jīng)處理和/或與相關(guān)于那個(gè)測(cè)量位置的其它測(cè)量聚集在一起。舉例來(lái)說(shuō)，測(cè)量集合可存儲(chǔ)在基站歷書(BSA)中和/或用于制圖/位置確定。
[0036]可使用硬件、固件與軟件的組合來(lái)實(shí)施處理單元150。在一些實(shí)施例中，處理單元150可包含映射模塊(麗)152、導(dǎo)航模塊(匪)154和位置輔助數(shù)據(jù)模塊(LADM) 158。在一些實(shí)施例中，LADM 158可處理接收到的位置輔助數(shù)據(jù)以估計(jì)UE的位置。位置輔助數(shù)據(jù)可呈分層地圖信息的形式，例如，多路徑且可見(jiàn)地圖輔助信息、觀測(cè)到達(dá)時(shí)間差(OTDOA)輔助信息(包含PRS輔助信息)等。在一些實(shí)施例中，處理單元150還可包含計(jì)算機(jī)視覺(jué)模塊(CVM)155，其可實(shí)施多種圖像處理和CV功能。
[0037]如本文中所使用的術(shù)語(yǔ)“地圖層”指針對(duì)UE的位置和位置不確定性定制的信息，例如，位置輔助信息。地圖的每一層可包括關(guān)于參數(shù)的信息，其中提供關(guān)于層共同的絕對(duì)或全球坐標(biāo)的信息。一般來(lái)說(shuō)，地圖層可包括各種類型的信息。舉例來(lái)說(shuō)，地圖層可包括以下各者中的一或多者:使接收信號(hào)強(qiáng)度與地圖位置相關(guān)的接收信號(hào)強(qiáng)度地圖層;使信噪比(SNR)與地圖位置相關(guān)的SNR地圖層;使前向鏈路校準(zhǔn)(FLC)信息與地圖位置相關(guān)的FLC層;等。
[0038]在一些實(shí)施例中，相機(jī)180可包含多個(gè)相機(jī)、前置和/或后置相機(jī)、廣角相機(jī)，且也可并有CCD、CM0S和/或其它傳感器?？蔀殪o態(tài)相機(jī)和/或攝像機(jī)的相機(jī)180可捕獲環(huán)境的一系列2維(2D)靜態(tài)和/或視頻圖像幀，且將所捕獲圖像幀發(fā)送到處理單元150。在一些實(shí)施例中，相機(jī)180可為可佩戴相機(jī)或外部相機(jī)，其可操作耦合到UE 100中的其它功能單元，但容納之處與其它功能單元分開(kāi)。在一個(gè)實(shí)施例中，由相機(jī)180捕獲的圖像可呈原始未壓縮格式，且可在經(jīng)處理和/或存儲(chǔ)在存儲(chǔ)器160中前被壓縮。在一些實(shí)施例中，圖像壓縮可由處理單元150(例如，由CVM 155)使用無(wú)損或有損壓縮技術(shù)來(lái)執(zhí)行。
[0039]在一些實(shí)施例中，相機(jī)180可為深度感測(cè)相機(jī)或可耦合到深度傳感器。術(shù)語(yǔ)“深度傳感器”用以指可用以獨(dú)立和/或與相機(jī)180—起獲得用于環(huán)境的深度信息的功能單元。在一些實(shí)施例中，可包括RGBD相機(jī)，除了色彩(RGB)圖像之外，當(dāng)啟用深度傳感器時(shí)，其還可捕獲每像素深度(D)信息。作為另一實(shí)例，在一些實(shí)施例中，相機(jī)110可呈3D飛行時(shí)間(3DT0F)相機(jī)的形式。在具有3DT0F相機(jī)110的實(shí)施例中，深度傳感器可呈耦合到3DT0F相機(jī)110的頻閃光燈的形式，其可照亮場(chǎng)景中的物件，且反射光可由相機(jī)110中的CCD/CM0S傳感器捕獲?？赏ㄟ^(guò)測(cè)量光脈沖行進(jìn)到目標(biāo)且回到傳感器所花時(shí)間來(lái)獲得深度信息。
[0040]作為另一實(shí)例，深度傳感器可呈耦合到相機(jī)110的光源的形式。在一個(gè)實(shí)施例中，光源可將可由一或多個(gè)窄頻帶的光組成的結(jié)構(gòu)化或紋理化的光圖案投影到場(chǎng)景中的物件上。接著可通過(guò)利用由物件的表面形狀引起的經(jīng)投影圖案的幾何失真來(lái)獲得深度信息。在一個(gè)實(shí)施例中，可從例如對(duì)齊到RGB相機(jī)的紅外結(jié)構(gòu)光投影儀與紅外相機(jī)的組合的立體傳感器獲得深度信息。在一些實(shí)施例中，相機(jī)180可為能夠捕獲3維(3D)圖像的立體相機(jī)。在另一實(shí)施例中，相機(jī)180可包含能夠估計(jì)深度信息的深度傳感器。舉例來(lái)說(shuō)，深度傳感器可形成無(wú)源立體視覺(jué)傳感器的部分，無(wú)源立體視覺(jué)傳感器可使用兩個(gè)或兩個(gè)以上相機(jī)獲得場(chǎng)景的深度信息。可使用捕獲的場(chǎng)景中的兩個(gè)相機(jī)共同的點(diǎn)的像素坐標(biāo)連同相機(jī)姿勢(shì)信息和/或三角測(cè)量技術(shù)來(lái)獲得每像素深度信息。在一些實(shí)施例中，當(dāng)深度傳感器不在使用中時(shí)，可停用深度傳感器。舉例來(lái)說(shuō)，可將深度傳感器置于待用模式中，或當(dāng)不使用時(shí)斷電。在一些實(shí)施例中，處理器150可在一或多個(gè)時(shí)間點(diǎn)停用(或啟用)深度感測(cè)。
[0041 ]處理單元150也可執(zhí)行處理由相機(jī)180捕獲的圖像幀的軟件。舉例來(lái)說(shuō)，處理單元150可能能夠處理從相機(jī)180接收的一或多個(gè)圖像幀以確定相機(jī)180的姿勢(shì)，從而實(shí)施各種計(jì)算機(jī)視覺(jué)和圖像處理算法和/或執(zhí)行對(duì)應(yīng)于從相機(jī)180接收的圖像的環(huán)境的3D重建。相機(jī)180的姿勢(shì)指相機(jī)180相對(duì)于參考系的位置和定向。在一些實(shí)施例中，可針對(duì)6自由度(6-DOF)確定相機(jī)姿勢(shì)，所述6自由度指三個(gè)平移分量(其可由參考系的X、Y、Z坐標(biāo)給定)和三個(gè)角度分量(例如，相對(duì)于同一參考系的橫滾、俯仰和偏航)。
[0042]在一些實(shí)施例中，相機(jī)180和/或UE 100的姿勢(shì)可由處理單元150使用視覺(jué)追蹤解決方案基于由相機(jī)180捕獲的圖像幀來(lái)判定和/或追蹤。在一些實(shí)施例中，CVM 155可使用例如專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)和/或?qū)Ｓ锰幚砥?例如，處理單元150)的專用電路來(lái)實(shí)施。在一些實(shí)施例中，CVM 155可包含與UE 100上的一或多個(gè)其它處理器通信的功能性。
[0043]在一些實(shí)施例中，CVM155可實(shí)施各種計(jì)算機(jī)視覺(jué)和/或圖像處理方法，例如3D重建、圖像壓縮和濾波。CVM 155也可實(shí)施基于計(jì)算機(jī)視覺(jué)的追蹤、基于模型的追蹤、同時(shí)定位與制圖(SLAM)等。在一些實(shí)施例中，由CVM 155實(shí)施的方法可基于由相機(jī)180捕獲的色彩或灰階圖像數(shù)據(jù)，其可用以產(chǎn)生相機(jī)的6-D0F姿勢(shì)測(cè)量結(jié)果的估計(jì)。
[0044]SLAM指一類技術(shù)，其中在創(chuàng)建環(huán)境的地圖(例如，正由UE 100模型化的環(huán)境的地圖)的同時(shí)追蹤UE 100相對(duì)于所述地圖的姿勢(shì)。SLAM技術(shù)包含視覺(jué)SLAM(VLSAM)，其中由相機(jī)(例如，UE 100上的相機(jī)180)俘獲的圖像可用以在創(chuàng)建環(huán)境的地圖的同時(shí)追蹤所述相機(jī)相對(duì)于所述地圖的姿勢(shì)。VSLAM因此可涉及在追蹤相機(jī)的6D0F姿勢(shì)的同時(shí)確定周圍環(huán)境的3-D結(jié)構(gòu)。舉例來(lái)說(shuō)，在一些實(shí)施例中，VSLAM技術(shù)可檢測(cè)一或多個(gè)所捕獲圖像幀中的突出特征補(bǔ)片或關(guān)鍵點(diǎn)或特征描述符，且將所捕獲的成像幀作為關(guān)鍵幀或參考幀存儲(chǔ)。在基于關(guān)鍵幀的SLAM中，可接著(例如)通過(guò)比較當(dāng)前所捕獲圖像幀與一或多個(gè)先前捕獲和/或存儲(chǔ)的關(guān)鍵幀來(lái)確定相機(jī)的姿勢(shì)。圖像特征描述符可為此項(xiàng)技術(shù)中熟知的尺度不變特征變換(SIFT),加速穩(wěn)固描述符(SURF)等形式。確定的/存儲(chǔ)的圖像描述符可在稍后時(shí)點(diǎn)由圖像或物件檢測(cè)器用以確定UE的姿勢(shì)。
[0045]在一些實(shí)施例中，CVM155可包括3D重建模塊，其可使用相機(jī)姿勢(shì)及每像素地圖信息來(lái)創(chuàng)建環(huán)境的3D模型或表示。在一些實(shí)施例中，可使用專用電路實(shí)施3D重建模塊