本發(fā)明涉及一種環(huán)境中的車輛的定位。具體地，但不排他地，使用諸如照相機(jī)的傳感器產(chǎn)生的圖像來執(zhí)行定位。此外，也是不排他地，可將來自傳感器的圖像從初始色彩空間變換至另一色彩空間。

背景技術(shù)：

能夠在任何可移動設(shè)備中實(shí)施定位方法；盡管不是必要的，但是將這種設(shè)備集成到車輛中是常見的方法。本文中對車輛的討論可同樣應(yīng)用于非車輛可移動設(shè)備中，例如單人便攜式設(shè)備。

基于特征的定位能夠被理解為如下動作：將運(yùn)行時觀察到的特征與存儲的特征進(jìn)行匹配，并隨后在這些關(guān)聯(lián)的假設(shè)下估計設(shè)備的姿態(tài)和位置。雖然簡單地陳述了匹配問題，但是其執(zhí)行可能是困難且復(fù)雜的。兩個問題占主導(dǎo)地位：到哪里去搜索對應(yīng)(并且搜索窗應(yīng)該為多大？)和要搜索什么(特征是什么樣子？)

對于涉及已知環(huán)境中定位的視覺系統(tǒng)，處理突然或逐漸的外觀變化是一個挑戰(zhàn)。外觀變化可由幾個來源造成，諸如(i)不同的光照條件，(ii)變化的氣候條件，和/或(iii)動態(tài)的物體(例如，行人、樹枝或者車輛)。這些變化因而導(dǎo)致第二個問題(搜索什么)更具挑戰(zhàn)性。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的第一個方面，提供了一種在環(huán)境中對可移動設(shè)備進(jìn)行定位的計算機(jī)化的方法，該方法包括以下步驟i)至v)中的至少一些：

i)獲得設(shè)備的周圍環(huán)境的圖像序列；

ii)由圖像序列產(chǎn)生一個或多個變換圖像序列，其中來自該序列的圖像已經(jīng)經(jīng)歷變換以提供變換圖像序列中的變換圖像；

iii)使用處理電路來將來自變換圖像序列的一個或者多個圖像和來自以下中的至少一種的一個或者多個圖像與存儲的環(huán)境的表示進(jìn)行比較；

i)圖像序列；以及

ii)其它變換圖像序列

iv)其中，所述比較被設(shè)置為確定圖像和/或變換圖像與存儲的表示之中的對應(yīng)特征；以及

v)根據(jù)一個或者多個對應(yīng)特征的位置來定位可移動設(shè)備。

具有i)至v)中的每個特征的實(shí)施例的優(yōu)勢在于它們能夠更加魯棒且精確地定位設(shè)備(即確定設(shè)備的位置)。

通常，該方法應(yīng)用于車輛(比如汽車、貨車、卡車等)，特別是被設(shè)置為獨(dú)自導(dǎo)航的車輛。然而，可將實(shí)施例應(yīng)用于其他設(shè)備。

在一些實(shí)施例中，從傳感器獲得的圖像序列和單個變換圖像序列各自與存儲的表示相比較。在這種實(shí)施例中，只有與表示相比較的序列中的一個已經(jīng)經(jīng)歷了變換；來自照相機(jī)的未變換的圖像序列也與表示相比較。

在替換實(shí)施例中，兩個變換圖像序列(其中，通過對傳感器圖像序列的不同變換已經(jīng)產(chǎn)生了形成每個序列的圖像)各自與存儲的表示相比較。在這種實(shí)施例中，與表示相比較的每個圖像序列均已經(jīng)經(jīng)歷了變換。

在另一實(shí)施例中，可將多于兩個的圖像序列與存儲的表示相比較。例如，可將兩個變換圖像序列和未變換圖像序列與存儲的表示相比較。

在一些實(shí)施例中，做出關(guān)于應(yīng)當(dāng)使用哪個比較來定位設(shè)備的決定；即，該方法選擇兩個比較中的一個來用于定位設(shè)備。在這種實(shí)施例中，通常選擇在該實(shí)例中表現(xiàn)較好的比較來定位設(shè)備。例如，可選擇其中具有較高數(shù)量的識別特征的比較。

在一些實(shí)施例中，通過一個或者多個存儲的圖像序列來提供環(huán)境的表示。在這種實(shí)施例中，例如通過調(diào)查車輛可能已經(jīng)預(yù)先收集了存儲的圖像。作為替換，可在早期運(yùn)行時收集存儲的圖像；即，可以逐步建立環(huán)境的表示，而不是事先提供。

在替換實(shí)施例中，通過環(huán)境的3D模型來提供環(huán)境的表示。這種3D模型可由點(diǎn)云提供，尤其是由LIDAR點(diǎn)云提供。在其它實(shí)施例中，通過來自攝影測量法、運(yùn)動恢復(fù)結(jié)構(gòu)或者手動調(diào)查等的特征網(wǎng)格或者模型來提供環(huán)境的表示。

在一些實(shí)施例中，存儲的圖像序列經(jīng)歷變換，以便執(zhí)行至少一種比較。

方便地，使用以下的任意一種獲得圖像序列：光學(xué)照相機(jī)、立體光學(xué)照相機(jī)、熱成像照相機(jī)。

圖像序列中的圖像可在RGB(紅綠藍(lán))色彩空間內(nèi)。本領(lǐng)域技術(shù)人員應(yīng)該理解，可使用其他色彩空間。

方便地，對圖像執(zhí)行的變換將圖像變換成為以下之一：照明不變性色彩空間、灰度等級、不同于未變換圖像的色彩空間的另一色彩空間(例如，HSV(色相飽和度值))、LAB或者YUV色彩空間(其中，Y是亮度分量，并且UV是每個色度分量)。

根據(jù)本發(fā)明的第二個方面，提供了一種被設(shè)置為在環(huán)境中執(zhí)行對自身的定位的設(shè)備，該設(shè)備包括以下中的至少一些：

傳感器，其被設(shè)置為產(chǎn)生設(shè)備的周圍環(huán)境的圖像序列；

處理電路，其被設(shè)置為：

i)由圖像序列產(chǎn)生一個或多個變換圖像序列，其中，來自圖像序列的圖像已經(jīng)經(jīng)歷變換以提供變換圖像序列中的變換圖像；

ii)將來自變換圖像序列的一個或者多個圖像以及來自a)圖像序列和b)其它變換圖像序列中的至少一種的一個或者多個圖像與存儲的環(huán)境的表示相比較；

iii)在比較期間確定圖像和/或變換圖像與存儲的表示之中的對應(yīng)特征；以及

iv)根據(jù)一個或者多個對應(yīng)特征的位置來定位設(shè)備。

根據(jù)本發(fā)明的第三個方面，提供了一種包含指令的計算機(jī)可讀介質(zhì)，當(dāng)通過計算機(jī)讀取該指令時使得計算機(jī)執(zhí)行以下步驟i)至v)中的至少一些：

i)獲得設(shè)備的周圍環(huán)境的圖像序列；

ii)由圖像序列產(chǎn)生一個或者多個變換圖像序列，其中來自圖像序列的圖像已經(jīng)經(jīng)歷變換以提供變換圖像序列中的變換圖像。

iii)將來自變換圖像序列的一個或者多個圖像序列和來自以下中的至少一種的一個或者多個圖像與存儲的環(huán)境的表示進(jìn)行比較：

a)圖像序列；以及

b)其它變換圖像序列；

iv)其中，所述比較被設(shè)置為確定圖像和/或變換圖像與存儲的表示之中的對應(yīng)特征；以及

v)根據(jù)一個或者多個對應(yīng)特征的位置來定位可移動設(shè)備。

根據(jù)本發(fā)明的第四個方面，提供了一種在表示可移動設(shè)備的周圍環(huán)境的坐標(biāo)系中對可移動設(shè)備進(jìn)行度量定位的計算機(jī)實(shí)施的方法，其確定可移動設(shè)備相對于坐標(biāo)系的坐標(biāo)，包括步驟：

使用照相機(jī)產(chǎn)生表示環(huán)境的至少一部分的圖像；

處理圖像以將它們變換成在照明不變性色彩空間中表示環(huán)境的一部分的變換圖像；

處理變換圖像以識別變換圖像中的環(huán)境的元素；以及

根據(jù)一個或者多個識別到的元素的位置來在坐標(biāo)系中定位可移動設(shè)備。

根據(jù)本發(fā)明的第五個方面，提供了一種設(shè)備，其被設(shè)置為在表示可移動設(shè)備的周圍環(huán)境的坐標(biāo)系中執(zhí)行對其自身的度量定位，該設(shè)備包括以下中的至少一些：

傳感器，其被設(shè)置為產(chǎn)生設(shè)備的周圍環(huán)境的圖像序列；

處理電路，其被設(shè)置為：

i)處理圖像以將它們變換成在照明不變性色彩空間中表示環(huán)境的一部分的變換圖像；

ii)處理變換圖像以識別變換圖像中的環(huán)境的元素；以及

iii)根據(jù)一個或者多個識別到的元素的位置來在坐標(biāo)系中

定位可移動設(shè)備，并且為設(shè)備產(chǎn)生坐標(biāo)。

根據(jù)本發(fā)明的第六個方面，提供了一種包含指令的機(jī)器可讀介質(zhì)，當(dāng)計算機(jī)讀取該指令時該指令使得所述計算機(jī)在表示可移動設(shè)備的周圍環(huán)境的坐標(biāo)系中執(zhí)行對可移動設(shè)備的度量定位，包括以下中的至少一些：

i)獲得設(shè)備的周圍環(huán)境的圖像序列；

ii)處理圖像以將它們變換成在照明不變性色彩空間中表示環(huán)境的一部分的變換圖像；

iii)處理變換圖像以識別變換圖像中的環(huán)境的元素；以及

iv)根據(jù)一個或者多個識別到的要素的位置來在坐標(biāo)系中定位可移動設(shè)備。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，加以必要的修改，可將涉及本發(fā)明的任意一個方面的上述特征應(yīng)用于本發(fā)明的任意其他方面。

上文中涉及一種機(jī)器可讀介質(zhì)。這種機(jī)器可讀介質(zhì)可由以下中的任意一種例示：硬盤驅(qū)動器(無論是基于盤片還是基于固態(tài)驅(qū)動器(SSD))；存儲器(比如閃存驅(qū)動器、SD卡、緊湊型閃存(CF)卡等)；CD ROM；CD RAM；DVD(包括-R/-RW、RAM和+R/+RW)；任何形式的磁帶；任何形式的磁光存儲；被發(fā)送信號(例如，互聯(lián)網(wǎng)下載、文件傳輸協(xié)議(FTP)下的傳輸?shù)?；電線等。

附圖說明

下面參照附圖僅以示例的方式詳細(xì)描述本發(fā)明的實(shí)施例，其中：

圖1示出了被設(shè)置為提供實(shí)施例的車輛；

圖2示出了由實(shí)施例執(zhí)行的圖像識別處理的示例；

圖3示出了在白天不同時間點(diǎn)使用涉及3D點(diǎn)云的照明不變性圖像的示例；

圖4示出了實(shí)施例的相對性能；

圖5示出了兩個實(shí)施例的相對性能，并突出顯示了針對這些實(shí)施例中的每一個而執(zhí)行定位的概率。

圖6示出了環(huán)境內(nèi)移動的示意圖，并且用于示出車輛的定位。

圖7示出了與實(shí)際速度相比單獨(dú)由每個并行數(shù)據(jù)流產(chǎn)生的代表性速度估算。

圖8示出了實(shí)施例的方法的流程圖；

圖9示出了包括附加的處理最優(yōu)化步驟的替換實(shí)施例；

圖10示意性地示出了如何使用來自活動圖像流的視覺測程(Visual Odometry)輸出來預(yù)測活動幀中的特征應(yīng)該在調(diào)查關(guān)鍵幀中重新投射的位置；以及

圖11示出了示出由于光照導(dǎo)致的極端變化的樣本圖像。

具體實(shí)施方式

結(jié)合包括傳感器100的監(jiān)測單元10來描述本發(fā)明的實(shí)施例，其中監(jiān)測單元10安裝在車輛102上。傳感器100被設(shè)置為：對其移動通過的環(huán)境進(jìn)行監(jiān)測并基于監(jiān)測產(chǎn)生數(shù)據(jù)，從而提供關(guān)于車輛102周圍的感測場景的數(shù)據(jù)。參照圖8來標(biāo)記方法步驟的參照標(biāo)號。

在本文的實(shí)施例中，車輛102提供穿過環(huán)境移動的可移動設(shè)備的示例。在其他實(shí)施例中，可移動設(shè)備可由車輛之外的其他物體提供。

在所述的實(shí)施例中，傳感器100是無源傳感器(即，不產(chǎn)生輻射并且僅檢測輻射)，特別是照相機(jī)。更具體地，在所述的實(shí)施例中，傳感器100是立體照相機(jī)(比如PointGrey BumbleBee)；它包括兩個照相機(jī)104、106。本領(lǐng)域技術(shù)人員應(yīng)該理解，可由兩個單獨(dú)的照相機(jī)而非作為單個傳感器100來提供這種傳感器。然而，其他實(shí)施例可依賴于單個照相機(jī)。

在所述的實(shí)施例中，照相機(jī)104、106包括拜耳濾波器。該具體實(shí)施例基本上在以下波長處具有峰值靈敏度：如"Grasshopper 2gs2-fw technical reference manual"，Point Grey Research，2011(Point Grey Research.gs2-fw型小型偵察機(jī)2技術(shù)參照手冊.2011)中所述的分別針對藍(lán)色、綠色和紅色通道的470nm、540nm和620nm。本領(lǐng)域技術(shù)人員應(yīng)該理解，許多照相機(jī)具有拜耳濾波器，并且峰值靈敏度不同。

在圖1中示出的實(shí)施例中，車輛102正在沿道路108行進(jìn)，并且傳感器100隨著車輛102的行進(jìn)對環(huán)境(例如，建筑物110、道路108等)進(jìn)行成像以產(chǎn)生該環(huán)境的圖像序列(802)。在該實(shí)施例中，監(jiān)測單元100還包括處理電路112，處理電路112被設(shè)置為從傳感器100中捕獲數(shù)據(jù)并隨后處理來自傳感器100的捕獲的圖像(804a、804b、806、808)。在所述的實(shí)施例中，處理電路112還包括存儲裝置114，或者處理電路112可以訪問存儲裝置114。

圖1的下部示出了常見的處理電路112中可存在的部件?？商峁┨幚韱卧?18，其可以是諸如i5^TM、i7^TM、Athlon^TM、Sempron^TM、Phenom^TM、A5、A7處理器之類的X86處理器。處理單元118被設(shè)置為經(jīng)由系統(tǒng)總線120與I/O子系統(tǒng)122(并因此與外部網(wǎng)絡(luò)、顯示器等)和存儲器124進(jìn)行通信。

本領(lǐng)域技術(shù)人員應(yīng)該理解，存儲器124可由包括任何形式的機(jī)器可讀數(shù)據(jù)載體(諸如易失性存儲器、硬盤驅(qū)動器、非易失性存儲器等)的各種部件提供。實(shí)際上，存儲器124包括受處理單元118控制或者以其他方式連接至處理單元118的多個部件。

然而，存儲器124通常提供程序存儲部分126和數(shù)據(jù)存儲部分128，其中程序存儲部分126被設(shè)置為存儲被執(zhí)行時執(zhí)行動作的程序代碼，數(shù)據(jù)存儲部分128可用于暫時性和/或永久性地存儲數(shù)據(jù)。

在其他實(shí)施例中，處理電路112的至少一部分可從車輛遠(yuǎn)程地提供。因此，可以預(yù)見的是，在車輛102外或者部分在車輛102上且部分在車輛102外執(zhí)行對傳感器100產(chǎn)生的數(shù)據(jù)的處理(802)。在車輛上和車輛外均提供處理電路的實(shí)施例中，便使用網(wǎng)絡(luò)連接(比如3G UMTS(全球移動通信系統(tǒng))、4G(比如移動WiMAX和長期演進(jìn)(LTE))、WiFi(IEEE 802.11)等)。

在示出的實(shí)施例中，程序存儲部分126至少包括圖像處理器132、興趣點(diǎn)檢測器、視覺測程(VO)系統(tǒng)128和計時器130。視覺測程是通過分析關(guān)聯(lián)的照相機(jī)圖像(806、808)來確定位置和指向(810)的過程；其能用作為使用序列圖像的航位推測法的形式。其也能用于確定相對于存儲的非序列圖像或者相對于存儲的環(huán)境的表示的位置和指向(810)。在替換或者附加的實(shí)施例中，傳感器100可提供時間和日期信息，消除對單獨(dú)的定時器的需要。

在所述的實(shí)施例中的數(shù)據(jù)存儲部分128包含圖像數(shù)據(jù)(即，來自傳感器的圖像序列)136、環(huán)境的表示138(即，環(huán)境的表示——不論是表示環(huán)境的先驗?zāi)Ｐ瓦€是存儲的圖像)和軌跡數(shù)據(jù)134。在一些實(shí)施例中，圖像數(shù)據(jù)136和環(huán)境的表示138形成單個數(shù)據(jù)集。在不使用VO系統(tǒng)128來計算軌跡的實(shí)施例中，軌跡數(shù)據(jù)134可不存在或者采用不同的形式。

處理電路112從傳感器100接收圖像數(shù)據(jù)，并且其被設(shè)置為處理如下所述的圖像數(shù)據(jù)(804a、804b、806、808)。然而，該處理的至少一部分被設(shè)置為提供所謂的視覺測程(VO)系統(tǒng)，其轉(zhuǎn)而被用作為定位處理的一部分。本領(lǐng)域技術(shù)人員應(yīng)該理解，車輛或者其他的可移動設(shè)備的定位是對環(huán)境中車輛等的位置的確定。

處理電路112對圖像數(shù)據(jù)的處理包括所謂的基于關(guān)鍵幀的視覺測程(VO)管線。關(guān)鍵幀包括特征檢測、地標(biāo)、描述符、至先前/另一關(guān)鍵幀的相對變換和時間戳。在所述的實(shí)施例中，出于可視化目的將從傳感器100輸出的圖像存儲起來。在此，來自傳感器100的圖像序列一個圖像接一個地提供所謂的圖像管線。在所述的實(shí)施例中，傳感器是立體照相機(jī)對，因為如此，由傳感器100產(chǎn)生的圖像管線(802)包括成對的圖像流，其中通過照相機(jī)104、106中的每一個獲得來自每一對的其中一個圖像。因此，圖像對中的每個圖像基本上在同一時間獲得。

處理電路112被設(shè)置為提供興趣點(diǎn)檢測器，其被設(shè)置為處理圖像流中的兩個立體圖像以從那些圖像中提取特征。在所述的實(shí)施例中，通過如E.Rosten,G.Reitmayr,and T.Drummond,"Real-time video annotations or augmented reality",in Advances in Visual Computing,2005(E.Rosten,G.Reitmayr和T.Drummond.“實(shí)時視頻注釋或者增強(qiáng)現(xiàn)實(shí)”.可視計算進(jìn)展，2005)中所述的FAST(加速段測試特征)檢測器來提供興趣點(diǎn)檢測器。本領(lǐng)域技術(shù)人員應(yīng)該理解，可提取不同的特征，并且可使用不同的方法來識別特征。

一旦提取了特征，處理電路進(jìn)一步被設(shè)置為在每對的每個圖像內(nèi)定位相同的特征；即，查找立體對應(yīng)。所述實(shí)施例使用基于塊(patch)的匹配處理來協(xié)助圖像中的這種對應(yīng)點(diǎn)的定位。另外，在所述的實(shí)施例中，處理電路進(jìn)一步被設(shè)置為針對每個立體測量計算如M.Calonder,V.Lepetit,M.Ozuysal,T.Trzcinski,C.Strecha,and P.Fua,"Brief:Computing a local binary descriptor very fast",IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.34,no.7,pp.1281-1298,2012(M.Calonder,V.Lepetit,M.Ozuysal,T.Trzcinski,C.Strecha和P.Fua.“簡介：非常快地計算本地二進(jìn)制描述符”.《模式分析和機(jī)器智能》(IEEE學(xué)報)，2012年第34卷第7期的第1281-1298頁)中所述的BRIEF描述符。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，BRIEF描述符是合適的描述符類型的一個示例，并且可使用其他描述符。

除了確定立體對應(yīng)之外，處理電路還被設(shè)置為計算每個提取的特征相對于照相機(jī)104、106的幀的位置的3D估算。當(dāng)獲得新的立體幀(即，圖像流中的下一幀)的時候，提取特征并且最初使用BRIEF匹配(在使用不同描述符的實(shí)施例中，使用對應(yīng)的匹配方法)來將特征匹配至先前的幀(808)，然后使用基于塊的匹配來細(xì)化特征以實(shí)現(xiàn)子像素對應(yīng)，下面進(jìn)一步描述基于塊的匹配。

因此，由于處理電路112在圖像流的各幀之間追蹤提取的特征，VO系統(tǒng)建立車輛102的軌跡。在所述的實(shí)施例中，處理電路112為了異常值拒絕還采用RANSAC(詳見M.A.Fischler and R.C.Bolles,"Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography",Communications of the ACM,vol.24,p.381395,1981(M.A.Fischler和R.C.Bolles.“隨機(jī)樣本一致性：應(yīng)用于圖像分析和自動制圖的模型擬合的范例”.美國計算機(jī)協(xié)會通訊，1981年第24卷第381395頁))以改善軌跡估算。作為最后一步，由非線性求解器來提供軌跡以產(chǎn)生幀對幀變換估算。

至少一些實(shí)施例(包括正在描述的實(shí)施例)參考先前捕獲的或者以其他方式產(chǎn)生的車輛102移動穿過的環(huán)境的表示，該表示可被認(rèn)為是環(huán)境和/或先驗的模型?？赏ㄟ^使調(diào)查車輛穿過環(huán)境移動并記錄由VO系統(tǒng)產(chǎn)生的參數(shù)中的至少一些來捕獲該表示。例如，可通過以下參數(shù)中的至少一些來提供該表示：具有特征位置的一系列關(guān)鍵幀、描述符(例如,BRIEF描述符)、像素塊、3D地標(biāo)、相對變換估算等。

在替換或者附加實(shí)施例中，先前捕獲的環(huán)境模型不可用或者可能不是唯一依賴的。在這些替換或者附加實(shí)施例中，可執(zhí)行基于經(jīng)驗的導(dǎo)航，其中，根據(jù)隨著車輛102穿過環(huán)境移動而產(chǎn)生的來自傳感器的圖像(802)來建立環(huán)境地圖。將從傳感器中捕獲的圖像中的識別到的特征與早期圖像中的識別到的特征相匹配(808)。

因此，實(shí)施例在如專利申請PCT/GB2013/050299-METHOD OF LOCATING A SENSOR AND RELATED APPARATUS(PCT/GB2013/050299–定位傳感器的方法及相關(guān)設(shè)備)中例示出的所謂的基于經(jīng)驗的導(dǎo)航中或者定位均可使用。

不管使用基于經(jīng)驗的導(dǎo)航、對照環(huán)境的先驗?zāi)Ｐ偷膶?dǎo)航還是二者的組合，定位可以是所謂度量的或是拓?fù)涞摹Ｔ谒^的度量定位中存在坐標(biāo)系，可移動設(shè)備的位置可參照該坐標(biāo)系。

通常將構(gòu)成表示的參數(shù)存儲在數(shù)據(jù)存儲部分128中，但是處理設(shè)備112可以其它方式訪問。

在使用中，車輛102上采用的實(shí)施例被設(shè)置為處理VO系統(tǒng)的輸出并且也處理由先前存儲的參數(shù)構(gòu)成的表示。為了將當(dāng)前圖像流定位至表示，實(shí)施例被設(shè)置為使用如上述實(shí)施例中的類似的VO管線。然而，活動VO管線被設(shè)置為與表示中保存的一個或者多個關(guān)鍵幀相匹配，而不是與先前的照相機(jī)幀相匹配。

在一些實(shí)施例中，經(jīng)由存儲的環(huán)境的圖像保存表示(即，采用基于經(jīng)驗的導(dǎo)航的實(shí)施例)，并且在這種實(shí)施例中，相對于那些存儲的環(huán)境圖像執(zhí)行定位。調(diào)查車輛可用于在較早日期產(chǎn)生存儲的圖像。作為替代或者此外，也可將設(shè)備設(shè)置為在其行進(jìn)時收集存儲的圖像。

作為替代或者此外，可通過點(diǎn)云(諸如LIDAR產(chǎn)生的點(diǎn)云)提供模型。

如上所述，至少一些實(shí)施例(包括正在描述的實(shí)施例)使用基于塊的處理來簡化VO處理。由于匹配活動視圖(即，從照相機(jī)104、106中輸出的當(dāng)前圖像)與調(diào)查視圖(即，對照可包括存儲的圖像的表示匹配)的魯棒性提高，采用這種基于塊的處理的實(shí)施例是有利的?；趬K的方法試圖預(yù)測調(diào)查幀(例如，表示的關(guān)鍵幀)中的測量應(yīng)當(dāng)怎樣在活動幀(例如，從照相機(jī)104、106中輸出的圖像)中重新投影。實(shí)施例中的至少一些被設(shè)置為使用地圖、測量、先驗姿態(tài)估算和最新VO估算中的不確定性來計算從表示的圖像到來自照相機(jī)104、106的當(dāng)前圖像的重新投影測量的協(xié)方差。繼而，該協(xié)方差能夠用于定義如圖10(稍后討論)中示出的活動視圖中的搜索區(qū)域。產(chǎn)生這種搜索區(qū)域的實(shí)施例是有利的，因為其減少了不良數(shù)據(jù)關(guān)聯(lián)的可能性。

實(shí)施例被設(shè)置為處理來自表示的圖像和來自照相機(jī)的圖像中的至少一個以消除如現(xiàn)在所述的圖像中的光照的影響(即，變換圖像)。因此，實(shí)施例通常產(chǎn)生變換圖像序列，其中序列的每個圖像對應(yīng)于來自已經(jīng)變換的從照相機(jī)中輸出的圖像序列的圖像。為了提高與光照的變化無關(guān)的圖像中的匹配特征的可能性，這種實(shí)施例是有利的。一些實(shí)施例可被設(shè)置為處理來自模型的圖像和來自照相機(jī)的圖像以消除光照的影響。

具體來說，為了執(zhí)行塊匹配，給定用于潛在匹配的搜索區(qū)域的實(shí)施例查找使來自表示的圖像的參照塊與來自照相機(jī)的圖像之間的分?jǐn)?shù)最小化的子像素位置。然而，如圖2中所示，當(dāng)來自表示的圖像202(在圖2中被標(biāo)識為視覺存儲)和來自照相機(jī)的圖像200(在圖2中被標(biāo)識為活動流RGB)之間的外觀變化(例如，由于光照影響的變化)過于顯著的時候這種方法會失敗。因此，實(shí)施例被設(shè)置為產(chǎn)生所謂的照明不變性圖像，其使用自標(biāo)準(zhǔn)RGB色彩空間的變換，標(biāo)準(zhǔn)RGB色彩空間是正在描述的實(shí)施例中的照相機(jī)的輸出。

因此，在所述實(shí)施例中，將通過來自一個圖像的興趣點(diǎn)檢測器從圖像中提取的特征與從另一圖像中提取的特征相比較(806)，該另一圖像通常為如其他地方所述的存儲的圖像或者變換的存儲的圖像。通常由諸如圖9中的處理920和922的定位處理來提供該比較(806)。因此，在進(jìn)行比較時，定位器確定圖像和/或變換圖像與表示之中的對應(yīng)特征(808)。因此，該比較也可被稱為特征匹配、塊匹配等。

圖2的左手邊區(qū)域示出了從照相機(jī)104、106中的一個中產(chǎn)生的圖像序列的一部分200。本領(lǐng)域技術(shù)人員應(yīng)該理解，在所述實(shí)施例中，圖像序列是立體序列(即，每個場景的每個實(shí)例有兩個圖像)，然而為了清楚和方便起見，僅示出了圖像的立體序列中的一個。在所述實(shí)施例中，圖像是RGB圖像。圖像中的至少一些(通常每一個)可具有與其相關(guān)聯(lián)的元數(shù)據(jù)。這種元數(shù)據(jù)可包括以下中的一種或者多種：時間戳、位置和照相機(jī)光譜響應(yīng)、構(gòu)造、模型、曝光、增益、快門和/或控制等。

圖2的中央?yún)^(qū)域202示出了構(gòu)成存儲器124中保存的表示的至少一部分的存儲圖像序列的一部分。這些存儲圖像通常是上述關(guān)鍵幀。

圖2的右手邊區(qū)域204示出了已經(jīng)應(yīng)用了變換804a、804b(如下更詳細(xì)描述)的變換圖像序列，該變換消除了圖像上的照明的影響。因為如此，已經(jīng)應(yīng)用了變換的圖像204可被認(rèn)為是照明不變性圖像序列。通過處理電路112產(chǎn)生變換圖像，處理電路112將圖像序列作為輸入并且應(yīng)用變換804a、804b以產(chǎn)生變換圖像204。變換圖像還可具有與其相關(guān)聯(lián)的元數(shù)據(jù)。

在傳感器100不同于照相機(jī)的替換實(shí)施例中，可由另一種形式的環(huán)境表示代替圖像。例如，如果使用LIDAR，則可通過掃描儀產(chǎn)生的點(diǎn)云來提供環(huán)境表示。

將圖像序列200和變換圖像序列204與圖2中作為一系列存儲圖像202的表示相比較(806)。在圖2中示出的示例中，存儲圖像202與圖像200的比較(806)不能將圖像200中的點(diǎn)206、208和210識別為對應(yīng)于存儲圖像202中的點(diǎn)212、214和216。在此可以看出，圖像200包含大量陰影，盡管圖像200處于與對應(yīng)的存儲圖像202相同的環(huán)境，也導(dǎo)致了該識別失敗。

然而，實(shí)現(xiàn)了與存儲圖像202中的點(diǎn)224、226和228相對應(yīng)的變換圖像中的點(diǎn)218、220和222的成功的識別?？梢姡谧儞Q圖像中(可回顧該變換圖像是所述實(shí)施例中的照明不變性圖像)，已經(jīng)移除了(或者至少顯著地減少了)陰影，從而增加了變換圖像204和存儲圖像202之間的相似性。

在參照圖2所述的實(shí)施例中，丟棄由圖像200和存儲圖像202的非確定性比較所產(chǎn)生的數(shù)據(jù)，并且使用由變換圖像204的成功的比較所產(chǎn)生的數(shù)據(jù)來定位車輛102。也就是說，在本實(shí)施例中，做出使用圖像200還是變換圖像204來定位車輛102的決定。

在所述實(shí)施例中使用至照明不變性色彩空間的變換。在其他實(shí)施例中，使用不同的或者附加的變換，例如，至不同色彩空間的變換，諸如灰度等級或者另一單色色彩空間、或者照明不變性灰度等級色彩空間等。

現(xiàn)在描述用于將圖像200變換(804a或者804b)至照明不變性色彩空間的變換。使用這種變換的實(shí)施例在一定范圍的戶外照明條件下具有改善的場景外觀一致性。作為針對照明不變性成像(或稱為色彩恒常性(colour constancy))的最先進(jìn)方法的最新綜述，請讀者參照D.H.Foster,"Color constancy",Vision research,vol.51,no.7,pp.674-700,2011(D.H.Foster.“色彩恒常性”.《視覺研究》，2011年第51卷第7期第674-700頁)。

以下等式描述了光譜靈敏度為F(λ)的線性圖像傳感器R對發(fā)射光譜功率分布為E(λ)的照明源在表面反射率為S(λ)的物體上的入射的響應(yīng)之間的關(guān)系，如G.D.Finlayson and S.D.Hordley,"Color constancy at a pixel",JOSA A,vol.18,no.2,pp.253-264,2001(G.D.Finlayson和S.D.Hordley.“像素處的色彩恒常性”.《JOSA A》,2001年第18卷第2期第253-264頁)中所述：

R^x,E＝a^x.n^xI^x∫S^x(λ)E^x(λ)F(λ)dλ (1)

其中，單位向量a^x和n^x表示光源的方向和表面法線的方向，并且I^x表示在場景中的點(diǎn)x上的照明的強(qiáng)度。我們期望從等式(1)獲得取決于表面在點(diǎn)x處的材料屬性S^x(λ)的圖像特征同時最小化照明源光譜E^x(λ)和強(qiáng)度I^x的影響。所述實(shí)施例遵循上述G.D.Finlayson和S.D.Hordley的論文中的方法，并且假設(shè)能夠?qū)⒐庾V靈敏度函數(shù)F(λ)建模為以波長λ_i為中心的狄拉克δ函數(shù)，其產(chǎn)生以下響應(yīng)函數(shù)：

R^x_,^E＝a^x.n^xI^xS^x(λ_i)E^x(λ_i) (2)

雖然對于大多數(shù)實(shí)際的圖像傳感器而言無限窄帶光譜響應(yīng)假設(shè)是不現(xiàn)實(shí)的，但是S.Ratnasingam and S.Collins,"Study of the photodetector characteristics of a camera for color constancy in natural scenes",JOSA A,vol.27,no.2,pp.286-294,2010(S.Ratnasingam和S.Collins.“對于自然場景中色彩恒常性的照相機(jī)的光電探測器特性的研究”.《JOSA A》,2010年第27卷第2期第286-294頁)中的結(jié)果指出，在該假設(shè)下，使用現(xiàn)實(shí)的60nm-100nm半峰全寬(FWHM)傳感器響應(yīng)來維持了色彩恒常性能。

所述實(shí)施例對等式(2)的兩邊取對數(shù)以分離分量，如下所示：

log(R^x,E)＝log{G^xI^x}+log{S^x(λ_i)}+log{E^x(λ_i)} (3)

其中,G^x＝a^x.n^x是照明和場景之間的相對幾何。這產(chǎn)生三個分量的線性組合：場景幾何和強(qiáng)度分量；照明光譜分量；以及表面反射率分量。對于由自然光照照明的室外場景而言，將照明光譜建模為黑體源是合理的(見上述G.D.Finlayson和S.D.Hordley的論文)，并且因為如此，我們可以用對黑體源的維恩近似來替代等式(3)中的照明光譜項。

其中，h是普朗克常量，c是光速，k_B是玻爾茲曼常量，并且T是黑體源的相關(guān)色溫。注意，對于本文中術(shù)語“照明不變性”的所有引用，參照做出源照明近似為黑體的這種假設(shè)的色彩空間?？梢灶A(yù)見的是，其他的實(shí)施例可使用不能假設(shè)照明近似為黑體的其他假設(shè)。

可通過合并不同波長λ_i處的傳感器響應(yīng)來消除等式(4)的第一和第三項。所述實(shí)施例遵循S.Ratnasingam and S.Collins,"Study of the photodetector characteristics of a camera for color constancy in natural scenes",JOSA A,vol.27,no.2,pp.286-294,2010(S.Ratnasingam和S.Collins.“對于自然場景中色彩恒常性的照相機(jī)的光電探測器特性的研究”.《JOSA A》,2010年第27卷第2期第286-294頁)中提出的方法，并且使用由對應(yīng)于有序波長λ₁<λ₂<λ₃處的峰值靈敏度的三個傳感器響應(yīng)R₁、R₂、R₃組成的一維色彩空間

如果參數(shù)滿足以下約束，則色彩空間將獨(dú)立于相關(guān)色溫T：

其簡化為：

因此，僅僅知道拜耳濾波器的峰值光譜響應(yīng)就能為給定的照相機(jī)唯一地確定α。經(jīng)常可從提供有數(shù)據(jù)源的數(shù)據(jù)表中獲得α的值。例如，對于Point Grey Bumblebee2照相機(jī)而言，α＝0.4800。

如在S.Ratnasingam and T.M.McGinnity,"Chromaticity space for illuminant invariant recognition",Image Processing,IEEE Transactions on,vol.21,no.8,pp.3612-3623,2012(S.Ratnasingam和T.M.McGinnity.“針對照明不變性識別的色品空間”.《圖像處理》(IEEE學(xué)報)，2012年第21卷第8期第3612-3623頁)中示出的那樣，狄拉克-δ傳感器響應(yīng)和黑體源假設(shè)為主要通過自然光照照明的室外場景中的色彩辨別提供好的結(jié)果。注意，單個照明不變性特征通常不足以唯一地識別特定的色彩，然而足以區(qū)分場景中的不同表面(S.Ratnasingam and S.Collins,"Study of the photodetector characteristics of a camera for color constancy in natural scenes",JOSA A,vol.27,no.2,pp.286-294,2010(S.Ratnasingam和S.Collins.“對于自然場景中色彩恒常性的照相機(jī)的光電探測器特性的研究”.《JOSA A》,2010年第27卷第2期第286-294頁))。

如圖3中示出了照明不變性色彩空間。盡管上午9點(diǎn)和下午5點(diǎn)捕獲的圖像之間的日照角度、陰影圖案和照明光譜的變化較大，但是兩個照明不變性圖像都顯示出明顯減少的變化。具體地，可以看出，圖像300是在上午9:00捕獲的圖像，而圖像302是17:00捕獲的。本領(lǐng)域技術(shù)人員應(yīng)該注意，圖像300和302之間存在顯著的照明(例如，陰影)變化差異。304是由圖像300產(chǎn)生的變換圖像，并且306是由圖像302產(chǎn)生的變換圖像?？梢钥闯?，已經(jīng)顯著地減小了照明變化的影響，并且變換圖像304和306大部分相似。

308示出了環(huán)境的3D LIDAR點(diǎn)云模型，并且在一個實(shí)施例中，用作為與圖像和/或變換圖像相比較以定位車輛102的表示。

使用等式(5)的對來自照相機(jī)的圖像流的變換可在每個像素上執(zhí)行，因此就處理電路112所需的處理量而言是便宜的。因為如此，可將實(shí)施例設(shè)置為與其他計算任務(wù)并行地執(zhí)行變換。

因此，至少一些實(shí)施例使用兩個并行處理：VO管線將來自表示的圖像(即，存儲圖像)與來自照相機(jī)的圖像相比較(806)；以及第二VO管線將來自表示的圖像(即，存儲圖像)與已經(jīng)變換的來自照相機(jī)的圖像(即，變換圖像)相比較(806)。

在替代或者附加實(shí)施例中，來自表示的圖像(即，存儲圖像)在所使用的一個或者多個VO管線中被變換(即，變換的存儲圖像)。在一些實(shí)施例中，一個VO管線將來自照相機(jī)的活動圖像與來自照相機(jī)的早期圖像(即，存儲圖像)相比較，并且第二VO管線將變換的來自照相機(jī)的圖像與來自照相機(jī)的早期圖像(即，存儲圖像)相比較。在替代或者附加實(shí)施例中，在至少一個VO管線中使用之前將來自照相機(jī)的早期圖像進(jìn)行變換。在替代實(shí)施例中，來自照相機(jī)的圖像不被變換，并且來自照相機(jī)的早期圖像被變換。

因此，至少一些實(shí)施例(包括正在描述的實(shí)施例)并行地運(yùn)行兩個VO管線。在替代或者附加實(shí)施例中，使用多于兩個VO管線。在一些實(shí)施例中，三個以上的VO管線在處理電路112中可供使用，并且在某些時間段期間并行地使用少于可使用的VO管線總數(shù)量的VO管線。例如，RGB、灰度等級和照明不變性變換VO管線可能是可使用的，并且在白天期間或者當(dāng)光照等級高于閾值時，只使用RGB和照明不變性變換VO管線。

應(yīng)當(dāng)理解，在夜間，照明來自黑體輻射的假設(shè)可能無效，因此照明不變性變換可能不如期望般執(zhí)行。因為如此，在夜間或者當(dāng)光照等級低于閾值時，可只使用灰度等級和照明不變性變換VO管線。在一些示例中，可在各環(huán)境狀態(tài)之間的轉(zhuǎn)換點(diǎn)附近使用更多或者所有可用的管線。在上述給出的示例中，可在傍晚和黎明時或者當(dāng)光照等級接近或者處于閾值處時，并行地使用全部RGB、灰度等級和照明不變性VO管線。

在所述實(shí)施例中，如果基于來自照相機(jī)的未變換圖像的VO管線能夠被用于定位車輛102的位置(810)，則使用該VO管線。然而，如果這種定位失敗，就使用基于來自照相機(jī)的變換圖像的其他VO管線來試圖對車輛102的位置進(jìn)行定位。

在圖7的圖表700中突出顯示了本實(shí)施例中默認(rèn)使用“基線”系統(tǒng)的原因，其示出了使用照明不變性VO管線(線704)和不使用照明不變性VO管線(線702)的代表性速度變化圖。使用照明不變性VO管線的速度估算704比使用RGB VO管線的速度估算702要噪聲更大，并且當(dāng)與地面實(shí)況相比時似乎有輕微的偏斜。

因為該原因，由VO管線產(chǎn)生的位置的兩種估算不進(jìn)行融合；相反，在可能的情況下，系統(tǒng)以默認(rèn)使用基線系統(tǒng)的策略(對來自照相機(jī)104、106的圖像不執(zhí)行變換)來并行地使用這兩種估算并且在它們之間轉(zhuǎn)換。

在其他實(shí)施例中,不同地定義基線或者沒有定義的基線,并且依靠所提供的定位估算的質(zhì)量來決定使用哪個VO管線?？筛鶕?jù)所匹配的特征的數(shù)量(808)和/或被發(fā)現(xiàn)為正確的匹配的關(guān)聯(lián)確定性來評估定位估算的質(zhì)量。

圖8提供了實(shí)施例的方法的流程圖。如先前所述的那樣，步驟804a和804b是來自照相機(jī)的圖像序列的變換。在一些實(shí)施例中，變換A(804a)和變換B(804b)之一不變換，即，使用來自傳感器的未變換圖像。在替代實(shí)施例中，兩個變換步驟(804a、804b)均變換來自照相機(jī)的圖像。

在圖9中示出的實(shí)施例中，由處理電路112提供的圖像處理系統(tǒng)900更加復(fù)雜。如前所述，圖像處理系統(tǒng)900中的路徑被稱為VO管線。

來自照相機(jī)的圖像902經(jīng)歷兩個變換804a、804b(RGB至照明不變性904a和RGB至單色904b)，形成兩個產(chǎn)生的圖像流，其中每一個包括變換圖像904。

在本實(shí)施例中，由存儲圖像910提供環(huán)境的表示。此處存儲圖像910是RGB圖像，但這不是必須的，并且其他的實(shí)施例可存儲變換圖像。

在所述實(shí)施例中，存儲圖像910經(jīng)歷與那些被執(zhí)行以產(chǎn)生變換圖像904a和904b的變換等效的變換914a、914b，從而形成用于在定位處理810中使用的兩組變換存儲圖像916、918。在替代實(shí)施例中，存儲圖像經(jīng)歷單次變換或者不變換，或者經(jīng)歷多次變換以產(chǎn)生多組存儲變換圖像。

因此，可以看出，對照存儲變換(照明不變性)圖像918來定位照明不變性變換圖像904a(920)。對照存儲變換(單色)圖像916來定位單色變換圖像904b(922)。

如上所述，在所述實(shí)施例中，VO管線不融合并且關(guān)于應(yīng)當(dāng)使用哪個管線來定位車輛102做出簡單的OR選擇924。因此，該方法選擇兩個VO管線中的一個以定位該設(shè)備。

圖10用于描述在一些實(shí)施例中所采用的用于協(xié)助定位處理的另一方法。如上所述，照相機(jī)產(chǎn)生諸如圖2中示出的圖像200的圖像序列(802)。在圖2中，該圖的前方200a處示出的圖像可被認(rèn)為是活動圖像(即，當(dāng)前被處理的圖像)，并且在此之前產(chǎn)生的圖像(圖2中的后方)可被認(rèn)為是先前圖像200b。本領(lǐng)域技術(shù)人員應(yīng)該理解，此處圖像事實(shí)上可與如使用一對照相機(jī)的所述實(shí)施例中的立體圖像對有關(guān)。

在所述實(shí)施例中，VO管線使用至少來源于先前圖像200b的信息來限制活動圖像200a中的定位處理810。除了使用先前圖像之外，或者不使用先前圖像，其他實(shí)施例可使用先前圖像之前的圖像來限制定位處理810。

在定位系統(tǒng)900中，從照相機(jī)輸出的圖像序列用于計算車輛102的軌跡。在圖10中，先前圖像200b中突出顯示了三個點(diǎn)1000a、1000b、1000c。在活動圖像200a內(nèi)的1002a、1002b、1002c處突出顯示這三個相同的點(diǎn)。然而，可以看出，當(dāng)與點(diǎn)1000進(jìn)行比較的時候點(diǎn)1002相對于圖像已經(jīng)移動了。這種相對運(yùn)動是由于車輛102的移動。

如果針對先前圖像200b和位于存儲圖像1006(例如，存儲的場景或者環(huán)境的模型)中的點(diǎn)已經(jīng)發(fā)生了定位，那么能夠?qū)⒋鎯Φ膱D像中的點(diǎn)1000a、1000b、1000c的位置連同車輛102的軌跡一起用于限制對于活動圖像中的點(diǎn)1002a、1002b、1002c的搜索。

使用這種限制搜索的方法的實(shí)施例是有利的，因為它們更有效率并且虛假匹配的可能性減小。如結(jié)合圖10概述的該方法可被稱為塊匹配。

在一個實(shí)施例中，由于使用照明不變性圖像的VO軌跡估算并不和使用單色圖像(如別處所述)的那些軌跡估算一樣精確，來自單色圖像的VO軌跡估算用于在照明不變性特征空間中執(zhí)行特征預(yù)測。換言之，能夠?qū)碜詥紊珗D像的最新的幀對幀VO軌跡估算920用于幫助告知光照不變性VO管線918到哪里尋找。

與圖9中示出的那些類似的實(shí)施例使用未變換圖像VO管線以與如上結(jié)合圖10所述的塊匹配類似的方式來限制變換圖像VO管線。即，能夠?qū)奈醋儞Q圖像VO管線中獲得的特征預(yù)測用于預(yù)測特征應(yīng)該在變換圖像VO管線中的哪里出現(xiàn)，這能夠增加變換圖像VO管線的魯棒性。應(yīng)該理解，圖9的兩個VO管線均依賴于變換圖像(RGB至單色和RGB至照明不變性)。

圖11示出了突出顯示測試車輛102沿路線的各部分而遭遇到的極端的視覺變化的圖像。圖11中的每個圖像的車輛102周圍的環(huán)境的視圖相同，但是由于光照的變化而顯得不同。

作為對以下描述的術(shù)語的清楚說明，不使用不變性圖像(僅RGB；即，使用未變換圖像VO管線)的系統(tǒng)是基線系統(tǒng)，使用不變性圖像(即，變換圖像VO管線)的系統(tǒng)只是不變性系統(tǒng)，并且將上述兩者組合起來的系統(tǒng)是組合系統(tǒng)。

采集了十五個數(shù)據(jù)集并使用窮舉留一法處理，其中將每個數(shù)據(jù)集當(dāng)作活動圖像流，并且輪流地對照剩余的14個數(shù)據(jù)集執(zhí)行定位。

利用表I示出了結(jié)果，其顯示將15個數(shù)據(jù)集中的每一個用作活動運(yùn)行的百分比覆蓋率。這個百分比覆蓋率被定義為針對與之對照的14個數(shù)據(jù)集進(jìn)行平均而得到的成功地定位的幀的數(shù)量與幀的總數(shù)量之比。在所有情況中，不變性系統(tǒng)提供對基線系統(tǒng)的改進(jìn)，意味著組合系統(tǒng)總是表現(xiàn)勝過基線。應(yīng)該注意，盡管有困難的光照條件，但是基線系統(tǒng)已經(jīng)表現(xiàn)得很好。然而，在機(jī)器人技術(shù)(例如，自動駕駛車輛)的長期自主性的意義上，增加魯邦性是有用的，因此，任何可靠性的增加是有用的。

表1

比較我們的組合系統(tǒng)和基線系統(tǒng)的覆蓋率結(jié)果。覆蓋率被定義為：對每個測試數(shù)據(jù)集的14個訓(xùn)練數(shù)據(jù)集進(jìn)行平均而獲得的成功定位的幀的數(shù)量在捕獲的幀總數(shù)中所占分?jǐn)?shù)。

圖4示出了三種系統(tǒng)的定位性能：基線系統(tǒng)；不變性系統(tǒng)和組合系統(tǒng)。圖表400示出了所述實(shí)施例的針對行進(jìn)距離的成功定位。線402示出了一些區(qū)域，在這些區(qū)域中僅使用用于識別處理的圖像的基線系統(tǒng)成功地定位了車輛。該圖突出顯示了在大約190m至270m處存在大的區(qū)域403，在該區(qū)域中車輛未被定位。

線404示出了一些區(qū)域，在這些區(qū)域中不變性系統(tǒng)成功地定位了車輛(即，僅使用VO管線中的變換圖像)?？梢钥闯觯彰鞑蛔冃詧D像識別處理產(chǎn)生了相比RGB圖像識別處理更短的沒有定位的行進(jìn)距離，但是仍然存在未發(fā)生定位的區(qū)域(例如，405)。

線406示出了針對既使用未變換圖像管線又使用變換圖像管線的組合系統(tǒng)的圖表?？梢钥闯?，線406不包含任何間隙，因為如此，組合系統(tǒng)能夠在基本上在所有點(diǎn)處定位車輛102。

圖5示出了基線系統(tǒng)(500)盲目行進(jìn)達(dá)100米的可能性接近40％，然而，利用組合系統(tǒng)(502)，可能性僅為5％。因此，鑒于其增加的魯棒性和如圖5中所示的在困難的光照條件下定位車輛102的能力，提供組合系統(tǒng)的實(shí)施例是有利的。

在此參照圖6更加詳細(xì)地描述以上涉及到的定位處理。

如圖6中所示，對于在具有局部坐標(biāo)系R 602的已知3D場景S中的位置A 604處的車輛102而言，實(shí)施例僅使用在位置A 604處捕獲的單個照明不變性圖像來尋求變換G_AR。假設(shè)已知3D場景S由通過調(diào)查車輛采樣的點(diǎn)云(即，由上述表示提供)組成，其中，當(dāng)產(chǎn)生了表示時，每個點(diǎn)具有在調(diào)查時采樣的關(guān)聯(lián)先驗照明不變性特征

通過如下地使用照相機(jī)投影參數(shù)κ將q重新投影在圖像平面x上，求得從位置A 604觀察到的點(diǎn)q的外觀

為了恢復(fù)變換G_AR，力圖協(xié)調(diào)先驗外觀和從位置A 604觀察到的外觀之間的信息。定義目標(biāo)函數(shù)(f)，其測量來自位置A 604的點(diǎn)S_A的子集的視覺外觀和點(diǎn)的先驗外觀之間的差異，如下所示：

將歸一化信息距離(NID)選為目標(biāo)函數(shù)，因為其提供了對局部光照變化和遮擋魯棒的真實(shí)度量。

給定兩個離散型隨機(jī)變量{X,Y},將NID定義為為如下所示：

其中，H(X,Y)表示聯(lián)合熵，并且I(X；Y)表示互信息。

從等式(11)中用NID替代我們的目標(biāo)函數(shù)，產(chǎn)生如下結(jié)果：

因此，可以看出定位問題是等式11的最小化，如下所示：

可將初始估算設(shè)置為傳感器的先前位置，或者可并入由車輪編碼器、視覺測程或者另一源提供的增量運(yùn)動信息。

在一個實(shí)施例中，利用在N.Jorge and J.W.Stephen,"Numerical optimization",Springerverlang,USA,1999中討論的擬牛頓BFGS方法來求解上述等式(12)的最小化問題，其在Ceres(S.Agarwal,K.Mierle,and others,"Ceres solver",https://code.google.com/p/ceres-solver(S.Agarwal,K.Mierle和其他人，“Ceres解算器”，網(wǎng)址：https://code.google.com/p/ceres-solver/))中使用在A.D.Stewart and P.Newman,"Laps-localisation using appearance of prior structure:6-dof monocular camera localisation using prior pointclouds",in Robotics and Automation(ICRA),2012IEEE International Conference on.IEEE,2012,pp.2625-2632(A.D.Stewart和P.Newman,“使用現(xiàn)有結(jié)構(gòu)的外觀Laps定位：使用先驗點(diǎn)云的6自由度單目照相機(jī)定位”，《機(jī)器人與自動化》(ICRA)，2012年IEEE國際會議，2012年第2625-2632頁)中介紹的使用B樣條插值獲得的解析倒數(shù)來實(shí)施。在一種設(shè)置中，成本函數(shù)在OpenCL語言中實(shí)施，并使用Nvidia GTX Titan GPU來求解，每次估算大約需要8ms。這樣的處理時間允許本文中所述的實(shí)施例在被認(rèn)為是實(shí)時的情況下使用。此處，“實(shí)時”旨在表示隨車輛運(yùn)動，從而使得由本文中所述實(shí)施例提供的定位能夠用于建立車輛102的位置。