3d街道的制作方法
【專利摘要】提供了用于采集要與紋理化3D模型定位的圖像以及在使用來自該模型的紋理化信息的同時將采集的圖像與該模型對準以獲得新估計的姿態(tài)的方法和設備。這使得采集的圖像使用所述新估計的姿態(tài)與3D模型定位。在一個方面中，所述對準包括在3D模型中以估計的姿態(tài)渲染圖像并接著將采集的圖像與渲染的圖像對準。在另一個方面中，所述對準包括將采集的圖像以估計的姿態(tài)投影到3D模型上并接著將投影的采集的圖像與紋理化3D模型對準。在又一個方面中，所述對準包括將采集的圖像投影到紋理化3D模型上，在原始3D模型中渲染第一圖像，在采集的圖像被投影于其上的3D模型中渲染第二圖像，并接著將第一和第二圖像對準。
【專利說明】3D街道
【技術領域】
[0001]本發(fā)明涉及用于使用紋理化的3D模型來定位采集的圖像、特別是街道級別的圖像的方法和設備。
【背景技術】
[0002]現(xiàn)有技術中，提供數(shù)字地圖的地理信息系統(tǒng)是眾所周知的。通常情況下，三維地圖是基于由飛機對要3D建模的地形的一部分進行掃描而捕捉(或采集(acquire))的圖像來形成的。當捕捉圖像時，攝像機的位置可以由GPS獲得，并且圖像被進一步打上時間戳。飛機進一步配備有慣性測量單元(MU)，使得飛機旋轉的角度(其也被稱為滾轉、俯仰和偏航)可以被記錄。因此，針對每個捕捉的圖像記錄了攝像機的位置和姿勢(attitude)。
[0003]可以考慮攝像機的位置和姿勢(稱為導航數(shù)據(jù))來執(zhí)行對捕捉到的圖像的立體處理。將包括在基本相同的時間點捕捉的重疊的圖像數(shù)據(jù)的圖像對與導航數(shù)據(jù)相關，由此重疊圖像的每個分別的像素可以與地面上的地理坐標相關聯(lián)。立體處理意味著只使用圖像的與圖像對的另一圖像中的對應區(qū)域相匹配的那些部分。通過隨后使用三角函數(shù)，從攝像機平面到地面上給定的點的距離可以被計算，并且3D地圖表示可以被創(chuàng)建。
[0004]由于空域中良好的GPS信號接收條件以及用IMU設備得到的后期處理可能性，航拍圖像可以以高精度被定位。從這樣的圖像得到的3D表示產(chǎn)生了具有詳細的高分辨率紋理的高精度地理參考3D模型。然而，為了完成具有更加逼真的外觀的3D模型，可以用街道級別的圖像或者類似地用在中間高度處捕捉的圖像來對航拍影像進行補充。這可以通過用街道級別的影像來使3D模型紋理化以及通過在3D重建過程中使用街道級別的影像來完成。為了使這兩者中的任何一個成為可能，街道級別的影像必須相對于3D模型以高精度被定位，并且底層的3D模型必須具有足夠的紋理和幾何結構細節(jié)以使得街道級別的影像具有與3D模型的充分對應。利用盒子狀的建筑表示，在底層的3D模型中獲得充分的地理參考的細節(jié)是困難的，原因在于這些模型的幾何結構和紋理很少足夠精確地表示現(xiàn)實世界。然而，使用高細節(jié)的航拍3D模型，以充分的精確度定位街道級別的影像是可能的。用精確的街道級別的姿態(tài)(pose)，合并街道級別的影像以及3D重建諸如雕刻表面、陽臺、裝飾或精細的窗框之類的更加復雜的表面是可能的。因此，通過從街道級別的圖像增加細節(jié)，增強了航拍3D表示的真實外觀。
[0005]2006年第三屆3D數(shù)據(jù)處理、可視化和傳輸國際研討會(3DPVT’06)會議錄中，南加州大學 Hu 等人的 “ Integrating LiDAR, Aerial Image and Ground Images for CompleteUrban Building Modeling”公開了融合激光雷達數(shù)據(jù)、航拍圖像和地面視圖圖像用于創(chuàng)建精確的3D建筑模型的混合建模系統(tǒng)。以交互方式從高分辨率的航拍圖像提取用于復雜建筑形狀的輪廓，使用基于基元的方法基于激光雷達數(shù)據(jù)自動地使表面信息相適應，并且將高分辨率的地面視圖圖像集成到模型中以生成完全地紋理化的CAD模型。
[0006]盡管使用航拍圖像的3D建模通常會產(chǎn)生高質(zhì)量的定位，但是街道級別的3D建模通常遭受低質(zhì)量的定位。諸如例如由阻擋產(chǎn)生的GPS信號陰影、信號失真和在街道級別的車輛的相對多變的運動中MU數(shù)據(jù)的漂移之類的因素惡化了在地面級別上的測量。這使得記錄的街道級別圖像的位置是不精確的。進一步地，給定的實際攝像機的機械性能和光學性能與假定相同的攝像機的這些性能不同，這產(chǎn)生了錯誤的測量。而進一步的問題是，對準以非常不同的角度捕捉的圖像是很麻煩的，原因在于難于找到重疊的圖像數(shù)據(jù)。因此，當將街道級別的圖像投影到由航拍圖像得來的3D模型上時，由于用于捕捉街道級別的圖像的地面級別攝像機的姿態(tài)與航拍3D模型的地理參考細節(jié)不相符，所以存在不匹配的重大風險。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的一個目標是改進現(xiàn)有技術中以紋理化的3D模型來定位捕捉的(或采集的)圖像、特別是捕捉的街道級別的圖像的方法。隨后，采集的(街道級別的)圖像可以被應用到它們定位所用的3D模型，從而創(chuàng)建出增強的且更加逼真的3D模型，特別是通過添加進一步的紋理信息或細化幾何構造信息。
[0008]該目標通過根據(jù)獨立權利要求的使用紋理化3D模型來定位諸如街道級別圖像的捕捉的(或采集的)圖像的方法和設備而達到。優(yōu)選實施例由從屬權利要求定義。
[0009]為此，本發(fā)明提供了使用空間區(qū)域的紋理化3D模型來定位圖像的方法和設備。所述方法包括:采集要定位的圖像，該圖像表示所述空間區(qū)域的至少一部分；在使用包含在3D模型中的紋理信息的同時，將采集的圖像與該3D模型對準以獲得新估計的姿態(tài)；以及使用所述新估計的姿態(tài)來定位采集的圖像。所述設備具有用于執(zhí)行這些操作的處理裝置。
[0010]出于本申請的目的，采用“姿態(tài)”意指攝像機的位置和姿勢。術語“紋理化”和“紋理信息”被賦予其在計算機圖形和幾何建模領域中的普通含義?！凹y理化”可以基于攝影數(shù)據(jù)或手動輸入的圖形信息，特別是通過為3D模型中的表面分配顏色值?！安蹲健?或“采集”或“記錄”)圖像的操作可以指將諸如攝像機的成像設備處的入射光以計算機可讀形式編碼。圖像采集可以特別地由數(shù)字攝影領域中的本身已知的過程來執(zhí)行。進一步地，應當理解，術語“街道級別的圖像”不只是用于基本在地面級別以基本水平的攝像機姿勢采集的圖像，而且還可以更一般地指描繪由紋理化的3D模型表示的空間區(qū)域的一部分的任何(2D)圖像。這樣的圖畫可以由地面級別的攝像機、或者位于汽車或建筑結構中的升高的攝像機、飛機等等采集。應當清楚的是，在這個意義上，采集的(街道級別的)圖像也可以包含在紋理化的3D模型中出現(xiàn)的可視特征，因此采集的圖像可以相對于在紋理化的3D模型中使用的坐標而定位。
[0011]通過使用紋理信息，本發(fā)明相比現(xiàn)有技術的方法應用更廣泛。特別地，其提供了未以街道級別采集的、從而缺少地平線或類似結構的圖像的定位；在這樣的圖像中，紋理特征相比地平線是更加經(jīng)?？傻玫?，這允許使用包含在3D模型中的紋理信息來相對于3D模型定位圖像。
[0012]在本發(fā)明的第一方面中，提供了用于采集要與紋理化的3D模型定位的圖像以及以采集的圖像的估計姿態(tài)在3D模型中渲染圖像的方法和設備。采集的圖像與渲染的圖像對準，其中采集的圖像的新估計的姿態(tài)被確定。接著，使用所述新估計的姿態(tài)來定位采集的圖像。在本發(fā)明的所有方面中，對準步驟可以包括平移、旋轉和/或重新縮放采集的圖像，因此其在較小程度上與渲染的圖像不同；一般而言，姿態(tài)的變化意味著圖像經(jīng)歷了平移、旋轉和重新縮放的組合。
[0013]有利的是，通過使用已有的紋理化3D模型，大大改進了采集的圖像的定位。例如，很適合用于立體感的航拍圖像最初可以被捕捉以創(chuàng)建3D模型。通過向3D模型添加紋理，會促進隨后與采集的(或捕捉的)圖像的對準。具有質(zhì)量優(yōu)的定位和正確放置的紋理的創(chuàng)建3D模型的任何已知方法可以被用于定位采集的圖像。使用本發(fā)明的方法和設備，人造(或渲染的)圖像在紋理化3D模型中以任何姿態(tài)被獲得，其在理論上與對應的采集的圖像完全相同。在紋理化的3D模型中在任何位置獲得人造圖像的能力使得渲染的圖像的無窮集合能夠與采集的圖像相匹配。這進一步允許以估計的姿態(tài)生成圖像從而驗證所述估計的姿態(tài)。
[0014]在本發(fā)明的一個實施例中，采集的(街道級別的)圖像與渲染的圖像的對準進一步包括將采集的圖像與渲染的圖像相匹配。合適的是，在第一方面中，匹配步驟可以包括將第一 2D圖像中的點或區(qū)域與第二 2D圖像中的點或區(qū)域相關的過程。將街道級別的影像與由航拍影像生成的3D模型匹配的現(xiàn)有技術方法一般會遭受對街道級別圖像的照片的實際觀察角度的大的變化敏感這一問題。所述實際觀察角度對例如街道級別的圖像與3D模型中感興趣的區(qū)域有多相似有很大影響。從3D模型渲染圖像使得解決原始照片之間的較大的差異成為可能。進一步地，在3D模型中的任何位置渲染圖像的能力促進了對大的初始姿態(tài)估計誤差的處理。
[0015]現(xiàn)有技術的姿態(tài)估計過程通常從圖像之間的姿態(tài)差異來計算兩個圖像的特征點的深度。即所述深度不是已知的，其只在估計姿態(tài)的相同過程中被估計。在本發(fā)明中，所述深度可以從對于處理目的而言有價值的3D模型被提取。已知的現(xiàn)有技術特征匹配方法包括例如尺度不變量特征變換(SIFT)和加速強健特征(SURF)。
[0016]在本發(fā)明的另一個實施例中，渲染的圖像與采集的圖像之間的差異被確定。此后，多個圖像以緊鄰的姿態(tài)被渲染，以緊鄰的姿態(tài)被渲染的圖像分別與采集的圖像相比較。最后，相對于采集的圖像具有最小差異的渲染的圖像被選取用于對準。這是有利的，因為在對準開始之前就可能獲得作為采集的圖像的良好估計的經(jīng)渲染圖像。
[0017]在本發(fā)明的第二方面中，提供了用于采集要與紋理化的3D模型定位的圖像(諸如街道級別的圖像)和將采集的圖像以該采集的圖像的估計姿態(tài)投影到紋理化的3D模型上的方法和設備。投影的采集的圖像與紋理化3D模型對準，其中采集的圖像的新估計的姿態(tài)被確定。接著，使用所述新估計的姿態(tài)，采集的圖像被定位。投影的步驟可以包括將采集的圖像劃分為一個或多個子區(qū)域以及將所述一個或多個子區(qū)域與以紋理化3D模型編碼的表面相關聯(lián)。合適的是，在第二方面中，匹配步驟可以包括將已有的紋理化3D模型中的表面上的第一 2D紋理的點或區(qū)域與將采集的圖像投影到(紋理化的)3D模型上而得到的第二 2D紋理的點或區(qū)域相關的過程。換言之，第二 2D紋理可以是采集的圖像的子集，并可能經(jīng)歷了包括作為投影結果的非均勻縮放的透視畸變。另選地，匹配步驟可以包括將已有的紋理化3D模型中的點、表面區(qū)域或體積與將采集的圖像投影到模型上而得到的經(jīng)修改的紋理化3D模型中的點、表面區(qū)域或體積相關聯(lián)。
[0018]在本發(fā)明的第三方面中，提供了用于采集要與紋理化的3D模型定位的圖像(諸如街道級別的圖像)和將采集的圖像以該采集的圖像的估計姿態(tài)投影到紋理化的3D模型上的方法和設備。第一圖像在所述紋理化3D模型中被渲染，第二圖像在將采集的圖像投影到模型上而得到的經(jīng)修改的紋理化3D模型中使用相同的姿態(tài)被渲染。投影的采集的圖像與紋理化3D模型對準，其中采集的圖像的新估計的姿態(tài)被確定。接著，使用所述新估計的姿態(tài)，采集的圖像被定位。合適的是，在第三方面中，匹配步驟可以包括將(已有的紋理化3D模型中的)第一渲染的2D圖像中的點或區(qū)域與(將采集的圖像投影到模型上而得到的經(jīng)修改的紋理化3D模型中的)第二渲染的2D圖像中的點或區(qū)域相關。
[0019]在本發(fā)明的所有方面中，本發(fā)明的實施例可以包括如下步驟(或被配置為執(zhí)行如下步驟的處理裝置):一旦采集的圖像被定位，就從中提取信息，以及將該信息包括進紋理化3D模型中。要提取的信息可以是幾何性質(zhì)或者可以指呈現(xiàn)在紋理化3D模型上的表面的紋理。
[0020]值得注意的是，本發(fā)明涉及權利要求中記載的特征的所有可能的組合。當研究權利要求和下面的描述時，本發(fā)明進一步的特征和優(yōu)勢將變得明晰。本領域的技術人員將認識到，本發(fā)明的不同的特征可以被組合以建立下面描述的實施例之外的實施例。
【專利附圖】

【附圖說明】
[0021]參照附圖給出了本發(fā)明的實施例的詳細描述，其中:
[0022]圖1a示出了區(qū)域的完美渲染的3D模型；
[0023]圖1b示出了相同區(qū)域的更加逼真地渲染的3D模型；
[0024]圖2a示出了要在3D模型中定位的對象的街道級別的圖像；
[0025]圖2b說明了根據(jù)本發(fā)明的定位過程的第一步驟，其中在3D模型中使用街道級別的圖像姿態(tài)來渲染圖像；
[0026]圖3是說明根據(jù)本發(fā)明的定位過程的實施例的流程圖；
[0027]圖4是說明根據(jù)本發(fā)明的定位過程的進一步的實施例的流程圖；
[0028]圖5說明了根據(jù)本發(fā)明的實施例的將采集的圖像與渲染的圖像對準；
[0029]圖6示出了空間尺度表示，其在本發(fā)明的實施例中被利用；
[0030]圖7a示出了根據(jù)本發(fā)明的實施例的創(chuàng)建包圍每個點的區(qū)域；
[0031]圖7b示出了根據(jù)本發(fā)明的實施例的將包圍采集的圖像的特定點的區(qū)域與渲染的圖像的對應區(qū)域匹配；以及
[0032]圖7c示出了根據(jù)本發(fā)明的實施例的采集的圖像中的匹配點的校正。
【具體實施方式】
[0033]為了根據(jù)本發(fā)明的實施例、使用已有的紋理化的3D模型來改進街道級別影像的定位，非常適合于立體感的航拍圖像可以初始地被捕捉以創(chuàng)建3D模型。初始地，3D模型也可以基于圖紙或計算機輔助設計數(shù)據(jù)而被創(chuàng)建。作為航拍圖像的另選方式，擬建模的空間區(qū)域可以使用由衛(wèi)星或其他航空器攜帶的攝像機來成像。立體處理意味著只使用圖像的與圖像對的另一圖像的對應區(qū)域匹配的那些部分。首先，在基本相同的時間點捕捉包括重疊的圖像數(shù)據(jù)的圖像對?？梢詫⒃搶Φ拿總€圖像與各自的位置和姿勢相關。根據(jù)要獲得的質(zhì)量，可以將各自圖像中的每個單個像素與位置和姿勢相關，或者可以將各自圖像中的像素組進行相關。通過執(zhí)行該相關，重疊圖像的每個像素可以與地面上的地理坐標相關聯(lián)，并且后續(xù)的轉換有助于圖像到普通地面平面的轉換。
[0034]通過隨后使用公知的三角函數(shù)，特別是用三角形法，可以計算從攝像機平面到地面上的給定點的距離，并且可以最終創(chuàng)建3D模型。為了添加細節(jié)，該3D模型是紋理化的，為3D模型帶來了顏色、亮度和結構。進一步地，通過向例如建筑的3D模型填加紋理，將有助于隨后的與捕捉的(街道級別的)圖像的對準。舉例來說，如果已經(jīng)使用航拍圖像來創(chuàng)建3D表示，則紋理數(shù)據(jù)從航拍圖像本身是現(xiàn)成可獲得的。因此，選取的捕捉的圖像可以被應用到3D表示以創(chuàng)建紋理并提供更多的細節(jié)。然而，應當注意的是，其他已知的以優(yōu)質(zhì)的定位創(chuàng)建3D模型的方法也可以被用來提供用于定位捕捉的(街道級別的)圖像的紋理化3D模型。
[0035]現(xiàn)在，為了創(chuàng)建增強的且更加逼真的3D模型，擬在紋理化的3D模型中增強的對象(例如建筑)的(街道級別的)圖像被捕捉，并且有利的定位過程被提出以定位街道級別的影像，這樣，隨后影像可以正確地與紋理化3D模型對準。下面會描述該過程。應當注意的是，該過程的很大的優(yōu)勢在于其是高度自動化的。因此，不需要手動操作、處理或加工。定位過程可以在已經(jīng)安裝了足夠的軟件的合適的計算機上實施和運行。作為定位過程的輸入，3D模型已經(jīng)被創(chuàng)建，并且一個或多個(街道級別的)圖像已經(jīng)被捕捉。出于說明的目的，圖1a示出了包括房屋101、102、104，多棵樹木104、105、106以及附近道路107的延伸的區(qū)域的完美渲染的3D模型。而實際上，3D模型會展現(xiàn)出缺陷，如圖1b所示。由于紋理化的航拍3D模型的分辨率一般太低以致于不能從街道級別的渲染中被觀看，所以3D模型有時在質(zhì)量方面變差。例如，房屋101、102和103的輪廓可能是輕微錯位和不連續(xù)的，并且，諸如房屋103的前側上的窗戶和門之類的細節(jié)沒有完美地建模。需要注意的是，出于說明的目的，圖1b中示出的錯位被高度夸大了。在實踐中，航拍3D模型是相當不錯的，但在分辨率和細節(jié)方面不足。因此，可以捕捉地面級別的圖像并接著利用其來增強和改進圖1b的(不完美的)航拍3D模型。圖2a示出了房屋103的前側的地面級別的圖像210。這是用某種攝像機姿態(tài)拍攝的高分辨率的紋理圖像，可以被用來增強航拍3D模型。
[0036]參照圖2b，定位過程的第一步驟是在3D模型中使用攝像機姿態(tài)來渲染圖像，其可以是在街道級別的。如果攝像機的投影模型是已知的，其當在3D模型中渲染圖像時被使用。圖2b示出了在3D模型212中使用攝像機姿態(tài)和維度渲染的圖像211，其產(chǎn)生了與被從3D模型渲染的采集的圖像類似的圖像數(shù)據(jù)?，F(xiàn)在，如果采集的(街道級別的)圖像的姿態(tài)已經(jīng)與(航拍)3D模型的地理參考完全符合，則渲染的圖像會在定位方面已經(jīng)與采集的圖像對準，這由213所指示。因此，在理想情況下，渲染的圖像與采集的圖像會重合。然而，如在上面已經(jīng)討論過的，在實踐中并非如此，因此總是存在不合需要的定位不匹配，這由214所指
/Jn ο
[0037]舉例來說，采集的圖像和渲染的圖像都可以使用諸如索貝爾濾波器的梯度法來處理。通過這種方式，在特征檢測之前對兩個圖像執(zhí)行邊緣檢測。
[0038]圖3示出了根據(jù)本發(fā)明的定位過程的實施例。如在上面已經(jīng)討論的，在步驟320中，采集要與紋理化3D模型定位的圖像，在步驟321中，在3D模型中以估計的采集姿態(tài)渲染圖像。即，曾被用來捕捉圖像的姿態(tài)被用于在3D模型中渲染圖像。為了能夠得到新的、改進的采集圖像姿態(tài)從而克服圖2中的214所示出的定位不匹配的問題，在步驟322中將采集的圖像與渲染的圖像對準，其中確定了新估計的采集姿態(tài)。最后，在步驟323中，使用在對準步驟中確定的新估計的姿態(tài)來定位采集的圖像。
[0039]用于使用紋理化的3D模型來定位采集的圖像的第一另選方式是采集要與紋理化的3D模型定位的圖像并將采集的圖像以估計的采集圖像的姿態(tài)投影到紋理化的3D模型上。投影的圖像與紋理化的3D模型對準，其中確定了新估計的所采集圖像的姿態(tài)。接著，使用所述新估計的姿態(tài)來定位采集的圖像。下面給出的本發(fā)明的實施例可以相應地應用到定位采集的圖像的該另選方式。
[0040]用于使用紋理化的3D模型來定位采集的圖像的第二另選方式是采集要與紋理化的3D模型定位的圖像并將采集的圖像以估計的采集圖像的姿態(tài)投影到紋理化的3D模型上。在所述紋理化的3D模型中渲染第一圖像，在將采集的圖像投影到3D模型上而得到的紋理化的3D模型中使用相同的姿態(tài)渲染第二圖像。投影的圖像與紋理化的3D模型對準，其中確定了新估計的所采集圖像的姿態(tài)。接著，使用所述新估計的姿態(tài)來定位采集的圖像。跟第一另選方式的情況一樣，下面給出的本發(fā)明的實施例可以相應地應用到定位采集的圖像的該第二另選方式。
[0041]圖4示出了本發(fā)明的進一步的實施例，其中圖3的對準步驟322由步驟430中的將采集的圖像與渲染的圖像匹配來承擔。此后，在步驟431中確定匹配的采集的圖像與渲染的圖像之間圖像坐標的位移。最后，在步驟432中通過考慮所述位移來調(diào)整采集的圖像的姿態(tài)。因此，往回參考圖3中的步驟323，采集的圖像的經(jīng)調(diào)整的姿態(tài)產(chǎn)生新估計的姿態(tài)。
[0042]在本發(fā)明的另一個實施例中，調(diào)整由確定渲染的圖像與采集的圖像之間的差異來承擔。此后，以緊鄰的姿態(tài)渲染幾個圖像。接著，將以緊鄰姿態(tài)渲染的各個圖像與采集的圖像比較。最終，以新的姿態(tài)渲染的圖像中的一個會相較于任何其他的渲染的圖像相對于采集的圖像展現(xiàn)出較小的差異。選取該渲染的圖像用于進一步的處理。
[0043]參照圖4說明了本發(fā)明的又一個實施例。在該實施例中，在估計新的姿態(tài)之前，通過更新圖像采集姿態(tài)來減小總位移，直到找出最小總位移，其中該姿態(tài)通過考慮該最小總位移來調(diào)整。即，更新圖像采集姿態(tài)并登記一組位移，如果總位移不被認為是足夠小的，則設置新的圖像采集姿態(tài)并研究對應的一組位移，依此類推，直至找出最小總位移。結果是，尋找最小總位移產(chǎn)生了新估計的姿態(tài)，采集的圖像以該姿態(tài)被定位。
[0044]在本發(fā)明的一個實施例中，參照圖5，將采集的圖像與渲染的圖像對準從確定采集的圖像210中的一組特征點540和渲染的圖像215中相同圖像坐標處的一組對應的點的步驟開始。在本發(fā)明的進一步的實施例中，丟棄不會被投影到3D模型表面上的點540’、540’ ’，這具有只有對改進的3D模型有貢獻的數(shù)據(jù)被使用的優(yōu)點。這使得能夠在早期就移除錯誤匹配的點。
[0045]使用尺度空間表示，利用相關來在每個尺度級別中查找匹配的特征點。找到匹配的級別之間的一致性以及每個尺度級別中的不同相關窗口尺寸之間的一致性表明匹配為真。
[0046]在本發(fā)明的一個實施例中，對于確定為特征點的各點，使用航拍3D模型作為地理參考來計算3D坐標，其產(chǎn)生了如前面已經(jīng)討論過的高質(zhì)量的定位。因此，為其計算了 3D坐標的特征點被投影到采集的圖像中。此后，進行將屬于采集的圖像數(shù)據(jù)的特征點與屬于3D模型的特征點對準的過程。
[0047]通過使用牛頓-拉普森(Newton-Raphson)最小化結合用于離群點去除的RANSAC來最小化投影的3D點與渲染的圖像中的對應的特征點之間的差異，從而完成一組特征點的對準。[0048]在前述實施例的進一步發(fā)展中，識別采集的圖像210中的一組特征點540以及渲染的圖像215中相同圖像坐標處的一組對應的點。在將該組點分布在各自的圖像中之后，在采集的圖像與渲染的圖像之間進行特征匹配。在本發(fā)明的一個實施例中，這是通過生成采集的圖像和渲染的圖像各自的尺度空間表示來執(zhí)行的。尺度空間表示由相關聯(lián)圖像的不同地尺度化的圖像表示(被稱為級別)構成。這在圖6中予以說明，圖6示出了通常所稱的“高斯金字塔”，其中金字塔底部以原始分辨率顯示圖像，隨后的每個級別以之前級別的一半的分辨率顯示圖像。創(chuàng)建和使用尺度化的空間表示是提取圖像中不同尺寸的特征的有效方法。
[0049]在參照圖7a_c描述的本發(fā)明的實施例中，對于所有點或者其中選取的子集，在采集的圖像和渲染的圖像中分別創(chuàng)建包圍選定點731、733的區(qū)域的子圖像730、732。即，研究包圍選定點的給定區(qū)域。由在匹配過程中使用的所選取的“相關窗口 ”確定所述區(qū)域以及其他子圖像的區(qū)域的尺寸。在選取相關窗口尺寸時要做出折中。較大的子圖像由于圖像差異(諸如不同的觀察點)會遭受精度損失，然而其更有可能找到正確的位置。較小的子圖像較不容易由于圖像差異而出錯，但更可能找到虛假匹配。在實踐中，該基于相關的特征匹配意味著所選取的采集的子圖像在渲染的子圖像內(nèi)移動。對于渲染的子圖像中的采集的子圖像的每次移動，測量兩個子圖像之間的相關性并找出具有最大相關值的圖像坐標，如圖7b所示，其中圖7b中的上圖示出了開始位置，而下圖說明了找到了最大相關性的情形。該最大相關圖像坐標給出了渲染的子圖像與采集的子圖像之間的位移(dl，d2)向量。如果位移向量指示了過大的位移，則丟棄該相關點。通常，這在尺度表示的每個級別中并且對于每個點都執(zhí)行，這產(chǎn)生了總的位移測量。在本發(fā)明的一個實施例中，對于給定的點，如果在尺度表示的幾個相繼級別中位置是一致的，則該點被接受為匹配。該匹配過程針對分布在兩個圖像中的每個點執(zhí)行。當使用上面給出的基于相關的特征匹配過程時，存在找到“虛假”匹配或者根本找不到匹配的潛在風險，因此在尺度表示的多個級別中進行相關。給定點在尺度表示的幾個相繼級別的尺度表示中的一致定位是對于“真正”匹配的有利的指標。進一步地，這極大地改進了正確匹配的特征的數(shù)量。金字塔頂部的小尺寸的圖像提供很少的錯誤，從而可以解決姿態(tài)方面的大的錯誤。金字塔的基部提供在小細節(jié)上的匹配。因此，如果所有的級別找到相同的圖像坐標，則其可以被認為是很好的匹配。
[0050]參照圖7c，估計的位移向量被用于本發(fā)明的實施例中以校正匹配點的位置。被認為是匹配的點，其最初分布在采集的圖像中，現(xiàn)在考慮位移dl、d2而被設置在對應特征的坐標處。下面將這些點稱為“特征點”。
[0051]當做出了特征匹配時，對與每個點相關聯(lián)的相關值對進行評估。在本發(fā)明的一個實施例中，設置針對相關值的閾值，如果相關值低于閾值則被丟棄。如上面所討論的，剩余的點則被認為是匹配的。
[0052]在本發(fā)明的一個實施例中，對于確定是特征點的各點，使用航拍3D模型作為地理參考來計算3D坐標，其產(chǎn)生了如前面已經(jīng)討論過的高質(zhì)量的定位。因此，已經(jīng)為其計算了3D坐標的特征點被投影到采集的圖像中。此后，進行將屬于采集的圖像數(shù)據(jù)的特征點與屬于3D模型的特征點對準的過程。
[0053]通過使用某種數(shù)值最小化方法(例如牛頓-拉普森最小化)最小化投影的3D點與渲染的圖像中的對應的特征點之間的差異，來完成一組特征點的對準。該過程會更新采集的圖像的姿態(tài)。在新的姿態(tài)中，通過攝像機模型，3D點被投影到圖像坐標。圖像空間中所有特征點與其各自的匹配點之間的距離給出了誤差測量結果以進行最小化。幾個姿態(tài)的迭代允許進行牛頓-拉普森最小化以估計最佳姿態(tài)。然而，在特征點中存在幾個被稱為離群點(outlier)的具有虛假匹配的點。為此,要采用被稱為隨機抽樣一致性(RANSAC)的迭代方法。利用RANSAC來將采集的圖像的特征點與渲染的圖像的特征點相擬合。相比于其他方法，RANSAC特別善于在這種類型的應用中從特征點中去除離群點。RANSAC被迭代運行，直到街道特征點與渲染的3D模型的特征點之間的位置誤差低于預定閾值水平或者已經(jīng)達到預先設定的最大迭代數(shù)目。
[0054]在本發(fā)明的一個實施例中，通過隨機選取特征點的小子集來實施RANSAC。使用上述的最小化過程，使采集的圖像的新的姿態(tài)與特征點的該子集相適應。接著，以如在最小化過程中的相同方式針對新的攝像機姿態(tài)測試剩余的每個特征點。該過程迭代多次，并選取具有最高數(shù)目的被認可的特征點的攝像機姿態(tài)。用來尋找該攝像機姿態(tài)的特征點的所選取子集以及被認可的點的列表現(xiàn)在都被認為是內(nèi)圍點(inlier)，并由此在采集的(街道級別的)影像與渲染的圖像之間正確匹配。這些特征點被用來使用如上所描述的相同的最小化過程來估計新的攝像機姿態(tài)。
[0055]下面將對最小化過程示例。如上面已經(jīng)描述的，已經(jīng)為其計算了 3D坐標的特征點被投影到采集的圖像中。接下來，進行將屬于采集的圖像的特征點與屬于渲染的圖像的特征點對準的過程，這通過使用牛頓-拉普森最小化或類似的方法最小化采集的圖像中投影的3D點與渲染的圖像中對應的特征點之間的差異來完成。
[0056]初始地，在采集的圖像中選取多個點，例如5個不同的點。接著，測量所選取的5個點與渲染的圖像中對應的5個點之間的圖像坐標的差異。牛頓-拉普森最小化被使用，這意味著，采集的(街道級別的)圖像的姿態(tài)被改變，直到找到了圖像坐標的差異的最小值。
[0057]對于采集的(街道級別的)圖像的該最小化姿態(tài)，檢查采集的圖像的剩余特征點與渲染的圖像中的剩余特征點匹配得如何。即，測量采集的圖像的剩余特征點與渲染的圖像的對應的剩余特征點之間的距離，其給出被認為匹配的點的數(shù)目，比如100。因此，對于這些特定隨機選取的特征點，共有5+100=105個匹配點。
[0058]這會重復多次，并且每次迭代給出采集的圖像的新姿態(tài)以及兩個圖像之間的匹配特征點的對應數(shù)目。對于具有最高數(shù)目的匹配點的迭代，采集的圖像被認為與渲染的圖像對準，并且得到了采集的圖像的對應姿態(tài)。
[0059]作為結果，使用已有的紋理化3D模型大大地改進了采集的圖像的定位。隨后，可以將定位被改進的采集的圖像應用到3D模型以提供更好的細節(jié)和紋理。
[0060]現(xiàn)在，在該階段中，要么采集的圖像被認為已充分地定位，過程可以結束，要么從圖3中的步驟321開始重復該定位過程。從而，在3D模型中使用采集的(街道級別的)圖像的新的、改進的姿態(tài)來渲染新的圖像，繼續(xù)如上面所描述的定位過程，直到找到用于采集的圖像的進一步改進的位置。
[0061]一旦圖像被定位，圖像的GPS位置的相對變化或IMU數(shù)據(jù)可以被用來計算用于下一圖像的近似位置。具有增強的起始姿態(tài)減少了自動地定位不計其數(shù)的采集的圖像所需的計算，也減少了錯誤地匹配圖像的風險。
[0062]一旦正確地定位，已知的基于成像的紋理化方法可以被應用來創(chuàng)建具有較高分辨率紋理的3D模型。使用準確的定位，立體計算或者其他的3D重建方法可以被用來改進已有3D模型的幾何構造，以及基于采集的(街道級別的)影像來創(chuàng)建新的3D模型。
[0063]本發(fā)明的方法通常由具有計算設施的設備例如計算機來執(zhí)行。該計算機通常包括執(zhí)行存儲在相關聯(lián)的存儲器中、用于獲得所需功能的適當?shù)能浖囊粋€或多個處理器。然而，可以使用其他具有計算能力的合適的設備，例如專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、復雜可編程邏輯器件(CPLD)等，以在執(zhí)行存儲在計算機可讀介質(zhì)上的適當?shù)目上螺d軟件時，使用紋理化的3D模型來定位采集的圖像。這樣，通過舉例的方式，計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)(非暫時性介質(zhì))和通信介質(zhì)(暫時性介質(zhì))。如本領域的技術人員所公知的，計算機存儲介質(zhì)包括以用于信息存儲的任何方法或技術實現(xiàn)的易失性的和非易失性的、可移動的和不可移動的介質(zhì)，諸如計算機可讀指令、數(shù)據(jù)結構、程序模塊或其他數(shù)據(jù)。計算機存儲介質(zhì)包括但不限于RAM、ROM、EEPR0M、閃存或其他存儲器技術、CD-ROM、數(shù)字通用盤(DVD )或其他光盤存儲裝置、磁帶盒、磁帶、磁盤存儲裝置或其他磁存儲設備，或者可以被用來存儲想要的信息以及可以由計算機訪問的任何的其他介質(zhì)。進一步地，對于本領域的技術人員公知的是，通信介質(zhì)通常含有計算機可讀指令、數(shù)據(jù)結構、程序模塊或者諸如載波或其他傳輸機制的調(diào)制數(shù)據(jù)信號中的其他數(shù)據(jù)，并且包括任何的信息傳遞介質(zhì)。
[0064]盡管這里已經(jīng)描述了本發(fā)明的示例性實施例，但是對于本領域的普通技術人員而言明顯的是，可以做出對這里描述的發(fā)明的許多變型、修改或替換。因此，上面對本發(fā)明的各種實施例的描述和附圖被視為非限制性的。
【權利要求】
1.一種使用空間區(qū)域的紋理化3D模型來定位圖像的方法，所述方法包括以下步驟: 采集要定位的圖像，所述圖像表示所述空間區(qū)域的至少一部分； 在使用包含在3D模型中的紋理信息的同時，將采集的圖像與所述3D模型對準以獲得新估計的姿態(tài)；以及 使用所述新估計的姿態(tài)定位采集的圖像。
2.根據(jù)權利要求1所述的方法，其中對準步驟包括對準兩個2D圖像以獲得所述新估計的姿態(tài)，其中所述兩個2D圖像是從包括以下各項的組中選取的: 采集的圖像； 從已有的紋理化3D模型渲染的圖像； 從通過將采集的 圖像投影到所述已有的紋理化3D模型上而獲得的經(jīng)修改的紋理化3D模型渲染的圖像； 所述已有的紋理化3D模型中的表面上的紋理；以及 通過將采集的圖像投影到所述已有的紋理化3D模型上而產(chǎn)生的紋理。
3.根據(jù)權利要求2所述的方法，其中對準步驟包括以下子步驟: 在3D模型中以采集的圖像的估計姿態(tài)來渲染(321)圖像；以及 將采集的圖像與渲染的圖像對準(322)，其中采集的圖像的新估計的姿態(tài)被確定。
4.根據(jù)權利要求3所述的方法，其中對準街道級別圖像的步驟進一步包括以下步驟: 將采集的圖像與渲染的圖像匹配(430 )。
5.根據(jù)權利要求3或4所述的方法，進一步包括以下步驟: 確定渲染的圖像與采集的圖像之間的差異； 以緊鄰的姿態(tài)渲染多個圖像； 比較以采集的圖像的緊鄰的姿態(tài)渲染的各個圖像；以及 選取相對于采集的圖像具有最小差異的渲染的圖像用于對準。
6.根據(jù)權利要求3-5中的任何一項所述的方法，進一步包括以下步驟: 確定(431)在匹配的采集的圖像與渲染的圖像之間圖像坐標的一組位移；以及 通過考慮所述一組位移來調(diào)整(432 )采集的圖像的姿態(tài)。
7.根據(jù)權利要求6所述的方法，進一步包括以下步驟: 通過更新采集的圖像的姿態(tài)來減小(433)所述一組位移，直到找到最小的總位移，其中通過選取產(chǎn)生該最小位移的姿態(tài)來調(diào)整采集的圖像的姿態(tài)。
8.根據(jù)權利要求6或7所述的方法，進一步包括以下步驟: 通過識別采集的圖像與渲染的圖像中類似的特征來確定所述一組位移。
9.根據(jù)權利要求3-8中的任何一項所述的方法，進一步包括以下步驟: 使用相同的圖像坐標，在采集的圖像中分布一組點并且在渲染的圖像中分布對應的一組點。
10.根據(jù)權利要求9所述的方法，進一步包括以下步驟: 利用來自3D模型的信息丟棄一些分布點。
11.根據(jù)權利要求9或10所述的方法，進一步包括以下步驟: 生成用于采集的圖像以及渲染的圖像的尺度空間表示；以及 針對各自圖像中的每個分布點，確定該分布點的位置在所述尺度空間表示的多個級別中是否一致，其中采集的圖像中的點被認為與渲染的圖像中對應的點匹配。
12.根據(jù)權利要求9-11中的任何一項所述的方法，進一步包括以下步驟: 選取包圍采集的圖像和渲染的圖像中的每個分布點的區(qū)域； 測量采集的圖像的每個選取區(qū)域與渲染的圖像的對應區(qū)域之間的相關性； 從針對其找到最大相關性的圖像坐標創(chuàng)建指示采集的圖像中的選取區(qū)域與渲染的圖像中的選取區(qū)域之間的位移(dl，d2)的向量；以及 根據(jù)創(chuàng)建的位移向量調(diào)整采集的圖像中的分布點的位置。
13.根據(jù)權利要求9-12中的任何一項所述的方法，進一步包括以下步驟: 針對調(diào)整的點，使用3D模型作為地理參考來計算3D坐標； 將計算的3D坐標投影到采集的圖像中；以及 通過更新采集的圖像的姿態(tài)來最小化投影的3D坐標與渲染的圖像中對應的特征點之間的差異。
14.根據(jù)權利要求13所述的方法，其中最小化差異的步驟進一步包括以下步驟: 在投影的采集的圖像中選取多個點； 測量選取的點與渲染的圖像中的對應點之間的圖像坐標的差異； 更新采集的圖像的姿態(tài)，直到找到圖像坐標差異的最小值；以及測量投影的采集的圖像的剩余點與渲染的圖像的對應的剩余點之間的差異，其中，如果所述差異符合預定標準，則剩余點被認為是匹配的。
15.根據(jù)權利要求2所述的方法，其中對準步驟包括以下子步驟: 將采集的圖像以該采集的圖像的估計姿態(tài)投影到紋理化3D模型上；以及 將投影的采集的圖像與紋理化3D模型對準，其中采集的圖像的新估計的姿態(tài)被確定。
16.根據(jù)權利要求15所述的方法，其中對準投影的街道級別圖像的子步驟進一步包括: 將投影的采集的圖像與紋理化的3D模型匹配。
17.根據(jù)權利要求15或16所述的方法，進一步包括以下步驟: 確定紋理化3D模型與投影的采集的圖像之間的差異； 以緊鄰的姿態(tài)投影多個采集的圖像； 比較以紋理化3D模型的緊鄰的姿態(tài)渲染的各個投影的采集的圖像；以及 選取相對于紋理化3D模型具有最小差異的投影的采集的圖像用于對準。
18.根據(jù)權利要求15-17中的任何一項所述的方法，進一步包括以下步驟: 確定在匹配的投影的采集的圖像與紋理化3D模型之間圖像坐標的一組位移；以及 通過考慮所述一組位移來調(diào)整采集的圖像的姿態(tài)。
19.根據(jù)權利要求18所述的方法，進一步包括以下步驟: 通過更新投影的采集的圖像的姿態(tài)來減小所述一組位移，直到找到最小的總位移，其中通過選取產(chǎn)生該最小位移的姿態(tài)來調(diào)整采集的圖像的姿態(tài)。
20.根據(jù)權利要求18或19所述的方法，進一步包括以下步驟: 通過識別投影的采集的圖像與紋理化3D模型中類似的特征來確定所述一組位移。
21.根據(jù)權利要求15-20中的任何一項所述的方法，進一步包括以下步驟: 使用相同的圖像坐標，在采集的圖像中分布一組點并且在渲染的圖像中分布對應的一組點。
22.根據(jù)權利要求21所述的方法，進一步包括以下步驟: 利用來自3D模型的信息丟棄一些分布點。
23.根據(jù)權利要求21或22所述的方法，進一步包括以下步驟: 生成用于投影的采集的圖像以及紋理化3D模型的尺度空間表示；以及針對投影的采集的圖像以及紋理化3D模型中的每個分布點，確定該分布點的位置在所述尺度空間表示的多個級別中是否一致，其中投影的采集的圖像中的點被認為與紋理化3D模型中對應的點匹配。
24.根據(jù)權利要求21-23中的任何一項所述的方法，進一步包括以下步驟: 選取包圍投影的采集的圖像和紋理化3D模型中的每個分布點的區(qū)域； 測量投影的采集的圖像的每個選取區(qū)域與紋理化3D模型的對應區(qū)域之間的相關性；從針對其找到最大相關性的圖像坐標創(chuàng)建指示投影的采集的圖像中的選取區(qū)域與紋理化3D模型中的選取區(qū)域之間的位移(dl，d2)的向量；以及 根據(jù)創(chuàng)建的位移向量調(diào)整投影的采集的圖像中的分布點的位置。
25.根據(jù)權利要求21-24中的任何一項所述的方法，進一步包括以下步驟: 針對調(diào)整的點，使用3D模型作為地理參考來計算3D坐標； 將計算的3D坐標投影到投影的采集的圖像中；以及 通過更新采集的圖像的姿態(tài)來最小化投影的3D坐標與紋理化3D模型中對應的特征點之間的差異。
26.根據(jù)權利要求25所述的方法，其中最小化差異的步驟進一步包括以下子步驟: 在重新投影的采集的圖像中選取多個點； 測量選取的點與紋理化3D模型中的對應點之間的圖像坐標的差異； 更新采集的圖像的姿態(tài)，直到找到圖像坐標差異的最小值；以及測量所述重新投影的采集的圖像的剩余點與紋理化3D模型的對應的剩余點之間的差異，其中，如果所述差異符合預定標準，則剩余點被認為是匹配的。
27.根據(jù)權利要求2所述的方法，其中對準步驟包括以下子步驟: 將采集的圖像以該采集的圖像的估計姿態(tài)投影到紋理化3D模型上； 在所述紋理化3D模型中渲染第一圖像，并且在已經(jīng)使用相同的攝像機姿態(tài)將所述采集的圖像投影到其上的紋理化3D模型中渲染第二圖像； 將所述第一圖像與所述第二圖像對準，其中采集的圖像的新估計的姿態(tài)被確定。
28.根據(jù)權利要求27所述的方法，其中將第一圖像與第二圖像對準的步驟進一步包括以下步驟: 將第一圖像與第二圖像匹配。
29.根據(jù)權利要求27或28所述的方法，進一步包括以下步驟: 確定第一圖像與第二圖像之間的差異； 以緊鄰的姿態(tài)渲染多個第一和第二圖像； 比較以所述緊鄰的姿態(tài)渲染的第一圖像與以所述緊鄰的姿態(tài)渲染的對應的第二圖像；以及 選取相對于對應的第一圖像具有最小差異的第二圖像用于對準。
30.根據(jù)權利要求27-29中的任何一項所述的方法，進一步包括以下步驟: 確定在匹配的第一圖像與第二圖像之間圖像坐標的一組位移；以及 通過考慮所述一組位移來調(diào)整采集的圖像的姿態(tài)。
31.根據(jù)權利要求30所述的方法，進一步包括以下步驟: 通過更新采集的圖像的姿態(tài)來減小所述一組位移，直到找到最小的總位移，其中通過選取產(chǎn)生該最小位移的姿態(tài)來調(diào)整采集的圖像的姿態(tài)。
32.根據(jù)權利要求30或31所述的方法，進一步包括以下步驟: 通過識別第一圖像與第二圖像中類似的特征來確定所述一組位移。
33.根據(jù)權利要求27-32中的任何一項所述的方法，進一步包括以下步驟: 使用相同的圖像坐標，在第一圖像中分布一組點并且在第二圖像中分布對應的一組點。
34.根據(jù)權利要求33所述的方法，進一步包括以下步驟: 利用來自3D模型的信息丟棄一些分布點。
35.根據(jù)權利要求33或34的任何一項所述的方法，進一步包括以下步驟: 生成用于第一圖像以及第二圖像的尺度空間表示；以及 針對各自圖像中的每個分布點，確定該分布點的位置在所述尺度空間表示的多個級別中是否一致，其中第一圖像中的點被認為與第二圖像中對應的點匹配。
36.根據(jù)權利要求33-35中的任何一項所述的方法，進一步包括以下步驟: 選取包圍第一圖像和第二圖像中的每個分布點的區(qū)域； 測量第一圖像的每個選取區(qū)域與第二圖像的對應區(qū)域之間的相關性； 從針對其找到最大相關性的圖像坐標創(chuàng)建指示第一圖像中的選取區(qū)域與第二圖像中的選取區(qū)域之間的位移(dl，d2)的向量；以及 根據(jù)創(chuàng)建的位移向量調(diào)整第一圖像中的分布點的位置。
37.根據(jù)權利要求33-36中的任何一項所述的方法，進一步包括以下步驟: 針對調(diào)整的點，使用3D模型作為地理參考來計算3D坐標； 將計算的3D坐標投影到第一圖像中；以及 通過更新采集的圖像的姿態(tài)來最小化投影的3D坐標與第二圖像中對應的特征點之間的差異。
38.根據(jù)權利要求37所述的方法，其中最小化差異的步驟進一步包括以下步驟: 在第一圖像中選取多個點； 測量選取的點與第二圖像中的對應點之間的圖像坐標的差異； 更新采集的圖像的姿態(tài)，直到找到圖像坐標差異的最小值；以及測量第一圖像的剩余點與第二圖像的對應的剩余點之間的差異，其中，如果所述差異符合預定標準，則剩余點被認為是匹配的。
39.根據(jù)前述權利要求中的任何一項所述的方法，其中要定位的圖像是在街道級別采集的。
40.一種使用空間區(qū)域的紋理化3D模型來定位圖像的設備，包括被配置為執(zhí)行以下操作的處理裝置: 采集要定位的圖像，所述圖像表示所述空間區(qū)域的至少一部分；在使用包含在3D模型中的紋理信息的同時，將采集的圖像與所述3D模型對準以獲得新估計的姿態(tài)；以及 使用所述新估計的姿態(tài)定位采集的圖像。
41.根據(jù)權利要求40所述的設備，其中被配置為將采集的圖像與3D模型對準的處理裝置適用于對準兩個2D圖像，其中所述兩個2D圖像是從包括以下各項的組中選取的: 采集的圖像； 從已有的紋理化3D模型渲染的圖像； 從通過將采集的圖像投影到所述已有的紋理化3D模型上而獲得的經(jīng)修改的紋理化3D模型渲染的圖像； 所述已有的紋理化3D模型中的表面上的紋理；以及 通過將采集的圖像投影到所述已有的紋理化3D模型上而產(chǎn)生的紋理。
42.根據(jù)權利要求41所述的設備，其中被配置為將采集的圖像與3D模型對準的處理裝置適用于: 在3D模型中以采集的圖像的估計姿態(tài)來渲染圖像；以及 將采集的圖像與渲染的圖像對準，其中采集的圖像的新估計的姿態(tài)被確定。
43.根據(jù)權利要求42所述的設備，其中所述處理裝置被進一步配置為: 將采集的圖像與渲染的圖像匹配。
44.根據(jù)權利要求42或43所述的設備，其中所述處理裝置被進一步配置為: 確定渲染的圖像與采集的圖像之間的差異； 以緊鄰的姿態(tài)渲染多個圖像； 比較以采集的圖像的緊鄰的姿態(tài)渲染的各個圖像；以及 選取相對于采集的圖像具有最小差異的渲染的圖像用于對準。
45.根據(jù)權利要求42- 44中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 確定在匹配的采集的圖像與渲染的圖像之間圖像坐標的一組位移；以及 通過考慮所述一組位移來調(diào)整采集的圖像的姿態(tài)。
46.根據(jù)權利要求45所述的設備，其中所述處理裝置被進一步配置為: 通過更新采集的圖像的姿態(tài)來減小所述一組位移，直到找到最小的總位移，其中通過選取產(chǎn)生該最小位移的姿態(tài)來調(diào)整采集的圖像的姿態(tài)。
47.根據(jù)權利要求45或46所述的設備，其中所述處理裝置被進一步配置為: 通過識別采集的圖像與渲染的圖像中類似的特征來確定所述一組位移。
48.根據(jù)權利要求42- 47中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 使用相同的圖像坐標，在采集的圖像中分布一組點并且在渲染的圖像中分布對應的一組點。
49.根據(jù)權利要求48所述的設備，其中所述處理裝置被進一步配置為: 利用來自3D模型的信息丟棄一些分布點。
50.根據(jù)權利要求48或49所述的設備，其中所述處理裝置被進一步配置為: 生成用于采集的圖像以及渲染的圖像的尺度空間表示；以及針對各自圖像中的每個分布點，確定該分布點的位置在所述尺度空間表示的多個級別中是否一致，其中采集的圖像中的點被認為與渲染的圖像中對應的點匹配。
51.根據(jù)權利要求48- 50中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 選取包圍采集的圖像和渲染的圖像中的每個分布點的區(qū)域； 測量采集的圖像的每個選取區(qū)域與渲染的圖像的對應區(qū)域之間的相關性； 從針對其找到最大相關性的圖像坐標創(chuàng)建指示采集的圖像中的選取區(qū)域與渲染的圖像中的選取區(qū)域之間的位移(dl，d2)的向量；以及 根據(jù)創(chuàng)建的位移向量調(diào)整采集的圖像中的分布點的位置。
52.根據(jù)權利要求48— 51中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 針對調(diào)整的點，使用3D模型作為地理參考來計算3D坐標； 將計算的3D坐標投影到采集的圖像中；以及 通過更新采集的圖像 的姿態(tài)來最小化投影的3D坐標與渲染的圖像中對應的特征點之間的差異。
53.根據(jù)權利要求52所述的設備，其中所述處理裝置被進一步配置為: 在投影的采集的圖像中選取多個點； 測量選取的點與渲染的圖像中的對應點之間的圖像坐標的差異； 更新采集的圖像的姿態(tài)，直到找到圖像坐標差異的最小值；以及測量投影的采集的圖像的剩余點與渲染的圖像的對應的剩余點之間的差異，其中，如果所述差異符合預定標準，則剩余點被認為是匹配的。
54.根據(jù)權利要求41所述的設備，其中被配置為將采集的圖像與3D模型對準的處理裝置適用于: 將采集的圖像以該采集的圖像的估計姿態(tài)投影到紋理化3D模型上；以及 將投影的采集的圖像與紋理化3D模型對準，其中采集的圖像的新估計的姿態(tài)被確定。
55.根據(jù)權利要求54所述的設備，其中所述處理裝置被進一步配置為: 將投影的采集的圖像與紋理化的3D模型匹配。
56.根據(jù)權利要求54或55所述的設備，其中所述處理裝置被進一步配置為: 確定紋理化3D模型與投影的采集的圖像之間的差異； 以緊鄰的姿態(tài)投影多個采集的圖像； 比較以紋理化3D模型的緊鄰的姿態(tài)渲染的各個投影的采集的圖像；以及 選取相對于紋理化3D模型具有最小差異的投影的采集的圖像用于對準。
57.根據(jù)權利要求54— 56中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 確定在匹配的投影的采集的圖像與紋理化3D模型之間圖像坐標的一組位移；以及 通過考慮所述一組位移來調(diào)整采集的圖像的姿態(tài)。
58.根據(jù)權利要求57所述的設備，其中所述處理裝置被進一步配置為: 通過更新投影的采集的圖像的姿態(tài)來減小所述一組位移，直到找到最小的總位移，其中通過選取產(chǎn)生該最小位移的姿態(tài)來調(diào)整采集的圖像的姿態(tài)。
59.根據(jù)權利要求57或58所述的設備，其中所述處理裝置被進一步配置為: 通過識別投影的采集的圖像與紋理化3D模型中類似的特征來確定所述一組位移。
60.根據(jù)權利要求54— 59中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 使用相同的圖像坐標，在采集的圖像中分布一組點并且在渲染的圖像中分布對應的一組點。
61.根據(jù)權利要求60所述的設備，其中所述處理裝置被進一步配置為: 利用來自3D模型的信息丟棄一些分布點。
62.根據(jù)權利要求60或61所述的設備，其中所述處理裝置被進一步配置為: 生成用于投影的采集的圖像以及紋理化3D模型的尺度空間表示；以及 針對投影的采集的圖像以及紋理化3D模型中的每個分布點，確定該分布點的位置在所述尺度空間表示的多個級別中是否一致，其中投影的采集的圖像中的點被認為與紋理化3D模型中對應的點匹配。
63.根據(jù)權利要求60— 62中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 選取包圍投影的采集的圖像和紋理化3D模型中的每個分布點的區(qū)域； 測量投影的采集的圖像的每個選取區(qū)域與紋理化3D模型的對應區(qū)域之間的相關性；從針對其找到最大相關性的圖像坐標創(chuàng)建指示投影的采集的圖像中的選取區(qū)域與紋理化3D模型中的選取區(qū)域之間的位移(dl，d2)的向量；以及 根據(jù)創(chuàng)建的位移向量調(diào)整投影的采集的圖像中的分布點的位置。
64.根據(jù)權利要求60- 63中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 針對調(diào)整的點，使用3D模型作為地理參考來計算3D坐標； 將計算的3D坐標投影到投影的采集的圖像中；以及 通過更新采集的圖像的姿態(tài)來最小化投影的3D坐標與紋理化3D模型中對應的特征點之間的差異。
65.根據(jù)權利要求64所述的設備，其中所述處理裝置被進一步配置為: 在重新投影的采集的圖像中選取多個點； 測量選取的點與紋理化3D模型中的對應點之間的圖像坐標的差異； 更新采集的圖像的姿態(tài)，直到找到圖像坐標差異的最小值；以及測量所述重新投影的采集的圖像的剩余點與紋理化3D模型的對應的剩余點之間的差異，其中，如果所述差異符合預定標準，則剩余點被認為是匹配的。
66.根據(jù)權利要求41所述的設備，其中被配置為將采集的圖像與3D模型對準的處理裝置適用于: 將采集的圖像以該采集的圖像的估計姿態(tài)投影到紋理化3D模型上； 在所述紋理化3D模型中渲染第一圖像，并且在已經(jīng)使用相同的攝像機姿態(tài)將所述采集的圖像投影到其上的紋理化3D模型中渲染第二圖像； 將所述第一圖像與所述第二圖像對準，其中采集的圖像的新估計的姿態(tài)被確定。
67.根據(jù)權利要求66所述的設備，其中所述處理裝置被進一步配置為，當?shù)谝粓D像與第二圖像對準時: 將第一圖像與第二圖像匹配。
68.根據(jù)權利要求66或67所述的設備，其中所述處理裝置被進一步配置為: 確定第一圖像與第二圖像之間的差異； 以緊鄰的姿態(tài)渲染多個第一和第二圖像； 比較以所述緊鄰的姿態(tài)渲染的第一圖像與以所述緊鄰的姿態(tài)渲染的對應的第二圖像；以及 選取相對于對應的第一圖像具有最小差異的第二圖像用于對準。
69.根據(jù)權利要求66- 68中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 確定在匹配的第一圖像與第二圖像之間圖像坐標的一組位移；以及 通過考慮所述一組位移來調(diào)整采集的圖像的姿態(tài)。
70.根據(jù)權利要求69所述的設備，其中所述處理裝置被進一步配置為: 通過更新采集的圖像的姿態(tài)來減小所述一組位移，直到找到最小的總位移，其中通過選取產(chǎn)生該最小位移的姿態(tài)來調(diào)整采集的圖像的姿態(tài)。
71.根據(jù)權利要求69或70所述的設備，其中所述處理裝置被進一步配置為: 通過識別第一圖像與第二圖像中類似的特征來確定所述一組位移。
72.根據(jù)權利要求66— 71中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 使用相同的圖像坐標，在第一圖像中分布一組點并且在第二圖像中分布對應的一組點。
73.根據(jù)權利要求72所述的設備，其中所述處理裝置被進一步配置為: 利用來自3D模型的信息丟棄一些分布點。
74.根據(jù)權利要求72或73的任何一項所述的設備，其中所述處理裝置被進一步配置為: 生成用于第一圖像以及第二圖像的尺度空間表示；以及 針對各自圖像中的每個分布點，確定該分布點的位置在所述尺度空間表示的多個級別中是否一致，其中第一圖像中的點被認為與第二圖像中對應的點匹配。
75.根據(jù)權利要求72— 74中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 選取包圍第一圖像和第二圖像中的每個分布點的區(qū)域； 測量第一圖像的每個選取區(qū)域與第二圖像的對應區(qū)域之間的相關性； 從針對其找到最大相關性的圖像坐標創(chuàng)建指示第一圖像中的選取區(qū)域與第二圖像中的選取區(qū)域之間的位移(dl，d2)的向量；以及 根據(jù)創(chuàng)建的位移向量調(diào)整第一圖像中的分布點的位置。
76.根據(jù)權利要求72- 75中的任何一項所述的設備，其中所述處理裝置被進一步配置為: 針對調(diào)整的點，使用3D模型作為地理參考來計算3D坐標； 將計算的3D坐標投影到第一圖像中；以及通過更新采集的圖像的姿態(tài)來最小化投影的3D坐標與第二圖像中對應的特征點之間的差異。
77.根據(jù)權利要求76所述的設備，其中所述處理裝置被進一步配置為，當最小化所述差異時: 在第一圖像中選取多個點； 測量選取的點與第二圖像中的對應點之間的圖像坐標的差異； 更新采集的圖像的姿態(tài)，直到找到圖像坐標差異的最小值；以及 測量第一圖像的剩余點與第二圖像的對應的剩余點之間的差異，其中，如果所述差異符合預定標準，則剩余點被認為是匹配的。
78.根據(jù)權利要求40- 77中的任何一項所述的設備，其中被配置為采集要定位的圖像的處理裝置適用于在街道級別采集所述圖像。
79.根據(jù)權利要求40-78中的任何一項所述的設備，其中所述處理裝置進一步適用于從已定位的采集的圖像中提取紋理和/或幾何信息并將其包括到紋理化3D模型中。
80.根據(jù)權利要求1-39的任何一項所述的方法，進一步包括從已定位的采集的圖像中提取紋理和/或幾何信息并將其包括到紋理化3D模型中。
81.一種存儲用于執(zhí)行根據(jù)權利要求1-39的任何一項或者權利要求80所述的方法的計算機可讀指令的計算機可讀介質(zhì)。
【文檔編號】G06T7/00GK103635935SQ201180070666
【公開日】2014年3月12日 申請日期:2011年3月18日 優(yōu)先權日:2011年3月18日
【發(fā)明者】A·西埃弗特, V·科爾比 申請人:蘋果公司