本公開(kāi)大體上涉及圖像處理，并且具體涉及將全景成像與航拍成像對(duì)齊。

背景技術(shù)：

地理區(qū)域的全景成像可以由移動(dòng)式數(shù)據(jù)采集單元從在地平面上或者靠近地平面的角度捕獲到。這種成像可以是用于完善例如由地理信息系統(tǒng)(諸如，地圖服務(wù)或者虛擬地球)提供的地理區(qū)域的表示的寶貴資源。例如，全景成像可以用于完善或者生成各種地標(biāo)、建筑、物體、地形等在地理信息系統(tǒng)中的高分辨率三維模型。全景成像也可以用于從街道或者地平面提供地理區(qū)域的交互式三維成像。全景成像可以具有相關(guān)聯(lián)的相機(jī)參數(shù)(諸如，圖像姿態(tài))和關(guān)于在成像中描繪的地理區(qū)域的幾何信息。

全景成像可以存儲(chǔ)在地理信息系統(tǒng)數(shù)據(jù)庫(kù)中。地理信息系統(tǒng)數(shù)據(jù)庫(kù)也可以存儲(chǔ)地理區(qū)域的航拍成像。航拍成像可以例如從飛行器捕獲到，并且可以提供地理區(qū)域的例如與多種規(guī)范視點(diǎn)(諸如，北方、南方、東方和西方規(guī)范視點(diǎn))中的一個(gè)傾斜的角度。航拍成像的數(shù)據(jù)庫(kù)可以與姿態(tài)信息相關(guān)聯(lián)。另外，航拍成像的數(shù)據(jù)庫(kù)可以具有在成像中描繪的主題的相關(guān)聯(lián)的三維幾何圖形。

技術(shù)實(shí)現(xiàn)要素：

本公開(kāi)的實(shí)施例的方面和優(yōu)點(diǎn)將在以下說(shuō)明中部分地陳述，或者可以從本說(shuō)明中學(xué)習(xí)到，或者可以通過(guò)實(shí)施例的實(shí)踐學(xué)習(xí)到。

本公開(kāi)的一個(gè)示例方面涉及一種將全景成像與航拍成像對(duì)齊的計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括：通過(guò)一個(gè)或者多個(gè)計(jì)算裝置訪問(wèn)從在地平面上或者靠近地平面的角度捕獲到的全景圖像。該全景圖像可以與第一姿態(tài)和第一幾何數(shù)據(jù)相關(guān)聯(lián)。該方法進(jìn)一步包括：通過(guò)一個(gè)或者多個(gè)計(jì)算裝置至少部分地基于第一幾何數(shù)據(jù)來(lái)檢測(cè)全景圖像中的立面平面。該方法進(jìn)一步包括：通過(guò)一個(gè)或者多個(gè)計(jì)算裝置至少部分地基于檢測(cè)到的立面平面來(lái)識(shí)別航拍圖像。該航拍圖像描繪立面平面并且與第二姿態(tài)和第二幾何數(shù)據(jù)相關(guān)聯(lián)。該方法進(jìn)一步包括：通過(guò)一個(gè)或者多個(gè)計(jì)算裝置，至少部分地基于第一幾何數(shù)據(jù)，通過(guò)將全景圖像的圖像平面投射到與航拍圖像相關(guān)聯(lián)的圖像平面，來(lái)將全景圖像轉(zhuǎn)換為翹曲圖像。該方法進(jìn)一步包括：通過(guò)一個(gè)或者多個(gè)計(jì)算裝置識(shí)別在翹曲圖像與航拍圖像之間的一個(gè)或者多個(gè)特征匹配，以及通過(guò)一個(gè)或者多個(gè)計(jì)算裝置至少部分地基于該一個(gè)或者多個(gè)特征匹配將全景圖像與航拍圖像對(duì)齊。

本公開(kāi)的其它方面涉及用于將全景成像與航拍成像對(duì)齊的系統(tǒng)、設(shè)備、有形非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)、用戶(hù)界面和裝置。

參照以下描述和所附權(quán)利要求書(shū)將更好地理解各個(gè)實(shí)施例的這些和其它特征、方面和優(yōu)點(diǎn)。并入本說(shuō)明書(shū)中并且構(gòu)成本說(shuō)明書(shū)的一部分的附圖示出了本公開(kāi)的實(shí)施例，并且連同本說(shuō)明書(shū)一起對(duì)相關(guān)原理進(jìn)行了闡述。

附圖說(shuō)明

參照附圖在本說(shuō)明書(shū)中陳述了本領(lǐng)域的普通技術(shù)人員所涉及的實(shí)施例的詳細(xì)討論，其中：

圖1提供了描繪了建筑立面的示例全景圖像和描繪了相同立面的示例航拍圖像；

圖2提供了示例航拍圖像和與該航拍圖像相關(guān)聯(lián)的基于立體的三維深度圖；

圖3描繪了用于捕獲全景成像的示例移動(dòng)式采集單元；

圖4描繪了根據(jù)本公開(kāi)的示例實(shí)施例的用于使在翹曲(warped)圖像與航拍圖像之間的特征對(duì)齊的示例方法的流程圖；

圖5描繪了根據(jù)本公開(kāi)的示例實(shí)施例的示例檢測(cè)立面平面；

圖6描繪了根據(jù)本公開(kāi)的示例實(shí)施例的用于將全景圖像轉(zhuǎn)換為翹曲圖像的示例方法的流程圖；

圖7描繪了根據(jù)本公開(kāi)的示例實(shí)施例的立面的示例航拍圖像和相同立面的翹曲圖像；

圖8描繪了根據(jù)本公開(kāi)的示例實(shí)施例的用于對(duì)在翹曲圖像與航拍圖像之間的特征進(jìn)行匹配的示例方法的流程圖；

圖9A描繪了根據(jù)本公開(kāi)的示例實(shí)施例的在翹曲圖像與航拍圖像之間的示例特征匹配；

圖9B描繪了根據(jù)本公開(kāi)的示例實(shí)施例的在翹曲圖像與航拍圖像之間的示例單獨(dú)特征匹配；

圖10描繪了可以用于實(shí)現(xiàn)根據(jù)本公開(kāi)的示例實(shí)施例的方法和系統(tǒng)的示例計(jì)算系統(tǒng)。

具體實(shí)施方式

現(xiàn)在詳細(xì)參考實(shí)施例，在附圖中圖示了實(shí)施例的一個(gè)或者多個(gè)示例。每個(gè)示例的提供是為了闡釋實(shí)施例，而不是限制本發(fā)明。事實(shí)上，對(duì)本領(lǐng)域的技術(shù)人員而言顯而易見(jiàn)的是，在不脫離本公開(kāi)的范圍或者精神的情況下，可以對(duì)實(shí)施例進(jìn)行各種修改和變型。例如，作為一個(gè)實(shí)施例的部分被示出或者描述的特征可以與另一實(shí)施例一起使用以產(chǎn)生又一實(shí)施例。因此，本公開(kāi)的方面旨在涵蓋這種修改和變型。

綜述

本公開(kāi)的示例方面涉及將從在地平面上或者靠近地平面的角度捕獲到的全景成像與從例如傾斜角度捕獲到的航拍成像對(duì)齊。如本文所使用的，全景成像可以包括：提供地理區(qū)域的全景視圖(例如，廣角視圖)的圖像、和/或在生成提供地理區(qū)域的全景視圖的圖像時(shí)使用的一個(gè)或者多個(gè)圖像(例如，未拼接的圖像(unstitched image))。將全景圖像與航拍圖像對(duì)齊可能會(huì)很困難，因?yàn)閳D像通常具有截然不同的視點(diǎn)。這會(huì)導(dǎo)致圖像中的描繪存在差異。例如，即使全景圖像和航拍圖像可能都描繪了相同的建筑立面，當(dāng)與在全景圖像中描繪的立面的視圖進(jìn)行比較時(shí)，在航拍圖像中描繪的立面的視圖可以是按透視法縮小的(foreshortened)、受到遮擋的或者模糊的。當(dāng)在不同的時(shí)間捕獲圖像時(shí)，會(huì)出現(xiàn)將全景圖像與航拍圖像對(duì)齊的另一個(gè)困難。例如，可以在一天中的不同時(shí)間或者在一年中的不同時(shí)間捕獲圖像。這可以使圖像具有不同的陰影和顏色。另外，地貌本身可以隨著捕獲圖像的時(shí)間的改變而改變，從而使圖像描繪出不同的地貌。例如，在捕獲到第一圖像之后，但是在捕獲到第二圖像之前，可以重新建模建筑立面，從而使圖像描繪出相同立面的不同變型。

鑒于上述獨(dú)特挑戰(zhàn)，所公開(kāi)的實(shí)施例提供了用于全景成像和航拍成像的高效且準(zhǔn)確的對(duì)齊的特征。實(shí)施具體算法來(lái)利用與全景圖像和航拍圖像二者相關(guān)聯(lián)的相機(jī)參數(shù)和幾何數(shù)據(jù)，以便對(duì)圖像進(jìn)行匹配。由公開(kāi)的特征和算法的實(shí)施產(chǎn)生的改進(jìn)的三維模型可用于城市景觀的常規(guī)參考和分析。更具體地，全景圖像和航拍圖像的準(zhǔn)確且高效的匹配可以提供圖像的更準(zhǔn)確的對(duì)齊。這些圖像的準(zhǔn)確對(duì)齊可以，例如，有助于更好地填充地理信息系統(tǒng)，諸如，例如，地圖服務(wù)或者虛擬地球。

根據(jù)本公開(kāi)的示例方面，將與第一角度相關(guān)聯(lián)的圖像和與第二角度相關(guān)聯(lián)的圖像對(duì)齊。例如，可以將從在地平面上或者靠近地平面的角度捕獲到的全景成像與航拍成像對(duì)齊。在一個(gè)具體示例中，可以訪問(wèn)從在地平面上或者靠近地平面的角度捕獲到的全景圖像以與航拍成像對(duì)齊。全景圖像可以與姿態(tài)相關(guān)聯(lián)。如本文所使用，圖像的姿態(tài)指相機(jī)捕獲圖像時(shí)相對(duì)于參照物的位置和/或定向。全景圖像也可以與在全景圖像中描繪的成像的三維幾何圖形相關(guān)聯(lián)。可以，例如，通過(guò)激光測(cè)距儀所收集到的數(shù)據(jù)(諸如，LIDAR數(shù)據(jù))來(lái)確定三維幾何圖形。也可以，例如，通過(guò)從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure-from-motion)的技術(shù)來(lái)確定三維幾何圖形。

一旦已經(jīng)訪問(wèn)了全景圖像，就可以在該全景圖像中檢測(cè)立面平面?？梢灾辽俨糠值鼗谠趫D像中描繪的成像的三維幾何圖形來(lái)檢測(cè)立面平面。然后，可以至少部分地基于檢測(cè)到的立面平面來(lái)識(shí)別航拍圖像。航拍圖像可以描繪與全景圖像相同的建筑立面，并且可以例如從傾斜的角度捕獲到。識(shí)別到的航拍圖像可以是具有在全景圖像中描繪的建筑立面的最小按透視法縮小并且最小遮擋的視圖的航拍圖像。航拍圖像也可以具有相關(guān)聯(lián)的相機(jī)姿態(tài)。航拍圖像也可以與在航拍圖像中描繪的成像的三維幾何圖形(諸如，建筑立面所在的城市或者小鎮(zhèn))相關(guān)聯(lián)。三維幾何圖形可以包括例如基于立體的深度圖。

一旦已經(jīng)訪問(wèn)了全景圖像并且已經(jīng)識(shí)別到航拍圖像，可以將全景圖像轉(zhuǎn)換為具有與航拍圖像相關(guān)聯(lián)的角度的翹曲圖像。例如，可以通過(guò)使用航拍圖像的姿態(tài)、全景圖像的姿態(tài)和檢測(cè)到的立面平面位置來(lái)將全景圖像翹曲為航拍圖像，以將全景圖像的圖像平面投射到與航拍圖像相關(guān)聯(lián)的圖像平面。

然后，可以通過(guò)使用特征匹配技術(shù)來(lái)識(shí)別在翹曲圖像與航拍圖像之間的一個(gè)或者多個(gè)特征匹配。特征匹配技術(shù)可以例如由以下組成：提取翹曲圖像的一個(gè)或者多個(gè)描述符、以及對(duì)在翹曲圖像和航拍圖像中的對(duì)應(yīng)的描述符進(jìn)行匹配。然后，可以使用匹配的特征來(lái)發(fā)現(xiàn)使翹曲圖像與航拍圖像相關(guān)的幾何變換。

一旦發(fā)現(xiàn)了幾何變換，就可以基于該幾何變換將全景圖像與航拍圖像對(duì)齊?？梢?，例如，通過(guò)創(chuàng)建使與檢測(cè)到的立面平面相關(guān)聯(lián)的三維立面點(diǎn)與該三維立面點(diǎn)在全景圖像中的二維位置相關(guān)的約束來(lái)執(zhí)行對(duì)齊。作為另一示例，可以通過(guò)創(chuàng)建使在全景圖像和航拍圖像中的二維位置相關(guān)的約束來(lái)執(zhí)行對(duì)齊?？梢酝ㄟ^(guò)使用一個(gè)或者多個(gè)特征匹配來(lái)調(diào)整與全景圖像相關(guān)聯(lián)的姿態(tài)，來(lái)增強(qiáng)對(duì)齊。例如，可以使用光束法平差(bundle adjustment)算法來(lái)調(diào)整全景圖像的姿態(tài)，并且至少部分地基于在翹曲圖像與航拍圖像之間的匹配特征來(lái)對(duì)在全景圖像中描繪的對(duì)象進(jìn)行地理參考。

一旦已經(jīng)將全景圖像和航拍圖像對(duì)齊，就可以至少部分地基于圖像的對(duì)齊來(lái)更新在圖像中描繪的地理區(qū)域的三維模型。然后，可以將更新后的三維模型存儲(chǔ)在例如地理信息系統(tǒng)中，在該地理信息系統(tǒng)中，該更新后的三維模型可以由例如移動(dòng)計(jì)算裝置的用戶(hù)請(qǐng)求并且被傳送至該用戶(hù)。

本公開(kāi)的各種實(shí)施方式可以包括，例如，從公開(kāi)的特征匹配技術(shù)排除對(duì)與植被相關(guān)聯(lián)的像素的描述符提取。進(jìn)一步的實(shí)施方式可以包括排除對(duì)不與立面平面相關(guān)聯(lián)的任何像素的描述符提取。

本公開(kāi)的另一實(shí)施方式可以排除對(duì)翹曲圖像的具有大量模糊的像素區(qū)域的描述符提取。圖像中的大范圍的模糊像素可以導(dǎo)致該區(qū)域變得難以辨認(rèn)，這造成特征匹配困難。在替代實(shí)施例中，可以通過(guò)將立面平面的未拼接的圖像，而不是完整的全景圖像，轉(zhuǎn)換為翹曲圖像來(lái)減少模糊。由未拼接的圖像產(chǎn)生的翹曲圖像可以具有比由完整的全景圖像產(chǎn)生的對(duì)應(yīng)的翹曲圖像更少的模糊。

根據(jù)示例實(shí)施例，設(shè)置在運(yùn)輸裝置上的移動(dòng)式數(shù)據(jù)采集單元采集街面全景成像。移動(dòng)式數(shù)據(jù)采集單元進(jìn)一步采集與全景成像相關(guān)聯(lián)的三維幾何圖形數(shù)據(jù)。訪問(wèn)具體街面全景圖像，連同與該圖像相關(guān)聯(lián)的圖像姿態(tài)和三維幾何圖形數(shù)據(jù)?；趲缀螖?shù)據(jù)，在街面圖像中檢測(cè)立面平面。一旦已經(jīng)檢測(cè)到立面平面，就識(shí)別描繪了相同立面平面的航拍圖像。識(shí)別到的航拍圖像具有檢測(cè)到的立面平面的最小透視縮小并且最小遮擋的視圖。然后，通過(guò)將全景圖像的圖像平面投射到與航拍圖像相關(guān)聯(lián)的圖像平面，來(lái)將全景圖像轉(zhuǎn)換為翹曲圖像。然后，通過(guò)使用特征匹配技術(shù)來(lái)識(shí)別在翹曲圖像與航拍圖像之間的特征匹配。一旦已經(jīng)識(shí)別到特征匹配，就可以將全景圖像與航拍圖像對(duì)齊?？梢酝ㄟ^(guò)創(chuàng)建使與立面平面相關(guān)聯(lián)的三維立面點(diǎn)與該三維立面點(diǎn)在全景圖像中的二維位置相關(guān)的約束來(lái)將圖像對(duì)齊?？商娲?，可以通過(guò)創(chuàng)建使在全景圖像和航拍圖像中的二維位置相關(guān)的約束來(lái)將圖像對(duì)齊。

示例全景成像和航拍成像

圖1描繪了描繪建筑立面102的示例全景圖像100和描繪相同立面102的示例航拍圖像104。全景圖像100是從在地平面上或者靠近地平面的角度捕獲到的。全景圖像100可以是由設(shè)置在運(yùn)輸裝置上的移動(dòng)式數(shù)據(jù)采集單元捕獲到的圖像。全景圖像100可以具有相關(guān)聯(lián)的相機(jī)姿態(tài)和相關(guān)聯(lián)的幾何數(shù)據(jù)。幾何數(shù)據(jù)可以是，例如，通過(guò)激光測(cè)距儀所收集到的數(shù)據(jù)(諸如，LIDAR數(shù)據(jù))來(lái)確定的三維幾何圖形。可以對(duì)全景圖像100進(jìn)行準(zhǔn)確地地理參考并且將其存儲(chǔ)在例如地理信息系統(tǒng)中。更具體地，可以根據(jù)由位于運(yùn)輸裝置上的定位系統(tǒng)捕獲到的地理位置來(lái)存儲(chǔ)和索引全景圖像100。另外，全景圖像100可以是映射到表面(諸如，球體或者圓柱)的紋理。

航拍圖像104從不同的視點(diǎn)描繪了立面102。更具體地，航拍圖像104從相對(duì)于立面102傾斜的角度描繪了立面102。航拍圖像104可以由安裝在飛行器(諸如，例如，直升飛機(jī)或者飛機(jī))上的圖像捕獲裝置捕獲。航拍圖像104也可以具有相機(jī)姿態(tài)和相關(guān)聯(lián)的幾何數(shù)據(jù)。相關(guān)聯(lián)的幾何數(shù)據(jù)可以是，例如，在航拍圖像104中描繪的地理區(qū)域的三維幾何圖形?？梢栽诤脚膱D像中描繪的地理區(qū)域的基于立體的深度圖中描繪三維幾何圖形?？梢詫?duì)航拍圖像進(jìn)行地理參考并且將其存儲(chǔ)在例如地理信息系統(tǒng)中。

更具體地，地理信息系統(tǒng)可以包括沿地理區(qū)域的各個(gè)規(guī)范視點(diǎn)(諸如，沿北方、南方、東方和西方)捕獲到的地理區(qū)域的航拍成像?？梢愿鶕?jù)地理坐標(biāo)來(lái)存儲(chǔ)和索引航拍成像。航拍成像可以用于從傾斜角度向地理信息系統(tǒng)的用戶(hù)提供地理區(qū)域的交互表示。

圖2描繪了描繪立面102和周?chē)乩韰^(qū)域的航拍圖像110。航拍圖像110是從相對(duì)于立面102傾斜的角度捕獲到的并且具有與全景圖像100和航拍圖像104不同的視點(diǎn)。圖2進(jìn)一步描繪了深度圖112。航拍圖像110可以是，例如，通過(guò)立體相機(jī)捕獲到的，并且深度圖112可以是通過(guò)使用立體匹配技術(shù)來(lái)生成的。在不脫離本公開(kāi)的范圍的情況下，可以使用其它技術(shù)來(lái)生成深度圖112。例如，可以使用從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的技術(shù)來(lái)生成深度圖112。

深度圖112描繪了在航拍圖像110中描繪的地理區(qū)域的三維幾何圖形，包括立面102的三維幾何圖形。由深度圖112生成的三維幾何圖形可以與航拍圖像110相關(guān)聯(lián)，并且存儲(chǔ)在，例如，地理信息系統(tǒng)中，如上所述。

圖3描繪了設(shè)置在運(yùn)輸裝置127上的移動(dòng)式數(shù)據(jù)采集單元120。該移動(dòng)式數(shù)據(jù)采集單元120可以包括傳感器或者數(shù)據(jù)采集裝置的組合，諸如，但不限于，能夠采集二維(2D)照片或者視頻的相機(jī)和能夠采集地面LIDAR數(shù)據(jù)的激光掃描儀。傳感器或者數(shù)據(jù)采集裝置的組合可以用于創(chuàng)建三維點(diǎn)云，該三維點(diǎn)云可以用于生成建筑立面124的三維幾何圖形。運(yùn)輸裝置127可以包括傳感器或者其它裝置的組合，諸如，但不限于，定位系統(tǒng)(例如，GPS系統(tǒng)、或者其它定位系統(tǒng))、加速度計(jì)、陀螺儀、和輪速傳感器。傳感器的組合可以用于確定移動(dòng)式數(shù)據(jù)采集單元120的位置信息。

將全景成像與航拍成像對(duì)齊的示例方法

圖4描繪了用于將全景圖像與航拍圖像對(duì)齊的示例方法(200)的流程圖。方法(200)可以由一個(gè)或者多個(gè)計(jì)算裝置(諸如，在圖10中描繪的計(jì)算裝置中的一個(gè)或者多個(gè))實(shí)施。另外，為了說(shuō)明和討論起見(jiàn)，圖4描繪了按照特定順序執(zhí)行的步驟。本領(lǐng)域的普通技術(shù)人員在使用本文所提供的公開(kāi)內(nèi)容時(shí)將理解，在不脫離本公開(kāi)的范圍的情況下，可以按照各種方式來(lái)省略、調(diào)整、修改、重新排列和擴(kuò)展本文所公開(kāi)的方法中的任何一種方法的各個(gè)步驟。

在(202)中，方法(200)可以包括訪問(wèn)全景圖像以便與航拍成像對(duì)齊。全景圖像可以描繪了，例如，建筑立面。全景圖像可以具有相關(guān)聯(lián)的姿態(tài)和相關(guān)聯(lián)的幾何數(shù)據(jù)。姿態(tài)可以由位于運(yùn)輸裝置上的傳感器和其它裝置的組合(諸如，但不限于，GPS單元、加速度計(jì)和陀螺儀)確定。相關(guān)聯(lián)的幾何數(shù)據(jù)可以是在全景圖像中描繪的成像的三維幾何圖形。

在(204)中，方法(200)可以包括檢測(cè)在全景圖像中的立面平面?？梢灾辽俨糠值鼗谠谌皥D像中描繪的成像的三維幾何圖形來(lái)檢測(cè)立面平面。更具體地，可以通過(guò)使用三維幾何圖形來(lái)識(shí)別與在全景圖像中描繪的建筑立面對(duì)應(yīng)的垂直平面多邊形，來(lái)檢測(cè)立面平面。

圖5描繪了根據(jù)本公開(kāi)的示例實(shí)施例的從在地平面上或者靠近地平面的角度捕獲到的全景圖像300中的示例檢測(cè)立面平面302?；谂c全景圖像300相關(guān)聯(lián)的三維幾何圖形來(lái)檢測(cè)立面平面302。例如，可以通過(guò)使用三維幾何圖形來(lái)識(shí)別與建筑立面對(duì)應(yīng)的垂直平面多邊形，來(lái)檢測(cè)立面平面302?？梢赃^(guò)濾掉太小的、非垂直的或者不合適的檢測(cè)到的多邊形以更好地促進(jìn)對(duì)立面平面302的檢測(cè)。

回頭參照?qǐng)D4，在(206)中，方法(200)可以包括識(shí)別航拍圖像?？梢灾辽俨糠值鼗?204)的檢測(cè)到的立面平面來(lái)識(shí)別航拍圖像。例如，可以訪問(wèn)全景圖像以與航拍成像對(duì)齊。可以至少部分地基于全景圖像的相關(guān)聯(lián)的姿態(tài)和幾何數(shù)據(jù)來(lái)確定在全景圖像中描繪的地理區(qū)域的位置?？梢詮牡乩硇畔⑾到y(tǒng)獲得描繪了相同地理區(qū)域的候選航拍圖像集合以與全景圖像對(duì)齊?？梢曰讷@得的候選航拍圖像的相應(yīng)姿態(tài)和幾何數(shù)據(jù)來(lái)選擇該獲得的候選航拍圖像。更具體地，可以利用與航拍圖像相關(guān)聯(lián)的姿態(tài)和幾何數(shù)據(jù)來(lái)確定航拍圖像是否描繪了與全景圖像相同的地理區(qū)域。

可以從該候選航拍圖像集合中識(shí)別具有在全景圖像中描繪的建筑立面的最小按透視法縮小并且最小遮擋的視圖的航拍圖像以與全景圖像對(duì)齊。在替代實(shí)施例中，可以識(shí)別具有在全景圖像中可辨認(rèn)的建筑立面的特定區(qū)域的最小按透視法縮小并且最小遮擋的視圖的航拍圖像以與全景圖像對(duì)齊。在又一替代實(shí)施例中，可以至少部分地基于全景圖像的取景方向的相似性來(lái)識(shí)別航拍圖像。基于取景方向來(lái)識(shí)別航拍圖像可以有利于方位方向的圖像相似性，這可以導(dǎo)致更有效并且更準(zhǔn)確的特征匹配。

在(208)中，方法(200)可以包括將全景圖像轉(zhuǎn)換為具有與航拍圖像相關(guān)聯(lián)的角度的翹曲圖像。例如，可以通過(guò)使用航拍圖像的姿態(tài)、全景圖像的姿態(tài)和檢測(cè)到的立面平面的位置來(lái)將全景圖像翹曲至與航拍圖像相關(guān)聯(lián)的角度，以將立面平面投射到與航拍圖像相關(guān)聯(lián)的圖像平面。

圖6描繪了根據(jù)本公開(kāi)的示例實(shí)施例的用于將全景圖像轉(zhuǎn)換為翹曲圖像的示例方法(400)的流程圖。在(402)中，方法(400)可以包括將檢測(cè)到的立面平面投射到航拍圖像中。檢測(cè)到的立面平面可以與在全景圖像中描繪的建筑立面對(duì)應(yīng)。在(404)中，方法(400)可以包括相對(duì)于航拍圖像識(shí)別立面平面的邊界框。在(406)中，方法(400)可以包括將在邊界框中的每個(gè)像素背投到在檢測(cè)到的立面平面上的對(duì)應(yīng)三維點(diǎn)上。在(408)中，方法(400)可以包括將在立面平面上的每個(gè)三維點(diǎn)重新投射到在全景圖像中的對(duì)應(yīng)點(diǎn)中。在翹曲圖像中的每個(gè)像素的顏色可以基于例如在全景圖像中的每個(gè)對(duì)應(yīng)點(diǎn)的RGB值。在不脫離本公開(kāi)的范圍的情況下，可以使用用于將全景圖像轉(zhuǎn)換為具有與航拍圖像相關(guān)聯(lián)的角度的翹曲圖像的其它技術(shù)。

圖7描繪了立面102的航拍圖像500。圖7進(jìn)一步描繪了翹曲圖像502。通過(guò)利用航拍圖像500的姿態(tài)、全景圖像300的姿態(tài)和立面平面302的位置來(lái)創(chuàng)建翹曲圖像502，以將全景圖像300轉(zhuǎn)換為具有與航拍圖像500相關(guān)聯(lián)的角度的翹曲圖像502。更具體地，通過(guò)將全景圖像300的立面平面302投射到與航拍圖像500相關(guān)聯(lián)的圖像平面，來(lái)將全景圖像300轉(zhuǎn)換為翹曲圖像502。

雖然如圖7所證明的，翹曲圖像具有與航拍圖像非常匹配的視圖，但是兩個(gè)圖像之間的進(jìn)一步配準(zhǔn)可以是必要的。因此，在(210)中，方法(200)包括識(shí)別在翹曲圖像與航拍圖像之間的特征匹配。可以使用任何合適的特征匹配技術(shù)(諸如，圖8所描繪的特征匹配技術(shù))來(lái)對(duì)在翹曲圖像與航拍圖像之間的對(duì)應(yīng)的特征進(jìn)行匹配。

圖8描繪了根據(jù)本公開(kāi)的示例實(shí)施例的用于對(duì)在翹曲圖像與航拍圖像之間的特征進(jìn)行匹配的示例方法(600)的流程圖。在(602)中，方法(600)可以包括從翹曲圖像并且從航拍圖像提取局部圖像描述符。描述符可以是在翹曲圖像和航拍圖像中的各個(gè)興趣點(diǎn)?？梢酝ㄟ^(guò)使用尺度不變特征變換(SIFT)技術(shù)或者其它合適的技術(shù)來(lái)識(shí)別描述符，并且可以基于外觀或者基于特征相似性來(lái)對(duì)特征進(jìn)行匹配。

在具體實(shí)施方式中，可以從提取排除與植被相關(guān)聯(lián)的像素。這可以例如通過(guò)使用LIDAR數(shù)據(jù)或者其它幾何數(shù)據(jù)來(lái)檢測(cè)與植被相關(guān)聯(lián)的像素并且從提取排除在翹曲圖像和航拍圖像中的這些像素來(lái)完成。在另一具體實(shí)施例中，可以從提取排除并未位于在翹曲圖像和航拍圖像中描繪的立面上的描述符。

在(604)中，方法(600)可以包括對(duì)在翹曲圖像和航拍圖像中的對(duì)應(yīng)的描述符進(jìn)行匹配。例如，對(duì)于翹曲圖像中的每個(gè)描述符，可以識(shí)別航拍圖像中的大多數(shù)相似的描述符。在具體實(shí)施方式中，如果其位置彼此在40像素內(nèi)，則可以將翹曲圖像中的描述符與航拍圖像中的描述符匹配?？梢岳缁谕庥^或者基于特征相似性來(lái)對(duì)特征進(jìn)行匹配。

雖然可以對(duì)在翹曲圖像與航拍圖像之間的提取到的描述符進(jìn)行強(qiáng)健的匹配，但是仍然可能出現(xiàn)問(wèn)題。例如，在重復(fù)立面元素(例如，窗)上的描述符可以與該元素在其它圖像中的任何副本同等地很好地匹配。鑒于這個(gè)問(wèn)題，可以通過(guò)保持前幾個(gè)描述符并且使用這些描述符作為匹配候選來(lái)增強(qiáng)特征匹配準(zhǔn)確性。

在(606)中，方法(600)可以包括發(fā)現(xiàn)使翹曲圖像與航拍圖像相關(guān)的幾何變換。幾何變換可以是例如將在(604)中發(fā)現(xiàn)的最大數(shù)量的匹配對(duì)齊的2D變換。在具體實(shí)施例中，可以通過(guò)使用隨機(jī)抽樣一致性(RANSAC)來(lái)發(fā)現(xiàn)幾何變換。RANSAC是一種創(chuàng)建來(lái)自(604)的匹配的許多隨機(jī)子集的異常檢測(cè)技術(shù)。然后，使用子集來(lái)假設(shè)使圖像相關(guān)的幾何變換。選擇與大多數(shù)其它匹配一致的假設(shè)。

在替代實(shí)施例中，可以通過(guò)使用多個(gè)相鄰的全景圖像來(lái)發(fā)現(xiàn)變換。如果，例如，在一個(gè)圖像中僅僅存在少量匹配，則通過(guò)使用多個(gè)相鄰的全景圖像來(lái)發(fā)現(xiàn)變換可以提高變換的準(zhǔn)確性。例如，住宅立面通?？梢员瘸鞘辛⒚娓〔⑶腋矫?，這可以導(dǎo)致較少的特征匹配。與單個(gè)全景圖像相反，可以通過(guò)識(shí)別跨多個(gè)相鄰全景圖像的一致變換來(lái)彌補(bǔ)這個(gè)問(wèn)題。

另外，對(duì)于具有3D元素的立面(諸如，凸窗或者柱)，也許不存在對(duì)在翹曲圖像與航拍圖像之間的特征進(jìn)行正確匹配的單個(gè)變換。在這種情況下，可以通過(guò)使用例如LIDAR數(shù)據(jù)來(lái)建模非平面區(qū)域。在替代實(shí)施例中，可以拒絕在非平面區(qū)域中的匹配。

在(606)中發(fā)現(xiàn)的幾何變換的類(lèi)型可以隨著在翹曲圖像與航拍圖像之間的圖像配準(zhǔn)不良程度的不同而不同。例如，如果兩個(gè)圖像非常配準(zhǔn)，則幾何變換可以是兩個(gè)圖像之間的簡(jiǎn)單轉(zhuǎn)換。同樣，兩個(gè)圖像之間的幾何變換可以是旋轉(zhuǎn)和/或比例縮放。然而，如果使翹曲圖像和航拍圖像配準(zhǔn)不良至更高的程度，則幾何變換可能是復(fù)雜的單應(yīng)矩陣。

圖9A描繪了根據(jù)本公開(kāi)的示例實(shí)施例的在示例航拍圖像702與示例翹曲圖像704之間的匹配特征。匹配特征由垂直線706表示，每條垂直線706從航拍圖像中的單獨(dú)描述符跨越到翹曲圖像中的對(duì)應(yīng)的描述符。描述符表示在航拍圖像和翹曲圖像中的視覺(jué)興趣點(diǎn)。圖9B也描繪了航拍圖像702和翹曲圖像704。圖9B僅僅描繪了在翹曲圖像與航拍圖像之間的單個(gè)匹配特征。如垂直線710所示，航拍圖像中的描述符712與翹曲圖像中的描述符714匹配。

回頭參照?qǐng)D4，在(212)中，方法(200)可以包括將全景圖像與航拍圖像對(duì)齊。在具體實(shí)施方式中，可以通過(guò)創(chuàng)建使三維立面點(diǎn)與其在全景圖像中的2D位置相關(guān)的約束來(lái)執(zhí)行對(duì)齊?？梢酝ㄟ^(guò)將航拍圖像中的立面點(diǎn)背投到立面平面來(lái)發(fā)現(xiàn)三維立面點(diǎn)。對(duì)應(yīng)的全景圖像點(diǎn)可以是通過(guò)使用針對(duì)(210)描述的幾何變換來(lái)對(duì)該全景圖像進(jìn)行轉(zhuǎn)換而發(fā)現(xiàn)的。

在另一具體實(shí)施方式中，可以通過(guò)創(chuàng)建使全景圖像和航拍圖像中的2D位置相關(guān)的約束來(lái)執(zhí)行將全景圖像與航拍圖像對(duì)齊。在這種具體實(shí)施方式中，不需要三維立面點(diǎn)。約束是通過(guò)使用針對(duì)(210)描述的幾何變換來(lái)將航拍圖像中的立面點(diǎn)轉(zhuǎn)換為全景圖像而創(chuàng)建的。

約束可以用于改善全景圖像的姿態(tài)。例如，可以實(shí)施光束法平差算法以調(diào)整全景圖像的姿態(tài)，并且至少部分地基于在全景圖像與航拍圖像之間的創(chuàng)建的約束來(lái)對(duì)在全景圖像中描繪的對(duì)象進(jìn)行地理參考。

用于將全景成像與航拍成像對(duì)齊的示例系統(tǒng)

圖10描繪了可以用于實(shí)施根據(jù)本公開(kāi)的示例方面的方法和系統(tǒng)的示例計(jì)算系統(tǒng)800。該系統(tǒng)800可以通過(guò)使用客戶(hù)端-服務(wù)器架構(gòu)來(lái)實(shí)施，該客戶(hù)端-服務(wù)器架構(gòu)包括通過(guò)網(wǎng)絡(luò)840與一個(gè)或者多個(gè)客戶(hù)端裝置830通信的服務(wù)器810。系統(tǒng)800可以通過(guò)使用諸如單個(gè)計(jì)算裝置等其它合適的架構(gòu)來(lái)實(shí)施。

系統(tǒng)800包括諸如web服務(wù)器等服務(wù)器810。該服務(wù)器810可以托管地理信息系統(tǒng)。服務(wù)器810可以通過(guò)使用任何合適的計(jì)算裝置來(lái)實(shí)施。服務(wù)器810可以具有一個(gè)或者多個(gè)處理器812和存儲(chǔ)器814。服務(wù)器810還可以包括用于通過(guò)網(wǎng)絡(luò)840與一個(gè)或者多個(gè)客戶(hù)端裝置830通信的網(wǎng)絡(luò)接口。該網(wǎng)絡(luò)接口可以包括用于與一個(gè)或者多個(gè)網(wǎng)絡(luò)交互的任何合適的部件，包括：例如，發(fā)射機(jī)、接收機(jī)、端口、控制器、天線、或者其它合適的部件。

該一個(gè)或者多個(gè)處理器812可以包括任何合適的處理裝置，諸如，微處理器、微控制器、集成電路、邏輯裝置、或者其它合適的處理裝置。存儲(chǔ)器814可以包括任何一個(gè)或者多個(gè)計(jì)算機(jī)可讀介質(zhì)，包括但不限于非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)、RAM、ROM、硬盤(pán)驅(qū)動(dòng)器、閃存驅(qū)動(dòng)器、或者其它存儲(chǔ)器裝置。存儲(chǔ)器814可以存儲(chǔ)可由該一個(gè)或者多個(gè)處理器812訪問(wèn)的信息，包括：可以由該一個(gè)或者多個(gè)處理器812執(zhí)行的計(jì)算機(jī)可讀指令816。該指令816可以是在由該一個(gè)或者多個(gè)處理器812執(zhí)行時(shí)使該一個(gè)或者多個(gè)處理器812執(zhí)行操作的指令的任何集合。例如，指令816可以由該一個(gè)或者多個(gè)處理器812執(zhí)行以實(shí)施一個(gè)或者多個(gè)模塊，該一個(gè)或者多個(gè)模塊被配置為實(shí)施對(duì)齊模塊820和/或本文所公開(kāi)的方法中的任何一種方法的各個(gè)方面。

對(duì)齊模塊820可以被配置為根據(jù)本公開(kāi)的示例實(shí)施例將從在地平面上或者靠近地平面的角度捕獲到的全景成像與航拍成像對(duì)齊。對(duì)齊模塊820可以包括一個(gè)或者多個(gè)模塊，諸如，約束模塊、翹曲模塊和特征匹配模塊。約束模塊可以被配置為創(chuàng)建使在全景圖像和航拍圖像中的點(diǎn)相關(guān)的約束條件，諸如，針對(duì)圖4所示的方法(200)的(212)所描述的。翹曲模塊可以被配置為將全景圖像轉(zhuǎn)換為具有與航拍圖像相關(guān)聯(lián)的投射的翹曲圖像，諸如，在圖6所示的方法(400)中。特征匹配模塊可以被配置為識(shí)別在翹曲圖像與航拍圖像之間的一個(gè)或者多個(gè)匹配特征，諸如，在圖5所示的方法(600)中。對(duì)齊模塊820可以被配置為至少部分地基于匹配特征來(lái)將全景成像與航拍成像對(duì)齊。

要了解，術(shù)語(yǔ)“模塊”指用于提供所需功能的計(jì)算機(jī)邏輯。因此，可以使用控制通用處理器的硬件、專(zhuān)用電路、固件和/或軟件來(lái)實(shí)施模塊。在一個(gè)實(shí)施例中，模塊為存儲(chǔ)在存儲(chǔ)裝置上、加載到存儲(chǔ)器中并且由處理器執(zhí)行的程序代碼文件，或者可以從計(jì)算機(jī)程序產(chǎn)品提供，例如，存儲(chǔ)在諸如RAM、硬盤(pán)、或光學(xué)介質(zhì)或者磁性介質(zhì)等有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的計(jì)算機(jī)可執(zhí)行指令。當(dāng)使用軟件時(shí)，可以使用任何合適的編程語(yǔ)言或者平臺(tái)來(lái)實(shí)施模塊。

存儲(chǔ)器814還可以包括可以通過(guò)該一個(gè)或者多個(gè)處理器812檢索、操縱、創(chuàng)建或者存儲(chǔ)的數(shù)據(jù)818。該數(shù)據(jù)818可以包括，例如，全景成像、航拍成像、相機(jī)參數(shù)、與全景成像和航拍成像二者相關(guān)聯(lián)的幾何數(shù)據(jù)、以及其它信息。數(shù)據(jù)818可以存儲(chǔ)在一個(gè)或者多個(gè)數(shù)據(jù)庫(kù)中。該一個(gè)或者多個(gè)數(shù)據(jù)庫(kù)可以通過(guò)高帶寬LAN或者WAN連接至服務(wù)器810，或者也可以通過(guò)網(wǎng)絡(luò)840連接至服務(wù)器810?？梢詫⒃撘粋€(gè)或者多個(gè)數(shù)據(jù)庫(kù)分開(kāi)，從而使其位于多個(gè)場(chǎng)所中。

服務(wù)器810可以通過(guò)網(wǎng)絡(luò)840與一個(gè)或者多個(gè)客戶(hù)端裝置830交換數(shù)據(jù)。雖然在圖10中圖示出了兩個(gè)客戶(hù)端裝置830，但是可以將任何數(shù)量的客戶(hù)端裝置830通過(guò)網(wǎng)絡(luò)840連接至服務(wù)器810?？蛻?hù)端裝置830中的每一個(gè)可以是任何合適類(lèi)型的計(jì)算裝置，諸如，通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、移動(dòng)裝置、智能手機(jī)、平板計(jì)算機(jī)、可穿戴計(jì)算裝置、具有一個(gè)或者多個(gè)處理器的顯示器、或者其它合適的計(jì)算裝置。

與服務(wù)器810相似，客戶(hù)端裝置830可以包括一個(gè)或者多個(gè)處理器832和存儲(chǔ)器834。該一個(gè)或者多個(gè)處理器832可以包括一個(gè)或者多個(gè)中央處理單元(CPU)、專(zhuān)門(mén)用于有效地渲染圖像的圖形處理單元(GPU)、和/或其它處理裝置。存儲(chǔ)器834可以包括一個(gè)或者多個(gè)計(jì)算機(jī)可讀介質(zhì)并且可以存儲(chǔ)可由該一個(gè)或者多個(gè)處理器832訪問(wèn)的信息，包括：可由該一個(gè)或者多個(gè)處理器832執(zhí)行的指令836和數(shù)據(jù)838。例如，存儲(chǔ)器834可以存儲(chǔ)用于實(shí)施用戶(hù)界面模塊和渲染器模塊以向用戶(hù)呈現(xiàn)地理區(qū)域的交互成像的指令836?？梢灾辽俨糠值鼗谂c航拍成像對(duì)齊的全景成像來(lái)生成交互成像。

圖10的客戶(hù)端裝置830可以包括用于向用戶(hù)提供信息并且接收來(lái)自該用戶(hù)的信息的各種輸入/輸出裝置，諸如，觸摸屏、觸摸板、數(shù)據(jù)輸入鍵、揚(yáng)聲器、和/或適合于語(yǔ)音識(shí)別的麥克風(fēng)。例如，客戶(hù)端裝置830可以具有用于向用戶(hù)呈現(xiàn)地理區(qū)域的地理成像的顯示器835。

客戶(hù)端裝置830還可以包括用于通過(guò)網(wǎng)絡(luò)840與一個(gè)或者多個(gè)計(jì)算裝置(例如，服務(wù)器810)通信的網(wǎng)絡(luò)接口。該網(wǎng)絡(luò)接口可以包括用于與一個(gè)或者多個(gè)網(wǎng)絡(luò)連接的任何合適的部件，包括：例如，發(fā)射機(jī)、接收機(jī)、端口、控制器、天線、或者其它合適的部件。

網(wǎng)絡(luò)可以是任何類(lèi)型的通信網(wǎng)絡(luò)，諸如，局域網(wǎng)(例如，內(nèi)聯(lián)網(wǎng))、廣域網(wǎng)(例如，互聯(lián)網(wǎng))、蜂窩網(wǎng)絡(luò)、或者其一些組合。網(wǎng)絡(luò)840還可以包括在客戶(hù)端裝置830與服務(wù)器810之間的直接連接。通常，可以通過(guò)使用各種通信協(xié)議(例如，TCP/ICP、HTTP、SMTP、FTP)、編碼或者格式(例如，HTML、XML)、和/或保護(hù)機(jī)制(例如，VPN、安全HTTP、SSL)，使用任何類(lèi)型的有線和/或無(wú)線連接經(jīng)由網(wǎng)絡(luò)接口，來(lái)執(zhí)行服務(wù)器810與客戶(hù)端裝置830之間的通信。

本文所討論的技術(shù)提到服務(wù)器、數(shù)據(jù)庫(kù)、軟件應(yīng)用和其它基于計(jì)算機(jī)的系統(tǒng)、以及采取的動(dòng)作和發(fā)送至這種系統(tǒng)并且從這種系統(tǒng)發(fā)送的信息。本領(lǐng)域的普通技術(shù)人員要認(rèn)識(shí)到，基于計(jì)算機(jī)的系統(tǒng)的固有靈活性考慮到了部件之間和當(dāng)中的任務(wù)和功能的各種各樣可能的配置、組合和劃分。例如，可以通過(guò)使用單個(gè)服務(wù)器或者按照組合的方式工作的多個(gè)服務(wù)器來(lái)實(shí)現(xiàn)本文所討論的服務(wù)器進(jìn)程。數(shù)據(jù)庫(kù)和應(yīng)用可以在單個(gè)系統(tǒng)上實(shí)施或者分布在多個(gè)系統(tǒng)中。分布的部件可以順序地或者并行地運(yùn)行。

雖然已經(jīng)針對(duì)其具體示例實(shí)施例詳細(xì)描述了本主題，但是要了解，在獲得對(duì)前文的理解之后，本領(lǐng)域的技術(shù)人員可以容易地對(duì)這種實(shí)施例進(jìn)行更改和變型并且產(chǎn)生這種實(shí)施例的等效物。因此，本公開(kāi)的范圍僅為舉例并非是為了限制，并且本主題公開(kāi)并不妨礙包括本領(lǐng)域的普通技術(shù)人員顯而易見(jiàn)的對(duì)本主題的這種修改、變型和/或添加。