基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法
【專利摘要】本發(fā)明公開(kāi)了一種基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法。包括如下步聚：（1）輸入序列航空/航天攝影影像，及其對(duì)應(yīng)的定向參數(shù)文件，進(jìn)行影像分塊裁剪存儲(chǔ)、確定多視影像匹配的基準(zhǔn)影像、搜索影像和待匹配區(qū)域等預(yù)處理工作；（2）采用附加物方信息約束和雙向一致性驗(yàn)證的多視影像匹配方法，獲取基準(zhǔn)影像上待匹配區(qū)域內(nèi)所有像素在搜索影像上的同名像點(diǎn)；（3）根據(jù)多像光束法平差，計(jì)算待匹配像素對(duì)應(yīng)地物點(diǎn)的三維坐標(biāo)，再結(jié)合其RGB顏色信息，并按照一定的數(shù)據(jù)結(jié)構(gòu)，生成表達(dá)待匹配區(qū)域地理場(chǎng)景的三維影像點(diǎn)云。根據(jù)本發(fā)明的方法獲得的影像點(diǎn)云可用于從序列影像中自動(dòng)構(gòu)建大范圍地理場(chǎng)景的虛擬三維模型。
【專利說(shuō)明】基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于攝影測(cè)量、計(jì)算機(jī)視覺(jué)和虛擬地理環(huán)境領(lǐng)域，涉及基于影像的虛擬地理場(chǎng)景構(gòu)建方法。
【背景技術(shù)】
[0002]地理場(chǎng)景的三維重建既是3DGIS和虛擬地理環(huán)境發(fā)展的關(guān)鍵技術(shù)，也是空間信息服務(wù)環(huán)境具備強(qiáng)沉浸感體驗(yàn)性的基礎(chǔ)?？焖偾易詣?dòng)地實(shí)現(xiàn)大范圍復(fù)雜地理場(chǎng)景的真三維虛擬重建，一直是GIS、計(jì)算機(jī)視覺(jué)、虛擬現(xiàn)實(shí)、攝影測(cè)量等領(lǐng)域的難點(diǎn)問(wèn)題和研究熱點(diǎn)。針對(duì)地理場(chǎng)景的數(shù)字化三維重建，當(dāng)前的方法按技術(shù)實(shí)現(xiàn)的途徑可主要分為兩大類:基于三維激光掃描的方法和基于影像的方法。雖然三維激光掃描獲得的三維點(diǎn)云的幾何精度高、點(diǎn)的密度較大，但在從點(diǎn)云到三維模型的重建過(guò)程中，需對(duì)點(diǎn)云進(jìn)行配準(zhǔn)、濾波、分割、特征提取、表面格網(wǎng)構(gòu)建、紋理映射等一系列的處理，人機(jī)交互工作量較大；而且，點(diǎn)云數(shù)據(jù)中缺乏紋理和語(yǔ)義信息，若要構(gòu)建真實(shí)感較強(qiáng)的三維模型，必需額外進(jìn)行紋理影像的采集和紋理映射，增加了自動(dòng)化三維建模的處理復(fù)雜度。
[0003]相較于激光掃描點(diǎn)云，影像數(shù)據(jù)中所蘊(yùn)含的信息要豐富很多，其集幾何、屬性、語(yǔ)義等多種隱含的或顯示的信息于一身，是真實(shí)地理場(chǎng)景最直觀、最簡(jiǎn)潔的記錄方式。但是，現(xiàn)有基于影像的三維重建方法或是僅將影像視為紋理屬性來(lái)用，或是僅利用影像來(lái)提取幾何模型(格網(wǎng)、TIN等)；且在三維模型構(gòu)建完成后，原始采集的帶有各種定位信息的高分辨率的影像數(shù)據(jù)就不再使用。這種幾何模型與紋理屬性分開(kāi)采集再映射融合的三維重建方法，一方面增加了數(shù)據(jù)處理的復(fù)雜度，一方面也使得重建場(chǎng)景的視覺(jué)效果不夠真實(shí)。
[0004]在攝影測(cè)量領(lǐng)域，立體像對(duì)經(jīng)相對(duì)定向和絕對(duì)定向后，可獲得地理場(chǎng)景的真實(shí)感很強(qiáng)的視覺(jué)三維立體模型。然而，此視覺(jué)模型仍是一個(gè)不可接觸的虛擬視像，也不能直接以數(shù)字化方式存儲(chǔ)；需要同時(shí)保存其對(duì)應(yīng)的原始立體像對(duì)和定向參數(shù)，才能在專業(yè)的數(shù)字?jǐn)z影測(cè)量系統(tǒng)(VirtuoZo、JX4、Imagelnfo-PixelGrid、Inpho等)中對(duì)其進(jìn)行可視化與人機(jī)交互數(shù)據(jù)采集等操作。若能將視覺(jué)立體模型中所看到的每個(gè)地物點(diǎn)都以三維彩色點(diǎn)形式明確地編碼并記錄其幾何空間信息和顏色屬性，則可將基于原始影像呈現(xiàn)的視覺(jué)立體模型轉(zhuǎn)換成可接觸的數(shù)字化三維虛擬場(chǎng)景模型，從而有望以真實(shí)、簡(jiǎn)潔的數(shù)據(jù)模型來(lái)重建三維虛擬地理場(chǎng)景，并支持場(chǎng)景的可視化、交互及地理分析。顯然，同時(shí)具有三維幾何信息和二維顏色紋理信息的影像點(diǎn)云，是實(shí)現(xiàn)視覺(jué)立體模型到數(shù)字化虛擬場(chǎng)景轉(zhuǎn)換的有效方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于針對(duì)現(xiàn)有基于影像的三維建模方法中人機(jī)交互操作過(guò)多、處理過(guò)程復(fù)雜和效率低下的不足，提出一種基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法。本發(fā)明的影像點(diǎn)云是根據(jù)攝影測(cè)量原理，從序列航空或航天攝影影像中生成的同時(shí)具有三維激光掃描點(diǎn)云的三維幾何信息和二維平面影像的顏色紋理屬性的三維彩色點(diǎn)集，其能有效地將幾何信息和顏色紋理信息進(jìn)行一體化表達(dá)，且點(diǎn)集密度遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)機(jī)載LiDAR點(diǎn)云，可有效地對(duì)現(xiàn)實(shí)地理場(chǎng)景進(jìn)行真三維數(shù)字化重建和再現(xiàn)。
[0006]基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法包括如下步驟:
[0007]步驟一，輸入序列航空或航天攝影影像，及其對(duì)應(yīng)的定向參數(shù)文件，進(jìn)行影像分塊裁剪存儲(chǔ)、確定多視影像匹配的基準(zhǔn)影像、搜索影像和待匹配區(qū)域等預(yù)處理工作；
[0008]步驟二，采用附加物方信息約束和雙向一致性驗(yàn)證的多視影像匹配方法，獲取基準(zhǔn)影像上待匹配區(qū)域內(nèi)所有像素在搜索影像上的同名像點(diǎn)；
[0009]步驟三，根據(jù)多像光束法平差，計(jì)算待匹配像素對(duì)應(yīng)地物點(diǎn)的三維坐標(biāo)，再結(jié)合其RGB顏色信息，并按照一定的數(shù)據(jù)結(jié)構(gòu)，生成表達(dá)待匹配區(qū)域地理場(chǎng)景的三維影像點(diǎn)云。
[0010]所述步驟一具體包括:
[0011](1)輸入具有重置度的η幅序列航空或航天攝影影像,及其對(duì)應(yīng)的定向參數(shù)文件；
[0012](2)將輸入的序列影像，按t*t分塊裁剪并存儲(chǔ),其中t為兩位整數(shù)；
[0013](3)確定一幅基準(zhǔn)影像Ic^Pn-1幅搜索影像SpSi'…、Sn_1;并根據(jù)影像間的重疊度，確定基準(zhǔn)影像上的待匹配區(qū)域范圍的左上角和右下角的行列號(hào)；
[0014](4)將待匹配區(qū)域進(jìn)行m*m均勻格網(wǎng)劃分，以提高后續(xù)的多視影像匹配的效率。
[0015]所述步驟二具體包括:對(duì)于基準(zhǔn)影像上m*m均勻格網(wǎng)劃分的待匹配區(qū)域，依次取出每一塊待匹配區(qū)域，對(duì)此區(qū)域內(nèi)的每一個(gè)待匹配像素點(diǎn)并行進(jìn)行如下的多視影像匹配過(guò)程。
[0016](I)根據(jù)待匹配區(qū)域的最大高程Zmax和最小高程Zmin，確定待匹配點(diǎn)在各幅搜索影像上的候選同名點(diǎn)搜索范圍；
[0017](2)在同名點(diǎn)搜索范圍內(nèi)，分別計(jì)算待匹配點(diǎn)和各幅搜索影像上的每個(gè)候選點(diǎn)的匹配測(cè)度P P…、Plri，取n-ι個(gè)匹配測(cè)度的平均值作為每個(gè)候選同名點(diǎn)和待匹配點(diǎn)的多像匹配測(cè)度，并以最大多像匹配測(cè)度所對(duì)應(yīng)的各個(gè)候選同名點(diǎn)作為待匹配點(diǎn)在各幅搜索影像上的同名像點(diǎn)；
[0018](3)對(duì)于每幅搜索影像上的同名像點(diǎn)，按照雙像立體影像匹配的方式，確定其在基準(zhǔn)影像上的同名點(diǎn)，并將該同名點(diǎn)和原來(lái)的待匹配點(diǎn)進(jìn)行比較，如果其列號(hào)之間的差值小于一定的閾值，則認(rèn)為該幅搜索影像上的同名像點(diǎn)有效，并將該同名像點(diǎn)放入基準(zhǔn)影像上待匹配點(diǎn)的同名像點(diǎn)集合；若待匹配點(diǎn)在各幅搜索影像上都沒(méi)有找到有效的同名像點(diǎn)，則該待匹配點(diǎn)為無(wú)效的點(diǎn)，其同名像點(diǎn)集合為空，并賦予其對(duì)應(yīng)地物點(diǎn)的三維坐標(biāo)為一個(gè)無(wú)效的值。
[0019]所述步驟三具體包括:
[0020](I)對(duì)于待匹配區(qū)域內(nèi)的每一個(gè)有效的待匹配點(diǎn)，利用此待匹配點(diǎn)在基準(zhǔn)影像上的行列數(shù)值、及其對(duì)應(yīng)的同名點(diǎn)集合中的各個(gè)同名點(diǎn)在各自搜索影像上的行列數(shù)值，根據(jù)多像光束法平差，計(jì)算待匹配點(diǎn)對(duì)應(yīng)地物點(diǎn)的三維空間坐標(biāo)X、Y、Z;再結(jié)合該待匹配點(diǎn)在基準(zhǔn)影像上的RGB顏色信息，將此待匹配點(diǎn)從二維像素轉(zhuǎn)換成一個(gè)三維彩色點(diǎn)；
[0021](2)按照一定的數(shù)據(jù)結(jié)構(gòu)，將待匹配區(qū)域內(nèi)的所有三維彩色點(diǎn)組織成測(cè)區(qū)地理場(chǎng)景的二維影像點(diǎn)ζ?。
[0022]本發(fā)明的基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法是全自動(dòng)的方法，僅需要用戶指定一些初始輸入?yún)?shù)。本發(fā)明根據(jù)多視攝影測(cè)量原理，將序列航空或航天攝影影像的重疊區(qū)域內(nèi)的每一個(gè)二維平面像素轉(zhuǎn)換成具有三維空間坐標(biāo)和RGB顏色信息的彩色點(diǎn)，從而得到重疊區(qū)域內(nèi)地理場(chǎng)景的超密集三維彩色點(diǎn)集，即影像點(diǎn)云。此種影像點(diǎn)云同時(shí)具有三維激光掃描點(diǎn)云的三維幾何信息和二維平面影像的顏色紋理屬性，能有效地將幾何信息和顏色紋理信息進(jìn)行一體化表達(dá)，可有效地對(duì)現(xiàn)實(shí)地理場(chǎng)景進(jìn)行真三維數(shù)字化重建和再現(xiàn)；其點(diǎn)集密度遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)機(jī)載LiDAR點(diǎn)云，可用于從序列影像中自動(dòng)構(gòu)建大范圍地理場(chǎng)景的虛擬三維模型，有效地對(duì)現(xiàn)實(shí)地理場(chǎng)景進(jìn)行真三維數(shù)字化重建和再現(xiàn)，解決了傳統(tǒng)基于影像的三維建模過(guò)程中先幾何建模再紋理映射的效率低下問(wèn)題。
【專利附圖】

【附圖說(shuō)明】
[0023]圖1是本發(fā)明實(shí)施例的方法框架圖；
[0024]圖2是本發(fā)明實(shí)施例搜索影像上同名像點(diǎn)的同名搜索核線示意圖；
[0025]圖3是本發(fā)明實(shí)施例多視攝影測(cè)量交會(huì)定點(diǎn)示意圖；
[0026]圖4是本發(fā)明實(shí)施例某地區(qū)局部區(qū)域的航空影像；
[0027]圖5是本發(fā)明實(shí)施例生成的某地區(qū)地理場(chǎng)景的三維影像點(diǎn)云效果圖。
【具體實(shí)施方式】
[0028]以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0029]如圖1所示,基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法包括三部分:(1)影像數(shù)據(jù)準(zhǔn)備與預(yù)處理；(2)逐像素的多視影像并行匹配；(3)影像點(diǎn)云生成。具體實(shí)施步驟為:
[0030]第一步:影像數(shù)據(jù)準(zhǔn)備與預(yù)處理。
[0031](I)輸入具有重疊度的η幅序列航空/航天攝影影像，及其對(duì)應(yīng)的定向參數(shù)文件，參數(shù)文件包括數(shù)碼傳感器的檢校參數(shù)文件、每幅影像的外方位元素文件或RPC參數(shù)文件(航空攝影影像為空中三角測(cè)量處理后得到的外方位元素文件，航天攝影影像為RPC參數(shù)文件)、立體像對(duì)的空中三角測(cè)量處理后的相對(duì)定向像點(diǎn)坐標(biāo)文件(用以自動(dòng)計(jì)算測(cè)區(qū)的最大、最低高程，此文件不是必須使用)；
[0032](2)將輸入的序列影像，按t*t分塊裁剪并存儲(chǔ)(t為兩位整數(shù)，如t取10，則每幅影像被裁剪成100塊小塊影像)，存儲(chǔ)時(shí)，各分塊影像文件名的命名規(guī)則為:原始影像文件名兩位字符串表示的分塊行數(shù)+兩位字符串表示的分塊列數(shù)(如第I行第9列處的小塊影像，其名稱為原始影像文件名_0109)；
[0033](3)確定一幅基準(zhǔn)影像Ici和η-1幅搜索影像SpSi'…、Sn_1;并根據(jù)影像間的重疊度，確定基準(zhǔn)影像上的待匹配區(qū)域范圍的左上角和右下角的行列號(hào)；
[0034]若原始影像的寬度為Width、高度為Height (單位像素)，影像間的重疊度為p%，則基準(zhǔn)影像上的待匹配區(qū)域的左上角行列號(hào)(Ru CTJ、右下角行列號(hào)(Rbk，Cbe)按下式計(jì)算:
【權(quán)利要求】
1.基于影像點(diǎn)云的大范圍虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法，其特征在于包括如下步驟: 步驟一，輸入序列航空或航天攝影影像，及其對(duì)應(yīng)的定向參數(shù)文件，進(jìn)行影像分塊裁剪存儲(chǔ)、確定多視影像匹配的基準(zhǔn)影像、搜索影像和待匹配區(qū)域的預(yù)處理工作； 步驟二，采用附加物方信息約束和雙向一致性驗(yàn)證的多視影像匹配方法，獲取基準(zhǔn)影像上待匹配區(qū)域內(nèi)所有像素在搜索影像上的同名像點(diǎn)； 步驟三，根據(jù)多像光束法平差，計(jì)算待匹配像素對(duì)應(yīng)地物點(diǎn)的三維坐標(biāo)，再結(jié)合其RGB顏色信息，并按照一定的數(shù)據(jù)結(jié)構(gòu)，生成表達(dá)待匹配區(qū)域地理場(chǎng)景的三維影像點(diǎn)云。
2.根據(jù)權(quán)利要求1所述的基于影像點(diǎn)云的虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法，其特征在于，所述步驟一的具體過(guò)程為: (1)輸入具有重疊度的η幅序列航空或航天攝影影像，及其對(duì)應(yīng)的定向參數(shù)文件； (2)將輸入的序列影像，按t*t分塊裁剪并存儲(chǔ)，其中t為兩位整數(shù)； (3)確定一幅基準(zhǔn)影像Ici和η-1幅搜索影像S:、Sp…、Sn_1；并根據(jù)影像間的重疊度，確定基準(zhǔn)影像上的待匹配區(qū)域范圍的左上角和右下角的行列號(hào)； (4)將待匹配區(qū)域進(jìn)行m*m均勻格網(wǎng)劃分，以提高后續(xù)的多視影像匹配的效率。
3.根據(jù)權(quán)利要求1 所述的基于影像點(diǎn)云的虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法，其特征在于，所述步驟二的具體過(guò)程為: 對(duì)于基準(zhǔn)影像上m*m均勻格網(wǎng)劃分的待匹配區(qū)域，依次取出每一塊待匹配區(qū)域，對(duì)此區(qū)域內(nèi)的每一個(gè)待匹配像素點(diǎn)并行進(jìn)行如下的多視影像匹配過(guò)程: (1)根據(jù)待匹配區(qū)域的最大高程Zmax和最小高程Zmin，確定待匹配點(diǎn)在各幅搜索影像上的候選同名點(diǎn)搜索范圍； (2)在同名點(diǎn)搜索范圍內(nèi)，分別計(jì)算待匹配點(diǎn)和各幅搜索影像上的每個(gè)候選點(diǎn)的匹配測(cè)度P P…、Plri，取η-1個(gè)匹配測(cè)度的平均值作為每個(gè)候選同名點(diǎn)和待匹配點(diǎn)的多像匹配測(cè)度，并以最大多像匹配測(cè)度所對(duì)應(yīng)的各個(gè)候選同名點(diǎn)作為待匹配點(diǎn)在各幅搜索影像上的同名像點(diǎn)； (3)對(duì)于每幅搜索影像上的同名像點(diǎn)，按照雙像立體影像匹配的方式，確定其在基準(zhǔn)影像上的同名點(diǎn)，并將該同名點(diǎn)和原來(lái)的待匹配點(diǎn)進(jìn)行比較，如果其列號(hào)之間的差值小于一定的閾值，則認(rèn)為該幅搜索影像上的同名像點(diǎn)有效，并將該同名像點(diǎn)放入基準(zhǔn)影像上待匹配點(diǎn)的同名像點(diǎn)集合；若待匹配點(diǎn)在各幅搜索影像上都沒(méi)有找到有效的同名像點(diǎn)，則該待匹配點(diǎn)為無(wú)效的點(diǎn)，其同名像點(diǎn)集合為空，并賦予其對(duì)應(yīng)地物點(diǎn)的三維坐標(biāo)為一個(gè)無(wú)效的值。
4.根據(jù)權(quán)利要求1所述的基于影像點(diǎn)云的虛擬地理場(chǎng)景自動(dòng)構(gòu)建方法，其特征在于，所述步驟三的具體過(guò)程為: (1)對(duì)于待匹配區(qū)域內(nèi)的每一個(gè)有效的待匹配點(diǎn)，利用此待匹配點(diǎn)在基準(zhǔn)影像上的行列數(shù)值、及其對(duì)應(yīng)的同名點(diǎn)集合中的各個(gè)同名點(diǎn)在各自搜索影像上的行列數(shù)值，根據(jù)多像光束法平差，計(jì)算待匹配點(diǎn)對(duì)應(yīng)地物點(diǎn)的三維空間坐標(biāo)X、Y、Z ;再結(jié)合該待匹配點(diǎn)在基準(zhǔn)影像上的RGB顏色信息，將此待匹配點(diǎn)從二維像素轉(zhuǎn)換成一個(gè)三維彩色點(diǎn)； (2)按照一定的數(shù)據(jù)結(jié)構(gòu)，將待匹配區(qū)域內(nèi)的所有三維彩色點(diǎn)組織成測(cè)區(qū)地理場(chǎng)景的二維影像點(diǎn)z?。
【文檔編號(hào)】G06T7/00GK103606151SQ201310573915
【公開(kāi)日】2014年2月26日 申請(qǐng)日期:2013年11月15日 優(yōu)先權(quán)日:2013年11月15日
【發(fā)明者】張卡, 閭國(guó)年, 盛業(yè)華, 劉學(xué)軍 申請(qǐng)人:南京師范大學(xué)