本發(fā)明涉及三維建模，尤其涉及傾斜攝影與三維激光點(diǎn)云融合的建筑物模型構(gòu)建方法。

背景技術(shù)：

1、在常規(guī)方法中，無(wú)人機(jī)攝影與三維激光掃描儀是分開(kāi)處理數(shù)據(jù)的，例如無(wú)人機(jī)單獨(dú)進(jìn)行傾斜攝影測(cè)量+后期處理軟件建模；三維激光掃描儀單獨(dú)進(jìn)行掃描建筑物+后期點(diǎn)云拼接建模。

2、傾斜攝影能夠從多個(gè)角度獲取建筑物的影像信息，具有較高的分辨率和豐富的紋理信息。通過(guò)搭載在飛行器上的多鏡頭相機(jī)，可以快速獲取大面積區(qū)域的影像數(shù)據(jù)，成本相對(duì)較低且操作較為靈活。它可以直觀(guān)地反映建筑物的外觀(guān)、顏色等特征，為構(gòu)建真實(shí)感強(qiáng)的三維模型提供了基礎(chǔ)的紋理素材。

3、三維激光掃描技術(shù)則能夠精確獲取建筑物的三維空間坐標(biāo)信息，點(diǎn)云數(shù)據(jù)具有高精度的三維幾何信息?？梢詼?zhǔn)確地描述建筑物的形狀、結(jié)構(gòu)以及空間位置關(guān)系，對(duì)于建筑物的輪廓、高度以及復(fù)雜結(jié)構(gòu)的細(xì)節(jié)捕捉能力強(qiáng)。無(wú)論是規(guī)則形狀還是異形建筑，都能獲取到詳細(xì)準(zhǔn)確的數(shù)據(jù)，彌補(bǔ)了傳統(tǒng)測(cè)量方法在獲取三維信息方面的不足。

4、但是，傾斜攝影雖然能提供豐富紋理，但在獲取建筑物的精確三維結(jié)構(gòu)和深度信息方面存在一定局限性，并且受光照、遮擋等因素影響較大。例如在建筑物密集區(qū)域，可能會(huì)因?yàn)橄嗷フ趽鯇?dǎo)致部分區(qū)域紋理缺失或不準(zhǔn)確。三維激光點(diǎn)云雖然幾何精度高，但缺乏直觀(guān)的紋理和顏色信息，生成的模型在視覺(jué)效果上較為單一。僅依靠點(diǎn)云構(gòu)建的模型在真實(shí)感呈現(xiàn)上有所欠缺，不利于直觀(guān)展示和應(yīng)用。

5、在復(fù)雜的城市規(guī)劃等方面，需要更高精度和還原度更高的方式進(jìn)行建筑物模型的構(gòu)建。例如，在城市規(guī)劃領(lǐng)域，需要高精度、真實(shí)感強(qiáng)的建筑物模型來(lái)進(jìn)行空間分析、規(guī)劃設(shè)計(jì)等工作。傾斜攝影和三維激光點(diǎn)云融合可以為城市規(guī)劃師提供更準(zhǔn)確的建筑物信息，如建筑物高度、面積、間距等，有助于合理規(guī)劃城市布局、基礎(chǔ)設(shè)施建設(shè)等。在建筑遺產(chǎn)保護(hù)方面，融合模型能夠精確記錄建筑物的現(xiàn)狀，為后續(xù)的修復(fù)、保護(hù)以及研究提供可靠的數(shù)據(jù)支持，既保留建筑的外觀(guān)紋理特征，又精準(zhǔn)呈現(xiàn)其結(jié)構(gòu)信息。在房地產(chǎn)開(kāi)發(fā)中，可用于展示樓盤(pán)的真實(shí)效果、周邊環(huán)境等，幫助購(gòu)房者更直觀(guān)地了解房產(chǎn)信息，同時(shí)也為開(kāi)發(fā)商進(jìn)行項(xiàng)目規(guī)劃和設(shè)計(jì)優(yōu)化提供依據(jù)。

6、因此，亟需一種將兩者數(shù)據(jù)進(jìn)行融合的方式構(gòu)建建筑物模型，現(xiàn)有技術(shù)中存在將兩者數(shù)據(jù)進(jìn)行融合處理的方式，但是現(xiàn)有配準(zhǔn)算法在復(fù)雜場(chǎng)景下，兩種數(shù)據(jù)的融合精度有待提高；且傳統(tǒng)的將傾斜攝影的紋理信息準(zhǔn)確地映射到三維激光點(diǎn)云構(gòu)建的模型上的方法中，易出現(xiàn)模型扭曲、變形或缺失的問(wèn)題，影響模型的可視化效果。

7、為了解決上述問(wèn)題，本發(fā)明提出傾斜攝影與三維激光點(diǎn)云融合的建筑物模型構(gòu)建方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提出傾斜攝影與三維激光點(diǎn)云融合的建筑物模型構(gòu)建方法，可以有效解決背景技術(shù)中的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、傾斜攝影與三維激光點(diǎn)云融合的建筑物模型構(gòu)建方法，包括如下步驟：

4、s1：使用無(wú)人機(jī)進(jìn)行傾斜攝影，獲取建筑物的多角度傾斜影像數(shù)據(jù)，還使用三維激光掃描儀獲取建筑物的三維激光點(diǎn)云數(shù)據(jù)；

5、s2：對(duì)采集的傾斜影像數(shù)據(jù)和三維激光點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理；

6、s3：利用改進(jìn)對(duì)抗生成網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)傾斜影像和三維激光點(diǎn)云之間的特征對(duì)應(yīng)關(guān)系，并基于多階段分層特征融合的方式，將傾斜影像的紋理特征、顏色特征和三維激光點(diǎn)云的幾何特征，按照低分辨率到高分辨率的方式進(jìn)行特征融合；

7、s4：基于語(yǔ)義分割技術(shù)，對(duì)傾斜影像和點(diǎn)云數(shù)據(jù)進(jìn)行語(yǔ)義標(biāo)注，區(qū)分建筑物的不同部分，同時(shí)結(jié)合實(shí)例分割技術(shù)，識(shí)別建筑物中的重復(fù)結(jié)構(gòu)，實(shí)現(xiàn)快速建模和參數(shù)化調(diào)整；

8、s5：采用模型簡(jiǎn)化和壓縮技術(shù)對(duì)構(gòu)建的建筑物模型進(jìn)行簡(jiǎn)化處理，生成最終構(gòu)建的建筑物模型。

9、優(yōu)選地，所述s1中，使用不同類(lèi)型的無(wú)人機(jī)搭載傾斜攝影相機(jī)，從若干高度和角度進(jìn)行拍攝；同時(shí)使用若干臺(tái)三維激光掃描儀，從不同位置對(duì)建筑物進(jìn)行掃描；并在特定時(shí)間段內(nèi)，對(duì)正在施工或有動(dòng)態(tài)變化的建筑物進(jìn)行數(shù)據(jù)的連續(xù)采集。

10、優(yōu)選地，所述傾斜攝影相機(jī)在拍攝過(guò)程中，設(shè)置航向重疊度為75~80%，旁向重疊度為70~75%，且對(duì)于預(yù)劃分的重點(diǎn)區(qū)域和遮擋區(qū)域進(jìn)行近景攝影補(bǔ)拍。

11、優(yōu)選地，所述s2中，對(duì)采集的傾斜影像數(shù)據(jù)進(jìn)行輻射校正、幾何校正、影像配準(zhǔn)和影像增強(qiáng)處理；對(duì)采集的三維激光點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云去噪、點(diǎn)云濾波、點(diǎn)云配準(zhǔn)和點(diǎn)云簡(jiǎn)化處理。

12、優(yōu)選地，所述s3中，基于改進(jìn)對(duì)抗生成網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)傾斜影像和三維激光點(diǎn)云之間的特征對(duì)應(yīng)關(guān)系，所述改進(jìn)對(duì)抗生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)包括影像特征提取支路、點(diǎn)云特征提取支路與特征融合支路，分別通過(guò)影像transformer模塊、點(diǎn)云transformer模塊結(jié)合cnn模塊實(shí)現(xiàn)傾斜影像信息和三維激光點(diǎn)云信息的提取，并進(jìn)行進(jìn)一步的融合；

13、所述影像特征提取支路由2個(gè)卷積塊、4個(gè)影像transformer塊組成；所述點(diǎn)云特征提取支路由2個(gè)卷積塊、4個(gè)點(diǎn)云transformer塊組成；所述特征融合支路由4個(gè)卷積塊與1個(gè)圖像重建模塊組成；

14、所述卷積塊均由1個(gè)卷積層、1個(gè)批量歸一化層與激活函數(shù)構(gòu)成；所述卷積層中卷積核的大小設(shè)置為3*3，步長(zhǎng)為1，卷積個(gè)數(shù)為128；

15、所述影像transformer塊將輸入的影像特征圖切成若干個(gè)小塊；然后進(jìn)行線(xiàn)性操作，得到形狀統(tǒng)一的特征向量；再將特征向量輸入swin?transformer模塊中，特征向量輸入swin?transformer模塊中，首先經(jīng)過(guò)層歸一化計(jì)算處理，再輸入到混合注意力機(jī)制中；

16、所述混合注意力機(jī)制包括通道注意力機(jī)制和空間注意力機(jī)制；

17、所述通道注意力機(jī)制對(duì)輸入的特征數(shù)據(jù)進(jìn)行全局平均池化和最大池化操作，分別得到描述特征和，這兩個(gè)特征經(jīng)過(guò)共享多層感知機(jī)進(jìn)行特征相加操作，并通過(guò)sigmoid函數(shù)進(jìn)行處理；得到；最后，將通道權(quán)重系數(shù)與輸入的特征數(shù)據(jù)進(jìn)行相乘，得到通道注意力特征數(shù)據(jù)；其中，為激活函數(shù)；為共享多層感知機(jī)；

18、所述空間注意力模塊再對(duì)輸入的特征數(shù)據(jù)進(jìn)行平均池化和最大池化操作，分別得到描述特征和，將這兩個(gè)特征進(jìn)行橫向拼接聚合，傳入大小為7*7的卷積核進(jìn)行操作；得到；最后，通過(guò)空間權(quán)重系數(shù)與輸入的特征數(shù)據(jù)進(jìn)行相乘，得到混合注意力特征數(shù)據(jù)；經(jīng)swin?transformer模塊進(jìn)行特征映射后，再將輸出的特征向量的形狀變?yōu)榕c最初輸入的特征數(shù)據(jù)相同的影像特征數(shù)據(jù)和三維激光點(diǎn)云特征數(shù)據(jù)，即影像transformer塊和點(diǎn)云transformer塊的輸出特征數(shù)據(jù)；

19、判別網(wǎng)絡(luò)搭建遞歸判別網(wǎng)絡(luò)，對(duì)生成網(wǎng)絡(luò)的輸出進(jìn)行判別，所述遞歸判別網(wǎng)絡(luò)融合多階段注意力機(jī)制進(jìn)行綜合判別，具體如下：第個(gè)階段具體如下：其中，為第個(gè)權(quán)重矩陣；為第個(gè)注意力模塊的輸入；為第個(gè)注意力模塊的輸出；為第個(gè)卷積核；為連接符；為改進(jìn)對(duì)抗生成網(wǎng)絡(luò)的輸出；

20、遞歸判別網(wǎng)絡(luò)中每個(gè)階段的判別器由5個(gè)卷積成，卷積塊的卷積核的大小設(shè)置為3*3，步長(zhǎng)為1；判別塊由全連接塊與1個(gè)判別塊組層與激活函數(shù)組成；

21、還將改進(jìn)對(duì)抗生成網(wǎng)絡(luò)的目標(biāo)結(jié)構(gòu)作為輸入送入遞歸判別網(wǎng)絡(luò)中，計(jì)算二者偏差，結(jié)合損失函數(shù)一起將偏差返回到生成網(wǎng)絡(luò)各層中，不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，最終生成高質(zhì)量融合特征；

22、所述損失函數(shù)根據(jù)生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)的性能動(dòng)態(tài)調(diào)整活動(dòng)。

23、優(yōu)選地，所述s3中，預(yù)劃分不同區(qū)間的分辨率上下限，結(jié)合上述多階段注意力機(jī)制的多階段方式，將傾斜影像的紋理特征和點(diǎn)云的幾何特征，按照低分辨率到高分辨率的方式進(jìn)行多階段分層特征融合。

24、優(yōu)選地，所述s4還結(jié)合所述多階段注意力機(jī)制的多階段方式，對(duì)動(dòng)態(tài)變化的建筑物進(jìn)行分階段跟蹤和模擬。

25、優(yōu)選地，s4中所述語(yǔ)義分割技術(shù)基于自適應(yīng)knn近鄰算法搜索三維點(diǎn)云中每個(gè)點(diǎn)的近鄰點(diǎn)，每個(gè)點(diǎn)與其近鄰點(diǎn)組成一個(gè)局部的自適應(yīng)參考點(diǎn)集，再結(jié)合幾何約束的方式，用最小二乘法擬合出一個(gè)微切平面，同時(shí)基于梯度下降算法對(duì)微切平面進(jìn)行優(yōu)化，再將自適應(yīng)參考點(diǎn)集投影到優(yōu)化后的微切平面內(nèi)，判斷投影后的每個(gè)點(diǎn)與其近鄰點(diǎn)所對(duì)應(yīng)連線(xiàn)的最大夾角，以此識(shí)別建筑物點(diǎn)云邊界特征。

26、優(yōu)選地，所述s5中，還利用實(shí)時(shí)渲染技術(shù)實(shí)現(xiàn)建筑物模型的在線(xiàn)瀏覽和交互。

27、與現(xiàn)有技術(shù)相比，本發(fā)明提供了傾斜攝影與三維激光點(diǎn)云融合的建筑物模型構(gòu)建方法，具備以下有益效果：

28、本發(fā)明通過(guò)設(shè)置高重疊度的攝影數(shù)據(jù)采集方式，保證建筑物信息的完整度；基于改進(jìn)對(duì)抗生成網(wǎng)絡(luò)將傾斜攝影數(shù)據(jù)與三維激光點(diǎn)云數(shù)據(jù)進(jìn)行特征對(duì)應(yīng)，提升融合數(shù)據(jù)的精度，并基于分層、分階段的方式，將傾斜影像數(shù)據(jù)與三維激光點(diǎn)云數(shù)據(jù)進(jìn)行特征融合，彌補(bǔ)傾斜攝影在獲取深度信息方面的不足，同時(shí)使模型具有準(zhǔn)確的形狀和真實(shí)的外觀(guān)，提升可視化效果；通過(guò)傾斜攝影與三維激光點(diǎn)云融合的方式構(gòu)建建筑物模型可以在一定程度上降低后期處理的工作量。