本說明書一個或多個實施例涉及影像重建技術(shù)，尤其涉及一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建方法。

背景技術(shù)：

1、遙感衛(wèi)星影像在國土資源監(jiān)測、城市規(guī)劃、農(nóng)業(yè)生產(chǎn)等領(lǐng)域發(fā)揮著重要作用。然而，受限于成像設(shè)備、大氣條件和軌道高度等因素影響，衛(wèi)星影像的空間分辨率較低，往往難以滿足精細化應(yīng)用需求。雖然可以通過提升傳感器硬件性能來獲取更高分辨率圖像，但這種方案的成本高昂且技術(shù)實現(xiàn)困難。因此，目前需要一種能夠?qū)Φ头直媛市l(wèi)星影像進行超分辨率重建的方式。

技術(shù)實現(xiàn)思路

1、為了解決上述問題，本說明書一個或多個實施例描述了一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建方法。

2、根據(jù)第一方面，提供了一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建方法，所述方法包括：

3、獲取無人機采集的航空影像，基于所述航空影像中設(shè)置的影像控制點進行空中三角測量，并根據(jù)測量結(jié)果生成的數(shù)字高程模型對所述航空影像進行正射糾正，得到數(shù)字正射影像圖；

4、在所述數(shù)字正射影像圖中選取不同地形區(qū)域的第一圖像，對所述第一圖像進行下采樣后得到第二圖像，基于所述第一圖像和第二圖像構(gòu)建第一訓(xùn)練數(shù)據(jù)對，并基于所述第一訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)，每個所述第一訓(xùn)練數(shù)據(jù)對包括區(qū)域大小和區(qū)域坐標相同的一個高分辨率圖像和一個低分辨率圖像；

5、獲取待重建的目標影像，將所述目標影像分塊讀取為至少兩個子塊，基于訓(xùn)練好的生成對抗網(wǎng)絡(luò)生成各所述子塊的重建結(jié)果，并基于邊緣漸變?nèi)诤戏ㄆ唇痈髦亟ńY(jié)果，得到所述目標影像對應(yīng)的重建影像。

6、優(yōu)選的，所述獲取無人機采集的航空影像，基于所述航空影像中設(shè)置的影像控制點進行空中三角測量，包括：

7、獲取無人機基于傾斜攝影采集的航空影像，并展示所述航空影像；

8、接收針對所述航空影像的設(shè)置指令，確定所述航空影像中的影像控制點，并基于各所述影像控制點進行空中三角測量，得到測量數(shù)據(jù)。

9、優(yōu)選的，所述根據(jù)測量結(jié)果生成的數(shù)字高程模型對所述航空影像進行正射糾正，得到數(shù)字正射影像圖，包括：

10、根據(jù)測量結(jié)果將所述航空影像中的像素坐標投影成三維空間的三維坐標，并確定三維空間的三維點云數(shù)據(jù)，根據(jù)所述三維點云數(shù)據(jù)構(gòu)建數(shù)字高程模型；

11、基于所述數(shù)字高程模型的地面高程值優(yōu)化各所述三維坐標后，根據(jù)優(yōu)化后的三維坐標重采樣得到新的像素坐標，并根據(jù)新的像素坐標生成各所述航空影像對應(yīng)的初步正射影像圖；

12、拼接各所述初步正射影像圖，得到數(shù)字正射影像圖。

13、優(yōu)選的，所述基于所述第一圖像和第二圖像構(gòu)建第一訓(xùn)練數(shù)據(jù)對，包括：

14、對所述第二圖像添加高斯噪聲后，對所述第二圖像進行高斯模糊處理，得到第三圖像；

15、將所述第一圖像和第三圖像分別切割為至少兩個第一子圖和第二子圖，所述第一子圖和第二子圖的圖像大小相同；

16、將相同圖像坐標對應(yīng)的第一子圖和第二子圖構(gòu)建為第一訓(xùn)練數(shù)據(jù)對，整合各所述第一訓(xùn)練數(shù)據(jù)對，得到訓(xùn)練數(shù)據(jù)集。

17、優(yōu)選的，所述整合各所述第一訓(xùn)練數(shù)據(jù)對，得到訓(xùn)練數(shù)據(jù)集，包括：

18、獲取各所述地形區(qū)域的地區(qū)衛(wèi)星影像，基于幾何校正調(diào)整所述地區(qū)衛(wèi)星影像，使所述地區(qū)衛(wèi)星影像的地理位置與所述第一圖像一致；

19、基于所述第一圖像和地區(qū)衛(wèi)星影像構(gòu)建第二訓(xùn)練數(shù)據(jù)對；

20、整合各所述第一訓(xùn)練數(shù)據(jù)對和第二訓(xùn)練數(shù)據(jù)對，得到訓(xùn)練數(shù)據(jù)集。

21、優(yōu)選的，所述基于所述第一訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)，包括：

22、獲取初始生成對抗網(wǎng)絡(luò)，所述初始生成對抗網(wǎng)絡(luò)的生成器為具有至少兩個密集殘差學(xué)習(xí)塊的深度網(wǎng)絡(luò)，所述初始生成對抗網(wǎng)絡(luò)的鑒別器為帶跳躍連接的u-net鑒別器；

23、基于所述第一訓(xùn)練數(shù)據(jù)對訓(xùn)練所述初始生成對抗網(wǎng)絡(luò)，得到初步訓(xùn)練網(wǎng)絡(luò)，并基于所述第二訓(xùn)練數(shù)據(jù)對優(yōu)化所述初步訓(xùn)練網(wǎng)絡(luò)，得到訓(xùn)練好的生成對抗網(wǎng)絡(luò)。

24、優(yōu)選的，所述獲取待重建的目標影像，將所述目標影像分塊讀取為至少兩個子塊，基于訓(xùn)練好的生成對抗網(wǎng)絡(luò)生成各所述子塊的重建結(jié)果，并基于邊緣漸變?nèi)诤戏ㄆ唇痈髦亟ńY(jié)果，得到所述目標影像對應(yīng)的重建影像，包括：

25、獲取待重建的目標影像，將所述目標影像分塊讀取為至少兩個子塊，相鄰的所述子塊之間存在預(yù)設(shè)數(shù)量像素的重疊區(qū)域；

26、基于訓(xùn)練好的生成對抗網(wǎng)絡(luò)生成各所述子塊的重建結(jié)果；

27、對于所述重建結(jié)果中重疊區(qū)域?qū)?yīng)的重疊像素，將各重建結(jié)果中相同位置的重疊像素的邊緣距離加權(quán)像素和作為所述位置的最終像素值，得到所述目標影像對應(yīng)的重建影像。

28、根據(jù)第二方面，提供了一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建裝置，所述裝置包括：

29、獲取模塊，用于獲取無人機采集的航空影像，基于所述航空影像中設(shè)置的影像控制點進行空中三角測量，并根據(jù)測量結(jié)果生成的數(shù)字高程模型對所述航空影像進行正射糾正，得到數(shù)字正射影像圖；

30、訓(xùn)練模塊，用于在所述數(shù)字正射影像圖中選取不同地形區(qū)域的第一圖像，對所述第一圖像進行下采樣后得到第二圖像，基于所述第一圖像和第二圖像構(gòu)建第一訓(xùn)練數(shù)據(jù)對，并基于所述第一訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)，每個所述第一訓(xùn)練數(shù)據(jù)對包括區(qū)域大小和區(qū)域坐標相同的一個高分辨率圖像和一個低分辨率圖像；

31、重建模塊，用于獲取待重建的目標影像，將所述目標影像分塊讀取為至少兩個子塊，基于訓(xùn)練好的生成對抗網(wǎng)絡(luò)生成各所述子塊的重建結(jié)果，并基于邊緣漸變?nèi)诤戏ㄆ唇痈髦亟ńY(jié)果，得到所述目標影像對應(yīng)的重建影像。

32、根據(jù)第三方面，提供了一種電子設(shè)備，包括處理器以及存儲器；

33、所述處理器與所述存儲器相連；

34、所述存儲器，用于存儲可執(zhí)行程序代碼；

35、所述處理器通過讀取所述存儲器中存儲的可執(zhí)行程序代碼來運行與所述可執(zhí)行程序代碼對應(yīng)的程序，以用于執(zhí)行如第一方面或第一方面的任意一種可能的實現(xiàn)方式提供的方法的步驟。

36、根據(jù)第四方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機可讀存儲介質(zhì)中存儲有指令，當所述指令在計算機或處理器上運行時，使得所述計算機或處理器執(zhí)行如第一方面或第一方面的任意一種可能的實現(xiàn)方式提供的方法。

37、本說明書實施例提供的方法，能夠根據(jù)無人機采集的航空影像經(jīng)過正射處理后得到數(shù)字正射影像圖，并根據(jù)數(shù)字正射影像圖得到用以表征高分辨率圖像的第一圖像和用以表征低分辨率圖像的第二圖像，構(gòu)建第一訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)，最終根據(jù)生成對抗網(wǎng)絡(luò)實現(xiàn)目標影像的超分辨率重建。通過上述方式，能夠以下采樣處理后的低分辨率無人機影像作為低分辨率的衛(wèi)星影像，結(jié)合高分辨率無人機影像構(gòu)建訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)，使訓(xùn)練好的生成對抗網(wǎng)絡(luò)能夠?qū)πl(wèi)星影像進行超分辨率重建，無需提升或更換硬件即可得到更高分辨率的圖像，節(jié)省了成本，且技術(shù)實現(xiàn)容易。

技術(shù)特征：

1.一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取無人機采集的航空影像，基于所述航空影像中設(shè)置的影像控制點進行空中三角測量，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)測量結(jié)果生成的數(shù)字高程模型對所述航空影像進行正射糾正，得到數(shù)字正射影像圖，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一圖像和第二圖像構(gòu)建第一訓(xùn)練數(shù)據(jù)對，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述整合各所述第一訓(xùn)練數(shù)據(jù)對，得到訓(xùn)練數(shù)據(jù)集，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述第一訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待重建的目標影像，將所述目標影像分塊讀取為至少兩個子塊，基于訓(xùn)練好的生成對抗網(wǎng)絡(luò)生成各所述子塊的重建結(jié)果，并基于邊緣漸變?nèi)诤戏ㄆ唇痈髦亟ńY(jié)果，得到所述目標影像對應(yīng)的重建影像，包括：

8.一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1-7任一項所述方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機可讀存儲介質(zhì)中存儲有指令，當所述指令在計算機或處理器上運行時，使得所述計算機或處理器執(zhí)行如權(quán)利要求1-7任一項所述方法的步驟。

技術(shù)總結(jié)
本說明書實施例公開了一種基于無人機影像輔助的衛(wèi)星影像超分辨率重建方法。該方法包括獲取無人機采集的航空影像，基于影像控制點進行空中三角測量，并對航空影像進行正射糾正；選取不同地形區(qū)域的第一圖像，對第一圖像進行下采樣后得到第二圖像，構(gòu)建第一訓(xùn)練數(shù)據(jù)對訓(xùn)練生成對抗網(wǎng)絡(luò)；獲取待重建的目標影像，將目標影像分塊讀取為至少兩個子塊，基于訓(xùn)練好的生成對抗網(wǎng)絡(luò)生成各子塊的重建結(jié)果，并基于邊緣漸變?nèi)诤戏ㄆ唇痈髦亟ńY(jié)果，得到重建影像。本說明書實施例無需提升或更換硬件即可得到更高分辨率的圖像，節(jié)省了成本，且技術(shù)實現(xiàn)容易。

技術(shù)研發(fā)人員：楊為琛,肖長林,盧江平,馬廣迪,王翔,王琳,王旭婕,陳威,朱俊清,楊生娟,顧亮,安艷紅,王靜
受保護的技術(shù)使用者：浙江國遙地理信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19