本發(fā)明涉及多模態(tài)大模型，特別涉及一種遙感圖像的連續(xù)超分辨率擴(kuò)大方法、裝置及終端。

背景技術(shù)：

1、在現(xiàn)有技術(shù)中，卷積神經(jīng)網(wǎng)絡(luò)（cnn）在遙感超分辨率（sr）任務(wù)中取得了顯著進(jìn)展，通常是使用卷積神經(jīng)網(wǎng)絡(luò)來擴(kuò)大圖像的分辨率。然而，盡管這些方法能夠?qū)崿F(xiàn)令人印象深刻的效果，但在恢復(fù)圖像中的高頻細(xì)節(jié)和紋理方面仍面臨挑戰(zhàn)。具體地，使用卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)大分辨率的圖像容易在視覺效果上顯得過于平滑且缺乏真實(shí)感。而且，主流的遙感超分辨率任務(wù)是將不同放大倍數(shù)的模型單獨(dú)進(jìn)行訓(xùn)練處理，這意味著單個(gè)模型通常只能放大固定的整數(shù)倍數(shù)，且放大倍數(shù)普遍較?。ㄈ鐇2、x3、x4）。

2、對于遙感影像（rsi）而言，連續(xù)超分到多個(gè)且大倍數(shù)的分辨率是至關(guān)重要的。因此，如何實(shí)現(xiàn)高效、穩(wěn)定且高質(zhì)量的遙感超分辨率重建，仍然是個(gè)亟待解決的問題。

3、因此，現(xiàn)有技術(shù)還有待改進(jìn)和提高。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供一種遙感圖像的連續(xù)超分辨率擴(kuò)大方法、裝置及終端，旨在解決現(xiàn)有技術(shù)中的擴(kuò)大圖像分辨率的方法容易在視覺效果上顯得過于平滑且缺乏真實(shí)感的問題。

2、為了解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案如下：

3、本發(fā)明的第一方面，提供一種遙感圖像的連續(xù)超分辨率擴(kuò)大方法、裝置及終端，所述方法包括：

4、獲取目標(biāo)初始圖像，對所述目標(biāo)初始圖像進(jìn)行編碼和插值處理，得到目標(biāo)初始隱藏表示；

5、基于目標(biāo)迭代模塊對所述目標(biāo)初始隱藏表示進(jìn)行迭代處理，得到目標(biāo)噪聲圖像；

6、獲取目標(biāo)擴(kuò)散模型，基于所述目標(biāo)擴(kuò)散模型對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，得到目標(biāo)高清圖像。

7、在一種實(shí)現(xiàn)方式中，所述對所述目標(biāo)初始圖像進(jìn)行編碼和插值處理，包括：

8、基于所述目標(biāo)初始圖像中的每個(gè)像素點(diǎn)進(jìn)行特征提取，得到多個(gè)編碼像素點(diǎn)；

9、將多個(gè)所述編碼像素點(diǎn)編碼至目標(biāo)維度，得到初始圖像特征，所述目標(biāo)維度比所述目標(biāo)初始圖像的維度高；

10、對所述初始圖像特征進(jìn)行插值處理，得到初始隱藏表示。

11、在一種實(shí)現(xiàn)方式中，所述對所述初始圖像特征進(jìn)行插值處理，得到初始隱藏表示，包括：

12、獲取插值像素點(diǎn)的目標(biāo)鄰居點(diǎn)的編碼特征，基于所述目標(biāo)鄰居點(diǎn)的編碼特征獲取所述插值像素點(diǎn)的插值特征，所述插值像素點(diǎn)為所述初始圖像特征中除所述編碼像素點(diǎn)的像素點(diǎn)，所述目標(biāo)鄰居點(diǎn)為所述初始圖像特征中與所述插值像素點(diǎn)相鄰的所述編碼像素點(diǎn)，其中，所述目標(biāo)鄰居點(diǎn)為多個(gè)；

13、將所述編碼像素點(diǎn)和所述插值像素點(diǎn)進(jìn)行線性變換，得到所述初始隱藏表示。

14、在一種實(shí)現(xiàn)方式中，所述基于目標(biāo)迭代模塊對所述目標(biāo)初始隱藏表示進(jìn)行迭代處理，包括：

15、獲取目標(biāo)核矩陣，基于所述目標(biāo)核矩陣迭代地更新所述目標(biāo)初始隱藏表示，直至目標(biāo)次數(shù)后，停止更新，得到所述目標(biāo)噪聲圖像。

16、在一種實(shí)現(xiàn)方式中，所述獲取目標(biāo)擴(kuò)散模型，包括：

17、獲取目標(biāo)數(shù)據(jù)集，所述目標(biāo)數(shù)據(jù)集包括多張高清圖像；

18、基于所述目標(biāo)數(shù)據(jù)集對初始擴(kuò)散模型進(jìn)行訓(xùn)練，得到所述目標(biāo)擴(kuò)散模型。

19、在一種實(shí)現(xiàn)方式中，所述基于所述目標(biāo)數(shù)據(jù)集對初始擴(kuò)散模型進(jìn)行訓(xùn)練，得到所述目標(biāo)擴(kuò)散模型，包括：

20、對所述目標(biāo)數(shù)據(jù)集進(jìn)行目標(biāo)輪次的加噪處理，并記錄每個(gè)輪次的圖像變化，其中，每輪次添加的噪聲服從高斯分布；

21、構(gòu)建目標(biāo)神經(jīng)網(wǎng)絡(luò)，基于每個(gè)輪次的圖像變化逆序的對所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)預(yù)測網(wǎng)絡(luò)。

22、在一種實(shí)現(xiàn)方式中，所述基于目標(biāo)擴(kuò)散模型對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，包括：

23、基于所述目標(biāo)預(yù)測網(wǎng)絡(luò)對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，得到所述目標(biāo)高清圖像。

24、本發(fā)明的第二方面，提供一種遙感圖像的連續(xù)超分辨率擴(kuò)大裝置，包括：

25、插值模塊，用于獲取目標(biāo)初始圖像，對所述目標(biāo)初始圖像進(jìn)行編碼和插值處理，得到目標(biāo)初始隱藏表示；

26、迭代模塊，用于基于目標(biāo)迭代模塊對所述目標(biāo)初始隱藏表示進(jìn)行迭代處理，得到目標(biāo)噪聲圖像；

27、去噪模塊，用于獲取目標(biāo)擴(kuò)散模型，基于所述目標(biāo)擴(kuò)散模型對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，得到目標(biāo)高清圖像。

28、本發(fā)明的第三方面，提供一種終端，所述終端包括處理器、與處理器通信連接的計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)適于存儲多條指令，所述處理器適于調(diào)用所述計(jì)算機(jī)可讀存儲介質(zhì)中的指令，以執(zhí)行實(shí)現(xiàn)上述任一項(xiàng)所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法的步驟。

29、本發(fā)明的第四方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行，以實(shí)現(xiàn)上述任一項(xiàng)所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法的步驟。

30、與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種遙感圖像的連續(xù)超分辨率擴(kuò)大方法、裝置及終端，所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，通過獲取目標(biāo)初始圖像，對所述目標(biāo)初始圖像進(jìn)行編碼和插值處理，得到目標(biāo)初始隱藏表示，然后基于目標(biāo)迭代模塊對所述目標(biāo)初始隱藏表示進(jìn)行迭代處理，得到目標(biāo)噪聲圖像，最后，獲取目標(biāo)擴(kuò)散模型，基于所述目標(biāo)擴(kuò)散模型對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，得到目標(biāo)高清圖像。本發(fā)明所提出的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，通過對低分辨率圖像進(jìn)行編碼和插值處理，再結(jié)合迭代模塊和擴(kuò)散模型高質(zhì)量的圖像生成能力，解決了高質(zhì)量的圖像生成問題，也成功實(shí)現(xiàn)了進(jìn)行任意尺度的超分辨率圖像的擴(kuò)大任務(wù)。

技術(shù)特征：

1.一種遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述遙感圖像的連續(xù)超分辨率擴(kuò)大方法包括：

2.根據(jù)權(quán)利要求1所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述對所述目標(biāo)初始圖像進(jìn)行編碼和插值處理，包括：

3.根據(jù)權(quán)利要求2所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述對所述初始圖像特征進(jìn)行插值處理，得到初始隱藏表示，包括：

4.根據(jù)權(quán)利要求1所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述基于目標(biāo)迭代模塊對所述目標(biāo)初始隱藏表示進(jìn)行迭代處理，包括：

5.根據(jù)權(quán)利要求1所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述獲取目標(biāo)擴(kuò)散模型，包括：

6.根據(jù)權(quán)利要求5所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述基于所述目標(biāo)數(shù)據(jù)集對初始擴(kuò)散模型進(jìn)行訓(xùn)練，得到所述目標(biāo)擴(kuò)散模型，包括：

7.根據(jù)權(quán)利要求6所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法，其特征在于，所述基于目標(biāo)擴(kuò)散模型對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，包括：

8.一種遙感圖像的連續(xù)超分辨率擴(kuò)大裝置，其特征在于，包括：

9.一種終端，其特征在于，所述終端包括：處理器、與處理器通信連接的計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)適于存儲多條指令，所述處理器適于調(diào)用所述計(jì)算機(jī)可讀存儲介質(zhì)中的指令，以執(zhí)行實(shí)現(xiàn)上述權(quán)利要求1-7任一項(xiàng)所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法的步驟。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行，以實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的遙感圖像的連續(xù)超分辨率擴(kuò)大方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種遙感圖像的連續(xù)超分辨率擴(kuò)大方法、裝置及終端，方法包括：獲取目標(biāo)初始圖像，對所述目標(biāo)初始圖像進(jìn)行編碼和插值處理，得到目標(biāo)初始隱藏表示；基于目標(biāo)迭代模塊對所述目標(biāo)初始隱藏表示進(jìn)行迭代處理，得到目標(biāo)噪聲圖像；獲取目標(biāo)擴(kuò)散模型，基于所述目標(biāo)擴(kuò)散模型對所述目標(biāo)噪聲圖像進(jìn)行去噪處理，得到目標(biāo)高清圖像。本發(fā)明通過結(jié)合迭代模塊和擴(kuò)散模型高質(zhì)量的圖像生成能力，解決了高質(zhì)量的圖像生成問題，也成功實(shí)現(xiàn)了進(jìn)行任意尺度的超分辨率圖像的擴(kuò)大任務(wù)。

技術(shù)研發(fā)人員：徐梓豪,唐玉芝,李清泉
受保護(hù)的技術(shù)使用者：人工智能與數(shù)字經(jīng)濟(jì)廣東省實(shí)驗(yàn)室（深圳）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19