本發(fā)明涉及圖像處理，具體涉及一種基于改進transformer模型的遙感圖像去霧方法及系統(tǒng)。

背景技術(shù)：

1、遙感圖像在實際應(yīng)用中常常受到大氣散射效應(yīng)的影響，在云霧濃密、霧霾厚重時可能會產(chǎn)生邊緣模糊、顏色失真等問題，導(dǎo)致圖像質(zhì)量下降，處理速度緩慢，影響信息的獲取和分析。遙感圖像去霧是一項具有挑戰(zhàn)性的任務(wù)，因為霧霾等大氣現(xiàn)象會引起光的散射和吸收，導(dǎo)致遙感圖像中的目標物體模糊不清。去除這些效應(yīng)需要準確的散射模型和去霧算法，這對計算和物理模型的要求很高。在實際應(yīng)用中，深度學(xué)習(xí)模型去霧方法因其優(yōu)異的性能和泛化能力而受到廣泛關(guān)注。transformer模型以其強大的特征提取和建模能力在自然語言處理等領(lǐng)域取得了顯著成果，近年來也被應(yīng)用于圖像處理任務(wù)，例如，基于transformer模型的遙感圖像去霧方法能夠處理日間、夜間和遙感圖像去霧任務(wù)。

2、transformer模型主要優(yōu)勢在于其自注意力機制(self-attention?mechanism)，能夠捕獲序列中任意兩個元素之間的依賴關(guān)系，從而在圖像去霧中可有效處理全局信息和長距離依賴關(guān)系。然而，transformer模型在處理有霧遙感圖像時可能面臨局部信息丟失的問題。此外，利用transformer模型處理大規(guī)模的遙感圖像數(shù)據(jù)通常需要大量的計算資源和內(nèi)存，從而計算成本高、計算速度慢。

技術(shù)實現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于改進transformer模型的遙感圖像去霧方法及系統(tǒng)。

2、本發(fā)明的技術(shù)方案為：

3、本發(fā)明第一方面提供一種基于改進transformer模型的遙感圖像去霧方法，該方法包括如下步驟：

4、步驟1：準備由多個圖像對構(gòu)成的遙感圖像數(shù)據(jù)集，并從該數(shù)據(jù)集中劃分出訓(xùn)練集；所述圖像對由無霧遙感圖像及與無霧遙感圖像對應(yīng)的有霧遙感圖像構(gòu)成；

5、步驟2：對現(xiàn)有transformer模型中的特征提取模塊進行改進并將改進后的特征提取模塊命名為去霧模塊，所述改進包括引入快速傅里葉卷積ffc模塊；

6、步驟3：利用訓(xùn)練集對改進后的transformer模型進行訓(xùn)練，獲得ffcformer去霧模型；

7、步驟4：利用ffcformer去霧模型對輸入該模型的有霧遙感圖像進行去霧處理。

8、所述引入快速傅里葉卷積ffc模塊，具體是在原始特征提取模塊的尺度歸一化操作之前引入ffc模塊。

9、所述步驟2所述的對現(xiàn)有transformer模型中的特征提取模塊進行改進，還包括采用基于復(fù)制填充的移位窗口劃分方案代替反射填充的移位窗口劃分方案。

10、在所述步驟4中，將ffcformer去霧模型部署到嵌入式計算設(shè)備上，對輸入的有霧遙感圖像進行去霧處理。

11、所述步驟4具體包括如下步驟：

12、步驟4.1：將ffcformer去霧模型保存為.pth格式的文件，命名為best.pth；

13、步驟4.2：對best.pth進行剪枝和量化操作，簡化后的模型命名為dehazeformer.pth；

14、步驟4.3：將dehazeformer.pth轉(zhuǎn)化為onnx格式的文件，并命名為dehazeformer.onnx；

15、步驟4.4：通過簡化工具onnxsim對dehazeformer.onnx進行圖變換和常量折疊操作，來消除模型中的冗余參數(shù)和計算，得到輕量模型dehazeformer-sim.onnx；

16、步驟4.5：使用深度學(xué)習(xí)推理優(yōu)化器tensorrt將dehazeformer-sim.onnx轉(zhuǎn)換成可調(diào)用的引擎文件dehaze.engine；

17、步驟4.6：在嵌入式計算設(shè)備上調(diào)用深度學(xué)習(xí)推理優(yōu)化器tensorrt，通過深度學(xué)習(xí)推理優(yōu)化器tensorrt調(diào)用引擎文件dehaze.engine，經(jīng)過編譯后生成可執(zhí)行去霧程序；

18、步驟4.7：在可執(zhí)行去霧程序中讀取輸入的有霧遙感圖像，實現(xiàn)有霧遙感圖像的去霧處理。

19、所述嵌入式計算設(shè)備為nvidiajetson?xavier?nx。

20、本發(fā)明第二方面提供一種基于改進transformer模型的遙感圖像去霧系統(tǒng)，基于所述的方法建立，該系統(tǒng)設(shè)置于嵌入式計算設(shè)備nvidiajetson?xavier?nx上，該系統(tǒng)包括：

21、圖像存儲模塊，負責(zé)將收集的需要去霧處理的有霧遙感圖像保存到nvidiajetsonxavier?nx的系統(tǒng)相冊中；

22、圖像預(yù)處理模塊，負責(zé)通過nvidia?jetson?xaviernx具有的圖像選擇器從系統(tǒng)相冊中選擇1個或者多個有霧遙感圖像并對其進行預(yù)處理，包括縮放和歸一化處理；

23、圖像推理模塊，負責(zé)調(diào)用深度學(xué)習(xí)推理優(yōu)化器tensorrt，通過深度學(xué)習(xí)推理優(yōu)化器tensorrt調(diào)用所述的引擎文件dehaze.engine，經(jīng)過編譯后生成可執(zhí)行去霧程序；在可執(zhí)行去霧程序中讀取圖像預(yù)處理模塊處理后的圖像并執(zhí)行推理過程，實現(xiàn)圖像去霧得到去霧的遙感圖像；

24、結(jié)果處理和展示模塊，將圖像推理模塊得到的去霧的遙感圖像進行反歸一化處理，并將處理后的去霧的遙感圖像在nvidiajetson?xavier?nx上進行可視化展示。

25、與現(xiàn)有技術(shù)相比較，本發(fā)明的有益效果是：

26、1、遙感圖像在采集過程中常受到大氣條件例如霧霾、云層的影響，導(dǎo)致圖像質(zhì)量下降，邊緣模糊，影響后續(xù)的地物識別和分析，為此，本發(fā)明針對邊緣像素的保留進行了創(chuàng)新設(shè)計，以基于復(fù)制填充的移位窗口劃分方案替換現(xiàn)有transformer模型的特征提取模塊中的基于反射填充的移位窗口劃分方案，將圖像的邊緣像素復(fù)制到填充區(qū)域，能夠保持圖片的邊緣信息，獲得高質(zhì)量的去霧遙感圖片。

27、2、在現(xiàn)有的transformer模型的特征提取模塊中引入了快速傅里葉卷積(ffc)模塊，ffc模塊具有更高的計算效率和更好的全局感知能力，在圖像去霧處理中，ffc模塊可以幫助transformer模型更好地理解圖像的全局結(jié)構(gòu)和周期性特征，能夠更有效地捕獲圖像的全局結(jié)構(gòu)和周期性特征，減少去霧過程中的全局信息丟失，去霧后的圖像在清晰度和色彩一致性方面均有所提升。

28、3、對改進的transformer模型進行優(yōu)化，首先進行剪枝和量化操作將改進的transformer模型轉(zhuǎn)化為onnx格式，再進一步利用簡化工具onnxsim來消除模型中的冗余參數(shù)和計算，極大地減少了模型的參數(shù)量與計算復(fù)雜度。

29、4、本發(fā)明系統(tǒng)是將優(yōu)化后的改進transformer模型部署在嵌入式計算設(shè)備nvidiajetson?xavier?nx上，可以在輸入有霧遙感圖像后即時進行模型推理，大大減少計算成本，提高系統(tǒng)響應(yīng)速度。這對于實時或近實時的遙感圖像去霧具有重要意義。

技術(shù)特征：

1.一種基于改進transformer模型的遙感圖像去霧方法，其特征在于，該方法包括如下步驟：

2.如權(quán)利要求1所述的方法，其特征在于，所述引入快速傅里葉卷積ffc模塊，具體是在原始特征提取模塊的尺度歸一化操作之前引入ffc模塊。

3.如權(quán)利要求1所述的方法，其特征在于，所述步驟2所述的對現(xiàn)有transformer模型中的特征提取模塊進行改進，還包括采用基于復(fù)制填充的移位窗口劃分方案代替反射填充的移位窗口劃分方案。

4.如權(quán)利要求1所述的方法，其特征在于，在所述步驟4中，將ffcformer去霧模型部署到嵌入式計算設(shè)備上，對輸入的有霧遙感圖像進行去霧處理。

5.如權(quán)利要求4所述的方法，其特征在于，所述步驟4具體包括如下步驟：

6.如權(quán)利要求5所述的方法，其特征在于，所述嵌入式計算設(shè)備為nvidia?jetsonxaviernx。

7.一種基于改進transformer模型的遙感圖像去霧系統(tǒng)，基于權(quán)利要求5所述的方法建立，該系統(tǒng)設(shè)置于嵌入式計算設(shè)備nvidiajetson?xavier?nx上，其特征在于，該系統(tǒng)包括：

技術(shù)總結(jié)
本發(fā)明公開了基于改進Transformer模型的遙感圖像去霧方法及系統(tǒng)，涉及圖像處理技術(shù)領(lǐng)域。該方法包括：準備由多個圖像對構(gòu)成的遙感圖像數(shù)據(jù)集，并從該數(shù)據(jù)集中劃分出訓(xùn)練集；所述圖像對由無霧遙感圖像及與無霧遙感圖像對應(yīng)的有霧遙感圖像構(gòu)成；對現(xiàn)有Transformer模型中的特征提取模塊進行改進并將改進后的特征提取模塊命名為去霧模塊，所述改進包括引入快速傅里葉卷積FFC模塊；利用訓(xùn)練集對改進后的Transformer模型進行訓(xùn)練，獲得FFCFormer去霧模型；利用FFCFormer去霧模型對輸入該模型的有霧遙感圖像進行去霧處理。本發(fā)明系統(tǒng)是將改進Transformer模型移植部署到嵌入式計算設(shè)備NVIDIA?Jetson?Xavier?NX上，以實現(xiàn)快速、實時與可視化的遙感圖像去霧。

技術(shù)研發(fā)人員：黃煜峰,林志宇,孫同同,鞏學(xué)健,邢巖,李玉峰
受保護的技術(shù)使用者：沈陽航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19