本發(fā)明屬于模式識別，具體涉及一種基于擴散模型的遙感目標(biāo)檢測方法。
背景技術(shù)：
：：1、近年來，隨著深度學(xué)習(xí)模型的大量探究，計算機視覺任務(wù)取得了重大進展。其中，擴散模型已成為一類功能強大且用途廣泛的生成模型，在各種計算機視覺任務(wù)中取得了顯著的成功。擴散模型受到擴散的物理過程的啟發(fā)，為建模復(fù)雜數(shù)據(jù)的分布和生成高保真圖像提供了一個強大的框架。擴散模型通過一系列可逆步驟逐步將簡單的噪聲分布轉(zhuǎn)換為目標(biāo)數(shù)據(jù)分布。這種迭代去噪過程通常由神經(jīng)網(wǎng)絡(luò)引導(dǎo)，使擴散模型能夠生成高度詳細(xì)和連貫的圖像。擴散模型在計算機視覺中的應(yīng)用涵蓋了廣泛的任務(wù)，包括圖像生成、圖像修復(fù)、超分辨率等。它們的多功能性和穩(wěn)健性使它們適合解決標(biāo)準(zhǔn)和具有挑戰(zhàn)性的視覺問題，為圖像處理和合成的新創(chuàng)新和改進鋪平了道路。隨著研究界繼續(xù)探索和完善這些模型，基于擴散的方法將在計算機視覺的未來發(fā)揮關(guān)鍵作用，為創(chuàng)建、分析和理解視覺數(shù)據(jù)提供新的工具和方法。2、遙感目標(biāo)檢測是計算機視覺領(lǐng)域中一個發(fā)展迅速的領(lǐng)域，其重點是從空中圖像中識別和定位物體，這些圖像通常由無人機、衛(wèi)星或其他機載平臺捕獲。這項技術(shù)因其在城市規(guī)劃、農(nóng)業(yè)、環(huán)境監(jiān)測、災(zāi)害管理和防御等各個領(lǐng)域的廣泛應(yīng)用而備受關(guān)注。遙感圖片提供的獨特視角允許對大型復(fù)雜景觀進行全面分析，而這通常是地面方法無法實現(xiàn)的。然而，與傳統(tǒng)的物體檢測任務(wù)相比，遙感目標(biāo)檢測面臨著獨特的挑戰(zhàn)。圖像捕獲的高空會導(dǎo)致物體尺度、遮擋和背景環(huán)境的變化，所有這些都使檢測過程變得復(fù)雜。遙感目標(biāo)檢測利用先進的深度學(xué)習(xí)模型，特別是卷積神經(jīng)網(wǎng)絡(luò)(cnn)及其擴展，來應(yīng)對這些挑戰(zhàn)。這些模型擅長直接從原始像素數(shù)據(jù)中學(xué)習(xí)分層特征，從而使它們能夠穩(wěn)健地檢測不同尺度和方向上的物體。多尺度特征聚合、錨框細(xì)化和區(qū)域提議網(wǎng)絡(luò)等技術(shù)經(jīng)過專門定制，以提高物體檢測器在航拍圖像中的性能。然而，對于擴散模型在遙感目標(biāo)檢測任務(wù)中的探究有限。技術(shù)實現(xiàn)思路1、針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的一種基于擴散模型的遙感目標(biāo)檢測方法，解決了現(xiàn)有技術(shù)中遙感圖像數(shù)據(jù)檢測過程中訓(xùn)練資源較為復(fù)雜的問題。2、為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：一種基于擴散模型的遙感目標(biāo)檢測方法，包括如下步驟：3、s1、獲取遙感圖像訓(xùn)練數(shù)據(jù)；4、s2、使用遙感圖像訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到遙感目標(biāo)檢測模型；5、遙感目標(biāo)檢測模型包括視覺特征提取模塊、多尺度特征提取模塊和實例級別目標(biāo)檢測模塊；6、視覺特征提取模塊為預(yù)訓(xùn)練的基礎(chǔ)擴散模型，用于提取遙感圖像訓(xùn)練數(shù)據(jù)的圖像特征，得到遙感圖像訓(xùn)練數(shù)據(jù)的初始特征圖；7、多尺度特征提取模塊用于對初始特征圖進行特征提取，得到多級特征圖；8、實例級別目標(biāo)檢測模塊用于對多級特征圖進行目標(biāo)檢測，并輸出檢測結(jié)果；9、s3、將目標(biāo)遙感圖像數(shù)據(jù)輸入遙感目標(biāo)檢測模型，通過遙感目標(biāo)檢測模型輸出目標(biāo)遙感圖像的檢測結(jié)果。10、上述方案的有益效果是：11、（1）本發(fā)明可以在目標(biāo)遙感圖像數(shù)據(jù)檢測的過程中，固定基礎(chǔ)模型vae?encoder的訓(xùn)練參數(shù)，僅訓(xùn)練輕量級的多尺度特征提取模塊及實例級別目標(biāo)檢測模塊的參數(shù)，從而減少了訓(xùn)練資源需求，縮短了學(xué)習(xí)進化時間，提高了模型的適應(yīng)性和可擴展性。12、（2）本發(fā)明在目標(biāo)遙感圖像數(shù)據(jù)檢測的過程中，可以利用基礎(chǔ)模型的先驗知識進行預(yù)測，提高了檢測的準(zhǔn)確性和效率。13、進一步地，步驟s2中，預(yù)訓(xùn)練的基礎(chǔ)擴散模型包括特征編碼器和unet網(wǎng)絡(luò)；14、其中，特征編碼器用于提取遙感圖像訓(xùn)練數(shù)據(jù)的圖像特征；15、unet網(wǎng)絡(luò)用于對遙感圖像訓(xùn)練數(shù)據(jù)的圖像特征進行進一步編碼，得到初始特征圖。16、進一步地，步驟s2中，多級特征圖的維度相同。17、上述進一步方案的有益效果是：本發(fā)明利用預(yù)訓(xùn)練的基礎(chǔ)擴散模型stable-diffusion，在視覺特征提取過程中，凍結(jié)了原有圖像編碼器的全部參數(shù)，并在訓(xùn)練過程中通過隨機裁剪等數(shù)據(jù)增強操作，可以提升模型的泛化能力。18、進一步地，步驟s2中，實例級別目標(biāo)檢測模塊包括9層堆疊的子模塊，子模塊包括交叉注意力cross-attention、自注意力self-attention和前饋神經(jīng)網(wǎng)絡(luò)ffn。19、進一步地，交叉注意力cross-attention用于學(xué)習(xí)遙感圖像訓(xùn)練數(shù)據(jù)的類別；20、自注意力self-attention用于學(xué)習(xí)遙感圖像訓(xùn)練數(shù)據(jù)中的預(yù)測框；21、前饋神經(jīng)網(wǎng)絡(luò)ffn用于學(xué)習(xí)遙感圖像訓(xùn)練數(shù)據(jù)中的預(yù)測掩碼。22、進一步地，步驟s2中，遙感目標(biāo)檢測模型的損失函數(shù)為：23、24、其中，表示分類損失，表示預(yù)測概率，表示實例類別，表示檢測框損失，表示預(yù)測框，表示真實框，表示掩膜損失，表示預(yù)測掩膜，表示實例掩膜。25、進一步地，預(yù)訓(xùn)練的基礎(chǔ)擴散模型為stable-diffusion，并且預(yù)訓(xùn)練的基礎(chǔ)擴散模型的特征編碼器的參數(shù)保持不變。26、上述進一步方案的有益效果是：提高了遙感圖像目標(biāo)檢測的效率和準(zhǔn)確性，同時通過優(yōu)化模型結(jié)構(gòu)和損失函數(shù)設(shè)計，使得整個系統(tǒng)更加穩(wěn)健和適應(yīng)性更強，為解決復(fù)雜的實際應(yīng)用場景提供了強有力的工具和方法。技術(shù)特征：1.一種基于擴散模型的遙感目標(biāo)檢測方法，其特征在于，所述方法包括：2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟s2中，所述預(yù)訓(xùn)練的基礎(chǔ)擴散模型包括特征編碼器和unet網(wǎng)絡(luò)；3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟s2中，所述多級特征圖的維度相同，所述多級特征圖的維度為所述多級特征圖中表示像素的向量的維度。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟s2中，所述實例級別目標(biāo)檢測模塊包括9層堆疊的子模塊，所述子模塊包括交叉注意力cross-attention、自注意力self-attention和前饋神經(jīng)網(wǎng)絡(luò)ffn。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述交叉注意力cross-attention用于學(xué)習(xí)所述遙感圖像訓(xùn)練數(shù)據(jù)的類別；6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟s2中，所述遙感目標(biāo)檢測模型的損失函數(shù)為：7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)訓(xùn)練的基礎(chǔ)擴散模型為stable-diffusion，并且所述預(yù)訓(xùn)練的基礎(chǔ)擴散模型的特征編碼器的參數(shù)保持不變。技術(shù)總結(jié)本發(fā)明屬于模式識別
技術(shù)領(lǐng)域：
：，具體公開了一種基于擴散模型的遙感目標(biāo)檢測方法，包括如下步驟：獲取遙感圖像訓(xùn)練數(shù)據(jù)；使用遙感圖像訓(xùn)練數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到遙感目標(biāo)檢測模型；遙感目標(biāo)檢測模型包括視覺特征提取模塊、多尺度特征提取模塊和實例級別目標(biāo)檢測模塊；視覺特征提取模塊為預(yù)訓(xùn)練的基礎(chǔ)擴散模型；多尺度特征提取模塊用于對初始特征圖進行特征提取，得到多級特征圖；將目標(biāo)遙感圖像數(shù)據(jù)輸入遙感目標(biāo)檢測模型，通過遙感目標(biāo)檢測模型輸出目標(biāo)遙感圖像的檢測結(jié)果。本發(fā)明可以減少訓(xùn)練資源需求，縮短學(xué)習(xí)進化時間，提高模型的適應(yīng)性和可擴展性。解決了現(xiàn)有技術(shù)中遙感圖像數(shù)據(jù)檢測過程中訓(xùn)練資源較為復(fù)雜的問題。技術(shù)研發(fā)人員：張艷寧,王笑鳴,王鵬,張世周,席慶彪,田雪濤受保護的技術(shù)使用者：西北工業(yè)大學(xué)技術(shù)研發(fā)日：技術(shù)公布日：2024/12/19