本發(fā)明涉及一種多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，尤其涉及一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，屬于圖像處理。

背景技術(shù)：

1、遙感領(lǐng)域中的多模態(tài)通常指的是在不同傳感器，如多光譜、高光譜、合成孔徑雷達(dá)和激光雷達(dá)等下獲取的場(chǎng)景和目標(biāo)的成像結(jié)果，合理地利用多模態(tài)遙感數(shù)據(jù)，可以通過(guò)光譜、時(shí)間和空間等方面為地物提供更全面的描述信息，從而提高遙感數(shù)據(jù)的解譯能力，以滿(mǎn)足軍事偵察、智慧農(nóng)業(yè)等實(shí)際應(yīng)用的需求。

2、為推動(dòng)多模態(tài)遙感數(shù)據(jù)在上述應(yīng)用中得到深入和廣泛的應(yīng)用，需要有效的信息處理手段，分類(lèi)作為遙感數(shù)據(jù)處理技術(shù)的重要環(huán)節(jié)之一，一直是當(dāng)前研究的熱點(diǎn)問(wèn)題，近年來(lái)，由于其強(qiáng)大的特征提取能力，深度學(xué)習(xí)已成為多模態(tài)遙感數(shù)據(jù)分類(lèi)的主流方法，在眾多深度學(xué)習(xí)方法中，基于cnn模型的多模態(tài)遙感數(shù)據(jù)方法備受關(guān)注，但缺少長(zhǎng)程依賴(lài)關(guān)系的提取。因此，需要一種具有高效全局特征提取能力的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法。

技術(shù)實(shí)現(xiàn)思路

1、在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。

2、鑒于此，為解決現(xiàn)有技術(shù)中多模態(tài)遙感數(shù)據(jù)分類(lèi)方法在全局特征提取能力方面的不足，本發(fā)明提供一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法。

3、技術(shù)方案如下：一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，包括以下步驟：

4、s1.獲取多模態(tài)遙感數(shù)據(jù)；

5、s2.建立不同模態(tài)的基于多層感知機(jī)的映射層，輸入多模態(tài)遙感數(shù)據(jù)，將多模態(tài)遙感數(shù)據(jù)的輸出劃分為不同的樣本塊，將位置編碼與樣本塊進(jìn)行相加，得到序列的多模態(tài)遙感表征向量；

6、s3.構(gòu)建跨模態(tài)空間融合模塊，輸入序列的多模態(tài)遙感表征向量，經(jīng)不同模態(tài)的空間信息交互，得到跨模態(tài)空間融合模塊的輸出；

7、s4.將步驟s3迭代n次，通過(guò)對(duì)所有跨模態(tài)空間融合模塊的輸出取平均值，并利用多層感知機(jī)輸出分類(lèi)結(jié)果。

8、進(jìn)一步地，多模態(tài)遙感數(shù)據(jù)包括高光譜數(shù)據(jù)dhsi和地面表面模型dlidar，地面表面模型dlidar通過(guò)對(duì)激光雷達(dá)采集的數(shù)據(jù)進(jìn)行去噪和柵格化處理后得到，為長(zhǎng)度為h、寬度為w、光譜數(shù)為l的實(shí)數(shù)集，為長(zhǎng)度為h、寬度為w的實(shí)數(shù)集。

9、進(jìn)一步地，多模態(tài)遙感數(shù)據(jù)的輸出包括高光譜數(shù)據(jù)dhsi的輸出ohsi和地面表面模型dlidar的輸出olidar，序列的多模態(tài)遙感表征向量包括最終的高光譜數(shù)據(jù)dhsi的輸出ohsi'和最終的地面表面模型dlidar的輸出olidar'。

10、進(jìn)一步地，構(gòu)建基于線性時(shí)間序列選擇性狀態(tài)空間模型的跨模態(tài)空間融合模塊，將最終的高光譜數(shù)據(jù)dhsi的輸出ohsi'和最終的地面表面模型dlidar的輸出olidar'分別輸入跨模態(tài)空間融合模塊的一維卷積和silu激活函數(shù)中，得到第一輸出o'hsi和第二輸出o'lidar；

11、o'hsi＝σ(conv(mlp(ohsi')))?(1)

12、o'lidar＝σ(conv(mlp(olidar')))?(2)

13、其中，conv為一維卷積操作，mlp為多層感知機(jī)，σ表示silu激活函數(shù)，zhsi表示最終的高光譜數(shù)據(jù)dhsi的輸出ohsi'的輸出，zlidar表示最終的地面表面模型dlidar的輸出olidar'的輸出；

14、將第一輸出o'hsi和第二輸出o'lidar分別輸入到基于線性時(shí)間序列選擇性狀態(tài)空間塊中，第一輸出o'hsi經(jīng)過(guò)基于線性時(shí)間序列選擇性狀態(tài)空間塊后輸出第一參數(shù)bhsi、第二參數(shù)chsi和高光譜模態(tài)的時(shí)間尺度參數(shù)δhsi，第二輸出o'lidar經(jīng)過(guò)基于線性時(shí)間序列選擇性狀態(tài)空間塊后輸出第三參數(shù)blidar、第四參數(shù)clidar和激光雷達(dá)模態(tài)的時(shí)間尺度參數(shù)δlidar，對(duì)第一輸出o'hsi和和第二輸出o'lidar經(jīng)基于線性時(shí)間序列選擇性狀態(tài)空間塊后得到的輸出進(jìn)行不同模態(tài)的空間信息交互；

15、不同模態(tài)的空間信息交互過(guò)程表示為：

16、bhsi,chsi,δhsi＝mlp(o'hsi)?(3)

17、blidar,clidar,δlidar＝mlp(o'lidar)?(4)

18、

19、

20、

21、y＝(yhsi⊙zhsi)⊙(ylidar⊙σ(mlp(olidar))?????(8)

22、其中，是用于提取hsi的狀態(tài)方程中對(duì)應(yīng)的離散參數(shù)，為bhsi對(duì)應(yīng)的離散參數(shù)，zoh為零階保持器，a為連續(xù)變量，ylidar為基于線性時(shí)間序列選擇性狀態(tài)空間塊輸出的lidar與hsi的混合特征，是用于提取lidar的狀態(tài)方程中對(duì)應(yīng)的離散參數(shù)，ht-1為t-1時(shí)刻的系統(tǒng)狀態(tài)，為blidar對(duì)應(yīng)的離散參數(shù)，yhsi為基于線性時(shí)間序列選擇性狀態(tài)空間塊輸出的hsi與lidar的混合特征，y為跨模態(tài)空間融合模塊的輸出，⊙為哈達(dá)瑪積，hsi為高光譜圖像，lidar為激光雷達(dá)數(shù)據(jù)。

23、本發(fā)明的有益效果如下：本發(fā)明與基于cnn模型的多模態(tài)遙感數(shù)據(jù)方法相比，通過(guò)全局感受野和動(dòng)態(tài)加權(quán)，緩解了卷積神經(jīng)網(wǎng)絡(luò)的建模約束，提高了多模態(tài)遙感數(shù)據(jù)分類(lèi)模型的全局建模能力；本發(fā)明通過(guò)線性時(shí)間序列建模方法在狀態(tài)空間模型的基礎(chǔ)上，利用選擇性狀態(tài)空間支持跨長(zhǎng)序列更高效、更有效地捕獲相關(guān)信息，利用共享權(quán)重學(xué)習(xí)信道依賴(lài)性實(shí)現(xiàn)模態(tài)間高效的通道信息交互。

技術(shù)特征：

1.一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，其特征在于，所述s1中，多模態(tài)遙感數(shù)據(jù)包括高光譜數(shù)據(jù)dhsi和地面表面模型dlidar，地面表面模型dlidar通過(guò)對(duì)激光雷達(dá)采集的數(shù)據(jù)進(jìn)行去噪和柵格化處理后得到，為長(zhǎng)度為h、寬度為w、光譜數(shù)為l的實(shí)數(shù)集，為長(zhǎng)度為h、寬度為w的實(shí)數(shù)集。

3.根據(jù)權(quán)利要求2所述的一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，其特征在于，所述s2中，多模態(tài)遙感數(shù)據(jù)的輸出包括高光譜數(shù)據(jù)dhsi的輸出ohsi和地面表面模型slidar的輸出olidar，序列的多模態(tài)遙感表征向量包括最終的高光譜數(shù)據(jù)dhsi的輸出ohsi′和最終的地面表面模型dlidar的輸出olidar'。

4.根據(jù)權(quán)利要求3所述的一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，其特征在于，所述s3中，構(gòu)建基于線性時(shí)間序列選擇性狀態(tài)空間模型的跨模態(tài)空間融合模塊，將最終的高光譜數(shù)據(jù)dhsi的輸出ohsi′和最終的地面表面模型dlidar的輸出olidar′分別輸入跨模態(tài)空間融合模塊的一維卷積和silu激活函數(shù)中，得到第一輸出o′hsi和第二輸出o′lidar；

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于線性時(shí)間序列選擇性狀態(tài)空間模型的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明與基于CNN的多模態(tài)遙感數(shù)據(jù)分類(lèi)方法相比，通過(guò)全局感受野和動(dòng)態(tài)加權(quán)，緩解了卷積神經(jīng)網(wǎng)絡(luò)的建模約束。本發(fā)明建立不同模態(tài)的基于多層感知機(jī)的映射層，將輸入的多模態(tài)遙感數(shù)據(jù)劃分為樣本塊并疊加位置編碼，得到序列的多模態(tài)遙感表征向量；構(gòu)建跨模態(tài)空間融合模塊，經(jīng)空間信息交互，得到跨模態(tài)空間融合模塊的輸出；通過(guò)對(duì)所有跨模態(tài)空間融合模塊的輸出取平均值，并利用多層感知機(jī)輸出分類(lèi)結(jié)果。本發(fā)明有效提升了多模態(tài)遙感數(shù)據(jù)分類(lèi)模型的建模能力，可以應(yīng)用于遙感數(shù)據(jù)處理。

技術(shù)研發(fā)人員：何欣,韓曉,陳雨時(shí)
受保護(hù)的技術(shù)使用者：哈爾濱工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19