本發(fā)明涉及遙感圖像處理，具體而言，涉及一種基于多模態(tài)四元數(shù)表示網(wǎng)絡(luò)的多源遙感圖像分類方法。

背景技術(shù)：

1、隨著衛(wèi)星傳感器技術(shù)發(fā)展迅速，來自多種傳感器的遙感圖像為同一觀測區(qū)域提供了具有不同特征的信息。例如，高光譜數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)分別為地物覆被提供了豐富的空間光譜信息和精準(zhǔn)的高程空間信息。多源遙感數(shù)據(jù)的聯(lián)合應(yīng)用能夠充分利用其互補信息來提高分類的準(zhǔn)確性，已廣泛應(yīng)用于環(huán)境監(jiān)測、城市規(guī)劃等領(lǐng)域。

2、在多源遙感數(shù)據(jù)聯(lián)合分類任務(wù)中，傳統(tǒng)手工特征和深度語義特征這兩種不同模態(tài)的特征之間存在互補性，實現(xiàn)這兩種不同模態(tài)特征的有效融合對提高分類性能具有非常重要的研究價值和實際意義。然而，現(xiàn)有的多模態(tài)特征融合方法存在特征之間交互不足、特征堆疊造成冗余、融合架構(gòu)復(fù)雜等問題,如何有效地融合多模態(tài)特征亟需解決。

3、四元數(shù)是一種包含一個實部和三個虛部的超復(fù)數(shù)，天然適合表示三維或四維向量。四元數(shù)的代數(shù)特性能夠捕捉各分量之間潛在的相互依存關(guān)系，并實現(xiàn)各分量之間緊湊的交互?，F(xiàn)亟需一種基于多模態(tài)四元數(shù)表示網(wǎng)絡(luò)的多源遙感圖像分類方法，用于簡單有效地融合多模態(tài)特征。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多模態(tài)四元數(shù)表示網(wǎng)絡(luò)的多源遙感圖像分類方法，以改善上述問題。為了實現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案如下：

2、第一方面，本技術(shù)提供了一種基于多模態(tài)四元數(shù)表示網(wǎng)絡(luò)的多源遙感圖像分類方法，包括：

3、獲取高光譜圖像和激光雷達(dá)圖像數(shù)據(jù)集，對其進(jìn)行歸一化和降維處理，并分為訓(xùn)練集和測試集；

4、依次構(gòu)建多模態(tài)四元數(shù)表示模塊，三級融合框架和雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)，并基于所述多模態(tài)四元數(shù)表示模塊，三級融合框架和雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)構(gòu)建得到多模態(tài)四元數(shù)表示網(wǎng)絡(luò)；

5、將訓(xùn)練集按照預(yù)設(shè)訓(xùn)練參數(shù)和損失函數(shù)訓(xùn)練多模態(tài)四元數(shù)表示網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的多源遙感圖像分類模型，并根據(jù)訓(xùn)練后的多源遙感圖像分類模型對所述測試集進(jìn)行測試，得到分類結(jié)果。

6、可選地,將訓(xùn)練集按照預(yù)設(shè)訓(xùn)練參數(shù)和損失函數(shù)訓(xùn)練多模態(tài)四元數(shù)表示網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

7、將所述訓(xùn)練集內(nèi)的數(shù)據(jù)輸入至多模態(tài)四元數(shù)表示模塊進(jìn)行處理，得到多模態(tài)四元數(shù)表示模塊的輸出，所述多模態(tài)四元數(shù)表示模塊的輸出包括高光譜圖像的空間特征四元數(shù)表示激光雷達(dá)圖像的空間特征四元數(shù)表示和高光譜圖像的光譜特征四元數(shù)表示；

8、將所述多模態(tài)四元數(shù)表示模塊的輸出分別輸入至三級融合框架的第一級多模態(tài)特征交叉融合模塊和第二級多模態(tài)特征交叉融合模塊進(jìn)行處理，得到第一級融合的多模態(tài)特征輸出和第二級融合的多模態(tài)特征輸出；

9、將所述第一級融合的多模態(tài)特征輸出和第二級融合的多模態(tài)特征輸出分別輸入至雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)進(jìn)行處理，得到雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出；

10、將所述雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出發(fā)送至第三級多模態(tài)特征交叉融合模塊進(jìn)行處理，并將處理得到第三級多模態(tài)特征交叉融合模塊的輸出和雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出發(fā)依次輸入至預(yù)設(shè)的全連接層進(jìn)行分類，得到分類結(jié)果，其中所述預(yù)設(shè)的全連接層包括兩層四元數(shù)全連接層和一個全連接層。

11、可選地,獲取高光譜圖像和激光雷達(dá)圖像數(shù)據(jù)集，對其進(jìn)行歸一化和降維處理，并分為訓(xùn)練集和測試集，包括：

12、將獲取的高光譜圖像和激光雷達(dá)圖像進(jìn)行歸一化處理，使高光譜圖像和激光雷達(dá)圖像中每個像素點的取值范圍在預(yù)設(shè)數(shù)值之間；

13、使用主成分分析法對歸一化后的高光譜圖像的光譜維度進(jìn)行降維處理，得到低維高光譜圖像；

14、將所述低維高光譜圖像和激光雷達(dá)圖像的每個像素點為中心，依據(jù)預(yù)設(shè)采樣窗口大小截取得到低維高光譜圖像和激光雷達(dá)圖像數(shù)據(jù)塊；

15、將截取得到的低維高光譜圖像和激光雷達(dá)圖像數(shù)據(jù)塊按照數(shù)量的預(yù)設(shè)訓(xùn)練樣本和測試樣本數(shù)量分為訓(xùn)練集和測試集。

16、可選地,所述將所述訓(xùn)練集內(nèi)的數(shù)據(jù)輸入至多模態(tài)四元數(shù)表示模塊進(jìn)行處理，得到多模態(tài)四元數(shù)表示模塊的輸出，包括：

17、基于預(yù)設(shè)的高光譜圖像空間特征四元數(shù)表示的數(shù)學(xué)表達(dá)式確定高光譜圖像的空間特征四元數(shù)表示和激光雷達(dá)圖像的空間特征四元數(shù)表示；

18、基于預(yù)設(shè)的高光譜圖像光譜特征四元數(shù)表示的數(shù)學(xué)表達(dá)式構(gòu)造高光譜圖像的光譜特征四元數(shù)表示。

19、可選地,所述將所述多模態(tài)四元數(shù)表示模塊的輸出分別輸入至三級融合框架的第一級多模態(tài)特征交叉融合模塊和第二級多模態(tài)特征交叉融合模塊進(jìn)行處理，包括：

20、基于第一級多模態(tài)特征交叉融合模塊的三維四元數(shù)卷積分別對高光譜圖像空間特征四元數(shù)表示的每個位置和激光雷達(dá)圖像空間特征四元數(shù)表示的每個位置進(jìn)行特征提取，得到高光譜圖像位置特征和激光雷達(dá)圖像位置特征；

21、使用softmax函數(shù)計算所述高光譜圖像位置特征和激光雷達(dá)圖像位置特征之間的相關(guān)性值；

22、基于哈密頓乘法將所述相關(guān)性值和所述高光譜圖像位置特征進(jìn)行相乘得到激光雷達(dá)圖像空間特征四元數(shù)表示對高光譜圖像空間特征四元數(shù)表示的加權(quán)響應(yīng)；

23、基于所述加權(quán)響應(yīng)與高光譜圖像空間特征四元數(shù)表示進(jìn)行逐元素加法操作，得到第一級融合的多模態(tài)特征輸出；

24、將所述高光譜圖像光譜特征四元數(shù)表示和激光雷達(dá)圖像空間特征四元數(shù)表示輸入至第二級多模態(tài)特征交叉融合模塊進(jìn)行處理，其中重復(fù)上述特征提取、相關(guān)性值計算、加權(quán)響應(yīng)計算和逐元素加法操作，得到第二級融合的多模態(tài)特征輸出。

25、可選地,將所述第一級融合的多模態(tài)特征輸出和第二級融合的多模態(tài)特征輸出分別輸入至雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)進(jìn)行處理，包括：

26、將所述第一級融合的多模態(tài)特征輸出發(fā)送至雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)中的預(yù)設(shè)的空間四元數(shù)卷積transformer塊進(jìn)行處理，得到空間四元數(shù)卷積transformer塊的輸出結(jié)果；

27、將所述第二級融合的多模態(tài)特征輸出發(fā)送至雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)中的預(yù)設(shè)的光譜四元數(shù)卷積transformer塊進(jìn)行處理，得到光譜四元數(shù)卷積transformer塊的輸出結(jié)果。

28、可選地,將所述第一級融合的多模態(tài)特征輸出發(fā)送至雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)中的預(yù)設(shè)的空間四元數(shù)卷積transformer塊進(jìn)行處理，包括：

29、基于空間四元數(shù)卷積transformer塊的空間四元數(shù)卷積標(biāo)記嵌入塊，并基于層歸一化將標(biāo)記得到的空間標(biāo)記進(jìn)行標(biāo)準(zhǔn)化，得到標(biāo)準(zhǔn)化后的空間標(biāo)記；

30、將標(biāo)準(zhǔn)化后的空間標(biāo)記按照預(yù)設(shè)的單頭三維四元數(shù)卷積空間注意力的查詢、鍵和值分量的數(shù)學(xué)表達(dá)式進(jìn)行計算，得到單頭三維四元數(shù)卷積空間注意力的查詢、鍵和值分量；

31、基于預(yù)設(shè)的單頭三維四元數(shù)卷積空間注意力得分的數(shù)學(xué)表達(dá)式對單頭三維四元數(shù)卷積空間注意力的查詢、鍵和值分量進(jìn)行計算，得到單頭三維四元數(shù)卷積空間注意力得分；

32、基于預(yù)設(shè)的單頭三維四元數(shù)卷積空間注意力的輸出的數(shù)學(xué)表達(dá)式對單頭三維四元數(shù)卷積空間注意力得分進(jìn)行計算，得到單頭三維四元數(shù)卷積空間注意力的輸出；

33、基于多頭三維四元數(shù)卷積空間注意力的輸出的數(shù)學(xué)表達(dá)式對單頭三維四元數(shù)卷積空間注意力的輸出進(jìn)行計算，得到多頭三維四元數(shù)卷積空間注意力的輸出；

34、將多頭三維四元數(shù)卷積空間注意力的輸出進(jìn)行層歸一化，得到第一特征向量；

35、基于兩個預(yù)設(shè)卷積核大小的三維四元數(shù)卷積層對所述第一特征向量進(jìn)行處理，得到處理后的第一特征向量；

36、基于高斯誤差線性單元激活函數(shù)和門控機(jī)制對處理后的第一特征向量進(jìn)行非線性變換，得到空間四元數(shù)卷積transformer塊的輸出結(jié)果。

37、可選地,將所述第二級融合的多模態(tài)特征輸出發(fā)送至雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)中的預(yù)設(shè)的光譜四元數(shù)卷積transformer塊進(jìn)行處理，包括：

38、基于光譜四元數(shù)卷積transformer塊的光譜四元數(shù)卷積標(biāo)記嵌入塊，并基于層歸一化將標(biāo)記得到的光譜標(biāo)記進(jìn)行標(biāo)準(zhǔn)化，得到標(biāo)準(zhǔn)化后的光譜標(biāo)記；

39、將標(biāo)準(zhǔn)化后的光譜標(biāo)記按照預(yù)設(shè)的單頭三維四元數(shù)卷積光譜注意力的查詢、鍵和值分量的數(shù)學(xué)表達(dá)式進(jìn)行計算，得到單頭三維四元數(shù)卷積光譜注意力的查詢、鍵和值分量；

40、基于預(yù)設(shè)的單頭三維四元數(shù)卷積光譜注意力得分的數(shù)學(xué)表達(dá)式對單頭三維四元數(shù)卷積光譜注意力的查詢、鍵和值分量進(jìn)行計算，得到單頭三維四元數(shù)卷積光譜注意力得分；

41、基于預(yù)設(shè)的單頭三維四元數(shù)卷積光譜注意力的輸出的數(shù)學(xué)表達(dá)式對單頭三維四元數(shù)卷積光譜注意力得分進(jìn)行計算，得到單頭三維四元數(shù)卷積光譜注意力的輸出；

42、基于多頭三維四元數(shù)卷積光譜注意力的輸出的數(shù)學(xué)表達(dá)式對單頭三維四元數(shù)卷積光譜注意力的輸出進(jìn)行計算，得到多頭三維四元數(shù)卷積光譜注意力的輸出；

43、將多頭三維四元數(shù)卷積光譜注意力的輸出進(jìn)行層歸一化，得到第二特征向量；

44、基于兩個預(yù)設(shè)卷積核大小的三維四元數(shù)卷積層對所述第二特征向量進(jìn)行處理，得到處理后的第二特征向量；

45、基于高斯誤差線性單元激活函數(shù)和門控機(jī)制對處理后的第二特征向量進(jìn)行非線性變換，得到光譜四元數(shù)卷積transformer塊的輸出結(jié)果。

46、可選地,將所述雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出發(fā)送至第三級多模態(tài)特征交叉融合模塊進(jìn)行處理，包括：

47、基于第三級多模態(tài)特征交叉融合模塊的三維四元數(shù)卷積對雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出進(jìn)行特征提取，所述雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出包括空間分支的輸出和光譜分支的輸出；

48、基于softmax函數(shù)計算空間分支的輸出和光譜分支的輸出之間的相關(guān)性，并基于哈密頓乘法將空間分支的輸出和光譜分支的輸出之間的相關(guān)性與光譜分支輸出結(jié)果的特征相乘，得到光譜分支的輸出結(jié)果對空間分支的輸出結(jié)果的加權(quán)響應(yīng)；

49、將光譜分支的輸出結(jié)果對空間分支的輸出結(jié)果的加權(quán)響應(yīng)和空間分支的輸出結(jié)果進(jìn)行逐元素加法操作，得到第三級多模態(tài)特征交叉融合模塊的輸出。

50、可選地,并將處理得到第三級多模態(tài)特征交叉融合模塊的輸出和雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出發(fā)依次輸入至預(yù)設(shè)的全連接層進(jìn)行分類，包括：

51、基于第三級多模態(tài)特征交叉融合模塊的輸出、雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)的輸出進(jìn)行交叉熵計算，得到三個分類損失；

52、將三個分類損失相加得到多任務(wù)損失函數(shù)，使用預(yù)設(shè)的adam優(yōu)化器和多任務(wù)損失函數(shù)訓(xùn)練網(wǎng)絡(luò)直至收斂，得到訓(xùn)練后的多源遙感圖像分類模型。

53、本發(fā)明的有益效果為：

54、首先，本發(fā)明設(shè)計的多模態(tài)四元數(shù)表示模塊將多模態(tài)特征編碼為純四元數(shù)的虛部以探索空間和光譜特征，利用四元數(shù)網(wǎng)絡(luò)在探索四元數(shù)隱藏空間間和內(nèi)部關(guān)系方面的能力，自然地整合多模態(tài)特征，捕獲特征之間潛在的相互依賴，并鼓勵緊湊的相互作用。其次，本發(fā)明設(shè)計的多模態(tài)特征交叉融合模塊，通過三級融合來整合多層次的特征，減少了異質(zhì)性對多模態(tài)融合的影響，最大限度地使用多源遙感圖像信息。并且，本發(fā)明設(shè)計的雙分支四元數(shù)卷積transformer網(wǎng)絡(luò)結(jié)合了三維四元數(shù)卷積捕捉局部特征的優(yōu)勢，以及transformer建模長期依賴關(guān)系的能力，從空間和光譜的角度，同時捕獲細(xì)化的局部和全局特征，可以簡單有效地融合多模態(tài)特征。

55、本發(fā)明的其他特征和優(yōu)點將在隨后的說明書闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明實施例了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。