本發(fā)明涉及遙感場(chǎng)景和分類(lèi)，具體涉及一種基于多分支融合的海洋遙感圖像場(chǎng)景分類(lèi)方法。

背景技術(shù)：

1、在遙感圖像解譯領(lǐng)域，遙感場(chǎng)景分類(lèi)是遙感領(lǐng)域的一項(xiàng)既基礎(chǔ)又重要的任務(wù)，是對(duì)遙感圖像的語(yǔ)義內(nèi)容進(jìn)行標(biāo)注的過(guò)程。遙感場(chǎng)景圖像呈現(xiàn)出高度復(fù)雜的幾何結(jié)構(gòu)，每個(gè)場(chǎng)景都包含大小不同、外觀迥異的物體，這些對(duì)象不僅形狀多變，而且空間結(jié)構(gòu)差異顯著。受這些特性的影響，遙感場(chǎng)景中的主體對(duì)象難以清晰捕獲，以及其復(fù)雜的尺度信息，致使從圖像中提取準(zhǔn)確且具有辨別性的特征變得尤為困難。特征提取是遙感場(chǎng)景分類(lèi)中最重要的步驟，只有提取到能夠有效表達(dá)圖像內(nèi)在屬性并具備高度判別行的特征，才能實(shí)現(xiàn)遙感場(chǎng)景的準(zhǔn)確分類(lèi)。

2、因此，在提取特征時(shí)，如何優(yōu)化特征，以強(qiáng)調(diào)關(guān)鍵對(duì)象信息；如何融合特征，有效處理多尺度的特征信息，在遙感場(chǎng)景分類(lèi)中需要解決這一系列難題，適應(yīng)遙感圖像獨(dú)特的空間結(jié)構(gòu)。此外，在海洋遙感領(lǐng)域中還存在圖像尺度變化大以及有利于海洋遙感場(chǎng)景分類(lèi)的形狀信息丟失的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本發(fā)明提出一種基于多分支融合的海洋遙感圖像場(chǎng)景分類(lèi)方法，通過(guò)融合遙感圖像尺度信息和層次信息，能夠有效聚合多尺度特征，提升特征的表示能力。

2、在本發(fā)明的第一方面，本發(fā)明公開(kāi)了一種基于多分支融合的海洋遙感圖像場(chǎng)景分類(lèi)方法，包括：

3、步驟s1、獲取海洋遙感圖像數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，獲取的海洋遙感圖像數(shù)據(jù)包括訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別用于后續(xù)對(duì)模型進(jìn)行訓(xùn)練、驗(yàn)證和評(píng)估;

4、步驟s2、構(gòu)建基于多分支融合的海洋遙感場(chǎng)景分類(lèi)模型，所述模型采用cnn的金字塔式網(wǎng)絡(luò)結(jié)構(gòu)，包括多個(gè)多分支網(wǎng)絡(luò)塊和可學(xué)習(xí)的多級(jí)融合模塊，所述可學(xué)習(xí)的多級(jí)聚合模塊用于將所述多個(gè)多分支網(wǎng)絡(luò)塊進(jìn)行融合；

5、步驟s3、根據(jù)訓(xùn)練集、驗(yàn)證集和測(cè)試集中的數(shù)據(jù)對(duì)基于多分支融合的海洋遙感場(chǎng)景分類(lèi)模型進(jìn)行訓(xùn)練，并更新基于多分支融合的海洋遙感場(chǎng)景分類(lèi)模型；

6、步驟s4、將待分類(lèi)海洋遙感圖像數(shù)據(jù)輸入到訓(xùn)練好的海洋遙感場(chǎng)景分類(lèi)模型中，得到分類(lèi)結(jié)果。

7、進(jìn)一步地，海洋遙感圖像數(shù)據(jù)包括arcgis數(shù)據(jù)集、wdmi?數(shù)據(jù)集和google?earth數(shù)據(jù)集；其中，arcgis數(shù)據(jù)集主要用于地理信息系統(tǒng)分析，包含高分辨率的海洋環(huán)境圖像，捕獲時(shí)間限定為近五年內(nèi)，以確保反映當(dāng)前海洋場(chǎng)景變化；wdmi數(shù)據(jù)集專(zhuān)注于水體監(jiān)測(cè)，涵蓋多樣的海洋場(chǎng)景，包括港口、海岸線和開(kāi)放海域；google?earth數(shù)據(jù)集提供全球范圍內(nèi)的高分辨率衛(wèi)星圖像，具有可靠的標(biāo)注信息，支持監(jiān)督學(xué)習(xí)需求。所述步驟s1中對(duì)海洋遙感圖像數(shù)據(jù)進(jìn)行預(yù)處理包括：對(duì)海洋遙感圖像數(shù)據(jù)集中的每一幅圖像在訓(xùn)練過(guò)程中固定種子seed，將圖像尺寸改變?yōu)?56×256，并采用中心裁切的方式裁切到224×224。

8、進(jìn)一步地，模型還包括stem卷積模塊，用于對(duì)輸入的海洋遙感圖像數(shù)據(jù)進(jìn)行處理，并將處理后的圖像數(shù)據(jù)發(fā)送到多分支網(wǎng)絡(luò)塊；

9、在將圖像輸入到每個(gè)處理模塊前，首先使用一個(gè)stem卷積模塊處理的圖像，其由兩個(gè)通道為，，步長(zhǎng)為2的3×3卷積層組成，生成的特征，為多分支網(wǎng)絡(luò)網(wǎng)絡(luò)塊的輸入維度。

10、進(jìn)一步地，多分支網(wǎng)絡(luò)塊包括：

11、多尺度嵌入模塊，用于生成不同大小的嵌入特征，并將其輸入到多分支模塊中；

12、多分支模塊，包括cnn分支和transformer分支，所述cnn分支用于根據(jù)多尺度嵌入模塊輸出的嵌入特征獲取圖像數(shù)據(jù)的局部特征，所述transformer分支用于根據(jù)多尺度嵌入模塊輸出的嵌入特征獲取圖像數(shù)據(jù)的多尺度特征；

13、核選擇聚合模塊，用于將cnn分支獲取的局部特征和transformer分支獲取的多尺度特征進(jìn)行聚合，得到輸出的特征；

14、多分支網(wǎng)絡(luò)塊包括四個(gè)階段：第一多分支網(wǎng)絡(luò)塊、第二多分支網(wǎng)絡(luò)塊、第三多分支網(wǎng)絡(luò)塊、第四多分支網(wǎng)絡(luò)塊；每個(gè)階段的?transformer?分支數(shù)量，設(shè)置為[2，3，3，3]，對(duì)應(yīng)的每個(gè)transformer?分支堆疊的編碼器數(shù)量設(shè)置為[1，2，4，1]。

15、進(jìn)一步地，多尺度嵌入模塊用于生成不同大小的嵌入特征，并將其輸入到多分支模塊中包括：

16、多尺度嵌入模塊通過(guò)改變步幅和填充來(lái)調(diào)整?token?的序列長(zhǎng)度，用不同的patch大小輸出相同形狀的特征，也通過(guò)調(diào)整步幅實(shí)現(xiàn)當(dāng)前階段特征的2×2下采樣；為了減少模型參數(shù)和計(jì)算開(kāi)銷(xiāo)，采用3×3深度可分離卷積來(lái)實(shí)現(xiàn)，由3×3深度卷積和嵌入層中的1×?1逐點(diǎn)卷積組成；所有卷積層之后加入批歸一化和hardswish函數(shù)；最后將不同大小的token嵌入特征分別輸入到多分支模塊中；

17、多尺度嵌入模塊使用由1×1卷積、3×3深度卷積、1×1卷積和殘差連接組成的深度殘差瓶頸層，處理嵌入特征，同時(shí)將這些不同尺度的特征，輸入到多分支模塊。

18、進(jìn)一步地，transformer分支用于根據(jù)多尺度嵌入模塊輸出的嵌入特征獲取圖像數(shù)據(jù)的多尺度特征包括：

19、transformer分支中使用經(jīng)典的transformer編碼器結(jié)構(gòu)，使用因式分解自注意力并搭配卷積相對(duì)位置編碼組成新的卷積注意力模塊；具體包括：

20、對(duì)輸入的token首先進(jìn)行卷積位置編碼，然后輸入到卷積注意力模塊，其包括了因式分解注意力模塊和卷積相對(duì)位置編碼模塊，因式分解注意力公式如下：

21、

22、

23、

24、其中，，，表示自注意力的三個(gè)向量，代表的是輸入到?transformer?編碼器的圖像特征數(shù)據(jù)，表示通道數(shù)，上標(biāo)t表示轉(zhuǎn)置，第一個(gè)公式為原始注意力機(jī)制的計(jì)算公式，第二個(gè)公式為高效因式分解的注意力，通過(guò)公式可以看到在原始的基礎(chǔ)上，通過(guò)兩個(gè)函數(shù)和對(duì)和進(jìn)行分解，并通過(guò)一起計(jì)算和相乘來(lái)近似原始的注意力圖；第三個(gè)公式為使用的方法，函數(shù)使用恒等映射，并加入比例因子，函數(shù)使用softmax函數(shù)；

25、為了建模局部token的關(guān)系，使用深度卷積進(jìn)行相對(duì)位置編碼，得到相對(duì)位置的注意力圖，將因式分解自注意力和位置編碼進(jìn)行結(jié)合，得出卷積注意力，具體公式如下所示：

26、

27、

28、

29、其中，表示相對(duì)位置的注意力圖，強(qiáng)調(diào)如何通過(guò)卷積提取局部特征并與查詢(xún)向量結(jié)合，以捕捉局部關(guān)系；表示綜合性的注意力圖，通過(guò)連接多個(gè)注意力圖，增強(qiáng)信息的多樣性，有助于提高模型的表達(dá)能力和準(zhǔn)確性，表示hadamard?product，w?表示卷積核的權(quán)重值。

30、進(jìn)一步地，所述核選擇聚合模塊，就是核選擇多尺度聚合模塊（kernel?selectionmulti-scale?aggregation，ksmsa），采用不同的大卷積核，運(yùn)用動(dòng)態(tài)的感受野去感知不同尺度的信息，有效地對(duì)不同類(lèi)別對(duì)象的不同上下文細(xì)微差別進(jìn)行建模，進(jìn)一步提升融合的效率，增強(qiáng)特征表示。

31、核選擇多尺度聚合模塊的核心是大核選擇模塊以及用于融合和通道變換的卷積層，其中大核選擇模塊嵌入到兩個(gè)用于增強(qiáng)網(wǎng)絡(luò)表示能力的1×1卷積層中，其主要的步驟是分離，融合和選擇。大核選擇模塊對(duì)于輸入的每個(gè)分支的特征，首先進(jìn)行卷積核大小為5和7的卷積計(jì)算，獲得不同卷積核大小處理的特征：和，這些卷積均使用高效的分組卷積實(shí)現(xiàn)，允許對(duì)每個(gè)空間特征向量進(jìn)行通道混合。聚合的目的是能夠根據(jù)內(nèi)容自適應(yīng)地調(diào)整感受野的大小，基本思想是使用門(mén)來(lái)控制兩種卷積核分支的信息流。為了實(shí)現(xiàn)這一點(diǎn)，門(mén)控機(jī)制需要整合這些信息，將這些特征進(jìn)行拼接，如下面的公式表示，結(jié)合兩分支的特征：；

32、為了增強(qiáng)網(wǎng)絡(luò)關(guān)注相關(guān)空間上下文區(qū)域的能力，使用門(mén)控機(jī)制從不同尺度的大卷積核空間中選擇特征圖。為了有效提取空間關(guān)系，采用使用全局平均池化和全局最大池化的并行的操作，然后再次拼接在一起，產(chǎn)生spatial-wise?統(tǒng)計(jì)信息，公式如下所示：

33、

34、

35、

36、其中，，表示特征圖的高和寬，表示第通道，表示全局平均池化后的第通道特征，表示全局最大池化后的第通道特征，表示兩個(gè)池化特征拼接后的第通道特征，表示拼接處理。而后進(jìn)行卷積操作，將池化后特征轉(zhuǎn)換為兩個(gè)空間注意力?圖，實(shí)現(xiàn)對(duì)不同空間的信息交互。使用sigmoid激活函數(shù)來(lái)獲得每個(gè)分解后的大核單獨(dú)空間的選擇掩碼，以便為精確和自適應(yīng)地選擇提供指導(dǎo)，具體公式如下所示：

37、

38、其中，表示sigmoid激活函數(shù)，表示卷積操作，表示所有通道的。使用權(quán)重矩陣對(duì)特征進(jìn)行重加權(quán)求和得到最終的當(dāng)前尺度分支輸出特征，并且為了防止梯度消失和梯度爆炸，加入殘差連接，具體如下公式所示：

39、

40、將這些經(jīng)過(guò)大核選擇模塊處理的各分支特征拼接在一起，再經(jīng)過(guò)1×1卷積進(jìn)行通道變換，完成當(dāng)前階段的多分支特征融合，以輸入下一個(gè)階段的多尺度嵌入模塊。經(jīng)過(guò)對(duì)不同尺度的特征采用不同的卷積核進(jìn)行處理，獲取動(dòng)態(tài)感受野，有效地對(duì)齊了多尺度特征之間的語(yǔ)義差異，更好地實(shí)現(xiàn)多分支特征聚合，增強(qiáng)特征表示能力，提升分類(lèi)效果。

41、進(jìn)一步地，步驟s2中所述可學(xué)習(xí)的多級(jí)聚合模塊用于將所述多個(gè)多分支網(wǎng)絡(luò)塊進(jìn)行融合包括：

42、可學(xué)習(xí)的多級(jí)聚合模塊將第一多分支網(wǎng)絡(luò)塊、第二多分支網(wǎng)絡(luò)塊和第三多分支網(wǎng)絡(luò)塊三個(gè)階段的特征通過(guò)下采樣操作，得到相同大小的特征圖，然后將這些特征拼接在一起，然后通過(guò)skconv計(jì)算得到淺層信息的融合特征；之后與設(shè)置的可學(xué)習(xí)超參數(shù)相乘，實(shí)現(xiàn)動(dòng)態(tài)求和，以便生成彌補(bǔ)淺層信息的最終特征。

43、進(jìn)一步地，步驟s3中對(duì)基于多分支融合的海洋遙感場(chǎng)景分類(lèi)模型進(jìn)行訓(xùn)練中引入標(biāo)簽平滑損失作為損失函數(shù)；所述標(biāo)簽平滑損失將傳統(tǒng)交叉熵?fù)p失中對(duì)標(biāo)簽的one-hot硬編碼方式改為軟編碼，在one-hot中添加一點(diǎn)噪聲，使模型更具有魯棒性；損失函數(shù)公式如下面的公式所示：

44、

45、

46、其中，表示分類(lèi)器輸出的預(yù)測(cè)值，表示one-hot編碼，表示真實(shí)標(biāo)簽，是一個(gè)很小的常數(shù)，為類(lèi)別的個(gè)數(shù)。

47、在本發(fā)明的第二方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面任一項(xiàng)所述的方法。

48、本發(fā)明提供了一種基于多分支融合的海洋遙感圖像場(chǎng)景分類(lèi)方法，具體涉及遙感場(chǎng)景和分類(lèi)技術(shù)領(lǐng)域，本發(fā)明通過(guò)構(gòu)建卷積網(wǎng)絡(luò)和transformer多分支并行計(jì)算的網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)核選擇多尺度聚合模塊，處理多個(gè)分支產(chǎn)生的不同尺度特征；通過(guò)選擇不同的卷積核，建立動(dòng)態(tài)的感受野，自適應(yīng)地處理不同尺度的特征，減小語(yǔ)義差異以實(shí)現(xiàn)有效聚合多尺度特征；此外，通過(guò)設(shè)置可學(xué)習(xí)的參數(shù)將淺層的形狀信息補(bǔ)充到深層特征，增強(qiáng)最終分類(lèi)特征的表示能力；本發(fā)明提供的海洋遙感圖像場(chǎng)景分類(lèi)方法在基線上實(shí)現(xiàn)了2.74%的準(zhǔn)確率提升，更有效地聚合了多尺度特征，增強(qiáng)了特征表示能力。