本發(fā)明屬于遙感，涉及遙感圖像處理，具體涉及一種基于雙路徑多尺度特征聚合的遙感圖像分割方法以及相應(yīng)的電子設(shè)備。

背景技術(shù)：

1、隨著科學(xué)技術(shù)的進(jìn)步和遙感技術(shù)的發(fā)展，我們獲得的遙感影像分辨率不斷提高，所包含的信息也更加豐富，進(jìn)一步通過語義分割對(duì)遙感影像進(jìn)行分類是一項(xiàng)至關(guān)重要的任務(wù)。

2、傳統(tǒng)的遙感圖像語義分割主要是通過從顏色、形狀和紋理中提取低級(jí)特征，然后在高層次空間對(duì)這些特征進(jìn)行聚類和分類做整體圖像分割，例如邏輯回歸、分水嶺算法、邊緣算子算法和聚類法等，這些手工提取的特征難以優(yōu)化，需要特殊設(shè)計(jì)，即便如此大多數(shù)分割結(jié)果仍并不理想。與傳統(tǒng)方法相比，深度學(xué)習(xí)方法不需要手工設(shè)計(jì)特征，而是通過從訓(xùn)練樣本中學(xué)習(xí)提取特征，更加便利和高效。卷積神經(jīng)網(wǎng)絡(luò)(cnn)方法可以從大量的樣本圖像中學(xué)習(xí)到更詳細(xì)、更抽象的特征，避免了傳統(tǒng)算法手工設(shè)計(jì)提取淺層特征的缺點(diǎn)，這對(duì)語義分割非常重要。long等人提出完全卷積網(wǎng)絡(luò)(fcn)，相比于傳統(tǒng)算法，實(shí)現(xiàn)了像素級(jí)分割算法，fcn網(wǎng)絡(luò)能接受任意大小的輸入，并通過有效的推理和學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。但是由于fcn解碼器的設(shè)計(jì)過于簡化，8次上采樣不能準(zhǔn)確地恢復(fù)精確邊界，分割結(jié)果比較粗糙。之后報(bào)道的一系列工作使用編碼器-解碼器結(jié)構(gòu)，能夠捕捉精細(xì)物體的細(xì)節(jié)信息。然而這種跳躍式連接方法不能有效連接特征圖中包含的淺層信息和深層信息，編碼器生成的低級(jí)和細(xì)粒度詳細(xì)特征映射與解碼器生成的高級(jí)和粗粒度語義信息連接在一起，沒有進(jìn)一步細(xì)化，導(dǎo)致對(duì)特征的利用不足和識(shí)別不足。

3、此外，遙感圖像中所包含的地物尺度差異較大，同一類地物可能具有不同的形狀和大小，不同類地物可能具有相似的特征。也即是說，相比其他領(lǐng)域的圖像，遙感圖像中的地理實(shí)體之間具有更高程度的相互依賴關(guān)系。對(duì)這種具有高類內(nèi)方差和低類間方差的遙感圖像進(jìn)行分割，需要更有效地獲取圖像的上下文信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的旨在提供一種transformer和cnn相結(jié)合的雙路徑多尺度特征聚合網(wǎng)絡(luò)，同時(shí)還提供了相應(yīng)的設(shè)備。

2、基于上述目的，本發(fā)明采取了如下技術(shù)方案：

3、第一方面，

4、一種基于雙路徑多尺度特征聚合的遙感圖像分割方法，步驟包括：

5、s1、獲取遙感圖像，劃分訓(xùn)練集、驗(yàn)證集；

6、s2、構(gòu)建雙路徑圖像分割模型：所述雙路徑圖像分割模型包括上下文特征提取網(wǎng)絡(luò)cswin?transformer和短程空間特征提取網(wǎng)絡(luò)，并將不同路徑獲得的特征圖進(jìn)行融合；

7、s3、使用訓(xùn)練集和驗(yàn)證集對(duì)所述雙路徑圖像分割模型進(jìn)行監(jiān)督訓(xùn)練；

8、s4、使用訓(xùn)練完成的雙路徑圖像分割模型對(duì)待分割的遙感圖像進(jìn)行分割；

9、其中，s2中的上下文特征提取網(wǎng)絡(luò)cswin?transformer采用4個(gè)階段來產(chǎn)生不同的層級(jí)表達(dá)；圖像輸入cswin?transformer，依次經(jīng)4個(gè)階段的處理，分別得到特征圖cf1、cf2、cf3、cf4；特征圖cf4經(jīng)空洞空間金字塔池化模塊aspp處理得到特征圖f1；

10、短程空間特征提取網(wǎng)絡(luò)由四個(gè)帶有卷積和改進(jìn)的自注意力模塊c2?block組成，圖像依次經(jīng)過不同的c2?block處理后，分別得到特征圖sf1、sf2、sf3、sf4；

11、特征圖cf1與sf2經(jīng)通道空間聚合模塊處理得到特征圖f2；

12、特征圖cf2與sf3經(jīng)通道空間聚合模塊處理得到特征圖f3；

13、特征圖cf3與sf4經(jīng)通道空間聚合模塊處理得到特征圖f4；

14、最后使用特征融合模塊ffm將特征圖f1、f2、f3、f4得到的不同層次的特征融合輸出，得到特征圖f5，最后特征圖f5通過find_cov模塊輸出分割結(jié)果。

15、所述帶有卷積和改進(jìn)的自注意力模塊c2?block具體結(jié)構(gòu)是：

16、先使用一個(gè)卷積核大小為1×1的cbr模塊(依次執(zhí)行cov、bn和relu操作)來調(diào)整輸入特征圖的通道數(shù)，得到特征圖c2f1；接著使c2f1通過卷積核大小為3×3的cbr模塊獲取靜態(tài)上下文信息，得到特征圖c2f1；然后對(duì)特征圖c2f1和c2f2進(jìn)行拼接操作得到特征圖c2f3；c2f3再使用兩個(gè)卷積核大小為1×1的連續(xù)卷積依次執(zhí)行cov、bn、relu和cov操作，獲取動(dòng)態(tài)注意力矩陣，得到特征圖c2f4；

17、將特征圖c2f1通過一個(gè)卷積核大小為3×3的cbr模塊和softmax操作后，獲取靜態(tài)上下文和局部空間信息，得到特征圖c2f5；最后將c2f5同注意力矩陣c2f4相乘輸出得到輸入特征圖的動(dòng)態(tài)上下文信息c2f6，最后將動(dòng)態(tài)上下文信息c2f6和靜態(tài)上下文信息c2f1融合輸出得到最終的結(jié)果。

18、進(jìn)一步地，特征圖cf1與sf2經(jīng)通道空間聚合模塊csm1處理得到特征圖f2；

19、在csm1模塊中，先使兩個(gè)來自不同路徑的特征圖執(zhí)行拼接操作，再將拼接后的特征圖經(jīng)過一個(gè)二維卷積重新分配通道維度得到特征圖fa；

20、接著使特征圖fa分別經(jīng)過空間注意力模塊和通道注意力模塊，分別得到不同權(quán)重的空間注意力矩陣spa和通道注意力矩陣cha；將空間注意力矩陣spa和通道注意力矩陣cha融合后再與特征圖fa以殘差結(jié)構(gòu)連接得到輸出特征圖。

21、特征圖cf2與sf3、特征圖cf3與sf4分別通過通道空間聚合模塊csm2處理，進(jìn)行特征融合；

22、在csm2模塊中，先使兩個(gè)來自于不同路徑的特征圖分別通過一個(gè)二維卷積統(tǒng)一通道維度，分別得到特征圖fc1和fc2；

23、接著將特征圖fc1和fc2分別通過空間注意力模塊和通道注意力模塊重新分配信息權(quán)重，然后將重新分配信息權(quán)重的特征圖再分別同特征圖fc1和fc2以殘差結(jié)構(gòu)連接，得到特征圖fc3和fc4；

24、然后將特征圖fc3、fc4經(jīng)過拼接操作充分融合不同路徑的特征信息，進(jìn)一步經(jīng)過一個(gè)二維卷積，重新校準(zhǔn)通道維度后輸出結(jié)果。

25、所述通道注意力模塊先將特征圖并行通過最大池化和平均池化得到的特征，再經(jīng)過一個(gè)共享多層感知機(jī)模型(shared?mlp)，從而得到兩個(gè)權(quán)重，將這兩個(gè)權(quán)重相加再經(jīng)過sigmoid激活函數(shù)，最后得到通道權(quán)重。

26、所述空間注意力模塊首先對(duì)輸入特征圖在通道維度上進(jìn)行全局平均池化和全局最大池化，得到兩個(gè)特征圖，接著將兩者的結(jié)果在通道維度上拼接，通過一個(gè)卷積層和一個(gè)sigmoid生成得到空間注意力權(quán)重，最后同空間注意力的輸入特征圖加權(quán)輸出。

27、進(jìn)一步地，s2中，所述上下文特征提取網(wǎng)絡(luò)的每個(gè)階段包括卷積令牌嵌入層和cswin?transformer塊，第一個(gè)階段的卷積令牌嵌入層采用卷積核大小為7×7，步幅為4的重疊卷積來劃分塊，在每個(gè)cswin?transformer塊之間插入一個(gè)卷積核大小為3×3，步幅為2的卷積令牌嵌入層，縮小圖像尺寸增加通道數(shù)。

28、每個(gè)每個(gè)cswin?transformer塊由十字窗口自注意力模塊cswin-attention、歸一化層ln和多層感知器mlp組成，第l個(gè)cswintransformer塊的輸出為其中

29、第二方面，

30、一種電子產(chǎn)品，包括處理器以及與所述處理器通信連接的存儲(chǔ)器；所述存儲(chǔ)器，用于存儲(chǔ)指令；所述處理器，用于調(diào)用所述存儲(chǔ)器上存儲(chǔ)的指令以執(zhí)行第一方面所述基于雙路徑多尺度特征聚合的遙感圖像分割方法。

31、本發(fā)明首先使用具有transformer結(jié)構(gòu)的上下文特征提取網(wǎng)絡(luò)對(duì)長距離空間依賴性建模，同時(shí)提取全局上下文特征，再使用融合cnn和selfattention的短程空間特征提取網(wǎng)絡(luò)提取特征圖的靜態(tài)上下文和動(dòng)態(tài)上下文特征，最后使用由空間注意力模塊和通道注意力模塊組成的通道空間聚合模塊csm1和csm2，對(duì)分別來自兩個(gè)路徑、不同層次的特征信息進(jìn)行自適應(yīng)聚合，選擇性地強(qiáng)調(diào)相互依賴的特征圖，增強(qiáng)了網(wǎng)絡(luò)的特征交互能力。

32、對(duì)比結(jié)果表明，本發(fā)明提出的方法能得到更連貫的分割區(qū)域、更平滑的邊界，以及更準(zhǔn)確的類別，在多個(gè)數(shù)據(jù)集上取得了良好的結(jié)果。