本發(fā)明屬于合成孔徑雷達(sar)影像解譯，具體涉及一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割方法、系統(tǒng)、設備及介質(zhì)。

背景技術：

1、合成孔徑雷達(sar)影像地物分類技術是遙感領域中的一項關鍵技術，它在環(huán)境監(jiān)測、資源調(diào)查、城市規(guī)劃等多個領域發(fā)揮著重要作用。sar影像具有獨特的優(yōu)勢，如全天時、全天候的觀測能力，以及不受光照和天氣條件限制的高分辨率成像特性。根據(jù)sar影像的地物分類的特征獲取方式的不同可以分為傳統(tǒng)方法和深度學習方法。

2、傳統(tǒng)方法主要包括基于紋理、統(tǒng)計特征和分類器的手工設計特征提取和分類方法。傳統(tǒng)方法往往基于多年研究積累的專業(yè)知識，具有較強的理論基礎，這些方法在特定場景中往往表現(xiàn)出色、簡單且魯棒，處理高維特征空間能力強。但是需要較高的專業(yè)知識和經(jīng)驗。而深度學習技術，特別是卷積神經(jīng)網(wǎng)絡(cnn)在sar地物分類中取得了顯著進展，能夠自動學習特征表示并實現(xiàn)更準確的分類結(jié)果，減少對專業(yè)知識的依賴。然而，這種依賴僅限于在特征選取時不需要專業(yè)知識和經(jīng)驗，面對有監(jiān)督的深度學習算法時，仍然需要大量標注數(shù)據(jù)進行訓練，導致數(shù)據(jù)獲取成本高。此外，在多樣化環(huán)境下，某些深度學習方法的泛化能力不能得到保證。

3、此外，在sar影像跨分辨率語義分割中，通常使用單分辨率影像數(shù)據(jù)作為訓練模型的輸入。然而，單分辨率處理方法主要依賴于統(tǒng)一的影像分辨率進行特征提取和分析，這種方法可能無法充分利用sar影像在不同分辨率下展現(xiàn)的地物特征。由于缺乏對不同尺度地物特征的捕捉，單分辨率方法可能導致模型泛化能力不佳，尤其在面對復雜場景或地物類型多樣性時，限制了分類器的性能。

4、公開號為cn118097148a的專利申請文件，公開了一種基于顏色匹配cam模型的弱監(jiān)督sar影像水體語義分割方法、系統(tǒng)、設備及介質(zhì)，這種方法的核心在于通過自適應分辨率特征學習模型的自適應弱監(jiān)督學習，使語義分割模型能夠在僅有部分標簽的情況下學習到跨分辨率的sar影像地物特征。但是該方法仍然需要標注某一種分辨率中的所有影像，這仍然需要大量時間和人力。

技術實現(xiàn)思路

1、為了克服上述現(xiàn)有技術的不足，本發(fā)明的目的在于提供一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割方法、系統(tǒng)、設備及介質(zhì)，通過基于多分辨率分析和對比學習的創(chuàng)新方法，能夠同時捕捉地物的局部細節(jié)和整體結(jié)構(gòu)，并在少量標記數(shù)據(jù)下進行有效的特征學習，具有增強模型對不同尺度變化的敏感性，提高魯棒性、準確性，以及降低對大量人工標注數(shù)據(jù)依賴的優(yōu)點。

2、為了實現(xiàn)上述目的，本發(fā)明采取的技術方案是：

3、一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割方法，包括以下步驟：

4、步驟1，采集兩種分辨率不同的sar影像，所述兩種分辨率包括a分辨率和b分辨率；

5、步驟2，將步驟1中的每種分辨率的sar影像按照相對大小裁剪，以使a分辨率裁剪后得到的每一個影像和b分辨率裁剪后得到的影像對應同一地區(qū)的同一位置，并將其作為一組對比對，作為正樣本使用，a分辨率裁剪后得到的每一個影像和b分辨率裁剪后得到的影像對應同一地區(qū)的不同位置，構(gòu)成對比對，作為負樣本使用；然后僅對正樣本對比對的一部分對比對進行標注，得到部分有標記的數(shù)據(jù)，其余為未標記數(shù)據(jù)；

6、步驟3，選取特征提取器，并設計損失函數(shù)，使用特征提取器提取的特征對步驟2得到的所有的未標記數(shù)據(jù)進行聚類，包括對未標記數(shù)據(jù)中的同類地物的不同分辨率的影像進行聚類以形成類簇，同時通過區(qū)分各類的類簇，學習各類地物特征的本質(zhì)表示，通過最小化損失函數(shù)動態(tài)更新特征提取器；

7、步驟4，將步驟3中動態(tài)更新后的特征提取器凍結(jié)，對步驟2得到的部分有標記的數(shù)據(jù)，進行特征提取，得到高維特征；并且設置下游任務，將高維特征輸入至分類器中進行訓練，得到分割模型；

8、步驟5，利用步驟4得到的分割模型進行語義分割，得到語義分割結(jié)果；

9、步驟6，合并步驟5的語義分割結(jié)果，并得到最終的分割影像。

10、所述步驟2的具體方法為：

11、步驟2.1，確定裁剪塊尺寸；選擇并分析不同尺寸裁剪后數(shù)據(jù)集的純度，即每個影像塊中主要地物類別所占的比例，選擇純度最高的裁剪尺寸作為最終確定的裁剪尺寸；

12、步驟2.2，數(shù)據(jù)裁剪；對于選定的sar影像，根據(jù)步驟2.1中確定的裁剪塊尺寸進行裁剪，形成影像塊；采用有重疊裁剪策略，每次移動一定的步長，以確保影像塊之間存在重疊區(qū)域；

13、步驟2.3，構(gòu)建跨分辨率sar影像對比對；分別把對應同一地物的兩種分辨率影像組成為一組對比對；

14、步驟2.4，對步驟2.3構(gòu)建的跨分辨率sar影像對比對進行部分標注，得到部分有標記的數(shù)據(jù)和未標記數(shù)據(jù)。

15、所述步驟3的具體方法為：

16、步驟3.1，選取特征提取器；

17、步驟3.2，特征提取與編碼：使用數(shù)據(jù)增強技術對步驟2得到的所有的未標記數(shù)據(jù)進行處理，得到多個增強樣本，將所述增強樣本輸入至步驟3.1的特征提取器，提取增強樣本的低級空間特征；通過投影頭模塊進一步提取高級語義特征，投影頭模塊由不同尺度的卷積核和池化層組成；

18、步驟3.3，構(gòu)建與匹配原型集：構(gòu)建原型集模塊，所述原型集模塊包含k個原型向量，分別記作{c1,c2,c3,c4...ck}，作為聚類任務的類簇中心，將步驟3.2提取的高級語義特征與原型集進行匹配，為每個特征向量確定一個聚類編碼z，這些編碼將作為特征的代表性表示；

19、步驟3.4，構(gòu)建損失函數(shù)與交換預測：定義交換預測問題的損失函數(shù)，該函數(shù)包含兩項：從特征zt預測編碼qs和從特征zs預測編碼qt,損失函數(shù)為：

20、

21、上式包含從特征zt預測編碼qs及從特征zs預測編碼qt的兩項，每項表示編碼和概率的交叉熵損失，其中概率由特征zi與原型集中所有原型的點積得到；其中用于度量特征z與編碼q間的距離，具體形式如下：

22、

23、其中，

24、

25、其中，τ表示溫度參數(shù)，ck表示原始類簇中心，ck'表示更新后的類簇中心；

26、上述表示訓練樣例集中一對對比對的情況；令τ表示多視角樣例變換集合，xnt表示影像樣本xn的第t個視角樣例，對應得到的影像特征向量及編碼分別是znt和qnt，xns表示影像樣本xn的第s個視角樣例，對應得到的影像特征向量及編碼分別是zns和qns，表示將影像特征znt映射到上得到ck的編碼，t為轉(zhuǎn)置符號；將上式應用于n幅影像及成對的數(shù)據(jù)擴充，得到如下交換預測問題的整體損失函數(shù)：

27、

28、步驟3.5，網(wǎng)絡訓練與優(yōu)化；通過最小化步驟3.4得到的整體損失函數(shù)訓練特征提取器和聚類任務網(wǎng)絡，整體損失函數(shù)包括重建損失、分類損失和領域自適應損失；使用反向傳播算法更新網(wǎng)絡參數(shù)，包括原型集模塊和特征提取器的參數(shù)，以優(yōu)化特征表示和聚類中心的一致性，在訓練過程中動態(tài)更新原型集模塊，利用交叉熵損失來計算特征向量與聚類編碼之間的一致性，通過特征向量與原型集的點積來獲得概率分布。

29、所述步驟4中凍結(jié)聚類階段的特征提取器，用于分割任務的特征提取，并訓練下游的分類器的具體步驟如下：

30、步驟4.1，步驟2得到的部分有標記的數(shù)據(jù)經(jīng)過步驟3中的特征提取器后，將提取到的特征經(jīng)過自適應平均池化層，該層將輸入特征圖的尺寸調(diào)整到h×w，自適應平均池化層的數(shù)學表達式為：

31、

32、其中，pav(fin)是池化后的特征向量；

33、步驟4.2，經(jīng)過步驟4.1池化后的特征向量隨后進入全連接層，每個全連接層fc表示為一個線性變換，后跟一個非線性激活函數(shù)，第l層的全連接操作表示為：

34、zl＝wlxl+bl

35、xl＝zl-1

36、其中，wl是第l層的權(quán)重矩陣，bl是偏置向量，xl是第l-1層的輸出，對于第一層，xl就是池化后的pav(fin)，zl是第l層的線性輸出；

37、步驟4.3，利用relu激活函數(shù)將步驟4.2全連接層的線性輸出轉(zhuǎn)換為非線性輸出，定義為:

38、al＝relu(zl)＝max(0,zl)

39、這表示如果zl中的元素小于0，那么在al中這個元素將被置為0；

40、步驟4.4，最后一個全連接層fc輸出影像樣本xi的特征表示zk，zk的數(shù)學表達式為：

41、zk＝wzzk-1+bz

42、其中，k表示設計了k個全連接層，zk代表含義為映射到每個類別的概率；

43、步驟4.4，對步驟4.3得到的最后一個全連接層的輸出zk進行求解，得到該sar影像塊經(jīng)過特征提取器和分類器后預測的類別序號pred，計算公式為：

44、pred＝argmax(zk)；

45、步驟4.5，通過將步驟4.4得到的類別序號pred和步驟2得到的有標記數(shù)據(jù)進行對比，得到損失，通過該損失反向傳播更新分割模型的參數(shù)，得到最終的分割模型。

46、所述步驟5的具體方法為：

47、對待分割sar影像按照無重疊的方式進行裁剪，對裁剪的影像的行列進行標號，裁剪方式和步驟2相同，對于單張影像僅需采用對應分辨率的裁剪方式，裁剪的影像塊內(nèi)只有一種地物，然后使用步驟3訓練好的特征提取器對輸入的待分割sar影像塊進行特征提取，得到高維特征表示，之后在下游任務上，利用步驟4得到的分割模型對高維特征進行分類，并將結(jié)果對應的地物所在的影像位置設置為表示該地物的顏色，得到語義分割結(jié)果。

48、所述步驟6的具體方法為：

49、根據(jù)步驟5得到的語義分割結(jié)果，將已經(jīng)分割好的影像按照最初裁剪的行列標號信息重新拼接起來，得到語義分割最終結(jié)果圖。

50、本發(fā)明還提供了一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割系統(tǒng)，包括：

51、sar影像采集模塊，用于采集兩種分辨率不同的sar影像，所述兩種分辨率包括a分辨率和b分辨率；

52、sar影像處理模塊，用于將每種分辨率的sar影像按照相對大小裁剪，以使a分辨率裁剪后得到的每一個影像和b分辨率裁剪后得到的影像對應同一地區(qū)的同一位置，并將其作為一組對比對，作為正樣本使用，a分辨率裁剪后得到的每一個影像和b分辨率裁剪后得到的影像對應同一地區(qū)的不同位置，構(gòu)成對比對，作為負樣本使用；然后僅對正樣本對比對的一部分對比對進行標注，得到部分有標記的數(shù)據(jù)，其余為未標記數(shù)據(jù)；

53、特征提取器更新模塊，用于選取特征提取器，并設計損失函數(shù)，使用特征提取器提取的特征對所有的未標記數(shù)據(jù)進行聚類，包括對未標記數(shù)據(jù)中的同類地物的不同分辨率的影像進行聚類以形成類簇，同時通過區(qū)分各類的類簇，學習各類地物特征的本質(zhì)表示，通過最小化損失函數(shù)動態(tài)更新特征提取器；

54、分割模型獲取模塊，用于將動態(tài)更新后的特征提取器凍結(jié)，對部分有標記的數(shù)據(jù)，進行特征提取，得到高維特征；并且設置下游任務，將高維特征輸入至分類器中進行訓練，得到分割模型；

55、語義分割結(jié)果獲取模塊，用于利用分割模型進行語義分割，得到語義分割結(jié)果；

56、最終的分割影像輸出模塊，用于合并語義分割結(jié)果，并得到最終的分割影像。

57、本發(fā)明還提供了一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割設備，包括：

58、存儲器：存儲上述一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割方法的計算機程序，為計算機可讀取的設備；

59、處理器：用于執(zhí)行所述計算機程序時實現(xiàn)所述的一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割#方法。

60、本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序，計算機程序被處理器執(zhí)行時能夠?qū)崿F(xiàn)所述的一種基于對比自監(jiān)督學習的sar影像跨分辨率語義分割方法。

61、與現(xiàn)有技術相比，本發(fā)明的有益效果為：

62、第一，本發(fā)明設計基于跨分辨率的學習框架?？绶直媛蕦W習允許模型同時處理不同分辨率的影像，這有助于模型學習到更加魯棒的特征表示，能夠適應不同成像條件下的sar影像。結(jié)合不同分辨率下的影像能夠提供更豐富的上下文信息，融合不同來源的特征可以提供更全面的影像表示，有助于提高模型對sar地物分類的準確性。

63、第二，本發(fā)明設計了自監(jiān)督學習框架，即利用對比學習通過比較正負樣本對來學習區(qū)分不同類別的特征表示。這種方法能夠使得模型更加關注于區(qū)分不同類別的地物，從而提高分類的準確性。對比學習框架下的代理任務鼓勵網(wǎng)絡學習區(qū)分不同影像的特征表示，同時確保同一影像的不同視圖在特征空間中彼此接近，這有助于模型捕捉到更加精細的特征。此外，自監(jiān)督學習減少了對大量標注數(shù)據(jù)的依賴，通過設計代理任務來學習有用的特征表示，這對于sar影像這種獲取標注數(shù)據(jù)成本高昂的應用場景非常有價值。通過自監(jiān)督學習預訓練的特征可以在下游任務中進行遷移學習，即使在只有少量標簽數(shù)據(jù)的情況下也能實現(xiàn)高性能的分類或分割。

64、第三，本發(fā)明設計了多分辨率樣本并進行聚類任務，即過多分辨率分析，模型能夠從不同尺度上提取地物特征，這有助于捕捉地物的局部細節(jié)和整體結(jié)構(gòu)。此外，聚類學習能夠幫助模型學習到數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，通過將相似的樣本聚集在一起，可以增強模型對地物特征的一致性表示。通過在線聚類和交換預測機制，模型能夠捕捉到sar影像中的本質(zhì)特征，而無需依賴于顯式的標簽信息，這在標注數(shù)據(jù)稀缺的情況下尤其有效。

65、綜上，本發(fā)明通過基于多分辨率分析和對比學習的創(chuàng)新方法，能夠同時捕捉地物的局部細節(jié)和整體結(jié)構(gòu)，并在少量標記數(shù)據(jù)下進行有效的特征學習，具有增強模型對不同尺度變化的敏感性，提高魯棒性、準確性，以及降低對大量人工標注數(shù)據(jù)依賴的優(yōu)點。