本發(fā)明涉及圖像處理，尤其涉及一種遙感影像分割方法及裝置。

背景技術(shù)：

1、當(dāng)前，水利場(chǎng)景遙感影像分割任務(wù)面臨諸多挑戰(zhàn)，如場(chǎng)景目標(biāo)復(fù)雜多樣、標(biāo)注數(shù)據(jù)有限等，現(xiàn)有的方法難以同時(shí)兼顧分割的精度和泛化性。以segment?anything?model（sam）為代表的視覺(jué)基礎(chǔ)大模型在圖像分割領(lǐng)域取得了顯著進(jìn)展，但其作為一個(gè)需要先驗(yàn)提示的無(wú)類別分割方法，主要面向交互式分割任務(wù)，對(duì)特定領(lǐng)域的自動(dòng)分割適應(yīng)性較弱。因此，需要一種在有限標(biāo)注數(shù)據(jù)下，能夠高效適應(yīng)水利場(chǎng)景的自動(dòng)化分割方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種遙感影像分割方法及裝置，用以解決現(xiàn)有技術(shù)中視覺(jué)大模型在水利場(chǎng)景遙感影像分割任務(wù)上數(shù)據(jù)特征適應(yīng)性弱、自動(dòng)化程度低等問(wèn)題。

2、第一方面，本發(fā)明提供一種遙感影像分割方法，包括：利用圖像編碼器提取輸入圖像的特征圖；獲取所述特征圖與預(yù)先創(chuàng)建的參考樣本庫(kù)中每個(gè)參考樣本特征的相似特征圖；其中，參考樣本特征為預(yù)先設(shè)置的前景像素的特征向量，相似度特征圖用于表征輸入圖像在每個(gè)像素位置上的特征向量與參考樣本特征之間的相似度；從所有的相似特征圖中選擇出具有最大的相似度峰值的目標(biāo)相似特征圖，將所述目標(biāo)相似特征圖輸入至提示嵌入生成網(wǎng)絡(luò)生成提示嵌入；所述提示嵌入生成網(wǎng)絡(luò)為預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)；將所述提示嵌入和所述輸入圖像輸入至圖像解碼器，輸出分割結(jié)果。

3、根據(jù)本發(fā)明提供的遙感影像分割方法，構(gòu)建參考樣本庫(kù)的步驟包括：根據(jù)圖像編碼器提取的每個(gè)樣本圖像的特征圖，結(jié)合對(duì)應(yīng)的真實(shí)掩碼，獲取每個(gè)樣本圖像的目標(biāo)特征圖；對(duì)所有的目標(biāo)特征圖中每個(gè)前景像素的特征向量，進(jìn)行聚類分析；將代表各自聚類類別的特征向量作為參考樣本特征，以構(gòu)建所述參考樣本庫(kù)。

4、根據(jù)本發(fā)明提供的遙感影像分割方法，所述提示嵌入生成網(wǎng)絡(luò)包括：rpn層、roipooling層以及prompt?head層；所述rpn層，用于從所述目標(biāo)相似度特征圖中生成候選框，以標(biāo)注目標(biāo)相似特征圖中感興趣的目標(biāo)區(qū)域；所述roi?pooling層，用于從每個(gè)目標(biāo)區(qū)域提取固定大小的特征映射；所述prompt?head層，用于根據(jù)所述特征映射生成用于輸入圖像分割的提示嵌入。

5、根據(jù)本發(fā)明提供的遙感影像分割方法，對(duì)所有的目標(biāo)特征圖中每個(gè)前景像素的特征向量，進(jìn)行聚類分析，包括：計(jì)算所有特征向量中每對(duì)特征向量的余弦相似度；確定與當(dāng)前特征向量的余弦相似度大于等于相似度閾值的其他特征向量；在其他特征向量的個(gè)數(shù)大于等于預(yù)設(shè)數(shù)量的情況下，將當(dāng)前特征向量和其他特征向量，合并到同一簇中，以進(jìn)行特征向量的聚類。

6、根據(jù)本發(fā)明提供的遙感影像分割方法，代表各自聚類類別的特征向量為距離各自聚類類別的聚類中心最近的特征向量。

7、根據(jù)本發(fā)明提供的遙感影像分割方法，所述圖像編碼器是基于低秩適應(yīng)技術(shù)進(jìn)行微調(diào)后的sam編碼器；所述圖像解碼器為sam解碼器。

8、根據(jù)本發(fā)明提供的遙感影像分割方法，每個(gè)像素位置上的特征向量與參考樣本特征之間的相似度為余弦相似度。

9、第二方面，本發(fā)明還提供一種遙感影像分割裝置，包括：

10、第一處理模塊，用于利用圖像編碼器提取輸入圖像的特征圖；

11、第二處理模塊，用于獲取所述特征圖與預(yù)先創(chuàng)建的參考樣本庫(kù)中每個(gè)參考樣本特征的相似特征圖；其中，參考樣本特征為預(yù)先設(shè)置的前景像素的特征向量，相似度特征圖用于表征輸入圖像在每個(gè)像素位置上的特征向量與參考樣本特征之間的相似度；

12、第三處理模塊，用于從所有的相似特征圖中選擇出具有最大的相似度峰值的目標(biāo)相似特征圖，將所述目標(biāo)相似特征圖輸入至提示嵌入生成網(wǎng)絡(luò)生成提示嵌入；所述提示嵌入生成網(wǎng)絡(luò)為預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)；

13、第四處理模塊，用于將所述提示嵌入和所述輸入圖像輸入至圖像解碼器，輸出分割結(jié)果。

14、第三方面，本發(fā)明提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述遙感影像分割方法的步驟。

15、第四方面，本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述遙感影像分割方法的步驟。

16、本發(fā)明提供的遙感影像分割方法及裝置，基于預(yù)先建立的參考樣本庫(kù)中的參考樣本特征獲取多種相似特征圖，并確定后續(xù)利用的具有最高相似度峰值的相似特征圖（即目標(biāo)相似特征圖），結(jié)合有效的提示嵌入生成和精細(xì)的解碼流程，旨在增強(qiáng)模型對(duì)于特定領(lǐng)域數(shù)據(jù)的適應(yīng)能力，并且還提供了較高程度的自動(dòng)化處理流程，可以自動(dòng)生成提示嵌入，無(wú)需先驗(yàn)提示。

17、本發(fā)明設(shè)計(jì)了一種基于代表性樣本構(gòu)建參考樣本庫(kù)的方法，該樣本庫(kù)的構(gòu)建不僅增強(qiáng)了分割模型在未知場(chǎng)景下的適應(yīng)能力，還為后續(xù)的提示嵌入生成網(wǎng)絡(luò)的訓(xùn)練和推理過(guò)程提供了支持，相較于傳統(tǒng)的樣本選擇方法，提高了樣本的多樣性和特征分布的覆蓋率。

技術(shù)特征：

1.一種遙感影像分割方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，構(gòu)建參考樣本庫(kù)的步驟包括：

3.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，所述提示嵌入生成網(wǎng)絡(luò)包括：rpn層、roi?pooling層以及prompt?head層；

4.根據(jù)權(quán)利要求2所述的遙感影像分割方法，其特征在于，對(duì)所有的目標(biāo)特征圖中每個(gè)前景像素的特征向量，進(jìn)行聚類分析，包括：

5.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，代表各自聚類類別的特征向量為距離各自聚類類別的聚類中心最近的特征向量。

6.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，所述圖像編碼器是基于低秩適應(yīng)技術(shù)進(jìn)行微調(diào)后的sam編碼器；所述圖像解碼器為sam解碼器。

7.根據(jù)權(quán)利要求1所述的遙感影像分割方法，其特征在于，每個(gè)像素位置上的特征向量與參考樣本特征之間的相似度為余弦相似度。

8.一種遙感影像分割裝置，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述遙感影像分割方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述遙感影像分割方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供一種遙感影像分割方法及裝置，屬于圖像處理技術(shù)領(lǐng)域，所述方法包括：利用圖像編碼器提取輸入圖像的特征圖；獲取所述特征圖與預(yù)先創(chuàng)建的參考樣本庫(kù)中每個(gè)參考樣本特征的相似特征圖；從所有的相似特征圖中選擇出具有最大的相似度峰值的目標(biāo)相似特征圖，將所述目標(biāo)相似特征圖輸入至提示嵌入生成網(wǎng)絡(luò)生成提示嵌入；所述提示嵌入生成網(wǎng)絡(luò)為預(yù)先構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)；將所述提示嵌入和所述輸入圖像輸入至圖像解碼器，輸出分割結(jié)果。本發(fā)明提供的遙感影像分割方法及裝置，增強(qiáng)了對(duì)于特定領(lǐng)域數(shù)據(jù)的適應(yīng)能力，并且還提供了較高程度的自動(dòng)化處理流程，可以自動(dòng)生成提示嵌入，無(wú)需先驗(yàn)提示。

技術(shù)研發(fā)人員：張志鑫,楊鵬,韋人瑋,張軍,劉哲,方晨蓉,明晨曦
受保護(hù)的技術(shù)使用者：長(zhǎng)江水利委員會(huì)網(wǎng)絡(luò)與信息中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19