本發(fā)明涉及圖像識(shí)別，具體涉及一種基于提示學(xué)習(xí)的小樣本缺陷分割方法及系統(tǒng)。

背景技術(shù)：

1、在工業(yè)生產(chǎn)中，基于深度學(xué)習(xí)的缺陷分割是當(dāng)前主要采用的缺陷分割方案，其基本思路是通過(guò)從工業(yè)場(chǎng)景中收集大量缺陷圖像進(jìn)行標(biāo)注，對(duì)全監(jiān)督模型進(jìn)行訓(xùn)練以實(shí)現(xiàn)對(duì)缺陷的分割。然而在工業(yè)場(chǎng)景中，大量的缺陷數(shù)據(jù)往往難以收集和標(biāo)注，并且傳統(tǒng)的缺陷分割方法往往只能對(duì)已知的缺陷類別進(jìn)行識(shí)別，難以對(duì)未知的缺陷類別實(shí)現(xiàn)泛化的分割。

2、小樣本分割能夠利用少量被標(biāo)注的已知缺陷圖像，對(duì)同樣類別的待測(cè)缺陷圖像進(jìn)行特征比較，并將特征相似區(qū)域作為最終的分割結(jié)果，從而能夠在受限樣本下實(shí)現(xiàn)泛化的缺陷分割。但由于特征表征形式往往復(fù)雜多樣且容易受到噪聲干擾，限制了小樣本分割的精度。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于提示學(xué)習(xí)的小樣本缺陷分割方法及系統(tǒng)，以實(shí)現(xiàn)高精度的小樣本缺陷分割。

2、為了實(shí)現(xiàn)上述目的，根據(jù)一些實(shí)施例，本發(fā)明的第一方面，提供了一種基于提示學(xué)習(xí)的小樣本缺陷分割方法，包括：

3、獲取待測(cè)缺陷圖像，已知缺陷圖像以及已知缺陷圖像的缺陷掩碼圖；

4、分別提取待測(cè)缺陷圖像和已知缺陷圖像的多維度特征；

5、根據(jù)待測(cè)缺陷圖像和已知缺陷圖像的多維度特征，獲取待測(cè)缺陷圖像和已知缺陷圖像的全局相似特征和局部相似特征，合并全局相似特征和局部相似特征，得到聚合相似度特征；

6、基于聚合相似度特征，分別提取稠密提示向量和稀疏提示向量；

7、將稠密提示向量和稀疏提示向量以及待測(cè)缺陷圖像的多維度特征輸入掩膜解碼器，得到待測(cè)缺陷圖像的缺陷分割結(jié)果。

8、本發(fā)明的第二方面，提供了一種基于提示學(xué)習(xí)的小樣本缺陷分割系統(tǒng)，包括：

9、圖像獲取模塊，被配置為獲取待測(cè)缺陷圖像，已知缺陷圖像以及已知缺陷圖像的缺陷掩碼圖；

10、多維度特征提取模塊，被配置為分別提取待測(cè)缺陷圖像和已知缺陷圖像的多維度特征；

11、相似度特征生成模塊，被配置為根據(jù)待測(cè)缺陷圖像和已知缺陷圖像的多維度特征，獲取待測(cè)缺陷圖像和已知缺陷圖像的全局相似特征和局部相似特征，合并全局相似特征和局部相似特征，得到聚合相似度特征；

12、提示向量生成模塊，被配置為基于聚合相似度特征，分別提取稠密提示向量和稀疏提示向量；

13、缺陷分割模塊，被配置為將稠密提示向量和稀疏提示向量以及待測(cè)缺陷圖像的多維度特征輸入掩膜解碼器，得到待測(cè)缺陷圖像的缺陷分割結(jié)果。

14、本發(fā)明的第三方面，提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以完成上述一種基于提示學(xué)習(xí)的小樣本缺陷分割方法的步驟。

15、本發(fā)明的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，完成上述一種基于提示學(xué)習(xí)的小樣本缺陷分割方法的步驟。

16、本發(fā)明的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述一種基于提示學(xué)習(xí)的小樣本缺陷分割方法的步驟。

17、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

18、本發(fā)明提供了一種基于提示學(xué)習(xí)的小樣本缺陷分割方法及系統(tǒng)，借助sam模型的強(qiáng)大泛化分割能力，實(shí)現(xiàn)了在無(wú)需人工提示前提下的自動(dòng)化小樣本工業(yè)缺陷分割，通過(guò)極少量已知缺陷樣例即可實(shí)現(xiàn)對(duì)未訓(xùn)練缺陷的精確分割。通過(guò)提取輸入圖像的多維度特征，基于這些特征，對(duì)已知缺陷和待測(cè)缺陷的語(yǔ)義特征進(jìn)行對(duì)比以獲取缺陷的相似性，并利用缺陷相似性生成稠密嵌入提示向量和稀疏嵌入提示向量，作為sam的掩膜解碼器輸入，指導(dǎo)sam實(shí)現(xiàn)自主的小樣本分割。

19、本發(fā)明附加方面的優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

技術(shù)特征：

1.基于提示學(xué)習(xí)的小樣本缺陷分割方法，其特征在于，包括：

2.如權(quán)利要求1所述的基于提示學(xué)習(xí)的小樣本缺陷分割方法，其特征在于，已知缺陷圖像的多維度特征的獲取過(guò)程包括：

3.如權(quán)利要求1所述的基于提示學(xué)習(xí)的小樣本缺陷分割方法，其特征在于，獲取待測(cè)缺陷圖像和已知缺陷圖像的全局相似特征，包括：

4.如權(quán)利要求1所述的基于提示學(xué)習(xí)的小樣本缺陷分割方法，其特征在于，待測(cè)缺陷圖像和已知缺陷圖像的局部相似特征采用余弦相似注意力得到，計(jì)算公式為：

5.如權(quán)利要求1所述的基于提示學(xué)習(xí)的小樣本缺陷分割方法，其特征在于，稠密提示向量的獲取過(guò)程包括：

6.如權(quán)利要求1所述的基于提示學(xué)習(xí)的小樣本缺陷分割方法，其特征在于，稀疏提示向量的獲取過(guò)程包括：

7.基于提示學(xué)習(xí)的小樣本缺陷分割系統(tǒng)，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以完成權(quán)利要求1-6任一項(xiàng)所述方法的步驟。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，完成權(quán)利要求1-6任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供了基于提示學(xué)習(xí)的小樣本缺陷分割方法及系統(tǒng)，涉及圖像識(shí)別技術(shù)領(lǐng)域，包括，獲取待測(cè)缺陷圖像，已知缺陷圖像以及已知缺陷圖像的缺陷掩碼圖；分別提取待測(cè)缺陷圖像和已知缺陷圖像的多維度特征；根據(jù)待測(cè)缺陷圖像和已知缺陷圖像的多維度特征，獲取待測(cè)缺陷圖像和已知缺陷圖像的全局相似特征和局部相似特征，合并全局相似特征和局部相似特征，得到聚合相似度特征；基于聚合相似度特征，分別提取稠密提示向量和稀疏提示向量；將稠密提示向量和稀疏提示向量以及待測(cè)缺陷圖像的多維度特征輸入掩膜解碼器，得到待測(cè)缺陷圖像的缺陷分割結(jié)果。本發(fā)明能夠提高小樣本缺陷分割的精度。

技術(shù)研發(fā)人員：房體育,宋然,張偉,張林,魏致遠(yuǎn)
受保護(hù)的技術(shù)使用者：山東大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26