亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法

文檔序號(hào):40384800發(fā)布日期:2024-12-20 12:07閱讀:7來源:國知局
基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法

本發(fā)明屬于機(jī)器視覺,涉及一種基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法。


背景技術(shù):

1、在智能制造和工業(yè)自動(dòng)化領(lǐng)域中,缺陷檢測是保證產(chǎn)品質(zhì)量的關(guān)鍵環(huán)節(jié),基于深度學(xué)習(xí)的機(jī)器視覺技術(shù)是當(dāng)前缺陷檢測領(lǐng)域主流的關(guān)鍵技術(shù)。但在實(shí)際工業(yè)場景下,卻面臨著諸多挑戰(zhàn):1.缺陷樣本稀缺性:由于嚴(yán)格的質(zhì)量控制,缺陷產(chǎn)品較少,導(dǎo)致可用于訓(xùn)練的缺陷樣本數(shù)量遠(yuǎn)低于正常樣本,這種不平衡使得訓(xùn)練能準(zhǔn)確識(shí)別少數(shù)缺陷的模型變的困難;2.缺陷的多樣性和不可預(yù)見性:工業(yè)產(chǎn)品可能出現(xiàn)從微小劃痕到重大結(jié)構(gòu)損壞等各種不同的缺陷類型,除此之外新產(chǎn)品或改進(jìn)產(chǎn)品同樣可能帶來全新的缺陷類型,使得收集一個(gè)全面覆蓋所有潛在缺陷類型的數(shù)據(jù)集變得幾乎不可能;3.提高模型的泛化能力,現(xiàn)有全監(jiān)督模型需要針對(duì)每一種缺陷類型有足夠的標(biāo)注樣本進(jìn)行訓(xùn)練,對(duì)于訓(xùn)練過程中沒有觀察到的新的樣本類型,模型直接在其上進(jìn)行測試時(shí)性能顯著下降,無法適應(yīng)快速生產(chǎn)和頻繁產(chǎn)品更新的現(xiàn)代工業(yè)需求。


技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,解決了現(xiàn)有技術(shù)中存在的樣本數(shù)量少、特征難對(duì)齊導(dǎo)致的模型檢測精度低、泛化能力弱的問題。

2、本發(fā)明所采用的技術(shù)方案是,基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,包括以下步驟:

3、s1:構(gòu)建工業(yè)品的正樣本圖像數(shù)據(jù)集和缺陷樣本圖像數(shù)據(jù)集;

4、s2:構(gòu)建去背景模塊,輸入同一工業(yè)品兩幅不同的正樣本圖像,一幅作為參考圖像,一幅作為待配準(zhǔn)圖像,利用otsu二值化方法和canny邊緣檢測算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景,得到第一參考圖像和第一待配準(zhǔn)圖像;

5、s3:構(gòu)建圖像旋轉(zhuǎn)粗配準(zhǔn)模塊,對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊,得到第二待配準(zhǔn)圖像;

6、s4:構(gòu)建雙分支特征級(jí)精配準(zhǔn)模塊,并用正樣本圖像數(shù)據(jù)集訓(xùn)練后,輸入第一參考圖像和第二待配準(zhǔn)圖像進(jìn)行精準(zhǔn)對(duì)齊,得到第一參考圖像的特征圖a和第二待配準(zhǔn)圖像的特征圖b,對(duì)特征圖a和特征圖b上采樣進(jìn)行通道維度拼接后得到特征圖c,求解特征圖c的均值及方差,作為工業(yè)品的模板特征;

7、s5:求解同一工業(yè)品缺陷樣本圖像的特征圖d,計(jì)算特征圖d與模版特征的馬氏距離,作為缺陷樣本圖像的異常分?jǐn)?shù)矩陣;

8、s6:建立自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),求解最佳的分割全局閾值,用分割全局閾值對(duì)異常分?jǐn)?shù)矩陣進(jìn)行分割,得到缺陷分割圖像。

9、本發(fā)明的特點(diǎn)還在于:

10、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s2中利用otsu二值化方法和canny邊緣檢測算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景,具體為:

11、s2.1:利用otsu二值化方法對(duì)參考圖像和待配準(zhǔn)圖像中的目標(biāo)物體進(jìn)行提??;

12、s2.2:利用canny邊緣檢測算子提取目標(biāo)物體的邊緣信息,利用邊緣信息對(duì)目標(biāo)物體進(jìn)行約束處理:從參考圖像和待配準(zhǔn)圖像的四周邊緣像素開始,向內(nèi)遍歷每個(gè)像素,在遇到邊緣像素之前,將遍歷過的像素都設(shè)為背景。

13、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s3中對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊,具體為:求取第一參考圖像的最大連通區(qū)域的外接矩形的中心軸角度α,求取第一待配準(zhǔn)圖像的最大連通區(qū)域的外接矩形的中心軸角度β,通過比較中心軸角度α與中心軸角度β之間的角度差異,構(gòu)建旋轉(zhuǎn)矩陣對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊。

14、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s4中雙分支特征級(jí)精配準(zhǔn)模塊,具體為,在resnet-18網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建雙子網(wǎng)結(jié)構(gòu),兩個(gè)子網(wǎng)參數(shù)共享,每一子網(wǎng)絡(luò)在第一層卷積塊后加入雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,在第二層、第三層卷積塊后加入空間變換網(wǎng)絡(luò)stn子模塊,損失函數(shù)采用負(fù)余弦損失函數(shù);

15、s4中求解特征圖c的均值及方差,是利用多變量高斯分布估計(jì)器進(jìn)行求解。

16、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,由兩個(gè)分支組成:第一分支為主分支,輸入為融合了輪廓信息的原始圖像,由兩個(gè)核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;第二分支為輔助分支,輸入為利用canny邊緣檢測算子從原始圖像中提取到的僅包含輪廓信息的圖像,核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;主分支和輔助分支分別處理這兩種輸入,通過卷積神經(jīng)網(wǎng)絡(luò)提取空間特征,然后通過全連接層融合這些空間特征以預(yù)測變換參數(shù)構(gòu)建變換矩陣,對(duì)圖像進(jìn)行對(duì)齊變換。

17、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s5中求解同一工業(yè)品缺陷樣本圖像的特征圖d,具體為:將參考圖像和同一工業(yè)品的一幅缺陷樣本圖像,分別經(jīng)過去背景模塊、圖像旋轉(zhuǎn)粗配準(zhǔn)模塊和雙分支特征級(jí)精配準(zhǔn)模塊處理,再經(jīng)過上采樣進(jìn)行通道維度拼接后,得到缺陷樣本圖像的特征圖d。

18、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s6中求解最佳的分割全局閾值,具體為將異常分?jǐn)?shù)矩陣和對(duì)應(yīng)的缺陷真實(shí)掩膜圖輸入自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),利用神經(jīng)網(wǎng)絡(luò)自動(dòng)確定缺陷閾值,用異常分?jǐn)?shù)矩陣減去缺陷閾值,并使用激活函數(shù)relu及歸一化進(jìn)行軟二值化處理,最小化預(yù)測的軟二值化缺陷分割圖和缺陷真實(shí)掩膜圖之間的mse損失,得到異常分?jǐn)?shù)矩陣最佳的分割全局閾值。

19、本發(fā)明的有益效果是:

20、1.通過基于邊緣信息約束的去背景和圖像層級(jí)粗對(duì)齊,避免了樣本背景區(qū)域變化對(duì)特征提取的干擾并降低了特征匹配的難度;

21、2.構(gòu)建的雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,增強(qiáng)了模型的空間特性感知能力,有效減少了圖像之間的非完全對(duì)齊引起的檢測誤差;

22、3.建立的自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),降低了對(duì)標(biāo)注缺陷樣本的依賴,提高了對(duì)新樣本的適應(yīng)性。



技術(shù)特征:

1.基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,包括以下步驟:

2.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s2中利用otsu二值化方法和canny邊緣檢測算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景,具體為:

3.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s3中對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊,具體為:求取第一參考圖像的最大連通區(qū)域的外接矩形的中心軸角度α,求取第一待配準(zhǔn)圖像的最大連通區(qū)域的外接矩形的中心軸角度β,通過比較中心軸角度α與中心軸角度β之間的角度差異,構(gòu)建旋轉(zhuǎn)矩陣對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊。

4.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s4中雙分支特征級(jí)精配準(zhǔn)模塊,具體為,在resnet-18網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建雙子網(wǎng)結(jié)構(gòu),兩個(gè)子網(wǎng)參數(shù)共享,每一子網(wǎng)絡(luò)在第一層卷積塊后加入雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,在第二層、第三層卷積塊后加入空間變換網(wǎng)絡(luò)stn子模塊,損失函數(shù)采用負(fù)余弦損失函數(shù);

5.根據(jù)權(quán)利要求4所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,由兩個(gè)分支組成:第一分支為主分支,輸入為融合了輪廓信息的原始圖像,由兩個(gè)核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;第二分支為輔助分支,輸入為利用canny邊緣檢測算子從原始圖像中提取到的僅包含輪廓信息的圖像,核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;主分支和輔助分支分別處理這兩種輸入,通過卷積神經(jīng)網(wǎng)絡(luò)提取空間特征,然后通過全連接層融合這些空間特征以預(yù)測變換參數(shù)構(gòu)建變換矩陣,對(duì)圖像進(jìn)行對(duì)齊變換。

6.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s5中求解同一工業(yè)品缺陷樣本圖像的特征圖d,具體為:將參考圖像和同一工業(yè)品的一幅缺陷樣本圖像,分別經(jīng)過去背景模塊、圖像旋轉(zhuǎn)粗配準(zhǔn)模塊和雙分支特征級(jí)精配準(zhǔn)模塊處理,再經(jīng)過上采樣進(jìn)行通道維度拼接后,得到缺陷樣本圖像的特征圖d。

7.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s6中求解最佳的分割全局閾值,具體為將異常分?jǐn)?shù)矩陣和對(duì)應(yīng)的缺陷真實(shí)掩膜圖輸入自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),利用神經(jīng)網(wǎng)絡(luò)自動(dòng)確定缺陷閾值,用異常分?jǐn)?shù)矩陣減去缺陷閾值,并使用激活函數(shù)relu及歸一化進(jìn)行軟二值化處理,最小化預(yù)測的軟二值化缺陷分割圖和缺陷真實(shí)掩膜圖之間的mse損失,得到異常分?jǐn)?shù)矩陣最佳的分割全局閾值。


技術(shù)總結(jié)
本發(fā)明公開的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,包括以下步驟:1.構(gòu)建工業(yè)品的正樣本圖像數(shù)據(jù)集和缺陷樣本圖像數(shù)據(jù)集;2.構(gòu)建去背景模塊,對(duì)參考圖像和待配準(zhǔn)圖像去背景;3.構(gòu)建圖像旋轉(zhuǎn)粗配準(zhǔn)模塊,對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊;4.構(gòu)建雙分支特征級(jí)精配準(zhǔn)模塊,求解特征圖c的均值及方差,作為工業(yè)品的模板特征;5.求解同一工業(yè)品缺陷樣本圖像的特征圖d和異常分?jǐn)?shù)矩陣;6.建立自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),得到缺陷分割圖像。本發(fā)明實(shí)現(xiàn)了在小樣本場景下檢測精度和模型通用性之間更好的平衡。

技術(shù)研發(fā)人員:張二虎,段敬紅,艾敘伊
受保護(hù)的技術(shù)使用者:西安理工大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/19
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1