本發(fā)明屬于機(jī)器視覺,涉及一種基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法。
背景技術(shù):
1、在智能制造和工業(yè)自動(dòng)化領(lǐng)域中,缺陷檢測是保證產(chǎn)品質(zhì)量的關(guān)鍵環(huán)節(jié),基于深度學(xué)習(xí)的機(jī)器視覺技術(shù)是當(dāng)前缺陷檢測領(lǐng)域主流的關(guān)鍵技術(shù)。但在實(shí)際工業(yè)場景下,卻面臨著諸多挑戰(zhàn):1.缺陷樣本稀缺性:由于嚴(yán)格的質(zhì)量控制,缺陷產(chǎn)品較少,導(dǎo)致可用于訓(xùn)練的缺陷樣本數(shù)量遠(yuǎn)低于正常樣本,這種不平衡使得訓(xùn)練能準(zhǔn)確識(shí)別少數(shù)缺陷的模型變的困難;2.缺陷的多樣性和不可預(yù)見性:工業(yè)產(chǎn)品可能出現(xiàn)從微小劃痕到重大結(jié)構(gòu)損壞等各種不同的缺陷類型,除此之外新產(chǎn)品或改進(jìn)產(chǎn)品同樣可能帶來全新的缺陷類型,使得收集一個(gè)全面覆蓋所有潛在缺陷類型的數(shù)據(jù)集變得幾乎不可能;3.提高模型的泛化能力,現(xiàn)有全監(jiān)督模型需要針對(duì)每一種缺陷類型有足夠的標(biāo)注樣本進(jìn)行訓(xùn)練,對(duì)于訓(xùn)練過程中沒有觀察到的新的樣本類型,模型直接在其上進(jìn)行測試時(shí)性能顯著下降,無法適應(yīng)快速生產(chǎn)和頻繁產(chǎn)品更新的現(xiàn)代工業(yè)需求。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的是提供一種基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,解決了現(xiàn)有技術(shù)中存在的樣本數(shù)量少、特征難對(duì)齊導(dǎo)致的模型檢測精度低、泛化能力弱的問題。
2、本發(fā)明所采用的技術(shù)方案是,基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,包括以下步驟:
3、s1:構(gòu)建工業(yè)品的正樣本圖像數(shù)據(jù)集和缺陷樣本圖像數(shù)據(jù)集;
4、s2:構(gòu)建去背景模塊,輸入同一工業(yè)品兩幅不同的正樣本圖像,一幅作為參考圖像,一幅作為待配準(zhǔn)圖像,利用otsu二值化方法和canny邊緣檢測算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景,得到第一參考圖像和第一待配準(zhǔn)圖像;
5、s3:構(gòu)建圖像旋轉(zhuǎn)粗配準(zhǔn)模塊,對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊,得到第二待配準(zhǔn)圖像;
6、s4:構(gòu)建雙分支特征級(jí)精配準(zhǔn)模塊,并用正樣本圖像數(shù)據(jù)集訓(xùn)練后,輸入第一參考圖像和第二待配準(zhǔn)圖像進(jìn)行精準(zhǔn)對(duì)齊,得到第一參考圖像的特征圖a和第二待配準(zhǔn)圖像的特征圖b,對(duì)特征圖a和特征圖b上采樣進(jìn)行通道維度拼接后得到特征圖c,求解特征圖c的均值及方差,作為工業(yè)品的模板特征;
7、s5:求解同一工業(yè)品缺陷樣本圖像的特征圖d,計(jì)算特征圖d與模版特征的馬氏距離,作為缺陷樣本圖像的異常分?jǐn)?shù)矩陣;
8、s6:建立自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),求解最佳的分割全局閾值,用分割全局閾值對(duì)異常分?jǐn)?shù)矩陣進(jìn)行分割,得到缺陷分割圖像。
9、本發(fā)明的特點(diǎn)還在于:
10、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s2中利用otsu二值化方法和canny邊緣檢測算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景,具體為:
11、s2.1:利用otsu二值化方法對(duì)參考圖像和待配準(zhǔn)圖像中的目標(biāo)物體進(jìn)行提??;
12、s2.2:利用canny邊緣檢測算子提取目標(biāo)物體的邊緣信息,利用邊緣信息對(duì)目標(biāo)物體進(jìn)行約束處理:從參考圖像和待配準(zhǔn)圖像的四周邊緣像素開始,向內(nèi)遍歷每個(gè)像素,在遇到邊緣像素之前,將遍歷過的像素都設(shè)為背景。
13、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s3中對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊,具體為:求取第一參考圖像的最大連通區(qū)域的外接矩形的中心軸角度α,求取第一待配準(zhǔn)圖像的最大連通區(qū)域的外接矩形的中心軸角度β,通過比較中心軸角度α與中心軸角度β之間的角度差異,構(gòu)建旋轉(zhuǎn)矩陣對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊。
14、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s4中雙分支特征級(jí)精配準(zhǔn)模塊,具體為,在resnet-18網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建雙子網(wǎng)結(jié)構(gòu),兩個(gè)子網(wǎng)參數(shù)共享,每一子網(wǎng)絡(luò)在第一層卷積塊后加入雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,在第二層、第三層卷積塊后加入空間變換網(wǎng)絡(luò)stn子模塊,損失函數(shù)采用負(fù)余弦損失函數(shù);
15、s4中求解特征圖c的均值及方差,是利用多變量高斯分布估計(jì)器進(jìn)行求解。
16、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,由兩個(gè)分支組成:第一分支為主分支,輸入為融合了輪廓信息的原始圖像,由兩個(gè)核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;第二分支為輔助分支,輸入為利用canny邊緣檢測算子從原始圖像中提取到的僅包含輪廓信息的圖像,核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;主分支和輔助分支分別處理這兩種輸入,通過卷積神經(jīng)網(wǎng)絡(luò)提取空間特征,然后通過全連接層融合這些空間特征以預(yù)測變換參數(shù)構(gòu)建變換矩陣,對(duì)圖像進(jìn)行對(duì)齊變換。
17、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s5中求解同一工業(yè)品缺陷樣本圖像的特征圖d,具體為:將參考圖像和同一工業(yè)品的一幅缺陷樣本圖像,分別經(jīng)過去背景模塊、圖像旋轉(zhuǎn)粗配準(zhǔn)模塊和雙分支特征級(jí)精配準(zhǔn)模塊處理,再經(jīng)過上采樣進(jìn)行通道維度拼接后,得到缺陷樣本圖像的特征圖d。
18、基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,s6中求解最佳的分割全局閾值,具體為將異常分?jǐn)?shù)矩陣和對(duì)應(yīng)的缺陷真實(shí)掩膜圖輸入自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),利用神經(jīng)網(wǎng)絡(luò)自動(dòng)確定缺陷閾值,用異常分?jǐn)?shù)矩陣減去缺陷閾值,并使用激活函數(shù)relu及歸一化進(jìn)行軟二值化處理,最小化預(yù)測的軟二值化缺陷分割圖和缺陷真實(shí)掩膜圖之間的mse損失,得到異常分?jǐn)?shù)矩陣最佳的分割全局閾值。
19、本發(fā)明的有益效果是:
20、1.通過基于邊緣信息約束的去背景和圖像層級(jí)粗對(duì)齊,避免了樣本背景區(qū)域變化對(duì)特征提取的干擾并降低了特征匹配的難度;
21、2.構(gòu)建的雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,增強(qiáng)了模型的空間特性感知能力,有效減少了圖像之間的非完全對(duì)齊引起的檢測誤差;
22、3.建立的自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),降低了對(duì)標(biāo)注缺陷樣本的依賴,提高了對(duì)新樣本的適應(yīng)性。
1.基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s2中利用otsu二值化方法和canny邊緣檢測算子分別對(duì)參考圖像和待配準(zhǔn)圖像去背景,具體為:
3.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s3中對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊,具體為:求取第一參考圖像的最大連通區(qū)域的外接矩形的中心軸角度α,求取第一待配準(zhǔn)圖像的最大連通區(qū)域的外接矩形的中心軸角度β,通過比較中心軸角度α與中心軸角度β之間的角度差異,構(gòu)建旋轉(zhuǎn)矩陣對(duì)第一待配準(zhǔn)圖像進(jìn)行旋轉(zhuǎn)至與第一參考圖像對(duì)齊。
4.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s4中雙分支特征級(jí)精配準(zhǔn)模塊,具體為,在resnet-18網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建雙子網(wǎng)結(jié)構(gòu),兩個(gè)子網(wǎng)參數(shù)共享,每一子網(wǎng)絡(luò)在第一層卷積塊后加入雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,在第二層、第三層卷積塊后加入空間變換網(wǎng)絡(luò)stn子模塊,損失函數(shù)采用負(fù)余弦損失函數(shù);
5.根據(jù)權(quán)利要求4所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述雙分支輪廓增強(qiáng)空間變換網(wǎng)絡(luò)子模塊,由兩個(gè)分支組成:第一分支為主分支,輸入為融合了輪廓信息的原始圖像,由兩個(gè)核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;第二分支為輔助分支,輸入為利用canny邊緣檢測算子從原始圖像中提取到的僅包含輪廓信息的圖像,核大小為3×3的卷積構(gòu)成,每個(gè)卷積層后緊接一個(gè)最大池化層;主分支和輔助分支分別處理這兩種輸入,通過卷積神經(jīng)網(wǎng)絡(luò)提取空間特征,然后通過全連接層融合這些空間特征以預(yù)測變換參數(shù)構(gòu)建變換矩陣,對(duì)圖像進(jìn)行對(duì)齊變換。
6.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s5中求解同一工業(yè)品缺陷樣本圖像的特征圖d,具體為:將參考圖像和同一工業(yè)品的一幅缺陷樣本圖像,分別經(jīng)過去背景模塊、圖像旋轉(zhuǎn)粗配準(zhǔn)模塊和雙分支特征級(jí)精配準(zhǔn)模塊處理,再經(jīng)過上采樣進(jìn)行通道維度拼接后,得到缺陷樣本圖像的特征圖d。
7.根據(jù)權(quán)利要求1所述的基于小樣本的雙分支輪廓增強(qiáng)式工業(yè)品缺陷檢測方法,其特征在于,所述s6中求解最佳的分割全局閾值,具體為將異常分?jǐn)?shù)矩陣和對(duì)應(yīng)的缺陷真實(shí)掩膜圖輸入自適應(yīng)缺陷閾值分割網(wǎng)絡(luò),利用神經(jīng)網(wǎng)絡(luò)自動(dòng)確定缺陷閾值,用異常分?jǐn)?shù)矩陣減去缺陷閾值,并使用激活函數(shù)relu及歸一化進(jìn)行軟二值化處理,最小化預(yù)測的軟二值化缺陷分割圖和缺陷真實(shí)掩膜圖之間的mse損失,得到異常分?jǐn)?shù)矩陣最佳的分割全局閾值。