本發(fā)明涉及圖像目標(biāo)檢測，具體而言，涉及一種電器設(shè)備的外觀缺陷檢測方法及裝置。

背景技術(shù)：

1、在空調(diào)器生產(chǎn)線中，注塑面板質(zhì)量直接影響到最終產(chǎn)品的外觀和用戶體驗(yàn)。在空調(diào)器注塑面板的質(zhì)量檢測中，重點(diǎn)包括表面缺陷檢測，通常是指對(duì)表面凹凸、臟污、劃痕的有無判斷，通過目標(biāo)檢測，定位缺陷位置及大小，在實(shí)際生產(chǎn)中，不良率比較低，所以負(fù)樣本的數(shù)據(jù)較少，且缺陷的形成各有差異，導(dǎo)致缺陷的實(shí)際形態(tài)復(fù)雜多變。傳統(tǒng)的缺陷檢測方法依賴于人工視覺檢查或基礎(chǔ)的自動(dòng)化視覺系統(tǒng)，這些方法在檢測效率、準(zhǔn)確性以及一致性方面存在明顯不足，現(xiàn)有的深度學(xué)習(xí)技術(shù)，雖然其圖像處理領(lǐng)域取得了顯著進(jìn)展，但面對(duì)空調(diào)注塑面板的特定缺陷檢測任務(wù)時(shí)，需要大量的特定樣本，實(shí)際往往是樣本數(shù)量少、缺陷類型復(fù)雜多變、存在模型遷移困難的問題，且在使用深度學(xué)習(xí)模型時(shí)，需要大量的樣本進(jìn)行訓(xùn)練，而且在同類場景下，通常需要采集足夠的數(shù)據(jù)進(jìn)行模型微調(diào)，以適應(yīng)新的場景。若使用傳統(tǒng)圖像處理方法進(jìn)行處理，需要針對(duì)缺陷形態(tài)手工設(shè)計(jì)特征提取器，很難覆蓋到各類型的缺陷，未知缺陷的檢測能力差。

2、例如，現(xiàn)有技術(shù)中有利用雙路深度殘差閾值特征去除航拍圖中的背景噪聲的影響，本發(fā)明是基于視覺提示機(jī)制，依據(jù)雙路檢測網(wǎng)絡(luò)，對(duì)空調(diào)面板的凹凸、臟污、劃痕實(shí)現(xiàn)有無判斷，解決目標(biāo)檢測中數(shù)據(jù)集獲取困難，針對(duì)不同場景模型遷移性差。

3、針對(duì)上述的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種電器設(shè)備的外觀缺陷檢測方法及裝置，以至少解決相關(guān)技術(shù)中空調(diào)器的缺陷檢測中對(duì)未知缺陷的檢測能力較差，使得空調(diào)器的缺陷檢測的精準(zhǔn)度較低的技術(shù)問題。

2、根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種電器設(shè)備的外觀缺陷檢測方法，包括：獲取目標(biāo)電器設(shè)備的注塑面板的第一面板圖像和第二面板圖像，其中，所述第一面板圖像為不存在缺陷的標(biāo)準(zhǔn)面板圖像，所述第二面板圖像為待進(jìn)行缺陷檢測的圖像；將所述第一面板圖像和所述第二面板圖像輸入至面板外觀缺陷檢測模型中，以利用所述面板外觀缺陷檢測模型對(duì)所述第一面板圖像和所述第二面板圖像進(jìn)行處理，得到所述目標(biāo)電器設(shè)備的外觀缺陷檢測結(jié)果，其中，所述面板外觀缺陷檢測模型是使用多組訓(xùn)練數(shù)據(jù)通過機(jī)器學(xué)習(xí)訓(xùn)練得到的模型，所述多組訓(xùn)練數(shù)據(jù)中的每一組均包括：樣本面板圖像和與所述樣本面板圖像對(duì)應(yīng)的樣本外觀缺陷檢測結(jié)果，所述樣本面板圖像包括：第一樣本面板圖像、第二樣本面板圖像以及樣本缺陷圖像，所述樣本缺陷圖像是根據(jù)所述第一樣本面板圖像生成的面板缺陷圖像；根據(jù)所述外觀缺陷檢測結(jié)果確定所述目標(biāo)電器設(shè)備的所述注塑面板的缺陷信息。

3、可選地，將所述第一面板圖像和所述第二面板圖像輸入至面板外觀缺陷檢測模型中，以利用所述面板外觀缺陷檢測模型對(duì)所述第一面板圖像和所述第二面板圖像進(jìn)行處理，得到所述目標(biāo)電器設(shè)備的外觀缺陷檢測結(jié)果，包括：對(duì)所述第一面板圖像和所述第二面板圖像執(zhí)行標(biāo)準(zhǔn)化處理操作，以得到標(biāo)準(zhǔn)化處理后的所述第一面板圖像和所述第二面板圖像，其中，所述標(biāo)準(zhǔn)化處理操作包括：縮放操作、填充操作；將標(biāo)準(zhǔn)化處理后的所述第一面板圖像和所述第二面板圖像輸入至所述面板外觀缺陷檢測模型中，以利用所述面板外觀缺陷檢測模型對(duì)標(biāo)準(zhǔn)化處理后的所述第一面板圖像和所述第二面板圖像進(jìn)行處理，得到所述目標(biāo)電器設(shè)備的所述外觀缺陷檢測結(jié)果。

4、可選地，在將所述第一面板圖像和所述第二面板圖像輸入至面板外觀缺陷檢測模型中，以利用所述面板外觀缺陷檢測模型對(duì)所述第一面板圖像和所述第二面板圖像進(jìn)行處理，得到所述目標(biāo)電器設(shè)備的外觀缺陷檢測結(jié)果之前，該電器設(shè)備的外觀缺陷檢測方法，還包括：獲取所述多組訓(xùn)練數(shù)據(jù)；對(duì)所述多組訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化處理后的所述多組訓(xùn)練數(shù)據(jù)；利用標(biāo)準(zhǔn)化處理后的所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述面板外觀缺陷檢測模型。

5、可選地，獲取所述多組訓(xùn)練數(shù)據(jù)，包括：獲取包括所述目標(biāo)電器設(shè)備的多種電器設(shè)備的注塑面板的所述第一樣本面板圖像和所述第二樣本面板圖像，并對(duì)所述第二樣本面板圖像進(jìn)行缺陷標(biāo)注；根據(jù)所述第一樣本面板圖像生成所述樣本缺陷圖像，并對(duì)所述樣本缺陷圖像進(jìn)行缺陷標(biāo)注。

6、可選地，根據(jù)所述第一樣本面板圖像生成所述樣本缺陷圖像，包括：確定所述目標(biāo)電器設(shè)備的待生成缺陷類型；根據(jù)所述第一樣本面板圖像設(shè)置各所述待生成缺陷類型的缺陷信息，其中，所述缺陷信息用于描述各所述待生成缺陷類型所對(duì)應(yīng)的待生成缺陷；根據(jù)所述缺陷信息生成各所述待生成缺陷；對(duì)各所述待生成缺陷進(jìn)行像素處理，得到所述樣本缺陷圖像。

7、可選地，所述待生成缺陷類型包括：臟污型缺陷、劃痕型缺陷以及凹凸型缺陷，根據(jù)所述第一樣本面板圖像設(shè)置各所述待生成缺陷類型的缺陷信息，包括：根據(jù)所述第一樣本面板圖像定義包括所述臟污型缺陷的臟污區(qū)域的最大數(shù)量、各所述臟污區(qū)域的尺寸以及臟污顏色范圍的第一缺陷信息；根據(jù)所述第一樣本面板圖像定義包括所述劃痕型缺陷的劃痕的最大數(shù)量、各所述劃痕的尺寸的第二缺陷信息；根據(jù)所述第一樣本面板圖像定義包括所述凹凸型缺陷的凹凸區(qū)域的最大數(shù)量、各所述凹凸區(qū)域的尺寸及凹凸感程度的第三缺陷信息。

8、可選地，根據(jù)所述缺陷信息生成各所述待生成缺陷，包括：通過隨機(jī)噪聲算法或隨機(jī)走動(dòng)算法在所述第一樣本面板圖像上按照所述第一缺陷信息生成所述臟污型缺陷；在所述第一樣本面板圖像上隨機(jī)選擇起點(diǎn)和劃痕方向，并按照所述第二缺陷信息生成所述劃痕型缺陷；通過橢圓型或隨機(jī)走動(dòng)算法在所述第一樣本面板圖像上按照所述第三缺陷信息生成預(yù)定形狀的所述凹凸型缺陷。

9、可選地，對(duì)各所述待生成缺陷進(jìn)行像素處理，得到所述樣本缺陷圖像，包括：通過隨機(jī)選擇顏色填充所述臟污型缺陷；根據(jù)所述劃痕型缺陷預(yù)定范圍的顏色的亮度偏差對(duì)所述劃痕型缺陷進(jìn)行顏色填充；根據(jù)所述凹凸型缺陷的深度變化范圍確定模擬所述凹凸型缺陷時(shí)像素值對(duì)應(yīng)的像素變化范圍，并根據(jù)所述像素變化范圍對(duì)所述凹凸型缺陷進(jìn)行像素調(diào)整。

10、可選地，利用標(biāo)準(zhǔn)化處理后的所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述面板外觀缺陷檢測模型，包括：通過隨機(jī)遮擋所述第一樣本面板圖像和所述樣本缺陷圖像的預(yù)定部分，得到所述第一樣本面板圖像和所述樣本缺陷圖像的遮擋部分和未遮擋部分；將所述未遮擋部分輸入至所述面板外觀缺陷檢測模型中的編碼器中，以訓(xùn)練所述編碼器，直到所述編碼器能夠重構(gòu)出所述第一樣本面板圖像和所述樣本缺陷圖像；通過所述第二樣本面板圖像中標(biāo)注的真實(shí)缺陷和所述樣本缺陷圖像對(duì)應(yīng)的生成缺陷訓(xùn)練所述面板外觀缺陷檢測模型中的雙路檢測模型和解碼器，直到所述雙路檢測模型和所述解碼器能夠生成識(shí)別所述真實(shí)缺陷和所述生成缺陷并根據(jù)所述真實(shí)缺陷和所述生成缺陷來生成缺陷圖像；將所述編碼器與所述雙路檢測模型和所述解碼器拼接，得到所述面板外觀缺陷檢測模型。

11、可選地，將所述編碼器與所述雙路檢測模型和所述解碼器拼接，得到所述面板外觀缺陷檢測模型，包括：將所述樣本缺陷圖像按照臟污型缺陷、劃痕型缺陷以及凹凸型缺陷進(jìn)行分類，得到三種不同類型的樣本缺陷圖像子集；分別使用各所述樣本缺陷圖像子集訓(xùn)練所述面板外觀缺陷檢測模型中的視覺提示網(wǎng)絡(luò)和所述解碼器，直到所述面板外觀缺陷檢測模型能夠識(shí)別各所述樣本缺陷圖像對(duì)應(yīng)的缺陷類型，得到所述面板外觀缺陷檢測模型。

12、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種電器設(shè)備的外觀缺陷檢測裝置，包括：第一獲取模塊，用于獲取目標(biāo)電器設(shè)備的注塑面板的第一面板圖像和第二面板圖像，其中，所述第一面板圖像為不存在缺陷的標(biāo)準(zhǔn)面板圖像，所述第二面板圖像為待進(jìn)行缺陷檢測的圖像；第一處理模塊，用于將所述第一面板圖像和所述第二面板圖像輸入至面板外觀缺陷檢測模型中，以利用所述面板外觀缺陷檢測模型對(duì)所述第一面板圖像和所述第二面板圖像進(jìn)行處理，得到所述目標(biāo)電器設(shè)備的外觀缺陷檢測結(jié)果，其中，所述面板外觀缺陷檢測模型是使用多組訓(xùn)練數(shù)據(jù)通過機(jī)器學(xué)習(xí)訓(xùn)練得到的模型，所述多組訓(xùn)練數(shù)據(jù)中的每一組均包括：樣本面板圖像和與所述樣本面板圖像對(duì)應(yīng)的樣本外觀缺陷檢測結(jié)果，所述樣本面板圖像包括：第一樣本面板圖像、第二樣本面板圖像以及樣本缺陷圖像，所述樣本缺陷圖像是根據(jù)所述第一樣本面板圖像生成的面板缺陷圖像；第一確定模塊，用于根據(jù)所述外觀缺陷檢測結(jié)果確定所述目標(biāo)電器設(shè)備的所述注塑面板的缺陷信息。

13、可選地，所述第一處理模塊，包括：第一處理單元，用于對(duì)所述第一面板圖像和所述第二面板圖像執(zhí)行標(biāo)準(zhǔn)化處理操作，以得到標(biāo)準(zhǔn)化處理后的所述第一面板圖像和所述第二面板圖像，其中，所述標(biāo)準(zhǔn)化處理操作包括：縮放操作、填充操作；第二處理單元，用于將標(biāo)準(zhǔn)化處理后的所述第一面板圖像和所述第二面板圖像輸入至所述面板外觀缺陷檢測模型中，以利用所述面板外觀缺陷檢測模型對(duì)標(biāo)準(zhǔn)化處理后的所述第一面板圖像和所述第二面板圖像進(jìn)行處理，得到所述目標(biāo)電器設(shè)備的所述外觀缺陷檢測結(jié)果。

14、可選地，所述第一處理模塊之前，該電器設(shè)備的外觀缺陷檢測裝置，還包括：第二獲取模塊，用于獲取所述多組訓(xùn)練數(shù)據(jù)；第二處理模塊，用于對(duì)所述多組訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化處理后的所述多組訓(xùn)練數(shù)據(jù)；第三處理模塊，用于利用標(biāo)準(zhǔn)化處理后的所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述面板外觀缺陷檢測模型。

15、可選地，所述第二獲取模塊，包括：第三處理單元，用于獲取包括所述目標(biāo)電器設(shè)備的多種電器設(shè)備的注塑面板的所述第一樣本面板圖像和所述第二樣本面板圖像，并對(duì)所述第二樣本面板圖像進(jìn)行缺陷標(biāo)注；第四處理單元，用于根據(jù)所述第一樣本面板圖像生成所述樣本缺陷圖像，并對(duì)所述樣本缺陷圖像進(jìn)行缺陷標(biāo)注。

16、可選地，所述第四處理單元，包括：第一確定子單元，用于確定所述目標(biāo)電器設(shè)備的待生成缺陷類型；第一處理子單元，用于根據(jù)所述第一樣本面板圖像設(shè)置各所述待生成缺陷類型的缺陷信息，其中，所述缺陷信息用于描述各所述待生成缺陷類型所對(duì)應(yīng)的待生成缺陷；第二處理子單元，用于根據(jù)所述缺陷信息生成各所述待生成缺陷；像素處理子單元，用于對(duì)各所述待生成缺陷進(jìn)行像素處理，得到所述樣本缺陷圖像。

17、可選地，所述第一處理子單元，包括：第一定義子單元，用于根據(jù)所述第一樣本面板圖像定義包括所述臟污型缺陷的臟污區(qū)域的最大數(shù)量、各所述臟污區(qū)域的尺寸以及臟污顏色范圍的第一缺陷信息；第二定義子單元，用于根據(jù)所述第一樣本面板圖像定義包括所述劃痕型缺陷的劃痕的最大數(shù)量、各所述劃痕的尺寸的第二缺陷信息；第三定義子單元，用于根據(jù)所述第一樣本面板圖像定義包括所述凹凸型缺陷的凹凸區(qū)域的最大數(shù)量、各所述凹凸區(qū)域的尺寸及凹凸感程度的第三缺陷信息。

18、可選地，所述第二處理子單元，包括：第三處理子單元，用于通過隨機(jī)噪聲算法或隨機(jī)走動(dòng)算法在所述第一樣本面板圖像上按照所述第一缺陷信息生成所述臟污型缺陷；第四處理子單元，用于在所述第一樣本面板圖像上隨機(jī)選擇起點(diǎn)和劃痕方向，并按照所述第二缺陷信息生成所述劃痕型缺陷；第五處理子單元，用于通過橢圓型或隨機(jī)走動(dòng)算法在所述第一樣本面板圖像上按照所述第三缺陷信息生成預(yù)定形狀的所述凹凸型缺陷。

19、可選地，所述像素處理子單元，包括：第六處理子單元，用于通過隨機(jī)選擇顏色填充所述臟污型缺陷；第七處理子單元，用于根據(jù)所述劃痕型缺陷預(yù)定范圍的顏色的亮度偏差對(duì)所述劃痕型缺陷進(jìn)行顏色填充；第八處理子單元，用于根據(jù)所述凹凸型缺陷的深度變化范圍確定模擬所述凹凸型缺陷時(shí)像素值對(duì)應(yīng)的像素變化范圍，并根據(jù)所述像素變化范圍對(duì)所述凹凸型缺陷進(jìn)行像素調(diào)整。

20、可選地，所述第三處理模塊，包括：第五處理單元，用于通過隨機(jī)遮擋所述第一樣本面板圖像和所述樣本缺陷圖像的預(yù)定部分，得到所述第一樣本面板圖像和所述樣本缺陷圖像的遮擋部分和未遮擋部分；第六處理單元，用于將所述未遮擋部分輸入至所述面板外觀缺陷檢測模型中的編碼器中，以訓(xùn)練所述編碼器，直到所述編碼器能夠重構(gòu)出所述第一樣本面板圖像和所述樣本缺陷圖像；第七處理單元，用于通過所述第二樣本面板圖像中標(biāo)注的真實(shí)缺陷和所述樣本缺陷圖像對(duì)應(yīng)的生成缺陷訓(xùn)練所述面板外觀缺陷檢測模型中的雙路檢測模型和解碼器，直到所述雙路檢測模型和所述解碼器能夠生成識(shí)別所述真實(shí)缺陷和所述生成缺陷并根據(jù)所述真實(shí)缺陷和所述生成缺陷來生成缺陷圖像；拼接單元，用于將所述編碼器與所述雙路檢測模型和所述解碼器拼接，得到所述面板外觀缺陷檢測模型。

21、可選地，所述拼接單元，包括：分類子單元，用于將所述樣本缺陷圖像按照臟污型缺陷、劃痕型缺陷以及凹凸型缺陷進(jìn)行分類，得到三種不同類型的樣本缺陷圖像子集；第九處理子單元，用于分別使用各所述樣本缺陷圖像子集訓(xùn)練所述面板外觀缺陷檢測模型中的視覺提示網(wǎng)絡(luò)和所述解碼器，直到所述面板外觀缺陷檢測模型能夠識(shí)別各所述樣本缺陷圖像對(duì)應(yīng)的缺陷類型，得到所述面板外觀缺陷檢測模型。

22、根據(jù)本發(fā)明實(shí)施例的另外一個(gè)方面，還提供了一種電器設(shè)備的外觀缺陷檢測系統(tǒng)，所述電器設(shè)備的外觀缺陷檢測系統(tǒng)使用上述任一項(xiàng)所述的電器設(shè)備的外觀缺陷檢測方法。

23、根據(jù)本發(fā)明實(shí)施例的另外一個(gè)方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，所述程序執(zhí)行上述中任意一項(xiàng)所述的電器設(shè)備的外觀缺陷檢測方法。

24、根據(jù)本發(fā)明實(shí)施例的另外一個(gè)方面，還提供了一種處理器，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時(shí)執(zhí)行上述中任意一項(xiàng)所述的電器設(shè)備的外觀缺陷檢測方法。

25、根據(jù)本發(fā)明實(shí)施例的另外一個(gè)方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)執(zhí)行上述中任意一項(xiàng)所述的電器設(shè)備的外觀缺陷檢測方法。

26、在本發(fā)明實(shí)施例中，獲取目標(biāo)電器設(shè)備的注塑面板的第一面板圖像和第二面板圖像，其中，第一面板圖像為不存在缺陷的標(biāo)準(zhǔn)面板圖像，第二面板圖像為待進(jìn)行缺陷檢測的圖像；將第一面板圖像和第二面板圖像輸入至面板外觀缺陷檢測模型中，以利用面板外觀缺陷檢測模型對(duì)第一面板圖像和第二面板圖像進(jìn)行處理，得到目標(biāo)電器設(shè)備的外觀缺陷檢測結(jié)果，其中，面板外觀缺陷檢測模型是使用多組訓(xùn)練數(shù)據(jù)通過機(jī)器學(xué)習(xí)訓(xùn)練得到的模型，多組訓(xùn)練數(shù)據(jù)中的每一組均包括：樣本面板圖像和與樣本面板圖像對(duì)應(yīng)的樣本外觀缺陷檢測結(jié)果，樣本面板圖像包括：第一樣本面板圖像、第二樣本面板圖像以及樣本缺陷圖像，樣本缺陷圖像是根據(jù)第一樣本面板圖像生成的面板缺陷圖像；根據(jù)外觀缺陷檢測結(jié)果確定目標(biāo)電器設(shè)備的注塑面板的缺陷信息。通過本發(fā)明提供的技術(shù)方案，達(dá)到了采用雙路檢測和解碼器結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，通過cross-attent?ion融合兩路徑的特征，引入視覺提示，同時(shí)，通過特定于注塑面板的雙路檢測網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)生成的掩碼圖像，能夠高效、準(zhǔn)確地標(biāo)識(shí)出缺陷位置的目的，從而實(shí)現(xiàn)了降低負(fù)樣本需求量、高效檢測缺陷特征以及快速適應(yīng)新場景的技術(shù)效果，提高了檢測模型的遷移能力以及準(zhǔn)確率，進(jìn)而解決了相關(guān)技術(shù)中空調(diào)器的缺陷檢測中對(duì)未知缺陷的檢測能力較差，使得空調(diào)器的缺陷檢測的精準(zhǔn)度較低的技術(shù)問題。