本發(fā)明涉及機器視覺中的外觀缺陷檢測的，特別涉及一種基于圖像融合和卷積神經(jīng)網(wǎng)絡(luò)對強反射表面實現(xiàn)缺陷檢測的系統(tǒng)及方法。

背景技術(shù)：

1、外觀缺陷檢測是3c、醫(yī)療、半導(dǎo)體等眾多行業(yè)不可或缺的重要基本環(huán)節(jié)，由于人工檢測存在容易疲勞、一致性差、難以數(shù)字化等不足，目前基于機器視覺的檢測系統(tǒng)正逐漸大規(guī)模替代人工肉眼檢測。機器視覺的檢測是在搭載成像光學(xué)條件下采集圖片后經(jīng)過視覺算法分析出檢測結(jié)果。其中光源的光發(fā)射技術(shù)上有l(wèi)ed光、x光、鹵素光等，光源外形上有條形光、環(huán)形光等，相機主流的有面陣相機和線掃相機等，圖像分析上有傳統(tǒng)算法和深度學(xué)習(xí)算法等，由此組成的檢測系統(tǒng)已廣泛應(yīng)用于眾多領(lǐng)域。但是當(dāng)被檢測的產(chǎn)品表面光滑且有一定弧度的情況下，部分區(qū)域?qū)庹沼袕姺瓷涞奶匦裕⒁鸨粰z測物表面成像出現(xiàn)亮斑掩蓋了缺陷成像，此時在普通光學(xué)方案下難以對表面缺陷有覆蓋面較好的理想成像。其次，在真實復(fù)雜的工業(yè)環(huán)境中，缺陷本身顏色、形態(tài)等不固定，且往往與背景差異小，背景紋理復(fù)雜，缺陷圖像噪聲干擾大，基于以上成像上諸多挑戰(zhàn)傳統(tǒng)的視覺算法難以取得理想的檢測效果。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的不足，提供了一種在光滑產(chǎn)品表面上、復(fù)雜的工業(yè)環(huán)境中對強反射表面實現(xiàn)缺陷檢測的系統(tǒng)及方法。

2、本發(fā)明所采用的技術(shù)方案是：一種對強反射表面實現(xiàn)缺陷檢測的系統(tǒng)包括：

3、融合單元，用于通過四步相位偏移技術(shù)對被測物表面明暗條紋圖進行融合；

4、學(xué)習(xí)單元，用于通過深度卷積神經(jīng)網(wǎng)絡(luò)對融合后的缺陷圖像進行學(xué)習(xí)；

5、提取單元，用于通過學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)模型對被測物圖像中的外觀缺陷進行自動提??；

6、計算單元，用于對缺陷計算對比度，并篩選出相應(yīng)缺陷。

7、進一步，所述融合單元具體包括輸入圖片子單元、第一計算子單元、第二計算子單元，其中，

8、輸入圖片子單元，具體用于對被測物使用光柵投影，采用四步相位偏移技術(shù)，被測物采集4張相位相間的條紋圖，條紋圖可通過光強公式，即第一公式來表達，其中所屬第一公式為：

9、

10、其中是條紋圖像，是背景強度，是調(diào)制圖，是相位，是相位偏移量，則4張條紋圖可分別表達為

11、

12、

13、

14、?；

15、第一計算子單元，具體用于計算背景強度圖和調(diào)制圖，4張條紋圖的表達式等價于：

16、

17、

18、

19、

20、聯(lián)立以上4個方程可解得第二公式即，第三公式即，其中第二、三公式分別為：

21、

22、?；

23、第二計算子單元，通過背景強度圖和調(diào)制圖，可通過第四公式計算得到圖像融合結(jié)果圖：

24、?…………第四公式。

25、進一步，所述學(xué)習(xí)單元具體包括初始化子單元和訓(xùn)練子單元，其中，

26、初始化子單元，具體用于收集圖像融合后的數(shù)據(jù)集，做數(shù)據(jù)清洗、標(biāo)注、按比例切分訓(xùn)練集、驗證集、測試集體，設(shè)置分割神經(jīng)網(wǎng)絡(luò)訓(xùn)練超參數(shù)并初始化卷積神經(jīng)網(wǎng)絡(luò)；

27、訓(xùn)練子單元，具體用于缺陷樣本輸入分割神經(jīng)網(wǎng)絡(luò)開始訓(xùn)練學(xué)習(xí)，訓(xùn)練過程重復(fù)著前向計算、計算損失、反向傳播、驗證集驗證的步驟，達到設(shè)定的重復(fù)訓(xùn)練輪次后以iou最大的模型作為最終的卷積神經(jīng)網(wǎng)絡(luò)模型。

28、進一步，所述提取單元具體包括：分割子單元，具體用于圖像融合的結(jié)果圖像輸入最終的卷積神經(jīng)網(wǎng)絡(luò)模型，進行前向推理，分割出物體表面上的缺陷。

29、進一步，所述計算單元具體包括分區(qū)子單元、統(tǒng)計子單元、計算子單元，其中，

30、分區(qū)子單元，將缺陷按設(shè)定的大小切分成若干區(qū)域，每個區(qū)域面積大小，每個區(qū)域的背景區(qū)域為，表示區(qū)域擴展操作，則

31、；

32、統(tǒng)計子單元，對和分別做灰度直方圖統(tǒng)計，在直方圖中按比例取得前的像素并計算平均灰度和，直方圖中按比例取得后的像素并計算平均灰度和，用第五公式計算區(qū)域的對比度，第五公式為：

33、；

34、用第六公式計算每個區(qū)域的權(quán)重，第六公式為

35、；

36、計算子單元，由第七公式計算缺陷的對比度，然后根據(jù)對比度閾值篩選出被測物表面缺陷，第七公式為：

37、?。

38、一種對強反射表面實現(xiàn)缺陷檢測的方法包括如下步驟：

39、s1、對被測物使用光柵投影，采用四步相位偏移法采集不同相位投影的圖像，并將采集到的不同相位圖片實現(xiàn)融合；

40、s2、將融合后的圖像制作數(shù)據(jù)集，并標(biāo)注出缺陷位置，然后輸入深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；

41、s3、將經(jīng)過相位偏移法融合后的圖片輸入訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型進行前向推理，網(wǎng)絡(luò)模型輸出檢測到的候選缺陷；

42、s4、對神經(jīng)網(wǎng)絡(luò)檢測到的候選缺陷進行對比度計算，篩選出對比度大于設(shè)定值的缺陷。

43、進一步，步驟s1具體包括：

44、s11、對被測物采集4張相位相間的條紋圖，條紋圖可通過光強公式，即第一公式來表達，其中所屬第一公式為：

45、

46、其中，是條紋圖像，是背景強度，是調(diào)制圖，是相位，是相位偏移量，則4張條紋圖可分別表達為：

47、

48、

49、

50、?；

51、s12、4張條紋圖的表達式等價于：

52、

53、

54、

55、?；

56、聯(lián)立以上4個方程可解得第二公式即，第三公式即，其中第二、三公式分別為：

57、

58、

59、s13、通過背景強度圖和調(diào)制圖，可通過第四公式計算得到圖像融合結(jié)果圖，第四公式為

60、?。

61、進一步，步驟s2具體包括：

62、s21、收集圖像融合后的數(shù)據(jù)集，做數(shù)據(jù)清洗、標(biāo)注、按比例切分訓(xùn)練集、驗證集、測試集體，設(shè)置分割神經(jīng)網(wǎng)絡(luò)訓(xùn)練超參數(shù)并初始化卷積神經(jīng)網(wǎng)絡(luò)；

63、s22、缺陷樣本輸入分割神經(jīng)網(wǎng)絡(luò)開始訓(xùn)練學(xué)習(xí)，訓(xùn)練過程重復(fù)著前向計算、計算損失、反向傳播、驗證集驗證的步驟，達到設(shè)定的重復(fù)訓(xùn)練輪次后以iou最大的模型作為最終的卷積神經(jīng)網(wǎng)絡(luò)模型。

64、進一步，步驟s3具體包括：

65、s31、圖像融合的結(jié)果圖像輸入最終的卷積神經(jīng)網(wǎng)絡(luò)模型，進行前向推理，分割出物體表面上的缺陷。

66、進一步，步驟s4具體包括：

67、s41、將缺陷按設(shè)定的大小切分成若干區(qū)域，每個區(qū)域面積大小，每個區(qū)域的背景區(qū)域為，表示區(qū)域擴展操作，則

68、?；

69、s42、對和分別做灰度直方圖統(tǒng)計，在直方圖中按比例取得前的像素并計算平均灰度和，直方圖中按比例取得后的像素并計算平均灰度和；

70、s43、用第五公式計算區(qū)域的對比度，第五公式為

71、；

72、用第六公式計算每個區(qū)域的權(quán)重，第六公式為

73、?；

74、計算缺陷的對比度:

75、?；

76、然后根據(jù)對比度閾值篩選出被測物表面缺陷。