本發(fā)明涉及芯片檢測(cè)，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的激光芯片臟污金屬缺陷自動(dòng)檢測(cè)方法。

背景技術(shù)：

1、在激光芯片缺陷檢測(cè)領(lǐng)域，芯片種類(lèi)的多樣性和芯片外觀的復(fù)雜性給檢測(cè)工作帶來(lái)了顯著挑戰(zhàn)。特別是，激光芯片缺陷的尺寸小，與背景區(qū)域的對(duì)比度差異也較小，這使得缺陷的準(zhǔn)確檢測(cè)變得尤為困難。同時(shí)，由于芯片工藝的不穩(wěn)定性，缺陷種類(lèi)繁多，且不同缺陷間的特征差異細(xì)微，甚至同一類(lèi)型的缺陷也可能展現(xiàn)出多種不同的特征表現(xiàn)。這些問(wèn)題在檢測(cè)尺寸極小、特征差異也較小的臟污和金屬缺陷時(shí)顯得尤為突出，導(dǎo)致檢測(cè)與分類(lèi)的難度顯著增加。

2、目前，激光芯片領(lǐng)域的缺陷檢測(cè)主要依賴人工進(jìn)行。然而，人工檢測(cè)方法存在諸多不足，如檢測(cè)效率低、精度差、可靠性不高，以及成本昂貴等。此外，人工檢測(cè)的結(jié)果往往受到操作員工作經(jīng)驗(yàn)和工作狀態(tài)的影響，主觀性強(qiáng)且長(zhǎng)時(shí)間勞動(dòng)后工作效率和準(zhǔn)確度會(huì)大幅下降，這不僅提高了人力成本，還可能導(dǎo)致大量的漏檢和誤檢情況。

3、近年來(lái)，隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的迅速發(fā)展，圖像處理技術(shù)被廣泛應(yīng)用于激光芯片缺陷的自動(dòng)識(shí)別。相較于需要人工提取特征的傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)，尤其是卷積神經(jīng)網(wǎng)絡(luò)，能夠自動(dòng)提取有效、高級(jí)的語(yǔ)義信息，顯著提高了激光芯片缺陷的檢出率并降低了誤檢率。然而，即便是基于深度學(xué)習(xí)的方法，在面對(duì)種類(lèi)繁多、特征差異細(xì)微的芯片缺陷時(shí)，仍面臨一定的挑戰(zhàn)。

4、特別是，臟污與金屬缺陷的檢測(cè)與區(qū)分一直是行業(yè)內(nèi)的難點(diǎn)。臟污通常呈現(xiàn)出泛黑的特征，而金屬缺陷的特征則更為復(fù)雜多變。對(duì)于尺寸極小的缺陷(如小于20um)，其特征差異可能僅體現(xiàn)在幾個(gè)像素值上，這給人工或機(jī)器判斷帶來(lái)了極大的困難。因此，盡管深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了顯著進(jìn)展，但在激光芯片缺陷檢測(cè)，尤其是微小目標(biāo)的檢測(cè)與分類(lèi)方面，仍存在諸多挑戰(zhàn)和待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、(一)要解決的技術(shù)問(wèn)題

2、鑒于現(xiàn)有技術(shù)的上述缺點(diǎn)、不足，本發(fā)明提供一種激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)方法、系統(tǒng)、設(shè)備以及介質(zhì)，其解決了現(xiàn)有的激光芯片缺陷檢測(cè)存在的芯片缺陷的尺寸小、與背景對(duì)比度差異小、種類(lèi)多且特征差異細(xì)微，以及臟污與金屬缺陷的檢測(cè)與區(qū)分困難的技術(shù)問(wèn)題。

3、(二)技術(shù)方案

4、為了達(dá)到上述目的，本發(fā)明采用的主要技術(shù)方案包括：

5、第一方面，本發(fā)明實(shí)施例提供一種激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)方法，包括：

6、對(duì)獲取的芯片圖像數(shù)據(jù)進(jìn)行預(yù)處理；

7、利用改進(jìn)的yolov7網(wǎng)絡(luò)對(duì)預(yù)處理后的芯片圖像執(zhí)行臟污和/或金屬缺陷的粗定位，并在粗定位過(guò)程中確定和自適應(yīng)地調(diào)整用于區(qū)分檢測(cè)目標(biāo)尺寸的尺寸閾值；

8、若檢測(cè)目標(biāo)的尺寸大于尺寸閾值，則直接輸出粗定位階段的檢測(cè)結(jié)果，以作為芯片上臟污與金屬缺陷的最終判斷結(jié)果；

9、若檢測(cè)目標(biāo)的尺寸不大于尺寸閾值，則進(jìn)入第二階段處理，通過(guò)選用輕量級(jí)的mobilenet分類(lèi)網(wǎng)絡(luò)進(jìn)行細(xì)分類(lèi)，以獲得細(xì)分類(lèi)階段的檢測(cè)結(jié)果；

10、根據(jù)粗定位和細(xì)分類(lèi)兩個(gè)階段中的檢測(cè)結(jié)果，輸出芯片上臟污和/或金屬缺陷的最終判斷結(jié)果。

11、可選地，對(duì)獲取的芯片圖像數(shù)據(jù)進(jìn)行預(yù)處理包括：

12、獲取芯片圖像數(shù)據(jù)，并識(shí)別所獲取的芯片圖像的長(zhǎng)寬比；

13、若芯片圖像長(zhǎng)寬比大于預(yù)設(shè)閾值，則將芯片圖像裁剪成多段，使得每段圖像的尺寸接近1:1的比例；

14、對(duì)裁剪后的芯片圖像進(jìn)行顏色空間轉(zhuǎn)換，將圖像從rgb空間轉(zhuǎn)換到hsv顏色空間；

15、提取hsv顏色空間中的v通道圖像，并計(jì)算v通道圖像的像素值均值；

16、以預(yù)設(shè)的步長(zhǎng)為基準(zhǔn)，基于數(shù)據(jù)量確定圖像擴(kuò)增的次數(shù)；

17、根據(jù)數(shù)據(jù)量確定圖像擴(kuò)增的次數(shù)生成具有不同亮度值的圖像；

18、識(shí)別并分離出具有不同亮度值的圖像中的金屬缺陷區(qū)域；

19、針對(duì)金屬缺陷區(qū)域，在圖像維度上進(jìn)行包含旋轉(zhuǎn)、翻轉(zhuǎn)的數(shù)據(jù)量擴(kuò)增操作，以及在特征維度上，選取金屬缺陷的局部感興趣圖，并進(jìn)行自適應(yīng)的尺寸變換和特征融合處理，得到處理后的金屬缺陷特征子圖；

20、將處理后的金屬缺陷特征子圖以圖像粘貼的方式融合到背景子圖上，根據(jù)背景圖像的臟污比例確定貼圖的數(shù)量；

21、對(duì)粘貼在背景圖上的金屬缺陷進(jìn)行包含使用背景圖像對(duì)應(yīng)位置的像素填充缺陷邊緣，以及先對(duì)缺陷邊緣進(jìn)行圖像模糊處理再進(jìn)行圖像增強(qiáng)的邊緣處理。

22、可選地，利用改進(jìn)的yolov7網(wǎng)絡(luò)對(duì)預(yù)處理后的芯片圖像執(zhí)行臟污和/或金屬缺陷的粗定位，并在粗定位過(guò)程中確定和自適應(yīng)地調(diào)整用于區(qū)分檢測(cè)目標(biāo)尺寸的尺寸閾值包括：

23、選取yolov7作為基礎(chǔ)模型，并通過(guò)替換部分卷積模塊為ghost卷積和引入focalloss損失函數(shù)以構(gòu)建并訓(xùn)練改進(jìn)的yolov7網(wǎng)絡(luò)；

24、將預(yù)處理后的芯片圖像數(shù)據(jù)輸入到訓(xùn)練好的改進(jìn)后的yolov7網(wǎng)絡(luò)；

25、利用改進(jìn)后的yolov7網(wǎng)絡(luò)的主干特征提取部分進(jìn)行特征提取，得到多個(gè)尺度的特征層；

26、通過(guò)改進(jìn)后的yolov7網(wǎng)絡(luò)的特征融合網(wǎng)絡(luò)對(duì)多個(gè)尺度的特征層進(jìn)行自下而上和自上而下的特征融合，得到增強(qiáng)后的有效特征層；

27、對(duì)每個(gè)有效特征層進(jìn)行網(wǎng)格劃分，并使用先驗(yàn)框進(jìn)行預(yù)測(cè)，判斷網(wǎng)格中是否存在目標(biāo)，從而完成目標(biāo)的粗定位；

28、在粗定位過(guò)程中，根據(jù)檢測(cè)到的目標(biāo)尺寸分布，確定一個(gè)用于區(qū)分檢測(cè)目標(biāo)和非檢測(cè)目標(biāo)的尺寸閾值；

29、利用尺寸閾值對(duì)檢測(cè)到的目標(biāo)進(jìn)行篩選和分類(lèi)，將符合尺寸要求的目標(biāo)保留下來(lái)，作為粗定位的結(jié)果輸出；

30、通過(guò)統(tǒng)計(jì)分析粗定位階段的檢測(cè)結(jié)果的尺寸分布，或者根據(jù)預(yù)設(shè)的規(guī)則和條件進(jìn)行閾值的自動(dòng)調(diào)整，以確保尺寸閾值始終能夠適應(yīng)當(dāng)前檢測(cè)任務(wù)的需求。

31、可選地，focal?loss損失函數(shù)為：

32、focal?loss(pt)＝-αt(1-pt)γlog(pt)；

33、式中，pt是模型的預(yù)測(cè)概率值，αt是平衡樣本的權(quán)重，γ為調(diào)整難易樣本的權(quán)重，t為第t個(gè)類(lèi)別。

34、可選地，若檢測(cè)目標(biāo)的尺寸不大于尺寸閾值，則進(jìn)入第二階段處理，通過(guò)選用輕量級(jí)的mobilenet分類(lèi)網(wǎng)絡(luò)進(jìn)行細(xì)分類(lèi)，以獲得細(xì)分類(lèi)階段的檢測(cè)結(jié)果包括：

35、若檢測(cè)目標(biāo)的尺寸不大于閾值，自動(dòng)觸發(fā)第二階段處理流程；

36、在第二階段處理中，選用輕量級(jí)的mobilenet分類(lèi)網(wǎng)絡(luò)進(jìn)行細(xì)分類(lèi)任務(wù)，并通過(guò)采用倒殘差結(jié)構(gòu)、線性瓶頸結(jié)構(gòu)以及全局平均池化代替全連接層來(lái)配置優(yōu)化輕量級(jí)的mobilenet分類(lèi)網(wǎng)絡(luò)；

37、構(gòu)建帶權(quán)重的交叉熵?fù)p失函數(shù)，其中權(quán)重根據(jù)臟污和/或金屬缺陷在訓(xùn)練數(shù)據(jù)中的數(shù)據(jù)量比例來(lái)確定；

38、使用帶權(quán)重的交叉熵?fù)p失函數(shù)訓(xùn)練mobilenet分類(lèi)網(wǎng)絡(luò)，通過(guò)迭代優(yōu)化，不斷調(diào)整網(wǎng)絡(luò)參數(shù)，以最小化訓(xùn)練集上的損失函數(shù)值；

39、訓(xùn)練完成后，將預(yù)處理后的芯片圖像數(shù)據(jù)輸入到訓(xùn)練好的mobilenet分類(lèi)網(wǎng)絡(luò)中，利用mobilenet分類(lèi)網(wǎng)絡(luò)的深度可分離卷積、倒殘差結(jié)構(gòu)、線性瓶頸結(jié)構(gòu)以及全局平均池化進(jìn)行特征提取和分類(lèi)，得出細(xì)分類(lèi)階段的檢測(cè)結(jié)果。

40、可選地，帶權(quán)重的交叉熵?fù)p失函數(shù)為：

41、

42、式中，ωc是各類(lèi)別的權(quán)重，n為總目標(biāo)數(shù)，nc為各類(lèi)別目標(biāo)數(shù)，yc為真實(shí)概率，pc為預(yù)測(cè)概率，c為用于標(biāo)識(shí)當(dāng)前正在處理的類(lèi)別的索引，m是類(lèi)別的總數(shù)。

43、可選地，根據(jù)粗定位和細(xì)分類(lèi)兩個(gè)階段中的檢測(cè)結(jié)果，輸出芯片上臟污和/或金屬缺陷的最終判斷結(jié)果包括：

44、獲取并解析粗定位階段的目標(biāo)檢測(cè)結(jié)果，得到檢測(cè)到的臟污與金屬缺陷的邊界框坐標(biāo)、尺寸信息以及第一類(lèi)別標(biāo)簽；

45、對(duì)于小于尺寸閾值的檢測(cè)目標(biāo)，獲取并解析細(xì)分類(lèi)階段的目標(biāo)檢測(cè)結(jié)果，得到置信度評(píng)分和第二類(lèi)別標(biāo)簽；

46、將粗定位階段和細(xì)分類(lèi)階段的目標(biāo)檢測(cè)進(jìn)行對(duì)齊處理；

47、對(duì)于粗定位階段檢測(cè)到的每個(gè)臟污和/或金屬缺陷，根據(jù)邊界框坐標(biāo)和尺寸信息，在細(xì)分類(lèi)階段的結(jié)果中尋找相匹配的類(lèi)別標(biāo)簽；

48、若成功匹配，則將粗定位階段的第一類(lèi)別標(biāo)簽與細(xì)分類(lèi)階段的第二類(lèi)別標(biāo)簽進(jìn)行對(duì)比，選擇置信度更高的標(biāo)簽作為最終類(lèi)別標(biāo)簽；

49、若未成功匹配，則保留粗定位階段的目標(biāo)檢測(cè)結(jié)果；

50、整合每個(gè)缺陷的邊界框坐標(biāo)、尺寸信息、最終類(lèi)別標(biāo)簽和置信度評(píng)分，按照置信度降序排列，生成一個(gè)包含所有檢測(cè)到的臟污和/或金屬缺陷的缺陷列表；

51、對(duì)生成的缺陷列表進(jìn)行篩選，去除重復(fù)或冗余的檢測(cè)框，確保每個(gè)缺陷只被檢測(cè)并標(biāo)記一次；

52、根據(jù)篩選后的缺陷列表，輸出芯片上臟污與金屬缺陷的最終判斷結(jié)果。

53、第二方面，本發(fā)明實(shí)施例提供一種激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)系統(tǒng)，包括：

54、預(yù)處理模塊，用于對(duì)獲取的芯片圖像數(shù)據(jù)進(jìn)行預(yù)處理；

55、粗定位模塊，用于利用改進(jìn)的yolov7網(wǎng)絡(luò)對(duì)預(yù)處理后的芯片圖像執(zhí)行臟污和/或金屬缺陷的粗定位，并在粗定位過(guò)程中確定和自適應(yīng)地調(diào)整用于區(qū)分檢測(cè)目標(biāo)尺寸的尺寸閾值；若檢測(cè)目標(biāo)的尺寸大于尺寸閾值，則直接輸出粗定位階段的檢測(cè)結(jié)果，以作為芯片上臟污與金屬缺陷的最終判斷結(jié)果；

56、細(xì)分類(lèi)模塊，用于若檢測(cè)目標(biāo)的尺寸不大于尺寸閾值，則進(jìn)入第二階段處理，通過(guò)選用輕量級(jí)的mobilenet分類(lèi)網(wǎng)絡(luò)進(jìn)行細(xì)分類(lèi)，以獲得細(xì)分類(lèi)階段的檢測(cè)結(jié)果；根據(jù)粗定位和細(xì)分類(lèi)兩個(gè)階段中的檢測(cè)結(jié)果，輸出芯片上臟污和/或金屬缺陷的最終判斷結(jié)果。

57、第三方面，本發(fā)明實(shí)施例提供一種激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)設(shè)備，包括：

58、圖像采集裝置，用于采集芯片圖像數(shù)據(jù)；

59、控制器，與圖像采集裝置連接，配置為執(zhí)行如上所述的激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)方法。

60、第四方面，本發(fā)明實(shí)施例提供一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，可執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)方法。

61、(三)有益效果

62、本發(fā)明的有益效果是：本發(fā)明提供的激光芯片臟污和/或金屬缺陷的多階段自動(dòng)檢測(cè)方法，通過(guò)一系列精細(xì)化的處理流程，顯著提升了檢測(cè)與分類(lèi)的準(zhǔn)確性和效率。

63、具體而言，首先對(duì)獲取的芯片圖像數(shù)據(jù)進(jìn)行預(yù)處理，有效消除了圖像中的噪聲和干擾因素，為后續(xù)處理奠定了堅(jiān)實(shí)基礎(chǔ)。接著，利用改進(jìn)的yolov7網(wǎng)絡(luò)對(duì)預(yù)處理后的芯片圖像進(jìn)行臟污和/或金屬缺陷的粗定位，并在這一過(guò)程中智能地確定和調(diào)整尺寸閾值，從而實(shí)現(xiàn)了對(duì)不同尺寸目標(biāo)的靈活應(yīng)對(duì)。這種粗定位機(jī)制不僅提高了檢測(cè)速度，還能在目標(biāo)尺寸較大時(shí)直接輸出準(zhǔn)確結(jié)果，避免了不必要的后續(xù)處理。

64、進(jìn)一步地，本發(fā)明在粗定位階段后增加了細(xì)分類(lèi)處理。對(duì)于尺寸大于閾值的檢測(cè)目標(biāo)，直接輸出粗定位結(jié)果，簡(jiǎn)化了處理流程。而當(dāng)檢測(cè)目標(biāo)的尺寸不大于設(shè)定的尺寸閾值時(shí)，本發(fā)明會(huì)進(jìn)一步進(jìn)入第二階段處理。在這一階段，通過(guò)選用輕量級(jí)的mobilenet分類(lèi)網(wǎng)絡(luò)進(jìn)行細(xì)分類(lèi)，能夠針對(duì)微小目標(biāo)進(jìn)行更為精確地分析和判斷。這種分階段的處理策略，不僅保證了檢測(cè)與分類(lèi)的全面性，還有效平衡了計(jì)算資源和處理效率。

65、最終，根據(jù)粗定位和細(xì)分類(lèi)兩個(gè)階段中的檢測(cè)結(jié)果，本發(fā)明能夠綜合輸出芯片上臟污和/或金屬缺陷的最終判斷結(jié)果。這一綜合性判斷結(jié)果充分融合了各階段的處理優(yōu)勢(shì)，既保證了準(zhǔn)確性，又兼顧了實(shí)時(shí)性，其不僅解決了臟污與金屬缺陷兩類(lèi)微小目標(biāo)的檢測(cè)與分類(lèi)難題，還為激光芯片的質(zhì)量控制提供了有力支持，具有顯著的實(shí)際應(yīng)用價(jià)值。