本發(fā)明涉及圖像處理，尤其涉及一種激光芯片熱沉圖像優(yōu)化處理方法、系統(tǒng)、設(shè)備以及介質(zhì)。

背景技術(shù)：

1、在芯片制造領(lǐng)域，隨著設(shè)計(jì)的復(fù)雜性和工藝的多樣化，每個(gè)生產(chǎn)批次的芯片產(chǎn)出量受到限制，進(jìn)而造成可用于模型訓(xùn)練的樣本數(shù)據(jù)量顯著不足。直接使用這些有限的數(shù)據(jù)進(jìn)行模型訓(xùn)練，往往會(huì)導(dǎo)致模型的泛化能力受限，容易出現(xiàn)過擬合的問題。盡管小樣本學(xué)習(xí)方法能在一定程度上緩解此問題，但其效果仍然無法與基于大量數(shù)據(jù)的訓(xùn)練相媲美。這種情況下，客戶的芯片可能因模型誤判而遭受大量損失。

2、此外，芯片制造過程中的每道工序都可能引入較大的波動(dòng)，這些波動(dòng)會(huì)直接影響到最終芯片的質(zhì)量。例如，外部材料的不同可能導(dǎo)致芯片發(fā)光顏色的差異，或工藝上的小批量失誤可能產(chǎn)生不良品。這些質(zhì)量波動(dòng)會(huì)要求在模型訓(xùn)練中提前考慮并加入相應(yīng)的缺陷樣本。

3、同時(shí)，不同型號(hào)的芯片具有各異的特性和缺陷模式，這要求針對(duì)每種型號(hào)的芯片訓(xùn)練特定的檢測(cè)模型。然而，由于每種型號(hào)芯片的樣本數(shù)量有限，直接訓(xùn)練專用模型變得不切實(shí)際，此時(shí)數(shù)據(jù)增強(qiáng)技術(shù)的重要性凸顯出來。

4、另外，檢測(cè)設(shè)備的多樣性和成像過程中的諸多因素(如光線條件、拍攝角度等)會(huì)導(dǎo)致圖像質(zhì)量的差異。這種差異使得模型在訓(xùn)練時(shí)難以覆蓋所有可能的情況，從而導(dǎo)致檢測(cè)結(jié)果的不一致性，增加漏檢和誤判的風(fēng)險(xiǎn)，最終影響整體的產(chǎn)品良品率。

5、再者，熱沉的粗糙度不一致以及表面缺陷的識(shí)別難度，給模型訓(xùn)練帶來了極大的挑戰(zhàn)，這也是導(dǎo)致模型效果不佳的重要因素。

技術(shù)實(shí)現(xiàn)思路

1、(一)要解決的技術(shù)問題

2、鑒于現(xiàn)有技術(shù)的上述缺點(diǎn)、不足，本發(fā)明提供一種激光芯片熱沉圖像優(yōu)化處理方法、系統(tǒng)、設(shè)備以及介質(zhì)，其解決了激光芯片熱沉的粗糙程度不一致，表面缺陷難以分清，工藝過程中的復(fù)雜程度，芯片類型、缺陷種類較多帶來的識(shí)別難度的技術(shù)問題。

3、(二)技術(shù)方案

4、為了達(dá)到上述目的，本發(fā)明采用的主要技術(shù)方案包括：

5、第一方面，本發(fā)明實(shí)施例提供一種激光芯片熱沉圖像優(yōu)化處理方法，包括：

6、從待處理的熱沉圖像中識(shí)別并提取缺陷子圖；

7、重構(gòu)缺陷子圖的像素值以均衡灰度級(jí)分布，并引入頂帽變換和濾波器來優(yōu)化調(diào)整缺陷子圖，輸出優(yōu)化處理后的缺陷子圖；

8、對(duì)優(yōu)化處理后的缺陷子圖進(jìn)行至少一種圖像增強(qiáng)處理；

9、響應(yīng)于用戶的融合指令，將增強(qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行融合，以實(shí)現(xiàn)單個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的多個(gè)區(qū)域或者多個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的單個(gè)區(qū)域。

10、可選地，從待處理的熱沉圖像中識(shí)別并提取缺陷子圖包括：

11、對(duì)待處理的熱沉圖像進(jìn)行包含去噪和平滑濾波的預(yù)處理；

12、通過canny算法，計(jì)算預(yù)處理之后的待處理的熱沉圖像中每個(gè)像素點(diǎn)的梯度強(qiáng)度和方向，以確定邊緣的候選點(diǎn)；

13、根據(jù)設(shè)定的高低閾值，確定包含強(qiáng)邊緣和弱邊緣的邊緣和非邊緣；其中，非邊緣是指梯度強(qiáng)度低于低閾值的邊緣像素點(diǎn)，強(qiáng)邊緣是指梯度強(qiáng)度高于高閾值的邊緣像素點(diǎn)，弱邊緣是指梯度強(qiáng)度位于低閾值和高閾值之間且八鄰域像素的邊緣像素點(diǎn)和非邊緣像素占比大于設(shè)定占比的邊緣像素點(diǎn)；

14、從強(qiáng)邊緣開始，進(jìn)行邊緣跟蹤，并將與強(qiáng)邊緣相連的弱邊緣納入邊緣輪廓中，從而形成最終的邊緣點(diǎn)集合；

15、基于最終的邊緣點(diǎn)集合，結(jié)合獲取的熱沉圖像的先驗(yàn)知識(shí)，確定包含潛在缺陷的roi區(qū)域，以生成缺陷子圖。

16、可選地，重構(gòu)缺陷子圖的像素值以均衡灰度級(jí)分布包括：

17、計(jì)算缺陷子圖的灰度直方圖，通過遍歷缺陷子圖的每個(gè)像素并記錄對(duì)應(yīng)的灰度值，得到各個(gè)灰度級(jí)的像素?cái)?shù)量；

18、分析灰度直方圖的分布特征，識(shí)別出灰度峰值區(qū)域和谷值區(qū)域；

19、根據(jù)灰度峰值區(qū)域和谷值區(qū)域和各個(gè)灰度級(jí)的像素?cái)?shù)量，并引入一個(gè)調(diào)整項(xiàng)，確定映射函數(shù)；

20、采用所確定的映射函數(shù)對(duì)缺陷子圖進(jìn)行逐像素分配處理，將每個(gè)像素的灰度值映射到新的灰度值上，以重構(gòu)缺陷子圖；

21、其中，映射函數(shù)為：

22、

23、式中，sk是輸出圖像的灰度級(jí)，t是映射函數(shù)，rk是輸入圖像的灰度級(jí)，k為灰度級(jí)索引，nk為是灰度級(jí)為k的像素?cái)?shù)量，nj為是灰度級(jí)為j的像素?cái)?shù)量，ni為是灰度級(jí)為i的像素?cái)?shù)量，n是圖像中的總像素?cái)?shù)量，l是灰度級(jí)的數(shù)量。

24、可選地，并引入頂帽變換和濾波器來優(yōu)化調(diào)整缺陷子圖，輸出優(yōu)化處理后的缺陷子圖包括：

25、將重構(gòu)后的缺陷子圖劃分為若干個(gè)局部區(qū)域，對(duì)于每個(gè)局部區(qū)域，計(jì)算包含平均值、中位數(shù)以及標(biāo)準(zhǔn)差的灰度特征值；

26、利用計(jì)算得到的灰度特征值，動(dòng)態(tài)確定每個(gè)局部區(qū)域?qū)?yīng)的結(jié)構(gòu)元素的尺寸；

27、根據(jù)每個(gè)局部區(qū)域?qū)?yīng)的結(jié)構(gòu)元素對(duì)對(duì)應(yīng)的局部區(qū)域進(jìn)行開運(yùn)算，從而得到背景估計(jì)圖；

28、將缺陷子圖與經(jīng)過開操作得到的背景估計(jì)圖進(jìn)行逐像素相減，得到初步處理的缺陷子圖；

29、采用gabor濾波器對(duì)初步處理的缺陷子圖進(jìn)行濾波處理以響應(yīng)圖像中的邊緣信息，輸出優(yōu)化處理后的缺陷子圖；

30、其中，gabor濾波器為：

31、

32、式中，x'＝xcosθ+ysinθ,y'＝-xsinθ+ycosθ，λ為濾波器的波長(zhǎng)、θ為濾波器紋理的方向、ψ為濾波器的相位偏移、γ為濾波器的空間寬高比，σ為濾波器的變異率，i為虛數(shù)單位，x和y分別代表圖像中的水平和垂直位置。

33、可選地，對(duì)優(yōu)化處理后的缺陷子圖進(jìn)行至少一種圖像增強(qiáng)處理包括：

34、計(jì)算優(yōu)化處理后的缺陷子圖的均值；

35、根據(jù)均值設(shè)置相應(yīng)的gamma值，其中，當(dāng)均值大于某一預(yù)設(shè)閾值時(shí)，設(shè)置gamma值在1.0以上，當(dāng)缺陷子圖的均值小于另一預(yù)設(shè)閾值時(shí)，設(shè)置gamma值在0至1.0之間；

36、采用所設(shè)置的gamma值對(duì)缺陷子圖進(jìn)行g(shù)amma矯正，得到gamma矯正后的缺陷子圖；

37、對(duì)gamma矯正后的缺陷子圖進(jìn)行對(duì)數(shù)變換，將圖像的乘性關(guān)系轉(zhuǎn)換為加性關(guān)系，以分離亮度和反射率；

38、對(duì)對(duì)數(shù)變換后的缺陷子圖進(jìn)行快速傅里葉變換，并對(duì)高頻成分進(jìn)行增強(qiáng)；

39、對(duì)增強(qiáng)后的圖像進(jìn)行逆傅里葉變換，并進(jìn)行指數(shù)變換，得到同態(tài)濾波處理后的缺陷子圖；

40、選擇旋轉(zhuǎn)變換、縮放變換或翻轉(zhuǎn)變換中的一種或多種對(duì)同態(tài)濾波處理后的缺陷子圖進(jìn)行空間位置、形狀或方向的調(diào)整，得到圖像增強(qiáng)處理后的缺陷子圖。

41、可選地，響應(yīng)于用戶的融合指令，將增強(qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行融合，以實(shí)現(xiàn)單個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的多個(gè)區(qū)域或者多個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的單個(gè)區(qū)域包括：

42、接收并解析用戶輸入的融合指令，確定待融合的缺陷子圖、選定的背景圖像、融合的區(qū)域以及融合的方式；

43、根據(jù)融合指令，從缺陷子圖中提取選定區(qū)域內(nèi)的包含缺陷的形狀、大小、顏色以及紋理的缺陷信息；

44、若融合的方式為單個(gè)缺陷子圖融合到背景圖像的多個(gè)區(qū)域，則將選定的缺陷子圖分割或復(fù)制，以確保每個(gè)待融合區(qū)域都有對(duì)應(yīng)的缺陷信息；

45、若融合的方式為多個(gè)缺陷子圖融合到單個(gè)區(qū)域，則對(duì)每個(gè)子圖進(jìn)行至少尺寸和位置的調(diào)整，以確保能夠無縫拼接在選定的背景圖像內(nèi)；

46、根據(jù)融合指令或預(yù)設(shè)規(guī)則，在選定的背景圖像上標(biāo)定出一個(gè)或多個(gè)區(qū)域作為待融合區(qū)域；

47、施加融合操作，若融合的方式為單個(gè)缺陷子圖融合到背景圖像的多個(gè)區(qū)域，則將所選缺陷子圖的不同部分分別映射到背景圖像的對(duì)應(yīng)區(qū)域；若多個(gè)缺陷子圖融合到背景圖像的單個(gè)區(qū)域，則采用預(yù)設(shè)的疊加或組合策略，將多個(gè)缺陷子圖在選定的背景圖像區(qū)域內(nèi)進(jìn)行合并；

48、若檢測(cè)到重復(fù)融合的情況，即待融合的缺陷特征圖與已融合的缺陷特征圖相似或相同，則自動(dòng)提示用戶，并根據(jù)用戶的反饋進(jìn)行調(diào)整或替換；

49、將融合后的圖像輸出到指定的顯示設(shè)備或存儲(chǔ)介質(zhì)中。

50、可選地，采用預(yù)設(shè)的疊加或組合策略，將多個(gè)缺陷子圖在選定的背景圖像區(qū)域內(nèi)進(jìn)行合并包括：

51、將缺陷子圖的色彩空間映射到背景圖像的色彩空間；

52、通過圖像配準(zhǔn)，將多個(gè)缺陷子圖與背景圖像在空間和尺度上的對(duì)齊；

53、為每個(gè)對(duì)齊后的缺陷子圖創(chuàng)建一個(gè)獨(dú)立的可編輯屬性的圖層；

54、分析各缺陷子圖之間的包含位置關(guān)系、形狀相似性、顏色以及對(duì)比度的關(guān)聯(lián)指標(biāo)，基于預(yù)設(shè)的評(píng)估標(biāo)準(zhǔn)和關(guān)聯(lián)指標(biāo)，輸出圖層的疊加順序；

55、按照?qǐng)D層的疊加順序?qū)⒍鄠€(gè)缺陷子圖以不同的圖層形式疊加到同一背景圖像區(qū)域；

56、給用戶展示實(shí)時(shí)預(yù)覽融合結(jié)果，根據(jù)用戶的反饋或預(yù)設(shè)條件實(shí)時(shí)調(diào)整各圖層的疊加順序和透明度。

57、第二方面，本發(fā)明實(shí)施例提供一種激光芯片熱沉圖像優(yōu)化處理系統(tǒng)，包括：

58、識(shí)別與提取模塊，用于從待處理的熱沉圖像中識(shí)別并提取缺陷子圖；

59、優(yōu)化處理模塊，用于重構(gòu)缺陷子圖的像素值以均衡灰度級(jí)分布，并引入頂帽變換和濾波器來優(yōu)化調(diào)整缺陷子圖，輸出優(yōu)化處理后的缺陷子圖；

60、圖像增強(qiáng)模塊，用于對(duì)優(yōu)化處理后的缺陷子圖進(jìn)行至少一種圖像增強(qiáng)處理；

61、圖像融合模塊，用于響應(yīng)于用戶的融合指令，將增強(qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行融合，以實(shí)現(xiàn)單個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的多個(gè)區(qū)域或者多個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的單個(gè)區(qū)域。

62、第三方面，本發(fā)明實(shí)施例提供一種激光芯片熱沉圖像優(yōu)化處理設(shè)備，包括：至少一個(gè)數(shù)據(jù)庫；以及與至少一個(gè)數(shù)據(jù)庫通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)數(shù)據(jù)庫執(zhí)行的指令，指令被至少一個(gè)數(shù)據(jù)庫執(zhí)行，以使至少一個(gè)數(shù)據(jù)庫能夠執(zhí)行如上所述的激光芯片熱沉圖像優(yōu)化處理方法。

63、第四方面，本發(fā)明實(shí)施例提供一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，可執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的激光芯片熱沉圖像優(yōu)化處理方法。

64、(三)有益效果

65、本發(fā)明的有益效果是：

66、首先，本發(fā)明通過精準(zhǔn)識(shí)別并提取待處理熱沉圖像中的缺陷子圖，為后續(xù)的圖像分析和缺陷定位提供了堅(jiān)實(shí)基礎(chǔ)。這一步驟的有效性得益于算法對(duì)邊緣特征的完善捕捉和對(duì)閉合輪廓的準(zhǔn)確檢測(cè)，從而確保了提取出的缺陷子圖具有高度的代表性和真實(shí)性。

67、進(jìn)一步地，本發(fā)明采用重構(gòu)缺陷子圖像素值的方式，均衡了灰度級(jí)分布。這一處理不僅增強(qiáng)了圖像的整體對(duì)比度，還顯著提升了細(xì)節(jié)表達(dá)能力。特別是對(duì)于那些原本在圖像中較為暗淡或被遮蔽的區(qū)域，通過這一處理，其特征得到了有效突出，為后續(xù)的分析和判斷提供了更為豐富的信息。

68、值得一提的是，本發(fā)明還創(chuàng)新性地引入了頂帽變換和濾波器，對(duì)缺陷子圖的亮暗區(qū)域分布、對(duì)比度以及明亮度進(jìn)行了精細(xì)化調(diào)整。這種優(yōu)化處理不僅進(jìn)一步改善了圖像的視覺效果，還使得缺陷特征更加清晰可辨。這對(duì)于后續(xù)的質(zhì)量評(píng)估、缺陷分類以及工藝改進(jìn)等環(huán)節(jié)具有重要意義。

69、此外，本發(fā)明還提供了圖像增強(qiáng)處理選項(xiàng)，對(duì)已經(jīng)優(yōu)化處理后的缺陷子圖進(jìn)行進(jìn)一步的強(qiáng)化。這種增強(qiáng)處理可以根據(jù)實(shí)際需求進(jìn)行靈活選擇，從而確保輸出的圖像能夠滿足不同應(yīng)用場(chǎng)景下的具體要求。

70、最后，響應(yīng)于用戶的融合指令，本發(fā)明能夠?qū)⒃鰪?qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行高效融合。這種融合方式既支持單個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的多個(gè)區(qū)域，也支持多個(gè)增強(qiáng)后的缺陷子圖融合到背景圖像的單個(gè)區(qū)域。這種靈活性不僅提升了圖像處理的效率和便捷性，還為用戶提供了更為多樣化的展示和分析選項(xiàng)。

71、由此，本發(fā)明通過精準(zhǔn)識(shí)別、優(yōu)化調(diào)整、增強(qiáng)處理以及靈活融合等一系列創(chuàng)新步驟，顯著提升了激光芯片熱沉圖像的處理效果，為激光芯片行業(yè)的缺陷檢測(cè)、質(zhì)量控制以及工藝改進(jìn)等關(guān)鍵環(huán)節(jié)提供了強(qiáng)有力的技術(shù)支持。