本發(fā)明涉及視覺識別技術(shù)，尤其涉及一種基于ai視覺識別的智能工業(yè)質(zhì)檢方法及系統(tǒng)。

背景技術(shù)：

1、隨著工業(yè)自動化水平的不斷提高，工業(yè)生產(chǎn)中對產(chǎn)品質(zhì)量的要求也越來越嚴(yán)格。傳統(tǒng)的工業(yè)質(zhì)檢主要依賴人工檢測，存在效率低、準(zhǔn)確性不高、主觀性強(qiáng)等問題。為了解決這些問題，各種自動化質(zhì)檢技術(shù)不斷涌現(xiàn)，其中基于機(jī)器視覺的質(zhì)檢技術(shù)因其非接觸性、高效性和客觀性等優(yōu)點(diǎn)而得到廣泛應(yīng)用。然而，傳統(tǒng)的機(jī)器視覺質(zhì)檢技術(shù)主要依賴人工設(shè)計的特征提取和缺陷識別算法，面臨著算法設(shè)計復(fù)雜、適應(yīng)性差、泛化能力弱等挑戰(zhàn)。近年來，人工智能技術(shù)的快速發(fā)展為工業(yè)質(zhì)檢領(lǐng)域帶來了新的機(jī)遇?；谏疃葘W(xué)習(xí)的ai視覺識別技術(shù)通過自動學(xué)習(xí)數(shù)據(jù)中的特征表示，克服了傳統(tǒng)方法的局限性，在工業(yè)質(zhì)檢中顯示出巨大的應(yīng)用潛力。

2、盡管基于ai視覺識別的智能工業(yè)質(zhì)檢技術(shù)取得了一定進(jìn)展，但仍然存在一些挑戰(zhàn)和不足，如對缺陷的精細(xì)識別和分類、對復(fù)雜工業(yè)環(huán)境的適應(yīng)性以及如何提升模型的效率和性能等。因此，亟需進(jìn)一步研究和發(fā)展創(chuàng)新的ai視覺識別技術(shù)，以滿足工業(yè)質(zhì)檢的高標(biāo)準(zhǔn)要求。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種基于ai視覺識別的智能工業(yè)質(zhì)檢方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實施例的第一方面，

3、提供一種基于ai視覺識別的智能工業(yè)質(zhì)檢方法，包括：

4、在邊緣端將采集的工業(yè)產(chǎn)品圖像輸入至預(yù)先訓(xùn)練的缺陷區(qū)域檢測模型中，通過區(qū)域建議網(wǎng)絡(luò)生成多個候選缺陷區(qū)域，并通過全連接層對各個候選缺陷區(qū)域進(jìn)行缺陷判斷和邊界框回歸，得到缺陷區(qū)域檢測結(jié)果；

5、根據(jù)缺陷區(qū)域檢測結(jié)果提取缺陷區(qū)域特征，并進(jìn)行降維處理得到壓縮后的缺陷區(qū)域特征，根據(jù)自適應(yīng)任務(wù)卸載策略，結(jié)合邊緣設(shè)備的工作數(shù)據(jù)，決定將缺陷分類任務(wù)卸載到云端，或直接在邊緣端進(jìn)行缺陷分類；

6、若決定將缺陷分類任務(wù)卸載到云端，則將壓縮后的缺陷區(qū)域特征通過網(wǎng)絡(luò)傳輸?shù)皆贫?，在云端采用預(yù)訓(xùn)練的缺陷分類模型進(jìn)行缺陷類型識別，輸出缺陷區(qū)域的分類結(jié)果，并將分類結(jié)果返回給邊緣端，結(jié)合缺陷區(qū)域檢測結(jié)果和缺陷區(qū)域的分類結(jié)果，生成缺陷可視化效果圖和質(zhì)檢報告。

7、在一種可選的實施例中，

8、在邊緣端將采集的工業(yè)產(chǎn)品圖像輸入至預(yù)先訓(xùn)練的缺陷區(qū)域檢測模型中之前還包括：

9、訓(xùn)練缺陷區(qū)域檢測模型，對于每個訓(xùn)練迭代，從訓(xùn)練集中隨機(jī)選擇一批待訓(xùn)練的圖像樣本，對于每個待訓(xùn)練的圖像樣本的像素值進(jìn)行隨機(jī)擾動，生成初始對抗樣本，對所述初始對抗樣本進(jìn)行迭代優(yōu)化；

10、在每個迭代步驟中，計算當(dāng)前對抗樣本在缺陷區(qū)域檢測模型上的對抗損失函數(shù)的梯度，并將其規(guī)范化為單位長度，根據(jù)規(guī)范化后的梯度更新當(dāng)前的擾動，將更新后的擾動添加到原始待訓(xùn)練的圖像樣本上，得到新的對抗樣本，重復(fù)迭代直到滿足預(yù)設(shè)條件，輸出目標(biāo)對抗樣本；

11、將輸出的目標(biāo)對抗樣本與原始待訓(xùn)練的圖像樣本一起輸入到缺陷區(qū)域檢測模型中進(jìn)行訓(xùn)練，分別計算目標(biāo)對抗樣本的第一損失函數(shù)和原始待訓(xùn)練圖像的第二損失函數(shù)，融合第一損失函數(shù)和第二損失函數(shù)，得到綜合訓(xùn)練損失；

12、根據(jù)綜合訓(xùn)練損失，利用參數(shù)更新算法對缺陷區(qū)域檢測模型的參數(shù)進(jìn)行更新，重復(fù)缺陷區(qū)域檢測模型的參數(shù)更新步驟，直到滿足預(yù)設(shè)的終止條件，得到訓(xùn)練好的缺陷區(qū)域檢測模型。

13、在一種可選的實施例中，

14、利用參數(shù)更新算法對缺陷區(qū)域檢測模型的參數(shù)進(jìn)行更新的計算公式如下：

15、

16、其中，θ*表示更新后的參數(shù)，θ表示初始模型參數(shù)，λ表示學(xué)習(xí)率，β1表示控制一階矩估計的指數(shù)衰減率，m表示一階矩估計，表示綜合訓(xùn)練損失對模型參數(shù)的梯度，表示在第t輪迭代中一階矩估計的衰減系數(shù)，t表示當(dāng)前的迭代次數(shù)，β2表示控制二階矩估計的指數(shù)衰減率，v表示二階矩估計，表示在第t輪迭代中二階矩估計的衰減系數(shù)，ε表示常參數(shù)。

17、在一種可選的實施例中，

18、根據(jù)自適應(yīng)任務(wù)卸載策略，結(jié)合邊緣設(shè)備的工作數(shù)據(jù)，決定將缺陷分類任務(wù)卸載到云端，或直接在邊緣端進(jìn)行缺陷分類包括：

19、將任務(wù)卸載問題建模為馬爾可夫決策過程，定義狀態(tài)空間、動作空間和獎勵函數(shù)，所述狀態(tài)空間包括邊緣端設(shè)備狀態(tài)、網(wǎng)絡(luò)狀態(tài)和任務(wù)狀態(tài)，所述動作空間包括在本地邊緣端執(zhí)行缺陷分類任務(wù)或?qū)⑷毕莘诸惾蝿?wù)卸載到云端執(zhí)行兩種動作，所述獎勵函數(shù)綜合考慮任務(wù)執(zhí)行時間、能耗和網(wǎng)絡(luò)開銷；

20、采用深度強(qiáng)化學(xué)習(xí)算法求解馬爾可夫決策過程，計算初始值函數(shù)網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)，并通過最小化任務(wù)卸載損失更新初始值函數(shù)網(wǎng)絡(luò)參數(shù)，重復(fù)迭代直到滿足預(yù)設(shè)的終止條件，最終輸出最優(yōu)卸載策略；

21、在實際系統(tǒng)運(yùn)行時，實時獲取系統(tǒng)當(dāng)前的狀態(tài)觀測值，將其輸入到馬爾可夫決策過程中，得到最優(yōu)卸載策略，根據(jù)最優(yōu)卸載策略將缺陷分類任務(wù)在本地執(zhí)行或卸載到云端，其中，狀態(tài)觀測值包括邊緣設(shè)備的計算資源和能量狀態(tài)、網(wǎng)絡(luò)狀況以及待處理任務(wù)的特性。

22、在一種可選的實施例中，

23、所述方法還包括：

24、若決定在邊緣端進(jìn)行缺陷分類，則在邊緣端設(shè)計輕量級卷積神經(jīng)網(wǎng)絡(luò)作為第一分類模型，并基于壓縮后的缺陷區(qū)域特征構(gòu)建缺陷數(shù)據(jù)集，將云端部署的缺陷分類模型作為第二分類模型；

25、利用第二分類模型對缺陷數(shù)據(jù)集進(jìn)行推理，得到每個樣本數(shù)據(jù)在不同缺陷類別上的軟標(biāo)簽，所述軟標(biāo)簽包括第二分類模型對樣本類別的預(yù)測置信度信息；

26、將第二分類模型的軟標(biāo)簽作為額外監(jiān)督信號訓(xùn)練第一分類模型，通過計算第一分類模型的預(yù)測結(jié)果和真實值之間的交叉熵?fù)p失，以及第一分類模型的預(yù)測結(jié)果與第二分類模型的軟標(biāo)簽之間的散度，得到第一分類模型的綜合分類損失函數(shù)，通過最小化綜合分類損失函數(shù)，得到最終訓(xùn)練好的第一分類模型；

27、將壓縮后的缺陷區(qū)域特征輸入至訓(xùn)練好的第一分類模型中，輸出缺陷區(qū)域的分類結(jié)果。

28、在一種可選的實施例中，

29、所述綜合分類損失函數(shù)的計算公式如下：

30、

31、其中，l表示綜合分類損失函數(shù)，n表示樣本集合，i表示樣本索引，α表示平衡真實損失和軟標(biāo)簽損失的權(quán)重系數(shù)，ce(·)表示第一分類模型的預(yù)測結(jié)果和真實值之間的交叉熵?fù)p失，yi表示第i個樣本對應(yīng)的真實類別標(biāo)簽，表示第一分類模型對第i個樣本的預(yù)測概率，s表示第一分類模型，τ表示控制軟標(biāo)簽的平滑程度的參數(shù)，kl(·)表示第一分類模型的預(yù)測結(jié)果與第二分類模型的軟標(biāo)簽之間的散度，表示第i個樣本的第二分類模型軟標(biāo)簽，t表示第二分類模型。

32、在一種可選的實施例中，

33、將壓縮后的缺陷區(qū)域特征通過網(wǎng)絡(luò)傳輸?shù)皆贫?，在云端采用預(yù)訓(xùn)練的缺陷分類模型進(jìn)行缺陷類型識別，輸出缺陷區(qū)域的分類結(jié)果包括：

34、將缺陷區(qū)域視為圖結(jié)構(gòu)中的節(jié)點(diǎn)，節(jié)點(diǎn)的特征包括缺陷區(qū)域的圖像屬性，將缺陷區(qū)域之間的空間鄰接關(guān)系作為邊，邊的權(quán)重反映缺陷區(qū)域之間的相似性，構(gòu)建圖結(jié)構(gòu)；

35、構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)，包括圖卷積層、池化層和分類層，其中，圖卷積層接收上一層輸出的節(jié)點(diǎn)特征矩陣和圖的鄰接矩陣，通過聚合每個節(jié)點(diǎn)的鄰域信息并應(yīng)用卷積操作，更新節(jié)點(diǎn)的特征表示；注意力池化層通過學(xué)習(xí)每個節(jié)點(diǎn)的重要性權(quán)重，自適應(yīng)地聚合圖卷積層輸出的節(jié)點(diǎn)特征，得到圖級別的特征表示；分類層將注意力池化層輸出的圖級別的特征表示輸入到全連接神經(jīng)網(wǎng)絡(luò)，生成缺陷類別的概率分布；

36、將壓縮后的缺陷區(qū)域特征轉(zhuǎn)化為圖結(jié)構(gòu)表示，輸入到訓(xùn)練好的圖卷積神經(jīng)網(wǎng)絡(luò)中，得到缺陷類別的預(yù)測概率分布，選擇預(yù)測概率分布中最高的類別作為最終的分類結(jié)果。

37、本發(fā)明實施例的第二方面，

38、通過一種基于ai視覺識別的智能工業(yè)質(zhì)檢系統(tǒng)，包括：

39、第一單元，用于在邊緣端將采集的工業(yè)產(chǎn)品圖像輸入至預(yù)先訓(xùn)練的缺陷區(qū)域檢測模型中，通過區(qū)域建議網(wǎng)絡(luò)生成多個候選缺陷區(qū)域，并通過全連接層對各個候選缺陷區(qū)域進(jìn)行缺陷判斷和邊界框回歸，得到缺陷區(qū)域檢測結(jié)果；

40、第二單元，用于根據(jù)缺陷區(qū)域檢測結(jié)果提取缺陷區(qū)域特征，并進(jìn)行降維處理得到壓縮后的缺陷區(qū)域特征，根據(jù)自適應(yīng)任務(wù)卸載策略，結(jié)合邊緣設(shè)備的工作數(shù)據(jù)，決定將缺陷分類任務(wù)卸載到云端，或直接在邊緣端進(jìn)行缺陷分類；

41、第三單元，用于若決定將缺陷分類任務(wù)卸載到云端，則將壓縮后的缺陷區(qū)域特征通過網(wǎng)絡(luò)傳輸?shù)皆贫耍谠贫瞬捎妙A(yù)訓(xùn)練的缺陷分類模型進(jìn)行缺陷類型識別，輸出缺陷區(qū)域的分類結(jié)果，并將分類結(jié)果返回給邊緣端，結(jié)合缺陷區(qū)域檢測結(jié)果和缺陷區(qū)域的分類結(jié)果，生成缺陷可視化效果圖和質(zhì)檢報告。

42、本發(fā)明實施例的第三方面，

43、提供一種電子設(shè)備，包括：

44、處理器；

45、用于存儲處理器可執(zhí)行指令的存儲器；

46、其中，所述處理器被配置為調(diào)用所述存儲器存儲的指令，以執(zhí)行前述所述的方法。

47、本發(fā)明實施例的第四方面，

48、提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序指令，所述計算機(jī)程序指令被處理器執(zhí)行時實現(xiàn)前述所述的方法。

49、在本實施例中，通過采用深度學(xué)習(xí)的目標(biāo)檢測模型，可以準(zhǔn)確檢測出工業(yè)產(chǎn)品圖像中的缺陷區(qū)域，并給出每個缺陷區(qū)域的邊界框坐標(biāo)，實現(xiàn)對缺陷的高精度定位。通過對檢測到的缺陷區(qū)域進(jìn)行特征提取和降維處理，可以得到壓縮后的缺陷特征，降低了網(wǎng)絡(luò)傳輸和云端計算的開銷，提高了系統(tǒng)效率。采用自適應(yīng)任務(wù)卸載策略，根據(jù)邊緣設(shè)備的工作狀態(tài)動態(tài)決定是在邊緣端還是云端進(jìn)行缺陷分類，實現(xiàn)了云端和邊緣端的協(xié)同工作，提高了系統(tǒng)的靈活性和可擴(kuò)展性。在云端采用預(yù)訓(xùn)練的缺陷分類模型對壓縮的缺陷特征進(jìn)行分類，可以高精度地識別出缺陷的具體類型，為后續(xù)的質(zhì)量分析和決策提供重要依據(jù)。通過將計算量大的缺陷分類任務(wù)卸載到云端，降低了邊緣設(shè)備的計算壓力，同時利用了云端的強(qiáng)大計算能力，實現(xiàn)了邊緣和云端的高效協(xié)同計算，同時實現(xiàn)了工業(yè)產(chǎn)品缺陷的高效檢測、分類和可視化。