一種基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，包括工控機、同軸光源、CCD工業(yè)相機、圖像采集卡和剔除機構(gòu)；同軸光源和剔除機構(gòu)均與工控機相連；CCD工業(yè)相機通過圖像采集卡與工控機相連；其中：同軸光源用于為待檢測的工件提供漫反射光源；CCD工業(yè)相機用于拍攝處于檢測工位的工件的圖像；剔除機構(gòu)用于從生產(chǎn)線上剔除通過檢測存在缺陷的工件；工控機中具有基于圖像處理的缺陷檢測模塊；該系統(tǒng)檢測效率高，易于實施。
【專利說明】
一種基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于自動檢測領(lǐng)域，特別涉及一種基于圖像處理的工件外觀缺陷的視覺檢 測系統(tǒng)。
【背景技術(shù)】
[0002] 金屬工件的主要生產(chǎn)工藝流程為機械加工、沖壓、精密鑄造、粉末冶金、金屬注射 成型、尺寸檢測、外觀缺陷檢測等。在整個生產(chǎn)過程中受到制造工藝的影響，工件尺寸和外 觀在一定程度上會存在不合格。其中外觀缺陷主要包括:缺口、粘料、開裂、壓痕、針眼、劃痕 和起泡等。存在外觀質(zhì)量缺陷的工件若流入下個生產(chǎn)工序，會導(dǎo)致組裝受阻、變形，影響組 裝件的質(zhì)量，嚴(yán)重時可能導(dǎo)致組裝件報廢而停機，極大地影響了自動化生產(chǎn)線的生產(chǎn)效率， 給生產(chǎn)企業(yè)帶來潛在的經(jīng)濟損失和信譽風(fēng)險。
[0003] 傳統(tǒng)外觀缺陷檢測方法有人工目測和頻閃光檢測。自動化生產(chǎn)線速度很快，人眼 根本無法快速捕捉到準(zhǔn)確的缺陷信息，尤其一些很小的缺陷，人的肉眼完全無法分辨出合 格與否，這就造成缺陷檢測精度低、誤檢率高的問題。頻閃光檢測主要是根據(jù)人的視網(wǎng)膜對 一定脈沖閃光所產(chǎn)生的靜止反應(yīng)。該方法是將特定的攝像機和頻閃光源相結(jié)合，通過固定 地觀察檢測器來確定工件表面情況。其缺點在于檢測結(jié)果的可信度低，自動化檢測程度也 低。
[0004] 自動檢測技術(shù)有紅外、禍流和漏磁檢測技術(shù)，這三種檢測方法也是我國目前應(yīng)用 比較廣泛的。渦流檢測技術(shù)主要是檢測工件表面下層阻流缺陷，但其耗電量大，造成生產(chǎn)企 業(yè)能源的浪費。渦流檢測方法對工件本身質(zhì)量要求比較高，工件表面必須純凈無雜質(zhì)，溫度 均勻，輸送帶速度要求較慢，這就造成生產(chǎn)和檢測受限，不能滿足高速率、高質(zhì)量的生產(chǎn)要 求。近年來，機器視覺和圖像處理技術(shù)的不斷發(fā)展使得生產(chǎn)線上機器視覺檢測代替人工檢 測成為可能。外觀缺陷采用視覺方法檢測識別是最有效、最有前景的方法。高分辨率工業(yè)相 機可以提供豐富的工件外觀圖像信息，能夠準(zhǔn)確、高效、可靠地完成工件外觀缺陷額檢測和 識別。
[0005] 目前工件外觀缺陷視覺檢測的主要方法：（1)通過遺傳算法和視覺圖像處理形態(tài) 學(xué)實現(xiàn)金屬工件表面缺陷的自動檢測，系統(tǒng)對開裂和針眼等檢測效果良好，但細(xì)小劃痕、壓 痕和起泡缺陷檢測效果較差；（2)通過利用圖像灰度特征，通過灰度值的異常變化來判斷產(chǎn) 品缺陷的存在，但由于金屬表面的強反光性特性，使得系統(tǒng)誤檢較高。
[0006] 因此，有必要設(shè)計一種高效的檢測精度高的基于圖像處理的工件外觀缺陷的視覺 檢測系統(tǒng)。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明所要解決的技術(shù)問題是提供一種基于圖像處理的工件外觀缺陷的視覺檢 測系統(tǒng)，該基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)檢測效率高，易于實施。
[0008] 發(fā)明的技術(shù)解決方案如下：
[0009] 一種基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在于，包括工控機、同 軸光源、CCD工業(yè)相機、圖像采集卡和剔除機構(gòu)；
[0010] 同軸光源和剔除機構(gòu)均與工控機相連；
[0011] (XD工業(yè)相機通過圖像采集卡與工控機相連；
[0012] 其中：同軸光源用于為待檢測的工件提供漫反射光源;CCD工業(yè)相機用于拍攝處于 檢測工位的工件的圖像;剔除機構(gòu)用于從生產(chǎn)線上剔除通過檢測存在缺陷的工件；
[0013] 工控機中具有基于圖像處理的缺陷檢測模塊；
[0014] 基于圖像處理的缺陷檢測模塊按照以下步驟實施缺陷檢測：
[0015] 步驟1:工件圖像獲取及預(yù)處理；
[0016] 步驟2:圖像分割與工件位姿矯正；
[0017] 步驟3:檢測以下外觀缺陷:缺口、粘料、開裂、壓痕、針眼、劃痕和起泡。
[0018] 步驟1中，通過同軸光源照明，利用CCD工業(yè)相機和圖像采集卡采集工件圖像f(x， y)，工件圖像為灰度圖像，然后把工件圖像送入工控機進(jìn)行預(yù)處理，預(yù)處理為對采集到的工 件圖像進(jìn)行中值濾波處理。
[0019] 步驟2中：
[0020] (1)圖像分割：
[0021]基于直方圖法對預(yù)處理后的圖像進(jìn)行圖像分割，工件圖像的灰度直方圖會顯示兩 個波峰:一個是作為前景的工件，一個是背景，取波谷灰度值為分割閾值以有效分割前景和 背景：
[0023]式中，F(xiàn)(x，y)為分割出的工件圖像，Thf為分割閾值
[0024] (2)圖像矯正為通過仿射變換實現(xiàn)圖像中工件的平移和旋轉(zhuǎn)角度矯正。仿射變換 為現(xiàn)有成熟技術(shù)。
[0025]對矯正后的圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理;處理過程為，通過結(jié)構(gòu)元素B對圖像施加形 態(tài)學(xué)開運算去除工件邊緣毛刺，平滑工件邊緣，有：
[0026] F(x,y)。S 二y)一 fi)十 g --式2;
[0027] 式中，。為開運算運算符，?為腐蝕運算符，?為膨脹運算符，B為結(jié)構(gòu)元素，大小為 3,元素全為1，為圓盤結(jié)構(gòu)。
[0028] 步驟3中：
[0029] 標(biāo)定工件邊緣為缺口檢測區(qū)域，記為Regqk;
[0030]標(biāo)定整個工件表面區(qū)域為粘料、開裂、壓痕、針眼、劃痕和起泡缺陷檢測區(qū)域;其中 粘料和針眼檢測區(qū)域記為Regni和Regzy;劃痕和開裂檢測區(qū)域記為Reghh和Regki;壓痕檢測區(qū) 域記為Regyh;起泡檢測區(qū)域記為Regq P;
[0031]缺陷的面積判斷閾值：
[0033]式中，Th為缺陷的面積判斷閾值；巾為缺陷容忍度;W和H為圖像中工件的寬和高， 以像素為單位;M和N為工件的實際長和寬，以毫米為單位；
[0034]局部動態(tài)分割閾值確定方法：
[0035]首先采用（2D+1) X (2D+1)的濾波掩碼進(jìn)行平滑處理，式中D為被提取目標(biāo)的直徑； 然后計算平滑后的圖像灰度值的均值Mean(x，y)和標(biāo)準(zhǔn)差〇(x，y);當(dāng)被提取目標(biāo)顯示為亮 像素時，選取T = Mean(X，y)+y ? 〇(x，y)為分割閾值;當(dāng)被提取目標(biāo)顯示為暗像素時，選取T =Mean(x，y)_Y ? 〇(x，y)為分割閾值，式中Y為標(biāo)準(zhǔn)差強度。
[0036] ①缺口檢測：
[0037] 1)采用圖像分割閾值Tqk在區(qū)域Regqk中分割缺口的Blob候選塊，通過八連通區(qū)域 標(biāo)識出Blob連通域，記為Blqk;
[0038] 分割閾值Tqk的確定:采用(2Dqk+l)X(2Dqk+l)的濾波掩碼進(jìn)行平滑處理，式中D qk為 缺口缺陷的直徑;計算平滑后的圖像灰度值的均值Meanqk(x，y)和標(biāo)準(zhǔn)差〇qk(x，y);由于缺 口缺陷顯示為暗像素，則選擇Tqk=Meanqk(x，y)-丫 qk ? 〇qk(x，y)為分割閾值，丫 qk為缺口缺 陷的標(biāo)準(zhǔn)差權(quán)重。權(quán)重的取值范圍是[0，1]，需根據(jù)先驗知識確定具體值。
[0039] 2)利用像素計數(shù)法提取犯冰連通域的像素面積特征Areaqk;根據(jù)下式判斷Blqk是否 為缺口缺陷：
[0041]式中，缺陷面積判斷閾值Thqk由公式3確定，其中巾的取值范圍是[0.0120， 0.0130 ]，YES和N0分別表示存在缺口缺陷和不存在缺口缺陷；
[0042]②粘料和針眼檢測：
[0043] 1)采用分割閾值Tzz在區(qū)域Regni和Regzy中分割粘料和針眼的Blob候選塊，通過八 連通區(qū)域標(biāo)識出Blob連通域，記為Blni和Blzy;
[0044] 分割閾值Tzz的確定：
[0045] Tzz=Mean/zz(x,y)-8zz ? zz(x,j)
[0046] 式中Mean'zUj)和為檢測區(qū)域像素灰度值的均值和方差，心2為粘料和 針眼缺陷的方差權(quán)重；
[0047] 圖像中低于分割閾值的像素區(qū)域為缺陷候選塊；
[0048] 2)利用像素計數(shù)法提取81^連通域的像素面積特征Areanl和圓度特征 ndne領(lǐng)、8、連通域的像素面積特征Areazy和圓度特征沿取祕如嘴,根據(jù)下式5、6分 別判斷Blnl是否為粘料缺陷以及Blzy是否為針眼缺陷：
[0051] 式中，缺陷面積判斷閾值Thnu和Thzyl由式3確定，其中巾的取值范圍分別是 [0.0020,0.0021 ]和[0.0024,0.0025];缺陷圓度判斷閾值Thni2和Thzy2的取值范圍分別是 [0.5，1 ]和[0.85，1 ]; n表示邏輯"與"運算;YES和N0分別表示是和否；
[0052] 像素面積特征即區(qū)域內(nèi)的像素個數(shù)，圓度特征描述即目標(biāo)區(qū)域的面積與外接圓面 積的比值，開$狀越接近圓，比值越接近1，圓度特征的取值范圍是：〇 < Row n&i_e_s而< 1/計
.其中r為被提取目標(biāo)的外接圓半徑，此處的被提取目標(biāo)指粘 料和針眼缺陷；
[0053]③劃痕和開裂檢測：
[0054] 1)米用局部圖像方差強度算法求取分割閾值Thk，在區(qū)域Reghh和Regki中分割劃痕 和開裂的Blob塊候選，通過八連通區(qū)域標(biāo)識出Blob連通域，記為Blhh和Blki;
[0055]局部圖像方差強度是圖像局部閾值概念的拓展延伸，由于被檢測工件受生產(chǎn)工藝 影響會有背景不均勻情況，因此很難找到固定閾值將目標(biāo)缺陷與背景完整分割。故提出局 部閾值檢測方法，即局部灰度特征與整體相結(jié)合的方法;結(jié)合局部方差與方差的特性，先采 用(2D hk+l)X(2Dhk+l)的濾波掩碼進(jìn)行平滑處理，式中Dhd劃痕和開裂缺陷的長度;再計算 平滑后圖像灰度值的標(biāo)準(zhǔn)差〇h k(x，y)和方差Vhk(x，y);分割閾值按下式的確定：
[0057] 其中VhkUj)和表示平滑前的整幅圖像的標(biāo)準(zhǔn)差和方差；
[0058] 2)利用像素計數(shù)法提取Blhh連通域的像素面積特征Areahh和內(nèi)部最長直徑特征 Diameterhh以及Blki連通域的像素面積特征Areaki和內(nèi)部最長直徑特征Diameterki;根據(jù)式 7、8分別判斷Bl hh是否為劃痕缺陷，以及扮^是否為開裂缺陷：
[00611式中，缺陷面積判斷閾值ThhhdPThku由式3確定，其中巾的取值范圍分別是 [0.0110,0.0120]和[0.0048,0.0049];缺陷最長直徑判斷閾值Thhh2和Thki2的取值范圍由經(jīng) 驗值確定；n表示邏輯"與"運算；
[0062]內(nèi)部最長直徑即區(qū)域邊界上最遠(yuǎn)的兩個像素點的距離，距離和面積都是以像素為 單位，即該距離內(nèi)或該區(qū)域內(nèi)包含的像素個數(shù)；
[0063] ④壓痕檢測：
[0064] 1)通過拉普拉斯高斯變換算法和局部動態(tài)閾值Tyh分割壓痕的Blob候選塊；
[0065] Tyh的確定:采用（2Dyh+l) X (2Dyh+l)的濾波掩碼進(jìn)行平滑處理，式中Dyh為壓痕缺陷 的直徑;計算平滑后圖像灰度值的均值Meanyh(x，y)和標(biāo)準(zhǔn)差〇yh(x，y);由于壓痕缺陷在拉 普拉斯高斯變換后的圖像中顯示為亮像素，故選擇Tyh=Mean yh(x，y) + y yh ? 〇yh(x，y)為分割 閾值，T yh為壓痕缺陷的標(biāo)準(zhǔn)差權(quán)重;通過八連通區(qū)域標(biāo)識出Blob連通域，記為Blyh;
[0066]權(quán)重的取值范圍是[0，1]，需根據(jù)先驗知識確定具體值；
[0067] 2)利用像素計數(shù)法提取Blyh連通域的像素面積特征Areayh和矩形度特征Rectan yh， 矩形度是描述被提取區(qū)域?qū)ζ渫饨泳匦蔚某錆M程度，計算公式為
為被提取區(qū)域外接矩形區(qū)域的面積;根據(jù)式9判斷Blyh是否為壓痕缺陷：
[0069]式中，面積判斷閾值Thyhi由式3確定，其中巾的取值范圍是[0.0160,0.0170];矩形 度判斷閾值Thyh2的取值范圍是[0.7，1 ]; n表示邏輯"與"運算；
[0070]拉普拉斯高斯算法：
[0071 ]該方法是將高斯濾波和拉普拉斯算子結(jié)合在一起。算法主要步驟如下：
[0072] (1)濾波:首先對圖像F(x，y)進(jìn)行平滑濾波，濾波函數(shù)為高斯函數(shù)，BP
[0074] 將圖像F(x，y)與G(x，y)進(jìn)行卷積，可以得到一個平滑的圖像，即
[0075] g(x,y)=F(x,y)*G(x,y)
[0076] (2)圖像增強:對平滑圖像g (x，y)進(jìn)行拉普拉斯運算，即
[0077] h(x,y) = V2[F(.r,y) * G(x,yJ\
[0078] 由于對平滑圖像g(x，y)進(jìn)行拉普拉斯運算可等效為g(x，y)的拉普拉斯運算與F (x，y)的卷積，故上式變?yōu)椋?br>[0079] h(x,v) - F(x,y) * V2G(x,y)
[0080] 式中_V_2G(：r, y)成為LOG濾波器，其為：
[0082]作用:拉普拉斯高斯算子把高斯平滑濾波器和拉普拉斯銳化濾波器結(jié)合起來，先 平化掉噪聲，再對圖像進(jìn)行邊緣增強，所以能夠有效凸顯壓痕缺陷。
[0083] ⑤起泡檢測：
[0084] 1)通過快速傅立葉變換將圖像函數(shù)從空間域轉(zhuǎn)變到頻率域，采用低通濾波器平滑 圖像，再通過傅立葉逆變換將圖像從頻率域變換到空間域;根據(jù)圖像灰度直方圖，選取波谷 灰度值為分割閾值分割目標(biāo)分割起泡的Blob候選塊，通過八連通區(qū)域標(biāo)識出Blob連通域， 記為Blqp;
[0085]圖像的直方圖只有一個波谷，因為經(jīng)過傅立葉變換和平滑濾波處理后，起泡部位 較整體工件背景偏亮，所以直方圖顯示有兩個波峰和一個波谷，而且兩個波峰中一個屬于 工件背景，另一個屬于起泡缺陷，所以采用波谷灰度值可將背景和起泡缺陷分割；
[0086] 2)利用像素計數(shù)法提取81"連通域的像素面積特征AreaqP和圓度特征 iou ndnes知:根據(jù)式10判斷犯卯是否為起泡缺陷：
[0088]式中，面積判斷閾值Thqpl由式3確定，其中巾的取值范圍是[0.0123,0.0124];圓度 判斷閾值Thqp2的取值范圍是[0.5，1];門表示邏輯"與"運算。定位、引導(dǎo)圖像的采集過程中， 采用環(huán)形漫反射光源照明；檢測圖像采集過程中，采用同軸光源照明。
[0089] 有益效果：
[0090]本發(fā)明的基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，采用同軸光源為工件提 供照明，采用相機和圖像采集卡獲取工件圖像，采用工控機基于圖像處理實現(xiàn)缺陷檢測，檢 測存在缺陷的工件由剔除機構(gòu)進(jìn)行剔除;缺陷檢測過程中，首先通過視覺系統(tǒng)引導(dǎo)機器人， 根據(jù)基于灰度值的模板匹配算法精確定位目標(biāo)工件位姿，然后進(jìn)行工件外觀缺陷檢測，其 步驟為：（1)獲取工件圖像，采用中值濾波進(jìn)行預(yù)處理；（2)利用全局閾值分割目標(biāo)工件，并 進(jìn)行工件位姿矯正；（3)通過數(shù)學(xué)形態(tài)學(xué)開運算去除工件邊緣毛刺干擾；（4)檢測缺口、粘 料、開裂、壓痕、針眼、劃痕和起泡外觀缺陷。
[0091]本發(fā)明的優(yōu)點在于：
[0092] 1.定位速度快、精度高?；诨叶戎档哪０迤ヅ洌捎脷w一化互相關(guān)算法，并利用 圖像金字塔實現(xiàn)多級匹配，提高匹配精度和速度；
[0093] 2.缺陷檢測針對性強，速度快。
[0094]運用簡單、有效的Blob算法，首先對獲取的原始圖像做預(yù)處理，抑制噪聲干擾增強 圖像有用信息的表現(xiàn)張力。本發(fā)明針對不同的缺陷采用有針對性的檢測方法，易于實施，方 法巧妙，具體包括標(biāo)定檢測區(qū)域并通過二值化分割R0I，基于R0I區(qū)域通過局部灰度閾值提 取缺口缺陷特征；局部動態(tài)閾值算法提取粘料和針眼缺陷特征；局部圖像方差強度算法提 取劃痕和開裂缺陷特征;拉普拉斯高斯算法提取表面壓痕缺陷特征;快速傅里葉變換算法 提取表面起泡缺陷特征。最后將提取到的缺陷特征根據(jù)判定規(guī)則庫中的判定規(guī)則進(jìn)行分析 判斷并輸出檢測結(jié)果；
[0095] 3.適應(yīng)性廣、移植性強，可檢測缺陷類型較全面。該檢測算法能廣泛應(yīng)用于高速生 產(chǎn)線上精密工件外觀質(zhì)量的視覺檢測，并且可移植到電子元器件、微小零部件等的視覺檢 測生產(chǎn)線上，具有很強的適應(yīng)性，是一種具有高度通用型和準(zhǔn)確性的視覺檢測系統(tǒng)。
[0096] 本發(fā)明的系統(tǒng)能解決人工檢測速度慢、效率低、精度差的問題;能克服目前視覺檢 測缺陷類型單一、成像質(zhì)量差和誤檢率高的問題，提高精密工件生產(chǎn)自動化程度和產(chǎn)品質(zhì) 量。
【附圖說明】
[0097]圖1為基于圖像處理的工件外觀缺陷的視覺檢測流程圖；
[0098]圖2為檢測到的正常圖像和缺陷圖像，其中圖a_h分別對應(yīng)正常、粘料、壓痕、缺口、 開裂、劃痕、起泡和針眼圖像；
[0099]圖3為基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)的總體結(jié)構(gòu)框圖。
【具體實施方式】
[0100] 為了便于理解本發(fā)明，下文將結(jié)合說明書附圖和較佳的實施例對本文發(fā)明做更全 面、細(xì)致地描述，但本發(fā)明的保護范圍并不限于以下具體實施例。
[0101] 除非另有定義，下文中所使用的所有專業(yè)術(shù)語與本領(lǐng)域技術(shù)人員通常理解含義相 同。本文中所使用的專業(yè)術(shù)語只是為了描述具體實施例的目的，并不是旨在限制本發(fā)明的 保護范圍。
[0102] 實施例1:
[0103]如圖1-3,一種基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在于，包括 工控機、同軸光源、CCD工業(yè)相機、圖像采集卡和剔除機構(gòu)；
[0104] 同軸光源和剔除機構(gòu)均與工控機相連；
[0105] (XD工業(yè)相機通過圖像采集卡與工控機相連；
[0106] 其中：同軸光源用于為待檢測的工件提供漫反射光源;CCD工業(yè)相機用于拍攝處于 檢測工
[0107] 位的工件的圖像;剔除機構(gòu)用于從生產(chǎn)線上剔除通過檢測存在缺陷的工件；
[0108] 工控機中具有基于圖像處理的缺陷檢測模塊；
[0109] 基于圖像處理的缺陷檢測模塊按照以下步驟實施缺陷檢測：
[0110] 步驟1:工件圖像獲取及預(yù)處理；
[0111] 步驟2:圖像分割與工件位姿矯正；
[0112] 步驟3:檢測以下外觀缺陷:缺口、粘料、開裂、壓痕、針眼、劃痕和起泡。
[0113] 步驟1中，通過同軸光源照明，利用CCD工業(yè)相機和圖像采集卡采集工件圖像f(x， y)，工件圖像為灰度圖像，然后把工件圖像送入工控機進(jìn)行預(yù)處理，預(yù)處理為對采集到的工 件圖像進(jìn)行中值濾波處理，去除圖像拍攝和傳輸過程中可能引起的噪聲，提高圖像信噪比。
[0114] 步驟2中：
[0115] (1)圖像分割：
[0116]基于直方圖法對預(yù)處理后的圖像進(jìn)行圖像分割，工件圖像的灰度直方圖會顯示兩 個波峰:一個是作為前景的工件，一個是背景，取波谷灰度值為分割閾值以有效分割前景和 背景：
[0118]式中，F(xiàn)(x，y)為分割出的工件圖像，Thf為分割閾值
[0119] (2)圖像矯正為通過仿射變換實現(xiàn)圖像中工件的平移和旋轉(zhuǎn)角度矯正。仿射變換 為現(xiàn)有成熟技術(shù)。
[0120]對矯正后的圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理;處理過程為，通過結(jié)構(gòu)元素B對圖像施加形 態(tài)學(xué)開運算去除工件邊緣毛刺，平滑工件邊緣，有：
[0121] F〇,y)。S = (f(x,y)一 S)十 S -
[0122] 式中，°為開運算運算符，8為腐蝕運算符，?為膨脹運算符，B為結(jié)構(gòu)元素，大小為 3，
[0123] 元素全為1，為圓盤結(jié)構(gòu)。
[0124] 步驟3中：
[0125] 標(biāo)定工件邊緣為缺口檢測區(qū)域，記為Regqk;
[0126] 標(biāo)定整個工件表面區(qū)域為粘料、開裂、壓痕、針眼、劃痕和起泡缺陷檢測區(qū)域;其中 粘料和針眼檢測區(qū)域記為Regni和Reg zy;劃痕和開裂檢測區(qū)域記為Reghh和Regki;壓痕檢測區(qū) 域記為Regyh;起泡檢測區(qū)域記為Regq P;
[0127] 缺陷的面積判斷閾值：
[0129]式中，Th為缺陷的面積判斷閾值；巾為缺陷容忍度;W和H為圖像中工件的寬和高， 以像素為單位;M和N為工件的實際長和寬，以毫米為單位;局部動態(tài)分割閾值確定方法： [0130]首先采用（2D+1)X(2D+1)的濾波掩碼進(jìn)行平滑處理，式中D為被提取目標(biāo)的直徑； 然后計算平滑后的圖像灰度值的均值Mean(x，y)和標(biāo)準(zhǔn)差 〇(x，y);當(dāng)被提取目標(biāo)顯示為亮 像素時，選取T = Mean(X，y)+y ? 〇(x，y)為分割閾值;當(dāng)被提取目標(biāo)顯示為暗像素時，選取T =Mean(x，y)_Y ? 〇(x，y)為分割閾值，式中Y為標(biāo)準(zhǔn)差強度。
[0131] ①缺口檢測：
[0132] 1)采用圖像分割閾值Tqk在區(qū)域Regqk中分割缺口的B1 ob候選塊，通過八連通區(qū)域 標(biāo)識出Blob連通域，記為Blqk;
[0133] 分割閾值Tqk的確定:采用(2Dqk+l)X(2D qk+l)的濾波掩碼進(jìn)行平滑處理，式中Dqk為 缺口缺陷的直徑;計算平滑后的圖像灰度值的均值Mean qk(x，y)和標(biāo)準(zhǔn)差〇qk(x，y);由于缺 口缺陷顯示為暗像素，則選擇Tqk=Meanqk(x，y)-丫 qk ? 〇qk(x，y)為分割閾值，丫 qk為缺口缺 陷的標(biāo)準(zhǔn)差權(quán)重。權(quán)重的取值范圍是[0，1]，需根據(jù)先驗知識確定具體值。
[0134] 2)利用像素計數(shù)法提取犯冰連通域的像素面積特征Areaqk;根據(jù)下式判斷Bl qk是否 為缺口缺陷：
[0136] 式中，缺陷面積判斷閾值Thqk由公式3確定，其中巾的取值范圍是[0.0120， 0.0130 ]，YES和N0分別表示存在缺口缺陷和不存在缺口缺陷；
[0137] ②粘料和針眼檢測：
[0138] 1)采用分割閾值Tzz在區(qū)域Regni和Reg zy中分割粘料和針眼的Blob候選塊，通過八 連通區(qū)域標(biāo)識出Blob連通域，記為Blni和Bl zy;
[0139] 分割閾值Tzz的確定：
[0140] Tzz=Mean/zz(x,y)-8zz ? zz(x,j)
[0141]式中Mean'zUj)和為檢測區(qū)域像素灰度值的均值和方差，心2為粘料和 針眼缺陷的方差權(quán)重；
[0142] 圖像中低于分割閾值的像素區(qū)域為缺陷候選塊；
[0143] 2)利用像素計數(shù)法提取81^連通域的像素面積特征Areanl和圓度特征 i?ow ndnesfe、Blzy連通域的像素面積特征Areazy和圓度特征只衫y，根據(jù)下式5、6分 別判斷Bl nl是否為粘料缺陷以及Blzy是否為針眼缺陷：
[0146] 式中，缺陷面積判斷閾值Thnu和Thzyl由式3確定，其中巾的取值范圍分別是 [0.0020,0.0021 ]和[0.0024,0.0025];缺陷圓度判斷閾值Thni2和Thzy2的取值范圍分別是 [0? 5,1]和[0.85,1];門表示邏輯"與"運算;YES和N0;
[0147] 像素面積特征即區(qū)域內(nèi)的像素個數(shù)，圓度特征描述即目標(biāo)區(qū)域的面積與外接圓面 積的比值，形狀越接近圓，比值越接近1，圓度特征的取值范圍是：_〇 <.歷沿.< 1/計
，其中r為被提取目標(biāo)的外接圓半徑，此處的被提取目標(biāo)指粘 料和針眼缺陷；
[0148] ③劃痕和開裂檢測：
[0149] 1)米用局部圖像方差強度算法求取分割閾值Thk，在區(qū)域Reghh和Regki中分割劃痕 和開裂的Blob塊候選，通過八連通區(qū)域標(biāo)識出Blob連通域，記為Blhh和Blki;
[0150]局部圖像方差強度是圖像局部閾值概念的拓展延伸，由于被檢測工件受生產(chǎn)工藝 影響會有背景不均勻情況，因此很難找到固定閾值將目標(biāo)缺陷與背景完整分割。故提出局 部閾值檢測方法，即局部灰度特征與整體相結(jié)合的方法;結(jié)合局部方差與方差的特性，先采 用(2D hk+l)X(2Dhk+l)的濾波掩碼進(jìn)行平滑處理，式中Dhd劃痕和開裂缺陷的長度;再計算 平滑后圖像灰度值的標(biāo)準(zhǔn)差〇h k(x，y)和方差Vhk(x，y);分割閾值按下式的確定：
[0152]其中c/hkUj)和V'hkUj)表示平滑前的整幅圖像的標(biāo)準(zhǔn)差和方差；
[0153] 2)利用像素計數(shù)法提取Blhh連通域的像素面積特征Areahh和內(nèi)部最長直徑特征 Diameterhh以及Blki連通域的像素面積特征Areaki和內(nèi)部最長直徑特征Diameterki;根據(jù)式 7、8分別判斷Bl hh是否為劃痕缺陷，以及扮^是否為開裂缺陷：
[0156] 式中，缺陷面積判斷閾值ThhhjPThku由式3確定，其中巾的取值范圍分別是 [0.0110,0.0120]和[0.0048,0.0049];缺陷最長直徑判斷閾值Thhh2和Thki2的取值范圍由經(jīng) 驗值確定；n表示邏輯"與"運算；
[0157] 內(nèi)部最長直徑即區(qū)域邊界上最遠(yuǎn)的兩個像素點的距離，距離和面積都是以像素為 單位，即該距離內(nèi)或該區(qū)域內(nèi)包含的像素個數(shù)；
[0158] ④壓痕檢測：
[0159] 1)通過拉普拉斯高斯變換算法和局部動態(tài)閾值Tyh分割壓痕的Blob候選塊；
[0160] Tyh的確定:采用（2Dyh+l) x (2Dyh+l)的濾波掩碼進(jìn)行平滑處理，式中Dyh為壓痕缺陷 的直徑;計算平滑后圖像灰度值的均值Meanyh(x，y)和標(biāo)準(zhǔn)差〇yh(x，y);由于壓痕缺陷在拉 普拉斯高斯變換后的圖像中顯示為亮像素，故選擇Tyh=Mean yh(x，y) + y yh ? 〇yh(x，y)為分割 閾值，T yh為壓痕缺陷的標(biāo)準(zhǔn)差權(quán)重;通過八連通區(qū)域標(biāo)識出Blob連通域，記為Blyh;
[0161 ]權(quán)重的取值范圍是[0，1 ]，需根據(jù)先驗知識確定具體值；
[0162] 2)利用像素計數(shù)法提取Blyh連通域的像素面積特征Areayh和矩形度特征Rectan yh， 矩形度是描述被提取區(qū)域?qū)ζ渫饨泳匦蔚某錆M程度，
：其中Sm 為被提取區(qū)域外接矩形區(qū)域的面積;根據(jù)式9判斷Blyh是否為壓痕缺陷：
[0164] 式中，面積判斷閾值Thyhi由式3確定，其中巾的取值范圍是[0.0160，0.0170];矩形 度判斷閾值Th yh2的取值范圍是[0.7，1 ]; n表示邏輯"與"運算；
[0165] ⑤起泡檢測：
[0166] 1)通過快速傅立葉變換將圖像函數(shù)從空間域轉(zhuǎn)變到頻率域，采用低通濾波器平滑 圖像，再通過傅立葉逆變換將圖像從頻率域變換到空間域;根據(jù)圖像灰度直方圖，選取波谷 灰度值為分割閾值分割目標(biāo)分割起泡的Blob候選塊，通過八連通區(qū)域標(biāo)識出Blob連通域， 記為Blqp;
[0167] 圖像的直方圖只有一個波谷，因為經(jīng)過傅立葉變換和平滑濾波處理后，起泡部位 較整體工件背景偏亮，所以直方圖顯示有兩個波峰和一個波谷，而且兩個波峰中一個屬于 工件背景，另一個屬于起泡缺陷，所以采用波谷灰度值可將背景和起泡缺陷分割；
[0168] 2)利用像素計數(shù)法提取81"連通域的像素面積特征AreaqP和圓度特征 /?ou ndnes知；根據(jù)式1〇判斷BlqP是否為起泡缺陷：
[0170]式中，面積判斷閾值Thqpl由式3確定，其中巾的取值范圍是[0.0123,0.0124];圓度 判斷閾值Thqp2的取值范圍是[0.5，1 ]; n表示邏輯"與"運算。
[0171] 圖像預(yù)處理還包括：
[0172] A.工件定位：
[0173]工件模板圖像為Temp(x，y)，方向以X軸正方向為0度基準(zhǔn)。通過環(huán)形漫反射光源照 明，利用CCD工業(yè)相機和圖像采集卡采集輸送帶上工件圖像，然后根據(jù)基于灰度值的模板匹 配技術(shù)搜索與已知模板Temp(X，y)相匹配的目標(biāo)區(qū)域，計算其重心坐標(biāo)( Xc，yc)和偏轉(zhuǎn)角度 9。其中模板匹配采用歸一化互相關(guān)算法(NCC)，并利用圖像金字塔實現(xiàn)多級匹配，提高匹配 精度和速度。NCC算法公式如下式所示：
[0175] 式中，n是模板感興趣區(qū)域中像素點的數(shù)量;Temp (x，y)是模板圖像，模板大小為Wt XHt。模板圖像即為分割出的，規(guī)定了方向以X軸正方向為0度基準(zhǔn)的目標(biāo)工件圖像;感興趣 區(qū)域即目標(biāo)工件區(qū)域，因為工件區(qū)域與背景區(qū)域?qū)Ρ榷确浅Ｃ黠@，所以采用全局灰度閾值 分割法即可提取目標(biāo)工件，即感興趣區(qū)域。m T是模板的平均灰度值，是模板所有像素灰度 值的方差，mf(a，b)和是平移到圖像當(dāng)前位置的模板感興趣區(qū)域中圖像所有像素點 的平均灰度值和方差，ncc(a，b)表示匹配相似度，取值范圍是-Kncc(a，bX：Ux，y表示圖 像中像素坐標(biāo)。a，b是圖像像素坐標(biāo)平移量。
[0176] 匹配是為了找到視野中的目標(biāo)工件并快速、準(zhǔn)確地計算出工件位姿信息。是后續(xù) 機器人和視覺處理的前提。
[0177] B.機器人視覺引導(dǎo)：
[0178] 視覺引導(dǎo)系統(tǒng)主要是對輸送帶上目標(biāo)工件的精確定位。對于同一種工件，機器人 只需要一次示教并把此示教位置記為零位，生產(chǎn)中相機拍攝輸送帶上的目標(biāo)工件并通過計 算圖像上工件中心特征點的坐標(biāo)，即位姿信息( Xc；，y。)和0。視覺系統(tǒng)計算出當(dāng)前目標(biāo)工件的 坐標(biāo)與零位在X，Y，Rz方向的偏差量，機器人根據(jù)偏差量規(guī)劃抓取路徑和動作、完成目標(biāo)工 件抓取任務(wù)。其中Rz方向為工件在平面上的旋轉(zhuǎn)方向。
[0179] 總體流程說明：待檢工件首先進(jìn)入上表面檢測工位，光電傳感器觸發(fā)相機拍照并 采集一幀圖像，通過外觀檢測算法進(jìn)行缺陷檢測，并將檢測結(jié)果通過視覺檢測系統(tǒng)傳送給 下位機。不合格品由剔除裝置剔除，合格品將進(jìn)入機器人檢測工位。利用視覺引導(dǎo)機器人準(zhǔn) 確拾取輸送帶上目標(biāo)工件并放置檢測位置，由機器人順序觸發(fā)多相機拍照進(jìn)行工件前后 面、左右側(cè)面和底面外觀缺陷檢測。工業(yè)控制計算機綜合分析多相機處理結(jié)果并將其通過 視覺檢測系統(tǒng)傳送給下位機，最終實現(xiàn)工件的智能分揀。
【主權(quán)項】
1. 一種基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在于，包括工控機、同軸 光源、CCD工業(yè)相機、圖像采集卡和剔除機構(gòu)； 同軸光源和剔除機構(gòu)均與工控機相連； (XD工業(yè)相機通過圖像采集卡與工控機相連； 其中：同軸光源用于為待檢測的工件提供漫反射光源;CCD工業(yè)相機用于拍攝處于檢測 工位的工件的圖像;剔除機構(gòu)用于從生產(chǎn)線上剔除通過檢測存在缺陷的工件； 工控機中具有基于圖像處理的缺陷檢測模塊； 基于圖像處理的缺陷檢測模塊按照以下步驟實施缺陷檢測： 步驟1:工件圖像獲取及預(yù)處理； 步驟2:圖像分割與工件位姿矯正； 步驟3:檢測以下外觀缺陷:缺口、粘料、開裂、壓痕、針眼、劃痕和起泡。2. 根據(jù)權(quán)利要求1所述的基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在于， 步驟1中，通過同軸光源照明，利用CCD工業(yè)相機和圖像采集卡采集工件圖像f(x，y)，工件圖 像為灰度圖像，然后把工件圖像送入工控機進(jìn)行預(yù)處理，預(yù)處理為對采集到的工件圖像進(jìn) 行中值濾波處理。3. 根據(jù)權(quán)利要求2所述的基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在于， 步驟2中： (1) 圖像分割： 基于直方圖法對預(yù)處理后的圖像進(jìn)行圖像分割，工件圖像的灰度直方圖會顯示兩個波 峰：一個是作為前景的工件，一個是背景，取波谷灰度值為分割閾值以有效分割前景和背 景：式中，F(xiàn)(x，y)為分割出的工件圖像，Thf為分割閾值 (2) 圖像矯正為通過仿射變換實現(xiàn)圖像中工件的平移和旋轉(zhuǎn)角度矯正。4. 根據(jù)權(quán)利要求3所述的基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在于， 對矯正后的圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理;處理過程為，通過結(jié)構(gòu)元素 B對圖像施加形態(tài)學(xué)開運 算去除工件邊緣毛刺，平滑工件邊緣，有：式中，。為開運算運算符，?為腐蝕運算符，?為膨脹運算符，B為結(jié)構(gòu)元素，大小為3， 元素全為1，為圓盤結(jié)構(gòu)。5. 根據(jù)權(quán)利要求3或4所述的基于圖像處理的工件外觀缺陷的視覺檢測系統(tǒng)，其特征在 于，步驟3中： 標(biāo)定工件邊緣為缺口檢測區(qū)域，記為Regqk ; 標(biāo)定整個工件表面區(qū)域為粘料、開裂、壓痕、針眼、劃痕和起泡缺陷檢測區(qū)域;其中粘料 和針眼檢測區(qū)域記為Regni和Regzy;劃痕和開裂檢測區(qū)域記為Reghh和Regid;壓痕檢測區(qū)域記 為Regyh;起泡檢測區(qū)域記為Regqp; 缺陷的面積判斷閾值： 式中，Th為缺陷的面積判斷閾值；(i>為缺陷容忍度;W和H為圖像中工件的寬和高，以像素為單位;M和N為工件的實際長和寬，以毫米為單位； ① 缺口檢測： 1) 采用圖像分割閾值Tqk在區(qū)域Regqk中分割缺口的Blob候選塊，通過八連通區(qū)域標(biāo)識出 Blob連通域，記為Blqk; 分割閾值Tqk的確定:采用(2Dqk+l) X (2Dqk+l)的濾波掩碼進(jìn)行平滑處理，式中Dqk為缺口 缺陷的直徑;計算平滑后的圖像灰度值的均值Meanqk(x，y)和標(biāo)準(zhǔn)差〇qk(x，y);由于缺口缺 陷顯示為暗像素，則選擇Tqk = Meanqk(x，y)-丫 qk ? 〇qk(x，y)為分割閾值，丫 qk為缺口缺陷的 標(biāo)準(zhǔn)差權(quán)重。 2) 利用像素計數(shù)法提取犯冰連通域的像素面積特征Areaqk;根據(jù)下式判斷犯冰是否為缺 口缺陷：式中，缺陷面積判斷閾值T h qk由公式3確定，其中巾的取值范圍是[0.012 0，0.013 0 ]，YE S 和NO分別表示存在缺口缺陷和不存在缺口缺陷； ② 粘料和針眼檢測： 1) 采用分割閾值Tzz在區(qū)域Regni和Regzy中分割粘料和針眼的Blob候選塊，通過八連通 區(qū)域標(biāo)識出Blob連通域，記為Bl ni和Blzy; 分割閾值Tzz的確定： Tzz=Mean/Zz(x,y)-8ZZ ? V7zz(x,y) 式中Mean'zU^)和V'zUj)為檢測區(qū)域像素灰度值的均值和方差，Szz為粘料和針眼 缺陷的方差權(quán)重； 圖像中低于分割閾值的像素區(qū)域為缺陷候選塊； 2) 利用像素計數(shù)法提取犯^連通域的像素面積特征Areanl和圓度特征ndnes%、 81^連通域的像素面積特征Areazy和圓度特征nrfnes^y，根據(jù)下式5、6分別判斷Blni是否 為粘料缺陷以及Bl zy是否為針眼缺陷：式中，缺陷面積判斷閾值Thnn和Thzyl由式3確定，其中巾的取值范圍分別是[0.0020， 0.0021]和[0.0024,0.0025];缺陷圓度判斷閾值Thni2和Thzy2的取值范圍分別是[0.5,1]和 [0.85，1 ]; n表示邏輯"與"運算;YES和NO分別表示是和否； 像素面積特征即區(qū)域內(nèi)的像素個數(shù)，圓度特征描述即目標(biāo)區(qū)域的面積與外接圓面積的 比值，形狀越接近圓，比值越接近1，圓度特征的取值范圍是：〇</?〇!』< 1,計算公，其中r為被提取目標(biāo)的外接圓半徑，此處的被提取目標(biāo)指粘料和 針眼缺陷； ③ 劃痕和開裂檢測： 1) 米用局部圖像方差強度算法求取分割閾值Thk，在區(qū)域Re ghh和Re gki中分割劃痕和開 裂的Blob塊候選，通過八連通區(qū)域標(biāo)識出Blob連通域，記為Blhh和Blki; 局部圖像方差強度是圖像局部閾值概念的拓展延伸，由于被檢測工件受生產(chǎn)工藝影響 會有背景不均勻情況，因此很難找到固定閾值將目標(biāo)缺陷與背景完整分割。故提出局部閾 值檢測方法，即局部灰度特征與整體相結(jié)合的方法;結(jié)合局部方差與方差的特性，先采用 (2D hk+l) X (2Dhk+l)的濾波掩碼進(jìn)行平滑處理，式中Dhk為劃痕和開裂缺陷的長度;再計算平 滑后圖像灰度值的標(biāo)準(zhǔn)差〇h k(x，y)和方差Vhk(x，y);分割閾值按下式的確定：其中VhkUd)和V'hkUj)表示平滑前的整幅圖像的標(biāo)準(zhǔn)差和方差； 2) 利用像素計數(shù)法提取Blhh連通域的像素面積特征Areahh和內(nèi)部最長直徑特征 Diameterhh以及Blki連通域的像素面積特征Areaki和內(nèi)部最長直徑特征Diameterki;根據(jù)式 7、8分別判斷Blhh是否為劃痕缺陷，以及扮^是否為開裂缺陷：式中，缺陷面積判斷閾值Thhhi和Thkii由式3確定，其中巾的取值范圍分別是[0.0110， 0.0120 ]和[0.0048，0.0049 ];缺陷最長直徑判斷閾值Thhh2和Thki2的取值范圍由經(jīng)驗值確 定；n表示邏輯"與"運算； 內(nèi)部最長直徑即區(qū)域邊界上最遠(yuǎn)的兩個像素點的距離，距離和面積都是以像素為單 位，即該距離內(nèi)或該區(qū)域內(nèi)包含的像素個數(shù)； ④ 壓痕檢測： 1) 通過拉普拉斯高斯變換算法和局部動態(tài)閾值Tyh分割壓痕的Blob候選塊； Tyh的確定:采用（2Dyh+l)X(2Dyh+l)的濾波掩碼進(jìn)行平滑處理，式中D yh為壓痕缺陷的直 徑;計算平滑后圖像灰度值的均值Meanyh(X，y)和標(biāo)準(zhǔn)差〇yh(x，y);由于壓痕缺陷在拉普拉 斯高斯變換后的圖像中顯示為亮像素，故選擇Tyh = Meanyh(x，y)+ Y yh ? 〇yh(x，y)為分割閾 值，T yh為壓痕缺陷的標(biāo)準(zhǔn)差權(quán)重;通過八連通區(qū)域標(biāo)識出Blob連通域，記為Blyh; 2) 利用像素計數(shù)法提取Blyh連通域的像素面積特征Areayh和矩形度特征Rectan yh，矩形 度是描述被提取區(qū)域?qū)ζ渫饨泳匦蔚某錆M程度，計算公式其中Sm為被 提取區(qū)域外接矩形區(qū)域的面積;根據(jù)式9判斷Blyh是否為壓痕缺陷：式中，面積判斷閾值Thyhl由式3確定，其中巾的取值范圍是[0.0160，0.0170];矩形度判 斷閾值Thyh2的取值范圍是[0.7，1 ]; n表示邏輯"與"運算； ⑤ 起泡檢測： 1)通過快速傅立葉變換將圖像函數(shù)從空間域轉(zhuǎn)變到頻率域，采用低通濾波器平滑圖 像，再通過傅立葉逆變換將圖像從頻率域變換到空間域;根據(jù)圖像灰度直方圖，選取波谷灰 度值為分割閾值分割目標(biāo)分割起泡的Blob候選塊，通過八連通區(qū)域標(biāo)識出Blob連通域，記 為 Blqp; 2)利用像素計數(shù)法提取犯^連通域的像素面積特征AreaqP和圓度特征Row 據(jù)式10判斷犯卯是否為起泡缺陷：式中，面積判斷閾值Thqpl由式3確定，其中巾的取值范圍是[0.0123，0.0124];圓度判斷 閾值Thqp2的取值范圍是[0.5，1 ]; n表示邏輯"與"運算。
【文檔編號】G06T3/00GK106053479SQ201610581120
【公開日】2016年10月26日
【申請日】2016年7月21日 公開號201610581120.4, CN 106053479 A, CN 106053479A, CN 201610581120, CN-A-106053479, CN106053479 A, CN106053479A, CN201610581120, CN201610581120.4
【發(fā)明人】許海霞, 王偉, 周維, 朱江, 莫言, 印峰, 王仕果, 周幫, 王倪東
【申請人】湘潭大學(xué)