基于機(jī)器視覺的信息識別及表面缺陷在線檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于機(jī)器視覺技術(shù)領(lǐng)域，具體涉及一種基于機(jī)器視覺的信息識別及表面缺 陷在線檢測方法。
【背景技術(shù)】
[0002] 在工業(yè)生產(chǎn)領(lǐng)域中，在印刷、包裝等工業(yè)生產(chǎn)過程中隨著機(jī)械設(shè)備自動化程度、生 產(chǎn)效率和質(zhì)量要求越來越高；隨著機(jī)械設(shè)備技術(shù)水平不斷發(fā)展，生產(chǎn)速度提高，為了提高整 個產(chǎn)品生產(chǎn)效率同時(shí)保證產(chǎn)品質(zhì)量，生產(chǎn)質(zhì)量檢測效率也需要不斷改進(jìn)提高；傳統(tǒng)質(zhì)量檢 測是通過人工實(shí)時(shí)在線檢測產(chǎn)品質(zhì)量，效率低，可控性低，同時(shí)可能存在漏檢。可變信息高 速印刷（如：票據(jù)號碼、一維碼、二維碼信息）生產(chǎn)過程中，需要實(shí)時(shí)檢測是否漏碼，印錯， 印重復(fù)等；印刷包裝、電子元器件、汽車零部件、電路板等工業(yè)產(chǎn)品生產(chǎn)過程中為了提高產(chǎn) 品生產(chǎn)質(zhì)量，同時(shí)也需要對生產(chǎn)產(chǎn)品質(zhì)量或可變信息進(jìn)行檢測；傳統(tǒng)生產(chǎn)中，工業(yè)產(chǎn)品生產(chǎn) 質(zhì)量監(jiān)控都是通過人工來完成，由此存在弊端：人工成本高，效率低、可靠性低、容易出現(xiàn)漏 檢。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種基于機(jī)器視覺的信息識別及表面缺陷在線檢測方法，解 決了現(xiàn)有技術(shù)中存在的工業(yè)產(chǎn)品生產(chǎn)質(zhì)量監(jiān)控人工成本高，效率低、可靠性低、容易出現(xiàn)漏 檢的問題。
[0004] 本發(fā)明所采用的技術(shù)方案是，基于機(jī)器視覺的信息識別及表面缺陷在線檢測方 法，具體按照以下步驟實(shí)施：
[0005] 步驟1、圖像采集；
[0006] 步驟2、數(shù)據(jù)建模；
[0007] 步驟3、分析處理實(shí)時(shí)圖片，識別變化信息，同時(shí)分析產(chǎn)品表面是否存在缺陷；
[0008] 步驟4、對反饋結(jié)果進(jìn)行處理控制。
[0009] 本發(fā)明的特點(diǎn)還在于，
[0010] 步驟1具體為：
[0011] 位于工業(yè)流水線旁的傳感器感知到產(chǎn)品經(jīng)過時(shí)，觸發(fā)工業(yè)相機(jī)實(shí)時(shí)采集產(chǎn)品圖 片，并將圖片數(shù)據(jù)通過網(wǎng)線發(fā)送給計(jì)算機(jī)。
[0012] 步驟2具體按照以下步驟實(shí)施：
[0013] 步驟（1. 1)、選取步驟1中獲得的圖片數(shù)據(jù)中的字符區(qū)圖像，對字符區(qū)圖像進(jìn)行二 值化處理：假設(shè)按行掃描字符區(qū)圖像，設(shè)f (i，j)表示第i行第j列像素點(diǎn)的值，Gs(i，j)表 示第i行第j個像素點(diǎn)前S個像素點(diǎn)灰度值之和，則
[0014]
[0015] 其中，k為設(shè)定變量，k的取值為：j-k>j_s and j_k〈j，
[0016] 然后進(jìn)行二值化判斷：
[0017]
[0018] 即如果某個像素點(diǎn)的值小于其前S個像素點(diǎn)的均值的（100-t)/100倍時(shí)，則設(shè)置 該像素點(diǎn)為1，否則設(shè)置為〇,至此，圖像二值化完成；
[0019] 步驟（1. 2)、對步驟（1. 1)得到的二值圖進(jìn)行單個字符切分處理，單個字符切分處 理包括對二值圖垂直方向和水平方向分別進(jìn)行投影：
[0020] 垂直投影：
[0021] 設(shè)f(i，j)為步驟（1. 1)得到的二值圖中第i行第j列像素值，設(shè)二值圖寬度為w， 高度為h，則垂直投影結(jié)果Pv(i)的計(jì)算公式如下：
[0022]
[0023] 具中 0<i<h，
[0024] 通過垂直投影曲線，得到二值圖中字符區(qū)域的曲線峰值位置，峰值兩邊的波谷位 置則分別是二值圖中字符區(qū)域的上下邊界位置，由此便得到二值圖中字符區(qū)域上下坐標(biāo)位 置；
[0025] 水平投影：
[0026] 設(shè)f(i，j)為二值圖中第i行第j列像素值，設(shè)二值圖寬度為w，高度為h，則垂直 投影結(jié)果Ph(j)的計(jì)算公式如下：
[0027]
[0028] 其中 0〈j〈w，
[0029] 通過水平投影曲線，搜索到二值圖中字符區(qū)域中每個字符的左邊界和右邊界，由 此得到每個字符的左右坐標(biāo)；
[0030] 通過對二值圖垂直方向和水平方向的投影，得到二值圖中每個字符的上、下、左、 右四個坐標(biāo)，從而達(dá)到對二值圖進(jìn)行單個字符切分處理；
[0031] 步驟（1. 3)、步驟（1. 2)二值圖字符切分處理完成后，利用三層神經(jīng)網(wǎng)絡(luò)對切分后 的每個字符進(jìn)行訓(xùn)練，提取切分后的每個字符的特征向量作為三層神經(jīng)網(wǎng)絡(luò)的輸入層，通 過不斷學(xué)習(xí)訓(xùn)練提高字符識別率，從而得到可變信息字符庫。
[0032] 步驟3具體按照以下步驟實(shí)施：
[0033] 步驟a、首先將信息完整、表面沒有缺陷的產(chǎn)品圖片作為標(biāo)準(zhǔn)圖像，然后選擇標(biāo)準(zhǔn) 圖像中字符特征區(qū)域作為配準(zhǔn)模板；
[0034] 步驟b、創(chuàng)建對比模板，對比模板由一個上限模板和一個下限模板組成，具體為：
[0035] 設(shè)I為步驟a中的標(biāo)準(zhǔn)圖像，I (X，y)為I圖像中坐標(biāo)（X，y)點(diǎn)的灰度值，T1為上 限模板圖像，Tl(x，y)為T1圖像中坐標(biāo)（x，y)點(diǎn)的值，T2為下限模板圖像，T2(x，y)為T2 圖像中坐標(biāo)（x，y)點(diǎn)的值，V為標(biāo)準(zhǔn)圖像中像素亮點(diǎn)變化明顯的邊緣圖像，V(x，y)為V圖像 中對應(yīng)坐標(biāo)（x，y)的值，其中，Tl(x，y)和T2(x，y)的計(jì)算公式如下：
[0036] T1 (x, y) = I (x, y) +max (absTh, V (x, y) *varTh) (1)
[0037] T2 (x, y) = I (x, y) -max (absTh, V (x, y) *varTh) (2)
[0038] 由T1 (x，y)和T2 (x，y)的值從而得到對比模版，上式中，varTh為設(shè)定的相對閾值 比例，varTh = 0. 15~0. 75, absTh為通過計(jì)算標(biāo)準(zhǔn)圖像灰度直方圖谷底得到的絕對閾值；
[0039] 步驟c、對采集到的原始圖像進(jìn)行可變信息識別和一維碼二維碼識別：可變信息 識別通過神經(jīng)網(wǎng)絡(luò)和步驟1. 3得到的可變信息字符庫對采集到的圖像中的字符信息進(jìn)行 識別，包括產(chǎn)品編碼、號碼、文字、字母信息，一維碼二維碼識別通過國際標(biāo)準(zhǔn)編碼規(guī)則對條 碼圖進(jìn)行分析解碼；
[0040] 步驟d、分析表面缺陷：首先通過位置配準(zhǔn)，對實(shí)時(shí)檢測圖進(jìn)行校準(zhǔn)，使實(shí)時(shí)檢測 圖與步驟a中的配準(zhǔn)模板位置完全對應(yīng)，圖像位置配準(zhǔn)和校準(zhǔn)具體過程是首先通過位置配 準(zhǔn)得到一個仿射矩陣，再通過仿射矩陣對檢測圖進(jìn)行仿射變換把檢測圖與配準(zhǔn)模板完全配 準(zhǔn)，放射變換形式如下：
[0041]
[0042] 其中，^ 為仿射矩陣，（x，y)為仿射變換前坐標(biāo)，（u，v)為經(jīng)過仿射變換 后坐標(biāo)；
[0043] 通過步驟b得到的對比模板與檢測圖進(jìn)行對比，檢測圖中灰度值超出上限模板和 下限模板中T1 (x，y)和T2 (x，y)的點(diǎn)作為缺陷點(diǎn)，然后對所有缺陷點(diǎn)進(jìn)行統(tǒng)計(jì)，缺陷點(diǎn)的表 示公式如下：
[0044] 設(shè)D (x，y)為缺陷點(diǎn)，F(xiàn) (x，y)為檢測點(diǎn)，則：
[0045] D (x, y) = F (x, y) < = T2 (x, y) or F (x, y) > = T1 (x, y) (3)
[0046] 由此得出檢測圖中產(chǎn)品表面是否存在缺陷。
[0047] 步驟4具體為：
[0048] 經(jīng)步驟3檢測后，合格品在產(chǎn)線上正常通過，若出現(xiàn)不合格品計(jì)算機(jī)及時(shí)發(fā)出報(bào) 警信號，同時(shí)計(jì)算機(jī)把不合格品位置信息發(fā)送給機(jī)械手，引導(dǎo)機(jī)械手移動至不合格品位置 剔除不合格品，于此同時(shí)發(fā)出停機(jī)信號控制停機(jī)。
[0049] 本發(fā)明的有益效果是，一種基于機(jī)器視覺的信息識別及表面缺陷在線檢測方法， 通過機(jī)器替代人工解決了工業(yè)產(chǎn)品生產(chǎn)過程中質(zhì)量監(jiān)控效率低、可靠性低、漏檢、人工成本 高等問題；使得工業(yè)生產(chǎn)進(jìn)一步自動化、智能化、大大提高生產(chǎn)效率。
【具體實(shí)施方式】
[0050] 下面結(jié)合【具體實(shí)施方式】對本發(fā)明進(jìn)行詳細(xì)說明。
[0051] 本發(fā)明基于機(jī)器視覺的信息識別及表面缺陷在線檢測方法，具體按照以下步驟實(shí) 施：
[0052] 步驟1、圖像采集，步驟1具體為：
[0053] 位于工業(yè)流水線旁的傳感器感知到產(chǎn)品經(jīng)過時(shí)，觸發(fā)工業(yè)相機(jī)實(shí)時(shí)采集產(chǎn)品圖 片，并將圖片數(shù)據(jù)通過網(wǎng)線發(fā)送給計(jì)算機(jī)，傳感器在實(shí)際應(yīng)用中一般選擇光柵傳感器；
[0054] 步驟2、數(shù)據(jù)建模，具體按照以下步驟實(shí)施：
[0055] 步驟（1. 1)、選取步驟1中獲得的圖片數(shù)據(jù)中的字符區(qū)圖像，對字符區(qū)圖像進(jìn)行二 值化處理：假設(shè)按行掃描字符區(qū)圖像，設(shè)f (i，j)表示第i行第j列像素點(diǎn)的值，Gs(i，j)表 示第i行第j個像素點(diǎn)前S個像素點(diǎn)灰度值之和，則
[0056]
[0057] 其中，k為設(shè)定變量，k的取值為：j-k>j_s and j_k〈j，
[0058] 狄后講桿一佶ik半丨丨斷.
[0059]
[0060] 即如果某個像素點(diǎn)的值小于其前S個像素點(diǎn)的均值的（100-t)/100倍時(shí)，則設(shè)置 該像素點(diǎn)為1，否則設(shè)置為〇,至此，圖像二值化完成；
[0061] 步驟（1. 2)、對步驟（1. 1)得到的二值圖進(jìn)行單個字符切分處理，單個字符切分處 理包括對二值圖垂直方向和水平方向分別進(jìn)行投影：
[0062] 垂直投影：
[0063] 設(shè)f(i，j)為步驟（1. 1)得到的二值圖中第i行第j列像素值，設(shè)二值圖寬度為w， 高度為h. _垂首捋影結(jié)里的i+算公式如下：
[0064]
[0065] 其中 0〈i〈h，
[0066] 通過垂直投影曲線，得到二值圖中字符區(qū)域的曲線峰值位置，峰值兩邊的波谷位 置則分別是二值圖中字符區(qū)域的上下邊界位置，由此便得到二值圖中字符區(qū)域上下坐標(biāo)位 置；
[0067] 水平投影：
[0068] 設(shè)f(i，j)為二值圖中第i行第j列像素值，設(shè)二值圖寬度為w，高度為h，則垂直 投影結(jié)果Ph(j)的計(jì)算公式如下：
[0069]
[0070] 其中 0〈j〈w，
[0071] 通過水平投影曲線，搜索到二值圖中字符區(qū)域中每個字符的左邊界和右邊界，由 此得到每個字符的左右坐標(biāo)；
[0072] 通過對二值圖垂直方向和水平方向的投影，得到二值圖中每個字符的上、下、左、 右四個坐標(biāo)，從而達(dá)到對二值圖進(jìn)行單個字符切分處理；
[0073]步驟（1. 3)、步驟（1. 2)二值圖字符切分處理完成后，利用三層神經(jīng)網(wǎng)絡(luò)對切分后 的每個字符進(jìn)行訓(xùn)練，提取切分后的每個字符的特征向量作為三層神經(jīng)網(wǎng)絡(luò)的輸入層，通 過不斷學(xué)習(xí)訓(xùn)練提高字符識別率，從而得到可變信息字符庫；
[007