一種易拉罐點陣噴碼字符在線視覺檢測方法
【專利摘要】本發(fā)明提供了一種基于機器視覺的易拉罐罐底噴碼字符在線視覺檢測方法，包括定位中采用MSER方法對字符區(qū)域進行初定位，通過連通域法進行細定位。針對點陣噴碼字符的特點，采用點陣噴碼字符分割算法進行分割，確保了分割的準確性。字符識別中通過卷積神經(jīng)網(wǎng)絡識別方法進行識別，在保證實時性的同時提高了檢測精度，完全可以滿足易拉罐罐底點陣噴碼字符檢測的高實時性、高準確性的要求。
【專利說明】一種易拉罐點陣噴碼字符在線視覺檢測方法

【技術(shù)領域】
[0001] 本發(fā)明涉及利用機器視覺對易拉罐點陣噴碼字符在線檢測領域，具體是指一種應 用于工業(yè)現(xiàn)場的、高實時性要求的易拉罐罐底噴碼字符識別的圖像處理方法。

【背景技術(shù)】
[0002] 隨著人民生活水平的穩(wěn)健提高，我國食品飲料行業(yè)維持快速增長的勢頭，以易拉 罐為容器的需求量也在不斷增加，生產(chǎn)加工過程中的產(chǎn)品質(zhì)量是企業(yè)品牌價值的體現(xiàn)，同 時也直接關(guān)系到消費者的切身利益。為了產(chǎn)品質(zhì)量的提高，需要對產(chǎn)品信息進行檢測、追 蹤。因此，如何實時地對易拉罐點陣噴碼字符識別檢測，以便及時剔除不合格產(chǎn)品是亟需解 決的問題。
[0003] 當前易拉罐噴碼字符在線檢測技術(shù)研究主要分為三個部分：
[0004] 第一部分為字符區(qū)域的定位。目前，工業(yè)字符識別通常在離線狀態(tài)下先框選出R0I 區(qū)域，在線檢測時在設定的R0I區(qū)域內(nèi)進行檢測識別。通過這種方式能夠有效的減少背景 噪聲的干擾，定位效果較好。但是在實際工業(yè)生產(chǎn)線上，易拉罐在噴碼過程中易發(fā)生旋轉(zhuǎn)， 無法設置固定的R0I區(qū)域，如何準確的定位出易拉罐字符是識別的關(guān)鍵。
[0005] 第二部分為字符分割技術(shù)。連續(xù)完整的噴碼字符通常采用傳統(tǒng)的投影技術(shù)進行分 害!]，而點陣字符在投影過程中會產(chǎn)生很多斷點，采用傳統(tǒng)的投影分割技術(shù)無法準確分割。因 此在分割前多采用膨脹法將字符間斷裂的部分膨脹連接起來，以便后期分割，因為字符分 割直接影響到字符識別的效果，因此字符分割技術(shù)一直是研究的重點。
[0006] 第三部分為特征提取與識別技術(shù)，目前，字符識別多為事先提取諸多結(jié)構(gòu)特征、 統(tǒng)計特征，再進行相關(guān)性分析，這些特征對于傳統(tǒng)的印刷字符識別效果較好，但是對于易 斷裂、易扭曲的點陣噴碼字符，識別效果不佳。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，簡稱CNN)為深度學習的一種學習方式，利用機器去學習高質(zhì)量的噴碼特征，避免 了傳統(tǒng)識別算法中復雜的特征提取和數(shù)據(jù)重建過程，且具有良好的容錯能力及并行處理能 力。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明目的在于提供一種針對易拉罐罐底點陣噴碼字符實時檢測方法，可以滿足 工業(yè)現(xiàn)場高實時性、高識別率的要求。
[0008] 為達到此目的，本發(fā)明的技術(shù)方案如下：識別過程分為離線訓練過程和在線檢測 過程，離線訓練過程主要包括對易拉罐罐底字符預處理分割字符，并用分割后的字符構(gòu)建 分類器；在線檢測過程主要包括易拉罐罐底字符的分割，再將分割的字符輸入到構(gòu)建好的 分類器中進行識別。具體包括以下步驟：
[0009] 離線訓練階段：
[0010] (1)獲取易拉罐罐底字符圖像，調(diào)整好相機鏡頭光圈、焦距等機械參數(shù)，在易拉罐 罐底上方安裝球積分光源，拍攝圖片，獲取待檢測易拉罐罐底圖像。
[0011] (2)字符區(qū)域定位，首先采用MSER法（最穩(wěn)定極值區(qū)域）處理圖像，對字符進行粗 定位，再采用形態(tài)學膨脹法進行膨脹處理，采用面積法進行細定位，并通過最小外接矩形確 定字符區(qū)域及旋轉(zhuǎn)方向。
[0012] (3)字符分割，通過仿射變換和線性插值將傾斜的字符圖像旋轉(zhuǎn)校正，采用點陣字 符分割模塊將字符區(qū)域分割為單個字符，并歸一化為28*28大小。
[0013] ⑷分類器訓練，將分割好的單個字符，統(tǒng)一進行歸類，建立噴碼字符庫，并采用卷 積神經(jīng)網(wǎng)絡學習法對已建立好的字符庫進行訓練，獲得CNN分類器。
[0014] 在線檢測階段：
[0015] (1)實時獲取易拉罐罐底字符圖像，調(diào)整好相機鏡頭光圈、焦距等機械參數(shù)，在易 拉罐罐底上方安裝球積分光源，拍攝圖片，實時獲取待檢測易拉罐罐底圖像。
[0016] (2)字符定位及分割，對獲取的圖像進行MSER操作，得到字符圖像，采用形態(tài)學法 膨脹字符，根據(jù)字符區(qū)域面積信息定位出字符區(qū)域，再采用最小外接矩形法將字符區(qū)域旋 轉(zhuǎn)校正，并對旋轉(zhuǎn)后的圖像采用點陣字符分割模塊進行分割。
[0017] (3)字符識別，將分割好的字符歸一化為28*28大小，再送入已訓練好的CNN分類 器中，在構(gòu)建好的分類器中進行前饋學習，從而判斷字符屬性，輸出字符信息。
[0018] (4)將字符信息與生產(chǎn)線管理系統(tǒng)進行數(shù)據(jù)傳輸，實現(xiàn)對易拉罐的生產(chǎn)日期及批 號的管理。由電氣控制系統(tǒng)執(zhí)行檢測結(jié)果，對與管理系統(tǒng)中不相符的、或者缺印、漏印無法 識別的易拉罐進行剔除。
[0019] 本發(fā)明的有益效果：本發(fā)明提供了一種易拉罐罐底字符檢測算法。針對易拉罐罐 底點陣字符的特點，采用MSER和形態(tài)學面積法對字符區(qū)域進行定位，消除字符尺度、旋轉(zhuǎn) 變換的干擾。同時針對點陣字符設計了點陣字符分割算法，保證了點陣字符在分割中的準 確性。在字符識別中，采用卷積神經(jīng)網(wǎng)絡構(gòu)建的分類器進行識別。該種字符識別方法能夠 保證工業(yè)現(xiàn)場易拉罐罐底字符定位、分割以及識別的高效性，滿足檢測算法中實時性強，準 確性高的要求。

【專利附圖】

【附圖說明】
[0020] 圖1本發(fā)明的易拉罐字符區(qū)域定位流程圖
[0021] 圖2本發(fā)明的點陣字符分割流程圖
[0022] 圖3本發(fā)明的卷積神經(jīng)網(wǎng)絡訓練分類器流程圖
[0023] 圖4本發(fā)明的在線檢測系統(tǒng)整體流程圖

【具體實施方式】
[0024] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合具體實施例，并參照 附圖，對本發(fā)明作進一步詳細說明。
[0025] 本發(fā)明為一種易拉罐罐底噴碼字符檢測方法，檢測過程分為離線訓練過程和在線 檢測過程，離線狀態(tài)下字符區(qū)域定位流程圖如圖1，字符分割流程圖如圖2,分割后的字符 采用卷積神經(jīng)網(wǎng)絡訓練分類器，訓練流程圖如圖3,在線檢測時首先定位出字符區(qū)域，再將 字符區(qū)域分割為單個字符，并將分割好的字符輸入到分類器中，輸出字符信息，在線檢測流 程圖如圖4。
[0026] 進一步的，離線過程具體實現(xiàn)步驟為：
[0027] 步驟一、圖像序列獲取
[0028] 根據(jù)字符識別檢測精度要求，調(diào)整好相機鏡頭光圈、焦距等機械參數(shù)，獲取易拉罐 罐底字符圖像。
[0029] 步驟二、字符區(qū)域定位
[0030] (1)對獲取的圖像采用MSER算法處理，使用不同的灰度閾值對圖像二值化得到字 符區(qū)域：
[0031] (1. 1)對給定的圖像采用BinSort算法，將圖像中的灰度值排序，時間復雜度為 〇(n)；
[0032] (1. 2)極值區(qū)域合并與選取，按照降序或升序規(guī)則將排序后的灰度值像素放入圖 像中，采用Component Tree方法獲得各個極值區(qū)域。
[0033] (1. 3)在形成的Component Tree上從某個節(jié)點開始搜索分支，在灰度范圍內(nèi)根據(jù) 公式計算區(qū)域的相對變化率，在這個Component Tree的分支上，求得局部最小值，獲得穩(wěn)定 的MSER區(qū)域，即為粗定位的字符區(qū)域。
[0034] (2)采用3*3矩形結(jié)構(gòu)對圖像執(zhí)行形態(tài)學膨脹操作，并將圖像中各個連通區(qū)域標 記并統(tǒng)計連通域的面積。設置字符區(qū)域?qū)傩裕娣e在（sl，s2)之間的連通域為字符區(qū)域，具 體數(shù)值根據(jù)不同型號易拉罐進行調(diào)整。
[0035] (3)旋轉(zhuǎn)字符區(qū)域，通過最小外接矩形計算出字符區(qū)域的旋轉(zhuǎn)角度，并采用仿射變 換和線性插值將傾斜的字符區(qū)域校正為水平方向。
[0036] 步驟三、字符分割
[0037] 易拉罐罐底字符通常為點陣噴碼字符，字符之間存在間隙，采用點陣字符分割模 塊進行分割，分割模塊主要分為以下幾個部分：
[0038] (1)字符行分割
[0039] (1. 1)首先采用投影法對字符區(qū)域進行行投影，統(tǒng)計其投影值Pr〇Ver[i]。
[0040]

【權(quán)利要求】
1. 一種基于機器視覺的易拉罐罐底噴碼字符在線檢測方法，其特征是，離線狀態(tài)下對 圖像中字符進行分割，并歸類構(gòu)建字符庫，采用改進后的卷積神經(jīng)網(wǎng)絡學習法進行訓練，形 成穩(wěn)定的分類器；在線識別中實時拍攝圖片，分割字符，并用分類器進行分類；具體包括以 下幾個步驟： (1) 對易拉罐罐底圖像進行MSER處理，通過形態(tài)學面積法定位出字符區(qū)域； (2) 針對點陣字符的特點，采用點陣字符分割模塊對區(qū)域進行分割，得到單個的分割字 符； (3) 在字符識別中，采用卷積神經(jīng)網(wǎng)絡學習法訓練字符，形成字符分類器。
2. 根據(jù)權(quán)利要求1所述一種基于卷積神經(jīng)網(wǎng)絡的易拉罐罐底噴碼字符檢測方法，其特 征在于：所述步驟（1)具體包括以下步驟： (1) 對獲取的圖像采用MSER算法處理，使用不同的灰度閾值對圖像二值化得到字符區(qū) 域： (I. 1)對給定的圖像采用BinSort算法，將圖像中的灰度值排序，時間復雜度為0(n); (1. 2)極值區(qū)域合并與選取，按照降序或升序規(guī)則將排序后的灰度值像素放入圖像中， 采用ComponentTree方法獲得各個極值區(qū)域； (1.3)在形成的ComponentTree上從某個節(jié)點開始搜索分支，在灰度范圍內(nèi)根據(jù)公式 計算區(qū)域的相對變化率，在這個ComponentTree的分支上，求得局部最小值，獲得穩(wěn)定的 MSER區(qū)域，即為粗定位的字符區(qū)域； (2) 采用3*3矩形結(jié)構(gòu)對圖像執(zhí)行形態(tài)學膨脹操作，并將圖像中各個連通區(qū)域標記并 統(tǒng)計連通域的面積；設置字符區(qū)域?qū)傩裕娣e在（sl，s2)之間的連通域為字符區(qū)域，具體數(shù) 值根據(jù)不同型號易拉罐進行調(diào)整； (3) 旋轉(zhuǎn)字符區(qū)域，通過最小外接矩形計算出字符區(qū)域的旋轉(zhuǎn)角度，并采用仿射變換和 線性插值將傾斜的字符區(qū)域校正為水平方向。
3. 根據(jù)權(quán)利要求1所述一種基于卷積神經(jīng)網(wǎng)絡的易拉罐罐底噴碼字符檢測方法，其特 征在于：所述步驟（2)具體包括以下步驟： (1)字符行分割 (I. 1)首先采用投影法對字符區(qū)域進行行投影，統(tǒng)計其投影值Prover[i]:
其中row為圖像的行數(shù)； (1. 2)易拉罐字符為點陣字符，每行之間通常存在間隙，在投影分割的基礎上采用波 形膨脹法，在統(tǒng)計每一點處的投影值時，若以該點為中心，以波形膨脹次數(shù)為上下限閾值的 范圍內(nèi)含有目標點，則將該列的投影值加1，選擇波形膨脹后第i列在水平方向的投影表示 為- / = I
其中I(i，j)表示二值圖像（i，j)處的像素值，SEC表示波形膨脹次數(shù)； (1. 3)設置分割閾值：根據(jù)波形膨脹后的圖像，設置分割閾值thresholcLrow，當波形 膨脹后投影值小于threshold_row時，即為行分割位置； (2)字符列分割 (2. 1)采用垂直投影法，可以統(tǒng)計出有效字符區(qū)域的總寬度W，根據(jù)先驗知識的字符個 數(shù)n，計算出字符的平均寬度X; (2. 2)設置列字符的波形膨脹次數(shù)，進行波形膨脹；設置分割閾值thresholcLcol，進 行粗分割；每行點陣字符間隔較小，波形膨脹后有部分字符粘連在一起，采用粘連字符分割 方法進行分割： ① 2個字符粘連：將分割出的各子區(qū)域字符寬度與平均字符寬度X進行比較，當子區(qū)域 寬度大于平均字符寬度的1. 3倍，小于2. 2倍時，判斷為兩個字符連接；再從起始分割位置 開始，找出距離分割位置0. 8x到I. 2x之間波形投影值的最小值，其所對應的列位置即為分 割位置； ② 3個字符粘連：將分割出的各子區(qū)域字符寬度與平均字符寬度X進行比較，當子區(qū)域 寬度大于平均字符寬度的2. 3倍，小于3. 2倍時，判斷為三個字符連接；從起始分割位置開 始，找出距離分割位置0. 8x到I. 2x之間及從I. 8x到2. 2x之間，波形投影值的最小值，其 所對應的兩個列位置即為兩次分割的位置。
4.根據(jù)權(quán)利要求1所述一種基于卷積神經(jīng)網(wǎng)絡的易拉罐罐底噴碼字符檢測方法，其特 征在于：所述步驟（3)具體包括以下步驟： 卷積神經(jīng)網(wǎng)絡訓練算法主要分為三個階段：構(gòu)建網(wǎng)絡結(jié)構(gòu)、前向傳播階段和反向傳播 階段； 第一步、構(gòu)建網(wǎng)絡結(jié)構(gòu)： 本發(fā)明構(gòu)建的卷積神經(jīng)網(wǎng)絡采用7層結(jié)構(gòu)，訓練的初期對網(wǎng)絡結(jié)構(gòu)進行構(gòu)建，對網(wǎng)絡 的權(quán)值采用不同的小隨機數(shù)進行初始化，一般介于[-1?1]范圍內(nèi)，偏置初始化置為〇 ; 第二步、前向傳播階段： (1) 輸入層輸入目標圖像Y，以及對應的目標矢量d，卷積層由卷積核對輸入圖像依次 進行卷積，并加上偏置，再通過非線性激勵函數(shù)得到：
f(*)為RELU函數(shù)：
(2) 下采樣的方式采用stochasticpooling采樣，公式為：
其中：
，Rt為抽樣層的窗口大小，通常為2*2大小，Yj為米樣窗口的兀 素值； (4)對卷積、下采樣后的特征圖進行全連接操作，并計算網(wǎng)絡層F6的實際輸出Qk :
第三步、反向傳播階段 反向傳播階段采用梯度下降法對權(quán)值和閾值進行調(diào)整，統(tǒng)計總誤差函數(shù)為：
，當ESe時，訓練結(jié)束，將權(quán)值和閾值保存，這時網(wǎng)絡結(jié)構(gòu)各個參數(shù)已經(jīng) 穩(wěn)定，分類器形成。
【文檔編號】G06K9/00GK104268538SQ201410546370
【公開日】2015年1月7日 申請日期:2014年10月13日 優(yōu)先權(quán)日:2014年10月13日
【發(fā)明者】白瑞林, 南陽 申請人:江南大學