基于機器視覺的鋁型材表面缺陷檢測方法
【專利摘要】本發(fā)明提供了一種基于機器視覺的鋁型材表面缺陷檢測方法，包括鋁型材區(qū)域劃分以及鋁型材表面缺陷檢測并上傳缺陷信息及圖片，劃分的鋁型材區(qū)域包括紋理區(qū)域和非紋理區(qū)域。本發(fā)明方法基于機器視覺和計算機技術，實現(xiàn)了鋁型材表面缺陷的實時檢測，與現(xiàn)有的人工缺陷檢測相比，能更方便、快速、準確的定位缺陷部位，提高檢測效率，大大減少人力投入，降低企業(yè)在生產過程中的成本；同時避免人的主觀因素造成的干擾，維護企業(yè)信譽。
【專利說明】基于機器視覺的鋁型材表面缺陷檢測方法

【技術領域】
[0001]本發(fā)明涉及缺陷檢測領域，特別涉及一種基于機器視覺的鋁型材表面缺陷檢測方法。

【背景技術】
[0002]鋁型材在加工過程中，往往會由于生產環(huán)境或者工藝的原因造成各種表面缺陷，如鼓泡、劃痕、水印、擦傷、污潰等。要保證產品質量，維護企業(yè)聲譽，必須在鋁型材出廠包裝前對其表面質量進行檢測，對于存在表面缺陷的型材將進行回收處理。當前的質量檢測工作全部由人工完成，檢測工人通過用肉眼觀察鋁型材表面來進行缺陷查找，并對存在缺陷的招材進行手工標記。
[0003]人工檢測受工人的經驗、情緒、勞累強度等因素干擾，質量檢測結果會出現(xiàn)不穩(wěn)定因素，另外人工檢測也很難對產品的缺陷率、質量趨勢等進行精確的統(tǒng)計。隨著生產速度和能力的提高和對鋁型材質量的要求越來越嚴格，傳統(tǒng)的使用人工對鋁型材進行質量檢測的方法已很難保質保量的完成生產檢測任務。


【發(fā)明內容】

[0004]針對傳統(tǒng)的使用人工對鋁型材缺陷進行檢測存在的諸多問題，本發(fā)明提出了一種基于機器視覺的鋁型材表面缺陷檢測方法。
[0005]本發(fā)明為實現(xiàn)上述目的所采用的技術方案是:一種基于機器視覺的鋁型材表面缺陷檢測方法，包括以下步驟:
[0006]通過相機采集待檢測鋁型材的若干幀圖像，并對采集到的每一幀圖像進行預處理；
[0007]提取預處理后的圖像的邊緣特征，根據(jù)所述邊緣特征對鋁型材進行區(qū)域劃分，確定鋁型材的紋理區(qū)域和非紋理區(qū)域；
[0008]對所述紋理區(qū)域和非紋理區(qū)域的鋁型材表面缺陷分別進行檢測；
[0009]上傳圖像和缺陷信息。
[0010]所述對采集到的圖像進行預處理包括圖像平滑處理和對比度增強處理。
[0011]所述提取預處理后的圖像的邊緣特征，包括以下步驟:
[0012]用canny算子檢測邊緣得到二值化圖像，對二值化圖像各像素點進行hough變換，保留傾斜角在-2.5度到2.5度之間且直線上邊緣點數(shù)目大于閾值的直線，并把直線按中心點縱坐標從小到大排序；
[0013]根據(jù)所述直線對第一幀圖像進行區(qū)域劃分:把排序后第一條直線的中心點縱坐標作為第一個紋理區(qū)域的起始和終止位置，如果第二條直線的中心點縱坐標與第一條直線的中心點縱坐標的距離不大于閾值，則擴充第一個紋理區(qū)域，即把第二條直線的中心點縱坐標做為第一個紋理區(qū)域的終止位置；如果距離大于閾值，則認為第二條直線和第一條直線不在同一個紋理區(qū)域，把第二條直線的中心點縱坐標作為第二個紋理區(qū)域的起始和終止位置；如果所述直線數(shù)量大于2，則按照上述步驟依次對剩余直線執(zhí)行相應操作；標記各紋理區(qū)域出現(xiàn)的次數(shù)為I ;
[0014]根據(jù)所述直線對除第一幀以外的圖像進行區(qū)域劃分:從第二幀開始將檢測到的直線與已劃分的紋理區(qū)域比較，如果直線的中心點縱坐標與已劃分的某紋理區(qū)域的距離不大于閾值，則合并到此紋理區(qū)域，紋理區(qū)域出現(xiàn)的次數(shù)加I;如果直線的中心點縱坐標與已劃分的所有紋理區(qū)域的距離都大于閾值，認為直線在一個新的紋理區(qū)域，把直線的中心點縱坐標作為新的紋理區(qū)域的起始和終止位置，標記紋理區(qū)域出現(xiàn)的次數(shù)為I;當為最后一幀圖像時，根據(jù)已劃分的紋理區(qū)域，合并重疊區(qū)域并去掉出現(xiàn)次數(shù)少于劃分區(qū)域所用幀數(shù)一半的紋理區(qū)域，對紋理區(qū)域進行擴充，確定鋁型材的紋理區(qū)域和非紋理區(qū)域。
[0015]所述對所述紋理區(qū)域和非紋理區(qū)域的鋁型材表面缺陷分別進行檢測，包括以下步驟:
[0016]對紋理區(qū)域采用水平sobel邊緣檢測算子檢測缺陷，得到二值化圖像；非紋理區(qū)域采用全局sobel邊緣檢測算子檢測缺陷，得到二值化圖像；
[0017]對所述二值化圖像進行形態(tài)學操作，去除小物體及干擾信息并突出缺陷部分，SP首先進行先腐蝕后膨脹的開運算，用來消除小物體、在纖細點處分離物體；然后進行先膨脹后腐蝕的閉運算，用來填充物體內細小空洞、連接鄰近物體；之后進行連通區(qū)域標記，得到大于閾值的缺陷區(qū)域的位置和面積信息。
[0018]所述連通區(qū)域標記，是把僅由“ I”值像素，即前景點，和“O”值像素，即背景點，組成的二值圖像中相互鄰接的“ I”值像素組合成區(qū)域，并用邊界信息來描述每個連通區(qū)域。
[0019]所述缺陷信息包括檢測到的缺陷數(shù)量和每個缺陷所在的位置。
[0020]本發(fā)明具有以下優(yōu)點及有益效果:
[0021]1.本發(fā)明實現(xiàn)了鋁型材區(qū)域的劃分以及表面缺陷的檢測和定位，能更方便、快速、準確的定位缺陷部位，提高檢測效率；
[0022]2.對缺陷信息上傳，記錄檢測信息到數(shù)據(jù)庫，為用戶提供直觀的統(tǒng)計信息，方便用戶查詢，并為噴涂標記做記錄。
[0023]3.上傳圖像以幫助改進方法并協(xié)助管理者及時發(fā)現(xiàn)存在的問題；比如方便管理者判斷是何種缺陷，包括鼓泡、劃痕、水印、擦傷、污潰等。
[0024]4.避免人的主觀因素造成的干擾，提高準確率，維護企業(yè)信譽，降低企業(yè)在生產過程中的成本。
[0025]5.定時監(jiān)測網絡狀態(tài)，并包含超時復位機制，提高了檢測魯棒性以及通信的穩(wěn)定性。

【專利附圖】

【附圖說明】
[0026]圖1為本發(fā)明的整體流程圖；
[0027]圖2為鋁型材的區(qū)域劃分流程圖；
[0028]圖3為鋁型材的區(qū)域劃分示意圖；
[0029]圖4為鋁型材的表面缺陷檢測流程圖；
[0030]圖5為連通區(qū)域標記示意圖；
[0031]圖6為無通信時定時發(fā)送UDP心跳包流程圖；
[0032]圖7為上傳圖像流程圖。

【具體實施方式】
[0033]下面結合附圖對本發(fā)明做進一步的詳細說明。
[0034]圖1為本發(fā)明的整體流程圖，包括采集鋁型材圖片、鋁型材的區(qū)域劃分以及表面缺陷檢測并上傳缺陷信息及圖片。本發(fā)明的方法由VC4018相機實現(xiàn)。相機可能收到的來自上位機的四種命令，包括通過參數(shù)配置命令包、鋁材分區(qū)命令包、缺陷檢測命令包和連接請求四種。參數(shù)包括Sobel參數(shù)、Canny參數(shù)、分區(qū)參數(shù)、紋理參數(shù)和快門時間。當收到上位機發(fā)送的參數(shù)設置命令包時，先判斷是設置何種參數(shù)，然后分別執(zhí)行相應的設置工作把參數(shù)保存為系統(tǒng)變量；如果是快門設置，則需要調用快門時間設置函數(shù)；之后設置UDP應答包，包括相機ID、是否設置成功等并發(fā)送UDP應答包給上位機。如果上位機在一段時間內沒收到應答包，則應該重新進行參數(shù)設置。
[0035]圖2為鋁型材的區(qū)域劃分流程圖，其中包含有超時復位機制，使用事件定時器實現(xiàn)；區(qū)域可以劃分為紋理區(qū)域和非紋理區(qū)域。每種鋁型材只需要進行一次區(qū)域劃分即可。由于整個區(qū)域劃分過程需要耗時幾秒鐘，當收到上位機發(fā)送的區(qū)域劃分命令包時，要首先發(fā)送應答包1，表示已經收到此命令，然后進行相應的操作。當計數(shù)器小于10時，執(zhí)行采集圖片并對其進行預處理，然后采用canny算子檢測邊緣信息，對邊緣進行hough變換以檢測直線，提取滿足條件的邊緣直線并合并到初步區(qū)域劃分結果中；當?shù)扔?0時，表示有10幀參與區(qū)域劃分，此時綜合區(qū)域劃分結果并做一些相應的區(qū)域調整，得到最終區(qū)域劃分結果；并完成對圖像的區(qū)域定位，獲得待檢測鋁型材所在圖像區(qū)域。執(zhí)行完畢后發(fā)送應答包2為區(qū)域劃分成功狀態(tài)并上傳，表示已經執(zhí)行完鋁型材區(qū)域劃分工作。如果在執(zhí)行過程中時間過長，導致超過預設時間，則把算法復位并設置UDP應答包2為區(qū)域劃分失敗狀態(tài)并上傳，上位機收到命令后執(zhí)行相應操作。
[0036]圖3為鋁型材的區(qū)域劃分示意圖，如圖所示，圖3(a)為鋁型材表面圖像原圖；圖3(b)為用canny算子檢測邊緣得到二值化圖像，圖中白點為檢測得到的邊緣，黑點為背景點。圖3(c)中紅色直線為對二值化圖像3(b)進行hough變換后得到的符合條件的直線，其中的綠點為直線中心點；圖3(d)為區(qū)域劃分的結果，把整個檢測范圍劃分為三個區(qū)域，依次為區(qū)域I (黃色紋理區(qū)域)，區(qū)域2 (綠色非紋理區(qū)域)和區(qū)域3 (黃色紋理區(qū)域)。
[0037]圖4為鋁型材的表面缺陷檢測流程圖，其中包含有超時復位機制，使用事件定時器實現(xiàn)。當收到上位機發(fā)送的缺陷檢測命令包時，首先設定檢測參數(shù)，包括檢測范圍等；然后采集圖片并對其進行預處理，之后根據(jù)已經劃分好的鋁型材區(qū)域對不同的區(qū)域用不同的缺陷檢測方法檢測，為了提高檢測速度，非紋理區(qū)域用sobel算子進行缺陷檢測，紋理區(qū)域用水平sobel算子與二進制小波相結合的缺陷檢測算法，然后對圖像進行形態(tài)學處理以去除干擾并用連通區(qū)域分析保留大于面積閾值的缺陷。檢測完畢后設置UDP應答包，包括缺陷數(shù)量和位置信息。同時超時復位機制監(jiān)控算法運行時間，如果算法運行時間過長達不到實時檢測的目的，此時應當把算法復位并退出，等待下次檢測命令的到來，并設置UDP應答包為失敗，表示此幀檢測時間過長而主動復位，減少對后面各幀檢測的影響。
[0038]圖5為連通區(qū)域標記示意圖,如圖所示，圖5(a)為待標記的二值圖,其各坐標對應像素值如圖5(e)所示，圖中I表示前景點，O表示背景點。采用8鄰域連通，從上往下、從左往右掃描圖像，圖像中的每個像素點需要考慮以下幾種情況:
[0039]1、如圖5(b)所示，點A為未作標記的前景點，且A的左邊是背景點或者禁止訪問點，上面也是背景點或者禁止訪問點，說明當前點A在某連通域的外邊界上，分配一個新的標號給像素點A(連通區(qū)域標號從2開始)，然后調用8鄰域搜尋算法對經過像素點A的區(qū)域外輪廓進行順時針跟蹤并標記為與像素點A相同的標號，所有與外輪廓相鄰的背景點都被標記為-1，表示為禁止訪問點，如圖(f)所示；
[0040]2、如圖5(c)所示，點B為未作標記的前景點，且B的左邊是已標記前景點,把左邊前景點的標號復制給當前前景點B，如圖(g)所示；
[0041]3、如圖5(d)所示，已標記前景點C的右側為一個背景點，說明像素點C在某連通域的內邊界上，調用8鄰域搜尋算法對經過像素點C的區(qū)域內輪廓進行逆時針跟蹤并標記為與像素點C相同的標號，所有與內輪廓相鄰的背景點都被標記為-1，表示為禁止訪問點；
[0042]圖5 (d)中點D按照上述步驟2處理,標記為左邊已標記前景點的標號2,如圖5 (h)所示，即為標記結束的整個連通區(qū)域，標號為2。
[0043]圖6為無通信時定時發(fā)送UDP心跳包流程圖，用以監(jiān)測網絡狀態(tài)。當網絡中超過一定時間沒有通信時，此時設置并發(fā)送UDP心跳包，如果上位機一定時間內未監(jiān)測到心跳包則表示網絡異常，及時提醒用戶查看狀態(tài)。
[0044]圖7為上傳圖像流程圖，當收到上位機連接請求時，采用TCP協(xié)議上傳圖像。
【權利要求】
1.一種基于機器視覺的鋁型材表面缺陷檢測方法，其特征在于，包括以下步驟: 通過相機采集待檢測鋁型材的若干幀圖像，并對采集到的每一幀圖像進行預處理； 提取預處理后的圖像的邊緣特征，根據(jù)所述邊緣特征對鋁型材進行區(qū)域劃分，確定鋁型材的紋理區(qū)域和非紋理區(qū)域； 對所述紋理區(qū)域和非紋理區(qū)域的鋁型材表面缺陷分別進行檢測； 上傳圖像和缺陷信息。
2.根據(jù)權利要求1所述的基于機器視覺的鋁型材表面缺陷檢測方法，其特征在于，所述對采集到的圖像進行預處理包括圖像平滑處理和對比度增強處理。
3.根據(jù)權利要求1所述的基于機器視覺的鋁型材表面缺陷檢測方法，其特征在于，所述提取預處理后的圖像的邊緣特征，包括以下步驟: 用canny算子檢測邊緣得到二值化圖像，對二值化圖像各像素點進行hough變換，保留傾斜角在-2.5度到2.5度之間且直線上邊緣點數(shù)目大于閾值的直線，并把直線按中心點縱坐標從小到大排序； 根據(jù)所述直線對第一幀圖像進行區(qū)域劃分:把排序后第一條直線的中心點縱坐標作為第一個紋理區(qū)域的起始和終止位置，如果第二條直線的中心點縱坐標與第一條直線的中心點縱坐標的距離不大于閾值，則擴充第一個紋理區(qū)域，即把第二條直線的中心點縱坐標做為第一個紋理區(qū)域的終止位置；如果距離大于閾值，則認為第二條直線和第一條直線不在同一個紋理區(qū)域，把第二條直線的中心點縱坐標作為第二個紋理區(qū)域的起始和終止位置；如果所述直線數(shù)量大于2，則按照上述步驟依次對剩余直線執(zhí)行相應操作；標記各紋理區(qū)域出現(xiàn)的次數(shù)為1 ; 根據(jù)所述直線對除第一幀以外的圖像進行區(qū)域劃分:從第二幀開始將檢測到的直線與已劃分的紋理區(qū)域比較，如果直線的中心點縱坐標與已劃分的某紋理區(qū)域的距離不大于閾值，則合并到此紋理區(qū)域，紋理區(qū)域出現(xiàn)的次數(shù)加1 ;如果直線的中心點縱坐標與已劃分的所有紋理區(qū)域的距離都大于閾值，認為直線在一個新的紋理區(qū)域，把直線的中心點縱坐標作為新的紋理區(qū)域的起始和終止位置，標記紋理區(qū)域出現(xiàn)的次數(shù)為1;當為最后一幀圖像時，根據(jù)已劃分的紋理區(qū)域，合并重疊區(qū)域并去掉出現(xiàn)次數(shù)少于劃分區(qū)域所用幀數(shù)一半的紋理區(qū)域，對紋理區(qū)域進行擴充，確定鋁型材的紋理區(qū)域和非紋理區(qū)域。
4.根據(jù)權利要求1所述的基于機器視覺的鋁型材表面缺陷檢測方法，其特征在于，所述對所述紋理區(qū)域和非紋理區(qū)域的鋁型材表面缺陷分別進行檢測，包括以下步驟: 對紋理區(qū)域采用水平sobel邊緣檢測算子檢測缺陷，得到二值化圖像；非紋理區(qū)域采用全局sobel邊緣檢測算子檢測缺陷，得到二值化圖像； 對所述二值化圖像進行形態(tài)學操作，去除小物體及干擾信息并突出缺陷部分，即首先進行先腐蝕后膨脹的開運算，用來消除小物體、在纖細點處分離物體；然后進行先膨脹后腐蝕的閉運算，用來填充物體內細小空洞、連接鄰近物體；之后進行連通區(qū)域標記，得到大于閾值的缺陷區(qū)域的位置和面積信息。
5.根據(jù)權利要求4所述的基于機器視覺的鋁型材表面缺陷檢測方法，其特征在于，所述連通區(qū)域標記，是把僅由“ 1”值像素，即前景點，和“0”值像素，即背景點，組成的二值圖像中相互鄰接的“ 1”值像素組合成區(qū)域，并用邊界信息來描述每個連通區(qū)域。
6.根據(jù)權利要求1所述的基于機器視覺的鋁型材表面缺陷檢測方法，其特征在于，所 述缺陷信息包括檢測到的缺陷數(shù)量和每個缺陷所在的位置。
【文檔編號】G01N21/88GK104458748SQ201310442167
【公開日】2015年3月25日 申請日期:2013年9月25日 優(yōu)先權日:2013年9月25日
【發(fā)明者】周曉鋒, 張宜弛, 吳陽, 史海波 申請人:中國科學院沈陽自動化研究所