專利名稱：一種快速的玻璃圖像缺陷檢測及分類方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、計算機(jī)視覺和模式識別技術(shù)領(lǐng)域，特別是涉及一種快速的 玻璃圖像缺陷檢測及分類方法及其裝置。
背景技術(shù)：
傳統(tǒng)的玻璃圖像缺陷檢測和分類是由人工完成的，但這種方法受人為主觀因素的 影響，效率低，難以滿足生產(chǎn)不斷發(fā)展的需要。隨著計算技術(shù)的不斷發(fā)展，利用數(shù)字圖像處 理技術(shù)來對圖像進(jìn)行分析從而進(jìn)行缺陷檢測逐漸成為工業(yè)缺陷檢測領(lǐng)域的主流。這種技術(shù) 具有檢測速度快、無需人工操作的優(yōu)勢，應(yīng)用前景廣泛。然而，光照條件的變化、缺陷形成的 復(fù)雜性、玻璃上的各種懸浮物的影響(如浮塵、水漬、或纖維等)都使得基于視覺的玻璃圖 像缺陷檢測任務(wù)變得非常困難。國外在玻璃生產(chǎn)過程中廣泛的采用了自動檢測設(shè)備，如英國的Pilkington公司， 美國的Image Automation公司，德國的LASOR公司和Innomess公司，以及日本的旭硝子等 企業(yè)都自主研制出浮法玻璃在線自動檢測系統(tǒng)。國內(nèi)對玻璃圖像缺陷檢測的研究開展較 晚，技術(shù)相對簡單，目前與國外檢測技術(shù)相比還有很大差距?，F(xiàn)有的文獻(xiàn)多數(shù)是利用簡單的 圖像預(yù)處理操作來實現(xiàn)玻璃圖像缺陷的檢測，如對圖像進(jìn)行邊緣提取、平滑處理、對比度增 強(qiáng)或者更復(fù)雜的水線分割算法等。為獲取更加準(zhǔn)確的缺陷區(qū)域，還有研究者對用于進(jìn)行缺 陷域分割的閾值進(jìn)行優(yōu)化(參考劉洲峰等，玻璃缺陷圖像分割方法研究與實現(xiàn)，中原工學(xué) 院學(xué)報)。除此之外，有研究人員利用行程長編碼(Rim-length-encoding，RLE)算法設(shè)計 了線陣圖像的污點查找算法，實現(xiàn)對缺陷的定位(參考余文勇等，一種浮法玻璃全面缺陷 在線檢測系統(tǒng)，華中科技大學(xué)學(xué)報)。在缺陷分類方面，目前國內(nèi)廣泛采用的是基于規(guī)則或 模板匹配的方法。所謂基于規(guī)則的方法，即根據(jù)不同類型缺陷的成因，分析其在圖像上反應(yīng) 出來的特征，包括亮度特征、幾何特征等。如對于氣泡類缺陷，氣泡邊緣灰度值低于周圍背 景，但內(nèi)部某點灰度值會略高于背景灰度(參考周欣等，玻璃缺陷快速檢測分類研究，微 計算機(jī)信息)。模板匹配的方法通常是用提取缺陷域的邊緣輪廓或二值圖像，與預(yù)先存儲的 缺陷樣本進(jìn)行匹配來實現(xiàn)。但由于同一種缺陷在圖像上所表現(xiàn)出來的亮度外觀也是有差別 的，因此無論是基于規(guī)則的方法還是模板匹配的方法從統(tǒng)計意義上來講，性能都不夠穩(wěn)定。 近兩年的研究人員開始探索提取其他圖像特征，并采用神經(jīng)網(wǎng)絡(luò)或SVM(Support Vector Machine，支持向量機(jī))分類器來進(jìn)行缺陷分類。在選擇特征時，可采用缺陷域的幾何參數(shù) 作為特征，也可以對缺陷域進(jìn)行特征變換，如提取小波包特征或矩特征來進(jìn)行分類(參考 鄭斌，玻璃缺陷圖像識別的關(guān)鍵技術(shù)研究，碩士論文，武漢理工大學(xué))。相對來講，基于統(tǒng)計 的分類方法可以獲得更好的分類性能，但幾何特征數(shù)目較少，描述能力不夠強(qiáng)；而小波特征 變換較為復(fù)雜，耗時較長。因此，選取既具有強(qiáng)描述能力且變換簡單的合適的特征對于提升 最后的分類性能是非常關(guān)鍵的。當(dāng)前的玻璃圖像缺陷檢測及分類的研究多數(shù)是基于干凈的缺陷圖像進(jìn)行的，即沒 有考慮圖像上還存在有其他灰塵、污漬等的影響，因此，實際可以看做是對真實應(yīng)用情況的簡化。但實際上這些因素的影響會使得缺陷檢測和分類任務(wù)變得非常困難，即要判斷輸入 圖像的某個區(qū)域是否存在缺陷，以及該缺陷是屬于預(yù)先定義的缺陷類別，還是屬于未定義 的缺陷類別。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種快速的玻璃圖像缺陷檢測及分類方法及其裝置，用于 對包含噪聲的玻璃圖像幀中的缺陷進(jìn)行準(zhǔn)確檢測，并且能夠有效地區(qū)分缺陷的類別，包括 對未定義缺陷的判別。為了實現(xiàn)上述目的，本發(fā)明提供一種快速的玻璃圖像缺陷檢測及分類方法，其特 征在于，包括步驟1，對于輸入的玻璃圖像進(jìn)行窗口掃描，根據(jù)窗口內(nèi)灰度分布的均衡性度量， 得到候選缺陷窗口；步驟2，根據(jù)所述候選缺陷窗口的位置關(guān)系，合并相鄰的所述候選缺陷窗口，得到 候選缺陷區(qū)域；步驟3，獲取所述候選缺陷區(qū)域的背景信息，并按照所述候選缺陷區(qū)域的灰度分布 模式提取缺陷域；步驟4，將所述缺陷域按照尺度進(jìn)行歸一化，并提取特征向量，根據(jù)所述特征向量 進(jìn)行缺陷分類，得到缺陷分類結(jié)果。所述的玻璃圖像缺陷檢測及分類方法，其中，所述步驟1中，進(jìn)一步包括用窗口區(qū)域的灰度方差作為窗口內(nèi)灰度分布的均衡性度量，以判斷所述窗口是否 可能包含缺陷，灰度方差公式如下
權(quán)利要求
1.一種快速的玻璃圖像缺陷檢測及分類方法，其特征在于，包括步驟1，對于輸入的玻璃圖像進(jìn)行窗口掃描，根據(jù)窗口內(nèi)灰度分布的均衡性度量，得到 候選缺陷窗口；步驟2，根據(jù)所述候選缺陷窗口的位置關(guān)系，合并相鄰的所述候選缺陷窗口，得到候選 缺陷區(qū)域；步驟3，獲取所述候選缺陷區(qū)域的背景信息，并按照所述候選缺陷區(qū)域的灰度分布模式 提取缺陷域；步驟4，將所述缺陷域按照尺度進(jìn)行歸一化，并提取特征向量，根據(jù)所述特征向量進(jìn)行 缺陷分類，得到缺陷分類結(jié)果。
2.根據(jù)權(quán)利要求1所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟1中，進(jìn)一步包括用窗口區(qū)域的灰度方差作為窗口內(nèi)灰度分布的均衡性度量，以判斷所述窗口是否可能 包含缺陷，灰度方差公式如下 V = ^ (χ - — χ)xeW其中，V是灰度方差，X是窗口 W中像素對應(yīng)的亮度值，元是窗口內(nèi)所有像素亮度的均值，Tw是 灰度方差的經(jīng)驗閾值，若V > Tw，則認(rèn)為窗口區(qū)域可能包含有缺陷，否則認(rèn)為此窗口區(qū)域為 背景區(qū)域。
3.根據(jù)權(quán)利要求1所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟3中，進(jìn)一步包括以如下公式獲取所述候選缺陷區(qū)域的背景灰度值Ib =丄!^.,(Hli > Hlw ,且 Tb- δ < Ii < Tb+ δ ) n i=\其中，Ib是候選缺陷區(qū)域的背景灰度值，i是符合條件的灰度值的索引，η是符合條件的灰度 值的總數(shù)，δ是經(jīng)驗值，為一正數(shù)，Hli是對應(yīng)第i個符合條件的灰度值Ii的直方圖，Tb是經(jīng) 驗背景灰度值。
4.根據(jù)權(quán)利要求3所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟3中，進(jìn)一步包括根據(jù)缺陷/未定義缺陷的特征和所述背景灰度值，將所述灰度分布模式分成如下模式第一灰度分布模式，具有均衡的背景和明顯的暗區(qū)； 第二灰度分布模式，具有均衡的背景和暗區(qū)以及明顯的高亮區(qū)域。
5.根據(jù)權(quán)利要求4所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟3中，進(jìn)一步包括當(dāng)所述候選缺陷區(qū)域中存在的像素Pi的灰度值滿足如下公式時，被判斷為高亮像素ip>Ib+Th其中，‘是像素的背景灰度值，Ib是候選缺陷區(qū)域的背景灰度值，Th為高亮像素的亮度高出 背景灰度值的閾值。
6.根據(jù)權(quán)利要求4或5所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟3中，進(jìn)一步包括獲取所述候選缺陷區(qū)域內(nèi)灰度的最小值min_X、最大值maX_X，并根據(jù)確定的灰度分布 模式進(jìn)行缺陷域提取當(dāng)確定的灰度分布模式為第一灰度分布模式時，令maX_X = Ib，根據(jù)對比度增強(qiáng)的方式 以如下公式計算閾值thresh 1 = (max_x+min_x)/2基于閾值thresh 1得到二值化的缺陷域，這里的二值設(shè)為0或255 ；或 當(dāng)確定的灰度分布模式為第二灰度分布模式時，對所述候選缺陷區(qū)域采用如下灰度分 段方式提供所述缺陷域a.對于灰度滿足0< Ii < Ib的像素，采用與所述第一灰度分布模式相同的方式提取 所述缺陷域；b.對于灰度滿足Ib彡Ii彡255的像素，令min_x= Ib，根據(jù)對比度增強(qiáng)的方式以如下 公式計算閾值thresh 2 = (max_x+min_x)/2基于閾值thresh 2得到二值化的缺陷域，這里的二值設(shè)為0或128。
7.根據(jù)權(quán)利要求1、2、3、4或5所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟3中，進(jìn)一步包括按照所述缺陷域的長度、寬度，對所述缺陷域進(jìn)行按比例的邊界進(jìn)行擴(kuò)充，公式如下W' =w* α , h' = h · α其中，α為邊界擴(kuò)充的尺度因子，w為擴(kuò)充前的缺陷域的寬度，W'為缺陷域向左/向右擴(kuò)充 的寬度，h為擴(kuò)充前的缺陷域的高度，h'為缺陷域向上/向下擴(kuò)充的高度。
8.根據(jù)權(quán)利要求1、2、3、4或5所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括按照玻璃圖像缺陷的分類需求設(shè)置相應(yīng)的缺陷分類的策略。
9.根據(jù)權(quán)利要求8所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括采用如下缺陷判別的分類方式對玻璃圖像缺陷進(jìn)行分類通過第一級SVM分類器區(qū)分結(jié)石類缺陷與其他類別缺陷，當(dāng)判斷玻璃圖像缺陷不是結(jié) 石類缺陷時，進(jìn)入第二級SVM分類器；通過所述第二級SVM分類器區(qū)分氣泡類缺陷與碎屑、未定義缺陷，當(dāng)判斷玻璃圖像缺 陷不是氣泡類缺陷時，進(jìn)入第三級SVM分類器；通過所述第三級SVM分類器區(qū)分碎屑與未定義缺陷。
10.根據(jù)權(quán)利要求9所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括按照基于分塊局部特征描述的特征提取方式提取所述缺陷域的特征向量。
11.根據(jù)權(quán)利要求10所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括利用主成分分析方式對所述特征向量進(jìn)行降維。
12.根據(jù)權(quán)利要求9、10或11所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括在訓(xùn)練樣本的收集階段，對所述缺陷域進(jìn)行位置擾動。
13.根據(jù)權(quán)利要求9、10或11所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括將所述缺陷判別的分類方式與基于規(guī)則的策略進(jìn)行融合對所述缺陷分類結(jié)果進(jìn)行修改。
14.根據(jù)權(quán)利要求13所述的玻璃圖像缺陷檢測及分類方法，其特征在于， 所述步驟4中，進(jìn)一步包括在采用所述缺陷判別的分類方式獲取所述缺陷分類結(jié)果后，對所述未定義缺陷按照緊 致的缺陷特征規(guī)則進(jìn)行限制，獲取誤分至所述未定義缺陷的真實缺陷。
15.一種快速的玻璃圖像缺陷檢測及分類裝置，其特征在于，包括候選缺陷窗口確定模塊，用于對于輸入的玻璃圖像進(jìn)行窗口掃描，根據(jù)窗口內(nèi)灰度分 布的均衡性度量，得到候選缺陷窗口 ；候選缺陷區(qū)域確定模塊，連接所述候選缺陷窗口確定模塊，用于根據(jù)所述候選缺陷窗 口的位置關(guān)系，合并相鄰的所述候選缺陷窗口，得到候選缺陷區(qū)域；缺陷域確定模塊，連接所述候選缺陷區(qū)域確定模塊，用于獲取所述候選缺陷區(qū)域的背 景信息，并按照所述候選缺陷區(qū)域的灰度分布模式提取缺陷域；缺陷分類模塊，連接所述缺陷域確定模塊，用于將所述缺陷域按照尺度進(jìn)行歸一化，并 提取特征向量，根據(jù)所述特征向量進(jìn)行缺陷分類，得到缺陷分類結(jié)果。
16.根據(jù)權(quán)利要求15所述的玻璃圖像缺陷檢測及分類裝置，其特征在于，所述候選缺陷窗口確定模塊用窗口區(qū)域的灰度方差作為窗口內(nèi)灰度分布的均衡性度 量，以判斷所述窗口是否可能包含缺陷，灰度方差公式如下
17.根據(jù)權(quán)利要求15所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述缺陷域確定模塊，進(jìn)一步包括背景灰度值獲取模塊，用于獲取所述候選缺陷區(qū)域的背景灰度值； 灰度分布模式確定模塊，連接所述背景灰度值獲取模塊，用于根據(jù)缺陷/未定義缺陷 的特征和所述背景灰度值，確定所述灰度分布模式；缺陷域提取模塊，連接所述灰度值獲取模塊、所述灰度分布模式確定模塊，用于根據(jù)所 述背景灰度值、所述灰度分布模式進(jìn)行缺陷域提取。
18.根據(jù)權(quán)利要求17所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述背景灰度值獲取模塊，以如下公式獲取所述候選缺陷區(qū)域的背景灰度值h = -ΣΛ^Ηι, > 戰(zhàn),+1 ,且 Tb- δ < Ii < Tb+ δ ) η /=1其中，Ib是候選缺陷區(qū)域的背景灰度值，i是符合條件的灰度值的索引，η是符合條件的灰度 值的總數(shù)，δ是經(jīng)驗值，為一正數(shù)，Hli是對應(yīng)第i個符合條件灰度值Ii的直方圖，Tb是經(jīng)驗 背景灰度值。
19.根據(jù)權(quán)利要求17或18所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述灰度分布模式確定模塊將所述灰度分布模式分成如下模式第一灰度分布模式，具有均衡的背景和明顯的暗區(qū)； 第二灰度分布模式，具有均衡的背景和暗區(qū)以及明顯的高亮區(qū)域。
20.根據(jù)權(quán)利要求19所述的玻璃圖像缺陷檢測及分類裝置，其特征在于，所述灰度分布模式確定模塊當(dāng)所述候選缺陷區(qū)域中存在的像素Pi的灰度值滿足如下 公式時，判斷該像素為高亮像素，對應(yīng)的區(qū)域為高亮區(qū)域WTh其中，4是像素的背景灰度值，Ib是候選缺陷區(qū)域的背景灰度值，Th為高亮像素的亮度高出 背景灰度值的閾值。
21.根據(jù)權(quán)利要求17、18或20所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述缺陷域提取模塊獲取所述候選缺陷區(qū)域內(nèi)灰度的最小值min_X、最大值max_x，并根據(jù)確定的灰度分布模式進(jìn)行缺陷域提取當(dāng)確定的灰度分布模式為第一灰度分布模式時，令maX_X = Ib，根據(jù)對比度增強(qiáng)的方式 以如下公式計算閾值
22.根據(jù)權(quán)利要求15、16、17、18或20所述的玻璃圖像缺陷檢測及分類裝置，其特征在于，所述裝置，進(jìn)一步包括缺陷域擴(kuò)充模塊，連接所述缺陷域確定模塊，用于按照所述缺陷域的長度、寬度，對所 述缺陷域進(jìn)行按比例的邊界進(jìn)行擴(kuò)充，公式如下W' =w* α , h' = h · α其中，α為邊界擴(kuò)充的尺度因子，w為擴(kuò)充前的缺陷域的寬度，W'為缺陷域向左/向右擴(kuò)充 的寬度，h為擴(kuò)充前的缺陷域的高度，h'為缺陷域向上/向下擴(kuò)充的高度。
23.根據(jù)權(quán)利要求15、16、17、18或20所述的玻璃圖像缺陷檢測及分類裝置，其特征在于，所述缺陷分類模塊按照玻璃圖像缺陷的分類需求設(shè)置相應(yīng)的缺陷分類的策略。
24.根據(jù)權(quán)利要求23所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述缺陷分類模塊，進(jìn)一步包括第一級SVM分類器，用于區(qū)分結(jié)石類缺陷與其他類別缺陷；第二級SVM分類器，連接所述第一級SVM分類器，用于當(dāng)所述第一級SVM分類器判斷玻 璃圖像缺陷不是結(jié)石類缺陷時，區(qū)分氣泡類缺陷與碎屑、未定義缺陷；第三級SVM分類器，連接所述第二級SVM分類器，用于當(dāng)所述第二級SVM分類器判斷玻 璃圖像缺陷不是氣泡類缺陷時，區(qū)分碎屑與未定義缺陷；第一特征向量提取模塊，用于從所述缺陷域中提取第一特征向量，以供所述第一級SVM 分類器、所述第二級SVM分類器進(jìn)行缺陷分類所用；第二特征向量提取模塊，用于從所述缺陷域中提取第二特征向量，以供第三級SVM分 類器進(jìn)行缺陷分類所用。
25.根據(jù)權(quán)利要求24所述的玻璃圖像缺陷檢測及分類裝置，其特征在于，所述第一特征向量提取模塊按照基于分塊局部特征描述的特征提取方式提取所述第 一特征向量；所述第二特征向量提取模塊采用灰度直方圖特征作為所述第二特征向量。
26.根據(jù)權(quán)利要求25所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述缺陷分類模塊，進(jìn)一步包括特征向量降維模塊，連接所述第一特征向量提取模塊，用于利用主成分分析方式對所 述第一特征向量進(jìn)行降維。
27.根據(jù)權(quán)利要求24、25或26所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述缺陷分類模塊，進(jìn)一步包括缺陷域位置擾動模塊，用于在訓(xùn)練樣本的收集階段，對所述缺陷域進(jìn)行位置擾動，以用 于所述第一級SVM分類器、所述第二級SVM分類器、所述第三級SVM分類器的訓(xùn)練。
28.根據(jù)權(quán)利要求24、25或26所述的玻璃圖像缺陷檢測及分類裝置，其特征在于， 所述缺陷分類模塊，進(jìn)一步包括缺陷分類修正模塊，連接所述第一級SVM分類器、所述第二級SVM分類器、所述第三級 SVM分類器，用于將所述第一級SVM分類器、所述第二級SVM分類器、所述第三級SVM分類器 進(jìn)行缺陷判別的分類方式與基于規(guī)則的策略進(jìn)行融合對所述缺陷分類結(jié)果進(jìn)行修正。
29.根據(jù)權(quán)利要求28所述的玻璃圖像缺陷檢測及分類裝置，其特征在于，所述缺陷分類修正模塊在所述第一級SVM分類器、所述第二級SVM分類器、所述第三級 SVM分類器獲取所述缺陷分類結(jié)果后，對所述未定義缺陷按照緊致的缺陷特征規(guī)則進(jìn)行限 制，獲取誤分至所述未定義缺陷的真實缺陷。
全文摘要
本發(fā)明有關(guān)于一種快速的玻璃圖像缺陷檢測及分類方法及其裝置，其中該方法包括步驟1，對于輸入的玻璃圖像進(jìn)行窗口掃描，根據(jù)窗口內(nèi)灰度分布的均衡性度量，得到候選缺陷窗口；步驟2，根據(jù)所述候選缺陷窗口的位置關(guān)系，合并相鄰的所述候選缺陷窗口，得到候選缺陷區(qū)域；步驟3，獲取所述候選缺陷區(qū)域的背景信息，并按照所述候選缺陷區(qū)域的灰度分布模式提取缺陷域；步驟4，將所述缺陷域按照尺度進(jìn)行歸一化，并提取特征向量，根據(jù)所述特征向量進(jìn)行缺陷分類，得到缺陷分類結(jié)果。采用本發(fā)明方法能夠?qū)Π肼暤牟ＡD像幀中的缺陷進(jìn)行準(zhǔn)確檢測，并且能夠有效地區(qū)分缺陷的類別，包括對未定義缺陷的判別。
文檔編號G06T7/00GK101996405SQ20101026661
公開日2011年3月30日 申請日期2010年8月30日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者崔振, 柴秀娟, 武斌, 鄭媛, 陳海峰, 陳熙霖 申請人:中國科學(xué)院計算技術(shù)研究所;圣戈班研發(fā)(上海)有限公司