專利名稱：基于機(jī)器視覺的焊球表面缺陷檢測裝置與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種光學(xué)檢測技術(shù)領(lǐng)域的檢測裝置與方法，具體地說，涉及的 是一種基于機(jī)器視覺的焊球表面缺陷檢測裝置與方法。
背景技術(shù)：
隨著芯片生產(chǎn)和4裝技術(shù)的發(fā)展，傳統(tǒng)的基于焊腳的芯片生產(chǎn)方式已經(jīng)無 法滿足要求，取而代之的是基于焊球的表面貼裝技術(shù)，典型代表為球形柵格陣 列芯片BGA。作為重要的連接部件，焊球質(zhì)量對芯片質(zhì)量起著重要作用。由于焊 球體積微小，人工目測檢測不僅效率低下，而且誤檢率很高，因此，出現(xiàn)了眾 多焊球質(zhì)量檢測裝置和方法。
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，中國專利公開號CN101136346，
公開日2008 年3月5日，專利名稱 一種芯片焊點(diǎn)在線檢測和缺陷辨識裝置及芯片封裝裝 置，公開了一種基于熱成像的檢測裝置，可以對貼裝后的焊點(diǎn)進(jìn)行在線檢測， 但需要對芯片加熱，同時需要紅外熱像儀，裝置比較復(fù)雜。中國專利授權(quán)號 CN1306582C，授權(quán)日2007年3月21日，專利名稱基于機(jī)器視覺的球柵陣列 半導(dǎo)體器件品質(zhì)檢測系統(tǒng)，公開了一種球柵陣列半導(dǎo)體器件品質(zhì)光學(xué)檢測方法， 但主要集中在對焊球高度、大小、形狀和位置的檢測，不能有效檢測焊球表面 缺陷。焊球表面缺陷包括表面刮傷，表面坍陷，大的刮傷或塌陷會造成焊球接 觸不良，影響芯片質(zhì)量，因此有必要研究一種針對焊球表面缺陷的光學(xué)檢測方 法。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出一種基于機(jī)器視覺的焊球表 面缺陷檢測裝置與方法，利用光學(xué)成像系統(tǒng)和圖像采集系統(tǒng)獲取焊球圖像，通 過圖像特征提取，概率神經(jīng)網(wǎng)絡(luò)分類，實(shí)現(xiàn)對焊球表面缺陷的無損檢測。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的-
本發(fā)明所涉及的基于機(jī)器視覺的焊球表面缺陷檢測裝置包括光學(xué)成像系統(tǒng)、圖像采集系統(tǒng)、圖像分割模塊、特征提取模塊和概率神經(jīng)網(wǎng)絡(luò)模塊。其中 所述光學(xué)成像系統(tǒng)采用黑白CCD攝像機(jī)采集芯片圖像；
所述圖像采集系統(tǒng)從黑白CCD攝像機(jī)接收集芯片圖像，并傳輸至計(jì)算機(jī)， 使用軟件觸發(fā)采集信號，從光學(xué)成像系統(tǒng)輸出的視頻流信號中截取單幀灰度圖 像，以二維整數(shù)矩陣的形式存儲在計(jì)算機(jī)內(nèi)存中；
所述圖像分割模塊以圖像采集系統(tǒng)輸出的二維整數(shù)矩陣為輸入，將整幅圖 像對應(yīng)的二維整數(shù)矩陣分割為一個個包含單一焊球的子矩陣；
所述圖像特征提取模塊接收圖像分割模塊輸出的二維整數(shù)子矩陣，通過對 該矩陣的處理，即圖像特征提取，輸出一個一維浮點(diǎn)數(shù)向量，該向量包含三個 元素，依次為圖像的表面紋理熵，團(tuán)塊面積比和相似度比三個特征；
所述概率神經(jīng)網(wǎng)絡(luò)模塊接收圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量，經(jīng) 訓(xùn)練和測試后，將焊球分成良好焊球和缺陷焊球兩類。
所述光學(xué)成像系統(tǒng)包括光學(xué)顯微鏡、黑白CCD攝像機(jī)、LED白光源。LED白 光源固定在顯微鏡物鏡下方，CCD攝像機(jī)固定在光學(xué)顯微鏡目鏡上方，芯片圖像 經(jīng)光學(xué)顯微鏡放大后被黑白CCD攝像機(jī)采集。
所述圖像采集系統(tǒng)使用1394火線接口將圖像從黑白CCD攝像機(jī)傳輸至臺式 計(jì)算機(jī)。
所述概率神經(jīng)網(wǎng)絡(luò)模塊完成概率神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、測試和分類，將焊球分 成良好焊球和缺陷焊球兩類，其中
在訓(xùn)練階段，該模塊接收圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量和相應(yīng) 的訓(xùn)練目標(biāo)值，通過反復(fù)迭代，輸出一個包含輸入、徑向基層和競爭層的概率 神經(jīng)網(wǎng)絡(luò)；
在測試階段，該模塊接收圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量，利用 訓(xùn)練階段生成的網(wǎng)絡(luò)，輸出網(wǎng)絡(luò)分類值，并與相應(yīng)的分類目標(biāo)值比較，若與目 標(biāo)值相等，則分類正確，否則分類錯誤，統(tǒng)計(jì)該網(wǎng)絡(luò)在整個測試樣本集上的準(zhǔn) 確率，若未達(dá)到期望準(zhǔn)確率值，則調(diào)整徑向基層的分布密度spread,再次訓(xùn)練； 若準(zhǔn)確率達(dá)到期望準(zhǔn)確率值，則可以應(yīng)用該網(wǎng)絡(luò)對輸入向量進(jìn)行分類；在分類 階段，該模塊接收圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量，利用通過測試的 網(wǎng)絡(luò)，輸出網(wǎng)絡(luò)分類值，即所檢測焊球?yàn)榱己煤盖蚧虮砻嫒毕莺盖?。本發(fā)明所涉及的基于機(jī)器視覺的焊球表面缺陷檢測方法，包括以下步驟 第一步，圖像采集模塊通過軟件觸發(fā)采集信號，從光學(xué)成像模塊輸出的視
頻流中截取一幀圖像，將該圖像以二維整數(shù)矩陣的形式存儲在計(jì)算機(jī)內(nèi)存中。 第二步，圖像分割模塊以圖像采集系統(tǒng)輸出的二維整數(shù)矩陣為輸入，根據(jù)
芯片上焊球的分布，將整幅圖像對應(yīng)的二維整數(shù)矩陣分割為一個個包含單一焊
球的子矩陣。
第三步，圖像特征提取模塊根據(jù)圖像分割模塊輸出的二維整數(shù)子矩陣，提 取圖像的表面紋理熵特征。 .
表面紋理熵用來度量焊球表面的光滑程度。表面越光滑，則熵越??；反之， 若表面有較大刮傷、塌陷，則熵較大。對輸入的二維整數(shù)子矩陣，根據(jù)其對應(yīng) 圖像的灰度階和總像素?cái)?shù)，統(tǒng)計(jì)每個灰度階范圍內(nèi)的像素?cái)?shù)目比例，建立歸一 化的灰度直方圖。利用該直方圖和紋理熵計(jì)算公式，輸出圖像的紋理熵。
第四步，圖像特征提取模塊根據(jù)圖像分割模塊輸出的二維整數(shù)子矩陣，提 取圖像的團(tuán)塊面積比特征。
對輸入的二維整數(shù)子矩陣，用0tSU閾值分割法計(jì)算全局閾值，對圖像的每 個像素，若其灰度值大于閾值則置一，小于或等于閾值則置零，從而將灰度圖 像轉(zhuǎn)變?yōu)槎祱D像。刮傷和塌陷部分一般灰度較低，圖像二值化后形成比較大 的黑色連通團(tuán)塊。將二值圖像取反，刮傷和塌陷部分對應(yīng)的黑色連通團(tuán)塊轉(zhuǎn)變 為白色連通區(qū)域，統(tǒng)計(jì)白色連通區(qū)域的像素?cái)?shù)，即為白色團(tuán)塊面積，輸出白色 團(tuán)塊與整幅圖像的面積比。
第五步，圖像特征提取模塊根據(jù)圖像分割模塊輸出的二維整數(shù)子矩陣，提 取圖像與模板圖像的相似度比特征。
從樣本圖像中取若干幅良好焊球圖像和有缺陷焊球圖像作為模板，并將模 板圖像的灰度范圍歸一化。對輸入的待檢測灰度圖像對應(yīng)的二維矩陣，做同樣 的歸一化操作。將歸一化后的待檢測圖像對應(yīng)的二維矩陣分別與良好焊球模板 圖像和有缺陷焊球模板圖像對應(yīng)的二維矩陣做相關(guān)度計(jì)算，輸出兩者的比值， 即為相似度比。
經(jīng)過上述三個步驟，圖像特征提取模塊為每幅焊球圖像輸出一個一維浮點(diǎn) 數(shù)向量，該向量包含三個元素，分別為上述三個步驟的輸出值。第六步，以圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量和相應(yīng)的訓(xùn)練目標(biāo)值 為輸入，對概率神經(jīng)網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練和測試。
取良好焊球和缺陷焊球，分別利用前述步驟采集焊球圖像，將圖像特征提 取模塊輸出的一維浮點(diǎn)數(shù)向量作為概率神經(jīng)網(wǎng)絡(luò)的輸入向量，同時利用訓(xùn)練目 標(biāo)值為網(wǎng)絡(luò)標(biāo)明每幅圖像所屬分類。設(shè)定徑向基層的分布密度spread,則網(wǎng)絡(luò) 自動通過反復(fù)迭代，為每層分配權(quán)值和偏置。訓(xùn)練結(jié)束后另取一部分樣本圖片 對網(wǎng)絡(luò)的分類能力進(jìn)行檢驗(yàn)，若對檢驗(yàn)樣本集的準(zhǔn)確率大于設(shè)定準(zhǔn)確率，則網(wǎng) 絡(luò)通過測試，否則則調(diào)整spread值，再次訓(xùn)練網(wǎng)絡(luò)。
第七步，利用通過測試的網(wǎng)絡(luò)對焊球表面是否有缺陷進(jìn)行分類判別。即將 圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量輸入到經(jīng)過測試的概率神經(jīng)網(wǎng)絡(luò)，則 網(wǎng)絡(luò)自動輸出相應(yīng)的分類值，即所檢測焊球?yàn)榱己煤盖蚧虮砻嫒毕莺盖颉?br> 本發(fā)明采用黑白CCD攝像機(jī)捕捉圖像，用機(jī)器視覺算法提取圖像特征，用 概率神經(jīng)網(wǎng)絡(luò)對焊球圖像分類，實(shí)現(xiàn)對焊球表面缺陷的無損檢測。裝置結(jié)構(gòu)簡 單，特征提取方法區(qū)分度高，概率神經(jīng)網(wǎng)絡(luò)分類能力強(qiáng)，解決了準(zhǔn)確檢測焊球 表面缺陷的問題。


圖1為本發(fā)明基于機(jī)器視覺的焊球表面缺陷檢測裝置結(jié)構(gòu)框圖； 圖中，1為光學(xué)成像系統(tǒng)，2為圖像采集系統(tǒng)，3為圖像分割模塊，4為特 征提取模塊，5為概率神經(jīng)網(wǎng)絡(luò)模塊。
圖2為本發(fā)明光學(xué)成像系統(tǒng)和圖像采集系統(tǒng)示意圖中，101為黑白CCD攝像機(jī)，102為顯微鏡目鏡，103為支架，104為光 學(xué)顯微鏡，105為顯微鏡物鏡，106為待測芯片，107為LED白光源；201為1394 火線，202為臺式計(jì)算機(jī)。
具體實(shí)施例方式
下面結(jié)合附圖對本發(fā)明的實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方 案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的 保護(hù)范圍不限于下述的實(shí)施例。
如圖1所示，本實(shí)施例涉及的基于機(jī)器視覺的焊球表面缺陷檢測裝置，由 光學(xué)成像系統(tǒng)l、圖像采集系統(tǒng)2、圖像分割模塊3、特征提取模塊4和概率神經(jīng)網(wǎng)絡(luò)模塊5組成，其中
光學(xué)成像系統(tǒng)1采用黑白CCD攝像機(jī)采集芯片圖像；
圖像采集系統(tǒng)2從黑白CCD攝像機(jī)接收集芯片圖像，并傳輸至計(jì)算機(jī)，使
用軟件觸發(fā)采集信號，從光學(xué)成像系統(tǒng)1輸出的視頻流信號中截取單幀灰度圖
像，以二維整數(shù)矩陣的形式存儲在計(jì)算機(jī)內(nèi)存中；
圖像分割模塊3根據(jù)焊球在芯片上的分布，將輸入的1024*768的整數(shù)矩陣 分割成一個個包含單一焊球的子矩陣，每個子矩陣大小為80*80。
圖像特征提取模塊4接收圖像分割模塊3輸出的二維整數(shù)子矩陣，通過對 該矩陣的處理，輸出一個一維浮點(diǎn)數(shù)向量，該向量包含三個元素，依次為圖像 的表面紋理熵，團(tuán)塊面積比和相似度比三個特征。
概率神經(jīng)網(wǎng)絡(luò)模塊5接收圖像特征提取模塊4輸出的一維浮點(diǎn)數(shù)向量，經(jīng) 訓(xùn)練和測試后，將焊球分成良好焊球和缺陷焊球兩類。
本實(shí)施例中，光學(xué)成像系統(tǒng)1和圖像采集系統(tǒng)2的詳細(xì)結(jié)構(gòu)如圖2所示。
光學(xué)成像系統(tǒng)1包括黑白CCD攝像機(jī)101，光學(xué)顯微鏡104, LED白光源107， 支架103。黑白CCD攝像機(jī)101焦距2.8毫米，分辨率1024*768像素，光學(xué)顯 微鏡104放大倍率20X，待測芯片106焊球間距1. 27毫米。黑白CCD攝像機(jī)101 置于顯微鏡目鏡102上方，待測芯片106置于光學(xué)顯微鏡的載物臺上，距離顯 微鏡物鏡82毫米，LED光源107固定在顯微鏡物鏡105下方。芯片圖像經(jīng)顯微 鏡104放大后進(jìn)入CCD攝像機(jī)101。
圖像采集系統(tǒng)2包括1394火線201和臺式計(jì)算機(jī)202，攝像機(jī)采集的視頻 流通過1394火線201傳輸至臺式計(jì)算機(jī)202，使用軟件觸發(fā)信號，從光學(xué)成像 系統(tǒng)l輸出的視頻流信號中截取單幀灰度圖像，圖像大小為1024*768像素，位 深為8，以二維整數(shù)矩陣的形式存儲在計(jì)算機(jī)內(nèi)存中。
概率神經(jīng)網(wǎng)絡(luò)模塊完成概率神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、測試和分類，將焊球分成良 好焊球和缺陷焊球兩類，其中
在訓(xùn)練階段，該模塊接收圖像特征提取模塊4輸出的一維浮點(diǎn)數(shù)向量和相 應(yīng)的訓(xùn)練目標(biāo)值，通過反復(fù)迭代，輸出一個包含輸入、徑向基層和競爭層的概
率神經(jīng)網(wǎng)絡(luò)；
在測試階段，該模塊接收圖像特征提取模塊4輸出的一維浮點(diǎn)數(shù)向量，利用訓(xùn)練階段生成的網(wǎng)絡(luò)，輸出網(wǎng)絡(luò)分類值，并與相應(yīng)的分類目標(biāo)值比較，若與 目標(biāo)值相等，則分類正確，否則分類錯誤，統(tǒng)計(jì)該網(wǎng)絡(luò)在整個測試樣本集上的 準(zhǔn)確率，若未達(dá)到期望準(zhǔn)確率值，則調(diào)整徑向基層的分布密度spread,再次訓(xùn) 練；若準(zhǔn)確率達(dá)到期望準(zhǔn)確率值，則可以應(yīng)用該網(wǎng)絡(luò)對輸入向量進(jìn)行分類；
在分類階段，該模塊接收圖像特征提取模塊4輸出的一維浮點(diǎn)數(shù)向量，利 用通過測試的網(wǎng)絡(luò)，輸出網(wǎng)絡(luò)分類值，即所檢測焊球?yàn)榱己煤盖蚧虮砻嫒毕莺?球。
本實(shí)施例涉及的基于機(jī)器視覺的焊球表面缺陷檢測方法包括如下步驟
1. 圖像采集系統(tǒng)2通過軟件觸發(fā)采集信號，從光學(xué)成像模塊l輸出的視頻 流中截取一幀大小為1024*768像素，位深為8的圖像，將該圖像以二維整數(shù)矩 陣的形式存儲在計(jì)算機(jī)內(nèi)存中，矩陣行數(shù)為1024，列數(shù)為768。
2. 圖像分割模塊3以圖像采集系統(tǒng)2輸出的二維整數(shù)矩陣為輸入，將整幅 圖像對應(yīng)的二維整數(shù)矩陣分割為一個個包含單一焊球的子矩陣，每個子矩陣大 小為80*80。
3. 圖像特征提取模塊3接收圖像分割模塊2輸出的二維整數(shù)子矩陣，提取 圖像的表面紋理熵特征。對輸入的大小為80*80的二維矩陣，根據(jù)其對應(yīng)圖像 的灰度階256和總像素?cái)?shù)6400，統(tǒng)計(jì)每個灰度階范圍內(nèi)的像素?cái)?shù)目比例，建立 歸一化的灰度直方圖。利用該直方圖和紋理熵計(jì)算公式，輸出圖像的紋理熵 entropyQ
4. 圖像特征提取模塊4接收圖像分割模塊3輸出的二維整數(shù)子矩陣，提取 圖像的團(tuán)塊面積比特征。對輸入的大小為80*80的二維矩陣，用Otsu閾值分割 法計(jì)算全局閾值，對圖像的每個像素，若其灰度值大于閾值則置一，小于或等 于閾值則置零，將灰度圖像轉(zhuǎn)變?yōu)槎祱D像。將二值圖像取反，統(tǒng)計(jì)白色連通 區(qū)域的像素?cái)?shù)，即為白色團(tuán)塊面積，輸出白色團(tuán)塊與整幅圖像的面積比 area—ratio。
5. 圖像特征提取模塊4接收圖像分割模塊3輸出的二維整數(shù)子矩陣，提取
圖像與模板圖像的相似度比特征。從樣本圖像中取五幅良好焊球圖像和五幅有 缺陷焊球圖像作為模板，并將模板圖像的灰度范圍歸一化。對輸入的待檢測灰
度圖像對應(yīng)的二維矩陣，做同樣的歸一化操作。將歸一化后的待檢測圖像對應(yīng)的二維矩陣分別與良好焊球模板圖像和有缺陷焊球模板圖像對應(yīng)的二維矩陣做 相關(guān)度計(jì)算，輸出兩者的比值，即為相似度比similarity_rati0。經(jīng)過上述三 個步驟，圖像特征提取模塊為每幅焊球圖像輸出一個一維浮點(diǎn)數(shù)向量， [entropy, area—ratio, similarity—ratio]。
6. 以圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量和相應(yīng)的訓(xùn)練目標(biāo)值為輸 入，對概率神經(jīng)網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練和測試。利用前述步驟采集焊球圖像，取良 好焊球和缺陷焊球圖像各二十五幅，利用圖像特征提取模塊輸出相應(yīng)的一維浮 點(diǎn)數(shù)向量作為概率神經(jīng)網(wǎng)絡(luò)的輸入向量，同時利用訓(xùn)練目標(biāo)值為網(wǎng)絡(luò)標(biāo)明每幅 圖像所屬分類，用l表示良好焊球，2表示缺陷焊球。設(shè)定徑向基層的分布密度 spreacN). 1，則網(wǎng)絡(luò)自動通過反復(fù)迭代，為每層分配權(quán)值和偏置。訓(xùn)練結(jié)束后 網(wǎng)絡(luò)為每幅圖像輸出分類值均等于設(shè)定目標(biāo)值。另取50幅圖像用來網(wǎng)絡(luò)的分類 能力進(jìn)行檢驗(yàn)，若對檢驗(yàn)樣本集的準(zhǔn)確率大于設(shè)定準(zhǔn)確率，本例為97%，則網(wǎng)絡(luò) 通過測試，否則則調(diào)整spread值，再次訓(xùn)練網(wǎng)絡(luò)。
7. 利用通過測試的網(wǎng)絡(luò)對焊球表面是否有缺陷進(jìn)行分類判別。即將圖像特 征提取模塊輸出的一維浮點(diǎn)數(shù)向量輸入到經(jīng)過測試的概率神經(jīng)網(wǎng)絡(luò)，則網(wǎng)絡(luò)自 動輸出相應(yīng)的分類值，本例中輸出1時表示待檢測焊球表面良好，輸出2時表 示待檢測焊球表面有較大缺陷。
本實(shí)施例是一種針對焊球表面缺陷的光學(xué)檢測，利用光學(xué)成像系統(tǒng)和圖像 采集系統(tǒng)獲取焊球圖像，通過圖像特征提取，概率神經(jīng)網(wǎng)絡(luò)分類，實(shí)現(xiàn)對焊球 表面缺陷的無損檢測。
權(quán)利要求
1、一種基于機(jī)器視覺的焊球表面缺陷檢測裝置，其特征在于包括光學(xué)成像系統(tǒng)、圖像采集系統(tǒng)、圖像分割模塊、特征提取模塊和概率神經(jīng)網(wǎng)絡(luò)模塊，其中所述光學(xué)成像系統(tǒng)采用黑白CCD攝像機(jī)采集芯片圖像；所述圖像采集系統(tǒng)從黑白CCD攝像機(jī)接收集芯片圖像，并傳輸至計(jì)算機(jī)，使用軟件觸發(fā)采集信號，從光學(xué)成像系統(tǒng)輸出的視頻流信號中截取單幀灰度圖像，以二維整數(shù)矩陣的形式存儲在計(jì)算機(jī)內(nèi)存中；所述圖像分割模塊以圖像采集系統(tǒng)輸出的二維整數(shù)矩陣為輸入，將整幅圖像對應(yīng)的二維整數(shù)矩陣分割為一個個包含單一焊球的子矩陣；所述圖像特征提取模塊接收圖像分割模塊輸出的二維整數(shù)子矩陣，通過對該矩陣的處理，即圖像特征提取，輸出一個一維浮點(diǎn)數(shù)向量，該向量包含三個元素，依次為圖像的表面紋理熵，團(tuán)塊面積比和相似度比三個特征；所述概率神經(jīng)網(wǎng)絡(luò)模塊接收圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量，經(jīng)訓(xùn)練和測試后，將焊球分成良好焊球和缺陷焊球兩類。
2、 根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的焊球表面缺陷檢測裝置，其特征 是，所述光學(xué)成像系統(tǒng)包括光學(xué)顯微鏡、黑白CCD攝像機(jī)、LED白光源，其中 LED白光源固定在顯微鏡物鏡下方，CCD攝像機(jī)固定在光學(xué)顯微鏡目鏡上方，芯 片圖像經(jīng)光學(xué)顯微鏡放大后被黑白CCD攝像機(jī)采集。
3、 根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的焊球表面缺陷檢測裝置，其特征 是，所述圖像采集系統(tǒng)使用1394火線接口將圖像從黑白CCD攝像機(jī)傳輸至臺式 計(jì)算機(jī)。
4、 根據(jù)權(quán)利要求1所述的基于機(jī)器視覺的焊球表面缺陷檢測裝置，其特征 是，所述概率神經(jīng)網(wǎng)絡(luò)模塊完成概率神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、測試和分類，將焊球分 成良好焊球和缺陷焊球兩類，其中在訓(xùn)練階段，該模塊接收圖像特征提取模 塊輸出的一維浮點(diǎn)數(shù)向量和相應(yīng)的訓(xùn)練目標(biāo)值，通過反復(fù)迭代，輸出一個包含 輸入、徑向基層和競爭層的概率神經(jīng)網(wǎng)絡(luò)；在測試階段，該模塊接收圖像特征 提取模塊輸出的一維浮點(diǎn)數(shù)向量，利用訓(xùn)練階段生成的網(wǎng)絡(luò)，輸出網(wǎng)絡(luò)分類值，并與相應(yīng)的分類目標(biāo)值比較，若與目標(biāo)值相等，則分類正確，否則分類錯誤， 統(tǒng)計(jì)該網(wǎng)絡(luò)在整個測試樣本集上的準(zhǔn)確率，若未達(dá)到期望準(zhǔn)確率值，則調(diào)整徑 向基層的分布密度spread,再次訓(xùn)練；若準(zhǔn)確率達(dá)到期望準(zhǔn)確率值，則應(yīng)用該 網(wǎng)絡(luò)對輸入向量進(jìn)^分類；在分類階段，該模塊接收圖像特征提取模塊輸出的 一維浮點(diǎn)數(shù)向量，利用通過測試的網(wǎng)絡(luò)，輸出網(wǎng)絡(luò)分類值，即所檢測焊球?yàn)榱?好焊球或表面缺陷焊球。
5、 一種基于機(jī)器視覺的焊球表面缺陷檢測方法，其特征在于包括以下步驟: 第一步，圖像采集模塊通過軟件觸發(fā)采集信號，從光學(xué)成像模塊輸出的視頻流中截取一幀圖像，將該圖像以二維整數(shù)矩陣的形式存儲在計(jì)算機(jī)內(nèi)存中；第二步，圖像分割模塊以圖像采集系統(tǒng)輸出的二維整數(shù)矩陣為輸入，根據(jù) 芯片上焊球的分布，將整幅圖像對應(yīng)的二維整數(shù)矩陣分割為一個個包含單一焊 球的子矩陣；第三步，圖像特征提取模塊根據(jù)圖像分割模塊輸出的二維整數(shù)子矩陣，提 取圖像的表面紋理熵特征；第四步，圖像特征提取模塊根據(jù)圖像分割模塊輸出的二維整數(shù)子矩陣，提 取圖像的團(tuán)塊面積比特征；第五步，圖像特征提取模塊根據(jù)圖像分割模塊輸出的二維整數(shù)子矩陣，提 取圖像與模板圖像的相似度比特征；經(jīng)過上述三個步驟，圖像特征提取模塊為每幅焊球圖像輸出一個一維浮點(diǎn) 數(shù)向量，該向量包含三個元素，分別為上述三個步驟的輸出值；第六步，以圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量和相應(yīng)的訓(xùn)練目標(biāo)值 為輸入，對概率神經(jīng)網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練和測試；第七步，利用通過測試的網(wǎng)絡(luò)對焊球表面是否有缺陷進(jìn)行分類判別。
6、 根據(jù)權(quán)利要求5所述的基于機(jī)器視覺的焊球表面缺陷檢測方法，其特征 是，第三步中，所述表面紋理熵用來度量焊球表面的光滑程度，對輸入的二維 整數(shù)子矩陣，根據(jù)其對應(yīng)圖像的灰度階和總像素?cái)?shù)，統(tǒng)計(jì)每個灰度階范圍內(nèi)的 像素?cái)?shù)目比例，建立歸一化的灰度直方圖，利用該直方圖和紋理熵計(jì)算公式， 輸出圖像的紋理熵。
7、 根據(jù)權(quán)利要求5所述的基于機(jī)器視覺的焊球表面缺陷檢測方法，其特征 是，第四步中，對輸入的二維整數(shù)子矩陣，用0tsu閾值分割法計(jì)算全局閾值，對圖像的每個像素，若其灰度值大于閾值則置一，小于或等于閾值則置零，從 而將灰度圖像轉(zhuǎn)變?yōu)槎祱D像，將二值圖像取反，刮傷和塌陷部分對應(yīng)的黑色 連通團(tuán)塊轉(zhuǎn)變?yōu)榘咨B通區(qū)域，統(tǒng)計(jì)白色連通區(qū)域的像素?cái)?shù)，即為白色團(tuán)塊面 積，輸出白色團(tuán)塊與整幅圖像的面積比。
8、 根據(jù)權(quán)利要求5所述的基于機(jī)器視覺的焊球表面缺陷檢測方法，其特征 是，第五步中，從樣本圖像中取若干幅良好焊球圖像和有缺陷焊球圖像作為模 板，并將模板圖像的灰度范圍歸一化，對輸入的待檢測灰度圖像對應(yīng)的二維矩 陣，做同樣的歸一化操作，將歸一化后的待檢測圖像對應(yīng)的二維矩陣分別與良 好焊球模板圖像和有缺陷焊球模板圖像對應(yīng)的二維矩陣做相關(guān)度計(jì)算，輸出兩 者的比值，即為相似度比。
9、 根據(jù)權(quán)利要求5所述的基于機(jī)器視覺的焊球表面缺陷檢測方法，其特征 是，第六步中，取良好焊球和缺陷焊球，分別利用前述步驟采集焊球圖像，將 圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量作為概率神經(jīng)網(wǎng)絡(luò)的輸入向量，同時 利用訓(xùn)練目標(biāo)值為網(wǎng)絡(luò)標(biāo)明每幅圖像所屬分類，設(shè)定徑向基層的分布密度 spread,則網(wǎng)絡(luò)自動通過反復(fù)迭代，為每層分配權(quán)值和偏置，訓(xùn)練結(jié)束后另取 一部分樣本圖片對網(wǎng)絡(luò)的分類能力進(jìn)行檢驗(yàn)，若對檢驗(yàn)樣本集的準(zhǔn)確率大于設(shè) 定準(zhǔn)確率，則網(wǎng)絡(luò)通過測試，否則則調(diào)整spread值，再次訓(xùn)練網(wǎng)絡(luò)。
10、 根據(jù)權(quán)利要求5所述的基于機(jī)器視覺的焊球表面缺陷檢測方法，其特 征是，第七步，將圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量輸入到經(jīng)過測試的 概率神經(jīng)網(wǎng)絡(luò)，則網(wǎng)絡(luò)自動輸出相應(yīng)的分類值，即所檢測焊球?yàn)榱己煤盖蚧虮?面缺陷焊球。
全文摘要
本發(fā)明涉及一種自動光學(xué)檢測領(lǐng)域的基于機(jī)器視覺的焊球表面缺陷檢測裝置與方法，其中光學(xué)成像系統(tǒng)采集芯片圖像，圖像采集系統(tǒng)接收集芯片圖像，從光學(xué)成像系統(tǒng)輸出的視頻流信號中截取單幀灰度圖像，以二維整數(shù)矩陣的形式存儲；圖像分割模塊將整幅圖像對應(yīng)的二維整數(shù)矩陣分割為包含單一焊球的子矩陣；圖像特征提取模塊接收圖像分割模塊輸出的二維整數(shù)子矩陣，并進(jìn)行處理，輸出一個一維浮點(diǎn)數(shù)向量；概率神經(jīng)網(wǎng)絡(luò)模塊接收圖像特征提取模塊輸出的一維浮點(diǎn)數(shù)向量，經(jīng)訓(xùn)練和測試后，將焊球分成良好焊球和缺陷焊球兩類。本發(fā)明裝置結(jié)構(gòu)簡單，特征提取方法和概率神經(jīng)網(wǎng)絡(luò)的結(jié)合區(qū)分度好，準(zhǔn)確率高，實(shí)現(xiàn)了對焊球表面缺陷的無損檢測。
文檔編號G01N21/88GK101424645SQ20081020301
公開日2009年5月6日 申請日期2008年11月20日 優(yōu)先權(quán)日2008年11月20日
發(fā)明者曹其新, 揚(yáng) 楊, 袁肇飛 申請人:上海交通大學(xué)