專利名稱：基于機(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)的裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及冶金行業(yè)型鋼斷面尺寸在線檢測(cè)的領(lǐng)域，具體屬于基于機(jī)器視覺(jué)(計(jì)算機(jī)圖像采集與處理)的型鋼斷面尺寸在線檢測(cè)的裝置及方法。
背景技術(shù)：
在熱軋型鋼生產(chǎn)中，由于高溫造成產(chǎn)品斷面尺寸在線檢測(cè)的困難，在冷彎型鋼生產(chǎn)中，由于斷面形狀復(fù)雜，檢測(cè)點(diǎn)多而一直是冷彎型鋼在線監(jiān)測(cè)的難點(diǎn)，手工檢測(cè)費(fèi)時(shí)費(fèi)力，而現(xiàn)有的在線檢測(cè)儀器檢測(cè)點(diǎn)少，不能檢測(cè)所生產(chǎn)的產(chǎn)品整個(gè)斷面的幾何尺寸。雖然已有一種激光在線檢測(cè)儀器，利用激光測(cè)距的原理，用激光束對(duì)產(chǎn)品表面掃描，能夠檢測(cè)產(chǎn)品整個(gè)斷面的尺寸，但該裝置無(wú)論是圖像采集傳感器還是激光源，結(jié)構(gòu)復(fù)雜成本高昂，其軟件也依賴于專業(yè)模塊，因此制約了激光檢測(cè)技術(shù)的普及。隨計(jì)算機(jī)技術(shù)的普及，機(jī)器視覺(jué)已得到廣泛應(yīng)用，但在型鋼斷面檢測(cè)領(lǐng)域還未應(yīng)用，根據(jù)檢索已公開的發(fā)明專利，申請(qǐng)?zhí)枮?009100739M. 3“基于機(jī)器視覺(jué)的鋼坯修磨砂輪直徑檢測(cè)裝置”，雖然也是機(jī)器視覺(jué)檢測(cè)，其裝置也相似，但本發(fā)明與對(duì)比技術(shù)有以下不同 1、檢測(cè)對(duì)象不同，對(duì)比技術(shù)的被檢測(cè)對(duì)象砂輪機(jī)，而本發(fā)明的被檢測(cè)對(duì)象是生產(chǎn)流水線的型鋼。2、對(duì)比技術(shù)的檢測(cè)點(diǎn)是砂輪邊緣磨損的位移量這一個(gè)指標(biāo)，本發(fā)明檢測(cè)的內(nèi)容涉及到型鋼斷面的全部尺寸，包括產(chǎn)品的高度，寬度，厚度，各個(gè)彎曲圓角的半徑等，檢測(cè)指標(biāo)更為復(fù)雜。3、檢測(cè)精度要求不同，砂輪直徑磨小而報(bào)廢，通常使用的精度單位是毫米；其軟件處理過(guò)程相對(duì)簡(jiǎn)單，僅使用的線性回歸以及最小二乘法求出待測(cè)物直徑變化。而本發(fā)明軟件部分采用了多種處理方式保證精度，如多種圖像濾波處理、兩次線性回歸、實(shí)驗(yàn)確定修正值等，其檢測(cè)精度理論上可以達(dá)到0. 1毫米，因此本發(fā)明技術(shù)的復(fù)雜程度相對(duì)更高。

發(fā)明內(nèi)容
本發(fā)明的目的是利用已經(jīng)大眾化普及的個(gè)人電腦和照相機(jī)(或攝像機(jī))并開發(fā)出基于機(jī)器視覺(jué)的型鋼斷面尺寸在線測(cè)量技術(shù)。本發(fā)明是利用軋鋼生產(chǎn)過(guò)程中連續(xù)的型鋼在飛鋸定尺鋸切后，在型鋼生產(chǎn)線的特定位置，設(shè)置感應(yīng)開關(guān)，連續(xù)不斷的以相機(jī)拍照的方式獲得每一支產(chǎn)品的斷面和基準(zhǔn)標(biāo)尺的圖像并輸送到計(jì)算機(jī)，通過(guò)計(jì)算機(jī)軟件處理，將圖像中的型鋼斷面圖形和基準(zhǔn)線條同時(shí)提取出來(lái)，并轉(zhuǎn)化成矢量圖，用幾何關(guān)系計(jì)算出型鋼各個(gè)點(diǎn)相似的幾何尺寸，并將獲得的型鋼圖像與基準(zhǔn)線條進(jìn)行真實(shí)比例校正，將實(shí)時(shí)獲得的圖像進(jìn)行比對(duì)，達(dá)到監(jiān)控，預(yù)報(bào)產(chǎn)品質(zhì)量，降低不良品率的目的?；跈C(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)裝置及方法的特征是由硬件與軟件兩部分組成，硬件特征是由照相機(jī)(或攝像機(jī))(1)，感應(yīng)開關(guān)，個(gè)人計(jì)算機(jī)( 與連接電纜等構(gòu)成硬件部分，由圖像處理程序構(gòu)成其軟件部分。基于機(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)裝置及方法硬件部分特征是感應(yīng)開關(guān) G)，與照相(或攝像)機(jī)(1)的拍照開關(guān)相連，照相機(jī)(1)與一臺(tái)完整的個(gè)人計(jì)算機(jī)(2) 連接，在拍照區(qū)域與型鋼端頭到達(dá)的同一位置有一設(shè)定長(zhǎng)度的基準(zhǔn)標(biāo)線(6)，該基準(zhǔn)標(biāo)線與被檢產(chǎn)品能夠同時(shí)進(jìn)入攝取的圖像；為增加圖像色度的反差，在型鋼檢測(cè)區(qū)域設(shè)置有遮光物(5)。圖像處理程序(3)(在計(jì)算機(jī)(2)內(nèi)部)，用于對(duì)接受到的圖像進(jìn)行一系列處理、檢測(cè)、判斷，并最終得出型鋼斷面是否符合標(biāo)準(zhǔn)的判斷結(jié)果?；跈C(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)裝置及方法軟件部分的特征在于采用以下步驟步驟1 事先設(shè)定型鋼斷面的標(biāo)準(zhǔn)參數(shù)以及允許公差范圍，以矢量數(shù)據(jù)的方式存儲(chǔ)在計(jì)算機(jī)中。參數(shù)包括型鋼斷面的長(zhǎng)、寬、圓弧半徑。步驟2 在型鋼通過(guò)的某一點(diǎn)，由感應(yīng)開關(guān)控制照相機(jī)拍照一次，獲得包含基準(zhǔn)線的被檢產(chǎn)品斷面圖像。步驟3 照相機(jī)拍照得到的圖像通過(guò)圖像采集卡傳入計(jì)算機(jī)內(nèi)存中。步驟4 程序?qū)?nèi)存中的型鋼斷面正面的圖像進(jìn)行銳化增強(qiáng)對(duì)比度。步驟5 對(duì)上述處理結(jié)果進(jìn)行圖像平滑處理步驟6 然后對(duì)以上處理結(jié)果進(jìn)行閾值分割。目的是從圖像中提取出型鋼斷面的部分。步驟7 以上處理得到的二值圖像進(jìn)行形態(tài)學(xué)操作填充小空洞、分離小的孤立點(diǎn)，開操作。步驟8 將以上處理得到的結(jié)果轉(zhuǎn)化為灰度圖像，進(jìn)行平滑濾波，目的是使邊緣規(guī)離
iF. ο步驟9 對(duì)以上處理的結(jié)果進(jìn)行邊緣提取，得到型鋼斷面的圖像邊緣。步驟10 對(duì)邊緣的二值圖像檢測(cè)直線段。步驟11 對(duì)線段按斜率歸類，然后對(duì)線段端點(diǎn)做直線回歸，得出邊界的直線方程步驟12 對(duì)邊緣的二值圖像進(jìn)行圓檢測(cè)，得到型鋼外邊界圓弧部分的的圓心和半徑。坐標(biāo)系為圖像的像素位置步驟13 影像畸變校正比例系數(shù)的確定。步驟14 根據(jù)標(biāo)準(zhǔn)件的像素尺寸和實(shí)際大小，對(duì)型鋼的邊界進(jìn)行坐標(biāo)變換。得到實(shí)際比例的型鋼矢量圖模型。步驟15 用幾何學(xué)計(jì)算型鋼的寬，高，圓角半徑關(guān)鍵尺寸參數(shù)。步驟16 修正值的確定通過(guò)大量測(cè)量值和實(shí)際值的比對(duì)確定系統(tǒng)誤差。將系統(tǒng)誤差設(shè)定為修正值。步驟17 使用步驟15計(jì)算出的型鋼關(guān)鍵尺寸參數(shù)，加上修正值，與事先輸入的標(biāo)準(zhǔn)模板比較，確定型鋼尺寸參數(shù)是否符合標(biāo)準(zhǔn)。
具體實(shí)施例方式下面以冷彎方矩管為例說(shuō)明基于機(jī)器視覺(jué)的型鋼斷面檢測(cè)技術(shù)的具體實(shí)施方式
。 首先在型鋼生產(chǎn)的過(guò)程中，鋸切后的鋼材會(huì)在該系統(tǒng)檢測(cè)處停留短暫的時(shí)間。在此時(shí)間內(nèi)操作員通過(guò)計(jì)算機(jī)3發(fā)出拍照的指令，由于背景的深色遮蔽物6，型鋼斷面在照片中會(huì)呈現(xiàn)出較亮的顏色，而背景和型鋼內(nèi)部會(huì)呈現(xiàn)出深色，同時(shí)呈現(xiàn)高亮的還有背景上的標(biāo)準(zhǔn)長(zhǎng)度標(biāo)記。生產(chǎn)線上的照相機(jī)1把這張實(shí)時(shí)拍到的型鋼斷面的照片通過(guò)圖像采集卡2傳入計(jì)算機(jī)3，以彩色位圖的形式暫時(shí)存儲(chǔ)。然后軟件4處理如以下步驟參考圖2-S1 事先輸入型鋼的參數(shù)有斷面的標(biāo)準(zhǔn)長(zhǎng)、寬、圓弧半徑、允許公差范圍。參考圖2-S2，S3 型鋼經(jīng)過(guò)檢測(cè)區(qū)域時(shí)感應(yīng)開關(guān)控制照相機(jī)對(duì)型鋼斷面拍照。計(jì)算機(jī)獲得斷面的照片位圖。參考圖2-S4 軟件對(duì)圖像銳化以消除部分陰影的干擾。銳化的算法根據(jù)實(shí)際工作環(huán)境選取。目的是增大對(duì)比度便于圖像分割。參考圖2-S5 由于圖像銳化算法會(huì)在圖像中產(chǎn)生噪點(diǎn)。因此繼續(xù)對(duì)上步驟處理結(jié)果進(jìn)行平滑濾波(具體算法視圖像情況定，比如本例使用的就是高斯濾波以消除噪點(diǎn)，亦可使用簡(jiǎn)單的均值濾波)。參考圖2-S6 用閾值分割的方法提取出型鋼斷面部分。閾值分割有以下兩種方法，視具體圖像情況而定。參考圖S-61直接把圖像轉(zhuǎn)化為256級(jí)灰度，灰度規(guī)定一個(gè)閾值，大于此值的像素認(rèn)為是型鋼斷面，小于的認(rèn)為是背景。這種算法用于對(duì)比度較高的圖像。參考圖S-62由于型鋼斷面的圖像色彩特征是紅綠藍(lán)三種顏色分量相差比較小 (多為白色或者灰色)，對(duì)每個(gè)像素的RGB值計(jì)算紅綠藍(lán)三種顏色分量與其平均值的差值的和。若這個(gè)和小于某閾值則認(rèn)為是型鋼斷面，大于閾值則認(rèn)為是背景。參考圖2-S7 由于閾值分割不是100%準(zhǔn)確，實(shí)際型鋼斷面中有部分像素會(huì)有少部分會(huì)被認(rèn)為是背景因此產(chǎn)生空洞，或者背景的點(diǎn)認(rèn)為是型鋼斷面而產(chǎn)生孤立點(diǎn)。因此需要進(jìn)行孤立點(diǎn)消除以及填充。填充算法為面積判斷。把較小的面積的孤立點(diǎn)填充為邊界的顏色。最后進(jìn)行形態(tài)學(xué)開操作，目的是使邊緣進(jìn)一步規(guī)整。得到的結(jié)果為一個(gè)黑白二值圖像。參考圖2-S8 由于上面步驟得到的二值圖像仍存在很多相對(duì)較大的鋸齒狀邊緣。 因此需要使這些邊緣進(jìn)一步平滑。這里采用轉(zhuǎn)換為灰度圖像再平滑濾波。本例采用4*4均值濾波器。參考圖2-S9 進(jìn)行型鋼斷面的邊緣提取。有兩種算法可采用形態(tài)學(xué)的remove算法和基于canny算子的邊緣提取。對(duì)于足夠規(guī)整的邊緣使用前者比較適合。而對(duì)于不規(guī)整的邊緣適用于后者。本例采用的后者。參考圖2-S10 使用hough變換檢測(cè)圖像中的直線段。具體算法思想為數(shù)字圖像中的物體的邊緣點(diǎn)集都是離散數(shù)據(jù)，令圖像對(duì)角距離為d，根據(jù)上述原理可按下面步驟實(shí)現(xiàn) Hough變換(1)將θ-ρ參數(shù)空間量化為m*n(其中m為θ的等份數(shù)，η為P的等份數(shù)，0< = θ < 180度，-d<= P <= -d)個(gè)單元，對(duì)應(yīng)于每個(gè)單元設(shè)立累加器矩陣T (m*n)；(2)將所有累加器初值置0 ；(3)針對(duì)檢測(cè)到的點(diǎn)集里的每一點(diǎn)在0 <= θ < 180區(qū)間內(nèi)按量化步長(zhǎng)依次取 θ，計(jì)算對(duì)應(yīng)的ρ值，并據(jù)此在相應(yīng)的累加器單元加1，集T(i，j) =T(i, j)+l；(4)掃描累加器矩陣，T(i，j)取值最大的(θ，ρ )值對(duì)應(yīng)的直線即為所求；(5)當(dāng)圖像中有多條直線時(shí)，將累加器矩陣已提取直線的(Θ，ρ)值附近局部區(qū)域的累加器值置0，轉(zhuǎn)G)，直到找出所有直線。
5
參考圖2-S11 由于邊緣質(zhì)量的原因，往往檢測(cè)出的是邊緣直線上的多條線段。這些線段屬于幾條直線中的一條。因此重新把這些線段的端點(diǎn)按斜率分類，斜率相近的就認(rèn)為同一條直線上的線段，然后對(duì)同一條直線的線段端點(diǎn)進(jìn)行線性回歸，確定型鋼標(biāo)準(zhǔn)件邊界的直線方程。此時(shí)坐標(biāo)系為圖像的像素位置參考圖2-S12 對(duì)邊緣的二值圖像進(jìn)行圓檢測(cè)(使用改進(jìn)的hough變換)得到型鋼外邊界圓弧部分的的圓心和半徑。具體算法原理如下已知圓的一般方程為(x_a) 2+ (y_b) 2 = r2其中(a，b)是圓心，r是圓的半徑。把X_Y平面上的圓轉(zhuǎn)換到a_b_r參數(shù)空間， 則圖像空間中過(guò)任意一點(diǎn)的圓對(duì)應(yīng)于參數(shù)空間中的一個(gè)三維錐面，圖像空間中同一圓上的點(diǎn)對(duì)應(yīng)于參數(shù)空間中的所有三維錐面必然交于一點(diǎn)。這樣通過(guò)檢測(cè)這一點(diǎn)可以得到圓的參數(shù)，相應(yīng)的圓即可求得。參考圖2-S13 由于照相機(jī)不能放在型鋼的通道上，因此拍照時(shí)照相機(jī)軸線和型鋼斷面的夾角不是嚴(yán)格的90度。具體算法為，實(shí)測(cè)出照相機(jī)軸線和型鋼斷面平面的夾角， 用三角函數(shù)計(jì)算出實(shí)際投影的長(zhǎng)度和夾角為90度的標(biāo)準(zhǔn)情況下投影的長(zhǎng)度的比例系數(shù)。參考圖2-S14:由于此時(shí)坐標(biāo)系為像素坐標(biāo)，因此計(jì)算出的距離單位也是像素個(gè)數(shù)，現(xiàn)在需要把像素坐標(biāo)轉(zhuǎn)換為實(shí)際坐標(biāo)。原理是根據(jù)像素距離和實(shí)際距離的比值換算。具體做法是標(biāo)準(zhǔn)件實(shí)際距離除以檢測(cè)出的標(biāo)準(zhǔn)件的邊緣間距的直線像素距離，得到比例系數(shù) r。然后把已知的像素坐標(biāo)按比例系數(shù)r縮小的實(shí)際尺寸的坐標(biāo)系。參考圖2-S15 用直線間的距離公式計(jì)算出直接與直線間的距離。其中X坐標(biāo)最大的直線與X坐標(biāo)最小的直線間距離就是型鋼的高度，Y坐標(biāo)最大與Y坐標(biāo)最小的直線間的距離就是型鋼的寬度。參考圖2-S16 由于圖像處理的過(guò)程中，濾波、形態(tài)學(xué)的各種操作會(huì)使邊緣微量變形。因此需通過(guò)大量測(cè)量值與實(shí)際值的比較確定系統(tǒng)誤差。根據(jù)系統(tǒng)誤差確定修正值。(僅在系統(tǒng)第一次運(yùn)行調(diào)試時(shí)進(jìn)行此步驟)參考圖2-S17 使用步驟2-S15計(jì)算出的型鋼關(guān)鍵尺寸參數(shù)(寬，高，圓角半徑)， 加上修正值，與事先輸入的標(biāo)準(zhǔn)值一一比較，若與標(biāo)準(zhǔn)值的差皆在允許公差范圍以內(nèi)，則認(rèn)定型鋼符合標(biāo)準(zhǔn)。否則系統(tǒng)報(bào)警并提示某項(xiàng)不符合標(biāo)準(zhǔn)。本發(fā)明成本低，檢測(cè)尺寸全面、檢測(cè)效率高，精度能夠滿足生產(chǎn)要求，利于推廣應(yīng)用。


圖1 基于機(jī)器視覺(jué)的型鋼斷面檢測(cè)裝置硬件結(jié)構(gòu)圖1照相機(jī)2家用計(jì)算機(jī)3圖像處理軟件4感應(yīng)開關(guān)5背景遮蔽物6尺寸基準(zhǔn)標(biāo)線7生產(chǎn)線型鋼輸送輥道
圖2 基于機(jī)器視覺(jué)的型鋼斷面檢測(cè)裝置軟件流程圖。
權(quán)利要求
1.基于機(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)裝置及方法的特征是由硬件與軟件兩部分組成，硬件特征是由照相機(jī)(或攝像機(jī))(1)，感應(yīng)開關(guān)G)，個(gè)人計(jì)算機(jī)( 與連接電纜等構(gòu)成硬件部分，由計(jì)算機(jī)圖像處理程序構(gòu)成其軟件部分。
2 .根據(jù)權(quán)利要求1所述的基于機(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)裝置及方法其硬件特征是感應(yīng)開關(guān)G)，與照相(或攝像)機(jī)(1)的拍照開關(guān)相連，照相機(jī)(1)與一臺(tái)完整的個(gè)人計(jì)算機(jī)( 連接，在拍照區(qū)域與型鋼端頭到達(dá)的同一位置有一設(shè)定長(zhǎng)度的基準(zhǔn)標(biāo)線 (6)，在型鋼檢測(cè)區(qū)域設(shè)置有遮光物(5)。
3.根據(jù)權(quán)利要求1所述的基于機(jī)器視覺(jué)的型鋼斷面尺寸在線檢測(cè)裝置及方法軟件部分的特征在于采用以下步驟步驟1 事先設(shè)定型鋼斷面的標(biāo)準(zhǔn)參數(shù)以及允許公差范圍，以矢量數(shù)據(jù)的方式存儲(chǔ)在計(jì)算機(jī)中，參數(shù)包括型鋼斷面的長(zhǎng)、寬、圓弧半徑；步驟2 在型鋼通過(guò)的某一點(diǎn)，由感應(yīng)開關(guān)控制照相機(jī)拍照一次，獲得包含基準(zhǔn)線的被檢產(chǎn)品圖像；步驟3 照相機(jī)拍照得到的圖像通過(guò)圖像采集卡傳入計(jì)算機(jī)內(nèi)存中； 步驟4 程序?qū)?nèi)存中的型鋼斷面正面的圖像進(jìn)行銳化； 步驟5 對(duì)上述處理結(jié)果進(jìn)行圖像平滑處理； 步驟6 然后對(duì)以上處理結(jié)果進(jìn)行閾值分割提取出型鋼斷面的部分； 步驟7 以上處理得到的二值圖像進(jìn)行形態(tài)學(xué)操作填充小空洞、分離小的孤立點(diǎn)，開操作；步驟8 將以上處理得到的結(jié)果轉(zhuǎn)化為灰度圖像，進(jìn)行平滑濾波使邊緣規(guī)整； 步驟9 對(duì)以上處理的結(jié)果進(jìn)行邊緣提取，得到型鋼斷面的圖像邊緣； 步驟10 對(duì)邊緣的二值圖像檢測(cè)直線段；步驟11 對(duì)線段按斜率歸類，然后對(duì)線段端點(diǎn)做直線回歸，得出邊界的直線方程； 步驟12 對(duì)邊緣的二值圖像進(jìn)行圓檢測(cè)得到型鋼外邊界圓弧部分的的圓心和半徑，坐標(biāo)系為圖像的像素位置；步驟13 確定影像畸變校正比例系數(shù)；步驟14 根據(jù)標(biāo)準(zhǔn)件的像素尺寸和實(shí)際大小，對(duì)型鋼的邊界進(jìn)行坐標(biāo)變換。得到實(shí)際比例的型鋼矢量圖模型；步驟15:用幾何學(xué)計(jì)算型鋼的關(guān)鍵尺寸參數(shù)(寬，高，圓角半徑)； 步驟16 修正值的確定通過(guò)大量測(cè)量值和實(shí)際值的比對(duì)確定系統(tǒng)誤差。將系統(tǒng)誤差設(shè)定為修正值；步驟17 使用步驟15計(jì)算出的型鋼關(guān)鍵尺寸參數(shù)(寬，高，圓角半徑)，加上修正值，與事先輸入的標(biāo)準(zhǔn)模板比較，確定型鋼尺寸參數(shù)是否符合標(biāo)準(zhǔn)。
全文摘要
本發(fā)明公開了一種基于機(jī)器視覺(jué)的型鋼斷面在線測(cè)量技術(shù)，該發(fā)明屬于冶金行業(yè)型鋼斷面尺寸在線檢測(cè)的領(lǐng)域。其特征在于裝置的硬件包括照相機(jī)、感應(yīng)開關(guān)，圖像采集卡、個(gè)人計(jì)算機(jī)等，裝置的軟件包含圖像平滑、邊緣提取、直線圓檢測(cè)、坐標(biāo)變換、幾何校正等步驟，通過(guò)相機(jī)獲取的型鋼斷面的圖像以及圖像中的標(biāo)準(zhǔn)物件計(jì)算出型鋼的實(shí)際尺寸，最終判斷型鋼是否符合生產(chǎn)要求。該方法實(shí)時(shí)性好，快速準(zhǔn)確，成本低廉，實(shí)用性強(qiáng)。
文檔編號(hào)B21B38/04GK102441581SQ20101029741
公開日2012年5月9日 申請(qǐng)日期2010年9月30日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者鄧玥 申請(qǐng)人:鄧玥