本發(fā)明屬于紅外成像
技術(shù)領(lǐng)域：
，具體涉及一種電路板故障紅外圖像自動檢測方法。
背景技術(shù)：
：隨著紅外成像技術(shù)的不斷發(fā)展和成熟，紅外熱像儀的成本越來越低，性能越來越好，應(yīng)用也越來越廣泛。根據(jù)紅外輻射理論和紅外熱像儀的測溫原理可知，紅外熱像儀是利用紅外探測器和光學(xué)成像物鏡接收被測目標(biāo)輻射紅外光線的裝置，它可以將不同溫度目標(biāo)的紅外輻射能量分布圖形，反映到紅外探測器的光敏元件上，從而獲得紅外熱像圖，這種熱像圖與物體表面的熱分布場相對應(yīng)。簡單地說，紅外熱像儀就是能接收紅外線的照相機，它將物體發(fā)出的不可見紅外能量轉(zhuǎn)變?yōu)榭梢姷臒釄D像。熱圖像上面的不同顏色代表被測物體的不同溫度。紅外熱像儀是全被動接收儀器，對于其他精密電子儀器設(shè)備沒有任何干擾，并能夠進(jìn)行非接觸式的、高分辨率的溫度測量，生成高質(zhì)量的熱分布場圖像，可提供測量目標(biāo)的眾多信息，彌補了人類肉眼的不足，已廣泛應(yīng)用于軍事領(lǐng)域以及電力行業(yè)、石化行業(yè)、交通及搶險救災(zāi)等領(lǐng)域，未來發(fā)展前景更是不可限量。紅外熱像儀拍攝的是人眼睛看不到的紅外熱像圖，這種圖像與通?？吹降目梢姽鈭D像完全不同?？梢姽鈭D像是人們熟悉的物體表面特征的圖像，和人眼中看到的景象幾乎一致，圖像清晰，可以直觀的表示物體特征，比如照相機拍攝的照片。紅外熱像圖是物體表面溫度分布的圖像。這里需強調(diào)的是，它是物體表面而不是物體內(nèi)部的溫度分布圖像。它的神奇之處就在于，物體的表面溫度是可以“看”到的，可以通過灰度或偽彩色顯示成人眼可以識別的圖像。電路板故障紅外圖像診斷是利用紅外熱像儀測得電路板上各電子元器件在工作時的紅外輻射溫度，進(jìn)而通過溫度信息來判定是否發(fā)生故障及故障位置。由于許多電路板上各電子元器件在工作時都會不同程度的發(fā)熱，電路板發(fā)生故障時大多伴隨各電子元器件發(fā)熱狀態(tài)的變化，通過測定發(fā)熱狀態(tài)的變化，即可初步判斷出各電子元器件工作狀態(tài)，確定可能的故障點位置。電路板故障紅外圖像診斷方法已經(jīng)在一些領(lǐng)域得到應(yīng)用，但由于紅外熱圖像與可見光圖像相比，缺少了層次和立體感，其清晰度遠(yuǎn)不如可見光圖像，因此在利用紅外熱像圖分析問題時，往往還需要人工進(jìn)行溫度異常點的判斷和定位，且由于紅外熱圖像并不符合人們平日的視覺習(xí)慣，在紅外熱圖像上確定的溫度異常點要在實際電路板上準(zhǔn)確找到相應(yīng)的位置有一定的困難。特別是由于紅外熱圖像本身只有灰度數(shù)據(jù)，圖像質(zhì)量較差，利用計算機進(jìn)行圖像自動判斷、識別、分析、定位，難度較大，識別、定位的準(zhǔn)確度也有待進(jìn)一步提高。技術(shù)實現(xiàn)要素：為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的是一種電路板故障紅外圖像自動檢測方法，針對紅外熱圖像本身只有灰度數(shù)據(jù)，圖像質(zhì)量較差，利用計算機進(jìn)行圖像自動判斷、識別、分析、定位，難度較大，識別、定位的準(zhǔn)確度不高的問題，采用可見光圖像和紅外熱圖像同時采集的方法獲得電路板工作狀態(tài)的圖像信息。先采集電路板正常工作時的可見光圖像和紅外熱圖像，存儲在數(shù)據(jù)庫中，檢測故障電路板時，將拍攝到的電路板圖像(可見光圖像和紅外熱圖像)與數(shù)據(jù)庫中的正常狀態(tài)的圖像進(jìn)行對照比較，利用計算機圖像處理，找出溫度異常的元器件或線路所在的區(qū)域和具體位置，并自動在可見光圖像上標(biāo)出，實現(xiàn)電路板可能故障元件的自動檢測。為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：一種電路板故障紅外圖像自動檢測方法，其特征在于，包括以下步驟：1)可見光圖像和紅外熱圖像融合配準(zhǔn)；利用可見光相機和紅外熱像儀光路相對固定，所拍圖像空間對應(yīng)關(guān)系固定的特點，確定好可見光圖像和紅外熱圖像融合配準(zhǔn)關(guān)系，基本做到逐點對應(yīng)；2)紅外圖像之間的空間配準(zhǔn)；利用紅外熱像儀測得電路板上各電子元器件在工作時的紅外輻射溫度，進(jìn)而通過溫度信息來判定是否發(fā)生故障及故障位置，為了達(dá)到快速、準(zhǔn)確檢測定位電路板溫度異常區(qū)域的目的，必須將采集到的正常工作標(biāo)準(zhǔn)紅外熱圖像與待測紅外熱圖像進(jìn)行精確配準(zhǔn)，采用灰度變換、平滑濾波、銳化增強、頻域處理、圖像重構(gòu)、圖像識別對圖像預(yù)處理，然后進(jìn)行紅外圖像拼接與配準(zhǔn)處理，完成故障紅外圖像與標(biāo)準(zhǔn)紅外圖像配準(zhǔn)計算；3)可見光圖像輔助精確紅外圖像配準(zhǔn)；采用基于不變特征的圖像配準(zhǔn)算法，利用sift算法對可見光圖像進(jìn)行特征點檢測，采取粗匹配與精匹配結(jié)合的匹配策略選取特征點，并將其映射到紅外圖像，實現(xiàn)快速、有效、高精度的紅外圖像配準(zhǔn)；首先由一系列的不同核值σ的高斯函數(shù)(g(x,y,σ))與圖像(i(x,y))做卷積得到的高斯尺度空間(l(x,y,σ))，其次高斯尺度空間進(jìn)行采樣得到高斯金字塔，將相鄰的高斯尺度空間做差得到高斯差分尺度空間，即：l(x,y,σ)＝g(x,y,σ)*i(x,y)(1)在高斯差分尺度空間中的中間層的每個像素與相鄰的26個像素點(其中包含同層8個相鄰的像素點以及上層和下層各9個相鄰的像素點)進(jìn)行比較，找出極值點，這些極值點也是候選點；確定特征點位置；檢測到的所有極值點通過三維二次函數(shù)進(jìn)行擬合，達(dá)到精確極值點位置的目的，同時去除對比度低的極值點(對比度低的極值點對噪聲很敏感，不穩(wěn)定)，dog算子對邊緣響應(yīng)強烈，因此在邊緣上的極值點不穩(wěn)定，必須去除，去除對比度低的極值點和邊緣上的極值點，剩下的極值點為圖像的特征點；sift特征點配準(zhǔn)算法；設(shè)待配準(zhǔn)圖像為m，基準(zhǔn)圖像為n，圖像m的特征點描述子集合為r＝{r1,r2,r3,…,rm}，圖像n的特征點描述子集合為s＝{s1,s2,s3,…,sn}，則圖像m中某個特征點描述子rm與圖像n中某個特征點描述子sn的歐氏距離dmn為：圖像m中某個特征點描述子rm與圖像n中特征點描述子sn有最近距離dmn且與描述子sk有次近距離dmk，如果有：式中t為常數(shù)，通常取t∈(0.4,0.8)，則接受該匹配點對；圖像變換，設(shè)待配準(zhǔn)圖像中的點(x,y)經(jīng)過仿射變換到標(biāo)準(zhǔn)圖像為(u,v)，則：式中為旋轉(zhuǎn)與縮放量，為平移量，則仿射變換矩陣可以寫為：通過最小二乘法就計算仿射變換的變換矩陣；粗匹配，經(jīng)過sift算法檢測到特征點生成的描述子后進(jìn)行特征點匹配；精匹配，經(jīng)過sift算法檢測到特征點生成的描述子后進(jìn)行特征點匹配有錯誤匹配點對，剔除錯誤匹配點對；為了從紅外熱圖中提取需要的故障特征，需要確定如何從圖像中求出那些最需要、最有效的特征；4)通過正常板卡與故障板卡的紅外圖像對比及計算，對電路板卡故障進(jìn)行判別與精確定位；為了在板卡紅外熱圖像中提取出最有效的特征，首先對原始紅外圖像進(jìn)行了濾波、降噪預(yù)處理，設(shè)定溫度閾值和灰度閾值通過拉普拉斯算子把背景去除，從而使芯片與背景分離，將芯片準(zhǔn)確提取出來；然后提取芯片特征，依據(jù)芯片特征使兩幅圖像配準(zhǔn)；最后對兩幅圖像進(jìn)行差值運算，得到溫度異常區(qū)域并將其標(biāo)注出來，完成故障區(qū)域判斷，再利用紅外圖像和可見光圖像的一一對應(yīng)關(guān)系，在可見光圖像中找到對應(yīng)的溫度異常區(qū)域并將其標(biāo)注出來，完成故障區(qū)域顯示，然后格局需要，可以自動生成報表，形成故障診斷報告；經(jīng)過圖像處理和比對，故障區(qū)域?qū)⒃趫D像中被圈出。本發(fā)明的有益效果是：本發(fā)明相關(guān)技術(shù)可以應(yīng)用在電路板維修、設(shè)備故障監(jiān)測等領(lǐng)域，也可以在電力設(shè)備的故障檢修、石化管道積炭堵塞、保溫層脫落檢查、鐵路機車的輪軸狀態(tài)監(jiān)測、防火、防洪防病等涉及溫度變化的非接觸測量領(lǐng)域。附圖說明圖1為故障檢測儀硬件組成示意圖。圖2為可見光相機和紅外相機同時拍攝的可見光圖像和紅外熱圖像。圖3為圖像平移示意圖。圖4為圖像旋轉(zhuǎn)示意圖。圖5為圖像縮放比例差異示意圖。圖6為圖像沿某個方向扭曲示意圖。圖7為sift算法流程圖。圖8為建立高斯差分金字塔并檢測極值點示意圖。圖9為特征點描述子生成示意圖。圖10為用于粗匹配實驗的同一電路板卡圖像。圖11為粗匹配特征點對連線圖。圖12為基于粗匹配點對的配準(zhǔn)圖像。圖13為精匹配流程圖。圖14為精匹配特征點對連線圖。圖15為基于精匹配點對的配準(zhǔn)圖像。圖16為故障位置在紅外圖像和可見光圖像上相應(yīng)區(qū)域示意圖。圖17為調(diào)制器卡非正常工作區(qū)域示意圖圖18為區(qū)域1紅外熱對比圖。圖19為區(qū)域2紅外熱對比圖。圖20為區(qū)域3紅外熱對比圖。具體實施方式以下結(jié)合附圖及實施例對本法民進(jìn)一步敘述。構(gòu)建如圖1所示的電路板故障紅外圖像自動檢測設(shè)備，完成以下步驟：1)可見光圖像和紅外熱圖像融合配準(zhǔn)利用可見光相機和紅外熱像儀光路相對固定，所拍圖像空間對應(yīng)關(guān)系固定(通過硬件設(shè)計實現(xiàn))的特點，確定好可見光圖像和紅外熱圖像融合配準(zhǔn)關(guān)系，基本做到逐點對應(yīng)(見圖2)，為下一步故障自動檢測和顯示打下基礎(chǔ)。2)紅外圖像之間的空間配準(zhǔn)電路板故障紅外圖像診斷是利用紅外熱像儀測得電路板上各電子元器件在工作時的紅外輻射溫度，進(jìn)而通過溫度信息來判定是否發(fā)生故障及故障位置。為了達(dá)到快速、準(zhǔn)確檢測定位電路板溫度異常區(qū)域的目的，必須將采集到的正常工作標(biāo)準(zhǔn)紅外熱圖像與待測紅外熱圖像進(jìn)行精確配準(zhǔn)，然后通過正常板卡與故障板卡的紅外圖像對比及計算，對通信板卡故障進(jìn)行判別與精確定位；完成故障區(qū)域判斷；由此可見，兩幅紅外圖像能否精確配準(zhǔn)，直接影響到故障的檢測與定位。但是由于正常工作標(biāo)準(zhǔn)紅外熱圖像與待測紅外熱圖像的拍攝時間、地點場合不會完全一樣(正常工作標(biāo)準(zhǔn)紅外熱圖像通常是事先拍攝好，存儲在計算機中)，會導(dǎo)致圖像的配準(zhǔn)誤差較大，精確配準(zhǔn)難度加大。影響配準(zhǔn)精度的原因主要有以下幾個方面：由于拍攝位置的不同，造成故障板卡與標(biāo)準(zhǔn)板卡的幾何中心不一致，導(dǎo)致圖像平移，如圖3所示：由于拍攝角度的不同，造成故障板卡與標(biāo)準(zhǔn)板卡的邊界角度不一致，導(dǎo)致圖像旋轉(zhuǎn)，如圖4所示。由于拍攝距離的不同，造成故障板卡與標(biāo)準(zhǔn)板卡的規(guī)格不一致，導(dǎo)致圖像大小比例差異，如圖5所示。由于拍攝時鏡頭法線與板卡法線不平行，造成圖像沿著某個方向扭曲，如圖6所示：一般情況下，采用灰度變換、平滑濾波、銳化增強、頻域處理、圖像重構(gòu)、圖像識別等手段進(jìn)行圖像預(yù)處理，然后進(jìn)行紅外圖像拼接與配準(zhǔn)處理，完成故障紅外圖像與標(biāo)準(zhǔn)紅外圖像配準(zhǔn)計算，但是由于紅外圖像本身質(zhì)量不高(分辨率低，只有灰度信息)，精確配準(zhǔn)計算難度較大。3)可見光圖像輔助精確紅外圖像配準(zhǔn)圖像配準(zhǔn)可分為基于灰度的圖像配準(zhǔn)和基于特征的圖像配準(zhǔn)?；诨叶鹊膱D像配準(zhǔn)一般要求圖像的相關(guān)性強，而且計算量大，很難達(dá)到實時性的需求；基于特征的圖像配準(zhǔn)計算量小、運算速度快，且具有較強的魯棒性，本系統(tǒng)采用基于不變特征的圖像配準(zhǔn)算法。常用的特征提取算法有harris，susan，sift(scaleinvariantfeaturestransform)和suft(speeded-uprobustfeatures)等。sift算子最早由lowedavidg提出，是建立在dog(differenceofgaussian)尺度空間理論基礎(chǔ)上的一種算法。該算法采取鄰域方向性信息聯(lián)合的思想，從空間域和尺度域兩個方面對圖像進(jìn)行特征分析，對檢測到的關(guān)鍵點用128維的特征向量表征，具有尺度不變性和較強的魯棒性。sift算法性能優(yōu)于harris、susan，suft等角點算法，本發(fā)明針對已經(jīng)建立的可見光圖像和紅外圖像的空間一一對應(yīng)關(guān)系，利用sift算法對可見光圖像進(jìn)行特征點檢測，采取粗匹配與精匹配結(jié)合的匹配策略選取特征點，并將其映射到紅外圖像的方法，實現(xiàn)快速、有效、高精度的紅外圖像配準(zhǔn)。(1)sift算法sift算法的理論是基于尺度空間理論。1999年britishcolumbia大學(xué)大衛(wèi).勞伊(davidg.lowe)教授總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子－sift(尺度不變特征變換)，這種算法在2004年被加以完善。其基本思想是在視覺信息處理模型中引入一個尺度參數(shù)，通過連續(xù)變化尺度參數(shù)獲得不同尺度下的視覺處理信息，然后綜合這些信息深入挖掘圖像的本質(zhì)特征。sift算法的基本流程如圖7所示。建立高斯差分金字塔并檢測極值點，sift算法是通過dog(difference-of-gaussian)算子構(gòu)建高斯差分金字塔來檢測極值點。首先由一系列的不同核值σ的高斯函數(shù)(g(x,y,σ))與圖像(i(x,y))做卷積得到的高斯尺度空間(l(x,y,σ))。其次高斯尺度空間進(jìn)行采樣得到高斯金字塔，將相鄰的高斯尺度空間做差得到高斯差分尺度空間，即：l(x,y,σ)＝g(x,y,σ)*i(x,y)(1)在高斯差分尺度空間中的中間層的每個像素與相鄰的26個像素點(其中包含同層8個相鄰的像素點以及上層和下層各9個相鄰的像素點)進(jìn)行比較，找出極值點，這些極值點也是候選點。如圖8所示。確定特征點位置檢測到的所有極值點通過三維二次函數(shù)進(jìn)行擬合，達(dá)到精確極值點位置的目的，同時去除對比度低的極值點(對比度低的極值點對噪聲很敏感，不穩(wěn)定)。此外，dog算子對邊緣響應(yīng)強烈，因此在邊緣上的極值點不穩(wěn)定，必須去除。去除對比度低的極值點和邊緣上的極值點，剩下的極值點稱為圖像的特征點。特征點方向描述以特征點為中心，在高斯尺度空間中，計算特征點及其鄰域點的梯度幅度及方位角，用直方圖統(tǒng)計特征點及其鄰域的梯度方向，直方圖的峰值代表特征點的主要方向，如果直方圖中存在其他方向能量高于主方向能量的80％，這些方向?qū)⒆鳛樘卣鼽c的輔助方向。特征點描述子生成為了確保旋轉(zhuǎn)不變性，將坐標(biāo)軸旋轉(zhuǎn)至特征點主方向，以特征點為中心的16*16窗口，分成16個4*4子窗口。計算各子窗口內(nèi)16個像素點的梯度方向，對各像素點的梯度方向進(jìn)行高斯加權(quán)累加，形成一個種子點，每個種子點包含八個方向梯度信息。則每個關(guān)鍵點對應(yīng)128維向量。如圖9所示。(2)sift特征點配準(zhǔn)算法lowe提出的特征配準(zhǔn)算法是采用歐氏距離作為特征點相似性的度量。設(shè)待配準(zhǔn)圖像為m，基準(zhǔn)圖像為n，圖像m的特征點描述子集合為r＝{r1,r2,r3,…,rm}，圖像n的特征點描述子集合為s＝{s1,s2,s3,…,sn}，則圖像m中某個特征點描述子rm與圖像n中某個特征點描述子sn的歐氏距離dmn為：圖像m中某個特征點描述子rm與圖像n中特征點描述子sn有最近距離dmn且與描述子sk有次近距離dmk，如果有：式中t為常數(shù)，通常取t∈(0.4,0.8)，則接受該匹配點對。圖像變換由于故障圖像相對于標(biāo)準(zhǔn)圖像可能平移、縮放、旋轉(zhuǎn)、仿射等變化。而仿射變換包含平移、縮放、旋轉(zhuǎn)的復(fù)雜變換。設(shè)待配準(zhǔn)圖像中的點(x,y)經(jīng)過仿射變換到標(biāo)準(zhǔn)圖像為(u,v)，則：式中為旋轉(zhuǎn)與縮放量，為平移量，則仿射變換矩陣可以寫為：通過最小二乘法就計算仿射變換的變換矩陣。實驗選取兩幅在相同環(huán)境下拍攝的電路板卡紅外圖像進(jìn)行驗證，如圖10(a)、(b)所示，兩幅紅外圖像大小均為240×320，室內(nèi)無風(fēng)條件下拍攝，距離0.2m，環(huán)境溫度33.2℃。粗匹配，經(jīng)過sift算法檢測到特征點生成的描述子后進(jìn)行特征點匹配，圖11為粗匹配后的特征點對連線示意圖。從圖11中可以看出粗匹配特征點對有錯誤匹配點對，如果直接用粗匹配點對求平面透視變換模型參數(shù)，配準(zhǔn)結(jié)果如圖12所示，配準(zhǔn)效果不理想。精匹配，經(jīng)過sift算法檢測到特征點生成的描述子后進(jìn)行特征點匹配有錯誤匹配點對，這些錯誤匹配點對求變換模型有很大影響，所以必須給與剔除，剔除流程如圖13所示。圖14為精匹配后的特征點對連線示意圖。配準(zhǔn)結(jié)果如圖15所示，配準(zhǔn)效果比較理想。為了從紅外熱圖中提取需要的故障特征，需要確定如何從圖像中求出那些最需要、最有效的特征。圖像特征提取要獲取的內(nèi)容包括：能表現(xiàn)圖像中特殊點、線、邊界、區(qū)域等元素的數(shù)值、符號，色彩、灰度等圖像屬性的統(tǒng)計量等，即能反映一幅圖像區(qū)別于其他圖像的特點。提取圖像特征首先要確定提取的目標(biāo)，確定需要提取哪類特征。圖像特征提取的關(guān)鍵在于從圖像中真實、準(zhǔn)確的將需要的內(nèi)容提取出來。在提取了圖像特征后，對特征進(jìn)行描述，可以提高特征的表征性能。4)通過正常板卡與故障板卡的紅外圖像對比及計算，對電路板卡故障進(jìn)行判別與精確定位。為了在板卡紅外熱圖像中提取出最有效的特征，首先對原始紅外圖像進(jìn)行了濾波、降噪等預(yù)處理，設(shè)定溫度閾值和灰度閾值通過拉普拉斯算子把背景去除，從而使芯片與背景分離，將芯片準(zhǔn)確提取出來；然后利用相關(guān)算法提取芯片特征，依據(jù)芯片特征使兩幅圖像配準(zhǔn)；最后對兩幅圖像進(jìn)行差值運算，得到溫度異常區(qū)域并將其標(biāo)注出來，完成故障區(qū)域判斷。再利用紅外圖像和可見光圖像的一一對應(yīng)關(guān)系，在可見光圖像中找到對應(yīng)的溫度異常區(qū)域并將其標(biāo)注出來，完成故障區(qū)域顯示，然后格局需要，可以自動生成報表，形成故障診斷報告。經(jīng)過圖像處理和比對，故障區(qū)域?qū)⒃趫D像中被圈出，紅色框圈出的區(qū)域表示故障區(qū)域溫度比標(biāo)準(zhǔn)溫度高，綠色框圈出的區(qū)域表示故障區(qū)域比標(biāo)準(zhǔn)溫度低，在可見光圖像上也有相應(yīng)區(qū)域被圈出(見圖16)。故障區(qū)域的平均溫度與最高溫度將顯示在輸出顯示區(qū)域。實施例對某設(shè)備電路板卡檢查情況如圖17～20所示。表1調(diào)制器卡非正常工作區(qū)域溫度分析正常板卡溫度故障板卡溫度溫度差區(qū)域138.658.119.5區(qū)域248.141.7-6.4區(qū)域342.052.510.5(1)區(qū)域1分析：表2區(qū)域1溫度分析正常板卡溫度故障板卡溫度溫度差39.256.638.356.938.460.8平均38.658.119.5(2)區(qū)域2分析：表3區(qū)域2溫度分析正常板卡溫度故障板卡溫度平均溫度差46.541.547.340.949.341.6平均48.141.7-6.4(3)區(qū)域3分析：表4區(qū)域3溫度分析正常電路板溫度故障電路板溫度平均溫度差42.551.141.752.841.852.7當(dāng)前第1頁12