專利名稱：基于紅外序列圖像超分辨率重建方法的熱分析測(cè)試系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于測(cè)試技術(shù)領(lǐng)域，具體地說(shuō)是一種使用紅外序列圖像超分辨率重建方法的目標(biāo)熱分析測(cè)試系統(tǒng)，主要用于測(cè)試分析電路板導(dǎo)線及器件管腳的導(dǎo)通情況。

背景技術(shù)：
目前國(guó)內(nèi)外利用紅外熱像儀進(jìn)行電路板的診斷技術(shù)進(jìn)展如下所述 1.國(guó)外在該方面的發(fā)展歷程。1969年，可用于“民兵導(dǎo)彈”電子模塊測(cè)試的紅外電路板掃描系統(tǒng)構(gòu)想誕生。70年代，休斯航空公司研制成功IRFITS(紅外故障隔離測(cè)試系統(tǒng))和AIDS(自動(dòng)紅外測(cè)試系統(tǒng))，該系統(tǒng)可以監(jiān)測(cè)到微弱的電路板熱像信號(hào)，將可能的故障區(qū)域展示給測(cè)試人員。1983年休斯航空公司成功設(shè)計(jì)AITIS(自動(dòng)紅外檢測(cè)和探測(cè)系統(tǒng))。1985年，美國(guó)測(cè)試測(cè)量和診斷技術(shù)研究室成功開發(fā)IRAMS(紅外自動(dòng)大量篩選系統(tǒng))。如今，因?yàn)榧t外熱像儀的溫度靈敏度，空間分辨率，掃描速度等性能的提高以及計(jì)算機(jī)的處理速度和存儲(chǔ)容量的成倍增長(zhǎng)，研制高性能的紅外熱像診斷系統(tǒng)已具備了良好的硬件基礎(chǔ)。如今的紅外系統(tǒng)通過(guò)進(jìn)行熱源辨識(shí)，輻射率校準(zhǔn)，環(huán)境溫度校準(zhǔn)，熱像配準(zhǔn)和溫度信息的特征提取而改善系統(tǒng)的診斷性能。同時(shí)將神經(jīng)網(wǎng)絡(luò)、模糊邏輯及遺傳算法等人工智能技術(shù)引入到紅外熱像診斷系統(tǒng)中來(lái)，實(shí)現(xiàn)了診斷過(guò)程自動(dòng)化。由美國(guó)軍方在20世紀(jì)末期開發(fā)的NREDS(神經(jīng)輻射能量檢測(cè)系統(tǒng))是一套比較有代表性的電路板故障紅外熱像診斷系統(tǒng)，該系統(tǒng)已被成功地應(yīng)用于F-16戰(zhàn)斗機(jī)控制盒內(nèi)的電路板和飛行控制程序存儲(chǔ)器中EPROM芯片的診斷與維修。
2.國(guó)內(nèi)在電路板故障紅外熱像診斷方面也有不少成果?？倕④娦挡孔孕醒兄崎_發(fā)的“印制電路板紅外熱像診斷儀”，該設(shè)備使用了電子工業(yè)部第11所生產(chǎn)的“HR-2型”紅外熱像儀，在建立印制電路板在正常穩(wěn)定工作狀態(tài)下的紅外標(biāo)準(zhǔn)熱像后，由主控計(jì)算機(jī)控制施加到電路板上的電源和激勵(lì)信號(hào)，并讀取由紅外熱像儀采集到的熱像信息，接著自動(dòng)分析比較被測(cè)電路板的熱像和計(jì)算機(jī)存儲(chǔ)器中存儲(chǔ)的該電路板的標(biāo)準(zhǔn)熱像，對(duì)該電路板中存在的故障做出判斷。
3.國(guó)內(nèi)在電路板故障紅外熱像診斷方面的最新應(yīng)用。目前，較新的應(yīng)用見(jiàn)于《紅外圖像處理在實(shí)時(shí)檢測(cè)中的應(yīng)用》(劉興忠，電子科技大學(xué)碩士畢業(yè)論文，2003)。文中所述系統(tǒng)可對(duì)電路板進(jìn)行針對(duì)性的監(jiān)測(cè)分析，使用專用的故障診斷軟件，提取電路板上各元器件的溫度信息準(zhǔn)確定位故障器件，并顯示該器件的名稱，代號(hào)，坐標(biāo)，故障類型碼等物理信息。在給出測(cè)量分析結(jié)果的同時(shí)，也能給出維修指導(dǎo)意見(jiàn)。
縱觀國(guó)內(nèi)外在電路板故障紅外熱像診斷方面的成果，雖然發(fā)展迅速，但仍有一些不足之處，具體表現(xiàn)在由于硬件條件的限制，對(duì)熱像信息的處理、顯示和存儲(chǔ)需要依靠專用的數(shù)字處理器、顯示器和大容量存儲(chǔ)器，使系統(tǒng)外圍設(shè)備龐雜，十分依賴于機(jī)器的性能；只利用了靜態(tài)熱像信息，而沒(méi)有充分利用整個(gè)掃描過(guò)程中電路板的溫度變化信息(動(dòng)態(tài)信息)；需要專業(yè)測(cè)試人員根據(jù)熱像信息進(jìn)行人工故障定位。


發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種新的可應(yīng)用于目標(biāo)(如電路板)故障診斷的紅外熱分析測(cè)試裝置，對(duì)處于工作狀態(tài)的電路板的進(jìn)行熱像拍攝，獲得紅外序列圖像， 本發(fā)明的進(jìn)一步目的是使用超分辨率重建方法對(duì)紅外序列圖像進(jìn)行重建，得到目標(biāo)的高分辨率圖像。
實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是裝配一個(gè)拍攝平臺(tái)，拍攝電路板序列紅外圖像，通過(guò)對(duì)圖像進(jìn)行超分辨率重建，得到高分辨率的電路板圖像，對(duì)該圖像進(jìn)行分析，以獲知電路板導(dǎo)線及器件管腳的導(dǎo)通情況。
本發(fā)明的測(cè)試系統(tǒng)包括拍攝裝置、計(jì)算機(jī)終端和圖像處理軟件。所述拍攝裝置由非制冷紅外熱像儀，伸縮柱臺(tái)，x-y位移平臺(tái)，固定平板，熱像儀固定臺(tái)，支撐柱，水平基座，步進(jìn)電機(jī)組成。拍攝裝置的外形結(jié)構(gòu)為矩形框架結(jié)構(gòu)，此框架的上部為熱像儀固定臺(tái)，底部為水平基座，在框架的熱像儀固定臺(tái)和水平基座上分別安裝有非制冷紅外熱像儀、伸縮柱臺(tái)、x-y位移平臺(tái)、固定平板、熱像儀固定臺(tái)和支撐柱；其中，非制冷紅外熱像儀、伸縮柱臺(tái)、x-y位移平臺(tái)依次裝配固定于固定平板，將固定平板裝配固定于熱像儀固定臺(tái)，并使熱像儀鏡頭面向水平基座；支撐柱裝配固定于水平基座；所述測(cè)試系統(tǒng)的主要部件作用如下 非制冷紅外熱像儀拍攝序列圖像，并將序列圖像輸入到計(jì)算機(jī)終端； 伸縮柱臺(tái)使紅外熱像儀在豎直方向產(chǎn)生位移，以改變熱像儀與目標(biāo)之間的距離，確保清晰成像； x-y位移平臺(tái)靠?jī)蓚€(gè)步進(jìn)電機(jī)使非制冷紅外熱像儀在水平方向做二維平移，以便在拍攝過(guò)程中獲得不同位置的目標(biāo)序列圖像； 圖像處理軟件對(duì)序列圖像進(jìn)行超分辨率重建，輸出高分辨率圖像。
本發(fā)明首先通過(guò)拍攝裝置獲取處于導(dǎo)通狀態(tài)的目標(biāo)紅外序列圖像，再對(duì)紅外序列圖像進(jìn)行重建分析 (1)將拍攝裝置設(shè)計(jì)調(diào)試到最佳拍攝狀態(tài)； (2)對(duì)處于穩(wěn)定工作狀態(tài)的待測(cè)目標(biāo)進(jìn)行拍攝，每拍攝一張圖像，用x-y位移平臺(tái)使非制冷紅外熱像儀產(chǎn)生一段位移，得到目標(biāo)的序列圖像，并存儲(chǔ)在計(jì)算機(jī)終端； (3)使用圖像處理軟件對(duì)存儲(chǔ)的序列圖像進(jìn)行超分辨率重建處理，得到高分辨率目標(biāo)圖像。
本發(fā)明提供的一種基于紅外序列圖像的超分辨率重建方法，包括如下步驟 (1)建立圖像觀察模型即通過(guò)算法模擬實(shí)際成像過(guò)程；首先使用運(yùn)動(dòng)估計(jì)算法，獲取圖像序列的位移參數(shù)；其次，建立投影模型，以便得到低分辨率圖像序列與目標(biāo)高分辨率圖像的具體匹配關(guān)系，并以此進(jìn)行超分辨率重建；最后，考慮實(shí)際成像過(guò)程中，附加噪聲對(duì)圖像的影響，形成觀察模型； (2)根據(jù)建立的圖像觀察模型，利用超分辨率重建方法對(duì)對(duì)同一場(chǎng)景的多幅序列圖像進(jìn)行重建，來(lái)獲取該場(chǎng)景的一幅高分辨率圖像。
本發(fā)明的基于紅外序列圖像的超分辨率重建方法，是采用最大后驗(yàn)估計(jì)MAP超分辨率重建算法對(duì)序列圖像進(jìn)行重建，重建過(guò)程包括如下步驟 (1)設(shè)估計(jì)得到的高分辨率圖像為f，使用最大化后驗(yàn)概率Pr(f|gl)得到有關(guān)f的估計(jì)量

方程表達(dá)如下 應(yīng)用貝葉斯理論，上式可寫成 由于Pr(g1，g2，…，gk)與

相互獨(dú)立，對(duì)上式取對(duì)數(shù)得到最優(yōu)解方程 其中，Pr(f)表示最優(yōu)模型即規(guī)整項(xiàng)，是最終高分辨率圖像的先驗(yàn)概率模型，Pr(g1，g2，…，gk)表示序列低分辨率圖像的先驗(yàn)概率模型，Pr(gl|f)為可得到高分辨率圖像f的低分辨率序列圖像gl的條件概率模型； (2)引入吉布斯馬爾可夫(Gibbs-MRF)隨機(jī)場(chǎng)模型，Pr(f)表示為 其中，Z是歸一化系數(shù)，U(f)是能量函數(shù)，參數(shù)β用來(lái)控制Gibbs優(yōu)化模型的變化，c表示一個(gè)鄰域系統(tǒng)的簇，C表示簇c的全體，dctf是計(jì)算鄰域系統(tǒng)的一個(gè)標(biāo)尺，用來(lái)計(jì)算高分辨率圖像f中每一個(gè)像素的二階微分，ρα(x)是邊緣懲罰函數(shù) 其中α是一個(gè)門限參數(shù)，用來(lái)控制最優(yōu)模型的連續(xù)性； (3)使用觀察模型，假設(shè)圖像噪聲為零均值高斯噪聲，得到目標(biāo)高分辨率圖像f所應(yīng)滿足的函數(shù)表達(dá)式 (4)對(duì)f進(jìn)行迭代，使f滿足目標(biāo)函數(shù)的要求，迭代計(jì)算式如下 其中 迭代終止條件為 其中ε是預(yù)置的迭代終止系數(shù)。
在上述的ρα(x)函數(shù)中，本發(fā)明選用Huber-Markov模型確定紅外圖像的門限參數(shù)α，在噪聲較少的情況下，能有效地保存圖像的邊緣信息。
與現(xiàn)有技術(shù)相比較，本發(fā)明的有益效果和特點(diǎn)在于 1、本發(fā)明所述的超分辨率重建算法，可以在拍攝紅外電路板圖像無(wú)法達(dá)到分辨要求時(shí)，有效提高圖像分辨率，使圖像包含更多細(xì)節(jié)信息，可以利用更高分辨率的圖像進(jìn)行相關(guān)的分析測(cè)試。
2、本發(fā)明由于采用了運(yùn)動(dòng)估計(jì)算法，在拍攝序列圖像時(shí)，不需要規(guī)定非制冷熱像儀每次移動(dòng)的位移。位移的確定方法可以用光柵測(cè)量序列圖像之間的變化而準(zhǔn)確求出，使整套測(cè)試系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，穩(wěn)定耐用。
3、本發(fā)明所述的MAP超分辨率重建算法對(duì)紅外圖像重建的有效性和穩(wěn)定性從實(shí)驗(yàn)結(jié)果上可以看出是令人滿意的。此方法對(duì)序列電路板圖像進(jìn)行實(shí)際場(chǎng)景拍攝時(shí)會(huì)有很好的重建結(jié)果，能夠包含更多的電路板信息，尤其是導(dǎo)線及器件管腳的細(xì)節(jié)信息，能夠準(zhǔn)確地對(duì)電路板導(dǎo)線及器件管腳的發(fā)熱情況進(jìn)行測(cè)試分析。
4、本發(fā)明能夠有效地降低PCB紅外熱像診斷測(cè)試的成本。由于紅外探測(cè)器像元尺寸大小有限，在實(shí)際拍攝過(guò)程中常常無(wú)法得到所需分辨率紅外圖像。利用本發(fā)明所述的超分辨率重建算法來(lái)提高拍攝紅外圖像的空間分辨率，可以在較低等級(jí)的紅外探測(cè)器上實(shí)現(xiàn)較好的成像效果，有效的減少了對(duì)精度更高紅外探測(cè)器的依賴，使測(cè)試成本得到控制。



圖1本發(fā)明整體方案框圖 圖2本發(fā)明的拍攝裝置立體示意圖 圖3紅外熱像儀與x-y位移平臺(tái)的俯視圖 圖4實(shí)驗(yàn)拍攝光路示意圖 圖5lena圖像移動(dòng)像素示意圖，其中(a)為原lena圖像，(b)為向上移動(dòng)0.5個(gè)像素，(c)為向左移動(dòng)1個(gè)像素 圖6降采樣圖像投影處理示意圖 圖7序列低分辨率圖像的觀察模型 圖8利用超分辨率重建算法進(jìn)行圖像重建以獲得高分辨率圖像示意圖 圖9投影MAP圖像重建算法的具體迭代重建步驟 圖10仿真模擬序列低分辨率圖像實(shí)驗(yàn)效果對(duì)比圖樣，其中(a)為原高分辨率圖像，(b)為低分辨率圖像，(c)為三次樣條插值圖像，(d)為投影MAP算法重建圖像(α＝0.001) 圖11加載噪聲后的仿真模擬序列低分辨率圖像處理效果圖樣，其中，(a)附加高斯噪聲低分辨率圖像，(b)MAP算法重建圖像(α＝0)，(c)MAP算法重建圖像(α＝0.001)，(d)MAP算法重建圖像(α＝∞) 圖12不同序列數(shù)量重建效果對(duì)比，其中，(a)輸入兩幅低分辨率圖像，(b)輸入四幅低分辨率圖像，(c)輸入八幅低分辨率圖像，(d)輸入十六幅低分辨率圖像 圖13使用超分辨率重建算法，序列圖像信噪比與輸入圖像數(shù)量點(diǎn)列圖 圖14實(shí)拍實(shí)驗(yàn)(人像)序列圖像處理效果(a)實(shí)拍序列低分辨率圖像，(b)三次樣條插值，(c)投影MAP算法重建圖像(α＝0.001)，(d)投影MAP算法重建圖像
具體實(shí)施例方式 在具體實(shí)施方式
中將結(jié)合附圖，清楚、完整描述本發(fā)明的熱分析測(cè)試系統(tǒng)的設(shè)置和采用超分辨率重建算法對(duì)紅外圖像進(jìn)行重建的詳細(xì)過(guò)程。
1、熱分析測(cè)試系統(tǒng) 參照?qǐng)D1和圖2，本發(fā)明的熱分析測(cè)試系統(tǒng)包括拍攝裝置，計(jì)算機(jī)終端和圖像處理軟件。將非制冷紅外熱像儀1、待測(cè)電路板固定于拍攝架上，構(gòu)成測(cè)試拍攝裝置，裝配完成后的拍攝裝置如圖2所示，所述拍攝裝置的主要部件包括非制冷紅外熱像儀1，伸縮柱臺(tái)2，x-y位移平臺(tái)3，固定平板4，熱像儀固定臺(tái)5，支撐柱6，水平基座7和兩臺(tái)步進(jìn)電機(jī)8。拍攝裝置的外形結(jié)構(gòu)為矩形框架結(jié)構(gòu)，此框架的上部為熱像儀固定臺(tái)5，底部為水平基座7，在框架的熱像儀固定臺(tái)5和水平基座7上分別安裝有非制冷紅外熱像儀1、伸縮柱臺(tái)2、x-y位移平臺(tái)3、固定平板4、熱像儀固定臺(tái)5和支撐柱6；其中，非制冷紅外熱像儀1、伸縮柱臺(tái)2、x-y位移平臺(tái)3依次順序裝配固定于固定平板4上，再將組合部件裝配固定于熱像儀固定臺(tái)5，并使熱像儀1鏡頭面向水平基座7；支撐柱6裝配固定于水平基座7；所述測(cè)試裝置各組成部件作用如下 ①非制冷紅外熱像儀1拍攝序列圖像，并將序列圖像通過(guò)其上的接口存儲(chǔ)在計(jì)算機(jī)終端。
②伸縮柱臺(tái)2將熱像儀固定其上，靠步進(jìn)電機(jī)驅(qū)動(dòng)可使紅外熱像儀在豎直方向發(fā)生位移，以改變其與電路板之間的距離，確保電路板能夠被清晰成像。
③x-y位移平臺(tái)3靠?jī)蓚€(gè)步進(jìn)電機(jī)對(duì)熱像儀進(jìn)行控制，使其能夠在水平方向做二維平移，以便在拍攝過(guò)程中獲得序列電路板圖像。
④固定平板4在將熱像儀正確固定到伸縮柱臺(tái)，并完成x-y位移平臺(tái)的組裝后，將這些組合部件固定在固定平板上。
⑤熱像儀固定臺(tái)5其結(jié)構(gòu)為中間挖空的階梯槽的固定平板，為拍攝提供可靠支撐。
⑥支撐柱6為電路板提供水平支撐，防止帶有各種元器件的電路板不能水平放置，造成拍攝失敗。
⑦水平基座7為紅外熱像儀提供均勻拍攝背景及穩(wěn)定支撐。
⑧圖像處理軟件對(duì)序列電路板圖像信息進(jìn)行超分辨率重建，輸出高分辨率圖像。
圖3為紅外熱像儀與x-y位移平臺(tái)在圖2裝配關(guān)系下的仰視圖，其中編號(hào)8為兩臺(tái)分置于x，y方向的步進(jìn)電機(jī)，通過(guò)控制x-y位移平臺(tái)在x-y方向上移動(dòng)，實(shí)現(xiàn)熱像儀在二維方向上的移動(dòng)。
2、調(diào)試拍攝裝置的拍攝狀態(tài) 將拍攝裝置中所述部件按圖2所示裝配完畢后，結(jié)合實(shí)際電路板的成像效果，調(diào)試最佳拍攝狀態(tài)。具體方法如下 設(shè)非制冷紅外熱像儀焦距為F，熱像儀鏡頭與電路板之間距離即物距為l，像距為l′，則由高斯公式有 故像距為 以此像距值為準(zhǔn)，通過(guò)調(diào)整伸縮柱頭調(diào)整探測(cè)器到熱像儀鏡頭的距離。
設(shè)非制冷紅外熱像儀放大率為β，則物距l(xiāng)，像距l(xiāng)′，物高y，像高y′應(yīng)滿足如下關(guān)系 即 所以電路板上的器件在探測(cè)器上對(duì)應(yīng)的高度y′為 y′＝β×y(4) 設(shè)電路板面積為S＝X×Y，器件管腳寬度為d1，管腳間距為d2，熱像儀探測(cè)器規(guī)格為m列n行，像元尺寸為h×h，則探測(cè)器面積S1＝mh×nh。探測(cè)器對(duì)應(yīng)物方視場(chǎng)大小為 實(shí)驗(yàn)中的光路示意圖如圖4所示。
實(shí)例拍攝系統(tǒng)如圖2所示，采用定焦距非制冷紅外熱像儀，其焦距F＝50mm，熱像儀鏡頭與電路板之間距離也即物距為l＝-1300mm；熱像儀探測(cè)器規(guī)格為320×240總計(jì)76800個(gè)像元，像元為方形，其尺寸h＝0.045mm，探測(cè)器面積S1＝14.4mm×10.8mm；電路板器件管腳寬度d1＝0.5mm，管腳間距d2＝0.5mm。
由公式(2)可以計(jì)算出像距l(xiāng)′＝52mm，以此數(shù)據(jù)調(diào)整探測(cè)器到熱像儀鏡頭的距離。用公式(3)可以計(jì)算出β＝0.04，由公式(4)可以求得探測(cè)器成像面上對(duì)應(yīng)管腳成像大小|y′|＝0.02mm，由公式(5)算出探測(cè)器對(duì)應(yīng)物方視場(chǎng)S2＝360mm×270mm，由于像元尺寸h＝0.045mm，可見(jiàn)一個(gè)像元里包含的信息無(wú)法描述單個(gè)管腳的情況。
由此判斷此時(shí)拍攝出的圖像將無(wú)法正常分辨出器件的管腳或?qū)Ь€信息。
實(shí)際應(yīng)用過(guò)程中，在能夠拍到電路板全部信息的前提下，還要具體情況具體分析，對(duì)拍攝裝置進(jìn)行相應(yīng)調(diào)整。
3、使用達(dá)到最佳拍攝狀態(tài)的拍攝裝置，使待測(cè)電路板處于穩(wěn)定工作狀態(tài)，進(jìn)行電路板紅外序列圖像的拍攝，具體方法如下 (1)非制冷紅外熱像儀每拍攝一張電路板紅外圖像，x-y位移平臺(tái)在平面上將熱像儀移動(dòng)一段位移，最終得到電路板紅外序列圖像。
(2)x-y位移平臺(tái)每次產(chǎn)生的位移不需要提前預(yù)置。圖像處理軟件會(huì)計(jì)算出各序列圖像之間的位移，但x-y位移平臺(tái)每次移動(dòng)的位移應(yīng)小于被測(cè)試電路板導(dǎo)線之間或器件管腳之間的距離。
(3)拍攝的序列圖像數(shù)量應(yīng)介于8幅到16幅之間。如果圖像數(shù)量過(guò)少，提供的各幀圖像的差異信息將會(huì)很少，從而影響到最終的熱分析測(cè)試；如果圖像數(shù)量過(guò)多，重建得到的高分辨率圖像質(zhì)量提高的很小，對(duì)后續(xù)的熱分析基本沒(méi)有影響，反而會(huì)帶來(lái)很大的計(jì)算量。
4、將非制冷紅外熱像儀拍攝的序列電路板紅外圖像存儲(chǔ)在計(jì)算機(jī)終端，由圖像處理軟件提取序列圖像信息，進(jìn)行超分辨率重建，得到高分辨率電路板圖像。本發(fā)明使用的序列圖像超分辨率重建方法如下 (1)建立圖像觀察模型，即通過(guò)算法模擬實(shí)際成像過(guò)程。首先，使用運(yùn)動(dòng)估計(jì)算法，獲取圖像序列的相關(guān)信息。其次，通過(guò)建立投影模型，將低分辨率圖像序列與高分辨率圖像進(jìn)行匹配。最后，考慮附加噪聲對(duì)圖像的影響，引入觀察模型。
假設(shè)非制冷紅外熱像儀拍攝到的電路板圖像序列g(shù)含有k幅圖像且每幅圖像的大小為N1×N2，gl(m，n)表示其第l幅的第(m，n)個(gè)像素。重建高分辨率圖像f的大小為ηN1×ηN2，η是降采樣因子。
1)利用預(yù)濾波梯度運(yùn)動(dòng)估計(jì)算法，計(jì)算序列圖像之間的運(yùn)動(dòng)位移參數(shù)。
預(yù)濾波梯度法是預(yù)濾波方法和梯度法的結(jié)合。即先對(duì)圖像進(jìn)行低通濾波，再用梯度法進(jìn)行運(yùn)動(dòng)估計(jì)，這樣可以提高圖像的光滑度，使梯度的估計(jì)更精確，進(jìn)而提高運(yùn)動(dòng)估計(jì)的精度。梯度法是一種常用的運(yùn)動(dòng)估計(jì)算法，算法思想如下在估算兩副圖像g1，g2之間的位移時(shí)，只考慮圖像的水平和垂直移動(dòng)，假設(shè)圖像g1和g2之間的水平位移參數(shù)和垂直位移參數(shù)分別為a和b，則有 g2(x，y)＝g1(x+a，y+b)(6) 取g1的一階泰勒級(jí)數(shù)展開式，上式變?yōu)? 定義E(a，b)為g1，g2之間的誤差函數(shù)，形式為 計(jì)算微分方程和即 式中求解方程組(9)可以得到g1，g2兩幅圖像的水平位移參數(shù)a和垂直位移參數(shù)b。
本發(fā)明對(duì)軟件中所用到的運(yùn)動(dòng)估計(jì)方法進(jìn)行了精度分析，如圖5所示，將一幅128×128的lena圖像分別在水平和垂直方向移動(dòng)1和0.5個(gè)像素，使用運(yùn)動(dòng)估計(jì)對(duì)不同位移進(jìn)行估算的結(jié)果如表1所示。
表1運(yùn)動(dòng)估計(jì)結(jié)果
從表1的數(shù)據(jù)可以看出，梯度法對(duì)小平移的運(yùn)動(dòng)估計(jì)的精度比較高，而預(yù)濾波梯度法可以有效地提高運(yùn)動(dòng)估計(jì)的精度，進(jìn)而提高圖像觀察模型的準(zhǔn)確性。
2)建立投影模型。設(shè)由序列圖像g1，g2，…，gk經(jīng)超分辨率重建得到的高分辨率圖像為f，則由上一步得到的序列圖像可以看作是此高分辨率圖像f的降采樣圖像。投影模型用于得到低分辨率圖像序列與目標(biāo)高分辨率圖像的具體匹配關(guān)系，并以此進(jìn)行超分辨率重建。圖像匹配的基本依據(jù)是圖像降采樣模型，表達(dá)式如下 其中i＝1，2，…，N1，j＝1，2，…，N2。拍攝到的序列圖像g1，g2，…，gk之間的運(yùn)動(dòng)位移分別為a1，a2，…，ak和b1，b2，…，bk。結(jié)合降采樣模型(10)式，本發(fā)明中所用的高分辨率圖像f與序列低分辨率圖像gl之間的投影模型為
其中β(r′，s)是一個(gè)周期為η+1的參數(shù)矩陣，r＝x-(η+1)(i-1)，s＝y(tǒng)-(η+1)(j-1)。如圖6所示的采樣實(shí)例，低分辨率圖像中的g11像素，是由高分辨率圖像的f11，f12，f21，f22經(jīng)過(guò)投影模型的變換得到的，由圖6可知，降采樣因子η＝2，則參數(shù)矩陣形式為 簡(jiǎn)化(11)式得 gl＝Dlf(13) Dl即為投影模型，式(13)表示了序列圖像與高分辨率圖像的匹配關(guān)系。
3)建立序列圖像觀察模型。在圖像的拍攝過(guò)程中，考慮到附加噪聲nl，則修正(13)式為 gl＝Dlf+nl(14) 其中l(wèi)＝1，2，…，k。因此，如圖7所示，序列低分辨率圖像的觀察模型可總結(jié)為 g＝Df+n(15) (15)式中，D可以被看作是投影模型。
(2)根據(jù)(1)所得圖像觀察模型，利用超分辨率重建對(duì)拍攝得到的電路板紅外序列圖像進(jìn)行重建，得到高分辨率圖像f?；驹砣鐖D8所示，通過(guò)對(duì)同一場(chǎng)景的多幅圖像來(lái)獲取該場(chǎng)景的一幅高分辨率圖像。
本發(fā)明使用最大后驗(yàn)估計(jì)(MAP)超分辨重建算法對(duì)紅外序列圖像進(jìn)行重建。具體算法如下 [1]首先對(duì)序列低分辨率圖像的初始圖像g1進(jìn)行三次樣條插值，獲得最初估計(jì)得高分辨率圖像fn(n＝0)。
[2]使用MAP估計(jì)，通過(guò)最大化后驗(yàn)概率Pr(f|gl)得到有關(guān)f的估計(jì)量

方程為 應(yīng)用貝葉斯理論，上式可化為 由于Pr(g1，g2，…，gk)與

相互獨(dú)立，對(duì)式(17)取對(duì)數(shù)，得到最優(yōu)解方程 其中Pr(f)表示最優(yōu)模型即規(guī)整項(xiàng)，是最終高分辨率圖像的先驗(yàn)概率模型，Pr(g1，g2，…，gk)表示序列低分辨率圖像的先驗(yàn)概率模型。Pr(gl|f)為可得到高分辨率圖像f的低分辨率序列圖像gl的條件概率模型。
[3]觀察式(18)可以看出，不同的最優(yōu)模型Pr(f)會(huì)得出不同的結(jié)果。本發(fā)明引入吉布斯馬爾可夫(Gibbs-MRF)隨即場(chǎng)模型，則Pr(f)可表示為 其中Z是歸一化系數(shù)，U(f)是能量函數(shù)，參數(shù)β用來(lái)控制Gibbs優(yōu)化模型的變化，c表示一個(gè)鄰域系統(tǒng)的簇，C表示簇c的全體，dctf是計(jì)算鄰域系統(tǒng)的一個(gè)標(biāo)尺。本文中令dctf計(jì)算高分辨率圖像f中每一個(gè)像素的二階微分， 此方程在圖像的平滑區(qū)域有很小的數(shù)值，在邊緣像素有很大的值。ρα(x)是邊緣懲罰函數(shù) 其中α是一個(gè)可人為設(shè)定的門限參數(shù)，使用該門限參數(shù)可以控制最優(yōu)模型的連續(xù)性。
[4]引入(1)中的觀察模型，假設(shè)圖像噪聲為零均值高斯噪聲，則條件概率模型Pr(gl|f)表示為 其中l(wèi)＝1，2，…，k。最后，得到目標(biāo)函數(shù)表達(dá)式 [5]為了使得到的f滿足該目標(biāo)函數(shù)的要求，要不斷地對(duì)f作出修正，故應(yīng)對(duì)f進(jìn)行迭代。迭代的目的就是使f收斂于目標(biāo)函數(shù)的一個(gè)區(qū)域最小解。本文用梯度下降法來(lái)計(jì)算最優(yōu)解 其中 其中當(dāng)x＞0時(shí)sign(x)＝1，當(dāng)x＝0時(shí)sign(x)＝0，當(dāng)x＜0時(shí)sign(x)＝-1。觀察方程(25)可以看出，不同的門限α的會(huì)得到不同的收斂解，有以下三種形式 1)當(dāng)α＝0時(shí)，最優(yōu)模型Pr(f)即規(guī)整項(xiàng)的所有數(shù)值為0，此時(shí)目標(biāo)方程不存在最優(yōu)模型，MAP算法成為圖像投影定位算法。
2)當(dāng)α→∞時(shí)，此時(shí)最優(yōu)模型為高斯Markov模型，規(guī)整項(xiàng)嚴(yán)格懲罰圖像邊緣像素，而對(duì)圖像平滑像素影響很小。
3)當(dāng)α等于其它值時(shí)，最優(yōu)模型為Huber-Markov模型，通過(guò)門限α的變化，調(diào)整規(guī)整化因子，產(chǎn)生不同收斂解，更好的保存圖像的邊緣信息。
由于紅外圖像的大部分信號(hào)是低頻信號(hào)，處理所得到的結(jié)果要保存邊緣部分的細(xì)節(jié)信息。直覺(jué)上看，對(duì)于紅外圖像門限α最好的選擇是Huber-Markov模型。但是在有些情況下，例如圖像有很多噪聲，Huber-Markov模型不一定會(huì)產(chǎn)生最好的解，仿真試驗(yàn)部分對(duì)α的三種形式進(jìn)行了細(xì)致的分析比較。
MAP重建算法的迭代終止方程如下所示 其中ε是預(yù)置的迭代終止系數(shù)。
投影MAP圖像重建算法如圖9所示，具體迭代步驟如下 步驟1對(duì)序列低分辨率圖像g1，g2，…，gk進(jìn)行運(yùn)動(dòng)估計(jì)。
步驟2對(duì)序列低分辨率圖像初始圖像g1三次樣條插值，獲得最初估計(jì)的高分辨率圖像fn(n＝0)。
步驟3用投影模型Dl匹配估計(jì)的高分辨率圖像fn與低分辨率圖像序列g(shù)l，獲得序列降采樣圖像Dlfn，并計(jì)算投影殘差gl-Dlfn。
步驟4再用投影模型D1匹配投影殘差gl-Dlfn與fn，計(jì)算并計(jì)算規(guī)整項(xiàng) 步驟5計(jì)算(24)式，獲得估計(jì)高分辨率圖像fn+1。
步驟6如果滿足終止判據(jù)式(26)，結(jié)束迭代，否則返回步驟3。
(3)對(duì)電路板導(dǎo)線及器件管腳發(fā)熱情況進(jìn)行分析，具體方法如下 1)由于待測(cè)電路板處于正常工作狀態(tài)，導(dǎo)通的導(dǎo)線及器件管腳會(huì)產(chǎn)生熱量，這時(shí)非制冷紅外熱像儀拍攝的圖像會(huì)顯示出電路板上發(fā)熱的部分，但由于拍攝的圖像分辨率低，人眼無(wú)法識(shí)別出細(xì)節(jié)信息，對(duì)此本發(fā)明在調(diào)試拍攝裝置中的第2部分已給出了具體的解釋； 2)利用第4部分的超分辨率重建算法，對(duì)第3部分拍攝的序列電路板紅外圖像進(jìn)行重建，獲得電路板高分辨率圖像； 3)由于重建的高分辨率圖像已經(jīng)可以清楚的分辨出電路板上導(dǎo)線及器件的每個(gè)管腳，就可以通過(guò)視覺(jué)觀察導(dǎo)線及管腳在圖像上的亮度情況，來(lái)判定導(dǎo)線及器件管腳的發(fā)熱情況； 仿真實(shí)驗(yàn) 本發(fā)明設(shè)計(jì)了三個(gè)仿真實(shí)驗(yàn)，使用軟件為MATLAB和C++。具體實(shí)驗(yàn)步驟如下 仿真實(shí)驗(yàn)一 (1)仿真模擬序列低分辨率圖像，用非制冷紅外熱像儀拍攝一幅320列×240行高分辨率圖像，由于實(shí)驗(yàn)需要，將這幅圖像剪切為232列×224行[圖10(a)]，并將這幅高分辨率圖像每移動(dòng)一個(gè)像素降采樣成一幅58列×56行低分辨率圖像，降采樣因子為4，得到16幅序列低分辨率圖像[圖10(b)所示為其中一幅]。
(2)用本發(fā)明介紹的MAP超分辨率重建算法對(duì)步驟(1)得到的序列低分辨率圖像進(jìn)行重建，重建結(jié)果如圖10(d)所示，圖10(c)顯示了對(duì)單幅低分辨率圖像進(jìn)行三次樣條插值的結(jié)果。
(3)通過(guò)對(duì)MAP超分辨率重建算法規(guī)整項(xiàng)的變化、直接觀察以及信噪比，對(duì)仿真結(jié)果進(jìn)行比較分析。根據(jù)圖10和表2，當(dāng)投影MAP算法的門限參數(shù)α＝0.001時(shí)，得到了最大的PSNR值，重建效果也是最好的。此時(shí)的規(guī)整項(xiàng)最優(yōu)模型為Huber-Markov最優(yōu)模型，可以很好的保存圖像邊緣的細(xì)節(jié)信息。
表2重建圖像信噪比
仿真實(shí)驗(yàn)二 (1)對(duì)仿真實(shí)驗(yàn)一得到的16幅序列低分辨率圖像附加均值為0方差為0.01的高斯噪聲，得到序列附加噪聲低分辨率圖像[圖12(a)]。
(2)用本發(fā)明所述的MAP超分辨率重建算法對(duì)步驟(1)得到的序列附加噪聲的低分辨率圖像圖11(a)進(jìn)行重建，圖11(b)、11(c)和11(d)分別顯示了MAP超分辨率重建算法門限為α＝0、α＝0.001和α＝∞的重建結(jié)果。
(3)通過(guò)對(duì)MAP超分辨率重建算法規(guī)整項(xiàng)的變化、直接觀察以及信噪比，對(duì)仿真結(jié)果進(jìn)行比較分析。根據(jù)圖11和表3，當(dāng)α＝∞時(shí)，Gaussian-Markov最優(yōu)模型嚴(yán)格懲罰圖像的噪聲點(diǎn)，投影MAP算法得到了最大的PSNR值。比較分析仿真結(jié)果，Huber-Markov最優(yōu)模型雖然可以很好的保存圖像邊緣，但對(duì)附加噪聲很敏感。
表3重建附加高斯噪聲圖像信噪比
仿真試驗(yàn)三 為了驗(yàn)證序列圖像重建中最合理的拍攝圖像數(shù)量設(shè)計(jì)本仿真試驗(yàn)，使用軟件為MATLAB和C++。具體實(shí)驗(yàn)步驟如下 本實(shí)驗(yàn)進(jìn)一步分析了拍攝低分辨率圖像數(shù)量的變化，對(duì)超分辨率重建結(jié)果的影響。實(shí)驗(yàn)所用圖像為仿真實(shí)驗(yàn)一中的序列低分辨率圖像，用本發(fā)明的超分辨率重建算法分別對(duì)2～16幅序列圖像進(jìn)行重建。圖12所示為不同序列數(shù)量的重建效果對(duì)比，通過(guò)信噪比與輸入圖像數(shù)量點(diǎn)列圖(圖13)比較，隨著拍攝低分辨率圖像的增多，信噪比逐漸增大，重建圖像質(zhì)量提高。但當(dāng)輸入圖像大于8幅時(shí)，信噪比及重建高分辨率圖像質(zhì)量的變化很微小，因此拍攝低分辨率圖像的數(shù)量最好大于8幅小于16幅。
實(shí)拍試驗(yàn) 本發(fā)明設(shè)計(jì)了一個(gè)實(shí)際場(chǎng)景實(shí)驗(yàn)，使用軟件為MATLAB和C++。具體實(shí)驗(yàn)步驟如下 (1)實(shí)驗(yàn)設(shè)計(jì)為兩個(gè)人靠近站立，并且盡量保持不動(dòng)，將熱像儀固定在一個(gè)微調(diào)支架上，支架可以上下左右對(duì)熱像儀進(jìn)行微小位移調(diào)節(jié)。熱像儀每拍攝一張圖像移動(dòng)一段微小位移，最終得到實(shí)拍序列圖像。在這個(gè)實(shí)驗(yàn)中，拍攝得到了12幅320列×240行低分辨率圖像，由于實(shí)驗(yàn)需要，實(shí)驗(yàn)將所得序列圖像尺寸剪切為54列×60行，圖14(a)顯示了序列圖像中的一幅，。
(2)用本發(fā)明所述的MAP超分辨率重建方法對(duì)步驟(1)的實(shí)拍序列低分辨率圖像進(jìn)行重建，可以提高4倍的分辨率，圖14(b)是三次樣條插值的結(jié)果，圖14(c)和14(d)分別顯示了MAP超分辨率重建算法門限為α＝0和α＝∞的重建結(jié)果。從視覺(jué)直觀分析，本發(fā)明介紹的MAP超分辨率重建算法重建的高分辨率圖像不僅包含更多的細(xì)節(jié)信息(例如眼鏡)，而且克服了圖像邊緣的振動(dòng)影響，得到了更平滑的邊緣。
權(quán)利要求
1、一種基于紅外序列圖像超分辨率重建方法的熱分析測(cè)試系統(tǒng)，包括拍攝裝置、計(jì)算機(jī)終端和圖像處理軟件，其特征在于拍攝裝置由非制冷紅外熱像儀①，伸縮柱臺(tái)②，x-y位移平臺(tái)③，固定平板④，熱像儀固定臺(tái)⑤，支撐柱⑥，水平基座⑦，步進(jìn)電機(jī)⑧組成，拍攝裝置的外形結(jié)構(gòu)為矩形框架結(jié)構(gòu)，此框架的上部為熱像儀固定臺(tái)⑤，底部為水平基座⑦，在框架的熱像儀固定臺(tái)⑤和水平基座⑦上分別安裝有非制冷紅外熱像儀①、伸縮柱臺(tái)②、x-y位移平臺(tái)③、固定平板④、熱像儀固定臺(tái)⑤和支撐柱⑥；其中，非制冷紅外熱像儀①、伸縮柱臺(tái)②、x-y位移平臺(tái)③依次順序裝配固定于固定平板④，再將固定平板④裝配固定于熱像儀固定臺(tái)⑤上，并使熱像儀鏡頭面向水平基座⑦；支撐柱⑥裝配固定于水平基座⑦；所述熱分析測(cè)試系統(tǒng)的主要部件作用如下
非制冷紅外熱像儀①拍攝序列圖像，并將序列圖像輸入到計(jì)算機(jī)終端；
伸縮柱臺(tái)②使紅外熱像儀在豎直方向產(chǎn)生位移，以改變熱像儀與目標(biāo)之間的距離，確保清晰成像；
x-y位移平臺(tái)③靠?jī)蓚€(gè)步進(jìn)電機(jī)⑧使非制冷紅外熱像儀在水平方向做二維平移，以便在拍攝過(guò)程中獲得不同位置的目標(biāo)序列圖像；
圖像處理軟件對(duì)序列圖像進(jìn)行超分辨率重建，輸出高分辨率圖像。
2、一種基于紅外序列圖像的超分辨率重建方法，其特征在于首先通過(guò)拍攝裝置獲取處于導(dǎo)通狀態(tài)目標(biāo)的紅外序列圖像，再對(duì)紅外序列圖像進(jìn)行重建分析
(2.1)將拍攝裝置設(shè)計(jì)調(diào)試到最佳拍攝狀態(tài)；
(2.2)對(duì)處于穩(wěn)定工作狀態(tài)的待測(cè)目標(biāo)進(jìn)行拍攝，每拍攝一張圖像，用x-y位移平臺(tái)③使非制冷紅外熱像儀①產(chǎn)生一段位移，得到目標(biāo)的序列圖像，并存儲(chǔ)在計(jì)算機(jī)終端；
(2.3)使用圖像處理軟件對(duì)存儲(chǔ)的序列圖像進(jìn)行超分辨率重建處理，得到高分辨率目標(biāo)圖像。
3、根據(jù)權(quán)利要求2所述的紅外序列圖像的超分辨率重建方法，其特征包括如下步驟
(3.1)建立圖像觀察模型即模擬實(shí)際成像過(guò)程；首先使用運(yùn)動(dòng)估計(jì)算法，獲取圖像序列的位移參數(shù)；其次，建立投影模型，以便得到低分辨率圖像序列與目標(biāo)高分辨率圖像的具體匹配關(guān)系，并以此進(jìn)行超分辨率重建；最后，考慮實(shí)際成像過(guò)程中，附加噪聲對(duì)圖像的影響，形成觀察模型；
(3.2)根據(jù)步驟(3.1)得到的圖像觀察模型，利用超分辨率重建方法對(duì)對(duì)同一場(chǎng)景的多幅序列圖像進(jìn)行重建，來(lái)獲取該場(chǎng)景的一幅高分辨率圖像。
4、根據(jù)權(quán)利要求3所述的基于紅外序列圖像的超分辨率重建方法，其特征在于采用最大后驗(yàn)估計(jì)MAP超分辨率重建算法對(duì)序列圖像進(jìn)行重建，重建過(guò)程包括如下步驟
(4.1)設(shè)估計(jì)得到的高分辨率圖像為f，使用最大化后驗(yàn)概率Pr(f|gl)得到有關(guān)f的估計(jì)量
方程表達(dá)如下
應(yīng)用貝葉斯理論，上式可寫成
由于Pr(g1，g2，…，gk)與
相互獨(dú)立，對(duì)上式取對(duì)數(shù)得到最優(yōu)解方程
其中，Pr(f)表示最優(yōu)模型即規(guī)整項(xiàng)，是最終高分辨率圖像的先驗(yàn)概率模型，Pr(g1，g2，…，gk)表示序列低分辨率圖像的先驗(yàn)概率模型，Pr(gl|f)為可得到高分辨率圖像f的低分辨率序列圖像gl的條件概率模型；
(4.2)引入吉布斯馬爾可夫(Gibbs-MRF)隨機(jī)場(chǎng)模型，Pr(f)表示為
其中，Z是歸一化系數(shù)，U(f)是能量函數(shù)，參數(shù)β用來(lái)控制Gibbs優(yōu)化模型的變化，c表示一個(gè)鄰域系統(tǒng)的簇，C表示簇c的全體，dctf是計(jì)算鄰域系統(tǒng)的一個(gè)標(biāo)尺，用來(lái)計(jì)算高分辨率圖像f中每一個(gè)像素的二階微分，ρα(x)是邊緣懲罰函數(shù)
其中α是一個(gè)門限參數(shù)，用來(lái)控制最優(yōu)模型的連續(xù)性；
(4.3)使用觀察模型，假設(shè)圖像噪聲為零均值高斯噪聲，得到目標(biāo)高分辨率圖像f所應(yīng)滿足的函數(shù)表達(dá)式
(4.4)對(duì)f進(jìn)行迭代，使f滿足目標(biāo)函數(shù)的要求，迭代計(jì)算式如下
其中
迭代終止條件為
其中ε是預(yù)置的迭代終止系數(shù)。
5、根據(jù)權(quán)利要求4所述的紅外序列圖像的超分辨率重建方法，其特征在于在ρα(x)函數(shù)中，選用Huber-Markov模型確定紅外圖像的門限參數(shù)α，在噪聲較少的情況下，能有效地保存圖像的邊緣信息。
全文摘要
本發(fā)明公開了一種基于紅外序列圖像超分辨率重建方法的熱分析測(cè)試系統(tǒng)。將拍攝裝置——非制冷紅外熱像儀固定在拍攝架x-y位移平臺(tái)上，把處于導(dǎo)通狀態(tài)的目標(biāo)(如電路板)固定在拍攝架支撐柱上。非制冷紅外熱像儀拍攝得到目標(biāo)的紅外序列圖像，通過(guò)其上的接口將這些圖像存儲(chǔ)在計(jì)算機(jī)終端。使用本發(fā)明所述的超分辨率重建方法，對(duì)目標(biāo)的紅外序列圖像進(jìn)行超分辨率重建，獲得高分辨率的目標(biāo)圖像以供分析。本發(fā)明可在給定拍攝距離的情況下，獲得比拍攝設(shè)備物理分辨率更高分辨率的圖像。
文檔編號(hào)G01R31/02GK101320072SQ20081015040
公開日2008年12月10日 申請(qǐng)日期2008年7月21日 優(yōu)先權(quán)日2008年7月21日
發(fā)明者李慶輝, 姚呈康, 剛 孫, 琳 胡, 溫敬陽(yáng) 申請(qǐng)人:西安電子科技大學(xué)