基于fpga的紅外成像非均勻性校正系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于紅外圖像處理領(lǐng)域，特別涉及一種基于FPGA的紅外成像非均勻性校正系統(tǒng)，可用于對紅外圖像非均勻性的實時校正。
【背景技術(shù)】
[0002]紅外凝視成像系統(tǒng)的核心傳感器是紅外焦平面陣列IRPPA，現(xiàn)已廣泛應(yīng)用于各個領(lǐng)域。由于傳感器材料和制造工藝、信號處理系統(tǒng)暗電流噪聲以及工作環(huán)境等因素的影響，紅外焦平面陣列各個探測單元對相同輻照度的響應(yīng)不同，這種響應(yīng)的不一致性稱為非均勻性，在圖像上表現(xiàn)為固定圖案噪聲FPN。紅外焦平面陣列的非均勻性降低了系統(tǒng)的成像質(zhì)量，因此在實際應(yīng)用中必須進(jìn)行非均勻性校正NUC。
[0003]近年來，學(xué)者們不斷提出不同的非均勻性校正方法，通常將這些方法分為兩類:一類是基于參考源定標(biāo)的校正方法，典型的有兩點校正法和多點校正法；另一類是基于場景的校正方法，典型的有時域高通濾波法、恒定統(tǒng)計法、神經(jīng)網(wǎng)絡(luò)法等。
[0004]基于參考源定標(biāo)的方法以不同溫度下均勻輻射的黑體作為參考源獲得校正參數(shù)，但是其校正參數(shù)是固定不變的，隨著時間的增長和工作環(huán)境的改變校正參數(shù)通常會失效，需要通過周期性的停機來重新定標(biāo)。
[0005]基于場景的校正方法利用當(dāng)前圖像中的場景信息實時計算更新校正參數(shù)，具有一定的自適應(yīng)性，但是也存在一定缺陷。其中:
[0006]時域高通濾波法的缺點是:將時域低頻信息統(tǒng)一當(dāng)做非均勻性，會濾除掉圖像中的靜止場景，同時也會在運動物體上產(chǎn)生明顯的拖影即“鬼影”現(xiàn)象，嚴(yán)重影響校正效果。
[0007]恒定統(tǒng)計法的缺點是:認(rèn)為圖像中的場景值遵循恒定的統(tǒng)計規(guī)律，需要連續(xù)多幀圖像的統(tǒng)計信息來計算校正參數(shù)，對系統(tǒng)的存儲空間要求比較大，不易于硬件實現(xiàn)。
[0008]神經(jīng)網(wǎng)絡(luò)法的缺點是:依賴于場景與成像系統(tǒng)之間的運動，校正圖像中大多存在“鬼影”問題，而且當(dāng)場景靜止時，重復(fù)迭代計算會使校正結(jié)果邊緣發(fā)生模糊。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于提供一種基于FPGA的紅外成像非均勻性校正系統(tǒng)，用于對紅外圖像非均勻性的實時較正。本發(fā)明系統(tǒng)采用的方法，對傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)法加以改進(jìn)，以解決傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)法存在的“鬼影”現(xiàn)象和固定場景下圖像模糊的問題。
[0010]本發(fā)明的目的是這樣實現(xiàn)的:
[0011]一.技術(shù)原理
[0012]本發(fā)明在保留原始神經(jīng)網(wǎng)絡(luò)法優(yōu)點的同時，針對其缺陷加以改進(jìn)，并以FPGA為核心處理器對改進(jìn)方法進(jìn)行實現(xiàn)。
[0013]在本發(fā)明系統(tǒng)中，保留了原始神經(jīng)網(wǎng)絡(luò)法的校正模型和參數(shù)更新計算模型，其中:
[0014]校正模型為=Ici(Lj)=G(i, jOXI^i, j)+0(i, j);
[0015]增益參數(shù)迭代更新的計算模型為j) = G(i, j)-0 XI“i，j) X (10(i, j)_If(i,j));
[0016]偏置參數(shù)迭代更新的計算模型為-O1 (i，j) = 0(i, j)-0 X (10(i, j)-1f(i, j))o
[0017]上述模型中，I1Q, j)為輸入原始圖像第i行第j列像素位置的灰度值，G(i，j)和0(i, j)分別為對應(yīng)位置的當(dāng)前增益參數(shù)和當(dāng)前偏置參數(shù)，Ici(^j)為利用校正模型計算得到該位置校正后的灰度值，If (i，j)為預(yù)測圖像在該位置的灰度值，β為迭代步長，G1(^j)和O1Q, j)分別為利用參數(shù)更新計算模型得到的新增益參數(shù)和新偏置參數(shù)。
[0018]針對原始神經(jīng)網(wǎng)絡(luò)法存在的缺陷，經(jīng)過理論及實驗分析可知，“鬼影”現(xiàn)象的存在主要是由于原始神經(jīng)網(wǎng)絡(luò)法中預(yù)測圖像由均值濾波得到，圖像邊緣被模糊了。本發(fā)明系統(tǒng)采用一種具有邊緣保持效果的濾波方法代替原始神經(jīng)網(wǎng)絡(luò)法中的均值濾波來計算預(yù)測圖像，有效地改善了“鬼影”現(xiàn)象。另外，場景靜止時不必要的重復(fù)更新校正參數(shù)是造成圖像模糊的主要原因。本發(fā)明引入了參數(shù)更新判斷機制，利用投影法運動估計的結(jié)果來指導(dǎo)參數(shù)更新，從而有效地解決了靜止場景下校正結(jié)果的模糊問題。針對以上改進(jìn)后的神經(jīng)網(wǎng)絡(luò)非均勻性校正方法，本發(fā)明以FPGA為核心處理器件對其進(jìn)行硬件實現(xiàn)，給出一種基于FPGA的紅外成像非均勻性校正系統(tǒng)。
[0019]二.技術(shù)方案
[0020]本發(fā)明基于FPGA的紅外成像非均勻性校正系統(tǒng)，其特征在于包括:輸入幀緩存器、輸出幀緩存器、外部存儲控制器和神經(jīng)網(wǎng)絡(luò)模塊；
[0021]所述輸入幀緩存器，用于從外部接收并緩存完整的一幀MXN像素大小的原始圖像，其中每個像素的灰度值是一個8bit位寬的整型數(shù)據(jù)；
[0022]所述輸出幀緩存器，用于在系統(tǒng)中緩存一幀完整的校正后圖像，并輸出校正后的圖像數(shù)據(jù)；
[0023]所述外部存儲控制器，用于控制FPGA外接的第一存儲器SRAMl和第二存儲器SRAM2的工作狀態(tài)，并負(fù)責(zé)和神經(jīng)網(wǎng)絡(luò)模塊進(jìn)行數(shù)據(jù)通信；
[0024]所述神經(jīng)網(wǎng)絡(luò)模塊，包括校正子模塊、預(yù)測圖像計算子模塊、新參數(shù)計算子模塊、投影法運動估計子模塊和一個二選一選擇器；
[0025]該校正子模塊，用于從輸入幀緩存器中依次讀取原始圖像第i行第j列像素位置的數(shù)據(jù)I1Q, j)，同時從外部存儲控制器中接收該像素位置的當(dāng)前增益參數(shù)G(i，j)和當(dāng)前偏置參數(shù)0(i，j)，計算該像素位置的校正后圖像數(shù)據(jù)IJi，j)，i = 1，2，...，Μ，j =1，2，...，N，M為圖像的總行數(shù)，N為圖像的總列數(shù)；
[0026]該預(yù)測圖像計算子模塊，用于從輸入幀緩存器中依次讀取原始圖像第i行第j列像素位置的數(shù)據(jù)I1Q, j)，并計算該像素位置的預(yù)測圖像數(shù)據(jù)If (i，j);
[0027]該新參數(shù)計算子模塊，用于從輸入幀緩存器中依次讀入原始圖像第i行第j列像素位置的數(shù)據(jù)I1 (i, j)，同時從外部存儲控制器中獲得該像素位置的當(dāng)前增益參數(shù)G(i，j)和當(dāng)前偏置參數(shù)O (i，j)，并從校正子模塊中讀取該像素位置的校正圖像數(shù)據(jù)Ici (i，j)，再從預(yù)測圖像計算子模塊中讀取該像素位置的預(yù)測圖像數(shù)據(jù)If (i，j)，最終計算出該像素位置的新增益參數(shù)G1 (i, j)和新偏置參數(shù)O1 (i, j);
[0028]該投影法運動估計子模塊，用于從輸入幀緩存器中依次讀入原始圖像第i行第j列像素位置的數(shù)據(jù)I1 (i，j)，判斷當(dāng)前圖像中是否存在運動物體，并輸出判別信號f來表示判斷結(jié)果:如果圖像中存在運動物體，則判別信號f輸出為1，否則輸出為O ;
[0029]該二選一選擇器，用于根據(jù)投影法運動估計子模塊輸出的判別信號f來選擇參數(shù)進(jìn)行更新:如果判別信號f為1，則選擇新參數(shù)計算子模塊輸出的新增益參數(shù)G1Q, j)和新偏置參數(shù)O1 (i, j)傳送到外部存儲控制器，并分別寫入第一存儲器SRAMl和第二存儲器SRAM2，實現(xiàn)校正參數(shù)的更新；如果判別信號f為0，則外部存儲控制器接收自身輸出的當(dāng)前增益參數(shù)G (i，j)和當(dāng)前偏置參數(shù)O (i，j)，并分別寫入第一存儲器SRAMl和第二存儲器SRAM2，保持校正參數(shù)不變。
[0030]本發(fā)明具有如下優(yōu)點:
[0031]1.本發(fā)明系統(tǒng)中由于設(shè)有較正子模塊和新參數(shù)計算子模塊，并通過新參數(shù)計算子模塊實時計算更新校正參數(shù)，使系統(tǒng)能夠?qū)斎氲脑紙D像進(jìn)行自適應(yīng)校正；
[0032]2.本發(fā)明系統(tǒng)中由于設(shè)有預(yù)測圖像計算子模塊，通過該模塊在計算預(yù)測圖像時保留原始圖像中的邊緣信息，故能夠在保證校正效果的同時有效減弱運動物體的拖影即“鬼影”現(xiàn)象；
[0033]3.本發(fā)明系統(tǒng)中由于設(shè)有投影法運動估計子模塊，通過該模塊判斷圖像中是否存在運動物體，并使用判斷的結(jié)果指導(dǎo)校正參數(shù)的更新，從而避免了場景靜止時造成的圖像模糊。
[0034]4.本發(fā)明系統(tǒng)以FPGA為核心處理器進(jìn)行實現(xiàn)，充分利用了 FPGA可編程和并行運算的特點，使系統(tǒng)能夠?qū)斎氲脑紙D像進(jìn)行實時校正。
[0035]以下結(jié)合附圖和實施例對本發(fā)明的實施例和效果作進(jìn)一步詳細(xì)描述。
【附圖說明】
[0036]圖1為本發(fā)明基于FPGA的紅外成像非均勻性校正系統(tǒng)結(jié)構(gòu)框圖；
[0037]圖2為本發(fā)明中的校正子模塊結(jié)構(gòu)框圖；
[0038]圖3為本發(fā)明中的預(yù)測圖像計算子模塊結(jié)構(gòu)框圖；
[0039]圖4為本發(fā)明中的均值濾波器結(jié)構(gòu)框圖；
[0040]圖5為本發(fā)明中的新參數(shù)計算子模塊結(jié)構(gòu)框圖；
[0041]圖6為本發(fā)明中的投影法運動估計子模塊結(jié)構(gòu)框圖；
[0042]圖7為本發(fā)明中改進(jìn)預(yù)測圖像計算子模塊前后的系統(tǒng)結(jié)果對比圖；
[0043]圖8為本發(fā)明中引入投影法運動估計子模塊前后的系統(tǒng)結(jié)果對比圖。
【具體實施方式】
[0044]參照圖1，本發(fā)明系統(tǒng)以FPGA為核心處理器實現(xiàn)紅外成像非均勻性校正，F(xiàn)PGA內(nèi)部劃分的功能模塊包括:輸入幀緩存器1、輸出幀緩存器2、外部存儲控制器3和神經(jīng)網(wǎng)絡(luò)模塊4。其中神經(jīng)網(wǎng)絡(luò)模塊4包括:校正子模塊41、預(yù)測圖像計算子模塊42、新參數(shù)計算子模塊43、投影法運動估計子模塊44和一