本發(fā)明涉及圖像處理領域，尤其涉及對TDI-CMOS圖像傳感器所拍攝圖片中的FPN進行處理。

背景技術：

在基于模擬域累加實現(xiàn)的TDI-CMOS圖像傳感器中。由于模擬累加器電路中存在寄生電阻和電容，電路失配會導致輸出圖像在TDI掃描方向(即“沿軌”方向)亮度不均勻，且呈周期性衰減，突出表現(xiàn)為周期性橫條紋，該現(xiàn)象稱為行固定模式噪聲(RFPN)。而傳感器列并行讀出電路(模擬累加器和ADC等)的系統(tǒng)結構由于工藝偏差很容易出現(xiàn)列與列之間的失配，從而導致輸出圖像在與TDI掃描方向垂直的方向(即“跨軌”方向)亮度不均勻，表現(xiàn)為明暗變化的豎條紋，該現(xiàn)象稱為列固定模式噪聲(CFPN)。在TDI-CMOS圖像傳感器的輸出圖像中，由RFPN導致的橫條紋和由CFPN導致的豎條紋同時存在且交織在一起，如圖2，嚴重影響了圖像質量，且增加了固定模式噪聲(FPN)校正的難度。

TDI-CMOS圖像傳感器的RFPN是由其模擬累加器特定的電路結構引起的，是一種特殊的FPN。而且，對于已經(jīng)制造完成的TDI-CMOS圖像傳感器芯片，其FPN只能通過圖像的后處理來校正。目前，現(xiàn)有的去除圖像中條紋噪聲的技術有很多，但這些技術都只適用于特定的圖像傳感器或數(shù)據(jù)類型，如紅外成像、高光譜成像/多光譜成像、中分辨率成像光譜儀等；而且這些技術只能處理水平或豎直單個方向上的條紋，無法有效消除TDI-CMOS圖像傳感器輸出圖像中交織在一起的橫條紋和豎條紋。

技術實現(xiàn)要素：

為克服現(xiàn)有技術的不足，本發(fā)明旨在基于TDI-CMOS圖像傳感器的工作原理，通過分析FPN來源、噪聲特點及其對成像質量的影響，提出TDI-CMOS圖像傳感器的噪聲模型，并根據(jù)該模型設計了一種基于改進矩匹配的FPN校正方法。本發(fā)明采用的技術方案是，基于矩匹配的TDI-CMOS圖像傳感器FPN校正方法，首先對原始圖像進行空間相關濾波，接著使用改進行矩匹配法進行RFPN校正，然后對RFPN校正后的圖像進行雙邊濾波，接著使用改進列矩匹配法進行CFPN校正；改進列矩匹配法進行CFPN校正具體是，

(1)對RFPN校正后的圖像進行雙邊濾波；

(2)計算并保存濾波后圖像每一列的均值μ_j；

(3)設置列矩匹配窗口參數(shù)w；

(4)根據(jù)式(17)計算μ_τ和σ_τ；

其中，μ_j是第j列像素均值，σ_j是第j列標準差，μ_τ是參考均值，σ_τ是參考標準差，N是圖像在跨軌方向上的尺寸，圖像校正通過矩匹配算法完成，對標準矩匹配算法進行改進，添加一個移動窗口，k是該窗口中心位置，w是窗口參數(shù)；

(5)將參考均值和標準差帶入到式(16)，校正相應列的CFPN；

(6)沿著列方向移動一個像素，重復步驟4-5，直到最后一列的CFPN被校正。

RFPN校正步驟具體是：

(1)對原始圖像進行空間相關濾波；

(2)計算并保存濾波后圖像每一行的μ_i和σ_i；

(3)設置行矩匹配窗口參數(shù)w；

(4)根據(jù)式(9)計算μ_τ和σ_τ；

其中，μ_i是第i行像素均值，σ_i是第i行標準差，μ_τ是參考均值，σ_τ是參考標準差，L是圖像在沿軌方向上的尺寸，圖像校正通過矩匹配算法完成，對標準矩匹配算法進行改進，添加一個移動窗口，k是該窗口中心位置，w是窗口參數(shù)；

(5)將參考均值和標準差帶入到式(8)，校正相應行的RFPN；

其中，Y_ij是校正后像素(i,j)的灰度值，X_ij是雙邊濾波后像素(i,j)的灰度值，μ_j是第j行像素均值，σ_j是第j行標準差，μ_τ是參考均值，σ_τ是參考標準差；

(6)沿著行方向移動一個像素，重復步驟4-5，直到最后一行的RFPN被校正。

空間相關濾波具體步驟是：

第一步，計算第i和i+1行像素的平均值，并分別把它們定義為U₁和U₂，與此同時，計算(i+T×n)和(i+1+T×n)行像素平均值，并把它們定義為U₁(n+1)和U₂(n+1)，其中，(i+T×n)和(i+1+T×n)不大于圖像的行數(shù)，n是正整數(shù)，如式(4)所示。

U₁(n)＝Ave_im(i+T×(n-1))i+T×(n-1)≤L

U₂(n)＝Ave_im(i+1+T×(n-1))i+1+T×(n-1)≤L (4)

Ave_im是一個自定義函數(shù)，用來求取像素的行均值，圖像中由同一積分器輸出的像素，被存儲在同一個向量中。

第二步，對兩個均值向量的差求均值，首先得到兩個向量中較小的長度，然后再求均值，如式(5)：

l＝min(U₁,U₂)

U＝mean(U₂(j)-U₁(j))1≤j≤l (5)

如果U的值大于閾值U_Th，那么i+T×(n-1)就是圖像中條紋的位置，條紋處的a(i)被估計得到，如式(6)所示。

i_jumps＝i+T×(n-1)i+T×(n-1)≤L

a(i_jumps)＝0.5×[Ave_im(i_jumps+1)-Ave_im(i_jumps)]+λ×U (6)

最后，得到的RFPN值會被加到圖像相對應的行像素中，經(jīng)過上述步驟，圖片中的水平條紋可以被檢測到并且a(i)被估計得到，需要重復上述步驟T次。另外，考慮到8-bit圖像的灰度值范圍是(0–255)，還需要對校正過程進行約束，如式(9)所示。

其中，y_new_r(i,j)是濾波后像素(i,j)的灰度值。

雙邊濾波具體步驟是：

(1)計算并保存RFPN校正后圖像每一列的均值μ_j；

(2)設置H_j算子窗口參數(shù)w_bf；

(3)根據(jù)式(13)計算H_j；

(4)將H_j帶入到式(12)，得到

其中，是X的估計值。算子的具體形式如下：

其中，w_bf是H_j算子窗口參數(shù)，下標bf代表雙邊濾波，以區(qū)別于矩匹配窗口參數(shù)，用于控制窗口大小，該算子包含兩個子函數(shù)α_j和β_j，其中，α_j對那些離窗口中心較近的列分配較高的權重，而對那些較遠的列分配較低的權重，遵循了空間相關性，β_j對那些與中心列均值數(shù)值相近的列分配較大的權重，而對那些均值相差較大的列分配較小的權重，避免了過渡平滑；

(5)沿著列方向移動一個像素，重復步驟3-4，直到計算出最后一行的

最后，得到b(j)，如式(14)所示：

另外，考慮到8-bit圖像的灰度值范圍是(0–255)，還需要對校正過程進行一些約束，如式(15)所示。

其中，y_new_c(i,j)是濾波后(i,j)的灰度值。

本發(fā)明的特點及有益效果是：

本發(fā)明依據(jù)TDI-CMOS圖像傳感器FPN產(chǎn)生原因，采用改進矩匹配方法，有效地消除了TDI-CMOS圖像傳感器特有的行FPN和列FPN。從人眼直觀看，如圖4所示，效果比較明顯。經(jīng)算法校正后，行、列均值標準差有了顯著的改善。

附圖說明：

圖1 TDI-CMOS圖像傳感器結構框圖；

圖2原始均勻光圖像；

圖3空間相關濾波矩匹配算法流程圖；

圖4實測圖像FPN校正前后視覺效果對比：(a)校正前、(b)校正后；

圖5圖4中圖像的行均值曲線對比；

圖6圖4中圖像的列均值曲線對比。

具體實施方式

假設FPN和隨機噪聲都是加性噪聲，而且兩者不相關。對于給定的已制造完成的TDI-CMOS圖像傳感器芯片，假設其FPN對應的灰度值在相同工作環(huán)境下是相等的。隨機噪聲服從均值為零的高斯分布。

如圖1所示，TDI-CMOS圖像傳感器的像素陣列大小是M×N，即M行N列。將行序號和列序號分別記為i和j。假設不同像素的光響應是不相關的，則輸出圖像中像素(i,j)的灰度值y(i,j)可以表示為式(1)。

y(i,j)＝x(i,j)-a(i)-b(j)+r(i,j)1≤i≤L,1≤j≤N (1)

其中，L是圖像在沿軌方向上的尺寸，x(i,j)是像素(i,j)的理想灰度值，a(i)是第i行像素對應的RFPN灰度值，b(j)是第j列像素對應CFPN灰度值，而r(i,j)是除FPN外的所有噪聲對應的灰度值。根據(jù)TDI工作原理，a(i)滿足式(2)。

a(i)＝a(i+T) (2)

T＝M+1 (3)

其中，M為TDI累加級數(shù)。

本發(fā)明提出的一種基于矩匹配的的FPN校正方法，首先對原始圖像進行空間相關濾波，接著使用改進行矩匹配法進行RFPN校正，然后對RFPN校正后的圖像進行雙邊濾波，接著使用改進列矩匹配法進行CFPN校正。

(一)RFPN校正

由于RFPN的存在，噪聲圖像的行均值曲線在邊界處產(chǎn)生跳邊。然而，理想圖像的行均值曲線是空間相關的、連續(xù)的。根據(jù)這個特征，水平條紋的位置可以通過統(tǒng)計的方式得到。

第一步，計算第i和i+1行像素的平均值，并分別把它們定義為U₁和U₂。與此同時，計算(i+T×n)和(i+1+T×n)行像素平均值，并把它們定義為U₁(n+1)和U₂(n+1)。其中，(i+T×n)和(i+1+T×n)不大于圖像的行數(shù)，n是正整數(shù)，如式(4)所示。

U₁(n)＝Ave_im(i+T×(n-1))i+T×(n-1)≤L

U₂(n)＝Ave_im(i+1+T×(n-1))i+1+T×(n-1)≤L (4)

Ave_im是一個自定義函數(shù)，用來求取像素的行均值。由于圖像行數(shù)與積分器之間的一一對應關系具有周期性，因此，圖像中由同一積分器輸出的像素，被存儲在同一個向量中。

第二步，對兩個均值向量的差求均值。在某些情況下，兩個向量的長度不相等。因此需要首先得到兩個向量中較小的長度，然后再求均值，如式(5)。

l＝min(U₁,U₂)

U＝mean(U₂(j)-U₁(j))1≤j≤l (5)

如果U的值大于閾值U_Th，那么i+T×(n-1)就是圖像中條紋的位置。條紋處的a(i)可以被估計得到，如式(6)所示。

i_jumps＝i+T×(n-1)i+T×(n-1)≤L

a(i_jumps)＝0.5×[Ave_im(i_jumps+1)-Ave_im(i_jumps)]+λ×U (6)

最后，得到的RFPN值會被加到圖像相對應的行像素中。經(jīng)過上述步驟，圖片中的水平條紋可以被檢測到并且a(i)可以被估計得到。但是新的條紋會出現(xiàn)在i-1+T×(n-1)位置。因此，需要重復上述步驟T次。另外，考慮到8-bit圖像的灰度值范圍是(0–255)，還需要對校正過程進行一些約束，如式(9)所示。

其中，y_new_r(i,j)是濾波后像素(i,j)的灰度值。以上過程叫做空間相關濾波。整個算法流程圖如圖3所示。

圖像校正可以通過行矩匹配算法完成，如式(8)所示。

其中，Y_ij是校正后像素(i,j)的灰度值，X_ij是空間相關濾波后像素(i,j)的灰度值，μ_i是第i行像素均值，σ_i是第i行標準差，μ_τ是參考均值，σ_τ是參考標準差。

對標準矩匹配算法進行改進，添加一個移動窗口，μ_τ和σ_τ如式(9)所示。其中，k是窗口中心位置，w是窗口參數(shù)。

具體實現(xiàn)步驟如下：

(1)計算并保存圖像y_new_r每一行的μ_i和σ_i；

(2)設置行矩匹配窗口參數(shù)w；

(3)根據(jù)式(9)計算μ_τ和σ_τ；

(4)將參考均值和標準差帶入到式(8)，校正相應行的RFPN；

(5)沿著行方向移動一個像素，重復步驟3-4，直到最后一行的RFPN被校正。

(二)CFPN校正

由于CFPN的存在，噪聲圖像的列均值曲線呈現(xiàn)無規(guī)則的波動，并且CFPN服從均值為零的高斯分布。因此，b(j)可以通過合適的濾波方法得到。

不考慮隨機噪聲，由式(1)可得，RFPN校正后的圖像灰度表示如下：

z(i,j)＝x(i,j)-b(j)1≤i≤L,1≤j≤N (10)

其中，z(i,j)是校正RFPN后像素(i,j)的灰度值。然后，圖像列均值可以表示為：

Z(j)＝X(j)-b(j) (11)

通過使用一個基于雙邊濾波結構的算子來估計理想圖像的列均值X(j)，其中，濾波使用移動窗口模式，start是窗口的起點列數(shù)，end是窗口終點列數(shù)。如式(12)所示。

其中，是X的估計值。算子的具體形式如下：

其中，w_bf是H_j算子窗口參數(shù)，下標bf代表雙邊濾波，以區(qū)別于矩匹配窗口參數(shù)，用于控制窗口大小。該算子包含兩個子函數(shù)α_j和β_j。其中，α_j對那些離窗口中心較近的列分配較高的權重，而對那些較遠的列分配較低的權重，遵循了空間相關性。β_j對那些與中心列均值數(shù)值相近的列分配較大的權重，而對那些均值相差較大的列分配較小的權重，避免了過渡平滑。

具體實現(xiàn)步驟如下：

(1)計算并保存RFPN校正后圖像每一列的均值μ_j；

(2)設置H_j算子窗口參數(shù)w_bf；

(3)根據(jù)式(13)計算H_j；

(4)將H_j帶入到式(12)，可以得到

(5)沿著列方向移動一個像素，重復步驟3-4，直到計算出最后一行的

最后，可以得到b(j)，如式(14)所示。

另外，考慮到8-bit圖像的灰度值范圍是(0–255)，還需要對校正過程進行一些約束，如式(15)所示。

其中，y_new_c(i,j)是濾波后(i,j)的灰度值。

以上過程稱為雙邊濾波。CFPN校正可以通過列矩匹配算法完成，如式(16)所示。

其中，Y_ij是校正后像素(i,j)的灰度值，X_ij是雙邊濾波后像素(i,j)的灰度值，μ_j是第j行像素均值，σ_j是第j行標準差，μ_τ是參考均值，σ_τ是參考標準差。

對標準矩匹配算法進行改進，添加一個移動窗口，μ_τ和σ_τ如式(17)所示。其中，k是窗口中心位置，w是窗口參數(shù)。

具體實現(xiàn)步驟如下：

(1)計算并保存圖像y_new_c每一列的μ_j和σ_j；

(2)設置窗口參數(shù)w；

(3)根據(jù)式(17)計算μ_τ和σ_τ；

(4)將參考均值和標準差帶入到式(16)，校正相應列的CFPN；

(5)沿著列方向移動一個像素，重復步驟3-4，直到最后一列的CFPN被校正。

首先基于128級模擬域累加TDI-CMOS圖像傳感器設計了一套成像系統(tǒng)，使用設計的成像系統(tǒng)采集圖像。然后設置參數(shù)，閾值U_th＝1，行矩匹配窗口參數(shù)w＝13，雙邊濾波窗口w_bf＝10,；列矩匹配行矩匹配窗口參數(shù)w＝3。

實驗結果表明，均勻光照下拍攝的圖像的行均值標準差從校正前的5.6761LSB減小到了校正后的0.1948LSB，其列均值標準差從校正前的15.2005LSB減小到了校正后的13.1949LSB。

從圖5也可以看出，原始行均值曲線波動很大，且存在周期性跳變(橢圓標記處)。使用提出的方法校正RFPN后，所有跳變完全消失，因此校正曲線比原始曲線光滑了許多。另外，從圖6可以看出，原始列均值曲線波動較大，使用提出方法校正CFPN后，曲線更加平滑。另外，校正曲線的形狀和走勢都與原始曲線一致，表明提出的方法在校正FPN的同時可以很好地保留原始圖像的細節(jié)信息。