一種拜耳圖像聯(lián)合去噪插值方法
【專利摘要】本發(fā)明提供一種拜耳圖像聯(lián)合去噪插值方法，與現(xiàn)有的聯(lián)合去噪插值方法相比，本發(fā)明方法具有如下優(yōu)點：在一個局部小窗口內(nèi)進(jìn)行去噪和插值，不需要知道全局圖像的噪聲信息；去噪方法考慮到局部相關(guān)性，并同時進(jìn)行橫向和縱向和濾波，增加去噪性能。整體算法簡單，只涉及簡單的加減乘除運(yùn)算，且大部分乘除運(yùn)算能用以為操作代替，利于硬件實現(xiàn)，節(jié)省資源；算法性能良好。
【專利說明】一種拜耳圖像聯(lián)合去噪插值方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)碼相機(jī)靜態(tài)圖像處理的方法，尤其涉及一種在拜耳圖像上進(jìn)行聯(lián)合去噪插值處理，生成去噪后的RGB圖像的方法。
【背景技術(shù)】
[0002]為實現(xiàn)單片彩色圖像傳感器，人們引入彩色濾波器陣列CFA(Color FilterArray)，在黑白CMOS圖像傳感器的基礎(chǔ)上，增加彩色濾色結(jié)構(gòu)和彩色信息處理模塊就可以獲取彩色圖像。在CMOS圖像傳感器的像素上覆蓋這樣的彩色濾色器陣列，就可以獲得圖像的彩色信息，再經(jīng)過彩色信息處理，就可以獲得色彩逼真的彩色圖像。圖I表示了一個8*8色彩濾波器陣列，這是一個典型的棋盤式濾色器是Bayer濾色器。X，Y軸表示了每個感光器件的坐標(biāo)。B (藍(lán)色)，G (綠色）原色器件在奇數(shù)行交錯排列，G，R (紅色）原色器件在偶數(shù)行交錯排列。這種濾色器的每一行上只有兩種濾色單元：或者是G，R，或者是G，B。因此，整個濾色器上G光的采樣單元數(shù)目是R光或B光的兩倍。這種濾色器能很好地用在逐行掃描的方式實現(xiàn)逼真的彩色圖像效果。由上面的濾色器結(jié)構(gòu)可以知道，對某一個像素點，其只獲得了二基色中的某一個值，其余兩個值要從鄰近像素插值得到。插值的過程也稱為去馬賽克。
[0003]目前的插值方法有雙線性插值法、帶方向檢測的雙線性插值法、COk色比定律插值法、Hamilton-Adams 插值法、DLMMSE、LPA-ICI 等等。
[0004]一般從傳感器出來的拜耳圖像（Bayer圖像）數(shù)據(jù)會含有噪聲，其中加性高斯白噪聲是一種典型的代表，因此對圖像的去噪也是很重要的一步處理流程。一般先去噪再插值比先插值再去噪的性能要好，但是把去噪和插值當(dāng)成一步流程聯(lián)合起來做效果要比分開做好。
[0005]現(xiàn)有的拜耳圖像聯(lián)合去噪插值算法性能已經(jīng)很好，但是算法復(fù)雜度很高，不利于硬件實現(xiàn)，而且實現(xiàn)的硬件消耗會很大。本發(fā)明針對上述不足，提出一種新的拜耳圖像聯(lián)合去噪插值方法，該方法性能跟已有的算法相當(dāng)，復(fù)雜度大大降低，利于硬件實現(xiàn)，硬件開銷小。

【發(fā)明內(nèi)容】

[0006]本發(fā)明意在解決上述問題，即拜耳圖像聯(lián)合去噪插值算法復(fù)雜度很高，不利于硬件實現(xiàn)。本發(fā)明在現(xiàn)有的插值、去噪方法上加以改進(jìn)，提出一種新的拜耳圖像聯(lián)合去噪插值方法，該方法性能跟已有的算法相當(dāng)，復(fù)雜度大大降低，利于硬件實現(xiàn)，硬件開銷小。
[0007]為了達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案：
[0008]I)對G通道進(jìn)行插值。假設(shè)原始的拜耳圖像大小為M*N，而需要進(jìn)行插值的當(dāng)前點坐標(biāo)為（m, n),該點為B或者R。圖2所示為當(dāng)前點為B或者R的情況（BR表示一種顏色，要么全是B，要么全是R)；
[0009]G_v (m, n) = (I (m_l, n) +I (m+1, n) )/2+(2*1 (m, n) -I (m_2, n) -I (m+2, n)) /4 ；[0010]G_h (m, η) = (I (m, n_l) +I (m, n+1)) /2+ (2*1 (m, n) -I (m, n_2) -I (m, n+2)) /4 ；
[0011]其中I(m，n)表示原始的Bayer數(shù)據(jù),而G_v和G_h分別代表縱向插值圖像和橫向
插值圖像。
[0012]這樣由G_v和原始的G像素組成M*N的一個完整的縱向插值圖像。
[0013]同樣由G_h和原始的G像素組成M*N的一個完整的橫向插值圖像。
[0014]2)對于B和R的插值，由于像素點少所以并不能像G那樣得到完整的B或者R的插值完整平面，而是退一步形成B和R交織的圖像。需要進(jìn)行插值的當(dāng)前點坐標(biāo)為（m，n)，該點為G,如圖2所示。
[0015]插值過程和G完全一樣：
[0016]BR_v (m, η) = (I (m-1, η) +I (m+1, η))/2+(2*G_v (m, η) ~G_v (m-1, n) ~G_v (m+1, n)) /2;
[0017]BR_h (m, n) = (I (m, n_l) +I (m, n+1) )/2+ (2*G_h (m, n) -G_h (m, n_l) -G_h (m, n+1)) /2;
[0018]這樣BR_v得到的即為一列B和一列R的M*N的交織縱向插值圖像。
[0019]同樣BR_h得到的即為一行B和一行R的M*N的交織縱向插值圖像。
[0020]3)轉(zhuǎn)換G和BR域到Summation(總和)和Delta域(德耳塔域)。Summation即G+B或者G+R的和，Delta即G-B或者G-V的差。
[0021]summation_h=G_h+BR_h;
[0022]summation_v=G_v+BR_v;
[0023]deIta_h=G_h_BR_h;
[0024]deIta_v=G_v-BR_v;
[0025]Delta域數(shù)據(jù)的變化更加緩慢和平滑，所以得到的插值噪聲等等都相對更加小。另外，可以使得在接下來去噪步驟的時候可以同時使用到G和B或者R，這樣可以使得去噪的時候更夠更加精確。
[0026]4)米用 Epsilon_Filter(Epsilon 濾波器)進(jìn)行第一次去噪處理。Epsilon-Filter原理相對比較簡單，當(dāng)要處理的像素和鄰域(橫向相鄰5個像素）的像素點差值過大超過閾值，則判定為不相關(guān)，否則相關(guān)。在后期加權(quán)求和的時候這些不相關(guān)的點權(quán)值即為0，相關(guān)的點權(quán)值為所有相關(guān)點個數(shù)的倒數(shù)。其中Summation域的閾值為Tl，Delta域的權(quán)值為T2。去噪之后得至丨J相應(yīng)的 summation_denoise_h, summation_denoise_v 和 delta_denoise_h,deIta_denoise_v。
[0027]5)通過插值把BR的圖像插成2幅獨(dú)立的B和R的完整圖像。例如對R來說，由于BR圖像本身就是兩行R夾著一行B，反之亦然。所以對于中間的那行R值就可以采用上下兩行相加求平均得到?？紤]到在一行R中有一半的原始的raw data (未處理數(shù)據(jù))，而剩下的一半是第一步得到的插值數(shù)，所以采用如下方法得到更加準(zhǔn)確的值。即：
[0028]a.在一個點的左右兩點是raw data的時候采用其對角線最近的4個點加權(quán)平均。因為考慮到對角線4個都是第一步插值出來的，所以這四個本質(zhì)受到與之相鄰的6個點的影響，且中間兩點權(quán)值是邊界4點的2倍。
[0029]b.如果一個點的左右兩點是插值出來的則直接用左右兩點平均就好了，其本質(zhì)展開后相當(dāng)于四角的4個點加權(quán)平均。
[0030]6) 二次去噪。與第四步的第一次去噪完全一致，不同的是原本的對于橫向插值得到結(jié)果進(jìn)行橫向濾波而改為縱向濾波(縱向相鄰5個像素)，從而鈍化每行與每列的之間的跳變。
[0031]7)橫向圖案和縱向圖案合并，采用最簡單的兩者對應(yīng)的點求平均值。
[0032]與現(xiàn)有的聯(lián)合去噪插值方法相比，本發(fā)明方法具有如下優(yōu)點：在一個局部小窗口內(nèi)進(jìn)行去噪和插值，不需要知道全局圖像的噪聲信息；去噪方法考慮到局部相關(guān)性，并同時進(jìn)行橫向和縱向和濾波，增加去噪性能。整體算法簡單，只涉及簡單的加減乘除運(yùn)算，且大部分乘除運(yùn)算能用以為操作代替，利于硬件實現(xiàn)，節(jié)省資源；算法性能良好。
【專利附圖】

【附圖說明】
[0033]圖I是一個8*8的拜耳圖像色彩濾波器陣列。
[0034]圖2是當(dāng)前點坐標(biāo)為（m, n)且為B或者R (B、R表示一種顏色,要么全是B,要么全是R)時，周圍像素點的分布情況。
【具體實施方式】
[0035]為使本發(fā)明的內(nèi)容更加清楚易懂，以下結(jié)合說明書附圖，對本發(fā)明的內(nèi)容作進(jìn)一步說明。當(dāng)然本發(fā)明并不局限于該具體實施例，本領(lǐng)域內(nèi)的技術(shù)人員所熟知的一般替換也涵蓋在本發(fā)明的保護(hù)范圍內(nèi)。
[0036]下面對本發(fā)明的實施例作詳細(xì)的說明，本實施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實施例。
[0037]本實施例通過以下方式實現(xiàn)拜耳圖像聯(lián)合去噪和插值。
[0038](I)對如圖I所示的Bayer格式圖像進(jìn)行插值。拜耳圖像大小為M*N，而需要進(jìn)行插值的當(dāng)前點坐標(biāo)為（111，11)，該點為6，8或者1?。先對G顏色通道進(jìn)行插值，如圖2所示，當(dāng)前點為B或者R的情況（BR表示一種顏色,要么全是B,要么全是R)。
[0039]G_v (m, n) = (I (m_l, n) +I (m+1, n) )/2+(2*1 (m, n) -I (m_2, n) -I (m+2, n))/4;
[0040]G_h(m, n) = (I (m, n_l) +I (m, n+1))/2+ (2*1 (m, n)-I (m, n_2)-I (m, n+2))/4;
[0041]其中I (m, n)表示原始的Bayer數(shù)據(jù),而G_v和G_h分別代表縱向插值圖像和橫向插值圖像。
[0042]這樣由G_v和原始的G像素組成M*N的一個完整的縱向插值圖像。
[0043]同樣由G_h和原始的G像素組成M*N的一個完整的橫向插值圖像。
[0044]再對B和R顏色通道進(jìn)行插值，此時需要進(jìn)行插值的當(dāng)前點坐標(biāo)為（m，n)，該點為G，跟圖2類似。
[0045]插值過程和G完全一樣：
[0046]BR_v (m, n) = (I (m_l, n) +I (m+1, n)) /2+ (2*G_v (m, n) -G_v (m-1, n) -G_v (m+1, n)) /2;
[0047]BR_h (m, n) = (I (m, n_l) +I (m, n+1) )/2+ (2*G_h (m, n) -G_h (m, n_l) -G_h (m, n+1)) /2;
[0048]這樣BR_v得到的即為一列B和一列R的M*N的交織縱向插值圖像。
[0049]同樣BR_h得到的即為一行B和一行R的M*N的交織縱向插值圖像。
[0050](2)轉(zhuǎn)換 G 和 BR 域到 Summation 和 Delta 域。Summation 即 G+B 或者 G+R 的和，Delta即G-B或者G-V的差。轉(zhuǎn)換方法如下。
[0051]summation_h=G_h+BR_h;[0052]summation_v=G_v+BR_v;
[0053]deIta_h=G_h_BR_h;
[0054]deIta_v=G_v-BR_v;
[0055](3)采用Epsilon-Filter進(jìn)行第一次去噪處理。當(dāng)要處理的像素和鄰域(橫向相鄰5個像素）的像素點差值過大超過閾值，則判定為不相關(guān)，否則相關(guān)。在后期加權(quán)求和的時候這些不相關(guān)的點權(quán)值即為O,相關(guān)的點權(quán)值為所有相關(guān)點個數(shù)的倒數(shù)。其中Smnmation域的閾值為Tl, Delta域的權(quán)值為T2。去噪之后得到相應(yīng)的summation_denoise_h,summation_denoise_v 和 delta_denoise_h, delta_denoise_v。對應(yīng)的算法如下。
[0056]relevant=abs(summation_h(m, n-2:n+2)-summation_h (m, n))〈Tl;
[0057]summation_denoise_h (m, n) =sum (summation_h (m, n_2 : n+2) · ^relevant) /sum(relevant);
[0058]relevant=abs(delta_h(m, n_2:n+2)_delta_h(m, n))<T2;
[0059]delta_denoise_h(m, n)=sum(delta_h(m, n-2:n+2).氺relevant)/sum(relevant);
[0060]其中，abs表示絕對值運(yùn)算，sum表示求和運(yùn)算。
[0061](4)通過插值把BR的圖像插成2幅獨(dú)立的B和R的完整圖像。例如對R來說，由于BR圖像本身就是兩行R夾著一行B，反之亦然。所以對于中間的那行R值就可以采用上下兩行相加求平均得到?？紤]到在一行R中有一半的原始的raw data，而剩下的一半是第一步得到的插值數(shù)，所以采用如下方法得到更加準(zhǔn)確的值。即：
[0062]a.在一個點的左右兩點是rawdata的時候采用其對角線最近的4個點加權(quán)平均。因為考慮到對角線4個都是第一步插值出來的，所以這四個本質(zhì)受到與之相鄰的6個點的影響，且中間兩點權(quán)值是邊界4點的2倍。
[0063]b.如果一個點的左右兩點是插值出來的則直接用左右兩點平均就好了，其本質(zhì)展開后相當(dāng)于四角的4個點加權(quán)平均。
[0064]對應(yīng)的代算法如下。
[0065]對于奇數(shù)列奇數(shù)行的當(dāng)前點：
[0066]delta_R_v(m, n) = (delta_denoise_v(m, n_l)+deIta_denoise_v(m, n+1))/2;
[0067]對于奇數(shù)列偶數(shù)行的當(dāng)前點：
[0068]de 11 a_R_v (m, η) = (delta_denoise_v (m-1, η- I) + delta_denoise_V(m+1, n+1)+deIta_denoise_v(m+1, n_l)+deIta_denoise_v(m-1, n+1))/4;
[0069]其他的delta_R_h, delta_B_v, delta_B_h 都可以類似得到。
[0070](5) 二次去噪。與第一次去噪完全一致，不同的是原本的對于橫向插值得到結(jié)果進(jìn)行橫向濾波而改為縱向濾波(縱向相鄰5個像素)，從而鈍化每行與每列的之間的跳變。
[0071](6)橫向圖案和縱向圖案合并，相加求平均得到最終去噪和插值后的圖像。
[0072]雖然本發(fā)明已以較佳實施例揭露如上，然其并非用以限定本發(fā)明，任何所屬【技術(shù)領(lǐng)域】中具有通常知識者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書所界定者為準(zhǔn)。
【權(quán)利要求】
1.一種拜耳圖像聯(lián)合去噪插值方法，包括： 對G通道進(jìn)行插值： 設(shè)原始拜耳圖像大小為M*N，且需要進(jìn)行插值的當(dāng)前點坐標(biāo)為（m，η)，則 G_v (m, n) = (1 (m_l, η) +I (m+1, n) )/2+(2*1 (m, η) -I (m_2, η) -I (m+2, η) )/4,
G_h (m, η) = (1 (m, η_1)+Ι (m, η+1) )/2+(2*1 (m, η) -I (m, η-2) -I (m, η+2)) /4, 其中I (m，η)表示原始拜耳圖像的數(shù)據(jù)，G_v和G_h分別代表需要進(jìn)行插值縱向插值圖像和橫向插值圖像； 對B通道和R通道進(jìn)行插值：
BR_v (m, η) = (I (m-1, η) +I (m+1, η)) /2+ (2*G_v (m, η) -G_v (m-1, n) -G_v (m+1, n)) /2,
BR_h (m, n) = (I (m, n_l) +I (m, n+1) )/2+ (2*G_h (m, n) -G_h (m, n_l) -G_h (m, n+1)) /2 ； 轉(zhuǎn)換G通道和B通道、R通道到總和與德耳塔域，所述總和為G通道與B通道的和或者 G通道與R通道的和，所述德耳塔即G通道與B通道的差或者G通道與V通道的差： summation_h=G_h+BR_h, summation_v=G_v+BR_v, deIta_h=G_h_BR_h， deIta_v=G_v-BR_v, 所述su_ation_h為縱向總和，su_ation_v為橫向總和，delta_h為縱向德耳塔域，delta_v為橫向德耳塔域； 采用Epsilon濾波器進(jìn)行第一次去噪處理，當(dāng)要處理的像素和鄰域(橫向相鄰5個像素）的像素點差值過大超過閾值，則判定為不相關(guān)，否則相關(guān)，在后期加權(quán)求和的時候這些不相關(guān)的點權(quán)值即為0，相關(guān)的點權(quán)值為所有相關(guān)點個數(shù)的倒數(shù)； 通過插值把B通道、R通道的圖像插成兩幅獨(dú)立的B和R的完整圖像，對R通道，將中間行R通道的值采用其上下兩行相加求平均獲得，對于B通道，將中間行B通道的值采用其上下兩行相加求平均獲得； 采用Epsilon濾波器進(jìn)行第二次去噪處理； 將橫向圖案和縱向圖案合并，將所述橫向圖案和縱向圖案對應(yīng)的點求平均值。
2.如權(quán)利要求1所述的拜耳圖像聯(lián)合去噪插值方法，其特征在于，在通過插值把B通道、R通道的圖像插成兩幅獨(dú)立的B和R的完整圖像的步驟中包括： 在一個點的左右兩點是未處理數(shù)據(jù)的時候采用其對角線最近的4個點加權(quán)平均，因為考慮到對角線4個都是第一步插值出來的，所以這四個本質(zhì)受到與之相鄰的6個點的影響，且中間兩點權(quán)值是邊界4點的2倍； 如果一個點的左右兩點是插值出來的則直接用左右兩點平均就好了，其本質(zhì)展開后相當(dāng)于四角的4個點加權(quán)平均。
【文檔編號】H04N5/357GK103491280SQ201310463616
【公開日】2014年1月1日 申請日期:2013年9月30日 優(yōu)先權(quán)日:2013年9月30日
【發(fā)明者】金威, 應(yīng)碧丞, 賀光輝, 洪亮, 李琛, 趙宇航, 何衛(wèi)鋒 申請人:上海交通大學(xué), 上海集成電路研發(fā)中心有限公司