專利名稱：一種新型邊緣自適應cfa彩色圖像插值方法
技術領域：
本申請涉及應用于數(shù)碼相機或數(shù)碼攝像機等便攜數(shù)碼成像設備的從經(jīng)過Bayer 型彩色濾波陣列采集的每個像素只有紅、綠、藍其中一種顏色分量的馬賽克彩色圖像原本的全彩色圖像的方法。
背景技術：
由于物理結構的限制，CXD和CMOS彩色圖像傳感器在一個像素上智能采集RGB顏色的一個分量，并且是通過使用彩色濾波陣列(Color FilterArray，或稱CFA)來實現(xiàn)的。 為了恢復出另外兩個顏色分量，必須使用插值的方法，通常稱這種插值為彩色插值(Color Interpolation)或者彩色去馬賽克(Color Demosaicing)處理。目前業(yè)界應用最為普遍的是Bayer型彩色濾波陣列。關于demosaicing算法的研究在過去二十年來一直是研究熱點，文獻中報道了大量有價值的算法，一般可分為兩類一類是插值在R、G、B三通道內獨立進行；另一類則是結合通道間的相關性進行插值。前者中典型方法有最近鄰法、雙線性法、雙立方法和基于樣條的插值方法，這種算法簡單，易于硬件實現(xiàn)，但用這些方法插值得到的圖像的質量并不理想，主要是圖像邊緣的失真比較明顯，包括邊緣模糊效應和顏色失真效應。后一類算法利用了各個顏色分量之間的相關性，在一定程度上提高了得到的插值圖像的質量。早期有基于色度比恒定的算法，它采用在圖像的小平滑區(qū)域內，色度(定義為 R/G，B/G, G^O)基本保持恒定的理論，實現(xiàn)時首先恢復綠色分量，然后利用色度恒定的原則對紅色和藍色通道進行插值。在此基礎上，發(fā)展出了基于色度差恒定的算法，它利用了在圖像的小平滑區(qū)域內色差(定義為R-G，B-G)基本保持恒定的理論。這兩種方法都比較簡單有效，但對邊界區(qū)域并不支持。為合理解決邊界插值問題，發(fā)展出了基于邊界的插值算法。為避免插值跨越邊界， 在恢復綠色分量時，首先計算方向算子來檢測邊界，從而選擇不同的插值方向。為進一步減小圖像邊緣的顏色失真，基于色度比恒定原則或色度差恒定原則，通過增加顏色校正過程進一步降低了邊緣的顏色失真。文獻提出了基于協(xié)方差特征的通用圖像插值算法，并將其應用于彩色插值領域， 其主要思想是用基于協(xié)方差特征的插值來代替線性插值，由于這種方法具有良好的邊緣自適應特性，從而獲得了比普通的基于色差空間的線性插值方法更好的效果，其缺點是計算量比較大。文獻提出了一種基于有理函數(shù)的通用圖像插值方法，并將其推廣到通用的彩色圖像插值領域。由于基于有理函數(shù)的插值算子是一種非線性算子，其本具有保持邊界和保持細節(jié)的特性，因而用這種方法可以獲得比普通的線性插值更好的效果。本申請綜合考慮以上各種算法的優(yōu)缺點，提出了一種新型邊緣自適應的CFA彩色圖像插值方法。申請內容
本申請的目的在于提供一種用于數(shù)碼相機或數(shù)碼攝像機等移動數(shù)碼成像設備的， 快速有效的從經(jīng)過Bayer型彩色濾波陣列采集的每個像素只有紅、綠、藍其中一種顏色分量的馬賽克彩色圖像出高質量的全彩色圖像的彩色插值方法。下面詳細介紹本申請的具體技術方案一種新型邊緣自適應CFA彩色圖像插值方法，該方法包括在紅色/藍色采樣點上恢復綠色分量；在紅色/藍色采樣點上恢復藍色/紅色分量；在綠色采樣點上恢復紅色/藍色分量；校正在紅色/藍色采樣點上恢復的綠色分量。其特征在于本申請所述方法在紅色/藍色采樣點上恢復綠色分量時，首先計算得到該采樣點在十二個不同方向上的梯度，然后根據(jù)計算結果判斷該采樣點是位于平滑區(qū)域還是邊緣區(qū)域，最終根據(jù)采樣點所處的不同區(qū)域采取不同的插值方案在色差空間(R-G or B-G)進行插值恢復綠色分量。本申請所述方法在上述步驟計算色差值時，綠色分量都是原始采樣點，而紅色/ 藍色分量遵循如下的規(guī)則如果參與計算的采樣點區(qū)域的紅色/藍色分量已經(jīng)通過插值恢復，則用恢復的分量參與色差計算；如果參與計算的采樣點區(qū)域的紅色/藍色分量尚未通過插值恢復，則通過最近兩個鄰域相同顏色分量線性插值恢復采樣點紅色/藍色分量，并參與色差計算。本申請所述方法在紅色/藍色采樣點上恢復藍色/紅色分量時，僅考慮待恢復分量四個最近相同顏色的采樣點，計算得到相應的方向上的梯度，并判斷該采樣點的區(qū)域，采取不同的插值方案在色差空間(R-G or B-G)進行插值恢復藍色/紅色分量。本申請所述方法在綠色采樣點上恢復紅色/藍色分量時，與在紅色/藍色采樣點上恢復綠色分量類似，考慮與待恢復分量十二個最近先同顏色的采樣點(包括原始采樣點以及插值恢復得到的采樣點)，計算不同方向的梯度，判斷采樣點的區(qū)域，并采取不同的插值方案在色差空間(R-G or B-G)插值恢復待恢復分量。本申請所述方法在校正紅色/藍色采樣點上恢復的綠色分量時，根據(jù)已經(jīng)通過插值恢復的紅色/藍色分量，在色差空間(R-G or B-G)上重新插值恢復綠色分量，從而得到經(jīng)過校正的綠色分量。本申請所述方法在實現(xiàn)時，由于考慮了平滑區(qū)域與邊緣區(qū)域的劃分，并針對不同的區(qū)域采取了不同的插值方案，對平滑區(qū)域的插值采用運算簡單的線性插值方案，對邊緣區(qū)域的插值采用可以保持邊緣細節(jié)的有理函數(shù)插值方案，從而可以通過增加有限的計算復雜度和資源需求，最大限度的提高插值恢復得到的全彩色圖像的質量。
以下結合附圖和具體實施方式
來進一步說明本申請。

圖1為典型的Bayer彩色濾波陣列模式。圖2為在紅色采樣點上恢復綠色分量的高分辨率邊緣方向示意圖。圖3為恢復全彩色圖像的插值區(qū)域示意圖。
圖4為在紅色采樣點上恢復綠色分量的流程示意圖。圖5為恢復全彩色圖像的流程示意圖。圖6為單元像素及Line Buffer的數(shù)據(jù)結構示意圖。
具體實施例方式下面將結合附圖進一步闡述本申請。如圖1所示為典型的Bayer彩色濾波陣列模式。絕大部分商用數(shù)碼相機、數(shù)碼攝像機通過覆蓋著一層彩色濾波陣列的單個CCD或CMOS圖像傳感器捕獲圖像，從而得到每個像素只有紅、綠、藍其中一種顏色分量的原始全彩色圖像的降采樣圖像，必須通過彩色插值來恢復每個像素上的其他兩種顏色分量來得到全彩色圖像。如圖1所示是目前應用最為廣泛的一種Bayer型彩色濾波陣列，本申請所述的方法主要針對經(jīng)過該彩色濾波陣列濾波得到的馬賽克圖像的恢復，但是經(jīng)過簡單的變化也可以應用于經(jīng)過其他模式的彩色濾波陣列濾波得到的馬賽克圖像的恢復，這種變化顯然應該在權利要求書的保護范圍內。單元像素的數(shù)據(jù)結構如圖6(a)所示，Line Buffer的數(shù)據(jù)結構如圖6(b)所示。單元像素的每個顏色分量均對應一個標志位flag :flag = 2’b00表示缺失相應的顏色分量； flag = 2’ b01表示已經(jīng)預插值恢復相應的顏色分量；flag = 2’ blO表示已經(jīng)最終插值恢復相應的顏色分量；flag = 2’bll表示相應的顏色分量為原始的采樣顏色分量。單元像素以行為單位緩存在Line Buffer中，Line Buffer的大小根據(jù)實際的應用而決定。如圖4所示為在紅色采樣點上恢復綠色分量的流程示意圖。從Line Buffer中讀取5X5的像素數(shù)據(jù)塊，如圖2所示。分別計算12個方向的梯度In (i，j) = Kn(abs (P (i+vn, j+hn) -P (i-vn, j_hn)) +abs (P (i+2vn, j+2hn) -P (i，j))) 其中p(i，j)表示位置(i，j)的原始采樣顏色的顏色值，11 和Vn的值如下表
權利要求
1.一種高分辨率邊緣方向梯度計算方法，其特征在于(1)在傳統(tǒng)的4方向梯度基礎上，增加了8個不同的方向梯度；(2)由于參與增加的8個方向梯度計算的采樣顏色點之間的距離比參與傳統(tǒng)的4個方向梯度計算的采樣顏色點之間的距離遠，所以計算得到的值需要乘上一個小于1的系數(shù)以抵消不同的距離帶來的影響。
2.一種新型邊緣自適應CFA彩色圖像插值方法，其特征在于包括以下步驟(1)采用5X5的窗口掃描待恢復的CFA馬賽克圖像；(2)根據(jù)權利要求1，在紅色/藍色采樣點上計算相應的高分辨率方向梯度，并在色差空間恢復綠色分量；(3)在紅色/藍色采樣點上計算相應的4方向梯度，并恢復藍色/紅色分量；(4)根據(jù)權利要求1，在綠色采樣點上計算相應的高分辨率方向梯度，并在色差空間恢復藍色/紅色分量；(5)根據(jù)權利要求1和已經(jīng)插值恢復的藍色/紅色分量，在紅色/藍色采樣點上計算相應的高分辨率方向梯度，并在色差空間校正綠色分量。
3.根據(jù)權利要求2所述的新型邊緣自適應CFA彩色圖像插值方法，其特征在于(1)步驟2、4、5計算色差值時，綠色分量都是原始采樣點，而紅色/藍色分量遵循如下的規(guī)則如果參與計算的采樣點區(qū)域的紅色/藍色分量已經(jīng)通過插值恢復，則用恢復的分量參與色差計算；如果參與計算的采樣點區(qū)域的紅色/藍色分量尚未通過插值恢復，則通過最近兩個鄰域相同顏色分量線性插值恢復采樣點紅色/藍色分量，并參與色差計算；(2)步驟2、4、5根據(jù)權利要求1計算12個方向梯度，并計算12個方向梯度的和值，如果和值大于某個閾值，則該點位于邊緣區(qū)域，根據(jù)12個方向梯度計算各個方向插值的權重值，采用有理函數(shù)插值恢復待恢復的顏色分量；否則該店位于平滑區(qū)域，采用雙線性插值或雙立方插值等線性插值方法恢復待恢復的顏色分量；(3)步驟3計算色差值時，紅色/藍色分量是原始采樣點，綠色分量是通過步驟2插值恢復的值；(4)步驟3計算4個方向的方向梯度，并根據(jù)不同的區(qū)域(邊緣區(qū)域或平滑區(qū)域)選擇不同的插值方法(有理函數(shù)插值或線性插值)插值恢復待恢復的顏色分量。
全文摘要
本申請公開了一種用于從Bayer型彩色濾波陣列濾波得到的馬賽克圖像恢復得到全彩色圖像的彩色圖像插值方法。所述方法可以分為在紅色/藍色采樣點恢復綠色分量、在紅色/藍色采樣點恢復藍色/紅色分量、在綠色采樣點恢復藍色/紅色分量和校正綠色分量四個主要步驟，其中第一個和最后一個步驟在硬件上可以采用相同的單元實現(xiàn)。在恢復遺失顏色分量的過程中，應用高分辨率的邊緣檢測算子，通過計算不同方向的梯度的和來判別待恢復顏色分量處于邊緣區(qū)域還是平滑區(qū)域，對于不同區(qū)域的待恢復顏色分量采取不同的插值策略對于邊緣區(qū)域采取能夠保持邊緣細節(jié)的有理函數(shù)插值，對于平滑區(qū)域選取計算結構簡單的線性插值。
文檔編號H04N9/04GK102170572SQ20101020680
公開日2011年8月31日 申請日期2010年6月22日 優(yōu)先權日2010年6月22日
發(fā)明者李興仁, 林錦麟, 石亞飛 申請人:上海盈方微電子有限公司