專利名稱：濾色陣列及其獲取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及彩色照相機技術(shù)領(lǐng)域，尤其涉及一種濾色陣列及其獲取方法。

背景技術(shù)：
為了減少成本、體積和顏色之間的配準誤差，靜止彩色圖像采集設(shè)備(如CCD靜止圖像數(shù)碼相機)中通常帶有顏色過濾單元鑲嵌在一起的濾色陣列(CFA，Color Filter Array)的單片傳感器，具體見圖1所示。在圖像的每一個象素點處，傳感器只采集到一種顏色的亮度，作為彩色圖像必須的三種顏色分量的其他分量則必須通過插值得到，這種圖像的插值過程為解鑲嵌(demosaicking)；CFA由一個小矩形的濾色陣列在橫縱方向經(jīng)周期重復(fù)得到，這個小陣列為CFA模式；CFA模式和解鑲嵌方法的設(shè)計和選擇對于彩色圖像的成像至關(guān)重要。
經(jīng)CFA濾色后，傳感器所采集到的圖像為灰度圖像(稱為CFA圖像)，對應(yīng)于CFA在各點的濾色性質(zhì)，每個象素的灰度值只是基礎(chǔ)顏色(如紅、綠、藍)中某一個分量的大小。重構(gòu)圖像必須對缺失的信息進行估計恢復(fù)，即解鑲嵌，而CFA的選擇對于圖像重構(gòu)的質(zhì)量和計算復(fù)雜度都有很大的影響。
現(xiàn)有技術(shù)對CFA的獲取方法都不是系統(tǒng)的設(shè)計，而只是依靠經(jīng)驗或圖像、光線、人眼的特征去提高CFA某一方面的性能。例如，最常用的Bayer CFA就是考慮了人類視覺系統(tǒng)對于亮度信息更加敏感，且亮度的大部分信息來自于綠色分量，因此設(shè)計了綠色采樣點數(shù)占總數(shù)1/2的Bayer CFA。
由于現(xiàn)有技術(shù)在CFA獲取方法方面存在的缺陷，使得經(jīng)現(xiàn)有CFA濾色后，經(jīng)現(xiàn)有解鑲嵌方法解鑲嵌得到的重構(gòu)圖像，存在重構(gòu)誤差較大的區(qū)域。


發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于提供一種濾色陣列及其獲取方法，以便能夠得到高質(zhì)量的重構(gòu)圖像。
相應(yīng)的，本發(fā)明還提出了一種解鑲嵌方法。
本發(fā)明實施例提出了一種濾色陣列，對經(jīng)該濾色陣列濾色得到的圖像做離散傅立葉變換，得到所述圖像對應(yīng)的二維頻譜，該頻譜在二維空間上周期重復(fù)，將所述二維頻譜的周期歸一化為(T，T)；在該頻譜的任意一個周期，包含一個亮度譜和至少兩個色差譜，將所述二維頻譜的一個周期中亮度譜中心的坐標定義為(x，y)，在所述二維頻譜的一個周期中包括亮度譜中心到每個色差譜中心的距離都不小于T/2；若所有色差譜的中心在一條直線上，則亮度譜中心到該直線的距離不等于T/2；至少有一個色差譜中心的坐標為非(x±T/2，y)或(x，y±T/2)或(x±T/2，y±T/2)。
本發(fā)明實施例提出了一種濾色陣列的獲取方法，包括步驟選定頻譜結(jié)構(gòu)，得到該頻譜結(jié)構(gòu)中包含三基色符號與系數(shù)參數(shù)的各非零復(fù)用分量的參數(shù)形式表示；求解所述系數(shù)參數(shù)的值，得到該頻譜結(jié)構(gòu)中包含三基色符號的各非零復(fù)用分量的非參數(shù)形式表示；對所述得到的各非零復(fù)用分量的非參數(shù)形式表示，做傅立葉反變換，得到包含三基色符號的濾色陣列模式的表示；選定所述濾色陣列模式的表示中三基色符號所代表的三基色，得到濾色陣列模式；將所述得到的濾色陣列模式周期延拓，得到濾色陣列。
本發(fā)明實施例提出了一種濾色陣列的獲取裝置，包括頻譜結(jié)構(gòu)選定單元，用于選定頻譜結(jié)構(gòu)，得到該頻譜結(jié)構(gòu)中包含三基色符號與系數(shù)參數(shù)的各非零復(fù)用分量的參數(shù)形式表示；參數(shù)求解單元，用于求解所述系數(shù)參數(shù)的值，得到該頻譜結(jié)構(gòu)中包含三基色符號的各非零復(fù)用分量的非參數(shù)形式表示；傅立葉反變換單元，用于對所述得到的各非零復(fù)用分量的非參數(shù)形式表示，做傅立葉反變換，得到包含三基色符號的濾色陣列模式的表示；基色選定單元，用于選定所述濾色陣列模式的表示中三基色符號所代表的三基色，得到濾色陣列模式；周期延拓單元，用于將所述得到的濾色陣列模式周期延拓，得到濾色陣列。
本發(fā)明實施例提出了一種解鑲嵌方法，包括步驟分析濾色陣列的頻譜結(jié)構(gòu)，得到經(jīng)所述濾色陣列濾色后圖像的各非零復(fù)用分量的系數(shù)及該各非零復(fù)用分量分別所處的調(diào)制頻率點；以及基于所述得到的各非零復(fù)用分量的系數(shù)，得到解鑲嵌變換；對經(jīng)所述濾色陣列濾色得到的圖像，在所述得到的各非零復(fù)用分量分別所處的調(diào)制頻率點進行濾波，得到所述的各非零復(fù)用分量；將所述得到的復(fù)用分量通過所述得到的解鑲嵌變換，進行解鑲嵌變換得到所述圖像中的三基色頻譜；對所述得到的三基色頻譜，做傅立葉反變換，得到估計的原始圖像。
本發(fā)明實施例提出了一種解鑲嵌裝置，包括頻譜結(jié)構(gòu)分析單元，用于分析濾色陣列的頻譜結(jié)構(gòu)，得到經(jīng)所述濾色陣列濾色后圖像的各非零復(fù)用分量的系數(shù)及該各非零復(fù)用分量分別所處的調(diào)制頻率點；解鑲嵌變換獲取單元，基于所述得到的各非零復(fù)用分量的系數(shù)，得到解鑲嵌變換；濾波單元，用于對經(jīng)所述濾色陣列濾色得到的圖像，在所述得到的各非零復(fù)用分量分別所處的調(diào)制頻率點進行濾波，得到所述的各非零復(fù)用分量；解鑲嵌變換單元，用于將所述得到的復(fù)用分量通過所述得到的解鑲嵌變換，進行解鑲嵌變換得到所述圖像中的三基色頻譜；傅立葉反變換單元，用于對所述得到的三基色頻譜，做傅立葉反變換，得到估計的原始圖像。
本發(fā)明實施例提出的濾色陣列，經(jīng)其濾色得到的CFA圖像所對應(yīng)的二維頻譜中，包含一個亮度譜和至少兩個色差譜，該頻譜在二維空間上周期重復(fù)，將所述二維頻譜的周期歸一化為(T，T)。則在所述二維頻譜的一個周期中，亮度譜中心到所有色差譜中心的距離不小于T/2；且如果所有色差譜中心在一條直線上，那么亮度譜中心到所述直線的距離不等于T/2；且有，將所述二維頻譜的一個周期中的亮度譜中心的坐標定義為(x，y)，則至少有一個色差譜的坐標為非(x±T/2，y)或(x，y±T/2)或(x±T/2，y±T/2)。CFA圖像對應(yīng)的二維頻譜，在一個周期中亮度譜和色差譜間符合這種規(guī)則的分布，減少了頻譜間的混疊，從而使得能夠得到高質(zhì)量的重構(gòu)圖像。
本發(fā)明實施例提出的濾色陣列獲取方法，從頻域的角度出發(fā)獲取CFA，CFA的獲取方法系統(tǒng)化，使用該方法設(shè)計得到的CFA，能夠得到高質(zhì)量的重構(gòu)圖像。
本發(fā)明實施例提出的解鑲嵌方法，基于研究得到的CFA圖像的頻譜結(jié)構(gòu)，從頻域的角度出發(fā)，能夠?qū)λ械腃FA進行頻域重構(gòu)方式的解鑲嵌，從而能夠得到高質(zhì)量的重構(gòu)圖像。



圖1為CCD靜止圖像數(shù)碼相機的成像過程示意圖； 圖2為本發(fā)明實施例提出的CFA圖像對應(yīng)的二維頻譜中有兩個色差譜時的頻譜結(jié)構(gòu)示意圖； 圖3為本發(fā)明實施例提出的CFA圖像對應(yīng)的二維頻譜中有三個色差譜時的頻譜結(jié)構(gòu)示意圖； 圖4為本發(fā)明實施例提出的CFA圖像對應(yīng)的二維頻譜中有四個色差譜時的頻譜結(jié)構(gòu)示意圖； 圖5為本發(fā)明實施例提出的CFA圖像對應(yīng)的二維頻譜中有五個色差譜時的頻譜結(jié)構(gòu)示意圖； 圖6為Bayer CFA圖像對應(yīng)的二維頻譜結(jié)構(gòu)示意圖； 圖7為本發(fā)明實施例提出的解鑲嵌方法的流程示意圖； 圖8為本發(fā)明實施例提出的由CFA圖像對應(yīng)的二維頻譜結(jié)構(gòu)得到對應(yīng)CFA的CFA獲取方法流程圖； 圖9為一個中心化頻譜周期中亮度譜與各色差譜的坐標表示示意圖； 圖10a為本發(fā)明實施例中由頻譜結(jié)構(gòu)獲取的一個4×4的CFA模式結(jié)構(gòu)圖； 圖10b為本發(fā)明實施例中由頻譜結(jié)構(gòu)獲取的另一個4×4的CFA模式結(jié)構(gòu)圖； 圖11a為基于本發(fā)明實施例提出的CFA獲取方法獲取的一個6×6的CFA模式的結(jié)構(gòu)圖； 圖11b為與圖10a中CFA模式等價的CFA模式的結(jié)構(gòu)圖； 圖12為本發(fā)明實施例提出的獲取CFA的裝置結(jié)構(gòu)示意圖； 圖13為本發(fā)明實施例提出的解鑲嵌裝置的結(jié)構(gòu)示意圖。

具體實施例方式 本發(fā)明實施例提出的濾色陣列是對經(jīng)所述CFA濾色得到的CFA圖像做傅立葉變換，得到對應(yīng)的二維頻譜，該頻譜中包含一個亮度譜和至少兩個色差譜，且該頻譜在二維空間上周期重復(fù)，將所述二維頻譜的周期歸一化為(1，1)；則在所述二維頻譜的一個周期中 亮度譜中心到每個色差譜中心的距離大于1/2；若所有色差譜的中心在一條直線上，則亮度譜中心到該直線的距離不等于1/2；且有，將亮度譜中心的坐標定義為(0，0)，則至少有一個色差譜的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
下面結(jié)合說明書附圖來說明本發(fā)明的具體實施方式
。
參閱圖2所示，將CFA圖像對應(yīng)二維頻譜的周期歸一化為(1，1)，在此二維頻譜的一個周期中有且只有兩個色差譜，并將此二維頻譜的一個周期中亮度譜中心的坐標定義為(0，0)，在所述一個周期中，需要滿足亮度譜中心到每一個色差譜中心的距離d1，d2都不小于1/2；兩個色差譜中心可以連接成一條直線，亮度譜中心到此直線的距離d必須不等于1/2；且需要至少有一個色差譜中心的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
參閱圖3所示，將CFA圖像對應(yīng)二維頻譜的周期歸一化為(1，1)，在此二維頻譜的一個周期中有且只有三個色差譜，并將此二維頻譜的一個周期中亮度譜中心的坐標定義為(0，0)，在所述一個周期中，需要滿足亮度譜中心到每一個色差譜中心的距離d1，d2，d3都不小于1/2；三個色差譜中心可以連接成一條直線，亮度譜中心到此直線的距離d必須不等于1/2；且需要至少有一個色差譜中心的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
參閱圖4所示，將CFA圖像對應(yīng)二維頻譜的周期歸一化為(1，1)，在此二維頻譜的一個周期中有且只有四個色差譜，并將此二維頻譜的一個周期中亮度譜中心的坐標定義為(0，0)，在所述一個周期中，需要滿足亮度譜到每一個色差譜的距離d1，d2，d3，d4都不小于1/2；四個色差譜中心如果可以連接成一條直線，也需要滿足亮度譜中心到此直線的距離不等于1/2；且需要至少有一個色差譜中心的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
參閱圖5所示，將CFA圖像對應(yīng)二維頻譜的周期歸一化為(1，1)，在此二維頻譜的一個周期中有且只有五個色差譜，并將此二維頻譜的一個周期中亮度譜中心的坐標定義為(0，0)，在所述一個周期中，需要滿足亮度譜到每一個色差譜的距離d1，d2，d3，d4，d5都不小于1/2；五個色差譜中心如果可以連接成一條直線，也需要滿足亮度譜中心到此直線的距離不等于1/2；且需要至少有一個色差譜中心的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
依次類推，將CFA圖像對應(yīng)二維頻譜的周期歸一化為(1，1)，若在此二維頻譜的一個周期中色差譜的個數(shù)大于五個時，將此二維頻譜的一個周期中亮度譜中心的坐標定義為(0，0)，那么，在所述一個周期中，也需要滿足亮度譜到每一個色差譜的距離都要大于或等于1/2，且所有色差譜中心如果可以連接成一條直線，也需要滿足亮度譜中心到此直線的距離不等于1/2；且需要有至少有一個色差譜中心的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
相應(yīng)的本發(fā)明實施例還提出了獲取CFA的技術(shù)方案即從頻域的角度出發(fā)來獲取CFA。
下面結(jié)合說明書附圖來說明該技術(shù)方案的具體實施方式
。
為了用系統(tǒng)的方法來獲取CFA，需要首先對CFA圖像進行合理的表示。
本申請的發(fā)明人在研究過程中發(fā)現(xiàn)，可以證明，在頻域上，經(jīng)由大小為(nx，ny)的CFA模式周期延拓得到CFA后，經(jīng)該CFA濾色得到的CFA圖像包含nx×ny個由原始圖像基色分量加權(quán)得到的頻率分量(稱為復(fù)用分量)，分別調(diào)制在頻率(kx/nx，ky/ny)，kx＝0，1，...nx-1；ky＝0，1，...ny-1上，構(gòu)成一種頻分復(fù)用。且在基帶(頻率為(0，0))復(fù)用分量的系數(shù)之和為1；在除了基帶的其他任何頻率，其系數(shù)之和都為0。在基帶的復(fù)用分量被稱為亮度分量，位于高頻的其他分量被稱為色差分量。
以下給出證明 設(shè)原始彩色圖像f(x，y)及其相應(yīng)的CFA陣列hCFA(x，y)均為(Nx，Ny)的矩陣，其中hCFA(x，y)由大小為(nx，ny)的CFA模式hp(x，y)周期延拓而成。經(jīng)CFA濾色后的圖像(即CFA圖像)fCFA(x，y)，由矩陣f(x，y)和hCFA(x，y)對應(yīng)點的乘積得到。對應(yīng)于三基色原理，可以將圖像f(x，y)和CFA陣列hCFA(x，y)分解為三個基色分量，即其中，c＝三基色(如r，g，b)。
相應(yīng)的，可以得到各基色的CFA模式hp(c)(x，y)，使得 首先，我們將推導(dǎo)出在頻域上的表示，然后將三個基色分量求和就能夠得到fCFA(x，y)的頻域表示。
設(shè)hp(c)的離散傅里葉變換(DFT)為Hp(c)(ωx，ωy)，經(jīng)推導(dǎo)不難得到
由卷積定理，時域的相乘對應(yīng)于頻域的圓周卷積(*)，可得 此式說明，在頻域上，經(jīng)CFA濾色后的圖像Fh(c)(ωx，ωy)包含nxny個加權(quán)的原始圖像，分別調(diào)制在頻率

kx＝0，...nx-1；ky＝0，...ny-1.上。這構(gòu)成一種頻分復(fù)用。
然后，根據(jù)DFT的線性性質(zhì)，可得到CFA圖像的頻域表示 此式表明CFA圖像包含nxny個分別調(diào)制在頻率

kx＝0，...nx-1；ky＝0，...ny-1上的由基色圖像加權(quán)所構(gòu)成的分量(稱為復(fù)用分量) 此外，為了使得CFA圖像的動態(tài)范圍一致(如0～255)，hp(c)(x，y)的系數(shù)必須滿足x，y. 在頻域上，此式等價于即在基帶(kx＝ky＝0)的復(fù)用分量的系數(shù)之和為1；在除了基帶的其他任何頻率，其系數(shù)之和都為0。因此在基帶的復(fù)用分量被稱為亮度分量，位于高頻的其他分量被稱為色差分量。
方便起見，我們可以引入一個矩陣SCFA(稱為CFA的頻譜結(jié)構(gòu))，以記錄CFA圖像各復(fù)用分量在頻域上頻分復(fù)用的所有信息。此矩陣的第(kx，ky)元素即為調(diào)制于(

)的復(fù)用分量，即 另一方面，包含三基色符號的CFA模式hp為 可以證明，若將原始圖像f(c)和其DFTF(c)分別用參數(shù)化的變量符號c和C表示，則有SCFA＝DFT[hp]，即CFA的頻譜結(jié)構(gòu)即為符號化的CFA模式的DFT。
下面給出證明 對hp做DFT，可得 故DFT[hp]的第(kx，ky)個元素為考慮到此式中C代表經(jīng)DFT變換的原圖像的c分量，即C＝F(c)，可知DFT[hp]的第(kx，ky)個元素就是SCFA的第(kx，ky)個元素，也即SCFA＝DFT[hp]成立。
例如對于Bayer CFA，若將三基色紅、綠、藍分別表示為r，g和b，三基色經(jīng)DFT后的符號表示為R，G和B。則Bayer CFA的頻譜結(jié)構(gòu)為 頻譜結(jié)構(gòu)SBayer表明，Bayer CFA圖像包含四個復(fù)用分量，若將頻譜的周期歸一化為(1，1)，并將亮度譜中心的坐標定義為(0，0)，則Bayer CFA圖像包含的四個復(fù)用分量具體為基帶的亮度分量(R+2G+B)/4，調(diào)制頻率分別為(0.5，0)，(0，0.5)，(0.5，0.5)的色差分量-(R-B)/b，(R-B)/4，-(R-2G+B)/4。Bayer CFA的頻譜結(jié)構(gòu)示意圖如圖6所示。
基于CFA的頻譜結(jié)構(gòu)，能夠?qū)FA的性質(zhì)進行理論分析，即分析經(jīng)CFA濾色后的圖像的各復(fù)用分量在頻域上的混疊情況。例如，對于Bayer CFA，由頻譜結(jié)構(gòu)SBayer(或圖6)可以看出，從圖中可以看到，在頻率(0.5，0)，(0，0.5)，(0.5，0.5)附近，混疊比較嚴重。其中最為嚴重的混疊出現(xiàn)在頻率(0.5，0)，(0，0.5)周圍，這是因為此兩處色差分量-(R-B)/4，(R-B)/4與基帶的亮度分量(R+2G+B)/4的距離比較近，而且這些頻譜的軸上存在著嚴重的混疊?；陬l譜結(jié)構(gòu)的CFA分析，能夠指導(dǎo)我們進行CFA的獲取，如盡量減少各復(fù)用分量之間的混疊。
基于CFA的頻譜結(jié)構(gòu)，還能夠得到一種在頻域上由CFA圖像恢復(fù)原來的圖像的解鑲嵌方法。例如，由基于所述得到的Bayer CFA的頻譜結(jié)構(gòu)SBayer，可知恢復(fù)原來圖像三基色信息的最直接方法，就是基于先通過頻域濾波得到各頻分復(fù)用分量(R+2G+B)/4，-(R-2G+B)/4，和-(R-B)/4(或者(R-B)/4)，然后借助解鑲嵌變換(此處選用線性變換矩陣)即可 此線性變換為一種解鑲嵌變換，通過對各復(fù)用分量進行解鑲嵌變換將得到原圖像的各基色分量。
基于上述，得到了CFA圖像頻譜結(jié)構(gòu)的表示，并且可以利用此表示在頻域上分析CFA圖像的性質(zhì)，頻分復(fù)用分量之間的混疊程度直接影響到重構(gòu)圖像的性質(zhì)和質(zhì)量。
同時，基于得到的CFA圖像頻譜結(jié)構(gòu)的表示，本發(fā)明實施例提出了一種解鑲嵌的方法，此方法對任意矩形的CFA適用，其具體流程參見圖7所示。
步驟71分析濾色陣列的頻譜結(jié)構(gòu)，得到經(jīng)所述濾色陣列濾色后圖像的各非零復(fù)用分量的系數(shù)及該各非零復(fù)用分量分別所處的調(diào)制頻率點。
步驟72基于所述得到的各非零復(fù)用分量的系數(shù)，得到解鑲嵌變換。
步驟73對經(jīng)所述濾色陣列濾色得到的圖像，在所述得到的各非零復(fù)用分量分別所處的調(diào)制頻率點進行帶通濾波，得到所述的各非零復(fù)用分量； 步驟74將所述得到的各復(fù)用分量通過所述得到的解鑲嵌變換，進行解鑲嵌變換得到所述圖像中三基色的頻譜； 步驟75對所述得到的三基色的頻譜，做傅立葉反變換，即可得到估計的原始圖像。
基于CFA的頻譜結(jié)構(gòu)，本發(fā)明實施例還提出了一種利用上述CFA圖像頻譜結(jié)構(gòu)表示方法，進行系統(tǒng)的CFA獲取的方法。
CFA獲取的步驟如圖8所示，首先選定頻譜結(jié)構(gòu)，頻譜結(jié)構(gòu)設(shè)計的任務(wù)是，確定頻譜空間中恒為零的復(fù)用分量和各非零的復(fù)用分量所處的調(diào)制頻率，以減少復(fù)用分量之間的干擾；然后優(yōu)化參數(shù)，優(yōu)化設(shè)計的任務(wù)是，在給定頻譜結(jié)構(gòu)的前提下，即給定非零復(fù)用分量的調(diào)制頻率或者位置后，確定各分量的系數(shù)，使得解鑲嵌變換矩陣T更穩(wěn)定和魯棒，具體實施時選取的優(yōu)化目標函數(shù)可以為衡量矩陣T的穩(wěn)定和魯棒性的一個函數(shù)，例如可以采用T的各種范數(shù)，優(yōu)化的限制條件是滿足硬件可實現(xiàn)條件(例如顏色系數(shù)非負等)，使得CFA各采樣點有相同的動態(tài)范圍和能夠滿足所選的頻譜結(jié)構(gòu)；最后進行傅立葉反變換并選定三基色，可得到CFA模式的結(jié)構(gòu)，CFA模式經(jīng)周期延拓即可得到CFA的結(jié)構(gòu)。
需要說明的是，交換三基色的位置或者選擇任意其他的三基色，可以得到新的CFA模式。
下面給出一個4×4的CFA模式獲取的例子。
步驟801選定頻譜結(jié)構(gòu)的形式； 選定頻譜結(jié)構(gòu)如圖5所示，即CFA圖像對應(yīng)的二維頻譜的周期為(1，1)，在該二維頻譜的一個周期中包含一個亮度分量和五個色差分量，亮度譜中心的坐標為(0，0)，滿足亮度譜中心到每一個色差譜中心的距離d1，d2，d3，d4，d5都不小于1/2；色差譜中心如果可以連接成一條直線，也滿足亮度譜中心到此直線的距離不等于1/2；且有至少一個色差譜中心的坐標為非(±1/2，0)或(0，±1/2)或(±1/2，±1/2)。
基于上述條件，假設(shè)圖中有分別調(diào)制于頻率(1/2，1/4)，(1/2，-1/4)，(1/4，1/2)和(1/4，-1/2)上的四個色差分量，且這四個色差分量相同；另一個色差分量的頻率為(1/2，1/2)，相應(yīng)的坐標表示見圖9所示，圖中以左上角中心化的周期為例給出亮度譜與各色差譜中心的坐標。據(jù)此確定頻譜空間中恒為零的復(fù)用分量和各非零的復(fù)用分量所處的調(diào)制頻率，得到包含三基色符號及系數(shù)參數(shù)的復(fù)用分量的參數(shù)形式表示為 (式1) 其中α，β，γ為待定系數(shù)參數(shù)，c1，c2，c3為三基色的符號表示。
步驟802求解復(fù)用分量中的系數(shù)參數(shù)。采用通過求解約束條件下的最優(yōu)化問題，來得到復(fù)用分量中的系數(shù)參數(shù)的方法。
(1)首先確定需要滿足的約束條件。
對Hp(c)求傅立葉反變換(IDFT)，得到 其需要滿足的條件為 其中表示它為非負矩陣，14×4表示一個元素全為1的4×4矩陣。
(2)確定最優(yōu)化問題的目標函數(shù)。
由(式1)可知，非零復(fù)用分量有一個位于基帶(0，0)的亮度分量FLα(c1)C1+α(c2)C2+α(c3)C3；一個調(diào)制于頻率(1/2，1/2)的色差分量Fcaβ(c1)C1+β(c2)C2+β(c3)C3；和四個分別調(diào)制于頻率(1/2，1/4)，(1/2，-1/4)，(1/4，1/2)和(1/4，-1/2)的色差分量Fcbγ(c1)C1+γ(c2)C2+γ(c2)C3。故從分量FL，F(xiàn)ca，F(xiàn)cb中恢復(fù)基礎(chǔ)顏色分量C1，C2，C3的解鑲嵌變換矩陣為 為了減少因解鑲嵌變換帶來的誤差，使得解鑲嵌變換矩陣T更穩(wěn)定和魯棒，可以定義優(yōu)化問題目標函數(shù)為Min‖T‖2 (3)最優(yōu)化問題求解 即在(1)中所給的約束條件下求解(2)中選定的最優(yōu)化問題Min‖T‖2，具體求解方法較多，例如可以采用全局搜索法，此處不再贅述，經(jīng)最優(yōu)化求解可以得到解鑲嵌變換矩陣T中各參數(shù)的解 即得到包含三基色符號的各復(fù)用分量的非參數(shù)形式表示為 步驟803對頻譜結(jié)構(gòu)S求IDFT得到包含三基色的CFA模式的表示 步驟804選定三基色[C1，C2，C3]，即可得到所需CFA模式 若基色選擇為[r，g，b]時，得到其CFA模式的結(jié)構(gòu)如圖10a所示； 若基色選擇為時[b，g，r]，得到其CFA模式的結(jié)構(gòu)如圖10b所示； 若基色選擇為時[c，m，y]，得到 其中，r，g，b，c，m，y分別代表紅，綠，藍，青，紫，黃。
步驟805將所述得到的濾色陣列模式周期延拓，即可獲取濾色陣列。
使用以上的CFA獲取方法，這里再給出獲取的一個6×6的CFA模式，其CFA模式結(jié)構(gòu)見圖11a所示，其CFA頻譜結(jié)構(gòu)為 特別值得一提的是，基于本發(fā)明實施例提出的獲取濾色陣列的方法，每獲取一種CFA，如果將獲取過程中所選用的三基色的位置交換，或者任意選用其他的三基色來代替，就可以保持在頻譜結(jié)構(gòu)形式不變的前提下，得到新的CFA，這些CFA有著不同的濾色特性，并對圖像重構(gòu)有不同的影響。
另外，由于上述6×6的CFA模式的列包含三個周期，所以此CFA模式等價于圖11b所示的6×2的CFA模式，兩者所構(gòu)成的CFA完全相同，因為CFA是由其對應(yīng)的CFA模式周期重復(fù)而成。
本發(fā)明實施例提出的濾色陣列獲取方法，基于研究得到的CFA圖像頻譜結(jié)構(gòu)的表示，從頻域的角度出發(fā)設(shè)計CFA，使得CFA的設(shè)計方法系統(tǒng)化，并能得到滿足所需特性的CFA陣列。
需要說明的是，本發(fā)明實施例提出的濾色陣列以及采用本發(fā)明實施例提出的濾色陣列獲取方法獲取的濾色陣列可以但不限于為矩形陣列，且不限于用在彩色照相機中，在視頻攝像機中也可被廣泛應(yīng)用。
上述獲取得到的CFA經(jīng)試驗證明，其性能都明顯好于目前最廣泛使用的Bayer CFA，經(jīng)獲取得到的CFA濾色后的重構(gòu)圖像質(zhì)量較高。
根據(jù)本發(fā)明技術(shù)方案的實施例，本發(fā)明這里提供了實施該技術(shù)方案的一種由CFA圖像對應(yīng)的二維頻譜來設(shè)計得到CFA的裝置，如圖12所示，該裝置包括 頻譜結(jié)構(gòu)選定單元121，用于選定頻譜結(jié)構(gòu)，得到該頻譜結(jié)構(gòu)中包含三基色符號與系數(shù)參數(shù)的各非零頻分復(fù)用分量的參數(shù)形式表示；參數(shù)求解單元122，用于求解頻譜結(jié)構(gòu)選定單元121得到的系數(shù)參數(shù)的值，得到該頻譜結(jié)構(gòu)中包含三基色符號的各非零頻分復(fù)用分量的非參數(shù)形式表示；傅立葉反變換單元123，用于對參數(shù)求解單元122得到的各頻分復(fù)用分量的非參數(shù)形式表示，做傅立葉反變換，得到包含三基色符號的濾色陣列模式的表示；基色選定單元124，用于選定傅立葉反變換單元123得到的濾色陣列模式的表示中三基色符號所代表的三基色，得到濾色陣列模式；周期延拓單元125，用于將基色選定單元124得到的濾色陣列模式周期延拓，得到濾色陣列。
根據(jù)本發(fā)明技術(shù)方案的實施例，本發(fā)明這里提供了實施該技術(shù)方案的一種解鑲嵌的裝置，如圖13所示，該裝置包括 頻譜結(jié)構(gòu)分析單元131，用于分析濾色陣列的頻譜結(jié)構(gòu)，得到經(jīng)所述濾色陣列濾色后圖像的各非零復(fù)用分量的系數(shù)及該各非零復(fù)用分量分別所處的調(diào)制頻率點；解鑲嵌變換獲取單元132，基于頻譜結(jié)構(gòu)分析單元131分析得到的各非零復(fù)用分量的系數(shù)，得到解鑲嵌變換；濾波單元133，用于對經(jīng)所述濾色陣列濾色得到的圖像，在頻譜結(jié)構(gòu)分析單元131得到的各非零復(fù)用分量分別所處的調(diào)制頻率點處進行濾波，得到所述的各非零復(fù)用分量；解鑲嵌變換單元134，用于將濾波單元133得到的復(fù)用分量通過解鑲嵌變換獲取單元132得到的解鑲嵌變換，進行解鑲嵌變換得到所述圖像中的三基色頻譜；傅立葉反變換單元135，用于對解鑲嵌變換單元134得到的三基色頻譜，做傅立葉反變換，得到估計的原始圖像。
上述裝置中所提到的各個功能單元可以基于軟件編程來實現(xiàn)，也可以基于改造現(xiàn)有的硬件設(shè)備來實現(xiàn)。
顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1.一種濾色陣列，對經(jīng)該濾色陣列濾色得到的圖像做離散傅立葉變換，得到所述圖像對應(yīng)的二維頻譜，該頻譜在二維空間上周期重復(fù)，將所述二維頻譜的周期歸一化為(T，T)；在該頻譜的任意一個周期，包含一個亮度譜和至少兩個色差譜，將所述二維頻譜的一個周期中亮度譜中心的坐標定義為(x，y)，其特征在于，在所述二維頻譜的一個周期中包括
亮度譜中心到每個色差譜中心的距離都不小于T/2；
若所有色差譜的中心在一條直線上，則亮度譜中心到該直線的距離不等于T/2；
至少有一個色差譜中心的坐標為非(x±T/2，y)或(x，y±T/2)或(x±T/2，y±T/2)。
2.一種濾色陣列的獲取方法，其特征在于，包括步驟
選定頻譜結(jié)構(gòu)，得到該頻譜結(jié)構(gòu)中包含三基色符號與系數(shù)參數(shù)的各非零復(fù)用分量的參數(shù)形式表示；
求解所述系數(shù)參數(shù)的值，得到該頻譜結(jié)構(gòu)中包含三基色符號的各非零復(fù)用分量的非參數(shù)形式表示；
對所述得到的各非零復(fù)用分量的非參數(shù)形式表示，做傅立葉反變換，得到包含三基色符號的濾色陣列模式的表示；
選定所述濾色陣列模式的表示中三基色符號所代表的三基色，得到濾色陣列模式；
將所述得到的濾色陣列模式周期延拓，得到濾色陣列。
3.一種濾色陣列的獲取裝置，其特征在于，包括
頻譜結(jié)構(gòu)選定單元，用于選定頻譜結(jié)構(gòu)，得到該頻譜結(jié)構(gòu)中包含三基色符號與系數(shù)參數(shù)的各非零復(fù)用分量的參數(shù)形式表示；
參數(shù)求解單元，用于求解所述系數(shù)參數(shù)的值，得到該頻譜結(jié)構(gòu)中包含三基色符號的各非零復(fù)用分量的非參數(shù)形式表示；
傅立葉反變換單元，用于對所述得到的各非零復(fù)用分量的非參數(shù)形式表示，做傅立葉反變換，得到包含三基色符號的濾色陣列模式的表示；
基色選定單元，用于選定所述濾色陣列模式的表示中三基色符號所代表的三基色，得到濾色陣列模式；
周期延拓單元，用于將所述得到的濾色陣列模式周期延拓，得到濾色陣列。
4.一種解鑲嵌方法，其特征在于，包括步驟
分析濾色陣列的頻譜結(jié)構(gòu)，得到經(jīng)所述濾色陣列濾色后圖像的各非零復(fù)用分量的系數(shù)及該各非零復(fù)用分量分別所處的調(diào)制頻率點；以及
基于所述得到的各非零復(fù)用分量的系數(shù)，得到解鑲嵌變換；
對經(jīng)所述濾色陣列濾色得到的圖像，在所述得到的各非零復(fù)用分量分別所處的調(diào)制頻率點進行濾波，得到所述的各非零復(fù)用分量；
將所述得到的復(fù)用分量通過所述得到的解鑲嵌變換，進行解鑲嵌變換得到所述圖像中的三基色頻譜；
對所述得到的三基色頻譜，做傅立葉反變換，得到估計的原始圖像。
5.一種解鑲嵌裝置，其特征在于，包括
頻譜結(jié)構(gòu)分析單元，用于分析濾色陣列的頻譜結(jié)構(gòu)，得到經(jīng)所述濾色陣列濾色后圖像的各非零復(fù)用分量的系數(shù)及該各非零復(fù)用分量分別所處的調(diào)制頻率點；
解鑲嵌變換獲取單元，基于所述得到的各非零復(fù)用分量的系數(shù)，得到解鑲嵌變換；
濾波單元，用于對經(jīng)所述濾色陣列濾色得到的圖像，在所述得到的各非零復(fù)用分量分別所處的調(diào)制頻率點進行濾波，得到所述的各非零復(fù)用分量；
解鑲嵌變換單元，用于將所述得到的復(fù)用分量通過所述得到的解鑲嵌變換，進行解鑲嵌變換得到所述圖像中的三基色頻譜；
傅立葉反變換單元，用于對所述得到的三基色頻譜，做傅立葉反變換，得到估計的原始圖像。
全文摘要
本發(fā)明公開了一種濾色陣列，對經(jīng)該濾色陣列CFA濾色得到的圖像做DFT，得到其二維頻譜，該頻譜在二維空間上周期重復(fù)，將其周期歸一化為(T，T)；在該頻譜的任意一個周期，包含一個亮度譜和至少兩個色差譜，其中亮度譜中心到每個色差譜中心的距離都不小于T/2；若所有色差譜的中心在一條直線上，則亮度譜中心到該直線的距離不等于T/2；若該周期中亮度譜中心的坐標為(x，y)，則在該周期中有至少一個色差譜中心的坐標為非(x±T/2，y)或(x，y±T/2)或(x±T/2，y±T/2)。相應(yīng)的本發(fā)明公開了一種從頻域角度出發(fā)獲取CFA的方法，及一種對任何CFA適用的頻域重構(gòu)解鑲嵌方法。采用本發(fā)明方案，能得到高質(zhì)量的重構(gòu)圖像。
文檔編號H04N9/04GK101227620SQ200710177358
公開日2008年7月23日 申請日期2007年11月14日 優(yōu)先權(quán)日2007年11月14日
發(fā)明者郝鵬威, 焱 李 申請人:北京大學, 英國倫敦大學瑪麗皇后學院