圖像處理裝置及方法以及攝像裝置制造方法
【專利摘要】本發(fā)明的一方面所涉及的圖像處理方法中，準(zhǔn)備存儲單元(26)，所述存儲單元(26)存儲包含多個顏色的像素的馬賽克圖像的與混色校正的對象像素相鄰的周邊像素的混色率，即存儲與分別表示周邊像素的方位方向和顏色的第一參數(shù)和第二參數(shù)的組合相對應(yīng)的混色率，取得任意的對象像素及其周邊像素的色信號，并基于周邊像素的方位方向和顏色從存儲單元讀出對應(yīng)的混色率，基于對象像素及其周邊像素的色信號和周邊像素的混色率除去任意的對象像素所含的混色成分。
【專利說明】圖像處理裝置及方法以及攝像裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置及方法以及攝像裝置，尤其涉及對與單板的攝像元件上配置的濾色器排列對應(yīng)的馬賽克圖像的各像素間的混色等的影響進(jìn)行排除的技術(shù)。
【背景技術(shù)】
[0002]通常，在具有馬賽克狀的濾色器排列的攝像元件中，產(chǎn)生由來自相鄰的像素的光的漏入引起的混色。
[0003]若對混色多的RGB的色信號進(jìn)行數(shù)字信號處理而生成圖像，則顏色再現(xiàn)性(畫質(zhì))降低。另外，存在不能根據(jù)混色多的RGB的色信號精度良好地算出白平衡(WB)校正用的WB增益的問題。
[0004]以往，作為從包含混色成分的色信號除去混色成分的技術(shù)，存在專利文獻(xiàn)1、2記載的技術(shù)。
[0005]專利文獻(xiàn)I記載的信號處理裝置設(shè)為，對校正對象像素的信號，基于與該校正對象像素在周邊相鄰的4個周圍像素的各信號，使用校正參數(shù)Ka、Kb、Kc、Kd而進(jìn)行混色校正處理。上述4個的校正參數(shù)Ka、Kb、Kc、Kd能夠分別獨(dú)立地設(shè)定。由此，即使相對于注目像素來自周圍像素的混色存在方向性，也能夠?qū)崿F(xiàn)與該方向性對應(yīng)的混色校正。
[0006]專利文獻(xiàn)2記載的攝像裝置具有系數(shù)表，該系數(shù)表將多個像素沿行方向及列方向排列而得到的像素排列中的每個像素位置和與從周邊像素向該像素混入的信號成分相關(guān)的校正系數(shù)建立對應(yīng)地存儲。專利文獻(xiàn)2記載的攝像裝置設(shè)為，根據(jù)校正對象像素的位置從所述系數(shù)表讀出對應(yīng)的校正系數(shù)，使用校正對象像素的周邊像素的信號和校正系數(shù)來對校正對象像素的信號進(jìn)行校正。
[0007]專利文獻(xiàn)1:特開2007 - 142697號公報
[0008]專利文獻(xiàn)2:特開2010 - 130583號公報

【發(fā)明內(nèi)容】

[0009]發(fā)明要解決的課題
[0010]專利文獻(xiàn)I記載的發(fā)明的特征在于如下結(jié)構(gòu):能夠?qū)εc校正對象像素在周邊相鄰的4個周圍像素分別獨(dú)立地設(shè)定4個校正參數(shù)Ka、Kb、Kc、Kd。在混色各向同性地發(fā)生的情況(沒有方向性的情況下)，能夠?qū)⑺鲂Ｕ齾?shù)Ka、Kb、Kc、Kd設(shè)定為相同的值，在存在方向性的情況下，能夠設(shè)定為與其方向性對應(yīng)的值。能夠從外部(相機(jī)控制部)實時地對這些校正參數(shù)Ka、Kb，Kc、Kd進(jìn)行校正。然而，專利文獻(xiàn)I不存在表示對各個校正對象像素的位置如何對校正參數(shù)Ka、Kb、Kc、Kd進(jìn)行控制的記載。
[0011]專利文獻(xiàn)2記載的發(fā)明中設(shè)置有系數(shù)表，該系數(shù)表將傳感器面內(nèi)的每個像素的位置和與從周邊像素向該像素混入的信號成分相關(guān)的校正系數(shù)建立對應(yīng)而存儲，因此能夠?qū)鞲衅髅鎯?nèi)的每個像素位置使用適當(dāng)?shù)男Ｕ禂?shù)。然而，該情況下，存在校正系數(shù)的數(shù)據(jù)量變得龐大的問題。另外，在專利文獻(xiàn)2具有替代系數(shù)表而存儲關(guān)系式來降低數(shù)據(jù)量的記載。然而，存在如下問題:在校正系數(shù)的傳感器面內(nèi)的變化不適于特定的關(guān)系式的情況下無法算出適當(dāng)?shù)男Ｕ禂?shù)。
[0012]本發(fā)明鑒于這種情形而提出，目的在于提供圖像處理裝置及方法以及攝像裝置，不依賴于馬賽克圖像(濾色器排列)的種類而能夠使預(yù)先存儲的混色率的數(shù)據(jù)量為最小限，并能夠良好地進(jìn)行混色校正。
[0013]用于解決課題的方法
[0014]為了達(dá)到上述目的，本發(fā)明的一方面所涉及的圖像處理裝置具備:圖像獲取單元，取得包含多個顏色的像素的馬賽克圖像；存儲單元，是存儲來自與馬賽克圖像的混色校正的對象像素相鄰的各周邊像素的混色率的存儲單元，存儲與表示周邊像素的方位方向的第一參數(shù)和表示周邊像素的顏色的第二參數(shù)的組合對應(yīng)的混色率；及混色校正單元，從由圖像獲取單元取得的馬賽克圖像的各像素的色信號除去該色信號所含的來自周邊像素的混色成分，混色校正單元在任意的對象像素的混色校正時取得該對象像素的色信號及其周邊像素的色信號，并且基于周邊像素的方位方向及顏色從存儲單元讀出對應(yīng)的混色率，基于混色校正的對象像素的色信號及與該對象像素相鄰的各周邊像素的色信號和讀出的各周邊像素的混色率除去任意的對象像素所含的混色成分。
[0015]根據(jù)本發(fā)明的一方面，基于與混色校正的對象像素相鄰的多個周邊像素的色信號和該色信號對混色的影響(混色率)，任意地除去對象像素所含的來自周邊像素的混色成分。各周邊像素的混色率根據(jù)相對于對象像素，周邊像素是方位方向(例如上下左右方向)的哪個方向的像素或者該周邊像素的顏色是何種顏色來決定。這是因為:混色的影響依賴于周邊像素的方位方向及顏色。存儲單元存儲與表示周邊像素的方位方向的第一參數(shù)和表示周邊像素的顏色的第二參數(shù)的組合對應(yīng)的混色率。在任意的對象像素的混色校正時，對該對象像素的每個周邊像素，基于該周邊像素的方位方向及顏色從存儲單元讀出對應(yīng)的混色率。
[0016]無論馬賽克圖像(濾色器排列)的種類如何，只要在存儲單元存儲將周邊像素的方位方向數(shù)和周邊像素的顏色數(shù)組合而得到的數(shù)量的混色率即可，能夠使預(yù)先存儲的混色率的數(shù)據(jù)量為最小限。
[0017]本發(fā)明的另一方面所涉及的圖像處理裝置中，優(yōu)選為，馬賽克圖像包含由MXN(M、N是2以上的整數(shù)且至少一方為3以上)像素構(gòu)成的基本排列圖案的像素組，是該基本排列圖案的像素組在水平以及垂直方向上重復(fù)配置而得到的圖像。
[0018]如前述的那樣預(yù)先存儲于存儲單元的混色率不依賴于馬賽克圖像的種類，因此越是基本排列圖案的像素尺寸大且復(fù)雜的馬賽克圖像，能夠得到越大的效果。
[0019]本發(fā)明的又一方面所涉及的圖像處理裝置中，混色校正單元包含基于馬賽克圖像上的任意的對象像素的位置而取得與該對象像素對應(yīng)的各周邊像素的第一參數(shù)、第二參數(shù)的參數(shù)獲取單元，并基于取得的第一參數(shù)、第二參數(shù)從存儲單元讀出對應(yīng)的混色率。即，如果對對象像素的位置進(jìn)行特別指定，則也能夠取得與該對象像素的周邊像素相關(guān)的第一參數(shù)、第二參數(shù)，并能夠從存儲單元讀出與這些第一參數(shù)、第二參數(shù)對應(yīng)的混色率。
[0020]本發(fā)明的又一方面所涉及的圖像處理裝置中，馬賽克圖像是從攝像元件輸出的圖像，該攝像元件具有每預(yù)定的像素組共有放大器的元件構(gòu)造，存儲單元將表示混色校正的對象像素是共有放大器的像素組內(nèi)的哪一個位置的像素的位置信息作為第三參數(shù)，存儲與第一參數(shù)、第二參數(shù)及第三參數(shù)的組合對應(yīng)的混色率，參數(shù)獲取單元基于馬賽克圖像上的任意的對象像素的位置而對每個周邊像素取得第一參數(shù)、第二參數(shù)及第三參數(shù)，混色校正單元基于取得的第一參數(shù)、第二參數(shù)及第三參數(shù)，對每個周邊像素從存儲單元讀出對應(yīng)的混色率。
[0021]具有每預(yù)定的像素組共有放大器的元件構(gòu)造的攝像元件根據(jù)放大器與各像素的位置關(guān)系而在輸出特性方面產(chǎn)生差異。存儲單元存儲將該差異也考慮在內(nèi)的混色率。即，存儲單元將表示共有放大器的像素組內(nèi)的對象像素的位置(本像素位置)的位置信息作為第三參數(shù)，存儲與第一參數(shù)、第二參數(shù)及第三參數(shù)的組合對應(yīng)的混色率?；焐Ｕ龁卧谂c對象像素關(guān)聯(lián)而取得的第一參數(shù)、第二參數(shù)、第三參數(shù)，對對象像素的每個周邊像素從存儲單元讀出對應(yīng)的混色率，在對象像素的混色校正中使用。
[0022]本發(fā)明的又一方面所涉及的圖像處理裝置中，優(yōu)選為，存儲單元對將馬賽克圖像的整個區(qū)域分割為多個分割區(qū)域時的每個分割區(qū)域存儲混色率，混色校正單元根據(jù)對象像素的位置包含于多個分割區(qū)域中的哪一個分割區(qū)域中而從存儲單元讀出對應(yīng)的混色率。在馬賽克圖像的中央部和周邊部，被拍攝體光向攝像元件的各像素的入射角不同，因此混色率不同。因此，能夠?qū)ⅠR賽克圖像的整個區(qū)域分割為多個分割區(qū)域，并按每個分割區(qū)域變更混色率。
[0023]本發(fā)明的又一方面所涉及的圖像處理裝置中，混色校正單元對與混色校正的對象像素相鄰的各周邊像素的色信號和從存儲單元讀出的對周邊像素的每個位置所設(shè)定的混色率進(jìn)行積和運(yùn)算而算出混色成分，從對象像素的色信號減去算出的混色成分。
[0024]本發(fā)明的又一方面所涉及的圖像處理裝置中，優(yōu)選為，還具備:白平衡增益計算單元，基于由混色校正單元除去了混色成分的馬賽克圖像的各像素的色信號算出白平衡增益；及白平衡校正單元，基于由白平衡增益計算單元算出的白平衡增益，對由混色校正單元除去了混色成分的馬賽克圖像的各像素的色信號進(jìn)行白平衡校正。由于設(shè)為基于混色校正后的馬賽克圖像來算出白平衡(WB)校正用的WB增益，因此能夠算出排除了混色等的影響的適當(dāng)?shù)腤B增益。由此，能夠良好地進(jìn)行白平衡校正。
[0025]本發(fā)明的又一方面所涉及的圖像處理方法包括:圖像獲取工序，取得包含多個顏色的像素的馬賽克圖像；準(zhǔn)備存儲單元的工序，所述存儲單元是存儲來自與馬賽克圖像的混色校正的對象像素相鄰的各周邊像素的混色率的存儲單元，存儲與表示周邊像素的方位方向的第一參數(shù)和表示周邊像素的顏色的第二參數(shù)的組合對應(yīng)的混色率；及混色校正工序，從由圖像獲取工序取得的馬賽克圖像的各像素的色信號中除去該色信號所含的來自周邊像素的混色成分，混色校正工序在任意的對象像素的混色校正時取得該對象像素的色信號及其周邊像素的色信號，并且基于周邊像素的方位方向和顏色從存儲單元讀出對應(yīng)的混色率，并基于混色校正的對象像素的色信號及與該對象像素相鄰的各周邊像素的色信號和讀出的各周邊像素的混色率，除去任意的對象像素所含的混色成分。
[0026]本發(fā)明的又一方面所涉及的攝像裝置具備:攝像單元，包含攝影光學(xué)系統(tǒng)和經(jīng)由該攝影光學(xué)系統(tǒng)使被拍攝體像成像的攝像元件；圖像獲取單元，取得從攝像單元輸出的馬賽克圖像；及前述的圖像處理裝置。
[0027]本發(fā)明的又一方面所涉及的攝像裝置中，優(yōu)選為，攝像元件在由排列于水平方向及垂直方向的光電轉(zhuǎn)換元件構(gòu)成的多個像素上配置預(yù)定的濾色器排列的濾色器，濾色器排列包含第一濾光片和第二濾光片排列而成的預(yù)定的基本排列圖案，第一濾光片與一種顏色以上的第一色對應(yīng)，第二濾光片與用于獲得亮度信號的貢獻(xiàn)率比第一色低的兩種顏色以上的第二色對應(yīng)，基本排列圖案在水平及垂直方向上重復(fù)配置，基本排列圖案是與MXN(M、N是2以上的整數(shù)，至少一方為3以上)像素對應(yīng)的排列圖案。從具有上述濾色器排列的攝像元件輸出的馬賽克圖像成為顏色的組合復(fù)雜的馬賽克圖像，但是預(yù)先存儲于存儲單元的混色率不依賴于馬賽克圖像的種類，因此即使基本排列圖案的像素尺寸較大也沒有問題。
[0028]本發(fā)明的又一方面所涉及的攝像裝置中，優(yōu)選為，第一濾光片在濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)配置I個以上，與第二色的各色對應(yīng)的第二濾光片在基本排列圖案內(nèi)在濾色器排列的水平及垂直方向的各行內(nèi)配置I個以上，與第一濾光片對應(yīng)的第一色的像素數(shù)的比率比與第二濾光片對應(yīng)的第二色的各色的像素數(shù)的比率大。
[0029]若將上述濾色器排列做成攝像元件，那么由于設(shè)為將與最有助于獲得亮度信號的第一色對應(yīng)的第一濾光片配置在濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)，因此能夠提高高頻區(qū)域中的去馬賽克算法處理的再現(xiàn)精度。另外，即使對于與第一色以外的兩種顏色以上的第二色對應(yīng)的第二濾光片，由于也設(shè)為在基本排列圖案內(nèi)在濾色器排列的水平及垂直方向的各行內(nèi)配置I個以上，因此能夠降低彩色莫爾條紋(偽色)的發(fā)生并實現(xiàn)高分辨率化。另外，濾色器排列中，預(yù)定的基本排列圖案在水平方向及垂直方向上重復(fù)配置，因此進(jìn)行后段的去馬賽克算法處理時能夠按照重復(fù)圖案而進(jìn)行處理。此外，使與第一濾光片對應(yīng)的第一色的像素數(shù)和與第二濾光片對應(yīng)的第二色的各色的像素數(shù)的比率不同，特別是使最有助于獲得亮度信號的第一色的像素數(shù)的比率比與第二濾光片對應(yīng)的第二色的各色的像素數(shù)的比率大,能夠抑制混疊現(xiàn)象,高頻再現(xiàn)性也良好。
[0030]本發(fā)明的又一方面所涉及的攝像裝置中，優(yōu)選為，基本排列圖案是與3 X 3像素對應(yīng)的正方排列圖案，在中心和4角配置有所述第一濾光片。
[0031]本發(fā)明的又一方面所涉及的攝像裝置中，優(yōu)選為，第一色是綠(G)色，第二色是紅(R)色以及藍(lán)(B)色，預(yù)定的基本排列圖案是與6X6像素對應(yīng)的正方排列圖案，濾光片排列由第一排列和第二排列交替地排列于水平方向以及垂直方向上而構(gòu)成，第一排列與3X3像素對應(yīng)，在中心和4角配置有G濾光片，隔著中心的G濾光片上下配置有B濾光片，左右排列有R濾光片，第二排列與3X3像素對應(yīng)，在中心和4角配置有G濾光片，隔著中心的G濾光片上下配置有R濾光片，左右排列有B濾光片。
[0032]本發(fā)明的又一方面所涉及的攝像裝置中，優(yōu)選為，攝像元件具有每預(yù)定的像素組共有放大器的元件構(gòu)造，預(yù)定的像素組具有KXL(K<M，L^N, K、L是自然數(shù))的像素的尺寸。
[0033]發(fā)明效果
[0034]根據(jù)本發(fā)明，設(shè)為將與對混色校正的對象像素的色信號所含的混色成分的大小產(chǎn)生影響的多個參數(shù)的組合對應(yīng)的混色率預(yù)先存儲在存儲單元，在任意的對象像素的混色校正時，分別從存儲單元讀出相鄰的各周邊像素的混色率而用于混色校正。由此，能夠不依賴于馬賽克圖像(濾色器排列)的種類地使預(yù)先存儲的混色率的數(shù)據(jù)量為最小限，能夠良好地進(jìn)行混色校正。
【專利附圖】

【附圖說明】[0035]圖1是表示本發(fā)明所涉及的攝像裝置的實施方式的框圖。
[0036]圖2是表示配置于攝像元件的馬賽克狀的新型的濾色器排列的圖。
[0037]圖3是關(guān)于將圖2所示的基本排列圖案四分為3X3像素的狀態(tài)而表示的圖。
[0038]圖4是表示圖1所示的圖像處理部的內(nèi)部結(jié)構(gòu)的主要部分框圖。
[0039]圖5是用于對混色校正進(jìn)行說明的圖。
[0040]圖6是表示2 X 2的4像素共有一個放大器的攝像元件的一例的圖。
[0041]圖7是對表不混色率的校正表的一例進(jìn)行表不的圖表。
[0042]圖8是表示馬賽克圖像的8X8的分割區(qū)域的圖。
[0043]圖9是對圖4所示的混色校正部的內(nèi)部結(jié)構(gòu)的實施方式進(jìn)行表示的框圖。
[0044]圖10是表示本發(fā)明所涉及的圖像處理方法的實施方式的流程圖。
[0045]圖11是表示具備R濾光片(紅濾光片)、Gl濾光片(第一綠濾光片)、G2濾光片(第二綠濾光片)及B濾光片(藍(lán)濾光片)的攝像元件的分光靈敏度特性的曲線圖。
[0046]圖12是表示具備R濾光片、G濾光片、B濾光片以及W濾光片(透明濾光片)的攝像元件的分光靈敏度特性的曲線圖。
[0047]圖13是表示具備R濾光片、G濾光片、B濾光片以及E濾光片(翠綠色濾光片)的攝像元件的分光靈敏度特性的曲線圖。
【具體實施方式】
[0048]以下，根據(jù)附圖對本發(fā)明所涉及的圖像處理裝置及方法以及攝像裝置的實施方式進(jìn)行詳細(xì)說明。
[0049]〔攝像裝置的實施方式〕
[0050]圖1是表示本發(fā)明所涉及的攝像裝置的實施方式的框圖。
[0051]該攝像裝置10是將拍攝到的圖像記錄在內(nèi)部存儲器(存儲器部26)或外部的記錄介質(zhì)(未圖示)的數(shù)碼相機(jī)，裝置整體的動作由中央處理裝置(CPU) 12統(tǒng)一控制。
[0052]在攝像裝置10設(shè)有包含快門按鈕(快門開關(guān))、模式盤、重放按鈕，MENU/ΟΚ鍵、十字鍵、變焦按鈕、BACK鍵等的操作部14。來自該操作部14的信號被輸入到CPU12，CPU12基于輸入信號而對攝像裝置10的各電路進(jìn)行控制，例如，經(jīng)由設(shè)備控制部16對透鏡部18、快門20、作為圖像獲取單元而發(fā)揮功能的攝像元件22進(jìn)行控制，并且進(jìn)行攝影動作控制、圖像處理控制、圖像數(shù)據(jù)的記錄/重放控制、顯示部25的顯示控制等。
[0053]透鏡部18包含聚焦透鏡、變焦透鏡、光圈等，通過了透鏡部18及快門20的光束在攝像元件22的受光面成像。
[0054]攝像兀件22 是 CMOS (Complementary Metal-Oxide Semiconductor:互補(bǔ)金屬氧化物半導(dǎo)體)型、XY選址型、或CO) (Charge Coupled Device:荷稱合元件)型的彩色圖像傳感器。在攝像元件22的受光面，將多個受光元件(光電二極管)二維排列。在各光電二極管的受光面上成像的被拍攝體像被轉(zhuǎn)換為與其入射光量對應(yīng)的量的信號電壓(或電荷)。
[0055]<攝像元件的實施方式>
[0056]圖2是表示上述攝像元件22的實施方式的圖，特別是關(guān)于在攝像元件22的受光面上配置的新型的濾色器排列而表示。
[0057]該攝像元件22的濾色器排列包含由與MXN(6X6)像素對應(yīng)的正方排列圖案構(gòu)成的基本排列圖案P (粗線框所示的圖案)，并將該基本排列圖案P在水平方向以及垂直方向上重復(fù)配置而構(gòu)成。即，該濾色器排列中，將紅(R)、綠(G)、藍(lán)(B)的各色的濾光片(R濾光片、G濾光片、B濾光片)以預(yù)定的周期性而排列。如此，由于將R濾光片、G濾光片、B濾光片以預(yù)定的周期性而排列，因此進(jìn)行從攝像元件22讀出的RGB的RAW數(shù)據(jù)(馬賽克圖像)的圖像處理等時，能夠按照重復(fù)圖案而進(jìn)行處理。
[0058]圖2所示的濾色器排列中，與最有助于獲得亮度信號的顏色(該實施方式中為G的顏色)對應(yīng)的G濾光片在濾色器排列的水平、垂直、斜右上(NE)及斜左上(NW)方向的各行內(nèi)配置I以上。
[0059]NE表示斜右上方向，NW表示斜右下方向。例如，正方形的像素的排列的情況下，斜右上以及斜右下方向成為分別相對于水平方向為45°的方向。若是長方形的像素的排列，則是長方形的對角線的方向，其角度能夠根據(jù)長邊/短邊的長度而變化。
[0060]與亮度系像素對應(yīng)的G濾光片在濾色器排列的水平、垂直、以及傾斜(NE，NW)方向的各行內(nèi)配置，因此能夠不依靠成為高頻的方向而提高高頻區(qū)域的去馬賽克算法處理的再現(xiàn)精度。
[0061]另外，圖2所示的濾色器排列中，與上述G的色以外的兩種顏色以上的其他色(該實施方式中為R、B的色)對應(yīng)的R濾光片、B濾光片分別在基本排列圖案的水平及垂直方向的各行內(nèi)配置一個以上。
[0062]R濾光片、B濾光片在濾色器排列的水平及垂直方向的各行內(nèi)配置，因此能夠降低偽色(彩色莫爾條紋)的發(fā)生。由此，能夠?qū)⒂糜诮档?抑制)偽色的發(fā)生的光學(xué)低通濾光片省略。另外，即使在適用光學(xué)低通濾光片的情況下也能夠適用旨在防止偽色發(fā)生的截止高頻成分的作用較弱的器件，能夠不損害分辨率。
[0063]此外，圖2所示的濾色器排列的基本排列圖案P中，其基本排列圖案中的與R、G、B濾光片對應(yīng)的R像素、G像素、B像素的像素數(shù)分別為8像素、20像素、8像素。S卩，RGB像素的各像素數(shù)的比率成為2:5:2，最有助于獲得亮度信號的G像素的像素數(shù)的比率比其他色的R像素、B像素的各自的像素數(shù)的比率大。
[0064]如上述那樣，G像素的像素數(shù)和R、B像素的像素數(shù)的比率不同，特別是設(shè)為，最有助于獲得亮度信號的G像素的像素數(shù)的比率比R、B像素的像素數(shù)的比率大。由此，能夠抑制去馬賽克算法處理時的混疊現(xiàn)象,并且也能夠使高頻再現(xiàn)性良好。
[0065]圖3示出將圖1所示的基本排列圖案P四分割為3X3像素后的狀態(tài)。
[0066]如圖3所示，基本排列圖案P也可以看作是:由實線的框圍成的3X3像素的A排列和由虛線的框圍成的3X3像素的B排列在水平、垂直方向上交替地排列而得到的排列。
[0067]A排列以及B排列中，G濾光片分別配置于4角和中央，并配置于兩對角線上。另夕卜，A排列中，R濾光片隔著中央的G濾光片排列于水平方向上，B濾光片排列于垂直方向上。另一方面，B排列中，B濾光片隔著中央的G濾光片排列于水平方向上，R濾光片排列于垂直方向上。即，A排列和B排列中，R濾光片和B濾光片的位置關(guān)系逆轉(zhuǎn)，但是其他的配置是同樣。
[0068]另外，通過將A排列和B排列在水平、垂直方向交替地配置，A排列和B排列的4角的G濾光片成為與2X2像素對應(yīng)的正方排列的G濾光片。
[0069]蓄積于上述構(gòu)成的攝像元件22的信號電荷基于從設(shè)備控制部16施加的讀出信號而作為與信號電荷對應(yīng)的電壓信號而被讀出。從攝像元件22讀出的電壓信號，被施加到A/D轉(zhuǎn)換器24，在此被順次轉(zhuǎn)換為與濾色器排列對應(yīng)的數(shù)字的R、G、B信號，暫時保存在存儲器部26。
[0070]存儲器部26包括作為易失性存儲器的SDRAM (Synchronous DynamicRandom Access Memory:同步動態(tài)存取存儲器)、作為可改寫的非易失性存儲器的EEPROM(Electrically Erasable Programmable Read-Only Memory:電可擦寫可編程只讀存儲器；存儲單元)等。SDRAM作為CPU12對程序的執(zhí)行時的工作區(qū)域，并且，作為將拍攝而取得的數(shù)字圖像信號暫時保持的存儲區(qū)域而使用。另一方面，在EEPROM存儲包含圖像處理程序的相機(jī)控制程序、攝像元件22的像素的缺陷信息、包含混色校正的圖像處理等中所使用的各種的參數(shù)、表等。
[0071]圖像處理部28對暫時存儲在存儲器部26的數(shù)字的圖像信號進(jìn)行混色校正、白平衡校正、伽馬校正處理、去馬賽克算法處理(去馬賽克處理)、RGB/YC轉(zhuǎn)換等預(yù)定的信號處理。這里，所謂去馬賽克算法處理，是根據(jù)與單板式的彩色攝像元件的濾色器排列對應(yīng)的馬賽克圖像對每個像素算出全部的顏色信息的處理，也稱作顏色插值處理或去馬賽克處理。例如，在由RGB這三色的濾色器構(gòu)成的攝像元件的情況下，是根據(jù)由RGB構(gòu)成的馬賽克圖像對每個像素算出RGB全部的顏色信息的處理。另外，后面將對本發(fā)明所涉及的圖像處理裝置(圖像處理部28)的詳細(xì)內(nèi)容進(jìn)行描述。
[0072]由圖像處理部28處理后的圖像數(shù)據(jù)在編碼器30中被編碼為圖像顯示用的數(shù)據(jù)，并經(jīng)由驅(qū)動器32輸出到設(shè)于相機(jī)背面的顯示部25。由此，被拍攝體像連續(xù)地顯示于顯示部25的顯示畫面上。
[0073]若存在操作部14的快門按鈕的第一階段的按下(半按)，則CPU12進(jìn)行控制以使AF(Automatic Focus)動作以及 AE (Automatic Exposure Adjustment)動作開始，并經(jīng)由設(shè)備控制部16使透鏡部18的聚焦透鏡沿光軸方向移動，聚焦透鏡到達(dá)對焦位置。
[0074]CPU12基于快門按鈕的半按時從Α/D轉(zhuǎn)換器24輸出的圖像數(shù)據(jù)來算出被拍攝體的明亮度(攝影Ev值)，根據(jù)該攝影Ev值而決定曝光條件(F值、快門速度)。
[0075]若AE動作以及AF動作結(jié)束，且存在快門按鈕的第二階段的按下(全按)，則根據(jù)所述決定的曝光條件，對光圈、快門20以及攝像元件22的電荷蓄積時間進(jìn)行控制而進(jìn)行本拍攝。在本拍攝時，從攝像元件22讀出且由Α/D轉(zhuǎn)換器24進(jìn)行了 Α/D轉(zhuǎn)換的RGB的馬賽克圖像(與圖2所示的濾色器排列對應(yīng)的圖像)的圖像數(shù)據(jù)暫時地存儲在存儲器部26。
[0076]由圖像處理部28適當(dāng)讀出暫時存儲于存儲器部26的圖像數(shù)據(jù)，在此，進(jìn)行包括混色校正、白平衡校正、伽馬校正、去馬賽克算法處理(顏色插值處理)、RGB/YC轉(zhuǎn)換等預(yù)定的信號處理。進(jìn)行了 RGB/YC轉(zhuǎn)換的圖像數(shù)據(jù)(YC數(shù)據(jù))按照預(yù)定的壓縮格式(例如，JPEG (Joint Photographic Experts Group)方式)被壓縮。被壓縮的圖像數(shù)據(jù)以預(yù)定的圖像文件(例如，Exif (Exchangeable image file format)文件)形式被記錄于內(nèi)部存儲器、夕卜部存儲器。
[0077][圖像處理]
[0078]圖4是表示圖1所示的圖像處理部28的內(nèi)部結(jié)構(gòu)的主要部分框圖。
[0079]如圖4所示，圖像處理部28具備:混色校正部(混色校正單元)100 ；白平衡(WB)校正部(白平衡校正單元)200 ;進(jìn)行伽馬校正、去馬賽克算法處理、RGB/YC轉(zhuǎn)換等的信號處理的信號處理部300 ;RGB積算部400 ;以及白平衡(WB)增益計算部(白平衡增益計算單元)500。
[0080]如前述的那樣，在攝影時從攝像元件22輸出的濾色器排列的原樣的RAW數(shù)據(jù)(馬賽克圖像)暫時被存儲在存儲器部26。圖像處理部28從存儲器部26取得馬賽克圖像(RGB的色信號)。
[0081]所取得的RGB的色信號以點順序施加于混色校正部100?；焐Ｕ?00除去以點順序輸入的混色校正的對象像素的色信號所含的來自周邊像素的混色成分。另外，后面將對混色校正部100的詳細(xì)內(nèi)容進(jìn)行描述。
[0082]由混色校正部100除去了混色成分的馬賽克圖像的各像素的色信號被施加于WB校正部200，并且被施加于RGB積算部400。
[0083]RGB積算部400對將I畫面分割為8X8或16X 16后的每個分割區(qū)域，算出每個RGB的色信號的積算平均值，并算出由每個RGB的積算平均值的比(R/G，B/G)構(gòu)成的顏色信息。例如，在將I畫面分割為8X8的64的分割區(qū)域的情況下，算出64個顏色信息(R/G，B/G)。
[0084]WB增益計算部500基于從RGB積算部400輸入的每個分割區(qū)域的顏色信息(R/G，B/G)來算出WB增益。具體來說，算出64個分割區(qū)域的每個分割區(qū)域的顏色信息的、R/G、B/G軸坐標(biāo)的色空間上的分布的重心位置，根據(jù)該重心位置所表示的顏色信息來推定環(huán)境光的色溫。另外，也可以替代色溫，通過求出具有該重心位置所表示的顏色信息的光源種類例如藍(lán)天、背陰、晴天、熒光燈(晝光色、晝白色、白色、暖白色)、鎢、低鎢等來推定攝影時的光源種類(參照特開2007 - 53499)，另外，也可以根據(jù)所推定的光源種類來推定色溫。
[0085]在WB增益計算部500預(yù)先對應(yīng)于環(huán)境光的色溫或光源種類而準(zhǔn)備用于進(jìn)行適當(dāng)?shù)陌灼胶庑Ｕ拿縍GB或每RB的WB增益。WB增益計算部500基于所述推定的環(huán)境光的色溫或光源種類，讀出對應(yīng)的每RGB或每RB的WB增益，并將該讀出的WB增益輸出到WB校正部 200。
[0086]WB校正部200通過對從混色校正部100輸入的每個R、G、B的色信號分別乘以從WB增益計算部500輸入的每色的WB增益來進(jìn)行白平衡校正。
[0087]從WB校正部200輸出的R、G、B的色信號被施加于信號處理部300，在此，進(jìn)行:伽馬校正、對與攝像元件22的濾色器排列相伴的R、G、B的色信號的空間上的偏差進(jìn)行插值而將R、G、B的色信號轉(zhuǎn)換為去馬賽克型的去馬賽克算法處理、將進(jìn)行了去馬賽克算法處理的R、G、B的色信號轉(zhuǎn)換為亮度信號Y、色差信號Cr、Cb的RGB/YC轉(zhuǎn)換等的信號處理，并將進(jìn)行了信號處理的亮度信號Y、色差信號Cr、Cb輸出。
[0088]從圖像處理部28輸出的亮度數(shù)據(jù)Y及色差數(shù)據(jù)Cr、Cb被壓縮處理后，被記錄于內(nèi)部存儲器、外部存儲器。
[0089]〈混色校正〉
[0090]圖5是表示與圖2、圖3所示的濾色器排列內(nèi)的2X2的4個的G濾光片的右上的G濾光片對應(yīng)的G像素(混色校正的對象像素)和與該對象像素(本像素)相鄰的上下左右的周邊像素(上像素(B像素)、下像素(G像素)、左像素(G像素)、右像素(R像素))。
[0091]圖5所示的對象像素的情況下，以該對象像素為基準(zhǔn)的上下左右的各方位方向的相鄰像素的顏色分別為B、G、G及R。[0092]如圖3所示，6X6像素的基本排列圖案中的3X3像素的A排列的9個像素以及B排列的9個像素以任一個像素作為對象像素的情況下，與該對象像素的上下左右相鄰的4個像素的顏色的組合也將不同。
[0093]來自周邊像素的混色對本像素的影響因該周邊像素的方位方向(上下左右)、以及周邊像素的顏色(RGB)而不同。
[0094]對象像素的4個周邊像素的顏色也能夠采取RGB的3色的中任一色，因而4個周邊像素的顏色的組合(重復(fù)序列)為34 = 81種。另外，該實施方式的濾色器排列的情況下，4個周邊像素的組合有與A排列以及B排列的18像素對應(yīng)的18種。
[0095]若基本排列圖案的像素尺寸變大，3色的RGB的像素的排列的自由度上升，則相鄰的周邊像素的顏色配置的組合增加。另外，在RGB的3色以外，存在翠綠、黃色的像素的情況下，顏色配置的組合會進(jìn)一步增加。
[0096]以每4個周邊像素的混色率為I組而對應(yīng)周邊像素的每個顏色組合存儲混色率的情況下，混色率的數(shù)據(jù)量變大。另外，如果除了上下左右的4方向外，也考慮傾斜方向(左上、右上、左下、右下)的周邊像素的顏色，則顏色配置的組合的數(shù)目會進(jìn)一步增加，混色率的數(shù)據(jù)量增大。
[0097]另外，該實施方式的攝像元件22是CMOS型的攝像元件，如圖6所示在CMOS的基底埋入了像素共有放大器A，KX L (2 X 2)像素共有I個放大器A。由于該攝像元件22的元件構(gòu)造，輸出電平根據(jù)像素(本像素)相對于放大器A的位置I?4(相對于放大器A左上、右上、左下、右下的位置)而產(chǎn)生差異。
[0098]存儲器部26存儲圖7所示的校正表。在該校正表中，將周邊像素相對于對象像素(本像素)的4個方位方向(上下左右)設(shè)為第一參數(shù)P1，將周邊像素的3個顏色(RGB)作為第二參數(shù)P2，將共有放大器A的2X2像素中的本像素的位置(圖6上的位置I?4)作為第三參數(shù)P3,將與這些的參數(shù)P1?P3的組合對應(yīng)的混色率A1?A12, B1?B12, C1?C12,D1?D12合計48個混色率與參數(shù)P1?P3建立關(guān)聯(lián)而存儲。關(guān)于校正表向存儲器部26的保存，優(yōu)選為，預(yù)先在產(chǎn)品發(fā)貨前的檢查時求出與上述參數(shù)的組合對應(yīng)的混色率，并按產(chǎn)品類別進(jìn)行保存。
[0099]另外，在馬賽克圖像的中央部和周邊部，被拍攝體光向攝像元件22的各像素的入射角不同，因此混色率不同。因此，如圖8所示，將馬賽克圖像的整個區(qū)域分割為例如8X8的分割區(qū)域，對應(yīng)每個分割區(qū)域[O] [O]?[7] [7]，將圖7所示的校正表存儲在存儲器部26。以下，將對64( = 8X8)的分割區(qū)域中的任一個進(jìn)行確定的參數(shù)稱作第四參數(shù)P4。
[0100]圖9是表示圖4所示的混色校正部100的內(nèi)部結(jié)構(gòu)的實施方式的框圖。
[0101]該混色校正部100具備延遲處理部110、減法器112、乘法器114?120、加法器122、參數(shù)獲取部(參數(shù)獲取單元)130和混色率設(shè)定部140。
[0102]圖9中，經(jīng)由攝像元件22而取得的馬賽克圖像(RGB的色信號)以點順序被施加于延遲處理部110。延遲處理部110具有IH(水平行)的行存儲器IlOa?110c。使以點順序輸入的RGB的色信號以進(jìn)行I像素的處理的間隔順次在行存儲器IlOa?IlOc內(nèi)移位。若將行存儲器IlOb的斜線所示的位置的色信號作為混色校正的對象像素的色信號，則行存儲器IlOaUlOc上的相同位置的色信號分別成為上像素、下像素的色信號，由行存儲器IlOb的斜線所示的位置的左右的位置的色信號分別成為左像素、右像素的色信號。[0103]如此，延遲處理部110使以點順序輸入的RGB的色信號適當(dāng)延遲，并同時輸出混色校正的對象像素和該對象像素的上下左右的周邊像素(上像素、下像素、左像素、右像素)。從延遲處理部I1輸出的對象像素的色信號被施加于減法器112，上像素、下像素、左像素以及右像素的色信號分別被施加于乘法器114?120。
[0104]在參數(shù)獲取部130施加有從延遲處理部110輸出的、表示馬賽克圖像內(nèi)的對象像素的位置(X，Y)的信息。參數(shù)獲取部130基于表示對象像素的位置(X，y)的信息取得第一?第四參數(shù)P1?P4。另外，能夠從對每個馬賽克圖像的像素指示信號處理的CPU12或圖像處理部28取得表示對象像素的位置(x，y)的信息。
[0105]若馬賽克圖像中的對象像素的位置(X，y)被確定，則能夠決定表示對象像素(本像素)的位置(圖6上的位置I?4)的第三參數(shù)P3和表示本像素所屬的分割區(qū)域(參照圖8)的第四參數(shù)P4。另外，若馬賽克圖像內(nèi)的對象像素的位置U，y)被確定，則能夠決定對象像素的周邊像素(上像素、下像素、左像素、以及右像素)的顏色。即，能夠決定與表示該周邊像素的方位方向的第一參數(shù)P1對應(yīng)的表示周邊像素的顏色的第二參數(shù)P2。參數(shù)獲取部130如上述那樣基于馬賽克圖像內(nèi)中的對象像素的位置(x，y)的信息來決定第一?第四參數(shù)P1?P4，并向混色率設(shè)定部140輸出。另外，第一參數(shù)P1和第二參數(shù)P2對應(yīng)于周邊像素的方位方向而輸出4組。
[0106]混色率設(shè)定部140基于從參數(shù)獲取部130輸入的第一?第四參數(shù)P1?P4，從存儲器部26讀出對應(yīng)的4個混色率A?D，將這些的混色率A?D分別施加到乘法器114?120的其他的輸入。即，混色率設(shè)定部140基于第四參數(shù)P4選擇與對象像素所屬的分割區(qū)域?qū)?yīng)的校正表，基于第一?第三參數(shù)P1?P3，從所選擇的校正表讀出周邊像素的各方位方向的4個混色率A?D (參照圖7)。
[0107]乘法器114?120將分別輸入的上像素、下像素、左像素以及右像素的色信號和混色率A?D相乘，將乘積值輸出到加法器122。加法器122對所輸入的4個乘積值進(jìn)行加算，將加算值施加于減法器112的其他的輸入。該加算值與混色校正的對象像素的色信號所含的混色成分對應(yīng)。
[0108]在減法器112的一方的輸入中施加有混色校正的對象像素的色信號，減法器112從對象像素的色信號減去從加法器122輸入的加算值(混色成分)，輸出除去了混色成分(混色校正)后的對象像素的色信號。
[0109]若用數(shù)式表示基于上述減法器112、乘法器114?120、以及加法器122的計算，則能夠用下式表示。
[0110][數(shù)式I]
[0111]校正后的色信號=校正前的色信號
[0112]-(上像素X混色率A+下像素X混色率B+左像素X混色率C+右像素X混色率D)
[0113]如上述那樣由混色校正部100進(jìn)行了混色校正的色信號被輸出到后段的WB校正部200以及RGB積算部400 (圖4)。
[0114]<圖像處理方法>
[0115]圖10是表示本發(fā)明所涉及的圖像處理方法的實施方式的流程圖。
[0116]圖10中，混色校正部100首先在混色校正開始前將混色校正的對象像素的位置(X，y)設(shè)定為初始值(O，O)(步驟SlO)。
[0117]接下來，取得對象像素U，y)的色信號(像素值)和對象像素U，y)的上下左右的周邊像素的色信號(像素值)(步驟S12)。
[0118]參數(shù)獲取部130基于對象像素的位置(X，y)，如前述的那樣取得第一?第四參數(shù)P1 ?P4(步驟 S14)。
[0119]混色率設(shè)定部140基于由參數(shù)獲取部130取得的第一?第四參數(shù)P1?P4，從存儲器部26讀出對應(yīng)的混色率A?D (步驟S16)。
[0120]接下來，基于步驟S12中取得的對象像素的像素值及周邊像素的像素值和步驟S16中讀出的混色率A?D，進(jìn)行[數(shù)式I]所示的運(yùn)算處理，并進(jìn)行從對象像素的像素值除去混色成分的混色校正(步驟S18)。
[0121]接下來，判別全部的對象像素的混色校正是否結(jié)束(步驟S20)，在沒有結(jié)束的情況下(“否”的情況)，轉(zhuǎn)移到步驟S22。
[0122]在步驟S22中，使對象像素的位置(x，y)移動I像素，另外，在對象像素的位置(X，y)到達(dá)水平方向的左端的情況下，返回到水平方向的右端，并且沿垂直方向移動I像素而轉(zhuǎn)移到步驟S14，重復(fù)執(zhí)行從上述步驟S12到步驟S20的處理。
[0123]另一方面，在步驟S20中，若判別為全部的對象像素的混色校正已經(jīng)結(jié)束(“是”的情況)，則結(jié)束本混色校正的處理。
[0124][其他]
[0125]本發(fā)明不限于圖2所示的濾色器排列的馬賽克圖像，能夠適用于各種的濾色器排列的馬賽克圖像，也可以是僅有圖3所示的A排列或B排列的馬賽克圖像。適用本發(fā)明的基本排列圖案的尺寸NXM優(yōu)選為是5X5以上，更優(yōu)選為是10X10以下。另外，本發(fā)明也能夠適用于不具有基本排列圖案而RGB的像素隨機(jī)排列的結(jié)構(gòu)。另外，該情況下，能夠在不變更混色校正的硬件的情況下適用本發(fā)明。
[0126]另外，對于從沒有埋入像素共有放大器的攝像元件取得的馬賽克圖像，不需要表示本像素相對于放大器的位置的第三參數(shù)P3，馬賽克圖像的中央部和周邊部處的混色率的變化較少的情況下，也可以不是每個分割區(qū)域具有混色率的校正表。
[0127]<濾色器排列的追加的實施方式>
[0128]另外，在上述的各實施方式中，對于作為第一色采用綠(G)、作為第二色采用紅(R)以及藍(lán)⑶的例子進(jìn)行了說明，但是濾色器中可使用的顏色并不限于這些色。在上述各實施方式中，能夠使用與滿足以下條件的顏色對應(yīng)的濾色器。
[0129]<第一濾光片(第一色)的條件>
[0130]例如，上述各實施方式中，也可以替代G濾光片或者替代G濾光片的一部分，使用滿足下述條件(I)到條件(4)的任一條件的濾光片。
[0131]〔條件(I)〕
[0132]條件(I)是用于獲得亮度信號的貢獻(xiàn)率為50%以上。該貢獻(xiàn)率50%是為了對上述各實施方式所涉及的第一色(G色等)和第二色(R、B色等)進(jìn)行區(qū)別而確定的值，是以用于獲得亮度數(shù)據(jù)的貢獻(xiàn)率與R色、B色等相比相對地變高的顏色包含在“第一色”中的方式而確定的值。
[0133]例如，G色用于獲得亮度(Y)信號(亮度數(shù)據(jù))的貢獻(xiàn)率比R色、B色高。S卩，與G色相比，R色以及B色的貢獻(xiàn)率低。若具體地進(jìn)行說明，則上述的圖像處理部28對應(yīng)每個像素根據(jù)具有RGB全部的顏色信息的RGB像素信號按照下述式(I)來生成亮度信號(Y信號)。下述式(I)是通常用于彩色攝像元件22中的Y信號的生成的式子。在該式(I)中向G色對亮度信號的貢獻(xiàn)率成為60%，G色與R色(貢獻(xiàn)率30% )、B色(貢獻(xiàn)率10% )相比貢獻(xiàn)率變高。因此，G色成為3原色中對亮度信號貢獻(xiàn)最大的顏色。
[0134]Y = 0.3R+0.6G+0.1B......式(I)
[0135]G色的貢獻(xiàn)率如上述式(I)那樣成為60%，從而滿足條件(I)。另外，對于G色以外的顏色的貢獻(xiàn)率也能夠通過實驗、模擬而取得。因此，對于G色以外具有貢獻(xiàn)率為50%以上的顏色的濾光片，上述各實施方式中也能夠作為第一濾光片而使用。另外，貢獻(xiàn)率為不足50 %的顏色在上述各實施方式中成為第二色(R色、B色等)，具有該色的濾光片在上述各實施方式中成為第二濾光片。
[0136]〔條件⑵〕
[0137]條件⑵是濾光片的透過率的峰值處于波長480nm以上570nm以下的范圍內(nèi)。濾光片的透過率使用例如由分光光度計所測定的值。該波長范圍是為了對上述各實施方式所涉及的第一色(G色等)和第二色(R、B色等)進(jìn)行區(qū)別而確定的范圍，是以不包含前述的貢獻(xiàn)率相對較低的R色、B色等的峰值，而包含貢獻(xiàn)率相對較高的G色等的峰值而確定的范圍。因此，能夠?qū)⑼高^率的峰值處于波長480nm以上570nm以下的范圍內(nèi)的濾光片作為第一濾光片而使用。另外，透過率的峰值為波長480nm以上570nm以下的范圍外的濾光片成為上述各實施方式所涉及的第二濾光片(R濾光片、B濾光片)。
[0138]〔條件⑶〕
[0139]條件(3)是波長500nm以上560nm以下的范圍內(nèi)的透過率比第二濾光片(R濾光片、B濾光片)的透過率高。該條件(3)中，濾光片的透過率例如也使用由分光光度計所測定的值。該條件(3)的波長范圍也是為了對上述各實施方式所涉及的第一色(G色等)和第二色(R、B色等)進(jìn)行區(qū)別而確定的范圍，是具有與R色、B色等相比前述的貢獻(xiàn)率相對較高的顏色的濾光片的透過率高于RB濾光片等的透過率的范圍。因此，能夠?qū)⑼高^率在波長500nm以上560nm以下的范圍內(nèi)相對較高的濾光片作為第一濾光片而使用，并能夠?qū)⑼高^率相對較低的濾光片作為第二濾光片而使用。
[0140]〔條件⑷〕
[0141]條件(4)是將包含3原色中對亮度信號貢獻(xiàn)最大的顏色(例如RGB中的G色)和與該3原色不同的顏色在內(nèi)的2色以上的濾光片作為第一濾光片而使用。該情況下，與第一濾光片的各色以外的顏色對應(yīng)的濾光片成為第二濾光片。
[0142]<多個種類的第一濾光片(G濾光片)>
[0143]因此，作為第一濾光片的G色的G濾光片不限于一種，例如也可以使用多個種類的G濾光片作為第一濾光片。即，上述的各實施方式所涉及的濾色器(基本排列圖案)的G濾光片也可以適當(dāng)置換為第一 G濾光片Gl或第二 G濾光片G2。第一 G濾光片Gl透過第一波長帶的G光，第二 G濾光片G2透過與第一 G濾光片Gl相關(guān)度高的第二波長帶的G光(參照圖11)。
[0144]作為第一 G濾光片G1，能夠使用現(xiàn)存的G濾光片(例如第一實施方式的G濾光片G)。另外，作為第二 G濾光片G2能夠使用與第一 G濾光片Gl相關(guān)度高的濾光片。該情況下，優(yōu)選為，配置有第二 G濾光片G2的受光元件的分光靈敏度曲線的峰值例如處于波長500nm到535nm的范圍(配置有現(xiàn)存的G濾光片的受光元件的分光靈敏度曲線的峰值的附近)。另外，決定4色(R、Gl、G2、B)的濾色器的方法例如能夠使用特開2003 — 284084號記載的方法。
[0145]如此將由彩色攝像元件取得的圖像的顏色設(shè)為4種，增加取得的顏色信息，從而與僅取得3種顏色(RGB)的情況相比較，能夠更加正確地表現(xiàn)顏色。即，能夠?qū)⒀劬吹贸霾煌脑佻F(xiàn)為不同顏色，將眼睛看得出相同的再現(xiàn)為相同的顏色(提高“顏色的判別性”)。
[0146]另外，第一以及第二 G濾光片Gl、G2的透過率與第一實施方式的G濾光片G的透過率基本上相同，因此用于獲得亮度信號的貢獻(xiàn)率比50 %高。因此，第一以及第二 G濾光片Gl、G2滿足前述的條件(I)。
[0147]另外，在表示濾色器排列(受光元件)的分光靈敏度特性的圖13中，各G濾光片G1、G2的透過率的峰值(各G像素的靈敏度的峰值)處于波長480nm以上570nm以下的范圍內(nèi)。各G濾光片G1、G2的透過率在波長500nm以上560nm以下的范圍內(nèi)，比RB濾光片R、B的透過率高。由此，各G濾光片Gl、G2也滿足前述的條件(2)、(3)。
[0148]另外，各G濾光片Gl、G2的配置、個數(shù)也可以適當(dāng)?shù)剡M(jìn)行變更。另外，也可以將G濾光片G的種類增加為3種以上。
[0149]<透明濾光片(W濾光片)>
[0150]在上述的實施方式中，主要示出了由與RGB色對應(yīng)的彩色濾光片構(gòu)成的濾色器，但是也可以使這些色濾光片的一部分為透明濾光片W(白色像素)。特別是，優(yōu)選為替代第一濾光片(G濾光片G)的一部分而配置透明濾光片W。通過如此將G像素的一部置換為白色像素，即使將像素尺寸微細(xì)化也能夠抑制顏色再現(xiàn)性的劣化。
[0151]透明濾光片W是透明色(第一色)的濾光片。透明濾光片W能夠透過與可見光的波長帶對應(yīng)的光，是例如RGB的各色的光的透過率為50%以上的濾光片。透明濾光片W的透過率也比G濾光片G高，因此用于獲得亮度信號的貢獻(xiàn)率也比G色(60%)高，滿足前述的條件(I)。
[0152]在表示濾色器排列(受光元件)的分光靈敏度特性的圖14中，透明濾光片W的透過率的峰值(白色像素的靈敏度的峰值)處于波長480nm以上570nm以下的范圍內(nèi)。另外，透明濾光片W的透過率在波長500nm以上560nm以下的范圍內(nèi)，比RB濾光片R、B的透過率高。由此，透明濾光片W也滿足前述的條件(2)、(3)。另外，對于G濾光片G也與透明濾光片W同樣滿足前述的條件⑴?⑶。
[0153]如此，由于透明濾光片W滿足前述的條件(I)?(3)，因此在上述各實施方式中能夠作為第一濾光片而使用。另外，在濾色器排列中，由于將與RGB的3原色中對亮度信號貢獻(xiàn)最大的G色對應(yīng)的G濾光片G的一部分置換為透明濾光片W，因此也滿足前述的條件(4)。
[0154]<翠綠濾光片(E濾光片)>
[0155]在上述的實施方式中，主要示出了由與RGB色對應(yīng)的彩色濾光片構(gòu)成的濾色器，但是也可以使這些彩色濾光片的一部分為其他的彩色濾光片，例如也可以采用與翠綠(E)色對應(yīng)的濾光片E (翠綠像素)。特別是，優(yōu)選為替代第一濾光片(G濾光片G)的一部分而配置翠綠濾光片(E濾光片)。如此通過使用由E濾光片置換了 G濾光片G的一部分的4色的濾色器排列，能夠提高亮度的高頻成分的再現(xiàn)，降低鋸齒，并且能夠提高分辨率感。[0156]在表示濾色器排列(受光元件)的分光靈敏度特性的圖13中，翠綠濾光片E的透過率的峰值(E像素的靈敏度的峰值)處于波長480nm以上570nm以下的范圍內(nèi)。另外，翠綠濾光片E的透過率在波長500nm以上560nm以下的范圍內(nèi)比RB濾光片R、B的透過率高。由此，翠綠濾光片E滿足前述的條件(2)、(3)。另外，在濾色器排列中，將與RGB的3原色中對亮度信號貢獻(xiàn)最大的G色對應(yīng)的G濾光片G的一部分置換為翠綠濾光片E，因此也滿足前述的條件⑷。
[0157]另外，在圖13所示的分光特性中，翠綠濾光片E在比G濾光片G靠短波長側(cè)具有峰值，但在比G濾光片G靠長波長側(cè)具有峰值(看上去稍接近黃色的顏色)的情況也存在。如此，作為翠綠濾光片E，能夠選擇滿足上述的各條件的結(jié)構(gòu)，例如，也能夠選擇滿足條件(I)那樣的翠綠濾光片E。
[0158]<其他的顏色種類>
[0159]在上述的各實施方式中，對由原色RGB的濾色器構(gòu)成的濾色器排列進(jìn)行了說明，但是也能夠?qū)⒈景l(fā)明適用于例如作為原色RGB的補(bǔ)色的C (青色)、M(品紅)、Y (黃)加上G后的4色的補(bǔ)色系的濾色器的濾色器排列。該情況下也將滿足上述條件(I)~(4)的任一條件的濾色器作為上述各實施方式所涉及的第一濾光片，將其他濾色器作為第二濾光片。
[0160]<蜂窩配置>
[0161]上述各實施方式的各濾色器排列包含各色的濾色器沿水平方向(H)以及垂直方向(V) 二維排列而成的基本排列圖案，并且將該基本排列圖案沿水平方向(H)以及垂直方向(V)重復(fù)配置而成，但是本發(fā)明不限于此。
[0162]例如，也可以使 用將上述的各實施方式的基本排列圖案繞光軸旋轉(zhuǎn)45°后的所謂蜂窩排列狀的基本排列圖案，由將基本排列圖案沿傾斜方向(NE，NW)重復(fù)配置而成的排列圖案構(gòu)成濾色器。
[0163]另外，本發(fā)明不限于上述的實施方式，在不脫離本發(fā)明的精神的范圍內(nèi)能夠進(jìn)行各種的變形，這是不言而喻的。
[0164]附圖標(biāo)記說明:
[0165]10…攝像裝置，12…中央處理裝置(CPU)，14…操作部，18…透鏡部，22…攝像元件，26…存儲器部，28…圖像處理部，100…混色校正部，110…延遲處理部，112…減法器，114~120...乘法器，122…加法器，130...參數(shù)獲取部，140...混色率設(shè)定部，200…WB校正部，400…RGB積算部，500…WB增益計算部。
【權(quán)利要求】
1.一種圖像處理裝置，具備: 圖像獲取單元，取得包含多個顏色的像素的馬賽克圖像； 存儲單元，是存儲來自與所述馬賽克圖像的混色校正的對象像素相鄰的各周邊像素的混色率的存儲單元，存儲表示所述周邊像素的方位方向的第一參數(shù)和表示所述周邊像素的顏色的第二參數(shù)的組合所對應(yīng)的混色率；及 混色校正單元，從由所述圖像獲取單元取得的馬賽克圖像的各像素的色信號中除去該色信號所含的來自周邊像素的混色成分， 所述混色校正單元在任意的對象像素的混色校正時取得該對象像素的色信號及其周邊像素的色信號，并且基于所述周邊像素的方位方向及顏色從所述存儲單元讀出對應(yīng)的混色率，基于混色校正的對象像素的色信號及與該對象像素相鄰的各周邊像素的色信號和讀出的所述各周邊像素的混色率而除去所述任意的對象像素所含的混色成分。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述馬賽克圖像包含由MXN像素構(gòu)成的基本排列圖案的像素組，是該基本排列圖案的像素組在水平以及垂直方向上重復(fù)地配置而得到的圖像，其中，M、N是2以上的整數(shù)且至少一方為3以上。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述混色校正單元包 含基于所述馬賽克圖像上的任意的對象像素的位置而取得與該對象像素對應(yīng)的各周邊像素的第一參數(shù)、第二參數(shù)的參數(shù)獲取單元，并基于取得的所述第一參數(shù)、第二參數(shù)從所述存儲單元讀出對應(yīng)的混色率。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 所述馬賽克圖像是從攝像元件輸出的圖像，該攝像元件具有每預(yù)定的像素組共有放大器的元件構(gòu)造， 所述存儲單元將表示所述混色校正的對象像素是共有所述放大器的像素組內(nèi)的哪一個位置的像素的位置信息作為第三參數(shù)，存儲與所述第一參數(shù)、第二參數(shù)及第三參數(shù)的組合對應(yīng)的混色率， 所述參數(shù)獲取單元基于所述馬賽克圖像上的任意的對象像素的位置而對每個所述周邊像素取得第一參數(shù)、第二參數(shù)及第三參數(shù)， 所述混色校正單元基于取得的所述第一參數(shù)、第二參數(shù)及第三參數(shù)，對每個所述周邊像素從所述存儲單元讀出對應(yīng)的混色率。
5.根據(jù)權(quán)利要求1~4中任一項所述的圖像處理裝置，其中， 所述存儲單元對將所述馬賽克圖像的整個區(qū)域分割為多個分割區(qū)域時的每個分割區(qū)域存儲所述混色率， 所述混色校正單元根據(jù)所述對象像素的位置包含于所述多個分割區(qū)域中的哪一個分割區(qū)域中而從所述存儲單元讀出對應(yīng)的混色率。
6.根據(jù)權(quán)利要求1~5中任一項所述的圖像處理裝置，其中， 所述混色校正單元對與混色校正的對象像素相鄰的各周邊像素的色信號和從所述存儲單元讀出的對所述周邊像素的每個位置所設(shè)定的混色率進(jìn)行積和運(yùn)算而算出混色成分，從所述對象像素的色信號減去算出的所述混色成分。
7.根據(jù)權(quán)利要求1~6中任一項所述的圖像處理裝置，其中，還具備: 白平衡增益計算單元，基于由所述混色校正單元除去了混色成分的所述馬賽克圖像的各像素的色信號而算出白平衡增益；及 白平衡校正單元，基于由所述白平衡增益計算單元算出的白平衡增益，對由所述混色校正單元除去了混色成分的所述馬賽克圖像的各像素的色信號進(jìn)行白平衡校正。
8.—種圖像處理方法，包括: 圖像獲取工序，取得包含多個顏色的像素的馬賽克圖像； 準(zhǔn)備存儲單元的工序，所述存儲單元是存儲來自與所述馬賽克圖像的混色校正的對象像素相鄰的各周邊像素的混色率的存儲單元，存儲與表示所述周邊像素的方位方向的第一參數(shù)和表示所述周邊像素的顏色的第二參數(shù)的組合對應(yīng)的混色率；及 混色校正工序，從由所述圖像獲取工序取得的馬賽克圖像的各像素的色信號中除去該色信號所含的來自周邊像素的混色成分， 所述混色校正工序在任意的對象像素的混色校正時取得該對象像素的色信號及其周邊像素的色信號，并且基于所述周邊像素的方位方向和顏色從所述存儲單元讀出對應(yīng)的混色率，并基于混色校正的對象像素的色信號及與該對象像素相鄰的各周邊像素的色信號和讀出的所述各周邊像素的混色率，除去所述任意的對象像素所含的混色成分。
9.一種攝像裝置，具備: 攝像單元，包含攝影光學(xué)系統(tǒng)和經(jīng)由該攝影光學(xué)系統(tǒng)使被拍攝體像成像的攝像元件； 所述圖像獲取單元，取得從所述攝像單元輸出的馬賽克圖像 '及 權(quán)利要求1~7中任一項所述的圖像處理裝置。
10.根據(jù)權(quán)利要求9所述的攝像裝置，其中， 所述攝像元件在由排列于水平方向以及垂直方向的光電轉(zhuǎn)換元件構(gòu)成的多個像素上配置預(yù)定的濾色器排列的濾色器， 所述濾色器排列包含第一濾光片和第二濾光片排列而成的預(yù)定的基本排列圖案，所述第一濾光片與一種顏色以上的第一色對應(yīng)，所述第二濾光片與用于獲得亮度信號的貢獻(xiàn)率比所述第一色低的兩種顏色以上的第二色對應(yīng)，該基本排列圖案在水平以及垂直方向上重復(fù)配置， 所述基本排列圖案是與MXN像素對應(yīng)的排列圖案，其中，M、N是2以上的整數(shù)，且至少一方為3以上。
11.根據(jù)權(quán)利要求10所述的攝像裝置，其中， 所述第一濾光片在所述濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)配置I個以上， 與所述第二色的各色對應(yīng)的所述第二濾光片在所述基本排列圖案內(nèi)在所述濾色器排列的水平及垂直方向的各行內(nèi)配置I個以上， 與所述第一濾光片對應(yīng)的第一色的像素數(shù)的比率比與所述第二濾光片對應(yīng)的第二色的各色的像素數(shù)的比率大。
12.根據(jù)權(quán)利要求10所述的攝像裝置，其中， 所述基本排列圖案是與3 X 3像素對應(yīng)的正方排列圖案，在中心和4角配置有所述第一濾光片。
13.根據(jù)權(quán)利要求10所述的攝像裝置，其中， 所述第一色是綠(G)色，所述第二色是紅(R)色以及藍(lán)(B)色， 所述預(yù)定的基本排列圖案是與6X6像素對應(yīng)的正方排列圖案， 所述濾光片排列由第一排列和第二排列交替地排列于水平方向以及垂直方向上而構(gòu)成，所述第一排列與3X3像素對應(yīng)，在中心和4角配置有G濾光片，隔著中心的G濾光片上下配置有B濾光片，左右排列有R濾光片，所述第二排列與3X3像素對應(yīng)，在中心和4角配直有G濾光片，隔著中心的G濾光片上下配直有R濾光片，左右排列有B濾光片。
14.根據(jù)權(quán)利要求10所述的攝像裝置，其中， 所述攝像元件具有每預(yù)定的像素組共有放大器的元件構(gòu)造， 所述預(yù)定的像素組具 有KXL的像素的尺寸，其中，K SM，L≤N，K、L是自然數(shù)。
【文檔編號】H04N9/04GK104041021SQ201280065020
【公開日】2014年9月10日 申請日期:2012年12月27日 優(yōu)先權(quán)日:2011年12月28日
【發(fā)明者】林健吉, 入江公祐, 倉橋秀和, 田中誠二 申請人:富士膠片株式會社