圖像處理裝置、方法及攝像裝置制造方法
【專利摘要】本發(fā)明的一個(gè)方式的圖像處理方法中，取得第一色圖像和第二色圖像的能夠再現(xiàn)的頻帶不同的馬賽克圖像，在與馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有第一色圖像能夠再現(xiàn)而第二色圖像不能再現(xiàn)的空間頻率的區(qū)域，并使對(duì)馬賽克圖像實(shí)施了馬賽克算法處理的圖像中的與該區(qū)域?qū)?yīng)的圖像的色度降低，上述第一色圖像與三原色的像素中的最有助于獲得亮度信號(hào)的第一色的像素對(duì)應(yīng)，上述第二色圖像與上述第一色以外的第二色的像素對(duì)應(yīng)。
【專利說明】圖像處理裝置、方法及攝像裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、方法及攝像裝置，特別是涉及降低由與配置于單板的攝像元件的濾色器排列對(duì)應(yīng)的馬賽克圖像的去馬賽克算法處理所產(chǎn)生的偽色(彩色莫爾條紋)的技術(shù)。
【背景技術(shù)】
[0002]圖8A是表示設(shè)于以往的攝像元件的濾色器排列的一例的圖，表示最為廣泛使用的原色系拜耳排列。
[0003]拜耳排列中，三原色的紅(R)、藍(lán)(B)、綠(G)像素中G像素和R像素交替地重復(fù)的行及G像素和B像素交替地重復(fù)的行交替地配置，G像素被配置成相間方格狀(棋盤式格紋狀)。
[0004]圖SB是利用拜耳排列的馬賽克圖像表示可再現(xiàn)的頻帶的圖。
[0005]若如圖8A所示設(shè)水平及垂直方向的I像素的間距為P，則G的水平方向H及垂直方向V的尼奎斯特(Nyquist)頻率為l/(2p) ,RB的水平方向H及垂直方向V的尼奎斯特頻
率為l/(4p)。另一方面，RGB的斜右上及斜右下方向的尼奎斯特頻率均為I/ (2√2ρ)。
[0006]如上述那樣，若 在G色圖像和RB色圖像的尼奎斯特頻率不同的水平方向H或垂直方向V上輸入具有1/(4ρ)以上且小于1/(2ρ)的空間頻率的被攝體像，則RGB色圖像的相位因透鏡的色像差而偏離，從而產(chǎn)生偽色(彩色莫爾條紋)。
[0007]例如，存在如下問題:若RGB色圖像的相位因像差的影響而偏離，則白黑的條紋圖案的輸入圖像在邊緣部分會(huì)著色，在其與上述那樣的空間頻率對(duì)應(yīng)的高頻部分能夠觀察到彩色莫爾條紋。特別是，在攝像元件的受光面前表面不具有降低偽色產(chǎn)生的光學(xué)低通濾波器(光學(xué)LPF)的攝像裝置中，明顯地表現(xiàn)出偽色。
[0008]以往，提出了一種圖像處理裝置，基于兩個(gè)顏色成分(R和G)的相關(guān)性而對(duì)由透鏡的色像差產(chǎn)生的顏色偏差進(jìn)行檢測(cè)，根據(jù)檢測(cè)出的顏色偏差對(duì)RGB色圖像進(jìn)行放大縮小，從而對(duì)偽色、顏色偏差進(jìn)行校正(專利文獻(xiàn)I)。
[0009]專利文獻(xiàn)I記載的圖像處理裝置具有如下效果:在通過光學(xué)LPF轉(zhuǎn)換為比RB色圖像的尼奎斯特極限頻率低的頻率的輸入圖像的情況下降低偽色。然而可知:在利用不具備光學(xué)LPF的攝像裝置對(duì)具有1/(4ρ)以上且小于1/(2ρ)的空間頻率的輸入圖像進(jìn)行攝像的情況下，由于透鏡的色像差，RB色圖像的相位偏離而產(chǎn)生偽色(彩色莫爾條紋)。
[0010]這也可以說是，透鏡像差產(chǎn)生于整個(gè)頻帶，而無法對(duì)在RB色圖像的尼奎斯特極限頻率1/(4ρ)以上且小于G色圖像的尼奎斯特極限頻率I/(2ρ)的分辨率附近產(chǎn)生的色像差進(jìn)行校正。
[0011]以往，作為解決這種問題的技術(shù)，提出了專利文獻(xiàn)2記載的圖像處理方法。在專利文獻(xiàn)2記載的圖像處理方法中，從關(guān)注色信號(hào)提取亮度成分的高頻成分，并且對(duì)關(guān)注色信號(hào)的色調(diào)進(jìn)行檢測(cè)，且使用將產(chǎn)生偽色的可能性高的位于水平、垂直方向上的像素除去后的像素對(duì)周邊像素的色調(diào)進(jìn)行檢測(cè)。并且，在關(guān)注色信號(hào)的色調(diào)進(jìn)入到作為偽色的一個(gè)特征的預(yù)定的色調(diào)區(qū)域并且上述提取出的高頻成分是高頻區(qū)域的情況下，進(jìn)行校正以使關(guān)注色信號(hào)的色調(diào)接近周邊信號(hào)的色調(diào)，從而降低偽色。
[0012]專利文獻(xiàn)1:日本特開2010 - 45588號(hào)公報(bào)
[0013]專利文獻(xiàn)2:日本特開2003 - 102025號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0014]發(fā)明要解決的課題
[0015]專利文獻(xiàn)2記載的發(fā)明中，在關(guān)注色信號(hào)的色調(diào)進(jìn)入到作為偽色的一個(gè)特征的預(yù)定的色調(diào)區(qū)域(在專利文獻(xiàn)2記載的實(shí)施方式中，攝像元件的濾色器排列為拜耳排列，將黃色區(qū)域或青色區(qū)域作為偽色的色調(diào)區(qū)域)并且是高頻區(qū)域的情況下，進(jìn)行校正以使該色調(diào)接近周邊信號(hào)的色調(diào)，從而能夠降低偽色的產(chǎn)生。然而，根據(jù)攝像元件的濾色器排列，不限于在特定的色調(diào)區(qū)域產(chǎn)生偽色。在該情況下，無法降低偽色。另外，即使在關(guān)注色信號(hào)的色調(diào)進(jìn)入到預(yù)定的色調(diào)區(qū)域并且是高頻區(qū)域的情況下，也不限于該關(guān)注像素的顏色為偽色。
[0016]本發(fā)明鑒于這種情形而提出，目的在于提供圖像處理裝置、方法及攝像裝置，能夠在不損害分辨率的情況下良好地降低由馬賽克圖像的去馬賽克算法處理所產(chǎn)生的偽色(彩色莫爾條紋)。
[0017]用于解決課題的手段
[0018]為了達(dá)到上述目的，本發(fā)明的一個(gè)方式所涉及的圖像處理裝置具備:圖像獲取單元，取得馬賽克圖像 ，上述馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與第一色的像素對(duì)應(yīng)的第一色圖像和與第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同；區(qū)域提取單元，在與由圖像獲取單元取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有第一色圖像能夠再現(xiàn)而第二色圖像不能再現(xiàn)的空間頻率的區(qū)域；去馬賽克算法處理單元，算出由圖像獲取單元取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及色度降低單元，對(duì)于由去馬賽克算法處理單元進(jìn)行了去馬賽克算法處理的圖像，使與由區(qū)域提取單元提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
[0019]根據(jù)本發(fā)明的一個(gè)方式，在與馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，確定構(gòu)成馬賽克圖像的第一色的像素和兩種顏色以上的第二色的像素中的、第一色的像素所對(duì)應(yīng)的第一色圖像能夠再現(xiàn)而第二色所對(duì)應(yīng)的兩種顏色以上的第二色圖像不能再現(xiàn)的空間頻率，提取具有該空間頻率的區(qū)域作為有可能產(chǎn)生偽色的區(qū)域(偽色區(qū)域)。并且，降低提取出的偽色區(qū)域中的去馬賽克算法處理后的圖像的色度。由此，能夠降低去馬賽克算法處理后的圖像的偽色(彩色莫爾條紋)的產(chǎn)生。另外，無需在獲取馬賽克圖像的攝像元件的受光面前表面設(shè)置光學(xué)LPF，或者即使在設(shè)置光學(xué)LPF的情況下也能夠適用旨在防止偽色產(chǎn)生的、切斷高頻成分的作用較弱的光學(xué)LPF，能夠不損害分辨率。
[0020]本發(fā)明的其他方式所涉及的圖像處理裝置中，區(qū)域提取單元基于由圖像獲取單元取得的馬賽克圖像中的第一色的像素、由去馬賽克算法處理單元進(jìn)行了去馬賽克算法處理的三原色的彩色圖像中的第一色圖像或從三原色的彩色圖像生成的亮度圖像，在與馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有第一色圖像能夠再現(xiàn)而第二色圖像不能再現(xiàn)的空間頻率的區(qū)域。[0021]本發(fā)明的又一其他方式所涉及的圖像處理裝置中，區(qū)域提取單元具備:獲取單元，根據(jù)由圖像獲取單元取得的馬賽克圖像中的第一色的像素、由去馬賽克算法處理單元進(jìn)行了去馬賽克算法處理的三原色的彩色圖像中的第一色圖像或從三原色的彩色圖像生成的亮度圖像，使內(nèi)核尺寸的像素或圖像移動(dòng)并且依次獲取；第一計(jì)算單元，根據(jù)所取得的內(nèi)核尺寸的像素或圖像，算出與存在不能再現(xiàn)的空間頻率的方位方向正交的方向上的行的像素的平均像素值；第二計(jì)算單元，基于算出的平均像素值來檢測(cè)具有不能再現(xiàn)的空間頻率及相位的空間頻率，并算出該檢測(cè)時(shí)的上述平均像素值的振幅；及檢波單元，基于算出的振幅的大小對(duì)不能再現(xiàn)的空間頻率進(jìn)行檢波。
[0022]本發(fā)明的又一其他方式所涉及的圖像處理裝置中，優(yōu)選為，色度降低單元根據(jù)由計(jì)算單元算出的振幅的大小，該振幅越大，則使圖像的色度降低得越大。
[0023]本發(fā)明的又一其他方式所涉及的圖像處理裝置中，第一色是綠(G)色，第二色是紅(R)色及藍(lán)(B)色，馬賽克圖 像中傾斜方向的各行中的僅存在G像素的行和RGB像素混合存在的行周期性地重復(fù)，區(qū)域提取單元提取具有與僅存在G像素的行的間隔對(duì)應(yīng)的空間頻率的區(qū)域。如上述那樣確定所提取的空間頻率，并且確定產(chǎn)生該空間頻率的方位方向，提取具有與它們對(duì)應(yīng)的空間頻率的區(qū)域。
[0024]本發(fā)明的又一其他方式所涉及的圖像處理方法包括:圖像獲取工序，取得馬賽克圖像，馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與第一色的像素對(duì)應(yīng)的第一色圖像和與第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同；區(qū)域提取工序，在與由圖像獲取工序取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有第一色圖像能夠再現(xiàn)而第二色圖像不能再現(xiàn)的空間頻率的區(qū)域；去馬賽克算法處理工序，算出由圖像獲取工序取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及色度降低工序，對(duì)于由去馬賽克算法處理工序進(jìn)行了去馬賽克算法處理的圖像，使與由區(qū)域提取工序提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
[0025]本發(fā)明的一方式所涉及的圖像處理程序使計(jì)算機(jī)執(zhí)行如下工序:圖像獲取工序，取得馬賽克圖像，馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與第一色的像素對(duì)應(yīng)的第一色圖像和與第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同；區(qū)域提取工序，在與由圖像獲取工序取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有第一色圖像能夠再現(xiàn)而第二色圖像不能再現(xiàn)的空間頻率的區(qū)域；去馬賽克算法處理工序，算出由圖像獲取工序取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及色度降低工序，對(duì)于由去馬賽克算法處理工序進(jìn)行了去馬賽克算法處理的圖像，使與由區(qū)域提取工序提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
[0026]本發(fā)明的一方式所涉及的計(jì)算機(jī)能夠讀取的記錄介質(zhì)中，在由處理器讀取了存儲(chǔ)于記錄介質(zhì)的指令的情況下，處理器執(zhí)行如下工序:圖像獲取工序，取得馬賽克圖像，馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與第一色的像素對(duì)應(yīng)的第一色圖像和與第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同；區(qū)域提取工序，在與由圖像獲取工序取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有第一色圖像能夠再現(xiàn)而第二色圖像不能再現(xiàn)的空間頻率的區(qū)域；去馬賽克算法處理工序，算出由圖像獲取工序取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及色度降低工序，對(duì)于由去馬賽克算法處理工序進(jìn)行了去馬賽克算法處理的圖像，使與由區(qū)域提取工序提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
[0027]本發(fā)明的又一其他方式所涉及的攝像裝置具備:攝像單元，包含攝影光學(xué)系統(tǒng)和經(jīng)由該攝影光學(xué)系統(tǒng)而使被攝體像成像的攝像元件；圖像獲取單元，取得從攝像單元輸出的馬賽克圖像；及前述的圖像處理裝置。
[0028]本發(fā)明的又一其他方式所涉及的攝像裝置中，優(yōu)選為，從攝像元件的受光面前表面除去光學(xué)低通濾波器。利用前述的圖像處理裝置，能夠降低去馬賽克算法處理后的圖像的偽色(彩色莫爾條紋)的產(chǎn)生，因此即使從攝像元件的受光面前表面除去光學(xué)低通濾波器，偽色的產(chǎn)生也不會(huì)成為問題。另一方面，通過除去光學(xué)低通濾波器，能夠不損害分辨率。
[0029]本發(fā)明的又一其他方式所涉及的攝像裝置中，攝像元件在由排列于水平方向及垂直方向的光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上配置預(yù)定的濾色器排列的濾色器，濾色器排列包含排列有與第一色對(duì)應(yīng)的第一濾光片和與第二色對(duì)應(yīng)的第二濾光片的預(yù)定的基本排列圖案，基本排列圖案在水平方向及垂直方向上重復(fù)配置，第一濾光片配置于濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)，第二濾光片在基本排列圖案內(nèi)在濾色器排列的水平及垂直方向的各行內(nèi)配置I個(gè)以上，與第一濾光片對(duì)應(yīng)的第一色的像素?cái)?shù)的比率大于與第二濾光片對(duì)應(yīng)的第二色的各色的像素?cái)?shù)的比率。
[0030]本發(fā)明的又一其他方式所涉及的攝像裝置中，優(yōu)選為，第一色是綠(G)色，第二色是紅(R)色及藍(lán)⑶色。 [0031]本發(fā)明的又一其他方式所涉及的攝像裝置中，預(yù)定的基本排列圖案是與6X6像素對(duì)應(yīng)的正方排列圖案，濾光片排列是由第一排列和第二排列交替地排列于水平方向及垂直方向上而構(gòu)成，第一排列與3X3像素對(duì)應(yīng)，在中心和四角配置有G濾光片，隔著中心的G濾光片上下配置有B濾光片，左右排列有R濾光片，第二排列與3 X 3像素對(duì)應(yīng)，在中心和四角配置有G濾光片，隔著中心的G濾光片上下配置有R濾光片，左右排列有B濾光片。
[0032]發(fā)明效果
[0033]根據(jù)本發(fā)明，提取具有以下空間頻率的區(qū)域:構(gòu)成馬賽克圖像的第一色的像素和兩種顏色以上的第二色的像素中的、第一色的像素所對(duì)應(yīng)的第一色圖像能夠再現(xiàn)而第二色所對(duì)應(yīng)的兩種顏色以上的第二色圖像不能再現(xiàn)。并且，降低提取出的區(qū)域中的去馬賽克算法后的圖像的色度。因此，能夠降低去馬賽克算法處理后的圖像的偽色(彩色莫爾條紋)的產(chǎn)生，并能夠不損害分辨率。
【專利附圖】

【附圖說明】
[0034]圖1是表示本發(fā)明所涉及的攝像裝置的實(shí)施方式的框圖。
[0035]圖2是表示配置于攝像元件的馬賽克狀的新的濾色器排列的圖。
[0036]圖3是表示將圖2所示的基本排列圖案四分為3X3像素后的狀態(tài)的圖。
[0037]圖4是表示圖1所示的圖像處理部的內(nèi)部結(jié)構(gòu)的主要部分框圖。
[0038]圖5A是表示圖2所示的濾色器排列和能夠再現(xiàn)的頻帶的圖。
[0039]圖5B是表示圖2所示的濾色器排列和能夠再現(xiàn)的頻帶的圖。[0040]圖6是表示本發(fā)明所涉及的圖像處理方法的實(shí)施方式的流程圖。
[0041]圖7A是為了對(duì)圖2所示的濾色器排列的馬賽克圖像的G色圖像能夠再現(xiàn)而R、B色圖像不能再現(xiàn)的頻帶的提取方法進(jìn)行說明而使用的圖。
[0042]圖7B是為了對(duì)圖2所示的濾色器排列的馬賽克圖像的G色圖像能夠再現(xiàn)而R、B色圖像不能再現(xiàn)的頻帶的提取方法進(jìn)行說明而使用的圖。
[0043]圖8A是表示拜耳排列的濾色器排列和能夠再現(xiàn)的頻帶的圖。
[0044]圖SB是表示拜耳排列的濾色器排列和能夠再現(xiàn)的頻帶的圖。
【具體實(shí)施方式】
[0045]以下，按照附圖，對(duì)本發(fā)明所涉及的圖像處理裝置、方法及攝像裝置的優(yōu)選的實(shí)施方式進(jìn)行詳細(xì)說明。
[0046][攝像裝置的實(shí)施方式]
[0047]圖1是表示本發(fā)明所涉及的攝像裝置的實(shí)施方式的框圖。
[0048]該攝像裝置10是將拍攝到的圖像記錄于內(nèi)部存儲(chǔ)器(存儲(chǔ)器部26)或外部的記錄介質(zhì)(未圖示)的數(shù)碼相機(jī)，裝置整體的動(dòng)作由中央處理裝置(CPU) 12集中控制。
[0049]在攝像裝置10設(shè)有包含快門按鈕或快門開關(guān)、模式轉(zhuǎn)盤、再生按鈕、菜單/OK鍵、十字鍵、變焦按鈕、 返回鍵等的操作部14。將來自該操作部14的信號(hào)輸入到CPU12，CPU12基于輸入信號(hào)對(duì)攝像裝置10的各電路進(jìn)行控制，例如，經(jīng)由設(shè)備控制部16對(duì)透鏡部18、快門20、作為圖像獲取單元而發(fā)揮功能的攝像元件22進(jìn)行控制，并且進(jìn)行攝影動(dòng)作控制、圖像處理控制、圖像數(shù)據(jù)的記錄/再生控制、顯示部25的顯示控制等。
[0050]透鏡部18包含聚焦透鏡、變焦透鏡、光圈等，通過了透鏡部18及快門20的光束成像于攝像元件22的受光面。通常的攝像裝置在攝像元件的受光面前表面設(shè)有降低偽色產(chǎn)生的光學(xué)低通濾波器(光學(xué)LPF)，但是在該攝像裝置10中，由于如后述那樣設(shè)有降低偽色(彩色莫爾條紋)的圖像處理部28，因此省略了光學(xué)LPF的設(shè)置。
[0051]攝像元件22 二維排列有多個(gè)受光元件(光電二極管)，成像于各光電二極管的受光面的被攝體像被轉(zhuǎn)換為與其入射光量對(duì)應(yīng)的量的信號(hào)電壓(或電荷)。
[0052]<攝像元件的實(shí)施方式>
[0053]圖2是表示上述攝像元件22的實(shí)施方式的圖，特別是表示在攝像元件22的受光面上配置的新的濾色器排列。
[0054]該攝像元件22的濾色器排列包含由與6X6像素對(duì)應(yīng)的正方排列圖案構(gòu)成的基本排列圖案P(由粗框所表示的圖案)，該基本排列圖案P在水平方向及垂直方向上重復(fù)配置。即，該濾色器排列中，紅(R)、綠(G)、藍(lán)(B)各色的濾光片(R濾光片、G濾光片、B濾光片)以預(yù)定的周期性排列。由于R濾光片、G濾光片、B濾光片如此以預(yù)定的周期性排列，因此與以往所公知的隨機(jī)排列相比，在進(jìn)行從攝像元件22讀出的RGB的RAW數(shù)據(jù)(馬賽克圖像)的圖像處理等時(shí)，能夠按照重復(fù)圖案進(jìn)行處理。
[0055]圖2所示的濾色器排列中，與最有助于獲得亮度信號(hào)的顏色(該實(shí)施方式中，為G色)對(duì)應(yīng)的G濾光片在基本排列圖案P內(nèi)，在濾色器排列的水平、垂直、斜右上(NE)及斜左上(NW)方向的各行內(nèi)配置I個(gè)以上。
[0056]NE表示斜右上方向，NW表示斜右下方向。例如，在正方形的像素的排列的情況下，所謂斜右上及斜右下方向是相對(duì)于水平方向分別呈45°的方向，但如果是長(zhǎng)方形的像素的排列，則為長(zhǎng)方形的對(duì)角線的方向，其角度能夠根據(jù)長(zhǎng)邊/短邊的長(zhǎng)度而變化。
[0057]與亮度系像素對(duì)應(yīng)的G濾光片配置于濾色器排列的水平、垂直及傾斜(NE、NW)方向的各行內(nèi)。因此，無論成為高頻的方向如何都能夠提高高頻區(qū)域內(nèi)的去馬賽克算法處理(也稱為去馬賽克處理。以下，在本說明書中相同)的再現(xiàn)精度。
[0058]另外，圖2所示的濾色器排列中，與上述G色以外的兩種顏色以上的其他顏色(該實(shí)施方式中，為R、B色)對(duì)應(yīng)的R濾光片、B濾光片在基本排列圖案內(nèi)，在濾色器排列的水平及垂直方向的各行內(nèi)配置I個(gè)以上。
[0059]由于R濾光片、B濾光片在濾色器排列的水平及垂直方向的各行內(nèi)配置，因此能夠降低偽色(彩色莫爾條紋)的產(chǎn)生。另外，在傾斜方向的特定的頻帶中產(chǎn)生的偽色通過后述的本發(fā)明的圖像處理而被降低。
[0060]由此，能夠省略用于降低(抑制)偽色產(chǎn)生的光學(xué)LPF。另外，即使在適用光學(xué)LPF的情況下也能夠適用旨在防止偽色產(chǎn)生的、切斷高頻成分的作用較弱的光學(xué)LPF，能夠不損
害分辨率。
[0061]此外，圖2所示的濾色器排列的基本排列圖案P中，該基本排列圖案內(nèi)的與R、G、B濾光片對(duì)應(yīng)的R像素、G像素、B像素的像素?cái)?shù)分別為8像素、20像素、8像素。即，RGB像素的各像素?cái)?shù)的比率為2:5:2，最有助于獲得亮度信號(hào)的G像素的像素?cái)?shù)的比率大于其他顏色的R像素、B像素的像素?cái)?shù)的比率。
[0062]如上述那樣， G像素的像素?cái)?shù)與R、B像素的像素?cái)?shù)的比率不同。特別是，使最有助于獲得亮度信號(hào)的G像素的像素?cái)?shù)的比率大于R、B像素的像素?cái)?shù)的比率。因此，能夠抑制去馬賽克算法處理時(shí)的混疊現(xiàn)象，并且能夠使高頻再現(xiàn)性也良好。
[0063]圖3表示將圖1所示的基本排列圖案P四分為3X3像素后的狀態(tài)。
[0064]如圖3所示，基本排列圖案P是由實(shí)線框圍成的3X3像素的A排列和由虛線框圍成的3X3像素的B排列在水平、垂直方向上交替地排列而得到的排列。
[0065]A排列及B排列中，G濾光片分別配置于四角和中央，配置于兩對(duì)角線上。另外，在A排列中，隔著中央的G濾光片而在水平方向上排列有R濾光片，在垂直方向上排列有B濾光片。另一方面，在B排列中，隔著中央的G濾光片而在水平方向上排列有B濾光片，在垂直方向上排列有R濾光片。即，A排列和B排列中，R濾光片和B濾光片的位置關(guān)系顛倒，但是其他配置相同。
[0066]另外，A排列和B排列的四角的G濾光片通過A排列和B排列在水平、垂直方向上交替地配置而成為與2X2像素對(duì)應(yīng)的正方排列的G濾光片。
[0067]蓄積于上述構(gòu)成的攝像元件22的信號(hào)電荷基于從設(shè)備控制部16施加的讀出信號(hào)而作為與信號(hào)電荷對(duì)應(yīng)的電壓信號(hào)被讀出。從攝像元件22讀出的電壓信號(hào)被施加到A/D轉(zhuǎn)換器24，在此，依次被轉(zhuǎn)換為與濾色器排列對(duì)應(yīng)的數(shù)字的R、G、B信號(hào)，暫時(shí)保存于存儲(chǔ)器部26。
[0068]存儲(chǔ)器部26包含作為易失性存儲(chǔ)器的SDRAM (Synchronous DynamicRandom Access Memory:同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)、作為可改寫的非易失性存儲(chǔ)器的EEPROM(Electrically Erasable Programmable Read-Only Memory:電可擦可編程只讀存儲(chǔ)器)等。SDRAM作為由CPU12執(zhí)行程序時(shí)的工作區(qū)域，并且作為將拍攝取得的數(shù)字圖像信號(hào)臨時(shí)保持的存儲(chǔ)區(qū)域而使用。另一方面，在EEPROM，存儲(chǔ)有包含圖像處理程序的相機(jī)控制程序、攝像元件22的像素的缺陷信息、用于圖像處理等的各種參數(shù)、表格等。
[0069]圖像處理部28對(duì)暫時(shí)存儲(chǔ)于存儲(chǔ)器部26的數(shù)字的圖像信號(hào)進(jìn)行白平衡校正、伽瑪校正處理、去馬賽克算法處理、RGB/YC轉(zhuǎn)換、輪廓校正及顏色校正等預(yù)定的信號(hào)處理。另外，本發(fā)明所涉及的圖像處理裝置(圖像處理部28)的詳細(xì)情況后述。
[0070]在圖像處理部28中被處理過的圖像數(shù)據(jù)在編碼器30中被編碼為圖像顯示用的數(shù)據(jù)，并經(jīng)由驅(qū)動(dòng)器32輸出到設(shè)于相機(jī)背面的顯示部25。由此，被攝體像連續(xù)地顯示于顯示部25的顯示畫面上。
[0071]若存在操作部14的快門按鈕的第一階段的按下(半按)，則CPU12開始AF (Automatic Focus:自動(dòng)聚焦)動(dòng)作及 AE (Automatic Exposure Adjustment:自動(dòng)曝光調(diào)節(jié))動(dòng)作。并且，經(jīng)由設(shè)備控制部16控制為，使透鏡部18的聚焦透鏡沿光軸方向移動(dòng)，使聚焦透鏡到達(dá)對(duì)焦位置。
[0072]CPU12在快門按鈕半按時(shí)基于從A/D轉(zhuǎn)換器24輸出的圖像數(shù)據(jù)而算出被攝體的亮度(攝影Ev值)，利用該攝影Ev值來決定曝光條件(F值、快門速度)。
[0073]若AE動(dòng)作及AF動(dòng)作結(jié)束且存在快門按鈕的第二階段的按下(全按)，則利用上述所決定的曝光條件對(duì)光圈、快門20及攝像元件22中的電荷蓄積時(shí)間進(jìn)行控制而進(jìn)行正式攝像。在正式攝像時(shí)將從攝像元件22讀出并利用A/D轉(zhuǎn)換器24進(jìn)行了 A/D轉(zhuǎn)換后的RGB的馬賽克圖像(與圖2所示的 濾色器排列對(duì)應(yīng)的圖像)的圖像數(shù)據(jù)臨時(shí)地存儲(chǔ)于存儲(chǔ)器部26。
[0074]臨時(shí)地存儲(chǔ)于存儲(chǔ)器部26的圖像數(shù)據(jù)由圖像處理部28適當(dāng)讀出，在此，進(jìn)行包含白平衡校正、伽瑪校正、去馬賽克算法處理、RGB/YC轉(zhuǎn)換、輪廓校正及顏色校正等的預(yù)定的信號(hào)處理。RGB/YC轉(zhuǎn)換后的圖像數(shù)據(jù)(YC數(shù)據(jù))按照預(yù)定的壓縮格式(例如，JEPGCJointPhotographic Experts Group:聯(lián)合照片專家組)方式)被壓縮。將壓縮后的圖像數(shù)據(jù)以預(yù)定的圖像文件(例如，Exif (Exchangeable image file format:可交換圖像文件)文件)形式記錄于內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器。
[0075][圖像處理]
[0076]圖4是表示圖1所示的圖像處理部28的內(nèi)部結(jié)構(gòu)的主要部分框圖。
[0077]如圖4所示，圖像處理部28包含:白平衡(WB)校正部100、伽瑪校正部102、去馬賽克算法處理部(去馬賽克算法處理單元)104、RGB/YC轉(zhuǎn)換部106、輪廓校正部108、與本發(fā)明的色度降低單元相當(dāng)?shù)念伾Ｕ?10和色度降低控制部112及與本發(fā)明的區(qū)域提取單元相當(dāng)?shù)膫紊珔^(qū)域提取部114。
[0078]如前述那樣，攝影時(shí)從攝像元件22輸出的濾色器排列的原本的RAW數(shù)據(jù)(馬賽克圖像)暫時(shí)被存儲(chǔ)于存儲(chǔ)器部26。圖像處理部28從存儲(chǔ)器部26取得馬賽克圖像(RGB色信號(hào))。
[0079]所取得的RGB色信號(hào)以點(diǎn)順序被施加于WB校正部100。WB校正部100通過對(duì)應(yīng)各R、G、B色信號(hào)分別乘以WB校正用的增益值Rg、Gg、Bg而進(jìn)行白平衡校正。
[0080]在此，WB校正用的增益值Rg、Gg、Bg被設(shè)定為對(duì)RAW數(shù)據(jù)進(jìn)行解析并確定例如光源種類(太陽光、熒光燈、鎢絲燈泡等)而與該光源種類對(duì)應(yīng)地預(yù)先存儲(chǔ)的增益值Rg、Gg、Bg，或者被設(shè)定為在進(jìn)行白平衡校正的菜單畫面上通過手動(dòng)而選擇的光源種類、色溫所對(duì)應(yīng)的增益值Rg、Gg、Bg。
[0081]從WB校正部100輸出的R、G、B色信號(hào)被輸出到伽瑪校正部102，在此，將線性的色信號(hào)轉(zhuǎn)換為被稱作sRGB、AdobeRGB, scRGB的色空間的灰度數(shù)據(jù)。將伽瑪校正后的R、G、B色信號(hào)輸出到去馬賽克算法處理部104。
[0082]去馬賽克算法處理部104進(jìn)行如下處理:對(duì)與攝像元件22的濾色器排列相伴的R、G、B色信號(hào)的空間性的偏移進(jìn)行插值而以去馬賽克算法的方式轉(zhuǎn)換R、G、B色信號(hào)(也被稱作去馬賽克算法處理)，能夠通過對(duì)去馬賽克算法處理的對(duì)象像素的周圍的同色的像素的像素值進(jìn)行插值而算出該對(duì)象像素的像素位置處的其他顏色的像素值。
[0083]RGB/YC轉(zhuǎn)換部106將去馬賽克算法后的R、G、B色信號(hào)轉(zhuǎn)換為亮度信號(hào)Y、色差信號(hào)Cr、Cb，將亮度數(shù)據(jù)Y輸出到輪廓校正部108，將色差信號(hào)Cr、Cb輸出到顏色校正部110。輪廓校正部280進(jìn)行對(duì)亮度信號(hào)Y的輪廓部(亮度變化較大的部分)進(jìn)行強(qiáng)調(diào)的處理。
[0084]顏色校正部110進(jìn)行所輸入的色差信號(hào)Cr、Cb和2行X 2列的顏色校正矩陣系數(shù)的矩陣運(yùn)算，進(jìn)行用于實(shí)現(xiàn)良好的顏色再現(xiàn)性的顏色校正。顏色校正矩陣系數(shù)通常使用預(yù)先設(shè)定的系數(shù)，但是本發(fā)明中，根據(jù)從后述的色度降低控制部112施加的控制信號(hào)而變更為降低色度的顏色校正矩陣系數(shù)。
[0085]進(jìn)行了被輪廓校正的亮度數(shù)據(jù)Y及進(jìn)行了顏色校正的色差數(shù)據(jù)Cr、Cb在被壓縮處理后，記錄于內(nèi)部存儲(chǔ)器、外部存儲(chǔ)器。
[0086]<偽色(彩色莫爾條紋)的產(chǎn)生的降低>
[0087]從具有圖2所 示的濾色器排列的攝像元件22輸出的馬賽克圖像與以往的拜耳排列的馬賽克圖像相比，如前述那樣難以在去馬賽克算法處理后的圖像中產(chǎn)生偽色(彩色莫爾條紋)，但是本
【發(fā)明者】發(fā)現(xiàn):在比RGB的尼奎斯特極限低的頻帶呈點(diǎn)狀地存在容易產(chǎn)生偽色的區(qū)域。
[0088]圖5A表示圖2所示的濾色器排列的基本排列圖案，圖5B是利用圖2所示的濾色器排列的馬賽克圖像表示可再現(xiàn)的頻帶的圖。
[0089]如圖5B所示，RGB各色圖像分別具有相同的正方的尼奎斯特極限。即，若如圖5A所示設(shè)水平及垂直方向的I像素的間距為P，則RGB的水平方向H及垂直方向V的尼奎斯特頻率為l/(2p)，RGB的斜右上及斜右下方向的尼奎斯特頻率為I/ (f 2p)。
[0090]另一方面，圖2所示的濾色器排列的馬賽克圖像在斜右上及斜右下方向的行中周期性地存在僅存在G像素的行。這些僅存在G像素的行的間隔是(3廠2) p/2。
[0091]現(xiàn)在，當(dāng)存在斜右上或斜右下方向的條紋圖案的被攝體而在攝像元件22上以(3^2) p/2的間隔進(jìn)行攝像且條紋圖案的明暗的相位與僅存在G像素的行一致的情況下，若去馬賽克算法處理時(shí)條紋圖案的顏色(RB色)的像素基于其周圍像素的RB色的像素進(jìn)行插值，則成為錯(cuò)誤的顏色。其結(jié)果為，條紋圖案的被攝體像產(chǎn)生偽色(彩色莫爾條紋)。
[0092]即，與斜右上或斜右下方向的(3廠2) p/2的間隔對(duì)應(yīng)的空間頻率(2/ (3ν 2)P)是G色圖像能夠再現(xiàn)而R、B色圖像不能再現(xiàn)的頻帶。
[0093]該R、B色圖像不能再現(xiàn)的頻帶如圖5Β的黑圓點(diǎn)所示呈點(diǎn)狀地存在，更詳細(xì)地說，以由黑圓點(diǎn)所表示的頻帶最小的漏斗狀存在。
[0094]在本發(fā)明中，在整個(gè)圖像區(qū)域內(nèi)提取具有G色圖像能夠再現(xiàn)而R、B色圖像不能再現(xiàn)的頻帶的區(qū)域(有可能產(chǎn)生偽色的區(qū)域:偽色區(qū)域)。并且，降低提取出的偽色區(qū)域的色度。
[0095]返回到圖4，偽色區(qū)域提取部114將由去馬賽克算法處理部104進(jìn)行了去馬賽克算法處理的G色信號(hào)(G色圖像)輸入。并且，偽色區(qū)域提取部114在該G圖像的整個(gè)區(qū)域內(nèi)提取具有G色圖像能夠再現(xiàn)而R、B色圖像不能再現(xiàn)的頻帶的偽色區(qū)域。
[0096]若由偽色區(qū)域提取部114提取出偽色區(qū)域，則色度降低控制部112對(duì)顏色校正部110的顏色校正矩陣系數(shù)進(jìn)行控制以使得與該偽色區(qū)域?qū)?yīng)的色差信號(hào)Cr、Cb的信號(hào)電平變小。
[0097]接下來，對(duì)上述偽色區(qū)域提取部114及色度降低控制部112的動(dòng)作進(jìn)行詳述。
[0098]圖6是表示本發(fā)明所涉及的圖像處理方法的實(shí)施方式的流程圖。
[0099]在圖6中，偽色區(qū)域提取部114取得由去馬賽克算法處理部104進(jìn)行了去馬賽克算法處理的G色圖像(步驟S10)。接下來，將用于根據(jù)G色圖像取得局部區(qū)域的圖像的內(nèi)核的位置設(shè)定為初始值(例如，G色圖像的左上的位置)(步驟S12)。
[0100]接下來，基于當(dāng)前的內(nèi)核的位置取得內(nèi)核尺寸的G色圖像(步驟S14)。另外，作為內(nèi)核的尺寸，設(shè)為能夠?qū)εc圖5A所示的(3入2) p/2的間隔對(duì)應(yīng)的空間頻率進(jìn)行檢波(檢測(cè))的尺寸。該實(shí)施方式中，如圖7A所示設(shè)為6X6像素的內(nèi)核尺寸。另外，在圖7A中，由斜線表示的像素表示馬賽克圖像的G像素的位置。
[0101]接下來，算出內(nèi) 核內(nèi)的G色圖像的斜右上方向的各行A1~A7上的G像素的平均值A(chǔ)avel~Aave7,并算出斜右下方向的各行B1~B7上的G像素的平均值Bavel~Bave7 (步驟S16)。
[0102]現(xiàn)在，當(dāng)是斜右下方向的條紋圖案且條紋圖案的明暗的相位與僅存在G像素的行一致的情況下，各行A1~A7的像素的平均值A(chǔ)avel~Aave7成為圖7B所示的圖案。即，平均值A(chǔ)avel、Aave4, Aave7以大致相同等級(jí)表示亮的像素值，平均值么_2、Aave3> Aave5, Aave6以大致相同等級(jí)表示暗的像素值。在此，上述亮的像素值和暗的像素值在兩者間具有預(yù)定的閾值以上的亮度差的情況下，指的是相對(duì)亮或暗的情況下的像素值。
[0103]基于斜右上方向的各RA1~A7的像素的平均值A(chǔ)avel~Aave7,首先檢測(cè)平均值A(chǔ)avel、Aave4> Aave7是否均高于平均值A(chǔ)ave2、Aave3> Aave5, Aave60若檢測(cè)出上述情況，則檢測(cè)出上述空間頻率的條紋圖案，并且檢測(cè)出條紋圖案亮的部分的相位與僅存在G像素的行大致一致這一情況。并且，若檢測(cè)出上述相位的條紋圖案，則如圖7B所示算出平均值A(chǔ)avel、Aave4,々_7和平均值A(chǔ)ave2、Aave;3、Aave;5、Aave6之間的差的絕對(duì)值(振幅W)。同樣地,若基于斜右下方向的各行B1~B7的像素的平均值Bavel~Bave7而檢測(cè)出平均值Bavel、Bave4、Bave7均高于平均值Bave2、Bave3> Bave5, Bave6 這一情況，則算出這些平均值 Bavel、Bave4、Bave7 和平均值 Bave2、Bave3> Bave5, Bave6之間的振幅W(步驟S18)。另外，在未檢測(cè)出上述相位的條紋圖案的情況下，出于方便，將振幅W設(shè)為O。
[0104]接下來，判別在步驟S18中求得的斜右上方向的條紋圖案的振幅W及斜右下方向的條紋圖案的振幅W中的至少一方是否為預(yù)先設(shè)定的閾值Th以上(步驟S20)。
[0105]在振幅W為閾值Th以上的情況下(“是”的情況下)轉(zhuǎn)移到步驟S22，在振幅W小于閾值Th的情況下(“否”的情況下)轉(zhuǎn)移到步驟S24。
[0106]在步驟S22中，進(jìn)行使與當(dāng)前的內(nèi)核的位置對(duì)應(yīng)的區(qū)域(偽色區(qū)域)的圖像的色度降低的處理。[0107]即，若色度降低控制部112從偽色區(qū)域提取部114接收了表示偽色區(qū)域的信息，則將顏色校正部110的顏色校正矩陣系數(shù)變更為較小的值,從而減小偽色區(qū)域的色差信號(hào)Cr、Cb的信號(hào)電平(降低色度)。
[0108]在該情況下，優(yōu)選為，對(duì)應(yīng)于上述振幅W的大小，振幅W越大，則圖像的色度降低得越大。例如，能夠通過向預(yù)先設(shè)定的顏色校正矩陣系數(shù)乘以與振幅的大小(使色度降低的程度)對(duì)應(yīng)的系數(shù)α (O < α <1)來實(shí)現(xiàn)。
[0109]在步驟S24中，判別基于內(nèi)核的整個(gè)圖像區(qū)域的搜索是否結(jié)束，在沒有結(jié)束的情況下(“否”的情況下)轉(zhuǎn)移到步驟S26。
[0110]在步驟S26中，使內(nèi)核沿水平方向移動(dòng)6個(gè)像素。另外，在內(nèi)核到達(dá)了水平方向的左端的情況下，使內(nèi)核返回到水平方向的右端，并且沿垂直方向移動(dòng)6個(gè)像素并轉(zhuǎn)移到步驟S14。如上述那樣使內(nèi)核移動(dòng)，重復(fù)執(zhí)行從上述步驟S14到步驟S24的處理。
[0111]另一方面，在步驟S24中，若判別為搜索已經(jīng)結(jié)束(“是”的情況下)，則結(jié)束使偽色的產(chǎn)生降低的圖像處理。
[0112]如此，在 本實(shí)施方式中，如圖5Β所示在RGB的正方的尼奎斯特極限的范圍內(nèi)，提取具有G色圖像能夠再現(xiàn)而R、B色圖像不能再現(xiàn)的空間頻率的區(qū)域(偽色區(qū)域)，并降低該偽色區(qū)域的色度。因此，能夠降低偽色(彩色莫爾條紋)的產(chǎn)生。在實(shí)際的攝像裝置中，由于透鏡的色像差，R、B色圖像的相位偏離，因此在上述那樣的偽色區(qū)域中容易產(chǎn)生偽色，特別是在將光學(xué)低通濾波器卸下的情況下分辨率變高。因此，這種偽色區(qū)域中的偽色容易產(chǎn)生。根據(jù)本實(shí)施方式，能夠降低這種偽色對(duì)畫質(zhì)的影響。
[0113]另外，內(nèi)核的尺寸不限于該實(shí)施方式，能夠考慮各種各樣的尺寸。例如，設(shè)為僅將3X3像素的對(duì)角線上的像素進(jìn)行提取的內(nèi)核，算出對(duì)角線各自的平均像素值。并且，也可以設(shè)為，通過使該內(nèi)核逐個(gè)像素地移動(dòng)，而對(duì)與圖2所示的濾色器排列的僅存在G像素的行間的間隔所對(duì)應(yīng)的空間頻率及相位一致的條紋圖案進(jìn)行檢測(cè)，并且算出條紋圖案的明暗(振幅)。
[0114]另外，可以設(shè)為，在偽色區(qū)域內(nèi)，在馬賽克圖像上僅降低與沿傾斜方向僅G像素連續(xù)的行對(duì)應(yīng)的像素的色度，也可以設(shè)為降低偽色區(qū)域整體的像素的色度。
[0115][其他實(shí)施方式]
[0116]本發(fā)明不限于圖2所示的濾色器排列的馬賽克圖像，能夠適用于各種濾色器排列的馬賽克圖像，例如，能夠降低由圖8Α所示的拜耳排列的馬賽克圖像的去馬賽克算法處理所產(chǎn)生的偽色。
[0117]在該情況下，與前述的實(shí)施方式同樣地，在圖像的整個(gè)圖像區(qū)域內(nèi)，基于G色圖像對(duì)具有水平方向H或垂直方向V的1/(4ρ)以上且小于1/(2ρ)的空間頻率的區(qū)域(有可能產(chǎn)生偽色的區(qū)域:偽色區(qū)域)進(jìn)行檢測(cè)，并降低檢測(cè)出的偽色區(qū)域的圖像的色度。由此，能夠省略用于降低偽色產(chǎn)生的光學(xué)LPF，并能夠不損害分辨率。
[0118]另外，雖然設(shè)為偽色區(qū)域提取部114基于去馬賽克算法處理后的G色圖像來提取對(duì)偽色區(qū)域，但是不限于此，也可以設(shè)為，基于馬賽克圖像的G像素、或者由RGB/YC轉(zhuǎn)換部108轉(zhuǎn)換后的亮度信號(hào)Y(亮度圖像)來提取偽色區(qū)域。
[0119]此外，降低色度的處理在顏色校正部110中，不限于減小向色差信號(hào)Cr、Cb乘以的顏色校正矩陣系數(shù)這一情況，例如，也可以設(shè)為使去馬賽克算法處理后的RGB像素的像素值中的R、B的像素值與G的像素值接近。
[0120]另外，也可以利用與攝像裝置10不同的圖像處理裝置(例如安裝了圖像處理軟件的計(jì)算機(jī)(PC:個(gè)人計(jì)算機(jī))等)進(jìn)行圖像處理部28中的前述的處理。
[0121]另外，本發(fā)明能夠提供作為:用于使計(jì)算機(jī)執(zhí)行上述的處理的計(jì)算機(jī)能夠讀取的程序代碼；存儲(chǔ)有該程序代碼的非一次性(non-transitory:非暫時(shí)性)且計(jì)算機(jī)能夠讀取的記錄介質(zhì)(例如，光盤(例如 CD (Compact Disc)、DVD (Digital Versatile Disc)、BD(Blu-ray Disc))、磁盤(例如硬盤、光磁盤))；及對(duì)用于該方法的能夠執(zhí)行的代碼進(jìn)行存儲(chǔ)的計(jì)算機(jī)/程序/產(chǎn)品。
[0122]另外，本發(fā)明不限于上述的實(shí)施的方式，在不脫離本發(fā)明的精神的范圍內(nèi)能夠進(jìn)行各種各樣的變形，這是不言而喻的。
[0123]附圖標(biāo)記說明:
[0124]10…攝像裝置，12...中央處理裝置(CPU)，14…操作部，18…透鏡部，22...攝像元件，26…存儲(chǔ)器部，28...圖像處理部，104…去馬賽克算法處理部，106…RGB/YC轉(zhuǎn)換部，110...顏色校正部，112 …色度降低控制部，114…偽色區(qū)域提取部。
【權(quán)利要求】
1.一種圖像處理裝置，具備: 圖像獲取單元，取得馬賽克圖像，上述馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與上述第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與上述第一色的像素對(duì)應(yīng)的第一色圖像和與上述第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同； 區(qū)域提取單元，在與由上述圖像獲取單元取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有上述第一色圖像能夠再現(xiàn)而上述第二色圖像不能再現(xiàn)的空間頻率的區(qū)域； 去馬賽克算法處理單元，算出由上述圖像獲取單元取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及 色度降低單元，對(duì)于由上述去馬賽克算法處理單元進(jìn)行了去馬賽克算法處理的圖像，使與由上述區(qū)域提取單元提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 上述區(qū)域提取單元基于由上述圖像獲取單元取得的馬賽克圖像中的第一色的像素、由上述去馬賽克算法處理單元進(jìn)行了去馬賽克算法處理的三原色的彩色圖像中的第一色圖像或從上述三原色的彩色圖像生成的亮度圖像，在與上述馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有上述第一色圖 像能夠再現(xiàn)而上述第二色圖像不能再現(xiàn)的空間頻率的區(qū)域。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 上述區(qū)域提取單元具備: 獲取單元，根據(jù)由上述圖像獲取單元取得的馬賽克圖像中的第一色的像素、由上述去馬賽克算法處理單元進(jìn)行了去馬賽克算法處理的三原色的彩色圖像中的第一色圖像或從上述三原色的彩色圖像生成的亮度圖像，使內(nèi)核尺寸的像素或圖像移動(dòng)并且依次獲??；第一計(jì)算單元，根據(jù)所取得的上述內(nèi)核尺寸的像素或圖像，算出與存在上述不能再現(xiàn)的空間頻率的方位方向正交的方向上的行的像素的平均像素值； 第二計(jì)算單元，基于算出的上述平均像素值來檢測(cè)具有上述不能再現(xiàn)的空間頻率及相位的空間頻率，并算出該檢測(cè)時(shí)的上述平均像素值的振幅；及 檢波單元，基于算出的上述振幅的大小對(duì)上述不能再現(xiàn)的空間頻率進(jìn)行檢波。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 上述色度降低單元根據(jù)由上述計(jì)算單元算出的振幅的大小，該振幅越大，則使上述圖像的色度降低得越大。
5.根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的圖像處理裝置，其中， 上述第一色是綠(G)色，上述第二色是紅(R)色及藍(lán)(B)色， 上述馬賽克圖像中，傾斜方向的各行中的僅存在G像素的行和RGB像素混合存在的行周期性地重復(fù)， 上述區(qū)域提取單元提取具有與僅存在上述G像素的行的間隔對(duì)應(yīng)的空間頻率的區(qū)域。
6.—種圖像處理方法,包括: 圖像獲取工序，取得馬賽克圖像，上述馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與上述第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與上述第一色的像素對(duì)應(yīng)的第一色圖像和與上述第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同；區(qū)域提取工序，在與由上述圖像獲取工序取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有上述第一色圖像能夠再現(xiàn)而上述第二色圖像不能再現(xiàn)的空間頻率的區(qū)域； 去馬賽克算法處理工序，算出由上述圖像獲取工序取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及 色度降低工序，對(duì)于由上述去馬賽克算法處理工序進(jìn)行了去馬賽克算法處理的圖像，使與由上述區(qū)域提取工序提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
7.一種圖像處理程序，使計(jì)算機(jī)執(zhí)行如下工序: 圖像獲取工序，取得馬賽克圖像，上述馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與上述第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與上述第一色的像素對(duì)應(yīng)的第一色圖像和與上述第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同； 區(qū)域提取工序，在與由上述圖像獲取工序取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有上述第一色圖像能夠再現(xiàn)而上述第二色圖像不能再現(xiàn)的空間頻率的區(qū)域； 去馬賽克算法處理工序，算出由上述圖像獲取工序取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及 色度降低工序，對(duì)于由上述去馬賽克算法處理工序進(jìn)行了去馬賽克算法處理的圖像，使與由上述區(qū)域提取工序提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
8.—種記錄介質(zhì) ，是計(jì)算機(jī)能夠讀取的記錄介質(zhì)，在由處理器讀取了存儲(chǔ)于上述記錄介質(zhì)的指令的情況下，上述處理器執(zhí)行如下工序: 圖像獲取工序，取得馬賽克圖像，上述馬賽克圖像包含三原色的各色的像素中的最有助于獲得亮度信號(hào)的第一色的像素和與上述第一色以外的兩種顏色以上的第二色對(duì)應(yīng)的像素，并且與上述第一色的像素對(duì)應(yīng)的第一色圖像和與上述第二色的像素對(duì)應(yīng)的第二色圖像的能夠再現(xiàn)的頻帶不同； 區(qū)域提取工序，在與由上述圖像獲取工序取得的馬賽克圖像對(duì)應(yīng)的整個(gè)圖像區(qū)域內(nèi)，提取具有上述第一色圖像能夠再現(xiàn)而上述第二色圖像不能再現(xiàn)的空間頻率的區(qū)域； 去馬賽克算法處理工序，算出由上述圖像獲取工序取得的馬賽克圖像的各像素的像素位置處的其他顏色的像素值；及 色度降低工序，對(duì)于由上述去馬賽克算法處理工序進(jìn)行了去馬賽克算法處理的圖像，使與由上述區(qū)域提取工序提取出的區(qū)域?qū)?yīng)的圖像的色度降低。
9.一種攝像裝置，具備: 攝像單元，包含攝影光學(xué)系統(tǒng)和經(jīng)由該攝影光學(xué)系統(tǒng)而使被攝體像成像的攝像元件； 上述圖像獲取單元，取得從上述攝像單元輸出的馬賽克圖像 '及 權(quán)利要求1至5中任一項(xiàng)所述的圖像處理裝置。
10.根據(jù)權(quán)利要求9所述的攝像裝置，其中， 從上述攝像元件的受光面前表面除去光學(xué)低通濾波器。
11.根據(jù)權(quán)利要求9或10所述的攝像裝置，其中， 上述攝像元件在由排列于水平方向及垂直方向的光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上配置預(yù)定的濾色器排列的濾色器， 上述濾色器排列包含排列有與上述第一色對(duì)應(yīng)的第一濾光片和與上述第二色對(duì)應(yīng)的第二濾光片的預(yù)定的基本排列圖案，該基本排列圖案在水平方向及垂直方向上重復(fù)配置，上述第一濾光片配置于上述濾色器排列的水平、垂直、斜右上及斜右下方向的各行內(nèi)，上述第二濾光片在上述基本排列圖案內(nèi)，在上述濾色器排列的水平及垂直方向的各行內(nèi)配置I個(gè)以上， 與上述第一濾光片對(duì)應(yīng)的第一色的像素?cái)?shù)的比率大于與上述第二濾光片對(duì)應(yīng)的第二色的各色的像素?cái)?shù)的比率。
12.根據(jù)權(quán)利要求11所述的攝像裝置，其中， 上述第一色是綠(G)色，上述第二色是紅(R)色及藍(lán)(B)色。
13.根據(jù)權(quán)利要求12所述的攝像裝置，其中， 上述預(yù)定的基本排列圖案是與6X6像素對(duì)應(yīng)的正方排列圖案， 上述濾光片排列由第一排列和第二排列交替地排列于水平方向及垂直方向上而構(gòu)成，上述第一排列與3X3像素對(duì)應(yīng)，在中心和四角配置有G濾光片，隔著中心的G濾光片上下配置有B濾光片，左右排列有R濾光片，上述第二排列與3 X 3像素對(duì)應(yīng)，在中心和四角配置有G濾光片，隔著中心 的G濾光片上下配直有R濾光片，左右排列有B濾光片。
【文檔編號(hào)】H04N9/07GK104025583SQ201280065340
【公開日】2014年9月3日 申請(qǐng)日期:2012年12月21日 優(yōu)先權(quán)日:2011年12月28日
【發(fā)明者】田中誠(chéng)二, 林健吉, 河合智行, 河村典子, 倉(cāng)橋秀和 申請(qǐng)人:富士膠片株式會(huì)社