圖像處理裝置、方法、程序、記錄介質(zhì)及攝像裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、方法、程序、記錄介質(zhì)及攝像裝置，尤其是涉及減少產(chǎn) 生彩色莫爾條紋的技術(shù)。
【背景技術(shù)】
[0002] 在具有單板式彩色攝像元件的彩色攝像裝置中，來自彩色攝像元件的輸出圖像是 RAW圖像（馬賽克圖像），因此通過根據(jù)周圍的像素對(duì)所缺失顏色的像素進(jìn)行插值的去馬賽 克算法處理（或稱作"去馬賽克處理"，以下相同）而得到多通道圖像。
[0003] 專利文獻(xiàn)1中有下述記載：去馬賽克處理時(shí)進(jìn)行假定了局部區(qū)域中的紅色（R)、綠 色（G)、藍(lán)色（B)的色比大致保持為一定的插值處理。例如，對(duì)于以去馬賽克處理的處理對(duì) 象的像素為中心像素的7X7像素的輸入像素單位，求出R、G、B信號(hào)的低頻成分mR'、mG、 mB'，基于G像素的像素值g和局部區(qū)域的色比（mR' /mG、mB' /mG)，而將處理對(duì)象的像素是 G像素的情況下的G像素上的R、B像素的像素值推定為R = (mR' /mG) g，B = (mB' /mG) g。
[0004] 另外，通過對(duì)7 X 7像素的輸入像素單位內(nèi)的RGB信號(hào)和在中央部分配了較大的加 權(quán)系數(shù)后的加權(quán)系數(shù)的卷積運(yùn)算，算出加權(quán)平均值，從而進(jìn)行與7X7像素的輸入像素單位 對(duì)應(yīng)的R、G、B信號(hào)的低頻成分mR'、mG、mB'的計(jì)算（專利文獻(xiàn)1的圖24、圖26)。
[0005] 專利文獻(xiàn)1 :日本特開2011 - 182354號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0006] 發(fā)明所要解決的課題
[0007] 專利文獻(xiàn)1記載的發(fā)明涉及從除了 RGB像素外還具有白色（W)像素的攝像元件取 得的RGBW排列的馬賽克圖像的去馬賽克處理。專利文獻(xiàn)1記載的發(fā)明不能減少因?yàn)楦黝?色的超過重現(xiàn)頻帶的高頻信號(hào)的折回和各顏色的相位的偏離而產(chǎn)生的低頻的色附著（彩 色莫爾條紋）。
[0008] 在縱條紋圖案或橫條紋圖案（高頻圖像）入射到攝像元件的情況下，若通過專利 文獻(xiàn)1所記載的加權(quán)系數(shù)算出局部區(qū)域的RGB的色比（R/G、B/G)，則局部區(qū)域的RGB的色 比保持為一定的假定不成立。并且，若基于該色比進(jìn)行去馬賽克處理，則存在產(chǎn)生彩色莫爾 條紋的問題。
[0009] 本發(fā)明鑒于這種情況而做，其目的在于提供一種能夠以簡(jiǎn)單的圖像處理減少產(chǎn)生 彩色莫爾條紋的圖像處理裝置、方法、程序、記錄介質(zhì)及攝像裝置。
[0010] 用于解決課題的手段
[0011] 為了達(dá)成上述目的，本發(fā)明的一個(gè)方式具備：圖像獲取單元，獲取從在多個(gè)像素上 配置預(yù)定的濾色器排列的濾色器而成的攝像元件取得的與濾色器排列對(duì)應(yīng)的馬賽克圖像， 上述多個(gè)像素由排列于第一方向及與第一方向垂直的第二方向上的光電轉(zhuǎn)換元件構(gòu)成，上 述濾色器具有與一種顏色以上的第一色對(duì)應(yīng)的第一濾光片和與用于獲得亮度信號(hào)的貢獻(xiàn) 率比第一色低的兩種顏色以上的第二色對(duì)應(yīng)的第二濾光片；運(yùn)算單元，具有與第二色的每 色對(duì)應(yīng)且與預(yù)定的內(nèi)核尺寸內(nèi)的第一色對(duì)應(yīng)地設(shè)定的第一加權(quán)系數(shù)和與第二色的各色分 別對(duì)應(yīng)地設(shè)定的第二加權(quán)系數(shù)，上述第一加權(quán)系數(shù)及第二加權(quán)系數(shù)設(shè)定為內(nèi)核尺寸內(nèi)的第 一方向及第二方向的像素行內(nèi)的第一加權(quán)系數(shù)的總和與第二加權(quán)系數(shù)的總和之比為1 :1， 并且該運(yùn)算單元基于第一加權(quán)系數(shù)及第二加權(quán)系數(shù)、從馬賽克圖像提取的與內(nèi)核尺寸對(duì)應(yīng) 的局部區(qū)域內(nèi)的第一色的像素的像素值及第二色的每色的像素的像素值而算出第一色的 積和運(yùn)算值及第二色的每色的積和運(yùn)算值；及圖像處理單元，基于局部區(qū)域內(nèi)的處理對(duì)象 的像素的像素位置的第一色的像素值、由運(yùn)算單元算出的第一色及第二色的每色的積和運(yùn) 算值而算出像素位置的第二色的每色的像素值。
[0012] 根據(jù)本發(fā)明的一個(gè)方式，運(yùn)算單元為了取得馬賽克圖像內(nèi)的局部區(qū)域的顏色信 息，而基于與預(yù)定的內(nèi)核尺寸內(nèi)的第一色對(duì)應(yīng)地設(shè)定的第一加權(quán)系數(shù)、與第二色的各色分 別對(duì)應(yīng)地設(shè)定的第二加權(quán)系數(shù)、從馬賽克圖像提取的與內(nèi)核尺寸對(duì)應(yīng)的局部區(qū)域內(nèi)的第一 色的像素的像素值及第二色的像素的像素值，算出第一色的積和運(yùn)算值及第二色的積和運(yùn) 算值。在此，第一加權(quán)系數(shù)和第二加權(quán)系數(shù)被設(shè)定為，內(nèi)核尺寸內(nèi)的第一方向及第二方向 的像素行內(nèi)的第一加權(quán)系數(shù)的總和與第二加權(quán)系數(shù)的總和之比為1 :1。即，通過使第一方 向及第二方向的像素行內(nèi)的第一加權(quán)系數(shù)的總和與第二加權(quán)系數(shù)的總和之比為1 :1，即使 對(duì)第一方向或第二方向輸入任何頻率，乘以第一加權(quán)系數(shù)及第二加權(quán)系數(shù)后的結(jié)果的顏色 的關(guān)系都不會(huì)偏移。因此，能夠算出該局部區(qū)域的準(zhǔn)確的顏色信息（第一及第二積和運(yùn)算 值）。圖像處理單元基于局部區(qū)域內(nèi)的處理對(duì)象的像素的像素位置的第一色的像素值和第 一色及第二色的每色的積和運(yùn)算值而算出像素位置的第二色的每色的像素值，可算出局部 區(qū)域的準(zhǔn)確的顏色信息。由此，能夠高精度地進(jìn)行去馬賽克處理，并能夠減少產(chǎn)生彩色莫爾 條紋（偽色）。
[0013] 本發(fā)明的其他方式的圖像處理裝置中，馬賽克圖像在與內(nèi)核尺寸對(duì)應(yīng)的局部區(qū)域 內(nèi)對(duì)于第二色的每色具有一組以上的兩對(duì)像素的組，上述兩對(duì)像素的組為在具有與第一方 向及第二方向平行的邊的任意四邊形的至少一個(gè)四邊形中一方的對(duì)角位置具有第一色而 另一方的對(duì)角位置具有同色的第二色。通過這種第一、第二像素的配置，能夠使內(nèi)核尺寸內(nèi) 的第一方向及第二方向的像素行內(nèi)的第一加權(quán)系數(shù)的總和與第二加權(quán)系數(shù)的總和之比為 1 :1〇
[0014] 本發(fā)明的又一其他方式的圖像處理裝置中，馬賽克圖像包含在第一方向及第二方 向上與MXN像素（M彡3、N彡3)對(duì)應(yīng)的基本排列圖案，并且基本排列圖案沿第一方向及第 二方向重復(fù)配置。在包含三種顏色以上的顏色的馬賽克圖像的情況下，為了使第一加權(quán)系 數(shù)的總和與第二加權(quán)系數(shù)的總和之比為1 :1，需要使基本排列圖案的像素尺寸為3X3像素 以上。
[0015] 本發(fā)明的又一其他方式的圖像處理裝置中，馬賽克圖像包含在第一方向及第二方 向的像素行上第二色的全部顏色的像素不齊全的像素行。即使包含在第一方向及第二方向 的像素行上第二色的全部顏色的像素不齊全的像素行，也能夠使內(nèi)核尺寸內(nèi)的第一方向及 第二方向的像素行內(nèi)的第一加權(quán)系數(shù)的總和與第二加權(quán)系數(shù)的總和之比為1 :1。本發(fā)明對(duì) 于這種馬賽克圖像也是有效的。
[0016] 本發(fā)明的又一其他方式的圖像處理裝置中，具備：控制單元，對(duì)馬賽克圖像一邊使 局部區(qū)域每次移動(dòng)與處理對(duì)象的對(duì)象像素單位相應(yīng)的量一邊使運(yùn)算單元及圖像處理單元 反復(fù)動(dòng)作。
[0017] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，馬賽克圖像具有：與屬于第一 色的綠（G)色對(duì)應(yīng)的G像素、與屬于第二色的紅（R)色及藍(lán)（B)色對(duì)應(yīng)的R像素及B像素， 當(dāng)將由運(yùn)算單元算出的R像素、G像素、B像素的像素值的每色的積和運(yùn)算值分別設(shè)為Rf、 Gf、Bf時(shí)，在處理對(duì)象的對(duì)象像素是G像素的情況下，圖像處理單元分別算出G像素的積和 運(yùn)算值與R像素的積和運(yùn)算值之比即色比（Rf/Gf)及G像素的積和運(yùn)算值與B像素的積和 運(yùn)算值之比即色比（Bf/Gf)，并基于算出的色比（Rf/Gf)、色比（Bf/Gf)和處理對(duì)象的G像 素的像素值而分別算出處理對(duì)象的像素位置的R像素、B像素的像素值。
[0018] 局部區(qū)域的R像素與G像素的積和運(yùn)算值（Rf、Gf)之比及B像素與G像素的積和 運(yùn)算值（Bf、Gf)之比表示該局部區(qū)域的本來的顏色的GR的色比及GB的色比。而且，通過 這些色比對(duì)處理對(duì)象的G像素的像素位置的R、B的像素值進(jìn)行插值，能夠高精度地進(jìn)行推 定。
[0019] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，馬賽克圖像具有：與屬于第一 色的綠（G)色對(duì)應(yīng)的G像素、與屬于第二色的紅（R)色及藍(lán)（B)色對(duì)應(yīng)的R像素及B像素， 當(dāng)將由運(yùn)算單元算出的R像素、G像素、B像素的像素值的每色的積和運(yùn)算值分別設(shè)為Rf、 Gf、Bf時(shí)，在處理對(duì)象的對(duì)象像素是R像素的情況下，圖像處理單元算出G像素的積和運(yùn)算 值與B像素的積和運(yùn)算值之比即色比（Bf/Gf)，并基于算出的色比（Bf/Gf)和對(duì)于處理對(duì)象 的像素位置算出的G像素的像素值而算出處理對(duì)象的像素位置的B像素的像素值，在處理 對(duì)象的對(duì)象像素是B像素的情況下，圖像處理單元算出G像素的積和運(yùn)算值與R像素的積 和運(yùn)算值之比即色比（Rf/Gf)，并基于算出的色比（Rf/Gf)和對(duì)于處理對(duì)象的像素位置算 出的G像素的像素值而算出處理對(duì)象的像素位置的R像素的像素值。
[0020] 使用預(yù)先算出的R像素上的G的像素值及B像素上的G的像素值，利用色比對(duì)這 些像素值進(jìn)行插值而算出R像素上的B的像素值及B像素上的R的像素值。
[0021] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，馬賽克圖像具有：與屬于第一 色的綠（G)色對(duì)應(yīng)的G像素、與屬于第二色的紅（R)色及藍(lán)（B)色對(duì)應(yīng)的R像素及B像素， 當(dāng)將由運(yùn)算單元算出的R像素、G像素、B像素的像素值的每色的積和運(yùn)算值除以加權(quán)系數(shù) 的總和而得到的加權(quán)平均值分別設(shè)為Rf'、Gf'、Bf '時(shí)，在處理對(duì)象的對(duì)象像素是G像素 的情況下，圖像處理單元分別算出G像素的加權(quán)平均值與R像素的加權(quán)平均值之差即色差 (Rf ' 一 Gf'）及G像素的加權(quán)平均值與B像素的加權(quán)平均值之差即色差（Bf ' 一 Gf'），并 基于算出的色差（Rf'一 Gf'）、色差（Bf'一 Gf'）和處理對(duì)象的G像素的像素值，而分別算 出處理對(duì)象的像素位置的R像素、B像素的像素值。
[0022] 局部區(qū)域中的每色的加權(quán)平均值（Rf'、Gf'、Bf'）之差表示該局部區(qū)域的本來顏 色的RGB之差（色差），基于該色差和處理對(duì)象的G像素的像素值，能夠高精度地推定R、B 的像素值。
[0023] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，馬賽克圖像具有：與屬于第一 色的綠（G)色對(duì)應(yīng)的G像素、與屬于第二色的紅（R)色及藍(lán)（B)色對(duì)應(yīng)的R像素及B像素， 當(dāng)將由運(yùn)算單元算出的R像素、G像素、B像素的像素值的每色的積和運(yùn)算值除以加權(quán)系數(shù) 的總和而得到的加權(quán)平均值分別設(shè)為Rf'、Gf'、Bf '時(shí)，在處理對(duì)象的對(duì)象像素是R像素的 情況下，圖像處理單元算出G像素的加權(quán)平均值與B像素的加權(quán)平均值之差即色差（Bf ' 一 Gf'），并基于算出的色差（Bf'一 Gf'）和對(duì)于處理對(duì)象的像素位置算出的G像素的像素值， 而算出處理對(duì)象的像素位置的B像素的像素值，在處理對(duì)象的對(duì)象像素是B像素的情況下， 圖像處理單元算出G像素的加權(quán)平均值與R像素的加權(quán)平均值之差的色差（Rf ' 一 Gf'）， 并基于算出的色差（Rf ' 一 Gf'）和對(duì)于處理對(duì)象的像素位置算出的G像素的像素值而算出 處理對(duì)象的像素位置的R像素的像素值。
[0024] 使用預(yù)先算出的R像素上的G的像素值及B像素上的G的像素值，利用色差對(duì)這 些像素值進(jìn)行插值而算出R像素上的B的像素值及B像素上的R的像素值。
[0025] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，具備：方向判別單元，基于馬 賽克圖像內(nèi)的處理對(duì)象的像素附近的第一色的像素的像素值來判別亮度的相關(guān)方向是第 一方向、第二方向、相對(duì)于第一方向及第二方向傾斜的第三方向及第四方向中的哪個(gè)方向， 在處理對(duì)象的像素位置的像素是R像素或B像素的情況下，圖像處理單元使用存在于由方 向判別單元判別出的相關(guān)方向上的G像素的像素值而算出對(duì)該像素位置的G像素的像素 值。
[0026] 關(guān)于R像素上的G的像素值及B像素上的G的像素，通過如上述那樣地使用存在 于進(jìn)行了方向判別的相關(guān)方向上的G像素的像素值，能夠高精度地推定出G的像素值，并能 夠減少產(chǎn)生高頻部的偽色。
[0027] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，馬賽克圖像中的第一色的像 素在第一方向、第二方向、第三方向和第四方向的各方向的像素行內(nèi)配置一個(gè)以上。由此， 即使亮度的相關(guān)方向存在于第一方向、第二方向、第三方向和第四方向中的任一個(gè)方向，在 亮度的相關(guān)方向上必定存在第一色的像素，因此能夠使用存在于相關(guān)方向上的G像素的像 素值，高精度地算出R像素上的G的像素值及B像素上的G的像素值。
[0028] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，方向判別單元取得馬賽克圖 像內(nèi)的處理對(duì)象的像素附近的第一色的像素即在第一方向、第二方向、第三方向和第四方 向上分別相鄰的同色的像素的像素值，并基于分別相鄰的同色的像素的像素值的差分值來 判別亮度的相關(guān)方向。
[0029] 由于基于在第一方向、第二方向、第三方向和第四方向的各方向上相鄰的同色的 第一色的像素的像素值的差分值來判別亮度的相關(guān)方向，因此能夠以最小像素間隔判別相 關(guān)方向是四個(gè)方向中的哪一個(gè)方向。
[0030] 本發(fā)明的又一其他方式的圖像處理裝置中，優(yōu)選為，方向判別單元按第一方向、第 二方向、第三方向和第四方向的各方向算出多個(gè)相相鄰的同色的像素的像素值的差分絕對(duì) 值，并將各方向的多個(gè)差分絕對(duì)值的總和或平均值中為最小的方向判別為相關(guān)方向。由于 按各方向分別算出多個(gè)差分絕對(duì)值的平均值，因此能夠高精度地判別相關(guān)方向。
[0031] 本發(fā)明的又一其他方式的攝像裝置具備上述的圖像處理裝置。
[0032] 本發(fā)明的又一其他方式的圖像處理方法包括：圖像獲取工序，獲取從在多個(gè)像素 上配置預(yù)定的濾色器排列的濾色器而成的攝像元件取得的與上述濾色器排列對(duì)應(yīng)的馬賽 克圖像，上述多個(gè)像素由排列于第一方向及與第一方向垂直的第二方向上的光電轉(zhuǎn)換元件 構(gòu)成，上述濾色器具有與一種顏色以上的第一色對(duì)應(yīng)的第一濾光片和與用于獲得亮度信號(hào) 的貢獻(xiàn)率比第一色低的兩種顏色以上的第二色對(duì)應(yīng)的第二濾光片；運(yùn)算工序，使用與第二 色的每色對(duì)應(yīng)且與預(yù)定的內(nèi)核尺寸內(nèi)的第一色對(duì)應(yīng)地設(shè)定的第一加權(quán)系數(shù)和與第二色的 各色分別對(duì)應(yīng)地設(shè)定的第二加權(quán)系數(shù)進(jìn)行運(yùn)算，第一加權(quán)系數(shù)及第二加權(quán)系數(shù)設(shè)定為內(nèi)核 尺寸內(nèi)的第一方向及第二方向的像素行內(nèi)的第一加權(quán)系數(shù)的總和與第二加權(quán)系數(shù)的總和 之比為1:1，在該運(yùn)算工序中基于第一加權(quán)系數(shù)及第二加權(quán)系數(shù)、從馬賽克圖像提取的與內(nèi) 核尺寸對(duì)應(yīng)的局部區(qū)域內(nèi)的第一色的像素的像素值及第二色的像素的像素值而算出第一 色的積和運(yùn)算值及第二色的積和運(yùn)算值；及圖像處理工序，基于局部區(qū)域內(nèi)的處理對(duì)象的 像素的像素位置的第一色的像素值、由運(yùn)算工序算出的第一色及第二色的每色的積和運(yùn)算 值，而算出像素位置的第二色的每色的像素值，對(duì)馬賽克圖像一邊使局部區(qū)域每次移動(dòng)與 處理對(duì)象的對(duì)象像素單位相應(yīng)的量一邊反復(fù)執(zhí)行運(yùn)算工序及圖像處理工序的處理。
[0033] 本發(fā)明的又一其他方式的圖像處理程序，使計(jì)算機(jī)執(zhí)行如下功能：圖像獲取功能， 獲取從在多個(gè)像素上配置預(yù)定的濾色器排列的濾色器而成的攝像元件取得的與上述濾色 器排列對(duì)應(yīng)的馬賽克圖像，上述多個(gè)像素由