ayer型的RGB排列且稀疏的視差像素排列作為例子進(jìn)行說明。圖16是示 出作為像素排列的一個(gè)例子的實(shí)際空間的排列和k空間的圖。示出使用以圖16的上半部 分的排列圖作為基本格子來周期性地配置的攝像元件的例子。其倒格子空間的頻率析像區(qū) 域也示出各顏色與各視差的組合。該排列是，根據(jù)僅在單眼光瞳分割方式的模糊的被攝體 區(qū)域產(chǎn)生視差的性質(zhì)，將視差像素的密度配置成稀疏，并將剩余的像素盡量分配為無視差 像素而構(gòu)成的攝像元件。無視差像素和有視差像素都以Bayer排列作為基本結(jié)構(gòu)，在左視 差像素和右視差像素中都配置有R :G :B = 1 :2 :1的彩色濾光片。即，比實(shí)施方式1更重視 利用原信號捕捉到的無視差的中間圖像的析像力，通過視差調(diào)制將其高頻成分重疊于左視 差像素和右視差像素，從而得到尚析像度的立體圖像。無視差像素、視差Lt像素、視差Rt 像素的密度比是N :Lt :Rt = 6 :1 :1。另外，在圖16中，例示出2/3開口作為視差像素的開 口寬度。處理的順序大致如以下。
[0227] 1)輸入色彩、視差復(fù)用馬賽克圖像數(shù)據(jù)
[0228] 2)彩色、視差馬賽克圖像的全局增益平衡校正
[0229] 3)生成臨時(shí)的視差圖像
[0230] 4)基于左右的局部照度分布校正而生成無視差彩色馬賽克圖像
[0231] (局部增益平衡校正）
[0232] 5)生成無視差基準(zhǔn)圖像
[0233] 6)生成實(shí)際的視差圖像
[0234] 7)向輸出色彩空間轉(zhuǎn)換
[0235] 以下，詳細(xì)說明。
[0236] 1)輸入色彩、視差復(fù)用的馬賽克圖像數(shù)據(jù)
[0237] 用M(x，y)來表示圖16的色彩和視差被復(fù)用的單片式馬賽克圖像。灰度是通過A/ D轉(zhuǎn)換而輸出的線性灰度。
[0238] 2)彩色、視差馬賽克圖像的全局增益平衡校正
[0239] 直接使用拍攝到的被攝體像，計(jì)算無視差像素的像素值的圖像整體的平均值
左視差像素的像素值的圖像整體的平均值
右視差像素的像素值的圖像整體的平均值
與實(shí)施方式1同樣地存在3個(gè)信號電平。首先，作為左右之間的基準(zhǔn)點(diǎn)，以使信號電平 調(diào)合為平均值的方式進(jìn)行增益校正。此時(shí)基準(zhǔn)點(diǎn)的取得方法有算術(shù)平均和幾何平均這兩 種。然后，在左右平均后的信號電平與無視差像素的信號電平之間采用幾何平均，以使信號 電平調(diào)合為該平均值的方式進(jìn)行增益校正。針對RGB各自的顏色成分進(jìn)行該處理。分別利 用 ?Υ、 ?
俯 5.
[0243] 改寫各自對應(yīng)的平均值。
[0244] 為了方便，將馬賽克圖像M(x，y)內(nèi)的
[0245] R成分的無視差像素的信號面表示為RN __(x，y)，
[0246] R成分的左視差像素的信號面表示為Ru _al。(x，y)，
[0247] R成分的右視差像素的信號面表示為RRt _al。(x，y)，
[0248] G成分的無視差像素的信號面表示為GN __(x，y)，
[0249] G成分的左視差像素的信號面表示為Gu _al。(x，y)，
[0250] G成分的右視差像素的信號面表示為GRt _al。(x，y)，
[0251] B成分的無視差像素的信號面表示為BN __(x，y)，
[0252] B成分的左視差像素的信號面表示為_al。(x，y)，
[0253] B成分的右視差像素的信號面表示為BRt _al。(x，y)。
[0254] a)左右之間進(jìn)行算術(shù)平均的情況
[0255] 平均值
[0259] 對于無視差像素的增益值
[0263] 對于左視差像素的增益值
[0267] 對于右視差像素的增益值

[0271] 對于無視差像素的全局增益校正
[0275] 對于左視差像素的全局增益校正
[0279] 對于右視差像素的全局增益校正
[0283] b)左右之間進(jìn)行幾何平均的情況
[0284] 平均值
[0288] 對于無視差像素的增益值
[0292] 對于左視差像素的增益值
[0296] 對于右視差像素的增益值
[0300] 對于無視差像素的全局增益校正

[0304] 對于左視差像素的全局增益校正
[0308] 對于右視差像素的全局增益校正
[0312] 在全部的無視差像素都具有全開口的掩膜時(shí)，采用算術(shù)平均型的方式。在全部的 無視差像素具有半開口的掩膜時(shí)，采用幾何平均型的方式。因此，在本實(shí)施方式中采用算術(shù) 平均型。這樣，將無視差像素用一個(gè)增益系數(shù)校正、左視差像素用一個(gè)增益系數(shù)校正、右視 差像素用一個(gè)增益系數(shù)校正而得到的馬賽克圖像作為M'（x，y)輸出。
[0313] 3)生成臨時(shí)的視差圖像
[0314] 生成空間頻率析像度低的分辨率的臨時(shí)的左視差圖像和臨時(shí)的右視差圖像。在僅 集中了左視差像素的G色面內(nèi)進(jìn)行單純平均插補(bǔ)。使用相鄰的像素值，根據(jù)距離之比進(jìn)行 線性插補(bǔ)。同樣地，在僅集中了右視差像素的G色面內(nèi)進(jìn)行單純平均插補(bǔ)。同樣地，在僅集 中了無視差像素的G色面內(nèi)進(jìn)行單純平均插補(bǔ)。分別針對R、G、B進(jìn)行相同的處理。即，根 據(jù) Ru _al。(X，y)生成 Ru (X，y)，根據(jù) RRt _al。(X，y)生成 RRt (X，y)，根據(jù) _al。(X，y)生成 RN (X，y)，根據(jù) _al(： (X，y)生成 Gu (X，y)，根據(jù) GRt _al(： (X，y)生成 GRt (X，y)，根據(jù) GN _al(： (X， y)生成 GN (x，y)，根據(jù) Bu _ai。(x，y)生成 Bu (x，y)，根據(jù) BRt _ai。(x，y)生成 GRt (x，y)，根據(jù) ^N mosaic (x，y)生成 GN(x，y)。
[0315] 用RN(x，y)表示臨時(shí)的R成分的無視差圖像。
[0316] 用GN(x，y)表示臨時(shí)的G成分的無視差圖像。
[0317] 用BN(x，y)表示臨時(shí)的B成分的無視差圖像。
[0318] 用Ru(x，y)表示臨時(shí)的R成分的左視差圖像。
[0319] 用Gu(x，y)表示臨時(shí)的G成分的左視差圖像。
[0320] 用Bu(x，y)表示臨時(shí)的B成分的左視差圖像。
[0321] 用RRt(x，y)表示臨時(shí)的R成分的右視差圖像。
[0322] 用GRt(x，y)表示臨時(shí)的G成分的右視差圖像。
[0323] 用BRt(x，y)表示臨時(shí)的B成分的右視差圖像。
[0324] 此外，也可以當(dāng)創(chuàng)建臨時(shí)的無視差圖像RN(x，y)、GN(x，y)、B N(x，y)時(shí)，導(dǎo)入信號面 內(nèi)的方向判斷來高精度地進(jìn)行。
[0325] 4)基于左右的照度分布校正而生成無視差彩色馬賽克圖像
[0326] (局部增益平衡校正）
[0327] 接著，通過使用與在步驟2)進(jìn)行的全局增益校正相同的思路，進(jìn)行像素單位的局 部增益校正，首先使畫面內(nèi)的左視差像素與畫面內(nèi)的右視差像素的照度調(diào)合。通過該操作 使左右之間的視差消除。在此基礎(chǔ)上，在左右取平均的信號面與無視差像素的攝像信號面 之間使照度進(jìn)一步地調(diào)合。這樣一來，利用全部像素創(chuàng)建獲取了增益整合的新的Bayer面。 這與替換為平均值是等效的，生成消除了視差的Bayer面。將該基準(zhǔn)圖像面寫成^(1，y)。
[0328] 在這種情況下，作為各像素的基準(zhǔn)點(diǎn)而統(tǒng)一的目標(biāo)值的設(shè)定方法，消除左右之間 的視差的方法也存在選擇算術(shù)平均方法和選擇幾何平均方法這兩種。在全部無視差像素都 具有全開口的掩膜面積時(shí)，為了使消除了左右之間的視差的被攝體像的模糊幅度與全開口 的模糊幅度一致，需要選擇算術(shù)平均型。另一方面，在全部無視差像素都具有半開口的掩膜 面積時(shí)，為了使消除了左右之間的視差的被攝體像的模糊幅度與半開口的模糊幅度一致， 需要選擇幾何平均型。
[0329] 而且，在消除了左右之間的視差的信號面與無視差像素的攝像信號面之間取平均 值的操作，由于兩者已經(jīng)統(tǒng)一為具有相同模糊幅度的被攝體像，所以需要保存該模糊幅度。 因此，此時(shí)必需共同采用幾何平均。以下舉出這些具體式。
[0330] a)左右之間進(jìn)行算術(shù)平均的情況
[0331] 各像素的平均值
[0335] 對于無視差像素的各像素的增益值

[0339] 對于左視差像素的各像素的增益值
[0343] 對于右視差像素的各像素的增益值
[0347] 對于無視差像素的各像素的局部增益校正
[0351] 對于左視差像素的各像素的局部增益校正
[0355] 對于右視差像素的各像素的局部增益校正
[0359] b)左右之間進(jìn)行幾何平均的情況
[0360] 各像素的平均值
[0364] 對于無視差像素的各像素的增益值
[0368] 對于左視差像素的各像素的增益值
[0372] 對于右視差像素的各像素的增益值
[0376] 對于無視差像素的各像素的局部增益校正

[0380] 對于左視差像素的各像素的局部增益校正
[0384] 對于右視差像素的各像素的局部增益校正
[0388] 如此，將左視點(diǎn)的圖像和右視點(diǎn)的圖像的平均值進(jìn)一步與沒有視差的基準(zhǔn)視點(diǎn)的 圖像取平均得到的像素值作為新的無視差像素值，改寫B(tài)ayer面的數(shù)據(jù)，輸出無視差Bayer 面的圖像MN(x，y)。
[0389] 5)生成無視差基準(zhǔn)圖像
[0390] 進(jìn)行公知的Bayer插補(bǔ)技術(shù)。作為例子，有與本申請相同的發(fā)明人的 USP7957588(W02006/006373)以及 USP8259213 所示的插補(bǔ)算法。
[0391] 6)生成實(shí)際的視差圖像
[0392] 使用在步驟3)中生成的析像力較低的臨時(shí)的左視差的彩色圖像Ru(x，y)、Gu(x， y)、Bu(x，y)和在步驟5)中作為中間處理生成的析像力較高的無視差的彩色圖像RN(x，y)、 GN(x，y)、BN(x，y)，生成實(shí)際上輸出的析像力較高的左視差的彩色圖像R'u(x，y)、G' u(x， y)、B'u(x，y)。同樣地，使用在步驟3)中生成的析像力較低的臨時(shí)的右視差的彩色圖像 RRt(x，y)、GRt(x，y)、BRt(x，y)和在步驟5)中作為中間處理生成的析像力較高的無視差的 彩色圖像心(1，y)、GN(x，y)、BN(x，y)，生成實(shí)際上輸出的析像力較高的右視差的彩色圖像 R' Rt (X，y)、G' Rt (X，y)、B' Rt (X，y) 〇
[0393] 作為視差調(diào)制的方式，能夠考慮取算術(shù)平均值作為基準(zhǔn)點(diǎn)的方法和取幾何平均值 作為基準(zhǔn)點(diǎn)的方法這兩種。雖然無論哪種都能夠得到視差調(diào)制效果，但是當(dāng)攝像元件的無 視差像素的開口掩膜是全開口時(shí)，采用以算術(shù)平均值作為基準(zhǔn)點(diǎn)的方式，當(dāng)無視差像素的 開口掩膜是與有視差像素相同的半開口時(shí)，采用以幾何平均值作為基準(zhǔn)點(diǎn)的方式。因此，在 本實(shí)施方式中使用以算術(shù)平均值作為基準(zhǔn)點(diǎn)的方式。
[0394] a)以算術(shù)平均值作為基準(zhǔn)點(diǎn)的視差調(diào)制
[0395] 左視差調(diào)制

[0399] 右視差調(diào)制
[0403] b)以幾何平均值作為基準(zhǔn)點(diǎn)的視差調(diào)制
[0404] 左視差調(diào)制
[0408] 右視差調(diào)制
[0412] 若改寫上述算式，則
[0413] 左視差調(diào)制

[0417] 右視差調(diào)制
[0421] 7)向輸出色彩空間轉(zhuǎn)換
[0422] 與實(shí)施方式1